JP2009265319A

JP2009265319A - Video composition device

Info

Publication number: JP2009265319A
Application number: JP2008113878A
Authority: JP
Inventors: Ryohei Ishida; 良平石田; Shinichi Usui; 真一臼井; Hiroshi Onishi; 宏大西; Masaki Hamada; 雅樹濱田; Yoshiyuki Kato; 義幸加藤; Akira Torii; 晃鳥居; Hiroyasu Negishi; 博康根岸; Daisuke Kizara; 大介木皿
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-04-24
Filing date: 2008-04-24
Publication date: 2009-11-12
Anticipated expiration: 2028-04-24
Also published as: JP5172452B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video composition device capable of uniforming and minimizing the occurrence frequency of "frame disposal". <P>SOLUTION: A composition timing generating section 3 sets composition start timing that a total time required to wait for an output from when frame data for a plurality of channels are stored in a frame memory 2 to when composition is started by a video composition output section 4. Specifically, the composition timing generating section 3 calculates to determine one of the reference channels which provides the smallest total time required to wait for the output. This channel which provides the smallest total time required for the output is set as a reference channel. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、互いに同期していない複数のチャンネルのビデオデータである入力フレームデータを合成して、出力フレームデータを生成するビデオ合成装置に関するものである。 The present invention relates to a video synthesizing apparatus that synthesizes input frame data that is video data of a plurality of channels that are not synchronized with each other to generate output frame data.

互いに同期していない複数のチャンネルの入力フレームデータを合成して、出力フレームデータを生成するビデオ合成装置では、何らかの方法で、複数のチャンネルの入力フレームデータを同期化する必要がある。
そこで、入力フレームデータをバッファリングして同期化するビデオ合成装置が開発されている（例えば、特許文献１を参照）。 In a video synthesizing apparatus that generates output frame data by combining input frame data of a plurality of channels that are not synchronized with each other, it is necessary to synchronize the input frame data of the plurality of channels by some method.
Therefore, a video synthesizing device that buffers and synchronizes input frame data has been developed (see, for example, Patent Document 1).

このビデオ合成装置では、入力フレームデータ毎に専用のフレームメモリを設け、入力フレームデータがフレームメモリに格納されることにより生じる時間的余裕を利用して同期化を図っている。
この方法とは別に、単一のビデオメモリ（例えば、ＳＤＲＡＭやＤＤＲ−ＳＤＲＡＭ）を使用し、そのビデオメモリを各チャンネルの入力用フレームメモリとして兼用する方法もある。
以降、フレームデータを格納するフレームメモリ内の領域をバッファと称する。 In this video synthesizing apparatus, a dedicated frame memory is provided for each input frame data, and synchronization is made using a time margin generated by storing the input frame data in the frame memory.
In addition to this method, there is a method in which a single video memory (for example, SDRAM or DDR-SDRAM) is used and the video memory is also used as an input frame memory for each channel.
Hereinafter, an area in the frame memory that stores frame data is referred to as a buffer.

入力フレームデータのバッファリングを行う場合、入力フレームデータのバッファリングの完了時点から、そのフレームデータが出力されるまでの時間（出力待ち時間）、そのフレームデータを格納しているバッファはロックされ、そのバッファに対する次のフレームデータのバッファリングが禁止される。
その出力待ち時間の期間に、フレームメモリに保持できない分量の入力フレームデータが入力されると、保持できないフレームデータは破棄され、その結果として、フレームデータの「フレーム落ち」が発生する。
例えば、ダブルバッファ方式など、複数バッファ方式を採用して、バッファの多重度を増やせば、「フレーム落ち」の頻度を減らすことができるが、追加のバッファが必要になる。 When buffering input frame data, the time from the completion of buffering of input frame data until the output of the frame data (output waiting time), the buffer storing the frame data is locked, Buffering of the next frame data for that buffer is prohibited.
If an amount of input frame data that cannot be held in the frame memory is input during the output waiting time period, the frame data that cannot be held is discarded, and as a result, “frame dropping” of the frame data occurs.
For example, by adopting a multiple buffer system such as a double buffer system and increasing the multiplicity of buffers, the frequency of “frame dropping” can be reduced, but an additional buffer is required.

複数のチャンネルの入力フレームデータは互いに同期していないため、入力用フレームメモリに対するバッファリングの完了タイミングは、チャンネル毎に異なる。
一方、バッファリングが完了している複数のチャンネルのフレームデータを読み出してビデオ合成を開始するタイミングは、複数のチャンネルで共通である。
よって、バッファリングが完了してから、出力するまでの時間（出力待ち時間）は、チャンネル毎に異なる。
この出力待ち時間が長いチャンネルは、前述の理由から「フレーム落ち」が発生する可能性が高くなる。 Since the input frame data of a plurality of channels are not synchronized with each other, the completion timing of buffering for the input frame memory differs for each channel.
On the other hand, the timing at which frame data of a plurality of channels for which buffering has been completed is read and video synthesis is started is common to the plurality of channels.
Therefore, the time from the completion of buffering to the output (output waiting time) differs for each channel.
For a channel with a long output waiting time, there is a high possibility that a “frame drop” will occur for the reason described above.

従来のビデオ合成装置においては、ビデオ合成を開始するタイミング（合成開始タイミング）が、ある一定の周期に固定されている場合が多い。
例えば、あるチャンネルの入力フレームデータのバッファリングが完了した時点を合成開始タイミングに固定する方法があげられる。
合成開始タイミングがある一定の周期に固定されていると、各チャンネルの入力用フレームメモリで出力待ち時間に偏りが生じる。即ち、全く待たされないチャンネルがある一方で、長く待たされるチャンネルも出てくる。出力待ち時間が長いチャンネルに「フレーム落ち」が集中する。 In conventional video synthesizing apparatuses, the timing for starting video synthesis (synthesis start timing) is often fixed at a certain period.
For example, there is a method of fixing the time when the buffering of input frame data of a certain channel is completed to the synthesis start timing.
If the synthesis start timing is fixed to a certain period, the output waiting time is biased in the input frame memory of each channel. That is, while there are channels that are not waited at all, there are also channels that are kept waiting for a long time. “Frame loss” concentrates on channels with long output waiting times.

また、合成開始タイミングがある一定の周期に固定されている場合、入力用フレームメモリの出力待ち時間が常に最短になるとは限らない。そのため、「フレーム落ち」の発生頻度が最小になっていない場合もある。
よって、入力用フレームメモリのバッファ多重度が「フレーム落ち」を防止するのに十分でない場合、合成開始タイミングをある一定の周期に固定してしまうと、「フレーム落ち」の発生頻度が均一にならず、また、「フレーム落ち」の発生頻度が最小にならない。 Further, when the synthesis start timing is fixed to a certain period, the output waiting time of the input frame memory is not always the shortest. Therefore, the occurrence frequency of “frame drop” may not be minimized.
Therefore, if the buffer multiplicity of the input frame memory is not sufficient to prevent “frame drop”, if the synthesis start timing is fixed at a certain period, the occurrence frequency of “frame drop” becomes uniform. In addition, the occurrence frequency of “frame dropping” is not minimized.

特表２００３−５１０９５７号公報（段落番号［０００８］から［００１２］）Japanese translation of PCT publication No. 2003-510957 (paragraph numbers [0008] to [0012])

従来のビデオ合成装置は以上のように構成されているので、互いに同期していない複数のチャンネルの入力フレームデータを合成する際、入力用フレームメモリのバッファ多重度が「フレーム落ち」を防止するのに十分でない場合、ビデオ合成を開始するタイミングをある一定の周期に固定してしまうと、「フレーム落ち」が発生し易いチャンネルに偏りが生じ、また、「フレーム落ち」の発生頻度が最小にならないなどの課題があった。 Since the conventional video synthesizing apparatus is configured as described above, when the input frame data of a plurality of channels that are not synchronized with each other is synthesized, the buffer multiplicity of the input frame memory prevents “frame dropping”. If the timing for starting video composition is fixed at a certain period, the channel where “frame loss” is likely to occur is biased, and the frequency of “frame loss” is not minimized. There were issues such as.

この発明は上記のような課題を解決するためになされたもので、「フレーム落ち」の発生頻度の均一化と最小化を図ることができるビデオ合成装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video synthesizing apparatus capable of equalizing and minimizing the occurrence frequency of “frame dropping”.

この発明に係るビデオ合成装置は、複数のチャンネルのフレームデータがフレームメモリに格納されてから、フレームデータ合成手段により合成が開始されるまでの待ち時間の合計が最小になる合成開始タイミングを設定するようにしたものである。 The video composition device according to the present invention sets the composition start timing that minimizes the total waiting time from the frame data of a plurality of channels being stored in the frame memory until the composition is started by the frame data composition means. It is what I did.

この発明によれば、複数のチャンネルのフレームデータがフレームメモリに格納されてから、フレームデータ合成手段により合成が開始されるまでの待ち時間の合計が最小になる合成開始タイミングを設定するように構成したので、「フレーム落ち」の発生頻度の均一化と最小化を図ることができる効果がある。 According to the present invention, the composition start timing is set so that the total waiting time from when the frame data of a plurality of channels is stored in the frame memory until the composition is started by the frame data composition means is minimized. Therefore, there is an effect that the frequency of occurrence of “frame drop” can be made uniform and minimized.

実施の形態１．
図１はこの発明の実施の形態１によるビデオ合成装置を示す構成図であり、図において、ビデオ入力部１は互いに同期していない複数のチャンネル（ビデオ１ｃｈ、ビデオ２ｃｈ、ビデオ３ｃｈ、ビデオ４ｃｈ）のビデオデータであるフレームデータを入力し、そのフレームデータをフレームメモリ２にバッファリングを行う。
また、ビデオ入力部１は複数のチャンネルのビデオ周期に関する情報（例えば、ＶＳＹＮＣ）や、フレームデータのバッファリング完了信号などを合成タイミング生成部３に転送する。
なお、ビデオ入力部１はフレームデータ入力手段を構成している。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing a video synthesizing apparatus according to Embodiment 1 of the present invention. In the figure, a video input unit 1 has a plurality of channels (video 1ch, video 2ch, video 3ch, video 4ch) that are not synchronized with each other. The frame data, which is the video data, is input, and the frame data is buffered in the frame memory 2.
In addition, the video input unit 1 transfers information (for example, VSYNC) relating to video periods of a plurality of channels, a frame data buffering completion signal, and the like to the synthesis timing generation unit 3.
The video input unit 1 constitutes frame data input means.

フレームメモリ２は複数のチャンネルのフレームデータを格納するメモリであり、チャンネル毎に専用のフレームメモリであってもよいし、各チャンネルで共有する単一のフレームメモリであってもよい。
フレームメモリ２は例えばＳＲＡＭやＤＲＡＭなどで構成され、特定の仕様のメモリである必要はない。
単一のフレームメモリ２を各チャンネルが共有して使用する場合、フレームメモリ２の領域を分割し、各チャンネルの占有領域を決めておくようにする。この場合、フレームメモリコントローラを用いて、各チャンネルの書き込み要求などを調停して、単一のフレームメモリ２を時分割して共有使用する。
フレームメモリ２は複数バッファ方式（例えば、ダブルバッファ方式）で多重化されていてもよいし、シングルバッファ方式で全く多重化されていないものであってもよい。 The frame memory 2 is a memory for storing frame data of a plurality of channels, and may be a dedicated frame memory for each channel or a single frame memory shared by each channel.
The frame memory 2 is composed of, for example, SRAM or DRAM, and does not have to be a memory having a specific specification.
When a single frame memory 2 is shared and used by each channel, the area of the frame memory 2 is divided and the occupied area of each channel is determined. In this case, the frame memory controller is used to arbitrate the write request of each channel, and the single frame memory 2 is shared and used in a time-sharing manner.
The frame memory 2 may be multiplexed by a multiple buffer method (for example, a double buffer method) or may not be multiplexed at all by a single buffer method.

合成タイミング生成部３はビデオ入力部１から出力されるフレームデータのバッファリング完了信号に合わせて、フレームメモリ２に格納されている複数のチャンネルのフレームデータの合成開始タイミングを設定する。
即ち、合成タイミング生成部３は複数のチャンネルのフレームデータがフレームメモリ２に格納されてから、ビデオ合成出力部４により合成が開始されるまでの出力待ち時間の合計が最小になる合成開始タイミングを設定する。
なお、合成タイミング生成部３は合成開始タイミング設定手段を構成している。 The synthesis timing generation unit 3 sets the synthesis start timing of frame data of a plurality of channels stored in the frame memory 2 in accordance with the frame data buffering completion signal output from the video input unit 1.
That is, the synthesis timing generation unit 3 sets a synthesis start timing at which the total output waiting time from when frame data of a plurality of channels is stored in the frame memory 2 until synthesis is started by the video synthesis output unit 4 is minimized. Set.
The synthesis timing generation unit 3 constitutes a synthesis start timing setting unit.

ビデオ合成出力部４は合成タイミング生成部３により設定された合成開始タイミングで、フレームメモリ２に格納されている複数のチャンネルのフレームデータの合成を開始する。
なお、ビデオ合成出力部４はフレームデータ合成手段を構成している。 The video synthesis output unit 4 starts synthesis of frame data of a plurality of channels stored in the frame memory 2 at the synthesis start timing set by the synthesis timing generation unit 3.
The video composition output unit 4 constitutes frame data composition means.

図２は４つのチャンネルのビデオデータである入力フレームデータをビデオ合成している出力フレームデータの一例を示す説明図である。
各チャンネルのフレームデータは独立してフレームメモリ２に格納されているため、ビデオ合成時に重ね合わせを行うことができる。
合成後の出力フレームデータは、フレームメモリ２内に出力フレームデータ格納領域を確保して、その出力フレームデータ格納領域に一時的に格納してもよいし、格納せずに外部に出力してもよい。 FIG. 2 is an explanatory diagram showing an example of output frame data obtained by video composition of input frame data which is video data of four channels.
Since the frame data of each channel is stored in the frame memory 2 independently, superposition can be performed during video composition.
The synthesized output frame data may be stored in the frame memory 2 with an output frame data storage area temporarily stored in the output frame data storage area, or may be output outside without being stored. Good.

次に動作について説明する。
図３は複数のチャンネルにおけるフレームデータの合成処理期間の一例を示す説明図である。
図３において、「Ｎフレーム」（Ｎ＝１，２，３…）と記入されているブロックは、ビデオ入力部１によりバッファリングされてフレームメモリ２に格納されるＮフレーム目のフレームデータを示している。 Next, the operation will be described.
FIG. 3 is an explanatory diagram showing an example of a frame data composition processing period in a plurality of channels.
In FIG. 3, a block in which “N frames” (N = 1, 2, 3,...) Indicates frame data of the Nth frame that is buffered by the video input unit 1 and stored in the frame memory 2. ing.

図３の例では、ビデオ１ｃｈの１フレーム目のフレームデータは、時刻Ｔ１にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ５にバッファリングが完了している。
また、ビデオ２ｃｈの１フレーム目のフレームデータは、時刻Ｔ２にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ６にバッファリングが完了している。
ビデオ３ｃｈの１フレーム目のフレームデータは、時刻Ｔ３にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ７にバッファリングが完了している。
また、ビデオ４ｃｈの１フレーム目のフレームデータは、時刻Ｔ４にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ８にバッファリングが完了している。 In the example of FIG. 3, the frame data of the first frame of video 1ch has been buffered at time T1, and the frame data of the second frame has been buffered at time T5.
The frame data of the first frame of video 2ch has been buffered at time T2, and the frame data of the second frame has been buffered at time T6.
The frame data of the first frame of video 3ch has been buffered at time T3, and the frame data of the second frame has been buffered at time T7.
The frame data of the first frame of video 4ch has been buffered at time T4, and the frame data of the second frame has been buffered at time T8.

合成タイミング生成部３は、複数のチャンネル（ビデオ１ｃｈ、ビデオ２ｃｈ、ビデオ３ｃｈ、ビデオ４ｃｈ）の中から、基準となるチャンネル（以降、「基準チャンネル」と称する）を選択する。基準チャンネルの選択処理は一定期間単位で行う。基準チャンネルの選択方法については後述する。
合成タイミング生成部３は、ビデオ入力部１が基準チャンネルのフレームデータのバッファリングを完了することにより、ビデオ入力部１からバッファリング完了信号を受けると、その時点を合成開始タイミングに設定して合成開始指令をビデオ合成出力部４に出力する。 The synthesis timing generator 3 selects a reference channel (hereinafter referred to as “reference channel”) from a plurality of channels (video 1ch, video 2ch, video 3ch, video 4ch). The reference channel selection process is performed in units of a fixed period. A reference channel selection method will be described later.
When the video input unit 1 completes buffering of the frame data of the reference channel and receives a buffering completion signal from the video input unit 1, the synthesis timing generation unit 3 sets the time as a synthesis start timing and performs synthesis A start command is output to the video composition output unit 4.

ビデオ合成出力部４は、合成タイミング生成部３から合成開始指令を受けると、フレームメモリ２に格納されている複数のチャンネルのフレームデータの合成を開始する。
ただし、フレームメモリ２から複数のチャンネルのフレームデータを読み出す順序は任意である。 When receiving a synthesis start command from the synthesis timing generation unit 3, the video synthesis output unit 4 starts synthesis of frame data of a plurality of channels stored in the frame memory 2.
However, the order of reading frame data of a plurality of channels from the frame memory 2 is arbitrary.

図３では、ビデオ１ｃｈが基準チャンネルに選択されている例を示している。
したがって、ビデオ１ｃｈのフレームデータのバッファリングが完了した直後に（時刻Ｔ１，Ｔ５）、合成タイミング生成部３から合成開始指令が出力されて、ビデオ合成出力部４が複数のチャンネルのフレームデータの合成を開始している。
このとき、ビデオ合成出力部４は、各チャンネルのバッファリング済の出力待ちフレームデータを読み出して合成処理を行うが、例えば、図３の時刻Ｔ５から開始するビデオ合成処理期間２では、ビデオ１ｃｈについては、バッファリング済の２フレーム目のフレームデータをビデオ合成に使用し、ビデオ２ｃｈ，３ｃｈ，４ｃｈについては、バッファリング済の１フレーム目のフレームデータをビデオ合成に使用する。 FIG. 3 shows an example in which video 1ch is selected as the reference channel.
Therefore, immediately after the buffering of the frame data of video 1ch is completed (time T1, T5), a synthesis start command is output from the synthesis timing generation unit 3, and the video synthesis output unit 4 combines the frame data of a plurality of channels. Has started.
At this time, the video composition output unit 4 reads the buffered output waiting frame data of each channel and performs composition processing. For example, in the video composition processing period 2 starting from time T5 in FIG. Uses the buffered frame data of the second frame for video synthesis, and uses the buffered frame data of the first frame for video synthesis for video 2ch, 3ch, and 4ch.

あるチャンネルのフレームデータのバッファリングが完了した時点から、ビデオ合成出力部４により当該フレームデータが読み出されるまでの時間（出力待ち時間）、そのフレームデータを格納しているフレームメモリ２のバッファはロックされ、そのバッファに対する次のフレームデータのバッファリングが禁止される。
その出力待ち時間の期間にバッファに保持できない分量のフレームデータがビデオ入力部１に入力されると、保持できないフレームデータが破棄され、その結果として、フレームデータの「フレーム落ち」が発生する。 The time from when the frame data buffering of a certain channel is completed until the frame data is read out by the video synthesis output unit 4 (output waiting time), the buffer of the frame memory 2 storing the frame data is locked. Thus, buffering of the next frame data for the buffer is prohibited.
When an amount of frame data that cannot be held in the buffer is input to the video input unit 1 during the output waiting period, the frame data that cannot be held is discarded, and as a result, “frame dropping” of the frame data occurs.

図４はビデオ１ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。
ビデオ１ｃｈの２フレーム目のフレームデータは時刻Ｔ５から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は２フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
また、ビデオ２ｃｈの１フレーム目のフレームデータは時刻Ｔ２から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。 FIG. 4 is an explanatory diagram showing the output waiting time of frame data during the video composition processing period when video 1ch is selected as the reference channel.
The frame data of the second frame of video 1ch has an output waiting time from time T5 to time T9, and the buffer of the frame memory 2 storing the frame data of the second frame is locked during this output waiting time period. Is done.
The frame data of the first frame of video 2ch has an output waiting time from time T2 to time T9, and this output waiting time is a buffer of the frame memory 2 storing the frame data of the first frame. Is locked.

ビデオ３ｃｈの１フレーム目のフレームデータは時刻Ｔ３から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
また、ビデオ４ｃｈの１フレーム目のフレームデータは時刻Ｔ４から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。 The frame data of the first frame of video 3ch has an output waiting time from time T3 to time T9, and the buffer of the frame memory 2 storing the frame data of the first frame is locked during this output waiting time period. Is done.
The frame data of the first frame of video 4ch has an output waiting time from time T4 to time T9, and this output waiting time period is a buffer of the frame memory 2 storing the frame data of the first frame. Is locked.

ビデオ合成処理期間２の終了時点である時刻Ｔ９まで、ビデオ１ｃｈの２フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
このとき、時刻Ｔ９でロックが解除される前に、ビデオ１ｃｈの３フレーム目のフレームデータの受信が開始される（図３を参照）。
そのため、ロックされているバッファ以外に１フレーム分のバッファが存在していない場合、即ち、フレームメモリ２のバッファの多重度が２以上でない場合、１フレーム分のフレームデータが破棄されて「フレーム落ち」が発生する。 The buffer of the frame memory 2 storing the frame data of the second frame of the video 1ch is locked until time T9, which is the end point of the video composition processing period 2.
At this time, before the lock is released at time T9, reception of the frame data of the third frame of video 1ch is started (see FIG. 3).
Therefore, when there is no buffer for one frame other than the locked buffer, that is, when the multiplicity of the buffer in the frame memory 2 is not 2 or more, the frame data for one frame is discarded and “frame drop” Is generated.

また、ビデオ合成処理期間２の終了時点である時刻Ｔ９まで、ビデオ２ｃｈの１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。また、２フレーム目のフレームデータのバッファリングも完了しており（図３を参照）、２フレーム目のフレームデータを格納しているフレームメモリ２のバッファもロックされる。
このとき、時刻Ｔ９でロックが解除される前に、ビデオ２ｃｈの３フレーム目のフレームデータの受信が開始される（図３を参照）。
そのため、ロックされている２つのバッファ以外に１フレーム分のバッファが存在していない場合、即ち、フレームメモリ２のバッファの多重度が３以上でない場合、１フレーム分のフレームデータが破棄されて「フレーム落ち」が発生する。 Also, the buffer of the frame memory 2 storing the frame data of the first frame of the video 2ch is locked until time T9, which is the end point of the video composition processing period 2. Also, the buffering of the frame data of the second frame has been completed (see FIG. 3), and the buffer of the frame memory 2 storing the frame data of the second frame is also locked.
At this time, reception of the frame data of the third frame of video 2ch is started before the lock is released at time T9 (see FIG. 3).
Therefore, if there is no buffer for one frame other than the two locked buffers, that is, if the buffer multiplicity of the frame memory 2 is not 3 or more, the frame data for one frame is discarded and “ "Frame loss" occurs.

したがって、チャンネルのフレームメモリ２の多重度がいずれも２の場合（いわゆるダブルバッファ方式の場合）、ビデオ２ｃｈに「フレーム落ち」が集中することになる。
このように、フレームメモリ２のバッファの多重度が「フレーム落ち」を防止するのに十分でない場合、基準チャンネルを固定して、あるチャンネルの周期に合成開始タイミングが固定されると、特定のチャンネルの出力待ち時間が長い状況が連続し、「フレーム落ち」が発生し易いチャンネルに偏りが生じる。
フレームメモリ２のバッファの多重度を増やせば、「フレーム落ち」の発生頻度自体が減少し、「フレーム落ち」の偏りも減少するが、追加のバッファ領域が必要となる。
そのため、この実施の形態１では、バッファの多重度を増やす方法については検討しない。 Therefore, when the multiplicity of the channel frame memory 2 is 2 (in the case of the so-called double buffer system), “frame dropping” is concentrated on the video 2ch.
As described above, when the multiplicity of the buffer of the frame memory 2 is not sufficient to prevent “frame drop”, if the reference channel is fixed and the synthesis start timing is fixed in a certain channel period, a specific channel is set. The situation where the output waiting time is long continues, and there is a bias in the channel where “frame dropping” is likely to occur.
Increasing the buffer multiplicity of the frame memory 2 reduces the frequency of occurrence of “frame loss” and reduces the bias of “frame loss”, but requires an additional buffer area.
Therefore, in the first embodiment, a method for increasing the multiplicity of the buffer is not examined.

この実施の形態１では、「フレーム落ち」は出力待ち時間が長い場合に発生し易いことに着目し、この出力待ち時間を減らすため、基準チャンネルを一定期間単位で再選択して、変更することを検討する。
以下、基準チャンネルの選択方法について詳述する。 In this Embodiment 1, paying attention to the fact that “frame loss” is likely to occur when the output waiting time is long, to reduce this output waiting time, the reference channel is reselected and changed in units of a certain period. To consider.
The reference channel selection method will be described in detail below.

合成タイミング生成部３は、ビデオ入力部１から各チャンネルのフレームデータのバッファリング完了信号を受けると（例えば、時刻Ｔ５，Ｔ６，Ｔ７，Ｔ８などのタイミングで受信）、それらのバッファリング完了信号の受信時刻を合成開始タイミングに仮に設定することにより、各チャンネルが基準チャンネルとなる場合の出力待ち時間の合計をチャンネル毎に算出し、出力待ち時間の合計が最小になるチャンネルを基準チャンネルに設定する。
ただし、あるチャンネルのフレームデータが入力されない場合や、途中でフレームデータの入力が途切れてしまう場合などは、そのチャンネルを基準チャンネルの選択の候補から外すものとする。 When the synthesis timing generation unit 3 receives a buffering completion signal of the frame data of each channel from the video input unit 1 (for example, reception at timings such as times T5, T6, T7, T8, etc.), By tentatively setting the reception time as the synthesis start timing, the total output waiting time when each channel becomes the reference channel is calculated for each channel, and the channel with the minimum output waiting time is set as the reference channel. .
However, when the frame data of a certain channel is not input, or when the input of frame data is interrupted, the channel is excluded from candidates for selection of the reference channel.

例えば、図４に示すように、ビデオ１ｃｈを基準チャンネルとする場合、ビデオ１ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ１，Ｔ５）が合成開始タイミングになる。
例えば、時刻Ｔ５の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの１フレーム目のフレームデータ、ビデオ３ｃｈの１フレーム目のフレームデータ、ビデオ４ｃｈの１フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ９−Ｔ５）、ビデオ２ｃｈが（Ｔ９−Ｔ２）、ビデオ３ｃｈが（Ｔ９−Ｔ３）、ビデオ４ｃｈが（Ｔ９−Ｔ４）となる。 For example, as shown in FIG. 4, when video 1ch is used as a reference channel, the synthesis start timing is immediately after the buffering of frame data of video 1ch is completed (time T1, T5).
For example, in the video compositing process period that starts at the compositing start timing at time T5, the frame data that has been buffered and is the compositing target is the frame data of the second frame of video 1ch and the frame data of the first frame of video 2ch. , Frame data of the first frame of video 3ch and frame data of the first frame of video 4ch.
In this case, the output waiting time of each channel is (T9-T5) for video 1ch, (T9-T2) for video 2ch, (T9-T3) for video 3ch, and (T9-T4) for video 4ch.

次に、図５に示すように、ビデオ４ｃｈを基準チャンネルとする場合、ビデオ４ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ４，Ｔ８）が合成開始タイミングになる。
例えば、時刻Ｔ８の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの２フレーム目のフレームデータ、ビデオ３ｃｈの２フレーム目のフレームデータ、ビデオ４ｃｈの２フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ１２−Ｔ５）、ビデオ２ｃｈが（Ｔ１２−Ｔ６）、ビデオ３ｃｈが（Ｔ１２−Ｔ７）、ビデオ４ｃｈが（Ｔ１２−Ｔ８）となる。
よって、このような場合には、基準チャンネルをビデオ１ｃｈとするよりも、ビデオ４ｃｈとする方が、各チャンネルの出力待ち時間の合計が少なくなる。 Next, as shown in FIG. 5, when the video 4ch is used as the reference channel, the synthesis start timing is immediately after the buffering of the frame data of the video 4ch is completed (time T4, T8).
For example, in the video synthesis processing period that starts at the synthesis start timing at time T8, the frame data that has been buffered and is to be synthesized includes the frame data of the second frame of video 1ch and the frame data of the second frame of video 2ch. , Frame data of the second frame of video 3ch and frame data of the second frame of video 4ch.
In this case, the output waiting time of each channel is (T12-T5) for video 1ch, (T12-T6) for video 2ch, (T12-T7) for video 3ch, and (T12-T8) for video 4ch.
Therefore, in such a case, the total output waiting time of each channel is reduced when the reference channel is set to video 4ch rather than the video 1ch.

同様にして、ビデオ２ｃｈ，ビデオ３ｈを基準チャンネルとする場合の出力待ち時間を算出する。
図６に示すように、ビデオ２ｃｈを基準チャンネルとする場合、ビデオ２ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ２，Ｔ６）が合成開始タイミングになる。
例えば、時刻Ｔ６の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの２フレーム目のフレームデータ、ビデオ３ｃｈの１フレーム目のフレームデータ、ビデオ４ｃｈの１フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ１０−Ｔ５）、ビデオ２ｃｈが（Ｔ１０−Ｔ６）、ビデオ３ｃｈが（Ｔ１０−Ｔ３）、ビデオ４ｃｈが（Ｔ１０−Ｔ４）となる。 Similarly, the output waiting time when the video 2ch and video 3h are used as reference channels is calculated.
As shown in FIG. 6, when video 2ch is used as a reference channel, the synthesis start timing is immediately after the completion of buffering of frame data of video 2ch (time T2, T6).
For example, in the video compositing process period that starts at the compositing start timing at time T6, the frame data that has been buffered and is the compositing target is the frame data of the second frame of video 1ch and the frame data of the second frame of video 2ch. , Frame data of the first frame of video 3ch and frame data of the first frame of video 4ch.
In this case, the output waiting time of each channel is (T10-T5) for video 1ch, (T10-T6) for video 2ch, (T10-T3) for video 3ch, and (T10-T4) for video 4ch.

図７に示すように、ビデオ３ｃｈを基準チャンネルとする場合、ビデオ３ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ３，Ｔ７）が合成開始タイミングになる。
例えば、時刻Ｔ７の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの２フレーム目のフレームデータ、ビデオ３ｃｈの２フレーム目のフレームデータ、ビデオ４ｃｈの１フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ１１−Ｔ５）、ビデオ２ｃｈが（Ｔ１１−Ｔ６）、ビデオ３ｃｈが（Ｔ１１−Ｔ７）、ビデオ４ｃｈが（Ｔ１１−Ｔ４）となる。
よって、このような場合には、基準チャンネルをビデオ２ｃｈ，３ｃｈとするよりも、ビデオ４ｃｈとする方が、各チャンネルの出力待ち時間の合計が少なくなる。 As shown in FIG. 7, when video 3ch is used as a reference channel, the synthesis start timing is immediately after the completion of buffering of frame data of video 3ch (time T3, T7).
For example, in the video synthesis processing period that starts at the synthesis start timing at time T7, the frame data that has been buffered and is to be synthesized includes the frame data of the second frame of video 1ch and the frame data of the second frame of video 2ch. , Frame data of the second frame of video 3ch and frame data of the first frame of video 4ch.
In this case, the output waiting time of each channel is (T11-T5) for video 1ch, (T11-T6) for video 2ch, (T11-T7) for video 3ch, and (T11-T4) for video 4ch.
Therefore, in such a case, the total output waiting time of each channel is smaller when the reference channel is the video 4ch than when the reference channel is the video 2ch and 3ch.

これにより、合成タイミング生成部３は、ビデオ４ｃｈを基準チャンネルとして選択し、ビデオ４ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ４，Ｔ８）を合成開始タイミングに設定して、合成開始指令をビデオ合成出力部４に出力する。
なお、合成タイミング生成部３は、上記の基準チャンネルの選択処理をある一定期間単位で行う。
短い期間単位で選択を行う方が「フレーム落ち」が発生し易いチャンネルの偏りを削減することができる。また、自動的に出力待ち時間が最小になるように調整されるため、各チャンネルの「フレーム落ち」の発生頻度を最小限に抑えることができる。
また、あるチャンネルのフレームデータの入力が途切れた場合でも、そのチャンネルを基準チャンネルの選択から外されるため、異常のないチャンネルを正常に合成して、出力フレームデータを生成することができる。 Thereby, the synthesis timing generation unit 3 selects the video 4ch as a reference channel, sets the immediately after the completion of buffering of the frame data of the video 4ch (time T4, T8) as the synthesis start timing, and issues a synthesis start command. The result is output to the video composition output unit 4.
The synthesis timing generation unit 3 performs the above-described reference channel selection processing in units of a certain period.
When the selection is performed in units of short periods, it is possible to reduce the bias of the channel where “frame dropping” is likely to occur. In addition, since the output waiting time is automatically adjusted to be minimized, the occurrence frequency of “frame dropping” in each channel can be minimized.
Further, even when the input of frame data of a certain channel is interrupted, the channel is removed from the selection of the reference channel, so that it is possible to normally synthesize an abnormal channel and generate output frame data.

以上で明らかなように、この実施の形態１によれば、複数のチャンネルのフレームデータがフレームメモリ２に格納されてから、ビデオ合成出力部４により合成が開始されるまでの出力待ち時間の合計が最小になる合成開始タイミングを設定するように構成したので、「フレーム落ち」の発生頻度の均一化と最小化を図ることができる効果を奏する。 As is apparent from the above, according to the first embodiment, the total output waiting time from when the frame data of a plurality of channels is stored in the frame memory 2 until the synthesis by the video synthesis output unit 4 is started. Since the composition start timing is set such that the “frame drop” is minimized, the frequency of occurrence of “frame drop” can be made uniform and minimized.

実施の形態２．
上記実施の形態１では、合成タイミング生成部３が、どのチャンネルを基準チャンネルとすれば、出力待ち時間の合計が最小になるかを算出して、出力待ち時間の合計が最小になるチャンネルを基準チャンネルに設定するものについて示したが、合成タイミング生成部３が、フレーム落ちが発生したチャンネルを基準チャンネルに設定するようにしてもよい。 Embodiment 2. FIG.
In the first embodiment, the synthesis timing generation unit 3 calculates which channel is used as the reference channel to minimize the total output waiting time, and sets the channel with the minimum output waiting time as a reference. Although what is set as the channel has been described, the synthesis timing generation unit 3 may set the channel where the frame loss has occurred as the reference channel.

ビデオ合成装置の構成図は、上記実施の形態１と同じであり（図１を参照）、合成タイミング生成部３が出力待ち時間の算出処理を実施せずに、基準チャンネルの再設定を行う点でのみ上記実施の形態１と相違している。 The configuration diagram of the video synthesizing apparatus is the same as that of the first embodiment (see FIG. 1), and the synthesizing timing generation unit 3 resets the reference channel without performing the output waiting time calculation process. This is different from the first embodiment only.

合成タイミング生成部３は、各チャンネルの「フレーム落ち」の発生を検出する。
合成タイミング生成部３は、あるチャンネルの「フレーム落ち」の発生を検出すると、そのチャンネルを基準チャンネルに再設定する。
これにより、基準フレームに設定されたチャンネルは、出力待ち時間が一番短くなり、「フレーム落ち」の頻度が一番低くなる。
「フレーム落ち」が発生したチャンネルを基準チャンネルに選択することは、そのチャンネルの優先度を上げることに等しい。 The synthesis timing generation unit 3 detects the occurrence of “frame loss” in each channel.
When the synthesis timing generation unit 3 detects the occurrence of “frame loss” in a certain channel, the synthesis timing generation unit 3 resets the channel as a reference channel.
As a result, the channel set as the reference frame has the shortest output waiting time and the lowest “frame drop” frequency.
Selecting a channel in which “frame loss” has occurred as a reference channel is equivalent to increasing the priority of the channel.

図４の例では、ビデオ１ｃｈが基準チャンネルに選択されている。
この場合、ビデオ２ｃｈの出力待ち時間が一番長く、ビデオ２ｃｈにおいて「フレーム落ち」が一番発生し易い状況になっている。
この状況下で、ビデオ２ｃｈに「フレーム落ち」が発生すると、合成タイミング生成部３がビデオ２ｃｈを基準チャンネルに再設定する（図６を参照）。 In the example of FIG. 4, video 1ch is selected as the reference channel.
In this case, the output waiting time of video 2ch is the longest, and “frame drop” is most likely to occur in video 2ch.
Under this situation, when “frame drop” occurs in the video 2ch, the synthesis timing generation unit 3 resets the video 2ch as a reference channel (see FIG. 6).

この場合、ビデオ３ｃｈの出力待ち時間が一番長く、ビデオ３ｃｈにおいて「フレーム落ち」が一番発生し易い状況になっている。
この状況下で、ビデオ３ｃｈに「フレーム落ち」が発生すると、合成タイミング生成部３がビデオ３ｃｈを基準チャンネルに再設定する（図７を参照）。 In this case, the output waiting time of video 3ch is the longest, and “frame drop” is most likely to occur in video 3ch.
Under this situation, when “frame drop” occurs in the video 3ch, the synthesis timing generation unit 3 resets the video 3ch as a reference channel (see FIG. 7).

この場合、ビデオ４ｃｈの出力待ち時間が一番長く、ビデオ４ｃｈにおいて「フレーム落ち」が一番発生し易い状況になっている。
この状況下で、ビデオ４ｃｈに「フレーム落ち」が発生すると、合成タイミング生成部３がビデオ４ｃｈを基準チャンネルに再設定する（図５を参照）。
この場合、基準チャンネルをビデオ１ｃｈ，２ｃｈ，３ｃｈに選択した場合と比べて、出力待ち時間が少なくなっている。 In this case, the output waiting time of video 4ch is the longest, and “frame drop” is most likely to occur in video 4ch.
Under this situation, when “frame loss” occurs in the video 4ch, the synthesis timing generation unit 3 resets the video 4ch as a reference channel (see FIG. 5).
In this case, the output waiting time is reduced as compared with the case where the reference channel is selected as video 1ch, 2ch, or 3ch.

このように、「フレーム落ち」が発生したチャンネルを基準チャンネルに再設定していくようにすれば、消去法的に、出力待ち時間が最小になるチャンネルが基準チャンネルに再設定される。
また、自動的に出力待ち時間が最小になるように調整されるため、各チャンネルの「フレーム落ち」の発生頻度を最小限に抑えることができる。
また、あるチャンネルのフレームデータの入力が途切れた場合でも、そのチャンネルを基準チャンネルの選択から外されるため、異常のないチャンネルを正常に合成して、出力フレームデータを生成することができる。
上記実施の形態１と比べて、出力待ち時間が最小となる基準チャンネルを選択するのに長い時間を要するが、出力待ち時間の算出処理が不要になる。 In this way, if the channel in which “frame loss” has occurred is reset as the reference channel, the channel with the minimum output waiting time is reset as the reference channel in terms of the erasure method.
In addition, since the output waiting time is automatically adjusted to be minimized, the occurrence frequency of “frame dropping” in each channel can be minimized.
Further, even when the input of frame data of a certain channel is interrupted, the channel is removed from the selection of the reference channel, so that it is possible to normally synthesize an abnormal channel and generate output frame data.
Compared to the first embodiment, it takes a long time to select the reference channel that minimizes the output waiting time, but the output waiting time calculation process is not required.

この発明の実施の形態１によるビデオ合成装置を示す構成図である。It is a block diagram which shows the video synthesizing | combining apparatus by Embodiment 1 of this invention. ４つのチャンネルのビデオデータである入力フレームデータをビデオ合成している出力フレームデータの一例を示す説明図である。It is explanatory drawing which shows an example of the output frame data which carries out the video composition of the input frame data which is the video data of four channels. 複数のチャンネルにおけるフレームデータの合成処理期間の一例を示す説明図である。It is explanatory drawing which shows an example of the synthetic | combination processing period of the frame data in a some channel. ビデオ１ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。It is explanatory drawing which shows the output waiting time of the frame data in the video composition processing period when video 1ch is selected as the reference channel. ビデオ４ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。It is explanatory drawing which shows the output waiting time of the frame data in the video composition processing period when video 4ch is selected as a reference channel. ビデオ２ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。It is explanatory drawing which shows the output waiting time of the frame data in the video composition processing period when the video 2ch is selected as the reference channel. ビデオ３ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。It is explanatory drawing which shows the output waiting time of the frame data in the video composition processing period when video 3ch is selected as a reference channel.

Explanation of symbols

１ビデオ入力部（フレームデータ入力手段）、２フレームメモリ、３合成タイミング生成部（合成開始タイミング設定手段）、４ビデオ合成出力部（フレームデータ合成手段）。 1 video input unit (frame data input unit), 2 frame memory, 3 synthesis timing generation unit (combination start timing setting unit), 4 video synthesis output unit (frame data synthesis unit).

Claims

Frame data that is video data of a plurality of channels that are not synchronized with each other, frame data input means for buffering the frame data in a frame memory, and in accordance with the completion timing of buffering by the frame data input means, The synthesis start timing setting means for setting the synthesis start timing of frame data of a plurality of channels stored in the frame memory, and the synthesis start timing set by the synthesis start timing setting means are stored in the frame memory. And a frame data synthesizing unit that starts synthesizing the frame data of the plurality of channels. The synthesis start timing setting unit stores the frame data of the plurality of channels in the frame memory. From the video synthesizing apparatus characterized by total waiting time for synthesis is initiated by the frame data synthesizing means setting the synthesized start timing is minimized.

The synthesis start timing setting means sets a time when buffering of frame data of a reference channel among a plurality of channels is completed as a synthesis start timing. The video synthesizing apparatus according to claim 1, wherein a channel that minimizes the total waiting time is set as a reference channel.

The synthesis start timing setting means sets the time when buffering of the frame data of the reference channel among a plurality of channels is completed as the synthesis start timing, and sets the channel where the frame loss has occurred as the reference channel. The video synthesizing apparatus according to claim 1.