JP2005278207A - Edit system and method, re-encoder and method - Google Patents
Edit system and method, re-encoder and method Download PDFInfo
- Publication number
- JP2005278207A JP2005278207A JP2005120366A JP2005120366A JP2005278207A JP 2005278207 A JP2005278207 A JP 2005278207A JP 2005120366 A JP2005120366 A JP 2005120366A JP 2005120366 A JP2005120366 A JP 2005120366A JP 2005278207 A JP2005278207 A JP 2005278207A
- Authority
- JP
- Japan
- Prior art keywords
- editing
- encoded
- picture
- baseband signal
- baseband
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この発明は、ビットストリームを扱う場合に適用される編集システム、編集制御装置および編集制御方法に関する。 The present invention relates to an editing system, an editing control apparatus, and an editing control method applied when handling a bitstream.
近年、ディジタル放送においてMPEG(Moving Picture Experts Group)に代表される圧縮技術を利用することによって、限られた伝送媒体(無線、有線いずれも)を有効活用してより多数の番組を放送できることが可能となりつつある。同様に、放送業者における素材伝送についても、衛星回線を利用する場合のトランスポンダの使用料は高価であり、占有する帯域を圧縮することは、経済的メリットが大きい。地上波を利用した素材伝送においてもまた同様である。さらに、商用有線回線を利用した場合も同様である。従って、取材現場から局に伝送する場合や、局から局への局間伝送では、MPEGストリームを利用する意義が大きい。 In recent years, by using compression technology represented by MPEG (Moving Picture Experts Group) in digital broadcasting, it is possible to broadcast more programs by effectively using limited transmission media (both wireless and wired). It is becoming. Similarly, with regard to material transmission in a broadcaster, the use fee of a transponder when using a satellite line is expensive, and compressing the occupied band has great economic merit. The same applies to material transmission using terrestrial waves. The same applies when a commercial wired line is used. Therefore, in the case of transmission from the interview site to the station, or in the inter-station transmission from the station to the station, it is significant to use the MPEG stream.
次に、局内などでMPEGなどの圧縮技術を映像素材に適用するメリットの主たるものは、映像素材アーカイバ/サーバの容量の節約である。ノンリニア編集が必要とされていなかった時代には、ランニングコストの安いテープ上に映像素材をアーカイブしておけばこと足りたが、ノンリニア編集の必要性が求められる現在においては、ノンリニア記録媒体(ハードディスク、DVDなど)の記録容量を節約することが必須である。 Next, the main merit of applying compression technology such as MPEG to video material in a station or the like is to save the capacity of the video material archiver / server. In the era when non-linear editing was not required, it was sufficient to archive the video material on a tape with low running costs. However, at the present time when non-linear editing is required, non-linear recording media (hard disks It is essential to save the recording capacity of DVD, etc.).
ここで、図15を参照して、MPEG規格に従った伝送システムの概略について説明する。伝送システムは、エンコーダ110側のビデオデータに関連した構成として、入力されるビデオデータDv を符号化し、ビデオエレメンタリストリームESを出力するビデオエンコーダ111と、このビデオエンコーダ111から出力されるビデオエレメンタリストリームESをパケット化し、ヘッダ等を付加してビデオパケッタイズドエレメンタリストリームPESを出力するパケッタイザ112とが設けられている。また、オーディオデータに関連する構成として、入力されるオーディオデータDA を符号化し、オーディオエレメンタリストリームESを出力するオーディオエンコーダ113と、このオーディオエンコーダ113から出力されるオーディオエレメンタリストリームESをパケット化し、ヘッダ等を付加してビデオパケッタイズドエレメンタリストリームPESを出力するパケッタイザ114とが設けられている。さらに、パケッタイザ112および114からのエレメンタリストリームを多重化し、188バイト長のトランスポートストリームパケットを作成し、トランスポートストリームTSとして出力するマルチプレクサ115とが設けられている。
Here, an outline of a transmission system according to the MPEG standard will be described with reference to FIG. Transmission system, a configuration associated with the
図15に示す伝送システムの復号側120には、伝送媒体116を介して受け取ったトランスポートストリームをビデオPESとオーディオPESに分離して出力するデマルチプレクサ121が設けられる。ビデオPESおよびオーディオPESのパケットをそれぞれ分解するデパケッタイザ122、124と、デパケッタイザ122、124からのビデオESおよびオーディオESをそれぞれ復号するビデオデコーダ123、オーディオデコーダ125とが設けられている。ビデオデコーダ123からは、ベースバンドのビデオ信号Dv 、オーディオ信号DA が出力される。このような復号側120は、IRD(Integrated Receiver/Decoder) と呼ばれる。
The
ビデオデータを中心に、図15に示すシステムの動作について説明する。まず、符号化装置110側では、各ピクチャが同じビット量を持つ入力ビデオデータDv は、ビデオエンコーダ111により符号化され、各ピクチャ毎に、その冗長度に応じたビット量に変換され、ビデオエレメンタリストリームとして出力される。パケッタイザ112は、ビデオエレメンタリストリームを、時間軸上のビット量の変動を吸収して(平均化して)パケット化し、ビデオパケッタイズドエレメンタリストリームとして出力する。トランスポートストリームマルチプレクサ115は、ビデオパケッタイズドエレメンタリストリームとパケッタイザ114から出力されるオーディオパケッタイズドエレメンタリストリームとを多重化してトランスポートストリームパケットを作成し、トランスポートストリームTSとして、伝送媒体116を介して復号化装置120に送る。
The operation of the system shown in FIG. 15 will be described focusing on video data. First, the
復号化装置120側では、トランスポートストリームデマルチプレクサ121によって、トランスポートストリームがビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとに分離される。デパケッタイザ122は、ビデオパケッタイズドエレメンタリストリームをデパケット化し、ビデオエレメンタリストリームとして出力し、ビデオデコーダ123がビデオエレメンタリストリームを復号して、ビデオデータDv を出力する。
On the
復号化装置120は、固定レートの到達ストリームから、再生ピクチャ毎の可変ビット量の引き出しを行うための制御を、例えば1.75MビットのVBV(Video Buffering Verifier)バッファを用いて行う。従って、符号化装置110側では、このVBVバッファをオーバーフローまたはアンダーフローさせないように、各ピクチャのビット発生量を制御する必要がある。このような制御がVBVバッファ処理と称される。
The
上述したように、多チャンネル化に代表される限られた伝送資源の有効活用や、回線使用のランニングコストの面から符号化ストリームの活用は、非常に魅力的である。しかしながら、一方で高能率の圧縮方式であるMPEGストリームであるがゆえの制約が存在し、放送素材にMPEGを広く活用することができない問題があった。 As described above, the effective use of limited transmission resources represented by the increase in the number of channels and the use of coded streams are very attractive from the viewpoint of the running cost of using a line. However, on the other hand, there are limitations due to the MPEG stream, which is a highly efficient compression method, and there is a problem that MPEG cannot be widely used for broadcast materials.
MPEGの圧縮技術としてのいくつかの特徴を述べると、第1に、MPEGでは、GOP(Group Of Picture)単位のフレーム相関を用いてコーディングを行なっている。第2に、MPEGで符号化した結果の各ピクチャが可変長のビット長を持つ。第3に、MPEG2では、伝送先のIRDが持つバッファの条件を満足するように、ビットレートコントロール(VBVバッファの処理)を行なっている。第4に、MPEG2エンコードが最終的に伝送を目的とする場合、伝送路の容量にあわせてビットレートコントロールが行われている。 To describe some characteristics as MPEG compression technology, first, MPEG performs coding using frame correlation in units of GOP (Group Of Picture). Second, each picture resulting from MPEG encoding has a variable length bit length. Third, in MPEG2, bit rate control (VBV buffer processing) is performed so as to satisfy the buffer conditions of the transmission destination IRD. Fourth, when MPEG2 encoding is finally intended for transmission, bit rate control is performed in accordance with the capacity of the transmission path.
上述したMPEGの特徴によって、MPEGビットストリームを受け取って編集を行う時には、問題が発生する。すなわち、フレーム単位に編集を行なう場合には、MPEGストリームをMPEG復号で一度ベースバンドに戻してから、編集を行なう必要がある。ベースバンドで編集してから、再度符号化を行なってMPEGストリームを得る。従って、スイッチングを含め編集作業のたびに、復号、符号化を繰り返すことになる。通常、ベースバンド−MPEGストリーム間の復号、符号化チェインは、大きな画質劣化を伴う。また、符号化ビットストリームの任意の位置でスイッチングを行なう場合、それがたとえ符号化単位の切れ目、具体的にはGOP間の相関を利用しないクローズドGOP構造であっても、バッファコントロールの連続性が途切れる。それによって、VBVバッファ制約を満たせないことになり、その結果、アンダーフロー、オーバーフローによって復号後の映像にフリーズや画像破裂が生じる。 Due to the above-described MPEG characteristics, a problem occurs when an MPEG bitstream is received and edited. That is, when editing is performed in units of frames, it is necessary to edit the MPEG stream after returning it to baseband by MPEG decoding. After editing in the baseband, encoding is performed again to obtain an MPEG stream. Therefore, decoding and encoding are repeated each time editing is performed including switching. Usually, decoding and coding chains between baseband and MPEG streams are accompanied by large image quality degradation. Also, when switching is performed at an arbitrary position in the encoded bit stream, even if it is a gap between encoding units, specifically, a closed GOP structure that does not use the correlation between GOPs, the continuity of buffer control is improved. I am interrupted. As a result, the VBV buffer constraint cannot be satisfied, and as a result, freeze or image burst occurs in the decoded video due to underflow or overflow.
これら問題点があるために、MPEGストリームによる編集は、事実上不可能であると考えられていた。したがって、送出する放送形態がMPEGによる圧縮多チャンネル放送であっても、ベースバンドの素材を編集した後に、放送最終段でMPEGに符号化する手段がとられていた。また、オリジナルの素材がMPEGストリームである場合には、MPEGストリームを復号をした後のベースバンド信号を従来のベースバンド編集器で編集を行っていた。そのため、編集処理後の素材劣化がはなはだしい問題があった。さらに、ゲイン調整などの特殊効果、放送局のロゴなどの挿入だけをとってもMPEGストリームが利用できない問題があった。 Because of these problems, editing with an MPEG stream has been considered virtually impossible. Therefore, even if the broadcast form to be transmitted is compressed multi-channel broadcast by MPEG, means for encoding to MPEG at the final stage of the broadcast after editing the baseband material has been taken. When the original material is an MPEG stream, the baseband signal after decoding the MPEG stream is edited by a conventional baseband editor. For this reason, there has been a serious problem of material deterioration after the editing process. Furthermore, there is a problem that the MPEG stream cannot be used even if only special effects such as gain adjustment and insertion of a broadcast station logo are taken.
このような問題点について、放送局内の編集システムのいくつかの例に基づいてより具体的に説明する。図16は、MPEGストリームアーカイバを持つ、マスターサーバと、編集スタジオのインターフェースを示し、局内伝送は、ベースバンドである。図16において、101は、局内のマスターアーカイバ/サーバを示している。アーカイバ/サーバ101は、ノンリニアアーカイバで、容量を削減するために、MPEG圧縮ストリームによる素材を蓄積部に蓄積する。アーカイバとサーバは、共に映像素材を蓄積するものであり、アーカイバが蓄積専用の装置であるのに対して、サーバは、外部からの要求に従って映像素材を出力する装置である。この発明は、映像蓄積部としての機能を共通に有するので、アーカイバとサーバのいずれに対しても適用でき、その意味でアーカイバ/サーバの用語を使用している。
Such a problem will be described more specifically based on some examples of editing systems in a broadcasting station. FIG. 16 shows an interface between a master server having an MPEG stream archiver and an editing studio, and intra-station transmission is baseband. In FIG. 16,
アーカイバ/サーバ101には、蓄積部からのMPEGストリームを復号するMPEGデコーダが設けられている。MPEGデコーダにより形成されたベースバンドのビデオデータS1およびS2が編集スタジオ102に入力される。局内伝送路の伝送プロトコルは、ベースバンドである。編集スタジオ102では、ビデオデータS1およびS2を接続するような編集(スプライス編集、ABロール等)が行われ、編集処理後のビデオデータS3(ベースバンド信号)がアーカイバ/サーバ103に入力される。アーカイバ/サーバ103には、MPEGエンコーダが設けられており、編集結果がMPEGストリームとして、蓄積部に保管される。
The archiver /
図17は、編集スタジオ102の一例の構成を示す。ベースバンドのビデオデータは、データ容量が大きい(ビットレートが高い)ために、記録媒体としてテープ状媒体が使われる。すなわち、ビデオデータS1がリニアストレージ104aに記録され、ビデオデータS2がリニアストレージ104bに記録される。そして、これらのリニアストレージ104aおよび104bをプレーヤとし、ビデオデータSaおよびSbがエディタおよびスイッチャ105に供給され、エディタおよびスイッチャ105からの編集結果のビデオデータScがレコーダとしてのリニアストレージ104cに記録される。リニアストレージ104cから編集後のビデオデータS3が出力される。
FIG. 17 shows an exemplary configuration of the
編集スタジオ102は、図18に示すように、ノンリニア記録媒体(ハードディスク、光ディスク等)を使用するノンリニアストレージ106a、106b、106cで構成することも可能である。しかしながら、ベースバンド信号をノンリニア記録媒体で扱うには容量が大きく高価であり、編集スタジオ単位に置くようにした図18に示す構成は、現実的ではない。また、図16に示す編集システムは、編集のたびに復号、符号化チェインが発生し、それによって、素材の画質劣化が発生し、また、この劣化の累積を招く。
As shown in FIG. 18, the
図19は、局内の伝送路の伝送プロトコルをMPEGストリームにした場合のマスターサーバと編集スタジオのインターフェースを示す。アーカイバ/サーバ131および133には、MPEGストリームの素材が蓄積される。アーカイバ/サーバ131は、MPEGストリームを編集スタジオ132に対して出力し、アーカイバ/サーバ131には、編集スタジオ132からMPEGストリームが入力されるので、これらは、MPEGデコーダ、MPEGエンコーダを備えない。MPEGストリームで、映像素材を伝送することによって、2以上の映像素材をストリームTS1、TS2として多重化することができる。このような多チャンネル化によって、伝送路を有効活用できる。なお、ストリームTS1、TS2は、エレメンタリストリームおよびトランスポートストリームの何れであっても良い。
FIG. 19 shows the interface between the master server and the editing studio when the transmission protocol of the transmission path in the station is MPEG stream. Archiver /
図19のシステムにおける編集スタジオ132の一例および他の例を図20および図21にそれぞれ示す。図20の例は、ストリームTS1からストリームTS1aおよびTS1bを分離し、ストリームTS1aおよびTS1bをMPEGデコーダ134aおよび134bによって、それぞれベースバンド信号に変換する。これらのベースバンド信号をリニアストレージ135aおよび135bにそれぞれ記録する。リニアストレージ135a、135bをプレーヤとして得られたベースバンドのビデオデータSaおよびSbがベースバンドエディタおよびスイッチャ136に入力される。ベースバンドエディタおよびスイッチャ136からの編集結果のビデオデータScがレコーダとしてのリニアストレージ135cにより記録される。リニアストレージ135cからのビデオデータがMPEGエンコーダ134cによってMPEGストリームTS2として出力される。
An example and another example of the
図21に示す編集スタジオ132の他の例は、リニアストレージ135a、135bの代わりにノンリニアストレージ137a、137b、137cを使用したものである。図21に示すシステムも、局内伝送路を多チャンネル化が容易なMPEGストリームで構成できる。しかしながら、図20および図21の構成は、編集のたびに復号、符号化チェインが発生し、毎回無視し得ない、素材の画質劣化が発生し、また、この画質劣化の累積を招く。また、ベースバンド信号をノンリニア記録媒体で扱うには容量が大きく高価であり、編集スタジオ単位に置くようにした図21に示す構成は、現実的ではない。
Another example of the
このような復号−符号化チェインにより生じる素材劣化を避けたい場合、当然のことながらベースバンド素材で素材アーカイブを行なうことになる。この場合には、映像素材のデータ量が多くなり、ノンリニア記録媒体に映像素材を蓄積することが難しくなる。 When it is desired to avoid material deterioration caused by such a decoding-encoding chain, naturally, material archiving is performed with baseband material. In this case, the data amount of the video material increases, and it becomes difficult to store the video material on the non-linear recording medium.
上述のように、素材劣化の問題と記録容量の問題を解決する手段として、ストリーム上で編集可能なことが望ましい。しかしながら、ストリームにおける編集を行うには、前述したように、MPEGストリームの特徴に基づく問題が生じる。この問題を解決するために、いくつかの方法が考えられる。まず、オーバーフローに対応するためには、ピクチャ単位のビット量をカウントしてVBVバッファをシミュレートしてダミーデータを挿入することで解決する。しかしアンダーフローの場合は、補正のしようが無くフリーズするしかない。 As described above, it is desirable that editing is possible on a stream as a means for solving the problem of material deterioration and the problem of recording capacity. However, when editing in a stream, there is a problem based on the characteristics of the MPEG stream as described above. There are several ways to solve this problem. First, in order to cope with the overflow, the bit amount for each picture is counted, the VBV buffer is simulated, and dummy data is inserted. However, in the case of underflow, there is no choice but to freeze.
一方、符号化時にあらかじめスイッチング点を決めておいて、その場所が規定のバッファ占有量になるようにビットレートコントロールするという方法が在り、この方法を使えば、VBVバッファの問題は解決する。しかし、あらかじめ符号化前に決められたスイッチング点でのみ解決可能であって、適用範囲が限られる。 On the other hand, there is a method in which a switching point is determined in advance at the time of encoding, and the bit rate is controlled so that the location becomes a prescribed buffer occupancy. If this method is used, the problem of the VBV buffer is solved. However, it can be solved only at a switching point determined in advance before encoding, and the application range is limited.
また、復号−符号化チェインによる画質劣化の問題を解決するために、ストリームを一度復号して其の際に取り出した符号化、復号に必要な情報(コーディック情報と称する)をベースバンドに多重化して、再符号化時に、コーデック情報を再利用し画像の再構築の精度を高めるトランスコーディングが提案されている。コーデック情報には、動きベクトルの情報、量子化ステップ、ピクチャタイプ等の情報が含まれる。 Also, in order to solve the problem of image quality degradation due to the decoding-encoding chain, the information necessary for encoding and decoding (referred to as codec information) extracted once at the time of decoding the stream is multiplexed to the baseband. Thus, transcoding has been proposed in which codec information is reused during re-encoding to improve the accuracy of image reconstruction. The codec information includes information such as motion vector information, quantization step, and picture type.
コーデック情報は、少なくない情報量である。従って、ベースバンド信号には、コーディック情報を多重するのに十分な補助的な領域がなく、多重できない残りコーディック情報は、有効画像領域へ多重化するか、別回線で伝送せざるをえない。 The codec information is a small amount of information. Therefore, the baseband signal does not have an auxiliary area sufficient to multiplex codec information, and the remaining codec information that cannot be multiplexed must be multiplexed into an effective image area or transmitted through another line.
図22は、編集のたびに復号−符号化チェインが発生し、毎回無視し得ない、素材の画質劣化の累積を招くことを解決するために、トランスコーディングを使って編集スタジオを構成した例である。図22では、コーデック情報を素材信号線と別径路で送る構成である。ストリームTS1aおよびTS1bをMPEGデコーダ134aおよび134bによって、それぞれベースバンド信号に変換し、ベースバンドのビデオデータSaおよびSbがベースバンドエディタおよびスイッチャ136に入力され、ベースバンドエディタおよびスイッチャ136からの編集結果のビデオデータScがMPEGエンコーダ134cによってMPEGストリームTS2として再符号化される。
FIG. 22 shows an example in which an editing studio is configured using transcoding in order to solve the problem that a decoding-encoding chain is generated each time editing is performed and the accumulation of image quality deterioration of the material, which cannot be ignored each time, is caused. is there. In FIG. 22, the codec information is sent through a separate path from the material signal line. The streams TS1a and TS1b are converted into baseband signals by the
さらに、MPEGデコーダ134a、134bで利用される、コーデック情報をストリームまたはデコーダ134a、134bから検出する情報検出器141a、141bと、コーデック情報を伝送する信号線142a、142b、142cと、コーデック情報をエンコーダ134cで利用するための情報見積器144と、コーデック情報とベースバンドエディタおよびスイッチャ136の編集情報を有機的に結合するコーデック情報アダプタ143が設けられる。
Furthermore,
このように、別回線でコーディック情報を伝送する場合、エディタおよびスイッチャ136が編集を行うと共に、他に別系統で送られたコーディック情報を扱うために、コーデック情報アダプタ143のような特別の構成を付加する必要がある。つまり、ベースバンド信号を扱う既存の編集スタジオを利用できない問題が生じる。
In this way, when codec information is transmitted through another line, the editor and
図23は、この問題を解決するために、コーデック情報をベースバンドの有効信号エリアに多重するようにした編集スタジオの構成を示す。コーデック情報を入力ストリームTS1aおよびTS1bまたはまたはデコーダ134a、134bからそれぞれ検出する情報検出器141aおよび141bが設けられる。検出されたコーデック情報がインポーザ145aおよび145bにおいて、ベースバンドのビデオデータSaおよびSbに対してそれぞれ多重化される。コーデック情報が多重化されたベースバンド信号がベースバンドエディタおよびスイッチャ136に入力される。多重化の方法の一例は、ビデオデータの各サンプルの最下位ビットとして、コーデック情報をランダムに重畳するものを採用できる。
FIG. 23 shows a configuration of an editing studio in which codec information is multiplexed in a baseband effective signal area in order to solve this problem.
ベースバンドエディタおよびスイッチャ136から出力されるビデオデータには、コーデック情報が多重化されている。このビデオデータがセパレータ146に供給され、コーデック情報が分離される。セパレータ146からのビデオデータScがMPEGエンコーダ134cにおいて再符号化される。再符号化の時に、セパレータ146からのコーデック情報が利用される。
Codec information is multiplexed in the video data output from the baseband editor and
図24は、図23の構成に対して、ストリームTS1を一旦記録し、再生したストリームをMPEGデコーダ134aおよび134bに対して出力するノンリニアストレージ147と、MPEGエンコーダ134cから再符号化されたストリームを記録するノンリニアストレージ148とを付加したものである。
24 records the stream TS1 once recorded and the
図23または図24に示すように、コーデック情報をベースバンド信号に多重化して伝送する構成は、ベースバンドエディタおよびスイッチャ136がコーデック情報アダプタのような特別な装置を持つ必要がない。しかしながら、有効映像信号区間にコーデック情報を挿入するという手法は、ランダムデータに変換して多重を行なったとしても、映像に歪みをあたえ、S/Nを損なう。
As shown in FIG. 23 or FIG. 24, the baseband editor and
図23または図24の構成は、ベースバンドの信号にコーデック情報を多重化する場合、編集スタジオ内に多重化のための構成を設置するものである。一方、アーカイバ/サーバ内にコーデック情報の多重化、分離の構成を設けるようにした構成例を図25に示す。アーカイバ/サーバ151内に、蓄積部154からのMPEGストリームを復号するMPEGデコーダ155a、155bと、ストリームからコーデック情報を検出する情報検出器156a、156bと、ベースバンドのビデオデータに対してコーデック情報を多重化するインポーザ157a、157bが設置される。
The configuration shown in FIG. 23 or FIG. 24 is to install a configuration for multiplexing in an editing studio when codec information is multiplexed into a baseband signal. On the other hand, FIG. 25 shows a configuration example in which codec information multiplexing and demultiplexing configurations are provided in the archiver / server. Within the archiver /
コーデック情報が多重化されたベースバンドのビデオデータS11およびS12が編集スタジオ152に入力される。編集スタジオ152は、ベースバンド信号を扱うもので、前述した図24に示す構成と同様に、リニアストレージとベースバンドエディタおよびスイッチャから構成される。
Baseband video data S11 and S12 in which the codec information is multiplexed are input to the
編集結果のビデオデータを蓄えるアーカイバ/サーバ153には、編集スタジオ152からのコーデック情報が多重化されたベースバンドのビデオデータS13が入力される。セパレータ158によってコーデック情報が分離され、MPEGエンコーダ159では、このコーデック情報を使用して再符号化を行う。MPEGエンコーダ159からのストリームが蓄積部160に蓄積される。
Baseband video data S13 in which codec information from the
しかしながら、図25の構成は、実際には、正しく機能せず、誤接続となる。すなわち、編集スタジオ152では、ベースバンド用途のVTR(Video Tape Recorder) 等の既に普及している記録媒体にビデオデータを記録するようになされる。当然のことながら、既存のVTRは、コーデック情報を取り出してそれを保存し次段に伝える機能をサポートしていない。さらに、現在普及している、殆どのディジタルVTRは、MPEGと異なる圧縮方式を採用するので、有効信号領域に多重した情報がビデオデータと同様に、圧縮・伸長の処理を受ける。コーディック情報も同様の処理を受け、それによって歪みを受けることになるため、コーデック情報として利用できない。例えばビデオデータの最下位ビットにコーデック情報を重畳しても、最下位ビットがVTRの圧縮・伸長の処理によって変化する。
However, the configuration of FIG. 25 actually does not function correctly and results in incorrect connection. That is, in the
一方、図23または図24の構成は、ストリームを伝送する構成とし、編集スタジオ内にMPEGデコーダ、再符号化用のエンコーダ等の付加的構成要素を設置して、コーデック情報が多重化されたベースバンド信号と既存のVTRとのインターフェースの可能性を排除している。しかしながら、上述したように、有効映像信号区間にコーデック情報を挿入することによって、映像に歪みが与えられ、S/Nを損なう問題を解決することができない。 On the other hand, the configuration of FIG. 23 or FIG. 24 is a configuration for transmitting a stream, and an additional component such as an MPEG decoder, a re-encoding encoder, etc. is installed in an editing studio, and a base on which codec information is multiplexed. It eliminates the possibility of interfacing band signals with existing VTRs. However, as described above, by inserting the codec information in the effective video signal section, the video is distorted and the problem of impairing the S / N cannot be solved.
従って、この発明の一つの目的は、蓄積媒体、伝送媒体を有効に活用することができ、また、画質の劣化を抑えることができ、さらに、既存のベースバンド編集器を使うことが可能な編集システム、編集制御装置および編集制御方法を提供することにある。 Accordingly, an object of the present invention is to make effective use of storage media and transmission media, to suppress deterioration of image quality, and to enable editing using an existing baseband editor. A system, an edit control device, and an edit control method are provided.
この発明の他の目的は、編集器から編集位置情報をもらう必要がなく、編集位置を検出することができる編集システム、編集制御装置および編集制御方法を提供することにある。 Another object of the present invention is to provide an editing system, an editing control apparatus, and an editing control method capable of detecting an editing position without having to receive editing position information from an editor.
この発明のさらに他の目的は、ピクチャよりきめ細かい単位で、再符号化のためのコーデック情報を利用することができ、再符号化による画質の劣化が防止された編集システム、編集制御装置および編集制御方法を提供することにある。 Still another object of the present invention is to provide an editing system, an editing control apparatus, and an editing control in which codec information for re-encoding can be used in a finer unit than a picture, and deterioration of image quality due to re-encoding is prevented. It is to provide a method.
請求項1の発明は、ベースバンド信号の編集を行う編集器と、編集器に対して接続される編集制御装置とからなり、
編集制御装置は、
素材が符号化された第1の符号化ビットストリームを復号し、第1のベースバンド信号を出力する第1の復号手段と、
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を編集器に対して出力する第2の復号手段と、
編集器からの第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、第1および第2の復号手段で使用されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と、
他の装置から受け取った編集位置情報に基づいて、符号化手段において利用されるコーデック情報を選択する制御手段と
からなることを特徴とする編集システムである。
The invention of
Edit control device
First decoding means for decoding a first encoded bitstream encoded with a material and outputting a first baseband signal;
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
The third baseband signal resulting from editing the first and second baseband signals from the editor is re-encoded using the codec information used in the first and second decoding means, Encoding means for outputting three encoded bitstreams;
An editing system comprising: control means for selecting codec information used in the encoding means based on editing position information received from another apparatus.
請求項8の発明は、素材が符号化された第1の符号化ビットストリームを復号し、第1のベースバンド信号を出力する第1の復号手段と、
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を編集器に対して出力する第2の復号手段と、
編集器からの第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、第1および第2の復号手段で使用されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と、
編集位置情報に基づいて、符号化手段において利用されるコーデック情報を選択する制御手段と
からなる編集制御装置である。
Invention of Claim 8 decodes the 1st encoding bit stream by which the material was encoded, The 1st decoding means which outputs a 1st baseband signal,
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
The third baseband signal resulting from editing the first and second baseband signals from the editor is re-encoded using the codec information used in the first and second decoding means, Encoding means for outputting three encoded bitstreams;
An editing control apparatus comprising control means for selecting codec information used in the encoding means based on the editing position information.
請求項15の発明は、第1の素材が符号化された第1の符号化ビットストリームおよび第2の素材が符号化された第2の符号化ビットストリームが入力され、
第1および第2の符号化ビットストリームをそれぞれ復号した第1および第2のベースバンド信号を編集器に対して送出し、
編集器からの第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を受け取り、
他の装置から受け取った編集位置情報に基づいて、第1および第2の符号化ビットストリームを復号するのに使用されたコーデック情報中の必要なコーデック情報を選択し、
選択したコーデック情報を利用して第3のベースバンド信号を再符号化し、第3の符号化ビットストリームを出力することを特徴とする編集制御方法である。
In the invention of claim 15, a first encoded bit stream in which the first material is encoded and a second encoded bit stream in which the second material is encoded are input,
Sending first and second baseband signals obtained by decoding the first and second encoded bitstreams to the editor;
Receiving a third baseband signal resulting from editing the first and second baseband signals from the editor;
Selecting the required codec information in the codec information used to decode the first and second encoded bitstreams based on the editing position information received from the other device;
An edit control method characterized by re-encoding a third baseband signal using selected codec information and outputting a third encoded bitstream.
請求項16の発明は、ベースバンド信号の編集を行う編集器と、編集器に対して接続される編集制御装置とからなり、
編集制御装置は、
素材が符号化された第1の符号化ビットストリームを復号し、第1のベースバンド信号を出力する第1の復号手段と、
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を編集器に対して出力する第2の復号手段と、
第1および第2のベースバンド信号と第3のベースバンド信号を位相を合わせて比較することによって、編集位置を検出する比較手段と、
編集位置の情報に基づいて、再符号化において利用されるコーデック情報を選択する制御手段と、
編集器からの第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、選択されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と
からなることを特徴とする編集システムである。
The invention of
Edit control device
First decoding means for decoding a first encoded bitstream encoded with a material and outputting a first baseband signal;
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
Comparing means for detecting the editing position by comparing the first and second baseband signals with the third baseband signal in phase;
Control means for selecting codec information used in re-encoding based on the information of the editing position;
The third baseband signal resulting from editing the first and second baseband signals from the editor is re-encoded using the selected codec information, and a third encoded bit stream is output. An editing system characterized by comprising encoding means.
請求項19の発明は、素材が符号化された第1の符号化ビットストリームを復号し、第1のベースバンド信号を出力する第1の復号手段と、
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を編集器に対して出力する第2の復号手段と、
第1および第2のベースバンド信号と第3のベースバンド信号を位相を合わせて比較することによって、編集位置を検出する比較手段と、
編集位置の情報に基づいて、再符号化において利用されるコーデック情報を選択する制御手段と、
編集器からの第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、選択されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と
からなる編集制御装置である。
The invention according to claim 19 is a first decoding means for decoding a first encoded bitstream encoded with a material and outputting a first baseband signal;
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
Comparing means for detecting the editing position by comparing the first and second baseband signals with the third baseband signal in phase;
Control means for selecting codec information used in re-encoding based on the information of the editing position;
The third baseband signal resulting from editing the first and second baseband signals from the editor is re-encoded using the selected codec information, and a third encoded bit stream is output. An editing control device comprising encoding means.
請求項22の発明は、第1の素材が符号化された第1の符号化ビットストリームおよび第2の素材が符号化された第2の符号化ビットストリームが入力され、
第1および第2の符号化ビットストリームをそれぞれ復号した第1および第2のベースバンド信号を編集器に対して送出し、
第1および第2のベースバンド信号と、第1および第2のベースバンド信号を復号する時に使用したコーデック情報とを保存し、
編集器からの第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を受け取り、
第1および第3のベースバンド信号を位相を合わせた状態で比較すると共に、第2および第3のベースバンド信号を位相を合わせた状態で比較することによって、編集位置を検出し、
検出された編集位置に基づいて、第3のベースバンド信号を再符号化するために利用するコーデック情報を選択し、
選択されたコーデック情報を用いて第3のベースバンド信号を再符号化することによって、第3の符号化ビットストリームを出力することを特徴とする編集制御方法である。
According to the invention of
Sending first and second baseband signals obtained by decoding the first and second encoded bitstreams to the editor;
Storing the first and second baseband signals and the codec information used when decoding the first and second baseband signals;
Receiving a third baseband signal resulting from editing the first and second baseband signals from the editor;
Detecting the editing position by comparing the first and third baseband signals in phase and comparing the second and third baseband signals in phase;
Based on the detected editing position, select codec information to be used for re-encoding the third baseband signal;
An edit control method characterized in that a third encoded bit stream is output by re-encoding a third baseband signal using selected codec information.
この発明では、編集制御装置の入出力信号形態を符号化ビットストリームとしているので、複数の映像素材の符号化データを多重化することが容易であり、伝送媒体を有効に利用できる。また、編集制御装置は、編集器とベースバンド信号でインターフェースし、また、ベースバンド信号には、コーデック情報が多重化されない。しかも、トランスコーディングのための利用されるコーデック情報を別の信号線で伝送する必要がなく、信号線の増加を防止できると共に、編集器がコーデック情報を扱うための装置を備える必要がない。これらの点から、編集器として既存のベースバンド編集装置を手を加えることなく使用できる。 In the present invention, since the input / output signal form of the editing control apparatus is an encoded bit stream, it is easy to multiplex encoded data of a plurality of video materials, and the transmission medium can be used effectively. The editing control apparatus interfaces with the editor using a baseband signal, and codec information is not multiplexed in the baseband signal. In addition, it is not necessary to transmit the codec information used for transcoding on another signal line, it is possible to prevent an increase in the number of signal lines, and it is not necessary for the editor to have a device for handling the codec information. From these points, an existing baseband editing apparatus can be used as an editor without any modification.
また、編集器に対して出力した第1および第2のベースバンド信号と、編集器からの戻りの第3のベースバンド信号とを位相を合わせた状態で比較することによって、編集位置を検出することができる。従って、編集器との間で、編集位置情報を伝送する線を省略でき、また、編集位置情報をストリームの時間軸に翻訳する必要がない。 The editing position is detected by comparing the first and second baseband signals output to the editor and the third baseband signal returned from the editor in phase. be able to. Therefore, a line for transmitting edit position information to and from the editor can be omitted, and it is not necessary to translate the edit position information into the stream time axis.
さらに、再符号化のためのコーデック情報の利用の可否をピクチャ単位のみならず、ブロック単位で判別できる。従って、編集点のピクチャが二つのオリジナル素材が混在するものであっても、再符号化による画質の劣化を抑えることができる。 Further, whether or not the codec information for re-encoding can be used can be determined not only in units of pictures but also in units of blocks. Therefore, even if the picture at the editing point is a mixture of two original materials, it is possible to suppress deterioration in image quality due to re-encoding.
この発明による編集制御装置は、アーカイバ/サーバ等との間の入力/出力インターフェースが符号化ストリームであり、編集器とのインターフェースは、ベースバンドであり、また、トランスコーディングによって、復号−符号化チェインによる画質劣化が最小限とできる。トランスコーディングのための再符号化情報をベースバンド信号に付加して外部編集機器、ストレージ機器に送る必要が無いため、外部機器に何ら影響をもたらすことなく編集を可能にする。従って、映像素材等の素材をストリームで蓄えることができる。また、局内、スタジオ内に導入されている既存の編集器の構成を変える必要がない。ユーザから見ると、編集器および編集制御装置からなる編集システムは、ストリーム上の編集を行っているが、編集システムの内部では、ベースバンドの編集がされている。 In the editing control apparatus according to the present invention, an input / output interface with an archiver / server or the like is an encoded stream, an interface with an editor is a baseband, and a decoding-encoding chain is obtained by transcoding. Degradation of image quality due to can be minimized. Since there is no need to add re-encoding information for transcoding to the baseband signal and send it to an external editing device or storage device, editing can be performed without affecting the external device. Accordingly, it is possible to store materials such as video materials in a stream. Also, there is no need to change the configuration of existing editors installed in the office or studio. When viewed from the user, an editing system including an editor and an editing control apparatus performs editing on a stream, but baseband editing is performed inside the editing system.
また、ベースバンド信号と、ビットストリームを関係付けを行なうことによって、必要最小限のピクチャに対してトランスコーディングを行ない、該当ビットストリームとスイッチングを行ない、変換による歪みを最小限にすることが可能である。さらに、圧縮素材で受けたものは、圧縮素材で、蓄積、編集を行い、ベースバンド素材で受けたものは、ベースバンド素材で、蓄積、編集を行なうという切り分けができる。 In addition, by associating the baseband signal with the bit stream, it is possible to perform transcoding for the minimum required picture, perform switching with the corresponding bit stream, and minimize distortion due to conversion. is there. Furthermore, it is possible to classify what is received with the compressed material by storing and editing with the compressed material, and what is received with the baseband material is stored and edited with the baseband material.
また、この発明は、編集システムがMPEGストリームをそのまま扱うので、既に局内に施設されているネットワーク線の多チャンネル化が実現し、局内の素材伝送資源を有効に利用できる。さらに、現在の地上波放送に見られる本局対地方局の関係、CATVに見られるケーブルオペレータとヘッドエンド局との関係を考えた場合、この発明によれば、メイン局から送られてきた放送素材のCMとローカルCMの差し替えを行なったり、局のロゴを挿入する作業をほとんど劣化なくビットストリーム上で行うことができる。 Further, according to the present invention, since the editing system handles the MPEG stream as it is, it is possible to increase the number of network lines already installed in the station and to effectively use the material transmission resources in the station. Furthermore, when considering the relationship between the main station and local stations found in current terrestrial broadcasting, and the relationship between cable operators and headend stations found in CATV, according to the present invention, broadcast material sent from the main station The work of replacing the local CM and the local CM and inserting the logo of the station can be performed on the bitstream with almost no deterioration.
よりさらに、この発明では、他の実施形態について説明したように、符号化ビットストリームを復号したベースバンド信号を編集し、編集結果のベースバンド信号を再符号化してストリームとして出力する時に、編集位置情報を編集器から貰う必要がない。従って、編集位置情報を伝送するための伝送線を省略でき、また、タイムコードで表された編集情報をストリームの時間軸上に翻訳する処理等を省略することができる。 Furthermore, in the present invention, as described in the other embodiments, when editing a baseband signal obtained by decoding an encoded bitstream, re-encoding the baseband signal as a result of editing and outputting it as a stream, the editing position There is no need to get information from the editor. Therefore, the transmission line for transmitting the editing position information can be omitted, and the process of translating the editing information represented by the time code on the time axis of the stream can be omitted.
また、この発明は、他の実施形態について説明したように、トランスコーディングのために、コーデック情報を再利用する場合に、ピクチャ単位のみならず、マクロブロックのようなより細かい単位で、コーデック情報を選択することができる。従って、編集点の画像が二つ以上のオリジナル素材が混在する場合でも、再符号化による画質の劣化を抑えることができる。 In addition, as described in the other embodiments, when reusing codec information for transcoding, the present invention provides codec information not only in picture units but also in finer units such as macroblocks. You can choose. Therefore, even when two or more original materials are mixed in the image of the editing point, it is possible to suppress deterioration in image quality due to re-encoding.
以下、この発明の一実施形態について図面を参照して説明する。図1は、この発明による編集システムの構成を示す。アーカイバ/サーバ1および3は、符号化ビットストリーム例えばMPEGストリームの映像素材をそれぞれ蓄積する蓄積部4および5を備える。MPEGで圧縮されているので、蓄積部4および5としてノンリニア記録媒体が使用できる。アーカイバとサーバは、共に映像素材を蓄積するものであり、アーカイバが蓄積専用の装置であるのに対して、サーバは、外部からの要求に従って映像素材を出力する装置である。この発明は、映像蓄積部としての機能を共通に有するので、アーカイバとサーバのいずれに対しても適用でき、その意味でアーカイバ/サーバの用語を使用している。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the configuration of an editing system according to the present invention. The archivers /
また、アーカイバ/サーバ1と編集スタジオ2とアーカイバ/サーバ3の間の伝送路は、符号化ビットストリーム例えばMPEGストリームを伝送するようになされる。それによって、複数のチャンネルの多重化が可能となり、伝送資源を有効に利用できる。すなわち、アーカイバ/サーバ1からのストリームTS1には、二つ以上のオリジナルのビデオ/オーディオ素材が多重化される。ストリームTS2は、編集結果のストリームであるが、必要に応じて、編集結果と共に、オリジナルの二つ以上のビデオ/オーディオ素材を多重化できる。なお、ストリームTS1、TS2は、トランスポートストリームであるが、エレメンタリストリームまたはパケットタイズドエレメンタリストリームでも良い。
A transmission path among the archiver /
編集スタジオ2は、図2または図3に示す構成とされている。図2に示す例では、ストリームTS1が入力され、ストリームTS2が出力されるスプライサ/トランスコーダ21と、ベースバンド信号のビデオデータSaおよびSbが入力され、ビデオデータScを出力するように、スプライサ/トランスコーダ21とベースバンドのインターフェースを有するベースバンドエディタおよびスイッチャ22とが設けられている。スプライサ/トランスコーダ21が編集制御装置であり、ベースバンドエディタおよびスイッチャ22が編集器である。
The
スプライサ/トランスコーダ21は、基本的には、エディタおよびスイッチャ22に対して出力されるベースバンド信号へ入力ストリームを変換する復号処理と、エディタおよびスイッチャ22からの戻りのベースバンド信号を出力ストリームに変換する再符号化処理とをトランスコーディングにより行うトランスコーダである。但し、後述するように、編集点を含む所定の期間のみトランスコーディングを行い、入力ストリームとトランスコーディングの出力とをスイッチングして出力することも可能である。すなわち、スプライサの機能を持つこともある。従って、スプライサ/トランスコーダと呼ぶことにする。
The splicer /
図3に示す編集スタジオ2の他の例は、アーカイバ/サーバ1からのストリームTS1を記録し、スプライサ/トランスコーダ21に対してストリームTS11を供給するノンリニアストレージ23aと、スプライサ/トランスコーダ21からのストリームTS12を記録し、ストリームTS2を出力するノンリニアストレージ23bを図2の構成に対して付加したものである。
Another example of the
図2および図3から分かるように、スプライサ/トランスコーダ21の入出力信号形態がMPEGストリームであり、多チャンネル化が容易であり、伝送資源を有効利用できる。また、ベースバンドエディタおよびスイッチャ22とは、ベースバンド信号でインターフェースを行なうようになされる。
As can be seen from FIG. 2 and FIG. 3, the input / output signal form of the splicer /
また、スプライサ/トランスコーダ21は、トランスコーディングを行うものであり、再符号化に必要とされるコーデック情報をエディタおよびスイッチャ22に対して出力する必要がない。従って、ベースバンドエディタおよびスイッチャ22として、既存のベースバンド編集装置をそのまま利用して、編集システムの構築が可能となる。
The splicer /
さらに、スプライサおよびトランスコーダ21は、入力されるストリームST1に含まれるMPEGピクチャ(コーデック情報を含む)と、ベースバンド入出力のフレーム(またはフィールド)との関連付けを行なう。スプライサ/トランスコーダ21において規定されたMPEGピクチャとタイムコードとの対応関係に基づくタイムコードは、図では省略されているが、ベースバンドエディタおよびスイッチャ22との間に設けられた双方向の信号線を介して、エディタおよびスイッチャ22が要求する時には、スプライサ/トランスコーダ21からエディタおよびスイッチャ22に対して渡される。すなわち、スプライサ/トランスコーダ21で使用されるMPEGピクチャの時刻管理情報と、エディタおよびスイッチャ22の編集処理に使用される時刻管理情報(タイムコード)とは、1対1に対応するようになされる。
Further, the splicer and
なお、ベースバンドエディタおよびスイッチャ22から、編集後のベースバンド信号Scが戻ってくる時刻は、出力時の時刻にベースバンドエディタおよびスイッチャ22のシステム遅延を加えたものである。再符号化のためのコーデック情報と戻ってきたベースバンド信号Scのフレームとの対応づけは、スプライサ/トランスコーダ21からのベースバンド信号の出力時刻を記録しておけば、簡単に行うことができる。
Note that the time when the edited baseband signal Sc returns from the baseband editor and
さらに、スプライサ/トランスコーダ21は、ベースバンドエディタおよびスイッチャ22から、または、ベースバンドエディタおよびスイッチャ22をコントロールしているホストCPUあるいはコントロールマシンから、従来から活用されているタイムコードによるキュー情報等の編集位置情報を受け取り、MPEGピクチャとの対応づけを行なう。すなわち、スプライサ/トランスコーダ21では、キュー情報をもとに編集フレームの検出を行ない、再符号化時に利用するコーデック情報を選択する。コーデック情報は、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどの情報である。
Further, the splicer /
タイムコードとMPEGピクチャとの対応づけのために、例えば入力ストリーム中に、任意の素材のPTS(Presentation Time Stamp; 再生出力の時刻管理情報)とタイムコードと関連付けを行なうための、PTSとタイムコード間の関係を示す対照テーブルを挿入する。このような対照テーブルを伝送する方法は、種々のものが可能である。例えば、セクション形式の独立パケットでテーブルを伝送する。また、ストリームシンタックス上のエクステンションなどのユーザエリアにテーブルを載せることができる。 For associating the time code with the MPEG picture, for example, the PTS and time code for associating the PTS (Presentation Time Stamp; reproduction output time management information) of the arbitrary material with the time code in the input stream Insert a control table that shows the relationship between them. Various methods can be used for transmitting such a comparison table. For example, the table is transmitted by an independent packet in a section format. In addition, a table can be placed in a user area such as an extension on the stream syntax.
さらに、MPEGピクチャと対応付けられたタイムコード自身をストリーム中に挿入して伝送しても良い。その場合には、対照テーブルが不要である。また、伝送する時間情報は、タイムコードに限らない。編集期間中、十分な時間指定が可能な範囲でタイムコードと1対1に対応するピクチャ用のインデックスを伝送しても良い。さらに、MPEGストリーム上のシンタックス(符号化データ列の規則)であるPTS、ピクチャタイプ、GOP、プルダウンやフィールドフリップに伴うリピートファーストフィールドなどの情報を使うことによってタイムコードによるキュー情報と対応づけを行なうことが可能である。 Furthermore, the time code associated with the MPEG picture itself may be inserted into the stream for transmission. In that case, a comparison table is unnecessary. Further, the time information to be transmitted is not limited to the time code. During the editing period, a time code and a picture index corresponding one-to-one may be transmitted within a range in which sufficient time designation is possible. In addition, the information on the MPEG stream syntax (encoded data string rules) such as PTS, picture type, GOP, pull-down, repeat first field accompanying field flip, etc. are used to associate the queue information with the time code. It is possible to do.
図4は、この発明を放送システムに対して適用した場合の概略的構成を示す。31で示す本局と、複数の地方局32a、32b、32c、32d、・・・が伝送ネットワーク33を介して結合されている。伝送ネットワークを介してMPEGビットストリームが伝送される。MPEGビットストリームにより多チャンネルを多重化して伝送できる。本局31には、通信または放送衛星34からの電波を受信するアンテナ35が設置されている。アンテナ35で受信された番組素材、マイクロ波回線36を介して現場から送られてきたライブ素材、局内のアーカイバ/サーバ41からの番組素材およびCM素材がスプライサ/トランスコーダ42にMPEGストリームの形態でもって入力される。
FIG. 4 shows a schematic configuration when the present invention is applied to a broadcasting system. A main station indicated by 31 and a plurality of
スプライサ/トランスコーダ42は、上述したように、ベースバンドエディタおよびスイッチャ43との間にベースバンドインターフェースを有する。スプライサ/トランスコーダ42は、入力される番組素材をスイッチングして、放送番組(MPEGビットストリーム)を作成する。この放送番組が本局31からネットワーク33を介して地方局32a、32b、・・・に対して配信される。
The splicer /
地方局32aは、本局31から受け取ったMPEGストリームと、CM(コマーシャル)サーバ46aからのCM素材とがスプライサ/トランスコーダ44aに対して入力される。スプライサ/トランスコーダ44aとCM挿入スケジューラ45aとの間は、ベースバンドインターフェースにより結合されている。CMサーバ46aには、地方局32aでCM素材が蓄積されている。CM挿入スケジューラ45aは、本局31から送られてきたプログラムビットストリーム中のCMを地方局32aに特有のローカルCMに差し替える。トランスコーディングによって、殆ど劣化なくCMを差し替えることができる。他の地方局32b、32c、・・・においても同様に、CMを差し替えることができる。
In the
CMの差し替えに限らず、本局31、地方局32a、32b、・・・において、放送局のロゴをプログラムビットストリーム中に挿入する作業を行うことができる。また、地上波放送に限らず、CATVにおけるケーブルオペレータとヘッドエンド局との間の関係に対しても、この発明を同様に適用できる。
In addition to the CM replacement, the
スプライサ/トランスコーダ21の一例および他の例を図5および図7にそれぞれ示す。図5に示す例は、入力されるMPEGビットストリームの全てをトランスコーディングする。図7に示す例は、入力されるMPEGビットストリームを部分的にトランスコーディングした後、ストリームスイッチング(スプライス)を行うものである。
An example and another example of the splicer /
図5のスプライサ/トランスコーダの一例について説明する。アーカイバ/サーバの出力、衛星からの受信信号、マイクロ波回線を介して到来した信号等のMPEGビットストリームTS1が入力される。このストリームTS1は、複数プログラム(番組素材)が多重化されたストリームである。少なくとも2以上のプログラムが多重化されている。トランスポートストリームTSに限らず、時間多重されたエレメンタリーストリームESでも良い。但し、ESの場合は、識別用のタグか、または現在入力しているストリームがどのストリームかを識別するための入力情報が必要とされる。 An example of the splicer / transcoder of FIG. 5 will be described. An MPEG bit stream TS1 such as an archiver / server output, a received signal from a satellite, or a signal arriving via a microwave line is input. This stream TS1 is a stream in which a plurality of programs (program material) are multiplexed. At least two or more programs are multiplexed. Not only the transport stream TS but also a time-multiplexed elementary stream ES may be used. However, in the case of ES, an identification tag or input information for identifying which stream is the currently input stream is required.
51は、編集対象の二つのプログラムのパケットを引き出すためのフィルタである。トランスポートストリームTSであれば、PID(パケットID)によって、目的のプログラムを抽出できる。エレメンタリーストリームESの場合では、上述したように、識別タグ等の情報が必要である。
フィルタ51によって抽出した二つのストリームAおよびBをMPEGデコーダ52a、52bによってそれぞれ復号する。MPEGデコーダ52aによって、プログラムAのベースバンドビデオ/オーディオデータSaが得られ、MPEGデコーダ52bによって、プログラムBのベースバンドビデオ/オーディオデータSbが得られる。これらのベースバンドデータSaおよびSbが外部のエディタおよびスイッチャ22に出力される。
The two streams A and B extracted by the
ベースバンドエディタおよびスイッチャ22からは、編集された結果の戻りのベースバンドビデオ/オーディオデータScが入力される。このベースバンドデータScがMPEGリエンコーダ53に供給される。リエンコーダ53は、ベースバンドデータScのビデオフレームに対応したMPEG再符号化用のコーデック情報を径路54を介して情報バッファ55から受け取る。この再符号化用のコーデック情報に基づいて、要求の目標ビット量にデータScをMPEGストリームTS2へ再符号化する。そして、リエンコーダ53からは、入力ストリームA、ストリームBのABロール編集の結果のストリームTS2が出力される。再符号化用のコーデック情報とは、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化レベルなどである。トランスコーディングによって、復号−符号化チェインによる画質の劣化が抑えられる。
The baseband video / audio data Sc as a result of editing is input from the baseband editor and
以上が本線系で、エディタおよびスイッチャ22との間に存在する編集ストリーム用のインターフェースは、ベースバンドデータSa、Sb、Scのみであり、ベースバンドのデータに対してコーデック情報を重畳する必要がない。なお、図5および図7においても、エディタおよびスイッチャ22からの要求に応じてタイムコードをスプライサ/トランスコーダ21へ伝送する伝送路は、省略されている。
The above is the main line system, and the interface for the edit stream existing between the editor and the
情報バッファ55には、MPEGデコーダ52aおよび52bのそれぞれで復号に使用されたコーデック情報が入力される。情報バッファ55には、ライトコントローラ56からのライトアドレスWADおよびライトイネーブルWEが供給される。また、リードコントローラ57からのリードアドレスRADが情報バッファ55に供給される。情報バッファ55からリエンコーダ53に対しては、ストリームScの編集点と同期して、再符号化用のコーデック情報が供給されることが必要である。例えばビデオデータSaに対して編集点(イン点)でビデオデータSbが接続されたビデオデータScが戻ってくる時には、ビデオデータSaの再符号化用のコーデック情報からビデオデータSbの再符号化用のコーデック情報への切替えがなされる。情報バッファ55の容量は、エディタおよびスイッチャ22のシステム遅延(数フレーム時間)に対応したもので良い。
Codec information used for decoding in each of the
スプライサ/トランスコーダ21が出力したビデオデータSa、Sbとベースバンドエディタおよびスイッチャ22からの戻ってきたビデオデータScとの間の位相は、管理テーブル62によって管理される。このため、ライトコントローラ56およびリードコントローラ57が管理テーブル62と接続され、管理テーブル62が入力ストリームのピクチャカウント値と戻りのビデオデータScのフレームカウント値を用いて、情報バッファ55のライト/リードを制御する。フレームカウンタ58がビデオデータScのフレーム数をカウントし、カウント値をアドレスとして管理テーブル62に読出し要求REQを与える。管理テーブル62は、リングバッファの構成とされ、入力情報をインクリメントするアドレスに順次書込み、読出し要求REQに応じてリードポインタをインクリメントするようになされている。リードポインタが指し示すアドレスの再符号化情報が情報バッファ55から読出され、経路54を介してMPEGリエンコーダ53に送られる。管理テーブル62と関連して管理情報生成部61が設けられる。管理情報生成部61に対してキュー情報が入力される。管理情報生成部61については後述する。
The phase between the video data Sa and Sb output from the splicer /
エディタおよびスイッチャ22、またはコントロールマスターから、プログラムの編集のキュー情報がスプライサ/トランスコーダの管理情報生成部61に供給される。キュー情報は、通常、タイムコードで指定された編集位置情報である。より具体的には、イン点/アウト点の情報がキュー情報に含まれる。キュー情報をもとに編集フレームの検出を行ない、ベースバンドデータScと同期してコーデック情報を利用するように、コーデック情報が選択される。リードコントローラ57により所定のコーデック情報が読出される時には、このコーデック情報を使用可能なことを示すイネーブル信号がリードコントローラ57からリエンコーダ53に供給される。
Program editor queue information is supplied from the editor /
また、リエンコーダ53は、ビット量見積器59と接続され、VBVバッファの処理がなされる。すなわち、再符号化により得られたMPEGビットストリームTS2を復号する側のバッファがオーバーフローまたはアンダーフローしないように、適切な符号化がなされる。この制御のために、管理テーブル62の該当するインデックススロットに書込まれている、編集点付近の目標ビット量(ビット発生量の割り振り、重み付けの情報)がビット量見積器53に供給される。再符号化によって、基本的に目標発生ビット量が満足される。通常の符号化の制御において行われることは、設定された目標ビット量に対して、リエンコーダ53の発生ビット量が不足する時には、ダミーデータが付加される。また、発生ビット量が目標ビット量を超過する時、つまり、デコーダ側でアンダーフローが起きそうな場合、スキップドマクロブロックにするか、予測残差(予測画マクロブロックMBとの差分)を0にするなどの処理である。この処理でも対応できず、アンダーフローしてしまう時には、デコーダ側の処理方法に依存して再生画像に対する影響が生じる。通常は、バッファにデータが溜まるまでウエイトがかかり、その結果として再生画像がフリーズする。
Further, the re-encoder 53 is connected to the
図6は、管理情報生成部61のより詳細な構成を示す。編集位置情報としてのキュー情報は、インタープリータ71に供給され、適宜翻訳される。インタープリータ71から取り出された情報がマッピング器72に供給される。マッピング器72は、タイムコードで表現されたキュー情報を、フィルタ51で抽出された入力ストリーム73のタイムスタンプPTS(再生出力の時刻管理情報)のスケールにマッピングする。
FIG. 6 shows a more detailed configuration of the management
入力ストリーム73からピクチャカウンタ74がピクチャヘッダを検出し、ピクチャの数を数える。ピクチャカウンタ74で数えられたピクチャの数がピクチャ/フレームインデックス生成器75に供給される。ピクチャ/フレームインデックス生成器75は、ピクチャおよび情報の管理テーブル62の整理のために、ピクチャに対応したインデックスを発生する。管理テーブル62は、このインデックスでテーブルを整理し、フレームカウンタ58からのビデオデータScのフレームの数のカウント値をアドレスとして管理情報を出力する。
A
タイムスタンプリーダ76は、入力ストリーム73からタイムスタンプPTSを読む。このタイムスタンプPTSと、マッピング器72の出力とがリエンコーディングストラテジープランナ77に供給される。マッピング器72の出力は、ビデオフレームに対する編集点を示すタイムコードがタイムスタンプのスケールに合わせマッピングした結果である。従って、リエンコーディングストラテジープランナ77は、編集点と入力ストリーム73のピクチャとの対応付けが行う。リエンコーディングストラテジープランナ77の出力がインデックスが示す管理テーブル62のアドレスに対して書き込まれる。
The
78は、入力ストリーム73の発生ビット量をカウントし、カウント結果をVBVバッファシミュレータ79に供給し、VBVバッファのシミュレーションを行なう。VBVバッファは、エンコーダが符号化時に想定しているデコーダ側のバッファの容量であり、VBVバッファのシミュレーションによって、デコーダ側のバッファのアンダーフローまたはオーバーフローを防止することができる。VBVバッファシミュレータ79の結果がリエンコーディングストラテジープランナ77に送られ、再符号化のための編集点付近のビット発生量の割り振り、重み付けを行ない、これも管理テーブル62の該当するインデックススロットに書き込む。
78 counts the amount of bits generated in the
図7は、スプライサ/トランスコーダ21の他の例である。他の例は、実際に編集によって影響を受ける部分を含む必要最小限の期間でのみ、トランスコーディングを行い、トランスコーディング後のストリームと、入力ストリームとのスイッチングを行うものである。他の例は、トランスコーディングによっても避けることができない画質劣化を最小限に抑えることができる。
FIG. 7 shows another example of the splicer /
図5に示し、上述したスプライサ/トランスコーダ21の一例と相違する点は、フィルタ51からの入力ストリーム73をピクチャバッファ63に蓄え、スイッチング回路66によって、リエンコーダ53からのストリームとピクチャバッファ63からのストリームとを切り替えることである。
The difference from the example of the splicer /
ピクチャバッファ63のライトを制御するためのライトコントローラ64およびそのリードを制御するためのリードコントローラ65が設けられている。ライトコントローラ64およびリードコントローラ65は、管理テーブル62により制御される。上述したコーデック情報を情報バッファ55に書込み、また、情報バッファ55から再符号化に利用するコーデック情報を読出すための制御と同様の制御がピクチャバッファ63に対しても適用される。
A
例えばビデオデータSaからSbに切り替わるビデオデータScの場合には、スイッチング回路66は、編集点の前後のトランスコーディングが施される期間より前までは、ピクチャバッファ63からのデータSaに対応するストリームを選択し、この期間中は、リエンコーダ53からのストリームを選択し、期間の後では、ピクチャバッファ63からのデータSbに対応するストリームを選択する。スイッチング回路66の選択動作は、リードコントローラ65からの制御信号67により制御される。ピクチャバッファ63の容量は、エディタおよびスイッチャ22のシステム遅延(数フレーム時間)+符号化遅延(数ピクチャ)に相当するもので良く、ピクチャバッファ63が回路構成上負担にならない。
For example, in the case of the video data Sc that is switched from the video data Sa to Sb, the switching
次に、この発明の他の実施形態について説明する。編集システムの概要は、上述した一実施形態と同様の構成(図1、図2および図3参照)である。また、一実施形態と同様に放送システムに対しても適用できる(図4参照)。上述したこの発明の一実施形態は、オリジナル素材のストリームを復号し、その時のコーデック情報を保存し、編集器に対しては、復号した結果のベースバンド信号のみを伝送し、編集器は、ベースバンド信号の編集を行い、編集結果のベースバンド信号と保存していたコーデック情報との時間(位相)関係をキュー情報に基づいて合わせ、編集結果のベースバンド信号を再符号化し、ストリームとして出力する構成である。このような一実施形態によれば、ストリーム伝送によって、蓄積手段の記憶媒体の容量を節減できると共に、伝送媒体を有効に利用でき、また、トランスコーディングによって画質の劣化を最小限に抑えることができ、さらに、編集器として既存のベースバンド編集器を殆ど手を加えずに活用することができる。 Next, another embodiment of the present invention will be described. The outline of the editing system has the same configuration as that of the above-described embodiment (see FIGS. 1, 2, and 3). Further, it can be applied to a broadcasting system as in the embodiment (see FIG. 4). The above-described embodiment of the present invention decodes a stream of original material, stores the codec information at that time, transmits only the decoded baseband signal to the editor, and the editor Edit the band signal, adjust the time (phase) relationship between the edited baseband signal and the saved codec information based on the queue information, re-encode the edited baseband signal, and output it as a stream It is a configuration. According to such an embodiment, the capacity of the storage medium of the storage means can be reduced by stream transmission, the transmission medium can be used effectively, and the degradation of image quality can be minimized by transcoding. Furthermore, an existing baseband editor can be utilized as an editor with little modification.
上述した一実施形態では、ベースバンド信号を扱う既存の編集器は、タイムコードによって編集位置を表すので、編集位置情報をストリーム上にマッピングするするために、編集位置情報を翻訳する必要があった。また、編集位置情報は、フレームまたはフィールド単位の編集位置の情報と、ワイプ等のスイッチャの機能を使うときには、そのデュレーションが含まれる程度であり、フレーム(ストリーム上ではピクチャ)内のスイッチングの遷移状態が分からなかった。そのため、再符号化に使用できるコーデック情報をフレーム内できめこまかく使い分けることができなかった。 In the above-described embodiment, the existing editor that handles the baseband signal represents the editing position by the time code. Therefore, in order to map the editing position information on the stream, it is necessary to translate the editing position information. . In addition, the edit position information includes information on edit positions in units of frames or fields and the duration when using a switcher function such as wipe, and the switching transition state in the frame (picture on the stream) I didn't understand. For this reason, codec information that can be used for re-encoding cannot be used properly within a frame.
この発明の他の実施形態は、これらの問題点を解決することができる。すなわち、他の実施形態は、編集位置情報を受け取らなくても、編集器に対して出力した第1および第2のベースバンド信号と、編集器からの戻りの第3のベースバンド信号とを位相を合わせた状態で比較することによって、編集位置を検出することができる。従って、編集器との間で、編集位置情報を伝送する線を省略することができ、また、編集位置情報をストリームの時間軸に翻訳する必要がない。 Other embodiments of the present invention can solve these problems. That is, in another embodiment, the first and second baseband signals output to the editor and the third baseband signal returned from the editor are phased without receiving the editing position information. It is possible to detect the editing position by comparing in a state where the two are combined. Therefore, a line for transmitting editing position information to and from the editor can be omitted, and it is not necessary to translate the editing position information into the time axis of the stream.
さらに、再符号化のためのコーデック情報の利用の可否をピクチャ単位のみならず、ブロック単位で判別できる。従って、編集点のピクチャが二つのオリジナル素材が混在するものであっても、再符号化による画質の劣化を抑えることができる。 Further, whether or not the codec information for re-encoding can be used can be determined not only in units of pictures but also in units of blocks. Therefore, even if the picture at the editing point is a mixture of two original materials, it is possible to suppress deterioration in image quality due to re-encoding.
従って、他の実施形態では、図1、図2および図3の構成において、スプライサ/トランスコーダ21は、出力したベースバンド信号Sa、Sbと、戻りのベースバンド信号Scとを比較する。この比較の結果をもとに編集位置の検出を行い、再符号化時に利用するコーデック情報を選択する。編集位置の情報として、フレーム(ピクチャ)単位の編集位置と、ピクチャ内のより細かな単位の編集状況が得られる。コーデック情報は、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどの情報である。編集位置の検出のために、オリジナル素材を蓄えておくピクチャバッファが必要とされる。トランスコーディングのために、コーデック情報を蓄えておく情報バッファが必要とされる。これらのピクチャバッファおよび情報バッファは、エディタおよびスイッチャ22で生じるシステム遅延に対応した時間(数フレーム程度)、ベースバンド信号およびコーデック情報を遅延させる程度の容量であり、それほど容量が大きいことは、必要とされない。
Therefore, in another embodiment, the splicer /
この発明の他の実施形態におけるスプライサ/トランスコーダ21の一例を図8に示す。図8に示す例は、入力されるMPEGビットストリームの全てをトランスコーディングする。但し、入力されるMPEGビットストリームを部分的にトランスコーディングした後、ストリームスイッチング(スプライス)を行うようにしても良い。すなわち、編集点の前後を含む所定期間のみで、ベースバンド信号Scをトランスコーディングしたストリームを選択し、所定期間以外では、入力ストリームを選択するように、ストリームを選択するスイッチング手段が設けられる。部分的なトランスコーディングを行う例では、復号−符号化のチェインが一部であるため、トランスコーディングであっても避けることができない、復号−符号化チェインによる画質の劣化を最小限とすることができる。
An example of the splicer /
図8を参照してスプライサ/トランスコーダの一例について説明する。アーカイバ/サーバの出力、衛星からの受信信号、マイクロ波回線を介して到来した信号等のMPEGビットストリームTS1が入力される。このストリームTS1は、複数プログラム(番組素材)が多重化されたストリームである。少なくとも2以上のプログラムが多重化されている。トランスポートストリームTSに限らず、時間多重されたエレメンタリーストリームESでも良い。但し、ESの場合は、識別用のタグか、または現在入力しているストリームがどのストリームかを識別するための入力情報が必要とされる。 An example of a splicer / transcoder will be described with reference to FIG. An MPEG bit stream TS1 such as an archiver / server output, a received signal from a satellite, or a signal arriving via a microwave line is input. This stream TS1 is a stream in which a plurality of programs (program material) are multiplexed. At least two or more programs are multiplexed. Not only the transport stream TS but also a time-multiplexed elementary stream ES may be used. However, in the case of ES, an identification tag or input information for identifying which stream is the currently input stream is required.
251は、編集対象の二つのプログラム(オリジナル素材)AおよびBのパケットを引き出すためのフィルタである。トランスポートストリームTSであれば、PID(パケットID)によって、目的のプログラムを抽出できる。エレメンタリーストリームESの場合では、上述したように、識別タグ等の情報が必要である。フィルタ251の出力には、選択された二つのプログラムAおよびBが多重化されたストリーム268が得られる。
フィルタ251によって抽出した二つのプログラムAおよびBをMPEGデコーダ252a、252bによってそれぞれ復号する。MPEGデコーダ252aによって、プログラムAのベースバンドビデオ/オーディオデータSaが得られ、MPEGデコーダ252bによって、プログラムBのベースバンドビデオ/オーディオデータSbが得られる。これらのベースバンドデータSaおよびSbが外部のエディタおよびスイッチャ222に出力される。これと共に、ベースバンドデータSaおよびSbがピクチャバッファ263に記憶される。ピクチャバッファ263のライトを制御するためのライトコントローラ264およびそのリードを制御するためのリードコントローラ265が設けられている。ピクチャバッファ263には、ライトコントローラ264からのライトアドレスWADおよびライトイネーブルWEが供給される。また、リードコントローラ265からのリードアドレスRADがピクチャバッファ263に供給される。
The two programs A and B extracted by the
情報バッファ255には、MPEGデコーダ252aおよび252bのそれぞれで復号に使用されたコーデック情報が入力される。情報バッファ255には、ライトコントローラ256からのライトアドレスWADおよびライトイネーブルWEが供給される。また、リードコントローラ257からのリードアドレスRADが情報バッファ255に供給される。情報バッファ255からリエンコーダ253に対しては、ストリームScの編集点と同期して、再符号化用のコーデック情報が供給されることが必要である。例えばビデオデータSaに対して編集点(イン点)でビデオデータSbが接続されたビデオデータScが戻ってくる時には、ビデオデータSaの再符号化用のコーデック情報からビデオデータSbの再符号化用のコーデック情報への切替えがなされる。
Codec information used for decoding by the
上述したように、情報バッファ255およびピクチャバッファ263の容量は、エディタおよびスイッチャ22のシステム遅延(数フレーム時間)に対応したもので良く、情報バッファ255およびピクチャバッファ263が回路構成上負担にならない。
As described above, the capacity of the
ベースバンドエディタおよびスイッチャ22からは、編集された結果の戻りのベースバンドビデオ/オーディオデータScが入力される。このベースバンドデータScがMPEGリエンコーダ253に供給される。リエンコーダ253は、ベースバンドデータScのビデオフレームに対応したMPEG再符号化用のコーデック情報を径路254を介して情報バッファ255から受け取る。この再符号化用のコーデック情報に基づいて、要求の目標ビット量にデータScをMPEGストリームTS2へ再符号化する。そして、リエンコーダ253からは、入力ストリームA、ストリームBのABロール編集の結果のストリームTS2が出力される。再符号化用のコーデック情報とは、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどである。トランスコーディングによって、復号−符号化チェインによる画質の劣化が抑えられる。
The baseband video / audio data Sc as a result of editing is input from the baseband editor and
ベースバンドデータScと同期してコーデック情報を利用するように、コーデック情報が選択される。リードコントローラ257により所定のコーデック情報が読出される時には、このコーデック情報を使用可能なことを示すイネーブル信号がリードコントローラ257からリエンコーダ253に供給される。
The codec information is selected so as to use the codec information in synchronization with the baseband data Sc. When predetermined codec information is read by the
入力ストリーム268と、その復号結果であるベースバンド信号Sa、Sbとが時間的に1対1に対応付けられる。MPEGデコーダ252aおよび252bのそれぞれで復号に使用されたコーデック情報を情報バッファ255に保存する時には、時間的に1対1の対応をとるための整理タグに関連付けてコーデック情報が保存される。このように、コーデック情報を保存するために、また、スプライサ/トランスコーダ21が出力したビデオデータSa、Sbとベースバンドエディタおよびスイッチャ22からの戻ってきたビデオデータScとの間の位相を管理するために、管理テーブル261が設けられている。情報バッファ255およびピクチャバッファ263のそれぞれのライトおよびリードを制御する、ライトコントローラ256および264と、リードコントローラ257および265が管理テーブル261と接続される。
The
管理テーブル261が入力ストリームのピクチャカウント値と戻りのビデオデータScのフレームカウント値を用いて、情報バッファ255およびピクチャバッファ263のライト/リードを制御する。フレームカウンタ258がビデオデータScのフレーム数をカウントし、カウント値をアドレスとして管理テーブル261に読出し要求REQを与える。入力ストリーム268からピクチャカウンタ271がピクチャヘッダを検出し、ピクチャの数を数える。ピクチャカウンタ271で数えられたピクチャの数がピクチャ/フレームインデックス生成器272に供給される。ピクチャ/フレームインデックス生成器272は、ピクチャおよび情報の管理テーブル261の整理のために、ピクチャに対応したインデックスを発生する。
The management table 261 controls writing / reading of the
管理テーブル261は、このインデックスでテーブルを整理し、フレームカウンタ258からのビデオデータScのフレームの数のカウント値をアドレスとして管理情報を出力する。管理テーブル261は、リングバッファの構成とされ、入力情報をインクリメントするアドレスに順次書込み、読出し要求REQに応じてリードポインタをインクリメントするようになされている。リードポインタが指し示すアドレスの再符号化情報が情報バッファ255から読出され、経路254を介してMPEGリエンコーダ253に送られる。ピクチャバッファ263も、情報バッファ255と同様に制御される。
The management table 261 organizes the table by this index, and outputs management information using the count value of the number of frames of the video data Sc from the
また、リエンコーダ253は、ビット量見積器259と接続され、VBVバッファの処理がなされる。すなわち、再符号化により得られたMPEGビットストリームTS2を復号する側のバッファがオーバーフローまたはアンダーフローしないように、適切な符号化がなされる。再符号化によって、基本的に目標発生ビット量が満足される。通常の符号化の制御において行われることは、設定された目標ビット量に対して、リエンコーダ253の発生ビット量が不足する時には、ダミーデータが付加される。また、発生ビット量が目標ビット量を超過する時、つまり、デコーダ側でアンダーフローが起きそうな場合、スキップドマクロブロックにするか、予測残差(予測画マクロブロックMBとの差分)を0にするなどの処理である。この処理でも対応できず、アンダーフローしてしまう時には、デコーダ側の処理方法に依存して再生画像に対する影響が生じる。通常は、バッファにデータが溜まるまでウエイトがかかり、その結果として再生画像がフリーズする。
Further, the re-encoder 253 is connected to the
273は、入力ストリーム268の発生ビット量をカウントし、カウント結果をVBVバッファシミュレータ274に供給し、VBVバッファのシミュレーションを行なう。VBVバッファシミュレータ274の結果がリエンコーディングストラテジープランナ275に送られ、再符号化のための編集点付近のビット発生量の割り振り、重み付けを行ない、これも管理テーブル261の該当するインデックススロットに書き込む。そして、管理テーブル261の該当するインデックススロットに書込まれている、編集点付近の目標ビット量(ビット発生量の割り振り、重み付けの情報)がビット量見積器259に供給され、リエンコーダ253の再符号化により発生するビット量が適切となるように、制御される。。
273 counts the amount of bits generated in the
図8に示すスプライサ/トランスコーダは、編集器からの編集位置情報なしに、編集点を検出し、ベースバンド信号Scの編集状況を得ることが可能とされている。この目的のために、比較部270が設けられている。比較部270には、ピクチャバッファ263からのオリジナルの二つのベースバンド信号Sa、Sbと、戻ってきたベースバンド信号Scとが供給される。また、情報バッファ255からGOPヘッダ、ピクチャヘッダ、マクロブロックタイプ、動きベクトル等の付加的情報が比較部270に供給される。比較部270では、エディタおよびスイッチャ22に出力した信号Sa、Sbと、戻ってきた信号Scとの一致検出に基づいて、編集点を検出する。これと共に、再符号化のためにコーデック情報を利用する可能かどうかをピクチャ単位およびマクロブロック単位で判別する。
The splicer / transcoder shown in FIG. 8 can detect an editing point and obtain the editing status of the baseband signal Sc without editing position information from the editor. For this purpose, a
図9は、この発明の他の実施形態の説明に用いるベースバンド信号Sa(ピクチャPicAと称する)、ベースバンド信号Sb(ピクチャPicBと称する)を編集した結果のベースバンド信号Sc(ピクチャPicCと称する)の一例を示す。ベースバンド信号SaおよびScのそれぞれのピクチャ単位およびマクロブロック単位でコーデック情報が保存される。図9の例では、編集点でもって、ピクチャPicAからピクチャPicBへ単にスイッチングされるのではなく、ワイプ、クロスフェード等の処理が二つのピクチャに対してなされている。すなわち、ピクチャPicCにおいては、編集点の前までの各フレームは、ピクチャPicAのフレームと一致したものであり、編集点のフレームがPicAおよびBの両者を処理したものであり、編集点より後の各フレームは、ピクチャPicBのフレームと一致したものである。ベースバンド信号SaおよびSbのそれぞれのピクチャ毎およびマクロブロック毎にコーデック情報が保存される。 FIG. 9 shows a baseband signal Sc (referred to as a picture PicC) obtained by editing a baseband signal Sa (referred to as a picture PicA) and a baseband signal Sb (referred to as a picture PicB) used to describe another embodiment of the present invention. ) Is an example. Codec information is stored in units of pictures and macroblocks of the baseband signals Sa and Sc. In the example of FIG. 9, the edit point does not simply switch from the picture PicA to the picture PicB, but processes such as wipe and crossfade are performed on the two pictures. That is, in the picture PicC, each frame before the edit point is the same as the frame of the picture PicA, and the frame at the edit point is obtained by processing both PicA and B. Each frame matches the frame of the picture PicB. Codec information is stored for each picture and each macroblock of the baseband signals Sa and Sb.
比較部270は、時間的に位相が合わされたピクチャPicAとPicCとの一致検出、並びにピクチャPicBとPicCとの一致検出を行う。この二つの比較の少なくとも一方において、不一致が検出される時には、編集点のフレームであると検出する。各ピクチャの同一位置の画素同士の差が0ならば、一致、0以外ならば、不一致と、2枚のピクチャの一致/不一致が決定される。例えば時間的に位相を合わせた状態で、二つのピクチャの各画素を順に減算回路に入力し、差が0でない画素が発生したら、不一致と決定する。この場合、差が0でない画素が所定数に到達したら、不一致と決定するようにしても良い。
The
このような編集点の検出に合わせて、リエンコーダ253における再符号化に使用するコーデック情報が選択される。スイッチングの例のように、ピクチャ(フレーム)単位で、画像が切り替えられる場合では、再利用するコーデック情報も、それに合わせてピクチャ単位で選択される。しかしながら、図9に示す例のように、編集点のピクチャに、二つのピクチャを混在する場合には、コーデック情報をピクチャ単位で選択する処理は、再符号化による画質の劣化を防止するためには不十分である。 The codec information used for re-encoding in the re-encoder 253 is selected in accordance with such detection of the edit point. As in the switching example, when images are switched in units of pictures (frames), codec information to be reused is also selected in units of pictures accordingly. However, when two pictures are mixed in the editing point picture as in the example shown in FIG. 9, the process of selecting codec information in units of pictures is to prevent deterioration in image quality due to re-encoding. Is insufficient.
従って、この発明の他の実施形態では、コーデック情報の再利用(再符号化のための利用を意味する)の判定をマクロブロック単位で行うことを可能としている。以下、マクロブロック単位のコーデック情報の再利用を可能とするための評価、判定の処理について説明する。この処理は、比較部270においてなされる。
Therefore, in another embodiment of the present invention, it is possible to determine codec information reuse (meaning use for re-encoding) in units of macroblocks. Hereinafter, evaluation and determination processing for enabling reuse of codec information in units of macroblocks will be described. This processing is performed in the
図10に示すように、ピクチャPicA(またはPicB)に含まれるマクロブロック(MBAまたはMBBと表す)と、ピクチャPicCに含まれ、空間的にマクロブロックMBA/MBBと同一の位置のマクロブロック(MBCと表す)とが比較される。例えばマクロブロックは、(16×16)の大きさである。マクロブロックの一致/不一致の検出は、ピクチャの場合と同様になされる。 As shown in FIG. 10, a macroblock (MBA or MBB) included in a picture PicA (or PicB) and a macroblock (MBC) included in a picture PicC and spatially located at the same position as the macroblock MBA / MBB. Is expressed). For example, the macroblock has a size of (16 × 16). Macroblock matching / mismatching is detected in the same manner as for pictures.
図11は、コーデック情報の再利用の可否を判別するための処理を示すフローチャートである。エディタおよびスイッチャから編集後のビデオ信号Sc(ピクチャPicC)が到来すると、処理が開始される。最初のステップS1において、ピクチャバッファ263からオリジナルのピクチャAおよびBが読出される。 FIG. 11 is a flowchart illustrating a process for determining whether or not codec information can be reused. When the edited video signal Sc (picture PicC) arrives from the editor and the switcher, the processing is started. In the first step S1, original pictures A and B are read from the picture buffer 263.
比較のステップS2では、ピクチャAおよびCが比較される。ピクチャAおよびCが不一致の場合では、比較のステップS3で、ピクチャBおよびCが比較される。ピクチャBおよびCが不一致の場合では、比較のステップS4で、マクロブロックMBAおよびMBCが比較される。マクロブロックMBAおよびMBCが不一致の場合では、比較のステップS5で、マクロブロックMBBおよびMBCが比較される。上述したように、各ピクチャ内で空間的に同一位置の二つのマクロブロックが比較される。 In comparison step S2, pictures A and C are compared. If the pictures A and C do not match, the pictures B and C are compared in the comparison step S3. If the pictures B and C do not match, the macroblocks MBA and MBC are compared in the comparison step S4. If the macroblocks MBA and MBC do not match, the macroblocks MBB and MBC are compared in the comparison step S5. As described above, two macroblocks at the same spatial position in each picture are compared.
ステップS2において、PicA=PicCが満足される場合には、ピクチャAを復号するのに使用したコーデック情報を再利用して、ピクチャCの再符号化がなされる。MPEGの場合では、ピクチャタイプが3種類ある。すなわち、フレーム内符号化画像であるI(Intra) ピクチャと、フレーム間前方向予測符号化画像であるP(Predictive)ピクチャと、双方向予測画像であるB(Bidirectionally predictive)ピクチャとがある。これらのピクチャタイプによって再利用の条件が異なるので、ピクチャサブルーチンS6の処理がなされる。サブルーチンS6については、後述する。 In step S2, if PicA = PicC is satisfied, the codec information used to decode picture A is reused, and picture C is re-encoded. In the case of MPEG, there are three picture types. That is, there are an I (Intra) picture that is an intra-frame encoded picture, a P (Predictive) picture that is an inter-frame forward prediction encoded picture, and a B (Bidirectionally predictive) picture that is a bidirectional predictive picture. Since the reuse conditions differ depending on these picture types, the processing of the picture subroutine S6 is performed. Subroutine S6 will be described later.
サブルーチンS6の後でステップS7の処理がなされる。ステップS7では、ピクチャC上の予測対象ピクチャがピクチャAの要素であるかどうかが決定される(これをPIC(FW/BW),PIC Fg≠0?と表す)。この条件が満足される時には、ピクチャ単位でコーデック情報を再利用するために、該当ピクチャのコーデック情報を準備する(ステップS8)。ピクチャ単位にコーデック情報を再利用する場合は、両方向予測時のピクチャの再符号化のために、片側ピクチャのコーデック情報を利用することも含む。 Step S7 is performed after the subroutine S6. In step S7, it is determined whether or not the picture to be predicted on the picture C is an element of the picture A (this is expressed as PIC (FW / BW), PIC Fg ≠ 0?). When this condition is satisfied, the codec information of the picture is prepared in order to reuse the codec information in units of pictures (step S8). When codec information is reused on a picture-by-picture basis, it includes using codec information of one-side pictures for re-encoding of pictures during bidirectional prediction.
ステップS7における条件が満足されない場合には、PicA≠PicCの場合と同様に、ステップS3に処理が移る。すなわち、ピクチャC上の予測対象ピクチャがピクチャAの要素でない時は、次の条件が探される。 If the condition in step S7 is not satisfied, the process moves to step S3 as in the case of PicA ≠ PicC. That is, when the prediction target picture on the picture C is not an element of the picture A, the following condition is searched for.
ステップS3において、PicB=PicCが満足される場合には、ピクチャBのコーデック情報を再利用して、ピクチャCの再符号化がなされる。この場合も、ピクチャタイプに応じて再利用の条件が異なるので、ピクチャサブルーチンS6の処理がなされる。そして、ステップS9において、ピクチャAのステップS7と同様に、ピクチャC上の予測対象ピクチャがピクチャBの要素であるかどうかが決定される。この条件が満たされる場合には、ステップS8に処理が移り、該当ピクチャのコーデック情報を再利用するために、それを準備する。具体的には、情報バッファ255から該当ピクチャのコーデック情報を読出してリエンコーダ253に対して与える。
In step S3, when PicB = PicC is satisfied, the codec information of picture B is reused and picture C is re-encoded. Also in this case, since the conditions for reuse differ depending on the picture type, the processing of the picture subroutine S6 is performed. Then, in step S9, it is determined whether the prediction target picture on picture C is an element of picture B as in step S7 of picture A. If this condition is satisfied, the process moves to step S8, where it is prepared to reuse the codec information of the picture. Specifically, the codec information of the corresponding picture is read from the
ステップS9の条件が満足されない時には、PicB≠PicCの場合と同様に、ステップS4に処理が移る。すなわち、(PicA≠PicC)且つ(PicB≠PicC)の場合に、マクロブロック単位で比較(MBA=MBC)がなされる。図9に示す例のように、ピクチャCの編集点のピクチャに、ピクチャAおよびBが混在する時には、(PicA≠PicC)且つ(PicB≠PicC)となる。この場合では、マクロブロック単位でコーデック情報を再利用するようになされる。 When the condition of step S9 is not satisfied, the process moves to step S4 as in the case of PicB ≠ PicC. That is, when (PicA ≠ PicC) and (PicB ≠ PicC), the comparison (MBA = MBC) is performed in units of macroblocks. As in the example shown in FIG. 9, when pictures A and B are mixed in the picture at the edit point of picture C, (PicA ≠ PicC) and (PicB ≠ PicC). In this case, codec information is reused in units of macroblocks.
ステップS4において、MBA=MBCが満足される場合には、マクロブロックAのコーデック情報を再利用して、マクロブロックMBCの再符号化がなされる。MPEGの場合では、ピクチャタイプと同様に、マクロブロックタイプが3種類ある。すなわち、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する前方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する後方向(Backwrd) フレーム間予測マクロブロックと、前後両方向から予測する内挿的(Interpolative) マクロブロックとがある。 In step S4, when MBA = MBC is satisfied, the codec information of the macroblock A is reused and the macroblock MBC is re-encoded. In the case of MPEG, there are three types of macroblock types, similar to the picture type. That is, intra-frame coding (Intra) macroblock, forward (Foward) inter-frame prediction macroblock that predicts the future from the past, backward (Backwrd) inter-frame prediction macroblock that predicts the past from the future, There is an Interpolative macroblock that predicts from both directions.
Iピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Pピクチャ内には、フレーム内符号化マクロブロックと前方向フレーム間予測マクロブロックとが含まれる。Bピクチャ内には、上述した4種類の全てのタイプのマクロブロックが含まれる。これらのマクロブロックタイプによって再利用の条件が異なるので、マクロブロックサブルーチンS10の処理がなされる。サブルーチンS10については、後述する。 All macroblocks in an I picture are intraframe coded macroblocks. Further, the P picture includes an intra-frame encoded macro block and a forward inter-frame prediction macro block. The B picture includes all the four types of macroblocks described above. Since the reuse conditions differ depending on these macroblock types, the processing of the macroblock subroutine S10 is performed. Subroutine S10 will be described later.
サブルーチンS10の後でステップS11の処理がなされる。ステップS11では、ピクチャC上の予測対象マクロブロックがピクチャAの要素であるかどうかが決定される(これをMB(FW/BW),MB Fg≠0?と表す)。この条件が満足される時には、マクロブロック単位でコーデック情報を再利用するために、該当マクロブロックのコーデック情報を準備する(ステップS12)。マクロブロック単位にコーデック情報を再利用する場合には、両方向予測時のマクロブロックに関して片側マクロブロックのコーデック情報を利用する場合も含まれる。 Step S11 is performed after the subroutine S10. In step S11, it is determined whether or not the prediction target macroblock on the picture C is an element of the picture A (this is expressed as MB (FW / BW), MB Fg ≠ 0?). When this condition is satisfied, the codec information of the corresponding macroblock is prepared in order to reuse the codec information on a macroblock basis (step S12). When codec information is reused in units of macroblocks, the case of using codec information of one-side macroblocks for macroblocks during bidirectional prediction is also included.
ステップS11における条件が満足されない場合には、ステップS13に処理が移る。すなわち、ピクチャC上の予測対象マクロブロックがピクチャA上の要素でない時は、コーデック情報の再利用が不可とされる(ステップS13)。この場合では、トランスコーディングがされず、単なる符号化がなされる。 If the condition in step S11 is not satisfied, the process moves to step S13. That is, when the prediction target macroblock on the picture C is not an element on the picture A, the codec information cannot be reused (step S13). In this case, transcoding is not performed, but simple encoding is performed.
ステップS4で、MBA≠MBCとされると、ステップS5で、MBB=MBCが満足されるかどうかが決定される。MB≠MBCの場合では、ステップS13に処理が移り、コーデック情報の再利用がされない。ステップS5において、MBB=MBCが満足される場合には、マクロブロックMBBのコーデック情報を再利用して、マクロブロックMBCの再符号化がなされる。この場合も、マクロブロックタイプに応じて再利用の条件が異なるので、マクロブロックサブルーチンS10の処理がなされる。そして、ステップS14において、ステップS11と同様に、ピクチャC上の予測対象マクロブロックがピクチャB上の要素であるかどうかが決定される。この条件が満たされる場合には、ステップS12に処理が移り、該当マクロブロックのコーデック情報を再利用するために、それを準備する。具体的には、情報バッファ255から該当マクロブロックのコーデック情報を読出してリエンコーダ253に対して与える。ステップS14の条件が満足されない時には、コーデック情報が再利用されない(ステップS13)。
In step S4, if MBA ≠ MBC, it is determined in step S5 whether MBB = MBC is satisfied. If MB ≠ MBC, the process moves to step S13, and the codec information is not reused. In step S5, when MBB = MBC is satisfied, the codec information of the macro block MBB is reused, and the macro block MBC is re-encoded. Also in this case, since the conditions for reuse differ depending on the macroblock type, the processing of the macroblock subroutine S10 is performed. In step S14, as in step S11, it is determined whether or not the prediction target macroblock on picture C is an element on picture B. If this condition is satisfied, the process moves to step S12 to prepare for reusing the codec information of the corresponding macroblock. Specifically, the codec information of the corresponding macro block is read from the
ピクチャサブルーチンS6について、図12を参照してより詳細に説明する。まず、ピクチャタイプを判別するために、ステップS21では、Iピクチャかどうかが決定される。ピクチャタイプは、情報バッファ55に格納されているピクチャヘッダの情報から分かる。Iピクチャの場合では、ステップS22において、ピクチャフラグPIC Fgを1にセットする。ピクチャ単位で予測対象ピクチャの存在、非存在を示すピクチャフラグPIC Fgは、次のように定義される。
The picture subroutine S6 will be described in more detail with reference to FIG. First, in order to determine the picture type, whether or not the picture is an I picture is determined in step S21. The picture type is known from the information of the picture header stored in the
PIC Fg=0;対応するピクチャが存在しない
PIC Fg=1;フレーム内に対応するピクチャが存在する
PIC Fg=2;Pピクチャで前方向に予測対象ピクチャが存在する
PIC Fg=3;Bピクチャで前方向に予測対象ピクチャが存在する
PIC Fg=4;Bピクチャで後方向に予測対象ピクチャが存在する
PIC Fg=5;Bピクチャで前後方向に予測対象ピクチャが存在する
PIC Fg = 0; corresponding picture does not exist PIC Fg = 1; corresponding picture exists in the frame PIC Fg = 2; P picture has a prediction target picture in the forward direction PIC Fg = 3; B picture Predicted picture exists in the forward direction PIC Fg = 4; Predicted picture exists in the backward direction for B picture PIC Fg = 5; Predicted picture exists in the forward and backward direction for B picture
ステップS22では、コーデック情報を再利用する場合に、予測対象ピクチャが存在するピクチャを示すために、ピクチャフラグPIC Fgがセットされる。このピクチャフラグは、コーデック情報を再利用するか否かの判定と、情報バッファ255からリエンコーダ253に与えるコーデック情報を規定するのに使用される。
In step S22, when codec information is reused, a picture flag PIC Fg is set to indicate a picture in which a prediction target picture exists. This picture flag is used to determine whether or not to reuse codec information and to define codec information to be given from the
ステップS21で、Iピクチャでないと決定されると、ステップS23で、Pピクチャかどうかが決定される。Pピクチャの場合には、ステップS24において、予測対象ピクチャのサーチおよび検出がなされる。Pピクチャの場合では、過去のピクチャから予測されるように符号化されているので、過去のピクチャから符号化の基になっている予測対象ピクチャが検出される。過去の予測対象ピクチャの位置は、GOPヘッダに含まれるGOPシーケンスの情報に基づいて、決定される。 If it is determined in step S21 that it is not an I picture, it is determined in step S23 whether it is a P picture. In the case of a P picture, the prediction target picture is searched and detected in step S24. In the case of a P picture, since it is encoded so as to be predicted from a past picture, a prediction target picture that is a base of encoding is detected from the past picture. The position of the past prediction target picture is determined based on the information of the GOP sequence included in the GOP header.
検出されたピクチャC上の予測対象ピクチャがピクチャA(図11のステップS2に続くサブルーチンの場合)またはピクチャB(図11のステップS3に続くサブルーチンの場合)上に存在しているかどうかが決定される(ステップS25)。この決定は、予測対象ピクチャと、この予測対象ピクチャと同一の時間関係にある、ピクチャAまたはB上のピクチャとを比較することでなされる。予測対象ピクチャがピクチャAまたはB上に存在している場合には、ステップS22において、ピクチャフラグが上述したように、2の値にセットされる。若し、存在していない場合には、ピクチャフラグPIC Fgが0とされる(ステップS26)。 It is determined whether or not the picture to be predicted on the detected picture C exists on picture A (in the case of a subroutine following step S2 in FIG. 11) or picture B (in the case of a subroutine following step S3 in FIG. 11). (Step S25). This determination is made by comparing the prediction target picture with a picture on the picture A or B that has the same temporal relationship as the prediction target picture. When the prediction target picture exists on the picture A or B, the picture flag is set to a value of 2 as described above in step S22. If it does not exist, the picture flag PIC Fg is set to 0 (step S26).
ステップS23において、Pピクチャでないと決定される時、すなわち、Bピクチャの場合には、ステップS27において、予測対象ピクチャのサーチおよび検出がなされる。そして、検出されたピクチャC上の予測対象ピクチャがピクチャAまたはピクチャB上に存在しているかどうかが決定される(ステップS28)。存在しない場合には、ピクチャフラグPIC Fgが0とされる(ステップS26)。存在する場合には、Bピクチャの場合で、予測対象ピクチャが前(過去)、後(未来)、前後方向の何れの方向に存在しているかによって、上述したように、ピクチャフラグPIC Fgが3、4または5の値にセットされる。 When it is determined in step S23 that it is not a P picture, that is, in the case of a B picture, a prediction target picture is searched and detected in step S27. And it is determined whether the prediction object picture on the detected picture C exists on the picture A or the picture B (step S28). If not, the picture flag PIC Fg is set to 0 (step S26). In the case of the B picture, the picture flag PIC Fg is set to 3 depending on whether the prediction target picture exists in the front (past), back (future), or front-back direction, as described above. Set to a value of 4 or 5.
以上のようにして、ピクチャ単位のコーデック情報の再利用の判定がなされる。図9に示す例は、編集点のピクチャがBピクチャの場合を示している。Bピクチャの場合では、図12のフローチャートに示すように、編集点から見た前方向の予測対象ピクチャ(Pピクチャ)と、編集点から見た後方向の予測対象ピクチャ(Pピクチャ)とがサーチされる。そして、前方向の予測対象ピクチャと、ピクチャA上の対応するピクチャとの比較がなされる。両者が一致する時には、前方向に予測対象ピクチャが存在しているものと決定される。後方向のピクチャと、ピクチャA上の対応するピクチャとの比較がなされ、両者が一致する時には、後方向に予測対象ピクチャが存在しているものと決定される。両方向で、一致しているピクチャが存在する場合もある。但し、図9の例では、注目ピクチャには、二つのピクチャが混在しているので、ピクチャ単位では、ステップS2およびS3の何れの条件も満足されず、マクロブロック単位の判別に処理が移行することになる。 As described above, determination of reuse of codec information in units of pictures is made. The example shown in FIG. 9 shows a case where the editing point picture is a B picture. In the case of a B picture, as shown in the flowchart of FIG. 12, a forward prediction target picture (P picture) viewed from the editing point and a backward prediction target picture (P picture) viewed from the editing point are searched. Is done. Then, the forward prediction target picture is compared with the corresponding picture on picture A. When the two match, it is determined that the prediction target picture exists in the forward direction. The backward picture and the corresponding picture on picture A are compared, and when they match, it is determined that the prediction target picture exists in the backward direction. There may be matching pictures in both directions. However, in the example of FIG. 9, since two pictures are mixed in the target picture, none of the conditions in steps S2 and S3 is satisfied in the picture unit, and the processing shifts to the discrimination in the macroblock unit. It will be.
図13は、マクロブロック単位のコーデック情報の再利用判別処理(マクロブロックサブルーチンS10)を示すフローチャートである。まず、ステップS31、ステップS32およびステップS33において、マクロブロックタイプが決定される。マクロブロックタイプは、MPEG2シンタックスのマクロブロックレイヤーのマクロブロックモード内に含まれており、この情報に基づいてマクロブロックタイプが決定される。 FIG. 13 is a flowchart illustrating the codec information reuse determination process (macroblock subroutine S10) in units of macroblocks. First, in step S31, step S32, and step S33, a macroblock type is determined. The macro block type is included in the macro block mode of the macro block layer of the MPEG2 syntax, and the macro block type is determined based on this information.
ステップS31では、フレーム内符号化マクロブロック(I MB)かどうかが決定される。I MBでない場合には、ステップS32で、内挿的(両方向)マクロブロックBid MBかどうかが決定される。Bid MBでない場合には、ステップS33で、後方向フレーム間予測マクロブロック(バックワードマクロブロックと図示されている)かどうかが決定される。I MBでもなく、Bid MBでもなく、バックワードマクロブロックでもない場合は、前方向フレーム間予測マクロブロック(フォワードマクロブロックと図示されている)である。 In step S31, it is determined whether it is an intra-frame coded macroblock (IMB). If not, it is determined in step S32 whether it is an interpolated (bidirectional) macroblock Bid MB. If it is not a Bid MB, it is determined in step S33 whether it is a backward interframe prediction macroblock (shown as a backward macroblock). If it is neither an IMB, a Bid MB, nor a backward macroblock, it is a forward interframe prediction macroblock (shown as a forward macroblock).
これらのマクロブロックのタイプ毎に、コーデック情報を再利用可能かどうかが決定される。ステップS31で、注目マクロブロックがI MBと決定されると、ステップS34では、マクロブロックフラグMB Fgが1の値にセットされる。I MB以外のマクロブロックの場合では、動きベクトルを選択し、選択した動きベクトルによりずらされた位置に予測対象マクロブロックに対応するマクロブロックがピクチャAまたはBに存在するかどうかが判別される。これらの条件が満足される時には、コーデック情報の再利用が可能とされる。 For each of these macroblock types, it is determined whether the codec information can be reused. When the macro block of interest is determined to be I MB in step S31, the macro block flag MB Fg is set to a value of 1 in step S34. In the case of macroblocks other than IMB, a motion vector is selected, and it is determined whether or not a macroblock corresponding to the prediction target macroblock exists in the picture A or B at a position shifted by the selected motion vector. When these conditions are satisfied, codec information can be reused.
マクロブロック単位で、ピクチャAまたはBにおいて予測対象マクロブロックの存在、非存在を示す、マクロブロックフラグMB Fgは、
MB Fg=0;対応するマクロブロックが存在しない
MB Fg=1;フレーム内に対応するマクロブロックが存在する
MB Fg=2;前方向に対応するマクロブロックが存在する
MB Fg=3;後方向に対応するマクロブロックが存在する
MB Fg=4;両方向に対応するマクロブロックが存在する
MB Fg=5;両方向の前方向に対応するマクロブロックが存在する
MB Fg=6;両方向の後方向に対応するマクロブロックが存在する
と定義される。このマクロブロックフラグは、マクロブロック単位でコーデック情報の再利用の可否を判定するのに使用され、また、情報バッファ255からリエンコーダ253に与えるコーデック情報を規定するのに使用される。
Macro block flag MB Fg indicating the presence / absence of a prediction target macro block in picture A or B in macro block units,
MB Fg = 0; corresponding macroblock does not exist MB Fg = 1; corresponding macroblock exists in the frame MB Fg = 2; macroblock corresponding to the forward direction exists MB Fg = 3; backward direction Corresponding macroblock exists MB Fg = 4; Macroblocks corresponding to both directions exist MB Fg = 5; Macroblocks corresponding to the forward direction in both directions exist MB Fg = 6; Corresponds to the backward direction in both directions It is defined that a macroblock exists. This macroblock flag is used to determine whether or not codec information can be reused in units of macroblocks, and is used to specify codec information to be given from the
ステップS32において、判別の対象としている注目マクロブロックタイプが両方向マクロブロックの場合には、前方向の動きベクトルおよび後方向の動きベクトルが準備される(ステップS35)。この動きベクトルを使用して、予測対象マクロブロックがサーチ、検出される(ステップS36)。予測対象マクロブロックの位置は、GOPシーケンスに従っているので、GOPヘッダに含まれるGOPシーケンスの情報に基づいて、予測対象マクロブロックが検出される。 In step S32, if the target macroblock type to be discriminated is a bidirectional macroblock, a forward motion vector and a backward motion vector are prepared (step S35). Using this motion vector, a prediction target macroblock is searched and detected (step S36). Since the position of the prediction target macroblock follows the GOP sequence, the prediction target macroblock is detected based on the information of the GOP sequence included in the GOP header.
次のステップS37で、予測対象マクロブロックがピクチャA(図11のステップS4に続くサブルーチンの場合)またはピクチャB(図11のステップS5に続くサブルーチンの場合)上に存在しているかどうかが決定される。この決定は、予測対象マクロブロックと、この予測対象マクロブロックを動きベクトルでずらした位置の、ピクチャAまたはB上のマクロブロック相当画像ブロックとを比較することでなされる。 In the next step S37, it is determined whether or not the macro block to be predicted exists on picture A (in the case of a subroutine following step S4 in FIG. 11) or picture B (in the case of a subroutine following step S5 in FIG. 11). The This determination is made by comparing the prediction target macroblock with the macroblock equivalent image block on the picture A or B at the position where the prediction target macroblock is shifted by the motion vector.
ステップS37において、予測対象マクロブロックがピクチャAおよび/またはピクチャBに存在していると決定されると、ステップS38において、マクロブロックフラグMB Fgが4、5、または6にセットされる。若し、予測対象マクロブロックに対応するマクロブロックが存在しないと決定されると、ステップS39において、マクロブロックフラグMB Fgが0にセットされる。MB Fg=0は、マクロブロック単位でコーデック情報を再利用できないことを意味する。 If it is determined in step S37 that the prediction target macroblock is present in picture A and / or picture B, the macroblock flag MB Fg is set to 4, 5, or 6 in step S38. If it is determined that there is no macroblock corresponding to the prediction target macroblock, the macroblock flag MB Fg is set to 0 in step S39. MB Fg = 0 means that the codec information cannot be reused in units of macroblocks.
図14に示すように、ピクチャAおよびBが混在している時には、マクロブロック単位で判定がなされる。図14の例は、図9中の編集点のピクチャの付近を示しており、注目しているピクチャのピクチャタイプがBであり、また、2個の両方向マクロブロックが示されている。編集点のピクチャにおいて、ピクチャAの部分に含まれるマクロブロックMBが前方向の動きベクトルの分ずれた位置の過去のピクチャA内のマクロブロック相当画像ブロックと比較される。この例では、両マクロブロックが一致する(図ではGOODと示されている)。また、後方向の動きベクトルの分ずれた位置の未来のピクチャB内のマクロブロック相当画像ブロックと比較される。両ブロックが一致しない(図ではNGと示されている)。従って、この場合では、マクロブロックフラグMB Fgの値が5にセットされる。 As shown in FIG. 14, when pictures A and B are mixed, determination is made in units of macroblocks. The example of FIG. 14 shows the vicinity of the picture at the editing point in FIG. 9, the picture type of the picture of interest is B, and two bidirectional macroblocks are shown. In the picture at the edit point, the macroblock MB included in the picture A portion is compared with the macroblock equivalent image block in the past picture A at a position shifted by the forward motion vector. In this example, both macroblocks match (shown as GOOD in the figure). Also, it is compared with a macroblock equivalent image block in the future picture B at a position shifted by the backward motion vector. Both blocks do not match (shown as NG in the figure). Therefore, in this case, the value of the macroblock flag MB Fg is set to 5.
編集点のピクチャ中でピクチャBの部分に含まれるマクロブロックMBについても、前方向および後方向の動きベクトルによりずれた位置のピクチャAおよびBのマクロブロック相当画像ブロックと比較される。図14に示すように、後方向の動きベクトルでずれた未来のピクチャ(この例では、Pピクチャ)内のマクロブロックと一致する。従って、この場合では、マクロブロックフラグMB Fgの値が6にセットされる。若し、ピクチャA、Bが混在していない時には、前後の両方向に予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在し、マクロブロックフラグMB Fgが4の値にセットされる。 The macroblock MB included in the picture B portion in the picture at the editing point is also compared with the macroblock equivalent image blocks of the pictures A and B at positions shifted by the forward and backward motion vectors. As shown in FIG. 14, it matches the macroblock in the future picture (P picture in this example) shifted by the backward motion vector. Therefore, in this case, the value of the macroblock flag MB Fg is set to 6. If pictures A and B are not mixed, there is a macroblock equivalent image block corresponding to the prediction target macroblock in both the front and rear directions, and the macroblock flag MB Fg is set to a value of 4.
図13に戻って説明すると、ステップS33において、ピクチャC内の注目マクロブロックがバックワードマクロブロックと決定されると、ステップS41において後方向の動きベクトルが準備される。そして、動きベクトルによりずれた位置の未来のピクチャAまたはB内のマクロブロック相当画像ブロックがサーチ、検出される(ステップS42)。検出されたマクロブロック相当画像ブロックと、注目マクロブロックの予測対象マクロブロックとが比較され、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在するかどうかが決定される(ステップS43)。 Returning to FIG. 13, when the target macroblock in the picture C is determined to be a backward macroblock in step S33, a backward motion vector is prepared in step S41. Then, an image block corresponding to a macroblock in the future picture A or B at a position shifted by the motion vector is searched and detected (step S42). The detected macroblock equivalent image block is compared with the prediction target macroblock of the target macroblock, and it is determined whether or not there is a macroblock equivalent image block corresponding to the prediction target macroblock (step S43).
ステップS43において、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在すると決定されると、ステップS44においてマクロブロックフラグMB Fgが3の値にセットされる。予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在しない時には、ステップS39においてマクロブロックフラグMB
Fgが0の値にセットされる。
If it is determined in step S43 that there is a macroblock equivalent image block corresponding to the prediction target macroblock, the macroblock flag MB Fg is set to a value of 3 in step S44. When there is no macroblock equivalent image block corresponding to the prediction target macroblock, the macroblock flag MB is determined in step S39.
Fg is set to a value of zero.
ステップS33において、ピクチャC内の注目マクロブロックがバックワードマクロブロックとない場合、すなわち、これがフォワードマクロブロックの場合では、ステップS45において前方向の動きベクトルが準備される。そして、動きベクトルによりずれた位置の過去のピクチャAまたはB内のマクロブロック相当画像ブロックがサーチ、検出される(ステップS46)。検出されたマクロブロックと、注目マクロブロックの予測対象マクロブロックとが比較され、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在するかどうかが決定される(ステップS47)。 If the target macroblock in the picture C is not a backward macroblock in step S33, that is, if this is a forward macroblock, a forward motion vector is prepared in step S45. Then, a macroblock equivalent image block in the past picture A or B at a position shifted by the motion vector is searched and detected (step S46). The detected macroblock is compared with the prediction target macroblock of the target macroblock, and it is determined whether there is a macroblock equivalent image block corresponding to the prediction target macroblock (step S47).
ステップS47において、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在すると決定されると、ステップS48においてマクロブロックフラグMB Fgが2の値にセットされる。対応するマクロブロック相当画像ブロックが存在しない時には、ステップS39においてマクロブロックフラグMB Fgが0の値にセットされる。 If it is determined in step S47 that there is a macroblock equivalent image block corresponding to the prediction target macroblock, the macroblock flag MB Fg is set to a value of 2 in step S48. When there is no corresponding macroblock equivalent image block, the macroblock flag MB Fg is set to a value of 0 in step S39.
以上のようにして、マクロブロック単位のコーデック情報の再利用の判定がなされる。従って、図9に示すように、編集点のピクチャが二つのオリジナルピクチャAおよびBが混在している場合であっても、マクロブロック単位でコーデック情報を再利用して、ピクチャCを再符号化できる。それによって、ピクチャ単位の再符号化よりも、きめ細かくコーデック情報を再利用でき、画質の劣化を低減することができる。 As described above, determination of reuse of codec information in units of macroblocks is made. Therefore, as shown in FIG. 9, even if the picture at the editing point is a mixture of two original pictures A and B, codec information is reused in units of macroblocks, and picture C is re-encoded. it can. Thereby, the codec information can be reused more finely than the re-encoding in units of pictures, and the deterioration of the image quality can be reduced.
なお、以上の説明では、MPEGを圧縮符号化として採用しているが、MPEG以外の圧縮符号化を採用することができる。 In the above description, MPEG is used as compression encoding, but compression encoding other than MPEG can be used.
1,3・・・アーカイバ/サーバ、2・・・編集スタジオ、21・・・スプライサ/トランスコーダ、22・・・ベースバンドエディタおよびスイッチャ、52a、52b・・・MPEGデコーダ、53・・・MPEGリエンコーダ、55・・・情報バッファ、61・・・管理情報生成部、62・・・管理テーブル、253・・・MPEGリエンコーダ、259・・・ビット量見積器、261・・・管理テーブル、263・・・ピクチャバッファ
DESCRIPTION OF
Claims (27)
上記編集制御装置は、
素材が符号化された第1の符号化ビットストリームを復号し、第1のベースバンド信号を出力する第1の復号手段と、
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を上記編集器に対して出力する第2の復号手段と、
上記編集器からの上記第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、上記第1および第2の復号手段で使用されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と、
他の装置から受け取った編集位置情報に基づいて、上記符号化手段において利用されるコーデック情報を選択する制御手段と
からなることを特徴とする編集システム。 It consists of an editor that edits the baseband signal and an editing control device connected to the editor.
The editing control device
First decoding means for decoding a first encoded bitstream encoded with a material and outputting a first baseband signal;
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
A third baseband signal obtained by editing the first and second baseband signals from the editor is re-encoded using the codec information used in the first and second decoding means. And encoding means for outputting a third encoded bitstream;
An editing system comprising: control means for selecting codec information used in the encoding means based on editing position information received from another device.
第1および第2のベースバンド信号が接続される編集位置を含む所定期間でのみ、上記第3の符号化ビットストリームを選択し、上記所定期間以外では、上記第1および第2の符号化ビットストリームの一方を選択する選択手段をさらに有することを特徴とする編集システム。 In claim 1,
The third encoded bit stream is selected only during a predetermined period including an editing position to which the first and second baseband signals are connected, and the first and second encoded bits are selected outside the predetermined period. An editing system further comprising selection means for selecting one of the streams.
第1および第2の符号化ビットストリームと第1および第2のベースバンド信号の対応付けを行う手段をさらに有することを特徴とする編集システム。 In claim 1,
An editing system further comprising means for associating the first and second encoded bit streams with the first and second baseband signals.
第1および第2の符号化ビットストリームが素材蓄積装置から入力され、上記第3の符号化ビットストリームを素材蓄積装置に出力することを特徴とする編集システム。 In claim 1,
An editing system, wherein first and second encoded bit streams are input from a material storage device, and the third encoded bit stream is output to the material storage device.
上記第1の符号化ビットストリームが伝送媒体を介して他の局から受け取った放送信号であり、上記第2の符号化ビットストリームが上記放送信号に挿入される放送素材であることを特徴とする編集システム。 In claim 1,
The first encoded bit stream is a broadcast signal received from another station via a transmission medium, and the second encoded bit stream is a broadcast material inserted into the broadcast signal. Editing system.
上記放送素材がCM素材であることを特徴とする編集システム。 In claim 5,
An editing system, wherein the broadcast material is a CM material.
上記放送素材がステーションロゴであることを特徴とする編集システム。 In claim 5,
An editing system characterized in that the broadcast material is a station logo.
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を編集器に対して出力する第2の復号手段と、
編集器からの上記第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、上記第1および第2の復号手段で使用されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と、
編集位置情報に基づいて、上記符号化手段において利用されるコーデック情報を選択する制御手段と
からなる編集制御装置。 First decoding means for decoding a first encoded bitstream encoded with a material and outputting a first baseband signal;
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
The third baseband signal resulting from editing the first and second baseband signals from the editor is re-encoded using the codec information used in the first and second decoding means. Encoding means for outputting a third encoded bit stream;
An editing control apparatus comprising: control means for selecting codec information used in the encoding means based on editing position information.
第1および第2のベースバンド信号が接続される編集位置を含む所定期間でのみ、上記第3の符号化ビットストリームを選択し、上記所定期間以外では、上記第1および第2の符号化ビットストリームの一方を選択する選択手段をさらに有することを特徴とする編集制御装置。 In claim 8,
The third encoded bit stream is selected only during a predetermined period including an editing position to which the first and second baseband signals are connected, and the first and second encoded bits are selected outside the predetermined period. An editing control apparatus, further comprising selection means for selecting one of the streams.
第1および第2の符号化ビットストリームと第1および第2のベースバンド信号の対応付けを行う手段をさらに有することを特徴とする編集制御装置。 In claim 8,
An editing control apparatus further comprising means for associating the first and second encoded bit streams with the first and second baseband signals.
第1および第2の符号化ビットストリームが素材蓄積装置から入力され、上記第3の符号化ビットストリームを素材蓄積装置に出力することを特徴とする編集制御装置。 In claim 8,
An editing control apparatus, wherein first and second encoded bit streams are input from a material storage apparatus, and the third encoded bit stream is output to the material storage apparatus.
上記第1の符号化ビットストリームが伝送媒体を介して他の局から受け取った放送信号であり、上記第2の符号化ビットストリームが上記放送信号に挿入される放送素材であることを特徴とする編集制御装置。 In claim 8,
The first encoded bit stream is a broadcast signal received from another station via a transmission medium, and the second encoded bit stream is a broadcast material inserted into the broadcast signal. Edit control unit.
上記放送素材がCM素材であることを特徴とする編集制御装置。 In claim 12,
An editing control apparatus characterized in that the broadcast material is a CM material.
上記放送素材がステーションロゴであることを特徴とする編集制御装置。 In claim 12,
An editing control apparatus, wherein the broadcast material is a station logo.
上記第1および第2の符号化ビットストリームをそれぞれ復号した第1および第2のベースバンド信号を編集器に対して送出し、
編集器からの上記第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を受け取り、
他の装置から受け取った編集位置情報に基づいて、上記第1および第2の符号化ビットストリームを復号するのに使用されたコーデック情報中の必要なコーデック情報を選択し、
選択したコーデック情報を利用して上記第3のベースバンド信号を再符号化し、第3の符号化ビットストリームを出力することを特徴とする編集制御方法。 A first encoded bitstream in which the first material is encoded and a second encoded bitstream in which the second material is encoded are input,
Sending first and second baseband signals obtained by decoding the first and second encoded bitstreams to the editor;
Receiving a third baseband signal resulting from editing the first and second baseband signals from the editor;
Selecting necessary codec information in the codec information used to decode the first and second encoded bitstreams based on editing position information received from another device;
An editing control method comprising: re-encoding the third baseband signal using the selected codec information and outputting a third encoded bitstream.
上記編集制御装置は、
素材が符号化された第1の符号化ビットストリームを復号し、第1のベースバンド信号を出力する第1の復号手段と、
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を上記編集器に対して出力する第2の復号手段と、
上記第1および第2のベースバンド信号と上記第3のベースバンド信号を位相を合わせて比較することによって、編集位置を検出する比較手段と、
上記編集位置の情報に基づいて、再符号化において利用されるコーデック情報を選択する制御手段と、
上記編集器からの上記第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、上記選択されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と
からなることを特徴とする編集システム。 It consists of an editor that edits the baseband signal and an editing control device connected to the editor.
The editing control device
First decoding means for decoding a first encoded bitstream encoded with a material and outputting a first baseband signal;
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
Comparing means for detecting an editing position by comparing the first and second baseband signals with the third baseband signal in phase;
Control means for selecting codec information used in re-encoding based on the editing position information;
A third baseband signal obtained by editing the first baseband signal and the second baseband signal from the editor is re-encoded using the selected codec information, and a third encoded bit stream is obtained. An editing system comprising: an encoding means for outputting.
第1および第2のベースバンド信号が接続される編集位置を含む所定期間でのみ、上記第3の符号化ビットストリームを選択し、上記所定期間以外では、上記第1および第2の符号化ビットストリームの一方を選択する選択手段をさらに有することを特徴とする編集システム。 In claim 16,
The third encoded bit stream is selected only during a predetermined period including an editing position to which the first and second baseband signals are connected, and the first and second encoded bits are selected outside the predetermined period. An editing system further comprising selection means for selecting one of the streams.
第1および第2のベースバンド信号と第3のベースバンド信号の時間的な対応付けを行い、
第1および第2のベースバンド信号を上記時間的な対応付けを行うための整理タグに関連付けて保存する手段と、第1および第2の符号化ビットストリームを復号する時に得られたコーデック情報を上記時間的な対応付けを行うための整理タグに関連付けて保存する手段とをさらに有することを特徴とする編集システム。 In claim 16,
Performing temporal association between the first and second baseband signals and the third baseband signal;
Means for storing the first and second baseband signals in association with the organizing tag for performing the temporal association, and codec information obtained when decoding the first and second encoded bitstreams. An editing system further comprising means for storing in association with an organization tag for performing the temporal association.
素材が符号化された第2の符号化ビットストリームを復号し、第2のベースバンド信号を編集器に対して出力する第2の復号手段と、
上記第1および第2のベースバンド信号と上記第3のベースバンド信号を位相を合わせて比較することによって、編集位置を検出する比較手段と、
上記編集位置の情報に基づいて、再符号化において利用されるコーデック情報を選択する制御手段と、
編集器からの上記第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を、上記選択されたコーデック情報を利用して、再符号化し、第3の符号化ビットストリームを出力する符号化手段と
からなる編集制御装置。 First decoding means for decoding a first encoded bitstream encoded with a material and outputting a first baseband signal;
Second decoding means for decoding a second encoded bitstream encoded with the material and outputting a second baseband signal to the editor;
Comparing means for detecting an editing position by comparing the first and second baseband signals with the third baseband signal in phase;
Control means for selecting codec information used in re-encoding based on the editing position information;
A third baseband signal obtained by editing the first and second baseband signals from the editor is re-encoded using the selected codec information, and a third encoded bit stream is obtained. An editing control apparatus comprising encoding means for outputting.
第1および第2のベースバンド信号が接続される編集位置を含む所定期間でのみ、上記第3の符号化ビットストリームを選択し、上記所定期間以外では、上記第1および第2の符号化ビットストリームの一方を選択する選択手段をさらに有することを特徴とする編集制御装置。 In claim 19,
The third encoded bit stream is selected only during a predetermined period including an editing position to which the first and second baseband signals are connected, and the first and second encoded bits are selected outside the predetermined period. An editing control apparatus, further comprising selection means for selecting one of the streams.
第1および第2のベースバンド信号と第3のベースバンド信号の時間的な対応付けを行い、
第1および第2のベースバンド信号を上記時間的な対応付けを行うための整理タグに関連付けて保存する手段と、第1および第2の符号化ビットストリームを復号する時に得られたコーデック情報を上記時間的な対応付けを行うための整理タグに関連付けて保存する手段とをさらに有することを特徴とする編集制御装置。 In claim 19,
Performing temporal association between the first and second baseband signals and the third baseband signal;
Means for storing the first and second baseband signals in association with the organizing tag for performing the temporal association, and codec information obtained when decoding the first and second encoded bitstreams. An editing control apparatus, further comprising means for storing in association with an organization tag for performing the temporal association.
上記第1および第2の符号化ビットストリームをそれぞれ復号した第1および第2のベースバンド信号を編集器に対して送出し、
上記第1および第2のベースバンド信号と、上記第1および第2のベースバンド信号を復号する時に使用したコーデック情報とを保存し、
編集器からの上記第1および第2のベースバンド信号を編集した結果の第3のベースバンド信号を受け取り、
上記第1および第3のベースバンド信号を位相を合わせた状態で比較すると共に、上記第2および第3のベースバンド信号を位相を合わせた状態で比較することによって、編集位置を検出し、
検出された編集位置に基づいて、上記第3のベースバンド信号を再符号化するために利用するコーデック情報を選択し、
選択されたコーデック情報を用いて上記第3のベースバンド信号を再符号化することによって、第3の符号化ビットストリームを出力することを特徴とする編集制御方法。 A first encoded bitstream in which the first material is encoded and a second encoded bitstream in which the second material is encoded are input,
Sending first and second baseband signals obtained by decoding the first and second encoded bitstreams to the editor;
Storing the first and second baseband signals and the codec information used when decoding the first and second baseband signals;
Receiving a third baseband signal resulting from editing the first and second baseband signals from the editor;
The first and third baseband signals are compared in phase with each other, and the second and third baseband signals are compared in phase with each other to detect the editing position,
Based on the detected editing position, select codec information to be used to re-encode the third baseband signal,
An editing control method comprising: outputting a third encoded bitstream by re-encoding the third baseband signal using the selected codec information.
第1および第2のベースバンド信号と第3のベースバンド信号との時間的な対応付けを行い、
第1および第2の符号化ビットストリームを復号する時に得られたコーデック情報を上記時間的な対応付けを行うための整理タグに関連付けて保存することを特徴とする編集制御方法。 In claim 22,
Performing temporal correspondence between the first and second baseband signals and the third baseband signal;
An editing control method characterized by storing codec information obtained when decoding first and second encoded bitstreams in association with an organization tag for performing the temporal association.
編集位置を検出する時に、ピクチャ単位で比較を行い、ピクチャ単位の編集位置を検出し、検出された編集位置に対応してピクチャ単位でコーデック情報を選択することを特徴とする編集制御方法。 In claim 22,
An editing control method characterized in that when an editing position is detected, a comparison is performed in units of pictures, an editing position in units of pictures is detected, and codec information is selected in units of pictures corresponding to the detected editing positions.
フレーム間予測符号化がされたピクチャを再符号化する時に、上記第3のベースバンド信号中の予測対象ピクチャと対応するピクチャが上記第1または第2のベースバンド信号中に存在する時に、コーデック情報を再利用することを特徴とする編集制御方法。 In claim 22,
When re-encoding a picture that has undergone interframe prediction encoding, when a picture corresponding to a prediction target picture in the third baseband signal exists in the first or second baseband signal, a codec An editing control method characterized by reusing information.
フレーム間予測符号化がされたピクチャを再符号化する時に、上記第3のベースバンド信号中の予測対象ピクチャと対応するピクチャが上記第1または第2のベースバンド信号中に存在する時に、ピクチャ単位のコーデック情報を再利用し、
上記対応するピクチャが上記第1または第2のベースバンド信号中に存在しない時には、上記ピクチャより小さいサイズの予測対象ブロックに対応するブロックが上記第1または第2のベースバンド信号中に存在するか否かを判別し、上記対応するブロックが上記第1または第2のベースバンド信号中に存在する時に、ブロック単位のコーデック情報を再利用することを特徴とする編集制御方法。 In claim 25,
When re-encoding a picture that has been subjected to inter-frame predictive coding, a picture corresponding to a picture to be predicted in the third baseband signal is present in the first or second baseband signal. Reuse unit codec information,
When the corresponding picture does not exist in the first or second baseband signal, does the block corresponding to the prediction target block having a size smaller than the picture exist in the first or second baseband signal? An editing control method, wherein codec information in units of blocks is reused when the corresponding block is present in the first or second baseband signal.
フレーム間予測符号化と動き補償がなされている場合に、動きベクトルによりずれた位置に、上記予測対象ブロックに対応するブロックが存在するか否かを判別することを特徴とする編集制御方法。 In claim 26,
An edit control method characterized by determining whether or not there is a block corresponding to the prediction target block at a position shifted by a motion vector when interframe predictive coding and motion compensation are performed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005120366A JP2005278207A (en) | 1998-01-19 | 2005-04-18 | Edit system and method, re-encoder and method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP769098 | 1998-01-19 | ||
JP768998 | 1998-01-19 | ||
JP2005120366A JP2005278207A (en) | 1998-01-19 | 2005-04-18 | Edit system and method, re-encoder and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP53702799A Division JP3716328B2 (en) | 1998-01-19 | 1999-01-19 | Editing apparatus and method, re-encoding apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005278207A true JP2005278207A (en) | 2005-10-06 |
Family
ID=35177298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005120366A Pending JP2005278207A (en) | 1998-01-19 | 2005-04-18 | Edit system and method, re-encoder and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005278207A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008117892A1 (en) * | 2007-03-28 | 2008-10-02 | Nec Corporation | Content delivery system, conversion device, and content delivery method used therefor |
WO2008123568A1 (en) * | 2007-04-04 | 2008-10-16 | Nec Corporation | Content distribution system, content distribution method, and translator for use in them |
-
2005
- 2005-04-18 JP JP2005120366A patent/JP2005278207A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008117892A1 (en) * | 2007-03-28 | 2008-10-02 | Nec Corporation | Content delivery system, conversion device, and content delivery method used therefor |
US8281350B2 (en) | 2007-03-28 | 2012-10-02 | Nec Corporation | Content distribution system, conversion device, and content distribution method for use therein |
WO2008123568A1 (en) * | 2007-04-04 | 2008-10-16 | Nec Corporation | Content distribution system, content distribution method, and translator for use in them |
JPWO2008123568A1 (en) * | 2007-04-04 | 2010-07-15 | 日本電気株式会社 | Content distribution system, content distribution method, and conversion device used therefor |
JP5013141B2 (en) * | 2007-04-04 | 2012-08-29 | 日本電気株式会社 | Content distribution system, content distribution method, and conversion device used therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3716328B2 (en) | Editing apparatus and method, re-encoding apparatus and method | |
KR100604631B1 (en) | Editing device, editing method, re-encoding device, re-encoding method, splicing device, and splicing method | |
EP1323314B1 (en) | Transcoding progressive i-slice refreshed mpeg data streams to enable trick play | |
US5917988A (en) | Editing apparatus, editing method and decoding apparatus for compressed video signal | |
EP1102493B1 (en) | Video data formatting and storage | |
US6483945B1 (en) | Moving picture encoding method and apparatus | |
JP4337248B2 (en) | Image information transmission apparatus, transmission system, and transmission method | |
US6240137B1 (en) | Encoding apparatus and method, decoding apparatus and method, and editing method | |
KR100289856B1 (en) | Image signal reproduction method and image signal reproduction device | |
KR19990072461A (en) | Moving picture encoding method and apparatus and recording medium | |
JP2005278207A (en) | Edit system and method, re-encoder and method | |
JPH11187310A (en) | Digital data transmitting method and its device | |
JPH11185317A (en) | Digital data recording and reproducing method and device therefor, digital data recording method and device therefor and digital data reproducing method and device therefor | |
JP2002247565A (en) | Network av camera and system | |
US9219930B1 (en) | Method and system for timing media stream modifications | |
JPH11177921A (en) | Digital data edit method and digital data edit device | |
JP2005253093A (en) | After recording signal transmitting instrument | |
JP2005245006A (en) | Postrecording signal reproducing apparatus | |
JP2005260979A (en) | Method for transmitting after-recording signal | |
JP2005198348A (en) | Transmission method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |