JP2000197010A - 画像デ―タ編集装置 - Google Patents

Abstract

(57)【要約】 【課題】 ２つの符号化データを接続して編集する場
合、同じピクチャが復号化時数枚出力されることとな
り、最悪の場合は画面がフリーズした状態になったり、
一部の画質劣化が顕著になるおそれがある。 【解決手段】 符号化データ列Ａの復号化部２による復
号により符号化パラメータ及び発生符号量がパラメータ
記録部４に記録される。目標符号量決定回路５は入力さ
れた各ピクチャ毎の発生符号量と符号化パラメータに基
づいて目標符号量を決定する。制御部３はデータ記録部
１を制御して、符号化データ列Ａの符号化データ列Ｂと
の接続点のピクチャを含む最後のｍ枚のピクチャの符号
化データを読み出して復号化部２を通して符号化部６に
入力させ、目標符号量に応じた量子化ステップで量子化
後、可変長符号化させる。符号化データ列Ａは、この再
符号化されたｍ枚のピクチャを介して符号化データ列Ｂ
に接続される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データ編集装置
に係り、特にフレーム間あるいはフィールド間予測処理
を用いて高能率符号化された画像データを編集する画像
データ編集装置に関する。

【０００２】

【従来の技術】動画像を高能率符号化で圧縮する手法と
してＩＳＯ／ＩＥＣ１３８１２−２に規格化されたＭＰ
ＥＧ２（Moving Picture Experts Group phase 2）ビデ
オと呼ばれる動画像符号化方式がある。このＭＰＥＧ２
ビデオによる圧縮画像は、画像間の動き補償（ＭＣ）予
測と、水平方向及び垂直方向各８画素（いわゆる８×８
画素）の離散コサイン変換（ＤＣＴ：Discrete Cosine
Transform）とを組み合わせたハイブリッド方式を行
い、これにより得られた信号に対してさらに量子化、及
び可変長符号化を施すものである（参考文献：ISO/IEC1
3812-2 Draft International Standard）また、ＭＣ予
測の種類としては、過去の画像を参照画像とする前方予
測、未来の画像を参照画像とする後方予測、過去、未来
両方の画像を参照画像とする双方向（内挿）予測、及び
予測を用いないイントラの各モードがある。このＭＣ予
測モードは、水平方向及び垂直方向各１６画素（いわゆ
る１６×１６画素）のマクロブロック毎に設定可能であ
るが、符号化画像（ピクチャ）の種類によって使用可能
なモードが決められている。

【０００３】このピクチャタイプにはＩピクチャ、Ｐピ
クチャ及びＢピクチャの計３種類がある。Ｉピクチャ
は、イントラマクロブロックのみで構成されるピクチャ
であり、Ｐピクチャはイントラ及び前方予測マクロブロ
ックで構成されるピクチャであり、Ｂピクチャはすべて
のＭＣ予測モードが許されるピクチャである。

【０００４】ここで、Ｉピクチャは予測を用いず、原画
像自体をＤＣＴ変換した後、量子化、可変長符号化され
たフレーム内処理された符号化画像であるので、単独の
符号化データで復号が可能である。Ｐピクチャは入力画
像順で過去の既に符号化されたＩまたはＰピクチャとの
ＭＣ予測誤差信号をＤＣＴ変換、量子化、可変長符号化
された、フレーム間順方向予測符号化画像である。ま
た、Ｂピクチャは過去及び未来の既に符号化されたＩま
たはＰピクチャとのＭＣ予測誤差信号をＤＣＴ変換、量
子化、可変長符号化された、双方向予測符号化画像であ
る。このため、Ｐピクチャ及びＢピクチャの復号は、こ
れに先行してＩピクチャより始まる参照画像の復号を行
う必要がある。

【０００５】ＭＰＥＧ２ビデオでは、任意の数の上記種
類のピクチャにより構成されるＧＯＰ（Group Of Pictu
res）という階層をもつ。このＧＯＰで最初に符号化さ
れるピクチャはＩピクチャと定められており、このＩピ
クチャの前にはＧＯＰの先頭であることを示すＧＯＰヘ
ッダが挿入される。このＧＯＰヘッダ中には、そのＧＯ
Ｐを構成する復号化データのみで復号可能すなわち前の
ＧＯＰの画像データを参照しない独立したＧＯＰ（Clos
ed GOP）であるかどうかを示すフラグ（closed_gop）、
そして本来前のＧＯＰの画像データを参照する必要があ
るが編集によりこれができなくなったことを示すフラグ
（broken_link）があり、ＧＯＰを単位として編集が行
えるような工夫がなされている。

【０００６】図５は前述のＭＰＥＧ２ビデオの符号化部
分を備えた従来の符号化データ編集装置の一例のブロッ
ク図を示す。図５において、入力端子５１に入力された
原画像信号はＭＰＥＧ２の符号化部５２に供給される。
符号化部５２は制御部５３からのピクチャタイプ、量子
化ステップなどの符号化パラメータ制御信号に基づき原
画像信号の圧縮符号化を行うと共に、制御部５３に符号
量制御のための発生符号量などの符号化結果情報を返
す。

【０００７】また、符号化部５２によって圧縮符号化さ
れた符号化データは、ディジタル信号記録部５４に出力
されて記録される。制御部５３は、ディジタル信号記録
部５４に記録制御信号を与えることにより、ディジタル
信号記録部５４に記録するように制御する。編集部５５
はディジタル信号記録部５４から符号化データを読み出
し、その一部を切り取ってつなぎあわせる編集を行い、
その編集結果をディジタル信号記録部５４に返送して記
録し直す。

【０００８】図６は上記の符号化部５２の一例の詳細ブ
ロック図を示す。図６において、入力端子６１（図５の
入力端子５１に相当）に入力された原画像信号は符号化
順変換回路６２に入力される。符号化順変換回路６２は
内部バッファメモリを用いて、原画像の入力順から符号
化順への変換（符号化順変換）を行うと共に、走査順、
ブロック／マクロブロック順変換を行って符号化順で画
像信号を出力する。

【０００９】図７はこの符号化順変換回路６２による符
号化順変換の様子を示す図であり、ＧＯＰ構成と各ピク
チャの予測の方向も併せて示してある。図７（Ａ）は原
画像の入力順、すなわち画像表示順のＧＯＰ構成を示
し、同図（Ｂ）は符号化変換後の符号化順のＧＯＰ構成
を示している。また、図７の矢印は各ピクチャの予測の
方向を示している。この例においては、１つのＧＯＰは
１つのＩピクチャと、１つのＰピクチャと、４つのＢピ
クチャにより構成され、ＩピクチャとＰピクチャの周期
は３ピクチャとしている。

【００１０】このように、図６の符号化順変換回路６２
は、図７（Ａ）に示した画像表示順の各ピクチャの原画
像信号に対して、図７（Ｂ）に示したような符号化順変
換処理を行い、マクロブロック単位で構成される符号化
画像信号に変換して減算回路６３に出力する。減算回路
６３はこの符号化画像信号から、動き補償回路７５から
の予測画像信号を減算して予測誤差信号を得る。この予
測誤差信号はＤＣＴ回路６４でブロック毎に２次元ＤＣ
Ｔ変換されて、ＤＣＴ係数信号として出力される。量子
化回路６５はこのＤＣＴ係数信号に対し、符号化制御回
路７６（図５の制御部５３に相当）から供給される量子
化制御信号により設定される、ＶＬＣ文法生成回路６６
の発生符号量に応じた量子化ステップに基づき量子化を
施す。

【００１１】量子化回路６５から取り出された量子化信
号は、ＶＬＣ文法生成回路６６及び局部復号化回路７９
の逆量子化回路６９に供給される。ＶＬＣ文法生成回路
６６は、量子化回路６５からの量子化信号を可変長符号
化（ＶＬＣ：Variable Length Coding）すると共に、符
号化制御回路７６で生成されたヘッダデータなどの付加
信号をこれに多重化して所定のフォーマットのＭＰＥＧ
２符号化データを生成し、この符号化データをバッファ
メモリ６７を介して出力端子６８に出力する。またＶＬ
Ｃ文法生成回路６６は、ここで生成した符号化データの
符号量を符号化制御回路７６に供給する。

【００１２】一方、逆量子化回路６９は、量子化回路６
５からの量子化信号に対して、符号化制御回路７６から
の量子化制御信号により設定される量子化ステップによ
り、量子化回路６５で施された量子化の逆の処理、すな
わち逆量子化を行い、これにより得られるＤＣＴ係数信
号を逆ＤＣＴ回路７０に供給する。逆ＤＣＴ回路７０
は、逆２次元ＤＣＴを行い、これにより得られる予測誤
差信号を加算回路７１に供給する。加算回路７１は、逆
ＤＣＴ回路７０で得られた予測誤差信号と動き補償回路
７５で動き補償された予測画像信号とを加算し、局部復
号回路７９の出力である復号化画像信号を得て、これを
スイッチ７２に入力する。

【００１３】スイッチ７２は、符号化制御回路７６から
のピクチャタイプ信号により、Ｉピクチャ又はＰピクチ
ャのときのみ閉成するように動作する。すなわち、Ｉピ
クチャ又はＰピクチャのときのみ復号化画像信号が参照
画像メモリ７３に書き込まれる。参照画像メモリ７３は
常に、過去に符号化された２フレーム分の復号化画像を
保持する。そして参照画像メモリ７３の中の、入力順で
過去、未来の参照画像信号は動き検出回路７４に供給さ
れる。

【００１４】動き検出回路７４は参照画像信号と符号化
順変換回路６２の出力信号である符号化画像信号により
動きベクトル及び、最適な予測モードをマクロブロック
毎に検出する。この予測モードは、符号化制御回路７６
のピクチャタイプ信号により制限される。これにより得
られた予測モード信号は、参照画像メモリ７３、動き補
償回路７５及び符号化制御回路７６に、そしてこの予測
モードに対応する動きベクトル信号は動き補償回路７５
及び符号化制御回路７６に供給される。

【００１５】参照画像メモリ７３はこの予測モード信号
に従い、予測に用いる参照画像信号を動き検出回路７４
及び動き補償回路７５に供給する。動き補償回路７５は
予測モード信号及び動きベクトル信号により参照画像信
号の動き補償、そして予測モードによって時間方向の内
挿処理を行い、最終的な予測画像を得、これを減算回路
６３及び加算回路７１に供給する。

【００１６】なお、予測モード信号がイントラモードで
ある場合は、この予測画像信号が０となるため、ＤＣＴ
回路６４の入力信号は符号化順画像信号となり、予測を
用いずに原画像信号そのものを符号化することになる。
以上の動作によリＭＰＥＧ２による画像の圧縮符号化が
行われる。

【００１７】ここで、図５に示した制御部５３は、符号
化部４２に与える量子化ステップなどのパラメータを変
更することによって符号量の制御を行う。この符号量制
御は、ＭＰＥＧ２で規定されるＶＢＶ（Video Buffer V
erifier）バッファによるものである。このＶＢＶバッ
ファは、可変長符号化データを固定の符号化レートで符
号化する場合、一定の速度で符号化データが入力されて
所定の値だけ溜まったところから、所定の時間単位（例
えばフレーム時間単位）で復号化を一瞬で行う仮想デコ
ーダモデルであり、符号化器の出力に接続して使用さ
れ、その占有値がオーバーフローもアンダーフローも発
生しないように符号化することがＭＰＥＧで規定されて
いる。

【００１８】符号化データ量は、異なったピクチャタイ
プあるいはその原画像の性質、また画像間の相関により
大きく異なるため、一定のビットレートのチャネルに符
号かデータを蓄積あるいは伝送しようとすると必然的に
符号化器、復号化器はバッファを備える必要がある。Ｖ
ＢＶバッファは仮想的な復号化器であり、符号化の際、
このＶＢＶバッファがオーバーフロー、アンダーフロー
を起こさないように発生符号量を調整することによっ
て、実際の復号化器が正しく動作することを保証する。

【００１９】ここで、以上のように作成された符号化デ
ータ列を２種類接続する方法について説明する。図５に
示した編集部５５は、ディジタル信号記録部５４に記録
されている符号化データに対して、制御部５３から供給
される編集信号に基づき、編集領域の符号化データ列を
ＧＯＰ単位で編集する。ディジタル信号記録部５４に記
録されている符号化データ列を切り取り接続し、再びデ
ィジタル信号記録部５４に記録する。

【００２０】しかしながら、このような符号化データに
対する編集は、実際の符号化器が持つバッファのオーバ
ーフローやアンダーフローを発生させる原因となる。こ
のことについて図８及び図９を用いて説明する。図８
（Ａ）及び（Ｂ）はある固定レート（ＣＢＲ）の符号化
データ列Ａ１とＢ１、符号化データ列Ａ２とＢ２のＶＢ
Ｖバッファの占有量の遷移を示す図であり、縦軸がＶＢ
Ｖバッファの占有量、横軸が時間を示す。このように、
図５に示した制御部５３はＶＢＶバッファがオーバーフ
ロー、アンダーフローしないように、ピクチャ毎に最適
な符号量割り当てを行っている。

【００２１】ここで、図８（Ａ）に示す符号化データ列
Ａ１の点ａと符号化データ列Ｂ１の点ｂとを繋ぎ合わせ
る場合と、図８（Ｂ）に示す符号化データ列Ａ２の点
ａ’と符号化データ列Ｂ２の点ｂ’とを繋ぎ合わせる場
合を考えてみる。まず、符号化データ列Ａ１の点ａと符
号化データ列Ｂ１の点ｂとを繋ぎ合わせた場合のＶＢＶ
バッファの占有量の遷移は、図９（Ａ）に示される。図
９（Ａ）中、ｃ点が符号化データ列Ａ１の点ａと符号化
データ列Ｂ１の点ｂとの接続点であり、Ｉで示すように
ＶＢＶバッファのオーバーフローが生じる。

【００２２】すなわち、ＶＢＶバッファには将来の復号
化に必要な符号化データが蓄積されていなければならな
いが、ａ、ｂで符号化データ列Ａ１とＢ１を接続したこ
とによって復号化に必要な符号化データの量に比べ、一
定時間に先送りされてくる符号化データの量の方が多く
なり、この結果、図９（Ａ）にＩで示すようにオーバー
フローを引き起こしてしまう。

【００２３】また、符号化データ列Ａの点ａ’と符号化
データ列Ｂの点ｂ’とを繋ぎ合わせた場合のＶＢＶバッ
ファの占有量の遷移は、図９（Ｂ）に示される。図９
（Ｂ）中、ｄ点が符号化データ列Ａ２の点ａ’と符号化
データ列Ｂ２の点ｂ’との接続点であり、符号化データ
列Ｂ２のピクチャＸの復号時に、IIで示すようにＶＢＶ
バッファのアンダーフローが生じてしまう。すなわち、
ピクチャＸで必要とされる大量の符号化データは、本来
はそれ以前にＶＢＶバッファに送られ蓄積されていなけ
ればならない。しかし、ａ’、ｂ’で符号化データ列Ａ
２とＢ２を接続したことによってピクチャＸの符号化デ
ータが先送りできなくなって復号化時の符号化データが
不足となり、この結果、ＶＢＶバッファのアンダーフロ
ーが生じてしまう。

【００２４】これを防ぐために、従来は図９（Ａ）に示
すようにオーバーフローを引き起こす場合はａ、ｂ間の
バッファ占有量の差分の無効データを追加することでオ
ーバーフローを防止している。

【００２５】一方、図９（Ｂ）に示すようにアンダーフ
ローを引き起こす場合は、従来は接続する２つの符号化
データ列Ａ２とＢ２のうち時間的に前の符号化データ列
Ａ２の最後の画像（接続点ａ’のピクチャ）をｎ枚繰り
返し符号化することで、図９（Ｃ）に示すようにアンダ
ーフローを防止している。これは同じ画像をｎ回繰り返
し符号化（再符号化）すると、図９（Ｃ）に点線IIIで
示すように、発生符号量が極端に少なくなり、ＶＢＶバ
ッファの入力が出力を上回ることになり、ＶＢＶバッフ
ァの占有量が増加するためである。

【００２６】

【発明が解決しようとする課題】しかるに、上記の従来
装置では、２つの符号化データを接続して編集する場
合、ＶＢＶバッファのアンダーフローを防ぐために、発
生符号量の小さなピクチャを加えてＶＢＶバッファのデ
ータ量の回復を行うようにしているため、同じピクチャ
が復号化時数枚出力されることとなり、最悪の場合は画
面がフリーズした状態になってしまう可能性がある。ま
た、再符号化の際、各ピクチャに割り当てられる符号量
が不適切な場合、一部の画質劣化が顕著になるおそれが
ある。

【００２７】本発明は以上の点に鑑みなされたもので、
復号化時に画像が本来フリーズする部分でない場合にフ
リーズすることなく、復号化時にＶＢＶバッファのオー
バーフローやアンダーフローを起こさないように符号化
データの接続編集を行い得る画像データ編集装置を提供
することを目的とする。

【００２８】また、本発明の他の目的は、復号化時に編
集者が意図した画像のみを再生し得る画像データ編集装
置を提供することにある。

【００２９】更に、本発明の他の目的は、再符号化部分
の画質の低下を最小限に抑える得る画像データ編集装置
を提供することにある。

【００３０】

【課題を解決するための手段】本発明は上記の各目的を
達成するため、符号化された画像データを記録し、記録
画像データが読み出されるデータ記録部と、データ記録
部から読み出された、符号化された画像データを復号化
する復号化部と、復号化部により復号化された画像デー
タから、その画像データの各ピクチャ毎の発生符号量、
符号化パラメータ及び符号化された画像データの初期Ｖ
ＢＶバッファ値を取得して記録するパラメータ記録部
と、パラメータ記録部から取り出された各ピクチャ毎の
発生符号量及び符号化パラメータに基づいて、復号化時
に得た各ピクチャにおける量子化ステップに依存する発
生符号量で比例配分した量子化ステップに依存する目標
符号量を決定する目標符号量決定回路と、復号化部より
入力された符号化画像データを、目標符号量に基づいた
量子化ステップで量子化後、可変長符号化する符号化部
と、制御部とを有する構成としたものである。

【００３１】ここで上記の制御部は、第１の符号化画像
データ列を第２の符号化画像データ列に接続する際に、
第２の符号化画像データ列と接続される第１の符号化デ
ータ列の最後のピクチャを含む最後から計ｍ枚（ｍは１
以上の整数）の第１の符号化データ列のピクチャをデー
タ記録部から読み出して復号化回路に入力し、この復号
化回路からパラメータ記録部に各ピクチャ毎の発生符号
量及び符号化パラメータを記録させると共に目標符号量
決定回路により目標符号量を決定した後、再度計ｍ枚の
第１の符号化データ列のピクチャをデータ記録部から読
み出して復号化回路を介して符号化部に供給し、目標符
号量決定回路からの目標符号量に基づいて再符号化する
構成であり、符号化部により再符号化された計ｍ枚の第
１の符号化データ列のピクチャを介して第２の符号化画
像データ列に接続することを特徴とする。

【００３２】本発明では、第１の符号化画像データ列を
第２の符号化画像データ列に接続する際に、第２の符号
化画像データ列と接続される第１の符号化データ列の最
後のピクチャを含む最後から計ｍ枚の第１の符号化デー
タ列のピクチャを符号化部により、復号化データから符
号化時に割り当てられた符号量配分の割合を使用して再
符号化し、その再符号化された計ｍ枚の第１の符号化デ
ータ列のピクチャを介して第２の符号化画像データ列に
接続する。

【００３３】また、本発明における上記の目標符号量決
定回路は、計ｍ枚の第１の符号化データ列の各ピクチャ
における量子化ステップに依存する発生符号量に、計ｍ
枚の全ピクチャにおける全体の目標符号量と全体の発生
符号量との比を乗じた値と、計ｍ枚の第１の符号化デー
タ列の各ピクチャにおける量子化ステップに依存しない
発生符号量とを加算した値を目標符号量として決定する
ことを特徴とする。

【００３４】本発明では、量子化ステップに依存する符
号量、量子化ステップに依存しない符号量に分けて発生
符号量を記録し、再符号化時に量子化ステップに依存し
ない符号量を考慮して量子化ステップを可変制御するこ
とで、一部分を符号化を行うときでもピクチャ毎に適切
な符号量配分を行うことができる。

【００３５】また、本発明は、制御部が、第２の符号化
データ列をデータ記録部から読み出して復号化回路に入
力し、この復号化回路からパラメータ記録部に初期ＶＢ
Ｖバッファ値を記録させ、第１の符号化データ列の符号
化部による再符号化終了後、再符号化画像データの最終
ＶＢＶバッファ値がパラメータ記録部から得た第２のデ
ータ符号化列の初期ＶＢＶバッファ値より大きい分は、
無効データを再符号化したデータ符号列を再符号化デー
タに加えることで最終ＶＢＶバッファ値を初期ＶＢＶバ
ッファ値に一致させることを特徴とする。本発明では、
オーバーフローを防止できる。

【００３６】

【発明の実施の形態】次に、本発明の実施の形態につい
て説明する。図１は本発明になる画像データ編集装置の
一実施の形態のブロック図を示す。同図において、デー
タ記録部１に予め符号化されて記録されている、符号化
された画像データ列（第１の符号化データ列）Ａと、符
号化された画像データ列（第２の符号化データ列）Ｂを
任意の位置で接続編集する場合について説明する。

【００３７】制御部３は、データ記録部１から指定され
た区間の符号化データ列Ａを再生して復号化部２へ供給
する。復号化部２は制御部３で指定された区間の、入力
符号化データ列Ａのピクチャ毎の発生符号量、動きベク
トル、マクロブロックのモード、最終ＶＢＶ値等の符号
化パラメータを制御部３へ供給する。制御部３は復号化
部２から入力された符号化パラメータをパラメータ記録
部４に供給して記録する。

【００３８】制御部３で指定された区間の復号化を終え
て符号化パラメータをパラメータ記録部４に全て記録し
た後、制御部３はデータ記録部１から符号化データ列Ｂ
を再生して復号化部２へ供給する。復号化部２では初期
ＶＢＶバッファ値を制御部３に供給する。制御部３は符
号化データ列Ｂの初期ＶＢＶバッファ値をパラメータ記
録部４に記録した後データ記録部１を制御してデータ記
録部１から復号化部２への符号化データ列Ｂへの供給を
停止させる。

【００３９】次に、この画像データ編集装置は符号化デ
ータ列Ａ、Ｂを接続するときのＶＢＶバッファ値を一致
させる動作を行う。この動作について説明するに、符号
化データ列Ａ、Ｂを接続した場合、図９（Ａ）に示した
ように、バッファオーバーフローが発生するときは、従
来と同様に、制御部３は符号化データ列Ａの接続点（図
８（Ａ）のａ点に相当）におけるＶＢＶバッファの占有
量と、符号化データ列Ｂの接続点（図８（Ａ）のｂ点に
相当）におけるＶＢＶバッファの占有量の差分を算出
し、この差分だけ復号化時に無効に扱われるスタッフィ
ングビットを生成してデータ記録部１に記録する。

【００４０】その後、制御部３はデータ記録部１に記録
されている符号化データ列Ａ、上記のスタッフィングビ
ット、符号化データ列Ｂの順に再生して接続を終了す
る。これにより、２つの符号化データ列Ａ及びＢが接続
された際のオーバーフローが防止される。

【００４１】これに対し、符号化データ列Ａ、Ｂを接続
した場合、図９（Ｂ）に示したように、バッファアンダ
ーフローが発生するときは、制御部３は、符号化データ
列Ａの最終ＶＢＶバッファ値を符号化データ列Ｂの初期
ＶＢＶバッファ値にするため、従来とは異なる方法で再
符号化する。

【００４２】ここで、図１の制御部３で指定された再符
号化する区間の符号化データ列Ａの復号化時に記録され
たパラメータについて説明する。記録されたパラメータ
には、ＶＢＶバッファ値、動きベクトル、予測モ
ード、量子化ステップに依存する符号量及び量子化
ステップに依存しない符号量がある。

【００４３】量子化ステップに依存する符号量は、ＤＣ
Ｔ係数等のブロック情報を可変長符号化したときの符号
量で、量子化ステップによって符号量が変動するもので
あり、量子化ステップに依存しない符号量は、動きベク
トル、予測モード、ヘッダ等を可変長符号化したときの
符号量で、量子化ステップで符号量が変動しないもので
ある。

【００４４】上記の再符号化時にはピクチャタイプ、マ
クロブロックタイプ（予測モード）等は変更しないで、
量子化ステップのみを変更して符号量調整を行い、符号
化データ列Ａの最後のＶＢＶバッファ値を目標値（符号
化データ列Ｂの初期ＶＢＶバッファ値）にする。

【００４５】次に、再符号化の手順について説明する。
図１の目標符号量決定回路５は、パラメータ記録部４か
ら目標ＶＢＶ値Ｂｔにするために使用できる符号量と、
符号化したときの発生符号量ＢｉｔＣを取り出す。図３
（Ａ）は量子化ステップに依存する発生符号量と、量子
化ステップに依存しない発生符号量を各ピクチャの発生
順に示し、図３（Ｂ）は量子化ステップに依存する目標
符号量と、量子化ステップに依存しない目標符号量を各
ピクチャの発生順に示す。

【００４６】本実施の形態において再符号化する場合、
動き検出等の処理量の多い部分は復号化データから得た
図１のパラメータ記録部４から取得するので、量子化ス
テップに依存しない符号量は変化しない。図３（Ａ）に
示す発生符号量Ｇは（１）式及び（２）式で表される。

【００４７】 Ｇ＝ΣＰ（ｉ） （１） Ｐ（ｉ）＝ＩＤ（ｉ）＋ＤＥ（ｉ） （２） ただし、ＩＤ（ｉ）はピクチャｉにおける量子化ステッ
プに依存しない発生符号量、ＤＥ（ｉ）はピクチャｉに
おける量子化ステップに依存する発生符号量である。

【００４８】また、図３（Ｂ）に示す結合しようとする
ｍ枚（ｍは１以上の整数）のピクチャにおける全体の目
標符号量Ｔは、（３）式で表される。

【００４９】 Ｔ＝ΣＴＣ（ｉ）＋ΣＩＤ（ｉ） （３） ただし、ΣＴＣ（ｉ）はピクチャｉにおける量子化ステ
ップに依存する目標符号量であり、各ピクチャの目標符
号量ＴＣ（ｉ）は ＴＣ（ｉ）＝ＤＥ（ｉ）×Ｔ／Ｇ＋ＩＤ（ｉ） （４） である。すなわち、各ピクチャの目標符号量ＴＣ（ｉ）
は、発生符号量Ｇと再符号化する際の目標符号量Ｔとの
比で、復号化時に得た各ピクチャにおける量子化ステッ
プに依存する発生符号量ＤＥ（ｉ）を乗じた値に比例し
た値であり、量子化ステップに依存する目標符号量ＴＣ
（ｉ）を復号化時に得た各ピクチャにおける量子化ステ
ップに依存する発生符号量ＤＥ（ｉ）で比例配分したこ
とになる。

【００５０】２つの符号化データ列ＡとＢの接続時は、
この目標符号量ＴＣ（ｉ）で符号化データ列Ａの接続点
のピクチャを含む最後のｍ枚（ｍは１以上の整数）のピ
クチャを符号化部６で再符号化した後で符号化データ列
Ｂに接続する。ｍの値は、予め決めておいてもよいし、
符号化データ列Ａの発生符号量等に応じて設定するよう
にしてもよい。

【００５１】次に、復号化部２と符号化部６の再符号化
時の動作を図２を用いて説明する。図２は復号化部２と
符号化部６の一実施の形態の詳細ブロック図を示す。図
１の制御部３で指定された区間の符号化データ列Ａは、
復号化部２内の符号量カウンタ２１と可変長復号化回路
２３にそれぞれ入力される。符号量カウンタ２１は入力
された符号化データ列Ａの発生符号量をカウントして、
ピクチャ毎の発生符号量を示すカウント値を図１の制御
部３へ送出する。可変長復号化回路２３は入力された符
号化データ列Ａを可変長復号して、パラメータ取得回路
２２及び逆量子化回路２４にそれぞれ入力する。

【００５２】パラメータ取得回路２２は入力復号化デー
タに基づいて、動きベクトル、マクロブロックのモー
ド、最終ＶＢＶ値等の符号化パラメータを取得して制御
部３へ出力する。また、可変長復号化回路２３から取り
出された復号化データは、逆量子化回路２４により逆量
子化された後、逆ＤＣＴ回路２５により逆ＤＣＴされて
予測誤差信号とされる。

【００５３】この予測誤差信号は、加算回路２６に供給
され、ここで動き補償回路２７からの動き補償された予
測画像信号と加算されることにより、復号化画像信号と
されてフレームバッファ２８により蓄積されてから動き
補償回路２７に供給される。このときスイッチ２９は制
御部３よりの制御信号によりオフとされているため、加
算回路２６からの復号化画像信号は符号化部６には入力
されない。

【００５４】指定された区間の符号化データ列Ａの復号
化部２による復号がすべて終了した後、制御部１は入力
された各ピクチャ毎の発生符号量と符号化パラメータに
基づいて、前記（１）式〜（４）式の演算を行った後、
データ記録部１を再び制御して今度は符号化データ列Ａ
の符号化データ列Ｂとの接続点のピクチャを含む最後の
ｍ枚のピクチャの符号化データを読み出して復号化部２
に入力すると共に、スイッチ２９をオンに制御する。こ
れにより、上記の符号化データ列Ａの最後のｍ枚のピク
チャの符号化データが復号化部２により復号化された
後、図２のスイッチ２９を通して符号化部６内の減算回
路３３に入力される。

【００５５】符号化部６は従来の符号化部５２とほぼ同
様の構成であるが、動き補償モード、動きベクトル、復
号化時に得た情報を用いるので、動き検出回路を削除で
きると共に、動き補償回路４１等は従来の符号化部５２
内のそれよりも簡略化できる。減算回路３３は復号化部
２より入力された復号化画像信号から動き補償回路４１
よりの動き補償された予測画像信号との減算を行って予
測誤差信号を得た後、量子化回路３５に供給されて量子
化される。

【００５６】この量子化回路３５による量子化の際に用
いられる量子化ステップのうち、ピクチャ先頭における
量子化ステップは、図１の目標符号量決定回路５により
得られて入力端子３１を介して符号化制御回路３２に供
給される目標符号量と、復号化時に得られた量子化ステ
ップと、可変長符号化回路３６の発生符号量とから符号
化制御回路３２で決定される。

【００５７】例えば、再符号化時のピクチャｉでの初期
量子化ステップＱｓは、次式で表される。

【００５８】 Ｑｓ＝Ｑｄ×ＤＥ（ｉ）／ＴＣ（ｉ） （５） ただし、（５）式中、Ｑｄは符号化データ列Ａのピクチ
ャｉでの量子化ステップである。符号化制御回路３２
は、この初期量子化ステップＱｓを設定する。

【００５９】量子化回路３５から取り出された量子化デ
ータは、可変長符号化回路３６に供給されて可変長符号
化される。この可変長符号化回路３６の発生符号量デー
タは符号化制御回路３２に供給される。符号化制御回路
３２は、ＶＢＶバッファの値と、図１の目標符号量決定
回路５からの目標符号量によって量子化回路３５の量子
化ステップを可変制御する。

【００６０】また、量子化回路３５から取り出された量
子化データは、逆量子化回路３７で逆量子化され、逆Ｄ
ＣＴ回路３８により逆２次元ＤＣＴが行われ、これによ
り得られた予測誤差信号が加算回路３９に供給されて動
き補償回路４１で動き補償された予測画像信号と加算さ
れて局部復号化画像信号とされた後、フレームバッファ
４０を通して動き補償回路４１に供給される。可変長符
号化回路３６で可変長符号化された符号化画像データ
は、再符号化された符号化画像データ４２として出力さ
れて、図１のデータ記録部１に記録される。

【００６１】その後、制御部３はデータ記録部１から符
号化データ列Ａの接続点からｍ＋１枚以前のピクチャを
読み出し、続いて上記のように再符号化された符号化デ
ータ列Ａの接続点からｍ枚のピクチャをデータ記録部１
から読み出し、続いて符号化データ列Ｂをデータ記録部
１から読み出す。これにより、オーバーフロー及びアン
ダーフローを起こすことなく２つの符号化データ列Ａと
Ｂの接続した編集ができる。

【００６２】図４は上記の接続編集におけるＶＢＶバッ
ファの占有量の遷移を示す。同図中、IVは再符号化され
た符号化データ列Ａの接続点からｍ枚のピクチャの再生
時のＶＢＶバッファの占有量の遷移を示し、また、再符
号化された符号化データ列Ａの接続点からｍ枚のピクチ
ャが符号化データ列Ｂの接続点ｂ’に接続されているこ
とがわかる。

【００６３】なお、再符号化終了後、最終ＶＢＶバッフ
ァ値がデータ符号化列Ｂの初期ＶＢＶバッファ値Ｂｌよ
り大きい分は、それらの差分だけ無効データを再符号化
し、得られた無効データの符号化データを、符号化デー
タ列Ａの最後のｍ枚のピクチャの再符号化したデータ列
の後に加えることで、最終ＶＢＶバッファ値をＢｌに一
致させることができる。

【００６４】

【発明の効果】以上説明したように、本発明によれば、
復号化データから符号化時に割り当てられた符号量配分
の割合を使用して再符号化し、その再符号化された計ｍ
枚の第１の符号化データ列のピクチャを介して第２の符
号化画像データ列に接続するようにしたため、編集後の
符号化データ列が、復号化器のバッファをオーバーフロ
ーしたりアンダーフローしたりすることがないようにで
きる。

【００６５】また、本発明によれば、量子化ステップに
依存する符号量、量子化ステップに依存しない符号量に
分けて発生符号量を記録し、再符号化時に量子化ステッ
プに依存しない符号量を考慮して量子化ステップを可変
制御することで、一部分を符号化を行うときでもピクチ
ャ毎に適切な符号量配分を行うようにしたため、局部的
に符号量が不足したり、画面内において局部的に画質を
損なうことが防止でき、また、復号化時に画像が本来フ
リーズする部分でない場合にフリーズすることなく符号
化データを作成することができ、再符号化部分の画質の
低下を最小限に抑えることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の構成を示すブロック図
である。

【図２】図１中の復号化部と符号化部の一実施の形態の
詳細ブロック図である。

【図３】本発明の各ピクチャにおける量子化ステップに
依存する発生符号量及び目標符号量と量子化ステップに
依存しない発生符号量及び目標符号量の状態の一例を示
す図である。

【図４】本発明により符号化データ列を接続したときの
ＶＢＶバッファ占有量の遷移を示す図である。

【図５】従来の画像データ編集装置の一例のブロック図
である。

【図６】図５中の符号化部の一例の詳細ブロック図であ
る。

【図７】図６中の符号化順変換回路による符号化順変換
の様子を示す図である。

【図８】ある固定レート（ＣＢＲ）の符号化データ列の
ＶＢＶバッファの占有量の遷移の各例を示す図である。

【図９】図８に示した２つの符号化データ列を繋げた場
合のＶＢＶバッファの占有量の遷移と、アンダーフロー
防止のためにｎ枚の再符号化をしたときのＶＢＶバッフ
ァの占有量の遷移を示す図である。

【符号の説明】

１ データ記録部 ２ 復号化部 ３ 制御部 ４ パラメータ記録部 ５ 目標符号量決定回路 ６ 符号化部 ２１ 符号量カウンタ ２２ パラメータ取得回路 ２３ 可変長復号化回路 ２４、３７ 逆量子化回路 ２５、３８ 逆ＤＣＴ回路 ２７、４１ 動き補償回路 ２８、４０ フレームバッファ ２９ スイッチ ３１ 目標符号量入力端子 ３２ 符号化制御回路 ３４ ＤＣＴ回路 ３５ 量子化回路 ３６ 可変長符号化回路

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA14 GB08 GB22 GB26 GB33 GB38 KA01 5C059 KK35 KK39 MA00 MA03 MA05 MA23 MC11 MC38 ME01 RC12 SS11 TA46 TB04 TC18 UA02 UA05 UA38

Claims (3)

【特許請求の範囲】
1. 【請求項１】 符号化された画像データを記録し、記録
   画像データが読み出されるデータ記録部と、 前記データ記録部から読み出された、符号化された画像
   データを復号化する復号化部と、 前記復号化部により復号化された前記画像データから、
   その画像データの各ピクチャ毎の発生符号量、符号化パ
   ラメータ及び符号化された画像データの初期ＶＢＶバッ
   ファ値を取得して記録するパラメータ記録部と、 前記パラメータ記録部から取り出された前記各ピクチャ
   毎の発生符号量及び符号化パラメータに基づいて、復号
   化時に得た各ピクチャにおける量子化ステップに依存す
   る発生符号量で比例配分した量子化ステップに依存する
   目標符号量を決定する目標符号量決定回路と、 前記復号化部より入力された符号化画像データを、前記
   目標符号量に基づいた量子化ステップで量子化後、可変
   長符号化する符号化部と、 第１の符号化画像データ列を第２の符号化画像データ列
   に接続する際に、前記第２の符号化画像データ列と接続
   される前記第１の符号化データ列の最後のピクチャを含
   む最後から計ｍ枚（ｍは１以上の整数）の前記第１の符
   号化データ列のピクチャを前記データ記録部から読み出
   して前記復号化回路に入力し、この復号化回路から前記
   パラメータ記録部に前記各ピクチャ毎の発生符号量及び
   符号化パラメータを記録させると共に前記目標符号量決
   定回路により前記目標符号量を決定した後、再度前記計
   ｍ枚の前記第１の符号化データ列のピクチャを前記デー
   タ記録部から読み出して前記復号化回路を介して前記符
   号化部に供給し、前記目標符号量決定回路からの前記目
   標符号量に基づいて再符号化する制御部とを有し、前記
   符号化部により再符号化された前記計ｍ枚の前記第１の
   符号化データ列のピクチャを介して前記第２の符号化画
   像データ列に接続することを特徴とする画像データ編集
   装置。
2. 【請求項２】 前記目標符号量決定回路は、前記計ｍ枚
   の前記第１の符号化データ列の各ピクチャにおける量子
   化ステップに依存する発生符号量に、計ｍ枚の全ピクチ
   ャにおける全体の目標符号量と全体の発生符号量との比
   を乗じた値と、計ｍ枚の前記第１の符号化データ列の各
   ピクチャにおける量子化ステップに依存しない発生符号
   量とを加算した値を前記目標符号量として決定すること
   を特徴とする請求項１記載の画像データ編集装置。
3. 【請求項３】 前記制御部は、前記第２の符号化データ
   列を前記データ記録部から読み出して前記復号化回路に
   入力し、この復号化回路から前記パラメータ記録部に前
   記初期ＶＢＶバッファ値を記録させ、前記第１の符号化
   データ列の前記符号化部による再符号化終了後、再符号
   化画像データの最終ＶＢＶバッファ値が前記パラメータ
   記録部から得た前記第２のデータ符号化列の初期ＶＢＶ
   バッファ値より大きい分は、無効データを再符号化した
   データ符号列を再符号化データに加えることで最終ＶＢ
   Ｖバッファ値を初期ＶＢＶバッファ値に一致させること
   を特徴とする請求項１記載の画像データ編集装置。