JP2000333163A - 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 ビットストリームにエラーが発生したことを
示す情報を生成するとともに、ビットストリームにエラ
ーが発生しても良好な画質で符号化処理を行う。 【解決手段】 復号装置１０は、ビットストリームを復
号して画像データを生成する手段１２、各階層について
の符号化パラメータを生成する手段１２、符号化パラメ
ータを有効に用いることができるか否かを示すエラーフ
ラグを生成する手段１２を備える。符号化装置３０は、
エラーフラグに基づいて符号化パラメータを有効に用い
ることができるか否かを判定する手段４１、符号化パラ
メータが有効でないときに符号化パラメータを計算する
手段３６、符号化パラメータが有効であるとき復号装置
１０からの符号化パラメータを用いて画像データの符号
化を行い、復号装置からの符号化パラメータが有効でな
いときには計算した符号化パラメータを用いて画像デー
タの符号化を行う手段３８，３９を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データの再エ
ンコードを行うシステムに用いて好適な復号装置及び方
法、符号化装置及び方法、画像処理システム、画像処理
方法に関し、特に、ビットストリームを復号して画像デ
ータを生成するとともに再エンコードを行うときに用い
る符号化パラメータを生成する復号装置及び方法、復号
装置からの画像データ及び符号化パラメータを用いて再
エンコードを行う符号化装置及び方法、ビットストリー
ムを復号して画像データを生成するとともに再エンコー
ドを行うときに用いる符号化パラメータを生成し、復号
装置からの画像データ及び符号化パラメータを用いて再
エンコードを行う画像処理システム、画像処理方法に関
する。

【０００２】

【従来の技術】従来のエンコーダにおいて、ＭＰＥＧ
（Moving Picture Experts Group）方式でエンコードさ
れた画像信号に対する編集処理において、一旦エンコー
ドされた画像信号を復号化し、復号化した画像について
再エンコードを行う際に、通常のビデオ信号についてエ
ンコードを行う場合と比較した大きな画質劣化が生ずる
場合がある。このような画像劣化の原因としては、再エ
ンコードを行う前後、すなわち最初にＭＰＥＧ方式でエ
ンコードしたときと再エンコードを行うときとで、ピク
チャタイプ、動きベクトル等の各種符号化パラメータの
不一致が挙げられる。

【０００３】このような符号化パラメータの不一致のう
ち、ピクチャタイプが不一致であることで画質劣化が発
生するときの一例について説明する。例えば、 Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ
８ とＩ(Intra)ピクチャ、Ｐ(Predictive)ピクチャ、Ｂ(Bi
directionally predictive)ピクチャが配されてなるＭ
ＰＥＧ方式で準拠したピクチャ数Ｎ＝９、あるＩ又はＰ
ピクチャから次のＩ又はＰピクチャまでのピクチャ数Ｍ
＝３のＧＯＰ（Group of Pictures）ひとつ分の入力復
号画像、すなわち再エンコードすべき復号画像について
のピクチャタイプがある。そして、上述のように配され
てなるＧＯＰに対して、 Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ
８ と位相ロックを行う場合には再エンコードの際の参照画
像として、上記入力復号画像中において、Ｉピクチャで
あったものがそのまま用いられる。

【０００４】これに対して、 Ｂ０，Ｉ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７ と配列され、位相ロックを行わない場合には例えば３個
目のピクチャ（Ｂ２）のように、画質劣化の度合いが大
きいＢピクチャが再エンコードを行うときの参照画像と
して用いられることになる。その結果として、再エンコ
ードの精度が低下し、大きな画質劣化が発生することに
なる。

【０００５】また、上述のように、従来のエンコーダに
おいて、ピクチャタイプのみならず、他の符号化パラメ
ータ、例えば動きベクトルについても、再エンコードの
前後で一致させると、再エンコード時に符号化パラメー
タの再計算を行って算出する値を使用する場合よりも、
再エンコードしたときの画質劣化が小さくなる。そし
て、従来のエンコーダにおいては、ピクチャタイプ、動
きベクトルを含む全ての符号化パラメータを再エンコー
ドの前後で一致させることにより、再エンコードによる
画質劣化がほとんど生じない。

【０００６】ところで、ビットストリームの伝送経路中
でエラーが付加されたり、又はオリジナルのビットスト
リームをエンコードしたエンコーダがＭＰＥＧ方式に準
拠しない符号化パラメータを使用する場合においては、
デコーダで受信したビットストリームの中にシンタクス
エラーが発生する場合がある。

【０００７】このように、ビットストリームの中にシン
タクスエラーが発生した場合、デコーダは、ビットスト
リームのエラーが発生した位置から、次のスタートコー
ド（３２ビット長の同期コード）をサーチすることによ
って、エラーリカバリーをする。そして、デコーダは、
ビットストリームのエラーが発生した位置からエラーリ
カバリーできた位置までのビットストリームからは画像
を復号することはできないので、既に復号された画像の
情報を用いて、シンタクスエラーで失われた画像部分の
エラーコンシールを行う。このとき、デコーダは、例え
ば過去の表示画像からエラーで失われた画像部分へ画像
をコピーして表示する処理を行う。

【０００８】

【発明が解決しようとする課題】従来のエンコーダを例
に挙げて説明したようにピクチャタイプ、動きベクトル
を含む全ての符号化パラメータを再エンコードの前後で
一致させて再エンコードをしている場合において、デコ
ーダで受信したビットストリームの中にシンタクスエラ
ーが発生したとき、エンコーダには、デコーダがエラー
コンシールによって再生した画像が入力され、また、そ
の時の符号化パラメータは入力されないか、又は誤った
値の符号化パラメータが入力されることになる。そし
て、エンコーダは、デコーダからの誤った符号化パラメ
ータを用いてエンコードを行うと、非常に画質劣化が大
きな符号化結果となってしまう。

【０００９】上述したように、従来においては、デコー
ダに入力されたビットストリームにシンタクスエラー等
が発生したか否かに関わらず、エンコーダ側でデコーダ
からの符号化パラメータを用いてエンコードを行うこと
が多かった。したがって、エンコーダでは、誤った符号
化パラメータを用いて画像の符号化を行うことにより、
正常な処理を行うことができなくなってしまうという問
題があった。

【００１０】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、ビットストリームにエラ
ーが発生したことを示す情報を生成することができる復
号装置及び方法、ビットストリームにエラーが発生して
も良好な画質で符号化処理を行うことができる符号化装
置及び方法、画像処理システム、画像処理方法を提供す
ることを目的とする。

【００１１】

【課題を解決するための手段】上述の課題を解決する本
発明に係る復号装置は、入力されたビットストリームを
復号して画像データを生成する復号手段と、上記復号手
段で復号された画像データを再符号化するときに用いる
各階層についての符号化パラメータを生成する符号化パ
ラメータ生成手段と、画像データの再符号化を行うとき
に上記符号化パラメータ生成手段により生成された各階
層ごとの符号化パラメータを有効に用いることができる
か否かを示すエラーフラグを生成するエラーフラグ生成
手段とを備えることを特徴とする。

【００１２】また、本発明に係る復号方法は、入力され
たビットストリームを復号して画像データを生成すると
ともに、復号された上記画像データを再符号化するとき
に用いる各階層についての符号化パラメータを生成し、
画像データの再符号化を行うときに各階層ごとの上記符
号化パラメータを有効に用いることができるか否かを示
すエラーフラグを生成することを有することを特徴とす
る。

【００１３】更に、本発明に係る符号化装置は、復号装
置から入力された各階層ごとの符号化パラメータを有効
に用いることができるか否かを示すエラーフラグに基づ
いて、復号装置から入力された画像データの再符号化を
行うときに上記符号化パラメータを有効に用いることが
できるか否かを判定する判定手段と、復号装置からの符
号化パラメータが有効でない旨の上記判定手段からの判
定結果に基づいて、復号装置からの画像データを用いて
符号化パラメータを計算する符号化パラメータ計算手段
と、復号装置からの符号化パラメータが有効であると判
定手段により判定されたときには復号装置から入力され
た符号化パラメータを用いて画像データの符号化を行
い、復号装置からの符号化パラメータが有効でないと判
定手段により判定されたときには上記符号化パラメータ
計算手段で生成された符号化パラメータを用いて画像デ
ータの符号化を行う符号化手段とを備えることを特徴と
する。

【００１４】更に、本発明に係る他の符号化装置は、復
号装置から入力される画像データのうち所定のピクチャ
タイプの画像データが時間的に連続して入力される回数
を計数する計数手段と、上記計数手段からの所定の回数
に達した旨の計数結果に基づいて、画像データのピクチ
ャタイプを変更して符号化するように符号化パラメータ
を生成するピクチャタイプ変更手段と、上記ピクチャタ
イプ変更手段からの符号化パラメータを用いて画像デー
タの符号化を行う符号化手段とを備えることを特徴とす
るものである。

【００１５】更にまた、本発明に係る符号化方法は、復
号装置から入力された各階層ごとの符号化パラメータを
有効に用いることができるか否かを示すエラーフラグに
基づいて、復号装置から入力された画像データの再符号
化を行うときに上記符号化パラメータを有効に用いるこ
とができるか否かを判定する判定処理と、復号装置から
の符号化パラメータが有効でない旨の判定結果に基づい
て、復号装置からの画像データを用いて符号化パラメー
タを計算する符号化パラメータ計算処理と、復号装置か
らの符号化パラメータが有効であると判定されたときに
は復号装置から入力された符号化パラメータを用いて画
像データの符号化を行い、復号装置からの符号化パラメ
ータが有効でないと判定されたときには上記符号化パラ
メータ計算処理で生成した符号化パラメータを用いて画
像データの符号化を行う符号化処理とを有することを特
徴とする。

【００１６】更にまた、本発明に係る他の符号化方法
は、復号装置から入力される画像データのうち所定のピ
クチャタイプの画像データが時間的に連続して入力され
る回数を計数し、上記所定の回数に達した旨の計数結果
に基づいて、画像データのピクチャタイプを変更して符
号化するように符号化パラメータを生成し、ピクチャタ
イプを変更するように生成した符号化パラメータを用い
て画像データの符号化を行うことを特徴とする。

【００１７】更にまた、本発明に係る画像処理システム
は、入力されたビットストリームを復号して画像データ
を生成する復号手段と、上記復号手段で復号された画像
データを再符号化するときに用いる各階層についての符
号化パラメータを生成する符号化パラメータ生成手段
と、画像データの再符号化を行うときに上記符号化パラ
メータ生成手段により生成された各階層ごとの符号化パ
ラメータを有効に用いることができるか否かを示すエラ
ーフラグを生成するエラーフラグ生成手段とを備える復
号装置と、上記復号装置から入力された各階層ごとのエ
ラーフラグに基づいて、再符号化を行うときに上記符号
化パラメータを有効に用いることができるか否かを判定
する判定手段と、上記復号装置からの符号化パラメータ
が有効でない旨の上記判定手段からの判定結果に基づい
て、上記復号装置からの画像データを用いて符号化パラ
メータを計算する符号化パラメータ計算手段と、上記復
号装置からの符号化パラメータが有効であると判定手段
により判定されたときには上記復号装置から入力された
符号化パラメータを用いて画像データの符号化を行い、
上記復号装置からの符号化パラメータが有効でないと判
定手段により判定されたときには上記符号化パラメータ
計算手段で生成された符号化パラメータを用いて画像デ
ータの符号化を行う符号化手段とを備える符号化装置と
を備えることを特徴とするものである。

【００１８】更にまた、本発明に係る他の画像処理シス
テムは、入力されたビットストリームを復号して画像デ
ータを生成する復号手段と、上記復号手段からの画像デ
ータを逆量子化してＤＣＴ変換係数とする逆量子化手段
と、上記逆量子化手段からのＤＣＴ変換係数を量子化し
て画像データとする量子化手段と、上記復号手段で復号
された画像データを再符号化するときに用いる各階層に
ついての符号化パラメータを生成する符号化パラメータ
生成手段と、画像データの再符号化を行うときに上記符
号化パラメータ生成手段により生成された各階層ごとの
符号化パラメータを有効に用いることができるか否かを
示すエラーフラグを生成するエラーフラグ生成手段と、
上記エラーフラグ生成手段からのエラーフラグに基づい
て符号化パラメータを計算する符号化パラメータ計算手
段と、上記符号化パラメータ生成手段又は上記符号化パ
ラメータ計算手段からの符号化パラメータを用いて上記
量子化手段からの画像データの符号化を行う上記符号化
手段と、上記エラーフラグ生成手段で生成されたエラー
フラグに基づいて符号化パラメータが有効であるときに
は上記符号化パラメータ生成手段で生成された符号化パ
ラメータを用いて画像データの符号化を行なわせ、上記
エラーフラグ生成手段で生成されたエラーフラグに基づ
いて符号化パラメータが有効でないときには上記符号化
パラメータ計算手段で生成された符号化パラメータを用
いて画像データの符号化を行わせる制御手段とを備える
ことを特徴とするものである。

【００１９】更にまた、本発明に係る画像処理方法は、
入力されたビットストリームを復号して画像データ、上
記画像データを再符号化するときに用いる各階層につい
ての符号化パラメータ、上記画像データの再符号化を行
うときに各階層ごとの符号化パラメータを有効に用いる
ことができるか否かを示すエラーフラグを生成する復号
処理と、上記画像データを逆量子化してＤＣＴ変換係数
とする逆量子化処理と、上記ＤＣＴ変換係数を量子化し
て画像データとする量子化処理と、上記エラーフラグ生
成手段からのエラーフラグに基づいて符号化パラメータ
を計算する符号化パラメータ計算処理と、上記エラーフ
ラグに基づいて符号化パラメータが有効であるときには
復号処理で生成した符号化パラメータを用いて画像デー
タの符号化を行い、上記エラーフラグに基づいて符号化
パラメータが有効でないときには上記符号化パラメータ
計算処理で生成した符号化パラメータを用いて画像デー
タの符号化を行う符号化処理とを有することを特徴とす
る。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００２１】本発明は、例えば図１に示すように構成さ
れた画像処理システム１に適用される。

【００２２】図１に示す画像処理システム１は、デコー
ダ１０とエンコーダ３０とをカスケードに接続してな
り、外部からエンコードされたＭＰＥＧ２規格に準拠し
たビットストリームが入力されるデコーダ１０と、デコ
ーダ１０でデコードされた画像データを再エンコードし
て外部にビットストリームとして出力するエンコーダ３
０とからなる。

【００２３】デコーダ１０は、外部からＭＰＥＧ２方式
で符号化されたビットストリームが入力されるバッファ
１１を備える。このバッファ１１は、ビットストリーム
を一旦記憶して、可変長復号部（ＶＬＤ：Variable Len
gth Decoder）１２に出力する。

【００２４】可変長復号部１２は、バッファ１１からの
可変長符号のビットストリームに例えばマクロブロック
（ＭＢ）単位で可変長復号処理を施すことで量子化係数
や動きベクトルを求めて、逆量子化部（Inverse Quanti
zation：ＩＱ）１４に出力する。

【００２５】また、この可変長復号部１２は、上述のよ
うに可変長復号処理を行うとともに、各ＭＢ層について
付加された符号化パラメータ（以下、ＭＢパラメータ
（MB_parameters）と呼ぶ。）を検出してメモリ１３に
出力する。更に、可変長復号部１２は、ピクチャ層以上
の符号化パラメータ（Sequence_GOP_Picure_parameter
s）を検出するとともに、ピクチャ層の符号化パラメー
タ及びＭＢパラメータが有効か否かを示すパラメータ判
定情報（picture_mb_parameters_valid）を生成して、
後述の制御部４１に出力する。

【００２６】上記Sequence_GOP_Picure_parametersに
は、ＭＰＥＧ２規格において定義されている以下のパラ
メータを含む。すなわち可変長復号部１２に入力される
ビットストリームには、シーケンスヘッダ（Sequence_h
eader）の直後配置されるシーケンス拡張部（Sequence_
extension）、シーケンスディスプレイ機能拡張部（Seq
uence_display_extension）、シーケンス・スケーラブ
ル機能拡張部（Sequence_scalable_extension）が含ま
れ、これらの拡張部に続いてＧＯＰヘッダ（group_of_p
ictures_header）が付加される。

【００２７】更に、ビットストリームには、Ｉ（Inte
r）ピクチャ（フレーム内符号化画像）、Ｐ（Predictiv
e）ピクチャ（フレーム間順方向予測符号化画像）及び
Ｂ（Bidirectionally Predictive）ピクチャ（双方向予
測符号化画像）のピクチャ毎に関する情報を格納したピ
クチャヘッダ（picture_header）、ピクチャ符号化機能
拡張部（picture_coding_extension）、量子化マトリク
ス機能拡張部（quant_matrix_extension）、ピクチャデ
ィスプレイ機能拡張部（picture_display_extension）
等の拡張部が含まれる。

【００２８】更にまた、ピクチャ層以上の符号化パラメ
ータは、画像サイズ（horizontal_size、vertical_siz
e）、piture_coding_type、top_field_first、repeat_f
irst_field等のパラメータをも含む。

【００２９】上記ＭＢパラメータは、ＭＢ層の符号化パ
ラメータであり、ＭＰＥＧ２規格において定義されてい
る以下のパラメータを含む。すなわち、ＭＢ層には、マ
クロブロックアドレス、量子化ステップ・サイズを示す
量子化スケール、この量子化スケールが有効であること
を示すフラグ（ＭＢがスキップＭＢ又はnot coded ＭＢ
のとき、“０”とされる。）、ＤＣＴがフレームモード
かフィールドモードかを示すＤＣＴタイプ、フレームモ
ード、フィールドモード又はデュアルプライムモードで
動き補償を行うことを示す動き補償タイプ、前方向、後
方向又は両方向で動き予測を行うことを示すＭＢモー
ド、動きベクトル、フィールド動きベクトルの参照フィ
ールド、デュアルプライムの補助ベクトルが含まれる。

【００３０】可変長復号部１２は、復号するマクロブロ
ックが“not coded MB”であるとき、すなわちイントラ
ＭＢ以外でcoded_block_patternが存在しないマクロブ
ロックのとき、上記ＤＣＴタイプをフレームモードとす
る。

【００３１】また、可変長復号部１２は、スキップＭＢ
のとき、上記ＤＣＴタイプをフレームモードとし、上記
動き補償タイプをフレーム予測とし、上記ＭＢモードを
Ｐピクチャのとき前方向予測、Ｂピクチャのとき直前の
ＭＢからの予測とし、上記動きベクトルをＰピクチャの
とき０、Ｂピクチャのとき直前のＭＢと同じ値とする。

【００３２】更に、可変長復号部１２は、上述したよう
に、シーケンス層、ＧＯＰ層、ピクチャ層、ＭＢ層にお
ける種々の符号化パラメータを出力するとともに、下記
の表１に示すように、２ビットのフラグ、すなわちピク
チャ層の符号化パラメータが有効か否かを示す１ビット
のフラグと、ＭＢパラメータが有効か否かを示す１ビッ
トのフラグで表現されるパラメータ判定情報を生成す
る。

【００３３】

【表１】

【００３４】すなわち、可変長復号部１２は、ピクチャ
層の符号化パラメータ及びＭＢパラメータにエラー（in
valid）を含んでいるときにはフラグを“００”とし、
ピクチャ層の符号化パラメータにはエラーを含んでない
（valid）がＭＢパラメータにエラーを含んでいるとき
にはフラグを“１０”とし、ピクチャ層の符号化パラメ
ータ及びＭＢパラメータにエラーを含んでないときには
フラグを“１１”としてパラメータ判定情報を生成して
制御部４１に出力する。

【００３５】ピクチャ層の符号化パラメータにエラーが
含まれるときとしては、例えば、デコーダ１０の可変長
復号部１２における復号処理中においてビットストリー
ムにエラーが発生したときが挙げられる。このとき、次
のＧＯＰヘッダを検出してエラーリカバリーをするまで
の間にデコーダ１０からエラーコンシールによって出力
した画像データはpicture_coding_typeを持たないの
で、ピクチャ層の符号化パラメータにエラーを含むこと
になり、ピクチャ層の符号化パラメータが後述の制御部
４１で無効と判定される。

【００３６】また、ＭＢパラメータにエラーが含まれる
ときとしては、例えば、復号したピクチャ内にＭＢ層の
ビットストリームエラーがあったときが挙げられる。こ
のとき、ＭＢパラメータにエラーを含むことになり、Ｍ
Ｂパラメータが後述の制御部４１で無効と判定される。

【００３７】更に、この可変長復号部１２は、スイッチ
部２１を介してエンコーダ３０に出力されるフィールド
画像列の画像データの中でスイッチ部３１に入力される
フィールド画像と、エンコーダ３０から出力するときの
フィールド画像とが同じ画像としてエンコーダ３０側で
エンコードを行わせるため、top_field_first及びrepea
t_first_fieldを制御部４１に出力する。

【００３８】ここで、上記top_field_firstはインタレ
ース画像において、フレーム構造のピクチャのトップフ
ィールドとボトムフィールドとのいずれかを時間的に先
に表示するか否かを示すフラグであり、上記repeat_fir
st_fieldはフレーム構造のピクチャを表示するときに一
番目に表示するフィールドを２番目に表示するフィール
ドの後に繰り返して表示するか否かを示すフラグであ
る。

【００３９】メモリ１３は、可変長復号部１２からのＭ
Ｂパラメータが入力され、エンコーダ３０側の処理タイ
ミングに応じて、後述する所定のピクチャ時間のディレ
イが制御部４１により制御されて出力する。

【００４０】逆量子化部１４は、可変長復号部１２から
の量子化係数からなる画像データについて例えば８×８
画素ブロックごとに逆量子化を行う。このとき、逆量子
化部１４は、画像データに量子化ステップを乗算するこ
とでＤＣＴ変換係数とする逆量子化処理を行って、画像
データを逆ＤＣＴ（Inverse Discrete Cosine Transfor
m：ＩＤＣＴ）部１５に出力する。

【００４１】逆ＤＣＴ部１５は、逆量子化部１４からの
画像データについて例えば８×８画素ブロック単位で離
散コサイン変換の逆変換を行う。これにより、逆ＤＣＴ
部１５は、８×８画素ブロック毎にそれぞれの画素値
（輝度、色差）を算出する。そして、この逆ＤＣＴ部１
５は、逆変換を施して生成した画素値からなる画像デー
タを加算器１６に出力する。

【００４２】加算器１６は、逆ＤＣＴ部１５からの画像
データと、動き補償部１８からの画像データとを加算処
理して制御部１７に出力する。

【００４３】動き補償（Motion Compensation：ＭＣ）
部１８は、時間的に前及び後に位置する画像データを格
納するフレームメモリ（ＦＭ）を備え、動きベクトルに
基づいて当該フレームメモリから予測する画像データを
ピクチャタイプ毎に読み出して加算器１６で加算処理を
させることで動き補償をする。

【００４４】制御部１７は、加算器１６から復号順序で
フレームが配列されてなるフレーム画像シーケンスを、
表示順序でフレームが配列されてなるフレーム画像シー
ケンスとするように、フレームの順序を変更して画像処
理部１９に出力する。

【００４５】画像処理部１９は、後段のエンコーダ３０
で行う再エンコードを画像サイズを変更して行うとき、
制御部１７から入力される画像データＳ１０について、
画像サイズを変更する処理を行う。この画像処理部１９
は、例えば７２０ピクセル×４８０ピクセルの画像を３
５２ピクセル×４８０ピクセルの画像データＳ３０とし
てスイッチ部２１に出力する。

【００４６】また、この画像処理部１９は、制御部１７
からの画像データを構成する各ピクチャについて、ピク
チャ内の垂直方向及び水平方向の画素を補間して、制御
部１７から入力されたときよりも解像度が高いピクチャ
とするアップサンプリング処理を行う。

【００４７】また、画像処理部１９は、各ピクチャのピ
クチャヘッダに付加されているトップ・フィールド・フ
ァースト（top_field_first）及びリピート・ファース
ト・フィールド（repeat_first_field）に基づいて、入
力されたビットストリームを構成する各ピクチャをフレ
ーム画像からインタレース画像とする。

【００４８】更に、この画像処理部１９は、各ピクチャ
について輝度信号、色差信号Ｃｂ、Ｃｒの比を示す輝度
色差フォーマットを変換する処理を行う。すなわち、こ
の画像処理部１９は、ピクチャ毎に水平方向及び垂直方
向において色情報を半分に削減した輝度色差フォーマッ
トを示す４：２：０から、水平方向において色情報を半
分に削減した輝度色差フォーマットを示す４：２：２に
切り換える処理を行う。

【００４９】そして、この画像処理部１９は、画像サイ
ズを変更する処理、上述したアップサンプリング処理、
ピクチャヘッダを書き換えてフレーム画像からフィール
ド画像に変換する処理、輝度色差フォーマットを変換す
る処理を行った画像データＳ３０をスイッチ部２１を介
してエンコーダ３０に出力する。

【００５０】ダミーデータ付加部２０は、後段のエンコ
ーダ３０で行う再エンコードを画像サイズを変更しない
で行うとき、制御部１７から入力される画像データにつ
いて、図２に示すように、例えば水平方向におけるサイ
ズｘ×垂直方向におけるサイズｙの画像データ（図２
（ａ））にダミーデータを付加する処理を行って（図２
（ｂ））、ダミーデータを付加した画像データＳ２０を
スイッチ部２１を介してエンコーダ３０に出力する。

【００５１】このとき、ダミーデータ付加部２０は、制
御部１７からの画像データＳ１０のピクチャ単位の画像
サイズが７２０ピクセル×４８０又は５７６ピクセルよ
りも小さいと判定したときにはダミーデータを付加し
て、７２０ピクセル×４８０又は５７６ピクセルの画像
データとする処理を行う。すなわち、ダミーデータ付加
部２０は、制御部１７からの画像データＳ１０のピクチ
ャ単位の画像サイズが７２０ピクセル×４８０又は５７
６ピクセルよりも小さいと判定したときには、画像デー
タが示すピクチャの水平方向において（７２０−ｘ）ピ
クセル×４８０又は５７６ピクセルのダミーデータを付
加し、ピクチャの垂直方向においてｘピクセル×（４８
０−ｙ）又は（５６７−ｙ）ピクセルのダミーデータを
付加する処理を行う。

【００５２】スイッチ部２１は、後述の制御部４１から
の制御信号にしたがって開閉動作し、端子ａが接続され
ることでダミーデータ付加部２０からの画像データＳ２
０をエンコーダ３０に出力するとともに、端子ｂが接続
されることで画像処理部１９からの画像データＳ３０を
エンコーダ３０に出力する。

【００５３】制御部４１は、可変長復号部１２からピク
チャ層以上の符号化パラメータ（Sequence_GOP_Picure_
parameters）が入力され、Sequence_parameters、GOP_p
arameters、Picure_parametersをエンコーダ３０に出力
する。また、この制御部４１には、可変長復号部１２か
ら上述の表１を用いて説明したパラメータ判定情報が入
力される。制御部４１は、入力した符号化パラメータ及
びパラメータ判定情報をメモリ４２に格納する処理を行
う。

【００５４】制御部４１は、デコーダ１０及びエンコー
ダ３０の処理タイミングを制御するため、スイッチ部２
１、スイッチ部３１及びスイッチ部３７に制御信号を出
力して、各スイッチ部２１、３１、３７の開閉タイミン
グを制御する。このとき、制御部４１は、上記パラメー
タ判定情報を参照することで、ピクチャ層の符号化パラ
メータが有効か否かを判定するとともに、ＭＢパラメー
タが有効か否かを判定して、スイッチ部３７を開閉動作
させるための制御信号等を生成する。このとき、制御部
４１は、作業用メモリとして機能するメモリ４２に上記
各パラメータを格納して上述の処理を行う。

【００５５】エンコーダ３０は、上記スイッチ部２１か
ら画像データＳ２０又は画像データＳ３０が入力される
スイッチ部３１を備える。

【００５６】スイッチ部３１は、制御部４１からの制御
信号にしたがって開閉動作し、端子ａが接続されること
でデコーダ１０からの画像データＳ２０を入力してダミ
ーデータ除去部３２に画像データＳ２１を出力するとと
もに、端子ｂが接続されることでデコーダ１０からの画
像データＳ３０を入力して画像処理部３３に画像データ
Ｓ３１を出力する。

【００５７】ダミーデータ除去部３２は、スイッチ部３
１からの画像データＳ２１について図２（ｃ）に示すよ
うに、ダミーデータを除去する処理を行って画像データ
Ｓ４０を動き推定部３４に出力する。すなわち、このダ
ミーデータ除去部３２は、デコーダ１０からのダミーデ
ータが付加された画像データＳ２０（図２（ｂ））に付
加されているダミーデータを除去する処理を行ってダミ
ーデータが付加される前の画像データとする。

【００５８】画像処理部３３は、スイッチ部３１からの
画像データＳ３１について、上述の画像処理部１９で変
更された画像サイズを変更するとき、スイッチ部３１か
ら入力される画像データＳ３１について、画像サイズを
変更する処理等を行って画像データＳ４０を動き推定部
３４に出力する。この画像処理部３３は、例えば３５２
ピクセル×４８０ピクセルの画像を７２０ピクセル×４
８０ピクセルの画像として動き推定（ＭＥ：Motion Est
imation）部３４に出力する。

【００５９】また、この画像処理部３３は、画像データ
Ｓ３１について２−３プルダウン処理を行う。すなわ
ち、この画像処理部３３は、例えば２４ピクチャ／秒の
フィルム映像を、３０フレーム／秒の画像データに変換
する処理を行う。

【００６０】更に、この画像処理部３３は、画像データ
Ｓ３１を構成する各ピクチャについて、ピクチャ内の垂
直方向及び水平方向の画素を間引いて、スイッチ部３１
から入力されたときよりも解像度が低いピクチャとする
ダウンサンプリング処理を行う。

【００６１】更にまた、画像処理部３３は、各ピクチャ
のピクチャ層のヘッダに付加されているトップ・フィー
ルド・ファースト（top_field_first）及びリピート・
ファースト・フィールド（repeat_first_field）に基づ
いて、入力されたビットストリームを構成する各ピクチ
ャをインタレース画像からフレーム画像とする。

【００６２】更に、この画像処理部３３は、各ピクチャ
について輝度信号、色差信号Ｃｂ、Ｃｒの比を示す輝度
色差フォーマットを変換する処理を行う。すなわち、こ
の画像処理部３３は、水平方向において色情報を半分に
削減した輝度色差フォーマットを示す４：２：２から、
ピクチャ毎に水平方向及び垂直方向において色情報を半
分に削減した輝度色差フォーマットを示す４：２：０に
切り換える処理を行う。

【００６３】そして、この画像処理部３３は、画像サイ
ズを変更する処理、上述した２−３プルダウン処理、ダ
ウンサンプリング処理、ピクチャヘッダを書き換えてイ
ンタレース画像からフレーム画像に変換する処理、輝度
色差フォーマットを変換する処理を行った画像データＳ
４０を動き推定部３４に出力する。

【００６４】動き推定部３４は、スイッチ部３１又はダ
ミーデータ除去部３２からの画像データＳ４０を、ＭＢ
単位で動きベクトルを算出する処理を行う。ここで、動
き推定部３４は、過去の画像から予測を行う順方向予
測、未来の画像から予測を行う逆方向予測及び過去及び
未来の画像から予測を行う双方向予測を行って動きベク
トルを算出する処理を行う。そして、この動き推定部３
４は、算出した動きベクトル及びＭＢ単位の画像データ
を制御部３５及びＭＢパラメータ計算部３６に出力す
る。

【００６５】制御部３５は、動き推定部３４からの表示
順序でフレームが配列されてなるフレーム画像シーケン
スを、符号化順序でフレームが配列されてなるフレーム
画像シーケンスとするように、フレームの順序を変更し
てエンコード部３８に出力する。

【００６６】ＭＢパラメータ計算部３６は、動き推定部
３４からのＭＢ単位の動きベクトル及びＭＢ単位の画像
データを用いて、ＭＢパラメータを生成してスイッチ部
３７に出力する処理を行う。

【００６７】スイッチ部３７は、制御部４１からの制御
信号にしたがって開閉動作し、端子ａが接続されること
でＭＢパラメータ計算部３６で計算されたＭＢパラメー
タを入力してエンコード部３８に出力するとともに、端
子ｂが接続されることでデコーダ１０からのＭＢパラメ
ータを入力してエンコード部３８に出力する。

【００６８】エンコード部３８は、制御部３５からのＭ
Ｂ単位の画像データが入力される加算器５１と、加算器
５１からのＭＢ単位の画像データについて離散コサイン
変換処理を施してＤＣＴ変換係数からなる画像データと
するＤＣＴ処理部（ＤＣＴ）５２と、このＤＣＴ処理部
５２からの画像データを構成するＤＣＴ変換係数につい
て量子化を行う量子化処理部（Ｑ）５３と、逆量子化処
理部（ＩＱ）と、逆ＤＣＴ処理部（ＩＤＣＴ）５５と、
加算器５６と、フレームメモリ（ＦＭ）５７ａ及び動き
補償部（ＭＣ）５７ｂとからなる。

【００６９】ここで、動き補償部（ＭＣ）５７ｂは、時
間的に前及び後に位置する画像データを格納するフレー
ムメモリ（ＦＭ）を備え、動きベクトルに基づいて当該
フレームメモリから予測する画像データを読み出して加
算器５１及び加算器５６で加算処理をさせることで動き
補償をする。

【００７０】このようなエンコード部３８は、上述した
ように構成されることで、ＭＢ単位で画像データのエン
コードを行うことで、ＭＰＥＧ２規格に準拠してＩピク
チャ、Ｐピクチャ及びＢピクチャが配列されてなる画像
データを生成して可変長符号化部３９に出力する。

【００７１】可変長符号化部３９は、エンコード部３８
からの量子化係数からなるＭＢ単位の画像データについ
てハフマン符号化を用いることで可変長圧縮を行ってビ
ットストリームとしバッファ４０に出力する。

【００７２】バッファ４０は、可変長符号化部３９から
のビットストリームを一旦格納し、再エンコードしたビ
ットストリームを外部に出力する。

【００７３】次に、上述したように構成された画像処理
システム１において、デコーダ１０からピクチャ層の符
号化パラメータ、パラメータ判定情報等がエンコーダ３
０に入力されるときのタイミングチャートを図３を参照
して説明する。

【００７４】この図３によれば、先ず、図３（ａ）に示
すように、デコーダ１０には、ピクチャ時間ｔ１〜ｔ６
に亘って、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ
４の順に配されてなるビットストリームがバッファ１１
に入力される。

【００７５】ここで、バッファ１１にビットストリーム
がピクチャ時間ｔ１〜ｔ６に亘って入力されることと同
じタイミングで、図３（ｃ）に示すように、可変長復号
部１２は、ピクチャ層以上の符号化パラメータ（Sequen
ce_GOP_Picure_parameters）をピクチャＩ２，Ｂ０，Ｂ
１，Ｐ５，Ｂ３，Ｂ４の順に検出して制御部４１に出力
する。

【００７６】また、デコーダ１０の可変長復号部１２で
は、パラメータ判定情報（picture_mb_parameters_vali
d）をピクチャの可変長復号するごとに生成し、図３
（ｄ）に示すように、図３（ａ）に示すバッファ１１へ
のビットストリームの入力タイミングに対して１ピクチ
ャ時間だけ遅延して出力する。ここで、可変長復号部１
２は、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４に
ついてのパラメータ判定情報をピクチャ時間ｔ２〜ｔ７
に亘って制御部４１に出力する。

【００７７】更に、デコーダ１０のスイッチ部２１から
は、画像処理部１９又はダミーデータ付加部２０で上述
した処理を施した画像データを図３（ｂ）に示すよう
に、バッファ１１にビットストリームの入力タイミング
に対して１ピクチャ時間だけ遅延してピクチャ時間ｔ２
〜ｔ７に亘ってエンコーダ３０にピクチャＢ０，Ｂ１，
Ｉ２，Ｂ３，Ｂ４，Ｐ５の順に出力する。

【００７８】図３（ａ）〜（ｄ）に示したデコーダ１０
側の処理に対し、エンコーダ３０では、図３（ｅ）に示
すように、図３（ｂ）に示すデコーダ１０からの画像デ
ータの出力タイミングに対して遅延なしでピクチャ時間
ｔ２〜ｔ７に亘りピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ
４，Ｐ５の順に画像データが入力される。

【００７９】また、エンコーダ３０では、図３（ｆ）に
示すように、デコーダ１０からのピクチャＩ２，Ｂ０，
Ｂ１，Ｐ５，Ｂ３，Ｂ４の順にピクチャ層以上の符号化
パラメータ（Sequence_GOP_Picure_parameters）が、図
３（ｃ）に示す可変長復号部１２からの出力タイミング
から遅延なしで制御部４１を介して入力される。

【００８０】更に、エンコーダ３０では、図３（ｇ）に
示すように、デコーダ１０からのピクチャＩ２，Ｂ０，
Ｂ１，Ｐ５，Ｂ３，Ｂ４の順にパラメータ判定情報が可
変長復号部１２から遅延なしで入力される。このとき、
エンコーダ３０には、可変長復号部１２からのピクチャ
Ｉ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４についてのパラメ
ータ判定情報をピクチャ時間ｔ２〜ｔ７に亘って制御部
４１を介して入力される。

【００８１】更にまた、エンコーダ３０では、図３
（ｈ）に示すように、Ｍ＝３のＧＯＰの画像データをエ
ンコードするのに要する遅延タイミングとして、図３
（ｅ）の画像データの入力タイミングから３ピクチャ時
間の遅延タイミングでピクチャ時間ｔ５〜ｔ１０に亘り
バッファ４０からビットストリームを出力する。このと
き、エンコーダ３０からは、ピクチャＩ２，Ｂ０，Ｂ
１，Ｐ５，Ｂ３，Ｂ４の順に出力する。

【００８２】ここで、エンコーダ３０側ではエンコード
するのに要するピクチャ時間分だけピクチャ層の符号化
パラメータをメモリ４２でバッファリングする必要があ
る。そして、本例において、制御部４１は、ＭＰＥＧ２
規格に準拠してＭ＝３のＧＯＰから構成されるビットス
トリームを出力するとき、４ピクチャ時間分（ｔ１〜ｔ
４）だけ符号化パラメータのバッファリングを行わせる
ことで、符号化パラメータが付加されエンコードしたビ
ットストリームを出力させる処理を行うように制御す
る。

【００８３】次に、上述の画像処理システム１におい
て、デコーダ１０からＭＢパラメータ等がエンコーダ３
０に入力されるときのタイミングチャートを図４を参照
して説明する。

【００８４】デコーダ１０では、図４（ａ）に示すよう
に、ピクチャ時間ｔ１〜ｔ６に亘って、ピクチャＩ２，
Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順にピクチャが配され
てなるビットストリームがバッファ１１に入力される。

【００８５】また、デコーダ１０の可変長復号部１２で
は、図４（ｃ）に示すように、ピクチャ時間ｔ１〜ｔ６
に亘るビットストリームのバッファ１１への入力タイミ
ングに対して遅延なく同じタイミングでＭＢパラメータ
（MB_parameters）をデコードして生成する。このと
き、可変長復号部１２は、ピクチャＩ２，Ｂ０，Ｂ１，
Ｐ５，Ｂ３，Ｂ４ついてのＭＢパラメータを順に生成す
る。

【００８６】そして、デコーダ１０の可変長復号部１２
では、上述の図４（ｃ）に示すタイミングで生成したＭ
Ｂパラメータを、図４（ｄ）に示すように、４ピクチャ
時間分だけ遅延させてピクチャ時間ｔ５〜ｔ１０に亘っ
て、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４つい
てのＭＢパラメータを順に出力する。

【００８７】ここで、制御部４１は、ＧＯＰのＭ＝３で
あるときには４ピクチャ時間分（４フレーム分）のＭＢ
パラメータをメモリ１３にバッファリングさせてエンコ
ーダ３０に出力するように制御する。

【００８８】更にまた、デコーダ１０は、図４（ｂ）に
示すように、ビットストリームの入力タイミングに対し
て１ピクチャ時間だけ遅延してピクチャ時間ｔ２〜ｔ７
に亘ってエンコーダ３０にピクチャＢ０，Ｂ１，Ｉ２，
Ｂ３，Ｂ４，Ｐ５の順に画像データを出力する。

【００８９】図４（ａ）〜（ｄ）に示したデコーダ１０
側の処理に対し、エンコーダ３０では、図４（ｅ）に示
すように、デコーダ１０から画像データが図４（ｂ）に
示す出力タイミングに対して遅延なしでピクチャ時間ｔ
２〜ｔ７に亘りピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ
４，Ｐ５の順に画像データが入力される。

【００９０】また、エンコーダ３０では、図４（ｄ）に
示すＭＢパラメータの出力タイミングに対して遅延なし
でピクチャ時間ｔ５〜ｔ１０に亘りピクチャＩ２，Ｂ
０，Ｂ１，Ｐ５，Ｂ３，Ｂ４ついてのＭＢパラメータが
順に入力される。

【００９１】更に、エンコーダ３０では、図４（ｇ）の
入力タイミングで入力されたＭＢパラメータを用いてエ
ンコード部３８でエンコード等をすることで生成したビ
ットストリームを、図４（ｆ）に示すように、図４
（ｅ）に示すエンコーダ３０への画像データ入力の入力
タイミングに対して３ピクチャ時間遅延してピクチャ時
間ｔ５〜ｔ１０に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ
５，Ｂ３，Ｂ４の順に出力する。

【００９２】ここで、エンコーダ３０側ではエンコード
するのに要するピクチャ時間分だけピクチャ層の符号化
パラメータをメモリ４２でバッファリングする必要があ
る。そして、本例において、制御部４１は、Ｍ＝３のＧ
ＯＰで構成されるビットストリームを出力するとき、画
像データの入力タイミングに対して３ピクチャ時間分
（ｔ２〜ｔ４）だけ遅延させて出力するように制御す
る。

【００９３】次に、上述の画像処理システム１におい
て、デコーダ１０からのパラメータ判定情報に応じた処
理について説明する。

【００９４】画像処理システム１は、可変長復号部１２
で生成されたパラメータ判定情報に基づいてピクチャ層
以上の符号化パラメータ及びＭＢパラメータが有効か無
効かを制御部４１で判定させ、制御部４１によりエンコ
ーダ３０側でエンコードを行うときに用いる符号化パラ
メータを選択する処理を行わせる。

【００９５】具体的には、制御部４１は、可変長復号部
１２からのパラメータ判定情報に基づいて、ピクチャ層
以上の符号化パラメータ及びＭＢパラメータにエラーを
含んでおらず有効であることを示すフラグを検出したと
きには、デコーダ１０に入力されたビットストリームに
付加された符号化パラメータと同じ符号化パラメータを
用いてデコーダ１０から入力される画像データをエンコ
ーダ３０でエンコードさせる。

【００９６】また、制御部４１は、エンコーダ３０でエ
ンコードを行うことでビットレートを下げる場合には、
量子化スケールを示す符号化パラメータのみをエンコー
ダ３０で変更してエンコードを行い、他の符号化パラメ
ータについてはデコーダ１０に入力されたビットストリ
ームに付加された符号化パラメータを用いてエンコード
するように制御する。

【００９７】更に、制御部４１は、エンコーダ３０で画
像サイズを変更してエンコードを行う場合には、ピクチ
ャ層以上の符号化パラメータのみを用いてエンコードを
行わせる。このとき、制御部４１は、少なくともpictur
e_coding_type、top_field_first、repeat_first_field
について、エンコードを行うときの符号化パラメータと
デコーダ１０に入力されるビットストリームに付加され
た符号化パラメータとを同じくするように制御する。ま
た、制御部４１は、可変長復号部１２からのＭＢパラメ
ータを無効とし、ＭＢパラメータ計算部３６で計算され
たＭＢ層の全ての符号化パラメータを用いてエンコード
部３８でエンコードを行うようにスイッチ部３７を制御
する。

【００９８】一方、上述の画像処理システム１おいて、
可変長復号部１２からのパラメータ判定情報に基づい
て、ピクチャ層以上の符号化パラメータ及びＭＢパラメ
ータにエラーを含んでおり無効であることを示すフラグ
を検出したときには、エンコーダ３０のＭＢパラメータ
計算部３６で計算したＭＢパラメータを用いてエンコー
ドを行う。以下に、符号化パラメータが無効であるとき
の処理について図５に示すタイミングチャートを参照し
て説明する。

【００９９】この図５に示すタイミングチャートによれ
ば、図５（ａ）に示すようにピクチャ時間ｔ１〜ｔ１２
に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，
Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順にピクチャが
配されてなるビットストリームがデコーダ１０のバッフ
ァ１１に入力される。

【０１００】これに応じて、デコーダ１０の可変長復号
部１２では、図５（ｃ）に示すように、ビットストリー
ムの入力タイミングと同じタイミングでピクチャ時間ｔ
１〜ｔ１２に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ
３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順で
ＭＢパラメータのデコードを行う。

【０１０１】ここで、図５（ｄ）に示すように、ピクチ
ャ時間ｔ４において、ピクチャＰ５についてのＭＢ層の
シンタクスエラーが発生すると、可変長復号部１２は、
図５（ｅ）に示すように、パラメータ判定情報（mb_par
ameters_valid）のＭＢ層についての１ビットのフラグ
を“０”とする。そして、可変長復号部１２は、ピクチ
ャＰ５の次のピクチャＢ３のスタートコードでエラーリ
カバリーを行う。

【０１０２】また、可変長復号部１２は、ピクチャ時間
ｔ１〜ｔ３及びｔ５〜ｔ１２においてはＭＢ層にエラー
が発生せずに、パラメータ判定情報のＭＢ層についての
１ビットのフラグを“１”とする。

【０１０３】また、デコーダ１０は、図５（ｆ）に示す
ように、可変長復号部１２でデコードして生成したＭＢ
パラメータをメモリ１３にバッファリングして制御部４
１からの制御によりビットストリームの入力タイミング
に対して４ピクチャ時間だけ遅延させてピクチャ時間ｔ
５〜ｔ１６に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ
３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順で
ＭＢパラメータを３０に出力する。

【０１０４】更に、デコーダ１０は、図５（ｂ）に示す
ように、ビットストリームの入力タイミングに対して１
ピクチャ時間だけ遅延してピクチャ時間ｔ２〜ｔ１３に
亘ってピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，
Ｂ６，Ｂ７，Ｐ８，Ｂ０，Ｂ１，Ｉ２の順に画像データ
をエンコーダ３０に出力する。

【０１０５】図５（ａ）〜（ｆ）に示したデコーダ１０
側の処理に対し、エンコーダ３０では、図５（ｇ）に示
すように、デコーダ１０から画像データが図５（ｂ）に
示す出力タイミングに対して遅延なしでピクチャ時間ｔ
２〜ｔ１０に亘りピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ
４，Ｐ５，Ｂ６，Ｂ７，Ｐ８の順に画像データが入力さ
れる。

【０１０６】また、エンコーダ３０には、図５（ｈ）に
示すように、図５（ｆ）に示すＭＢパラメータの出力タ
イミングに対して遅延なしでピクチャ時間ｔ５〜ｔ１６
に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，
Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１ついてのＭＢパラ
メータが入力される。

【０１０７】そして、図５（ｉ）に示すように、図５
（ｈ）に示したＭＢパラメータの入力タイミングと同じ
タイミングで、制御部４１では、可変長復号部１２から
のパラメータ判定情報に基づいて、可変長復号部１２か
らのＭＢパラメータが有効か否かの判定を行う。ここ
で、図５（ｉ）においては、制御部４１によりＭＢパラ
メータを有効と判定したときには“１”と表記し、制御
部４１によりＭＢパラメータを無効と判定したときには
“０”と表記している。

【０１０８】図５（ｄ）に示したようにピクチャ時間ｔ
４においてピクチャＰ５についてのＭＢパラメータにエ
ラーを含んでいる旨のパラメータ判定情報に応じて、制
御部４１は、ピクチャＰ５がエラーコンシールにより生
成された画像データであることを認識する。そして、制
御部４１は、ピクチャＰ５を用いて予測符号化がなされ
て生成されたピクチャＢ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７に
ついてのＭＢパラメータも無効とする。そして、制御部
４１は、ピクチャＰ５を用いないで生成されるピクチャ
Ｉ２から再びＭＢパラメータが有効と判定する。すなわ
ち、制御部４１は、ピクチャ時間ｔ５〜ｔ７に入力され
るピクチャＩ２，Ｂ０，Ｂ１についてのＭＢパラメータ
及びピクチャ時間ｔ１４〜ｔ１６に入力されるピクチャ
Ｉ２，Ｂ０，Ｂ１についてのＭＢパラメータを有効と判
定し、ピクチャ時間ｔ８〜ｔ１３に入力されるピクチャ
Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７についてのＭＢパ
ラメータを無効と判定する。

【０１０９】図５（ｉ）に示したように、ＭＢパラメー
タが有効と判定されたピクチャＩ２，Ｂ０，Ｂ１につい
ては、制御部４１は、スイッチ部３７が端子ｂと接続す
るように制御し、可変長復号部１２からスイッチ部３７
に入力されたＭＢパラメータを用いてエンコード部３８
で動きベクトルの予測等の処理を行ってエンコードを行
うように制御する。

【０１１０】一方、図５（ｉ）に示したように、ＭＢパ
ラメータが無効と判定されたピクチャＰ５，Ｂ３，Ｂ
４，Ｐ８，Ｂ６，Ｂ７については、制御部４１は、スイ
ッチ部３７が端子ａと接続するように制御し、可変長復
号部１２で生成されエンコーダ３０に入力されたＭＢパ
ラメータを用いず、ＭＢパラメータ計算部３６で計算し
たＭＢパラメータを用いてエンコード部３８で動きベク
トルの予測等の処理を行ってエンコードを行うように制
御する。

【０１１１】そして、エンコーダ３０は、エンコード部
３８でエンコード等をすることで生成したビットストリ
ームを、図５（ｊ）に示すように、図５（ｇ）に示す画
像データ入力の入力タイミングに対して３ピクチャ時間
分遅延してピクチャ時間ｔ５〜ｔ１６に亘りピクチャＩ
２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ
７，Ｉ２，Ｂ０，Ｂ１の順に出力する。

【０１１２】ここで、エンコーダ３０側ではエンコード
するのに要するピクチャ時間分だけピクチャ層の符号化
パラメータをメモリ４２でバッファリングする必要があ
る。そして、本例において、制御部４１は、Ｍ＝３のＧ
ＯＰで構成されるビットストリームを出力するとき、画
像データの入力タイミングに対して３ピクチャ時間分
（ｔ２〜ｔ４）だけ遅延させて出力するように制御す
る。

【０１１３】このように構成された画像処理システム１
は、デコーダ１０の可変長復号部１２でピクチャ層の符
号化パラメータ、ＭＢパラメータにエラーが発生してい
ることを示すパラメータ判定情報を生成して、エンコー
ダ３０で用いる符号化パラメータを制御部４１により制
御することができる。したがって、この画像処理システ
ム１によれば、例えば符号化パラメータが無効であると
きには、当該符号化パラメータを用いないでエンコーダ
３０で計算して生成した符号化パラメータを用いて再エ
ンコードを行うことで、正確に再エンコードを行うこと
ができる。

【０１１４】具体的には、画像処理システム１によれ
ば、図５（ｄ）に示すように、ＭＢ層のエラーが発生し
たときには、デコーダ１０の可変長復号部１２で生成し
たＭＢパラメータを用いないで、ＭＢパラメータ計算部
３６で計算したＭＢパラメータを用いてエンコード部３
８で再エンコードを行うことで、間違いのある符号化パ
ラメータを用いて再エンコードすることを防止すること
ができる。

【０１１５】上述の図３〜図５を用いて説明した動作を
行う画像処理システム１に備えられるエンコーダ３０
は、Ｉピクチャ又はＰピクチャの間隔が３（Ｍ＝３）以
下のＧＯＰで構成される画像データについてエンコード
を行うものであり、Ｍが３以上（Ｍ＞３）のＧＯＰで構
成される画像データが入力されたときには、Ｍが３以下
（Ｍ≦３）の画像データに変更する処理を制御部４１に
より行って再エンコードを行う。

【０１１６】例えば、エンコーダ３０にピクチャＩ０，
Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｐ５が順に表示される画像デ
ータについては、制御部４１は、ピクチャＢ３をピクチ
ャＰ３と変更する処理を行ってピクチャＩ０，Ｂ１，Ｂ
２，Ｐ３，Ｂ４，Ｐ５が順に表示される画像データとす
る。これにより、制御部４１は、Ｍ＝５のＧＯＰの画像
データを、Ｍ＝３とＭ＝２のＧＯＰの画像データとす
る。

【０１１７】制御部４１は、上述のように、Ｍを変更す
るとき、ピクチャの表示順に従ってエンコーダ３０に入
力されるピクチャパラメータのpicture_coding_typeを
参照して、連続して入力されるＢピクチャの数をカウン
トし、当該カウント数が３となったときのＢピクチャを
Ｐピクチャに変更するように符号化パラメータを生成し
て再エンコードを行うように制御する。

【０１１８】このような処理を行う画像処理システム１
について図６のタイミングチャートを参照して説明す
る。

【０１１９】この図６に示すタイミングチャートによれ
ば、先ず、図６（ａ）に示すように、ピクチャ時間ｔ１
〜ｔ１４に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ
３，Ｂ４，Ｐａ，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐｄ，Ｂ
ｂ，Ｂｃの順にピクチャが配されてなるビットストリー
ムがデコーダ１０のバッファ１１に入力される。

【０１２０】ここで、デコーダ１０に入力されたビット
ストリームについてのＭは、あるピクチャ時間のＩピク
チャ又はＰピクチャから後のピクチャ時間に出現するＩ
ピクチャ又はＰピクチャまでのピクチャ数を検出するこ
とにより得られ、図６（ｂ）に示すように、ピクチャＩ
２，Ｂ０，Ｂ１で３となり、ピクチャＰ５，Ｂ３，Ｂ４
で“３”となり、ピクチャＰａ，Ｂ６，Ｂ７，Ｂ８，Ｂ
９で“５”となり、ピクチャＰｄ，Ｂｂ，Ｂｃで“３”
となる。

【０１２１】図６（ａ）に示すビットストリームの入力
タイミングと同じタイミングで、デコーダ１０の可変長
復号部１２では、図６（ｄ）に示すように、ピクチャ時
間ｔ１〜ｔ１４に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ
５，Ｂ３，Ｂ４，Ｐａ，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐ
ｄ，Ｂｂ，Ｂｃの順で各ピクチャについてのＭＢパラメ
ータのデコードを行う。

【０１２２】そして、デコーダ１０は、図６（ｅ）に示
すように、可変長復号部１２で生成したＭＢパラメータ
をメモリ１３にバッファリングして制御部４１からの制
御によりビットストリームの入力タイミングに対して４
ピクチャ時間だけ遅延させてピクチャ時間ｔ５〜ｔ１６
に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，
Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順で各ピクチャ
についてのＭＢパラメータをエンコーダ３０に出力す
る。

【０１２３】更に、デコーダ１０は、図６（ｃ）に示す
ように、ビットストリームの入力タイミングに対して１
ピクチャ時間だけ遅延しピクチャ時間ｔ２〜ｔ１５に亘
ってピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ
６，Ｂ７，Ｂ８，Ｂ９，Ｐａ，Ｂｂ，Ｂｃ，Ｐｄの順に
画像データをエンコーダ３０に出力する。

【０１２４】これに対し、エンコーダ３０には、図６
（ｆ）に示すように、図６（ｃ）に示すデコーダ１０か
らの画像データの出力タイミングと同じタイミングで、
ピクチャ時間ｔ２〜ｔ１５に亘ってピクチャＢ０，Ｂ
１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｂ８，Ｂ
９，Ｐａ，Ｂｂ，Ｂｃ，Ｐｄの順に画像データが入力さ
れる。

【０１２５】ここで、制御部４１は、図６（ｇ）に示す
ように、図６（ｆ）に示す画像データの入力タイミング
に基づいて、エンコーダ３０に時間的に連続して入力さ
れるＢピクチャの数をカウントして、カウント数を得
る。制御部４１は、Ｉピクチャ又はＰピクチャがエンコ
ーダ３０に入力されたとき、又はカウント数が“３”と
なったときに、カウント数を“０”にリセットする。

【０１２６】すなわち、制御部４１は、図６（ｆ）に示
すように入力された画像データに対し、１，２，０，
１，２，０，１，２，３，１，０，１，２，０とピクチ
ャに対応したカウント数を得る。

【０１２７】そして、制御部４１は、図６（ｇ）に示す
カウント数に基づいて、画像データのＭを変更するか否
かを判定を行う。すなわち、制御部４１は、カウンタ数
が“３”となったときに画像データのＭを変更する旨の
判定をし、図６（ｈ）に示すように、ピクチャ時間ｔ１
０においてカウンタ数が“３”におけるピクチャＢ８を
Ｐピクチャに変更して、Ｍを変更する。

【０１２８】このようにＢピクチャをＰピクチャに変更
した場合において、制御部４１は、図６（ｉ）に示すよ
うに、図６（ｇ）に示すカウンタ数に基づいて、各ピク
チャについてのピクチャタイプ（picture_coding_typ
e）を決定する。本例において、制御部４１は、ピクチ
ャ時間ｔ１０におけるピクチャＢ８をＰピクチャに変更
することにより、図６（ｆ）のピクチャタイプをＢピク
チャからＰピクチャに変更する処理を行う。

【０１２９】ここで、制御部４１は、デコーダ１０から
エンコーダ３０に入力されるＭＢパラメータに関わら
ず、カウント数に基づいて決定したピクチャタイプに従
ってエンコード部３８で再エンコードを行うように制御
する。

【０１３０】また、エンコーダ３０には、図６（ｊ）に
示すように、図６（ｅ）に示すＭＢパラメータの出力タ
イミングに対して遅延なしでピクチャ時間ｔ５〜ｔ１８
に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，
Ｐａ，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐｄ，Ｂｂ，Ｂｃつい
てのＭＢパラメータが順に入力される。

【０１３１】そして、図６（ｋ）に示すように、図６
（ｊ）に示したＭＢパラメータの入力タイミングと同じ
タイミングで、制御部４１では、可変長復号部１２から
のパラメータ判定情報に基づいて、可変長復号部１２か
らのＭＢパラメータが有効か否かの判定を行う。ここ
で、図６（ｋ）においては、制御部４１によりＭＢパラ
メータを有効と判定したときには“１”と表記し、制御
部４１によりＭＢパラメータを無効と判定したときには
“０”と表記している。

【０１３２】ここで、制御部４１は、上述の図６（ｉ）
に示すようにピクチャ時間ｔ１０におけるピクチャをＢ
ピクチャからＰピクチャに変更した場合において、変更
した時におけるＢピクチャと時間的に連続するＢピクチ
ャから、時間的に後のＰピクチャまでにおける各ピクチ
ャについてのＭＢパラメータ（例えば動きベクトル等）
を無効と判定する。

【０１３３】すなわち、制御部４１は、カウンタ数が３
であるときのピクチャＢ８と当該ピクチャＢ８と時間的
に連続するピクチャＢ６，Ｂ７，Ｂ９から、時間的に後
のピクチャＰａまでのＭＢパラメータを無効と判定し、
それ以外のピクチャについてのＭＢパラメータを有効と
判定する。

【０１３４】そして、制御部４１は、無効と判定された
ＭＢパラメータに対応するピクチャについてはＭＢパラ
メータ計算部３６で計算して得たＭＢパラメータを用い
てエンコード部３８で再エンコードを行い、有効と判定
されたＭＢパラメータに対応するピクチャについてはデ
コーダ１０からのＭＢパラメータを用いてエンコード部
３８で再エンコードを行う。

【０１３５】すなわち、制御部４１は、デコーダ１０か
ら入力されたＭＢパラメータが無効であるピクチャＢ６
〜Ｐａまでについてはスイッチ部３７が端子ａと接続す
るように制御し、可変長復号部１２で生成されエンコー
ダ３０に入力されたＭＢパラメータを用いず、ＭＢパラ
メータ計算部３６で計算したＭＢパラメータ（picture_
coding_type）を用いてエンコード部３８で動きベクト
ルの予測等の処理を行ってエンコードを行うようにスイ
ッチ部３７を制御する。

【０１３６】一方、制御部４１は、デコーダ１０から入
力されたＭＢパラメータが有効であるピクチャについて
は、可変長復号部１２からスイッチ部３７に入力された
ＭＢパラメータを用いてエンコード部３８で動きベクト
ルの予測等の処理を行ってエンコードを行うように制御
する。

【０１３７】そして、エンコーダ３０は、エンコード部
３８でエンコード等をすることで生成したビットストリ
ームを、図６（ｌ）に示すように、図６（ｆ）に示す画
像データ入力の入力タイミングに対して３ピクチャ時間
遅延してピクチャ時間ｔ５〜ｔ１８に亘りピクチャＩ
２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ
７，Ｐａ，Ｂ９，Ｐｄ，Ｂｂ，Ｂｃの順に出力する。

【０１３８】ここで、エンコーダ３０側ではエンコード
するのに要するピクチャ時間分だけピクチャ層の符号化
パラメータをメモリ４２でバッファリングする必要があ
る。そして、本例において、制御部４１は、Ｍ＝３のＧ
ＯＰで構成されるビットストリームを出力するとき、画
像データの入力タイミングに対して３ピクチャ時間分
（ｔ２〜ｔ４）だけ遅延させて出力するように制御す
る。

【０１３９】このような処理を行う画像処理システム１
によれば、Ｍが３以下のＧＯＰの画像データに対応した
エンコーダ３０において、Ｍが３以上のＧＯＰの画像デ
ータがデコーダ１０から入力されたときにはＢピクチャ
をＰピクチャに変更してＭが３以下のＧＯＰの画像デー
タに変更しても、デコーダ１０からの符号化パラメータ
に代えてＭＢパラメータ計算部３６で計算した符号化パ
ラメータを用いることにより正確に再エンコードを行う
ことができる。

【０１４０】すなわち、この画像処理システム１によれ
ば、デコーダ１０から入力する符号化パラメータがエン
コーダ３０で符号化することができる範囲外であって
も、ＭＢパラメータ計算部３６で計算した符号化パラメ
ータを用いることにより、符号化パラメータを変更して
再エンコードを行うことができる。

【０１４１】また、エンコーダ３０は、デコーダ１０か
ら入力されたＭＢパラメータのうち量子化スケールを使
用して再エンコードを行った場合であっても、エンコー
ド部３８で再エンコードした各ピクチャについての平均
量子化スケールを計算する処理を行う。このとき、エン
コーダ３０では、ＭＢパラメータのうち、量子化スケー
ルが有効であることを示すフラグを検出し、エラーフラ
グのない有効な量子化スケールのみを用いて各ピクチャ
についての量子化スケールを計算する処理を行う。この
ように計算した平均量子化スケールは、レートコントロ
ールに応じて可変長符号化部３９で行う符号化の符号化
難易度を学習するときに用いられる。これにより、エン
コーダ３０は、デコーダ１０から入力される量子化スケ
ールでエンコードを行う処理モードから、ＭＢパラメー
タ計算部３６で量子化スケールを計算してエンコードを
行う処理モードに変更したとき、上述のように計算した
平均量子化スケールを用いた学習を可変長符号化部３９
で再符号化を行うときのレートコントロールに生かすこ
とができる。

【０１４２】なお、本発明を適用した画像処理システム
１の説明においては、可変長復号部１２で生成するパラ
メータ判定情報をピクチャ層以上の階層及びＭＢ層につ
いて生成するときの一例について説明したが、これに限
らず、例えばＭＰＥＧ規格に準拠したＧＯＰ層やスライ
ス層等の他の階層（レイヤー）についてパラメータ判定
情報を生成しても良い。これにより、画像処理システム
１は、エンコーダ３０で再エンコードを行うとき、上記
各階層に対応したパラメータ判定情報を参照して、デコ
ーダ１０からの符号化パラメータを用いて再エンコード
を行うか、各階層における符号化パラメータをＭＢパラ
メータ計算部３６で生成して再エンコードを行うかを制
御部４１により判定して、正確な再エンコードを行うこ
とができる。

【０１４３】更に、本発明を適用した画像処理システム
１においては、パラメータ判定情報を可変長復号部１２
で生成して制御部４１に出力する一例について説明した
が、これに限らず、画像データ中のブランキング区間や
クロマ信号のＬＳＢ（LeastSignificant Bit）等の有効
な画像データでない信号部分に書き込んでデコーダ１０
からエンコーダ３０に入力しても良い。このとき、可変
長復号部１２は、パラメータ判定情報のみならず、ピク
チャ層以上の符号化パラメータ及びＭＢパラメータも画
像データ中の有効な部分以外に書き込んであることが望
ましい。

【０１４４】つぎに、本発明を適用した他の画像処理シ
ステム１００について説明する。この画像処理システム
は、入力されるビットストリームを画像データにまでは
復号しないで、その途中の符号化情報まで復号して、当
該符号化情報を用いて再エンコードを行う。

【０１４５】この画像処理システム１００は、図７に示
すように、入力端子１０１を介してビットストリームＳ
５１が入力されるバッファ１０２と、バッファ１０２か
らのビットストリームＳ５１について可変長復号を行っ
て量子化ＤＣＴ係数からなる画像データとする可変長復
号部１０３と、可変長復号部１０３からの画像データＳ
５２を逆量子化部１０５に出力するとともに及び画像デ
ータＳ５２以外の情報Ｓ５３を遅延処理部１０９に出力
するスイッチ部１０４と、スイッチ部１０４からの画像
データＳ５２に逆量子化処理を行ってＤＣＴ係数からな
る画像データとする逆量子化部１０５と、逆量子化部１
０５からの画像データについて量子化処理を行って量子
化ＤＣＴ係数からなる画像データＳ５４とする量子化部
１０６と、可変長復号部１０３からの量子化パラメータ
に基づいて量子化部１０６の量子化処理を制御する量子
化コントロール部１０７と、可変長復号部１０３からの
パラメータ判定情報に基づいて符号化パラメータを生成
するパラメータ発生部１０８と、スイッチ部１０４から
量子化ＤＣＴ係数以外の情報Ｓ５３が入力される遅延処
理部１０９と、量子化部１０６からの画像データＳ５
４、遅延処理部１０９で遅延処理がなされた情報Ｓ５
３、パラメータ発生部１０８で生成した符号化パラメー
タのいずれかを出力するように制御されるスイッチ部１
１０と、スイッチ部１１０からの画像データについて可
変長符号化処理を施してビットストリームＳ５５を生成
する可変長符号化部１１１と、バッファ１１からのビッ
トストリームを一旦格納して出力端子１１３を介して外
部に出力するバッファ１１２とを備える。

【０１４６】このように構成された画像処理システム１
００において、可変長復号部１０３は、上述した可変長
復号部１２と同様の処理を行い、バッファ１０２からの
ビットストリームに例えばマクロブロック（ＭＢ）単位
で可変長復号処理を施すことで量子化ＤＣＴ変換係数か
らなる画像データを求めてスイッチ部１０４に出力す
る。

【０１４７】また、この可変長復号部１０３は、上述の
ように可変長復号処理を行うとともに、各ＭＢ層につい
て付加されたＭＢパラメータ（MB_parameters）及びピ
クチャ層以上の符号化パラメータ（Sequence_GOP_Picur
e_parameters）を検出してスイッチ部１０４に出力す
る。更に、可変長復号部１０２は、ピクチャ層の符号化
パラメータ及びＭＢパラメータが有効か否かを示すパラ
メータ判定情報（picture_mb_parameters_valid）を生
成してパラメータ発生部１０８及びスイッチ部１０４に
出力する。

【０１４８】スイッチ部１０４は、図示しない制御部か
ら制御信号が入力されることで端子Ａ又は端子Ｂと接続
されるように制御されて動作する。このスイッチ部１０
４は、端子Ａと接続することで可変長復号部１０３から
の画像データを逆量子化部１０５に出力するとともに、
端子Ｂと接続することで可変長復号部１０３からの符号
化パラメータを遅延処理部１０９に出力する。

【０１４９】逆量子化部１０５は、スイッチ部１０４か
らの量子化ＤＣＴ変換係数からなる画像データについて
例えば８×８画素ブロックごとに逆量子化を行う。この
とき、逆量子化部１４は、画像データに量子化ステップ
を乗算することでＤＣＴ変換係数とする逆量子化処理を
行って量子化部１０６に出力する。

【０１５０】量子化部１０６は、逆量子化部１０５から
のＤＣＴ変換係数からなる画像データについて量子化を
行うことで量子化ＤＣＴ変換係数からなる画像データＳ
５４にしてスイッチ部１１０に出力する。

【０１５１】遅延処理部１０９は、逆量子化部１０５及
び量子化部１０６における処理に要する時間だけスイッ
チ部１１０への入力タイミングを遅延させてスイッチ部
１１０に符号化パラメータＳ５３を出力する。

【０１５２】量子化コントロール部１０７は、可変長復
号部１０３からの量子化パラメータに基づいて、バッフ
ァ１１２のビット占有量を計算し、バッファ１１２から
所定のビットレート以下のビットストリームＳ５５が出
力されるように、量子化部１０６で行う量子化処理にお
ける量子化スケールを指定する量子化制御信号を生成す
る。

【０１５３】なお、この量子化コントロール部１０７
は、エンコード及びデコードするときに原理上発生して
しまう再生画像の動き補償によるビットストリームＳ５
５のミスマッチエラーが目立たないように量子化スケー
ルを制御することが望ましい。

【０１５４】パラメータ発生部１０８は、可変長復号部
１０３からパラメータ判定情報に基づいて符号化パラメ
ータを生成する。すなわち、このパラメータ発生部１０
８は、パラメータ判定情報により、エラーが発生してい
る階層における符号化パラメータを生成してスイッチ部
１１０に出力する。

【０１５５】スイッチ部１１０は、可変長復号部１０３
からのパラメータ判定情報及び図示しない制御部から制
御信号が入力されることで端子Ａ、端子Ｂ又は端子Ｃと
接続され出力タイミングが制御されて動作する。このス
イッチ部１１０は、パラメータ判定情報により可変長復
号部１０３で生成した符号化パラメータが有効と判定し
たときには遅延処理部１０９からの符号化パラメータを
可変長符号化部１１１に出力するように端子Ｂと接続さ
れ、パラメータ判定情報により可変長復号部１０３で生
成した符号化パラメータが無効と判定したときにはパラ
メータ発生部１０８からの符号化パラメータを可変長符
号化部１１１に出力するように端子Ｃと接続される。

【０１５６】可変長符号化部１１１は、スイッチ部１１
０からの画像データを可変長符号化してビットストリー
ムＳ５５を生成してバッファ１１２に出力し、目的とす
るビットレートで出力端子１１３を介してビットストリ
ームを出力する。

【０１５７】このように構成された画像処理システム１
００において、入力端子１０１から入力されたビットス
トリームにシンタクスエラーが発生しないときの動作に
ついて説明する。

【０１５８】このとき、可変長復号部１０３で生成され
るパラメータ判定情報のフラグは、表１を参照して明ら
かなように“１１”となる。すなわち、可変長復号部１
０３で可変長復号されたビットストリームのピクチャ層
及びＭＢパラメータにはエラーが発生しておらず有効で
ある。したがって、この場合においては、可変長復号部
１０３で生成した符号化パラメータを用いて可変長符号
化部１１１で可変長符号化を行うことでビットレートを
変換するように再エンコードをしてビットストリームＳ
５５を生成する。

【０１５９】次に、入力端子１０１から入力されたビッ
トストリームにシンタクスエラーが発生した場合の画像
処理システム１００の動作について説明する。

【０１６０】入力されたビットストリームにシンタクス
エラーが発生すると、可変長復号部１０３は、パラメー
タ判定情報のフラグが“００”又は“１０”となる。こ
のとき、パラメータ発生部１０８は、エラーがＩピクチ
ャ又はＰピクチャの位置で発生したときには、Ｐピクチ
ャのピクチャヘッダを出力し、スキップマクロブロック
とする旨のＭＢパラメータをスイッチ部１１０に出力す
る。

【０１６１】また、パラメータ発生部１０８は、エラー
がＢピクチャの位置で発生したときにはＢピクチャのピ
クチャヘッダを出力し、動きベクトルが“０”でありＤ
ＣＴ係数を持たないことを示すＭＢパラメータをスイッ
チ部１１０に出力する。そして、スイッチ部１１０で
は、パラメータ判定情報に基づいて、端子Ｃに入力され
た符号化パラメータとともに、端子Ａに入力された符号
化パラメータを可変長符号化部１１１に出力し、ビット
レートを変換するように再エンコードをしてビットスト
リームＳ５５を生成する。

【０１６２】次に、入力端子１０１から入力されたビッ
トストリームにＭＢ層のシンタクスエラーが発生した場
合の画像処理システム１００の動作について説明する。

【０１６３】この画像処理システム１００において、パ
ラメータ判定情報により、ＭＢ層のエラーがＩピクチャ
の中で発生したときには、パラメータ発生部１０８は、
エラーが発生したマクロブロックと隣接するマクロブロ
ックについての符号化パラメータをエラーが発生したマ
クロブロックの符号化パラメータとしてスイッチ部１１
０に出力する。

【０１６４】また、エラーがＰピクチャの中で発生した
場合には、パラメータ発生部１０８は、スキップマクロ
ブロックとする旨のＭＢパラメータをスイッチ部１１０
に出力する。

【０１６５】更に、エラーがＢピクチの中で発生したと
きには、パラメータ発生部１０８は、動きベクトルが
“０”であり、ＤＣＴ係数を持たないことを示すＭＢパ
ラメータをスイッチ部１１０に出力する。そして、スイ
ッチ部１１０では、パラメータ判定情報に基づいて、端
子Ｃに入力された符号化パラメータとともに、端子Ａに
入力された符号化パラメータを可変長符号化部１１１に
出力し、ビットレートを変換するように再エンコードを
してビットストリームＳ５５を生成する。

【０１６６】このように構成された画像処理システム１
００は、入力されたビットストリームにシンタクスエラ
ーが発生する場合に置いても、可変長復号部１０３で生
成したパラメータ判定情報に基づいて、パラメータ発生
部１０８でピクチャ層及びＭＢパラメータを生成するの
で、シンタクスエラーを修正したビットストリームを生
成するように再エンコードして出力端子１１３から出力
することができる。

【０１６７】

【発明の効果】本発明に係る復号装置及び方法は、画像
データの再符号化を行うときに各階層ごとの上記符号化
パラメータを有効に用いることができるか否かを示すエ
ラーフラグを生成することができるので、復号した後、
再エンコードを行うときに用いる符号化パラメータを制
御させることができる。したがって、この復号装置及び
方法によれば、例えば復号した符号化パラメータが無効
であるときには、当該符号化パラメータを用いないでエ
ンコーダで生成した符号化パラメータを用いて再エンコ
ードを行うことで、正確に再エンコードを行わせること
ができる。

【０１６８】更に、本発明に係る符号化装置及び方法
は、復号装置からの符号化パラメータが有効であると判
定されたときには復号装置から入力された符号化パラメ
ータを用いて画像データの符号化を行い、復号装置から
の符号化パラメータが有効でないと判定されたときには
上記符号化パラメータ計算処理で生成した符号化パラメ
ータを用いて画像データの符号化を行う符号化処理を有
するので、復号装置からの符号化パラメータが有効なと
きには入力された画像データについての符号化パラメー
タを用いて再符号化を行い、復号装置からの符号化パラ
メータが無効のときには自身で計算して得た符号化パラ
メータで再符号化を行う。したがって、この符号化装置
及び方法によれば、エラーフラグにより示された符号化
パラメータを用いて再符号化を行うことがないので正確
に再符号化を行うことができ、良好な画質で符号化結果
を得ることができる。

【０１６９】更に、本発明に係る他の符号化装置及び方
法は、復号装置から入力される画像データのうち所定の
ピクチャタイプの画像データが時間的に連続して入力さ
れる回数を計数し、上記所定の回数に達した旨の計数結
果に基づいて、画像データのピクチャタイプを変更して
符号化するように符号化パラメータを生成し、ピクチャ
タイプを変更するように生成した符号化パラメータを用
いて画像データの符号化を行うので、復号装置から入力
する符号化パラメータがで符号化することができる範囲
外であっても、符号化パラメータを変更して再符号化を
行うことができ、良好な画質で符号化結果を得ることが
できる。

【０１７０】更にまた、本発明に係る画像処理システム
は、画像データの再符号化を行うときに符号化パラメー
タ生成手段により生成された各階層ごとの符号化パラメ
ータを有効に用いることができるか否かを示すエラーフ
ラグを生成するエラーフラグ生成手段を備える復号装置
と、復号装置から入力された各階層ごとのエラーフラグ
に基づいて、再符号化を行うときに符号化パラメータを
有効に用いることができるか否かを判定する判定手段
と、復号装置からの符号化パラメータが有効でない旨の
判定手段からの判定結果に基づいて、復号装置からの画
像データを用いて符号化パラメータを計算する符号化パ
ラメータ計算手段と、復号装置からの符号化パラメータ
が有効であると判定手段により判定されたときには復号
装置から入力された符号化パラメータを用いて画像デー
タの符号化を行い、復号装置からの符号化パラメータが
有効でないと判定手段により判定されたときには符号化
パラメータ計算手段で生成された符号化パラメータを用
いて画像データの符号化を行う符号化手段とを備える符
号化装置とを備えるので、復号装置からの符号化パラメ
ータが有効なときには入力された画像データについての
符号化パラメータを用いて再符号化を行い、復号装置か
らの符号化パラメータが無効のときには符号化装置で計
算して得た符号化パラメータで再符号化を行うことがで
きる。したがって、この画像処理システムによれば、エ
ラーフラグにより示された符号化パラメータを用いて再
符号化を行うことがないので正確に再符号化を行うこと
ができ、良好な画質で符号化結果を得ることができる。

【０１７１】更にまた、本発明に係る画像処理システム
及び画像処理方法は、入力されたビットストリームを復
号して画像データ、上記画像データを再符号化するとき
に用いる各階層についての符号化パラメータ、上記画像
データの再符号化を行うときに各階層ごとの符号化パラ
メータを有効に用いることができるか否かを示すエラー
フラグを生成する復号処理と、上記エラーフラグに基づ
いて符号化パラメータを計算する符号化パラメータ計算
処理と、上記エラーフラグに基づいて符号化パラメータ
が有効であるときには復号処理で生成した符号化パラメ
ータを用いて画像データの符号化を行い、上記エラーフ
ラグに基づいて符号化パラメータが有効でないときには
上記符号化パラメータ計算処理で生成した符号化パラメ
ータを用いて画像データの符号化を行う符号化処理とを
有するので、符号化パラメータが有効なときには復号処
理で生成した符号化パラメータを用いて再符号化を行
い、復号処理で生成した符号化パラメータが無効のとき
には再計算して得た符号化パラメータで再符号化を行う
ことができる。したがって、この画像処理システム及び
画像処理方法によれば、エラーフラグにより示された符
号化パラメータを用いて再符号化を行うことがないので
正確に再符号化を行うことができ、良好な画質の符号化
結果を得ることができる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理システムの構成につ
いて示すブロック図である。

【図２】（ａ）は水平方向におけるサイズｘ×垂直方向
におけるサイズｙの画像データを示す図であり、（ｂ）
は画像データにダミーデータを付加する処理について説
明するための図であり、（ｃ）は画像データからダミー
データを除去する処理について説明するための図であ
る。

【図３】本発明を適用した画像処理システムにおいて、
デコーダからピクチャパラメータ、パラメータ判定情報
等がエンコーダに入力されるときの処理タイミングを説
明するためのタイミングチャートである。

【図４】本発明を適用した画像処理システムにおいて、
デコーダからＭＢパラメータ等がエンコーダに入力され
るときの処理タイミングを説明するためのタイミングチ
ャートである。

【図５】本発明を適用した画像処理システムにおいて、
デコーダからエンコーダに入力された符号化パラメータ
が無効であるときの処理タイミングについて説明するた
めのタイミングチャートである。

【図６】ピクチャの表示順に従ってエンコーダに入力さ
れるpicture_coding_typeのＭＢパラメータを参照し
て、Ｂピクチャの数をカウント数に応じてＢピクチャを
Ｐピクチャと変更してエンコードを行うときの処理タイ
ミングについて説明するためのタイミングチャートであ
る。

【図７】本発明を適用した他の画像処理システムについ
て説明するための図である。

【符号の説明】

１，１００ 画像処理システム、１０ デコーダ、３０
エンコーダ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 伊木 信弥 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 成田 秀之 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 LA06 LA07 LB05 LB15 MA00 MA23 MA31 MC11 ME02 PP05 PP06 PP07 PP11 PP16 RB09 RC09 RF02 RF09 RF18 RF24 SS11 TA25 TA46 TA76 TB03 TB17 TC16 TC22 TC24 TD07 UA02 UA06 UA32

Claims (19)

【特許請求の範囲】
1. 【請求項１】 入力されたビットストリームを復号して
   画像データを生成する復号手段と、 上記復号手段で復号された画像データを再符号化すると
   きに用いる各階層についての符号化パラメータを生成す
   る符号化パラメータ生成手段と、 画像データの再符号化を行うときに上記符号化パラメー
   タ生成手段により生成された各階層ごとの符号化パラメ
   ータを有効に用いることができるか否かを示すエラーフ
   ラグを生成するエラーフラグ生成手段とを備えることを
   特徴とする復号装置。
2. 【請求項２】 上記エラーフラグ生成手段は、ＭＰＥＧ
   ２規格に準拠したピクチャ層及びマクロブロック層の符
   号化パラメータについてエラーフラグを生成することを
   特徴とする請求項１記載の復号装置。
3. 【請求項３】 入力されたビットストリームを復号して
   画像データを生成するとともに、復号された上記画像デ
   ータを再符号化するときに用いる各階層についての符号
   化パラメータを生成し、 画像データの再符号化を行うときに各階層ごとの上記符
   号化パラメータを有効に用いることができるか否かを示
   すエラーフラグを生成することを特徴とする復号方法。
4. 【請求項４】 ＭＰＥＧ２規格に準拠したピクチャ層及
   びマクロブロック層の符号化パラメータについてエラー
   フラグを生成することを特徴とする請求項３記載の復号
   方法。
5. 【請求項５】 復号装置から入力された各階層ごとの符
   号化パラメータを有効に用いることができるか否かを示
   すエラーフラグに基づいて、復号装置から入力された画
   像データの再符号化を行うときに上記符号化パラメータ
   を有効に用いることができるか否かを判定する判定手段
   と、 復号装置からの符号化パラメータが有効でない旨の上記
   判定手段からの判定結果に基づいて、復号装置からの画
   像データを用いて符号化パラメータを計算する符号化パ
   ラメータ計算手段と、 復号装置からの符号化パラメータが有効であると判定手
   段により判定されたときには復号装置から入力された符
   号化パラメータを用いて画像データの符号化を行い、復
   号装置からの符号化パラメータが有効でないと判定手段
   により判定されたときには上記符号化パラメータ計算手
   段で生成された符号化パラメータを用いて画像データの
   符号化を行う符号化手段とを備えることを特徴とする符
   号化装置。
6. 【請求項６】 エラーフラグは、ＭＰＥＧ２規格に準拠
   したピクチャ層及びマクロブロック層の符号化パラメー
   タについてのフラグであることを特徴とする請求項５記
   載の符号化装置。
7. 【請求項７】 復号装置からのエラーフラグが付加され
   ているピクチャを示す画像データのピクチャタイプを判
   定するピクチャタイプ判定手段を備え、 上記判定手段は、上記ピクチャタイプ判定手段からのエ
   ラーフラグが付加されているピクチャを示す画像データ
   のピクチャタイプに基づいて、当該エラーフラグが付加
   されているピクチャを用いて生成されたピクチャを示す
   画像データについての符号化パラメータを有効でないと
   判定することを特徴とする請求項５記載の符号化装置。
8. 【請求項８】 復号装置から入力される画像データのう
   ち所定のピクチャタイプの画像データが時間的に連続し
   て入力される回数を計数する計数手段と、 上記計数手段からの所定の回数に達した旨の計数結果に
   基づいて、画像データのピクチャタイプを変更して符号
   化するように符号化パラメータを生成するピクチャタイ
   プ変更手段と、 上記ピクチャタイプ変更手段からの符号化パラメータを
   用いて画像データの符号化を行う符号化手段とを備える
   ことを特徴とする符号化装置。
9. 【請求項９】 復号装置から入力された各階層ごとの符
   号化パラメータを有効に用いることができるか否かを示
   すエラーフラグに基づいて、復号装置から入力された画
   像データの再符号化を行うときに上記符号化パラメータ
   を有効に用いることができるか否かを判定する判定処理
   と、 復号装置からの符号化パラメータが有効でない旨の判定
   結果に基づいて、復号装置からの画像データを用いて符
   号化パラメータを計算する符号化パラメータ計算処理
   と、 復号装置からの符号化パラメータが有効であると判定さ
   れたときには復号装置から入力された符号化パラメータ
   を用いて画像データの符号化を行い、復号装置からの符
   号化パラメータが有効でないと判定されたときには上記
   符号化パラメータ計算処理で生成した符号化パラメータ
   を用いて画像データの符号化を行う符号化処理とを有す
   ることを特徴とする符号化方法。
10. 【請求項１０】 エラーフラグは、ＭＰＥＧ２規格に準
    拠したピクチャ層及びマクロブロック層の符号化パラメ
    ータについてのフラグであることを特徴とする請求項９
    記載の符号化方法。
11. 【請求項１１】 復号装置からのエラーフラグが付加さ
    れているピクチャを示す画像データのピクチャタイプを
    判定するピクチャタイプ判定処理を有し、 上記判定処理は、上記ピクチャタイプ判定処理で判定さ
    れたエラーフラグが付加されているピクチャを示す画像
    データのピクチャタイプに基づいて、当該エラーフラグ
    が付加されているピクチャを用いて生成されたピクチャ
    を示す画像データについての符号化パラメータを有効で
    ないと判定することを特徴とする請求項９記載の符号化
    方法。
12. 【請求項１２】 復号装置から入力される画像データの
    うち所定のピクチャタイプの画像データが時間的に連続
    して入力される回数を計数し、 上記所定の回数に達した旨の計数結果に基づいて、画像
    データのピクチャタイプを変更して符号化するように符
    号化パラメータを生成し、 ピクチャタイプを変更するように生成した符号化パラメ
    ータを用いて画像データの符号化を行うことを特徴とす
    る符号化方法。
13. 【請求項１３】 入力されたビットストリームを復号し
    て画像データを生成する復号手段と、上記復号手段で復
    号された画像データを再符号化するときに用いる各階層
    についての符号化パラメータを生成する符号化パラメー
    タ生成手段と、画像データの再符号化を行うときに上記
    符号化パラメータ生成手段により生成された各階層ごと
    の符号化パラメータを有効に用いることができるか否か
    を示すエラーフラグを生成するエラーフラグ生成手段と
    を備える復号装置と、 上記復号装置から入力された各階層ごとのエラーフラグ
    に基づいて、再符号化を行うときに上記符号化パラメー
    タを有効に用いることができるか否かを判定する判定手
    段と、上記復号装置からの符号化パラメータが有効でな
    い旨の上記判定手段からの判定結果に基づいて、上記復
    号装置からの画像データを用いて符号化パラメータを計
    算する符号化パラメータ計算手段と、上記復号装置から
    の符号化パラメータが有効であると判定手段により判定
    されたときには上記復号装置から入力された符号化パラ
    メータを用いて画像データの符号化を行い、上記復号装
    置からの符号化パラメータが有効でないと判定手段によ
    り判定されたときには上記符号化パラメータ計算手段で
    生成された符号化パラメータを用いて画像データの符号
    化を行う符号化手段とを備える符号化装置とを備えるこ
    とを特徴とする画像処理システム。
14. 【請求項１４】 上記エラーフラグ生成手段は、ＭＰＥ
    Ｇ２規格に準拠したピクチャ層及びマクロブロック層の
    符号化パラメータについてエラーフラグを生成すること
    を特徴とする請求項１３記載の画像処理システム。
15. 【請求項１５】 上記符号化装置は、上記復号装置から
    のエラーフラグが付加されているピクチャを示す画像デ
    ータのピクチャタイプを判定するピクチャタイプ判定手
    段を備え、上記判定手段は、上記ピクチャタイプ判定手
    段からのエラーフラグが付加されているピクチャを示す
    画像データのピクチャタイプに基づいて、当該エラーフ
    ラグが付加されているピクチャを用いて生成されたピク
    チャを示す画像データについての符号化パラメータを有
    効でないと判定することを特徴とする請求項１３記載の
    画像処理システム。
16. 【請求項１６】 入力されたビットストリームを復号し
    て画像データを生成する復号手段と、 上記復号手段からの画像データを逆量子化してＤＣＴ変
    換係数とする逆量子化手段と、 上記逆量子化手段からのＤＣＴ変換係数を量子化して画
    像データとする量子化手段と、 上記復号手段で復号された画像データを再符号化すると
    きに用いる各階層についての符号化パラメータを生成す
    る符号化パラメータ生成手段と、 画像データの再符号化を行うときに上記符号化パラメー
    タ生成手段により生成された各階層ごとの符号化パラメ
    ータを有効に用いることができるか否かを示すエラーフ
    ラグを生成するエラーフラグ生成手段と、 上記エラーフラグ生成手段からのエラーフラグに基づい
    て符号化パラメータを計算する符号化パラメータ計算手
    段と、 上記符号化パラメータ生成手段又は上記符号化パラメー
    タ計算手段からの符号化パラメータを用いて上記量子化
    手段からの画像データの符号化を行う上記符号化手段
    と、 上記エラーフラグ生成手段で生成されたエラーフラグに
    基づいて符号化パラメータが有効であるときには上記符
    号化パラメータ生成手段で生成された符号化パラメータ
    を用いて画像データの符号化を行なわせ、上記エラーフ
    ラグ生成手段で生成されたエラーフラグに基づいて符号
    化パラメータが有効でないときには上記符号化パラメー
    タ計算手段で生成された符号化パラメータを用いて画像
    データの符号化を行わせる制御手段とを備えることを特
    徴とする画像処理システム。
17. 【請求項１７】 上記符号化手段で符号化されたビット
    ストリームを所定のビットレート以下で出力するビデオ
    バッファと、 上記ビデオバッファのビット占有量に基づいて、上記ビ
    デオバッファで出力するビットストリームのビットレー
    トを上記所定のビットストリーム以下とするように上記
    量子化手段で量子化を行うときの量子化ステップを制御
    する量子化制御信号を出力する量子化制御手段とを備え
    ることを特徴とする請求項１６記載の画像処理システ
    ム。
18. 【請求項１８】 入力されたビットストリームを復号し
    て画像データ、上記画像データを再符号化するときに用
    いる各階層についての符号化パラメータ、上記画像デー
    タの再符号化を行うときに各階層ごとの符号化パラメー
    タを有効に用いることができるか否かを示すエラーフラ
    グを生成する復号処理と、 上記画像データを逆量子化してＤＣＴ変換係数とする逆
    量子化処理と、 上記ＤＣＴ変換係数を量子化して画像データとする量子
    化処理と、 上記エラーフラグに基づいて符号化パラメータを計算す
    る符号化パラメータ計算処理と、 上記エラーフラグに基づいて符号化パラメータが有効で
    あるときには復号処理で生成した符号化パラメータを用
    いて画像データの符号化を行い、上記エラーフラグに基
    づいて符号化パラメータが有効でないときには上記符号
    化パラメータ計算処理で生成した符号化パラメータを用
    いて画像データの符号化を行う符号化処理とを有するこ
    とを特徴とする画像処理方法。
19. 【請求項１９】 符号化されたビットストリームを所定
    のビットレート以下で出力するビデオバッファのビット
    占有量に基づいて、上記ビデオバッファで出力するビッ
    トストリームのビットレートを上記所定のビットストリ
    ーム以下とするように上記量子化処理で量子化を行うと
    きの量子化ステップを制御することを特徴とする請求項
    １８記載の画像処理方法。