JP2000059770A - データ伝送装置および方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 トランスコーダの規模を小さくするととも
に、再符号化に伴う画像の劣化を抑制する。 【解決手段】 符号化パラメータ多重装置１０３は、現
符号化パラメータと履歴復号装置１０４より供給される
履歴情報に含まれる複数世代の符号化パラメータとを、
復号装置１０２より供給されるビデオデータに多重化
し、ベースバンドのデジタルビデオ信号として符号化パ
ラメータ分離装置１０５に出力する。符号化パラメータ
分離装置１０５は、符号化装置１０６で符号化に使用す
る符号化パラメータを選択し、現符号化パラメータとし
て符号化装置１０６に出力するともに、残りの複数世代
の符号化パラメータを履歴符号化装置１０７に出力す
る。符号化装置１０６は、符号化パラメータ分離装置１
０５より供給されるビデオデータを現符号化パラメータ
で符号化してビットストリームを生成すると共に、その
ビットストリームに履歴符号化装置１０７より供給され
る複数世代の符号化パラメータが履歴情報として含まれ
ているユーザデータを多重化し、後段のトランスコーダ
に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ伝送装置お
よび方法、並びに提供媒体に関し、特に、動画像信号
を、例えば光磁気ディスクや磁気テープなどの記録媒体
に記録し、これを再生して、ステレオ視が可能なディス
プレイなどに表示したり、テレビ会議システム、テレビ
電話システム、放送用機器など、動画像信号を伝送路を
介して送信側から受信側に伝送し、受信側において、こ
れを受信して表示する場合などに用いて好適なデータ伝
送装置および方法、並びに提供媒体に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関が利用され
て、画像信号が圧縮符号化される。

【０００３】画像信号が圧縮符号化される場合、生成さ
れるビットストリームが、所定のビットレートになるよ
うに符号化が行われる。しかしながら、実運用上におい
て、伝送路の都合により、ビットストリームのビットレ
ートを変換する必要が生じることがある。このような場
合、図６８に示すようなトランスコーダ１３１により、
符号化されている情報を一旦復号し、ビットレートが所
定の値になるように、再び符号化する方法が一般的であ
る。図６８の例の場合、１０Mbpsで送られてきたビット
ストリームが、復号装置１３２により復号され、デジタ
ルビデオ信号として符号化装置１３３に供給され、符号
化装置１３３により、ビットレートが５Mbpsであるビッ
トストリームに符号化されて出力される。

【０００４】

【発明が解決しようとする課題】このように映像信号を
再符号化する場合、符号化装置１３３には、図６９に示
すように、映像信号のライン相関やフレーム間相関を検
出する動き検出部１３４が必要となり、符号化装置１３
３の規模が大きくなる課題があった。

【０００５】また、例えば放送局においては、映像の編
集が秒単位で行われるので、フレームの画像情報が他の
フレームの画像情報と独立しているほうがよい。そこ
で、図７０に示すように、低いビットレート（３乃至９
Mbps）で転送しても画質が劣化しないように、情報が相
関関係にあるフレームの集合であるGOP(Group of Pictu
re)を構成するフレーム数が多いLong GOPの符号化装置
１３３−１から出力されたビットストリームは、放送局
の符号化装置１３３−２により、GOPを構成するフレー
ム数が少ないShort GOPに変換されて高ビットレート
（１８乃至５０Ｍｂｐｓ）で伝送され、編集終了後、符
号化装置１３３−３により、再度Ｌｏｎｇ ＧＯＰに変
換されて出力される。このように、画像情報に符号化、
復号が繰り返されると、符号化の度に使用される符号化
パラメータが変化するので画像情報が劣化する課題があ
った。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、過去に演算した動きベクトルを用いて再符
号化を行うことにより、装置の規模を小さくするととも
に、再符号化に伴う画像の劣化を抑制することを可能と
するものである。

【０００７】

【課題を解決するための手段】請求項１に記載のデータ
伝送装置は、ソースビデオデータを符号化する符号化手
段と、符号化手段による符号化処理よりも前の符号化処
理で使用した符号化パラメータを、符号化手段の符号化
処理により生成されたビットストリームに重畳する重畳
手段と、重畳手段により符号化パラメータが重畳された
ビットストリームを伝送する伝送手段とを備えることを
特徴とする。

【０００８】請求項２に記載のデータ伝送方法は、ソー
スビデオデータを符号化する符号化ステップと、符号化
ステップでの符号化処理よりも前の符号化処理で使用し
た符号化パラメータを、符号化ステップでの符号化処理
により生成されたビットストリームに重畳する重畳ステ
ップと、重畳ステップで符号化パラメータが重畳された
ビットストリームを伝送する伝送ステップとを含むこと
を特徴とする。

【０００９】請求項３に記載の提供媒体は、ソースビデ
オデータを符号化する符号化ステップと、符号化ステッ
プでの符号化処理よりも前の符号化処理で使用した符号
化パラメータを、符号化ステップでの符号化処理により
生成されたビットストリームに重畳する重畳ステップ
と、重畳ステップで符号化パラメータが重畳されたビッ
トストリームを伝送する伝送ステップとを含む処理をデ
ータ伝送装置に実行させるコンピュータが読み取り可能
なプログラムを提供することを特徴とする。

【００１０】請求項４に記載のデータ伝送装置は、MPEG
規格に基づいて符号化されたビットストリームを復号す
る復号手段と、復号手段により復号されたベースバンド
のビデオデータに、過去の符号化処理で使用した符号化
パラメータを重畳する重畳手段と、重畳手段により符号
化パラメータが重畳されたビデオデータを伝送する伝送
手段とを備えることを特徴とする。

【００１１】請求項５に記載のデータ伝送方法は、MPEG
規格に基づいて符号化されたビットストリームを復号す
る復号ステップと、復号ステップで復号されたベースバ
ンドのビデオデータに、過去の符号化処理で使用した符
号化パラメータを重畳する重畳ステップと、重畳ステッ
プで符号化パラメータが重畳されたビデオデータを伝送
する伝送ステップとを含むことを特徴とする。

【００１２】請求項６に記載の提供媒体は、MPEG規格に
基づいて符号化されたビットストリームを復号する復号
ステップと、復号ステップで復号されたベースバンドの
ビデオデータに、過去の符号化処理で使用した符号化パ
ラメータを重畳する重畳ステップと、重畳ステップで符
号化パラメータが重畳されたビデオデータを伝送する伝
送ステップとを含む処理をデータ伝送装置に実行させる
コンピュータが読み取り可能なプログラムを提供するこ
とを特徴とする。

【００１３】請求項１に記載のデータ伝送装置、請求項
２に記載のデータ伝送方法、および請求項３に記載の提
供媒体においては、前の符号化処理で使用した符号化パ
ラメータが、符号化処理により生成されたビットストリ
ームに重畳され、伝送される。

【００１４】請求項４に記載のデータ伝送装置、請求項
５に記載のデータ伝送方法、および請求項６に記載の提
供媒体においては、復号されたベースバンドのビデオデ
ータに、過去の符号化処理で使用した符号化パラメータ
が重畳され、伝送される。

【００１５】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。

【００１６】請求項１に記載のデータ伝送装置は、ソー
スビデオデータを符号化する符号化手段（例えば、図１
５の符号化装置１０６）と、符号化手段による符号化処
理よりも前の符号化処理で使用した符号化パラメータ
を、符号化手段の符号化処理により生成されたビットス
トリームに重畳する重畳手段（例えば、図１５の符号化
装置１０６）と、重畳手段により符号化パラメータが重
畳されたビットストリームを伝送する伝送手段（例え
ば、図１５の符号化装置１０６）とを備えることを特徴
とする。

【００１７】請求項４に記載のデータ伝送装置は、MPEG
規格に基づいて符号化されたビットストリームを復号す
る復号手段（例えば、図１５の復号装置１０２）と、復
号手段により復号されたベースバンドのビデオデータ
に、過去の符号化処理で使用した符号化パラメータを重
畳する重畳手段（例えば、図１５の符号化パラメータ多
重装置１０３）と、重畳手段により符号化パラメータが
重畳されたビデオデータを伝送する伝送手段（例えば、
図１５の符号化パラメータ多重装置１０３）とを備える
ことを特徴とする。

【００１８】但し勿論この記載は、各手段を記載したも
のに限定することを意味するものではない。

【００１９】本発明を適用したトランスコーダについて
説明する前に、動画像信号の圧縮符号化について説明す
る。なお、本明細書においてシステムの用語は、複数の
装置、手段などにより構成される全体的な装置を意味す
るものである。

【００２０】例えば、テレビ会議システム、テレビ電話
システムなどのように、動画像信号を遠隔地に伝送する
システムにおいては、伝送路を効率良く利用するため、
映像信号のライン相関やフレーム間相関を利用して、画
像信号を圧縮符号化するようになされている。

【００２１】ライン相関を利用すると、画像信号を、例
えばDCT（離散コサイン変換）処理するなどして圧縮す
ることができる。

【００２２】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図１に示すように、時刻ｔ１乃至ｔ３において、フ
レーム画像ＰＣ１乃至ＰＣ３がそれぞれ発生している場
合、フレーム画像ＰＣ１およびＰＣ２の画像信号の差を
演算して、ＰＣ１２を生成し、また、フレーム画像ＰＣ
２およびＰＣ３の差を演算して、ＰＣ２３を生成する。
通常、時間的に隣接するフレームの画像は、それ程大き
な変化を有していないため、両者の差を演算すると、そ
の差分信号は小さな値のものとなる。そこで、この差分
信号を符号化すれば、符号量を圧縮することができる。

【００２３】しかしながら、差分信号のみを伝送したの
では、元の画像を復元することができない。そこで、各
フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピ
クチャの３種類のピクチャタイプのいずれかとし、画像
信号を圧縮符号化するようにしている。

【００２４】すなわち、例えば図２に示すように、フレ
ームＦ１乃至Ｆ１７までの１７フレームの画像信号をグ
ループオブピクチャ(GOP)とし、処理の１単位とする。
そして、その先頭のフレームＦ１の画像信号はＩピクチ
ャとして符号化し、第２番目のフレームＦ２はＢピクチ
ャとして、また第３番目のフレームＦ３はＰピクチャと
して、それぞれ処理する。以下、第４番目以降のフレー
ムＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとし
て交互に処理する。

【００２５】Ｉピクチャの画像信号としては、その１フ
レーム分の画像信号をそのまま伝送する。これに対し
て、Ｐピクチャの画像信号としては、基本的には、図２
に示すように、それより時間的に先行するＩピクチャま
たはＰピクチャの画像信号からの差分を伝送する。さら
にＢピクチャの画像信号としては、基本的には、図３に
示すように、時間的に先行するフレームまたは後行する
フレームの両方の平均値からの差分を求め、その差分を
符号化する。

【００２６】図４は、このようにして、動画像信号を符
号化する方法の原理を示している。同図に示すように、
最初のフレームＦ１は、Ｉピクチャとして処理されるた
め、そのまま伝送データＦ１Ｘとして伝送路に伝送され
る（画像内符号化）。これに対して、第２のフレームＦ
２は、Ｂピクチャとして処理されるため、時間的に先行
するフレームＦ１と、時間的に後行するフレームＦ３の
平均値との差分が演算され、その差分が伝送データＦ２
Ｘとして伝送される。

【００２７】ただし、このＢピクチャとしての処理は、
さらに細かく説明すると、４種類存在する。その第１の
処理は、元のフレームＦ２のデータをそのまま伝送デー
タＦ２Ｘとして伝送するものであり（ＳＰ１）（イント
ラ符号化）、Ｉピクチャにおける場合と同様の処理とな
る。第２の処理は、時間的に後のフレームＦ３からの差
分を演算し、その差分（ＳＰ２）を伝送するものである
（後方予測符号化）。第３の処理は、時間的に先行する
フレームＦ１との差分（ＳＰ３）を伝送するものである
（前方予測符号化）。さらに第４の処理は、時間的に先
行するフレームＦ１と後行するフレームＦ３の平均値と
の差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘと
して伝送するものである（両方向予測符号化）。

【００２８】実際には、上述した４つの方法のうちの伝
送データが最も少なくなる方法が採用される。

【００２９】なお、差分データを伝送するとき、差分を
演算する対象となるフレームの画像（予測画像）との間
の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベ
クトル）（前方予測の場合）、もしくはｘ２（フレーム
Ｆ３とＦ２の間の動きベクトル）（後方予測の場合）、
またはｘ１とｘ２の両方（両方向予測の場合）が、差分
データとともに伝送される。

【００３０】また、ＰピクチャのフレームＦ３は、時間
的に先行するフレームＦ１を予測画像として、このフレ
ームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演
算され、これが伝送データＦ３Ｘとして伝送される（前
方予測符号化）。あるいはまた、元のフレームＦ３のデ
ータが、そのままデータＦ３Ｘとして伝送される（ＳＰ
１）（イントラ符号化）。いずれの方法により伝送され
るかは、Ｂピクチャにおける場合と同様に、伝送データ
がより少なくなる方法が選択される。

【００３１】図５は、上述した原理に基づいて、動画像
信号を符号化して伝送し、これを復号化する装置の構成
例を示している。符号化装置１は、入力された映像信号
を符号化し、伝送路としての記録媒体３に伝送するよう
になされている。そして、復号装置２は、記録媒体３に
記録された信号を再生し、これを復号して出力するよう
になされている。

【００３２】符号化装置１においては、入力された映像
信号が前処理回路１１に入力され、そこで輝度信号と色
信号（本実施の形態の場合、色差信号）が分離され、そ
れぞれA/D変換器１２，１３でアナログ信号がデジタル
信号に変換される。A/D変換器１２，１３によりデジタ
ル信号に変換された映像信号は、フレームメモリ１４に
供給され、記憶される。フレームメモリ１４は、輝度信
号を輝度信号フレームメモリ１５に、また、色差信号を
色差信号フレームメモリ１６に、それぞれ記憶させる。

【００３３】フォーマット変換回路１７は、フレームメ
モリ１４に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。すなわち、図
６に示すように、フレームメモリ１４に記憶された映像
信号は、１ライン当りＨドットのラインがＶライン集め
られた、図６(A)に示すようなフレームフォーマットの
データとされている。フォーマット変換回路１７は、こ
の１フレームの信号を、図６(B)に示すように、１６ラ
インを単位としてＭ個のスライスに区分する。そして、
各スライスは、Ｍ個のマクロブロックに分割される。マ
クロブロックは、図６(C)に示すように、１６×１６個
の画素（ドット）に対応する輝度信号により構成され、
この輝度信号は、さらに８×８ドットを単位とするブロ
ックＹ［１］乃至Ｙ［４］に区分される。そして、この
１６×１６ドットの輝度信号には、８×８ドットのＣｂ
信号と、８×８ドットのＣｒ信号が対応される。

【００３４】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路１７からエンコ
ーダ１８に供給され、ここでエンコード（符号化）が行
われる。その詳細については、図７を参照して後述す
る。

【００３５】エンコーダ１８によりエンコードされた信
号は、ビットストリームとして伝送路に出力される。例
えば記録回路１９に供給され、デジタル信号として記録
媒体３に記録される。

【００３６】再生回路３０により記録媒体３より再生さ
れたデータは、復号装置２のデコーダ３１に供給され、
デコードされる。デコーダ３１の詳細については、図１
２を参照して後述する。

【００３７】デコーダ３１によりデコードされたデータ
は、フォーマット変換回路３２に入力され、ブロックフ
ォーマットからフレームフォーマットに変換される。そ
して、フレームフォーマットの輝度信号は、フレームメ
モリ３３の輝度信号フレームメモリ３４に供給されて記
憶され、色差信号は色差信号フレームメモリ３５に供給
されて記憶される。輝度信号フレームメモリ３４と色差
信号フレームメモリ３５から読み出された輝度信号と色
差信号は、それぞれＤ／Ａ変換器３６，３７によりアナ
ログ信号に変換され、後処理回路３８に供給される。後
処理回路３８は、輝度信号と色差信号を合成して出力す
る。

【００３８】次に図７を参照して、エンコーダ１８の構
成について説明する。符号化される画像データは、マク
ロブロック単位で動きベクトル検出回路５０に入力され
る。動きベクトル検出回路５０は、予め設定されている
所定のシーケンスに従って、各フレームの画像データ
を、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして
処理する。シーケンシャルに入力される各フレームの画
像を、Ｉ，Ｐ、またはＢのいずれのピクチャとして処理
するかは、予め定められている（例えば、図２と図３に
示したように、フレームＦ１乃至Ｆ１７により構成され
るグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・
・Ｂ，Ｐとして処理される）。

【００３９】Ｉピクチャとして処理されるフレーム（例
えば、フレームＦ１）の画像データは、動きベクトル検
出回路５０からフレームメモリ５１の前方原画像部５１
ａに転送、記憶され、Ｂピクチャとして処理されるフレ
ーム（例えば、フレームＦ２）の画像データは、原画像
部５１ｂに転送、記憶され、Ｐピクチャとして処理され
るフレーム（例えば、フレームＦ３）の画像データは、
後方原画像部５１ｃに転送、記憶される。

【００４０】また、次のタイミングにおいて、さらにＢ
ピクチャ（フレームＦ４）またはＰピクチャ（フレーム
Ｆ５）として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部５１ｃに記憶されていた最初
のＰピクチャ（フレームＦ３）の画像データが、前方原
画像部５１ａに転送され、次のＢピクチャ（フレームＦ
４）の画像データが、原画像部５１ｂに記憶（上書き）
され、次のＰピクチャ（フレームＦ５）の画像データ
が、後方原画像部５１ｃに記憶（上書き）される。この
ような動作が順次繰り返される。

【００４１】フレームメモリ５１に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り替え
回路５２において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。

【００４２】さらにまた、予測判定回路５４の制御の下
に、演算部５３において、画像内予測、前方予測、後方
予測、または両方向予測の演算が行なわれる。これらの
処理のうち、いずれの処理を行なうかは、予測誤差信号
（処理の対象とされている参照画像と、これに対する予
測画像との差分）に対応して決定される。このため、動
きベクトル検出回路５０は、この判定に用いられる予測
誤差信号の絶対値和（自乗和でもよい）を生成する。

【００４３】ここで、予測モード切り替え回路５２にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。

【００４４】フレーム予測モードが設定された場合にお
いては、予測モード切り替え回路５２は、動きベクトル
検出回路５０より供給される４個の輝度ブロックＹ
［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出
力する。すなわち、この場合においては、図８に示すよ
うに、各輝度ブロックに奇数フィールドのラインのデー
タと、偶数フィールドのラインのデータとが混在した状
態となっている。このフレーム予測モードにおいては、
４個の輝度ブロック（マクロブロック）を単位として予
測が行われ、４個の輝度ブロックに対して１個の動きベ
クトルが対応される。

【００４５】これに対して、予測モード切り替え回路５
２は、フィールド予測モードにおいては、図８に示す構
成で動きベクトル検出回路５０より入力される信号を、
図９に示すように、４個の輝度ブロックのうち、輝度ブ
ロックＹ［１］とＹ［２］を、例えば奇数フィールドの
ラインのドットだけで構成させ、他の２個の輝度ブロッ
クＹ［３］とＹ［４］を、偶数フィールドのラインのド
ットだけで構成させて、演算部５３に出力する。この場
合においては、２個の輝度ブロックＹ［１］とＹ［２］
に対して、１個の動きベクトルが対応され、他の２個の
輝度ブロックＹ［３］とＹ［４］に対して、他の１個の
動きベクトルが対応される。

【００４６】動きベクトル検出回路５０は、フレーム予
測モードにおける予測誤差の絶対値和、およびフィール
ド予測モードにおける予測誤差の絶対値和を予測モード
切り替え回路５２に出力する。予測モード切り替え回路
５２は、フレーム予測モードとフィールド予測モードに
おける予測誤差の絶対値和を比較し、その値が小さい予
測モードに対応する処理を施して、データを演算部５３
に出力する。

【００４７】ただし、このような処理は、実際には動き
ベクトル検出回路５０で行われる。すなわち、動きベク
トル検出回路５０は、決定されたモードに対応する構成
の信号を予測モード切り替え回路５２に出力し、予測モ
ード切り替え回路５２は、その信号を、そのまま後段の
演算部５３に出力する。

【００４８】なお、色差信号は、フレーム予測モードの
場合、図８に示すように、奇数フィールドのラインのデ
ータと偶数フィールドのラインのデータとが混在する状
態で、演算部５３に供給される。また、フィールド予測
モードの場合、図９に示すように、各色差ブロックＣ
ｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ
［１］，Ｙ［２］に対応する奇数フィールドの色差信号
とされ、下半分（４ライン）が、輝度ブロックＹ
［３］，Ｙ［４］に対応する偶数フィールドの色差信号
とされる。

【００４９】また、動きベクトル検出回路５０は、以下
に示すようにして、予測判定回路５４において、画像内
予測、前方予測、後方予測、または両方向予測のいずれ
の予測を行なうかを決定するための予測誤差の絶対値和
を生成する。

【００５０】すなわち、画像内予測の予測誤差の絶対値
和として、参照画像のマクロブロックの信号Ａijの総和
ΣＡijの絶対値｜ΣＡij｜と、マクロブロックの信号Ａ
ijの絶対値｜Ａij｜の総和Σ｜Ａij｜の差を求める。ま
た、前方予測の予測誤差の絶対値和として、参照画像の
マクロブロックの信号Ａijと、予測画像のマクロブロッ
クの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の
総和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方
向予測の予測誤差の絶対値和も、前方予測における場合
と同様に（その予測画像を前方予測における場合と異な
る予測画像に変更して）求める。

【００５１】これらの絶対値和は、予測判定回路５４に
供給される。予測判定回路５４は、前方予測、後方予測
および両方向予測の予測誤差の絶対値和のうちの最も小
さいものを、インタ予測の予測誤差の絶対値和として選
択する。さらに、このインタ予測の予測誤差の絶対値和
と、画像内予測の予測誤差の絶対値和とを比較し、その
小さい方を選択し、この選択した絶対値和に対応するモ
ードを予測モードとして選択する。すなわち、画像内予
測の予測誤差の絶対値和の方が小さければ、画像内予測
モードが設定される。インタ予測の予測誤差の絶対値和
の方が小さければ、前方予測、後方予測または両方向予
測モードのうちの対応する絶対値和が最も小さかったモ
ードが設定される。

【００５２】このように、動きベクトル検出回路５０
は、参照画像のマクロブロックの信号を、フレームまた
はフィールド予測モードのうち、予測モード切り替え回
路５２により選択されたモードに対応する構成で、予測
モード切り替え回路５２を介して演算部５３に供給する
とともに、４つの予測モードのうちの予測判定回路５４
により選択された予測モードに対応する予測画像と参照
画像の間の動きベクトルを検出し、可変長符号化回路５
８と動き補償回路６４に出力する。上述したように、こ
の動きベクトルとしては、対応する予測誤差の絶対値和
が最小となるものが選択される。

【００５３】予測判定回路５４は、動きベクトル検出回
路５０が前方原画像部５１ａよりＩピクチャの画像デー
タを読み出しているとき、予測モードとして、フレーム
またはフィールド（画像）内予測モード（動き補償を行
わないモード）を設定し、演算部５３のスイッチ５３ｄ
を接点ａ側に切り替える。これにより、Ｉピクチャの画
像データがDCTモード切り替え回路５５に入力される。

【００５４】DCTモード切り替え回路５５は、図１０ま
たは図１１に示すように、４個の輝度ブロックのデータ
を、奇数フィールドのラインと偶数フィールドのライン
が混在する状態（フレームDCTモード）、または、分離
された状態（フィールドDCTモード）、のいずれかの状
態にして、DCT回路５６に出力する。

【００５５】すなわち、DCTモード切り替え回路５５
は、奇数フィールドと偶数フィールドのデータを混在し
てDCT処理した場合における符号化効率と、分離した状
態においてDCT処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。

【００５６】例えば、入力された信号を、図１０に示す
ように、奇数フィールドと偶数フィールドのラインが混
在する構成とし、上下に隣接する奇数フィールドのライ
ンの信号と偶数フィールドのラインの信号の差を演算
し、さらにその絶対値の和（または自乗和）を求める。

【００５７】また、入力された信号を、図１１に示すよ
うに、奇数フィールドと偶数フィールドのラインが分離
した構成とし、上下に隣接する奇数フィールドのライン
同士の信号の差と、偶数フィールドのライン同士の信号
の差を演算し、それぞれの絶対値の和（または自乗和）
を求める。

【００５８】さらに、両者（絶対値和）を比較し、小さ
い値に対応するDCTモードを設定する。すなわち、前者
の方が小さければ、フレームDCTモードを設定し、後者
の方が小さければ、フィールドDCTモードを設定する。

【００５９】そして、選択したDCTモードに対応する構
成のデータをDCT回路５６に出力するとともに、選択し
たDCTモードを示すDCTフラグを、可変長符号化回路５
８、および動き補償回路６４に出力する。

【００６０】予測モード切り替え回路５２における予測
モード（図８と図９）と、このDCTモード切り替え回路
５５におけるDCTモード（図１０と図１１）を比較して
明らかなように、輝度ブロックに関しては、両者の各モ
ードにおけるデータ構造は実質的に同一である。

【００６１】予測モード切り替え回路５２において、フ
レーム予測モード（奇数ラインと偶数ラインが混在する
モード）が選択された場合、DCTモード切り替え回路５
５においても、フレームDCTモード（奇数ラインと偶数
ラインが混在するモード）が選択される可能性が高く、
また予測モード切り替え回路５２において、フィールド
予測モード（奇数フィールドと偶数フィールドのデータ
が分離されたモード）が選択された場合、DCTモード切
り替え回路５５において、フィールドDCTモード（奇数
フィールドと偶数フィールドのデータが分離されたモー
ド）が選択される可能性が高い。

【００６２】しかしながら、必ずしも常にこのようにモ
ードが選択されるわけではなく、予測モード切り替え回
路５２においては、予測誤差の絶対値和が小さくなるよ
うにモードが決定され、DCTモード切り替え回路５５に
おいては、符号化効率が良好となるようにモードが決定
される。

【００６３】DCTモード切り替え回路５５より出力され
たＩピクチャの画像データは、DCT回路５６に入力され
てDCT処理され、DCT係数に変換される。このDCT係数
は、量子化回路５７に入力され、送信バッファ５９のデ
ータ蓄積量（バッファ蓄積量）に対応した量子化スケー
ルで量子化された後、可変長符号化回路５８に入力され
る。

【００６４】可変長符号化回路５８は、量子化回路５７
より供給される量子化スケール（スケール）に対応し
て、量子化回路５７より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファ５９に出力す
る。

【００６５】可変長符号化回路５８にはまた、量子化回
路５７より量子化スケール（スケール）、予測判定回路
５４より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）、動きベクトル検出回路５０より動きベクトル、
予測モード切り替え回路５２より予測フラグ（フレーム
予測モードまたはフィールド予測モードのいずれが設定
されたかを示すフラグ）、およびDCTモード切り替え回
路５５が出力するDCTフラグ（フレームDCTモードまたは
フィールドDCTモードのいずれが設定されたかを示すフ
ラグ）が入力されており、これらも可変長符号化され
る。

【００６６】送信バッファ５９は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路５７
に出力する。送信バッファ５９は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路５７の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ５９は、量子化制御信号によって量子化回路５７
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ５９のオーバフローまたはアンダフローが防止され
る。

【００６７】そして、送信バッファ５９に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
され、例えば記録回路１９を介して記録媒体３に記録さ
れる。

【００６８】一方、量子化回路５７より出力されたＩピ
クチャのデータは、逆量子化回路６０に入力され、量子
化回路５７より供給される量子化スケールに対応して逆
量子化される。逆量子化回路６０の出力は、IDCT（逆離
散コサイン変換）回路６１に入力され、逆離散コサイン
変換処理された後、演算器６２を介してフレームメモリ
６３の前方予測画像部６３ａ供給されて記憶される。

【００６９】動きベクトル検出回路５０は、シーケンシ
ャルに入力される各フレームの画像データを、たとえ
ば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそ
れぞれ処理する場合、最初に入力されたフレームの画像
データをＩピクチャとして処理した後、次に入力された
フレームの画像をＢピクチャとして処理する前に、さら
にその次に入力されたフレームの画像データをＰピクチ
ャとして処理する。Ｂピクチャは、後方予測を伴うた
め、後方予測画像としてのＰピクチャが先に用意されて
いないと、復号することができないからである。

【００７０】そこで動きベクトル検出回路５０は、Ｉピ
クチャの処理の次に、後方原画像部５１ｃに記憶されて
いるＰピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間差分（予測誤差）の絶対値和が、動きベクトル
検出回路５０から予測モード切り替え回路５２と予測判
定回路５４に供給される。予測モード切り替え回路５２
と予測判定回路５４は、このＰピクチャのマクロブロッ
クの予測誤差の絶対値和に対応して、フレーム／フィー
ルド予測モード、または画像内予測、前方予測、後方予
測、もしくは両方向予測の予測モードを設定する。

【００７１】演算部５３は、画像内予測モードが設定さ
れたとき、スイッチ５３ｄを上述したように接点ａ側に
切り替える。したがって、このデータは、Ｉピクチャの
データと同様に、DCTモード切り替え回路５５、DCT回路
５６、量子化回路５７、可変長符号化回路５８、および
送信バッファ５９を介して伝送路に伝送される。また、
このデータは、逆量子化回路６０、IDCT回路６１、およ
び演算器６２を介してフレームメモリ６３の後方予測画
像部６３ｂに供給されて記憶される。

【００７２】また、前方予測モードが設定された場合、
スイッチ５３ｄが接点ｂに切り替えられるとともに、フ
レームメモリ６３の前方予測画像部６３ａに記憶されて
いる画像（いまの場合、Ｉピクチャの画像）データが読
み出され、動き補償回路６４により、動きベクトル検出
回路５０が出力する動きベクトルに対応して動き補償さ
れる。すなわち、動き補償回路６４は、予測判定回路５
４より前方予測モードの設定が指令されたとき、前方予
測画像部６３ａの読み出しアドレスを、動きベクトル検
出回路５０が、現在、出力しているマクロブロックの位
置に対応する位置から動きベクトルに対応する分だけず
らしてデータを読み出し、予測画像データを生成する。

【００７３】動き補償回路６４より出力された予測画像
データは、演算器５３ａに供給される。演算器５３ａ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６５よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分（予測誤差）を出力する。こ
の差分データは、DCTモード切り替え回路５５、DCT回路
５６、量子化回路５７、可変長符号化回路５８、および
送信バッファ５９を介して伝送路に伝送される。また、
この差分データは、逆量子化回路６０、およびIDCT回路
６１により局所的に復号され、演算器６２に入力され
る。

【００７４】この演算器６２にはまた、演算器５３ａに
供給されている予測画像データと同一のデータが供給さ
れている。演算器６２は、IDCT回路６１が出力する差分
データに、動き補償回路６４が出力する予測画像データ
を加算する。これにより、元の（復号した）Ｐピクチャ
の画像データが得られる。このＰピクチャの画像データ
は、フレームメモリ６３の後方予測画像部６３ｂに供給
されて記憶される。

【００７５】動きベクトル検出回路５０は、このよう
に、ＩピクチャとＰピクチャのデータが前方予測画像部
６３ａと後方予測画像部６３ｂにそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測モード切り
替え回路５２と予測判定回路５４は、マクロブロック単
位でのフレーム間差分の絶対値和の大きさに対応して、
フレーム／フィールドモードを設定し、また、予測モー
ドを画像内予測モード、前方予測モード、後方予測モー
ド、または両方向予測モードのいずれかに設定する。

【００７６】上述したように、画像内予測モードまたは
前方予測モードの時、スイッチ５３ｄは接点ａまたはｂ
に切り替えられる。このとき、Ｐピクチャにおける場合
と同様の処理が行われ、データが伝送される。

【００７７】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ５３ｄは、接点
ｃまたはｄにそれぞれ切り替えられる。

【００７８】スイッチ５３ｄが接点ｃに切り替えられて
いる後方予測モードの時、後方予測画像部６３ｂに記憶
されている画像（いまの場合、Ｐピクチャの画像）デー
タが読み出され、動き補償回路６４により、動きベクト
ル検出回路５０が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路６４は、予測判定
回路５４より後方予測モードの設定が指令されたとき、
後方予測画像部６３ｂの読み出しアドレスを、動きベク
トル検出回路５０が、現在、出力しているマクロブロッ
クの位置に対応する位置から動きベクトルに対応する分
だけずらしてデータを読み出し、予測画像データを生成
する。

【００７９】動き補償回路６４より出力された予測画像
データは、演算器５３ｂに供給される。演算器５３ｂ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、DCTモード切り替え回路５
５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回
路５８、および送信バッファ５９を介して伝送路に伝送
される。

【００８０】スイッチ５３ｄが接点ｄに切り替えられて
いる両方向予測モードの時、前方予測画像部６３ａに記
憶されている画像（いまの場合、Ｉピクチャの画像）デ
ータと、後方予測画像部６３ｂに記憶されている画像
（いまの場合、Ｐピクチャの画像）データが読み出さ
れ、動き補償回路６４により、動きベクトル検出回路５
０が出力する動きベクトルに対応して動き補償される。

【００８１】すなわち、動き補償回路６４は、予測判定
回路５４より両方向予測モードの設定が指令されたと
き、前方予測画像部６３ａと後方予測画像部６３ｂの読
み出しアドレスを、動きベクトル検出回路５０がいま出
力しているマクロブロックの位置に対応する位置から動
きベクトル（この場合の動きベクトルは、前方予測画像
用と後方予測画像用の２つとなる）に対応する分だけず
らしてデータを読み出し、予測画像データを生成する。

【００８２】動き補償回路６４より出力された予測画像
データは、演算器５３ｃに供給される。演算器５３ｃ
は、動きベクトル検出回路５０より供給された参照画像
のマクロブロックのデータから、動き補償回路６４より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、DCTモード切り替え回
路５５、DCT回路５６、量子化回路５７、可変長符号化
回路５８、および送信バッファ５９を介して伝送路に伝
送される。

【００８３】Ｂピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ６３には記憶
されない。

【００８４】なお、フレームメモリ６３において、前方
予測画像部６３ａと後方予測画像部６３ｂは、必要に応
じてバンク切り替えが行われ、所定の参照画像に対し
て、一方または他方に記憶されているものを、前方予測
画像あるいは後方予測画像として切り替えて出力するこ
とができる。

【００８５】上述した説明においては、輝度ブロックを
中心として説明をしたが、色差ブロックについても同様
に、図８乃至図１１に示すマクロブロックを単位として
処理されて伝送される。なお、色差ブロックを処理する
場合の動きベクトルは、対応する輝度ブロックの動きベ
クトルを垂直方向と水平方向に、それぞれ１／２にした
ものが用いられる。

【００８６】図１２は、図５のデコーダ３１の構成を示
すブロック図である。伝送路（記録媒体３）を介して伝
送された符号化された画像データは、図示せぬ受信回路
で受信されたり、再生装置で再生され、受信バッファ８
１に一時記憶された後、復号回路９０の可変長復号化回
路８２に供給される。可変長復号化回路８２は、受信バ
ッファ８１より供給されたデータを可変長復号化し、動
きベクトル、予測モード、予測フラグ、およびDCTフラ
グを動き補償回路８７に出力し、量子化スケールを逆量
子化回路８３に出力するとともに、復号された画像デー
タを逆量子化回路８３に出力する。

【００８７】逆量子化回路８３は、可変長復号化回路８
２より供給された画像データを、同じく可変長復号化回
路８２より供給された量子化スケールに従って逆量子化
し、IDCT回路８４に出力する。逆量子化回路８３より出
力されたデータ（DCT係数）は、IDCT回路８４により、
逆離散コサイン変換処理が施され、演算器８５に供給さ
れる。

【００８８】IDCT回路８４より演算器８５に供給された
画像データが、Ｉピクチャのデータである場合、そのデ
ータは演算器８５より出力され、演算器８５に後に入力
される画像データ（ＰまたはＢピクチャのデータ）の予
測画像データ生成のために、フレームメモリ８６の前方
予測画像部８６ａに供給されて記憶される。また、この
データは、フォーマット変換回路３２（図５）に出力さ
れる。

【００８９】IDCT回路８４より供給された画像データ
が、その１フレーム前の画像データを予測画像データと
するＰピクチャのデータであり、前方予測モードのデー
タである場合、フレームメモリ８６の前方予測画像部８
６ａに記憶されている、１フレーム前の画像データ（Ｉ
ピクチャのデータ）が読み出され、動き補償回路８７で
可変長復号化回路８２より出力された動きベクトルに対
応する動き補償が施される。そして、演算器８５におい
て、IDCT回路８４より供給された画像データ（差分のデ
ータ）と加算され、出力される。この加算されたデー
タ、すなわち、復号されたＰピクチャのデータは、演算
器８５に後に入力される画像データ（Ｂピクチャまたは
Ｐピクチャのデータ）の予測画像データ生成のために、
フレームメモリ８６の後方予測画像部８６ｂに供給され
て記憶される。

【００９０】Ｐピクチャのデータであっても、画像内予
測モードのデータは、Ｉピクチャのデータと同様に、演
算器８５において処理は行われず、そのまま後方予測画
像部８６ｂに記憶される。

【００９１】このＰピクチャは、次のＢピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路３２へ出力されない（上述したよう
に、Ｂピクチャの後に入力されたＰピクチャが、Ｂピク
チャより先に処理され、伝送されている）。

【００９２】IDCT回路８４より供給された画像データ
が、Ｂピクチャのデータである場合、可変長復号化回路
８２より供給された予測モードに対応して、フレームメ
モリ８６の前方予測画像部８６ａに記憶されているＩピ
クチャの画像データ（前方予測モードの場合）、後方予
測画像部８６ｂに記憶されているＰピクチャの画像デー
タ（後方予測モードの場合）、または、その両方の画像
データ（両方向予測モードの場合）が読み出され、動き
補償回路８７において、可変長復号化回路８２より出力
された動きベクトルに対応する動き補償が施されて、予
測画像が生成される。但し、動き補償を必要としない場
合（画像内予測モードの場合）、予測画像は生成されな
い。

【００９３】このようにして、動き補償回路８７で動き
補償が施されたデータは、演算器８５において、IDCT回
路８４の出力と加算される。この加算出力は、フォーマ
ット変換回路３２に出力される。

【００９４】ただし、この加算出力はＢピクチャのデー
タであり、他の画像の予測画像生成のために利用される
ことがないため、フレームメモリ８６には記憶されな
い。

【００９５】Ｂピクチャの画像が出力された後、後方予
測画像部８６ｂに記憶されているＰピクチャの画像デー
タが読み出され、動き補償回路８７を介して演算器８５
に供給される。但し、このとき、動き補償は行われな
い。

【００９６】なお、このデコーダ３１には、図５のエン
コーダ１８における予測モード切り替え回路５２とＤＣ
Ｔモード切り替え回路５５に対応する回路が図示されて
いないが、これらの回路に対応する処理、すなわち、奇
数フィールドと偶数フィールドのラインの信号が分離さ
れた構成を元の構成に必要に応じて戻す処理は、動き補
償回路８７により実行される。

【００９７】また、上述した説明においては、輝度信号
の処理について説明したが、色差信号の処理も同様に行
われる。ただし、この場合の動きベクトルは、輝度信号
用の動きベクトルを、垂直方向および水平方向に１／２
にしたものが用いられる。

【００９８】図１３は、符号化された画像の品質を示し
ている。画像の品質(SNR:Signal toNoise Ratio)は、ピ
クチャタイプに対応して制御され、Ｉピクチャ、および
Ｐピクチャは高品質とされ、Ｂピクチャは、Ｉ，Ｐピク
チャに比べて劣る品質とされて伝送される。これは、人
間の視覚特性を利用した手法であり、全ての画像品質を
平均化するよりも、品質を振動させたほうが視覚上の画
質が良くなるためである。このピクチャタイプに対応し
た画質の制御は、図７の量子化回路５７により実行され
る。

【００９９】図１４は、本発明を適用したトランスコー
ダ１０１の構成を示しており、図１５は、そのさらに詳
細な構成を示している。復号装置１０２は、所定のビッ
トレート（この例の場合、10Mbps）のビットストリーム
に含まれる（多重化されている）符号化された画像信号
を、ビットストリームに含まれる（多重化されている）
そのビットストリームの現符号化パラメータ（フレーム
／フィールドDCTフラグ、フレーム／フィールド予測フ
ラグ、予測モード、ピクチャタイプ、動きベクトル、マ
クロブロック情報、および量子化スケール）を用いて復
号し、符号化パラメータ多重装置１０３に出力するとと
もに、現符号化パラメータも符号化パラメータ多重装置
１０３に出力するようになされている。

【０１００】復号装置１０２はまた、ビットストリーム
に含まれるユーザデータを復号、分離し、履歴復号装置
１０４に出力する。その詳細は後述するが、このユーザ
データには、直近の３世代分の符号化パラメータで構成
される世代履歴情報が含まれている。これに対して、現
符号化パラメータは、例えばgroup_of_pictures_header
(1)，extension_and_user_data(1)，picture_heade
r()，picture_coding_extension()，extensions_data
(2)，picture_data()、または、sequence_extension()
に含まれている（後述する図３８）。履歴復号装置１０
４は、入力されたユーザデータを復号し、３世代分の符
号化パラメータを含む世代履歴情報を符号化パラメータ
多重装置１０３に出力する。

【０１０１】なお、復号装置１０２は、図５の復号装置
２のデコーダ３１（図１２）を図１６に示すデコーダ１
１１に変更したものである。デコーダ１１１の可変長復
号化回路１１２は、現符号化パラメータをビットストリ
ームから抽出し、所定の回路に供給するとともに、世代
履歴情報を含むユーザデータを抽出し、履歴復号装置１
０４に出力するようになされている。デコーダ１１１の
その他の構成は、デコーダ３１と同様であるので、その
説明は省略する。

【０１０２】符号化パラメータ多重装置１０３は、復号
された画像データの空き領域（その詳細は、図１８を参
照して説明する）に４世代分の符号化パラメータを書き
込み（多重化し）、ベースバンドのデジタルビデオ信号
として、粗結合された（符号化パラメータ伝送用の専用
バス等が設けられていない）符号化パラメータ分離装置
１０５に出力する。符号化パラメータ分離装置１０５
は、ベースバンドのデジタルビデオ信号から、画像デー
タと、符号化装置１０６で符号化に用いる符号化パラメ
ータを分離して符号化装置１０６に供給するようになさ
れている。

【０１０３】符号化パラメータ分離装置１０５はまた、
入力されたベースバンドのデジタルビデオ信号から、符
号化装置１０６で用いる符号化パラメータを除く３世代
分の符号化パラメータを抽出し、履歴符号化装置１０７
に出力する。履歴符号化装置１０７は、入力された３世
代分の符号化パラメータをユーザデータに書き込み、そ
のユーザデータを符号化装置１０６に出力する。

【０１０４】符号パラメータが書き込まれる画像データ
のフォーマットについて、図１７と図１８を参照して説
明する。１個のマクロブロックは、図１７に示すよう
に、１６×１６画素で構成される。この１６×１６画素
のデータは、８×８画素の輝度信号Y[0][x]乃至Y[4][x]
と、８×８画素の色差信号Cr[0][x]，Cr[1][x]およびCb
[0][x]，Cb[1][x]（x＝２乃至９）から構成されてい
る。例えば、輝度信号Y[0][9]は、８×８画素の１行目
の画素（８画素）の輝度信号を示している。１画素当た
りの輝度信号の情報量は８ビットなので、輝度信号Y[0]
[9]の情報量は、８（画素）×８（ビット）＝６４ビッ
トとなる。色差信号についても同様である。

【０１０５】これに対して、画像データのフォーマット
は、図１８に示すように、１０行分の領域（Ｄ０乃至Ｄ
９）が設けられているので、２行分の領域（Ｄ０，Ｄ
１）が不要となる。この空き領域には、６４ビット×１
６＝１０２４ビットの情報が記録できるので、この２行
分の領域に本来の画像データ以外の符号化パラメータを
書き込む。なお、１個のマクロブロックに対応する符号
化パラメータは、２５６ビットの情報量があるので、こ
の領域には、過去４回の符号化に使用された符号化パラ
メータを記録することができる。

【０１０６】符号化パラメータ多重装置１０３から符号
化パラメータ分離装置１０５に伝送される画像データ
（デジタルビデオ信号）には、輝度信号Ｙ、色差信号Ｃ
ｒ，Ｃｂを記載する領域として、１０行分（Ｄ０乃至Ｄ
９）の領域が設けられている。しかしながら実際に輝度
信号Ｙ等が書き込まれる領域は、Ｄ２乃至Ｄ９の８行分
の領域であり、Ｄ０，Ｄ１の領域は利用されない。そこ
で、この２ビットの領域を符号化パラメータの書き込み
用領域として利用する。これにより、図１７の１６×１
６画素の所定の位置の画素の下位２ビットに、符号化パ
ラメータが書き込まれることとなる。

【０１０７】符号化装置１０６は、これから行う符号化
のための符号化パラメータとして供給された現符号化パ
ラメータを利用して画像データを符号化するとともに、
履歴符号化装置１０７から供給されるユーザデータをビ
ットストリームに多重化して、所定のビットレート（こ
の例の場合、5Mbps）でSDTI(Serial Data Transfer Int
erface)１０８−ｉ（ｉ＝１，２，・・・，Ｎ）（後述
する図３０）に出力するようになされている。

【０１０８】なお、符号化装置１０６は、図５の符号化
装置１のエンコーダ１８（図７）を図１９に示すエンコ
ーダ１２１に変更したものである。エンコーダ１２１
は、エンコーダ１８から符号化パラメータを生成する動
きベクトル検出回路５０、フレームメモリ５１、予測モ
ード切り替え回路５２、予測判定回路５４、およびDCT
モード切り替え回路５５を削除し、履歴符号化装置１０
７の出力するユーザデータを可変長符号化回路５８で可
変長符号化するようにしたものである。エンコーダ１２
１のその他の構成は、エンコーダ１８と同様であるの
で、その説明は省略する。

【０１０９】次に、図１５における履歴復号装置１０４
と履歴符号化装置１０７についてさらに説明する。同図
に示すように、履歴復号装置１０４は、復号装置１０２
より供給されるユーザデータをデコードするユーザデー
タデコーダ２０１、ユーザデータデコーダ２０１の出力
を変換するコンバータ２０２、およびコンバータ２０２
の出力から履歴情報を再生するヒストリデコーダ２０３
により構成されている。

【０１１０】また、履歴符号化装置１０７は、符号化パ
ラメータ分離装置１０５より供給される３世代分の符号
化パラメータをフォーマット化するヒストリフォーマッ
タ２１１、ヒストリフォーマッタ２１１の出力を変換す
るコンバータ２１２、コンバータ２１２の出力をユーザ
データのフォーマットにフォーマットするユーザデータ
フォーマッタ２１３により構成されている。

【０１１１】ユーザデータデコーダ２０１は、復号装置
１０２より供給されるユーザデータをデコードして、コ
ンバータ２０２に出力する。詳細は後述するが、ユーザ
データ（user_data()）は、user_data_start_codeとuse
r_dataからなり、MPEG規格においてはuser_dataの中
に、連続する２３ビットの”０”を発生させることを禁
止している。これは、start_codeを誤検出されないよう
にするためである。履歴情報内には、このような連続す
る２３ビット以上の”０”が存在することがあり得るの
で、これを処理して、converted_history_stream()（後
述する図３８）に変換する必要がある。この変換を行う
のは、履歴符号化装置１０７のコンバータ２１２であ
る。履歴復号装置１０４のコンバータ２０２は、このコ
ンバータ２１２と逆の変換処理を行うものである。

【０１１２】ヒストリデコーダ２０３は、コンバータ２
０２の出力から履歴情報を生成し、符号化パラメータ多
重装置１０３に出力する。

【０１１３】一方、履歴符号化装置１０７においては、
ヒストリフォーマッタ２１１が符号化パラメータ分離装
置１０５より供給される３世代分の符号化パラメータを
履歴情報のフォーマットに変換する。このフォーマット
には、固定長のもの（後述する図４０乃至図４６）と、
可変長のもの（後述する図４７）とがある。これらの詳
細については後述する。

【０１１４】ヒストリフォーマッタ２１１により、フォ
ーマット化された履歴情報は、コンバータ２１２におい
て、converted_history_stream()に変換される。これ
は、上述したように、user_data()のstart_codeが誤検
出されないようにするためのものである。すなわち、履
歴情報内には連続する２３ビット以上の”０”が存在す
るが、user_data中には連続する２３ビット以上の”
０”を配置することができないので、この禁止項目に触
れないようにコンバータ２１２によりデータを変換する
のである。

【０１１５】ユーザデータフォーマッタ２１３は、コン
バータ２１２より供給されるconverted_history_stream
()に、後述する図３８に基づいて、Data_IDを付加し、
さらに、user_data_stream_codeを付加して、video str
eam中に挿入できるuser_dataを生成し、符号化装置１０
６に出力する。

【０１１６】図２０は、ヒストリフォーマッタ２１１の
構成例を表している。その符号語変換器３０１と符号長
変換器３０５には、符号化パラメータ（今回、履歴情報
として伝送する符号化パラメータ）（項目データ）と、
この符号化パラメータを配置するストリームを特定する
情報（例えば、シンタックスの名称）（例えば、後述す
るsequence_headerの名称）（項目NO.）が、符号化パラ
メータ分離装置１０５から供給されている。符号語変換
器３０１は、入力された符号化パラメータを、指示され
たシンタックスに対応する符号語に変換し、バレルシフ
タ３０２に出力する。バレルシフタ３０２は、符号語変
換器３０１より入力された符号語を、アドレス発生回路
３０６より供給されるシフト量に対応する分だけシフト
し、バイト単位の符号語として、スイッチ３０３に出力
する。アドレス発生回路３０６が出力するビットセレク
ト信号により切り換えられるスイッチ３０３は、ビット
分設けられており、バレルシフタ３０２より供給される
符号語を、RAM３０４に供給し、記憶させる。このとき
の書き込みアドレスは、アドレス発生回路３０６から指
定される。また、アドレス発生回路３０６から読み出し
アドレスが指定されたとき、RAM３０４に記憶されてい
るデータ（符号語）が読み出され、後段のコンバータ２
１２に供給されるとともに、必要に応じて、スイッチ３
０３を介してRAM３０４に再び供給され、記憶される。

【０１１７】符号長変換器３０５は、入力されるシンタ
ックスと符号化パラメータとから、その符号化パラメー
タの符号長を決定し、アドレス発生回路３０６に出力す
る。アドレス発生回路３０６は、入力された符号長に対
応して、上述したシフト量、ビットセレクト信号、書き
込みアドレス、または読み出しアドレスを生成し、それ
らを、それぞれバレルシフタ３０２、スイッチ３０３、
またはRAM３０４に供給する。

【０１１８】以上のように、ヒストリフォーマッタ２１
１は、いわゆる可変長符号化器として構成され、入力さ
れた符号化パラメータを可変長符号化して出力する。

【０１１９】図２１は、以上のようにしてヒストリフォ
ーマット化されたデータをデコードするヒストリデコー
ダ２０３の構成例を表している。このヒストリデコーダ
２０３には、コンバータ２０２から供給された符号化パ
ラメータのデータがRAM３１１に供給されて、記憶され
る。このときの書き込みアドレスは、アドレス発生回路
３１５から供給される。アドレス発生回路３１５はま
た、所定のタイミングで読み出しアドレスを発生し、RA
M３１１に供給する。このとき、RAM３１１は、読み出し
アドレスに記憶されているデータを読み出し、バレルシ
フタ３１２に出力する。バレルシフタ３１２は、アドレ
ス発生回路３１５が出力するシフト量に対応する分だ
け、入力されるデータをシフトし、逆符号長変換器３１
３と逆符号語変換器３１４に出力する。

【０１２０】逆符号長変換器３１３にはまた、コンバー
タ２０２から、符号化パラメータが配置されているスト
リームのシンタックスの名称が供給されている。逆符号
長変換器３１３は、そのシンタックスに基づいて、入力
されたデータ（符号語）から符号長を求め、求めた符号
長をアドレス発生回路３１５に出力する。

【０１２１】また、逆符号語変換器３１４は、バレルシ
フタ３１２より供給されたデータを、シンタックスに基
づいて復号し（逆符号語化し）、符号化パラメータ多重
装置１０３に出力する。

【０１２２】また、逆符号語変換器３１４は、どのよう
な符号語が含まれているのかを特定するのに必要な情報
（符号語の区切りを決定するのに必要な情報）を抽出
し、アドレス発生回路３１５に出力する。アドレス発生
回路３１５は、この情報と逆符号長変換器３１３より入
力された符号長に基づいて、書き込みアドレスおよび読
み出しアドレスを発生し、RAM３１１に出力するととも
に、シフト量を発生し、バレルシフタ３１２に出力す
る。

【０１２３】図２２は、コンバータ２１２の構成例を表
している。この例においては、ヒストリフォーマッタ２
１１とコンバータ２１２の間に配置されているバッファ
メモリ３２０の、コントローラ３２６が出力する読み出
しアドレスから８ビットのデータが読み出され、Ｄ型フ
リップフロップ（Ｄ−ＦＦ）３２１に供給され、保持さ
れるようになされている。そして、Ｄ型フリップフロッ
プ３２１より読み出されたデータは、スタッフ回路３２
３に供給されるとともに、８ビットのＤ型フリップフロ
ップ３２２にも供給され、保持される。Ｄ型フリップフ
ロップ３２２より読み出された８ビットのデータは、Ｄ
型フリップフロップ３２１より読み出された８ビットの
データと合成され、１６ビットのパラレルデータとし
て、スタッフ回路３２３に供給される。

【０１２４】スタッフ回路３２３は、コントローラ３２
６より供給されるスタッフ位置を示す信号（stuff posi
tion）の位置に符号”１”を挿入し（スタッフィング
し）、合計１７ビットのデータとして、バレルシフタ３
２４に出力する。

【０１２５】バレルシフタ３２４は、コントローラ３２
６より供給されるシフト量を示す信号（shift）に基づ
いて入力されたデータをシフトして、８ビットのデータ
を抽出し、８ビットのＤ型フリップフロップ３２５に出
力する。Ｄ型フリップフロップ３２５に保持されたデー
タは、そこから読み出され、バッファメモリ３２７を介
して、後段のユーザデータフォーマッタ２１３に供給さ
れる。この時、コントローラ３２６は、出力するデータ
とともに、書き込みアドレスを発生し、コンバータ２１
２とユーザデータフォーマッタ２１３との間に介在する
バッファメモリ３２７に供給する。

【０１２６】図２３は、スタッフ回路３２３の構成例を
表している。Ｄ型フリップフロップ３２２，３２１より
入力された１６ビットのデータは、それぞれスイッチ３
３１−１６乃至３３１−１の接点ａに入力されている。
スイッチ３３１−ｉ（ｉ＝０乃至１５）の接点ｃには、
MSB側（図中上方）に隣接するスイッチのデータが供給
されている。例えば、スイッチ３３１−１２の接点ｃに
は、MSB側に隣接するスイッチ３３１−１３の接点ａに
供給されているLSBから１３番目のデータが供給されて
おり、スイッチ３３１−１３の接点ｃには、MSB側に隣
接するスイッチ３３１−１３の接点ａに供給されている
LSB側から１４番目のデータが供給されている。

【０１２７】但し、LSBに対応するスイッチ３３１−１
よりさらに下側のスイッチ３３１−０の接点ａは、開放
されている。また、MSBに対応するスイッチ３３１−１
６の接点ｃは、それより上位のスイッチが存在しないた
め、開放されている。

【０１２８】各スイッチ３３１−０乃至３３１−１６の
接点ｂには、データ”１”が供給されている。

【０１２９】デコーダ３３２は、コントローラ３２６よ
り供給されるデータ”１”を挿入する位置を示す信号st
uff positionに対応して、スイッチ３３１−０乃至３３
１−１６のうち、１つのスイッチを接点ｂ側に切り替
え、それよりLSB側のスイッチは、接点ｃ側にそれぞれ
切り替え、それよりMSB側のスイッチは、接点ａ側に切
り替えさせる。

【０１３０】図２３は、LSB側から１３番目にデータ”
１”を挿入する場合の例を示している。従って、この場
合、スイッチ３３１−０乃至スイッチ３３１−１２は、
いずれも接点ｃ側に切り替えられ、スイッチ３３１−１
３は、接点ｂ側に切り替えられ、スイッチ３３１−１４
乃至スイッチ３３１−１６は、接点ａ側に切り替えられ
ている。

【０１３１】図２２のコンバータ２１２は、以上のよう
な構成により、２２ビットの符号を２３ビットに変換し
て、出力することになる。

【０１３２】図２４は、図２２のコンバータ２１２の各
部の出力データのタイミングを表している。コンバータ
２１２のコントローラ３２６がバイト単位のクロックに
同期して、読み出しアドレス（図２４（Ａ））を発生す
ると、バッファメモリ３２０から、それに対応するデー
タが、バイト単位で読み出され、Ｄ型フリップフロップ
３２１に一旦保持される。そして、Ｄ型フリップフロッ
プ３２１より読み出されたデータ（図２４（Ｂ））は、
スタッフ回路３２３に供給されるとともに、Ｄ型フリッ
プフロップ３２２に供給され、保持される。Ｄ型フリッ
プフロップ３２２に保持されたデータは、そこからさら
に読み出され（図２４（Ｃ））、スタッフ回路３２３に
供給される。

【０１３３】従って、スタッフ回路３２３の入力（図２
４（Ｄ））は、読み出しアドレスＡ１のタイミングにお
いて、最初の１バイトのデータＤ０とされ、次の読み出
しアドレスＡ２のタイミングにおいて、１バイトのデー
タＤ０と１バイトのデータＤ１より構成される２バイト
のデータとなり、さらに読み出しアドレスＡ３のタイミ
ングにおいては、データＤ１とデータＤ２より構成され
る２バイトのデータとなる。

【０１３４】スタッフ回路３２３には、データ”１”を
挿入する位置を示す信号stuff position（図２４
（Ｅ））がコントローラ３２６より供給される。スタッ
フ回路３２３のデコーダ３３２は、スイッチ３３１−１
６乃至３３１−０のうち、この信号stuff positionに対
応するスイッチを接点ｂに切り換え、それよりLSB側の
スイッチを接点ｃ側に切り換え、さらにそれよりMSB側
のスイッチを接点ａ側に切り換える。これにより、デー
タ”１”が挿入されるので、スタッフ回路３２３から
は、信号stuff positionで示す位置に、データ”１”が
挿入されたデータ（図２４（Ｆ））が出力される。

【０１３５】バレルシフタ３２４は、入力されたデータ
を、コントローラ３２６より供給される信号shift（図
２４（Ｇ））で示される量だけバレルシフトして、出力
する（図２４（Ｈ）） 。この出力がさらにＤ型フリッ
プフロップ３２５で一旦保持された後、後段に出力され
る（図２４（Ｉ））。

【０１３６】Ｄ型フリップフロップ３２５より出力され
るデータには、２２ビットのデータの次に、データ”
１”が挿入されている。従って、データ”１”と、次の
データ”１”の間には、その間のビットが全て０であっ
たとしても、０のデータの連続する数は２２となる。

【０１３７】図２５は、コンバータ２０２の構成例を表
している。このコンバータ２０２のＤ型フリップフロッ
プ３４１乃至コントローラ３４６よりなる構成は、図２
２に示したコンバータ２１２のＤ型フリップフロップ３
２１乃至コントローラ３２６と基本的に同様の構成であ
るが、コンバータ２１２におけるスタッフ回路３２３に
代えて、ディリート回路３４３が挿入されている点がコ
ンバータ２１２におけり場合と異なっている。その他の
構成は、図２２のコンバータ２１２における場合と同様
である。

【０１３８】すなわち、このコンバータ２０２において
は、コントローラ３４６が出力する削除するビットの位
置を示す信号delete positionに従って、ディリート回
路３４３が、そのビット（図２２のスタッフ回路３２３
で挿入されたデータ”１”）が削除される。

【０１３９】その他の動作は、図２２のコンバータ２１
２における場合と同様である。

【０１４０】図２６は、ディリート回路３４３の構成例
を表している。この構成例においては、Ｄ型フリップフ
ロップ３４２，３４１より入力された１６ビットのデー
タのうち、LSB側の１５ビットが、それぞれ対応するス
イッチ３５１−０乃至３５１−１４の接点ａに供給され
ている。各スイッチの接点ｂには、１ビットだけMSB側
のデータが供給されている。デコーダ３５２は、コント
ローラ３４６より供給される信号delete positionによ
り指定されるビットを削除して、１５ビットのデータと
して出力するようになされている。

【０１４１】図２６は、LSBから第１３番目のビットが
ディリートされる状態を示している。従って、この場
合、スイッチ３５１−０乃至スイッチ３５１−１１が接
点ａ側に切り替えられ、LSBから第１２番目までの１２
ビットが、そのまま選択、出力されている。また、スイ
ッチ３５１−１２乃至３５１−１４は、それぞれ接点ｂ
側に切り替えられているので、第１４番目乃至第１６番
目のデータが、第１３番目乃至第１５番目のビットのデ
ータとして選択、出力される。

【０１４２】図２３のスタッフ回路３２３および図２６
のディリート回路３４３の入力が１６ビットとなってい
るのは、それぞれ図２２のコンバータ２１２のスタッフ
回路３２３の入力が、Ｄ型フリップフロップ３２２，３
２１より供給される１６ビットとされており、また、図
２５のコンバータ２０２においても、ディリート回路３
４３の入力が、Ｄ型フリップフロップ３４２，３４１に
より１６ビットとされているためである。図２２におい
て、スタッフ回路３２３の出力する１７ビットをバレル
シフタ３２４でバレルシフトすることにより、例えば８
ビットを最終的に選択、出力しているのと同様に、図２
５のコンバータ２０２においても、ディリート回路３４
３の出力する１５ビットのデータを、バレルシフタ３４
４で所定量だけバレルシフトすることにより、８ビット
のデータとしている。

【０１４３】図２７は、コンバータ２１２の他の構成例
を表している。この構成例においては、カウンタ３６１
が入力データのうち、連続する０のビットの数をカウン
トし、そのカウント結果をコントローラ３２６に出力す
るようになされている。コントローラ３２６は、例えば
カウンタ３６１が連続する０のビットを２２個カウント
したとき、信号stuff positionをスタッフ回路３２３に
出力する。また、このとき、コントローラ３２６は、カ
ウンタ３６１をリセットし、再び連続する０のビットの
数をカウンタ３６１にカウントさせる。

【０１４４】その他の構成と動作は、図２２における場
合と同様である。

【０１４５】図２８は、コンバータ２０２の他の構成例
を表している。この構成例においては、入力データのう
ち、連続する０の数をカウンタ３７１がカウントし、そ
のカウント結果をコントローラ３４６に出力するように
なされている。カウンタ３７１のカウント値が２２に達
したとき、コントローラ３４６は、信号delete positio
nをディリート回路３４３に出力するとともに、カウン
タ３７１をリセットし、再び新たな連続する０のビット
の数をカウンタ３７１にカウントさせる。その他の構成
は、図２５における場合と同様である。

【０１４６】このように、この構成例においては、所定
のパターン（データ”０”の連続する数）に基づいて、
マーカービットとしてのデータ”１”が挿入され、ま
た、削除されることになる。

【０１４７】図２７と図２８に示す構成は、図２２と図
２５に示す構成よりも効率的な処理が可能となる。但
し、変換後の長さが元の履歴情報に依存することにな
る。

【０１４８】図２９は、ユーザデータフォーマッタ２１
３の構成例を表している。この例においては、コントロ
ーラ３８３がコンバータ２１２とユーザデータフォーマ
ッタ２１３との間に配置されているバッファメモリ（図
示せず）に読み出しアドレスを出力すると、そこから読
み出されたデータが、ユーザデータフォーマッタ２１３
のスイッチ３８２の接点ａ側に供給される。ROM３８１
には、ユーザデータスタートコード、データＩＤなどの
user_data()を生成するのに必要なデータが記憶されて
いる。コントローラ３１３は、所定のタイミングにおい
て、スイッチ３８２を接点ａ側または接点ｂ側に切り替
え、ROM３８１に記憶されているデータ、またはコンバ
ータ２１２より供給されるデータを適宜選択し、出力す
る。これにより、user_data()のフォーマットのデータ
が符号化装置１０６に出力される。

【０１４９】なお、図示は省略するが、ユーザデータデ
コーダ２０１は、図２９のROM３８１より読み出され、
挿入されたデータを削除するスイッチを介して、入力デ
ータを出力するようにすることで実現することができ
る。

【０１５０】図３０は、例えば映像編集スタジオにおい
て、複数のトランスコーダ１０１−１乃至１０１−Ｎが
直列に接続されて使用される状態を示している。各トラ
ンスコーダ１０１−ｉ（ｉ＝１乃至Ｎ）の符号化パラメ
ータ多重装置１０３−ｉは、上述した符号化パラメータ
用の領域の最も古い符号化パラメータが記録されている
区画に、自己が用いた最新の符号化パラメータを上書き
する。このことにより、ベースバンドの画像データに
は、同一のマクロブロックに対応する直近の４世代分の
符号化パラメータ（世代履歴情報）が記録されることに
なる。

【０１５１】各符号化装置１０６−ｉのエンコーダ１２
１−ｉ（図１９）は、その可変長符号化回路５８におい
て、符号化パラメータ分離装置１０５−ｉから供給され
る今回用いる符号化パラメータに基づいて、量子化回路
５７より供給されるビデオデータを符号化する。このよ
うにして生成されるビットストリーム（例えば、pictur
e_header()）中に、その現符号化パラメータは多重化さ
れる。

【０１５２】可変長符号化回路５８はまた、履歴符号化
装置１０７−ｉより供給されるユーザデータ（世代履歴
情報を含む）を、出力するビットストリーム中に多重化
する（図１８に示すような埋め込み処理ではなく、ビッ
トストリーム中に多重化される）。そして、符号化装置
１０６−ｉの出力するビットストリームは、SDTI１０８
−ｉを介して、後段のトランスコーダ１０１−（ｉ＋
１）に入力される。

【０１５３】トランスコーダ１０１−ｉとトランスコー
ダ１０１−（ｉ＋１）は、それぞれ図１５に示すように
構成されている。従って、その処理は、図１５を参照し
て説明した場合と同様となる。

【０１５４】実際の符号化パラメータの履歴を利用した
符号化として、現在Ｉピクチャとして符号化されていた
ものを、ＰもしくはＢピクチャに変更したい場合、過去
の符号化パラメータの履歴を見て、過去にＰもしくはＢ
ピクチャであった場合を探し、これらの履歴が存在した
場合は、その動きベクトルなどのパラメータを利用し
て、ピクチャタイプを変更する。反対に過去に履歴がな
い場合は、動き検出を行わないピクチャタイプの変更を
断念する。もちろん履歴がない場合であっても、動き検
出を行えばピクチャタイプを変更できる。

【０１５５】図１８に示すフォーマットの場合、４世代
分の符号化パラメータを埋め込むようにしたが、Ｉ、
Ｐ、Ｂの各ピクチャタイプのパラメータを埋め込むよう
にすることもできる。図３１は、この場合のフォーマッ
トの例を示している。この例では、同一のマクロブロッ
クが、過去にピクチャタイプの変更を伴って符号化され
たときにおける、ピクチャタイプ毎に１世代分の符号化
パラメータ（ピクチャ履歴情報）が記録される。したが
って、図１６に示したデコーダ１１１、および図１９に
示したエンコーダ１２１は、現在（最新）、１世代前、
２世代前、および３世代前の符号化パラメータの代わり
に、Ｉピクチャ、Ｐピクチャ、およびＢピクチャに対応
する１世代分の符号化パラメータを入出力することにな
る。

【０１５６】また、この例の場合、Cb[1][x]とCr[1][x]
の領域は利用しないので、Cb[1][x]とCr[1][x]の領域を
有さない４：２：０フォーマットの画像データにも本発
明を適用することができる。

【０１５７】この例の場合、復号装置１０２は、符号化
パラメータを復号と同時に取り出し、ピクチャタイプを
判定して、画像信号のピクチャタイプに対応した場所に
符号化パラメータを書き込んで（多重化して）符号化パ
ラメータ分離装置１０５に出力する。符号化パラメータ
分離装置１０５は、符号化パラメータを分離し、これか
ら符号化したいピクチャタイプと、入力された過去の符
号化パラメータを考慮して、ピクチャタイプを変更しな
がら再符号化を行うことができる。

【０１５８】次に、各トランスコーダ１０１において、
変更が可能なピクチャタイプを判定する処理について、
図３２のフローチャートを参照して説明する。なお、こ
の処理はトランスコーダ１０１におけるピクチャタイプ
の変更は、過去の動きベクトルを利用するので、動き検
出を行わないで実行されることを前提としている。ま
た、以下に説明する処理は、符号化パラメータ分離装置
１０５により実行される。

【０１５９】ステップＳ１において、ピクチャタイプ毎
に１世代分の符号化パラメータ（ピクチャ履歴情報）が
符号化パラメータコントローラ１２２に入力される。

【０１６０】ステップＳ２において、符号化パラメータ
分離装置１０５は、ピクチャ履歴情報にＢピクチャに変
更したときの符号化パラメータが存在するか否かを判定
する。ピクチャ履歴情報にＢピクチャに変更したときの
符号化パラメータが存在すると判定された場合、ステッ
プＳ３に進む。

【０１６１】ステップＳ３において、符号化パラメータ
分離装置１０５は、ピクチャ履歴情報にＰピクチャに変
更したときの符号化パラメータが存在するか否かを判定
する。ピクチャ履歴情報にＰピクチャに変更したときの
符号化パラメータが存在すると判定された場合、ステッ
プＳ４に進む。

【０１６２】ステップＳ４において、符号化パラメータ
分離装置１０５は、変更可能なピクチャタイプがＩピク
チャ、Ｐピクチャ、およびＢピクチャであると判断す
る。

【０１６３】ステップＳ３において、ピクチャ履歴情報
にＰピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップＳ５に進む。

【０１６４】ステップＳ５において、符号化パラメータ
分離装置１０５は、変更可能なピクチャタイプがＩピク
チャ、およびＢピクチャであると判断する。さらに、符
号化パラメータ分離装置１０５は、特殊処理（Ｂピクチ
ャの履歴情報に含まれる後方予測ベクトルを使わず、前
方予測ベクトルだけを使う）を施すことにより、擬似的
にＰピクチャに変更可能であると判断する。

【０１６５】ステップＳ２において、ピクチャ履歴情報
にＢピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップＳ６に進む。

【０１６６】ステップＳ６において、符号化パラメータ
分離装置１０５は、ピクチャ履歴情報にＰピクチャに変
更したときの符号化パラメータが存在するか否かを判定
する。ピクチャ履歴情報にＰピクチャに変更したときの
符号化パラメータが存在すると判定された場合、ステッ
プＳ７に進む。

【０１６７】ステップＳ７において、符号化パラメータ
分離装置１０５は、変更可能なピクチャタイプがＩピク
チャ、およびＰピクチャであると判断する。さらに、符
号化パラメータ分離装置１０５は、特殊処理（Ｐピクチ
ャに履歴情報に含まれる前方予測ベクトルだけを使う）
を施すことにより、Ｂピクチャに変更可能であると判断
する。

【０１６８】ステップＳ６において、ピクチャ履歴情報
にＰピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップＳ８に進む。ステッ
プＳ８において、符号化パラメータ分離装置１０５は、
動きベクトルが存在しないので、変更可能なピクチャタ
イプがＩピクチャだけである（ＩピクチャなのでＩピク
チャ以外には変更できない）と判断する。

【０１６９】ステップＳ４，Ｓ５，Ｓ７，Ｓ８の処理の
次にステップＳ９において、符号化パラメータ分離装置
１０５は、変更可能なピクチャタイプを表示装置（図示
せず）に表示してユーザに通知する。

【０１７０】図３３は、ピクチャタイプ変更の例を示し
ている。ピクチャタイプの変更は、GOPを構成するフレ
ーム数が変更される。すなわち、この例の場合、N=15
（GOPのフレーム数N=15）、M=3（GOP内のＩ、またはＰ
ピクチャの出現周期M=3)のフレームから構成されるLong
GOP（第１世代）から、N=1，M=1のフレームで構成され
るShort GOP（第２世代）に変換され、再度、N=15，M=3
のフレームから構成されるLong GOP（第３世代）に変換
されている。なお、図中において破線は、GOPの境界を
示している。

【０１７１】第１世代から第２世代にピクチャタイプが
変更される場合において、上述した変更可能ピクチャタ
イプ判定処理の説明から明らかなように、全てのフレー
ムは、ピクチャタイプをＩピクチャに変更することが可
能である。このピクチャタイプ変更のとき、動画像（第
０世代）が第１世代に変換されたときに演算された全て
の動きベクトルは、ピクチャ履歴情報に保存された（残
された）状態となる。次に、再度Long GOPに変換される
（第２世代から第３世代にピクチャタイプが変更され
る）場合、第０世代から第１世代に変換されたときのピ
クチャタイプ毎の動きベクトルが保存されているので、
これを再利用することにより、画質劣化を抑えて、再
度、Long GOPに変換することが可能となる。

【０１７２】図３４は、ピクチャタイプ変更の他の例を
示している。この例の場合、N=14，M=2であるLong GOP
（第１世代）から、N=2，M=2であるShort GOP（第２世
代）に変換され、さらに、N=１，M=1であるフレーム数
が１のShort GOP（第３世代）に変換されて、フレーム
数NがランダムなGOP（第４世代）に変換される。

【０１７３】この例においても、第０世代から第１世代
に変換されたときのピクチャタイプ毎の動きベクトル
が、第３世代から第４世代への変換のときまで保存され
る。そこで、図３４に示すように、複雑にピクチャタイ
プを変更しても、保存されている符号化パラメータを再
利用されることにより、画質劣化を小さく抑えることが
できる。さらに、保存されている符号化パラメータの量
子化スケールを有効に利用すれば画質劣化の少ない符号
化を実現できる。

【０１７４】この量子化スケールの再利用について、図
３５を参照して説明する。図３５は、所定のフレーム
が、第１世代から第４世代まで常に、Ｉピクチャに変換
されており、ビットレートだけが、４Mbps，１８Mbps、
または５０Mbpsに変更されていることを示している。

【０１７５】例えば、第１世代(４Mbps)から第２世代
(１８Mbps)への変換の際に、ビットレートの高速化に伴
って、細かい量子化スケールで再符号化しても画質は向
上しない。なぜならば、過去において粗い量子化ステッ
プで量子化されたデータは、復元しないからである。し
たがって、図３５に示すように、途中でビットレートが
高速化しても、それに伴って細かい量子化ステップで量
子化することは、情報量が増加するだけであって画質の
向上には繋がらない。したがって、過去のもっとも粗い
（大きい）量子化スケールを維持するように制御すれ
ば、最も無駄が無く、効率的な符号化が可能となる。

【０１７６】上述したように、ビットレートが変更され
るときは、過去の量子化スケールの履歴を利用して符号
化することは非常に有効である。

【０１７７】この量子化制御処理について、図３６のフ
ローチャートを参照して説明する。ステップＳ１１にお
いて、符号化パラメータ分離装置１０５は、入力された
ピクチャ履歴情報に、いまから変換するピクチャタイプ
の符号化パラメータが存在するか否かを判定する。変換
するピクチャタイプの符号化パラメータが存在すると判
定された場合、ステップＳ１２に進む。

【０１７８】ステップＳ１２において、符号化パラメー
タ分離装置１０５は、ピクチャ履歴情報の対照となる符
号化パラメータから量子化スケール(Q_history)を抽出
する。

【０１７９】ステップＳ１３において、符号化パラメー
タ分離装置１０５は、送信バッファ５９から量子化回路
５７にフィードバックされる量子化スケールの候補値Q_
feedbackを読み取る。

【０１８０】ステップＳ１４において、符号化パラメー
タ分離装置１０５は、Q_historyがQ_feedbackよりも大
きい（粗い）か否かを判定する。Q_historyがQ_feedbac
kよりも大きいと判定された場合、ステップＳ１５に進
む。

【０１８１】ステップＳ１５において、符号化パラメー
タ分離装置１０５は、量子化スケールとしてQ_history
を量子化回路５７に出力する。量子化回路５７は、Q_hi
storyを用いて量子化を実行する。

【０１８２】ステップＳ１６において、フレームに含ま
れる全てのマクロブロックが量子化されたか否かが判定
される。全てのマクロブロックが量子化されていないと
判定された場合、ステップＳ１３に戻り、ステップＳ１
３乃至Ｓ１６の処理が、全てのマクロブロックが量子化
されるまで繰り返される。

【０１８３】ステップＳ１４において、Q_historyがQ_f
eedbackよりも大きくない（細かい）いと判定された場
合、ステップＳ１７に進む。

【０１８４】ステップＳ１７において、符号化パラメー
タ分離装置１０５は、量子化スケールとしてQ_feedback
を量子化回路５７に出力する。量子化回路５７は、Q_fe
edbackを用いて量子化を実行する。

【０１８５】ステップＳ１１において、変換するピクチ
ャタイプの符号化パラメータが存在しないと判定された
場合、ステップＳ１８に進む。

【０１８６】ステップＳ１８において、量子化回路５７
は、送信バッファ５９からフィードバックされる量子化
スケールの候補値Q_feedbackを受け付ける。

【０１８７】ステップＳ１９において、量子化回路５７
は、Q_feedbackを用いて量子化を実行する。

【０１８８】ステップＳ２０において、フレームに含ま
れる全てのマクロブロックが量子化されたか否かが判定
される。全てのマクロブロックが量子化されていないと
判定された場合、ステップＳ１８に戻り、ステップＳ１
８乃至Ｓ２０の処理が、全てのマクロブロックが量子化
されるまで繰り返される。

【０１８９】なお、本実施の形態におけるトランスコー
ダ１０１の内部においては、上述したように、復号側と
符号側が粗結合されており、符号化パラメータを画像デ
ータに多重化させて伝送させたが、図３７に示すよう
に、復号装置１０２と符号化装置１０６を符号化パラメ
ータ伝送用の高速バス１１１で接続する（密結合する）
ようにしてもよい。

【０１９０】図３８は、ＭＰＥＧのビデオストリームを
デコードするためのシンタックスを表わした図である。
デコーダは、このシンタックスに従ってＭＰＥＧビット
ストリームをデコードすることによって、ビットストリ
ームから意味のある複数のデータ項目（データエレメン
ト）を抽出する。以下に説明するシンタックスは、図に
おいて、その関数や条件文は細活字で表わされ、そのデ
ータエレメントは、太活字で表されている。データ項目
は、その名称、ビット長、及びそのタイプと伝送順序を
示すニーモニック（Mnemonic）で記述されている。

【０１９１】まず、この図３８に示されているシンタッ
クスにおいて使用されている関数について説明する。

【０１９２】next_start_code()関数は、ビットストリ
ーム中に記述されているスタートコードを探すための関
数である。よって、この図３８に示されたシンタックス
において、このnext_start_code()関数の次に、sequenc
e_header()関数とsequence_extension()関数とが順に配
置されているので、このビットストリームには、このse
quence_header()関数とsequence_extension()関数によ
って定義されたデータエレメントが記述されている。従
って、ビットストリームのデコード時には、このnext_s
tart_code()関数によって、sequence_header()関数とse
quence_extension()関数の先頭に記述されているスター
トコード（データエレメントの一種）をビットストリー
ム中から見つけ、それを基準にして、 sequence_header
()関数とsequence_extension()関数をさらに見つけ、そ
れらによって定義された各データエレメントをデコード
する。

【０１９３】尚、sequence_header()関数は、ＭＰＥＧ
ビットストリームのシーケンス層のヘッダデータを定義
するための関数であって、sequence_extension()関数
は、ＭＰＥＧビットストリームのシーケンス層の拡張デ
ータを定義するための関数である。

【０１９４】sequence_extension()関数の次に配置され
ている do{ }while構文は、while文によって定義されて
いる条件が真である間、do文の{ }内の関数に基いて記
述されたデータエレメントをデータストリーム中から抽
出するための構文である。すなわち、 do{ }while構文
によって、while文によって定義されている条件が真で
ある間、ビットストリーム中から、do文内の関数に基い
て記述されたデータエレメントを抽出するデコード処理
が行われる。

【０１９５】このwhile文に使用されているnextbits()
関数は、ビットストリーム中に現れるビット又はビット
列と、次にデコードされるデータエレメントとを比較す
るための関数である。この図３８のシンタックスの例で
は、nextbits()関数は、ビットストリーム中のビット列
とビデオシーケンスの終わりを示すsequence_end_code
とを比較し、ビットストリーム中のビット列とsequence
_end_codeとが一致しないときに、このwhile文の条件が
真となる。従って、sequence_extension()関数の次に配
置されている do{ }while構文は、ビットストリーム中
に、ビデオシーケンスの終わりを示すsequence_end_cod
eが現れない間、do文中の関数によって定義されたデー
タエレメントがビットストリーム中に記述されているこ
とを示している。

【０１９６】ビットストリーム中には、sequence_exten
sion()関数によって定義された各データエレメントの次
には、extension_and_user_data(0)関数によって定義さ
れたデータエレメントが記述されている。このextensio
n_and_user_data(0)関数は、ＭＰＥＧビットストリーム
のシーケンス層の拡張データとユーザデータを定義する
ための関数である。

【０１９７】このextension_and_user_data(0)関数の次
に配置されている do{ }while構文は、while文によって
定義されている条件が真である間、do文の{ }内の関数
に基いて記述されたデータエレメントを、ビットストリ
ーム中から抽出するための関数である。このwhile文に
おいて使用されているnextbits()関数は、ビットストリ
ーム中に現れるビット又はビット列と、picture_start_
code又はgroup_start_codeとの一致を判断するための関
数であって、ビットストリーム中に現れるビット又はビ
ット列と、picture_start_code又はgroup_start_codeと
が一致する場合には、while文によって定義された条件
が真となる。よって、このdo{ }while構文は、ビットス
トリーム中において、picture_start_code又はgroup_st
art_codeが現れた場合には、そのスタートコードの次
に、do文中の関数によって定義されたデータエレメント
のコードが記述されているので、このpicture_start_co
de又はgroup_start_codeによって示されるスタートコー
ドを探し出すことによって、ビットストリーム中からdo
文中に定義されたデータエレメントを抽出することがで
きる。

【０１９８】このdo文の最初に記述されているif文は、
ビットストリーム中にgroup_start_codeが現れた場合、
という条件を示しいる。このif文による条件が真である
場合には、ビットストリーム中には、このgroup_start_
codeの次にgroup_of_picture_header(1)関数及びextens
ion_and_user_data(1)関数によって定義されているデー
タエレメントが順に記述されている。

【０１９９】このgroup_of_picture_header(1)関数は、
ＭＰＥＧビットストリームのＧＯＰ層のヘッダデータを
定義するための関数であって、 extension_and_user_da
ta(1)関数は、ＭＰＥＧビットストリームのＧＯＰ層の
拡張データ（extension_data）及びユーザデータ（user
_data）を定義するための関数である。

【０２００】さらに、このビットストリーム中には、gr
oup_of_picture_header(1)関数及びextension_and_user
_data(1)関数によって定義されているデータエレメント
の次に、picture_header()関数とpicture_coding_exten
sion()関数によって定義されたデータエレメントが記述
されている。もちろん、先に説明したif文の条件が真と
ならない場合には、 group_of_picture_header(1)関数
及びextension_and_user_data(1)関数によって定義され
ているデータエレメントは記述されていないので、 ext
ension_and_user_data(0)関数によって定義されている
データエレメントの次に、 picture_header()関数とpic
ture_coding_extension()関数によって定義されたデー
タエレメントが記述されている。

【０２０１】このpicture_header()関数は、 ＭＰＥＧ
ビットストリームのピクチャ層のヘッダデータを定義す
るための関数であって、 picture_coding_extension()
関数は、ＭＰＥＧビットストリームのピクチャ層の第１
の拡張データを定義するための関数である。

【０２０２】次のwhile文は、このwhile文によって定義
されている条件が真である間、次のif文の条件判断を行
うための関数である。このwhile文において使用されて
いるnextbits()関数は、ビットストリーム中に現れるビ
ット列と、extension_start_code又はuser_data_start_
codeとの一致を判断するための関数であって、ビットス
トリーム中に現れるビット列と、 extension_start_cod
e又はuser_data_start_codeとが一致する場合には、こ
のwhile文によって定義された条件が真となる。

【０２０３】第１のif文は、ビットストリーム中に現れ
るビット列とｅｘｔｅｎｓｉｏｎ＿ｓｔａｒｔ＿ｃｏｄ
ｅとの一致を判断するための関数である。ビットストリ
ーム中に現れるビット列と３２ビットのｅｘｔｅｎｓｉ
ｏｎ＿ ｓｔａｒｔ＿ｃｏｄｅとが一致する場合には、
ビットストリーム中において、extension_start_codeの
次にextension_data(2)関数によって定義されるデータ
エレメントが記述されていることを示している。

【０２０４】第２のif文は、ビットストリーム中に現れ
るビット列とuser_data_start_codeとの一致を判断する
ための構文であって、ビットストリーム中に現れるビッ
ト列と３２ビットのuser_data_start_codeとが一致する
場合には、第３のif文の条件判断が行われる。このuser
_data_start_codeは、ＭＰＥＧビットストリームのピク
チャ層のユーザデータエリアの開始を示すためのスター
トコードである。

【０２０５】第３のif文は、ビットストリーム中に現れ
るビット列とHistory_Data_IDとの一致を判断するため
の構文である。ビットストリーム中に現れるビット列と
この８ビットのHistory_Data_IDとが一致する場合に
は、このＭＰＥＧビットストリームのピクチャ層のユー
ザデータエリアにおいて、この８ビットのHistory_Data
_IDによって示されるコードの次に、converted_history
_stream()関数によって定義されるデータエレメントが
記述されていることを示している。

【０２０６】converted_history_stream()関数は、ＭＰ
ＥＧ符号化時に使用したあらゆる符号化パラメータを伝
送するための履歴情報及び履歴データを記述するための
関数である。このconverted_history_stream()関数によ
って定義されているデータエレメントの詳細は後述す
る。また、このHistory_Data_IDは、ＭＰＥＧビットス
トリームのピクチャ層のユーザデータエリアに記述され
たこの履歴情報及び履歴データが記述されている先頭を
示すためのスタートコードである。

【０２０７】else文は、第３のif文において、条件が非
真であることを示すための構文である。従って、このＭ
ＰＥＧビットストリームのピクチャ層のユーザデータエ
リアにおいて、converted_history_stream()関数によっ
て定義されたデータエレメントが記述されていない場合
には、user_data()関数によって定義されたデータエレ
メントが記述されている。

【０２０８】picture_data()関数は、ＭＰＥＧビットス
トリームのピクチャ層のユーザデータの次に、スライス
層及びマクロブロック層に関するデータエレメントを記
述するための関数である。通常は、このpicture_data()
関数によって示されるデータエレメントは、ビットスト
リームのピクチャ層のユーザデータエリアに記述された
converted_history_stream()関数によって定義されるデ
ータエレメント又はuser_data()関数によって定義され
たデータエレメントの次に記述されているが、ピクチャ
層のデータエレメントを示すビットストリーム中に、ex
tension_start_code又はuser_data_start_code が存在
しない場合には、このpicture_data()関数によって示さ
れるデータエレメントは、 picture_coding_extensio
n()関数によって定義されるデータエレメントの次に記
述されるている。

【０２０９】このpicture_data()関数によって示される
データエレメントの次には、sequence_header()関数とs
equence_extension()関数とによって定義されたデータ
エレメントが順に配置されている。このsequence_heade
r()関数とsequence_extension()関数によって記述され
たデータエレメントは、ビデオストリームのシーケンス
の先頭に記述されたsequence_header()関数とsequence_
extension()関数によって記述されたデータエレメント
と全く同じである。このように同じデータをストリーム
中に記述する理由は、ビットストリーム受信装置側でデ
ータストリームの途中（例えばピクチャ層に対応するビ
ットストリーム部分）から受信が開始された場合に、シ
ーケンス層のデータを受信できなくなり、ストリームを
デコード出来なくなることを防止するためである。

【０２１０】この最後のsequence_header()関数とseque
nce_extension()関数とによって定義されたデータエレ
メントの次、つまり、データストリームの最後には、シ
ーケンスの終わりを示す３２ビットのsequence_end_cod
eが記述されている。

【０２１１】以上のシンタックスの基本的な構成の概略
を示すと、図３９に示すようになる。

【０２１２】次に、converted_history_stream()関数に
よって定義されたヒストリーストリームに関して説明す
る。

【０２１３】このconverted_history_stream()は、ＭＧ
ＥＧのピクチャ層のユーザデータエリアに履歴情報を示
すヒストリーストリームを挿入するための関数である。
尚、「converted」の意味は、スタートエミュレーショ
ンを防止するために、ユーザエリアに挿入すべき履歴デ
ータから構成される履歴ストリームの少なくとも２２ビ
ット毎にマーカービット（１ビット）を挿入する変換処
理を行ったストリームであることを意味している。

【０２１４】このconverted_history_stream()は、以下
に説明する固定長の履歴ストリーム（図４０乃至図４
６）又は可変長の履歴ストリーム（図４７）のいずれか
の形式で記述される。エンコーダ側において固定長の履
歴ストリームを選択した場合には、デコーダ側において
履歴ストリームから各データエレメントをデコードする
ための回路及びソフトウエアが簡単になるというメリッ
トがある。一方、エンコーダ側において可変長の履歴ス
トリームを選択した場合には、エンコーダにおいてピク
チャ層のユーザエリアに記述される履歴情報（データエ
レメント）を必要に応じて任意に選択することができる
ので、履歴ストリームのデータ量を少なくすることがで
き、その結果、符号化されたビットストリーム全体のデ
ータレートを低減することができる。

【０２１５】本発明において説明する「履歴情報」「履
歴データ」「履歴パラメータ」とは、過去の符号化処理
において使用した符号化パラメータ（又はデータエレメ
ント）のことであって、現在の（最終段の）符号化処理
において使用した符号化パラメータのことではない。例
えば、第１世代の符号化処理において、あるピクチャを
Ｉピクチャで符号化して伝送し、次なる第２世代の符号
化処理において、このピクチャを今度はＰピクチャとし
て符号化して伝送し、さらに、第３世代の符号化処理に
おいて、このピクチャをＢピクチャで符号化して伝送す
る例をあげて説明する。第３世代の符号化処理において
使用した符号化パラメータが、第３世代の符号化処理に
おいて生成された符号化ビットストリームのシーケンス
層、ＧＯＰ層、ピクチャ層、スライス層及びマクロブロ
ック層の所定位置に記述されている。一方、過去の符号
化処理である第１世代及び第２世代の符号化処理におい
て使用した符号化パラメータは、第３世代の符号化処理
において使用した符号化パラメータが記述されるシーケ
ンス層やＧＯＰ層に記述されるのでは無く、既に説明し
たシンタックスに従って、符号化パラメータの履歴情報
として、ピクチャ層のユーザデータエリアに記述され
る。

【０２１６】まず、固定長の履歴ストリームシンタック
スについて図４０乃至図４６を参照して説明する。

【０２１７】最終段（例えば第３世代）の符号化処理に
おいて生成されたビットストリームのピクチャ層のユー
ザエリアには、まず最初に、過去（例えば第１世代及び
第２世代）の符号化処理において使用されていたシーケ
ンス層のシーケンスヘッダに関する符号化パラメータ
が、履歴ストリームとして挿入される。尚、過去の符号
化処理において生成されたビットストリームのシーケン
ス層のシーケンスヘッダ等の履歴情報は、最終段の符号
化処理において生成されたビットストリームのシーケン
ス層のシーケンスヘッダに挿入されることは無いという
点に注意すべきである。

【０２１８】過去の符号化処理で使用したシーケンスヘ
ッダに関するデータエレメントは、sequence_header_co
de、sequence_header_present_flag、horizontal_size_
value、vertical_size_value、aspect_ratio_informati
on、frame_rate_code、bit_rate_value、marker_bit、V
BV_buffer_size_value、constrained_parameter_flag、
load_intra_quantizer_matrix、intra_quantizer_matri
x、load_non_intra_quantizer_matrix、及びnon_intra_
quantizer_matrix等から構成される。

【０２１９】sequence_header_codeは、シーケンス層の
スタート同期コードを表すデータである。sequence_hea
der_present_flagは、sequence_header内のデータが有
効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成る
データである。vertical_size_valueは、画像の縦のラ
イン数の下位12ビットからなるデータである。aspect_r
atio_informationは、画素のアスペクト比（縦横比）ま
たは表示画面アスペクト比を表すデータである。frame_
rate_codeは、画像の表示周期を表すデータである。

【０２２０】bit_rate_valueは、発生ビット量に対する
制限のためのビット・レートの下位18ビット(400bsp単
位で切り上げる)データである。marker_bitは、スター
トコードエミュレーションを防止するために挿入される
ビットデータである。VBV_buffer_size_valueは、発生
符号量制御用の仮想バッファ（ビデオバッファベリファ
イヤー）の大きさを決める値の下位10ビットデータであ
る。constrained_parameter_flagは、各パラメータが制
限以内であることを示すデータである。load_intra_qua
ntizer_matrixは、イントラMB用量子化マトリックス・
データの存在を示すデータである。intra_quantizer_ma
trixは、イントラＭＢ用量子化マトリックスの値を示す
データである。load_non_intra_quantizer_matrixは、
非イントラＭＢ用量子化マトリックス・データの存在を
示すデータである。non_intra_quantizer_matrixは、非
イントラＭＢ用量子化マトリックスの値を表すデータで
ある。

【０２２１】次に、最終段の符号化処理において生成さ
れたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたシーケンス層
のシーケンスエクステンションを表わすデータエレメン
トが、履歴ストリームとして記述される。

【０２２２】この過去の符号化処理で使用したシーケン
スエクステンションを表わすデータエレメントは、 ext
ension_start_code、extension_start_code_identifie
r、sequence_extension_present_flag、profile_and_le
vel_indication、progressive_sequence、chroma_forma
t、horizontal_size_extension、vertical_size_extens
ion、bit_rate_extension、vbv_buffer_size_extensio
n、low_delay、frame_rate_extension_n 、及び frame_
rate_extension_d等のデータエレメントである。

【０２２３】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すデータである。sequence_extension_p
resent_flagは、シーケンスエクステンション内のデー
タが有効であるか無効であるかを示すデータである。pr
ofile_and_level_indicationは、ビデオデータのプロフ
ァイルとレベルを指定するためのデータである。progre
ssive_sequenceは、ビデオデータが順次走査であること
を示すデータである。chroma_formatは、ビデオデータ
の色差フォーマットを指定するためのデータである。

【０２２４】horizontal_size_extensionは、シーケン
スヘッダのhorizntal_size_valueに加える上位２ビット
のデータである。vertical_size_extensionは、シーケ
ンスヘッダのvertical_size_valueに加える上位２ビッ
トのデータである。bit_rate_extensionは、シーケンス
ヘッダのbit_rate_valueに加える上位１２ビットのデー
タである。vbv_buffer_size_extensionは、シーケンス
ヘッダのvbv_buffer_size_valueに加える上位８ビット
のデータである。low_delayは、Ｂピクチャを含まない
ことを示すデータである。frame_rate_extension_nは、
シーケンスヘッダのframe_rate_codeと組み合わせてフ
レームレートを得るためのデータである。frame_rate_e
xtension_dは、シーケンスヘッダのframe_rate_codeと
組み合わせてフレームレートを得るためのデータであ
る。

【０２２５】続いて、ビットストリームのピクチャ層の
ユーザエリアには、過去の符号化処理において使用され
たシーケンス層のシーケンスディスプレイエクステンシ
ョンを表わすデータエレメントが、履歴ストリームとし
て記述される。

【０２２６】このシーケンスディスプレイエクステンシ
ョンとして記述されているデータエレメントは、extens
ion_start_code、extension_start_code_identifier、s
equence_display_extension_present_flag、video_form
at、color_description、color_primaries、transfer_c
haracteristics、matrix_coeffients、display_horizon
tal_size、及びdisplay_vertical_sizeから構成され
る。

【０２２７】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すコードである。sequence_display_ext
ension_present_flagは、シーケンスディスプレイエク
ステンション内のデータエレメントが有効か無効かを示
すデータである。video_formatは、原信号の映像フォー
マットを表すデータである。color_descriptionは、色
空間の詳細データがあることを示すデータである。colo
r_primariesは、原信号の色特性の詳細を示すデータで
ある。transfer_characteristicsは、光電変換がどのよ
うに行われたのかの詳細を示すデータである。matrix_c
oeffientsは、原信号が光の三原色からどのように変換
されたかの詳細を示すデータである。display_horizont
al_sizeは、意図するディスプレイの活性領域（水平サ
イズ）を表すデータである。display_vertical_size
は、意図するディスプレイの活性領域（垂直サイズ）を
表すデータである。

【０２２８】続いて、最終段の符号化処理において生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において生成されたマクロブロッ
クの位相情報を示すマクロブロックアサイメントデータ
（macroblock_assignment_in_user_data）が、履歴スト
リームとして記述される。

【０２２９】このマクロブロックの位相情報を示すmacr
oblock_assignment_in_user_dataは、macroblock_assig
nment_present_flag、v_phase、h_phase等のデータエレ
メントから構成される。

【０２３０】このmacroblock_assignment_present_flag
は、macroblock_assignment_in_user_data内のデータエ
レメントが有効か無効かを示すデータである。 v_phase
は、画像データからマクロブロックを切り出す際の垂直
方向の位相情報を示すデータである。 h_phaseは、画像
データからマクロブロックを切り出す際の水平方向の位
相情報を示すデータである。

【０２３１】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたＧＯＰ層のＧ
ＯＰヘッダを表わすデータエレメントが、履歴ストリー
ムとして記述されている。

【０２３２】このＧＯＰヘッダを表わすデータエレメン
トは、group_start_code、group_of_picture_header_pr
esent_flag、time_code、closed_gop、及びbroken_link
から構成される。

【０２３３】group_start_codeは、ＧＯＰ層の開始同期
コードを示すデータである。 group_of_picture_header
_present_flagは、 group_of_picture_header内のデー
タエレメントが有効であるか無効であるかを示すデータ
である。 time_codeは、ＧＯＰの先頭ピクチャのシーケ
ンスの先頭からの時間を示すタイムコードである。clos
ed_gopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可
能なことを示すフラグデータである。broken_linkは、
編集などのためにＧＯＰ内の先頭のＢピクチャが正確に
再生できないことを示すフラグデータである。

【０２３４】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャ層の
ピクチャヘッダを表わすデータエレメントが、履歴スト
リームとして記述されている。

【０２３５】このピクチャヘッダに関するデータエレメ
ントは、picture_start_code、temporal_reference、pi
cture_coding_type、vbv_delay、full_pel_forward_vec
tor、forward_f_code、full_pel_backward_vector、及
び backward_f_codeから構成される。

【０２３６】具体的には、picture_start_codeは、ピク
チャ層の開始同期コードを表すデータである。temporal
_referenceは、ピクチャの表示順を示す番号でＧＯＰの
先頭でリセットされるデータである。picture_coding_t
ypeは、ピクチャタイプを示すデータである。vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示
すデータである。full_pel_forward_vectorは、順方向
動きベクトルの精度が整数単位か半画素単位かを示すデ
ータである。forward_f_codeは、順方向動きベクトル探
索範囲を表すデータである。full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位
かを示すデータである。backward_f_codeは、逆方向動
きベクトル探索範囲を表すデータである。

【０２３７】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャ層の
ピクチャコーディングエクステンションが、履歴ストリ
ームとして記述されている。

【０２３８】このピクチャコーディングエクステンショ
ンに関するデータエレメントは、extension_start_cod
e、extension_start_code_identifier、f_code[0][0]、
f_code[0][1]、f_code[1][0]、f_code[1][1]、intra_dc
_precision、picture_structure、top_field_first、fr
ame_predictive_frame_dct、concealment_motion_vecto
rs、q_scale_type、intra_vlc_format、alternate_sca
n、repeat_firt_field、chroma_420_type、progressive
_frame、composite_display_flag、v_axis、field_sequ
ence、sub_carrier、burst_amplitude、及びsub_carrie
r_phaseから構成される。

【０２３９】extension_start_codeは、ピクチャ層のエ
クステンションデータのスタートを示す開始コードであ
る。extension_start_code_identifierは、どの拡張デ
ータが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表す
データである。f_code[0][1]は、フォワード方向の垂直
動きベクトル探索範囲を表すデータである。f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲
を表すデータである。f_code[1][1]は、バックワード方
向の垂直動きベクトル探索範囲を表すデータである。

【０２４０】intra_dc_precisionは、DC係数の精度を表
すデータである。picture_structureは、フレームスト
ラクチャかフィールドストラクチャかを示すデータであ
る。フィールドストラクチャの場合は、上位フィールド
か下位フィールドかもあわせて示すデータである。top_
field_firstは、フレームストラクチャの場合、最初の
フィールドが上位か下位かを示すデータである。frame_
predictive_frame_dctは、フレーム・ストラクチャの場
合、フレーム・モードＤＣＴの予測がフレーム・モード
だけであることを示すデータである。concealment_moti
on_vectorsは、イントラマクロブロックに伝送エラーを
隠蔽するための動きベクトルがついていることを示すデ
ータである。

【０２４１】q_scale_typeは、線形量子化スケールを利
用するか、非線形量子化スケールを利用するかを示すデ
ータである。intra_vlc_formatは、イントラマクロブロ
ックに、別の２次元ＶＬＣを使うかどうかを示すデータ
である。alternate_scanは、ジグザグスキャンを使う
か、オルタネート・スキャンを使うかの選択を表すデー
タである。repeat_firt_fieldは、２：３プルダウンの
際に使われるデータである。chroma_420_typeは、信号
フォーマットが４：２：０の場合、次のprogressive_fr
ame と同じ値、そうでない場合は０を表すデータであ
る。progressive_frameは、このピクチャが、順次走査
できているかどうかを示すデータである。composite_di
splay_flagは、ソース信号がコンポジット信号であった
かどうかを示すデータである。

【０２４２】v_axisは、ソース信号が、ＰＡＬの場合に
使われるデータである。field_sequenceは、ソース信号
が、ＰＡＬの場合に使われるデータである。sub_carrie
rは、ソース信号が、ＰＡＬの場合に使われるデータで
ある。burst_amplitudeは、ソース信号が、ＰＡＬの場
合に使われるデータである。sub_carrier_phaseは、ソ
ース信号が、ＰＡＬの場合に使われるデータである。

【０２４３】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用された量子化マトリ
ックスエクステンションが、履歴ストリームとして記述
されている。

【０２４４】この量子化マトリックスエクステンション
に関するデータエレメントは、extension_start_code、
extension_start_code_identifier、quant_matrix_exte
nsion_present_flag、load_intra_quantizer_matrix、i
ntra_quantizer_matrix[64]、load_non_intra_quantize
r_matrix、non_intra_quantizer_matrix[64]、load_chr
oma_intra_quantizer_matrix、chroma_intra_quantizer
_matrix[64]、load_chroma_non_intra_quantizer_matri
x、及びchroma_non_intra_quantizer_matrix[64] から
構成される。

【０２４５】extension_start_codeは、この量子化マト
リックスエクステンションのスタートを示す開始コード
である。extension_start_code_identifierは、どの拡
張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリック
スエクステンション内のデータエレメントが有効か無効
かを示すためのデータである。load_intra_quantizer_m
atrixは、イントラマクロブロック用の量子化マトリッ
クスデータの存在を示すデータである。intra_quantize
r_matrixは、イントラマクロブロック用の量子化マトリ
ックスの値を示すデータである。

【０２４６】load_non_intra_quantizer_matrixは、非
イントラマクロブロック用の量子化マトリックスデータ
の存在を示すデータである。non_intra_quantizer_matr
ixは、非イントラマクロブロック用の量子化マトリック
スの値を表すデータである。load_chroma_intra_quanti
zer_matrixは、色差イントラマクロブロック用の量子化
マトリックス・データの存在を示すデータである。chro
ma_intra_quantizer_matrixは、色差イントラマクロブ
ロック用の量子化マトリックスの値を示すデータであ
る。load_chroma_non_intra_quantizer_matrixは、色差
非イントラマクロブロック用の量子化マトリックス・デ
ータの存在を示すデータである。chroma_non_intra_qua
ntizer_matrixは、色差非イントラマクロブロック用の
量子化マトリックスの値を示すデータである。

【０２４７】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたコピーライト
エクステンションが、履歴ストリームとして記述されて
いる。

【０２４８】このコピーライトエクステンションに関す
るデータエレメントは、extension_start_code、extens
ion_start_code_itentifier、copyright_extension_pre
sent_flag、copyright_flag、copyright_identifier、o
riginal_or_copy、copyright_number_1、copyright_num
ber_2、及び copyright_number_3から構成される。

【０２４９】extension_start_codeは、コピーライトエ
クステンションのスタート示す開始コードである。exte
nsion_start_code_itentifierのどのエクステンション
データが送られるかを示すコードである。 copyright_e
xtension_present_flagは、このコピーライトエクステ
ンション内のデータエレメントが有効か無効かを示すた
めのデータである。copyright_flagは、次のコピーライ
トエクステンション又はシーケンスエンドまで、符号化
されたビデオデータに対してコピー権が与えられている
か否かを示す。

【０２５０】copyright_identifierは、ＩＳＯ／ＩＥＣ
ＪＴＣ／ＳＣ２９によって指定されたコピー権の登録
機関を識別するためのデータである。original_or_copy
は、ビットストリーム中のデータが、オリジナルデータ
であるかコピーデータであるかを示すデータである。co
pyright_number_1は、コピーライトナンバーのビット４
４から６３を表わすデータである。copyright_number_2
は、コピーライトナンバーのビット２２から４３を表わ
すデータである。copyright_number_3は、コピーライト
ナンバーのビット０から２１を表わすデータである。

【０２５１】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャディ
スプレイエクステンション（ picture_display_extensi
on ）が、履歴ストリームとして記述されている。

【０２５２】このピクチャディスプレイエクステンショ
ンを表わすデータエレメントは、extension_start_cod
e、extension_start_code_identifier、picture_displa
y_extension_present_flag、frame_center_horizontal_
offset_1、frame_center_vertical_offset_1、frame_ce
nter_horizontal_offset_2、frame_center_vertical_of
fset_2、frame_center_horizontal_offset_3、及びfram
e_center_vertical_offset_3から構成される。

【０２５３】extension_start_codeは、ピクチャディス
プレイエクステンションのスタートを示すための開始コ
ードである。extension_start_code_identifierは、ど
の拡張データが送られるかを示すコードである。pictur
e_display_extension_present_flagは、ピクチャディス
プレイエクステンション内のデータエレメントが有効か
無効かを示すデータである。frame_center_horizontal_
offsetは、表示エリアの水平方向のオフセットを示すデ
ータであって、３つのオフセット値まで定義することが
できる。frame_center_vertical_offsetは、表示エリア
を垂直方向のオフセットを示すデータであって、３つの
オフセット値まで定義することができる。

【０２５４】最終段の符号化処理において生成されたビ
ットストリームのピクチャ層のユーザエリアには、既に
説明したピクチャディスプレイエクステンションを表わ
す履歴情報の次に、過去の符号化処理において使用され
たユーザデータが、履歴ストリームとして記述されてい
る。

【０２５５】このユーザデータの次には、過去の符号化
処理において使用されたマクロブロック層に関する情報
が、履歴ストリームとして記述されている。

【０２５６】このマクロブロック層に関する情報は、ma
croblock_address_h、macroblock_address_v、slice_he
ader_present_flag、skipped_macroblock_flag等のマク
ロブロックの位置に関するデータエレメントと、macrob
lock_quant、macroblock_motion_forward、macroblock_
motion_backward、mocroblock_pattern、macroblock_in
tra、spatial_temporal_weight_code_flag、frame_moti
on_type、及びdct_type等のマクロブロックモードに関
するデータエレメントと、quantiser_scale_code等の量
子化ステップ制御に関するデータエレメントと、PMV[0]
[0][0]、PMV[0][0][1]、motion_vertical_field_select
[0][0]、PMV[0][1][0]、PMV[0][1][1]、motion_vertica
l_field_select[0][1]、PMV[1][0][0]、PMV[1][0][1]、
motion_vertical_field_select[1][0]、PMV[1][1][0]、
PMV[1][1][1]、motion_vertical_field_select[1][1]等
の動き補償に関するデータエレメントと、coded_block_
pattern等のマクロブロックパターンに関するデータエ
レメントと、num_mv_bits、num_coef_bits、及びnum_ot
her_bits等の発生符号量に関するデータエレメントから
構成されている。

【０２５７】以下にマクロブロック層に関するデータエ
レメントについて詳細に説明する。

【０２５８】macroblock_address_hは、現在のマクロブ
ロックの水平方向の絶対位置を定義するためのデータで
ある。macroblock_address_vは、現在のマクロブロック
の垂直方向の絶対位置を定義するためのデータである。
slice_header_present_flagは、このマクロブロックが
スライス層の先頭であり、スライスヘッダを伴なうか否
かを示すデータである。skipped_macroblock_flagは、
復号化処理においてこのマクロブロックをスキップする
か否かを示すデータでる。

【０２５９】macroblock_quantは、後述する図６５乃至
図６７に示されたマクロブロックタイプ（ macroblock_
type ）から導かれるデータであって、quantiser_scale
_codeがビットストリーム中に現れるか否かを示すデー
タである。macroblock_motion_forwardは、図６５乃至
図６７に示されたマクロブロックタイプから導かれるデ
ータであって、復号化処理で使用されるデータである。
macroblock_motion_backwardは、図６５乃至図６７に示
されたマクロブロックタイプから導かれるデータであっ
て、復号化処理で使用されるデータである。mocroblock
_patternは、図６５乃至図６７に示されたマクロブロッ
クタイプから導かれるデータであって、coded_block_pa
tternがビットストリーム中に現れるか否かを示すデー
タである。

【０２６０】macroblock_intraは、図６５乃至図６７に
示されたマクロブロックタイプから導かれるデータであ
って、復号化処理で使用されるデータである。spatial_
temporal_weight_code_flagは、図６５乃至図６７に示
されたマクロブロックタイプから導かれるデータであっ
て、時間スケーラビリティで下位レイヤ画像のアップサ
ンプリング方法を示すspatial_temporal_weight_code
は、ビットストリーム中に存在するか否かを示すデータ
である。

【０２６１】frame_motion_typeは、フレームのマクロ
ブロックの予測タイプを示す２ビットのコードである。
予測ベクトルが２個でフィールドベースの予測タイプで
あれば「００」であって、予測ベクトルが１個でフィー
ルドベースの予測タイプであれば「０１」であって、予
測ベクトルが１個でフレームベースの予測タイプであれ
ば「１０」であって、予測ベクトルが１個でディアルプ
ライムの予測タイプであれば「１１」である。field_mo
tion_typeは、フィールドのマクロブロックの動き予測
を示す２ビットのコードである。予測ベクトルが１個で
フィールドベースの予測タイプであれば「０１」であっ
て、予測ベクトルが２個で１８×８マクロブロックベー
スの予測タイプであれば「１０」であって、予測ベクト
ルが１個でディアルプライムの予測タイプであれば「１
１」である。dct_typeは、ＤＣＴがフレームＤＣＴモー
ドか、フィールドＤＣＴモードかを示すデータである。
quantiser_scale_codeはマクロブロックの量子化ステッ
プサイズを示すデータである。

【０２６２】次に動きベクトルに関するデータエレメン
トについて説明する。動きベクトルは、復号時に必要な
動きベクトルを減少させるために、先に符号化されたベ
クトルに関し差分として符号化される。動きベクトルの
復号を行うために復号器は、４個の動きベクトル予測値
（それぞれ水平及び垂直成分を伴なう）を維持しなけれ
ばいけない。この予測動きベクトルをPMV[r][s][v]と表
わすことにしている。[r]は、マクロブロックにおける
動きベクトルが第１のベクトルであるのか、第２のベク
トルであるのかを示すフラグであって、マクロブロック
におけるベクトルが第１のベクトルである場合には
「０」となって、マクロブロックにおけるベクトルが第
２のベクトルである場合には「１」となる。[s]は、マ
クロブロックにおける動きベクトルの方向が、前方向で
あるのか後方向であるのかを示すフラグであって、前方
向動きベクトルの場合には「０」となって、後方向動き
ベクトルの場合には「１」となる。[v]は、マクロブロ
ックにおけるベクトルの成分が、水平方向であるのか垂
直方向であるのかを示すフラグであって、水平方向成分
の場合には「０」となって、垂直方向成分の場合には
「１」となる。

【０２６３】従って、PMV[0][0][0]は、第１のベクトル
の前方向の動きベクトルの水平方向成分のデータを表わ
し、PMV[0][0][1]は、第１のベクトルの前方向の動きベ
クトルの垂直方向成分のデータを表わし、PMV[0][1][0]
は、第１のベクトルの後方向の動きベクトルの水平方向
成分のデータを表わし、PMV[0][1][1]は、第１のベクト
ルの後方向の動きベクトルの垂直方向成分のデータを表
わし、 PMV[1][0][0]は、第２のベクトルの前方向の動
きベクトルの水平方向成分のデータを表わし、PMV[1]
[0][1]は、第２のベクトルの前方向の動きベクトルの垂
直方向成分のデータを表わし、 PMV[1][1][0]は、第２
のベクトルの後方向の動きベクトルの水平方向成分のデ
ータを表わし、PMV[1][1][1] は、第２のベクトルの後
方向の動きベクトルの垂直方向成分のデータを表わして
いる。

【０２６４】motion_vertical_field_select[r][s]は、
予測の形式にいずれの参照フィールドを使用するのかを
示すデータである。このmotion_vertical_field_select
[r][s]が「０」の場合には、トップ参照フィールドを使
用し、「１」の場合には、ボトム参照フィールドを使用
することを示している。

【０２６５】よって、motion_vertical_field_select
[0][0]は、第１のベクトルの前方向の動きベクトルを生
成する際の参照フィールドを示し、motion_vertical_fi
eld_select[0][1]は、第１のベクトルの後方向の動きベ
クトルを生成する際の参照フィールドを示し、motion_v
ertical_field_select[1][0]は、第２のベクトルの前方
向の動きベクトルを生成する際の参照フィールドを示
し、motion_vertical_field_select[1][1]は、第２ベク
トルの後方向の動きベクトルを生成する際の参照フィー
ルドを示している。

【０２６６】coded_block_patternは、ＤＣＴ係数を格
納する複数のＤＣＴブロックのうち、どのＤＣＴブロッ
クに、有意係数（非０係数）があるかを示す可変長のデ
ータである。num_mv_bitsは、マクロブロック中の動き
ベクトルの符号量を示すデータである。num_coef_bits
は、マクロブロック中のＤＣＴ係数の符号量を示すデー
タである。num_other_bitsは、マクロブロックの符号量
で、動きベクトル及びＤＣＴ係数以外の符号量を示すデ
ータである。

【０２６７】次に、可変長の履歴ストリームから各デー
タエレメントをデコードするためのシンタックスについ
て、図４７乃至図６４を参照して説明する。

【０２６８】この可変長の履歴ストリームは、next_sta
rt_code()関数、sequence_header()関数、sequence_ext
ension()関数、extension_and_user_data(0)関数、grou
p_of_picture_header()関数、extension_and_user_data
(1)関数、picture_header()関数、picture_coding_exte
nsion()関数、extension_and_user_data(2)関数、及びp
icture_data()関数によって定義されたデータエレメン
トによって構成される。

【０２６９】next_start_code()関数は、ビットストリ
ーム中に存在するスタートコードを探すための関数であ
るので、履歴ストリームの最も先頭には、図４８に示す
ような、過去の符号化処理において使用されたデータエ
レメントであってsequence_header()関数によって定義
されたデータエレメントが記述されている。

【０２７０】sequence_header()関数によって定義され
たデータエレメントは、sequence_header_code、sequen
ce_header_present_flag、horizontal_size_value、ver
tical_size_value、aspect_ratio_information、frame_
rate_code、bit_rate_value、marker_bit、VBV_buffer_
size_value、constrained_parameter_flag、load_intra
_quantizer_matrix、intra_quantizer_matrix、load_no
n_intra_quantizer_matrix、及びnon_intra_quantizer_
matrix等である。

【０２７１】sequence_header_codeは、シーケンス層の
スタート同期コードを表すデータである。sequence_hea
der_present_flagは、sequence_header内のデータが有
効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成る
データである。vertical_size_valueは、画像の縦のラ
イン数の下位12ビットからなるデータである。aspect_r
atio_informationは、画素のアスペクト比（縦横比）ま
たは表示画面アスペクト比を表すデータである。frame_
rate_codeは、画像の表示周期を表すデータである。bit
_rate_valueは、発生ビット量に対する制限のためのビ
ット・レートの下位18ビット(400bsp単位で切り上げる)
データである。

【０２７２】marker_bitは、スタートコードエミュレー
ションを防止するために挿入されるビットデータであ
る。VBV_buffer_size_valueは、発生符号量制御用の仮
想バッファ（ビデオバッファベリファイヤー）の大きさ
を決める値の下位10ビットデータである。constrained_
parameter_flagは、各パラメータが制限以内であること
を示すデータである。load_intra_quantizer_matrix
は、イントラMB用量子化マトリックス・データの存在を
示すデータである。intra_quantizer_matrixは、イント
ラＭＢ用量子化マトリックスの値を示すデータである。
load_non_intra_quantizer_matrixは、非イントラＭＢ
用量子化マトリックス・データの存在を示すデータであ
る。non_intra_quantizer_matrixは、非イントラＭＢ用
量子化マトリックスの値を表すデータである。

【０２７３】sequence_header()関数によって定義され
たデータエレメントの次には、図４９で示すような、se
quence_extension()関数によって定義されたデータエレ
メントが、履歴ストリームとして記述されている。

【０２７４】sequence_extension()関数によって定義さ
れたデータエレメントとは、extension_start_code、ex
tension_start_code_identifier、sequence_extension_
present_flag、profile_and_level_indication、progre
ssive_sequence、chroma_format、horizontal_size_ext
ension、vertical_size_extension、bit_rate_extensio
n、vbv_buffer_size_extension、low_delay、frame_rat
e_extension_n 、及びframe_rate_extension_d等のデー
タエレメントである。

【０２７５】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すデータである。sequence_extension_p
resent_flagは、シーケンスエクステンション内のデー
タが有効であるか無効であるかを示すスデータである。
profile_and_level_indicationは、ビデオデータのプロ
ファイルとレベルを指定するためのデータである。prog
ressive_sequenceは、ビデオデータが順次走査であるこ
とを示すデータである。chroma_formatは、ビデオデー
タの色差フォーマットを指定するためのデータである。
horizontal_size_extensionは、シーケンスヘッダのhor
izntal_size_valueに加える上位２ビットのデータであ
る。vertical_size_extensionは、シーケンスヘッダのv
ertical_size_value加える上位２ビットのデータであ
る。bit_rate_extensionは、シーケンスヘッダのbit_ra
te_valueに加える上位１２ビットのデータである。vbv_
buffer_size_extensionは、シーケンスヘッダのvbv_buf
fer_size_valueに加える上位８ビットのデータである。

【０２７６】low_delayは、Ｂピクチャを含まないこと
を示すデータである。frame_rate_extension_nは、シー
ケンスヘッダのframe_rate_codeと組み合わせてフレー
ムレートを得るためのデータである。frame_rate_exten
sion_dは、シーケンスヘッダのframe_rate_codeと組み
合わせてフレームレートを得るためのデータである。

【０２７７】sequence_extension()関数によって定義さ
れたデータエレメントの次には、図５０に示すようなex
tension_and_user_data(0)関数によって定義されたデー
タエレメントが、履歴ストリームとして記述されてい
る。 extension_and_user_data(i)関数は、「i」が2以
外のときは、extension_data()関数によって定義される
データエレメントは記述せずに、user_data()関数によ
って定義されるデータエレメントのみを履歴ストリーム
として記述する。よって、 extension_and_user_data
(0)関数は、 user_data()関数によって定義されるデー
タエレメントのみを履歴ストリームとして記述する。

【０２７８】user_data()関数は、図５１に示されたよ
うなシンタックスに基いて、ユーザデータを履歴ストリ
ームとして記述する。

【０２７９】extension_and_user_data(0)関数によって
定義されたデータエレメントの次には、図５２に示すよ
うなgroup_of_picture_header()関数によって定義され
たデータエレメント、及びextension_and_user_data(1)
関数によって定義されるデータエレメントが、履歴スト
リームとして記述されている。但し、履歴ストリーム中
に、ＧＯＰ層のスタートコードを示すgroup_start_code
が記述されている場合にのみ、 group_of_picture_head
er()関数によって定義されたデータエレメント、及びex
tension_and_user_data(1)関数によって定義されるデー
タエレメントが記述されている。

【０２８０】group_of_picture_header()関数によって
定義されたデータエレメントは、group_start_code、gr
oup_of_picture_header_present_flag、time_code、clo
sed_gop、及びbroken_linkから構成される。

【０２８１】group_start_codeは、ＧＯＰ層の開始同期
コードを示すデータである。 group_of_picture_header
_present_flagは、 group_of_picture_header内のデー
タエレメントが有効であるか無効であるかを示すデータ
である。 time_codeは、ＧＯＰの先頭ピクチャのシーケ
ンスの先頭からの時間を示すタイムコードである。clos
ed_gopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可
能なことを示すフラグデータである。broken_linkは、
編集などのためにＧＯＰ内の先頭のＢピクチャが正確に
再生できないことを示すフラグデータである。

【０２８２】extension_and_user_data(1)関数は、 ext
ension_and_user_data(0)関数と同じように、user_data
()関数によって定義されるデータエレメントのみを履歴
ストリームとして記述する。

【０２８３】もし、履歴ストリーム中に、ＧＯＰ層のス
タートコードを示すgroup_start_codeが存在しない場合
には、これらのgroup_of_picture_header()関数及びext
ension_and_user_data(1)関数によって定義されるデー
タエレメントは、履歴ストリーム中には記述されていな
い。その場合には、 extension_and_user_data(0)関数
によって定義されたデータエレメントの次に、picture_
headr()関数によって定義されたデータエレメントが履
歴ストリームとして記述されている。

【０２８４】picture_headr()関数によって定義された
データエレメントは、図５３に示すように、picture_st
art_code、temporal_reference、picture_coding_typ
e、vbv_delay、full_pel_forward_vector、forward_f_c
ode、full_pel_backward_vector、backward_f_code、ex
tra_bit_picture、及びextra_information_pictureであ
る。

【０２８５】具体的には、picture_start_codeは、ピク
チャ層の開始同期コードを表すデータである。temporal
_referenceは、ピクチャの表示順を示す番号でＧＯＰの
先頭でリセットされるデータである。picture_coding_t
ypeは、ピクチャタイプを示すデータである。vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示
すデータである。full_pel_forward_vectorは、順方向
動きベクトルの精度が整数単位か半画素単位かを示すデ
ータである。forward_f_codeは、順方向動きベクトル探
索範囲を表すデータである。full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位
かを示すデータである。backward_f_codeは、逆方向動
きベクトル探索範囲を表すデータである。 extra_bit_p
ictureは、後続する追加情報の存在を示すフラグであ
る。このextra_bit_pictureが「１」の場合には、次にe
xtra_information_pictureが存在し、extra_bit_pictur
eが「０」の場合には、これに続くデータが無いことを
示している。extra_information_pictureは、規格にお
いて予約された情報である。

【０２８６】picture_headr()関数によって定義された
データエレメントの次には、図５４に示すようなpictur
e_coding_extension()関数によって定義されたデータエ
レメントが、履歴ストリームとして記述されている。

【０２８７】このpicture_coding_extension()関数によ
って定義されたデータエレメントとは、extension_star
t_code、extension_start_code_identifier、f_code[0]
[0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、int
ra_dc_precision、picture_structure、top_field_firs
t、frame_predictive_frame_dct、concealment_motion_
vectors、q_scale_type、intra_vlc_format、alternate
_scan、repeat_firt_field、chroma_420_type、progres
sive_frame、composite_display_flag、v_axis、field_
sequence、sub_carrier、burst_amplitude、及びsub_ca
rrier_phaseから構成される。

【０２８８】extension_start_codeは、ピクチャ層のエ
クステンションデータのスタートを示す開始コードであ
る。extension_start_code_identifierは、どの拡張デ
ータが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表す
データである。f_code[0][1]は、フォワード方向の垂直
動きベクトル探索範囲を表すデータである。f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲
を表すデータである。f_code[1][1]は、バックワード方
向の垂直動きベクトル探索範囲を表すデータである。in
tra_dc_precisionは、DC係数の精度を表すデータであ
る。

【０２８９】picture_structureは、フレームストラク
チャかフィールドストラクチャかを示すデータである。
フィールドストラクチャの場合は、上位フィールドか下
位フィールドかもあわせて示すデータである。top_fiel
d_firstは、フレームストラクチャの場合、最初のフィ
ールドが上位か下位かを示すデータである。frame_pred
ictive_frame_dctは、フレーム・ストラクチャの場合、
フレーム・モードＤＣＴの予測がフレーム・モードだけ
であることを示すデータである。concealment_motion_v
ectorsは、イントラマクロブロックに伝送エラーを隠蔽
するための動きベクトルがついていることを示すデータ
である。q_scale_typeは、線形量子化スケールを利用す
るか、非線形量子化スケールを利用するかを示すデータ
である。intra_vlc_formatは、イントラマクロブロック
に、別の２次元ＶＬＣを使うかどうかを示すデータであ
る。

【０２９０】alternate_scanは、ジグザグスキャンを使
うか、オルタネート・スキャンを使うかの選択を表すデ
ータである。repeat_firt_fieldは、２：３プルダウン
の際に使われるデータである。chroma_420_typeは、信
号フォーマットが４：２：０の場合、次のprogressive_
frame と同じ値、そうでない場合は０を表すデータであ
る。progressive_frameは、このピクチャが、順次走査
できているかどうかを示すデータである。composite_di
splay_flagは、ソース信号がコンポジット信号であった
かどうかを示すデータである。v_axisは、ソース信号
が、ＰＡＬの場合に使われるデータである。field_sequ
enceは、ソース信号が、ＰＡＬの場合に使われるデータ
である。sub_carrierは、ソース信号が、ＰＡＬの場合
に使われるデータである。burst_amplitudeは、ソース
信号が、ＰＡＬの場合に使われるデータである。sub_ca
rrier_phaseは、ソース信号が、ＰＡＬの場合に使われ
るデータである。

【０２９１】picture_coding_extension()関数によって
定義されたデータエレメントの次には、extensions_and
_user_data(2)によって定義されたデータエレメント
が、履歴ストリームとして記述されている。このextens
ion_and_user_data(2)関数は、図５０に示したように、
ビットストリーム中にエクステンションスタートコード
（extension_start_code）が存在する場合には、extens
ion_data()関数によって定義されるデータエレメントが
記述されている。このデータエレメントの次には、ビッ
トストリーム中にユーザデータスタートコード（user_d
ata_start_code）が存在する場合には、user_data()関
数によって定義されるデータエレメントが記述されてい
る。但し、ビットストリーム中にエクステンションスタ
ートコード及びユーザデータスタートコードが存在しな
い場合には extension_data()関数及びuser_data()関数
によって定義されるデータエレメントはビットトリーム
中には記述されていない。

【０２９２】extension_data()関数は、図５５に示すよ
うに、extension_start_codeを示すデータエレメント
と、quant_matrix_extension()関数、copyright_extens
ion()関数、及びpicture_display_extension()関数によ
って定義されるデータエレメンエトとを、ビットストリ
ーム中に履歴ストリームとして記述するための関数であ
る。

【０２９３】quant_matrix_extension()関数によって定
義されるデータエレメントは、図５６に示すように、ex
tension_start_code、extension_start_code_identifie
r、quant_matrix_extension_present_flag、load_intra
_quantizer_matrix、intra_quantizer_matrix[64]、loa
d_non_intra_quantizer_matrix、non_intra_quantizer_
matrix[64]、load_chroma_intra_quantizer_matrix、ch
roma_intra_quantizer_matrix[64]、load_chroma_non_i
ntra_quantizer_matrix、及びchroma_non_intra_quanti
zer_matrix[64] である。

【０２９４】extension_start_codeは、この量子化マト
リックスエクステンションのスタートを示す開始コード
である。extension_start_code_identifierは、どの拡
張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリック
スエクステンション内のデータエレメントが有効か無効
かを示すためのデータである。load_intra_quantizer_m
atrixは、イントラマクロブロック用の量子化マトリッ
クスデータの存在を示すデータである。intra_quantize
r_matrixは、イントラマクロブロック用の量子化マトリ
ックスの値を示すデータである。

【０２９５】load_non_intra_quantizer_matrixは、非
イントラマクロブロック用の量子化マトリックスデータ
の存在を示すデータである。non_intra_quantizer_matr
ixは、非イントラマクロブロック用の量子化マトリック
スの値を表すデータである。load_chroma_intra_quanti
zer_matrixは、色差イントラマクロブロック用の量子化
マトリックス・データの存在を示すデータである。chro
ma_intra_quantizer_matrixは、色差イントラマクロブ
ロック用の量子化マトリックスの値を示すデータであ
る。load_chroma_non_intra_quantizer_matrixは、色差
非イントラマクロブロック用の量子化マトリックス・デ
ータの存在を示すデータである。chroma_non_intra_qua
ntizer_matrixは、色差非イントラマクロブロック用の
量子化マトリックスの値を示すデータである。

【０２９６】copyright_extension()関数によって定義
されるデータエレメントは、図５７に示すように、 ext
ension_start_code、extension_start_code_itentifie
r、copyright_extension_present_flag、copyright_fla
g、copyright_identifier、original_or_copy、copyrig
ht_number_1、copyright_number_2、及び copyright_nu
mber_3から構成される。

【０２９７】extension_start_codeは、コピーライトエ
クステンションのスタート示す開始コードである。exte
nsion_start_code_itentifierどのエクステンションデ
ータが送られるかを示すコードである。 copyright_ext
ension_present_flagは、このコピーライトエクステン
ション内のデータエレメントが有効か無効かを示すため
のデータである。

【０２９８】copyright_flagは、次のコピーライトエク
ステンション又はシーケンスエンドまで、符号化された
ビデオデータに対してコピー権が与えられているか否か
を示す。copyright_identifierは、ＩＳＯ／ＩＥＣ Ｊ
ＴＣ／ＳＣ２９によって指定されたコピー権の登録機関
を識別するためのデータである。original_or_copyは、
ビットストリーム中のデータが、オリジナルデータであ
るかコピーデータであるかを示すデータである。copyri
ght_number_1は、コピーライトナンバーのビット４４か
ら６３を表わすデータである。copyright_number_2は、
コピーライトナンバーのビット２２から４３を表わすデ
ータである。copyright_number_3は、コピーライトナン
バーのビット０から２１を表わすデータである。

【０２９９】picture_display_extension()関数によっ
て定義されるデータエレメントは、図５８に示すよう
に、extension_start_code_identifier、frame_center_
horizontal_offset、frame_center_vertical_offset等
である。

【０３００】extension_start_code_identifierは、ど
の拡張データが送られるかを示すコードである。 frame
_center_horizontal_offsetは、表示エリアの水平方向
のオフセットを示すデータであって、number_of_frame_
center_offsetsによって定義される数のオフセット値を
定義することができる。frame_center_vertical_offset
は、表示エリアを垂直方向のオフセットを示すデータで
あって、 number_of_frame_center_offsetsによって定
義される数のオフセット値を定義することができる。

【０３０１】再び図４７に戻って、extension_and_user
_data(2)関数によって定義されるデータエレメントの次
には、picture_data()関数によって定義されるデータエ
レメントが、履歴ストリームとして記述されている。

【０３０２】picture_data()関数によって定義されるデ
ータエレメントは、図５９に示すように、slice()関数
によって定義されるデータエレメントである。但し、ビ
ットストリーム中に、slice()関数のスタートコードを
示すslice_start_codeが存在しない場合には、このslic
e()関数によって定義されるデータエレメントはビット
ストリーム中に記述されていない。

【０３０３】slice()関数は、図６０に示されるよう
に、slice_start_code、slice_quantiser_scale_code、
intra_slice_flag、intra_slice、reserved_bits、extr
a_bit_slice、extra_information_slice、及びextra_bi
t_slice 等のデータエレメントと、macroblock()関数に
よって定義されるデータエレメントを、履歴ストリーム
として記述するための関数である。

【０３０４】slice_start_codeは、slice()関数によっ
て定義されるデータエレメントのスタートを示すスター
トコードである。slice_quantiser_scale_codeは、この
スライス層に存在するマクロブロックに対して設定され
た量子化ステップサイズを示すデータである。しかし、
各マクロブロック毎に、quantiser_scale_codeが設定さ
れている場合には、各マクロブロックに対して設定され
たmacroblock_quantiser_scale_codeのデータが優先し
て使用される。

【０３０５】intra_slice_flagは、ビットストリーム中
にintra_slice及びreserved_bitsが存在するか否かを示
すフラグである。intra_sliceは、スライス層中にノン
イントラマクロブロックが存在するか否かを示すデータ
である。スライス層におけるマクロブロックのいずれか
がノンイントラマクロブロックである場合には、intra_
sliceは「０」となり、スライス層におけるマクロブロ
ックの全てがノンイントラマクロブロックである場合に
は、intra_sliceは「１」となる。reserved_bitsは、７
ビットのデータであって「０」の値を取る。extra_bit_
sliceは、履歴ストリームとして追加の情報が存在する
ことを示すフラグであって、次にextra_information_sl
iceが存在する場合には「１」に設定される。追加の情
報が存在しない場合には「０」に設定される。

【０３０６】これらのデータエレメントの次には、macr
oblock()関数によって定義されたデータエレメントが、
履歴ストリームとして記述されている。

【０３０７】macroblock()関数は、図６１に示すよう
に、macroblock_escape、macroblock_address_incremen
t、及びmacroblock_quantiser_scale_code等のデータエ
レメントと、macroblock_modes()関数、及び macrobloc
k_vecters(s)関数によって定義されたデータエレメント
を記述するための関数である。

【０３０８】macroblock_escapeは、参照マクロブロッ
クと前のマクロブロックとの水平方向の差が３４以上で
あるか否かを示す固定ビット列である。参照マクロブロ
ックと前のマクロブロックとの水平方向の差が３４以上
の場合には、macroblock_address_incrementの値に３３
をプラスする。macroblock_address_incrementは、参照
マクロブロックと前のマクロブロックとの水平方向の差
を示すデータである。もし、このmacroblock_address_i
ncrementの前にmacroblock_escapeが１つ存在するので
あれば、このmacroblock_address_incrementの値に３３
をプラスした値が、実際の参照マクロブロックと前のマ
クロブロックとの水平方向の差分を示すデータとなる。

【０３０９】macroblock_quantiser_scale_codeは、各
マクロブロック毎に設定された量子化ステップサイズで
ある。各スライス層には、スライス層の量子化ステップ
サイズを示すslice_quantiser_scale_codeが設定されて
いるが、参照マクロブロックに対してmacroblock_quant
iser_scale_codeが設定されている場合には、この量子
化ステップサイズを選択する。

【０３１０】macroblock_address_incrementの次には、
macroblock_modes()関数によって定義されるデータエレ
メントが記述されている。macroblock_modes()関数は、
図６２に示すように、macroblock_type、frame_motion_
type、field_motion_type、dct_type等のデータエレメ
ントを、履歴ストリームとして記述するための関数であ
る。

【０３１１】macroblock_typeは、マクログブロックの
符号化タイプを示すデータである。具体的には、図６５
乃至図６７に示されるように、macroblock_typeは、mac
roblock_quant、dct_type_flag、macroblock_motion_fo
rward、及びmacroblock_motion_backwardなどのフラグ
から生成された可変長データである。 macroblock_quan
tは、マクロブロックに対して量子化ステップサイズを
設定するためのmacroblock_quantiser_scale_codeが設
定されているか否かを示すフラグあって、ビットストリ
ーム中にmacroblock_quantiser_scale_codeが存在する
場合には、 macroblock_quantは「１」の値を取る。

【０３１２】dct_type_flagは、参照マクロブロックが
フレームＤＣＴ又はフィールドＤＣＴで符号化されてい
るかを示すdct_typeが存在するか否かを示すためのフラ
グ（言い換えるとＤＣＴされているか否かを示すフラ
グ）であって、ビットストリーム中にdct_typeが存在す
る場合には、このdct_type_flagは「１」の値を取る。m
acroblock_motion_forwardは、参照マクロブロックが前
方予測されているか否かを示すフラグであって、前方予
測されている場合には「１」の値を取る。macroblock_m
otion_backwardは、参照マクロブロックが後方予測され
ているか否かを示すフラグであって、後方予測されてい
る場合には「１」の値を取る。

【０３１３】もし、macroblock_motion_forward又はmac
roblock_motion_backwardが「１」のときに、ピクチャ
構造がフレームのときに、frame_period_frame_dctが
「０」のときには、macroblock_typeを表わすデータエ
レメントの次にframe_motion_typeを表わすデータエレ
メントが記述されている。尚、このframe_period_frame
_dctは、 frame_motion_typeがビットストリーム中に存
在するか否かを示すフラグである。

【０３１４】frame_motion_typeは、フレームのマクロ
ブロックの予測タイプを示す２ビットのコードである。
予測ベクトルが２個でフィールドベースの予測タイプで
あれば「００」であって、予測ベクトルが１個でフィー
ルドベースの予測タイプであれば「０１」であって、予
測ベクトルが１個でフレームベースの予測タイプであれ
ば「１０」であって、予測ベクトルが１個でディアルプ
ライムの予測タイプであれば「１１」である。

【０３１５】もし、macroblock_motion_forward又はmac
roblock_motion_backwardが「１」のときに、ピクチャ
構造がフレーム出ない場合には、macroblock_typeを表
わすデータエレメントの次にfield_motion_typeを表わ
すデータエレメントが記述されている。

【０３１６】field_motion_typeは、フィールドのマク
ロブロックの動き予測を示す２ビットのコードである。
予測ベクトルが１個でフィールドベースの予測タイプで
あれば「０１」であって、予測ベクトルが２個で１８×
８マクロブロックベースの予測タイプであれば「１０」
であって、予測ベクトルが１個でディアルプライムの予
測タイプであれば「１１」である。

【０３１７】もし、ピクチャ構造がフレームで、 frame
_period_frame_dctがframe_motion_typeがビットストリ
ーム中に存在することを示し、且つ、frame_period_fra
me_dctがdct_typeがビットストリーム中に存在すること
を示す場合には、macroblock_typeを表わすデータエレ
メントの次にdct_typeを表わすデータエレメントが記述
されている。尚、dct_typeは、ＤＣＴがフレームＤＣＴ
モードか、フィールドＤＣＴモードかを示すデータであ
る。

【０３１８】再び図６１に戻って、もし、参照マクロブ
ロックが前方予測マクロブロックであるか又は参照マク
ロブロックがイントラマクロブロックであって且つコン
シール処理のマクロブロックのいずれかの場合には、mo
tion_vectors(0)関数によって定義されるデータエレメ
ントが記述される。また、参照マクロブロックが後方予
測マクロブロックである場合には、motion_vectors(1)
関数によって定義されるデータエレメントが記述され
る。尚、 motion_vectors(0)関数は、第1番めの動きベ
クトルに関するデータエレメントを記述するための関数
であって、motion_vectors(1)関数は、第２番めの動き
ベクトルに関するデータエレメントを記述するための関
数である。

【０３１９】motion_vectors(s)関数は、図６３に示さ
れるように、動きベクトルに関するデータエレメントを
記述するための関数である。

【０３２０】もし、動きベクトルが１個でディアルプラ
イム予測モードを使用していない場合には、motion_ver
tical_field_select[0][s]とmotion_vector(0,s)によっ
て定義されるデータエレメントが記述される。

【０３２１】このmotion_vertical_field_select[r][s]
は、第１番目の動きベクトル（前方又は後方のどちらの
ベクトルであっても良い）が、ボトムフィールドを参照
して作られたベクトルであるかトップフィールドを参照
して作られたベクトルであるかを示すフラグである。こ
の指標“r”は、第１番めのベクトル又は第２番めのベ
クトルのいずれのベクトルであるかを示す指標であっ
て、“s”は、予測方向が前方又は後方予測のいずれで
あるかを示す指標である。

【０３２２】motion_vector(r,s)関数は、図６４に示さ
れるように、motion_code[r][s][t]に関するデータ列
と、motion_residual[r][s][t]に関するデータ列と、dm
vector[t]を表わすデータとを記述するための関数であ
る。

【０３２３】motion_code[r][s][t]は、動きベクトルの
大きさを−１６〜＋１６の範囲で表わす可変長のデータ
である。 motion_residual[r][s][t]は、動きベクトル
の残差を表わす可変長のデータである。よって、このmo
tion_code[r][s][t]と motion_residual[r][s][t]との
値によって詳細な動きベクトルを記述することができ
る。 dmvector[t]は、ディユアルプライム予測モードの
ときに、一方のフィールド（例えばボトムフィールドに
対してトップフィールドを一方のフィールドとする）に
おける動きベクトルを生成するために、時間距離に応じ
て既存の動きベクトルがスケールされると共に、トップ
フィールドとボトムフィールドとのライン間の垂直方向
のずれを反映させるために垂直方向に対して補正を行う
データである。この指標“r”は、第１番めのベクトル
又は第２番めのベクトルのいずれのベクトルであるかを
示す指標であって、“s”は、予測方向が前方又は後方
予測のいずれであるかを示す指標である。“s”は、動
きベクトルが垂直方向の成分であるか水平方向の成分で
あるかを示すデータである。

【０３２４】図６４に示されmotion_vector(r,s)関数に
よって、まず、水平方向のmotion_coder[r][s][0]を表
わすデータ列が、履歴ストリームとして記述される。mo
tion_residual[0][s][t]及びmotion_residual[1][s][t]
の双方のビット数は、f_code[s][t]で示されるので、 f
_code[s][t]が１でない場合には、 motion_residual[r]
[s][t] がビットストリーム中に存在することを示すこ
とになる。水平方向成分のmotion_residual[r][s][0]が
「１」でなくて、水平方向成分のmotion_code[r][s][0]
が「０」でないということは、ビットストリーム中にmo
tion_residual[r][s][0]を表わすデータエレメントが存
在し、動きベクトルの水平方向成分が存在するというこ
とを意味しているので、その場合には、水平方向成分の
motion_residual[r][s][0]を表わすデータエレメントが
記述されている。

【０３２５】続いて、垂直方向のmotion_coder[r][s]
[1]を表わすデータ列が、履歴ストリームとして記述さ
れる。同じようにmotion_residual[0][s][t]及びmotion
_residual[1][s][t]の双方のビット数は、f_code[s][t]
で示されるので、 f_code[s][t]が１でない場合には、
motion_residual[r][s][t] がビットストリーム中に存
在することを表わすことになる。motion_residual[r]
[s][1]が「１」でなくて、motion_code[r][s][1]が
「０」でないということは、ビットストリーム中にmoti
on_residual[r][s][1]を表わすデータエレメントが存在
し、動きベクトルの垂直方向成分が存在するということ
を意味しているので、その場合には、垂直方向成分のmo
tion_residual[r][s][1]を表わすデータエレメントが記
述されている。

【０３２６】なお、可変長フォーマットにおいては、伝
送するビットレートを減少させるために、履歴情報を削
減することができる。

【０３２７】すなわち、macroblock_typeとmotion_vect
ors()は転送するが、quantiser_scale_codeを転送しな
い場合には、slice_quantiser_scale_codeを”００００
０”とすることで、ビットレートを減少させることがで
きる。

【０３２８】また、macroblock_typeのみ転送し、motio
n_vectors()、quantiser_scale_code、およびdct_type
を転送しない場合には、macroblock_typeとして、”not
coded”を使用することで、ビットレートを減少するこ
とができる。

【０３２９】さらにまた、picture_coding_typeのみ転
送し、slice()以下の情報は全て転送しない場合には、s
lice_start_codeを持たないpicture_data()を使用する
ことで、ビットレートを減少させることができる。

【０３３０】以上においては、user_data内の２３ビッ
トの連続する”０”が出ないようにする場合に、２２ビ
ット毎に”１”を挿入するようにしたが、２２ビット毎
でなくてもよい。また、連続する”０”の個数を数え
て”１”を挿入するのではなく、Byte_allignを調べて
挿入するようにすることも可能である。

【０３３１】さらに、MPEGにおいては、２３ビットの連
続する”０”の発生を禁止しているが、実際には、バイ
トの先頭から２３ビット連続する場合だけが問題とさ
れ、バイトの先頭ではなく、途中から０が２３ビット連
続する場合は、問題とされない。従って、例えば２４ビ
ット毎に、LSB以外の位置に”１”を挿入するようにし
てもよい。

【０３３２】また、以上においては、履歴情報を、vide
o elementary streamに近い形式にしたが、packetized
elementary streamやtransport streamに近い形式にし
てもよい。また、Elementary Streamのuser_dataの場所
を、picture_dataの前としたが、他の場所にすることも
できる。

【０３３３】なお、上記各処理を行うコンピュータプロ
グラムは、磁気ディスク、CD-ROM等の情報記録媒体より
なる提供媒体のほか、インターネット、デジタル衛星な
どのネットワーク提供媒体を介してユーザに提供するこ
とができる。

【０３３４】

【発明の効果】以上の如く請求項１に記載のデータ伝送
装置、請求項２に記載のデータ伝送方法、および請求項
３に記載の提供媒体によれば、前の符号化処理で使用し
た符号化パラメータを、符号化処理により生成されたビ
ットストリームに重畳するようにしたので、小さい規模
の装置で、再符号化に伴う画像の劣化を抑制することが
可能となる。

【０３３５】請求項４に記載のデータ伝送装置、請求項
５に記載のデータ伝送方法、および請求項６に記載の提
供媒体によれば、復号されたベースバンドのビデオデー
タに、過去の符号化処理で使用した符号化パラメータを
重畳するようにしたので、小さい規模の装置で、再符号
化に伴う画像の劣化を抑制することが可能となる。

【図面の簡単な説明】

【図１】高効率符号化の原理を説明する図である。

【図２】画像データを圧縮する場合におけるピクチャタ
イプを説明する図である。

【図３】画像データを圧縮する場合におけるピクチャタ
イプを説明する図である。

【図４】動画像信号を符号化する原理を説明した図であ
る。

【図５】動画像信号を符号化し、復号する装置の構成を
示すブロック図である。

【図６】フォーマット変換を説明する図である。

【図７】図５のエンコーダ１８の構成を示すブロック図
である。

【図８】図７の予測モード切換回路５２の動作を説明す
る図である。

【図９】図７の予測モード切換回路５２の動作を説明す
る図である。

【図１０】図７の予測モード切換回路５２の動作を説明
する図である。

【図１１】図７の予測モード切換回路５２の動作を説明
する図である。

【図１２】図５のデコーダ３１の構成を示すブロック図
である。

【図１３】ピクチャタイプに対応したSNR制御を説明す
る図である。

【図１４】本発明を適用したトランスコーダ１０１の構
成を示すブロック図である。

【図１５】図１４のトランスコーダ１０１のより詳細な
構成を示すブロック図である。

【図１６】図１４の復号装置１０２に内蔵されるデコー
ダ１１１の構成を示すブロック図である。

【図１７】マクロブロックの画素を説明する図である。

【図１８】符号化パラメータが記録される領域を説明す
る図である。

【図１９】図１４の符号化装置１０６に内蔵されるエン
コーダ１２１の構成を示すブロック図である。

【図２０】図１５のヒストリーフォマッタ２１１の構成
例を示すブロック図である。

【図２１】図１５のヒストリーデコーダ２０３の構成例
を示すブロック図である。

【図２２】図１５のコンバータ２１２の構成例を示すブ
ロック図である。

【図２３】図２２のスタッフ回路３２３の構成例を示す
ブロック図である。

【図２４】図２２のコンバータ２１２の動作を説明する
タイミングチャートである。

【図２５】図１５のコンバータ２０２の構成例を示すブ
ロック図である。

【図２６】図２５のディリート回路３４３の構成例を示
すブロック図である。

【図２７】図１５のコンバータ２１２の他の構成例を示
すブロック図である。

【図２８】図１５のコンバータ２０２の他の構成例を示
すブロック図である。

【図２９】図１５のユーザデータフォーマッタ２１３の
構成例を示すブロック図である。

【図３０】図１４のトランスコーダ１０１が実際に使用
される状態を示す図である。

【図３１】符号化パラメータが記録される領域を説明す
る図である。

【図３２】図１４の符号化装置１０６の変更可能ピクチ
ャタイプ判定処理を説明するフローチャートである。

【図３３】ピクチャタイプが変更される例を示す図であ
る。

【図３４】ピクチャタイプが変更される他の例を示す図
である。

【図３５】図１４の符号化装置１０６の量子化制御処理
を説明する図である。

【図３６】図１４の符号化装置１０６の量子化制御処理
を説明するフローチャートである。

【図３７】密結合されたトランスコーダ１０１の構成を
示すブロック図である。

【図３８】MPEGストリームのシンタックスを説明する図
である。

【図３９】図３８のシンタックスの構成を説明する図で
ある。

【図４０】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４１】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４２】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４３】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４４】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４５】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４６】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４７】可変長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４８】sequence_header()のシンタックスを説明す
る図である。

【図４９】sequence_extension()のシンタックスを説明
する図である。

【図５０】extension_and_user_data()のシンタックス
を説明する図である。

【図５１】user_data()のシンタックスを説明する図で
ある。

【図５２】group_of_pictures_header()のシンタックス
を説明する図である。

【図５３】picture_header()のシンタックスを説明する
図である。

【図５４】picture_coding_extension()のシンタックス
を説明する図である。

【図５５】extension_data()のシンタックスを説明する
図である。

【図５６】quant_matrix_extension()のシンタックスを
説明する図である。

【図５７】copyright_extension()のシンタックスを説
明する図である。

【図５８】picture_display_extension()のシンタック
スを説明する図である。

【図５９】picture_data()のシンタックスを説明する図
である。

【図６０】slice()のシンタックスを説明する図であ
る。

【図６１】macroblock()のシンタックスを説明する図で
ある。

【図６２】macroblock_modes()のシンタックスを説明す
る図である。

【図６３】motion_vectors(s)のシンタックスを説明す
る図である。

【図６４】motion_vector(r,s)のシンタックスを説明す
る図である。

【図６５】Ｉピクチャに対するmacroblock_typeの可変
長符号を説明する図である。

【図６６】Ｐピクチャに対するmacroblock_typeの可変
長符号を説明する図である。

【図６７】Ｂピクチャに対するmacroblock_typeの可変
長符号を説明する図である。

【図６８】従来のトランスコーダ１３１の構成の一例を
示すブロック図である。

【図６９】従来のトランスコーダ１３１の構成の一例を
示すブロック図である。

【図７０】従来の符号化装置と復号装置の配置を説明す
る図である。

【符号の説明】

１ 符号化装置， ２ 復号化装置， ３ 記録媒体，
１２，１３ A/D変換器， １４ フレームメモリ，
１５ 輝度信号フレームメモリ， １６ 色差信号フ
レームメモリ， １７ フォーマット変換回路， １８
エンコーダ，３１ デコーダ， ３２ フォーマット
変換回路， ３３ フレームメモリ，３４ 輝度信号フ
レームメモリ， ３５ 色差信号フレームメモリ， ３
６，３７ D/A変換器， ５０ 動きベクトル検出回
路， ５１ フレームメモリ，５２ 予測モード切り替
え回路， ５３ 演算部， ５４ 予測判定回路，５５
DCTモード切り替え回路， ５６ DCT回路， ５７
量子化回路， ５８可変長符号化回路， ５９ 送信バ
ッファ， ６０ 逆量子化回路， ６１IDCT回路， ６
２ 演算器， ６３ フレームメモリ， ６４ 動き補
償回路，８１ 受信バッファ， ８２ 可変長復号化回
路， ８３ 逆量子化回路，８４ IDCT回路， ８５
演算器， ８６ フレームメモリ， ８７ 動き補償回
路， １０１ トランスコーダ， １０２ 復号装置，
１０３ 符号化パラメータ多重装置， １０５ 符号
化パラメータ分離装置， １０６ 符号化装置， １０
６ SDTI， １１１ デコーダ， １１２ 可変長復号
化回路， １２１ エンコーダ， １２２ 符号化パラ
メータコントローラ， １３１ トランスコーダ， １
３２ 復号装置， １３３ 符号化装置， １３４ 動
き検出部， １３５ 符号化部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三原 寛司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 村上 芳弘 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK01 KK06 KK34 KK35 LA01 LA05 MA00 MA03 MA05 MA14 MA23 MC11 MC38 ME02 NN01 NN28 PP05 PP06 PP07 PP16 RB06 RB09 RC00 RC09 RC16 SS07 SS20 TA25 TA46 TA60 TA62 TB03 TB07 TC15 TC24 TC41 UA02 UA05 UA23 UA34 UA38 5C063 AA02 AA03 AB03 AB07 AC01 AC10 BA12 CA05 CA07 CA09 CA34 DA07 DA13

Claims (6)

【特許請求の範囲】
1. 【請求項１】 ソースビデオデータを符号化する符号化
   手段と、 前記符号化手段による符号化処理よりも前の符号化処理
   で使用した符号化パラメータを、前記符号化手段の符号
   化処理により生成されたビットストリームに重畳する重
   畳手段と、 前記重畳手段により前記符号化パラメータが重畳された
   ビットストリームを伝送する伝送手段とを備えることを
   特徴とするデータ伝送装置。
2. 【請求項２】 ソースビデオデータを符号化する符号化
   ステップと、 前記符号化ステップでの符号化処理よりも前の符号化処
   理で使用した符号化パラメータを、前記符号化ステップ
   での符号化処理により生成されたビットストリームに重
   畳する重畳ステップと、 前記重畳ステップで前記符号化パラメータが重畳された
   ビットストリームを伝送する伝送ステップとを含むこと
   を特徴とするデータ伝送方法。
3. 【請求項３】 ソースビデオデータを符号化する符号化
   ステップと、 前記符号化ステップでの符号化処理よりも前の符号化処
   理で使用した符号化パラメータを、前記符号化ステップ
   での符号化処理により生成されたビットストリームに重
   畳する重畳ステップと、 前記重畳ステップで前記符号化パラメータが重畳された
   ビットストリームを伝送する伝送ステップとを含む処理
   をデータ伝送装置に実行させるコンピュータが読み取り
   可能なプログラムを提供することを特徴とする提供媒
   体。
4. 【請求項４】 MPEG規格に基づいて符号化されたビット
   ストリームを復号する復号手段と、 前記復号手段により復号されたベースバンドのビデオデ
   ータに、過去の符号化処理で使用した符号化パラメータ
   を重畳する重畳手段と、 前記重畳手段により前記符号化パラメータが重畳された
   ビデオデータを伝送する伝送手段とを備えることを特徴
   とするデータ伝送装置。
5. 【請求項５】 MPEG規格に基づいて符号化されたビット
   ストリームを復号する復号ステップと、 前記復号ステップで復号されたベースバンドのビデオデ
   ータに、過去の符号化処理で使用した符号化パラメータ
   を重畳する重畳ステップと、 前記重畳ステップで前記符号化パラメータが重畳された
   ビデオデータを伝送する伝送ステップとを含むことを特
   徴とするデータ伝送方法。
6. 【請求項６】 MPEG規格に基づいて符号化されたビット
   ストリームを復号する復号ステップと、 前記復号ステップで復号されたベースバンドのビデオデ
   ータに、過去の符号化処理で使用した符号化パラメータ
   を重畳する重畳ステップと、 前記重畳ステップで前記符号化パラメータが重畳された
   ビデオデータを伝送する伝送ステップとを含む処理をデ
   ータ伝送装置に実行させるコンピュータが読み取り可能
   なプログラムを提供することを特徴とする提供媒体。