JP2000232646A - ストリーム伝送装置および方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 トランスコーダの規模を小さくするととも
に、再符号化に伴う画像の劣化を抑制可能なストリーム
を、少ない容量のメディアを介して伝送できるようにす
る。 【解決手段】 符号化パラメータ分離装置１０５は、再
符号化に最適な符号化パラメータを抽出し、記述子とと
もに、組合せ記述子分離部５１１に出力する。スイッチ
５１３は、組合せ記述子分離部５１１から供給された記
述子に対応して、組合せ記述子分離部５１１から供給さ
れた符号化パラメータ、または、符号化パラメータ算出
部５１２がベースバンドビデオデータから算出した符号
化パラメータを選択し、符号化装置１０６に出力する。
符号化装置１０６は、入力された符号化パラメータに基
づいて、ベースバンドビデオデータを符号化し、履歴符
号化装置１０７から供給される履歴情報を含むuser_dat
aを多重化し、出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ストリーム伝送装
置および方法、並びに提供媒体に関し、特に、動画像信
号を、例えば光磁気ディスクや磁気テープなどの記録媒
体に記録し、これを再生して、ステレオ視が可能なディ
スプレイなどに表示したり、テレビ会議システム、テレ
ビ電話システム、放送用機器など、動画像信号を伝送路
を介して送信側から受信側に伝送し、受信側において、
これを受信して表示する場合などに用いて好適なストリ
ーム伝送装置および方法、並びに提供媒体に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号が圧縮符号化される。

【０００３】画像信号が圧縮符号化される場合、生成さ
れるビットストリームが、所定のビットレートになるよ
うに符号化が行われる。しかしながら、実運用上におい
て、伝送路の都合により、ビットストリームのビットレ
ートを変換する必要が生じることがある。このような場
合、図１に示すようなトランスコーダ１３１により、符
号化されている情報を一旦復号し、ビットレートが所定
の値になるように、再び符号化する方法が一般的であ
る。図１の例の場合、１０Mbpsで送られてきたビットス
トリームが、復号装置１３２により復号され、デジタル
ビデオ信号として符号化装置１３３に供給され、符号化
装置１３３により、ビットレートが５Mbpsであるビット
ストリームに符号化されて出力される。

【０００４】

【発明が解決しようとする課題】このように映像信号を
再符号化する場合、符号化装置１３３には、図２に示す
ように、映像信号のライン相関やフレーム間相関を検出
する動き検出部１３４が符号化部１３５の前段に必要と
なり、符号化装置１３３の規模が大きくなる課題があっ
た。

【０００５】また、例えば放送局においては、映像の編
集が秒単位で行われるので、フレームの画像情報が他の
フレームの画像情報と独立しているほうがよい。そこ
で、図３に示すように、低いビットレート（３乃至９Mb
ps）で転送しても画質が劣化しないように、相関関係を
有するフレームの集合であるGOP(Group of Picture)を
構成するフレーム数が多いLong GOPの符号化装置１３３
−１から出力されたビットストリームは、復号装置１３
２−１、符号化装置１３３−２、復号装置１３２−２、
符号化装置１３３−３などを有する放送局の復号装置１
３２−１と符号化装置１３３−２により、GOPを構成す
るフレーム数が少ないShort GOPに変換されて、高ビッ
トレート（１８乃至５０Mbps）で伝送され、編集終了
後、復号装置１３２−２と符号化装置１３３−３によ
り、再度Long GOPに変換されて、後段の復号装置１３２
−３に出力される。このように、画像情報に符号化、復
号が繰り返されると、符号化の度に使用される符号化パ
ラメータが変化するので画像情報が劣化する課題があっ
た。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、過去に演算した動きベクトルを用いて再符
号化を行うことにより、装置の規模を小さくするととも
に、再符号化に伴う画像の劣化を抑制することを、少な
いデータ量で可能とするものである。

【０００７】

【課題を解決するための手段】請求項１に記載のストリ
ーム伝送装置は、過去の符号化処理において使用された
複数の符号化パラメータから所定の符号化パラメータを
選択的に組み合わせる組み合わせ手段と、組み合わせ手
段により組み合わされた符号化パラメータの履歴を表す
符号化履歴情報を生成する生成手段と、生成手段により
生成された符号化履歴情報を、符号化ストリームに重乗
してメディアに伝送する伝送手段とを含むことを特徴と
する。

【０００８】請求項４に記載のストリーム伝送方法は、
過去の符号化処理において使用された複数の符号化パラ
メータから所定の符号化パラメータを選択的に組み合わ
せる組み合わせステップと、組み合わせステップの処理
により組み合わされた符号化パラメータの履歴を表す符
号化履歴情報を生成する生成ステップと、生成ステップ
の処理により生成された符号化履歴情報を、符号化スト
リームに重乗してメディアに伝送する伝送ステップとを
含むことを特徴とする。

【０００９】請求項５に記載の提供媒体は、複数の符号
化パラメータから所定のメディアを介して符号化ストリ
ームを伝送するストリーム伝送装置に、過去の符号化処
理において使用された複数の符号化パラメータから所定
の符号化パラメータを選択的に組み合わせる組み合わせ
ステップと、組み合わせステップの処理により組み合わ
された符号化パラメータの履歴を表す符号化履歴情報を
生成する生成ステップと、生成ステップの処理により生
成された符号化履歴情報を、符号化ストリームに重乗し
てメディアに伝送する伝送ステップとを含む処理を実行
させるコンピュータが読み取り可能なプログラムを提供
することを特徴とする提供媒体。

【００１０】請求項１に記載のストリーム伝送装置、請
求項４に記載のストリーム伝送方法、および請求項５に
記載の提供媒体においては、過去の符号化処理において
使用された複数の符号化パラメータから所定の符号化パ
ラメータが選択的に組み合わされ、組み合わされた符号
化パラメータの符号化履歴情報が生成され、符号化スト
リームに重乗され、伝送される。

【００１１】

【発明の実施の形態】本発明を適用したトランスコーダ
について説明する前に、動画像信号の圧縮符号化につい
て説明する。なお、本明細書においてシステムの用語
は、複数の装置、手段などにより構成される全体的な装
置を意味するものである。

【００１２】例えば、テレビ会議システム、テレビ電話
システムなどのように、動画像信号を遠隔地に伝送する
システムにおいては、伝送路を効率良く利用するため、
映像信号のライン相関やフレーム間相関を利用して、画
像信号を圧縮符号化するようになされている。

【００１３】ライン相関を利用すると、画像信号を、例
えばDCT（離散コサイン変換）処理するなどして圧縮す
ることができる。

【００１４】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図４に示すように、時刻ｔ１乃至ｔ３において、フ
レーム画像ＰＣ１乃至ＰＣ３がそれぞれ発生している場
合、フレーム画像ＰＣ１およびＰＣ２の画像信号の差を
演算して、ＰＣ１２を生成し、また、フレーム画像ＰＣ
２およびＰＣ３の差を演算して、ＰＣ２３を生成する。
通常、時間的に隣接するフレームの画像は、それ程大き
な変化を有していないため、両者の差を演算すると、そ
の差分信号は小さな値のものとなる。そこで、この差分
信号を符号化すれば、符号量を圧縮することができる。

【００１５】しかしながら、差分信号のみを伝送したの
では、元の画像を復元することができない。そこで、各
フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピ
クチャの３種類のピクチャタイプのいずれかとし、画像
信号を圧縮符号化するようにしている。

【００１６】すなわち、例えば図５に示すように、フレ
ームＦ１乃至Ｆ１７までの１７フレームの画像信号をグ
ループオブピクチャ(GOP)とし、処理の１単位とする。
そして、その先頭のフレームＦ１の画像信号はＩピクチ
ャとして符号化し、第２番目のフレームＦ２はＢピクチ
ャとして、また第３番目のフレームＦ３はＰピクチャと
して、それぞれ処理する。以下、第４番目以降のフレー
ムＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとし
て交互に処理する。

【００１７】Ｉピクチャの画像信号としては、その１フ
レーム分の画像信号をそのまま伝送する。これに対し
て、Ｐピクチャの画像信号としては、基本的には、図５
に示すように、それより時間的に先行するＩピクチャま
たはＰピクチャの画像信号からの差分を伝送する。さら
にＢピクチャの画像信号としては、基本的には、図６に
示すように、時間的に先行するフレームまたは後行する
フレームの両方の平均値からの差分を求め、その差分を
符号化する。

【００１８】図７は、このようにして、動画像信号を符
号化する方法の原理を示している。同図に示すように、
最初のフレームＦ１は、Ｉピクチャとして処理されるた
め、そのまま伝送データＦ１Ｘとして伝送路に伝送され
る（画像内符号化）。これに対して、第２のフレームＦ
２は、Ｂピクチャとして処理されるため、時間的に先行
するフレームＦ１と、時間的に後行するフレームＦ３の
平均値との差分が演算され、その差分が伝送データＦ２
Ｘとして伝送される。

【００１９】ただし、このＢピクチャとしての処理は、
さらに細かく説明すると、４種類存在する。その第１の
処理は、元のフレームＦ２のデータをそのまま伝送デー
タＦ２Ｘとして伝送するものであり（ＳＰ１）（イント
ラ符号化）、Ｉピクチャにおける場合と同様の処理とな
る。第２の処理は、時間的に後のフレームＦ３からの差
分を演算し、その差分（ＳＰ２）を伝送するものである
（後方予測符号化）。第３の処理は、時間的に先行する
フレームＦ１との差分（ＳＰ３）を伝送するものである
（前方予測符号化）。さらに第４の処理は、時間的に先
行するフレームＦ１と後行するフレームＦ３の平均値と
の差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘと
して伝送するものである（両方向予測符号化）。

【００２０】実際には、上述した４つの方法のうちの伝
送データが最も少なくなる方法が採用される。

【００２１】なお、差分データを伝送するとき、差分を
演算する対象となるフレームの画像（参照画像）との間
の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベ
クトル）（前方予測の場合）、もしくはｘ２（フレーム
Ｆ３とＦ２の間の動きベクトル）（後方予測の場合）、
またはｘ１とｘ２の両方（両方向予測の場合）が、差分
データとともに伝送される。

【００２２】また、ＰピクチャのフレームＦ３は、時間
的に先行するフレームＦ１を予測画像として、このフレ
ームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演
算され、これが伝送データＦ３Ｘとして伝送される（前
方予測符号化）。あるいはまた、元のフレームＦ３のデ
ータが、そのままデータＦ３Ｘとして伝送される（ＳＰ
１）（イントラ符号化）。これらの方法のうち、Ｂピク
チャにおける場合と同様に、伝送データがより少なくな
る方法が選択される。

【００２３】図８は、上述した原理に基づいて、動画像
信号を符号化して伝送し、これを復号化する装置の構成
例を示している。符号化装置１は、入力された映像信号
を符号化し、伝送路としての記録媒体３に伝送するよう
になされている。そして、復号装置２は、記録媒体３に
記録された信号を再生し、これを復号して出力するよう
になされている。

【００２４】符号化装置１においては、入力された映像
信号が前処理回路１１に入力され、そこで輝度信号と色
信号（本実施の形態の場合、色差信号）が分離され、そ
れぞれA/D変換器１２，１３でアナログ信号からデジタ
ル信号に変換される。A/D変換器１２，１３によりデジ
タル信号に変換された映像信号は、フレームメモリ１４
に供給され、記憶される。フレームメモリ１４は、輝度
信号を輝度信号フレームメモリ１５に、また、色差信号
を色差信号フレームメモリ１６に、それぞれ記憶させ
る。

【００２５】フォーマット変換回路１７は、フレームメ
モリ１４に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。すなわち、図
９に示すように、フレームメモリ１４に記憶された映像
信号は、１ライン当りＨドットのラインがＶライン集め
られた、図９(A)に示すようなフレームフォーマットの
データとされている。フォーマット変換回路１７は、こ
の１フレームの信号を、図９(B)に示すように、１６ラ
インを単位としてＭ個のスライスに区分する。そして、
各スライスは、Ｍ個のマクロブロックに分割される。マ
クロブロックは、図９(C)に示すように、１６×１６個
の画素（ドット）に対応する輝度信号により構成され、
この輝度信号は、さらに８×８ドットを単位とするブロ
ックＹ［１］乃至Ｙ［４］に区分される。そして、この
１６×１６ドットの輝度信号には、８×８ドットのＣｂ
信号と、８×８ドットのＣｒ信号が対応される。

【００２６】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路１７からエンコ
ーダ１８に供給され、ここでエンコード（符号化）が行
われる。その詳細については、図１０を参照して後述す
る。

【００２７】エンコーダ１８によりエンコードされた信
号は、ビットストリームとして伝送路に出力される。例
えば記録回路１９に供給され、デジタル信号として記録
媒体３に記録される。

【００２８】再生回路３０により記録媒体３より再生さ
れたデータは、復号装置２のデコーダ３１に供給され、
デコードされる。デコーダ３１の詳細については、図１
５を参照して後述する。

【００２９】デコーダ３１によりデコードされたデータ
は、フォーマット変換回路３２に入力され、ブロックフ
ォーマットからフレームフォーマットに変換される。そ
して、フレームフォーマットの輝度信号は、フレームメ
モリ３３の輝度信号フレームメモリ３４に供給されて記
憶され、色差信号は色差信号フレームメモリ３５に供給
されて記憶される。輝度信号フレームメモリ３４と色差
信号フレームメモリ３５から読み出された輝度信号と色
差信号は、それぞれＤ／Ａ変換器３６，３７によりアナ
ログ信号に変換され、後処理回路３８に供給される。後
処理回路３８は、輝度信号と色差信号を合成して出力す
る。

【００３０】次に図１０を参照して、エンコーダ１８の
構成について説明する。符号化される画像データは、マ
クロブロック単位で動きベクトル検出回路５０に入力さ
れる。動きベクトル検出回路５０は、予め設定されてい
る所定のシーケンスに従って、各フレームの画像データ
を、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして
処理する。シーケンシャルに入力される各フレームの画
像を、Ｉ，Ｐ、またはＢのいずれのピクチャとして処理
するかは、予め定められている（例えば、図５と図６に
示したように、フレームＦ１乃至Ｆ１７により構成され
るグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・
・Ｂ，Ｐとして処理される）。

【００３１】Ｉピクチャとして処理されるフレーム（例
えば、フレームＦ１）の画像データは、動きベクトル検
出回路５０からフレームメモリ５１の前方原画像部５１
ａに転送、記憶され、Ｂピクチャとして処理されるフレ
ーム（例えば、フレームＦ２）の画像データは、原画像
部５１ｂに転送、記憶され、Ｐピクチャとして処理され
るフレーム（例えば、フレームＦ３）の画像データは、
後方原画像部５１ｃに転送、記憶される。

【００３２】また、次のタイミングにおいて、さらにＢ
ピクチャ（フレームＦ４）またはＰピクチャ（フレーム
Ｆ５）として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部５１ｃに記憶されていた最初
のＰピクチャ（フレームＦ３）の画像データが、前方原
画像部５１ａに転送され、次のＢピクチャ（フレームＦ
４）の画像データが、原画像部５１ｂに記憶（上書き）
され、次のＰピクチャ（フレームＦ５）の画像データ
が、後方原画像部５１ｃに記憶（上書き）される。この
ような動作が順次繰り返される。

【００３３】フレームメモリ５１に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り替え
回路５２において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。

【００３４】さらにまた、予測判定回路５４の制御の下
に、演算部５３において、画像内予測、前方予測、後方
予測、または両方向予測の演算が行なわれる。これらの
処理のうち、いずれの処理を行なうかは、予測誤差信号
（処理の対象とされている参照画像と、これに対する予
測画像との差分）に対応して決定される。このため、動
きベクトル検出回路５０は、この判定に用いられる予測
誤差信号の絶対値和（自乗和でもよい）を生成する。

【００３５】ここで、予測モード切り替え回路５２にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。

【００３６】フレーム予測モードが設定された場合にお
いては、予測モード切り替え回路５２は、動きベクトル
検出回路５０より供給される４個の輝度ブロックＹ
［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出
力する。すなわち、この場合においては、図１１に示す
ように、各輝度ブロックに奇数フィールドのラインのデ
ータと、偶数フィールドのラインのデータとが混在した
状態となっている。このフレーム予測モードにおいて
は、４個の輝度ブロック（マクロブロック）を単位とし
て予測が行われ、４個の輝度ブロックに対して１個の動
きベクトルが対応される。

【００３７】これに対して、予測モード切り替え回路５
２は、フィールド予測モードにおいては、図１１に示す
構成で動きベクトル検出回路５０より入力される信号
を、図１２に示すように、４個の輝度ブロックのうち、
輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィー
ルドのラインのドットだけで構成させ、他の２個の輝度
ブロックＹ［３］とＹ［４］を、偶数フィールドのライ
ンのドットだけで構成させて、演算部５３に出力する。
この場合においては、２個の輝度ブロックＹ［１］とＹ
［２］に対して、１個の動きベクトルが対応され、他の
２個の輝度ブロックＹ［３］とＹ［４］に対して、他の
１個の動きベクトルが対応される。

【００３８】動きベクトル検出回路５０は、フレーム予
測モードにおける予測誤差の絶対値和、およびフィール
ド予測モードにおける予測誤差の絶対値和を予測モード
切り替え回路５２に出力する。予測モード切り替え回路
５２は、フレーム予測モードとフィールド予測モードに
おける予測誤差の絶対値和を比較し、その値が小さい予
測モードに対応する処理を施して、データを演算部５３
に出力する。

【００３９】ただし、このような処理は、実際には動き
ベクトル検出回路５０で行われる。すなわち、動きベク
トル検出回路５０は、決定されたモードに対応する構成
の信号を予測モード切り替え回路５２に出力し、予測モ
ード切り替え回路５２は、その信号を、そのまま後段の
演算部５３に出力する。

【００４０】なお、色差信号は、フレーム予測モードの
場合、図１１に示すように、奇数フィールドのラインの
データと偶数フィールドのラインのデータとが混在する
状態で、演算部５３に供給される。また、フィールド予
測モードの場合、図１２に示すように、各色差ブロック
Ｃｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ
［１］，Ｙ［２］に対応する奇数フィールドの色差信号
とされ、下半分（４ライン）が、輝度ブロックＹ
［３］，Ｙ［４］に対応する偶数フィールドの色差信号
とされる。

【００４１】また、動きベクトル検出回路５０は、以下
に示すようにして、予測判定回路５４において、画像内
予測、前方予測、後方予測、または両方向予測のいずれ
の予測を行なうかを決定するための予測誤差の絶対値和
を生成する。

【００４２】すなわち、画像内予測の予測誤差の絶対値
和として、参照画像のマクロブロックの信号Ａijの総和
ΣＡijの絶対値｜ΣＡij｜と、マクロブロックの信号Ａ
ijの絶対値｜Ａij｜の総和Σ｜Ａij｜の差を求める。ま
た、前方予測の予測誤差の絶対値和として、参照画像の
マクロブロックの信号Ａijと、予測画像のマクロブロッ
クの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の
総和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方
向予測の予測誤差の絶対値和も、前方予測における場合
と同様に（その予測画像を前方予測における場合と異な
る予測画像に変更して）求める。

【００４３】これらの絶対値和は、予測判定回路５４に
供給される。予測判定回路５４は、前方予測、後方予測
および両方向予測の予測誤差の絶対値和のうちの最も小
さいものを、インタ予測の予測誤差の絶対値和として選
択する。さらに、このインタ予測の予測誤差の絶対値和
と、画像内予測の予測誤差の絶対値和とを比較し、その
小さい方を選択し、この選択した絶対値和に対応するモ
ードを予測モードとして選択する。すなわち、画像内予
測の予測誤差の絶対値和の方が小さければ、画像内予測
モードが設定される。インタ予測の予測誤差の絶対値和
の方が小さければ、前方予測、後方予測または両方向予
測モードのうちの対応する絶対値和が最も小さかったモ
ードが設定される。

【００４４】このように、動きベクトル検出回路５０
は、参照画像のマクロブロックの信号を、フレームまた
はフィールド予測モードのうち、予測モード切り替え回
路５２により選択されたモードに対応する構成で、予測
モード切り替え回路５２を介して演算部５３に供給する
とともに、４つの予測モードのうちの予測判定回路５４
により選択された予測モードに対応する予測画像と参照
画像の間の動きベクトルを検出し、可変長符号化回路５
８と動き補償回路６４に出力する。上述したように、こ
の動きベクトルとしては、対応する予測誤差の絶対値和
が最小となるものが選択される。

【００４５】予測判定回路５４は、動きベクトル検出回
路５０が前方原画像部５１ａよりＩピクチャの画像デー
タを読み出しているとき、予測モードとして、フレーム
またはフィールド（画像）内予測モード（動き補償を行
わないモード）を設定し、演算部５３のスイッチ５３ｄ
を接点ａ側に切り替える。これにより、Ｉピクチャの画
像データがDCTモード切り替え回路５５に入力される。

【００４６】DCTモード切り替え回路５５は、図１３ま
たは図１４に示すように、４個の輝度ブロックのデータ
を、奇数フィールドのラインと偶数フィールドのライン
が混在する状態（フレームDCTモード）、または、分離
された状態（フィールドDCTモード）、のいずれかの状
態にして、DCT回路５６に出力する。

【００４７】すなわち、DCTモード切り替え回路５５
は、奇数フィールドと偶数フィールドのデータを混在し
てDCT処理した場合における符号化効率と、分離した状
態においてDCT処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。

【００４８】例えば、入力された信号を、図１３に示す
ように、奇数フィールドと偶数フィールドのラインが混
在する構成とし、上下に隣接する奇数フィールドのライ
ンの信号と偶数フィールドのラインの信号の差を演算
し、さらにその絶対値の和（または自乗和）を求める。

【００４９】また、入力された信号を、図１４に示すよ
うに、奇数フィールドと偶数フィールドのラインが分離
した構成とし、上下に隣接する奇数フィールドのライン
同士の信号の差と、偶数フィールドのライン同士の信号
の差を演算し、それぞれの絶対値の和（または自乗和）
を求める。

【００５０】さらに、両者（絶対値和）を比較し、小さ
い値に対応するDCTモードを設定する。すなわち、前者
の方が小さければ、フレームDCTモードを設定し、後者
の方が小さければ、フィールドDCTモードを設定する。

【００５１】そして、選択したDCTモードに対応する構
成のデータをDCT回路５６に出力するとともに、選択し
たDCTモードを示すDCTフラグを、可変長符号化回路５
８、および動き補償回路６４に出力する。

【００５２】予測モード切り替え回路５２における予測
モード（図１１と図１２）と、このDCTモード切り替え
回路５５におけるDCTモード（図１３と図１４）を比較
して明らかなように、輝度ブロックに関しては、両者の
各モードにおけるデータ構造は実質的に同一である。

【００５３】予測モード切り替え回路５２において、フ
レーム予測モード（奇数ラインと偶数ラインが混在する
モード）が選択された場合、DCTモード切り替え回路５
５においても、フレームDCTモード（奇数ラインと偶数
ラインが混在するモード）が選択される可能性が高く、
また予測モード切り替え回路５２において、フィールド
予測モード（奇数フィールドと偶数フィールドのデータ
が分離されたモード）が選択された場合、DCTモード切
り替え回路５５において、フィールドDCTモード（奇数
フィールドと偶数フィールドのデータが分離されたモー
ド）が選択される可能性が高い。

【００５４】しかしながら、必ずしも常にこのようにモ
ードが選択されるわけではなく、予測モード切り替え回
路５２においては、予測誤差の絶対値和が小さくなるよ
うにモードが決定され、DCTモード切り替え回路５５に
おいては、符号化効率が良好となるようにモードが決定
される。

【００５５】DCTモード切り替え回路５５より出力され
たＩピクチャの画像データは、DCT回路５６に入力され
てDCT処理され、DCT係数に変換される。このDCT係数
は、量子化回路５７に入力され、送信バッファ５９のデ
ータ蓄積量（バッファ蓄積量）に対応した量子化スケー
ルで量子化された後、可変長符号化回路５８に入力され
る。

【００５６】可変長符号化回路５８は、量子化回路５７
より供給される量子化スケール（スケール）に対応し
て、量子化回路５７より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファ５９に出力す
る。

【００５７】可変長符号化回路５８にはまた、量子化回
路５７より量子化スケール（スケール）、予測判定回路
５４より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）、動きベクトル検出回路５０より動きベクトル、
予測モード切り替え回路５２より予測フラグ（フレーム
予測モードまたはフィールド予測モードのいずれが設定
されたかを示すフラグ）、およびDCTモード切り替え回
路５５が出力するDCTフラグ（フレームDCTモードまたは
フィールドDCTモードのいずれが設定されたかを示すフ
ラグ）が入力されており、これらも可変長符号化され
る。

【００５８】送信バッファ５９は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路５７
に出力する。送信バッファ５９は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路５７の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ５９は、量子化制御信号によって量子化回路５７
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ５９のオーバフローまたはアンダフローが防止され
る。

【００５９】そして、送信バッファ５９に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
され、例えば記録回路１９を介して記録媒体３に記録さ
れる。

【００６０】一方、量子化回路５７より出力されたＩピ
クチャのデータは、逆量子化回路６０に入力され、量子
化回路５７より供給される量子化スケールに対応して逆
量子化される。逆量子化回路６０の出力は、IDCT（逆離
散コサイン変換）回路６１に入力され、逆離散コサイン
変換処理された後、演算器６２を介してフレームメモリ
６３の前方予測画像部６３ａ供給されて記憶される。

【００６１】動きベクトル検出回路５０は、シーケンシ
ャルに入力される各フレームの画像データを、たとえ
ば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそ
れぞれ処理する場合、最初に入力されたフレームの画像
データをＩピクチャとして処理した後、次に入力された
フレームの画像をＢピクチャとして処理する前に、さら
にその次に入力されたフレームの画像データをＰピクチ
ャとして処理する。Ｂピクチャは、後方予測を伴うた
め、後方予測画像としてのＰピクチャが先に用意されて
いないと、復号することができないからである。

【００６２】そこで動きベクトル検出回路５０は、Ｉピ
クチャの処理の次に、後方原画像部５１ｃに記憶されて
いるＰピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間差分（予測誤差）の絶対値和が、動きベクトル
検出回路５０から予測モード切り替え回路５２と予測判
定回路５４に供給される。予測モード切り替え回路５２
と予測判定回路５４は、このＰピクチャのマクロブロッ
クの予測誤差の絶対値和に対応して、フレーム／フィー
ルド予測モード、または画像内予測、前方予測、後方予
測、もしくは両方向予測の予測モードを設定する。

【００６３】演算部５３は、画像内予測モードが設定さ
れたとき、スイッチ５３ｄを上述したように接点ａ側に
切り替える。したがって、このデータは、Ｉピクチャの
データと同様に、DCTモード切り替え回路５５、DCT回路
５６、量子化回路５７、可変長符号化回路５８、および
送信バッファ５９を介して伝送路に伝送される。また、
このデータは、逆量子化回路６０、IDCT回路６１、およ
び演算器６２を介してフレームメモリ６３の後方予測画
像部６３ｂに供給されて記憶される。

【００６４】また、前方予測モードが設定された場合、
スイッチ５３ｄが接点ｂに切り替えられるとともに、フ
レームメモリ６３の前方予測画像部６３ａに記憶されて
いる画像（いまの場合、Ｉピクチャの画像）データが読
み出され、動き補償回路６４により、動きベクトル検出
回路５０が出力する動きベクトルに対応して動き補償さ
れる。すなわち、動き補償回路６４は、予測判定回路５
４より前方予測モードの設定が指令されたとき、前方予
測画像部６３ａの読み出しアドレスを、動きベクトル検
出回路５０が、現在、出力しているマクロブロックの位
置に対応する位置から動きベクトルに対応する分だけず
らしてデータを読み出し、予測画像データを生成する。

【００６５】動き補償回路６４より出力された予測画像
データは、演算器５３ａに供給される。演算器５３ａ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６５よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分（予測誤差）を出力する。こ
の差分データは、DCTモード切り替え回路５５、DCT回路
５６、量子化回路５７、可変長符号化回路５８、および
送信バッファ５９を介して伝送路に伝送される。また、
この差分データは、逆量子化回路６０、およびIDCT回路
６１により局所的に復号され、演算器６２に入力され
る。

【００６６】この演算器６２にはまた、演算器５３ａに
供給されている予測画像データと同一のデータが供給さ
れている。演算器６２は、IDCT回路６１が出力する差分
データに、動き補償回路６４が出力する予測画像データ
を加算する。これにより、元の（復号した）Ｐピクチャ
の画像データが得られる。このＰピクチャの画像データ
は、フレームメモリ６３の後方予測画像部６３ｂに供給
されて記憶される。

【００６７】動きベクトル検出回路５０は、このよう
に、ＩピクチャとＰピクチャのデータが前方予測画像部
６３ａと後方予測画像部６３ｂにそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測モード切り
替え回路５２と予測判定回路５４は、マクロブロック単
位でのフレーム間差分の絶対値和の大きさに対応して、
フレーム／フィールドモードを設定し、また、予測モー
ドを画像内予測モード、前方予測モード、後方予測モー
ド、または両方向予測モードのいずれかに設定する。

【００６８】上述したように、画像内予測モードまたは
前方予測モードの時、スイッチ５３ｄは接点ａまたはｂ
に切り替えられる。このとき、Ｐピクチャにおける場合
と同様の処理が行われ、データが伝送される。

【００６９】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ５３ｄは、接点
ｃまたはｄにそれぞれ切り替えられる。

【００７０】スイッチ５３ｄが接点ｃに切り替えられて
いる後方予測モードの時、後方予測画像部６３ｂに記憶
されている画像（いまの場合、Ｐピクチャの画像）デー
タが読み出され、動き補償回路６４により、動きベクト
ル検出回路５０が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路６４は、予測判定
回路５４より後方予測モードの設定が指令されたとき、
後方予測画像部６３ｂの読み出しアドレスを、動きベク
トル検出回路５０が、現在、出力しているマクロブロッ
クの位置に対応する位置から動きベクトルに対応する分
だけずらしてデータを読み出し、予測画像データを生成
する。

【００７１】動き補償回路６４より出力された予測画像
データは、演算器５３ｂに供給される。演算器５３ｂ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、DCTモード切り替え回路５
５、DCT回路５６、量子化回路５７、可変長符号化回路
５８、および送信バッファ５９を介して伝送路に伝送さ
れる。

【００７２】スイッチ５３ｄが接点ｄに切り替えられて
いる両方向予測モードの時、前方予測画像部６３ａに記
憶されている画像（いまの場合、Ｉピクチャの画像）デ
ータと、後方予測画像部６３ｂに記憶されている画像
（いまの場合、Ｐピクチャの画像）データが読み出さ
れ、動き補償回路６４により、動きベクトル検出回路５
０が出力する動きベクトルに対応して動き補償される。

【００７３】すなわち、動き補償回路６４は、予測判定
回路５４より両方向予測モードの設定が指令されたと
き、前方予測画像部６３ａと後方予測画像部６３ｂの読
み出しアドレスを、動きベクトル検出回路５０がいま出
力しているマクロブロックの位置に対応する位置から動
きベクトル（この場合の動きベクトルは、前方予測画像
用と後方予測画像用の２つとなる）に対応する分だけず
らしてデータを読み出し、予測画像データを生成する。

【００７４】動き補償回路６４より出力された予測画像
データは、演算器５３ｃに供給される。演算器５３ｃ
は、動きベクトル検出回路５０より供給された参照画像
のマクロブロックのデータから、動き補償回路６４より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、DCTモード切り替え回
路５５、DCT回路５６、量子化回路５７、可変長符号化
回路５８、および送信バッファ５９を介して伝送路に伝
送される。

【００７５】Ｂピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ６３には記憶
されない。

【００７６】なお、フレームメモリ６３において、前方
予測画像部６３ａと後方予測画像部６３ｂは、必要に応
じてバンク切り替えが行われ、所定の参照画像に対し
て、一方または他方に記憶されているものを、前方予測
画像あるいは後方予測画像として切り替えて出力するこ
とができる。

【００７７】上述した説明においては、輝度ブロックを
中心として説明をしたが、色差ブロックについても同様
に、図１１乃至図１４に示すマクロブロックを単位とし
て処理されて伝送される。なお、色差ブロックを処理す
る場合の動きベクトルは、対応する輝度ブロックの動き
ベクトルを垂直方向と水平方向に、それぞれ１／２にし
たものが用いられる。

【００７８】図１５は、図８のデコーダ３１の構成を示
すブロック図である。伝送路（記録媒体３）を介して伝
送された符号化された画像データは、図示せぬ受信回路
で受信されたり、再生装置で再生され、受信バッファ８
１に一時記憶された後、復号回路９０の可変長復号化回
路８２に供給される。可変長復号化回路８２は、受信バ
ッファ８１より供給されたデータを可変長復号化し、動
きベクトル、予測モード、予測フラグ、およびDCTフラ
グを動き補償回路８７に出力し、量子化スケールを逆量
子化回路８３に出力するとともに、復号された画像デー
タを逆量子化回路８３に出力する。

【００７９】逆量子化回路８３は、可変長復号化回路８
２より供給された画像データを、同じく可変長復号化回
路８２より供給された量子化スケールに従って逆量子化
し、IDCT回路８４に出力する。逆量子化回路８３より出
力されたデータ（DCT係数）は、IDCT回路８４により、
逆離散コサイン変換処理が施され、演算器８５に供給さ
れる。

【００８０】IDCT回路８４より演算器８５に供給された
画像データが、Ｉピクチャのデータである場合、そのデ
ータは演算器８５より出力され、演算器８５に後に入力
される画像データ（ＰまたはＢピクチャのデータ）の予
測画像データ生成のために、フレームメモリ８６の前方
予測画像部８６ａに供給されて記憶される。また、この
データは、フォーマット変換回路３２（図８）に出力さ
れる。

【００８１】IDCT回路８４より供給された画像データ
が、その１フレーム前の画像データを予測画像データと
するＰピクチャのデータであり、前方予測モードのデー
タである場合、フレームメモリ８６の前方予測画像部８
６ａに記憶されている、１フレーム前の画像データ（Ｉ
ピクチャのデータ）が読み出され、動き補償回路８７で
可変長復号化回路８２より出力された動きベクトルに対
応する動き補償が施される。そして、演算器８５におい
て、IDCT回路８４より供給された画像データ（差分のデ
ータ）と加算され、出力される。この加算されたデー
タ、すなわち、復号されたＰピクチャのデータは、演算
器８５に後に入力される画像データ（Ｂピクチャまたは
Ｐピクチャのデータ）の予測画像データ生成のために、
フレームメモリ８６の後方予測画像部８６ｂに供給され
て記憶される。

【００８２】Ｐピクチャのデータであっても、画像内予
測モードのデータは、Ｉピクチャのデータと同様に、演
算器８５において処理は行われず、そのまま後方予測画
像部８６ｂに記憶される。

【００８３】このＰピクチャは、次のＢピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路３２へ出力されない（上述したよう
に、Ｂピクチャの後に入力されたＰピクチャが、Ｂピク
チャより先に処理され、伝送されている）。

【００８４】IDCT回路８４より供給された画像データ
が、Ｂピクチャのデータである場合、可変長復号化回路
８２より供給された予測モードに対応して、フレームメ
モリ８６の前方予測画像部８６ａに記憶されているＩピ
クチャの画像データ（前方予測モードの場合）、後方予
測画像部８６ｂに記憶されているＰピクチャの画像デー
タ（後方予測モードの場合）、または、その両方の画像
データ（両方向予測モードの場合）が読み出され、動き
補償回路８７において、可変長復号化回路８２より出力
された動きベクトルに対応する動き補償が施されて、予
測画像が生成される。但し、動き補償を必要としない場
合（画像内予測モードの場合）、予測画像は生成されな
い。

【００８５】このようにして、動き補償回路８７で動き
補償が施されたデータは、演算器８５において、IDCT回
路８４の出力と加算される。この加算出力は、フォーマ
ット変換回路３２に出力される。

【００８６】ただし、この加算出力はＢピクチャのデー
タであり、他の画像の予測画像生成のために利用される
ことがないため、フレームメモリ８６には記憶されな
い。

【００８７】Ｂピクチャの画像が出力された後、後方予
測画像部８６ｂに記憶されているＰピクチャの画像デー
タが読み出され、動き補償回路８７を介して演算器８５
に供給される。但し、このとき、動き補償は行われな
い。

【００８８】なお、このデコーダ３１には、図８のエン
コーダ１８における予測モード切り替え回路５２とDCT
モード切り替え回路５５に対応する回路が図示されてい
ないが、これらの回路に対応する処理、すなわち、奇数
フィールドと偶数フィールドのラインの信号が分離され
た構成を元の構成に必要に応じて戻す処理は、動き補償
回路８７により実行される。

【００８９】また、上述した説明においては、輝度信号
の処理について説明したが、色差信号の処理も同様に行
われる。ただし、この場合の動きベクトルは、輝度信号
用の動きベクトルを、垂直方向および水平方向に１／２
にしたものが用いられる。

【００９０】図１６は、符号化された画像の品質を示し
ている。画像の品質(SNR:Signal toNoise Ratio)は、ピ
クチャタイプに対応して制御され、Ｉピクチャ、および
Ｐピクチャは高品質とされ、Ｂピクチャは、Ｉ，Ｐピク
チャに比べて劣る品質とされて伝送される。これは、人
間の視覚特性を利用した手法であり、全ての画像品質を
平均化するよりも、品質を振動させたほうが視覚上の画
質が良くなるためである。このピクチャタイプに対応し
た画質の制御は、図１０の量子化回路５７により実行さ
れる。

【００９１】図１７は、本発明を適用したトランスコー
ダ１０１の構成を示しており、図１８は、そのさらに詳
細な構成を示している。復号装置１０２は、所定のビッ
トレート（この例の場合、10Mbps）のビットストリーム
に含まれる（多重化されている）符号化された画像信号
を、ビットストリームに含まれる（多重化されている）
そのビットストリームの現符号化パラメータ（フレーム
／フィールドDCTフラグ、フレーム／フィールド予測フ
ラグ、予測モード、ピクチャタイプ、動きベクトル、マ
クロブロック情報、および量子化スケール）を用いて復
号し、符号化パラメータ多重装置１０３に出力するとと
もに、現符号化パラメータも符号化パラメータ多重装置
１０３に出力するようになされている。

【００９２】復号装置１０２はまた、ビットストリーム
に含まれるユーザデータを復号、分離し、履歴復号装置
１０４に出力する。その詳細は後述するが、このユーザ
データには、直近の３世代分の符号化パラメータで構成
される世代履歴情報が含まれている。これに対して、現
符号化パラメータは、例えばgroup_of_pictures_header
(1)，extension_and_user_data(1)，picture_heade
r()，picture_coding_extension()，extensions_data
(2)，picture_data()、または、sequence_extension()
に含まれている（後述する図４１）。履歴復号装置１０
４は、入力されたユーザデータを復号し、３世代分の符
号化パラメータを含む世代履歴情報を符号化パラメータ
多重装置１０３に出力する。

【００９３】なお、復号装置１０２は、図８の復号装置
２のデコーダ３１（図１５）を図１９に示すデコーダ１
１１に変更したものである。デコーダ１１１の可変長復
号化回路１１２は、現符号化パラメータをビットストリ
ームから抽出し、所定の回路に供給するとともに、世代
履歴情報を含むユーザデータを抽出し、履歴復号装置１
０４に出力するようになされている。デコーダ１１１の
その他の構成は、デコーダ３１と同様であるので、その
説明は省略する。

【００９４】符号化パラメータ多重装置１０３は、復号
された画像データの空き領域（その詳細は、図２１を参
照して説明する）に４世代分の符号化パラメータを書き
込み（多重化し）、ベースバンドのデジタルビデオ信号
として、粗結合された（符号化パラメータ伝送用の専用
バス等が設けられていない）符号化パラメータ分離装置
１０５に出力する。符号化パラメータ分離装置１０５
は、ベースバンドのデジタルビデオ信号から、画像デー
タと、符号化装置１０６で符号化に用いる符号化パラメ
ータを分離して符号化装置１０６に供給するようになさ
れている。

【００９５】符号化パラメータ分離装置１０５はまた、
入力されたベースバンドのデジタルビデオ信号から、符
号化装置１０６で用いる符号化パラメータを除く３世代
分の符号化パラメータを抽出し、履歴符号化装置１０７
に出力する。履歴符号化装置１０７は、入力された３世
代分の符号化パラメータをユーザデータに書き込み、そ
のユーザデータを符号化装置１０６に出力する。

【００９６】符号パラメータが書き込まれる画像データ
のフォーマットについて、図２０と図２１を参照して説
明する。１個のマクロブロックは、図２０に示すよう
に、１６×１６（＝２５６）画素で構成される。この１
６×１６画素のデータは、８×８画素の輝度信号の４個
のブロックと、８×８画素の色差信号の４個のブロック
（２個のCbブロックと２個のCrブロック）から構成され
ている。図２１は、このうちの、４画素分の輝度データ
Y[0][x]乃至Y[3][x]、２画素分の色差データCr[0][x]，
Cr[1][x]、および２画素分の色差データCb[0][x]，Cb
[1][x]（x＝０乃至９）を伝送するフォーマットを表し
ている。従って、図２０に示す２５６画素のマクロブロ
ックのデータは、図２１に示すフォーマットを６４個
（＝２５６／４）用意することで伝送される。

【００９７】実際の１画素分の輝度データ、および１画
素分の色差データは、いずれも８ビットのデータとされ
ている。しかしながら、図２１の画像データの伝送フォ
ーマットとしては、１画素あたり、１０ビット分の容量
（Ｄ０乃至Ｄ９）が設けられているので、２画素分の領
域（Ｄ０，Ｄ１）が不要となる。図２１のフォーマット
全体では１６ビット（＝２×８）分の空き容量が存在す
るので、１マクロブロックでは、１０２４ビット（１６
ビット×６４個）の情報が記録できるので、この１０２
４ビット分の領域に本来の画像データ以外の符号化パラ
メータを書き込む。なお、１個のマクロブロックに対応
する符号化パラメータは、２５６ビットの情報量がある
ので、この領域には、過去４回の符号化に使用された符
号化パラメータを記録することができる。

【００９８】このように、符号化パラメータ多重装置１
０３から符号化パラメータ分離装置１０５に伝送される
画像データ（デジタルビデオ信号）には、輝度信号Ｙ、
色差信号Ｃｒ，Ｃｂを記載する領域として、１０画素分
（Ｄ０乃至Ｄ９）の領域が設けられている。しかしなが
ら実際に輝度信号Ｙ等が書き込まれる領域は、Ｄ２乃至
Ｄ９の８画素分の領域であり、Ｄ０，Ｄ１の領域は利用
されない。そこで、この２ビットの領域を符号化パラメ
ータの書き込み用領域として利用する。これにより、図
２０の１６×１６画素の所定の位置の画素の下位２ビッ
トに、符号化パラメータが書き込まれることとなる。

【００９９】符号化パラメータ多重装置１０３におい
て、符号化パラメータが書き込まれる画像データのフォ
ーマットについて、図２０と図２１を参照して説明す
る。１個のマクロブロックは、図２０に示すように、１
６×１６画素で構成される。この１６×１６画素のデー
タは、８×８画素の輝度信号Y[0][x]乃至Y[3][x]と、８
×８画素の色差信号Cr[0][x]，Cr[1][x]およびCb[0]
[x]，Cb[1][x]（x＝２乃至９）から構成されている。例
えば、輝度信号Y[0][9]は、８×８画素の１行目の画素
（８画素）の輝度信号を示している。１画素当たりの輝
度信号の情報量は８ビットなので、輝度信号Y[0][9]の
情報量は、８（画素）×８（ビット）＝６４ビットとな
る。色差信号についても同様である。

【０１００】これに対して、画像データのフォーマット
は、図２１に示すように、１０行分の領域（Ｄ０乃至Ｄ
９）が設けられているので、２行分の領域（Ｄ０，Ｄ
１）が不要となる。この空き領域には、６４ビット×１
６＝１０２４ビットの情報が記録できるので、この２行
分の領域に本来の画像データ以外の符号化パラメータが
書き込まれる。なお、１個のマクロブロックに対応する
符号化パラメータは、２５６ビットの情報量があるの
で、この領域には、過去４回の符号化に使用された符号
化パラメータを記録することができる。

【０１０１】符号化パラメータ多重装置１０３から符号
化パラメータ分離装置１０５に伝送される画像データ
（デジタルビデオ信号）には、輝度信号Ｙ、色差信号Ｃ
ｒ，Ｃｂを記載する領域として、１０行分（Ｄ０乃至Ｄ
９）の領域が設けられている。しかしながら実際に輝度
信号Ｙ等が書き込まれる領域は、Ｄ２乃至Ｄ９の８行分
の領域であり、Ｄ０，Ｄ１の領域は利用されない。そこ
で、この２行の領域を符号化パラメータの書き込み用領
域として利用する。これにより、図２０の１６×１６画
素の所定の位置の画素の下位２ビットに、符号化パラメ
ータが書き込まれることとなる。

【０１０２】符号化装置１０６は、これから行う符号化
のための符号化パラメータとして供給された現符号化パ
ラメータを利用して画像データを符号化するとともに、
履歴符号化装置１０７から供給されるユーザデータをビ
ットストリームに多重化して、所定のビットレート（こ
の例の場合、5Mbps）でSDTI(Serial Data Transfer Int
erface)１０８−ｉ（ｉ＝１，２，・・・，Ｎ）（後述
する図３３）に出力するようになされている。

【０１０３】なお、符号化装置１０６は、図８の符号化
装置１のエンコーダ１８（図１０）を図２２に示すエン
コーダ１２１に変更したものである。エンコーダ１２１
は、エンコーダ１８から符号化パラメータを生成する動
きベクトル検出回路５０、フレームメモリ５１、予測モ
ード切り替え回路５２、予測判定回路５４、およびDCT
モード切り替え回路５５を削除し、履歴符号化装置１０
７の出力するユーザデータを可変長符号化回路５８で可
変長符号化するようにしたものである。エンコーダ１２
１のその他の構成は、エンコーダ１８と同様であるの
で、その説明は省略する。

【０１０４】次に、図１８における履歴復号装置１０４
と履歴符号化装置１０７についてさらに説明する。同図
に示すように、履歴復号装置１０４は、復号装置１０２
より供給されるユーザデータをデコードするユーザデー
タデコーダ２０１、ユーザデータデコーダ２０１の出力
を変換するコンバータ２０２、およびコンバータ２０２
の出力から履歴情報を再生するヒストリデコーダ２０３
により構成されている。

【０１０５】また、履歴符号化装置１０７は、符号化パ
ラメータ分離装置１０５より供給される３世代分の符号
化パラメータをフォーマット化するヒストリフォーマッ
タ２１１、ヒストリフォーマッタ２１１の出力を変換す
るコンバータ２１２、コンバータ２１２の出力をユーザ
データのフォーマットにフォーマットするユーザデータ
フォーマッタ２１３により構成されている。

【０１０６】ユーザデータデコーダ２０１は、復号装置
１０２より供給されるユーザデータをデコードして、コ
ンバータ２０２に出力する。詳細は図５４を参照して後
述するが、ユーザデータ（user_data()）は、user_data
_start_codeとuser_dataからなり、MPEG規格においては
user_dataの中に、連続する２３ビットの”０”（start
_codeと同一のコード）を発生させることを禁止してい
る。これは、そのデータが、start_codeとして誤検出さ
れるのを防止するためである。履歴情報（history_stre
am()）は、ユーザデータエリアに（MPEG規格のuser_dat
aの一種として）記述され、その中には、このような連
続する２３ビット以上の”０”が存在することがあり得
るので、これを、連続する２３ビット以上の”０”が発
生しないように処理して、converted_history_stream()
（後述する図４１）に変換する必要がある。この変換を
行うのは、履歴符号化装置１０７のコンバータ２１２で
ある。履歴復号装置１０４のコンバータ２０２は、この
コンバータ２１２と逆の変換処理を行う（連続する２３
ビット以上の”０”を発生させないために挿入された”
１”を除去する）ものである。

【０１０７】ヒストリデコーダ２０３は、コンバータ２
０２の出力から履歴情報を生成し、符号化パラメータ多
重装置１０３に出力する。

【０１０８】一方、履歴符号化装置１０７においては、
ヒストリフォーマッタ２１１が符号化パラメータ分離装
置１０５より供給される３世代分の符号化パラメータを
履歴情報のフォーマットに変換する。このフォーマット
には、固定長のもの（後述する図４３乃至図４９）と、
可変長のもの（後述する図５０）とがある。これらの詳
細については後述する。

【０１０９】ヒストリフォーマッタ２１１により、フォ
ーマット化された履歴情報は、コンバータ２１２におい
て、converted_history_stream()に変換される。これ
は、上述したように、user_data()のstart_codeが誤検
出されないようにするためのものである。すなわち、履
歴情報内には連続する２３ビット以上の”０”が存在す
るが、user_data中には連続する２３ビット以上の”
０”を配置することができないので、この禁止項目に触
れないようにコンバータ２１２によりデータを変換する
のである。

【０１１０】ユーザデータフォーマッタ２１３は、コン
バータ２１２より供給されるconverted_history_stream
()に、後述する図４１に基づいて、History_Data_IDを
付加し、さらに、user_data_stream_codeを付加して、v
ideo stream中に挿入できるMPEG規格のuser_dataを生成
し、符号化装置１０６に出力する。

【０１１１】図２３は、ヒストリフォーマッタ２１１の
構成例を表している。その符号語変換器３０１と符号長
変換器３０５には、符号化パラメータ（今回、履歴情報
として伝送する符号化パラメータ）（項目データ）と、
この符号化パラメータを配置するストリームを特定する
情報（例えば、シンタックスの名称（例えば、後述する
sequence_headerの名称））（項目NO.）が、符号化パラ
メータ分離装置１０５から供給されている。符号語変換
器３０１は、入力された符号化パラメータを、指示され
たシンタックスに対応する符号語に変換し、バレルシフ
タ３０２に出力する。バレルシフタ３０２は、符号語変
換器３０１より入力された符号語を、アドレス発生回路
３０６より供給されるシフト量に対応する分だけシフト
し、バイト単位の符号語として、スイッチ３０３に出力
する。アドレス発生回路３０６が出力するビットセレク
ト信号により切り換えられるスイッチ３０３は、ビット
分設けられており、バレルシフタ３０２より供給される
符号語を、RAM３０４に供給し、記憶させる。このとき
の書き込みアドレスは、アドレス発生回路３０６から指
定される。また、アドレス発生回路３０６から読み出し
アドレスが指定されたとき、RAM３０４に記憶されてい
るデータ（符号語）が読み出され、後段のコンバータ２
１２に供給されるとともに、必要に応じて、スイッチ３
０３を介してRAM３０４に再び供給され、記憶される。

【０１１２】符号長変換器３０５は、入力されるシンタ
ックスと符号化パラメータとから、その符号化パラメー
タの符号長を決定し、アドレス発生回路３０６に出力す
る。アドレス発生回路３０６は、入力された符号長に対
応して、上述したシフト量、ビットセレクト信号、書き
込みアドレス、または読み出しアドレスを生成し、それ
らを、それぞれバレルシフタ３０２、スイッチ３０３、
またはRAM３０４に供給する。

【０１１３】以上のように、ヒストリフォーマッタ２１
１は、いわゆる可変長符号化器として構成され、入力さ
れた符号化パラメータを可変長符号化して出力する。

【０１１４】図２４は、以上のようにしてヒストリフォ
ーマット化されたデータをデコードするヒストリデコー
ダ２０３の構成例を表している。このヒストリデコーダ
２０３には、コンバータ２０２から供給された符号化パ
ラメータのデータがRAM３１１に供給されて、記憶され
る。このときの書き込みアドレスは、アドレス発生回路
３１５から供給される。アドレス発生回路３１５はま
た、所定のタイミングで読み出しアドレスを発生し、RA
M３１１に供給する。このとき、RAM３１１は、読み出し
アドレスに記憶されているデータを読み出し、バレルシ
フタ３１２に出力する。バレルシフタ３１２は、アドレ
ス発生回路３１５が出力するシフト量に対応する分だ
け、入力されるデータをシフトし、逆符号長変換器３１
３と逆符号語変換器３１４に出力する。

【０１１５】逆符号長変換器３１３にはまた、コンバー
タ２０２から、符号化パラメータが配置されているスト
リームのシンタックスの名称（項目NO.）が供給されて
いる。逆符号長変換器３１３は、そのシンタックスに基
づいて、入力されたデータ（符号語）から符号長を求
め、求めた符号長をアドレス発生回路３１５に出力す
る。

【０１１６】また、逆符号語変換器３１４は、バレルシ
フタ３１２より供給されたデータを、シンタックスに基
づいて復号し（逆符号語化し）、符号化パラメータ多重
装置１０３に出力する。

【０１１７】また、逆符号語変換器３１４は、どのよう
な符号語が含まれているのかを特定するのに必要な情報
（符号語の区切りを決定するのに必要な情報）を抽出
し、アドレス発生回路３１５に出力する。アドレス発生
回路３１５は、この情報と逆符号長変換器３１３より入
力された符号長に基づいて、書き込みアドレスおよび読
み出しアドレスを発生し、RAM３１１に出力するととも
に、シフト量を発生し、バレルシフタ３１２に出力す
る。

【０１１８】図２５は、コンバータ２１２の構成例を表
している。この例においては、ヒストリフォーマッタ２
１１とコンバータ２１２の間に配置されているバッファ
メモリ３２０の、コントローラ３２６が出力する読み出
しアドレスから８ビットのデータが読み出され、Ｄ型フ
リップフロップ（Ｄ−ＦＦ）３２１に供給され、保持さ
れるようになされている。そして、Ｄ型フリップフロッ
プ３２１より読み出されたデータは、スタッフ回路３２
３に供給されるとともに、８ビットのＤ型フリップフロ
ップ３２２にも供給され、保持される。Ｄ型フリップフ
ロップ３２２より読み出された８ビットのデータは、Ｄ
型フリップフロップ３２１より読み出された８ビットの
データと合成され、１６ビットのパラレルデータとし
て、スタッフ回路３２３に供給される。

【０１１９】スタッフ回路３２３は、コントローラ３２
６より供給されるスタッフ位置を示す信号（stuff posi
tion）の位置に符号”１”を挿入し（スタッフィング
し）、合計１７ビットのデータとして、バレルシフタ３
２４に出力する。

【０１２０】バレルシフタ３２４は、コントローラ３２
６より供給されるシフト量を示す信号（shift）に基づ
いて入力されたデータをシフトして、８ビットのデータ
を抽出し、８ビットのＤ型フリップフロップ３２５に出
力する。Ｄ型フリップフロップ３２５に保持されたデー
タは、そこから読み出され、バッファメモリ３２７を介
して、後段のユーザデータフォーマッタ２１３に供給さ
れる。この時、コントローラ３２６は、出力するデータ
とともに、書き込みアドレスを発生し、コンバータ２１
２とユーザデータフォーマッタ２１３との間に介在する
バッファメモリ３２７に供給する。

【０１２１】図２６は、スタッフ回路３２３の構成例を
表している。Ｄ型フリップフロップ３２２，３２１より
入力された１６ビットのデータは、それぞれスイッチ３
３１−１６乃至３３１−１の接点ａに入力されている。
スイッチ３３１−ｉ（ｉ＝０乃至１５）の接点ｃには、
MSB側（図中上方）に隣接するスイッチのデータが供給
されている。例えば、スイッチ３３１−１２の接点ｃに
は、MSB側に隣接するスイッチ３３１−１３の接点ａに
供給されているLSBから１３番目のデータが供給されて
おり、スイッチ３３１−１３の接点ｃには、MSB側に隣
接するスイッチ３３１−１４の接点ａに供給されている
LSB側から１４番目のデータが供給されている。

【０１２２】但し、LSBに対応するスイッチ３３１−１
よりさらに下側のスイッチ３３１−０の接点ａは、開放
されている。また、MSBに対応するスイッチ３３１−１
６の接点ｃは、それより上位のスイッチが存在しないた
め、開放されている。

【０１２３】各スイッチ３３１−０乃至３３１−１６の
接点ｂには、データ”１”が供給されている。

【０１２４】デコーダ３３２は、コントローラ３２６よ
り供給されるデータ”１”を挿入する位置を示す信号st
uff positionに対応して、スイッチ３３１−０乃至３３
１−１６のうち、１つのスイッチを接点ｂ側に切り替
え、それよりLSB側のスイッチは、接点ｃ側にそれぞれ
切り替えさせ、それよりMSB側のスイッチは、接点ａ側
に切り替えさせる。

【０１２５】図２６は、LSB側から１３番目にデータ”
１”を挿入する場合の例を示している。従って、この場
合、スイッチ３３１−０乃至スイッチ３３１−１２は、
いずれも接点ｃ側に切り替えられ、スイッチ３３１−１
３は、接点ｂ側に切り替えられ、スイッチ３３１−１４
乃至スイッチ３３１−１６は、接点ａ側に切り替えられ
ている。

【０１２６】図２５のコンバータ２１２は、以上のよう
な構成により、２２ビットの符号を２３ビットに変換し
て、出力することになる。

【０１２７】図２７は、図２５のコンバータ２１２の各
部の出力データのタイミングを表している。コンバータ
２１２のコントローラ３２６がバイト単位のクロックに
同期して、読み出しアドレス（図２７（Ａ））を発生す
ると、バッファメモリ３２０から、それに対応するデー
タが、バイト単位で読み出され、Ｄ型フリップフロップ
３２１に一旦保持される。そして、Ｄ型フリップフロッ
プ３２１より読み出されたデータ（図２７（Ｂ））は、
スタッフ回路３２３に供給されるとともに、Ｄ型フリッ
プフロップ３２２に供給され、保持される。Ｄ型フリッ
プフロップ３２２に保持されたデータは、そこからさら
に読み出され（図２７（Ｃ））、スタッフ回路３２３に
供給される。

【０１２８】従って、スタッフ回路３２３の入力（図２
７（Ｄ））は、読み出しアドレスＡ１のタイミングにお
いて、最初の１バイトのデータＤ０とされ、次の読み出
しアドレスＡ２のタイミングにおいて、１バイトのデー
タＤ０と１バイトのデータＤ１より構成される２バイト
のデータとなり、さらに読み出しアドレスＡ３のタイミ
ングにおいては、データＤ１とデータＤ２より構成され
る２バイトのデータとなる。

【０１２９】スタッフ回路３２３には、データ”１”を
挿入する位置を示す信号stuff position（図２７
（Ｅ））がコントローラ３２６より供給される。スタッ
フ回路３２３のデコーダ３３２は、スイッチ３３１−１
６乃至３３１−０のうち、この信号stuff positionに対
応するスイッチを接点ｂに切り換え、それよりLSB側の
スイッチを接点ｃ側に切り換え、さらにそれよりMSB側
のスイッチを接点ａ側に切り換える。これにより、デー
タ”１”が挿入されるので、スタッフ回路３２３から
は、信号stuff positionで示す位置に、データ”１”が
挿入されたデータ（図２７（Ｆ））が出力される。

【０１３０】バレルシフタ３２４は、入力されたデータ
を、コントローラ３２６より供給される信号shift（図
２７（Ｇ））で示される量だけバレルシフトして、出力
する（図２７（Ｈ）） 。この出力がさらにＤ型フリッ
プフロップ３２５で一旦保持された後、後段に出力され
る（図２７（Ｉ））。

【０１３１】Ｄ型フリップフロップ３２５より出力され
るデータには、２２ビットのデータの次に、データ”
１”が挿入されている。従って、データ”１”と、次の
データ”１”の間には、その間のビットが全て０であっ
たとしても、０のデータの連続する数は２２となる。

【０１３２】図２８は、コンバータ２０２の構成例を表
している。このコンバータ２０２のＤ型フリップフロッ
プ３４１乃至コントローラ３４６よりなる構成は、図２
５に示したコンバータ２１２のＤ型フリップフロップ３
２１乃至コントローラ３２６と基本的に同様の構成であ
るが、コンバータ２１２におけるスタッフ回路３２３に
代えて、ディリート回路３４３が挿入されている点がコ
ンバータ２１２における場合と異なっている。その他の
構成は、図２５のコンバータ２１２における場合と同様
である。

【０１３３】すなわち、このコンバータ２０２において
は、コントローラ３４６が出力する削除するビットの位
置を示す信号delete positionに従って、ディリート回
路３４３が、そのビット（図２５のスタッフ回路３２３
で挿入されたデータ”１”）が削除される。

【０１３４】その他の動作は、図２５のコンバータ２１
２における場合と同様である。

【０１３５】図２９は、ディリート回路３４３の構成例
を表している。この構成例においては、Ｄ型フリップフ
ロップ３４２，３４１より入力された１６ビットのデー
タのうち、LSB側の１５ビットが、それぞれ対応するス
イッチ３５１−０乃至３５１−１４の接点ａに供給され
ている。各スイッチの接点ｂには、１ビットだけMSB側
のデータが供給されている。デコーダ３５２は、コント
ローラ３４６より供給される信号delete positionによ
り指定されるビットを削除して、１５ビットのデータと
して出力するようになされている。

【０１３６】図２９は、LSBから第１３番目のビットが
ディリートされる状態を示している。従って、この場
合、スイッチ３５１−０乃至スイッチ３５１−１１が接
点ａ側に切り替えられ、LSBから第１２番目までの１２
ビットが、そのまま選択、出力されている。また、スイ
ッチ３５１−１２乃至３５１−１４は、それぞれ接点ｂ
側に切り替えられているので、第１４番目乃至第１６番
目のデータが、第１３番目乃至第１５番目のビットのデ
ータとして選択、出力される。

【０１３７】図２６のスタッフ回路３２３および図２９
のディリート回路３４３の入力が１６ビットとなってい
るのは、それぞれ図２５のコンバータ２１２のスタッフ
回路３２３の入力が、Ｄ型フリップフロップ３２２，３
２１より供給される１６ビットとされており、また、図
２８のコンバータ２０２においても、ディリート回路３
４３の入力が、Ｄ型フリップフロップ３４２，３４１に
より１６ビットとされているためである。図２５におい
て、スタッフ回路３２３の出力する１７ビットをバレル
シフタ３２４でバレルシフトすることにより、例えば８
ビットを最終的に選択、出力しているのと同様に、図２
８のコンバータ２０２においても、ディリート回路３４
３の出力する１５ビットのデータを、バレルシフタ３４
４で所定量だけバレルシフトすることにより、８ビット
のデータとしている。

【０１３８】図３０は、コンバータ２１２の他の構成例
を表している。この構成例においては、カウンタ３６１
が入力データのうち、連続する０のビットの数をカウン
トし、そのカウント結果をコントローラ３２６に出力す
るようになされている。コントローラ３２６は、例えば
カウンタ３６１が連続する０のビットを２２個カウント
したとき、信号stuff positionをスタッフ回路３２３に
出力する。また、このとき、コントローラ３２６は、カ
ウンタ３６１をリセットし、再び連続する０のビットの
数をカウンタ３６１にカウントさせる。

【０１３９】その他の構成と動作は、図２５における場
合と同様である。

【０１４０】図３１は、コンバータ２０２の他の構成例
を表している。この構成例においては、入力データのう
ち、連続する０の数をカウンタ３７１がカウントし、そ
のカウント結果をコントローラ３４６に出力するように
なされている。カウンタ３７１のカウント値が２２に達
したとき、コントローラ３４６は、信号delete positio
nをディリート回路３４３に出力するとともに、カウン
タ３７１をリセットし、再び新たな連続する０のビット
の数をカウンタ３７１にカウントさせる。その他の構成
は、図２８における場合と同様である。

【０１４１】このように、この構成例においては、所定
のパターン（データ”０”の連続する数）に基づいて、
マーカービットとしてのデータ”１”が挿入され、ま
た、削除されることになる。

【０１４２】図３０と図３１に示す構成は、図２５と図
２８に示す構成よりも効率的な処理が可能となる。但
し、変換後の長さが元の履歴情報に依存することにな
る。

【０１４３】図３２は、ユーザデータフォーマッタ２１
３の構成例を表している。この例においては、コントロ
ーラ３８３がコンバータ２１２とユーザデータフォーマ
ッタ２１３との間に配置されているバッファメモリ（図
示せず）に読み出しアドレスを出力すると、そこから読
み出されたデータが、ユーザデータフォーマッタ２１３
のスイッチ３８２の接点ａ側に供給される。ROM３８１
には、ユーザデータスタートコード、データＩＤなどの
user_data()を生成するのに必要なデータが記憶されて
いる。コントローラ３１３は、所定のタイミングにおい
て、スイッチ３８２を接点ａ側または接点ｂ側に切り替
え、ROM３８１に記憶されているデータ、またはコンバ
ータ２１２より供給されるデータを適宜選択し、出力す
る。これにより、user_data()のフォーマットのデータ
が符号化装置１０６に出力される。

【０１４４】なお、図示は省略するが、ユーザデータデ
コーダ２０１は、図３２のROM３８１より読み出され、
挿入されたデータを削除するスイッチを介して、入力デ
ータを出力するようにすることで実現することができ
る。

【０１４５】図３３は、例えば映像編集スタジオにおい
て、複数のトランスコーダ１０１−１乃至１０１−Ｎが
直列に接続されて使用される状態を示している。各トラ
ンスコーダ１０１−ｉ（ｉ＝１乃至Ｎ）の符号化パラメ
ータ多重装置１０３−ｉは、上述した符号化パラメータ
用の領域の最も古い符号化パラメータが記録されている
区画に、自己が用いた最新の符号化パラメータを上書き
する。このことにより、ベースバンドの画像データに
は、同一のマクロブロックに対応する直近の４世代分の
符号化パラメータ（世代履歴情報）が記録されることに
なる。

【０１４６】各符号化装置１０６−ｉのエンコーダ１２
１−ｉ（図２２）は、その可変長符号化回路５８におい
て、符号化パラメータ分離装置１０５−ｉから供給され
る今回用いる符号化パラメータに基づいて、量子化回路
５７より供給されるビデオデータを符号化する。このよ
うにして生成されるビットストリーム（例えば、pictur
e_header()）中に、その現符号化パラメータは多重化さ
れる。

【０１４７】可変長符号化回路５８はまた、履歴符号化
装置１０７−ｉより供給されるユーザデータ（世代履歴
情報を含む）を、出力するビットストリーム中に多重化
する（図２１に示すような埋め込み処理ではなく、ビッ
トストリーム中に多重化される）。そして、符号化装置
１０６−ｉの出力するビットストリームは、SDTI１０８
−ｉを介して、後段のトランスコーダ１０１−（ｉ＋
１）に入力される。

【０１４８】トランスコーダ１０１−ｉとトランスコー
ダ１０１−（ｉ＋１）は、それぞれ図１８に示すように
構成されている。従って、その処理は、図１８を参照し
て説明した場合と同様となる。

【０１４９】実際の符号化パラメータの履歴を利用した
符号化として、現在Ｉピクチャとして符号化されていた
ものを、ＰもしくはＢピクチャに変更したい場合、過去
の符号化パラメータの履歴を見て、過去にＰもしくはＢ
ピクチャであった場合を探し、これらの履歴が存在した
場合は、その動きベクトルなどのパラメータを利用し
て、ピクチャタイプを変更する。反対に過去に履歴がな
い場合は、動き検出を行わないピクチャタイプの変更を
断念する。もちろん履歴がない場合であっても、動き検
出を行えばピクチャタイプを変更できる。

【０１５０】図２１に示すフォーマットの場合、４世代
分の符号化パラメータを埋め込むようにしたが、Ｉ、
Ｐ、Ｂの各ピクチャタイプのパラメータを埋め込むよう
にすることもできる。図３４は、この場合のフォーマッ
トの例を示している。この例では、同一のマクロブロッ
クが、過去にピクチャタイプの変更を伴って符号化され
たときにおける、ピクチャタイプ毎に１世代分の符号化
パラメータ（ピクチャ履歴情報）が記録される。したが
って、図１９に示したデコーダ１１１、および図２２に
示したエンコーダ１２１は、現在（最新）、１世代前、
２世代前、および３世代前の符号化パラメータの代わり
に、Ｉピクチャ、Ｐピクチャ、およびＢピクチャに対応
する１世代分の符号化パラメータを入出力することにな
る。

【０１５１】また、この例の場合、Cb[1][x]とCr[1][x]
の領域は利用しないので、Cb[1][x]とCr[1][x]の領域を
有さない４：２：０フォーマットの画像データにも本発
明を適用することができる。

【０１５２】この例の場合、復号装置１０２は、符号化
パラメータを復号と同時に取り出し、ピクチャタイプを
判定して、画像信号のピクチャタイプに対応した場所に
符号化パラメータを書き込んで（多重化して）符号化パ
ラメータ分離装置１０５に出力する。符号化パラメータ
分離装置１０５は、符号化パラメータを分離し、これか
ら符号化したいピクチャタイプと、入力された過去の符
号化パラメータを考慮して、ピクチャタイプを変更しな
がら再符号化を行うことができる。

【０１５３】次に、各トランスコーダ１０１において、
変更が可能なピクチャタイプを判定する処理について、
図３５のフローチャートを参照して説明する。なお、こ
の処理はトランスコーダ１０１におけるピクチャタイプ
の変更は、過去の動きベクトルを利用するので、動き検
出を行わないで実行されることを前提としている。ま
た、以下に説明する処理は、符号化パラメータ分離装置
１０５により実行される。

【０１５４】ステップＳ１において、ピクチャタイプ毎
に１世代分の符号化パラメータ（ピクチャ履歴情報）が
符号化パラメータコントローラ１２２に入力される。

【０１５５】ステップＳ２において、符号化パラメータ
分離装置１０５は、ピクチャ履歴情報にＢピクチャに変
更したときの符号化パラメータが存在するか否かを判定
する。ピクチャ履歴情報にＢピクチャに変更したときの
符号化パラメータが存在すると判定された場合、ステッ
プＳ３に進む。

【０１５６】ステップＳ３において、符号化パラメータ
分離装置１０５は、ピクチャ履歴情報にＰピクチャに変
更したときの符号化パラメータが存在するか否かを判定
する。ピクチャ履歴情報にＰピクチャに変更したときの
符号化パラメータが存在すると判定された場合、ステッ
プＳ４に進む。

【０１５７】ステップＳ４において、符号化パラメータ
分離装置１０５は、変更可能なピクチャタイプがＩピク
チャ、Ｐピクチャ、およびＢピクチャであると判断す
る。

【０１５８】ステップＳ３において、ピクチャ履歴情報
にＰピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップＳ５に進む。

【０１５９】ステップＳ５において、符号化パラメータ
分離装置１０５は、変更可能なピクチャタイプがＩピク
チャ、およびＢピクチャであると判断する。さらに、符
号化パラメータ分離装置１０５は、特殊処理（Ｂピクチ
ャの履歴情報に含まれる後方予測ベクトルを使わず、前
方予測ベクトルだけを使う）を施すことにより、擬似的
にＰピクチャに変更可能であると判断する。

【０１６０】ステップＳ２において、ピクチャ履歴情報
にＢピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップＳ６に進む。

【０１６１】ステップＳ６において、符号化パラメータ
分離装置１０５は、ピクチャ履歴情報にＰピクチャに変
更したときの符号化パラメータが存在するか否かを判定
する。ピクチャ履歴情報にＰピクチャに変更したときの
符号化パラメータが存在すると判定された場合、ステッ
プＳ７に進む。

【０１６２】ステップＳ７において、符号化パラメータ
分離装置１０５は、変更可能なピクチャタイプがＩピク
チャ、およびＰピクチャであると判断する。さらに、符
号化パラメータ分離装置１０５は、特殊処理（Ｐピクチ
ャに履歴情報に含まれる前方予測ベクトルだけを使う）
を施すことにより、Ｂピクチャに変更可能であると判断
する。

【０１６３】ステップＳ６において、ピクチャ履歴情報
にＰピクチャに変更したときの符号化パラメータが存在
しないと判定された場合、ステップＳ８に進む。ステッ
プＳ８において、符号化パラメータ分離装置１０５は、
動きベクトルが存在しないので、変更可能なピクチャタ
イプがＩピクチャだけである（ＩピクチャなのでＩピク
チャ以外には変更できない）と判断する。

【０１６４】ステップＳ４，Ｓ５，Ｓ７，Ｓ８の処理の
次にステップＳ９において、符号化パラメータ分離装置
１０５は、変更可能なピクチャタイプを表示装置（図示
せず）に表示してユーザに通知する。

【０１６５】図３６は、ピクチャタイプ変更の例を示し
ている。ピクチャタイプを変更する場合、GOPを構成す
るフレーム数が変更される。すなわち、この例の場合、
N=15（GOPのフレーム数N=15）、M=3（GOP内のＩ、また
はＰピクチャの出現周期M=3)のフレームから構成される
Long GOP（第１世代）から、N=1，M=1のフレームで構成
されるShort GOP（第２世代）に変換され、再度、N=1
5，M=3のフレームから構成されるLong GOP（第３世代）
に変換されている。なお、図中において破線は、GOPの
境界を示している。

【０１６６】第１世代から第２世代にピクチャタイプが
変更される場合において、上述した変更可能ピクチャタ
イプ判定処理の説明から明らかなように、全てのフレー
ムは、ピクチャタイプをＩピクチャに変更することが可
能である。このピクチャタイプ変更のとき、動画像（第
０世代）が第１世代に変換されたときに演算された全て
の動きベクトルは、ピクチャ履歴情報に保存された（残
された）状態となる。次に、再度Long GOPに変換される
（第２世代から第３世代にピクチャタイプが変更され
る）場合、第０世代から第１世代に変換されたときのピ
クチャタイプ毎の動きベクトルが保存されているので、
これを再利用することにより、画質劣化を抑えて、再
度、Long GOPに変換することが可能となる。

【０１６７】図３７は、ピクチャタイプ変更の他の例を
示している。この例の場合、N=14，M=2であるLong GOP
（第１世代）から、N=2，M=2であるShort GOP（第２世
代）に変換され、さらに、N=１，M=1であるフレーム数
が１のShort GOP（第３世代）に変換されて、フレーム
数NがランダムなGOP（第４世代）に変換される。

【０１６８】この例においても、第０世代から第１世代
に変換されたときのピクチャタイプ毎の動きベクトル
が、第３世代から第４世代への変換のときまで保存され
る。そこで、図３７に示すように、複雑にピクチャタイ
プを変更しても、保存されている符号化パラメータを再
利用されることにより、画質劣化を小さく抑えることが
できる。さらに、保存されている符号化パラメータの量
子化スケールを有効に利用すれば画質劣化の少ない符号
化を実現できる。

【０１６９】この量子化スケールの再利用について、図
３８を参照して説明する。図３８は、所定のフレーム
が、第１世代から第４世代まで常に、Ｉピクチャに変換
されており、ビットレートだけが、４Mbps，１８Mbps、
または５０Mbpsに変更されていることを示している。

【０１７０】例えば、第１世代(４Mbps)から第２世代
(１８Mbps)への変換の際に、ビットレートの高速化に伴
って、細かい量子化スケールで再符号化しても画質は向
上しない。なぜならば、過去において粗い量子化ステッ
プで量子化されたデータは、復元しないからである。し
たがって、図３８に示すように、途中でビットレートが
高速化しても、それに伴って細かい量子化ステップで量
子化することは、情報量が増加するだけであって画質の
向上には繋がらない。したがって、過去のもっとも粗い
（大きい）量子化スケールを維持するように制御すれ
ば、最も無駄が無く、効率的な符号化が可能となる。

【０１７１】上述したように、ビットレートが変更され
るときは、過去の量子化スケールの履歴を利用して符号
化することは非常に有効である。

【０１７２】この量子化制御処理について、図３９のフ
ローチャートを参照して説明する。ステップＳ１１にお
いて、符号化パラメータ分離装置１０５は、入力された
ピクチャ履歴情報に、いまから変換するピクチャタイプ
の符号化パラメータが存在するか否かを判定する。変換
するピクチャタイプの符号化パラメータが存在すると判
定された場合、ステップＳ１２に進む。

【０１７３】ステップＳ１２において、符号化パラメー
タ分離装置１０５は、ピクチャ履歴情報の対照となる符
号化パラメータから量子化スケール(Q_history)を抽出
する。

【０１７４】ステップＳ１３において、符号化パラメー
タ分離装置１０５は、送信バッファ５９から量子化回路
５７にフィードバックされる量子化スケールの候補値Q_
feedbackを読み取る。

【０１７５】ステップＳ１４において、符号化パラメー
タ分離装置１０５は、Q_historyがQ_feedbackよりも大
きい（粗い）か否かを判定する。Q_historyがQ_feedbac
kよりも大きいと判定された場合、ステップＳ１５に進
む。

【０１７６】ステップＳ１５において、符号化パラメー
タ分離装置１０５は、量子化スケールとしてQ_history
を量子化回路５７に出力する。量子化回路５７は、Q_hi
storyを用いて量子化を実行する。

【０１７７】ステップＳ１６において、フレームに含ま
れる全てのマクロブロックが量子化されたか否かが判定
される。全てのマクロブロックが量子化されていないと
判定された場合、ステップＳ１３に戻り、ステップＳ１
３乃至Ｓ１６の処理が、全てのマクロブロックが量子化
されるまで繰り返される。

【０１７８】ステップＳ１４において、Q_historyがQ_f
eedbackよりも大きくない（細かい）いと判定された場
合、ステップＳ１７に進む。

【０１７９】ステップＳ１７において、符号化パラメー
タ分離装置１０５は、量子化スケールとしてQ_feedback
を量子化回路５７に出力する。量子化回路５７は、Q_fe
edbackを用いて量子化を実行する。

【０１８０】ステップＳ１１において、変換するピクチ
ャタイプの符号化パラメータが存在しないと判定された
場合、ステップＳ１８に進む。

【０１８１】ステップＳ１８において、量子化回路５７
は、送信バッファ５９からフィードバックされる量子化
スケールの候補値Q_feedbackを受け付ける。

【０１８２】ステップＳ１９において、量子化回路５７
は、Q_feedbackを用いて量子化を実行する。

【０１８３】ステップＳ２０において、フレームに含ま
れる全てのマクロブロックが量子化されたか否かが判定
される。全てのマクロブロックが量子化されていないと
判定された場合、ステップＳ１８に戻り、ステップＳ１
８乃至Ｓ２０の処理が、全てのマクロブロックが量子化
されるまで繰り返される。

【０１８４】なお、本実施の形態におけるトランスコー
ダ１０１の内部においては、上述したように、復号側と
符号側が粗結合されており、符号化パラメータを画像デ
ータに多重化させて伝送させたが、図４０に示すよう
に、復号装置１０２と符号化装置１０６を符号化パラメ
ータ伝送用の高速バス１１１で接続する（密結合する）
ようにしてもよい。

【０１８５】図４１は、MPEGのビデオストリームをデコ
ードするためのシンタックスを表わした図である。デコ
ーダは、このシンタックスに従ってMPEGビットストリー
ムをデコードすることによって、ビットストリームから
意味のある複数のデータ項目（データエレメント）を抽
出する。以下に説明するシンタックスは、図において、
その関数や条件文は細活字で表わされ、そのデータエレ
メントは、太活字で表されている。データ項目は、その
名称、ビット長、及びそのタイプと伝送順序を示すニー
モニック（Mnemonic）で記述されている。

【０１８６】まず、この図４１に示されているシンタッ
クスにおいて使用されている関数について説明する。

【０１８７】next_start_code()関数は、ビットストリ
ーム中に記述されているスタートコードを探すための関
数である。この図４１に示されたシンタックスにおい
て、このnext_start_code()関数の次に、sequence_head
er()関数とsequence_extension()関数とが順に配置され
ているので、このビットストリームには、このsequence
_header()関数とsequence_extension()関数によって定
義されたデータエレメントが記述されている。従って、
ビットストリームのデコード時には、このnext_start_c
ode()関数によって、sequence_header()関数とsequence
_extension()関数の先頭に記述されているスタートコー
ド（データエレメントの一種）をビットストリーム中か
ら見つけ、それを基準にして、 sequence_header()関数
とsequence_extension()関数をさらに見つけ、それらに
よって定義された各データエレメントをデコードする。

【０１８８】尚、sequence_header()関数は、MPEGビッ
トストリームのシーケンス層のヘッダデータを定義する
ための関数であって、sequence_extension()関数は、MP
EGビットストリームのシーケンス層の拡張データを定義
するための関数である。

【０１８９】sequence_extension()関数の次に配置され
ている do{ }while構文は、while文によって定義されて
いる条件が真である間、do文の{ }内の関数に基いて記
述されたデータエレメントをデータストリーム中から抽
出するための構文である。すなわち、 do{ }while構文
によって、while文によって定義されている条件が真で
ある間、ビットストリーム中から、do文内の関数に基い
て記述されたデータエレメントを抽出するデコード処理
が行われる。

【０１９０】このwhile文に使用されているnextbits()
関数は、ビットストリーム中に現れるビット又はビット
列と、次にデコードされるデータエレメントとを比較す
るための関数である。この図４１のシンタックスの例で
は、nextbits()関数は、ビットストリーム中のビット列
とビデオシーケンスの終わりを示すsequence_end_code
とを比較し、ビットストリーム中のビット列とsequence
_end_codeとが一致しないときに、このwhile文の条件が
真となる。従って、sequence_extension()関数の次に配
置されている do{ }while構文は、ビットストリーム中
に、ビデオシーケンスの終わりを示すsequence_end_cod
eが現れない間、do文中の関数によって定義されたデー
タエレメントがビットストリーム中に記述されているこ
とを示している。

【０１９１】ビットストリーム中には、sequence_exten
sion()関数によって定義された各データエレメントの次
には、extension_and_user_data(0)関数によって定義さ
れたデータエレメントが記述されている。このextensio
n_and_user_data(0)関数は、MPEGビットストリームのシ
ーケンス層の拡張データとユーザデータを定義するため
の関数である。

【０１９２】このextension_and_user_data(0)関数の次
に配置されている do{ }while構文は、while文によって
定義されている条件が真である間、do文の{ }内の関数
に基いて記述されたデータエレメントを、ビットストリ
ーム中から抽出するための関数である。このwhile文に
おいて使用されているnextbits()関数は、ビットストリ
ーム中に現れるビット又はビット列と、picture_start_
code又はgroup_start_codeとの一致を判断するための関
数であって、ビットストリーム中に現れるビット又はビ
ット列と、picture_start_code又はgroup_start_codeと
が一致する場合には、while文によって定義された条件
が真となる。よって、このdo{ }while構文は、ビットス
トリーム中において、picture_start_code又はgroup_st
art_codeが現れた場合には、そのスタートコードの次
に、do文中の関数によって定義されたデータエレメント
のコードが記述されているので、このpicture_start_co
de又はgroup_start_codeによって示されるスタートコー
ドを探し出すことによって、ビットストリーム中からdo
文中に定義されたデータエレメントを抽出することがで
きる。

【０１９３】このdo文の最初に記述されているif文は、
ビットストリーム中にgroup_start_codeが現れた場合、
という条件を示しいる。このif文による条件が真である
場合には、ビットストリーム中には、このgroup_start_
codeの次にgroup_of_picture_header(1)関数及びextens
ion_and_user_data(1)関数によって定義されているデー
タエレメントが順に記述されている。

【０１９４】このgroup_of_picture_header(1)関数は、
MPEGビットストリームのGOP層のヘッダデータを定義す
るための関数であって、 extension_and_user_data(1)
関数は、MPEGビットストリームのGOP層の拡張データ（e
xtension_data）及びユーザデータ（user_data）を定義
するための関数である。

【０１９５】さらに、このビットストリーム中には、gr
oup_of_picture_header(1)関数及びextension_and_user
_data(1)関数によって定義されているデータエレメント
の次に、picture_header()関数とpicture_coding_exten
sion()関数によって定義されたデータエレメントが記述
されている。もちろん、先に説明したif文の条件が真と
ならない場合には、 group_of_picture_header(1)関数
及びextension_and_user_data(1)関数によって定義され
ているデータエレメントは記述されていないので、 ext
ension_and_user_data(0)関数によって定義されている
データエレメントの次に、 picture_header()関数とpic
ture_coding_extension()関数によって定義されたデー
タエレメントが記述されている。

【０１９６】このpicture_header()関数は、 MPEGビッ
トストリームのピクチャ層のヘッダデータを定義するた
めの関数であって、 picture_coding_extension()関数
は、MPEGビットストリームのピクチャ層の第１の拡張デ
ータを定義するための関数である。

【０１９７】次のwhile文は、このwhile文によって定義
されている条件が真である間、次のif文の条件判断を行
うための関数である。このwhile文において使用されて
いるnextbits()関数は、ビットストリーム中に現れるビ
ット列と、extension_start_code又はuser_data_start_
codeとの一致を判断するための関数であって、ビットス
トリーム中に現れるビット列と、 extension_start_cod
e又はuser_data_start_codeとが一致する場合には、こ
のwhile文によって定義された条件が真となる。

【０１９８】第１のif文は、ビットストリーム中に現れ
るビット列とextension_start_codeとの一致を判断する
ための関数である。ビットストリーム中に現れるビット
列と３２ビットのextension_ start_codeとが一致する
場合には、ビットストリーム中において、extension_st
art_codeの次にextension_data(2)関数によって定義さ
れるデータエレメントが記述されている。

【０１９９】第２のif文は、ビットストリーム中に現れ
るビット列とuser_data_start_codeとの一致を判断する
ための構文であって、ビットストリーム中に現れるビッ
ト列と３２ビットのuser_data_start_codeとが一致する
場合には、第３のif文の条件判断が行われる。このuser
_data_start_codeは、MPEGビットストリームのピクチャ
層のユーザデータエリアの開始を示すためのスタートコ
ードである。

【０２００】第３のif文は、ビットストリーム中に現れ
るビット列とHistory_Data_IDとの一致を判断するため
の構文である。ビットストリーム中に現れるビット列と
この３２ビットのHistory_Data_IDとが一致する場合に
は、このMPEGビットストリームのピクチャ層のユーザデ
ータエリアにおいて、この３２ビットのHistory_Data_I
Dによって示されるコードの次に、converted_history_s
tream()関数によって定義されるデータエレメントが記
述されている。

【０２０１】converted_history_stream()関数は、MPEG
符号化時に使用したあらゆる符号化パラメータを伝送す
るための履歴情報及び履歴データを記述するための関数
である。このconverted_history_stream()関数によって
定義されているデータエレメントの詳細は、図４３乃至
図５０を参照して、history_stream()として後述する。
また、このHistory_Data_IDは、MPEGビットストリーム
のピクチャ層のユーザデータエリアに記述されたこの履
歴情報及び履歴データが記述されている先頭を示すため
のスタートコードである。

【０２０２】else文は、第３のif文において、条件が非
真であることを示すための構文である。従って、このMP
EGビットストリームのピクチャ層のユーザデータエリア
において、converted_history_stream()関数によって定
義されたデータエレメントが記述されていない場合に
は、user_data()関数によって定義されたデータエレメ
ントが記述されている。

【０２０３】図４１において、履歴情報は、converted_
history_stream()に記述され、user_data()に記述され
る訳ではないが、このconverted_history_stream()は、
MPEG規格のuser_dataの一種として記述されるので、本
明細書中においては、場合によって、履歴情報がuser_d
ataに記述されるとも説明するが、それは、MPEG規格のu
ser_dataの一種として記述されるということを意味す
る。

【０２０４】picture_data()関数は、MPEGビットストリ
ームのピクチャ層のユーザデータの次に、スライス層及
びマクロブロック層に関するデータエレメントを記述す
るための関数である。通常は、このpicture_data()関数
によって示されるデータエレメントは、ビットストリー
ムのピクチャ層のユーザデータエリアに記述されたconv
erted_history_stream()関数によって定義されるデータ
エレメント又はuser_data()関数によって定義されたデ
ータエレメントの次に記述されているが、ピクチャ層の
データエレメントを示すビットストリーム中に、extens
ion_start_code又はuser_data_start_code が存在しな
い場合には、このpicture_data()関数によって示される
データエレメントは、 picture_coding_extension()関
数によって定義されるデータエレメントの次に記述され
ている。

【０２０５】このpicture_data()関数によって示される
データエレメントの次には、sequence_header()関数とs
equence_extension()関数とによって定義されたデータ
エレメントが順に配置されている。このsequence_heade
r()関数とsequence_extension()関数によって記述され
たデータエレメントは、ビデオストリームのシーケンス
の先頭に記述されたsequence_header()関数とsequence_
extension()関数によって記述されたデータエレメント
と全く同じである。このように同じデータをストリーム
中に記述する理由は、ビットストリーム受信装置側でデ
ータストリームの途中（例えばピクチャ層に対応するビ
ットストリーム部分）から受信が開始された場合に、シ
ーケンス層のデータを受信できなくなり、ストリームを
デコード出来なくなることを防止するためである。

【０２０６】この最後のsequence_header()関数とseque
nce_extension()関数とによって定義されたデータエレ
メントの次、つまり、データストリームの最後には、シ
ーケンスの終わりを示す３２ビットのsequence_end_cod
eが記述されている。

【０２０７】以上のシンタックスの基本的な構成の概略
を示すと、図４２に示すようになる。

【０２０８】次に、converted_history_stream()関数に
よって定義されたヒストリーストリームに関して説明す
る。

【０２０９】このconverted_history_stream()は、MPEG
のピクチャ層のユーザデータエリアに履歴情報を示すヒ
ストリーストリームを挿入するための関数である。尚、
「converted」の意味は、スタートエミュレーションを
防止するために、ユーザエリアに挿入すべき履歴データ
から構成される履歴ストリームの少なくとも２２ビット
毎にマーカービット（１ビット）を挿入する変換処理を
行ったストリームであることを意味している。

【０２１０】このconverted_history_stream()は、以下
に説明する固定長の履歴ストリーム（図４３乃至図４
９）又は可変長の履歴ストリーム（図５０）のいずれか
の形式で記述される。エンコーダ側において固定長の履
歴ストリームを選択した場合には、デコーダ側において
履歴ストリームから各データエレメントをデコードする
ための回路及びソフトウエアが簡単になるというメリッ
トがある。一方、エンコーダ側において可変長の履歴ス
トリームを選択した場合には、エンコーダにおいてピク
チャ層のユーザエリアに記述される履歴情報（データエ
レメント）を必要に応じて任意に選択することができる
ので、履歴ストリームのデータ量を少なくすることがで
き、その結果、符号化されたビットストリーム全体のデ
ータレートを低減することができる。

【０２１１】本発明において説明する「履歴情報」、
「履歴データ」、「履歴パラメータ」とは、過去の符号
化処理において使用した符号化パラメータ（又はデータ
エレメント）を意味し、現在の（最終段の）符号化処理
において使用した符号化パラメータを意味するものでは
ない。例えば、第１世代の符号化処理において、あるピ
クチャをＩピクチャで符号化して伝送し、次なる第２世
代の符号化処理において、このピクチャを今度はＰピク
チャとして符号化して伝送し、さらに、第３世代の符号
化処理において、このピクチャをＢピクチャで符号化し
て伝送する例をあげて説明する。第３世代の符号化処理
において使用した符号化パラメータが、第３世代の符号
化処理において生成された符号化ビットストリームのシ
ーケンス層、GOP層、ピクチャ層、スライス層及びマク
ロブロック層の所定位置に記述されている。一方、過去
の符号化処理である第１世代及び第２世代の符号化処理
において使用した符号化パラメータは、第３世代の符号
化処理において使用した符号化パラメータが記述される
シーケンス層やGOP層に記述されるのでは無く、既に説
明したシンタックスに従って、符号化パラメータの履歴
情報として、ピクチャ層のユーザデータエリアに記述さ
れる。

【０２１２】まず、固定長の履歴ストリームシンタック
スについて図４３乃至図４９を参照して説明する。

【０２１３】最終段（例えば第３世代）の符号化処理に
おいて生成されたビットストリームのピクチャ層のユー
ザデータエリアには、まず最初に、過去（例えば第１世
代及び第２世代）の符号化処理において使用されていた
シーケンス層のシーケンスヘッダに含められる符号化パ
ラメータが、履歴ストリームとして挿入される。尚、過
去の符号化処理において生成されたビットストリームの
シーケンス層のシーケンスヘッダ等の履歴情報は、最終
段の符号化処理において生成されたビットストリームの
シーケンス層のシーケンスヘッダに挿入されることは無
いという点に注意すべきである。

【０２１４】過去の符号化処理で使用したシーケンスヘ
ッダに含められるデータエレメントは、sequence_heade
r_code、sequence_header_present_flag、horizontal_s
ize_value、vertical_size_value、aspect_ratio_infor
mation、frame_rate_code、bit_rate_value、marker_bi
t、VBV_buffer_size_value、constrained_parameter_fl
ag、load_intra_quantizer_matrix、intra_quantizer_m
atrix、load_non_intra_quantizer_matrix、及びnon_in
tra_quantizer_matrix等から構成される。

【０２１５】sequence_header_codeは、シーケンス層の
スタート同期コードを表すデータである。sequence_hea
der_present_flagは、sequence_header内のデータが有
効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成る
データである。vertical_size_valueは、画像の縦のラ
イン数の下位12ビットからなるデータである。aspect_r
atio_informationは、画素のアスペクト比（縦横比）ま
たは表示画面アスペクト比を表すデータである。frame_
rate_codeは、画像の表示周期を表すデータである。

【０２１６】bit_rate_valueは、発生ビット量に対する
制限のためのビット・レートの下位18ビット(400bsp単
位で切り上げる)データである。marker_bitは、スター
トコードエミュレーションを防止するために挿入される
ビットデータである。VBV_buffer_size_valueは、発生
符号量制御用の仮想バッファ（ビデオバッファベリファ
イヤー）の大きさを決める値の下位10ビットデータであ
る。constrained_parameter_flagは、各パラメータが制
限以内であることを示すデータである。load_intra_qua
ntizer_matrixは、イントラMB用量子化マトリックス・
データの存在を示すデータである。intra_quantizer_ma
trixは、イントラＭＢ用量子化マトリックスの値を示す
データである。load_non_intra_quantizer_matrixは、
非イントラＭＢ用量子化マトリックス・データの存在を
示すデータである。non_intra_quantizer_matrixは、非
イントラＭＢ用量子化マトリックスの値を表すデータで
ある。

【０２１７】最終段の符号化処理において生成されたビ
ットストリームのピクチャ層のユーザデータエリアに
は、過去の符号化処理において使用されたシーケンス層
のシーケンスエクステンションを表わすデータエレメン
トが、履歴ストリームとして記述される。

【０２１８】この過去の符号化処理で使用したシーケン
スエクステンションを表わすデータエレメントは、 ext
ension_start_code、extension_start_code_identifie
r、sequence_extension_present_flag、profile_and_le
vel_indication、progressive_sequence、chroma_forma
t、horizontal_size_extension、vertical_size_extens
ion、bit_rate_extension、vbv_buffer_size_extensio
n、low_delay、frame_rate_extension_n 、及び frame_
rate_extension_d等のデータエレメントである。

【０２１９】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すデータである。sequence_extension_p
resent_flagは、シーケンスエクステンション内のデー
タが有効であるか無効であるかを示すデータである。pr
ofile_and_level_indicationは、ビデオデータのプロフ
ァイルとレベルを指定するためのデータである。progre
ssive_sequenceは、ビデオデータが順次走査であること
を示すデータである。chroma_formatは、ビデオデータ
の色差フォーマットを指定するためのデータである。

【０２２０】horizontal_size_extensionは、シーケン
スヘッダのhorizntal_size_valueに加える上位２ビット
のデータである。vertical_size_extensionは、シーケ
ンスヘッダのvertical_size_valueに加える上位２ビッ
トのデータである。bit_rate_extensionは、シーケンス
ヘッダのbit_rate_valueに加える上位１２ビットのデー
タである。vbv_buffer_size_extensionは、シーケンス
ヘッダのvbv_buffer_size_valueに加える上位８ビット
のデータである。low_delayは、Ｂピクチャを含まない
ことを示すデータである。frame_rate_extension_nは、
シーケンスヘッダのframe_rate_codeと組み合わせてフ
レームレートを得るためのデータである。frame_rate_e
xtension_dは、シーケンスヘッダのframe_rate_codeと
組み合わせてフレームレートを得るためのデータであ
る。

【０２２１】続いて、ビットストリームのピクチャ層の
ユーザエリアには、過去の符号化処理において使用され
たシーケンス層のシーケンスディスプレイエクステンシ
ョンを表わすデータエレメントが、履歴ストリームとし
て記述される。

【０２２２】このシーケンスディスプレイエクステンシ
ョンとして記述されているデータエレメントは、extens
ion_start_code、extension_start_code_identifier、s
equence_display_extension_present_flag、video_form
at、color_description、color_primaries、transfer_c
haracteristics、matrix_coeffients、display_horizon
tal_size、及びdisplay_vertical_sizeから構成され
る。

【０２２３】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すコードである。sequence_display_ext
ension_present_flagは、シーケンスディスプレイエク
ステンション内のデータエレメントが有効か無効かを示
すデータである。video_formatは、原信号の映像フォー
マットを表すデータである。color_descriptionは、色
空間の詳細データがあることを示すデータである。colo
r_primariesは、原信号の色特性の詳細を示すデータで
ある。transfer_characteristicsは、光電変換がどのよ
うに行われたのかの詳細を示すデータである。matrix_c
oeffientsは、原信号が光の三原色からどのように変換
されたかの詳細を示すデータである。display_horizont
al_sizeは、意図するディスプレイの活性領域（水平サ
イズ）を表すデータである。display_vertical_size
は、意図するディスプレイの活性領域（垂直サイズ）を
表すデータである。

【０２２４】続いて、最終段の符号化処理において生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において生成されたマクロブロッ
クの位相情報を示すマクロブロックアサイメントデータ
（macroblock_assignment_in_user_data）が、履歴スト
リームとして記述される。

【０２２５】このマクロブロックの位相情報を示すmacr
oblock_assignment_in_user_dataは、macroblock_assig
nment_present_flag、v_phase、h_phase等のデータエレ
メントから構成される。

【０２２６】このmacroblock_assignment_present_flag
は、macroblock_assignment_in_user_data内のデータエ
レメントが有効か無効かを示すデータである。 v_phase
は、画像データからマクロブロックを切り出す際の垂直
方向の位相情報を示すデータである。 h_phaseは、画像
データからマクロブロックを切り出す際の水平方向の位
相情報を示すデータである。

【０２２７】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたGOP層のGOPヘ
ッダを表わすデータエレメントが、履歴ストリームとし
て記述されている。

【０２２８】このGOPヘッダを表わすデータエレメント
は、group_start_code、group_of_picture_header_pres
ent_flag、time_code、closed_gop、及びbroken_linkか
ら構成される。

【０２２９】group_start_codeは、GOP層の開始同期コ
ードを示すデータである。 group_of_picture_header_p
resent_flagは、 group_of_picture_header内のデータ
エレメントが有効であるか無効であるかを示すデータで
ある。 time_codeは、GOPの先頭ピクチャのシーケンス
の先頭からの時間を示すタイムコードである。closed_g
opは、GOP内の画像が他のGOPから独立再生可能なことを
示すフラグデータである。broken_linkは、編集などの
ためにGOP内の先頭のＢピクチャが正確に再生できない
ことを示すフラグデータである。

【０２３０】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャ層の
ピクチャヘッダを表わすデータエレメントが、履歴スト
リームとして記述されている。

【０２３１】このピクチャヘッダに関するデータエレメ
ントは、picture_start_code、temporal_reference、pi
cture_coding_type、vbv_delay、full_pel_forward_vec
tor、forward_f_code、full_pel_backward_vector、及
び backward_f_codeから構成される。

【０２３２】具体的には、picture_start_codeは、ピク
チャ層の開始同期コードを表すデータである。temporal
_referenceは、ピクチャの表示順を示す番号でGOPの先
頭でリセットされるデータである。picture_coding_typ
eは、ピクチャタイプを示すデータである。vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示
すデータである。full_pel_forward_vectorは、順方向
動きベクトルの精度が整数単位か半画素単位かを示すデ
ータである。forward_f_codeは、順方向動きベクトル探
索範囲を表すデータである。full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位
かを示すデータである。backward_f_codeは、逆方向動
きベクトル探索範囲を表すデータである。

【０２３３】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャ層の
ピクチャコーディングエクステンションが、履歴ストリ
ームとして記述されている。

【０２３４】このピクチャコーディングエクステンショ
ンに関するデータエレメントは、extension_start_cod
e、extension_start_code_identifier、f_code[0][0]、
f_code[0][1]、f_code[1][0]、f_code[1][1]、intra_dc
_precision、picture_structure、top_field_first、fr
ame_predictive_frame_dct、concealment_motion_vecto
rs、q_scale_type、intra_vlc_format、alternate_sca
n、repeat_firt_field、chroma_420_type、progressive
_frame、composite_display_flag、v_axis、field_sequ
ence、sub_carrier、burst_amplitude、及びsub_carrie
r_phaseから構成される。

【０２３５】extension_start_codeは、ピクチャ層のエ
クステンションデータのスタートを示す開始コードであ
る。extension_start_code_identifierは、どの拡張デ
ータが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表す
データである。f_code[0][1]は、フォワード方向の垂直
動きベクトル探索範囲を表すデータである。f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲
を表すデータである。f_code[1][1]は、バックワード方
向の垂直動きベクトル探索範囲を表すデータである。

【０２３６】intra_dc_precisionは、DC係数の精度を表
すデータである。picture_structureは、フレームスト
ラクチャかフィールドストラクチャかを示すデータであ
る。フィールドストラクチャの場合は、上位フィールド
か下位フィールドかもあわせて示すデータである。top_
field_firstは、フレームストラクチャの場合、最初の
フィールドが上位か下位かを示すデータである。frame_
predictive_frame_dctは、フレーム・ストラクチャの場
合、フレーム・モードDCTの予測がフレーム・モードだ
けであることを示すデータである。concealment_motion
_vectorsは、イントラマクロブロックに伝送エラーを隠
蔽するための動きベクトルがついていることを示すデー
タである。

【０２３７】q_scale_typeは、線形量子化スケールを利
用するか、非線形量子化スケールを利用するかを示すデ
ータである。intra_vlc_formatは、イントラマクロブロ
ックに、別の２次元VLCを使うかどうかを示すデータで
ある。alternate_scanは、ジグザグスキャンを使うか、
オルタネート・スキャンを使うかの選択を表すデータで
ある。repeat_firt_fieldは、２：３プルダウンの際に
使われるデータである。chroma_420_typeは、信号フォ
ーマットが４：２：０の場合、次のprogressive_frame
と同じ値、そうでない場合は０を表すデータである。pr
ogressive_frameは、このピクチャが、順次走査できて
いるかどうかを示すデータである。composite_display_
flagは、ソース信号がコンポジット信号であったかどう
かを示すデータである。

【０２３８】v_axisは、ソース信号が、PALの場合に使
われるデータである。field_sequenceは、ソース信号
が、PALの場合に使われるデータである。sub_carrier
は、ソース信号が、PALの場合に使われるデータであ
る。burst_amplitudeは、ソース信号が、PALの場合に使
われるデータである。sub_carrier_phaseは、ソース信
号が、PALの場合に使われるデータである。

【０２３９】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用された量子化マトリ
ックスエクステンションが、履歴ストリームとして記述
されている。

【０２４０】この量子化マトリックスエクステンション
に関するデータエレメントは、extension_start_code、
extension_start_code_identifier、quant_matrix_exte
nsion_present_flag、load_intra_quantizer_matrix、i
ntra_quantizer_matrix[64]、load_non_intra_quantize
r_matrix、non_intra_quantizer_matrix[64]、load_chr
oma_intra_quantizer_matrix、chroma_intra_quantizer
_matrix[64]、load_chroma_non_intra_quantizer_matri
x、及びchroma_non_intra_quantizer_matrix[64] から
構成される。

【０２４１】extension_start_codeは、この量子化マト
リックスエクステンションのスタートを示す開始コード
である。extension_start_code_identifierは、どの拡
張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリック
スエクステンション内のデータエレメントが有効か無効
かを示すためのデータである。load_intra_quantizer_m
atrixは、イントラマクロブロック用の量子化マトリッ
クスデータの存在を示すデータである。intra_quantize
r_matrixは、イントラマクロブロック用の量子化マトリ
ックスの値を示すデータである。

【０２４２】load_non_intra_quantizer_matrixは、非
イントラマクロブロック用の量子化マトリックスデータ
の存在を示すデータである。non_intra_quantizer_matr
ixは、非イントラマクロブロック用の量子化マトリック
スの値を表すデータである。load_chroma_intra_quanti
zer_matrixは、色差イントラマクロブロック用の量子化
マトリックス・データの存在を示すデータである。chro
ma_intra_quantizer_matrixは、色差イントラマクロブ
ロック用の量子化マトリックスの値を示すデータであ
る。load_chroma_non_intra_quantizer_matrixは、色差
非イントラマクロブロック用の量子化マトリックス・デ
ータの存在を示すデータである。chroma_non_intra_qua
ntizer_matrixは、色差非イントラマクロブロック用の
量子化マトリックスの値を示すデータである。

【０２４３】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたコピーライト
エクステンションが、履歴ストリームとして記述されて
いる。

【０２４４】このコピーライトエクステンションに関す
るデータエレメントは、extension_start_code、extens
ion_start_code_itentifier、copyright_extension_pre
sent_flag、copyright_flag、copyright_identifier、o
riginal_or_copy、copyright_number_1、copyright_num
ber_2、及び copyright_number_3から構成される。

【０２４５】extension_start_codeは、コピーライトエ
クステンションのスタート示す開始コードである。exte
nsion_start_code_itentifierのどのエクステンション
データが送られるかを示すコードである。 copyright_e
xtension_present_flagは、このコピーライトエクステ
ンション内のデータエレメントが有効か無効かを示すた
めのデータである。copyright_flagは、次のコピーライ
トエクステンション又はシーケンスエンドまで、符号化
されたビデオデータに対してコピー権が与えられている
か否かを示す。

【０２４６】copyright_identifierは、ISO/IEC JTC/SC
29によって指定されたコピー権の登録機関を識別するた
めのデータである。original_or_copyは、ビットストリ
ーム中のデータが、オリジナルデータであるかコピーデ
ータであるかを示すデータである。copyright_number_1
は、コピーライトナンバーのビット４４から６３を表わ
すデータである。copyright_number_2は、コピーライト
ナンバーのビット２２から４３を表わすデータである。
copyright_number_3は、コピーライトナンバーのビット
０から２１を表わすデータである。

【０２４７】続いて、最終段の符号化処理によって生成
されたビットストリームのピクチャ層のユーザエリアに
は、過去の符号化処理において使用されたピクチャディ
スプレイエクステンション（ picture_display_extensi
on ）が、履歴ストリームとして記述されている。

【０２４８】このピクチャディスプレイエクステンショ
ンを表わすデータエレメントは、extension_start_cod
e、extension_start_code_identifier、picture_displa
y_extension_present_flag、frame_center_horizontal_
offset_1、frame_center_vertical_offset_1、frame_ce
nter_horizontal_offset_2、frame_center_vertical_of
fset_2、frame_center_horizontal_offset_3、及びfram
e_center_vertical_offset_3から構成される。

【０２４９】extension_start_codeは、ピクチャディス
プレイエクステンションのスタートを示すための開始コ
ードである。extension_start_code_identifierは、ど
の拡張データが送られるかを示すコードである。pictur
e_display_extension_present_flagは、ピクチャディス
プレイエクステンション内のデータエレメントが有効か
無効かを示すデータである。frame_center_horizontal_
offsetは、表示エリアの水平方向のオフセットを示すデ
ータであって、３つのオフセット値まで定義することが
できる。frame_center_vertical_offsetは、表示エリア
を垂直方向のオフセットを示すデータであって、３つの
オフセット値まで定義することができる。

【０２５０】最終段の符号化処理において生成されたビ
ットストリームのピクチャ層のユーザエリアには、既に
説明したピクチャディスプレイエクステンションを表わ
す履歴情報の次に、過去の符号化処理において使用され
たユーザデータが、履歴ストリームとして記述されてい
る。

【０２５１】このユーザデータの次には、過去の符号化
処理において使用されたマクロブロック層に関する情報
が、履歴ストリームとして記述されている。

【０２５２】このマクロブロック層に関する情報は、ma
croblock_address_h、macroblock_address_v、slice_he
ader_present_flag、skipped_macroblock_flag等のマク
ロブロックの位置に関するデータエレメントと、macrob
lock_quant、macroblock_motion_forward、macroblock_
motion_backward、mocroblock_pattern、macroblock_in
tra、spatial_temporal_weight_code_flag、frame_moti
on_type、及びdct_type等のマクロブロックモードに関
するデータエレメントと、quantiser_scale_code等の量
子化ステップ制御に関するデータエレメントと、PMV[0]
[0][0]、PMV[0][0][1]、motion_vertical_field_select
[0][0]、PMV[0][1][0]、PMV[0][1][1]、motion_vertica
l_field_select[0][1]、PMV[1][0][0]、PMV[1][0][1]、
motion_vertical_field_select[1][0]、PMV[1][1][0]、
PMV[1][1][1]、motion_vertical_field_select[1][1]等
の動き補償に関するデータエレメントと、coded_block_
pattern等のマクロブロックパターンに関するデータエ
レメントと、num_mv_bits、num_coef_bits、及びnum_ot
her_bits等の発生符号量に関するデータエレメントから
構成されている。

【０２５３】以下にマクロブロック層に関するデータエ
レメントについて詳細に説明する。

【０２５４】macroblock_address_hは、現在のマクロブ
ロックの水平方向の絶対位置を定義するためのデータで
ある。macroblock_address_vは、現在のマクロブロック
の垂直方向の絶対位置を定義するためのデータである。
slice_header_present_flagは、このマクロブロックが
スライス層の先頭であり、スライスヘッダを伴なうか否
かを示すデータである。skipped_macroblock_flagは、
復号化処理においてこのマクロブロックをスキップする
か否かを示すデータでる。

【０２５５】macroblock_quantは、後述する図７０乃至
図７２に示されたマクロブロックタイプ（ macroblock_
type ）から導かれるデータであって、quantiser_scale
_codeがビットストリーム中に現れるか否かを示すデー
タである。macroblock_motion_forwardは、図７０乃至
図７２に示されたマクロブロックタイプから導かれるデ
ータであって、復号化処理で使用されるデータである。
macroblock_motion_backwardは、図７０乃至図７２に示
されたマクロブロックタイプから導かれるデータであっ
て、復号化処理で使用されるデータである。mocroblock
_patternは、図７０乃至図７２に示されたマクロブロッ
クタイプから導かれるデータであって、coded_block_pa
tternがビットストリーム中に現れるか否かを示すデー
タである。

【０２５６】macroblock_intraは、図７０乃至図７２に
示されたマクロブロックタイプから導かれるデータであ
って、復号化処理で使用されるデータである。spatial_
temporal_weight_code_flagは、図７０乃至図７２に示
されたマクロブロックタイプから導かれるデータであっ
て、時間スケーラビリティで下位レイヤ画像のアップサ
ンプリング方法を示すspatial_temporal_weight_code
は、ビットストリーム中に存在するか否かを示すデータ
である。

【０２５７】frame_motion_typeは、フレームのマクロ
ブロックの予測タイプを示す２ビットのコードである。
予測ベクトルが２個でフィールドベースの予測タイプで
あれば「００」であって、予測ベクトルが１個でフィー
ルドベースの予測タイプであれば「０１」であって、予
測ベクトルが１個でフレームベースの予測タイプであれ
ば「１０」であって、予測ベクトルが１個でディアルプ
ライムの予測タイプであれば「１１」である。field_mo
tion_typeは、フィールドのマクロブロックの動き予測
を示す２ビットのコードである。予測ベクトルが１個で
フィールドベースの予測タイプであれば「０１」であっ
て、予測ベクトルが２個で１８×８マクロブロックベー
スの予測タイプであれば「１０」であって、予測ベクト
ルが１個でディアルプライムの予測タイプであれば「１
１」である。dct_typeは、DCTがフレームDCTモードか、
フィールドDCTモードかを示すデータである。quantiser
_scale_codeはマクロブロックの量子化ステップサイズ
を示すデータである。

【０２５８】次に動きベクトルに関するデータエレメン
トについて説明する。動きベクトルは、復号時に必要な
動きベクトルを減少させるために、先に符号化されたベ
クトルに関し差分として符号化される。動きベクトルの
復号を行うために復号器は、４個の動きベクトル予測値
（それぞれ水平及び垂直成分を伴なう）を維持しなけれ
ばいけない。この予測動きベクトルをPMV[r][s][v]と表
わすことにしている。[r]は、マクロブロックにおける
動きベクトルが第１のベクトルであるのか、第２のベク
トルであるのかを示すフラグであって、マクロブロック
におけるベクトルが第１のベクトルである場合には
「０」となって、マクロブロックにおけるベクトルが第
２のベクトルである場合には「１」となる。[s]は、マ
クロブロックにおける動きベクトルの方向が、前方向で
あるのか後方向であるのかを示すフラグであって、前方
向動きベクトルの場合には「０」となって、後方向動き
ベクトルの場合には「１」となる。[v]は、マクロブロ
ックにおけるベクトルの成分が、水平方向であるのか垂
直方向であるのかを示すフラグであって、水平方向成分
の場合には「０」となって、垂直方向成分の場合には
「１」となる。

【０２５９】従って、PMV[0][0][0]は、第１のベクトル
の前方向の動きベクトルの水平方向成分のデータを表わ
し、PMV[0][0][1]は、第１のベクトルの前方向の動きベ
クトルの垂直方向成分のデータを表わし、PMV[0][1][0]
は、第１のベクトルの後方向の動きベクトルの水平方向
成分のデータを表わし、PMV[0][1][1]は、第１のベクト
ルの後方向の動きベクトルの垂直方向成分のデータを表
わし、 PMV[1][0][0]は、第２のベクトルの前方向の動
きベクトルの水平方向成分のデータを表わし、PMV[1]
[0][1]は、第２のベクトルの前方向の動きベクトルの垂
直方向成分のデータを表わし、 PMV[1][1][0]は、第２
のベクトルの後方向の動きベクトルの水平方向成分のデ
ータを表わし、PMV[1][1][1] は、第２のベクトルの後
方向の動きベクトルの垂直方向成分のデータを表わして
いる。

【０２６０】motion_vertical_field_select[r][s]は、
予測の形式にいずれの参照フィールドを使用するのかを
示すデータである。このmotion_vertical_field_select
[r][s]が「０」の場合には、トップ参照フィールドを使
用し、「１」の場合には、ボトム参照フィールドを使用
することを示している。

【０２６１】よって、motion_vertical_field_select
[0][0]は、第１のベクトルの前方向の動きベクトルを生
成する際の参照フィールドを示し、motion_vertical_fi
eld_select[0][1]は、第１のベクトルの後方向の動きベ
クトルを生成する際の参照フィールドを示し、motion_v
ertical_field_select[1][0]は、第２のベクトルの前方
向の動きベクトルを生成する際の参照フィールドを示
し、motion_vertical_field_select[1][1]は、第２ベク
トルの後方向の動きベクトルを生成する際の参照フィー
ルドを示している。

【０２６２】coded_block_patternは、DCT係数を格納す
る複数のDCTブロックのうち、どのDCTブロックに、有意
係数（非０係数）があるかを示す可変長のデータであ
る。num_mv_bitsは、マクロブロック中の動きベクトル
の符号量を示すデータである。num_coef_bitsは、マク
ロブロック中のDCT係数の符号量を示すデータである。n
um_other_bitsは、マクロブロックの符号量で、動きベ
クトル及びDCT係数以外の符号量を示すデータである。

【０２６３】次に、可変長の履歴ストリームから各デー
タエレメントをデコードするためのシンタックスについ
て、図５０乃至図６９を参照して説明する。

【０２６４】この可変長の履歴ストリームは、next_sta
rt_code()関数、sequence_header()関数、sequence_ext
ension()関数、extension_and_user_data(0)関数、grou
p_of_picture_header()関数、extension_and_user_data
(1)関数、picture_header()関数、picture_coding_exte
nsion()関数、re_coding_stream_info()関数、extensio
n_and_user_data(2)関数、及びpicture_data()関数によ
って定義されたデータエレメントによって構成される。

【０２６５】next_start_code()関数は、ビットストリ
ーム中に存在するスタートコードを探すための関数であ
るので、履歴ストリームの最も先頭には、図５１に示す
ような、過去の符号化処理において使用されたデータエ
レメントであってsequence_header()関数によって定義
されたデータエレメントが記述されている。

【０２６６】sequence_header()関数によって定義され
たデータエレメントは、sequence_header_code、sequen
ce_header_present_flag、horizontal_size_value、ver
tical_size_value、aspect_ratio_information、frame_
rate_code、bit_rate_value、marker_bit、VBV_buffer_
size_value、constrained_parameter_flag、load_intra
_quantizer_matrix、intra_quantizer_matrix、load_no
n_intra_quantizer_matrix、及びnon_intra_quantizer_
matrix等である。

【０２６７】sequence_header_codeは、シーケンス層の
スタート同期コードを表すデータである。sequence_hea
der_present_flagは、sequence_header内のデータが有
効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成る
データである。vertical_size_valueは、画像の縦のラ
イン数の下位12ビットからなるデータである。aspect_r
atio_informationは、画素のアスペクト比（縦横比）ま
たは表示画面アスペクト比を表すデータである。frame_
rate_codeは、画像の表示周期を表すデータである。bit
_rate_valueは、発生ビット量に対する制限のためのビ
ット・レートの下位18ビット(400bsp単位で切り上げる)
データである。

【０２６８】marker_bitは、スタートコードエミュレー
ションを防止するために挿入されるビットデータであ
る。VBV_buffer_size_valueは、発生符号量制御用の仮
想バッファ（ビデオバッファベリファイヤー）の大きさ
を決める値の下位10ビットデータである。constrained_
parameter_flagは、各パラメータが制限以内であること
を示すデータである。load_intra_quantizer_matrix
は、イントラMB用量子化マトリックス・データの存在を
示すデータである。intra_quantizer_matrixは、イント
ラＭＢ用量子化マトリックスの値を示すデータである。
load_non_intra_quantizer_matrixは、非イントラＭＢ
用量子化マトリックス・データの存在を示すデータであ
る。non_intra_quantizer_matrixは、非イントラＭＢ用
量子化マトリックスの値を表すデータである。

【０２６９】sequence_header()関数によって定義され
たデータエレメントの次には、図５２で示すような、se
quence_extension()関数によって定義されたデータエレ
メントが、履歴ストリームとして記述されている。

【０２７０】sequence_extension()関数によって定義さ
れたデータエレメントとは、extension_start_code、ex
tension_start_code_identifier、sequence_extension_
present_flag、profile_and_level_indication、progre
ssive_sequence、chroma_format、horizontal_size_ext
ension、vertical_size_extension、bit_rate_extensio
n、vbv_buffer_size_extension、low_delay、frame_rat
e_extension_n 、及びframe_rate_extension_d等のデー
タエレメントである。

【０２７１】extension_start_codeは、エクステンショ
ンデータのスタート同期コードを表すデータである。ex
tension_start_code_identifierは、どの拡張データが
送られるかを示すデータである。sequence_extension_p
resent_flagは、シーケンスエクステンション内のデー
タが有効であるか無効であるかを示すスデータである。
profile_and_level_indicationは、ビデオデータのプロ
ファイルとレベルを指定するためのデータである。prog
ressive_sequenceは、ビデオデータが順次走査であるこ
とを示すデータである。chroma_formatは、ビデオデー
タの色差フォーマットを指定するためのデータである。
horizontal_size_extensionは、シーケンスヘッダのhor
izntal_size_valueに加える上位２ビットのデータであ
る。vertical_size_extensionは、シーケンスヘッダのv
ertical_size_value加える上位２ビットのデータであ
る。bit_rate_extensionは、シーケンスヘッダのbit_ra
te_valueに加える上位１２ビットのデータである。vbv_
buffer_size_extensionは、シーケンスヘッダのvbv_buf
fer_size_valueに加える上位８ビットのデータである。

【０２７２】low_delayは、Ｂピクチャを含まないこと
を示すデータである。frame_rate_extension_nは、シー
ケンスヘッダのframe_rate_codeと組み合わせてフレー
ムレートを得るためのデータである。frame_rate_exten
sion_dは、シーケンスヘッダのframe_rate_codeと組み
合わせてフレームレートを得るためのデータである。

【０２７３】sequence_extension()関数によって定義さ
れたデータエレメントの次には、図５３に示すようなex
tension_and_user_data(0)関数によって定義されたデー
タエレメントが、履歴ストリームとして記述されてい
る。 extension_and_user_data(i)関数は、「i」が１以
外のときは、extension_data()関数によって定義される
データエレメントは記述せずに、user_data()関数によ
って定義されるデータエレメントのみを履歴ストリーム
として記述する。よって、 extension_and_user_data
(0)関数は、 user_data()関数によって定義されるデー
タエレメントのみを履歴ストリームとして記述する。

【０２７４】user_data()関数は、図５４に示されたよ
うなシンタックスに基いて、ユーザデータを履歴ストリ
ームとして記述する。

【０２７５】extension_and_user_data(0)関数によって
定義されたデータエレメントの次には、図５５に示すよ
うなgroup_of_picture_header()関数によって定義され
たデータエレメント、及びextension_and_user_data(1)
関数によって定義されるデータエレメントが、履歴スト
リームとして記述されている。但し、履歴ストリーム中
に、GOP層のスタートコードを示すgroup_start_codeが
記述されている場合にのみ、 group_of_picture_header
()関数によって定義されたデータエレメント、及びexte
nsion_and_user_data(1)関数によって定義されるデータ
エレメントが記述されている。

【０２７６】group_of_picture_header()関数によって
定義されたデータエレメントは、group_start_code、gr
oup_of_picture_header_present_flag、time_code、clo
sed_gop、及びbroken_linkから構成される。

【０２７７】group_start_codeは、GOP層の開始同期コ
ードを示すデータである。 group_of_picture_header_p
resent_flagは、 group_of_picture_header内のデータ
エレメントが有効であるか無効であるかを示すデータで
ある。 time_codeは、GOPの先頭ピクチャのシーケンス
の先頭からの時間を示すタイムコードである。closed_g
opは、GOP内の画像が他のGOPから独立再生可能なことを
示すフラグデータである。broken_linkは、編集などの
ためにGOP内の先頭のＢピクチャが正確に再生できない
ことを示すフラグデータである。

【０２７８】extension_and_user_data(1)関数は、 ext
ension_and_user_data(0)関数と同じように、user_data
()関数によって定義されるデータエレメントのみを履歴
ストリームとして記述する。

【０２７９】もし、履歴ストリーム中に、GOP層のスタ
ートコードを示すgroup_start_codeが存在しない場合に
は、これらのgroup_of_picture_header()関数及びexten
sion_and_user_data(1)関数によって定義されるデータ
エレメントは、履歴ストリーム中には記述されていな
い。その場合には、 extension_and_user_data(0)関数
によって定義されたデータエレメントの次に、picture_
headr()関数によって定義されたデータエレメントが履
歴ストリームとして記述されている。

【０２８０】picture_headr()関数によって定義された
データエレメントは、図５６に示すように、picture_st
art_code、temporal_reference、picture_coding_typ
e、vbv_delay、full_pel_forward_vector、forward_f_c
ode、full_pel_backward_vector、backward_f_code、ex
tra_bit_picture、及びextra_information_pictureであ
る。

【０２８１】具体的には、picture_start_codeは、ピク
チャ層の開始同期コードを表すデータである。temporal
_referenceは、ピクチャの表示順を示す番号でGOPの先
頭でリセットされるデータである。picture_coding_typ
eは、ピクチャタイプを示すデータである。vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示
すデータである。full_pel_forward_vectorは、順方向
動きベクトルの精度が整数単位か半画素単位かを示すデ
ータである。forward_f_codeは、順方向動きベクトル探
索範囲を表すデータである。full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位
かを示すデータである。backward_f_codeは、逆方向動
きベクトル探索範囲を表すデータである。 extra_bit_p
ictureは、後続する追加情報の存在を示すフラグであ
る。このextra_bit_pictureが「１」の場合には、次にe
xtra_information_pictureが存在し、extra_bit_pictur
eが「０」の場合には、これに続くデータが無いことを
示している。extra_information_pictureは、規格にお
いて予約された情報である。

【０２８２】picture_headr()関数によって定義された
データエレメントの次には、図５７に示すようなpictur
e_coding_extension()関数によって定義されたデータエ
レメントが、履歴ストリームとして記述されている。

【０２８３】このpicture_coding_extension()関数によ
って定義されたデータエレメントとは、extension_star
t_code、extension_start_code_identifier、f_code[0]
[0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、int
ra_dc_precision、picture_structure、top_field_firs
t、frame_predictive_frame_dct、concealment_motion_
vectors、q_scale_type、intra_vlc_format、alternate
_scan、repeat_firt_field、chroma_420_type、progres
sive_frame、composite_display_flag、v_axis、field_
sequence、sub_carrier、burst_amplitude、及びsub_ca
rrier_phaseから構成される。

【０２８４】extension_start_codeは、ピクチャ層のエ
クステンションデータのスタートを示す開始コードであ
る。extension_start_code_identifierは、どの拡張デ
ータが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表す
データである。f_code[0][1]は、フォワード方向の垂直
動きベクトル探索範囲を表すデータである。f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲
を表すデータである。f_code[1][1]は、バックワード方
向の垂直動きベクトル探索範囲を表すデータである。in
tra_dc_precisionは、DC係数の精度を表すデータであ
る。

【０２８５】picture_structureは、フレームストラク
チャかフィールドストラクチャかを示すデータである。
フィールドストラクチャの場合は、上位フィールドか下
位フィールドかもあわせて示すデータである。top_fiel
d_firstは、フレームストラクチャの場合、最初のフィ
ールドが上位か下位かを示すデータである。frame_pred
ictive_frame_dctは、フレーム・ストラクチャの場合、
フレーム・モードDCTの予測がフレーム・モードだけで
あることを示すデータである。concealment_motion_vec
torsは、イントラマクロブロックに伝送エラーを隠蔽す
るための動きベクトルがついていることを示すデータで
ある。q_scale_typeは、線形量子化スケールを利用する
か、非線形量子化スケールを利用するかを示すデータで
ある。intra_vlc_formatは、イントラマクロブロック
に、別の２次元VLCを使うかどうかを示すデータであ
る。

【０２８６】alternate_scanは、ジグザグスキャンを使
うか、オルタネート・スキャンを使うかの選択を表すデ
ータである。repeat_firt_fieldは、２：３プルダウン
の際に使われるデータである。chroma_420_typeは、信
号フォーマットが４：２：０の場合、次のprogressive_
frame と同じ値、そうでない場合は０を表すデータであ
る。progressive_frameは、このピクチャが、順次走査
できているかどうかを示すデータである。composite_di
splay_flagは、ソース信号がコンポジット信号であった
かどうかを示すデータである。v_axisは、ソース信号
が、PALの場合に使われるデータである。field_sequenc
eは、ソース信号が、PALの場合に使われるデータであ
る。sub_carrierは、ソース信号が、PALの場合に使われ
るデータである。burst_amplitudeは、ソース信号が、P
ALの場合に使われるデータである。sub_carrier_phase
は、ソース信号が、PALの場合に使われるデータであ
る。

【０２８７】picture_coding_extension()関数によって
定義されたデータエレメントの次には、re_coding_stre
am_info()関数によって定義されたデータエレメントが
履歴ストリームとして記述されている。このre_coding_
stream_info()関数は、主に履歴情報の組み合わせを記
述する場合に用いられるものであり、その詳細について
は、図７６を参照して後述する。

【０２８８】re_coding_stream_info()関数によって定
義されたデータエレメントの次には、extensions_and_u
ser_data(2)によって定義されたデータエレメントが、
履歴ストリームとして記述されている。このextension_
and_user_data(2)関数は、図５３に示したように、ビッ
トストリーム中にエクステンションスタートコード（ex
tension_start_code）が存在する場合には、extension_
data()関数によって定義されるデータエレメントが記述
されている。このデータエレメントの次には、ビットス
トリーム中にユーザデータスタートコード（user_data_
start_code）が存在する場合には、user_data()関数に
よって定義されるデータエレメントが記述されている。
但し、ビットストリーム中にエクステンションスタート
コード及びユーザデータスタートコードが存在しない場
合には extension_data()関数 及びuser_data()関数に
よって定義されるデータエレメントはビットトリーム中
には記述されていない。

【０２８９】extension_data()関数は、図５８に示すよ
うに、extension_start_codeを示すデータエレメント
と、sequence_display_extension()関数、quant_matrix
_extension()関数、copyright_extension()関数、及びp
icture_display_extension()関数によって定義されるデ
ータエレメンエトとを、ビットストリーム中に履歴スト
リームとして記述するための関数である。

【０２９０】sequence_display_extension()関数は、ex
tension_data(i)関数が、ｉ＝０のときに存在する。ｉ
の値は、extension_data()が、group_of_pictures_head
er()に続くことはないので、１となることはない。

【０２９１】sequence_display_extension()関数は、図
５９に示すように、extension_start_code_identifie
r，video_format，colour_description，colour_primar
ies，transfer_characteristics，matrix_coefficient
s，display_horizontal_size，marker_bit，display_ve
rtical_sizeのデータエレメントより構成されている。

【０２９２】extension_start_code_identifierは、拡
張（extension）を識別するための４ビットの整数であ
る。video_formatは、符号化される前の画像の表示ビッ
トの整数である。colour_descriptionは、ビットストリ
ーム中に、colour_primaries，transfer_characteristi
cs、およびmatrix_coefficientsが存在するか否かを表
し、その値が１であるとき、これらが存在することを意
味する。

【０２９３】colour_primariesは、８ビットの整数であ
り、情報元原色の色度座標を表す。transfer_character
isticsは、８ビットの整数であり、情報元画像の光電子
変換特性を示す。matrix_coefficientsは、８ビットの
整数であり、緑、青、および赤の原色から、輝度および
色差信号を導くとき使用されるマトリクス係数を表す。
これらのcolour_primaries，transfer_characteristic
s，matrix_coefficientsは、colour_descriptionの値が
１である場合にのみ存在する。

【０２９４】display_horizontal_sizeとdisplay_verti
cal_sizeは、意図された表示の有効領域の水平方向の大
きさと垂直方向の大きさを矩形で定義する。display_ho
rizontal_sizeは、horizontal_sizeと同じ単位で定義さ
れ、display_vertical_sizeは、vertical_sizeと同じ単
位で定義される。marker_bitは、スタートコードエミュ
レーションを防止するために挿入されるビットデータで
ある。

【０２９５】quant_matrix_extension()関数によって定
義されるデータエレメントは、図６０に示すように、ex
tension_start_code、extension_start_code_identifie
r、quant_matrix_extension_present_flag、load_intra
_quantizer_matrix、intra_quantizer_matrix[64]、loa
d_non_intra_quantizer_matrix、non_intra_quantizer_
matrix[64]、load_chroma_intra_quantizer_matrix、ch
roma_intra_quantizer_matrix[64]、load_chroma_non_i
ntra_quantizer_matrix、及びchroma_non_intra_quanti
zer_matrix[64] である。

【０２９６】extension_start_codeは、この量子化マト
リックスエクステンションのスタートを示す開始コード
である。extension_start_code_identifierは、どの拡
張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリック
スエクステンション内のデータエレメントが有効か無効
かを示すためのデータである。load_intra_quantizer_m
atrixは、イントラマクロブロック用の量子化マトリッ
クスデータの存在を示すデータである。intra_quantize
r_matrixは、イントラマクロブロック用の量子化マトリ
ックスの値を示すデータである。

【０２９７】load_non_intra_quantizer_matrixは、非
イントラマクロブロック用の量子化マトリックスデータ
の存在を示すデータである。non_intra_quantizer_matr
ixは、非イントラマクロブロック用の量子化マトリック
スの値を表すデータである。load_chroma_intra_quanti
zer_matrixは、色差イントラマクロブロック用の量子化
マトリックス・データの存在を示すデータである。chro
ma_intra_quantizer_matrixは、色差イントラマクロブ
ロック用の量子化マトリックスの値を示すデータであ
る。load_chroma_non_intra_quantizer_matrixは、色差
非イントラマクロブロック用の量子化マトリックス・デ
ータの存在を示すデータである。chroma_non_intra_qua
ntizer_matrixは、色差非イントラマクロブロック用の
量子化マトリックスの値を示すデータである。

【０２９８】copyright_extension()関数によって定義
されるデータエレメントは、図６１に示すように、 ext
ension_start_code、extension_start_code_itentifie
r、copyright_extension_present_flag、copyright_fla
g、copyright_identifier、original_or_copy、copyrig
ht_number_1、copyright_number_2、及び copyright_nu
mber_3から構成される。

【０２９９】extension_start_codeは、コピーライトエ
クステンションのスタート示す開始コードである。exte
nsion_start_code_itentifierどのエクステンションデ
ータが送られるかを示すコードである。 copyright_ext
ension_present_flagは、このコピーライトエクステン
ション内のデータエレメントが有効か無効かを示すため
のデータである。

【０３００】copyright_flagは、次のコピーライトエク
ステンション又はシーケンスエンドまで、符号化された
ビデオデータに対してコピー権が与えられているか否か
を示す。copyright_identifierは、ISO/IEC JTC/SC29に
よって指定されたコピー権の登録機関を識別するための
データである。original_or_copyは、ビットストリーム
中のデータが、オリジナルデータであるかコピーデータ
であるかを示すデータである。copyright_number_1は、
コピーライトナンバーのビット４４から６３を表わすデ
ータである。copyright_number_2は、コピーライトナン
バーのビット２２から４３を表わすデータである。copy
right_number_3は、コピーライトナンバーのビット０か
ら２１を表わすデータである。

【０３０１】picture_display_extension()関数によっ
て定義されるデータエレメントは、図６２に示すよう
に、extension_start_code_identifier、frame_center_
horizontal_offset、frame_center_vertical_offset等
である。

【０３０２】extension_start_code_identifierは、ど
の拡張データが送られるかを示すコードである。 frame
_center_horizontal_offsetは、表示エリアの水平方向
のオフセットを示すデータであって、number_of_frame_
center_offsetsによって定義される数のオフセット値を
定義することができる。frame_center_vertical_offset
は、表示エリアを垂直方向のオフセットを示すデータで
あって、 number_of_frame_center_offsetsによって定
義される数のオフセット値を定義することができる。

【０３０３】再び図５０に戻って、extension_and_user
_data(2)関数によって定義されるデータエレメントの次
には、picture_data()関数によって定義されるデータエ
レメントが、履歴ストリームとして記述されている。但
し、このpicture_data()関数は、red_bw_flagが１では
ないか、または、red_bw_indicatorが２以下である場合
に存在する。このred_bw_flagとred_bw_indicatorは、r
e_coding_stream_info()関数に記述されており、これら
については、図７６と図７７を参照して後述する。

【０３０４】picture_data()関数によって定義されるデ
ータエレメントは、図６３に示すように、slice()関数
によって定義されるデータエレメントである。このslic
e()関数によって定義されるデータエレメントはビット
ストリーム中に少なくとも１個記述されている。

【０３０５】slice()関数は、図６４に示されるよう
に、slice_start_code、slice_quantiser_scale_code、
intra_slice_flag、intra_slice、reserved_bits、extr
a_bit_slice、extra_information_slice、及びextra_bi
t_slice 等のデータエレメントと、macroblock()関数に
よって定義されるデータエレメントを、履歴ストリーム
として記述するための関数である。

【０３０６】slice_start_codeは、slice()関数によっ
て定義されるデータエレメントのスタートを示すスター
トコードである。slice_quantiser_scale_codeは、この
スライス層に存在するマクロブロックに対して設定され
た量子化ステップサイズを示すデータである。しかし、
各マクロブロック毎に、quantiser_scale_codeが設定さ
れている場合には、各マクロブロックに対して設定され
たmacroblock_quantiser_scale_codeのデータが優先し
て使用される。

【０３０７】intra_slice_flagは、ビットストリーム中
にintra_slice及びreserved_bitsが存在するか否かを示
すフラグである。intra_sliceは、スライス層中にノン
イントラマクロブロックが存在するか否かを示すデータ
である。スライス層におけるマクロブロックのいずれか
がノンイントラマクロブロックである場合には、intra_
sliceは「０」となり、スライス層におけるマクロブロ
ックの全てがノンイントラマクロブロックである場合に
は、intra_sliceは「１」となる。reserved_bitsは、７
ビットのデータであって「０」の値を取る。extra_bit_
sliceは、履歴ストリームとして追加の情報が存在する
ことを示すフラグであって、次にextra_information_sl
iceが存在する場合には「１」に設定される。追加の情
報が存在しない場合には「０」に設定される。

【０３０８】これらのデータエレメントの次には、macr
oblock()関数によって定義されたデータエレメントが、
履歴ストリームとして記述されている。

【０３０９】macroblock()関数は、図６５に示すよう
に、macroblock_escape、macroblock_address_incremen
t、及びmacroblock_quantiser_scale_code、及びmarker
_bit等のデータエレメントと、macroblock_modes()関
数、motion_vectors(s)関数、及びcode_block_patter
n()関数によって定義されたデータエレメントを記述す
るための関数である。

【０３１０】macroblock_escapeは、参照マクロブロッ
クと前のマクロブロックとの水平方向の差が３４以上で
あるか否かを示す固定ビット列である。参照マクロブロ
ックと前のマクロブロックとの水平方向の差が３４以上
の場合には、macroblock_address_incrementの値に３３
をプラスする。macroblock_address_incrementは、参照
マクロブロックと前のマクロブロックとの水平方向の差
を示すデータである。もし、このmacroblock_address_i
ncrementの前にmacroblock_escapeが１つ存在するので
あれば、このmacroblock_address_incrementの値に３３
をプラスした値が、実際の参照マクロブロックと前のマ
クロブロックとの水平方向の差分を示すデータとなる。

【０３１１】macroblock_quantiser_scale_codeは、各
マクロブロック毎に設定された量子化ステップサイズで
あり、macroblock_quantが”１”のときだけ存在する。
各スライス層には、スライス層の量子化ステップサイズ
を示すslice_quantiser_scale_codeが設定されている
が、参照マクロブロックに対してmacroblock_quantiser
_scale_codeが設定されている場合には、この量子化ス
テップサイズを選択する。

【０３１２】macroblock_address_incrementの次には、
macroblock_modes()関数によって定義されるデータエレ
メントが記述されている。macroblock_modes()関数は、
図６６に示すように、macroblock_type、frame_motion_
type、field_motion_type、dct_type等のデータエレメ
ントを、履歴ストリームとして記述するための関数であ
る。

【０３１３】macroblock_typeは、マクログブロックの
符号化タイプを示すデータである。具体的には、図６７
乃至図６９に示されるように、macroblock_typeは、mac
roblock_quant、dct_type_flag、macroblock_motion_fo
rward、及びmacroblock_motion_backwardなどのフラグ
から生成された可変長データである。 macroblock_quan
tは、マクロブロックに対して量子化ステップサイズを
設定するためのmacroblock_quantiser_scale_codeが設
定されているか否かを示すフラグあって、ビットストリ
ーム中にmacroblock_quantiser_scale_codeが存在する
場合には、 macroblock_quantは「１」の値を取る。

【０３１４】dct_type_flagは、参照マクロブロックが
フレームDCT又はフィールドDCTで符号化されているかを
示すdct_typeが存在するか否かを示すためのフラグ（言
い換えるとDCTされているか否かを示すフラグ）であっ
て、ビットストリーム中にdct_typeが存在する場合に
は、このdct_type_flagは「１」の値を取る。 macroblo
ck_motion_forwardは、参照マクロブロックが前方予測
されているか否かを示すフラグであって、前方予測され
ている場合には「１」の値を取る。macroblock_motion_
backwardは、参照マクロブロックが後方予測されている
か否かを示すフラグであって、後方予測されている場合
には「１」の値を取る。

【０３１５】もし、red_bw_flagが「１」ではないか、
または、red_bw_flagが１であり、且つ、red_bw_indica
torが１以下である場合（後述する図７７の組み合わせ
が、組み合わせ１，２または３の場合）であり、macrob
lock_motion_forward又はmacroblock_motion_backward
が「１」であり、ピクチャ構造がフレームであり、さら
にframe_period_frame_dctが「０」である場合には、ma
croblock_typeを表わすデータエレメントの次にframe_m
otion_typeを表わすデータエレメントが記述されてい
る。尚、このframe_period_frame_dctは、 frame_motio
n_typeがビットストリーム中に存在するか否かを示すフ
ラグである。

【０３１６】frame_motion_typeは、フレームのマクロ
ブロックの予測タイプを示す２ビットのコードである。
予測ベクトルが２個でフィールドベースの予測タイプで
あれば「００」であって、予測ベクトルが１個でフィー
ルドベースの予測タイプであれば「０１」であって、予
測ベクトルが１個でフレームベースの予測タイプであれ
ば「１０」であって、予測ベクトルが１個でディアルプ
ライムの予測タイプであれば「１１」である。

【０３１７】frame_motion_typeを記述する条件が満足
されない場合には、macroblock_typeを表わすデータエ
レメントの次にfield_motion_typeを表わすデータエレ
メントが記述されている。

【０３１８】field_motion_typeは、フィールドのマク
ロブロックの動き予測を示す２ビットのコードである。
予測ベクトルが１個でフィールドベースの予測タイプで
あれば「０１」であって、予測ベクトルが２個で１８×
８マクロブロックベースの予測タイプであれば「１０」
であって、予測ベクトルが１個でディアルプライムの予
測タイプであれば「１１」である。

【０３１９】もし、ピクチャ構造がフレームで、 frame
_period_frame_dctがframe_motion_typeがビットストリ
ーム中に存在することを示し、且つ、frame_period_fra
me_dctがdct_typeがビットストリーム中に存在すること
を示し、さらに、red_bw_flagが「１」ではないか、ま
たは、red_bw_flagが「１」で、red_bw_indicatorが１
以下である場合には、macroblock_typeを表わすデータ
エレメントの次にdct_typeを表わすデータエレメントが
記述されている。尚、dct_typeは、DCTがフレームDCTモ
ードか、フィールドDCTモードかを示すデータである。

【０３２０】再び図６５に戻って、もし、red_bw_flag
が「１」ではないか、または、red_bw_flagが「１」
で、red_bw_indicatorが１以下であり、さらに、参照マ
クロブロックが前方予測マクロブロックであるか又は参
照マクロブロックがイントラマクロブロックであって且
つコンシール処理のマクロブロックのいずれかの場合に
は、motion_vectors(0)関数によって定義されるデータ
エレメントが記述される。また、参照マクロブロックが
後方予測マクロブロックである場合には、motion_vecto
rs(1)関数によって定義されるデータエレメントが記述
される。尚、 motion_vectors(0)関数は、第1番めの動
きベクトルに関するデータエレメントを記述するための
関数であって、motion_vectors(1)関数は、第２番めの
動きベクトルに関するデータエレメントを記述するため
の関数である。

【０３２１】motion_vectors(s)関数は、図７０に示さ
れるように、動きベクトルに関するデータエレメントを
記述するための関数である。

【０３２２】もし、動きベクトルが１個でディアルプラ
イム予測モードを使用していない場合には、motion_ver
tical_field_select[0][s]とmotion_vector(0,s)によっ
て定義されるデータエレメントが記述される。

【０３２３】このmotion_vertical_field_select[r][s]
は、第１番目の動きベクトル（前方又は後方のどちらの
ベクトルであっても良い）が、ボトムフィールドを参照
して作られたベクトルであるかトップフィールドを参照
して作られたベクトルであるかを示すフラグである。こ
の指標“r”は、第１番めのベクトル又は第２番めのベ
クトルのいずれのベクトルであるかを示す指標であっ
て、“s”は、予測方向が前方又は後方予測のいずれで
あるかを示す指標である。

【０３２４】motion_vector(r,s)関数は、図７１に示さ
れるように、motion_code[r][s][t]に関するデータ列
と、motion_residual[r][s][t]に関するデータ列と、dm
vector[t]を表わすデータとを記述するための関数であ
る。

【０３２５】motion_code[r][s][t]は、動きベクトルの
大きさを−１６〜＋１６の範囲で表わす可変長のデータ
である。 motion_residual[r][s][t]は、動きベクトル
の残差を表わす可変長のデータである。よって、このmo
tion_code[r][s][t]と motion_residual[r][s][t]との
値によって詳細な動きベクトルを記述することができ
る。 dmvector[t]は、ディユアルプライム予測モードの
ときに、一方のフィールド（例えばボトムフィールドに
対してトップフィールドを一方のフィールドとする）に
おける動きベクトルを生成するために、時間距離に応じ
て既存の動きベクトルがスケールされると共に、トップ
フィールドとボトムフィールドとのライン間の垂直方向
のずれを反映させるために垂直方向に対して補正を行う
データである。この指標“r”は、第１番めのベクトル
又は第２番めのベクトルのいずれのベクトルであるかを
示す指標であって、“s”は、予測方向が前方又は後方
予測のいずれであるかを示す指標である。“s”は、動
きベクトルが垂直方向の成分であるか水平方向の成分で
あるかを示すデータである。

【０３２６】図７１に示されmotion_vector(r,s)関数に
よって、まず、水平方向のmotion_coder[r][s][0]を表
わすデータ列が、履歴ストリームとして記述される。mo
tion_residual[0][s][t]及びmotion_residual[1][s][t]
の双方のビット数は、f_code[s][t]で示されるので、 f
_code[s][t]が１でない場合には、 motion_residual[r]
[s][t] がビットストリーム中に存在することを示すこ
とになる。水平方向成分のmotion_residual[r][s][0]が
「１」でなくて、水平方向成分のmotion_code[r][s][0]
が「０」でないということは、ビットストリーム中にmo
tion_residual[r][s][0]を表わすデータエレメントが存
在し、動きベクトルの水平方向成分が存在するというこ
とを意味しているので、その場合には、水平方向成分の
motion_residual[r][s][0]を表わすデータエレメントが
記述されている。

【０３２７】続いて、垂直方向のmotion_coder[r][s]
[1]を表わすデータ列が、履歴ストリームとして記述さ
れる。同じようにmotion_residual[0][s][t]及びmotion
_residual[1][s][t]の双方のビット数は、f_code[s][t]
で示されるので、 f_code[s][t]が１でない場合には、
motion_residual[r][s][t] がビットストリーム中に存
在することを表わすことになる。motion_residual[r]
[s][1]が「１」でなくて、motion_code[r][s][1]が
「０」でないということは、ビットストリーム中にmoti
on_residual[r][s][1]を表わすデータエレメントが存在
し、動きベクトルの垂直方向成分が存在するということ
を意味しているので、その場合には、垂直方向成分のmo
tion_residual[r][s][1]を表わすデータエレメントが記
述されている。

【０３２８】図６５に戻って、coded_block_pattern()
関数は、macroblock_patternが「１」であり、且つ、re
d_bw_flagが「１」ではないか、または、red_bw_flagが
「１」で、red_bw_indicatorが０である場合には、code
d_block_pattern()関数が、marker_bitの次に記述され
る。これらの条件が満足されない場合には、coded_bloc
k_pattern()関数は記述されない。

【０３２９】coded_block_pattern()関数は、図７２に
示すように、coded_block_pattern_420，coded_block_p
attern_1，coded_block_pattern_2のデータエレメント
より構成されている。coded_block_pattern_420は、変
数cbpを導くために使用される可変長コードである。cod
ed_block_pattern_1は、chroma_formatが４：２：２で
ある場合に、２ビットの固定長コードを付加する場合の
ものであり、coded_block_pattern_2は、chroma_format
が４：４：４である場合に、６ビットの固定長コードを
付加するものである。

【０３３０】なお、可変長フォーマットにおいては、伝
送するビットレートを減少させるために、履歴情報を削
減することができる。

【０３３１】すなわち、macroblock_typeとmotion_vect
ors()は転送するが、quantiser_scale_codeを転送しな
い場合には、slice_quantiser_scale_codeを”００００
０”とすることで、ビットレートを減少させることがで
きる。

【０３３２】また、macroblock_typeのみ転送し、motio
n_vectors()、quantiser_scale_code、およびdct_type
を転送しない場合には、macroblock_typeとして、”not
coded”を使用することで、ビットレートを減少するこ
とができる。

【０３３３】さらにまた、picture_coding_typeのみ転
送し、slice()以下の情報は全て転送しない場合には、s
lice_start_codeを持たないpicture_data()を使用する
ことで、ビットレートを減少させることができる。

【０３３４】以上においては、user_data内の２３ビッ
トの連続する”０”が出ないようにする場合に、２２ビ
ット毎に”１”を挿入するようにしたが、２２ビット毎
でなくてもよい。また、連続する”０”の個数を数え
て”１”を挿入するのではなく、Byte_allignを調べて
挿入するようにすることも可能である。

【０３３５】さらに、MPEGにおいては、２３ビットの連
続する”０”の発生を禁止しているが、実際には、バイ
トの先頭から２３ビット連続する場合だけが問題とさ
れ、バイトの先頭ではなく、途中から０が２３ビット連
続する場合は、問題とされない。従って、例えば２４ビ
ット毎に、LSB以外の位置に”１”を挿入するようにし
てもよい。

【０３３６】また、以上においては、履歴情報を、vide
o elementary streamに近い形式にしたが、packetized
elementary streamやtransport streamに近い形式にし
てもよい。また、Elementary Streamのuser_dataの場所
を、picture_dataの前としたが、他の場所にすることも
できる。

【０３３７】図１８のトランスコーダ１０１において
は、４世代分の符号化パラメータを履歴情報として後段
に出力するようにしたが、実際には、履歴情報の全てが
必要となるわけではなく、アプリケーション毎に必要な
履歴情報は異なってくる。また、実際の伝送路あるいは
記録媒体（伝送メディア）には、容量に制限があり、圧
縮しているとはいえ、全ての履歴情報を伝送するように
すると、容量的に負担となり、結果的に画像ビットスト
リームのビットレートを抑圧してしまい、履歴情報伝送
の有効性が損なわれることになる。

【０３３８】そこで、履歴情報として伝送する項目の組
み合わせを記述する記述子を履歴情報に組み込んで後段
に送信するようにし、全ての履歴情報を伝送するのでは
なく、様々なアプリケーションに対応した情報を伝送す
るようにすることができる。図７３は、このような場合
のトランスコーダ１０１の構成例を表している。

【０３３９】図７３において、図１８における場合と対
応する部分には同一の符号を付してあり、その説明は適
宜省略する。図７３の構成例においては、符号化パラメ
ータ分離装置１０５と符号化装置１０６の間、及び履歴
符号化装置１０７と符号化装置１０６の間に、符号化パ
ラメータ選択回路５０１が挿入されている。

【０３４０】符号化パラメータ選択回路５０１は、符号
化パラメータ分離装置１０５が出力するベースバンドビ
デオ信号から符号化パラメータを算出する符号化パラメ
ータ算出部５１２、符号化パラメータ分離装置１０５が
出力する、このトランスコーダ１０１において、符号化
するのに最適と判定された符号化パラメータ（いまの場
合、２世代前の符号化パラメータ）に関する情報から、
符号化パラメータと記述子（red_bw_flag，red_bw_indi
cator）を分離する組合せ記述子分離部５１１、並びに
符号化パラメータ算出部５１２が出力する符号化パラメ
ータと、組合せ記述子分離部５１１が出力する符号化パ
ラメータのうち、いずれか一方を、組合せ記述子分離部
５１１で分離された記述子に対応して選択し、符号化装
置１０６に出力するスイッチ５１３を有している。その
他の構成は、図１８における場合と同様である。

【０３４１】ここで、履歴情報として伝送する項目の組
み合わせについて説明する。履歴情報は、分類すると、
picture単位の情報と、macroblock単位の情報に分ける
ことができる。slice単位の情報は、それに含まれるmac
roblockの情報を収集することで得ることができ、GOP単
位の情報は、それに含まれるpicture単位の情報を収集
することで得ることができる。

【０３４２】picture単位の情報は、１フレーム毎に１
回伝送されるだけなので、情報伝送に占めるビットレー
トは、それほど大きくはない。これに対して、macroblo
ck単位の情報は、各macroblock毎に伝送されるため、例
えば１フレームの走査線数が５２５本で、フィールドレ
ートが６０フィールド／秒のビデオシステムの場合、１
フレームの画素数を７２０×４８０とすると、macroblo
ck単位の情報は、１フレームあたり１３５０（＝７２０
／１６×４８０／１６）回伝送することが必要となる。
このため、履歴情報の相当の部分がmacroblock毎の情報
で占められることになる。そこで、履歴情報としては、
少なくともpicture単位の情報は常に伝送するが、macro
block単位の情報は、アプリケーションに応じて選択し
て伝送するようにすることで、伝送する情報量を抑制す
ることができる。

【０３４３】履歴情報として転送されるmacroblock単位
の情報には、例えばnum_coef_bits，num_mv_bits，num_
other_bits，q_scale_code，q_scale_type，motion_typ
e，mv_vert_field_sel[][]，mv[][][]，mb_mfwd，mb_mb
wd，mb_pattern，coded_block_pattern，mb_intra，sli
ce_start，dct_type，mb_quant，skipped_mbなどがあ
る。これらは、macroblock rate informationの要素を
用いて表現されたものである。

【０３４４】num_coef_bitsは、macroblockの符号量の
うち、DCT係数に要した符号量を表す。num_mv_bitsは、
macroblockの符号量のうち、動きベクトルに要した符号
量を表す。num_other_bitsは、macroblockの符号量のう
ち、num_coef_bits及びnum_mv_bits以外の符号量を表
す。

【０３４５】q_scale_codeは、macroblockに適用された
q_scale_codeを表す。motion_typeは、macroblockに適
用された動きベクトルのtypeを表す。mv_vert_field_se
l[][]は、macroblockに適用された動きベクトルのfield
selectを表す。

【０３４６】mv[][][]は、macroblockに適用された動き
ベクトルを表す。mb_mfwdは、macroblockの予測モード
が前方向予測であることを示すフラグである。mb_mbwd
は、macroblockの予測モードが後方向予測であることを
示すフラグである。mb_patternは、macroblockのDCT係
数の非０のものの有無を示すフラグである。

【０３４７】coded_block_patternは、macroblockのDCT
係数の非０のものの有無をDCTブロック毎に示すフラグ
である。mb_intraは、macroblockがintra_macroかそう
でないかを示すフラグである。slice_startは、macrobl
ockがsliceの先頭であるか否かを示すフラグである。dc
t_typeは、macroblockがfield_dctかflame_dctかを示す
フラグである。

【０３４８】mb_quantは、macroblockがquantiser_scal
e_codeを伝送するか否かを示すフラグである。skipped_
mbは、macroblockがskipped macroblockであるか否かを
示すフラグである。

【０３４９】これらの項目は、常に全て必要であるわけ
ではなく、アプリケーションに応じて必要となる項目が
変化する。例えば、num_coef_bitsやslice_startといっ
た項目は、再エンコードした際のビットストリームをで
きる限り元の形に戻したいというtransparentという要
求を有するアプリケーションにおいて必要となる。換言
すれば、ビットレートを変更するようなアプリケーショ
ンにおいては、これらの項目は必要ではない。また、非
常に伝送路の制限が厳しい場合には、各ピクチャの符号
化タイプが判るだけでもよいようなアプリケーションも
存在する。このような状況から、履歴情報を伝送する項
目の組み合わせの例として、例えば図７４に示すような
組み合わせが考えられる。

【０３５０】図７４において、各組み合わせの中の項目
に対応する値「２」は、その情報が存在し、利用可能で
あることを意味し、「０」は、その情報が存在しないこ
とを意味する。「１」は、他の情報の存在を補助する目
的のため、あるいは、構文上存在するが、元のビットス
トリーム情報とは関係がないなど、その情報自身には意
味がないことを表している。例えば、slice_startは、
履歴情報を伝送する際のsliceの先頭のmacroblockにお
いて、「１」になるが、本来のビットストリームに対し
て、sliceが必ずしも同一位置関係にあるわけではない
場合には、履歴情報としては無意味になる。

【０３５１】図７４の例においては、（num_coef_bit
s，num_mv_bits，num_other_bits），（q_scale_code，
q_scale_type），（motion_type，mv_vert_field_sel[]
[]，mv[][][]），（mb_mfwd，mb_mbwd），（mb_patter
n），（coded_block_pattern），（mb_intra），（slic
e_start），（dct_type），（mb_quant），（skipped_m
b）の各項目の有無により、組み合わせ１乃至組み合わ
せ５の５つの組み合わせが用意されている。

【０３５２】組み合わせ１は、完全にtransparentなビ
ットストリームを再構成することを目的とした組み合わ
せである。この組み合わせによれば、発生符号量情報を
用いることによる精度の高いトランスコーディングが実
現できる。組み合わせ２も、完全にtransparentなビッ
トストリームを再構成することを目的とした組み合わせ
である。組み合わせ３は、完全にtransparentなビット
ストリームを再構成することはできないが、視覚的にほ
ぼtransparentなビットストリームを再構成できるよう
にするための組み合わせである。組み合わせ４は、tran
sparentという観点からは組み合わせ３よりも劣るが、
視覚上問題がないビットストリームの再構成ができる組
み合わせである。組み合わせ５は、transparentという
観点からは組み合わせ４よりも劣るが、少ない履歴情報
でビットストリームの完全ではない再構成ができる組み
合わせである。

【０３５３】これらの組み合わせのうち、組み合わせの
番号の数字が小さいものほど、機能的には上位である
が、履歴を転送するのに必要となる容量が多くなる。従
って、想定するアプリケーションと履歴に使用できる容
量を考慮することによって、伝送する組み合わせを決定
する必要がある。

【０３５４】次に、図７５のフローチャートを参照し
て、図７３のトランスコーダ１０１の動作について説明
する。ステップＳ４１において、トランスコーダ１０１
の復号装置１０２は、入力されたビットストリームを復
号し、そのビットストリームを符号化する際に使用され
た符号化パラメータを抽出し、その符号化パラメータを
符号化パラメータ多重装置１０３に出力するとともに、
復号したビデオデータをやはり符号化パラメータ多重装
置１０３に出力する。ステップＳ４２において、復号装
置１０２にはまた、入力されたビットストリームからus
er_dataを抽出し、履歴復号装置１０４に出力する。履
歴復号装置１０４は、ステップＳ４３において、入力さ
れたuser_dataから、組み合わせ情報（記述子）を用い
て、履歴情報としての符号化パラメータを抽出し、符号
化パラメータ多重装置１０３に出力する。

【０３５５】符号化パラメータ多重装置１０３は、ステ
ップＳ４４において、ステップＳ４１で取り出された復
号装置１０２から供給される符号化パラメータと、ステ
ップＳ４３で履歴復号装置１０４が出力した符号化パラ
メータとを、復号装置１０２から供給されるベースバン
ドのビデオデータに、図２１または図３４に示すような
フォーマットに従って多重化し、符号化パラメータ分離
装置１０５に出力する。

【０３５６】符号化パラメータ分離装置１０５は、ステ
ップＳ４５において、符号化パラメータ多重装置１０３
より供給されたベースバンドのビデオデータから符号化
パラメータを抽出し、その中から今回の符号化に最も適
している符号化パラメータを選択し、記述子とともに、
組合せ記述子分離部５１１に出力する。また、符号化パ
ラメータ分離装置１０５は、今回の符号化に最適と判定
された符号化パラメータ以外の符号化パラメータ（例え
ば、最適な符号化パラメータが２世代前の符号化パラメ
ータであると判定された場合には、それ以外の第１世
代、第３世代、及び第４世代の符号化パラメータ）を履
歴符号化装置１０７に出力する。履歴符号化装置１０７
は、符号化パラメータ分離装置１０５より入力された符
号化パラメータをステップＳ４６において、user_data
に記述し、そのuser_data（converted_history_strea
m()）を符号化装置１０６に出力する。

【０３５７】符号化パラメータ選択回路５０１の組合せ
記述子分離部５１１は、符号化パラメータ分離装置１０
５より供給されたデータから、符号化パラメータと記述
子を分離し、符号化パラメータをスイッチ５１３の一方
の接点に供給する。スイッチ５１３の他方の接点には、
符号化パラメータ算出部５１２が、符号化パラメータ分
離装置１００が出力するベースバンドのビデオデータか
ら、符号化パラメータを算出し、供給している。スイッ
チ５１３は、ステップＳ４８において、組合せ記述子分
離部５１１が出力した記述子に対応して、組合せ記述子
分離部５１１が出力した符号化パラメータ、または符号
化パラメータ算出部５１２が出力した符号化パラメータ
のいずれかを選択し、符号化装置１０６に出力する。す
なわち、スイッチ５１３では、組合せ記述子分離部５１
１から供給された符号化パラメータが有効である場合に
は、それが出力する符号化パラメータが選択されるが、
それが出力する符号化パラメータが無効であると判定さ
れた場合には、符号化パラメータ算出部５１２がベース
バンドビデオを処理することで算出した符号化パラメー
タが選択される。この選択は、伝送メディアの容量に対
応して行われる。

【０３５８】符号化装置１０６は、ステップＳ４９にお
いて、スイッチ５１３から供給された符号化パラメータ
に基づいて、符号化パラメータ分離装置１０５より供給
されたベースバンドビデオ信号を符号化する。また、ス
テップＳ５０において、符号化装置１０６は、符号化し
たビットストリームに、履歴符号化装置１０７より供給
されたuser_dataを多重化し、出力する。

【０３５９】このようにして、各履歴によって得られる
符号化パラメータの組み合わせが異なっているような場
合でも、支障なくトランスコーディングすることが可能
となる。

【０３６０】このように、履歴情報は、図４１に示した
ように、ビデオストリームのuser_data()関数の一種と
してのhistory_stream()（より正確には、converted_hi
story_stream()）で伝送される。そのhistory_stream()
のシンタックスは、図５０に示した通りである。履歴情
報の項目の組み合わせを表す記述子（red_bw_flag，red
_bw_indicator）、およびMPEGのストリームではサポー
トされていない項目（num_other_bits，num_mv_bits，n
um_coef_bits）は、この図５０の中のre_coding_stream
_info()関数により伝送される。

【０３６１】re_coding_stream_info()関数は、図７６
に示すように、user_data_start_code，re_coding_stre
am_info_ID，red_bw_flag，red_bw_indicator，marker_
bit，num_other_bits，num_mv_bits，num_coef_bitsな
どのデータエレメントより構成される。

【０３６２】user_data_start_codeは、user_dataが開
始することを表すスタートコードである。re_coding_st
ream_info_IDは、１６ビットの整数であり、re_coding_
stream_info()関数の識別のために用いられる。その値
は、具体的には、”1001 00011110 1100”（0x91ec）と
される。

【０３６３】red_bw_flagは、１ビットのフラグであ
り、履歴情報が全ての項目を伝送する場合には０とさ
れ、このフラグの値が１である場合、このフラグに続く
red_bw_indicatorを調べることにより、図７４に示した
組み合わせのうち、どの組み合わせで項目が送られてい
るのかを決定することができる。

【０３６４】red_bw_indicatorは、２ビットの整数であ
り、項目の組み合わせを図７７に示すように記述する。

【０３６５】即ち、図７４に示した５つの組み合わせの
うち、組み合わせ１の場合、red_bw_flagは０とされ、
組み合わせ２乃至組み合わせ５のとき、red_bw_flagは
１とされる。これに対して、red_bw_indicatorは、組み
合わせ２の場合０とされ、組み合わせ３の場合１とさ
れ、組み合わせ４の場合２とされ、組み合わせ５の場合
３とされる。

【０３６６】従って、red_bw_indicatorは、red_bw_fla
gが１の場合に（組み合わせ２乃至組み合わせ５の場合
に）規定される。

【０３６７】さらに、図７６に示すように、red_bw_fla
gが０である場合（組み合わせ１の場合）、マクロブロ
ック毎に、marker_bit，num_other_bits，num_mv_bit
s，num_coef_bitsが記述される。これら４つのデータエ
レメントは、組み合わせ２乃至組み合わせ５の場合（re
d_bw_flagが１の場合）規定されない。

【０３６８】図６３に示したように、picture_data()関
数は、１個以上のslice()関数から構成される。しかし
ながら、組み合わせ５の場合、picture_data()関数を含
めて、それ以下のシンタックス要素は伝送されない（図
７４）。この場合、履歴情報は、picture_typeなどのpi
cture単位の情報の伝送を意図したものとなる。

【０３６９】組み合わせ１乃至組み合わせ４の場合、図
６４に示したslice()関数が存在する。しかしながら、
このslice()関数によって決定されるsliceの位置情報
と、元のビットストリームのsliceの位置情報は、履歴
情報の項目の組み合わせに依存する。組み合わせ１また
は組み合わせ２の場合、履歴情報の元となったビットス
トリームのsliceの位置情報と、slice()関数によって決
定されるsliceの位置情報とは、同一である必要があ
る。

【０３７０】図６５に示すmacroblock()関数のシンタッ
クス要素は、履歴情報の項目の組み合わせに依存する。
macroblock_escape，macroblock_address_increment，m
acroblock_modes()関数は、常に存在する。しかしなが
ら、macroblock_escapeとmacroblock_address_incremen
tの情報としての有効性は、組み合わせによって決定さ
れる。履歴情報の項目の組み合わせが、組み合わせ１ま
たは組み合わせ２の場合、元のビットストリームのskip
ped_mb情報と同じものが伝送される必要がある。

【０３７１】組み合わせ４の場合、motion_vectors()関
数は存在しない。組み合わせ１乃至組み合わせ３の場
合、macroblock_modes()関数のmacroblock_typeによっ
て、motion_vectors()関数の存在が決定される。組み合
わせ３または組み合わせ４の場合には、coded_block_pa
ttern()関数は存在しない。組み合わせ１と組み合わせ
２の場合、macroblock_modes()関数のmacroblock_type
によって、coded_block_pattern()関数の存在が決定さ
れる。

【０３７２】図６６に示したmacroblock_modes()関数の
シンタックス要素は、履歴情報の項目の組み合わせに依
存する。macroblock_typeは、常に存在する。組み合わ
せが組み合わせ４である場合、flame_motion_type，fie
ld_motion_type，dct_typeは存在しない。

【０３７３】macroblock_typeより得られるパラメータ
の情報としての有効性は、履歴情報の項目の組み合わせ
によって決定される。

【０３７４】履歴情報の項目の組み合わせが組み合わせ
１または組み合わせ２である場合、macroblock_quant
は、元のビットストリームと同じである必要がある。組
み合わせ３または組み合わせ４の場合、macroblock_qua
ntは、macroblock()関数内のquantiser_scale_codeの存
在を表し、元のビットストリームと同じである必要はな
い。

【０３７５】組み合わせが組み合わせ１乃至組み合わせ
３である場合、macroblock_motion_forwardとmacrobloc
k_motion_backwardは、元のビットストリームと同一で
ある必要がある。組み合わせが組み合わせ４または組み
合わせ５である場合、その必要はない。

【０３７６】組み合わせが組み合わせ１または組み合わ
せ２である場合、macroblock_patternは、元のビットス
トリームと同一である必要がある。組み合わせ３の場
合、macroblock_patternは、dct_typeの存在を示すのに
用いられる。組み合わせが組み合わせ４である場合、組
み合わせ１乃至組み合わせ３における場合のような関係
は成立しない。

【０３７７】履歴情報の項目の組み合わせが組み合わせ
１乃至組み合わせ３の場合、macroblock_intraは、元の
ビットストリームと同一である必要がある。組み合わせ
４の場合には、その限りでない。

【０３７８】図５０のhistory_stream()は、履歴情報を
可変長とする場合のシンタックスであるが、図４３乃至
図４４に示すように、固定長のシンタックスとする場
合、固定長の履歴情報内に、伝送される項目中のどれが
有効であるかを示す情報としての記述子（red_bw_flag
とred_bw_indicator）をベースバンド画像に重畳し、伝
送するようにする。その結果、この記述子を調べること
により、フィールドとして存在するが、その内容は無効
であるといった判断をすることが可能となる。

【０３７９】このため、図４７に示すように、re_codin
g_stream_informationとして、user_data_start_code，
re_coding_stream_info_ID，red_bw_flag，red_bw_indi
cator，marker_bitが配置されている。それぞれの意味
は、図７６における場合と同様である。

【０３８０】このように履歴として伝送する符号化パラ
メータの要素をアプリケーションに応じた組み合わせで
伝送するようにすることで、アプリケーションに応じた
履歴を適当なデータ量で伝送するようにすることができ
る。

【０３８１】以上のように、履歴情報を可変長符号とし
て伝送する場合、re_coding_stream_info()関数は、図
７６に示すように構成され、図５０に示すように、hist
ory_stream()関数の一部として伝送される。これに対し
て、履歴情報を固定長符号として伝送する場合には、図
４７に示したように、history_stream()関数の一部とし
て、re_coding_stream_information()が伝送される。図
４７の例では、re_coding_stream_informationとして、
user_data_start_code，re_coding_stream_info_ID，re
d_bw_flag，red_bw_indicatorが伝送される。

【０３８２】また、図７３の符号化パラメータ多重装置
１０３が出力するベースバンドの信号中における履歴情
報の伝送のために、図７８に示すようなRe_Coding info
rmation Bus macroblock formatが規定される。このマ
クロブロックは、１６×１６（＝２５６）ビットで構成
される。そして、そのうちの図７８において上から３行
目と４行目に示す３２ビットが、picrate_elementとさ
れる。このpicrate_elementには、図７９乃至図８１に
示すPicture rate elementsが記述される。図７９の上
から２行目に１ビットのred_bw_flagが規定されてお
り、また、３行目に３ビットのred_bw_indicatorが規定
されている。即ち、これらのフラグred_bw_flag，red_b
w_indicatorは、図７８のpicrate_elementとして伝送さ
れる。

【０３８３】図７８のその他のデータについて説明する
と、SRIB_sync_codeは、このフォーマットのマクロブロ
ックの最初の行が左詰めにアライメントされていること
を表すコードであり、具体的には、”１１１１１”に設
定される。fr_fl_SRIBは、picture_structureがフレー
ムピクチャ構造の場合（その値が”１１”である場
合）、１に設定され、Re_Coding Information Bus macr
oblockが１６ラインを超えて伝送されることを表し、pi
cture_structureがフレーム構造ではない場合、０に設
定され、Re_Coding Information Busが１６ラインを超
えて伝送されることを意味する。この機構により、Re_C
oding Information Busが、空間的かつ時間的にデコー
ドされたビデオフレームまたはフィールドの対応する画
素にロックされる。

【０３８４】SRIB_top_field_firstは、元のビットスト
リームに保持されているtop_field_firstと同じ値に設
定され、関連するビデオのRe_Coding Information Bus
の時間的アライメントをrepeat_first_fieldとともに表
している。SRIB_repeat_first_fieldは、元のビットス
トリームに保持されているrepeat_first_fieldと同じ値
に設定される。first fieldのRe_Coding Information B
usの内容は、このフラグに示されるように繰り返される
必要がある。

【０３８５】422_420_chromaは、元のビットストリーム
が４：２：２または４：２：０のいずれであるかを表
す。その値の０は、ビットストリームが４：２：０であ
り、色差信号のアップサンプリングが、４：２：２のビ
デオが出力されるように行われたことを表す。その値の
０は、色差信号のフィルタリング処理が実行されていな
いことを表す。

【０３８６】rolling_SRIB_mb_refは、１６ビットのモ
ジュロ65521を表し、この値は、毎マクロブロック毎に
インクリメントされる。この値は、フレームピクチャ構
造のフレームに渡って連続している必要がある。さもな
くば、この値は、フィールドに渡って連続している必要
がある。この値は、０から65520の間の所定の値に初期
化される。これにより、レコーダのシステムに、ユニー
クなRe_Coding Information Busの識別子を組み込むこ
とが許容される。

【０３８７】Re_Coding Information Bus macroblockの
その他のデータの意味は、上述した通りであるので、こ
こでは省略する。

【０３８８】図８２に示すように、図７８の２５６ビッ
トのRe_Coding Information Busのデータは、１ビット
ずつ、色差データのLSBであるCb[0][0]，Cr[0][0]，Cb
[1][0]，Cr[1][0]に配置される。図８２に示すフォーマ
ットにより、４ビットのデータを送ることができるの
で、図７８の２５６ビットのデータは、図８２のフォー
マットを６４（＝２５６／４）個送ることで伝送するこ
とができる。

【０３８９】なお、上記各処理を行うコンピュータプロ
グラムは、磁気ディスク、CD-ROM等の情報記録媒体より
なる提供媒体のほか、インターネット、デジタル衛星な
どのネットワーク提供媒体を介してユーザに提供するこ
とができる。

【０３９０】

【発明の効果】以上の如く、請求項１に記載のストリー
ム伝送装置、請求項４に記載のストリーム伝送方法、お
よび請求項５に記載の提供媒体によれば、過去の符号化
処理において使用された複数の符号化パラメータを、選
択的に組み合わせて、その符号化履歴情報を生成し、符
号化ストリームに重乗するようにしたので、再符号化に
伴う画像の劣化を抑制可能なストリームを、少ない容量
のメディアを介して伝送することが可能となる。

【図面の簡単な説明】

【図１】従来のトランスコーダ１３１の構成の例を示す
ブロック図である。

【図２】従来のトランスコーダ１３１の他の構成の例を
示すブロック図である。

【図３】従来の符号化装置と復号装置の配置を説明する
図である。

【図４】高効率符号化の原理を説明する図である。

【図５】画像データを圧縮する場合におけるピクチャタ
イプを説明する図である。

【図６】画像データを圧縮する場合におけるピクチャタ
イプを説明する図である。

【図７】動画像信号を符号化する原理を説明する図であ
る。

【図８】動画像信号を符号化し、復号する装置の構成を
示すブロック図である。

【図９】画像データの構成を説明する図である。

【図１０】図８のエンコーダ１８の構成を示すブロック
図である。

【図１１】図１０の予測モード切換回路５２の動作を説
明する図である。

【図１２】図１０の予測モード切換回路５２の動作を説
明する図である。

【図１３】図１０の予測モード切換回路５２の動作を説
明する図である。

【図１４】図１０の予測モード切換回路５２の動作を説
明する図である。

【図１５】図８のデコーダ３１の構成を示すブロック図
である。

【図１６】ピクチャタイプに対応したSNR制御を説明す
る図である。

【図１７】本発明を適用したトランスコーダ１０１の構
成を示すブロック図である。

【図１８】図１７のトランスコーダ１０１のより詳細な
構成を示すブロック図である。

【図１９】図１７の復号装置１０２に内蔵されるデコー
ダ１１１の構成を示すブロック図である。

【図２０】マクロブロックの画素を説明する図である。

【図２１】符号化パラメータが記録される領域を説明す
る図である。

【図２２】図１７の符号化装置１０６に内蔵されるエン
コーダ１２１の構成を示すブロック図である。

【図２３】図１８のヒストリーフォマッタ２１１の構成
例を示すブロック図である。

【図２４】図１８のヒストリーデコーダ２０３の構成例
を示すブロック図である。

【図２５】図１８のコンバータ２１２の構成例を示すブ
ロック図である。

【図２６】図２５のスタッフ回路３２３の構成例を示す
ブロック図である。

【図２７】図２５のコンバータ２１２の動作を説明する
タイミングチャートである。

【図２８】図１８のコンバータ２０２の構成例を示すブ
ロック図である。

【図２９】図２８のディリート回路３４３の構成例を示
すブロック図である。

【図３０】図１８のコンバータ２１２の他の構成例を示
すブロック図である。

【図３１】図１８のコンバータ２０２の他の構成例を示
すブロック図である。

【図３２】図１８のユーザデータフォーマッタ２１３の
構成例を示すブロック図である。

【図３３】図１７のトランスコーダ１０１が実際に使用
される状態を示す図である。

【図３４】符号化パラメータが記録される領域を説明す
る図である。

【図３５】図１７の符号化装置１０６の変更可能ピクチ
ャタイプ判定処理を説明するフローチャートである。

【図３６】ピクチャタイプが変更される例を示す図であ
る。

【図３７】ピクチャタイプが変更される他の例を示す図
である。

【図３８】図１７の符号化装置１０６の量子化制御処理
を説明する図である。

【図３９】図１７の符号化装置１０６の量子化制御処理
を説明するフローチャートである。

【図４０】密結合されたトランスコーダ１０１の構成を
示すブロック図である。

【図４１】ビデオシーケンスのストリームのシンタック
スを説明する図である。

【図４２】図４１のシンタックスの構成を説明する図で
ある。

【図４３】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４４】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４５】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４６】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４７】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４８】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図４９】固定長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図５０】可変長の履歴情報を記録するhistory_stream
()のシンタックスを説明する図である。

【図５１】sequence_header()のシンタックスを説明す
る図である。

【図５２】sequence_extension()のシンタックスを説明
する図である。

【図５３】extension_and_user_data()のシンタックス
を説明する図である。

【図５４】user_data()のシンタックスを説明する図で
ある。

【図５５】group_of_pictures_header()のシンタックス
を説明する図である。

【図５６】picture_header()のシンタックスを説明する
図である。

【図５７】picture_coding_extension()のシンタックス
を説明する図である。

【図５８】extension_data()のシンタックスを説明する
図である。

【図５９】sequence_display_extension()のシンタック
スを説明する図である。

【図６０】quant_matrix_extension()のシンタックスを
説明する図である。

【図６１】copyright_extension()のシンタックスを説
明する図である。

【図６２】picture_display_extension()のシンタック
スを説明する図である。

【図６３】picture_data()のシンタックスを説明する図
である。

【図６４】slice()のシンタックスを説明する図であ
る。

【図６５】macroblock()のシンタックスを説明する図で
ある。

【図６６】macroblock_modes()のシンタックスを説明す
る図である。

【図６７】Ｉピクチャに対するmacroblock_typeの可変
長符号を説明する図である。

【図６８】Ｐピクチャに対するmacroblock_typeの可変
長符号を説明する図である。

【図６９】Ｂピクチャに対するmacroblock_typeの可変
長符号を説明する図である。

【図７０】motion_vectors(s)のシンタックスを説明す
る図である。

【図７１】motion_vector(r,s)のシンタックスを説明す
る図である。

【図７２】coded_block_pattern()のシンタックスを説
明する図である。

【図７３】本発明を適用したトランスコーダ１０１の他
の構成を示すブロック図である。

【図７４】履歴情報の項目の組み合わせを説明する図で
ある。

【図７５】図７３のトランスコーダ１０１の動作を説明
するフローチャートである。

【図７６】re_coding_stream_info()のシンタックスを
説明する図である。

【図７７】red_bw_flag，red_bw_indicatorを説明する
図である。

【図７８】Re_Coding Information Bus macroblock for
mationを説明する図である。

【図７９】Picture rate elementsを説明する図であ
る。

【図８０】Picture rate elementsを説明する図であ
る。

【図８１】Picture rate elementsを説明する図であ
る。

【図８２】Re_Coding Information Busが記録される領
域を説明する図である。

【符号の説明】

１ 符号化装置， ２ 復号化装置， ３ 記録媒体，
１２，１３ A/D変換器， １４ フレームメモリ，
１５ 輝度信号フレームメモリ， １６ 色差信号フ
レームメモリ， １７ フォーマット変換回路， １８
エンコーダ，３１ デコーダ， ３２ フォーマット
変換回路， ３３ フレームメモリ，３４ 輝度信号フ
レームメモリ， ３５ 色差信号フレームメモリ， ３
６，３７ D/A変換器， ５０ 動きベクトル検出回
路， ５１ フレームメモリ，５２ 予測モード切り替
え回路， ５３ 演算部， ５４ 予測判定回路，５５
DCTモード切り替え回路， ５６ DCT回路， ５７
量子化回路， ５８可変長符号化回路， ５９ 送信バ
ッファ， ６０ 逆量子化回路， ６１IDCT回路， ６
２ 演算器， ６３ フレームメモリ， ６４ 動き補
償回路，８１ 受信バッファ， ８２ 可変長復号化回
路， ８３ 逆量子化回路，８４ IDCT回路， ８５
演算器， ８６ フレームメモリ， ８７ 動き補償回
路， １０１ トランスコーダ， １０２ 復号装置，
１０３ 符号化パラメータ多重装置， １０５ 符号
化パラメータ分離装置， １０６ 符号化装置， １０
６ SDTI， １１１ デコーダ， １１２ 可変長復号
化回路， １２１ エンコーダ， １２２ 符号化パラ
メータコントローラ， １３１ トランスコーダ， １
３２ 復号装置， １３３ 符号化装置， １３４ 動
き検出部， １３５ 符号化部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 KK22 KK34 KK35 KK36 MA23 MC11 MC38 ME02 NN01 NN28 PP05 PP06 PP07 PP16 RA01 RC11 SS07 SS11 SS20 UA02 UA05 UA33 UA38 5C063 AB07 AB09 AC01 BA12 CA11 CA12

Claims (5)

【特許請求の範囲】
1. 【請求項１】 所定のメディアを介して符号化ストリー
   ムを伝送するストリーム伝送装置において、 過去の符号化処理において使用された複数の符号化パラ
   メータから所定の符号化パラメータを選択的に組み合わ
   せる組み合わせ手段と、 前記組み合わせ手段により組み合わされた前記符号化パ
   ラメータの履歴を表す符号化履歴情報を生成する生成手
   段と、 前記生成手段により生成された前記符号化履歴情報を、
   前記符号化ストリームに重乗して前記メディアに伝送す
   る伝送手段とを含むことを特徴とするストリーム伝送装
   置。
2. 【請求項２】 前記符号化ストリームは、MPEG方式で符
   号化されていることを特徴とする請求項１に記載のスト
   リーム伝送装置。
3. 【請求項３】 前記重乗手段は、前記符号化履歴情報
   を、前記符号化ストリームにuser_dataとして重乗する
   ことを特徴とする請求項１に記載のストリーム生成装
   置。
4. 【請求項４】 所定のメディアを介して符号化ストリー
   ムを伝送するストリーム伝送装置のストリーム伝送方法
   において、 過去の符号化処理において使用された複数の符号化パラ
   メータから所定の符号化パラメータを選択的に組み合わ
   せる組み合わせステップと、 前記組み合わせステップの処理により組み合わされた前
   記符号化パラメータの履歴を表す符号化履歴情報を生成
   する生成ステップと、 前記生成ステップの処理により生成された前記符号化履
   歴情報を、前記符号化ストリームに重乗して前記メディ
   アに伝送する伝送ステップとを含むことを特徴とするス
   トリーム伝送方法。
5. 【請求項５】 所定のメディアを介して符号化ストリー
   ムを伝送するストリーム伝送装置に、 過去の符号化処理において使用された複数の符号化パラ
   メータから所定の符号化パラメータを選択的に組み合わ
   せる組み合わせステップと、 前記組み合わせステップの処理により組み合わされた前
   記符号化パラメータの履歴を表す符号化履歴情報を生成
   する生成ステップと、 前記生成ステップの処理により生成された前記符号化履
   歴情報を、前記符号化ストリームに重乗して前記メディ
   アに伝送する伝送ステップとを含む処理を実行させるコ
   ンピュータが読み取り可能なプログラムを提供すること
   を特徴とする提供媒体。