JP2003092752A - 多重化装置、多重化方法、画像復号装置、画像復号方法 - Google Patents

Abstract

(57)【要約】 【課題】 符号化ビットストリームの途中からでも再生
可能にする。 【解決手段】 上位ヘッダ多重化選択部２７では、ユー
ザなどの設定による上位ヘッダ多重化指示フラグ２４に
基づいて、ＶＯＳ、ＶＯ、ＶＯＬの各ヘッダを多重化す
るかどうかを選択する。上位ヘッダ多重化指示フラグ２
４が有効を示している場合、上位ヘッダ多重化選択部２
７は、ＶＯＳ、ＶＯ、ＶＯＬヘッダをそれぞれＶＯＳヘ
ッダ多重化部２８、ＶＯヘッダ多重化部２９、ＶＯＬヘ
ッダ多重化部３０で各ヘッダ情報を多重化させる。ＶＯ
Ｓ、ＶＯ、ＶＯＬの各ヘッダ情報には、復号するのに必
要なデコーダ構成情報が含まれている。したがって、上
位ヘッダ多重化選択部２７は、送出される符号化ストリ
ームの途中からでも復号を開始できるように、複数ＶＯ
Ｐ単位にヘッダ多重化指示フラグを有効に設定し、周期
的にこれらのヘッダ情報を符号化ビットストリームに多
重化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を符号化して
符号化ビットストリームを作成する多重化装置、および
符号化ビットストリームを入力してその符号化ビットス
トリームに含まれている画像信号を復号する画像復号装
置に関し、特に、ＭＰＥＧ−４対応の多重化装置、多重
化方法、画像復号装置、画像復号方法に関するものであ
る。

【０００２】

【従来の技術】従来、画像信号を符号化または復号する
方式として、ＭＰＥＧ−４(Moving Picture Experts Gr
oup Phase-4)ビジュアル(ISO/IEC 14４９6-２)がある。
ＭＰＥＧ−４は、動画像シーケンスを時間／空間的に任
意の形状をとる動画像オブジェクトの集合体としてとら
え、各動画像オブジェクトを単位として符号化・復号化
を行う方式である。

【０００３】ＭＰＥＧ−４では時間軸を含めた動画像オ
ブジェクトをVideo Objectと呼び、Video Objectの構成
要素をVideo Object Layer(ＶＯＬ)と呼び、ＶＯＬの構
成要素をGroup of Video Object Plane(ＧＯＶ)と呼
び、ＧＯＶの各時刻の状態を表し符号化の単位となる画
像データをVideo Object Plane(ＶＯＰ)と呼ぶ。VideoO
bjectは例えば、テレビ会議のシーンの中のそれぞれの
話者や背景などに相当し、ＶＯＬはそれら話者や背景な
どの固有の時間・空間解像度をもつ単位であり、ＶＯＰ
はそれらＶＯＬの各時刻（＝フレームに相当）における
画像データである。ＧＯＶはＶＯＰを複数集めた編集や
ランダムアクセスなどの単位となるデータ構造で、必ず
しも符号化に用いられなくてもよい。

【０００４】図１４に、ＭＰＥＧ−４符号化ビットスト
リームの例を示す。ＶＯＳ(VisualObject Sequence)、
ＶＯ(Visual Object)、ＶＯＬ、ＧＯＶ、ＶＯＰそれぞ
れのヘッダ及びＶＯＰデータの先頭部分には、スタート
コードと呼ばれるビット列を含む。スタートコードは、
ユニークワード（１通りの解釈しかできないビット列）
であり、各ヘッダ情報およびＶＯＰデータ情報の始まり
を示す役割がある。ＶＯＳ、ＶＯやＶＯＬの各ヘッダ情
報には、符号化ビットストリームを復号するのに必要な
デコーダの構成に関する情報が含まれている。特に、Ｖ
ＯＬヘッダ情報には、例えば、復号画像の表示可能領域
のサイズを示す情報や、誤り耐性ツールの有無、デコー
ダのバッファの上限値等のＭＰＥＧ−４符号化ビットス
トリームの復号に必要な情報であるデコーダ構成情報が
含まれる。

【０００５】ＶＯＰデータは、被符号化領域の単位であ
るマクロブロック毎に分けられた複数の符号化データ
（図示せず）から構成されており、通常は、各符号化デ
ータのオーバヘッドとしてイントラ符号化や、インター
符号化の別を示す符号化モード情報が設定されている。
なお、イントラ符号化とは、他のＶＯＰを使用せず符号
化対象のＶＯＰ自身の情報のみで符号化する符号化モー
ドのことをいい、インター符号化とは、時間的に前後す
る他のＶＯＰの情報を使用して符号化対象のＶＯＰの情
報を符号化する符号化モードのことをいう。

【０００６】ＭＰＥＧ−４符号化ビットストリームを送
出する従来の多重化装置では、図１４に示すように、符
号化ビットストリームの先頭でのみ、デコーダ構成情報
を含むヘッダ情報、すなわちＶＯＳ、ＶＯやＶＯＬの各
ヘッダ情報を送出し、以降はＶＯＰヘッダとＶＯＰデー
タのみを送出するようにしていた。

【０００７】

【発明が解決しようとする課題】しかし、このような従
来の多重化装置では、上述したように符号化ビットスト
リームの先頭でのみ、デコーダ構成に関する情報を含む
ヘッダ情報を送出するため、復号側で、符号化ビットス
トリームの途中から復号を開始しようとすると、多重化
装置からはＶＯＰヘッダとＶＯＰデータしか送出されな
いため、復号に必要な情報を取得できずに、復号を行う
ことができない、という問題があった。

【０００８】そこで、本発明は、このような問題を鑑み
てなされたものであり、符号化ビットストリームの途中
からも再生することができる符号化ビットストリームを
多重化する多重化装置、多重化方法、およびこのような
符号化ビットストリームの途中からも再生することがで
きる画像復号装置、画像復号方法を提供することを目的
とする。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、本発明では、符号化ビットストリームを多重化する
多重化装置において、上記符号化ビットストリームの復
号に必要な情報であるデコーダ構成情報を含むヘッダ情
報を上記符号化ビットストリームに周期的に多重化する
ヘッダ多重化手段を備えたことを特徴とする。

【００１０】特に、符号化ビットストリームは、ＭＰＥ
Ｇ−４符号化ビットストリームであり、上記符号化ビッ
トストリームの復号に必要な情報であるデコーダ構成情
報を含むヘッダ情報とは、ＶＯＬヘッダ情報であること
を特徴とする。

【００１１】また、上記ヘッダ多重化手段は、上記符号
化ビットストリームの復号に必要な情報であるデコーダ
構成情報を含むヘッダ情報として、複数のＶＯＬヘッダ
情報を上記符号化ビットストリームに周期的に多重化す
る場合には、２番目以降のＶＯＬヘッダ情報には、ＶＢ
Ｖバッファの現在の占有量を計算し多重化することを特
徴とする。

【００１２】また、上記ヘッダ多重化手段は、２番目以
降のＶＯＬヘッダ情報にＶＢＶバッファの現在の占有量
を計算し多重化する場合、ＶＢＶバッファの占有量が所
定長さで多重化されるようにスタッフィングビットを挿
入することを特徴とする。

【００１３】また、符号化ビットストリームを多重化す
る多重化方法において、上記符号化ビットストリームの
復号に必要な情報であるデコーダ構成情報を含むヘッダ
情報を上記符号化ビットストリームに周期的に多重化す
ることを特徴とする。

【００１４】また、デコーダ構成情報を含むヘッダ情報
が周期的に多重化された符号化ビットストリームを復号
する画像復号装置において、上記符号化ビットストリー
ムより、デコーダ構成情報を含むヘッダ情報のスタート
コードを探索して復号するスタートコード解析手段と、
上記スタートコード解析手段により復号されたスタート
コードに続くヘッダ情報を復号するヘッダ情報解析手段
と、上記ヘッダ情報解析手段により復号されたヘッダ情
報に含まれるデコーダ構成情報を用いて、以降の符号化
ビットストリームの復号を行うビデオ信号解析手段と、
を備えたことを特徴とする。

【００１５】特に、さらに、上記符号化ビットストリー
ムを受信して保持する入力バッファを備え、上記符号化
ビットストリームに周期的に多重化されたデコーダ構成
情報を含むヘッダ情報には、ＶＢＶバッファの現在の占
有量に関する情報が含まれており、上記ヘッダ情報解析
手段は、上記入力バッファより読み出したヘッダ情報を
復号して、復号したヘッダ情報よりＶＢＶバッファの現
在の占有量に関する情報を取得し、上記ビデオ信号解析
手段は、上記入力バッファのデータ占有量が、上記取得
したＶＢＶバッファの現在の占有量の値になるまで符号
化ビットストリームを蓄積して復号開始を行う、ことを
特徴とする。

【００１６】また、デコーダ構成情報を含むヘッダ情報
が周期的に多重化された符号化ビットストリームを復号
する画像復号方法において、上記符号化ビットストリー
ムより、デコーダ構成情報を含むヘッダ情報のスタート
コードを探索して復号すると共に、スタートコードに続
くヘッダ情報を復号し、そのヘッダ情報に含まれるデコ
ーダ構成情報を用いて、以降の符号化ビットストリーム
の復号を行う、ことを特徴とする。

【００１７】

【発明の実施の形態】実施の形態１．本実施の形態１で
は、ISO/IEC 14４96-2にて開示されているMPEG-4ビジュ
アル方式で符号化された符号化ビットストリーム(以
下、単にMPEG-4符号化ビットストリームと称する)を多
重化する際、復号に必要なデコーダ構成情報を含む下記
のヘッダ情報を周期的に送出することを特徴とする多重
化装置、多重化方法、およびこのような符号化ビットス
トリームを復号する画像復号装置、画像復号方法につい
て説明する。

【００１８】[多重化装置側の説明]図１は、本実施の形
態１における多重化装置の構成例を示す。図１におい
て、１は入力する動画像シーケンス（以下、入力画像と
略す。）２を符号化して送出する多重化装置、２は入力
画像、３は入力画像２をMPEG-4符号化して符号化ビット
ストリームを生成する画像符号化部、４は符号化ビット
ストリーム、５は生成された符号化ビットストリームを
送出する符号化ビットストリーム送出部、６は送出され
た符号化ビットストリームである。

【００１９】図２は、図1に示す多重化装置１の構成要
素である画像符号化部３の構成を示す図である。図２に
おいて、７は形状符号化部、８は動き補償予測部、９は
テクスチャ符号化部、１０はメモリ、１１はヘッダ多重
化部、１２はビデオ信号多重化部、１３は減算器、１４
は加算器、１５は形状符号化情報、１６は局所復号形状
情報、１７は動き情報、１８は予測画像、１９は参照デ
ータ、２０は予測誤差画像、２１はテクスチャ符号化情
報、２２は局所復号予測誤差画像、２３は局所復号画
像、２４は上位ヘッダ多重化指示フラグ、２５はビット
ストリームである。

【００２０】次に、図１および図２に示す本実施の形態
１における多重化装置１の動作について説明する。図２
に示すように、動画像シーケンスである入力画像２は、
画像符号化部３の形状符号化部７と、動き補償予測部８
と、減算器１３とにそれぞれ入力する。その際、入力画
像２は、形状データをアルファブロックとよばれる１６
画素×１６画素の領域ごとに、また、テクスチャデータ
をマクロブロックとよばれる１６画素×１６画素の領域
ごとに符号化される。

【００２１】形状符号化部７では、入力されるアルファ
ブロックの符号化を行い、形状符号化情報１５と局所復
号形状情報１６とを出力する。形状符号化情報１５はビ
デオ信号多重化部１２に送られ、局所復号形状情報１６
は動き補償予測部８とテクスチャ符号化部９に入力され
る。

【００２２】動き補償予測部８では、メモリ１０中の参
照データを入力し、マクロブロック単位にてブロックマ
ッチングを行い、動き情報１７を得る際、動き補償予測
部８は、局所復号形状情報１６に基づきマクロブロック
中に含まれるオブジェクトのみを対象としたブロックマ
ッチングにより動き情報１７を得る。また、動き補償予
測部８は、動き情報１７に対応した位置の参照データ１
９をメモリ１０から入力し、局所復号形状情報１６に基
づき予測画像を作成する。動き補償予測部８において作
成された動き情報１７はビデオ信号多重化部１２へ、予
測画像１８は減算器１３と、加算器１４とへ出力され
る。

【００２３】減算器１３では、入力画像２と予測画像の
差分画像を作成し、予測誤差画像２０を得る。

【００２４】テクスチャ符号化部９では、減算器より出
力される予測誤差画像２０をＭＰＥＧ−４で定められる
所定の方法で符号化し、テクスチャ符号化情報２１およ
び局所復号予測誤差画像２２を得る。この際、局所復号
形状情報１６に基づきブロック中に含まれるオブジェク
トのみを対象とした符号化を行う。テクスチャ符号化情
報２１はビデオ信号多重化部１２へ送られ、局所復号予
測誤差画像２２は加算器１４へ出力される。

【００２５】加算器１４では、予測画像１８と局所復号
予測誤差画像２２との加算を行って局所復号画像２３を
作成し、メモリ１０へ書き込む。以上の処理をマクロブ
ロック単位に行い、１つのＶＯＰに含まれるすべてのマ
クロブロックについて処理が終了したら１つのＶＯＰの
符号化処理を終了する。さもなければ、マクロブロック
の符号化処理を継続する。ここまでの処理は、通常のＭ
ＰＥＧ−４符号化方式の符号化装置と何ら変わらない。

【００２６】次に、ヘッダ多重化部１１は、符号化ビッ
トストリームの先頭にＶＯＳ、ＶＯ、ＶＯＬの各ヘッダ
を多重化するが、本実施の形態１では、次に説明するよ
うに、ユーザなどの設定による外部からの上位ヘッダ多
重化指示フラグ２４に基づき、符号化ビットストリーム
の途中でも、その符号化ビットストリームの復号に必要
な情報であるデコーダ構成情報を含むヘッダ情報である
ＶＯＳ、ＶＯ、ＶＯＬの各ヘッダ情報を符号化ビットス
トリームに周期的に多重化するようにする。

【００２７】図３に、実施の形態１のヘッダ多重化部１
１の内部構成を示す。図において、２４は上位ヘッダ多
重化指示フラグ、２７は上位ヘッダ多重化選択部、２８
はＶＯＳヘッダ多重化部、２９はＶＯヘッダ多重化部、
３０はＶＯＬヘッダ多重化部、３１はＶＯＰヘッダ多重
化部である。

【００２８】図３に示すヘッダ多重化部１１の動作につ
いて説明する。まず、上位ヘッダ多重化選択部２７で
は、ユーザなどの設定やタイマからのクロック、プログ
ラマブルな設定等による上位ヘッダ多重化指示フラグ２
４に基づいて、ＶＯＳ、ＶＯ、ＶＯＬの各ヘッダ情報を
符号化ビットストリームの途中に周期的に多重化するか
否かを選択する。

【００２９】つまり、上位ヘッダ多重化指示フラグ２４
が有効を示している場合、上位ヘッダ多重化選択部２７
は、ＶＯＳ、ＶＯ、ＶＯＬヘッダをそれぞれＶＯＳヘッ
ダ多重化部２８、ＶＯヘッダ多重化部２９、ＶＯＬヘッ
ダ多重化部３０で各ヘッダ情報を多重化させる。ＶＯ
Ｓ、ＶＯ、ＶＯＬの各ヘッダ情報には、符号化ビットス
トリームを復号するのに必要なデコーダ構成情報が含ま
れている。したがって、本実施の形態１の多重化装置１
では、送出される符号化ストリームの途中からでも復号
を開始できるように、タイマからのクロック等によって
複数ＶＯＰ単位にヘッダ多重化指示フラグ２４を有効に
設定したり、複数のＶＯＰ単位を予め決めておいたり、
あるいは複数のＶＯＰ単位をプログラマブルに設定等す
ることにより、周期的にこれらのヘッダ情報を符号化ビ
ットストリームの途中に多重化する。

【００３０】なお、上位ヘッダ多重化選択部２７は、上
位ヘッダ多重化指示フラグ２４の有効指示に基づき、Ｖ
ＯＳ、ＶＯ、ＶＯＬの各ヘッダ情報を符号化ビットスト
リームに周期的に多重化する際、ＶＯＳ、ＶＯ、ＶＯＬ
全てのヘッダ情報を多重化することは必ずしも必要では
ない。これは、ＶＯＬヘッダには、ＶＯＬヘッダ以降の
ＶＯＰの復号に必要な情報が含まれているため、ＶＯＬ
ヘッダの周期的な多重化は、ＶＯＬヘッダに含まれる情
報を符号化側と復号側で予めやりとりをするようなシス
テムレイヤを含まない本実施の形態１では必須である
が、ＶＯＳ、ＶＯのヘッダ情報は以降の復号に必ずしも
必要な情報ではないため、符号化ビットストリーム６の
先頭または途中にてＶＯＳ、ＶＯのヘッダ情報を省略で
きる場合には、省略して、ＶＯＬヘッダのみを符号化ビ
ットストリームの途中に周期的に多重化すれば良い。

【００３１】一方、上位ヘッダ多重化指示フラグ２４が
有効を示していない場合、上位ヘッダ多重化選択部２７
は、ＶＯＳ、ＶＯ、ＶＯＬヘッダをそれぞれＶＯＳヘッ
ダ多重化部２８、ＶＯヘッダ多重化部２９、ＶＯＬヘッ
ダ多重化部３０で多重化させない。

【００３２】そして、上位ヘッダ多重化選択部２７は、
上位ヘッダ多重化指示フラグ２４が有効を示していると
いないに関わらず、ＶＯＰヘッダ多重化部３１にてＶＯ
Ｐヘッダを多重化させ、各ヘッダ情報が多重化されたビ
ットストリーム２５をビデオ信号多重化部１２へ出力さ
せる。

【００３３】ビデオ信号多重化部１２では、図２に示す
ように、ヘッダ多重化部１１にて各ヘッダ情報が多重化
されたビットストリーム２５に、形状符号化情報１５
や、動き情報１７、テクスチャ符号化情報２１、マクロ
ブロック単位の符号化モード情報等の多重化を行い、符
号化ビットストリーム４として符号化ビットストリーム
送出部５へ出力する。

【００３４】符号化ビットストリーム送出部５は、画像
符号化部３からの符号化ビットストリーム４を、符号化
ビットストリーム６として送出する。

【００３５】図４に、本実施の形態１で述べた多重化装
置１の符号化ビットストリーム送出部５より出力される
符号化ビットストリーム６の一例を示す。図４は、１つ
の符号化ビットストリーム６を示しており、０．５秒
や、１秒、２秒などの複数のフレーム単位、すなわち複
数のＶＯＰデータ単位の周期的にＶＯＳ、ＶＯ、ＶＯＬ
の各ヘッダが多重化されている。勿論、１ＶＯＰデータ
毎の１フレーム毎にＶＯＳ、ＶＯ、ＶＯＬの各ヘッダが
多重化するようにしても良く、このようにすれば、符号
化ビットストリーム６の途中でもフレーム毎に復号再生
が可能となる。

【００３６】ここで、複数のフレーム単位の周期的と
は、一定フレーム単位の一定周期でも、あるいはプログ
ラマブルに設定による可変フレーム単位の不定期、例え
ば符号化ビットストリーム６のコンテンツ等に応じ、人
物などの動きが大きかったり、番組のクライマックス部
分で、符号化ビットストリーム６の途中からの再生が多
いと考えられる部分では、小さい周期でＶＯＳ、ＶＯ、
ＶＯＬの各ヘッダを多重化する一方、動きが少なかった
り、番組のクライマックス部分でなく、符号化ビットス
トリーム６の途中からの再生が少ないと考えられる部分
では、大きい周期でＶＯＳ、ＶＯ、ＶＯＬの各ヘッダを
多重化するようにしても勿論良く、要は、符号化ビット
ストリーム６の先頭だけでなく、途中にＶＯＳ、ＶＯ、
ＶＯＬの各ヘッダが多重化されていれば良い。

【００３７】また上述したように、ＶＯＬヘッダには、
以降のＶＯＰの復号に必要な情報が含まれているため、
ＶＯＬヘッダの１または複数のフレーム単位の周期的な
多重化は必須であるが、ＶＯＳ、ＶＯのヘッダは、以降
のＶＯＰの復号に必ずしも必要な情報ではないため、符
号化ビットストリーム６の先頭または途中にてＶＯＳ、
ＶＯのヘッダを省略できる場合には省略して、１または
複数のフレーム単位の周期的にＶＯＬのヘッダを多重化
すれば良い。

【００３８】なお、本実施の形態１においては、多重化
装置１は、画像符号化部３にて動画像シーケンスである
入力画像２をリアルタイムに符号化して多重化し、送出
する場合を想定したが、予め符号化されて蓄積された符
号化ビットストリームを多重化する場合も同様に、符号
化ビットストリーム６の途中にＶＯＳ、ＶＯ、ＶＯＬの
各ヘッダ情報を周期的に多重化することができる。

【００３９】[画像復号装置側の説明]次に、多重化装置
１からの図４に示すような符号化ビットストリーム６を
受信して復号する本実施の形態１の画像復号装置２６に
ついて説明する。

【００４０】図５に、本実施の形態１における画像復号
装置２６の構成例を示す。同図において、６は上述の多
重化装置１より送出される図４に示す符号化ビットスト
リーム、２６は画像復号装置、２７は加算器、２８はヘ
ッダ解析部、２９はヘッダ情報が解析されたビットスト
リーム、３０はビデオ信号解析部、３１は形状符号化デ
ータ、３２は形状復号部、３３は復号形状データ、３４
はテクスチャ符号化データ、３５は動き情報、３６は動
き補償部、３７は復号予測テクスチャデータ、３８はテ
クスチャ復号部、３９は出力テクスチャデータ、４０は
メモリ、４１は参照データ、４２は復号テクスチャデー
タである。

【００４１】次の動作を説明する。本実施の形態１にお
ける画像復号装置２６では、以下に示すように動作し
て、多重化装置１より送出される符号化ストリーム６の
先頭だけでなく、途中から受信して復号を開始する。

【００４２】つまり、符号化ビットストリーム６が画像
復号装置２６のヘッダ解析部２８に入力されると、ま
ず、ヘッダ解析部２８では、後述するように、ＶＯＳ、
ＶＯ、ＶＯＬのいずれかのヘッダの先頭を示すスタート
コードを探索し、それに続くヘッダ情報を解析する。

【００４３】ヘッダ解析部２８においてヘッダ情報が解
析されたビットストリーム２９は、ビデオ信号解析部３
０に入力され、ビデオ信号解析部３０によりＶＯＰデー
タが解析されて、形状符号化データ３１と、テクスチャ
符号化データ３４と、動き情報３５とに分けられ、各
々、形状復号部３２、動き補償部３６、テクスチャ復号
部３８に出力される。

【００４４】形状復号部３２は、入力される形状符号化
データ３１の復号を行い、復号形状データ３３を出力す
る。

【００４５】動き補償部３６は、メモリ４０中の参照デ
ータ４１とビデオ信号解析部３０から入力される動き情
報３５から復号予測テクスチャデータ３７を出力する。

【００４６】テクスチャ復号部３８は、テクスチャ符号
化データ３４に基づいてＭＰＥＧ−４で定められる所定
の方法で画像データに復元し、復号テクスチャデータ４
２を生成する。

【００４７】加算器２７は、復号予測テクスチャデータ
３７と復号テクスチャデータ４２を加算し、復号画像で
ある出力テクスチャデータ３９として出力したり、メモ
リ４０へ出力して記憶させる。

【００４８】図６は、ヘッダ解析部２８の内部構成を詳
細に示した図である。図６において、４３はスタートコ
ード解析部、４４はＶＯＳヘッダ解析部、４５はＶＯヘ
ッダ解析部、４６はＶＯＬヘッダ解析部、４７はＧＯＶ
ヘッダ解析部、４８はＶＯＰヘッダ解析部、４９はＶＯ
Ｌヘッダ情報、６９はＶＯＰヘッダ情報である。

【００４９】次に、図６に示すヘッダ解析部２８の動作
を詳細に説明する。ヘッダ解析部２８におけるヘッダ解
析処理では、まず、スタートコード解析部４３において
ＶＯＳ、ＶＯ、ＶＯＬのいずれかのスタートコードか否
かを判定し、ＶＯＳスタートコードが検出された場合に
は、ＶＯＳヘッダ解析部４４でスタートコードに続くヘ
ッダ情報の解析を行う。また、ＶＯスタートコード、Ｖ
ＯＬスタートコードが検出された場合にも、同様に、そ
れぞれ、ＶＯヘッダ解析部４５、ＶＯLヘッダ解析部４
６にて、各スタートコードに続くヘッダ情報の解析を行
う。

【００５０】ここで、ＶＯＬヘッダ情報には、以降のＶ
ＯＰの復号に必要な情報が含まれているため、ＶＯＬヘ
ッダ解析部４６より出力されるＶＯＬヘッダ情報４９
は、ＶＯＰヘッダ解析部４８と、ビデオ信号解析部３０
とへ出力される。

【００５１】一方、ＶＯＳ、ＶＯ、ＶＯＬのいずれのス
タートコードも検出されない場合、スタートコード解析
部４３は、ＶＯＳ、ＶＯ、ＶＯＬのいずれかのスタート
コードの探索を続ける。

【００５２】ＶＯＬヘッダ解析部４６以降の処理は、ス
タートコード解析部４３にて次にＧＯＶスタートコード
が検出されると、ＧＯＶヘッダ解析部４７にて、スター
トコードに続くＧＯＶヘッダ情報の解析を行う。

【００５３】次に、スタートコード解析部４３にて、Ｖ
ＯＰスタートコードが検出された場合には、ＶＯＰヘッ
ダ解析部４８にて、ＶＯＬヘッダ情報４９を基に、スタ
ートコードに続くＶＯＰヘッダ情報の解析を行う。ＶＯ
Ｐヘッダ情報６９は、以降のＶＯＰデータの解析に必要
な情報であるため、ビデオ信号解析部３０へ出力され
る。

【００５４】ビデオ信号解析部３０では、符号化ビット
ストリーム６の途中であっても、ＶＯＬヘッダ解析部４
６より出力されるＶＯＬヘッダ情報４９と、ＶＯＰヘッ
ダ解析部４８より出力されるＶＯＰヘッダ情報４９と
が、ヘッダ情報が解析されたビットストリーム２９とが
送られてくると、ＶＯＰデータであるビデオ信号の解析
を行う。

【００５５】従って、本実施の形態１によれば、符号化
側で、符号化ビットストリーム６の途中からのデコーダ
に必要なデコーダ構成情報を含むヘッダ情報であるＶＯ
Ｌのヘッダ情報等を周期的に多重化して送出するように
したため、復号側では、符号化ビットストリーム６の途
中から受信を始めた場合でも、デコーダ構成情報を含む
次のＶＯＬヘッダ情報等のヘッダ情報を探索し、次のＶ
ＯＬヘッダ情報等のヘッダ情報が検出された時点から復
号を開始することができる。

【００５６】実施の形態２．本実施の形態２では、実施
の形態１で述べた多重化装置３および画像復号装置２６
の別の実施の形態を説明する。

【００５７】MPEG-4のＶＯＬヘッダ情報には、ＶＢＶ(V
ideo Buffering Verifier)バッファと呼ばれるデコーダ
バッファの規定に関する情報であるＶＢＶバッファ情報
が含まれている。MPEG-4では、MPEG-4符号化ビットスト
リームを復号するデコーダの入力バッファのオーバーフ
ロー、アンダーフローを防止するために、エンコーダ
（符号化）側で仮想的なデコーダモデルを想定し、所定
のバッファ容量を持つデコーダが、所定の最大ビットレ
ートでストリームを受信する際に、バッファを破綻させ
ることなく復号することができるように、符号量の制御
を行う。

【００５８】ＶＢＶバッファ情報には、ＶＢＶバッファ
容量の上限値や、符号化ストリームが送出される際の最
大ビットレート、ＶＢＶバッファの初期占有量等が含ま
れている。デコーダは、入力バッファ等のデコーダバッ
ファの占有量が、ＶＢＶバッファ情報が示すＶＢＶバッ
ファの初期占有量で示される値になったときに、ＶＯＬ
ヘッダに続く最初のＶＯＰの復号を開始する。ただし、
これらのＶＢＶバッファ情報は、必ずしも符号化ビット
ストリームに多重化されている必要はなく、符号化ビッ
トストリームにこれらの情報が多重化されていない場合
には、デフォルトで規定されている値を用いることにな
る。

【００５９】本実施の形態２では、上記実施の形態１で
述べた多重化装置１から送出される符号化ビットストリ
ーム６のように、この符号化ビットストリーム６の復号
に必要な情報であるデコーダ構成情報を含むＶＯＬヘッ
ダ等のヘッダ情報が周期的に多重化されたストリームを
復号側で復号する際、バッファ破綻や、同期ズレが発生
しないようにした場合について述べる。

【００６０】図７（ａ），（ｂ）に、それぞれ、符号化
ビットストリーム６先頭の1番目のＶＯＬヘッダから復
号する場合と、符号化ビットストリーム６中途の２番目
のＶＯＬヘッダから復号を開始する場合の２通りの場合
について、ＶＢＶバッファ占有量の推移の例を示す。図
７の例では、（ａ），（ｂ）共に、ＶＯＬヘッダに、Ｖ
ＢＶバッファ情報を多重化しない場合を示している。Ｖ
ＢＶバッファ情報を符号化ビットストリーム６に多重化
しない場合、デコーダは1番目のＶＯＬヘッダから復号
する際、図７(a)に示すようにデフォルトで規定される
ＶＢＶバッファの値(vbv_occupancy １)を用いて処理
することになる。

【００６１】しかし、ＶＯＬヘッダにＶＢＶバッファ情
報が多重化しない場合に、２番目以降のＶＯＬヘッダよ
り復号を開始する場合は、図７(b)に示すように、ＶＢ
Ｖバッファが実際の値(vbv_occupancy ２)ではなく、
ＶＢＶバッファの初期占有量として、1番目のＶＯＬヘ
ッダを復号する際にも使用したデフォルトの固定値(vbv
_occupancy １)を設定して復号を開始することによ
り、ＶＢＶバッファのアンダーフローによる破綻を起こ
す可能性がある。

【００６２】また、ＶＢＶバッファの初期占有量に基づ
きＶＯＬに続く最初のＶＯＰの復号時刻を決定するた
め、ＶＯＬヘッダにＶＢＶバッファ情報が多重化してい
ない２番目以降のＶＯＬヘッダより復号を開始する場合
は、図７(b)に示すように、1番目のＶＯＬヘッダを復号
する際にも使用したデフォルトの固定値(vbv_occupancy
１) に基づきＶＯＬに続く最初のＶＯＰの復号時刻ｔ
4’を決定することになり、図７(a)に示す復号時刻ｔ4
のとの間で同期がずれる可能性がある。

【００６３】そこで、本実施の形態２で述べる多重化装
置１の画像符号化部３では、２番目以降のＶＯＬヘッダ
情報には、すなわち符号化ビットストリーム６の途中に
周期的に多重するＶＯＬヘッダ情報には、必ず、ＶＢＶ
バッファ占有量の実際の値を計算し、多重化するように
する。

【００６４】[多重化装置側の説明]図８に、本実施の形
態２の画像符号化部３の内部構成を示す。図８におい
て、５０はＶＢＶバッファ占有量計算部であり、それ以
外の構成は、図２に示す実施の形態１の画像符号化部３
の構成と同じであるが、ＶＢＶバッファ占有量計算部５
０の追加に伴い、本実施の形態２のビデオ信号多重化部
１２、ヘッダ多重化部１１の機能には、本実施の形態２
特有の新たな機能が付加されている。

【００６５】次に、本実施の形態２の画像符号化部３の
動作を図８を用いて、詳細に説明する。なお、ビデオ信
号多重化部１２、ＶＢＶバッファ占有量計算部５０と、
ヘッダ多重化部１１以外の動作は、実施の形態１で述べ
た画像符号化部３と同一であるため、説明を省略する。

【００６６】本実施の形態２のビデオ信号多重化部１２
では、符号化ビットストリーム６を作成するとともに、
１ＶＯＰの符号量を算出する。１ＶＯＰの符号量５１は
ＶＢＶバッファ占有量計算部５０へ出力される。

【００６７】次に、ＶＢＶバッファ占有量計算部５０の
動作を、図９を用いて説明する。

【００６８】図９は、ＶＢＶバッファ占有量(vbv_occup
ancy)の推移の一例を表したものである。図９におい
て、縦軸はＶＢＶバッファの占有量(vbv_occupancy)
を、横軸は各ＶＯＰの復号時刻を表す。なお、図９にお
いて、固定ビットレートを想定しているが、可変ビット
レートの場合もあり得、同様にＶＢＶバッファ占有量が
推移する。

【００６９】ＶＢＶバッファ占有量計算部５０では、Ｖ
ＯＰの復号時刻に基づき、そのＶＯＰが復号を開始する
直前のＶＢＶバッファ占有量を算出する。時刻t_nにおけ
るＶＯＰ復号直前のバッファ占有量をb_nとすると、b_nは
式(1)により算出される。なお、式(1)において、R
_ＶＯＬ(t)は時刻tにおけるビットレートを示す。つま
り、ＶＢＶバッファには、所定のビットレートで順次符
号化データが供給されることを想定する。

【００７０】

【数１】

【００７１】さらに、ビデオ信号多重化部１２より出力
される1ＶＯＰの符号量５１に基づき、そのＶＯＰの復
号直後のＶＢＶバッファ占有量を算出する。時刻t_nにお
けるＶＯＰ復号直後のバッファ占有量をb_n'とすると、b
_n' は式(２)により算出される。なお、式(２)におい
て、d_nは時刻t_nにおけるＶＯＰの符号量を示す。つま
り、時刻t_nにおいて、1ＶＯＰの符号量分のデータが、
ＶＢＶバッファから瞬時に抜かれることを想定する。

【００７２】

【数２】

【００７３】ＶＢＶバッファ占有量計算部５０にて計算
されたＶＢＶバッファの現在の占有量を示すＶＢＶバッ
ファ占有量５２は、ヘッダ多重化部１１へ出力される。

【００７４】ヘッダ多重化部１１では、上位ヘッダ多重
化指示フラグ２４に基づいて、ＶＯＳ、ＶＯ、ＶＯＬ、
ＶＯＰの各ヘッダ情報と、ＶＢＶバッファ占有量５２と
を多重化する。

【００７５】図１０に、本実施の形態におけるヘッダ多
重化部１１の内部構成を示す。図３に示す実施の形態１
のヘッダ多重化部１１とは異なり、さらに、ＶＯＬヘッ
ダ多重化部３０に、ＶＢＶ情報多重化指示フラグ５３
と、ＶＢＶバッファ占有量５２とが入力するように構成
されている。

【００７６】図１０に示す本実施の形態２のヘッダ多重
化部１１の動作について詳述する。まず、実施の形態１
の場合と同様に、上位ヘッダ多重化選択部２７では、上
位ヘッダ多重化指示フラグ２４に基づいて、ＶＯＳ、Ｖ
Ｏ、ＶＯＬの各ヘッダを多重化するかどうかを選択し、
上位ヘッダ多重化指示フラグ２４が有効のときのみ、Ｖ
ＯＳ、ＶＯ、ＶＯＬヘッダをそれぞれＶＯＳヘッダ多重
化部２８、ＶＯヘッダ多重化部２９、ＶＯＬヘッダ多重
化部３０で多重化する。勿論、ＶＯＳ、ＶＯヘッダを省
略可能な点は、実施の形態１の場合と同様である。

【００７７】しかし、本実施の形態２では、実施の形態
１の場合と異なり、ＶＯＬヘッダ多重化部３０が、ＶＢ
Ｖ情報多重化指示フラグ５３や、ＶＢＶバッファ占有量
５２等のＶＢＶバッファに関するＶＢＶバッファ情報を
多重化する。なお、図１０では、ＶＯＬヘッダ多重化部
３０に、ヘッダ多重化部１１の外部（例えば、符号化
部）よりＶＢＶ情報多重化指示フラグ５３が入力するよ
うに示しているが、ＶＯＬヘッダ多重化部３０内で生成
するようにしても良い。

【００７８】具体的には、本実施の形態２のＶＯＬヘッ
ダ多重化部３０では、符号化ビットストリーム６の途中
に多重する２つ目以降のＶＯＬヘッダを多重化する場合
には、必ず、ＶＢＶ情報多重化指示フラグ５３を有効に
設定して、ＶＢＶバッファに関するＶＢＶバッファ情報
を多重化する。

【００７９】ＶＢＶ情報多重化指示フラグ５３が有効の
ときに多重化されるＶＢＶバッファ情報とは、ＶＢＶバ
ッファに符号化データが供給されるときの最大ビットレ
ート、ＶＢＶバッファ容量の上限、ＶＯＬヘッダの直後
のＶＯＰが復号される直前のＶＢＶバッファ占有量５２
等の値になる。

【００８０】なお、最大ビットレート、ＶＢＶバッファ
容量の上限は１つの符号化ビットストリーム中では、同
じ値である。すなわち、符号化ビットストリーム６先頭
の最初のＶＯＬヘッダに多重化された値、またはその最
初のＶＯＬヘッダに多重化されなかった場合には、デフ
ォルト値が２つ目以降のＶＯＬヘッダに多重化されるこ
とになる。

【００８１】また、ＶＢＶバッファ占有量(vbv_occupan
cy)５２の値は、ＶＢＶバッファ占有量計算部５０によ
り算出されるが、図９の例に示すように、時刻t₄のＶＯ
Ｐの直前に２番目のＶＯＬヘッダを挿入する場合は、そ
のＶＯＰの符号化データをＶＢＶバッファから抜く直前
の実際のＶＢＶバッファ占有量の値(b₄)がＶＯＬヘッダ
に多重化される値となる。

【００８２】なお、最初のＶＯＬヘッダには、ＶＢＶバ
ッファ占有量５２の値を多重化しても、多重化しなくて
もよい。これは、最初のＶＯＬヘッダにＶＢＶバッファ
占有量５２の値が多重化されていない場合には、当該最
初のＶＯＬヘッダの直後のＶＯＰの符号化データをＶＢ
Ｖバッファから抜く直前のＶＢＶバッファ占有量の値(b
₀)を、最初のＶＯＬヘッダのＶＢＶバッファ占有量５２
としてデフォルトで規定すれば良いからである。

【００８３】そして、実施の形態1の場合と同様に、上
位ヘッダ多重化指示フラグ２４が有効を示しているとい
ないに関わらず、ＶＯＰヘッダ多重化部３１はＶＯＰヘ
ッダを多重化して、各ヘッダ情報が多重化されたビット
ストリーム２５をビデオ信号多重化部１２へ出力する。

【００８４】すると、ビデオ信号多重化部１２は、ヘッ
ダ多重化部１１にて、少なくとも２つ目以降のＶＯＬヘ
ッダにはＶＢＶ情報多重化指示フラグ５３やＶＢＶバッ
ファ占有量５２等のＶＢＶバッファに関する情報を有す
るＶＯＬヘッダ情報を含む各ヘッダ情報が周期的に多重
化されたビットストリーム２５に、図２に示す実施の形
態１の場合と同様に、形状符号化情報１５や、動き情報
１７、テクスチャ符号化情報２１、マクロブロック単位
の符号化モード情報等の多重化を行い、符号化ビットス
トリーム４として符号化ビットストリーム送出部５へ出
力する。

【００８５】[復号装置側の説明]次に、本実施の形態２
の多重化装置１より出力される符号化ビットストリーム
６を受信して復号する復号装置の動作について説明す
る。

【００８６】図１１に、本実施の形態２における画像復
号装置２６の構成例を示す。同図において、５４は入力
バッファ、５５は復号時刻設定部、５６はバッファ占有
量カウント部であり、これら以外の構成は、図５に示す
実施の形態１の画像復号装置２６の構成と同じである
が、入力バッファ５４、復号時刻設定部５５、バッファ
占有量カウント部５６の追加に伴い、本実施の形態２の
ヘッダ解析部２８の機能には、本実施の形態２特有の新
たな機能が付加されている。

【００８７】次に、本実施の形態２の画像復号装置２６
の動作を、図１１を用いて詳細に説明する。ただし、図
１１において、入力バッファ５４、復号時刻設定部５
５、バッファ占有量カウント部５６、ヘッダ解析部２８
以外の動作は実施の形態１で述べた画像復号装置と同一
であるため、説明を省略する。

【００８８】まず、入力バッファ５４は、上述した本実
施の形態２における多重化装置１からの符号化ビットス
トリーム６を受信し、蓄積する。

【００８９】その際、バッファ占有量カウント部５６で
は、入力バッファ５４を監視しており、入力バッファ５
４に蓄積されている符号化データ量、すなわちバッファ
占有量をカウントして、カウントした入力バッファ５４
のバッファ占有量を、バッファ占有量５７として復号時
刻設定部５５へ出力する。

【００９０】一方、ヘッダ解析部２８は、入力バッファ
５４に蓄積された符号化ビットストリーム６を読み出
し、後述するように、ＶＯＳ、ＶＯ、ＶＯＬのいずれか
のヘッダ情報の先頭を示すスタートコードを探索し、そ
れに続くヘッダ情報を解析する。

【００９１】図１２に、本実施の形態２のヘッダ解析部
２８の内部構成を示す。図１２に示す本実施の形態２の
ヘッダ解析部２８では、図６に示す実施の形態１のヘッ
ダ解析部２８と同様に、スタートコード解析部４３、Ｖ
ＯＳヘッダ解析部４４、ＶＯヘッダ解析部４５、ＶＯＬ
ヘッダ解析部４６、ＧＯＶヘッダ解析部４７、ＶＯＰヘ
ッダ解析部４８より構成されているが、本実施の形態２
では、ＶＯＬヘッダ解析部４６と、ＶＯＰヘッダ解析部
４８とに新たな機能が追加されている。

【００９２】図１２を用いてヘッダ解析部２８の動作を
詳細に説明する。本実施の形態２の場合、ヘッダ解析部
２８におけるヘッダ解析処理では、まず、実施の形態1
の場合と同様に、スタートコード解析部４３にてＶＯ
Ｓ、ＶＯ、ＶＯＬのいずれかのスタートコードかどうか
を判定し、ＶＯＳスタートコードが検出された場合に
は、ＶＯＳヘッダ解析部４４でスタートコードに続くヘ
ッダ情報の解析を行う。ＶＯスタートコード、ＶＯＬス
タートコードが検出された場合にも同様の処理を行う。
ここで、ＶＯＬヘッダ情報には以降のＶＯＰの復号に必
要な情報が含まれているため、ＶＯＬヘッダ解析部４６
より出力されるＶＯＬヘッダ情報４９は、上記実施の形
態１の場合と同様に、ＶＯＰヘッダ解析部４８と、ビデ
オ信号解析部３０とへ出力される。

【００９３】また、本実施の形態２の場合は、ＶＯＬヘ
ッダ解析部４６にてＶＯＬヘッダ情報に含まれるＶＢＶ
バッファ情報を復号した場合、復号したＶＢＶバッファ
情報５８を復号時刻設定部５５へ出力する。

【００９４】なお、ＶＯＳ、ＶＯ、ＶＯＬのいずれのス
タートコードも検出されない場合には、ＶＯＳ、ＶＯ、
ＶＯＬのいずれかのスタートコードの探索を続ける。ま
た、ＶＯＬヘッダ解析部４６以降の処理は、次にＧＯＶ
スタートコードが検出された場合には、ＧＯＶヘッダ解
析部４７で、スタートコードに続くＧＯＶヘッダ情報の
解析を行う。次にＶＯＰスタートコードが検出された場
合には、ＶＯＰヘッダ解析部４８でスタートコードに続
くＶＯＰヘッダ情報の解析を行う。ＶＯＰヘッダ情報は
以降のＶＯＰデータの解析に必要な情報であるため、ビ
デオ信号解析部３０へ出力される。

【００９５】ここで、ＶＯＰヘッダ解析部４８にてＶＯ
Ｐヘッダ情報に含まれるＶＯＰ時刻情報５９を復号した
場合は、ＶＯＰ時刻情報５９を復号時刻設定部５５へ出
力する。

【００９６】復号時刻設定部５５では、次のようにし
て、ＶＯＰの復号時刻を設定する。つまり、ＶＯＬに続
く最初のＶＯＰの場合、復号時刻設定部５５は、バッフ
ァ占有量カウント部５６でカウントされた入力バッファ
５４のバッファ占有量５７と、ＶＢＶバッファ情報５８
に規定されているＶＢＶバッファの実際の値、すなわち
図８に示す本実施の形態２の画像符号化部３のＶＢＶバ
ッファ占有量計算部５０にて算出されヘッダ多重化部１
１にて多重されるＶＢＶバッファ占有量(vbv_occupanc
y)５２の値とに基づき、入力バッファ５４のバッファ占
有量５７が、ＶＢＶバッファ情報５８に規定されている
ＶＢＶバッファの実際の値と等しくなったときを、当該
ＶＯＬに続く最初のＶＯＰの復号時刻とする。

【００９７】例えば、図７（ｂ）に示すように、２番目
のＶＯＬに続く最初のＶＯＰから復号する場合には、Ｖ
ＢＶバッファ情報５８に規定されているＶＢＶバッファ
の実際の値(vbv_occupancy ２)が復号時刻設定部５５
に入力されるので、復号時刻設定部５５では、バッファ
占有量カウント部５６でカウントされた入力バッファ５
４のバッファ占有量５７がＶＢＶバッファのデフォルト
値(vbv_occupancy １)ａになった時ｔ4’ではなく、Ｖ
ＢＶバッファの実際の値(vbv_occupancy ２)となった
時ｔ4から、その２番目のＶＯＬに続く最初のＶＯＰか
ら復号することになる。

【００９８】そのため、本実施の形態２によれば、２番
目以降のＶＯＬに続く最初のＶＯＰから復号する場合で
も、図７（ａ）に示すように、バッファ占有量カウント
部５６でカウントされた入力バッファ５４のバッファ占
有量５７が、ＶＢＶバッファの実際の値(vbv_occupancy
２)となった時のｔ4から復号を開始するので、図７
（ｂ）に示す場合とは異なり、ＶＢＶバッファのアンダ
ーフローによる破綻を防止できると共に、復号時刻の同
期がずれることを防止できる。

【００９９】また、２番目以降のＶＯＬに続く２番目以
降のＶＯＰでは、上記のようにして求めたＶＯＬに続く
最初のＶＯＰの復号時刻と、ＶＯＰヘッダ解析部４８よ
り出力される時刻情報５９等をもとに設定するようにす
る。

【０１００】なお、バッファ占有量カウント部５６で
は、ＧＯＶ以降の符号化データをカウントし、バッファ
占有量には、ＶＯＳ、ＶＯ、ＶＯＬの各ヘッダ情報の符
号量は含まれないものとする。また、ＶＯＰの復号時刻
より前にＧＯＶ以降の符号化データが、入力バッファよ
り読み出されることはないことを想定している。さら
に、バッファ占有量カウント部５６では、ＶＯＰの復号
時刻において、１ＶＯＰ分の符号化データが、瞬時に入
力バッファ５４より読み出されるものとして、バッファ
占有量をカウントする。

【０１０１】従って、本実施の形態２によれば、符号化
側で、符号化ビットストリーム６の途中にＶＯＬヘッダ
等のこの符号化ビットストリーム６の復号に必要な情報
であるデコーダ構成情報を含むＶＯＬヘッダ情報等のヘ
ッダ情報を多重化する場合には、２番目以降のＶＯＬヘ
ッダにはＶＢＶバッファ占有量の実際の値を計算して必
ず多重化するため、復号側では、入力バッファ５４のバ
ッファ占有量５７がＶＯＬヘッダに多重化されたＶＢＶ
バッファ占有量の実際の値になった時をＶＯＰの復号時
刻として復号を行うことにより、入力バッファを破綻さ
せることなく、かつ、同期がずれ防止して、復号するこ
とができる。

【０１０２】実施の形態３．本実施の形態３では、実施
の形態２における画像符号化部の別の実施の形態を説明
する。

【０１０３】図１３に、本実施の形態３における画像符
号化部３の内部構成を図に示す。図８に示す実施の形態
２の画像符号化部３とは、ＶＢＶバッファ占有量計算部
５０がビデオ信号多重化部１２へスタッフィングマクロ
ブロック指示フラグ６０を出力する点が異なる。

【０１０４】次に動作を説明する。なお、本実施の形態
３における画像符号化部３の動作は、ＶＢＶバッファ占
有量計算部５０、ビデオ信号多重化部１２以外の動作
は、実施の形態２の画像符号化部と同一であるため、説
明を省略する。

【０１０５】まず、本実施の形態３のビデオ信号多重化
部１２は、上記実施の形態２の場合と同様に、1ＶＯＰ
に含まれるすべてのマクロブロックを符号化直後にその
ＶＯＰの符号量を算出し、ＶＢＶバッファ占有量計算部
５０へ出力すると、ＶＢＶバッファ占有量計算部５０で
は、ビデオ信号多重化部１２より出力されたＶＯＰの符
号量(d_n)５１に基づき、そのＶＯＰを復号直後のＶＢＶ
バッファの実際の占有量(b_n')を算出する。

【０１０６】さらに、ビデオ信号多重化部１２は、次の
ＶＯＰの復号時刻(t_n+1)を取得し、次のＶＯＰの復号直
前のＶＢＶバッファの実際の占有量(b_n+1)を算出する。
そして、実施の形態２の場合と同様に、ヘッダ多重化部
１１は、少なくとも２つ目以降のＶＯＬヘッダにはＶＢ
Ｖ情報多重化指示フラグ５３やＶＢＶバッファの実際の
占有量等のＶＢＶバッファに関する情報を有するＶＯＬ
ヘッダ情報を含む各ヘッダ情報がビットストリーム２５
に多重化する。その際、次のＶＯＰの直前にＶＯＬヘッ
ダを挿入する場合には、実施の形態２の場合と同様に、
次のＶＯＰの復号直前のＶＢＶバッファの実際の占有量
の値(b_n+1)が、ＶＢＶバッファの初期占有量(vbv_occup
ancy)としてＶＯＬヘッダに多重化されることになる。

【０１０７】ここで、ＶＢＶバッファの初期占有量の値
は、ＶＯＬヘッダに多重化されるとき、所定長さ、例え
ば64ビットを1ユニットとしたユニット単位で多重化す
ることが決められているものとする。

【０１０８】すると、次のＶＯＰの復号直前のＶＢＶバ
ッファ占有量の値(b_n+1)が64ビットの倍数ではないとき
は、ＶＯＬヘッダに多重化されるべきＶＢＶバッファの
初期占有量の値とは、最大で63ビットのずれが生じる。
例えば、64Kbpsのビットレートで符号化ビットストリー
ムを受信する場合には、約1ミリ秒、同期がずれること
になる。

【０１０９】このため、本実施の形態３では、このずれ
を生じないようにするために、次のＶＯＰの復号直前の
ＶＢＶバッファ占有量の値(b_n+1)が64ビットの倍数とな
るようにするため、スタッフィングマクロブロックの挿
入により実現する。スタッフィングマクロブロックと
は、スタッフィングビットを挿入するためだけのマクロ
ブロックで、形状データやテクスチャデータを持つ画像
を構成するためのマクロブロックとは異なる。デコーダ
では、スタッフィングマクロブロックは読み飛ばされ
る。

【０１１０】つまり、ＶＢＶバッファ占有量計算部５０
では、次のＶＯＰの復号直前のＶＢＶバッファ占有量の
値(b_n+1)が64ビットの倍数となるように、ＶＯＬヘッダ
を挿入する直前のＶＯＰの最後に挿入するスタッフィン
グマクロブロックの個数を算出し、算出したスタッフィ
ングマクロブロックの個数をスタッフィングマクロブロ
ック指示フラグ６０として、ビデオ信号多重化部１２へ
通知する。

【０１１１】ビデオ信号多重化部１２では、スタッフィ
ングマクロブロック指示フラグ６０に従って、指定され
た個数のスタッフィングマクロブロックをＶＯＬヘッダ
を挿入する直前のＶＯＰの最後に挿入して、各ＶＯＰの
復号直前のＶＢＶバッファ占有量の値(b_n+1)が64ビット
の倍数となるように符号化ビットストリーム６に多重化
する。

【０１１２】また、ビデオ信号多重化部１２は、次のＶ
ＯＰの復号時刻(t_n+1)を取得し、次のＶＯＰの復号直前
のＶＢＶバッファの実際の占有量(b_n+1)を算出する。上
述したように、次のＶＯＰの直前にＶＯＬヘッダを挿入
する場合には、次のＶＯＰの復号直前のＶＢＶバッファ
の実際の占有量の値(b_n+1)が、ＶＯＬヘッダにＶＢＶバ
ッファの初期占有量(vbv_occupancy)として多重化され
る。

【０１１３】このため、復号装置側では、各ＶＯＰの復
号直前のＶＢＶバッファ占有量の値(b_n+1)が64ビットの
倍数となるように、ＶＯＬヘッダを挿入する直前のＶＯ
Ｐの最後にスタッフィングマクロブロックが挿入され、
かつ、64ビットの倍数となるようなＶＢＶバッファ占有
量の値(b_n+1)がＶＢＶバッファの初期占有量として含ま
れるＶＯＬヘッダが周期的に多重化された符号化ビット
ストリーム６を入力バッファ５４を介し入力するので、
ＶＢＶバッファの初期占有量の値が例えば64ビットを1
ユニットとしてユニット単位で多重化することが決めら
れていている場合に、ＶＯＬヘッダが周期的に挿入され
ている符号化ビットストリームの２番目以降のＶＯＬヘ
ッダから復号を開始した場合でも、復号時刻にずれを生
じることなく動画像を再生することができる。

【０１１４】従って、本実施の形態３における画像符号
化部３では、ＶＢＶバッファの初期占有量の値として各
ＶＯＬヘッダに多重するＶＢＶバッファ占有量の実際の
値が64ビットの倍数になるように、ＶＯＬヘッダを挿入
する直前のＶＯＰの最後にスタッフィングビットを挿入
するため、、ＶＢＶバッファの初期占有量の値が例えば
64ビットを1ユニットとしてユニット単位で多重化する
ことが決められていている場合、ＶＢＶバッファの初期
占有量により算出される復号時刻と実際の復号時刻との
間にずれが生じない。その結果、復号側では、ＶＯＬヘ
ッダが周期的に挿入されている符号化ビットストリーム
の２番目以降のＶＯＬヘッダから復号を開始した場合で
も、復号時刻にずれを生じることなく動画像を再生する
ことができる。

【０１１５】

【発明の効果】以上のように、この発明によれば、符号
化側で、符号化ビットストリームの途中にデコーダに必
要な情報を含むヘッダ情報を周期的に多重化して送出す
るようにしたので、復号側では、符号化ビットストリー
ムの途中から受信を始めた場合でも、デコーダに必要な
情報を含む次のヘッダ情報を探索し、当該次のヘッダ情
報が検出された時点から復号を開始することができる。

【０１１６】特に、符号化側では、ＶＯＬヘッダを繰り
返し挿入する場合に、２番目以降のＶＯＬヘッダにはＶ
ＢＶバッファ占有量の実際の値を必ず多重化するように
したので、復号側では、ＶＯＬヘッダに多重化されたＶ
ＢＶバッファ占有量の実際の値をＶＢＶバッファの初期
占有量として用いてＶＯＰの復号時刻を設定して復号を
行うことにより、入力バッファを破綻させることなく、
かつ、同期ずれを防止して、復号することができる。

【０１１７】また、符号化側では、ＶＢＶバッファの初
期占有量の値として各ＶＯＬヘッダに多重するＶＢＶバ
ッファ占有量の実際の値が所定長さになるように、ＶＯ
Ｌヘッダを挿入する直前のＶＯＰの最後にスタッフィン
グビットを挿入するようにしたため、復号側は、ＶＢＶ
バッファの初期占有量の値がその所定長単位で多重化す
ることが決められた符号化ビットストリームの途中から
復号を開始する場合でも、ＶＢＶバッファの初期占有量
により算出される復号時刻と、実際の復号時刻との間に
ずれが生じなくなり、復号時刻にずれを生じることなく
動画像を再生することができる。

【図面の簡単な説明】

【図１】 本実施の形態１における多重化装置の構成例
を示す図。

【図２】 図1に示す多重化装置１の構成要素である画
像符号化部３の構成を示す図。

【図３】 ヘッダ多重化部１１の内部構成を示す図。

【図４】 本実施の形態１で述べた多重化装置１の符号
化ビットストリーム送出部５より出力される符号化ビッ
トストリーム６の一例を示す図。

【図５】 本実施の形態１における画像復号装置の構成
例を示す図。

【図６】 ヘッダ解析部２８の内部構成を詳細に示した
図。

【図７】 1番目のＶＯＬヘッダから復号する場合と、
２番目のＶＯＬヘッダから復号を開始する場合の２通り
の場合について、ＶＢＶバッファ占有量の推移の例を示
す図。

【図８】 本実施の形態２の画像符号化部３の内部構成
を示す図。

【図９】 ＶＢＶバッファ占有量の推移の一例を表した
図。

【図１０】 本実施の形態におけるヘッダ多重化部１１
の内部構成を示す図。

【図１１】 本実施の形態２における画像復号装置２６
の構成例を示す図。

【図１２】 本実施の形態２のヘッダ解析部２８の内部
構成を示す図。

【図１３】 本実施の形態３における画像符号化部３の
内部構成を図に示す図。

【図１４】 ＭＰＥＧ−４符号化ビットストリームの例
を示す図。

【符号の説明】

１ 多重化装置、２ 入力画像、３ 画像符号化部、４
符号化ビットストリーム送出部、６ 符号化ビットス
トリーム、７ 形状符号化部、８ 動き補償予測部、９
テクスチャ符号化部、１０ メモリ、１１ ヘッダ多
重化部、１２ビデオ信号多重化部、１３ 減算器、１４
加算器、１５ 形状符号化情報、１６ 局所復号形状
情報、１７ 動き情報、１８ 予測画像、１９ 参照デ
ータ、２０ 予測誤差画像、２１ テクスチャ符号化情
報、２２ 局所復号予測誤差画像、２３ 局所復号画
像、２４ 上位ヘッダ多重化指示フラグ、２５ ビット
ストリーム、２６ 画像復号装置、２７ 加算器、２８
ヘッダ解析部、２９ ヘッダ情報が解析されたビット
ストリーム、３０ ビデオ信号解析部、３１ 形状符号
化データ、３２ 形状復号部、３３ 復号形状データ、
３４ テクスチャ符号化データ、３５ 動き情報、３６
動き補償部、３７ 復号予測テクスチャデータ、３８
テクスチャ復号部、３９ 出力テクスチャデータ、４
０ メモリ、４１ 参照データ、４２ 復号テクスチャ
データ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅井 光太郎 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C059 KK34 MA00 MB14 MB16 RB01 RB09 RB18 RC07 RC16 RC19 UA05 UA32

Claims (8)

【特許請求の範囲】
1. 【請求項１】 符号化ビットストリームを多重化する多
   重化装置において、 上記符号化ビットストリームの復号に必要な情報である
   デコーダ構成情報を含むヘッダ情報を上記符号化ビット
   ストリームに周期的に多重化するヘッダ多重化手段を備
   えたことを特徴とする多重化装置。
2. 【請求項２】 符号化ビットストリームは、ＭＰＥＧ−
   ４符号化ビットストリームであり、 上記符号化ビットストリームの復号に必要な情報である
   デコーダ構成情報を含むヘッダ情報とは、ＶＯＬヘッダ
   情報であることを特徴とする多重化装置。
3. 【請求項３】 上記ヘッダ多重化手段は、上記符号化ビ
   ットストリームの復号に必要な情報であるデコーダ構成
   情報を含むヘッダ情報として、複数のＶＯＬヘッダ情報
   を上記符号化ビットストリームに周期的に多重化する場
   合には、２番目以降のＶＯＬヘッダ情報には、ＶＢＶバ
   ッファの現在の占有量を計算し多重化することを特徴と
   する請求項２記載の画像符号化装置。
4. 【請求項４】 上記ヘッダ多重化手段は、２番目以降の
   ＶＯＬヘッダ情報にＶＢＶバッファの現在の占有量を計
   算し多重化する場合、ＶＢＶバッファの占有量が所定長
   さで多重化されるようにスタッフィングビットを挿入す
   ることを特徴とする請求項３記載の多重化装置。
5. 【請求項５】 符号化ビットストリームを多重化する多
   重化方法において、 上記符号化ビットストリームの復号に必要な情報である
   デコーダ構成情報を含むヘッダ情報を上記符号化ビット
   ストリームに周期的に多重化することを特徴とする多重
   化方法。
6. 【請求項６】 デコーダ構成情報を含むヘッダ情報が周
   期的に多重化された符号化ビットストリームを復号する
   画像復号装置において、 上記符号化ビットストリームより、デコーダ構成情報を
   含むヘッダ情報のスタートコードを探索して復号するス
   タートコード解析手段と、 上記スタートコード解析手段により復号されたスタート
   コードに続くヘッダ情報を復号するヘッダ情報解析手段
   と、 上記ヘッダ情報解析手段により復号されたヘッダ情報に
   含まれるデコーダ構成情報を用いて、以降の符号化ビッ
   トストリームの復号を行うビデオ信号解析手段と、 を備えたことを特徴とする画像復号装置。
7. 【請求項７】 さらに、上記符号化ビットストリームを
   受信して保持する入力バッファを備え、 上記符号化ビットストリームに周期的に多重化されたデ
   コーダ構成情報を含むヘッダ情報には、ＶＢＶバッファ
   の現在の占有量に関する情報が含まれており、 上記ヘッダ情報解析手段は、上記入力バッファより読み
   出したヘッダ情報を復号して、復号したヘッダ情報より
   ＶＢＶバッファの現在の占有量に関する情報を取得し、 上記ビデオ信号解析手段は、上記入力バッファのデータ
   占有量が、上記取得したＶＢＶバッファの現在の占有量
   の値になるまで符号化ビットストリームを蓄積して復号
   開始を行う、 ことを特徴とする請求項６記載の画像復号装置。
8. 【請求項８】 デコーダ構成情報を含むヘッダ情報が周
   期的に多重化された符号化ビットストリームを復号する
   画像復号方法において、 上記符号化ビットストリームより、デコーダ構成情報を
   含むヘッダ情報のスタートコードを探索して復号すると
   共に、スタートコードに続くヘッダ情報を復号し、その
   ヘッダ情報に含まれるデコーダ構成情報を用いて、以降
   の符号化ビットストリームの復号を行う、 ことを特徴とする画像復号方法。