JP2001061145A

JP2001061145A - 画像符号化装置および画像符号化方法、並びに画像復号装置および画像復号方法

Info

Publication number: JP2001061145A
Application number: JP2000196900A
Authority: JP
Inventors: Teruhiko Suzuki; 輝彦鈴木; Yoichi Yagasaki; 陽一矢ヶ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-01-01
Filing date: 2000-06-29
Publication date: 2001-03-06

Abstract

(57)【要約】【課題】符号化ビットストリームの途中からでも、正
常に復号を行う。【解決手段】画像を符号化することにより得られる符
号化ビットストリームの中の、ＧＯＶ（Group of VOP(V
ideo Object Plane)）のヘッダに、それより上位の階層
のＶＳ（Visual Object Sequence），ＶＩＳＯ（Visual
Object），ＶＯ（Video Object），ＶＯＬ（Video Obj
ect Layer）の各ヘッダの情報（VisualObjectSequenc
e(), VisualObject(), VideoObject(), VideoObjectLay
er()）が含められる。また、ＧＯＶのヘッダには、それ
より上位の階層のヘッダの情報を含めるかどうかを表す
フラグis_extensionが配置されており、このフラグis_e
xtensionが１の場合にのみ、ＧＯＶより上位の階層のヘ
ッダの情報が、ＧＯＶのヘッダに含められる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、並びに画像復号装置および画像復
号方法に関する。特に、例えば、動画像データを、光磁
気ディスクや磁気テープなどの記録媒体に記録し、これ
を再生してディスプレイなどに表示したり、テレビ会議
システム、テレビ電話システム、放送用機器、マルチメ
ディアデータベース検索システムなどのように、動画像
データを伝送路を介して送信側から受信側に伝送し、受
信側において、これを受信し、表示する場合や、編集し
て記録する場合などに用いて好適な画像符号化装置およ
び画像符号化方法、並びに画像復号装置および画像復号
方法に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像データを遠隔地に伝送
するシステムにおいては、伝送路を効率良く利用するた
め、画像データを、そのライン相関やフレーム間相関を
利用して圧縮符号化するようになされている。

【０００３】動画像の高能率符号化方式として代表的な
ものとしては、MPEG（Moving Picture Experts Group）
（蓄積用動画像符号化）方式がある。これはＩＳＯ−Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１において議論され、
標準案として提案されたものであり、動き補償予測符号
化とＤＣＴ（Discrete Cosine Transform）符号化を組
み合わせたハイブリッド方式が採用されている。

【０００４】ＭＰＥＧでは、様々なアプリケーションや
機能に対応するために、いくつかのプロファイルおよび
レベルが定義されている。最も基本となるのが、メイン
プロファイルメインレベル（ＭＰ＠ＭＬ（Main Profile
at Main Level））である。

【０００５】図２４は、ＭＰＥＧ方式におけるＭＰ＠Ｍ
Ｌのエンコーダの一例の構成を示している。

【０００６】符号化すべき画像データは、フレームメモ
リ３１に入力され、一時記憶される。そして、動きベク
トル検出器３２は、フレームメモリ３１に記憶された画
像データを、例えば、１６画素×１６画素などで構成さ
れるマクロブロック単位で読み出し、その動きベクトル
を検出する。

【０００７】ここで、動きベクトル検出器３２において
は、各フレームの画像データを、Ｉピクチャ、Ｐピクチ
ャ、またはＢピクチャのうちのいずれかとして処理す
る。なお、シーケンシャルに入力される各フレームの画
像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャとして処
理するかは、予め定められている（例えば、Ｉ，Ｂ，
Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。

【０００８】即ち、動きベクトル検出器３２は、フレー
ムメモリ３１に記憶された画像の中の、予め定められた
所定の参照フレームを参照し、その参照フレームと、現
在符号化の対象となっているフレームの１６画素×１６
ラインの小ブロック（マクロブロック）とをパターンマ
ッチング（ブロックマッチング）することにより、その
マクロブロックの動きベクトルを検出する。

【０００９】ここで、ＭＰＥＧにおいては、画像の予測
モードには、イントラ符号化（フレーム内符号化）、前
方予測符号化、後方予測符号化、両方向予測符号化の４
種類があり、Ｉピクチャはイントラ符号化され、Ｐピク
チャはイントラ符号化または前方予測符号化され、Ｂピ
クチャはイントラ符号化、前方予測符号化、後方予測符
号化、または両方法予測符号化される。

【００１０】即ち、動きベクトル検出器３２は、Ｉピク
チャについては、予測モードとしてイントラ符号化モー
ドを設定する。この場合、動きベクトル検出器３２は、
動きベクトルの検出は行わず、予測モード（イントラ予
測モード）を、ＶＬＣ（可変長符号化）器３６および動
き補償器４２に出力する。

【００１１】また、動きベクトル検出器３２は、Ｐピク
チャについては、前方予測を行い、その動きベクトルを
検出する。さらに、動きベクトル検出器３２は、前方予
測を行うことにより生じる予測誤差と、符号化対象のマ
クロブロック（Ｐピクチャのマクロブロック）の、例え
ば分散とを比較し、マクロブロックの分散の方が予測誤
差より小さい場合、予測モードとしてイントラ符号化モ
ードを設定し、ＶＬＣ器３６および動き補償器４２に出
力する。また、動きベクトル検出器３２は、前方予測を
行うことにより生じる予測誤差の方が小さければ、予測
モードとして前方予測符号化モードを設定し、検出した
動きベクトルとともに、ＶＬＣ器３６および動き補償器
４２に出力する。

【００１２】さらに、動きベクトル検出器３２は、Ｂピ
クチャについては、前方予測、後方予測、および両方向
予測を行い、それぞれの動きベクトルを検出する。そし
て、動きベクトル検出器３２は、前方予測、後方予測、
および両方向予測についての予測誤差の中の最小のもの
（以下、適宜、最小予測誤差という）を検出し、その最
小予測誤差と、符号化対象のマクロブロック（Ｂピクチ
ャのマクロブロック）の、例えば分散とを比較する。そ
の比較の結果、マクロブロックの分散の方が最小予測誤
差より小さい場合、動きベクトル検出器３２は、予測モ
ードとしてイントラ符号化モードを設定し、ＶＬＣ器３
６および動き補償器４２に出力する。また、動きベクト
ル検出器３２は、最小予測誤差の方が小さければ、予測
モードとして、その最小予測誤差が得られた予測モード
を設定し、対応する動きベクトルとともに、ＶＬＣ器３
６および動き補償器４２に出力する。

【００１３】動き補償器４２は、動きベクトル検出器３
２から予測モードと動きベクトルの両方を受信すると、
その予測モードおよび動きベクトルにしたがって、フレ
ームメモリ４１に記憶されている、符号化され、既に局
所復号された画像データを読み出し、これを、予測画像
として、演算器３３および４０に供給する。

【００１４】演算器３３は、動きベクトル検出器３２が
フレームメモリ３１から読み出した画像データと同一の
マクロブロックを、フレームメモリ３１から読み出し、
そのマクロブロックと、動き補償器４２からの予測画像
との差分を演算する。この差分値は、ＤＣＴ器３４に供
給される。

【００１５】一方、動き補償器４２は、動きベクトル検
出器３２から予測モードのみを受信した場合、即ち、予
測モードがイントラ符号化モードである場合には、予測
画像を出力しない。この場合、演算器３３（後述する演
算器４０も同様）は、特に処理を行わず、フレームメモ
リ３１から読み出したマクロブロックを、そのままＤＣ
Ｔ器３４に出力する。

【００１６】ＤＣＴ器３４では、演算器３３の出力に対
して、ＤＣＴ処理が施され、その結果得られるＤＣＴ係
数が、量子化器３５に供給される。量子化器３５では、
バッファ３７のデータ蓄積量（バッファ３７に記憶され
ているデータの量）（バッファフィードバック）に対応
して量子化ステップ（量子化スケール）が設定され、そ
の量子化ステップで、ＤＣＴ器３４からのＤＣＴ係数が
量子化される。この量子化されたＤＣＴ係数（以下、適
宜、量子化係数という）は、設定された量子化ステップ
とともに、ＶＬＣ器３６に供給される。

【００１７】ＶＬＣ器３６では、量子化器３５より供給
される量子化係数が、例えばハフマン符号などの可変長
符号に変換され、バッファ３７に出力される。さらに、
ＶＬＣ器３６は、量子化器３５からの量子化ステップ、
動きベクトル検出器３２からの予測モード（イントラ符
号化（画像内予測符号化）、前方予測符号化、後方予測
符号化、または両方向予測符号化のうちのいずれが設定
されたかを示すモード）および動きベクトルも可変長符
号化し、バッファ３７に出力する。

【００１８】バッファ３７は、ＶＬＣ器３６からのデー
タを一時蓄積し、そのデータ量を平滑化して、例えば、
図示せぬ伝送路に出力し、または記録媒体に記録する。

【００１９】また、バッファ３７は、そのデータ蓄積量
を、量子化器３５に出力しており、量子化器３５は、こ
のバッファ３７からのデータ蓄積量にしたがって量子化
ステップを設定する。即ち、量子化器３５は、バッファ
３７がオーバーフローしそうなとき、量子化ステップを
大きくし、これにより、量子化係数のデータ量を低下さ
せる。また、量子化器３５は、バッファ３７がアンダー
フローしそうなとき、量子化ステップを小さくし、これ
により、量子化係数のデータ量を増大させる。このよう
にして、バッファ３７のオーバフローとアンダフローを
防止するようになっている。

【００２０】量子化器３５が出力する量子化係数と量子
化ステップは、ＶＬＣ器３６だけでなく、逆量子化器３
８にも供給されるようになされている。逆量子化器３８
では、量子化器３５からの量子化係数が、同じく量子化
器３５からの量子化ステップにしたがって逆量子化さ
れ、これによりＤＣＴ係数に変換される。このＤＣＴ係
数は、ＩＤＣＴ器（逆ＤＣＴ器）３９に供給される。Ｉ
ＤＣＴ器３９では、ＤＣＴ係数が逆ＤＣＴ処理され、演
算器４０に供給される。

【００２１】演算器４０には、ＩＤＣＴ器３９の出力の
他、上述したように、動き補償器４２から、演算器３３
に供給されている予測画像と同一のデータが供給されて
おり、演算器４０は、ＩＤＣＴ器３９からの信号（予測
残差）と、動き補償器４２からの予測画像とを加算する
ことで、元の画像を、局所復号する（但し、予測モード
がイントラ符号化である場合には、ＩＤＣＴ器３９の出
力は、演算器４０をスルーして、フレームメモリ４１に
供給される）。なお、この復号画像は、受信側において
得られる復号画像と同一のものである。

【００２２】演算器４０において得られた復号画像（局
所復号画像）は、フレームメモリ４１に供給されて記憶
され、その後、インター符号化（前方予測符号化、後方
予測符号化、量方向予測符号化）される画像に対する参
照画像（参照フレーム）として用いられる。

【００２３】次に、図２５は、図２４のエンコーダから
出力される符号化データを復号する、ＭＰＥＧにおける
ＭＰ＠ＭＬのデコーダの一例の構成を示している。

【００２４】伝送路を介して伝送されてきた符号化デー
タが図示せぬ受信装置で受信され、または記録媒体に記
録された符号化データが図示せぬ再生装置で再生され、
バッファ１０１に供給されて記憶される。

【００２５】ＩＶＬＣ器（逆ＶＬＣ器）（可変長復号
器）１０２は、バッファ１０１に記憶された符号化デー
タを読み出し、可変長復号することで、その符号化デー
タを、動きベクトル、予測モード、量子化ステップ、お
よび量子化係数に分離する。これらのうち、動きベクト
ルおよび予測モードは動き補償器１０７に供給され、量
子化ステップおよび量子化係数は逆量子化器１０３に供
給される。

【００２６】逆量子化器１０３は、ＩＶＬＣ器１０２よ
り供給された量子化係数を、同じくＩＶＬＣ器１０２よ
り供給された量子化ステップにしたがって逆量子化し、
その結果得られるＤＣＴ係数を、ＩＤＣＴ器１０４に出
力する。ＩＤＣＴ器１０４は、逆量子化器１０３からの
ＤＣＴ係数を逆ＤＣＴし、演算器１０５に供給する。

【００２７】演算器１０５には、ＩＤＣＴ器１０４の出
力の他、動き補償器１０７の出力も供給されている。即
ち、動き補償器１０７は、フレームメモリ１０６に記憶
されている、既に復号された画像を、図２４の動き補償
器４１における場合と同様に、ＩＶＬＣ器１０２からの
動きベクトルおよび予測モードにしたがって読み出し、
予測画像として、演算器１０５に供給する。演算器１０
５は、ＩＤＣＴ器１０４からの信号（予測残差）と、動
き補償器１０７からの予測画像とを加算することで、元
の画像を復号する。この復号画像は、フレームメモリ１
０６に供給されて記憶される。なお、ＩＤＣＴ器１０４
の出力が、イントラ符号化されたものである場合には、
その出力は、演算器１０５をスルーして、そのままフレ
ームメモリ１０６に供給されて記憶される。

【００２８】フレームメモリ１０６に記憶された復号画
像は、その後に復号される画像の参照画像として用いら
れるとともに、適宜読み出され、例えば、図示せぬディ
スプレイなどに供給されて表示される。

【００２９】なお、ＭＰＥＧ１および２では、Ｂピクチ
ャは、参照画像として用いられないため、エンコーダま
たはデコーダそれぞれにおいて、フレームメモリ４１
（図２４）または１０６（図２５）には記憶されない。

【００３０】

【発明が解決しようとする課題】以上の図２４、図２５
に示したエンコーダ、デコーダは、ＭＰＥＧ１／２の規
格に準拠したものであるが、現在、画像を構成する物体
などのオブジェクトのシーケンスであるＶＯ（Video Ob
ject）単位で符号化を行う方式につき、ＩＳＯ−ＩＥＣ
／ＪＴＣ１／ＳＣ２９／ＷＧ１１において、ＭＰＥＧ
（Moving Picture Experts Group）４として標準化作業
が進められている。

【００３１】ところで、ＭＰＥＧ４については、主とし
て、通信の分野で利用されるものとして、標準化作業が
進められていたため、ＭＰＥＧ１／２において規定され
ているＧＯＰ（Group Of Picture）は、ＭＰＥＧ４では
規定されておらず、従って、ＭＰＥＧ４が蓄積メディア
に利用された場合には、効率的なランダムアクセスが困
難になることが予想される。

【００３２】このため、本件出願人は、効率的なランダ
ムアクセスを可能とするために、ＭＰＥＧ１／２で規定
されているＧＯＰに相当するＧＯＶ（Group Of VOP)層
の導入を、特願平１０−８０７５８号において先に提案
しており、また、ＭＰＥＧ４において、このＧＯＶ層が
導入された。

【００３３】ところで、例えば、ＭＰＥＧ１，２，４，
Ｈ．２６３などの規格に準拠して符号化を行うことによ
り得られる符号化ビットストリームは、複数の階層から
なる階層構造を有している。そして、エンコーダ側で
は、各階層には、デコードに必要な情報が、ヘッダに配
置され、デコーダ側では、各階層のヘッダから必要な情
報が抽出され、符号化ビットストリームの復号が行われ
る。

【００３４】従って、ＭＰＥＧ１／２では、ＧＯＰにラ
ンダムアクセスした場合に、そのＧＯＰの復号を行うた
めに上位階層のヘッダの情報が必要となることがあるこ
とから、上位階層の送信後に、適宜、その上位階層のヘ
ッダの情報を再送することが可能な規格となっている。

【００３５】しかしながら、ＭＰＥＧ４では、上位階層
の送信後に、適宜、その上位階層のヘッダの情報を再送
することか可能な規格になっておらず、このため、ＧＯ
Ｖ層の導入により、効率的なランダムアクセスが可能と
なっても、そのＧＯＶの復号を行うために必要な上位階
層のヘッダの情報が得られず、これにより、正常な復号
結果を得られないおそれがある。

【００３６】ここで、ＭＰＥＧ４の符号化ビットストリ
ームが、蓄積メディアに記録されている場合には、その
記録メディアにアクセスすることで、上位階層のヘッダ
の情報を得ることが可能であるが、符号化ビットストリ
ームが放送等される場合には、その符号化ビットストリ
ームを最初から受信しない限りは、上位階層のヘッダの
情報が得られないことになり、従って、符号化ビットス
トリームの受信を、その途中から開始した場合には、正
常な復号結果を得られないおそれがある。

【００３７】本発明は、このような状況に鑑みてなされ
たものであり、符号化ビットストリームの途中からで
も、正常な復号を行うことができるようにするものであ
る。

【００３８】

【課題を解決するための手段】本発明の画像符号化装置
は、符号化手段が、下位階層のヘッダに、そこに上位階
層のヘッダの情報を含めるかどうかを表すヘッダ情報有
無フラグを配置し、ヘッダ情報有無フラグが、上位階層
のヘッダの情報を含めることを表しているときのみ、下
位階層のヘッダに、上位階層のヘッダの情報を含めるこ
とを特徴とする。

【００３９】本発明の画像符号化方法は、下位階層のヘ
ッダに、そこに上位階層のヘッダの情報を含めるかどう
かを表すヘッダ情報有無フラグを配置し、ヘッダ情報有
無フラグが、上位階層のヘッダの情報を含めることを表
しているときのみ、下位階層のヘッダに、上位階層のヘ
ッダの情報を含めることを特徴とする。

【００４０】本発明の画像復号装置は、下位階層のヘッ
ダに含まれる情報を抽出し、その情報に基づいて、符号
化ビットストリームを復号する復号手段を備え、下位階
層のヘッダには、そこに上位階層のヘッダの情報を含め
るかどうかを表すヘッダ情報有無フラグが配置されてお
り、ヘッダ情報有無フラグが、上位階層のヘッダの情報
を含めることを表しているときのみ、下位階層のヘッダ
に、上位階層のヘッダの情報が含まれていることを特徴
とする。

【００４１】本発明の画像復号方法は、下位階層のヘッ
ダに含まれる情報を抽出し、その情報に基づいて、符号
化ビットストリームを復号する復号ステップを備え、下
位階層のヘッダには、そこに上位階層のヘッダの情報を
含めるかどうかを表すヘッダ情報有無フラグが配置され
ており、ヘッダ情報有無フラグが、上位階層のヘッダの
情報を含めることを表しているときのみ、下位階層のヘ
ッダに、上位階層のヘッダの情報が含まれていることを
特徴とする。

【００４２】本発明の画像符号化装置および画像符号化
方法においては、下位階層のヘッダに、そこに上位階層
のヘッダの情報を含めるかどうかを表すヘッダ情報有無
フラグが配置され、ヘッダ情報有無フラグが、上位階層
のヘッダの情報を含めることを表しているときのみ、下
位階層のヘッダに、上位階層のヘッダの情報が含められ
る。

【００４３】本発明の画像復号装置および画像復号方法
においては、下位階層のヘッダには、そこに上位階層の
ヘッダの情報を含めるかどうかを表すヘッダ情報有無フ
ラグが配置されており、ヘッダ情報有無フラグが、上位
階層のヘッダの情報を含めることを表しているときの
み、下位階層のヘッダに、上位階層のヘッダの情報が含
まれている。そして、下位階層のヘッダに含まれる情報
が抽出され、その情報に基づいて、符号化ビットストリ
ームが復号される。

【００４４】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて説明するが、その前に、ＭＰＥＧ４において規定さ
れている符号化ビットストリームについて説明する。な
お、ここでは、MPEG4規格DraftであるFCD(Final Comitt
ee Draft)における符号化ビットストリームについて説
明する。

【００４５】図１は、FCDで規定されている符号化ビッ
トストリームの構成を示している。

【００４６】符号化ビットストリームは、同図に示すよ
うに、ＶＳ（Visual Object Sequence）層、ＶＩＳＯ(V
isual Object)層、ＶＯ（video Object）層、ＶＯＬ
（Video Object Layer）、ＧＯＶ(Group of VOP)層、Ｖ
ＯＰ（Video Object Plane）層などの、複数の階層から
なる階層構造を有している（図１において、上方に位置
している階層ほど、上位の階層を構成する）。

【００４７】即ち、符号化ビットストリームは、ＶＳを
単位として構成される。ここで、ＶＳは、画像シーケン
スであり、例えば、一本の番組や映画などに相当する。

【００４８】各ＶＳは、１以上のＶＩＳＯから構成され
る。ここで、ＶＩＳＯには、幾つかの種類がある。即
ち、ＶＩＳＯには、例えば、静止画であるスチルテクス
チャオブジェクト（Still Texture Object）や、顔画像
から構成されるフェイスオブジェクト（Face Objec
t）、動画像のオブジェクトであるＶＯ（Video Objec
t）などがある。従って、符号化ビットストリームが動
画像のものである場合、ＶＩＳＯは、ＶＯから構成され
る。

【００４９】ＶＯは、１以上のＶＯＬ（Video Object L
ayer）から構成される（画像を階層化（階層符号化）し
ないときは１のＶＯＬで構成され、画像を階層化する場
合には、その階層数だけのＶＯＬで構成される）。

【００５０】ＶＯＬは、必要な数のＧＯＶ（Group of V
OP）で構成され、ＧＯＶは、１以上のＶＯＰ（Video Ob
ject Plane）のシーケンスで構成される。なお、ＧＯＶ
はなくても良く、この場合、ＶＯＬは、１以上のＶＯＰ
で構成されることになる。

【００５１】ＶＯＰは、従来のフレームに相当する。

【００５２】なお、ＶＳ，ＶＯ，ＶＯＰの関係につい
て、さらに説明すると、ＶＳは、上述したように、画像
シーケンスであり、例えば、一本の番組に相当する。そ
して、ＶＯは、ある合成画像のシーケンスが存在する場
合の、その合成画像を構成する各物体のシーケンスであ
り、ＶＯＰは、ある時刻におけるＶＯを意味する。即
ち、例えば、いま、画像Ｆ１およびＦ２を合成して構成
される合成画像Ｆ３がある場合、画像Ｆ１またはＦ２が
時系列に並んだものが、それぞれＶＯであり、ある時刻
における画像Ｆ１またはＦ２が、それぞれＶＯＰであ
る。従って、ＶＯは、異なる時刻の、同一物体のＶＯＰ
の集合ということができる。

【００５３】ここで、図２乃至図４それぞれに、ＶＳ，
ＶＩＳＯ，ＶＯのシンタクスを示す。また、図５乃至図
７に、ＶＯＬのシンタクスを、図８に、ＧＯＶのシンタ
クスを、図９乃至図１１に、ＶＯＰのシンタクスを、そ
れぞれ示す。なお、各層のシンタクスに記載されている
フラグのセマンティクスは、ＭＰＥＧ４ＦＣＤ規格（14
496-2）に記載されているので、それを参照されたい。

【００５４】MPEG4のFCD規格におけるＶＳ，ＶＩＳＯ，
ＶＯ，ＶＯＬヘッダの情報は、符号化ビットストリーム
を復号するために必要な必須情報を含んでおり、これら
の情報がなければ、前述したように、その符号化ビット
ストリームを正確に復号することは困難である。

【００５５】即ち、例えば、記録媒体に記録された符号
化ビットストリームに対して、ランダムアクセスや、Ｆ
Ｆ／ＦＲ（早送り／巻き戻し）等のような特殊再生を行
う場合、または放送されている符号化ビットストリーム
に途中からアクセスする場合、その符号化ビットストリ
ームの復号を開始するためには、まず、ＶＳ，ＶＩＳ
Ｏ，ＶＯ，ＶＯＬヘッダの情報を復号することが必要で
ある。

【００５６】しかしながら、MPEG4のFCD規格において
は、符号化ビットストリームの先頭に、一度だけＶＳ，
ＶＩＳＯ，ＶＯ，ＶＯＬヘッダを伝送することしか許さ
れておらず、この場合、特に、放送されてくる符号化ビ
ットストリームの途中から復号を始めることは難しい。

【００５７】さらに、例えば、ＶＯＬヘッダには、量子
化マトリクスを始め、符号化モードを指定するフラグが
記述される。これらの符号化モードは、符号化対象の画
像から得られる符号化ビットストリームの性質に依存し
て、即ち、符号化対象の画像の統計的性質が最適になる
ように設定される。しかしながら、例えば、長時間の画
像シーケンスなどに関しては、画像の性質は時刻によっ
て大きく変化することがあるため、ＶＯＬヘッダに、最
初に設定した値が、必ずしも常に最適であるとは限らな
い。それにもかかわらず、画像シーケンスの先頭（ここ
では、符号化モードを指定するフラグが記述されるＶＯ
Ｌの先頭）でしか、符号化モードを指定するフラグを設
定することができないということは、効率の良い符号化
の妨げとなる。

【００５８】そこで、図１２は、本発明を適用したエン
コーダの一実施の形態の構成例を示している。なお、こ
のエンコーダを構成するフレームメモリ１、動きベクト
ル検出器２、演算器３，ＤＣＴ器４、量子化器５，ＶＬ
Ｃ器６、バッファ７、逆量子化器８，ＩＤＣＴ器９，演
算器１０、フレームメモリ１１、動き補償器１２は、図
２４に示したエンコーダを構成するフレームメモリ３
１、動きベクトル検出器３２、演算器３３，ＤＣＴ器３
４、量子化器３５，ＶＬＣ器３６、バッファ３７、逆量
子化器３８，ＩＤＣＴ器３９，演算器４０、フレームメ
モリ４１、動き補償器４２にそれぞれ対応している。従
って、フレームメモリ１乃至動き補償器１２それぞれで
は、フレームメモリ３１乃至動き補償器４２それぞれの
処理と同一の処理が行われる場合があり、そのような同
一の処理についての説明は、適宜省略する。

【００５９】符号化対象のディジタル画像信号を構成す
るＶＯＰは、フレームメモリ１に順次供給され、そこで
受信されて一時記憶される。さらに、フレームメモリ１
には、そこに供給されるＶＯＰの、所定の絶対座標系に
おける大きさを示すフラグFSZと、位置を示すフラグFPO
Sも供給されるようになされており、フレームメモリ１
は、これらのフラグFSZおよびFPOSも一時記憶する。

【００６０】フレームメモリ１に記憶されたＶＯＰは、
動きベクトル検出器２によって、マクロブロック単位で
読み出される。そして、動きベクトル検出回路２は、予
め設定されている所定のシーケンスに従って、各ＶＯＰ
を、Ｉ（Intra）−ＶＯＰ，Ｐ（Predictive）−ＶＯ
Ｐ、またはＢ（Biderectionally Predictive）−ＶＯＰ
として処理する。シーケンシャルに入力される各ＶＯＰ
を、Ｉ，Ｐ，ＢのいずれのＶＯＰとして処理するかは、
予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・
・・Ｂ，Ｐとして処理される）。

【００６１】動きベクトル検出器２は、処理対象のマク
ロブロックに対して、予め定められた所定の参照画像
（ＶＯＰ）を参照して、動き補償を施し、そのマクロブ
ロックの動きベクトルを検出する。

【００６２】ここで、動き補償（フレーム間予測）に
は、前方予測、後方予測、両方向予測の３種類の予測モ
ードがあり、Ｐ−ＶＯＰは、前方予測のみでのみ動き補
償が施され、動きベクトル検出器２は、その予測誤差を
最小にする動きベクトルを検出する。また、Ｂ−ＶＯＰ
は、前方予測、後方予測、両方向予測の３種類で動き補
償が施され、動きベクトル検出器２は、各予測モードに
おいて、その予測誤差を最小にする動きベクトルを検出
する。さらに、動きベクトル検出器２は、３つの予測モ
ードのうち、最小の予測誤差が得られたものを選択し、
その予測モードにおける動きベクトルも選択する。

【００６３】そして、動きベクトル検出器２は、動き補
償の結果得られた予測誤差と、符号化対象のマクロブロ
ックの分散とを比較する。その結果、マクロブロックの
分散の方が小さい場合は、そのマクロブロックについて
はフレーム間予測は行われず、フレーム内符号化が行わ
れる。この場合、予測モードは、画像内符号化（イント
ラ）となり、そのような予測モードが、動きベクトル検
出器２からＶＬＣ器６および動き補償器１２に供給され
る。一方、予測誤差の方が小さい場合には、その予測誤
差が得られた予測モードと動きベクトルとが、動きベク
トル検出器２からＶＬＣ器６および動き補償器１２に供
給される。なお、Ｉ−ＶＯＰについての予測モードは、
必ず画像内符号化にされる。

【００６４】ここで、符号化対象となるVOPのシーケン
スは、それぞれ、大きさや位置が異なることがある。従
って、動きベクトルを検出する場合には、基準となる座
標系を設定し、その座標系において、動きベクトルの検
出を行う必要がある。そこで、ここでは、ある１つの絶
対座標を仮定し、その絶対座標における動きベクトルが
算出されるようになされている。即ち、動きベクトル検
出器２には、ＶＯＰの絶対座標系における大きさを示す
フラグFSZと、位置を示すフラグFPOSとが供給されるよ
うになされており、動きベクトル検出器２は、このフラ
グFSZおよびフラグFPOSに基づき、処理対象のＶＯＰ
と、参照画像となるＶＯＰとを、絶対座標系に配置し、
処理対象のＶＯＰ（のマクロブロック）の動きベクトル
を算出するようになされている。

【００６５】一方、動き補償器１２は、動きベクトル検
出器２からの動きベクトルおよび予測モードに基づい
て、フレームメモリ１１に記憶されているＶＯＰに対し
て動き補償を施すことで、予測画像を生成する。この予
測画像は、演算器３に供給される。演算器３には、さら
に、動きベクトル検出器２がフレームメモリ１から読み
出した符号化対象のマクロブロックも、フレームメモリ
１から供給される。そして、演算器３は、符号化対象の
マクロブロックを構成する各画素の画素値それぞれと、
予測画像を構成する画素の画素値それぞれの差分を演算
し、その差分信号を、DCT器４に出力する。なお、符号
化対象のマクロブロックが、イントラマクロブロックの
場合には、演算器３は、その符号化対象のマクロブロッ
クをそのままDCT器４に出力する。

【００６６】DCT器４では、演算器３の出力に対して、D
CT（離散コサイン変換）処理が施され、DCT係数に変換
される。このＤＣＴ係数は、量子化器５に入力され、送
信バッファ７のデータ蓄積量（バッファ蓄積量）に対応
した量子化ステップで量子化された後、ＶＬＣ（可変長
符号化）器６に入力される。

【００６７】ＶＬＣ器６は、量子化器５より供給される
画像データを、例えばハフマン符号などの可変長符号に
変換し、その結果得られる符号化ビットストリームを、
送信バッファ７に出力する。

【００６８】ＶＬＣ器６には、また、量子化器５より量
子化ステップ（スケール）が、動きベクトル検出器２よ
り予測モード（画像内予測、前方予測、後方予測、また
は両方向予測のいずれが設定されたかを示すモード）、
および動きベクトルが、後述するキー信号符号化器１３
よりキー信号の符号化結果が、それぞれ供給されるよう
になされている。さらに、ＶＬＣ器６には、フラグFSZ
およびFPOSも供給されるようになされている。ＶＬＣ器
６は、これらの情報、さらには、バッファ１６に記憶さ
れた情報を、図１に示したように構成される符号化ビッ
トストリームの所定の階層のヘッダに挿入（配置）して
出力する。

【００６９】なお、ＶＬＣ器６は、各階層のヘッダに配
置された情報を、バッファ１６に出力するようになされ
ており、バッファ１６は、ＶＬＣ器６から供給される情
報を記憶するようになされている。

【００７０】送信バッファ７は、ＶＬＣ器３６からの符
号化ビットストリームを一時蓄積し、その蓄積量に対応
する量子化制御信号を量子化器５に出力する。即ち、送
信バッファ７は、その蓄積量が許容上限値まで増量する
と、量子化スケールを大きくする量子化制御信号を、量
子化器５に供給し、量子化スケールを大きくさせること
で、量子化器５の出力するデータ量を低下させる。ま
た、送信バッファ７は、その蓄積残量が許容下限値まで
減少すると、量子化スケールを小さくする量子化制御信
号を、量子化器５に供給し、量子化スケールを小さくさ
せることで、量子化器５の出力するデータ量を増大させ
る。このようにして、送信バッファ７のオーバフローお
よびアンダフローが防止されるようになされている。

【００７１】そして、送信バッファ７に蓄積された符号
化ビットストリームは、所定のタイミングで読み出さ
れ、例えば、磁気テープや、磁気ディスク、光磁気ディ
スク、相変化ディスクなどの記録媒体２０１に供給され
て記録され、あるいは、アナログ公衆網や、ＩＳＤＮ、
衛星回線、ＣＡＴＶ網、地上波などの伝送媒体２０２を
介して伝送される。これにより、記録媒体２０１や伝送
媒体２０２を媒介して、符号化ビットストリームが、後
述する図１６のデコーダに提供される。

【００７２】ここで、上述したように、ＶＯは、ある合
成画像のシーケンスが存在する場合の、その合成画像を
構成する各物体のシーケンスであり、ＶＯＰは、ある時
刻におけるＶＯを意味する。即ち、例えば、いま、画像
Ｆ１およびＦ２を合成して構成される合成画像Ｆ３があ
る場合、画像Ｆ１またはＦ２が時系列に並んだものが、
それぞれＶＯであり、ある時刻における画像Ｆ１または
Ｆ２が、それぞれＶＯＰである。従って、例えば、画像
Ｆ１を背景とするとともに、画像Ｆ２を前景とすると、
合成画像Ｆ３を得るためには、画像Ｆ２を抜くためのキ
ー信号を用いて、画像Ｆ１およびＦ２を合成する必要が
ある。即ち、合成画像Ｆ３を得るには、画像Ｆ２を抜く
ためのキー信号が必要となる。

【００７３】このため、各ＶＯＰを抜くためのキー信号
が、キー信号符号化器１３に供給されるようになされて
おり、キー信号符号化器１３では、そこに供給されるキ
ー信号が、例えばDPCMなどの所定の手法によって符号化
される。このキー信号の符号化結果は、ＶＬＣ器６およ
びキー信号復号器１４に供給されるようになされてい
る。

【００７４】キー信号復号器１４では、キー信号符号化
器１３からのキー信号の符号化結果が復号され、動きベ
クトル検出器２、ＤＣＴ器４、ＩＤＣＴ器９、動き補償
器１２、および画素置換器１５に供給され、これらのブ
ロックでは、キー信号の復号結果を必要に応じて用いて
処理が行われる。

【００７５】このように、動きベクトル検出器２には、
キー信号復号器１４で局所復号されたキー信号も供給さ
れるようになされているが、このキー信号は、動きベク
トル検出器２が、マクロブロックの予測誤差を計算する
際に用いられる。

【００７６】即ち、ＶＯＰは、ある時刻の、ある物体の
画像であるから、その形状は、基本的に任意形状であ
り、この場合、符号化対象のマクロブロックに画像（物
体を構成する画素）が存在しない領域が含まれることが
ある。そのような場合に、動きベクトル検出器２は、符
号化対象のマクロブロックにおいて画像が存在しない画
素を除外して、予測誤差を計算するようになされてお
り、即ち、画像が存在する画素の予測誤差のみを用い
て、符号化対象のマクロブロックの予測誤差を計算し、
それを最小とする動きベクトルを検出するようになされ
ており、符号化対象のマクロブロック内の各画素につい
て、画像が存在するかどうかを認識するために、符号化
対象のマクロブロックの、局所復号されたキー信号が参
照される。

【００７７】具体的には、動きベクトル検出器２では、
キー信号が０である画素については、画像が存在しな
い、物体（画像オブジェクト）の外側の領域に属する画
素であると認識され、キー信号が０以外である画素につ
いては、画像が存在する、物体（画像オブジェクト）の
内側の領域にある画素であると認識される。そして、動
きベクトル検出器２は、キー信号が０である画素につい
ては、予測画像を求めるための、参照画像との差分を計
算しない。

【００７８】なお、ＶＯＰの形状が長方形状である場合
には、キー信号は常に０以外の値（バイナリ（binary）
キー（ハードキー）では１、グレイスケール（gray sca
le）キー（ソフトキー）では１乃至２５５のいずれか）
となるため、マクロブロックのすべての画素を用いて予
測誤差が計算される。

【００７９】一方、量子化器５が出力するデータは、逆
量子化器８にも供給され、逆量子化器８では、そのデー
タが、量子化器５より供給される量子化ステップに対応
して逆量子化され、ＤＣＴ係数とされる。このＤＣＴ係
数は、ＩＤＣＴ（逆ＤＣＴ）器９に入力され、逆ＤＣＴ
処理された後、演算器１０に供給される。

【００８０】予測モードが、前方予測、後方予測、両方
向予測のうちのいずれかである場合、演算器１０には、
ＩＤＣＴ器９の出力の他、動き補償器１２が出力する予
測画像も供給される。演算器１０は、ＩＤＣＴ器９の出
力に、動き補償器１２が出力する予測画像を加算するこ
とで、画像を復号し、画素置換器１５に供給する。

【００８１】なお、演算器１０は、予測モードが画像内
符号化である場合には、ＩＤＣＴ器９の出力を、そのま
ま画素置換器１５に供給するようになされている。

【００８２】画素置換器１５では、演算器１０の出力に
対して、後述するパディング処理が施され、フレームメ
モリ１１に供給される。フレームメモリ１１では、画素
置換器１５の出力が記憶され、この記憶値、即ち、復号
画像は、動き補償器１２による動き補償のために用いら
れる。なお、フレームメモリ１１には、フラグFSZおよ
びFPOSも供給されるようになされており、フレームメモ
リ１１は、これらのフラグFSZおよびFPOSも記憶するよ
うになされている。

【００８３】次に、図１３のフローチャートを参照し
て、図１２の画素置換器１５が行うパディング（paddin
g）処理について説明する。

【００８４】パディング処理では、まず最初に、ステッ
プＳ１において、演算器１０から画素置換器１５に供給
されたマクロブロックを構成する画素の１つを注目画素
として、その注目画素についてのキー信号が０であるか
否かが判定される。ステップＳ１において、注目画素に
ついてのキー信号が０でないと判定された場合、即ち、
注目画素が、画像オブジェクトの内側を構成するもので
ある場合、ステップＳ２に進み、画素置換器１５は、そ
の注目画素に対して、何も処理を施さず、そのままフレ
ームメモリ１１に出力し、ステップＳ４に進む。

【００８５】ここで、符号化対象のＶＯＰの形状が長方
形状である場合、上述したように、キー信号は常に０以
外の値となるため、画素置換器１５では、そのＶＯＰ中
の全ての画素が何も処理されずそのまま出力されること
になる。

【００８６】一方、ステップＳ１において、注目画素に
ついてのキー信号が０であると判定された場合、即ち、
注目画素が、画像オブジェクトの外側を構成するもので
ある場合、ステップＳ３に進み、注目画素の画素値が、
例えば０とされ、ステップＳ４に進む。ステップＳ４で
は、演算器１０からのマクロブロックを構成する画素す
べてについて処理を行ったかどうかが判定され、まだ、
すべての画素について処理を行っていないと判定された
場合、ステップＳ１に戻り、まだ注目画素とされていな
い画素を、新たに注目画素として、同様の処理が繰り返
される。

【００８７】また、ステップＳ４において、演算器１０
からの画素すべてについて処理を行ったと判定された場
合、ステップＳ５に進み、演算器１０からのマクロブロ
ックのある水平ラインが、注目水平ラインとして選択さ
れ、ステップＳ６に進む。ステップＳ６では、注目水平
ラインの両端の画素の画素値が判定される。

【００８８】即ち、ステップＳ１乃至Ｓ４の処理が施さ
れた後のマクロブロックの、ある水平ラインに注目した
場合には、その注目水平ラインについては、その両端の
画素値が、いずれも０のケース（両端の画素が画像オブ
ジェクトの外側にあるケース）、いずれか一端の画素値
が０でないケース（一端の画素だけが画像オブジェクト
の内側にあるケース）、および両端の画素値がいずれも
０でないケース（両端の画素が画像オブジェクトの内側
にあるケース）の３通りのケースが生じる。ステップＳ
６では、注目水平ラインが、これらの３つのケースのう
ちのいずれに属するのかが判定される。

【００８９】ステップＳ６において、注目水平ラインの
両端の画素値が、いずれも０であると判定された場合、
ステップＳ７に進み、その注目水平ラインについて確保
された変数Ｃに、０がセットされ、ステップＳ１０に進
む。また、ステップＳ６において、注目水平ラインの両
端の画素値が、いずれも０でないと判定された場合、ス
テップＳ８に進み、その注目水平ラインについて確保さ
れた変数Ｃに、注目水平ラインの両端の画素値の平均値
がセットされ、ステップＳ１０に進む。さらに、ステッ
プＳ６において、注目水平ラインの両端の画素値のうち
のいずれか一方だけが０でないと判定された場合、ステ
ップＳ９に進み、その注目水平ラインについて確保され
た変数Ｃに、注目水平ラインの両端の画素値のうちの０
でない方の値がセットされ、ステップＳ１０に進む。

【００９０】ステップＳ１０では、演算器１０からのマ
クロブロックのすべての水平ラインを注目水平ラインと
して処理を行ったかどうかが判定され、まだ、すべての
水平ラインを注目水平ラインとして処理を行っていない
と判定された場合、ステップＳ５に戻り、まだ、注目水
平ラインとして選択されていない水平ラインが、新たな
注目水平ラインとして選択され、以下、同様の処理が繰
り返される。

【００９１】また、ステップＳ１０において、すべての
水平ラインを注目水平ラインとして処理を行ったと判定
された場合、ステップＳ１１に進む。

【００９２】ステップＳ１１乃至ステップＳ１６では、
演算器１０からのマクロブロックの水平ラインではな
く、垂直ラインを対象として、ステップＳ５乃至Ｓ１０
における場合とそれぞれ同様の処理が行われる。

【００９３】即ち、ステップＳ１１では、演算器１０か
らのマクロブロックのある垂直ラインが、注目垂直ライ
ンとして選択され、ステップＳ１２に進む。ステップＳ
１２では、注目垂直ラインの両端の画素の画素値が判定
される。

【００９４】即ち、ステップＳ１乃至Ｓ４の処理が施さ
れた後のマクロブロックの、ある垂直ラインに注目した
場合にも、その注目垂直ラインについては、その両端の
画素値が、いずれも０のケース（両端の画素が画像オブ
ジェクトの外側にあるケース）、いずれか一端の画素値
が０でないケース（一端の画素だけが画像オブジェクト
の内側にあるケース）、および両端の画素値がいずれも
０でないケース（両端の画素が画像オブジェクトの内側
にあるケース）の３通りのケースが生じる。ステップＳ
１２では、注目垂直ラインが、これらの３つのケースの
うちのいずれに属するのかが判定される。

【００９５】ステップＳ１２において、注目垂直ライン
の両端の画素値が、いずれも０であると判定された場
合、ステップＳ１３に進み、その注目垂直ラインについ
て確保された変数Ｂに、０がセットされ、ステップＳ１
６に進む。また、ステップＳ１２において、注目垂直ラ
インの両端の画素値が、いずれも０でないと判定された
場合、ステップＳ１４に進み、その注目垂直ラインにつ
いて確保された変数Ｂに、注目垂直ラインの両端の画素
値の平均値がセットされ、ステップＳ１６に進む。さら
に、ステップＳ１２において、注目垂直ラインの両端の
画素値のうちのいずれか一方だけが０でないと判定され
た場合、ステップＳ１５に進み、その注目垂直ラインに
ついて確保された変数Ｂに、注目垂直ラインの両端の画
素値のうちの０でない方の値がセットされ、ステップＳ
１６に進む。

【００９６】ステップＳ１６では、演算器１０からのマ
クロブロックのすべての垂直ラインを注目垂直ラインと
して処理を行ったかどうかが判定され、まだ、すべての
垂直ラインを注目垂直ラインとして処理を行っていない
と判定された場合、ステップＳ１１に戻り、まだ、注目
垂直ラインとして選択されていない垂直ラインが、新た
な注目垂直ラインとして選択され、以下、同様の処理が
繰り返される。

【００９７】また、ステップＳ１６において、すべての
垂直ラインを注目垂直ラインとして処理を行ったと判定
された場合、ステップＳ１７に進み、演算器１０からの
マクロブロックを構成する画素のうち、ステップＳ２で
そのままフレームメモリ１１に出力した画素を除いたも
のの中から、ある画素が、注目画素として選択され、ス
テップＳ１８に進む。

【００９８】ステップＳ１８では、注目画素上で交差す
る垂直ラインと水平ラインそれぞれについての変数Ｂと
Ｃのセット（Ｂ，Ｃ）の値が判定される。

【００９９】ステップＳ１８において、変数Ｂが０で、
Ｃが０でないと判定された場合、ステップＳ１９に進
み、変数Ｃの値が、注目画素の画素値として、フレーム
メモリ１１に出力され、ステップＳ２３に進む。また、
ステップＳ１８において、変数ＢおよびＣのいずれも０
でないと判定された場合、ステップＳ２０に進み、変数
ＢとＣの値の平均値が、注目画素の画素値として、フレ
ームメモリ１１に出力され、ステップＳ２３に進む。さ
らに、ステップＳ１８において、変数ＢおよびＣのいず
れも０であると判定された場合、ステップＳ２１に進
み、注目画素の画素値が０のままとされ、ステップＳ２
３に進む。

【０１００】一方、ステップＳ１８において、変数Ｂが
０でなく、Ｃが０であると判定された場合、ステップＳ
１９に進み、変数Ｂの値が、注目画素の画素値として、
フレームメモリ１１に出力され、ステップＳ２３に進
む。ステップＳ２３では、演算器１０からのマクロブロ
ックを構成する画素のうち、ステップＳ２でそのまま出
力した画素を除いたものすべてについて処理を行ったか
どうかが判定され、まだ行っていないと判定された場
合、ステップＳ１７に戻り、まだ、注目画素とされてい
ない画素が、新たに注目画素として選択され、以下、同
様の処理が繰り返される。

【０１０１】また、ステップＳ２３において、演算器１
０からのマクロブロックを構成する画素のうち、ステッ
プＳ２でそのまま出力した画素を除いたものすべてにつ
いて処理を行ったと判定された場合、ステップＳ２４に
進み、既にフレームメモリ１１に出力された画素のう
ち、まだフレームメモリ１１に出力されていない各画素
（以下、適宜、未出力画素という）に最も近いものが検
出される。さらに、ステップＳ２４では、その検出され
た画素の画素値が、未出力画素の画素値として、フレー
ムメモリ１１に出力され、パディング処理を終了する。
なお、既に、フレームメモリ１１に出力された画素の中
で、未出力画素に最も近いものが、２個以上検出された
場合には、それらの画素値の平均値が、未出力画素の画
素値として出力される。

【０１０２】以上のようなパディング処理を行うこと
で、画像オブジェクトの外側を構成する画素が、いわば
補間され、これにより、モスキートノイズの低減化およ
び動き補償の効率化を図ることができる。

【０１０３】次に、図１のＶＬＣ器６の処理について、
さらに説明する。

【０１０４】ＶＬＣ器６は、ＶＳ，ＶＩＳＯ，ＶＯ，Ｖ
ＯＬ，ＧＯＶ，ＶＯＰそれぞれのヘッダに、本来配置す
べき情報を配置し、さらに、量子化器５の出力の可変長
符号化結果を配置することで、符号化ビットストリーム
を構成し、送信バッファ７に出力する。

【０１０５】また、ＶＬＣ器６は、ＧＯＶより上位の階
層であるＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダに配
置した情報を、バッファ１６に出力して記憶させる。

【０１０６】その後、ＶＬＣ器６は、ＧＯＶヘッダを出
力するとき、バッファ１６に記憶されている、ＧＯＶよ
り上位の階層のＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッ
ダの情報を読み出し、ＧＯＶヘッダの所定の位置に挿入
して（含めて）出力する。従って、この場合、ＧＯＶヘ
ッダには、そこに本来配置すべき情報の他、ＶＳ，ＶＩ
ＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報も配置される。

【０１０７】図１４は、以上のような処理を行うＶＬＣ
器６が出力するＧＯＶのシンタクスを示している。な
お、図１４において影を付してある部分が、図８に示し
たＦＣＤにおけるシンタクスと異なる部分となってい
る。

【０１０８】group_VOP_start_codeは、GOVの開始位置
を示す32ビットのユニークなコードである。time_code
（時刻情報）は、１８bitで構成され、GOVにおいて、最
初に表示されるＶＯＰの秒精度の表示時刻を表す。この
time_codeは、IEC standardpublication 461で規定され
ている「time and control codes for video tape reco
rders」に相当する。

【０１０９】closed_gopおよびbroken_linkについて
は、MPEG4VideoFCD規格(ISO/IEC 14496-2)を参照された
い。

【０１１０】is_extension（ヘッダ情報有無フラグ）
は、本実施の形態で導入した１ビットのフラグで、GOV
ヘッダに、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダ
の、デコーダの初期化を行うための情報、その他の情報
を含めるかどうかを表す。ＶＬＣ器６では、例えば、フ
ラグis_extensionが１の場合、ＶＳ，ＶＩＳＯ，ＶＯ，
ＶＯＬの各ヘッダの情報（VisualObjectSequence(), Vi
sualObject(), VideoObject(), VideoObjectLayer()）
が、GOVヘッダに含められる。即ち、フラグis_extensio
nが１の場合、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッ
ダの情報は、group_VOP_start_code，time_code，close
d_gop，broken_link,is_extensionの後に続けて配置さ
れる。

【０１１１】さらに、フラグis_extensionが１の場合
は、ＶＬＣ器６は、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各
ヘッダの情報を、GOVヘッダに含めた後、その含めたＶ
Ｓ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報を、バッ
ファ１６に供給し、いままで記憶されていた情報に替え
て記憶させる。

【０１１２】なお、ＶＬＣ器６は、ＶＳ，ＶＩＳＯ，Ｖ
Ｏ，ＶＯＬの各ヘッダを、その後に出力したときも、そ
のヘッダの情報をバッファ１６に供給して記憶させる。

【０１１３】従って、バッファ１６には、常に最新のＶ
Ｓ，ＶＩＳＯ，ＶＯ，ＶＯＬのヘッダの情報が記憶され
ていることになる。

【０１１４】ここで、フラグis_extensionが１の場合
に、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報
を、GOVヘッダに含めた後、その含めたＶＳ，ＶＩＳ
Ｏ，ＶＯ，ＶＯＬの各ヘッダの情報を、バッファ１６に
供給して記憶させるのは、次のような理由による。

【０１１５】即ち、ＶＬＣ器６には、符号化効率を向上
させる等のため、GOVヘッダに含めさせるＶＳ，ＶＩＳ
Ｏ，ＶＯ，ＶＯＬの各ヘッダの情報を変更させることが
できる。この場合、その変更後の情報が最新の情報とい
うことになるので、その最新の情報を、バッファ１６に
記憶させておくために、GOVヘッダに含めたＶＳ，ＶＩ
ＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報を、バッファ１６
に供給して記憶させるようになされている。

【０１１６】一方、フラグis_extensionが０の場合、Ｖ
ＬＣ器６では、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッ
ダの情報は、GOVヘッダに含められない。

【０１１７】なお、バッファ１６の記憶値は、外部から
変更することが可能なようになっている。即ち、ＶＳ，
ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報の一部または
全部を、符号化ビットストリームの途中で変化させたい
場合がある。即ち、例えば、デコードに用いる量子化マ
トリクスを、符号化ビットストリームの復号の途中で変
更したい場合などがある。このような場合、ユーザは、
バッファ１６に記憶されているＶＳ，ＶＩＳＯ，ＶＯ，
ＶＯＬの各ヘッダの情報を、適宜、所望の情報に変更す
ることができる。この変更後の情報は、フラグis_exten
sionが１になっているGOVヘッダに配置されて出力され
るから、デコーダでは、そのGOVヘッダを受信した後
に、その変更後の情報に基づいて、デコードが行われる
ことになる。

【０１１８】次に、図１５のフローチャートを参照し
て、図１４に示したようなシンタクスのGOVを出力する
ためのＶＬＣ器６の処理について説明する。

【０１１９】ＶＬＣ器６は、上述したように、ＶＳ，Ｖ
ＩＳＯ，ＶＯ，ＶＯＬ，ＧＯＶ，ＶＯＰそれぞれのヘッ
ダに、本来配置すべき情報を配置し、さらに、量子化器
５の出力の可変長符号化結果を配置することで、符号化
ビットストリームを構成し、送信バッファ７に出力して
いる。

【０１２０】さらに、ＶＬＣ器６は、ＶＳ，ＶＩＳＯ，
ＶＯ，ＶＯＬの各ヘッダを出力するごとに、各ヘッダに
配置した情報を、バッファ１６に出力して記憶させてい
る（上書きしている）。

【０１２１】そして、ＶＬＣ器６は、ＧＯＶヘッダを出
力する場合には、ステップＳ３１において、そのＧＯＶ
ヘッダについてのフラグis_extensionが１であるかどう
かを判定する。ステップＳ１において、フラグis_exten
sionが１でない（０である）と判定された場合、ＶＬＣ
器６は、ＧＯＶヘッダに、本来配置すべき情報（図８に
示した情報）およびフラグis_extensionを配置し（Ｖ
Ｓ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報は配置し
ない）、その結果得られるＧＯＶヘッダを出力する。そ
して、次のＧＯＶヘッダを出力するタイミングまで待っ
て、ステップＳ３１に戻る。

【０１２２】一方、ステップＳ３１において、フラグis
_extensionが１であると判定された場合、ステップＳ３
２に進み、バッファ１６に記憶されているＶＳ，ＶＩＳ
Ｏ，ＶＯ，ＶＯＬの各ヘッダの最新の情報を読み出し、
その最近の情報およびフラグis_extension、並びに本来
配置すべき情報を、ＧＯＶヘッダに配置して出力する。
そして、次のＧＯＶヘッダを出力するタイミングまで待
って、ステップＳ３１に戻る。

【０１２３】なお、各ＧＯＶに配置されるフラグis_ext
ensionの値は、例えば、エンコーダの管理者側におい
て、あらかじめ、ＶＬＣ器に設定されている。

【０１２４】次に、図１６は、記録媒体２０１または伝
送媒体２０２を介して提供される符号化ビットストリー
ムを復号するデコーダの一実施の形態の構成例を示して
いる。このデコーダを構成するバッファ２１、ＩＶＬＣ
器２２，逆量子化器２３，ＩＤＣＴ器２４，演算器２
５、フレームメモリ２６、動き補償器２７は、図２５に
示したデコーダを構成するバッファ１０１、ＩＶＬＣ器
１０２，逆量子化器１０３，ＩＤＣＴ器１０４，演算器
１０５、フレームメモリ１０６、動き補償器１０７にそ
れぞれ対応している。従って、バッファ２１乃至動き補
償器２７それぞれでは、バッファ１０１乃至動き補償器
１０７それぞれの処理と同一の処理が行われる場合があ
り、そのような同一の処理についての説明は、適宜省略
する。

【０１２５】記録媒体２０１または伝送媒体２０２を介
して提供される符号化ビットストリームは、受信バッフ
ァ２１で受信されて一時記憶される。そして、受信バッ
ファ２１に記憶された符号化ビットストリームは、適
宜、ＩＶＬＣ（可変長復号）器２２によって読み出され
る。

【０１２６】ＩＶＬＣ器２２は、受信バッファ２１から
読み出した符号化ビットストリームを可変長復号し、動
きベクトルおよび予測モードを、動き補償器２７に、ま
た、量子化ステップを逆量子化器２３に、それぞれ出力
するとともに、可変長復号された画像データ（量子化さ
れたＤＣＴ係数）を、逆量子化器２３に出力する。な
お、ＩＶＬＣ器２２は、その他、各階層のヘッダに含ま
れている、デコーダのデコード処理に用いられるパラメ
ータの初期化に必要な情報、その他の情報（例えば、オ
ーバラップ動き補償を行うかどうかを示すフラグや、量
子化マトリクスなど）を、適宜、必要なブロックに供給
する（例えば、オーバラップ動き補償を行うかどうかを
示すフラグは動き補償器２７に、量子化マトリクスは逆
量子化器２３に、それぞれ供給される）さらに、ＩＶＬ
Ｃ器２２は、ＧＯＶヘッダについては、フラグis_exten
sionを復号し、フラグis_extensionが1である場合、即
ち、ＧＯＶヘッダに、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの
各ヘッダの情報が含まれている場合、その情報も、Ｖ
Ｓ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダと同様に可変長
復号し、その復号結果を、必要なブロックに供給する。
具体的には、例えば、動きベクトル、予測モード、オー
バーラップ動き補償を行うかどうかを示すフラグなどは
動き補償器２７に、量子化ステップおよび量子化マトリ
クスなどは逆量子化器２３に、それぞれ供給される。

【０１２７】また、ＩＶＬＣ器２２は、符号化ビットス
トリームに含まれるフラグFSZおよびFPOSを復号し、フ
レームメモリ２６、動き補償器２７、およびキー信号復
号器２９に供給する。さらに、ＩＶＬＣ器２２は、符号
化ビットストリームに含まれる、符号化されたキー信号
（キー信号ビットストリーム）を抽出し、キー信号復号
器２９に供給する。

【０１２８】キー信号復号器２９は、ＩＶＬＣ器２２よ
り供給されるキー信号ビットストリームを復号する。こ
の復号されたキー信号は、IDCT器２４、動き補償器２
７、および画素置換器２８に供給される。

【０１２９】逆量子化器２３は、ＩＶＬＣ器２２より供
給される画像データを、同じくＩＶＬＣ器２２より供給
される量子化ステップに従って逆量子化し、IDCT器２４
に出力する。ＩＤＣＴ器２４は、逆量子化器２３より出
力されたデータ（DCT係数）に対して、逆DCT処理を施
し、演算器２５に供給する。

【０１３０】演算器２５は、IDCT器２４より供給された
画像データが、Ｉ−ＶＯＰのデータである場合、そのデ
ータを、その後に入力される画像データ（ＰまたはＢ−
ＶＯＰのデータ）の予測画像の生成のために、そのま
ま、画素置換器２８を介してフレームメモリ２６に供給
して記憶させる。

【０１３１】なお、画素置換器２８では、図１２の画素
置換器１５と同様の処理が行われる。

【０１３２】一方、演算器２５に供給されるデータが、
ＰまたはＢ−ＶＯＰのデータである場合、動き補償器２
７は、ＩＶＬＣ器２２より供給される動きベクトルおよ
び予測モードに従って、フレームメモリ２６に記憶され
た、既に復号されている画像を読み出すことで、予測画
像を生成し、演算器２５に出力する。演算器２５ではID
CT器２４より供給される画像データ（差分データ）と、
動き補償器２７より供給される予測画像データを加算
し、復号画像とする。この復号画像は、画素置換器２８
を介してフレームメモリ２６に供給されて記憶され、後
に復号する画像の参照画像（予測画像を生成するために
参照される画像）として、適宜用いられる。また、フレ
ームメモリ２６に記憶された復号画像は、上述したよう
に参照画像として用いられる他、適宜読み出され、例え
ば、図示せぬディスプレイなどに供給されて表示され
る。

【０１３３】次に、図１７のフローチャートを参照し
て、図１６のＩＶＬＣ器２２がＧＯＶヘッダに関して行
う処理について、さらに説明する。

【０１３４】ＩＶＬＣ器２２は、ＧＯＶヘッダを受信す
ると、そのＧＯＶヘッダについて、通常行うべき処理
（図８に示したＧＯＶヘッダが送信されてきたときに行
うべき処理）を行い、さらに、ステップＳ４１におい
て、ＧＯＶヘッダ（図１４）に配置されているフラグis
_extensionが1であるかどうかを判定する。ステップＳ
４１において、フラグis_extensionが1でない（０であ
る）と判定された場合、即ち、ＧＯＶヘッダに、ＶＳ，
ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報が含まれてい
ない場合、次のＧＯＶヘッダが送信されてくるのを待っ
て、ステップＳ４１に戻る。

【０１３５】また、ステップＳ４１において、フラグis
_extensionが1であると判定された場合、即ち、ＧＯＶ
ヘッダに、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの
情報が含まれている場合、ステップＳ４２に進み、ＩＶ
ＬＣ器２２は、そのＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各
ヘッダの情報を、必要なブロックに供給し、次のＧＯＶ
ヘッダが送信されてくるのを待って、ステップＳ４１に
戻る。

【０１３６】次に、ＧＯＶは、図１４に示したシンタク
スの他、例えば、図１８に示すシンタクスのように構成
することも可能である。

【０１３７】即ち、図１８は、ＧＯＶのシンタクスの他
の例を示している。なお、図１４と図１８とでは、brok
en_linkの下からnext_start_codeの上までの間が異なっ
ている。また、図１８において影を付してある部分が、
図８に示したＦＣＤにおけるシンタクスと異なる部分と
なっている。

【０１３８】図１４の実施の形態では、フラグis_exten
sionにより、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダ
の情報を、ＧＯＶヘッダにおいて伝送するかどうかだけ
が設定可能であったが、図１８の実施の形態では、フラ
グload_data_typeを採用することにより、ＶＳ，ＶＩＳ
Ｏ，ＶＯ，ＶＯＬの各ヘッダの情報すべてを、ＧＯＶヘ
ッダにおいて伝送するかどうかだけでなく、それらの情
報の一部のみを伝送するような設定も可能になってい
る。即ち、図１８の実施の形態では、ＶＳ，ＶＩＳＯ，
ＶＯ，ＶＯＬの各ヘッダの情報の一部だけを、ＧＯＶヘ
ッダに含ませることが可能であり、フラグload_data_ty
peによれば、そのＧＯＶヘッダに含ませる一部の情報を
識別することができるようになされている。

【０１３９】具体的には、図１８において、load_data_
typeは、可変長符号で、この直後に、ランダムアクセス
時にデコーダを初期化するための情報等を伝送するかど
うかと、伝送する場合には、その伝送する情報の種類を
示す。即ち、例えば、図１９に示すように、load_data_
typeが'1'のときには、ＧＯＶ層より上位階層のヘッダ
の情報は、ＧＯＶには含められない。また、load_data_
typeが'01'のときには、図１４の実施の形態においてフ
ラグis_extensionが１である場合と同様に、ＶＳ，ＶＩ
ＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報（VisualObjectSe
quence(), VisualObject(), VideoObject(), VideoObje
ctLayer()）のすべてが、ＧＯＶに含められる。さら
に、load_data_typeが'001'のときには、ＶＳ，ＶＩＳ
Ｏ，ＶＯ，ＶＯＬの各ヘッダの情報のうち、予め定めら
れた所定のパラメータの情報が、ＧＯＶに含められる。

【０１４０】即ち、図１８の実施の形態において、load
_data_typeが'001'のときにＧＯＶに含められる情報
は、download_parameters()として規定されている。

【０１４１】ここで、本実施の形態では、download_par
ameters()は、例えば、図２０に示すように規定されて
いる。

【０１４２】図２０において、フラグobmc_disableは、
オーバーラップ動き補償を用いるかどうかを示す１ビッ
トのフラグである。この値が、'1'である場合には、オ
ーバーラップ動き補償は用いられず、'0'である場合に
は、オーバーラップ動き補償が用いられる。フラグquan
t_typeは、逆量子化の方法を示す１ビットのフラグであ
る。この値が'0'である場合には、H.263に規定されてい
る逆量子化方法を用いて逆量子化が行われ、'1'である
場合には、MPEG2に規定されている逆量子化方法を用い
て逆量子化が行われる。MPEG2に規定されている逆量子
化方法を用いる場合には、さらに、量子化マトリクスを
ダウンロードするかどうかを示すフラグが伝送される。
また、量子化マトリクスをダウンロードする場合には、
そのダウンロードする量子化マトリクスも伝送される。

【０１４３】その他、図２０のdownload_parameters()
において規定されているload_intra_quant_mat, intra_
quant_mat, load_nonintra_quant_mat, nonintra_quant
_mat,load_intra_quant_mat_grayscale, iontra_quant_
mat_grayscale, load_nonintra_quant_mat_grayscale,
nonintra_quant_mat_grayscaleのセマンティクスは、Ｆ
ＣＤにおけるＶＯＬ（図５乃至図７）で規定されている
同名のフラグのセマンティクスと同様である。

【０１４４】なお、図１９の実施の形態では、フラグlo
ad_data_typeについて、３通りの場合しか規定していな
いが、４通り以上の場合を規定することも可能である。
この場合、図２０のdownload_parameters()で規定され
る情報の組み合わせとは異なる組み合わせの情報を、Ｇ
ＯＶヘッダに配置することが可能となる。

【０１４５】図２１は、図１８に示したＧＯＶヘッダを
出力するエンコーダの一実施の形態の構成例を示してい
る。なお、図中、図１２における場合と対応する部分に
ついては、同一の符号を付してある。即ち、図２１のエ
ンコーダは、パーサ１７が新たに設けられている他は、
図１２における場合と同様に構成されている。

【０１４６】パーサ（フラグ識別器）１７は、ＶＬＣ器
６が出力しようとしているＧＯＶヘッダについてのフラ
グload_data_typeを参照し、そのフラグload_data_type
にしたがって、バッファ１６から情報を読み出し、ＶＬ
Ｃ器６に供給する。ＶＬＣ器６では、パーサ１７から供
給される情報が、フラグload_data_typeとともに、ＧＯ
Ｖヘッダの図１８に示した所定の位置に配置されて出力
される。

【０１４７】次に、図２２のフローチャートを参照し
て、図１８に示したようなシンタクスのGOVをＶＬＣ器
６に出力させるためのパーサ１７の処理について説明す
る。

【０１４８】ＶＬＣ器６は、ＧＯＶヘッダを出力するタ
イミングで、そのＧＯＶヘッダについてのフラグload_d
ata_typeを、パーサ１７に供給する。パーサ１７は、Ｖ
ＬＣ器６からのフラグload_data_typeを受信し、ステッ
プＳ５１において、その値を判定する。ステップＳ５１
において、フラグload_data_typeが１であると判定され
た場合、パーサ１７は、ＶＬＣ器６に対して、何も出力
せず、次のＧＯＶヘッダに配置されたフラグload_data_
typeが、ＶＬＣ器６から送信されてくるのを待って、ス
テップＳ５１に戻る。この場合、ＶＬＣ器６では、ＧＯ
Ｖヘッダに、本来配置すべき情報およびload_data_type
を配置し、その結果得られるＧＯＶヘッダを出力する。

【０１４９】また、ステップＳ５１において、フラグlo
ad_data_typeが０１であると判定された場合、ステップ
Ｓ５２に進み、パーサ１７は、バッファ１６から、Ｖ
Ｓ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの最新の情報を
読み出し、ＶＬＣ器６に供給する。そして、次のＧＯＶ
ヘッダに配置されたフラグload_data_typeが、ＶＬＣ器
６から送信されてくるのを待って、ステップＳ５１に戻
る。従って、この場合、ＶＬＣ器６では、ＧＯＶヘッダ
に、本来配置すべき情報およびload_data_typeの他に、
ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報も配置
される。

【０１５０】一方、ステップＳ５１において、フラグlo
ad_data_typeが００１であると判定された場合、ステッ
プＳ５３に進み、パーサ１７は、バッファ１６に記憶さ
れている情報のうち、図２０に示したdownload_paramet
ers()に含まれるものを選択して読み出し、ＶＬＣ器６
に供給する。そして、次のＧＯＶヘッダに配置されたフ
ラグload_data_typeが、ＶＬＣ器６から送信されてくる
のを待って、ステップＳ５１に戻る。従って、この場
合、ＶＬＣ器６では、ＧＯＶヘッダに、本来配置すべき
情報およびload_data_typeの他に、図２０に示したdown
load_parameters()も配置される。

【０１５１】次に、図２１のエンコーダから、記録媒体
２０１または伝送媒体２０２を介して提供される符号化
ビットストリームは、図１６に示した構成のデコーダに
よってデコードすることができる。

【０１５２】図２３は、図１６に示した構成のデコーダ
のＩＶＬＣ器２２が、図１８に示したシンタクスのＧＯ
Ｖヘッダに関して行う処理を説明するためのフローチャ
ートである。

【０１５３】ＩＶＬＣ器２２は、ＧＯＶヘッダを受信す
ると、そのＧＯＶヘッダについて、通常行うべき処理
（図８に示したＧＯＶヘッダが送信されてきたときに行
うべき処理）を行い、さらに、ステップＳ６１におい
て、ＧＯＶヘッダ（図１８）に配置されているフラグlo
ad_data_typeの値を判定する。ステップＳ６１におい
て、フラグload_data_typeが1であると判定された場
合、次のＧＯＶヘッダが送信されてくるのを待って、ス
テップＳ６１に戻る。

【０１５４】また、ステップＳ６１において、フラグlo
ad_data_typeが０１であると判定された場合、即ち、Ｇ
ＯＶヘッダに、ＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッ
ダの情報が含まれている場合、ステップＳ６２に進み、
ＩＶＬＣ器２２は、フラグload_data_typeに基づいて、
そのＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬの各ヘッダの情報
を、符号化ビットストリームから抽出し、必要なブロッ
クに供給する。即ち、その情報を可変長復号し、その結
果得られる、例えば、動きベクトル、予測モード、およ
びオーバーラップ動き補償を行うかどうかを示すフラグ
を、動き補償器２７に、また、量子化ステップおよび量
子化マトリクスを、逆量子化器２３に、それぞれ供給す
る。そして、次のＧＯＶヘッダが送信されてくるのを待
って、ステップＳ６１に戻る。

【０１５５】一方、ステップＳ６１において、フラグlo
ad_data_typeが００１であると判定された場合、即ち、
ＧＯＶヘッダに、download_parameters()（パラメータ
更新情報）が含まれている場合、ステップＳ６３に進
み、ＩＶＬＣ器２２は、フラグload_data_typeに基づい
て、そのdownload_parameters()を、符号化ビットスト
リームから抽出し、必要なブロックに供給する。即ち、
そのdownload_parameters()を可変長復号し、その結果
得られる、例えば、オーバーラップ動き補償を行うかど
うかを示すフラグを、動き補償器２７に、また、量子化
ステップおよび量子化マトリクスを、逆量子化器２３
に、それぞれ供給する。そして、次のＧＯＶヘッダが送
信されてくるのを待って、ステップＳ６１に戻る。

【０１５６】以上のように、ＧＯＶのヘッダに、それに
より上位階層のＶＳ，ＶＩＳＯ，ＶＯ，ＶＯＬのヘッダ
の情報の全部または一部（本実施の形態では、図２０に
示したdownload_parameters()）を含めるようにしたの
で、符号化ビットストリームに対して、ランダムアクセ
ス等し、その途中から、正常な復号を行うことが可能と
なる。さらに、ＧＯＶの先頭で、量子化ステップや量子
化マトリクスを変更することが可能となり、その結果、
効率の良い符号化を行うことができるようになる。

【０１５７】以上、本発明を、ＭＰＥＧ４に基づいた符
号化／復号を行うエンコーダ／デコーダに適用した場合
について説明したが、本発明の適用範囲は、ＭＰＥＧ４
に基づいた符号化／復号に限定されるものではない。

【０１５８】また、本実施の形態では、download_param
eters()として、図２０に示した情報を、ＧＯＶのヘッ
ダに含めるようにしたが、download_parameters()とし
てＧＯＶのヘッダに含める情報は、図２０に示したもの
に限定されるものではない。

【０１５９】さらに、図１２および図２１に示したエン
コーダ、並びに図１６に示したデコーダは、ハードウェ
アによって実現することも可能であるし、また、コンピ
ュータなどにプログラムを実行させることによって実現
することも可能である。

【０１６０】また、ＭＰＥＧ４では、スケーラビリティ
を実現するための階層符号化が可能であるが、本発明
は、階層符号化を行うか否かにかかわらず適用可能であ
る。

【０１６１】

【発明の効果】以上の如く、本発明の画像符号化装置お
よび画像符号化方法によれば、下位階層のヘッダに、そ
こに上位階層のヘッダの情報を含めるかどうかを表すヘ
ッダ情報有無フラグが配置され、ヘッダ情報有無フラグ
が、上位階層のヘッダの情報を含めることを表している
ときのみ、下位階層のヘッダに、上位階層のヘッダの情
報が含められる。従って、効率的な符号化が可能とな
る。

【０１６２】また、本発明の画像復号装置および画像復
号方法によれば、下位階層のヘッダには、そこに上位階
層のヘッダの情報を含めるかどうかを表すヘッダ情報有
無フラグが配置されており、ヘッダ情報有無フラグが、
上位階層のヘッダの情報を含めることを表しているとき
のみ、下位階層のヘッダに、上位階層のヘッダの情報が
含まれている。そして、下位階層のヘッダに含まれる情
報が抽出され、その情報に基づいて、符号化ビットスト
リームが復号される。従って、符号化ビットストリーム
の途中からでも、正常な復号を行うことが可能となる。

【図面の簡単な説明】

【図１】MPEG４規格FCDで規定されている符号化ビット
ストリームの構成を示す図である。

【図２】MPEG４規格FCDで規定されているＶＳのシンタ
クスを示す図である。

【図３】MPEG４規格FCDで規定されているＶＩＳＯのシ
ンタクスを示す図である。

【図４】MPEG４規格FCDで規定されているＶＯのシンタ
クスを示す図である。

【図５】MPEG４規格FCDで規定されているＶＯＬのシン
タクスを示す図である。

【図６】MPEG４規格FCDで規定されているＶＯＬのシン
タクスを示す図である。

【図７】MPEG４規格FCDで規定されているＶＯＬのシン
タクスを示す図である。

【図８】MPEG４規格FCDで規定されているＧＯＶのシン
タクスを示す図である。

【図９】MPEG４規格FCDで規定されているＶＯＰのシン
タクスを示す図である。

【図１０】MPEG４規格FCDで規定されているＶＯＰのシ
ンタクスを示す図である。

【図１１】MPEG４規格FCDで規定されているＶＯＰのシ
ンタクスを示す図である。

【図１２】本発明を適用したエンコーダの一実施の形態
の構成例を示すブロック図である。

【図１３】図１２の画素置換器１５の処理を説明するた
めのフローチャートである。

【図１４】図１２のＶＬＣ器６が出力するＧＯＶのシン
タクスを示す図である。

【図１５】図１２のＶＬＣ器６の処理を説明するための
フローチャートである。

【図１６】本発明を適用したデコーダの一実施の形態の
構成例を示すブロック図である。

【図１７】図１６のＩＶＬＣ器２２の処理を説明するた
めのフローチャートである。

【図１８】図２１のＶＬＣ器６が出力するＧＯＶのシン
タクスを示す図である。

【図１９】load_data_typeを説明するための図である。

【図２０】図１８のdownload_parameters()のシンタク
スを示す図である。

【図２１】本発明を適用したエンコーダの他の実施の形
態の構成例を示すブロック図である。

【図２２】図２１のパーサ１７の処理を説明するための
フローチャートである。

【図２３】図１６のＩＶＬＣ器２２の処理を説明するた
めのフローチャートである。

【図２４】従来のエンコーダの一例の構成を示すブロッ
ク図である。

【図２５】従来のデコーダの一例の構成を示すブロック
図である。

【符号の説明】

１フレームメモリ，２動きベクトル検出器，３
演算器，４ＤＣＴ器，５量子化器，６Ｖ
ＬＣ器，７バッファ，８逆量子化器，９ＩＤ
ＣＴ器，１０演算器，１１フレームメモリ，
１２動き補償器，１３キー信号符号化器，１４
キー信号復号器，１５画素置換器，１６バッ
ファ，１７パーサ，２１バッファ，２２Ｉ
ＶＬＣ器，２３逆量子化器，２４ＩＤＣＴ器，
２５演算器，２６フレームメモリ，２７動
き補償器，２８画素置換器，２９キー信号復号
器，２０１記録媒体，２０２伝送媒体

Claims

【特許請求の範囲】

【請求項１】画像を符号化し、複数の階層からなる階
層構造の符号化ビットストリームを出力する画像符号化
装置であって、前記画像を受信する受信手段と、前記画像を符号化し、下位階層のヘッダに、上位階層の
ヘッダの情報を含め、前記符号化ビットストリームを出
力する符号化手段とを備え、前記符号化手段は、前記下位階層のヘッダに、そこに前
記上位階層のヘッダの情報を含めるかどうかを表すヘッ
ダ情報有無フラグを配置し、前記ヘッダ情報有無フラグ
が、前記上位階層のヘッダの情報を含めることを表して
いるときのみ、前記下位階層のヘッダに、前記上位階層
のヘッダの情報を含めることを特徴とする画像符号化装
置。
【請求項２】画像を符号化し、複数の階層からなる階
層構造の符号化ビットストリームを出力する画像符号化
方法であって、前記画像を受信する受信ステップと、その画像を符号化して、下位階層のヘッダに、上位階層
のヘッダの情報を含め、前記符号化ビットストリームを
出力する符号化ステップとを備え、前記符号化ステップにおいて、前記下位階層のヘッダ
に、そこに前記上位階層のヘッダの情報を含めるかどう
かを表すヘッダ情報有無フラグを配置し、前記ヘッダ情
報有無フラグが、前記上位階層のヘッダの情報を含める
ことを表しているときのみ、前記下位階層のヘッダに、
前記上位階層のヘッダの情報を含めることを特徴とする
画像符号化方法。
【請求項３】画像を符号化することにより得られる、
複数の階層からなる階層構造の符号化ビットストリーム
を復号する画像復号装置であって、下位階層のヘッダに、上位階層のヘッダの情報を含めた
前記符号化ビットストリームを受信する受信手段と、前記下位階層のヘッダに含まれる情報を抽出し、その情
報に基づいて、前記符号化ビットストリームを復号する
復号手段とを備え、前記下位階層のヘッダには、そこに前記上位階層のヘッ
ダの情報を含めるかどうかを表すヘッダ情報有無フラグ
が配置されており、前記ヘッダ情報有無フラグが、前記
上位階層のヘッダの情報を含めることを表しているとき
のみ、前記下位階層のヘッダに、前記上位階層のヘッダ
の情報が含まれていることを特徴とする画像復号装置。
【請求項４】画像を符号化することにより得られる、
複数の階層からなる階層構造の符号化ビットストリーム
を復号する画像復号方法であって、下位階層のヘッダに、上位階層のヘッダの情報を含めた
前記符号化ビットストリームを受信する受信ステップ
と、前記下位階層のヘッダに含まれる情報を抽出し、その情
報に基づいて、前記符号化ビットストリームを復号する
復号ステップとを備え、前記下位階層のヘッダには、そこに前記上位階層のヘッ
ダの情報を含めるかどうかを表すヘッダ情報有無フラグ
が配置されており、前記ヘッダ情報有無フラグが、前記
上位階層のヘッダの情報を含めることを表しているとき
のみ、前記下位階層のヘッダに、前記上位階層のヘッダ
の情報が含まれていることを特徴とする画像復号方法。