JP2000013790A - 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体 - Google Patents

画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体

Info

Publication number
JP2000013790A
JP2000013790A JP17349998A JP17349998A JP2000013790A JP 2000013790 A JP2000013790 A JP 2000013790A JP 17349998 A JP17349998 A JP 17349998A JP 17349998 A JP17349998 A JP 17349998A JP 2000013790 A JP2000013790 A JP 2000013790A
Authority
JP
Japan
Prior art keywords
image
display time
layer
objects
hierarchy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP17349998A
Other languages
English (en)
Inventor
Takefumi Nagumo
武文 名雲
Teruhiko Suzuki
輝彦 鈴木
Yoichi Yagasaki
陽一 矢ヶ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP17349998A priority Critical patent/JP2000013790A/ja
Priority to US09/334,853 priority patent/US6400768B1/en
Priority to EP19990304770 priority patent/EP0966161A3/en
Priority to KR19990022908A priority patent/KR100629092B1/ko
Priority to EP20100010849 priority patent/EP2265028A3/en
Publication of JP2000013790A publication Critical patent/JP2000013790A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Abstract

(57)【要約】 【課題】 効率的かつ迅速なランダムアクセスをする。 【解決手段】 画像を構成するオブジェクトのシーケン
スが上位レイヤと下位レイヤとに階層化され、下位レイ
ヤのＶＯＰ（Video Object Plane）のシーケンスが、Ｇ
ＯＶ（Group Of VOP）に分けて符号化されるとともに、
下位レイヤのＧＯＶの最初に表示されるＶＯＰの表示時
刻と同時刻またはその直後に表示される上位レイヤのＶ
ＯＰが、ＧＯＶの最初に表示されるＶＯＰとなるよう
に、上位レイヤのＶＯＰのシーケンスが、ＧＯＶに分け
て符号化される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号装置および画像復号方
法、並びに提供媒体に関する。特に、例えば、動画像デ
ータを、光磁気ディスクや磁気テープなどの記録媒体に
記録し、これを再生してディスプレイなどに表示した
り、テレビ会議システム、テレビ電話システム、放送用
機器、マルチメディアデータベース検索システムなどの
ように、動画像データを伝送路を介して送信側から受信
側に伝送し、受信側において、受信された動画像データ
を表示する場合や、編集して記録する場合などに用いて
好適な画像符号化装置および画像符号化方法、画像復号
装置および画像復号方法、並びに提供媒体に関する。
【０００２】
【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像データを遠隔地に伝送
するシステムにおいては、伝送路を効率良く利用するた
め、画像データを、そのライン相関やフレーム間相関を
利用して圧縮符号化するようになされている。
【０００３】動画像の高能率符号化方式として代表的な
ものとしては、MPEG（Moving Picture Experts Group）
（蓄積用動画像符号化）方式がある。これはＩＳＯ−Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１において議論され、
標準案として提案されたものであり、動き補償予測符号
化とＤＣＴ（Discrete Cosine Transform）符号化を組
み合わせたハイブリッド方式が採用されている。
【０００４】ＭＰＥＧでは、様々なアプリケーションや
機能に対応するために、いくつかのプロファイルおよび
レベルが定義されている。最も基本となるのが、メイン
プロファイルメインレベル（ＭＰ＠ＭＬ（Main Profile
at Main Level））である。
【０００５】図５３は、ＭＰＥＧ方式におけるＭＰ＠Ｍ
Ｌのエンコーダの一例の構成を示している。
【０００６】符号化すべき画像データは、フレームメモ
リ３１に入力され、一時記憶される。そして、動きベク
トル検出器３２は、フレームメモリ３１に記憶された画
像データを、例えば、１６画素×１６画素などで構成さ
れるマクロブロック単位で読み出し、その動きベクトル
を検出する。
【０００７】ここで、動きベクトル検出器３２において
は、各フレームの画像データを、Ｉピクチャ(フレーム
内符号化）、Ｐピクチャ（前方予測符号化）、またはＢ
ピクチャ（両方向予測符号化）のうちのいずれかとして
処理する。なお、シーケンシャルに入力される各フレー
ムの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャと
して処理するかは、例えば、予め定められている（例え
ば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理され
る）。
【０００８】即ち、動きベクトル検出器３２は、フレー
ムメモリ３１に記憶された画像データの中の、予め定め
られた所定の参照フレームを参照し、その参照フレーム
と、現在符号化の対象となっているフレームの１６画素
×１６ラインの小ブロック（マクロブロック）とをパタ
ーンマッチング（ブロックマッチング）することによ
り、そのマクロブロックの動きベクトルを検出する。
【０００９】ここで、ＭＰＥＧにおいては、画像の予測
モードには、イントラ符号化（フレーム内符号化）、前
方予測符号化、後方予測符号化、両方向予測符号化の４
種類があり、Ｉピクチャはイントラ符号化され、Ｐピク
チャはイントラ符号化または前方予測符号化のいずれか
で符号化され、Ｂピクチャはイントラ符号化、前方予測
符号化、後方予測符号化、または両方法予測符号化のい
ずれかで符号化される。
【００１０】即ち、動きベクトル検出器３２は、Ｉピク
チャについては、予測モードとしてイントラ符号化モー
ドを設定する。この場合、動きベクトル検出器３２は、
動きベクトルの検出は行わず、予測モード（イントラ予
測モード）を、ＶＬＣ（可変長符号化）器３６および動
き補償器４２に出力する。
【００１１】また、動きベクトル検出器３２は、Ｐピク
チャについては、前方予測を行い、その動きベクトルを
検出する。さらに、動きベクトル検出器３２は、前方予
測を行うことにより生じる予測誤差と、符号化対象のマ
クロブロック（Ｐピクチャのマクロブロック）の、例え
ば分散とを比較する。その比較の結果、マクロブロック
の分散の方が予測誤差より小さい場合、動きベクトル検
出器３２は、予測モードとしてイントラ符号化モードを
設定し、ＶＬＣ器３６および動き補償器４２に出力す
る。また、動きベクトル検出器３２は、前方予測を行う
ことにより生じる予測誤差の方が小さければ、予測モー
ドとして前方予測符号化モードを設定し、検出した動き
ベクトルとともに、ＶＬＣ器３６および動き補償器４２
に出力する。
【００１２】さらに、動きベクトル検出器３２は、Ｂピ
クチャについては、前方予測、後方予測、および両方向
予測を行い、それぞれの動きベクトルを検出する。そし
て、動きベクトル検出器３２は、前方予測、後方予測、
および両方向予測についての予測誤差の中の最小のもの
（以下、適宜、最小予測誤差という）を検出し、その最
小予測誤差と、符号化対象のマクロブロック（Ｂピクチ
ャのマクロブロック）の、例えば分散とを比較する。そ
の比較の結果、マクロブロックの分散の方が最小予測誤
差より小さい場合、動きベクトル検出器３２は、予測モ
ードとしてイントラ符号化モードを設定し、ＶＬＣ器３
６および動き補償器４２に出力する。また、動きベクト
ル検出器３２は、最小予測誤差の方が小さければ、予測
モードとして、その最小予測誤差が得られた予測モード
を設定し、対応する動きベクトルとともに、ＶＬＣ器３
６および動き補償器４２に出力する。
【００１３】動き補償器４２は、動きベクトル検出器３
２から予測モードと動きベクトルの両方を受信すると、
その予測モードおよび動きベクトルにしたがって、フレ
ームメモリ４１に記憶されている、符号化され、かつ既
に局所復号された画像データを読み出し、この読み出さ
れた画像データを、予測画像データとして、演算器３３
および４０に供給する。
【００１４】演算器３３は、動きベクトル検出器３２が
フレームメモリ３１から読み出した画像データと同一の
マクロブロックをフレームメモリ３１から読み出し、そ
のマクロブロックと、動き補償器４２からの予測画像と
の差分を演算する。この差分値は、ＤＣＴ器３４に供給
される。
【００１５】一方、動き補償器４２は、動きベクトル検
出器３２から予測モードのみを受信した場合、即ち、予
測モードがイントラ符号化モードである場合には、予測
画像を出力しない。この場合、演算器３３（演算器４０
も同様）は、特に処理を行わず、フレームメモリ３１か
ら読み出したマクロブロックを、そのままＤＣＴ器３４
に出力する。
【００１６】ＤＣＴ器３４では、演算器３３の出力デー
タに対して、ＤＣＴ処理が施され、その結果得られるＤ
ＣＴ係数が、量子化器３５に供給される。量子化器３５
では、バッファ３７のデータ蓄積量（バッファ３７に記
憶されているデータの量）（バッファフィードバック）
に対応して量子化ステップ（量子化スケール）が設定さ
れ、その量子化ステップで、ＤＣＴ器３４からのＤＣＴ
係数が量子化される。この量子化されたＤＣＴ係数（以
下、適宜、量子化係数という）は、設定された量子化ス
テップとともに、ＶＬＣ器３６に供給される。
【００１７】ＶＬＣ器３６では、量子化器３５より供給
される量子化係数が、例えばハフマン符号などの可変長
符号に変換され、バッファ３７に出力される。さらに、
ＶＬＣ器３６は、量子化器３５からの量子化ステップ、
動きベクトル検出器３２からの予測モード（イントラ符
号化（画像内予測符号化）、前方予測符号化、後方予測
符号化、または両方向予測符号化のうちのいずれが設定
されたかを示すモード）および動きベクトルも可変長符
号化し、その結果得られる符号化ビットストリームを、
バッフ３７に出力する。
【００１８】バッファ３７は、ＶＬＣ器３６からの符号
化ビットストリームを一時蓄積することにより、そのデ
ータ量を平滑化し、例えば、伝送路に出力し、または記
録媒体に記録する。
【００１９】また、バッファ３７は、そのデータ蓄積量
を量子化器３５に出力しており、量子化器３５は、この
バッファ３７からのデータ蓄積量にしたがって量子化ス
テップを設定する。即ち、量子化器３５は、バッファ３
７がオーバーフローしそうなとき、量子化ステップを大
きくし、これにより、量子化係数のデータ量を低下させ
る。また、量子化器３５は、バッファ３７がアンダーフ
ローしそうなとき、量子化ステップを小さくし、これに
より、量子化係数のデータ量を増大させる。このように
して、バッファ３７のオーバフローとアンダフローを防
止するようになっている。
【００２０】量子化器３５が出力する量子化係数と量子
化ステップは、ＶＬＣ器３６だけでなく、逆量子化器３
８にも供給されるようになされている。逆量子化器３８
では、量子化器３５からの量子化係数が、同じく量子化
器３５からの量子化ステップにしたがって逆量子化さ
れ、これによりＤＣＴ係数に変換される。このＤＣＴ係
数は、ＩＤＣＴ器（逆ＤＣＴ器）３９に供給される。Ｉ
ＤＣＴ器３９では、ＤＣＴ係数が逆ＤＣＴ処理され、そ
の処理の結果得られるデータが、演算器４０に供給され
る。
【００２１】演算器４０には、ＩＤＣＴ器３９の出力デ
ータの他、上述したように、動き補償器４２から、演算
器３３に供給されている予測画像と同一のデータが供給
されている。演算器４０は、ＩＤＣＴ器３９の出力デー
タ（予測残差（差分データ））と、動き補償器４２から
の予測画像データとを加算することで、元の画像データ
を局所復号し、この局所復号された画像データ（局所復
号画像データ）が出力される（但し、予測モードがイン
トラ符号化である場合には、ＩＤＣＴ器３９の出力デー
タは、演算器４０をスルーして、そのまま、局所復号画
像データとして、フレームメモリ４１に供給される）。
なお、この復号画像データは、受信側において得られる
復号画像データと同一のものである。
【００２２】演算器４０において得られた復号画像デー
タ（局所復号画像データ）は、フレームメモリ４１に供
給されて記憶され、その後、インター符号化（前方予測
符号化、後方予測符号化、量方向予測符号化）される画
像に対する参照画像データ（参照フレーム）として用い
られる。
【００２３】次に、図５４は、図５３のエンコーダから
出力される符号化ビットストリームを復号する、ＭＰＥ
ＧにおけるＭＰ＠ＭＬのデコーダの一例の構成を示して
いる。
【００２４】伝送路を介して伝送されてきた符号化ビッ
トストリームが図示せぬ受信装置で受信され、または記
録媒体に記録された符号化ビットストリームが図示せぬ
再生装置で再生され、バッファ１０１に供給されて記憶
される。
【００２５】ＩＶＬＣ器（逆ＶＬＣ器（可変長復号
器））１０２は、バッファ１０１に記憶された符号化ビ
ットストリームを読み出し、可変長復号することによ
り、その符号化ビットストリームを、マクロブロック単
位で、動きベクトル、予測モード、量子化ステップ、お
よび量子化係数に分離する。これらのデータのうち、動
きベクトルおよび予測モードは動き補償器１０７に供給
され、量子化ステップおよびマクロブロックの量子化係
数は逆量子化器１０３に供給される。
【００２６】逆量子化器１０３は、ＩＶＬＣ器１０２よ
り供給されたマクロブロックの量子化係数を、同じくＩ
ＶＬＣ器１０２より供給された量子化ステップにしたが
って逆量子化し、その結果得られるＤＣＴ係数を、ＩＤ
ＣＴ器１０４に出力する。ＩＤＣＴ器１０４は、逆量子
化器１０３からのマクロブロックのＤＣＴ係数を逆ＤＣ
Ｔし、演算器１０５に供給する。
【００２７】演算器１０５には、ＩＤＣＴ器１０４の出
力データの他、動き補償器１０７の出力データも供給さ
れている。即ち、動き補償器１０７は、フレームメモリ
１０６に記憶されている、既に復号された画像データ
を、図５３の動き補償器４２における場合と同様に、Ｉ
ＶＬＣ器１０２からの動きベクトルおよび予測モードに
したがって読み出し、予測画像データとして、演算器１
０５に供給する。演算器１０５は、ＩＤＣＴ器１０４の
出力データ（予測残差（差分値））と、動き補償器１０
７からの予測画像データとを加算することで、元の画像
データを復号する。この復号画像データは、フレームメ
モリ１０６に供給されて記憶される。なお、ＩＤＣＴ器
１０４の出力データが、イントラ符号化されたものであ
る場合には、その出力データは、演算器１０５をスルー
して、復号画像データとして、そのままフレームメモリ
１０６に供給されて記憶される。
【００２８】フレームメモリ１０６に記憶された復号画
像データは、その後に復号される画像データの参照画像
データとして用いられる。さらに、復号画像データは、
出力再生画像として、例えば、図示せぬディスプレイな
どに供給されて表示される。
【００２９】なお、ＭＰＥＧ１および２では、Ｂピクチ
ャは、参照画像データとして用いられないため、エンコ
ーダまたはデコーダのそれぞれにおいて、フレームメモ
リ４１（図５３）または１０６（図５４）には記憶され
ない。
【００３０】
【発明が解決しようとする課題】以上の図５３、図５４
に示したエンコーダ、デコーダは、ＭＰＥＧ１／２の規
格に準拠したものであるが、現在、画像を構成する物体
などのオブジェクトのシーケンスであるＶＯ（Video Ob
ject）単位で符号化を行う方式につき、ＩＳＯ−ＩＥＣ
／ＪＴＣ１／ＳＣ２９／ＷＧ１１において、ＭＰＥＧ
（Moving Picture Experts Group）４として標準化作業
が進められている。
【００３１】ところで、ＭＰＥＧ４については、主とし
て、通信の分野で利用されるものとして、標準化作業が
進められていたため、ＭＰＥＧ１／２において規定され
ているＧＯＰ（Group Of Picture）は、当初、ＭＰＥＧ
４では規定されておらず、従って、ＭＰＥＧ４が蓄積メ
ディアに利用された場合には、効率的なランダムアクセ
スが困難になることが予想される。
【００３２】このため、本件出願人は、効率的なランダ
ムアクセスを可能とするために、ＭＰＥＧ１／２で規定
されているＧＯＰに相当するＧＯＶ（Group Of VOP)の
導入を、特願平１０−８０７５８号において先に提案し
ており、また、ＭＰＥＧ４において、このＧＯＶが導入
された。
【００３３】一方、ＭＰＥＧ４では、画像データを２以
上の階層に階層化し、各階層の画像を利用した、柔軟な
スケーラブル符号化／復号が可能となっている。
【００３４】ところで、ＭＰＥＧ４では、現在、各階層
の画像データのＧＯＶどうしの対応関係を規定しておら
ず、このため、各階層ごとに、独立に、ＧＯＶを挿入す
ることが可能である。しかしながら、各階層の画像デー
タは、独立したものではないから、各階層ごとに、独立
に、ＧＯＶを挿入した場合には、効率的なランダムアク
セスが困難となる場合が生じることが予想される。
【００３５】本発明は、このような状況に鑑みてなされ
たものであり、効率的なランダムアクセスをすることが
できるようにするものである。
【００３６】
【課題を解決するための手段】請求項１に記載の画像符
号化装置は、画像を構成するオブジェクトのシーケンス
を２以上の階層に階層化する階層化手段と、階層化手段
が出力する、オブジェクトのシーケンスの第１の階層
を、複数のグループに分けて符号化する第１の符号化手
段と、第１の階層のグループの最初に表示されるオブジ
ェクトの表示時刻と同時刻またはその直後に表示される
第２の階層のオブジェクトが、グループの最初に表示さ
れるオブジェクトとなるように、階層化手段が出力す
る、オブジェクトのシーケンスの第２の階層を、複数の
グループに分けて符号化する第２の符号化手段とを備え
ることを特徴とする。
【００３７】請求項７に記載の画像符号化方法は、画像
を構成するオブジェクトのシーケンスを２以上の階層に
階層化し、オブジェクトのシーケンスの第１の階層を、
複数のグループに分けて符号化するとともに、第１の階
層のグループの最初に表示されるオブジェクトの表示時
刻と同時刻またはその直後に表示される第２の階層のオ
ブジェクトが、グループの最初に表示されるオブジェク
トとなるように、オブジェクトのシーケンスの第２の階
層を、複数のグループに分けて符号化することを特徴と
する。
【００３８】請求項８に記載の画像復号装置は、画像を
構成するオブジェクトのシーケンスを２以上の階層に階
層化し、オブジェクトのシーケンスの第１の階層を、複
数のグループに分けて符号化するとともに、第１の階層
のグループの最初に表示されるオブジェクトの表示時刻
と同時刻またはその直後に表示される第２の階層のオブ
ジェクトが、グループの最初に表示されるオブジェクト
となるように、オブジェクトのシーケンスの第２の階層
を、複数のグループに分けて符号化することにより得ら
れる符号化ビットストリームを復号する復号手段を備え
ることを特徴とする。
【００３９】請求項１４に記載の画像復号方法は、画像
を構成するオブジェクトのシーケンスを２以上の階層に
階層化し、オブジェクトのシーケンスの第１の階層を、
複数のグループに分けて符号化するとともに、第１の階
層のグループの最初に表示されるオブジェクトの表示時
刻と同時刻またはその直後に表示される第２の階層のオ
ブジェクトが、グループの最初に表示されるオブジェク
トとなるように、オブジェクトのシーケンスの第２の階
層を、複数のグループに分けて符号化することにより得
られる符号化ビットストリームを復号することを特徴と
する。
【００４０】請求項１５に記載の提供媒体は、画像を構
成するオブジェクトのシーケンスを２以上の階層に階層
化し、オブジェクトのシーケンスの第１の階層を、複数
のグループに分けて符号化するとともに、第１の階層の
グループの最初に表示されるオブジェクトの表示時刻と
同時刻またはその直後に表示される第２の階層のオブジ
ェクトが、グループの最初に表示されるオブジェクトと
なるように、オブジェクトのシーケンスの第２の階層
を、複数のグループに分けて符号化することをにより得
られる符号化ビットストリームを提供することを特徴と
する。
【００４１】請求項２１に記載の画像符号化装置は、画
像を構成するオブジェクトのシーケンスを２以上の階層
に階層化する階層化手段と、階層化手段が出力する、オ
ブジェクトのシーケンスの第１または第２の階層を、１
以上のグループに分けてそれぞれ符号化し、第１または
第２の階層のグループに、その最初に表示されるオブジ
ェクトの表示時刻を秒精度で表す秒精度先頭表示時刻を
それぞれ含める符号化手段と、第１または第２の階層の
オブジェクトそれぞれに、秒精度先頭表示時刻を基準と
する、そのオブジェクトの表示時刻の秒精度を表す秒精
度相対時刻情報を付加する付加手段と、第２の階層の、
表示順で隣接するオブジェクトどうしの表示時刻の差に
基づいて、第２の階層のオブジェクトについての秒精度
相対時刻情報をリセットするリセット手段とを備えるこ
とを特徴とする。
【００４２】請求項２２に記載の画像符号化方法は、画
像を構成するオブジェクトのシーケンスを２以上の階層
に階層化し、オブジェクトのシーケンスの第１または第
２の階層を、１以上のグループに分けてそれぞれ符号化
し、第１または第２の階層のグループに、その最初に表
示されるオブジェクトの表示時刻を秒精度で表す秒精度
先頭表示時刻をそれぞれ含め、第１または第２の階層の
オブジェクトそれぞれに、秒精度先頭表示時刻を基準と
する、そのオブジェクトの表示時刻の秒精度を表す秒精
度相対時刻情報を付加する画像符号化方法において、第
２の階層の、表示順で隣接するオブジェクトどうしの表
示時刻の差に基づいて、第２の階層のオブジェクトにつ
いての秒精度相対時刻情報をリセットすることを特徴と
する。
【００４３】請求項２３に記載の画像復号装置は、画像
を構成するオブジェクトのシーケンスを２以上の階層に
階層化し、オブジェクトのシーケンスの第１または第２
の階層を、１以上のグループに分けてそれぞれ符号化
し、第１または第２の階層のグループに、その最初に表
示されるオブジェクトの表示時刻を秒精度で表す秒精度
先頭表示時刻をそれぞれ含め、第１または第２の階層の
オブジェクトそれぞれに、秒精度先頭表示時刻を基準と
する、そのオブジェクトの表示時刻の秒精度を表す秒精
度相対時刻情報を付加することにより得られる符号化ビ
ットストリームであって、第２の階層の、表示順で隣接
するオブジェクトどうしの表示時刻の差に基づいて、第
２の階層のオブジェクトについての秒精度相対時刻情報
がリセットされているものを復号する復号手段を備える
ことを特徴とする。
【００４４】請求項２４に記載の画像復号方法は、画像
を構成するオブジェクトのシーケンスを２以上の階層に
階層化し、オブジェクトのシーケンスの第１または第２
の階層を、１以上のグループに分けてそれぞれ符号化
し、第１または第２の階層のグループに、その最初に表
示されるオブジェクトの表示時刻を秒精度で表す秒精度
先頭表示時刻をそれぞれ含め、第１または第２の階層の
オブジェクトそれぞれに、秒精度先頭表示時刻を基準と
する、そのオブジェクトの表示時刻の秒精度を表す秒精
度相対時刻情報を付加することにより得られる符号化ビ
ットストリームであって、第２の階層の、表示順で隣接
するオブジェクトどうしの表示時刻の差に基づいて、第
２の階層のオブジェクトについての秒精度相対時刻情報
がリセットされているものを復号することを特徴とす
る。
【００４５】請求項２５に記載の提供媒体は、画像を構
成するオブジェクトのシーケンスを２以上の階層に階層
化し、オブジェクトのシーケンスの第１または第２の階
層を、１以上のグループに分けてそれぞれ符号化し、第
１または第２の階層のグループに、その最初に表示され
るオブジェクトの表示時刻を秒精度で表す秒精度先頭表
示時刻をそれぞれ含め、第１または第２の階層のオブジ
ェクトそれぞれに、秒精度先頭表示時刻を基準とする、
そのオブジェクトの表示時刻の秒精度を表す秒精度相対
時刻情報を付加することにより得られる符号化ビットス
トリームであって、第２の階層の、表示順で隣接するオ
ブジェクトどうしの表示時刻の差に基づいて、第２の階
層のオブジェクトについての秒精度相対時刻情報がリセ
ットされているものを提供することを特徴とする。
【００４６】請求項２６に記載の画像符号化装置は、画
像を構成するオブジェクトのシーケンスを、空間スケー
ラビリティを実現するための上位階層と下位階層とを含
む２以上の階層に階層化する階層化手段と、階層化手段
が出力する、下位階層のオブジェクトのシーケンスを符
号化する第１の符号化手段と、階層化手段が出力する、
上位階層のオブジェクトのシーケンスを、その表示順序
と同一の順序で符号化する第２の符号化手段とを備える
ことを特徴とする。
【００４７】請求項２７に記載の画像符号化方法は、画
像を構成するオブジェクトのシーケンスを、空間スケー
ラビリティを実現するための上位階層と下位階層とを含
む２以上の階層に階層化し、下位階層のオブジェクトの
シーケンスを符号化するとともに、上位階層のオブジェ
クトのシーケンスを、その表示順序と同一の順序で符号
化することを特徴とする。
【００４８】請求項２８に記載の画像復号装置は、画像
を構成するオブジェクトのシーケンスを、空間スケーラ
ビリティを実現するための上位階層と下位階層とを含む
２以上の階層に階層化し、下位階層のオブジェクトのシ
ーケンスを符号化するとともに、上位階層のオブジェク
トのシーケンスを、その表示順序と同一の順序で符号化
することにより得られる符号化ビットストリームを復号
する復号手段を備えることを特徴とする。
【００４９】請求項２９に記載の画像復号方法は、画像
を構成するオブジェクトのシーケンスを、空間スケーラ
ビリティを実現するための上位階層と下位階層とを含む
２以上の階層に階層化し、下位階層のオブジェクトのシ
ーケンスを符号化するとともに、上位階層のオブジェク
トのシーケンスを、その表示順序と同一の順序で符号化
することにより得られる符号化ビットストリームを復号
することを特徴とする。
【００５０】請求項３０に記載の提供媒体は、画像を構
成するオブジェクトのシーケンスを、空間スケーラビリ
ティを実現するための上位階層と下位階層とを含む２以
上の階層に階層化し、下位階層のオブジェクトのシーケ
ンスを符号化するとともに、上位階層のオブジェクトの
シーケンスを、その表示順序と同一の順序で符号化する
ことにより得られる符号化ビットストリームを提供する
ことを特徴とする。
【００５１】請求項１に記載の画像符号化装置において
は、階層化手段は、画像を構成するオブジェクトのシー
ケンスを２以上の階層に階層化し、第１の符号化手段
は、階層化手段が出力する、オブジェクトのシーケンス
の第１の階層を、複数のグループに分けて符号化するよ
うになされている。第２の符号化手段は、第１の階層の
グループの最初に表示されるオブジェクトの表示時刻と
同時刻またはその直後に表示される第２の階層のオブジ
ェクトが、グループの最初に表示されるオブジェクトと
なるように、階層化手段が出力する、オブジェクトのシ
ーケンスの第２の階層を、複数のグループに分けて符号
化するようになされている。
【００５２】請求項７に記載の画像符号化方法において
は、画像を構成するオブジェクトのシーケンスを２以上
の階層に階層化し、オブジェクトのシーケンスの第１の
階層を、複数のグループに分けて符号化するとともに、
第１の階層のグループの最初に表示されるオブジェクト
の表示時刻と同時刻またはその直後に表示される第２の
階層のオブジェクトが、グループの最初に表示されるオ
ブジェクトとなるように、オブジェクトのシーケンスの
第２の階層を、複数のグループに分けて符号化するよう
になされている。
【００５３】請求項８に記載の画像復号装置において
は、復号手段が、画像を構成するオブジェクトのシーケ
ンスを２以上の階層に階層化し、オブジェクトのシーケ
ンスの第１の階層を、複数のグループに分けて符号化す
るとともに、第１の階層のグループの最初に表示される
オブジェクトの表示時刻と同時刻またはその直後に表示
される第２の階層のオブジェクトが、グループの最初に
表示されるオブジェクトとなるように、オブジェクトの
シーケンスの第２の階層を、複数のグループに分けて符
号化することにより得られる符号化ビットストリームを
復号するようになされている。
【００５４】請求項１４に記載の画像復号方法において
は、画像を構成するオブジェクトのシーケンスを２以上
の階層に階層化し、オブジェクトのシーケンスの第１の
階層を、複数のグループに分けて符号化するとともに、
第１の階層のグループの最初に表示されるオブジェクト
の表示時刻と同時刻またはその直後に表示される第２の
階層のオブジェクトが、グループの最初に表示されるオ
ブジェクトとなるように、オブジェクトのシーケンスの
第２の階層を、複数のグループに分けて符号化すること
により得られる符号化ビットストリームを復号するよう
になされている。
【００５５】請求項１５に記載の提供媒体においては、
画像を構成するオブジェクトのシーケンスを２以上の階
層に階層化し、オブジェクトのシーケンスの第１の階層
を、複数のグループに分けて符号化するとともに、第１
の階層のグループの最初に表示されるオブジェクトの表
示時刻と同時刻またはその直後に表示される第２の階層
のオブジェクトが、グループの最初に表示されるオブジ
ェクトとなるように、オブジェクトのシーケンスの第２
の階層を、複数のグループに分けて符号化することをに
より得られる符号化ビットストリームを提供するように
なされている。
【００５６】請求項２１に記載の画像符号化装置におい
ては、階層化手段は、画像を構成するオブジェクトのシ
ーケンスを２以上の階層に階層化し、符号化手段は、階
層化手段が出力する、オブジェクトのシーケンスの第１
または第２の階層を、１以上のグループに分けてそれぞ
れ符号化し、第１または第２の階層のグループに、その
最初に表示されるオブジェクトの表示時刻を秒精度で表
す秒精度先頭表示時刻をそれぞれ含めるようになされて
いる。付加手段は、第１または第２の階層のオブジェク
トそれぞれに、秒精度先頭表示時刻を基準とする、その
オブジェクトの表示時刻の秒精度を表す秒精度相対時刻
情報を付加し、リセット手段は、第２の階層の、表示順
で隣接するオブジェクトどうしの表示時刻の差に基づい
て、第２の階層のオブジェクトについての秒精度相対時
刻情報をリセットするようになされている。
【００５７】請求項２２に記載の画像符号化方法におい
ては、画像を構成するオブジェクトのシーケンスを２以
上の階層に階層化し、オブジェクトのシーケンスの第１
または第２の階層を、１以上のグループに分けてそれぞ
れ符号化し、第１または第２の階層のグループに、その
最初に表示されるオブジェクトの表示時刻を秒精度で表
す秒精度先頭表示時刻をそれぞれ含め、第１または第２
の階層のオブジェクトそれぞれに、秒精度先頭表示時刻
を基準とする、そのオブジェクトの表示時刻の秒精度を
表す秒精度相対時刻情報を付加するようになされてい
る。この場合に、第２の階層の、表示順で隣接するオブ
ジェクトどうしの表示時刻の差に基づいて、第２の階層
のオブジェクトについての秒精度相対時刻情報をリセッ
トするようになされている。
【００５８】請求項２３に記載の画像復号装置において
は、復号手段が、画像を構成するオブジェクトのシーケ
ンスを２以上の階層に階層化し、オブジェクトのシーケ
ンスの第１または第２の階層を、１以上のグループに分
けてそれぞれ符号化し、第１または第２の階層のグルー
プに、その最初に表示されるオブジェクトの表示時刻を
秒精度で表す秒精度先頭表示時刻をそれぞれ含め、第１
または第２の階層のオブジェクトそれぞれに、秒精度先
頭表示時刻を基準とする、そのオブジェクトの表示時刻
の秒精度を表す秒精度相対時刻情報を付加することによ
り得られる符号化ビットストリームであって、第２の階
層の、表示順で隣接するオブジェクトどうしの表示時刻
の差に基づいて、第２の階層のオブジェクトについての
秒精度相対時刻情報がリセットされているものを復号す
るようになされている。
【００５９】請求項２４に記載の画像復号方法において
は、画像を構成するオブジェクトのシーケンスを２以上
の階層に階層化し、オブジェクトのシーケンスの第１ま
たは第２の階層を、１以上のグループに分けてそれぞれ
符号化し、第１または第２の階層のグループに、その最
初に表示されるオブジェクトの表示時刻を秒精度で表す
秒精度先頭表示時刻をそれぞれ含め、第１または第２の
階層のオブジェクトそれぞれに、秒精度先頭表示時刻を
基準とする、そのオブジェクトの表示時刻の秒精度を表
す秒精度相対時刻情報を付加することにより得られる符
号化ビットストリームであって、第２の階層の、表示順
で隣接するオブジェクトどうしの表示時刻の差に基づい
て、第２の階層のオブジェクトについての秒精度相対時
刻情報がリセットされているものを復号するようになさ
れている。
【００６０】請求項２５に記載の提供媒体においては、
画像を構成するオブジェクトのシーケンスを２以上の階
層に階層化し、オブジェクトのシーケンスの第１または
第２の階層を、１以上のグループに分けてそれぞれ符号
化し、第１または第２の階層のグループに、その最初に
表示されるオブジェクトの表示時刻を秒精度で表す秒精
度先頭表示時刻をそれぞれ含め、第１または第２の階層
のオブジェクトそれぞれに、秒精度先頭表示時刻を基準
とする、そのオブジェクトの表示時刻の秒精度を表す秒
精度相対時刻情報を付加することにより得られる符号化
ビットストリームであって、第２の階層の、表示順で隣
接するオブジェクトどうしの表示時刻の差に基づいて、
第２の階層のオブジェクトについての秒精度相対時刻情
報がリセットされているものを提供するようになされて
いる。
【００６１】請求項２６に記載の画像符号化装置におい
ては、階層化手段は、画像を構成するオブジェクトのシ
ーケンスを、空間スケーラビリティを実現するための上
位階層と下位階層とを含む２以上の階層に階層化し、第
１の符号化手段は、階層化手段が出力する、下位階層の
オブジェクトのシーケンスを符号化するようになされて
いる。第２の符号化手段は、階層化手段が出力する、上
位階層のオブジェクトのシーケンスを、その表示順序と
同一の順序で符号化するようになされている。
【００６２】請求項２７に記載の画像符号化方法におい
ては、画像を構成するオブジェクトのシーケンスを、空
間スケーラビリティを実現するための上位階層と下位階
層とを含む２以上の階層に階層化し、下位階層のオブジ
ェクトのシーケンスを符号化するとともに、上位階層の
オブジェクトのシーケンスを、その表示順序と同一の順
序で符号化するようになされている。
【００６３】請求項２８に記載の画像復号装置において
は、復号手段が、画像を構成するオブジェクトのシーケ
ンスを、空間スケーラビリティを実現するための上位階
層と下位階層とを含む２以上の階層に階層化し、下位階
層のオブジェクトのシーケンスを符号化するとともに、
上位階層のオブジェクトのシーケンスを、その表示順序
と同一の順序で符号化することにより得られる符号化ビ
ットストリームを復号するようになされている。
【００６４】請求項２９に記載の画像復号方法において
は、画像を構成するオブジェクトのシーケンスを、空間
スケーラビリティを実現するための上位階層と下位階層
とを含む２以上の階層に階層化し、下位階層のオブジェ
クトのシーケンスを符号化するとともに、上位階層のオ
ブジェクトのシーケンスを、その表示順序と同一の順序
で符号化することにより得られる符号化ビットストリー
ムを復号するようになされている。
【００６５】請求項３０に記載の提供媒体においては、
画像を構成するオブジェクトのシーケンスを、空間スケ
ーラビリティを実現するための上位階層と下位階層とを
含む２以上の階層に階層化し、下位階層のオブジェクト
のシーケンスを符号化するとともに、上位階層のオブジ
ェクトのシーケンスを、その表示順序と同一の順序で符
号化することにより得られる符号化ビットストリームを
提供するようになされている。
【００６６】
【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。
【００６７】即ち、請求項１に記載の画像符号化装置
は、画像を符号化し、その結果得られる符号化ビットス
トリームを出力する画像符号化装置であって、画像を構
成するオブジェクトのシーケンスを２以上の階層に階層
化する階層化手段（例えば、図３に示す画像階層化部２
１など）と、階層化手段が出力する、オブジェクトのシ
ーケンスの第１の階層を、複数のグループに分けて符号
化する第１の符号化手段（例えば、図３に示す下位レイ
ヤ符号化部２５など）と、第１の階層のグループの最初
に表示されるオブジェクトの表示時刻と同時刻またはそ
の直後に表示される第２の階層のオブジェクトが、グル
ープの最初に表示されるオブジェクトとなるように、階
層化手段が出力する、オブジェクトのシーケンスの第２
の階層を、複数のグループに分けて符号化する第２の符
号化手段（例えば、図３に示す上位レイヤ符号化部２３
など）とを備えることを特徴とする。
【００６８】請求項８に記載の画像復号装置は、画像を
復号する画像復号装置であって、画像を構成するオブジ
ェクトのシーケンスを２以上の階層に階層化し、オブジ
ェクトのシーケンスの第１の階層を、複数のグループに
分けて符号化するとともに、第１の階層のグループの最
初に表示されるオブジェクトの表示時刻と同時刻または
その直後に表示される第２の階層のオブジェクトが、グ
ループの最初に表示されるオブジェクトとなるように、
オブジェクトのシーケンスの第２の階層を、複数のグル
ープに分けて符号化することにより得られる符号化ビッ
トストリームを受信する受信手段（例えば、図１４に示
す逆多重化部９１など）と、符号化ビットストリームを
復号する復号手段（例えば、図１４に示す上位レイヤ復
号部９３および下位レイヤ復号部９５など）とを備える
ことを特徴とする。
【００６９】請求項２１に記載の画像符号化装置は、画
像を符号化し、その結果得られる符号化ビットストリー
ムを出力する画像符号化装置であって、画像を構成する
オブジェクトのシーケンスを２以上の階層に階層化する
階層化手段（例えば、図３に示す画像階層化部２１な
ど）と、階層化手段が出力する、オブジェクトのシーケ
ンスの第１または第２の階層を、１以上のグループに分
けてそれぞれ符号化し、第１または第２の階層のグルー
プに、その最初に表示されるオブジェクトの表示時刻を
秒精度で表す秒精度先頭表示時刻をそれぞれ含める符号
化手段（例えば、図３に示す上位レイヤ符号化部２３お
よび下位レイヤ符号化部２５など）と、第１または第２
の階層のオブジェクトそれぞれに、秒精度先頭表示時刻
を基準とする、そのオブジェクトの表示時刻の秒精度を
表す秒精度相対時刻情報を付加する付加手段（例えば、
図３に示す上位レイヤ符号化部２３および下位レイヤ符
号化部２５など）と、第２の階層の、表示順で隣接する
オブジェクトどうしの表示時刻の差に基づいて、第２の
階層のオブジェクトについての秒精度相対時刻情報をリ
セットするリセット手段（例えば、図４８に示すプログ
ラムの処理ステップＳ２３など）とを備えることを特徴
とする。
【００７０】請求項２３に記載の画像復号装置は、画像
を復号する画像復号装置であって、画像を構成するオブ
ジェクトのシーケンスを２以上の階層に階層化し、オブ
ジェクトのシーケンスの第１または第２の階層を、１以
上のグループに分けてそれぞれ符号化し、第１または第
２の階層のグループに、その最初に表示されるオブジェ
クトの表示時刻を秒精度で表す秒精度先頭表示時刻をそ
れぞれ含め、第１または第２の階層のオブジェクトそれ
ぞれに、秒精度先頭表示時刻を基準とする、そのオブジ
ェクトの表示時刻の秒精度を表す秒精度相対時刻情報を
付加することにより得られる符号化ビットストリームで
あって、第２の階層の、表示順で隣接するオブジェクト
どうしの表示時刻の差に基づいて、第２の階層のオブジ
ェクトについての秒精度相対時刻情報がリセットされて
いるものを受信する受信手段（例えば、図１４に示す逆
多重化部９１など）と、符号化ビットストリームを復号
する復号手段（例えば、図１４に示す上位レイヤ復号部
９３および下位レイヤ復号部９５など）とを備えること
を特徴とする。
【００７１】請求項２６に記載の画像符号化装置は、画
像を符号化し、その結果得られる符号化ビットストリー
ムを出力する画像符号化装置であって、画像を構成する
オブジェクトのシーケンスを、空間スケーラビリティを
実現するための上位階層と下位階層とを含む２以上の階
層に階層化する階層化手段（例えば、図３に示す画像階
層化部２１など）と、階層化手段が出力する、下位階層
のオブジェクトのシーケンスを符号化する第１の符号化
手段（例えば、図３に示す下位レイヤ符号化部２５な
ど）と、階層化手段が出力する、上位階層のオブジェク
トのシーケンスを、その表示順序と同一の順序で符号化
する第２の符号化手段（例えば、図３に示す上位レイヤ
符号化部２３など）とを備えることを特徴とする。
【００７２】請求項２８に記載の画像復号装置は、画像
を復号する画像復号装置であって、画像を構成するオブ
ジェクトのシーケンスを、空間スケーラビリティを実現
するための上位階層と下位階層とを含む２以上の階層に
階層化し、下位階層のオブジェクトのシーケンスを符号
化するとともに、上位階層のオブジェクトのシーケンス
を、その表示順序と同一の順序で符号化することにより
得られる符号化ビットストリームを受信する受信手段
（例えば、図１４に示す逆多重化部９１など）と、符号
化ビットストリームを復号する復号手段（例えば、図１
４に示す上位レイヤ復号部９３および下位レイヤ復号部
９５など）とを備えることを特徴とする。
【００７３】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。
【００７４】図１は、本発明を適用したエンコーダの一
実施の形態の構成例を示している。なお、このエンコー
ダは、基本的には、ＭＰＥＧ４の規格に即した処理を行
うようになされている。
【００７５】符号化すべき画像（動画像）データは、Ｖ
Ｏ（Video Object）構成部１に入力され、ＶＯ構成部１
では、そこに入力される画像を構成するオブジェクトご
とに、そのシーケンスであるＶＯが構成され、ＶＯＰ構
成部２1乃至２Nに出力される。即ち、ＶＯ構成部１にお
いてＮ個のＶＯ＃１乃至ＶＯ＃Ｎが構成された場合、そ
のＮ個のＶＯ＃１乃至ＶＯ＃Ｎは、ＶＯＰ構成部２1乃
至２Nにそれぞれ出力される。
【００７６】具体的には、例えば、符号化すべき画像デ
ータが、独立した背景Ｆ１のシーケンスと前景Ｆ２のシ
ーケンスとから構成される場合、ＶＯ構成部１は、例え
ば、前景Ｆ２のシーケンスを、ＶＯ＃１として、ＶＯＰ
構成部２1に出力するとともに、背景Ｆ１のシーケンス
を、ＶＯ＃２として、ＶＯＰ構成部２2に出力する。
【００７７】なお、ＶＯ構成部１は、符号化すべき画像
データが、例えば、背景Ｆ１と前景Ｆ２とを、既に合成
したものである場合、所定のアルゴリズムにしたがっ
て、画像を領域分割することにより、背景Ｆ１と前景Ｆ
２とを取り出し、それぞれのシーケンスとしてのＶＯ
を、対応するＶＯＰ構成部２n（但し、ｎ＝１，２，・
・・，Ｎ）に出力する。
【００７８】ＶＯＰ構成部２nは、ＶＯ構成部１の出力
から、ＶＯＰ（VO Plane）を構成する。即ち、例えば、
各フレームから物体を抽出し、その物体を囲む、例え
ば、最小の長方形（以下、適宜、最小長方形という）を
ＶＯＰとする。なお、このとき、ＶＯＰ構成部２nは、
その横および縦の画素数が、例えば、１６の倍数となる
ようにＶＯＰを構成する。ＶＯ構成部２nは、ＶＯＰを
構成すると、そのＶＯＰを、ＶＯＰ符号化部３nに出力
する。
【００７９】さらに、ＶＯＰ構成部２nは、ＶＯＰの大
きさ（例えば、横および縦の長さ）を表すサイズデータ
（VOP size）と、フレームにおける、そのＶＯＰの位置
（例えば、フレームの最も左上を原点とするときの座
標）を表すオフセットデータ（VOP offset）とを検出
し、これらのデータも、ＶＯＰ符号化部３nに供給す
る。
【００８０】ＶＯＰ符号化部３nは、ＶＯＰ構成部２nの
出力を、例えば、ＭＰＥＧや、Ｈ．２６３などの規格に
準拠した方式で符号化し、その結果得られるビットスト
リームを、多重化部４に出力する。多重化部４は、ＶＯ
Ｐ符号化部３1乃至３Nからのビットストリームを多重化
し、その結果得られる多重化データを、例えば、地上波
や、衛星回線、ＣＡＴＶ網その他の伝送路５を介して伝
送し、または、例えば、磁気ディスク、光磁気ディス
ク、光ディスク、磁気テープその他の記録媒体６に記録
する。
【００８１】ここで、ＶＯおよびＶＯＰについて説明す
る。
【００８２】ＶＯは、ある合成画像のシーケンスが存在
する場合の、その合成画像を構成する各オブジェクト
（物体）のシーケンスであり、ＶＯＰは、ある時刻にお
けるＶＯを意味する。即ち、例えば、いま、画像Ｆ１お
よびＦ２を合成して構成される合成画像Ｆ３がある場
合、画像Ｆ１またはＦ２が時系列に並んだものが、それ
ぞれＶＯであり、ある時刻における画像Ｆ１またはＦ２
が、それぞれＶＯＰである。従って、ＶＯは、異なる時
刻の、同一オブジェクトのＶＯＰの集合ということがで
きる。
【００８３】なお、例えば、画像Ｆ１を背景とするとと
もに、画像Ｆ２を前景とすると、合成画像Ｆ３は、画像
Ｆ２を抜くためのキー信号を用いて、画像Ｆ１およびＦ
２を合成することによって得られるが、この場合におけ
る画像Ｆ２のＶＯＰには、その画像Ｆ２を構成する画像
データ（輝度信号および色差信号）の他、適宜、そのキ
ー信号も含まれるものとする。
【００８４】画像フレーム（画枠）のシーケンスは、そ
の大きさおよび位置のいずれも変化しないが、ＶＯは、
大きさや位置が変化する場合がある。即ち、同一のＶＯ
を構成するＶＯＰであっても、時刻によって、その大き
さや位置が異なる場合がある。
【００８５】具体的には、図２は、背景である画像Ｆ１
と、前景である画像Ｆ２とからなる合成画像を示してい
る。
【００８６】画像Ｆ１は、例えば、ある自然の風景を撮
影したものであり、その画像全体のシーケンスが１つの
ＶＯ（ＶＯ＃０とする）とされている。また、画像Ｆ２
は、例えば、人が歩いている様子を撮影したものであ
り、その人を囲む最小の長方形のシーケンスが１つのＶ
Ｏ（ＶＯ＃１とする）とされている。
【００８７】この場合、ＶＯ＃０は風景の画像であるか
ら、基本的に、通常の画像のフレームと同様に、その位
置および大きさの両方とも変化しない。これに対して、
ＶＯ＃１は人の画像であるから、人物が左右に移動した
り、また、図面において手前側または奥側に移動するこ
とにより、その大きさや位置が変化する。従って、図２
は、同一時刻におけるＶＯ＃０およびＶＯ＃１を表して
いるが、ＶＯの位置や大きさは、時間の経過にともなっ
て変化することがある。
【００８８】そこで、図１のＶＯＰ符号化部３nは、そ
の出力するビットストリームに、ＶＯＰを符号化したデ
ータの他、所定の絶対座標系におけるＶＯＰの位置（座
標）および大きさに関する情報も含めるようになされて
いる。なお、図２においては、ＶＯ＃０を構成する、あ
る時刻のＶＯＰ（画像Ｆ１）の位置を示すベクトルをＯ
ＳＴ０と、その時刻と同一時刻における、ＶＯ＃１のＶ
ＯＰ（画像Ｆ２）の位置を表すベクトルをＯＳＴ１と、
それぞれ表してある。
【００８９】次に、図３は、スケーラビリティを実現す
る、図１のＶＯＰ符号化部３nの構成例を示している。
即ち、ＭＰＥＧ４では、異なる画像サイズやフレームレ
ートに対応するスケーラビリティを実現するスケーラブ
ル符号化方式が導入されており、図３に示したＶＯＰ符
号化部３nでは、そのようなスケーラビリティを実現す
ることができるようになされている。
【００９０】ＶＯＰ構成部２nからのＶＯＰ（画像デー
タ）、並びにそのサイズデータ（VOPsize）、およびオ
フセットデータ（VOP offset）は、いずれも画像階層化
部２１に供給される。
【００９１】画像階層化部２１は、ＶＯＰから、１以上
の階層の画像データを生成する（ＶＯＰの１以上の階層
化を行う）。即ち、例えば、空間スケーラビリティの符
号化を行う場合においては、画像階層化部２１は、そこ
に入力される画像データを、そのまま上位レイヤ（上位
階層）の画像データとして出力するとともに、それらの
画像データを構成する画素数を間引くことなどにより縮
小し（解像度を低下させ）、これを下位レイヤ（下位階
層）の画像データとして出力する。
【００９２】なお、入力されたＶＯＰを下位レイヤのデ
ータとするとともに、そのＶＯＰの解像度を、何らかの
手法で高くし（画素数を多くし）、これを、上位レイヤ
のデータとすることなども可能である。
【００９３】また、階層数は、１とすることが可能であ
るが、この場合、スケーラビリティは実現されない。な
お、この場合、ＶＯＰ符号化部３nは、例えば、下位レ
イヤ符号化部２５だけで構成されることになる。
【００９４】さらに、階層数は、３以上とすることも可
能であるが、ここでは、簡単のために、２階層の場合に
ついて説明を行う。
【００９５】画像階層化部２１は、例えば、時間スケー
ラビリティ（テンポラルスケーラビリティ）の符号化を
行う場合、時刻に応じて、画像データを、下位レイヤま
たは上位レイヤのデータとして、例えば、交互に出力す
る。即ち、例えば、画像階層化部２１は、そこに、ある
ＶＯを構成するＶＯＰが、ＶＯＰ０，ＶＯＰ１，ＶＯＰ
２，ＶＯＰ３，・・・の順で入力されたとした場合、Ｖ
ＯＰ０，ＶＯＰ２，ＶＯＰ４，ＶＯＰ６，・・・を、下
位レイヤのデータとして、また、ＶＯＰ１，ＶＯＰ３，
ＶＯＰ５，ＶＯＰ７，・・・を、上位レイヤデータとし
て出力する。なお、時間スケーラビリティの場合は、こ
のようにＶＯＰが間引かれたものが、下位レイヤおよび
上位レイヤのデータとされるだけで、画像データの拡大
または縮小（解像度の変換）は行われない（但し、行う
ようにすることも可能である）。
【００９６】また、画像階層化部２１は、例えば、ＳＮ
Ｒ（Signal to Noise Ratio）スケーラビリティの符号
化を行う場合、入力された画像データを、そのまま上位
レイヤまたは下位レイヤのデータそれぞれとして出力す
る。即ち、この場合、下位レイヤ並びに上位レイヤの画
像データは、同一のデータとなる。
【００９７】ここで、ＶＯＰごとに符号化を行う場合の
空間スケーラビリティについては、例えば、次のような
３種類が考えられる。
【００９８】即ち、例えば、いま、ＶＯＰとして、図２
に示したような画像Ｆ１およびＦ２でなる合成画像が入
力されたとすると、第１の空間スケーラビリティは、図
４に示すように、入力されたＶＯＰ全体（図４（Ａ））
を上位レイヤ（EnhancementLayer）とするとともに、そ
のＶＯＰ全体を縮小したもの（図４（Ｂ））を下位レイ
ヤ（Base Layer）とするものである。
【００９９】また、第２の空間スケーラビリティは、図
５に示すように、入力されたＶＯＰを構成する一部の物
体（図５（Ａ）（ここでは、画像Ｆ２に相当する部
分）））を抜き出して（なお、このような抜き出しは、
例えば、ＶＯＰ構成部２nにおける場合と同様にして行
われ、従って、これにより抜き出された物体も、１つの
ＶＯＰと考えることができる）、上位レイヤとするとと
もに、そのＶＯＰ全体を縮小したもの（図５（Ｂ））を
下位レイヤとするものである。
【０１００】さらに、第３の空間スケーラビリティは、
図６および図７に示すように、入力されたＶＯＰを構成
する物体（ＶＯＰ）を抜き出して、その物体ごとに、上
位レイヤおよび下位レイヤを生成するものである。な
お、図６は、図２のＶＯＰを構成する背景（画像Ｆ１）
から上位レイヤおよび下位レイヤを生成した場合を示し
ており、また、図７は、図２のＶＯＰを構成する前景
（画像Ｆ２）から上位レイヤおよび下位レイヤを生成し
た場合を示している。
【０１０１】以上のようなスケーラビリティのうちのい
ずれを用いるかは予め決められており、画像階層化部２
１は、その予め決められたスケーラビリティによる符号
化を行うことができるように、ＶＯＰの階層化を行う。
【０１０２】さらに、画像階層化部２１は、そこに入力
されるＶＯＰのサイズデータおよびオフセットデータ
（それぞれを、以下、適宜、初期サイズデータ、初期オ
フセットデータという）から、生成した下位レイヤおよ
び上位レイヤのＶＯＰの所定の絶対座標系における位置
を表すオフセットデータと、その大きさを示すサイズデ
ータとを計算（決定）する。
【０１０３】ここで、下位レイヤ並びに上位レイヤのＶ
ＯＰのオフセットデータ（位置情報）およびサイズデー
タの決定方法について、例えば、上述の第２のスケーラ
ビリティ（図５）を行う場合を例に説明する。
【０１０４】この場合、下位レイヤのオフセットデータ
ＦＰＯＳ＿Ｂは、例えば、図８（Ａ）に示すように、下
位レイヤの画像データを、その解像度および上位レイヤ
の解像度の違いに基づいて拡大（アップサンプリング）
したときに、即ち、下位レイヤの画像を、上位レイヤの
画像の大きさと一致するような拡大率（上位レイヤの画
像を縮小して下位レイヤの画像を生成したときの、その
縮小率の逆数）（以下、適宜、倍率ＦＲという）で拡大
したときに、その拡大画像の絶対座標系におけるオフセ
ットデータが、初期オフセットデータと一致するように
決定される。また、下位レイヤのサイズデータＦＳＺ＿
Ｂも同様に、下位レイヤの画像を倍率ＦＲで拡大したと
きに得られる拡大画像のサイズデータが初期サイズデー
タと一致するように決定される。即ち、オフセットデー
タＦＰＯＳ＿ＢまたはサイズデータＦＳＺ＿Ｂは、それ
ぞれのＦＲ倍か、初期オフセットデータまたは初期サイ
ズデータと一致するように決定される。
【０１０５】一方、上位レイヤのオフセットデータＦＰ
ＯＳ＿Ｅは、例えば、図８（Ｂ）に示すように、入力さ
れたＶＯＰから抜き出した物体を囲む最小長方形（ＶＯ
Ｐ）の、例えば、左上の頂点の座標が、初期オフセット
データに基づいて求められ、この値に決定される。ま
た、上位レイヤのサイズデータＦＰＯＳ＿Ｅは、入力さ
れたＶＯＰから抜き出した物体を囲む最小長方形の、例
えば横および縦の長さに決定される。
【０１０６】従って、この場合、下位レイヤのオフセッ
トデータＦＰＯＳ＿ＢおよびサイズデータＦＰＯＳ＿Ｂ
を、倍率ＦＲにしたがって変換し（変換後のオフセット
データＦＰＯＳ＿ＢまたはサイズデータＦＰＯＳ＿Ｂ
を、それぞれ、変換オフセットデータＦＰＯＳ＿Ｂまた
は変換サイズデータＦＰＯＳ＿Ｂという）、絶対座標系
において、変換オフセットデータＦＰＯＳ＿Ｂに対応す
る位置に、変換サイズデータＦＳＺ＿Ｂに対応する大き
さの画枠を考え、そこに、下位レイヤの画像データをＦ
Ｒ倍だけした拡大画像を配置するとともに（図８
（Ａ））、その絶対座標系において、上位レイヤのオフ
セットデータＦＰＯＳ＿ＥおよびサイズデータＦＰＯＳ
＿Ｅにしたがって、上位レイヤの画像を同様に配置する
と（図８（Ｂ））、拡大画像を構成する各画素と、上位
レイヤの画像を構成する各画素とは、対応するものどう
しが同一の位置に配置されることになる。即ち、この場
合、例えば、図８において、上位レイヤの画像（図８
（Ｂ））である人の部分と、拡大画像（図８（Ａ））の
中の人の部分とは、同一の位置に配置されることにな
る。
【０１０７】第１および第３のスケーラビリティにおけ
る場合も、同様にして、下位レイヤの拡大画像および上
位レイヤの画像を構成する、対応する画素どうしが、絶
対座標系において同一の位置に配置されるように、オフ
セットデータＦＰＯＳ＿ＢおよびＦＰＯＳ＿Ｅ、並びに
サイズデータＦＳＺ＿ＢおよびＦＳＺ＿Ｅが決定され
る。
【０１０８】図３に戻り、画像階層化部２１において生
成された上位レイヤの画像データ、オフセットデータＦ
ＰＯＳ＿Ｅ、およびサイズデータＦＳＺ＿Ｅは、遅延回
路２２で、後述する下位レイヤ符号化部２５における処
理時間だけ遅延され、上位レイヤ符号化部２３に供給さ
れる。また、下位レイヤの画像データ、オフセットデー
タＦＰＯＳ＿Ｂ、およびサイズデータＦＳＺ＿Ｂは、下
位レイヤ符号化部２５に供給される。また、倍率ＦＲ
は、遅延回路２２を介して、上位レイヤ符号化部２３お
よび解像度変換部２４に供給される。
【０１０９】下位レイヤ符号化部２５では、下位レイヤ
の画像データが符号化され、その結果得られる符号化ビ
ットストリームに、オフセットデータＦＰＯＳ＿Ｂおよ
びサイズデータＦＳＺ＿Ｂが含められ、多重化部２６に
供給される。
【０１１０】また、下位レイヤ符号化部２５は、符号化
ビットストリームを局所復号し、その結果局所復号結果
である下位レイヤの画像データを、解像度変換部２４に
出力する。解像度変換部２４は、下位レイヤ符号化部２
５からの下位レイヤの画像データを、倍率ＦＲにしたが
って拡大（または縮小）することにより、元の大きさに
戻し、これにより得られる拡大画像を、上位レイヤ符号
化部２３に出力する。
【０１１１】一方、上位レイヤ符号化部２３では、上位
レイヤの画像データが符号化され、その結果得られる符
号化ビットストリームに、オフセットデータＦＰＯＳ＿
ＥおよびサイズデータＦＳＺ＿Ｅが含められ、多重化部
２６に供給される。なお、上位レイヤ符号化部２３にお
いては、上位レイヤ画像データの符号化は、後述するよ
うに、解像度変換部２４から供給される拡大画像をも参
照画像として用いて行われる。
【０１１２】多重化部２６では、上位レイヤ符号化部２
３および下位レイヤ符号化部２５の出力が多重化されて
出力される。
【０１１３】なお、下位レイヤ符号化部２５から上位レ
イヤ符号化部２３に対しては、下位レイヤのサイズデー
タＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿Ｂ、動きベ
クトルＭＶ、フラグＣＯＤなどが供給されており、上位
レイヤ符号化部２３では、これらのデータを必要に応じ
て参照しながら、処理を行うようになされているが、こ
の詳細については、後述する。
【０１１４】次に、図９は、図３の下位レイヤ符号化部
２５の詳細構成例を示している。なお、図中、図５３に
おける場合と対応する部分については、同一の符号を付
してある。即ち、下位レイヤ符号化部２５は、基本的に
は、図５３のエンコーダと同様に構成されている。
【０１１５】画像階層化部２１（図３）からの画像デー
タ、即ち、下位レイヤのＶＯＰは、図５３における場合
と同様に、フレームメモリ３１に供給されて記憶され、
動きベクトル検出器３２において、マクロブロック単位
で動きベクトルの検出が行われる。
【０１１６】但し、下位レイヤ符号化部２５の動きベク
トル検出器３２には、下位レイヤのＶＯＰのサイズデー
タＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂが供
給されるようになされており、そこでは、このサイズデ
ータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂに
基づいて、マクロブロックの動きベクトルが検出され
る。
【０１１７】即ち、上述したように、ＶＯＰは、時刻
（フレーム）によって、大きさや位置が変化するため、
その動きベクトルの検出にあたっては、その検出のため
の基準となる座標系を設定し、その座標系における動き
を検出する必要がある。そこで、ここでは、動きベクト
ル検出器３２は、上述の絶対座標系を基準となる座標系
とし、その絶対座標系に、サイズデータＦＳＺ＿Ｂおよ
びオフセットデータＦＰＯＳ＿Ｂにしたがって、符号化
対象のＶＯＰおよび参照画像とするＶＯＰを配置して、
動きベクトルを検出するようになされている。
【０１１８】なお、検出された動きベクトル（ＭＶ）
は、予測モードとともに、ＶＬＣ器３６および動き補償
器４２に供給される他、上位レイヤ符号化部２３（図
３）にも供給される。
【０１１９】また、動き補償を行う場合においても、や
はり、上述したように、基準となる座標系における動き
を検出する必要があるため、動き補償器４２には、サイ
ズデータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿
Ｂが供給されるようになされている。
【０１２０】動きベクトルの検出されたＶＯＰ（のマク
ロブロック）は、図５３における場合と同様に量子化係
数とされてＶＬＣ器３６に供給される。ＶＬＣ器３６に
は、やはり図５３における場合と同様に、量子化係数、
量子化ステップ、動きベクトル、および予測モードが供
給される他、画像階層化部２１からのサイズデータＦＳ
Ｚ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂも供給され
ており、そこでは、これらのデータすべてが可変長符号
化される。
【０１２１】動きベクトルの検出されたＶＯＰ（のマク
ロブロック）は、上述したように符号化される他、やは
り図５３における場合と同様に局所復号され、フレーム
メモリ４１に記憶される。この復号画像は、前述したよ
うに参照画像として用いられる他、解像度変換部２４
（図３）に出力される。
【０１２２】なお、ＭＰＥＧ４においては、ＭＰＥＧ１
および２と異なり、Ｂピクチャ（Ｂ−ＶＯＰ）も参照画
像として用いられるため、Ｂピクチャも、局所復号さ
れ、フレームメモリ４１に記憶されるようになされてい
る（但し、現時点においては、Ｂピクチャが参照画像と
して用いられるのは上位レイヤについてだけである）。
【０１２３】一方、ＶＬＣ器３６は、Ｉ，Ｐ，Ｂピクチ
ャ（Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰ）のマクロブ
ロックについて、スキップマクロブロックとするかどう
かを決定し、その決定結果を示すフラグＣＯＤ，ＭＯＤ
Ｂを設定する。このフラグＣＯＤ，ＭＯＤＢは、やはり
可変長符号化されて伝送される。さらに、フラグＣＯＤ
は、上位レイヤ符号化部２３にも供給される。
【０１２４】次に、図１０は、図３の上位レイヤ符号化
部２３の構成例を示している。なお、図中、図９または
図５３における場合と対応する部分については、同一の
符号を付してある。即ち、上位レイヤ符号化部２３は、
フレームメモリ５２が新たに設けられていることを除け
ば、基本的には、図９の下位レイヤ符号化部２５または
図５３のエンコーダと同様に構成されている。
【０１２５】画像階層化部２１（図３）からの画像デー
タ、即ち、上位レイヤのＶＯＰは、図５３における場合
と同様に、フレームメモリ３１に供給されて記憶され、
動きベクトル検出器３２において、マクロブロック単位
で動きベクトルの検出が行われる。なお、この場合も、
動きベクトル検出器３２には、図９における場合と同様
に、上位レイヤのＶＯＰの他、そのサイズデータＦＳＺ
＿ＥおよびオフセットデータＦＰＯＳ＿Ｅが供給される
ようになされており、動きベクトル検出器３２では、上
述の場合と同様に、このサイズデータＦＳＺ＿Ｅおよび
オフセットデータＦＰＯＳ＿Ｅに基づいて、絶対座標系
における上位レイヤのＶＯＰの配置位置が認識され、マ
クロブロックの動きベクトルが検出される。
【０１２６】ここで、上位レイヤ符号化部２３および下
位レイヤ符号化部２５における動きベクトル検出器３２
では、図５３で説明した場合と同様に、予め設定されて
いる所定のシーケンスにしたがって、ＶＯＰが処理され
ていくが、そのシーケンスは、ここでは、例えば、次の
ように設定されている。
【０１２７】即ち、空間スケーラビリティの場合におい
ては、図１１（Ａ）または図１１（Ｂ）に示すように、
上位レイヤまたは下位レイヤのＶＯＰは、例えば、Ｐ，
Ｂ，Ｂ，Ｂ，・・・またはＩ，Ｐ，Ｐ，Ｐ，・・・ピク
チャ（ＶＯＰ）としてそれぞれ処理されていく。
【０１２８】そして、この場合、上位レイヤの（表示順
で）最初のＶＯＰであるＰピクチャ（Ｐ−ＶＯＰ）は、
例えば、同時刻における下位レイヤのＶＯＰ（ここで
は、Ｉピクチャ（Ｉ−ＶＯＰ））を参照画像として用い
て符号化される。また、上位レイヤの２番目以降のＶＯ
ＰであるＢピクチャ（Ｂ−ＶＯＰ）は、例えば、その直
前の上位レイヤのＶＯＰおよびそれと同時刻の下位レイ
ヤのＶＯＰを参照画像として用いて符号化される。即
ち、ここでは、上位レイヤのＢピクチャは、下位レイヤ
のＰピクチャと同様に他のＶＯＰを符号化する場合の参
照画像として用いられる。
【０１２９】なお、下位レイヤについては、例えば、Ｍ
ＰＥＧ１や２、あるいはＨ．２６３における場合と同様
に符号化が行われていく。
【０１３０】ＳＮＲスケーラビリティは、空間スケーラ
ビリティにおける倍率ＦＲが１のときと考えられるか
ら、上述の空間スケーラビリティの場合と同様に処理さ
れる。
【０１３１】テンポラルスケーラビリティの場合、即
ち、例えば、上述したように、ＶＯが、ＶＯＰ０，ＶＯ
Ｐ１，ＶＯＰ２，ＶＯＰ３，・・・で構成され、ＶＯＰ
１，ＶＯＰ３，ＶＯＰ５，ＶＯＰ７，・・・が上位レイ
ヤとされ（図１２（Ａ））、ＶＯＰ０，ＶＯＰ２，ＶＯ
Ｐ４，ＶＯＰ６，・・・が下位レイヤとされた場合にお
いては（図１２（Ｂ））、図１２に示すように、上位レ
イヤまたは下位レイヤのＶＯＰは、例えば、Ｂ，Ｂ，
Ｂ，・・・またはＩ，Ｐ，Ｐ，Ｐ，・・・ピクチャ（Ｖ
ＯＰ）としてそれぞれ処理されていく。
【０１３２】そして、この場合、上位レイヤの（表示順
で）最初のＶＯＰ１（Ｂピクチャ）は、例えば、下位レ
イヤのＶＯＰ０（Ｉピクチャ）およびＶＯＰ２（Ｐピク
チャ）を参照画像として用いて符号化される。また、上
位レイヤの２番目のＶＯＰ３（Ｂピクチャ）は、例え
ば、その直前にＢピクチャとして符号化された上位レイ
ヤのＶＯＰ１、およびＶＯＰ３の次の時刻（フレーム）
における画像である下位レイヤのＶＯＰ４（Ｐピクチ
ャ）を参照画像として用いて符号化される。上位レイヤ
の３番目のＶＯＰ５（Ｂピクチャ）も、ＶＯＰ３と同様
に、例えば、その直前にＢピクチャとして符号化された
上位レイヤのＶＯＰ３、およびＶＯＰ５の次の時刻（フ
レーム）における画像である下位レイヤのＶＯＰ６（Ｐ
ピクチャ）を参照画像として用いて符号化される。
【０１３３】以上のように、あるレイヤのＶＯＰ（ここ
では、上位レイヤ）については、ＰおよびＢピクチャを
符号化するための参照画像として、他のレイヤ（スケー
ラブルレイヤ）（ここでは、下位レイヤ）のＶＯＰを用
いることができる。このように、あるレイヤのＶＯＰを
符号化するのに、他のレイヤのＶＯＰを参照画像として
用いる場合、即ち、ここでは、上位レイヤのＶＯＰを予
測符号化するのに、下位レイヤのＶＯＰを参照画像とし
て用いる場合、上位レイヤ符号化部２３（図１０）の動
きベクトル検出器３２は、その旨を示すフラグｒｅｆ＿
ｌａｙｅｒ＿ｉｄ（階層数が３以上存在する場合、フラ
グｒｅｆ＿ｌａｙｅｒ＿ｉｄは、参照画像として用いる
ＶＯＰが属するレイヤを表す）を設定して出力するよう
になされている。
【０１３４】さらに、上位レイヤ符号化部２３の動きベ
クトル検出器３２は、ＶＯＰについてのフラグｒｅｆ＿
ｌａｙｅｒ＿ｉｄにしたがい、前方予測符号化または後
方予測符号化を、それぞれ、どのレイヤのＶＯＰを参照
画像として行うかを示すフラグｒｅｆ＿ｓｅｌｅｃｔ＿
ｃｏｄｅ（参照画像情報）を設定して出力するようにも
なされている。
【０１３５】即ち、例えば、上位レイヤ（Enhancement
Layer）のＰピクチャが、その直前に復号（局所復号）
される、それと同一のレイヤに属するＶＯＰを参照画像
として用いて符号化される場合、フラグｒｅｆ＿ｓｅｌ
ｅｃｔ＿ｃｏｄｅは「００」とされる。また、Ｐピクチ
ャが、その直前に表示される、それと異なるレイヤ（こ
こでは、下位レイヤ）（Reference Layer）に属するＶ
ＯＰを参照画像として用いて符号化される場合、フラグ
ｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅは「０１」とされる。
さらに、Ｐピクチャが、その直後に表示される、それと
異なるレイヤに属するＶＯＰを参照画像として用いて符
号化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄ
ｅは「１０」とされる。また、Ｐピクチャが、それと同
時刻における、異なるレイヤのＶＯＰを参照画像として
用いて符号化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ
＿ｃｏｄｅは「１１」とされる。
【０１３６】一方、例えば、上位レイヤのＢピクチャ
が、それと同時刻における、異なるレイヤのＶＯＰを前
方予測のための参照画像として用い、かつ、その直前に
復号される、それと同一のレイヤに属するＶＯＰを後方
予測のための参照画像として用いて符号化される場合、
フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅは「００」とさ
れる。また、上位レイヤのＢピクチャが、それと同一の
レイヤに属するＶＯＰを前方予測のための参照画像とし
て用い、かつ、その直前に表示される、それと異なるレ
イヤに属するＶＯＰを後方予測のための参照画像として
用いて符号化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ
＿ｃｏｄｅは「０１」とされる。さらに、上位レイヤの
Ｂピクチャが、その直前に復号される、それと同一のレ
イヤに属するＶＯＰを前方予測のための参照画像として
用い、かつその直後に表示される、それと異なるレイヤ
に属するＶＯＰを後方予測のための参照画像として用い
て符号化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃ
ｏｄｅは「１０」とされる。また、上位レイヤのＢピク
チャが、その直前に表示される、それと異なるレイヤに
属するＶＯＰを前方予測のための参照画像として用い、
かつその直後に表示される、それと異なるレイヤに属す
るＶＯＰを後方予測のための参照画像として用いて符号
化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ
は「１１」とされる。
【０１３７】ここで、図１１および図１２で説明した予
測符号化の方法は、１つの例であり、前方予測符号化、
後方予測符号化、または両方向予測符号化のための参照
画像として、どのレイヤの、どのＶＯＰを用いるかは、
例えば、上述した範囲で、自由に設定することが可能で
ある。
【０１３８】なお、上述の場合においては、便宜的に、
「空間スケーラビリティ」、「時間スケーラビリテ
ィ」、「ＳＮＲスケーラビリティ」という語を用いた
が、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅによって、
予測符号化に用いる参照画像を設定する場合、空間スケ
ーラビリティや、テンポラルスケーラビリティ、ＳＮＲ
スケーラビリティを明確に区別することは困難となる。
即ち、逆にいえば、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏ
ｄｅを用いることによって、上述のようなスケーラビリ
ティの区別をせずに済むようになる。
【０１３９】ここで、上述のスケーラビリティとフラグ
ｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅとを対応付けるとすれ
ば、例えば、次のようになる。即ち、Ｐピクチャについ
ては、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「１
１」の場合が、フラグｒｅｆ＿ｌａｙｅｒ＿ｉｄが示す
レイヤの同時刻におけるＶＯＰを参照画像（前方予測の
ための参照画像）として用いる場合であるから、これ
は、空間スケーラビリティまたはＳＮＲスケーラビリテ
ィに対応する。そして、フラグｒｅｆ＿ｓｅｌｅｃｔ＿
ｃｏｄｅが「１１」の場合以外は、テンポラルスケーラ
ビリティに対応する。
【０１４０】また、Ｂピクチャについては、フラグｒｅ
ｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」の場合が、やは
り、フラグｒｅｆ＿ｌａｙｅｒ＿ｉｄが示すレイヤの同
時刻におけるＶＯＰを前方予測のための参照画像として
用いる場合であるから、これが、空間スケーラビリティ
またはＳＮＲスケーラビリティに対応する。そして、フ
ラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」の場合
以外は、テンポラルスケーラビリティに対応する。
【０１４１】なお、上位レイヤのＶＯＰの予測符号化の
ために、それと異なるレイヤ（ここでは、下位レイヤ）
の、同時刻におけるＶＯＰを参照画像として用いる場
合、両者の間に動きはないので、動きベクトルは、常に
０（（０，０））とされる。
【０１４２】図１０に戻り、上位レイヤ符号化部２３の
動きベクトル検出器３２では、以上のようなフラグｒｅ
ｆ＿ｌａｙｅｒ＿ｉｄおよびｒｅｆ＿ｓｅｌｅｃｔ＿ｃ
ｏｄｅが設定され、動き補償器４２およびＶＬＣ器３６
に供給される。
【０１４３】また、動きベクトル検出器３２では、フラ
グｒｅｆ＿ｌａｙｅｒ＿ｉｄおよびｒｅｆ＿ｓｅｌｅｃ
ｔ＿ｃｏｄｅにしたがって、フレームメモリ３１を参照
するだけでなく、必要に応じて、フレームメモリ５２を
も参照して、動きベクトルが検出される。
【０１４４】ここで、フレームメモリ５２には、解像度
変換部２４（図３）から、局所復号された下位レイヤの
拡大画像が供給されるようになされている。即ち、解像
度変換部２４では、局所復号された下位レイヤのＶＯＰ
が、例えば、いわゆる補間フィルタなどによって拡大
（補間）され、これにより、そのＶＯＰを、ＦＲ倍だけ
した拡大画像、つまり、その下位レイヤのＶＯＰに対応
する上位レイヤのＶＯＰと同一の大きさとした拡大画像
が生成され、上位レイヤ符号化部２３に供給される。フ
レームメモリ５２では、このようにして解像度変換部２
４から供給される拡大画像が記憶される。
【０１４５】従って、倍率ＦＲが１の場合は、解像度変
換部２４は、下位レイヤ符号化部２５からの局所復号さ
れたＶＯＰに対して、特に処理を施すことなく、そのま
ま、上位レイヤ符号化部２３に供給する。
【０１４６】動きベクトル検出器３２には、下位レイヤ
符号化部２５からサイズデータＦＳＺ＿Ｂおよびオフセ
ットデータＦＰＯＳ＿Ｂが供給されるとともに、遅延回
路２２（図３）からの倍率ＦＲが供給されるようになさ
れており、動きベクトル検出器３２は、フレームメモリ
５２に記憶された拡大画像を参照画像として用いる場
合、即ち、上位レイヤのＶＯＰの予測符号化に、そのＶ
ＯＰと同時刻における下位レイヤのＶＯＰを参照画像と
して用いる場合（この場合、フラグｒｅｆ＿ｓｅｌｅｃ
ｔ＿ｃｏｄｅは、Ｐピクチャについては「１１」に、Ｂ
ピクチャについては「００」にされる）、その拡大画像
に対応するサイズデータＦＳＺ＿Ｂおよびオフセットデ
ータＦＰＯＳ＿Ｂに、倍率ＦＲを乗算する。そして、そ
の乗算結果に基づいて、絶対座標系における拡大画像の
位置を認識し、動きベクトルの検出を行う。
【０１４７】なお、動きベクトル検出器３２には、下位
レイヤの動きベクトルと予測モードが供給されるように
なされており、これは、次のような場合に使用される。
即ち、動きベクトル検出部３２は、例えば、上位レイヤ
のＢピクチャについてのフラグｒｅｆ＿ｓｅｌｅｃｔ＿
ｃｏｄｅが「００」である場合において、倍率ＦＲが１
であるとき、即ち、ＳＮＲスケーラビリティのとき（但
し、この場合、上位レイヤの予測符号化に、上位レイヤ
のＶＯＰが用いられるので、この点で、ここでいうＳＮ
Ｒスケーラビリティは、ＭＰＥＧ２に規定されているも
のと異なる）、上位レイヤと下位レイヤは同一の画像で
あるから、上位レイヤのＢピクチャの予測符号化には、
下位レイヤの同時刻における画像の動きベクトルと予測
モードをそのまま用いることができる。そこで、この場
合、動きベクトル検出部３２は、上位レイヤのＢピクチ
ャについては、特に処理を行わず、下位レイヤの動きベ
クトルと予測モードをそのまま採用する。
【０１４８】なお、この場合、上位レイヤ符号化部２３
では、動きベクトル検出器３２からＶＬＣ器３６には、
動きベクトルおよび予測モードは出力されない（従っ
て、伝送されない）。これは、受信側において、上位レ
イヤの動きベクトルおよび予測モードを、下位レイヤの
復号結果から認識することができるからである。
【０１４９】以上のように、動きベクトル検出器３２
は、上位レイヤのＶＯＰの他、拡大画像をも参照画像と
して用いて、動きベクトルを検出し、さらに、図５３で
説明したように、予測誤差（あるいは分散）を最小にす
る予測モードを設定する。また、動きベクトル検出器３
２は、例えば、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ
やｒｅｆ＿ｌａｙｅｒ＿ｉｄその他の必要な情報を設定
して出力する。
【０１５０】なお、図１０では、下位レイヤ符号化部２
５から、下位レイヤにおけるＩまたはＰピクチャを構成
するマクロブロックがスキップマクロブロックであるか
どうかを示すフラグＣＯＤが、動きベクトル検出器３
２、ＶＬＣ器３６、および動き補償器４２に供給される
ようになされている。
【０１５１】動きベクトルの検出されたマクロブロック
は、上述した場合と同様に符号化され、これにより、Ｖ
ＬＣ器３６からは、その符号化結果としての可変長符号
が出力される。
【０１５２】なお、上位レイヤ符号化部２３のＶＬＣ器
３６は、下位レイヤ符号化部２５における場合と同様
に、フラグＣＯＤ，ＭＯＤＢを設定して出力するように
なされている。ここで、フラグＣＯＤは、上述したよう
に、ＩまたはＰピクチャのマクロブロックがスキップマ
クロブロックであるかどうかを示すものであるが、フラ
グＭＯＤＢは、Ｂピクチャのマクロブロックがスキップ
マクロブロックであるかどうかを示すものである。
【０１５３】また、ＶＬＣ器３６には、量子化係数、量
子化ステップ、動きベクトル、および予測モードの他、
倍率ＦＲ、フラグｒｅｆ＿ｓｅｒｅｃｔ＿ｃｏｄｅ，ｒ
ｅｆ＿ｌａｙｅｒ＿ｉｄ、サイズデータＦＳＺ＿Ｅ、オ
フセットデータＦＰＯＳ＿Ｅ、も供給されるようになさ
れており、ＶＬＣ器３６では、これらのデータがすべて
可変長符号化されて出力される。
【０１５４】一方、動きベクトルの検出されたマクロブ
ロックは符号化された後、やはり上述したように局所復
号され、フレームメモリ４１に記憶される。そして、動
き補償器４２において、動きベクトル検出器３２におけ
る場合と同様にして、フレームメモリ４１に記憶され
た、局所復号された上位レイヤのＶＯＰだけでなく、フ
レームメモリ５２に記憶された、局所復号されて拡大さ
れた下位レイヤのＶＯＰをも参照画像として用いて動き
補償が行われ、予測画像が生成される。
【０１５５】即ち、動き補償器４２には、動きベクトル
および予測モードの他、フラグｒｅｆ＿ｓｅｒｅｃｔ＿
ｃｏｄｅ，ｒｅｆ＿ｌａｙｅｒ＿ｉｄ、倍率ＦＲ、サイ
ズデータＦＳＺ＿Ｂ，ＦＳＺ＿Ｅ、オフセットデータＦ
ＰＯＳ＿Ｂ，ＦＰＯＳ＿Ｅが供給されるようになされて
おり、動き補償器４２は、フラグｒｅｆ＿ｓｅｒｅｃｔ
＿ｃｏｄｅ，ｒｅｆ＿ｌａｙｅｒ＿ｉｄに基づいて、動
き補償すべき参照画像を認識し、さらに、参照画像とし
て、局所復号された上位レイヤのＶＯＰ、または拡大画
像を用いる場合には、その絶対座標系における位置と大
きさを、サイズデータＦＳＺ＿Ｅおよびオフセットデー
タＦＰＯＳ＿Ｅ、またはサイズデータＦＳＺ＿Ｂおよび
オフセットデータＦＰＯＳ＿Ｂに基づいて認識し、必要
に応じて、倍率ＦＲを用いて予測画像を生成する。
【０１５６】次に、図１３は、図１のエンコーダから出
力されるビットストリームを復号するデコーダの一実施
の形態の構成例を示している。
【０１５７】このデコーダには、図１のエンコーダから
伝送路５または記録媒体６を介して提供される符号化ビ
ットストリームが供給される。即ち、図１のエンコーダ
から出力され、伝送路５を介して伝送されてくるビット
ストリームは、図示せぬ受信装置で受信され、あるい
は、記録媒体６に記録されたビットストリームは、図示
せぬ再生装置で再生され、逆多重化部７１に供給され
る。
【０１５８】逆多重化部７１では、そこに入力された符
号化ビットストリーム（後述するＶＳ（Visual Object
Seguence））が受信される。さらに、逆多重化部７１で
は、入力されたビットストリームが、ＶＯごとのビット
ストリームＶＯ＃１，ＶＯ＃２，・・・に分離され、そ
れぞれ、対応するＶＯＰ復号部７２nに供給される。Ｖ
ＯＰ復号部７２nでは、逆多重化部７１からのビットス
トリームから、ＶＯを構成するＶＯＰ（画像データ）、
サイズデータ（VOP size）、およびオフセットデータ
（VOP offset）が復号され、画像再構成部７３に供給さ
れる。
【０１５９】画像再構成部７３では、ＶＯＰ復号部７２
1乃至７２Nそれぞれからの出力に基づいて、元の画像が
再構成される。この再構成された画像は、例えば、モニ
タ７４に供給されて表示される。
【０１６０】次に、図１４は、スケーラビリティを実現
する、図１３のＶＯＰ復号部７２nの構成例を示してい
る。
【０１６１】逆多重化部７１（図１３）から供給される
ビットストリームは、逆多重化部９１に入力され、そこ
で、上位レイヤのＶＯＰのビットストリームと、下位レ
イヤのＶＯＰのビットストリームとに分離される。上位
レイヤのＶＯＰのビットストリームは、遅延回路９２に
おいて、下位レイヤ復号部９５における処理の時間だけ
遅延された後、上位レイヤ復号部９３に供給され、ま
た、下位レイヤのＶＯＰのビットストリームは、下位レ
イヤ復号部９５に供給される。
【０１６２】下位レイヤ復号部９５では、下位レイヤの
ビットストリームが復号され、その結果得られる下位レ
イヤの復号画像が解像度変換部９４に供給される。ま
た、下位レイヤ復号部９５は、下位レイヤのビットスト
リームを復号することにより得られるサイズデータＦＳ
Ｚ＿Ｂ、オフセットデータＦＰＯＳ＿Ｂ、動きベクトル
（ＭＶ）、予測モード、フラグＣＯＤなどの、上位レイ
ヤのＶＯＰを復号するのに必要な情報を、上位レイヤ復
号部９３に供給する。
【０１６３】上位レイヤ復号部９３では、遅延回路９２
を介して供給される上位レイヤのビットストリームが、
下位レイヤ復号部９５および解像度変換部９４の出力を
必要に応じて参照することにより復号され、その結果得
られる上位レイヤの復号画像、サイズデータＦＳＺ＿
Ｅ、およびオフセットデータＦＰＯＳ＿Ｅが出力され
る。さらに、上位レイヤ復号部９３は、上位レイヤのビ
ットストリームを復号することにより得られる倍率ＦＲ
を、解像度変換部９４に出力する。解像度変換部９４で
は、上位レイヤ復号部９３からの倍率ＦＲを用いて、図
３における解像度変換部２４における場合と同様にし
て、下位レイヤの復号画像が変換される。この変換によ
り得られる拡大画像は、上位レイヤ復号部９３に供給さ
れ、上述したように、上位レイヤのビットストリームの
復号に用いられる。
【０１６４】次に、図１５は、図１４の下位レイヤ復号
部９５の構成例を示している。なお、図中、図５４のデ
コーダにおける場合と対応する部分については、同一の
符号を付してある。即ち、下位レイヤ復号部９５は、基
本的に、図５４のデコーダと同様に構成されている。
【０１６５】逆多重化部９１からの下位レイヤのビット
ストリームは、バッファ１０１に供給され、そこで受信
されて一時記憶される。ＩＶＬＣ器１０２は、その後段
のブロックの処理状態に対応して、バッファ１０１から
ビットストリームを適宜読み出し、そのビットストリー
ムを可変長復号することで、量子化係数、動きベクト
ル、予測モード、量子化ステップ、サイズデータＦＳＺ
＿Ｂ、オフセットデータＦＰＯＳ＿Ｂ、およびフラグＣ
ＯＤなどを分離する。量子化係数および量子化ステップ
は、逆量子化器１０３に供給され、動きベクトルおよび
予測モードは、動き補償器１０７と上位レイヤ復号部９
３（図１４）に供給される。また、サイズデータＦＳＺ
＿ＢおよびオフセットデータＦＰＯＳ＿Ｂは、動き補償
器１０７、画像再構成部７３（図１３）、および上位レ
イヤ復号部９３に供給され、フラグＣＯＤは、上位レイ
ヤ復号部９３に供給される。
【０１６６】逆量子化器１０３、ＩＤＣＴ器１０４、演
算器１０５、フレームメモリ１０６、または動き補償器
１０７では、図９の下位レイヤ符号化部２５の逆量子化
器３８、ＩＤＣＴ器３９、演算器４０、フレームメモリ
４１、または動き補償器４２における場合とそれぞれ同
様の処理が行われることで、下位レイヤのＶＯＰが復号
され、画像再構成部７３、上位レイヤ復号部９３、およ
び解像度変換部９４（図１４）に供給される。
【０１６７】次に、図１６は、図１４の上位レイヤ復号
部９３の構成例を示している。なお、図中、図５４にお
ける場合と対応する部分については、同一の符号を付し
てある。即ち、上位レイヤ復号部９３は、フレームメモ
リ１１２が新たに設けられていることを除けば、基本的
に、図５４のデコーダと同様に構成されている。
【０１６８】逆多重化部９１からの上位レイヤのビット
ストリームは、バッファ１０１を介してＩＶＬＣ器１０
２に供給される。ＩＶＬＣ器１０２は、上位レイヤのビ
ットストリームを可変長復号することで、量子化係数、
動きベクトル、予測モード、量子化ステップ、サイズデ
ータＦＳＺ＿Ｅ、オフセットデータＦＰＯＳ＿Ｅ、倍率
ＦＲ、フラグｒｅｆ＿ｌａｙｅｒ＿ｉｄ，ｒｅｆ＿ｓｅ
ｌｅｃｔ＿ｃｏｄｅ，ＣＯＤ，ＭＯＤＢなどを分離す
る。量子化係数および量子化ステップは、図１５におけ
る場合と同様に、逆量子化器１０３に供給され、動きベ
クトルおよび予測モードは、動き補償器１０７に供給さ
れる。また、サイズデータＦＳＺ＿Ｅおよびオフセット
データＦＰＯＳ＿Ｅは、動き補償器１０７および画像再
構成部７３（図１３）に供給され、フラグＣＯＤ，ＭＯ
ＤＢ，ｒｅｆ＿ｌａｙｅｒ＿ｉｄ、およびｒｅｆ＿ｓｅ
ｌｅｃｔ＿ｃｏｄｅは、動き補償器１０７に供給され
る。さらに、倍率ＦＲは、動き補償器１０７および解像
度変換部９４（図１４）に供給される。
【０１６９】なお、動き補償器１０７には、上述したデ
ータの他、下位レイヤ復号部９５（図１４）から、下位
レイヤの動きベクトル、フラグＣＯＤ、サイズデータＦ
ＳＺ＿Ｂ、およびオフセットデータＦＰＯＳ＿Ｂが供給
されるようになされている。また、フレームメモリ１１
２には、解像度変換部９４から拡大画像が供給される。
【０１７０】逆量子化器１０３、ＩＤＣＴ器１０４、演
算器１０５、フレームメモリ１０６、動き補償器１０
７、またはフレームメモリ１１２では、図１０の上位レ
イヤ符号化部２３の逆量子化器３８、ＩＤＣＴ器３９、
演算器４０、フレームメモリ４１、動き補償器４２、ま
たはフレームメモリ５２における場合とそれぞれ同様の
処理が行われることで、上位レイヤのＶＯＰが復号さ
れ、画像再構成部７３に供給される。
【０１７１】ここで、以上のように構成される上位レイ
ヤ復号部９３および下位レイヤ復号部９５を有するＶＯ
Ｐ復号部７２nにおいては、上位レイヤについての復号
画像、サイズデータＦＳＺ＿Ｅ、およびオフセットデー
タＦＰＯＳ＿Ｅ（以下、適宜、これらをすべて含めて、
上位レイヤデータという）と、下位レイヤについての上
位レイヤについての復号画像、サイズデータＦＳＺ＿
Ｂ、およびオフセットデータＦＰＯＳ＿Ｂ（以下、適
宜、これらをすべて含めて、下位レイヤデータという）
が得られるが、画像再構成部７３では、この上位レイヤ
データまたは下位レイヤデータから、例えば、次のよう
にして画像が再構成されるようになされている。
【０１７２】即ち、例えば、第１の空間スケーラビリテ
ィ（図４）が行われた場合（入力されたＶＯＰ全体が上
位レイヤとされるとともに、そのＶＯＰ全体を縮小した
ものが下位レイヤされた場合）において、下位レイヤデ
ータおよび上位レイヤデータの両方のデータが復号され
たときには、画像再構成部７３は、上位レイヤデータの
みに基づき、サイズデータＦＳＺ＿Ｅに対応する大きさ
の上位レイヤの復号画像（ＶＯＰ）を、オフセットデー
タＦＰＯＳ＿Ｅによって示される位置に配置する。ま
た、例えば、上位レイヤのビットストリームにエラーが
生じたり、また、モニタ７４が、低解像度の画像にしか
対応していないため、下位レイヤデータのみの復号が行
われたときには、画像再構成部７３は、その下位レイヤ
データのみに基づき、サイズデータＦＳＺ＿Ｂに対応す
る大きさの上位レイヤの復号画像（ＶＯＰ）を、オフセ
ットデータＦＰＯＳ＿Ｂによって示される位置に配置す
る。
【０１７３】また、例えば、第２の空間スケーラビリテ
ィ（図５）が行われた場合（入力されたＶＯＰの一部が
上位レイヤとされるとともに、そのＶＯＰ全体を縮小し
たものが下位レイヤとされた場合）において、下位レイ
ヤデータおよび上位レイヤデータの両方のデータが復号
されたときには、画像再構成部７３は、サイズデータＦ
ＳＺ＿Ｂに対応する大きさの下位レイヤの復号画像を、
倍率ＦＲにしたがって拡大し、その拡大画像を生成す
る。さらに、画像再構成部７３は、オフセットデータＦ
ＰＯＳ＿ＢをＦＲ倍し、その結果得られる値に対応する
位置に、拡大画像を配置する。そして、画像再構成部７
３は、サイズデータＦＳＺ＿Ｅに対応する大きさの上位
レイヤの復号画像を、オフセットデータＦＰＯＳ＿Ｅに
よって示される位置に配置する。
【０１７４】この場合、上位レイヤの復号画像の部分
が、それ以外の部分に比較して高い解像度で表示される
ことになる。
【０１７５】なお、上位レイヤの復号画像を配置する場
合においては、その復号画像と、拡大画像とは合成され
る。
【０１７６】また、図１４（図１３）には図示しなかっ
たが、上位レイヤ復号部９３（ＶＯＰ復号部７２n）か
ら画像再構成部７３に対しては、上述したデータの他、
倍率ＦＲも供給されるようになされており、画像再構成
部７３は、これを用いて、拡大画像を生成するようにな
されている。
【０１７７】一方、第２の空間スケーラビリティが行わ
れた場合において、下位レイヤデータのみが復号された
ときには、上述の第１の空間スケーラビリティが行われ
た場合と同様にして、画像が再構成される。
【０１７８】さらに、第３の空間スケーラビリティ（図
６、図７）が行われた場合（入力されたＶＯＰを構成す
る物体ごとに、その物体（オブジェクト）全体を上位レ
イヤとするとともに、その物体全体を間引いたものを下
位レイヤとした場合）においては、上述の第２の空間ス
ケーラビリティが行われた場合と同様にして、画像が再
構成される。
【０１７９】上述したように、オフセットデータＦＰＯ
Ｓ＿ＢおよびＦＰＯＳ＿Ｅは、下位レイヤの拡大画像お
よび上位レイヤの画像を構成する、対応する画素どうし
が、絶対座標系において同一の位置に配置されるように
なっているため、以上のように画像を再構成すること
で、正確な（位置ずれのない）画像を得ることができ
る。
【０１８０】次に、図１のエンコーダが出力する符号化
ビットストリームのシンタクスについて、例えば、MPEG
4規格のVideo Verification Model(Version10.0)（以
下、適宜、VM10.0と記述する）を例に説明する。
【０１８１】図１７は、VM10.0における符号化ビットス
トリームの構成を示している。
【０１８２】符号化ビットストリームは、ＶＳ（Visual
Object Sequence）を単位として構成される。ここで、
ＶＳは、画像シーケンスであり、例えば、一本の番組や
映画などに相当する。
【０１８３】各ＶＳは、１以上のＶＩＳＯ（Visual Obj
ect）から構成される。ここで、ＶＩＳＯには、幾つか
の種類がある。即ち、ＶＩＳＯには、例えば、静止画で
あるスチルテクスチャオブジェクト（Still Texture Ob
ject）や、顔画像から構成されるフェイスオブジェクト
（Face Object）、動画像のオブジェクトであるＶＯ（V
ideo Object）などがある。従って、符号化ビットスト
リームが動画像のものである場合、ＶＩＳＯは、ＶＯか
ら構成される。
【０１８４】ＶＯは、１以上のＶＯＬ（Video Object L
ayer）から構成される（画像を階層化しないときは１の
ＶＯＬで構成され、画像を階層化する場合には、その階
層数だけのＶＯＬで構成される）。
【０１８５】ＶＯＬは、必要な数のＧＯＶ（Group of V
OP）で構成され、ＧＯＶは、１以上のＶＯＰ（Video Ob
ject Plane）のシーケンスで構成される。なお、ＧＯＶ
はなくても良く、この場合、ＶＯＬは、１以上のＶＯＰ
で構成されることになる。
【０１８６】図１８または図１９は、ＶＳまたはＶＯの
シンタクスをそれぞれ示している。ＶＯは、画像全体ま
たは画像の一部（物体）のシーケンスに対応するビット
ストリームであり、従って、ＶＳは、そのようなシーケ
ンスの集合で構成される（よって、ＶＳは、例えば、一
本の番組などに相当する）。
【０１８７】図２０乃至図２５は、ＶＯＬのシンタクス
を示している。
【０１８８】ＶＯＬは、上述したようなスケーラビリテ
ィのためのクラスであり、video_object_layer_idで示
される番号によって識別される。即ち、例えば、下位レ
イヤのＶＯＬについてのvideo_object_layer_idは０と
され、また、例えば、上位レイヤのＶＯＬについてのvi
deo_object_layer_idは１とされる。なお、上述したよ
うに、スケーラブルのレイヤの数は２に限られることな
く、１や３以上を含む任意の数とすることができる。
【０１８９】また、各ＶＯＬについて、それが画像全体
であるのか、画像の一部であるのかは、video_object_l
ayer_shapeで識別される。このvideo_object_layer_sha
peは、ＶＯＬの形状を示すフラグで、例えば、以下のよ
うに設定される。
【０１９０】即ち、ＶＯＬの形状が長方形状であると
き、video_object_layer_shapeは、例えば「００」とさ
れる。また、ＶＯＬが、ハードキー（０または１のうち
のいずれか一方の値をとる２値（Binary）の信号）によ
って抜き出される領域の形状をしているとき、video_ob
ject_layer_shapeは、例えば「０１」とされる。さら
に、ＶＯＬが、ソフトキー（０乃至１の範囲の連続した
値（Gray-Scale）をとることが可能な信号（ＭＰＥＧ４
では、８ビットで表現される））によって抜き出される
領域の形状をしているとき（ソフトキーを用いて合成さ
れるものであるとき）、video_object_layer_shapeは、
例えば「１０」とされる。
【０１９１】ここで、video_object_layer_shapeが「０
０」とされるのは、ＶＯＬの形状が長方形状であり、か
つ、そのＶＯＬの絶対座標形における位置および大きさ
が、時間とともに変化しない、即ち、一定の場合であ
る。なお、この場合、その大きさ（横の長さと縦の長
さ）は、video_object_layer_widthとvideo_object_lay
er_heightによって示される。video_object_layer_widt
hおよびvideo_object_layer_heightは、いずれも１０ビ
ットの固定長のフラグで、video_object_layer_shapeが
「００」の場合には、最初に、一度だけ伝送される（こ
れは、video_object_layer_shapeが「００」の場合、上
述したように、ＶＯＬの絶対座標系における大きさが一
定であるからである）。
【０１９２】また、ＶＯＬが、下位レイヤまたは上位レ
イヤのうちのいずれであるかは、１ビットのフラグであ
るscalabilityによって示される。ＶＯＬが下位レイヤ
の場合、scalabilityは、例えば１とされ、それ以外の
場合、scalabilityは、例えば０とされる。
【０１９３】さらに、ＶＯＬが、自身以外のＶＯＬにお
ける画像を参照画像として用いる場合、その参照画像が
属するＶＯＬは、上述したように、ref_layer_idで表さ
れる。なお、ref_layer_idは、上位レイヤについてのみ
伝送される。
【０１９４】また、ＶＯＬにおいて、hor_sampling_fac
tor_nとhor_sampling_factor_mは、下位レイヤのＶＯＰ
の水平方向の長さに対応する値と、上位レイヤのＶＯＰ
の水平方向の長さに対応する値をそれぞれ示す。従っ
て、下位レイヤに対する上位レイヤの水平方向の長さ
（水平方向の解像度の倍率）は、式hor_sampling_facto
r_n/hor_sampling_factor_mで与えられる。
【０１９５】さらに、ＶＯＬにおいて、ver_sampling_f
actor_nとver_sampling_factor_mは、下位レイヤのＶＯ
Ｐの垂直方向の長さに対応する値と、上位レイヤのＶＯ
Ｐの垂直方向の長さに対応する値をそれぞれ示す。従っ
て、下位レイヤに対する上位レイヤの垂直方向の長さ
（垂直方向の解像度の倍率）は、式ver_sampling_facto
r_n/ver_sampling_factor_mで与えられる。
【０１９６】図２６および図２７は、ＧＯＶのシンタク
ス（Syntax）を示している。
【０１９７】GOV層は、符号化ビットストリームの先頭
だけでなく、符号化ビットストリームの任意の位置に挿
入することができるように、VOL層とVOP層との間に規定
されている（図１７）。これにより、あるVOL#0が、VOP
#0，VOP#1，・・・，VOP#n，VOP#(n+1)，・・・，VOP#m
といったVOPのシーケンスで構成される場合において、G
OV層は、その先頭のVOP#0の直前だけでなく、VOP#(n+1)
の直前（VOP#nとVOP#(n+1)との間）にも挿入することが
できる。従って、エンコーダにおいて、GOV層は、例え
ば、符号化ストリームの中の、ランダムアクセスさせた
い位置に挿入することができ、このGOV層を挿入するこ
とで、あるVOLを構成するVOPの一連のシーケンスは、複
数のグループ（GOV）に分けられて符号化されることに
なる。
【０１９８】GOV層は、図２６に示すように、グループ
スタートコード（group_start_code）、VOPタイムイン
クリメントレゾリューション(VOP_time_increment_reso
lusion),タイムコード（time_code）、クローズドGOP
（closed_gop）、ブロークンリンク（broken_link）、
ＧＯＶを構成するＶＯＰ（Group_of_VideoObjectPlan
e()）、ネクストスタートコード（next_start_code()）
が順次配置されて構成される。
【０１９９】次に、GOV層のセマンティクス（Semantic
s）について説明するが、GOV層のセマンティクスは、基
本的には、MPEG2のGOP層と同様であり、従って、特に記
述しない部分については、MPEG2Video規格(ISO/IEC1381
8-2)を参照されたい。
【０２００】まず、group_start_codeは、000001B8
（１６進数）で、GOVの開始位置を示す。VOP_time_incr
ement_resolusionは、後述するVOP_time_incrementによ
って示される同期点どうしの間隔である１秒間を、何分
割するかの分割数（分解能）を表す。
【０２０１】time_codeは、図２７に示すように、時刻
の時間の単位を表すtime_code_hours、時刻の分の単位
を表すtime_code_minutes、marker_bit、および時刻の
秒の単位を表すtime_code_secondsで構成される。そし
て、このtime_codeのうちの、time_code_hours，time_c
ode_minutes,time_code_secondsによって、GOVの先頭の
時刻が表される。その結果、GOV層のtime_code（秒精度
先頭表示時刻）は、秒精度で、その先頭の時刻、即ち、
そのGOV層の符号化が開始された、VOPのシーケンス上の
絶対時刻を表現することとなる。具体的には、time_cod
eには、GOVの中で最初に表示されるVOPの絶対的な表示
時刻を秒精度で表したものが設定される。
【０２０２】なお、VM10.0において、time_codeは、「T
he parameters correspond to those defined in the I
EC standard publication 461 for "time and control
codes for video tape recorders". The timecode refe
rs to the first plane ( in display order) after th
e GOV header」と記載されている。
【０２０３】time_codeのmarker_bitは、符号化ビット
ストリームにおいて、０が２３個以上連続しないように
１とされる。
【０２０４】next_start_code()は、次のGOVの先頭の位
置を与える。
【０２０５】以上のようなＧＯＶによれば、そのタイム
コードtime_codeにより、GOVのヘッダに続く、表示順
で、最初に表示されるVOPの絶対的な表示時刻を秒精度
で認識することが可能となる。なお、上述のように、GO
V層のtime_codeは秒精度であるため、VOPの表示時刻
の、さらに細かい精度の部分は、VOP毎に設定される
が、この点については、後述する。
【０２０６】なお、ＧＯＶ層は、前述したように、本件
出願人による提案後に、ＭＰＥＧ４において導入された
ものである。
【０２０７】次に、図２８乃至図３６は、ＶＯＰ（Vide
o Object Plane Class）のシンタクスを示している。
【０２０８】ＶＯＰの大きさ（横と縦の長さ）は、例え
ば、１０ビット固定長のVOP_widthとVOP_heightで表さ
れる。また、ＶＯＰの絶対座標系における位置は、例え
ば、１０ビット固定長のVOP_horizontal_spatial_mc_re
fとVOP_vertical_mc_refで表される。なお、VOP_width
またはVOP_heightは、ＶＯＰの水平方向または垂直方向
の長さをそれぞれ表し、これらは、上述のサイズデータ
ＦＳＺ＿ＢやＦＳＺ＿Ｅに相当する。また、VOP_horizo
ntal_spatial_mc_refまたはVOP_vertical_mc_refは、Ｖ
ＯＰの水平方向または垂直方向の座標（ｘまたはｙ座
標）をそれぞれ表し、これらは、上述のオフセットデー
タＦＰＯＳ＿ＢやＦＰＯＳ＿Ｅに相当する。
【０２０９】VOP_width，VOP_height，VOP_horizontal_
spatial_mc_ref、およびVOP_vertical_mc_refは、video
_object_layer_shapeが「００」以外の場合にのみ伝送
される。即ち、video_object_layer_shapeが「００」の
場合、上述したように、ＶＯＰの大きさおよび位置はい
ずれも一定であるから、VOP_width，VOP_height，VOP_h
orizontal_spatial_mc_ref、およびVOP_vertical_mc_re
fは伝送する必要がない。この場合、受信側では、ＶＯ
Ｐは、その左上の頂点が、例えば、絶対座標系の原点に
一致するように配置され、また、その大きさは、図２０
乃至図２５に示したＶＯＬのvideo_object_layer_width
およびvideo_object_layer_heightから認識される。
【０２１０】なお、ＶＯＰにおいて、ref_select_code
は、上述したように、参照画像として用いる画像を表
す。
【０２１１】ところで、VM10.0では、各VOP(Video Obje
ct Plane:従来のFrameに相当する)の表示時刻は、その
ＶＯＰで規定されているmodulo_time_baseおよびVOP_ti
me_increment（図２８）、並びにそのＶＯＰから構成さ
れるＧＯＶで規定されているtime_code（図２７）によ
って、次のように定められる。
【０２１２】即ち、modulo_time_baseは、エンコーダの
ローカルな時間軸上における時刻を、１秒（1000ms（ミ
リ秒））の精度で表す。modulo_time_baseは、VOPヘッ
ダの中で伝送されるマーカ（marker）で表現され、必要
な数の「1」と、１つの「0」とで構成される。modulo_t
ime_baseを構成する「1」の数が、最後に（現在から遡
って、最も最近に）（直前に）表示されたＩ−ＶＯＰ，
Ｐ−ＶＯＰで符号化／復号化されたmodulo_time_base、
またはＧＯＶヘッダのtime_codeによって示された同期
点（１秒精度の時刻）からの累積時間を表す。
【０２１３】具体的には、ＶＯＰのmodulo_time_base
が、例えば、「０」の場合は、直前に表示されたＩ−Ｖ
ＯＰ，Ｐ−ＶＯＰのmodulo_time_base、またはＧＯＶヘ
ッダのtime_codeによって示された同期点からの累積時
間が０秒であることを表す。また、modulo_time_base
が、例えば、「１０」の場合は、直前に表示されたＩ−
ＶＯＰ，Ｐ−ＶＯＰのmodulo_time_base、またはＧＯＶ
ヘッダのtime_codeによって示された同期点からの累積
時間が１秒であることを表す。さらに、modulo_time_ba
seが、例えば、「１１０」の場合は、直前に表示された
Ｉ−ＶＯＰ，Ｐ−ＶＯＰのmodulo_time_base、またはＧ
ＯＶヘッダのtime_codeによって示された同期点の累積
時間が２秒であることを表す。以上のように、ＶＯＰの
modulo_time_baseの「１」の数は、その直前に表示され
たＩ−ＶＯＰ，Ｐ−ＶＯＰのmodulo_time_base、または
ＧＯＶヘッダのtime_codeによって示された同期点から
の秒数になっている。
【０２１４】なお、VM10.0では、modulo_time_baseにつ
いて、「This value represents the local time base
at the one second resolutionunit (1000 millisecond
s). It is represented as a marker transmitted int
he VOP header. The number of consecutive "1" follo
wed by a "0" indicates the number of seconds has e
lapsed since the synchronization point marked by t
he modulo_time_base of the last displayed I/P-VOPs
belonging tothe same VOL. There are two exception
s, one for the first I/P-VOP afterthe GOV header,
and the other is for B-VOPs (in display order) to
the first I-VOP after the GOV header.For the first
I/P-VOP after the GOV header, the modulo_time_bas
e indicates the time relative to the time_code in
the GOV header.For the B-VOPs prior (in display or
der) to the first I-VOP after the GOV header, the
modulo_time_base indicates the time relative to th
e time_code in the GOV header」と記載されている。
【０２１５】即ち、ある注目ＶＯＰのmodulo_time_base
は、直前に表示されたＩ−ＶＯＰ，Ｐ−ＶＯＰのmodulo
_time_baseによって示される同期点、即ち、直前に表示
されたＩ−ＶＯＰ，Ｐ−ＶＯＰの表示時刻の秒精度の時
刻からの相対時間によって、注目ＶＯＰの秒精度の表示
時刻を表す。但し、ＧＯＶヘッダに続いて最初に符号化
／復号されるＩ−ＶＯＰまたはＰ−ＶＯＰのmodulo_tim
e_baseは、ＧＯＶヘッダのtime_codeからの相対時間に
よって、そのＩ−ＶＯＰまたはＰ−ＶＯＰの秒精度の表
示時刻を表し、また、ＧＯＶヘッダに続いて最初に符号
化／復号されるＩ−ＶＯＰより前に表示されるＢ−ＶＯ
Ｐのmodulo_time_baseも、ＧＯＶヘッダのtime_codeか
らの相対時間によって、そのＢ−ＶＯＰの秒精度の表示
時刻を表す。
【０２１６】なお、ＧＯＶヘッダに続いて最初に符号化
／復号されるＩ−ＶＯＰまたはＰ−ＶＯＰ、およびその
ようなＩ−ＶＯＰより前に表示されるＢ−ＶＯＰに関し
て、ＧＯＶヘッダのtime_codeによって示される同期点
を、直前に表示されたＩ−ＶＯＰ，Ｐ−ＶＯＰのmodulo
_time_baseによって示された同期点（直前に表示された
Ｉ−ＶＯＰ，Ｐ−ＶＯＰの表示時刻の秒精度の時刻）と
考えれば、ＶＯＰのmodulo_time_baseは、どのようなＶ
ＯＰについても、直前に表示されたＩ−ＶＯＰ，Ｐ−Ｖ
ＯＰのmodulo_time_baseによって示された同期点からの
時間によって、そのＶＯＰの表示時刻を、秒精度で表す
ということができる。
【０２１７】VOP_time_incrementは、1秒以下の精度でV
OPの表示時刻を表すのに使用される。すなわち time_co
de及びmodulo_time_baseは、1秒の精度で時刻を表す
が、それ以下の精度は、VOP_time_incrementを用いて表
現される。VM10.0の場合、VOP_time_incrementの精度
は、上述したGOVレイヤのtime_increment_resolution
（図２６）で示され、VOP_time_increment_resolution
＝１０００とすると、VOP_time_incrementは、VOPの表
示時刻を、1ms（＝１０００ミリ秒／VOP_time_incremen
t_resolution）単位で表すものとなる。
【０２１８】図３７および図３８は、以上の定義に基づ
いて、time_code,modulo_time_baseとVOP_time_increme
ntとの関係を示した図である。
【０２１９】図３７において、ＶＯは、ＧＯＶヘッダ、
Ｂ1(Ｂ−ＶＯＰ)，Ｉ2(Ｉ−ＶＯＰ)、Ｂ3，Ｂ4，Ｐ5(Ｐ
−ＶＯＰ)....というＶＯＰのシーケンスで構成されて
いる。いま、ＧＯＶヘッダのtime_codeが時刻ｔ0 = 0h:
12m:43Sec（０時間１２分４３秒）を示していたとする
と、modulo_time_baseは、time_codeを基準とする時刻
を、１秒精度で表し、従って、ｔ0＋１秒、ｔ0＋２秒，
・・・という時刻を、同期点として表す。なお、図３７
において、表示順は、Ｂ1，Ｉ2，Ｂ3，Ｂ4，Ｐ5，・・
・であるが、符号化／復号順は、ＧＯＶヘッダ、Ｉ2，
Ｂ1，Ｐ5，Ｂ3，Ｂ4，・・・である。
【０２２０】図３７では、（後述する図３８、図４６、
図４７においても同様）、各ＶＯＰについてのVOP_time
_incrementを、四角形で囲んだ数字で、modulo_time_ba
seを、四角形とダブルクオーテーション（”）で囲んだ
ビット列で、それぞれ示してあり、さらに、VOP_time_i
ncrement_resolutionを１０００としてある。従って、
図３７では、B1，I2，B3，B4，P5についてのVOP_time_i
ncrementがそれぞれ３５０，７５０，１５０，５５０，
３５０とされており、また、VOP_time_increment_resol
utionが1000であるから、各VOPの表示時刻の1秒以下の
値は、それぞれ３５０ms（３５０／１０００秒），７５
０ms（７５０／１０００秒），１５０ms（１５０／１０
００秒），５５０ms（５５０／１０００秒），３５０ms
（３５０／１０００秒）となる。
【０２２１】いま、図３７において、Ｂ1は、ＧＯＶヘ
ッダが符号化／復号された後、最初に符号化／復号され
るＩ−ＶＯＰであるＩ2より前に表示されるＢ−ＶＯＰ
であるから、その表示時刻の基準は、ＧＯＶヘッダのti
me_codeで示される同期点である時刻ｔ0となる。いま、
Ｂ1のtime_modulo_baseは、”０”であり、従って、Ｂ1
の表示時刻は、GOVヘッダのtime_codeで示された時刻ｔ
0の、０＋３５０／１０００秒後の時刻、すなわち0h:12
m:34s+0s:350ms=0h:12m:34s:350msとなる。
【０２２２】次に、Ｉ2は、ＧＯＶヘッダが符号化／復
号された後、最初に符号化／復号されるＩ−ＶＯＰであ
るから、その表示時刻の基準は、ＧＯＶヘッダのtime_c
odeで示される同期点である時刻ｔ0となる。いま、Ｉ2
のtime_modulo_baseは、”０”であり、従って、Ｉ2の
表示時刻は、GOVヘッダのtime_codeで示された時刻ｔ0
の、０＋750/1000秒の時刻 すなわち0h:12m:34s+0s:750
ms=0h:12m:34s:750msとなる。
【０２２３】次に、Ｂ3は、I2の直後に表示されるた
め、その表示時刻の基準は、I2のmodulo_time_baseによ
って示された同期点となる。即ち、I2の表示時刻は、上
述したように、0h:12m:34s:750msであり、modulo_time_
baseは、時刻t0＝0h:12m:34Secから０秒後の時刻である
0h:12m:34sを、同期点として示している。そして、Ｂ3
のmodulo_time_baseは、"10"であることから、Ｂ3の表
示時刻は、Ｉ2のmodulo_time_baseによって示される同
期点の、１＋１５０／１０００秒後の時刻、すなわち0
h:12m:34s+1s:150ms=0h:12m:35s:150msとなる。Ｂ4の表
示時刻も、Ｂ3の表示時刻と同様にして求めることがで
き、I2のmodulo_time_baseによって示される同期点の、
１＋５５０／１０００秒後の時刻、すなわち0h:12m:34s
+1s:550ms=0h:12m:35s:550msとなる。
【０２２４】次に、P5については、その前に表示される
Ｂ3，Ｂ4は共にＢ−ＶＯＰであるため、これらのmodulo
_time_baseによって示される同期点は、Ｐ5の表示時刻
の計算には用いられず、Ｐ5の直前に表示されるＩ／Ｐ
−ＶＯＰであるＩ2のmodulo_time_baseによって示され
る同期点（0h:12m:34Sec）が用いられる。また、図３７
では、Ｐ5のtime_modulo_baseが、"110"であり、time_i
ncrementは、上述したように３５０であることから、そ
の表示時刻は、Ｉ2のmodulo_time_baseによって示され
る同期点の、２＋３５０／１０００秒後の時刻、すなわ
ち0h:12m:34s+2s:350ms=0h:12m:36s:350msとなる。
【０２２５】次に、図３８では、ＶＯが、ＧＯＶヘッ
ダ、Ｂ1，Ｂ2，Ｉ3，Ｂ4，Ｐ5，・・・というＶＯＰの
シーケンスで構成されている。また、ＧＯＶヘッダのti
me_codeは、図３７における場合と同様に、時刻ｔ0 = 0
h:12m:43Sec（０時間１２分４３秒）を示している。
【０２２６】図３８において、Ｂ1については、modulo_
time_base が”０”と、VOP_time_incrementが３５０と
なっている。そして、Ｂ1は、ＧＯＶヘッダが符号化／
復号された後、最初に符号化／復号されるＩ−ＶＯＰで
あるＩ3より前に表示されるＢ−ＶＯＰであるから、そ
の表示時刻は、ＧＯＶヘッダのtime_codeで示される同
期点である時刻ｔ0を基準に計算される。従って、Ｂ1の
表示時刻は、図３７のＢ1と同様に、0h:12m:34s+0s:350
ms=0h:12m:34s:350msとなる。
【０２２７】次に、Ｂ2は、Ｂ1と同様に、ＧＯＶヘッダ
が符号化／復号された後、最初に符号化／復号されるＩ
−ＶＯＰであるＩ3より前に表示されるＢ−ＶＯＰであ
るから、その表示時刻は、やはり、ＧＯＶヘッダのtime
_codeで示される同期点である時刻ｔ0を基準に計算され
る。いま、Ｂ2のtime_modulo_baseが”０”で、VOP_tim
e_incrementが７５０となっているから、Ｂ2の表示時刻
は、GOVヘッダのtime_codeで示された時刻ｔ0の、０＋
７５０／１０００秒後の時刻、すなわち0h:12m:34s+0s:
750ms=0h:12m:34s:750msとなる。
【０２２８】次に、Ｉ3は、ＧＯＶの符号化／復号後、
最初に表示されるＩ−ＶＯＰであり、そのmodulo_time_
baseが”０１”で、VOP_time_incrementが150であるた
め、その表示時刻は、time_codeによって示された同期
点より1＋１５０／１０００秒遅れとなる。従って、Ｉ3
の表示時刻は、時刻ｔ0の、０＋７５０／１０００秒後
の時刻、すなわち0h:12m:34s+1s:150ms=0h:12m:35s:150
msとなる。
【０２２９】次に、Ｂ4については、その直前に表示さ
れるＩ／Ｐ−ＶＯＰであるＩ3のmodulo_time_baseによ
って示される同期点（Ｉ3の表示時刻の秒精度）、即
ち、0h:12m:35sを基準に、その表示時刻が計算される。
いま、Ｂ4のmodulo_time_baseは”０”で、VOP_time_in
crementが550であるため、その表示時刻は、0h:12m:35s
+0s:550ms=0h:12m:35s:550msとなる。
【０２３０】次に、Ｐ5については、その直前に表示さ
れるＩ／Ｐ−ＶＯＰであるＩ3のmodulo_time_baseによ
って示される同期点、即ち、Ｂ4と同様に、0h:12m:35s
を基準に、その表示時刻が計算される。いま、Ｐ5のmod
ulo_time_baseは”１０”で、VOP_time_incrementが350
であるため、その表示時刻は、0h:12m:35s+1s:350ms=0
h:12m:36s:350msとなる。
【０２３１】ここで、以上のように、VM10.0では、表示
時刻の計算に、I/P-VOPのmodulo_time_baseによって示
される同期点（これは、その表示時刻の秒精度に等し
い）は用いられるが、B-VOPのmodulo_time_baseによっ
て示される同期点は用いられない。これは、主として次
のような理由による。即ち、B-VOPは、表示順では、I/P
VOPに挟まれているが、符号化／復号化順では、B-VOPを
挟んでいるI/PVOPが符号化／復号された後に符号化／復
号される。このため、仮に、表示時刻の計算に、B-VOP
のmodulo_time_baseによって示される同期点を用いるこ
ととすると、即ち、Ｂ−ＶＯＰの表示時刻の秒精度を用
いることとすると、表示順においてＢ−ＶＯＰの直後に
位置するＩ/P-VOPは、すでに符号化／復号されているの
にもかかわらず、そのB-VOPの符号化／復号が終了する
までは、Ｉ/P-VOPの表示時刻を求めることができず、処
理が煩雑になるためである。
【０２３２】次に、VM10.0では、上述したとおり、GOV
レイヤを採用しており、これにより、効率的なランダム
アクセスを可能としている。即ち、GOVレイヤのtime_co
deにより、GOVの絶対的な開始時刻（但し、秒精度）が
定まり、この開始時刻とtime_modulo_base,VOP_time_in
crementにより、上述したように、そのＧＯＶに含まれ
る各VOPの絶対的な表示時刻が容易に求められる。そし
て、この表示時刻を参照することにより、符号化ビット
ストリームの途中にあるVOPにアクセスすること、すな
わちランダムアクセスすることが可能となる。
【０２３３】ところで、VM10.0では、「The GOV layer
is an optional layer, so the bitstream can have an
y (include non) number of the GOV header, and the
frequency of the GOV headeris an encoder issue.Sin
ce the GOV header shall be followed by the I-VO
P.」と定義されていることから、GOVレイヤの挿入につ
いては、符号化ビットストリームの中で、ＧＯＶヘッダ
の後にI-VOPを配置しなければならないという制限があ
る点を除き、エンコーダ側で、その数と頻度を、自由に
設定することができる。
【０２３４】即ち、VM10.0では、スケーラビリティを実
現するための階層化を行った場合に、各階層におけるＧ
ＯＶの挿入位置は、特に規定されていない。従って、例
えば、上位レイヤと下位レイヤとの２階層に階層化した
場合には、上位レイヤまたは下位レイヤそれぞれについ
て、独立に、I-VOPを、ヘッダの後に配置（但し、符号
化ビットストリームの中で）した形のＧＯＶを構成する
ことができる。
【０２３５】一方、ＭＰＥＧ４では、上位レイヤは、必
ずしもI-VOPを使用しなくてもエンコード／デコードが
可能である。これは、上位レイヤについては、基本的
に、下位レイヤのＶＯＰが参照画像として用いられるか
らであり、ＭＰＥＧ４では、このように、下位レイヤの
ＶＯＰを参照画像として用いることで、符号化効率を向
上させている。
【０２３６】しかしながら、上述したように、GOVを用
いるためには、符号化／復号化順でGOVヘッダの後にI-V
OPを配置しなければならない。そして、I-VOPのデータ
量は、一般に、P-VOPやB-VOPのデータ量より大きいか
ら、I-VOPを使用しなくても問題のない上位レイヤにI-V
OPを使用しなくてはならないことは、符号化効率を低下
させることになる。
【０２３７】そこで、符号化効率の低下を防止するため
に、VM10.0で規定されている上述の定義は、「The GOV
layer is an optional layer, so the bitstream can h
ave any (include non) number of the GOV header, an
d the frequency of the GOV headeris an encoder iss
ue.Since thr GOV header shall be followed by the I
-VOPin base layer.」と変更し、下位レイヤについての
み、ＧＯＶヘッダの後にI-VOPを配置しなければならな
いという制限をつけるべきであり、上位レイヤについて
は、そのような制限をつけるべきではない。
【０２３８】図１のエンコーダまたは図１３のデコーダ
は、上述の変更後の定義にしたがって、それぞれ符号化
または復号が行われるようになされている。
【０２３９】次に、VM10.0では、下位レイヤと上位レイ
ヤのGOVの時間的な位置関係については、特に制限がな
い。従って、下位レイヤのGOVの最初のＶＯＰまたは最
後のＶＯＰそれぞれと、上位レイヤの最初のＶＯＰまた
は最後のＶＯＰそれぞれとの時間的な位置は、必ずしも
一致しなくてもよいこととなる。
【０２４０】しかしながら、下位レイヤと上位レイヤと
で、GOVの挿入位置が異なる場合に、その符号化ビット
ストリームにランダムアクセスするときには、上位レイ
ヤのＶＯＰが参照する下位レイヤの復号画像を得るため
に、本来表示されない下位レイヤのＶＯＰを復号しなけ
ればならないケースが生じ、この場合、迅速で、効率的
なランダムアクセスが困難となる。
【０２４１】即ち、いま、下位レイヤの、表示順で＃ｉ
番目のＩ−ＶＯＰまたはＰ−ＶＯＰを、それぞれ、Ｉbi
またはＰbiとそれぞれ表すとともに、上位レイヤの、表
示順で＃ｉ番目のＰ−ＶＯＰを、Ｐeiと表し、例えば、
図３９に示すように、Ｉb1，Ｐb2，Ｐb3，Ｐb4，Ｐb5，
Ｉb6，Ｐb7，Ｐb8，Ｐb9，Ｐb10，Ｉb11，Ｐb12，
Ｐb13，・・・で構成される下位レイヤと、Ｐe1，
Ｐe2，Ｐe3，Ｐe4，Ｐe5，Ｐe6，Ｐe7，Ｐe8，Ｐe9，Ｐ
e10，Ｐe11，Ｐe12，Ｐe13，・・・で構成される上位レ
イヤとからなる符号化ビットストリームを考える。
【０２４２】図３９において、下位レイヤのＩb1，
Ｐb2，Ｐb3，Ｐb4，Ｐb5，Ｉb6，Ｐb7，Ｐb8，Ｐb9，Ｐ
b10，Ｉb11，Ｐb12，Ｐb13，・・・それぞれと、上位レ
イヤのＰe1，Ｐe2，Ｐe3，Ｐe4，Ｐe5，Ｐe6，Ｐe7，Ｐ
e8，Ｐe9，Ｐe10，Ｐe11，Ｐe12，Ｐe13，・・・それぞ
れとは、同一時刻に表示されるＶＯＰであり、さらに、
上位レイヤのＰe1乃至Ｐe13それぞれは、下位レイヤの
Ｉb1乃至Ｐb13それぞれを参照画像として符号化されて
いる。即ち、空間スケーラビリティが実現されている。
そして、図３９では、下位レイヤのＩb1乃至Ｐb5がＧＯ
Ｖb1を、Ｉb6乃至Ｐb10がＧＯＶb2を、それぞれ構成し
ており、上位レイヤのＰe1乃至Ｐe4がＧＯＶe1を、Ｐe5
乃至Ｐe8がＧＯＶe2を、Ｐe9乃至Ｐe12がＧＯＶe3を、
それぞれ構成している。即ち、下位レイヤでは、５つの
ＶＯＰごとにＧＯＶが構成され、上位レイヤでは、４つ
のＶＯＰごとにＧＯＶが構成されている。
【０２４３】この場合において、例えば、上位レイヤの
ＧＯＶe2の先頭にランダムアクセスするとしたとき、そ
の先頭のPe5は、下位レイヤのＧＯＶb1のPb5の復号画像
を参照画像として用いて復号されるから、Pb5を復号す
る必要がある。しかしながら、Pb5は、下位レイヤのＧ
ＯＶb1を構成するＶＯＰ（最後に表示されるＶＯＰ）で
あり、従って、Pb5を復号するには、ＧＯＶb1を構成す
るＶＯＰを順次復号する必要がある。そして、P65が復
号されるまでの間は、そのP65を参照画像として用いる
上位レイヤのPe5を復号することができないから、迅速
なランダムアクセスが困難となる。
【０２４４】このようなことは、時間スケーラビリティ
の場合も、同様に生ずる。
【０２４５】即ち、いま、図４０に示すように、ｂ1，
ｂ2，ｂ3，ｂ4，ｂ5，・・・で表されるＶＯＰで構成さ
れる下位レイヤと、ｅ1，ｅ2，ｅ3，ｅ4，ｅ5，ｅ6，ｅ
7，ｅ8，・・・で表されるＶＯＰで構成される上位レイ
ヤとからなる符号化ビットストリームを考える。なお、
ｅ1，ｂ1，ｅ2，ｂ2，ｅ3，ｅ4，ｂ3，ｅ5，ｅ6，ｂ4，
ｅ7，ｅ8，ｂ5，・・・が、一連の画像シーケンスを構
成しており、図４０では、そのような画像シーケンスか
ら、ｂ1，ｂ2，ｂ3，ｂ4，ｂ5，・・・が抽出されて下
位レイヤが構成され、 ｅ1，ｅ2，ｅ3，ｅ4，ｅ5，
ｅ6，ｅ7，ｅ8，・・・が抽出されて上位レイヤが構成
されている。
【０２４６】そして、図４０では、下位レイヤのｂ1乃
至ｂ3がＧＯＶb1を、ｂ4乃至ｂ6がＧＯＶb2を、それぞ
れ構成しており、上位レイヤのｅ1乃至ｅ3がＧＯＶ
e1を、ｅ4乃至ｅ6がＧＯＶe2を、ｅ7乃至ｅ9がＧＯＶe3
を、それぞれ構成している。即ち、下位レイヤおよび上
位レイヤの両方とも、３つのＶＯＰごとにＧＯＶが構成
されている。なお、ｅ1はｂ1を、ｅ2およびｅ3はｂ
2を，ｅ4およびｅ5はｂ3を，ｅ6およびｅ7はｂ4を，ｅ8
はｂ5を、それぞれ参照画像として用いている。
【０２４７】この場合において、例えば、上位レイヤの
ＧＯＶe2の先頭にランダムアクセスするとしたとき、そ
の先頭のｅ4は、下位レイヤのＧＯＶb1のｂ3の復号画像
を参照画像として用いて復号されるから、まずは、ｂ3
を復号する必要がある。しかしながら、ｂ3は、下位レ
イヤのＧＯＶb1を構成するＶＯＰ（最後に表示されるＶ
ＯＰ）であり、従って、ｅ4を復号するには、ＧＯＶb1
を構成するＶＯＰを順次復号する必要がある。そして、
ｂ3を復号するまでの間は、ランダムアクセスする目的
である上位レイヤのｅ4を復号することができないか
ら、やはり、迅速なランダムアクセスが困難となる。
【０２４８】そこで、下位レイヤのＧＯＶの最初に表示
されるＶＯＰの表示時刻と同時刻またはその直後に表示
される上位レイヤのＶＯＰが、上位レイヤのＧＯＶの最
初に表示されるものとなるように、上位レイヤを、ＧＯ
Ｐに分けるようにする。このようにすることで、上位レ
イヤと下位レイヤとのGOVが1対１に対応することにな
り、迅速なランダムアクセスが妨げられることを防止す
ることができる。
【０２４９】即ち、例えば、図３９に示した場合と同様
に、上位レイヤおよび下位レイヤが構成される場合にお
いて、下位レイヤのＰb5が、最初に表示されるＶＯＰと
なるように、下位レイヤのＧＯＶを構成したときには、
図４１に示すように、そのＰb5の表示時刻と同時刻に表
示される上位レイヤのＰe5が最初に表示されるＶＯＰと
なるように、上位レイヤのＧＯＶを構成する。また、例
えば、下位レイヤのＰb10が、最初に表示されるＶＯＰ
となるように、下位レイヤのＧＯＶを構成したときに
も、図４１に示すように、そのＰb10の表示時刻と同時
刻に表示される上位レイヤのＰe10が最初に表示される
ものとなるように、上位レイヤのＧＯＶを構成する。
【０２５０】さらに、例えば、図４０に示した場合と同
様に、上位レイヤおよび下位レイヤが構成される場合に
おいて、下位レイヤのｂ2が、最初に表示されるＶＯＰ
となるように、下位レイヤのＧＯＶを構成したときに
は、図４２に示すように、そのｂ2の表示時刻の直後に
表示される上位レイヤのｅ3が最初に表示されるＶＯＰ
となるように、上位レイヤのＧＯＶを構成する。また、
例えば、下位レイヤのｂ４が、最初に表示されるＶＯＰ
となるように、下位レイヤのＧＯＶを構成したときに
は、図４２に示すように、そのｂ４の表示時刻の直後に
表示される上位レイヤのｅ7が最初に表示されるＶＯＰ
となるように、上位レイヤのＧＯＶを構成する。
【０２５１】なお、GOVについては、GOVヘッダが各GOV
毎に符号化されるが、そのエンコード結果は、GOVの中
で最初に符号化／復号されるVOPの直前に配置される。
そして、GOVヘッダのtime_codeとしては、GOVの中で最
初に表示されるVOPの表示時刻が秒精度でエンコードさ
れる。
【０２５２】従って、図４１において、例えば、Ｐb5が
最初に表示される下位レイヤのＧＯＶのGOVヘッダに配
置されるtime_codeは、そのＰb5の表示時刻の秒精度と
なり、Ｐe5が最初に表示される上位レイヤのＧＯＶのGO
Vヘッダに配置されるtime_codeは、Ｐe5の表示時刻の秒
精度となる。そして、図４１では、Ｐb5とＰe5の表示時
刻は同一であり、よって、Ｐb5が最初に表示される下位
レイヤのＧＯＶのGOVヘッダに配置されるtime_codeと、
Ｐe5が最初に表示される上位レイヤのＧＯＶのGOVヘッ
ダに配置されるtime_codeも同一の値となる。
【０２５３】また、図４２において、例えば、ｂ2が最
初に表示される下位レイヤのＧＯＶのGOVヘッダに配置
されるtime_codeは、ｂ2の表示時刻の秒精度となり、ｅ
3が最初に表示される上位レイヤのＧＯＶのGOVヘッダに
配置されるtime_codeは、ｅ3の表示時刻の秒精度とな
る。
【０２５４】次に、下位レイヤのＧＯＶを構成する処理
（ＧＯＶヘッダの挿入処理）は、図９に示した下位レイ
ヤ符号化部２５のＶＬＣ器３６（以下、適宜、下位ＶＬ
Ｃ器３６という）において、また、下位レイヤのＧＯＶ
の最初に表示されるＶＯＰの表示時刻と同時刻またはそ
の直後に表示される上位レイヤのＶＯＰが、上位レイヤ
のＧＯＶの最初に表示されるものとなるように、上位レ
イヤのＧＯＰを構成する処理は、図１０に示した上位レ
イヤ符号化部２３のＶＬＣ器３６（以下、適宜、上位Ｖ
ＬＣ器３６という）において、それぞれ行われるように
なされている。
【０２５５】そこで、図４３または図４４のフローチャ
ートを参照して、下位ＶＬＣ器３６または上位ＶＬＣ器
３６が行うＧＯＶの構成処理について説明する。
【０２５６】まず、図４３のフローチャートを参照し
て、下位ＶＬＣ器３６によるＧＯＶの構成処理について
説明する。
【０２５７】下位ＶＬＣ器３６では、まず最初に、ステ
ップＳ１において、いま処理の対象となっている下位レ
イヤのＶＯＰのデータが、ＧＯＶの中で最初にエンコー
ドされたものであるかどうかが判定され、最初にエンコ
ードされたものでないと判定された場合、次の下位レイ
ヤのＶＯＰのデータが供給されるのを待って、ステップ
Ｓ１に戻る。また、ステップＳ１において、処理の対象
となっている下位レイヤのＶＯＰのデータが、ＧＯＶの
中で最初にエンコードされたものであると判定された場
合、ステップＳ２に進み、その最初にエンコードされた
ＶＯＰのデータの前に、ＧＯＶヘッダが挿入され、ステ
ップＳ３に進む。ステップＳ３では、下位レイヤにＧＯ
Ｖヘッダを挿入した旨のＧＯＶヘッダ挿入信号が、その
下位レイヤのＧＯＶの中で最初に表示されるＶＯＰの表
示時刻とともに、上位ＶＬＣ器３６に出力され、次の下
位レイヤのＶＯＰのデータが供給されるのを待って、ス
テップＳ１に戻る。
【０２５８】次に、図４４のフローチャートを参照し
て、上位ＶＬＣ器によるＧＯＶの構成処理について説明
する。
【０２５９】上位ＶＬＣ器３６では、まず最初に、ステ
ップＳ１１において、下位ＶＬＣ器３６から、ＧＯＶヘ
ッダ挿入信号が送信されてきたかどうかが判定され、送
信されてきていないと判定された場合、ステップＳ１１
に戻る。また、ステップＳ１１において、ＧＯＶヘッダ
挿入信号が送信されてきたと判定された場合、ステップ
Ｓ１２に進み、そのＧＯＶヘッダ挿入信号とともに送信
されてくる、下位レイヤのＧＯＶの中で最初に表示され
るＶＯＰの表示時刻が認識される。さらに、ステップＳ
１２において、その表示時刻と同時刻またはその直後に
表示される上位レイヤのＶＯＰが、上位レイヤのＧＯＰ
の最初に表示されるものとなるように、ＧＯＶヘッダ
が、符号化ビットストリームに挿入され、ステップＳ１
１に戻る。
【０２６０】なお、図１３のデコーダでは、ランダムア
クセスが指令された場合、符号化ビットストリームの中
のＧＯＶヘッダに配置されたtime_code、並びにＶＯＰ
ヘッダに配置されたmodulo_time_baseおよびVOP_time_i
ncrementを用いて、上述したように、ランダムアクセス
すべきＶＯＰの表示時刻が求められ、その表示時刻に基
づき、ランダムアクセスが行われる。
【０２６１】次に、ＭＰＥＧ４では、下位レイヤおよび
上位レイヤを構成するＶＯＰのピクチャタイプのシーケ
ンス（ピクチャストラクチャ）については、特に規定さ
れていない。
【０２６２】そこで、図１のエンコーダでは、例えば、
符号化対象の画像を構成するオブジェクトのシーケンス
を、空間スケーラビリティを実現するための、例えば、
下位レイヤと上位レイヤなどの２以上の階層に階層化し
た場合には、上位レイヤのＶＯＰを、その表示順序と同
一の順序で符号化するようになされている。
【０２６３】即ち、図４５は、空間スケーラブル符号化
における上位レイヤと下位レイヤのピクチャストラクチ
ャを示している。なお、図４５においては、下位レイヤ
の、表示順で＃ｉ番目のＩ−ＶＯＰ，Ｐ−ＶＯＰ、また
はＢ−ＶＯＰを、それぞれ、Ｉbi，Ｐbi、またはＢbiと
それぞれ表し、上位レイヤの、表示順で＃ｉ番目のＰ−
ＶＯＰまたはＢ−ＶＯＰを、それぞれ、ＰeiまたはＢei
とそれぞれ表してある。
【０２６４】図４５では、Ｉ−ＶＯＰである下位レイヤ
のIb3が、最初に符号化／復号される。その後、この下
位レイヤのIb3を参照画像として用い、下位レイヤの最
初に表示されるBb1が符号化／復号される。空間スケー
ラブル符号化の上位レイヤのＶＯＰは、基本的に、同時
刻に表示される下位レイヤのＶＯＰが参照画像として用
いられるため、下位レイヤのBb1の符号化／復号後は、
それを参照画像として用いる上位レイヤのBe1が符号化
／復号される。続いて、下位レイヤの２番目に表示され
るBb2が、既に符号化／復号されている下位レイヤのＩ
b3を参照画像として符号化／復号され、その同時刻に表
示される上位レイヤであるBe2が、下位レイヤのBb2と、
上位レイヤのBe1を参照画像として符号化／復号され
る。
【０２６５】そして、上位レイヤのPe3が、下位レイヤ
のIb3を参照画像として用いて符号化／復号される。そ
の後、下位レイヤBb4の符号化／復号のための参照画像
となる下位レイヤのＰb6が符号化／復号され、その下位
レイヤのＰb6と、同じく下位レイヤのＩb3を参照画像と
して用いて、下位レイヤのBb4が符号化／復号される。
そして、その下位レイヤのBb4と、上位レイヤのＰe3を
参照画像として用いて、上位レイヤのＢe4が符号化／復
号される。
【０２６６】その後、下位レイヤのＢb5が、下位レイヤ
のＩb3およびＰb6を参照画像として符号化／復号され、
その下位レイヤのＢb5と、上位レイヤのＢe4を参照画像
として、上位レイヤのＢe5が符号化／復号される。そし
て、下位レイヤのＰb6は、既に符号化／復号されている
ので、その下位レイヤのＰb6と、上位レイヤのＢe5を参
照画像として、上位レイヤのＢe6が符号化／復号され
る。
【０２６７】その後、下位レイヤのＢb7の参照画像とし
て用いられる下位レイヤのＰb9が符号化／復号され、そ
の下位レイヤのＰb9と、同じく下位レイヤのＰb6を参照
画像として、下位レイヤのＢb7が符号化／復号される。
続いて、その下位レイヤのＢb7と、上位レイヤのＢe6を
参照画像として、上位レイヤのＢe7が符号化／復号さ
れ、既に符号化／復号されている下位レイヤのＰb6およ
びＰb9を参照画像として、下位レイヤのＢb8が符号化／
復号される。そして、その下位レイヤのＢb8と、上位レ
イヤのＢe7を参照画像として、上位レイヤのＢe8が符号
化／復号され、その上位レイヤのＢe8と、下位レイヤの
Ｐb9を参照画像として、上位レイヤのＢｅ９が符号化／
復号される。
【０２６８】従って、下位レイヤに注目すれば、
Ｂｂ１，Ｂb2，Ｉb3，Ｂb4，Ｂb5，Ｐb6，Ｂb7，Ｂb8，
Ｐb9の順で表示されるＶＯＰが、Ｉb3，Ｂb1，Ｂb2，Ｐ
b6，Ｂb4，Ｂb5，Ｐb9，Ｂb7，Ｂb8の順で符号化／復号
されていく。
【０２６９】一方、上位レイヤに注目した場合には、Ｂ
e1，Ｂe2，Ｐe3，Ｂe4，Ｂe5，Ｂe6，Ｂe7，Ｂe8，Ｂe9
の順で表示されるＶＯＰが、やはり、Ｂe1，Ｂe2，
Ｐe3，Ｂe4，Ｂe5，Ｂe6，Ｂe7，Ｂe8，Ｂe9の順で符号
化／復号されていく。即ち、上位レイヤのＶＯＰは、そ
の表示順序と同一の順序で符号化／復号される。
【０２７０】このように、上位レイヤのＶＯＰを、その
表示順序と同一の順序で符号化／復号するようにした場
合には、表示順序と異なる順序で符号化／復号を行う場
合に比較して、処理の容易化を図ることができる。
【０２７１】ここで、空間スケーラブル符号化を行う場
合でも、図１のエンコーダ／図１３のデコーダには、図
４５に示したピクチャストラクチャと異なるピクチャス
トラクチャを対象に、符号化／復号を行わせることが可
能である。即ち、図１のエンコーダ／図１３のデコーダ
に符号化／復号を行わせるピクチャストラクチャは、図
４５に示したものに限定されるものではない。同様に、
参照関係や符号化／復号順序も、図４５に示したものに
限定されるものではない。
【０２７２】なお、図４５に示した参照関係は、ＭＰＥ
Ｇ４のref_select_codeで規定される参照関係を満たす
ものである。また、空間スケーラブル符号化を行う場合
に、上位レイヤのＶＯＰを、その表示順序と同一の順序
で符号化／復号する手法は、ＧＯＶの有無にかかわらず
適用可能である。
【０２７３】ところで、図４５に示したピクチャストラ
クチャにおいては、上位レイヤの３番目に表示されるＰ
e3の後に表示されるＶＯＰは、すべてＢ−ＶＯＰになっ
ている。
【０２７４】一方、VOPの表示時刻は、VOPヘッダのmodu
lo_time_base，VOP_time_incrementに基づき、GOVヘッ
ダのtime_code、または直前に表示されるI/P-VOPのmodu
lo_time_baseによって示される同期点を基準として求め
られる（但し、直前に表示されたI/P-VOPのmodulo_time
_baseによって示される同期点、即ち、直前に表示され
たI/P-VOPの秒精度の表示時刻も、元をたどれば、GOVヘ
ッダのtime_codeによって示される同期点を基準として
求められるから、すべてのVOPの表示時刻は、結局は、G
OVヘッダのtime_codeによって示される同期点を基準と
して求められるということができる）。
【０２７５】従って、図４５の下位レイヤについては、
Bb1，Bb2，Ib3の表示時刻は、GOVヘッダのtime_code
を、Bb4，Bb5，Pb6の表示時刻は、その直前に表示され
るIb3の秒精度の表示時刻を、Bb7，Bb8，Pb9の表示時刻
は、その直前に表示されるPb6の秒精度の表示時刻を、
それぞれ用いて計算される。
【０２７６】一方、図４５の上位レイヤについては、B
e1,Be2,Pe3の表示時刻は、GOVヘッダのtime_codeを用い
て計算される。そして、Ｐe3の後に表示されるVOPは、
上述したように、すべてＢ−ＶＯＰであるから、そのＢ
−ＶＯＰの表示時刻は、直前に表示されるＰe3の秒精度
の表示時刻を用いて計算される。その結果、Ｐe3の後に
表示されるB-VOPのmodulo_time_baseのビット数が増大
し、符号化効率が劣化することになる。
【０２７７】即ち、注目している注目VOPのmodulo_time
_baseは、最下位ビットに０を配置し、その上位ビット
に、直前に表示されるI/P-VOPの表示時刻の秒精度と、
注目VOPの表示時刻の秒精度との差分と同一の数の１を
配置して構成される。従って、modulo_time_baseは、I/
P-VOPがあると、その後に、いわば”０”にリセットさ
れ、これにより、そのビット数の増大の防止が図られて
いる。
【０２７８】しかしながら、図４５に示した上位レイヤ
については、Ｐe3の後に表示されるVOPは、すべてＢ−
ＶＯＰであるから、modulo_time_baseのリセットが行わ
れず、そのビット数が増大することになる。
【０２７９】具体的には、図４６に示すように、下位レ
イヤについては、Ｉb3，Ｐb6，Ｐb6それぞれの後におい
て、modulo_time_baseは、”０”にリセットされる。そ
して、Ｉb3の後のＢb4、Ｐb6の後のＢb7、またはＰb6の
後のＢb10については、Ｉb3，Ｐb6，Ｐb6から、Ｂb4，
Ｂb7，Ｂb10までのそれぞれの表示間隔の秒精度に対応
した数の”１”が、”０”にリセットされたmodulo_tim
e_baseの上位ビットに付される（図４６では、Ｉb3，Ｐ
b6，Ｐb6から、Ｂb4，Ｂb7，Ｂb10までのそれぞれの表
示間隔は、いずれも１秒未満であるため、それぞれのmo
dulo_time_baseは、”０”の上位ビットとして０個の”
１”が付された”０”となっている）。
【０２８０】これに対して、上位レイヤについては、Ｐ
e3の後において、modulo_time_baseが”０”にリセット
された後は、Ｐe3の秒精度の表示時刻を基準とした秒精
度の表示時刻が、１秒増加するごとに、VOPに付されるm
odulo_time_baseも、１ビットずつ増加していく。その
結果、図４６に示すように、Ｐe3の後においてmodulo_t
ime_baseが”０”にリセットされた後、その後に表示さ
れるＢe4，Ｂe5，Ｂe6，Ｂe7，Ｂe8，Ｂe9，Ｂe10のmod
ulo_time_baseは、それぞれ"0","10","10","110","11
0","1110","1110"となり、そのビット数が増大してい
く。
【０２８１】そこで、例えば、図４５に示したように、
空間スケーラブル符号化において、上位レイヤの符号化
／復号が表示順序と同一順序で行われる場合には、上位
レイヤのB-VOPの後においても、modulo_time_baseを”
０”にリセットし、そのB-VOPと、次に表示されるVOPと
の秒精度の表示時刻の差分と同一の数の”１”を、”
０”の上位ビットとして付加して、次に表示されるVOP
のmodulo_time_baseを構成するようにする。この場合、
上位レイヤのVOPの表示時刻は、そのVOPの直前に表示さ
れるVOP（Ｉ，Ｐ，ＢのいずれのVOPであっても良い）の
秒精度の表示時刻を基準にして計算されることになる。
なお、注目VOPの前に表示されるVOPが存在しない場合、
即ち、注目VOPが、ＧＯＶにおいて、最初に表示されるV
OPである場合には、その直線に表示されるVOPは存在し
ないため、この最初に表示されるVOPについては、例え
ば、time_codeを基準として、modulo_time_baseの構
成、および表示時刻の計算を行うこととする。
【０２８２】図４７は、modulo_time_baseの構成方法お
よびVOPの表示時刻の計算方法を、上述のように変更し
た場合における、図４５に示したピクチャストラクチャ
のmodulo_time_baseを示している。
【０２８３】この場合、上位レイヤの最初に表示される
Be1については、その表示時刻の秒精度（図４７では、0
h:12m:34s）と、time_code（図４７では、0h:12m:34s）
との差分が０となるから、そのmodulo_time_baseは、”
０”に、０個の”１”を付加した”０”となる。Be2に
ついても、その表示時刻の秒精度（図４７では、0h:12
m:34s）と、その直前に表示されるＢe1の表示時刻の秒
精度（図４７では、0h:12m:34s）との差分が０となるか
ら、そのmodulo_time_baseは、”０”に、０個の”１”
を付加した”０”となる。Ｐe3については、その表示時
刻の秒精度（図４７では、0h:12m:35s）と、その直前に
表示されるＢe2の表示時刻の秒精度（図４７では、0h:1
2m:34s）との差分が１となるから、そのmodulo_time_ba
seは、”０”に、１個の”１”を付加した”１０”とな
る。Ｂe4については、その表示時刻の秒精度（図４７で
は、0h:12m:35s）と、その直前に表示されるＰe3の表示
時刻の秒精度（図４７では、0h:12m:35s）との差分が０
となるから、そのmodulo_time_baseは、”０”に、０個
の”１”を付加した”０”となる。即ち、Ｂe4の表示時
刻の秒精度と、その直前に表示されるＰe3の表示時刻の
秒精度との差分が１秒に満たないため、いわば、Ｂe4に
おいて、modulo_time_baseはリセットされる。
【０２８４】Ｂe5については、その表示時刻の秒精度
（図４７では、0h:12m:36s）と、その直前に表示される
Ｂe4の表示時刻の秒精度（図４７では、0h:12m:35s）と
の差分が１となるから、そのmodulo_time_baseは、”
０”に、１個の”１”を付加した”０”となる。Ｂe6に
ついては、その表示時刻の秒精度（図４７では、0h:12
m:36s）と、その直前に表示されるＢe5の表示時刻の秒
精度（図４７では、0h:12m:36s）との差分が０となるか
ら、そのmodulo_time_baseは、Ｂe4における場合と同様
に、”０”にリセットされる。
【０２８５】以下、同様にして、Be7,Be8,Be9,Be10のmo
dulo_time_baseは、図４７に示すように、それぞれ、"1
0","0","10","0"となる。
【０２８６】次に、modulo_time_baseを設定する処理
（modulo_time_base設定処理）は、下位レイヤまたは上
位レイヤそれぞれについて、図９に示した下位レイヤ符
号化部２５のＶＬＣ器３６（下位ＶＬＣ器３６）、また
は図１０に示した上位レイヤ符号化部２３のＶＬＣ器３
６（上位ＶＬＣ器３６）において、それぞれ行われるよ
うになされている。
【０２８７】そこで、図４８のフローチャートを参照し
て、上位ＶＬＣ器３６が行うmodulo_time_base設定処理
について説明する。
【０２８８】上位ＶＬＣ器３６では、いま処理の対象と
なっているVOPを注目VOPとして、ステップＳ２１におい
て、その注目VOPと、直前に表示されるVOPとの秒精度の
表示時刻の差分Ｄが求められ、ステップＳ２２に進み、
Ｄが０に等しいかどうかが判定される。ステップＳ２２
において、Ｄが０に等しいと判定された場合、ステップ
Ｓ２３に進み、modulo_time_baseが”０”にリセットさ
れ、ステップＳ２８に進む。ステップＳ２８では、”
０”にリセットされたmodulo_time_baseが、注目VOPに
設定され、次の処理対象となるVOPが供給されるのを待
って、ステップＳ２１に戻る。
【０２８９】一方、ステップＳ２２において、Ｄが０に
等しくないと判定された場合、ステップＳ２４に進み、
modulo_time_baseが”０”にリセットされる。そして、
ステップＳ２５において、modulo_time_baseの最上位ビ
ットとして、”１”が追加され、ステップＳ２６に進
む。ステップＳ２６では、Ｄが１だけデクリメントさ
れ、ステップＳ２７に進み、Ｄが０に等しいかどうかが
判定される。ステップＳ２７において、Ｄが０に等しく
ないと判定された場合、ステップＳ２５に戻り、以下、
ステップＳ２７でＤが０に等しいと判定されるまで、ス
テップＳ２５乃至Ｓ２７の処理が繰り返される。
【０２９０】そして、ステップＳ２７において、Ｄが０
に等しいと判定された場合、即ち、注目VOPと、直前に
表示されるVOPとの秒精度の表示時刻の差分と同一の数
の”１”が、”０”に付加されたmodulo_time_baseが構
成された場合、ステップＳ２８に進み、そのmodulo_tim
e_baseが、注目VOPに設定され、次の処理対象となるVOP
が供給されるのを待って、ステップＳ２１に戻る。
【０２９１】なお、下位ＶＬＣ器３６では、図４８のス
テップＳ２１において、注目VOPと、直前に表示されるV
OP（I/P/B-VOP）との秒精度の表示時刻の差分ではな
く、注目VOPと、直前に表示されるI/P-VOPとの秒精度の
表示時刻の差分Ｄが求められることを除けば、上位ＶＬ
Ｃ器３６と同様のmodulo_time_base設定処理が行われ
る。
【０２９２】また、図１３のデコーダでは、下位レイヤ
のVOPの表示時刻は、その直前に表示されるI/P-VOPの秒
精度の表示時刻（またはtime_code）を基準として求め
られるが、上位レイヤのVOPの表示時刻は、その直前に
表示されるVOP（Ｉ，Ｐ，Ｂを問わない）の秒精度の表
示時刻（またはtime_code）を基準として求められる。
【０２９３】ところで、図４５に示した場合において
は、上位レイヤのBe1の符号化／復号は、同時刻に表示
される下位レイヤのBb1のみを参照画像として行われ
る。
【０２９４】上位レイヤのＢe1は、B-VOPであるが、B-V
OPは、通常、I/P-VOPよりも発生ビット量が少なくなる
ように符号化されるため、Be1の復号画像の画質は劣化
する可能性が高い。さらに、Be1の復号画像の画質が劣
化する場合には、そのBe1を参照画像として用いるBe2の
復号画像の画質も劣化する可能性が高い。即ち、図４５
に示した場合では、上位レイヤにおいて、P-VOPである
Ｐe3が表示される前に表示されるB-VOPの画質は劣化す
る可能性が高い。
【０２９５】そこで、そのような画質の劣化を防止（低
減）するために、例えば、図４５に示した、空間スケー
ラビリティを実現するピクチャストラクチャについて
は、その符号化／復号順序と参照関係を、例えば、図４
９に示すようにすることができる。
【０２９６】即ち、図４９では、下位レイヤのI-VOPを
符号化／復号した場合には、上位レイヤにおいて、下位
レイヤのI-VOPの表示時刻と同時刻に表示されるP-VOP
が、下位レイヤのI-VOPの直後に符号化／復号される。
【０２９７】従って、図４９に示した場合においては、
まず最初に、下位レイヤの最初に表示されるI-VOPであ
るIb3が符号化／復号される。そして、下位レイヤのIb3
と同時刻に表示される上位レイヤのP-VOPであるPe3が、
直前に符号化／復号されたIb3を参照画像として用いて
符号化／復号される。
【０２９８】その後、さらに、下位レイヤのIb3を参照
画像として用いて、下位レイヤのBb1が符号化／復号さ
れる。次に、上位レイヤのBe1が符号化／復号される
が、この上位レイヤのBe1の符号化／復号には、下位レ
イヤのBb1だけでなく、上位レイヤのPe1も、参照画像と
して用いられる。これは、MPEG4では、空間スケーラブ
ル符号化におけるB-VOPについては、前方予測（forward
prediction）につき、「most recent decoded enhance
ment VOP of the same layer」を参照画像として用いる
ことが定められているためであり、図４９における場
合、「most recent decoded enhancement VOP of the s
ame layer」は、Pe3であるからである。
【０２９９】上位レイヤのBe1の符号化／復号後は、下
位レイヤのBb2が、同じく下位レイヤのＩb3を参照画像
として符号化／復号され、その後、上位レイヤのBe1お
よび下位レイヤのBb2を参照画像として用いて、上位レ
イヤのBe2が符号化／復号される。続いて、下位レイヤ
のPb6が符号化／復号化され、以下、図４５における場
合と同様にして、下位レイヤのBb4、上位レイヤのBe4、
下位レイヤのBb5、上位レイヤのBe5、下位レイヤの
Pb9、下位レイヤのBb7、上位レイヤのBe7、下位レイヤ
のBb8、上位レイヤのBe8，Be9の順で符号化／復号され
る。
【０３００】以上のように、下位レイヤのI-VOPを符号
化／復号した場合には、上位レイヤにおいて、下位レイ
ヤのI-VOPの表示時刻と同時刻に表示されるP-VOPを、下
位レイヤのI-VOPの直後に符号化／復号するようにする
ことで、上位レイヤにおいては、そのP-VOPを参照画像
として、最初に表示されるB-VOPが符号化／復号される
ことになるので（図４９では、Ｐe3を参照画像として、
Ｂe1が符号化／復号されることになるので）、上位レイ
ヤにおいて、P-VOPの前に表示されるB-VOPの画質の劣化
を防止することが可能となる。
【０３０１】ここで、図１のエンコーダ／図１３のデコ
ーダには、図４９に示した参照関係や符号化／復号順序
以外の参照関係や符号化／復号順序に基づいて、符号化
／復号を行わせることが可能である。即ち、参照関係や
符号化／復号順序は、図４９に示したものに限定される
ものではない。
【０３０２】なお、図４９に示した参照関係は、ＭＰＥ
Ｇ４のref_select_codeで規定される参照関係を満たす
ものである。また、空間スケーラブル符号化を行う場合
に、図４９に示した順序で符号化／復号を行う手法は、
ＧＯＶの有無にかかわらず適用可能である。
【０３０３】さらに、図４９に示した参照関係にしたが
って符号化／復号を行う場合には、その符号化／復号順
序は、上述した場合と異なる順序とすることが可能であ
る。即ち、例えば、下位レイヤのすべてのVOPを符号化
／復号した後に、上位レイヤのVOPの符号化／復号を行
うようにすることなどが可能である。但し、図４９で
は、上位レイヤのVOPの符号化／復号のための参照画像
として、下位レイヤのVOPを用いているため、この場
合、上位レイヤのVOPの符号化／復号のための参照画像
として用いる下位レイヤのVOPを、その上位レイヤのVOP
の符号化／復号が終了するまで、長時間、保持すること
が必要となることがある。そのような長時間の保持を避
けるためには、図４９で説明したような符号化／復号順
序を採用するのが望ましい。なお、このことは、図４５
に示した場合についても、同様である。
【０３０４】次に、本実施の形態では、迅速で、効率的
なランダムアクセスが妨げられることを防止するため
に、図３９乃至図４２で説明したように、下位レイヤの
ＧＯＶの最初に表示されるＶＯＰの表示時刻と同時刻ま
たはその直後に表示される上位レイヤのＶＯＰが、上位
レイヤのＧＯＶの最初に表示されるものとなるように、
上位レイヤを、ＧＯＶに分けるようにした。
【０３０５】しかしながら、GOVヘッダのtime_codeに
は、GOVの中で最初に表示されるVOPの表示時刻を秒精度
で設定するようにしたため、下位レイヤのＧＯＶの最初
に表示されるＶＯＰの表示時刻の直後に表示される上位
レイヤのＶＯＰが、上位レイヤのＧＯＶの最初に表示さ
れるものとなるように、上位レイヤのＧＯＶを構成した
場合には、下位レイヤのＧＯＶのtime_codeに設定され
る値（秒精度先頭表示時刻）と、その下位レイヤのＧＯ
Ｖに対応する上位レイヤのＧＯＶのtime_codeに設定さ
れる値とが一致しないことがある。
【０３０６】即ち、図５０は、時間的スケーラブル符号
化を行う場合の、下位レイヤおよび上位レイヤの構成例
を示している。
【０３０７】いま、図５０において、下位レイヤのＢb2
を、最初に表示されるVOPとして、ＧＯＶを構成した場
合、上位レイヤについては、下位レイヤのＧＯＶの最初
に表示されるＢb2の表示時刻の直後に表示される上位レ
イヤのＶＯＰであるＢe3が最初に表示されるVOPとなる
ように、上位レイヤのＧＯＰが構成される。この場合、
下位レイヤで構成されるＧＯＶのGOVヘッダのtime_code
には、そのGOVの中で最初に表示されるBb2の表示時刻が
秒精度で設定される。同様に、上位レイヤで構成される
ＧＯＶのGOVヘッダのtime_codeには、そのGOVの中で最
初に表示されるＢe3の表示時刻が秒精度で設定される。
【０３０８】即ち、図５０では、Bb2の表示時刻は、01
h:12m:33sから01h:12m:34sの間の時刻であり、Ｂe3の表
示時刻は、01h:12m:34sから01h:12m:35sの間の時刻であ
るから、下位レイヤで構成されるＧＯＶのGOVヘッダのt
ime_codeには、01h:12m:33sが設定され、上位レイヤで
構成されるＧＯＶのGOVヘッダのtime_codeには、01h:12
m:34sが設定される。従って、下位レイヤのＧＯＶのtim
e_codeに設定される値と、その下位レイヤのＧＯＶに対
応する上位レイヤのＧＯＶのtime_codeに設定される値
とは一致しない。
【０３０９】そして、このように、下位レイヤのＧＯＶ
のtime_codeに設定される値と、その下位レイヤのＧＯ
Ｖに対応する上位レイヤのＧＯＶのtime_codeに設定さ
れる値とが一致しない場合には、符号化ビットストリー
ムにランダムアクセスする際に、下位レイヤと上位レイ
ヤとにおいて、異なる秒精度の時刻（time_codeによっ
て示される同期点）を基準に、VOPの表示時刻を計算し
なければならないことになる。
【０３１０】そこで、上位レイヤのＧＯＶのtime_code
には、その上位レイヤに対応する下位レイヤのＧＯＶの
time_codeに設定される値と同一の値を設定するように
することができる。
【０３１１】即ち、図５１は、図５０における場合と同
様の時間的スケーラブル符号化を行う場合の、下位レイ
ヤおよび上位レイヤの構成例を示している。
【０３１２】いま、図５１において、図５０における場
合と同様に、下位レイヤのＢb2を、最初に表示されるVO
Pとして、ＧＯＶを構成した場合、上位レイヤについて
は、下位レイヤのＧＯＶの最初に表示されるＢb2の表示
時刻の直後に表示される上位レイヤのＶＯＰであるＢe3
が最初に表示されるVOPとなるように、上位レイヤのＧ
ＯＰが構成される。
【０３１３】そして、この場合、下位レイヤで構成され
るＧＯＶのGOVヘッダのtime_codeには、図５０における
場合と同様に、そのGOVの中で最初に表示されるBb2の表
示時刻を秒精度で設定する。従って、下位レイヤで構成
されるＧＯＶのGOVヘッダのtime_codeには、01h:12m:33
sが設定される。
【０３１４】一方、上位レイヤで構成されるＧＯＶのGO
Vヘッダのtime_codeには、その上位レイヤのＧＯＶに対
応する下位レイヤのＧＯＶのtime_codeに設定される値
と同一の値を設定する。従って、下位レイヤで構成され
るＧＯＶのGOVヘッダのtime_codeにも、01h:12m:33sが
設定される。
【０３１５】この場合、符号化ビットストリームにラン
ダムアクセスする際に、下位レイヤと上位レイヤとにお
いて、異なる秒精度の時刻（time_codeによって示され
る同期点）を基準に、VOPの表示時刻を計算しなければ
ならなくなることを防止することができる。即ち、下位
レイヤと上位レイヤとにおいて、常に、同一の秒精度の
時刻（time_codeによって示される同期点）を基準に、V
OPの表示時刻を計算することが可能となる。
【０３１６】なお、上位レイヤで構成されるＧＯＶのGO
Vヘッダのtime_codeに、その上位レイヤのＧＯＶに対応
する下位レイヤのＧＯＶのtime_codeに設定される値と
同一の値を設定する場合も、上位レイヤで構成されるＧ
ＯＶのGOVヘッダのtime_codeに、そのGOVの中で最初に
表示されるVOPの表示時刻を秒精度で設定する場合と同
様にして、図１のエンコーダでは、modulo_time_baseお
よびVOP_time_incrementを求めることができ、また、図
１３のデコーダでは、そのmodulo_time_baseおよびVOP_
time_increment、並びにtime_codeを用いて、VOPの表示
時刻を求めることができる。
【０３１７】次に、以上説明したエンコーダおよびデコ
ーダは、それ専用のハードウェアによって実現すること
もできるし、コンピュータに、上述したような処理を行
わせるためのプログラムを実行させることによっても実
現することができる。
【０３１８】即ち、図５２は、図１のエンコーダまたは
図１３のデコーダとして機能するコンピュータの一実施
の形態の構成例を示している。
【０３１９】ＲＯＭ（Read Only Memory）２０１は、例
えば、ブートプログラムなどを記憶している。ＣＰＵ
（Central Processing Unit）２０２は、例えば、ＨＤ
（HardDisk）２０６に記憶されたプログラムを、ＲＡＭ
（Read Only Memory）２０３上に展開して実行すること
で、各種の処理を行うようになされている。ＲＡＭ２０
３は、ＣＰＵ２０２が実行するプログラムや、ＣＰＵ２
０２の処理上必要なデータを一時記憶するようになされ
ている。入力部２０４は、例えば、キーボードやマウス
などでなり、必要なコマンドやデータを入力するときな
どに操作される。出力部２０５は、例えば、ディスプレ
イなどでなり、ＣＰＵ２０２の制御にしたがったデータ
を表示する。ＨＤ２０６は、ＣＰＵ２０２が実行すべき
プログラム、さらには、エンコード対象の画像データ
や、エンコード後のデータ（符号化ビットストリー
ム）、デコード後の画像データなどを記憶するようにな
されている。通信Ｉ／Ｆ（Interface）２０７は、外部
との通信を制御することにより、例えば、エンコード対
象の画像データを、外部から受信したり、また、エンコ
ード後の符号化ビットストリームを外部に送信したりす
るようになされている。また、通信Ｉ／Ｆ２０７は、外
部でエンコードされた符号化ビットストリームを受信し
たり、また、デコード後の画像データを、外部に送信す
るようにもなされている。
【０３２０】以上のように構成されるコンピュータのＣ
ＰＵ２０２に、上述したような処理を行うためのプログ
ラムを実行させることにより、このコンピュータは、図
１に示したエンコーダや、図１３に示したデコーダとし
て機能することになる。
【０３２１】なお、本発明の適用範囲は、ＭＰＥＧ４に
準拠した範囲に限られるものではない。
【０３２２】
【発明の効果】請求項１に記載の画像符号化装置および
請求項７に記載の画像符号化方法によれば、画像を構成
するオブジェクトのシーケンスが２以上の階層に階層化
され、オブジェクトのシーケンスの第１の階層が、複数
のグループに分けて符号化されるとともに、第１の階層
のグループの最初に表示されるオブジェクトの表示時刻
と同時刻またはその直後に表示される第２の階層のオブ
ジェクトが、グループの最初に表示されるオブジェクト
となるように、オブジェクトのシーケンスの第２の階層
が、複数のグループに分けて符号化される。従って、効
率的かつ迅速なランダムアクセスが可能となる。
【０３２３】請求項８に記載の画像復号装置および請求
項１４に記載の画像復号方法によれば、画像を構成する
オブジェクトのシーケンスを２以上の階層に階層化し、
オブジェクトのシーケンスの第１の階層を、複数のグル
ープに分けて符号化するとともに、第１の階層のグルー
プの最初に表示されるオブジェクトの表示時刻と同時刻
またはその直後に表示される第２の階層のオブジェクト
が、グループの最初に表示されるオブジェクトとなるよ
うに、オブジェクトのシーケンスの第２の階層を、複数
のグループに分けて符号化することにより得られる符号
化ビットストリームが復号される。従って、効率的かつ
迅速なランダムアクセスが可能となる。
【０３２４】請求項１５に記載の提供媒体によれば、画
像を構成するオブジェクトのシーケンスを２以上の階層
に階層化し、オブジェクトのシーケンスの第１の階層
を、複数のグループに分けて符号化するとともに、第１
の階層のグループの最初に表示されるオブジェクトの表
示時刻と同時刻またはその直後に表示される第２の階層
のオブジェクトが、グループの最初に表示されるオブジ
ェクトとなるように、オブジェクトのシーケンスの第２
の階層を、複数のグループに分けて符号化することをに
より得られる符号化ビットストリームが提供される。従
って、その符号化ビットストリームに対しては、効率的
かつ迅速にランダムアクセスすることができる。
【０３２５】請求項２１に記載の画像符号化装置および
請求項２２に記載の画像符号化方法によれば、画像を構
成するオブジェクトのシーケンスが２以上の階層に階層
化され、オブジェクトのシーケンスの第１または第２の
階層が、１以上のグループに分けてそれぞれ符号化され
る。さらに、第１または第２の階層のグループに、その
最初に表示されるオブジェクトの表示時刻を秒精度で表
す秒精度先頭表示時刻がそれぞれ含められ、第１または
第２の階層のオブジェクトそれぞれに、秒精度先頭表示
時刻を基準とする、そのオブジェクトの表示時刻の秒精
度を表す秒精度相対時刻情報が付加される。そして、こ
の場合に、第２の階層の、表示順で隣接するオブジェク
トどうしの表示時刻の差に基づいて、第２の階層のオブ
ジェクトについての秒精度相対時刻情報がリセットされ
る。従って、符号化効率の劣化を防止することが可能と
なる。
【０３２６】請求項２３に記載の画像復号装置および請
求項２４に記載の画像復号方法によれば、画像を構成す
るオブジェクトのシーケンスを２以上の階層に階層化
し、オブジェクトのシーケンスの第１または第２の階層
を、１以上のグループに分けてそれぞれ符号化し、第１
または第２の階層のグループに、その最初に表示される
オブジェクトの表示時刻を秒精度で表す秒精度先頭表示
時刻をそれぞれ含め、第１または第２の階層のオブジェ
クトそれぞれに、秒精度先頭表示時刻を基準とする、そ
のオブジェクトの表示時刻の秒精度を表す秒精度相対時
刻情報を付加することにより得られる符号化ビットスト
リームであって、第２の階層の、表示順で隣接するオブ
ジェクトどうしの表示時刻の差に基づいて、第２の階層
のオブジェクトについての秒精度相対時刻情報がリセッ
トされているものが復号される。従って、符号化効率の
劣化を防止された符号化ビットストリームを復号するこ
とができる。
【０３２７】請求項２５に記載の提供媒体によれば、画
像を構成するオブジェクトのシーケンスを２以上の階層
に階層化し、オブジェクトのシーケンスの第１または第
２の階層を、１以上のグループに分けてそれぞれ符号化
し、第１または第２の階層のグループに、その最初に表
示されるオブジェクトの表示時刻を秒精度で表す秒精度
先頭表示時刻をそれぞれ含め、第１または第２の階層の
オブジェクトそれぞれに、秒精度先頭表示時刻を基準と
する、そのオブジェクトの表示時刻の秒精度を表す秒精
度相対時刻情報を付加することにより得られる符号化ビ
ットストリームであって、第２の階層の、表示順で隣接
するオブジェクトどうしの表示時刻の差に基づいて、第
２の階層のオブジェクトについての秒精度相対時刻情報
がリセットされているものが提供される。従って、符号
化効率の劣化の防止された符号化ビットストリームを提
供することができる。
【０３２８】請求項２６に記載の画像符号化装置および
請求項２７に記載の画像符号化方法によれば、画像を構
成するオブジェクトのシーケンスが、空間スケーラビリ
ティを実現するための上位階層と下位階層とを含む２以
上の階層に階層化され、下位階層のオブジェクトのシー
ケンスが符号化されるとともに、上位階層のオブジェク
トのシーケンスが、その表示順序と同一の順序で符号化
される。従って、符号化処理の容易化を図ることが可能
となる。
【０３２９】請求項２８に記載の画像復号装置および請
求項２９に記載の画像復号方法によれば、画像を構成す
るオブジェクトのシーケンスを、空間スケーラビリティ
を実現するための上位階層と下位階層とを含む２以上の
階層に階層化し、下位階層のオブジェクトのシーケンス
を符号化するとともに、上位階層のオブジェクトのシー
ケンスを、その表示順序と同一の順序で符号化すること
により得られる符号化ビットストリームが復号される。
従って、復号処理の容易化を係ることが可能となる。
【０３３０】請求項３０に記載の提供媒体によれば、画
像を構成するオブジェクトのシーケンスを、空間スケー
ラビリティを実現するための上位階層と下位階層とを含
む２以上の階層に階層化し、下位階層のオブジェクトの
シーケンスを符号化するとともに、上位階層のオブジェ
クトのシーケンスを、その表示順序と同一の順序で符号
化することにより得られる符号化ビットストリームが提
供される。従って、比較的容易に復号可能な符号化ビッ
トストリームを提供することができる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダの一実施の形態の
構成例を示すブロック図である。
【図２】時刻によって、ＶＯの位置、大きさが変化する
ことを説明するための図である。
【図３】図１のＶＯＰ符号化部３1乃至３Nの構成例を示
すブロック図である。
【図４】空間スケーラビリティを説明するための図であ
る。
【図５】空間スケーラビリティを説明するための図であ
る。
【図６】空間スケーラビリティを説明するための図であ
る。
【図７】空間スケーラビリティを説明するための図であ
る。
【図８】ＶＯＰのサイズデータおよびオフセットデータ
の決定方法を説明するための図である。
【図９】図３の下位レイヤ符号化部２５の構成例を示す
ブロック図である。
【図１０】図３の上位レイヤ符号化部２３の構成例を示
すブロック図である。
【図１１】空間スケーラビリティを説明するための図で
ある。
【図１２】時間スケーラビリティを説明するための図で
ある。
【図１３】本発明を適用したデコーダの一実施の形態の
構成例を示すブロック図である。
【図１４】図１３のＶＯＰ復号部７２1乃至７２Nの他の
構成例を示すブロック図である。
【図１５】図１４の下位レイヤ復号部９５の構成例を示
すブロック図である。
【図１６】図１４の上位レイヤ復号部９３の構成例を示
すブロック図である。
【図１７】MPEG4規格のVideo Verification Model(Vers
ion10.0)における符号化ビットストリームの構成を示す
図である。
【図１８】ＶＳのシンタックスを示す図である。
【図１９】ＶＯのシンタクスを示す図である。
【図２０】ＶＯＬのシンタクスを示す図である。
【図２１】ＶＯＬのシンタクスを示す図である。
【図２２】ＶＯＬのシンタクスを示す図である。
【図２３】ＶＯＬのシンタクスを示す図である。
【図２４】ＶＯＬのシンタクスを示す図である。
【図２５】ＶＯＬのシンタクスを示す図である。
【図２６】ＧＯＶのシンタクスを示す図である。
【図２７】ＧＯＶのシンタクスを示す図である。
【図２８】ＶＯＰのシンタクスを示す図である。
【図２９】ＶＯＰのシンタクスを示す図である。
【図３０】ＶＯＰのシンタクスを示す図である。
【図３１】ＶＯＰのシンタクスを示す図である。
【図３２】ＶＯＰのシンタクスを示す図である。
【図３３】ＶＯＰのシンタクスを示す図である。
【図３４】ＶＯＰのシンタクスを示す図である。
【図３５】ＶＯＰのシンタクスを示す図である。
【図３６】ＶＯＰのシンタクスを示す図である。
【図３７】time_code，modulo_time_base，VOP_time_in
crementの関係を示す図である。
【図３８】time_code，modulo_time_base，VOP_time_in
crementの関係を示す図である。
【図３９】下位レイヤと上位レイヤとで独立にＧＯＶを
構成した状態を示す図である。
【図４０】下位レイヤと上位レイヤとで独立にＧＯＶを
構成した状態を示す図である。
【図４１】上位レイヤのＧＯＶを、下位レイヤのＧＯＶ
と対応付けて構成した状態を示す図である。
【図４２】上位レイヤのＧＯＶを、下位レイヤのＧＯＶ
と対応付けて構成した状態を示す図である。
【図４３】上位レイヤのＧＯＶを、下位レイヤのＧＯＶ
と対応付けて構成する場合の、図９のＶＬＣ器３６の処
理を説明するためのフローチャートである。
【図４４】上位レイヤのＧＯＶを、下位レイヤのＧＯＶ
と対応付けて構成する場合の、図１０のＶＬＣ器３６の
処理を説明するためのフローチャートである。
【図４５】空間スケーラブル符号化における上位レイヤ
と下位レイヤのピクチャストラクチャの例を示す図であ
る。
【図４６】modulo_time_baseのビット数が増大する場合
を説明するための図である。
【図４７】modulo_time_baseのビット数の増大を防止す
る方法を説明するための図である。
【図４８】modulo_time_baseのビット数の増大を防止す
る処理を説明するための図である。
【図４９】画質の劣化を防止するための符号化／復号順
序と参照関係を説明するための図である。
【図５０】下位レイヤと上位レイヤとのtime_codeが一
致しない状態を示す図である。
【図５１】下位レイヤと上位レイヤとのtime_codeを一
致させる方法を説明するための図である。
【図５２】本発明を適用したエンコーダおよびデコーダ
の他の実施の形態の構成例を示すブロック図である。
【図５３】従来のエンコーダの一例の構成を示すブロッ
ク図である。
【図５４】従来のデコーダの一例の構成を示すブロック
図である。
【符号の説明】
１ ＶＯ構成部， ２1乃至２N ＶＯＰ構成部， ３1
乃至３N ＶＯＰ符号化部， ４ 多重化部， ２１
画像階層化部， ２３ 上位レイヤ符号化部，２４ 解
像度変換部， ２５ 下位レイヤ符号化部， ２６ 多
重化部， ３１フレームメモリ， ３２ 動きベクトル
検出器， ３３ 演算器， ３４ ＤＣＴ器， ３５
量子化器， ３６ ＶＬＣ器， ３８ 逆量子化器，
３９ＩＤＣＴ器， ４０ 演算器， ４１ フレームメ
モリ， ４２ 動き補償器，５３ フレームメモリ，
７１ 逆多重化部， ７２1乃至７２N ＶＯＰ復号部，
７３ 画像再構成部， ９１ 逆多重化部， ９３
上位レイヤ復号部，９４ 解像度変換部， ９５ 下位
レイヤ復号部， １０２ ＩＶＬＣ器，１０３ 逆量子
化器， １０４ ＩＤＣＴ器， １０５ 演算器， １
０６ フレームメモリ， １０７ 動き補償器， １１
２ フレームメモリ， ２０１ＲＯＭ， ２０２ ＣＰ
Ｕ， ２０３ ＲＡＭ， ２０４ 入力部， ２０５出
力部， ２０６ ＨＤ， ２０７ 通信Ｉ／Ｆ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢ヶ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK00 MA00 MA23 MA31 MB12 MB22 NN01 PP04 PP05 PP06 PP07 RB01 RB18 RC04 RC19 SS07 TA11 TB03 TC36 TD05 UA02 UA03 UA05 UA06 5C078 BA57 BA64 DA00 DA01 DA02 EA07

Claims (30)

    【特許請求の範囲】
  1. 【請求項１】 画像を符号化し、その結果得られる符号
    化ビットストリームを出力する画像符号化装置であっ
    て、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化する階層化手段と、 前記階層化手段が出力する、前記オブジェクトのシーケ
    ンスの第１の階層を、複数のグループに分けて符号化す
    る第１の符号化手段と、 前記第１の階層のグループの最初に表示されるオブジェ
    クトの表示時刻と同時刻またはその直後に表示される第
    ２の階層のオブジェクトが、グループの最初に表示され
    るオブジェクトとなるように、前記階層化手段が出力す
    る、前記オブジェクトのシーケンスの第２の階層を、複
    数のグループに分けて符号化する第２の符号化手段とを
    備えることを特徴とする画像符号化装置。
  2. 【請求項２】 前記第１または第２の符号化手段は、前
    記第１または第２の階層のグループそれぞれに、その最
    初に表示されるオブジェクトの表示時刻を秒精度で表す
    秒精度先頭表示時刻を含めることを特徴とする請求項１
    に記載の画像符号化装置。
  3. 【請求項３】 前記第２の符号化手段は、前記第１の階
    層のグループの最初に表示されるオブジェクトの表示時
    刻の秒精度と、前記第２の階層のグループの最初に表示
    されるオブジェクトの表示時刻の秒精度とが一致しない
    とき、前記第２の階層のグループに、前記第１の階層の
    グループの最初に表示されるオブジェクトの表示時刻の
    秒精度を、前記秒精度先頭表示時刻として含めることを
    特徴とする請求項２に記載の画像符号化装置。
  4. 【請求項４】 前記第１または第２の符号化手段それぞ
    れは、前記第１または第２の階層のオブジェクトそれぞ
    れに、前記秒精度先頭表示時刻を基準とする、そのオブ
    ジェクトの表示時刻の秒精度を表す秒精度相対時刻情報
    を付加することを特徴とする請求項２に記載の画像符号
    化装置。
  5. 【請求項５】 前記第２の符号化手段は、前記第２の階
    層の、表示順で隣接するオブジェクトどうしの表示時刻
    の差に基づいて、前記第２の階層のオブジェクトについ
    ての前記秒精度相対時刻情報をリセットすることを特徴
    とする請求項４に記載の画像符号化装置。
  6. 【請求項６】 前記階層化手段は、前記画像を構成する
    オブジェクトのシーケンスを、空間スケーラビリティを
    実現するための前記第１と第２の階層を含む２以上の階
    層に階層化し、 前記第２の符号化手段は、前記第２の階層のオブジェク
    トのシーケンスを、その表示順序と同一の順序で符号化
    することを特徴とする請求項１に記載の画像符号化装
    置。
  7. 【請求項７】 画像を符号化し、その結果得られる符号
    化ビットストリームを出力する画像符号化方法であっ
    て、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、 前記オブジェクトのシーケンスの第１の階層を、複数の
    グループに分けて符号化するとともに、前記第１の階層
    のグループの最初に表示されるオブジェクトの表示時刻
    と同時刻またはその直後に表示される第２の階層のオブ
    ジェクトが、グループの最初に表示されるオブジェクト
    となるように、前記オブジェクトのシーケンスの第２の
    階層を、複数のグループに分けて符号化することを特徴
    とする画像符号化方法。
  8. 【請求項８】 画像を復号する画像復号装置であって、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、 前記オブジェクトのシーケンスの第１の階層を、複数の
    グループに分けて符号化するとともに、前記第１の階層
    のグループの最初に表示されるオブジェクトの表示時刻
    と同時刻またはその直後に表示される第２の階層のオブ
    ジェクトが、グループの最初に表示されるオブジェクト
    となるように、前記オブジェクトのシーケンスの第２の
    階層を、複数のグループに分けて符号化することにより
    得られる符号化ビットストリームを受信する受信手段
    と、 前記符号化ビットストリームを復号する復号手段とを備
    えることを特徴とする画像復号装置。
  9. 【請求項９】 前記第１または第２の階層のグループそ
    れぞれには、その最初に表示されるオブジェクトの表示
    時刻を秒精度で表す秒精度先頭表示時刻が含められてい
    ることを特徴とする請求項８に記載の画像復号装置。
  10. 【請求項１０】 前記第１の階層のグループの最初に表
    示されるオブジェクトの表示時刻の秒精度と、前記第２
    の階層のグループの最初に表示されるオブジェクトの表
    示時刻の秒精度とが一致しないとき、 前記第２の階層のグループには、前記第１の階層のグル
    ープの最初に表示されるオブジェクトの表示時刻の秒精
    度が、前記秒精度先頭表示時刻として含められているこ
    とを特徴とする請求項９に記載の画像復号装置。
  11. 【請求項１１】 前記第１または第２の階層のオブジェ
    クトそれぞれには、前記秒精度先頭表示時刻を基準とす
    る、そのオブジェクトの表示時刻の秒精度を表す秒精度
    相対時刻情報が付加されていることを特徴とする請求項
    ９に記載の画像復号装置。
  12. 【請求項１２】 前記第２の階層の、表示順で隣接する
    オブジェクトどうしの表示時刻の差に基づいて、前記第
    ２の階層のオブジェクトについての前記秒精度相対時刻
    情報がリセットされていることを特徴とする請求項１１
    に記載の画像復号装置。
  13. 【請求項１３】 前記画像を構成するオブジェクトのシ
    ーケンスが、空間スケーラビリティを実現するための前
    記第１と第２の階層を含む２以上の階層に階層化されて
    おり、 前記第２の階層のオブジェクトのシーケンスが、その表
    示順序と同一の順序で符号化されていることを特徴とす
    る請求項８に記載の画像復号装置。
  14. 【請求項１４】 画像を復号する画像復号方法であっ
    て、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、前記オブジェクトのシーケンスの第
    １の階層を、複数のグループに分けて符号化するととも
    に、前記第１の階層のグループの最初に表示されるオブ
    ジェクトの表示時刻と同時刻またはその直後に表示され
    る第２の階層のオブジェクトが、グループの最初に表示
    されるオブジェクトとなるように、前記オブジェクトの
    シーケンスの第２の階層を、複数のグループに分けて符
    号化することにより得られる符号化ビットストリームを
    受信し、 前記符号化ビットストリームを復号することを特徴とす
    る画像復号方法。
  15. 【請求項１５】 画像を符号化して得られる符号化ビッ
    トストリームを提供する提供媒体であって、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、 前記オブジェクトのシーケンスの第１の階層を、複数の
    グループに分けて符号化するとともに、前記第１の階層
    のグループの最初に表示されるオブジェクトの表示時刻
    と同時刻またはその直後に表示される第２の階層のオブ
    ジェクトが、グループの最初に表示されるオブジェクト
    となるように、前記オブジェクトのシーケンスの第２の
    階層を、複数のグループに分けて符号化することをによ
    り得られる前記符号化ビットストリームを提供すること
    を特徴とする提供媒体。
  16. 【請求項１６】 前記第１または第２の階層のグループ
    それぞれには、その最初に表示されるオブジェクトの表
    示時刻を秒精度で表す秒精度先頭表示時刻が含められて
    いることを特徴とする請求項１５に記載の提供媒体。
  17. 【請求項１７】 前記第１の階層のグループの最初に表
    示されるオブジェクトの表示時刻の秒精度と、前記第２
    の階層のグループの最初に表示されるオブジェクトの表
    示時刻の秒精度とが一致しないとき、 前記第２の階層のグループには、前記第１の階層のグル
    ープの最初に表示されるオブジェクトの表示時刻の秒精
    度が、前記秒精度先頭表示時刻として含められているこ
    とを特徴とする請求項１６に記載の提供媒体。
  18. 【請求項１８】 前記第１または第２の階層のオブジェ
    クトそれぞれには、前記秒精度先頭表示時刻を基準とす
    る、そのオブジェクトの表示時刻の秒精度を表す秒精度
    相対時刻情報が付加されていることを特徴とする請求項
    １６に記載の提供媒体。
  19. 【請求項１９】 前記第２の階層の、表示順で隣接する
    オブジェクトどうしの表示時刻の差に基づいて、前記第
    ２の階層のオブジェクトについての前記秒精度相対時刻
    情報がリセットされていることを特徴とする請求項１８
    に記載の提供媒体。
  20. 【請求項２０】 前記画像を構成するオブジェクトのシ
    ーケンスが、空間スケーラビリティを実現するための前
    記第１と第２の階層を含む２以上の階層に階層化されて
    おり、 前記第２の階層のオブジェクトのシーケンスが、その表
    示順序と同一の順序で符号化されていることを特徴とす
    る請求項１５に記載の提供媒体。
  21. 【請求項２１】 画像を符号化し、その結果得られる符
    号化ビットストリームを出力する画像符号化装置であっ
    て、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化する階層化手段と、 前記階層化手段が出力する、前記オブジェクトのシーケ
    ンスの第１または第２の階層を、１以上のグループに分
    けてそれぞれ符号化し、前記第１または第２の階層のグ
    ループに、その最初に表示されるオブジェクトの表示時
    刻を秒精度で表す秒精度先頭表示時刻をそれぞれ含める
    符号化手段と、 前記第１または第２の階層のオブジェクトそれぞれに、
    前記秒精度先頭表示時刻を基準とする、そのオブジェク
    トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
    する付加手段と、 前記第２の階層の、表示順で隣接するオブジェクトどう
    しの表示時刻の差に基づいて、前記第２の階層のオブジ
    ェクトについての前記秒精度相対時刻情報をリセットす
    るリセット手段とを備えることを特徴とする画像符号化
    装置。
  22. 【請求項２２】 画像を符号化し、その結果得られる符
    号化ビットストリームを出力する画像符号化方法であっ
    て、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、 前記オブジェクトのシーケンスの第１または第２の階層
    を、１以上のグループに分けてそれぞれ符号化し、前記
    第１または第２の階層のグループに、その最初に表示さ
    れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
    表示時刻をそれぞれ含め、 前記第１または第２の階層のオブジェクトそれぞれに、
    前記秒精度先頭表示時刻を基準とする、そのオブジェク
    トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
    する画像符号化方法において、 前記第２の階層の、表示順で隣接するオブジェクトどう
    しの表示時刻の差に基づいて、前記第２の階層のオブジ
    ェクトについての前記秒精度相対時刻情報をリセットす
    ることを特徴とする画像符号化方法。
  23. 【請求項２３】 画像を復号する画像復号装置であっ
    て、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、 前記オブジェクトのシーケンスの第１または第２の階層
    を、１以上のグループに分けてそれぞれ符号化し、前記
    第１または第２の階層のグループに、その最初に表示さ
    れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
    表示時刻をそれぞれ含め、 前記第１または第２の階層のオブジェクトそれぞれに、
    前記秒精度先頭表示時刻を基準とする、そのオブジェク
    トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
    することにより得られる符号化ビットストリームであっ
    て、前記第２の階層の、表示順で隣接するオブジェクト
    どうしの表示時刻の差に基づいて、前記第２の階層のオ
    ブジェクトについての前記秒精度相対時刻情報がリセッ
    トされているものを受信する受信手段と、 前記符号化ビットストリームを復号する復号手段とを備
    えることを特徴とする画像復号装置。
  24. 【請求項２４】 画像を復号する画像復号方法であっ
    て、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、 前記オブジェクトのシーケンスの第１または第２の階層
    を、１以上のグループに分けてそれぞれ符号化し、前記
    第１または第２の階層のグループに、その最初に表示さ
    れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
    表示時刻をそれぞれ含め、 前記第１または第２の階層のオブジェクトそれぞれに、
    前記秒精度先頭表示時刻を基準とする、そのオブジェク
    トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
    することにより得られる符号化ビットストリームであっ
    て、前記第２の階層の、表示順で隣接するオブジェクト
    どうしの表示時刻の差に基づいて、前記第２の階層のオ
    ブジェクトについての前記秒精度相対時刻情報がリセッ
    トされているものを受信し、 前記符号化ビットストリームを復号することを特徴とす
    る画像復号方法。
  25. 【請求項２５】 画像を符号化して得られる符号化ビッ
    トストリームを提供する提供媒体であって、 前記画像を構成するオブジェクトのシーケンスを２以上
    の階層に階層化し、 前記オブジェクトのシーケンスの第１または第２の階層
    を、１以上のグループに分けてそれぞれ符号化し、前記
    第１または第２の階層のグループに、その最初に表示さ
    れるオブジェクトの表示時刻を秒精度で表す秒精度先頭
    表示時刻をそれぞれ含め、 前記第１または第２の階層のオブジェクトそれぞれに、
    前記秒精度先頭表示時刻を基準とする、そのオブジェク
    トの表示時刻の秒精度を表す秒精度相対時刻情報を付加
    することにより得られる符号化ビットストリームであっ
    て、前記第２の階層の、表示順で隣接するオブジェクト
    どうしの表示時刻の差に基づいて、前記第２の階層のオ
    ブジェクトについての前記秒精度相対時刻情報がリセッ
    トされているものを提供することを特徴とする提供媒
    体。
  26. 【請求項２６】 画像を符号化し、その結果得られる符
    号化ビットストリームを出力する画像符号化装置であっ
    て、 前記画像を構成するオブジェクトのシーケンスを、空間
    スケーラビリティを実現するための上位階層と下位階層
    とを含む２以上の階層に階層化する階層化手段と、 前記階層化手段が出力する、前記下位階層のオブジェク
    トのシーケンスを符号化する第１の符号化手段と、 前記階層化手段が出力する、前記上位階層のオブジェク
    トのシーケンスを、その表示順序と同一の順序で符号化
    する第２の符号化手段とを備えることを特徴とする画像
    符号化装置。
  27. 【請求項２７】 画像を符号化し、その結果得られる符
    号化ビットストリームを出力する画像符号化方法であっ
    て、 前記画像を受信し、 前記画像を構成するオブジェクトのシーケンスを、空間
    スケーラビリティを実現するための上位階層と下位階層
    とを含む２以上の階層に階層化し、 前記下位階層のオブジェクトのシーケンスを符号化する
    とともに、前記上位階層のオブジェクトのシーケンス
    を、その表示順序と同一の順序で符号化することを特徴
    とする画像符号化方法。
  28. 【請求項２８】 画像を復号する画像復号装置であっ
    て、 前記画像を構成するオブジェクトのシーケンスを、空間
    スケーラビリティを実現するための上位階層と下位階層
    とを含む２以上の階層に階層化し、 前記下位階層のオブジェクトのシーケンスを符号化する
    とともに、前記上位階層のオブジェクトのシーケンス
    を、その表示順序と同一の順序で符号化することにより
    得られる符号化ビットストリームを受信する受信手段
    と、 前記符号化ビットストリームを復号する復号手段とを備
    えることを特徴とする画像復号装置。
  29. 【請求項２９】 画像を復号する画像復号方法であっ
    て、 前記画像を構成するオブジェクトのシーケンスを、空間
    スケーラビリティを実現するための上位階層と下位階層
    とを含む２以上の階層に階層化し、 前記下位階層のオブジェクトのシーケンスを符号化する
    とともに、前記上位階層のオブジェクトのシーケンス
    を、その表示順序と同一の順序で符号化することにより
    得られる符号化ビットストリームを受信し、 前記符号化ビットストリームを復号することを特徴とす
    る画像復号方法。
  30. 【請求項３０】 画像を符号化して得られる符号化ビッ
    トストリームを提供する提供媒体であって、 前記画像を構成するオブジェクトのシーケンスを、空間
    スケーラビリティを実現するための上位階層と下位階層
    とを含む２以上の階層に階層化し、 前記下位階層のオブジェクトのシーケンスを符号化する
    とともに、前記上位階層のオブジェクトのシーケンス
    を、その表示順序と同一の順序で符号化することにより
    得られる符号化ビットストリームを提供することを特徴
    とする提供媒体。
JP17349998A 1998-06-19 1998-06-19 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体 Pending JP2000013790A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP17349998A JP2000013790A (ja) 1998-06-19 1998-06-19 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US09/334,853 US6400768B1 (en) 1998-06-19 1999-06-17 Picture encoding apparatus, picture encoding method, picture decoding apparatus, picture decoding method and presentation medium
EP19990304770 EP0966161A3 (en) 1998-06-19 1999-06-18 Apparatus and method for video encoding and decoding
KR19990022908A KR100629092B1 (ko) 1998-06-19 1999-06-18 화상 인코딩 장치와 방법, 화상 디코딩 장치와 방법, 및 제공 매체
EP20100010849 EP2265028A3 (en) 1998-06-19 1999-06-18 Picture encoding apparatus, picture encoding method, picture decoding apparatus, picture decoding method and presentation medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17349998A JP2000013790A (ja) 1998-06-19 1998-06-19 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2000194006A Division JP2001054120A (ja) 2000-01-01 2000-06-28 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JP2000194005A Division JP3345887B2 (ja) 1998-06-19 2000-06-28 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2000013790A true JP2000013790A (ja) 2000-01-14

Family

ID=15961660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17349998A Pending JP2000013790A (ja) 1998-06-19 1998-06-19 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体

Country Status (4)

Country Link
US (1) US6400768B1 (ja)
EP (2) EP2265028A3 (ja)
JP (1) JP2000013790A (ja)
KR (1) KR100629092B1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054512A1 (en) * 1999-03-05 2000-09-14 Kabushiki Kaisha Toshiba Method and apparatus for coding moving picture image
WO2006030694A1 (ja) * 2004-09-13 2006-03-23 Sharp Kabushiki Kaisha 画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラム
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2009089356A (ja) * 2007-09-10 2009-04-23 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
JP2009522890A (ja) * 2006-01-05 2009-06-11 トムソン ライセンシング インターレイヤ動き予測方法
US8345762B2 (en) 2005-02-18 2013-01-01 Thomson Licensing Method for deriving coding information for high resolution pictures from low resolution pictures and coding and decoding devices implementing said method
WO2014203516A1 (ja) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
US9167266B2 (en) 2006-07-12 2015-10-20 Thomson Licensing Method for deriving motion for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ID24586A (id) * 1998-12-21 2000-07-27 Matsushita Electric Ind Co Ltd Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu
US6823129B1 (en) * 2000-02-04 2004-11-23 Quvis, Inc. Scaleable resolution motion image recording and storage system
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
GB2364841B (en) * 2000-07-11 2002-09-11 Motorola Inc Method and apparatus for video encoding
JP3636061B2 (ja) * 2000-11-08 2005-04-06 日本電気株式会社 データ挿入装置及びその方法
WO2003005699A2 (en) * 2001-07-05 2003-01-16 Board Of Trustees Operating Michigan State University Transcaling: a video coding and multicasting framework for wireless ip multimedia services
US7058649B2 (en) * 2001-09-28 2006-06-06 Intel Corporation Automated presentation layer content management system
WO2003055225A1 (en) * 2001-12-20 2003-07-03 Koninklijke Philips Electronics N.V. Video coding and decoding method
WO2003079692A1 (en) * 2002-03-19 2003-09-25 Fujitsu Limited Hierarchical encoder and decoder
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2013204743B2 (en) * 2002-07-15 2016-05-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
KR100925627B1 (ko) * 2002-09-28 2009-11-06 주식회사 케이티 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치
US7426306B1 (en) * 2002-10-24 2008-09-16 Altera Corporation Efficient use of keyframes in video compression
US20050013496A1 (en) * 2003-07-16 2005-01-20 Bruls Wilhelmus Hendrikus Alfonsus Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
US8139646B2 (en) 2004-10-29 2012-03-20 Nxp B.V. Splicing MPEG streams comparing offset and reference time value
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
JP2006203661A (ja) * 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置、動画像復号装置及び符号化ストリーム生成方法
US20060227871A1 (en) * 2005-03-31 2006-10-12 Madhukar Budagavi Video thumbnail method
US7483578B2 (en) * 2005-09-15 2009-01-27 Kabushiki Kaisha Toshiba Image data decoding apparatus and method
US7765458B1 (en) * 2005-09-29 2010-07-27 Marvell International Ltd. Error pattern generation for trellis-based detection and/or decoding
US8040953B2 (en) * 2005-09-29 2011-10-18 Marvell World Trade Ltd. Reliability metric generation for trellis-based detection and/or decoding
JP2009512306A (ja) * 2005-10-11 2009-03-19 ノキア コーポレイション スケーラブルビデオコーディングのためのデコードされたピクチャーの効率的なバッファマネージメント
JP4702943B2 (ja) * 2005-10-19 2011-06-15 キヤノン株式会社 画像処理装置及びその方法
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
KR100904442B1 (ko) * 2006-01-09 2009-06-24 엘지전자 주식회사 영상 신호의 레이어 간 예측 방법
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
WO2012117744A1 (en) 2011-03-03 2012-09-07 Panasonic Corporation Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
US8745158B2 (en) * 2011-09-30 2014-06-03 Avid Technology, Inc. Application-guided bandwidth-managed caching
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
FR2985139B1 (fr) * 2011-12-23 2014-01-03 Thales Sa Procede de compression selective bas debit de flux video et codeur mettant en eouvre le procede
US8867852B2 (en) 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
US8693793B2 (en) * 2012-01-19 2014-04-08 Sharp Laboratories Of America, Inc. Reducing reference picture set signal overhead on an electronic device
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
CN105025303B (zh) * 2012-09-28 2018-05-29 瑞典爱立信有限公司 视频序列图像的解码和编码
EP3078195A4 (en) 2013-12-02 2017-08-09 Nokia Technologies OY Video encoding and decoding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08758A (ja) 1994-06-17 1996-01-09 Toshiba Corp 有害塩素化合物の光分解装置
US5784494A (en) * 1995-04-18 1998-07-21 Advanced Micro Devices, Inc. Method and apparatus for prestoring dequantization information for DCT VLC decoding
JP3210862B2 (ja) 1996-06-27 2001-09-25 シャープ株式会社 画像符号化装置及び画像復号装置
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
DE69707929T2 (de) 1996-07-05 2002-06-20 Matsushita Electric Ind Co Ltd Verfahren zum Anzeigezeitstempeln und zur Synchronisation mehrerer Videoobjektebenen
CA2255923C (en) 1997-04-01 2005-06-07 Sony Corporation Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054512A1 (en) * 1999-03-05 2000-09-14 Kabushiki Kaisha Toshiba Method and apparatus for coding moving picture image
US7027517B1 (en) 1999-03-05 2006-04-11 Kabushiki Kaisha Toshiba Method and apparatus for coding moving picture image
WO2006030694A1 (ja) * 2004-09-13 2006-03-23 Sharp Kabushiki Kaisha 画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラム
US8345762B2 (en) 2005-02-18 2013-01-01 Thomson Licensing Method for deriving coding information for high resolution pictures from low resolution pictures and coding and decoding devices implementing said method
JP2009522890A (ja) * 2006-01-05 2009-06-11 トムソン ライセンシング インターレイヤ動き予測方法
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
US9167266B2 (en) 2006-07-12 2015-10-20 Thomson Licensing Method for deriving motion for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2009089356A (ja) * 2007-09-10 2009-04-23 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
US8498483B2 (en) 2007-09-10 2013-07-30 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
WO2014203516A1 (ja) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法

Also Published As

Publication number Publication date
EP2265028A3 (en) 2012-08-29
US6400768B1 (en) 2002-06-04
KR20000006286A (ko) 2000-01-25
EP2265028A2 (en) 2010-12-22
EP0966161A2 (en) 1999-12-22
EP0966161A3 (en) 2001-11-07
KR100629092B1 (ko) 2006-09-28

Similar Documents

Publication Publication Date Title
JP2000013790A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
KR100418141B1 (ko) 화상부호화장치,화상부호화방법,화상복호화장치및화상복호화방법
US6427027B1 (en) Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
JP3413721B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
JP2000023193A (ja) 画像符号化方法及び装置、画像復号方法及び装置、並びに提供媒体
US6847683B2 (en) Video coding method and corresponding encoder
JP3345887B2 (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JP3380980B2 (ja) 画像符号化方法、並びに画像復号方法および画像復号装置
JP3380981B2 (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JP2001054120A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
CA2421090C (en) Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium
JP3263812B2 (ja) 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
JP2001061145A (ja) 画像符号化装置および画像符号化方法、並びに画像復号装置および画像復号方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020805