JP2003102005A - 動画像符号化・復号化方法 - Google Patents

Abstract

(57)【要約】 【課題】１個のフレーム内の画素解像度が部分的に異な
る画像を１本のデータストリームに圧縮でき、復号側に
おける解像度の選定をフレーム単位で行えるようにし、
ユーザの好みに応じた画像のズーム表示を可能とする。 【解決手段】等間隔なサンプリング点を含み、サンプリ
ング間隔が部分的に拡張されている画像を１本のデータ
ビットストリームに圧縮する。フレームの部分領域の符
号化データに、解像度を段階的に補正するデータを付加
する方法を適用することにより、補正データを持つ領域
であれば、拡大表示しても、十分な解像度を保つことが
可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データの符
号化・復号化ならびに表示技術に関する。

【０００２】

【従来の技術】ＭＰＥＧ−４をはじめとする動画像符号
化方式では、等間隔にサンプリングされたフレーム信号
を入力として、１本の圧縮データを生成する処理が行わ
れる。圧縮データ内には各フレームの画像サイズが埋め
込まれており、復号処理側では、その画像サイズに応じ
た量のデータを処理することで、等間隔にサンプリング
された画像が復元できる。ユーザから、画像全体あるい
は画像の部分的な拡大表示要求があった場合には、要求
に応じた画素補間処理を復元画像に施してから画面表示
させる。

【０００３】

【発明が解決しようとする課題】等間隔にサンプリング
された画像を入力データとする従来の動画像符号化方式
では、画素補間処理にて再生画像の拡大表示に対応する
ため、拡大表示時に表示画像の解像度が劣化する。その
ため、ユーザの指示に応じて動画像の重要部をズームす
るようなインタラクティブな画像表示に対応できない。

【０００４】本発明の目的は、１個のフレーム内の画素
解像度が部分的に異なる画像を１本のデータストリーム
に圧縮でき、復号側における解像度の選定をフレーム単
位で行えるようにし、ユーザの好みに応じた画像のズー
ム表示を可能とすることにある。

【０００５】

【課題を解決するための手段】上記本発明の目的は、等
間隔なサンプリング点を含み、サンプリング間隔が部分
的に拡張されている画像を１本のデータビットストリー
ムに圧縮し、フレームの部分領域の符号化データに、解
像度を段階的に補正するデータを付加する方法を適用す
ることにより達成される。本発明によれば、補正データ
を持つ領域であれば、拡大表示しても十分な解像度を保
つことが可能となる。

【０００６】

【発明の実施の形態】ユーザの指示に応じて動画像圧縮
データの再生画像をズーム表示する場合、拡大部の画像
解像度が劣化する。この劣化を避ける方法として、拡大
部分を空間的な階層符号化データにて補正する手段が考
えられる。しかしながら、この空間階層符号化は、本
来、伝送帯域の広さとネットワークの負荷に応じて、伝
送する画像の解像度を可変とするための技術であり、ユ
ーザの趣向に基づいたインタラクティブな画像再生には
不向きである。

【０００７】例えば、ズーム操作に伴い画像の解像度を
段階的に変化させるような場合には、その段数の分だけ
階層符号化データを用意し、複数のセッション（データ
メモリ、フレームメモリ等）を設けて処理を管理（セッ
ションの切替え）する必要が生じる。また、階層性の制
御を符号化側にて行うことを前提としているため、基本
的に受信側は受信データをすべて復元する必要がある。

【０００８】そこで、本発明では、（１）図１に示すよ
うに等間隔なサンプリング点（黒丸が画素サンプル）を
含み、サンプリング間隔が部分的に拡張されている画像
を１本のデータビットストリームに圧縮し、かつ、
（２）フレーム単位で再生するデータの解像度と表示画
像範囲を変えることができるような圧縮・伸張アルゴリ
ズムを考える。この構成では、複数の符号化データを扱
う必要がなくなるため、１セッションのビデオ符号器・
復号器にて、インタラクティブな画像のズーム表示が可
能となる。

【０００９】具体的には、カメラの全景をカバーする解
像度の低いフレーム画像（基本フレーム画像）を必須処
理として先に符号化し、インタラクティブな表示を可能
にする領域についてのみ、解像度を補正する画素データ
を付加的に符号化する。この際、解像度に関して段階的
に補正データを作成することにより、当該領域のインタ
ラクティブ再生を可能にする。さらに、補正データの作
成時に行う予測処理の参照対象をフレーム内の解像度の
低い画像と既再生フレーム内の基本フレーム画像に限定
することで、フレーム単位での再生データの解像度指定
を可能にする。

【００１０】本発明について示す前に、まず、ＭＰＥＧ
等の標準規格で用いられている符号化技術について簡単
に説明する。ＭＰＥＧビデオ規格で扱う動画像の１フレ
ームは、図２に示すように、１個の輝度信号（Ｙ信号：
２１）と２個の色差信号（Ｃｒ信号：２２，Ｃｂ信号：
２３）にて構成されている。色差信号の画像サイズは、
輝度信号と同じにする場合、横サイズのみ輝度信号の１
／２とする場合、縦横サイズとも輝度信号の１／２とす
る場合などがある。本明細書では、縦横サイズとも１／
２として説明するが、他のフォーマットでも本発明は適
用できる。

【００１１】符号化、再生処理は、マクロブロックと呼
ばれるブロック単位で行われる。図３にマクロブロック
の構造を示す。マクロブロックは１６×１６画素の１個
のＹ信号ブロック３１と、それと空間的に一致する８×
８画素のＣｒ信号ブロック３２ならびにＣｂ信号ブロッ
ク３３にて構成される。１個のフレーム画像にマクロブ
ロック分割を施すと、各信号は図２に示すような小ブロ
ックに分割される。各マクロブロックの符号化方法に
は、大きく分けて３種類あり、それぞれ、イントラ符号
化モード（フレーム内符号化）、インター符号化モード
（フレーム間符号化）、未符号化モードと呼ばれてい
る。

【００１２】イントラ符号化は、Ｃｒ信号ブロック３２
とＣｂ信号ブロック３３に、４個の８×８画素Ｙ信号ブ
ロック（３１１，３１２，３１３，３１４）を加えた計
６個の符号化対象ブロックに対して直接ＤＣＴ（離散コ
サイン変換）を施し、各変換係数を量子化・符号化する
空間方向のデータ圧縮方法である。ただし、一部の量子
化ＤＣＴ係数について、隣接するブロックのＤＣＴ係数
の量子化データを予測値として、その差分値を量子化・
符号化する場合もある。復号側では、符号化データを復
号した後、逆量子化、逆ＤＣＴを施す（予測差分値を符
号化するアルゴリズムでは、復号データに符号化側と同
じ方法にて算出した予測値を加算した後に逆量子化・逆
ＤＣＴを施す）ことで再生値が求められる。このイント
ラ符号化は、前フレームに似通った部分がないマクロブ
ロック（第１符号化フレームも含む）や、ＤＣＴに伴う
蓄積演算誤差を解消したい部分等に配置される。

【００１３】インター符号化のアルゴリズムは、動き補
償（ＭＣ）とＤＣＴ処理の組合せにより行われる。動き
補償（ＭＣ）とは、符号化側では、局部復号化された再
生フレームから、検出した動き量（動きベクトル）に対
応する予測マクロブロックを抽出する処理のことを指
し、復号側では、復号済みの再生フレームから、復号し
た動きベクトルに対応する予測マクロブロックを抽出す
る処理のことを指す。

【００１４】ここで、動きベクトルの検出（動き推定処
理）とは、符号化済みのフレーム（原フレームでも局部
復号化した再生フレームでもよい）から対象マクロブロ
ックの内容と似通った部分を検索する処理のことであ
り、符号化側のみで行われる。上記検索に使用する評価
値には、ブロック内の予測誤差信号の絶対値和を使用す
る場合が多い。検出した動きベクトルは、符号化し復号
側に伝送されるため、ＭＣにより抽出される予測マクロ
ブロックは、復号側と符号化側で一致する。なお、局部
復号処理とは、符号化側で行われる符号化データの再生
処理（詳細は後述）のことである。

【００１５】図４に動き補償の処理構造を示す。図４
は、現フレーム４１内の輝度信号ブロック４２（太枠）
について、再生された前フレーム４３上の予測ブロック
４５と動きベクトル４６を示した図である。動きベクト
ル４６とは、現フレームの太枠ブロックに対して空間的
に同位置に相当する前フレーム上のブロック４４（破
線）から、前フレーム上の予測ブロック４５領域までの
移動分を示している（色差信号用の動きベクトルは、一
般的に符号化せず、その長さを、輝度信号の半分として
予測ブロックを生成する）。なお、この動きベクトル
は、実数値をとる場合がある。この場合には、画素毎
に、動きベクトルが示す位置の近傍の４画素（水平・垂
直ベクトルのいずれかが整数値の場合には、２画素）を
用いて線形内挿処理を行い、予測値を算出する。

【００１６】動き補償により前フレームから抜き出され
た予測マクロブロックは、現フレームの入力マクロブロ
ックとの間で差分処理され、差分マクロブロックが生成
される。この差分マクロブロックは、図３に示した８×
８ブロック単位でＤＣＴ処理されたのち、各変換係数が
量子化・符号化される。このＭＣから、ＤＣＴ、量子化
・符号化までの処理をインター符号化と呼ぶ。

【００１７】未符号化モードとは、動きベクトルを０と
した場合の予測マクロブロックをそのまま再生マクロブ
ロックとするモードである。従って、未符号化モードと
なるマクロブロックでは、符号化タイプを示すデータの
みが符号化される（一般には、１ビットのフラグで示さ
れる）。

【００１８】次に、本発明のアルゴリズムを、図１に示
す部分的に画素解像度が異なるフレーム画像１０を入力
例（縦横とも解像度が２倍に拡大されている例）として
説明する。図上の黒丸が輝度信号の各画素を意味してお
り、太枠で囲った領域１１が他領域の２倍の解像度を保
持している。本明細書では、簡単のため輝度信号の扱い
に限定して説明するが、色信号も同様の考え方が適用で
きる。符号化の単位としては、図１のようにブロック分
割し、ブロック単位で符号化処理を行う場合と、フレー
ム全体に対して符号化処理を行う場合が考えられるが、
本発明はそのいずれにも適用できる。

【００１９】本実施例では、部分的に画素解像度が異な
るフレーム画像を拡張フレーム画像、等間隔で刻まれて
いる基本的なサンプリング点（基本サンプル点）にて構
成されるフレーム画像を基本フレーム画像と呼ぶことに
する。図１の画像１０が拡張フレーム画像、図３１の画
像１０００が図１の拡張フレーム画像１０に対する基本
フレーム画像である。また、サンプリング間隔が拡張さ
れた領域を拡張領域、拡張されたサンプリング点により
構成される画像を拡張サンプル画像と呼ぶことにする。
図３２の領域１１が図１の拡張フレーム画像１０に対す
る拡張領域、図３２の画像１００１が図１の拡張フレー
ム画像１０に対する拡張サンプル画像である。さらに本
実施例では、基本フレーム画像におけるマクロブロック
を基本符号化マクロブロック、基本符号化マクロブロッ
ク内の１個の信号成分を基本符号化ブロックと呼ぶこと
にする。またさらに、拡張領域あるいは拡張サンプル画
像におけるマクロブロックを拡張符号化マクロブロッ
ク、拡張符号化マクロブロック内の１個の信号成分を拡
張符号化ブロックと呼ぶことにする。（ブロック単位）
ブロック単位で符号化を行う場合には、第１に基本フレ
ーム画像と拡張領域に対して基本フレーム画像を基準と
したブロック分割を行う。図１は、輝度信号の基本符号
化ブロックのサイズを２×２画素とした場合の例であ
る。一般的な符号化方法では、輝度信号のブロックサイ
ズは１６×１６画素であるが、図の簡単化のため、本明
細書では２×２画素サイズで説明する。なお、ブロック
サイズは本発明では限定されない。図１では、拡張領域
が基本符号化ブロックの境界を跨いでいないため、基本
フレーム画像と拡張領域に対するブロック分割位置は一
致する。図１のブロック１３が拡張領域でない領域の符
号化ブロック（すなわち基本符号化ブロック）の例、ブ
ロック１２が拡張領域の符号化ブロックの例を示してい
る。さらに詳細に見ると、図３１が基本フレーム画像に
対してブロック分割を行った例を示している。そして、
図３２が拡張領域ならびに拡張サンプル画像に対してブ
ロック分割を行った例を示している。

【００２０】ここで、図１の実施例は拡張領域が基本符
号化ブロックの境界を跨いでいない場合の例であるが、
拡張領域が基本符号化ブロックの境界を跨いでいる場合
でも本発明は適用できる（後述）。

【００２１】本実施例では、拡張領域が基本符号化ブロ
ックの境界を跨いでいない場合を例に具体的な符号化方
法を説明する。 （ブロック単位／基本符号化ブロック）ブロック１３の
ように基本サンプル点のみを含む基本符号化ブロックに
ついては、既存の符号化方法を利用して符号化処理を行
う。本発明は、基本符号化ブロックの具体的な符号化処
理方法は限定しないが、ここでは、例として上記で述べ
たイントラ符号化やインター符号化を使って符号化を行
うものと想定する。 （ブロック単位／拡張領域と基本ブロック境界が一致／
拡張符号化ブロック／分割方法）拡張領域内の符号化ブ
ロック１２については、図５に示すように符号化ブロッ
ク１２を基本符号化ブロックとサイズが一致する拡張符
号化ブロック１５Ａ〜１５Ｄに分割して符号化処理を行
う方法と、図７の符号化ブロック１７に示すように、ブ
ロック内の画素を基本のサンプル点と同じ間隔に位置す
る画素グループ（図中の丸、三角、菱形、四角）に分割
して符号化処理を行う方法が考えられる。

【００２２】前者（図５）のブロック単位で符号化を行
った場合、復号側では、拡張サンプル点の画素の復元を
省略し、基本サンプル点に関するデータのみ抽出して復
元することができない。そのため、復号側でのユーザの
要求が拡張サンプル点の画素表示を必要としない場合で
あっても、これらの画素を再生する必要が生じる。この
問題を避ける方法としては、図６に示すように、符号化
ブロック１２から、基本的なサンプル点のみを抜き出し
た基本符号化ブロック１４を抜き出し、他の基本符号化
ブロックと同様の方法で拡張サンプル点の画素よりも先
に符号化してしまう方法が考えられる。

【００２３】拡張符号化ブロックの画素の符号化処理に
ついては、基本符号化ブロック内の画素の符号化後に行
う。なお、この場合、図５の拡張符号化ブロック１５Ａ
〜１５Ｄ内の基本符号化ブロックにあたる画素（図５の
白抜き丸）については、必ずしも符号化を行う必要はな
い（基本符号化ブロックの再生値をそのまま表示す
る）。白抜き丸の画素の符号化処理をスキップするか否
かの判断については、再生側において、ズーム時の画質
を変えるか否かに依存する。基本的には、拡張サンプル
点の画素を符号化する際の量子化精度が基本符号化ブロ
ックを符号化する際の量子化精度と異なる場合には、画
素間に発生する違和感をさけるために、処理をスキップ
せずに行う。

【００２４】一方、後者（図７）の分割方法でも、基本
符号化ブロック１８を他の基本符号化ブロックと同様の
方法で先に符号化する。そして、基本符号化ブロックの
符号化後に、符号化ブロック１７を図８に示すような４
個の拡張符号化ブロック１９Ａ〜１９Ｄに分割して、符
号化する。この場合も、基本符号化ブロックと画素配置
が一致する拡張符号化ブロック１９Ａについては、符号
化処理をスキップしてもよい（あるいは、符号化タイプ
を未符号化モードとし、符号化データがないことを示す
フラグを符号化する）。拡張符号化ブロック１９Ａの符
号化処理をスキップするか否かの判断については、再生
側において、ズーム時の画質を変えるか否かに依存す
る。基本的には、拡張符号化ブロック１９Ｂ〜１９Ｄを
符号化する際の量子化精度が基本符号化ブロックを符号
化する際の量子化精度と異なる場合には、画素間に発生
する違和感を避けるために、拡張符号化ブロック１９Ａ
の再符号化処理をスキップせずに行う。

【００２５】なお、分割の結果、画像サイズがブロック
サイズの倍数でない等の理由によりサンプリング値が存
在しない画素については、適当な値を補って符号化すれ
ばよい。この際、ブロック内の画素の平均値や周囲画素
など、ブロック内の有意画素の特徴に近い値としておけ
ば、変換符号化のように、実際に補ったデータの値が符
号量に影響を与えるような符号化方式を適用している場
合であっても、符号化効率の大きな劣化にはつながらな
い。 （ブロック単位／拡張符号化ブロック／符号化方法）次
に、拡張符号化ブロックの符号化手段について説明す
る。符号化手段は、予測ブロックの生成と、予測ブロッ
クと入力ブロックとの誤差の符号化にて構成される。図
８のケースを例として、拡張符号化ブロックの予測値生
成手段を示す。予測値の生成方法としては、大きく分け
て２種類考えられる。１つ目は図４に示したように符号
化済みフレームを参照対象として動き推定／動き補償を
行う方法、２つ目は符号化済みの周囲画素を参照対象と
して画素単位で内挿・外挿・重み付け予測を行うフレー
ム内・フレーム間予測方法である。 （ブロック単位／拡張符号化ブロック／動き補償）ま
ず、動き推定／動き補償を用いる方法から説明する。一
般的には、図４に示したような動き補償処理を符号化済
みフレーム上の全再生画素（拡張フレーム画像）を対象
として行い、予測ブロックを抽出すればよいと考えられ
る。しかしながら、拡張フレーム画像を動き補償の参照
としてデータ圧縮を行った場合、復号側における拡張サ
ンプル点の画素の再生処理が省略できない。そのため、
ユーザが拡張サンプル点の画素表示を要求しない場合に
おいても、拡張フレーム画像上の画素をすべて再生しな
ければならない。そこで、フレーム単位での再生解像度
制御を可能にするため、基本フレーム画像上の画素のみ
を対象として動き補償（予測ブロックの抽出）を行うこ
とを考える。

【００２６】図９の画像１００を前フレームの基本フレ
ーム画像、図１０の画像１１０を現フレームの基本フレ
ーム再生画像、図１０のブロック１１１を現在の符号化
対象ブロックとする。動き補償の方法としては、１本の
動きベクトルで基本符号化ブロックと拡張符号化ブロッ
クの予測ブロックを合成する方法（基本符号化ブロック
が２本以上の動きベクトルを持つ場合には、その本数の
動きベクトルが必要）と、それぞれのブロックが独自に
動きベクトルを持つ方法が考えられる。

【００２７】図１１と図１２は、前者の例である。図１
１の方法では、まず、動きベクトル１０３にしたがって
現フレームの基本フレーム再生画像１００から基本符号
化ブロックへの予測ブロック（基本予測ブロック）１０
２が生成される。そして、この基本予測ブロック１０２
をそのまま拡張符号化ブロックへの予測ブロック（拡張
予測ブロック）として適用する。図１２の方法において
も、図１１と同様に、動きベクトル１０３にしたがって
現フレームの基本フレーム再生画像１００から予測ブロ
ック１０４を生成する。ただし、図１２の方法では、基
本予測ブロックを拡張予測ブロックとして利用する替わ
りに、基本フレーム再生画像１００上において、拡張サ
ンプル点に相当する各画素の予測値を画素内挿により算
出し（一般には、隣接する基本サンプル点の画素から線
形内挿により求める）、各拡張符号化ブロックへの拡張
予測ブロック１０５Ａ〜１０５Ｄとして用いる（ただ
し、拡張予測ブロック１０５Ａは、基本予測ブロック１
０２と一致する）。

【００２８】一方、図１３は、基本符号化ブロックと各
拡張符号化ブロックがそれぞれ、独立に動きベクトルを
持つ場合の例である（ただし、拡張予測ブロック１０７
Ａは、基本予測ブロックと一致してもよい）。図１３の
方法では、図１１と１２の方法よりも各予測ブロックの
精度は向上するが、符号化すべき動き情報符号量も増大
する。そのため、レートと性能の関係を考慮して、各ブ
ロックに適用する動き補償方法を選択する必要がある。

【００２９】なお、インター符号化の説明のところでも
述べたように、動きベクトル検出処理（動き推定処理）
に使用するリファレンス画像の種類は、原画像を用いて
も局部復号処理後の再生画像を用いてもよい。また、基
本フレーム画像ではなく、拡張フレーム画像を使っても
よい。さらに、対象符号化ブロックの種類についても、
基本符号化ブロック（例えば図６のブロック１４）と拡
張サンプル点を含む符号化ブロック（例えば図６のブロ
ック１２）のいずれを用いてもよい。これは、動き推定
に使用する画像の種別は、動きベクトルの検出精度には
影響しても、復号側での動き補償処理には直接影響しな
いためである。拡張サンプル点までを含めた符号化ブロ
ック全体の予測精度を保つためには、むしろ動き推定時
の拡張サンプルを利用した方が有効と考えられる。しか
しながら、より多くの情報を利用して動き推定を行うこ
とは、同時に、動き推定に要する処理量の増大にもつな
がるため、用途に応じて使い分ける必要がある。（ブロ
ック単位／拡張符号化ブロック／フレーム内・フレーム
間予測）次に、符号化済みの周囲画素（既符号化済みフ
レーム画像内の画素も含む）を参照対象として、画素単
位で拡張符号化ブロックの予測値を内挿・外挿・重み付
け予測により求める方法について説明する。方法として
は、基本符号化ブロックの再生画素のみを参照対象とす
る場合と、復号側で先に復元できる画素（同じ間隔、同
じ解像度でサンプリングされている画素）については、
拡張符号化ブロック内の再生画素であっても参照対象に
含める場合が考えられる。

【００３０】前者については、符号化済みの画素（予測
対象画素よりも先に符号化される画素）のうち基本符号
化ブロックに属する再生画素（既符号化済みフレーム画
像内の画素も含む）が、すべて予測の参照画素となる
（基本サンプル点の画素が、拡張符号化ブロックの画素
として再符号化されている場合には、再符号化前の再生
値を予測の参照対象として用いる）。

【００３１】図１４は、画像の左上端のブロックから右
下端のブロックに向かって連続的に符号化する場合の例
であり、同じ符号化ブロックに属する基本符号化ブロッ
クを、拡張符号化ブロックよりも先に符号化することを
想定している。この場合には、予め定めた既符号化フレ
ーム内の再生画素と、現ブロックに対して、上方ブロッ
クの基本サンプル点の再生画素（図では、画素５９Ｄ，
５７Ｃ，５７Ｄ，５８Ｃ）と、左側に位置するブロック
の基本サンプル点の再生画素（図では、画素５６Ｂ，５
６Ｄ）、ならびに現ブロックの基本サンプル点の再生画
素（画素５５Ａ〜５５Ｄ）が予測参照の対象となる。

【００３２】予測方法としては、いろいろなパターンが
考えられるが、同一フレーム内の隣接画素を参照画素と
して単純な線形内挿を行う方法や、隣接画素の平均的な
相関度に対応した重み付け予測を行う方法などが一般的
である。図１４を例に単純な線形内挿を考えると、５１
Ａ’＝（５５Ａ＋５５Ｂ）／２，５２Ａ’＝（５５Ａ＋
５５Ｃ）／２，５３Ａ’＝（５５Ａ＋５５Ｂ＋５５Ｃ＋
５５Ｄ）／４となる（’は予測値であることを意味す
る）。ただし、画素５１Ｂのように、単純な線形内挿に
よって予測値が算出できない場合については、例えば、
５１Ｂ’＝５５Ｂのように隣接再生画素を予測値とする
方法や、５１Ｂ’＝（２＊５５Ｂ＋５７Ｄ＋５８Ｃ）／
４のように隣接画素の重み付け処理（重み付け係数の値
ならびに参照画素数については本願では限定しない）に
より予測値を算出する方法が考えられる。なお、拡張符
号化ブロックが基本サンプル点と一致する場合について
も、例えば、５５Ａ’＝５５Ａのように基本サンプル点
の基本符号化ブロックとして再生画素を予測値とする方
法や、５５Ａ’＝（８＊５５Ａ＋５９Ｄ＋５６Ｂ＋５６
Ｄ＋５５Ｃ＋５５Ｄ＋５５Ｂ＋５７Ｄ＋５７Ｃ）／１６
のように隣接画素の重み付け処理により予測値を算出す
る方法が考えられる。

【００３３】一方、復号側で先に復元される画素をすべ
て予測の参照とする方法では、拡張符号化ブロック内の
再生画素であっても符号化済みの画素（予測対象画素よ
りも先に符号化される画素）はすべて予測の参照とな
る。この場合には、基本サンプル点の画素が、拡張符号
化ブロックの画素として再符号化されていれば、再符号
化データを反映した再生値を予測の参照対象とすること
も可能である。また、既符号化済みフレームにおける基
本フレーム画像内の再生画素も予測の参照となる。

【００３４】例えば、ここで、図８に示した４個の拡張
符号化ブロックにおいて、三角で表された拡張符号化ブ
ロック、菱形で表された拡張符号化ブロック、四角で表
された拡張符号化ブロックの順に符号化する場合を考え
る。図１５を、菱形で表した拡張ブロックまでの符号化
処理が終了した状況とする。この場合、白抜き四角で示
した拡張サンプル点の画素５３Ａの符号化には、既に符
号化済みの画素、すなわち、現ブロックに対して、上方
ブロックの拡張サンプル点の再生画素と、左側に位置す
るブロックの拡張サンプル点の再生画素、ならびに現ブ
ロックの丸、三角、菱形で示した拡張サンプル点の再生
画素のすべてが予測参照の対象となる。単純な線形内挿
を適用した場合の予測値としては、５３Ａ’＝（５２Ａ
＋５２Ｂ）／２，５３Ａ’＝（５１Ａ＋５１Ｃ＋５２Ａ
＋５２Ｂ）／４，５３Ａ’＝（５５Ａ＋５５Ｂ＋５５Ｃ
＋５５Ｄ＋５２Ａ＋５２Ｂ＋５１Ａ＋５１Ｃ）／８など
が考えられる。なお、動き補償による予測値と内挿・外
挿・重み付け処理による予測値から、計算により最終的
な予測値を求める方法も考えられる。 （ブロック単位／拡張符号化ブロック／動き補償・フレ
ーム内・フレーム間予測の変形）ここまで、図８の分割
方法を例として拡張符号化ブロックの予測値生成手段に
ついて説明してきた。しかしながら、既に符号化済みフ
レームからの参照については、基本サンプル点の再生画
素のみを参照対象とするという基準が満たされれば、図
５、図６のケースや他の分割方法でも、上記に示した拡
張符号化ブロックの予測値生成は適用できる。また、上
記に説明した動き補償方法ならびにフレーム内・フレー
ム間予測方法は、適用可能な方法の一部であり、参照可
能範囲が満たされ、かつ復号側にて符号化時と同様の予
測値が生成できる方法であればすべて適用できる。 （ブロック単位／拡張符号化ブロック／符号化タイプの
選択・符号化）上記で説明した動き補償ならびにフレー
ム内・フレーム間予測により生成される拡張予測ブロッ
クを復号側で再現するためには、符号化タイプと動きベ
クトルを符号化し、復号側に伝送する必要が生じる。符
号化タイプの種類については、符号化側と復号側で予め
定めておけばよい。ここでは、次の３種類の符号化タイ
プを考える。 （１）基本符号化ブロック用の動きベクトルを利用した
動き補償（図１１、図１２のいずれか）、（２）拡張符
号化ブロック用の動きベクトルを利用した動き補償（図
１３）、（３）フレーム内・フレーム間予測（図１４、
図１５のいずれか、符号化側と符号側にて予め定めた関
数を適用）。

【００３５】符号化タイプの符号化データは、４種類の
拡張符号化ブロックについて個別に送る場合と、４種類
の拡張符号化ブロックについて１個のみを選択して送る
場合が考えられる。なお、選択方法としては動き検出と
同様に、予測誤差信号のブロック内絶対値和が最も小さ
い符号化タイプを選択する方法を適用するのが一般的で
ある。

【００３６】符号化側でタイプ（１）を選択した場合に
は、基本符号化ブロックの動きベクトルを使用するた
め、動きベクトルを符号化する必要はない。しかしなが
ら、基本符号化ブロックが動きベクトルを持たない符号
化タイプで符号化している場合も考えられる。

【００３７】この問題を解決する方法としては、 １）基本符号化ブロックの符号化タイプに従って、選択
できる符号化タイプをアルゴリズム的に変更する（基本
符号化ブロックが動きベクトルを持たない場合には、タ
イプ（２），（３）のみを選択の対象とする）、 ２）上記タイプ（１）を選択した拡張符号化ブロックに
対応する基本符号化ブロックが、動きベクトルを持たな
い符号化タイプにて符号化されている場合には、拡張符
号化ブロックにて基本符号化ブロックに相当する動きベ
クトルを符号化する、 の２種類が考えられる。上記タイプ（２）を選択した場
合には、各拡張符号化ブロックに対して動きベクトルを
伝送する必要がある。タイプ（３）を選択した場合に
は、動きベクトルを伝送する必要はない。

【００３８】上記に示した３種類以外の符号化タイプと
しては、イントラ符号化モード、未符号化モード、動き
補償とフレーム内予測を組み合わせた符号化モードなど
が考えられる。

【００３９】イントラ符号化モードは、前フレームと絵
柄が異なる符号化ブロックでの使用を想定した符号化モ
ードである。しかしながら、拡張符号化ブロックでは、
シーンチェンジが発生しているフレームであっても、フ
レーム内予測にて類似した予測ブロックが作成できるた
め、符号化効率の面からはそれほど有効とは言えない。
ただし、ＤＣＴを使用したアルゴリズムでは、ＤＣＴに
よるミスマッチを回避する目的でイントラ符号化が必要
となる。未符号化モードは、前フレームからの変化がな
い符号化ブロックでの使用を想定した符号化モードであ
る。

【００４０】拡張符号化ブロックでは、前フレームから
の予測を基本フレーム画像に限定しているため、前フレ
ームの再生画像からの単純なコピーでは、再生ブロック
を生成できない。再生ブロックの生成方法としては、基
本フレーム画像からの単純な線形内挿処理が考えられ
る。また、前フレームの基本フレーム画像のみならず、
現フレームの基本フレーム画像も利用した再生ブロック
生成方法も考えられる（符号化側と復号側で生成方法を
決めておけば、様々な方法が適用できる）。さらに、図
８のブロック１９Ａのように、基本符号化ブロックとサ
ンプル点の位置が一致する拡張符号化ブロックについて
は、再生ブロックを基本符号化ブロックの再生値とする
方法も有効である。 （ブロック単位／拡張符号化ブロック／誤差符号化）拡
張予測ブロックと拡張フレーム上の原画像ブロックとの
差分処理により求められる誤差ブロックの具体的な符号
化方法については、本発明では限定しない。一般的に
は、基本符号化ブロックと同じ方法を用いればよい。例
えば、インター符号化のように誤差ブロックにＤＣＴを
施し、量子化・符号化する。ここで、基本符号化ブロッ
クと同じ方法を用いるとしたのは、図５、図８に示した
分割方法では、基本符号化ブロックと拡張符号化ブロッ
クの縦横サイズは一致することに起因する。つまり、基
本符号化ブロックにて適用する誤差ブロックへの周波数
変換処理や量子化処理をそのまま適用できるという利点
がある。また、基本符号化ブロック用に用意されたイン
ター符号化の符号化テーブル、量子化方法も利用でき
る。この特徴は、回路数やコードサイズ用のプログラム
メモリ、符号化テーブル用メモリの削減にもつながる。

【００４１】しかしながら例外もある。図５のブロック
分割の例で、基本符号化ブロック内に含まれる画素（図
５の白抜き丸で示した画素）の再符号化を行わない場合
については、拡張符号化ブロック内に符号化を行う必要
のない画素が存在する。この場合には、白抜き丸の画素
の誤差を０として誤差ブロックを構成する。誤差ブロッ
ク内の誤差値をそのまま量子化して符号化するアルゴリ
ズムを適用するのであれば、白抜き丸の画素は符号化せ
ず、再生側にて、デフォルトで０値を与えればよい。一
方、誤差ブロックに周波数変換を施して、変換係数のレ
ベルで量子化・符号化を行うアルゴリズムを適用する場
合には、再生側で、白抜き丸の画素が０値に戻らない可
能性がある。この場合には、アルゴリズムとして、逆Ｄ
ＣＴ処理後に白抜き丸の画素を０値に修正する処理を行
うか否かを決めておく必要がある。

【００４２】なお、拡張符号化ブロックの誤差符号化方
法に、基本符号化ブロックとは異なる方法を適用する場
合や、異なる符号化テーブルあるいは量子化方法を適用
する場合も考えられる。 （ブロック単位／拡張符号化ブロック／解像度の拡張）
ここまでは、縦横とも解像度が２倍に拡大されている例
について説明してきたが、本発明は、ｎ×２倍の解像度
に適応できる。基本的には、基本符号化ブロック、２倍
拡張符号化ブロック、４倍拡張符号化ブロックの順に階
層的に符号化していく。ブロックの分割方法について
は、図５あるいは図８を拡張する方向で考えられる。ま
た、下位解像度の拡張符号化ブロック上の画素とサンプ
ル点の位置が一致する符号化対象拡張符号化ブロック上
の画素の扱いについても、図５ならびに８と同様に考え
ればよい。以下に、４倍解像度について、ブロック分割
法を示す。

【００４３】図１６の符号化ブロック１５１は、図７の
ブロック１７の縦横サイズを４倍に拡大した図である。
ブロックの分割方法も２倍解像度の場合と同様に２種類
考えられる。具体的には、図５、図８のケースと同様
で、図１６のブロック１５２Ｂに示すように符号化ブロ
ック１５１を基本符号化ブロックとサイズが一致する拡
張符号化ブロックに分割して符号化処理を行う方法と、
図１７に示すように、ブロック内の画素を基本のサンプ
ル点と同じ間隔に位置する画素グループ１５３Ａ〜１５
３Ｐに分割して符号化処理を行う方法が考えられる。符
号化方法についても、ｎ×２倍拡張ブロックの符号化を
行う際、（ｎ−１）×２倍拡張符号化ブロックまでの符
号化が既に終了しているような構成をとることで、２倍
拡張符号化ブロックと同様の予測方法ならびに符号化方
法が適用できる。

【００４４】例えば、図１６のブロック１５２Ｂに示す
分割方法の例では、基本符号化ブロック、２倍拡張符号
化ブロック（４倍拡張用基本符号化ブロック）１５２Ａ
の順に符号化した後、１５２Ｂブロックに示すようなブ
ロック単位で４倍拡張サンプル点の画素を符号化する。
ただし、２倍拡張符号化ブロックにあたる画素（４倍拡
張符号化ブロック１５２Ｂの白抜き印）については、必
ずしも符号化を行う必要はない（０値として扱う）。こ
れらの画素は、図５における白抜き丸で示す画素と同じ
扱いで処理できる。

【００４５】図１７に示すブロック分割方法の例でも、
基本符号化ブロック、２倍拡張符号化ブロック（４倍拡
張用基本符号化ブロック）１５２Ａの順に符号化した
後、１５３Ａ〜１５３Ｐブロックに示すようなブロック
単位で４倍拡張サンプル点の画素を符号化する。この場
合も、４倍拡張用基本符号化ブロックと画素配置が一致
する拡張符号化ブロック１５３Ａ〜１５３Ｄについて
は、符号化処理をスキップしてもよい。これらのブロッ
クは、図８におけるブロック１９Ａと同じ扱いで処理で
きる。

【００４６】動き補償、フレーム内・フレーム間予測を
行う場合の参照については以下のとおりである。 １）動き補償の際には既に符号化済み基本フレーム画像
のみを予測の参照とする。 ２）フレーム内・フレーム間予測の際には、既に符号化
済み基本フレーム画像に加えて、（ａ）現フレームの符
号化済みの全再生画素まで、（ｂ）現フレームの（ｎ−
１）×２倍解像度までの再生画素まで、あるいは、
（ｃ）現フレームの符号化済み基本フレーム画像まで、
を予測の参照とする場合が考えられる。

【００４７】符号化タイプについては、タイプ（２）、
タイプ（３）、イントラ符号化モードは、上記に示した
２倍拡張符号化ブロックの場合と同様に考えられる。未
符号化モードについても、予測に利用可能な現フレーム
の参照範囲が、基本符号化ブロックの再生値から（ｎ−
１）×２倍拡張ブロックの再生値までに拡張される点を
除いては同様に扱える。タイプ（１）については、（ｎ
−１）×２倍拡張ブロックの符号化に用いた動きベクト
ルが使用できるようになるので、基本符号化ブロックの
動きベクトルの替わりに、（ｎ−１）×２倍の拡張符号
化ブロックに属する動きベクトルを利用する。（ｎ−
１）×２倍の拡張符号化ブロックに属する動きベクトル
が存在しないｎ×２倍の拡張符号化ブロックの扱いにつ
いては、 １）選択肢からタイプ（１）を外す方法、 ２）（ｎ−１）×２倍の動きベクトルを符号化する方
法、 ３）動きベクトルを持つ最も高い解像度の動きベクトル
を利用する（下位解像度の拡張符号化ブロックがすべて
動きベクトルを持たない場合については、１），２）の
いずれかを適用）の３種類が考えられる。なお、タイプ
（１）をｎの値に関わらず、基本符号化ブロックの動き
ベクトルを使用するアルゴリズムに設定することも可能
である。誤差符号化の方法についても、２倍拡張符号化
ブロックにおける考え方が、そのままｎ×２倍拡張符号
化ブロックに適用できる。 （ブロック単位／拡張符号化ブロック／拡張領域位置の
拡張）ここまでは、図１に示すように拡張領域が基本符
号化ブロックの境界を跨いでいない場合の例であるが、
跨いでいる場合でも本発明は適用できる。

【００４８】図１８のフレーム画像９１がその例で、ブ
ロック９２Ｂ，９３Ｂが２倍拡張用の符号化ブロックを
示している。この図のように拡張用の符号化ブロックを
設定することで、図７の符号化ブロック１７や図６の符
号化ブロック１６と同様の構成にて符号化処理を行うこ
とが可能となる。

【００４９】ただし、次の点でアルゴリズムの修正が必
要となる。まず、この構成では、基本符号化ブロックと
拡張符号化ブロックの位置が１対１で対応していないた
め、タイプ（１）の符号化タイプにて使用する動きベク
トルが一意に割り当てられないという問題がある。この
点については、拡張符号化ブロックが属する基本符号化
ブロックの動きベクトルからタイプ（１）の予測に使用
する動きベクトルの算出方法を決めておけばよい。例え
ば、単純な平均処理により動きベクトルを決定する方法
が考えられる。

【００５０】次に、拡張領域の位置とサイズを指定する
必要がある。この点については、図２２に示す方法で対
応できる。図２２では、フレーム６１に対して、拡張領
域６２の位置とサイズを特定した場合の例である。拡張
領域６２の基準座標点６３と拡張領域のサイズを符号化
して、復号側に送ることで、拡張領域が特定できる。こ
の方法であれば、図１８のブロック９２Ｂと９３Ｂは１
つの領域として同時に指定できる。

【００５１】また、拡張領域の画像サイズは、必ずしも
基本符号化ブロックサイズの倍数である必要はない。ブ
ロック分割の際に、データの存在しない部分を適当な値
で補って符号化しておき、復号側で、復号されたサイズ
に含まれる画素のみを表示することで、拡張領域の可変
サイズにも対応できる。

【００５２】３つ目に、拡張符号化ブロックの符号化順
を考慮する必要がある。拡張領域が基本符号化ブロック
の境界を跨いでいない場合には、対応する基本符号化ブ
ロックよりも後に拡張符号化ブロックの符号化処理を行
えば、符号化側と復号側の予測ブロックは一致させるこ
とができる。しかしながら、拡張領域が基本符号化ブロ
ックの境界を跨ぐ場合には、拡張符号化ブロックが関係
する基本符号化ブロックのうち、最後に符号化されるも
のよりも後に符号化する必要が生じる。例えば、図１８
の例では、符号化ブロック９２Ｂは基本符号化ブロック
９２Ａよりも後に、符号化ブロック９３Ｂは基本符号化
ブロック９３Ａよりも後に符号化しなければならない。 （フレーム単位／拡張符号化ブロック）ブロック分割を
行わず、フレーム全体を対象とした符号化アルゴリズム
について、図１のフレーム画像を例に説明する。符号化
処理に先立ち、図１のフレーム１０を図１９に示す基本
フレーム画像７１と拡張領域７２に分ける。拡張領域内
の白丸は、基本フレーム画像とサンプル位置とが一致す
る画素を示す。

【００５３】基本フレーム画像７１に対しては、通常の
符号化方法を適用する。拡張領域７２を符号化する際に
は、拡張領域７２にサブバンド分割あるいはウェーブレ
ット変換を施し、変換領域毎に符号化を行う方法や、拡
張領域を図２０に示すような４個の拡張符号化領域７３
〜７６に分割して符号化する方法などが考えられる。

【００５４】図３０は、拡張領域７２をサブバンド分割
した例である。１７１，１７４がローパスフィルタ、１
７２，１７５がハイパスフィルタ、１７３がダウンサン
プリングフィルタを示している。この場合には、例え
ば、基本符号化レイヤ１６Ａについては、現フレームの
基本フレーム画像ならびに既に符号化済みフレームの基
本フレーム画像を使用して予測を行い、その差分を量子
化・ハフマン符号化し（拡張レイヤをブロック分割して
処理することも可能）、その他の拡張符号化レイヤ１６
Ｂ〜１６Ｄについては、レイヤ内の画素を量子化処理
後、ランレングス符号化する方法などが適用できる。な
お、本発明のインタラクティブ表示を可能にするために
は、符号化済みフレーム上の画素を使用して予測を行う
際に、参照画素を基本フレーム画像に限定する必要があ
る。 （多重化方法）次に、符号化データの多重化方法につい
て示す。フレーム単位で符号化する場合には、拡張符号
化領域に関する符号化データは、基本フレーム画像の符
号化データの後に配置される。ブロック単位で符号化す
る場合には、拡張符号化ブロックに関する符号化データ
を基本フレーム画像の符号化データの後にまとめて配置
する場合と、拡張符号化ブロックに関する符号化データ
を、対応する基本符号化ブロックの符号化データの後に
それぞれ配置する場合が考えられる。

【００５５】図２１は、拡張符号化ブロックに関する符
号化データを基本フレーム画像の符号化データの後にま
とめて配置する場合について、１フレームの多重化デー
タを示した例である。フレームヘッダ３０１は、フレー
ムの始まりを示すスタートコード（ユニークワード）か
ら始まり、時刻情報、フレームタイプ（イントラフレー
ム、インターフレーム）などフレーム全体に関わる情報
が含まれる。本構成では、このフレームヘッダに、さら
に拡張領域数を含める必要がある。

【００５６】フレームヘッダのあとに基本フレーム画像
に関する符号化データ３０２が続く。フレームヘッダ内
の拡張領域数が０の場合には、以降のデータは省略され
る。拡張ヘッダ３０３は、拡張データの始まりを示す拡
張データスタートコードから始まり、拡張領域の解像度
のほか、図２２に示す拡張領域の基準座標点６３、拡張
領域６２の縦横サイズが含まれる。２倍拡張データ３４
０には、拡張領域内の２倍拡張符号化ブロックのＭＢデ
ータ（３４１，３４２，３４３等）が含まれる。各ＭＢ
データには、ブロックタイプ（ＭＢ内の各ブロックに有
意なデータがあるか否かを示す、有意なデータなしの場
合には、以降のデータは省略される）、符号化タイプ、
動きベクトル、各ブロックの誤差信号等の符号化データ
が含まれる。

【００５７】終了マーカ３０５は各解像度における拡張
データの終了を示すユニークワードである。この終了マ
ーカにより、復号器は、データの読み飛ばし処理が可能
となる。以降、４倍拡張データ３０６、終了マーカ３０
５と続いていく。ただし、ｎ倍拡張データ３０７のよう
な拡張領域の最後の拡張データ後には、終了マーカ３０
５を付加する必要はない。これは、次に続く拡張ヘッダ
あるいはフレームヘッダの先頭にユニークワードが配置
されており、終了マーカを配置しなくてもデータの区切
りが検出できるためである。なお、１フレームのデータ
は、拡張ヘッダ３０３からｎ倍拡張データ３０７（拡張
領域内の最後の拡張データ）までのデータを、フレーム
ヘッダ３０１に示される拡張領域数分繰り返して終了す
る。

【００５８】図２３は、拡張符号化ブロックに関する符
号化データを、対応する基本符号化ブロックの符号化デ
ータの後にそれぞれ配置する場合について、１フレーム
のデータ多重化の例を示した図である。フレームヘッダ
４０１はフレームの始まりを示すスタートコードから始
まり、フレーム全体に関わる情報を含む。このフレーム
ヘッダ以降に、各ＭＢの符号化データ４０２、４０３が
続く。

【００５９】ここで、ｎ番目のＭＢの符号化データ４４
０に着目して、ＭＢデータのフォーマットについて説明
する。ＭＢデータは、そのブロックの画素解像度情報を
含むＭＢヘッダ４４１から始まる。例えば、ＭＢヘッダ
４４１に示される画素解像度がαであった場合、以降、
基本符号化ＭＢの符号化データ（基本ＭＢデータ）４４
２、２倍拡張符号化ＭＢの符号化データ（２倍拡張ＭＢ
データ）４４３、４倍拡張ＭＢデータ４４４と続き、α
倍拡張ＭＢデータ４４５にて、ｎ番目のＭＢのデータが
終了する。

【００６０】ただし、上記の構造では、ＭＢデータの最
終データの終了を検出するには、ＭＢ内の全データの解
析が必要となる。従って、この構造では、復号処理を行
わない拡張ＭＢデータの読み飛ばし処理ができない。そ
こで、ユニークワードあるいは一意に識別できるコード
列にて構成される終了コード４４６をα倍拡張ＭＢデー
タの後ろに付加する。さらに、この終了コード４４６
を、指定解像度の拡張ＭＢデータの後ろに付加すること
により、指定解像度データの検索も可能となり、ユーザ
の突然の解像度変更命令にも対応できるようになる。

【００６１】図２３の多重化構造では、フレーム内の拡
張領域の数、各拡張領域の解像度・基準座標点・縦横サ
イズをフレームヘッダに記載することで、各ＭＢヘッダ
での解像度の指定を回避できる。このフレームヘッダに
拡張領域情報を書き込む方法では、図１８に示すような
基本符号化ブロック分割と拡張符号化ブロック分割の間
のズレが基準座標点から認識できるため、拡張符号化ブ
ロックの分割が基本符号化ブロック境界を跨ぐ場合にお
いて特に有効となる。

【００６２】ここで説明した図２１と図２３の違いは、
データ構造の違いであり、各解像度におけるＭＢデータ
の構造については、同じフォーマットが適用できる。し
かしながら、データの符号化順序が異なる関係で、フレ
ーム内・フレーム間予測にて参照できる現フレームの再
生画素の範囲が異なる。例えば、図２３のケースでは、
２倍拡張ＭＢデータの符号化を行う際に、現ブロックの
右側ならびに下側の基本サンプルの画素はまだ符号化さ
れていない（図１４、１５参照）。一方、図２１のケー
スでは、２倍拡張ＭＢデータの符号化を行う際に、現フ
レームの基本サンプル点の画素はすべて符号化済みであ
る。そのため、図２１のケースでは、２倍拡張ＭＢデー
タにおけるフレーム内・フレーム間予測に、現フレーム
の基本サンプル点を使用することが可能となる。 （符号化処理の流れ）図２４を例としてここまで説明し
てきた符号化処理の流れをまとめる。ここでは、予測を
伴うインターフレームを考える。

【００６３】入力されたフレームデータは、まず分割処
理部２００にて、符号化ＭＢ単位に分割され、符号化順
に出力される。分割処理部２００からの出力データ（Ｍ
Ｂデータ２０１）が基本符号化ブロックの場合には、Ｍ
Ｂデータ２０１は、最初に動き補償処理部２１１に送ら
れ、フレームメモリ２１０に保存されている符号化済み
フレーム（ここでは、前フレームとする）の再生画像と
の間で動きベクトルの検出ならびに動き補償が行われ
る。

【００６４】この際、ブロック内の予測誤差が十分小さ
い場合には、スイッチ２１４の制御により、予測ＭＢデ
ータが差分処理部２０２に出力される。出力された予測
ＭＢデータは、ＭＢデータ２０１との間で差分処理さ
れ、変換処理部２０３に差分ＭＢとして出力される（イ
ンター符号化）。一方、ブロック内の予測誤差が大きい
場合には、差分処理はなされず、スイッチ２１４の制御
により、ＭＢデータ２０１がそのまま変換処理部２０３
に出力される（イントラ符号化）。

【００６５】スイッチ２１４における選択結果（イント
ラ符号化／インター符号化）は、符号化タイプ２１８と
して多重化・符号化処理部２０６に送られる。さらに、
符号化タイプ２１８がインター符号化モードの場合に
は、動きベクトル２１２が多重化・符号化処理部２０６
に送られる。変換処理部２０３に入力されたデータは、
ＤＣＴ係数に変換後、量子化処理部２０４にて量子化Ｄ
ＣＴ係数に変換され、多重化・符号化処理部２０６と局
部復号部２２０に出力される。

【００６６】多重化・符号化処理部２０６では、入力さ
れた符号化パラメータを符号化・多重化する。この際、
符号化タイプがインター符号化であり、動きベクトル値
が０であり、かつＭＢ内の全量子化ＤＣＴ係数の値が０
である場合には、符号化タイプを未符号化モードとし
て、符号化・多重化処理を行う。一般的には、未符号化
モードであるか否かを示すフラグが各ＭＢデータの先頭
に配置される。このフラグのあとにＭＢデータが続くか
否かを意味しており、未符号化モードの場合には、以降
のＭＢデータは多重化されない。

【００６７】局部復号部２２０では、量子化ＤＣＴ係数
を逆量子化処理部２０７にてＤＣＴ係数に再量子化し、
さらに逆変換部２０８にて、差分ＭＢに再生される。符
号化タイプがインター符号化の場合には、再生された差
分ＭＢと予測ＭＢが加算処理部２０９にて、加算され、
フレームメモリ２１０に蓄積される。符号化タイプがイ
ントラ符号化の場合には、再生された差分ＭＢは、再生
ＭＢとして、そのままフレームメモリ２１０に蓄積され
る。なお、局部復号部２２０へ入力されたＭＢ内の全量
子化ＤＣＴ係数の値が０である場合には、予測ＭＢが再
生ＭＢとして、フレームメモリ２１０に蓄積される。こ
の場合には、逆量子化ならびに逆変換処理は省略でき
る。

【００６８】拡張符号化ＭＢについては、解像度を２
倍、図８のブロック分割（ブロック１９Ａを含む）、符
号化タイプが （１）基本符号化ブロック用の動きベクトルを利用した
動き補償（図１２）、（２）拡張符号化ブロック用の動
きベクトルを利用した動き補償（図１３）、（３）フレ
ーム内予測（現フレームの基本符号化ブロックの再生値
を参照とした単純な画素内挿関数を想定）（４）未符号
化モード（（３）のフレーム内予測を予測値とする）の
４個である場合を想定して説明する。

【００６９】分割処理２００からの出力データ（ＭＢデ
ータ２０１）が拡張符号化ブロックの場合には、ＭＢデ
ータ２０１は、まず動き補償処理部２１１と予測処理部
２１３に送られる。動き補償処理部２１１では、フレー
ムメモリ２１０に保存されている符号化済みフレームの
再生画像（ここでは、前フレームとする）との間でタイ
プ（２）の符号化モードに対応する動きベクトルの検出
と、タイプ（１）ならびにタイプ（２）の符号化モード
に対応する動き補償が行われる。

【００７０】予測処理部では、フレームメモリ２１０に
保存されている符号化済みフレームの再生画像と現フレ
ームの符号化済み基本符号化ブロックの再生値を用いて
タイプ（３）のフレーム内予測を行う。この際、各符号
化タイプの予測ＭＢについてとＭＢデータとの間の誤差
ＭＢが生成される。

【００７１】次に、生成された各符号化タイプの予測Ｍ
Ｂデータがスイッチ２１４に送られ、符号化タイプの選
択が行われる。その選択方法については、一般的には、
動き検出の場合と同様に輝度信号ブロックの画素につい
て、誤差信号の絶対値和を求め、その値が小さいタイプ
が選択される。このスイッチ２１４の制御により、選択
された符号化タイプの予測ＭＢデータは、差分処理２０
２に出力される。出力された予測ＭＢデータは、ＭＢデ
ータ２０１との間で差分処理され、変換処理部２０３に
差分ＭＢとして出力される。

【００７２】この際、スイッチ２１４における選択結果
は、符号化タイプ２１８として多重化・符号化処理部２
０６に送られる。さらに、符号化タイプ２１８が符号化
タイプ（２）の場合には、拡張符号化用動きベクトル２
１２が多重化・符号化処理部２０６に送られる。変換処
理部２０３に入力されたデータは、ＤＣＴ係数に変換
後、量子化処理部２０４にて量子化ＤＣＴ係数に変換さ
れ、多重化・符号化処理部２０６と局部復号部２２０に
出力される。

【００７３】多重化・符号化処理部２０６では、入力さ
れた符号化パラメータを符号化し、基本符号化ブロック
による符号化データと共に多重化する。この際、符号化
タイプが符号化タイプ（３）であり、ＭＢ内の全量子化
ＤＣＴ係数の値が０である場合には、符号化タイプを符
号化タイプ（４）とする。基本符号化ブロックと同様
に、拡張符号化ブロックについても未符号化モードであ
るか否かを示すフラグが各ＭＢデータの先頭に配置され
る。未符号化モードの場合には、以降のＭＢデータは多
重化されない。

【００７４】局部復号部２２０では、量子化ＤＣＴ係数
を逆量子化処理部２０７にてＤＣＴ係数に再量子化し、
さらに逆変換部２０８にて、差分ＭＢに再生される。再
生された差分ＭＢと予測ＭＢが加算処理部２０９にて、
加算され、フレームメモリ２１０に蓄積される。なお、
局部復号部２２０へ入力されたＭＢ内の全量子化ＤＣＴ
係数の値が０である場合には、予測ＭＢが再生ＭＢとし
て、フレームメモリ２１０に蓄積される。この場合に
は、逆量子化ならびに逆変換処理は省略できる。 （復号処理の流れ）次に図２５を例として復号処理の流
れをまとめる。多重化データ８１は、ユーザから提示さ
れるユーザ情報８２に従って、まず、符号化解読・分離
処理部５０１にて分離処理される。ユーザ情報８２に
は、表示領域の位置とサイズが含まれており、符号化解
読・分離処理部５０１は、これらの情報から、表示につ
いて必要とされる解像度を解析する。解析の結果、再生
の必要がないと判断された解像度あるいは領域に対応す
る拡張符号化ブロックの符号化データは、復号せずに読
み飛ばす。例えば、指定された表示範囲が画面サイズの
半分より大きい場合には、４倍の解像度のデータは必要
ないため、読み飛ばす。また、指定された表示範囲が、
画像の左下部のみに属する場合には、それ以外の領域の
拡張符号化ブロックにおける符号化データを読み飛ば
す。

【００７５】ユーザ情報８２の解析の結果、再生処理が
必要と判断された拡張符号化ブロックの符号化データ
と、再生処理が必須である基本符号化ブロックの符号化
データは、符号化解読・分離処理部５０１にて復号され
る。

【００７６】復号されたパラメータは、誤差データ情報
８３、動きベクトル情報８４、符号化タイプ情報８５に
分割される。誤差データ情報は逆量子化処理部５０２
に、動きベクトル情報は動き補償処理部５０４に、符号
化タイプ情報はスイッチ５０８と、動き補償処理部５０
４あるいは予測処理部５０９（拡張符号化ブロックであ
り、かつ符号化タイプがタイプ（３）か（４）のとき）
に送られる。誤差データ情報、すなわち量子化ＤＣＴ係
数は、逆量子化処理部５０２にてＤＣＴ係数に再量子化
され、さらに逆変換部５０３にて差分ＭＢに再生された
のち、加算処理部５０５に渡される。一方、復号された
符号化タイプ情報と動きベクトル情報は、符号化タイプ
に従って動き補償５０４処理部あるいは予測処理部５０
９にて処理され、予測ＭＢが生成される。生成された予
測ＭＢは、スイッチ５０８の制御により加算処理部５０
５に渡される。

【００７７】加算処理部５０５では、予測ＭＢと差分Ｍ
Ｂを加算処理し、再生ＭＢとして、拡大フィルタ・合成
処理部５０６に渡す。ただし、誤差データ情報がないＭ
Ｂについては、予測ＭＢが再生ＭＢとなる。また、符号
化タイプがイントラ符号化モードの場合には、差分ＭＢ
が再生ＭＢとなる。

【００７８】拡大フィルタ・合成処理部５０６では、入
力された再生ＭＢを、再生基本フレーム画像と再生拡張
領域に分けて合成する。図２６のフレーム１６１は再生
基本フレーム画像１６１、図２７のフレーム画像１６
３，１６４，１６４２は再生拡張領域の例である。これ
らの図では、図２７のフレーム画像１６３，１６４，１
６４２が図２６の領域１６２の拡張画像を表しており、
フレーム１６３が２倍拡張の例、フレーム１６４が４倍
拡張の例、フレーム１６４２が２倍拡張領域と４倍拡張
領域が混成されている例となる。

【００７９】このようにして合成された再生基本フレー
ム画像と再生拡張領域は、図２５のフレームメモリ５０
７に保存される。ここで、基本フレーム画像と再生拡張
領域を分けて保存しているのは、基本フレーム画像が次
フレームの復号時の予測処理に用いられるのに対し、再
生拡張領域は現フレームの復号後にオーバーライト可能
となるためである。なお、現フレームのフレーム内予測
処理において、再生拡張領域を使用しない場合には、再
生拡張領域の保存処理を省略することが可能となる。

【００８０】また、拡大フィルタ・合成処理部５０６
は、ユーザ情報８２に従い、再生基本フレーム画像と再
生拡張領域を用いて表示画像を合成する。図２８、２９
は、図２６の再生基本フレーム画像１６１に対して、図
２７の拡張領域１６３を合成することを想定した場合の
表示画像合成処理の例である。

【００８１】図２８のフレーム画像１６５は、再生画像
全体を２倍解像度に拡大した図であり、画像のサイズを
縦横２倍にすることがユーザ情報８２にて指定された場
合の表示画像である。白抜き丸の部分には再生画素は存
在しないため、これらの画素が表示領域に含まれている
場合には、フィルタ処理により画素を補間する必要があ
る。つまり、フレーム１６３に含まれる画素について
は、２倍解像度の画素が存在するため、画素の補間処理
は必要ないが、白抜き丸に部分は画素を補間して表示す
る必要がある。

【００８２】一方、ユーザ情報８２にて、図２８の破線
枠１６６が表示領域として指定された場合には、図２９
のフレーム１６６が表示画像となる。この場合、フレー
ム１６３に含まれる画素については、２倍解像度の画素
が存在するため、画素の補間処理は必要ない。しかしな
がら、白抜き丸の部分は補間して表示する必要がある。

【００８３】いずれの例においても、補間処理には、現
フレームの再生画素のみならず、前フレーム等の再生画
素も利用することが可能である。補間処理の方法として
は、隣接画素による線形内挿などが考えられる。 （追記）本発明には、以下の拡張も含む。 （１）上記実施例では、解像度を拡張する領域を画像の
一部として説明しているが、画像全面について拡張符号
化データを持つ場合についても、同じ方法が適用できる
ため本発明に含まれる。 （２）上記実施例では、動き補償の際の参照画素を符号
化済みフレーム内の基本フレーム画像に限定している
が、拡張フレーム画像全体を使うことも可能である。た
だし、この場合には、拡張符号化ブロックの予測処理の
際に、拡張画素を用いないフレームを意図的に含めるこ
と（そのようなフレームタイプを設定）により、解像度
の切替えを可能にするキーフレームを設ける必要があ
る。 （３）上記実施例の説明に用いた図１は、拡張領域を１
個としているが、拡張領域が２個以上あっても対応可能
である。図２１ならびに図２３のデータフォーマットも
複数拡張領域に対応している。 （４）上記実施例に説明した動き補償では、予測に用い
る参照フレームを１フレームとしているが、２フレーム
以上を参照することも可能である。例えば、ＭＰＥＧ符
号化方式にて採用されている双方向予測を適用すること
も可能である。 （５）上記実施例の説明では、矩形画像を入力としてい
るが、任意形状画像でも適用できる。この際には、形状
信号の符号化時に行われる予測の参照範囲を、輝度、色
差信号における予測の参照範囲を超えないようにしてお
く必要がある。 （６）本実施例の構成では、通信時に、拡張符号化ブロ
ック部のデータの送信をフレーム単位で省略することも
可能である。例えば、通信レートや復号側から得られる
ユーザ情報によって、制御する方法が考えられる。 （７）本実施例の構成では、拡張符号化ブロック部のデ
ータを基本符号化ブロック部のデータと切離し、別のビ
ットストリームとして保存・伝送することも可能であ
る。また、拡張符号化ブロック部のデータを解像度毎に
分割して、別のビットストリームとすることも可能であ
る。 （８）上記実施例では、拡張サンプル点の拡張方向を基
本サンプル点に対して、右下の方向に定めているが、本
発明の符号化・復号化処理が扱う画像はこれに限定され
ない。例えば、基本サンプル点が拡張符号化ブロックの
中央近くに配置されているような画像でも本発明の概念
はそのまま適用できる。また、上記では、水平方向・垂
直方向に対する解像度の拡張率を一致させているが、こ
れが異なる場合でも、本発明の概念はそのまま適用でき
る。

【００８４】

【発明の効果】本発明により、１個のフレーム内の画素
解像度が部分的に異なる画像を１本のデータストリーム
に圧縮することが可能となる。また、復号側における解
像度の選定がフレーム単位で行えるため、ユーザの好み
に応じた画像のズーム表示が可能となる。

【図面の簡単な説明】

【図１】サンプリング間隔が部分的に拡張されている画
像の例を示した図。

【図２】動画像フレームの例を示した図。

【図３】マクロブロックの構成を示した図。

【図４】動き補償の処理構成例を示した図。

【図５】本発明における拡張符号化ブロック（２倍解像
度）の構成例を示した図。

【図６】本発明における符号化対象ブロック（２倍解像
度）の構成例を示した図。

【図７】本発明における符号化対象ブロック（２倍解像
度）の別の構成例を示した図。

【図８】本発明における拡張符号化ブロック（２倍解像
度）の別の構成例を示した図。

【図９】符号化済み基本フレーム画像の例を示した図。

【図１０】現フレームにおける符号化済み基本符号化ブ
ロックの例を示した図。

【図１１】基本符号化ブロック用動きベクトルを利用し
て、拡張符号化予測ブロックを生成する方法を説明した
図。

【図１２】基本符号化ブロック用動きベクトルを利用し
て、拡張符号化予測ブロックを生成する方法の別構成を
説明した図。

【図１３】拡張符号化ブロック用動きベクトルにて、拡
張符号化予測ブロックを生成する方法を説明した図。

【図１４】フレーム内予測により、拡張符号化予測ブロ
ックを生成する方法を示した図。

【図１５】フレーム内予測により、拡張符号化予測ブロ
ックを生成する方法の別構成を示した図。

【図１６】本発明における符号化対象ブロック（４倍解
像度）の構成例を示した図。

【図１７】本発明における拡張符号化ブロック（４倍解
像度）の構成例を示した図。

【図１８】サンプル間隔拡張領域が基本符号化ブロック
の境界を跨いでいる画像の例を示した図。

【図１９】ブロック分割を行わない符号化方法における
符号化対象データの例を示した図。

【図２０】ブロック分割を行わない符号化方法における
拡張符号化領域の例を示した図。

【図２１】拡張符号化ブロックに関する符号化データを
示した図。

【図２２】拡張領域の指定方法を示した図。

【図２３】１フレームのデータ多重化の例を示した図。

【図２４】ビデオ符号化処理の構成例を示した図。

【図２５】ビデオ復号処理の構成例を示した図。

【図２６】再生された基本フレーム画像の例を示した
図。

【図２７】再生された拡張領域の例を示した図。

【図２８】ユーザ指定により、画像のサイズを縦横２倍
にすることが指定された場合の表示画像の例を示した
図。

【図２９】ユーザ指定により、画像の一部を表示するこ
とが指定された場合の表示画像の例を示した図。

【図３０】拡張領域へのサブバンド分割の適用例であ
る。

【図３１】基本フレーム画像の例を示した図。

【図３２】拡張領域と拡張サンプル画像の例を示した
図。

【符号の説明】 １０…拡張フレーム画像、１１、６２、１６３、１６
４、１６４２…拡張領域、１２、１７…符号化対象ブロ
ック、１３、１４、１８…基本符号化ブロック、１５Ａ
〜１５Ｄ、１９Ａ〜１９Ｄ…拡張符号化ブロック、４６
…動きベクトル、６３…基準座標点、７２〜７６…拡張
符号化領域、８２…ユーザ情報、１００…符号化済みフ
レームにおける基本フレーム画像、１０２…基本予測ブ
ロック、１０２、１０５Ａ〜１０５Ｄ、１０７Ａ〜１０
７Ｄ…拡張予測ブロック、１０３…基本符号化ブロック
用動きベクトル、１０６Ａ〜１０６Ｄ…拡張符号化ブロ
ック用動きベクトル、１１０…現フレームにおける基本
フレーム再生画像、１５１…４倍解像度の符号化対象ブ
ロック、１５２…２倍拡張符号化ブロック、１５２Ｂ、
１５３Ａ〜１５３Ｐ…４倍拡張符号化ブロック、２００
…分割処理部、２０２…差分処理部、２０３…変換処理
部、２０４…量子化処理部、２０６…多重化・符号化処
理部、２０７、５０２…逆量子化処理部、２０８、５０
３…逆変換処理部、２０９…加算処理部、２１０、５０
７…フレームメモリ、２１１、５０４…動き補償処理
部、２１３、５０９…予測処理部、２１４、５０８…ス
イッチ、３０１、４０１…フレームヘッダ、３０２…基
本フレームデータ、３０３…拡張ヘッダ、３４０…２倍
拡張データ、３０５…終了マーカ、３０６…４倍拡張デ
ータ、３０７…ｎ倍拡張データ、３４１〜３４３…２倍
拡張ＭＢデータ、４０２、４０３、４４０…ＭＢデー
タ、４４１…ＭＢヘッダ、４４２…基本ＭＢデータ、４
４３…２倍拡張ＭＢデータ、４４４…４倍拡張ＭＢデー
タ、４４５…ｎ倍拡張ＭＢデータ、４４６…終了コー
ド、５０１…符号解読・分離処理部、５０６…拡大フィ
ルタ・合成処理部、１０００…基本フレーム画像、１０
０１…拡張サンプル画像。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 LB03 MA05 MA23 MA41 MC11 NN01 PP04 PP16 RB02 UA02 UA15 UA33 UA38 5J064 AA02 BA16 BB03 BB04 BC01 BD01

Claims (16)

【特許請求の範囲】
1. 【請求項１】等間隔なサンプリング点と、前記サンプリ
   ング点の間隔を部分的に拡張したサンプリング点にて構
   成されるフレーム画像を含む動画像シーンを、ブロック
   分割手段にてブロック単位に分割し、前記ブロック単位
   の１本のデータビットストリームに圧縮することを特徴
   とする動画像符号化方法。
2. 【請求項２】前記ブロック単位の分割は、前記等間隔な
   サンプリング点により構成される基本フレーム画像をＮ
   画素×Ｍ画素（Ｎ、Ｍは正の数）サイズのブロック（基
   本符号化ブロック）に分割し、拡張されたサンプリング
   点により構成される画像（拡張サンプル画像）を、基本
   符号化ブロックと同じサンプリング間隔で同じサイズの
   Ｎ画素×Ｍ画素サイズのブロック（拡張符号化ブロッ
   ク）に分割することを特徴とする請求項１記載の動画像
   符号化方法。
3. 【請求項３】前記ブロック単位の分割は、前記等間隔な
   サンプリング点により構成される基本フレーム画像をＮ
   画素×Ｍ画素（Ｎ、Ｍは正の数）サイズのブロック（基
   本符号化ブロック）に分割し、さらに、サンプリング間
   隔が拡張された領域（拡張領域）を、基本符号化ブロッ
   クと同じサイズのＮ画素×Ｍ画素サイズのブロック（拡
   張符号化ブロック）に分割することを特徴とする請求項
   １記載の動画像符号化方法。
4. 【請求項４】前記圧縮データが等間隔なサンプリング点
   のみに関わる基本データ部と、それを補う拡張データ部
   に分割可能に構成することにより、前記基本データ部の
   データのみで等間隔なサンプリング点により構成される
   基本フレーム画像を復元可能とすることを特徴とする請
   求項１ないし３のいずれか記載の動画像符号化方法。
5. 【請求項５】前記圧縮データが等間隔なサンプリング点
   のみに関わる基本データ部と、それを補う拡張データ部
   に分割可能に構成され、さらに拡張データ部は、サンプ
   リング間隔が拡張されている領域（サンプリング間隔拡
   張領域）の解像度が基本フレーム画像に対して２×ｐ倍
   （ｐは正の数、フレーム毎に可変）であるとき、画素解
   像度に応じてｐ個のデータに分割可能に構成され、基本
   データ部のデータのみで等間隔なサンプリング点により
   構成される基本フレーム画像と、基本データ部のデータ
   と２倍から２×ｑ倍（ｑはｐより小さい正の数）拡張デ
   ータ部までのデータのみで部分的にサンプリングの間隔
   が２×ｑ倍に拡張されている２×ｑ倍拡張フレーム画像
   とを復元可能とすることを特徴とする請求項１ないし３
   のいずれか記載の動画像符号化方法。
6. 【請求項６】前記圧縮データは、等間隔なサンプリング
   点のみに関わる基本データ部と、それを補う拡張データ
   部が多重化されたデータであり、基本データ部に属する
   データと拡張データ部に属するデータの境界には、識別
   符号が配置されていることを特徴とする請求項１ないし
   ３のいずれか記載の動画像符号化方法。
7. 【請求項７】動画像符号化方法が予測を伴う符号化方法
   であり、予測時に使用する参照の対象を、等間隔なサン
   プリング点にて構成される基本フレーム画像上の画素に
   限定することを特徴とする請求項４ないし６のいずれか
   記載の動画像符号化方法。
8. 【請求項８】動画像符号化方法は予測を伴う符号化方法
   であり、予測方法に動き補償方法が含まれる場合、前記
   基本データ部に含まれる動き情報を利用して、前記拡張
   データ部の予測ブロックを生成することを特徴とする請
   求項４ないし６のいずれか記載の動画像符号化方法。
9. 【請求項９】動画像符号化方法が予測を伴う符号化方法
   であり、予測方法にフレーム内予測が含まれる場合、基
   本フレーム上の画素を参照の対象として、拡張データ部
   の予測ブロックを生成することを特徴とする請求項４な
   いし６のいずれか記載の動画像符号化方法。
10. 【請求項１０】等間隔なサンプリング点と、その間隔を
    部分的に拡張したサンプリング点にて構成されるフレー
    ム画像を含む動画像シーンが圧縮された単一データを復
    号するときに、ユーザからの情報を入力し、上記ユーザ
    情報に従って復号処理するデータを判定する手段と、そ
    のユーザ情報に従って表示する画像領域を判定する手段
    と、ユーザ情報に従って表示する画像領域に画素補間処
    理を施す手段を有することを特徴とする動画像復号方
    法。
11. 【請求項１１】等間隔なサンプリング点と、その間隔を
    部分的に拡張したサンプリング点にて構成されるフレー
    ム画像を含む動画像シーンが圧縮された単一データを復
    号するときに、上記圧縮データが等間隔なサンプリング
    点のみに関わる基本データ部とそれを補う拡張データ部
    が多重化され、基本データ部に属するデータと拡張デー
    タ部に属するデータの境界に識別符号が配置されている
    場合に、ユーザからの情報を入力し、上記ユーザ情報に
    従い、上記識別符号を検索することにより、拡張データ
    部のデータを読み飛ばすことを特徴とする動画像復号方
    法。
12. 【請求項１２】等間隔なサンプリング点と、上記サンプ
    リング点の間隔を部分的に拡張したサンプリング点にて
    構成されるフレーム画像を含む動画像シーンが圧縮され
    た単一データを復号するときに、上記等間隔なサンプリ
    ング点のみに関わる基本データ部と、２倍から２×ｐ倍
    （ｐは正の数、フレーム毎に可変）までの各拡張データ
    部が多重化されたデータについて各データ部のデータ境
    界に識別符号が配置されている場合、ユーザからの情報
    入力し、上記ユーザ情報に従い、上記識別符号を検索す
    ることにより、２×ｒ倍（ｒはｐよりも小さい正の数）
    から２×ｐ倍までの拡張データ部のデータを読み飛ばす
    ことを特徴とする動画像復号方法。
13. 【請求項１３】前記拡張データ部のデータを読み飛ばす
    範囲をフレーム単位で判定することを特徴とする請求項
    １１または１２のいずれか記載の動画像復号方法。
14. 【請求項１４】前記予測時に使用する参照の対象を、等
    間隔なサンプリング点にて構成される基本フレーム画像
    上の画素に限定することを特徴とする請求項１０ないし
    請求項１２のいずれか記載の動画像復号方法。
15. 【請求項１５】上記動画像復号方法が予測を伴う復号方
    法であり、予測の方法に動き補償方法が含まれる場合、
    基本データ部に含まれる動き情報を利用して、拡張デー
    タ部の予測ブロックを生成することを特徴とする請求項
    １１または１２のいずれか記載の動画像復号方法。
16. 【請求項１６】上記動画像復号化方法が予測を伴う復号
    方法であり、予測方法にフレーム内予測が含まれるとき
    に、基本フレーム上の画素を参照の対象として、拡張デ
    ータ部の予測ブロックを生成することを特徴とする請求
    項１０ないし請求項１２のいずれか記載の動画像復号方
    法。