JP2010171480A - 画像復号化装置および画像符号化装置、並びに画像復号化方法および画像符号化方法 - Google Patents

Abstract

【課題】効率的な参照画像バッファの利用を可能とし、外部メモリのバンド幅の低減と、動き補償復号化処理の高速化および回路規模の削減を実現する。
【解決手段】符号化ストリームから復号対象ピクチャ内のＭＢの動きベクトルが参照する参照領域情報を抽出する参照領域情報抽出手段と、該参照領域情報に基づいて、復号化対象ＭＢの動き補償を開始する前に、予め復号化対象ＭＢの参照領域の画像データを、復号化対象ピクチャの参照画像を蓄えた外部メモリから読み出し、参照画像バッファに書込む参照領域読み出し制御手段と、参照画像バッファから読み出した符号化ストリームに記述された復号化対象ＭＢの動きベクトルが指し示す参照画像データと、符号化ストリームに記述された残差画像データを用いて、復号化対象ＭＢの復号化を行う動き補償復号化処理手段を備える。
【選択図】図１

Description

本発明は、画像復号化装置および画像符号化装置、並びに画像復号化方法および画像符合化方法に関し、特に、予測符号化によって符号化された画像符号化ストリームを復号化する場合に、外部メモリのバンド幅の低減、動き補償復号処理の高速化および回路規模の削減を実現する画像復号化装置および画像符号化装置および画像復号化方法および画像符号化装置に関する。

近年、ＡＶ（Ａｕｄｉｏ ａｎｄ Ｖｉｓｕａｌ）情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。映像信号は、膨大な情報量を有するので、記録容量および伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）という国際規格が定められている。

これらの規格では、画面内予測を用いるＩピクチャ、１枚の画像から予測が可能なＰピクチャ、および２枚の画像から予測が可能なＢピクチャを用いて画像を符号化する。

Ｈ．２６４では、それまで参照画像として用いられなかったＢピクチャを参照可能なピクチャ（Ｂｒピクチャ）とすることが可能になり、符号化効率の向上を実現している。

ここで、図１０と図１１を用いて、Ｂｒピクチャを利用しない場合と利用する場合のＢピクチャの参照関係の一例を示す。なお、図１０は、Ｂｒピクチャを利用しない場合のＢピクチャの参照関係の一例を示す図であり、図１１は、Ｂｒピクチャを利用する場合のＢピクチャの参照関係の一例を示す図である。ちなみに、ＭＰＥＧ−１およびＭＰＥＧ−２では、Ｂｒピクチャは存在せず、図１０に示す参照関係となる。

また、近年、デジタル映像信号の画像サイズは拡大を続けており、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）サイズ（１９２０×１０８０）の動画をＨ．２６４で記録できるムービーや、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）／ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダなどが商品化されている。

画面間予測を用いて符号化された符号化ストリームをデコードする場合には、復号化対象ピクチャの参照ピクチャが必要であり、例えば、図１１に示すＢピクチャを復号化する場合には、２枚のＰピクチャと１枚のＢｒピクチャの計３枚のピクチャが必要である。また、画像サイズが大きくなると、その大きくなった画像サイズに応じた参照画像用のメモリが必要となる。そのため、デコーダチップの内部に、参照画像を全て蓄えられるような大容量のメモリを持つことはコスト的に困難であるので、参照用画像は外部メモリ（ＤＲＡＭ）に蓄積するのが一般的である。

しかしながら、復号化には、マクロブロック（以下、ＭＢと記す）毎に独立した動きベクトルが指し示す画素データを読み出す必要があるために、外部メモリとしては高速なメモリが必要となり、メモリコストおよび消費電力の増大を招くという課題を有していた。

このような課題を解決するための従来技術の一例が特許文献１に開示されている。特許文献１に開示されているデジタル画像の復号装置においては、フレームメモリ（外部メモリ）と動き予測手段の間に動き補償用のバッファメモリを設けることにより、フレームメモリからバッファメモリへのデータ転送をライン単位で行わせて高速転送を可能とすることで、フレームメモリのバンド幅の使用効率を向上させている。

また、このような課題を解決するための他の従来技術の一例について、図１２を用いて説明する。なお、図１２は、従来のデコーダの構成の一例を示すブロック図である。

図１２において、動き補償復号処理部１２１は、復号化対象ＭＢの動きベクトルの指し示す画素データを予め予測し、その予め予測した画素データを、外部メモリ１２２から読み出して参照画像バッファ１２３に蓄える。

このように、参照画像バッファ１２３に復号化対象ＭＢの動き補償に必要な参照画素データを予め外部メモリ１２２から読み出しておくことにより、同じ画素データを外部メモリ１２２から何度も読み出すことを防ぐことができるので、外部メモリ１２２へのアクセス量を最小限にすることができ、外部メモリ１２２のバンド幅の低減と、動き補償復号処理の高速化および回路規模の削減を可能としている。
特開平１１−２９８９０３号公報

しかしながら、参照画像バッファに、各ＭＢの独立した動きベクトルが指し示す画素データの位置を動きベクトルを復号化する前に特定して、予め外部メモリから所定の画素データを読み込むことは困難で、大容量の参照画像バッファが必要となり、復号化処理全体としては回路規模の増大を招いていた。

例えば、Ｈ．２６４の符号化ストリームは、ストリームのレベルでの制限とストリーム中に記載されるパラメータで、動きベクトルの取り得る範囲が規定できるため、この動きベクトルで示される領域を予め参照画像バッファに取り込む方法により回路規模の増大を抑えることが考えられる。

しかしながら、ＨＤ画像（１９２０ｘ１０８０）のストリームに使われるレベル４．１の動きベクトルの取り得る範囲は、垂直は−５１２〜５１１．７５であり、水平は−２０４８〜２０４７．７５である。この値は大きな値であり、中心のＭＢは、ＨＤサイズの参照画像の全体を参照可能であるために、参照画像バッファには参照画像全体を取り込む必要があり、参照画像バッファの容量が増大してしまう。また、Ｈ．２６４方式においては、ＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）パラメータで動きベクトルの絶対値の最大値が規定されるが、動きベクトルの絶対値で規定される範囲は、Ｈ．２６４方式のＶＵＩパラメータで示される動きベクトルの存在範囲を示す図である図１３に示すように、符号化対象ＭＢを中心とする領域であり、必要な領域をピンポイントに指定することができない。さらに、ＶＵＩパラメータは、ストリーム全体の動きベクトルを制限する値、すなわち、ストリーム全体の動きベクトルの絶対値の最大値であるために大きな値となり、参照画像バッファの容量が増大してしまうといった課題を有していた。

本発明はかかる課題を解決するためになされたものであり、画像符号化装置において、符号化対象ピクチャを符号化する場合に、符号化対象ピクチャが参照するピクチャ毎（参照ピクチャ毎）に、動きベクトル探索領域（探索範囲）の相対的な中心位置を決定し、決定された各参照ピクチャの探索領域の相対的な中心位置に関する情報（以下、探索領域情報または参照領域情報と称す）を符号化ストリーム中に記述して符号化し、画像復号化装置において、探索領域情報（参照領域情報）が埋め込まれた符号化ストリームを復号化する際に、符号化ストリーム中に埋め込まれた探索領域情報を抽出して、参照画像の外部メモリから参照画像バッファへの読み込み制御に利用することにより、効率的な参照画像バッファの利用を可能とし、外部メモリのバンド幅の低減と、動き補償復号化処理の高速化および回路規模の削減を実現することが可能な画像復号化装置および画像符号化装置、並びに画像復号化方法および画像符号化方法を提供することを目的とする。

上記目的を達成するために、本願の第１の発明の画像復号化装置は、動きベクトルを用いた画面間予測により符号化された符号化ストリームを復号化する画像復号化装置であって、前記符号化ストリームから復号化対象ピクチャ内のＭＢの動きベクトルが参照する領域情報である参照領域情報、すなわち、前記復号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を抽出する参照領域情報抽出手段と、前記参照領域情報に基づいて、前記復号化対象ＭＢの動き補償を開始する前に、あらかじめ、前記復号化対象ＭＢの参照領域の画像データを、符号化対象ピクチャの参照画像が蓄えられた外部メモリから読み出し、参照画像バッファに書込む参照領域読み出し制御手段と、前記符号化ストリームに記述された前記復号化対象ＭＢの動きベクトルが指し示す参照画像データを前記参照画像バッファから読み出し、前記参照画像データと前記符号化ストリームに記述された残差画像データとを用いて前記復号化対象マクロブロックの復号化を行う動き補償復号化処理手段と、を備えることを特徴とするものである。

また、本願の第２の発明の画像復号化装置は、本願の第１の発明の画像復号化装置において、前記参照領域情報抽出手段は、前記復号化対象ピクチャの先頭部分で参照ピクチャ毎の前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御手段に送信し、前記参照領域読み出し制御手段は、前記参照領域情報抽出手段から取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とするものである。

また、本願の第３の発明の画像復号化装置は、本願の第１の発明の画像復号化装置において、前記参照領域情報抽出手段は、前記符号化ストリームのユーザデータに記述されている前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御手段に送信し、前記参照領域読み出し制御手段は、前記参照領域情報抽出手段から取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とするものである。

また、本願の第４の発明の画像符号化装置は、動きベクトルを用いた画面間予測により画像を符号化する画像符号化装置であって、符号化対象ピクチャを符号化する際に、前記符号化対象ピクチャ内のＭＢの動きベクトルが参照する領域情報である探索領域情報、すなわち、前記符号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を決定する探索領域決定手段と、前記探索領域決定手段において決定された各参照ピクチャの前記探索領域情報を、各ピクチャの動きベクトルとして符号化ストリーム中に記述して符号化する参照領域情報埋め込み符号化処理手段と、を備えることを特徴とするものである。

また、本願の第５の発明の画像符号化装置は、本願の第４の発明の画像符号化装置において、前記参照領域情報埋め込み符号化処理手段は、前記探索領域決定手段で決定された各参照ピクチャの前記探索領域情報を、各ピクチャの先頭ＭＢもしくは先頭から複数個のＭＢの動きベクトルとし、それ以外のＭＢの動きベクトルは、動き探索を実施して検出した位置を動きベクトルとして符号化を実施することを特徴とするものである。

また、本願の第６の発明の画像符号化装置は、本願の第５の発明の画像符号化装置において、前記参照領域情報埋め込み符号化処理手段は、前記探索領域決定手段で決定された各参照ピクチャの前記探索領域情報を、前記符号化ストリームのユーザデータ領域に記述して符号化することを特徴とするものである。

また、本願の第７の発明の画像復号化方法は、動きベクトルを用いた画面間予測により符号化された符号化ストリームを復号化する画像復号化方法であって、前記符号化ストリームから復号化対象ピクチャ内のＭＢの動きベクトルが参照する領域情報である参照領域情報、すなわち、前記復号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を抽出する参照領域情報抽出ステップと、前記参照領域情報に基づいて、前記復号化対象ＭＢの動き補償を開始する前に、あらかじめ、前記復号化対象ＭＢの参照領域の画像データを、符号化対象ピクチャの参照画像が蓄えられた外部メモリから読み出し、参照画像バッファに書き込む参照領域読み出し制御ステップと、前記符号化ストリームに記述された前記復号化対象ＭＢの動きベクトルが指し示す参照画像データを前記参照画像バッファから読み出し、前記参照画像データと前記符号化ストリームに記述された残差画像データとを用いて前記復号化対象ＭＢの復号化を行う動き補償復号化処理ステップと、を備えることを特徴とするものである。

また、本願の第８の発明の画像復号化方法は、本願の第７の発明の画像復号化方法において、前記参照領域情報抽出ステップにおいては、前記復号化対象ピクチャの先頭部分で参照ピクチャ毎の前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御ステップに送信し、前記参照領域読み出し制御ステップにおいては、前記参照領域情報抽出ステップから取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とするものである。

また、本願の第９の発明の画像復号化方法は、本願の第７の発明の画像復号化方法において、前記参照領域情報抽出ステップにおいては、前記符号化ストリームのユーザデータに記述されている前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御ステップに送信し、前記参照領域読み出し制御ステップにおいては、前記参照領域情報抽出ステップから取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とするものである。

また、本願の第１０の発明の画像符号化方法は、動きベクトルを用いた画面間予測により画像を符号化する画像符号化方法であって、符号化対象ピクチャを符号化する際に、前記符号化対象ピクチャ内のＭＢの動きベクトルが参照する領域情報である探索領域情報、すなわち、前記符号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を決定する探索領域決定ステップと、前記探索領域決定ステップにおいて決定された各参照ピクチャの前記探索領域情報を、各ピクチャの動きベクトルとして符号化ストリーム中に記述して符号化する参照領域情報埋め込み符号化処理ステップと、を備えることを特徴とするものである。

また、本願の第１１の発明の画像符号化方法は、本願の第１０の発明の画像符号化方法において、前記参照領域情報埋め込み符号化処理ステップにおいては、前記探索領域決定ステップにおいて決定された各参照ピクチャの前記探索領域情報を、各ピクチャの先頭ＭＢもしくは先頭から複数個のＭＢの動きベクトルとし、それ以外のＭＢの動きベクトルは、動き探索を実施して検出した位置を動きベクトルとして符号化を実施することを特徴とするものである。

また、本願の第１２の発明の画像符号化方法は、本願の第１１の発明の画像符号化方法において、前記参照領域情報埋め込み符合化処理ステップにおいては、前記探索領域決定ステップにおいて決定された各参照ピクチャの探索領域情報を、前記符号化ストリームのユーザデータ領域に記述して符号化することを特徴とするものである。

本発明は、参照領域情報が埋め込まれた符号化ストリームを復号化する場合に、符号化ストリーム中に埋め込まれた参照領域情報を抽出し、符号化対象ＭＢの動き補償を開始する前に、参照画像の外部メモリから参照画像バッファへの読み込み制御に利用することにより、効率的な参照画像バッファの利用が可能となり、外部メモリのバンド幅の低減、動き補償復号化処理の高速化および回路規模の削減を図ることができる。

以下に、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
図１を用いて、本発明の実施の形態１に係る画像復号化装置の構成について説明する。なお、図１は、本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図である。また、ここでは、Ｈ．２６４方式符号化ストリームを復号化する場合を例に挙げて説明する。

図１において、画像復号化装置は、符号化ストリームを入力として復号化された画像データを出力画像データとして出力し、動き補償復号化処理手段１１、参照領域情報抽出手段１２、参照領域読み出し制御手段１３および参照画像バッファ１４とで構成され、外部に外部メモリ１５を備える。

参照領域情報抽出手段１２は、復号化対象ピクチャ（復号化対象画像）の先頭で参照ピクチャ（参照画像）毎の参照領域情報を抽出する。参照領域情報は、図３に示すように、参照ピクチャ毎に、復号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を各々のＭＢとの相対位置で表す。なお、図３は、参照領域情報を示す概念図である。

ここで、図２を用いて、参照領域情報抽出手段１２の動作について説明する。なお、図２は、本発明の実施の形態１に係る参照領域情報抽出手段の動作の流れを示すフローチャートである。

まず、復号化対象のＭＢがピクチャの先頭のＭＢであるか否かを判断する（Ｓ２１）。ピクチャの先頭ＭＢの場合（ステップＳ２１においてＹｅｓの場合）、その先頭ＭＢを復号化した際に含まれる動きベクトルを得る（Ｓ２２）。次に、復号化対象ピクチャの全ての参照ピクチャを参照している動きベクトルが揃っているか否かを判断する（Ｓ２３）。揃っていない場合（ステップＳ２３においてＮｏの場合）は、ステップＳ２２に戻り、次のＭＢを復号化して新たな動きベクトルを得、全ての参照ピクチャを参照している動きベクトルが揃うまでこの処理を繰り返す。揃っている場合（ステップＳ２３においてＹｅｓの場合）は、参照ピクチャ毎の動きベクトルを、参照領域の中心位置として参照領域読み出し制御手段１３へ送る（Ｓ２４）。

次に、図４を用いて、さらに詳しく説明する。なお、図４は、参照画像と動きベクトルの取り得る範囲の一例を示す図である。

図４において、復号化対象ピクチャ（ハ）が参照画像３枚を参照しているとすると、復号化対象ピクチャ内の復号化対象ＭＢが、参照画像（イ）を参照した場合に動きベクトルの取り得る範囲をＡ、参照画像（ロ）を参照した場合に動きベクトルの取り得る範囲をＢ、および参照画像（ニ）を参照した場合に動きベクトルの取り得る範囲をＣとすると、復号化対象ピクチャ内の先頭のＭＢは、それぞれの動きベクトルの取り得る範囲の中心位置を表す動きベクトルＭＶ＿Ａ、動きベクトルベクトルＭＶ＿Ｂ、および動きベクトルベクトルＭＶ＿Ｃを、それぞれの参照画像（参照ピクチャ）を参照する動きベクトルとして持つ。

図５は、参照領域情報の動きベクトルへの埋め込みを示す概念図であるが、図５に示すように、参照画像が３枚の場合には、先頭ＭＢは、１６ｘ８のサブブロックに分割されて、一方のサブブロックが、参照画像（イ）を参照する動きベクトルＭＶ＿Ａと参照画像（ニ）を参照する動きベクトルＭＶ＿Ｃを持ち、他方のサブブロックが参照画像（ロ）を参照する動きベクトルＭＶ＿Ｂを持つ。勿論、サブブロックは８ｘ１６に分割されても構わない。復号化装置の制限や復号化規格の制限によって、ＭＢをサブブロックへ分割できない場合には、１つのＭＢで全ての参照画像への動きベクトルを表現できないため、先頭のＭＢが、参照画像（イ）を参照する動きベクトルＭＶ＿Ａと参照画像（ニ）を参照する動きベクトルＭＶ＿Ｃを持ち、２番目のＭＢが参照画像（ロ）を参照する動きベクトルＭＶ＿Ｂを持つ。

なお、ここで説明した参照領域の位置情報と先頭ＭＢの持つ動きベクトルとの対応は、一例であり、これに限定されるものではない。

次に、図６を用いて、参照領域読み出し制御手段１３の動作について説明する。なお、図６は、本発明の実施の形態１に係る参照領域読み出し制御手段の動作の流れを示すフローチャートである。また、ここでは、１ＭＢライン毎の参照画像領域を取り込む場合を例に挙げて説明する。

図６において、まず、復号化対象ＭＢがピクチャの先頭ＭＢか否かを判定する（Ｓ６１）。ピクチャの先頭ＭＢの場合（ステップＳ６１においてＹｅｓの場合）には、参照画像毎に参照領域情報を設定する。このとき、参照領域の中心位置は参照領域情報抽出手段１２から得た値に設定する（Ｓ６２）。参照領域の水平・垂直サイズは、参照領域情報（探索領域情報）を埋め込んだ符号化装置の探索領域とし、その値は復号化装置が予め得ているものとする。一方、ステップＳ６１において、復号化対象ＭＢがピクチャの先頭ＭＢでないと判定した場合（ステップＳ６１においてＮｏの場合）には、ステップＳ６３に移行する。

次に、復号化対象ＭＢがＭＢラインの先頭ＭＢか否かを判定する（Ｓ６３）。復号化対象ＭＢがＭＢラインの先頭ＭＢでないと判定した場合（ステップＳ６３においてＮｏの場合）には、後述するステップＳ６６に移行し、復号化対象ＭＢがＭＢラインの先頭ＭＢであると判定した場合（ステップＳ６３においてＹｅｓの場合）には、そのＭＢラインの参照領域の画素データ（画像データ）が全て参照画像バッファ１４にあるか否かを判定する（Ｓ６４）。

ここで、図７を用いて、ＭＢラインの参照領域について説明する。なお、図７は、本発明の実施の形態１の参照領域読み出し制御における動きベクトルの参照領域の一例を示す図である。

図７において、（Ａ）は１行目のＭＢラインの参照領域を表している。つまり、１行目のＭＢラインの参照領域は、そのＭＢラインに含まれるＭＢの動きベクトルの参照領域を包含した領域で、参照ピクチャ内の領域である。また、（Ｂ）は、同様に、２行目のＭＢラインの動きベクトルの参照領域を表す。

図６に戻って、ＭＢラインの参照領域の画像データが全て参照画像バッファ１４に含まれていると判定した場合（ステップＳ６４においてＹｅｓの場合）には、後述するステップＳ６６に移行し、ＭＢラインの参照領域の画像データが全て参照画像バッファ１４に含まれていないと判定した場合（ステップＳ６４においてＮｏの場合）には、参照画像バッファ１４内の不要になった画像データを削除し、不足している画像データを外部メモリ１５から参照画像バッファ１４に取り込む（Ｓ６５）。勿論、不要になった画像データに、不足している画像データを上書きして読み込んでもよい。

次に、図７の（Ｃ）を用いて、ステップＳ６５における処理について説明する。２行目のＭＢラインの参照画像を読み込むとすると、不要になった画像データとは、１行目のＭＢラインの参照領域全体の上半分の領域であり、参照画像バッファ１４に不足している画像データとは、２行目のＭＢラインの参照領域全体の下半分の領域である。

再び図６に戻って、以上の参照画像領域の読み出しを、入力符号化ストリームの終わりまで繰り返す。すなわち、ステップ６１〜ステップ６５における処理を終えた復号化対象ＭＢが、最後の復号化対象ＭＢ（符号化ストリームの終わり）であるか否かを判定（Ｓ６６）し、最後の復号化対象ＭＢであると判定した場合（ステップＳ６６においてＹｅｓの場合）には、参照画像領域の読み出し処理を終了させ、最後の復号化対象ＭＢでないと判定した場合（ステップＳ６６においてＮｏの場合）には、ステップＳ６１に戻り、入力符号化ストリームの終わりまでこれらの処理を繰り返す。

このように、参照領域読み出し制御手段１３において参照領域の読み出し制御を行うことにより、各ＭＢの独立した動きベクトルの位置を特定する前に、すなわち、復号化対象ＭＢの動き補償を開始する前に、復号化に必要な参照画像データを参照画像バッファ１４に蓄えることが可能となる。

動き補償復号化処理手段１１は、符号化ストリームに記述された復号化対象ＭＢの動きベクトルが指し示す領域を参照画像バッファ１４から読み出して参照画像データとし、この参照画像バッファ１４から読み出した参照画像データと符号化ストリームに記述されたＭＢの残差画像データとを加算して、復号化対象ＭＢの復号化処理を行って復号化した画像データを得、出力画像データとして出力するとともに、外部メモリ１５に送信して蓄積する。外部メモリ１５に蓄積された復号化された画像データは、次のピクチャを復号化する際に利用される。

なお、入力される符号化ストリームに記述されているＭＢの画像データは、動きベクトルとその動きベクトルが指し示す参照画像の差分値データとして記述されているが、残差画像データとはこの差分値データに相当する画像データである。

以上のように、画像復号化装置において、参照領域読み出し制御手段１３が外部メモリ１５から参照画像バッファ１４への読み出し制御を行うことにより、ＭＢ毎に独立な動きベクトルの参照画像を、動きベクトルを復号化する前に予め参照画像バッファ１４に保持することができるので、高速な動き補償が可能となる。さらに、参照画像バッファ１４を効率的に利用でき、バッファの容量を最小限にすることが可能であるばかりでなく、参照画像バッファ１４により、高速な外部メモリが不要となり、回路規模の縮小および消費電力の削減を実現することができる。

なお、本発明の実施の形態１においては、参照領域読み出し制御手段１３は、ＭＢライン毎に参照画像の読み出しを実施する場合を例に挙げて説明したが、これに限るものではなく、例えば、参照画像バッファの容量に応じて、複数のＭＢ毎に参照画像の読み出しを実施してもよいし、複数のＭＢライン毎に参照画像の読み出しを実施してもよい。

（実施の形態２）
図８を用いて、本発明の実施の形態２に係る画像符号化装置の構成について説明する。なお、図８は、本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。

図８において、画像符号化装置は、入力画像データを入力として符号化されたストリームデータ（符号化ストリームデータ）を出力し、探索領域決定手段８５、探索領域読み出し制御手段８４、参照領域情報埋め込み符号化処理手段８１、参照画像バッファ８３および外部メモリ８２を備える。

探索領域決定手段８５は、ピクチャの符号化が開始されるときに、参照画像毎に探索領域情報（探索領域の相対的な中心位置に関する情報であり、画像を復号化する場合の参照領域情報に相当する）を決定し、決定した探索領域情報を探索領域読み出し制御手段８４および参照領域情報埋め込み符号化処理手段８１に送信する。

ここで、探索領域とは、符号化対象ＭＢとブロックマッチングを行い、誤差が最小となる位置を探索して動きベクトルとする動き探索処理を実施する範囲のことである。参照画像全体をブロックマッチングすると、精度がよい動きベクトルを得ることができるが、ブロックマッチングは画素毎の差分を求めて誤差を計算する必要があるので処理量は膨大となり、回路規模の拡大や消費電力の増大を招くため現実的ではない。一般的には、探索領域として参照画像の一部分のみを設定して動き探索を行う。どのような探索領域の大きさ（水平サイズ・垂直サイズ）にするかは、符号化装置や符号化する画像サイズによって異なる。符号化対象ＭＢに対する探索領域の相対的な中心位置の決定方法は、過去の符号化済みピクチャの動き探索結果を用いる方法等があるが、ここでは、本発明には関連がないので、詳細については省略する。

探索領域読み出し制御手段８４は、探索領域決定手段８５で決定された探索領域情報に基づいて、ピクチャの符号化が開始される前に、参照画像バッファ８３に対して、符号化対象ＭＢの各参照ピクチャの参照領域の画像データを、参照ピクチャの画像データが蓄えられた外部メモリ８２から読み込むように制御する。

参照領域情報埋め込み符号化処理手段８１は、探索領域決定手段８５から受け取った参照画像毎の参照領域情報（各参照画像の探索領域の相対的な中心位置に関する情報）をピクチャ先頭のＭＢの動きベクトルとして符号化を実施する。

次に、図９を用いて、参照領域情報埋め込み符号化処理手段８１の動作について詳しく説明する。なお、図９は、本発明の実施の形態２に係る参照領域情報埋め込み符号化処理手段における処理の流れを示すフローチャートである。

まず、ピクチャの符号化開始の際に、符号化対象ピクチャの前方参照枚数：Ｎ枚、後方参照枚数：Ｍ枚、および本発明の実施の形態２に係る符号化装置または規格で定められたＭＢの分割可能数：Ｄｐｏｓｓｉｂｌｅ個を決定する（Ｓ９１）。

続いて、埋め込みが必要な前方参照領域情報の数：Ｒｆと後方参照領域情報の数：Ｒｂを求める。ここで、Ｒｆは前方予測枚数：Ｎであり、Ｒｂは後方予測枚数：Ｍである（Ｓ９２）。求めたＲｆおよびＲｂの値に基づいて、埋め込みが必要な参照領域情報があるか否かを判定する。ＲｆおよびＲｂが共に正値である場合は埋め込む参照領域情報があると判定し、それ以外の場合は埋め込む参照領域情報がないと判定する（Ｓ９３）。

ステップＳ９３において埋め込む参照領域情報があると判定した場合（ステップＳ９３においてＹｅｓの場合）、参照領域情報の埋め込みに必要なＭＢの分割数：Ｄｎｅｅｄを求める。ＭＢは、前方と後方を参照する動きベクトルを両方とも持つことが可能であるため、必要なＭＢの分割数：Ｄｎｅｅｄは、前方参照領域情報と後方参照領域情報の内のいずれか大きい方の値ということになる（Ｓ９４）。

続いて、ＭＢの分割数：Ｄｉｖｉｄを決定する。必要なＭＢの分割数：Ｄｎｅｅｄと、ＭＢの可能な分割数：Ｄｐｏｓｓｉｂｌｅの小さい方がＭＢの分割数：Ｄｉｖｉｄとなる（Ｓ９５）。ＭＢの分割数：Ｄｉｖｉｄを決定した後、埋め込みが必要な前方参照領域情報と後方参照領域情報を更新（ここでは、Ｒｆ＝Ｒｆ−Ｄｉｖｉｄ、Ｒｂ＝Ｒｂ−Ｄｉｖｉｄに更新）する（Ｓ９６）。

続いて、決定された分割数：ＤｉｖｉｄでＭＢをサブＭＢに分割し、それぞれの動きベクトルを参照領域情報で示された参照画像と探索領域の中心位置として、ＭＢの符号化を実施する（Ｓ９７）。

一方、ステップＳ９３において、ＭＢの符号化の際に、埋め込みが必要な参照画像領域情報および／または後方参照領域情報がない場合（ステップＳ９３においてＮｏの場合）には、探索領域を通常の動き検出を行って動きベクトルを決定し、ＭＢの分割数やＭＢタイプを決定してＭＢを符号化する（Ｓ９８）。

ステップＳ９７またはステップＳ９８における符号化処理が終わると、ピクチャの符号化が終了したか否かを判断し（Ｓ９９）、ピクチャの符号化が終了していないと判断した場合（ステップＳ９９においてＮｏの場合）は、ステップＳ９３に移行して、ステップＳ９３〜ステップＳ９７またはステップＳ９３およびステップＳ９８の処理を、ステップＳ９９においてピクチャの符号化が終了したと判断されるまで繰り返す。

以上の処理を行うことにより、ピクチャの先頭ＭＢに参照画像毎の参照領域情報を埋め込むことが可能となる。

説明の繰り返しになるが、参照画像が３枚の場合には、図５に示すように、先頭ＭＢは、１６ｘ８のサブブロックに分割されて、一方のサブブロックが、図４に示す参照画像（イ）を参照する動きベクトルＭＶ＿Ａと、参照画像（ニ）を参照する動きベクトルＭＶ＿Ｃを持ち、他方のサブブロックが、参照画像（ロ）を参照する動きベクトルＭＶ＿Ｂを持つ。

なお、サブブロックの分割は８ｘ１６に分割されても勿論構わない。また、符号化装置の制限や符号化規格の制限によって、ＭＢをサブブロックに分割できない場合には、１つのＭＢで全ての参照画像への動きベクトルを表現できないため、先頭のＭＢが、参照画像（イ）を参照する動きベクトルＭＶ＿Ａと参照画像（ニ）を参照する動きベクトルＭＶ＿Ｃを持ち、２番目のＭＢが参照画像（ロ）を参照する動きベクトルＭＶ＿Ｂを持つ。

（実施の形態３）
本発明の実施の形態３に係る画像復号化装置の構成は、本発明の実施の形態１に係る画像復号化装置と基本的に同様であるが、参照領域情報抽出手段１２の動作が異なる。

本発明の実施の形態３に係る参照領域情報抽出手段１２は、本発明の実施の形態１に係る参照領域情報抽出手段１２における参照領域情報の抽出方法とは異なり、入力された符号化ストリーム中のユーザデータ領域から参照領域情報を抽出する。例えば、Ｈ．２６４方式の場合には、Ｕｓｅｒ＿Ｄａｔａ＿Ｕｎｒｅｇｉｓｔｅｒｄ＿ＳＥＩ中に埋め込まれた参照画像とその探索領域の中心座標を読み出し、それらを参照領域読み出し制御手段１３に送信する。勿論、参照領域情報を上記以外のデータ内に埋め込んでもかまわない。

（実施の形態４）
本発明の実施の形態４に係る画像符号化装置の構成は、本発明の実施の形態２に係る画像符号化装置と基本的に同様であるが、参照領域情報埋め込み符号化処理手段８１の動作が異なる。

本発明の実施の形態４に係る参照領域情報埋め込み符号化処理手段８１は、本発明の実施の形態２に係る参照領域情報埋め込み符号化処理手段８１における参照領域情報の埋め込み方法とは異なり、探索領域決定手段８５から送られた参照領域情報を、符号化ストリーム中のユーザデータ領域に埋め込む。例えば、Ｈ．２６４方式の場合には、Ｕｓｅｒ＿Ｄａｔａ＿Ｕｎｒｅｇｉｓｔｅｒｄ＿ＳＥＩ中に参照画像とその探索領域の中心座標を埋め込む。勿論、参照領域情報を上記以外のデータ内に埋め込んでもかまわない。

なお、本発明は、本発明の実施の形態１〜４における各装置が各手段を備える画像復号化装置、または画像符号化装置として提供することができるばかりでなく、画像復号化装置または画像符号化装置が具備する各手段を各ステップとする画像復号化方法または画像符号化方法、および、画像復号化方法または画像符号化方法における復号化方法または符号化方法をコンピュータに実行させる画像復号化プログラムまたは画像符号化プログラムを提供することも可能である。そして、これらの画像復号化プログラムおよび画像符号化プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体やインターネットを介して流通させることができる。

本発明は、画像復号化装置および画像符号化装置並びに画像復号化方法および画像符号化方法に適用でき、特に、通信機能を備えるパーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話機およびデジタル放送の放送局等に適用できる。

本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図 本発明の実施の形態１に係る参照領域情報抽出手段の動作の流れを示すフローチャート 参照領域情報を示す概念図 参照画像と動きベクトルの取り得る範囲の一例を示す図 参照領域情報の動きベクトルへの埋め込みを示す概念図 本発明の実施の形態１に係る参照領域読み出し制御手段の動作の流れを示すフローチャート 本発明の実施の形態１の参照領域読み出し制御における動きベクトルの参照領域の一例を示す図 本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図 本発明の実施の形態２に係る参照領域情報埋め込み符号化処理手段における処理の流れを示すフローチャート Ｂｒピクチャを利用しない場合のＢピクチャの参照関係の一例を示す図 Ｂｒピクチャを利用する場合のＢピクチャの参照関係の一例を示す図 従来のデコーダの構成の一例を示すブロック図 Ｈ．２６４方式のＶＵＩパラメータで示される動きベクトルの存在範囲を示す図

１１ 動き補償復号化処理手段
１２ 参照領域情報抽出手段
１３ 参照領域読み出し制御手段
１４ 参照画像バッファ
１５ 外部メモリ
８１ 参照領域情報埋め込み符号化処理手段
８２ 外部メモリ
８３ 参照画像バッファ
８４ 探索領域読み出し制御手段
８５ 探索領域決定手段
１２１ 動き補償復号処理部
１２２ 外部メモリ
１２３ 参照画像バッファ

Claims (12)

1. 動きベクトルを用いた画面間予測により符号化された符号化ストリームを復号化する画像復号化装置であって、
   前記符号化ストリームから復号化対象ピクチャ内のマクロブロック（以下、ＭＢと称す）の動きベクトルが参照する領域情報である参照領域情報、すなわち、前記復号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を抽出する参照領域情報抽出手段と、
   前記参照領域情報に基づいて、前記復号化対象ＭＢの動き補償を開始する前に、あらかじめ、前記復号化対象ＭＢの参照領域の画像データを、符号化対象ピクチャの参照画像が蓄えられた外部メモリから読み出し、参照画像バッファに書込む参照領域読み出し制御手段と、
   前記符号化ストリームに記述された前記復号化対象ＭＢの動きベクトルが指し示す参照画像データを前記参照画像バッファから読み出し、前記参照画像データと前記符号化ストリームに記述された残差画像データとを用いて前記復号化対象ＭＢの復号化を行う動き補償復号化処理手段と、
   を備えることを特徴とする画像復号化装置。
2. 前記参照領域情報抽出手段は、前記復号化対象ピクチャの先頭部分で参照ピクチャ毎の前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御手段に送信し、
   前記参照領域読み出し制御手段は、前記参照領域情報抽出手段から取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とする請求項１記載の画像復号化装置。
3. 前記参照領域情報抽出手段は、前記符号化ストリームのユーザデータに記述されている前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御手段に送信し、
   前記参照領域読み出し制御手段は、前記参照領域情報抽出手段から取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とする請求項１記載の画像復号化装置。
4. 動きベクトルを用いた画面間予測により画像を符号化する画像符号化装置であって、
   符号化対象ピクチャを符号化する際に、前記符号化対象ピクチャ内のマクロブロック（以下、ＭＢと称す）の動きベクトルが参照する領域情報である探索領域情報、すなわち、前記符号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を決定する探索領域決定手段と、
   前記探索領域決定手段において決定された各参照ピクチャの前記探索領域情報を、各ピクチャの動きベクトルとして符号化ストリーム中に記述して符号化する参照領域情報埋め込み符号化処理手段と、
   を備えることを特徴とする画像符号化装置。
5. 前記参照領域情報埋め込み符号化処理手段は、前記探索領域決定手段で決定された各参照ピクチャの前記探索領域情報を、各ピクチャの先頭ＭＢもしくは先頭から複数個のＭＢの動きベクトルとし、それ以外のＭＢの動きベクトルは、動き探索を実施して検出した位置を動きベクトルとして符号化を実施することを特徴とする請求項４記載の画像符号化装置。
6. 前記参照領域情報埋め込み符号化処理手段は、前記探索領域決定手段で決定された各参照ピクチャの前記探索領域情報を、前記符号化ストリームのユーザデータ領域に記述して符号化することを特徴とする請求項５記載の画像符号化装置。
7. 動きベクトルを用いた画面間予測により符号化された符号化ストリームを復号化する画像復号化方法であって、
   前記符号化ストリームから復号化対象ピクチャ内のマクロブロック（以下、ＭＢと称す）の動きベクトルが参照する領域情報である参照領域情報、すなわち、前記復号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を抽出する参照領域情報抽出ステップと、
   前記参照領域情報に基づいて、前記復号化対象ＭＢの動き補償を開始する前に、あらかじめ、前記復号化対象ＭＢの参照領域の画像データを、符号化対象ピクチャの参照画像が蓄えられた外部メモリから読み出し、参照画像バッファに書き込む参照領域読み出し制御ステップと、
   前記符号化ストリームに記述された前記復号化対象ＭＢの動きベクトルが指し示す参照画像データを前記参照画像バッファから読み出し、前記参照画像データと前記符号化ストリームに記述された残差画像データとを用いて前記復号化対象ＭＢの復号化を行う動き補償復号化処理ステップと、
   を備えることを特徴とする画像復号化方法。
8. 前記参照領域情報抽出ステップにおいては、前記復号化対象ピクチャの先頭部分で参照ピクチャ毎の前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御ステップに送信し、
   前記参照領域読み出し制御ステップにおいては、前記参照領域情報抽出ステップから取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とする請求項７記載の画像復号化方法。
9. 前記参照領域情報抽出ステップにおいては、前記符号化ストリームのユーザデータに記述されている前記参照領域情報を抽出し、抽出した前記参照領域情報を前記参照領域読み出し制御ステップに送信し、
   前記参照領域読み出し制御ステップにおいては、前記参照領域情報抽出ステップから取得した前記参照領域情報を基にして、参照画像の参照領域の画像データを、前記外部メモリから前記参照画像バッファへ読み込むことを特徴とする請求項７記載の画像復号化方法。
10. 動きベクトルを用いた画面間予測により画像を符号化する画像符号化方法であって、
    符号化対象ピクチャを符号化する際に、前記符号化対象ピクチャ内のマクロブロック（以下、ＭＢと称す）の動きベクトルが参照する領域情報である探索領域情報、すなわち、前記符号化対象ピクチャ内の各ＭＢの動きベクトルが存在する範囲の中心位置を、各々のＭＢとの相対的な位置で表す情報を決定する探索領域決定ステップと、
    前記探索領域決定ステップにおいて決定された各参照ピクチャの前記探索領域情報を、各ピクチャの動きベクトルとして符号化ストリーム中に記述して符号化する参照領域情報埋め込み符号化処理ステップと、
    を備えることを特徴とする画像符号化方法。
11. 前記参照領域情報埋め込み符号化処理ステップにおいては、前記探索領域決定ステップにおいて決定された各参照ピクチャの前記探索領域情報を、各ピクチャの先頭ＭＢもしくは先頭から複数個のＭＢの動きベクトルとし、それ以外のＭＢの動きベクトルは、動き探索を実施して検出した位置を動きベクトルとして符号化を実施することを特徴とする請求項１０記載の画像符号化方法。
12. 前記参照領域情報埋め込み符号化処理ステップにおいては、前記探索領域決定ステップにおいて決定された各参照ピクチャの探索領域情報を、前記符号化ストリームのユーザデータ領域に記述して符号化することを特徴とする請求項１１記載の画像符号化方法。