JP2011223293A - 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置 - Google Patents

Abstract

【課題】符号化効率を改善させ、少ないデータ量で効率よく画像データを圧縮伝送する画像符号化方法等を提供する。
【解決手段】符号化対象画像と、符号化対象画像の予測画像とに基づき、符号化データを生成する画像符号化方法であって、符号化対象画像を入力する手順と、入力された符号化対象画像と予測画像との差分信号を生成する手順と、差分信号に基づき生成される局所復号画像に、超解像処理を施す手順と、超解像処理が施された局所復号画像に基づき、イントラ予測を実行することによって、イントラ予測画像を生成する手順と、差分信号に基づき生成される局所復号画像に基づき、インター予測を実行することによって、インター予測画像を生成する手順と、イントラ予測画像と、インター予測画像とから、符号化効率の高い画像を予測画像として選択する手順とを含む。
【選択図】図２

Description

本発明は、画像符号化方法、画像復号化方法に関し、画像データを効率的に符号化又は復号化するための画像符号化方法、画像復号化方法に関する。

従来、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の規格の画像データの符号化処理又は復号化処理では、小数画素精度での動き検出・動き補償（インター予測）のために、隣接画素から補間フィルタによって参照画像データを生成する（非特許文献１参照）。

I. Richardson,"H.264 and MPEG-4 Video Compression: Video Coding for Next-generation Multimedia", John Wiley & Sons, Ltd.(2003)

しかしながら、上記の符号化処理又は復号化処理では、動き予測の精度が低下するため、符号化効率の改善が課題となっていた。

すなわち、ＭＰＥＧ−２規格の画像データの符号化処理又は復号化処理では、小数画素精度での動き補償のために、２タップのフィルタ処理が適用される。しかしながら、このフィルタ処理は単純な画素補間であるため、高周波成分がカットされ、動き予測の精度が低下してしまう。一方、ＭＥＰＧ−４、Ｈ．２６４規格の画像データの符号化処理又は復号化処理では、各々８タップ、６タップのフィルタ処理が適用される。しかしながら、これらのフィルタ処理は高周波成分の調整が十分とはいえないため、動き予測の精度の向上による符号化効率の改善が課題となる。

本発明は、上述した課題を考慮したものであって、符号化効率を改善させ、少ないデータ量で効率よく画像データ（映像信号）を圧縮・伝送する画像符号化方法等を提供することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、符号化対象画像と、前記符号化対象画像の予測画像とに基づき、符号化データを生成する画像符号化方法であって、前記符号化対象画像を入力する手順と、入力された前記符号化対象画像と前記予測画像との差分信号を生成する手順と、前記差分信号に基づき生成される局所復号画像に、超解像処理を施す手順と、前記超解像処理が施された局所復号画像に基づき、イントラ予測を実行することによって、イントラ予測画像を生成する手順と、前記差分信号に基づき生成される局所復号画像に基づき、インター予測を実行することによって、インター予測画像を生成する手順と、前記イントラ予測画像と、前記インター予測画像とから、符号化効率の高い画像を前記予測画像として選択する手順と、を含むことを特徴とする。

本発明によれば、高解像度のイントラ予測画像を生成することによって、符号化効率を改善させ、少ないデータ量で効率よく画像データを圧縮・伝送することができる。

本発明の第１の実施形態の画像符号化装置の構成例を示す図である。 本発明の第１の実施形態の符号化部の構成例を示す図である。 本発明の第１の実施形態の超解像部の処理の概要を説明する図である。 本発明の第１の実施形態の超解像部の処理の概要を示すフローチャートである。 本発明の第１の実施形態の超解像部の処理の一例を説明する図である。 本発明の第１の実施形態の超解像部の処理の一例を説明する図である。 本発明の第１の実施形態の超解像部の第１の構成例を説明する図である。 本発明の第１の実施形態の超解像部の第１の構成例を説明する図である。 本発明の第１の実施形態の超解像部の第１の構成例を説明する図である。 本発明の第１の実施形態の超解像部の第２の構成例を示す図である。 本発明の第１の実施形態の超解像部の第２の構成例を説明する図である。 本発明の第１の実施形態の超解像部の第２の構成例を説明する図である。 本発明の第１の実施形態の超解像部の第２の構成例を説明する図である。 第２の構成例の超解像部のアップレート器の周波数−利得の特性を示す図である。 図９に示す周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示す図である。 第２の構成例の超解像部のπ／２位相シフト器の周波数−利得の特性を示す図である。 第２の構成例の超解像部のπ／２位相シフト器の周波数−位相差の特性を示す図である。 図１１Ｂに示す周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示す図である。 第２の構成例の超解像部の係数決定器を説明する図である。 本発明の第１の実施形態の画像復号化装置の構成例を示す図である。 本発明の第２の実施形態の符号化部の構成例を示す図である。 本発明の第３の実施形態の符号化部の構成例を示す図である。 本発明の第４の実施形態の画像符号化装置の構成例を示す図である。 本発明の第５の実施形態の画像符号化装置の構成例を示す図である。 本発明の第６の実施形態の画像符号化装置（画像復号化装置）の構成例を示す図である。

以下、本発明の各実施の形態について図面に基づいて説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の画像符号化装置１の構成例を示す図である。この画像符号化装置１は、映像入力部１０１、領域分割部１０２、符号化部１０３、可変長符号化部１０４を備える。この画像符号化装置１は、符号化対象の画像データ（映像データ）を入力し、入力された画像データを符号化することによって符号化データ（符号化ストリーム）を生成し、外部に出力する。

映像入力部１０１は、符号化対象の画像データを入力し、入力された画像データを記憶する。この映像入力部１０１は、入力された画像データが複数の連続するフレーム（ピクチャ）の集合である場合、フレームの集合を符号化する順に並べ替える。具体的には、入力された画像データがフレーム内予測ピクチャ（Ｉピクチャ）、片方向予測ピクチャ(Ｐピクチャ)及び双方向予測ピクチャ(Ｂピクチャ)のいずれであるかに応じて、表示順から符号化順に並べ替える。

領域分割部１０２は、映像入力部１０１に入力された画像データを、符号化対象領域に分割する。分割領域の形状は、正方形、長方形領域等のブロック単位の形状とすることができる。なお、ｗａｔｅｒｓｈｅｄ法等によって抽出されるオブジェクト単位の形状であってもよい。また、分割領域のサイズは、従来の符号化規格で採用される１６×１６画素等の大きさとすることができる。なお、６４×６４画素のような大きなサイズであってもよい。

符号化部１０３は、領域分割部１０２によって分割された画像データの各領域を、符号化、局所復号する。この符号化部１０３については後述する（図２参照）。

可変長符号化部１０４は、符号化部１０３によって符号化されたデータを、ハフマン符号等を用いて可変長符号化することによって、符号化データを生成し、外部に出力する。

図２は、本発明の第１の実施形態の符号化部１０３の構成例を示す図である。この符号化部１０３は、減算器２０１、周波数変換・量子化部２０２、逆量子化・逆周波数変換部２０３、加算器２０４、復号画像記憶部２０５、超解像部２０６、超解像／復号画像選択部２０７、イントラ予測部２０８、インター予測部２０９、イントラ／インター予測画像選択部２１０を備える。

減算器２０１は、領域分割部１０２から出力された符号化対象領域の画像データと、イントラ／インター予測画像選択部２１０によって選択された予測画像データとを減算することによって、差分画像データを生成する。

周波数変換・量子化部２０２は、減算器２０１によって生成された差分画像データを周波数変換、量子化する。まず、差分画像データをＤＣＴ(Discrete Cosine transform)やウェーブレット変換等を用いて周波数変換することによって、周波数変換係数を生成する。その後、この周波数変換係数を量子化することによって、量子化係数を生成する。

逆量子化・逆周波数変換部２０３は、周波数変換・量子化部２０２によって生成された量子化係数を逆量子化、逆周波数変換する。まず、量子化係数を逆量子化することによって、逆量子化係数を生成する。

加算器２０４は、逆量子化・逆周波数変換部２０３によって逆量子化、逆周波数変換された差分画像データと、イントラ／インター予測画像選択部２１０によって選択された予測画像データとを加算することによって、局所復号画像データを生成する。

復号画像記憶部２０５は、加算器２０４によって生成された局所復号画像データを、参照画像データとして記憶する。

超解像部２０６は、復号画像記憶部２０５に記憶された参照画像データに超解像処理を施す（高解像度化する）。この超解像部２０６の処理については後述する（図３〜１３参照）。

超解像／復号画像選択部２０７は、超解像部２０６によって超解像処理を施された画像データ又は復号画像記憶部２０５に記憶された画像データのうち、符号化効率の高い画像データを選択する。ここでは、例えば、発生符号量と画質との関係から効率の高い画像データを選択するレート歪み最適化モード選択方式によって、符号化効率の高い画像データを選択する。なお、この例に限らず、他の方法によって画像データを選択してもよい。

イントラ予測部２０８は、超解像／復号画像選択部２０７によって選択された画像データに基づき、イントラ予測（画面内予測）を実行することによって、イントラ予測画像データを生成する。イントラ予測とは、画像データの符号化対象領域の周辺画素（隣接画素）からの補間によって、予測画像データを生成する処理である。

インター予測部２０９は、復号画像記憶部２０５に記憶された画像データに基づき、インター予測（画面間予測）を実行することによって、インター予測画像データを生成する。インター予測とは、符号化対象のフレームと異なるフレーム内の領域から、符号化対象領域に近い画像を検出することによって、予測画像データを生成する処理である。

イントラ／インター予測画像選択部２１０は、イントラ予測部２０８によって生成されたイントラ予測画像データ、及び、インター予測部２０９によって生成されたインター予測画像データのうち、符号化効率の高い画像データを選択する。符号化効率の高い画像データを選択する方法は、超解像／復号画像選択部２０７と同様である。

図３は、本発明の第１の実施形態の超解像部２０６の処理の概要を説明する図である。ここでは、超解像部２０６が複数（ここでは２つ）の画像データ８０１を基に、高解像度画像８０２を生成する処理の概要を説明する。

まず、超解像部２０６は、復号画像記憶部２０５に記憶された複数の画像データ８０１を用いて、複数の画像データ８０１の各画素の位置をあわせる（位置合わせ）。次に、超解像部２０６は、位置あわせ後の複数の画像データ８０１の各画素の画素値に所定の係数を乗じて、これら複数の画像データ８０１を合成する（高解像度化）。このようにして、超解像部２０６は高解像度画像８０２を生成する。

図４は、本発明の第１の実施形態の超解像部２０６の処理の概要を示すフローチャートである。超解像部２０６は、大きく分けて（１）位置推定（１８０１）、（２）広帯域補間（１８０３）、（３）加重和（１８０４）の３つの処理によって、高解像度画像８０２（図３参照）を生成する。

（１）まず、超解像部２０６は、複数の画像データの位置を推定する（１８０１）。ここで超解像部２０６は、入力された複数の画像データのサンプリング位相（標本化位置）の差を推定する。次に、超解像部２０６は、推定されたサンプリング位相の差に基づいて、複数の画像データの各画素の位置を合わせる（１８０２）。

（２）その後、超解像部２０６は、広帯域補間を実行する（１８０３）。ここで超解像部２０６は、位置合わせされた複数の画像データを折返し成分も含め、原信号の高周波成分をすべて透過する広帯域のローパスフィルタを用いて、画素数(サンプリング点)を補間して増やし、各画像データを高密度化する。

（３）その後、超解像部２０６は、加重和をとる（１８０４）。ここで超解像部２０６は、高密度化された各画像データの各画素の画素値にサンプリング位相に応じた重み係数を乗じて、加重和をとることによって、各画像データをサンプリングする際に生じた折返し成分を除去するとともに、原信号の高周波成分を復元する。

図５Ａ及び図５Ｂは、本発明の第１の実施形態の超解像部２０６の処理の一例を説明する図である。

ここでは、超解像部２０６が、図５Ａに示すような所定の時間軸上の異なる時刻における各フレームの画像データ（フレーム＃１（１００１）、フレーム＃２(１００２）、フレーム＃３(１００３））を入力し、これら複数のフレームを合成して出力フレーム１００６を生成する例を説明する。なお、説明の簡単のため、被写体は水平方向に移動し（１００４）、超解像部２０６は、水平線１００５上の画像信号に対する１次元の信号処理によって、水平線１００７上の小数画素精度の画像信号を生成する場合を考える。図５Ｂでは、図５Ａの各フレームにおける水平線上の位置と、その位置における信号強度との関係を示している。

まず、図５Ｂ（ａ）及び図５Ｂ（ｃ）に示すように、フレーム＃２（１００２）の信号波形と、フレーム＃１（１００１）の信号波形とでは、被写体の移動量（１００４）に応じた位置ずれが生じている。超解像部２０６は、この位置ずれ量を、（１）位置推定（図４の１８０１）によって求める。その後、この位置ずれがなくなるように、フレーム＃２（１００２）を動き補償（１００７）する。そうすると、動き補償後のフレーム＃２（１００２）は図５Ｂ（ｂ）に示す信号波形になる。また超解像部２０６は、動き補償（１００７）の実行後に、各フレーム＃１（１００１）、＃２（１００２）の画素１００８のサンプリング位相１００９、１０１０の間の位相差θ１０１１を求める。

その後、超解像部２０６は、この位相差θ１０１１に基づき、（２）広帯域補間及び（３）加重和（図４の１８０３、１８０４）を実行することによって、小数画素精度の画像信号（図５Ｂ（ｄ）参照）を生成する。なお、（３）加重和（図４の１８０４）については後述する。図５Ｂ（ｄ）に示す出力フレーム１００６の信号波形では、元の画素１００８の略中間（位相差θ=π）の位置に新規画素１０１２が生成されている。このようにして超解像部２０６は、小数画素精度の画像信号を生成することができる。

なお、本例では、被写体が水平方向に平行移動した場合を例に説明してきた。一方、被写体の動きには回転、拡大・縮小等も考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、被写体の動きを局所的な平行移動に近似して考えることができる。

超解像部２０６の第１の構成例を説明する。第１の構成例の超解像部２０６は、例えば参考文献１（特開平８−３３６０４６号公報）、参考文献２（特開平９−６９７５５号公報）、参考文献３（青木伸“複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998）に記載された構成である。このような構成により第１の構成例の超解像部２０６は、（３）加重和をとる際に（図４の１８０４）、図６Ａ、図６Ｂ及び図６Ｃに示すような少なくとも３枚のフレームの画像信号を用いることによって、１次元方向に２倍の高解像度画像を生成する。

図６Ａ、図６Ｂ及び図６Ｃは、本発明の第１の実施形態の超解像部２０６の第１の構成例を説明する図である。図６Ａ、図６Ｂ及び図６Ｃは、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。図６Ａ、図６Ｂ及び図６Ｃにおいて、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。以下、３枚のフレームの画像信号を用いて（３）加重和（図４の１８０４）をとる処理について詳細に説明する。

まず、（３）加重和の前処理である（２）広帯域補間（図４の１８０３）を説明する。（２）広帯域補間の処理において、超解像部２０６は、ナイキスト周波数の２倍の帯域(周波数０〜サンプリング周波数ｆｓまでの帯域）を透過する広帯域のローパスフィルタを用いて、画素数を補間する。そうすると、原信号と同じ成分（以下、「原成分」という。）と、サンプリング位相に応じた折返し成分の和が得られる。

すなわち、３枚のフレームの画像信号に対して（２）広帯域補間（図４の１８０３）の処理を実行すると、図６Ａに示すように、各フレームの原成分１１０１、１１０２、１１０３の位相はすべて一致する。一方、折返し成分１１０４、１１０５、１１０６の位相は、各フレームのサンプリング位相の差に応じて回転する。なお、それぞれの位相関係を分かりやすくするために、図６Ｂでは、各フレームの原成分１１０１、１１０２、１１０３の位相関係を示している。図６Ｃでは、各フレームの折返し成分１１０４、１１０５、１１０６の位相関係を示している。

ここで、３枚のフレームの画像信号に対して、乗算する係数を適切に決定して（３）加重和（図４の１８０４）の処理を実行する。そうすると、各フレームの折返し成分１１０４、１１０５、１１０６は互いに打ち消されて除去され、原成分のみが抽出される。各フレームの折返し成分１１０４、１１０５、１１０６のベクトル和を０にする、すなわちＲｅ軸（実軸）の成分とＩｍ軸（虚軸）の成分との両方を０とするためには、少なくとも３つの折返し成分が必要である。従って、超解像部２０６は、少なくとも３枚のフレームの画像信号を用いることによって、２倍の小数画素精度の画像信号を生成すること、すなわち１個の折返し成分を除去することができる。

以上説明したように、第１の構成例の超解像部２０６は、３枚のフレームの画像信号を用いることによって、高解像度画像を生成することができる。

図７は、本発明の第１の実施形態の超解像部２０６の第２の構成例を示す図である。第２の構成例の超解像部２０６は、少なくとも２枚のフレームの画像信号を用いることによって、１次元方向に２倍の高解像度画像を生成する。

図７に示す超解像部２０６は、複数（ここでは２つ）の入力部９００Ａ、９００Ｂ、位置推定部９０１、動き補償・アップレート部９１５、位相シフト部９１６、折返し成分除去部９１７を備える。動き補償・アップレート部９１５は、アップレート器９０３、９０４を含む。位相シフト部９１６は、遅延器９０５、９０７、π／２位相シフト器（ヒルベルト変換器）９０６、９０８を含む。折返し成分除去部９１７は、係数決定器９０９、乗算器９１０、９１１、９１２、９１３、加算器９１４を含む。

まず、２つの入力部９００Ａ、９００Ｂの各々は、復号画像記憶部２０５に記憶された複数のフレーム（符号化対象のフレーム＃１と過去に符号化済みのフレーム＃２）の画像信号を入力する。次に、位置推定部９０１は、入力部９００Ａに入力されたフレーム＃１上の処理対象の画素のサンプリング位相（標本化位置）を基準として、フレーム＃２上の対応する画素の位置を推定し、サンプリング位相差θ９０２を求める。

その後、動き補償・アップレート部９１５では、アップレート器９０３は、フレーム＃１の画素数を２倍に増して高密度化する。一方、アップレート器９０４は、まず位相差θ９０２の情報を用いて、フレーム＃２に対して動き補償を実行することによって、フレーム＃１と位置を合わせる。次に、フレーム＃２の画素数を２倍に増して高密度化する。

その後、位相シフト部９１６は、アップレート器９０３、９０４によって高密度化されたデータの位相を、一定量だけシフトする。図７に示す例では、π／２位相シフト器９０６、９０８の各々が、アップレート器９０３、９０４によって高密度化されたデータの位相をπ／２だけシフトする。また、π／２位相シフト器９０６、９０８によって生じる遅延を補償するために、遅延器９０５、９０７の各々が、アップレート器９０３、９０４によって高密度化されたフレーム＃１、＃２の信号を遅延させる。

その後、折返し成分除去部９１７では、係数決定器９０９が、位相差θ９０２を基に係数（重み）Ｃ０、Ｃ１、Ｃ２、Ｃ３を生成する。乗算器９１０、９１１、９１２、９１３の各々は、遅延器９０５、π／２位相シフト器９０６、遅延器９０７、π／２位相シフト器９０８の各出力信号に対して、係数決定器９０９によって決定された係数Ｃ０、Ｃ１、Ｃ２、Ｃ３を乗算する。加算器９１４は、乗算器９１０、９１１、９１２、９１３の各出力信号を加算することによって、超解像処理が施された画像信号を生成し、出力する（９１８）。

なお、位置推定部９０１は、上記従来技術をそのまま用いて実現することができる。アップレート器９０３、９０４、π／２位相シフト器９０６、９０８、折返し成分除去部９１７の詳細については後述する。

図８Ａ、図８Ｂ及び図８Ｃは、本発明の第１の実施形態の超解像部２０６の第２の構成例を説明する図である。図８Ａ、図８Ｂ及び図８Ｃでは、遅延器９０５、９０７及びπ／２位相シフト器９０６、９０８の各出力を１次元の周波数領域で示している。

図８Ａにおいて、遅延器９０５、９０７のそれぞれから出力されたアップレート後のフレーム＃１とフレーム＃２の信号は、原成分１２０１、１２０２と、元のサンプリング周波数（ｆｓ）から折り返した折返し成分１２０５、１２０６を加えた信号となる。折返し成分１２０６は、上述の位相差θ９０２だけ位相が回転している。一方、π／２位相シフト器９０６、９０８のそれぞれから出力されたアップレート後のフレーム＃１とフレーム＃２の信号は、π／２位相シフト後の原成分１２０３、１２０４と、π／２位相シフト後の折返し成分１２０７、１２０８を加えた信号となる。

なお、図８Ａに示した各成分の位相関係を分かりやすくするために、図８Ｂ及び図８Ｃでは、原成分と折返し成分をそれぞれ抜き出して示している。ここで図８Ｂに示す４つの原成分のベクトル和が、Ｒｅ軸の成分が１、Ｉｍ軸の成分が０になるように、且つ、図８Ｃに示す４つの折返し成分のベクトル和が、Ｒｅ軸とＩｍ軸の両方の成分が０になるように、各成分に乗算する係数を適切に決定して（３）加重和（図４の１８０４）の処理を実行する。そうすると、各フレームの折返し成分１２０５、１２０６、１２０７、１２０８は互いに打ち消されて除去され、原成分のみが抽出される。従って、超解像部２０６は、２枚のフレームの画像信号を用いることによって、１次元方向に２倍の高解像度の画像信号を生成することができる。係数決定方法の詳細については後述する。

図９及び１０を用いて、第２の構成例の超解像部２０６のアップレート器９０３、９０４の動作を説明する。

図９は、第２の構成例の超解像部２０６のアップレート器９０３、９０４の周波数−利得の特性を示す図である。図９では、横軸に周波数を、縦軸に利得（入力信号振幅に対する出力信号振幅の比の値）を表している。アップレート器９０３、９０４は、元の信号のサンプリング周波数（ｆｓ）に対して２倍の周波数（２ｆｓ）を新しいサンプリング周波数とし、元の画素間隔のちょうど中間の位置に新しい画素のサンプリング点（＝ゼロ点）を挿入する。これにより、画素数を２倍にして高密度化する。また、−ｆｓ〜＋ｆｓの間の周波数をすべて利得２．０の通過帯域とするフィルタをかける。これにより、図９に示すように、周波数−利得の特性は、デジタル信号の対称性により２ｆｓの整数倍の周波数毎に同じ波形が繰り返す特性となる。

図１０は、図９に示す周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示す図である。各タップ係数Ｃｋ（ｋは整数）は一般的なｓｉｎｃ関数となり、位相差θ１４０２（図７の位相差θ９０２）を補償するために、（−θ）だけシフトし、Ｃｋ＝２ｓｉｎ（πｋ＋θ）／（πｋ＋θ）とする。なお、アップレート器９０３では、位相差θ１４０２を０とおき、Ｃｋ＝２ｓｉｎ（πｋ）／（πｋ）とする。また、位相差θ１４０２を、整数画素単位（２π）の位相差と小数画素単位の位相差で表す（整数画素単位と小数画素単位とに分ける）ことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償についてはアップレート器９０３、９０４のフィルタを用いて実現してもよい。

図１１Ａ、図１１Ｂ及び図１２を用いて、第２の構成例の超解像部２０６のπ／２位相シフト器９０６、９０８の動作を説明する。

図１１Ａは、第２の構成例の超解像部２０６のπ／２位相シフト器９０６、９０８の周波数−利得の特性を示す図である。図１１Ａでは、横軸に周波数を、縦軸に利得（入力信号振幅に対する出力信号振幅の比の値）を表している。π／２位相シフト器９０６、９０８は、例えば一般的なヒルベルト変換器である。π／２位相シフト器９０６、９０８は、元の信号のサンプリング周波数（ｆｓ）に対して２倍の周波数（２ｆｓ）を新しいサンプリング周波数とし、−ｆｓ〜＋ｆｓの間の０を除く周波数成分をすべて利得１．０の通過帯域とするフィルタをかける。

図１１Ｂは、第２の構成例の超解像部２０６のπ／２位相シフト器９０６、９０８の周波数−位相差の特性）を示す図である。図１１Ｂでは、横軸に周波数を、縦軸に位相差（入力信号位相に対する出力信号位相の差）を表している。０〜ｆｓの間の周波数成分についてはπ／２だけ位相を遅らせ、０〜−ｆｓの間の周波数成分についてはπ／２だけ位相を進ませる。これにより、図１１Ｂに示すように、周波数−位相差の特性は、デジタル信号の対称性により２ｆｓの整数倍の周波数毎に同じ波形が繰り返す特性となる。

図１２は、図１１Ｂに示す周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示す図である。各タップ係数Ｃｋ（ｋは整数）は、ｋ＝２ｍ（ｍは整数）の場合はＣｋ＝０、ｋ＝２ｍ＋１の場合はＣｋ＝−２／（πｋ）とする。

なお、π／２位相シフト器９０６、９０８が、ヒルベルト変換器である場合を例に説明してきたが、この場合には限らない。例えば微分器を用いることもできる。この場合、正弦波を表す一般式ｃｏｓ（ωｔ＋α）をｔで微分して１／ωを乗じると、ｄ（ｃｏｓ（ωｔ＋α））/ｄｔ×（１／ω）＝−ｓｉｎ（ωｔ＋α）＝ｃｏｓ（ωｔ＋α＋π／２）となり、π／２位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1／ωの「周波数-振幅」特性を持ったフィルタをかけることによって、π／２位相シフトの機能を実現してもよい。

図１３を用いて、第２の構成例の超解像部２０６の係数決定器９０９の動作を説明する。

図１３は、第２の構成例の超解像部２０６の係数決定器９０９を説明する図である。図１３（ａ）では、図８Ｂ及び図８Ｃのケースを示している。図８Ｂ及び図８Ｃのケースとは、すなわち原成分（図８Ｂに示す４つの原成分）のベクトル和が、Ｒｅ軸の成分が１、Ｉｍ軸の成分が０になるように、且つ、折返し成分（図８Ｃに示す４つの折返し成分）のベクトル和が、Ｒｅ軸とＩｍ軸の両方の成分が０になるように、各成分に乗算する係数を決定する必要があるケースである。

各成分に乗算する係数とは、図７に示すように、遅延器９０５の出力（アップレート後のフレーム＃１の原成分と折返し成分の和）に対する係数Ｃ０、π／２位相シフト器９０６の出力（アップレート後のフレーム＃１の原成分と折返し成分のそれぞれのπ／２位相シフト結果の和）に対する係数Ｃ１、遅延器９０７の出力（アップレート後のフレーム＃２の原成分と折返し成分の和）に対する係数Ｃ２、π／２位相シフト器９０８の出力（アップレート後のフレーム＃２の原成分と折返し成分のそれぞれのπ／２位相シフト結果の和）に対する係数Ｃ３である。

そうすると、図８Ｂ及び図８Ｃに示した各成分の位相関係から、図１３（ｂ）に示す連立方程式が得られる。図１３（ｂ）に示す連立方程式を解くことによって、図１３（ｃ）に示す結果が導きだされる。すなわち、係数決定器９０９は、このようにして導き出される係数Ｃ０、Ｃ１、Ｃ２、Ｃ３を出力する。

図１３（ｄ）は、位相差θ９０２を０〜２πまでπ／８毎に変化させたときの係数Ｃ０、Ｃ１、Ｃ２、Ｃ３の値の組み合わせを示している。図１３（ｄ）に示す各係数の組み合わせは、元のフレーム＃２の信号を、１／１６画素の精度で位置推定し、フレーム＃１に対して動き補償した場合に相当する。

なお、アップレート器９０３、９０４及びπ／２位相シフト器９０６、９０７は、理想的な特性を得るためには無限大のタップ数を必要とする。但し、タップ数を有限個にして簡略化しても実用上問題ない。このとき、一般的な窓関数（例えばハニング窓関数やハミング窓関数など）を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、Ｃ０を中心として左右点対象の値、すなわちＣ（−ｋ）＝−Ｃｋ（ｋは整数）とすることによって、位相を一定量だけシフトすることができる。

図１４は、本発明の第１の実施形態の画像復号化装置２の構成例を示す図である。この画像符号化装置１は、復号化対象の符号化データを入力し、この符号化データを復号する装置である。この画像復号化装置２は、可変長復号部７０１、構文解析部７０２、逆量子化・逆周波数変換部７０３、加算器７０４、復号画像記憶部７０５、超解像部７０６、超解像／復号画像選択部７０７、予測画像生成部７０８、映像表示装置７０９を備える。

可変長復号部７０１は、入力された符号化データを可変長復号する。構文解析部７０２は、可変長復号部７０１で復号されたデータの構文を解析し、符号化パラメータや量子化係数を生成する。逆量子化・逆周波数変換部７０３は、構文解析部７０２によって生成された量子化係数を逆量子化、逆周波数変換することによって、差分画像データを生成する。加算器７０４は、逆量子化・逆周波数変換部７０３によって生成された差分画像データと、予測画像生成部７０８によって生成された予測画像データとを加算することによって、復号画像データを生成する。復号画像記憶部７０５は、加算器７０４によって生成された復号画像データを、参照画像データとして記憶する。

超解像部７０６は、復号画像記憶部７０５に記憶された参照画像データに超解像処理を施す（高解像度化する）。この超解像部７０６の処理は、図２の超解像部２０６の処理と同様である（図３〜１３参照）。

超解像／復号画像選択部７０７は、超解像部７０６によって超解像処理が施された画像データ、及び、復号画像記憶部７０５に記憶された画像データのうち、符号化効率の高い画像データを選択し、予測画像生成部７０８に出力する。符号化効率の高い画像データを選択する方法は、図２の超解像／復号画像選択部２０７と同様である。

予測画像生成部７０８は、超解像／復号画像選択部７０７によって選択された画像データに基づき、インター予測又はイントラ予測によって予測画像データを生成する。

映像表示装置７０９は、復号画像記憶部７０５に記憶されている復号画像を表示する。

以上のような本発明の第１の実施形態の画像符号化装置１（及びその画像符号化方法）によれば、図２の超解像部２０６を前述の第１の構成例及び第２の構成例の構成とすることにより、複数のフレームを用いて高精度の小数画素精度の画像信号を生成することが可能となる。

特に、第２の構成例の超解像部２０６（図９参照）によれば、２枚のフレームの画像信号を用いることによって、１次元方向に２倍の高解像度の画像信号を生成することができる。すなわち、第１の構成例の超解像部２０６よりも、少ないメモリ量で符号化できる。

また、本発明の第１の実施形態の画像符号化装置１（及びその画像符号化方法）によれば、超解像部２０６は、イントラ予測部２０８の処理対象の画像データに、超解像処理を施している。これにより、高精度の小数画素精度の参照画像データを生成することができる。そのため、高解像度のイントラ予測画像データを生成し、インター予測における動き予測の精度を改善させることにより、少ないデータ量で効率よく画像データ（映像信号）を圧縮・伝送することが可能となる。

また、原画像データと予測画像データの差分がない場合に、直交変換処理、量子化処理、逆量子化処理、逆直交変換処理、動き検出処理、動き補償処理を省略することが可能となる。すなわち、画像符号化装置１及び画像復号化装置２の処理量を削減することが可能となる。

（第２の実施形態）
前述の第１の実施形態では、符号化部１０３（図２参照）において、超解像部２０６及び超解像／復号画像選択部２０７が、復号画像記憶部２０５とイントラ予測部２０８との間に設けられる形態を説明した。この第２の実施形態では、超解像／復号画像選択部２０７を除き、且つ、超解像部２０６を復号画像記憶部２０５の前段階に設けた形態を説明する。

図１５は、本発明の第２の実施形態の符号化部１０３の構成例を示す図である。なお、以下では、前述の第１の実施形態（図２参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

超解像部２０６は、加算器２０４から出力された画像データに超解像処理を施し（高解像度化し）、復号画像記憶部２０５に出力する。この超解像部２０６は前述の第１の実施形態と同様である（図３〜１３参照）。復号画像記憶部２０５は、超解像部２０６から出力された画像データを、参照画像データとして記憶する。イントラ予測部２０８は、復号画像記憶部２０５に記憶された参照画像データに基づき、イントラ予測を実行することによって、イントラ予測画像データを生成する。イントラ予測は、前述の第１の実施形態に記載した内容と同様である。インター予測部２０９は、復号画像記憶部２０５に記憶された参照画像データに基づき、インター予測を実行することによって、インター予測画像データを生成する。インター予測は、前述の第１の実施形態に記載した内容と同様である。

以上のような本発明の第２の実施形態の画像符号化装置１（及びその画像符号化方法）によれば、超解像部２０６は、イントラ予測部２０８及びインター予測部２０９の処理対象の画像データの全てに、超解像処理を施している。すなわち、前述の第１の実施形態よりも高精度の小数画素精度の参照画像データを生成することができる。そのため、動き予測の精度を向上することが可能となる。

また、高解像度のイントラ予測画像データ及びインター予測画像データを生成し、インター予測における動き予測の精度を改善させることにより、少なくデータ量で効率よく画像データ（映像信号）を圧縮・伝送することが可能となる。

（第３の実施形態）
前述の第１の実施形態では、符号化部１０３（図２参照）において、超解像／復号画像選択部２０７によって選択された画像データが、イントラ予測部２０８に入力される形態を説明した。この第３の実施形態では、超解像／復号画像選択部２０７によって選択された画像データが、イントラ予測部２０８及びインター予測部２０９の両方に入力される形態を説明する。

図１６は、本発明の第３の実施形態の符号化部１０３の構成例を示す図である。なお、以下では、前述の第１の実施形態（図２参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

超解像部２０６は、復号画像記憶部２０５に記憶された画像データに超解像処理を施す（高解像度化する）。超解像／復号画像選択部２０７は、超解像部２０６によって超解像処理が施された画像データ、及び、復号画像記憶部２０５に記憶された参照画像データのうち、符号化効率の高い画像データを選択する。イントラ予測部２０８は、超解像／復号画像選択部２０７によって選択された画像データに基づき、イントラ予測を実行することによって、イントラ予測画像を生成する。インター予測部２０９は、超解像／復号画像選択部２０７によって選択された画像データに基づき、インター予測を実行することによって、インター予測画像を生成する。

以上のような本発明の第３の実施形態の画像符号化装置１（及びその画像符号化方法）によれば、イントラ予測部２０８及びインター予測部２０９は、超解像処理が施された画像データ及び施されていない画像データのうちの、符号化効率の高い画像データを用いることができる。すなわち、前述の第１の実施形態よりも高精度の小数画素精度の参照画像データを生成することができる。そのため、動き予測の精度を向上することが可能となる。

また、高解像度のイントラ予測画像データ及びインター予測画像データを生成し、インター予測における動き予測の精度を改善させることにより、少ないデータ量で効率よく画像データ（映像信号）を圧縮・伝送することが可能となる。

（第４の実施形態）
この第４の実施形態では、前述の第１の実施形態の画像符号化装置１（図１参照）において、領域分割部１０２と符号化部１０３との間に、縮小部５０３を設けた形態を説明する。

図１７は、本発明の第４の実施形態の画像符号化装置１の構成例を示す図である。なお、以下では、前述の第１の実施形態（図１参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

縮小部５０３は、領域分割部１０２によって分割された画像データの各領域を縮小する。ここでは、例えば、画像データの縦横サイズをそれぞれ縮小する。なお、この例に限らず、他の方法によって画像データを縮小してもよい。符号化部１０３は、縮小部５０３によって縮小された画像データの各領域を、符号化、局所復号する。

以上のような本発明の第４の実施形態の画像符号化装置１（及びその画像符号化方法）によれば、縮小された画像データを符号化することにより、少ないデータ量で効率よく画像データ（映像信号）を圧縮・伝送することが可能となる。

（第５の実施形態）
この第５の実施形態では、前述の第１の実施形態の画像符号化装置１（図１参照）において、映像入力部１０１と領域分割部１０２との間に、縮小部６０２を設けた形態を説明する。

図１８は、本発明の第５の実施形態の画像符号化装置１の構成例を示す図である。なお、以下では、前述の第１の実施形態（図１参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

縮小部６０２は、映像入力部１０１によって入力された画像データを縮小する。画像データを縮小する方法は、図５の縮小部５０３と同様である。領域分割部１０２は、縮小部６０２によって縮小された画像データを、符号化対象領域に分割する。

以上のような本発明の第５の実施形態の画像符号化装置１（及びその画像符号化方法）によれば、縮小された画像データを符号化することにより、少ないデータ量で効率よく画像データ（映像信号）を圧縮・伝送することが可能となる。

（第６の実施形態）
図１９は、本発明の第６の実施形態の画像符号化装置１（画像復号化装置２）の構成例を示す図である。ここでは、画像符号化装置１（画像復号化装置２）がハードウェアとソフトウェアを組み合わせて実現される形態を説明する。

図１９に示す画像符号化装置１（画像復号化装置２）は、それぞれバス３０で相互に接続されたメモリ装置２１、演算処理装置２２、インターフェース装置２３、入力装置２４、補助記憶装置２５、ドライブ装置２６を備える。

メモリ装置２１は、画像符号化装置１（画像復号化装置２）の起動時に補助記憶装置２５に記憶された画像符号化プログラム（図１の各部１０１〜１０４の処理を実行するプログラム）、画像復号化プログラム（図７の各部７０１〜７０８の処理を実行するプログラム）等のプログラムを読み出して記憶するＲＡＭ（Random Access Memory）等の記憶装置である。このメモリ装置２１は、プログラムの実行に必要なファイル、データ等も記憶する。演算処理装置２２は、メモリ装置２１に格納されたプログラムを実行するＣＰＵ（Central Processing Unit）等の演算処理装置である。インターフェース装置２３は、外部ネットワーク等に接続するためのインターフェース装置である。入力装置２４は、ユーザインターフェイスを提供する入力装置（例えばキーボード、マウス）である。

補助記憶装置２５は、プログラムやファイル、データ等を記憶するＨＤＤ等の記憶装置である。ドライブ装置２６は、記録媒体２７に記録されたプログラムを読み出す装置である。ドライブ装置２６によって読み出されたプログラムは、補助記憶装置２５にインストールされる。記録媒体２７は、上記の画像符号化プログラム、画像復号化プログラム等を記録したＵＳＢ（Universal Serial Bus）メモリ、ＳＤメモリカード、光ディスク、光磁気ディスク等の記録媒体である。なお、インターネット等のネットワークを介してユーザによってダウンロードされた上記の画像符号化プログラム、画像復号化プログラム等が、補助記憶装置２５にインストールされてもよい。

以上のような本発明の第６の実施形態の画像符号化装置１（画像復号化装置２）によれば、演算処理装置２２が、画像符号化プログラム（画像復号化プログラム）を実行することによって、画像を符号化する（画像を復号化する）。そのため、効率よく画像データ（映像信号）を圧縮・伝送することが可能となる。

以上、本発明の各実施形態について説明したが、上記各実施形態は本発明の適用例の一つを示したものであり、本発明の技術的範囲を上記各実施形態の具体的構成に限定する趣旨ではない。本発明の要旨を逸脱しない範囲において種々変更可能である。

１０１ 映像入力部
１０２ 領域分割部
１０３ 符号化部
５０３、６０２ 縮小部
１０４ 可変長符号化部
２０１ 減算器
２０２ 周波数変換・量子化部
２０３ 逆量子化・逆周波数変換部
２０４ 加算器
２０５ 復号画像記憶部
２０６ 超解像部
２０７ 超解像／復号画像選択部
２０８ イントラ予測部
２０９ インター予測部
２１０ イントラ／インター予測画像選択部
７０１ 可変長復号部
７０２ 構文解析部
７０３ 逆量子化・逆周波数変換部
７０４ 加算器
７０５ 復号画像記憶部
７０６ 超解像部
７０７ 超解像／復号画像選択部
７０８ 予測画像生成部
７０９ 映像表示装置

Claims (9)

1. 符号化対象画像と、前記符号化対象画像の予測画像とに基づき、符号化データを生成する画像符号化方法であって、
   前記符号化対象画像を入力する手順と、
   入力された前記符号化対象画像と前記予測画像との差分信号を生成する手順と、
   前記差分信号に基づき生成される局所復号画像に、超解像処理を施す手順と、
   前記超解像処理が施された局所復号画像に基づき、イントラ予測を実行することによって、イントラ予測画像を生成する手順と、
   前記差分信号に基づき生成される局所復号画像に基づき、インター予測を実行することによって、インター予測画像を生成する手順と、
   前記イントラ予測画像と、前記インター予測画像とから、符号化効率の高い画像を前記予測画像として選択する手順と、
   を含むことを特徴とする画像符号化方法。
2. 前記超解像処理を施す手順の前に、前記差分信号に基づき生成される局所復号画像を記録する手順を、前記超解像処理を施す手順の後に、前記超解像処理が施された局所復号画像と、前記記録された局所復号画像とから、符号化効率の高い画像を選択する手順をさらに含み、
   前記イントラ予測画像を生成する手順では、前記選択された画像に、イントラ予測を実行することによって、イントラ予測画像を生成することを特徴とする請求項１に記載の画像符号化方法。
3. 前記インター予測画像を生成する手順では、前記選択された画像に、インター予測を実行することによって、インター予測画像を生成することを特徴とする請求項２に記載の画像符号化方法。
4. 前記超解像処理を施す手順の後に、前記超解像処理が施された局所復号画像を記録する手順をさらに含み、
   前記イントラ予測画像を生成する手順では、前記記録された局所復号画像に基づき、インター予測を実行することによって、イントラ予測画像を生成し、
   前記インター予測画像を生成する手順では、前記記録された局所復号画像に基づき、インター予測を実行することによって、インター予測画像を生成することを特徴とする請求項１に記載の画像符号化方法。
5. 前記符号化対象画像を入力する手順の前に、前記符号化対象画像を縮小する手順をさらに含むことを特徴とする請求項１に記載の画像符号化方法。
6. 符号化対象画像と、前記符号化対象画像の予測画像とに基づき、符号化データを生成する画像符号化装置であって、
   前記符号化対象画像を入力する入力部と、
   入力された前記符号化対象画像と前記予測画像との差分信号を生成する減算部と、
   前記差分信号に基づき生成される局所復号画像に、超解像処理を施す超解像部と、
   前記超解像処理が施された局所復号画像に基づき、イントラ予測を実行することによって、イントラ予測画像を生成するイントラ予測部と、
   前記差分信号に基づき生成される局所復号画像に基づき、インター予測を実行することによって、インター予測画像を生成するインター予測部と、
   前記イントラ予測画像と、前記インター予測画像とから、符号化効率の高い画像を前記予測画像として選択するイントラ／インター予測画像選択部と、
   を備えたことを特徴とする画像符号化装置。
7. 画像の符号化データと、前記符号化データを復号するための予測画像とに基づき、前記符号化データを復号化する画像復号化方法であって、
   前記画像の符号化データに基づき生成される差分信号と、前記予測画像とに基づき復号画像を生成する手順と、
   前記生成された復号画像に、超解像処理を施す手順と、
   前記超解像処理が施された復号画像に、インター予測又はイントラ予測を実行することによって、前記予測画像を生成する手順と、
   を含むことを特徴とする画像復号化方法。
8. 前記超解像処理を施す手順の前に、前記生成された復号画像を記録する手順を、前記超解像処理を施す手順の後に、前記超解像処理が施された局所復号画像と、前記記録された局所復号画像とから、符号化効率の高い画像を選択する手順をさらに含み、
   前記予測画像を生成する手順では、前記選択された画像に、インター予測又はイントラ予測を実行することによって、前記予測画像を生成することを特徴とする請求項７に記載の画像復号化方法。
9. 画像の符号化データと、前記符号化データを復号するための予測画像とに基づき、前記符号化データを復号化する画像復号化方法であって、
   前記画像の符号化データに基づき生成される差分信号と、前記予測画像とに基づき復号画像を生成する加算部と、
   前記生成された復号画像に、超解像処理を施す超解像部と、
   前記超解像処理が施された復号画像に、インター予測又はイントラ予測を実行することによって、前記予測画像を生成する予測画像生成部と、
   を備えたことを特徴とする画像復号化方法。