JP2015162709A - 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム - Google Patents

Abstract

【課題】復号された集積画像の画質を向上することができる画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラムを提供する。
【解決手段】補間部は複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、前記複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定め、変換部は前記要素画像と前記補間部が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する。
【選択図】図１

Description

本発明は、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関する。

立体テレビジョンは、伝送された画像を表示して視聴者に被写体の立体的な形状を視認させることができる。立体テレビジョン放送の要素技術としてＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ、インテグラルフォトグラフィ）方式が使用されることがある。ＩＰ方式は、平面上または球面上に配列した複数の要素レンズのそれぞれを通過した被写体の画像を集積して、集積した画像を撮像して立体画像を撮像する方式である。これにより、専用の眼鏡を用いることなく所定の視聴範囲内における任意の視点から被写体の立体的な形状が視認される。また、同様な原理に基づいて立体画像を撮像するライトフィールドカメラが開発されている。ライトフィールドカメラは、１個の主レンズ、平面上に配列された複数の要素レンズ、及び撮像素子を有する。主レンズは被写体から到達した画像を各要素レンズに導き、撮像素子には各要素レンズを透過した画像が投影される。これにより、複数の方向の光線で形成される光線空間（ライトフィールド）が取得される。以下の説明では、各要素レンズにより撮像素子に投影された画像を要素画像と呼ぶ。なお、ライトフィールドカメラには、撮像された各要素画像のピントが合った部分を合成して、画像全体でピントが合った全焦点画像を取得する機能を有するものがある。また、ライトフィールドカメラには、各要素画像の光線が交わる焦点の位置を仮想的に調整することにより、撮像後に再フォーカスすることができる機能を有するものがある。
より高い解像度で立体画像を撮像するためには、より画素数が多い撮像素子と、より多くの要素レンズを有するレンズアレイとを備えるライトフィールドカメラや立体テレビジョンカメラを用いる。これらのカメラにより形成された画像データは、一般に多くの情報量を有する。そのため、ＩＰ方式で撮像された立体画像を示す集積画像をリアルタイムで伝送する際に、画像データを圧縮することがある。

ＩＰ方式で撮像された集積画像を圧縮するために、例えば、次の技術が提案されている。
例えば、特許文献１に記載の符号化装置は、現行の表示フレームの画像信号を用いて画像信号間の相関を利用した符号化を行うフレーム間符号化手段と、現行の表示フレームに閉じた範囲内の画像信号を用いて符号化を行うフレーム内符号化手段と、複数の要素画像に対応する複数の画像信号を用いて画像信号間の相関を利用した符号化を行う要素画像間符号化手段と、フレーム間符号化手段、フレーム内符号化手段、および、要素画像間符号化手段からそれぞれ出力される符号化出力のうち、符号化効率が最大の符号化出力を出力する符号化選択手段とを有する。

また、特許文献２に記載の立体像表示装置は、複数のパターンを平面的に分割し小領域に表示する表示手段と、その前面あるいは後面に設けられ小領域に対応した複数のピンホールあるいはマイクロレンズが平面的に配置されたアレイ板と、複数のパターンを圧縮する符号化圧縮手段と、圧縮画像データを伸張して複数のパターンを形成するに際し、復号化過程を有する伸張手段とを具備する立体像表示装置であって、圧縮あるいは伸張過程は、（１）離散コサイン変換あるいは離散コサイン逆変換を施す最小単位であるブロック単位と複数のパターンの１つである要素画像のピクセル数を一致させて行う、（２）要素画像中のサブピクセル数と同じピクセル数単位で行う、あるいは（３）要素画像中のサブピクセルを並べ替える処理を行った後、２のべき乗単位で行うことを特徴とする。

特開２００２−３００６０７号公報 特開２００６−１４８８８５号公報

集積画像が表す立体画像の解像度を高くするためには要素画像の個数を増やす必要がある。そこで、円形の要素レンズを六方格子状（俵積み）に配列して、正方格子状に配列する場合（正方レンズ）よりも高い密度でレンズアレイを形成することがある。そのため、要素レンズが被写体の画像を透過して形成される要素画像だけでは、集積画像全体を埋め尽くすことができない。１フレームの集積画像には、要素画像の領域と要素画像の範囲外の領域とが含まれる。以下の説明では、要素画像の範囲外の領域を要素外領域と呼び、その領域の画像を要素外画像と呼ぶ。要素外領域は、要素レンズが透過した画像の光が照射されないため、要素外画像を形成する画素値は、要素画像を形成する画素値よりも小さい値（例えば、０）を有し、暗い部分として視認されることがある（図１３（Ａ））。

他方、集積画像を符号化した符号化データを復号して得られた復号画像のうち要素画像を形成する画素の信号値が低下することがある（図１３（Ｂ））。その符号化に係る符号化方式は、例えば、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−２）、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのように、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行って得られる変換係数を量子化して符号化データを生成する過程を含む符号化方式である。信号値が低下する現象は、信号値が小さい要素外画像を含むブロック毎にＤＣＴを行って得られた変換係数を量子化する過程で高周波成分に係る変換係数が省略され、復号された画像全体に占める直流（ＤＣ：Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）成分の割合が増加することが一因と考えられる。この現象は、画質の劣化として現れ、量子化の過程で変換係数を省略して圧縮率を高めるほど著しくなる傾向がある。
また、要素画像を形成する画素の信号値が大きいほど、要素外画像を形成する画素の信号値との差分が大きくなるため、集積画像全体として高周波成分が多く含まれる。これらの高周波成分は、ＤＣＴによって得られる変換係数を量子化する過程で省略され、復号された集積画像の視認性、つまり画質が低下することがある。

本発明は上記の点に鑑みてなされたものであり、復号された集積画像の画質を向上することができる画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムを提供する。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、前記複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定める補間部と、前記要素画像と前記補間部が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する変換部と、を備える画像符号化装置である。
この構成によれば、要素外画像と要素画像との間で信号値の差が小さくなるので、符号化データを復号して得られる要素画像の信号値の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

本発明の一態様は、上述の画像符号化装置であって、前記補間部は、前記複数の要素画像の少なくともいずれかの信号値の代表値を前記要素外画像の信号値と定める。
この構成によれば、要素外画像と要素画像との間で信号値の代表値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

本発明の一態様は、上述の画像符号化装置であって、前記補間部は、前記要素外画像を形成する要素外画素の信号値を、前記要素外画素から予め定めた範囲に含まれる要素画像の信号値の代表値と定める。
この構成によれば、要素外画素の信号値とその要素外画素に近接する要素画像の信号値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

本発明の一態様は、上述の画像符号化装置であって、前記補間部は、前記要素外画像を形成する要素外画素の信号値を、前記要素外画素から予め定めた範囲に含まれる要素画像の信号値に低域通過フィルタ処理を行って定める。
この構成によれば、要素外画像と要素画像との間で信号値の分布が平滑化されるので、符号化データを復号して得られる要素画像の低周波成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

本発明の一態様は、上述の画像符号化装置であって、前記変換部は、少なくとも一部の周波数成分の前記変換係数を前記要素画像が前記ブロックに占める割合で正規化する
この構成によれば、変換係数の算出単位であるブロックに要素外画像が含まれることによる信号値の低下を防ぐことができるため、復号された集積画像の画質を向上することができる。

本発明の一態様は、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像について、ブロック毎に量子化された変換係数を空間領域の信号値に逆変換する逆変換部と、前記要素外画像を形成する要素外画素の信号値を予め定めた信号値に定める合成処理部と、を備える画像復号装置である。
この構成によれば、予め定めた信号値を元の要素外画像の信号値とすることで、復号された集積画像を形成する要素外画像の信号値が元の要素外画像の信号値に定められるため、復号された集積画像の画質の低下を防ぐことができる。

本発明の一態様は、コンピュータを、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、前記複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定める補間手段と、前記要素画像と前記補間手段が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する変換手段と、を具備する画像符号化装置として機能させるための画像符号化プログラムである。
この構成によれば、要素外画像と要素画像との間で信号値の差が小さくなるので、符号化データを復号して得られる要素画像の信号値の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

本発明の一態様は、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像について、ブロック毎に量子化された変換係数を空間領域の信号値に逆変換する逆変換手段と、前記要素外画像を形成する要素外画素の信号値を予め定めた信号値に定める合成処理手段と、を具備する画像復号装置として機能させるための画像復号プログラムである。
この構成によれば、予め定めた信号値を元の要素外画像の信号値とすることで、復号された集積画像を形成する要素外画像の信号値が元の要素外画像の信号値に定められるため、復号された集積画像の画質の低下を防ぐことができる。

本発明によれば、復号された集積画像の画質を向上することができる。

本発明の第１実施形態に係る画像伝送システムの構成を示す概略ブロック図である。 要素画像の配置例を示す図である。 第１形態の要素外画像の例を示す図である。 第２形態の要素外画像の例を示す図である。 本発明の第１実施形態に係る補間処理（３）の具体例を説明するための図である。 本発明の第１実施形態に係る補間処理（４）の具体例を説明するための図である。 本発明の第１実施形態に係る符号化処理部の構成を示す概略ブロック図である。 本発明の第１実施形態に係る復号処理部の構成を示す概略ブロック図である。 本発明の第２実施形態に係る画像伝送システムの構成を示す概略ブロック図である。 本発明の第２実施形態に係る符号化処理部の構成を示す概略ブロック図である。 変換ブロックの例を説明するための図である。 本発明の変形例に係るテレビジョンシステムの構成例を示す図である。 コンピュータビジョンで作成した集積画像の例を示す図である。

（第１実施形態）
以下、図面を参照しながら本発明の第１実施形態について説明する。
図１は、本実施形態に係る画像伝送システム１の構成を示す概略ブロック図である。
画像伝送システム１は、画像符号化装置１０及び画像復号装置２０を含んで構成され、画像符号化装置１０と画像復号装置２０とは、伝送路３０で接続されている。

画像符号化装置１０には、入力画像信号が入力される。入力画像信号が示す画像の全体（集積画像）は、所定の形状（例えば、矩形）を有し、複数の要素画像を含んで形成される画像である。つまり、集積画像は、複数の要素画像が平面上に配列されて形成される平面画像であるが、受像装置により１つの立体画像を表す。複数の要素画像のそれぞれは、互いに異なる視点で撮像された画像である。要素画像は、複数の画素で形成される。集積画像の領域において要素画像が占有されない領域、つまり、要素画像外の領域に表された画像を要素外画像と呼ぶ。

画像符号化装置１０は、入力画像信号について補間処理を行って補間画像信号を生成する。補間処理は、要素画像を形成する画素の信号値を補間して要素外画像を形成する画素毎の補間値を定める過程を含む。画像符号化装置１０は、生成した補間画像信号について符号化処理を行う。符号化処理は、集積画像の一部である所定の大きさの領域毎に周波数領域に変換した周波数領域係数を量子化する過程を含む。画像符号化装置１０は、符号化処理によって得られた符号化データを、伝送路３０を介して画像復号装置２０に送信する。

伝送路３０は、画像符号化装置１０から出力された符号化データを画像復号装置２０に伝送する伝送路である。伝送路３０は、無線であってもよいし、有線であってもよい。また、伝送路３０は、不特定の画像復号装置２０に一方的にデータを伝送することができる放送伝送路であってもよいし、特定の画像復号装置２０との間で双方向にデータを伝送することができる通信伝送路であってもよい。

画像復号装置２０は、画像符号化装置１０から伝送路３０を介して符号化データを受信する。画像復号装置２０は、受信した符号化データについて復号処理を行って復号画像信号を生成する。復号処理には、所定の大きさの領域毎に周波数領域係数を逆量子化する過程を含む。画像復号装置２０は、生成した復号画像信号のうち、要素外画像を形成する画素の信号値をいずれも予め定めた値（例えば、０）と定めて出力画像信号を生成する。画像復号装置２０は、生成した出力画像信号を出力する。

（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置１０の構成について説明する。
画像符号化装置１０は、記憶部１０１、補間部１０２、要素画像データ生成部１０３、多重化部１０４、及び符号化処理部１１を含んで構成される。
記憶部１０１には、画像符号化装置１０の外部から入力された入力画像信号をフレーム毎に一時的に記憶する。記憶部１０１は、記憶した入力画像信号から現在処理を行うフレーム（現フレーム、カレントフレームともいう）の入力画像信号を特定し、特定した入力画像信号を補間部１０２に出力する。

補間部１０２には、記憶部１０１から入力画像信号が入力される。補間部１０２は、入力画像信号が示す集積画像に含まれる要素画素の信号値を補間して要素外画素毎に補間値を定める。要素画素とは、要素画像を形成する画素である。要素外画素とは、要素外画像を形成する画素である。また、補間値を定める処理を補間処理と呼ぶ。補間部１０２は、補間処理の際、要素画像データ生成部１０３から入力された要素画像データを参照して各画素が要素画像であるか、要素外画像であるかを判定する。
補間部１０２は、入力画像信号が示す要素外画素毎の元の信号値を新たに定めた補間値に置き換えて補間画像信号を生成する（リセット）。
補間部１０２は、生成した補間画像信号を符号化処理部１１に出力する。補間処理の例については後述する。

符号化処理部１１は、補間部１０２から入力された補間画像信号について符号化処理を行って符号化データを生成する。符号化処理部１１が用いる符号化方式は、集積画像の一部である所定の大きさの領域毎に周波数領域に変換して得られる変換係数を量子化する過程を含む符号化方式である。符号化処理部１１は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ、ＨＥＶＣ、のいずれかの符号化方式を用いる。符号化処理部の構成については後述する。符号化処理部１１は、生成した符号化データを多重化部１０４に出力する。

要素画像データ生成部１０３は、記憶部１０１に記憶された入力画像信号を参照して要素画像データを生成する。要素画像データは、集積画像において要素画像が占める領域を示すデータである。具体的には、要素画像データは、集積画像を形成する各画素が要素画素であるか否かを示すデータである。そこで、要素画像データ生成部１０３は、所定の時間内に撮像された集積画像のうち、信号値が予め定めた閾値（例えば、０）を超えたことがある画素を要素画素と判定し、信号値がその閾値を超えたことがない画素を要素外画素と判定する。要素画像データ生成部１０３は、要素画素、要素外画素と判定した画素の値をそれぞれ第１の信号値、第２の信号値と定めて要素画像データを生成する。第１の信号値、第２の信号値は、例えば、それぞれ１、０である。要素画像データ生成部１０３は、生成した要素画像データを補間部１０２及び多重化部１０４に出力する。なお、以下の説明では本実施形態で生成される要素画像データを第１の要素画像データと呼び、後述の第２の要素画像データと区別する。

多重化部１０４は、符号化処理部１１から入力された符号化データに要素画像データ生成部１０３から入力された第１の要素画像データを多重化（合成）し、多重化された符号化データを画像復号装置２０に送信する。

（画像復号装置の構成）
次に、本実施形態に係る画像復号装置２０の構成について説明する。
画像復号装置２０は、分離部２０１、記憶部２０２、合成処理部２０３、及び復号処理部２１を含んで構成される。
分離部２０１は、画像符号化装置１０から受信した符号化データから多重化された第１の要素画像データを分離し、分離した第１の要素画像データを記憶部２０２に記憶する。分離部２０１は、第１の要素画像データを分離した符号化データを合成処理部２０３に出力する。

復号処理部２１は、分離部２０１から入力された符号化データについて復号処理を行って復号画像信号を生成する。復号処理部２１は、復号方式として、入力された符号化データの生成に用いられた符号化方式に対応する復号方式を用いる。例えば、符号化データの生成にＭＰＥＧ−２が用いられた場合には、復号処理部２１は、ＭＰＥＧ−２で規定された復号方式を用いる。復号処理部２１は、生成した復号画像信号を合成処理部２０３に出力する。

合成処理部２０３は、記憶部２０２に記憶された第１の要素画像データを参照して、復号処理部２１から入力された復号画像信号について合成処理を行って出力画像信号を生成する。合成処理部２０３は、合成処理において、復号画像信号が示す画素外画素の各信号値を予め定めた第１のリセット信号値に置き換えて出力画像信号を生成する（リセット）。第１のリセット信号値は、信号値としてとりうる最小値（例えば、０）である。合成処理部２０３は、生成した出力画像信号を画像復号装置２０の外部に出力する。

なお、記憶部２０２には、第１の要素画像データを参照して生成されたリセット画像信号を予め記憶しておいてもよい。リセット画像信号は、要素外画素、要素画像の信号値がそれぞれ第１のリセット信号値、第２のリセット信号値である信号である。第２のリセット信号値は、任意の値、例えば、２５５（８ビットの信号値としてとりうる最大値）である。その場合には、合成処理部２０３は、リセット画像信号を記憶部２０２から読み出し、復号画像信号が示す要素外画素の画素値を、リセット画像信号が示す第１のリセット信号値に置き換えて出力画像信号を生成する。

（要素画像の配置例）
次に、集積画像に含まれる要素画像の配置例について説明する。
図２は、要素画像の配置例を示す図である。
集積画像Ｉｍ１は、矩形の領域内にＮ_ｅ個（Ｎ_ｅは、１よりも大きい予め定めた整数）の要素画像を含んで形成される平面画像である。それぞれの要素画像は、Ｎ_ｐ個（Ｎ_ｐは、１よりも大きい予め定めた整数）の画素で形成される。図２において塗りつぶされた円の領域、塗りつぶされていない領域は、要素画像、要素外画像を示す。Ｅｉ１１、Ｅｉ１２、Ｅi１３、Ｅｉ２１は、それぞれ要素画像を示す。枠で囲まれた領域Ａ１、Ａ２内に含まれるＳｉ１、Ｓｉ２は、それぞれ要素外画像を示す。

各要素画像の中心は、六方格子（ｈｅｘａｇｏｎａｌ ｌａｔｔｉｃｅ）の各格子点に配置されている。六方格子は、正三角形が水平方向にその一辺の長さと等しい間隔で配列され、垂直方向にその一辺に対する正三角形の高さと等しい間隔で配列され、配列された正三角形の各頂点を格子点として形成される格子である。六方格子は正三角格子とも呼ばれる。格子点の位置は、奇数行目と偶数行目との間で、その格子点間隔の半分の長さだけ水平方向にずれている。この配置により、要素画像が集積画像内で密に配置される。また、要素外画像には、互いに隣接する３つの要素画像で囲まれている部分（例えば、領域Ａ１内のＳｉ１）と、１つの要素画像と集積画像の外縁で囲まれている部分（例えば、領域Ａ２内のＳｉ２）とがある。以下の説明では、３つの要素画像で囲まれている部分の要素外画像、１つの要素画像と集積画像の外縁で囲まれている部分の要素外画像を、それぞれ第１形態の要素外画像、第２形態の要素外画像と呼ぶ。

（要素外画像の例）
次に、要素外画像の例について説明する。
図３は、第１形態の要素外画像の例を示す図である。
第１形態の要素外画像Ｓｉ１は、領域Ａ１内に形成された要素外画像である。第１形態の要素外画像Ｓｉ１の領域は、３つの要素画像Ｅｉ１１、Ｅｉ１２、Ｅｉ１３で囲まれる領域である。Ｓｐ、Ｅｐは、それぞれ要素外画素、要素画素を示す。
図４は、第２形態の要素外画像の例を示す図である。
第２形態の要素外画像Ｓｉ２は、領域Ａ２内に形成された要素外画像である。第２形態の要素外画像Ｓｉ２の領域は、１つの要素画像Ｅｉ２１と集積画像Ｉｍ１の外縁で囲まれる領域である。また、第２形態の要素外画像Ｓｉ２の領域は、その領域に最も近接する要素画像Ｅｉ２１に外接する正方形の領域と、その要素画像Ｅｉ２１とで囲まれる領域でもある。このような要素外画像は、集積画像Ｉｍ１の上端、左端、下端、又は右端に現れる。

（補間処理の例）
次に、補間部１０２が行う補間処理の例について説明する。
補間部１０２は、以下に説明する補間処理（１）〜（７）のいずれかを行うことによって要素外画素の補間値を定める。

以下の補間処理（１）、（２）は、複数の要素画像の少なくともいずれかの信号値の代表値を要素外画像の信号値と定める処理である。代表値は、所定の集合に属する値（つまり、所定の要素外画像に属する要素外画素の信号値）の中心的傾向を示す値、例えば、平均値である。
（１）補間部１０２は、集積画像内の全ての要素画素の信号値の代表値を算出し、集積画像内の全ての要素外画素の補間値を、算出した代表値とする。
この処理により、集積画像全体として要素外画素と要素画素との信号値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

（２）補間部１０２は、各要素外画素の最も近接する要素画像を特定し、特定した要素画像内の要素画素の信号値についての代表値を定め、その要素外画素の補間値を定めた代表値とする。
この処理により、要素外画素の信号値とその要素外画素に近接する要素画素の信号値の差分が小さくなるので、符号化データを復号して得られる要素画像毎の直流成分の低下が抑えられる。そのため、個々の要素画像の輝度に応じて、復号された集積画像の画質が向上する。
なお、以下の説明では、要素外画素から最も近接する要素画像を最近接要素画像と呼ぶ。

以下の補間処理（３）、（４）は、注目要素外画素の信号値を、その注目要素外画素から予め定めた範囲に含まれる要素画像の信号値の代表値と定める処理である。注目要素外画素は、補間値を定める対象となる要素外画素である。
（３）補間部１０２は、各注目要素外画素について参照領域に含まれる要素画素の信号値の代表値を定め、その注目要素外画素の補間値を定めた代表値とする。参照領域は、各注目要素外画素から予め定めた範囲の領域である。
この処理により、要素外画素の信号値とその要素外画素に近接する要素画素の信号値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。（３）の具体例については後述する。

（４）補間部１０２は、（３）において、参照領域に含まれる最近接要素画像を形成する要素画素の信号値の代表値を算出し、各注目要素外画素の補間値を算出した代表値とする。
この処理により、最近接要素外画像が１個しかない要素外画像についても要素外画素の信号値とその要素外画素に近接する要素画素の信号値の差分が小さくなり、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。（４）の具体例については後述する。

以下の補間処理（５）〜（７）は、注目要素外画素の信号値を、その要素外画素から予め定めた範囲に含まれる要素画像の信号値に低域通過フィルタ処理（低域通過フィルタリング）を行って定める処理である。低域通過フィルタ処理は、処理対象の信号の高周波成分を低減又は除去し、より周波数が低い低周波成分がより多く残された信号を生成するフィルタ処理である。
（５）補間部１０２は、各注目要素外画素について参照領域に含まれる要素画素の信号値について低域通過フィルタ処理を行って補間値を算出する。フィルタ処理は、各要素画素の信号値にそれぞれ予め定めたフィルタ係数を乗じて乗算値を求め、求めた乗算値の総和を算出する処理である。画素毎のフィルタ係数で形成されるフィルタは、例えば、ガウシアンフィルタである。ガウシアンフィルタは、そのフィルタ係数の分布が、注目要素外画像からの距離についてのガウス分布であるフィルタであり、低域通過フィルタの一種である。
この処理により、要素外画像と要素画像との間で信号値の分布が平滑化されるので、符号化データを復号して得られる要素画像の低周波成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

（６）補間部１０２は、（５）を行い、（５）で得られた集積画像内の全ての要素外画素の補間値について代表値を算出し、集積画像内の全ての要素外画素の補間値を算出した代表値とする。
この処理により、要素画素の信号値の分布を平滑化して得られた要素外画素の信号値と要素画素の信号値の差分が小さくなるので、集積画像全体として符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

（７）補間部１０２は、各注目要素外画素について参照領域に含まれる要素画素の信号値と（６）で得られた要素外画素の信号値について低域通過フィルタ処理を行って補間値を算出する。
この処理により、要素外画像と要素画像との間で信号値の分布の平滑化の度合いを増すことができるので、符号化データを復号して得られる要素画像の低周波成分の低下がさらに抑えられる。そのため、復号された集積画像の画質がより向上する。

なお、補間処理（１）〜（４）、（６）において、代表値は、平均値、中央値、最頻値のいずれであってもよい。
また、補間処理（２）、（４）において、予め第１の要素画像データを参照して要素外画素毎に最近接要素画像を示す最近接要素画像データを生成しておいてもよい。その場合、補間部１０２は、生成した最近接要素画像データを参照して各要素外画像に最近接要素画像を特定することができる。
また、補間処理（３）〜（７）において、参照領域の大きさは、少なくとも１画素よりも大きければよい。特に、参照領域の水平方向、垂直方向の大きさは、それぞれ１個の要素画像の半径よりも大きければよい。その場合には、参照領域内に必ず要素画素が含まれるので、補間部１０２は、確実に要素画素を参照して要素外画素の補間値を定めることができる。

また、上述した説明では、補間部１０２が、現フレームの入力画像信号が示す要素画素の信号値について補間処理（１）〜（７）のいずれかの補間処理を行って、現フレームの要素外画素毎に補間値を定めることを前提としたが、これには限られない。
補間部１０２は、現フレームとは異なる時刻のフレーム（例えば、直前フレーム）の入力画像信号が示す要素画素の信号値について補間処理（１）〜（７）のいずれかの補間処理を行って、現フレームの要素外画素毎に補間値を定めてもよい。
異なる時刻のフレームの入力画像信号について補間処理を行う場合でも、符号化データを復号して得られる要素画像の直流成分の低下が抑えられるので復号画像の画質が向上する。それぞれ異なる時刻に撮像された複数のフレームで形成される動画像では、フレーム間で共通の被写体の画像が含まれることがあるためである。
特に、過去のフレームについて補間処理を行って現フレームの補間画像信号を得る場合には、この補間処理は、符号化処理部１１が行う過去のフレームの補間画像信号についての符号化処理と並列することで、補間処理による遅延を抑制することができる。

また、複数の種類の補間処理は、時刻に応じて使い分けられてもよい。例えば、補間部１０２は、初回のフレーム時刻において現フレームの入力画像信号について補間処理（６）を行い、次回以降の各フレーム時刻において直前フレームの入力画像信号について補間処理（７）を行ってもよい。
また、複数種類の補間処理は、要素外画像の位置に応じて使い分けられてもよい。例えば、補間処理（３）、（４）は、それぞれ第１形態の要素外画像、第２形態の要素外画像について行われてもよい。

次に、本実施形態に係る補間処理（３）の具体例について説明する。
図５は、本実施形態に係る補間処理（３）の具体例を説明するための図である。
この例では、補間処理（３）は、３個の要素画像に囲まれる第１形態の要素外画像を形成する要素外画素について行われる。言い換えれば、この例は、第１形態の要素外画像を挟む３個の要素画像を形成する要素画素の信号値を内挿して、その第１形態の要素外画像を形成する要素外画素それぞれの信号値を算出する処理を示す。
塗りつぶしの四角形、白抜きの四角形は、それぞれ領域Ａ１に含まれる要素画素、要素外画素を示す。Ｐｒは、注目要素外画素を中心とする参照領域を示す。参照領域Ｐｒは、水平方向、垂直方向の大きさが、それぞれ７画素である。また、参照領域Ｐｒ内に、水平方向、垂直方向にそれぞれ２画素間隔で付されている符号ａ〜ｐは、それぞれ補間処理（３）を行う際に参照される候補の画素（候補画素）を示す。

補間部１０２は、要素外画像を形成する未処理の要素外画素のそれぞれについて注目要素外画素として、以下のステップ（Ｓ１）〜（Ｓ４）を順次実行する。その後、補間部１０２は、例えば、ラスタスキャンの順序で次に処理する注目要素外画素を選択する。図５（Ａ）において、領域Ａ１の第４行第５列の要素外画素が注目要素外画素Ｑである。
（Ｓ１）補間部１０２は、参照領域Ｐｒに含まれる候補画素のうち要素外画素を特定する。
この例では、要素外画素ｋ、ｎ、ｏが特定される。
（Ｓ２）補間部１０２は、参照領域Ｐｒに含まれる行のうち、特定した要素外画素が含まれない行を特定する。この例では、参照領域Ｐｒの第１、３行が特定される。
補間部１０２は、特定した行に含まれる候補画素間の平均値（行間平均値）Ｑ１を算出する。この例では、要素画素ａ〜ｈの信号値の平均値（ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ+ｈ）／８が行間平均値Ｑ１として算出される。

（Ｓ３）補間部１０２は、参照領域Ｐｒに含まれる列のうち、特定した要素外画素が含まれない列を特定する。この例では、参照領域Ｐｒの第１、７列が特定される。
補間部１０２は、特定した列に含まれる候補画素間の平均値（列間平均値）Ｑ２を算出する。この例では、要素画素ａ、ｅ、ｉ、ｍ、ｄ、ｈ、ｌ、ｐの信号値の平均値（ａ＋ｅ＋ｉ＋ｍ＋ｄ＋ｈ＋ｌ＋ｐ）／８が列間平均値Ｑ２として算出される。
（Ｓ４）補間部１０２は、行間平均値Ｑ１と列間平均値Ｑ２との平均値（Ｑ１＋Ｑ２）／２を注目要素外画素Ｑの補間値と定める。

図５（Ｂ）において、領域Ａ１の第７行第７列の要素外画素が注目要素外画素Ｑである。
この例では、ステップ（Ｓ１）において要素外画素ｂ、ｅ、ｆが参照領域Ｐｒに含まれる要素外画素として特定される。ステップ（Ｓ２）では、要素画素ｉ〜ｐの信号値の平均値が行間平均値Ｑ１として算出される。ステップ（Ｓ３）では、要素画素ｃ、ｇ、ｋ、ｏ、ｄ、ｈ、ｌ、ｐの信号値の平均値が列間平均値Ｑ２と算出される。ステップ（Ｓ４）では、ステップ（Ｓ１）、（Ｓ２）で算出された行間平均値Ｑ１と列間平均値Ｑ２の平均値が注目要素外画素Ｑの補間値と定められる。

以上に説明したように、補間部１０２は、各注目要素外画素から予め定めた範囲内の参照領域に含まれる要素画素の信号値の平均値を、その注目要素外画素と定めるので、要素外画素の補間値とその要素外画素に近接する要素画素の信号値の差分が小さくすることができる。そのため、符号化データを復号して得られる要素画像の直流成分の低下が抑えられ、復号された集積画像の画質を向上することができる。

なお、参照領域Ｐｒの水平方向の大きさ、垂直方向の大きさは、それぞれ７画素に限られず、１つの要素外画像を形成する要素外画素が分布する範囲よりも大きければよい。そのため、補間値は、その要素外画像に接した３つの要素画像をそれぞれ形成する要素画像の信号値で内挿された平均値となる。これにより、要素画像に挟まれた要素外画像の信号値の分布が平滑化されるので、符号化データを復号して得られる要素画像の低周波成分の低下が抑えられ、復号された集積画像の画質が向上する。

また、参照領域Ｐｒの水平方向の大きさと、垂直方向の大きさは等しくてもよいし、異なっていてもよい。
候補画素間の水平方向の間隔、垂直方向の間隔は、それぞれ２画素に限られず、１画素（つまり、行毎もしくは列毎）でもよいし、３画素以上でもよい。
参照領域Ｐｒの大きさ、候補画素間の間隔は、補間処理（３）に要する計算時間に応じて予め定めておいてもよい。例えば、参照領域Ｐｒをより小さく、候補画素間の間隔をより狭くする、又はその両者によって、計算時間が少なくなる。
なお、補間部１０２は、参照領域Ｐｒに含まれる要素画素又は候補画素の信号値を単純に平均して注目要素外画素Ｑの補間値を定めてもよい。

次に、本実施形態に係る補間処理（４）の具体例について説明する。
図６は、本実施形態に係る補間処理（４）の具体例を説明するための図である。
この例では、補間処理（４）は、１つの要素画像に近接する第２形態の要素外画像を形成する要素外画素について行われる。言い換えれば、この例は、第２形態の要素外画像の最近接要素画像を形成する要素画素の信号値を外挿して、その第２形態の要素外画像を形成する要素外画素それぞれの信号値を算出する処理を示す。
薄く塗りつぶした四角形、白抜きの四角形は、それぞれ領域Ａ２に含まれる要素画素、要素外画素を示す。また、領域Ａ２において、濃く塗りつぶした四角形は、要素外画素のうち処理済みの画素、つまり補間値が定められた画素を示す。
この例では、参照領域Ｐｒは、注目要素外画素Ａを原点（図６では左上端）とする水平方向３画素、垂直方向３画素の領域である。参照領域Ｐｒ内の各画素に付されている符号ｂ〜ｉは、それぞれ補間処理（４）を行う際に参照される候補画素を示す。領域Ａ２、参照領域Ｐｒには、注目要素外画素Ａの最近接要素画像を形成する要素画像が含まれ、その他の要素画像を形成する要素画像は含まれない。

図６（Ａ）において、領域Ａ２の第１行第５列の要素外画素が注目要素外画素Ａである。
補間部１０２は、参照領域Ｐｒに含まれる候補画素ｂ〜ｉの信号値の平均値（ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈ＋ｉ）／８を、注目要素外画素の補間値と定める。その後、補間部１０２は、未処理の要素外画素のうち現在の注目要素外画素に隣接し、かつ、参照領域Ｐｒに含まれる候補画素ｂ〜ｉに未処理の要素外画素が含まれない要素外画素を、次に処理する注目要素外画素と定める。ここでは、「隣接」とは１辺で接した位置関係にあることの他、１つの頂点で接した位置関係（斜め）にある場合も含む。図６（Ａ）の例では、領域Ａ２の第１行第４列の要素外画素が次の注目要素外画素Ａとして選択される。

図６（Ｂ）において、領域Ａ２の第１行第４列の要素外画素が注目要素外画素Ａである。
この例でも、図６（Ａ）に示す例と同様に、補間部１０２は、参照領域Ｐｒに含まれる候補画素ｂ〜ｉの信号値の平均値（ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈ＋ｉ）／８を、注目要素外画素の補間値と定める。参照領域Ｐｒには、処理済の要素外画素と要素画素とが含まれ、候補画素ｂの信号値として、図６（Ａ）に示す例で定められた補間値が用いられる。その後、図６（Ａ）に示す例と同様に、次に処理する注目要素外画素が定められる。

図６（Ｃ）において、領域Ａ２内第１行第１列の要素外画素が注目要素外画素Ａである。
この注目要素外画素は、領域Ａ２内で注目要素外画素として最後に選ばれる要素外画素である。図６（Ｃ）に示す例と同様に、補間部１０２は、参照領域Ｐｒに含まれる候補画素ｂ〜ｉの信号値の平均値を、注目要素外画素の補間値と定める。候補画素ｂ〜ｉの信号値として、その時点までに定められた補間値が用いられる。

以上に説明したように、補間部１０２は、各注目要素外画素から予め定めた範囲内の参照領域に含まれる最近接要素画像を形成する要素画素の信号値の平均値を、その注目要素外画素と定める。そのため、要素外画素の補間値とその要素外画素に近接する要素画素の信号値の差分が小さくすることができ、符号化データを復号して得られる要素画像の直流成分の低下が抑えられ、復号された集積画像の画質を向上することができる。
また、補間部１０２は、補間値を定めていない要素外画素が参照領域に含まれないように、注目要素外画素を順次定めるため、定められた補間値の空間変化を緩やかにすることができる。そのため、符号化データを復号して得られる要素画像の低周波成分の低下が抑えられ、復号された集積画像の画質をさらに向上することができる。

（符号化処理部の構成）
次に、本実施形態に係る符号化処理部１１の構成について説明する。
図７は、本実施形態に係る符号化処理部１１の構成を示す概略ブロック図である。
符号化処理部１１は、補間部１０２から入力された補間画像信号について符号化処理を行って符号化データを生成する。この符号化処理は、補間画像信号に基づいてＤＣＴを行って得られた変換係数を量子化する過程を含む。ＤＣＴは、空間領域の信号を周波数領域の変換係数に変換する手法の１つである。
符号化処理部１１は、フレームバッファ１１１、減算部１１２、ＤＣＴ部１１３、量子化部１１４、多重化・可逆符号化部１１５、蓄積バッファ１１６、逆量子化部１１７、逆ＤＣＴ部１１８、加算部１１９、ループフィルタ１２０、参照メモリ１２１、予測部１２２、及びモード判定部１２４を含んで構成される。

フレームバッファ１１１には、補間部１０２から補間画像信号が入力され、入力された補間画像信号をフレーム毎に一時的に記憶する。フレームバッファ１１１は、現フレームの補間画像信号から現在処理を行うブロック（現ブロック、カレントブロックともいう）の画像を示す入力画像ブロック信号を読み出す。フレームバッファ１１１が現ブロックを選択する順序は、例えば、ラスタスキャンの順序と同一である。フレームバッファ１１１は、読み出した入力画像ブロック信号を減算部１１２及び予測部１２２に出力する。

減算部１１２には、フレームバッファ１１１から入力画像ブロック信号が入力され、予測部１２２から予測画像ブロック信号が入力される。減算部１１２は、画像ブロック信号を形成する画素毎の信号値から予測画像ブロック信号を形成する信号値のうち対応する画素の信号値を減算する。減算部１１２は、減算して得られた画素毎の信号値で形成される差分画像ブロック信号をＤＣＴ部１１３に出力する。

ＤＣＴ部１１３は、減算部１１２から入力された差分画像ブロック信号が示す信号値についてＤＣＴを行って変換係数を算出する。ＤＣＴ部１１３は、算出した変換係数を示す変換係数データを生成し、生成した変換係数データを量子化部１１４に出力する。
量子化部１１４は、ＤＣＴ部１１３から入力された変換係数データが示す変換係数を量子化する。量子化部１１４は、量子化した変換係数（量子化変換係数）を示す量子化変換係数データを多重化・可逆符号化部１１５及び逆量子化部１１７に出力する。

多重化・可逆符号化部１１５には、量子化部１１４から量子化変換係数データが入力される。多重化・可逆符号化部１１５には、モード判定部１２４からモードデータが入力される。モードデータは、参照画像ブロック信号を用いて予測画像ブロック信号を予測する際の予測モードを示すデータである。入力されたモードデータが示す予測モードによって、符号化の対象となるデータの種類やその有無が異なる。
予測モードには、動き補償モード、イントラ予測モード等がある。例えば、予測モードが動き補償モードである場合には、多重化・可逆符号化部１１５には、量子化部１１４から量子化変換係数データが入力され、モード判定部１２４から現ブロックの動きベクトルデータが入力される。予測モードがイントラ予測モードである場合には、量子化部１１４から量子化変換係数データが入力されるが、動きベクトルデータは入力されない。
多重化・可逆符号化部１１５は、入力されたデータを統合し、統合したデータ（統合データ）について可逆符号化、例えば、可変長符号化、を行って符号化データを生成する。多重化・可逆符号化部１１５は、生成した符号化データを蓄積バッファ１１６に一時的に記憶させる。

蓄積バッファ１１６は、多重化・可逆符号化部１１５から入力された符号化データを一時的に記憶する。蓄積バッファ１１６は、記憶した符号化データを多重化部１０４に出力する。

逆量子化部１１７は、量子化部１１４から入力された量子化変換係数データが示す量子化変換係数を逆量子化して、逆量子化により得られる復元変換係数を示す復元変換係数データを生成する。逆量子化部１１７は、復元変換係数データを逆ＤＣＴ部１１８に出力する。
逆ＤＣＴ部１１８は、逆量子化部１１７から入力された復元変換係数データが示す復元変換係数について逆ＤＣＴを行って復元差分画像ブロック信号を生成する。逆ＤＣＴ部１１８は、生成した復元差分画像ブロック信号を加算部１１９に出力する。

加算部１１９には、逆ＤＣＴ部１１８から復元差分画像ブロック信号が入力され、予測部１２２から予測画像ブロック信号が入力される。加算部１１９は、復元差分画像ブロック信号を形成する画素毎の信号値と予測画像ブロック信号を形成する信号値のうち対応する画素の信号値とを加算する。加算部１１９は、加算により得られた画素毎の信号値で形成される復元画像ブロック信号をループフィルタ１２０に出力する。但し、入力された予測画像ブロック信号が予測部１２２においてイントラ予測により生成された場合（現フレームがイントラフレーム（Ｉピクチャ）である場合も含む）には、加算部１１９は、復元画像ブロック信号をループフィルタ１２０に出力せずに参照メモリ１２１に記憶する。

ループフィルタ１２０は、加算部１１９から入力された復元画像ブロック信号にフィルタ処理を行ってブロック歪の成分を除去する。ループフィルタ１２０は、ブロック歪の成分が除去された復元画像ブロック信号を参照画像ブロック信号として参照メモリ１２１に記憶する。
参照メモリ１２１は、加算部１１９又はループフィルタ１２０から入力された参照画像ブロック信号をフレーム毎に、その参照画像ブロックに応じた記憶領域に記憶する。これにより、参照画像を示す参照画像信号がフレーム毎に記憶される。参照画像信号は、符号化データを復号して得られる復号画像信号に相当する。

予測部１２２は、参照メモリ１２１に記憶された参照画像信号を用いて予測処理を行って現ブロックの予測画像ブロック信号を生成する。
現フレームがイントラフレーム（Ｉピクチャ）である場合には、予測部１２２は、予め定めた複数の予測モードのそれぞれでイントラ予測を行って予測画像ブロック信号を生成する。この複数の予測モード間では、互いに予測方向などが異なる。予測部１２２は、予測画像ブロック信号の入力画像ブロック信号に対する近似の度合いを示すコスト値を算出し、定められたモードデータを対応付けてモード判定部１２４に出力する。コスト値は、例えば、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）コストである。予測部１２２は、生成した予測画像ブロック信号を減算部１１２及び加算部１１９に出力する。

現フレームがインターフレーム（Ｐピクチャ、Ｂピクチャ）である場合には、予測部１２２は、予め定めた複数の予測モードのいずれかで予測処理を行う。予測モードには、例えば、動き補償予測モード、イントラ予測モードがある。動き補償予測モードは、参照画像を用いて注目ブロックにおけるフレーム間の画像の動きを検出して予測画像ブロックを予測する予測モードである。

動き補償予測モードでは、予測部１２２は、選択した予測画像ブロックを示す予測画像ブロック信号、その予測画像ブロック信号を生成する際に参照した参照画像信号のフレームを示す参照フレーム番号、選択した予測画像ブロックに係る動きベクトルを示す動きベクトルデータ、算出したコスト値及びモードデータを対応付けてモード判定部１２４に出力する。イントラ予測モードでは、予測部１２２は、生成した現ブロックの予測画像ブロック信号、算出したコスト値及びイントラ予測モードを示すモードデータを対応付けてモード判定部１２４に出力する。

モード判定部１２４は、予測部１２２から少なくともコスト値とモードデータが対応付けて入力される。現フレームがインターフレームである場合には、更に予測画像ブロック信号が入力され、モードデータが動き補償モードを示す場合、また更に参照画像データ、動きベクトルデータも対応付けて入力される。
モード判定部１２４は、複数の予測モードのうち入力されたコスト値が最小となるコスト値に対応する予測モードを示すモードデータを選択する。モード判定部１２４は、選択したモードデータを多重化・可逆符号化部１１５に出力する。現フレームがインターフレームであって、選択されたモードが動き補償モードである場合、モード判定部１２４は、動きベクトルデータを多重化・可逆符号化部１１５に出力する。現フレームがインターフレームであって、選択されたモードデータがイントラ予測モードを示す場合には、モード判定部１２４に入力又は出力する動きベクトルデータはない。

（復号処理部の構成）
次に、本実施形態に係る復号処理部２１の構成について説明する。
図８は、本実施形態に係る復号処理部２１の構成を示す概略ブロック図を示す。
復号処理部２１は、分離部２０１から入力された符号化データについて復号処理を行って復号画像信号を生成する。この復号処理には、符号化データに含まれる量子化された変換係数について逆ＤＣＴを行う過程を含む。
復号処理部２１は、蓄積バッファ２１１、分離・可逆復号部２１２、逆量子化部２１３、逆ＤＣＴ部２１４、加算部２１５、ループフィルタ２１６、フレームバッファ２１７、参照メモリ２１８、及び補償部２１９を含んで構成される。

蓄積バッファ２１１には、分離部２０１から符号化データが入力され、入力された符号化データが一時的に記憶される。
分離・可逆復号部２１２は、蓄積バッファ２１１から符号化データを読み出し、読み出した符号化データについて可逆復号を行って統合データを生成する。分離・可逆復号部２１２が用いる可逆復号方式は、多重化・可逆符号化部１１５（図７）が用いた可逆符号化方式に対応する方式である。
分離・可逆復号部２１２は、生成した統合データからモードデータ、量子化変換係数データを抽出する。モードデータが動き補償モードを示す場合、分離・可逆復号部２１２は、統合データから更に参照フレーム番号、動きベクトルデータを抽出する。モードデータがイントラ予測モードを示す場合、分離・可逆復号部２１２は、統合データからイントラ予測モードを示すモードデータを抽出するが、動きベクトルデータは抽出されない。
分離・可逆復号部２１２は、抽出した量子化変換係数データを逆量子化部２１３に出力し、抽出したモードデータ、参照フレーム番号、動きベクトルデータを補償部２１９に出力する。

逆量子化部２１３は、分離・可逆復号部２１２から入力された量子化変換係数データが示す量子化変換係数を逆量子化して復元変換係数を示す復元変換係数データを生成し、生成した復元変換係数データを逆ＤＣＴ部２１４に出力する。
逆ＤＣＴ部２１４は、逆量子化部２１３から入力された復元変換係数データが示す復元変換係数について逆ＤＣＴを行って復元差分画像ブロック信号を生成し、生成した復元差分画像ブロック信号を加算部２１５に出力する。

加算部２１５には、逆ＤＣＴ部２１４から復元差分画像ブロック信号が入力され、補償部２１９から補償画像ブロック信号が入力される。加算部２１５は、復元差分画像ブロック信号が示す画素毎の信号値と予測画像ブロック信号が示す対応する画素の信号値を加算して得られる画素毎の信号値で形成される復元画像ブロック信号をループフィルタ２１６に出力する。但し、入力された補償画像ブロック信号が補償部２１９においてイントラ補償により生成された場合（現フレームがイントラフレーム（Ｉピクチャ）である場合も含む）には、加算部２１５は、復元画像ブロック信号をループフィルタ２１６に出力せずにフレームバッファ２１７に記憶し、その復元画像ブロック信号を参照画像ブロック信号として参照メモリ２１８に記憶する。
ループフィルタ２１６は、加算部２１５から入力された復元画像ブロック信号にフィルタ処理を行ってブロック歪の成分を除去する。ループフィルタ２１６は、ブロック歪の成分が除去された復元画像ブロック信号をフレームバッファ２１７に記憶し、その復元画像ブロック信号を参照画像ブロック信号として参照メモリ２１８に記憶する。

フレームバッファ２１７には、加算部２１５又はループフィルタ２１６から入力された復元画像ブロック信号をフレーム毎に、その復元画像ブロックに応じた表示領域に応じた記憶領域に記憶することで、フレーム毎の復元画像信号が形成され、形成された復元画像信号が記憶される。フレームバッファ２１７は、フレーム毎に復元画像信号を合成処理部２０３に出力する。
参照メモリ２１８は、加算部２１５又はループフィルタ２１６から入力された参照画像ブロック信号をフレーム毎に、その参照画像ブロックに応じた表示領域に応じた記憶領域に記憶する。これにより、参照画像を示す参照画像信号がフレーム毎に記憶される。

補償部２１９には、分離・可逆復号部２１２から入力されたモードデータに基づいて現フレームがイントラフレームであるかインターフレームであるかを判定する。現フレームがイントラフレームである場合、参照メモリ２１８に記憶された現ブロックの参照画像信号についてモードデータが示すイントラ予測モードに対応した補償モードで補償処理を行うことにより、現ブロックに係る補償画像ブロック信号を生成する。
現フレームがインターフレームである場合、参照メモリ２１８に記憶された参照画像信号について分離・可逆復号部２１２から入力されたモードデータが示す予測モードに対応した補償モードで補償処理を行うことにより、現ブロックに係る補償画像ブロック信号を生成する。

例えば、モードデータがイントラ予測モードを示す場合、補償部２１９は、イントラ補償を行って補償画像ブロック信号を生成する。
モードデータが動き補償予測モードを示す場合、補償部２１９には、分離・可逆復号部２１２から参照フレーム番号と動きベクトルデータが入力される。補償部２１９は、参照フレーム番号で指定される参照画像信号のうち、動きベクトルデータが示す動きベクトルで指定される領域の参照画像ブロック信号を参照メモリ２１８から読み出す。補償部２１９は、読み出した参照画像ブロック信号を用いて補償画像ブロック信号を生成する。
補償部２１９は、生成した補償画像ブロック信号を加算部２１５に出力する。

以上に説明したように、本実施形態に係る画像符号化装置（例えば、画像符号化装置１０）は、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定める補間部（例えば、補間部１０２）を備える。また、本実施形態に係る画像符号化装置は、前記要素画像と前記補間部が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する変換部（例えば、ＤＣＴ部１１３）とを備える。
この構成により、要素外画像と要素画像との間で信号値の差が小さくなるので、符号化データを復号して得られる要素画像の信号値の低下が抑えられる。そのため、復号された集積画像の画質が向上する。

また、本実施形態に係る画像復号装置（例えば、画像復号装置２０）は、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像について、ブロック毎に量子化された変換係数を空間領域の信号値に逆変換する逆変換部（例えば、逆ＤＣＴ部２１４）を備える。また、本実施形態に係る画像復号装置は、前記要素外画像を形成する要素外画素の信号値を予め定めた信号値に定める合成処理部を備える。
この構成により、予め定めた信号値を元の要素外画像の信号値とすることで、復号された集積画像を形成する要素外画像の信号値が元の要素外画像の信号値に定められるため、復号された集積画像の画質の低下を防ぐことができる。

（第２実施形態）
以下、図面を参照しながら本発明の第２実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
図９は、本実施形態に係る画像伝送システム１Ａの構成を示す概略ブロック図である。
画像伝送システム１Ａは、画像符号化装置１０Ａ及び画像復号装置２０を含んで構成され、画像符号化装置１０Ａと画像復号装置２０とは、伝送路３０で接続されている。

（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置１０Ａの構成について説明する。
画像符号化装置１０Ａは、記憶部１０１、補間部１０２、要素画像データ生成部１０３Ａ、多重化部１０４、及び符号化処理部１１Ａを含んで構成される。
要素画像データ生成部１０３Ａは、要素画像データ生成部１０３（図１）と同様に第１の要素画像データを生成する。要素画像データ生成部１０３Ａは、生成した第１の要素画像データを参照して、１フレーム内に含まれる複数の変換ブロックのそれぞれに含まれる要素画素の数（要素画素数）を計数する。変換ブロックは、ＤＣＴ処理を行う最小単位となる領域であって、複数の画素から形成される集積画像の一部を占める長方形の領域である（図１１）。
要素画像データ生成部１０３Ａは、変換ブロック毎の要素画素数を示す第２の要素画像データを生成し、生成した第２の要素画像データと第１の要素画像データを符号化処理部１１Ａに出力する。

次に、本実施形態に係る符号化処理部１１Ａの構成について説明する。
図１０は、本実施形態に係る符号化処理部１１Ａの構成を示す概略ブロック図である。
符号化処理部１１Ａは、符号化処理部１１（図７）において、ＤＣＴ部１１３、逆ＤＣＴ部１１８に代えて、ＤＣＴ部１１３Ａ、逆ＤＣＴ部１１８Ａを備える。

ＤＣＴ部１１３Ａには、減算部１１２から差分画像ブロック信号が予測ブロック毎に入力される。予測ブロックは、予測部１２２において予測処理を行う最小単位となる領域である。本実施形態では、予測ブロックの大きさは、変換ブロックの大きさよりも小さくてもよい。そこで、ＤＣＴ部１１３Ａは、その時点での変換ブロックに含まれる予測ブロックの差分画像ブロック信号を集積する。

ＤＣＴ部１１３Ａは、その変換ブロック内に集積した差分画像ブロック信号についてＤＣＴを行って変換係数を算出する。ＤＣＴ部１１３Ａは、要素画像データ生成部１０３Ａから入力された第２の要素画像データから、その変換ブロックの要素画素数を抽出する。ＤＣＴ部１１３Ａは、算出した変換係数のうち直流成分を示す変換係数を抽出した要素画素数で正規化する。具体的には、ＤＣＴ部１１３Ａは、直流成分の変換係数を要素画素数の変換ブロック内の全画素数（変換ブロック画素数）に対する比率で除算することによって変換係数を正規化する。ＤＣＴ部１１３Ａは、正規化した変換係数とその他の変換係数を示す変換係数データを生成し、生成した変換係数データを量子化部１１４に出力する。
なお、ＤＣＴ部１１３Ａは、要素画素数の変換ブロック画素数に対する比率で除算して正規化する処理は、直流成分を示す変換係数に限らず、他の周波数成分、例えば、全ての周波数成分の変換係数について行ってもよい。

逆ＤＣＴ部１１８Ａは、逆量子化部１１７から入力された復元変換係数データが示す復元変換係数について逆ＤＣＴを行って復元差分画像内の画素毎の信号値を算出する。
逆ＤＣＴ部１１８Ａは、要素画像データ生成部１０３Ａから入力された第１の要素画像データを参照して、その変換ブロックに含まれる要素外画素を特定する。逆ＤＣＴ部１１８Ａは、特定した要素外画素の信号値を第１のリセット信号値（例えば、０）に置き換える。逆ＤＣＴ部１１８Ａは、その変換ブロックに含まれる要素画素について算出した信号値と要素外画素について置き換えた信号値とを示す復元差分画像ブロック信号を生成し、生成した復元差分画像ブロック信号を加算部１１９に出力する。

本実施形態では、ＤＣＴ部１１３Ａが上述した変換ブロック毎に処理を行うことに応じて、量子化部１１４、及び逆量子化部１１７も、その変換ブロック毎に上述した処理を行う。多重化・可逆符号化部１１５で生成される符号化データに含まれる量子化変換係数データは変換ブロック毎に形成される。
また、画像復号装置２０の逆量子化部２１３、逆ＤＣＴ部２１４（図８）も、その変換ブロック毎に処理を行う。なお、合成処理部２０３（図９）は、復号画像信号が示す画素外画素の各信号値を予め定めた第１のリセット信号値に置き換えるため、画像復号装置２０の逆ＤＣＴ部２１４（図８）は、要素外画素の信号値を第１のリセット信号値に置き換える処理を行わなくてもよい。逆に、逆ＤＣＴ部２１４は、記憶部２０２（図９）に記憶された第１の要素画像データを参照して、各変換ブロックに含まれる要素外画素を特定し、特定した要素外画素の信号値を第１のリセット信号値に置き換えてもよい。その場合には、合成処理部２０３（図９）は省略されてもよい。

（変換ブロックの例）
図１１は、変換ブロックの例を示す図である。
集積画像Ｉｍ１において、塗りつぶされた円のそれぞれは、要素画像を示し、それ以外の白抜きの領域は、要素外画像を示す。
集積画像Ｉｍ１には、破線で示すように各変換ブロックがラスタスキャンの順序で設定され、複数の変換ブロック間で互いに重複しないように網羅される。各変換ブロックは、その水平方向の大きさと等しい間隔で水平方向に配置され、その垂直方向の大きさと等しい間隔で垂直方向に配置される。図１１に示す例では、変換ブロックの水平方向の大きさ、垂直方向の大きさは、それぞれ要素画像の直径ｄに等しい。Ｂ１は、集積画像Ｉｍ１の第１行第２列に配置される変換ブロックを示す。Ｂ２は、集積画像Ｉｍ１の第２行第３列に配置される変換ブロックを示す。

各変換ブロックは、要素画像の部分と要素外画像の部分とを含み、要素画像の部分だけでは形成されない。そこで、ＤＣＴ部１１３Ａは、各変換ブロックについて算出した変換係数を要素画像で占められる割合で正規化するため、変換係数を逆変換して得られる復号画像において要素画素の信号値の低下を防ぐことができる。そのため、復号された集積画像の画質を向上することができる。

他方、各要素画像の中心は、六方格子の各格子点上に配置されているので、各要素画像は、水平方向には直径ｄと等しい間隔で配列されるのに対し、垂直方向には√３／２・ｄの間隔で配列される。変換ブロックＢ１、Ｂ２に示すように、各列間で変換ブロックに含まれる要素画像の割合、つまり要素画像数が異なる。仮に、変換ブロックの水平方向の大きさと、要素画像の大きさとが異なる場合には、各行間で変換ブロックに含まれる要素画像の割合が異なりうる。また、各要素画像の形状が円形以外の他の形状（例えば、楕円）である場合によっても変換ブロックに含まれる要素画像の割合が異なることがある。
この点、ＤＣＴ部１１３Ａは、各変換ブロックについて変換係数を要素画像で占められる割合で正規化するため、変換ブロックの大きさ、要素画像の形状、配置によらず、復号された集積画像において要素画素の信号値の低下を防ぐことができる。そのため、復号された集積画像の画質を向上することができる。

以上に説明したように、本実施形態に係る画像符号化装置（例えば、画像符号化装置１０Ａ）において、変換部（例えば、ＤＣＴ部１１３Ａ）は、少なくとも一部の周波数成分の変換係数（例えば、直流成分の変換係数）を要素画像がブロック（例えば、変換ブロック）に占める割合で正規化する。
この構成により、変換係数の算出単位であるブロックに要素外画像が含まれることによる信号値の低下を防ぐことができるため、復号された集積画像の画質を向上することができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、集積画像を形成する要素画像の形状は、円に限らず、要素画像だけで集積画像の領域の全体を占めることができない形状であれば、いかなる形状（例えば、楕円）であってもよい。また、集積画像において要素画像の配置は、六方格子状の配置でなくてもよく、その他の配置、例えば、平方格子状の配置であってもよい。

例えば、集積画像において要素画像が占める領域は、撮像装置の仕様による。そのため、要素画像データ生成部１０３が第１の要素画像データを生成する処理や、多重化部１０４が多重化する処理は、新たな撮像装置が用いられる毎に行われれば足り、それ以外の場合には省略されてもよい。
また、上述した画像符号化装置１０において、記憶部１０１に予め第１の要素画像データが記憶され、補間部１０２が記憶部１０１に記憶された第１の要素画像データを参照することができれば、要素画像データ生成部１０３は省略されてもよい。
また、上述した画像復号装置２０において、記憶部２０２に予め第１の要素画像データが記憶され、合成処理部２０３が記憶部２０２に記憶された第１の要素画像データを参照することができれば、分離部２０１と画像符号化装置１０の多重化部１０４とは、省略されてもよい。

上述した画像符号化装置１０Ａにおいて、補間部１０２は省略されてもよい。その場合でも、ＤＣＴ部１１３Ａが、少なくとも一部の周波数成分の変換係数を要素画像が変換ブロックに占める割合で正規化するので、変換処理の算出単位である変換ブロックに要素外画像が含まれることによる信号値の低下を防ぐことができる。そのため、復号された集積画像の画質を向上することができる。

また、上述した画像符号化装置１０Ａにおいて、記憶部１０１に予め第１の要素画像データと第２の要素画像データが記憶され、補間部１０２及び逆ＤＣＴ部１１８Ａが記憶部１０１に記憶された第１の要素画像データを参照することができ、ＤＣＴ部１１３Ａが記憶部に記憶された第２の要素画像データを参照することができれば、要素画像データ生成部１０３Ａは省略されてもよい。

上述した実施形態に係る画像符号化装置１０、１０Ａ、画像復号装置２０が、それぞれ単体で実施されてもよいし、画像符号化装置１０と画像復号装置２０とを含む画像伝送システム１、画像符号化装置１０Ａと画像復号装置２０とを含む画像伝送システム１Ａとして実施されてもよい。

（テレビジョンシステム）
また、画像伝送システム１又は画像伝送システム１Ａは、撮像装置６及び受像装置７を含んだテレビジョンシステム５として実施されてもよい。
図１２は、本変形例に係るテレビジョンシステム５の構成例を示す図である。
この例では、テレビジョンシステム５は、画像伝送システム１、撮像装置６、及び受像装置７を含んで構成される。
撮像装置６は、凸レンズ６１、複眼レンズ６２、及びカメラ６３を含んで構成される。
凸レンズ６１は、被写体Ｏｂｊが発した光を複眼レンズ６２に結像させる。
複眼レンズ６２は、それぞれ異なる位置（視点）に配列されたＮ_ｅ個の要素レンズを含んで構成される。拡大図６４に示すように、要素レンズのそれぞれには、被写体Ｏｂｊをそれぞれの視点から撮影した画像の１つが要素画像として形成される。拡大図６４は、複眼レンズ６２に結像した被写体Ｏｂｊの画像を示すものであって、テレビジョンシステム５を構成するものではない。
カメラ６３は、各マイクロレンズに結像した被写体Ｏｂｊの画像を集積し集積画像を形成し、形成された集積画像を撮影する。カメラ６３は、撮影した集積画像を示す入力画像信号を画像伝送システム１に出力する。

受像装置７は、表示パネル７１及び複眼レンズ７２を含んで構成される。
表示パネル７１は、画像伝送システムから入力された出力画像信号が示す集積画像を表示する。表示パネル７１は、例えば、液晶パネルである。複眼レンズ７２は、Ｎ_ｅ個の要素レンズを含んで構成される。要素レンズのそれぞれは、それぞれの視点の集積画像を形成する画像光を放射する。これにより、受像装置７が表示する画像を視認する視聴者は、特殊な眼鏡を装着せずにその所在する位置に応じた視点から観察される被写体Ｏｂｊの立体画像を視認することができる。
複眼レンズ６２、７２は、それぞれの要素レンズを形成する光ファイバを含んで構成されてもよい。
また、撮像装置６は、立体テレビジョンカメラに限られず、ライトフィールドカメラであってもよい。その場合、撮像装置６は、カメラ６３に代えて単体の撮像素子を備え、撮像素子及び複眼レンズ６２が互いに密着して構成される。また、凸レンズ６１が上述した主レンズに相当する。
また、画像符号化装置１０、１０Ａは、撮像装置６と一体化した構成で実施されてもよい。画像復号装置２０は、受像装置７と一体化した構成で実施されてもよい。

なお、上述した画像符号化装置１０、１０Ａ、又は画像復号装置２０の一部、例えば、補間部１０２、要素画像データ生成部１０３、１０３Ａ、多重化部１０４、符号化処理部１１、１１Ａ、分離部２０１、合成処理部２０３、復号処理部２１をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１０、１０Ａ又は画像復号装置２０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像符号化装置１０、１０Ａ及び画像復号装置２０の一部、又は全部をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像符号化装置１０、１０Ａ及び画像復号装置２０の各機能ブロックは個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１Ａ…画像伝送システム、１０、１０Ａ…画像符号化装置、
１０１…記憶部、１０２…補間部、１０３、１０３Ａ…要素画像データ生成部、
１０４…多重化部、１１、１１Ａ…符号化処理部、
１１１…フレームバッファ、１１２…減算部、１１３、１１３Ａ…ＤＣＴ部、
１１４…量子化部、１１５…多重化・可逆符号化部、１１６…蓄積バッファ、
１１７…逆量子化部、１１８、１１８Ａ…逆ＤＣＴ部、１１９…加算部、
１２０…ループフィルタ、１２１…参照メモリ、１２２…予測部、１２４…モード判定部、
２０…画像復号装置、
２０１…分離部、２０２…記憶部、２０３…合成処理部、
２１…復号処理部、
２１１…蓄積バッファ、２１２…分離・可逆復号部、２１３…逆量子化部、
２１４…逆ＤＣＴ部、２１５…加算部、２１６…ループフィルタ、
２１７…フレームバッファ、２１８…参照メモリ、２１９…補償部、
３０…伝送路、
５…テレビジョンシステム、
６…撮像装置、６１…凸レンズ、６２…複眼レンズ、６３…カメラ、
７…受像装置、７１…表示パネル、７２…複眼レンズ

Claims (8)

1. 複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、前記複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定める補間部と、
   前記要素画像と前記補間部が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する変換部と、
   を備える画像符号化装置。
2. 前記補間部は、前記複数の要素画像の少なくともいずれかの信号値の代表値を前記要素外画像の信号値と定める請求項１に記載の画像符号化装置。
3. 前記補間部は、前記要素外画像を形成する要素外画素の信号値を、前記要素外画素から
   予め定めた範囲に含まれる要素画像の信号値の代表値と定める請求項１に記載の画像符号化装置。
4. 前記補間部は、前記要素外画像を形成する要素外画素の信号値を、前記要素外画素から予め定めた範囲に含まれる要素画像の信号値に低域通過フィルタ処理を行って定める請求項１に記載の画像符号化装置。
5. 前記変換部は、少なくとも一部の周波数成分の前記変換係数を前記要素画像が前記ブロックに占める割合で正規化する請求項１から請求項４のいずれかに記載の画像符号化装置。
6. 複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、ブロック毎に量子化された変換係数を空間領域の信号値に逆変換する逆変換部と、
   前記要素外画像を形成する要素外画素の信号値を予め定めた信号値に定める合成処理部と、
   を備える画像復号装置。
7. コンピュータを、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像について、前記複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定める補間手段と、
   前記要素画像と前記補間手段が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する変換手段と、
   を具備する画像符号化装置として機能させるための画像符号化プログラム。
8. 複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、ブロック毎に量子化された変換係数を空間領域の信号値に逆変換する逆変換手段と、
   前記要素外画像を形成する要素外画素の信号値を予め定めた信号値に定める合成処理手段と、
   を具備する画像復号装置として機能させるための画像復号プログラム。