JP2013110532A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム - Google Patents

Abstract

【課題】視点画像を符号化した際に発生するブロックノイズを目立たなくする画像符号化装置を提供すること。
【解決手段】少なくとも一つの観察視点に対応する視点画像を符号化する視点画像符号化部と、観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化部とを備える画像符号化装置であって、奥行き画像符号化部は、奥行き画像について、視点画像を符号化する際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、視点画像符号化部は、画素値分布分析部の分析結果に基づき、視点画像の符号化時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えることを特徴とする。
【選択図】図１

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラムに関する。

複数視点の画像を記録または伝送することによって、視聴者の好みの観察角度からの画像を観賞することができる。ＤＶＤ（Digital Versatile Disc）−Ｖｉｄｅｏで利用されるマルチアングル映像は、あらかじめ視聴者が興味を持ちそうな、あるいは制作者側が見せたい観察視点または観察対象の映像を、同時刻で並行して複数用意しておき、視聴者の操作によって表示する映像を切り替える機能である。
このようなマルチアングル映像の機能を実現するためには、対応する複数の映像を全て記録しておく必要があるが、制作者側で特に見せたい、あるいは視聴者からの要望が高そうなシーンや視点数に限定することによって、記録メディアの容量を超えない範囲で映像を制作している。

しかし、たとえばスポーツやコンサートあるいは舞台演劇などの映像に対して、視聴者が興味を持つ視点は様々であり、上記のような手段では、視聴者の多様な要望に応える映像を提供することは困難である。
このような問題に対して、特許文献１では、複数の視点画像を符号化すると共に、複数の視点画像から生成した奥行き画像も符号化し、両者を含む符号化ストリームを生成する画像符号化装置を開示している。奥行き画像は、視点画像内の各被写体が、それぞれ観察位置からどれだけ離れているかを示す情報であり、奥行き画像を利用することによって、限られた入力視点画像から、任意の視点位置に対応する映像を生成することができる。

図８は、一つの視点画像とそれに対応する奥行き画像をもとにして、任意の視点位置からの映像を生成する様子を示したものである。図のように、視点画像４１と奥行き画像４２が入力として与えられている場合を想定する。視点画像４１は、視点４３からあるシーンを撮影したものであり、撮影した際のカメラの位置や撮影方向に関する情報や、撮影したシーンに関するカメラからの距離の情報も併せて得られている。奥行き画像４２は、視点画像４１に含まれる被写体や背景までの視点４３からの距離（奥行き）の値を所定範囲で数値化し、輝度値として画像化したものである。

この奥行き画像４２と、撮影時のカメラやシーンに関する情報（以後、撮影条件情報と記す）を用いると、視点画像４１内の各被写体の３次元空間上の位置を計算することができ、撮影した３Ｄシーン４０を仮想的に再現することができる。そして、所望の仮想視点位置４４に関するカメラの位置や撮影方向などの情報を与えてやることにより、視点位置４４に対応する視点画像４５を生成することができる。このとき、視点４３から見えない領域すなわち視点画像４１に映っていない領域の画像は計算できないが、周囲の情報から補間もしくは推定することで、視点画像４１には映っていないが仮想視点画像４５に映っているべき領域を生成する。

以上のように、限られた数の視点画像と奥行き画像を符号化し、記録または伝送することによって、比較的少ないデータ量で、多くの視点に対応する映像を生成し、視聴者の多様な要望を満たすことが可能になる。

特開２０１０−１５７８２３号公報

しかしながら、特許文献１などのような視点画像の符号化においては、ブロックノイズが発生するという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、視点画像を符号化した際に発生するブロックノイズを目立たなくする画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、少なくとも一つの観察視点に対応する視点画像を符号化する視点画像符号化部と、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化部とを備える画像符号化装置であって、前記奥行き画像符号化部は、前記奥行き画像について、前記視点画像を符号化する際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、前記視点画像符号化部は、前記画素値分布分析部の分析結果に基づき、前記視点画像の符号化時に適用するデブロッキングフィルタのフィルタの強度を決定するフィルタ制御部を備えることを特徴とする。

（２）また、本発明の他の態様は、上述の画像符号化装置であって、前記画素値分布分析部は、前記分析の際に、前記符号化単位の境界で接する２つの領域各々を代表する距離値の差分を算出し、前記フィルタ制御部は、前記差分に応じて、前記差分に対応する前記境界における前記フィルタ強度を決定することを特徴とする。

（３）また、本発明の他の態様は、上述の画像符号化装置であって、前記フィルタ制御部は、前記差分の絶対値が小さいほど、前記フィルタ強度を強くすることを特徴とする。

（４）また、本発明の他の態様は、上述の画像符号化装置であって、前記２つの領域各々を代表する距離値は、前記境界に接する２つの画素各々の画素値であることを特徴とする。

（５）また、本発明の他の態様は、上述の画像符号化装置であって、前記２つの領域各々を代表する距離値は、前記境界に接する第１の画素と、該第１の画素の前記境界の反対側に位置する１つまたは複数の第２の画素とからなる画素群の画素値の平均であることを特徴とする。

（６）また、本発明の他の態様は、上述の画像符号化装置であって、前記画素値分布分析部が分析する奥行き画像は、前記奥行き画像符号化部が符号化したものを復号したものであることを特徴とする。

（７）また、本発明の他の態様は、少なくとも一つの観察視点に対応する視点画像が符号化された符号化視点画像を復号する視点画像復号部と、前記観察視点からの各被写体までの距離を示す奥行き画像符号化された符号化奥行き画像を復号する奥行き画像復号部とを備える画像復号装置であって、前記奥行き画像復号部は、前記符号化奥行き画像を復号した画像について、前記符号化視点画像が符号化された際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、前記視点画像復号部は、前記画素値分布分析部の分析結果に基づき、前記符号化視点画の復号時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えることを特徴とする。

（８）また、本発明の他の態様は、上述の画像復号装置であって、前記画素値分布分析部は、前記分析の際に、前記符号化単位の境界で接する２つの領域各々を代表する距離値の差分を算出し、前記フィルタ制御部は、前記差分に応じて、前記差分に対応する前記境界における前記フィルタ強度を決定することを特徴とする。

（９）また、本発明の他の態様は、上述の画像復号装置であって、前記フィルタ制御部は、前記差分の絶対値が小さいほど、前記フィルタ強度を強くすることを特徴とする。

（１０）また、本発明の他の態様は、上述の画像復号装置であって、前記２つの領域各々を代表する距離値は、前記境界に接する２つの画素各々の画素値であることを特徴とする。

（１１）また、本発明の他の態様は、上述の画像復号装置であって、領域を代表する距離値は、前記境界に接する第１の画素と、該第１の画素の前記境界の反対側に位置する１つまたは複数の第２の画素とからなる画素群の画素値の平均であることを特徴とする。

（１２）また、本発明の他の態様は、少なくとも一つの観察視点に対応する視点画像を符号化する視点画像符号化ステップと、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化ステップとを有する画像符号化方法であって、前記視点画像符号化ステップは、前記奥行き画像について、前記視点画像を符号化する際の符号化単位に応じた画素値の分布を分析する画素値分布分析ステップを有し、前記視点画像符号化ステップは、前記画素値分布分析ステップの分析結果に基づき、前記視点画像の符号化時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御ステップを有することを特徴とする。

（１３）また、本発明の他の態様は、少なくとも一つの観察視点に対応する視点画像が符号化された符号化視点画像を復号する視点画像復号ステップと、前記観察視点からの各被写体までの距離を示す奥行き画像符号化された符号化奥行き画像を復号する奥行き画像復号ステップとを有する画像復号方法であって、前記奥行き画像復号ステップは、前記符号化奥行き画像を復号した画像について、前記符号化視点画像が符号化された際の符号化単位に応じた画素値の分布を分析する画素値分布分析ステップを有し、前記視点画像復号ステップは、前記画素値分布分析ステップの分析結果に基づき、前記符号化視点画の復号時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御ステップを有することを特徴とする。

（１４）また、本発明の他の態様は、コンピュータを、少なくとも一つの観察視点に対応する視点画像を符号化する視点画像符号化部、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化部として機能させるためのプログラムであって、前記奥行き画像符号化部は、前記奥行き画像について、前記視点画像を符号化する際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、前記視点画像符号化部は、前記画素値分布分析部の分析結果に基づき、前記視点画像の符号化時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えることを特徴とする。

（１５）また、本発明の他の態様は、コンピュータを、少なくとも一つの観察視点に対応する視点画像が符号化された符号化視点画像を復号する視点画像復号部、前記観察視点からの各被写体までの距離を示す奥行き画像符号化された符号化奥行き画像を復号する奥行き画像復号部として機能させるためのプログラムであって、前記奥行き画像復号部は、前記符号化奥行き画像を復号した画像について、前記符号化視点画像が符号化された際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、前記視点画像復号部は、前記画素値分布分析部の分析結果に基づき、前記符号化視点画の復号時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えることを特徴とする。

この発明によれば、視点画像を符号化した際に発生するブロックノイズを目立たなくすることができる。

本発明の第１の実施形態に係る画像符号化装置１の内部構成を示す概略ブロック図である。 同実施形態に係る視点画像圧縮符号化部１１の内部構成を示す概略ブロック図である。 同実施形態に係るデブロッキングフィルタ部１１０３によるフィルタ処理の対象画素位置を示す図である。 同実施形態に係る奥行き画像圧縮符号化部１２の内部構成を示す概略ブロック図である。 本発明の第２の実施形態に係る画像復号装置２の構成を示す概略ブロック図である。 同実施形態に係る視点画像復号部２１の内部構成を示す概略ブロック図である。 同実施形態に係る奥行き画像復号部２２の内部構成を示す概略ブロック図である。 従来の、視点画像と奥行き画像とに基づき任意の視点位置からの映像を生成する方法を説明する概念図である。

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態に係る画像符号化装置１の内部構成を示す概略ブロック図である。画像符号化装置１は、視点画像圧縮符号化部１１、奥行き画像圧縮符号化部１２、撮影条件情報符号化部１３を含んで構成される。

視点画像圧縮符号化部１１は、入力される単一または複数の観察視点に対応する視点画像ｐを、その情報量を削減するように圧縮し符号化して、符号化視点画像ｅｐを生成する。その際、後述する奥行き画像圧縮符号化部１２からの奥行き値分布情報ｄｄを利用する。視点画像圧縮符号化部１１の詳細については後述する。
奥行き画像圧縮符号化部１２は、入力される単一または複数の奥行き画像ｄを、その情報量を削減するように圧縮し符号化して、符号化奥行き画像ｅｄを生成する。なお、入力される奥行き画像ｄは、視点画像ｐの観察視点からの各被写体までの距離を示す。また、圧縮符号化の過程で、後述する符号化単位に応じた奥行き値分布情報ｄｄを生成し、視点画像圧縮符号化部１１へ伝送する。奥行き画像圧縮符号化部１２の詳細については後述する。

撮影条件情報符号化部１３は、視点画像ｐの撮影または生成の際の、撮影シーンとカメラに関するパラメータである撮影条件情報ｃを符号化する。撮影条件情報ｃには、カメラの位置や撮影方向に関する情報と、撮影したシーンに関するカメラからの距離の最近値と最遠値を含む。撮影条件情報ｃは、視点画像ｐや奥行き画像ｄと比べるとその情報量は少ないため、符号化の際に視点画像ｐや奥行き画像ｄに対するような情報量の削減は行わず、各情報やパラメータを所定の順序に従って連続して伝送する。

次に、視点画像圧縮符号化部１１について説明する。図２は、画像符号化装置１に含まれる視点画像圧縮符号化部１１の内部構成を示す概略ブロック図である。視点画像圧縮符号化部１１は、ＤＣＴ量子化部１１０１、逆量子化逆ＤＣＴ部１１０２、デブロッキングフィルタ部１１０３、参照メモリ１１０４、動きベクトル検出部１１０５、画面間予測部１１０６、画面内予測部１１０７、符号化モード切替部１１０８、減算部１１０９、加算部１１１０、エントロピー符号化部１１１１、フィルタ制御部１１１２を含んで構成される。

視点画像圧縮符号化部１１は、視点画像ｐを圧縮符号化する。なお、視点画像ｐは静止画でも動画像でもよい。視点画像圧縮符号化部１１は、圧縮符号化の処理を、所定の小領域を単位として行う。小領域は、視点画像ｐを１６×１６画素単位で分割したマクロブロック、あるいは、マクロブロックをさらに分割した８×８画素、４×４画素、８×４画素などのブロックである。以下の視点画像圧縮符号化部１１を構成する各部の処理は、全てこの小領域単位に行う。なお、各処理において適用する小領域を、どのようなサイズとするかは、入力画像の大きさ、アプリケーションなどに応じて決定するが、ここでは詳細な説明を省略する。なお、小領域のサイズは、１つの視点画像ｐ内で均一でなくてもよい。

ＤＣＴ量子化部１１０１は、減算部１１０９が出力する予測誤差信号に対してＤＣＴ（Discrete Cosine Transform；離散コサイン変換）の演算および量子化を行う。この際、減算部１１０９の出力画像を空間周波数ごとに分解した上で、視覚的に知覚されにくい高周波成分の情報を一部捨てて、画像の情報量を削減する。
逆量子化逆ＤＣＴ部１１０２は、前述のＤＣＴ量子化部１１０１の逆処理を行う。逆処理の結果は、画面内予測部１１０７および画面間予測部１１０６で使用される。
加算部１１１０は、逆量子化逆ＤＣＴ部１１０２による逆処理の結果と後述する予測処理によって得られる予測画像とを加算することによって、局部復号画像を生成する。

デブロッキングフィルタ部１１０３は、加算部１１１０が生成した局部復号画像に対して、符号化によるブロック歪みを緩和するためのフィルタ処理を行う。デブロッキングフィルタ処理の詳細については後述する。
参照メモリ１１０４は、デブロッキングフィルタ部１１０３によりフィルタ処理された局部復号画像を保存する。

動きベクトル検出部１１０５は、参照メモリ１１０４に保存された局部復号画像と、装置外部から入力される視点画像ｐとの間で、動きベクトルを検出する。動きベクトルは、視点画像ｐ内の符号化対象領域に対応して、参照画像内で最も類似度の高い領域を指す情報である。なお、参照画像は、参照メモリ１１０４に保存された局部復号画像の中から、動きベクトル検出部１１０５によって選択される。動きベクトル検出部１１０５は、得られた動きベクトルを、画面間予測部１１０６およびエントロピー符号化部１１１１へ出力する。

画面間予測部１１０６は、動きベクトル検出部１１０５が検出した動きベクトルに対応する参照画像内の領域を読み出して予測画像を生成する。
画面内予測部１１０７は、参照メモリ１１０４に保存された局部復号画像を参照し、符号化対象領域に対応する予測画像を生成する。
符号化モード切替部１１０８は、符号化効率の観点で符号化モードを決定し、前記画面間予測部１１０６または画面内予測部１１０７で生成された予測画像の中から、決定した符号化モードに対応する予測画像を選択し、加算部１１１０および減算部１１０９へ出力する。

減算部１１０９は、装置外部から入力される視点画像ｐから符号化モード切替部１１０８が出力した予測画像を減算し、予測誤差信号を生成する。
エントロピー符号化部１１１１は、ＤＣＴ量子化部１１０１で生成される符号化された予測誤差信号と、動きベクトル検出部１１０５で得られる動きベクトルと、符号化モード切替部１１０８が決定した符号化モードを示す情報などを、指数ゴロム符号や統計的な性質を利用して、全体の符号量（ビット数）が削減されるように可変長符号化する。エントロピー符号化部１１１１により可変長符号化された情報は、符号化視点画像ｅｐとして、視点画像圧縮符号化部１１から出力される。

フィルタ制御部１１１２は、後述する奥行き画像圧縮符号化部１２から奥行き値分布情報ｄｄを受け取り、視点画像ｐの符号化時に適用するデブロッキングフィルタのフィルタの強度（後述するＢｓ、ｔｃ’）を決定し、デブロッキングフィルタ部１１０３へ出力する。フィルタの強度を決定する手順については後述する。

ここで、フィルタ制御部１１１２およびデブロッキングフィルタ部１１０３の処理の詳細について説明する。デブロッキングフィルタ部１１０３は、画像のブロック境界の画素値を平滑化することで、符号化時に生じるブロック歪みを緩和して、符号化画質を向上させることを目的とするものである。フィルタ制御部１１１２は、後述するフィルタ強度Ｂｓおよび係数ｔｃ’を、奥行き値分布情報ｄｄを用いて決定することで、デブロッキングフィルタ部１１０３におけるフィルタの強度を制御する。

図３は、デブロッキングフィルタ部１１０３によるフィルタ処理の対象画素位置を示す図である。図３は、１６画素×１６画素で構成されるマクロブロック３０を、４画素×４画素のブロック（ブロック３１、３２、３３、３６、３７など）に分割し、これらのブロックを圧縮符号化の処理を行う単位である小領域としている場合の例である。フィルタ処理の対象は、マクロブロックまたはブロックの境界を挟んだ画素列である。

図３のマクロブロック３０の垂直方向の端に位置し、水平方向に隣接するブロック３１、３２の境界に注目すると、例えば、ブロック３１と３２の境界を挟んだ８画素（ｐ０，ｐ１，ｐ２，ｐ３，ｑ０，ｑ１，ｑ２，ｑ３）からなる画素列３４ａがフィルタ処理の対象である。なお、画素列３４ａは、左端から画素ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、ｑ３の順に並んでおり、画素ｐ０とｑ０との間にブロック３１と３２の境界がある。この画素列３４ａに対してフィルタ処理を施すことによって、画素列３４ｂ（ｐ０’，ｐ１’，ｐ２’，ｐ３’，ｑ０’，ｑ１’，ｑ２’，ｑ３’）を得る。同様に、マクロブロック３０の水平方向の端に位置し、垂直方向に隣接するブロック３１、３３の境界に注目すると、例えば、ブロック３１と３３の境界を挟んだ８画素（ｐ０，ｐ１，ｐ２，ｐ３，ｑ０，ｑ１，ｑ２，ｑ３）からなる画素列３５ａがフィルタ処理の対象である。なお、画素列３５ａは、上端から画素ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、ｑ３の順に並んでおり、画素ｐ０とｑ０との間にブロック３１と３３の境界がある。この画素列３５ａにフィルタ処理を施すことによって、画素列３５ｂ（ｐ０’，ｐ１’，ｐ２’，ｐ３’，ｑ０’，ｑ１’，ｑ２’，ｑ３’）を得る。

また、マクロブロック３０の垂直方向の端に位置し、水平方向に隣接するブロック３６、３７の境界に注目すると、例えば、マクロブロック３０の垂直方向の端から１画素離れたラインに位置し、ブロック３６と３７の境界を挟んだ８画素（ｐ０，ｐ１，ｐ２，ｐ３，ｑ０，ｑ１，ｑ２，ｑ３）からなる画素列３８ａがフィルタ処理の対象である。なお、画素列３８ａは、左端から画素ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、ｑ３の順に並んでおり、画素ｐ０とｑ０との間にブロック３６と３７の境界がある。この画素列３８ａに対してフィルタ処理を施すことによって、画素列３８ｂ（ｐ０’，ｐ１’，ｐ２’，ｐ３’，ｑ０’，ｑ１’，ｑ２’，ｑ３’）を得る。なお、上述の画素列３４ａ、３５ｂは、マクロブロック３０の端（境界）に位置するが、フィルタ処理の対象は、画素列３８ａのようにマクロブロック３０の端（境界）に位置しないものも含まれる。

フィルタ制御部１１１２は、まず、フィルタ処理の対象となる画素列毎に、ブロック境界のフィルタ強度Ｂｓを、表１のような基準で決定する。表中のイントラマクロブロックとは、イントラ（画面内）予測モードで符号化されたマクロブロックを意味する。なお、表１において、画素がＤＣＴ係数を持つとは、該画素を含むブロックがＤＣＴ係数を持つことを意味する。また、画素がＤＣＴ係数を持たないとは、該画素を含むブロックがＤＣＴ係数を持たないことを意味する。すなわち、減算部１１０９が出力する予測誤差信号が示す値が、該画素を含むブロックにおいては全て０に充分近いときは、これを離散コサイン変換し、量子化すると０となる。このようなときを、ＤＣＴ係数を持たないという。

Ｂｓ＝４の時が最も強いフィルタリングであり、Ｂｓ＝０の時にはフィルタリングなしである。フィルタ制御部１１１２は、表２に示すようなフィルタ強度Ｂｓと量子化パラメータＡ’との組み合わせと、係数ｔｃ’との対応付けを記憶している。フィルタ制御部１１１２は、Ｂｓ＝１〜３のときには、記憶している表２を参照し、フィルタ強度Ｂｓと量子化パラメータＡ’とに基づき、係数ｔｃ’を決定する。なお、フィルタ制御部１１１２は、ＤＣＴ量子化部１１０１における量子化に応じて決まる量子化パラメータＡに、当該画素列のインデックスαを加えて量子化パラメータＡ’を算出する。

量子化パラメータは、ＤＣＴ変換係数を量子化する際のステップ数に対応する変数である。量子化の処理は、変換係数を量子化ステップＱｓで除算し、その結果を整数値に丸めることであり、その逆に、量子化された変換係数に量子化ステップＱｓを乗算して元の変換係数に戻す処理が逆量子化である。量子化ステップを大きくすれば、量子化によって変換係数の値が大幅に小さくなり、符号化に必要なビット数を少なくすることができる。量子化パラメータＡは、基本的に量子化ステップＱｓより小さな値を持ち、所定の演算を施すことによって量子化ステップＱｓを算出できるように定めておく。例えばＡを６で除算した余り（Ａ％６）に対応した６通りのステップ数Ｑｓ０のテーブルを定めておき、これと、Ａを６で除算した商（Ａ／６）を指数に持つ２の累乗（２^Ａ／６）を乗算することで量子化ステップＱｓを算出する。このような関係を定めておくことにより、伝送する量子化パラメータの値０〜５１に対して、得られる量子化ステップは、その最大値が最小値の２５６倍の数値を持つことになり、少ない伝送量で多くのパターンの量子化処理を表すことができる。なお、量子化パラメータＡは、複数のブロック単位で同一の値を使用してもよいし、ブロック単位で異なる値を使用してもよい。

デブロッキングフィルタ部１１０３は、図３に示したような画素列毎に、フィルタ制御部１１１２が決定したフィルタ強度Ｂｓおよび係数ｔｃ’に従い、フィルタ処理を行う。上述のように、フィルタ強度Ｂｓ＝０のときには、対応する画素列に対してフィルタリングを行わない。また、フィルタ強度Ｂｓ＝１〜３のときには、対応する画素列に対して下記のようなフィルタリングを行う。

ｐ０、ｑ０に関しては、デブロッキングフィルタ部１１０３は、（式１）、(式２)の演算を行い、フィルタリング結果であるｐ０’とｑ０’とを得る。
ｐ０’＝ｐ０＋ｄ ・・・（式１）
ｑ０’＝ｑ０−ｄ ・・・（式２）
ここで、
ｄ＝Ｃｌｉｐ３〔−ｔｃ，ｔｃ，｛４＊（ｑ０−ｐ０）＋（ｐ１−ｑ１）＋４｝／８〕・・・（式３）
である。
なお、Ｃｌｉｐ３（ａ，ｂ，ｃ）は、ｃの値がａ〜ｂの範囲を超えないようにクリップ処理を行うことを意味する。

また、ｐ１、ｑ１に関しては、デブロッキングフィルタ部１１０３は、（式４）、(式５)の演算を行い、フィルタリング結果であるｐ１’とｑ１’とを得る。
ｐ１’＝ｐ１＋Ｃｌｉｐ３〔−ｔｃ，ｔｃ，｛ｐ２＋（ｐ０＋ｑ０＋１）／２−（２＊ｐ１）｝／２〕 ・・・（式４）
ｑ１’＝ｑ１＋Ｃｌｉｐ３〔−ｔｃ，ｔｃ，｛ｑ２＋（ｐ０＋ｑ０＋１）／２−（２＊ｑ１）｝／２〕 ・・・（式５）
上記の式３〜式５において、
ｔｃ＝ｔｃ’＋β （βは、量子化パラメータＡに依存して０〜２の値をとる）
である。
このようにフィルタ強度Ｂｓ＝１から３のときは、係数ｔｃに大きな値が設定されると、式１〜式５に従ってｐ０，ｑ０，ｐ１，ｑ１のフィルタリング時に大きな画素値の変化を許容することになる。すなわち、係数ｔｃ’が大きいほど強いフィルタリングが施される。

Ｂｓ＝４のときには、デブロッキングフィルタ部１１０３は、フィルタ強度Ｂｓ＝１〜３よりも強いフィルタリングになるような係数を用いて、３タップ〜５タップのＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを施す。このように、デブロッキングフィルタ部１１０３は、フィルタ制御部１１１２が決定したＢｓ値、係数ｔｃ’に応じて、フィルタの強度が変化するので、ブロック歪みが生じにくい領域の解像度を損ねないようにしながら、適応的にブロック歪みの除去を行うことができる。
そして、本実施形態によるフィルタ制御部１１１２は、奥行き値分布情報ｄｄに基づき、Ｂｓ値、係数ｔｃ’を決定しているので、奥行き画像ｄの性質に応じてフィルタの強度を制御することができる。

次に、奥行き画像圧縮符号化部１２について説明する。図４は、画像符号化装置１に含まれる奥行き画像圧縮符号化部１２の内部構成を示す概略ブロック図である。奥行き画像圧縮符号化部１２は基本的に、視点画像圧縮符号化部１１と共通の構成を備えており、ＤＣＴ量子化部１２０１、逆量子化逆ＤＣＴ部１２０２、デブロッキングフィルタ部１２０３、参照メモリ１２０４、動きベクトル検出部１２０５、画面間予測部１２０６、画面内予測部１２０７、符号化モード切替部１２０８、減算部１２０９、加算部１２１０、エントロピー符号化部１２１１、フィルタ制御部１２１２、画素値分布分析部１２１３を含んで構成される。

奥行き画像圧縮符号化部１２は、視点画像圧縮符号化部１１と、以下の３点が異なる。まず、１点目は、処理対象が輝度値のみである奥行き画像ｄである点である。２点目は、フィルタ制御部１２１２が、奥行き値分布情報ｄｄを用いない、すなわち、量子化パラメータＡ’に変えてＤＣＴ量子化部１２０１の量子化パラメータを用いる点である。３点目は、画素値分布分析部１２１３を含むことである。ここでは、画素値分布分析部１２１３についてのみ説明し、その他の各部については、説明を省略する。

画素値分布分析部１２１３は、参照メモリ１２０４が記憶する奥行き画像の局部復号画像について、ブロックに応じた画素値の分布を分析する。画素値分布分析部１２１３は、この分析の結果として、ブロック境界を挟む２つの画素毎にインデックスαを決定し、奥行き値分布情報ｄｄとして出力する。画素値分布分析部１２１３は、２画素間の画素値の差分の絶対値と、インデックスαとの対応を表すテーブルを記憶している。画素値分布分析部１２１３は、ブロック境界を挟む２つの画素毎に、該２画素間の画素値の差分の絶対値を算出し、このテーブルを参照して、インデックスαを決定する。このテーブルは、例えば、表３のようなテーブルであり、２画素間の画素値の差分の絶対値が小さいほど、インデックスαの値が大きくなっている。

インデックスαは、上述のように、ブロック境界を挟む２つの画素毎に値を持つので、図３に示すような画素列３４ａ、３５ａ、３８ａなどごとに独立した値を持つ。すなわち、奥行き値分布情報ｄｄは、画素列３４ａ、３５ａ、３８ａなどごとインデックスαを示せるような構成である。

このように、インデックスαは、正の値であり、奥行き値の差分が小さいほど、値が大きくなり、したがって、量子化パラメータＡ’も大きくなる。量子化パラメータＡ’が大きくなると係数ｔｃ’も大きくなり、フィルタの強度は強くなる。ブロック境界で奥行き値の差が小さいということは、同一被写体がブロック境界にまたがって位置している可能性が高いことを意味するが、同一被写体がブロック境界にまたがっている場合、ブロック歪みがあると視覚的に目立ちやすい。したがって、そのようなケースでフィルタの強度を強めることによって、目立ちやすいブロック歪みを低減させることができる。

なお、量子化パラメータＡ’＝Ａ＋αの結果が最大値５１を超えてしまう場合には、フィルタ制御部１１１２が量子化パラメータＡ’＝５１にクリッピングして、表２に従ってもよいし、フィルタ強度Ｂｓの値を一つ上げるようにしてもよい。
また、フィルタ制御部１１１２は、量子化パラメータＡをそのまま用い、インデックスαの解釈を、例えばα＝０〜４とα＝５〜６の２段階に分け、α＝０〜４の場合には、フィルタ強度Ｂｓの変更なしとし、α＝５〜６の場合のみ、フィルタ強度Ｂｓを強くするようにしてもよい。

また、本実施形態では、画素値分布分析部１２１３は、奥行き値分布情報ｄｄを生成する際、ブロックの境界で接する画素位置ｐ０とｑ０に対応する奥行き画像の画素値（奥行き値、距離値）を参照し、これらの差分を算出した。しかし、画素値分布分析部１２１３は、ブロックの境界で接する２つの領域各々を代表する距離値を参照すればよく、例えば、画素位置ｐ０〜ｐ３からなる領域とｑ０〜ｑ３からなる領域とに対応する奥行き画像の画素値を参照するようにしてもよい。その際は、例えば、ｐ０〜ｐ３に対応する奥行き値の平均値と、ｑ０〜ｑ３に対応する奥行き値の平均値との差分の絶対値に対応するインデックスαを、表３のテーブルから取得する。また、この平均値は、境界に近い画素の奥行き値ほど、重みを大きくするなどした加重平均であってもよい。

以上のように、奥行き画像圧縮符号化部１２に含まれる画素値分布分析部１２１３が、奥行き画像における奥行き値の分布状態を分析し、その分析結果である奥行き値分布情報を、視点画像圧縮符号化部１１に含まれるフィルタ制御部１１１２へ出力する。奥行き値分布情報を受信したフィルタ制御部１１１２は、前述の通り、視点画像のデブロッキングフィルタ処理を行う際のフィルタの強度を決定し、デブロッキングフィルタ部１１０３へ出力する。この一連の処理によって、デブロッキングフィルタ処理を行う際に、視点画像の符号化条件だけでなく奥行き画像の性質も利用するので、フィルタ処理を施す領域（例えば画素列３４ａ）が同様の奥行き値を備える、すなわち同一の被写体に含まれるか否かを簡便に判定することができる。そして、同一の被写体に含まれる領域のフィルタ強度を強めるようにフィルタ強度を変更することで、より目立ちやすいブロック歪みを除去することができる。

なお、本実施形態において、奥行き画像ｄは、画像符号化装置１の外部から入力されるデータとして扱っているが、画像符号化装置１が奥行き画像ｄを生成する手段を備えてもよい。奥行き画像ｄを生成する方法としては、複数の視点画像からブロックマッチングにより推定する方法や、赤外線や超音波などを被写体に向けて放射しその反射時間を測定して被写体までの距離を算出する方法等を用いてもよい。

［第２の実施形態］
次に、図面を参照して、本発明の第２の実施形態について説明する。図５は、本実施形態に係る画像復号装置２の構成を示す概略ブロック図である。画像復号装置２は、視点画像復号部２１、奥行き画像復号部２２、撮影条件情報復号部２３を含んで構成される。

視点画像復号部２１は、符号化視点画像ｅｐを復号し、視点画像ｐ’を復元する。その際、後述する奥行き画像復号部２２からの奥行き値分布情報ｄｄを利用する。視点画像復号部２１の詳細については後述する。符号化視点画像ｅｐは、例えば、第１の実施形態の視点画像圧縮符号化部１１が生成した符号化視点画像である。
奥行き画像復号部２２は、符号化奥行き画像ｅｄを復号し、奥行き画像ｄ’を復元する。符号化奥行き画像ｅｄは、例えば、第１の実施形態の奥行き画像圧縮符号化部１２が生成した符号化奥行き画像ｅｄである。また、奥行き画像復号部２２は、復号の過程で、符号化単位に応じた奥行き値分布情報ｄｄを生成し、視点画像復号部２１へ伝送する。奥行き画像復号部２２の詳細については後述する。
撮影条件情報復号部２３は、符号化撮影条件情報ｅｃを復号し、撮影条件情報ｃを復元する。符号化撮影条件情報ｅｃは、例えば、第１の実施形態の撮影条件情報符号化部１３が生成した符号化撮影条件情報ｅｃである。

次に、視点画像復号部２１について説明する。図６は、画像復号装置２に含まれる視点画像復号部２１の内部構成を示す概略ブロック図である。視点画像復号部２１は、エントロピー復号部２１０１、逆量子化逆ＤＣＴ部２１０２、デブロッキングフィルタ部２１０３、参照メモリ２１０４、動き補償／画面間予測部２１０５、画面内予測部２１０６、復号モード切替部２１０７、加算部２１０８、フィルタ制御部２１０９を含んで構成される。

視点画像復号部２１は、符号化視点画像ｅｐをその符号化単位ごとに復号する。符号化単位は、１６×１６画素単位のマクロブロックを基本とし、さらに８×８画素や４×４画素などの単位で符号化されている場合もある。以下の各部の処理は全てこの符号化単位で行う。

エントロピー復号部２１０１は、指数ゴロム符号やあらかじめ設定された符号と信号の対応関係に基づいて可変長符号化されたデータである符号化視点画像ｅｐを、もとの信号に復元する。復元された信号のうち、変換・量子化係数は逆量子化逆ＤＣＴ部２１０２へ、動きベクトルを含む画面間予測に関する情報は動き補償／画面間予測部２１０５へ、画面内予測に関する情報は画面内予測部２１０６へ、それぞれ出力する。なお、変換・量子化係数は、第１の実施形態における予測誤差信号を符号化したものである。

逆量子化逆ＤＣＴ部２１０２は、エントロピー復号部２１０１から入力される変換・量子化係数を逆量子化および逆ＤＣＴ変換し、予測誤差信号を復元する。逆量子化逆ＤＣＴ部２１０２の処理は、第１の実施形態の視点画像圧縮符号化部１１に含まれる逆量子化逆ＤＣＴ部１１０２と同等である。
加算部２１０８は、前述の逆量子化逆ＤＣＴ部２１０２で復元された予測誤差信号と、後述する動き補償／画面間予測部２１０５および画面内予測部２１０６で得られる予測画像とを加算して、局部復号画像を生成する。

デブロッキングフィルタ部２１０３は、加算部２１０８が生成した局部復号画像に対して、符号化によるブロック歪みを緩和するためのデブロッキングフィルタ処理を行う。デブロッキングフィルタ部２１０３の処理は、第１の実施形態の視点画像圧縮符号化部１１に含まれるデブロッキングフィルタ部１１０３と同等である。
参照メモリ２１０４は、デブロッキングフィルタ部２１０３がフィルタ処理した局部復号画像を保存する。

動き補償／画面間予測部２１０５は、参照メモリ２１０４に保存された局部復号画像と、復号された画面間予測情報とから予測画像を生成する。
画面内予測部２１０６は、参照メモリ２１０４に保存された局部復号画像と、復号された画面内予測情報とから予測画像を生成する。
復号モード切替部２１０７は、符号化単位ごとに、前記動き補償／画面間予測部２１０５または画面内予測部２１０６で生成された予測画像のいずれかを選択し、加算部２１０８へ伝送する。

フィルタ制御部２１０９は、後述する奥行き画像復号部２２から奥行き値分布情報ｄｄを受け取り、デブロッキングフィルタ処理を行う際のフィルタの強度（Ｂｓ、ｔｃ’）を決定し、デブロッキングフィルタ部２１０３へ出力する。フィルタ制御部２１０９におけるフィルタの強度を決定する手順は、第１の実施形態の視点画像圧縮符号化部１１に含まれるフィルタ制御部１１１２と同様である。

次に、奥行き画像復号部２２について説明する。図７は、画像復号装置２に含まれる奥行き画像復号部２２の内部構成を示す概略ブロック図である。奥行き画像復号部２２は基本的に、視点画像復号部２１と共通の構成を備えており、両者の違いは、奥行き画像復号部２２が、視点画像復号部２１が備えているフィルタ制御部２１０９を含まず、画素値分布分析部２２０９を含むことである。
画素値分布分析部２２０９は、第１の実施形態の奥行き画像圧縮符号化部１２に含まれる画素値分布分析部１２１３と同様の処理を行う。すなわち、画素値分布分析部２２０９は、加算部１２１０が生成した奥行き画像の局部復号画像を分析し、符号化単位の境界に対応する奥行き画像内の画素値の関係に基づいて、表３に示したような奥行き値分布情報ｄｄ（インデックスα）を生成する。

以上のように、デブロッキングフィルタ処理を行う際に、視点画像の符号化条件だけでなく奥行き画像の性質も利用することによって、フィルタ処理を施す領域が同様の奥行き値を備える、すなわち同一の被写体に含まれるか否かを簡便に判定することができ、同一の被写体に含まれる領域のフィルタ強度を強めるようにフィルタ強度を変更することで、より目立ちやすいブロック歪みを除去することができる。
また、視点画像復号部２１および奥行き画像復号部２２において、視点画像圧縮符号化部１１および奥行き画像圧縮符号化部１２と同じ基準でデブロッキングフィルタ処理のフィルタ強度を決定し、それに従ってフィルタ処理を行うことによって、符号化時と同一のフィルタ結果を得ることができ、符号化・復号による誤差を生じることなく、ブロック歪みを除去しながら視点画像を復元することができる。

なお、上述の各実施形態において、画素値分布分析部１２１３、２２０９は、デブロッキングフィルタ部１２０３、２２０３によるフィルタ処理前の奥行き画像を対象にして分析しているが、フィルタ処理後の奥行き画像を対象にしてもよい。このとき、フィルタ処理前とするかフィルタ処理後とするかを、画素値分布分析部１２１３と、画素値分布分析部２２０９との間で一致させておくことが望ましい。
また、図１における画像符号化装置１、または図５の画像復号装置２の全機能または一部機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各装置を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１・・・画像符号化装置
１１・・・視点画像圧縮符号化部
１２・・・奥行き画像圧縮符号化部
１３・・・撮影条件情報符号化部
１１０１、１２０１・・・ＤＣＴ量子化部
１１０２、１２０２・・・逆量子化逆ＤＣＴ部
１１０３、１２０３・・・デブロッキングフィルタ部
１１０４、１２０４・・・参照メモリ
１１０５、１２０５・・・動きベクトル検出部
１１０６、１２０６・・・画面間予測部
１１０７、１２０７・・・画面内予測部
１１０８、１２０８・・・符号化モード切替部
１１０９、１２０９・・・減算部
１１１０、１２１０・・・加算部
１１１１、１２１１・・・エントロピー符号化部
１１１２、１２１２・・・フィルタ制御部
１２１３・・・画素値分布分析部
２・・・画像復号装置
２１・・・視点画像復号部
２２・・・奥行き画像復号部
２３・・・撮影条件情報復号部
２１０１、２２０１・・・エントロピー復号部
２１０２、２２０２・・・逆量子化逆ＤＣＴ部
２１０３、２２０３・・・デブロッキングフィルタ部
２１０４、２２０４・・・参照メモリ
２１０５、２２０５・・・動き補償／画面内予測部
２１０６、２２０６・・・画面内予測部
２１０７、２２０７・・・符号化モード切替部
２１０８、２２０８・・・加算部
２１０９・・・フィルタ制御部
２２０９・・・画素値分布分析部

Claims (15)

1. 少なくとも一つの観察視点に対応する視点画像を符号化する視点画像符号化部と、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化部とを備える画像符号化装置であって、
   前記奥行き画像符号化部は、前記奥行き画像について、前記視点画像を符号化する際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、
   前記視点画像符号化部は、前記画素値分布分析部の分析結果に基づき、前記視点画像の符号化時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えること
   を特徴とする画像符号化装置。
2. 前記画素値分布分析部は、前記分析の際に、前記符号化単位の境界で接する２つの領域各々を代表する距離値の差分を算出し、
   前記フィルタ制御部は、前記差分に応じて、前記差分に対応する前記境界における前記フィルタ強度を決定すること
   を特徴とする請求項１に記載の画像符号化装置。
3. 前記フィルタ制御部は、前記差分の絶対値が小さいほど、前記フィルタ強度を強くすることを特徴とする請求項２に記載の画像符号化装置。
4. 前記２つの領域各々を代表する距離値は、前記境界に接する２つの画素各々の画素値であることを特徴とする請求項２に記載の画像符号化装置。
5. 前記２つの領域各々を代表する距離値は、前記境界に接する第１の画素と、該第１の画素の前記境界の反対側に位置する１つまたは複数の第２の画素とからなる画素群の画素値の平均であることを特徴とする請求項２に記載の画像符号化装置。
6. 前記画素値分布分析部が分析する奥行き画像は、前記奥行き画像符号化部が符号化したものを復号したものであることを特徴とする請求項１に記載の画像符号化装置。
7. 少なくとも一つの観察視点に対応する視点画像が符号化された符号化視点画像を復号する視点画像復号部と、前記観察視点からの各被写体までの距離を示す奥行き画像符号化された符号化奥行き画像を復号する奥行き画像復号部とを備える画像復号装置であって、
   前記奥行き画像復号部は、前記符号化奥行き画像を復号した画像について、前記符号化視点画像が符号化された際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、
   前記視点画像復号部は、前記画素値分布分析部の分析結果に基づき、前記符号化視点画の復号時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えること
   を特徴とする画像復号装置。
8. 前記画素値分布分析部は、前記分析の際に、前記符号化単位の境界で接する２つの領域各々を代表する距離値の差分を算出し、
   前記フィルタ制御部は、前記差分に応じて、前記差分に対応する前記境界における前記フィルタ強度を決定すること
   を特徴とする請求項７に記載の画像復号装置。
9. 前記フィルタ制御部は、前記差分の絶対値が小さいほど、前記フィルタ強度を強くすることを特徴とする請求項８に記載の画像復号装置。
10. 前記２つの領域各々を代表する距離値は、前記境界に接する２つの画素各々の画素値であることを特徴とする請求項８に記載の画像復号装置。
11. 前記領域を代表する距離値は、前記境界に接する第１の画素と、該第１の画素の前記境界の反対側に位置する１つまたは複数の第２の画素とからなる画素群の画素値の平均であることを特徴とする請求項８に記載の画像復号装置。
12. 少なくとも一つの観察視点に対応する視点画像を符号化する視点画像符号化ステップと、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化ステップとを有する画像符号化方法であって、
    前記視点画像符号化ステップは、前記奥行き画像について、前記視点画像を符号化する際の符号化単位に応じた画素値の分布を分析する画素値分布分析ステップを有し、
    前記視点画像符号化ステップは、前記画素値分布分析ステップの分析結果に基づき、前記視点画像の符号化時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御ステップを有すること
    を特徴とする画像符号化方法。
13. 少なくとも一つの観察視点に対応する視点画像が符号化された符号化視点画像を復号する視点画像復号ステップと、前記観察視点からの各被写体までの距離を示す奥行き画像符号化された符号化奥行き画像を復号する奥行き画像復号ステップとを有する画像復号方法であって、
    前記奥行き画像復号ステップは、前記符号化奥行き画像を復号した画像について、前記符号化視点画像が符号化された際の符号化単位に応じた画素値の分布を分析する画素値分布分析ステップを有し、
    前記視点画像復号ステップは、前記画素値分布分析ステップの分析結果に基づき、前記符号化視点画の復号時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御ステップを有すること
    を特徴とする画像復号方法。
14. コンピュータを、
    少なくとも一つの観察視点に対応する視点画像を符号化する視点画像符号化部、
    前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化部
    として機能させるためのプログラムであって、
    前記奥行き画像符号化部は、前記奥行き画像について、前記視点画像を符号化する際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、
    前記視点画像符号化部は、前記画素値分布分析部の分析結果に基づき、前記視点画像の符号化時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えること
    を特徴とするプログラム。
15. コンピュータを、
    少なくとも一つの観察視点に対応する視点画像が符号化された符号化視点画像を復号する視点画像復号部、
    前記観察視点からの各被写体までの距離を示す奥行き画像符号化された符号化奥行き画像を復号する奥行き画像復号部
    として機能させるためのプログラムであって、
    前記奥行き画像復号部は、前記符号化奥行き画像を復号した画像について、前記符号化視点画像が符号化された際の符号化単位に応じた画素値の分布を分析する画素値分布分析部を備え、
    前記視点画像復号部は、前記画素値分布分析部の分析結果に基づき、前記符号化視点画の復号時に適用するデブロッキングフィルタのフィルタ強度を決定するフィルタ制御部を備えること
    を特徴とするプログラム。