JP2012034352A - ステレオ動画像符号化装置及びステレオ動画像符号化方法 - Google Patents

Abstract

【課題】ステレオ動画像を符号化する際に、拡張チャンネルに発生する符号化歪みを抑制することで、画質の劣化を低減する。
【解決手段】第１視点動画像および第２視点動画像のうち、少なくとも第２視点動画像に含まれる第２画像を符号化するステレオ動画像符号化装置１００であって、第２視点動画像に対して動き補償を適用することにより生成された予測画像と、前記第２視点動画像に対して視差補償を適用することにより生成された予測画像と、を選択的に切り替えて出力する判定部１２２および選択部３１５と、減算器２０２と、直交変換部２０３と、量子化部２０４と、量子化部２０４で利用する量子化幅を決定する制御部１２０とを備え、制御部１２０は、選択部３１５が視差補償を適用することにより生成された予測画像を選択した場合、第２画像に適用される量子化幅を、第２画像と対になる第１画像に適用される量子化幅より小さい値に決定する。
【選択図】図１

Description

本発明は、ステレオ動画像符号化装置及びステレオ動画像符号化方法に関し、特に、視差補償を用いて、ステレオ動画像を圧縮符号化する装置及び方法に関する。

近年、ＡＶ情報のデジタル化が進み、動画像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。動画像信号は膨大な情報量を有するので、記録容量や伝送効率を考慮して情報量を削減しつつ符号化するのが一般的である。動画像信号の圧縮符号化技術としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）という作業部会により策定された国際規格が広く利用されている。

このような動画像圧縮符号化技術を用い、ステレオ動画像信号を符号化するステレオ動画像符号化装置が特許文献１に開示されている。特許文献１に記載の従来のステレオ動画像符号化装置は、立体視する際に用いる左眼用動画像と右眼用動画像とを含むステレオ動画像信号を符号化する。以下では、左眼用動画像（左チャンネルの動画像）が基本チャンネルであり、右眼用動画像（右チャンネルの動画像）が拡張チャンネルである場合について説明する。つまり、従来のステレオ動画像符号化装置は、拡張チャンネルである右眼用動画像を符号化する際に、基本チャンネルである左眼用動画像を参照する。

特許文献１に記載された従来のステレオ動画像符号化装置は、レート制御を行う。レート制御とは、ステレオ動画像信号を符号化することで発生する符号量に基づいて量子化の際の量子化幅を決定することで、ビットストリームのビットレートを制御する処理である。例えば、以下に示す（式１）〜（式７）に従って、レート制御は実行される。

（式１） ｄ＝ｄ０＋ｓ−ｊ×（Ｔ１／Ｎｍｂ）

ここで、ｄは、仮想バッファ占有量である。Ｎｍｂは、ピクチャ内のマクロブロック数である。ｊ（＝０，１，・・・，Ｎｍｂ―１）は、対象マクロブロックの位置を示す値である。Ｔ１は、１対の対象ピクチャである左眼用の第１ピクチャと右眼用の第２ピクチャとの両方での目標ビットレートである。また、ｄ０は、前回のピクチャの符号化後のｄの値である。

次に、（式１）で求めた値を用いて、（式２）によって、基本チャンネルである左眼用画像の量子化に用いるｄＬを求める。

（式２） ｄＬ＝（１／２）×ｄ

さらに、以下の（式３）〜（式６）に従った演算を行うことで、量子化パラメータｍｑｕａｎｔを算出する。

（式３） ｍｑｕａｎｔ＝Ｑｊ×Ｎａｃｔｊ
（式４） Ｑｊ＝３２×ｄＬ／ｒ
（式５） ｒ＝２×（ビットレート）×（ピクチャレート）
（式６） Ｎａｃｔｊ＝
（２×ａｃｔｊ＋ａｖｇ＿ａｃｔ）／（ａｃｔｊ＋２×ａｖｇ＿ａｃｔ）

ここで、ａｃｔｊは、対象マクロブロックのアクティビティ、ａｖｇ＿ａｃｔは、直前ピクチャのａｃｔｊの平均値である。以上のように、（式２）〜（式６）に従って算出された量子化パラメータｍｑｕａｎｔが、左眼用画像の量子化に用いられる。

さらに、（式１）で求めた値を用いて、（式７）によって、拡張チャンネルである右眼用画像の量子化に用いるｄＲを算出する。

（式７） ｄＲ＝（ＷＲ’）×ｄ

ここで、ＷＲ’≧（１／２）である。さらに、以下の（式８）と、上記の（式３）、（式５）及び（式６）とにより、量子化パラメータｍｑｕａｎｔを算出する。

（式８） Ｑｊ＝３２×ｄＲ／ｒ

以上のように、（式８）、（式３）、（式５）及び（式６）に従って算出された量子化パラメータｍｑｕａｎｔが、右眼用画像の量子化に用いられる。

従来のステレオ動画像符号化装置においては、右チャンネル（拡張チャンネル）に適用される量子化パラメータが、左チャンネル（基本チャンネル）に適用される量子化パラメータより大きくなる。その結果、右チャンネルでの発生符号量が少なくなり、高い符号化効率を実現できる。また、基本チャンネルの画質が、拡張チャンネルの画質よりも常に高く保たれるように制御されている。

また、特許文献２においては、符号化効率を向上させるために、左チャンネルと右チャンネルとの圧縮率を交互に切り替える方法が開示されている。

特許第３６４６８４９号公報 特許第３１２２１９１号公報

しかしながら、上記従来技術では、ステレオ動画像を符号化する際に、拡張チャンネルに符号化歪みが発生し、画質が劣化してしまうという課題がある。具体的には、以下の通りである。

上記従来の技術が行うような、拡張チャンネルの量子化パラメータを、基本チャンネルの量子化パラメータよりも大きくする制御を行うと、拡張チャンネルの画質の劣化（リンギング等）が生じ、エッジ付近に所謂モスキートノイズが現れる。

図１０は、直方体を撮影した場合の（ａ）左眼用画像及び（ｂ）右眼用画像の模式図と、破線で表した画素ラインでの画素値の水平分布とを表す図である。図１０に示す例では、直方体の正面では画素値が大きく、直方体の側面（左側面及び右側面）では画素値が、正面の画素値のおよそ半分となっている。

また、図１１は、左眼用画像を参照画像として視差補償を行うことで、右眼用画像を符号化する場合における、残差画素の分布を表す図である。なお、図１１において、右眼用画像中の太線の正方形領域が符号化対象となるマクロブロックである。また、図１１において、左眼用画像中の太線の正方形領域が参照画像である。

対象マクロブロックは、直方体の右側面を含むが、直方体の右側面の領域に対応する画素は、参照画像である左眼用画像には存在しない。このため、対応する画素のない区間について、残差画素値が非ゼロとなる。

そして、このような残差画素の直交変換結果を、不十分な量子化パラメータ（すなわち、大きな量子化パラメータ）で量子化すると、直交変換係数に量子化誤差が生じる。その結果、逆量子化及び逆直交変換を行うことで、量子化された直交変換係数を空間領域に戻した場合に、元の綺麗な矩形波には戻らず、リンギングを含む矩形波となる。

したがって、リンギングを含む矩形波と参照画素との加算により、結果として、図１２の（ｂ）に示すように、リンギングを伴う復号画素の分布となる。図１２に示すように、リンギングは、エッジ部分だけではなく、その近傍の、画素値が本来一定の区間（Ａ）及び（Ｂ）にも現れる。

また、画素位置（Ｃ）のように、参照画素での画素が不連続であった箇所には、より大きなリンギングが表れる場合がある。これは、符号化対象画像では画素値が一定の箇所に現れるノイズであり、また、立体視する場合の対応位置同士で比較した場合に、ステレオ画像の片側だけに現れるノイズである。このため、視聴者に違和感を与える、主観的に望ましくないノイズである。このようなノイズは、特に、ビットレートが高い高画質なステレオ画像の符号化において、許容できない程度の画質の劣化を生じさせる。

そこで、本発明は、ステレオ動画像を符号化する際に、拡張チャンネルに発生する符号化歪みを抑制することで、画質の劣化を低減することができるステレオ動画像符号化装置及びステレオ動画像符号化方法を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係るステレオ動画像符号化装置は、立体視用の動画像を構成する第１視点における第１視点動画像および第２視点における第２視点動画像のうち、少なくとも前記第２視点動画像に含まれる第２画像を符号化するステレオ動画像符号化装置であって、前記第２視点動画像に含まれるピクチャに対して動き補償を適用することにより生成された予測画像と、前記第２視点動画像に含まれるピクチャに対して視差補償を適用することにより生成された予測画像と、を選択的に切り替えて出力する判定部と、前記判定部が出力する予測画像と、前記第２画像との差分を算出し、残差成分を生成する減算器と、前記減算器が生成した残差成分を直交変換し、直交変換係数を生成する直交変換部と、前記直交変換部が生成した直交変換係数を量子化し、量子化係数を生成する量子化部と、前記量子化部で利用する量子化幅を決定する制御部と、を備え、前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像に適用される量子化幅を、前記第２画像と対になる、前記第１視点動画像に含まれる第１画像に適用される量子化幅より小さい値に決定する。

これにより、第２画像（拡張チャンネル）の符号化の際に視差補償を用いる場合、第２画像の量子化に用いる量子化幅を、第２画像と対になる第１画像（基本チャンネル）の量子化に用いる量子化幅より小さくすることができる。その結果、符号化歪みの発生が抑制され、画質の劣化が低減される。特に、視差補償を行った場合に、ステレオ画像の一方の画像のみに現れるリンギングの発生を抑制することができるので、画質の劣化をより抑制することができる。

また、本発明の一態様に係るステレオ動画像符号化装置において、前記判定部は、前記動き補償を適用することにより生成された予測画像および前記視差補償を適用することにより生成された予測画像のいずれを選択するかを、ピクチャ単位で判定し、前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像に適用される量子化幅を、前記第１画像に適用される量子化幅より小さい値に決定するレート制御部を備えてもよい。

これにより、ピクチャ単位で量子化幅を調整することで、拡張チャンネルのピクチャに発生する符号化歪みを抑制し、画質の劣化を低減することができる。なお、視差補償を行う場合、ピクチャ内では大半の領域の差分（予測誤差）が０、又は、ほとんど無視できる程小さい値である。そのため、小さな量子化幅を利用することによる符号量の増加は極めて少ない。従って、本態様のステレオ動画像符号化装置によれば、僅かな符号量の増加で画質を向上させることができる。

また、本発明の一態様に係るステレオ動画像符号化装置において、前記第１画像は、前記第１視点動画像に含まれる第１ピクチャの一部の領域の画像であり、前記第２画像は、前記第２視点動画像に含まれる第２ピクチャの一部の領域の画像であり、前記判定部は、前記第２画像を符号化する際に、前記動き補償を適用することにより生成された予測画像および前記視差補償を適用することにより生成された予測画像のいずれを選択するかを判定し、前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像に適用される量子化幅を、前記第１画像に適用される量子化幅より小さい値に決定するとしてもよい。

これにより、動き補償と視差補償とがピクチャ内に混在する場合であっても、リンギングの発生を抑制することができるので、画質の劣化を抑制することができる。また、ピクチャ全体で小さな量子化幅を用いる場合に比べて、小さな量子化幅を用いる領域が少なくなるので、符号化効率を高めることもできる。

また、本発明の一態様に係るステレオ動画像符号化装置はさらに、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、選択された前記予測画像と前記第２画像との差分である差分画像の特徴を示すスカラー量を算出するスカラー量算出部を備え、前記制御部は、さらに、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記スカラー量に基づいて、前記第２画像に適用される量子化幅を決定するとしてもよい。

これにより、差分画像の特徴量を示すスカラー量に応じて、量子化幅の値を可変にすることができる。その結果、主観的な画質をより向上させることができる。

また、本発明の一態様に係るステレオ動画像符号化装置において、前記スカラー量は、前記差分画像の絶対値和であり、前記制御部は、前記第２画像に適用される量子化幅を、前記スカラー量が大きい程、値が小さくなるように決定するとしてもよい。

一般に、スカラー量が大きい場合、残差画像を符号化した際に発生する符号量が大きく、リンギングノイズなどがより目立ってしまう。しかし、本態様のステレオ動画像符号化装置によれば、スカラー量が大きい場合に、値が小さい量子化幅を用いることで、リンギングの発生を抑制することができる。つまり、リンギングが目立つ場合には、より小さな量子化幅を用いることができ、これにより、主観的な画質をより向上させることができる。

また、本発明の一態様に係るステレオ動画像符号化装置において、前記量子化幅は、量子化マトリクス及び量子化パラメータの少なくとも一方によって決定される値であり、前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像の量子化に用いる量子化マトリクスの係数値の少なくとも１つを、前記第１画像の量子化に用いる量子化マトリクスの係数値より小さい値に決定するとしてもよい。

これにより、量子化マトリクスは周波数変換係数の位置毎に値を設定することができるので、精度の高い量子化を行うことができ、画質の劣化を抑制することができる。

また、本発明の一態様に係るステレオ動画像符号化装置において、前記量子化幅は、量子化マトリクス及び量子化パラメータの少なくとも一方によって決定される値であり、前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像の量子化に用いる量子化パラメータを、前記第１画像の量子化に用いる量子化パラメータより小さい値に決定するとしてもよい。

これにより、量子化パラメータは、例えば、マクロブロック単位で調整することができるので、符号化対象のマクロブロックに応じて量子化パラメータを変更することができ、画質の劣化を抑制することができる。

なお、本発明は、ステレオ動画像符号化装置として実現できるだけではなく、当該ステレオ動画像符号化装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の各ステレオ動画像符号化装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、ステレオ動画像を符号化する際に、拡張チャンネルに発生する符号化歪みを抑制することで、画質の劣化を低減することができる。

図１は、実施の形態１に係るステレオ動画像符号化装置の構成の一例を示すブロック図である。 図２は、実施の形態１に係るステレオ動画像符号化装置の符号化処理部及び制御部の詳細の一例を示すブロック図である。 図３Ａは、実施の形態１に係るステレオ動画像符号化装置の基本的な動作の一例を示すフローチャートである。 図３Ｂは、実施の形態１に係るステレオ動画像符号化装置の動作の一例を示すフローチャートである。 図４は、実施の形態２に係るステレオ動画像符号化装置の構成の一例を示すブロック図である。 図５は、実施の形態２に係るステレオ動画像符号化装置の動作の一例を示すフローチャートである。 図６は、実施の形態３に係るステレオ動画像符号化装置の構成の一例を示すブロック図である。 図７は、実施の形態３に係るスカラー量とＷＲとの関係の一例を示す図である。 図８は、実施の形態３に係るステレオ動画像符号化装置の動作の一例を示すフローチャートである。 図９は、実施の形態１の変形例に係るステレオ動画像符号化装置の構成の一例を示すブロック図である。 図１０は、従来のステレオ動画像符号化装置の動作を説明するための、左眼用画像及び右眼用画像の一例と、その画素値の分布を示す図である。 図１１は、従来のステレオ動画像符号化装置の動作を説明するための、左眼用画像及び右眼用画像の一例と、視差補償を行った場合の残差画素の分布とを示す図である。 図１２は、従来のステレオ動画像符号化装置が視差補償を行った場合の残差画素における量子化誤差により、復号画像に表れるリンギングを示す図である。

以下、本発明に係るステレオ動画像符号化装置及びステレオ動画像符号化方法の実施の形態に関して、図面を用いて詳細に説明する。

（実施の形態１）
本発明の実施の形態１に係るステレオ動画像符号化装置は、立体視用の動画像を構成する第１視点における第１視点動画像（基本チャンネルの動画像）および第２視点における第２視点動画像（拡張チャンネルの動画像）のうち、少なくとも前記第２視点動画像に含まれる第２画像を符号化するステレオ動画像符号化装置である。本発明の実施の形態１に係る符号化装置は、第２視点動画像に含まれるピクチャに対して動き補償を適用することにより生成された予測画像と、第２視点動画像に含まれるピクチャに対して視差補償を適用することにより生成された予測画像と、を選択的に切り替えて出力する判定部と、判定部が出力する予測画像と、第２画像との差分を算出し、残差成分を生成する減算器と、減算器が生成した残差成分を直交変換し、直交変換係数を生成する直交変換部と、直交変換部が生成した直交変換係数を量子化し、量子化係数を生成する量子化部と、量子化部で利用する量子化幅を決定する制御部とを備える。制御部は、判定部が視差補償を適用することにより生成された予測画像を選択した場合、第２画像に適用される量子化幅を、第２画像と対になる、第１視点動画像に含まれる第１画像に適用される量子化幅より小さい値に決定することを特徴とする。

要するに、拡張チャンネルの符号化において、視差補償を行う場合に、拡張チャンネルに適用される量子化幅を、基本チャンネルに適用される量子化幅より小さくすることが、実施の形態１に係るステレオ動画像符号化装置の特徴である。具体的には、実施の形態１に係るステレオ動画像符号化装置は、ピクチャ単位で視差補償を行うか、それとも動き補償を行うかの判定を行う。

なお、実施の形態１においては、第１画像は、第１視点動画像に含まれる第１ピクチャを構成する画像であり、第２画像は、第２視点動画像に含まれる第２ピクチャを構成する画像を意味する。

図１は、実施の形態１に係るステレオ動画像符号化装置１００の構成の一例を示すブロック図である。実施の形態１に係るステレオ動画像符号化装置１００は、立体視用のステレオ動画像を符号化する。より具体的には、ステレオ動画像符号化装置１００は、立体視用の動画像を構成する第１視点における第１視点動画像および第２視点における第２視点動画像のうち、少なくとも第２視点動画像に含まれる第２画像を符号化する。

例えば、第１視点動画像は、左眼用の動画像であって、左眼用の第１ピクチャを含んでいる。第２視点動画像は、右眼用の動画像であって、右眼用の第２ピクチャを含んでいる。なお、実施の形態１において、第１視点動画像が基本チャンネルの動画像であり、第２視点動画像が拡張チャンネルの動画像である。

基本チャンネルの動画像は、画面内予測、及び／又は、動き補償が行われることで符号化される。また、拡張チャンネルの動画像は、画面内予測、動き補償、及び／又は、視差補償が行われることで符号化される。視差補償が行われる場合は、基本チャンネルの動画像に含まれる画像が参照画像として用いられる。

実施の形態１に係るステレオ動画像符号化装置１００は、拡張チャンネルの動画像を符号化する際に視差補償を行うか否かを、ピクチャ単位で判定する。図１に示すように、ステレオ動画像符号化装置１００は、符号化処理部１１０と、制御部１２０とを備える。

符号化処理部１１０は、画面内予測、動き補償又は視差補償と、量子化とを行うことで、第１視点動画像と第２視点動画像とを符号化する。図１に示すように、符号化処理部１１０は、基本チャンネル符号化部１１１と、拡張チャンネル符号化部１１２とを備える。

基本チャンネル符号化部１１１は、基本チャンネルの動画像、すなわち、第１視点動画像を符号化する。基本チャンネル符号化部１１１は、第１視点動画像に含まれる左眼用の入力画像（第１ピクチャ）を取得し、画面内予測、又は、動き補償と、量子化とを行うことで、第１ピクチャを符号化する。

拡張チャンネル符号化部１１２は、拡張チャンネルの動画像、すなわち、第２視点動画像を符号化する。拡張チャンネル符号化部１１２は、第２視点動画像に含まれる右眼用の入力画像（第２ピクチャ）を取得し、画面内予測、動き補償、又は、視差補償と、量子化とを行うことで、第２ピクチャを符号化する。

制御部１２０は、符号化処理部１１０による量子化に用いる量子化幅を決定する。具体的には、制御部１２０は、符号化処理部１１０が第２視点動画像に含まれる第２画像を符号化する際に視差補償を行う場合、第２画像に適用される量子化幅を、第２画像と対になる、第１視点動画像に含まれる第１画像に適用される量子化幅より小さい値に決定する。

また、符号化処理部１１０が第２画像を符号化する際に視差補償を行わない場合、制御部１２０は、第１画像に適用される量子化幅、及び、第２画像に適用される量子化幅のそれぞれを、互いに独立して決定することができる。

ここで、“第２画像と対になる第１画像”とは、第１画像が、少なくとも下記の条件（ｉ）を満たす場合のことである。

（ｉ）第１画像が、左右の視差を利用した立体視における左右一方の第２画像に対応する他方の画像である。

つまり、言い換えると、視聴者の視覚において立体映像が形成されるように、第１画像と第２画像とが連続してまたは同時に表示される場合、当該第１画像は、第２画像と対になる画像である。

なお、この場合は、当該第１画像は当該第２画像との相関が高い。そのため、一般に、当該第１画像は、当該第２画像を符号化する際の視差補償における参照画像として用いられる場合が多い。

例えば、第１画像は、第２画像と同一の撮影時刻に撮影された画像である。具体的には、第１画像は、左眼用の第１ピクチャの画像であり、第２画像は、第１ピクチャと同一の撮影時刻に撮影された右眼用の第２ピクチャの画像である。視聴者は、第１ピクチャを左眼で、第２ピクチャを右眼で見ることで、第１ピクチャと第２ピクチャとで構成される画像を立体視することができる。

図１に示すように、制御部１２０は、レート制御部１２１と、判定部１２２とを備える。

レート制御部１２１は、判定部１２２によって第２画像の符号化の際に視差補償を用いると判定された場合に、第２画像に適用される量子化幅を、第１画像に適用される量子化幅より小さい値に決定する。具体的には、レート制御部１２１は、符号化処理部１１０が第１視点動画像及び第２視点動画像を符号化することで発生する符号量に基づいて、量子化の際の量子化幅を決定することで、ビットストリームのビットレートを制御する。

例えば、レート制御部１２１は、符号化処理部１１０が第２画像を符号化する際に視差補償を行う場合、第２画像の量子化に用いる量子化パラメータを、第１画像の量子化に用いる量子化パラメータより小さい値に決定する。量子化パラメータの値を調整することで、量子化幅の値を調整することができる。

なお、基本チャンネル符号化部１１１、拡張チャンネル符号化部１１２及びレート制御部１２１の詳細な構成及び動作については、後で、図２を用いて説明する。

判定部１２２は、第２視点動画像に含まれるピクチャに対して動き補償を適用することにより生成された予測画像と、第２視点動画像に含まれるピクチャに対して視差補償を適用することにより生成された予測画像のいずれを選択するかを判定する。

判定部１２２はさらに、後述する、拡張チャンネル符号化部１１２が備える選択部３１５に判定結果を通知することで、動き補償を適用することにより生成された予測画像および視差補償を適用することにより生成された予測画像の一方を選択し出力させる。

つまり、判定部１２２と選択部３１５との組み合わせは、本発明の一態様に係るステレオ動画像符号化装置における判定部の一例である。

また、判定部１２２は、符号化処理部１１０が第２視点動画像を符号化する際に、視差補償及び動き補償のいずれを行うかをピクチャ単位で判定する。例えば、判定部１２２は、第１視点動画像に含まれる第１ピクチャと、第２視点動画像に含まれる第２ピクチャとの相関、言い換えると、画像の類似度に基づいて、視差補償と動き補償との一方を選択する。

具体的には、判定部１２２は、視差補償において参照ピクチャとなる第１画像と符号化対象画像との相関値と、動き補償において参照ピクチャとなる第２画像と符号化対象画像との相関値とに基づいて、相関が高い一方の補償方法を選択し、拡張チャンネル符号化部１１２に指示する。

ここで、符号化対象画像と参照画像との相関が高い場合、補償後の残差がより小さくなる。つまり、上記選択方法によれば、より少ない符号量での符号化が可能な補償方法を選択することができる。そして、判定部１２２は、視差補償及び動き補償のいずれかを示す信号を、拡張チャンネル符号化部１１２及びレート制御部１２１に出力する。

図２は、実施の形態１に係るステレオ動画像符号化装置１００の符号化処理部１１０及び制御部１２０の詳細の一例を示すブロック図である。

まず、基本チャンネル符号化部１１１について説明する。基本チャンネル符号化部１１１は、基本チャンネルの動画像である第１視点動画像を符号化する。すなわち、図２に示すように、基本チャンネル符号化部１１１には、基本チャンネルの入力画像（左眼用画像）が入力される。

基本チャンネル符号化部１１１は、画像並替部２０１と、減算器２０２と、直交変換部２０３と、量子化部２０４と、可変長符号化部２０５と、逆量子化部２０６と、逆直交変換部２０７と、加算器２０８と、デブロッキングフィルタ部２０９と、フレームメモリ２１０と、動きベクトル検出部２１１と、動き補償部２１２と、画面内予測方向検出部２１３と、画面内予測部２１４と、選択部２１５とを備える。

画像並替部２０１は、基本チャンネル符号化部１１１に入力される映像信号（第１視点動画像）を、符号化処理順のフレーム順序に並び替え、さらに、符号化単位に分割し、出力する。画像並替部２０１は、例えば、輝度信号を符号化する場合、当該輝度信号を符号化処理順のフレーム順序に並び替え、１６×１６画素のマクロブロック（以下、ＭＢと称する場合もある）単位に分割し、減算器２０２、画面内予測部２１４及び画面内予測方向検出部２１３に出力する。

減算器２０２は、画像並替部２０１から出力された対象ＭＢと、選択部２１５から出力される画面内予測部２１４又は動き補償部２１２によって生成された予測ＭＢとの差分を算出することで、残差ＭＢを生成する。そして、減算器２０２は、生成した残差ＭＢを直交変換部２０３に出力する。

直交変換部２０３は、減算器２０２から出力される残差ＭＢを直交変換することで、直交変換係数（以下、ＤＣＴ係数と称す）を生成する。そして、直交変換部２０３は、量子化部２０４に出力する。

量子化部２０４は、直交変換部２０３から出力されるＤＣＴ係数を、量子化ステップサイズで除算する。ここで、量子化ステップサイズは、レート制御部１２１によって決定される量子化幅の一例であり、直交変換係数の位置毎に定まる量子化マトリクスの係数値と、レート制御部１２１によって設定される量子化パラメータとの乗算により求められる。さらに、量子化部２０４は、除算した結果を整数値に丸めることで、量子化係数を生成し、生成した量子化係数を可変長符号化部２０５及び逆量子化部２０６に出力する。

可変長符号化部２０５は、量子化部２０４から出力される、多値データで表現される量子化係数を可変長符号化（例えば、算術符号化）することで、基本チャンネルのビットストリーム（左眼用画像の符号化結果）を生成する。そして、可変長符号化部２０５は、生成したビットストリームをレート制御部１２１に出力する。

逆量子化部２０６は、量子化部２０４から出力される量子化係数を逆量子化することでＤＣＴ係数を復元する。そして、逆量子化部２０６は、復元したＤＣＴ係数を逆直交変換部２０７に出力する。

逆直交変換部２０７は、逆量子化部２０６から出力されるＤＣＴ係数を逆直交変換することで、残差ＭＢを復元する。そして、逆直交変換部２０７は、復元した残差ＭＢを加算器２０８に出力する。

加算器２０８は、逆直交変換部２０７から出力された残差ＭＢと、選択部２１５から出力される画面内予測部２１４又は動き補償部２１２によって生成された予測ＭＢとを加算することで、復号ＭＢを生成する。そして、加算器２０８は、生成した復号ＭＢを、デブロッキングフィルタ部２０９、画面内予測方向検出部２１３及び画面内予測部２１４に出力する。

デブロッキングフィルタ部２０９は、加算器２０８から出力される複数の復号ＭＢのＭＢ境界に対し、デブロッキングフィルタ処理を行う。そして、デブロッキングフィルタ部２０９は、デブロッキングフィルタ処理された復号ＭＢをフレームメモリ２１０に出力する。

フレームメモリ２１０は、デブロッキングフィルタ部２０９から出力される復号ＭＢを蓄積するためのメモリである。フレームメモリ２１０は、フラッシュメモリ、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、強誘電体メモリ等の記録可能な要素で構成される。

動きベクトル検出部２１１は、現在符号化対象であるＭＢを基に、フレームメモリ２１０に蓄積されている復号ＭＢに対する動きベクトルを検出する。なお、動きベクトル検出部２１１において処理されるＭＢの処理サイズは、例えば、Ｈ．２６４規格であれば、７種類のＭＢサイズが規定されている。動きベクトル検出部２１１は、この７種類からＭＢ毎に１つのサイズを選択する。

動き補償部２１２は、動きベクトル検出部２１１によって検出した動きベクトルを基に、フレームメモリ２１０に蓄積される復号ＭＢに対して動き補償を行うことで、予測ＭＢを生成する。そして、動き補償部２１２は、生成した予測ＭＢを選択部２１５に出力する。

画面内予測方向検出部２１３は、加算器２０８から出力される復号ＭＢと、画像並替部２０１から出力される符号化対象のＭＢとを基に、画面内予測に適用する予測モードを検出する。そして、画面内予測方向検出部２１３は、検出した予測モードを画面内予測部２１４に出力する。

画面内予測部２１４は、加算器２０８から出力される復号ＭＢに対して画面内予測を行うことで、予測ＭＢを生成する。そして、画面内予測部２１４は、生成した予測ＭＢを、選択部２１５に出力する。

選択部２１５は、画面内予測部２１４及び動き補償部２１２から出力される予測ＭＢのうち、一方の予測ＭＢを選択し、減算器２０２に出力する。例えば、選択部２１５は、対象ＭＢと予測ＭＢとの差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が小さくなる予測ＭＢを選択する。

以上のようにして、基本チャンネル符号化部１１１は、画面内予測又は動き補償と、量子化とを行うことで、基本チャンネルの動画像である第１視点動画像を符号化する。符号化により生成された基本チャンネルのビットストリームは、レート制御部１２１に出力される。

次に、拡張チャンネル符号化部１１２について説明する。拡張チャンネル符号化部１１２は、拡張チャンネルの動画像である第２視点動画像を符号化する。すなわち、図２に示すように、拡張チャンネル符号化部１１２には、拡張チャンネルの入力画像（右眼用画像）が入力される。

拡張チャンネル符号化部１１２は、画像並替部２０１と、減算器２０２と、直交変換部２０３と、量子化部２０４と、可変長符号化部２０５と、逆量子化部２０６と、逆直交変換部２０７と、加算器２０８と、デブロッキングフィルタ部２０９と、フレームメモリ２１０と、動きベクトル検出部２１１と、動き補償部２１２と、画面内予測方向検出部２１３と、画面内予測部２１４と、選択部３１５と、視差ベクトル検出部３１６と、視差補償部３１７とを備える。

拡張チャンネルでは、動き補償以外に、基本チャンネルの画像を参照した視差補償も用いて符号化を行うことが可能である。したがって、拡張チャンネル符号化部１１２は、基本チャンネル符号化部１１１の一部が変更された構成をとる。すなわち、図２に示すように、拡張チャンネル符号化部１１２は、基本チャンネル符号化部１１１と比べて、選択部２１５の代わりに選択部３１５を備え、新たに、視差ベクトル検出部３１６と、視差補償部３１７とを備える点が異なっている。それ以外については、基本チャンネル符号化部１１１と同じ構成である。以下では、基本チャンネル符号化部１１１と同じ点は説明を省略し、異なる点を中心に説明する。

選択部３１５は、画面内予測部２１４、動き補償部２１２及び視差補償部３１７のそれぞれから出力される予測ＭＢのうち、いずれか１つを選択する。そして、選択部３１５は、選択した予測ＭＢを減算器２０２及び加算器２０８に出力する。

具体的には、選択部３１５は、外部からの信号に応じて、視差補償と動き補償とのいずれかを選択する。より具体的には、選択部３１５は、判定部１２２によって視差補償が選択された場合には、視差補償部３１７によって生成された予測ＭＢを選択する。選択部３１５は、判定部１２２によって動き補償が選択された場合には、動き補償部２１２によって生成された予測ＭＢを選択する。

そして、選択部３１５は、選択した視差補償又は動き補償による予測ＭＢと、画面内予測部２１４によって生成された予測ＭＢとのいずれかを選択する。例えば、選択部３１５は、２つの予測ＭＢのうち、予測誤差が小さい方の予測ＭＢを選択する。具体的には、選択部３１５は、対象ＭＢとの差分絶対値和が他方よりも小さくなる、一方の予測ＭＢを選択する。

視差ベクトル検出部３１６は、基本チャンネルの復号画像を蓄積するフレームメモリ２１０（基本チャンネル符号化部１１１が備えるフレームメモリ２１０）の画像を入力とし（図中のＡ）、さらに、画像並替部２０１から入力される右眼用の入力画像を用いて、視差ベクトルを算出する。そして、視差ベクトル検出部３１６は、算出した視差ベクトルを視差補償部３１７に出力する。

視差補償部３１７は、視差ベクトル検出部３１６によって検出した視差ベクトルを基に、基本チャンネル用のフレームメモリ２１０に蓄積された復号画像に対して視差補償を行うことで、予測ＭＢを生成する。そして、視差補償部３１７は、生成した予測ＭＢを選択部３１５に出力する。

以上のようにして、拡張チャンネル符号化部１１２は、画面内予測、動き補償又は視差補償と、量子化とを行うことで、拡張チャンネルの動画像である第２視点動画像を符号化する。符号化により生成された拡張チャンネルのビットストリームは、レート制御部１２１に出力される。

次に、レート制御部１２１について説明する。レート制御部１２１は、バッファ４０１と、発生ビット数算出部４０２と、仮想バッファ占有量算出部４０３と、１／２掛算器４０４と、ＷＲ掛算器４０５とを備える。

バッファ４０１は、拡張チャンネルのビットストリームと、基本チャンネルのビットストリームとを、基本チャンネル符号化部１１１と拡張チャンネル符号化部１１２とから受け取り、受け取った２つのビットストリームを多重化して、出力する。

発生ビット数算出部４０２は、バッファ４０１からの情報（例えば、バッファ４０１に蓄積されたビット量）に基づき、ピクチャの符号化の開始時からの発生符号量等の計数を行う。

仮想バッファ占有量算出部４０３は、上述の（式１）によって、仮想バッファ占有量ｄを算出する。

１／２掛算器４０４は、（式１）で求めた値を用いて、上述の（式２）によって、基本チャンネルである左眼用画像の量子化に用いるｄＬを求める。さらに、上述の（式３）〜（式６）に従った演算を行うことで、量子化パラメータｍｑｕａｎｔを算出し、算出したｍｑｕａｎｔを基本チャンネル符号化部１１１に出力する。以上のように、（式２）〜（式６）に従って算出された量子化パラメータｍｑｕａｎｔが、左眼用画像の量子化に用いられる。

ＷＲ掛算器４０５は、（式１）で求めた値を用いて、以下の（式９）によって、拡張チャンネルである右眼用画像の量子化に用いるｄＲを算出する。

（式９） ｄＲ＝（ＷＲ）×ｄ

ここで、ＷＲは、拡張チャンネル符号化部１１２において、視差補償及び動き補償のいずれを行うかに応じて決定されるパラメータである。さらに、ＷＲ掛算器４０５は、上述の（式８）、（式３）、（式５）及び（式６）によって、量子化パラメータｍｑｕａｎｔを算出し、算出したｍｑｕａｎｔを拡張チャンネル符号化部１１２に出力する。なお、ＷＲ掛算器４０５の具体的な動作については、後で図３を用いて説明する。

以上のように、（式３）、（式５）、（式６）、（式８）及び（式９）に従って算出された量子化パラメータｍｑｕａｎｔが、右眼用画像の量子化に用いられる。

以下では、実施の形態１に係るステレオ動画像符号化装置１００において、拡張チャンネルの量子化幅を決定する動作について、図３Ａおよび図３Ｂを用いて説明する。

図３Ａは、実施の形態１に係るステレオ動画像符号化装置１００の基本的な動作の一例を示すフローチャートである。

なお、図３Ａに示される基本的な動作は、後述する実施の形態２および３に係るステレオ動画像符号化装置５００および８００においても共通して実行される。

まず、判定部１２２は、拡張チャンネルの対象ピクチャに視差補償を行うか否かを判定する（Ｓ１１０）。例えば、判定部１２２は、拡張チャンネルである右眼用の入力画像と符号化対象画像との相関値Ｃ１を算出する。判定部１２２はさらに、基本チャンネルである左眼用の入力画像と符号化対象画像との相関値Ｃ２を算出する。

判定部１２２は、相関値Ｃ１と相関値Ｃ２とに基づいて、視差補償と動き補償とのうちのどちらが、より符号量が少なくなる予測方法であるかを判定する。例えば、相関値Ｃ２が相関値Ｃ１よりも大きい場合、拡張チャンネルの画像を用いた動き補償よりも、基本チャンネルの画像を用いた視差補償を用いる方が少ない符号量となる。そのため、判定部１２２は視差補償を選択する。

判定部１２２によって視差補償を行うと判定された場合（Ｓ１１０でＹｅｓ）、レート制御部１２１は、基本チャンネルの量子化幅より拡張チャンネルの量子化幅を小さくする（Ｓ１２０）。具体的には、ＷＲ掛算器４０５が、ＷＲ＜（１／２）となる値を用いて、（式９）によってｄＲを算出する。

例えば、ＷＲの値は、１／２より小さい値と１／２以上の値とが予め定められており、ＷＲ掛算器４０５は、判定部１２２から視差補償を示す信号を受け取った場合に、１／２より小さい値を選択して利用する。

なお、判定部１２２によって動き補償を行うと判定された場合（Ｓ１１０でＮｏ）、レート制御部１２１は、例えば、基本チャンネルの量子化幅、及び、拡張チャンネルの量子化幅のそれぞれを、互いに独立して決定することができる。

本実施の形態では、判定部１２２によって動き補償を行うと判定された場合（Ｓ１１０でＮｏ）、レート制御部１２１は、図３Ｂに示すように、拡張チャンネルの量子化幅を決定する。

図３Ｂは、実施の形態１に係るステレオ動画像符号化装置１００の動作の一例を示すフローチャートである。

具体的には、レート制御部１２１は、判定部１２２によって動き補償を行うと判定された場合（Ｓ１１０でＮｏ）、基本チャンネルの量子化幅より拡張チャンネルの量子化幅を大きく、又は、同じにする（Ｓ１３０）。ＷＲ掛算器４０５は、ＷＲ≧（１／２）となる値を用いて、ｄＲを算出する。例えば、ＷＲ掛算器４０５は、判定部１２２から動き補償を示す信号を受け取った場合に、１／２以上の値を選択して利用する。

視差補償を行うことで拡張チャンネルを符号化する場合の仮想バッファ占有量ｄに対する乗数ＷＲ（＜（１／２））は、基本チャンネルでの乗数である１／２より小さい。このため、（式３）及び（式４）等の関係より、拡張チャンネルの量子化パラメータは、基本チャンネルの量子化パラメータよりも小さな値となる。この結果、十分に小さな量子化パラメータを拡張チャンネルの量子化に用いることができ、これにより、リンギングが発生する課題を解決することができる。

なお、実施の形態１では、画面全体で、すなわち、ピクチャ単位で小さな量子化パラメータを用いるようにしているため、符号量が大きく増加するようにも思える。しかし、実際には、画面中の大半を占める視差のない領域については、誤差がほぼゼロになる。このため、小さな量子化パラメータを用いることによる、視差の小さい領域での符号量の増加は、大きくない。特に、アニメーション等の画像においては、誤差がゼロになるので、符号量の増加分は、従来リンギング等が発生していた箇所の改善にのみ用いられることとなる。

以上のように、実施の形態１に係るステレオ動画像符号化装置１００は、拡張チャンネルの動画像を符号化する場合に、視差補償及び動き補償のいずれを行うかをピクチャ単位で判定する。そして、視差補償を行う場合は、基本チャンネルの量子化幅より小さな量子化幅で、拡張チャンネルの量子化を行う。

これにより、ステレオ動画像を符号化する際に、拡張チャンネルに発生する符号化歪みを抑制することで、画質の劣化を低減することができる。具体的には、符号化対象の画素に対応する画素が参照画像に存在しないことにより生じる残差成分を不適切な量子化幅により量子化した場合に生じるリンギングを、除去することができる。

したがって、特に、視差補償を行った場合にステレオ画像の片側だけに現れる、主観的に望ましくないノイズを除去した、より高画質なステレオ動画像の符号化データを生成することができる。また、小さな量子化幅を利用することによる符号量の増加は極めて少ないので、僅かな符号量の増加で画質を向上させることができる。なお、以上の効果は、ビットレートが高い場合により効果を奏する。

なお、実施の形態１においては、レート制御部１２１は、仮想バッファ占有量ｄに基づくレート制御方式を用いる例について記載しているが、これ以外のレート制御方式により、量子化パラメータを決定してもよい。

この方式以外のレート制御方式としては、仮想バッファ占有量ｄに対して、ＷＲ＜（１／２）を乗算等する代わりに、決定した量子化パラメータに対して、係数を乗算する方式が例示される。すなわち、決定した量子化パラメータに対し、基本チャンネルについては、１／２倍、拡張チャンネルについては、ＷＲ（＜（１／２））倍するようにすればよい。

すなわち、拡張チャンネルに視差補償を行う場合に、拡張チャンネルに適用される量子化幅が、基本チャンネルに適用される量子化幅より小さくなるようにすれば、いかなる方式を利用してもよい。

（実施の形態２）
本発明の実施の形態２に係るステレオ動画像符号化装置は、ピクチャ単位ではなく、ピクチャの一部の領域である小領域単位で、視差補償と動き補償とを切り替えることを特徴とする。

小領域は、例えば、マクロブロックであり、具体的には、実施の形態２に係るステレオ動画像符号化装置では、符号化処理部が、視差補償及び動き補償のいずれを行うかを小領域単位で決定する。そして、視差補償を行うと決定された場合、制御部が、第２ピクチャ（拡張チャンネル）の小領域の画像である第２画像に適用される量子化幅を、第１ピクチャ（基本チャンネル）の小領域の画像である第１画像に適用される量子化幅より小さい値に決定することを特徴とする。

すなわち、実施の形態２では、第１画像は、第１視点動画像に含まれる第１ピクチャの一部の領域（例えば、ＭＢ）を構成する画像であり、第２画像は、第２視点動画像に含まれる第２ピクチャの一部の領域を構成する画像である。

図４は、実施の形態２に係るステレオ動画像符号化装置５００の構成の一例を示すブロック図である。ステレオ動画像符号化装置５００は、実施の形態１に係るステレオ動画像符号化装置１００と同様に、立体視する際に用いる第１視点の第１視点動画像（基本チャンネル）と、第２視点の第２視点動画像（拡張チャンネル）とを符号化する。図４に示すように、ステレオ動画像符号化装置５００は、符号化処理部５１０と、制御部５２０とを備える。

符号化処理部５１０は、画面内予測、動き補償又は視差補償と、量子化とを行うことで、第１視点動画像と第２視点動画像とを符号化する。図４に示すように、符号化処理部５１０は、基本チャンネル符号化部１１１と、拡張チャンネル符号化部５１２とを備える。なお、以下では、実施の形態１と同じ構成要素については同じ参照符号を付し、説明を省略する場合がある。

基本チャンネル符号化部１１１は、実施の形態１と同じであり、基本チャンネルの動画像、すなわち、第１視点動画像（例えば、左眼用の動画像）を符号化する。

拡張チャンネル符号化部５１２は、拡張チャンネルの動画像、すなわち、第２視点動画像（例えば、右眼用の動画像）を符号化する。実施の形態２に係る拡張チャンネル符号化部５１２は、実施の形態１に係る拡張チャンネル符号化部１１２と比較して、選択部３１５の代わりに、選択部６１５を備える点が異なる。その他の構成要素については、図２に示す構成要素と同じであるため、以下では、説明を省略する（図４にも示していない）。

選択部６１５は、拡張チャンネルの第２ピクチャの一部の領域である第２画像を符号化する際に、画面内予測、動き補償及び視差補償のいずれを行うかを決定する。具体的には、選択部６１５は、画面内予測部２１４、動き補償部２１２及び視差補償部３１７のそれぞれが出力する予測ＭＢのうち、いずれか１つを選択する。

例えば、選択部６１５は、予測誤差を符号化した際に生じる符号量が最小となる予測ＭＢを選択する。これは、例えば、予測誤差ＭＢ内の画素値の絶対値和が最小となるものを選択することで、実現可能である。そして、選択部６１５は、３つの予測方法（画面内予測、動き補償及び視差補償）のうち、どの予測方法を選択したかを示す信号を制御部５２０に出力する。

制御部５２０は、符号化処理部５１０によって第２画像を符号化する際に視差補償を用いると決定された場合に、第２画像に適用される量子化幅を、第１画像に適用される量子化幅より小さい値に決定する。なお、第１画像は、基本チャンネルの第１ピクチャの一部の領域であり、第２画像と対になる画像である。例えば、第１画像と第２画像とは、同一の撮影時刻に撮影された画像である。

図４に示すように、制御部５２０は、レート制御部５２１と、ＷＲ値選択部５２３とを備える。

ＷＲ値選択部５２３は、符号化処理部５１０によって視差補償又は動き補償が選択される処理単位毎に、ＷＲの値を選択して、ＷＲ掛算器７０５に出力する。例えば、ＷＲ値選択部５２３は、選択部６１５によって視差補償が選択された場合には、ＷＲ＜（１／２）となる値を、それ以外の場合には、ＷＲ≧（１／２）となる値を、マクロブロック毎に出力する。

レート制御部５２１は、符号化処理部５１０によって視差補償を用いると決定された場合に、第２画像に適用される量子化幅を、第１画像に適用される量子化幅より小さい値に決定する。実施の形態２に係るレート制御部５２１は、実施の形態１に係るレート制御部１２１と比較して、ＷＲ掛算器４０５の代わりにＷＲ掛算器７０５を備える点が異なっている。その他の構成要素については、図２に示す構成要素と同じであるため、以下では説明を省略する（図４にも示していない）。

ＷＲ掛算器７０５は、ＷＲ値選択部５２３からのＷＲを用いて、（式９）等に従って、実施の形態１と同様の動作を行うことで、量子化パラメータｍｑｕａｎｔを決定する。このとき、ＷＲ掛算器７０５は、マクロブロック毎にＷＲが異なるため、マクロブロック毎に量子化パラメータｍｑｕａｎｔの計算を行う。

以下では、実施の形態２に係るステレオ動画像符号化装置５００において、拡張チャンネルの量子化幅を決定する動作の一例の詳細について、図５を用いて説明する。

図５は、実施の形態２に係るステレオ動画像符号化装置５００の動作の一例を示すフローチャートである。

まず、拡張チャンネル符号化部５１２は、拡張チャンネルの対象ＭＢの予測方法を評価する（Ｓ２１０）。具体的には、選択部６１５が、画面内予測、動き補償及び視差補償のうち、予測誤差が最も小さい予測ＭＢを生成する予測方法を選択する。選択部６１５は、選択した予測方法を示す信号をＷＲ値選択部５２３に出力する。

このとき、選択部６１５によって視差補償が選択された場合（Ｓ２２０でＹｅｓ）、制御部５２０は、基本チャンネルの量子化幅より拡張チャンネルの量子化幅を小さくする（Ｓ２３０）。具体的には、ＷＲ値選択部５２３が、視差補償を示す信号を受け取った場合、１／２より小さいＷＲ値を、ＷＲ掛算器７０５に出力する。

また、選択部６１５によって視差補償が選択されなかった場合（Ｓ２２０でＮｏ）、本実施の形態では、制御部５２０は、基本チャンネルの量子化幅より拡張チャンネルの量子化幅を大きく、又は、同じにする（Ｓ２４０）。例えば、ＷＲ値選択部５２３が、動き補償を示す信号を受け取った場合、１／２以上となるＷＲ値を、ＷＲ掛算器７０５に出力する。

なお、ＷＲ値選択部５２３は、例えば、１／２より小さい値と、１／２以上の値とを予め保持しており、視差補償を示す信号を受け取った場合に、１／２より小さい値をＷＲ値としてＷＲ掛算器７０５に出力する。

以上の構成により、実施の形態２に係るステレオ動画像符号化装置５００は、拡張チャンネルの動画像を符号化する場合に、視差補償を行うか否かを、ピクチャの一部の領域である小領域単位で決定する。そして、視差補償を行う場合は、基本チャンネルの量子化幅より小さな量子化幅で、拡張チャンネルの量子化を行う。

これにより、動き補償と視差補償とが、ピクチャ内に混在する場合においても、視差補償を行うブロックについてのみ、拡張チャンネルで用いる量子化幅を、基本チャンネルで用いる量子化幅よりも小さくすることができる。したがって、リンギング等の発生を抑えることができ、画質の劣化を低減することができる。

なお、実施の形態２に係るステレオ動画像符号化装置５００によれば、画面全体で小さな量子化幅を用いる場合よりも、小さな量子化幅を用いる領域が少なくなるので、符号化効率をより高めることもできる。

なお、実施の形態２では、小領域は、マクロブロックであるとしたが、これに限られない。例えば、小領域は、スライスでもよい。

（実施の形態３）
本発明の実施の形態３に係るステレオ動画像符号化装置は、視差補償によって生成される予測画像と第２画像との差分である差分画像の特徴を示すスカラー量に基づいて、第２画像に適用される量子化幅を決定することを特徴とする。

要するに、実施の形態３に係るステレオ動画像符号化装置は、第２画像に適用される量子化幅として、第１画像に適用される量子化幅より小さい固定の値ではなく、可変の値を用いることを特徴とする。

なお、実施の形態３では、第１画像は、第１視点動画像に含まれる第１ピクチャの一部の領域（例えば、ＭＢ）を構成する画像であり、第２画像は、第２視点動画像に含まれる第２ピクチャの一部の領域を構成する画像である。

図６は、実施の形態３に係るステレオ動画像符号化装置８００の構成の一例を示すブロック図である。ステレオ動画像符号化装置８００は、実施の形態２に係るステレオ動画像符号化装置５００と同様に、立体視する際に用いる第１視点の第１視点動画像（基本チャンネル）と、第２視点の第２視点動画像（拡張チャンネル）とを符号化する。図６に示すように、ステレオ動画像符号化装置８００は、符号化処理部８１０と、制御部８２０とを備える。

符号化処理部８１０は、画面内予測、動き補償又は視差補償と、量子化とを行うことで、第１視点動画像と第２視点動画像とを符号化する。図６に示すように、符号化処理部８１０は、基本チャンネル符号化部１１１と、拡張チャンネル符号化部８１２とを備える。なお、以下では、実施の形態１及び２と同じ構成要素については同じ参照符号を付し、説明を省略する場合がある。

基本チャンネル符号化部１１１は、実施の形態１及び２と同じであり、基本チャンネルの動画像、すなわち、第１視点動画像（例えば、左眼用の動画像）を符号化する。

拡張チャンネル符号化部８１２は、拡張チャンネルの動画像、すなわち、第２視点動画像（例えば、右眼用の動画像）を符号化する。実施の形態３に係る拡張チャンネル符号化部８１２は、実施の形態２に係る拡張チャンネル符号化部５１２と比較して、選択部６１５の代わりに選択部９１５を備える点が異なる。その他の構成要素については、図２に示す構成要素と同じであるため、以下では、説明を省略する（図６にも示していない）。

選択部９１５は、選択部６１５と同様に、拡張チャンネルの第２ピクチャの一部である第２画像を符号化する際に、画面内予測、動き補償及び視差補償のいずれを行うかを決定する。具体的には、選択部９１５は、マクロブロック毎に、視差補償ＭＢ、画面内予測ＭＢ及び動き補償ＭＢのうち、符号量が最小となる予測ＭＢを選択する。そして、選択した予測方法を示す信号を出力する。

さらに、選択部９１５は、視差補償ＭＢを選択した場合には、視差補償によって生成される予測画像と第２画像との差分である差分画像の特徴を示すスカラー量を出力する。

つまり、選択部９１５は、スカラー量算出部として機能する。具体的には、選択部９１５は、残差画像を符号化した時の符号量の大きさを表すスカラー量を同時に出力する。例えば、スカラー量が大きい程、残差画像を符号化した際に発生する符号量が大きくなり、スカラー量が小さい程、残差画像を符号化した際に発生する符号量は小さくなる。

例えば、選択部９１５は、実際に、視差補償ＭＢと符号化対象ＭＢとの残差を直交変換、量子化及び可変長符号化した場合の符号量をスカラー量として出力してもよい。また、量子化及び可変長符号化を簡略化して処理量を削減してもよい。また、例えば、残差画素の絶対値和、又は、直交変換後の変換係数の絶対値和などをスカラー量として出力してもよい。

また、本来の量子化では、量子化マトリクスを用いることで、直交変換係数毎に量子化幅が異なるのであるが、量子化マトリクスが均一であるとして単一の量子化幅で量子化してもよい。この場合、量子化前の値について、差分絶対値和を計算し、これを量子化幅で除算することで、除算の回数を大幅に削減することができる。

制御部８２０は、符号化処理部８１０によって第２画像を符号化する際に視差補償を用いると決定された場合に、第２画像に適用される量子化幅を、第１画像に適用される量子化幅より小さい値に決定する。なお、第１画像は、基本チャンネルの第１ピクチャの一部の領域であり、第２画像と対になる画像である。

図６に示すように、制御部８２０は、レート制御部８２１と、ＷＲ値決定部８２４とを備える。

ＷＲ値決定部８２４は、符号化処理部８１０によって視差補償を用いると決定された場合に、符号化処理部８１０から出力されるスカラー量に基づいて、第２画像に適用される量子化幅を決定する。具体的には、ＷＲ値決定部８２４は、視差補償が選択された場合に、ＷＲの値を、選択部９１５から出力されるスカラー量に基づいて決定する。

ＷＲ値決定部８２４は、例えば、ＷＲのを、スカラー量に対して単調減少する図７のような折線グラフに基づいて決定してもよい。つまり、ＷＲ値決定部８２４は、スカラー量が大きい程、値が小さくなるようにＷＲ値を決定する。言い換えると、スカラー量が大きい程、値が小さくなるように、拡張チャンネルの第２画像に適用される量子化幅が決定される。

ここで、一般に、スカラー量が大きい場合、残差画像を符号化した際に発生する符号量が大きく、その結果、リンギングノイズなどがより目立ってしまう。しかしながら、本実施の形態に係るステレオ動画像符号化装置８００は、スカラー量が大きい場合に、値が小さい量子化幅を用いることで、リンギングの発生を抑制することができる。

レート制御部８２１が備えるＷＲ掛算器７０５は、ＷＲ値決定部８２４によって決定されたＷＲ値を用いて、実施の形態１及び２と同様にして、量子化マトリクスｍｑｕａｎｔを決定する。なお、レート制御部８２１が備える他の構成要素については、実施の形態１及び２と同様であるため、説明を省略する（図６にも示していない）。

以下では、実施の形態３に係るステレオ動画像符号化装置８００において、拡張チャンネルの量子化幅を決定する動作の一例の詳細について、図８を用いて説明する。

図８は、実施の形態３に係るステレオ動画像符号化装置８００の動作の一例を示すフローチャートである。なお、実施の形態２と同じ動作については、同じ参照符号を付し、以下では、説明を省略する。

選択部９１５によって視差補償が選択された場合（Ｓ２２０でＹｅｓ）、制御部８２０は、選択部９１５から出力されるスカラー量に基づいて、基本チャンネルの量子化幅より拡張チャンネルの量子化幅を小さくする（Ｓ３３０）。

つまり、制御部８２０は、スカラー量が大きい程、値が小さくなり、スカラー量が小さいほど、値が大きくなるように量子化幅を決定する。具体的には、ＷＲ値決定部８２４が、例えば、図７に示すグラフに従って、ＷＲ値を決定する。そして、ＷＲ値決定部８２４は、決定したＷＲ値をＷＲ掛算器７０５に出力し、ＷＲ掛算器７０５は、量子化パラメータｍｑｕａｎｔを算出する。

以上の構成により、実施の形態３に係るステレオ動画像符号化装置８００は、視差補償によって生成される予測画像と第２画像との差分である差分画像の特徴を示すスカラー量に基づいて、第２画像に適用される量子化幅を決定する。

要するに、実施の形態３に係るステレオ動画像符号化装置は、第２画像に適用される量子化幅として、第１画像に適用される量子化幅より小さい固定の値ではなく、第１画像に適用される量子化幅より小さい可変の値を用いる。

これにより、リンギングがより目立つことが予想される場合に、より小さな量子化幅で量子化することができ、画質の劣化をより抑制することができる。

以上、本発明に係るステレオ動画像符号化装置及びステレオ動画像符号化方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、第１画像と第２画像との視差に基づいて、視差補償を行うか否かを決定してもよい。

図９は、本発明の実施の形態１の変形例に係るステレオ動画像符号化装置１０００の構成の一例を示すブロック図である。図９に示すように、ステレオ動画像符号化装置１０００は、実施の形態１に係るステレオ動画像符号化装置１００と比較して、制御部１２０の代わりに制御部１０２０を備える点が異なっている。具体的には、制御部１０２０が、判定部１２２の代わりに判定部１０２２を備える点が異なっている。

判定部１０２２は、符号化処理部１１０が拡張チャンネルの第２画像を符号化する際に視差補償を行うか否かを、第１画像と第２画像との視差に基づいて判定する。図９に示すように、判定部１０２２は、視差検出部１１０１を備える。

視差検出部１１０１は、基本チャンネルの第１画像と、拡張チャンネルの第２画像との視差を検出する。例えば、視差検出部１１０１は、基本チャンネルの第１視点動画像に含まれる第１ピクチャと、拡張チャンネルの第２視点動画像に含まれる第２ピクチャとを取得し、視差マップを生成する。視差マップは、１対の対象ピクチャ（第１ピクチャ及び第２ピクチャ）の領域（例えば、ＭＢ）毎に、視差量を示すものである。

判定部１０２２は、視差検出部１１０１が生成した視差マップの信頼度が高いか否かを判定する。そして、判定部１０２２は、視差マップの信頼度が所定の閾値より高い場合に、視差補償を行うと判定し、視差マップの信頼度が上記閾値より低い場合に、動き補償を行うと判定する。

視差マップの信頼度は、例えば、第１ピクチャと第２ピクチャとの差分絶対値和（ＳＡＤ）に基づいて決定される。具体的には、ＳＡＤが小さい程、視差マップの信頼度は高く、ＳＡＤが大きい程、視差マップの信頼度は小さくなる。これは、ＳＡＤが小さいということは、第１ピクチャと第２ピクチャとが類似していることを意味し、視差の検出が正しく行われる可能性が高いことを意味するためである。

なお、視差補償及び動き補償のいずれかを決定した場合の処理は、上記の各実施の形態と同様である。

また、上記の各実施の形態では、量子化パラメータと量子化マトリクスとの乗算によって決定される値である量子化幅ステップサイズを、量子化幅の一例として用いたが、量子化幅は、これに限られない。量子化パラメータと量子化マトリクスの少なくとも一方によって決定される値を、量子化幅として用いてもよい。

例えば、量子化マトリクスの値は、ピクチャ又はスライス単位で設定することが可能である。また、量子化パラメータの値は、スライス単位で、基準となる基準量子化パラメータを設定し、基準量子化パラメータをマクロブロック単位で調整することで、マクロブロック単位で設定することが可能である。

したがって、本発明の各実施の形態において、ピクチャ単位又はスライス単位で基準量子化パラメータを変更してもよく、また、マクロブロック単位で、基準量子化パラメータからの調整量を変更してもよい。いずれの方法を用いても、量子化パラメータの値を小さくすることで、量子化幅を小さくすることができる。

また、上記の各実施の形態では、量子化パラメータの値を変更することで、量子化幅の値を変更したが、量子化マトリクスを変更してもよい。つまり、第２画像を符号化する際に視差補償を行う場合、第２画像の量子化に用いる量子化マトリクスの係数値の少なくとも１つを、第１画像の量子化に用いる量子化マトリクスの係数値より小さい値に決定してもよい。

例えば、実施の形態１において、判定部１２２が第２ピクチャに視差補償を行うと判定した場合、レート制御部１２１は、第１ピクチャの量子化に利用する量子化マトリクスより係数値が小さい量子化マトリクスを、第２ピクチャの量子化に用いる量子化マトリクスとして決定してもよい。このとき、量子化マトリクスの全ての係数値を小さくしなくてもよく、例えば、低周波成分又は高周波成分のみの係数値を小さくしてもよい。

これにより、量子化幅の調整の自由度を高めることができるので、画質の劣化の防止と符号化効率の向上とを実現することができる。

また、上記の各実施の形態では、ステレオ動画像は、基本チャンネルである第１視点の第１視点動画像と、拡張チャンネルである第２視点の第２視点動画像とを含む例について示した。しかし、ステレオ動画像は、複数の拡張チャンネルの動画像を含んでいてもよい。

なお、本発明は、上述したように、ステレオ動画像符号化装置及びステレオ動画像符号化方法として実現できるだけではなく、本実施の形態のステレオ動画像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、ステレオ動画像符号化装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

本発明に係るステレオ動画像符号化装置は、ステレオ動画像を符号化する際に、拡張チャンネルに発生する符号化歪みを抑制することで、画質の劣化を低減することができるという効果を奏し、例えば、デジタルテレビ、デジタルビデオレコーダ、デジタルカメラなどに利用することができる。

１００、５００、８００、１０００ ステレオ動画像符号化装置
１１０、５１０、８１０ 符号化処理部
１１１ 基本チャンネル符号化部
１１２、５１２、８１２ 拡張チャンネル符号化部
１２０、５２０、８２０、１０２０ 制御部
１２１、５２１、８２１ レート制御部
１２２、１０２２ 判定部
２０１ 画像並替部
２０２ 減算器
２０３ 直交変換部
２０４ 量子化部
２０５ 可変長符号化部
２０６ 逆量子化部
２０７ 逆直交変換部
２０８ 加算器
２０９ デブロッキングフィルタ部
２１０ フレームメモリ
２１１ 動きベクトル検出部
２１２ 動き補償部
２１３ 画面内予測方向検出部
２１４ 画面内予測部
２１５、３１５、６１５、９１５ 選択部
３１６ 視差ベクトル検出部
３１７ 視差補償部
４０１ バッファ
４０２ 発生ビット数算出部
４０３ 仮想バッファ占有量算出部
４０４ １／２掛算器
４０５、７０５ ＷＲ掛算器
５２３ ＷＲ値選択部
８２４ ＷＲ値決定部
１１０１ 視差検出部

Claims (10)

1. 立体視用の動画像を構成する第１視点における第１視点動画像および第２視点における第２視点動画像のうち、少なくとも前記第２視点動画像に含まれる第２画像を符号化するステレオ動画像符号化装置であって、
   前記第２視点動画像に含まれるピクチャに対して動き補償を適用することにより生成された予測画像と、前記第２視点動画像に含まれるピクチャに対して視差補償を適用することにより生成された予測画像と、を選択的に切り替えて出力する判定部と、
   前記判定部が出力する予測画像と、前記第２画像との差分を算出し、残差成分を生成する減算器と、
   前記減算器が生成した残差成分を直交変換し、直交変換係数を生成する直交変換部と、
   前記直交変換部が生成した直交変換係数を量子化し、量子化係数を生成する量子化部と、
   前記量子化部で利用する量子化幅を決定する制御部と、を備え、
   前記制御部は、
   前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像に適用される量子化幅を、前記第２画像と対になる、前記第１視点動画像に含まれる第１画像に適用される量子化幅より小さい値に決定する
   ステレオ動画像符号化装置。
2. 前記判定部は、前記動き補償を適用することにより生成された予測画像および前記視差補償を適用することにより生成された予測画像のいずれを選択するかを、ピクチャ単位で判定し、
   前記制御部は、
   前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像に適用される量子化幅を、前記第１画像に適用される量子化幅より小さい値に決定するレート制御部を備える
   請求項１記載のステレオ動画像符号化装置。
3. 前記第１画像は、前記第１視点動画像に含まれる第１ピクチャの一部の領域の画像であり、
   前記第２画像は、前記第２視点動画像に含まれる第２ピクチャの一部の領域の画像であり、
   前記判定部は、前記第２画像を符号化する際に、前記動き補償を適用することにより生成された予測画像および前記視差補償を適用することにより生成された予測画像のいずれを選択するかを判定し、
   前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像に適用される量子化幅を、前記第１画像に適用される量子化幅より小さい値に決定する
   請求項１記載のステレオ動画像符号化装置。
4. さらに、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、選択された前記予測画像と前記第２画像との差分である差分画像の特徴を示すスカラー量を算出するスカラー量算出部を備え、
   前記制御部は、さらに、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記スカラー量に基づいて、前記第２画像に適用される量子化幅を決定する
   請求項３記載のステレオ動画像符号化装置。
5. 前記スカラー量は、前記差分画像の絶対値和であり、
   前記制御部は、前記第２画像に適用される量子化幅を、前記スカラー量が大きい程、値が小さくなるように決定する
   請求項４記載のステレオ動画像符号化装置。
6. 前記量子化幅は、量子化マトリクス及び量子化パラメータの少なくとも一方によって決定される値であり、
   前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像の量子化に用いる量子化マトリクスの係数値の少なくとも１つを、前記第１画像の量子化に用いる量子化マトリクスの係数値より小さい値に決定する
   請求項１記載のステレオ動画像符号化装置。
7. 前記量子化幅は、量子化マトリクス及び量子化パラメータの少なくとも一方によって決定される値であり、
   前記制御部は、前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像の量子化に用いる量子化パラメータを、前記第１画像の量子化に用いる量子化パラメータより小さい値に決定する
   請求項１記載のステレオ動画像符号化装置。
8. 立体視用の動画像を構成する第１視点における第１視点動画像および第２視点における第２視点動画像のうち、少なくとも前記第２視点動画像に含まれる第２画像を符号化するステレオ動画像符号化方法であって、
   前記第２視点動画像に含まれるピクチャに対して動き補償を適用することにより生成された予測画像と、前記第２視点動画像に含まれるピクチャに対して視差補償を適用することにより生成された予測画像と、を選択的に切り替えて出力する判定ステップと、
   前記判定ステップにおいて出力される予測画像と、前記第２画像との差分を算出し、残差成分を生成する減算ステップと、
   生成された残差成分を直交変換し、直交変換係数を生成する直交変換ステップと、
   生成された直交変換係数を量子化し、量子化係数を生成する量子化ステップと、
   前記量子化ステップにおいて利用される量子化幅を決定する量子化幅決定ステップとを含み、
   前記量子化幅決定ステップでは、
   前記判定ステップにおいて視差補償を適用することにより生成された予測画像が選択された場合、前記第２画像に適用される量子化幅を、前記第２画像と対になる、前記第１視点動画像に含まれる第１画像に適用される量子化幅より小さい値に決定する
   ステレオ動画像符号化方法。
9. 請求項８記載のステレオ動画像符号化方法をコンピュータに実行させるためのプログラムを格納する記録媒体。
10. 立体視用の動画像を構成する第１視点における第１視点動画像および第２視点における第２視点動画像のうち、少なくとも前記第２視点動画像に含まれる第２画像を符号化する集積回路であって、
    前記第２視点動画像に含まれるピクチャに対して動き補償を適用することにより生成された予測画像と、前記第２視点動画像に含まれるピクチャに対して視差補償を適用することにより生成された予測画像と、を選択的に切り替えて出力する判定部と、
    前記判定部が出力する予測画像と、前記第２画像との差分を算出し、残差成分を生成する減算器と、
    前記減算器が生成した残差成分を直交変換し、直交変換係数を生成する直交変換部と、
    前記直交変換部が生成した直交変換係数を量子化し、量子化係数を生成する量子化部と、
    前記量子化部で利用する量子化幅を決定する制御部とを備え、
    前記制御部は、
    前記判定部が前記視差補償を適用することにより生成された予測画像を選択した場合、前記第２画像に適用される量子化幅を、前記第２画像と対になる、前記第１視点動画像に含まれる第１画像に適用される量子化幅より小さい値に決定する
    集積回路。

Images