JP2012023662A - 画像処理装置と画像処理方法 - Google Patents

Abstract

【課題】多視点の画像の符号化において多視点画像に応じた画質の改善を行う。
【解決手段】動き・視差予測補償部４２は、視点の異なる画像間での相関を利用した視差予測を行う。量子化制御部４５は、視差予測の結果から画質を保護する保護領域を判別して、該保護領域では量子化ステップサイズを変更して小さくする。例えば、量子化制御部は、視差予測によって検出した視差ベクトルと、該視差ベクトルを用いて視差補償を行ったときの誤差の少なくとも何れかを用いて、３Ｄオブジェクトや３Ｄオブジェクトの境界を保護領域として判別する。符号化ブロックが３Ｄオブジェクトや３Ｄオブジェクトの境界であるときは、量子化ステップを変更して小さくすることで、３Ｄオブジェクトや３Ｄオブジェクトの境界の画質を保護することが可能となり、多視点画像の主観画質を改善できる。
【選択図】 図３

Description

この発明は、画像処理装置と画像処理方法に関する。詳しくは、多視点の画像の符号化において多視点画像に応じた画質の改善を行う。

近年、画像情報をディジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。

特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。さらに、ＭＰＥＧ２といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現できるＨ．２６４およびＭＰＥＧ−４ Ｐａｒｔ１０ （以下「Ｈ．２６４／ＡＶＣ(Advanced Video Coding)」と記す）という画像符号化方式が標準化されている。

また、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣなどの符号化方式による画像の符号化では、より高い符号化効率を得るためにビットレートの調整を行うことが一般的である。ビットレートの調整では、視覚特性を考慮した適応量子化が行われている。例えば特許文献１では、前画像の符号化の際に求めた所定のパラメータに基づいて、現画像の符号化量に応じた量子化スケールと調整量子化スケールとを、適応的に切り替えて量子化が行われている。

特開２０００−１３８９３８号公報

ところで、フレームシーケンシャル(ＦＳ:Frame Sequential）−ＡＶＣやマルチビュービデオ符号化（ＭＶＣ:Multiview Video Coding）では、時間方向の画面間での相関を利用する時間予測だけでなく、視点の異なる画面間での相関を利用する視差予測が行われる。

図１は、例えば２視点の動画像データを符号化するときの予測の参照関係を示している。なお、Ｃａｍ０は視点画像の画像データ、Ｃａｍ１は右視点画像の画像データとする。Ｃａｍ１の画像データは、Ｃａｍ０の画像データを参照ピクチャの画像データとして用いて符号化を行うディペンデントビュー（Dependent View）の画像データとする。また、ディペンデントビューの画像データを符号化するときに参照される画像データを、ベースビュー（Base View）の画像データという。

また、Ｃａｍ１の画像データにおけるＰピクチャ（Ｐdv1）は、矢印で示すように視差予測で参照するＣａｍ０のＩピクチャ（Ｉb1）を参照ピクチャとする。また、Ｃａｍ１の画像データにおけるＰピクチャ（Ｐdv3）は、矢印で示すように視差予測で参照するＣａｍ０のＰピクチャ（Ｐb3）と時間予測で参照するＰピクチャ（Ｐdv1）を参照ピクチャとする。また、Ｃａｍ１の画像データにおけるＢピクチャ（Ｂdv2）は、矢印で示すように視差予測で参照するＣａｍ０のＢｓピクチャ（Ｂｓb2）と時間予測で参照するＰピクチャ（Ｐdv1）とＰピクチャ（Ｐdv3）を参照ピクチャとする。なお、Ｃａｍ０の画像データにおけるＰピクチャ（Ｐb3）は、矢印で示すように時間予測で参照するＩピクチャ（Ｉb1）を参照ピクチャとする。また、Ｃａｍ１の画像データにおけるＢｓピクチャ（Ｂｓb2）は、矢印で示すように時間予測で参照するＩピクチャ（Ｉb1）とＰピクチャ（Ｐb3）を参照ピクチャとする。

このような多視点の画像の符号化においても、より高い符号化効率を得るためにビットレートの調整を行う必要がある。

そこで、この発明では、多視点の画像の符号化において多視点画像に応じた画質の改善を行うことができる画像処理装置と画像処理方法を提供することを目的とする。

この発明の第１の側面は、符号化対象ピクチャと予測画像とのブロック単位の差分の直交変換係数を量子化する量子化部と、前記符号化対象ピクチャと該符号化対象ピクチャと視点が異なるピクチャとの相関を利用した視差予測を行う予測部と、前記視差予測の結果から画質を保護する保護領域を判別して、該保護領域の量子化において前記量子化部の量子化ステップサイズを変更して小さくする量子化制御部とを有する画像処理装置にある。

この発明においては、符号化対象ピクチャと該符号化対象ピクチャと視点が異なるピクチャとの相関を利用した視差予測が行われて、視差予測によって検出した視差ベクトルと、該視差ベクトルを用いて視差補償を行ったときの誤差の少なくとも何れかを用いて、保護領域の判別が行われる。例えば視差ベクトルを用いる場合、視差ベクトルの水平方向の成分を用いて、符号化済みピクチャの視差ベクトルから算出された保護領域の判別基準として用いる統計量（画面内の視差ベクトルの平均値等）よりも視差ベクトルが大きい符号化対象ブロックや、直前の符号化済みブロックの視差ベクトルよりも視差ベクトルが大きい符号化対象ブロックが保護領域と判別される。また、視差補償を行ったときの誤差を用いる場合、符号化済みピクチャの誤差から算出された保護領域の判別基準として用いる統計量（画面内の誤差の平均値等）よりも誤差が大きい符号化対象ブロックが保護領域と判別される。

この発明の第２の側面は、符号化対象ピクチャと予測画像とのブロック単位の差分の直交変換係数を量子化する工程と、前記符号化対象ピクチャと該符号化対象ピクチャと視点が異なるピクチャとの相関を利用した視差予測を行う工程と、前記視差予測の結果から画質を保護する保護領域を判別して、該保護領域の量子化において前記量子化部の量子化ステップサイズを変更して小さくする工程とを具備する画像処理方法にある。

この発明によれば、符号化対象ピクチャと該符号化対象ピクチャと視点が異なるピクチャとの相関を利用した視差予測を行い、この視差予測の結果から画質を保護する保護領域を判別して、該保護領域の量子化で量子化ステップサイズが変更されて小さくされる。したがって、多視点の動画像の符号化の際に保護領域の画質が保護されて、多視点画像に応じた画質の改善を行うことができる。

２視点の動画像データを符号化するときの予測の参照関係を示した図である。 符号化システムの構成を示す図である。 画像処理装置の構成を示す図である。 画像処理装置の第１の動作を示すフローチャートである。 画像処理装置の第２の動作を示すフローチャートである。 画像処理装置の第３の動作を示すフローチャートである。 ソフトウェア処理で画像符号化を行う場合の構成を示す図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．符号化システムの構成例
２．画像処理装置の構成
３．画像処理装置の動作
３−１．画像処理装置の第１の動作
３−２．画像処理装置の第２の動作
３−３．画像処理装置の第３の動作
３−４．画像処理装置のその他の動作
４．ソフトウェア処理で画像符号化を行う場合

＜１．符号化システムの構成例＞
図２は、本発明を適用した符号化システムの構成例を示す図である。符号化システム１０は、左視点画像生成装置１１Ｌ、右視点画像生成装置１１Ｒ、および多視点符号化装置２０を有している。

左視点画像生成装置１１Ｌは、左視点画像の画像データを生成する撮像装置や画像データ生成装置である。右視点画像生成装置１１Ｒは、右視点画像を生成する撮像装置や画像データ生成装置である。左視点画像生成装置１１Ｌと右視点画像生成装置１１Ｒは、同期して動作を行う。

多視点符号化装置２０には、左視点画像生成装置１１Ｌにより生成された左側視点画像の画像データと、右視点画像生成装置１１Ｒにより生成された右側視点画像の画像データが入力される。多視点符号化装置２０は、左側視点画像の画像データと右側視点画像の画像データの符号化をそれぞれ行い、得られた符号化データを多重化して、１つのビットストリームとして出力する。

多視点符号化装置２０は、左視点画像の画像データを符号化する画像処理装置と右視点画像の画像データを符号化する画像処理装置を有している。左視点画像の画像データを符号化する画像処理装置は、例えば左視点画像の画像データをベースビューの画像データとして符号化する。右視点画像の画像データを符号化する画像処理装置は、右側視点画像の画像データを、左視点画像の画像データを参照して符号化を行うディペンデントビューの画像データとして符号化する。

画像処理装置は、既に符号化が行われているピクチャやブロックの視差予測の結果からフィードバック情報を生成する。画像処理装置は、生成したフィードバック情報に基づき画質の保護領域を判別して、保護領域を符号化する際に量子化ステップサイズの変更を行って小さくする。すなわち、画像処理装置は、多視点画像の符号化において適応量子化を行うことで、多視点画像に応じた画質の改善を行う。

＜２．画像処理装置の構成＞
図３は、画像処理装置、例えばディペンデントビューの画像データを符号化する画像処理装置２０ｄｖの構成を示している。画像処理装置２０ｄｖは、アナログ／ディジタル変換部（Ａ／Ｄ変換部）２１、画面並び替えバッファ２２、減算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、蓄積バッファ２７、レート制御部２８を備えている。また、画像処理装置２０ｄｖは、逆量子化部３１、逆直交変換部３２、加算部３３、デブロッキングフィルタ３４、フレームメモリ３５を有している。さらに画像処理装置２０ｄｖは、イントラ予測部４１、動き・視差予測補償部４２、予測画像・最適モード選択部４３および量子化制御部４５を備えている。

Ａ／Ｄ変換部２１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ２２に出力する。

画面並べ替えバッファ２２は、Ａ／Ｄ変換部２１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ２２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部２３とイントラ予測部４１と動き・視差予測補償部４２に出力する。

減算部２３には、画面並べ替えバッファ２２から出力された画像データと、後述する予測画像・最適モード選択部４３で選択された予測画像データが供給される。減算部２３は、画面並べ替えバッファ２２から出力された画像データと予測画像・最適モード選択部４３から供給された予測画像データの差分である予測誤差データを算出して、直交変換部２４に出力する。

直交変換部２４は、減算部２３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部２４は、直交変換処理を行うことにより得られた変換係数を量子化部２５に出力する。

量子化部２５には、直交変換部２４から出力された変換係数と、後述するレート制御部２８からレート制御信号、および量子化制御部４５から比較結果信号が供給されている。量子化部２５は変換係数の量子化を行い、量子化データを可逆符号化部２６と逆量子化部３１に出力する。また、量子化部２５は、レート制御部２８からのレート制御信号に基づき量子化ステップサイズを切り替えて、量子化データのビットレートを変化させる。さらに、量子化部２５は、量子化制御部４５からの量子化制御信号に基づき量子化ステップサイズを多視点画像に応じて画面内で切り替えることで、多視点画像に応じた画質の改善を行う。

可逆符号化部２６には、量子化部２５から出力された量子化データと、後述するイントラ予測部４１と動き・視差予測補償部４２および予測画像・最適モード選択部４３から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、符号化ブロックサイズを示すマクロブロックタイプ、予測モード、参照インデックス等が含まれる。可逆符号化部２６は、量子化データに対して例えば可変長符号化または算術符号化等により符号化処理を行い、符号化ストリームを生成して蓄積バッファ２７に出力する。また、可逆符号化部２６は、予測モード情報を可逆符号化して、符号化ストリームの例えばヘッダ情報に付加する。

蓄積バッファ２７は、可逆符号化部２６からの符号化ストリームを蓄積する。また、蓄積バッファ２７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。

レート制御部２８は、蓄積バッファ２７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部２５に出力する。レート制御部２８は、例えば蓄積バッファ２７から空き容量を示す情報を取得する。レート制御部２８は空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部２８は蓄積バッファ２７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。

逆量子化部３１は、量子化部２５から供給された量子化データの逆量子化処理を行う。逆量子化部３１は、逆量子化処理を行うことで得られた変換係数を逆直交変換部３２に出力する。

逆直交変換部３２は、逆量子化部３１から供給された変換係数の逆直交変換処理を行うことで得られたデータを加算部３３に出力する。

加算部３３は、逆直交変換部３２から供給されたデータと予測画像・最適モード選択部４３から供給された予測画像データを加算して参照ピクチャの画像データを生成して、この画像データをデブロッキングフィルタ３４とイントラ予測部４１に出力する。

デブロッキングフィルタ３４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ３４は、加算部３３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ３５に出力する。

フレームメモリ３５は、デブロッキングフィルタ３４から供給されたフィルタ処理後の画像データと、ベースビューの符号化を行う画像処理装置２０ｂｖから供給された参照ピクチャの画像データを保持する。

イントラ予測部４１は、画面並べ替えバッファ２２から出力された符号化対象ピクチャの画像データと加算部３３から供給された画像データを用いて、候補となる全てのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部４１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部４１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部４３に出力する。また、イントラ予測部４１は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部２６に出力する。なお、コスト関数値の算出としては、例えばＪＭ（Joint Model）と呼ばれるＨ．２６４ＡＶＣの参照ソフトウェアに実装されている方法を挙げることができる。

動き・視差予測補償部４２は、画面並べ替えバッファ２２から読み出された符号化対象ピクチャにおける符号化ブロックサイズの画像毎に予測・補償処理を行う。動き・視差予測補償部４２は、符号化ブロックの画像データとフレームメモリ３５から読み出されたデブロックフィルタ処理後の画像データを用いて予測を行い、動きベクトルを検出する。また、動き・視差予測補償部４２は、符号化ブロックの画像データとベースビューの画像データを用いて予測を行い、視差ベクトルを検出する。さらに、動き・視差予測補償部４２は、検出した動きベクトル（視差ベクトル）に基づいて参照ピクチャに補償処理を施して予測画像の生成を行う。

また、動き・視差予測補償部４２は、ブロックサイズおよび参照ピクチャ毎にコスト関数値を算出して、コスト関数値が最小となるブロックサイズと参照ピクチャを、最適インター予測モードとして選択する。動き・視差予測補償部４２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部４３に出力する。また、動き・視差予測補償部４２は、コスト関数値の算出で用いる発生符号量を得るため、各予測モードのブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部２６に出力する。

予測画像・最適モード選択部４３は、イントラ予測部４１から供給されたコスト関数値と動き・視差予測補償部４２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部４３は、最適モードで生成した予測画像データを減算部２３と加算部３３に出力する。さらに、予測画像・最適モード選択部４３は、最適モードの予測モード情報（マクロブロックタイプ、予測モード、参照インデックス等）を可逆符号化部２６に出力する。

量子化制御部４５は、動き・視差予測補償部４２で行われた視差予測の結果から保護領域を判別する。さらに、量子化制御部４５は、判別結果に基づき量子化制御信号を生成して量子化部２５に供給することで、保護領域を符号化する際に量子化部２５における量子化ステップサイズの変更を行い、量子化ステップサイズを小さくして保護領域の画質を保護する。このように、量子化制御部４５は、多視点画像の符号化において、視差予測の結果に基づき量子化ステップサイズを適応的に切り替える。

＜３．画像処理装置の動作＞
画像処理装置は、多視点画像の符号化において、保護領域を符号化する際に量子化ステップサイズを変更して小さくすることで画質の保護を行い、多視点画像の主観画質を改善する。また、画像処理装置は、視差予測によって検出した視差ベクトルと、該視差ベクトルを用いて視差補償を行ったときの誤差の少なくとも何れかを用いて保護領域を判別する。画像処理装置は、視差予測の結果に基づき、例えば手前に位置する被写体（３Ｄオブジェクト）や３Ｄオブジェクトの境界を保護領域として判別する。

＜３−１．画像処理装置の第１の動作＞
画像処理装置の第１の動作では、符号化対象マクロブロックの視差ベクトルと符号化済みピクチャで検出されている視差ベクトルを用いて保護領域を判別する場合について説明する。なお、左視点と右視点の位置を水平方向にのみ相違させてベースビューとディペンデントビューの画像データを生成する場合、視差ベクトルの水平成分を用いて保護領域を判別する。

図４は、画像処理装置の第１の動作を示すフローチャートである。ステップＳＴ１で画像処理装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像処理装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャである場合はステップＳＴ２に進み、ベースビューのピクチャである場合はステップＳＴ９に進む。

ステップＳＴ２で画像処理装置２０ｄｖは、符号化対象マクロブロックについて視差予測を行う。画像処理装置２０ｄｖの動き・視差予測補償部４２は、符号化対象マクロブロックの画像データとベースビューの画像データを用いて視差予測を行い、視差ベクトルを検出してステップＳＴ３に進む。

ステップＳＴ３で画像処理装置２０ｄｖは、視差ベクトルを取得する。画像処理装置２０ｄｖの量子化制御部４５は、動き・視差予測補償部４２で検出された視差ベクトルを取得してステップＳＴ４に進む。

ステップＳＴ４で画像処理装置２０ｄｖは、保護領域の判別を行う。画像処理装置２０ｄｖの量子化制御部４５は、後述するステップＳＴ８で生成されたフィードバック情報と視差ベクトルの比較を行い、保護領域を判別してステップＳＴ５に進む。量子化制御部４５は、例えば後述するように保護領域の判別基準として用いる統計量を、フィードバック情報とする場合、フィードバック情報よりも視差ベクトルが大きい手前に位置する３Ｄオブジェクトのマクロブロックを保護領域と判別する。

ステップＳＴ５で画像処理装置２０ｄｖは、量子化ステップサイズを決定する。画像処理装置２０ｄｖの量子化部２５は、ステップＳＴ４の保護領域判別結果に基づき量子化ステップサイズを決定してステップＳＴ６に進む。量子化部２５は、保護領域判別結果に基づき、量子化ステップサイズの変更を行い、例えば手前に位置する３Ｄオブジェクトの画像部分は量子化ステップサイズを小さくする。

ステップＳＴ６で画像処理装置２０ｄｖは符号化処理を行う。画像処理装置２０ｄｖは、予測画像・最適モード選択部４３において、イントラ予測部４１から供給されたコスト関数値と動き・視差予測補償部４２から供給されたコスト関数値を比較する。画像処理装置２０ｄｖは、比較結果に基づき、コスト関数値が少ない予測モードを符号化効率が最良となる最適モードとして選択する。また、画像処理装置２０ｄｖは、最適モードで生成した予測画像データを用いて符号化処理を行う。さらに、画像処理装置２０ｄｖは、ステップＳＴ５で決定された量子化ステップサイズを用いて符号化処理を行う。

このようにステップＳＴ２からステップＳＴ６の処理を画面内のマクロブロック毎に行い、マクロブロックについて処理が完了したときステップＳＴ７に進む。

ステップＳＴ７で画像処理装置２０ｄｖは、符号化対象ピクチャの全てのマクロブロックについてステップＳＴ２〜ステップＳＴ６の処理が終了しているか判別する。画像処理装置２０ｄｖは、処理が行われていないマクロブロックが残っているときステップＳＴ２に戻り、処理が行われていない新たなマクロブロックについてステップＳＴ２〜ステップＳＴ６の処理を行う。また、画像処理装置２０ｄｖは、全てのマクロブロックについて処理が終了しているときステップＳＴ８に進む。

ステップＳＴ８で画像処理装置２０ｄｖはフィードバック情報の生成を行う。画像処理装置２０ｄｖの量子化制御部４５は、ステップＳＴ２からステップＳＴ６の処理を画面内のマクロブロック毎に行うことにより得られた１画面の視差ベクトルから、次のピクチャの符号化処理で用いるフィードバック情報を生成する。量子化制御部４５は、保護領域の判別基準として用いる統計量、例えば１画面内における視差ベクトルの平均値をフィードバック情報とする。また、量子化制御部４５は、平均値に対して視差ベクトルの分布に応じた補正値を加えてフィードバック情報としてもよい。なお、視差ベクトルの統計量は、平均値に限らず中央値等を用いることもできる。

ステップＳＴ９で画像処理装置２０ｄｖは、符号化対象ピクチャがベースビューのピクチャである場合、従来と同様の符号化処理を行う。すなわち、視差予測を行うことなく符号化処理を行う。

この第１の動作によれば、ディペンデントビューに対する符号化処理において、視差予測によって得られた視差ベクトルに基づき、例えば手前に位置する３Ｄオブジェクトの画像が保護領域とされる。したがって、注目を集めやすい手前に位置する３Ｄオブジェクトの画質が保護されて、多視点画像の主観的画質を改善することができる。

＜３−２．画像処理装置の第２の動作＞
画像処理装置の第２の動作では、符号化対象ブロックの視差ベクトルと直前の符号化済みブロックで検出されている視差ベクトルを用いて保護領域を判別する場合について説明する。なお、第２の動作においても、第１の動作と同様に、左視点と右視点の位置を水平方向にのみ相違させてベースビューとディペンデントビューの画像データを生成する場合、視差ベクトルの水平成分を用いて保護領域を判別する。

図５は、画像処理装置の第２の動作を示すフローチャートである。ステップＳＴ１１で画像処理装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像処理装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャである場合はステップＳＴ１２に進み、ベースビューのピクチャである場合はステップＳＴ１９に進む。

ステップＳＴ１２で画像処理装置２０ｄｖは、符号化対象マクロブロックについて視差予測を行う。画像処理装置２０ｄｖの動き・視差予測補償部４２は、符号化対象マクロブロックの画像データとベースビューの画像データを用いて視差予測を行い、視差ベクトルを検出してステップＳＴ１３に進む。

ステップＳＴ１３で画像処理装置２０ｄｖは、視差ベクトルを取得する。画像処理装置２０ｄｖの量子化制御部４５は、動き・視差予測補償部４２で検出された視差ベクトルを取得してステップＳＴ１４に進む。

ステップＳＴ１４で画像処理装置２０ｄｖは、保護領域の判別を行う。画像処理装置２０ｄｖの量子化制御部４５は、後述するステップＳＴ１７で生成されたフィードバック情報と視差ベクトルの比較を行い、保護領域を判別してステップＳＴ１５に進む。量子化制御部４５は、例えば後述するように直前の符号化済みマクロブロックの視差ベクトルをフィードバック情報とする場合、フィードバック情報よりも視差ベクトルが大きい３Ｄオブジェクトの境界を保護領域と判別する。

ステップＳＴ１５で画像処理装置２０ｄｖは、量子化ステップサイズを決定する。画像処理装置２０ｄｖの量子化部２５は、ステップＳＴ１４の保護領域判別結果に基づき量子化ステップサイズを決定してステップＳＴ１６に進む。量子化部２５は、保護領域判別結果に基づき、量子化ステップサイズの変更を行い、例えば３Ｄオブジェクトの境界部分は量子化ステップサイズを小さくする。

ステップＳＴ１６で画像処理装置２０ｄｖは符号化処理を行う。画像処理装置２０ｄｖは、予測画像・最適モード選択部４３において、イントラ予測部４１から供給されたコスト関数値と動き・視差予測補償部４２から供給されたコスト関数値を比較する。画像処理装置２０ｄｖは、比較結果に基づき、コスト関数値が少ない予測モードを符号化効率が最良となる最適モードとして選択する。また、画像処理装置２０ｄｖは、最適モードで生成した予測画像データを用いて符号化処理を行う。さらに、画像処理装置２０ｄｖは、ステップＳＴ１５で決定された量子化ステップサイズを用いて符号化処理を行いステップＳＴ１７に進む。

ステップＳＴ１７で画像処理装置２０ｄｖはフィードバック情報の生成を行う。画像処理装置２０ｄｖの量子化制御部４５は、ステップＳＴ１２からステップＳＴ１６の処理をマクロブロックに対して行うことにより得られた視差ベクトルを、次のマクロブロックの符号化処理で用いるフィードバック情報としてステップＳＴ１８に進む。

ステップＳＴ１８で画像処理装置２０ｄｖは、符号化対象ピクチャの全てのマクロブロックについてステップＳＴ１２〜ステップＳＴ１６の処理が終了しているか判別する。画像処理装置２０ｄｖは、処理が行われていないマクロブロックが残っているときステップＳＴ１２に戻り、処理が行われていない新たなマクロブロックについてステップＳＴ１２〜ステップＳＴ１６の処理を行う。また、画像処理装置２０ｄｖは、全てのマクロブロックについて処理が終了しているとき、フィードバック情報を削除して次の符号化対象ピクチャの符号化を行う。

ステップＳＴ１９で画像処理装置２０ｄｖは、符号化対象ピクチャがベースビューのピクチャである場合、従来と同様の符号化処理を行う。すなわち、視差予測を行うことなく符号化処理を行う。

この第２の動作によれば、ディペンデントビューに対する符号化処理において、直前の符号化対象マクロブロックの視差ベクトルに基づき、３Ｄオブジェクトの境界が保護領域とされる。したがって、３Ｄオブジェクトの境界部分の画質が保護されて、多視点画像の主観的画質を改善することができる。

＜３−３．画像処理装置の第３の動作＞
画像処理装置の第３の動作では、符号化対象マクロブロックの視差ベクトルに基づいて補償を行ったときの誤差と符号化済みピクチャで算出されている誤差を用いて保護領域を判別する場合について説明する。

図６は、画像処理装置の第３の動作を示すフローチャートである。ステップＳＴ２１で画像処理装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像処理装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャである場合はステップＳＴ２２に進み、ベースビューのピクチャである場合はステップＳＴ２９に進む。

ステップＳＴ２２で画像処理装置２０ｄｖは、符号化対象マクロブロックについて視差予測を行う。画像処理装置２０ｄｖの動き・視差予測補償部４２は、符号化対象マクロブロックの画像データとベースビューの画像データを用いて視差予測を行い、視差ベクトルを検出する。さらに検出した視差ベクトルを用いて参照ピクチャの補償を行い、符号化対象マクロブロックとの誤差（例えばＳＡＤ:Sum of Absolute Differences）を算出してステップＳＴ２３に進む。

ステップＳＴ２３で画像処理装置２０ｄｖは、誤差を取得する。画像処理装置２０ｄｖの量子化制御部４５は、動き・視差予測補償部４２で算出した誤差を取得してステップＳＴ２４に進む。

ステップＳＴ２４で画像処理装置２０ｄｖは、保護領域の判別を行う。画像処理装置２０ｄｖの量子化制御部４５は、後述するステップＳＴ２８で生成されたフィードバック情報と誤差の比較を行い、保護領域を判別してステップＳＴ２５に進む。ここで、誤差が大きいマクロブロックは、視差予測の効率が低く、この領域はオクルージョンである可能性が高い。オクルージョン領域は、符号化対象（参照）ピクチャには存在するが，参照（符号化対象）ピクチャには存在しない領域である。視差間でオクルージョンが発生する領域は、視差が大きく変化する境界領域、例えば手前に飛び出ている３Ｄオブジェクトと背景との境界領域などである。したがって、量子化制御部４５は、例えば後述するように１画面内の誤差の平均値をフィードバック情報とする場合、フィードバック情報よりも誤差が大きいマクロブロックを保護領域とする。なお、オクルージョン領域とは、例えばベースビューとディペンデントビューのいずれか一方のビューでは見えている領域が、他方のビューでは隠れて見えない領域をいう。

ステップＳＴ２５で画像処理装置２０ｄｖは、量子化ステップサイズを決定する。画像処理装置２０ｄｖの量子化部２５は、ステップＳＴ２４の保護領域判別結果に基づき量子化ステップサイズを決定してステップＳＴ２６に進む。量子化部２５は、保護領域判別結果に基づき、量子化ステップサイズの変更を行い、例えば３Ｄオブジェクトの境界部分は量子化ステップサイズを小さくする。

ステップＳＴ２６で画像処理装置２０ｄｖは符号化処理を行う。画像処理装置２０ｄｖは、予測画像・最適モード選択部４３において、イントラ予測部４１から供給されたコスト関数値と動き・視差予測補償部４２から供給されたコスト関数値を比較する。画像処理装置２０ｄｖは、比較結果に基づき、コスト関数値が少ない予測モードを符号化効率が最良となる最適モードとして選択する。また、画像処理装置２０ｄｖは、最適モードで生成した予測画像データを用いて符号化処理を行う。さらに、画像処理装置２０ｄｖは、ステップＳＴ２５で決定された量子化ステップサイズを用いて符号化処理を行う。

このようにステップＳＴ２２からステップＳＴ２６の処理を画面内のマクロブロック毎に行い、マクロブロックについて処理が完了したときステップＳＴ２７に進む。

ステップＳＴ２７で画像処理装置２０ｄｖは、符号化対象ピクチャの全てのマクロブロックについてステップＳＴ２２〜ステップＳＴ２６の処理が終了しているか判別する。画像処理装置２０ｄｖは、処理が行われていないマクロブロックが残っているときステップＳＴ２２に戻り、処理が行われていない新たなマクロブロックについてステップＳＴ２２〜ステップＳＴ２６の処理を行う。また、画像処理装置２０ｄｖは、全てのマクロブロックについて処理が終了しているときステップＳＴ２８に進む。

ステップＳＴ２８で画像処理装置２０ｄｖはフィードバック情報の生成を行う。画像処理装置２０ｄｖの量子化制御部４５は、ステップＳＴ２２からステップＳＴ２６の処理を画面内のマクロブロック毎に行うことにより得られた１画面分の誤差から、次のピクチャの符号化処理で用いるフィードバック情報を生成する。量子化制御部４５は、符号化済みピクチャの誤差から保護領域の判別基準として用いる統計量を算出してフィードバック情報とする。量子化制御部４５は、例えば１画面内の誤差の平均値をフィードバック情報とする。また、量子化制御部４５は、１画面内における誤差の平均値に対して、１画面内における誤差の分布に応じた補正値を加えてフィードバック情報としてもよい。

ステップＳＴ２９で画像処理装置２０ｄｖは、符号化対象ピクチャがベースビューのピクチャである場合、従来と同様の符号化処理を行う。すなわち、視差予測を行うことなく符号化処理を行う。

この第３の動作によれば、ディペンデントビューに対する符号化処理において、視差予測によって得られた誤差に基づき、３Ｄオブジェクトの境界が保護領域とされる。したがって、３Ｄオブジェクトの境界部分の画質が保護されて、多視点画像の主観的画質を改善することができる。

＜３−４．画像処理装置のその他の動作＞
画像処理装置は、上述の第１〜第３の動作を個々に行う場合だけでなく、第１〜第３の動作を組み合わせて行ってもよい。上述の第１の動作では、手前に位置する３Ｄオブジェクトの画質を保護できる。また、第２の動作または第３の動作では、３Ｄオブジェクトの境界領域の画質を保護できる。したがって、第１の動作と第２の動作または第１の動作と第３の動作を組み合わせて行うことで、３Ｄオブジェクトの画像とその境界領域の画像の画質を保護して、多視点画像の主観的画質を改善することができる。

また、第２の動作を行う場合、例えば視差ベクトルと比較される閾値が最適なレベルよりも小さいと保護領域の過検出となり、３Ｄオブジェクトの境界領域と異なる領域も保護領域と判別されてしまう。ここで、第２の動作に第３の動作を組み合わせて、視差ベクトルだけでなく誤差も用いて保護領域を判別すると、誤差に基づきオクルージョン領域の判別が行われる。したがって、視差ベクトルと誤差が閾値よりも大きい領域を判別すれば、第２の動作と第３の動作のいずれか一方の動作で保護領域の判別を行う場合に比べて、より精度よく３Ｄオブジェクトの境界を保護領域として判別することができる。

また、上述の動作では、閾値よりも視差ベクトルと誤差が大きい領域を保護領域としているが、閾値よりも視差ベクトルと誤差が小さい領域を保護領域とすることも可能である。例えば、着目する被写体とは異なる被写体が手前の位置にあり、着目する被写体が奥まった位置にある場合、閾値よりも視差ベクトルと誤差が小さい領域を保護領域とすることで、着目する被写体の画質を保護することも可能となる。

また、画質の保護は、ディペンデントビューの画像だけでなくベースビューの画像に対して行うようにしてもよい。この場合、ベースビューの画像データを符号化する画像処理装置は、時間予測によって予測画像データの生成を行い、視差予測によって得られた情報に基づき保護領域を判別して、この判別結果に応じて適応量子化を行う。このようにすれば、ベースビューとディペンデントビューの画像において、着目する被写体の画質を保護して、多視点画像の主観的画質を改善することができる。

＜４．ソフトウェア処理で画像符号化を行う場合の構成＞
さらに、画像処理装置は、上述した一連の処理をプログラムにより実行するコンピュータ装置であってもよい。

図７は、上述した一連の処理をプログラムにより実行するコンピュータ装置の構成を例示した図である。コンピュータ装置６０のＣＰＵ(Central Processing Unit)６１は、ＲＯＭ(Read Only Memory)６２、または記録部６８に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。

ＲＡＭ(Random Access Memory)６３には、ＣＰＵ６１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３は、バス６４により相互に接続されている。

ＣＰＵ６１にはまた、バス６４を介して入出力インターフェース６５が接続されている。入出力インターフェース６５には、タッチパネルやキーボード、マウス、マイクロフォンなどの入力部６６、ディスプレイなどよりなる出力部６７が接続されている。ＣＰＵ６１は、入力部６６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ６１は、処理の結果を出力部６７に出力する。

入出力インターフェース６５に接続されている記録部６８は、例えばハードディスクやＳＳＤ（Solid State Drive）からなり、ＣＰＵ６１が実行するコンピュータ・プログラムや各種のデータを記録する。通信部６９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置６０は、通信部６９を介してコンピュータ・プログラムを取得し、ＲＯＭ６２や記録部６８に記録してもよい。

ドライブ７０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア７２が装着されたとき、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてＲＯＭ６２やＲＡＭ６３または記録部６８に転送される。

ＣＰＵ６１は、上述した一連の処理を行うコンピュータ・プログラムを読み出して実行して、記録部６８やリムーバブルメディア７２に記録されている多視点画像の画像データや、通信部６９を介して供給された多視点画像の画像データに対する符号化処理を行う。

なお、本発明は、上述した実施の形態に限定して解釈されるべきではない。例えば多視点画像は３つの画像に限らず、２視点の画像であってもよい。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明の画像処理装置と画像処理方法では、符号化対象ピクチャと該符号化対象ピクチャと視点が異なるピクチャとの相関を利用した視差予測を行い、この視差予測の結果から画質を保護する保護領域を判別して、該保護領域の量子化では量子化ステップサイズが変更されて小さくされる。したがって、多視点の動画像の符号化の際に保護領域の画質が保護されて、多視点画像に応じた画質の改善を行うことができる。このため、多視点画像の生成および符号化を行う撮像装置や、多視点画像の編集や符号化を行う編集装置、多視点画像の符号化を行って記録媒体に記録する記録装置等に適用できる。

１０・・・符号化システム、１１Ｌ・・・左視点画像生成装置、１１Ｒ・・・右視点画像生成装置、２０・・・多視点符号化装置、２０ｂｖ，２０ｄｖ・・・画像処理装置、２１・・・Ａ／Ｄ変換部、２２・・・画面並べ替えバッファ、２３・・・減算部、２４・・・直交変換部、２５・・・量子化部、２６・・・可逆符号化部、２７・・・蓄積バッファ、２８・・・レート制御部、３１・・・逆量子化部、３２・・・逆直交変換部、３３・・・加算部、３４・・・デブロッキングフィルタ、３５・・・フレームメモリ、４１・・・イントラ予測部、４２・・・動き・視差予測補償部、４３・・・予測画像・最適モード選択部、４５・・・量子化制御部、６０・・・コンピュータ装置、６１・・・ＣＰＵ(Central Processing Unit)、６２・・・ＲＯＭ(Read Only Memory)、６３・・・ＲＡＭ(Random Access Memory)、６４・・・バス、６５・・・入出力インターフェース、６６・・・入力部、６７・・・出力部、６８・・・記録部、６９・・・通信部、７０・・・ドライブ、７２・・・リムーバブルメディア

Claims (8)

1. 符号化対象ピクチャと予測画像とのブロック単位の差分の直交変換係数を量子化する量子化部と、
   前記符号化対象ピクチャと該符号化対象ピクチャと視点が異なるピクチャとの相関を利用した視差予測を行う予測部と、
   前記視差予測の結果から画質を保護する保護領域を判別して、該保護領域の量子化において前記量子化部の量子化ステップサイズを変更して小さくする量子化制御部と
   を有する画像処理装置。
2. 前記量子化制御部は、前記視差予測によって検出した視差ベクトルと、該視差ベクトルを用いて視差補償を行ったときの誤差の少なくとも何れかを用いて、前記保護領域を判別する請求項１記載の画像処理装置。
3. 前記量子化制御部は、前記視差予測によって検出した視差ベクトルを用いる場合、符号化済みピクチャの視差ベクトルと符号化対象ブロックの視差ベクトルの比較結果と、直前の符号化済みブロックの視差ベクトルと符号化対象ブロックの視差ベクトルの比較結果の少なくとも何れかに基づき、前記符号化対象ブロックの画像が前記保護領域の画像であるか判別する請求項２記載の画像処理装置。
4. 前記量子化制御部は、前記符号化済みピクチャの視差ベクトルから算出された保護領域の判別基準として用いる統計量よりも視差ベクトルが大きい符号化対象ブロック、および前記直前の符号化済みブロックの視差ベクトルよりも視差ベクトルが大きい符号化対象ブロックを前記保護領域と判別する請求項３記載の画像処理装置。
5. 前記量子化制御部は、前記視差予測によって検出した視差ベクトルの水平方向の成分を用いて前記保護領域を判別する請求項３記載の画像処理装置。
6. 前記量子化制御部は、前記視差補償を行ったときの誤差を用いる場合、符号化済みピクチャの誤差と符号化対象ブロックの視差の比較結果に基づき、前記符号化対象ブロックの画像が前記保護領域の画像であるか判別する請求項２記載の画像処理装置。
7. 前記量子化制御部は、前記符号化済みピクチャの誤差から算出された保護領域の判別基準として用いる統計量よりも誤差が大きい符号化対象ブロックを前記保護領域と判別する請求項６記載の画像処理装置。
8. 符号化対象ピクチャと予測画像とのブロック単位の差分の直交変換係数を量子化する工程と、
   前記符号化対象ピクチャと該符号化対象ピクチャと視点が異なるピクチャとの相関を利用した視差予測を行う工程と、
   前記視差予測の結果から画質を保護する保護領域を判別して、該保護領域の量子化において前記量子化部の量子化ステップサイズを変更して小さくする工程と
   を具備する画像処理方法。

Images