JP2011109349A

JP2011109349A - 立体映像符号化装置

Info

Publication number: JP2011109349A
Application number: JP2009261486A
Authority: JP
Inventors: Shigeki Mochizuki; 成記望月
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-11-17
Filing date: 2009-11-17
Publication date: 2011-06-02

Abstract

【課題】
左眼画像と右眼画像の符号化による劣化の相違を目立たなくする。
【解決手段】
左眼用画像符号化部１０１は立体映像の左眼用映像信号を符号化し、右眼用画像符号化部１０２は右眼用映像信号を符号化する。符号化部１０１，１０２は相互に、符号化による劣化情報を送信する。左眼用画像符号化部１０１及び右眼用画像符号化部１０２はそれぞれ、自身の劣化情報と他方の劣化情報を比較し、その比較結果に応じた量子化パラメータを調整する。
【選択図】図１

Description

本発明は、立体映像符号化装置に関する。

特開２００２−２５２８５９号公報

従来、２眼式立体映像テレビにおいては、２台のカメラにより異なる２方向から撮像された左眼用画像と右眼用画像を生成し、これを同一画面に合成して表示することで立体映像として表示する。このような立体映像を記録する場合、左眼用画像と右眼用画像をそれぞれ記録するのでは、従来の２倍のデータ量となってしまう。

全体のデータ量を削減する方法として、副画像（例えば、右眼用画像）を主画像（例えば、左眼用画像）との視点間の冗長度を利用した視差補償予測を用いる圧縮符号化を行うことが提案されている（特許文献１）。この場合、主画像は、動き補償予測で符号化される。副画像には、視差補償予測と動き補償予測の両方を適用可能であり、視差補償予測と動き補償予測の予測精度の評価値を算出し、その評価値に応じて、視差補償予測か動き補償予測かを決定する。

２眼式立体映像における左眼用画像と右眼用画像は、視差のある近似した画像である。しかし、撮像される被写体の角度や距離によっては、左眼用画像と右眼用画像の差異が大きくなる場合が想定される。

左眼用画像と右眼用画像の差異が大きい場合、特に符号化による劣化の度合いが左眼用画像と右眼用画像とで異なる可能性がある。劣化度の差が著しい場合には、立体映像を視聴する上で視覚上の違和感を与え、眼の疲労に繋がることが想定される。

本発明は、このような不都合を緩和する立体映像符号化装置を提示することを目的とする。

本発明に係る立体映像符号化装置は、左眼用映像信号と右眼用映像信号を符号化する立体映像符号化装置であって、左眼用映像信号を符号化する第１の符号化手段と、右眼用映像信号を符号化する第２の符号化手段と、左眼用映像信号の符号化による劣化度を示す第１の劣化情報を算出する第１の劣化情報算出手段と、右眼用映像信号の符号化による劣化度を示す第２の劣化情報を算出する第２の劣化情報算出手段と、前記第１の劣化情報と前記第２の劣化情報とに基づいて、前記左眼用映像信号の符号化による劣化度と前記右眼用映像信号の符号化による劣化度とが均一化されるように、前記第１の符号化手段及び前記第２の符号化手段の少なくとも一方の符号化を制御する符号量制御手段とを有することを特徴とする。

本発明によれば、左眼用画像の符号化による劣化情報と右眼用画像の符号化による劣化情報とに応じて符号化を制御することで、左眼用画像と右眼用画像の符号化による画質の違和感を緩和できる。

本発明の一実施例の概略構成ブロック図である。左眼用／右眼用画像符号化部の構成を示すブロック図である。左眼用／右眼用画像符号化による劣化度の遷移を示すグラフである。ＰＳＮＲ値による符号量制御方法を示すフローチャートである。上及び左隣接するマクロロックを示す図である。ブロック歪み値による符号量制御方法を示すフローチャートである。左眼用／右眼用画像符号化による劣化度の遷移を示すグラフである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る立体映像符号化装置の一実施例の概略構成ブロック図を示す。本実施例は主として、左眼用画像を符号化する左眼用画像符号化部１０１（第１の符号化手段）と右眼用画像符号化部１０２（第２の符号化手段）からなる。左眼用画像符号化部１０１は、立体映像信号を構成する左眼用映像信号を符号化し、右眼用画像符号化部１０２は、右眼用映像信号を符号化する。左眼用画像符号化部１０１と右眼用画像符号化部１０２は、それぞれの符号化による劣化情報を互いに送受信可能である。

左眼用画像符号化部１０１と右眼用画像符号化部１０２は、ＭＰＥＧ−４ＡＶＣ（ISO/IEC 14496-10）方式に対応し、同じ構成からなる。図２は、左眼用画像符号化部１０１及び右眼用画像符号化部１０２の概略構成ブロック図を示す。

本実施例では、符号化部１０１、１０２は、入力映像信号の符号化対象画面を、所定画素ブロック単位、具体的には、１６×１６画素ブロックに分割したマクロブロック単位で符号化する。予測方法決定部２０１は、符号化対象画面内の各マクロブロックに対する予測方法を決定する。具体的には、入力映像信号に、メモリ２０３からの符号化済み画像を参照した簡易的な画面内予測又は動き検出を含む画面間予測を行い、符号化効率が最適となる予測方式を決定する。符号化対象マクロブロックがＩスライスの場合、画面内予測画素ブロックサイズ及び予測モードを決定する。Ｐスライス又はＢスライスの場合には、画面内予測又は画面間予測の内で符号化効率の高い方を選択する。画面間予測の場合には画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。画面間予測の場合には、参照画像フレーム、マクロブロック分割パターン及び動きベクトル等の画面間予測符号化用パラメータを決定する。

予測処理部２０２は、予測方法決定部２０１により指定された予測符号化用パラメータに応じて、メモリ２０３から読み出した符号化済み画像から予測画像を生成し、局所復号化部２０５に出力する。予測処理部２０２はまた、符号化対象画像（画素ブロック）と予測画像との差分となる予測残差信号を生成し、直交変換・量子化部２０４に出力する。

直交変換・量子化部２０４は、指定された画素ブロック単位（８×８画素又は４×４画素ブロック単位）で画像データに整数精度離散コサイン変換と離散アダマール変換による直交変換処理を適用する。離散アダマール変換は、１６×１６画素ブロック単位で画面内予測処理が行われた輝度信号又は色差信号の、整数精度離散コサイン変換によるＤＣ（直流）成分に適用される。直交変換・量子化部２０４はまた、直交変換により生成される変換係数を、符号量制御部２０６により指定された量子化パラメータに従う量子化ステップで量子化する。量子化された変換係数データは、エントロピー符号化部２０７と、局所復号化部２０５に供給される。

局所復号化部２０５は、量子化データに逆量子化処理と逆直交変換処理（逆離散アダマール変換及び逆整数精度離散コサイン変換）を行い、予測処理部２０２からの予測画像データを加算する。これにより、予測処理部２０２及び直交変換・量子化部２０４により符号化された画像データが、局所復号化される。こうして復号化された画像データは、メモリ２０３に格納され、以降の画面内予測処理に利用される。更に、デブロッキングフィルタ処理を施された復号化画像データが、以降の画面間予測処理のためにメモリ２０３に格納される。

エントロピー符号化部２０７は、直交変換・量子化部２０４からの符号化画像データをエントロピー符号化する。エントロピー符号化には、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Context-based Adaptive Variable Length Coding）等がある。他に、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を採用しても良い。エントロピー符号化部２０７による符号化データは、多重化処理部２０９に供給される。

符号量制御部２０６は、符号化ピクチャバッファ（ＣＰＢ）をオーバーフロー又はアンダーフローさせないように符号化データの符号量を制御する。具体的には、符号量制御部２０６は、エントロピー符号化部２０７からのエントロピー符号化後の発生符号量を元に、直交変換・量子化部２０４で行う量子化処理の量子化パラメータを生成する。

劣化情報算出部２０８は、予測符号化処理による原画像に対する劣化度合いを示す情報を算出する。劣化情報は、入力画像と局所復号化部２０５により復号化された画像とのＰＳＮＲ（Peak Signal to Noise Ratio）値として、

により算出される。ＮはＰＳＮＲを算出する画素数を示す。ｙ_ｉは、入力画像の画素値を示す。ｙ’_ｉは、局所復号化部２０５により復号化された画像の画素値を示す。

このＰＳＮＲ値は、上式に示すように、信号の理論ピーク値との誤差の２乗平均値を用いて算出される、８ビットの場合、２５５を誤差の標準偏差で割った値となる。値自体は、常用対数により表現され、単位はｄＢ（デシベル）となる。この値が大きい程、符号化後の画像が符号化前の画像に近いこと、即ち画質の劣化が小さいことを示す。このことから、符号化後の画像の劣化度を示す指数と考えることができ、本実施例では、マクロブロック単位に算出されたＰＳＮＲ値を符号化ピクチャ全体で平均化した値を劣化情報としている。

多重化処理部２０９は、エントロピー符号化部２０７からの符号化画像データとシステムデータ（スライスヘッダ等）を多重化し、最終的な符号データを出力する。

以上の処理部が、左眼用画像符号化部１０１と右眼用画像符号化部１０２のそれぞれに組み込まれている。

ここで、本実施例の特徴的な動作を説明するために、左眼用画像符号化と右眼用画像符号化による符号化の劣化度が図３（Ａ）に示すように遷移したと仮定する。図３（Ａ）中の８ピクチャ目以降で左眼用画像符号化と右眼用画像符号化の符号化による劣化度に差が大きく出ている。このように符号化した立体映像を視聴する場合、左右の眼で異なる画質の映像を同時に見ることになり、その違和感が眼の疲れに繋がる可能性がある。こうした状況を回避するため、左眼用映像信号の符号化による劣化度と右眼用映像信号の符号化による劣化度とが均一化されるように、左眼用画像符号化部１０１及び右眼用画像符号化部１０２の少なくとも一方の符号化を制御する。具体的には、左眼用画像と右眼用画像の符号化による劣化度が同等になるように、以下に説明するように符号化、特に発生する符号量を制御する。

このとき、左目用符号化部１０１内の劣化情報算出部２０８が、第１の劣化情報算出手段として機能し、左眼用映像信号の符号化による劣化度を示す情報（第１の劣化情報）を出力する。一方、右目用符号化部１０２内の劣化情報算出部２０８が、第２の劣化情報算出手段として機能し、右眼用映像信号の符号化による劣化度を示す情報（第２の劣化情報）を出力する。それぞれの劣化情報算出部２０８により算出された劣化情報（ＰＳＮＲ値）は、左眼用画像符号化部１０１と右眼用画像符号化部１０２間で相互に送受信できる。左眼用画像符号化部１０１及び右眼用画像符号化部１０２では、それぞれの符号量制御部が、自身の劣化情報（以下、ＰＳＮＲ＿Ａ）と他方の劣化情報（以下、ＰＳＮＲ＿Ｂ）を比較し、その比較結果に応じた量子化パラメータを調整する。図４は、このような量子化パラメータ調整による符号量制御の動作フローチャートを示す。

符号化が開始され、各ピクチャの符号化が完了すると、符号量制御部は、自身の劣化情報算出部からの劣化情報（ＰＳＮＲ＿Ａ）と他方の符号化部からの劣化情報（ＰＳＮＲ＿Ｂ）を受信する（Ｓ４０１）。ＰＳＮＲ＿ＡがＰＳＮＲ＿Ｂよりも大きく、且つその差分が所定値以上の場合（Ｓ４０２）、次のピクチャ用に確定した量子化パラメータを、量子化ステップがより大きくなるように調整する（Ｓ４０３）。ＰＳＮＲ＿ＡがＰＳＮＲ＿Ｂ以下の場合、即ち、自身の符号化による劣化度の方が大きい場合には、次のピクチャ用に確定した量子化パラメータをそのまま使用する。このようにして確定した量子化パラメータにより次のピクチャを符号化する。

以上に示した符号量制御を図３（Ａ）に示す例に適用した場合の劣化度の遷移を図３（Ｂ）に示す。８フレーム目の右眼用画像符号化の劣化に追従して、左眼用画像符号化の劣化度を合わせることが可能となる。これにより、左眼用画像符号化と右眼用画像符号化の劣化度のバランスを合わせることが可能となり、立体映像を視聴する上で左眼と右眼の見た目の違和感を軽減できる。

劣化情報算出部２０８は、局所復号化部２０５により復号化された復号化画像データに対するブロック歪み量（ＢＬＫＤ値）から劣化情報としてもよい。具体的には、劣化情報算出部２０８は、復号化画像データに対するブロック歪み量を、隣接するマクロブロック境界における画素値の差分量の絶対値として算出する。図５に示すように、局所復号化部２０５により復号化されたカレントマクロブロックの上及び左に隣接する画素数をＮとする。上又は左に隣接するＭＢ（マクロブロック）側の画素値をａｉとする。カレントマクロブロック側の画素値をｂｉとすると、ＢＬＫＤ値は、

により算出される。得られるＢＬＫＤ値は、０〜２５５の差分を示すレベル値である。ＢＬＫＤ値が大きい程、符号化によるブロック歪みによる画質劣化が大きいことを示す。マクロブロック単位に算出されたＢＬＫＤ値を符号化ピクチャ全体で平均化した値を劣化情報とする。尚、ブロック歪み量は、上式以外の方法でも算出できる。

劣化情報算出部２０８により算出された劣化情報（ＢＬＫＤ値）は、左眼用画像符号化部１０１と右眼用画像符号化部１０２の間で相互に送受信できる。左眼用画像符号化部１０１及び右眼用画像符号化部１０２では、それぞれの符号量制御部が、自身の劣化情報（以下、ＢＬＫＤ＿Ａ）と他方の劣化情報（以下、ＢＬＫＤ＿Ｂ）の比較結果に応じて量子化パラメータを調整する。図６は、このような量子化パラメータ調整による符号量制御の動作フローチャートを示す。

符号化が開始され、各ピクチャの符号化が完了すると、符号量制御部は、自身の劣化情報算出部からの劣化情報（ＢＬＫＤ＿Ａ）と他方の符号化部からの劣化情報（ＢＬＫＤ＿Ｂ）を受信する（Ｓ６０１）。ＢＬＫＤ＿ＡがＢＬＫＤ＿Ｂよりも小さく、且つその差分が所定値以上の場合（Ｓ６０２）、次のピクチャ用の量子化パラメータを、量子化ステップがより大きくなるように調整する（Ｓ６０３）。ＢＬＫＤ＿ＡがＢＬＫＤ＿Ｂ以上の場合、即ち、自身の符号化による劣化度の方が大きい場合には、次のピクチャ用に確定した量子化パラメータをそのまま使用する。このようにして確定した量子化パラメータにより次のピクチャを符号化する。

例えば、左眼用画像符号化と右眼用画像符号化による符号化の劣化度が図７（Ａ）に示すように遷移したと仮定する。図７（Ａ）は、８ピクチャ目以降で左眼用画像符号化と右眼用画像符号化の符号化による劣化度に差が大きく出ていることを示している。図６に示す符号量制御を図７（Ａ）に示す例に適用した場合の劣化度の遷移を図７（Ｂ）に示す。８フレーム目の右眼用画像符号化の劣化に追従して、左眼用画像符号化の劣化度を合わせることが可能となることが分かる。これにより、左眼用画像符号化と右眼用画像符号化の劣化バランスを合わせることが可能となり、立体映像を視聴する上で左眼と右眼の見た目の違和感を軽減できる。

Claims

左眼用映像信号と右眼用映像信号を符号化する立体映像符号化装置であって、
左眼用映像信号を符号化する第１の符号化手段と、
右眼用映像信号を符号化する第２の符号化手段と、
左眼用映像信号の符号化による劣化度を示す第１の劣化情報を算出する第１の劣化情報算出手段と、
右眼用映像信号の符号化による劣化度を示す第２の劣化情報を算出する第２の劣化情報算出手段と、
前記第１の劣化情報と前記第２の劣化情報とに基づいて、前記左眼用映像信号の符号化による劣化度と前記右眼用映像信号の符号化による劣化度とが均一化されるように、前記第１の符号化手段及び前記第２の符号化手段の少なくとも一方の符号化を制御する符号量制御手段
とを有することを特徴とする立体映像符号化装置。
前記第１の劣化情報及び前記第２の劣化情報は、入力画像と、符号化データを復号化した画像とから得られるＰＳＮＲ（Peak Signal to Noise Ratio）値であることを特徴とする請求項１に記載の立体映像符号化装置。
前記左眼用映像信号と右眼用映像信号の符号化はそれぞれ、所定画素ブロック単位に行われ、前記第１及び第２の劣化情報はそれぞれ、前記左眼用映像信号及び右眼用映像信号を画素ブロック単位で符号化したときのブロック歪み情報であることを特徴とする請求項１に記載の立体映像符号化装置。