JP2013162330A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】立体画像における違和感をより低減させることができるようにする。
【解決手段】２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部とを備える。
【選択図】図１

Description

本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、立体画像における違和感をより低減させることができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。

近年、立体画像を表示する立体画像表示機器などの開発が進められている。

二つ以上の異なる視点画像を表示する平面ディスプレイを使用した立体画像表示機器において、例えば、表示される画像に注目する物体に視差が大きくついていて実世界での見え方と異なっていることがある。

すなわち、本来、人間の目で何かを観察したときは、画像の中で注目している物体の視差がなくなるように両目の画像の視差が調整されるはずである。従って、平面ディスプレイを使用した立体画像表示機器において、画像の中で注目している物体は、本来、ディスプレイの表面に視差のない状態で表示されるべきものである。

ところが、一般的な立体画像表示機器では、画像の中で注目している物体にも視差が付けられていることがある。人間の目でこのような立体画像表示機器の画像を観察する場合、例えば、本来ディスプレイの表面の位置で見えるべき物体がディスプレイから飛び出して見えてしまう。つまり、人間の目が捉える画像の焦点と、表示される画像の視差（輻輳角）とが矛盾することになる。

このように、一般的な立体画像表示機器により表示される立体画像は、焦点と輻輳角の矛盾を内包していた。このような焦点と輻輳角の矛盾によって、立体画像を観察する際の目の疲労が生じると考えられる。

このため、例えば、特定被写体の位置ずれが算出され、この位置ずれから視差補正データが生成され、視差を有する２つの画像が視差補正データにしたがって特定被写体の視差がゼロとなるように互いにずらして合成表示される技術が提案されている（例えば、特許文献１参照）。

このようにすることで、例えば、立体動画を違和感無く鑑賞することが可能となる。

特開２０１１−１７１８１３号公報

しかしながら、従来の技術では、立体動画の違和感を完全に払しょくすることはできなかった。

例えば、特定の物体の視差をゼロとするように画像の表示が変更される場合、その物体の奥行方向の見え方も異なったものとする必要がある。例えば、ある物体がディスプレイから飛び出して見えるように表示されていた場合と、ディスプレイの表面の位置で見えるように表示されたいた場合とでは、その物体の側面の見え方なども異なるはずである。

しかしながら、特許文献１のように、視差を有する２つの画像をずらして合成した場合、物体の側面の見え方などを変えることはできなかった。

また、本来、人間の目で何かを観察したときは、焦点に近い位置に存在する物体はくっきりと鮮明に見え、焦点から離れた位置に存在する物体はぼんやりと不鮮明に見えるはずである。

しかしながら、立体画像表示機器により表示される立体画像は、上述のようには見えず、例えば、どの部分も鮮明に見えることが多かった。つまり、従来の技術では、実際に人間の目で観察したときの被写界深度と、立体画像表示機器により表示される立体画像の被写界深度が異なってしまう場合があった。

さらに、従来の技術では、異なる距離にいる複数の人物がそれぞれ平面に描かれた「書き割り」みたいに見えるなどといったことが起こる場合がある。このような現象は「書き割り効果」と呼ばれている。

通常、カメラで物体を撮影した場合、レンズの画角によって遠近感が表現されるが、両眼視差を用いた立体画像の場合、２つのカメラで物体を撮影した時の見え方のずれである視差によって、遠近感が表現される。カメラの画角で表現される遠近感、すなわち単眼での奥行き情報と、視差で表現される遠近感、すなわち両眼での奥行き情報とが一致していない場合に、「書き割り効果」が生じると考えられている。

このため、立体画像における「書き割り効果」を低減させる有効な方式が期待されていた。

本技術はこのような状況に鑑みて開示するものであり、立体画像における違和感をより低減させることができるようにするものである。

本技術の一側面は、２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部とを備える画像処理装置である。

前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部をさらに備え、前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成するようにすることができる。

前記制御信号生成部は、前記誘目領域に対応する前記単位領域の視差量がゼロとなるように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成するようにすることができる。

前記制御信号生成部は、前記誘目領域に対応する前記単位領域の視差量のレベルと、前記視差マップにおける視差量ゼロのレベルとの比として得られるゲインを、前記単位領域の視差量に乗じて得られる値から前記単位領域の視差量を減じた値を、各単位領域の視差量とするように前記視差マップにより表された各単位領域の視差を変更するようにすることができる。

前記制御信号生成部は、前記誘目領域に対応する前記単位領域の周辺の視差量が急峻に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成するようにすることができる。

前記画像再生成部は、前記制御信号のレベルに応じて前記異なる視点の画像の画素を移動させることで、前記異なる視点の画像のそれぞれを再生成するようにすることができる。

前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、前記視差マップにより表された各単位領域の視差量に基づいて、前記各単位領域の鮮鋭度、ボケ、解像度感、コントラスト、または彩度を変更する制御信号を生成するボケ制御信号生成部をさらに備え、前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成するようにすることができる。

前記画像再生成部は、前記制御信号のレベルに応じて前記異なる視点の画像の画素の輝度値を変更することで、前記異なる視点の画像のそれぞれを再生成するようにすることができる。

本発明の一側面は、２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定し、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成するステップを含む画像処理方法である。

本発明の一側面は、コンピュータを、２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部とを備える画像処理装置として機能させるプログラムである。

本技術の一側面においては、２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域が特定され、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれが再生成される。

本技術によれば、立体画像における違和感をより低減させることができるようにすることができる。

本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。 入力画像信号に対応する画像の例を示す図である。 図２に示される画像に対応する入力画像信号から得られた視差マップの例を示す図である。 制御信号生成部による制御信号の生成、および、画像再生成部による画像の再生成の例を説明する図である。 出力画像信号に対応する画像の例を示す図である。 ディスプレイに表示された立体画像を観察する場合の焦点と輻輳角の矛盾を説明する図である。 本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。 入力画像信号に対応する画像の別の例を示す図である。 図８に示される画像に対応する入力画像信号から得られた視差マップの例を示す図である。 鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号の例を説明する図である。 出力画像信号に対応する画像の例を示す図である。 制御信号生成部によるフィルタ処理を説明する図である。 画像処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１０には、例えば、立体画像を表示するための視差を有する２つの画像信号であって画像信号Ｌ１および画像信号Ｒ１が入力される。例えば、画像信号Ｌ１は、左目用の画像を表示するための画像信号とされ、画像信号Ｒ１は右目用の画像を表示するための画像信号とされる。

画像処理装置１０は、入力された画像信号Ｌ１および画像信号Ｒ１（まとめて入力画像信号と称する）を、入力画像信号に基づいて表示された画像を観察するユーザの目の焦点に係る領域である誘目領域に応じて補正、変更などするようになされている。

図１の例では、画像処理装置１０が、視線検出部２１、視差マップ生成部２２、制御信号生成部２３、および、画像再生成部２４を有する構成とされている。

視線検出部２１は、入力画像のどの部分を注視しているかを表す信号Ｅ１を出力する。視線検出部２１は、例えば、ユーザを撮影するカメラから出力される信号Ｃ１に基づいてユーザの視線を検出する。そして、視線検出部２１は、検出された視線と図示せぬディスプレイとの相対的な位置関係から、画像の中での注目点を特定し、当該注目点に対応する領域を誘目領域として設定し、その領域を表す信号Ｅ１を生成して出力する。

ここで、誘目領域は、画像処理装置１０によって表示された画像を観察するユーザのアテンションの高い（と推定される）領域を意味する。

視差マップ生成部２２は、入力画像信号に基づいて視差マップを生成する。視差マップは、例えば、画像信号Ｌ１および画像信号Ｒ１によって表示される画像における各画素の視差量を表示するものとされる。例えば、画像信号Ｌ１に対応する画像および画像信号Ｒ１に対応する画像間でブロックマッチングが行われることにより、各画素の視差量が求められる。同図の例では、視差マップ生成部２２により視差マップの信号ＤＬ１および信号ＤＲ１が生成されている。

なお、ここでは、視差マップが各画素の視差量を表示するものとして説明したが、必ずしも画素毎に視差量を表示する必要はない。例えば、視差マップが複数の画素により構成されるブロックの視差量を表示するものとしてもよい。

制御信号生成部２３は、視差検出部２１から供給される信号Ｅ１に基づいて、誘目領域を特定する。制御信号生成部２３は、誘目領域の画素の視差量がゼロとなるように視差マップの各画素の視差量を調節するための制御信号を生成する。同図の例では、制御信号生成部２３により制御信号ＤＬ２および制御信号ＤＲ２が生成されている。

画像再生成部２４は、制御信号ＤＬ２および制御信号ＤＲ２にもとづいて左目用の画像と右目用の画像を再生成する。そして、再生成された左目用の画像に対応する画像信号Ｌ２、および、再生成された右目用の画像に対応する画像信号Ｒ２に対応する画像信号Ｒ２が出力される。なお、画像信号Ｌ２と画像信号Ｒ２を、適宜、まとめて出力画像信号と称する。

例えば、入力画像信号の画素を、制御信号ＤＬ２または制御信号ＤＲ２の値に応じた分だけ移動するなどして再生成した画像信号Ｌ２および画像信号Ｒ２を得る。なお、例えば、オクルージョン等、値が埋まらない箇所に関しては、画像内からの推定や、反対側の画像情報からの補間、時間軸の異なる画像情報からの補間等で穴埋めする。

図２は、入力画像信号に対応する画像の例を示している。同図の左側には、画像信号Ｌ１に対応する画像が示され、同図の右側には、画像信号Ｒ１に対応する画像が示されている。

図３は、図２に示される画像に対応する入力画像信号から得られた視差マップの例を示す図である。上述したように、視差マップは、画像信号Ｌ１および画像信号Ｒ１によって表示される立体画像における各画素の視差量を表示するものとされ、この例では各画素の視差量が画素の輝度により表現されている。図３の左側は、画像信号Ｌ１に対応する画像の視差マップとされ、図３の右側は、画像信号Ｒ１に対応する画像の視差マップとされる。

図３の例の場合、明るい画素ほど、画面から飛び出して見えるような視差を有しており、暗い画素ほど画面から遠く見えるような視差を有していることを表している。すなわち、図３の視差マップにおいて、灰色の画素は視差の無い画素とされ、白い画素、または明るい灰色の画素、および、黒い画素または暗い灰色の画素は、それぞれ視差を有する画素とされる。

また、図３には、矢印５１によりユーザの注目点が表されている。上述したように、視線検出部２１は、例えば、ユーザを撮影するカメラから出力される信号Ｃ１に基づいてユーザの視線を検出して画像の中での注目点を特定し、例えば、矢印５１で示される点の周囲の領域を誘目領域として設定し、信号Ｅ１を生成して出力する。

そして、上述したように、制御信号生成部２３が、誘目領域の画素の視差量がゼロとなるように視差マップの各画素の視差量を調節するための制御信号を生成する。

図４は、制御信号生成部２３による制御信号の生成、および、画像再生成部２４による画像の再生成の例を説明する図である。同図では、横軸が入力画像信号に対応する画像の水平方向の座標値を表し、縦軸が視差量、または、制御信号のレベルを表している。

この例では、図４の最も上側に、便宜上、画像信号Ｌ１に対応する画像の輪郭７１が表示されており、この画像の中で図中の水平方向の点線（一点鎖線）７２で示される位置の画素の視差量の変化を表す信号ＤＬ１が実線８１で表されている。すなわち、実線８１によって、点線８３における視差量をゼロとした場合の画像信号Ｌ１に対応する画像の中の所定位置（点線７２）における各画素の視差量の変化が表されている。なお、ここでは、信号ＤＬ１の取り得る値（レベル）を、例えば、０乃至２５６とし、信号のレベル１２８（点線８３）が視差量ゼロを表している。

そして、制御信号生成部２３によって、図３の矢印５１で示される点に対応する誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットする制御信号ＤＬ２が生成される。制御信号ＤＬ２を生成する場合、制御信号生成部２３は、まず補正ゲインＧを式（１）により算出する。

・・・（１）

なお、式（１）において、ＴＧＴは、信号ＤＬ１において視差量がゼロとなる信号のレベル（例えば、１２８）を表し、ＬＶＬａは、信号ＤＬ１における誘目領域の視差量に対応する信号のレベルを表す。

制御信号生成部２３は、上述したように算出された補正ゲインＧを用いて、信号ＤＬ１における各画素の視差量｜v｜_xを変数とした関数として表される制御信号ＤＬ２_ＬＶＬ(｜v｜_x)を式（２）によって求める。

・・・（２）

式（２）により、図４の画像信号Ｌ１に対応する画像の中で、点線７２で示される位置の各画素に対応する制御信号ＤＬ２のレベル（すなわち、図３の実線８２）が得られる。

画像再生成部２４は、実線８２で示される制御信号ＤＬ２のレベルに基づいて、画像信号Ｌ１の各画素を移動させる。例えば、図４の点線７２で示される位置の各画素に対応する制御信号ＤＬ２のレベルに応じて定まる距離だけ、各画素を水平方向左または右に移動させる。例えば、制御信号ＤＬ２のレベルがマイナスの値である場合、各画素を水平方向左に移動させ、制御信号ＤＬ２のレベルがプラスの値である場合、各画素を水平方向右に移動させる。

そして、画像信号Ｌ１に対して制御信号ＤＬ２に応じた視差量の補正が施された画像信号Ｌ２が生成され、画像信号Ｌ１に対応する画像が再生成れることになる。なお、ここで再生成された画像に対応する画像信号は、画像信号Ｌ２として出力される。

図４の最も下側には、便宜上、画像信号Ｌ２に対応する画像の輪郭７３が表示されており、図中の水平方向点線７４において、画像信号Ｌ１の各画素が移動させられている。同図に示されるように、輪郭７３は、輪郭７１と比べて図中左方向にずれており、かつ、水平方向の長さが短くなっている。

すなわち、輪郭７１に対応する画素位置において、制御信号ＤＬ２のレベルはマイナスとなるので、輪郭７３は、輪郭７１と比べて図中左方向にずれる。また、図中右側において制御信号ＤＬ２のレベルの絶対値が大きくなっており、図中左側において制御信号ＤＬ２のレベルの絶対値が小さくなっているので、輪郭７３を構成する画素のうち、右側の画素については左方向に大きく移動させられ、左側の画素については左方向に小さく移動させられる。このため、輪郭７３は、輪郭７１と比べて図中左方向にずれており、かつ、水平方向の長さが短くなっている。

なお、このようにして画像を再生成した場合、例えば、移動先で画素が重なったり、または、移動元の画素が存在しない部分が生じたりする場合がある。このような場合、例えば、重なった画素の平均値等を求めることで画像信号を得るようにする。また、画像の中で画素値が定まらない箇所については、例えば、同じ画像の中からの推定、反対側（例えば、右目側）の画像の情報、時間軸の異なる画像の情報などを用いて補間する。

ここでは、左目用の画像に係る制御信号生成部２３による制御信号の生成、および、画像再生成部２４による画像の再生成の例を説明したが、右目用の画像についても同様にして制御信号の生成、および、画像の再生成が行われる。なお、右目用の画像の場合、画像の再生成の際に画素を移動させる方向が逆になる。

このようにして画像再生成部２４によって画像が再生成され、再生成された画像に対応する画像信号Ｌ２および画像信号Ｒ２が出力される。

なお、上述した方式は、画像再生成部２４による画像の再生成の一例であって、他の方式により画像の再生成が行われるようにしてもよい。例えば、ここでは、左目用の画像については左目用の画像の画素のみを用いて画像の再生成が行われる例について説明したが、左目用の画像を再生成する際に右目用の画像の画素も用いられるようにしてもよい。すなわち、画像の再生成が行われる際に、都度、左目用の画像の画素および右目用の画像の画素のそれぞれが用いられるようにしてもよい。

画像の再生成が行われる際に、都度、左目用の画像の画素および右目用の画像の画素のそれぞれが用いられる方式については、例えば、特開２０１１−２５９０４５などに詳細に開示されている。

勿論、上記以外のさらに別の方式により画像再生成部２４による画像の再生成が行われるようにすることも可能である。

図５は、出力画像信号に対応する画像の例を示している。同図の左側には、画像信号Ｌ２に対応する画像が示され、同図の右側には、画像信号Ｒ２に対応する画像が示されている。図５に示される画像に表示されたオブジェクトは、図４に示される輪郭７３に対応する形状とされている。

このようにすることで、立体画像における焦点と輻輳角の矛盾を解決することができる。一般的な立体画像表示機器では、画像の中で注目している物体にも視差が付けられていることがある。人間の目でこのような立体画像表示機器の画像を観察する場合、例えば、本来ディスプレイの表面の位置で見えるべき物体がディスプレイから飛び出して見えてしまう。つまり、人間の目が捉える画像の焦点と、表示される画像の視差（輻輳角）とが矛盾することになる。

例えば、図６に示されるように立体画像が表示されている場合を考える。図６は、ユーザ１１０がディスプレイ１００に表示された立体画像を観察する場合の焦点と輻輳角の矛盾を説明する図である。同図の例では、立体画像においてオブジェクト１０１とオブジェクト１０２が表示されているものとし、図中においてオブジェクト１０１とオブジェクト１０２は立体画像を観察するユーザ１１０が感じる仮想的な位置に記載されている。

図６Ａは、焦点と輻輳角の矛盾が生じる場合の例を説明する図である。同図の例では、ユーザ１１０は、オブジェクト１０１に注目しており、立体画像においては、オブジェクト１０１がディスプレイ１００から飛び出して見えるように表示され、オブジェクト１０２は、ディスプレイ１００の奥に存在するように表示される。オブジェクト１０１を構成する画素が視差を有しているので、ユーザ１１０の右目と左目の視線の輻輳角によって、ユーザ１１０には、オブジェクト１０１がディスプレイ１００から飛び出しているように感じられるのである。

しかし、例えば、実世界においてユーザ１１０がオブジェクト１０１を注目する場合、ユーザ１１０の視線の焦点はオブジェクト１０１上にあることになるので、このような輻輳角は生じないはずである。このような焦点と輻輳角の矛盾によって、立体画像を観察する際の目の疲労が生じると考えられる。

図６Ｂは、本技術を適用した画像処理装置１０による画像処理が施されたことにより焦点と輻輳角の矛盾が解決した場合の例を説明する図である。同図の例では、ユーザ１１０は、やはりオブジェクト１０１に注目している。しかし図６Ｂの場合、立体画像においては、オブジェクト１０１がディスプレイ１００上に見えるように表示され、オブジェクト１０２は、ディスプレイ１００のさらに奥に存在するように表示される。

すなわち、オブジェクト１０１を構成する画素の視差をゼロとするように各画素の視差がオフセットされたことにより、図６Ｂの場合、ユーザ１１０には、オブジェクト１０１がディスプレイ１００上にあるように感じられるのである。このようにすることで、焦点と輻輳角の矛盾を解決することができ、立体画像におけるオブジェクト１０１とオブジェクト１０２の位置関係も維持することができる。さらに、本技術では、図４を参照して上述したように画像が再生成されるので、自然な立体画像を表示することができる。

例えば、特定の物体の視差をゼロとするように立体画像の表示が変更される場合、その物体の奥行方向の見え方も異なったものとする必要がある。例えば、ある物体がディスプレイから飛び出して見えるように表示されていた場合と、ディスプレイの表面の位置で見えるように表示されたいた場合とでは、その物体の側面の見え方なども異なるはずである。しかしながら、従来の技術のように、視差を有する２つの画像をずらして合成した場合、物体の側面の見え方などを変えることはできなかった。

これに対して、本技術では、図４を参照して上述したように画像が再生成されるので、物体の側面の見え方なども適切に変更することができ、違和感のない自然な立体画像を表示することができる。

ところで、図１を参照して上述した構成においては、視線検出部２１がユーザの視線を検出し、検出された視線と図示せぬディスプレイとの相対的な位置関係から、画像の中での注目点を特定し、当該注目点に対応する領域を誘目領域として設定するものとして説明した。しかし、例えば、ユーザの視線を検出することなく、画像を解析することにより誘目領域が設定されるようにしてもよい。

図７は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図において、図１と対応する部分には同一の符号が付されている。

図７に示される画像処理装置１０には、図１の場合とは異なり、視線検出部２１が設けられておらず、誘目領域検出部３１が設けられている。

誘目領域検出部３１は、例えば、入力された画像信号Ｌ１に対応する画像および画像信号Ｒ１に対応する画像の中から顔の画像を検出し、その検出された顔の領域を誘目領域として設定する。一般的に、画像の中における人物の顔はアテンションの高い領域と推定されるからである。そして、誘目領域検出部３１は、画像信号Ｌ１に対応する画像の中の誘目領域を表す信号ＲＬ１、および、画像信号Ｒ１に対応する画像の中の誘目領域を表す信号ＲＲ１を出力するようになされている。

図７の構成の場合、制御信号生成部２３は、誘目領域検出部３１から供給される信号ＲＬ１および信号ＲＲ１に基づいて、誘目領域を特定する。

なお、誘目領域検出部３１は、顔の画像を検出し、その顔に係る特徴量を図示せぬデータベースに記憶された情報と照合するなどし、所定の人物の顔であると判定された場合に、その検出された顔の領域を誘目領域として設定するようにしてもよい。

あるいはまた、画像の中のオブジェクトの中で人間の注目度の高い色や形状のオブジェクトが検出され、その検出されたオブジェクトの領域が誘目領域として設定されるようにしてもよい。

さらに、画像の撮像時のピント調整、大気遠近法によって生じる鮮鋭度、コントラスト、または彩度などの情報に基づいて誘目領域が設定されるようにしてもよいし、画像の動き検出を用いたカメラワーク推定から誘目領域が設定されるようにしてもよい。なお、このような誘目領域の検出の方式については、例えば、特開２００８−５３７７５などに詳細に開示されている。

あるいはまた、上述したような方式のそれぞれにより誘目領域を検出し、検出結果を重み付けするなどして最終的に誘目領域が特定されるようにしてもよい。

図７におけるそれ以外の部分については、図１の場合と同様なので詳細な説明は省略する。

ところで、立体画像における視差が変更された場合、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等が変更されるようにすると、より自然な立体画像を表示することが可能となる。

例えば、図１または図７に示される制御信号生成部２３により生成される制御信号ＤＬ２および制御信号ＤＲ２において、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更するための情報が含まれるようにしてもよい。

図８は、入力画像信号に対応する画像の別の例を示している。同図の左側には、画像信号Ｌ１に対応する画像が示され、同図の右側には、画像信号Ｒ１に対応する画像が示されている。この例では、画像信号Ｌ１に対応する画像および画像信号Ｒ１に対応する画像のそれぞれにオブジェクトが表示されており、それらのオブジェクトに模様（ここでは斜線や直線によって表されている）が付されている。

図９は、図８に示される画像に対応する入力画像信号から得られた視差マップの例を示す図である。上述したように、視差マップは、画像信号Ｌ１および画像信号Ｒ１が合成されて表示される画像における各画素の視差量を表示するものとされ、この例では各画素の視差量が画素の輝度により表現されている。図９の左側は、画像信号Ｌ１に対応する画像の視差マップとされ、図９の右側は、画像信号Ｒ１に対応する画像の視差マップとされる。

図９の例の場合、明るい画素ほど、画面から飛び出して見えるような視差を有しており、暗い画素ほど画面から遠く見えるような視差を有していることを表している。すなわち、図９の視差マップにおいて、灰色の画素は視差の無い画素とされ、白い画素、または明るい灰色の画素、および、黒い画素または暗い灰色の画素は、それぞれ視差を有する画素とされる。

また、図９には、矢印５２によりユーザの注目点が表されている。上述したように、視線検出部２１は、例えば、ユーザを撮影するカメラから出力される信号Ｃ１に基づいてユーザの視線を検出して画像の中での注目点を特定し、例えば、矢印５１で示される点の周囲の領域を誘目領域として設定し、信号Ｅ１を生成して出力する。あるいはまた、誘目領域検出部３１によって、矢印５１で示される点の周囲の領域が誘目領域として設定されるようにしてもよい。

このとき上述したように、制御信号生成部２３によって、図９の矢印５２で示される点に対応する誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットする制御信号が生成される。そして、制御信号生成部２３によって、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号がさらに生成される。

図１０は、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号の例を説明する図である。ここでは、視差に応じて画素の鮮鋭度とボケの度合が制御されるものとして説明する。図１０は、画素毎の鮮鋭度とボケの度合を表す図とされ、各画素の鮮鋭度とボケの度合が画素の輝度により表現されている。同図において、明るい画素ほど、鮮鋭度が高く、暗い画素ほどボケの度合が高いことを表している。

いまの場合、制御信号生成部２３によって生成される制御信号ＤＬ２および制御信号ＤＲ２には、画素毎の視差を変更するための情報とともに、図１０に示されるような画素毎の鮮鋭度とボケの度合を表す情報が含められる。

画像再生成部２４は、制御信号のレベルに基づいて、画像信号Ｌ１および画像信号Ｒ１の鮮鋭度とボケの度合を変更する。この場合、画像再生成部２４は、例えば、制御信号のレベルに応じて画像信号Ｌ１に対応する画像および画像信号Ｒ１に対応する画像の各画素の輝度値などを変更する。このようにして画像再生成部２４によって画像が再生成され、再生成された画像に対応する画像信号Ｌ２および画像信号Ｒ２が出力される。

図１１は、出力画像信号に対応する画像の例を示している。同図の左側には、画像信号Ｌ２に対応する画像が示され、同図の右側には、画像信号Ｒ２に対応する画像が示されている。図１１に示される画像に表示されたオブジェクトは、図中中央付近の模様が鮮明に表示され、その周囲の模様は不鮮明に表示されている。すなわち、図９または図１０において明るい色の画素で表示されている部分では模様が鮮明に表示され、暗い色の画素で表示されている部分では模様が不鮮明に表示されている。

本来、人間の目で何かを観察したときは、焦点に近い位置に存在する物体はくっきりと鮮明に見え、焦点から離れた位置に存在する物体はぼんやりと不鮮明に見えるはずである。

しかしながら、従来の立体画像は、上述のようには見えず、例えば、どの部分も鮮明に見えることが多かった。つまり、従来の技術では、実際に人間の目で観察したときの被写界深度と、立体画像表示機器などにより表示される立体画像の被写界深度が異なってしまう場合があった。

これに対して、本技術では、図８乃至図１１を参照して上述したように画像が再生成されるので、焦点に近い位置に存在する物体はくっきりと鮮明に見え、焦点から離れた位置に存在する物体はぼんやりと不鮮明に見えるように、立体画像を表示するこができる。従って、人間の目で観察したときの被写界深度と同様の被写界深度を再現することができ、違和感のない自然な立体画像を表示することができる。

なお、上述した例では、制御信号生成部２３によって、誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットするとともに、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号が生成されるものとして説明した。しかし、例えば、各画素値の視差をオフセットすることなく、単に視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号が生成されるようにしてもよい。

ところで、平面画像を合成して表示する立体画像においては、実世界と同様に視差を表現することはできず、ところによっては視差量が圧縮されることがある。このため、例えば、立体画像における視差が変更される場合、立体画像の中での仮想的な位置関係に応じて一律に視差を変更するだけでなく、例えば、誘目領域の周辺では急峻に視差量が変化するように設定されるようにしてもよい。

例えば、制御信号生成部２３が、視差量を適切に調整するフィルタ機能を有するようにしてもよい。この場合、例えば、誘目領域の視差量がゼロとなるように各画素値の視差をオフセットする制御信号を生成した後、オフセットされた後の各画素の視差量にフィルタ処理が施されることによって補正される。

図１２は、上述した場合の制御信号生成部２３によるフィルタ処理を説明する図である。同図は、横軸がフィルタ処理前の画素の視差量（Ｉｎ）とされ、縦軸がフィルタ処理後の画素の視差量（Ｏｕｔ）とされ、フィルタ処理前後の視差量の変化が示されている。

同図における点線１５１によって、実質的な補正が行われない場合のフィルタ処理前後の視差量の変化が示されている。また、同図の実線１５２によって、実質的な補正が行われた場合のフィルタ処理前後の視差量の変化が示されている。また、図１２中の矢印Ａで示される範囲の視差量が誘目領域の視差量を表している。

図１２に示されるように、実線１５２では、誘目領域の周辺において急峻に視差量が変化している。制御信号生成部２３によるフィルタ処理によって、例えば、このように視差量の変化が非線形となるように、オフセットされた後の各画素の視差量をさらに補正するための制御信号が生成されるようにしてもよい。

例えば、図１２に示されるように、視差量を補正することで、例えば、視差量が圧縮された立体画像において、視差量を大きくしすぎることなく、視覚的に重要な領域の立体感を向上させることができる。このようにすることで、例えば、異なる距離にいる複数の人物がそれぞれ平面に描かれた「書き割り」みたいに見えるなどといった「書き割り効果」を低減させることができる。

ここでは、制御信号生成部２３によるフィルタ処理によって、もともと線形に変化していた視差量の変化が非線形となるように補正する例について説明したが、例えば、もともと非線形に変化していた視差量の変化が線形となるように補正することも可能である。

次に、図１３のフローチャートを参照して、本技術を適用した画像処理装置１０による画像処理の例について説明する。

ステップＳ２１において、画像処理装置１０は、入力画像信号を受け付ける。

ステップＳ２２において、視差マップ生成部２２は、ステップＳ２１で受け付けられた入力画像信号に基づいて視差マップを生成する。視差マップは、例えば、画像信号Ｌ１および画像信号Ｒ１が合成されて表示される画像における各画素の視差量を表示するものとされる。例えば、画像信号Ｌ１に対応する画像および画像信号Ｒ１に対応する画像間でブロックマッチングが行われることにより、各画素の視差量が求められる。これにより、例えば、図３または図９に示されるような視差マップが生成される。

ステップＳ２３において、制御信号生成部２３は、誘目領域を特定する。このとき、図１に示される視線検出部２１から供給される信号Ｅ１、または、図７に示される誘目領域検出部３１から供給される信号ＲＬ１および信号ＲＲ１に基づいて、誘目領域が特定される。

視線検出部２１の場合、例えば、ユーザを撮影するカメラから出力される信号Ｃ１に基づいてユーザの視線を検出して画像の中での注目点を特定し、例えば、矢印５１で示される点の周囲の領域を誘目領域として設定し、信号Ｅ１を生成して出力する。

また、誘目領域検出部３１の場合、画像信号Ｌ１に対応する画像および画像信号Ｒ１に対応する画像の中から顔の画像を検出し、その検出された顔の領域を誘目領域とし、誘目領域を表す信号ＲＬ１、および、信号ＲＲ１を出力する。または、検出された顔に係る特徴量を図示せぬデータベースに記憶された情報と照合するなどし、所定の人物の顔であると判定された場合に、その検出された顔の領域が誘目領域として設定されるようにしてもよい。あるいはまた、画像の中のオブジェクトの中で人間の注目度の高い色や形状のオブジェクトが検出され、その検出されたオブジェクトの領域が誘目領域として設定されるようにしてもよい。さらに、画像の撮像時のピント調整、大気遠近法によって生じる鮮鋭度、コントラスト、または彩度などの情報に基づいて誘目領域が設定されるようにしてもよいし、画像の動き検出を用いたカメラワーク推定から誘目領域が設定されるようにしてもよい。

あるいはまた、上述したような方式のそれぞれにより誘目領域を検出し、検出結果を重み付けするなどして最終的に誘目領域が特定されるようにしてもよい。

ステップＳ２４において制御信号生成部２３は、ステップＳ２３で特定された誘目領域に基づいて制御信号ＤＬ２および制御信号ＤＲ２を生成する。

このとき、例えば、図４を参照して上述したように、誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットする制御信号が生成される。また、図８乃至図１１を参照して上述したように、制御信号ＤＬ２および制御信号ＤＲ２において、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更するための情報が含まれるようにしてもよい。

さらに、図１２を参照して上述したように、例えば、誘目領域の視差量がゼロとなるように各画素値の視差をオフセットする制御信号を生成した後、オフセットされた後の各画素の視差量にフィルタ処理が施されることによって補正されるようにしてもよい。

ステップＳ２５において、画像再生成部２４は、ステップＳ２４の処理で生成された制御信号ＤＬ２および制御信号ＤＲ２に基づいて、右目用の画像および左目用の画像を再生成する。

このとき、画像再生成部２４は、例えば、図４を参照して上述したように、実線８２で示される制御信号ＤＬ２のレベルに基づいて、画像信号Ｌ１の各画素を移動させる。例えば、図４の点線７２で示される位置の各画素に対応する制御信号ＤＬ２のレベルに応じて定まる距離だけ、各画素を水平方向左または右に移動させる。例えば、制御信号ＤＬ２のレベルがマイナスの値である場合、各画素を水平方向左に移動させ、制御信号ＤＬ２のレベルがプラスの値である場合、各画素を水平方向右に移動させる。

また、例えば、移動先で画素が重なったり、または、移動元の画素が存在しない部分が生じた、重なった画素の平均値等を求めることで画像信号を得るようにする。また、画像の中で画素値が定まらない箇所については、例えば、同じ画像の中からの推定、反対側（例えば、右目側）の画像の情報、時間軸の異なる画像の情報などを用いて補間する。

そして、制御信号ＤＬ２に応じた視差量の補正が施され、画像信号Ｌ１に対応する画像が再生成され、制御信号ＤＲ２に応じた視差量の補正が施され、画像信号Ｒ１に対応する画像が再生成されることになる。

また、制御信号ＤＬ２および制御信号ＤＲ２において、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更するための情報が含まれる場合、画像再生成部２４は、制御信号ＤＬ２および制御信号ＤＲ２に基づいて鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更して画像を再生成する。

ステップＳ２６において、画像再生成部２４は、ステップＳ２５の処理で再生成された画像に対応する出力画像信号を生成する。

このようにして、画像処理が実行される。

以上においては、本技術を、２つの異なる視点の画像によって得られる立体画像を表示する場合に適用する例について説明したが、より多くの異なる視点の画像によって得られる立体画像を表示する場合にも本技術を適用することができる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１４において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部と
を備える画像処理装置。
（２）
前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部をさらに備え、
前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
（１）に記載の画像処理装置。
（３）
前記制御信号生成部は、
前記誘目領域に対応する前記単位領域の視差量がゼロとなるように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成する
（２）に記載の画像処理装置。
（４）
前記制御信号生成部は、
前記誘目領域に対応する前記単位領域の視差量のレベルと、前記視差マップにおける視差量ゼロのレベルとの比として得られるゲインを、前記単位領域の視差量に乗じて得られる値から前記単位領域の視差量を減じた値を、各単位領域の視差量とするように前記視差マップにより表された各単位領域の視差を変更する
（２）または（３）に記載の画像処理装置。
（５）
前記制御信号生成部は、
前記誘目領域に対応する前記単位領域の周辺の視差量が急峻に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成する
（２）に記載の画像処理装置。
（６）
前記画像再生成部は、
前記制御信号のレベルに応じて前記異なる視点の画像の画素を移動させることで、前記異なる視点の画像のそれぞれを再生成する
（２）乃至（５）に記載の画像処理装置。
（７）
前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
前記視差マップにより表された各単位領域の視差量に基づいて、前記各単位領域の鮮鋭度、ボケ、解像度感、コントラスト、または彩度を変更する制御信号を生成するボケ制御信号生成部をさらに備え、
前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
（１）乃至（６）に記載の画像処理装置。
（８）
前記画像再生成部は、
前記制御信号のレベルに応じて前記異なる視点の画像の画素の輝度値を変更することで、前記異なる視点の画像のそれぞれを再生成する
（７）に記載の画像処理装置。
（９）
２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定し、
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成するステップ
を含む画像処理方法。
（１０）
コンピュータを、
２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部とを備える画像処理装置として機能させる
プログラム。
（１１）
（１０）に記載のプログラムが記録されている記録媒体。

１０ 画像処理装置， ２１ 視線検出部， ２２ 視差マップ生成部， ２３ 制御信号生成部， ２４ 画像再生成部， ３１ 誘目領域検出部

Claims (11)

1. ２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、
   前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部と
   を備える画像処理装置。
2. 前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
   前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部をさらに備え、
   前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
   請求項１に記載の画像処理装置。
3. 前記制御信号生成部は、
   前記誘目領域に対応する前記単位領域の視差量がゼロとなるように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成する
   請求項２に記載の画像処理装置。
4. 前記制御信号生成部は、
   前記誘目領域に対応する前記単位領域の視差量のレベルと、前記視差マップにおける視差量ゼロのレベルとの比として得られるゲインを、前記単位領域の視差量に乗じて得られる値から前記単位領域の視差量を減じた値を、各単位領域の視差量とするように前記視差マップにより表された各単位領域の視差を変更する
   請求項２に記載の画像処理装置。
5. 前記制御信号生成部は、
   前記誘目領域に対応する前記単位領域の周辺の視差量が急峻に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成する
   請求項２に記載の画像処理装置。
6. 前記画像再生成部は、
   前記制御信号のレベルに応じて前記異なる視点の画像の画素を移動させることで、前記異なる視点の画像のそれぞれを再生成する
   請求項２に記載の画像処理装置。
7. 前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
   前記視差マップにより表された各単位領域の視差量に基づいて、前記各単位領域の鮮鋭度、ボケ、解像度感、コントラスト、または彩度を変更する制御信号を生成するボケ制御信号生成部をさらに備え、
   前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
   請求項１に記載の画像処理装置。
8. 前記画像再生成部は、
   前記制御信号のレベルに応じて前記異なる視点の画像の画素の輝度値を変更することで、前記異なる視点の画像のそれぞれを再生成する
   請求項７に記載の画像処理装置。
9. ２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定し、
   前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成するステップ
   を含む画像処理方法。
10. コンピュータを、
    ２以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、
    前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部とを備える画像処理装置として機能させる
    プログラム。
11. 請求項１０に記載のプログラムが記録されている記録媒体。

Images