JP2012257022A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】立体画像の視差制御をより適切に行なうことができるようにする。
【解決手段】注目領域推定部は、立体画像からユーザが注目すると推定される注目領域を推定する。視差検出部は、立体画像の視差を検出し、立体画像の各領域の視差を示す視差マップを生成する。視差解析部は、視差マップと注目領域とに基づいて、注目領域が立体画像の表示面近傍に定位するように、立体画像の視差の変換特性を定める。視差変換部は、変換特性に基づいて視差マップを補正して補正視差マップを生成し、画像合成部は補正視差マップに基づいて、立体画像の視差を補正する。本発明は、画像処理装置に適用することができる。
【選択図】図３

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より適切な視差制御を行なうことができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、表示装置により立体画像を表示する技術が知られている。このような立体画像により再現される被写体の奥行き感は、ユーザが立体画像を観察するときの視聴条件や立体画像の撮像条件によって変化する。そのため、場合によっては、被写体が飛び出しすぎたり、引っ込みすぎたりして再現される奥行き感が不自然なものとなり、ユーザが疲労してしまうことがある。

そこで、表示する立体画像の視差を適切に制御する技術が多く提案されている。例えば、そのような技術として、立体画像の各画素の視差に基づいて、立体画像視聴時におけるユーザへのストレスの度合いを示すストレス値を求め、そのストレス値が最小となるように立体画像の視差制御を行なう技術が提案されている（例えば、特許文献１参照）。

特開２０１１−０５５０２２号公報

しかしながら、上述した技術では、必ずしも適切な視差制御を行なうことができない場合があった。

例えば、ストレス値を最小とするような視差制御を行なう技術では、立体画像の画面全体では快適な奥行き感を再現することができるが、立体画像上のユーザが注目している被写体の奥行き位置が適切な位置とならないことがあった。このように、ユーザが注目している主要な被写体の奥行き位置が不適切な位置となると、立体画像の視聴時にユーザの眼が疲労してしまうことになる。

本技術は、このような状況に鑑みてなされたものであり、立体画像の視差制御をより適切に行なうことができるようにするものである。

本技術の第１の側面の画像処理装置は、ユーザが注目すると推定される立体画像上の注目領域を推定する注目領域推定部と、前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、前記注目領域および前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定める設定部と、前記変換特性に基づいて前記視差マップを補正する視差変換部とを備える。

画像処理装置には、補正された前記視差マップに基づいて、前記立体画像の視差を補正する画像合成部をさらに設けることができる。

画像処理装置には、前記視差マップにより示される視差の最大値および最小値を検出するとともに、前記視差マップと前記注目領域とに基づいて、前記注目領域の視差を検出する最大／最小視差検出部をさらに設け、前記設定部には、前記最大値、前記最小値、および前記注目領域の視差に基づいて、前記変換特性を定めさせることができる。

前記設定部には、前記注目領域の視差が予め定められた所定の大きさの視差に変換されるように前記変換特性を定めさせることができる。

前記設定部には、前記立体画像上の前記注目領域と、前記立体画像上の前記注目領域外の領域とに対して、それぞれ異なる前記変換特性を定めさせることができる。

前記設定部には、前記注目領域の視差を含む所定の視差の区間において、視差が線形変換されるように、前記立体画像上の前記注目領域の前記変換特性を定めさせることができる。

画像処理装置には、前記注目領域または前記変換特性を平滑化する平滑化部をさらに設けることができる。

本技術の第１の側面の画像処理方法またはプログラムは、ユーザが注目すると推定される立体画像上の注目領域を推定し、前記立体画像の視差を検出して、前記立体画像の各領域の視差を示す視差マップを生成し、前記注目領域および前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定め、前記変換特性に基づいて前記視差マップを補正するステップを含む。

本技術の第１の側面においては、ユーザが注目すると推定される立体画像上の注目領域が推定され、前記立体画像の視差が検出されて、前記立体画像の各領域の視差を示す視差マップが生成され、前記注目領域および前記視差マップに基づいて、前記立体画像の視差を補正する変換特性が定められ、前記変換特性に基づいて前記視差マップが補正される。

本技術の第２の側面の画像処理装置は、ユーザが注目すると推定される立体画像上の注目領域を推定する注目領域推定部と、前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、前記注目領域の視差に重みを付けて、前記視差マップにより示される前記立体画像の視差のヒストグラムを生成するヒストグラム生成部と、前記ヒストグラムに基づいて、前記立体画像の視差の補正量を示すシフト量を算出するシフト量算出部と、前記シフト量に基づいて、前記立体画像を構成する左眼画像または右眼画像の少なくとも一方をシフトさせ、前記立体画像の視差を補正する画像処理部とを備える。

本技術の第２の側面の画像処理方法またはプログラムは、ユーザが注目すると推定される立体画像上の注目領域を推定し、前記立体画像の視差を検出して、前記立体画像の各領域の視差を示す視差マップを生成し、前記注目領域の視差に重みを付けて、前記視差マップにより示される前記立体画像の視差のヒストグラムを生成し、前記ヒストグラムに基づいて、前記立体画像の視差の補正量を示すシフト量を算出し、前記シフト量に基づいて、前記立体画像を構成する左眼画像または右眼画像の少なくとも一方をシフトさせ、前記立体画像の視差を補正するステップを含む。

本技術の第２の側面においては、ユーザが注目すると推定される立体画像上の注目領域が推定され、前記立体画像の視差が検出されて、前記立体画像の各領域の視差を示す視差マップが生成され、前記注目領域の視差に重みが付けられて、前記視差マップにより示される前記立体画像の視差のヒストグラムが生成され、前記ヒストグラムに基づいて、前記立体画像の視差の補正量を示すシフト量が算出され、前記シフト量に基づいて、前記立体画像を構成する左眼画像または右眼画像の少なくとも一方がシフトされ、前記立体画像の視差が補正される。

本技術の第３の側面の画像処理装置は、立体画像に対するシーン認識を行なうシーン認識部と、前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定める設定部と、前記変換特性および前記シーン認識の結果に基づいて前記視差マップを補正する視差変換部とを備える。

本技術の第３の側面の画像処理方法またはプログラムは、立体画像に対するシーン認識を行ない、前記立体画像の視差を検出して、前記立体画像の各領域の視差を示す視差マップを生成し、前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定め、前記変換特性および前記シーン認識の結果に基づいて前記視差マップを補正するステップを含む。

本技術の第３の側面においては、立体画像に対するシーン認識が行なわれ、前記立体画像の視差が検出されて、前記立体画像の各領域の視差を示す視差マップが生成され、前記視差マップに基づいて、前記立体画像の視差を補正する変換特性が定められ、前記変換特性および前記シーン認識の結果に基づいて前記視差マップが補正される。

本技術の第１の側面乃至第３の側面によれば、立体画像の視差制御をより適切に行なうことができる。

本技術の概要を説明する図である。 適切な視差の範囲について説明する図である。 画像処理装置の一実施の形態の構成例を示す図である。 画像変換処理を説明するフローチャートである。 変換関数の一例を示す図である。 変換関数の一例を示す図である。 画像変換について説明する図である。 領域ごとの変換関数について説明する図である。 画像処理装置の他の構成例を示す図である。 画像変換処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 画像変換処理を説明するフローチャートである。 視差マップの各領域について説明する図である。 ヒストグラムの生成について説明する図である。 ストレス関数の一例を示す図である。 ストレス関数の一例を示す図である。 注目領域を考慮した視差制御の効果について説明する図である。 画像処理装置の他の構成例を示す図である。 画像変換処理を説明するフローチャートである。 変換関数の一例を示す図である。 画像処理装置の他の構成例を示す図である。 画像変換処理を説明するフローチャートである。 注目領域の平滑化について説明する図である。 変換関数の平滑化について説明する図である。 画像処理装置の他の構成例を示す図である。 視差変換部の構成例を示す図である。 画像変換処理を説明するフローチャートである。 合成視差マップの生成について説明する図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［本技術の概要］
まず、図１を参照して本技術の概要について説明する。

本技術は、例えば図１中、上側に示すように、左眼画像Ｌと右眼画像Ｒとからなる立体画像の視差制御を行なうものである。このような左眼画像Ｌと右眼画像Ｒが入力されると、まず左眼画像Ｌと右眼画像Ｒの視差を示す視差マップＤＭ１１が生成される。また、例えばこの視差マップＤＭ１１から立体画像上の各画素の視差のヒストグラムＨＴ１１を生成すると、立体画像の各被写体の視差分布が分かる。

なお、ヒストグラムＨＴ１１の横軸は視差、つまり被写体の奥行きを示しており、縦軸は各視差の頻度、つまりその視差を有する視差マップの画素数を示している。特に、ヒストグラムＨＴ１１の横軸の右方向は、立体画像を観察するユーザから見て被写体が手前側に定位する視差の方向を示しており、横軸の左方向は、立体画像を観察するユーザから見て被写体が奥行き側に定位する視差の方向を示している。また、視差が「０」である被写体は、立体画像が表示されるディスプレイ面に定位し、視差が正の値である被写体は、ユーザから見てディスプレイ面よりも手前側に定位する。

ここで、例えば立体画像上のユーザが注目すると推定される領域を注目領域と呼ぶこととし、注目領域と同じ位置にある視差マップＤＭ１１上の領域が領域ＡＲ１１であったとする。また、領域ＡＲ１１内の各画素の視差の分布が、ヒストグラムＨＴ１１におけるＡＲ’１１の部分に対応しているとする。

この場合、立体画像上の注目領域の視差は正の値であるので、注目領域内の被写体は、ユーザから見てディスプレイ面の手前側に見えることになる。つまり、被写体が飛び出して見えることになる。一般的に、ユーザが注目している被写体の視差が小さく、その被写体がディスプレイ面近傍に定位すると、輻輳とピント調整の矛盾が生じないため、立体画像を観察するユーザの疲労が最も少なくなる。

そこで、本技術では、注目領域の被写体がディスプレイ面近傍に定位し、かつ立体画像上の各被写体の視差が、ユーザに対する負荷が少ない適切な視差範囲内の値となるように、視差マップが補正され、補正視差マップＤＭ１２とされる。この補正視差マップＤＭ１２から得られる視差のヒストグラムＨＴ１２では、注目領域と同じ位置にある領域ＡＲ１２内の各画素の視差の分布が、ヒストグラムＨＴ１２のＡＲ’１２の部分に対応しており、注目領域の被写体がディスプレイ面近傍に定位することが分かる。

このようにして補正視差マップＤＭ１２が得られると、左眼画像Ｌと右眼画像Ｒの視差が補正視差マップＤＭ１２に示される視差となるように、左眼画像Ｌと右眼画像Ｒに対する画像変換が行なわれ、最終的な左眼画像Ｌ’と右眼画像Ｒ’が生成される。

画像変換では、左眼画像Ｌまたは右眼画像Ｒの何れか一方はそのままとされ、他方の画像のみが画像変換されるようにしてもよいし、左眼画像Ｌと右眼画像Ｒの両方が画像変換され、新たな左眼画像Ｌ’と右眼画像Ｒ’が生成されるようにしてもよい。

また、立体画像の視聴時におけるユーザの負荷が少ない適切な視差の範囲は、立体画像の視聴距離やディスプレイの大きさなどにより定まる。

例えば図２に示すように、立体画像が表示されるディスプレイ面ＤＳ１１から視聴距離Ｌ_ｓの位置でユーザが立体画像を観察し、ユーザの両眼間隔がｄ_ｅであるとする。また、ユーザから立体画像上の被写体の定位位置、つまり被写体の立体像が生じる位置までの距離がＬ_ｄであるとし、立体像が生じる位置までの距離Ｌ_ｄが視聴距離Ｌ_ｓと同一である場合の輻輳角をβとする。

さらに、立体画像の適切な視差範囲内の視差の最小値となる被写体の定位位置、つまり最も奥行き側にある被写体の定位位置に対する輻輳角をα_ｍｉｎとし、適切な視差範囲内の視差の最大値となる被写体の定位位置に対する輻輳角をα_ｍａｘとする。

図２に示す視聴条件で、ユーザがディスプレイ面ＤＳ１１上の立体画像を視聴する場合、一般的に次式（１）が成立すれば、視聴者が快適に立体画像を視聴できると言われている。なお、式（１）において、αは、立体画像上の被写体の定位位置に対する輻輳角である。

また、視聴距離Ｌ_ｓと輻輳角βとの関係は、次式（２）で表される。

したがって、この式（２）を変形すると、次式（３）が得られる。

また、式（２）と同様に、立体像が生じる位置までの距離Ｌ_ｄと輻輳角αとの関係は、次式（４）で表される。

ここで、輻輳角αの取り得る範囲は、α_ｍｉｎ≦α≦α_ｍａｘであるので、立体像が生じる位置までの距離Ｌ_ｄの取り得る値の範囲は、次式（５）で表すことができる。

なお、上述した式（１）から、輻輳角α_ｍｉｎ＝β−（Π／１８０），輻輳角α_ｍａｘ＝β＋（Π／１８０）である。したがって、ユーザが快適に立体画像を視聴することができる被写体の視差の範囲は、両眼間隔がｄ_ｅと輻輳角βから求めることができる。

例えば、立体画像が表示されるディスプレイが４６Ｖ型の表示装置であり、視聴距離Ｌ_ｓが1.7mである場合、ユーザから各被写体の定位位置までの距離Ｌ_ｄが0.5mから1.5mの範囲内であれば、ユーザは快適に立体画像を視聴することができる。この距離Ｌ_ｄの範囲を視差に置き換えると−５６画素から５５画素程度の範囲となる。

［画像処理装置の構成例］
次に、本技術を適用した画像処理装置の実施の形態について説明する。図３は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、注目領域推定部２１、視差検出部２２、視差解析部２３、視差変換部２４、および画像合成部２５から構成される。この画像処理装置１１では、立体画像を構成する左眼画像Ｌおよび右眼画像Ｒが、注目領域推定部２１、視差検出部２２、および画像合成部２５に供給される。

注目領域推定部２１は、供給された左眼画像Ｌおよび右眼画像Ｒに基づいて、立体画像上の注目領域を推定し、その推定結果を視差解析部２３に供給する。ここで、注目領域とは、立体画像を観察するユーザが注目すると推定される領域である。

視差検出部２２は、供給された左眼画像Ｌおよび右眼画像Ｒに基づいて、立体画像の各画素の視差を示す視差マップを生成し、視差解析部２３および視差変換部２４に供給する。

視差解析部２３は、注目領域推定部２１からの推定結果と、視差検出部２２からの視差マップとに基づいて、立体画像の視差の補正、より詳細には視差マップの補正に用いられる視差の変換特性を定め、視差変換部２４に供給する。視差解析部２３は、最大／最小視差検出部３１および設定部３２を備えている。

最大／最小視差検出部３１は、視差検出部２２からの視差マップの各画素の画素値（視差）の最大値と最小値（以下、最大視差および最小視差と称する）を検出する。また、最大／最小視差検出部３１は、視差検出部２２からの視差マップと、注目領域推定部２１からの推定結果とに基づいて、注目領域の視差（以下、注目視差とも称する）を検出し、注目視差と、最大視差および最小視差とを設定部３２に供給する。

設定部３２は、最大／最小視差検出部３１からの注目視差と、最大視差および最小視差とに基づいて変換特性を定め、視差変換部２４に供給する。

視差変換部２４は、設定部３２からの変換特性に基づいて、視差検出部２２からの視差マップの各画素の視差を変換することで視差マップを補正し、その結果得られた補正視差マップと視差マップを画像合成部２５に供給する。画像合成部２５は、視差変換部２４からの補正視差マップと視差マップに基づいて、供給された左眼画像Ｌおよび右眼画像Ｒに対する画像変換を行なうことで立体画像の視差調整を行ない、その結果得られた左眼画像Ｌ’および右眼画像Ｒ’を出力する。

［画像変換処理の説明］
図３の画像処理装置１１は、左眼画像Ｌと右眼画像Ｒからなる立体画像が供給され、立体画像の視差調整が指示されると、画像変換処理を行って立体画像の視差調整を行い、視差調整された立体画像を出力する。以下、図４のフローチャートを参照して、画像処理装置１１による画像変換処理について説明する。

ステップＳ１１において、注目領域推定部２１は、供給された左眼画像Ｌまたは右眼画像Ｒの少なくとも一方に基づいて、立体画像上の注目領域を推定し、注目領域を示す情報を最大／最小視差検出部３１に供給する。例えば、注目領域推定部２１は、顔認識やビジュアルアテンション、シーン認識などを行なって、注目領域を推定する。

具体的には、例えば顔認識により左眼画像Ｌや右眼画像Ｒから顔の領域が検出された場合、その顔の領域が注目領域とされる。また、例えばビジュアルアテンションが行なわれる場合、左眼画像Ｌや右眼画像Ｒから輝度情報や色情報、エッジ情報などの所定の特徴量が抽出され、それらの特徴量から画像上の輝度差の大きい領域や、周囲と色が異なる領域などが検出され、注目領域とされる。

なお、注目領域推定部２１が左眼画像Ｌや右眼画像Ｒ上の面積が大きいオブジェクトの領域や、動被写体の領域を検出し、それらの領域を注目領域とするようにしてもよい。

ステップＳ１２において、視差検出部２２は、供給された左眼画像Ｌおよび右眼画像Ｒに基づいて立体画像の視差を検出し、視差マップを生成する。

例えば、視差検出部２２は、右眼画像Ｒの各画素を順番に注目画素として、注目画素に対応する左眼画像Ｌの画素（以下、対応画素と称する）を検出することで、右眼画像Ｒの各画素の左眼画像Ｌに対する視差を求める。

このとき、右眼画像Ｒ上の注目画素近傍の領域と、左眼画像Ｌ上の各画素近傍の領域との差分、より詳細には例えば領域内の画素の差分絶対値和が算出され、差分が最小となる左眼画像Ｌの画素が注目画素に対する対応画素とされる。そして、右眼画像Ｒの注目画素と左眼画像Ｌの対応画素との距離が、それらの画素間の視差とされ、その視差が注目画素と同じ位置にある視差マップの画素の画素値とされる。

なお、ここでは右眼画像Ｒの各画素を注目画素として、右眼画像Ｒを基準とする視差マップを生成する場合を例として説明したが、左眼画像Ｌを基準とする視差マップが生成されてもよいし、右眼画像Ｒおよび左眼画像Ｌのそれぞれを基準とする視差マップが生成されてもよい。

このようにして視差マップが生成されると、視差検出部２２は生成した視差マップを最大／最小視差検出部３１および視差変換部２４に供給し、処理はステップＳ１３に進む。

ステップＳ１３において、最大／最小視差検出部３１は、視差検出部２２から供給された視差マップに基づいて、最大視差および最小視差を検出する。すなわち、視差マップ上の各画素の視差のうちの最大値と最小値が検出されて、それぞれ最大視差および最小視差とされる。

ステップＳ１４において、最大／最小視差検出部３１は、視差検出部２２から供給された視差マップと、注目領域推定部２１から供給された注目領域の推定結果とに基づいて、注目領域の視差を検出する。

例えば、最大／最小視差検出部３１は、視差マップ上の注目領域と同じ領域内にある画素の画素値（視差）の平均値を注目領域の視差である注目視差とする。なお、その他、視差マップ上の注目領域と同じ領域内にある画素の画素値の重心値や、注目領域と同じ領域内にある画素の画素値のうち、最も多い画素値などが注目視差とされてもよい。

最大／最小視差検出部３１は、注目領域の注目視差が得られると、最大視差、最小視差、および注目視差を設定部３２に供給し、処理はステップＳ１５へと進む。

ステップＳ１５において、設定部３２は、最大／最小視差検出部３１から供給された最大視差、最小視差、および注目視差に基づいて、変換特性を設定する。

例えば、図２を参照して説明した、適切な視差の範囲が予め求められており、その視差の範囲の最大値および最小値が、それぞれ許容最大視差ｄ_ｍａｘ’および許容最小視差ｄ_ｍｉｎ’であるとする。また、最大視差、最小視差、および注目視差を、それぞれｄ_ｍａｘ、ｄ_ｍｉｎ、およびｄ_ａｔとする。

この場合、設定部３２は、図５に示すように、視差マップ上の各視差が、許容最小視差ｄ_ｍｉｎ’から許容最大視差ｄ_ｍａｘ’までの範囲（以下、許容視差範囲と称する）内の視差に変換され、かつ注目視差ｄ_ａｔが視差「０」に変換されるように、変換特性を定める。すなわち、それらの条件を満たすように、視差マップ上の各視差ｄ_ｉを補正視差ｄ_ｏに変換する変換関数が定められる。

なお、図５において、横軸は視差マップ上の各画素の視差ｄ_ｉを示しており、縦軸は補正視差ｄ_ｏを示している。また、図中、折れ線Ｆ１１は変換関数のグラフを示している。

折れ線Ｆ１１で表される変換関数では、最大視差ｄ_ｍａｘが許容最大視差ｄ_ｍａｘ’に変換され、最小視差ｄ_ｍｉｎが許容最小視差ｄ_ｍｉｎ’に変換される。また、注目視差ｄ_ａｔは０に変換される。さらに、変換関数の注目視差ｄ_ａｔから最大視差ｄ_ｍａｘまでの区間は、所定の傾きの一次関数となっており、同様に最小視差ｄ_ｍｉｎから注目視差ｄ_ａｔまでの区間も所定の傾きの一次関数となっているが、変換関数全体では、非線形関数となっている。

このように、注目領域の視差が０に変換されるようにすれば、注目領域の奥行き位置が立体画像の表示面となり、ユーザの眼の疲労を低減させることができる。しかも、立体画像全体の視差が許容視差範囲内となるので、ユーザは快適に立体画像を視聴することができるようになる。

設定部３２は、このようにして変換関数を定めると、定めた変換関数を変換特性として視差変換部２４に供給する。

なお、変換特性は図５に示した例に限らず、視差に対して単調増加する折れ線で表される関数や、任意の関数とすることができる。

したがって、例えば図６に示す線形関数が変換関数とされてもよい。なお、図６において、横軸は視差マップ上の各画素の視差ｄ_ｉを示しており、縦軸は補正視差ｄ_ｏを示している。また、図中、直線Ｆ１２は変換関数のグラフを示している。図６の例では、直線Ｆ１２で表される変換関数は、一次関数となっている。

図４のフローチャートの説明に戻り、ステップＳ１６において、視差変換部２４は、設定部３２からの変換特性と、視差検出部２２からの視差マップとに基づいて補正視差マップを生成し、補正視差マップと視差マップを画像合成部２５に供給する。

例えば、視差変換部２４は、変換特性としての変換関数に、視差マップの画素の視差ｄ_ｉを代入して補正視差ｄ_ｏを求め、求めた補正視差を、その画素と同じ位置にある補正視差マップの画素の画素値とする。

なお、変換関数を用いた補正視差の算出は、各視差ｄ_ｉと、その視差ｄ_ｉの変換により得られる補正視差ｄ_ｏとが対応付けられている変換テーブルにより実現されるようにしてもよい。そのような場合、視差変換部２４は、設定部３２から変換特性が供給されると、その変換特性を有する変換テーブルを生成するとともに、変換テーブルを用いて視差マップを補正視差マップに変換する。

ステップＳ１７において、画像合成部２５は、視差変換部２４からの補正視差マップと視差マップを用いて、供給された左眼画像Ｌおよび右眼画像Ｒを、適切な視差を有する左眼画像Ｌ’および右眼画像Ｒ’に変換し、出力する。

例えば、視差検出部２２において、右眼画像Ｒを基準とする視差マップが生成されるとともに、注目領域推定部２１において右眼画像Ｒ上の注目領域が推定され、視差変換部２４で右眼画像Ｒを基準とする補正視差マップが生成されたとする。

この場合、画像合成部２５は、右眼画像Ｒをそのまま出力用の右眼画像Ｒ’とするとともに、図７に示すように、右眼画像Ｒおよび左眼画像Ｌから、補正視差マップの画素により特定される視点の位相の画像を生成し、得られた画像を出力用の左眼画像Ｌ’とする。

なお、図７では、図中、横方向は左眼画像Ｌと右眼画像Ｒの視差の方向（水平方向）を示している。例えば、右眼画像Ｒ上の画素Ｇｒの対応画素が左眼画像Ｌ上の画素Ｇｌであり、画素Ｇｒと同じ位置にある視差マップ上の画素の画素値（視差）がｄであったとする。

この場合、画素Ｇｒの図中、横方向の位置（以下、ｘ座標という）がｘ_Ｒであるとすると、画素Ｇｌのｘ座標ｘ_Ｌは、ｘ_Ｒ＋ｄとなる。さらに、画素Ｇｒと同じ位置にある補正視差マップ上の画素の画素値（視差）がｄ’（但し、ｄ＞ｄ’）であるとすると、右眼画像Ｒの視点の位相１と左眼画像Ｌの視点の位相０の間の視点の位相ｐの画像の画素Ｇｌ’が、画像変換後の左眼画像Ｌ’の画素として生成されることになる。

すなわち、次式（６）の演算が行なわれて、画素Ｇｌ’の画素値Ｉ_Ｍ（ｘ’）が算出される。

なお、式（６）において、Ｉ_Ｌ（ｘ_Ｌ）およびＩ_Ｒ（ｘ_Ｒ）は、それぞれ画素Ｇｌおよび画素Ｇｒの画素値を示している。また、生成される視点の位相ｐは、ｐ＝ｄ’／（ｄ’＋｜ｄ−ｄ’｜）である。

このようにして、画像合成部２５は、右眼画像Ｒ上の各画素について式（６）に示した演算を行い、右眼画像Ｒと視差ｄ’を有する新たな左眼画像Ｌ’を生成し、右眼画像Ｒ’と左眼画像Ｌ’とからなる立体画像を、視差調整後の立体画像として出力する。

また、右眼画像Ｒがそのまま右眼画像Ｒ’とされ、左眼画像Ｌが左眼画像Ｌ’に変換される例について説明したが、左眼画像Ｌがそのまま左眼画像Ｌ’とされ、右眼画像Ｒが右眼画像Ｒ’に変換されるようにしてもよい。

さらに、右眼画像Ｒと左眼画像Ｌが、それぞれ右眼画像Ｒ’と左眼画像Ｌ’に変換されるようにしてもよい。そのような場合、注目領域推定部２１では、右眼画像Ｒと左眼画像Ｌのそれぞれから注目領域が検出され、視差検出部２２では、右眼画像Ｒを基準とする視差マップと、左眼画像Ｌを基準とする視差マップが生成される。

そして、右眼画像Ｒ上の注目領域と、右眼画像Ｒを基準とする視差マップとから変換特性が定められ、その視差マップが補正視差マップに変換される。同様に、左眼画像Ｌ上の注目領域と、左眼画像Ｌを基準とする視差マップとから変換特性が定められ、その視差マップが補正視差マップに変換される。

さらに、右眼画像Ｒ上の各画素と、それらの画素に対応する左眼画像Ｌ上の対応画素とが用いられて、右眼画像Ｒを基準とする補正視差マップの画素の視差ｄ’の半分の視差分だけ右眼画像Ｒの視点と位相が異なる画像の画素の画素値が求められ、左眼画像Ｌ’が生成される。同様に、左眼画像Ｌ上の各画素と、右眼画像Ｒ上の対応画素とが用いられて、左眼画像Ｌを基準とする補正視差マップの画素の視差ｄ’の半分の視差分だけ左眼画像Ｌの視点と位相が異なる画像の画素の画素値が求められ、右眼画像Ｒ’が生成される。

以上のようにして、画像処理装置１１は、視差マップと注目領域とに基づいて、立体画像が表示される表示面近傍に注目領域が定位し、かつ立体画像の各画素の視差が許容視差範囲内の視差となるように変換特性を定め、立体画像の視差調整を行なう。これにより、立体画像の視差制御をより適切に行なうことができ、ユーザがより快適に立体画像を視聴することができるようになる。その結果、ユーザの眼の疲労を低減させることができる。

〈第２の実施の形態〉
［画像処理装置の構成例］
なお、以上においては、視差マップの全画素が同じ変換関数（変換特性）により変換される場合について説明したが、視差マップ上の注目領域と同じ位置の領域内と注目領域と異なる位置の領域とで異なる変換関数が用いられてもよい。

そのような場合、例えば図８に示すように、視差マップＤＭ２１上の注目領域と同じ位置にある領域ＡＲ４１が特定される。そして、図中、下側に示すように、領域ＡＲ４１内の各画素の視差の変換関数と、領域ＡＲ４１外の各画素の視差の変換関数とが定められる。

図８の例では、折れ線Ｆ３１は、領域ＡＲ４１内の各画素の視差の変換関数を示しており、折れ線Ｆ３２は、領域ＡＲ４１外の各画素の視差の変換関数を示している。なお、変換関数のグラフにおいて、横軸は視差マップ上の各画素の視差ｄ_ｉを示しており、縦軸は補正視差ｄ_ｏを示している。

折れ線Ｆ３１で表される変換関数では、注目視差ｄ_ａｔは０に変換され、かつ注目視差ｄ_ａｔを含む視差ｄ_ａｔｓから視差ｄ_ａｔｅまでの区間では、変換関数は所定の傾きの一次関数となっている。

なお、視差ｄ_ａｔｓと視差ｄ_ａｔｅや、視差ｄ_ａｔｓから視差ｄ_ａｔｅまでの区間における変換関数の傾きは、予め定められていてもよいし、ユーザにより設定されるようにしてもよい。また、視差ｄ_ａｔｓおよび視差ｄ_ａｔｅが、領域ＡＲ４１内の各画素の視差に基づいて定められるようにしてもよい。そのような場合、例えば領域ＡＲ４１内の画素の視差の最小値および最大値が、それぞれ視差ｄ_ａｔｓおよび視差ｄ_ａｔｅとされる。

また、折れ線Ｆ３１で表される変換関数では、視差マップの画素の最大視差ｄ_ｍａｘおよび最小視差ｄ_ｍｉｎが、それぞれ許容最大視差ｄ_ｍａｘ’および許容最小視差ｄ_ｍｉｎ’に変換され、変換関数は全区間で連続である。この例でも最小視差ｄ_ｍｉｎから視差ｄ_ａｔｓまでの区間、および視差ｄ_ａｔｅから最大視差ｄ_ｍａｘまでの区間は、一次関数となっている。

これに対して、折れ線Ｆ３２で表される変換関数では、最大視差ｄ_ｍａｘが許容最大視差ｄ_ｍａｘ’に変換され、最小視差ｄ_ｍｉｎが許容最小視差ｄ_ｍｉｎ’に変換される。また、注目視差ｄ_ａｔは０に変換される。すなわち、折れ線Ｆ３２で表される変換関数は、図５の折れ線Ｆ１１に示した変換関数と同じ関数となっている。

このように、注目領域と同じ位置にある視差マップＤＭ２１の領域ＡＲ４１の内部と外部とで、それぞれ異なる変換特性の変換関数を用いて視差マップの変換を行なえば、立体画像の注目領域の視差制御をより適切に行なうことができる。特に領域ＡＲ４１内の変換関数における注目視差近傍の区間の特性を線形関数（一次関数）とすることで、注目領域周辺の奥行きの歪みを抑制することができる。

このように、視差マップの領域に応じて異なる変換特性で視差マップを補正視差マップに変換する場合、画像処理装置は、例えば図９に示すように構成される。なお、図９において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図９の画像処理装置６１は、注目領域推定部２１乃至画像合成部２５から構成される点では図３の画像処理装置１１と同じである。但し、画像処理装置６１では、注目領域推定部２１で求められた注目領域の推定結果が、視差解析部２３の最大／最小視差検出部３１と視差変換部２４に供給される。また、視差変換部２４では、注目領域の推定結果と変換特性に基づいて、領域ごとに視差マップの変換が行なわれる。

［画像変換処理の説明］
次に、図１０のフローチャートを参照して、画像処理装置６１による画像変換処理について説明する。なお、ステップＳ４１乃至ステップＳ４４の処理は、図４のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

但し、ステップＳ４１では、注目領域の推定結果が注目領域推定部２１から最大／最小視差検出部３１および視差変換部２４に供給される。

ステップＳ４５において、設定部３２は、最大／最小視差検出部３１からの最大視差、最小視差、および注目視差に基づいて、変換特性を設定する。具体的には、例えば図８を参照して説明したように、視差マップ上の注目領域と同じ位置の領域についての変換関数と、視差マップ上の注目領域と異なる位置の領域についての変換関数とが設定される。設定部３２は、領域ごとに設定した変換関数を視差変換部２４に供給する。

ステップＳ４６において、視差変換部２４は、設定部３２からの変換関数（変換特性）、および注目領域推定部２１からの推定結果に基づいて、視差検出部２２からの視差マップを補正視差マップに変換する。

すなわち、視差変換部２４は、視差マップ上の注目領域と同じ位置の領域については、その領域の変換関数を用いて視差マップの各画素の視差を補正視差に変換する。また、視差変換部２４は、視差マップ上の注目領域と異なる位置の領域については、その領域の変換関数を用いて視差マップの各画素の視差を補正視差に変換する。このように、視差マップの領域ごとに、それらの領域に対して設定された変換関数が用いられて補正視差が求められ、補正視差マップが生成される。

補正視差マップが生成されると、その後、ステップＳ４７の処理が行われて画像変換処理は終了するが、この処理は図４のステップＳ１７の処理と同様であるので、その説明は省略する。

以上のようにして、画像処理装置６１は、視差マップの領域ごと、特に注目領域と同じ領域とその他の領域について変換関数を設定し、視差マップを補正視差マップに変換する。これにより、注目領域の視差制御をより適切に行なうことができるようになる。

〈第３の実施の形態〉
［画像処理装置の構成例］
さらに以上においては、補正視差マップに基づいて立体画像の視差調整を行なう場合について説明したが、立体画像の各画素の視差、特に注目領域の視差を用いてシフト量を算出し、左眼画像Ｌと右眼画像Ｒをシフトさせることで視差調整を行なうようにしてもよい。

そのような場合、画像処理装置は、例えば図１１に示すように構成される。なお、図１１において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１１の画像処理装置９１は、注目領域推定部２１、視差検出部２２、ヒストグラム算出部１０１、ストレス値算出部１０２、シフト量算出部１０３、および画像処理部１０４から構成される。

ヒストグラム算出部１０１は、視差検出部２２からの視差マップと、注目領域推定部２１からの注目領域とに基づいて、立体画像上の領域ごとに視差のヒストグラムを生成し、ストレス値算出部１０２に供給する。ヒストグラムの生成時には、注目領域の各画素の視差に重み付けが行なわれる。

ストレス値算出部１０２は、ヒストグラム算出部１０１から供給されたヒストグラムに基づいて、左眼画像Ｌと右眼画像Ｒを所定量だけシフトさせて視差調整した場合に、視差調整後の立体画像をユーザが視聴したときに感じるストレスを示すストレス値を算出し、シフト量算出部１０３に供給する。シフト量算出部１０３は、ストレス値算出部１０２から供給されたストレス値が最小となるシフト量を算出し、画像処理部１０４に供給する。

画像処理部１０４は、供給された左眼画像Ｌおよび右眼画像Ｒを、シフト量算出部１０３からのシフト量に基づいてシフトさせて左眼画像Ｌ’および右眼画像Ｒ’を生成し、出力する。

［画像変換処理の説明］
次に、図１２のフローチャートを参照して、画像処理装置９１による画像変換処理について説明する。

ステップＳ７１において、注目領域推定部２１は、供給された左眼画像Ｌおよび右眼画像Ｒに基づいて注目領域を推定し、その推定結果をヒストグラム算出部１０１に供給する。例えば、顔検出やビジュアルアテンションなどの処理が行われて、注目領域が推定される。

具体的には例えば、顔検出では、左眼画像Ｌや右眼画像Ｒ上の人の顔が含まれる矩形領域の頂点の座標や矩形領域の大きさなどが検出される。

また、例えば画像処理装置９１が立体画像を撮像する撮像装置などである場合には、立体画像の撮像時のオートフォーカス処理で得られた情報などが用いられてもよい。すなわち、コントラスト方式のオートフォーカスでは、立体画像上のフォーカス（ピント）が合っている被写体の領域が特定されるので、ピントが合っている被写体の領域がユーザにより注目されている注目領域とされる。

このように、オートフォーカスに関する情報を利用して注目領域を推定する場合には、立体画像を撮像するユーザが注目する被写体を中心として、立体画像の視差調整が可能となる。なお、ステップＳ７１では、図４のステップＳ１１の処理と同様の処理が行われる。

ステップＳ７２において、視差検出部２２は、供給された左眼画像Ｌと右眼画像Ｒに基づいて視差を検出し、その結果得られた視差マップをヒストグラム算出部１０１に供給する。なお、ステップＳ７２では、図４のステップＳ１２の処理と同様の処理が行われる。

ステップＳ７３において、ヒストグラム算出部１０１は、視差検出部２２からの視差マップと、注目領域推定部２１からの注目領域とに基づいて、立体画像上の領域ごとに視差の分布を示すヒストグラムを生成し、ストレス値算出部１０２に供給する。

例えば、ヒストグラム算出部１０１は、図１３に示す視差マップＤＭ４１が供給された場合、視差マップＤＭ４１の中央の領域ＤＣ、左端近傍の領域ＤＬ、および右端近傍の領域ＤＲのそれぞれについて、それらの領域内の画素の視差のヒストグラムを生成する。

ここで、領域ＤＣは、立体画像上の中央の領域と同じ領域であり、領域ＤＬおよび領域ＤＲは、立体画像の左右の画枠（左右の端）部分の領域と同じ領域である。なお、以下、領域ＤＣ、領域ＤＬ、および領域ＤＲのそれぞれを、中央領域ＤＣ、左画枠領域ＤＬ、および右画枠領域ＤＲと称することとする。

例えば、ヒストグラム算出部１０１は、中央領域ＤＣのヒストグラムを生成する場合、視差マップＤＭ４１上の中央領域ＤＣ内の画素を順番に注目画素として選択していく。ヒストグラム算出部１０１は、注目画素が注目領域外の画素であれば、注目画素の視差が属するヒストグラムのビンの頻度値に１を加算し、注目画素が注目領域内の画素であれば、注目画素の視差が属するヒストグラムのビンの頻度値に所定の重み値Ｗ（但し、１＜Ｗ）を加算することで、中央領域ＤＣのヒストグラムを生成する。

なお、ヒストグラムの生成時において、例えば図１４に示すように、複数の注目領域ＡＲ５１乃至注目領域ＡＲ５３が検出され、それらの注目領域のうちのいくつかが重なっている場合には、注目領域ごとの重みのうち、最も大きい重みが用いられる。

例えば、注目領域ＡＲ５１乃至注目領域ＡＲ５３のそれぞれに対して、重みＷ１乃至重みＷ３が予め定められているとする。このような場合、例えば、注目領域ＡＲ５１乃至注目領域ＡＲ５３が重なっている領域Ｑ１１内に注目画素がある場合、重みＷ１乃至重みＷ３のうちの最も大きい値が、注目画素の視差が属するビンの頻度値に加算される。具体的には、重みＷ１乃至重みＷ３のうち、重みＷ１が最も大きい場合には、その重みＷ１が頻度値に加算されることになる。

また、注目領域ＡＲ５１と注目領域ＡＲ５３が重なっている領域Ｑ１２内に注目画素がある場合、重みＷ１と重みＷ３のうちの最も大きい値が、注目画素の視差が属するビンの頻度値に加算される。さらに、注目領域ＡＲ５３上の他の注目領域と重なっていない領域Ｑ１３内に注目画素がある場合、重みＷ３が、注目画素の視差が属するビンの頻度値に加算される。

図１２のフローチャートの説明に戻り、ヒストグラム算出部１０１は、中央領域ＤＣ、左画枠領域ＤＬ、および右画枠領域ＤＲのそれぞれについてヒストグラムを生成すると、それらのヒストグラムをストレス値算出部１０２に供給し、処理はステップＳ７４に進む。

ステップＳ７４において、ストレス値算出部１０２は、ヒストグラム算出部１０１から供給されたヒストグラムに基づいてストレス値を算出し、シフト量算出部１０３に供給する。

例えば、ストレス値算出部１０２は、中央領域ＤＣ、左画枠領域ＤＬ、および右画枠領域ＤＲの各領域について、予めストレス関数を記録している。ここで、ストレス関数とは、立体画像の視差と、立体画像の視聴時におけるユーザのストレスとの関係を示す関数である。

具体的には、中央領域ＤＣのストレス関数stress_func(d)は、図１５の曲線Ｆ５１で表される関数とされる。なお、図１５において、横軸は視差を示しており、縦軸はストレス値を示している。また、視差の値−ｔｈ_ｆａｒおよびｔｈ_ｎｅａｒは、許容視差範囲などから予め算出された値である。

曲線Ｆ５１で表されるストレス関数stress_func(d)は、視差ｄが−ｔｈ_ｆａｒ未満の区間では４次関数となっており、視差ｄが−ｔｈ_ｆａｒ以上ｔｈ_ｎｅａｒ以下の区間では２次関数となっており、視差ｄがｔｈ_ｎｅａｒより大きい区間では１次関数となっている。

このようなストレス関数stress_func(d)は、次式（７）で表される。

また、左画枠領域ＤＬと右画枠領域ＤＲのストレス関数stress_func_border(d)は、図１６の折れ線Ｆ６１で表される関数とされる。なお、図１６において、横軸は視差を示しており、縦軸はストレス値を示している。

折れ線Ｆ６１で表されるストレス関数stress_func_border(d)は、視差ｄが０未満の区間では０となっており、視差ｄが０以上の区間では１次関数となっている。

このようなストレス関数stress_func_border(d)は、次式（８）で表される。

なお、式（８）において、BORDER_RATIOは、左画枠領域ＤＬと右画枠領域ＤＲに対する重みを示しており、重みBORDER_RATIOが大きいほど、左画枠領域ＤＬと右画枠領域ＤＲのストレス値の算出への寄与率が高くなる。また、図１６の折れ線Ｆ６１で表されるストレス関数stress_func_border(d)では、重みBORDER_RATIO＝１となっている。

ストレス値算出部１０２は、中央領域ＤＣのストレス関数stress_func(d)、左画枠領域ＤＬと右画枠領域ＤＲのストレス関数stress_func_border(d)、および各領域のヒストグラムに基づいて次式（９）を計算し、シフト量ｓに対するストレス値stress(s)を算出する。

なお、式（９）では、Hist_C(d)は、中央領域ＤＣのヒストグラムにおける視差ｄが属すビンの頻度値を示している。また、Hist_L(d)およびHist_R(d)は、それぞれ左画枠領域ＤＬと右画枠領域ＤＲのヒストグラムにおける視差ｄが属すビンの頻度値を示している。さらに、式（９）では、視差ｄの検出範囲は、VX_MIN≦ｄ≦VX_MAXとされている。

ここで、式（９）のストレス値stress(s)の右辺の第１項は、中央領域ＤＣのストレス値を表している。すなわち、立体画像をシフト量ｓだけシフトさせて視差調整した場合における検出範囲内の各視差について、その視差のストレス値と、その視差の頻度値との積が求められ、各視差について求めた積の総和が中央領域ＤＣの最終的なストレス値とされる。

また、ストレス値stress(s)の右辺の第２項は、左画枠領域ＤＬと右画枠領域ＤＲのストレス値を表している。すなわち、立体画像をシフト量ｓだけシフトさせて視差調整した場合における検出範囲内の各視差について、その視差のストレス値と、その視差の左画枠領域ＤＬと右画枠領域ＤＲのヒストグラムの頻度値の和との積が求められる。そして、各視差について求めた積の総和が左右の画枠部分（左画枠領域ＤＬと右画枠領域ＤＲ）の最終的なストレス値とされる。

このようにして求められた中央領域ＤＣのストレス値と、左右の画枠部分のストレス値との和がストレス値stress(s)とされる。

このように、ストレス値stress(s)の算出時には、立体画像の各画素を単位として、各画素のストレス値を加算することで立体画像全体のストレス値stress(s)が算出される。したがって、面積が大きい支配的な被写体、つまり主要な被写体に重きをおいて視差制御を行なうことができる。

また、視差分布の検出に多少のエラーが生じたとしても、立体画像の視差制御に対する影響を少なくすることができる。さらに、ストレス値stress(s)を用いて立体画像の視差制御を行なえば、立体画像の左右の画枠部分を考慮した視差制御が可能である。

ステップＳ７５において、シフト量算出部１０３は、ストレス値算出部１０２から供給されたストレス値stress(s)が最小となるシフト量ｓを算出し、画像処理部１０４に供給する。なお、シフト量ｓは、視差ｄの検出範囲と同じ範囲、つまりVX_MIN≦ｓ≦VX_MAXの範囲で検出が行なわれる。

具体的には、シフト量算出部１０３は次式（１０）の演算を行ない、ストレス値stress(s)が最小となるシフト量ｓを求める。なお、式（１０）の算出時には、シフト量算出部１０３は立体画像の視差分布が平坦（フラット）である場合も想定し、シフト量ｓ＝０である場合のストレス値stress(0)を最初に求めて、求められた値を一時的にストレス値stress(s)が最小となるシフト量ｓとする。

ステップＳ７６において、画像処理部１０４は、供給された左眼画像Ｌおよび右眼画像Ｒを、シフト量算出部１０３からのシフト量ｓに基づいてシフトさせ、左眼画像Ｌ’および右眼画像Ｒ’を生成する。

例えば、画像処理部１０４は、左眼画像Ｌを−ｓ／２だけ視差方向にシフトさせて左眼画像Ｌ’とするとともに、右眼画像Ｒをｓ／２だけ視差方向にシフトさせて右眼画像Ｒ’とし、立体画像の視差調整を行なう。画像処理部１０４は、このようにして得られた左眼画像Ｌ’および右眼画像Ｒ’からなる立体画像を、視差調整後の立体画像として出力し、画像変換処理は終了する。

以上のようにして画像処理装置９１は、立体画像の領域ごとに注目領域に重みを付けてヒストグラムを生成し、生成したヒストグラムと領域ごとのストレス関数とからストレス値を求める。そして、画像処理装置９１は、ストレス値から得られる適切なシフト量に基づいて立体画像をシフトさせ、視差調整を行なう。

このように、注目領域を考慮してシフト量を算出することで、より適切な視差制御を実現することができ、注目領域の被写体をより見やすくすることができるとともに、立体画像を視聴するユーザの疲労を最小限に抑えることができるようになる。

具体的には、例えば図１７に示すように、注目領域を考慮せずに視差調整を行なった立体画像の視差分布と、注目領域を考慮して視差調整を行なった立体画像の視差分布とを比較すると、注目領域を考慮した方がより適切な視差制御が行なわれていることが分かる。

なお、図１７において、図中、左側には注目領域を考慮せずに視差調整を行なった立体画像の視差分布を示すヒストグラムが示されており、図中、右側には注目領域を考慮して視差調整を行なった立体画像の視差分布を示すヒストグラムが示されている。また、各ヒストグラムにおいて、横軸は視差を示しており、縦軸は各視差の頻度値を示している。ここで、注目領域を考慮せずに行なわれる視差調整とは、注目領域の画素の視差に対して重み付けを行なわずに図１２の画像変換処理を行う視差調整をいう。

図中、左側に示すヒストグラムでは、曲線Ｃ１１乃至曲線Ｃ１３は、視差調整後の立体画像の中央領域ＤＣ、左画枠領域ＤＬ、および右画枠領域ＤＲのそれぞれの領域における視差の分布を示している。

また、ｘ１１は立体画像を表示させるディスプレイ面の位置を示しており、ｘ１２は曲線Ｃ１１のピーク位置、つまり立体画像上の前景（主要被写体）の定位位置を示している。さらに、ｘ１３は、曲線Ｃ１２と曲線Ｃ１３から定まる画枠部分の視差の頻度値のピーク位置、つまり立体画像上の背景の定位位置を示している。

図中、左側のヒストグラムから分かるように、注目領域を考慮せずにシフト量を求めると、前景となる主要な被写体がユーザ側に飛び出しすぎてしまい、背景もディスプレイ面に近く、奥行き感が不足してしまう。

これに対して、図中、右側に示すヒストグラムは、画像処理装置９１により視差調整されて得られた立体画像の視差分布を示すヒストグラムである。このヒストグラムでは、曲線Ｃ２１乃至曲線Ｃ２３は、視差調整後の立体画像の中央領域ＤＣ、左画枠領域ＤＬ、および右画枠領域ＤＲのそれぞれの領域における視差の分布を示している。

また、ｘ２１は立体画像を表示させるディスプレイ面の位置を示しており、ｘ２２は曲線Ｃ２１のピーク位置、つまり立体画像上の前景の定位位置を示している。さらに、ｘ２３は、曲線Ｃ２２と曲線Ｃ２３から定まる立体画像上の背景の定位位置を示している。

図中、右側のヒストグラムから分かるように、注目領域を考慮してシフト量を求めると、前景となる主要な被写体のユーザ側への飛び出しを抑えることができ、前景と背景がディスプレイ面に対してバランスよく定位していることが分かる。

なお、以上においては、立体画像を構成する左眼画像Ｌと右眼画像Ｒをそのままの大きさで処理対象として用いて、シフト量ｓを算出する場合について説明したが、左眼画像Ｌと右眼画像Ｒを所定の縮小率で縮小させてからシフト量ｓを算出するようにしてもよい。そのような場合、縮小された左眼画像Ｌと右眼画像Ｒが用いられて注目領域の検出やヒストグラムの生成が行なわれて、シフト量が算出される。

また、この場合、立体画像の視差調整時には、算出されたシフト量が、左眼画像Ｌや右眼画像Ｒの縮小率の逆数で拡大されて視差調整に用いられる。すなわち、拡大されたシフト量に基づいて、左眼画像Ｌや右眼画像Ｒがシフトされる。このように立体画像を縮小してシフト量を算出すれば、より少ない処理量で、より迅速に立体画像の視差調整を行なうことができる。

さらに、画像処理装置９１では、各領域のストレス関数を変更することで、立体画像の視差の制御方法を自由に変更することができるので、立体画像や視聴環境に応じてより適切な視差制御を実現することができるようになる。

〈第４の実施の形態〉
［画像処理装置の構成例］
また、上述したシフト量ｓにより視差調整を行なった後、変換関数によりさらに視差の調整を行なって左眼画像Ｌ’および右眼画像Ｒ’を生成するようにしてもよい。

そのような場合、画像処理装置は、図１８に示すように構成される。なお、図１８において、図３または図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１８の画像処理装置１３１は、注目領域推定部２１、視差検出部２２、ヒストグラム算出部１０１、ストレス値算出部１０２、シフト量算出部１０３、視差解析部１４１、視差変換部２４、および画像合成部２５から構成される。

画像処理装置１３１では、注目領域推定部２１で得られた注目領域の推定結果は、視差解析部１４１およびヒストグラム算出部１０１に供給される。また、視差検出部２２で得られた視差マップも視差解析部１４１およびヒストグラム算出部１０１に供給される。さらに、シフト量算出部１０３で得られたシフト量は、視差解析部１４１に供給される。

視差解析部１４１は、注目領域推定部２１からの注目領域、視差検出部２２からの視差マップ、およびシフト量算出部１０３からのシフト量に基づいて変換特性を設定し、視差変換部２４に供給する。視差解析部１４１は、最大／最小視差検出部１５１および設定部１５２を備えている。

最大／最小視差検出部１５１は、シフト量算出部１０３からのシフト量に基づいて注目領域推定部２１からの注目領域と、視差検出部２２からの視差マップの各画素の視差とをシフトさせて注目視差、最大視差、および最小視差を検出し、設定部１５２に供給する。また、最大／最小視差検出部１５１は、シフト量に基づいて補正した視差マップを視差変換部２４に供給する。

設定部１５２は、最大／最小視差検出部１５１からの注目視差、最大視差、および最小視差に基づいて変換特性を設定し、視差変換部２４に供給する。

［画像変換処理の説明］
次に、図１９のフローチャートを参照して、画像処理装置１３１による画像変換処理について説明する。なお、ステップＳ１０１およびステップＳ１０２の処理は、図４のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。但し、ステップＳ１０１で得られた注目領域、およびステップＳ１０２で得られた視差マップは、ヒストグラム算出部１０１および最大／最小視差検出部１５１に供給される。

ステップＳ１０３において、ヒストグラム算出部１０１は、注目領域推定部２１からの注目領域と、視差検出部２２からの視差マップに基づいて、中央領域ＤＣ、左画枠領域ＤＬ、および右画枠領域ＤＲのヒストグラムを生成し、ストレス値算出部１０２に供給する。

各領域のヒストグラムが生成されると、その後、ステップＳ１０４およびステップＳ１０５の処理が行われてシフト量が算出されるが、これらの処理は図１２のステップＳ７４およびステップＳ７５の処理と同様であるので、その説明は省略する。ステップＳ１０５においてシフト量が算出されると、シフト量算出部１０３は算出したシフト量を最大／最小視差検出部１５１に供給する。

ステップＳ１０６において、最大／最小視差検出部１５１は、シフト量算出部１０３から供給されたシフト量ｓに基づいて、注目領域推定部２１からの注目領域の位置と、視差検出部２２からの視差マップとを補正する。例えば、注目領域の位置がシフト量ｓだけシフト（平行移動）され、視差マップの各画素の画素値（視差）にシフト量ｓが加算され、補正後の視差マップとされる。また、最大／最小視差検出部１５１は、シフト量ｓに基づいて補正した視差マップを視差変換部２４に供給する。

注目領域および視差マップが補正されると、その後、ステップＳ１０７乃至ステップＳ１１１の処理が行われて画像変換処理は終了するが、これらの処理は図４のステップＳ１３乃至ステップＳ１７の処理と同様であるので、その説明は省略する。

但し、ステップＳ１０７およびステップＳ１０８では、補正された注目領域と視差マップに基づいて、注目領域の視差と、最大視差および最小視差が求められる。また、ステップＳ１１０では、視差変換部２４は、最大／最小視差検出部１５１から供給された補正後の視差マップを、設定部１５２からの変換関数を用いて補正視差マップに変換し、画像合成部２５に供給する。さらに、視差変換部２４は、必要に応じて、補正前の視差マップを最大／最小視差検出部１５１から取得して、画像合成部２５に供給する。

また、画像処理装置１３１では、シフト量ｓにより視差マップや注目領域が補正されるため、この補正により例えば図２０に示すように、変換関数がシフトされることになる。なお、図２０において、横軸は視差マップ上の各画素の視差ｄ_ｉを示しており、縦軸は補正視差ｄ_ｏを示している。また、図中、折れ線Ｆ７１は変換関数のグラフを示している。

例えば、補正前の視差マップにおける最大視差、注目視差、および最小視差がｄｂ_ｍａｘ、ｄｂ_ａｔ、およびｄｂ_ｍｉｎであったとすると、注目領域と視差マップのシフト量ｓによる補正により、これらの視差はｄ_ｍａｘ、ｄ_ａｔ、およびｄ_ｍｉｎにシフトされる。そして、このシフトが行なわれた後、視差マップ上の各画素の視差が許容視差範囲内の視差であり、かつ注目視差ｄ_ａｔが０に変換される変換関数が設定されることになる。図２０の例では、注目視差ｄ_ａｔは０となっており、折れ線Ｆ７１により表される非線形の変換関数では、この注目視差ｄ_ａｔは補正視差ｄ_ｏ＝０に変換される。

以上のように、画像処理装置１３１は、領域ごとのヒストグラムを生成してシフト量ｓを算出し、そのシフト量ｓにより注目領域と視差マップの補正を行なってから変換関数を設定し、補正視差マップを生成する。

このように、シフト量ｓにより視差マップと注目領域を補正すれば、補正後の注目領域の視差をほぼ０とすることができる。そして、このようにして補正された視差マップと注目領域から変換関数を設定すれば、立体画像の各画素の視差を、適切な視差範囲内の視差に変換することができ、より適切な視差制御が可能となる。

〈第５の実施の形態〉
［画像処理装置の構成例］
さらに、変換関数により視差マップを補正視差マップに変換し、補正視差マップを用いて立体画像の視差調整を行なう場合に、注目領域や変換関数の時間変動を考慮して、これらの注目領域や変換関数が平滑化されるようにしてもよい。

そのような場合、画像処理装置は例えば図２１に示すように構成される。なお、図２１において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２１の画像処理装置１８１は、注目領域推定部２１、平滑化部１９１、視差検出部２２、視差解析部２３、視差変換部２４、および画像合成部２５から構成される。画像処理装置１８１の構成は、新たに平滑化部１９１が設けられた点、および視差変換部２４に平滑化部２０１が設けられた点で図３の画像処理装置１１と異なり、他の構成は画像処理装置１１の構成と同じである。

平滑化部１９１は、注目領域推定部２１から供給された注目領域を一定期間保持するとともに、保持している注目領域を平滑化して最大／最小視差検出部３１に供給する。

また、視差変換部２４に設けられた平滑化部２０１は、視差解析部２３から供給された変換関数に基づいて生成された変換テーブルを一定期間保持し、保持している変換テーブルを平滑化する。視差変換部２４は、平滑化部２０１により平滑化された変換テーブルを用いて視差マップを補正視差マップに変換する。

［画像変換処理の説明］
次に、図２２のフローチャートを参照して、画像処理装置１８１により行われる画像変換処理について説明する。

ステップＳ１４１において、注目領域推定部２１は、供給された左眼画像Ｌおよび右眼画像Ｒに基づいて注目領域を推定し、その推定結果を平滑化部１９１に供給する。なお、ステップＳ１４１では、図４のステップＳ１１と同様の処理が行われる。

ステップＳ１４２において、平滑化部１９１は、過去に注目領域推定部２１から供給されたいくつかの注目領域と、今回、注目領域推定部２１から供給された注目領域とを用いて注目領域を平滑化し、最大／最小視差検出部３１に供給する。

例えば、図２３に示すように、現フレームを含む、連続するＮ個のフレームの左眼画像Ｌ−１乃至左眼画像Ｌ−Ｎ上の注目領域ＴＲ−１乃至注目領域ＴＲ−Ｎが平滑化されて、その結果得られた注目領域ＴＲ−Ｎ’が現フレームの左眼画像Ｌ−Ｎの注目領域とされるとする。

ここで、左眼画像Ｌ−１乃至左眼画像Ｌ−（Ｎ−１）（但し、左眼画像Ｌ−３乃至左眼画像Ｌ−（Ｎ−１）は図示せず）は、過去のフレームの左眼画像であるとする。この場合、平滑化部１９１は、矩形の注目領域ＴＲ−１乃至注目領域ＴＲ−Ｎの各頂点の座標に対してフィルタ処理を施し、その結果得られた座標を平滑化後の注目領域ＴＲ−Ｎ’の各頂点の座標とする。

したがって、例えば注目領域ＴＲ−１乃至注目領域ＴＲ−Ｎの左上の頂点である頂点Ｕ−１乃至頂点Ｕ−Ｎを用いたフィルタ処理が行われ、これにより得られた座標が現フレームの注目領域ＴＲ−Ｎ’の左上の頂点Ｕ−Ｎ’の座標とされる。

ここで、平滑化は、平均値や多数決、IIR(Infinite Impulse Response)フィルタを用いたフィルタ処理などとされる。したがって、例えば平均値により平滑化が行なわれる場合には、頂点Ｕ−１乃至頂点Ｕ−Ｎの各座標の平均値が頂点Ｕ−Ｎ’の座標とされる。

このように、注目領域を平滑化することで、注目領域の時間変動を抑制し、安定した視差制御を行なうことができる。つまり、立体画像上の視差が急激に変化することを抑制することができる。

図２２のフローチャートの説明に戻り、注目領域が平滑化されると、その後、ステップＳ１４３乃至ステップＳ１４６の処理が行われるが、これらの処理は図４のステップＳ１２乃至ステップＳ１５の処理と同様であるので、その説明は適宜省略する。但し、ステップＳ１４５では、平滑化された注目領域に基づいて注目領域の視差が検出される。

設定部３２により現フレームの立体画像の変換関数（変換特性）が設定されると、視差変換部２４は、設定部３２から供給された変換関数に基づいて変換テーブルを生成する。この変換テーブルは、変換関数の入力および出力である視差ｄ_ｉと補正視差ｄ_ｏとが対応付けられて記録されているテーブルである。

ステップＳ１４７において、平滑化部２０１は、視差変換部２４により生成された現フレームの変換テーブルと、記録している過去数フレーム分の変換テーブルとを用いて変換テーブルの平滑化を行なう。

例えば、それらの変換テーブルの同じ視差ｄ_ｉと対応付けられている補正視差ｄ_ｏを用いたフィルタ処理が行われ、その結果得られた補正視差が、現フレームの平滑化後の変換テーブルにおける、視差ｄ_ｉに対応する補正視差となる。変換テーブルの平滑化も、例えば平均値や多数決、IIRフィルタを用いたフィルタ処理などとされる。

このような変換テーブルの平滑化は、例えば図２４に示すように連続する複数フレームの変換関数の平滑化と等価である。なお、図２４において、折れ線ＦＵ−１乃至折れ線ＦＵ−Ｎ（但し、折れ線ＦＵ−２乃至折れ線ＦＵ−（Ｎ−１）は図示せず）のそれぞれは、各フレームの変換関数を示している。また、変換関数のグラフにおける横軸は視差ｄ_ｉを示しており、縦軸は補正視差ｄ_ｏを示している。

このように変換テーブルを平滑化することで、視差の変換特性の時間変動を抑制し、安定した視差制御を行なうことができる。つまり、立体画像上の視差が急激に変化することを抑制することができる。

図２２のフローチャートの説明に戻り、変換テーブルの平滑化が行なわれると、その後、ステップＳ１４８およびステップＳ１４９の処理が行われて画像変換処理は終了する。なお、これらの処理は図４のステップＳ１６およびステップＳ１７の処理と同様であるので、その説明は省略する。但し、ステップＳ１４８では、平滑化により得られた変換テーブルが用いられて視差マップが補正視差マップに変換される。

以上のようにして画像処理装置１８１は、注目領域および変換テーブルを平滑化して補正視差マップを生成し、立体画像の視差を調整する。これにより、より適切かつ安定した視差制御を行なうことができる。

なお、この実施の形態では、注目領域と変換テーブルの両方が平滑化される場合を例として説明したが、注目領域と変換テーブルのうちの何れか一方だけが平滑化されるようにしてもよい。また、上述した第２の実施の形態乃至第４の実施の形態においても、注目領域や変換テーブルが平滑化されるようにしてもよい。

〈第６の実施の形態〉
［画像処理装置の構成例］
さらに、以上においては、注目領域を推定し、注目領域を考慮した視差制御を行なう場合を例として説明したが、立体画像のシーン認識を行い、その認識結果を視差制御に用いるようにしてもよい。

そのような場合、画像処理装置は図２５に示すように構成される。なお、図２５において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２５の画像処理装置２３１は、シーン認識部２４１、視差検出部２２、視差解析部２４２、視差変換部２４３、および画像合成部２５から構成される。

シーン認識部２４１は、供給された左眼画像Ｌおよび右眼画像Ｒのうちの少なくとも一方に対してシーン認識を行い、その認識結果を視差変換部２４３に供給する。また、視差検出部２２は、供給された左眼画像Ｌおよび右眼画像Ｒから視差マップを生成し、視差解析部２４２および視差変換部２４３に供給する。

視差解析部２４２は、視差検出部２２からの視差マップに基づいて変換関数（変換特性）を設定し、視差変換部２４３に供給する。視差変換部２４３は、シーン認識部２４１からのシーン認識結果、視差検出部２２からの視差マップ、および視差解析部２４２からの変換関数に基づいて補正視差マップを生成し、画像合成部２５に供給する。

［視差変換部の構成例］
また、図２５の視差変換部２４３は、より詳細には図２６に示すように構成される。すなわち、視差変換部２４３は、変換テーブル生成部２７１、視差変換マップ生成部２７２、視差マップ合成部２７３、および視差マップ変換部２７４から構成される。

変換テーブル生成部２７１は、視差解析部２４２から供給された変換関数に基づいて変換テーブルを生成し、視差マップ変換部２７４に供給する。視差変換マップ生成部２７２は、シーン認識部２４１から供給されたシーン認識結果に基づいて視差変換マップを生成し、視差マップ合成部２７３に供給する。ここで、視差変換マップは、立体画像のシーンに応じて視差マップを補正するための補正分の視差を示すマップである。

視差マップ合成部２７３は、視差検出部２２からの視差マップと、視差変換マップ生成部２７２からの視差変換マップとを合成し、その結果得られた合成視差マップを視差マップ変換部２７４に供給する。視差マップ変換部２７４は、変換テーブル生成部２７１からの変換テーブルを用いて、視差マップ合成部２７３からの合成視差マップの各画素の視差を変換し、その結果得られた補正視差マップを画像合成部２５に供給する。

［画像変換処理の説明］
次に、図２７のフローチャートを参照して、画像処理装置２３１により行われる画像変換処理について説明する。

ステップＳ１７１において、シーン認識部２４１は、供給された左眼画像Ｌおよび右眼画像Ｒのうちの少なくとも一方に対してシーン認識を行い、その認識結果を視差変換部２４３に供給する。

例えば、シーン認識部２４１は、立体画像が、予め定められた「街並み」、「風景」、「屋内」、「ポートレート」などのいくつかのシーンのうちの何れのシーンの画像であるかを特定し、特定されたシーンを示す情報を、シーン認識の結果とする。これにより、立体画像が撮像されたシーンが特定される。

ステップＳ１７２において、視差検出部２２は、供給された左眼画像Ｌおよび右眼画像Ｒに基づいて立体画像の各画素の視差を検出し、その結果得られた視差マップを視差解析部２４２および視差変換部２４３に供給する。

ステップＳ１７３において、視差解析部２４２は、視差検出部２２から供給された視差マップ上の画素の視差の最大視差と最小視差を検出する。そして、ステップＳ１７４において、視差解析部２４２は、検出した最大視差および最小視差と、予め定められた許容視差範囲とに基づいて、視差マップ上の各画素の視差が許容視差範囲内の視差となるように、変換特性（変換関数）を設定する。また、視差解析部２４２は、設定した変換関数を変換テーブル生成部２７１に供給する。

ステップＳ１７５において、変換テーブル生成部２７１は、視差解析部２４２から供給された変換関数に基づいて変換テーブルを生成し、視差マップ変換部２７４に供給する。

ステップＳ１７６において、視差変換マップ生成部２７２は、シーン認識部２４１から供給されたシーン認識結果に基づいて視差変換マップを生成し、視差マップ合成部２７３に供給する。なお、より詳細には、視差変換マップ生成部２７２は、予め各シーンに対して定められた視差変換マップを記録しており、シーン認識結果により示されるシーンの視差変換マップを選択して視差マップ合成部２７３に供給する。

ステップＳ１７７において、視差マップ合成部２７３は、視差検出部２２からの視差マップと、視差変換マップ生成部２７２からの視差変換マップとを合成し、その結果得られた合成視差マップを視差マップ変換部２７４に供給する。

例えば、図２８に示すように、視差変換マップ生成部２７２には、シーンごとの視差変換マップＣＭ１１乃至視差変換マップＣＭ１３などが記録されている。

図２８の例では、視差変換マップＣＭ１１乃至視差変換マップＣＭ１３のそれぞれは、「街並み」、「風景」、および「屋内」の各シーンの視差変換マップとなっている。

例えば、視差変換マップＣＭ１１は、「街並み」のシーンの視差変換マップである。そのため、視差変換マップＣＭ１１によれば、立体画像の中央部分の領域の被写体がユーザから見てより奥行き側に定位し、立体画像の端近傍の領域の被写体は、ユーザから見てより手前側に定位するように視差マップが補正される。例えば、視差変換マップＣＭ１１の中央の領域の各画素の画素値（視差）は負の値とされ、端近傍の領域の各画素の画素値は正の値となっている。

通常、街並みの画像では、画像中央が道路となっており、画像の端近傍の領域には道路の両側にある建物が位置していることが多い。そこで、道路の部分がより奥側に引っ込み、建物の部分が手前側に飛び出すように視差マップの各画素の視差を補正すれば、立体画像の立体感をより強調することができる。

また、視差変換マップＣＭ１２は、「風景」のシーンの視差変換マップである。そのため、視差変換マップＣＭ１２によれば、立体画像の図中、上側の領域の被写体がより奥側に定位し、立体画像の下側の領域の被写体は、より手前側に定位するように視差マップが補正される。

通常、風景の画像では、画像の上側は空となっており、画像の下側にその他の被写体が位置していることが多い。そこで、画像の上側に位置する空の部分がより奥側に引っ込み、その他の主要な被写体の部分が手前側に飛び出すように視差マップの各画素の視差を補正すれば、立体画像の立体感をより強調することができる。

さらに、視差変換マップＣＭ１３は、「屋内」のシーンの視差変換マップである。そのため、視差変換マップＣＭ１３では、立体画像の全体、つまり視差マップ全体が均一に視差補正されるようになされている。これは、屋内で撮像した画像では、背景が壁などとなるため、特に遠近感を強調する必要がないことが多いためである。

視差変換マップ生成部２７２では、このように予め用意された視差変換マップのうちの何れかが選択される。例えば、シーン「街並み」が認識され、視差変換マップＣＭ１１が選択されたとすると、視差マップ合成部２７３では、視差マップＤＭ６１と視差変換マップＣＭ１１とが合成されて、合成視差マップＢＭ１１とされる。

すなわち、合成視差マップＢＭ１１の注目する画素を注目画素とすると、注目画素と同じ位置にある視差マップＤＭ６１と視差変換マップＣＭ１１の画素の画素値の和が求められ、得られた和の値が注目画素の画素値とされる。

図２７のフローチャートの説明に戻り、合成視差マップが生成されると、処理はステップＳ１７７からステップＳ１７８に進む。

ステップＳ１７８において、視差マップ変換部２７４は、変換テーブル生成部２７１からの変換テーブルを用いて、視差マップ合成部２７３からの合成視差マップの各画素の視差を変換し、その結果得られた補正視差マップを画像合成部２５に供給する。また、視差マップ変換部２７４は、必要に応じて視差マップ合成部２７３から視差マップを取得し、画像合成部２５に供給する。

補正視差マップが生成されると、その後、ステップＳ１７９の処理が行われて画像変換処理は終了するが、この処理は図４のステップＳ１７と同様であるので、その説明は省略する。

以上のようにして画像処理装置２３１は、シーン認識を行い、その認識結果に応じて視差マップを補正して合成視差マップとするとともに、合成視差マップを変換テーブルに基づいて補正視差マップに変換し、立体画像の画像変換を行なう。

このように、シーン認識の結果に応じて視差マップを補正することで、立体画像のシーンに応じて適切に立体画像の視差を強調することができる。すなわち、より適切な視差制御を行なうことができる。

なお、画像処理装置２３１においても立体画像の注目領域を推定し、その推定結果に基づいて変換関数を設定するようにしてもよいし、シーン認識結果を用いて変換関数を設定するようにしてもよい。

例えば、シーン認識結果を用いて変換関数を設定する場合、シーン認識の結果から視差変換マップが特定できるので、合成視差マップの最大視差と最小視差を特定することが可能である。したがって、合成視差マップの各画素の視差が許容視差範囲内の視差となるように、合成視差マップの最大視差と最小視差に基づいて変換関数を設定すれば、より適切な視差制御を行なうことができるようになる。

また、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は、以下の構成とすることも可能である。

［１］
ユーザが注目すると推定される立体画像上の注目領域を推定する注目領域推定部と、
前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、
前記注目領域および前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定める設定部と、
前記変換特性に基づいて前記視差マップを補正する視差変換部と
を備える画像処理装置。
［２］
補正された前記視差マップに基づいて、前記立体画像の視差を補正する画像合成部をさらに備える
［１］に記載の画像処理装置。
［３］
前記視差マップにより示される視差の最大値および最小値を検出するとともに、前記視差マップと前記注目領域とに基づいて、前記注目領域の視差を検出する最大／最小視差検出部をさらに備え、
前記設定部は、前記最大値、前記最小値、および前記注目領域の視差に基づいて、前記変換特性を定める
［１］または［２］に記載の画像処理装置。
［４］
前記設定部は、前記注目領域の視差が予め定められた所定の大きさの視差に変換されるように前記変換特性を定める
［３］に記載の画像処理装置。
［５］
前記設定部は、前記立体画像上の前記注目領域と、前記立体画像上の前記注目領域外の領域とに対して、それぞれ異なる前記変換特性を定める
［１］乃至［４］の何れかに記載の画像処理装置。
［６］
前記設定部は、前記注目領域の視差を含む所定の視差の区間において、視差が線形変換されるように、前記立体画像上の前記注目領域の前記変換特性を定める
［５］に記載の画像処理装置。
［７］
前記注目領域または前記変換特性を平滑化する平滑化部をさらに備える
［１］乃至［６］の何れかに記載の画像処理装置。

１１ 画像処理装置， ２１ 注目領域推定部， ２２ 視差検出部， ２３ 視差解析部， ２４ 視差変換部， ２５ 画像合成部， １０１ ヒストグラム算出部， １０２ ストレス値算出部， １０３ シフト量算出部， １４１ 視差解析部， １９１ 平滑化部， ２０１ 平滑化部， ２４１ シーン認識部， ２４２ 視差解析部， ２４３ 視差変換部

Claims (15)

1. ユーザが注目すると推定される立体画像上の注目領域を推定する注目領域推定部と、
   前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、
   前記注目領域および前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定める設定部と、
   前記変換特性に基づいて前記視差マップを補正する視差変換部と
   を備える画像処理装置。
2. 補正された前記視差マップに基づいて、前記立体画像の視差を補正する画像合成部をさらに備える
   請求項１に記載の画像処理装置。
3. 前記視差マップにより示される視差の最大値および最小値を検出するとともに、前記視差マップと前記注目領域とに基づいて、前記注目領域の視差を検出する最大／最小視差検出部をさらに備え、
   前記設定部は、前記最大値、前記最小値、および前記注目領域の視差に基づいて、前記変換特性を定める
   請求項２に記載の画像処理装置。
4. 前記設定部は、前記注目領域の視差が予め定められた所定の大きさの視差に変換されるように前記変換特性を定める
   請求項３に記載の画像処理装置。
5. 前記設定部は、前記立体画像上の前記注目領域と、前記立体画像上の前記注目領域外の領域とに対して、それぞれ異なる前記変換特性を定める
   請求項４に記載の画像処理装置。
6. 前記設定部は、前記注目領域の視差を含む所定の視差の区間において、視差が線形変換されるように、前記立体画像上の前記注目領域の前記変換特性を定める
   請求項５に記載の画像処理装置。
7. 前記注目領域または前記変換特性を平滑化する平滑化部をさらに備える
   請求項６に記載の画像処理装置。
8. ユーザが注目すると推定される立体画像上の注目領域を推定する注目領域推定部と、
   前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、
   前記注目領域および前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定める設定部と、
   前記変換特性に基づいて前記視差マップを補正する視差変換部と
   を備える画像処理装置の画像処理方法であって、
   前記注目領域推定部が前記注目領域を推定し、
   前記視差検出部が前記視差マップを生成し、
   前記設定部が前記変換特性を定め、
   前記視差変換部が前記視差マップを補正する
   ステップを含む画像処理方法。
9. ユーザが注目すると推定される立体画像上の注目領域を推定し、
   前記立体画像の視差を検出して、前記立体画像の各領域の視差を示す視差マップを生成し、
   前記注目領域および前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定め、
   前記変換特性に基づいて前記視差マップを補正する
   ステップを含む処理をコンピュータに実行させるプログラム。
10. ユーザが注目すると推定される立体画像上の注目領域を推定する注目領域推定部と、
    前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、
    前記注目領域の視差に重みを付けて、前記視差マップにより示される前記立体画像の視差のヒストグラムを生成するヒストグラム生成部と、
    前記ヒストグラムに基づいて、前記立体画像の視差の補正量を示すシフト量を算出するシフト量算出部と、
    前記シフト量に基づいて、前記立体画像を構成する左眼画像または右眼画像の少なくとも一方をシフトさせ、前記立体画像の視差を補正する画像処理部と
    を備える画像処理装置。
11. ユーザが注目すると推定される立体画像上の注目領域を推定する注目領域推定部と、
    前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、
    前記注目領域の視差に重みを付けて、前記視差マップにより示される前記立体画像の視差のヒストグラムを生成するヒストグラム生成部と、
    前記ヒストグラムに基づいて、前記立体画像の視差の補正量を示すシフト量を算出するシフト量算出部と、
    前記シフト量に基づいて、前記立体画像を構成する左眼画像または右眼画像の少なくとも一方をシフトさせ、前記立体画像の視差を補正する画像処理部と
    を備える画像処理装置の画像処理方法であって、
    前記注目領域推定部が前記注目領域を推定し、
    前記視差検出部が前記視差マップを生成し、
    前記ヒストグラム生成部が前記ヒストグラムを生成し、
    前記シフト量算出部が前記シフト量を算出し、
    前記画像処理部が前記立体画像の視差を補正する
    ステップを含む画像処理方法。
12. ユーザが注目すると推定される立体画像上の注目領域を推定し、
    前記立体画像の視差を検出して、前記立体画像の各領域の視差を示す視差マップを生成し、
    前記注目領域の視差に重みを付けて、前記視差マップにより示される前記立体画像の視差のヒストグラムを生成し、
    前記ヒストグラムに基づいて、前記立体画像の視差の補正量を示すシフト量を算出し、
    前記シフト量に基づいて、前記立体画像を構成する左眼画像または右眼画像の少なくとも一方をシフトさせ、前記立体画像の視差を補正する
    ステップを含む処理をコンピュータに実行させるプログラム。
13. 立体画像に対するシーン認識を行なうシーン認識部と、
    前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、
    前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定める設定部と、
    前記変換特性および前記シーン認識の結果に基づいて前記視差マップを補正する視差変換部と
    を備える画像処理装置。
14. 立体画像に対するシーン認識を行なうシーン認識部と、
    前記立体画像の視差を検出し、前記立体画像の各領域の視差を示す視差マップを生成する視差検出部と、
    前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定める設定部と、
    前記変換特性および前記シーン認識の結果に基づいて前記視差マップを補正する視差変換部と
    を備える画像処理装置の画像処理方法であって、
    前記シーン認識部が前記シーン認識を行い、
    前記視差検出部が前記視差マップを生成し、
    前記設定部が前記変換特性を定め、
    前記視差変換部が前記視差マップを補正する
    ステップを含む画像処理方法。
15. 立体画像に対するシーン認識を行ない、
    前記立体画像の視差を検出して、前記立体画像の各領域の視差を示す視差マップを生成し、
    前記視差マップに基づいて、前記立体画像の視差を補正する変換特性を定め、
    前記変換特性および前記シーン認識の結果に基づいて前記視差マップを補正する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images