JP2011188108A - 画像処理装置、立体画像表示装置および画像処理方法 - Google Patents

Abstract

【課題】観察者の眼を保護し、コストの増大を抑え、観察者とディスプレイ表面との距離や個人差によらない好適な奥行き感の立体画像を生成することができる画像処理装置を得ること。
【解決手段】左眼用画像と右眼用画像をフレームごとに各々を複数のブロックに分割し、ブロックごとに左眼用画像と右眼用画像の相互相関を検出する相互相関検出部１と、相互相関に基づいて、ブロックごとの視差を求める視差算出部２と、同一フレーム内の前記ブロックごとの視差に基づいてフレーム内視差を算出するフレーム内視差算出部３と、フレーム内視差に基づいて視差調整量を算出する視差調整量算出部４と、視差調整量に基づいて、左眼用画像および右眼用画像の視差を視差調整量分だけ調整した調整後左眼用画像および調整後右眼用画像を生成する画像生成部５と、を備える。
【選択図】図１

Description

本発明は、立体映像をなす対となる左眼用画像および右眼用画像を処理する画像処理装置、立体画像表示装置および画像処理方法に関する。

近年、観察者が擬似的に奥行き感を得るための立体画像表示技術として、両眼視差を利用した立体画像表示技術が多く提案されている。この技術は、３次元空間を左眼で見た映像と右眼で見た映像とを、それぞれ観察者の左眼、右眼に見せることによって、擬似的に奥行き感を誘発する技術である。

観察者の左右眼にそれぞれ対応した映像を見せるための技術として、様々な方式が提案されている。たとえば、左眼用画像と右眼用画像とを時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれの視界を閉じる眼鏡を用いて左右の視界を時間的に分離する方式が提案されている。また、ディスプレイの前面にディスプレイに表示された画像の表示角を制限するバリアやレンズを用いることで左右眼それぞれに分離して左眼用画像と右眼用画像を見せる方式が提案されている。

このような立体画像表示装置では、観察者は、注視している物体が飛び出した点に眼の輻輳角を合わせながら、ディスプレイ表面にピントを合わせるため、不自然にものを見ることになる。このため、飛び出し量が大きすぎると眼の疲れを誘発するという問題点がある。また、観察者とディスプレイの表示面との距離や観察者の個人差によって、観察者にとって好適な奥行き感が異なる。

このような問題に対し、下記特許文献１では、立体画像表示時間が所定時間を越えた場合に、立体映像の視差を変更することによって観察者の眼を保護する技術が開示されている。

また、観察者とディスプレイの表示面との距離により奥行き間が異なる問題に対応するため、下記特許文献２では、観察者の頭の位置を検出し、検出した頭の位置に応じて遮光部の移動制御を行うことによって観察者にとって最適な立体視を行わせる技術が開示されている。

特開２００８−３０６７３９号公報 特開２００２−３０５７５９号公報

しかしながら、上記特許文献１に記載の技術では、画像データ全体の水平方向の相対位置を変更することによって視差を小さくして観察者の眼を保護する。そのため、画面全体の立体感を増すまたは減らすという変更ができない、という問題があった。また、入力画像にディスプレイ面より手前に表示される画素とディスプレイ面より奥に表示される画素が混在する場合、画像データ全体の視差の絶対値を小さくすることができず、観察者の眼を適切に保護することができない、という問題があった。

また、上記特許文献２に記載の技術では、観察者の頭の位置を検出し、検出した頭の位置に応じて遮光部の移動制御を行う。そのため、観察者の頭の位置に応じた精度の高い光学系の制御が必要とされ、装置のコストが増大する、という問題があった。

本発明は、上記に鑑みてなされたものであって、観察者の眼を保護するともに、コストの増大を抑え、観察者とディスプレイ表面との距離や観察者の個人差によらない好適な奥行き感を生じさせる立体画像を生成することができる画像処理装置、立体画像表示装置および画像処理方法を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、立体画像を視認させるための対となる左眼用画像と右眼用画像とをフレームごとに各々を複数のブロックに分割し、前記ブロックごとに前記左眼用画像と前記右眼用画像との水平方向のシフト量ごとに前記左眼用画像と前記右眼用画像との類似度を検出する類似度検出手段と、前記類似度に基づいて、前記ブロックごとの視差をブロック内視差として求める視差算出手段と、同一フレーム内の前記ブロックに対応する前記ブロック内視差に基づいて、当該フレーム内の視差であるフレーム内視差を算出するフレーム内視差算出手段と、前記フレーム内視差に基づいて、視差の調整量である視差調整量を算出する視差調整量算出手段と、前記視差調整量、前記左眼用画像および前記右眼用画像に基づいて、前記左眼用画像および前記右眼用画像の視差を前記視差調整量分だけ調整した調整後左眼用画像および調整後右眼用画像を生成する画像生成手段と、を備えることを特徴とする。

本発明によれば、観察者の眼を保護するともに、コストの増大を抑え、観察者とディスプレイ表面との距離や観察者の個人差によらない好適な奥行き感を生じさせる立体画像を生成することができる、視差算出および視差調整量算出負荷を、画素単位で演算する場合と比して低減することができる、という効果を奏する。

図１は、本発明にかかる立体画像表示装置の機能構成例を示す図である。 図２は、対となる立体画像である左眼用画像と右眼用画像の視差と観察者が感じる奥行き感の関係を示す図である。 図３は、ブロック内の入力左眼用画像データと入力右眼用画像データの階調と水平位置の関係の一例を表す図である。 図４は、相互相関情報と視差情報の関係の一例を示す図である。 図５は、フレーム内視差情報と視差調整量の関係を示す図である。 図６は、視差調整量算出部の別の動作例によるフレーム内視差情報と視差調整量の関係を示す図である。 図７は、視差調整量と奥行き感の変化の関係の一例を示す図である。

以下に、本発明にかかる画像処理装置、立体画像表示装置および画像処理方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態．
図１は、本発明にかかる立体画像表示装置の機能構成例を示す図である。図１に示すように、本実施の形態の立体画像表示装置は、相互相関検出部１と、視差算出部２と、フレーム内視差算出部３と、視差調整量算出部４と、画像生成部５と、表示部６と、を備える。なお、本実施の形態では、表示部６を備えた立体画像表示装置を例に説明を行なうが、相互相関検出部１と、視差算出部２と、フレーム内視差算出部３と、視差調整量算出部４と、画像生成部５と、を備える画像処理装置を構成し、この画像処理装置に本実施の形態の動作を適用してもよい。この場合、画像処理装置は、入力した立体画像を補正し、補正後の画像（画像生成部５の出力）を出力する。

本実施の形態の立体画像表示装置には、立体画像表示のために生成された入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１が入力される。入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１は、擬似的に奥行き感を得るために生成された対となる立体画像である。入力左眼用画像データＤａ１は、観察者が左眼で見るための画像として生成され、入力右眼用画像データＤｂ１は、観察者が右眼で見るための画像として生成されている。観察者は、入力左眼用画像データＤａ１を左眼で、入力右眼用画像データＤｂ１を右眼で、それぞれ観察することにより、奥行き感のある立体画像として認識する。なお、入力左眼用画像データＤａ１および入力右眼用画像データＤｂ１の生成方法については、左右眼の視差に基づいて生成される方法であればどのような生成方法で生成されてもよい。

相互相関検出部１は、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１に基づいて１フレームを有限個に分割したブロック単位で相互相関を検出して、当該ブロックでの相互相関情報Ｔ１を出力する。視差算出部２は、相互相関情報Ｔ１に基づいて視差を算出して、算出結果を視差情報Ｔ２として出力する。フレーム内視差算出部３は、視差情報Ｔ２に基づいて当該フレームに対する視差を１つ算出して、算出結果をフレーム内視差情報Ｔ３として出力する。

視差調整量算出部４は、観察者が感じる飛び出し量を調整するための情報である視差調整情報Ｓとフレーム内視差情報Ｔ３とに基づいて視差調整量Ｔ４を算出して出力する。画像生成部５は、入力左眼用画像データＤａ１、入力右眼用画像データＤｂ１および視差調整量Ｔ４に基づいて、調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２を生成し出力する。表示部６は、調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２に基づいて表示動作を行う。

つぎに、相互相関検出部１の詳細な動作を説明する。図２は、対となる立体画像である左眼用画像と右眼用画像の視差と観察者が感じる奥行き感の関係を示す図である。左眼用画像は観察者の左眼のみに、右眼用画像は観察者の右眼のみに見えるように制御されているとする。

図２には、ディスプレイ面７上に表示された左眼用画像の画素として画素Ｐ１ｌ，Ｐ２ｌが、右眼用画像の画素として画素Ｐ１ｒ，Ｐ２ｒが図示されている。ディスプレイ面７上に表示された画素Ｐ１ｌと画素Ｐ１ｒは同一の物体を表示した画素とし、また画素Ｐ２ｌと画素Ｐ２ｒは、同一の物体を表示した画素とする。観察者８には、図２の（ａ）の場合は、画素Ｐ１ｌおよび画素Ｐ１ｒに対応する物体が空間中の点Ｆ１に存在するように見える。また、図２の（ｂ）の場合は、画素Ｐ２ｌおよび画素Ｐ２ｒに対応する物体が点Ｆ２に存在するように見える。

同じ物体を表示した場合の、左眼用画像の画素の水平座標と右眼用画像の画素の水平座標との差分が視差である。図２の（ａ）では、視差ｄ１＝Ｘ（Ｐ１ｌ）−Ｘ（Ｐ１ｒ）と表すことができ、図２の（ｂ）では、視差ｄ２＝Ｘ（Ｐ２ｌ）−Ｘ（Ｐ２ｒ）と表すことができる。なお、Ｘ（ｚ）は、画素ｚの水平座標を表す。

図２の（ａ）では、視差ｄ１は正の値となる。この場合、観察者８は、注視している画素（画素Ｐ１ｌと画素Ｐ１ｒ）はディスプレイ面より手前の点Ｆ１の位置に存在するように感じられる。逆に、図２の（ｂ）では、視差ｄ２は負の値となる。この場合、観察者が注視している画素（画素Ｐ２ｌと画素Ｐ２ｒ）はディスプレイ面より奥の点Ｆ２の位置に存在するように感じられる。このように、ここでは、視差は符号付きの値とし、視差が正となる画素はディスプレイ面より手前に、視差が負となる画素はディスプレイ面より奥に表示されることを意味する。

相互相関検出部１は、入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１を、１フレームを有限個に分割したブロック単位に分割して相互相関を検出する。ブロックに分割する際、ブロック内で視差が検出できるように、ブロックの水平幅を想定される視差よりも十分（例えば５倍程度以上）に大きくする必要がある。照合されない部分が発生しないように、想定される視差以上の水平幅のブロックの端部分が重複する（隣接するブロックのどちらにも含まれる）ように、ブロックを分割することが望ましい。

図３は、ブロック内の入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１の階調と水平位置の関係の一例を表す図である。図３は、１フレーム内の１ラインを複数のブロックに分割した例を示している。図３では、横軸はブロック内での水平位置を表している。また、縦軸は、図３の（ａ）では入力左眼用画像データＤａ１の階調を、図３の（ｂ）では入力右眼用画像データＤｂ１の階調を、それぞれ表している。

図３の（ａ）と図３の（ｂ）の波形を比較すると、図３の（ｂ）の波形を右にシフトすると図３の（ａ）と似た波形となる位置がある。同一物体の画像を左眼用画像と右眼用画像データの階調は類似することから、図３の（ｂ）の波形を図３の（ａ）の波形に最も似ている状態までシフトしたときのシフト量が当該ブロックでの視差を表すと考えることができる。

本実施の形態の相互相関検出部１は、どの程度シフトするとどの程度似た波形になるか、つまりシフト量（画素単位）とブロック内での入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１の類似度との関係を検出する類似度検出手段である。具体的には、類似度として、たとえば、ブロック単位に分割された入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１の相互相関関数Ｒｘｙ［ｍ］を、高速フーリエ変換と逆変換を利用して求める。なお、ここでは、１ラインを複数のブロックに分割する場合を例に説明する。なお、ここでは、１ラインを複数のブロックに分割する場合を例に説明する。

ここで、ｍはシフト数（画素単位のシフト量）を示し、Ｍはブロック内の想定される視差に対応する水平方向の画素数（最大シフト数）を示し、Ｌはブロック単位に分割された入力左眼用画像データＤａ１のデータの個数（ブロック単位に分割された入力右眼用画像データＤｂ１のデータの個数も同数）を示し、ＮはＭ＋Ｌ以上となる２のべき乗数を示し、０≦ｎ≦（Ｎ−１）とし、ｘ［ｎ］は、ブロック単位に分割された入力左眼用画像データＤａ１のデータ列とし、ｙ［ｎ］は、ブロック単位に分割された入力右眼用画像データＤｂ１のデータ列とする。また、Ｘ［ｎ］＝ＦＦＴ［ｘ［ｎ］］（ＦＦＴ［ｚ］は、ｚの高速フーリエ変換を表す）、Ｙ［ｎ］＝ＦＦＴ［ｙ［ｎ］］である。また、Ｘ［ｎ］＊は、Ｘ［ｎ］の複素共役を示し、ＩＦＦＴ［ｚ］は、ｚの逆高速フーリエ変換を表す。

相互相関関数Ｒｘｙ［ｍ］は、以下の式（１）により求める。なお、Ｒｘｙ［ｍ］は、逆フーリエ変換により求まったデータ列の前からｍ個目のデータを意味する。
Ｒｘｙ［ｍ］＝
（ＩＦＦＴ［（Ｘ［ｎ］＊）・Ｙ［ｎ］］）／Ｎ、０≦ｍ≦Ｍ、Ｍ＋Ｌ≦Ｎ …（１）

式（１）に基づいて相互相関関数Ｒｘｙ［ｍ］を算出する手順の一例を説明する。相互相関検出部１は、まず、ブロック単位に分割された入力左眼用画像データＤａ１のデータ列ｘ［ｎ］と入力右眼用画像データＤｂ１のデータ列ｙ［ｎ］とをそれぞれＮポイント（次数Ｎ）で高速フーリエ変換し、Ｘ［ｎ］およびＹ［ｎ］を得る。なお、Ｎポイントのデータ列にするために、ｘ［ｎ］およびｙ［ｎ］は、入力左眼用画像データＤａ１および入力右眼用画像データＤｂ１のデータの足りない点（各々Ｎ−Ｌ点分）の値についてはたとえば０とする。

そして、Ｘ［ｎ］の複素共役を求め、Ｘ［ｎ］の複素共役とＹ［ｎ］をデータ点ごとに乗算した後、乗算結果に対して逆高速フーリエ変換を行う。そして、最後に逆高速フーリエ変換結果をデータ数Ｎで割ることにより相互相関関数Ｒｘｙ［ｍ］を求める。このようにして、０≦ｍ≦Ｍ（得られるデータの点数はＮ個であるが有意なのはＭまで）のｍに対応するＲｘｙ［ｍ］を求める。また、Ｘ［ｎ］とＹ［ｎ］の複素共役をデータ点ごとに乗算したものを、同様に処理して、反対方向のシフトに対する相互相関関数Ｒｙｘ［ｍ］を求める。求めたＲｘｙ［ｍ］とＲｙｘ［ｍ］を相互相関情報Ｔ１として出力する。ここでは、シフト量ｍごとの類似度の相対的な大きさを利用するので、式（１）においてＮで割らなかったり、式（１）の結果に単調増加関数または単調減少関数を適用して求めたりした値を、シフト量ｍの類似度としてもよい。

なお、図２で示したように、ディスプレイ面７の手前に物体があるよう視認させる場合と、ディスプレイ面７の背面に物体があるよう視認させる場合とで、入力右眼用画像データＤｂ１を基準とした入力左眼用画像データＤａ１のシフトの方向が異なる。したがって、どちらかの方向をシフト数の正の方向とし、シフト数については符号により方向を区別できるようにする。

また、ここでは、高速フーリエ変換や逆高速フーリエ変換を使って類似度として相互相関情報Ｔ１を求めたが、類似度を求める方法は、これに限定されない。たとえば、入力右眼用画像データＤｂ１と入力右眼用画像データＤｂ１の一方をｍだけシフトさせ、シフトさせない方とシフトさせた方とのデータごとの差分を求め、差分の合計をシフト数ごとに求める等、別の方法によりシフト数ごとの類似度を求めるようにしてもよい。

なお、以上の例では、１ラインを複数のブロックに分割して水平のみの１次元のデータ列としたが、ブロック内で視差が検出できるようにブロックの水平幅を想定される最大視差よりも十分に大きくとりさえすれば、水平垂直の２次元でブロック化してもよい。その場合、たとえばブロック内でラインごとに上記と同様にシフト数ごとの相互相関関数を求め、シフト数ごとに、ブロック内の全ラインの相互相関関数を加算した結果を相互相関情報Ｔ１とする。または、同一の水平方向の座標の画素ごとに、垂直方向について階調の平均値を求め、この平均値について相互相関関数を求めるようにしてもよい。水平垂直の２次元でブロック化した場合の相互相関情報Ｔ１の求め方は、これらに限らず、シフト数に応じて画像の類似度が評価できる方法であればどのような方法で求めてもよい。

また、ブロック内で垂直方向にも相互相関係数を求める場合には、垂直方向の視差にも対応できる。カメラ等で撮影した画像には、意図せず微妙に垂直方向にもずれることがあり、垂直方向の視差も求めることで検出精度を上げられる可能性がある。

このように相互相関検出部１は、ブロック単位で当該ブロックの相互相関情報Ｔ１を検出することにより、１ブロック分の処理をまとめて行うことが可能なため、動画像圧縮などで動きベクトルを求める際などにも使われる画素単位でブロックマッチング等を行って相互相関情報を検出する場合と比較して、１／１０程度以下と大幅に計算量を削減することができる。

つぎに、視差算出部２の動作を説明する。視差算出部２は、相互相関情報Ｔ１に基づいて視差を算出して、視差情報Ｔ２を出力する。図４は、相互相関情報Ｔ１と視差情報Ｔ２の関係の一例を示す図である。図４では、横軸にシフト数を示し、縦軸に相互相関情報を示している。図４に示すように、相互相関情報Ｔ１の値が最大になるシフト数、すなわち当該ブロックの入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１の相互相関が最も強いシフト数が存在する。このシフト数が視差に対応する。したがって、視差算出部２は、相互相関情報Ｔ１の値が最大になるシフト数を当該ブロックの入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１の視差とし、視差情報Ｔ２として出力する。

また、上述のように、シフト数は、入力左眼用画像データＤａ１の画素を基準とすると入力右眼用画像データＤｂ１の対応する画素の水平方向の位置によって、正または負の値となるが、視差についても同様に符号を持った値として求める。

視差算出部２では、当該ブロックの視差情報Ｔ２を決定するために、当該ブロックの入力左眼用画像データＤａ１と入力右眼用画像データＤｂ１間の相互相関が最も強くなるときのシフト数を選択する。したがって、視差を求める演算が、１ブロックにつき１度で済むため、画素ごとに視差情報を算出する場合と比較して計算量を大幅に削減できる。さらに、相互相関が最も強くなるときのシフト数を当該ブロックの視差情報Ｔ２とすることで、画素ごとに視差情報を求めた場合との差を小さくすることができる。

つぎに、フレーム内視差算出部３の動作を説明する。フレーム内視差算出部３は、ブロックごとに出力される視差情報Ｔ２に基づいて、当該フレームに含まれるブロックの視差情報Ｔ２の中から最大となる視差情報Ｔ２を、当該フレームに対応する視差であるフレーム内視差情報Ｔ３として求め出力する。なお、本実施の形態では、当該フレームに含まれるブロックの視差情報Ｔ２の中で最大の視差情報をフレーム内視差情報Ｔ３としたがこれに限らず、フレーム内視差情報Ｔ３の求め方は、例えば、当該フレームに含まれるブロックの視差情報の平均を算出して当該フレームのフレーム内視差情報Ｔ３とする等、ブロック単位の視差情報Ｔ２に基づいて当該フレームのフレーム内視差情報Ｔ３を１つ決定する方法であればどのような方法でもよい。

フレーム内視差算出部３では、当該フレームに含まれるブロックの視差情報Ｔ２の中で最大の視差情報をフレーム内視差情報Ｔ３とする。したがって、１フレームにつき１つの視差情報のみを出力すればよいので、画素ごとに視差情報を算出して出力する場合と比較して、１フレーム分の視差情報を大幅に削減することができる。さらに、観察者にとって影響の大きい立体映像の飛び出し量を抑制する上で重要な要素となる、当該フレーム内で最大の視差情報を当該フレームの視差情報として出力することができる。

つぎに、視差調整量算出部４の動作の一例について説明する。視差調整量算出部４は、視差調整情報Ｓおよびフレーム内視差情報Ｔ３に基づいて視差調整量Ｔ４を算出して出力する。視差調整情報Ｓは、視差調整係数Ｓａで構成される。視差調整量算出部４は、フレーム内視差情報Ｔ３に視差調整係数Ｓａを乗算することにより、視差調整量Ｔ４を算出する。

図５は、フレーム内視差情報Ｔ３と視差調整量Ｔ４の関係を示す図である。図５では、横軸はフレーム内視差情報Ｔ３を、縦軸は視差調整量Ｔ４をそれぞれ示している。視差調整係数Ｓａは、図５に示した直線の傾きを決定する値である。視差調整係数Ｓａは正の値とし、視差調整係数Ｓａの値が大きければ、フレーム内視差情報Ｔ３によって視差調整量Ｔ４が大きく変化し、視差調整係数Ｓａの値が小さければ、視差調整量Ｔ４は控えめに変化する。視差調整量Ｔ４は、後述の画像生成部５の視差調整の処理により、観察者が観測する飛び出し量を制限するために用いる調整量である。例えば、観察者が実際の絵を見ながら自分にとって見やすい飛び出し量に調整する手段を設けるなどして、観察者が飛び出し量が大きすぎると感じる場合、不快に感じない程度にまで視差を減少させるような値になるように視差調整係数Ｓａを大きくすることで視差調整量Ｔ４が大きくなり、飛び出し量をより抑えることができる。例えば、視差が２５画素までなら不快に思わず、想定される最大視差が５０画素だとする。その場合には、５０画素のフレーム内視差情報Ｔ３が２５画素の視差になるように、すなわち視差調整量Ｔ４が２５（＝５０−２５）画素になるように、視差調整係数Ｓａ＝Ｔ４／Ｔ３＝２５／５０＝０．５と設定する。

このように、フレーム内視差情報Ｔ３と視差調整量Ｔ４とを比例させ、視差調整係数Ｓａによってその傾きを調整できるようにすることで、フレーム内視差が大きいときにはより多く飛び出し量抑制効果が大きくなるように調整し、そうでないときには飛び出し量の抑制効果を小さく抑えることができる。また、その抑止効果の効き具合は調整係数で制御できるため、観察者に好適な飛び出し量に調整することができる。

なお、ここでは、飛び出し量を抑えるために、視差を小さくするための値として視差調整量Ｔ４を算出したが、逆に飛び出し量を増やしたい場合にも適用できる。この場合、たとえば、視差調整量Ｔ４が負の値の場合には、画像生成部５が視差を増やすように視差調整するようにしておき、視差調整係数Ｓａの値を負の値にする方法等が考えられる。

つぎに、視差調整量算出部４の別の動作例について説明する。図６は、視差調整量算出部４の別な動作例によるフレーム内視差情報Ｔ３と視差調整量Ｔ４の関係を示す図である。この動作例では、視差調整情報Ｓは、視差調整係数Ｓａと視差調整閾値Ｓｂとで構成される。視差調整係数Ｓａは、上述の例と同様に、フレーム内視差情報Ｔ３と視差調整量Ｔ４の関係を示す直線の傾きを表す。視差調整閾値Ｓｂは、視差調整量Ｔ４に制約を与えるための値であり、フレーム内視差情報Ｔ３が視差調整閾値Ｓｂ以下の場合は、図６に示すように視差調整量Ｔ４を０にする。これにより、フレーム内視差情報Ｔ３が視差調整閾値Ｓｂ以下の場合は、画像生成部５での視差調整を行わないようにすることができる。視差調整閾値Ｓｂも、観察者が実際の絵を見ながら自分にとって見やすい画像が得られるように、観察者が画像を見ながら調整して設定する。飛び出し量が大きくならないことを重視する場合には、視差調整閾値Ｓｂを小さく設定する。オリジナルの画像を優先し過大な飛び出しだけを抑制する場合には、視差調整閾値Ｓｂを大きく設定する。フレーム内視差情報Ｔ３が視差調整閾値Ｓｂをまたいで変化する場合には、飛び出し量が不連続に変化しないように視差調整量Ｔ４を適当な時間遅れ動作を持たせて変化させることが望ましい。

このように、視差調整係数Ｓａと視差調整閾値Ｓｂを用いることで、観察者にとって飛び出し量が所定の大きさより大きい場合に視差調整を行い、そうでない場合は視差調整を行わないという処理が可能になる。したがって、入力映像信号に設定してあった視差をなるべく損なうことなく、かつ、観察者の眼に負担のないよう好適な飛び出し量に調整することが可能となる。

つぎに、画像生成部５の動作を説明する。画像生成部５は、視差調整量算出部４から出力された視差調整量Ｔ４に基づいて、左眼用画像と右眼用画像のどちらかまたは両方を平行移動して、視差調整量Ｔ４だけ視差が変化した新たな左眼用画像と右眼用画像を生成することにより、視差調整を行なう。通常のＴＶなどでは、オーバースキャンによる画面に表示されない領域があるので、画像を平行移動しても端部に表示すべき画像が存在しないということは無い。画像データをすべて画面に表示する場合には、左眼用画像および右眼用画像を少し拡大して、左眼用画像と右眼用画像のどちらかまたは両方を視差が視差調整量Ｔ４だけ変化するように平行移動するなどすればよい。

図７は、視差調整量と奥行き感の変化の関係の一例を示す図である。図７の（ａ）は図２の（ａ）と同様である。図７の（ｂ）は、画像生成部５によって調整された後のスクリーン上に示される画素と観察者が感じる物体の位置を示している。画像生成部５による視差調整前の画像の画素Ｐ１ｌ，Ｐ１ｒに対応する画素が、それぞれ画素Ｐ１ｌ´，画素Ｐ１ｒ´となる。図７の（ｂ）では、視差ｄ１は、画像生成部５によってｄ１・Ｓａだけ減少するように視差調整が実施され視差ｄ１´となる。

図７は、視差調整量と奥行き感の変化の関係の一例を示す図である。図７の（ａ）は図２の（ａ）と同様である。図７の（ｂ）は、画像生成部５によって調整された後のスクリーン上に示される画素と観察者が感じる物体の位置を示している。画像生成部５による視差調整前の画像の画素Ｐ１ｌ，Ｐ１ｒに対応する画素が、それぞれ画素Ｐ１ｌ´，画素Ｐ１ｒ´となる。図７の（ｂ）では、視差ｄ１は、画像生成部５によって視差調整が実施され視差ｄ１´となる。

図７の（ｂ）に示すように、画像生成部５が、視差調整量Ｔ４に基づいて左眼用画像と右眼用画像を変更することによって、観察者８には空間中の点Ｆ１´に画素Ｐ１ｌ´および画素Ｐ１ｒ´に対応する物体があるように感じられる。すなわち、図７の（ａ）に比べ、ΔＦだけ物体が奥に移動したように感じられる。したがって、観察者８にとっての物体の飛び出し量が低減する。

このように、画像生成部５は、視差調整量Ｔ４、入力左眼用画像Ｄａ１および入力右眼用画像Ｄｂ１に基づいて、視差調整後の左眼用画像である調整左眼用画像Ｄａ２と視差調整後の右眼用画像である調整右眼用画像Ｄｂ２を生成し出力する。

つぎに、表示部６の動作を説明する。表示部６は、調整左眼用画像データＤａ２と調整右眼用画像データＤｂ２を、それぞれ左眼用画像と右眼用画像として表示する。立体表示を行なうための表示部６の表示方式としては、たとえば、空間的に異なる座標に左眼用画像と右眼用画像を表示する方式や、時間的に異なるフレームに左眼用画像と右眼用画像を表示する方式などがあるが、方式に限定はなくどのような方式を用いてもよい。

このように、本実施の形態では、対となる入力左眼用画像と入力右眼用画像を、１フレームを有限個に分割したブロック単位で算出した後、当該フレームに対するフレーム内視差を１つ算出し、１フレーム単位で視差調整情報およびフレーム内視差に基づいて入力左眼用画像と入力右眼用画像から視差を変更した新たな左眼用画像と右眼用画像を生成するようにした。そのため、観察者とディスプレイ表面との距離や観察者の個人差によらず、過度な飛び出し量による眼の負担を軽減し、観察者にとって最適な奥行き感の立体画像を表示することができるとともに、視差算出および視差調整量算出負荷を、画素単位で演算する場合と比して低減することができる。また、精度の高い光学系の制御を必要とせず、コストの増大を引き起こさずに、画面全体の奥行き感を増加させる、または減少させることができる。

以上のように、本発明にかかる画像処理装置、立体画像表示装置および画像処理方法は、立体映像をなす対となる左眼用画像および右眼用画像を処理する画像処理装置に有用であり、特に、立体映像の観察者の眼の負担を低減した画像を生成する画像処理装置に適している。

１ 相互相関検出部
２ 視差算出部
３ フレーム内視差算出部
４ 視差調整量算出部
５ 画像生成部
６ 表示部
７ ディスプレイ面
８ 観察者
Ｄａ１ 入力左眼用画像データ
Ｄｂ１ 入力右眼用画像データ
Ｄａ２ 調整左眼用画像
Ｄｂ２ 調整右眼用画像
Ｐ１ｌ，Ｐ１ｒ，Ｐ１ｌ´，Ｐ１ｒ´，Ｐ２ｌ，Ｐ２ｒ 画素
Ｔ１ 相互相関情報
Ｔ２ 視差情報
Ｔ３ フレーム内視差情報
Ｔ４ 視差調整量
Ｓ 視差調整情報
Ｓａ 視差調整係数
Ｓｂ 視差調整閾値

Claims (9)

1. 立体画像を視認させるための対となる左眼用画像と右眼用画像とをフレームごとに各々を複数のブロックに分割し、前記ブロックごとに前記左眼用画像と前記右眼用画像との水平方向のシフト量ごとに前記左眼用画像と前記右眼用画像との類似度を検出する類似度検出手段と、
   前記類似度に基づいて、前記ブロックごとの視差をブロック内視差として求める視差算出手段と、
   同一フレーム内の前記ブロックに対応する前記ブロック内視差に基づいて、当該フレーム内の視差であるフレーム内視差を算出するフレーム内視差算出手段と、
   前記フレーム内視差に基づいて、視差の調整量である視差調整量を算出する視差調整量算出手段と、
   前記視差調整量、前記左眼用画像および前記右眼用画像に基づいて、前記左眼用画像および前記右眼用画像の視差を前記視差調整量分だけ調整した調整後左眼用画像および調整後右眼用画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記相互相関検出手段は、前記類似度を、前記ブロック内の前記左眼用画像の水平方向のデータ列と前記右眼用画像の水平方向のデータ列との相互相関関数を用いて算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ブロックごとのシフト量ｍの前記類似度を、前記ブロック内の前記左眼用画像の水平方向のデータ列と前記ブロック内の前記右眼用画像の水平方向のデータ列とをそれぞれ、データ列の個数Ｌと想定する最大シフト数Ｍ（＞ｍ）との和以上になる２のべき乗数Ｎ（＞＝Ｍ＋Ｌ）を次数として高速フーリエ変換して、高速フーリエ変換により得られた２個のデータ列を、データ点ごとに一方の複素共役をとり同じ位置にある他方と乗算して新たなデータ列を生成し、生成したデータ列を次数Ｎの逆フーリエ変換して得られたデータ列のｍ個目のデータから求める
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記視差算出手段は、前記類似度が最大となる前記シフト量を、前記ブロック内視差とする、
   ことを特徴とする請求項１、２または３に記載の画像処理装置。
5. 前記フレーム内視差算出手段は、同一フレーム内の前記ブロックに対応する前記ブロック内視差のうちの最大値を前記フレーム内視差とする、
   ことを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
6. 前記視差調整量算出手段は、前記視差調整量を前記フレーム内視差に所定の係数を乗算した値として算出する、
   ことを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
7. 前記視差調整量算出手段は、前記視差調整量が所定のしきい値以下の場合は前記視差調整量を０とし、前記視差調整量が所定のしきい値を超える場合に前記視差調整量を前記フレーム内視差に所定の係数を乗算した値として算出する、
   ことを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
8. 立体画像を視認させるための対となる左眼用画像と右眼用画像とをフレームごとに各々を複数のブロックに分割し、前記ブロックごとに前記左眼用画像と前記右眼用画像との水平方向のシフト量ごとに前記左眼用画像と前記右眼用画像との類似度を検出する視差調整量算出手段と、
   前記類似度に基づいて、前記ブロックごとの視差をブロック内視差として求める視差算出手段と、
   同一フレーム内の前記ブロックに対応する前記ブロック内視差に基づいて、当該フレーム内の視差であるフレーム内視差を算出するフレーム内視差算出手段と、
   前記フレーム内視差に基づいて、視差の調整量である視差調整量を算出する視差調整量算出手段と、
   前記視差調整量、前記左眼用画像および前記右眼用画像に基づいて、前記左眼用画像および前記右眼用画像の視差を前記視差調整量分だけ調整した調整後左眼用画像および調整後右眼用画像を生成する画像生成手段と、
   前記調整後左眼用画像および前記調整後右眼用画像を表示する表示手段と、
   を備えることを特徴とする立体画像表示装置。
9. 立体画像を視認させるための対となる左眼用画像と右眼用画像とをフレームごとに各々を複数のブロックに分割し、前記ブロックごとに前記左眼用画像と前記右眼用画像との水平方向のシフト量ごとに前記左眼用画像と前記右眼用画像との類似度を検出する類似度検出ステップと、
   前記類似度に基づいて、前記ブロックごとの視差をブロック内視差として求める視差算出ステップと、
   同一フレーム内の前記ブロックに対応する前記ブロック内視差に基づいて、当該フレーム内の視差であるフレーム内視差を算出するフレーム内視差算出ステップと、
   前記フレーム内視差に基づいて、視差の調整量である視差調整量を算出する視差調整量算出ステップと、
   前記視差調整量、前記左眼用画像および前記右眼用画像に基づいて、前記左眼用画像および前記右眼用画像の視差を前記視差調整量分だけ調整した調整後左眼用画像および調整後右眼用画像を生成する画像生成ステップと、
   を含むことを特徴とする画像処理方法。

Images