JP2012244466A - 立体画像処理装置 - Google Patents

Abstract

【課題】自動的に観察者に対して適正な視差を計算し自然な立体表示を可能とする立体画像処理装置を提供する。
【解決手段】観察者の眼間距離を平均顔モデル１１３を用いて求め、顔検出部１１１及びスクリーン距離取得部１１４は、顔からスクリーンまでのスクリーン距離を求める。焦点角度取得部１１６は、眼間距離及びスクリーン距離から焦点角度θｆを求める。さらに適正視差設定部１１９は、焦点角度θｆと適正差分視差αとから視差角度θｅを設定する。
【選択図】図１

Description

本発明は、視差に対応する複数の視点画像を元に、擬似的に立体表示された３次元画像を生成する立体画像処理装置に関する。

近年、観察者が、表示画像において擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術が多く提案されている。これは、３次元空間を左眼で見た映像と右眼で見た映像とをそれぞれ観察者の左右眼に見せることによって、擬似的に奥行き感を誘発し３次元的に物体を認識させる技術である。

立体視の方式としては、偏光方式、フレームシーケンシャル方式、及び光線利用方式がある。偏光方式は、単一の視差映像の左右の眼に対応した画像を同時に画面表示する方式であり、円偏光方式及び直線偏光方式がある。フレームシーケンシャル方式は、単一の視差映像の左右の眼に対応した画像を時間的に切り替えて画面表示する方式であり、液晶シャッター方式がある。光線利用方式は、単一もしくは複数の視差映像の左右の眼に入る光線を制御する方式であり、レンティキュラー方式等がある。

特許文献１では、立体画像処理装置において、表示装置上にＧＵＩ（グラフィカルユーザーインタフェース）等を表示し、観察者が実際の立体画像の表示状態を見ながら、観察者自身が視差の許容範囲を設定することで、違和感のない適正な視差を設定し、立体画像処理装置での自然な立体表示を可能とする、という技術が開示されている。

特許第４１１８１４６号

上述の光線利用方式は、表示装置側で、観察者の左、右のそれぞれの眼に入る映像を制御するため、観察者側では特に眼鏡等の視聴用のデバイスを必要としないが、偏光方式及びフレームシーケンシャル方式では、観察者側において、左右の眼に対応した映像を選択して透過させる眼鏡等の形態にてなる視聴用デバイスが必要となる。これらの偏光方式及びフレームシーケンシャル方式では、観察者と表示装置との距離、及び観察者の眼間距離によって計算される輻輳角に応じて、適正な視差画像を表示する必要がある。

一方、上述した特許文献１の立体画像処理装置では、以下のような課題がある。
即ち、この立体画像処理装置は、視差調節の自動計算を行うことができず、観察者によるマニュアル調整用の機構を有する必要がある。一方、観察者側では、視聴位置で画面を見ながら適正な視差を調整しなければならないという煩雑な作業が必要となる。また、コンテンツ側では、設計した視差を立体画像処理装置に設定するのが困難であり、そのため観察者にとって適正な視差の一意な設定が困難となる。
また、適正に視差が計算された視聴位置から異なる視聴位置へ観察者が移動したときには、視差が適正な値から外れるため、手動での視差調節が再度必要となる。
さらに、観察者の顔が傾いた場合、視差にずれが生じるが、特許文献１の立体画像処理装置には、その際に視差制御を行う機能はない。

本発明は、上述したような問題点を解決するためになされたもので、観察者自身が立体画像処理装置の視差調整操作を行うことなく、立体画像処理装置側で自動的に観察者に対して適正な視差を計算し自然な立体表示を可能とする立体画像処理装置を提供することを眼的とする。

上記眼的を達成するため、本発明は以下のように構成する。
即ち、本発明の一態様における立体画像処理装置は、両眼視差によって表示画像を擬似的に立体画像として認識させる立体画像処理装置において、観察者の両眼間の眼間距離を求める眼間距離取得部と、表示画面に対して観察者が正面視の状態における観察者と表示画面との間の表示画面距離を求める表示画面距離取得部と、求めた眼間距離及び表示画面距離から、観察者の両眼による表示画面での焦点位置と各眼とで形成される焦点角度を求める焦点角度取得部と、求めた焦点角度から適正視差を求める適正視差取得部と、を備え、適正視差を自動生成することを特徴とする。

本発明の一態様における立体画像処理装置によれば、以下の効果が得られる。即ち、対象物を表示画面上で擬似的に立体画像として認識させるための奥行きの指標として視差角度（両眼視差あるいは輻輳角）がある。この視差角度は、観察者が見る擬似的な立体画像の位置に相当する焦点位置と観察者との距離ｄ０を決定するのに使用可能であり、適正な視差を得るためにはこの視差角度を適正に設定する必要がある。視差角度は、観察者の焦点角度θｆと、適正差分視差αとから求まる。ここで、焦点角度θｆは、観察者の両眼の間隔ｄ１と、観察者から表示画面までの表示画面距離ｄ２とから求まる角度であることから、各観察者及び観察者の視聴位置によって変動する値である。

そこで本発明の一態様における立体画像処理装置では、眼間距離取得部、表示画面距離取得部、焦点角度取得部、及び適正視差取得部を備えることにより、観察者を撮像した画像を元に、眼間距離取得部及び表示画面距離取得部により眼間距離及び表示画面距離を求め、求めた眼間距離及び表示画面距離によって焦点角度取得部が焦点角度θｆを求める。さらに、求めた焦点角度から、適正視差取得部が適正視差を生成する。このようにして、本発明の一態様における立体画像処理装置は、観察者のマニュアル操作を必要とせず、観察者ごとに差分角度を自動生成し設定することが可能である。よって、観察者及び観察者の視聴位置が変化した場合でも、各変化に対応して適正な視差を生成することができ、自然な立体表示が可能となる。

本発明の実施の形態１における立体画像処理装置の構成を示すブロック図である。 図１に示す立体画像処理装置において、観察者、スクリーン、画像入力装置の位置関係を説明するための斜視図である。 図１に示す立体画像処理装置において、視差の計算方法を説明するための図である。 図１に示す立体画像処理装置において、平均顔モデルを用いた視差の計算方法を説明するための図である。 図１に示す立体画像処理装置において、スケールと距離変換との関係を説明するための図である。 本発明の実施の形態２における立体画像処理装置の構成を示すブロック図である。 図５に示す立体画像処理装置において、眼の位置を用いた視差計算を説明するための図である。 本発明の実施の形態３における立体画像処理装置の構成を示すブロック図である。 図７に示す立体画像処理装置において、視聴用デバイスの大きさを用いた視差計算を説明するための図である。 本発明の実施の形態４における立体画像処理装置の構成を示すブロック図である。 図９に示す立体画像処理装置における同期パターンを説明するための図である。 図９に示す立体画像処理装置において、差分画像の計算を説明するための図である。 本発明の実施の形態５における立体画像処理装置の構成を示すブロック図である。 図１２に示す立体画像処理装置における映像パターンを説明するための図である。 本発明の実施の形態６における立体画像処理装置の構成を示すブロック図である。 図１４に示す立体画像処理装置における光線方式に関する説明を行うための図である。 図１４に示す立体画像処理装置において、投影パターンの説明を行うための図である。 図１４に示す立体画像処理装置において、差分画像の計算を説明するための図である。 本発明の実施の形態７における立体画像処理装置の構成を示すブロック図である。 図１８に示す立体画像処理装置において、複数人の視差設定に関する説明を行うための図である。 本発明の実施の形態８における立体画像処理装置の構成を示すブロック図である。 図２０に示す立体画像処理装置において、顔の傾きによる視差方向制御に関する説明を行うための図である。 本発明の実施の形態９における立体画像処理装置の構成を示すブロック図である。 図２２に示す立体画像処理装置において、視差方向判定に関する説明を行うための図である。 図２２に示す立体画像処理装置において、顔の傾きによる視差反転に関する説明を行うための図である。 本発明の実施の形態８における立体画像処理装置を説明するための図であって、横方向の視差画像を示す図である。 本発明の実施の形態８における立体画像処理装置を説明するための図であって、横方向及び縦方向の視差画像を示す図である。

本発明の実施形態である立体画像処理装置について、図を参照しながら以下に説明する。尚、各図において、同一又は同様の構成部分については同じ符号を付している。

実施の形態１．
図１には、本実施の形態１による立体画像処理装置２０１の構成を示すブロック図が示されている。立体画像処理装置２０１は、撮像された観察者の画像を元にして、観察者に対して適正な視差を自動的に生成し自然な立体画像表示を可能にする装置であり、図１に示す構成を有するが、その中で基本的構成部分として、眼間距離取得部１１５、スクリーン距離取得部１１４、焦点角度取得部１１５、及び適正視差取得部１１８を備える。また、図２Ａに示すようにスクリーン１に対して観察者３が位置する場合において、図２Ｂでは、視差を一般的に説明するための図、視差を計算するための計算モデル、及び計算方法を示している。

以下の各実施形態における立体画像処理装置の説明にて参照する符号について、図２Ｂを参照して説明する。図２Ｂにおいて、
１は、表示画面に相当するスクリーン、
３は、表示画面を見る観察者、
Ｌは、向かって観察者３の左眼、
Ｒは、向かって観察者３の右眼、
Ａ０は、視差によって観察者３が見る対象物５の擬似的な立体画像の位置に相当する焦点位置、
Ａ０’は、スクリーン１上における対象物５の焦点位置、
Ａ１は、スクリーン１上において右眼Ｒが見る立体画像５の位置、
Ａ２は、スクリーン１上において左眼Ｌが見る立体画像５の位置、
ｄ１は、観察者３の両眼間の眼間距離、
ｄ２は、観察者３がスクリーン１に対して正面視の状態において両眼とスクリーン１との間の表示画面距離、
ｄ０は、正面視の状態での観察者３の両眼と焦点位置Ａ０との間の疑似画像距離、
ｄ３は、スクリーン１上における位置Ａ１と位置Ａ２との間の距離つまり適正視差、
θｆは、正面視の状態での観察者３の左眼Ｌ及び右眼Ｒと、スクリーン１上での対象物５の焦点位置Ａ０’とで形成される焦点角度、
θｅは、正面視の状態での観察者３の左眼Ｌ及び右眼Ｒと、対象物５の擬似的な立体画像の焦点位置Ａ０とで形成される視差角度、
をそれぞれ示している。
また、αは、適正差分視差であり、詳しくは後述するが、焦点角度θｆと視差角度θｅとのずれであり、実験的に求めた値である。
尚、上記正面視とは、観察者３の両眼がスクリーン１に対して平行に位置して観察者３がスクリーン１を見ている状態をいう。

本実施形態１の立体画像処理装置２０１における、図１に示す構成部分の内、画像入力装置１１０を除いた構成部分は、実際にはコンピュータを用いて実現され、以下に説明する各構成部分における機能に対応するソフトウェアと、これらを実行するためのＣＰＵ（中央演算処理装置）やメモリ等のハードウェアから構成されている。上記コンピュータは、実際には当該立体画像処理装置２０１に組み込まれたマイクロコンピュータに相当するのが好ましいが、スタンドアロン型のパーソナルコンピュータを用いることもできる。また、上記プログラムは、コンピュータによって直接実行可能なものだけでなく、例えば通信線を介して読み込まれハードディスク等にインストールすることによって実行可能となるものも含む。又、圧縮されたり、暗号化されたりしたものも含まれる。

図１に示す、立体画像処理装置２０１の各構成部分について、以下に順次説明する。
画像入力装置１１０は、スクリーン１における表示画像を視聴する観察者３を撮像する撮像装置であり、例えばカメラ等に相当し、図２Ａに示すように、例えばスクリーン１の上部に設置される。尚、本実施形態では、画像入力装置１１０は、立体画像処理装置２０１に含まれる構成を採るが、立体画像処理装置２０１は観察者３の撮像画像情報の供給を受ければよいことから、立体画像処理装置２０１における必須の構成部分ではない。

画像入力装置１１０から観察者３の撮像画像情報が供給される顔検出部１１１は、顔検出アルゴリズムを有し、該アルゴリズムに従い撮像画像情報から観察者３の顔を抽出し、図３に示すように、画像中の顔の大きさｈ１、ｗ１を検出する。顔検出アルゴリズムとしては、例えば、P．Viola、 M．Jones、 D．Snow、 ”Detecting Pedestrians Using Patterns of Motion and Appearance”、 IEEE International Conference on Computer Vision (ICCV)、 Vol．2、 pp．734-741、 October 2003)を用いることができる。
図３に示すように、観察者３の検出された顔の大きさｈ１は、顔の縦寸法であり、ｗ１は横寸法である。

顔検出部１１１で検出された顔の大きさｈ１、ｗ１の各情報は、スクリーン距離取得部１１４へ供給される。平均顔モデル１１３は、図３に示すように、人間の実際の顔の平均的な大きさｈａ，ｗａ、及び平均的な眼間距離ｄａの各データを有し、スクリーン距離取得部１１４は，顔検出部１１１で検出された顔の大きさと平均顔モデル１１３との比を求め，最終的に表示画面距離ｄ２を求める。スクリーン距離取得部１１４は、以下に説明する動作にて上述の表示画面距離ｄ２を求める。ここで、平均的な顔の大きさｈａは、顔の縦寸法であり、ｗａは横寸法である。

スクリーン距離取得部１１４は、まず、顔検出部１１１で得られた画像中の顔の大きさｈ１、ｗ１と、平均顔モデル１１３における平均的な顔の大きさｈａ、ｗａとの比ｓ、つまりｗ１／ｗａ，ｈ１／ｈａ、を求める。次に、スクリーン距離取得部１１４は、予め設定している距離変換関数ｆ（ｓ）を用いて、求めた距離比ｓにて、表示画面距離ｄ２を求める。この際、図４に示すような距離変換テーブル１１２を用いてもよい。スクリーン距離取得部１１４は、求めた表示画面距離ｄ２の情報を、後述の焦点角度取得部１１６及び適正視差取得部１１８へ送出する。

また、上述した平均顔モデル１１３として、顔の形状等によって複数の顔モデルを格納しておき、比ｓを用いる代わりに、顔検出部１１１にて計測された顔の縦横比ｈ１：ｗ１に最も近いモデルを利用してもよい。

眼間距離取得部１１５は、観察者３における眼間距離を求める部分であり、本実施形態では、平均顔モデル１１３を用いて、平均的な眼間距離ｄａを観察者の眼間距離ｄ１に一意に設定する。眼間距離取得部１１５は、求めた眼間距離ｄ１を焦点角度取得部１１６及び適正視差取得部１１８へ送出する。

焦点角度取得部１１６は、上述の焦点角度θｆを求める部分であり、眼間距離取得部１１５で求めた眼間距離ｄ１と、スクリーン距離取得部１１４で求めた表示画面距離ｄ２とから焦点角度θｆを求める。焦点角度θｆの求め方としては、例えば図２Ｂに示すような計算式による方法がある。

適正視差取得部１１８は、上述の視差角度θｅを求める部分であり、焦点角度取得部１１６で求めた焦点角度θｆと、適正差分角度入力部１１７から入力された適正差分視差αとから視差角度θｅを求める。本実施形態では、視差角度θｅは、図２Ｂに示すように、焦点角度θｆと適正差分視差αとを加算して求めている。ここで適正差分視差αとは、眼精疲労を引き起こす輻輳と調節とのずれである、焦点角度θｆと視差角度θｅとのずれであり、人が疲労を起こしにくい値として、実験的に求められる。また、予め、複数の値をプリセット値として用意しておき、観察者に選択させることもできる。

適正視差設定部１１９は、適正視差ｄ３を設定する部分であり、適正視差取得部１１８で求めた視差角度θｅを元に、適正視差ｄ３の設定を行う。

以上のように構成することで、本実施形態における立体画像処理装置２０１は、観察者が手動で視差を調整することを必要とせず、観察者に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。また、観察者毎に差分角度を設定することが可能となる。

実施の形態２．
実施の形態１では、観察者３の眼間距離ｄ１、表示画面距離ｄ２を、上述のように観察者３の撮像画像における観察者３の顔の大きさを元に求めた。これに対し、図５に示す、本実施の形態２における立体画像処理装置２０２では、観察者３の撮像画像における観察者３の両眼を検出し、眼間距離ｄ１、表示画面距離ｄ２を求める。したがって、立体画像処理装置２０２では、立体画像処理装置２０１における顔検出部１１１に代えて、眼検出部１２１を有する。また、スクリーン距離取得部１２２を有する。眼検出部１２１及びスクリーン距離取得部１２２についても、上述した他の構成部分と同様に、コンピュータを用いて実現される。
尚、立体画像処理装置２０２におけるその他の構成部分は、実施の形態１における立体画像処理装置２０１の構成に同じである。よって以下では、主に相違する構成部分について詳しく説明を行う。

図５には、本実施の形態２における立体画像処理装置２０２の構成を示している。
眼検出部１２１は、画像入力装置１１０から供給される、観察者３の撮像画像情報から、図６に示すように、画像中の左眼位置Ｌ（Ｌｘ、Ｌｙ）、及び、右眼位置Ｒ（Ｒｘ、Ｒｙ）の各座標値を求め、画像中の眼間距離ｅ１を求める。眼検出の方法としては、上述した顔検出と同様の方法を用いることができる。
このように本実施形態２では、眼検出部１２１が、実施形態１の立体画像処理装置１０１に備わる眼間距離取得部１１５に相当する。

スクリーン距離取得部１２２は、表示画面距離ｄ２を求める部分であり、眼検出部１２１から、求めた眼間距離ｅ１が供給される。スクリーン距離取得部１２２は、まず、平均顔モデル１１３からの平均的な眼間距離ｄａと眼間距離ｅ１とから、距離比ｓ＝ｅ１／ｄａを求める。さらにスクリーン距離取得部１２２は、予め設定している距離変換関数ｆ（ｓ）を用いて、求めた距離比ｓにて、表示画面距離ｄ２を求め、求めた表示画面距離ｄ２を焦点角度取得部１１６及び適正視差取得部１１８へ送出する。

以後、焦点角度取得部１１６、適正差分角度入力部１１７、適正視差取得部１１８、及び適正視差設定部１１９は、実施の形態１で説明した動作を行い、適正視差ｄ３の設定が行われる。

このように構成される立体画像処理装置２０２においても、立体画像処理装置２０１と同様に、観察者に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。さらに、直接に観察者の眼の位置を検出して眼間距離を求めることで、顔を検出する場合と比べて、より正確な視差角度θｅを設定することが可能となる。

実施の形態３．
既に説明したように、立体視の方式として、偏光方式及びフレームシーケンシャル方式を採る場合には、表示画像を見るとき、観察者は、視聴用デバイスを用いる必要がある。本実施形態３では、その視聴用デバイスを用いた場合に、視聴用デバイスを検出することで眼間距離ｄ１を求める構成を有する立体画像処理装置を開示する。

図７には、本実施の形態３による立体画像処理装置２０３の構成が示されている。上述のように、本実施形態では視聴用デバイスの検出を行うことから、実施の形態１の立体画像処理装置２０１における顔検出部１１１に代えて、視聴用デバイス検出部１２３を有する。また、スクリーン距離取得部１２４を、平均顔モデル１１３に代えて視聴用デバイスモデル１２５を、それぞれ有する。ここで視聴用デバイス検出部１２３、スクリーン距離取得部１２４、及び視聴用デバイスモデル１２５についても、上述した他の構成部分と同様に、コンピュータを用いて実現される。
尚、立体画像処理装置２０３におけるその他の構成部分は、実施の形態１における立体画像処理装置２０１の構成に同じである。よって以下では、主に相違する構成部分について詳しく説明を行う。

視聴用デバイス検出部１２３は、画像入力装置１１０から観察者３の撮像画像情報が供給されるが、上述のように観察者３は、図８に示すように、視聴用デバイス１０を顔面に装着している。よって、観察者３の撮像画像情報には、視聴用デバイス１０の画像が含まれる。よって視聴用デバイス検出部１２３は、まず、図８に示すように、画像中における視聴用デバイス１０の大きさｇｈ１、ｇｗ１を求める。視聴用デバイス１０の検出の方法としては、上述した顔検出と同様の方法を用いることができる。ここで、大きさｇｈ１は、視聴用デバイス１０の縦寸法を、ｇｗ１は横寸法に相当する。そして視聴用デバイス検出部１２３は、求めた大きさｇｈ１、ｇｗ１をスクリーン距離取得部１２４へ送出する。

スクリーン距離取得部１２４は、画像中の視聴用デバイス１０の大きさｇｗ１、ｇｈ１と、視聴用デバイスモデル１２５中の視聴用デバイス１０の横幅ｇｗ０、高さｇｈ０とから、スケール（比）ｓを求める。この求め方は、上述の実施形態１の場合と同様であり、ここで、視聴用デバイスモデル１２５における横幅ｇｗ０、高さｇｈ０は、視聴用デバイスの平均的な横幅及び高さの大きさであり、ｇｅ０は平均的な眼間距離である。また上記スケールｓは、ｇｈ１／ｇｈ０＝ｇｗ１／ｇｗ０である。

また、スクリーン距離取得部１２４は、予め設定している距離変換関数ｆ（ｓ）を用いて、求めたスケールｓにて、表示画面距離ｄ２を求め、求めた表示画面距離ｄ２を焦点角度取得部１１６及び適正視差取得部１１８へ送出する。また、眼間距離取得部１１５は、視聴用デバイスモデル１２５中の眼間距離ｇｅ０を用いて、眼間距離ｄ１＝ｇｅ０として求める。

以後、焦点角度取得部１１６、適正差分角度入力部１１７、適正視差取得部１１８、及び適正視差設定部１１９は、実施の形態１で説明した動作を行い、適正視差ｄ３の設定が行われる。

このように構成される立体画像処理装置２０３においても、立体画像処理装置２０１と同様に、観察者に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。さらに、観察者３が装着している視聴用デバイス１０を検出することで、顔を検出する場合と比べて、より正確な視差角度θｅを設定することが可能となる。

実施の形態４．
本実施の形態４も、実施の形態３の場合と同様に、観察者が視聴用デバイスを装着した場合に関する。実施の形態３では視聴用デバイス１０の大きさを検出して表示画面距離ｄ２を求めたが、本実施の形態４では、観察者３の左右の眼に対応した映像を選択して透過させるという視聴用デバイス１０の機能を利用して表示画面距離ｄ２を求める立体画像処理装置について説明する。

図９には、本実施の形態４における立体画像処理装置２０４の構成が示されている。実施の形態３における立体画像処理装置２０３と比較すると、同期制御部１２６、及び左右画像距離算出部１２９を新たに備え、視聴用デバイス検出部１２３に代えて左右明滅パターン検出部１２８を備える。また、視聴用デバイス１０は、同期信号受信部１１を有する。また、眼間距離取得部１１５の機能は、左右明滅パターン検出部１２８及び左右画像距離算出部１２９にて実行され、眼間距離取得部１１５は削除している。ここで同期制御部１２６、左右明滅パターン検出部１２８、及び左右画像距離算出部１２９についても、上述した他の構成部分と同様に、コンピュータを用いて実現される。
尚、立体画像処理装置２０４におけるその他の構成部分は、実施の形態３における立体画像処理装置２０３の構成に同じである。よって以下では、主に相違する構成部分について詳しく説明を行う。

観察者３が擬似的に立体画像を認識するために、既に説明したように偏光方式及びフレームシーケンシャル方式では、観察者側において、視聴用デバイス１０を装着して、左右の眼に対応した映像を選択して透過させる必要がある。そのため、本実施の形態４における立体画像処理装置２０４の同期制御部１２６は、視聴用デバイス１０の左眼、右眼に対して映像の透過、不透過を行わせる信号を発する。視聴用デバイス１０に備わる同期信号受信部１１は、この信号を受信し、図１０に示すように、左眼、右眼で映像の透過のＯＮ／ＯＦＦを制御する。これによって、視聴用デバイス１０の左眼、右眼では、輝度値が異なる明暗が発生する。

画像入力装置１１０は、実施形態３の場合と同様に、このような視聴用デバイス１０を装着した観察者３を撮像しており、その画像情報には、視聴用デバイス１０の左眼、右眼において明暗が発生している。
よって、左右明滅パターン検出部１２８は、同期制御部１２６から供給される同期信号に対応して、画像入力装置１１０の画像情報を取り込む。これにより、視聴用デバイス１０の映像では、左眼及び右眼のうち一方のみが映像透過状態、つまり「明」として取り込まれる。このようにして左右明滅パターン検出部１２８は、視聴用デバイス１０における左眼及び右眼の明滅パターンを検出し、左右画像距離取得部１２９へ送出する。

左右画像距離取得部１２９は、図１１に示すように、取り込んだ画像間での差分画像ΔＩｔｎを求める。この差分画像ΔＩｔｎによれば、図示するように、輝度値が正の領域Ｓｌ（ｘ、ｙ）と輝度値が負の領域Ｓｒ（ｘ、ｙ）の部分のみ、つまり視聴用デバイス１０の両眼に対応する部分のみが抽出されることになる。さらに左右画像距離取得部１２９は、正の領域Ｓｌ（ｘ、ｙ）における重心位置ｇｌ（ｘ、ｙ）、及び、負の領域Ｓｒ（ｘ、ｙ）における重心位置ｇｒ（ｘ、ｙ）をそれぞれ求め、各重心位置間の距離を眼間距離ｅ１として求める（図１１）。左右画像距離取得部１２９は、求めた眼間距離ｅ１をスクリーン距離取得部１２４へ送出する。

スクリーン距離取得部１２４は、上述の実施形態３等と同様に、供給された眼間距離ｅ１と、視聴用デバイスモデル１２５中のデバイス眼間距離ｇｅ０とから、スケール（比）ｓ＝ｇｅ０／ｅ１を求め、そこから距離変換関数ｆ（ｓ）を用いて、スクリーン１と観察者３との間の表示画面距離ｄ２を求める。

以後、上述の各実施形態と同様に、焦点角度取得部１１６、適正差分角度入力部１１７、適正視差取得部１１８、及び適正視差設定部１１９は、実施の形態１で説明した動作を行い、適正視差ｄ３の設定が行われる。

このように構成される立体画像処理装置２０４においても、立体画像処理装置２０１と同様に、観察者に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。また、観察者３が装着している視聴用デバイス１０の大きさを検出する実施の形態３の構成に比べると、視聴用デバイス１０の両眼対応部分を抽出することから、より正確な視差角度θｅを設定することが可能となる。さらに、本実施形態４の立体画像処理装置２０４では以下の効果が得られる。

即ち、一般的に対象物体を検出する技術は、計算機への処理負荷が高く、対象物体以外の物を検出してしまう誤検出、及び対象物体を見逃す未検出が起きやすい。本実施の形態４では、視聴用デバイス１０の左右の明滅パターンを検出する左右明滅パターン検出部１２８と、明滅パターンから視聴デバイス１０の左右間の距離を計算する左右画像距離取得部１２９とを用いることで、低い処理負荷で安定したスクリーン距離ｄ２を求めることができ、安定した視差角度θｅを設定することができる。

実施の形態５．
本実施の形態５における立体画像処理装置も、上述の実施形態４と同様に、観察者が視聴用デバイスを装着し、視聴用デバイス１０における左右の明滅パターンを利用したものである。但し、実施形態４では、視聴用デバイス１０は、左眼及び右眼の映像を切り替える機能を有する必要があるが、本実施の形態５では、このような機能を有しない視聴用デバイス１０に対しても有効とする構成を備える。

図１２には、本実施の形態５における立体画像処理装置２０５の構成が示されている。
実施の形態４の構成と比較すると、同期制御部１２６及び同期信号受信部１１に代えて、左右映像パターン制御部１３０及び左右映像パターン生成部１３１とを有する点で異なる。左右映像パターン制御部１３０及び左右映像パターン生成部１３１についても、上述した他の構成部分と同様に、コンピュータを用いて実現される。
尚、立体画像処理装置２０５におけるその他の構成部分は、実施の形態４における立体画像処理装置２０４の構成に同じである。よって以下では、主に相違する構成部分について詳しく説明を行う。

立体画像処理装置２０５を使用する映像システムでは、視聴用デバイス１０は、左眼、右眼部分で偏光性が異なり、画像の表示装置上における映像の偏光性との組み合わせにより、視聴用デバイス１０を装着した観察者３の左右の眼に対応した別々の映像が届くように構成されている。立体画像処理装置２０５は、このような映像システムを前提とする。

左右映像パターン制御部１３０は、左右で輝度値の差を持つパターン、例えば白と黒、からなる映像パターンを生成する左右映像パターン生成部１３１を制御する。この左右映像パターン生成部１３１は、生成した映像パターンを上記映像システムにおける表示装置へ送出する。よって表示装置は、図１３に示すように、時間によって映像パターンを反転させて表示する。一方、これにより、視聴用デバイス１０は、左右の映像パターンに同期して、輝度値の差を持った領域、例えば、白は明るい領域、黒は暗い領域、として、画像入力装置１１０によって撮像される。画像入力装置１１０は、この撮像情報を左右明滅パターン検出部１２８へ送出する。

左右明滅パターン検出部１２８には、左右映像パターン制御部１３０から映像パターンの生成タイミングが供給され、左右明滅パターン検出部１２８は、左右映像パターン制御部１３０と同期する画像間で視聴用デバイス１０における明滅パターンを検出し、検出した明滅パターンを左右画像距離取得部１２９へ送出する。

左右画像距離取得部１２９は、左右映像パターン制御部１３０と同期する画像間での差分画像ΔＩｔｎを求める。そして、上述の実施形態４にて図１１を参照して説明したように、左右画像距離取得部１２９は、輝度値が正の領域Ｓｌ（ｘ、ｙ）と輝度値が負の領域Ｓｒ（ｘ、ｙ）とを求め、各領域の重心位置ｇｌ（ｘ、ｙ）、ｇｒ（ｘ、ｙ）の距離を眼間距離ｅ１として求める。

以後、上述の実施形態４の場合と同様に、スクリーン距離取得部１２４は、スクリーン１と観察者３との間の表示画面距離ｄ２を求め、焦点角度取得部１１６、適正差分角度入力部１１７、適正視差取得部１１８、及び適正視差設定部１１９は、実施の形態１で説明した動作を行い、適正視差ｄ３の設定が行われる。

尚、左右の明滅パターンが分かり易くなるように、映像パターン表示に近赤外を用い、画像入力装置１１０では近赤外を検出可能なカメラを用いてもよい。

このように構成される立体画像処理装置２０５においても、立体画像処理装置２０１と同様に、観察者に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。また、実施の形態３と同様に視聴用デバイス１０の両眼対応部分を抽出することから、より正確な視差角度θｅを設定することが可能となる。さらに、本実施形態５の立体画像処理装置２０５では以下の効果が得られる。

即ち、本実施形態５では、左右映像パターン制御部１３０と左右映像パターン生成部１３１とを用いて、左右の明滅パターンを生成し、これによる視聴用デバイス１０の左右の明滅パターンを検出する左右明滅パターン検出部１２８と、明滅パターンから視聴用デバイス１０の左右間の距離を計算する左右画像距離算出部１２９とを用い、さらにスクリーン距離取得部１２４を用いて表示画面距離ｄ２を求める。これにより、偏光方式等、視聴用デバイス側でアクティブに左右の映像を切り替えて受信する機能を持たない立体視表示装置において、低い処理負荷で安定した視差角度θｅを設定することができる。

実施の形態６．
本実施の形態６の立体画像処理装置は、光線方式を利用した映像システムに適用されるものである。よって、視聴用デバイス１０を用いることなく、表示装置上に施したパララックス・バリアもしくはレンティキュラ・レンズ等の光学装置により、表示装置上における左右の眼の映像が観察者３の対応する各眼に届くことになる。

図１４には、本実施の形態６による立体画像処理装置２０６の構成が示されている。実施の形態５における立体画像処理装置２０５の構成と比べると立体画像処理装置２０６では、左右映像パターン制御部１３０、左右映像パターン生成部１３１、及び左右明滅パターン検出部１２８に代えて、上記光線方式に対応して、映像パターン制御部１３２、映像パターン生成部１３３、及び明滅パターン検出部１３４を備える点で異なる。これら映像パターン制御部１３２、映像パターン生成部１３３、及び明滅パターン検出部１３４についても、上述した他の構成部分と同様に、コンピュータを用いて実現される。
また、視聴用デバイスモデル１２５に対して、平均顔モデル１１３を使用する点でも異なる。
尚、立体画像処理装置２０６におけるその他の構成部分は、実施の形態５における立体画像処理装置２０５の構成に類似する。よって以下では、主に相違する構成部分について詳しく説明を行う。

映像パターン制御部１３２は、図１５に示すように、左右で輝度値の差を持つパターン、例えば白と黒、からなる映像パターンを生成する映像パターン生成部１３３を制御する。この映像パターン生成部１３３は、生成した映像パターンを上記映像システムにおける表示装置へ送出する。よって表示装置は、図１５に示すように、時間によってパターンを反転させて表示する。
これにより、視聴者の顔は、左右の短冊状の映像パターンに対応して、図１６に示すように、左右で輝度値の差を有する領域を含んで、画像入力装置１１０で撮像される。画像入力装置１１０は、撮像情報を明滅パターン検出部１３４へ送出する。

明滅パターン検出部１３４には、映像パターン制御部１３２から映像パターンの生成タイミングが供給され、明滅パターン検出部１３４は、映像パターン制御部１３２と同期する画像間で観察者３の顔における明滅パターンを検出し、検出した明滅パターンを左右画像距離取得部１２９へ送出する。

以後の処理動作は、上述の実施の形態４、５における対応の動作に基本的に同じである。即ち、左右画像距離取得部１２９は、映像パターン制御部１３２によるタイミングと同期する顔の画像間の差分画像ΔＩｔｎを求める。つまり、観察者３の顔の画像には、図１７に示すように輝度値の異なる、例えば短冊状の領域が存在し、左右画像距離取得部１２９は、図１７に示すように、輝度値が正の領域Ｓｌ（ｘ、ｙ）と輝度値が負の領域Ｓｒ（ｘ、ｙ）とを求め、さらに、各領域の重心位置ｇｌ（ｘ、ｙ）、ｇｒ（ｘ、ｙ）の距離を眼間距離ｅ１として求める。

スクリーン距離取得部１２４は、左右画像距離取得部１２９で求められた眼間距離ｅ１と、平均顔モデル１１３中の平均眼間距離ｅ０とから、実施形態１〜５の場合と同様に、スケール（比）ｓ＝ｅ１／ｅ０を求め、さらに、距離変換関数ｆ（ｓ）を用いて、スクリーンと観察者３との間の表示画面距離ｄ２を求める。

以後、上述の実施形態５の場合と同様に、焦点角度取得部１１６、適正差分角度入力部１１７、適正視差取得部１１８、及び適正視差設定部１１９は、実施の形態１で説明した動作を行い、適正視差ｄ３の設定が行われる。

尚、左右の明滅パターンが分かり易くなるように、映像パターン表示に近赤外を用い、画像入力装置１１０では近赤外を検出可能なカメラを用いてもよい。

このように構成される立体画像処理装置２０６においても、立体画像処理装置２０１と同様に、観察者に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。また、本実施形態６の立体画像処理装置２０６では以下の効果が得られる。

即ち、本実施形態６では、映像パターン制御部１３２と映像パターン生成部１３３とを用いて明滅パターンを生成し、これにより、観察者３の顔の明滅パターンを検出する明滅パターン検出部１３４を備え、顔の明滅パターンから表示画面距離ｄ２を求める。よって、表示する映像の到達方向を制限する光線方式を用いた立体表示装置において、低い処理負荷で安定した視差角度θｅを設定することができる。

実施の形態７．
上述した各実施の形態１〜６では、一人の観察者３を対象とした場合を例に採っているが、本実施の形態７では、複数の観察者３がスクリーン１の表示画像を見ている場合を例に採る。

図１８には、本実施の形態７における立体画像処理装置２０７の構成が示されている。図１９は、複数の観察者３における視差の設定を説明する図である。図１に示す立体画像処理装置２０１と、本実施の形態７における立体画像処理装置２０７とは、観察者選択部１３５を有する点でのみ異なる。よって以下では、観察者選択部１３５について詳しく説明を行う。
尚、観察者選択部１３５についても、上述した他の構成部分と同様に、コンピュータを用いて実現される。

観察者選択部１３５には、実施形態１で説明した顔検出部１１１で検出された複数の観察者３における顔のそれぞれの大きさｈ１、ｗ１（図３）が供給され、観察者選択部１３５は、ある特定の観察者３を選択し、その観察者３の顔の大きさｗ１、ｈ１を、スクリーン距離取得部１１４へ送出する。ここで、観察者３の選択方法としては、図１９に示すように、視差が最も大きくなる、スクリーン１に最も近い観察者３を選択する、もしくは、予め定めた特定の個人を選択するという方法がある。

スクリーン距離取得部１１４は、平均顔モデル１１３に格納されている平均的な顔の縦、横のｗａ，ｈａデータと、選択された観察者３の顔の大きさｗ１、ｈ１とから、上述のようにスケール（比）ｓを求め、さらに表示画面距離ｄ２を求める。

以後、眼間距離取得部１１５、焦点角度取得部１１６、適正差分角度入力部１１７、適正視差取得部１１８、及び適正視差設定部１１９は、実施の形態１で説明した動作を行い、適正視差ｄ３の設定が行われる。
尚、平均顔モデル１１３として、顔の形状等により複数の顔モデルを持つことも可能である。

このように構成される立体画像処理装置２０７においても、立体画像処理装置２０１と同様に、観察者に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。また、本実施形態７の立体画像処理装置２０７では以下の効果が得られる。

即ち、視差角度θｅと焦点角度θｆとの差が大きくなると立体視の違和感は大きくなる。本実施の形態７では、顔検出部１１１で複数の顔が見つかった場合に、観察者選択部１３５において、視差角度θｅと焦点角度θｆとの差が一番大きい、即ち最もスクリーン１に近い観察者３を選択して、適正視差を設定する。したがって、複数の観察者３がいる場合でも、全ての観察者３に対して適正な視差角度θｅを設定することができる。

実施の形態８．
上述した各実施形態１〜７では、観察者３の左右両眼は、水平な位置状態にあることを前提としている（図２５）。しかしながら、顔が傾いた場合は、本来水平方向だけでなく上下方向にも視差が発生する（図２６）。
そこで、本実施の形態８では、観察者３が顔を傾け左右両眼が水平位置状態からずれた場合でも、正常な立体視が可能となる立体画像処理装置について説明を行う。

図２０には、本実施の形態８における立体画像処理装置２０８の構成が示されている。例えば図１を参照した実施の形態１における立体画像処理装置２０１を例に採ると、本実施の形態８における立体画像処理装置２０８は、立体画像処理装置２０１に対してさらに、傾き検出部１３７、視差回転取得部１３８、及び視差設定部１３９を設けた構成を備える。また、図２０に示す「視差入力部」は、立体画像処理装置２０１における構成部分の内、図１にて「１１２」から「１１９」の符号を付した構成部分に相当する。また、視差回転取得部１３８及び視差設定部１３９が視差補正部の構成の一例に相当する。
以下では、主に、立体画像処理装置２０８において新たな構成部分である、傾き検出部１３７、視差回転取得部１３８、及び視差設定部１３９について説明を行う。
尚、傾き検出部１３７、視差回転取得部１３８、及び視差設定部１３９は、既に説明した他の構成部分と同様に、コンピュータを用いて実現される。

顔検出部１１１は、画像入力装置１１０で撮像された観察者３の画像を元に、顔の傾きを検出可能な顔検出アルゴリズム、例えば、M.Jones and P.Viola、 “Fast Multi-View Face Detection、” MERL Technical Report 2003-96、 2003 を用いて、画像中の観察者３の顔を検出し、検出した顔の画像を傾き検出部１３７へ送出する。

傾き検出部１３７は、観察者３の顔の傾きθを検出する。ここで傾きθは、図２１に示すように、観察者３の左右両眼が水平位置状態からずれたときの、顔の中心軸と鉛直方向軸とのなす角度である。検出した顔の傾きθは、視差回転取得部１３８へ送出される。

視差回転取得部１３８は、回転行列Ｍθを計算し、視差設定部１３９へ送出する。
また、上記視差入力部１１２〜１１９は、実施の形態１にて説明した通り、観察者３の両眼が水平位置にある場合における視差ｄ３を求める部分であり、求めた視差ｄ３を視差設定部１３９へ送出する。尚、視差ｄ３は、観察者３の左右両眼が水平位置状態にありｙ軸座標をゼロとし、図２１に示すようにｄ３＝（Ｘｄ、０）となる。

視差設定部１３９は、供給される回転行列Ｍθ及び視差ｄ３を用いて、観察者３の顔が傾きθで傾いたときの視差ｄ４を計算する。

このように構成される立体画像処理装置２０８においても、立体画像処理装置２０１と同様に、観察者３に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。また、本実施形態８の立体画像処理装置２０８では、さらに以下の効果が得られる。

即ち、本実施の形態８では、傾き検出部１３７を用いて、観察者３の顔の傾きを判定し、視差回転取得部１３８を用いて、視差の回転方向を計算するようにした。よって、観察者３の顔が傾いた場合でも、正確な立体視の表示を行うことができる。

尚、図２０では、視差入力部として、実施の形態１における図１に示す構成の内、１１２〜１１９が付された構成部分が相当する場合を例に採ったが、視聴用デバイス１０を用いない形態における他の実施の形態２、６、７の場合では、視差入力部としては視差ｄ３を生成するための構成部分が相当する。

実施の形態９．
本実施の形態９においても、実施の形態８の場合と同様に、観察者３の顔が傾いた場合においても対応可能な立体画像処理装置について説明を行う。実施の形態８の立体画像処理装置２０８では、顔の傾き方向は考慮していないが、本実施の形態９では、顔の傾き方向をも考慮して視差ｄ４を求めることが可能な立体画像処理装置を開示する。

図２２には、本実施の形態９における立体画像処理装置２０９の構成が示されている。また、図２３は視差方向判定を説明するための図、図２４は顔の傾きによる視差反転に関する図である。図２４において、直線偏光の場合、偏光の方向性を左右の眼鏡に直線で表示し、円偏光の場合、偏光の向きを左右の眼鏡の中に表示する。
図２４に示すように、円偏光の場合、顔の傾きの問題は受けないが、直線偏光の場合、顔の傾きがある場合に、本来左目に入るべき映像が右目に、また右目に入るべき映像が左目に入るという左右の映像反転による視差反転が起きる。

本実施の形態９における立体画像処理装置２０９は、実施の形態８の立体画像処理装置２０８と比べて、視差方向判定部１４０を有する点で異なる。よって以下では、主に、視差方向判定部１４０について詳しく説明を行う。
尚、視差方向判定部１４０は、既に説明した他の構成部分と同様に、コンピュータを用いて実現される。

傾き検出部１３７は、上述したように観察者３の顔の傾きθを検出し、検出した顔の傾きθを視差回転取得部１３８、及び視差方向判定部１４０へ送出する。

視差方向判定部１４０は、図２３に示す視差方向テーブルを有する。この視差方向テーブルは、鉛直軸に対する観察者３の顔の中心軸の傾き方向と、視差方向ベクトルとの関係を示すテーブルである。図２３に示すｙ軸の傾きを示す矢印が傾きθに付す「＋」の符号に対応する。
よって、視差方向判定部１４０は、顔の傾きθから、視差方向テーブルを用いて視差方向ベクトル（ｒｘ、ｒｙ）を求め、求めた視差方向ベクトル（ｒｘ、ｒｙ）を視差設定部１３９へ送出する。

視差設定部１３９は、視差方向ベクトル（ｒｘ、ｒｙ）、回転行列Ｍθ、及び視差入力部１１２〜１１９から供給された視差ｄ３を用いて、顔の傾き方向を考慮した視差ｄ４を計算する。

このように構成される立体画像処理装置２０９においても、立体画像処理装置２０１と同様に、観察者３に対して適正な視差を自動的に生成し、自然な立体画像を表示することを可能にする。また、本実施形態９の立体画像処理装置２０９では以下の効果が得られる。

即ち、本実施形態９では、傾き検出部１３７を用いて観察者３の顔の傾き方向を検出した後、その傾き方向から、視差が反転している場合にはそれを補正する視差方向判定部１４０を用いることで、観察者３の顔が傾いたとしても、左、右の映像が誤って右眼、左眼に入るのを防ぎ、正確な立体視の表示を行うことができる。

１ スクリーン、３ 観察者、１０ 視聴用デバイス、
１１５ 眼間距離取得部、１１６ 焦点角度取得部、１１８ 適正視差取得部、１２１ 眼検出部、１２２、１２４ スクリーン距離取得部、１２３ 視聴用デバイス検出部、１２８ 明滅パターン検出部、１２９ 左右画像距離取得部、１３３ 映像パターン生成部、１３５ 観察者選択部、１３７ 傾き検出部、１３８ 視差回転取得部、１３９ 視差設定部、１４０ 視差方向判定部、
２０１〜２０９ 立体画像処理装置。

Claims (10)

1. 両眼視差によって表示画像を擬似的に立体画像として認識させる立体画像処理装置において、
   観察者の両眼間の眼間距離を求める眼間距離取得部と、
   表示画面に対して観察者が正面視の状態における観察者と表示画面との間の表示画面距離を求める表示画面距離取得部と、
   求めた眼間距離及び表示画面距離から、観察者の両眼による表示画面での焦点位置と各眼とで形成される焦点角度を求める焦点角度取得部と、
   求めた焦点角度から適正視差を求める適正視差取得部と、
   を備え、適正視差を自動生成することを特徴とする立体画像処理装置。
2. 顔の平均的な大きさ、及び平均的な眼間距離を格納した平均顔モデルをさらに備え、
   上記眼間距離取得部は、上記平均顔モデルにおける平均的な眼間距離を眼間距離とし、
   表示画面距離取得部は、観察者の撮像画像における顔の大きさと、上記平均顔モデルにおける顔の平均的な大きさとの比から表示画面距離を求める、
   請求項１記載の立体画像処理装置。
3. 上記眼間距離取得部は、観察者の撮像画像から観察者の各眼を検出し検出した各眼から眼間距離を求める眼検出部を有し、
   表示画面距離取得部は、求めた眼間距離と、上記平均顔モデルにおける平均的な眼間距離との比から表示画面距離を求める、
   請求項１記載の立体画像処理装置。
4. 観察者の撮像画像から観察者が装着している視聴用デバイスを検出し、検出した視聴用デバイスの大きさを求める視聴用デバイス検出部と、
   視聴用デバイスの平均的な大きさ、及び平均的なデバイス眼間距離を格納した視聴用デバイスモデルと、をさらに備え、
   上記眼間距離取得部は、視聴用デバイスモデルにおける平均的なデバイス眼間距離を眼間距離とし、
   表示画面距離取得部は、観察者の撮像画像における視聴用デバイスの大きさと、上記視聴用デバイスモデルにおける視聴用デバイスの平均的な大きさとの比から表示画面距離を求める、
   請求項１記載の立体画像処理装置。
5. 観察者が視聴用デバイスを装着している状態において、
   視聴用デバイスに対して左眼、右眼における映像の透過、不透過を行わせる信号を送出する同期制御部をさらに備え、
   上記眼間距離取得部は、視聴用デバイスにおける左眼及び右眼の明滅パターンを検出する明滅パターン検出部と、検出された明滅パターンから眼間距離を求める画像距離取得部とを有し、
   視聴用デバイスの平均的な大きさ、及び平均的なデバイス眼間距離を格納した視聴用デバイスモデルをさらに備え、
   表示画面距離取得部は、平均的なデバイス眼間距離と、上記画像距離取得部で求めた眼間距離との比から表示画面距離を求める、
   請求項１記載の立体画像処理装置。
6. 左右で輝度値の差を持つ映像パターンを生成する左右映像パターン生成部と、
   視聴用デバイスの平均的な大きさ、及び平均的なデバイス眼間距離を格納した視聴用デバイスモデルと、をさらに備え、
   観察者が視聴用デバイスを装着している状態において、
   上記眼間距離取得部は、上記左右映像パターン生成部によって生成された映像パターンによって視聴用デバイスにおける左眼及び右眼に生じる明滅パターンを検出する明滅パターン検出部と、検出された明滅パターンから眼間距離を求める画像距離取得部とを有し、
   表示画面距離取得部は、平均的なデバイス眼間距離と、上記画像距離取得部で求めた眼間距離との比から表示画面距離を求める、
   請求項１記載の立体画像処理装置。
7. 観察者の顔に投影する左右で輝度値の異なる映像パターンを生成する映像パターン生成部と、
   顔の平均的な大きさ、及び平均的な眼間距離を格納した平均顔モデルと、をさらに備え、
   上記眼間距離取得部は、観察者の撮像画像から上記映像パターンの明滅パターンを検出する明滅パターン検出部と、検出された明滅パターンから眼間距離を求める画像距離取得部とを有し、
   表示画面距離取得部は、上記平均顔モデルによる平均的な眼間距離と、上記画像距離取得部で求めた眼間距離との比から表示画面距離を求める、
   請求項１記載の立体画像処理装置。
8. 複数の観察者が存在する状態において、眼間距離を求める観察者を選択する観察者選択部をさらに有し、
   上記適正視差取得部は、選択された観察者の眼間距離を元に適正視差を求める、請求項１記載の立体画像処理装置。
9. 表示画面に対して観察者の両眼間が水平状態から傾斜して位置する状態において、観察者の画像から両眼間の傾斜を検出する傾き検出部と、
   上記適正視差取得部にて求めた適正視差に対して、上記傾き検出部で検出した傾斜にて補正した補正視差を生成する視差補正部と、
   をさらに備えた、請求項１記載の立体画像処理装置。
10. 上記傾き検出部で検出した両眼間の傾斜によって視差の左右反転を検出して反転を補正する視差方向判定部をさらに備えた、請求項９記載の立体画像処理装置。