JP2016054417A - 立体画像処理装置、立体撮像装置、立体表示装置および立体画像処理プログラム - Google Patents

Abstract

【課題】壁化や箱庭効果をより正確に判定する。
【解決手段】立体画像処理装置１は、撮像により生成された互いに視差を有する視差画像に含まれる実被写体を抽出する抽出手段２０と、視差画像における実被写体の視差量および撮像に際しての実被写体の距離のうち一方と、視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる、無限遠に配置された仮想被写体に対する実被写体の立体感を判定する判定手段４０，５０とを有する。
【選択図】図１

Description

本発明は、立体視可能な視差画像を生成する画像処理技術に関する。

互いに視差を有する視差画像を表示することで観察者に立体画像を提示する場合に、被写体が無限遠の背景に貼り付いているように見えるいわゆる「壁化」や、被写体が背景に対してミニチュアのように見えるいわゆる「箱庭効果」が生じる場合がある。特許文献１では、壁化や箱庭効果を立体画像を提示する空間の幾何学的な歪み（空間歪み）による不自然さと定義し、視差画像の撮像条件、該空間に関する条件（空間条件）および視差画像の観察条件に基づいて空間歪みによる不自然さを表す方法が開示されている。

特開２００５−２６７５６号公報

しかしながら、観察者は視差画像が有する視差によって立体感を感じるので、特許文献１にて開示されているような空間歪みだけでは正確に観察者が感じる壁化や箱庭効果を表すことは困難である。

本発明は、壁化や箱庭効果を視差や被写体距離によって定義することで、これら壁化や箱庭効果の発生をより正確に判定することができるようにした立体画像処理装置を提供する。

本発明の一側面としての立体画像処理装置は、撮像により生成された互いに視差を有する視差画像に含まれる実被写体を抽出する抽出手段と、視差画像における実被写体の視差量および撮像に際しての実被写体の距離のうち一方と、視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる、無限遠に配置された仮想被写体に対する実被写体の立体感を判定する判定手段とを有することを特徴とする。

なお、上記立体画像処理装置を含む立体撮像装置および立体表示装置もそれぞれ、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての立体画像処理プログラムは、コンピュータに、撮像により生成された互いに視差を有する視差画像に含まれる実被写体を抽出させ、視差画像における前記実被写体の視差量および前記撮像に際しての前記実被写体の距離のうち一方と、視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる、無限遠に配置された仮想被写体に対する実被写体の立体感を判定させることを特徴とする。

本発明によれば、視差や被写体距離に基づいて、壁化や箱庭効果の発生を正確に判定することができる。

本発明の実施例１である立体画像処理装置の構成を示すブロック図。 実施例１の立体画像処理装置が行う処理を示すフローチャート。 本発明の実施例２である立体撮像装置の構成を示すブロック図。 実施例２の立体撮像装置が行う処理を示すフローチャート。 本発明の実施例３である立体撮像装置が行う処理を示すフローチャート。 本発明の実施例４である立体表示装置の構成を示すブロック図。 実施例４の立体表示装置が行う処理を示すフローチャート。 本発明の実施例５である立体画像処理装置の構成を示すブロック図。 実施例５の立体画像処理装置が行う処理を示すフローチャート。 本発明の実施例６である立体撮像装置の構成を示すブロック図。 実施例６の立体撮像装置が行う処理を示すフローチャート。 本発明の実施例７である立体撮像装置が行う処理を示すフローチャート。 本発明の実施例８である立体表示装置の構成を示すブロック図。 実施例８の立体表示装置が行う処理を示すフローチャート。 立体撮像モデルを説明する図。 被写体抽出を説明する図。 対応点抽出方法を説明する図。

以下、本発明の実施例について図面を参照して説明する。

まず、具体的な実施例の説明に先立って、該実施例に共通する事項について説明する。各実施例では、互いに視差を有する左右のカメラにより被写体を撮像して互いに視差を有する右眼用および左眼用の視差画像（以下、左右の視差画像という）を生成し、これら視差画像を観察者に右眼と左眼を通して観察させることで被写体の立体像を提示する。

立体画像に関係するパラメータには、撮像に関する５つのパラメータ（以下、撮像パラメータという）と観察に関する３つのパラメータ（以下、観察パラメータという）とがある。５つの撮像パラメータは、左右のカメラの光軸間の距離（基線長）、撮像時における両カメラの撮影光学系の焦点距離、両カメラの撮像素子のサイズ（有効画素数）、左右のカメラの光軸同士がなす角度（輻輳角）および被写体距離である。一方、３つの観察パラメータは、視差画像を表示する表示面のサイズ（表示サイズ）、表示面とこれに表示された視差画像を観察する観察者との距離（視距離）、表示面に表示する視差画像の位置を調整するためのオフセット量である。

輻輳角を変化させる（左右の光軸の交点である輻輳点を前後させる）ことにより立体感を制御する交差法もあるが、ここでは説明の簡略化のために左右の光軸が平行となる平行法での立体感の制御について説明する。平行法での幾何学的理論は、輻輳角を変化させる方法に対しても、輻輳点までの距離を考慮することで成り立つ。任意の被写体を撮像するときの幾何学関係を図１５（Ａ）に、撮像により生成された視差画像を観察者に提示するときの幾何学関係を図１５（Ｂ），（Ｃ）に示す。

図１５（Ａ）において、左右のカメラの主点位置の中間を原点とする。左右のカメラ（Ｌ_ｃａｍｅｒａ，Ｒ_ｃａｍｅｒａ）が並ぶ方向にｘ軸をおき、それに直交する方向にｙ軸をおく。高さ方向について説明の簡略化のために省略する。基線長は２ｗｃである。左右のカメラの仕様は同一であり、撮像時の両カメラの撮影光学系の焦点距離をｆとし、撮像素子の横幅をｃｃｗとする。任意の被写体Ａの位置をＡ（ｘ１，ｙ１）とする。

左右のカメラの撮像素子上に形成される被写体Ａの像の位置は、幾何学的に、被写体Ａおよび主点位置を通る直線と撮像素子との交点となる。このため、撮像素子上での被写体Ａの像の位置は撮像素子の中心を基準とすると、左右のカメラで異なる。この位置の差は被写体距離が長いほど小さくなり、無限遠では０になる。

図１５（Ｂ）において、観察者の左右の眼（Ｌ_ｅｙｅ，Ｒ_ｅｙｅ）の中心を原点とし、左右の眼が並ぶ方向にｘ軸をおき、それに直交する方向にｙ軸をおく。左右の眼の間隔は２ｗｅである。観察者から視差画像が表示される表示面（ｓｃｒｅｅｎ）までの視距離はｄｓである。表示面の横幅はｓｃｗである。

表示面上には左右のカメラでの撮像により得られた左右の視差画像が互いにほぼ重複する表示領域に表示される。観察者が液晶シャッタメガネを装着して左眼用および右眼用のシャッタを交互に開閉することで立体観察を行う場合は、表示面に表示される左右の視差画像もそれに同期して高速で交互に切り替えられる。平行法による撮像によって得られた左右の視差画像をそのまま表示すると、表示面上には無限遠の被写体の画像ばかりが表示され、すべての被写体が表示面から飛び出すように表示されて好ましくない。このため、左右の視差画像の表示領域をｘ軸方向にずらして、表示面上での被写体距離を適当に調整する。この左右の視差画像の表示領域をずらす量がオフセット量（ｓ）である。

オフセット量が０の場合に表示面に表示される左の視差画像Ｌの座標を（Ｐｌ，ｄｓ）とし、右の視差画像Ｒの座標を（Ｐｒ，ｄｓ）とするとき、オフセット量がｓの場合のそれらの座標はＬ（Ｐｌ−ｓ，ｄｓ）とＲ（Ｐｒ＋ｓ，ｄｓ）になる。

このような条件において観察される被写体Ａの立体像は、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置Ａ′（ｘ２，ｙ２）に形成される。

Ａ′（ｘ２，ｙ２）について幾何学的に詳細に説明する。被写体Ａの像の左右のカメラの撮像素子の中心に対するずれ量を撮影視差量Ｐｌｃ，Ｐｒｃとすると、これらは、

で表される。

撮像素子のサイズ（横幅ｃｃｗ）と表示面のサイズ（横幅ｓｃｗ）との比を表示倍率ｍとすると、
ｍ＝ｓｃｗ／ｃｃｗ
となり、撮影視差量Ｐｌｃ，Ｐｒｃは表示面上では−ｍ倍される。これを表示視差量Ｐｌ，Ｐｒとすると、

で表される。

表示時に左右の視差画像に付加するオフセット量をｓとすると、観察者が観察する被写体Ａの立体像の位置Ａ′（ｘ２，ｙ２）は、

となる。

同一の被写体距離の像は同一の平面上にて観察される。ここで、さらに説明の簡略化のために、被写体Ａを軸上（ｘ１＝０）とすると、オフセット量が０のときの表示視差量は、

となる。オフセット量をｓとしたときの立体像の位置Ａ′は、図１５（Ｃ）に示すように、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置（０，ｙ２）となる。

式（９）に式（７），（８）を代入して整理すると、

となる。

図１５（Ｃ）に示すように、観察者が被写体Ａの立体像を見込む角度をβとすると、βはその立体像が形成される位置までの距離ｙ２と眼幅２ｗｅとから、

となる。ｙ２に式（９）を代入すると、

となり、式（１２）に式（７），（８）を代入して整理すると、

となる。

ここで、図１５（Ｃ）に示すように、観察者が表示面を見込む角度をαとすると、

となるので、α−βは、

となる。また、式（１５）に式（７），（８）を代入して整理すると、

となる。このα−βがいわゆる相対視差量と呼ばれる指標である。この相対視差量の大きさが表示面と被写体Ａの像との間の相対的な奥行き方向（ｙ軸方向）での距離に対応する。従来の様々な研究から、人間は脳内でこの相対視差量を計算して奥行き方向での被写体の位置を認識していることが知られている。

次に、壁化について説明する。壁化とは、立体画像の観察時に任意の被写体と無限遠に位置する被写体に対して奥行き方向での区別がつかなくなる（相対的な立体感がなくなる）ことをいう。つまり、任意の被写体が無限遠の背景に対して張り付いているように観察される。

壁化は遠方の被写体に対して生じる現象であるので、まず無限遠の被写体について相対視差量を求める。無限遠に対する相対視差量は、平行法では、式（１），（２）から分かるように、視差量（Ｐｌ−Ｐｒ）が０となるため、

となる。

ここで、無限遠の被写体に対する有限距離の被写体の視差量は、式（１７）から式（１５）または式（１６）を引いて以下のように求まる。

壁化が生じているときには、遠方の被写体は平面に見えるので、無限遠の被写体に対する視差量は０でなくてはならない。

発明者がフルＨＤの３Ｄテレビを用いて遠方の被写体の立体感を主観的に評価した結果、無限遠の被写体に対する視差量が３分未満のときには画像としては視差があってもほとんどの人（観察者）が視差を感じなくなることが分かった。式（１８），（１９）は眼幅２ｗｅは関係がない。

そこで、このほとんどの人が視差、つまりは立体感を感じなくなる視差量を、許容視差下限値δｔと定義する。式（１８）または（１９）とδｔを用いると、

または

となり、式（２０）または式（２２）を満足すれば壁化が発生せず、式（２１）または式（２３）を満足すると壁化が発生すると判定できる。

ここで、許容視差下限値δｔを交差法にも対応させる。交差法では、式（１）と式（２）のそれぞれに輻輳角に関連する項が追加されるため、無限遠の被写体に対する視差量（Ｐｌ−Ｐｒ）が０にならない。

そこで、例えば図１６に示すように、主被写体ｉの距離よりも遠い所定の被写体距離に位置する山を背景被写体ｋとし、仮想的に無限遠に配置された仮想被写体（図示せず）を∞とする。この無限遠の仮想被写体∞に対する背景被写体ｋの視差量を求めるためには、式（１８）の導出と同様に無限遠の仮想被写体∞に対する相対視差量から背景被写体ｋに対する相対視差量を引けばよい。すなわち、

となる。

つまり、式（２４）とδｔを用いると、

となり、式（２５）を満足すれば壁化が発生せず、式（２６）を満足すると壁化が発生すると判定できる。

また、式（２２）において等号が成立するときの被写体距離ｙ１を、壁化が発生しない被写体距離の上限値である上限被写体距離ｙ_limとすると、

となる。これにより、壁化が発生しない上限被写体距離ｙ_limを直接算出することができる。この上限被写体距離ｙ_limは、無限遠に配置された仮想被写体に対して相対的に立体感を認識できる被写体距離の上限値であると定義することもできる。

結局、任意の被写体の被写体距離ｙ１に対して、

を満足する、つまりは壁化が発生しない上限被写体距離ｙ_ｌｉｍよりも被写体距離ｙ１が遠い場合に壁化が発生すると判定できる。

立体撮像において背景被写体が式（２６）または式（２８）を満足するとき、すなわち背景が壁化する条件で撮像を行い、かつ撮影倍率が被写体が実際の大きさよりも小さくなる条件で撮像したときを考える。このときは実際よりも小さな被写体（人物や車等）が立体に見え、平面の背景に囲まれているように見えている画像が得られる。これを箱庭効果という。

このように、壁化や箱庭効果は、立体に見える画像と平面に見える画像とが１つの画像中に混在するときに脳が混乱して感じる感覚として定義することができる。このため、壁化や箱庭効果は、許容視差下限値δｔという評価値によって立体感を感じる視差と直接関連付けられる。

本発明の実施例では、立体撮像を行うとき又は立体画像を表示（観察）するときに、壁化や箱庭効果が生じないようにするために許容視差下限値δｔを用いて視差画像から得られる立体感を判定する。

以下、具体的な実施例について説明する。

図１には、実施例１である立体画像処理装置１を含む立体撮像表示システムの構成を示している。撮像装置１００は、被写体を異なる視点から撮像して左右（左眼用および右眼用）の視差画像を生成する。本実施例の立体画像処理装置１は、撮像装置１００により生成された左右の視差画像に対して、良好な立体画像の観察を可能とするために、許容視差下限値を用いて視差画像から生じる立体感を判定する。より詳しくは、立体画像処理装置１は、背景被写体の視差量（第１の視差量）と無限遠に配置された仮想被写体の視差量（第２の視差量）を算出し、これらと許容視差下限値とを用いて立体感を判定する。

表示装置２００は、撮像装置１００により生成された左右の視差画像を表示して、観察者に立体視が可能な立体画像を提示する。

立体画像処理装置１において、画像取得部１０は、撮像装置１００から左右の視差画像のデータファイル（以下、視差画像データファイルという）を取得する。この視差画像データファイルには、視差画像のデータに付加される前述した撮像パラメータの情報を撮像条件の情報として含む。画像取得部１０に含まれる撮像条件取得部１１は、この撮像条件の情報を取得する。

被写体抽出部（抽出手段）２０は、視差画像に含まれるそれぞれ実被写体である主被写体および背景被写体を抽出する。観察条件取得部３０は、表示装置２００における前述した観察パラメータの情報を観察条件の情報として取得する。観察パラメータに、表示画素数を含んでいてもよい。

視差量算出部（第１の視差量算出手段）４０は、基準画像選択部４１と対応点抽出部４２とを含む。基準画像選択部４１は、左右の視差画像のうち一方の視差画像を視差量算出のための基準画像として、他方の視差画像を参照画像として選択する。対応点抽出部４２は、左右の視差画像間で互いに対応する画素としての対応点を複数組抽出する。対応点とは、左右の視差画像において同一被写体を撮像する画素である。視差量算出部４０は、対応点抽出部４２により抽出された複数組の対応点のそれぞれの間の視差量を算出する。

立体感判定部５０は、許容視差下限値取得部５１と、許容視差下限値記録部５２と、補正値取得部５３と、被写体視差量算出部５４と、相対的立体感判定部５５とを含む。許容視差下限値取得部５１は、前述した許容視差下限値を取得する。許容視差下限値記録部５２は、取得された許容視差下限値を記録する。補正値取得部５３は、立体感に対する観察者の個人差に対応するために許容視差下限値の補正に用いられる補正値を取得する。仮想被写体視差量算出部（第２の視差量算出手段）５４は、左右の視差画像の撮像に際しての撮像条件において仮想的に無限遠に配置された仮想被写体を仮に撮像することで仮想被写体に対して得られる視差量である仮想被写体視差量を算出する。相対的立体感判定部５５は、許容視差下限値と仮想被写体視差量とを用いて、左右の視差画像の観察において得られる、仮想被写体に対する背景被写体の立体感（相対的立体感）を判定する。視差量算出部４０および立体感判定部５０により判定手段が構成される。

判定結果記録部６０は、判定された判定結果を視差画像データファイルに記録する。

図２のフローチャートには、本実施例の立体画像処理装置１が行う処理を示している。立体画像処理装置１は、パーソナルコンピュータまたはＣＰＵ等のコンピュータチップにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

まずステップＳ１０１において、画像取得部１０は、撮像装置１００から左右の視差画像のデータを含む視差画像データファイルを取得する。視差画像データファイルの取得は、不図示のケーブルで撮像装置１００と立体画像処理装置１とを有線接続して行ってもよいし、電波や赤外線等を用いた無線接続（無線通信）により行ってもよい。

次に、ステップＳ１０２において、撮像条件取得部１１は、視差画像データファイルから撮像条件の情報を取得する。なお、撮像条件の情報を、撮像装置１００から直接取得してもよい。

次に、ステップＳ１０３において、被写体抽出部２０は、視差画像内の背景被写体を抽出（選択）する。具体的には、被写体抽出部２０は、例えば、ユーザが操作可能なタッチパネルやボタン等の入力インターフェースを通じて指定された被写体領域において、色等の特徴量やエッジ情報に基づいて背景被写体を抽出する。また、公知の顔認識技術を用いて主被写体としての人物を選択し、それ以外の被写体を背景被写体として抽出することも可能である。さらに、任意に切り出した部分画像領域を基準画像（テンプレート画像）として登録し、視差画像内で該テンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用してもよい。テンプレート画像は、撮像時にユーザが登録してもよいし、事前に代表的な複数種類のテンプレート画像をメモリに記録させておき、その中からユーザに選択させるようにしてもよい。ここでは、図１６において破線で囲まれた山を背景被写体として抽出するものとする。

次に、ステップＳ１０４において、観察条件取得部３０は、表示装置２００から観察条件の情報を取得する。観察条件の情報の取得は、不図示のケーブルで表示装置２００と立体画像処理装置１とを有線接続して行ってもよいし、電波や赤外線等を用いた無線接続（無線通信）により行ってもよい。また、ユーザが操作可能なタッチパネルやボタン等の入力インターフェースを用いて観察条件の情報を入力してもよいし、想定される代表的な観察条件を予め登録しておき、その中からユーザに選択されるようにしてもよい。なお、ここまで説明したステップＳ１０１〜１０４の順序を入れ替えてもよい。

次に、ステップＳ１０５において、視差量算出部４０は、ステップＳ１０３で抽出された背景被写体の視差量（第１の視差量）を算出する。視差量算出部４０は、まず基準画像選択部４１に、左右の視差画像のうち一方を基準画像として、他方を参照画像として選択させる。次に、視差量算出部４０は、対応点抽出部４２に、基準画像と参照画像のそれぞれの複数箇所から複数組の対応点を抽出させる。

対応点の抽出手法について図１７を用いて説明する。ここでは視差画像にＸ−Ｙ座標系を設定する。この座標系では、図中の左側に示した基準画像３０１と右側に示した参照画像３０２において左上の画素を原点として定義し、水平方向にＸ軸を、垂直方向にＹ軸をとる。基準画像３０１中の画素（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像３０２中の画素（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像３０１中の任意の画素（Ｘ，Ｙ）（ハッチングして示す）に対応する参照画像３０２中の画素（同じくハッチングして示す）は、基準画像３０１における輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する参照画像３０２中の画素である。ただし、任意の画素と最も類似した画素を探すことは現実には難しいため、画素（Ｘ，Ｙ）の近傍の画素も用いて、ブロックマッチングと称される手法により類似画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像３０１中の任意の１つの画素（Ｘ，Ｙ）とその周辺の２つの画素（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）からなる３つの画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ）
Ｆ１（Ｘ−１，Ｙ）
Ｆ１（Ｘ＋１，Ｙ）
となる。これに対し、画素（Ｘ，Ｙ）からＸ方向にｋ画素だけずれた参照画像３０２内の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ）
Ｆ２（Ｘ＋ｋ−１，Ｙ）
Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。この場合に、基準画像３０１内の画素（Ｘ，Ｙ）との類似度Ｅを、以下の式（２９）により定義する。

この式（２９）において、ｋの値を変更しながら類似度Ｅの値を計算する。そして、参照画像３０２のうち最も小さい類似度Ｅを与える参照画像中の画素（Ｘ＋ｋ，Ｙ）が、基準画像３０１中の画素（Ｘ，Ｙ）に対する対応点である。

なお、上記のようなブロックマッチング以外に、エッジ抽出等の他の方法を用いて対応点を抽出してもよい。

次に、視差量算出部４０は、複数組抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出する。具体的には、視差量算出部４０は、まず前述した式（１），（２）を用いて対応点の座標での撮影視差量差Ｐｌｃ，Ｐｒｃを算出する。次に、視差量算出部４０は、表示倍率ｍを算出し、さらに式（３），（４）から左右の表示視差量Ｐｌ，Ｐｒを算出して視差量（Ｐｌ−Ｐｒ）を算出する。こうして、背景被写体の視差量（以下、背景被写体視差量という）が求められる。

次に、ステップＳ１０６において、仮想被写体視差量算出部５４は、上述した仮想被写体視差量（第２の視差量）を算出する。具体的には、ステップＳ１０２で取得された撮像条件と、ステップＳ１０４で取得された観察条件と、仮想被写体の被写体距離である無限遠とを用いて、式（１）〜（９），（１１），（１２），（１４）および（１５）の計算を行う。無限遠被写体に対する相対視差量は、先にも述べたように、平行法では式（１７）に示すようになり、交差法では式（２４）に示すようになる。

次に、ステップＳ１０７（立体感判定ステップ）において、相対立体感判定部５５は、算出された背景被写体視差量と仮想被写体視差量とから、仮想被写体に対する背景被写体の相対的立体感の有無を判定する。具体的には、相対立体感判定部５５は、まず許容視差下限値取得部５１に許容視差下限値記録部５２から許容視差下限値δｔを取得させる。許容視差下限値δｔは、前述したように、観察者のほとんどが立体感を感じなくなる視差量（例えば、３分）である。

次に、相対的立体感判定部５５は、許容視差下限値δｔと、背景被写体視差量と、仮想被写体視差量と、ステップＳ１０４で取得された観察条件のうち視距離とを用いて、前述した式（２５）を満足するか否かを判定する。式（２５）を満足する場合は、抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができる。この場合、相対的立体感判定部５５は、ステップＳ１０８に進んで、背景被写体の壁化が発生していない（非壁化）と判定する。この後、ステップＳ１１０に進む。一方、式（２５）を満足しない場合は、抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができない。この場合、相対的立体感判定部５５は、ステップＳ１０９に進んで、背景被写体の壁化が発生していると判定する。この後、ステップＳ１１０に進む。

ステップＳ１１０において、判定結果記録部６０は、ステップＳ１０８またはＳ１０９での判定結果を視差画像データファイルに記録する。このとき、判定結果を表示装置２００に表示してもよいし、不図示の記録媒体に別途記録してもよい。

なお、本実施例では、ステップＳ１０７において式（２５）を用いて立体感を判定したが、許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがある。このため、補正値取得部５３により取得される補正値Ｃを用いた以下の式（３０）により立体感を判定してもよい。

ここで、補正値Ｃは、初期条件として不図示のメモリに記録された値を用いてもよいし、ユーザが上述した入力インターフェースを用いて入力してもよい。

また、本実施例において、壁化が発生していると判定した場合に、撮像条件の１つである撮影倍率が、被写体が実際の大きさよりも小さくなる倍率であるか否かを判定し、そのような撮影倍率であるときに箱庭効果が発生していると判定してもよい。このことは、後述する他の実施例でも同じである。

以上説明したように、本実施例によれば、無限遠の仮想被写体に対する背景被写体の視差量から、背景被写体の壁化や箱庭効果の有無を正確に判定することができる。このため、壁化が発生しない良好な視差画像（立体画像）をより確実に生成することができる。

図３には、実施例２である立体撮像装置の構成を示している。本実施例の立体撮像装置は、被写体を異なる視点から撮像することで左右の視差画像を生成するとともに、良好な立体画像観察を実現するために許容視差下限値を用いて視差画像内の被写体の立体感を判定する。

１０１ａは右の撮影光学系であり、１０１ｂは左の撮影光学系である。左右の撮像光学系１０１ｂ，１０１ａの光軸間の距離、すなわち基線長は、６５ｍｍ程度が好適であるが、表示する立体像に対する立体感の要求に応じて変更することが可能である。左右の撮像素子１０２ｂ，１０２ａはそれぞれ、左右の撮影光学系１０１ｂ，１０１ａにより形成された被写体像（光学像）を電気信号に変換する。Ａ／Ｄ変換器１０３ｂ，１０３ａは、左右の撮像素子１０２ｂ，１０２ａから出力されるアナログ出力信号をデジタル信号に変換して画像処理部１０４に供給する。

画像処理部１０４は、Ａ／Ｄ変換器１０３ｂ，１０３ａからのデジタル信号に対して画素補間処理や色変換処理等の画像処理を行って左右の視差画像を生成する。また、画像処理部１０４は、左右の視差画像のうち少なくとも一方から被写体輝度の情報や撮影光学系１０１ｂ，１０１ａの焦点状態（コントラスト状態）を演算し、演算結果をシステムコントローラ１０６に供給する。画像処理部１０４の動作は、システムコントローラ１０６によって制御される。撮影光学系１０１ａ，１０１ｂ、撮像素子１０２ａ，１０２ｂ、Ａ／Ｄ変換器１０３ａ，１０３ｂおよび画像処理部１０４により撮像部が構成される。

状態検知部１０７は、実施例１で説明した撮像パラメータ（基線長、焦点距離、撮像素子サイズ、輻輳角および被写体距離）を検出する。また、状態検出部１０７は、各撮影光学系に含まれる絞りの開口径や不図示のフォーカスレンズの位置等の光学状態も検出する。そして、これら撮像パラメータおよび光学状態を含む撮像条件の情報をシステムコントローラ１０６に供給する。システムコントローラ１０６は、画像処理部１０４からの演算結果と状態検知部１０７からの光学状態の情報とに基づいて光学駆動部１０５を制御し、絞りの開口径を変化させたりフォーカスレンズを移動させたりする。これにより、自動露出制御やオートフォーカスが行われる。

記録部１０８は、画像処理部１０４により生成された左右の視差画像を記録する。また、左右の視差画像を含む画像ファイルのファイルヘッダを格納する。

画像表示部１０９は、例えば液晶表示素子とレンチキュラーレンズとにより構成され、レンチキュラーレンズの光学作用によって液晶表示素子に表示された左右の視差画像をそれぞれ観察者の左右の眼に導くことで、立体像を提示する。

立体画像処理部２は、実施例１にて説明した立体画像処理装置１から判定結果記録部６０を省いた構成を有する。ここでは、立体画像処理部２の説明として、実施例１の立体画像処理装置１と重複する説明は省略するが、立体画像処理装置１と同じ構成要素については実施例１で用いた符号を付す。

次に、本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部２が行う処理について、図４のフローチャートを用いて説明する。制御用コンピュータとしてのシステムコントローラ（撮像制御手段および表示制御手段）１０６および画像処理用コンピュータとしての立体画像処理部２は、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。立体撮像プログラムは、実施例１にて説明した立体画像処理プログラムを含む。

まずステップＳ２０１において、ユーザ（撮影者）による撮像準備の開始を指示する操作を検知したシステムコントローラ１０６は、ユーザによる選択または設定に基づいて光学駆動部１０５を通して左右の撮影光学系１０１ｂ，１０１ａを制御する。また、システムコントローラ１０６は、撮像素子１０２ｂ，１０２ａに撮像光学系１０１ｂ，１０１ａのそれぞれによって形成された被写体像を光電変換させる。そして、撮像素子１０２ｂ，１０２ａからの出力をＡ／Ｄ変換器１０３ｂ，１０３ａを介して画像処理部１０４に転送し、画像処理部１０４に左右のプレ視差画像を生成させる。立体画像処理部２（画像取得部１０）は、生成されたプレ視差画像を取得する。

次に、ステップＳ２０２において、システムコントローラ１０６は、状態検知部１０７から撮像条件の情報を取り込み、これを立体画像処理部２（撮像条件取得部１１）に供給する。

次に、ステップＳ２０３において、立体画像処理部２（被写体抽出部２０）は、実施例１のステップＳ１０２と同様に、プレ視差差画像内の背景被写体（図１６において破線で囲んだ示した山）を抽出する。

次に、ステップＳ２０４において、立体画像処理部２（観察条件取得部３０）は、観察条件（表示サイズ、視距離およびオフセット量、さらに必要に応じて表示画素数）の情報を取得する。ユーザが操作可能なタッチパネルやボタン等の入力インターフェースを用いて観察条件の情報を入力してもよいし、想定される代表的な観察条件を予め登録しておき、その中からユーザに選択されるようにしてもよい。なお、ここまで説明したステップＳ１０１〜１０４の順序を入れ替えてもよい。

次に、ステップＳ２０５において、立体画像処理部２（視差量算出部４０）は、ステップＳ２０３で抽出された背景被写体の視差量（背景被写体視差量）を算出する。具体的には、立体画像処理部２（基準画像選択部４１）は、左右の視差画像のうち一方を基準画像として、他方を参照画像として選択する。次に、立体画像処理部２（対応点抽出部４２）は、基準画像と参照画像とから複数組の対応点を抽出させる。対応点の抽出手法は実施例１で説明した通りである。そして、立体画像処理部２（視差量算出部４０）は、前述した式（１）〜（４）を用いて、抽出された複数組の対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出する。

次に、ステップＳ２０６において、立体画像処理部２（仮想被写体視差量算出部５４）は、実施例１で説明した仮想被写体視差量を算出する。具体的には、ステップＳ２０２で取得した撮像条件とステップＳ２０４で取得した観察条件と仮想被写体の被写体距離である無限遠とを用いて、式（１）〜（９），（１１），（１２），（１４）および（１５）の計算を行うことで仮想被写体視差量を算出する。実施例１でも述べたように、無限遠被写体に対する相対視差量は、平行法では式（１７）に示すようになり、交差法では式（２４）に示すようになる。

次に、ステップＳ２０７（立体感判定ステップ）において、立体画像処理部２（相対的立体感判定部５５）は、算出された背景被写体視差量と仮想被写体視差量とから、背景被写体の仮想被写体に対する相対的立体感の有無を判定する。

具体的には、立体画像処理部２（許容視差下限値取得部５１）は、（許容視差下限値記録部５２から）許容視差下限値δｔを取得する。許容視差下限値δｔは、実施例１で述べたように、観察者のほとんどが立体感を感じなくなる視差量（例えば、３分）である。

次に、立体画像処理部２（相対的立体感判定部５５）は、許容視差下限値δｔと、背景被写体視差量と、仮想被写体視差量と、ステップＳ２０４で取得された観察条件中の視距離とを用いて、実施例１で説明した式（２５）を満足するか否かを判定する。式（２５）を満足する場合は、抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができる。この場合、立体画像処理部２（相対的立体感判定部５５）は、ステップＳ２０８に進んで、背景被写体の壁化が発生していない（非壁化）と判定する。逆に、式（２５）を満足しない場合は、抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができない。この場合、立体画像処理部２（相対的立体感判定部５５）は、ステップＳ２０９に進んで、背景被写体の壁化が発生していると判定する。

背景被写体の壁化が発生していると判定されると、システムコントローラ１０６は、ステップＳ２１０において、光学駆動部１０５を通して左右の撮影光学系１０１ｂ，１０１ａを制御し、これらの撮像パラメータである焦点距離や基線長を変更する。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、背景被写体の立体感を向上させることができる。そして、システムコントローラ１０６は、ステップＳ２０１に戻って左右のプレ視差画像を再度、画像処理部１０４に生成させる。

一方、背景被写体の壁化が発生していない（非壁化）と判定されると、システムコントローラ１０６は、ステップＳ２１１において、ユーザによる撮像指示を待って左右の視差画像を生成するための本撮像を行う。そして、ステップＳ２１２において、システムコントローラ１０６は、本撮像によって画像処理部１０４にて生成された左右の視差画像を視差画像データファイルに記録したり、画像表示部１０９に表示したり、不図示の記録媒体に別途記録したりする。

なお、ステップＳ２０９にて壁化が発生していると判定された場合に、ユーザの操作に応じて強制的にステップＳ２１１に移行して、本撮像を行ってもよい。この場合、生成された視差画像は壁化を発生させるため、一方の視差画像のみを２Ｄ画像として表示または記録してもよい。

以上説明したように、本実施例によれば、無限遠の仮想被写体に対する背景被写体の視差量から、背景被写体の壁化（さらには箱庭効果）の有無を正確に判定することができる。このため、壁化が発生しない良好な視差画像（立体画像）をより確実に撮像により生成することができる。

次に、実施例３である立体撮像装置について説明する。本実施例の立体撮像装置の構成は、実施例２の立体撮像装置の構成と同じであり、共通する構成要素には実施例２と同符号を付す。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部２が行う処理について、図５のフローチャートを用いて説明する。実施例２と同様に、システムコントローラ１０６および立体画像処理部２は、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ３０１〜ステップＳ３０９、ステップＳ３１１およびステップＳ３１２は、実施例２で説明したステップＳ２０１〜ステップＳ２０９、ステップＳ２１１およびステップＳ２１２と同じであるので、説明を省略する。

ステップＳ３０９において背景被写体の壁化が発生していると判定されると、システムコントローラ１０６は、ステップＳ３１０において、画像表示部１０９に表示する内容を制御する。具体的には、ユーザに対して、左右の撮影光学系１０１ｂ，１０１ａの焦点距離や基線長をどのように変更すれば壁化を回避できるかを知らせるアドバイス情報を表示する。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、背景被写体の立体感を向上させることができる。アドバイス情報に基づいてユーザが焦点距離や基線長を変更する操作を行うと、システムコントローラ１０６はこの操作に応じて焦点距離や基線長を変更する。

この後、システムコントローラ１０６は、ステップＳ３０１に戻って左右のプレ視差画像を再度画像処理部１０４に生成させる。

以上説明したように、本実施例によれば、無限遠の仮想被写体に対する背景被写体の視差量から、背景被写体の壁化（さらには箱庭効果）の有無を正確に判定することができる。このため、壁化が発生しない良好な立体画像を得るための左右の撮影光学系１０１ｂ，１０１ａの焦点距離や基線長の設定をユーザにアドバイスすることができる。

図６には、実施例４である立体表示装置４を含む立体撮像表示システムの構成を示している。撮像装置１００は、実施例１と同様に、被写体を異なる視点から撮像して左右（左眼用および右眼用）の視差画像を生成する。本実施例の立体表示装置４は、被写体を異なる視点から撮像して生成された左右の視差画像を表示する際に、良好な立体画像観察を実現するために許容視差下限値を用いて視差画像内の被写体の立体感を判定する。

立体表示装置４の構成は、実施例１の立体画像処理装置１から判定結果記録部６０を省き、実施例１の表示装置２００に代わる表示部２１０を組み込んだものに相当する。表示部２１０以外の立体表示装置４の構成要素は実施例１の立体画像処理装置１の構成要素と同じであるので、これらの構成要素には実施例１と同符号を付して説明に代える。

表示部２１０は、画像取得部１０を通して撮像装置１００から取得された左右の視差画像を、観察者が立体視可能に表示する。例えば、左右の視差画像を１つの表示面に時分割で表示するとともに、この時分割表示に同期させて液晶シャッタメガネの左右の液晶シャッタを交互に開閉することで立体視を可能とする。

表示部２１０において、視距離情報取得部２０１は、観察者が表示面を観察する距離である視距離の情報を取得する。また、表示制御部２０２は、表示面に表示する内容を制御する。表示パラメータ制御部２０３は、表示パラメータを制御する。表示パラメータは、観察パラメータのうち表示サイズやオフセット量である。表示制御部２０２および表示パラメータ制御部２０３により、表示制御手段が構成される。画像処理部２０４は、視差画像に対してエッジ強調や色補正等の通常の画像処理を行う。

図７のフローチャートには、本実施例の立体表示装置４が行う処理を示している。立体表示装置４は、パーソナルコンピュータにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

ステップＳ４０１〜ステップＳ４０９は、実施例１で説明したステップＳ１０１〜ステップＳ１０９と同じであるので、説明を省略する。

ステップＳ４０９において背景被写体の壁化が発生していると判定されると、表示部２１０は、ステップＳ４１０において、表示制御部２０２を通して表示面に表示する内容を制御する。具体的には、ユーザに対して、観察パラメータである表示サイズ、オフセット量および視距離をどのように変更すれば壁化を回避できるかを知らせるアドバイス情報を表示する。例えば、表示サイズを大きくしたり視距離を短くしたりオフセット量を変更したりすることで、主被写体の立体感を向上させることができる。アドバイス情報に基づいてユーザが表示サイズやオフセット量を変更する操作を行うと、表示パラメータ制御部２０３がこの操作に応じて表示サイズやオフセット量を変更する。また、アドバイス情報に基づいてユーザは視距離を調整する。

なお、本ステップにおいて、アドバイス情報を表示せず、単に警告を表示するだけでもよい。この場合、表示サイズ、オフセット量および視距離の変更を強制せず、そのまま左右の視差画像を表示してもよい。また、一方の視差画像を２Ｄ画像として表示してもよい。

この後、ステップＳ４０１にて、画像取得部１０は、撮像装置１００から新たな視差画像データファイルを取得する。

一方、ステップＳ４０９において背景被写体の壁化が発生していない（非壁化）と判定されると、表示部２１０は、ステップＳ４１１において、表示制御部２０２を通して表示面に左右の視差画像を表示する。

以上説明したように、本実施例によれば、無限遠の仮想被写体に対する背景被写体の視差量から、背景被写体の壁化（さらには箱庭効果）の有無を正確に判定することができる。このため、壁化が発生しない良好な立体画像の観察を可能とするための表示サイズや視距離の設定をユーザにアドバイスすることができる。

図８には、実施例５である立体画像処理装置１Ａを含む立体撮像表示システムの構成を示している。撮像装置１００および表示装置２００は、実施例１と同じものである。

一方、本実施例の立体画像処理装置１Ａは、撮像装置１００により生成された左右の視差画像に対して、良好な立体画像の生成を可能とするために、許容視差下限値から算出した上限被写体距離を用いて視差画像から生じる立体感を判定する。このため、立体画像処理装置１Ａは、実施例１の立体画像処理装置１とは構成および動作が異なる。より詳しくは、立体画像処理装置１Ａは、背景被写体の視差量を用いて該背景被写体の距離（第１の被写体距離）を算出するとともに、許容視差下限値を用いて観察者が立体感を感じる距離の上限値である上限被写体距離（第２の被写体距離）を算出する。そして、これら背景被写体の距離と上限被写体距離とを用いて（比較して）、立体感を判定する。

本実施例の立体画像処理装置１Ａのうち、実施例１の立体画像処理装置１と共通する画像取得部１０、撮像条件取得部１１、被写体抽出部２０、観察条件取得部３０および判定結果記録部６０については、実施例１と同符号を付して説明に代える。なお、本実施例では撮像条件取得部１１が画像取得部１０の外部に設けられているが、その機能は同じである。

立体画像処理装置１Ａにおいて、距離情報取得部（距離取得手段）７０は、視差量算出部７１と、距離算出部７４とを含む。視差量算出部７１は、基準画像選択部７２と、対応点抽出部７３とを含む。基準画像選択部７２は、撮像装置１００によって生成されて画像取得部１０を通して取得された左右の視差画像のうち一方を基準画像として、他方を参照画像として選択する。対応点抽出部７３は、左右の視差画像間で互いに対応する画素としての対応点を複数組抽出する。視差量算出部７１は、対応点抽出部７３により抽出された複数組の対応点のそれぞれの間の視差量を算出する。距離算出部７４は、算出された視差量と撮像条件取得部１１により取得された撮像条件の情報とから、被写体抽出部２０により視差画像から抽出されたそれぞれ実被写体としての主被写体および背景被写体までの距離を算出する。なお、本実施例では視差量から被写体距離を算出（取得）する場合について説明するが、測距センサ等を用いて被写体距離を測定することで取得してもよい。

上限被写体距離算出部（上限距離算出手段）８０は、許容視差下限値取得部８１と、許容視差下限値記録部８２と、補正値取得部８３とを含む。許容視差下限値取得部８１は、実施例１で説明した許容視差下限値を取得する。許容視差下限値記録部８２は、取得された許容視差下限値を記録する。補正値取得部８３は、立体感に対する観察者の個人差に対応するために許容視差下限値の補正に用いられる補正値を取得する。上限被写体距離算出部８０は、許容視差下限値を用いて、前述した上限被写体距離ｙ_ｌｉｍを算出する。

被写体位置判定部９０は、背景被写体の距離（以下、背景被写体距離という）と上限被写体距離ｙ_ｌｉｍとの大小関係、言い換えれば背景被写体の上限被写体距離ｙ_ｌｉｍに相当する位置に対する相対的位置を判定する。この判定結果は、判定結果記録部６０によって視差画像データファイルに記録される。距離情報取得部７０、上限被写体距離算出部８０および被写体位置判定部９０により判定手段が構成される。

図９のフローチャートには、本実施例の立体画像処理装置１Ａが行う処理を示している。立体画像処理装置１Ａは、パーソナルコンピュータまたはＣＰＵ等のコンピュータチップにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

ステップＳ５０１〜ステップＳ５０４およびステップＳ５１０は、実施例１におけるステップＳ１０１〜ステップＳ１０４およびステップＳ１１０と同じであるので、これらの説明は省略する。

ステップＳ５０５において、距離情報取得部７０は、ステップＳ５０３で抽出された背景被写体までの距離（背景被写体距離）を算出する。具体的には、距離情報取得部７０は、まず視差量算出部７１に、ステップＳ１０３で抽出された背景被写体の視差量を算出させる。また、基準画像選択部７２に、左右の視差画像から基準画像および参照画像を選択させる。次に、対応点抽出部７３に、基準画像と参照画像とから複数組の対応点を抽出させる。対応点の抽出手法は、実施例１で述べた通りである。

次に、距離情報取得部７０は、視差量算出部７１に、複数組抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。具体的には、視差量算出部７１は、まず前述した式（１），（２）を用いて対応点の座標での撮影視差量差Ｐｌｃ，Ｐｒｃを算出する。次に、視差量算出部７１は、表示倍率ｍを算出し、さらに式（３），（４）から左右の表示視差量Ｐｌ，Ｐｒを算出して視差量（Ｐｌ−Ｐｒ）を算出する。

次に、距離情報取得部７０は、距離算出部７４に、視差量算出部７１により算出された視差量とステップＳ５０２で取得された撮像条件の情報とを用いて背景被写体距離（第１の被写体距離）を算出する。ここで、式（１），（２）および式（３），（４）から、被写体距離ｙ１は、

となる。この式（３１）を用いることで、背景被写体距離ｙ１を求めることができる。

次に、ステップＳ５０６において、上限被写体距離算出部８０は、許容視差下限値記録部８２から許容視差下限値δｔを取得する。そして、上限被写体距離算出部８０は、許容視差下限値δｔと、ステップＳ５０２で取得された撮像条件の情報と、ステップＳ５０４で取得された観察条件の情報と、式（２７）とを用いて上限被写体距離（第２の被写体距離）ｙ_ｌｉｍを算出する。

次に、ステップＳ５０７（被写体位置判定ステップ）において、被写体位置判定部９０は、背景被写体距離と上限被写体距離ｙ_ｌｉｍと比較する。つまり、式（２８）を満足するか否かを判定する。式（２８）を満足しない場合は、前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができるため、被写体位置判定部９０は、ステップＳ５０８に進んで、背景被写体の壁化は発生していない（非壁化）と判定する。この後、ステップＳ５１０に進む。一方、式（２８）を満足する場合は、前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができないため、被写体位置判定部９０は、ステップＳ５０９に進み、背景被写体の壁化が発生していると判定する。この後、ステップＳ５１０に進む。

なお、本実施例では、ステップＳ５０６において、式（２７）を用いて上限被写体距離ｙ_ｌｉｍを算出したが、式（２７）に含まれる許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがある。このため、補正値取得部８３により取得される補正値Ｃを用いた以下の式（３２）により上限被写体距離ｙ_ｌｉｍを算出してもよい。

ここで、補正値Ｃは、初期条件として不図示のメモリに記録された値を用いてもよいし、ユーザが上述した入力インターフェースを用いて入力してもよい。

以上説明したように、本実施例によれば、背景被写体距離と許容視差下限値から算出した上限被写体距離とを比較することで、背景被写体の壁化（さらには箱庭効果）の有無を正確に判定することができる。このため、壁化が発生しない良好な視差画像（立体画像）をより確実に生成することができる。

図１０には、実施例６である立体撮像装置の構成を示している。本実施例の立体撮像装置は、被写体を異なる視点から撮像することで左右の視差画像を生成するとともに、良好な立体画像観察を実現するために、許容視差下限値から算出した上限被写体距離を用いて視差画像内の被写体の立体感を判定する。

本実施例の立体撮像装置の構成は、基本的に実施例２で説明した立体撮像装置の構成と同じであり、実施例２と共通する構成要素については実施例２と同符号を付して説明に代える。本実施例では、実施例４にて説明した立体画像処理装置１Ａに相当する立体画像処理部２Ａが行う処理（動作）が、実施例２における立体画像処理部２が行う処理と異なる。本実施例でも、立体画像処理部２Ａの説明として、実施例５の立体画像処理装置１Ａと重複する説明は省略するが、立体画像処理装置１Ａと同じ構成要素については実施例５で用いた符号を付す。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部２Ａが行う処理について、図１１のフローチャートを用いて説明する。実施例２と同様に、制御用コンピュータとしてのシステムコントローラ（撮像制御手段および表示制御手段）１０６および画像処理用コンピュータとしての立体画像処理部２Ａは、コンピュータプログラムである立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ７０１〜ステップＳ７０４およびステップＳ７１０〜ステップＳ７１２は、実施例２で説明したステップＳ２０１〜ステップＳ２０４およびステップＳ２１０〜ステップＳ２１２と同じであるので、説明（または詳しい説明）を省略する。

ステップＳ７０５において、立体画像処理部２Ａ（距離情報取得部７０）は、ステップＳ７０３で抽出された背景被写体までの距離（背景被写体距離）を算出する。具体的には、立体画像処理部２Ａ（視差量算出部７１）は、ステップＳ７０３で抽出された背景被写体の視差量を算出する。また、立体画像処理部２Ａ（基準画像選択部７２）は、左右の視差画像から基準画像および参照画像を選択する。次に、立体画像処理部２Ａ（対応点抽出部７３）は、基準画像と参照画像とから複数組の対応点を抽出させる。対応点の抽出手法は、実施例１で述べた通りである。

次に、立体画像処理部２Ａ（視差量算出部７１）は、複数組抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を、式（１）〜（４）を用いて算出する。次に、立体画像処理部２Ａ（距離算出部７４）は、算出した視差量とステップＳ７０２で取得された撮像条件の情報とを用いて、実施例５で述べた式（３１）により背景被写体距離を算出する。

次に、ステップＳ７０６において、立体画像処理部２Ａ（上限被写体距離算出部８０）は、（許容視差下限値記録部８２から）許容視差下限値情報δｔを取得する。そして、立体画像処理部２Ａ（上限被写体距離算出部８０）は、許容視差下限値δｔと、ステップＳ７０２で取得された撮像条件の情報と、ステップＳ７０４で取得された観察条件の情報と、式（２７）とを用いて上限被写体距離ｙ_ｌｉｍを算出する。

次に、ステップＳ７０７（被写体位置判定ステップ）において、立体画像処理部２Ａ（被写体位置判定部９０）は、背景被写体距離が上限被写体距離ｙ_ｌｉｍに対して式（２８）を満足するか否かを判定する。式（２８）を満足しない場合は、立体画像処理部２Ａ（被写体位置判定部９０）は、ステップＳ７０８に進んで、背景被写体の壁化は発生していない（非壁化）と判定する。この後、システムコントローラ１０６は、本撮像および記録を行うためにステップＳ７１１およびステップＳ７１２に進む。

一方、式（２８）を満足する場合は、立体画像処理部２Ａ（被写体位置判定部９０）は、ステップＳ７０９に進み、背景被写体の壁化が発生していると判定する。この後、左右の撮影光学系１０１ｂ，１０１ａを制御してそれらの焦点距離や基線長を変更するためにステップＳ７１０に進む。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、背景被写体の立体感を向上させることができる。システムコントローラ１０６は、ステップＳ７１０からステップＳ７０１に戻る。

以上説明したように、本実施例によれば、背景被写体距離と許容視差下限値から算出した上限被写体距離とを比較することで、背景被写体の壁化（さらには箱庭効果）の有無を正確に判定することができる。このため、壁化が発生しない良好な視差画像（立体画像）をより確実に撮像により生成することができる。

次に、実施例７である立体撮像装置について説明する。本実施例の立体撮像装置の構成は、実施例６の立体撮像装置の構成と同じであり、共通する構成要素には実施例６（および実施例２）と同符号を付す。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部２Ａが行う処理について、図１２のフローチャートを用いて説明する。実施例６と同様に、システムコントローラ１０６および立体画像処理部２Ａは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ８０１〜ステップＳ８０９、ステップＳ８１１およびステップＳ８１２は、実施例６で説明したステップＳ８０１〜ステップＳ８０９、ステップＳ８１１およびステップＳ８１２と同じであるので、説明を省略する。

ステップＳ８０９において背景被写体の壁化が発生していると判定されると、システムコントローラ１０６は、ステップＳ８１０において、画像表示部１０９に表示する内容を制御する。具体的には、ユーザに対して、左右の撮影光学系１０１ｂ，１０１ａの焦点距離や基線長をどのように変更すれば壁化を回避できるかを知らせるアドバイス情報を表示する。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、背景被写体の立体感を向上させることができる。アドバイス情報に基づいて観察者が焦点距離や基線長を変更する操作を行うと、システムコントローラ１０６はこの操作に応じて焦点距離や基線長を変更する。この後、システムコントローラ１０６は、ステップＳ８０１に戻る。

以上説明したように、本実施例によれば、背景被写体距離と許容視差下限値から算出した上限被写体距離とを比較することで、背景被写体の壁化（さらには箱庭効果）の有無を正確に判定することができる。このため、壁化が発生しない良好な立体画像を得るための左右の撮影光学系１０１ｂ，１０１ａの焦点距離や基線長の設定をユーザにアドバイスすることができる。

図１３には、実施例８である立体表示装置４Ａを含む立体撮像表示システムの構成を示している。撮像装置１００は、実施例４と同様に、被写体を異なる視点から撮像して左右（左眼用および右眼用）の視差画像を生成する。本実施例の立体表示装置４Ａは、被写体を異なる視点から撮像して生成された左右の視差画像を表示する際に、良好な立体画像観察を実現するために、許容視差下限値から算出した上限被写体距離を用いて視差画像内の被写体の立体感を判定する。

立体表示装置４Ａの構成は、実施例４の立体画像処理装置１Ａから判定結果記録部６０を省き、実施例４の表示装置２００に代わる表示部２１０を組み込んだものに相当する。表示部２１０以外の立体表示装置４Ａの構成要素は実施例４の立体画像処理装置１Ａの構成要素と同じであるので、これらの構成要素には実施例１と同符号を付して説明に代える。

表示部２１０は、画像取得部１０を通して撮像装置１００から取得された左右の視差画像を、観察者が立体視可能に表示する。例えば、左右の視差画像を１つの表示面に時分割で表示するとともに、この時分割表示に同期させて液晶シャッタメガネの左右の液晶シャッタを交互に開閉することで立体視を可能とする。

表示部２１０において、視距離情報取得部２０１は、観察者が表示面を観察する距離である視距離の情報を取得する。また、表示制御部２０２は、表示面に表示する内容を制御する。表示パラメータ制御部２０３は、表示パラメータを制御する。表示パラメータは、観察パラメータのうち表示サイズやオフセット量である。表示制御部２０２および表示パラメータ制御部２０３により、表示制御手段が構成される。画像処理部２０３は、視差画像に対してエッジ強調や色補正等の通常の画像処理を行う。

図１４のフローチャートには、本実施例の立体表示装置４Ａが行う処理を示している。立体表示装置４Ａは、パーソナルコンピュータにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

ステップＳ９０１〜ステップＳ９０９は、実施例４で説明したステップＳ５０１〜ステップＳ５０９と同じであるので、説明を省略する。

ステップＳ９０９において背景被写体の壁化が発生していると判定されると、表示部２１０は、ステップＳ９１０において、表示制御部２０２を通して表示面に表示する内容を制御する。具体的には、ユーザに対して、観察パラメータである表示サイズ、オフセット量および視距離をどのように変更すれば壁化を回避できるかを知らせるアドバイス情報を表示する。例えば、表示サイズを大きくしたり視距離を短くしたりオフセット量を変更したりすることで、主被写体の立体感を向上させることができる。アドバイス情報に基づいてユーザが表示サイズやオフセット量を変更する操作を行うと、表示パラメータ制御部２０３がこの操作に応じて表示サイズやオフセット量を変更する。また、アドバイス情報に基づいてユーザは視距離を調整する。

なお、本ステップにおいて、アドバイス情報を表示せず、単に警告を表示するだけでもよい。この場合、表示サイズ、オフセット量および視距離の変更を強制せず、そのまま左右の視差画像を表示してもよい。また、一方の視差画像を２Ｄ画像として表示してもよい。

この後、ステップＳ９０１にて、画像取得部１０は、撮像装置１００から新たな視差画像データファイルを取得する。

一方、ステップＳ９０９において背景被写体の壁化が発生していない（非壁化）と判定されると、表示部２１０は、ステップＳ９１１において、表示制御部２０２を通して表示面に左右の視差画像を表示する。

以上説明したように、本実施例によれば、背景被写体距離と許容視差下限値から算出した上限被写体距離とを比較することで、背景被写体の壁化（さらには箱庭効果）の有無を正確に判定することができる。このため、壁化が発生しない良好な立体画像の観察を可能とするための表示サイズや視距離の設定をユーザにアドバイスすることができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１，１Ａ 立体画像処理装置
２０ 被写体抽出部
４０ 視差量算出部
５０ 立体感判定部
７０ 距離情報取得部
８０ 上限被写体距離算出部
９０ 被写体位置判定部

Claims (12)

1. 撮像により生成された互いに視差を有する視差画像に含まれる実被写体を抽出する抽出手段と、
   前記視差画像における前記実被写体の視差量および前記撮像に際しての前記実被写体の距離のうち一方と、前記視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察において得られる、無限遠に配置された仮想被写体に対する前記実被写体の立体感を判定する判定手段とを有することを特徴とする立体画像処理装置。
2. 前記判定手段は、
   前記実被写体の視差量である第１の視差量を算出し、
   前記撮像に際しての撮像条件において前記仮想被写体に対して得られる視差量である第２の視差量を算出し、
   前記第１の視差量、前記第２の視差量および前記許容視差下限値を用いて前記立体感を判定することを特徴とする請求項１に記載の立体画像処理装置。
3. 前記判定手段は、
   前記実被写体の距離を取得し、
   前記許容視差下限値を用いて前記観察者が立体感を感じる被写体距離の上限値である上限被写体距離を算出し、
   前記実被写体の距離および前記上限被写体距離を用いて前記立体感を判定することを特徴とする請求項１に記載の立体画像処理装置。
4. 前記判定手段は、
   前記実被写体の視差量および前記撮像に際しての撮像条件を用いて前記実被写体の距離を算出し、
   前記許容視差下限値、前記撮像条件および前記視差画像の観察に際しての観察条件を用いて前記上限被写体距離を算出することを特徴とする請求項３に記載の立体画像処理装置。
5. 前記撮像条件のうち、互いに視差を有する光学系の基線長を２ｗｃとし、該光学系の焦点距離をｆとし、撮像素子のサイズをｃｃｗとし、
   前記観察条件のうち、前記視差画像を表示する表示面のサイズをｓｃｗとし、前記表示面に対する前記観察者の視距離をｄｓとし、
   前記許容視差下限値をδｔとするとき、
   
   前記判定手段は、前記上限被写体距離ｙ_limを、
   
   として算出することを特徴とする請求項４に記載の立体画像処理装置。
6. 前記判定手段は、立体感に対する前記観察者の個人差を補正するための補正値を用いて前記立体感の判定を行うことを特徴とする請求項１から４のいずれか一項に記載の立体画像処理装置。
7. 撮像により互いに視差を有する視差画像を生成する撮像部と、
   請求項１から６のいずれか一項に記載の立体画像処理装置とを有することを特徴とする立体撮像装置。
8. 前記立体撮像装置の前記判定手段による判定結果に応じて前記撮像部を制御する撮像制御手段を有することを特徴とする請求項７に記載の立体撮像装置。
9. 前記視差画像を表示する表示部と、
   前記立体撮像装置の前記判定手段による判定結果に応じて前記表示部の表示を制御する表示制御手段とを有することを特徴とする請求項７または８に記載の立体表示装置。
10. 請求項１から６のいずれか一項に記載の立体画像処理装置と、
    前記視差画像を表示する表示部とを有することを特徴とする立体表示装置。
11. 前記立体撮像装置の前記判定手段による判定結果に応じて前記表示部の表示を制御する表示制御手段を有することを特徴とする請求項１０に記載の立体表示装置。
12. コンピュータに、
    撮像により生成された互いに視差を有する視差画像に含まれる実被写体を抽出させ、
    前記視差画像における前記実被写体の視差量および前記撮像に際しての前記実被写体の距離のうち一方と、前記視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察において得られる、無限遠に配置された仮想被写体に対する前記実被写体の立体感を判定させることを特徴とするコンピュータプログラムとしての立体画像処理プログラム。