JP2016054415A

JP2016054415A - 立体撮像装置および立体撮像プログラム

Info

Publication number: JP2016054415A
Application number: JP2014179633A
Authority: JP
Inventors: 崇鬼木; Takashi Oniki; 智暁井上; Tomoaki Inoue
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-09-03
Filing date: 2014-09-03
Publication date: 2016-04-14
Also published as: US20160065941A1

Abstract

【課題】観察者による立体像の融合が可能であり、かつ観察者に十分な立体感を感じさせることができる視差画像の生成が可能な立体撮像装置を提供する。
【解決手段】立体撮像装置は、２つの撮像部を用いて撮像を行うことにより生成された視差画像に含まれる被写体を抽出する抽出手段２０，４２と、視差画像間での被写体の視差量または被写体までの距離である判定用情報と視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、観察者による立体像の融合可否の判定を行う第１の判定手段６０と、判定用情報と観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる被写体の立体感の判定を行う第２の判定手段５０と、第１および第２の判定手段による判定結果に応じて、撮像部における撮像パラメータを制御する制御手段とを有する。
【選択図】図２

Description

本発明は、立体視可能な視差画像を生成する立体撮像装置に関する。

２つの視点から被写体を撮像することで生成された互いに視差を有する左眼用および右眼用の視差画像（以下、左右の視差画像という）を表示することで、観察者に立体画像を提示することができる。ただし、左右の視差画像の視差量が観察者による単一の立体像を融合（融像）できる限界、すなわち融合限界を超えると、観察者は左右の視差画像を二重像として認識してしまう。

従来、視差画像を表示する表示画面のサイズや観察者と表示画面間の距離である観察距離（視距離）を想定した上で、視差量が融合限界を超えないように、左右の視点からの撮像パラメータ（基線長や輻輳角）を被写体距離に応じて制御する方法が提案されている。また、特許文献１には、表示装置と一体となった立体撮像装置が開示されている。この立体撮像装置では、撮像により生成された左右の視差画像の視差量を算出し、該視差量と視差画像を表示する表示装置の表示条件（観察条件）とに基づいて立体像の再生奥行き位置を算出する。そして、この再生奥行き位置の情報に応じて、視差量が観察者の融合限界を超えないように基線長や輻輳角を調整する。

特開平０７−１６７６３３号公報

しかしながら、特許文献１にて開示された立体撮像装置では、観察者の融合限界のみに着目して、視差量が融合限界を超えないように基線長や輻輳角を調整するに留まり、観察者が感じる被写体の立体感については考慮されていない。つまり、たとえ観察者の融合限界に視差量を収めたとしても、観察者が感じる被写体の立体感が不十分であれば、良好な立体画像を提示できているとはいえない。

本発明は、観察者による立体像の融合が可能であるだけでなく、観察者に十分な立体感を感じさせることができる視差画像の生成が可能な立体撮像装置を提供する。

本発明の一側面である立体撮像装置は、撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する。該立体撮像装置は、視差画像に含まれる被写体を抽出する抽出手段と、視差画像間での被写体の視差量および撮像に際しての被写体までの距離のうち一方である判定用情報と、視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、観察者による立体像の融合可否を判定する第１の判定手段と、判定用情報と観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる被写体の立体感を判定する第２の判定手段と、第１および第２の判定手段による判定結果に応じて、撮像部における撮像パラメータを制御する制御手段とを有することを特徴とする。

また、本発明の他の一側面としての立体撮像プログラムは、撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する立体撮像装置のコンピュータに、視差画像に含まれる被写体を抽出させ、視差画像間での視差量および撮像に際しての前記被写体の距離のうち一方である判定用情報を取得させ、判定用情報と視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、観察者による立体像の融合可否を判定させ、判定用情報と観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる被写体の立体感を判定させ、融合可否および立体感の判定結果に応じて、撮像部における撮像パラメータを制御させることを特徴とする。

本発明によれば、融合可否および立体感の判定結果に応じた撮像パラメータの制御により、被写体の十分な立体感を確保しつつ、観察者による立体像の融合が可能な視差画像を容易に生成することができる。

本発明の実施例１である立体撮像装置の構成を示すブロック図。実施例１の立体撮像装置における立体画像処理部の構成を示すブロック図。実施例１の立体撮像装置が行う処理を示すフローチャート。対応点抽出方法を説明する図。本発明の実施例２である立体撮像装置における立体画像処理部の構成を示すブロック図。実施例２の立体撮像装置が行う処理を示すフローチャート。本発明の実施例３である立体撮像装置が行う処理を示すフローチャート。本発明の実施例４である立体撮像装置における立体画像処理部の構成を示すブロック図。実施例４の立体撮像装置が行う処理を示すが行う処理を示すフローチャート。本発明の実施例５である立体撮像装置における立体画像処理部の構成を示すブロック図。実施例５の立体撮像装置が行う処理を示すが行う処理を示すフローチャート。本発明の実施例６である立体撮像装置における立体画像処理部の構成を示すブロック図。実施例６の立体撮像装置が行う処理を示すフローチャート。本発明の実施例７である立体撮像装置の構成を示す図。立体撮像モデルを説明する図。被写体抽出を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、該実施例に共通する事項について説明する。各実施例の立体撮像装置は、互いに異なる左右の視点に配置された２つの撮像部（以下、左右のカメラという）により被写体を撮像して互いに視差を有する右眼用および左眼用の視差画像（以下、左右の視差画像という）を生成する。これら左右の視差画像を観察者に右眼と左眼を通して観察させることで立体画像（被写体の立体像）を提示することができる。

立体画像に関係するパラメータには、撮像に関する５つのパラメータ（以下、撮像パラメータという）と観察に関する３つのパラメータ（以下、観察パラメータという）とがある。５つの撮像パラメータは、左右のカメラの光軸間の距離である基線長と、撮像時における両カメラの焦点距離と、両カメラの撮像素子のサイズ（有効画素数）と、両カメラの光軸同士がなす角度（輻輳角）と、被写体までの距離（被写体距離）である。一方、３つの観察パラメータは、視差画像を表示する表示面のサイズと、表示面とこれに表示された視差画像を観察する観察者との距離である視距離と、表示面に表示する視差画像の位置を調整するためのオフセット量である。

輻輳角を変化させる（左右の光軸の交点である輻輳点を前後させる）ことにより立体感を制御する交差法もあるが、ここでは説明の簡略化のために左右カメラの光軸が平行となる平行法での立体感の制御について説明する。平行法での幾何学的理論は、輻輳角を変化させる方法に対しても、輻輳点までの距離を考慮することで成り立つ。任意の被写体を撮像するときの幾何学関係を図１５（Ａ）に、撮像により生成された視差画像を観察者に提示するときの幾何学関係を図１５（Ｂ），（Ｃ）に示す。

図１５（Ａ）において、左右のカメラの主点位置の中間を原点とする。左右のカメラ（Ｌ_ｃａｍｅｒａ，Ｒ_ｃａｍｅｒａ）が並ぶ方向にｘ軸をおき、それに直交する方向にｙ軸をおく。高さ方向について説明の簡略化のために省略する。基線長は２ｗｃである。左右のカメラの仕様は同一であり、撮像時の両カメラの撮影光学系の焦点距離をｆとし、撮像素子の横幅をｃｃｗとする。任意の被写体Ａの位置をＡ（ｘ１，ｙ１）とする。

左右のカメラの撮像素子上に形成される被写体Ａの像の位置は、幾何学的に、被写体Ａおよび主点位置を通る直線と撮像素子との交点となる。このため、撮像素子上での被写体Ａの像の位置は撮像素子の中心を基準とすると、左右のカメラで異なる。この位置の差は被写体距離が長いほど小さくなり、無限遠では０になる。

図１５（Ｂ）において、観察者の左右の眼（Ｌ_ｅｙｅ，Ｒ_ｅｙｅ）の中心を原点とし、左右の眼が並ぶ方向にｘ軸をおき、それに直交する方向にｙ軸をおく。左右の眼の間隔は２ｗｅである。観察者から視差画像が表示される表示面（ｓｃｒｅｅｎ）までの視距離はｄｓである。表示面の横幅はｓｃｗである。

表示面上には左右のカメラでの撮像により得られた左右の視差画像が互いにほぼ重複する表示領域に表示される。観察者が液晶シャッタメガネを装着して左眼用および右眼用のシャッタを交互に開閉することで立体観察を行う場合は、表示面に表示される左右の視差画像もそれに同期して高速で交互に切り替えられる。平行法による撮像によって得られた左右の視差画像をそのまま表示すると、表示面上には無限遠の被写体の画像ばかりが表示され、すべての被写体が表示面から飛び出すように表示されて好ましくない。このため、左右の視差画像の表示領域をｘ軸方向にずらして、表示面上での被写体距離を適当に調整する。この左右の視差画像の表示領域をずらす量がオフセット量（ｓ）である。

オフセット量が０の場合に表示面に表示される左の視差画像Ｌの座標を（Ｐｌ，ｄｓ）とし、右の視差画像Ｒの座標を（Ｐｒ，ｄｓ）とするとき、オフセット量がｓの場合のそれらの座標はＬ（Ｐｌ−ｓ，ｄｓ）とＲ（Ｐｒ＋ｓ，ｄｓ）になる。

このような条件において観察される被写体Ａの立体像は、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置Ａ′（ｘ２，ｙ２）に形成される。

Ａ′（ｘ２，ｙ２）について幾何学的に詳細に説明する。被写体Ａの像の左右のカメラの撮像素子の中心に対するずれ量を撮影視差量Ｐｌｃ，Ｐｒｃとすると、これらは、

で表される。

撮像素子のサイズ（横幅ｃｃｗ）と表示面のサイズ（横幅ｓｃｗ）との比を表示倍率ｍとすると、
ｍ＝ｓｃｗ／ｃｃｗ
となり、撮影視差量Ｐｌｃ，Ｐｒｃは表示面上では−ｍ倍される。これを表示視差量Ｐｌ，Ｐｒとすると、

で表される。

表示時に左右の視差画像に付加するオフセット量をｓとすると、観察者が観察する被写体Ａの立体像の位置Ａ′（ｘ２，ｙ２）は、

となる。

同一の被写体距離の像は同一の平面上にて観察される。ここで、さらに説明の簡略化のために、被写体Ａを軸上（ｘ１＝０）とすると、オフセット量が０のときの表示視差量は、

となる。オフセット量をｓとしたときの立体像の位置Ａ′は、図１５（Ｃ）に示すように、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置（０，ｙ２）となる。

式（９）に式（７），（８）を代入して整理すると、

となる。

図１５（Ｃ）に示すように、観察者が被写体Ａの立体像を見込む角度をβとすると、βはその立体像が形成される位置までの距離ｙ２と眼幅２ｗｅとから、

となる。ｙ２に式（９）を代入すると、

となる。

ここで、図１５（Ｃ）に示すように、観察者が表示面を見込む角度をαとすると、

となるので、α−βは、

となる。また、式（１４）に式（７），（８）を代入して整理すると、

となる。このα−βがいわゆる相対視差量と呼ばれる指標である。この相対視差量の大きさが表示面と被写体Ａの像との間の相対的な奥行き方向（ｙ軸方向）での距離に対応する。従来の様々な研究から、人間は脳内でこの相対視差量を計算して奥行き方向での被写体の位置を認識していることが知られている。

次に、壁化について説明する。壁化とは、立体画像の観察時に任意の被写体と無限遠に位置する被写体に対して奥行き方向での区別がつかなくなる（相対的な立体感がなくなる）ことをいう。つまり、任意の被写体が無限遠の背景に対して張り付いているように観察される。

壁化は遠方の被写体に対して生じる現象であるので、まず無限遠の被写体について相対視差量を求める。無限遠に対する相対視差量は、平行法では、式（１），（２）から分かるように、視差量（Ｐｌ−Ｐｒ）が０となるため、

となる。

ここで、無限遠の被写体に対する有限距離の被写体の視差量は、式（１６）から式（１４）または式（１５）を引いて以下のように求まる。

壁化が生じているときには、遠方の被写体は平面に見えるので、無限遠の被写体に対する視差量は０でなくてはならない。

発明者がフルＨＤの３Ｄテレビを用いて遠方の被写体の立体感を主観的に評価した結果、無限遠の被写体に対する視差量が３分未満のときには画像としては視差があってもほとんどの人（観察者）が視差を感じなくなることが分かった。式（１７）および式（１８）においては眼幅２ｗｅは関係がない。

そこで、このほとんどの人が視差、つまりは立体感を感じなくなる視差量を、許容視差下限値δｔと定義する。式（１７）または（１８）とδｔとを用いると、

または

となり、式（１９）または式（２１）を満足すれば壁化が発生せず、式（２０）または式（２２）を満足すると壁化が発生すると判定できる。

ここで、許容視差下限値δｔを近距離の被写体であって人物のように奥行き方向に厚みのあるものに適用する。例えば、図１６に示すように、近距離に位置する人物の顔における鼻の先端を近い側の被写体ｉとし、耳を遠い側の被写体ｊとする。被写体ｊに対する被写体ｉの視差量を求めるためには、式（１７），（１８）の導出と同様に被写体ｊに対する相対視差量から被写体ｉに対する相対視差量を引けばよいので、

となる。

発明者は基線長２ｗｃ以外の撮像パラメータと観察パラメータとを固定し、人物を被写体とする視差画像で検証した結果、壁化と同様に視差量が３分未満になると人物の顔の立体感がなくなることを確認した。これにより、許容視差下限値δｔは、遠方の被写体の視差量だけではなく、近距離の被写体の視差量にも適用できることが分かった。つまり、式（２３）または式（２４）と許容視差下限値δｔとを用いると、

または

となり、式（２５）または式（２７）を満足すれば、人物の顔が立体的に認識されて立体感があると判定できる。一方、式（２６）または式（２８）を満足すると、顔は平面的に認識されて立体感がないと判定できる。

また、式（２２）を被写体距離ｙ１について整理すると、

となり、壁化が発生する被写体距離ｙ１を直接判定することができる。

さらに、図１６に示したように、近距離に位置する人物の鼻の先端から耳までの厚みをΔとする。この厚Δみに対する視差量を求めるためには、式（１４）に示した相対視差量α−βを被写体距離ｙ１により微分することで視差量の被写体距離に対する感度を求め、これに厚みΔを乗ずればよい。

式（１４）を微分すると、

となる。これに厚みΔを乗ずれば、該厚みの視差量となる。

厚みΔの被写体に対して立体感がなくなる被写体距離の判定を式で表すと、

となり、式（３１）を満足すれば人物の顔は立体的に認識されて立体感があると判定でき、式（３２）を満足すると顔は平面的に認識されて立体感がないと判定できる。

人物等の主被写体の視差量が式（２６），式（２８）または式（３２）を満足し、背景である被写体（以下、背景被写体という）の視差量が式（１９）または式（２１）を満足するとき、背景被写体はその視差量が許容視差下限値δｔ以上であるので、立体的に見える。一方、主被写体は、その視差量が許容視差下限値δｔより小さいので、立体的に見えない。これを、書き割り効果という。

また、背景被写体が式（２０）または式（２２）を満足する、つまりは壁化する条件で撮像を行い、かつ撮影倍率が被写体が実際の大きさよりも小さくなる条件で撮像を行ったときを考える。このときは、実際よりも小さな被写体（人物や車等）が立体に見え、この被写体を平面の背景に囲まれているように見える画像が得られる。これを箱庭効果という。

このように、壁化、書き割り効果および箱庭効果は、立体に見える画像と平面に見える画像とが１つの画像中に混在するときに脳が混乱して感じる感覚として定義することができる。このため、壁化、書き割り効果および箱庭効果は、許容視差下限値という評価値によって立体感を感じる視差と直接関連付けられる。このため、壁化、書き割り効果および箱庭効果が生じない良好な立体画像を提示するためには、視差画像を得るための撮像時や視差画像の観察時に、許容視差下限値を用いて撮像パラメータを制御したり観察パラメータを調整したりすることが望ましい。

また、良好な立体画像の提示を妨げる要因として、壁化、書き割り効果および箱庭効果に加えて、式（１４）または式（１５）により得られる相対視差量が、観察者が左右の視差画像を融合できる限界である融合限界を超えることが挙げられる。

ここで、融合限界について説明する。図１５（Ｃ）において、実際の視差画像は表示面上に表示されるが、観察者は被写体Ａがｙ２の位置に存在すると認識する。すなわち、実際に表示面に表示される画像と観察者が認識する立体像のそれぞれに対する観察者の眼のピント状態が異なっている。言い換えれば、観察者の左右の眼の輻輳位置（寄り眼状に両眼を向けている位置）とそれらの眼がピントを合わせている位置とにずれが生じている。このずれが大きくなると、観察者は左右の視差画像から単一の立体像を認識できなくなり、左右の視差画像を二重像として認識する。観察者が左右の視差画像から単一の立体像を融合できる相対視差量の上限値を融合限界値ξとするとき、観察者が立体像を認識できる相対視差量の範囲は、

または

と表すことができる。

また、撮像時に奥行き方向のうち最もカメラの近くに位置する被写体の立体像は観察時には最も観察者に近い位置に融合（再生）され、撮像時に同方向のうち最もカメラから離れて位置する被写体の立体像は観察時にも観察者から最も離れた位置に融合される。つまり、視差画像内の全ての被写体を融合限界以下の範囲（以下、融合可能範囲という）内に収めるためには、最もカメラの近くに位置する被写体と最もカメラから離れて位置する被写体に関して評価すればよい。最もカメラの近くに位置する被写体（最近被写体）をｎとし、最もカメラから離れて位置する被写体（最遠被写体）をｆとして、それらの被写体距離（最大距離と最小距離）をそれぞれｙ１_ｎ，ｙ１_ｆとすると、全ての被写体を融合可能範囲内に収める条件は、

と表すことができる。融合限界値ξは、観察者の個人差があるものの、一般的にはおよそ２度（絶対値）である。さらに、観察者が快適に立体像を認識できる相対視差量の絶対値はおよそ１度であると言われている。

相対視差量が融合限界値ξを超えると、左右の視差画像は二重像として認識されてしまうため、良好な立体画像を提示するためには、この融合限界も考慮して撮像パラメータを制御したり観察パラメータを調整したりする必要がある。

各実施例では、観察者に対して良好な立体画像を提示できる視差画像を生成するために、視差画像間での視差量および撮像に際しての被写体距離のうち一方である判定用情報を用いて、観察者による立体像の融合可否を判定する。また、判定用情報と許容視差下限値とを用いて立体感を判定する。そして、これら融合可否および立体感の判定結果に応じて、少なくとも１つの撮像パラメータを制御する。

以下、具体的な実施例について説明する。

図１には、実施例１である立体撮像装置の構成を示している。本実施例の立体撮像装置は、被写体を左右の２つの視点から２つの撮像部１００，２００により撮像することで左右の視差画像を生成する際に、被写体の十分な立体感を確保しつつ視差量が融合可能範囲内に収まるように撮像パラメータを制御する。これにより、観察者が十分な立体感を感じることができる良好な立体画像を提示可能な視差画像を生成する。

１０１は右の撮影光学系であり、絞り１０１ａとフォーカスレンズ１０１ｂを含む。２０１は左の撮影光学系であり、絞り２０１ａとフォーカスレンズ２０１ｂを含む。左右の撮影光学系２０１，１０１の光軸間の距離、すなわち基線長は、一般には６５ｍｍ程度が好適であるが、本実施例ではこの基線長を変更することが可能である。また、左右の撮影光学系２０１，１０１は変倍レンズを含んでおり、該変倍レンズを移動させることで焦点距離の変更も可能である。

１０２は右の撮像素子であり、２０２は左の撮像素子である。左右の撮像素子２０２，２０１はそれぞれ、左右の撮影光学系２０１，１０１により形成された被写体像（光学像）を電気信号に変換する。各撮像素子は、ＣＣＤセンサまたはＣＭＯＳセンサにより構成される２次元イメージセンサである。右の撮影光学系１０１および右の撮像素子１０２により右の撮像部（２つの撮像部のうち一方）１００が構成され、左の撮影光学系２０１および左の撮像素子２０２により左の撮像部（２つの撮像部のうち他方）２００が構成される。

１０３は右のＡ／Ｄ変換器、２０３は左のＡ／Ｄ変換器である。左右のＡ／Ｄ変換器２０３，１０３は、左右の撮像素子２０２，１０２から出力されるアナログ出力信号をデジタル信号に変換して画像処理部１０４に供給する。

画像処理部１０４は、左右のＡ／Ｄ変換器２０３，１０３からのデジタル信号に対して画素補間処理や色変換処理等の画像処理を行って左右の視差画像を生成する。また、画像処理部１０４は、左右の視差画像のうち少なくとも一方から被写体輝度の情報や左右の撮影光学系２０１，１０１の焦点状態（画像のコントラスト状態）を演算し、演算結果をシステムコントローラ１０６に供給する。画像処理部１０４の動作は、システムコントローラ１０６によって制御される。

立体画像処理部４００は、画像処理部１０４により生成された左右の視差画像を取り込む。そして、これら視差画像における視差量を算出して該視差画像から得られる立体感を判定したり、視差画像における相対視差量が融合可能範囲内に収まっているが否かを判定したりする処理を行う。立体画像処理部４００のより具体的な構成については後述する。

状態検知部１０７は、撮像パラメータ（基線長、焦点距離、撮像素子サイズ、輻輳角および被写体距離）の現在値である撮像状態を検出する。また、状態検出部１０７は、左右の撮影光学系２０１，１０１の絞り２０１ａ，１０１ａの開口径やフォーカスレンズ２０１ｂ，１０１ｂの位置等の現在の光学状態も検出する。そして、これら撮像状態および光学状態の情報をシステムコントローラ１０６に供給する。システムコントローラ１０６は、画像処理部１０４からの演算結果と状態検知部１０７からの光学状態の情報とに基づいて光学駆動部１０５を制御し、絞り２０１ａ，１０１ａの開口径を変化させたりフォーカスレンズ２０１ｂ，１０１ｂを移動させたりする。これにより、自動露出制御やオートフォーカスが行われる。また、システムコントローラ１０６は、光学駆動部１０５を制御して、撮像パラメータのうち左右の撮像部２００，１００の基線長や焦点距離を変更することもできる。

記録部１０８は、画像処理部１０４により生成された左右の視差画像を記録する。画像表示部６００は、例えば液晶表示素子とレンチキュラーレンズとにより構成され、レンチキュラーレンズの光学作用によって液晶表示素子に表示された左右の視差画像をそれぞれ観察者の左右の眼に導くことで、立体画像の観察を可能とする。

次に、図２を用いて立体画像処理部４００の構成について説明する。画像取得部１０は、画像処理部１０４により生成された左右の視差画像を取得する。被写体抽出部２０は、視差画像内の特定被写体（主被写体）を抽出する。観察条件入力部３０は、画像表示部６００に視差画像を表示して観察者に立体画像を観察させる際の観察パラメータを示す観察条件（画像表示部６００の表示面のサイズ、視距離およびオフセット量）を取得する。

視差量算出部４０は、基準画像選択部４１と、対応点抽出部４２と、最大／最小視差領域決定部４３とを含む。基準画像選択部４１は、左右の視差画像のうち一方の視差画像を視差量算出のための基準画像として、他方の視差画像を参照画像として選択する。

対応点抽出部４２は、左右の視差画像間で互いに対応する画素としての対応点を複数組抽出する。対応点とは、左右の視差画像において同一被写体を撮像する画素である。視差量算出部４０は、対応点抽出部４２により抽出された複数組の対応点、つまりは複数組の対応する被写体の組ごとの視差量を算出する。最大／最小視差領域決定部４３は、算出された視差量のうち最大値（最大視差量）と最小値（最小視差量）をそれぞれ有する画像領域である最大視差領域と最小視差領域を決定する。被写体抽出部２０と対応点抽出部４２はともに、抽出手段に相当する。

融合判定部６０は、観察情報入力部３０から取得した観察条件において、最大／最小視差領域決定部４３にて決定された最大視差領域と最小視差領域の相対視差量が融合可能範囲内か否かを判定する。視差量算出部４０および融合判定部６０により第１の判定手段が構成され、融合判定部６０により行われる判定を、以下、融合可否判定という。

立体感判定部５０は、許容視差下限値取得部５１を含む。許容視差下限値取得部５１は、前述した許容視差下限値を取得する。立体感判定部５０は、この許容視差下限値を用いて視差画像内の特定被写体に対する立体感の有無を判定する。視差量算出部４０および立体感判定部５０により第２の判定手段が構成され、立体感判定部５０により行われる判定を、以下、立体感判定という。

次に、本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４００が行う処理について、図３のフローチャートを用いて説明する。制御用コンピュータとしてのシステムコントローラ（制御手段）１０６および画像処理用コンピュータとしての立体画像処理部４００は、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

まず、ステップＳ１０１において、ユーザ（撮影者）による撮像準備の開始を指示する操作を検知したシステムコントローラ１０６は、ユーザによる選択または設定に基づいて光学駆動部１０５を通して左右の撮影光学系２０１，１０１を制御する。また、システムコントローラ１０６は、左右の撮像素子２０２，１０２に、左右の撮影光学系２０１，１０１によってそれぞれ形成される被写体像を光電変換させる。そして、左右の撮像素子２０２，１０２からの出力をＡ／Ｄ変換器２０３，１０３を介して画像処理部１０４に転送し、画像処理部１０４に左右の視差画像を生成させる。立体画像処理部４００（画像取得部１０）は、画像処理部１０４から生成された左右の視差画像を取得する。

次に、ステップＳ１０２において、立体画像処理部４００（被写体抽出部２０）は、視差画像内の特定被写体を抽出（選択）する。被写体抽出部２０は、例えば、ユーザが操作可能なタッチパネルやボタン等の入力インターフェースを通じて指定された被写体領域において、色等の特徴量やエッジ情報に基づいて特定被写体を抽出する。また、公知の顔認識技術を用いて主被写体としての人物を抽出することも可能である。さらに、任意に切り出した部分画像領域を基準画像（テンプレート画像）として登録し、視差画像内で該テンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用してもよい。テンプレート画像は、撮像時にユーザが登録してもよいし、事前に代表的な複数種類のテンプレート画像をメモリに記録させておき、その中からユーザに選択させるようにしてもよい。ここでは、例えば図１６に示す実線で囲まれた人物を特定被写体（主被写体）として抽出するものとする。

次に、ステップＳ１０３において、立体画像処理部４００（観察条件入力部３０）は、画像表示部６００からシステムコントローラ１０６を介して観察条件、すなわち表示面のサイズや視距離等の情報を取得する。ここでの観察条件には、表示画素数の情報も含んでもよい。観察条件の情報の取得は、ユーザに上述した入力インターフェースを用いて観察条件の情報を入力させることで行ってもよいし、想定される代表的な観察条件を予め登録しておき、その中からユーザに選択させることで行ってもよい。なお、ここまで説明したステップＳ１０１〜Ｓ１０３の順序を入れ替えてもよい。

次に、ステップＳ１０４において、立体画像処理部４００（視差量算出部４０）は、ステップＳ１０２で抽出された特定被写体の視差量を算出する。視差量算出部４０は、まず基準画像選択部４１に、左右の視差画像のうち一方を基準画像として、他方を参照画像として選択させる。次に、視差量算出部４０は、対応点抽出部４２に、基準画像と参照画像のそれぞれの複数箇所から複数組の対応点を抽出させる。

対応点の抽出手法について図４を用いて説明する。ここでは視差画像にＸ−Ｙ座標系を設定する。この座標系では、図中の左側に示した基準画像３０１と右側に示した参照画像３０２において左上の画素を原点として定義し、水平方向にＸ軸を、垂直方向にＹ軸をとる。基準画像３０１中の画素（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像３０２中の画素（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像３０１中の任意の画素（Ｘ，Ｙ）（ハッチングして示す）に対応する参照画像３０２中の画素（同じくハッチングして示す）は、基準画像３０１における輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する参照画像３０２中の画素である。ただし、任意の画素と最も類似した画素を探すことは現実には難しいため、画素（Ｘ，Ｙ）の近傍の画素も用いて、ブロックマッチングと称される手法により類似画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像３０１中の任意の１つの画素（Ｘ，Ｙ）とその周辺の２つの画素（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）からなる３つの画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ）
Ｆ１（Ｘ−１，Ｙ）
Ｆ１（Ｘ＋１，Ｙ）
となる。これに対し、画素（Ｘ，Ｙ）からＸ方向にｋ画素だけずれた参照画像３０２内の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ）
Ｆ２（Ｘ＋ｋ−１，Ｙ）
Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。この場合に、基準画像３０１内の画素（Ｘ，Ｙ）との類似度Ｅを、以下の式（３６）により定義する。

この式（３６）において、ｋの値を変更しながら類似度Ｅの値を計算する。そして、参照画像３０２のうち最も小さい類似度Ｅを与える参照画像中の画素（Ｘ＋ｋ，Ｙ）が、基準画像３０１中の画素（Ｘ，Ｙ）に対する対応点である。

なお、上記のようなブロックマッチング以外に、エッジ抽出等の他の方法を用いて対応点を抽出してもよい。

次に、視差量算出部４０は、複数箇所にて抽出された複数組の対応点（対応被写体）のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出する。具体的には、視差量算出部４０は、まず前述した式（１），（２）を用いて対応点の座標での撮影視差量差Ｐｌｃ，Ｐｒｃを算出する。次に、視差量算出部４０は、表示倍率ｍを算出し、さらに式（３），（４）から左右の表示視差量Ｐｌ，Ｐｒを算出して視差量（Ｐｌ−Ｐｒ）を算出する。

次に、ステップＳ１０５おいて、立体画像処理部４００（最大／最小視差領域決定部４３）は、ステップＳ１０４で算出された複数組の対応点間の視差量のうち最大視差量を有する対応点を含む画像領域を最大視差領域として決定する。また、複数組の対応点間の視差量のうち最小視差量を有する対応点を含む画像領域を最小視差領域として決定する。式（１４）から、視差量（Ｐｌ−Ｐｒ）の絶対値が大きければ観察時の相対視差量が大きくなるため、視差量（Ｐｌ−Ｐｒ）が最大および最小となる最大および最小視差領域を取得する。これら最大および最小視差領域の両方の視差量が融合限界値以下であれば、すなわち最大および最小視差領域が融合可能範囲内に収まれば、視差画像内の他の画像領域も当然に融合可能範囲内に収まる。このように、本実施例では、最大および最小視差量を有する画像領域のみについて融合可否判定を行うことにより左右の視差画像の全体（つまりは視差画像内の全ての被写体）が観察者にとって立体像として融合可能か否かを判定する。これにより、視差画像内のすべての画像領域について融合可否判定を行う場合に比べて、処理負荷を軽減することができる。

次に、ステップＳ１０６（融合可否判定ステップ）において、立体画像処理部４００（融合判定部６０）は、ステップＳ１０３にて取得した観察条件において左右の視差画像の最大および最小視差領域がともに融合可能範囲内に含まれるか否かを判定する。すなわち、融合可否判定を行う。具体的には、融合判定部６０は、融合限界値ξと、ステップＳ１０５で決定された最大および最小視差領域の視差量（最大および最小視差量）と、ステップＳ１０３で取得した観察条件とを用いて、式（３３）を満足するか否かを判定する。最大および最小視差量のいずれについても式（３３）を満足する、つまりは最大および最小視差領域がともに融合可能範囲内に含まれる場合は、立体画像処理部４００はステップＳ１０７に進む。一方、最大および最小視差量のうち少なくとも一方について式（３３）を満足しない、つまりは最大および最小視差領域のうち少なくとも一方が融合可能範囲内に含まれない場合は、立体画像処理部４００はステップＳ１０８に進む。

ステップＳ１０８において、システムコントローラ１０６は、最大および最小視差量の差である相対視差量（絶対値）を小さくすることで最大および最小視差領域の双方が融合可能範囲内に収まるように、基線長を短くする制御を行う。式（７），（８）を用いると、式（１４）は、

と表すことができる。この式から、基線長ｗｃが長いほど相対視差量の絶対値が大きくなり、逆に言えば基線長ｗｃが短いほど相対視差量の絶対値も小さくなることが分かる。このため、システムコントローラ１０６は、光学駆動部１０５を通じて、撮像パラメータの１つである左右の撮影光学系２０１，１０１の基線長ｗｃを現在の基線長よりも所定量だけ短くするように制御する。こうして基線長が短くされた後、融合判定部６０は再びステップＳ１０６での融合可否判定を行い、最大および最小視差領域がともに融合可能範囲内に収まらなければ、システムコントローラ１０６は再びステップＳ１０８で基線長を所定量だけ短くする。このようにして、最大および最小視差領域がともに融合可能範囲内に収まるまで基線長の調整（減少）が行われた後、立体画像処理部４００はステップＳ１０７に進む。

ステップＳ１０７（立体感判定ステップ）において、立体画像処理部４００（立体感判定部５０）は、ステップＳ１０４にて算出された視差量と許容視差下限値δｔとを用いて、特定被写体に対する立体感の有無を判定する。すなわち、立体感判定を行う。具体的には、まず立体感判定部５０は、許容視差下限値取得部５１に許容視差下限値δｔを取得させる。許容視差下限値δｔは、前述したように、観察者のほとんどが立体感を感じなくなる視差量（例えば、３分）である。

次に、立体感判定部５０は、特定被写体のうち立体感を評価する評価点を選択する。ここでは、例えば、図１６に示した人物の鼻の先端を評価点ｉとし、耳を評価点ｊとして選択する。評価点の選択方法としては、ステップＳ１０４で算出された視差量のうち最大または最小視差量を有する画像領域内の被写体の一部を選択したり、ユーザが前述した入力インターフェースを用いて評価点を選択したりする方法を用いればよい。

次に、立体感判定部５０は、許容視差下限値δｔと、選択された評価点の視差量と、ステップＳ１０３で取得された観察条件の１つである視距離とを用いて、式（２５）を満足するか否かを判定する。式（２５）を満足する場合は、評価点ｉ，ｊを含む特定被写体は観察者にとって立体感を感じることができるため、該特定被写体を立体感ありと判定する。逆に、式（２５）を満足しない場合は、特定被写体は観察者にとって立体感を感じることができないため、該特定被写体を立体感なしと判定する。

なお、本実施例では、ステップＳ１０７において式（２５）を用いて立体感判定を行うが、許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがある。このため、以下の式（３８）に示すように、立体感に対する観察者の個人差に応じた補正値Ｃにより判定閾値としての許容視差下限値δｔを補正（変更）して立体感判定を行ってもよい。

ここで、補正値Ｃは、初期条件として不図示のメモリに記録された値を用いてもよいし、ユーザが上述した入力インターフェースを用いて入力してもよい。

ステップＳ１０７において被写体の立体感がないと判定された場合、システムコントローラ１０６は、被写体の立体感をより増加させるためにステップＳ１１０に進む。ステップＳ１１０では、システムコントローラ１０６は、光学駆動部１０５を通じて左右の撮影光学系２０１，１０１の基線長ｗｃを所定量だけ長くする制御を行う。これは、式（２３）で表される被写体の立体感が、左右の撮影光学系２０１，１０１の基線長ｗｃが長くなるほど強くなるためである。

ただし、基線長を長くすると、最大／最小視差領域決定部４３にて決定された最大および最小視差領域の視差量も大きくなり、最大および最小視差領域が融合可能範囲を外れる可能性がある。このため、再びステップＳ１０６において、融合判定部６０は最大および最小視差領域に対して融合可否判定を行う。ここで融合可能範囲を外れていると判定された場合は、システムコントローラ１０６は、ステップＳ１０８において、ステップＳ１０７で基線長を長くした際の所定量よりも少ない量だけ基線長を短くする。そして、再びステップＳ１０６およびステップＳ１０７においてそれぞれ、融合判定部６０および立体感判定部５０が再度、融合可否判定および立体感判定を行う。こうして、全ての被写体が融合可能範囲内に収まり、かつ特定被写体の立体感があると判定されるまで、ステップＳ１０６〜１０８およびステップＳ１１０が繰り返される。

なお、ステップＳ１１０にて基線長が長くされた後にステップＳ１０６で融合可能範囲を外れていると判定された場合に、不図示のメモリに融合可能範囲を外れたときの基線長の値を記録しておき、その値以下になるよう基線長を再制御するとよい。これにより、効率的に基線長の制御を行うこともできる。

一方、ステップＳ１０７において特定被写体の立体感があると判定された場合は、すでにステップＳ１０６にて全被写体が融合可能範囲内に収まっていると判定されている。このため、この状態で撮像を行うことで、観察者が全被写体の立体像を融合でき（二重像として認識せず）、特定被写体の立体感を十分感じることが可能な左右の視差画像を生成できる。したがって、ステップＳ１０９において、システムコントローラ１０６は、そのような左右の視差画像を取得するためにステップＳ１０１と同様にして撮像を行い、画像表示部６００に表示したり記録部１０８に記録したりする。ステップＳ１０１で取得した視差画像が、もともとその最大および最小視差領域（全被写体）が融合可能範囲内に収まり、かつ特定被写体の立体感もあると判定された場合は、ステップＳ１０１で取得した視差画像をそのまま表示または記録してもよい。

以上のように、本実施例によれば、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。
本実施例では、融合可否判定や立体感判定の結果に応じて左右の撮影光学系の基線長を変更することで立体感を調整する場合について説明した。しかし、基線長に加えて又は基線長に代えて、撮像パラメータの１つである左右の撮影光学系の焦点距離を変更してもよい。

また、本実施例では、左右の撮影光学系の光軸が互いに平行に配置される平行法による撮像を行う場合について説明した。しかし、左右の撮影光学系の光軸が交差する交差法による撮像を行う場合についても、本実施例と同様な処理を行うことで良好な立体画像を得ることができる。交差法を用いる場合は、撮像パラメータの１つである左右の撮影光学系の光軸がなす角度（輻輳角）を変更することで、相対視差量を変え、これにより立体像の融合可能性や立体感を調整することができる。

さらに、本実施例では、融合可否判定後に立体感判定を行う場合について説明したが、これらの判定の順序を入れ替えてもよい。

これら焦点距離の変更、交差法での輻輳角の変更および判定順序に関しては、後述する他の実施例でも同じである。

次に、実施例２である立体撮像装置について図５を用いて説明する。本実施例の立体撮像装置の全体構成は、実施例１の立体撮像装置と同じであり、共通する構成要素には実施例１と同符号を付す。本実施例では、立体画像処理部４００Ａの構成が、実施例１における立体画像処理部４００と異なる。具体的には、立体画像処理部４００Ａは、立体画像処理部４００に判定閾値修正部７０を追加した構成を有する。判定閾値修正部７０は、必要に応じて、かつ許容される範囲で、融像可否判定に用いられる判定閾値としての融合限界値ξおよび立体感判定に用いられる判定閾値としての許容視差下限値δｔのうち少なくとも一方を変更（修正）する。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４００Ａが行う処理について、図６のフローチャートを用いて説明する。実施例１と同様に、システムコントローラ１０６および立体画像処理部４００Ａは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ２０１〜ステップＳ２０７は、実施例１で説明したステップＳ１０１〜ステップＳ１０７と同じであるので、説明を省略する。本実施例では、ステップＳ２０６での融合可否判定で最大および最小視差領域のうち少なくとも一方が融合可能範囲外と判定された場合と、ステップＳ２０７での立体感判定で特定被写体の立体感がないと判定された場合は、次のステップＳ２０８での判定が行われる。ステップＳ２０７において立体感があると判定された場合は、システムコントローラ１０６はステップＳ２０９に進み、実施例１のステップＳ１０９と同様に左右の視差画像を取得するための撮像を行う。

ステップＳ２０８では、システムコントローラ１０６は、左右の撮影光学系２０１，１０１の基線長を変更（制御）することのみによって、最大および最小視差領域の双方を融合可能範囲内に収め、かつ特定被写体に立体感を生じさせる調整が可能か否かを判定する。調整が可能である場合は、システムコントローラ１０６は、ステップＳ２１０に進み、光学駆動部１０５を通じて基線長を制御する。具体的には、最大および最小視差領域の双方を融合可能範囲内に収めるためには基線長を短くする制御を行い、特定被写体の立体感をより増加させるためには基線長を長くする制御を行う。基線長を変更した後は、再びステップＳ２０６において融合判定部６０が融合可否判定を行い、さらにステップＳ２０７において立体感判定部５０が立体感判定を行う。

一方、ステップＳ２０８において調整が不可能である場合は、立体画像処理装置４００Ａ（判定閾値修正部７０）は、ステップＳ２１１において、上記判定閾値（融合限界値ξおよび許容視差下限値δｔのうち少なくとも一方）を修正する。ここでは、融合限界値ξを修正する場合について説明する。

前述したように融合限界値ξは一般的におよそ２度と言われているが、表示される視差画像に対して特殊な画像処理を行うことで、より大きな融合限界値を用いても問題がない場合がある。例えば、視差画像のうち最も立体感が強い画像領域にぼけを付加する画像処理を行うことで、許容される融合限界値ξを大きくすることができる。変更後の融合限界値は、ユーザが実施例１でも述べた入力インターフェースを介して取得してもよいし、予め想定される値をメモリに記録しておき、その値を取得してもよい。

判定閾値修正部７０は、このようにして取得した新たな融合限界値を現在の融合限界値と置き換える。判定閾値修正部７０は、同様にして、許容視差下限値δｔを修正することもできる。

この後、ステップＳ２０６において、立体画像処理装置４００Ａ（融合判定部６０）は、修正後の融合限界値ξを用いて融合可否判定を行う。さらに、ステップＳ２０７において、立体画像処理装置４００Ａ（立体感判定部５０）は、許容視差下限値（修正された場合は修正後の値）δｔを用いた立体感判定を行う。

以上のように、本実施例でも、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。しかも、本実施例では、融像可否判定および立体感判定のうち少なくとも一方のための判定閾値を、視差画像に対する画像処理に応じて変更することが許容されるので、該判定をより適切に行うことができ、視差画像の撮像条件の幅を広げることができる。

次に、実施例３である立体撮像装置について説明する。本実施例の立体撮像装置の全体構成は、実施例１の立体撮像装置と同じであり、共通する構成要素には実施例１と同符号を付す。ただし、本実施例は、図示はしないが、実施例１の立体画像処理部４００とは異なる立体画像処理部４００Ｂ（融合判定部６０′、立体感判定部５０′およびシステムコントローラ１０６′）を有する。

本実施例の立体撮像装置においてシステムコントローラ１０６′および立体画像処理部４００Ｂが行う処理について、図７のフローチャートを用いて説明する。実施例１と同様に、システムコントローラ１０６′および立体画像処理部４００Ｂは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ３０１〜ステップＳ３０５は、実施例１で説明したステップＳ１０１〜ステップＳ１０５と同じであるので、説明を省略する。

ステップＳ３０５で最大および最小視差領域が決定されると、ステップＳ３０６の処理が行われる。ステップＳ３０６（融合可否判定ステップ）において、立体画像処理部４００Ｂ（融合判定部６０′）は、ステップＳ３０３にて取得した観察条件において最大および最小視差領域がともに融合可能範囲内に含まれるか否かを判定する。すなわち、融合可否判定を行う。

ここで、前述した式（３３）において左辺の値が右辺の融合限界値ξに等しくなる、つまり、

が成立する場合は、最大および最小視差領域の視差量が融合限界値ξに一致する。融合判定部６０′は、融合限界値ξと、ステップＳ３０５で決定された最大および最小視差領域の視差量（最大および最小視差量）と、ステップＳ３０３で取得した観察条件とを用いて、式（３９）を満足するか否かを判定する。

式（３９）を満足する場合は、最大および最小視差領域が融合可能範囲内と判定可能な限界にあると言える。このため、式（３９）を満足する現在の状態での左右の撮影光学系２０１，１０１の基線長よりも基線長を長くすると、最大および最小視差領域が融合可能範囲を超えるため、基線長は現在の基線長以下に設定する必要があることが分かる。こうして融合判定部６０′は、本ステップにおいて、まず基線長の最大値を算出する。

ステップＳ３０６において式（３９）を満足する場合は、ステップＳ３０７の処理が行われる。ステップＳ３０６において式（３９）を満足しない場合は、最大および最小視差領域の視差量が融合限界値ξよりも小さい又は大きいため、ステップＳ３０８の処理が行われる。なお、ステップＳ３０６の判定では、必ずしも式（３９）の左辺の値が完全に融合限界値ξに一致する必要はない。すなわち、左辺の値が融合限界値ξを含む所定幅（例えば、±１．２倍の幅）内に入れば、左辺の値が融合限界値ξに一致するとみなすようにしてもよい。

ステップＳ３０８では、システムコントローラ１０６′は左右の撮影光学系２０１，１０１の基線長を制御する。ここでは、ステップ３０６において最大および最小視差領域の視差量が融合限界値ξよりも小さいと判定された場合と大きいと判定された場合のそれぞれに応じた基線長の制御を行う。最大および最小視差領域の視差量が融合限界値ξよりも小さいと判定された場合は、それらの視差量を大きくする必要があるため、システムコントローラ１０６′は、基線長を現在の基線長よりも長くする制御を行う。一方、最大および最小視差領域の視差量が融合限界値ξよりも大きいと判定された場合は、それらの視差量を小さくする必要があるため、システムコントローラ１０６′は、基線長を現在の基線長よりも短くする制御を行う。

この後、立体画像処理部４００Ｂ（融合判定部６０′）は、ステップＳ３０６において再度、融合可否判定を行う。このとき、まだ式（３９）を満足しなければ、再びステップＳ３０８にてシステムコントローラ１０６′が基線長の制御を行い、式（３９）を満足するまでステップＳ３０６とステップＳ３０８を繰り返す。

また、ステップＳ３０７（立体感判定ステップ）では、立体画像処理部４００Ｂ（立体感判定部５０′）は、ステップＳ３０４で算出された視差量と許容視差下限値δｔを用いて、特定被写体の評価点ｉ，ｊ（図１６参照）に対する立体感の有無を判定する。すなわち、立体感判定を行う。

ここで、前述した式（２５）において左辺の値が右辺の値に等しくなる、つまり、

が成立すると、評価点ｉ，ｊを含む特定被写体の視差量が許容視差下限値δｔに一致する。立体感判定部５０′は、許容視差下限値δｔと、特定被写体の視差量と、ステップＳ３０３で取得された観察条件の１つである視距離とを用いて、式（４０）を満足するか否かを判定する。式（４０）を満足する場合は、特定被写体の視差量が、観察者が該特定被写体に対して立体感を感じることができる限界にあると言える。こうして立体感判定部５０′は、左右の視差画像を融合可能範囲内に収めながらも、特定被写体に対して立体像として認識可能な視差量を与える。

一方、式（４０）を満足しない場合は、特定被写体の視差量が許容視差下限値δｔよりも大きい又は小さいため、ステップＳ３１０の処理が行われる。なお、ステップＳ３０７の判定では、必ずしも式（４０）の左辺の値が完全に許容視差下限値δｔに一致する必要はない。すなわち、左辺の値が許容視差下限値δｔを含む所定幅（例えば、±１．２倍の幅）内に入れば、左辺の値が許容視差下限値δｔに一致するとみなすようにしてもよい。

ステップＳ３１０において、システムコントローラ１０６′は、左右の撮影光学系２０１，１０１の基線長を制御する。ここでは、ステップ３０７において特定被写体の視差量が許容視差下限値δｔよりも大きいと判定された場合と小さいと判定された場合のそれぞれに応じた基線長の制御を行う。特定被写体の視差量が許容視差下限値δｔよりも大きいと判定された場合は、その視差量を小さくする必要があるため、システムコントローラ１０６′は、基線長を現在の基線長よりも短くする制御を行う。一方、特定被写体の視差量が許容視差下限値δｔよりも小さいと判定された場合は、その視差量を大きくする必要があるため、システムコントローラ１０６′は、基線長を現在の基線長よりも長くする制御を行う。

この後、立体画像処理部４００Ｂ（立体感判定部５０′）は、ステップＳ３０７において再度、立体感判定を行う。このとき、まだ式（４０）を満足しなければ、再びステップＳ３１０にてシステムコントローラ１０６′が基線長の制御を行い、式（４０）を満足するまでステップＳ３０７とステップＳ３１０を繰り返す。

ステップＳ３０７において立体感があると判定された場合は、システムコントローラ１０６′はステップＳ３０９に進み、実施例１のステップＳ１０９と同様に左右の視差画像を取得するための撮像を行う。

以上のように、本実施例でも、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。

図８には、実施例４である立体撮像装置における立体画像処理部４００Ｃの構成を示している。本実施例の立体撮像装置の全体構成は、実施例１の立体撮像装置と同じであり、共通する構成要素には実施例１と同符号を付す。

立体画像処理部４００Ｃのうち、実施例１の立体画像処理部４００と共通する画像入力部１０、被写体抽出部２０および観察条件入力部３０については、実施例１と同符号を付して説明に代える。ただし、本実施例における被写体抽出部２０は、実施例１のように特定被写体を抽出するだけではなく、左右の視差画像に含まれる他の被写体も抽出する。つまり、左右の視差画像に含まれる複数の被写体を抽出する。

距離情報取得部８０は、被写体抽出部２０において抽出された複数の被写体までの撮像に際しての距離（被写体距離）の情報を取得する。距離情報取得部８０による被写体距離の情報の取得方法は特に限定されないが、例えば、不図示の投光部から被写体に対して補助光を照射し、被写体からの反射光を不図示の受光部で受光して三角測量を行うことで被写体距離を求めてもよい。また、超音波センサを用いて被写体に向かった超音波が被写体で反射して戻ってくるまでの時間（伝搬速度）から被写体距離を測定してもよい。また、これらのアクティブ型の測距ではなく、被写体からの光束を分割してラインセンサで受光して一対の像信号を生成し、該像信号の位相差から被写体距離を算出するパッシブ型の測距を行ったり、パッシブ型とアクティブ型を併用して測距を行ったりしてもよい。距離情報取得部８０によって取得された被写体距離の情報は、融合可否判定および立体感判定に用いられる。

撮像条件入力部１１０は、実施例１（図１）に示した状態検知部１０７およびシステムコントローラ１０６を通じて、撮像に際しての撮像パラメータ（基線長、焦点距離、撮像素子サイズおよび輻輳角）である撮像条件を取得する。ただし、ここでの撮像条件には、距離情報取得部８０により取得される被写体距離は含まない。

判定閾値算出部９０は、融合判定部１６０および立体感判定部１５０のそれぞれにおいて融合可否判定および立体感判定を行う際に用いる判定閾値（これについては後述する）を算出する。

立体感判定部１５０は、許容視差下限値δｔを取得する許容視差下限値取得部５１を含み、この許容視差下限値δｔを用いて左右の視差画像内の特定被写体に対する立体感の有無を判定する。融合判定部１６０は、観察条件入力部３０から取得した観察条件において、左右の視差画像の全体が観察者にとって融合可能範囲内に含まれるか否かを判定する。

次に、本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４００Ｃが行う処理について、図９のフローチャートを用いて説明する。実施例１と同様に、システムコントローラ１０６および立体画像処理部４００Ｃは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

まずステップＳ４０１において、システムコントローラ１０６は、実施例１のステップＳ１０１と同様に、画像処理部１０４に左右の視差画像を生成させる。立体画像処理部４００Ｃ（画像取得部１０）は、画像処理部１０４から生成された左右の視差画像を取得する。

次に、ステップＳ４０２において、立体画像処理部４００Ｃ（被写体抽出部２０）は、実施例１のステップＳ１０２と同様に、視差画像内の特定被写体を抽出（選択）する。ここでも、図１６に示す実線で囲まれた人物を特定被写体として抽出するものとする。また、被写体抽出部２０は、特定被写体以外の他の被写体も抽出する。

次に、ステップＳ４０３において、立体画像処理部４００Ｃ（撮像条件入力部１１０および観察条件入力部３０）は、撮像条件および観察条件を取得する。撮像条件入力部１１０は、状態検知部１０７およびシステムコントローラ１０６を通じて上述した撮像条件を取得する。なお、状態検知部１０７を通じて取得した撮像条件の情報を一旦、立体撮像装置内の記録部１０８または不図示のメモリに記録し、撮像条件取得部１１０が記録された撮像条件のうち必要な情報を読み出すようにしてもよい。観察条件入力部３０は、実施例１のステップＳ１０３と同様に観察条件を取得する。

次に、ステップＳ４０４において、立体画像処理部４００Ｃ（距離情報取得部８０）は、ステップＳ４０２にて抽出された複数の被写体のうち、視差画像における測距対象の画像領域（以下、測距領域という）内に含まれる複数の被写体の被写体距離を取得する。測距領域は、視差画像の全領域であってもよいし、一部の領域であってもよい。ここで取得された被写体距離は、融合可否判定および立体感判定を行う際に用いられる。融合可否判定には、視差画像（測距領域）内の被写体のうち立体撮像装置に対して最も近い最近被写体の被写体距離（最小距離）ｙ１_ｎと、最も遠い最遠被写体の被写体距離（最大距離）ｙ１_ｆとが用いられる。また、立体感判定には、ステップＳ４０２で選択された特定被写体の近い側と遠い側の部分（図１６の評価点ｉ，ｊ）の被写体距離が用いられる。なお、ここまで説明したステップＳ４０１〜Ｓ４０４の順序を入れ替えてもよい。

次に、ステップＳ４０５において、立体画像処理部４００Ｃ（判定閾値算出部９０）は、最近被写体と最遠被写体（つまりは、これらを両端とする距離範囲内の全ての被写体：以下、単に全被写体ともいう）を融合可能範囲内に収めるために必要な基線長を算出する。式（３５）を基線長ｗｃについてまとめると、

と表すことができる。この式（４１）の右辺の値を計算することで、全被写体を融合可能範囲内に収めるために必要な基線長を導出することができる。判定閾値算出部９０は、ステップＳ４０３で取得した撮像条件および観察条件と、ステップＳ４０４で取得した被写体距離ｙ１_ｎ，ｙ１_ｆと、融合限界値ξとを用いて、式（４１）の右辺の値である基線長の上限値（以下、融合上限基線長という）を算出する。この融合上限基線長は、融合可否判定において判定閾値として用いられ、また基線長の制御を行う際に参照される。判定閾値算出部９０は、融合上限基線長を記録部１０８または不図示のメモリに一時的に記録する。

次に、ステップＳ４０６（融合可否判定ステップ）において、立体画像処理部４００Ｃ（融合判定部１６０）は融合可否判定を行う。具体的には、融合判定部１６０は、式（４１）を満足するか否か、つまりはステップＳ４０３で取得された撮像条件のうち基線長（以下、撮像基線長という）ｗｃがステップＳ４０５で算出された融合上限基線長以下であるか否かを判定する。式（４１）を満足する場合は、全被写体が融合可能範囲内に収まっている。この場合は、ステップＳ４０７の処理が行われる。式（４１）を満足しない場合は、全被写体のうち少なくとも一部の被写体が融合可能範囲内に収まっていない。この場合は、ステップＳ４０８の処理が行われる。

ステップＳ４０８において、システムコントローラ１０６は、最近被写体の視差量と最遠被写体の視差量との差である相対視差量（絶対値）を小さくして全被写体が融合可能範囲内に収まるように、基線長を短くする制御を行う。実施例１でも説明したように、式（３７）から、基線長ｗｃが長いほど相対視差量の絶対値が大きくなり、逆に言えば基線長ｗｃが短いほど相対視差量の絶対値も小さくなることが分かる。このため、システムコントローラ１０６は、光学駆動部１０５を通じて、基線長ｗｃを現在の基線長よりも所定量だけ短くするように制御する。こうして基線長が短くされた後、融合判定部６０は再びステップＳ４０６での融合可否判定を行い、全被写体が融合可能範囲内に収まらなければ、システムコントローラ１０６は再びステップＳ４０８で基線長を所定量だけ短くする。このようにして、全被写体が融合可能範囲内に収まるまで基線長の調整（減少）が行われた後、立体画像処理部４００ＣはステップＳ４０７に進む。

ステップＳ４０７において、立体画像処理部４００Ｃ（判定閾値算出部９０）は、観察者が特定被写体に対して立体感を感じるのに必要な基線長を算出する。

式（２７）を基線長ｗｃについてまとめると、

と表すことができる。また、式（３１）を基線長ｗｃについてまとめると、

と表すことができる。式（４２）または式（４３）の右辺の値を算出することで、観察者が評価点ｉ，ｊを含む特定被写体または特定被写体の厚みΔに対して立体感を感じるのに必要な基線長（以下、立体感判定基線長という）を導出することができる。

このように本実施例では、立体感判定を、２つの被写体の距離（ｙ１_ｎ，ｙ１_ｆ）の情報を用いた式（４２）に基づいて行ってもよいし、１つの被写体の距離（ｙ１）とその被写体の厚みΔを用いた式（４３）に基づいて行ってもよい。なお、厚みΔは、例えば図１６中の評価点ｉ，ｊの距離の差に相当するので、厚みΔを用いることは、これら評価点ｉ，ｊの距離を用いることと等価である。

式（４３）を用いて立体感判定を行う場合は、厚みΔの情報が必要となる。厚みΔとして、どのような被写体に対しても同一の値を用いて立体感判定を行ってもよいが、被写体ごとに異なる値を用いてもよい。被写体ごとに異なる値を用いる場合には、被写体を識別し、識別された被写体に対して特定の厚みΔを設定する必要がある。この場合は、例えば前述したテンプレートマッチング手法を利用して、予め用意された基準画像との比較によって被写体を識別し、メモリに予め記録された被写体ごとの厚みのデータから識別した被写体の厚みΔを読み出せばよい。より適切な厚みΔを設定するためには、より多くの基準画像や被写体に対する厚みのデータが必要になるが、これらのデータを保有するメモリは必ずしも立体撮像装置内に設けられている必要はない。例えば、外部に配置された記録装置から無線等の通信によって厚みΔを取得してもよい。

以下の説明では、式（４２）を用いて立体感判定を行う場合について説明する。式（４２）による立体感判定を行う場合には、判定閾値算出部９０は、ステップＳ４０３で取得された撮像条件および観察条件と、ステップＳ４０４で取得した特定被写体の被写体距離と、許容視差下限値δｔとを用いて、式（４２）から立体感判定基線長を算出する。この立体感判定基線長は、上述したように立体感判定において判定閾値として用いられる。また、基線長の制御を行う際に参照される。このため、判定閾値算出部９０は、この立体感判定基線長を記録部１０８または不図示のメモリに一時的に記録する。

次に、ステップＳ４０９（立体感判定ステップ）において、立体画像処理部４００Ｃ（立体感判定部１５０）は、特定被写体に対する立体感の有無を判定する。まず立体感判定部１５０は、立体感を評価する評価点を選択する。ここでも、例えば、実施例１のステップＳ１０７で説明したのと同様に、図１６に示した人物の鼻の先端を評価点ｉとし、耳を評価点ｊとして選択する。評価点の選択方法については、実施例１のステップＳ１０７で説明した方法を採ることができる。

次に、立体感判定部１５０は、式（４２）を満足するか否か、すなわち上述した撮像基線長ｗｃが立体感判定基線長以上か否かを判定する。式（４２）を満足する場合は、観察者が評価点ｉ，ｊを含む特定被写体に対して立体感を感じることができると判定する。式（４２）を満足しない場合は、観察者が評価点ｉ，ｊを含む特定被写体に対して立体感を感じることができないと判定する。

なお、本実施例では、ステップＳ４０９において式（４２）を用いて立体感判定を行うが、許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがある。このため、以下の式（４４）に示すように、立体感に対する観察者の個人差に応じた補正値Ｃを用いて判定閾値を補正（変更）して立体感判定を行ってもよい。

ステップＳ４０９において特定被写体の立体感がないと判定された場合は、該特定被写体の立体感をより増加させる必要がある。このため、ステップＳ４１１において、システムコントローラ１０６は、光学駆動部１０５を通じて左右の撮影光学系２０１，１０１の基線長ｗｃを所定量だけ長くする制御を行う。これは、式（２３）で表される被写体の立体感が、左右の撮影光学系２０１，１０１の基線長ｗｃが長くなるほど強くなるためである。

このとき、ステップＳ４０５において全被写体を融合可能範囲内に収めるための融合上限基線長が算出され、また注目している特定被写体に立体感を与えるための基線長の下限値である立体感判定基線長が算出されている。このため、システムコントローラ１０６は、これら融合上限基線長および立体感判定基線長を参照して式（４２）（または式（４４））および式（４１）を満足するように基線長を制御する。このように基線長を制御することで、確実かつ効率的に良好な立体感を得ることが可能となる。

一方、ステップＳ４０９において特定被写体の立体感があると判定された場合は、すでにステップＳ４０６にて全被写体が融合可能範囲内に収まっていると判定されている。このため、この状態で撮像を行うことで、観察者が各被写体の立体像を融合でき（二重像として認識せず）、特定被写体の立体感を十分感じることが可能な左右の視差画像を生成できる。したがって、ステップＳ４１０において、システムコントローラ１０６は、そのような左右の視差画像を取得するためにステップＳ４０１（実施例１のステップＳ１０１）と同様にして撮像を行い、画像表示部６００に表示したり記録部１０８に記録したりする。

なお、ステップＳ４０１で取得した視差画像が、もともと各被写体が融合可能範囲内に収まり、かつ特定被写体の立体感もあると判定された場合は、ステップＳ４０１で取得した視差画像をそのまま表示または記録してもよい。

以上のように、本実施例によれば、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。

なお、本実施例では、融合可否判定や立体感判定を基線長を用いて判定する場合について説明したが、焦点距離を用いて融合可否判定や立体感判定を行ってもよい。

焦点距離を用いて融合可否判定を行う場合は、式（４１）を、

と変形すればよい。また、式（４２）と式（４３）をそれぞれ、

と変形すればよい。

これらの式（４５）〜（４７）を用いて融合可否判定および立体感判定を行うことで、焦点距離の制御による立体感の調整が可能である。前述した式（３７）からも分かるように、立体感は焦点距離ｆが大きいほど増加し、逆に焦点距離ｆが小さくなるほど減少する。このため、焦点距離の制御によって立体感の調整が可能である。

また、本実施例における融合可否判定および立体感判定を行う判定式では、基線長または焦点距離という撮像パラメータを左辺とし、これを右辺の計算結果と直接比較するようにしている。しかし、式（２７）や式（３５）のように撮像パラメータや観察パラメータの値を代入した式（左辺）の値を求め、その値を許容視差下限値δｔや融合限界値ξと比較することで判定を行ってもよい。

次に、実施例５である立体撮像装置について図１０を用いて説明する。本実施例の立体撮像装置の全体構成は、実施例１（および実施例４）の立体撮像装置と同じであり、共通する構成要素には実施例１（および実施例４）と同符号を付す。本実施例では、立体画像処理部４００Ｄにおける判定閾値算出部１９０が、実施例４における立体画像処理部４００Ｃの判定部算出部９０と異なる。具体的には、判定閾値算出部１９０は、該判定閾値算出部１９０が算出した判定閾値としての融合限界値ξおよび融合限界値ξを比較する判定閾値比較部１９１を有する。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４００Ｄが行う処理について、図１１のフローチャートを用いて説明する。実施例１（および実施例４）と同様に、システムコントローラ１０６および立体画像処理部４００Ｄは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ５０１〜ステップＳ５０４は実施例４で説明したステップＳ４０１〜ステップＳ４０４と同じであるので、説明を省略する。

ステップＳ５０５において、立体画像処理部４００Ｄ（判定閾値算出部１９０）は、融合可否判定および立体感判定にてそれぞれ用いられる判定閾値を算出する。具体的には、判定閾値算出部１９０は、ステップＳ５０３で取得した撮像条件と観察条件、ステップＳ５０４で取得した被写体距離および融合限界値ξを用いて、式（４１）から融合上限基線長を算出する。また、判定閾値算出部１９０は、撮像条件、観察条件、特定被写体の被写体距離および許容視差下限値δｔを用いて、式（４２）または式（４３）から立体感判定基線長を算出する。この際、式（４４）のように、補正値Ｃを用いて補正した立体感判定基線長を算出してもよい。判定閾値算出部１９０は、算出した融合上限基線長および立体感判定基線長を、記録部１０８または不図示のメモリに一時的に記録する。

次に、ステップ５０６において、立体画像処理部４００Ｄ（判定閾値比較部１９１）は、ステップＳ５０５で算出された融合上限基線長と立体感判定基線長を比較する。全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を十分に得るためには、融合上限基線長を上限値とし、立体感判定基線長を下限値とした基線長可変範囲内にて基線長ｗｃを制御すればよい。つまり、立体感判定基線長よりも融合上限基線長が長ければ、基線長可変範囲が成立し、この基線長可変範囲内での基線長の調整によって所望の立体画像を提示することができる。一方、立体感判定基線長よりも融合上限基線長が短ければ、基線長可変範囲が成立せず、基線長を調整しても、全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を得ることができない。

このため、立体感判定基線長よりも融合上限基線長が長い（基線長可変範囲が成立する）場合は、ステップＳ５０７の処理が行われる。一方、立体感判定基線長よりも融合上限基線長が短い（基線長可変範囲が成立しない）場合は、ステップＳ５０８の処理が行われる。

ステップＳ５０８において、システムコントローラ１０６は、現在の撮像条件と観察条件では全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を得ることができないため、ユーザ（撮影者）に対して撮像条件または観察条件を変更するように警告を行う。
警告は、例えば画像表示部６００に警告メッセージを表示することで行うことができる。警告メッセージとともに、焦点距離や基線長をどのように調整すればよいか等のユーザに対するアドバイスを表示してもよい。また、警告を、音声等、他の手段で行ってもよい。

警告に応じてユーザが撮像パラメータ（焦点距離や基線長）を調整すると、システムコントローラ１０６は、再びステップＳ５０１にて撮像を行い、左右の視差画像を取得する。

一方、ステップＳ５０７においては、基線長可変範囲内で全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を得ることが可能な基線長の調整が可能である。このため、融合判定部６０が融合可否判定、すなわち融合可否判定式である式（４１）を満足するか否かの判定を行う。また、立体感判定部５０が立体感判定、すなわち立体感判定式である式（４２）（または式（４４））または式（４３）を満足するか否かの判定を行う。

融合可否判定式および立体感判定式の両方を満足する場合は、現在の基線長で全被写体が融合可能範囲内に収まり、特定被写体の立体感も得ることができていることになる。この場合は、ステップＳ５０９の処理が行われる。一方、融合可否判定式および立体感判定式のうち少なくとも一方を満足しない場合は、現在の基線長では全被写体の少なくとも一部が融合可能範囲内に収まっていないか、特定被写体の立体感が得られていないことになる。この場合は、基線長を変更する必要があるため、システムコントローラ１０６はステップＳ５１０に移行して基線長の制御を行う。基線長の制御については、実施例４においてステップＳ４０８およびステップＳ４０９で説明した通りである。

ステップＳ５１０で基線長の制御が行われるかステップＳ５０７で融合可否および立体感判定式の両方を満足した場合は、ステップＳ５０９において、システムコントローラ１０６は、実施例４のステップＳ４０９と同様に撮像を行って左右の視差画像を取得する。

図１２には、実施例６である立体撮像装置における立体画像処理部４００Ｅの構成を示している。本実施例の立体撮像装置の全体構成は、実施例１および実施例４の立体撮像装置と同じであり、共通する構成要素には実施例１，４と同符号を付す。

立体画像処理部４００Ｅにおいて、実施例４の立体画像処理部４００Ｃと共通する画像入力部１０、被写体抽出部２０、観察条件入力部３０および撮像条件入力部１１０については、実施例４と同符号を付して説明に代える。ただし、本実施例における被写体抽出部２０は、実施例４の被写体抽出部２０とは異なり、視差画像内の特定被写体のみを抽出する。立体画像処理部４００Ｅは、実施例４の立体画像処理部４００Ｃに視差量算出部１４０を追加するとともに、実施例４の立体画像処理部４００Ｃとは異なり、視差量から被写体距離を算出する距離情報取得部１８０を設けた構成を有する。

視差量算出部１４０は、基準画像選択部４１と、対応点抽出部４２とを有する。基準画像選択部４１は、左右の視差画像のうち一方の視差画像を視差量算出のための基準画像として、他方の視差画像を参照画像として選択する。対応点抽出部４２は、左右の視差画像間で互いに対応する画素としての対応点（左右の視差画像において同一被写体を撮像する画素）を複数組抽出する。視差量算出部１４０は、対応点抽出部４２により抽出された複数組の対応点のそれぞれの間の視差量を算出する。対応点抽出部４２および被写体抽出部２０が、抽出手段に相当する。

距離情報取得部１８０は、視差量算出部１４０により算出された対応点の組ごとの視差量を用いて、それぞれの対応点（被写体）までの被写体距離を算出する。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４００Ｅが行う処理について、図１３のフローチャートを用いて説明する。実施例１と同様に、システムコントローラ１０６および立体画像処理部４００Ｅは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ６０１〜ステップ６０３は、実施例１で説明したステップＳ１０１〜ステップＳ１０３と同じであるので、説明を省略する。

ステップＳ６０５において、立体画像処理部４００Ｅ（視差量算出部１４０）は、ステップＳ６０２で抽出された特定被写体の視差量を算出する。視差量算出部１４０は、まず基準画像選択部４１に、左右の視差画像のうち一方を基準画像として、他方を参照画像として選択させる。次に、視差量算出部１４０は、対応点抽出部４２に、基準画像と参照画像のそれぞれの複数箇所から複数組の対応点を抽出させる。対応点の抽出手法については、実施例１のステップＳ１０４で説明した通りである。

次に、視差量算出部１４０は、複数箇所にて抽出された複数組の対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出する。視差量（Ｐｌ−Ｐｒ）の算出方法についても、実施例１のステップＳ１０４で説明した通りである。

次に、ステップＳ６０５おいて、距離情報取得部１８０は、視差量算出部１４０により算出された対応点、つまりは被写体の視差量（Ｐｌ−Ｐｒ）から被写体距離を算出する。式（１），（２）および式（３），（４）から、被写体距離ｙ１は、

となる。式（４８）を用いることで、視差量（Ｐｌ−Ｐｒ）から被写体距離ｙ１を求めることができる。被写体距離を取得する画像領域は、視差画像の全領域であってもよいし、一部の領域であってもよい。ここで取得する被写体距離の情報は融合可否判定および立体感判定を行う際に用いられる。融合可否判定には、視差画像（測距領域）内の被写体のうち立体撮像装置に対して最も近い最近被写体の被写体距離（最小距離）ｙ１_ｎと、最も遠い最遠被写体の被写体距離（最大距離）ｙ１_ｆとが用いられる。また、立体感判定には、ステップＳ６０２で選択された特定被写体の近い側と遠い側の部分（図１６の評価点ｉ，ｊ）の被写体距離が用いられる。なお、ここまで説明したステップＳ６０１〜Ｓ６０５の順序を入れ替えてもよい。

次に、ステップＳ６０６において、立体画像処理部４００Ｅ（判定閾値算出部９０）は、実施例４のステップＳ４０５と同様に、式（４１）を用いて全被写体を融合可能範囲内に収めるために必要な基線長である融合上限基線長を算出し、さらに下限基線長を算出する。そして、判定閾値算出部９０は、融合上限基線長および下限基線長を記録部１０８または不図示のメモリに一時的に記録する。

次に、ステップ６０７（融合可否判定ステップ）において、立体画像処理部４００Ｅ（融合判定部６０）は、実施例４のステップＳ４０６と同様に、融合可否判定（式（４１）を満足するか否かの判定）を行う。式（４１）を満足する場合は、全被写体が融合可能範囲内に収まっており、この場合はステップＳ６０８の処理が行われる。式（４１）を満足しない場合は、全被写体のうち少なくとも一部の被写体が融合可能範囲内に収まっていない。この場合は、ステップＳ６０９の処理が行われる。

ステップＳ６０９において、システムコントローラ１０６は、実施例４のステップＳ４０８と同様に、最近被写体と最遠被写体の視差量の差である相対視差量（絶対値）を小さくして全被写体が融合可能範囲内に収まるように、基線長を短くする制御を行う。

一方、ステップＳ６０８において、立体画像処理部４００Ｅ（判定閾値算出部９０）は、実施例４のステップＳ４０７と同様に、観察者が立体感を感じるのに必要な基線長である立体感判定基線長を算出する。判定閾値算出部９０は、この立体感判定基線長を記録部１０８または不図示のメモリに一時的に記録する。

次に、ステップＳ６１０（立体感判定ステップ）において、立体画像処理部４００Ｅ（立体感判定部５０）は、実施例１のステップＳ１０７と同様に、立体感判定を行う。すなわち、ステップＳ６０４で算出された特定被写体の視差量と許容視差下限値δｔとを用いて、式（２５）（または式（３８））を満足するか否かを判定する。式（２５）を満足する場合は、特定被写体は観察者にとって立体感を感じることができるため、該特定被写体を立体感ありと判定する。逆に、式（２５）を満足しない場合は、特定被写体は観察者にとって立体感を感じることができないため、該特定被写体を立体感なしと判定する。

特定被写体の立体感がないと判定された場合は、被写体の立体感をより増加させる必要がある。このため、システムコントローラ１０６は、ステップＳ６１２において、光学駆動部１０５を通じて左右の撮影光学系２０１，１０１の基線長ｗｃを所定量だけ長くする制御を行う。この際、実施例４のステップＳ４１１でも説明したように、システムコントローラ１０６は、融合上限基線長および立体感判定基線長を参照して式（４２）（または式（４４））および式（４１）を満足するように基線長を制御する。

一方、特定被写体の立体感があると判定された場合はすでにステップＳ６０７にて全被写体が融合可能範囲内に収まっていると判定されている。このため、ステップＳ６１０において、システムコントローラ１０６は、左右の視差画像を取得するためにステップＳ６０１（実施例１のステップＳ１０１）と同様にして撮像を行い、画像表示部６００に表示したり記録部１０８に記録したりする。なお、ステップＳ６０１で取得した視差画像が、もともと各被写体が融合可能範囲内に収まり、かつ特定被写体の立体感もあると判定された場合は、ステップＳ６０１で取得した視差画像をそのまま表示または記録してもよい。

次に、実施例７について説明する。実施例１〜６では、互いに別々に構成された左右の撮像部（撮影光学系２０１，１０１および撮像素子２０２，１０２）間の距離を変化させることで基線長を変化させる場合について説明した。しかし、左右の撮像部を一体化した場合でも基線長を変化させることも可能である。

図１４（Ａ）〜（Ｄ）には、実施例７の立体撮像装置の一体化撮像部を示している。この一体化撮像部は、光軸方向に配置された複数のレンズ（フォーカスレンズや変倍レンズ）と、絞りの位置に配置された液晶シャッタ３０１と、マイクロレンズ３０２とを含む１つの撮影光学系３００を有する。また、一体化撮像部は、撮影光学系３００により形成される被写体像を光電変換する１つの撮像素子３０５を有する。

液晶シャッタ３０１は、その液晶への印加電圧による光透過率の制御によって、図１４（Ａ），（Ｂ）に示すように、左右に分離した透光部３０１ａ，３０１ｂと、その周囲の遮光部３０１ｃとを形成する。被写体から撮影光学系３００に入射して液晶シャッタ３０１の開口３０１ａ，３０１ｂを通過した光束は、マイクロレンズ３０２に入射する。この際、右側の透光部３０１ａを通過した光束は、マイクロレンズ３０２を通過することで撮像素子３０５のうち右画像用画素（図中の白い部分）に入射する。一方、左側の透光部３０１ｂを通過した光束は、マイクロレンズ３０２を通過することによって撮像素子３０５のうち左画像用画素（図中の黒い部分）に入射する。右画像用画素からの出力を用いて生成された右画像と、左画像用画素からの出力を用いて生成された左画像とは互いに視差を有する左右の視差画像となる。上述した複数のレンズと、液晶シャッタ３０１における右側の透光部３０１ａと、マイクロレンズ３０２と、撮像素子３０５のうち右画像用画素とによって左右の２つの撮像部のうち右の撮像部が構成される。また、複数のレンズと、液晶シャッタ３０１における左側の透光部３０１ｂと、マイクロレンズ３０２と、撮像素子３０５のうち右画像用画素とによって左の撮像部が構成される。

液晶シャッタ３０１における透光部３０１ａ，３０１ｂが形成される位置を左右に移動させてこれらの間隔を変化させることで、撮影光学系３００内で基線長を変化（増減）させることができる。図１４（Ａ），（Ｂ）は透光部３０１ａ，３０１ｂの間隔がａの状態を、図１４（Ｃ），（Ｄ）は透光部３０１ａ，３０１ｂの間隔がａより短いｂの状態をそれぞれ示している。

なお、本実施例では基線長を変化させるために液晶シャッタを用いる場合について説明したが、メカニカルシャッタを用いて光束が通過する開口の位置を機械的に変化させてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００，２００撮像部
２０被写体抽出部
４２対応点抽出部
１０６システムコントローラ
４００立体画像処理部
５０，１５０立体感判定部
６０，１６０融合判定部

Claims

撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する立体撮像装置であって、
前記視差画像に含まれる被写体を抽出する抽出手段と、
前記視差画像間での前記被写体の視差量および前記撮像に際しての前記被写体までの距離のうち一方である判定用情報と、前記視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、前記観察者による立体像の融合可否を判定する第１の判定手段と、
前記判定用情報と前記観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察において得られる前記被写体の立体感を判定する第２の判定手段と、
前記第１および第２の判定手段による判定結果に応じて、撮像部における撮像パラメータを制御する制御手段とを有することを特徴とする立体撮像装置。
前記第１の判定手段は、前記視差画像に含まれる複数の前記被写体の視差量のうち最大視差量および最小視差量を用いて前記融合可否を判定することを特徴とする請求項１に記載の立体撮像装置。
前記第１の判定手段は、前記視差画像に含まれる複数の被写体までの距離のうち最大距離および最小距離を用いて前記融合可否を判定することを特徴とする請求項１に記載の立体撮像装置。
前記第１の判定手段は、前記被写体の視差量と、前記撮像に際しての撮像条件とを用いて前記被写体までの距離を算出することを特徴とする請求項３に記載の立体撮像装置。
前記第２の判定手段は、前記許容視差下限値または前記立体感を判定するための判定閾値を観察者の個人差に応じて変更することを特徴とする請求項１から４のいずれか一項に記載の立体撮像装置。
前記視差画像に対する処理に応じて、前記融合可否および前記立体感の判定のうち少なくとも一方のための判定閾値の変更を許容することを特徴とする請求項１から５のいずれか一項に記載の立体撮像装置。
前記制御手段は、前記撮像パラメータとして撮像部の基線長および焦点距離のうち少なくとも一方を制御することを特徴とする請求項１から６のいずれか一項に記載の立体撮像装置。
撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する立体撮像装置のコンピュータに、
前記視差画像に含まれる被写体を抽出させ、
前記視差画像間での視差量および前記撮像に際しての前記被写体の距離のうち一方である判定用情報を取得させ、
前記判定用情報と前記視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、前記観察者による立体像の融合可否を判定させ、
前記判定用情報と前記観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察において得られる前記被写体の立体感を判定させ、
前記融合可否および前記立体感の判定結果に応じて、撮像部における撮像パラメータを制御させることを特徴とするコンピュータプログラムとしての立体撮像プログラム。