JP2016054416A

JP2016054416A - 立体画像処理装置、立体撮像装置、立体表示装置および立体画像処理プログラム

Info

Publication number: JP2016054416A
Application number: JP2014179634A
Authority: JP
Inventors: 智暁井上; Tomoaki Inoue
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-09-03
Filing date: 2014-09-03
Publication date: 2016-04-14

Abstract

【課題】立体画像における書き割り効果の発生をより正確に判定する。
【解決手段】立体画像処理装置３は、撮像により生成された互いに視差を有する視差画像に含まれる第１の被写体と第２の被写体を抽出する抽出手段２０と、視差画像における第１の被写体内の互いに異なる複数部分の視差量または撮像に際しての該複数部分のそれぞれの被写体距離と、視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察における第１の被写体内の立体感を判定する第１の判定手段５５と、該第１の判定手段により第１の被写体内の立体感がないと判定された場合に、視差画像における第１および第２の被写体の視差量または撮像に際しての第１および第２の被写体の被写体距離を用いて、視差画像の観察における第１の被写体に対する第２の被写体の相対立体感を判定する第２の判定手段５６とを有する。
【選択図】図１

Description

本発明は、立体視可能な視差画像を生成する画像処理技術に関する。

互いに視差を有する視差画像を表示することで観察者に立体画像を提示する場合に、被写体がついたてのように見えるいわゆる「書き割り効果」が生じる場合がある。特許文献１では、書き割り効果を立体画像を提示する空間の幾何学的な歪み（空間歪み）による不自然さと定義し、視差画像の撮像条件、該空間に関する条件（空間条件）および視差画像の観察条件に基づいて空間歪みによる不自然さを表す方法が開示されている。

特開２００５−２６７５６号公報

しかしながら、観察者は視差画像が有する視差によって立体感を感じるので、特許文献１にて開示されているような空間歪みだけでは正確に観察者が感じる書き割り効果を表すことは困難である。

本発明は、書き割り効果を視差や被写体距離によって定義することで、書き割り効果の発生をより正確に判定することができるようにした立体画像処理装置を提供する。

本発明の一側面としての立体画像処理装置は、撮像により生成された互いに視差を有する視差画像に含まれる第１の被写体と第２の被写体を抽出する抽出手段と、視差画像における第１の被写体内の互いに異なる複数部分の視差量または撮像に際しての該複数部分のそれぞれの被写体距離と、視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察における第１の被写体内の立体感を判定する第１の判定手段と、該第１の判定手段により第１の被写体内の立体感がないと判定された場合に、視差画像における第１および第２の被写体の視差量または撮像に際しての第１および第２の被写体の被写体距離を用いて、視差画像の観察における第１の被写体に対する第２の被写体の相対立体感を判定する第２の判定手段とを有することを特徴とする。

なお、上記立体画像処理装置を含む立体撮像装置および立体表示装置もそれぞれ、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての立体画像処理プログラムは、コンピュータに、撮像により生成された互いに視差を有する視差画像に含まれる第１の被写体と第２の被写体を抽出させ、視差画像における第１の被写体内の互いに異なる複数部分の視差量または撮像に際しての該複数部分のそれぞれの被写体距離と、視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察における第１の被写体内の立体感を判定する第１の判定を行わせ、第１の判定により第１の被写体内の立体感がないと判定された場合に、視差画像における第１および第２の被写体の視差量または撮像に際しての第１および第２の被写体の被写体距離を用いて、視差画像の観察における第１の被写体に対する第２の被写体の相対立体感を判定する第２の判定を行わせることを特徴とする。

本発明によれば、視差や被写体距離に基づいて、書き割り効果の発生を正確に判定することができる。

本発明の実施例１である立体画像処理装置の構成を示すブロック図。実施例１の立体画像処理装置が行う処理を示すフローチャート。本発明の実施例２である立体撮像装置の構成を示すブロック図。実施例２の立体撮像装置が行う処理を示すフローチャート。本発明の実施例３である立体撮像装置が行う処理を示すフローチャート。本発明の実施例４である立体表示装置の構成を示すブロック図。実施例４の立体表示装置が行う処理を示すフローチャート。本発明の実施例５である立体画像処理装置の構成を示すブロック図。実施例５の立体画像処理装置が行う処理を示すフローチャート。本発明の実施例６である立体画像処理装置の構成を示すブロック図。実施例６の立体画像処理装置が行う処理を示すフローチャート。本発明の実施例７である立体撮像装置の構成を示すブロック図。実施例７の立体撮像装置が行う処理を示すフローチャート。本発明の実施例８である立体撮像装置が行う処理を示すフローチャート。本発明の実施例９である立体表示装置の構成を示すブロック図。実施例９の立体表示装置が行う処理を示すフローチャート。立体撮像モデルを説明する図。被写体抽出を説明する図。対応点抽出方法を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、該実施例に共通する事項について説明する。各実施例では、互いに視差を有する左右のカメラにより被写体を撮像して互いに視差を有する右眼用および左眼用の視差画像（以下、左右の視差画像という）を生成し、これら視差画像を観察者に右眼と左眼を通して観察させることで被写体の立体像を提示する。

立体画像に関係するパラメータには、撮像に関する５つのパラメータ（以下、撮像パラメータという）と観察に関する３つのパラメータ（以下、観察パラメータという）とがある。５つの撮像パラメータは、左右のカメラの光軸間の距離（基線長）、撮像時における両カメラの撮影光学系の焦点距離、両カメラの撮像素子のサイズ（有効画素数）、左右のカメラの光軸同士がなす角度（輻輳角）および被写体距離である。一方、３つの観察パラメータは、視差画像を表示する表示面のサイズ（表示サイズ）、表示面とこれに表示された視差画像を観察する観察者との距離（視距離）、表示面に表示する視差画像の位置を調整するためのオフセット量である。

輻輳角を変化させる（左右の光軸の交点である輻輳点を前後させる）ことにより立体感を制御する交差法もあるが、ここでは説明の簡略化のために左右の光軸が平行となる平行法での立体感の制御について説明する。平行法での幾何学的理論は、輻輳角を変化させる方法に対しても、輻輳点までの距離を考慮することで成り立つ。任意の被写体を撮像するときの幾何学関係を図１７（Ａ）に、撮像により生成された視差画像を観察者に提示するときの幾何学関係を図１７（Ｂ），（Ｃ）に示す。

図１７（Ａ）において、左右のカメラの主点位置の中間を原点とする。左右のカメラ（Ｌ_ｃａｍｅｒａ，Ｒ_ｃａｍｅｒａ）が並ぶ方向にｘ軸をおき、それに直交する方向にｙ軸をおく。高さ方向について説明の簡略化のために省略する。基線長は２ｗｃである。左右のカメラの仕様は同一であり、撮像時の両カメラの撮影光学系の焦点距離をｆとし、撮像素子の横幅をｃｃｗとする。任意の被写体Ａの位置をＡ（ｘ１，ｙ１）とする。

左右のカメラの撮像素子上に形成される被写体Ａの像の位置は、幾何学的に、被写体Ａおよび主点位置を通る直線と撮像素子との交点となる。このため、撮像素子上での被写体Ａの像の位置は撮像素子の中心を基準とすると、左右のカメラで異なる。この位置の差は被写体距離が長いほど小さくなり、無限遠では０になる。

図１７（Ｂ）において、観察者の左右の眼（Ｌ_ｅｙｅ，Ｒ_ｅｙｅ）の中心を原点とし、左右の眼が並ぶ方向にｘ軸をおき、それに直交する方向にｙ軸をおく。左右の眼の間隔は２ｗｅである。観察者から視差画像が表示される表示面（ｓｃｒｅｅｎ）までの視距離はｄｓである。表示面の横幅はｓｃｗである。

表示面上には左右のカメラでの撮像により得られた左右の視差画像が互いにほぼ重複する表示領域に表示される。観察者が液晶シャッタメガネを装着して左眼用および右眼用のシャッタを交互に開閉することで立体観察を行う場合は、表示面に表示される左右の視差画像もそれに同期して高速で交互に切り替えられる。平行法による撮像によって得られた左右の視差画像をそのまま表示すると、表示面上には無限遠の被写体の画像ばかりが表示され、すべての被写体が表示面から飛び出すように表示されて好ましくない。このため、左右の視差画像の表示領域をｘ軸方向にずらして、表示面上での被写体距離を適当に調整する。この左右の視差画像の表示領域をずらす量がオフセット量（ｓ）である。

オフセット量が０の場合に表示面に表示される左の視差画像Ｌの座標を（Ｐｌ，ｄｓ）とし、右の視差画像Ｒの座標を（Ｐｒ，ｄｓ）とするとき、オフセット量がｓの場合のそれらの座標はＬ（Ｐｌ−ｓ，ｄｓ）とＲ（Ｐｒ＋ｓ，ｄｓ）になる。

このような条件において観察される被写体Ａの立体像は、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置Ａ′（ｘ２，ｙ２）に形成される。

Ａ′（ｘ２，ｙ２）について幾何学的に詳細に説明する。被写体Ａの像の左右のカメラの撮像素子の中心に対するずれ量を撮影視差量Ｐｌｃ，Ｐｒｃとすると、これらは、

で表される。

撮像素子のサイズ（横幅ｃｃｗ）と表示面のサイズ（横幅ｓｃｗ）との比を表示倍率ｍとすると、
ｍ＝ｓｃｗ／ｃｃｗ
となり、撮影視差量Ｐｌｃ，Ｐｒｃは表示面上では−ｍ倍される。これを表示視差量Ｐｌ，Ｐｒとすると、

で表される。

表示時に左右の視差画像に付加するオフセット量をｓとすると、観察者が観察する被写体Ａの立体像の位置Ａ′（ｘ２，ｙ２）は、

となる。

同一の被写体距離の像は同一の平面上にて観察される。ここで、さらに説明の簡略化のために、被写体Ａを軸上（ｘ１＝０）とすると、オフセット量が０のときの表示視差量は、

となる。オフセット量をｓとしたときの立体像の位置Ａ′は、図１７（Ｃ）に示すように、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置（０，ｙ２）となる。

式（９）に式（７），（８）を代入して整理すると、

となる。

図１７（Ｃ）に示すように、観察者が被写体Ａの立体像を見込む角度をβとすると、βはその立体像が形成される位置までの距離ｙ２と眼幅２ｗｅとから、

となる。ｙ２に式（９）を代入すると、

となり、式（１２）に式（７），（８）を代入して整理すると、

となる。

ここで、図１７（Ｃ）に示すように、観察者が表示面を見込む角度をαとすると、

となるので、α−βは、

となる。また、式（１５）に式（７），（８）を代入して整理すると、

となる。このα−βがいわゆる相対視差量と呼ばれる指標である。この相対視差量の大きさが表示面と被写体Ａの像との間の相対的な奥行き方向（ｙ軸方向）での距離に対応する。従来の様々な研究から、人間は脳内でこの相対視差量を計算して奥行き方向での被写体の位置を認識していることが知られている。

次に、壁化について説明する。壁化とは、立体画像の観察時に任意の被写体と無限遠に位置する被写体に対して奥行き方向での区別がつかなくなる（相対的な立体感がなくなる）ことをいう。つまり、任意の被写体が無限遠の背景に対して張り付いているように観察される。

壁化は遠方の被写体に対して生じる現象であるので、まず無限遠の被写体について相対視差量を求める。無限遠に対する相対視差量は、平行法では、式（１），（２）から分かるように、視差量（Ｐｌ−Ｐｒ）が０となるため、

となる。

ここで、無限遠の被写体に対する有限距離の被写体の視差量は、式（１７）から式（１５）または式（１６）を引いて以下のように求まる。

壁化が生じているときには、遠方の被写体は平面に見えるので、無限遠の被写体に対する視差量は０でなくてはならない。

発明者がフルＨＤの３Ｄテレビを用いて遠方の被写体の立体感を主観的に評価した結果、無限遠の被写体に対する視差量が３分未満のときには画像としては視差があってもほとんどの人（観察者）が視差を感じなくなることが分かった。式（１８），（１９）は眼幅２ｗｅは関係がない。

そこで、このほとんどの人が視差、つまりは立体感を感じなくなる視差量を、許容視差下限値δｔと定義する。式（１８）または（１９）とδｔを用いると、

または

となり、式（２０）または式（２２）を満足すれば壁化が発生せず、式（２１）または式（２３）を満足すると壁化が発生すると判定できる。

ここで、許容視差下限値δｔを近距離で撮像した人物等の奥行き方向に厚みを有する被写体に適用することを考える。例えば、図１８に示すように、所定の被写体距離に位置する人の鼻の先を被写体ｉとし、耳を被写体ｊとする。被写体ｊに対する被写体ｉの視差量を求めるためには、式（１８）または式（１９）の導出と同様に、被写体ｊに対する相対視差量から被写体ｉに対する相対視差量を差し引けばよい。つまり、

または、

となる。（Ｐｌ_ｉ−Ｐｒ_ｉ）／ｄｓは被写体ｉの視差量であり、（Ｐｌ_ｊ−Ｐｒ_ｊ）／ｄｓは被写体ｊの視差量である。式（２４）の右辺は、被写体ｉ，ｊの視差量の差を示す。また、ｙ１_ｉは被写体ｉの被写体距離であり、ｙ１_ｊは被写体ｊの被写体距離である。式（２５）右辺は、被写体ｉ，ｊの視差量の差に相当する値を示す。

発明者は、基線長２ｗｃ以外の撮像条件と観察条件を固定して、人物の視差画像で検証した結果、壁化と同様に視差量が３分より小さくなると人物の顔の部分の立体感が無くなることを確認した。これにより、許容視差下限値δｔは、遠方の物体だけではなく、近距離の物体の視差量にも適用できると言える。つまり、式（２４）または式（２５）とδｔを用いると、

または、

となり、式（２６）または式（２８）を満足すれば（各式の左辺の値が許容視差下限値以上であれば）、人物の顔は立体的に認識される（立体感がある）と判定できる。一方、式（２７）または式（２９）を満足すると、人物の顔は平面的に認識される（立体感がない）と判定できる。

また、式（２３）を被写体距離ｙ１について整理すると、

となり、壁化が発生する被写体距離ｙ１を直接判定することができる。

さらに、例えば所定の被写体距離に位置する人の鼻の先から耳までの厚みをΔとする。この所定の被写体距離に位置する厚みに対する視差を求めるためには、式（１６）による相対視差α−βを被写体距離ｙ１により微分し、所定の被写体距離における視差の感度を求め、これに所定の厚みΔを乗じればよい。

式（１６）を微分すると、

となり、これに厚みΔを乗ずれば厚みの視差となる。

厚みΔを有する被写体に対して立体感が無くなる被写体距離の判定を式で示すと、

となる。式（３２）を満足すれば、人物の顔は立体的に認識される（立体感がある）と判定できる。一方、式（３３）を満足すると（式（３２）を満足すれば）、人物の顔は平面的に認識される（立体感がない）と判定できる。

視差画像を取得するための撮像を行ったときの人物等の主被写体に関して、式（２７）、式（２９）または式（３３）を満足するとき、主被写体の視差量は許容視差下限値δｔより小さいので、視差画像内の主被写体が立体に見えない。このとき、背景被写体が主被写体よりも遠くに存在することで、背景被写体の視差量が主被写体の視差量に対して式（２６）、式（２８）または式（３２）を満足すると、主被写体に対して背景被写体が相対的に立体に見える。言い換えれば、立体的な背景被写体の前に主被写体が平面的に見える書き割り効果が発生する。

このように、書き割り効果は、立体に見える背景被写体と平面に見える主被写体とが１つの画像の中に混在するときに人間の脳が混乱して感じる感覚として定義することができる。このため、書き割り効果は、許容視差下限値δｔという評価量によって立体感を感じる視差と直接関連付けられる。

本発明の実施例では、立体撮像を行うとき又は立体画像を表示（観察）するときに、書き割り効果が生じないようにするために許容視差下限値δｔを用いて視差画像から得られる立体感を判定する。

以下、具体的な実施例について説明する。

図１には、実施例１である立体画像処理装置３を含む立体撮像表示システムの構成を示している。撮像装置１００は、被写体を異なる視点から撮像して左右（左眼用および右眼用）の視差画像を生成する。本実施例の立体画像処理装置３は、撮像装置１００により生成された左右の視差画像に対して、良好な立体画像の観察を可能とするために、視差量と許容視差下限値とを用いて視差画像から生じる立体感を判定する。

より詳しくは、視差画像における第１の被写体内の互いに異なる複数部分の視差量と許容視差下限値とを用いて、視差画像の観察における第１の被写体内の立体感を判定する第１の判定を行う。ここにいう第１の被写体は、人物等の主被写体である。

さらに、立体画像処理装置３は、第１の被写体内の立体感がないと判定した場合には以下の第２の判定を行う。すなわち、視差画像における第１および第２の被写体間の相対視差量と許容視差下限値とを用いて、視差画像の観察における第１の被写体に対する第２の被写体の相対的立体感（以下、相対立体感という）を判定する第２の判定を行う。ここにいう第２の被写体は、第１の被写体である主被写体の背景として存在する山等の風景や建物といった背景被写体である。これら第１および第２の判定を行うことは、後述する実施例２〜４も同じである。

表示装置２００は、撮像装置１００により生成された左右の視差画像を表示して、観察者に立体視が可能な立体画像を提示する。

立体画像処理装置３において、画像取得部１０は、撮像装置１００から左右の視差画像のデータファイル（以下、視差画像データファイルという）を取得する。この視差画像データファイルには、視差画像のデータに付加される前述した撮像パラメータの情報を撮像条件の情報として含む。

被写体抽出部（抽出手段）２０は、視差画像に含まれる主被写体および背景被写体を抽出する。観察条件取得部３０は、表示装置２００における前述した観察パラメータの情報を観察条件の情報として取得する。観察パラメータに、表示画素数を含んでいてもよい。

視差量算出部４０は、基準画像選択部４１と対応点抽出部４２とを含む。基準画像選択部４１は、左右の視差画像のうち一方の視差画像を視差量算出のための基準画像として、他方の視差画像を参照画像として選択する。対応点抽出部４２は、左右の視差画像間で互いに対応する画素としての対応点を複数組抽出する。対応点とは、左右の視差画像において同一被写体を撮像する画素である。視差量算出部４０は、対応点抽出部４２により抽出された複数組の対応点のそれぞれの間の視差量を算出する。

立体感判定部５０は、許容視差下限値取得部５１と、許容視差下限値記録部５２と、補正値取得部５３と、評価領域選択部５４と、領域内立体感判定部５５と、相対立体感判定部５６とを含む。許容視差下限値取得部５１は、前述した許容視差下限値を取得する。許容視差下限値記録部５２は、取得された許容視差下限値を記録する。補正値取得部５３は、立体感に対する観察者の個人差に対応するために許容視差下限値の補正（変更）に用いられる補正値を取得する。

評価領域選択部５４は、抽出された主被写体内の立体感を評価する領域（以下、主被写体領域という）を選択する。領域内立体感判定部５５は、許容視差下限値を用いて主被写体領域内での立体感の有無を判定する。すなわち、領域内立体感判定部５５は、第１の判定手段として上述した第１の判定を行う。相対立体感判定部５６は、主被写体に対する背景被写体の相対立体感の有無を判定する。すなわち、相対立体感判定部５６は、第２の判定手段として上述した第２の判定を行う。

判定結果記録部６０は、立体感判定部５０による判定結果を視差画像データファイルに記録する。

図２のフローチャートには、本実施例の立体画像処理装置３が行う処理を示している。立体画像処理装置３は、パーソナルコンピュータまたはＣＰＵ等のコンピュータチップにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

まずステップＳ３０１において、画像取得部１０は、撮像装置１００から左右の視差画像のデータを含む視差画像データファイルを取得する。視差画像データファイルの取得は、不図示のケーブルで撮像装置１００と立体画像処理装置３とを有線接続して行ってもよいし、電波や赤外線等を用いた無線接続（無線通信）により行ってもよい。

次に、ステップＳ３０２において、被写体抽出部２０は、視差画像内の主被写体と背景被写体とを抽出（選択）する。具体的には、例えば、ユーザが操作可能なタッチパネルやボタン等の入力インターフェースを通じて指定された被写体領域において色等の特徴量やエッジ情報に基づいて主被写体を抽出したり、公知の顔認識技術を用いて主被写体（人物）を抽出したりする。そして、それ以外の被写体を背景被写体として抽出する。また、任意に切り出した部分画像領域を基準画像（テンプレート画像）として登録し、視差画像内で該テンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用して主被写体や背景被写体を抽出してもよい。テンプレート画像は、撮像時にユーザが登録してもよいし、事前に代表的な複数種類のテンプレート画像をメモリに記録させておき、その中からユーザに選択させるようにしてもよい。ここでは、図１８において実線で囲まれた人物を主被写体として抽出し、破線で囲まれた山を背景被写体として抽出するものとする。

次に、ステップＳ３０３において、観察条件取得部３０は、表示装置２００から観察条件の情報を取得する。観察条件の情報の取得は、不図示のケーブルで表示装置２００と立体画像処理装置３とを有線接続して行ってもよいし、電波や赤外線等を用いた無線接続（無線通信）により行ってもよい。また、ユーザが操作可能なタッチパネルやボタン等の入力インターフェースを用いて観察条件の情報を入力してもよいし、想定される代表的な観察条件を予め登録しておき、その中からユーザに選択されるようにしてもよい。なお、ここまで説明したステップＳ３０１〜Ｓ３０３の順序を入れ替えてもよい。

次に、ステップＳ３０４において、視差量算出部４０は、ステップＳ３０２で抽出された主被写体内の複数部分（図１８中の被写体部分ｉ，ｊ等）のそれぞれの視差量を算出する。視差量算出部４０は、まず基準画像選択部４１に、左右の視差画像のうち一方を基準画像として、他方を参照画像として選択させる。次に、視差量算出部４０は、対応点抽出部４２に、基準画像と参照画像のそれぞれの複数箇所から複数組の対応点を抽出させる。

対応点の抽出手法について図１９を用いて説明する。ここでは視差画像にＸ−Ｙ座標系を設定する。この座標系では、図中の左側に示した基準画像３０１と右側に示した参照画像３０２において左上の画素を原点として定義し、水平方向にＸ軸を、垂直方向にＹ軸をとる。基準画像３０１中の画素（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像３０２中の画素（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像３０１中の任意の画素（Ｘ，Ｙ）（ハッチングして示す）に対応する参照画像３０２中の画素（同じくハッチングして示す）は、基準画像３０１における輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する参照画像３０２中の画素である。ただし、任意の画素と最も類似した画素を探すことは現実には難しいため、画素（Ｘ，Ｙ）の近傍の画素も用いて、ブロックマッチングと称される手法により類似画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像３０１中の任意の１つの画素（Ｘ，Ｙ）とその周辺の２つの画素（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）からなる３つの画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ）
Ｆ１（Ｘ−１，Ｙ）
Ｆ１（Ｘ＋１，Ｙ）
となる。これに対し、画素（Ｘ，Ｙ）からＸ方向にｋ画素だけずれた参照画像３０２内の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ）
Ｆ２（Ｘ＋ｋ−１，Ｙ）
Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。この場合に、基準画像３０１内の画素（Ｘ，Ｙ）との類似度Ｅを、以下の式（２９）により定義する。

この式（３４）において、ｋの値を変更しながら類似度Ｅの値を計算する。そして、参照画像３０２のうち最も小さい類似度Ｅを与える参照画像中の画素（Ｘ＋ｋ，Ｙ）が、基準画像３０１中の画素（Ｘ，Ｙ）に対する対応点である。

なお、上記のようなブロックマッチング以外に、エッジ抽出等の他の方法を用いて対応点を抽出してもよい。

次に、視差量算出部４０は、複数組抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出する。具体的には、視差量算出部４０は、まず前述した式（１），（２）を用いて対応点の座標での撮影視差量差Ｐｌｃ，Ｐｒｃを算出する。次に、視差量算出部４０は、表示倍率ｍを算出し、さらに式（３），（４）から左右の表示視差量Ｐｌ，Ｐｒを算出して視差量（Ｐｌ−Ｐｒ）を算出する。こうして、主被写体内の複数部分の視差量が求められる。

次に、ステップＳ３０５（第１の立体感判定ステップ）において、立体感判定部５０は、ステップＳ３０４で算出された主被写体内の複数部分の視差量から、観察者に対する主被写体の立体感の有無を判定する（第１の判定を行う）。まず、許容視差下限値取得部５１は、許容視差下限値記録部５２から許容視差下限値δｔの情報を取得する。許容視差下限値δｔは、前述したように、観察者のほとんどが立体感を感じなくなる視差量（例えば、３分）である。次に、評価領域選択部５４は、例えば図１８に例示したように主被写体の鼻の先（被写体部分ｉ）を含む領域と、耳（被写体部分ｊ）を含む領域とを主被写体内の立体感の評価領域として選択する。被写体部分ｉ，ｊは、主被写体内の複数部分において最大および最小の視差量を有する部分を選択することが望ましい。また、ユーザが前述した入力インターフェースを用いて選択した複数の領域を評価領域として設定してもよい。

次に、領域内立体感判定部５５は、許容視差下限値δｔと、選択された評価領域の視差量（被写体部分ｉ，ｊの視差量）と、ステップＳ３０３で取得された観察条件のうち視距離を用いて、式（２６）を満足するか否かを判定する。式（２６）を満足する場合は、前述したように抽出された主被写体は観察者にとって立体感を感じることができるので、領域内立体感判定部５５はステップＳ３０６において主被写体を立体（すなわち立体感あり）と判定する。一方、式（２６）を満足しない場合は、前述したように抽出された主被写体は観察者にとって立体感を感じることができないため、領域内立体感判定部５５はステップＳ３０７にて主被写体は平面（すなわち立体感なし）と判定する。

ステップＳ３０７にて主被写体が平面と判定された場合は、ステップＳ３０８において、視差量算出部４０は、ステップＳ３０２で抽出された背景被写体の視差量を算出する。

そして、ステップＳ３０９（第２の立体感判定ステップ）において、相対立体感判定部５６は、算出された背景被写体の視差量と主被写体の視差量とから、主被写体に対する背景被写体の相対立体感の有無を判定する。

まず、許容視差下限値取得部５１は、許容視差下限値記録部５２から許容視差下限値δｔの情報を取得する。次に、評価領域選択部５４は、図１８に示した主被写体である人物のうち鼻の先（被写体ｉ）を含む領域と、背景被写体である山（被写体ｋ）を含む領域とを、視差画像内の相対立体感の評価領域として選択する。次に、相対立体感判定部５６は、許容視差下限値δｔと、選択された相対立体感の評価領域の視差量と、ステップＳ３０３で取得された観察条件のうち視距離とを用いて、式（２６）を満足するか否かを判定する。式（２６）を満足する場合は、前述したように背景被写体は主被写体に対して相対的に立体感を感じることができる。この場合は、相対立体感判定部５６は、ステップＳ３１０にて、平面である主被写体に対して背景被写体の相対立体感がある、つまりは書き割り効果が発生していると判定する。そして、ステップＳ３１１に進む。一方、式（２６）を満足しない場合は、前述したように背景被写体は主被写体に対して相対的に立体感を感じることができない。この場合は、相対立体感判定部５６は、主被写体に対する背景被写体の相対立体感自体がない、つまりは書き割り効果が発生していないと判定して、ステップＳ３１１に進む。

ステップＳ３１１において、判定結果記録部６０は、ステップＳ３０９，Ｓ３１０での判定結果を視差画像データファイルに記録する。この際、判定結果を表示装置２００によって表示してもよいし、不図示の記録媒体に別途記録してもよい。

なお、本実施例では、ステップＳ３０５およびステップＳ３０９において式（２６）を用いて立体感を判定したが、許容視差下限値δｔは発明者の主観評価実験から定められた統計量であるため、観察者によっては若干の差異が生じることがある。このため、補正値取得部５３により取得される補正値Ｃを用いて許容視差下限値δｔを補正（変更）した以下の式（３５）により立体感を判定してもよい。

ここで、補正値Ｃは、初期条件として不図示のメモリに記録された値を用いてもよいし、ユーザが上述した入力インターフェースを用いて入力してもよい。

以上説明したように、本実施例によれば、視差画像内の主被写体内の立体感と主被写体に対する背景被写体の相対立体感とを判定することで、書き割り効果の発生の有無をより正確に判定することができる。これにより、書き割り効果が生じない良好な視差画像を取得するための撮像パラメータや視差画像を表示する際の観察パラメータ（表示サイズ、視距離、オフセット量）の判断や設定を容易に行うことが可能となり、より高品位な立体画像を提示することができる。

図３には、実施例２である立体撮像装置の構成を示している。本実施例の立体撮像装置は、被写体を異なる視点から撮像することで左右の視差画像を生成するとともに、実施例１と同様に、良好な立体画像観察を実現するために、視差量と許容視差下限値とを用いて視差画像内の被写体の立体感を判定する。

１０１ａは右の撮影光学系であり、１０１ｂは左の撮影光学系である。左右の撮像光学系１０１ｂ，１０１ａの光軸間の距離、すなわち基線長は、６５ｍｍ程度が好適であるが、表示する立体像に対する立体感の要求に応じて変更することが可能である。左右の撮像素子１０２ｂ，１０２ａはそれぞれ、左右の撮影光学系１０１ｂ，１０１ａにより形成された被写体像（光学像）を電気信号に変換する。Ａ／Ｄ変換器１０３ｂ，１０３ａは、左右の撮像素子１０２ｂ，１０２ａから出力されるアナログ出力信号をデジタル信号に変換して画像処理部１０４に供給する。

画像処理部１０４は、Ａ／Ｄ変換器１０３ｂ，１０３ａからのデジタル信号に対して画素補間処理や色変換処理等の画像処理を行って左右の視差画像を生成する。また、画像処理部１０４は、左右の視差画像のうち少なくとも一方から被写体輝度の情報や撮影光学系１０１ｂ，１０１ａの焦点状態（コントラスト状態）を演算し、演算結果をシステムコントローラ１０６に供給する。画像処理部１０４の動作は、システムコントローラ１０６によって制御される。撮影光学系１０１ａ，１０１ｂ、撮像素子１０２ａ，１０２ｂ、Ａ／Ｄ変換器１０３ａ，１０３ｂおよび画像処理部１０４により撮像部が構成される。

状態検知部１０７は、実施例１で説明した撮像パラメータ（基線長、焦点距離、撮像素子サイズ、輻輳角および被写体距離）を検出する。また、状態検出部１０７は、各撮影光学系に含まれる絞りの開口径や不図示のフォーカスレンズの位置等の光学状態も検出する。そして、これら撮像パラメータおよび光学状態を含む撮像条件の情報をシステムコントローラ１０６に供給する。システムコントローラ１０６は、画像処理部１０４からの演算結果と状態検知部１０７からの光学状態の情報とに基づいて光学駆動部１０５を制御し、絞りの開口径を変化させたりフォーカスレンズを移動させたりする。これにより、自動露出制御やオートフォーカスが行われる。

記録部１０８は、画像処理部１０４により生成された左右の視差画像を記録する。また、左右の視差画像を含む画像ファイルのファイルヘッダを格納する。

画像表示部１０９は、例えば液晶表示素子とレンチキュラーレンズとにより構成され、レンチキュラーレンズの光学作用によって液晶表示素子に表示された左右の視差画像をそれぞれ観察者の左右の眼に導くことで、立体像を提示する。

立体画像処理部４は、実施例１にて説明した立体画像処理装置３から判定結果記録部６０を省いた構成を有する。ここでは、立体画像処理部４の説明として、実施例１の立体画像処理装置３と重複する説明は省略するが、立体画像処理装置３と同じ構成要素については実施例１で用いた符号を付す。

次に、本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４が行う処理について、図４のフローチャートを用いて説明する。制御用コンピュータとしてのシステムコントローラ（撮像制御手段および表示制御手段）１０６および画像処理用コンピュータとしての立体画像処理部４は、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。立体撮像プログラムは、実施例１にて説明した立体画像処理プログラムを含む。

まずステップＳ４０１において、ユーザ（撮影者）による撮像準備の開始を指示する操作を検知したシステムコントローラ１０６は、ユーザによる選択または設定に基づいて光学駆動部１０５を通して左右の撮影光学系１０１ｂ，１０１ａを制御する。また、システムコントローラ１０６は、撮像素子１０２ａ，１０２ｂに撮像光学系１０１ａ，１０１ｂのそれぞれによって形成された被写体像を光電変換させる。そして、撮像素子１０２ｂ，１０２ａからの出力をＡ／Ｄ変換器１０３ｂ，１０３ａを介して画像処理部１０４に転送し、画像処理部１０４に左右のプレ視差画像を生成させる。立体画像処理部４（画像取得部１０）は、生成されたプレ視差画像を取得する。

次に、ステップＳ４０２において、立体画像処理部４（被写体抽出部２０）は、実施例１のステップＳ３０２と同様に、プレ視差画像内の主被写体と背景被写体とを抽出（選択）する。本実施例でも、図１８において実線で囲まれた人物を主被写体として抽出し、破線で囲まれた山を背景被写体として抽出するものとする。

次に、ステップＳ４０３において、立体画像処理部４（観察条件取得部３０）は、実施例１のステップＳ３０３と同様に、表示装置２００から観察条件の情報を取得する。なお、ここまで説明したステップＳ４０１〜Ｓ４０３の順序を入れ替えてもよい。

次に、ステップＳ４０４において、立体画像処理部４（視差量算出部４０）は、実施例１のステップＳ３０４と同様に、ステップＳ３０２で抽出された主被写体内の複数部分（図１８中の被写体部分ｉ，ｊ等）のそれぞれの視差量を算出する。

次に、ステップＳ４０５（第１の立体感判定ステップ）において、立体画像処理部４（立体感判定部５０）は、ステップＳ４０４で算出された主被写体内の複数部分の視差量から、観察者に対する主被写体の立体感の有無を判定する（第１の判定を行う）。立体感の判定方法は、実施例１のステップＳ３０５と同様である。式（２６）を満足する場合は、領域内立体感判定部５５はステップＳ４０６にて主被写体を立体（すなわち立体感あり）と判定する。一方、式（２６）を満足しない場合は、領域内立体感判定部５５はステップＳ４０７にて主被写体は平面（すなわち立体感なし）と判定する。

ステップＳ４０７にて主被写体が平面と判定された場合は、ステップＳ４０８において、立体画像処理部４（視差量算出部４０）は、実施例１のステップＳ３０８と同様に、ステップＳ４０２で抽出された背景被写体の視差量を算出する。

そして、ステップＳ４０９（第２の立体感判定ステップ）では、立体画像処理部４（相対立体感判定部５６）は、実施例１のステップＳ４０９と同様に、背景被写体の視差量と主被写体の視差量とから、主被写体に対する背景被写体の相対立体感の有無を判定する。相対立体感の判定方法は、実施例１のステップＳ３０９と同様である。式（２６）を満足する（相対立体感がある）場合は、相対立体感判定部５６は、ステップＳ４１０にて書き割り効果が発生していると判定する。一方、式（２６）を満足しない場合は、相対立体感判定部５６は、書き割り効果が発生していないと判定する。

書き割り効果が発生していると判定されると、システムコントローラ１０６は、ステップＳ４１０において、光学駆動部１０５を通して左右の撮影光学系１０１ｂ，１０１ａを制御し、これらの撮像パラメータである焦点距離や基線長を変更する。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、主被写体の立体感を向上させて書き割り効果を低減することができる。そして、システムコントローラ１０６は、ステップＳ４０１に戻って左右のプレ視差画像を再度、画像処理部１０４に生成させる。

一方、書き割り効果が発生していないと判定されると、システムコントローラ１０６は、ステップＳ４１２において、ユーザによる撮像指示を待って左右の視差画像を生成するための本撮像を行う。そして、ステップＳ４１３において、システムコントローラ１０６は、本撮像によって画像処理部１０４にて生成された左右の視差画像を視差画像データファイルに記録したり、画像表示部１０９に表示したり、不図示の記録媒体に別途記録したりする。

なお、ステップＳ４１０において書き割り効果が発生していると判定された場合に、ユーザの操作に応じて強制的にステップＳ４１２に移行して、本撮像を行ってもよい。この場合、生成された視差画像は書き割り効果を発生させるため、一方の視差画像のみを２Ｄ画像として表示または記録してもよい。

以上説明したように、本実施例によれば、視差画像内の主被写体内の立体感と主被写体に対する背景被写体の相対立体感とを判定することで、書き割り効果の発生の有無をより正確に判定することができる。これにより、書き割り効果が生じない良好な視差画像を取得するための撮像パラメータを制御することが可能となる

次に、実施例３である立体撮像装置について説明する。本実施例の立体撮像装置の構成は、基本的に実施例２の立体撮像装置の構成と同じであり、共通する構成要素には実施例２と同符号を付す。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４′（図示せず）が行う処理について、図５のフローチャートを用いて説明する。実施例２と同様に、システムコントローラ１０６および立体画像処理部４′は、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ５０１〜ステップＳ５１０、ステップＳ５１２およびステップＳ５１３は、実施例２で説明したステップＳ４０１〜ステップＳ４１０、ステップＳ４１２およびステップＳ４１３と同じであるので、説明を省略する。

ステップＳ５１０において書き割り効果が発生していると判定されると、システムコントローラ１０６は、ステップＳ５１１において、画像表示部１０９に表示する内容を制御する。具体的には、ユーザに対して、左右の撮影光学系１０１ｂ，１０１ａの焦点距離や基線長をどのように変更すれば書き割り効果を回避できるかを知らせるアドバイス情報を表示する。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、主被写体の立体感を向上させて書き割り効果を低減することができる。アドバイス情報に基づいてユーザが焦点距離や基線長を変更する操作を行うと、システムコントローラ１０６はこの操作に応じて焦点距離や基線長を変更する。

この後、システムコントローラ１０６は、ステップＳ５０１に戻って左右のプレ視差画像を再度画像処理部１０４に生成させる。

以上説明したように、本実施例によれば、視差画像内の主被写体内の立体感と主被写体に対する背景被写体の相対立体感とを判定することで、書き割り効果の発生の有無をより正確に判定することができる。このため、書き割り効果が発生しない良好な立体画像を得るための左右の撮影光学系１０１ｂ，１０１ａの焦点距離や基線長の設定をユーザにアドバイスすることができる。

図６には、実施例４である立体表示装置６を含む立体撮像表示システムの構成を示している。撮像装置１００は、実施例１と同様に、被写体を異なる視点から撮像して左右（左眼用および右眼用）の視差画像を生成する。本実施例の立体表示装置６は、被写体を異なる視点から撮像して生成された左右の視差画像を表示する際に、良好な立体画像観察を実現するために、視差量と許容視差下限値とを用いて視差画像内の被写体の立体感を判定する。

立体表示装置６の構成は、実施例１の立体画像処理装置３から判定結果記録部６０を省き、実施例１の表示装置２００に代わる表示部２１０を組み込んだものに相当する。表示部２１０以外の立体表示装置６の構成要素は実施例１の立体画像処理装置３の構成要素と同じであるので、これらの構成要素には実施例１と同符号を付して説明に代える。

表示部２１０は、画像取得部１０を通して撮像装置１００から取得された左右の視差画像を、観察者が立体視可能に表示する。例えば、左右の視差画像を１つの表示面に時分割で表示するとともに、この時分割表示に同期させて液晶シャッタメガネの左右の液晶シャッタを交互に開閉することで立体視を可能とする。

表示部２１０において、視距離情報取得部２０１は、観察者が表示面を観察する距離である視距離の情報を取得する。また、表示制御部２０２は、表示面に表示する内容を制御する。表示パラメータ制御部２０３は、表示パラメータを制御する。表示パラメータは、観察パラメータのうち表示サイズやオフセット量である。表示制御部２０２および表示パラメータ制御部２０３により、表示制御手段が構成される。画像処理部２０４は、視差画像に対してエッジ強調や色補正等の通常の画像処理を行う。

図７のフローチャートには、本実施例の立体表示装置６が行う処理を示している。立体表示装置６は、パーソナルコンピュータにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

ステップＳ６０１〜ステップＳ６１０は、実施例１で説明したステップＳ３０１〜ステップＳ３１０と同じであるので、説明を省略する。

ステップＳ６１０において書き割り効果が発生していると判定されると、表示部２１０は、ステップＳ６１１において、表示制御部２０２を通して表示面に表示する内容を制御する。具体的には、ユーザに対して、観察パラメータである表示サイズ、オフセット量および視距離をどのように変更すれば書き割り効果を回避できるかを知らせるアドバイス情報を表示する。例えば、表示サイズを大きくしたり視距離を短くしたりオフセット量を変更したりすることで、主被写体の立体感を向上させることができる。アドバイス情報に基づいてユーザが表示サイズやオフセット量を変更する操作を行うと、表示パラメータ制御部２０３がこの操作に応じて表示サイズやオフセット量を変更する。また、アドバイス情報に基づいてユーザは視距離を調整する。

なお、本ステップにおいて、アドバイス情報を表示せず、単に警告を表示するだけでもよい。この場合、表示サイズや視距離の変更を強制せず、そのまま左右の視差画像を表示してもよい。また、一方の視差画像を２Ｄ画像として表示してもよい。

この後、ステップＳ６０１にて、画像取得部１０は、撮像装置１００から新たな視差画像データファイルを取得する。

一方、ステップＳ６０９において書き割り効果が発生していないと判定されると、表示部２１０は、ステップＳ６１２において、表示制御部２０２を通して表示面に左右の視差画像を表示する。

以上説明したように、本実施例によれば、視差画像内の主被写体内の立体感と主被写体に対する背景被写体の相対立体感とを判定することで、書き割り効果の発生の有無をより正確に判定することができる。このため、書き割り効果が発生しない良好な立体画像の観察を可能とするための表示サイズや視距離の設定をユーザにアドバイスすることができる。

図８には、実施例５である立体画像処理装置３Ａを含む立体撮像表示システムの構成を示している。撮像装置１００および表示装置２００は、実施例１と同じものである。

一方、本実施例の立体画像処理装置３Ａは、撮像装置１００により生成された左右の視差画像に対して、良好な立体画像の生成を可能とするために、撮像に際しての被写体までの距離（被写体距離）と許容視差下限値とを用いて視差画像から生じる立体感を判定する。このため、立体画像処理装置３Ａは、実施例１の立体画像処理装置３とは構成および動作が異なる。

より詳しくは、視差画像における第１の被写体内の互いに異なる複数部分の被写体距離と許容視差下限値とを用いて、視差画像の観察における第１の被写体内の立体感を判定する第１の判定を行う。ここにいう第１の被写体は、実施例１と同様に人物等の主被写体である。

さらに、立体画像処理装置３Ａは、第１の被写体内の立体感がないと判定した場合には以下の第２の判定を行う。すなわち、視差画像における第１および第２の被写体の被写体距離と許容視差下限値とを用いて、視差画像の観察における第１の被写体に対する第２の被写体の相対立体感を判定する第２の判定を行う。ここにいう第２の被写体は、第１の被写体である主被写体の背景として存在する山等の風景や建物といった背景被写体である。これら第１および第２の判定を行うことは、後述する実施例６〜９も同じである。

本実施例の立体画像処理装置３Ａのうち、実施例１の立体画像処理装置３と共通する画像取得部１０、被写体抽出部２０、観察条件取得部３０および判定結果記録部６０については、実施例１と同符号を付して説明に代える。

撮像条件取得部１５は、視差画像データファイルに含まれる撮像条件の情報を取得する。撮像条件は、視差画像を取得するために行った撮像時における撮像パラメータおよび撮像光学系１０１ａ，１０１ｂの光学状態を含む。

距離情報取得部（距離取得手段）８０は、視差量算出部８１と、距離算出部８４とを含む。視差量算出部８１は、基準画像選択部８２と、対応点抽出部８３とを含む。基準画像選択部８２は、撮像装置１００によって生成されて画像取得部１０を通して取得された左右の視差画像のうち一方を基準画像として、他方を参照画像として選択する。対応点抽出部８３は、左右の視差画像間で互いに対応する画素としての対応点を複数組抽出する。視差量算出部８１は、対応点抽出部８３により抽出された複数組の対応点のそれぞれの間の視差量を算出する。距離算出部８４は、算出された視差量と撮像条件取得部１５により取得された撮像条件の情報とから、被写体抽出部２０により視差画像から抽出された主被写体および背景被写体までの被写体距離を算出する。なお、本実施例では視差量から被写体距離を算出（取得）する場合について説明するが、測距センサ等を用いて被写体距離を測定することで取得してもよい。

立体感判定部５０Ａは、実施例１でも説明した許容視差下限値取得部５１、許容視差下限値記録部５２、補正値取得部５３および評価領域選択部５４を含む。実施例１でも説明したように、許容視差下限値取得部５１は、許容視差下限値を取得する。許容視差下限値記録部５２は、取得された許容視差下限値を記録する。補正値取得部５３は、立体感に対する観察者の個人差に対応するために許容視差下限値の補正（変更）に用いられる補正値を取得する。評価領域選択部５４は、抽出された主被写体内の立体感を評価する領域である主被写体領域を選択する。本実施例では、立体感判定部５０Ａは、許容視差下限値を用いて主被写体領域内での立体感の有無を判定する。すなわち、立体感判定部５０Ａは、第１の判定手段として上述した第１の判定を行う。

被写体位置判定部７０は、主被写体の位置（被写体距離）と背景被写体の位置（被写体距離）とを比較することで、主被写体に対する背景被写体の相対立体感の有無を判定する。すなわち、被写体位置判定部７０は、第２の判定手段として上述した第２の判定を行う。

図９のフローチャートには、本実施例の立体画像処理装置３Ａが行う処理を示している。立体画像処理装置３Ａは、パーソナルコンピュータまたはＣＰＵ等のコンピュータチップにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

ステップＳ７０１およびステップＳ７０２は、実施例１におけるステップＳ３０１およびステップＳ３０２と同じであるので、これらの説明は省略する。

ステップＳ７０３において、撮像条件取得部１５は、ステップＳ３０１にて画像取得部１０が取得した視差画像データファイルに含まれる撮像条件の情報を取得する。なお、撮像条件の情報を、撮像装置１００から直接取得してもよい。また、観察条件取得部３０は、実施例１のステップＳ３０３と同様に、表示装置２００から観察条件の情報を取得する。ステップＳ７０１〜Ｓ７０３の順序は入れ替えてもよい。

次に、ステップＳ７０４において、距離情報取得部８０は、ステップＳ７０２で抽出された主被写体内の複数部分（図１８中の被写体部分ｉ，ｊ等）のそれぞれの被写体距離を算出する。具体的には、距離情報取得部８０は、まず視差量算出部８１に、ステップＳ７０２で抽出された主被写体内の複数部分のそれぞれの視差量を算出させる。また、基準画像選択部８２に、左右の視差画像から基準画像および参照画像を選択させる。次に、対応点抽出部８３に、基準画像と参照画像とから複数組の対応点を抽出させる。対応点の抽出手法は、実施例１で述べた通りである。

次に、距離情報取得部８０は、視差量算出部８１に、複数組抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。具体的には、視差量算出部８１は、まず前述した式（１），（２）を用いて対応点の座標での撮影視差量差Ｐｌｃ，Ｐｒｃを算出する。次に、視差量算出部８１は、表示倍率ｍを算出し、さらに式（３），（４）から左右の表示視差量Ｐｌ，Ｐｒを算出して視差量（Ｐｌ−Ｐｒ）を算出する。

次に、距離情報取得部８０は、距離算出部８４に、視差量算出部８１により算出された視差量とステップＳ７０３で取得された撮像条件の情報とを用いて主被写体内の複数部分のそれぞれの被写体距離を算出させる。ここで、式（１），（２）および式（３），（４）から、被写体距離ｙ１は、

となる。この式（３６）を用いることで、主被写体内の各部分の被写体距離ｙ１を求めることができる。

次に、ステップＳ７０５（第１の立体感判定ステップ）において、立体感判定部５０Ａは、算出された主被写体内の複数部分の被写体距離から、観察者に対する主被写体の立体感の有無を判定する（第１の判定を行う）。まず、許容視差下限値取得部５１は、許容視差下限値記録部５２から許容視差下限値δｔの情報を取得する。次に、評価領域選択部５４は、例えば図１８に例示したように主被写体の鼻の先（被写体部分ｉ）を含む領域と、耳（被写体部分ｊ）を含む領域とを主被写体内の立体感の評価領域として選択する。被写体部分ｉ，ｊは、主被写体内の複数部分において最大および最小の被写体距離を有する部分を選択することが望ましい。また、ユーザが前述した入力インターフェースを用いて選択した複数の領域を評価領域として設定してもよい。

次に、立体感判定部５０Ａは、許容視差下限値δｔと選択された評価領域での被写体距離（被写体部分ｉ，ｊの被写体距離）とステップＳ７０３で取得された観察条件のうち視距離とを用いて、式（２８）を満足するか否かを判定する。式（２８）を満足する場合は、前述したように抽出された主被写体は観察者にとって立体感を感じることができるので、立体感判定部５０Ａは、ステップＳ７０６にて主被写体を立体（すなわち立体感あり）と判定する。一方、式（２８）を満足しない場合は、前述したように抽出された主被写体は観察者にとって立体感を感じることができないため、立体感判定部５０Ａは、ステップＳ７０７にて主被写体は平面（すなわち立体感なし）と判定する。

ステップＳ７０７にて主被写体が平面と判定された場合は、ステップＳ７０８において、距離情報取得部８０は、ステップＳ７０２で抽出された背景被写体の被写体距離（以下、背景被写体距離という）を算出する。

次に、ステップＳ７０９（第２の立体感判定ステップ）において、被写体位置判定部７０は、算出された背景被写体距離を主被写体の被写体距離（以下、主被写体距離という）と比較する。まず、被写体位置判定部７０は、例えば主被写体の鼻の先（被写体部分ｉ）と背景被写体としての山ｋを含む領域を相対位置評価領域として選択する。次に、被写体位置判定部７０は、背景被写体距離が主被写体距離（被写体部分ｉの被写体距離）よりも遠いか否かを判定する（第２の判定を行う）。背景被写体距離が主被写体距離より遠い場合は、前述したように主被写体に対する背景被写体の相対立体感があるので、書き割り効果が発生する。このため、ステップＳ７１０で書き割り効果が発生していると判定する。一方、背景被写体距離が主被写体距離よりも遠くない（背景被写体距離の方が主被写体距離よりも近い）場合は、書き割り効果は発生しないと判定する。

最後にステップＳ７１１において、判定結果記録部６０は、ステップＳ７０６、Ｓ７０９およびＳ７１０での判定結果を視差画像データファイルに記録する。このとき、判定結果を表示装置２００に表示してもよいし、不図示の記録媒体に別途記録してもよい。

なお、本実施例では、ステップＳ７０５において式（２８）を用いて立体感を判定したが、許容視差下限値δｔは発明者の主観評価実験から定められた統計量であるため、観察者によっては若干の差異が生じることがある。このため、補正値取得部５３により取得される補正値Ｃを用いて許容視差下限値δｔを補正（変更）した以下の式（３７）により立体感を判定してもよい。

実施例１でも説明したが、補正値Ｃは、初期条件として不図示のメモリに記録された値を用いてもよいし、ユーザが上述した入力インターフェースを用いて入力してもよい。

図１０には、実施例６である立体画像処理装置３Ｂを含む立体撮像表示システムの構成を示している。撮像装置１００および表示装置２００は、実施例１と同じものである。本実施例の立体画像処理装置３Ｂは、実施例５の立体画像処理装置３Ａにおける距離情報取得部８０に代えて距離情報取得部８０Ｂを設けるとともに、被写体厚み情報取得部４５を追加した構成を有する。本実施例において実施例５と共通する構成要素には、実施例５と同符号付して説明に代える。

距離情報取得部８０Ｂは、視差画像データファイルから直接、被写体距離の情報を取得する。被写体厚み情報取得部４５は、任意に選択された被写体の奥行き方向での厚みΔの情報を取得する。厚みΔの情報は、ユーザが前述した入力インターフェースを用いて入力した情報から取得することができる。また、人物の顔等の代表的な被写体に対して代表的な厚みをデータテーブルとして予め被写体厚み情報取得部４５内に記録しておき、そこから読み出すことで、厚みΔの情報を取得することができる。なお、厚みΔは、例えば図１８中の被写体部分ｉ，ｊの被写体距離の差に相当するので、厚みΔを用いることは、主被写体内の複数部分の被写体距離を用いることと等価である。

図１１のフローチャートには、本実施例の立体画像処理装置３Ｂが行う処理を示している。立体画像処理装置３Ｂは、パーソナルコンピュータまたはＣＰＵ等のコンピュータチップにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

ステップＳ８０１〜Ｓ８０３およびステップＳ８１０，Ｓ８１１は、実施例５におけるステップＳ７０１〜Ｓ７０３およびステップＳ７１０，Ｓ７１１と同じであるので、これらの説明（または詳しい説明）は省略する。

ステップＳ８０４において、被写体厚み情報取得部４５は、ステップＳ８０２で抽出された主被写体の厚みの情報を取得する。

次に、ステップＳ８０５（第１の立体感判定ステップ）において、立体感判定部５０Ｂは、算出された主被写体内の複数部分の被写体距離から、観察者に対する主被写体の有無を判定する（第１の判定を行う）。まず、許容視差下限値取得部５１は、許容視差下限値記録部５２から許容視差下限値δｔの情報を取得する。次に、立体感判定部５０Ｂは、許容視差下限値δｔと、選択された主被写体の厚みΔの情報と、ステップＳ８０３で取得された撮像条件および観察条件とを用いて、式（３２）を満足するか否かを判定する。式（３２）を満足する場合は、前述したように抽出された主被写体は観察者にとって立体感を感じることができるので、立体感判定部５０Ｂは、ステップＳ８０６にて主被写体を立体（すなわち立体感あり）と判定する。

一方、式（３２）を満足しない場合は、前述したように抽出された主被写体は観察者にとって立体感を感じることができないため、立体感判定部５０Ｂは、ステップＳ８０７にて主被写体は平面（すなわち立体感なし）と判定する。そして、この場合は、ステップＳ８０８を経てステップＳ８０９（第２の立体感判定ステップ）に進み、被写体体位置判定部７０が、背景被写体距離を主被写体距離と比較する（第２の判定を行う）。背景被写体距離が主被写体距離より遠く、主被写体に対する背景被写体の相対立体感がある場合は、書き割り効果が発生するため、ステップＳ８１０で書き割り効果が発生していると判定する。一方、背景被写体距離が主被写体距離よりも遠くない（背景被写体距離の方が近い）場合は、書き割り効果は発生しないと判定する。

なお、本実施例では、ステップＳ８０５において式（３２）を用いて立体感を判定したが、許容視差下限値δｔは発明者の主観評価実験から定められた統計量であるため、観察者によっては若干の差異が生じることがある。このため、補正値取得部５３により取得される補正値Ｃを用いて許容視差下限値δｔを補正（変更）した以下の式（３８）により立体感を判定してもよい。

以上説明したように、本実施例でも、視差画像内の主被写体内の立体感と主被写体に対する背景被写体の相対立体感とを判定することで、書き割り効果の発生の有無をより正確に判定することができる。これにより、書き割り効果が生じない良好な視差画像を取得するための撮像パラメータや視差画像を表示する際の観察パラメータ（表示サイズ、視距離、オフセット量）の判断や設定を容易に行うことが可能となり、より高品位な立体画像を提示することができる。

図１２には、実施例７である立体撮像装置の構成を示している。本実施例の立体撮像装置は、被写体を異なる視点から撮像することで左右の視差画像を生成するとともに、実施例１と同様に、良好な立体画像観察を実現するために、被写体距離と許容視差下限値とを用いて視差画像内の被写体の立体感を判定する。

本実施例の立体撮像装置の構成は、基本的に実施例２で説明した立体撮像装置の構成と同じであり、実施例２と共通する構成要素については実施例２と同符号を付して説明に代える。本実施例では、実施例５にて説明した立体画像処理装置３Ａに相当する立体画像処理部４Ａが行う処理（動作）が、実施例２における立体画像処理部４が行う処理と異なる。本実施例でも、立体画像処理部４Ａの説明として、実施例５の立体画像処理装置３Ａと重複する説明は省略するが、立体画像処理装置３Ａと同じ構成要素については実施例５で用いた符号を付す。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４Ａが行う処理について、図１３のフローチャートを用いて説明する。実施例２と同様に、制御用コンピュータとしてのシステムコントローラ（撮像制御手段および表示制御手段）１０６および画像処理用コンピュータとしての立体画像処理部４Ａは、コンピュータプログラムである立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ９０２〜ステップＳ９１０は、実施例５で説明したステップＳ７０２〜ステップＳ７１０と同じであるので、これらの説明（または詳しい説明）を省略する。

まずステップＳ９０１において、ユーザ（撮影者）による撮像準備の開始を指示する操作を検知したシステムコントローラ１０６は、ユーザによる選択または設定に基づいて光学駆動部１０５を通して左右の撮影光学系１０１ｂ，１０１ａを制御する。また、システムコントローラ１０６は、撮像素子１０２ａ，１０２ｂに撮像光学系１０１ａ，１０１ｂのそれぞれによって形成された被写体像を光電変換させる。そして、撮像素子１０２ｂ，１０２ａからの出力をＡ／Ｄ変換器１０３ｂ，１０３ａを介して画像処理部１０４に転送し、画像処理部１０４に左右のプレ視差画像を生成させる。立体画像処理部４Ａ（画像取得部１０）は、生成されたプレ視差画像を取得する。次に、ステップＳ９０２において、立体画像処理部４Ａ（被写体抽出部２０）は、実施例２のステップＳ４０２と同様に、プレ視差画像内の主被写体と背景被写体とを抽出（選択）する。ステップＳ９０１〜Ｓ９０３の順序は入れ替えてもよい。

そして、ステップＳ９０５（第１の立体感判定ステップ）での式（２８）を満足するか否かの判定を経てステップＳ９０６にて主被写体が立体感ありと判定されると、システムコントローラ１０６はステップＳ９１２に進む。ステップＳ９０５での判定に、実施例６で説明した主被写体の厚みの情報（つまりは式（３２））を用いてもよい。

また、ステップＳ９０５の判定を経てステップＳ９０７で主被写体が立体感なしと判定された場合に、ステップＳ９０９にて背景被写体距離が主被写体距離よりも近い（書き割り効果なし）と判定されたときも、システムコントローラ１０６はステップＳ９１２に進む。一方、ステップＳ９０９にて背景被写体距離が主被写体距離より遠い（主被写体に対する背景被写体の相対立体感あり）と判定され、ステップＳ９１０で書き割り効果ありと判定されたときは、システムコントローラ１０６はステップＳ９１１に進む。

ステップＳ９１１では、実施例２のステップＳ４１１と同様に、システムコントローラ１０６は、光学駆動部１０５を通して左右の撮影光学系１０１ｂ，１０１ａを制御し、これらの撮像パラメータである焦点距離や基線長を変更する。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、主被写体の立体感を向上させて書き割り効果を低減することができる。そして、システムコントローラ１０６は、ステップＳ９０１に戻って左右のプレ視差画像を再度、画像処理部１０４に生成させる。

一方、ステップＳ９１２では、実施例２のステップＳ４１２と同様に、ユーザによる撮像指示を待って左右の視差画像を生成するための本撮像を行う。そして、ステップＳ９１３において、システムコントローラ１０６は、本撮像によって画像処理部１０４にて生成された左右の視差画像を視差画像データファイルに記録したり、画像表示部１０９に表示したり、不図示の記録媒体に別途記録したりする。

なお、ステップＳ９１０において書き割り効果ありと判定された場合に、ユーザの操作に応じて強制的にステップＳ９１２に移行して、本撮像を行ってもよい。この場合、生成された視差画像は書き割り効果を発生させるため、一方の視差画像のみを２Ｄ画像として表示または記録してもよい。

次に、実施例８である立体撮像装置について説明する。本実施例の立体撮像装置の構成は、基本的に実施例７の立体撮像装置の構成と同じであり、共通する構成要素には実施例７と同符号を付す。

本実施例の立体撮像装置においてシステムコントローラ１０６および立体画像処理部４Ａ′（図示せず）が行う処理について、図１４のフローチャートを用いて説明する。実施例７と同様に、システムコントローラ１０６および立体画像処理部４Ａ′は、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理（動作）を行う。

ステップＳ１００１〜ステップＳ１０１０、ステップＳ１０１２およびステップＳ１０１３は、実施例７で説明したステップＳ９０１〜ステップＳ９１０、ステップＳ９１２およびステップＳ９１３と同じであるので、説明を省略する。

ステップＳ１０１０において書き割り効果ありと判定されると、システムコントローラ１０６は、ステップＳ１０１１において、画像表示部１０９に表示する内容を制御する。具体的には、ユーザに対して、左右の撮影光学系１０１ｂ，１０１ａの焦点距離や基線長をどのように変更すれば書き割り効果を回避できるかを知らせるアドバイス情報を表示する。焦点距離を望遠側（画角が狭まる方向）に変化させたり基線長を広げる方向に変化させたりすることで、主被写体の立体感を向上させて書き割り効果を低減することができる。アドバイス情報に基づいてユーザが焦点距離や基線長を変更する操作を行うと、システムコントローラ１０６はこの操作に応じて焦点距離や基線長を変更する。

この後、システムコントローラ１０６は、ステップＳ１００１に戻って左右のプレ視差画像を再度画像処理部１０４に生成させる。

図１５には、実施例９である立体表示装置６Ａを含む立体撮像表示システムの構成を示している。撮像装置１００は、実施例１や実施例５と同様に、被写体を異なる視点から撮像して左右（左眼用および右眼用）の視差画像を生成する。本実施例の立体表示装置６Ａは、被写体を異なる視点から撮像して生成された左右の視差画像を表示する際に、良好な立体画像観察を実現するために、被写体距離と許容視差下限値とを用いて視差画像内の被写体の立体感を判定する。

立体表示装置６Ａの構成は、実施例５の立体画像処理装置３Ａから判定結果記録部６０を省き、実施例５の表示装置２００に代えて、実施例４で説明した表示部２１０を組み込んだものに相当する。表示部２１０以外の立体表示装置６Ａの構成要素は実施例５の立体画像処理装置３Ａの構成要素と同じであるので、これらの構成要素には実施例５と同符号を付して説明に代える。また、表示部２１０の構成についても、実施例４と同じであるので、説明を省略する。

図１６のフローチャートには、本実施例の立体表示装置６Ａが行う処理を示している。立体表示装置６Ａは、パーソナルコンピュータにより構成され、コンピュータプログラムとしての立体画像処理プログラムに従って以下の処理（動作）を行う。

ステップＳ１１０１〜ステップＳ１１１０は、実施例５で説明したステップＳ７０１〜ステップＳ７１０と同じであるので、説明を省略する。なお、ステップＳ１１０５での判定に、実施例６で説明した主被写体の厚みの情報（つまりは式（３２））を用いてもよい。

ステップＳ１１１０において書き割り効果が発生していると判定されると、表示部２１０は、ステップＳ１１１１において、表示制御部２０２を通して表示面に表示する内容を制御する。具体的には、ユーザに対して、観察パラメータである表示サイズ、オフセット量および視距離をどのように変更すれば書き割り効果を回避できるかを知らせるアドバイス情報を表示する。例えば、表示サイズを大きくしたり視距離を短くしたりオフセット量を変更したりすることで、主被写体の立体感を向上させることができる。アドバイス情報に基づいてユーザが表示サイズやオフセット量を変更する操作を行うと、表示パラメータ制御部２０３がこの操作に応じて表示サイズやオフセット量を変更する。また、アドバイス情報に基づいてユーザは視距離を調整する。

この後、ステップＳ１１０１にて、画像取得部１０は、撮像装置１００から新たな視差画像データファイルを取得する。

一方、ステップＳ１１０９において書き割り効果が発生していないと判定されると、表示部２１０は、ステップＳ１１１２において、表示制御部２０２を通して表示面に左右の視差画像を表示する。

なお、上記各実施例では、第１および第２の判定の双方に視差量を用いる場合と被写体距離を用いる場合について説明したが、第１および第２の判定のうち一方に視差量を用い、他方に被写体距離を用いるようにしてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

３，３Ａ，３Ｂ立体画像処理装置
４，４Ａ立体画像処理部
２０被写体抽出部
４０視差量算出部
５０，５０Ａ立体感判定部
８０，８０Ｂ距離情報取得部

Claims

撮像により生成された互いに視差を有する視差画像に含まれる第１の被写体と第２の被写体を抽出する抽出手段と、
前記視差画像における前記第１の被写体内の互いに異なる複数部分の視差量または前記撮像に際しての前記複数部分のそれぞれの被写体距離と、前記視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察における前記第１の被写体内の立体感を判定する第１の判定手段と、
前記第１の判定手段により前記第１の被写体内の立体感がないと判定された場合に、前記視差画像における前記第１および第２の被写体の視差量または前記撮像に際しての前記第１および第２の被写体の被写体距離を用いて、前記視差画像の観察における前記第１の被写体に対する前記第２の被写体の相対立体感を判定する第２の判定手段とを有することを特徴とする立体画像処理装置。
前記第１の判定手段は、前記複数部分の視差量の差または該複数部分の被写体距離から求められる前記視差量の差に相当する値が前記許容視差下限値より小さいことで前記第１の被写体内の前記立体感がないと判定することを特徴とする請求項１に記載の立体画像処理装置。
前記撮像に用いられた互いに視差を有する光学系の基線長を２ｗｃとし、該光学系の焦点距離をｆとし、撮像素子のサイズをｃｃｗとし、
前記視差画像を表示する表示面のサイズをｓｃｗとし、前記表示面に対する前記観察者の視距離をｄｓとし、
前記複数部分のそれぞれの被写体距離をｙ１_ｉおよびｙ１_ｊとし、
前記許容視差下限値をδｔとするとき、
前記視差量の差に相当する値は、

であることを特徴とする請求項２に記載の立体画像処理装置。
前記撮像に用いられた互いに視差を有する光学系の基線長を２ｗｃとし、該光学系の焦点距離をｆとし、撮像素子のサイズをｃｃｗとし、
前記視差画像を表示する表示面のサイズをｓｃｗとし、前記表示面に対する前記観察者の視距離をｄｓとし、
前記複数部分のいずれかの被写体距離をｙ１とし、前記複数部分の被写体距離の差に相当する前記第１の被写体の厚みをΔとし、
前記許容視差下限値をδｔとするとき、
前記視差量の差に相当する値は、

であることを特徴とする請求項２に記載の立体画像処理装置。
前記第１の判定手段は、前記第１の被写体内において最大および最小の視差量を有する部分または最大および最小の距離の部分を前記複数部分として選択することを特徴とする請求項１から４のいずれか一項に記載の立体画像処理装置。
前記第２の判定手段は、前記第１および第２の被写体の視差量の差が前記許容視差下限値以上であることで前記相対立体感があると判定することを特徴とする請求項１から５のいずれか一項に記載の立体画像処理装置。
前記第２の判定手段は、前記第２の被写体の被写体距離が前記第１の被写体の被写体距離よりも遠いことで前記相対立体感があると判定することを特徴とする請求項１から５のいずれか一項に記載の立体画像処理装置。
前記第１の判定手段は、前記許容視差下限値を観察者の個人差に応じて変更することを特徴とする請求項１から７のいずれか一項に記載の立体画像処理装置。
撮像により互いに視差を有する視差画像を生成する撮像部と、
請求項１から８のいずれか一項に記載の立体画像処理装置とを有することを特徴とする立体撮像装置。
前記第２の判定手段による判定結果に応じて前記撮像部の撮像パラメータを制御する撮像制御手段を有することを特徴とする請求項９に記載の立体撮像装置。
請求項１から８のいずれか一項に記載の立体画像処理装置と、
前記視差画像を表示する表示部とを有することを特徴とする立体撮像装置。
前記第２の判定手段による判定結果に応じて前記表示部の表示を制御する表示制御手段を有することを特徴とする請求項１１に記載の立体表示装置。
コンピュータに、
撮像により生成された互いに視差を有する視差画像に含まれる第１の被写体と第２の被写体を抽出させ、
前記視差画像における前記第１の被写体内の互いに異なる複数部分の視差量または前記撮像に際しての前記複数部分のそれぞれの被写体距離と、前記視差画像を観察する観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察における前記第１の被写体内の立体感を判定する第１の判定を行わせ、
前記第１の判定により前記第１の被写体内の立体感がないと判定された場合に、前記視差画像における前記第１および第２の被写体の視差量または前記撮像に際しての前記第１および第２の被写体の被写体距離を用いて、前記視差画像の観察における前記第１の被写体に対する前記第２の被写体の相対立体感を判定する第２の判定を行わせることを特徴とするコンピュータプログラムとしての立体画像処理プログラム。