JP2013171058A

JP2013171058A - 立体画像処理装置、立体画像撮像装置、立体画像表示装置

Info

Publication number: JP2013171058A
Application number: JP2012032773A
Authority: JP
Inventors: Tomoaki Inoue; 智暁井上; Atsushi Okuyama; 奥山　　敦
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-02-17
Filing date: 2012-02-17
Publication date: 2013-09-02
Anticipated expiration: 2032-02-17
Also published as: US20130215237A1; JP5840022B2

Abstract

【課題】立体画像内の弊害の有無をより正確に判定することにより、より高品位な立体画像を提示可能な立体画像処理装置、立体画像撮像装置、立体画像表示装置を提供する。
【解決手段】立体画像処理装置は、視差画像を取得する画像取得部（１０）と、前記画像取得部により取得された視差画像内の少なくとも第１の被写体と第２の被写体を抽出する被写体抽出部（２０）と、前記被写体抽出部により抽出された前記第１の被写体と前記第２の被写体の視差量を算出する視差量算出部（４０）と、前記視差量算出部により算出された前記第１の被写体と前記第２の被写体の視差量を用いて、前記第１の被写体と前記第２の被写体の視差量の差が所定の値以上であるとき立体感があると判定し、所定の値未満であるとき立体感がないと判定する立体感判定部（５０）と、を有する。
【選択図】図１

Description

本発明は、特に立体画像を制御、取得、表示することができる立体画像処理装置、立体画像撮像装置、立体画像表示装置に関するものである。

従来において、視差画像による立体画像の観察には、画像中の被写体がついたてのように見える書割効果やミニチュアのように見える箱庭効果と呼ばれる弊害などがある。これらの弊害を回避するために画像の撮影および画像の視聴条件を加味した対策が必要であった。

特開２００５−２６７５６号公報

しかしながら、特許文献１に開示された従来技術では、書割効果および箱庭効果を立体画像の再生時の再生倍率の歪みと定義している。立体感は左右の眼で視差のある画像を観察することで視差により立体感を感じているので、再生倍率の歪みだけでは正確に観察者が感じる弊害を表現することが困難である。

そこで、本発明の目的は、立体画像内の弊害の有無をより正確に判定することにより、より高品位な立体画像を提示可能な立体画像処理装置、立体画像撮像装置、立体画像表示装置を提供することである。

本発明の一側面としての立体画像処理装置は、視差画像を取得する画像取得部と、前記画像取得部により取得された視差画像内の少なくとも第１の被写体と第２の被写体を抽出する被写体抽出部と、前記被写体抽出部により抽出された前記第１の被写体と前記第２の被写体の視差量を算出する視差量算出部と、前記視差量算出部により算出された前記第１の被写体と前記第２の被写体の視差量を用いて、前記第１の被写体と前記第２の被写体の視差量の差が所定の値以上であるとき立体感があると判定し、所定の値未満であるとき立体感がないと判定する立体感判定部と、を有することを特徴とする。

本発明によれば、立体画像内の弊害の有無をより正確に判定することにより、より高品位な立体画像を提示可能な立体画像処理装置、立体画像撮像装置、立体画像表示装置を提供することができる。

実施例１の立体画像処理装置の構成図である。実施例１にかかる処理のフロー図である。実施例２の立体画像処理装置の構成図である。実施例２にかかる処理のフロー図である。実施例３の立体画像撮像装置の構成図である。実施例３にかかる処理のフロー図である。実施例４にかかる処理のフロー図である。実施例５の立体画像撮像装置の構成図である。実施例５にかかる処理のフロー図である。実施例６の立体画像撮像装置の構成図である。実施例６にかかる処理のフロー図である。実施例７の立体画像撮像装置の構成図である。実施例７にかかる処理のフロー図である。立体画像撮影モデルの説明図である。立体画像表示モデルの説明図である。立体画像表示モデルのオフセット制御に関する説明図である。被写体抽出についての補足図である。対応点抽出手法の説明図である。

立体画像（３Ｄ画像）を撮影し、観察する方法は特許文献１などと同じ原理を用いている。

立体画像に関係する３Ｄパラメータは撮影側のパラメータ５つと観察側のパラメータ３つとなる。

撮影側のパラメータは、２つの撮影カメラの光軸間の距離である基線長、撮影時の焦点距離、撮像素子の大きさ、撮影カメラの光軸のなす角である輻輳角、および被写体距離である。

観察側のパラメータは、画像を表示するテレビなどの表示サイズ、テレビを観察するときの視距離、テレビの画面上に表示する視差画像の位置を調整するオフセット量である。

従来輻輳角を制御する（カメラの光軸を傾ける）手法も提案されているが、ここでは説明の簡略化のため左右カメラの光軸が平行となる平行法における原理について説明する。輻輳角を制御する手法に対しても、輻輳点までの距離を考慮することで同様の幾何学的理論は成り立つ。任意の被写体に対して撮影するときの幾何学関係を図１４に示す。また、その画像を再生するときの幾何学関係を図１５に示す。

図１４において、左右のカメラ（Ｌ＿ｃａｍｅｒａ、Ｒ＿ｃａｍｅｒａ）の主点位置の中間を原点とし、カメラの並ぶ方向をｘ軸、それに直交する方向をｙ軸としている。高さ方向は簡略化のために省略する。基線長は２ｗｃである。左右のカメラの仕様は同一で、撮影時の焦点距離をｆ、撮像素子の横幅をｃｃｗとする。さらに任意の被写体Ａの位置を（ｘ１，ｙ１）とする。

被写体Ａの左右のカメラによる左右の撮像素子上の像の位置は、幾何学的に被写体とレンズの主点を通る直線と撮像素子の交点となる。そのため撮像素子上の像の位置は撮像素子の中心を基準とすると左右で異なる位置にできる。この位置の差は被写体距離が遠くなるに従って小さくなり、無限遠で０になる。

図１５において、観察者の眼（Ｌ＿ｅｙｅ、Ｒ＿ｅｙｅ）の中心を原点とし、眼の方向をｘ軸、それに直交する方向をｙ軸としている。眼の間隔は２ｗｅである。観察者から３Ｄテレビまでの視距離はｄｓである。３Ｄテレビの横幅はｓｃｗである。

３Ｄテレビ上には前述の左右の撮像素子で撮影された画像が重複して表示される。３Ｄテレビが液晶シャッタメガネを装着して観察する方式の場合は、高速で右画像と左画像を切り替えて表示する。平行法で撮影したとき、撮像素子の画像をそのまま表示すると、３Ｄテレビの画面上には無限遠の被写体となり、再生される立体画像はすべて画面より飛び出す位置となるので好ましくない。そのために左右の画像を横方向にずらし、画面上にできる被写体距離を適当に調整する。このずらす画面上の量がオフセット量（ｓ）である。

オフセット量が０のときに画面上に再生される左眼画像Ｌの座標を（Ｐｌ，ｄｓ）、右眼画像Ｒの座標を（Ｐｒ，ｄｓ）とする。オフセットを考慮するとそれぞれの座標はＬ（Ｐｌ‐ｓ，ｄｓ）、Ｒ（Ｐｒ＋ｓ，ｄｓ）
となる。

このような条件で観察したときに立体で再現される像Ａ’は左眼と左眼画像を結んだ直線と右眼と右眼画像を結んだ直線の交点の位置（ｘ２，ｙ２）に生成される。以下、幾何学的な詳細な説明をする。

被写体Ａを撮影した場合の左右のカメラのセンサー中心から被写体像Ａのズレ量を撮影視差量として、それぞれＰｌｃ，Ｐｒｃ（不図示）とすると

となる。

カメラのセンサーサイズと３Ｄテレビのサイズの比を表示倍率ｍとすると
ｍ = ｓｃｗ／ｃｃｗ
となり、撮影時のズレ量はテレビの画面上では−ｍ倍される。

このとき立体に表示される表示視差量を左右Ｐｌ，Ｐｒとすると

となり、再生時に左右画像に付加するオフセットをｓとすると、観察者に対する再生像Ａ’の位置（ｘ２，ｙ２）は

である。

同一被写体距離の像は同一平面上に再生される。ここでさらに説明の簡略化のため被写体Ａをｙ軸上と考えると（ｘ１＝０）、オフセットしない画面表示位置は

となる。オフセットを行った後の再現像の位置は図１６に示すように像Ａ’は左眼と左眼画像を結んだ直線と右眼と右眼画像を結んだ直線の交点の位置（０，ｙ２）に生成される。このとき

となる。

図１６に示すように観察者の再現像の見込み角をβとすると、βは再現距離ｙ２と眼幅２ｗｅから

となる。ｙ２に式（９）を代入すると

となる。

ここで図１６に示すように観察者が３Ｄテレビ画面を見込む角度をαとすると

になるので、α‐βは

となる。これがいわゆる相対視差量と呼ばれる指標である。この大きさが表示画面と被写体像Ａの相対的な奥行き方向の距離に対応する。従来の様々な研究から、人間は脳内でこの角度の差分を計算し奥行き方向の位置を知覚していることが知られている。

次に壁化について説明する。ここで壁化とは、立体画像観察時に任意の被写体と無限遠被写体に対して奥行き方向の区別がつかない状態（相対的な立体感が無い状態）と定義する。つまり、任意の被写体が無限遠の背景に対して張り付いているように観察される状態を示す。

壁化は遠方の被写体に対して起こる弊害であるので、まず無限遠の被写体について相対視差量を求める。無限遠に対する相対視差量は平行法では視差量（Ｐｌ−Ｐｒ）が０となるとして、

となる。

ここで、無限遠被写体に対する有限距離被写体の視差量を求めるためには式（１４）から式（１３）を引けばよいので、それは

となる。

壁化しているときには遠方の画像は平面に見えているので、無限遠被写体に対する視差量は０でなくてはならない。

我々はフルＨＤの３Ｄテレビを用いて遠方物体の立体感を主観評価した結果、無限遠被写体に対する視差量が３分未満のときに画像としては視差があっても視差を感じなくなる人がいることが分かった。式（１５）は眼の幅２ｗｅは関係がない。

そこでこの立体感を感じなくなる視差量を許容視差下限値δｔ（すなわち、観察者が立体感を感じる限界値）と定義する。つまり、式（１５）とδｔを用いると

となり、式（１６）を満たせば壁化が発生せず、式（１７）を満たすと壁化が発生すると判定できる。

ここで許容視差下限値δｔを近距離で撮影した人物などの厚みのある被写体に適応してみる。

例えば図１７に例示するように、所定の被写体距離に位置する人の鼻の先を被写体ｉ、耳を被写体ｊとする。

この被写体ｊに対する被写体ｉの視差量を求めるためには、式（１５）の導出と同様に被写体ｊに対する相対視差量から被写体ｉに対する相対視差量を引けばよいので、それは

となる。

我々は基線長２ｗｃ以外の撮影条件と観察条件を固定し、人物の視差画像で検証した結果、壁化と同様に視差量が３分より小さくなると人物の顔の部分の立体感が無くなることを確かめた。これにより許容視差下限値δｔは遠方の物体だけではなく、近距離の物体の視差量にも適用できる。つまり、式（１８）とδｔを用いると

となり、式（１９）を満たせば人物の顔は立体的に認識され立体感が有ると判定でき、式（２０）を満たすと平面的に認識され立体感が無いと判定できる。

立体画像を撮影したときに人物などの被写体が式（２０）を満たすとき、人物の視差量は許容視差下限値δｔより小さいので立体に見えない画像となる。また、立体感がない人物と背景被写体に対する視差量の関係が式（１９）を満たす背景被写体であるときには、背景の視差量は許容視差下限値δｔよりも大きく人物に対して背景は相対的に立体に見える画像となる。つまり書割の状態となる。

ふたたび式（１７）において、背景が壁化する条件で撮影を行い、かつ撮影倍率が実際の大きさよりも小さくなるような条件で撮影したときを考える。このときは実際よりも小さな物体（人物や車など）が立体に見え、平面の背景に囲まれて見えている画像となる。つまり箱庭の状態となる。

このように立体画像による弊害（壁化、書割効果、箱庭効果）は、立体に見える画像と２Ｄに見える画像が一つの画像の中に混在するときに脳が混乱して感じる感覚として定義することができる。そのためこれらは許容視差下限値という評価量により、立体感を感じる視差と直接関連付けられる。

そこで本発明では、立体画像を撮影するときまたは立体画像を観察するときに、弊害のない立体画像を観察するために許容視差下限値（以下、所定の値ともいう）を用いて視差画像内の立体感を判定することを新規に提案する。

以下に本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は第１の実施例の立体画像処理装置１の構成図である。立体画像処理装置１は、被写体を異なる視点から撮像した視差画像に対して、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。撮像手段１００は、例えば左右の視差画像を撮像可能な装置である。左右の視差画像はそれぞれ、左眼用の視差画像と右眼用の視差画像の意味である。表示手段２００は、例えば取得した左右の視差画像から観察者が立体視可能な立体画像を表示することができる装置である。

まず図１を用いて立体画像処理装置１の構成について説明する。画像取得部１０は、立体画像データファイルを取得する。ここで立体画像データファイルとは例えば撮像手段１００により得られる視差画像であり、さらに画像データに付加される上述した撮影側のパラメータ情報を含んでも構わない。被写体抽出部２０は視差画像内の特定被写体を抽出する。観察条件取得部３０は、表示手段２００の観察条件情報を取得する。視差量算出部４０は、視差画像のうちの一つを基準画像として選択する基準画像選択部４１と、基準画像としての視差画像と参照画像としての視差画像において互いに対応する画素である対応点を抽出する対応点抽出部４２を含む。視差量算出部４０は対応点抽出部４２により抽出された複数の対応点のそれぞれの間の視差量を算出する。立体感判定部５０は、許容視差下限値情報を取得する許容視差下限値取得部５１を含み、前述した許容視差下限値を用いて視差画像内の被写体に対する立体感の有無を判定する。

次に本実施例の立体画像処理装置１の立体感判定処理動作について図２のフローチャートを用いて詳細を説明する。まずステップＳ１０１において画像取得部１０は、例えば撮像手段１００からの立体画像データを取得する。データ取得方法は不図示のＵＳＢケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続（無線通信）も可能である。

次にステップＳ１０２において、被写体抽出部２０は、前ステップで得られた立体画像データに含まれる視差画像内の特定被写体を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。また、従来よく知られている顔認識技術を用いて特定人物等の被写体を選択して抽出することも可能である。さらに、任意の画像領域を切りたした部分画像を基準画像（テンプレート画像）として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図１７に示す実線で囲まれた人物被写体を抽出するものとする。

次にステップＳ１０３において、観察条件取得部３０は、例えば表示手段２００から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報を含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。

次にステップＳ１０４において、視差量算出部４０は、ステップＳ１０２で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部４１に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部４２に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。ここで、対応点の抽出手法について図１８を用いて説明する。ここでは視差画像上に設定されたＸ−Ｙ座標系を用いる。この座標系では、図１８の左側に示した基準画像３０１と右側に示した参照画像３０２において左上の画素の位置を原点として定義し、水平方向にＸ軸をとり、垂直方向にＹ軸をとっている。基準画像３０１上の画素（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像３０２上の画素（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

図１８の左側に示した基準画像３０１上の任意の画素（Ｘ，Ｙ）（ハッチングして示す）に対応する参照画像３０２上の画素（同じくハッチングして示す）は、基準画像３０１における輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する参照画像３０２上の画素である。ただし、任意の画素と最も類似した画素を探すことは現実には難しいため、座標（Ｘ，Ｙ）の近傍の画素も用いて、ブロックマッチングと称される手法により類似画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像３０１上の任意の座標（Ｘ，Ｙ）の画素とその周辺の座標（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素との計３画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ），Ｆ１（Ｘ−１，Ｙ），Ｆ１（Ｘ＋１，Ｙ）
となる。

これに対し、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた参照画像３０２上の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。

この場合、基準画像３０１上の座標（Ｘ，Ｙ）の画素との類似度Ｅを、以下の式（２１）で定義する。

この式（２１）において逐次、ｋの値を変更して類似度Ｅの値を計算する。そして、参照画像３０２のうち最も小さい類似度Ｅを与える（Ｘ＋ｋ，Ｙ）が、基準画像３０１上の座標（Ｘ，Ｙ）に対する対応点である。

なお、ブロックマッチング以外に、エッジ抽出等による共通点抽出法を用いて対応点を抽出してもよい。

次に、視差量算出部４０に、複数箇所にて抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式（３）、式（４）から左右の表示視差Ｐｌ，Ｐｒを算出することで視差量（Ｐｌ−Ｐｒ）を算出することができる。

次にステップＳ１０５（立体感判定ステップ）において、立体感判定部５０は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値情報を取得する。ここで許容視差下限値（所定の値）δｔとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量（およそ３分）として定義している。次に立体感判定部５０は、例えば図１７に例示するように抽出した被写体の鼻の先を被写体ｉ（第１の被写体）、耳を被写体ｊ（第２の被写体）として、被写体内の評価点を選択する。ここで、被写体ｉ、ｊの選択方法としては、算出した視差量の中で最小、最大の部分を選択する等の手法をとることが可能である。また、ユーザーが前述したような入力インターフェースを用いて詳細に被写体評価点を選択しても構わない。次に立体感判定部５０は許容視差下限値δｔと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１９）を満足するかどうかを判定する。式（１９）を満足する、つまりＹＥＳの判定（所定の値以上）の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップＳ１０６で被写体を立体（３Ｄ）と判定する。逆に、式（１９）を満足しない、つまりＮＯの判定（所定の値未満）の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップＳ１０７で被写体を平面（２Ｄ）と判定する。

次にステップＳ１０８において、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段２００に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。

また、ステップＳ１０５において、式（１９）を用いて立体感を判定したが、許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正項Ｃを用いた下記式（２２）を用いることがより好ましい。

ここで補正項Ｃは初期条件として不図示の記録部に記録された値を取得することも可能であるし、ユーザーが前述したような入力インターフェースを用いて入力することも可能である。

以上のように視差画像内の抽出被写体の立体感を判定することで、前述した立体画像による弊害（壁化、書割効果、箱庭効果）の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

特にフローチャートで示したＳ１０１〜Ｓ１０３の順序はいかようにも入れ替え可能である。

図３は第２の実施例の立体画像処理装置２の構成図である。実施例１と重複する説明は省略する。立体画像処理装置２は、被写体を異なる視点から撮像した視差画像に対して、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。

まず図３を用いて立体画像処理装置２の構成について説明する。実施例１と異なる点は、立体感判定部５０の内部構成と判定結果記録部６０をさらに有する点である。立体感判定部５０は、許容視差下限値情報を取得する許容視差下限値取得部５１と、許容視差下限値情報を記録している許容視差下限値記録部５２とを含む。さらに、観察者の個人差に対応するための前述した許容視差下限値補正項Ｃの情報を取得する補正値情報取得部５３を含み、許容視差下限値を用いて視差画像内の被写体に対する立体感の有無を判定する。判定結果記録部６０は判定された判定結果を画像データファイルに記録する。

次に本実施例の立体画像処理装置の立体感判定処理動作について図４のフローチャートを用いて詳細を説明する。まずステップＳ２０１において画像取得部１０は、例えば撮像手段１００からの立体画像データを取得する。データ取得方法は不図示のＵＳＢケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続（無線通信）も可能である。

次にステップＳ２０２において、被写体抽出部２０は、前ステップで得られた立体画像データに含まれる視差画像内の背景被写体（及び無限遠被写体）を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。さらに、任意の画像領域を切りたした部分画像を基準画像（テンプレート画像）として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図１７に示す破線で囲まれた背景被写体βｋ（山）を抽出するものとする。

次にステップＳ２０３において、観察条件取得部３０は、例えば表示手段２００から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。

次にステップＳ２０４において、視差量算出部４０は、ステップＳ２０２で抽出された背景被写体（及び無限遠被写体）に対して視差量を算出する。まず基準画像選択部４１に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部４２に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。次に、視差量算出部４０に、複数箇所にて抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式（３）、式（４）から左右の表示視差Ｐｌ，Ｐｒを算出することで視差量（Ｐｌ−Ｐｒ）を算出することができる。

次にステップＳ２０５（立体感判定ステップ）において、立体感判定部５０は、算出された背景被写体の視差量から背景被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値記録部５２から許容視差下限値情報を取得する。ここで許容視差下限値δｔとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量（およそ３分）として定義している。次に立体感判定部５０は許容視差下限値δｔと選択された背景被写体の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１６）を満足するかどうかを判定する。式（１６）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができるため、ステップＳ２０６で背景被写体を非壁化と判定する。逆に、式（１６）を満足しない、つまりＮＯの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができないため、ステップＳ２０７で背景被写体を壁化と判定する。

次にステップＳ２０８において、判定結果記録部６０は、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段２００に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。

また、ステップＳ２０５において、式（１６）を用いて立体感を判定したが、許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正値情報取得部５３により取得される補正項Ｃを用いた下記式（２３）を用いることがより好ましい。

以上のように視差画像内の背景被写体（第１の被写体）の無限遠被写体（第２の被写体）に対する立体感を判定することで、前述した立体画像による弊害（壁化）の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。

特にフローチャートで示したＳ２０１〜Ｓ２０３の順序はいかようにも入れ替え可能である。

図５は第３の実施例の立体画像処理装置３の構成図である。実施例１と重複する説明は省略する。立体画像処理装置３は、被写体を異なる視点から撮像した視差画像に対して、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。

まず図５を用いて立体画像処理装置３の構成について説明する。実施例１と異なる点は、立体感判定部５０の内部構成と判定結果記録部６０をさらに有する点である。立体感判定部５０は、許容視差下限値情報を取得する許容視差下限値取得部５１と、許容視差下限値情報を記録している許容視差下限値記録部５２とを含む。さらに、観察者の個人差に対応するための前述した許容視差下限値補正項Ｃの情報を取得する補正値情報取得部５３を含む。さらに、抽出された被写体内の立体感評価領域を選択する評価領域選択部５４を含み、許容視差下限値を用いて視差画像内の被写体に対する立体感の有無を判定する。判定結果記録部６０は判定された判定結果を画像データファイルに記録する。

次に本実施例の立体画像処理装置の立体感判定処理動作について図６のフローチャートを用いて詳細を説明する。まずステップＳ３０１において画像取得部１０は、例えば撮像手段１００からの立体画像データを取得する。データ取得方法は不図示のＵＳＢケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続（無線通信）も可能である。

次にステップＳ３０２において、被写体抽出部２０は、前ステップで得られた立体画像データに含まれる視差画像内の主要被写体と背景被写体を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。また、従来よく知られている顔認識技術を用いて特定人物等の被写体を選択して抽出することも可能である。さらに、任意の画像領域を切りたした部分画像を基準画像（テンプレート画像）として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図１７に示す実線で囲まれた人物を主要被写体、破線で囲まれた山を背景被写体として抽出するものとする。

次にステップＳ３０３において、観察条件取得部３０は、例えば表示手段２００から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。

次にステップＳ３０４において、視差量算出部４０は、ステップＳ３０２で抽出された主要被写体に対して視差量を算出する。まず基準画像選択部４１に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部４２に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。次に、視差量算出部４０に、複数箇所にて抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式（３）、式（４）から左右の表示視差Ｐｌ，Ｐｒを算出することで視差量（Ｐｌ−Ｐｒ）を算出することができる。

次にステップＳ３０５（第一の立体感判定ステップ）において、立体感判定部５０は、算出された主要被写体内の視差量から主要被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値記録部５２から許容視差下限値情報を取得する。ここで許容視差下限値δｔとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量（およそ３分）として定義している。次に評価領域選択部５４は、例えば図１７に例示するように抽出した主要被写体の鼻の先を被写体ｉ、耳を被写体ｊとして、主要被写体内の評価領域を選択する。ここで、被写体ｉ、ｊの選択方法としては、算出した視差量の中で最小、最大の部分を選択する等の手法をとることが可能である。また、ユーザーが前述したような入力インターフェースを用いて詳細に被写体評価領域を選択しても構わない。次に立体感判定部５０は許容視差下限値δｔと選択された評価領域の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１９）を満足するかどうかを判定する。式（１９）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された主要被写体は観察者にとって立体感を感じることができるため、ステップＳ３０６で主要被写体を立体（３Ｄ）と判定する。逆に、式（１９）を満足しない、つまりＮＯの判定の場合は前述したように抽出された主要被写体は観察者にとって立体感を感じることができないため、ステップＳ３０７で主要被写体を平面（２Ｄ）と判定する。

次にステップＳ３０８において、ステップＳ３０７で主要被写体が平面と判定された場合、視差量算出部４０は、ステップＳ３０２で抽出された背景被写体に対して視差量を算出する。

次にステップＳ３０９（第二の立体感判定ステップ）において、立体感判定部５０は、算出された背景被写体の視差量と主要被写体の視差量とから背景被写体の主要被写体に対する相対的立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値記録部５２から許容視差下限値情報を取得する。次に評価領域選択部５４は、例えば図１７に例示するように抽出した主要被写体の鼻の先を被写体ｉ（第１の被写体）、背景被写体の山を被写体ｋ（第２の被写体）として、視差画像内の評価領域を選択する。次に立体感判定部５０は許容視差下限値δｔと選択された評価領域の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１９）を満足するかどうかを判定する。式（１９）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された背景被写体は主要被写体に対して相対的に立体感を感じることができるため、ステップＳ３１０で書割弊害の発生と判定する。逆に、式（１９）を満足しない、つまりＮＯの判定の場合は前述したように抽出された背景被写体は主要被写体に対して相対的に立体感を感じることができないため、書割弊害は発生せずと判定する。

次にステップＳ３１１において、判定結果記録部６０は、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段２００に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。

また、ステップＳ３０５、Ｓ３０９において、式（１９）を用いて立体感を判定したが、許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正値情報取得部５３により取得される補正項Ｃを用いた式（２２）を用いることがより好ましい。

以上のように視差画像内の主要被写体の立体感と主要被写体に対する背景被写体の相対的立体感を判定することで、前述した立体画像による弊害（書割）の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。

特にフローチャートで示したＳ３０１〜Ｓ３０３の順序はいかようにも入れ替え可能である。

図７は第４の実施例の立体画像処理装置の立体感判定処理動作についてのフローチャートである。なお、第４の実施例の立体画像処理装置は、第３の実施例の立体画像処理装置と同じ構成を有するため立体画像処理装置の説明は省略する。

本実施例の立体画像処理装置の立体感判定処理動作について図７のフローチャートを用いて詳細を説明する。まずステップＳ４０１において画像取得部１０は、例えば撮像手段１００からの立体画像データを取得する。データ取得方法は不図示のＵＳＢケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続（無線通信）も可能である。

次にステップＳ３０２において、被写体抽出部２０は、前ステップで得られた立体画像データに含まれる視差画像内の主要被写体と背景被写体（及び無限遠被写体）を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。また、従来よく知られている顔認識技術を用いて特定人物等の被写体を選択して抽出することも可能である。さらに、任意の画像領域を切りたした部分画像を基準画像（テンプレート画像）として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図１７に示す実線で囲まれた人物を主要被写体、破線で囲まれた山を背景被写体として抽出するものとする。

次にステップＳ４０３において、観察条件取得部３０は、例えば表示手段２００から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。

次にステップＳ４０４において、視差量算出部４０は、ステップＳ４０２で抽出された背景被写体（及び無限遠被写体）に対して視差量を算出する。まず基準画像選択部４１に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部４２に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。次に、視差量算出部４０に、複数箇所にて抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式（３）、式（４）から左右の表示視差Ｐｌ，Ｐｒを算出することで視差量（Ｐｌ−Ｐｒ）を算出することができる。

次にステップＳ４０５（第一の立体感判定ステップ）において、立体感判定部５０は、算出された背景被写体内の視差量から背景被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値記録部５２から許容視差下限値情報を取得する。ここで許容視差下限値δｔとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量（およそ３分）として定義している。次に立体感判定部５０は許容視差下限値δｔと選択された背景被写体の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１６）を満足するかどうかを判定する。式（１６）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができるため、ステップＳ４０６で背景被写体を非壁化と判定する。逆に、式（１６）を満足しない、つまりＮＯの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができないため、ステップＳ４０７で背景被写体を壁化と判定する。

次にステップＳ４０８において、ステップＳ４０７で背景被写体が壁化と判定された場合、視差量算出部４０は、ステップＳ４０２で抽出された主要被写体に対して視差量を算出する。

次にステップＳ４０９（第二の立体感判定ステップ）において、立体感判定部５０は、算出された主要被写体の視差量と背景被写体の視差量とから主要被写体の背景被写体に対する相対的立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値記録部５２から許容視差下限値情報を取得する。次に評価領域選択部５４は、例えば図１７に例示するように抽出した主要被写体の鼻の先を被写体ｉ（第１の被写体）、背景被写体の山を被写体ｋ（第２の被写体）として、視差画像内の評価領域を選択する。次に立体感判定部５０は許容視差下限値δｔと選択された評価領域の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１９）を満足するかどうかを判定する。式（１９）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された主要被写体は背景被写体に対して相対的に立体感を感じることができるため、ステップＳ４１０で箱庭弊害の発生と判定する。逆に、式（１９）を満足しない、つまりＮＯの判定の場合は前述したように抽出された主要被写体は背景被写体に対して相対的に立体感を感じることができないため、箱庭弊害は発生せずと判定する。

次にステップＳ４１１において、判定結果記録部６０は、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段２００に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。

また、ステップＳ４０５、Ｓ４０９において、式（１６）及び式（１９）を用いて立体感を判定したが、許容視差下限値δｔは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正値情報取得部５３により取得される補正項Ｃを用いた式（２２）及び式（２３）を用いることがより好ましい。

以上のように視差画像内の背景被写体の立体感と背景被写体に対する主要被写体の相対的立体感を判定することで、前述した立体画像による弊害（箱庭）の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。

特にフローチャートで示したＳ４０１〜Ｓ４０３の順序はいかようにも入れ替え可能である。

図８は第５の実施例である立体画像撮像装置の構成図である。立体画像撮像装置は、被写体を異なる視点から撮像した視差画像を取得するとともに、弊害のない立体画像観察を実現するために許容視差下限値を用いて撮像する視差画像内被写体の立体感を判定する。１０１ａは右の視差画像用の撮像光学系であり、１０１ｂは左の視差画像用の撮像光学系である。左右の撮像光学系１０１ａ、１０１ｂの光軸間の距離、すなわち基線長は６５ｍｍ程度が好適であるが、表示する立体像に対する立体感の要求に応じて変更することが可能である。左右の撮像素子１０２ａ、１０２ｂはそれぞれ、左右の撮像光学系により形成された被写体像（光学像）を電気信号に変換する。Ａ／Ｄ変換器１０３ａ、１０３ｂは、撮像素子からのアナログ出力信号をデジタル信号に変換して画像処理部１０４に供給する。画像処理部１０４は、Ａ／Ｄ変換器からのデジタル信号に対して画素補間処理や色変換処理等の画像処理を行うことで、画像データとしての左右の視差画像を生成する。また、画像処理部１０４は、視差画像から被写体輝度の情報や撮像光学系の焦点状態（コントラスト状態）を演算し、演算結果をシステムコントローラ１０６に供給する。画像処理部１０４の動作は、システムコントローラ１０６によって制御される。

状態検知部１０７は、撮像光学系１０１ａ、１０１ｂの絞りの開口径や不図示のフォーカスレンズの位置等の撮像状態を検出してシステムコントローラ１０６に検出データを供給する。システムコントローラ１０６は、画像処理部１０４からの演算結果と状態検知部１０７からの撮像状態情報とに基づいて、撮像パラメータ制御部１０５を制御し、絞りの開口径を変化させたりフォーカスレンズを移動させたりする。これにより、自動露出制御やオートフォーカスが行われる。システムコントローラ１０６は、ＣＰＵやＭＰＵ等によって構成され、撮像装置全体の制御を司る。

記録部１０８は、画像処理部１０４により生成された左右の視差画像を記録する。また、左右の視差画像を含む画像ファイルのファイルヘッダを格納する。

画像表示部１０９は、例えば、液晶表示素子とレンチキュラーレンズとにより構成され、レンチキュラーレンズの光学作用によって観察者の左右の眼に左右の視差画像を別々に導くことで、立体像を提示する。

立体画像処理部４は実施例１の立体画像処理装置１と同一構成であるため構成説明は省略する。ここでは立体画像処理装置１と同一構成としたが、もちろん実施例２〜４における構成でも構わない。

次に本実施例の立体画像撮像装置の処理動作について図９のフローチャートを用いて詳細を説明する。まずステップＳ５０１においてシステムコントローラ１０６は、使用者からの撮影信号が入力されると、撮影者所望の撮像光学系の状態に基づき撮像パラメータ制御部１０５を通して撮像光学系１０１ａ、１０１ｂを制御する。ここで使用者からの撮影信号は、例えば不図示のレリーズスイッチを半押し状態とすることで入力されるものとする。次に、システムコントローラ１０６は、撮像素子１０２ａ、１０２ｂに、撮像光学系１０１ａ、１０１ｂによってそれぞれ形成される被写体像を光電変換させる。そして、撮像素子１０２ａ、１０２ｂからの出力をＡ／Ｄ変換器１０３ａ、１０３ｂを介して画像処理部１０４に転送し、画像処理部１０４に左右のプレ視差画像を生成させる。生成されたプレ視差画像を図１に示す立体画像処理装置１と同一構成の立体画像処理部４内の画像取得部１０で取得する。

次にステップＳ５０２において、被写体抽出部２０は、プレ視差画像内の特定被写体を抽出又は選択する。ここでは例えば図１７に示す実線で囲まれた人物被写体を抽出するものとする。

次にステップＳ５０３において、観察条件取得部３０は、観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。

次にステップＳ５０４において、視差量算出部４０は、ステップＳ５０２で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部４１に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部４２に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。次に、視差量算出部４０に、抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。

次にステップＳ５０５（立体感判定ステップ）において、立体感判定部５０は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値情報を取得する。次に立体感判定部５０は、例えば図１７に例示するように抽出した被写体の鼻の先を被写体ｉ、耳を被写体ｊとして、被写体内の評価点を選択する。次に立体感判定部５０は許容視差下限値δｔと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１９）を満足するかどうかを判定する。式（１９）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップＳ５０６で被写体を立体（３Ｄ）と判定する。逆に、式（１９）を満足しない、つまりＮＯの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップＳ５０７で被写体を平面（２Ｄ）と判定する。

次にステップＳ５０８において、ステップＳ５０７で被写体が平面と判定された場合、システムコントローラ１０６は、その判定結果に基づき撮像パラメータ制御部１０５（撮像装置制御部）を通して撮像光学系１０１ａ、１０１ｂを制御する。ここで制御する撮像パラメータとしては、立体感に影響を与える撮像条件である、各撮像光学系の焦点距離、両撮像光学系の光軸間の距離である基線長である。被写体が平面と判定された場合、焦点距離は望遠側（画角が狭まる方向）へ変化させることで被写体の立体感を向上させることができる。また、基線長は光軸間の距離が広がる方向へ変化させることで被写体の立体感を向上させることができる。ステップＳ５０８で制御された撮像パラメータを用いて再びステップＳ５０１に戻り、左右視差画像のプレ撮影を開始する。

次にステップＳ５０９において、最終的にステップＳ５０６で被写体が立体であると判定されれば、不図示のレリーズスイッチの全押しが可能となり、左右視差画像の最終撮影が行われる。

次にステップＳ５１０において、前ステップで撮影された視差画像を画像データファイルに記録する。また、撮影結果を画像表示部１０９に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。

ここでステップＳ５０７において被写体が平面であると判定された場合、使用者の判断で強制的にステップＳ５０９に移行し、最終撮影を行うことができる判定キャンセル機構等を備えておくことも可能である。その場合、被写体が立体として観察できないため、取得画像は２Ｄ画像として観察することが好ましい。

以上のように視差画像内の被写体の立体感を判定することで、前述した立体画像による弊害（壁化、書割効果、箱庭効果）の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影判断を容易に行うことが可能となり、より高品位な立体画像撮像を実現することができる。

特にフローチャートで示したＳ５０１〜Ｓ５０３の順序はいかようにも入れ替え可能である。

図１０は第６の実施例である立体画像撮像装置の構成図である。実施例５と重複する説明は省略する。実施例５と異なる点は、表示制御部１１０をさらに有する点である。表示制御部１１０は、画像表示部１０９に表示する内容について制御する。

立体画像処理部５は実施例１の立体画像処理装置１と同一構成であるため構成説明は省略する。ここでは立体画像処理装置１と同一構成としたが、もちろん実施例２〜４における構成でも構わない。

次に本実施例の立体画像撮像装置の処理動作について図１１のフローチャートを用いて詳細を説明する。まずステップＳ６０１においてシステムコントローラ１０６は、使用者からの撮影信号が入力されると、撮影者所望の撮像光学系の状態に基づき撮像パラメータ制御部１０５を通して撮像光学系１０１ａ、１０１ｂを制御する。ここで使用者からの撮影信号は、例えば不図示のレリーズスイッチを半押し状態とすることで入力されるものとする。次に、システムコントローラ１０６は、撮像素子１０２ａ、１０２ｂに、撮像光学系１０１ａ、１０１ｂによってそれぞれ形成される被写体像を光電変換させる。そして、撮像素子１０２ａ、１０２ｂからの出力をＡ／Ｄ変換器１０３ａ、１０３ｂを介して画像処理部１０４に転送し、画像処理部１０４に左右のプレ視差画像を生成させる。生成されたプレ視差画像を図１に示す立体画像処理装置１と同一構成の立体画像処理部５内の画像取得部１０で取得する。

次にステップＳ６０２において、被写体抽出部２０は、プレ視差画像内の特定被写体を抽出又は選択する。ここでは例えば図１７に示す実線で囲まれた人物被写体を抽出するものとする。

次にステップＳ６０３において、観察条件取得部３０は、観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。

次にステップＳ６０４において、視差量算出部４０は、ステップＳ６０２で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部４１に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部４２に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。次に、視差量算出部４０に、抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。

次にステップＳ６０５（立体感判定ステップ）において、立体感判定部５０は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値情報を取得する。次に立体感判定部５０は、例えば図１７に例示するように抽出した被写体の鼻の先を被写体ｉ、耳を被写体ｊとして、被写体内の評価点を選択する。次に立体感判定部５０は許容視差下限値δｔと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１９）を満足するかどうかを判定する。式（１９）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップＳ６０６で被写体を立体（３Ｄ）と判定する。逆に、式（１９）を満足しない、つまりＮＯの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップＳ６０７で被写体を平面（２Ｄ）と判定する。

次にステップＳ６０８において、ステップＳ６０７で被写体が平面と判定された場合、システムコントローラ１０６は、その判定結果に基づき表示制御部１１０（撮像装置制御部）を通して画像表示部１０９に表示する内容を制御する。ここで表示制御する表示内容としては、各撮像光学系の焦点距離、両撮像光学系の光軸間の距離である基線長をどの様に制御すればよいかといった使用者に対するアドバイス情報である。被写体が平面と判定された場合、焦点距離は望遠側（画角が狭まる方向）へ変化させることで被写体の立体感を向上させることができる。また、基線長は光軸間の距離が広がる方向へ変化させることで被写体の立体感を向上させることができる。ステップＳ６０８で表示制御されたアドバイス情報に基づいて使用者が撮像パラメータを制御し再びステップＳ６０１に戻り、左右視差画像のプレ撮影を開始する。

次にステップＳ６０９において、最終的にステップＳ６０６で被写体が立体であると判定されれば、不図示のレリーズスイッチの全押しが可能となり、左右視差画像の最終撮影が行われる。

次にステップＳ６１０において、前ステップで撮影された視差画像を画像データファイルに記録する。また、撮影結果を画像表示部１０９に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。

ここで本実施例ではステップＳ６０８において、使用者へのアドバイス情報を表示させたが、さらに単純に画像表示部１０９に警告を表示するのみとする制御も可能である。

ここでステップＳ６０７において被写体が平面であると判定された場合、使用者の判断で強制的にステップＳ６０９に移行し、最終撮影を行うことができる判定キャンセル機構等を備えておくことも可能である。その場合、被写体が立体として観察できないため、取得画像は２Ｄ画像として観察することが好ましい。

特にフローチャートで示したＳ６０１〜Ｓ６０３の順序はいかようにも入れ替え可能である。

図１２は第７の実施例である立体画像表示装置６の構成図である。実施例１と重複する説明は省略する。立体画像表示装置６は、被写体を異なる視点から撮像された視差画像を表示する際に、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。

まず図１２を用いて立体画像表示装置６の構成について説明する。画像取得部１０、被写体抽出部２０、観察条件取得部３０、視差量算出部４０、及び立体感判定部５０は、実施例１と同一構成であるため説明を省略する。表示手段２００は、取得した左右の視差画像から観察者が立体視可能な立体画像を表示することができる。例えば右眼画像と左眼画像を１つの画面上に時分割で表示して、この画面時分割に同期させた液晶シャッタメガネを用いて見る方式がある。視距離情報取得部２０１は観察者が表示手段を観察する距離情報を取得する。また、表示制御部２０２は、表示手段２００に表示する内容について制御する。表示パラメータ制御部２０３は表示パラメータを制御する。ここで制御する表示パラメータとしては、表示手段２００の表示サイズ、視差画像の位置を調整するオフセット量である。画像処理部２０４は、一般的な２次元画像や動画に対して従来のＴＶ装置などで行われるエッジ強調や色補正等の画像処理を実施する。

次に本実施例の立体画像表示装置の処理動作について図１３のフローチャートを用いて詳細を説明する。まずステップＳ７０１において画像取得部１０は、撮像手段からの立体画像データを取得する。データ取得方法は不図示のＵＳＢケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続（無線通信）も可能である。

次にステップＳ７０２において、被写体抽出部２０は、立体画像データに含まれる視差画像内の特定被写体を抽出又は選択する。ここでは例えば図１７に示す実線で囲まれた人物被写体を抽出するものとする。

次にステップＳ７０３において、観察条件取得部３０は、観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。ここでさらに、視距離に関しては視距離情報取得部２０１から情報を取得する。視距離情報取得手段としては、例えば表示手段から赤外線等を放射し、その反射波を計測することで観察者の位置を計測する手段などを採用することができる。また、表示手段側に小型の撮像装置を備え、一般的な顔認識技術などで観察者の位置を特定する手段なども採用することが可能である。

次にステップＳ７０４において、視差量算出部４０は、ステップＳ７０２で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部４１に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部４２に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。次に、視差量算出部４０に、抽出された対応点のそれぞれの間の視差量（Ｐｌ−Ｐｒ）を算出させる。

次にステップＳ７０５（立体感判定ステップ）において、立体感判定部５０は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部５１により許容視差下限値情報を取得する。次に立体感判定部５０は、例えば図１７に例示するように抽出した被写体の鼻の先を被写体ｉ、耳を被写体ｊとして、被写体内の評価点を選択する。次に立体感判定部５０は許容視差下限値δｔと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式（１９）を満足するかどうかを判定する。式（１９）を満足する、つまりＹＥＳの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップＳ７０６で被写体を立体（３Ｄ）と判定する。逆に、式（１９）を満足しない、つまりＮＯの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップＳ７０７で被写体を平面（２Ｄ）と判定する。

次にステップＳ７０８において、ステップＳ７０７で被写体が平面と判定された場合、その判定結果に基づき表示制御部２０２（表示装置制御部）が表示手段２００に表示する内容を制御する。ここで表示制御する表示内容としては、立体画像を表示する表示サイズ、観察者と表示手段間の距離である視距離をどうすればよいかといった観察者に対するアドバイス情報である。被写体が平面と判定された場合、表示サイズを大きい方向へ変化させることで被写体の立体感を向上させることができる。また、視距離は表示手段へ近づく方向へ変化させることで被写体の立体感を向上させることができる。ステップＳ７０８で表示制御されたアドバイス情報に基づいて使用者が観察条件を調整又は立体感に影響を与える表示条件を制御する表示パラメータ制御部２０３（表示装置制御部）が自動で補正し、再びステップＳ７０１に戻り制御を開始する。

次にステップＳ７０９において、最終的にステップＳ７０６で被写体が立体であると判定されれば、立体画像の表示が行われる。

ここで本実施例ではステップＳ７０８において、観察者へのアドバイス情報を表示させたが、さらに単純に表示手段２００に警告を表示するのみとする制御も可能である。この場合、観察者に制御を強制するものではなく、そのまま立体画像の表示を行うことも可能である。しかしながら、その場合被写体を立体として観察することができないため、画像は２Ｄ画像として観察することが好ましい。

以上のように視差画像内の被写体の立体感を判定することで、前述した立体画像による弊害（壁化、書割効果、箱庭効果）の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の表示判断を容易に行うことが可能となり、より高品位な立体画像表示を実現することができる。

特にフローチャートで示したＳ７０１〜Ｓ７０３の順序はいかようにも入れ替え可能である。

本発明は、立体画像撮像装置や立体画像表示装置等に好適に利用することができる。

１，２，３立体画像処理装置
１０画像取得部
２０被写体抽出部
４０視差量算出部
５０立体感判定部

本発明の一側面としての立体画像処理装置は、視差画像を取得する画像取得部と、前記画像取得部により取得された視差画像内の少なくとも第１の被写体と第２の被写体を抽出する被写体抽出部と、前記被写体抽出部により抽出された前記第１の被写体と前記第２の被写体の視差量を算出する視差量算出部と、立体画像を表示する時の観察条件を取得する観察条件取得部と、前記視差量算出部により算出された前記第１の被写体と前記第２の被写体の視差量と前記観察条件を用いて、前記第１の被写体と前記第２の被写体の視差量の差が所定の値以上であるとき立体感があると判定し、所定の値未満であるとき立体感がないと判定する立体感判定部と、を有することを特徴とする。

Claims

視差画像を取得する画像取得部と、
前記画像取得部により取得された視差画像内の少なくとも第１の被写体と第２の被写体を抽出する被写体抽出部と、
前記被写体抽出部により抽出された前記第１の被写体と前記第２の被写体の視差量を算出する視差量算出部と、
前記視差量算出部により算出された前記第１の被写体と前記第２の被写体の視差量を用いて、前記第１の被写体と前記第２の被写体の視差量の差が所定の値以上であるとき立体感があると判定し、所定の値未満であるとき立体感がないと判定する立体感判定部と、
を有することを特徴とする立体画像処理装置。
立体画像を表示する時の観察条件を取得する観察条件取得部をさらに有し、
前記立体感判定部は、前記第１の被写体と前記第２の被写体の視差量と前記観察条件を用いて、前記立体感を判定することを特徴とする請求項１に記載の立体画像処理装置。
異なる複数の視点から被写体を撮像して複数の視差画像を取得する撮像手段と、
前記撮像手段により取得された視差画像内の少なくとも第１の被写体と第２の被写体を抽出する被写体抽出部と、
前記被写体抽出部により抽出された前記第１の被写体と前記第２の被写体の視差量を算出する視差量算出部と、
前記視差量算出部により算出された前記第１の被写体と前記第２の被写体の視差量を用いて、前記第１の被写体と前記第２の被写体の視差量の差が所定の値以上であるとき立体感があると判定し、所定の値未満であるとき立体感がないと判定する立体感判定部と、
前記立体感判定部の判定結果に応じて立体画像撮像装置を制御する撮像装置制御部と、
を有することを特徴とする立体画像撮像装置。
立体画像を表示する時の観察条件を取得する観察条件取得部をさらに有し、
前記立体感判定部は、前記第１の被写体と前記第２の被写体の視差量と前記観察条件を用いて、前記立体感を判定することを特徴とする請求項３に記載の立体画像撮像装置。
前記撮像装置制御部は前記立体感に影響を与える撮像条件を制御する撮像パラメータ制御部を有し、
前記視差量算出部は、前記撮像条件に基づいて前記第１の被写体と前記第２の被写体の視差量を算出することを特徴とする請求項３又は４に記載の立体画像撮像装置。
画像表示部をさらに有し、
前記撮像装置制御部は前記立体感判定部の判定結果に応じて前記画像表示部への表示内容を制御する表示制御部を有することを特徴とする請求項３から５のいずれか１項に記載の立体画像撮像装置。
視差画像を取得する画像取得部と、
前記画像取得部により取得された視差画像を表示する画像表示部と、
前記画像取得部により取得された視差画像内の少なくとも第１の被写体と第２の被写体を抽出する被写体抽出部と、
前記被写体抽出部により抽出された前記第１の被写体と前記第２の被写体の視差量を算出する視差量算出部と、
前記視差量算出部により算出された前記第１の被写体と前記第２の被写体の視差量を用いて、前記第１の被写体と前記第２の被写体の視差量の差が所定の値以上であるとき立体感があると判定し、所定の値未満であるとき立体感がないと判定する立体感判定部と、
前記立体感判定部の判定結果に応じて立体画像表示装置を制御する表示装置制御部と、
を有することを特徴とする立体画像表示装置。
立体画像を表示する時の観察条件を取得する観察条件取得部をさらに有し、
前記立体感判定部は、前記第１の被写体と前記第２の被写体の視差量と前記観察条件を用いて、前記立体感を判定することを特徴とする請求項７に記載の立体画像表示装置。
前記表示装置制御部は前記立体感に影響を与える表示条件を制御する表示パラメータ制御部を有し、
前記視差量算出部は、前記表示条件に基づいて前記第１の被写体と前記第２の被写体の視差量を算出することを特徴とする請求項７又は８に記載の立体画像表示装置。
前記表示装置制御部は前記立体感判定部の判定結果に応じて前記画像表示部への表示内容を制御する表示制御部を有することを特徴とする請求項７から９のいずれか１項に記載の立体画像表示装置。