JP2001004370A - 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の物体が重なって見える被写体の複数の
奥行き値を獲得することのできる視差画像撮像装置、視
差画像処理装置、視差画像撮像方法、及び視差画像処理
方法を提供する。 【解決手段】 被写体を見る視点を移動させた場合に得
られる複数の視差画像を順次撮像させる制御部３９と、
制御部３９により撮像された複数の視差画像の特定画素
が、視点の移動に従って複数の視差画像上で移動した軌
跡を表す視差ラインを検出する視差ライン検出部２４
と、特定画素の視差ラインと交差する複数の交差視差ラ
インを抽出し、特定画素の視差ラインの傾き及び交差視
差ラインの傾きに基づいて、特定画素に撮像された被写
体の領域までの複数の距離を算出する距離成分算出部２
８とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる視点から被
写体を見た場合に得られる複数の視差画像に基づいて、
被写体の奥行き値を獲得する視差画像撮像装置、視差画
像処理装置、視差画像撮像方法、及び視差画像処理方法
に関する。特に本発明は、複数の物体が重なって見える
被写体の複数の視差画像に基づいて、被写体の複数の奥
行き値を獲得する視差画像撮像装置、視差画像処理装
置、視差画像撮像方法、及び視差画像処理方法に関す
る。

【０００２】

【従来の技術】画像処理や画像認識の分野において、被
写体の奥行き方向の情報を抽出する手法として、異なる
視点から被写体を見た場合に得られる複数の視差画像を
用いて、視差画像間の視差を検出し、視差から被写体の
奥行き値を計算する方法が一般に取られている。

【０００３】複数の視差画像間の視差を検出するために
は、ある視差画像に撮像された被写体の点が、他の視差
画像のどこに対応しているかを探し出す処理が必要であ
る。この処理は対応点決定（マッチング）処理と呼ばれ
る。対応点が決定されると、被写体の点が、複数の視差
画像上を移動した距離、すなわち視差量が得られる。視
差量が得られると、三角測量の原理より、被写体の点の
奥行き値を計算することができる。

【０００４】また、対応点決定処理を必要としない、被
写体の奥行き測定手法として、ハフ変換処理によって、
複数の視差画像からある奥行きの部分のみの画像を抽出
する手法がある（特開平５−２７２９４２号公報）。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ような方法では、複数の撮像系で立体物を撮像した際、
一方の撮像系では撮像されているが他方の撮像系では撮
像されていない部分、すなわちオクルージョン部が生じ
る場合、このオクルージョン部においては対応点が抽出
できない。したがって、オクルージョン部では、視差を
検出することができず、オクルージョン部を含む被写体
の奥行き値を測定することができないという問題が生じ
ていた。

【０００６】オクルージョン部が存在する場合、被写体
の形状を推定してオクルージョン部の補間処理を行う方
法（特開平６−２６５３２２号公報）や、オクルージョ
ン部や被写体の輪郭付近の視差を、周囲の前景や背景の
視差から推定する方法（特開平１０−１９１３９６号公
報）がある。これらの方法は、視差画像から計算される
被写体の点の奥行き値は一つであるという前提で視差を
計算する。

【０００７】しかし、複数の物体が重なって見える被写
体の場合、被写体のある点の奥行き値は一つであると考
えるよりも、複数の値を持つと考える方が適切であるこ
とが多い。たとえば、木の枝の間を通して向こう側に物
体が見える場合、窓のブラインド越しに外の景色が見え
る場合、又は半透明のガラスを通して物体を透かして見
た場合に、重なり合った部分の被写体の領域は、前景と
背景の複数の奥行き値を同時に持つ。

【０００８】このような複数の物体が重なって見える被
写体の視差画像を撮像すると、オクルージョン部が多数
発生し、対応点の検出が著しく困難になる。このような
場合、被写体のある点の奥行き値がただ一つであるとい
う前提で、視差の推定処理を進めると、正しい視差を検
出できず、したがって被写体の正しい奥行き値が得られ
ないことが多い。

【０００９】そこで本発明は、上記の課題を解決するた
めに、複数の物体が重なって見える被写体を撮像する場
合、被写体の複数の奥行き値を正確に獲得することので
きる視差画像撮像装置、視差画像処理装置、視差画像撮
像方法、及び視差画像処理方法を提供することを目的と
する。この目的は特許請求の範囲における独立項に記載
の特徴の組み合わせにより達成される。また従属項は本
発明の更なる有利な具体例を規定する。

【００１０】

【課題を解決するための手段】即ち、本発明の第１の形
態における視差画像撮像装置は、被写体の奥行きに関す
る情報を獲得する視差画像撮像装置であって、被写体を
見る視点を移動させた場合に得られる複数の視差画像を
順次撮像させる制御部と、制御部により撮像された複数
の視差画像の特定の画素が、視点の移動方向及び移動量
に従って、複数の視差画像上で移動した軌跡を表す視差
ラインを検出する視差ライン検出部と、特定の画素の視
差ラインと交差する複数の交差視差ラインを抽出し、特
定の画素の視差ラインの傾き及び複数の交差視差ライン
の傾きに基づいて、特定の画素に撮像された被写体の領
域までの複数の距離を算出する距離成分算出部とを備え
たことを特徴とする。

【００１１】被写体を結像する第１の光学結像部と、複
数の受光素子が配置され、第１の光学結像部により被写
体の複数の視差画像が撮像される第１の受光部と、第１
の光学結像部を移動させる駆動部とをさらに備え、制御
部が視点の移動方向及び移動量を指定し、駆動部は移動
方向及び移動量に基づいて第１の光学結像部を移動させ
てもよい。

【００１２】視差ライン検出部は、制御部が指定する視
点の移動方向と略同一の方向に、制御部が指定する視点
の移動量だけ、特定の画素の軌跡を追跡することによ
り、視差ラインを検出してもよい。

【００１３】視点の移動方向及び移動量を検出する視点
移動検出部をさらに備え、視差ライン検出部は、視点移
動検出部が検出した視点の移動方向と略同一の方向に、
視点移動検出部が検出した視点の移動量だけ、特定の画
素の軌跡を追跡することにより、視差ラインを検出して
もよい。

【００１４】視点移動検出部が、方向センサー及び加速
度センサーの少なくとも一方を有し、視点の移動方向及
び移動量を、方向センサー及び加速度センサーの少なく
とも一方によって検出してもよい。

【００１５】視点移動検出部は、複数の視差画像の特定
の領域が、複数の視差画像上で移動した移動方向及び移
動量を検出することによって、視点の移動方向及び移動
量を検出してもよい。

【００１６】被写体を結像する第２の光学結像部と、第
２の光学結像部により被写体の画像が撮像される第２の
受光部と、第１の受光部に撮像された複数の視差画像、
距離算出部が算出した複数の距離、及び第２の受光部に
撮像された被写体の画像を記録する記録部とをさらに備
え、制御部が、距離成分算出部が算出した複数の距離に
基づいて、第２の光学結像部のフォーカス、絞り、及び
第２の受光部の露光時間の少なくとも一つを制御しても
よい。

【００１７】第１の光学結像部により被写体の画像が撮
像される第２の受光部と、第１の受光部に撮像された複
数の視差画像、距離算出部が算出した複数の距離、及び
第２の受光部に撮像された被写体の画像を記録する記録
部とをさらに備え、制御部が、距離成分算出部が算出し
た複数の距離に基づいて、第１の光学結像部のフォーカ
ス、絞り、及び第２の受光部の露光時間の少なくとも一
つを制御してもよい。

【００１８】本発明の第２の形態における視差画像処理
装置は、被写体の奥行きに関する情報を算出する視差画
像処理装置であって、被写体の画像及び被写体を見る視
点を移動させた場合に得られる複数の視差画像を入力す
る視差画像入力部と、複数の視差画像の特定の画素が、
視点の移動方向及び移動量に従って、複数の視差画像上
で移動した軌跡を表す視差ラインを検出する視差ライン
検出部と、特定の画素の視差ラインと交差する複数の交
差視差ラインを抽出し、特定の画素の視差ラインの傾き
及び複数の交差視差ラインの傾きに基づいて、特定の画
素に撮像された被写体の領域までの複数の距離を算出す
る距離成分算出部と、距離成分算出部が算出した複数の
距離に基づいて、被写体の画像を処理する画像処理部
と、画像処理部が作成して得られた画像を出力する画像
出力部とを備えたことを特徴とする。

【００１９】視点の移動方向及び移動量を検出する視点
移動検出部をさらに備え、視差ライン検出部は、視点移
動検出部が検出した視点の移動方向と略同一の方向に、
視点移動検出部が検出した視点の移動量だけ、特定の画
素の軌跡を追跡することにより、視差ラインを検出して
もよい。

【００２０】視点移動検出部は、複数の視差画像の特定
の領域が、複数の視差画像上で移動した移動方向及び移
動量を検出することによって、視点の移動方向及び移動
量を検出してもよい。

【００２１】本発明の第３の形態における記録媒体は、
被写体の奥行きに関する情報を算出するコンピュータ用
のプログラムを格納した記録媒体であって、プログラム
が、コンピュータに働きかけて、被写体の画像及び被写
体を見る視点を移動させた場合に得られる複数の視差画
像を入力させる視差画像入力モジュールと、コンピュー
タに働きかけて、被写体の画像及び複数の視差画像を記
憶させる視差画像記憶モジュールと、コンピュータに働
きかけて、複数の視差画像の特定の画素が、視点の移動
方向及び移動量に従って、複数の視差画像上で移動した
軌跡を表す視差ラインを検出させる視差ライン検出モジ
ュールと、コンピュータに働きかけて、特定の画素の視
差ラインと交差する複数の交差視差ラインを抽出し、特
定の画素の視差ラインの傾き及び複数の交差視差ライン
の傾きに基づいて、特定の画素に撮像された被写体の領
域までの複数の距離を算出させる距離成分算出モジュー
ルと、コンピュータに働きかけて、距離成分算出モジュ
ールが算出した複数の距離に基づいて、被写体の画像を
処理させる画像処理モジュールと、コンピュータに働き
かけて、画像処理モジュールが作成して得られた画像を
出力させる画像出力モジュールとを備えたことを特徴と
する。

【００２２】プログラムが、コンピュータに働きかけ
て、視点の移動方向及び移動量を検出させる視点移動検
出モジュールをさらに備え、視差ライン検出モジュール
は、視点移動検出モジュールが検出した視点の移動方向
と略同一の方向に、視点移動検出モジュールが検出した
視点の移動量だけ、特定の画素の軌跡を追跡することに
より、視差ラインを検出してもよい。

【００２３】視点移動検出モジュールは、複数の視差画
像の特定の領域が、複数の視差画像上で移動した移動方
向及び移動量を検出することによって、視点の移動方向
及び移動量を検出させてもよい。

【００２４】本発明の第３の形態における視差画像処理
方法は、被写体の奥行きに関する情報を算出する視差画
像処理方法であって、被写体の画像及び被写体を見る視
点を移動させた場合に得られる複数の視差画像を入力
し、複数の視差画像の特定の画素が、視点の移動方向及
び移動量に従って、複数の視差画像上で移動した軌跡を
表す視差ラインを検出し、特定の画素の視差ラインと交
差する複数の交差視差ラインを抽出し、特定の画素の視
差ラインの傾き及び複数の交差視差ラインの傾きに基づ
いて、特定の画素に撮像された被写体の領域までの複数
の距離を算出することを特徴とする。

【００２５】本発明の第４の形態における視差画像処理
方法は、被写体の奥行きに関する情報を獲得する視差画
像撮像方法であって、被写体を見る視点を移動させた場
合に得られる複数の視差画像を撮像し、複数の視差画像
の特定の画素が、視点の移動方向及び移動量に従って、
複数の視差画像上で移動した軌跡を表す視差ラインを検
出し、特定の画素の視差ラインと交差する複数の交差視
差ラインを抽出し、特定の画素の視差ラインの傾き及び
複数の交差視差ラインの傾きに基づいて、特定の画素に
撮像された被写体の領域までの複数の距離を算出し、距
離算出部が算出した複数の距離に基づいて、被写体を撮
像するときの撮影条件を調整し、被写体を撮影条件で撮
像することを特徴とする。

【００２６】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。

【００２７】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、また、実施形態
の中で説明されている特徴の組み合わせの全てが発明の
解決手段に必須であるとは限らない。

【００２８】（実施形態１）図１は、本発明の第１の実
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、光学結像部１２
と、カラーフィルター１９と、受光部２０と、レンズ５
２と、絞り５４と、シャッター５６と、カラーフィルタ
ー５８と、ＣＣＤ（電荷結合素子）６０と、マルチプレ
クサー３２と、Ａ／Ｄ変換部３４と、メモリ３６と、距
離計算部３８と、制御部３９と、記録部４０と、駆動部
４２とを有する。

【００２９】レンズ５２は被写体を結像し、絞り５４は
絞り量を調整し、シャッター５６は露光時間を調整す
る。カラーフィルター５８はレンズ５２を通して受光さ
れる光のＲＧＢ成分を分解する。ＣＣＤ６０はレンズ５
２によって結像された被写体の画像を受光して、電気信
号に変換し、マルチプレクサー３２に出力する。

【００３０】光学結像部１２は被写体の視差画像を結像
する。カラーフィルター１９は光学結像部１２を通して
受光される光のＲＧＢ成分を分解する。受光部２０は光
学結像部１２によって結像された被写体の画像を受光し
て、電気信号に変換し、マルチプレクサー３２に出力す
る。

【００３１】受光部２０は、複数の受光素子がマトリッ
クス状に配置され、光学結像部により被写体が結像され
る。カラーフィルター１９は受光部２０の表面を覆い、
光のＲＧＢ成分を透過させ、受光部２０の受光素子に受
光させる。受光部２０の受光素子は、たとえばＣＣＤ
（電荷結合素子）のような光電変換素子であってもよ
く、受光部２０は、複数のＣＣＤが配列された光電変換
撮像体であってもよい。

【００３２】駆動部４２は、制御部３９によって指定さ
れた視点の移動方向及び移動量に基づいて、光学結像部
１２を移動させる。これにより、光学結像部１２は被写
体を異なる視点から見た場合に得られる視差画像を受光
部２０に結像する。

【００３３】マルチプレクサー３２は、受光部２０また
はＣＣＤ６０の出力信号のどちらかを選択し、Ａ／Ｄ変
換部３４に出力する。Ａ／Ｄ変換部３４は入力されたア
ナログ信号をデジタル信号に変換し、メモリ３６に出力
する。メモリ３６は入力されたデジタル信号を格納す
る。メモリ３６は、レンズ５２がＣＣＤ６０に撮像した
被写体の画像、及び光学結像部１２が撮像した被写体の
視差画像を記憶する。

【００３４】距離計算部３８はメモリ３６から視差画像
を読み出し、視差画像に基づいて、視差画像の任意の画
素について、当該カメラからその画素に撮像された被写
体の領域までの距離を計算し、視差画像の全領域につい
て距離を格納した被写体の距離分布情報を出力する。特
に重なりのある複数の物体を撮像した場合や、半透明の
ガラスを通して被写体を撮像した場合には、距離計算部
３８は、首位差画像の画像の特定の画素について、複数
の距離成分を計算する。

【００３５】制御部３９は、所望の視差画像を撮像する
ために、視点の移動方向及び移動量を指定して、駆動部
４２を制御する。制御部３９はまた、メモリ３６から読
み出した被写体の画像の色情報、明度、彩度、及び距離
計算部３８が出力した被写体の距離分布情報に基づい
て、レンズ５２のフォーカス、絞り５４の絞り量及びシ
ャッター５６の露光時間の少なくとも一つを制御する。

【００３６】記録部４０は、メモリ３６から読み出した
被写体の画像及び距離計算部３８が出力した被写体の距
離情報を記録する。記録部４０はフロッピィディスクの
ような磁気記録媒体やフラッシュメモリのような不揮発
性メモリであってもよい。

【００３７】本実施形態のカメラによれば、複数の物体
が重なって見える被写体を撮像する場合、被写体の複数
の奥行き値を獲得することができる。このため、被写体
の複数の奥行き値のいずれかに基づいて、カメラのフォ
ーカス、絞り、露光時間などの撮影条件を合わせて、被
写体を撮像することができる。たとえば、木の枝の間を
通して向こう側に物体が見える場合や、窓のブラインド
越しに外の景色が見える場合に、被写体を撮像すると
き、前景と背景の両方の奥行き値を獲得できる。このた
め、たとえば、前景又は背景のみにフォーカスを合わせ
たり、前景と背景の両方が鮮明に写るように被写界深度
を調整することができる。

【００３８】また、半透明のショーウインドウを通して
ショーウインドウ内にある物体を撮影する場合や、電車
や自動車などの車窓から外の風景を撮影する場合、ショ
ーウインドウのガラスの模様や、車窓のガラスに映り込
んだ撮影者の姿が同時にカメラに撮像される。このよう
な場合でも、本実施形態のカメラによれば、ガラスの向
こう側の物体とガラス上の物体の両方の奥行き値を獲得
できる。そのため、たとえば、ガラスの向こう側に見え
る物体や景色に合わせて、撮影条件を調整し、被写体を
撮像することができる。

【００３９】また、平面鏡に映された被写体を撮像する
場合、鏡に映された被写体であっても、鏡の反対側に被
写体の虚像があると想定して、被写体の奥行きを検出す
ることができる。したがって本実施形態のカメラは、平
面鏡に映された被写体の奥行き値を獲得するためにも用
いることができる。

【００４０】また、本実施形態のカメラでは、被写体を
撮像する光学系と、視差画像を撮像する光学系を有する
が、実施形態はこれに限られない。レンズ５２、カラー
フィルター５８、ＣＣＤ６０に、それぞれ光学結像部１
２、カラーフィルター１９、受光部２０の機能を兼ねさ
せ、被写体を撮像する光学系と、視差画像を撮像する光
学系を共通にし、同一の光学系を用いて、被写体の撮像
と視差画像の撮像を行ってもよい。

【００４１】図２は、光学結像部１２を移動させた場合
に撮像される視差画像の説明図である。図２において、
前景８０及び背景９０は、複数の物体が重なって見える
被写体の一例である。光学結像部１２を移動面２に沿っ
て移動させた場合に、結像面４には、被写体の視差画像
が撮像される。

【００４２】光学結像部１２から結像面４までの距離
（焦点距離）をＦ、光学結像部１２から前景８０までの
距離をＲ０、光学結像部１２から背景９０までの距離を
Ｒ１とする。光学結像部１２を１２ａの位置から１２ｂ
の位置へ移動させたときの移動距離（視点間隔）をＬと
する。

【００４３】光学結像部１２が移動面２の１２ａの位置
にあるとき、前景８０の点８１、８３、８５は、結像面
４のそれぞれ８１ａ、８３ａ、８５ａの位置に撮像され
る。また背景９０の点９１、９３、９５は、結像面４の
それぞれ９１ａ、９３ａ、９５ａの位置に撮像される。

【００４４】光学結像部１２が移動面２の１２ｂの位置
にあるとき、前景８０の点８１、８３、８５は、結像面
４のそれぞれ８１ｂ、８３ｂ、８５ｂの位置に撮像され
る。また背景９０の点９１、９５は、結像面４のそれぞ
れ９１ｂ、９５ｂの位置に撮像される。しかし背景９０
の領域９３は、ちょうど前景８０の陰に隠れ、前景８０
の領域８１の像８１ｂと重なるため、結像面４には撮像
されない。

【００４５】光学結像部１２が１２ａの位置にあると
き、結像面４に撮像された視差画像を基準画像と呼び、
光学結像部１２が１２ｂの位置にあるとき、結像面に撮
像された視差画像を参照画像と呼ぶ。基準画像の特定の
位置にある画素を基準点とし、基準点に撮像された被写
体の同一の点が撮像されている参照画像の画素を参照点
と呼ぶ。基準画像における基準点の位置と、参照画像に
おける参照点の位置には一定のずれがある。このずれを
視差量と呼ぶ。視差量は基準画像のすべての画素に対し
て定義される。

【００４６】図３は、図２に示した光学結像部１２を移
動面２に沿って移動しながら、前景８０及び背景９０を
撮像した場合に、前景８０及び背景９０の結像面におけ
る像が視差画像上で移動した軌跡を示すグラフである。
グラフの横軸は結像位置を示し、縦軸は光学結像部１２
を移動させた距離（視点間隔）を示す。

【００４７】図３において、視点間隔Ｌだけ離れた視点
から撮像した基準画像及び参照画像を比較すると、背景
９０の点９５の像は９５ａから９５ｂへ移動する。点９
５の像の移動した軌跡を表す線を視差ラインと呼ぶ。９
５ａと９５ｂの結像位置のずれ、すなわち視差量はｄ１
である。このとき、背景９０の点９５の距離Ｒ１は、視
点間隔Ｌ、焦点距離Ｆを用いて、式Ｒ１＝Ｆ×Ｌ／ｄ１
によって計算できる。ここでＫ１＝Ｌ／ｄ１とおくと、
Ｋ１は基準点９５ａについての視差ラインの傾きであ
り、Ｒ１＝Ｆ×Ｋ１とかける。

【００４８】また前景８０の点８５の像は８５ａから８
５ｂへ移動する。８５ａと８５ｂの結像位置のずれ、す
なわち視差量はｄ０である。このとき、前景８０の点８
５の距離Ｒ０は、式Ｒ０＝Ｆ×Ｌ／ｄ０によって計算で
きる。視差ラインの傾きをＫ０＝Ｌ／ｄ０とおくと、Ｒ
０＝Ｆ×Ｋ０とかける。

【００４９】一般に、基準画像のある画素を基準点とし
て、基準点に対する参照画像の対応点を探し出し、視差
ラインを抽出し、視差ラインの傾きＫを求めれば、基準
点に撮像された被写体の点の距離Ｒは、式Ｒ＝Ｆ×Ｋに
よって求めることができる。

【００５０】ここで、基準画像の前景８０における点８
１の像８１ａを基準点とすると、参照画像における対応
する参照点は像８１ｂであり、前述のように視差量ｄ０
を検出することができる。しかし基準画像の背景９０に
おける点９３の像９３ａを基準点とすると、参照画像に
おける参照点は参照画像には存在せず（像８１ｂと重な
る）、視差量を検出することができない。この場合、基
準点の８１ａ、９３ａの両方に対して、参照点８１ｂが
対応していると考えることもできる。このように前景と
背景の境界でオクルージョン部が発生する場合、視差量
として、参照点８１ｂを基準点９３ａに対応させた時の
視差量ｄ１と、参照点８１ｂを基準点８１ａに対応させ
た時の視差量ｄ０の二つが存在する。

【００５１】従来の視差量の算出方法では、このような
場合、どちらかの被写体の点の奥行き値はただ一つであ
るという前提で視差量を検出するため、どちらか一方の
視差量を選択しなければならなかった。そのため、たと
えば参照点８１ｂを基準点９３ａに過って対応させた場
合、前景８０の点８１の視差量をｄ１と検出し、点８１
の距離をＲ１と計算する。

【００５２】従来の視差量算出方法では、被写体の画像
に複数の奥行き値があっても、他の奥行き値を捨ててい
た。そのため、複数の物体が複雑に重なり合って見える
被写体の奥行きを獲得する際、画素の奥行き情報の多く
を破棄することになる。これは、被写体の画像の画像処
理をする際、被写体の奥行き情報が少なくなり、適正な
画像処理が困難になるという問題を生じさせる。

【００５３】そこで、本発明では、被写体のある領域に
ついて視差を求める場合に、被写体のその領域内の画素
について、傾きの異なる視差ラインが検出された時、被
写体のその領域は、複数の物体が重なり合っていると判
断し、その領域の画素については、複数の奥行き値を求
める。たとえば、図３において、点８１には距離Ｒ０と
Ｒ１の両方の奥行き値が算出される。

【００５４】このようにして、本実施形態のカメラによ
れば、複数の物体が複雑に重なって見える被写体を撮像
する場合でも、被写体の複数の奥行き値を求めることが
でき、被写体の奥行きに関する豊富な情報を獲得するこ
とができる。

【００５５】図４は、メモリ３６及び距離計算部３８の
構成図である。図４を用いて、本実施形態のメモリ３６
及び距離計算部３８が、複数の視差画像から被写体の距
離分布情報を作成する動作を説明する。図４では、マル
チプレクサー３２とＡ／Ｄ変換部３４を省略するが、実
際の動作では、受光部２０に撮像された画像は、マルチ
プレクサー３２を介してＡ／Ｄ変換部３４に送られ、デ
ジタル信号に変換されてからメモリ３６に格納される。

【００５６】図４において、メモリ３６は、受光部２０
に撮像された被写体の複数の視差画像３７を格納する。
距離計算部３８は、視差画像の各画素の視差ラインを検
出する視差ライン検出部２４と、視差ライン検出部２４
が検出した視差ラインから視差画像の各画素について距
離成分を算出する距離成分算出部２８とを有する。

【００５７】以下、一例として、図４に示した被写体
Ａ、Ｂ及びＣの視差画像を撮像した場合について、メモ
リ３６、視差ライン検出部２４及び距離成分算出部２８
の動作を説明する。

【００５８】光学結像部１２から被写体Ａ、Ｂ、Ｃまで
の距離はそれぞれＲ１、Ｒ２、Ｒ３である。被写体Ｃは
被写体Ａの後部にあるが、被写体Ａの隙間から一部を見
ることができる。メモリ３６は、光学結像部１２を移動
させた時に受光部２０に撮像される被写体Ａ、Ｂ及びＣ
の複数の視差画像３７を格納する。

【００５９】視差ライン検出部２４は、メモリ３６から
視差画像３７を読み出し、視差画像３７の一つを基準画
像とし、他の視差画像３７を参照画像とする。被写体
Ａ、Ｂ及びＣが撮像されている基準画像のそれぞれの領
域について、ある画素を基準点とした場合、その基準点
に対応する参照画像中の参照点を検出する。参照点の検
出には、従来の対応点決定（マッチング）処理を用い
る。基準点と複数の参照点が検出されると、基準画像の
参照点が画像上で移動した軌跡を表す視差ラインを検出
することができる。

【００６０】距離成分算出部２８は、被写体Ａ、Ｂ及び
Ｃが撮像されている基準画像のそれぞれの領域のすべて
の画素について、視差ライン検出部２４が検出した視差
ラインの傾きを検出する。

【００６１】被写体Ａ、Ｂが重なって撮像されている基
準画像の領域では、傾きの異なる二つの視差ラインが存
在する。交差する視差ラインを有する基準画像の画素に
ついて、視差ラインの傾き成分として二つのＫ１、Ｋ２
が検出され、距離成分Ｒ１、Ｒ２が、式Ｒ１＝Ｆ×Ｋ
１、Ｒ２＝Ｆ×Ｋ２によって求められる。交差する視差
ラインを有しない基準画像の画素については、Ｒ１又は
Ｒ２のいずれか一つの距離成分だけが求められる。

【００６２】被写体Ｃが撮像されている基準画像の領域
では、視差ラインの傾きとして、ただ一つの傾き成分Ｋ
３だけが検出され、距離成分Ｒ３が、式Ｒ３＝Ｆ×Ｋ３
によって求められる。

【００６３】距離成分算出部２８は、被写体Ａ、Ｂ、Ｃ
が撮像されている基準画像のすべての画素に関する距離
成分を格納した距離分布情報３０を出力する。

【００６４】このように距離計算部３８は、一般に、複
数の物体が重なって見える被写体を撮像した場合、被写
体の奥行き値として、複数の距離成分を算出する。

【００６５】上記では、基準点に対応する参照点を探す
対応点決定方法に基づいて、視差ラインを検出し、視差
ラインの傾き成分を抽出し、複数の距離成分を求めた
が、距離成分の検出方法はこの方法に限られない。たと
えば、画像をハフ変換処理することによって、視差ライ
ンの特定の傾き成分を抽出し、距離成分を算出してもよ
い。

【００６６】図５は、複数の視差画像から被写体の距離
分布情報を求める処理のフローチャートである。

【００６７】視差ライン検出部２４は、Ｓ１００からＳ
１１０までの処理を行う。複数の視差画像を入力し、い
ずれか一つの視差画像を基準画像、他の視差画像を参照
画像とする（Ｓ１００）。基準画像の特定領域を選択し
（Ｓ１０２）、特定領域内の特定画素を基準点として選
択する（Ｓ１０４）。参照画像内に基準点に対応する参
照点を検出し（Ｓ１０６）、基準点と参照点を結ぶ視差
ラインを抽出する（Ｓ１０８）。特定領域内のすべての
画素について、視差ラインを抽出したかどうかを判定し
（Ｓ１１０）、そうでないなら、Ｓ１０４の処理に戻
り、他の特定画素を選択して、Ｓ１０６及びＳ１０８の
処理を繰り返す。特定領域内のすべての画素について、
視差ラインを抽出したなら、Ｓ１１２の処理に進む。

【００６８】距離成分算出部２８は、Ｓ１１２からＳ１
２０までの処理を行う。特定領域内の特定画素の視差ラ
インを選択し（Ｓ１１２）、特定画素の視差ラインと交
差する他の視差ラインを検出する（Ｓ１１４）、特定画
素の視差ラインの傾きＫ１及び交差するすべての視差ラ
インの傾きＫ２、…、Ｋｎを検出し、特定画素の距離成
分Ｒ１、Ｒ２、…、Ｒｎを式Ｒｉ＝Ｆ×Ｋｉ（ｉ＝１，
…、ｎ）によって算出する（Ｓ１１６）。ここでＦは焦
点距離である。交差する視差ラインがない場合は、距離
成分はＲ１のみである。特定領域内のすべての画素につ
いて、距離成分を算出したかどうかを判定し（Ｓ１１
８）、そうでないなら、Ｓ１１２の処理に戻り、他の特
定画素の視差ラインを選択して、Ｓ１１４及びＳ１１６
の処理を繰り返す。特定領域内のすべての画素につい
て、距離成分を算出したなら、基準画像の特定領域の距
離分布情報を出力する（Ｓ１２０）。

【００６９】図６は、本実施形態の制御部３９の動作を
示すフローチャートである。制御部３９が視点の移動方
向及び移動量を指定し（Ｓ２００）、駆動部４２が光学
結像部１２を指定された移動方向及び移動量に基づいて
移動させ、受光部２０に視差画像を撮像させる（Ｓ２０
２）。

【００７０】制御部３９がマルチプレクサー３２を制御
して、受光部２０に撮像された視差画像を順次メモリ３
６に格納させる（Ｓ２０４）。距離計算部３８がメモリ
３６から視差画像を読み取り、被写体の距離分布情報を
算出する（Ｓ２０６）。制御部３９は、カメラの撮影モ
ードが前景優先であれば（Ｓ２０８）、被写体の距離分
布情報から最短距離成分を選択し（Ｓ２１０）、撮影モ
ードが背景優先であれば（Ｓ２１２）、被写体の距離分
布情報から最長距離成分を選択し（Ｓ２１４）、カメラ
の撮影モードがそれ以外であれば、被写体の距離分布情
報から最多距離成分を選択する（Ｓ２１６）。

【００７１】制御部３９は、選択された距離成分と、被
写体の画像の色分布、輝度分布、テクスチャ分布等の情
報に基づいて、レンズ５２のフォーカス、絞り５４の絞
り量、シャッター５６の露光時間等の撮影条件を設定し
（Ｓ２１８）、被写体をＣＣＤ６０に撮像させる（Ｓ２
２０）。

【００７２】尚、上述のカメラの撮影モード及び距離分
布成分の選択は、カメラの撮影条件の一例を示すもので
あって、実施形態はこれに限られない。

【００７３】（実施形態２）図７は、本発明の第２の実
施形態に係る視差画像処理装置の一例としてのカメラの
構成図である。本実施形態のカメラは、図１に示した第
１の実施形態のカメラと比べて、駆動部４２が省かれ、
方向センサー４４及び加速度センサー４６を有する点だ
けが異なる。図１と同一の符号を付したものについて
は、第１の実施形態と同じであるから説明を省略する。

【００７４】本実施形態では、光学結像部１２を駆動さ
せないが、当該カメラを移動させた場合に、方向センサ
ー４４及び加速度センサー４６がカメラの移動方向と移
動距離を測定することができる。

【００７５】本実施形態によれば、撮影者がカメラを手
動で移動させた場合、方向センサー４４及び加速度セン
サー４６の少なくとも一つが、カメラの移動方向と移動
距離を検出し、視差を算出することができる。

【００７６】（実施形態３）図８は、本発明の第３の実
施形態に係る視差画像処理装置の一例としてのデジタル
ラボシステムの構成図である。本実施形態のデジタルラ
ボシステムは、視差画像入力部７０と、視差画像処理部
７４と、画像処理部７６と、画像出力部７８とを有す
る。

【００７７】視差画像処理部７４は、メモリ３６と、距
離計算部３８を有し、これらは第１の実施形態のメモリ
３６及び距離計算部３８と同じ構成と動作であるから、
説明を省略する。視差画像処理部７４はＣＰＵ、メモ
リ、記録媒体を有するコンピュータであってもよい。

【００７８】視差画像処理部７４は、視点移動検出部を
さらに備えてもよく、視点移動検出部は、複数の視差画
像から視点の移動方向及び移動量を読みとる。視点の移
動方向及び移動量は予め視差画像に書き込まれていても
よい。また複数の視差画像に基づいて、画像処理によっ
て視点の移動方向を調べてもよい。たとえば、視差画像
の特定の領域が、視差画像上で移動した移動方向を検出
することにより、視点の移動方向を検出することができ
る。

【００７９】視差画像入力部７０は、被写体の画像及び
被写体の複数の視差画像を入力する。視差画像入力部７
０は写真又は感光フィルムを読みとりデジタル信号に置
き換えるスキャナ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどの
記録媒体から画像データを読みとる読み込み装置であっ
てもよい。

【００８０】画像処理部７６は、被写体の画像、及び距
離計算部３８が出力した被写体の距離分布情報を用い
て、被写体の画像を処理する。

【００８１】画像出力部７８は、画像処理部７６が作成
して得られた画像を出力する。画像出力部７８は、現像
機又はプリンタであってもよい。

【００８２】本実施形態のデジタルラボシステムでは、
被写体の複数の視差画像を用いて、被写体の距離分布情
報を獲得する。被写体の奥行き情報を利用して、被写体
を撮像したネガフィルムや写真に対して、被写体の濃度
やコントラストを自動補正したり、主要被写体を抽出し
て、主要被写体の濃度やコントラストを部分補正するな
ど、より美しい被写体の画像を再構成することができ
る。

【００８３】特に、複数の物体が重なって見える被写体
を撮像した場合、重なって見える被写体の領域について
は、複数の奥行き値を有するので、主要被写体と背景を
区別して、画像の色補正を行ったり、前景または背景だ
けの画像を切り出して再構成するなど、より高度な画像
処理が可能である。

【００８４】（実施形態４）図９は、本発明の第４の実
施形態に係るコンピュータ用のプログラムの機能構成図
である。図９において、コンピュータ１８０は、視差画
像入力モジュール１８４と、視差画像記憶モジュール１
８６と、視差ライン検出モジュール１８８と、距離成分
算出モジュール１９０と、画像処理モジュール１９２
と、画像出力モジュール１９４とを有する。これらの機
能構成は、記録媒体１８２に格納されたプログラムによ
ってソフトウエアとして提供されてもよい。

【００８５】視差画像入力モジュール１８４は、被写体
の画像及び被写体を異なる視点から見た場合に得られる
複数の視差画像を入力する。視差画像入力モジュール１
８４は、スキャナなどの画像読み取り装置や、ＣＤ−Ｒ
ＯＭなどの記憶デバイスから画像を読み込んでもよい。
視差画像記憶モジュール１８６は、被写体の画像及び複
数の視差画像を記憶する。

【００８６】視差ライン検出モジュール１８８は、複数
の視差画像の特定の画素が、視点の移動方向及び移動量
に従って、複数の視差画像上で移動した軌跡を表す視差
ラインを検出する。

【００８７】視差ライン検出モジュール１８８は、視点
移動検出モジュールをさらに備えてもよく、視点移動検
出モジュールは、複数の視差画像から視点の移動方向及
び移動量を読みとる。視点の移動方向及び移動量は予め
視差画像に書き込まれていてもよい。また複数の視差画
像に基づいて、画像処理によって視点の移動方向を調べ
てもよい。たとえば、視差画像の特定の領域が、視差画
像上で移動した移動方向を検出することにより、視点の
移動方向を検出することができる。

【００８８】距離成分算出モジュール１９０は、特定の
画素の視差ラインと交差する複数の交差視差ラインを抽
出し、特定の画素の視差ラインの傾き及び複数の交差視
差ラインの傾きに基づいて、特定の画素に撮像された被
写体の領域までの複数の距離を算出する。

【００８９】視差ラインの検出方法、距離分布の算出方
法は第１の実施形態と同じであるから説明を省略する。

【００９０】画像処理モジュール１９２は、距離成分算
出モジュール１９０が算出した距離分布情報を用いて、
被写体の画像に画像処理を施す。

【００９１】画像出力モジュール１９４は、画像処理モ
ジュール１９２が作成した画像をコンピュータに接続さ
れたディスプレイに出力する。画像出力モジュール１９
４は、画像処理モジュール１９２が作成した画像をプリ
ンタに出力してもよい。

【００９２】本実施形態の記録媒体に格納されたプログ
ラムによれば、被写体の複数の視差画像から被写体の距
離分布情報を獲得できる。特に複数の物体が重なって見
える被写体を撮像した画像の場合、被写体の複数の奥行
き値を用いることができる。そのため、たとえば、被写
体の前景と背景を別々に切り出した被写体の分離画像
や、重なって見える物体を別々に切り出して作成した被
写体の立体フレームモデルなどを作成できる。

【００９３】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。

【００９４】

【発明の効果】上記説明から明らかなように、本発明に
よれば複数の物体が重なって見える被写体の視差画像か
ら、複数の物体の奥行き値を求めることができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態のカメラの構成図

【図２】 光学結像部を移動させた場合に撮像される視
差画像の説明図

【図３】 被写体の像の視差画像上での軌跡を示すグラ
フ

【図４】 メモリ及び距離計算部の構成図

【図５】 複数の視差画像から被写体の距離分布情報を
求める処理のフローチャート

【図６】 制御部の動作を示すフローチャート

【図７】 本発明の第２の実施形態のカメラの構成図

【図８】 本発明の第３の実施形態のデジタルラボシス
テム

【図９】 本発明の第４の実施形態のコンピュータ用の
プログラムの機能構成図

【符号の説明】

１２ 光学結像部 １９ カラーフィ
ルター ２０ 受光部 ２４ 視差ライン
検出部 ２８ 距離成分算出部 ３２ マルチプレ
クサー ３４ Ａ／Ｄ変換部 ３６ メモリ ３８ 距離計算部 ３９ 制御部 ４０ 記録部 ４２ 駆動部 ４４ 方向センサー ４６ 加速度セン
サー ５２ レンズ ５４ 絞り ５６ シャッター ５８ カラーフィ
ルター ６０ ＣＣＤ

Claims (16)

【特許請求の範囲】
1. 【請求項１】 被写体の奥行きに関する情報を獲得する
   視差画像撮像装置であって、 前記被写体を見る視点を移動させた場合に得られる複数
   の視差画像を順次撮像させる制御部と、 前記制御部により撮像された前記複数の視差画像の特定
   の画素が、前記視点の移動方向及び移動量に従って、前
   記複数の視差画像上で移動した軌跡を表す視差ラインを
   検出する視差ライン検出部と、 前記特定の画素の前記視差ラインと交差する複数の交差
   視差ラインを抽出し、前記特定の画素の前記視差ライン
   の傾き及び前記複数の交差視差ラインの傾きに基づい
   て、前記特定の画素に撮像された前記被写体の領域まで
   の複数の距離を算出する距離成分算出部とを備えたこと
   を特徴とする視差画像撮像装置。
2. 【請求項２】 前記被写体を結像する第１の光学結像部
   と、複数の受光素子が配置され、前記第１の光学結像部
   により前記被写体の前記複数の視差画像が撮像される第
   １の受光部と、前記第１の光学結像部を移動させる駆動
   部とをさらに備え、前記制御部が前記視点の前記移動方
   向及び前記移動量を指定し、前記駆動部は前記移動方向
   及び前記移動量に基づいて前記第１の光学結像部を移動
   させることを特徴とする請求項１に記載の視差画像撮像
   装置。
3. 【請求項３】 前記視差ライン検出部は、前記制御部が
   指定する前記視点の前記移動方向と略同一の方向に、前
   記制御部が指定する前記視点の前記移動量だけ、前記特
   定の画素の前記軌跡を追跡することにより、前記視差ラ
   インを検出することを特徴とする請求項２に記載の視差
   画像撮像装置。
4. 【請求項４】 前記視点の前記移動方向及び前記移動量
   を検出する視点移動検出部をさらに備え、前記視差ライ
   ン検出部は、前記視点移動検出部が検出した前記視点の
   前記移動方向と略同一の方向に、前記視点移動検出部が
   検出した前記視点の前記移動量だけ、前記特定の画素の
   前記軌跡を追跡することにより、前記視差ラインを検出
   することを特徴とする請求項１に記載の視差画像撮像装
   置。
5. 【請求項５】 前記視点移動検出部が、方向センサー及
   び加速度センサーの少なくとも一方を有し、前記視点の
   前記移動方向及び前記移動量を、前記方向センサー及び
   前記加速度センサーの少なくとも一方によって検出する
   ことを特徴とする請求項４に記載の視差画像撮像装置。
6. 【請求項６】 前記視点移動検出部は、前記複数の視差
   画像の特定の領域が、前記複数の視差画像上で移動した
   移動方向及び移動量を検出することによって、前記視点
   の前記移動方向及び前記移動量を検出することを特徴と
   する請求項４に記載の視差画像撮像装置。
7. 【請求項７】 前記被写体を結像する第２の光学結像部
   と、前記第２の光学結像部により前記被写体の画像が撮
   像される第２の受光部と、前記第１の受光部に撮像され
   た前記複数の視差画像、前記距離算出部が算出した前記
   複数の距離、及び前記第２の受光部に撮像された前記被
   写体の画像を記録する記録部とをさらに備え、前記制御
   部が、前記距離成分算出部が算出した前記複数の距離に
   基づいて、前記第２の光学結像部のフォーカス、絞り、
   及び前記第２の受光部の露光時間の少なくとも一つを制
   御することを特徴とする請求項２に記載の視差画像撮像
   装置。
8. 【請求項８】 前記第１の光学結像部により前記被写体
   の画像が撮像される第２の受光部と、前記第１の受光部
   に撮像された前記複数の視差画像、前記距離算出部が算
   出した前記複数の距離、及び前記第２の受光部に撮像さ
   れた前記被写体の画像を記録する記録部とをさらに備
   え、前記制御部が、前記距離成分算出部が算出した前記
   複数の距離に基づいて、前記第１の光学結像部のフォー
   カス、絞り、及び前記第２の受光部の露光時間の少なく
   とも一つを制御することを特徴とする請求項２に記載の
   視差画像撮像装置。
9. 【請求項９】 被写体の奥行きに関する情報を算出する
   視差画像処理装置であって、 前記被写体の画像及び前記被写体を見る視点を移動させ
   た場合に得られる複数の視差画像を入力する視差画像入
   力部と、 前記複数の視差画像の特定の画素が、前記視点の移動方
   向及び移動量に従って、前記複数の視差画像上で移動し
   た軌跡を表す視差ラインを検出する視差ライン検出部
   と、 前記特定の画素の前記視差ラインと交差する複数の交差
   視差ラインを抽出し、前記特定の画素の前記視差ライン
   の傾き及び前記複数の交差視差ラインの傾きに基づい
   て、前記特定の画素に撮像された前記被写体の領域まで
   の複数の距離を算出する距離成分算出部と、 前記距離成分算出部が算出した前記複数の距離に基づい
   て、前記被写体の前記画像を処理する画像処理部と、 前記画像処理部が作成して得られた画像を出力する画像
   出力部とを備えたことを特徴とする視差画像処理装置。
10. 【請求項１０】 前記視点の前記移動方向及び前記移動
    量を検出する視点移動検出部をさらに備え、前記視差ラ
    イン検出部は、前記視点移動検出部が検出した前記視点
    の前記移動方向と略同一の方向に、前記視点移動検出部
    が検出した前記視点の前記移動量だけ、前記特定の画素
    の前記軌跡を追跡することにより、前記視差ラインを検
    出することを特徴とする請求項９に記載の視差画像処理
    装置。
11. 【請求項１１】 前記視点移動検出部は、前記複数の視
    差画像の特定の領域が、前記複数の視差画像上で移動し
    た移動方向及び移動量を検出することによって、前記視
    点の前記移動方向及び前記移動量を検出することを特徴
    とする請求項１０に記載の視差画像処理装置。
12. 【請求項１２】 被写体の奥行きに関する情報を算出す
    るコンピュータ用のプログラムを格納した記録媒体であ
    って、前記プログラムが、 前記コンピュータに働きかけて、前記被写体の画像及び
    前記被写体を見る視点を移動させた場合に得られる複数
    の視差画像を入力させる視差画像入力モジュールと、 前記コンピュータに働きかけて、前記被写体の画像及び
    前記複数の視差画像を記憶させる視差画像記憶モジュー
    ルと、 前記コンピュータに働きかけて、前記複数の視差画像の
    特定の画素が、前記視点の移動方向及び移動量に従っ
    て、前記複数の視差画像上で移動した軌跡を表す視差ラ
    インを検出させる視差ライン検出モジュールと、 前記コンピュータに働きかけて、前記特定の画素の前記
    視差ラインと交差する複数の交差視差ラインを抽出し、
    前記特定の画素の前記視差ラインの傾き及び前記複数の
    交差視差ラインの傾きに基づいて、前記特定の画素に撮
    像された前記被写体の領域までの複数の距離を算出させ
    る距離成分算出モジュールと、 前記コンピュータに働きかけて、前記距離成分算出モジ
    ュールが算出した前記複数の距離に基づいて、前記被写
    体の前記画像を処理させる画像処理モジュールと、 前記コンピュータに働きかけて、前記画像処理モジュー
    ルが作成して得られた画像を出力させる画像出力モジュ
    ールとを備えたことを特徴とする記録媒体。
13. 【請求項１３】 前記プログラムが、前記コンピュータ
    に働きかけて、前記視点の前記移動方向及び前記移動量
    を検出させる視点移動検出モジュールをさらに備え、前
    記視差ライン検出モジュールは、前記視点移動検出モジ
    ュールが検出した前記視点の前記移動方向と略同一の方
    向に、前記視点移動検出モジュールが検出した前記視点
    の前記移動量だけ、前記特定の画素の前記軌跡を追跡す
    ることにより、前記視差ラインを検出することを特徴と
    する請求項１２に記載の記録媒体。
14. 【請求項１４】 前記視点移動検出モジュールは、前記
    複数の視差画像の特定の領域が、前記複数の視差画像上
    で移動した移動方向及び移動量を検出することによっ
    て、前記視点の前記移動方向及び前記移動量を検出させ
    ることを特徴とする請求項１３に記載の記録媒体。
15. 【請求項１５】 被写体の奥行きに関する情報を算出す
    る視差画像処理方法であって、 前記被写体の画像及び前記被写体を見る視点を移動させ
    た場合に得られる複数の視差画像を入力し、 前記複数の視差画像の特定の画素が、前記視点の移動方
    向及び移動量に従って、前記複数の視差画像上で移動し
    た軌跡を表す視差ラインを検出し、 前記特定の画素の前記視差ラインと交差する複数の交差
    視差ラインを抽出し、 前記特定の画素の前記視差ラインの傾き及び前記複数の
    交差視差ラインの傾きに基づいて、前記特定の画素に撮
    像された前記被写体の領域までの複数の距離を算出する
    ことを特徴とする視差画像処理方法。
16. 【請求項１６】 被写体の奥行きに関する情報を獲得す
    る視差画像撮像方法であって、 前記被写体を見る視点を移動させた場合に得られる複数
    の視差画像を撮像し、 前記複数の視差画像の特定の画素が、前記視点の移動方
    向及び移動量に従って、前記複数の視差画像上で移動し
    た軌跡を表す視差ラインを検出し、 前記特定の画素の前記視差ラインと交差する複数の交差
    視差ラインを抽出し、 前記特定の画素の前記視差ラインの傾き及び前記複数の
    交差視差ラインの傾きに基づいて、前記特定の画素に撮
    像された前記被写体の領域までの複数の距離を算出し、 前記距離算出部が算出した前記複数の距離に基づいて、
    前記被写体を撮像するときの撮影条件を調整し、 前記被写体を前記撮影条件で撮像することを特徴とする
    視差画像撮像方法。