JP2001016612A - 視差画像撮像装置及び視差画像撮像方法 - Google Patents

Abstract

(57)【要約】 【課題】 高精度で視差量を検出でき、被写体の正確な
奥行き情報を得ることのできる視差画像撮像装置を提供
する。 【解決手段】 被写体を結像する単一光軸の光学結像部
１２と、複数の受光素子が配置され、光学結像部１２に
より被写体が結像される受光部２０と、光学結像部１２
における第１及び第２の領域を通過した光を受光部２０
に照射させる第１及び第2の開口部を有する光通過部１
４と、第１の開口部を通過して被写体を結像した第１の
画像及び第２の開口部を通過して被写体を結像した第２
の画像を、受光部２０に同時に撮像させる撮像部１６
と、受光部２０に撮像された画像に基づいて、光学結像
部１２から被写体上の少なくとも１点までの距離を計算
する距離計算部３８とを備えた視差画像撮像装置であっ
て、異なる点から被写体を見た場合に得られる複数の視
差画像を同時に撮像することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる点から被写
体を見た場合に得られる視差画像を撮像する視差画像撮
像装置に関する。特に本発明は、複数の視差画像を同時
に撮像する視差画像撮像装置に関する。

【０００２】

【従来の技術】画像処理や画像認識の分野において、対
象物の奥行き方向の情報を抽出する手法として、異なる
点から対象物を見た場合に得られる複数の視差画像を用
いて、視差画像間の視差量を検出し、視差量から対象物
の奥行きを計算する方法が一般に取られている。

【０００３】従来、複数の視差画像を撮像する装置とし
て、図１に示す視差画像撮像装置があった。従来の視差
画像撮像装置は、光学レンズ４の瞳面における光を通過
させる開口部を有する光通過部５を持ち、開口部を光学
レンズに平行な方向へ移動させ、開口部を通過した画像
を受光部に撮像させることによって、複数の視差画像を
順次撮像させていた（特開平１０−４２３１４号公
報）。

【０００４】図１において、開口部が６ａの位置のある
時、対象物３の焦点の合った像３ｃが受光部７から離れ
た位置に形成され、受光部７では焦点のぼけた像３ａが
撮像される。開口部が６ｂの位置に移動した時、対象物
３の焦点の合った像３ｃは同じ位置に形成されるが、受
光部７では焦点のぼけた像３ｂが像３ａとは異なる位置
に撮像される。受光部７に撮像される像３ａから像３ｂ
へのずれを視差量と呼ぶ。

【０００５】視差量を測定すれば、開口部の位置６ａか
ら６ｂまでの距離、レンズ４から受光部７までの距離、
及び光学レンズ４の焦点距離は既知であるから、レンズ
の公式により、光学レンズ４から対象物３までの距離を
計算することができる。被写体のすべての領域について
視差量を検出し、光学レンズ４からその領域までの距離
を計算すると、被写体の距離分布が得られる。

【０００６】また他の視差画像の撮像方法として、光通
過部５に複数の開口部を設け、所定の時間間隔で、開口
部の一つを開き、残りの開口部を閉じ、複数の視差画像
を順次撮像することもできる（特開平１０−２７１５３
４号公報）。

【０００７】

【発明が解決しようとする課題】被写体の奥行きを得る
には、視差画像間で画像を比較し、視差量を検出する必
要がある。しかしながら、上記のような方法で複数の視
差画像を順次撮像すると、第１の視差画像を撮影してか
ら、第２の視差画像を撮影するまでに時間差が生じる。
このため、動きの速い被写体では動きによるぶれが生じ
たり、カメラを手で持っている場合は、手ぶれの影響を
受けたりして、視差以外のノイズを含んでしまう。した
がって、撮像された複数の視差画像間の対応点を検出
し、視差量を求める際、誤差が生じることを避けられ
ず、被写体の正確な距離分布を得ることができないとい
う問題が生じていた。

【０００８】そこで本発明は、上記の課題を解決するた
めに、高精度で視差量を検出でき、被写体の正確な奥行
きを得ることのできる視差画像撮像装置及びカメラを提
供することを目的とする。この目的は特許請求の範囲に
おける独立項に記載の特徴の組み合わせにより達成され
る。また従属項は本発明の更なる有利な具体例を規定す
る。

【０００９】

【課題を解決するための手段】即ち、本発明の第１の形
態における視差画像撮像装置は、異なる点から被写体を
見た場合に得られる複数の視差画像を撮像する視差画像
撮像装置であって、被写体を結像する単一光軸の光学結
像部と、複数の受光素子が配置され、光学結像部により
被写体が結像される受光部と、光学結像部における第１
及び第２の領域を通過した光を受光部に照射させる第１
及び第2の開口部を有する光通過部と、第１の開口部を
通過して被写体を結像した第１の画像及び第２の開口部
を通過して被写体を結像した第２の画像を、受光部に同
時に撮像させる撮像部と、受光部に撮像された画像に基
づいて、光学結像部から被写体上の少なくとも１点まで
の距離を計算する距離計算部とを備えたことを特徴とす
る。

【００１０】距離計算部が、受光部に撮像された画像に
おける特定の領域について、第１の開口部を通過した第
１の画像及び第２の開口部を通過した第２の画像の視差
量を検出する視差量検出部を有し、視差量に基づいて、
光学結像部から特定の領域に結像された被写体までの距
離を計算してもよい。

【００１１】距離計算部が、受光部に撮像された特定の
領域の画像と、当該画像を視差方向にシフトすることに
よって得られる参照画像との相関を、シフト量を所定量
だけ変化させながら計算する自己相関計算部をさらに有
し、視差量検出部が、自己相関計算部が計算した相関を
用いて視差量を求めてもよい。

【００１２】距離計算部が、受光部に撮像された画像の
エッジ画像を抽出するエッジ抽出部をさらに有し、自己
相関計算部が、受光部に撮像された特定の領域のエッジ
画像と、当該エッジ画像を視差方向にシフトすることに
よって得られる参照画像との相関を、シフト量を所定量
だけ変化させながら計算してもよい。

【００１３】自己相関計算部が、受光部に撮像された特
定の領域の画像と、当該画像を、光通過部の第１の開口
及び第２の開口の並べられた方向と略同一の方向に、シ
フトさせることによって得られる参照画像との相関を、
シフト量を所定量だけ変化させながら計算してもよい。

【００１４】受光素子が電荷結合素子であり、受光部
は、複数の電荷結合素子が配列された光電変換撮像体で
あってもよい。

【００１５】被写体を結像する第２の光学結像部と、第
２の光学結像部により被写体が結像される第２の受光部
と、距離計算部が計算した距離によって、第２の光学結
像部のフォーカス、絞り、及び第２の受光部の露光時間
の少なくとも一つを制御する制御部とをさらに備えても
よい。

【００１６】第１の光学結像部により被写体が結像され
る第２の受光部と、距離計算部が計算した距離によっ
て、第１の光学結像部のフォーカス、絞り、及び第２の
受光部の露光時間の少なくとも一つを制御する制御部と
をさらに備えてもよい。

【００１７】第２の受光部に撮像された被写体の画像、
及び距離計算部が計算した距離を記録する記録部とをさ
らに備えてもよい。

【００１８】光通過部を、被写体が受光部に受光される
間の光路外に移動する駆動部と、距離計算部により計算
された距離によって光学結像部又は受光部を制御する制
御部とをさらに備えてもよい。

【００１９】光通過部が光学結像部における第３の領域
を通過した光を受光部に照射させる第３の開口部をさら
に有し、距離計算部により計算された距離によって光学
結像部又は受光部を制御する制御部と、被写体の視差画
像を撮像する場合に、光通過部において、第３の開口部
を閉じ、第１及び第２の開口部を開き、第１の開口部を
通過した画像及び第２の開口部を通過した画像を受光部
に同時に撮像させ、被写体を撮像する場合に、光通過部
において、第３の開口部を開いた状態で、第３の開口部
を通過した画像を受光部に撮像させる駆動部とを備えて
もよい。

【００２０】光通過部の第１、第２及び第３の開口部が
液晶光シャッターを有してもよい。

【００２１】光通過部の第１及び第２の開口部は、光学
結像部の外周近傍に設けられ、光通過部の第３の開口部
は、光学結像部の光軸を含む領域に設けられ、第３の開
口部は、第１及び第２の開口部より大きい領域を有して
もよい。

【００２２】本発明の第２の形態における視差画像撮像
方法は、異なる点から被写体を見た場合に得られる複数
の視差画像を撮像する視差画像撮像方法であって、異な
る点以外の領域における光の通過を制限する光通過部を
介して、被写体の画像を受光部に撮像し、受光部に撮像
された画像のエッジ画像を抽出し、特定の領域のエッジ
画像と、当該エッジ画像を異なる点を結ぶ視差方向にシ
フトすることによって得られる参照画像との相関を、シ
フト量を所定量だけ変化させながら計算し、相関が最小
となるシフト量に基づいて、特定の領域のエッジ画像と
参照画像との視差量を求め、視差量に基づいて、光学結
像部から特定の領域に結像された被写体までの距離を計
算することを特徴とする。

【００２３】被写体までの距離に基づいて、被写体を撮
像するときの撮影条件を調整し、光通過部による光の通
過の制限を外し、被写体を撮影条件で撮像してもよい。

【００２４】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。

【００２５】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、また、実施形態
の中で説明されている特徴の組み合わせの全てが発明の
解決手段に必須であるとは限らない。

【００２６】（実施形態１）図２は、本発明の第１の実
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、視差画像撮像部
１０と、レンズ５２と、絞り５４と、シャッター５６
と、カラーフィルター５８と、ＣＣＤ（電荷結合素子）
６０と、マルチプレクサー３２と、Ａ／Ｄ変換部３４
と、メモリ３６と、距離計算部３８と、制御部３９と、
記録部４０とを有する。

【００２７】視差画像撮像部１０は被写体の視差画像を
撮像し、出力信号をマルチプレクサー３２に入力する。
レンズ５２は被写体を結像し、絞り５４は絞り量を調整
し、シャッター５６は露光時間を調整する。カラーフィ
ルター５８はレンズ５２を通して受光される光のＲＧＢ
成分を分解する。ＣＣＤ６０はレンズ５２によって結像
された被写体の画像を受光して、電気信号に変換し、マ
ルチプレクサー３２に出力する。

【００２８】マルチプレクサー３２は、視差画像撮像部
１０またはＣＣＤ６０の出力信号のどちらかを選択し、
Ａ／Ｄ変換部３４に出力する。Ａ／Ｄ変換部３４は入力
されたアナログ信号をデジタル信号に変換し、メモリ３
６に出力する。メモリ３６は入力されたデジタル信号を
格納する。メモリ３６は、レンズ５２がＣＣＤ６０に撮
像した被写体の画像、及び視差画像撮像部１０が撮像し
た被写体の視差画像を記憶する。

【００２９】距離計算部３８はメモリ３６から視差画像
を読み出し、視差画像に基づいて、当該カメラから被写
体までの距離を計算する。

【００３０】制御部３９は、メモリ３６から読み出した
被写体の画像の色情報、明度、彩度、及び距離計算部３
８が出力した距離情報に基づいて、レンズ５２のフォー
カス、絞り５４の絞り量及びシャッター５６の露光時間
の少なくとも一つを制御する。

【００３１】記録部４０は、メモリ３６から読み出した
被写体の画像及び距離計算部３８が出力した被写体の距
離情報を記録する。記録部４０はフロッピィディスクの
ような磁気記録媒体やフラッシュメモリのような不揮発
性メモリであってもよい。

【００３２】従来は、被写体の画像の色分布、輝度分
布、テクスチャ分布等に基づいて、主要被写体を抽出し
ていたが、主要被写体とそれ以外の被写体の間で、色分
布、輝度分布、テクスチャ分布等が異ならないときは、
主要被写体とそれ以外の被写体を区別することが難し
く、いずれの被写体に合わせて、フォーカス、絞り量及
び露光時間等の撮影条件を調整するのがよいか判断する
のが困難であった。

【００３３】本実施形態のカメラによれば、被写体の各
画素に写された被写体の距離分布を獲得することができ
るので、被写体の画像の色分布、輝度分布、テクスチャ
分布等の情報に加えて、被写体の距離分布情報に基づい
て、主要被写体をより確実に抽出することができる。こ
のため抽出された主要被写体に対して、フォーカス、絞
り量及び露光時間等の撮影条件の調整を適正に行い、被
写体を撮像することができる。

【００３４】図３は、視差画像撮像部１０の構成図であ
る。視差画像撮像部１０は、被写体の光を結像する光学
結像部１２と、光学結像部１２を通過した光を撮像部１
６に照射させる第１及び第２の開口部１５ａ、１５ｂを
有する光通過部１４と、光学結像部１２により結像され
た被写体を撮像する撮像部１６を有する。

【００３５】光通過部１４は、光学結像部１２の瞳面に
置かれ、第１及び第２の開口部１５ａ、１５ｂでは光を
通過させ、第１及び第２の開口部以外では光を遮断す
る。

【００３６】撮像部１６は、複数の受光素子がマトリッ
クス状に配置され、光学結像部により被写体が結像され
る受光部２０と、受光部２０の表面を覆うカラーフィル
ター１９を有する。カラーフィルターは光のＲＧＢ成分
を透過させ、受光部２０の受光素子に受光させる。受光
部２０の受光素子は、たとえばＣＣＤ（電荷結合素子）
のような光電変換素子であってもよく、受光部２０は、
複数のＣＣＤが配列された光電変換撮像体であってもよ
い。

【００３７】本実施形態の視差画像撮像部１０によれ
ば、光通過部１４の第１の開口部１５ａを通過した第１
の画像、及び第２の開口部１５ｂを通過した第２の画像
を、受光部２０に同時に撮像させることができる。した
がって、受光部２０には、第１の開口部１５ａ及び第２
の開口部１５ｂから見た場合の被写体の視差画像が重な
り合った二重像が撮像される。

【００３８】図４は、撮像された視差画像の処理部の構
成図である。図４において、図３と同一符号を付した、
光学結像部１２、光通過部１４及び撮像部１６について
は、図３と同一であるから、説明を省略し、メモリ３６
及び距離計算部３８について説明する。図４では、マル
チプレクサーとＡ／Ｄ変換部を省略するが、実際の動作
では、撮像部１６が撮像した画像は、マルチプレクサー
を介してＡ／Ｄ変換部に送られ、デジタル信号に変換さ
れてからメモリ３６に格納される。

【００３９】図４において、メモリ３６は、撮像部１６
が撮像した被写体の視差画像３７を格納する。距離計算
部３８は、視差画像の特定領域について自己相関を計算
する自己相関計算部２４と、自己相関計算部２４が計算
した自己相関から当該視差画像の特定領域の視差量を検
出し、被写体の特定領域までの距離を計算し、被写体全
体の距離分布情報を出力する視差量検出部２６とを有す
る。

【００４０】以下、一例として、被写体Ａ、Ｂ及びＣの
視差画像を撮像した場合について、メモリ３６、自己相
関計算部２４及び視差量計算部２６の動作を説明する。

【００４１】メモリ３６は、撮像部１６が撮像した、被
写体Ａ、Ｂ及びＣの被写体の視差画像３７を格納する。
視差画像３７は、被写体Ａ、Ｂ及びＣの二重像である。

【００４２】自己相関計算部２４は、メモリ３６から視
差画像３７を読み出し、被写体Ａ、Ｂ及びＣの視差画像
が撮像されているそれぞれの特定領域について、後述の
方法により自己相関を計算し、被写体Ａ、Ｂ及びＣの視
差画像が撮像されているそれぞれの特定領域の自己相関
の値を格納した、被写体全体の自己相関情報２５を出力
する。

【００４３】視差量検出部２６は、被写体Ａ、Ｂ及びＣ
の二重像が撮像されているそれぞれの特定領域につい
て、自己相関計算部２４が計算した自己相関の値から、
視差量を算出する。光通過部１４の開口部１５ａ、１５
ｂ間の距離、光学結像部１２から撮像部１６までの距
離、及び光学結像部１２の焦点距離は既知であるから、
視差量検出部２６は、被写体Ａ、Ｂ及びＣのそれぞれの
視差量に基づいて、レンズの公式により、光学結像部１
２から被写体Ａ、Ｂ及びＣまでのそれぞれの距離Ａ、Ｂ
及びＣを算出することができる。視差量検出部２６は、
被写体Ａ、Ｂ及びＣの距離を格納した、被写体全体の距
離分布情報２７を出力する。

【００４４】図５は、自己相関及び視差量の算出方法の
説明図である。被写体の二重像が撮像されている特定領
域について、当該特定領域の画像を基準画像８０とし、
基準画像８０を視差方向に一定量だけずらした画像を参
照画像８２とする（図５（ａ））。基準画像８０と参照
画像８２との間の類似の程度、すなわち相関は、基準画
像８０の、視差方向へのずれに関する自己相関を表す。

【００４５】基準画像８０と参照画像８２の相関を評価
する評価関数として、たとえば、基準画像８０と参照画
像８２の画素データの値の差分の自乗和、基準画像８０
と参照画像８２の画素データの値の差分の絶対値の和、
あるいは、基準画像８０と参照画像８２の画素データの
値に関する正規化された自己相関関数が用いられる。以
下、基準画像８０と参照画像８２の画素データの値の差
分の自乗和を評価関数とする場合について説明する。

【００４６】基準画像８０の（ｘ，ｙ）座標系における
座標（ｉ，ｊ）における画素データの値（たとえば、光
のＲＧＢの値や明度などの指標の値）をＦ（ｉ，ｊ）と
する。基準画像８０をｘ方向、ｙ方向にそれぞれη，ξ
だけずらしたときの画像を参照画像８２とする。このと
き、基準画像８０のおける画素データの値をＦ（ｉ，
ｊ）と比較される参照画像８２の画素データの値は、Ｆ
（ｉ−η，ｊ−ξ）となる。

【００４７】基準画像８０をｘ方向、ｙ方向にそれぞれ
η，ξだけずらしたときの、基準画像８０と参照画像８
２との相関関数Φ（η，ξ）を、次式で与える。 Φ（η，ξ）＝ΣｉΣｊ［Ｆ（ｉ，ｊ）−Ｆ（ｉ−η，
ｊ−ξ）］＾２ ただし、ΣｉΣｊは二重像が撮像されている特定領域全
体について和を取ることを表す。

【００４８】相関関数Φ（η，ξ）の値が小さくなるほ
ど、基準画像８０と参照画像８２の相関が強く、相関関
数Φ（η，ξ）の値が大きくなるほど、基準画像８０と
参照画像８２の相関が弱い。

【００４９】相関関数Φ（η，ξ）はη＝０、ξ＝０の
とき最小値０をとる。これはη＝０、ξ＝０のとき、基
準画像８０と参照画像８２が完全に一致するため、最大
の相関が現れるのであり、当然である。

【００５０】視差（η，ξ）を視差方向に変化させなが
ら、相関関数Φを順次求めると、図５（ｂ）に示すよう
に、基準画像８０と参照画像８２がちょうど元の二重像
のずれ分だけずれた位置では、相関関数Φが極小値をと
り、やや強い相関が現れる。また基準画像８０と参照画
像８２がそれ以外の位置関係にあるときは、相関関数Φ
は大きな値をとり、相関は弱くなる。これは参照画像８
２が二重像のずれ分だけ基準画像８０からずれた場合、
基準画像８０と参照画像８２の一部が一致するためであ
る。

【００５１】このように、基準画像８０と参照画像８２
がちょうど二重像のずれ分だけ左右どちらかにずれた位
置では、相関関数Φ（η，ξ）の値は極小値を取るの
で、相関関数Φ（η，ξ）の値が極小値を取るときの、
視差（η，ξ）を検出すれば、基準画像８０と参照画像
８２の視差量が得られる。

【００５２】視差（η，ξ）を視差方向に変化させなが
ら、相関関数Φ（η，ξ）の値を順次求め、Φが極小と
なるような（η，ξ）の組（η＊，ξ＊）を求める。こ
のとき、視差量ζは次式によって求められる。 ζ＝√（η＊＾２＋ξ＊＾２）

【００５３】ここで、光通過部１４の第１及び第２の開
口が、受光部の（ｘ，ｙ）座標系に関して、ｘ方向また
はｙ方向に設けられている場合は、視差方向はｘ方向ま
たはｙ方向の一方のみを考えればよい。したがって、こ
の場合の視差量はζ＝η＊まはたζ＝ξ＊で与えられ
る。

【００５４】上記の説明において、説明の便宜上、基準
画像８０と参照画像８２の二つの画像データの比較を行
うような説明をしたが、実際の相関関数Φの計算におい
ては、二つの画像データを必要としない。一定の視差
（η、ξ）に対して、基準画像８０の画素データＦ
（ｉ，ｊ）及びＦ（ｉ−η，ｊ−ξ）の値を上述の相関
関数Φの式に値を代入して計算をすればよい。

【００５５】また、上記の説明では、予め定められた画
素マトリックス上に写された、被写体の二重像の領域を
特定領域として、基準画像８０と参照画像８２を考え、
視差量を計算した。しかし視差量の計算方法はこれに限
定されない。別の実施形態として、予め定められた画素
マトリックス上に写された、被写体の二重像から、第１
の画像が写されている領域を抽出して特定領域とし、そ
の画像を一定の視差（η、ξ）だけずらし、予め定めら
れた画素マトリックス上の対応領域との相関を計算する
ことによって、視差量を求めてもよい。

【００５６】この場合、特定領域の画素データＦ（ｉ，
ｊ）と、対応領域の画素データＦ（ｉ＋η，ｊ＋ξ）に
ついて、相関を計算すればよい。相関関数Φは次式で与
えられる。 Φ（η，ξ）＝［Ｆ（ｉ，ｊ）−Ｆ（ｉ＋η，ｊ＋
ξ）］＾２ ただし、ΣｉΣｊは第１の画像が写されている領域のみ
について和を取ることを表す。

【００５７】（実施形態２）図６は、本発明の第２の実
施形態に係る視差画像撮像装置の一例としてのカメラに
おける視差画像の処理部の構成図である。本実施形態の
カメラは、図４に示した第１の実施形態におけるカメラ
の距離計算部３８の構成を、図６に示す距離計算部３８
の構成に置き換えたものであり、その他は、第１の実施
形態と同じであるから、共通部分の構成と動作の説明を
省略する。

【００５８】本実施形態では、撮像された被写体の視差
画像から、エッジ画像を抽出する処理を行い、得られた
エッジ画像をもとに、視差量の検出を行う点だけが第１
の実施形態と異なる。

【００５９】図６において、距離計算部３８は、撮像さ
れた視差画像のエッジ画像を抽出するエッジ抽出部２２
と、エッジ画像の特定領域について自己相関を計算する
自己相関計算部２４と、自己相関計算部２４が計算した
自己相関から当該視差画像の特定領域の視差量を検出
し、被写体の特定領域までの距離を計算し、被写体全体
の距離分布情報を出力する視差量検出部２６とを有す
る。

【００６０】以下、一例として、被写体Ａ、Ｂ及びＣの
視差画像を撮像した場合について、メモリ３６、エッジ
抽出部２２、自己相関計算部２４及び視差量計算部２６
の動作を説明する。

【００６１】メモリ３６は、撮像部１６が撮像した、被
写体Ａ、Ｂ及びＣの被写体の視差画像３７を格納する。
視差画像３７は、被写体Ａ、Ｂ及びＣの二重像である。

【００６２】エッジ抽出部２２は、メモリ３６から視差
画像３７を読み出し、被写体Ａ、Ｂ及びＣの二重像が撮
像されているそれぞれの領域について、被写体と背景の
境界を検出するための画像処理を行い、エッジを抽出
し、被写体全体のエッジ画像２３を出力する。

【００６３】自己相関計算部２４は、エッジ画像２３に
基づいて、被写体Ａ、Ｂ及びＣの視差画像が撮像されて
いるそれぞれの領域について、自己相関を計算し、被写
体Ａ、Ｂ及びＣの視差画像が撮像されているそれぞれの
特定領域の自己相関の値を格納した、被写体全体の自己
相関情報２５を出力する。

【００６４】視差量検出部２６は、被写体Ａ、Ｂ及びＣ
の二重像が撮像されているそれぞれの特定領域につい
て、自己相関計算部２４が計算した自己相関の値から、
視差量を算出し、被写体全体の距離分布情報２７を出力
する。

【００６５】自己相関の値を求める処理、自己相関の値
から視差量を検出する処理、及び視差量から、被写体全
体の距離分布情報を算出する処理については、第１の実
施形態と同じであるから説明を省略する。

【００６６】一般に、撮像された視差画像には、被写体
の輪郭以外に、被写体の色、模様などの画像情報が含ま
れており、画素データの値から、相関を評価する際、輪
郭以外の情報は、ノイズ要因となる。本実施形態によれ
ば、被写体の視差画像のエッジを抽出した上で、エッジ
のみからなる被写体の視差画像から相関を計算すること
ができる。したがって、輪郭以外の画像情報を含む被写
体であっても、視差画像の相関を正確に求めることがで
き、正確な視差量に基づいて、被写体の距離分布を算出
することができる。

【００６７】（実施形態３）図７は、本発明の第３の実
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、光学結像部１２
と、光通過部１４と、カラーフィルター１９と、受光部
２０と、フィルター駆動部４２と、Ａ／Ｄ変換部３４
と、メモリ３６と、距離計算部３８と、制御部３９と、
記録部４０を有する。

【００６８】図７において、光学結像部１２、光通過部
１４、カラーフィルター１９、受光部２０、Ａ／Ｄ変換
部３４、メモリ３６、距離計算部３８、及び記録部４０
については、第１の実施形態と同じであるから、説明を
省略する。本実施形態の制御部３９はフィルター駆動部
４２を制御する以外は、第１の実施形態の制御部３９と
同じであるから、共通部分の説明を省略する。

【００６９】フィルター駆動部４２は、光通過部１４を
移動させることができる。制御部３９は、フィルター駆
動部４２を制御し、所望の動作をさせる。

【００７０】フィルター駆動部４２は、被写体の視差画
像を撮像する場合、光通過部１４を光学結像部１２から
受光部２０に至る光路内に移動させる。これにより、カ
メラは被写体の視差画像を撮像することができる。

【００７１】またフィルター駆動部４２は、被写体を撮
像する場合、光通過部１４を光学結像部１２から受光部
２０に至る光路外に移動させる。これにより、カメラは
被写体の画像を撮像することができる。

【００７２】視差画像から被写体の距離分布情報を算出
し、被写体の撮影条件を調整する処理については第１の
実施形態と同じであるから説明を省略する。

【００７３】本実施形態によれば、第１の実施形態とは
違い、同一の光学系を用いて、視差画像の撮像及び被写
体の撮像を行うことができる。したがって、被写体の距
離分布測定及び被写体の撮像において、共通の光学結像
部１２、カラーフィルター１９及び受光部２０を使用す
ることにより、カメラを小型化することができ、また安
価にカメラを製造することができる。

【００７４】（実施形態４）図８は、本発明の第４の実
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、光学結像部１２
と、光通過部１４と、カラーフィルター１９と、受光部
２０と、液晶駆動部４４と、Ａ／Ｄ変換部３４と、メモ
リ３６と、距離計算部３８と、制御部３９と、記録部４
０を有する。

【００７５】図８において、光学結像部１２、カラーフ
ィルター１９、受光部２０、Ａ／Ｄ変換部３４、メモリ
３６、距離計算部３８、及び記録部４０については、第
１の実施形態と同じであるから、説明を省略する。本実
施形態の制御部３９は液晶駆動部４４を制御する以外
は、第１の実施形態の制御部３９と同じであるから、共
通部分の説明を省略する。

【００７６】光通過部１４は、第１、第２及び第３の開
口部１５ａ、１５ｂ及び１５ｃを有する。第１及び第２
の開口部１５ａ、１５ｂは、光学結像部１２の外周近傍
に設けられ、第３の開口部１５ｃは、光学結像部１２の
光軸を含む領域に設けられ、第３の開口部１５ｃは、第
１及び第２の開口部１５ａ、１５ｂより大きい領域を有
する。

【００７７】第１、第２及び第３の開口部１５ａ、１５
ｂ及び１５ｃは、液晶光シャッターであってもよい。こ
の場合、電気光学効果により、開口部における光通過及
び光遮断の切り替えを電気的に行うことができる。

【００７８】液晶駆動部４４は、光通過部１４の第１、
第２及び第３の開口部１５ａ、１５ｂ及び１５ｃの光通
過及び光遮断の切り替えを制御することができる。制御
部３９は、液晶駆動部４４を制御し、所望の動作をさせ
る。

【００７９】液晶駆動部４４は、被写体の視差画像を撮
像する場合、光通過部１４の第１及び第２の開口部１５
ａ、１５ｂを電気的に開き、第３の開口部１５ｃを電気
的に閉じる。これにより、カメラは被写体の視差画像を
撮像することができる。

【００８０】また液晶駆動部４４は、被写体を撮像する
場合、光通過部１４の第３の開口部１５ｃを電気的に開
き、第１及び第２の開口部１５ａ、１５ｂを電気的に閉
じる。これにより、カメラは被写体の画像を撮像するこ
とができる。

【００８１】視差画像から被写体の距離分布情報を算出
し、被写体の撮影条件を調整する処理については第１の
実施形態と同じであるから説明を省略する。

【００８２】上記では、光通過部１４の第１及び第２の
開口部１５ａ、１５ｂが、第３の開口部１５ｃの外側に
ある場合について説明したが、実施形態はこれに限られ
ない。たとえば、第３の開口部１５ｃの内部に第１及び
第２の開口部１５ａ、１５ｂを有してもよい。

【００８３】この場合、視差画像を撮像する時、第３の
開口部１５ｃを電気的に閉じ、第１及び第２の開口部１
５ａ、１５ｂを電気的に開いて、被写体を撮像する。被
写体を撮像する時は、さらに第３の開口部１５ｃを開い
て被写体を撮像する。

【００８４】このように光通過部１４の第１及び第２の
開口部１５ａ、１５ｂを第３の開口部１５ｃの内側に設
けた場合、第３の開口部１５ｃを光学結像部１２の領域
全体を覆うように設けることができ、光学結像部１２の
領域を有効に利用することができる。

【００８５】本実施形態によれば、光通過部１４を光学
的結像部１２から受光部２０に至る光路外へ移動させる
ことなく、視差画像の撮像と被写体の撮像を、同一の光
学系を用いて行うことができる。したがって、したがっ
て、被写体の距離分布測定及び被写体の撮像において、
共通の光学結像部１２、光通過部１４、カラーフィルタ
ー１９、及び受光部２０を使用し、また光通過部を移動
させる必要がないため、カメラを小型化することがで
き、また安価にカメラを製造することができる。

【００８６】（実施形態５）図９は、本発明の第５の実
施形態に係るカメラの構成図である。本実施形態のカメ
ラは、視差画像撮像部１０と、レンズ５２と、光路分割
素子５３と、絞り５４と、リレーレンズ５５と、シャッ
ター５６と、カラーフィルター５８と、ＣＣＤ６０と、
マルチプレクサー３２と、Ａ／Ｄ変換部３４と、メモリ
３６と、距離計算部３８と、制御部３９と、記録部４０
とを有する。

【００８７】図９において、図２と同一の符号を付し
た、レンズ５２、絞り５４、シャッター５６、Ａ／Ｄ変
換部３４、メモリ３６、距離計算部３８、制御部３９及
び記録部４０については、第１の実施形態と同じである
から、説明を省略する。

【００８８】本実施形態のカメラは、レンズ５２を使っ
て被写体を結像する。光路分割素子５３は、レンズ５２
を通過した光の光路を分割し、絞り５４、シャッター５
６及びカラーフィルター５８を介してＣＣＤ６０に受光
される光と、リレーレンズ５５を介して視差画像撮像部
１０に入力される光とに分割する。

【００８９】視差画像撮像部１０は、第１の実施形態の
視差画像撮像部１０である。レンズ５２によって結像さ
れた被写体の像は、リレーレンズ５５を介して視差画像
撮像部１０に入力される。視差画像撮像部１０の構成と
動作は既に述べたので説明を省略する。

【００９０】視差画像から視差量を検出し、被写体の距
離分布を算出し、カメラの撮影条件を制御する処理は第
１の実施形態と同じであるから説明を省略する。

【００９１】リレーレンズ５５は像を縮小する縮小リレ
ー系であってもよく、視差画像撮像部１０を小型の光学
系と受光部で構成してもよい。一方、被写体の像を受光
するＣＣＤ６０は素子数の多い、高精細なＣＣＤであっ
てもよい。このように構成することによって、共通のレ
ンズ５２を用いて、ＣＣＤ６０には、解像度の高い被写
体の画像を結像させ、視差画像撮像部１０では、解像度
の低い被写体の視差画像を撮像させることができる。

【００９２】本実施形態のカメラによれば、レンズ５２
によって結像された被写体の像を用いて、被写体の撮像
と視差画像の撮像を行うことができる。被写体を結像す
るレンズを共通化したことにより、カメラを小型化する
ことができ、また安価にカメラを製造することができ
る。

【００９３】（実施形態６）図１０は、本発明の第６の
実施形態に係る視差画像撮像装置の一例としての銀塩カ
メラの構成図である。本実施形態の銀塩カメラは、視差
画像撮像部１０と、レンズ５２と、絞り５４と、シャッ
ター５６と、撮像部４６と、Ａ／Ｄ変換部３４と、メモ
リ３６と、距離計算部３８と、制御部３９と、記録部４
０を有する。

【００９４】図１０において、図２と同一の符号を付し
た、レンズ５２、絞り５４、シャッター５６、Ａ／Ｄ変
換部３４、メモリ３６、距離計算部３８、制御部３９及
び記録部４０については、第１の実施形態と同じである
から、説明を省略する。

【００９５】視差画像撮像部１０は、第１の実施形態の
視差画像撮像部１０である。視差画像撮像部１０の構成
と動作は既に述べたので説明を省略する。視差画像から
被写体の距離分布情報を算出し、被写体の撮影条件を制
御する処理は第１の実施形態と同じであるから説明を省
略する。

【００９６】撮像部４６は、被写体の像を光化学反応に
よって銀塩感光フィルム等に撮像させる。

【００９７】本実施形態の銀塩カメラによれば、被写体
の各画素に写された被写体の距離分布を獲得することが
できるので、被写体の画像の色分布、輝度分布、テクス
チャ分布等の情報に加えて、被写体の距離分布情報に基
づいて、主要被写体をより確実に抽出することができ
る。このため抽出された主要被写体に対して、フォーカ
ス、絞り量及び露光時間等の撮影条件の調整を適正に行
い、被写体を撮像することができる。

【００９８】（実施形態７）図１１は、本発明の第７の
実施形態に係る視差画像撮像装置の一例としてのビデオ
カメラの構成図である。本実施形態のビデオカメラは、
視差画像撮像部１０と、レンズ５２と、絞り５４と、カ
ラーフィルター５８と、ＣＣＤ６０と、Ａ／Ｄ変換部３
４ａ及び３４ｂと、メモリ３６ａ及び３６ｂと、距離計
算部３８と、制御部３９と、記録部４０を有する。

【００９９】図１１において、図２と同一の符号を付し
た、レンズ５２、絞り５４、カラーフィルター５８、Ｃ
ＣＤ６０、Ａ／Ｄ変換部３４ａ、３４ｂ、メモリ３６
ａ、３６ｂ、距離計算部３８、制御部３９及び記録部４
０については、第１の実施形態と同じであるから、説明
を省略する。本実施形態は、被写体の距離分布を測定し
ながら、被写体の動画の撮像を連続的に行う点が、第１
の実施形態と異なる。そこで、相違する部分だけを説明
し、共通部分の説明を省略する。

【０１００】視差画像撮像部１０は、第１の実施形態の
視差画像撮像部１０である。視差画像撮像部１０によっ
て撮像された視差画像は、Ａ／Ｄ変換部３４ａによって
デジタル信号に変換され、メモリ３６ａに記憶される。
距離計算部３８はメモリ３６ａから視差画像を読み出
し、視差量を検出し、被写体の距離分布を算出する。

【０１０１】視差画像から被写体の距離分布を算出し、
被写体の撮影条件を制御する処理は第１の実施形態と同
じであるから説明を省略する。

【０１０２】レンズ５２が結像する被写体の画像はＣＣ
Ｄ６０に受光され、Ａ／Ｄ変換部３４ｂによってデジタ
ル信号に変換され、メモリ３６ｂに格納される。撮像さ
れた被写体の画像は記録部４０に格納される。記録部４
０はビデオテープ、ＭＯ及びＤＶＤ等の記録媒体であっ
てもよい。

【０１０３】本実施形態のビデオカメラによれば、被写
体の各画素に写された被写体の距離分布を獲得すること
ができるので、被写体の画像の色分布、輝度分布、テク
スチャ分布等の情報に加えて、被写体の距離分布情報に
基づいて、主要被写体をより確実に抽出することができ
る。このため抽出された主要被写体に対して、フォーカ
ス、絞り量等の撮影条件の調整を適正に行い、被写体を
撮像することができる。

【０１０４】（実施形態８）図１２は、本発明の第８の
実施形態に係る視差画像撮像装置の一例としての内視鏡
装置の構成図である。本実施形態の内視鏡装置は、胃や
腸などの体内を医療上の診断または治療のために映像と
して写す。体内の器官の壁表面の微細な凹凸を観察する
ためには、被写体の奥行きに関する情報を抽出すること
が重要である。本実施形態の内視鏡装置は視差画像を撮
像することによって被写体の距離分布情報を獲得しなが
ら、被写体を撮像する。

【０１０５】本実施形態の内視鏡装置は、内視鏡７０
と、信号処理部７２と、記録部４０と、モニタ７４を有
する。本実施形態の内視鏡７０の先端部は、レンズ５２
と、ＣＣＤ６０と、光学結像部１２と、光通過部１４
と、撮像部１６を有し、被写体と被写体の視差画像を結
像する。

【０１０６】内視鏡７０の管内部は、伝送ケーブル７８
を有し、ＣＣＤ６０及び撮像部１６の出力電気信号を伝
達する。視差画像を撮像するための光学結像部１２と、
光通過部１４と、撮像部１６の構成は、第１の実施形態
の視差画像撮像部１０である。

【０１０７】信号処理部７２は、ＣＣＤ６０及び撮像部
１６に撮像された画像を処理するためのものであり、視
差画像から視差量を検出し、被写体の距離分布情報を算
出し、被写体の画像に画像処理を施し、モニタ７４に出
力し、記録部４０に出力する。信号処理部７２はモニタ
７４に出力する。視差画像から被写体の距離分布を算出
する処理は第１の実施形態と同じであるから説明を省略
する。

【０１０８】モニタ７４は被写体の像を被写体の距離情
報とともに表示する。またモニタ７４は被写体の立体画
像を表示してもよい。

【０１０９】本実施形態では、ＣＣＤ６０及び撮像体１
６を内視鏡７０の先端部に設けたが、実施形態はこれに
限定されない。ＣＣＤ６０及び撮像体１６を内視鏡７０
の後部に設け、内視鏡７０の管内部に複数のリレーレン
ズを設け、レンズ５２及び光学結像部１２が結像した画
像を、リレーレンズに中継させ、内視鏡７０の後部でＣ
ＣＤ６０及び撮像体１６に撮像させてもよい。

【０１１０】本実施形態による内視鏡装置によれば、被
写体の距離分布情報を測定しながら、被写体を撮影で
き、体内の器官の壁表面の微細な凹凸を観察することが
できる。

【０１１１】（実施形態９）図１３は、本発明の第９の
実施形態に係る視差画像撮像方法のフローチャートであ
る。

【０１１２】図１３におけるフローチャートを参照しな
がら、本実施形態の視差画像撮像方法を説明する。撮像
部１６が、異なる点以外の領域における光の通過を制限
する光通過部を介して、被写体の画像を受光部に撮像し
（Ｓ１０２）、エッジ抽出部２２が、受光部に撮像され
た画像における特定の領域について、エッジ画像を抽出
する（Ｓ１０４）。

【０１１３】自己相関計算部２４が、特定の領域のエッ
ジ画像の（ｘ，ｙ）座標系における座標（ｉ，ｊ）にお
ける画素データの値をＦ（ｉ，ｊ）とし、エッジ画像の
自己相関を計算するために、必要な変数を初期化する
（Ｓ１０６）。視差量ηは０に、視差量の最適値η＊は
所定の値ＭＡＸ１にそれぞれ初期化する。相関値Φは０
に、相関値の最小値Φｍｉｎは所定の値ＭＡＸ２にそれ
ぞれ初期化する。ここでＭＡＸ１は検出される視差量の
値よりも、ＭＡＸ２は検出される相関値の値よりも、そ
れぞれ十分に大きい値とする。

【０１１４】自己相関計算部２４は、視差量ηを１だけ
インクリメントし（Ｓ１０８）、相関値Φを次式によっ
て計算する（Ｓ１１０）。 Φ＝ΣｉΣｊ［Ｆ（ｉ，ｊ）−Ｆ（ｉ−η，ｊ）］＾２

【０１１５】視差量検出部２６が、現在の視差量ηに対
して得られた相関値Φが、これまでに得られた相関値Φ
の最小値Φｍｉｎよりも小さいなら、相関値の最小値Φ
ｍｉｎに現在の相関値Φを代入し、視差量の最適値η＊
に現在の視差量ηを代入する（Ｓ１１２）。現在の視差
量ηが所定量より大きくない場合、Ｓ１０８に戻り、Ｓ
１０８、Ｓ１１０及びＳ１１２の処理を繰り返す。

【０１１６】視差量検出部２６は、現在の視差量ηが所
定量より大きい場合、視差量の最適値η＊を出力し（Ｓ
１１６）、視差量の最適値η＊に基づいて、光学結像部
から特定の領域に結像された被写体までの距離を計算す
る（Ｓ１１８）。視差量の値に基づいて、被写体の距離
を計算する方法は、第１の実施形態と同じであるから説
明を省略する。

【０１１７】本実施形態の視差画像撮像方法によれば、
異なる点から被写体を見た場合に得られる複数の視差画
像を撮像し、撮像された画像の特定の領域についてエッ
ジ画像を抽出し、特定の領域の視差量を求め、被写体全
体の距離分布情報を得ることができる。これにより、被
写体の画像の色分布、輝度分布、テクスチャ分布等の情
報に加えて、被写体の距離分布情報に基づいて、主要被
写体をより確実に抽出することができる。

【０１１８】（実施形態１０）図１４は、本発明の第１
０の実施形態に係る視差画像撮像方法のフローチャート
である。

【０１１９】図１４におけるフローチャートを参照しな
がら、本実施形態の視差画像撮像方法を説明する。撮像
部１６が、異なる点以外の領域における光の通過を制限
する光通過部を介して、被写体の画像を受光部に撮像す
る（Ｓ２０２）。エッジ抽出部２２が、受光部に撮像さ
れた画像における特定の領域を選択し（Ｓ２０４）、当
該特定の領域について、エッジ画像を抽出する（Ｓ２０
６）。

【０１２０】自己相関計算部２４が、特定の領域のエッ
ジ画像と、当該エッジ画像を視差方向にシフトすること
によって得られる参照画像との相関を、シフト量を所定
量だけ変化させながら計算する。視差量検出部２６が、
相関が最小となるシフト量に基づいて、特定の領域のエ
ッジ画像と参照画像との視差量を算出し（Ｓ２０８）、
その視差量に基づいて、光学結像部から特定の領域に結
像された被写体までの距離を計算する（Ｓ２１０）。

【０１２１】相関に基づいて視差量を算出する処理Ｓ２
０８は、図１３におけるＳ１０６からＳ１１６までの処
理と同一である。また、視差量の値に基づいて、被写体
の距離を算出する方法は、第１の実施形態と同じである
から説明を省略する。

【０１２２】視差量検出部２６は、受光部に撮像された
すべての必要な領域について距離を計算したかどうかを
調べ（Ｓ２１２）、すべての必要な領域について距離を
計算していないなら、Ｓ２０４に戻り、次の特定領域を
選択し、Ｓ２０６からＳ２１０までの処理を繰り返す。

【０１２３】すべての必要な領域について距離を計算し
ていれば、被写体全体の距離分布情報が得られている。
制御部３９が、被写体の画像の色分布、輝度分布、テク
スチャ分布等の情報に加えて、被写体の距離分布情報に
基づいて、主要被写体を抽出する（Ｓ２１４）。制御部
３９は、抽出された主要被写体に対して、フォーカス、
絞り量及び露光時間等の撮影条件の調整を適正に行う
（Ｓ２１６）。

【０１２４】制御部３９は、フィルタ駆動部４２を制御
して、光通過部を、被写体が受光部に受光される間の光
路外に移動させ（Ｓ２１８）、被写体を撮像する（Ｓ２
２０）。また他の実施形態として、制御部３９は、Ｓ２
１８において、液晶駆動部４４を制御して、光通過部の
開口部を電気的に開閉させてもよい。

【０１２５】本実施形態の視差画像撮像方法によれば、
被写体の各画素に写された被写体の距離分布を獲得する
ことができるので、被写体の画像の色分布、輝度分布、
テクスチャ分布等の情報に加えて、被写体の距離分布情
報に基づいて、主要被写体をより確実に抽出することが
できる。このため抽出された主要被写体に対して、フォ
ーカス、絞り量及び露光時間等の撮影条件の調整を適正
に行い、被写体を撮像することができる。

【０１２６】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。

【０１２７】

【発明の効果】上記説明から明らかなように、本発明に
よれば異なる点から被写体を見たときの視差画像を同時
に撮像し、撮像された画像から視差量を検出し、被写体
の距離分布を求めることができる。

【図面の簡単な説明】

【図１】 従来の視差画像撮像装置の構成図

【図２】 本発明の第１の実施形態のカメラの構成図

【図３】 視差画像撮像部の構成図

【図４】 視差画像の処理部の構成図

【図５】 自己相関及び視差量の算出方法の説明図

【図６】 本発明の第２の実施形態のカメラにおける視
差画像の処理部の構成図

【図７】 本発明の第３の実施形態のカメラの構成図

【図８】 本発明の第４の実施形態のカメラの構成図

【図９】 本発明の第５の実施形態のカメラの構成図

【図１０】 本発明の第６の実施形態の銀塩カメラの構
成図

【図１１】 本発明の第７の実施形態のビデオカメラの
構成図

【図１２】 本発明の第８の実施形態の内視鏡装置の構
成図

【図１３】 本発明の第９の実施形態の視差画像撮像方
法のフローチャート

【図１４】 本発明の第１０の実施形態の視差画像撮像
方法のフローチャート

【符号の説明】

１０ 視差画像撮像部 １２ 光学結像部 １４ 光通過部 １５ａ、ｂ 開口部
１６ 撮像部 １９ カラーフィルター ２０ 受光部 ２２ エッジ抽出部 ２４ 自己相関計
算部 ２６ 視差量検出部 ３２ マルチプレ
クサー ３４ Ａ／Ｄ変換部 ３６ メモリ ３８ 距離計算部 ３９ 制御部
４０ 記録部 ４２ フィルター駆動部 ４４ 液晶駆動部 ４６ 撮像部 ５２ レンズ ５４ 絞り ５６ シャッター ５８ カラーフィルター ６０ ＣＣＤ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA06 DD02 FF04 FF09 JJ03 JJ26 LL00 LL04 LL10 LL21 LL30 NN11 PP21 QQ00 QQ03 QQ13 QQ23 QQ24 QQ27 QQ28 QQ41 2H059 AA09 AA18 AA24 AA35 5B057 BA02 BA11 BA15 BA21 BA29 DA07 DB03 DB06 DC16 DC34 5C061 AB03 AB12

Claims (15)

【特許請求の範囲】
1. 【請求項１】 異なる点から被写体を見た場合に得られ
   る複数の視差画像を撮像する視差画像撮像装置であっ
   て、 前記被写体を結像する単一光軸の光学結像部と、 複数の受光素子が配置され、前記光学結像部により前記
   被写体が結像される受光部と、 前記光学結像部における第１及び第２の領域を通過した
   光を前記受光部に照射させる第１及び第2の開口部を有
   する光通過部と、 前記第１の開口部を通過して前記被写体を結像した第１
   の画像及び前記第２の開口部を通過して前記被写体を結
   像した第２の画像を、前記受光部に同時に撮像させる撮
   像部と、 前記受光部に撮像された画像に基づいて、前記光学結像
   部から前記被写体上の少なくとも１点までの距離を計算
   する距離計算部とを備えたことを特徴とする視差画像撮
   像装置。
2. 【請求項２】 前記距離計算部が、前記受光部に撮像さ
   れた前記画像における特定の領域について、前記第１の
   開口部を通過した前記第１の画像及び前記第２の開口部
   を通過した前記第２の画像の視差量を検出する視差量検
   出部を有し、前記視差量に基づいて、前記光学結像部か
   ら前記特定の領域に結像された前記被写体までの距離を
   計算することを特徴とする請求項１に記載の視差画像撮
   像装置。
3. 【請求項３】 前記距離計算部が、前記受光部に撮像さ
   れた前記特定の領域の画像と、当該画像を視差方向にシ
   フトすることによって得られる参照画像との相関を、シ
   フト量を所定量だけ変化させながら計算する自己相関計
   算部をさらに有し、前記視差量検出部が、前記自己相関
   計算部が計算した前記相関を用いて前記視差量を求める
   ことを特徴とする請求項２に記載の視差画像撮像装置。
4. 【請求項４】 前記距離計算部が、前記受光部に撮像さ
   れた前記画像のエッジ画像を抽出するエッジ抽出部をさ
   らに有し、前記自己相関計算部が、前記受光部に撮像さ
   れた前記特定の領域のエッジ画像と、当該エッジ画像を
   視差方向にシフトすることによって得られる参照画像と
   の相関を、シフト量を所定量だけ変化させながら計算す
   ることを特徴とする請求項３に記載の視差画像撮像装
   置。
5. 【請求項５】 前記自己相関計算部が、前記受光部に撮
   像された前記特定の領域の画像と、当該画像を、前記光
   通過部の前記第１の開口及び前記第２の開口の並べられ
   た方向と略同一の方向に、シフトさせることによって得
   られる参照画像との相関を、シフト量を所定量だけ変化
   させながら計算することを特徴とする請求項３または４
   に記載の視差画像撮像装置。
6. 【請求項６】 前記受光素子が電荷結合素子であり、前
   記受光部は、複数の前記電荷結合素子が配列された光電
   変換撮像体であることを特徴とする請求項１に記載の視
   差画像撮像装置。
7. 【請求項７】 前記被写体を結像する第２の光学結像部
   と、前記第２の光学結像部により前記被写体が結像され
   る第２の受光部と、前記距離計算部が計算した前記距離
   によって、前記第２の光学結像部のフォーカス、絞り、
   及び前記第２の受光部の露光時間の少なくとも一つを制
   御する制御部とをさらに備えたことを特徴とする請求項
   １に記載の視差画像撮像装置。
8. 【請求項８】 前記第１の光学結像部により前記被写体
   が結像される第２の受光部と、前記距離計算部が計算し
   た前記距離によって、前記第１の光学結像部のフォーカ
   ス、絞り、及び前記第２の受光部の露光時間の少なくと
   も一つを制御する制御部とをさらに備えたことを特徴と
   する請求項１に記載の視差画像撮像装置。
9. 【請求項９】 前記第２の受光部に撮像された前記被写
   体の画像、及び前記距離計算部が計算した前記距離を記
   録する記録部をさらに備えることを特徴とする請求項７
   又は８に記載の視差画像撮像装置。
10. 【請求項１０】 前記光通過部を、前記被写体が前記受
    光部に受光される間の光路外に移動する駆動部と、前記
    距離計算部により計算された前記距離によって前記光学
    結像部又は前記受光部を制御する制御部とをさらに備え
    ることを特徴とする請求項１に記載の視差画像撮像装
    置。
11. 【請求項１１】 前記光通過部が前記光学結像部におけ
    る第３の領域を通過した光を前記受光部に照射させる第
    ３の開口部をさらに有し、 前記距離計算部により計算された前記距離によって前記
    光学結像部又は前記受光部を制御する制御部と、 前記被写体の視差画像を撮像する場合に、前記光通過部
    において、前記第３の開口部を閉じ、前記第１及び前記
    第２の開口部を開き、前記第１の開口部を通過した画像
    及び前記第２の開口部を通過した画像を前記受光部に同
    時に撮像させ、前記被写体を撮像する場合に、前記光通
    過部において、前記第３の開口部を開いた状態で、前記
    第３の開口部を通過した画像を前記受光部に撮像させる
    駆動部とを備えたことを特徴とする請求項１に記載の視
    差画像撮像装置。
12. 【請求項１２】 前記光通過部の前記第１、第２及び第
    ３の開口部が液晶光シャッターを有することを特徴とす
    る請求項１１に記載の視差画像撮像装置。
13. 【請求項１３】 前記光通過部の前記第１及び第２の開
    口部は、前記光学結像部の外周近傍に設けられ、前記光
    通過部の前記第３の開口部は、前記光学結像部の光軸を
    含む領域に設けられ、前記第３の開口部は、前記第１及
    び第２の開口部より大きい領域を有することを特徴とす
    る請求項１２に記載の視差画像撮像装置。
14. 【請求項１４】 異なる点から被写体を見た場合に得ら
    れる複数の視差画像を撮像する視差画像撮像方法であっ
    て、 前記異なる点以外の領域における光の通過を制限する光
    通過部を介して、前記被写体の画像を受光部に撮像し、 前記受光部に撮像された前記画像のエッジ画像を抽出
    し、 特定の領域の前記エッジ画像と、当該エッジ画像を前記
    異なる点を結ぶ視差方向にシフトすることによって得ら
    れる参照画像との相関を、シフト量を所定量だけ変化さ
    せながら計算し、 前記相関が最小となる前記シフト量に基づいて、前記特
    定の領域の前記エッジ画像と前記参照画像との視差量を
    求め、 前記視差量に基づいて、前記光学結像部から前記特定の
    領域に結像された前記被写体までの距離を計算すること
    を特徴とする視差画像撮像方法。
15. 【請求項１５】 前記距離に基づいて、前記被写体を撮
    像するときの撮影条件を調整し、 前記光通過部による前記光の通過の制限を外し、 前記被写体を前記撮影条件で撮像することを特徴とする
    請求項１４に記載の視差画像撮像方法。