JP2001012919A - 奥行検出装置及び撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 外界の所定の被写体についての奥行情報の分
解能を向上することのできる奥行検出装置及び撮像装置
を提供する。 【解決手段】 複数の視点から観察される外界の画像に
基づいて、外界の所定の被写体についての奥行きを表す
奥行情報を検出する奥行検出装置であって、視点から観
察される外界の画像を結ぶ視差用結像部１４と、視差用
結像部１４により結ばれた画像を取り込む視差用撮像部
１６と、視差用撮像部１６により取り込まれた複数の画
像に基づいて、外界の所定の被写体についての複数の検
出視差量を検出する視差量検出部１８と、当該視差量検
出部１８により検出された複数の検出視差量に基づい
て、所定の被写体について奥行情報を推定する実質視差
量推定部１９及び奥行算出部２０とを有するように構成
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の視点から観
察される外界の画像に基づいて、前記外界の所定の被写
体の奥行きを示す奥行情報を検出する奥行検出装置及び
撮像装置に関する。

【０００２】

【従来の技術】従来、被測定物体の３次元形状や奥行情
報を非接触に測定する方法として、レンズ焦点法、単眼
視、ステレオ法、動画像等の受動的な方法や、光レーダ
法、アクティブステレオ法、照度差ステレオ法、モアレ
法、干渉法等の能動的な方法が知られている。

【０００３】ステレオ法は、三角測量の原理を応用し、
被測定物体を異なる位置（視点）から撮影して得られた
複数の画像から、被測定物体の形状を測定する方法であ
る。このステレオ法では、まず、被測定物体を異なる位
置から撮影して複数の画像を取得する。次いで、１の画
像中の所定の点（領域）に対応する他の画像の点（領
域）を検出する処理、いわゆる対応点決定（マッチン
グ）処理を行う。この対応点決定処理はステレオ法の最
も重要な処理である。この対応点決定処理の方法として
は、画像の相関を用いる方法等が提案されている。これ
らの詳細は、「コンピュータビジョン：技術論評と将来
展望、（株）新技術コミュニケーションズ、１９９８、
ＩＳＢＮ４−９１５８５１−１７−６」の「第８章 ス
テレオ視」に詳しく記載されている。この文献には、対
応点決定処理の方法は、画像の所定の領域を使ってマッ
チングする「area-based matching」と、画像からエッ
ジ等を検出し、当該エッジの形状を使ってマッチングす
る「feature-based matching」とに大別されるといった
内容が記述されている。

【０００４】次いで、複数の視差画像間での対応する点
の位置の差である視差（disparity）量を求め、三角測
量の原理、レンズの性質、幾何学の法則等に基づいて、
当該視差量を使うことにより所定の被写体までの距離を
算出する。ここで、例えば、複数の視点の光軸が交差す
る場合においては、視点間隔、視点位置から視点の光軸
が交差する点（視差光軸交差点）までの距離、視点位置
から被写体までの距離、視差量の４つの要素は、簡単な
関係式で表せる。視点間隔及び視点位置から視点光軸交
差点までの距離は、予め設定することができ、規定の値
とすることができる。また、視差量は視差画像から算出
することができる。このため、前記関係式により視点位
置から被写体までの距離を求めることができる。

【０００５】図１は、上記したステレオ法を実施する従
来例に係る奥行検出装置の構成を示す図である。奥行検
出装置１００は、レンズ１０２と、シャッター部１０４
と、ＣＣＤ（charge coupled device）１０６と、視差
画像記憶部１０８と、奥行検出部１１０と、制御部１１
２とを有する。レンズ１０２は外界からの光を集める。
シャッター部１０４は、視点となる開閉自在な開閉部１
０４Ａ、１０４Ｂを有している。シャッター部１０４の
開閉部１０４Ａ又は１０４Ｂは制御部１１２の制御によ
りいずれか一方が開くようになっている。ＣＣＤ１０６
は、自己の受光面上に結ばれた複数の視点からの外界の
画像を取り込む。

【０００６】視差画像記憶部１０８はＣＣＤ１０６によ
り取り込まれた画像データを記憶する。奥行検出部１１
０は、視差画像記憶部１０８に記憶された複数の画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
対応点に該当する被写体までの距離を検出する。制御部
１１２は、各部を制御する。例えば、シャッター部１０
４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。

【０００７】奥行検出装置１００において、制御部１１
２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。これ
により、レンズ１０２及び、開いている一方の開閉部１
０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６
に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を取り
込んで、視差画像記憶部１０８に記憶する。次いで、制
御部１１２が他方の開閉部１０４Ａ又は１０４Ｂのみを
開ける。これにより、レンズ１０２及び、開いている開
閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ
１０６に結ばれる。ＣＣＤ１０６は、結ばれた像を取り
込んで、視差画像記憶部１０８に記憶する。次いで、奥
行検出部１１０がこれら視差画像記憶部１０８に記憶さ
れた異なる視点から見た外界の画像に基づいて、画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
当該対応点の被写体までの距離を検出する。

【０００８】

【発明が解決しようとする課題】ところで、ＣＣＤ１０
６で取り込まれたデジタル画像データの最小単位はＣＣ
Ｄ１０６の画素により定まる。このため、対応点決定処
理により得られる視差量は、一般に１画素を単位とした
整数値（１画素、２画素等）となる。この視差量は、離
散的なサンプリングによって発生する丸め誤差を含んで
いるので、本来の視差量を正確に表していない。このた
め、当該視差量に基づいて算出される被写体までの距離
の値に対して、当該丸め誤差の影響が生じてしまうとい
う問題が生じる。

【０００９】図２は、従来例に係る奥行検出装置により
検出される視差量を説明する図である。図２（Ａ）は、
各被写体Ａ〜Ｄの奥行き位置を示し、図２（Ｂ）は、各
被写体Ａ〜Ｄの実際の視差量と視点の間隔との関係、及
び実際の視差量と奥行検出装置により検出される視差量
との関係を示す図である。ここで、図２（Ｂ）は、横軸
に視点間隔をとり、縦軸に実際の視差量をとるものとす
る。図２（Ａ）に示すように、視点から遠い順に、被写
体Ａ、Ｂ、Ｃ、Ｄが存在している。また、図２（Ｂ）に
示すように、２つの視点から見た際における各被写体
Ａ、Ｂ、Ｃ、Ｄについての実際の視差量は、視点に近い
被写体ほど大きい。また、視点間隔が大きくなるほど各
被写体についての実際の視差量は大きくなる。この奥行
検出装置においては、視点間隔の広さと、実際の視差量
とは比例関係を有している。

【００１０】ここで、視点間隔がＢＬの場合についての
実際の視差量と、検出される視差量について説明する。
視点間隔がＢＬの場合には、２つの視点から見た画像に
発生する被写体Ａ、Ｂ、Ｃ、Ｄについての実際の視差量
は、それぞれ０．３PIXEL、０．７PIXEL、１．３PIXE
L、１．６PIXELである。しかしながら、図２（Ｂ）に示
すように、デジタル画像データを使用した対応点決定処
理によると、被写体Ａについては、視差量０PIXELと検
出され、被写体Ｂ、Ｃについては、視差量１PIXELと検
出され、被写体Ｄについては、視差量２PIXELと検出さ
れる。このため、被写体Ｂ、Ｃまでの距離は、当該視差
量１PIXELに基づいて算出され、実際には異なる位置に
ある被写体が、同じ奥行き位置にあると扱われてしまう
という問題が生じる。

【００１１】このような問題を解決する方法、すなわ
ち、奥行を示す奥行情報についての分解能を向上させる
方法としては、丸め誤差を無視できる程度にサンプリン
グを高密度にすることが考えられる。しかしながら、高
密度なサンプリングを行うためには、画素が細かい高価
な撮像素子や、画像スキャナー等が必要となり、コスト
が大きくなるという問題が生じる。また、高密度なサン
プリングによって得られる画像データの量は膨大になる
ために、対応点決定処理等の処理時間の増大し、画像デ
ータを記憶するために必要な記憶容量が増大するという
問題が生じる。また、上記問題を解決する他の方法とし
ては、各視点間隔を広くする方法が考えられる。しかし
なから、視点間隔を広くすると、装置のサイズが大きく
なり、装置に係るコストが増大するという問題が生じ
る。

【００１２】そこで、本発明は、上記課題を解決しつ
つ、外界の所定の被写体の奥行情報の分解能を容易且つ
効果的に向上することのできる奥行検出装置及び撮像装
置を提供することを目的とする。この目的は特許請求の
範囲における独立項に記載の特徴の組み合わせにより達
成される。また従属項は本発明の更なる有利な具体例を
規定する。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の形態に係る奥行検出装置は、複数の
視点から観察される外界の画像に基づいて、外界の所定
の被写体についての奥行きを表す奥行情報を検出する奥
行検出装置であって、視点から観察される外界の画像を
結ぶ視差用結像部と、視差用結像部により結ばれた画像
を取り込む視差用撮像部と、視差用撮像部により取り込
まれた複数の画像に基づいて、外界の所定の被写体につ
いての複数の検出視差量を検出する視差量検出部と、視
差量検出部により検出された複数の検出視差量に基づい
て、所定の被写体について前記奥行情報を推定する奥行
推定部とを有することを特徴とする。

【００１４】視差用撮像部は、少なくとも３つ以上の視
点から観察される外界の画像を取り込むようにしてもよ
い。視差用結像部を移動させて視点を変更する視差用結
像部駆動部を更に有するようにしてもよい。視差用結像
部は、単一光軸の光学系を有し、視差用結像部を透過し
た光を通過させる視点となる光通過部の位置を少なくと
も３箇所以上有する光通過制御部を備え、視差用撮像部
は、各位置の光通過部を介して結ばれる外界の画像を取
り込むようにしてもよい。奥行推定部は、複数の検出視
差量と、当該検出視差量を求めるために使用した画像に
おける視点の間隔とに基づいて、所定の視点の間隔にお
ける実質視差量を決定する実質視差量推定部と、視点の
間隔及び実質視差量に基づいて奥行情報を算出する奥行
算出部とを有するようにしてもよい。

【００１５】少なくとも一つの視点において視差用結像
部の光軸の向きを複数の向きに変更する光軸変更部を更
に有し、視差量検出部は、少なくとも一つの視点におい
て、視差用結像部の光軸を複数に向けた場合に得られる
複数の画像のそれぞれと、他の視点において観察される
画像とに基づいて、外界の所定の被写体について複数の
視差量を検出するようにしてもよい。奥行推定部は、複
数の検出視差量と、当該検出視差量を求めるために使用
した画像における光軸の位置関係とに基づいて、所定の
光軸の位置関係における実質視差量を決定する実質視差
量推定部と、所定の光軸の位置関係及び実質視差量に基
づいて奥行情報を算出する奥行算出部とを有するように
してもよい。

【００１６】視差用結像部は、単一光軸の光学系を有
し、視差用結像部を光軸に平行な方向に移動させる視差
用結像部駆動部と、視差用結像部を透過した光を通過さ
せる視点となる光通過部の位置を複数有する光通過制御
部とを備え、視差用撮像部は、各位置の光通過部を介し
て結ばれる外界の画像を取り込み、視差量検出部は、視
差用結像部が第１位置である場合における複数の視点か
ら観察される画像に基づいて、外界の所定の被写体につ
いての一の検出視差量を検出し、更に、視差用結像部が
第２位置である場合における複数の視点から観察される
画像に基づいて、外界の所定の被写体についての他の検
出視差量を検出するようにしてもよい。奥行推定部は、
複数の検出視差量と、当該検出視差量を求めるために使
用した画像における視差用結像部の焦点位置とに基づい
て、所定の焦点位置における実質視差量を決定する実質
視差量推定部と、所定の焦点位置及び実質視差量に基づ
いて奥行情報を算出する奥行算出部とを有するようにし
てもよい。

【００１７】視差用撮像部により取り込まれた各視点に
おける画像を縮小した縮小画像を生成する縮小画像生成
部と、縮小画像生成部に、少なくとも一つの視点におい
て得られた画像から複数の縮小画像を生成させる縮小画
像生成制御部とを更に備え、視差量検出部は、縮小画像
生成部により生成された一の視点における複数の縮小画
像と、他方の視点における縮小画像とに基づいて、外界
の所定の被写体についての複数の検出視差量を検出し、
奥行推定部は、複数の検出視差量に基づいて、奥行情報
を検出するようにしてもよい。

【００１８】縮小画像生成部は、画像における複数画素
の複数組をそれぞれ縮小画像の１画素に変換することに
より縮小画像を生成し、縮小画像生成制御部は、縮小画
像生成部に、画像における組の切り出す範囲を複数の視
点を結ぶ視点方向に異ならせて複数の縮小画像を生成さ
せるようにしてもよい。奥行推定部は、複数の検出視差
量と、当該検出視差量を求めるために使用した画像にお
ける組の範囲の位置とに基づいて、実質視差量を決定す
る実質視差量推定部と、実質視差量に基づいて奥行情報
を算出する奥行算出部とを有するようにしてもよい。

【００１９】上記目的を達成するために、本発明の第１
の形態に係る撮像装置は、所望の外界を撮像する撮像装
置であって、外界の画像を結ぶ結像系と、結像系により
結ばれた画像を撮像する撮像系と、撮像系により取り込
まれた複数の画像に基づいて、外界の所定の被写体につ
いての複数の検出視差量を検出する視差量検出部と、視
差量検出部により検出された複数の検出視差量に基づい
て、所定の被写体についての奥行きを表す奥行情報を推
定する奥行推定部と、奥行推定部により検出された奥行
情報に基づいて、結像系又は撮像系を制御する制御部と
を有することを特徴とする。

【００２０】結像系は、外界の画像を結ぶ結像部と、複
数の視点から観察される外界の画像を結ぶ視差用結像部
とを有し、撮像系は、結像部により結ばれた画像を撮像
する撮像部と、視差用結像部により結ばれた画像を取り
込む視差用撮像部とを有し、視差用検出部は、視差用撮
像部により取り込まれた複数の画像に基づいて、外界の
所定の被写体についての複数の検出視差量を検出し、制
御部は、奥行推定部により検出された奥行情報に基づい
て、結像部又は撮像部を制御するようにしてもよい。な
お、上記の発明の概要は、本発明の必要な特徴の全てを
列挙したものではなく、これらの特徴群のサブコンビネ
ーションもまた発明となりうる。

【００２１】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。図３は、本発明の第１
の実施形態に係る奥行検出装置を有する撮像装置１０の
一例としてのデジタルカメラの構成を示す。ここで、デ
ジタルカメラには、画像を一枚毎に取り込むカメラだけ
でなく、画像を連続して取り込むビデオカメラ等が含ま
れる。撮像装置１０は、奥行検出装置１２と、結像部２
４と、撮像部２６と、記憶部２８と、制御部３０とを有
する。奥行検出装置１２は、視差用結像部１４と、光通
過制御部の一例としてのシャッター部４０及び視差用制
御部４２と、視差用撮像部１６と、視差画像記憶部１７
と、視差量検出部１８と、奥行推定部の一例としての実
質視差量推定部１９及び奥行算出部２０と、奥行記憶部
２２とを有する。ここで、本実施形態では、特許請求の
範囲にいう結像系は、結像部２４及び視差用結像部１４
によって構成され、撮像系は、撮像部２６及び視差用撮
像部１６によって構成される。

【００２２】結像部２４は、例えば、単数或いは複数の
レンズを有しており、外界からの光を集めることによ
り、撮像部２６の受光面上に外界の被写体の画像を結
ぶ。本実施形態では、撮像部２６は、光電変換素子の一
例としてのＣＣＤ（Charge Coupled Device）であり、
受光面上に結ばれた画像を画像データに変換して取り込
む。記憶部２８は、撮像部２６によって変換された画像
データを記憶する。

【００２３】視差用結像部１４は、外界の画像を視差用
撮像部１６の受光面上に結ぶ。シャッター部４０は、視
点となる光通過部の一例としての複数の開閉自在な開閉
部４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ、４０Ｅを有してい
る。シャッター部４０は視差用結像部１４の瞳面、或い
はその近傍に配置されることが好ましい。本実施の形態
では、最も外側に位置する開閉部４０Ａ及び開閉部４０
Ｅの視点を結ぶ視差方向の間隔（視点間隔）は、ＢＬで
あり、その他の開閉部４０Ｂ、４０Ｃ及び４０Ｄは、開
閉部４０Ａ及び開閉部４０Ｅの間に等間隔に設けられて
いる。視差用撮像部１６は、シャッター部４０の開いて
いる開閉部４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ又は４０Ｅ
を介して結ばれた外界の画像を画像データに変換する。
視差用制御部４２は、シャッター部４０の開閉部４０Ａ
〜４０Ｅのいずれか一つを順次開けて、各開閉部４０Ａ
〜４０Ｅを介して結ばれる外界の各画像を視差用撮像部
１６に画像データに変換させる。視差画像記憶部１７
は、視差用撮像部１６により変換された画像データを記
憶する。

【００２４】視差量検出部１８は、視差画像記憶部１７
に記憶された複数の画像に基づいて、外界の所定の被写
体について対応点決定処理を行うことにより、複数の視
点間隔における複数の視差量（検出視差量）を検出す
る。ここで、対応点決定処理は、従来より知られている
技術であるので説明を省略する。

【００２５】本実施形態では、視差量検出部１８は、開
閉部４０Ａ及び開閉部４０Ｅのそれぞれを介して結ばれ
た２つの画像を使って、視点間隔がＢＬの場合における
外界の所定の被写体についての検出視差量を検出する。
また、視差量検出部１８は、開閉部４０Ａ及び開閉部４
０Ｄのそれぞれを介して結ばれた２つの画像を使って、
視点間隔が３／４×ＢＬの場合における外界の所定の被
写体についての検出視差量を検出する。また、視差量検
出部１８は、開閉部４０Ａ及び開閉部４０Ｃのそれぞれ
を介して結ばれた２つの画像を使って、視点間隔が１／
２×ＢＬの場合における外界の所定の被写体についての
検出視差量を検出する。また、視差量検出部１８は、開
閉部４０Ａ及び開閉部４０Ｂのそれぞれを介して結ばれ
た２つの画像を使って、視点間隔が１／４×ＢＬの場合
における外界の所定の被写体についての検出視差量を検
出する。

【００２６】実質視差量推定部１９は、複数の視点間隔
における検出視差量に基づいて、所定の視点間隔におけ
る実質の視差量（実質視差量）を推定する。本実施形態
においては、実質視差量推定部１９は、視点間隔と検出
視差量とをそれぞれ軸とする座標系において、視差量検
出部１８が検出した複数の視点間隔及び検出視差量の各
点に基づいて、関数を推定し、当該関数に基づいて所定
の視点間隔における実質視差量を推定する。ここで、本
実施形態の撮像装置では、視点間隔と同一の被写体につ
いての実際の視差量とが比例関係にあることに着目し
て、原点を通る直線の関数を推定する。ここで、例え
ば、最小２乗法により、すなわち、視点間隔及び検出視
差量の各点での、関数に相当する線からの偏差の2乗の
和を最小にする関数を検出することにより、関数を推定
することが好ましい。

【００２７】図４は、本発明の第１の実施形態に係る実
質視差量推定部の処理を説明する図である。図４は、横
軸に視点間隔をとり、縦軸に視差量をとるものとし、図
中小さい丸印は、実際の視差量を示し、大きい丸印は、
検出視差量を示す。図４に示すように、外界の所定の被
写体についての検出視差量は、整数PIXELとなる。図４
中では、視点間隔がＢＬ、３／４×ＢＬ、及び１／２×
ＢＬの時のそれぞれの検出視差量は１PIXELであり、視
点間隔が１／４×ＢＬの時の検出視差量は０PIXELであ
る。実質視差量推定部１９は、このような視点間隔及び
検出視差量で示される各点に基づいて、図４に示す直線
βを推定する。直線βは、視点間隔及び実際の視差量の
関係を示す直線αに近い直線となる。したがって、当該
関数βを使うと、実際の視差量に近似する、整数以下の
単位を有する実質視差量を検出することができる。

【００２８】奥行算出部２０は、実質視差量推定部１９
により算出された実質視差量及びその際の視点間隔に基
づいて、外界の所定の被写体の奥行きを表す奥行情報を
検出する。上記した実際の視差量に近似する、整数以下
の単位を有する実質視差量に基づいて奥行情報を検出す
るので、奥行情報の分解能を向上することができる。実
質視差量及びその際の視点間隔に基づいて、奥行情報を
検出する方法は、例えば、従来より知られている三角測
量の原理、レンズの性質、幾何学の法則等に基づいて表
すことができるので、ここでは、説明を省略する。

【００２９】奥行記憶部２２は、奥行算出部２０により
検出された被写体の奥行情報を記憶する。制御部３０
は、奥行記憶部２２に記憶されている所定の被写体の奥
行情報に基づいて、結像部２４のフォーカスや、撮像部
２６による撮像動作のタイミングやスピード等を制御す
る。ここで、記憶部２８、視差画像記憶部１８、及び奥
行記憶部２２は、それぞれ、撮像装置１０内に常設され
ているＲＡＭ（Random Access Memory）、フラッシュメ
モリであってもよく、また、撮像装置１０に対して着脱
可能な、例えば、フロッピーディスク、ＭＤ（Mini Dis
k）、スマートメディア（商標）等の記録媒体であって
もよい。

【００３０】次に、撮像装置１０の動作を説明する。撮
像装置１０において、視差用制御部４２がシャッター部
４０の開閉部４０Ａのみを開放する。これにより、開閉
部４０Ａを介して、外界の画像が視差用撮像部１６の受
光面上に結ばれる。視差用撮像部１６は、結ばれた外界
の画像を画像データに変換して視差画像記憶部１７に格
納する。同様にして、視差用制御部４２がシャッター部
４０の開閉部４０Ｂ、４０Ｃ、４０Ｄ、及び４０Ｅのい
ずれか一つを順次開放し、視差用撮像部１６が開閉部４
０Ｂ、４０Ｃ、４０Ｄ、又は４０Ｅを介して結ばれる外
界の画像を画像データに変換して視差画像記憶部１７に
格納する。

【００３１】次いで、視差量検出部１８は、視差画像記
憶部１７に記憶された複数の画像に基づいて、外界の所
定の被写体について対応点決定処理を行うことにより、
複数の視点間隔における複数の検出視差量を検出する。
次いで、実質視差量推定部１９が、複数の視点間隔にお
ける検出視差量に基づいて、所定の視点間隔における実
質視差量を推定し、奥行算出部２０が当該実質視差量及
びその際の視点間隔に基づいて、外界の所定の被写体の
奥行きを表す奥行情報を検出する。そして、奥行検出部
２２が検出された被写体についての奥行情報を記憶す
る。

【００３２】次いで、制御部３０が奥行記憶部２２に記
憶されている被写体の奥行情報に基づいて、結像部２４
及び撮像部２６を制御する。これにより、結像部２４が
外界からの光を集め、撮像部６の受光面上に外界の被写
体の画像を結ぶ。そして、撮像部２６が自己の受光面上
に結ばれた画像を画像データに変換し、記憶部２８が撮
像部２６によって変換された画像データを記憶する。

【００３３】このとき、記憶部２８は、自己が記憶する
画像データと、当該画像データを取り込むに際して、視
差用撮像部１６により取り込まれて視差画像記憶部１８
に記憶された複数の視点からの画像と、当該複数の視点
からの画像により算出されて奥行記憶部２２に記憶され
ている被写体の奥行情報とを対応付ける対応付け情報も
記憶する。これにより、後に、画像データと、当該画像
データに関する複数の視点からの画像と、当該画像デー
タに含まれている被写体の奥行情報とを対応付けて利用
することができる。上記したように、外界の所定の被写
体の奥行情報の分解能を高めることができ、更に、この
ように分解能が高められた奥行情報に基づいて結像部２
４及び撮像部２６を制御するので、画像を高精度に取り
込むことができる。

【００３４】次に、本発明の第２の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図３に示す第１の実施形態
に係る撮像装置と奥行検出装置１２の構成のみ異なるの
で、ここでは、奥行検出装置１２について説明すること
とし、他の構成については説明を省略する。

【００３５】図５は、本発明の第２の実施形態に係る奥
行検出装置の構成を示す図である。ここで、図３に示す
第１の実施形態に係る奥行検出装置と同一機能を有する
構成については同一符号を付すこととする。本実施形態
に係る奥行検出装置１２は、第１の実施形態に係る奥行
検出装置において、シャッター部４０及び視差用制御部
４２を備えず、駆動部１５を更に備える。駆動部１５
は、視差用結像部１４及び視差用撮像部１６を移動させ
る。本実施形態では、駆動部１５は、視差用結像部１４
及び視差用撮像部１６を視差用結像部１４の光軸を平行
に維持したまま、当該光軸に垂直な方向の３カ所以上の
位置に移動させる。

【００３６】次に、本撮像装置の動作を説明する。撮像
装置において、駆動部１５が視差用結像部１４及び視差
用撮像部１６を所定の視点位置に維持させる。これによ
り、当該視点位置において視差用結像部１４を介して外
界の画像が視差用撮像部１６の受光面上に結ばれる。こ
の時、視差用撮像部１６は受光面上に結ばれた画像を画
像データに変換し、視差画像記憶部１７が画像データを
記憶する。次いで、駆動部１５が視差用結像部１４及び
視差用撮像部１６を他の視点位置に移動させ、当該視点
位置において、視差用撮像部１６が受光面上に結ばれた
画像を画像データに変換し、視差画像記憶部１７が画像
データを記憶する。同様にして、更に他の視点位置にお
いても、視差用撮像部１６が当該視点位置において受光
面上に結ばれる画像を画像データに変換し、視差画像記
憶部１７が画像データを記憶する。

【００３７】次いで、視差量検出部１８が、視差画像記
憶部１７に記憶された複数の画像に基づいて、外界の所
定の被写体について対応点決定処理を行うことにより、
複数の視点間隔における複数の検出視差量を検出する。
次いで、実質視差量推定部１９が、複数の視点間隔にお
ける検出視差量に基づいて、所定の視点間隔における実
質視差量を推定する。これによって、整数以下の単位を
有する高精度な実質視差量を検出することができる。次
いで、奥行算出部２０が当該実質視差量及びその際の視
点間隔に基づいて、外界の所定の被写体の奥行きを表す
奥行情報を検出する。そして、奥行記憶部２２が検出さ
れた被写体についての奥行情報を記憶する。このよう
に、本奥行検出装置では、整数以下の単位を有する高精
度な実質視差量を検出することができ、さらに、当該実
質視差量に基づいて奥行情報を検出するので、奥行情報
の分解能を向上することができる。

【００３８】次に、本発明の第３の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図３に示す第１の実施形態
に係る撮像装置と奥行検出装置１２の構成のみ異なるの
で、ここでは、奥行検出装置１２について説明すること
とし、他の構成については説明を省略する。

【００３９】図６は、本発明の第３の実施形態に係る奥
行検出装置の構成を示す図である。ここで、図３に示す
第１の実施形態に係る奥行検出装置と同一機能を有する
構成については同一符号を付すこととする。本実施形態
に係る奥行検出装置１２は、複数の視差用結像部１４及
び視差用撮像部１６の組と、視差画像記憶部１７と、視
差量検出部５５と、実質視差量推定部５６と、奥行算出
部５７と、奥行記憶部２２と、駆動部５８とを有する。
一の視差用結像部１４と、他の視差用結像部１４とは、
各光軸が交差するようになっている。駆動部５８は、一
の視差用結像部１４及び視差用撮像部１６の組を当該視
差用結像部１４の主点位置を中心に回転させる。これに
より、複数の視差用結像部１４の光軸が交差する位置
（視点光軸交差点）が変わる。

【００４０】視差量検出部５５は、視差画像記憶部１７
に記憶されている複数の画像中の異なる視点を介して取
り込まれた複数の画像に基づいて、外界の所定の被写体
についての複数の検出視差量を検出する。ここで、複数
の画像から外界の所定の被写体についての検出視差量を
検出する処理は、対応点決定処理として従来より知られ
ているので説明を省略する。本実施形態では、視差量検
出部５５は、一の視差用結像部１４の光軸を複数に変更
させて得られた複数の画像のそれぞれと、他の視差用結
像部１４の光軸を所定の向きにして得られた画像とに基
づいて複数の検出視差量を検出する。

【００４１】図７は、本発明の第３の実施形態に係る視
点交差位置の距離と実際の視差量との関係を示す図であ
る。ここで、視点交差位置の距離は、複数の視差用結像
部１４の主点を含む平面（基準面）から距離である。ま
た、視点交差位置より奥行検出装置１２側に位置する被
写体に発生する視差の方向をプラス方向とする。また、
図７に示す被写体Ａ〜Ｄは、図６に示すように、奥行検
出装置１２から遠い方から順に被写体Ａ、Ｂ、Ｃ、Ｄが
並んでいるものとし、被写体Ａは、複数の基準面から距
離Ａの位置にあり、被写体Ｂは基準面から距離Ｂにある
ものとする。

【００４２】図７に示すように、各被写体の像に発生す
る視差量は、基準面から遠いほど小さい、すなわち、被
写体Ｄ、Ｃ、Ｂ、Ａの順に視差量が小さくなる。また、
各被写体の像に発生する視差量は、視点交差位置の距離
が長くなるほど大きくなる。また、被写体が視点交差位
置を含む基準面に平行な面内にあるときに被写体の像に
発生する視差量は０となる。すなわち、視点交差位置の
距離が距離Ｂの時には、被写体Ｂの像に発生する視差量
は０となり、視点交差位置の距離が距離Ａの時には、被
写体Ａの像に発生する視差量は０となる。

【００４３】実質視差量推定部５６は、視差量検出部５
５により検出された複数の検出視差量に基づいて、複数
の視差用結像部１４の光軸交差点が所定の位置にある場
合における所定の被写体の実質視差量を推定する。本実
施形態では、実質視差量推定部５６は、検出視差量と、
当該検出視差量を求めた画像を得た場合における視点交
差位置の距離とをそれぞれ軸とする座標系において、検
出視差量と視点交差位置の距離とで示される各点に基づ
いて関数を推定し、当該関数に基づいて所定の視点交差
位置の距離における実質視差量を推定する。ここで、例
えば、最小２乗法により、すなわち、視点交差位置の距
離及び検出視差量の各点での、偏差の2乗の和を最小に
する関数を検出することにより、関数を推定することが
好ましい。このように関数を推定するので、実際の視差
量により近似する、整数以下の単位を有する実質視差量
を検出できる。

【００４４】図８は、本発明の第３の実施形態に係る実
質視差量推定部の処理を説明する図である。図８は、横
軸に視点交差位置の距離をとり、縦軸に視差量をとるも
のとする。図８中の×印は、各視点交差位置における視
点交差位置の距離及び検出視差量を示す。図８に示すよ
うに、外界の所定の被写体についての検出視差量は、整
数PIXELとなる。例えば、視線光軸交差点の距離を短く
していくと、検出視差量は、２PIXEL、１PIXEL、０PIXE
L、−１PIXEL、−２PIXELのように変化する。実質視差
量推定部１９は、図８の検出視差量及び視点交差位置距
離で示される各点に基づいて、検出視差量と視点交差位
置距離との関数を推定する。このようにして求められる
関数は、図８に示すように、実際の視差量と視点交差位
置距離との関数に近似したものとなる。したがって、当
該関数によると、実際の視差量に近似する、整数以下の
単位を有する実質視差量を検出することができる。

【００４５】奥行算出部５７は、実質視差量推定部５６
により算出された実質視差量及びその際の視差交差位置
の距離に基づいて、外界の所定の被写体の奥行きを表す
奥行情報を検出する。このように、上記した整数以下の
単位を有する実質視差量に基づいて奥行情報を検出する
ので、奥行情報の分解能を向上することができる。実質
視差量及び視差交差位置の距離に基づいて、奥行情報を
検出する処理は、例えば、従来より知られている三角測
量の原理、レンズの性質、幾何学の法則等に基づいて表
すことができるので、ここでは、説明を省略する。

【００４６】次に、本撮像装置の動作を説明する。撮像
装置において、駆動部５８が一方の視差用結像部１４及
び視差用撮像部１６の組を視差用結像部１４の光軸が所
定の方向に向くように維持させる。次いで、視差用撮像
部１６は受光面上に結ばれた画像を画像データに変換
し、視差画像記憶部１７が画像データを記憶する。ま
た、他方の視差用結像部１４を介して結ばれた外界の画
像を視差用撮像部１６が画像データに変換し、視差画像
記憶部１７が画像データを記憶する。次いで、駆動部５
８が視差用結像部１４及び視差用撮像部１６の組を視差
用結像部１４の光軸が他の方向に向くように回転させ
る。次いで、視差用撮像部１６は受光面上に結ばれた画
像を画像データに変換し、視差画像記憶部１７が画像デ
ータを記憶する。このようにして、駆動部５８は、一方
の視差用結像部１４及び視差用撮像部１６の組を視差用
結像部１４の光軸を複数の異なる方向に向け、それぞれ
の場合において、視差用撮像部１６が受光面上に結ばれ
た画像を画像データに変換し、視差画像記憶部１７が画
像データを記憶する。

【００４７】次いで、視差量検出部５５が、視差画像記
憶部１７に記憶された、一の視差用結像部１４の光軸を
複数に変更させて得られた複数の画像のそれぞれと、他
の視差用結像部１４の光軸を所定の向きにして得られた
画像とに基づいて、複数の視点交差位置におけるそれぞ
れの検出視差量を検出する。次いで、実質視差量推定部
５６が、複数の視点交差位置における検出視差量に基づ
いて、所定の視点交差位置における実質視差量を推定す
る。これによって、整数以下の単位を有する高精度な実
質視差量を検出することができる。次いで、奥行算出部
５７が当該実質視差量及び視点交差位置の距離に基づい
て、外界の所定の被写体の奥行きを表す奥行情報を検出
する。そして、奥行記憶部２２が検出された被写体につ
いての奥行情報を記憶する。このように、本奥行検出装
置では、整数以下の単位を有する高精度な実質視差量を
検出することができ、さらに、当該実質視差量に基づい
て奥行情報を検出するので、奥行情報の分解能を向上す
ることができる。

【００４８】次に、本発明の第４の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図３に示す第１の実施形態
に係る撮像装置と奥行検出装置１２の構成のみ異なるの
で、ここでは、奥行検出装置１２について説明すること
とし、他の構成については説明を省略する。図９は、本
発明の第４の実施形態に係る奥行検出装置の構成を示す
図である。ここで、図３に示す第１の実施形態に係る奥
行検出装置と同一機能を有する構成については同一符号
を付すこととする。また、図に示すように、視点を結ぶ
方向にＺ軸を取るものとする。本実施形態に係る奥行検
出装置は、視差用結像部１４と、シャッター部５０と、
視差用撮像部１６と、視差画像記憶部１７と、視差量検
出部５９と、実質視差量推定部６０と、奥行算出部６１
と、奥行記憶部２２と、視差用制御部６２とを有する。

【００４９】視差用制御部６２は、視差用結像部１４の
位置を当該視差用結像部１４の光軸に平行な方向に移動
させる。本実施形態では、視差用制御部６２は視差用結
像部１４を例えば、４つの異なる位置に移動させる。こ
れにより、視差用結像部１４による合焦点面の位置が変
わる。例えば、視差用結像部１４をシャッター部５０に
近づけることにより合焦点面を遠くに移動させることが
でき、逆に視差用結像部１４をシャッター部５０から遠
ざけることにより合焦点面を近くに移動させることがで
きる。

【００５０】また、視差用制御部６２は、シャッター部
５０の開閉部５０Ａ又は５０Ｂのいずれか一方のみを開
いた状態にする。ここで、視差用結像部１４を移動させ
ると、視差用撮像部１６に結ばれる画像の大きさが変化
するので、画像の大きさを補正することが好ましい。画
像の大きさは、例えば、ズームレンズを使って光学的に
補正するようにしてもよく、また取り込まれた画像デー
タに画像処理を行うことにより補正するようにしてもよ
い。

【００５１】視差量検出部５９は、視差画像記憶部１７
に記憶されている複数の画像中の異なる視点を介して取
り込まれた複数の画像に基づいて、外界の所定の被写体
についての複数の検出視差量を検出する。ここで、複数
の画像から外界の所定の被写体についての検出視差量を
検出する処理は、対応点決定処理として従来より知られ
ているので説明を省略する。本実施形態では、視差量検
出部５９は、視差用結像部１４を所定の位置においた場
合に複数の視点を介して取り込まれた複数の画像に基づ
いて検出視差量を検出し、視差用結像部１４をおいたそ
れぞれの位置について検出視差量を検出する。

【００５２】図１０は、本発明の第４の実施形態に係る
視差用撮像部１６に結ばれる被写体の像を説明する図で
ある。ここで、図１０においては、図９に示すＺ軸と同
一のＺ軸を取るものとする。また、図１０に示す被写体
Ａ〜Ｃは、図９に示すように、奥行検出装置１２から遠
い方から順に被写体Ｃ、Ｂ、Ａが並んでいるものとし、
被写体Ｃは合焦点面β上にあり、被写体Ｂは合焦点面α
上にあるものとする。図１０（Ａ）は、合焦点面αにし
た場合における各被写体の視差量を示し、開閉部５０Ａ
を介して結ばれた被写体の像を波線で示し、開閉部５０
Ｂを介して結ばれた被写体の像を実線で示す。図１０
（Ｂ）は、合焦点面βにした場合における各被写体の視
差量を示し、開閉部５０Ａを介して結ばれた被写体の像
を波線で示し、開閉部５０Ｂを介して結ばれた被写体の
像を実線で示す。

【００５３】図１０（Ａ）に示すように、合焦点面αに
ある被写体Ｂの像は、開閉部５０Ａのみが開いた状態か
ら開閉部５０Ｂのみが開いた状態になった場合でも移動
しない。また、合焦点面αより視差用結像部１４から近
い被写体Ａの像は、開閉部５０Ａのみが開いた状態から
開閉部５０Ｂのみが開いた状態になった場合には、Ｚ軸
のマイナスの方向に移動する。また、合焦点面αより視
差用結像部１４から遠い被写体Ｂの像は、開閉部５０Ａ
のみが開いた状態から開閉部５０Ｂのみが開いた状態に
なった場合には、Ｚ軸のプラスの方向に移動する。

【００５４】図１０（Ｂ）に示すように、合焦点面βに
ある被写体Ｃの像は、開閉部５０Ａのみが開いた状態か
ら開閉部Ｂのみが開いた状態になった場合でも移動しな
い。また、合焦点面βより視差用結像部１４から近い被
写体Ａ、Ｂの像は、開閉部Ａのみが開いた状態から開閉
部Ｂのみが開いた状態になった場合には、Ｚ軸のマイナ
スの方向に移動し、視差用結像部１４に近い被写体ほど
移動量が大きい。

【００５５】実質視差量推定部６０は、視差用結像部１
４による合焦点面の距離が複数の場合における複数の検
出視差量に基づいて、所定の合焦点面の距離における実
質視差量を推定する。また、本実施形態においては、実
質視差量推定部４４は、合焦点面の距離と検出視差量と
をそれぞれ軸とする座標系において、視差量検出部５９
が検出した複数の合焦点面の距離における複数の検出視
差量を示す各点に基づいて、関数を推定し、当該関数に
基づいて所定の合焦点面の距離における実質視差量を推
定する。このように関数を推定するので、実際の視差量
により近似する、整数以下の単位を有する実質視差量を
検出できる。

【００５６】奥行算出部６１は、実質視差量推定部６０
により算出された実質視差量及び合焦点面の距離に基づ
いて、外界の所定の被写体の奥行きを表す奥行情報を検
出する。このように、上記した整数以下の単位を有する
実質視差量に基づいて奥行情報を検出するので、奥行情
報の分解能を向上することができる。実質視差量及び合
焦点面の距離に基づいて、奥行情報を検出する処理は、
例えば、従来より知られている三角測量の原理、レンズ
の性質、幾何学の法則等に基づいて表すことができるの
で、ここでは、説明を省略する。

【００５７】次に、本撮像装置の動作を説明する。撮像
装置において、視差用制御部６２が視差用結像部１４の
位置を第１の位置に維持すると共に、シャッター部５０
の開閉部５０Ａのみを開けた状態にする。そして、視差
用撮像部１６が、開閉部５０Ａを介して受光面上に結ば
れる外界の画像を画像データに変換し、視差画像記憶部
１７が変換された当該画像データを記憶する。次いで、
制御部６２がシャッター部５０の開閉部５０Ｂのみを開
けた状態にする。そして、視差用撮像部１６が開閉部５
０Ｂを介して受光面上に結ばれる外界の画像を画像デー
タに変換し、視差画像記憶部１７が変換された当該画像
データを記憶する。

【００５８】次いで、視差用制御部６２が視差用結像部
５４の位置を第２の位置に移動させ、上記同様に開閉部
５０Ａ、開閉部５０Ｂのそれぞれを介して結ばれる画像
を画像データとして視差画像記憶部１７に記憶する。更
に、視差用結像部５４を第３の位置、第４の位置に移動
させて上記同様な動作を行う。

【００５９】次いで、視差用結像部５４が第１乃至第４
の位置のそれぞれの場合における開閉部５０Ａ及び開閉
部５０Ｂを介して取り込まれた画像データに基づいて、
視差量検出部５９が複数の合焦点面の距離である場合に
おける外界の所定の被写体についての検出視差量を検出
する。次いで、実質視差量推定部６０が、視差用結像部
１４が各合焦点面の距離である場合における複数の検出
視差量に基づいて、所定の合焦点面の距離における実質
視差量を推定する。次いで、奥行算出部６１が、実質視
差量推定部６０により算出された実質視差量及び合焦点
面の距離に基づいて、外界の所定の被写体の奥行きを表
す奥行情報を検出する。そして、奥行記憶部２２が検出
された被写体についての奥行情報を記憶する。このよう
に、本奥行検出装置では、整数以下の単位を有する高精
度な実質視差量を検出することができる。また、当該実
質視差量に基づいて奥行情報を検出するので、奥行情報
の分解能を向上することができる。

【００６０】次に、本発明の第５の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図３に示す第１の実施形態
に係る撮像装置と奥行検出装置１２の構成のみ異なるの
で、ここでは、奥行検出装置１２について説明すること
とし、他の構成については説明を省略する。図１１は、
本発明の第５の実施形態に係る奥行検出装置の構成を示
す図である。ここで、図３に示す第１の実施形態に係る
奥行検出装置と同一機能を有する構成については同一符
号を付すこととする。また、図に示すように、視点とな
る開閉部５０Ａ及び５０Ｂを結ぶ方向にＺ軸を取るもの
とする。本実施形態に係る奥行検出装置１２は、視差用
結像部１４と、シャッター部５０と、視差用撮像部１６
と、縮小画像生成部６６と、視差画像記憶部１７と、視
差量検出部６８と、実質視差量推定部７０と、奥行算出
部７２と、奥行記憶部２２と、視差用制御部６５とを有
する。

【００６１】視差用制御部６５は、シャッター部５０の
開閉部５０Ａ、５０Ｂの一方のみを開けた状態にして、
視差用撮像部１６に外界の画像を画像データに変換させ
る。縮小画像生成部６６は、視差用撮像部１６により変
換された各視点からの画像データから縮小画像を生成す
る。このように、縮小画像を生成することで、処理に使
用するデータ量を削減することができる。本実施形態で
は、画像データの５×５画素の矩形の複数の組のそれぞ
れを１画素に変換することにより縮小画像を生成する。

【００６２】図１２は、本発明の第５の実施形態に係る
縮小画像生成部による縮小画像の生成方法の一例を示す
図である。図１２（Ａ）は、開閉部５０Ａを介して得ら
れた画像を示し、図１２（Ｄ）は、開閉部５０Ｂを介し
て得られた画像を示している。縮小画像生成部６６は、
図１２（Ａ）における所定のサンプル領域に属する複数
の画素について、図１２（Ｂ）に示すように５×５画素
の矩形の組に切り分ける。ここで、図中の小さい矩形が
元の画像の１画素を示している。次いで、各組について
縮小処理を行って図１２（Ｃ）に示すように、各組をそ
れぞれ１つの縮小画像の画素にする。縮小処理として
は、例えば、５×５画素の各画素の画素データを加算し
て縮小画像の１画素の画素データにする、或いは、加算
した後平均を取って縮小画像の１画素の画素データにす
る等がある。ここで、本説明においては、説明を簡略化
するために、画像の１画素は白又は黒（斜線）であり、
縮小処理においては、組の中の半数以上を占める色が当
該縮小画像の画素の色になるものとする。図１２（Ｂ）
に示す画像は、図１２（Ｃ）に示すように、縮小画像で
は左から１、２番目の画素が白画素となり、３〜５番目
の画素が黒画素となる。

【００６３】また、縮小画像生成部６６は、図１２
（Ｄ）における上記サンプル領域に属する複数の画素に
ついて、図１２（Ｅ）に示すように５×５画素の矩形の
組に切り出す。次いで、各組について縮小処理を行って
図１２（Ｆ）に示すように、各組をそれぞれ１つの画素
にする。これにより、図１２（Ｅ）に示す画像は、図１
２（Ｆ）に示すように、縮小画像では左から１〜３番目
の画素が白画素となり、４、５番目の画素が黒画素とな
る。

【００６４】また、縮小画像生成部６６は、すくなくと
も一の視点から得られた画像データに基づいて複数の縮
小画像を生成する。本実施形態では、縮小画像生成部６
６は、複数の画素の組を切り出す範囲を視点を結ぶ方向
に異ならせることにより複数の縮小画像を生成する。具
体的には、例えば、縮小画像生成部６６は、開閉部５０
Ａを介して取り込まれた画像における複数の画素につい
て、図１２（Ｅ）に示す矩形の組の切り出し範囲の位置
を視差方向であるＺ軸方向に、−２画素、−１画素、＋
１画素、＋２画素ずつずらして複数の縮小画像を生成す
る。

【００６５】図１３は、本発明の第５の実施形態に係る
縮小画像生成部により生成される縮小画像の一例を示す
図である。図１３（Ｃ）は、図１２（Ｅ）に示す切り出
し範囲の位置（基準切り出し位置：位置Ｃ）における縮
小画像を示す。図１３（Ａ）に示すように、基準切り出
し位置から−２画素ずらした位置（位置Ａ）の範囲を組
とした場合には、縮小画像の左から１〜３番目の画素が
白画素であり、４、５番目の画素が黒画素である縮小画
像が生成される。図１３（Ｂ）に示すように、基準切り
出し位置から−１画素ずらした位置（位置Ｂ）の範囲を
組とした場合には、縮小画像の左から１〜３番目の画素
が白画素であり、４、５番目の画素が黒画素である縮小
画像が生成される。

【００６６】図１３（Ｄ）に示すように、基準切り出し
位置から＋１画素ずらした位置（位置Ｄ）の範囲を組と
した場合には、縮小画像の左から１、２番目の画素が白
画素であり、３〜５番目の画素が黒画素である縮小画像
が生成される。図１３（Ｅ）は、に示すように、基準切
り出し位置から＋１画素ずらした位置（位置Ｅ）の範囲
を組とした場合には、縮小画像の左から１、２番目の画
素が白画素であり、３〜５番目の画素が黒画素である縮
小画像が生成される。

【００６７】視差量検出部６８は、縮小画像記憶部６６
に記憶された、開閉部５０Ａを介して取り込まれた画像
データから生成された複数の縮小画像のそれぞれと、開
閉部５０Ｂを介して取り込まれた画像データから生成さ
れた縮小画像とに基づいて、外界の所定の被写体につい
ての複数の検出視差量を検出する。本実施形態での具体
的な例を示すと、視差量検出部６８は、図１２（Ｃ）に
示す一の視点における縮小画像中の所定の被写体を示す
特徴点位置（本実施形態では、白画像と黒画像との境と
する。）を検出する。この例では、特徴点位置は、左か
ら２番目と３番目の画素の間であると検出される。

【００６８】次いで、図１３（Ａ）〜（Ｅ）に示す他の
視点における縮小画像中の特徴点位置を検出し、前記位
置の視点における特徴点位置との視差量を検出する。図
１３（Ａ）に示す縮小画像では、特徴点位置は左から３
番目と４番目の画素の間であると検出され、視差量は１
pixelと検出される。図１３（Ｂ）に示す縮小画像で
は、特徴点位置は左から３番目と４番目の画素の間であ
ると検出され、視差量は１pixelと検出される。図１３
（Ｃ）に示す縮小画像では、特徴点位置は左から３番目
と４番目の画素の間であると検出され、視差量は１pixe
lと検出される。図１３（Ｄ）に示す縮小画像では、特
徴点位置は左から２番目と３番目の画素の間であると検
出され、視差量は０pixelと検出される。図１３（Ｅ）
に示す縮小画像では、特徴点位置は左から２番目と３番
目の画素の間であると検出され、視差量は０pixelと検
出される。

【００６９】実質視差量推定部７０は、複数の縮小画像
についての複数の検出視差量に基づいて、所定の切り出
し範囲の位置における実質視差量を推定する。本実施形
態では、実質視差量推定部７０は、各位置の範囲の組に
おける検出視差量を平均して、実質視差量を検出する。
上記した例では、実質視差量を（１＋１＋１＋０＋０）
／５＝０．６Pixelと検出する。

【００７０】図１４は、本発明の第５の実施形態に係る
実質視差量推定部の処理を説明する図である。図１４で
は、切り出し位置Ｃの範囲の組における視差量０を基準
として、他の位置Ａ、Ｂ、Ｄ、Ｅの範囲の組における視
差量を並べた図である。図１４において、白丸は、真の
視差量を示し、黒丸は観測（検出）される検出視差量を
示す。実質視差量推定部７０により、各位置の範囲の組
における検出視差量を平均して検出された実質視差量
は、図１４の横線に示す実質視差量を検出したことと同
じことを意味している。

【００７１】すなわち、図１４に示すように、各位置に
おける視差量を位置Ｃを基準にした視差量とした後に、
合計した値と各位置における視差量を合計した値は一致
する。これは、各位置における検出視差量を位置Ｃを基
準に補正する場合においては、位置Ａと位置Ｅについて
の位置Ｃからのずれ量は相殺され、位置Ｂと位置Ｅにつ
いての位置Ｃからのずれ量は相殺されるからである。こ
こで、図１２（Ｂ）に示す画像と、図１２（Ｅ）に示す
画像との間で視差量を検出したとすると、図１２からわ
かるように３pixelと検出される。一方、実質視差量推
定部７０によると縮小画像の０．６pixel、つまり、通
常の画像の３pixelと検出される。このように、実質視
差量推定部７０によると、細かい画素の画像により得ら
れる視差量を、少ない処理量で得ることができる。

【００７２】奥行算出部７２は、実質視差量推定部７０
により算出された実質視差量に基づいて、外界の所定の
被写体の奥行きを表す奥行情報を検出する。このよう
に、上記した整数以下の単位を有する実質視差量に基づ
いて奥行情報を検出するので、奥行情報の分解能を向上
することができる。実質視差量に基づいて、奥行情報を
検出する処理は、例えば、従来より知られている三角測
量の原理、レンズの性質、幾何学の法則等に基づいて表
すことができるので、ここでは、説明を省略する。

【００７３】次に、撮像装置１０の動作を説明する。本
撮像装置において、視差用制御部６５がシャッター部５
０の開閉部５０Ａのみを開放して、視差用撮像部１６に
開閉部５０Ａを介して結ばれた外界の画像を画像データ
に変換させる。次いで、縮小画像生成部６６が前記画像
データから複数の縮小画像を生成し、視差画像記憶部１
８に画像データを格納させる。また、視差用制御部６５
がシャッター部５０の開閉部５０Ｂのみを開放して、視
差用撮像部１６に開閉部５０Ｂを介して結ばれた外界の
画像を画像データに変換させる。次いで、縮小画像生成
部６６が前記画像データから縮小画像を生成し、視差画
像記憶部１８に画像データを格納させる。

【００７４】次いで、視差量検出部６８が開閉部５０Ａ
を介して取り込まれた画像データから生成された複数の
縮小画像のそれぞれと、開閉部５０Ｂを介して取り込ま
れた画像データから生成された縮小画像とに基づいて、
外界の所定の被写体についての複数の検出視差量を検出
する。次いで、実質視差量推定部７０が複数の検出視差
量に基づいて実質視差量を推定する。次いで、奥行算出
部７２が実質視差量推定部７０により算出された実質視
差量に基づいて、外界の所定の被写体の奥行きを表す奥
行情報を検出する。そして、奥行記憶部２２が検出され
た被写体についての奥行情報を記憶する。

【００７５】上記したように、視差用結像部１４及び視
差用撮像部１６を動かす機構を備えることなく、少ない
処理量で外界の所定の被写体の位置を詳細に検出するこ
とができ、高い分解能の奥行情報を得ることができる。

【００７６】本発明は上記の実施形態に限定されるもの
ではなく、種々の変形が可能である。例えば、上記の実
施形態では、実質視差量推定部１９、６０は、関数を推
定し、当該関数に基づいて実質視差量を推定していた
が、本発明はこれに限られず、複数の検出視差量と、上
記の実質視差量推定部１９、６０による処理により検出
される実質視差量とを対応付けたテーブルを用意してお
き、当該テーブルを使って、検出視差量に対応する実質
視差量を検出するようにしてもよい。

【００７７】また、実質視差量推定部１９及び奥行算出
部２０の構成、実質視差量推定部５６及び奥行算出部５
７の構成、又は、実質視差量推定部６０及び奥行算出部
６１の構成は、実質視差量推定部７０及び奥行算出部７
２の構成は、上記に限らず、例えば、複数の検出視差量
と、この場合において上記の実質視差量推定部１９（５
６、６０、７０）及び奥行算出部２０（５７、６１、７
２）の処理により検出される奥行情報とを対応付けたテ
ーブルを用意しておき、当該テーブルを使って複数の視
点間隔における検出視差量に対応する奥行情報を取り出
す構成としてもよい。

【００７８】上記実施形態では、光通過部の一例として
開口（開閉部）を用い、当該開口を３つ以上設けるよう
にしていたが、例えば、光通過部の一例としての開口を
一つ用意し、当該開口自体を３つ以上の位置に移動させ
るようにしてもよい。また、光通過部は開口に限らず、
例えば、光を通過させることができるものであればよ
い。また、上記第１の実施形態では、開口の位置を５箇
所備えるようにしていたが、本発明にはこれに限られ
ず、複数の視点間隔を実現することができればよい、す
なわち、光通過部の位置が３箇所以上あればよい。

【００７９】また、上記第１及び第３の実施形態では、
複数の開閉部のそれぞれを別々に開けるようにしていた
が、本発明はこれに限られず、同時に２つの開閉部を開
けるようにしてもよい。この場合には、一枚の画像中の
所定の範囲或いは形状について、当該画像との相関を取
り、相関度が最も高い部分に基づいて、同時に開けた開
閉部による視差量を検出することができる。

【００８０】また、上記実施形態では、結像系は別構成
の視差用結像部１４及び結像部２４を備えていたが、本
発明はこれに限られず、結像系が単一のレンズ系のみを
有していてもよい。この場合、単一のレンズ系によって
視差用結像部１４及び結像部２４を構成してもよく、プ
リズム等の光分岐手段によって外界の画像を視差用撮像
部１６及び撮像部２６に結ばせるようにしてもよい。ま
た、視差用結像部１４及び結像部２４の一部を共通の構
成にしてもよい。また、撮像系は、複数の撮像部、すな
わち、視差用撮像部１６及び撮像部２６を有していた
が、本発明はこれに限られず、撮像系が単一の撮像部の
みを有していてもよい。この場合、単一の撮像部が視差
用撮像部１６及び撮像部２６として機能してもよい。

【００８１】また、上記実施形態では、撮像部２６とし
てＣＣＤを用いて例を示したが、本発明はこれに限られ
ず、撮像部２６に、例えば、光化学反応部材の一例とし
てのフィルムを設置する設置部を備え、設置部に設置さ
れたフィルムにより画像を撮像するようにしてもよい。
また、上記実施形態では、デジタルカメラを例に取って
説明したが、本発明はこれに限られず、人間の体腔内を
観察する内視鏡等の他の撮像装置に適用することもでき
る。

【００８２】また、上記実施形態では、視差用撮像部１
６として、ＣＣＤを用いていたが、本発明はこれに限ら
れず、視差用撮像部１６に、例えば、光化学反応部材の
一例としてもフィルムを設置する設置部を備え、設置部
に設置されたフィルムにより画像を撮像するようにして
もよい。このようにした場合には、当該フィルムに取り
込まれた複数の視点からの画像を、例えばフィルムスキ
ャナ等でデジタル画像データとして視差用画像記憶部１
７に記憶させることにより、上記同様に、奥行情報の分
解能を向上することができる。

【００８３】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。

【００８４】

【発明の効果】上記説明から明らかなように、本発明に
よれば、外界における奥行情報の分解能を容易且つ効果
的に向上することができる。

【図面の簡単な説明】

【図１】 従来例に係る奥行検出装置の構成を示す図で
ある。

【図２】 従来例に係る奥行検出装置により検出される
視差量を説明する図である。

【図３】 本発明の第１の実施形態に係る奥行検出装置
を有する撮像装置の構成を示す図である。

【図４】 本発明の第１の実施形態に係る実質視差量推
定部の処理を説明する図である。

【図５】 本発明の第２の実施形態に係る奥行検出装置
の構成を示す図である。

【図６】 本発明の第３の実施形態に係る奥行検出装置
の構成を示す図である。

【図７】 本発明の第３の実施形態に係る視点交差位置
と視差量との関係を示す図である。

【図８】 本発明の第３の実施形態に係る実質視差量推
定部の処理を説明する図である。

【図９】 本発明の第４の実施形態に係る奥行検出装置
の構成を示す図である。

【図１０】 本発明の第４の実施形態に係る奥行検出装
置の視差用撮像部に結ばれる被写体の像を説明する図で
ある。

【図１１】 本発明の第５の実施形態に係る奥行検出装
置の構成を示す図である。

【図１２】 本発明の第５の実施形態に係る画像から縮
小画像を生成する処理を説明する図である。

【図１３】 本発明の第５の実施形態に係る画像から複
数の異なる縮小画像を生成する処理を説明する図であ
る。

【図１４】 本発明の第５の実施形態に係る実質視差量
推定部の処理を説明する図である。

【符号の説明】

１０ 撮像装置 １２ 奥行検
出装置 １４ 視差用結像部 １５ 駆動部 １６ 視差用撮像部 １７ 視差画
像記憶部 １８ ５５ ５９ ６８ 視差量検出部 １９ ５６ ６０ ７０ 実質視差量推定部 ２０ ５７ ７２ 奥行算出部 ２２ 奥行記憶部 ２４ 結像部 ２６ 撮像部 ２８ 記憶部 ３０ 制御部 ４０ ５０ シャッター部 ４２ ６５ 視差用
制御部 ６６ 縮小画像生成部

Claims (14)

【特許請求の範囲】
1. 【請求項１】 複数の視点から観察される外界の画像に
   基づいて、前記外界の所定の被写体についての奥行きを
   表す奥行情報を検出する奥行検出装置であって、 前記視点から観察される前記外界の画像を結ぶ視差用結
   像部と、 前記視差用結像部により結ばれた前記画像を取り込む視
   差用撮像部と、 前記視差用撮像部により取り込まれた複数の前記画像に
   基づいて、前記外界の所定の被写体についての複数の検
   出視差量を検出する視差量検出部と、 前記視差量検出部により検出された前記複数の検出視差
   量に基づいて、前記所定の被写体について前記奥行情報
   を推定する奥行推定部とを有することを特徴とする奥行
   検出装置。
2. 【請求項２】 前記視差用撮像部は、少なくとも３つ以
   上の前記視点から観察される前記外界の画像を取り込む
   ことを特徴とする請求項１に記載の奥行検出装置。
3. 【請求項３】 前記視差用結像部を移動させて前記視点
   を変更する視差用結像部駆動部を更に有することを特徴
   とする請求項２に記載の奥行検出装置。
4. 【請求項４】 前記視差用結像部は、単一光軸の光学系
   を有し、 前記視差用結像部を透過した光を通過させる視点となる
   光通過部の位置を少なくとも３箇所以上有する光通過制
   御部を備え、 前記視差用撮像部は、前記各位置の光通過部を介して結
   ばれる前記外界の画像を取り込むことを特徴とする請求
   項１に記載の奥行検出装置。
5. 【請求項５】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
   に使用した前記画像における視点の間隔とに基づいて、
   所定の視点の間隔における実質視差量を決定する実質視
   差量推定部と、 前記視点の間隔及び実質視差量に基づいて前記奥行情報
   を算出する奥行算出部とを有することを特徴とする請求
   項１乃至４のいずれかに記載の奥行検出装置。
6. 【請求項６】 前記少なくとも一つの視点において前記
   視差用結像部の光軸の向きを複数の向きに変更する光軸
   変更部を更に有し、 前記視差量検出部は、前記少なくとも一つの視点におい
   て、前記視差用結像部の光軸を複数に向けた場合に得ら
   れる複数の画像のそれぞれと、他の前記視点において観
   察される画像とに基づいて、前記外界の所定の被写体に
   ついて複数の視差量を検出することを特徴とする請求項
   １に記載の奥行検出装置。
7. 【請求項７】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
   に使用した前記画像における光軸の位置関係とに基づい
   て、所定の光軸の位置関係における実質視差量を決定す
   る実質視差量推定部と、 前記所定の光軸の位置関係及び実質視差量に基づいて前
   記奥行情報を算出する奥行算出部とを有することを特徴
   とする請求項６に記載の奥行検出装置。
8. 【請求項８】 前記視差用結像部は、単一光軸の光学系
   を有し、 前記視差用結像部を光軸に平行な方向に移動させる視差
   用結像部駆動部と、 前記視差用結像部を透過した光を通過させる視点となる
   光通過部の位置を複数有する光通過制御部とを備え、 前記視差用撮像部は、前記各位置の光通過部を介して結
   ばれる前記外界の画像を取り込み、 前記視差量検出部は、前記視差用結像部が第１位置であ
   る場合における前記複数の視点から観察される画像に基
   づいて、前記外界の所定の被写体についての一の検出視
   差量を検出し、更に、前記視差用結像部が第２位置であ
   る場合における前記複数の視点から観察される前記画像
   に基づいて、前記外界の所定の被写体についての他の検
   出視差量を検出することを特徴とする請求項１に記載の
   奥行検出装置。
9. 【請求項９】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
   に使用した前記画像における前記視差用結像部の焦点位
   置とに基づいて、所定の焦点位置における実質視差量を
   決定する実質視差量推定部と、 前記所定の焦点位置及び実質視差量に基づいて前記奥行
   情報を算出する奥行算出部とを有することを特徴とする
   請求項８に記載の奥行検出装置。
10. 【請求項１０】 前記視差用撮像部により取り込まれた
    各視点における前記画像を縮小した縮小画像を生成する
    縮小画像生成部と、 前記縮小画像生成部に、少なくとも一つの前記視点にお
    いて得られた前記画像から複数の前記縮小画像を生成さ
    せる縮小画像生成制御部とを更に備え、 前記視差量検出部は、前記縮小画像生成部により生成さ
    れた一の視点における複数の縮小画像と、他方の視点に
    おける前記縮小画像とに基づいて、前記外界の所定の被
    写体についての複数の検出視差量を検出し、 前記奥行推定部は、前記複数の検出視差量に基づいて、
    前記奥行情報を検出することを特徴とする請求項１に記
    載の奥行検出装置。
11. 【請求項１１】前記縮小画像生成部は、前記画像におけ
    る複数画素の複数組のそれぞれを前記縮小画像の１画素
    に変換することにより前記縮小画像を生成し、 前記縮小画像生成制御部は、前記縮小画像生成部に、前
    記画像における前記組を切り出す範囲を複数の視点を結
    ぶ視点方向に異ならせて複数の縮小画像を生成させるこ
    とを特徴とする請求項１０に記載の奥行検出装置。
12. 【請求項１２】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
    に使用した前記画像における前記組の範囲の位置とに基
    づいて、実質視差量を決定する実質視差量推定部と、 前記実質視差量に基づいて前記奥行情報を算出する奥行
    算出部とを有することを特徴とする請求項１１に記載の
    奥行検出装置。
13. 【請求項１３】 所望の外界を撮像する撮像装置であっ
    て、 前記外界の画像を結ぶ結像系と、 前記結像系により結ばれた前記画像を撮像する撮像系
    と、 前記撮像系により取り込まれた複数の前記画像に基づい
    て、前記外界の所定の被写体についての複数の検出視差
    量を検出する視差量検出部と、 前記視差量検出部により検出された前記複数の検出視差
    量に基づいて、前記所定の被写体についての奥行きを表
    す奥行情報を推定する奥行推定部と、 前記奥行推定部により検出された奥行情報に基づいて、
    前記結像系又は前記撮像系を制御する制御部とを有する
    ことを特徴とする撮像装置。
14. 【請求項１４】 前記結像系は、 前記外界の画像を結ぶ結像部と、 複数の視点から観察される前記外界の画像を結ぶ視差用
    結像部とを有し、 前記撮像系は、 前記結像部により結ばれた前記画像を撮像する撮像部
    と、 前記視差用結像部により結ばれた前記画像を取り込む視
    差用撮像部とを有し、 前記視差用検出部は、前記視差用撮像部により取り込ま
    れた複数の前記画像に基づいて、前記外界の所定の被写
    体についての複数の検出視差量を検出し、 前記制御部は、前記奥行推定部により検出された奥行情
    報に基づいて、前記結像部又は前記撮像部を制御するこ
    とを特徴とする請求項１３に記載の撮像装置。