JP2002051358A - 撮像装置および奥行き検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像装置および奥行き検出装置に関し、同じ
形の被写体が多数存在しても、誤りなく被写体の奥行き
検出を行う。 【解決手段】 被写体１０ａ，１０ｂ，１０ｃからの光
をハーフミラー１２で２系統に分配する。第１の系は、
結像レンズ１５ａと撮像素子１６ａを備え、画像１７ａ
を撮像する。第２の系は、複眼レンズ１４と結像レンズ
１５ｂと撮像素子１６ｂを備え、画像１７ｂを撮像す
る。複眼レンズ１４は複数の小凸レンズ１４ａ，１４
ｂ，１４ｃ…からなり、この数だけの画像を結像させ
る。画像１７ｂを複眼レンズ１４における通過位置に応
じて領域分割し、画像１７ａとの相関から奥行き検出を
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は撮像装置に関し、特
に、被写体の奥行きを検出するための奥行き検出装置に
関する。

【０００２】

【従来の技術】まず、図１１を参照しながら、従来の撮
像装置の説明と、該装置で撮像された画像から被写体の
奥行きを検出する方法の説明を行なう。図１１に図示し
た従来の撮像装置は、２台のカメラ１１１Ｌ，１１１Ｒ
を並置させたもので、ステレオカメラとも呼ばれる。こ
こではカメラの光軸１１２Ｌ，１１２Ｒが平行となるよ
うに調整されているものとして図示したが、両光軸は必
ずしも平行である必要はない。カメラ１１１Ｌ，１１１
Ｒによって、被写体１１０を異なる位置から見た画像１
１３Ｌ，１１３Ｒが撮像され、両画像はブロックマッチ
ング装置１１４に入力される。

【０００３】次に、図１２を参照しながら、ブロックマ
ッチング装置１１４によって被写体の奥行きを検出する
原理を説明する。画像１１３Ｌと画像１１３Ｒは被写体
１１０を異なる位置から見た画像であるため、この画像
１１３Ｌ中で被写体１１０が撮像されている位置と画像
１１３Ｒ中で被写体１１０が撮像されている位置は異な
る（図１２参照）。ブロックマッチング装置１１４は、
以下のようにしてその位置の違いを検出する。

【０００４】まず、一方の画像１１３Ｌを複数の小さい
領域（ブロック）に分割する。実用的には１つの画像を
多くのブロックに分割するが、図面の簡略化と理解を容
易にするため、図１２は画像１１３Ｌを９つのブロック
に分割した場合を示す。ここで中央のブロック１２１に
注目し、ブロック１２１の位置を左右にシフトさせた画
像１１３ａを生成する。図１２は、矢印１２２で示され
る長さだけ左にブロック１２１をシフトさせた場合を例
示している。

【０００５】画像１１３ａ中のシフト後のブロック画像
１２１ａと、別のカメラによる画像１１３Ｒ中のブロッ
ク画像１２１ａと同一位置の部分画像１２１Ｒとの平均
二乗誤差（ＭＳＥ）を計算する。シフト量１２２を変え
る毎にこのような平均二乗誤差の計算を行ない、得られ
る平均二乗誤差が最小となるシフト量１２２を求める。
シフト量１２２は被写体１１０の奥行きに対応してお
り、左にシフトする量が大きいほど、被写体１１０はカ
メラ１１１Ｌ，１１１Ｒに対して手前方向に延在してい
る。

【０００６】図１１に示したように被写体が１つしか存
在しない場合や、複数存在してもそれらの形が互いに類
似していない場合は、上述した従来のブロックマッチン
グ手法で誤りなく奥行きを検出することができる。

【０００７】

【発明が解決しようとする課題】しかしながら、図１３
に示すように同じ形の例えば２つの被写体１３０ａ，１
３０ｂを撮像してその奥行きを検出する場合は、従来の
ブロックマッチング手法では奥行き検出精度が不確かに
なるという課題がある。図１４を参照しながら、この課
題の発生原因を説明する。

【０００８】図１４において、カメラ１３１Ｌによる画
像１３３Ｌを説明の簡単化のため例えば９つのブロック
に分割し、その中央のブロック１４１に注目する。これ
をシフトして、画像１３３ａ中で中央のブロック１４１
を矢印１４２ａの長さだけ左シフトして得られるブロッ
ク画像１４１ａと別のカメラ１３１Ｒによる画像１３３
Ｒの同一位置の該当部分画像との平均二乗誤差（ＭＳ
Ｅ）を計算した結果は、ブロック１４１を矢印１４２ｂ
の長さだけ右シフトして得られるブロック画像１４１ｂ
と画像１３３Ｒの同一位置の該当部分画像との平均二乗
誤差の計算結果と大差ない。

【０００９】換言すると、画像１３３Ｌ中の被写体
（像）１３０ａが画像１３３Ｒ中の被写体（像）１３０
ａまたは１３０ｂのどちらと対応するかを判断できない
ために、被写体の１３０ａ，１３０ｂの奥行きを検出す
ることができない。

【００１０】なお、ここでは同じ形の被写体が２つある
場合について説明したが、同じ形の被写体がさらに多数
存在する場合、例えばタイルが一様に敷き詰められた光
景を被写体として撮像する場合は、被写体の奥行き検出
はさらに不確かなものとなってしまう。

【００１１】本発明は上記の課題に鑑みてなされたもの
で、その目的は、同じ形の被写体が多数存在しても、誤
りなく被写体の奥行き検出を行うことのできる撮像装置
および奥行き検出装置を提供することにある。

【００１２】

【課題を解決するための手段】上述の課題を解決するた
めに請求項１の発明は、光電変換手段に被写体からの光
を入射して結像させる手段を備えた撮像装置において、
前記被写体からの光を２系統に分配する分配手段と、前
記被写体の像を第１の光電変換手段に結像させる第１の
結像レンズを有する第１の系と、前記被写体の像を第２
の光電変換手段に複数結像させる複眼レンズと第２の結
像レンズを有する系であって、前記複眼レンズと前記第
２の結像レンズによって、前記第２の光電変換手段に前
記複眼レンズが有するレンズの数だけの画像を結像させ
る構成の第２の系とを備えた形態の撮像装置を実施し
た。

【００１３】また、請求項２の発明は、請求項１に記載
の撮像装置において、前記被写体と前記分配手段の間に
対物レンズを備え、前記対物レンズによって形成される
前記被写体の空中像の光を前記分配手段に入射する形態
の撮像装置を実施した。

【００１４】また、請求項３の発明は、請求項１または
２に記載の撮像装置において、前記分配手段は前記被写
体からの光を透過および反射するハーフミラーであり、
前記複眼レンズは、前記被写体からの光に対向して前記
レンズをマトリクス状に配置されている形態の撮像装置
を実施した。

【００１５】また、請求項４の発明は、被写体を撮像し
て得た２つの画像から前記被写体の奥行きを検出する奥
行き検出装置であって、請求項１乃至３のいずれかに記
載の撮像装置と、前記撮像装置の前記第２の光電変換手
段からの画像を前記第２の結像レンズにおける通過位置
に応じて領域分割して複数の部分画像を生成する分割手
段と、前記撮像装置の前記第１の光電変換手段からの画
像の大きさを拡大または縮小して演算により前記領域分
割された画像との相関を求め、前記相関に基づいて前記
被写体の奥行きを算出する演算手段とを備えた形態の奥
行き検出装置を実施した。

【００１６】また、請求項５の発明は、請求項４に記載
の奥行き検出装置において、前記演算手段は、前記第１
の光電変換手段からの前記画像をそれぞれ異なる倍率で
拡大または縮小し、前記部分画像と略同一の大きさの対
応する画像を切り出す複数の拡大縮小手段と、前記切り
出された複数の画像それぞれと前記部分画像との相関を
求める手段と、前記求めた相関が最も高いときの前記第
１の光電変換手段からの画像の拡大率を決定し、該拡大
率から前記被写体の前記部分画像に対応する部分の奥行
きを計算する奥行き決定手段とを備えた形態の奥行き検
出装置を実施した。

【００１７】

【発明の実施の形態】（一実施形態）まず、本発明の一
実施形態について説明する。本発明の一実施形態の装置
は、被写体の画像を撮像する撮像装置部分と、該撮像装
置で撮像された画像から被写体の奥行きを検出する奥行
き検出装置部分とからなる。

【００１８】図１を参照しながら、撮像装置部分につい
て説明する。撮像装置部分は、それぞれ形の異なる被写
体１０ａ，１０ｂ，１０ｃの像を結像させる大凸レンズ
１１と、大凸レンズ１１を通過した光を２つの系に分配
するハーフミラー１２とを具備している。さらに、ハー
フミラー１２からの透過光を取り扱う第１の系は、第１
の結像レンズ１５ａと第１の撮像素子１６ａを具備して
いる。撮像素子１６ａには、ＣＣＤ（Ｃｈａｒｇｅ Ｃ
ｏｕｐｌｅｄ Ｄｅｖｉｃｅ）や撮像管等の光電変換素
子を用いる。

【００１９】一方、ハーフミラー１２からの反射光を取
り扱う第２の系は、全反射鏡１３と、小さな凸レンズ１
４ａ，１４ｂ，１４ｃ…をマトリクスアレー状に並べた
複眼レンズ１４と、第２の結像レンズ１５ｂと、第２の
撮像素子１６ｂを具備している。全反射鏡１３は、ハー
フミラー１２によって左右反転した画像を元に戻す目的
で使用され、本発明の原理と直接の関わりはない。

【００２０】結像レンズ１５ａ，１５ｂおよび撮像素子
１６ａ，１６ｂは、それぞれハーフミラー１２によって
鏡像の関係にあるように調整する。すなわち、結像レン
ズ１５ａ，１５ｂおよび撮像素子１６ａ，１６ｂは各々
同一のものとし、大凸レンズ１１からの光路長を等しく
設定する。すなわち、第１の系と第２の系は大凸レンズ
１１と結像レンズ１５ａ，１５ｂ間の複眼レンズ１４の
有無だけが相違し、他は全く同一である。

【００２１】結像レンズ１５ｂには、複眼レンズ１４を
第２の撮像素子１６ｂに結像させるような焦点距離のも
のを使用し、第２の撮像素子１６ｂは複眼レンズ１４越
しに被写体の像を撮像する。複眼レンズ１４を構成する
小凸レンズの個数は、１つの小凸レンズに撮像素子１６
ｂの１６×１６画素程度が対応するように設定する。こ
れは、従来の技術の項で説明したブロックマッチング手
法における「ブロックの画素数」に相当する。例えば、
撮像素子１６ａ，１６ｂの画素数が６４０×４８０画素
の場合、４０×３０個の小凸レンズを並べて複眼レンズ
１４を構成する。図１では、図面の簡略化のため、３×
３個の小凸レンズで構成される複眼レンズ１４を示し
た。

【００２２】次に、図２および図３を参照しながら、図
１の撮像装置によって画像１７ａ，１７ｂが撮像される
様子について説明する。

【００２３】図２は図１に示した撮像装置の第１の系、
すなわち、大凸レンズ１１、結像レンズ１５ａ、撮像素
子１６ａからなる部分の横断面図である。ハーフミラー
１２は光を透過するだけなので、図示を省略する。大凸
レンズ１１により、被写体１０ａ，１０ｂ，１０ｃの空
中像１０ａ’，１０ｂ’，１０ｃ’が結像する。これら
の空中像は、結像レンズ１５ａおよび撮像素子１６ａに
よって撮像される。従って、撮像素子１６ａが撮像する
画像１７ａは、一般的なカメラが撮像する画像に等し
い。

【００２４】空中像１０ａ’，１０ｂ’，１０ｃ’の位
置は被写体の位置によって異なるので、すべての被写体
に同時にピントを合わせて撮像することはできない。し
かし、結像レンズ１５ａの径を小さくして被写界深度を
深くすることで、全ての被写体をボケなしに撮像するこ
とができる。空中像１０ａ’，１０ｂ’，１０ｃ’は被
写体１０ａ，１０ｂ，１０ｃの倒立像なので、画像１７
ａ中の被写体の像２０ａ，２０ｂ，２０ｃは倒立してい
る。

【００２５】図３は、図１に示した撮像装置の第２の
系、すなわち、大凸レンズ１１、複眼レンズ１４、結像
レンズ１５ｂ、撮像素子１６ｂからなる部分の横断面図
である。ハーフミラー１２は光を反射するだけであり、
全反射鏡１３は反射するだけなので、図示を省略する。
複眼レンズ１４については、３×３個のレンズのうち、
中段部の３つの小凸レンズ１４ａ，１４ｂ，１４ｃを図
示した。

【００２６】第１の系と同様に、大凸レンズ１１によ
り、被写体１０ａ，１０ｂ，１０ｃの空中像１０ａ”，
１０ｂ”，１０ｃ”が結像する。これらの空中像は、複
眼レンズ１４を構成する少なくとも１つの小凸レンズを
通して撮像される。図３では、図面を簡略化するため、
３つの被写体１０ａ，１０ｂ，１０ｃがそれぞれ小凸レ
ンズ１４ａ，１４ｂ，１４ｃを通して撮像されるものと
して示した。実用的な設定では、複眼レンズの小凸レン
ズ数が多いためと、被写体の空中像が複眼レンズのより
近傍に結像するために、１つの被写体は複数の小凸レン
ズを通過する。

【００２７】そして、各小凸レンズによって拡大された
像が結像レンズ１５ｂと撮像素子１６ｂにより撮像され
る。すなわち、各小凸レンズ越しに撮像される像は、１
つの被写体の一部を拡大したものである。大凸レンズ１
１と複眼レンズ１４の間の空中像１０ａ”，１０ｂ”，
１０ｃ”は被写体１０ａ，１０ｂ，１０ｃの倒立像なの
で、画像１７ｂ中の被写体の像３０ａ，３０ｂ，３０ｃ
は正立している。以上のように、第１および第２の系に
よって２つの画像１７ａおよび１７ｂを撮像する。

【００２８】次に、図４を参照しながら、奥行き検出装
置部分について説明する。本実施形態の奥行き検出装置
は、画像１７ｂの各部分が複眼レンズ１４を構成するど
の位置の小凸レンズを通ったかに応じて画像を複数の画
像５１ａ，５１ｂ，５１ｃ，…に領域分割する画像切り
出し装置４１と演算装置４００、および他の演算装置で
構成される。演算装置４００は、画像１７ｂから切り出
された画像５１ａと画像１７ａに所定の演算を行って被
写体の奥行きを検出する。

【００２９】すなわち、演算装置４００は、画像１７ａ
をそれぞれ異なる拡大率で拡大（または縮小）する複数
の画像拡大縮小装置４２ａ，４２ｂ，４２ｃ，…と、画
像切り出し装置４１によって分割された１つの画像５１
ａと各画像拡大縮小装置４２ａ，４２ｂ，４２ｃ，…が
出力する画像６１ａ，６１ｂ，６１ｃ，…との相関を演
算する相関演算装置４３ａ，４３ｂ，４３ｃ，…と、こ
れら相関演算装置の演算結果に基づいて最も相関が高く
なるときの画像１７ａの拡大率を決定する拡大率決定装
置４４と、決定された拡大率から画像１７ｂ中の画像５
１ａに対応する部分の奥行きを決定する奥行き決定装置
４５とを具備する。

【００３０】図面の簡略化のため図示を省略するが、画
像切り出し装置４１によって分割された他の画像５１
ｂ，ｃ，…の奥行き量も、同様の構成を持つ他の演算装
置により、画像５１ａに施されるのと同様の処理によっ
て検出される。

【００３１】次に、図５を参照しながら、画像切り出し
装置４１の動作について詳しく説明する。画像１７ｂ
は、３×３個の複眼レンズ１４を通過して撮像されたも
のである。画像切り出し装置４１は、画像１７ｂの各部
分が複眼レンズ１４のどの小凸レンズを通過したのかに
応じて領域分割し、３×３個の画像５１ａ，５１ｂ，５
１ｃ，…を出力する。

【００３２】複眼レンズ１４、結像レンズ１５ｂ、撮像
素子１６ｂの位置関係は図３に示したように固定的なた
め、撮像素子１６ｂの１つの画素で撮像された光がどの
小凸レンズを通過したのかは一意に定まる。すなわち、
本実施形態の装置を製造する際に、画像１７ｂを目視し
ながら、画像１７ｂ中の小凸レンズ１４ａを通過した部
分（その形は小凸レンズ１４ａの形に等しい）が切り出
されて画像５１ａとして出力されるように調整して設定
すればよい。一度設定すれば、再度設定し直す必要はな
い。

【００３３】同時に、切り出しの中心が画像１７ｂ中の
どの位置にあるのかを記録しておく。図５中の×印５０
は、画像５１ａを切り出す際の中心位置であり、この位
置を記録しておく。他の小凸レンズを通過した部分を切
り出す際も、同様の設定と中心位置記録を行う。

【００３４】次に、図６を参照しながら、図４中の画像
拡大縮小装置の動作について説明する。ここでは、画像
切り出し装置４１が出力した画像５１ａに対応する画像
拡大縮小装置４２ａ，４２ｂ，４２ｃ，…について詳し
く説明する。

【００３５】図６の画像１７ａは第２の系により得られ
るものであり（図２参照）、図中の×印６０は、画像５
１ａを切り出す際に記録しておいた切り出し中心位置５
０を画像１７ａに当てはめた位置である。画像拡大縮小
装置４２ａ，４２ｂ，４２ｃ，…は、×印６０の位置を
拡大／縮小の中心位置として画像１７ａを異なる拡大率
で拡大、または縮小した後、画像５１ａと同じ形の画像
を切り出す。切り出し中心位置も×印６０で示す位置で
ある。画像の拡大縮小の中心位置６０が画像１７ａの中
心に一致しない理由については後述する。

【００３６】図６は、それぞれ拡大率が２，１，−１の
場合の画像６１ａ，６１ｂ，６１ｃを例示している（こ
こで、拡大率が負の場合は、像が倒立することを示
す）。画像６１ａ，６１ｂ，６１ｃはそれぞれ相関演算
装置４３ａ，４３ｂ，４３ｃに送られ、画像５１ａとの
相関が計算される。ここで相関とは、入力された２つの
画像がどれだけ類似しているかを示すものであり、例え
ば、２つの画像の平均二乗誤差（ＭＳＥ）が小さいほど
相関が高く、大きいほど相関が低い。

【００３７】拡大率決定装置４４は、相関演算装置によ
る相関計算結果を基に、相関が最も高くなる（平均二乗
誤差が小さい）ときの画像１７ａの拡大率を決定する。
図５中の画像５１ａと図６中の画像６１ａ，６１ｂ，６
１ｃの比較から明らかなように、図６の例では画像６１
ｃが最も相関が高い。したがって、拡大率決定装置４４
は、この画像６１ｃに対応する画像拡大縮小装置４２ｃ
によって設定した拡大率（−１）を出力する。

【００３８】次に、図７および図８を参照しながら、奥
行き決定装置４５による奥行き決定方法について詳しく
説明する。ここでも、複眼レンズ１４を構成する１つの
小凸レンズ１４ａを通過した光について考察する。

【００３９】図７は、撮像装置部分の第２の系（図３参
照）を示す。直線７２は、小凸レンズ１４ａの主点を通
り、結像レンズ１５ｂおよび撮像素子１６ｂによって撮
像される光線を表す。小凸レンズ１４ａの作用を考える
と、結像レンズ１５ｂの主点１５ｐと（小凸レンズ１４
ａによって）結像関係にある点７１は、直線７２上の図
示した位置に存在する。

【００４０】小凸レンズ１４ａの焦点距離をｆ、小凸レ
ンズ１４ａと点７１の距離をｇ、小凸レンズ１４ａと結
像レンズ１５ｂの距離をＬとすると、次式（１）の関係
が成り立つ。

【００４１】 （１／Ｌ）＋（１／ｇ）＝（１／ｆ） （１） 小凸レンズ１４ａ越しに撮像された画像５１ａは、点７
１の位置から空中像１０ａ”が存在する奥行き位置７０
における範囲ｘ１を撮像したものと考えることができ
る。したがって、小凸レンズ１４ａの幅をｗ、点７１か
ら空中像１０ａ”の存在する奥行き位置７０までの距離
をｚとすると、範囲ｘ１は、簡単な幾何学的考察によ
り、次式（２）で表される。

【００４２】 ｘ１＝ｗｚ／ｇ （２） 図８は、撮像装置部分の第１の系（図２参照）を示し、
小凸レンズ１４ａを通さずに撮像した画像（すなわち拡
大率を１としたときの画像拡大縮小装置４２の出力画像
６１ｂ）の撮像範囲を表している。

【００４３】図７との比較のために、複眼レンズ１４を
破線で示す。空中像１０ａ’、結像レンズ１５ａ、およ
び撮像素子１６ａは、それぞれ第２の系の空中像１０
ａ”、結像レンズ１５ｂ、および撮像素子１６ｂと、ハ
ーフミラー１２による鏡像関係にあるので、それらの符
号は括弧して記した。また、図示した複眼レンズ１４、
小凸レンズ１４ａ、点７１、および直線７２は、第２の
系（図７参照）における複眼レンズ１４、小凸レンズ１
４ａ、点７１、および直線７２のハーフミラー１２によ
る鏡像を示すものであるため、それらの符号は括弧して
記した。

【００４４】画像６１ｂは、被写体１０ａの空中像１０
ａ’（１０ａ”）が存在する奥行き位置７０におけるｘ
２の範囲を主点１５ｐから撮像したものと考えることが
できる。ｘ２は、簡単な幾何学的考察により、次式
（３）で表される。

【００４５】 ｘ２＝ｗ（Ｌ＋ｚ＋ｇ）／Ｌ （３） これを一般化すると、拡大率をＫとしたときの画像拡大
縮小装置４２ａ，４２ｂ，４２ｃ，…の出力画像６１
ａ，６１ｂ，６１ｃ，…は、空中像１０ａ’（１０
ａ”）が存在する奥行き位置７０におけるｘ２／Ｋの範
囲を主点１５ｐから撮像したものと考えることができ
る。

【００４６】出力画像６１ａ，６１ｂ，６１ｃ，…の中
から画像５１ａと最も相関の高い画像を選び、この画像
の拡大率Ｋを決定するという、拡大率決定装置４４によ
る処理は、次式（４）を満たすＫを導出することと等価
である。

【００４７】 ｘ１＝−ｘ２／Ｋ （４） ここで、マイナス符号は、ｘ１とｘ２の向きが逆である
ことを考慮したものである。式（２）〜（４）より、 ｚ＝（Ｌ＋ｇ）ｇ／（−ｇ−ＫＬ） （５） が導かれる。装置の仕様によって決まる定数Ｌ，ｇと、
拡大率決定装置４４によって決定した拡大率Ｋを式
（５）に代入すれば、点７１から空中像１０ａ’が存在
する奥行き位置７０までの距離を求めることができる。
このようにして、奥行き決定装置４５は、画像１７ａの
小凸レンズ１４ａに対応する部分画像（領域分割して切
り出された画像５１ａ）の奥行きを決定する。他の部分
画像についても同様である。

【００４８】次に、図７と図８を比較・参照しながら、
画像拡大縮小装置４２ａ，４２ｂ，４２ｃ，…による画
像の拡大縮小の中心位置６０が画像１７ａの中心位置と
一致しない理由について説明する。

【００４９】図７において、直線７２（小凸レンズ１４
ａの主点を通り、結像レンズ１５ｂおよび撮像素子１６
ｂによって撮像される光線と一致）は、画像１７ｂから
小凸レンズ１４ａを通過した部分画像５１ａを切り出す
際の切り出し中心位置（図５の×印５０）と一致する。

【００５０】一般に、レンズの主点を通る光線はレンズ
による屈折を受けない。したがって、直線７２上の光線
は複眼レンズ１４の有無にかかわらず撮像素子１６ｂ，
１６ａの同一位置に入射し、画像１７ｂ，１７ａ中の同
一位置に撮像される。よって、直線７２は、画像５１ａ
（画像１７ｂから切り出した部分画像）と画像１７ａの
自明な対応点を表している。そこで、画像５１ａと、画
像１７ａを拡大縮小した画像６１ａ，６１ｂ，６１ｃ，
…との相関計算は、この対応点を一致させながら行えば
よい。

【００５１】このため、画像拡大縮小装置４２ａ，４２
ｂ，４２ｃ，…では、拡大縮小する際の中心位置を直線
７２（図６の画像１７ａ上では×印６０）と一致させて
画像１７ａを拡大または縮小し、さらに×印６０が切り
出し後の画像の中心となるようにして、画像５１ａと同
一サイズの画像を切り出すという処理を施す。他の小凸
レンズを通過した部分画像である像３０ｂ，３０ｃ（図
３，図５参照）に対応する他の画像拡大縮小装置（図示
せず）の拡大または縮小の中心位置は、当然、これら部
分画像の切り出し中心位置と一致させる。

【００５２】以上の通り、複眼レンズ１４を構成する１
つの小凸レンズ１４ａに対応する部分の奥行き検出方法
について説明したが、複眼レンズ１４を構成する他の小
凸レンズに対応する部分の奥行きも、式（５）を用いて
同様に計算することができる。上述したように、実用的
な設定では、１つの被写体はその部分毎に複眼レンズ１
４を構成する複数のレンズを通して撮像される。したが
って本実施形態によれば、単に被写体の奥行き位置（何
処に配置されているか）を検出できるだけでなく、被写
体の奥行き方向の凹凸形状を検出することもできる。

【００５３】上述の説明では、被写体１０ａ，１０ｂ，
１０ｃそのものの奥行きでなく、その空中像１０ａ’，
１０ｂ’，１０ｃ’の奥行きを検出する例を示したが、
複数の被写体の奥行き方向の前後関係や被写体の凹凸形
状については、これで十分な確度で検出を行うことが出
来る。なお、被写体の実距離を測定する場合には、検出
された空中像の奥行きを基に、大凸レンズ１１について
の結像公式を用いて求めることが出来る。

【００５４】（変形例１）上記実施形態では、複眼レン
ズ１４は複数の小凸レンズ（焦点距離ｆ＞０）で構成さ
れているものとした。これを変形して、図９のように、
焦点距離ｆ（＜０）を持つ複数の小さな凹レンズ９４
ａ，９４ｂ，９４ｃ…をマトリクスアレー状に配置して
構成された複眼レンズ９４を使用することもできる。

【００５５】この場合、図７中のｇおよびｚを図９のよ
うに描き改めることにより、上述の式（２），（３）を
そのまま用いることができる。図８と図９を比較する
と、ｘ１とｘ２の向きが同一なので、式（４）と（５）
を以下のように書き改めて用いる必要がある。

【００５６】 ｘ１＝ｘ２／Ｋ （４’） ｚ＝（Ｌ＋ｇ）ｇ／（−ｇ＋ＫＬ） （５’） 本変形例によれば、計算式は変更になるものの、小凹レ
ンズによる複眼レンズを用いても上記実施形態と同様に
被写体の奥行き検出を行うことができる。

【００５７】（変形例２）上記実施形態の別の変形例と
して、第２の系の複眼レンズ１４と結像レンズ１５ｂの
間に、任意の光学素子（例えばレンズ、プリズム）を挿
入することができる。ここで、第１の系にも全く同一の
光学装素子を挿入し、第２の系に挿入した光学素子のハ
ーフミラー１２による鏡像になるように配置する必要が
ある。

【００５８】図１０は、このような変形例の一つを示
す。図１０には、第２の系において、複眼レンズ１４に
近接して結像レンズ１５ｂとの間に凸レンズ１０１ｂを
挿入し、第１の系において、凸レンズ１０１ｂのハーフ
ミラー１２による鏡像の位置に同一特性の凸レンズ１０
１ａを挿入した構成が示されている。凸レンズ１０１
ａ，１０１ｂの焦点距離は、レンズ１０１ｂと結像レン
ズ１５ｂ間の距離に等しいものとする。

【００５９】本変形例の装置では、複眼レンズ１４の各
小凸レンズの主点を通過して撮像される光線１０２は各
小凸レンズの光軸と一致する。一般に、レンズの光軸近
傍における光線の収差は少ない。したがって、本変形例
の装置によれば、凸レンズ１０１ｂを設けたことでより
高い解像度で画像を撮像することができる。

【００６０】（まとめ）上記実施形態および各変形例の
説明では、大凸レンズ１１を用いて被写体の空中像を結
像させて、この空中像を撮像し（請求項２の撮像装
置）、その奥行きを検出するものとした。このような構
成により、本発明装置から遠く離れた被写体の奥行きを
検出することができる。本発明装置の近傍位置にある被
写体だけを取り扱う場合は、大凸レンズ１１を取り除い
て撮像し（請求項１の撮像装置）、被写体の奥行きを直
接検出することも可能である。この場合でも、得られた
２つの画像から奥行きを検出する処理手順は同一とする
ことができる。

【００６１】また、上記実施形態および各変形例の説明
では、複数の画像拡大縮小装置を用いて各々拡大率の異
なる画像を生成し、複数の相関演算装置を用いて相関を
計算し、この結果に基づいて相関を高くする拡大率を選
択、決定するものとした。これに代えて、１つの画像拡
大縮小装置で画像を拡大（または縮小）し、１つの相関
演算装置で相関を計算し、この相関が最も高くなるま
で、画像拡大縮小装置の拡大率を変化させて上述と同様
の処理手順を繰り返すようにしても同様の結果を得るこ
とが出来る。

【００６２】

【発明の効果】以上説明した通り本発明に係る撮像装置
によれば、第１の系と、それぞれ所定位置に配置された
複数のレンズからなる複眼レンズと第２の結像レンズを
有する第２の系とに被写体からの光を分配することで、
撮像装置を複数台用いることなく、被写体の奥行き検出
に使用できる画像を撮像することができる。また、本発
明に係る奥行き検出装置によれば、上記撮像装置による
画像に所定の相関処理を行うことで、同じ形の被写体が
多数存在する場合であっても、被写体の奥行きを誤りな
く検出できるという効果がある。

【図面の簡単な説明】

【図１】本発明に係る撮像装置の一実施形態の構成を示
す構成図である。

【図２】図１の撮像装置における第１の系を示す構成図
である。

【図３】図１の撮像装置における第２の系を示す構成図
である。

【図４】本発明に係る奥行き検出装置の一実施形態の構
成を示す構成図である。

【図５】図４の奥行き検出装置における画像切り出し装
置の動作を説明する説明図である。

【図６】図４の奥行き検出装置における画像拡大縮小装
置の動作を説明する説明図である。

【図７】図４の奥行き検出装置によって奥行きを決定す
るための計算式（式（５））を導出するための説明図で
あり、撮像装置部分の第２の系が小凸レンズ１４ａを通
して撮像する様子を示す。

【図８】図４の奥行き検出装置によって奥行きを決定す
るための計算式（式（５））を導出するための説明図で
あり、撮像装置部分の第１の系が小凸レンズ１４ａに対
応する部分を撮像する様子を示す。

【図９】本発明に係る撮像装置の変形例１における、図
７に相当する説明図である。

【図１０】本発明に係る撮像装置の変形例２の構成を示
す構成図である。

【図１１】従来の撮像装置および奥行き検出装置の概略
構成を示す構成図である。

【図１２】図１１の従来の奥行き検出装置によって奥行
き検出を行う様子を示す説明図である。

【図１３】図１１の従来の奥行き検出装置が誤った奥行
き検出を行うときの被写体の配置を説明する説明図であ
る。

【図１４】図１１の従来の奥行き検出装置が奥行き検出
を誤る様子を説明する説明図である。

【符号の説明】

１０ａ，１０ｂ，１０ｃ 被写体 １０ａ’，１０ｂ’，１０ｃ’，１０ａ”，１０ｂ”，
１０ｃ 空中像 １１ 大凸レンズ １２ ハーフミラー １３ 全反射鏡 １４，９４ 複眼レンズ １４ａ，１４ｂ，１４ｃ 小凸レンズ １５ａ，１５ｂ 結像レンズ １６ａ，１６ｂ 撮像素子 １７ａ，１７ｂ，５１ａ，５１ｂ，５１ｃ，６１ａ，６
１ｂ，６１ｃ 画像 ４１ 画像切り出し装置 ４２ａ，４２ｂ，４２ｃ 画像拡大縮小装置 ４３ａ，４３ｂ，４３ｃ 相関演算装置 ４４ 拡大率決定装置 ４５ 奥行き決定装置 ９４ａ，９４ｂ，９４ｃ 小凹レンズ １０１ａ，１０１ｂ 凸レンズ １０２ 光線 ４００ 演算装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山田 光▲穂▼ 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 岡野 文男 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C061 AB03 AB08

Claims (5)

【特許請求の範囲】
1. 【請求項１】 光電変換手段に被写体からの光を入射し
   て結像させる手段を備えた撮像装置において、 前記被写体からの光を２系統に分配する分配手段と、 前記被写体の像を第１の光電変換手段に結像させる第１
   の結像レンズを有する第１の系と、 前記被写体の像を第２の光電変換手段に複数結像させる
   複眼レンズと第２の結像レンズを有する系であって、前
   記複眼レンズと前記第２の結像レンズによって、前記第
   ２の光電変換手段に前記複眼レンズが有するレンズの数
   だけの画像を結像させる構成の第２の系とを備えたこと
   を特徴とする撮像装置。
2. 【請求項２】 請求項１に記載の撮像装置において、 前記被写体と前記分配手段の間に対物レンズを備え、 前記対物レンズによって形成される前記被写体の空中像
   の光を前記分配手段に入射することを特徴とする撮像装
   置。
3. 【請求項３】 請求項１または２に記載の撮像装置にお
   いて、 前記分配手段は前記被写体からの光を透過および反射す
   るハーフミラーであり、 前記複眼レンズは、前記被写体からの光に対向して前記
   レンズをマトリクス状に配置されていることを特徴とす
   る撮像装置。
4. 【請求項４】 被写体を撮像して得た２つの画像から前
   記被写体の奥行きを検出する奥行き検出装置であって、 請求項１乃至３のいずれかに記載の撮像装置と、 前記撮像装置の前記第２の光電変換手段からの画像を前
   記第２の結像レンズにおける通過位置に応じて領域分割
   して複数の部分画像を生成する分割手段と、 前記撮像装置の前記第１の光電変換手段からの画像の大
   きさを拡大または縮小して演算により前記領域分割され
   た画像との相関を求め、前記相関に基づいて前記被写体
   の奥行きを算出する演算手段とを備えたことを特徴とす
   る奥行き検出装置。
5. 【請求項５】 請求項４に記載の奥行き検出装置におい
   て、 前記演算手段は、 前記第１の光電変換手段からの前記画像をそれぞれ異な
   る倍率で拡大または縮小し、前記部分画像と略同一の大
   きさの対応する画像を切り出す複数の拡大縮小手段と、 前記切り出された複数の画像それぞれと前記部分画像と
   の相関を求める手段と、 前記求めた相関が最も高いときの前記第１の光電変換手
   段からの画像の拡大率を決定し、該拡大率から前記被写
   体の前記部分画像に対応する部分の奥行きを計算する奥
   行き決定手段とを備えたことを特徴とする奥行き検出装
   置。