JP2015060053A - 固体撮像装置、制御装置及び制御プログラム - Google Patents

Abstract

【課題】広い範囲で精度の高い測距を行うこと。【解決手段】実施形態に係る固体撮像装置は、第１撮像装置、第２撮像装置、制御部を含む。第１撮像装置は、第１光学系と、第１光学系と、第１光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第１撮像部と、第１光学系と、第１撮像部と、の間に設けられ、第１マイクロレンズアレイを有する第２光学系と、を含む。第２撮像装置は、第３光学系と、第３光学系と、第３光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第２撮像部と、第３光学系と、第２撮像部と、の間に設けられ、第２マイクロレンズアレイを有する第４光学系と、を含む。制御部は、第１撮像装置で得た対象物の第１画像信号及び第２撮像装置で得た対象物の第２画像信号を用いたステレオ視差によって距離を演算する第１演算と、第１マイクロレンズアレイ及び第２マイクロレンズアレイの少なくとも一方を介して得た視差画像によって距離を演算する第２演算と、を行う。【選択図】図１

Description

本発明の実施形態は、固体撮像装置、制御装置及び制御プログラムに関する。

２次元アレイ情報として奥行き方向の情報（距離情報）を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など、様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。

距離情報を得る撮像技術のうち、計測用の参照光を用いた方式は、パッシブ方式とよばれる。パッシブ方式には、三角測量に基づく視差方式や、取得画像の形状やコントラスト等から経験的に距離を推定する画像推定法などがある。特に、視差方式は、２眼構成を基本として様々な算出方法が提案されている。視差方式を用いて距離情報を得る撮像技術においては、広い範囲で精度の高い距離測定（測距）を行えることが望ましい。

特開２００８−０４０１１５号公報

本発明の実施形態は、広い範囲で精度の高い測距を行うことができる固体撮像装置、制御装置及び制御プログラムを提供する。

実施形態に係る固体撮像装置は、第１撮像装置と、第２撮像装置と、制御部と、を含む。
前記第１撮像装置は、第１光学系と、前記第１光学系と、前記第１光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第１撮像部と、前記第１光学系と、前記第１撮像部と、の間に設けられ、第１マイクロレンズアレイを有する第２光学系と、を含む。
前記第２撮像装置は、第３光学系と、前記第３光学系と、前記第３光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第２撮像部と、前記第３光学系と、前記第２撮像部と、の間に設けられ、第２マイクロレンズアレイを有する第４光学系と、を含む。
前記制御部は、前記第１撮像装置で得た対象物の第１画像信号及び前記第２撮像装置で得た前記対象物の第２画像信号を用いたステレオ視差によって距離を演算する第１演算と、前記第１マイクロレンズアレイ及び前記第２マイクロレンズアレイの少なくとも一方を介して得た視差画像によって距離を演算する第２演算と、を行う。

図１は、第１の実施形態に係る固体撮像装置の構成を例示する模式図である。 図２は、撮像装置の構成を例示する模式的断面図である。 図３は、撮像装置の実装の状態を例示する模式図である。 図４は、参考例に係る測距について例示する模式図である。 図５は、ステレオ視差に基づく距離の推定の概念を示す図である。 図６（ａ）及び図６（ｂ）は、視差画像群を用いた距離の推定方法の概念を示す図である。 図７は、制御プログラムの流れを例示するフローチャートである。 図８は、制御プログラムの流れを例示するフローチャートである。 図９は、コンピュータのハードウェア構成を例示する図である。 図１０（ａ）及び図１０（ｂ）は、第２の実施形態に係る固体撮像装置の構成を例示する模式図である。 図１１は、第３の実施形態に係る固体撮像装置の構成を例示する模式図である。 図１２は、第４の実施形態に係る固体撮像装置の構成を例示する模式図である。 図１３は、焦点距離と測距可能範囲との関係を例示する図である。

以下、本発明の実施形態を図に基づき説明する。以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

（第１の実施形態）
図１は、第１の実施形態に係る固体撮像装置の構成を例示する模式図である。
図１に表したように、本実施形態に係る固体撮像装置１１０は、第１撮像装置１０Ａと、第２撮像装置１０Ｂと、制御部５０と、を備える。

第１撮像装置１０Ａは、第１光学系に含まれる第１メインレンズ１１Ａと、第２光学系に含まれるマイクロレンズアレイ１２Ａと、を有する。第２撮像装置１０Ｂは、第３光学系に含まれる第２メインレンズ１１Ｂと、第４光学系に含まれるマイクロレンズアレイ１２Ｂと、を含む。第１撮像装置１０Ａ及び第２撮像装置１０Ｂは、いわゆる複眼カメラである。第１撮像装置１０Ａ及び第２撮像装置１０Ｂの詳細な構成は後述する。

制御部５０は、第１演算と、第２演算と、を行う。
第１演算は、第１撮像装置１０Ａで得た対象物の第１画像信号及び第２撮像装置１０Ｂで得た対象物の第２画像信号を用いたステレオ視差によって距離を演算する。
第２演算は、第１マイクロレンズアレイ１２Ａ及び第２マイクロレンズアレイ１２Ｂの少なくとも一方を介して得た視差画像によって距離を演算する。

固体撮像装置１１０は、第１撮像装置１０Ａ及び第２撮像装置１０Ｂによって得た画像信号に基づくステレオマッチングによって距離画像を取得する演算（第１演算）と、第１撮像装置１０Ａ及び第２撮像装置１０Ｂの少なくとも１つのマイクロレンズアレイを介して得られた視差画像群に基づくパターンマッチングによって距離画像を取得する演算（第２演算）と、を行う。固体撮像装置１１０では、第１演算及び第２演算のそれぞれを適宜選択することによって、広い範囲で精度の高い測距を行う。

図２は、撮像装置の構成を例示する模式的断面図である。
なお、第１撮像装置１０Ａの構成は、第２撮像装置１０Ｂの構成と共通であるため、図２では、１つの撮像装置１０を例示している。以下の説明において、第１撮像装置１０Ａの構成には符号「Ａ」が付され、第２撮像装置１０Ｂの構成には符号「Ｂ」が付される。第１撮像装置１０Ａの構成及び第２撮像装置１０Ｂの構成を区別しない場合には、「Ａ」、「Ｂ」の符号は省略される。

撮像装置１０は、メインレンズ１１と、マイクロレンズアレイ１２と、撮像部１３と、を有する。第１撮像装置１０Ａにおいて、メインレンズ１１は第１メインレンズ１１Ａであり、マイクロレンズアレイ１２は第１マイクロレンズアレイ１２Ａであり、撮像部１３は第１撮像部１３Ａである。第２撮像装置１０Ｂにおいて、メインレンズ１１は第２メインレンズ１１Ｂであり、マイクロレンズアレイ１２は第２マイクロレンズアレイ１２Ｂであり、撮像部１３は第２撮像部１３Ｂである。

メインレンズ１１は、１枚以上のレンズを有する。撮像部１３は、メインレンズ１１と、メインレンズ１１による結像位置と、の間に設けられる。撮像部１３は、図示しない複数の撮像画素を有する。マイクロレンズアレイ１２は、メインレンズ１１と、撮像部１３と、の間に設けられる。

撮像部１３は、図示しない半導体基板上に設けられた撮像画素であるフォトダイオードと、フォトダイオードを駆動する駆動回路、信号の読み出しを行う読み出し回路などを有する。撮像部１３はチップ状に切断され、実装基板１００の上に実装される。撮像部１３は、ボンディングワイヤ１０６を介して実装基板１００の図示しない配線パターンと電気的に接続される。

マイクロレンズアレイ１２は、撮像部１３と離間して設けられる。マイクロレンズアレイ１２と撮像部１３との間には接合部１０８が設けられる。接合部１０８によってマイクロレンズアレイ１２と撮像部１３との間の空間１０９が設定される。実装基板１００の上には、マイクロレンズアレイ１２、撮像部１３及びボンディングワイヤ１０６を覆うように筐体１０２が設けられる。

筐体１０２にはレンズホルダ１０３が取り付けられる。メインレンズ１１は、レンズホルダ１０３を介して筐体１０２に取り付けられる。これにより、メインレンズ１１はマイクロレンズアレイ１２の上方に配置される。メインレンズ１１とマイクロレンズアレイ１２との間には、不要な光を遮断するフィルタ１０４が設けられていてもよい。

図３は、撮像装置の実装の状態を例示する模式図である。
図３に表したように、本実施形態に係る固体撮像装置１１０は、基板２０を備えていてもよい。第１撮像装置１０Ａ及び第２撮像装置１０Ｂは、基板２０の第１面２０ａに一定の間隔を空けて実装される。

制御部５０は、配線２１を介して第１撮像装置１０Ａ及び第２撮像装置１０Ｂと電気的に接続されていてもよい。また、制御部５０は、基板２０の第１面２０ａや、第１面２０ａとは反対側の第２面２０ｂに実装されていてもよい。制御部５０は、無線通信によって第１撮像装置１０Ａ及び第２撮像装置１０Ｂと接続されていてもよい。制御部５０は、インターネット等のネットワークを介して第１撮像装置１０Ａ及び第２撮像装置１０Ｂと接続されていてもよい。

次に、固体撮像装置１１０による測距について説明する。
図１に表したように、第１撮像装置１０Ａは、第１撮像領域Ｒ１内の対象物を撮像可能である。第２撮像装置１０Ｂは、第２撮像領域Ｒ２内の対象物を撮像可能である。第１撮像領域Ｒ１及び第２撮像領域Ｒ２が重複する重複領域ＯＬ内の対象物は、第１撮像装置１０Ａ及び第２撮像装置１０Ｂの両方によって撮像可能である。

一方、第１撮像領域Ｒ１及び第２撮像領域Ｒ２が重複しない非重複領域（他の領域）ＮＯＬ内の対象物は、第１撮像装置１０Ａ及び第２撮像装置１０Ｂのいずれか一方によって撮像可能である。例えば、第１撮像領域Ｒ１のうち非重複領域ＮＯＬである撮像領域Ｒ１１内の対象物は、第１撮像装置１０Ａによって撮像可能である。また、第２撮像領域Ｒ２のうち非重複領域ＮＯＬである撮像領域Ｒ２１内の対象物は、第２撮像装置１０Ｂによって撮像可能である。

例えば、制御部５０は、重複領域ＯＬについては第１演算による演算結果を選択し、非重複領域ＮＯＬについては第２演算による演算結果を選択する。制御部５０は、重複領域ＯＬについて第１演算及び第２演算を行い、非重複領域ＮＯＬについて第２演算を行ってもよい。

制御部５０は、固体撮像装置１１０から対象物までの距離に応じて第１演算による演算結果の選択と、第２演算による演算結果の選択とを切り替えるようにしてもよい。例えば、図１に表したように、固体撮像装置１１０からの距離ＴＨを閾値として予め設定しておき、距離ＴＨを超える範囲Ａ１については第１演算による演算結果を選択し、距離ＴＨ以下の範囲Ａ２については第２演算による演算結果を選択するようにしてもよい。

また、制御部５０は、固体撮像装置１１０の外部から送られた指示に応じて第１演算による演算結果の選択と、第２演算による演算結果の選択とを切り替えるようにしてもよい。

固体撮像装置１１０では、制御部５０による第１演算による演算結果及び第２演算による演算結果を適宜用いることで、第１演算によるメリットと、第２演算によるメリットとの両方を得る。

ここで、具体的な測距の例について説明する。
図１に表したように、第１撮像装置１０Ａによる第１撮像領域Ｒ１及び第２撮像装置１０Ｂによる第２撮像領域Ｒ１が重複した重複領域ＯＬのうち、固体撮像装置１１０から十分遠方にある撮像領域Ｒ１２１では、制御部５０は第１演算により距離を推定する。すなわち、制御部５０は、第１撮像装置１０Ａ及び第２撮像装置１０Ｂによって得た画像信号に基づき再構成画像を形成し、ステレオマッチング法により距離を推定する。画像の再構成及びステレオマッチング法については後述する。

一方、重複領域ＯＬのうち固体撮像装置１１０から比較的近い撮像領域Ｒ１２２では、制御部５０は、第１演算及び第２演算の少なくとも一方によって距離を推定する。第２演算では、第１撮像装置１０Ａの第１マイクロレンズアレイ１２Ａ及び第２撮像装置１０Ｂの第２マイクロレンズアレイ１２Ｂの少なくとも一方を介して撮像部１３で得た視差画像群によるパターンマッチング法によって距離を推定する。視差画像群を用いた測距については後述する。

さらに、第１撮像装置１０Ａによる第１撮像領域Ｒ１のうち、非重複領域ＮＯＬである撮像領域Ｒ１１では、制御部５０は第２演算によって距離を推定する。すなわち、制御部５０は、第１撮像装置１０Ａの第１マイクロレンズアレイ１２Ａを介して第１撮像部１３Ａで得た視差画像群によるパターンマッチング法によって距離を推定する。

また、第２撮像装置１０Ｂによる第２撮像領域Ｒ２のうち、非重複領域ＮＯＬである撮像領域Ｒ２１では、制御部５０は第２演算によって距離を推定する。すなわち、制御部５０は、第２撮像装置１０Ｂの第２マイクロレンズアレイ１２Ｂを介して第２撮像部１３Ｂで得た視差画像群によるパターンマッチング法によって距離を推定する。

このように、固体撮像装置１１０では、第１撮像領域Ｒ１及び第２撮像領域Ｒ２の重複領域ＯＬでの測距に加え、非重複領域ＮＯＬでの測距も行う。したがって、広い範囲における測距が実現される。また、比較的遠い範囲では第１演算によるステレオマッチング法での測距を行い、比較的近い範囲では第２演算による視差画像群によるパターンマッチング法での測距を行う。これにより、遠近の範囲において高精度な測距が実現される。

図４は、参考例に係る測距について例示する模式図である。
図４に表した例では、第１撮像装置１０Ａ’及び第２撮像装置１０Ｂ’によって得た画像信号によってステレオマッチング法で測距する。第１撮像装置１０Ａ’及び第２撮像装置１０Ｂ’は、複眼カメラではないカメラである。

図４に表した例において、距離画像を取得することが可能な範囲は、第１撮像装置１０Ａ’の第１撮像領域Ｒ１’と、第２撮像装置１０Ｂ’の第２撮像領域Ｒ２’とが重複する重複領域ＯＬに限られる。したがって、重複領域ＯＬ以外の領域については距離画像を取得することができない。

一方、先に説明したように、本実施形態に係る固体撮像装置１１０では、重複領域ＯＬのみならず、非重複領域ＮＯＬにおいても距離画像を取得することができる。したがって、固体撮像装置１１０では、広い範囲で距離画像が得られる。

次に、ステレオマッチング法による距離の推定方法について説明する。
図５は、ステレオ視差に基づく距離の推定の概念を示す図である。
図５において、Ｚは距離、ｆはカメラの焦点距離、Ｔは左右カメラＣ１及びＣ２の間隔（基線長）、ｄは視差長（ｘ１−ｘ２）である。

距離Ｚは、左右カメラＣ１及びＣ２で捉えた同一対象物の撮像面での位置のずれである視差長ｄから、次の（１）式によって示される。

ステレオ視差に基づく距離Ｚは、上記のように、二つのカメラＣ１及びＣ２で撮影した像の一方の任意の領域の画像と、この画像に対応したもう一方の画像とのマッチングをとり、得られた視差に基づき、上記（１）式によって算出される。

次に、視差画像群を用いた距離の推定方法について説明する。
図６（ａ）及び図６（ｂ）は、視差画像群を用いた距離の推定方法の概念を示す図である。
図６（ｂ）には、図６（ａ）に示すＰ部分の拡大図が表される。
図６（ａ）及び図６（ｂ）において、Ａは、距離（メインレンズ１１の物体側の主面から対象物までの距離)、ｆは、メインレンズ１１の焦点距離、Ｂは、メインレンズ１１の像側の主面から結像面ＩＭＳ１までの距離、Ｃは、マイクロレンズアレイ１２に含まれるマイクロレンズＭＬの物体側の主面からメインレンズ１１の結像面ＩＭＳ１までの距離、Ｄは、マイクロレンズＭＬの像側の主面からマイクロレンズＭＬの結像面ＩＭＳ２までの距離、Ｅは、メインレンズ１１の像側の主面からマイクロレンズＭＬの物体側の主面までの距離（Ｅ＝Ｂ−Ｃ）、ｄは、マイクロレンズＭＬにおける視差長、ｎＬは、基線長、Ｌは、マイクロレンズＭＬのピッチ（Ｌ≒マイクロレンズＭＬの直径）、ｇは、マイクロレンズＭＬの焦点距離である。

マイクロレンズＭＬの物体側の主面からメインレンズ１１の結像面ＩＭＳ１までの距離Ｃは、次の（２）式によって示される。

視差長ｄは、次の（３）式によって示される。

メインレンズ１１の像側の主面から結像面ＩＭＳ１までの距離Ｂは、メインレンズ１１の焦点距離ｆと、メインレンズ１１の物体側の主面から対象物までの距離Ａとの関係式である次の（４）式によって示される。

ここで、距離Ｃは、次の（５）式によって示される。

（２）式、（４）式及び（５）式をまとめると、次の（６）式として示される。

したがって、メインレンズ１１の物体側の主面から対象物までの距離Ａは、上記（６）式から既知のＤ、ｎＬ、ｄ、ｆ及びＥから導かれる。

次に、画像の再構成について説明する。
本実施形態の固体撮像装置１１０のように、マイクロレンズアレイ１２を介して撮像部１３で得た画像信号に基づき視差に基づく測距を行うには、画像の再構成を行う必要がある。

本実施形態の固体撮像装置１１０のように、複数のマイクロレンズによって同一被写体から出た光線群を分割し、仮想結像面よりも前方に位置する撮像画素面へ結像した場合、同一被写体が視差に応じて複数撮像されることになる。したがって、同一被写体部が複数回撮影されたマイクロレンズ像群が画像として出力される。このマイクロレンズ像群は、仮想結像面に結像するはずだった画像から、マイクロレンズ結像系による像倍率Ｎだけ縮小される関係となる。像倍率Ｎは、次の（７）式によって示される。

得られたマイクロレンズ画像群は、読み出した各マイクロレンズ画像データを再構成処理することによって、重複箇所のない２次元画像に再構成される。また、得られたマイクロレンズ画像群は、結像レンズ口径内の視差を有するため、視差を利用した３Ｄステレオ画像処理に利用される。

本実施形態に係る固体撮像装置１１０では、ステレオ視差による距離推定、およびマイクロレンズから得られた視差画像群による距離推定を得ることができ、任意の距離領域で何れか、あるいはその双方の手法を適応することで、死角領域を低減でき、近距離から遠距離まで高精度の距離画像の取得が可能になる。

次に、制御部５０について説明する。
制御部５０は、第１撮像装置１０Ａで得た対象物の第１画像信号及び第２撮像装置１０Ｂで得た対象物の第２画像信号に基づき、測距を行う。制御部５０は、ハードウェアによって構成されていても、ソフトウェアによって構成されていてもよい。また、制御部５０は、ハードウェハとソフトウェアとの両方によって構成されていてもよい。以下においては、制御部５０がソフトウェア（制御プログラム）として構成されている場合の処理について説明する。

図７及び図８は、制御プログラムの流れを例示するフローチャートである。
図７には第１演算の処理の流れが表され、図８には第２演算の処理の流れが表される。

先ず、図７に表したように、第１撮像装置１０Ａによる撮像（ステップＳ１０１）と、第２撮像装置１０Ｂによる撮像（ステップＳ１０２）とを指示する。次に、第１撮像装置１０Ａから例えばＲＡＷデータを含むキャリブレーションデータの読み込み（ステップＳ１０３）と、第２撮像装置１０Ｂから例えばＲＡＷデータを含むキャリブレーションデータの読み込み（ステップＳ１０４）を行う。

次に、第１撮像装置１０Ａのキャリブレーションデータから再構成画像の生成（ステップＳ１０５）を行う。この再構成画像には第１画像信号が含まれる。また、第２撮像装置１０Ｂのキャリブレーションデータから再構成画像の生成（ステップＳ１０６）を行う。この再構成画像には第２画像信号が含まれる。

次に、第１画像信号を含む再構成画像と、第２画像信号を含む再構成画像とを統合する（ステップＳ１０７）。統合された画像は、必要に応じて外部の表示装置（ディスプレイ）に表示させてもよい。

次に、ステレオマッチングによる距離の推定（ステップＳ１０８）を行う。ここでは、第１画像信号を含む再構成画像と、第２画像信号を含む再構成画像とを用いたステレオ視差によって距離を演算する。そして、距離画像の生成を行う（ステップＳ１０９）。

次に、推定した距離と、予め設定された閾値との比較を行う（ステップＳ１１０）。推定した距離が、閾値を超えている場合には、ステレオ距離推定基準範囲内であると判定する（ステップＳ１１１）。ステレオ距離推定基準範囲内であると判定された場合には、ステップＳ１０９で生成した距離画像を選択する。選択された距離画像は、必要に応じて外部に出力される。なお、距離画像は必要とせず、推定距離のみを得たい場合には、ステップＳ１０９の処理は省略可能である。

一方、推定した距離が、閾値以下の場合には、図８に表したフローチャートへ移行する。図８に表したように、先ず、第１撮像装置１０Ａのマイクロレンズ毎に得られる視差画像の群から距離を推定する（ステップＳ２０１）。また、第２撮像装置１０Ｂのマイクロレンズ毎に得られる視差画像の群から距離を推定する（ステップＳ２０２）。すなわち、第１撮像装置１０Ａのキャリブレーションデータからマイクロレンズ画像群の視差に基づきマイクロレンズ毎に得られる視差画像の群から距離を推定する。同様に、第２撮像装置１０Ｂのキャリブレーションデータからマイクロレンズ画像群の視差に基づきマイクロレンズ毎に得られる視差画像の群から距離を推定する。

次に、マイクロレンズ毎に得られる視差画像の群からの距離の推定結果から距離画像を生成する（ステップＳ２０３及びステップＳ２０４）。そして、第１撮像装置１０Ａによって得た距離画像と、第２撮像装置１０Ｂによって得た距離画像との統合を行う（ステップＳ２０５）。統合された距離画像は、必要に応じて外部に出力される。なお、距離画像は必要とせず、推定距離のみを得たい場合には、ステップＳ２０３の処理及びステップＳ２０４の処理は省略可能である。なお、第１撮像装置１０Ａまたは第２撮像装置１０Ｂのいずれか一方のみによって距離画像を得ようとする場合には、ステップＳ２０１の処理とステップＳ２０３の処理、またはステップＳ２０２の処理とステップＳ２０４の処理、のいずれか一方のみが実行されてもよい。この場合には、ステップＳ２０５の処理は実行されなくてもよい。

このような処理によって、広い範囲における測距が実現されるとともに、対象物まで距離が遠い場合及び近い場合の両方において高精度な測距が実現される。

なお、制御部５０は、図８に表した処理（第２演算）を、図７に表した処理（第１演算）と並列に行ってもよい。例えば、マルチタスク処理が可能なハードウェアを用いて、図７に表した第１演算のプログラムと、図８に表した第２演算のプログラムとを、並列処理してもよい。

上記説明した制御プログラムは、コンピュータによって実行される。
図９は、コンピュータのハードウェア構成を例示する図である。
コンピュータ２００は、中央演算部２０１、入力部２０２、出力部２０３、記憶部２０４を含む。入力部２０２は、記録媒体Ｍに記録された情報を読み取る機能を含む。上記説明した制御プログラムは、中央演算部２０１で実行される。

制御プログラムは、図７及び図８に表した各ステップの処理をコンピュータ２００に実行させる。

制御プログラムは、コンピュータ読取可能な記録媒体に記録されていてもよい。記録媒体Ｍは、図７及び図８に表した各ステップの処理をコンピュータ２００に読み取り可能な形式によって記録している。

すなわち、記録媒体Ｍは、第１撮像装置１０Ａと第２撮像装置１０Ｂとを含む固体撮像装置を制御する制御プログラムが記録される。
第１撮像装置１０Ａは、第１光学系である第１メインレンズ１１Ａと、第１メインレンズ１１Ａと、第１メインレンズ１１Ａによる結像位置と、の間に設けられ、複数の撮像画素を有する第１撮像部１３Ａと、第１メインレンズ１１Ａと、第１撮像部１３Ａと、の間に設けられ、第１マイクロレンズアレイ１２Ａを有する第２光学系と、を含む。
第２撮像装置１０Ｂは、第１撮像装置１０Ａと離間して設けられる。
第２撮像装置１０Ｂは、第３光学系である第２メインレンズ１１Ｂと、第２メインレンズ１１Ｂと、第２メインレンズ１１Ｂによる結像位置と、の間に設けられ、複数の撮像画素を有する第２撮像部１３Ｂと、第２メインレンズ１１Ｂと、第２撮像部１３Ｂと、の間に設けられ、第２マイクロレンズアレイ１２Ｂを有する第４光学系と、を含む。
記録媒体Ｍは、第１撮像装置１０Ａで得た対象物の第１画像信号及び第２撮像装置１０Ｂで得た対象物の第２画像信号を用いたステレオ視差によって距離を演算する第１演算処理と、第１マイクロレンズアレイ１２Ａ及び第２マイクロレンズアレイ１２Ｂの少なくとも一方を介して得た視差画像によって距離を演算する第２演算処理と、をコンピュータに実行させるプログラムを記録する。

記録媒体Ｍは、ネットワークに接続されたサーバ等の記憶装置であってもよい。また、制御プログラムは、ネットワークを介して配信されてもよい。

（第２の実施形態）
次に、第２の実施形態の説明を行う。
図１０（ａ）及び図１０（ｂ）は、第２の実施形態に係る固体撮像装置の構成を例示する模式図である。
図１０（ａ）には、第２の実施形態に係る固体撮像装置１２０の構成例が表される。図１０（ｂ）には、第２の実施形態に係る固体撮像装置１２０による測距の概念が表される。

図１０（ａ）に表したように、本実施形態に係る固体撮像装置１２０は、第１撮像装置１０Ａと、第２撮像装置１０Ｂと、制御部５０と、を備える。固体撮像装置１２０においては、第１撮像装置１０Ａの第１光学系に含まれる第１メインレンズ１１Ａの光軸ＣＬ１が、第２撮像装置１０Ｂの第３光学系に含まれる第２メインレンズ１１Ｂの光軸ＣＬ２と非平行になっている。その他の構成は、固体撮像装置１１０と同様である。

固体撮像装置１２０は、例えば基板２０と、第１傾斜台２５と、第２傾斜台２６と、を備える。第１傾斜台２５及び第２傾斜台２６は、基板２０の第１面２０ａに設けられる。第１傾斜台２５の第１傾斜面２５ａは、基板２０の第１面２０ａに対して傾斜している。第２傾斜台２６の第２傾斜面２６ａは、基板２０の第１面２０ａに対して傾斜している。

第１撮像装置１０Ａは、第１傾斜面２５ａに実装される。第２撮像装置１０Ｂは、第２傾斜面２６ａに実装される。第１撮像装置１０Ａと第２撮像装置１０Ｂとの中間であって、第１面２０ａと直交する軸を中心軸ＣＬ０とした場合、第１撮像装置１０Ａ及び第２撮像装置１０Ｂは、互いに中心軸ＣＬ０側（内向き）に傾斜して配置される。

図１０（ｂ）に表したように、固体撮像装置１２０においては、第１撮像装置１０Ａ及び第２撮像装置１０Ｂにより中心軸ＣＬ０に対して所定の角度を付けた画像が得られる。これにより、第１撮像領域Ｒ１と第２撮像領域Ｒ２との重複領域ＯＬを、図１に表した重複領域ＯＬに対して変化させることができる。

固体撮像装置１２０において、第１傾斜面２５ａの第１角度θ１及び第２傾斜面２６ａの第２角度θ２を変更可能に設けてもよい。第１角度θ１は、基板２０の第１面２０ａに対する第１傾斜面２５ａの角度である。第２角度θ２は、基板２０の第１面２０ａに対する第２傾斜面２６ａの角度である。第１角度θ１によって第１撮像装置１０Ａの光軸ＣＬ１の角度が設定され、第２角度θ２によって第２撮像装置１０Ｂの光軸ＣＬ２の角度が設定される。

制御部５０は、第１角度θ１及び第２角度θ２をそれぞれ独立に制御してもよい。これにより、第１撮像領域Ｒ１、第２撮像領域Ｒ２及び重複領域ＯＬを調整することができる。なお、固体撮像装置１２０において、第１撮像装置１０Ａ及び第２撮像装置１０Ｂは、互いに中心軸ＣＬ０とは反対側（外向き）に傾斜して配置されていてもよい。

（第３の実施形態）
次に、第３の実施形態について説明する。
図１１は、第３の実施形態に係る固体撮像装置の構成を例示する模式図である。
図１１に表したように、本実施形態に係る固体撮像装置１３０は、第１撮像装置１０Ａと、第２撮像装置１０Ｂと、第３撮像装置１０Ｃと、制御部５０と、を備える。すなわち、固体撮像装置１３０は、固体撮像装置１１０に第３撮像装置１０Ｃを追加した構成である。その他の構成は固体撮像装置１１０と同様である。

第３撮像装置１０Ｃは、第１撮像装置１０Ａと、第２撮像装置１０Ｂと、の間に設けられる。第３撮像装置１０Ｃの構成は、第１撮像装置１０Ａの構成及び第２撮像装置１０Ｂの構成と同様である。すなわち、第３撮像装置１０Ｃは、第５光学系に含まれる第３メインレンズ１１Ｃと、複数の撮像画素を有する第３撮像部１３Ｃと、第６光学系に含まれる第３マイクロレンズアレイ１２Ｃと、を有する。

第３撮像部１３Ｃは、第３メインレンズ１１Ｃと、第３メインレンズ１１Ｃの結像位置と、の間に設けられる。第３マイクロレンズアレイ１２Ｃは、第３メインレンズ１１Ｃと、第３撮像部１３Ｃと、の間に設けられる。なお、第３撮像装置１０Ｃによる第３撮像領域Ｒ３は、第１撮像装置１０Ａによる第１撮像領域Ｒ１や第２撮像装置１０Ｂによる第２撮像領域Ｒ２よりも近距離側に広い。

固体撮像装置１３０では、第１撮像領域Ｒ１及び第２撮像領域Ｒ２に含まれない撮像領域Ｒ３３の画像を得ることができる。制御部５０は、この撮像領域Ｒ３３内の対象物については、第３撮像装置１０Ｃの第３マイクロレンズアレイ１２Ｃを介して得た視差画像によって距離を演算する。

また、制御部５０は、第１撮像領域Ｒ１と第３撮像領域Ｒ３との重複領域Ｒ３１については、第１撮像装置１０Ａ及び第３撮像装置１０Ｃによって得た画像信号に基づき再構成画像を形成し、ステレオマッチング法により距離を演算しても、第３マイクロレンズアレイ１２Ｃを介して得た視差画像によって距離を演算してもよい。

また、制御部５０は、第２撮像領域Ｒ２と第３撮像領域Ｒ３との重複領域Ｒ３２については、第２撮像装置１０Ｂ及び第３撮像装置１０Ｃによって得た画像信号に基づき再構成画像を形成し、ステレオマッチング法により距離を演算しても、第３マイクロレンズアレイ１２Ｃを介して得た視差画像によって距離を演算してもよい。

固体撮像装置１３０では、第１撮像装置１０Ａ、第２撮像装置１０Ｂ及び第３撮像装置１０Ｃによって、より広い範囲の距離を高精度に演算することができるようになる。なお、図１１に表した固体撮像装置１３０では、３つの撮像装置１０を用いる例を示したが、さらに多くの撮像装置１０を用いて距離を演算してもよい。

（第４の実施形態）
次に、第４の実施形態について説明する。
図１２は、第４の実施形態に係る固体撮像装置の構成を例示する模式図である。
図１２に表したように、本実施形態に係る固体撮像装置１３０は、第１撮像装置１０Ａと、第２撮像装置１０Ｂと、制御部５０と、を備える。固体撮像装置１３０において、第１撮像装置１０Ａの第１メインレンズ１１Ａの焦点距離は、第２撮像装置１０Ｂの第２メインレンズ１１Ｂの焦点距離とは異なる。その他の構成は固体撮像装置１１０と同様である。

例えば、第１メインレンズ１１Ａの焦点距離は、第２メインレンズ１１Ｂの焦点距離よりも短い。固体撮像装置１３０は、互いに焦点距離の異なる第１撮像装置１０Ａ及び第２撮像装置１０Ｂを用いて撮像することにより、より精度の高い測距を行う。

図１３は、焦点距離と測距可能範囲との関係を例示する図である。
図１３では、マイクロレンズアレイ１２を介して得られる視差画像群を用いて距離を推定（第２演算）できる範囲について、メインレンズ１１の焦点距離との関係を表している。図１３の横軸は、メインレンズ１１の焦点距離を表し、縦軸は測距可能範囲を表す。図１３に示すラインＬ１は、ラインＬ２に対して相対的に精度が高い場合の測距可能範囲を示す。一方、ラインＬ２は、ラインＬ１に対して相対的に精度が低い場合の測距可能範囲を示す。

いずれのラインＬ１及びＬ２であっても、マイクロレンズアレイ１２を介して得られる視差画像群を用いた距離推定方法では、測距可能な範囲はメインレンズ１１の焦点距離に依存する。すなわち、メインレンズ１１の焦点距離が長いと、測距可能範囲は広くなる。

固体撮像装置１３０では、図１３に表したメインレンズ１１の焦点距離と測距可能範囲との関係を利用して、互いに焦点距離の異なる第１撮像装置１０Ａ及び第２撮像装置１０Ｂを用いる。

このような構成により、マイクロレンズから得られた視差画像群による距離推定方法を活用した比較的距離の近い領域での距離画像の取得に際し、その領域でもさらに近い領域については焦点距離の短い撮像装置（例えば、第１撮像装置１０Ａ）により取得した画像情報を利用し、遠い領域については焦点距離の長い撮像装置（例えば、第２撮像装置１０Ｂ）により取得した画像情報を利用する。また、メインレンズ１１の焦点距離は、画角に反比例する特性を持つ。このため、メインレンズ１１の焦点距離が短い場合、より広い画角をカバーできる特徴がある。これにより、精度が高く、ワイドな視野を有した距離情報の取得が可能になる。

なお、固体撮像装置１３０では、短い焦点距離を有する第１撮像装置１０Ａと、長い焦点距離を有する第２撮像装置１０Ｂとを用いたが、それぞれ異なる３つ以上の焦点距離を有する３つ以上の撮像装置１０を用いてもよい。

以上説明したように、実施形態によれば、広い範囲で精度の高い測距を行うことができる固体撮像装置、制御装置及び制御プログラムを提供することができる。

なお、上記に本実施形態およびその変形例を説明したが、本発明はこれらの例に限定されるものではない。例えば、前述の各実施形態またはその変形例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。

本実施形態の応用分野としては、ゲームや家電操作での入力デバイスを想定したモーションキャプチャ用距離画像カメラなどが挙げられる。また、本実施形態によって取得した距離画像情報については、自動車にとっては、前後左右車両との車間距離測定、歩行者の検出、死角部の障害物検出、エアバッグ、パーキングアシスト等、多くの応用例が挙げられる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…撮像装置、１０Ａ…第１撮像装置、１０Ｂ…第２撮像装置、１０Ｃ…第３撮像装置、１１…メインレンズ、１１Ａ…第１メインレンズ、１１Ｂ…第２メインレンズ、１１Ｃ…第３メインレンズ、１２…マイクロレンズアレイ、１２Ａ…第１マイクロレンズアレイ、１２Ｂ…第２マイクロレンズアレイ、１２Ｃ…第３マイクロレンズアレイ、１３…撮像部、１３Ａ…第１撮像部、１３Ｂ…第２撮像部、１３Ｃ…第３撮像部、２０…基板、２０ａ…第１面、２０ｂ…第２面、２１…配線、２５…第１傾斜台、２５ａ…第１傾斜面、２６…第２傾斜台、２６ａ…第２傾斜面、５０…制御部、１００…実装基板、１０２…筐体、１０３…レンズホルダ、１０４…フィルタ、１０６…ボンディングワイヤ、１０８…接合部、１０９…空間、１１０，１２０，１３０…固体撮像装置、２００…コンピュータ、２０１…中央演算部、２０２…入力部、２０３…出力部、Ｍ…記録媒体、ＭＬ…マイクロレンズ、ＮＯＬ…非重複領域、ＯＬ…重複領域、Ｒ１…第１撮像領域、Ｒ２…第２撮像領域、Ｒ３…第３撮像領域

Claims (12)

1. 第１撮像装置であって、
   第１光学系と、
   前記第１光学系と、前記第１光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第１撮像部と、
   前記第１光学系と、前記第１撮像部と、の間に設けられ、第１マイクロレンズアレイを有する第２光学系と、を含む第１撮像装置と、
   前記第１撮像装置と離間して設けられた第２撮像装置であって、
   第３光学系と、
   前記第３光学系と、前記第３光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第２撮像部と、
   前記第３光学系と、前記第２撮像部と、の間に設けられ、第２マイクロレンズアレイを有する第４光学系と、を含む第２撮像装置と、
   前記第１撮像装置で得た対象物の第１画像信号及び前記第２撮像装置で得た前記対象物の第２画像信号を用いたステレオ視差によって距離を演算する第１演算と、前記第１マイクロレンズアレイ及び前記第２マイクロレンズアレイの少なくとも一方を介して得た視差画像によって距離を演算する第２演算と、を行う制御部と、
   を備えた固体撮像装置。
2. 前記制御部は、
   前記第１撮像装置による第１撮像領域と、前記第２撮像装置による第２撮像領域と、が重複する重複領域については前記第１演算による演算を行い、
   前記第１撮像領域及び前記第２撮像領域のうち前記重複領域以外の他の領域については前記第２演算による演算を行う請求項１記載の固体撮像装置。
3. 前記制御部は、
   前記第１撮像装置による第１撮像領域と、前記第２撮像装置による第２撮像領域と、が重複する重複領域については前記第１演算及び前記第２演算を行い、
   前記第１撮像領域及び前記第２撮像領域のうち前記重複領域以外の他の領域については前記第２演算を行う請求項１記載の固体撮像装置。
4. 前記制御部は、前記第１演算によって得られた距離が予め設定された閾値を超える場合には前記第１演算による演算結果を選択し、閾値以下の場合には前記第２演算による演算結果を選択する請求項１記載の固体撮像装置。
5. 前記制御部は、外部から送られた指示に応じて前記第１演算による演算結果及び前記第２演算による演算結果のいずれかを選択する請求項１記載の固体撮像装置。
6. 前記制御部は、前記第２演算を前記第１演算と並列で処理する請求項１記載の固体撮像装置。
7. 前記第１光学系の光軸は、前記第３光学系の光軸と非平行である請求項１〜６のいずれか１つに記載の固体撮像装置。
8. 前記第１撮像装置と、前記第２撮像装置と、の間に配置された第３撮像装置であって、
   第５光学系と、
   前記第５光学系と、前記第５光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第３撮像部と、
   前記第５光学系と、前記第３撮像部と、の間に設けられ、第３マイクロレンズアレイを有する第６光学系と、を含む第３撮像装置をさらに備え、
   前記制御部は、前記第３マイクロレンズアレイを介して得た視差画像によって距離を演算する第３演算を行う請求項１〜７のいずれか１つに記載の固体撮像装置。
9. 前記第１光学系の焦点距離は、前記第２光学系の焦点距離と異なる請求項１〜８のいずれか１つに記載の固体撮像装置。
10. 前記第１撮像装置、前記第２撮像装置及び前記制御部を実装する基板をさらに備えた請求項１記載の固体撮像装置。
11. 第１撮像装置と第２撮像装置とを含む固体撮像装置を制御する制御装置であって、
    第１撮像装置は、
    第１光学系と、
    前記第１光学系と、前記第１光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第１撮像部と、
    前記第１光学系と、前記第１撮像部と、の間に設けられ、第１マイクロレンズアレイを有する第２光学系と、を含み、
    前記第２撮像装置は、前記第１撮像装置と離間して設けられ、
    第３光学系と、
    前記第３光学系と、前記第３光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第２撮像部と、
    前記第３光学系と、前記第２撮像部と、の間に設けられ、第２マイクロレンズアレイを有する第４光学系と、を含み、
    前記第１撮像装置で得た対象物の第１画像信号及び前記第２撮像装置で得た前記対象物の第２画像信号を用いたステレオ視差によって距離を演算する第１演算と、前記第１マイクロレンズアレイ及び前記第２マイクロレンズアレイの少なくとも一方を介して得た視差画像によって距離を演算する第２演算と、を行う制御装置。
12. 第１撮像装置と第２撮像装置とを含む固体撮像装置を制御する制御プログラムであって、
    第１撮像装置は、
    第１光学系と、
    前記第１光学系と、前記第１光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第１撮像部と、
    前記第１光学系と、前記第１撮像部と、の間に設けられ、第１マイクロレンズアレイを有する第２光学系と、を含み、
    前記第２撮像装置は、前記第１撮像装置と離間して設けられ、
    第３光学系と、
    前記第３光学系と、前記第３光学系による結像位置と、の間に設けられ、複数の撮像画素を有する第２撮像部と、
    前記第３光学系と、前記第２撮像部と、の間に設けられ、第２マイクロレンズアレイを有する第４光学系と、を含み、
    コンピュータを、
    前記第１撮像装置で得た対象物の第１画像信号及び前記第２撮像装置で得た前記対象物の第２画像信号を用いたステレオ視差によって距離を演算する第１演算手段、
    前記第１マイクロレンズアレイ及び前記第２マイクロレンズアレイの少なくとも一方を介して得た視差画像によって距離を演算する第２演算手段、
    として機能させる制御プログラム。

Images