JP2015185947A - 撮像システム - Google Patents

Abstract

【課題】設置の位置ずれによる精度の悪化を生じさせることなく、且つ被写体に依らずに、被写体までの奥行き方向の距離情報を取得する。
【解決手段】実施形態の撮像システムは、撮像素子と、結像レンズと、マイクロレンズアレイと、照射部と、距離情報取得部と、制御部とを有する。マイクロレンズアレイは、複数のマイクロレンズが所定のピッチで配列され、複数のマイクロレンズそれぞれは画素ブロックと対応する。照射部は、被写体に対してパターンを投影する光を照射する。距離情報取得部は、撮像素子が光電変換した信号に基づいて、被写体までの奥行き方向の距離情報を取得する。制御部は、被写体から反射され、結像レンズ及びマイクロレンズによって撮像素子上に縮小されるパターンが含む像が、マイクロレンズ毎に撮像素子上に結像させる像の配列ピッチより小さく、画素の２倍よりも大きくなるように、照射部を制御する。
【選択図】図１

Description

本発明の実施形態は、撮像システムに関する。

２次元情報として被写体奥行き方向距離（距離画像）を得ることができる撮像技術には、参照光を使用して被写体からの反射光強度や戻り時間を計測する技術、又は複数カメラを使用したステレオ測距技術など様々な手法がある。距離画像情報は、通常のカメラから得られる画像情報よりも高度な被写体認識を可能にするため、新たな入力情報として、家電、ゲーム、産業用等の比較的廉価な製品においてニーズが高まっている。

また、距離撮像手法の中で、単一のカメラで多数視差が得られ、三角測量に基づいた測距が可能となる構成として、結像レンズを持つ複眼構成の撮像装置が知られている。

米国特許第７９６２０３３号明細書 特開２００８−２７５３６６号公報

携帯端末や、掃除ロボットなどの端末型装置に搭載されるカメラ等のセンサユニットは、高解像な２次元可視画像を取得可能であることと共に、小型且つ低背（薄型）、低消費電力であることが要求される。また今後は、可視画像だけでなく、ジェスチャ入力や距離画像取得のような、高付加機能による新たな撮像モジュールの使い方が求められている。

従来のマイクロレンズアレイを用いたカメラや多眼等の多視差型パッシブ距離画像カメラは、光源（レーザ、ＬＥＤ等）不要で距離推定でき、低消費電力・小型でバッテリーデバイス向きだが、被写体にテクスチャ（輝度濃淡）がないと測距できないという原理的課題があった。

一方、ステレオカメラ等の多視差システムでアクティブ照明手段を含むシステムを使用する場合、カメラ同士の位置合わせ、またカメラとアクティブ照明手段の位置合わせのキャリブレーションが必要であり、位置ずれが発生すると精度が悪化してしまうという課題があった。また、複数台のシステムを使用する場合、１つの装置が投射した光源パターンが、他の装置の光源パターンに干渉し、エラーが起こるという問題もあった。

本発明が解決しようとする課題は、設置の位置ずれによる精度の悪化を生じさせることなく、且つ被写体に依らずに、被写体までの奥行き方向の距離情報を取得することができる撮像システムを提供することである。

実施形態の撮像システムは、撮像素子と、結像レンズと、マイクロレンズアレイと、照射部と、距離情報取得部と、制御部とを有する。撮像素子は、複数の画素ブロックを有し、画素ブロックは光電変換を行う複数の画素を含む。結像レンズは、被写体からの光を仮想結像面に結像させる。マイクロレンズアレイは、撮像素子と結像レンズの間に設けられ、複数のマイクロレンズが所定のピッチで配列され、複数のマイクロレンズそれぞれは画素ブロックと対応する。照射部は、被写体に対してパターンを投影する光を照射する。距離情報取得部は、撮像素子が光電変換した信号に基づいて、被写体までの奥行き方向の距離情報を取得する。制御部は、撮像素子上に形成されるパターンが下式（１）、（２）を満たすように照射部を制御する。
ｆｐ＝Ｆｐｔ×Ｍ×Ｎ ・・・（１）
１／Ｌ_ＭＬ ＜ Ｆｐｔ×Ｍ×Ｎ ＜ １／２ｄｐｉｘ ・・・（２）
ただし、ｆｐ：撮像素子上に形成された像周波数、Ｆｐｔ：パターンの周波数、Ｍ：結像レンズの倍率、Ｎ：マイクロレンズの倍率、Ｌ_ＭＬ：マイクロレンズ間の距離、ｄｐｉｘ：画素サイズ。

実施形態にかかる撮像システムの構成を例示する構成図。 撮像モジュール部の断面を模式的に示す図。 撮像装置の光学系における幾何的光学関係を示す図。 再構成部が２次元の可視画像を再構成する方法を模式的に示す図。 ＭＬ像に対するテンプレートマッチングを模式的に示す図。 実施形態にかかる撮像システムと被写体との位置関係例を示す図。 パターンの有無によるＭＬ像、再構成画像及び距離画像をそれぞれ示す図。 ＭＬ画像（複数のＭＬ像）の一部と、再構成画像の一部を例示する図。 パターンの黒による占有率が高いＭＬ像と低いＭＬ像とを示した図。 実施形態にかかる撮像システムに適したパターンの形状の模式図。 異なる周期のランダムパターンを組み合わせたパターンを例示する図。 複数の周期を組み合わせた周期的なパターンの第１例を示す図。 複数の周期を組み合わせた周期的なパターンの第２例を示す図。 複数の周期を組み合わせた周期的なパターンの第３例を示す図。 実施形態にかかる撮像システムの動作例を示すフローチャート。 実施形態にかかる撮像システムの第１変形例の概要を示す図。 実施形態にかかる撮像システムの第２変形例の概要を示す図。

以下に添付図面を参照して、実施形態にかかる撮像システムについて説明する。

（実施形態）
図１は、実施形態にかかる撮像システム１の構成を例示する構成図である。撮像システム１は、撮像装置１０及び照射部１２を有し、可視画像及び距離画像を出力可能にされている。なお、撮像システム１は、複数の照射部１２を有していてもよい（図６参照）。

撮像装置１０は、撮像モジュール部２、撮像信号プロセッサ（ＩＳＰ：Image Signal Processor）４、制御部５０及び判定部５２を有する。撮像モジュール部２は、撮像素子２０、結像光学系（結像レンズ）２２、マイクロレンズアレイ（ＭＬＡ：Micro Lens Array）２４、及び撮像回路２６を有する。

撮像素子２０は、結像光学系２２により取り込まれた光を画素毎に信号電荷に変換する素子として機能し、複数の画素（光電変換素子としての例えばフォトダイオード）が２次元アレイ状に配列されている。結像光学系２２は、被写体からの光を撮像素子２０へ取り込む撮像光学系として機能する。撮像素子は、２次元アレイ状に配列された複数の画素ブロックを有する。複数の画素ブロックのそれぞれは、２次元アレイ状に配列された複数の画素を有する。

マイクロレンズアレイ２４は、例えば複数のマイクロレンズを有するマイクロレンズアレイ又はプリズム等の微小光学系である。マイクロレンズアレイ２４は、結像光学系２２によって結像面に結像する光線群を、個々のマイクロレンズ（ＭＬ：Micro Lens）と対応する画素ブロックに縮小再結像する光学系として機能する。

撮像回路２６は、撮像素子２０の各画素を駆動する駆動回路部（図示せず）と、画素領域から出力される信号を処理する画素信号処理回路部（図示せず）とを有している。駆動回路部は、例えば駆動する画素を垂直方向に水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するＴＧ（タイミングジェネレータ）回路などを有する。画素信号処理回路部は、例えば画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路と、ゲイン調整やアンプ動作を行うゲイン調整／アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路となどを有している。

ＩＳＰ４は、モジュールＩ／Ｆ（カメラモジュールインターフェース）４０、画像取込部４１と、信号処理部４２、再構成部４３、距離画像生成部４４、及びドライバＩ／Ｆ（インターフェイス）４５を有する。モジュールＩ／Ｆ４０は、撮像モジュール部２が撮像したＲＡＷ画像を受入れ、画像取込部４１に対して出力するインターフェイスである。画像取込部４１は、モジュールＩ／Ｆ４０を介して、撮像モジュール部２が撮像したＲＡＷ画像を取り込む。

信号処理部４２は、画像取込部４１が取り込んだＲＡＷ画像に対して信号処理を実施し、例えばマイクロレンズ毎に結像される画像（マイクロレンズ像：ＭＬ像）などを生成する。また、信号処理部４２は、信号処理を実施したデータ（複数のＭＬ像：複眼画像）を再構成部４３及び制御部５０に対して出力する。

再構成部４３は、信号処理部４２が生成した複数のＭＬ像（複眼画像）を用いて、例えば被写体に対応するＲＧＢの画像（２次元可視画像）を再構成する。距離画像生成部４４は、例えば信号処理部４２が信号処理した複数のＭＬ像（複眼画像）、再構成部４３が再構成した被写体の画像、又は後述する被写体からの反射光に対応する画素信号を用いて、被写体までの奥行き方向の距離情報を示す画像（距離画像：Ｄｅｐｔｈ Ｍａｐ）を生成する。つまり、距離画像生成部４４は、被写体までの奥行き方向の距離情報を取得して出力可能にする距離情報取得部としての機能も有する。

ドライバＩ／Ｆ４５は、再構成部４３が再構成した被写体の画像（可視画像）と、距離画像生成部４４が生成した距離画像とを示す画像信号を、図示しない表示ドライバに対して出力する。表示ドライバは、撮像システム１が撮像した可視画像及び距離画像などを表示する。

制御部５０は、例えば信号処理部４２が信号処理を実施した信号などに応じて、撮像システム１を構成する各部を制御する。判定部５２は、制御部５０を介して信号処理部４２が信号処理を実施した信号を受入れ、受入れた信号に基づいて、距離画像生成部４４が距離画像の生成（又は距離情報の取得）を可能であるか否かを判定し、判定結果を制御部５０に対して出力する。例えば、判定部５２は、照射部１２が照射する光がオフである場合に、撮像素子２０が光電変換した信号に基づいて、距離画像生成部４４が距離情報を取得可能であるか否か（距離画像を生成可能であるか否か）を判定する。判定部５２は、信号処理部４２が信号処理した複数のＭＬ像（複眼画像）、再構成部４３が再構成した被写体の画像、又は後述する被写体からの反射光に対応する画素信号を用いて、距離画像生成部４４が距離情報を取得可能であるか否か（距離画像を生成可能であるか否か）を判定してもよい。また、制御部５０は、判定部５２の判定結果に応じても、撮像システム１を構成する各部を制御する。

照射部１２は、被写体に対して後述するパターンを投影する光を照射する。また、照射部１２は、照射する光のオン・オフ、波長、強度、及び投影するパターンの倍率などを制御部５０の制御に応じて切替可能にされてもよい。

このように、撮像システム１は、単センサ（撮像素子２０）、単レンズ（結像光学系２２）、及びマイクロレンズ（マイクロレンズアレイ２４が備える）と、照射部１２とを有して、可視画像と距離画像とを撮像可能にされている。

次に、撮像モジュール部２の構成について詳述する。図２は、撮像モジュール部２の断面を模式的に示す図である。図２に示すように、撮像素子２０は、半導体基板２００の上部にそれぞれフォトダイオードを有する複数の画素２０２が形成されている。複数の画素２０２の上部には、画素２０２毎に例えばＲ、Ｇ、Ｂ、Ｗのカラーフィルタ２０４が形成されている。Ｒのカラーフィルタ２０４は、赤色波長光域の光に対して高い透過率を有する。Ｇのカラーフィルタ２０４は、緑色波長光域の光に対して高い透過率を有する。Ｂのカラーフィルタ２０４は、青色波長光域の光に対して高い透過率を有する。Ｗのカラーフィルタ２０４は、赤色波長領域、緑色波長領域および青色波長領域波長を含む波長領域の光を有する。カラーフィルタ２０４の配列規則については後述する。また、各カラーフィルタ２０４の上部には、１画素毎に画素集光用マイクロレンズ２０６が形成されていてもよい。

カラーフィルタ２０４の上方には、マイクロレンズアレイ２４が配置されている。マイクロレンズアレイ２４は、例えば可視光透過基板２４０にマイクロレンズ部２４２が形成されている。マイクロレンズ部２４２は、例えば、可視光透過基板２４０よりも撮像素子２０側に設けられ、２次元方向に所定のピッチでアレイ状に配列された複数のマイクロレンズ２４４を有している。

各マイクロレンズ２４４は、半導体基板２００上に設けられた複数の画素２０２からなる画素ブロックに対応し、対応する画素ブロックに縮小結像（集光）する光学系として機能する。画素ブロックは、例えば直径方向又は１辺に２０〜３０画素が配列されたブロックである。撮像素子２０の用途によっては、画素ブロックは、例えば直径方向又は１辺に１０〜１００程度配列した画素を含む構成としても良い。

また、可視光透過基板２４０は、画素２０２が形成された撮像領域の周囲に設けられた樹脂材料等からなるスペーサ２７０によって半導体基板２００に接合されている。なお、半導体基板２００と可視光透過基板２４０とを接合する場合の位置合わせは、図示しない合わせマーク等を基準にして行われている。

マイクロレンズアレイ２４の上部には、光学フィルタ２７２が設けられてもよい。例えば、可視光透過基板２４０が不要な波長域の光をカットする機能をもたない場合、不要な波長域をカットする機能をもつ光学フィルタが配置されてもよい。不要な波長領域の光とは、例えば、カラーフィルタ２０４に透過される波長領域以外の波長領域の光である。例えば、赤色（Ｒ）と近赤外（ＮＩＲ）を区別するため、その間の波長領域の光をカットする光学フィルタを用いても良い。

また、半導体基板２００には、各画素２０２が出力する信号を読出し可能にする電極パッド２７４が設けられている。この電極パッド２７４の下部には、半導体基板２００を貫通し、処理駆動チップ２７６に対して導通させる貫通電極２７８が形成されている。

半導体基板２００は、貫通電極２７８及びバンプ２８０を介して処理駆動チップ２７６に対して電気的に接続される。処理駆動チップ２７６には、撮像素子２０を駆動し、撮像素子２０から読み出した信号を処理する駆動処理回路（撮像回路２６）が形成されている。また、半導体基板２００と処理駆動チップ２７６とは、貫通電極２７８を介して電気的に接続されることに限定されることなく、例えばそれぞれ（両チップ）に設けられた電極パッド間が金属ワイヤー等で結線されてもよい。

また、可視光透過基板２４０の上方には、結像光学系（結像レンズ）２２が設けられている。結像光学系２２は、複数枚の結像レンズによって構成されてもよい。結像光学系２２は、レンズ鏡筒２８２に取り付けられている。このレンズ鏡筒２８２は、レンズホルダ２８４に取り付けられている。結像光学系２２は、レンズホルダ２８４が取り付けられるときの押し付け圧によって、取り付け位置が調整されてもよい。押し付け圧と出力像の関係に基づいて、出力像を観察しながらレンズホルダ２８４の取り付け位置を定めることができる。

また、撮像モジュール部２は、半導体基板２００、可視光透過基板２４０及び処理駆動チップ２７６に対して不要な光を遮断するために光遮蔽カバー２８６が取り付けられている。そして、撮像モジュール部２は、処理駆動チップ２７６の下部に、処理駆動チップ２７６と外部のデバイスとを電気的に接続するモジュール電極２８８が設けられている。

次に、撮像装置１０の光学系（虚像光学系）における幾何的光学関係について説明する。図３は、撮像装置１０の光学系における幾何的光学関係を示す図である。図３においては、単純化のために、結像レンズ光軸近傍の範囲のみが記述されている。なお、図３（ｂ）は、図３（ａ）に示したマイクロレンズ２４４の光軸近傍を拡大した図である。

結像光学系（結像光学系２２）のみを考えた場合、光軸上の被写体点Ｐからの主光線６００及びその同族光線である周辺光６０２は、結像光学系の焦点距離ｆと、結像光学系２２と被写体点Ｐとの距離Ａとによって決まる仮想結像面Ｓにおいて、下式１の関係を満たすように、結像光学系２２によって結像する。

ここで、ｆは結像光学系（結像レンズ）２２の焦点距離、Ａは結像光学系２２の物体側主面から被写体点Ｐまでの距離、Ｂは結像光学系２２の像側主面から仮想結像点Ｐ’までの距離を示す。なお、結像光学系２２は、図上では例えば物体側主面と像側主面とが一致しているものとする。また、結像光学系２２の像倍率（横倍率）Ｍは、下式２によって表される。

ここで、結像光学系２２は、仮想結像点Ｐ’を撮像素子２０よりも更に後方（被写体とは反対側）へ位置させている。このとき、各マイクロレンズ２４４は、仮想結像点Ｐ’よりも前方（被写体側）に配置されているため、仮想結像面Ｓよりも前方に位置する撮像素子２０の画素２０２が設けられた面に集光する。つまり、光線群（主光線６００、周辺光６０２）は、虚像関係で縮小結像することになる。マイクロレンズ２４４の結像系は下式３によって表される。

ここで、ｇはマイクロレンズ２４４の焦点距離、Ｃはマイクロレンズ２４４の物体側主面から仮想結像点Ｐ’までの距離、Ｄはマイクロレンズ２４４の像側主面からマイクロレンズ２４４による結像点までの距離を示す。このとき、マイクロレンズ２４４の結像系による像倍率（像縮小率）Ｎは、下式４によって表される。

結像光学系２２が結像する像をマイクロレンズアレイ２４が縮小するときの像縮小倍率は、例えば０．００１以上０．８７以下である。ここで、幾何学的関係により下式５の変数Ｅを導入する。光学系が固定焦点光学系の場合、変数Ｅは固定設計値となる。

ここで、隣接するマイクロレンズ２４４を２個選択した場合の、マイクロレンズ２４４の配列ピッチ、又はマイクロレンズ２４４間の距離をＬ_ＭＬとする。このとき、同一被写体から出た光線群６０４ａ、６０４ｂ、６０４ｃ、６０６は、隣接した複数のマイクロレンズ２４４によって、像点ｐ１、ｐ２、ｐ３・・・に分配されて複数個所に結像される。このときのＬ_ＭＬと片側の像ずれ量Δは、図３（ｂ）に示す各マイクロレンズ２４４にとっての主光線６０４ａ、６０４ｂ、６０４ｃの幾何学的関係より下式６によって表される。

また、式（１）、（２）、（６）により、被写体と結像光学系２２との距離Ａと、像のずれ量Δは、下式７に示す関係となる。

f、Ｅ、Ｌ_ＭＬは、設計時のパラメータであるため既知の固定値である。つまり、上式７により、距離Ａに対して一意に像のずれ量Δと、距離Ｄが決まる。ここで、距離Ｄの変化量は、距離Ａの変化量に対して非常に僅かであるため、固定値Ｄ０とみなすとする。固定値Ｄ０は、マイクロレンズ２４４の像側主面から撮像素子２０の面までの距離を示す。このとき、上式７は、下式８のように表される。

ここでは、ｆ、Ｅ、Ｄ０、Ｌ_ＭＬが既知の設計値であるため、像のずれ量Δが撮像素子２０面から検出できれば、被写体までの距離Ａが算出可能となる。同一被写体点Ｐからの光線が、結像光学系２２及びマイクロレンズ２４４によって像点ｐ１、ｐ２、ｐ３・・・に結像された場合の相互の像のずれ量Δを求めるためには、撮像素子２０が撮像した隣接するマイクロレンズの像（ＭＬ像）間の画像マッチング処理を用いる。

画像マッチング処理としては、例えば、２つの画像の類似度や相違度を調べる周知のテンプレートマッチング法を用いることができる。また、更に精密にずれ位置を求める場合には、画素単位で得られた類似度や相似度を連続なフィッティング関数等で補間し、フィッティング関数の最大や最小を与えるサブピクセル位置を求めることにより、更に高精度にずれ量を求めてもよい。

次に、再構成部４３が２次元の可視画像を再構成する方法について説明する。図４は、再構成部４３が２次元の可視画像を再構成する方法を模式的に示す図である。再構成部４３は、同一被写体が複数回撮影されているマイクロレンズ像（ＭＬ像）群から、重複のない２次元画像を再構成する。

例えば、隣接する３個のマイクロレンズ２４４があり、それらが図４に示すように、撮像素子２０の面にマイクロレンズ像６１０ａ、６１０ｂ、６１０ｃをそれぞれ形成する場合を考える。このように、重複のないマイクロレンズ像を形成するには、結像光学系２２の実効Ｆナンバーとマイクロレンズ２４４の実効Ｆナンバーが一致していればよい。

マイクロレンズ像６１０ａ、６１０ｂ、６１０ｃが結像する視野は、仮想結像面Ｓにおいては視野６１２ａ、視野６１２ｂ、視野６１２ｃとなり、図４に示すように重複した範囲となる。図４では、像縮小率Ｎが０．５の場合が示されている。つまり、各視野が０．５倍された結果、どの被写体点も２回以上重複されて撮像されることとなる。

Ｎ＝０．５の関係があるときには、各マイクロレンズ像を１／Ｎ倍、即ち２倍にすることにより、仮想結像面Ｓの像を再現できることになる。像縮小率Ｎを、撮像後のマイクロレンズ像群から求めるためには、上式（４）、（６）の関係から、下式９が導かれることを利用する。

マイクロレンズ２４４のピッチＬ_ＭＬは既知であるため、同一被写体のずれ量Δを画像から求めれば、像縮小率Ｎも求まることになる。

また、再構成部４３は、２次元画像を再構成するために画像合成する場合、まず、撮像素子２０が出力する複眼ＲＡＷ画像に対して、Ｂ、Ｇ、Ｒの信号バランスを調整するホワイトバランス処理を行う。続いて、再構成部４３は、例えばＲ画素の位置にはＧ、Ｂの信号情報がないため、その周りに配置された画素を参照し、それらから推測してＧ、Ｂ信号を作成するデモザイキング処理を行う。簡単には周囲の画素から平均値をとる処理を行えば良いが、必要に応じて参照する画素範囲を広げるなど、様々な方法をとることが可能である。そして、再構成部４３は、これらの処理をＧ画素、Ｂ画素に対しても同様に行う。

続いて、再構成部４３は、図３に示されたような１点の被写体点Ｐに対応する像点ｐ１、ｐ２、ｐ３・・・、ｐｎに対し、撮像素子２０が撮像した画素信号値Ｓｐ１、Ｓｐ２、Ｓｐ３・・・、Ｓｐｎを、合成後信号Ｓ’ｐとｎ対１に対応付ける。対応付けは、上述したように像点ずれΔの関係や視野の重複関係を画像から検出することにより行う。そして、再構成部４３は、以下に示す２次元画像合成方法によって合成を行い、２次元画像を得る。

２次元画像の合成には、画素信号値Ｓｐ１、Ｓｐ２、Ｓｐ３・・・、Ｓｐｎを用いる。またその画素の持つノイズ値をＮｐ１、Ｎｐ２、Ｎｐ３・・・Ｎｐｎとする。まず、再構成部４３は、各画素信号値に対し、輝度補正処理を行う。輝度補正処理の詳細については後述するが、再構成部４３は、後述する手法によって決定した輝度補正係数ａ１、ａ２、ａ３・・・、ａｎを、画素信号値Ｓｐ１、Ｓｐ２、Ｓｐ３・・・、Ｓｐｎにそれぞれ乗ずる。続いて、再構成部４３は、乗算後の値を下式１０に示すように加算平均し、合成後信号値Ｓ’ｐとする。また、このときの合成後信号値に含まれるノイズ値は、同じように係数がかかるため、下式１１によって表される。

次に、距離画像生成部４４が距離情報を取得して距離画像を生成する方法について説明する。図３に示したように、被写体と結像光学系２２との距離Ａと、像縮小率Ｎとは幾何光学的式で決まる１対１関係がある。よって上式９によってずれ量Δが求まった場合、マイクロレンズ２４４のピッチＬ_ＭＬが設計固定値であるために像縮小率Ｎが求まる。つまり、距離Ａと像縮小率Ｎの関係式から、被写体からの距離Ａを求めることができる。

同一被写体のずれ量Δを画像から求めるには、図５（ａ）に示すように、隣接するマイクロレンズ像に映っている同一の被写体点の位置を探して確定する画像マッチング処理を用いる。このとき、図５（ｂ）に示すように、探索対象のＭＬ像に対し、最近接のＭＬ像（レベル１）は低倍（遠方の被写体）の計算に用いられ、２個先、３個先（レベル２、３）は高倍（近くの被写体）の計算に用いられる。また、図５（ｂ）に示すように、探索対象のＭＬ像に対し、例えば６０度ずつずれた周囲６方位のずれ量を求めて平均化、又は中央値を採用することにより、探索時のばらつきを減らし、精度を高めてもよい。そして、距離画像生成部４４は、上述した画像マッチング処理により、ずれ量を求める。

次に、照射部１２について詳述する。図６は、撮像システム１における撮像装置１０及び照射部１２と、被写体との位置関係例を示す図である。図６に示した例では、撮像システム１は、照射部１２が撮像装置１０の左右両側にそれぞれ１つずつ設けられている。

照射部１２がパターンを投影するために照射する光の波長領域は、例えば可視領域である。また、照射部１２は、後述するように光の波長領域が近赤外領域（波長７５０ｎｍ〜９５０ｎｍ程度）であってもよい。撮像装置１０は、照射部１２が照射する光の波長に応じて、撮像素子２０が光電変換可能な光の波長（即ちフィルタの特性）が設定される。

図６に例示したように、撮像システム１は、撮像装置１０の視野内に配置された被写体に対して投影の影（死角）ができないように複数の照射部１２が設けられてもよい。また、撮像システム１は、撮像モジュール部２側からパターンを投影し、投影画角と撮影画角がマッチングするような設計がされており、１つの照射部１２によって光を照射するように構成されてもよい。

次に、照射部１２が被写体に対してパターンを投影させた場合の効果について説明する。図７は、照射部１２が被写体に投影させるパターンの有無によって変化するＭＬ像、再構成画像及び距離画像をそれぞれ示す図である。図７（ａ）〜（ｃ）は、照射部１２が被写体にパターンを投影させた場合のＭＬ像、再構成画像及び距離画像である。また、図７（ｄ）〜（ｅ）は、照射部１２が被写体にパターンを投影させていない場合のＭＬ像、再構成画像及び距離画像である。

パターンを投影しない場合、被写体のエッジ（テクスチャが変化する部分）以外は距離検出が困難である。距離検出が困難な領域は、図７（ｃ）および図７（ｆ）において青色で示される領域である。一方、テクスチャの無い被写体も、パターンが投影されるとマッチング処理が可能となり、距離検出が可能となる。即ち、図７（ｃ）に示すように、被写体にパターンを投影させた場合、被写体全域で距離（Ｄｅｐｔｈ）が検出される。図７（ｃ）において水色で示される領域が距離検出可能となる。また、図７（ｅ）に示すように、白とびが大きいところは距離が誤検出され、被写体胴体部などのテクスチャが無い領域は距離が未検出となっている。距離が誤検出される部分は、図７（ｆ）において赤色で示される。

次に、照射部１２が照射する光によって投影するパターンについて詳述する。なお、以下の説明においては、単純化のために、「パターン」と記したものは白黒のペアを１周期とした白黒縞模様であるとするが、「パターン」はこれに限定されることなく、異なるものであってもよい。

図８は、ＭＬ画像（複数のＭＬ像）の一部と、再構成画像の一部を例示する図である。ＭＬ画像は、撮像素子２０の面上に形成される。また、再構成画像は、再構成部４３が生成する画像である。

被写体は、結像光学系２２によって仮想結像面に下式１２に示した倍率で縮小された像を形成する。

また、更にマイクロレンズアレイ２４によってＮ＝Ｄ／Ｃ倍に像は縮小される。つまり、撮像システム１の系では、被写体は、トータルＭ×Ｎ倍で縮小され撮像される。

パターン像が結像光学系２２の倍率Ｍと、マイクロレンズ２４４の倍率（縮小率）ＮとによってＭ×Ｎに縮小されたとき、その縮小された像の周波数がマイクロレンズ２４４内でナイキスト周波数の１／２以下（小さすぎない）であり、且つ１／２Ｌ_ＭＬ以上（大きすぎない）であれば、その対象ＭＬ像で画像マッチングが可能となり、距離推定も可能である。つまり、被写体が前方に配置されて倍率Ｎが大きいときも、マイクロレンズ像内でパターンがグレーにつぶれないことが必要である。また、パターンは、マッチングが行われる場合に誤検出されることを防ぐため、ランダム（縦横に非周期構造）又はランダムに近い擬似ランダム模様であることが好ましい。

図９は、投影されるパターンの適したサイズを説明するために、パターンの黒による占有率が高いＭＬ像と、パターンの黒による占有率が低いＭＬ像とを示した図である。撮像モジュール部２は、複数のマイクロレンズ２４４が設けられたマイクロレンズアレイ２４を有する複眼の撮像モジュールである。

例えば、撮像素子２０上に形成された像周波数をｆｐ（１／ｍｍ）とすると、パターンがＭＬ像より大きすぎてつぶれてしまうことを防ぐため、パターン像周波数の下限（パターンサイズ１／ｆｐの上限）は、下式１３を満たすことが好ましい。

ただし、Ｌ_ＭＬは、マイクロレンズ２４４のピッチ（ｍｍ）である。

また、パターンが小さすぎて解像できないことを防ぐため、パターン像周波数の上限（パターンサイズ１／ｆｐの下限）は、下式１４を満たすことが好ましい。

ただし、ｄｐｉｘは、画素サイズ（ｍｍ）である。

上式１３、１４によって示される上限及び下限を満たすサイズのパターンを投影する場合、照射部１２がどのように光を照射するかについて以下に説明する。被写体に投影されたパターンの周波数をＦｐｔ（１／ｍｍ）とすると、被写体上に投影されたパターンＦｐｔ（１／ｍｍ）と撮像素子２０上に形成された像周波数ｆｐ（１／ｍｍ）の関係は、下式１５、１６を満たせば、対象マイクロレンズ像で測距可能となる。

つまり、上式１６は、下式１７のようにも表される。

そして、対象となる画像を結像する全てのマイクロレンズ２４４が上記条件を満たせば、対象となる画像（画面）全域で測距可能となる条件を満たす。

図１０は、撮像システム１に適したパターンの形状を模式的に示す図である。投影されたパターン（テクスチャ）がマイクロレンズ像の中心を結ぶ探索軸（エピポーラ線）７００に対して平行である場合、ずれ量を確定することができない。よって、パターンは、探索軸７００の間に傾くように投影されることが好ましい。つまり、照射部１２は、パターンに異方性がある場合、探索軸に対してパターンの方向が平行にならないように照射を行う。

次に、パターンの具体例について説明する。例えば撮像システム１は、倍率Ｎが１／２〜１／１０倍程度に縮小するものであるとする。この場合、１／２〜１／１０のどの倍率で縮小されてもテクスチャ（パターン）が検出されるように、パターンは、複数の周期を組み合わせた形状であることが好ましい。

図１１は、異なる周期のランダムパターンを組み合わせたパターンを例示する図である。パターンは、例えば図１１に示すように、ある周期のランダムパターンと、その１／２及び１／４の周期のランダムパターンとを組み合わせたパターンが適する。

また、図１２〜１４に示したように、四角形、三角形、又は六角形などを、周期を組み合わせて配列させたパターンなども、どの倍率で縮小しても同じ周期の白黒パターン（枠囲いしたパターン）が見えることから、撮像システム１に適する。つまり、照射部１２は、フラクタル（自己相似）なパターンを投影する光を照射してもよい。

また、照射部１２がプロジェクタなどのように投影するパターンのサイズ自体を変更可能である場合、撮像モジュール部２が撮像した画像に基づいて、パターンサイズを変えるように照射部１２が照射する光を制御部５０が制御してもよい。

次に、判定部５２について説明する。図１５は、被写体のテクスチャに応じて動作する撮像システム１の動作例を示すフローチャートである。ステップ１００（Ｓ１００）において、制御部５０は、信号処理部４２を介してＰ（Ｐはフレーム数を示す整数）フレーム目の複数のＭＬ像（複眼画像）を取得する。

ステップ１０２（Ｓ１０２）において、制御部５０は、予め定められたＱ（Ｑはフレーム数により周期を示す整数）フレーム毎に、被写体からの光によって距離画像生成部４４が距離情報を取得可能であるか否か（距離画像を生成可能であるか否か）を判定部５２に判定させる。具体的には、制御部５０は、演算（Ｐ ｍｏｄ Ｑ）の結果が０であるか否かを判定する。制御部５０は、演算結果が０でない場合（Ｓ１０２：Ｎｏ）には、ＩＳＰ４（距離画像生成部４４）にＳ１０４の処理を実行させる。また、制御部５０は、演算結果が０である場合（Ｓ１０２：Ｙｅｓ）には、Ｓ１１０の処理に進む。

ステップ１０４（Ｓ１０４）において、ＩＳＰ４（距離画像生成部４４）は、例えばＰフレーム目の複数のＭＬ像（複眼画像）を用いてマッチング処理を行う。

ステップ１０６（Ｓ１０６）において、ＩＳＰ４（距離画像生成部４４）は、距離画像を出力する。

ステップ１０８（Ｓ１０８）において、制御部５０は、フレーム数を計数するためにＰをインクリメント（Ｐ＋１）する。

ステップ１１０（Ｓ１１０）において、制御部５０は、照射部１２を制御し、照射部１２によるパターンを投影させる光の照射をオフにする。

ステップ１１２（Ｓ１１２）において、判定部５２は、被写体のテクスチャの有無を判定する。具体的には、判定部５２は、例えばＰフレーム目の複数のＭＬ像（複眼画像）を用いて被写体のテクスチャの有無を閾値判定することにより、距離画像生成部４４が距離情報を取得可能であるか否か（距離画像を生成可能であるか否か）を判定する。距離画像生成部４４が距離情報を取得可能であると判定部５２が判定した場合（Ｓ１１２：テクスチャ有）には、制御部５０は、ＩＳＰ４（距離画像生成部４４）にＳ１０４の処理を実行させる。また、距離画像生成部４４が距離情報を取得可能でないと判定部５２が判定した場合（Ｓ１１２：テクスチャ無（少））には、制御部５０は、Ｓ１１４の処理に進む。

ステップ１１４（Ｓ１１４）において、制御部５０は、照射部１２を制御し、照射部１２によるパターンを投影させる光の照射をオンにし、Ｓ１０８（又はＳ１００）の処理に進む。

また、撮像システム１は、まず最初に照射部１２によるパターンを投影させる光の照射をオフにして、可視画像を取得し、テクスチャ判定（閾値判定）を行ってもよい。そして、撮像システム１は、被写体のテクスチャが少ない（所定の閾値以下）場合、パターンを投影させる光を照射し、そのパターンの反射光を用いて距離画像を出力する。また、撮像システム１は、被写体にテクスチャが十分ある場合には、パターンを投影させる光を照射せずに距離画像を出力する。

また、撮像システム１は、パターンを投影させる光を照射した場合の読取り画像から判断したパターンのコントラストにより、撮像素子２０のゲインを調整するように構成されてもよいし、照射部１２が照射する光の光強度にオートゲインをかけるように構成されてもよい。また、制御部５０は、照射部１２を単に間欠動作させるようにオン・オフを制御してもよい。

このように、撮像システム１に判定部５２が設けられている場合、環境の明るさや被写体の色等の使用シーンによって照射部１２のＯＮ／ＯＦＦを判断することができる。よって、撮像システム１は、照射部１２が光を照射（ＯＮ）し続ける場合（完全アクティブデバイスである場合）より、低消費電力化を図ることができる。また、撮像システム１は、光源のない完全パッシブデバイスに比べて、被写体のテクスチャや照明の影響などのシーンへの依存性を減らして、距離情報を取得できる場合が増加する。

（第１変形例）
次に、撮像システム１の第１変形例について説明する。図１６は、撮像システム１の第１変形例（撮像モジュール部２ａの要部）の概要を示す図である。図１６（ａ）は、撮像モジュール部２ａの部分断面を示している。図１６（ｂ）は、図１６（ａ）におけるカラーフィルタ２０４ａ近傍を拡大して示している。図１６（ｃ）は、カラーフィルタ２０４ａの配列例を示している。なお、図１６に示した撮像モジュール部２ａの構成部分のうち、撮像モジュール部２（図２等）に示した構成部分と実質的に同じものには、同一の符号が付してある。

撮像システム１の第１変形例では、図示しない照射部１２が例えば７５０ｎｍ〜９００ｎｍ程度の波長の近赤外光域の光（ＮＩＲ：不可視光線）を照射することによって近赤外光域のパターンを被写体に投影し、撮像モジュール部２ａが近赤外領域のパターンを読取る。撮像素子２０ａは、Ｒ、Ｇ、Ｂ、及びＮＩＲのフィルタのいずれかが画素毎に設けられたカラーフィルタ２０４ａを有する。

撮像素子２０ａがＮＩＲのフィルタを設けられた画素のみから出力を行った場合、画像取込部４１が取り込む画像は、被写体に投影された近赤外領域のパターンの画像となる。そして、距離画像生成部４４は、近赤外領域のパターンの画像を用いて距離画像を生成する。また、再構成部４３は、Ｒ、Ｇ、Ｂのフィルタを設けられた各画素のデモザイクを行い、ＮＩＲのフィルタを設けられた画素に対しては周辺画素を用いて補間を行うことにより、可視画像を再構成する。このとき、可視画像には、可視領域の光のみ読み取られ、近赤外領域のパターンが読取られていない。つまり、撮像システム１の第１変形例においては、人の眼で見た被写体の画像をそのまま撮像することができる。

（第２変形例）
次に、撮像システム１の第２変形例について説明する。図１７は、撮像システム１の第２変形例（撮像モジュール部２ｂの要部）の概要を示す図である。図１７（ａ）は、撮像モジュール部２ｂの部分断面を示している。図１７（ｂ）は、図１７（ａ）における画素２０２近傍を拡大して示している。なお、図１７に示した撮像モジュール部２ｂの構成部分のうち、撮像モジュール部２（図２等）に示した構成部分と実質的に同じものには、同一の符号が付してある。

撮像システム１の第２変形例では、図示しない照射部１２が例えば７５０ｎｍ〜９００ｎｍ程度の波長の近赤外光域の光（ＮＩＲ）を照射することによって近赤外光域のパターンを被写体に投影し、撮像モジュール部２ｂが近赤外領域のパターンを読取る。マイクロレンズアレイ２４ａは、Ｒ、Ｇ、Ｂ、及びＮＩＲのフィルタのいずれかがマイクロレンズ２４４毎に設けられたマイクロレンズカラーフィルタ（ＭＬカラーフィルタ）２４６を有する。撮像システム１の第２変形例は、ＮＩＲのフィルタを設けられたマイクロレンズ２４４によって結像された画像に対してパターンマッチングを行って距離画像を生成し、Ｒ、Ｇ、Ｂのフィルタを設けられたマイクロレンズ２４４によって結像された画像を用いて可視画像を再構成することができる。

このように、実施形態にかかる撮像システムによれば、被写体から反射され、結像光学系及びマイクロレンズによって撮像素子上に縮小されるパターンが含む像が、マイクロレンズ毎に撮像素子上に結像させる像の配列ピッチより小さく、画素の２倍よりも大きくなるように、照射部を制御するので、設置の位置ずれによる精度の悪化を生じさせることなく、且つ被写体に依らずに、被写体までの奥行き方向の距離情報を取得することができる。

つまり、撮像システム１は、テクスチャの無い被写体に対しても距離推定可能である。また、撮像システム１は、カメラが１台、即ち単センサ（撮像素子２０）であり、その基線長がカメラ間ではなく、微細加工技術で精密に形成された隣接マイクロレンズ間の間隔で決まるため、カメラ間や光源との位置合わせの必要がなく、位置ずれによる精度悪化を防ぐことができる。また、撮像システム１は、照射部１２を間欠又は周期的に動作させることにより、低消費電力化を実現することができる。

また、撮像システム１は、何らかのテクスチャが被写体に投影されてさえいればよいため、複数台が同時に使用されても干渉が起こらない。このように、撮像システム１は、可視画像及び距離画像を同時に単一の装置で得ることも可能であり、小型化、低消費電力化を実現し、被写体依存性を減らして測距可能率を高めることを可能にする。

撮像システム１は、小型化によって各種機器への埋め込み実装がより簡易となり、携帯情報端末や家電製品等の製品自体の小型化へ寄与する。また、撮像システム１は、各種産業用ロボット、ロボットアーム、内視鏡への搭載など、低消費電力で且つ小型・軽量で組み込みを行わなければならないようなマシンビジョン領域への応用を可能にする。

また、本発明のいくつかの実施形態を複数の組み合わせによって説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 撮像システム
２、２ａ、２ｂ 撮像モジュール部
４ ＩＳＰ
１０ 撮像装置
１２ 照射部
２０、２０ａ 撮像素子
２２ 結像光学系
２４、２４ａ マイクロレンズアレイ
２６ 撮像回路
４０ モジュールＩ／Ｆ
４１ 画像取込部
４２ 信号処理部
４３ 再構成部
４４ 距離画像生成部
４５ ドライバＩ／Ｆ
５０ 制御部
５２ 判定部
２００ 半導体基板
２０２ 画素
２０４、２０４ａ カラーフィルタ
２０６ 画素集光用マイクロレンズ
２４０ 可視光透過基板
２４２ マイクロレンズ部
２４４ マイクロレンズ
２４６ マイクロレンズカラーフィルタ
２７６ 処理駆動チップ

Claims (6)

1. 複数の画素ブロックを有し、前記画素ブロックは光電変換を行う複数の画素を含む、撮像素子と、
   被写体からの光を仮想結像面に結像させる結像レンズと、
   前記撮像素子と前記結像レンズの間に設けられ、複数のマイクロレンズが所定のピッチで配列され、前記複数のマイクロレンズそれぞれは前記画素ブロックと対応する、マイクロレンズアレイと、
   前記被写体に対してパターンを投影する光を照射する照射部と、
   前記撮像素子が光電変換した信号に基づいて、前記被写体までの奥行き方向の距離情報を取得する距離情報取得部と、
   前記撮像素子上に形成される前記パターンが下式（１）、（２）を満たすように前記照射部を制御する制御部と
   を有する撮像システム。
   ｆｐ＝Ｆｐｔ×Ｍ×Ｎ ・・・（１）
   １／Ｌ_ＭＬ ＜ Ｆｐｔ×Ｍ×Ｎ ＜ １／２ｄｐｉｘ ・・・（２）
   ただし、ｆｐ：撮像素子上に形成された像周波数、Ｆｐｔ：パターンの周波数、Ｍ：結像レンズの倍率、Ｎ：マイクロレンズの倍率、Ｌ_ＭＬ：マイクロレンズ間の距離、ｄｐｉｘ：画素サイズ。
2. 前記照射部は、
   複数の異なる周期が組み合わされた周期的なパターン、又は複数の異なる周期のランダムパターンを組み合わせたパターンを投影する光を照射する
   請求項１に記載の撮像システム。
3. 前記照射部は、
   フラクタルなパターンを投影する光を照射する
   請求項１に記載の撮像システム。
4. 前記制御部は、
   前記照射部が照射する光のオン、オフを切替えるように制御する
   請求項１に記載の撮像システム。
5. 前記照射部が照射する光がオフである場合に、前記撮像素子が光電変換した信号に基づいて、前記距離情報取得部が前記距離情報を取得可能であるか否かを判定する判定部をさらに有し、
   前記制御部は、
   前記距離情報取得部が前記距離情報を取得可能でないと前記判定部が判定した場合に、前記照射部が照射する光をオンに切替えるように制御する
   請求項４に記載の撮像システム。
6. 前記照射部は、
   前記パターンを投影する不可視光線を照射し、
   前記撮像素子は、
   前記被写体が反射した不可視光線を検出可能に透過させるフィルタを介して、前記画素のいずれかが不可視光線の光電変換を行う
   請求項１に記載の撮像システム。