JP2011095027A - 撮像装置 - Google Patents

Abstract

【課題】光路長を長く取る必要がなく、スペース効率を向上でき、搭載機器の低背化、小型化を図ることが可能で、簡易な構成による被写体距離推定を行うことが可能な撮像装置を提供する。
【解決手段】撮像レンズ１１と、撮像レンズ１１を通過した被写体像を撮像する画素を二次元配列した撮像素子１３と、撮像レンズ１１と撮像素子１３との間に配され、画素に一対一対応で複数種類の大きさの開口を設けた遮光マスク１３と、撮像素子１２から得られた画像データを処理・解析する距離推定部１５と、を有し、距離推定部１５は、撮像素子１２上の近接する画素で前記対応する開口の大きさが異なるもの同士の信号の比較をして距離を推定する。
【選択図】図１

Description

本発明は、被写体距離推定機能を有する撮像装置に関するものである。

従来、対象物までの距離を計測し、距離に応じた警告を行うシステムがいくつか提案されている。
そのうち、カメラ画像のみを用いて被写体までの距離を推定するパッシブ方式の測距技術として、いくつかの手法が知られている（たとえば特許文献１参照）。

その一つに、ステレオ法が挙げられる。
これは対象となる被写体を複数のカメラで撮像し、カメラ間距離（基線長）と画像上での差異（視差）を用い、三角測距の原理で距離を推定するものである。
この手法を用いたシステムとしては、たとえば車の前方監視用ステレオカメラが知られており、前方障害物等の検出に利用されている。

また、その他の手法の一つにＤＦＤ（Depth from Defocus）法が挙げられる。
これは画像のボケ量と被写体距離との相関から距離を推定するものである。
この手法を用いたシステムとしては、たとえば顕微鏡を使った３次元画像生成などに応用されている。

ＤＦＤ法においては、単一の画像から距離を推定することは困難なため、ボケ量の異なる複数枚の画像を用いる方法が一般的である。
ボケ量の異なる複数枚の画像を得るために、特許文献１ではプリズムを使用した３ＣＣＤ構成としている。
また、特許文献２においても、同様にハーフミラーを使用した２ＣＣＤ構成としている。

特許第２９６３９９０号 特許第３３５６２２９号

しかしながら、ステレオ法により十分な距離測定範囲を確保するためには基線長を長くする必要があり、システムの小型化が困難である。

また、ＤＦＤにおいて上述のようにプリズムやハーフミラーを使用した構成では、特に低背化が困難であり、搭載場所が限られる小型カメラ、特に携帯電話用カメラや車載用カメラなどには不向きである。
また、焦点距離の短い広角カメラにおいてはプリズムやハーフミラーの配置そのものが困難となる。
さらに、ステレオ法においてもＤＦＤ法においても、撮像画素単位で距離推定を行うためには画像処理にかかる演算量が膨大になり、システムが複雑化してしまい、また低コスト化が困難であるという不利益がある。


プリズムやハーフミラーで分光すると撮像系の感度低下につながるので、特に夜間など暗い状況下でノイズが発生しやすくなる問題がある。
また、通常のＤＦＤ法においては距離推定にかかる演算量が膨大になり、システムの小型化や低コスト化に問題がある。

先行技術（たとえば特許文献１）では、光学系を介して収束する光線をプリズム等によって複数に分離して、分離した光線から互いに相違する合焦位置の画像を撮像素子によってそれぞれ取り込み、得られた画像に含まれるボケを比較・解析し、その量から合焦位置を求め、被写体の距離を演算する手法が提案されている。
しかしながら、この手法では光線を分離した後の光学系および撮像素子が複数必要となるため、そのための機構・スペースおよびコストを要する。
さらにより広い距離範囲の被写体距離を計測するには撮像素子の位置を大きく異ならせる必要があり、光学系の光路長を長くせざるを得ず、さらにスペース効率は低下する。

本発明は、光路長を長く取る必要がなく、スペース効率を向上でき、搭載機器の低背化、小型化を図ることが可能で、簡易な構成による被写体距離推定を行うことが可能な撮像装置を提供することが可能である。

本発明の第１の観点の撮像装置は、撮像レンズと、前記撮像レンズを通過した被写体像を撮像する画素を二次元配列した撮像素子と、前記撮像レンズと前記撮像素子との間に配され、前記画素に一対一対応で複数種類の大きさの開口を設けた遮光マスクと、前記撮像素子から得られた画像データを処理・解析する距離推定部と、を有し、前記距離推定部は、前記撮像素子上の近接する画素で前記対応する開口の大きさが異なるもの同士の信号の比較をして距離を推定する。

好適には、前記遮光マスクは、前記複数種類の大きさの開口が規則的に配列されている。

好適には、前記遮光マスクは、前記複数種類の大きさの開口の全ての種類が任意の大きさの単位配列内に収まるように配列されている。

好適には、前記撮像レンズは、前記単位配列と略一致する光束の広がりをもつ。

好適には、前記距離推定部は、画素加算部を有し、当該画素加算部は、前記単位配列内の対応する前記画素の出力を加算して画像を形成する。

好適には、前記距離推定部は、前記単位配列内の対応する前記画素の出力を前記推定した被写体距離に応じて信号強度を調整して加算する。

本発明によれば、像光路長を長く取る必要がなく、スペース効率を向上でき、搭載機器の低背化、小型化を図ることができ、簡易な構成による被写体距離推定を行うことができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 基準距離の光束に合わせて、開口径を設定したマスクの断面を示す図である。 マスク付近での異なる開口径を持つ２つの開口を有するマスクの断面を示す図である。 基準距離、遠側被写体、近側被写体に対応する光線図と光量を表すグラフを示す図である。 本実施形態の撮像光学系の基本構成を示す図である。 本実施形態のマスク部分の構成を示す図である。 本実施形態におけるマスク形状を示す図である。 本実施形態において、撮像素子上でのマスクパターンの配列を示す図である。 本実施形態に係る距離推定部の基本的な処理を示すフローチャートである。 本実施形態において、所定のルールの一例であり、被写体距離Ｚと輝度比Ｒの関係を示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。

本撮像装置１０は、図１に示すように、撮像レンズ系１１、遮光マスク１２、固体撮像素子（以下、単に撮像素子という）１３、アナログデジタル（Ａ／Ｄ）変換部１４、距離推定部１５、画素加算部１６、出力画像処理部１７、およびメモリ１８を有する。

撮像レンズ１１は、被写体ＯＢＪの像を、マスク１２を通して撮像素子１３の撮像面（結像面）に結像する。

遮光マスク１２は、撮像レンズ１１と撮像素子１３との間に配され、撮像素子１３の画素に一対一対応で複数種類の大きさの開口が形成されている。
遮光マスク１２は、たとえば複数種類の大きさの開口が規則的に配列されている。
遮光マスク１２は、複数種類の大きさの開口の全ての種類が任意の大きさの単位配列、たとえば正方配列内に収まるように配列されている。
この遮光マスク１２の開口部の具体的な形成例についてはその原理とともに、後で詳述する。

本実施形態において、撮像レンズ１１は、上記した遮光マスク１２の単位配列、本実施形態では正方配列と略一致する光束の広がりをもつように構成されている。

撮像素子１３は、ＣＣＤ（CCD：Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-oxide Semiconductor）センサにより形成され、複数の画素がマトリクス状に配列されている。
撮像素子１３は、撮像レンズ１１、遮光マスク１２を透過した光に応じた画像信号を生成し、生成した画像信号をＡ／Ｄ変換部１４に出力する。
撮像素子１３は、たとえば相関二重サンプリング（ＣＤＳ）処理やゲインコントロール等の処理を施した画像信号をＡ／Ｄ変換部１４に出力する。

Ａ／Ｄ変換部１４は、撮像素子１３によるアナログの画像信号をデジタルの画像信号に変換して距離推定部１５に出力する。たとえば撮像素子１３がＣＭＯＳセンサの場合は、Ａ／Ｄ変換部１４は撮像素子１３と同一素子上に形成される。

距離推定部１５は、Ａ／Ｄ変換部１４を介した撮像素子１３から得られた画像データを処理・解析する機能を有する。
距離推定部１５は、撮像素子１３上の近接する画素で遮光マスク１２の対応する開口の大きさが異なるもの同士の信号の比較をして距離を推定する。

画素加算部１６は、距離推定部１５の推定結果の出力から単位配列内の対応する画素の出力を加算して画像を形成する。
画素加算部１６は、単位配列内の対応する前記画素の出力を推定した被写体距離に応じて信号強度を調整して加算する。
距離推定部１５および画素加算部１６の具体的な処理については後で説明する。

出力画像処理部１７は、画素加算部１６の出力画像に対して、通常のカメラ画像処理と同様に、ノイズ除去やガンマ補正、エッジ強調などの処理を経て、出力デバイスに適した画像フォーマットに変換する。

ここで、本実施形態に係る撮像装置１０における遮光マスクの基本的な構成および機能を、図２〜図４に関連付けて説明する。

図２は、基準距離の光束に合わせて、開口径を設定したマスクの断面を示す図である。
図３は、マスク付近での異なる開口径を持つ２つの開口を有するマスクの断面を示す図である。
図４（Ａ）〜（Ｃ）は、基準距離、遠側被写体、近側被写体に対応する光線図と光量を表すグラフを示す図である。

撮像光学系では、一般的に被写体の位置する距離が変化すると結像位置及び光線角度が変化することが知られている。
そのため、図２のように像面２１に合焦する光線の有効径と一致する開口径を持つマスク２２を像面の前側に配置すれば、被写体距離の変化により像面２１に入射する光量が変化する。
言い換えれば、光量の変化から被写体距離を推定することが可能となる。

しかしながら、撮像レンズに入射する光線の光量が未知であるため、光量の絶対値からでは距離が推定できない上に、前側にピント位置が移動する場合はマスク２２が光束を遮断しないために光量が変化しない。

そこで、図３に示すように、マスク２２上に異なる大きさを持つ２つ以上の開口２２１，２２２を形成し、開口２２１，２２２から出射する光線をそれぞれ撮像素子１３で受光する。
光量の絶対値は被写体や撮影条件で変化するが、同じ被写体距離であれば、１つの光束における開口の組の相対的な光量は変化しないため、この相対値から距離を推定することが可能である。
また、光束の主光線付近も遮光することにより、前側にピント位置が移動する場合にも光量が変化する。

より具体的な例である図４において、図４（Ａ）は基準距離での、図４（Ｂ)は遠側被写体での、図４（Ｃ）は近側被写体での光線図と光量を表すグラフを示している。
実線の矢印は入射光束を表し、破線の矢印は開口径を通過する光束を示す。入射光束の大きさおよび開口通過光束の大きさは距離により変化することがわかる。
以上より、各光束から取得した２つ以上の信号を比較することにより、被写体距離を推定することができる。

以下、本実施形態に係る遮光マスク１２の具体的な構成例について、図５〜図８に関連付けて説明する。
図５は、本実施形態の撮像光学系の基本構成を示す図である。
図６は、本実施形態のマスク部分の構成を示す図である。
図７は、本実施形態におけるマスク形状を示す図である。
図８は、本実施形態において、撮像素子上でのマスクパターンの配列を示す図である。

図５は、撮像光学系の基本構成を示している。実施するための最良の形態について説明する。
被写体ＯＢＪから発した光線は撮像レンズ１１で集光され、遮光マスク１２を通過して撮像素子１３に入射する。
遮光マスク１２により、結像関係が変化することはないため、光学全長は通常の撮像レンズと変わらない。
また光軸ＯＸと垂直の方向においても、遮光マスク１２が撮像素子１３よりも大きくなることはないため、通常の撮像装置と同じ大きさとなる。

図６には、撮像素子１３前面の簡略的な構成を示している。
遮光マスク１２は、前述したように、隣接する画素に対応するマスクに異なる径の開口１２１，１２２が形成されている。
遮光マスク１２を通過した光線はマイクロレンズ１３１で集光され、カラーフィルタおよびフォトダイオード（光電変換素子）１３２に入射する。
距離推定に寄与しない余分な光束を遮断するため、遮光部材１２３をマスク前面に設けることが望ましい。

図７は、単位配列ＵＮＴである正方配列のマスク形状を表している。
１つの光束と１組のマスクパターンの領域はおよそ一致する必要があるため、回転対称の撮像レンズ系を用いるならば２×２や３×３などの正方形のエリアで１組のマスクパターンが形成されることが望ましい。
図７の例では、２×２の正方配列において、大きさの異なる円形上のマスクパターンＡ，Ｂ，Ｃ，Ｄが形成されている。
具体的には、図中の左上の矩形のマスク領域ＬＵ１にはパターンＡの開口１２１が形成され、右上のマスク領域ＲＵ１にはパターンＤの開口１２３が形成され、左下のマスク領域ＬＢ１にはパターンＣの開口１２２が形成され、右下のマスク領域ＲＢ１にはパターンＢの開口１２４が形成されている。
開口の径は、Ａ＞Ｂ＞Ｃ＞Ｄとなっている。

１組のマスクパターンに用いる画素数が多いほど距離推定の精度は良好となるが、画像としての出力画素が減ってしまう。
本実施形態ではマスクの開口を円形状としているが、本発明において開口の形状は必ずしも円形である必要はない。
本発明に用いる撮像レンズは、１組のマスクパターンの領域にわたって、光束が広がるように設計される。

マスクパターンは図８のように配列され、開口の一つ一つが撮像素子１３（センサ）上の各画素に対応する。

撮像単位となる１光束に対応するエリアの信号を加算することで、光束分割による光量低下を補うことができる。
その際、距離に応じてマスクでの光量損失が把握可能なため、撮像素子１３からの出力信号強度を距離により調整することで、撮像単位ごとに適正な画像出力を得ることができる。

次に、上記構成による動作を説明する。
図９は、本実施形態に係る距離推定部１５の基本的な処理を示すフローチャートである。
図１０は、本実施形態において、所定のルールの一例であり、被写体距離Ｚと輝度比Ｒの関係を示す図である。

撮像レンズ１１、遮光マスク１２を通過した光線は撮像素子１３に入射し、電気信号に変換される。電気信号はアナログ信号であり、ＣＤＳ処理、ＡＧＣ（自動ゲインコントロール）処理を経てＡ／Ｄ変換部１４によりデジタル信号に変換される。
距離推定部１５では、このデジタル信号から距離推定演算を行う。

図９は、距離推定部１５における処理フローである。
距離推定部１５は、デジタル信号に変換された各マスクパターンに対応した画素データを取得し（ＳＴ１）、この画像データから所定のルールに基づいて輝度比Ｒを算出する（ＳＴ２）。
算出方法は、たとえばパターンＡの画素データをパターンＢの画素データで除算しても良いし、４つのパターンを使って算出しても良い。
輝度比Ｒが算出されると、所定のルールに基づき被写体距離Ｚの推定を行う（ＳＴ３）。
たとえば、ＺをＲの関数として推定演算をおこなっても良いし、Ｒをパラメータとしたルックアップテーブルの形で推定しても良い。
図１０は、所定のルールの一例であり、被写体距離Ｚと輝度比Ｒの関係を示している。ただし、この図が本発明を制限するものではない。

次に、画素加算部１６では、一組のマスクパターンにおける画素データを所定の割合で加算する。
これは、一組のマスクパターンにより分割された光束を再度集めることに相当し、感度の点で有利となるだけでなく、加算する割合を推定した被写体距離に応じて調整すれば、被写体距離による感度の補正を行うことも可能である。
出力画像処理部１７では、通常のカメラ画像処理と同様に、ノイズ除去やガンマ補正、エッジ強調などの処理を経て、出力デバイスに適した画像フォーマットに変換される。

本実施形態によれば、以下の効果を得ることができる。
通常の撮像装置と同様、小型の撮像レンズを用い、少ない演算量で距離推定を行うことが可能となる。
その結果、シンプルでコンパクトな被写体距離推定機能を有する撮像装置を実現することができる。

１０・・・撮像装置、１１・・・撮像レンズ系、１２・・・遮光マスク、１３・・・固体撮像素子、１４・・・アナログデジタル（Ａ／Ｄ）変換部、１５・・・離推定部、１６・・・画素加算部、１７・・・出力画像処理部、１８・・・メモリ。

Claims (6)

1. 撮像レンズと、
   前記撮像レンズを通過した被写体像を撮像する画素を二次元配列した撮像素子と、
   前記撮像レンズと前記撮像素子との間に配され、前記画素に一対一対応で複数種類の大きさの開口を設けた遮光マスクと、
   前記撮像素子から得られた画像データを処理・解析する距離推定部と、を有し、
   前記距離推定部は、
   前記撮像素子上の近接する画素で前記対応する開口の大きさが異なるもの同士の信号の比較をして距離を推定する
   撮像装置。
2. 前記遮光マスクは、
   前記複数種類の大きさの開口が規則的に配列されている
   請求項１に記載の撮像装置。
3. 前記遮光マスクは、
   前記複数種類の大きさの開口の全ての種類が任意の大きさの単位配列内に収まるように配列されている
   請求項１または２に記載の撮像装置。
4. 前記撮像レンズは、前記単位配列と略一致する光束の広がりをもつ
   請求項３に記載の撮像装置。
5. 前記距離推定部は、
   画素加算部を有し、当該画素加算部は、前記単位配列内の対応する前記画素の出力を加算して画像を形成する
   請求項１から４のいずれか一に記載の撮像装置。
6. 前記距離推定部は、
   前記単位配列内の対応する前記画素の出力を前記推定した被写体距離に応じて信号強度を調整して加算する
   請求項５に記載の撮像装置。

Images