JP2009053011A

JP2009053011A - 撮像装置

Info

Publication number: JP2009053011A
Application number: JP2007219507A
Authority: JP
Inventors: Ichiro Oyama; 一朗大山; Norihiro Imamura; 典広今村
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2007-08-27
Filing date: 2007-08-27
Publication date: 2009-03-12

Abstract

【課題】撮像装置の温度が変化した際に基線長が変化し正確な測距が難しくなる。この基線長の変化量は、量産した場合、個体の実装状態によって度合がばらつくため、高精度な測距温度補正が困難という課題があった。
【解決手段】複数のレンズを一体化したレンズアレイと、前記レンズアレイの各レンズに１対１に対応する複数の撮像領域と、前記レンズアレイを保持する筐体とを備え、前記レンズアレイは、前記筐体に対し、所定の一点で固定されている。また、前記レンズアレイは、前記筐体に対し、前記所定の一点を中心にして熱膨張による変形可能に保持されている。
【選択図】図２

Description

本発明は、車載、監視、医療、ロボット、ゲーム、ＣＧ画像作成、立体画像用入力用途などに用いられる、複数の視点の異なる画像から対象物までの距離または形状を求めることのできる撮像装置に関するものである。

近年、物体の三次元座標の測定及びその物体の映像表示の要求が高まっており、且つその撮像装置の小型化の要求も高まっている。例えば自動車の視界支援において撮像装置が利用され、自動車の周囲の状況を様々な視点（自由視点）から観察できることで、より正確な状況認識が可能となり、安全な運転の実現が可能となる。また、自動車の視界支援において、周囲の物体と自動車との距離情報を表示することにより、周囲の物体との衝突を回避し、安全な運転の実現が可能となる。また、携帯電話やテレビなどの映像を入出力する装置では、映像の臨場感をより忠実に再現するために三次元映像の入出力が望まれている。これらの機能を実現するには、撮像装置から入力される物体の三次元座標およびテクスチャ情報（画像情報）が必要となり、且つ撮像装置の小型化が望まれている。撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短いレンズを用いる複眼方式の撮像装置が提案されている（たとえば、特許文献１）。複眼方式の撮像装置は、複数のレンズを略同一平面内に並べて一体化した構成にし、それぞれのレンズに対して、撮像素子上に撮像領域を設けるものである。各レンズの焦点距離は略同一に構成し、また各レンズの光軸も略平行にすることにより、複数の撮像領域に被写体像をいずれも鮮明に結像することが可能となる。複数の撮像領域に結像された被写体像の視差から、被写体像までの距離及び三次元形状も求めることができる。また、各レンズの径が小さいため、焦点距離を短くすることが可能となり、撮像装置の厚さを大幅に小さく出来る。
特開２００３−１４３４５９号公報

従来の複眼方式の撮像装置の課題を以下に説明する。

まず、複眼方式の撮像装置の構成を説明する。図４（ａ）に従来の複眼方式の撮像装置の概観図を、図４（ｂ）にその分解斜視図を示す。１０１は絞り部材であり４つの開口部１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが形成されており、これら開口部の周囲部分によって不要な外光入射を遮断している。レンズアレイ１０２は４つのレンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが一体に構成されている。ガラスまたはプラスチック等により形成される。遮光ブロック１０３は不透明な材料で形成されておりレンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄに対応する４箇所には開口部が形成されている。また絞り部材１０１、レンズアレイ１０２を保持する役割も持つ。光学フィルタ１０４はカラーフィルタや光学ローパスフィルタ、赤外線カットフィルタ等で構成される。撮像部１０５はＣＣＤやＣＭＯＳ等の撮像素子からなり、画素がアレイ状に配置されている。図５に示すように、撮像部１０５上にはレンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれに対応する撮像領域１０５ａ、１０５ｂ、１０５ｃ、１０５ｄが構成される。撮像部１０５は半導体基板１０７上に形成されており、また、この半導体基板１０７上には駆動回路や信号処理回路等が含まれる信号処理部１０６も形成されている。

次に複眼方式の撮像装置における被写体までの距離の算出方法について説明する。距離の算出は信号処理部１０６にて演算される。複眼方式の撮像装置においては、レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの光軸を略平行とし、各レンズを同じ焦点距離としており、各撮像領域１０５ａ、１０５ｂ、１０５ｃ、１０５ｄにはそれぞれ互いに微小な視差を持った被写体像が結像される。各レンズ間で光軸の平行度や焦点距離の違いが大きい場合はキャリブレーション処理等により補正を行うが、ここでは各レンズ間の光軸の平行度や焦点距離の違いは十分小さいとして説明を行う。図４の複眼方式の撮像装置は４つのレンズを持つため、例えばレンズ１０２ａとレンズ１０２ｂからの画像を用いて測距演算が可能であるし、また、レンズ１０２ａとレンズ１０２ｄからの画像を用いても測距演算が可能であり、４つのレンズの様々な組合せを用いて測距演算が可能である。複数の組合せの測距結果を平均化する等の処理により、測距精度の信頼性を向上することが可能となる。ここでは、一例としてレンズ１０１ａの画像とレンズ１０２ａの画像とを用いた場合の測距方法を説明する。図６に被写体像の決像関係を示す。レンズアレイ１０２からＤだけ離れた被写体上の点２０１の像は、レンズ１０２ａによって画像領域１０５ａ上に結像し、レンズ１０２ｂによって１０５ｂ上に結像する。レンズ１０２ａと１０２ｂとの光軸の間隔はＢｉとする。以下、レンズ間の間隔の方向を基線方向とし、レンズ間の間隔を基線長として説明する。撮像領域１０５ａにおいては、レンズ１０２ａの光軸から基線方向にＰａだけ離れた箇所に点２０１の像が結像し,画像領域１０５ｂにおいては、レンズ１０２ｂの光軸から基線方向にＰｂだけ離れた箇所に点２０１が結像する。従って、画像領域１０５ａにて結像される画像と画像領域１０５ｂにて結像される画像において、点２０１の像は基線方向にＰａ＋Ｐｂだけずれて撮像される。このため、画像領域１０５ａにて結像される画像と、画像領域１０５ｂにて結像される画像とを比較し、視差量すなわち点２０１のずれ量Ｐａ＋Ｐｂを求めることができる。そして、点２０１までの距離Ｄは、ｆをレンズ１０２ａ及びレンズ１０２ｂの焦点距離とすると以下の（数１）から求めることができる。

撮像領域１０５ａと撮像領域１０５ｂとで撮影された画像間の点２０１の視差Ｐ（画素単位）は、例えば特許文献１のようにブロックマッチング処理等の相関演算処理により求める。撮像部１０５の画素ピッチをｈとすると、（数１）のＰａ＋Ｐｂは（数２）より求められる。

次に複眼方式の撮像装置において、周囲の温度変化等に起因して撮像装置の温度が変化した場合の、測距結果の変化及び課題について説明する。図７に撮像装置の温度が変化した場合の測距結果の変化の説明図を示す。図７（ａ）に示すように、撮像装置の温度が上昇するとレンズアレイ１０２が膨張し、レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれの相対位置が変化する。図７（ａ）において、点線は膨張前、実線は膨張後のレンズアレイ１０２を表し、矢印は膨張の方向を表す。図７（ｂ）にそのときの視差を説明する図を示す。撮像装置の温度が上昇すると図７（ａ）で説明したようにレンズ間隔が増加するため基線長が増加しＢｉ＋ΔＢとなる。撮像装置の構成によっては焦点距離ｆの変化も大きい場合もあるが、ここでは焦点距離ｆの変化は非常に小さいとして無視する。撮像領域１０５ａに結像する点２０１の像は光軸から基線方向にＰａ＋ΔＰａ離れた位置となり、撮像領域１０５ｂに結像する点２０１の像は光軸から基線方向にＰｂ＋ΔＰｂ離れた位置となる。基線長は膨張前の値Ｂｉ、視差は相関演算処理により求められた値を用いると、算出される被写体距離Ｄは（数１）の関係式を用いて（数３）で表される。

つまり、被写体距離Ｄを算出する際に基線長Ｂｉを固定値とすると、撮像装置の温度によって被写体距離Ｄが変動してしまうことになる。そこで、図８（ａ）にレンズアレイ単体（実装前）で測定したときの温度と基線長Ｂｉの関係の例を示す。例えば、レンズアレイの材料が線膨張率７．０ｅ−５[１／℃]の特性を持つ樹脂であれば、２０度の温度変化により１．００１４倍に膨張するため、基線長Ｂｉが撮像素子温度２０℃で２．６ｍｍだった時、撮像素子温度４０℃では基線長Ｂｉが３．６４μｍ増加する。この図８（ａ）の関係を用いて温度に応じて（数３）の基線長Ｂｉを変化させることにより、撮像装置の温度による被写体距離Ｄの変動を減少することができるように思える。図９にレンズアレイ１０２、遮光ブロック１０３、光学フィルタ１０４の実装状態を示す。図９（ａ）は被写体側から見た図、図９（ｂ）は図９（ａ）の点線部の断面構造を示す。特許文献１には明記されていないが、一般的には、図９（ｂ）の点線部、つまりレンズアレイ１０２の周辺部と遮光ブロック１０３のレンズアレイ保持部との接点１０８は、接着剤等により固定されている。図８（ｂ）に実装状態での撮像装置の温度と基線長Ｂｉとの関係を示す。実装状態では、レンズアレイ１０２の膨張の変化は、接着剤や接している遮光ブロック１０３の保持部等の応力の影響により、図８（ａ）のレンズアレイ単体での膨張の変化と異なる。且つ、量産時には個体によって接着剤の接着状態や、レンズアレイ１０２と遮光ブロック１０３の保持部との位置関係が異なるため、図８（ｂ）の実装状態での撮像装置の温度と基線長Ｂｉとの関係が個体によって異なることになる。つまり、従来の複眼方式の撮像装置においては、撮像装置の温度が変化した場合に、基線長の補正による測距精度の高精度化が難しいという課題があった。

上記の課題を解決するために、本発明の撮像装置は、複数のレンズを一体化したレンズアレイと、前記レンズアレイの各レンズに１対１に対応する複数の撮像領域と、前記レンズアレイを保持する筐体と、を備え、前記レンズアレイは、前記筐体に対し、所定の一点で固定されている。これにより、量産時にレンズアレイの実装状態での熱膨張特性の個体ばらつきを大幅に低減することができるため、測距演算時の高精度な温度特性補償を実現することが可能となる。

本発明の撮像装置は、従来の複眼方式の撮像装置の特徴である小型かつ薄型の特徴を有すると共に、従来困難であった撮像装置の温度変化時の測距精度低下の補償を、レンズアレイの実装構成を改良することにより、高精度で実現することが可能になる。したがって、量産時も、個体によらず幅広い温度範囲での高精度な測距が可能となる。

以下、本発明の具体的な実施の形態について、図面を用いて説明する。

（実施の形態１）
図１（ａ）に本実施の形態の複眼方式の撮像装置の概観図を、図１（ｂ）にその分解斜視図を示す。１は絞り部材であり４つの開口部１ａ、１ｂ、１ｃ、１ｄが形成されており、これら開口部の周囲部分によって不要な外光入射を遮断している。レンズアレイ２は４つのレンズ２ａ、２ｂ、２ｃ、２ｄが一体に構成されている。レンズアレイ２はガラスまたはプラスチック等により形成される。遮光ブロック３は不透明な材料で形成されておりレンズ２ａ、２ｂ、２ｃ、２ｄに対応する４箇所に筒状の開口部が形成されている。また絞り部材１、レンズアレイ２を保持する保持部も持つ。光学フィルタ４はカラーフィルタや光学ローパスフィルタ、赤外線カットフィルタ等で構成される。撮像部５はＣＣＤやＣＭＯＳ等の撮像素子からなり、画素がアレイ状に設けられている。従来の複眼方式の撮像装置と同様に撮像部５上にはレンズ２ａ、２ｂ、２ｃ、２ｄのそれぞれに対応する撮像領域５ａ、５ｂ、５ｃ、５ｄが構成される。撮像部５は半導体基板７上に形成されており、また、この半導体基板７上には駆動回路や信号処理回路等が含まれる信号処理部６も形成されている。

信号処理部６で実施される被写体までの距離の算出方法については、従来の複眼方式の撮像装置と同様のため説明を省略する。

次に本発明の複眼方式の撮像装置において、周囲の温度変化等に起因して撮像装置の温度が変化した場合の、測距精度の温度特性補償について説明する。従来の複眼方式の撮像装置での説明と同様に、撮像装置の温度が変化した場合、図７における被写体距離Ｄは（数３）で表され、基線長Ｂｉが温度変化する前の値の場合は、実際の基線長の値（Ｂｉ＋ΔＢｉ）と異なるため、被写体距離Ｄの算出結果に誤差が生じる。

本実施の形態におけるレンズアレイ２、遮光ブロック３、光学フィルタ４の実装状態を図２に示す。図２（ａ）は被写体側から見た図、図２（ｂ）は図２（ａ）の点線部の断面構造を示す。レンズアレイ２と遮光ブロック３とは、所定の１点、即ちレンズアレイ２の中心部と遮光ブロック３の中心付近の保持部との接点１０のみで接着により固定されている。そして、従来の複眼方式の撮像装置で接着していたレンズアレイ２の周辺部とそれに接する遮光ブロック３の保持部との間は接着を行わない。

また、図２（ｂ）に示すように、レンズアレイ２の外側面とそれに対向する遮光ブロック３の内側面との間には隙間をあけているため、レンズアレイ２が温度変化で膨張した場合でも、レンズアレイ２の側面は遮光ブロック３の内側面に当たらない構造になっている。

さらに、レンズアレイ２の周辺部と遮光ブロック３との当接部１１では、レンズアレイ２および遮光ブロック３の各部材のエッジ部分を鈍角または丸みを持たせた形状にしている。これにより、成形時のケバ等に起因したレンズアレイ２と遮光ブロック３との当接部１１でのひっかかりや摩擦を低減できる。

このように、図２（ｂ）の構造により、レンズアレイ２と遮光ブロック３とが所定の１点で固定され、レンズアレイ２が温度変化で膨張した場合でも、レンズアレイ２の側面は遮光ブロック３の内側面に当たらない構造になっている点により、温度が変化したときの実装状態での、撮像装置の温度と基線長Ｂｉとの関係は図８（ａ）のレンズ単体での温度と基線長Ｂｉとの関係とほぼ等しくなり、且つ、量産時にも個体により撮像装置の温度と基線長Ｂｉとの関係が大きくばらつかない。したがって、図８（ａ）もしくはそれに近い関係を用いて温度に応じて（数３）の基線長Ｂｉを変化させて測距演算を実施する。

以上により、本発明の複眼方式の撮像装置は、従来の複眼方式の撮像装置の特徴である小型かつ薄型の特徴を有すると共に、従来困難であった撮像装置の温度変化時の測距精度低下の補償を、レンズアレイの実装構造を改良することにより高精度で実現することが可能になる。また、量産時も、個体によらず幅広い温度範囲での高精度な測距が可能となる。

なお、本実施の形態では、レンズアレイ２の中心部と遮光ブロック３の中心付近の保持部との接点を接着して固定したが、レンズアレイ２と遮光ブロック３の任意の1点において固定しても同様の効果が得られる。例えば、図２（ｂ）の当接部１１のいずれか1点で固定した場合でも、レンズアレイ２と遮光ブロック３との接着点が１点である点と、レンズアレイ２が温度変化で膨張した場合でも、レンズアレイ２の側面は遮光ブロック３に当たらない構造になっていることにより、温度が変化したときの実装状態での、撮像装置の温度と基線長Ｂｉとの関係は図８（ａ）のレンズ単体での温度と基線長Ｂｉとの関係とほぼ等しく、前述の接点１０のみを接着した場合とほぼ同様の効果が得られる。但し、レンズアレイ２の中心付近の保持部との接点を固定する方が、温度によりレンズアレイ２が膨張した場合に、中心付近以外での接点でのレンズアレイ２と遮光ブロック３との最大相対変位量を小さくできる為、中心付近以外での接点での摩擦の影響を低減でき、撮像装置の温度と基線長Ｂｉとの関係が図８（ａ）のレンズ単体での温度と基線長Ｂｉとの関係により近い関係になるため、望ましい。

なお、図３に示すように接点１０の部分にレンズアレイ２には凹、遮光ブロック３には凸を作ることにより、実装時にレンズアレイ２と遮光ブロック３の位置あわせ精度が向上し、かつ接着部の表面積が増加するため接着力が増加する。レンズアレイ２に凸、遮光ブロック３に凹を構成しても同様の効果が得られることは言うまでもない。また、この凸凹を形成する領域は、中心のみの円形である必要は無く、例えば図１（ｂ）の遮光ブロック３の中心付近の形状に合わせて、十字型の形状でもよい。

なお、図２（ｂ）において、レンズアレイ２の熱膨張による変形に影響を与えない程度の接着強度で当接部１１を接着しても、本実施の形態と同様の効果が得られることは言うまでも無い。この場合でも、温度が変化したときの実装状態での、撮像装置の温度と基線長Ｂｉとの関係は、図８（ａ）のレンズ単体での温度と基線長Ｂｉとの関係とほぼ等しくなり、本実施の形態と同様の効果が得られる。

なお、本実施の形態では４つのレンズを持つレンズアレイを採用した複眼方式の撮像装置での実装構造を説明したが、例えば９つなど他の数のレンズを持つレンズアレイを採用した複眼方式の撮像装置でも、レンズアレイの所定の１点で遮光ブロックと固定した実装構成により、本実施の形態と同様に温度による基線長変化の個体ばらつきを低減できることは言うまでも無い。

なお、固定する１点の範囲は、十分に固定強度を確保できる程度の狭い範囲を指し、円形である必要は無く、例えば図１（ｂ）の遮光ブロック３の中心付近の形状に合わせて、十字型の形状でもよい。また、所定の一点の固定方法としては接着に限らず、例えば、レンズアレイ２に形成した凸部を、筐体に形成した凹部に圧入して固定しても良い。

なお、本実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。

本発明は、車載、監視、医療、ロボット、ゲーム、ＣＧ画像作成、立体表示用入力用途など、対象物の距離もしくは形状の推定が必要な用途に幅広く利用することができる。

本発明の実施の形態に係る複眼方式の撮像装置の構成図本発明の実施の形態に係る複眼方式の撮像装置の構成図本発明の実施の形態に係る複眼方式の撮像装置の構成図従来の複眼方式の撮像装置の構成図従来の複眼方式の撮像装置の構成図複眼方式の撮像装置の測距原理説明図複眼方式の撮像装置の測距原理説明図温度と基線長の関係を示した図従来の複眼方式の撮像装置の構成図

符号の説明

１絞り部材
１ａ，１ｂ，１ｃ，１ｄ開口部
２レンズアレイ
２ａ，２ｂ，２ｃ，２ｄレンズ
３遮光ブロック
４光学フィルタ
５撮像部
５ａ，５ｂ，５ｃ，５ｄ撮像領域
６信号処理部
７半導体基板
１０接点
１１当接部
１０１絞り部材
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ開口部
１０２レンズアレイ
１０２ａ，１０２ｂ，１０２ｃ，１０２ｄレンズ
１０３遮光ブロック
１０４光学フィルタ
１０５撮像部
１０５ａ，１０５ｂ，１０５ｃ，１０５ｄ撮像領域
１０６信号処理部
１０７半導体基板
１０８当接部
２０１被写体上の点

Claims

複数のレンズを一体化したレンズアレイと、
前記レンズアレイの各レンズに１対１に対応する複数の撮像領域と、
前記レンズアレイを保持する筐体と、を備え、
前記レンズアレイは、前記筐体に対し、所定の一点で固定されている、撮像装置。
前記レンズアレイは、前記筐体に対し、前記所定の一点を中心にして熱膨張による変形可能に保持されている、請求項１に記載の撮像装置。
前記レンズアレイの外側面と、前記外側面に対向する前記筐体の内側面とが離間している、請求項１に記載の撮像装置。
前記レンズアレイと前記筐体とが当接する当接部のうち、前記所定の一点での接着強度が他の当接部の接着強度よりも大きい、請求項１に記載の撮像装置。
前記所定の一点が前記レンズアレイの略中心に位置する、請求項１に記載の撮像装置。
前記レンズアレイと前記筐体とは、前記所定の一点おいてそれぞれに形成された凹凸部を接合させることにより固定されている、請求項１に記載の撮像装置。
前記レンズアレイと前記筐体との当接部に位置する前記レンズアレイおよび前記筐体のエッジ部は、鈍角または丸みを持たせた形状である、請求項１に記載の撮像装置。