JP2011123078A - ステレオカメラ - Google Patents

Abstract

【課題】カメラ部をステーに取り付ける際に、カメラ部と部材の取り付け面の加工精度や組み立て精度によって再びずれが生じてしまうという問題があった。
【解決手段】一方端に第１の撮像素子、他方端に第２の撮像素子を有するステーと、第１の撮像素子が接続される第１の撮像素子用基板と、第２の撮像素子が接続される第２の撮像素子用基板と、第１の撮像素子が設置される第１の設置面と、第２の撮像素子が設置される第２の設置面と、第１の撮像素子との組み合わせにより撮像系を構成する第１のレンズと、第２の撮像素子との組み合わせにより撮像系を構成する第２のレンズと、を有し、第１の基板上に、第１の設置面、第１の撮像素子、第１のレンズの順に配置され、第２の基板上に、第２の設置面、第２の撮像素子、第２のレンズの順に配置され、第１の設置面と第２の設置面とが、実質的に同一の平面又は実質的に平行な平面に含まれるステレオカメラ。
【選択図】 図１

Description

本発明は複数の撮像素子を実装するステレオカメラに属する。

２台の撮像手段を用いて写し出した１対の画像を用いて対象物までの距離を算出し、それによって対象物の認識を行うステレオカメラ装置が、車の安全走行を支援する車載システムや不審者の侵入や異常を検知する監視システムなどに適用され始めている。

これらのシステムで利用されるステレオ画像処理は、位置的に間隔をあけて撮像された１対の撮像画像に対して三角測量技術を適用して距離を求めるものであり、これを実現する装置は１対の撮像手段と、これらの撮像手段が出力する１対の撮像画像に対して三角測量処理を行うステレオ画像処理ＬＳＩとを備えているのが一般的である。このとき、前記ステレオ画像処理ＬＳＩは、１対の画像に含まれる画素情報の中から相互の画像に共通する特徴点の画素位置と、その特徴点が１対の画像でずれている画素数を求める処理を行うことによって三角測量処理を実現する。そのため、１対の画像間には視差以外のずれがないことが理想的であり、各々の撮像手段ごとに、光学特性や信号特性のずれがないよう調整する必要がある。特に車載環境においては、たとえば前方車両や人間，障害物などの検知を行い、事前に安全に対処する、といったアプリケーション要求があるために、遠距離対象物の距離計測，認識を確実に実現する必要がある。

このようなステレオカメラにおける一対の撮像素子の相対的位置関係を長期にわたって維持するための構成として特許文献１若しくは特許文献２に記載するようなものがある。

特開平１１−３０１３６５号公報 特開２００３−３３５１８０号公報

しかしながら、上記先行技術は一対の撮像素子が正確な相対的位置関係で取り付けられたことを前提として、その位置関係を取り付け後も保持させるための技術であり、ステレオカメラを製造する際に、いかに左右の撮像素子の相対位置を正確に取り付けるかについては特段の工夫がなされていない。また、上記先行技術では左右それぞれのカメラ部において、まずレンズと撮像素子の位置関係を保ち、レンズと撮像素子を取り付ける部材のある一面に対して撮像素子の回転方向のずれが無くなるように調整して固定した後、このカメラ部を基準となる部材に取り付けていた。しかしこの方法を用いると、カメラ部の中ではある一面に対して回転方向のずれが無くなるが、カメラ部を基準となる部材に取り付ける際に、カメラ部と部材の取り付け面の加工精度や組み立て精度によって再びずれが生じてしまう。このため、取り付け面の加工精度や組み立て精度を高めることによってこのずれを小さくする必要が生じ、ステレオカメラの生産性の悪化やコスト増大につながるという問題があった。

本発明は、上記課題に鑑みて、第１の撮像素子と、第２の撮像素子と、一方端に第１の撮像素子、他方端に第２の撮像素子を有するステーと、第１の撮像素子が接続される第１の撮像素子用基板と、第２の撮像素子が接続される第２の撮像素子用基板と、第１の撮像素子が設置される第１の設置面と、第２の撮像素子が設置される第２の設置面と、第１の撮像素子との組み合わせにより撮像系を構成する第１のレンズと、第２の撮像素子との組み合わせにより撮像系を構成する第２のレンズと、を有し、第１の基板上に、第１の設置面、第１の撮像素子、第１のレンズの順に配置され、第２の基板上に、第２の設置面、第２の撮像素子、第２のレンズの順に配置され、第１の設置面と第２の設置面とが、実質的に同一の平面又は実質的に平行な平面に含まれる構成とする。

部品間の公差の積み上げを低減し、撮像素子相互間の位置関係の取付精度を向上できる。

本発明の一実施例におけるステレオカメラの模式図である。 本発明の一実施例におけるステレオカメラのシステムブロック図である。 本発明の一実施例における撮像素子の取り付けを示す図である。 本発明の一実施例における撮像素子の取り付けを示す図である。 本発明の一実施例におけるステー突起部構造を表す模式図である。 撮像素子をステーに固定する具体的な構造の一実施例を示す図である。 撮像素子をステーに固定する具体的な構造の一実施例を示す図である。 撮像素子をステーに固定する具体的な構造の一実施例を示す図である。 本発明の一実施例におけるステーにレンズホルダを取り付ける構造の模式図である。 従来の構成で対象物までの距離を算出するまでのフローチャートと本発明の構成で対象物までの距離を算出する際のフローチャートである。 本発明の第１実施例及び第２実施例においてそれぞれ撮像素子を実装する際のステー突起部の構造を表す模式図である。 本発明の一実施例における撮像素子の位置決め方法を示す模式図である。 本発明の一実施例におけるレンズフードの構造を示す図である。 従来技術におけるレンズフード構造を示す図である。 本発明の他の実施例におけるレンズフードの構造を示す図である。 ステレオカメラの原理を示す模式図である。 車両に取り付ける際の一般的なステレオカメラの取り付け位置を示す模式図である。 本発明による撮像素子の取り付けを行った場合の画像処理ＬＳＩの処理速度の向上について説明するための模式図である。 左右の撮像素子が理想の取り付け状態である場合の左右カメラ取得画像を示すイメージ図である。 左右の撮像素子の取り付け位置が左右方向にずれている状態の左右カメラ取得画像を示すイメージ図である。 左右の撮像素子の取り付け位置が上下方向にずれている状態の左右カメラ取得画像を示すイメージ図である。 左右の撮像素子の取り付け位置が撮像素子を設置する面に垂直な軸に対しての回転方向にずれている状態の左右カメラ取得画像を示すイメージ図である。

まず、ステレオカメラにおいて左右の撮像素子の相対的位置関係が有する重要性について説明する。一般的に、ステレオカメラ装置では、対象物が遠距離になるほど、上述した視差以外のずれがないことが要求される。図１６（ａ）に、ステレオカメラ装置の原理を示す。ここで、δは視差を表し、Ｚは計測距離、ｆは焦点距離、ｂは基線長をそれぞれ示し、これらの間には次式１で示すような関係が成り立つ。

（数１）
Ｚ＝ｂｆ／δ …（式１）
例えば車載環境での使用を目的として、図１７のように車室内のルームミラー付近に車両進行方向を撮影する向きに一対の撮影手段を取り付けたとすると、基線長ｂだけ離れた２台の撮像手段から撮影された画像は図１９（ａ），図１９（ｂ）のように同じ対象物を若干違う角度から撮影した画像となる。この二つの画像のずれが視差δとなる。例えば図１９のように、撮影された車のボディの端部を特徴点として、もう一方の画像から同じ特徴点を探そうとすると、撮像素子を実装する際に位置ずれが起きていない理想的な状態では図１９のように地平線の高さも画面上の同じ画素位置に撮影され、対象物は視差分だけずれたものが撮影される。よって、図１９（ｃ）のように特徴点のわずかなずれから距離に換算し、立体物までの大きさや距離を算出する。

ここで、例えば撮像素子が左右方向にずれて実装されると図２０のように本来特徴点が出るべき画素位置から水平方向に違った位置に撮影される。すると、図２０（ｃ）のように本来よりも大きな視差となり、大きな立体物がいるものと誤認識してしまう。

また、上下方向や回転方向のずれが生じると、図２１や図２２のように上下方向にもずれて撮影される。すると、本来は１ライン分を探索すればよいはずが、複数ライン分探索することが必要になり、処理時間やメモリ容量が増大することになる。

ここで、式１を利用し、距離計測要求に例えば１００ｍを想定したとき（Ｚ＝１００ｍ：１００ｍ前方の対象物の距離計測）、撮像素子相互間の位置関係がずれた場合に例えば１画素の水平方向のずれが生じると、どの程度の距離計測精度の悪化が発生するか、簡単に示す。まず、一般的なステレオカメラ装置の構成条件から、上式１に代入するＺ以外のパラメータ値として、ｆ＝１０mm，ｂ＝３５０mmとし、使用する撮像素子を、１／４インチ，３８万画素のＣＣＤ（Charge Coupled Device）のイメージセンサとする。これらのパラメータ値を式１に代入すると、１００ｍ前方の対象物２１の距離計測を行う際に、１画素の水平方向のずれが生じるとすると、約２０ｍの距離計測精度の悪化が発生し得る。これは１００ｍの距離計測要求精度に対して許容できる範囲ではなく、そのため、撮像素子１２ａと１２ｂの相互間の位置関係は高精度なものが要求される。

このように、撮像素子１２ａと１２ｂの相互間の位置関係はステレオ処理を高精度かつ高効率に行う上で重要である。以下、簡易かつ安価に、撮像素子１２ａ，１２ｂ相互間の位置関係の取り付け精度を向上できる本発明のステレオカメラの構成について説明する。

本発明の第１実施例について図面を用いて説明する。図１に、本発明に係るステレオカメラの構造の一例を示す。図１（ａ）は前から見た俯瞰図であり、図１（ｂ）は後ろ側から見た俯瞰図である。

図１（ａ）に示すように、本実施例のステレオカメラは二つの撮像素子１２ａ，１２ｂ（図示しない）とそれらを実装する部分であるステー突起部１８ａ，１８ｂが一体になっているステー１１と、二つのレンズ１３ａ，１３ｂと、該レンズと撮像素子の位置関係を保持するためのレンズホルダ１９ａ，１９ｂと、撮像素子１２ａ，１２ｂに結像された画像情報を画像処理ＬＳＩへ取り込むための処理を行う撮像素子基板１６ａ，１６ｂと、取り込んだ画像を用いてステレオ処理を行う画像処理ＬＳＩを実装した処理基板１ａ９から構成される。

レンズ１３ａ，１３ｂは外界の視覚情報を撮像素子１２ａ，１２ｂに結像するものである。

ステー１１はステー基準面１４を車両側のステーと固定し、撮像素子１２や撮像素子基板１６，処理基板１ａ９を保持する部材である。ステー１１のステー突起部１８ａ，１８ｂの前方向からは撮像素子１２ａ，１２ｂを直接実装し、ステー突起部１８ａ，１８ｂの後方向からは撮像素子基板１６ａ，１６ｂを実装する。この際に撮像素子１２ａ，１２ｂの端子が撮像素子基板１６ａ，１６ｂと接合できるようにステー突起部１８ａ，１８ｂには撮像素子端子用穴１７を設ける。

ここで、ステー突起部１８ａ，１８ｂには撮像素子１２ａ，１２ｂを実装するための基準面となる撮像素子設置面４４ａ，４４ｂが設けられており、撮像素子１２ａ，１２ｂをそれぞれ撮像素子設置面４４ａ，４４ｂに合わせて実装することにより、撮像素子１２ａと１２ｂを予め規定した平面上に設置することができる。なおステレオカメラにおいては、撮像素子１２ａ，１２ｂが実質的に同一平面上又は平行な平面に配置される構成とすることが好適である。また、ステー突起部１８ａ，１８ｂには、撮像素子１２ａ，１２ｂの取り付け角度の基準となる基準面４１も設けられており、当該基準面４１に合わせて撮像素子１２ａ，１２ｂを実装することで、撮像素子１２ａと１２ｂの撮像角度のずれを実質的に無視しうる値とすることができる。これらの構成により、２つのカメラを別々に組み立てた後にステーに取り付ける従来技術に比べて、公差の含まれる接合箇所を一つ減らすことができるので、ステレオカメラの計測精度を簡易な構成で向上することができる。すなわち従来技術では〔撮像素子−カメラ本体〕と〔カメラ本体−ステー〕の２つの公差が存在するのに対し、本実施例の構成によれば〔撮像素子−ステー〕の公差のみとすることができる。なお、ステー突起部１８ａ，１８ｂの構造の詳細については後述する。

また、撮像素子１２は撮像素子基板１６へはんだ付けされるため、撮像素子１２の端子３２が撮像素子基板１６へ差し込めるよう、撮像素子基板１６には、図３（ｄ）のように穴４３が開いている。

撮像素子基板１６は撮像素子１２と接合する基板であり、撮像素子１２で取り込んだ画像情報を処理基板１ａ９へ伝送するための回路が構成されている基板である。なお、左右の撮像素子基板１６ａ，１６ｂは、撮像素子１２ａ，１２ｂに結像された画像情報を処理基板１ａ９に設けられた画像処理ＬＳＩ１ａ７へ取り込むための処理を行う。

処理基板１ａ９は１６ａ，１６ｂから送られてきた画像情報を基に画像処理ＬＳＩにより対象物の抽出を行い、該対象物までの距離や大きさを算出するため回路が構成されている基板である。

図１（ｂ）を用いて、ステレオカメラの内部について説明する。処理基板１ａ９は複数のねじ１ｂ１によりステー１１に固定されており、左右両端の撮像素子基板１６は複数のねじ１ａ３によりステー１１に固定されている。左右の撮像素子基板１６ａ，１６ｂと処理基板１ａ９はハーネス１ｂ０によって接続されている。処理基板１ａ９には、取り込んだ画像を用いてステレオ処理を行い、対象物までの距離や大きさを算出する画像処理ＬＳＩ１ａ７、ステレオ処理した画像を使用して様々なアプリケーション（例えば、車両検知や歩行者検知など）を行う演算処理装置１ａ６、及びステレオカメラ外部からの情報をやり取りするためのインターフェースマイコン１ａ８が設けられている。ここで本実施例ではインターフェースマイコン１ａ８は、演算処理装置１ａ６を監視する機能も有している。

処理基板１ａ９には、外部から上記演算処理装置１ａ６，画像処理ＬＳＩ，インターフェースマイコン１ａ８をはじめとするステレオカメラの各マイコン，ＩＣに電源を供給する電源コネクタ１ａ４、及び、ステレオ処理画像等を外部に出力するための映像コネクタ１ａ５が接続されている。

また、ステー１１の裏側には、処理基板１ａ９や撮像素子基板１６ａ，１６ｂを保護するカバー１ａ１がねじ１ａ２により取り付けられる。

図２にシステムブロック図を示す。左右の撮像素子１２ａ，１２ｂで取り込まれた映像はハーネス１ｂ０を介し、撮像素子基板１６ａ，１６ｂから処理基板１ａ９へ伝達される。処理基板１ａ９内でははじめに画像処理ＬＳＩ１ａ７に映像データが送られる。画像処理ＬＳＩ１ａ７は、まず視差によるステレオマッチング処理を行うための前処理として、映像データに対し、撮像素子１２ａ，１２ｂのゲイン補正、レンズ１３ａ，１３ｂの周辺光量減衰特性から生まれる撮像面内の輝度差を補正するシェーディング処理を行いＳＤＲＡＭ１に保管する。次にＳＤＲＡＭ１のデータを用いてアフィン変換などのステレオマッチング処理を行い、演算処理装置１ａ６との共有メモリであるＳＤＲＡＭ２に保管する。演算処理装置１ａ６は、ＳＤＲＡＭ２に保管されたステレオ処理データを用いて、車両や歩行者などのさまざまな立体物検知処理を行い、最終的な演算結果はインターフェースマイコン１ａ８を介して外部へ出力される。また、映像は映像出力ＩＣを介して映像出力コネクタ１ａ５から外部に出力される。ステレオカメラへの電源の供給は車両からの電源を電源コネクタ１ａ４を介して電源回路に送り、必要な電圧へ変換した後、各マイコン，各ＩＣへ供給している。

ステー突起部１８ａ，１８ｂの構造と撮像素子１２ａ，１２ｂのステー１１への取り付けの実施例について図３，図５を用いて詳細に説明する。なお本実施例では、撮像素子１２ａ，１２ｂとしてＣＣＤ（例えば３８万画素のＣＣＤ）を用いる場合について説明するが、ＣＭＯＳ等、他の撮像素子を用いる場合も同様に構成することができる。

図３（ａ）はＣＣＤの側面図、図３（ｂ）は正面図、図３（ｃ）は俯瞰図、である。このようにＣＣＤは、パッケージ３５と、パッケージ凹部３９に設置された撮像面３３，撮像面３３で受光した映像を各端子へ割り振るためのワイヤ３７，ワイヤ３７がボンディングされている金属パッド３６，金属パッド３６と接続されている端子３２，撮像面保護のためのカバーガラス３４を備えている。レンズ１３によって撮像面３３に結像され、結像された映像情報はワイヤ３７，パッド３６，端子３１を介して撮像素子基板１６へ伝達される。

ここで、結像する際にはレンズ１３の持つ光軸と撮像面３３は垂直になる必要がある。仮に垂直にならない場合、映像の一部分がボケてしまい、ステレオマッチング処理を行うことができなくなるからである。また、ステレオマッチング処理を行う上では、右の撮像素子で取得した映像と左の撮像素子で取得した映像に視差以外のずれが生じることは好ましくない。そのため、左右の撮像面の高さ方向，回転方向，ピントを相対的にもあわせる必要が生じる。

そこで、図４に示すように、ステー１１のステー突起部１８ａ，１８ｂに、その基準面が実質的に同一平面９０（図４（ａ））又は平行な面９０ａ，９０ｂ（図４（ｂ））に含まれるような撮像素子設置面４４ａ，４４ｂを設ける。通常、撮像面３３とパッケージ底面３８はある規定内の平行度が保たれるように製造されている。そのため、ステー１１において、図４（ａ）に示すように、左右の撮像素子設置面４４ａ，４４ｂが実質的に同一平面９０に含まれるように構成すれば、該設置面に設置した左右の撮像素子１２ａ，１２ｂの撮像面３３は良好な平行度を保つことができ、片ボケのない、ピントが合った映像を取得できるようになる。従ってステレオカメラの検知精度が向上する。また、ステレオカメラの用途によっては、車両に取り付けられた状態においてカメラの正面方向から多少ずれた方向を撮像したい場合がある。例えば、歩道や路側帯付近の歩行者，軽車両等を検知することを目的とする場合には、左側通行を前提とする場合には左前方，右側通行を前提とする場合は右前方を撮像したい場合がある。このような場合には図４（ｂ）に示すように撮像素子設置面４４ａ，４４ｂを実質的に平行な平面９０ａ，９０ｂに含まれるように構成する。

次に、左右の撮像面の回転ずれをなくすための構成について説明する。図３（ｃ）に示すように、撮像素子１２にはパッケージ３５側面に３点の基準面３１を設け、ステー突起部１８にもこれらの基準面３１と接するように撮像素子位置決め面４１を設ける。撮像素子位置決め面４１の具体的形状としては図５（ｂ）のように撮像素子位置決め面４１を一体構造として形成することもできるが、図５（ｃ）のようにステー突起部１８に撮像素子位置決めピン４２を立ててそのピン４２の頭を撮像素子位置決め面４１としてもよい。なお、撮像素子位置決め面４１の形状や個数は撮像素子１２が有する基準面３１に依存し、例えば４点以上でも良い。図５（ａ）については後述する。

ステー１１とステー突起部１８は同一部材であるため、上述のような構成を取ることでステー基準面１４に対して撮像素子１２ａ，１２ｂの上下方向，左右方向，回転方向のずれを押さえて位置決めを行うことができ、同時に左右の撮像素子相互間の位置関係を固定することができる。

図６，図７，図８を用いて撮像素子１２を撮像素子位置決め面４１に固定する構造の詳細な実施例を示す。図６は固定構造の外観図である。図６（ａ）に示すように、ステー１１の端部に設けられたステー突起部１８ａには撮像素子を設置する撮像素子設置面４４ａが生成されており、更に撮像素子１２ａを設置したときに撮像素子基準面３１と相対する位置に撮像素子位置決め面４１が生成されている。なお、以下の実施例では片方のステー突起部１８ａ及び撮像素子１２ａのみを図示して説明するが、ステー１１の反対側の端部に設けられたステー突起部１８ｂ及び撮像素子１２ｂについても同様の構成とする。次に、図６（ｂ）に示すように、撮像素子設置面４４ａに撮像素子１２ａを設置し、その上から撮像素子押さえ板１８２を被せ、固定ねじ１８３でねじ締めする。撮像素子押さえ板１８２は固定ねじ１８３を通すためのねじ穴１８５を有しており、固定ねじ１８３はねじ穴１８５を通してねじ穴１８１に対してねじ締めされる。

次に図７，図８を用いて撮像素子１２ａの位置決め構造の詳細を説明する。図７（ａ）〜（ｄ）は撮像素子押さえ板１８２の俯瞰図，上面図，正面図及び側面図であり、図８（ａ）〜（ｃ）は撮像素子押さえ板１８２をステー突起部１８に取り付けた状態の上面図，正面図及び側面図である。

撮像素子押さえ板１８２は、図７（ａ）〜（ｄ）に示すように、ツメ１８４，１８６，１８７を備えている。

ツメ１８４は撮像素子押さえ板１８２がステー突起部１８に固定された状態では、図８に示すように撮像素子１２ａに押し曲げられて変形し、撮像素子１２ａを撮像素子設置面４４へ押し付ける付勢力を発生する。ツメ１８４は、取り付け前は図７（ａ）に示すように撮像素子押さえ板１８２と同一平面を形成する構成でもよいが、予め折り曲げられた構成としてもよい。

ツメ１８６，１８７は撮像素子押さえ板１８２がステー突起部１８ａに固定された状態では、図８に示すように撮像素子１２ａに押し曲げられて変形し、撮像素子１２ａを撮像素子位置決め面４１に押し付ける付勢力を発生する。本実施例ではツメ１８６，１８７は図８に示すように予め撮像素子押さえ板１８２に対して垂直な方向よりも撮像素子１２ａと接触する側に傾斜して設けられている。これにより、撮像素子押さえ板１８２がステー突起部１８ａに固定された状態では、ツメ１８６，１８７は図７に示すように撮像素子押さえ板１８２に対してほぼ垂直となり、撮像素子１２ａの側面に面接触して押さえることが可能となる。

上記の構成により、撮像素子１２ａの撮像面に対し、水平方向（Ｘ軸方向）へはツメ１８６で、垂直方向（Ｙ軸方向）へはツメ１８７で、奥行方向（Ｚ軸方向）はツメ１８４で押さえつける。これにより、撮像素子１２ａを撮像素子設置面４４ａ及び撮像素子位置決め面４１ａに押し付けて固定し、片ボケや左右の光軸ずれ、回転ずれのない映像を生成する。特に回転ずれを防止するためには撮像素子位置決め面４１ａを各撮像素子あたり３点以上とすることが好適である。なお、本実施例においては、撮像素子位置決め面４１ａの水平方向面が２点、垂直方向面が１点であるため、水平方向のツメ１８６が２本、垂直方向のツメ１８７が１本となっているが、撮像素子位置決め面４１ａの水平方向面を２点、垂直方向面を１点とし、水平方向のツメ１８６を１本、垂直方向のツメ１８７を２本としてもよい。なお、本実施例では撮像素子位置決め面４１をステレオカメラが車両に取り付けられた状態で上側に位置するように構成し、下側から撮像素子押さえ板１８２のツメにより押し付ける構成としたが、撮像素子位置決め面４１をステレオカメラが車両に取り付けられた状態で下側に位置するように構成し、上側からツメで押さえつける構成とすることもできる。当該構成では、重力も撮像素子１２を撮像素子位置決め面４１ａに押し付ける方向に作用するので、振動等に対する耐性を向上することができる。

上記のように撮像素子押さえ板１８２を用いて撮像素子１２ａを撮像素子設置面４４ａ及び撮像素子位置決め面４１ａへ押し付けてねじ締めし固定した後、撮像素子基板１６をねじ１ａ３で固定する。ここで、撮像素子端子３２の長さはステー突起部１８ａの撮像素子設置面４４の厚みよりも長いものとする。これにより撮像素子端子３２は、ステー突起部１８ａに設けられた穴４３を通って、撮像素子基板１６ａの穴４３に達する。最後に撮像素子端子３２と撮像素子基板１６ａをはんだ付けし、電気的接続を完了する。

すなわち、図３（ｄ）のように、撮像素子１２ａを直接ステー１１と同一部材となっているステー突起部１８ａに実装した後、撮像素子を駆動するための回路が実装された撮像素子基板１６ａをステー突起部１８ａに後方から固定する。

続いて、左右の撮像素子１２ａ，１２ｂの撮像面３３ａ，３３ｂの中心とレンズ１３ａ，１３ｂの中心が合うようにレンズホルダ１９ａ，１９ｂごとレンズの位置を調整し、固定する。この際に、図９（ａ）のようにあらかじめステー突起部１８ａ，１８ｂ又はレンズホルダ１９ａ，１９ｂにレンズホルダ位置決めピン７１を立てて置き、そのピンに合わせてレンズホルダ１９ａ，１９ｂの取り付け、固定を行っても良い。もしくは図９（ｂ）のようにあらかじめレンズホルダ１９ａ，１９ｂをステー突起部に固定しておき、レンズ１３ａ，１３ｂ自体を撮像素子１２ａ，１２ｂの中心と合うように調整した後、レンズ１３ａ，１３ｂをレンズホルダ１９ａ，１９ｂに接着材等で固定しても良い。この場合、レンズホルダ１９のレンズ１３を設置するための凹部７２は、レンズ１３よりも径が大きい構成であり、レンズ１３と撮像素子１２との位置関係を調整した後に接着剤で固定する構成となる。

以上のようにして二つの撮像素子１２ａ，１２ｂ相互間の位置関係を決めつつ、それぞれの撮像素子１２ａ，１２ｂとレンズ１３ａ，１３ｂとの位置関係を決め、光軸を然るべき方向に向け固定する。この構成によって撮像素子を直接ステーへ実装することで撮像素子相互間の位置関係を高精度かつ簡易的に決定することができる。それにより、通常であれば図１０（ａ）のように左右の撮像素子から取り込んだ映像のずれ補正を行った後にステレオ処理を行い、対象物までの距離画像を生成するのに対し、左右の撮像素子の位置関係を高精度に成立させることによって図１０（ｂ）のようにずれ補正することなく、左右の映像をそのままステレオ処理して距離画像を生成することも可能となる。例えば、実装した撮像素子相互間で回転ずれが発生している場合、図１８のように片方の撮像手段で得た画像上のある特徴点に対して、もう片方の撮像手段で得た画像上で、撮像素子の回転ずれがある場合の探索方向１０４に対応点を探す必要がある。この場合、例えば画像サイズ５１２画素×２００画素、探索方向１０２と１０４の画素ずれを±３０画素とし、３２ｂｉｔＳＤＲＡＭのバーストリードサイズを８画素バースト、バーストリードサイクルを８サイクルをするとＳＤＲＡＭのデータリードサイクルは、８サイクル×５１２画素／８画素×２００ライン×２＝２０４８００サイクルとなり、これに回転ずれを補正するためのデータリードサイクル１２８００を加えて２１７６００サイクル必要となる。これに対し、回転ずれが発生しない場合、ＳＤＲＡＭのバーストリードサイクル１３４サイクル×２００ライン＝２６８００サイクルとなり、回転ずれが発生しない場合と比較して、２１７６００／２６８００となり、約８倍の高速化が期待できる。このように、撮像素子相互間の回転ずれを解消するのみでも大幅な処理速度の向上が図られる。

このように、本実施例は一つの部材（ステー）に撮像素子そのものを直接上下，左右，回転方向の相互間の位置関係を正確に調整し、取り付けるものである。これにより、従来技術に比べて撮像素子間の位置関係に含まれる公差を低減し、従来行っていた２つのカメラ部をステーに取り付けた後に、撮像素子間の位置関係のずれを補正する作業を行う必要が無くなる。これにより、処理時間を短縮でき、またステレオ処理による距離算出精度を向上させることができる。

図１１を用いて第１の実施例よりも更に高精度に撮像素子１２をステー１１に実装する第２の実施例を説明する。図１１（ａ）に示すように、撮像素子の撮像面３３は実際には回転方向にも若干のずれがあり、撮像素子のパッケージ３５と撮像面は正確に平行な位置関係にはなく、厳密には左右方向，上下方向，回転方向のずれが生じる。このような撮像面３３を実装する際のずれは、パッケージの基準面３１に対する公差として規定されている。例えば３８万画素のＣＣＤでは回転方向の公差を±１度と定めている。従って二つの撮像素子相互間で生み出す回転角のずれは最大２度になる。同様に、上下，左右方向の公差は±２００μｍとなるため、二つの撮像素子相互間で生み出す上下左右方向のずれは最大４００μｍとなる。

このため、第１実施例の構成により撮像素子を実装した場合、図１１（ｂ）に示すように撮像素子１２ａ，１２ｂのパッケージをステー１１に対して厳密に位置決めしたとしても、それぞれの撮像面３３ａ，３３ｂの間では、左右方向，上下方向，回転方向のずれが生じる。

これらのずれを修正するための構造として図１１（ｃ）のような構成が考えられる。例えば図１２（ａ），図１２（ｂ）に示すように、撮像素子１２の撮像面３３自体を撮影するテレビカメラ８１を用意する。テレビカメラ８１は撮像素子１２の撮像面３３の外形とステー突起部基準面１５を同時に撮影し、撮像素子の撮像面３３とステー突起部基準面１５が平行もしくは一定の角度に揃うように調整を行う。ステー突起部基準面１５は、撮像素子設置面４４近傍に存在するテレビカメラ８１で認識可能な目印であり、画像データにおいてエッジとして抽出しやすい段差や線などを用いる。本実施例では、ステー突起部１８に設けられた撮像素子設置面４４との段差をステー突起部基準面１５としている。調整は撮像素子１２の位置を動かすためのロボットアーム又は人間が手作業で調整するためのマイクロメータを装備して行う。撮像面３３の位置を調整する際に基準とする面はステー基準面１４にしても良い。

このように撮像面３３の位置を観測し相互間の調整を行うことにより、図１１（ｂ）のように撮像素子１２のパッケージに設けられた基準面３１を基準として実装する構成よりも更に撮像素子１２ａ，１２ｂ相互間の位置関係を高精度に実装することが可能となる（図１１（ｂ））。

なお、本実施例においては、図５（ｂ），（ｃ）に示したように、３点以上の位置決め面４１を設ける構成としてもよいが、図５（ａ）に示すように、水平方向（Ｘ方向），垂直方向（Ｙ方向）には位置決め面４１を設けず、奥行方向（Ｚ方向）のみ撮像素子設置面４４を用いて位置決めをし、Ｘ，Ｙ方向については、前述のロボットアーム又はマイクロメータを用いて調整する構成としてもよい。この場合、撮像素子１２とステー突起部１８との固定は接着剤を用いる。

さらに、位置決め面４１を２点とし、大まかな位置調整をこの２点の位置決め面４１に押し当てて行うとともに、カメラとロボットアーム又はマイクロメータを用いて微調整をする構成としてもよい。このように概略の位置決めを位置決め面４１で行い、ロボットアームで微調整する構成とすれば、より工作機械による自動製造に適した構成となる。

第１及び第２の実施例では、２つの撮像素子１２ａ，１２ｂを一つのステー１１に位置決めした後、それぞれの撮像素子１２ａ，１２ｂに対してレンズ１３ａ，１３ｂをそれぞれの光軸が互いに平行となるように設置することを述べた。ここで光軸とはレンズホルダ１９に固定されているレンズ１３と、ステー１１に固定されている撮像素子１２の位置関係が作り出す仮想直線のことを意味する。ステレオ視を精度良く行うためには、上記のように位置決めをして固定したレンズ１３ａ，１３ｂと撮像素子１２ａ，１２ｂとの位置関係は変化しないことが望ましい。

一方、車載用カメラにおいて車両外部の状況を撮像し、太陽光の直接入射や不必要な方向からの強い光の入射などによって撮像素子１２の飽和を起こさないために、レンズフードを用いることが有効である。

しかしながら、図１４に示すようにレンズフード１６１がレンズホルダ１９を土台として取り付けられている場合、レンズフード１６１が突起しているため、カメラの運搬時や車両取り付け時にレンズフード１６１に衝撃が加えられ、レンズ１３ａ，１３ｂと撮像素子１２ａ，１２ｂとの位置関係が変化する可能性がある。

そこで本実施例では、レンズフード１６１が衝撃を受けてもレンズ１３ａ，１３ｂと撮像素子１２ａ，１２ｂの位置関係が変化しない構成を示す。なお、以下の実施例では片方の撮像素子１２ｂ及びレンズ１３ｂを用いて説明するが、反対側の撮像素子１２ａ及びレンズ１３ａについても同様の構成である。図１３のように、レンズホルダ１９ｂを包み込むようにレンズフード１５１ｂを袋形状にすることで、レンズフード１５１ｂをレンズホルダ１９ｂには固定せずに、ステー１１に直接固定する構造とする。図１３（ａ）はレンズフードの外観図、図１３（ｂ）は断面図である。なお、レンズフード１５１ｂの袋部分はレンズホルダに１９ｂに接触しないようにクリアランス（空隙）９２を有しており、レンズフード１５１ｂに何らかの衝撃が加わったとしてもその影響でレンズホルダ１９ｂの位置がずれることを回避する構造となっている。これによりレンズフード１５１ｂのステー１１に対する位置が衝撃により多少変化したとしても、レンズフード１９ｂの位置は変化せず、ステレオ処理に不可欠なレンズ１３ｂと撮像素子１２ｂとの高精度な位置関係は正常に保たれる。なお反対側のレンズフード１５１ａも同様の構成であり、同様の効果を奏する。

また、従来技術に比べて、レンズホルダの隙間から入射する外乱光をより確実にシャットアウトできるので、より鮮明な画像を取り込むことができるようになる。

また、図１５のように、カバー領域を更に広げた構造のレンズフード１７１ｂを使用してもよい。レンズフードはねじ１７２を用いてステー部に固定される。図１５（ａ）は外観図、図１５（ｂ）は断面図である。このようにステー１１の上面からレンズホルダ全体を内包するように構成することで、ステー突起部１８ｂ上にレンズフード１７１ｂ固定用のねじ穴が不要となり、ステー突起部１８ｂの大きさ，形状，レンズホルダ１９ｂの取付構造等の設計について自由度が向上される。また、レンズホルダ１９ｂとレンズフード１７１ｂとの間のクリアランス（空隙）９３を図１３に示す実施例よりも広く確保することが可能となるので、より衝撃による位置関係の変化を防止し得る構造となる。また、レンズホルダ１９ｂとステー突起部１８ｂとの取付面よりも後方（撮像素子側）からレンズ及び撮像素子を包み込むように遮光できるので、より外乱光の遮断を確実に行うことができる。なお、反対側のレンズフード１７１ａも同様の構成であり、同様の効果を奏する。

１２，１２ａ，１２ｂ 撮像素子
１１ ステー
１８ａ，１８ｂ ステー突起部
１６ａ，１６ｂ 撮像素子基板
１７ 撮像素子端子用穴
４４ａ，４４ｂ 撮像素子設置面

Claims (2)

1. 第１の撮像素子と、
   第２の撮像素子と、
   一方端に前記第１の撮像素子、他方端に前記第２の撮像素子を有するステーと、
   前記第１の撮像素子が接続される第１の撮像素子用基板と、
   前記第２の撮像素子が接続される第２の撮像素子用基板と、
   前記第１の撮像素子が設置される第１の設置面と、
   前記第２の撮像素子が設置される第２の設置面と、
   前記第１の撮像素子との組み合わせにより撮像系を構成する第１のレンズと、
   前記第２の撮像素子との組み合わせにより撮像系を構成する第２のレンズと、
   を有し、
   前記第１の基板上に、前記第１の設置面、前記第１の撮像素子、前記第１のレンズの順に配置され、
   前記第２の基板上に、前記第２の設置面、前記第２の撮像素子、前記第２のレンズの順に配置され、
   前記第１の設置面と前記第２の設置面とが、実質的に同一の平面又は実質的に平行な平面に含まれることを特徴とするステレオカメラ。
2. 請求項１において、
   前記第１の設置面と前記第２の設置面とが、実質的に平行な平面に含まれ、
   前記第１の設置面に設置された前記第１の撮像素子と前記第１のレンズは、前記第１の撮像素子の光軸が方向をずらして設けられ、
   前記第２の設置面に設置された前記第２の撮像素子と前記第２のレンズは、前記第２の撮像素子の光軸が方向をずらして設けられたことを特徴とするステレオカメラ。

Images