JP2007281988A - 画像認識装置 - Google Patents

Abstract

【課題】広ダイナミックレンジの画像データ生成において耐ノイズ性の向上を図る。
【解決手段】画像信号Ｓrは、所定のゲインのハイゲインアンプ１２ａと、Ａ／Ｄコンバータ２２ａとによって、画像データＤrHにデジタル化される。同様に、画像信号Ｓrが、アンプ１２ａよりも小さなゲインを有するローゲインアンプ２１ａと、Ａ／Ｄコンバータ２３ａとによって、画像データＤrLにデジタル化される。画像合成部２４ａは、画像データＤrLおよび画像データＤrHを合成することによって、合成画像データＤrを生成する。カメラ基板１０ａ上に、撮像素子１１ａと、ハイゲインアンプ１２ａとが実装され、画像認識基板２０上に、ローゲインアンプ２１ａと、ステレオ画像処理部２５とが実装される。
【選択図】図１

Description

本発明は、撮像画像に基づいて、画像認識処理を行う画像認識装置に関する。

例えば、特許文献１には、車外の照度変化に対応した適正な撮像画像を得るために、所定の分割領域毎の画像データの代表値に基づいて、左右一対の撮像素子のシャッタースピードを制御する手法が開示されている。また、特許文献２には、標準輝度の映像信号を頻度分布に基づき非線形処理し、同様に、高輝度の映像信号を頻度分布に基づき非線形処理して、これら処理後の信号を、それぞれ所定の係数と乗算して加算する手法が開示されている。この加算によって、映像信号のダイナミックレンジが拡大される。

特開平７−２０２２号公報 特開２００１−９４８７１号公報

ところで、画像認識システムを車両に搭載する場合には、その演算負荷の抑制、演算の高精度化、および、装置全体の低コスト化が望まれる。しかしながら、特許文献１に開示された手法では、画像データを常時監視して、分割領域に関する平均値を算出する必要があるため、演算負荷が増大してしまう。また、特許文献２に開示された手法では、電気的なノイズの影響が十分考慮されていない。

本発明の目的は、広ダイナミックレンジの画像データ生成において耐ノイズ性の向上を図ることである。

かかる課題を解決するために、第１の発明は、カメラ基板と、カメラ基板に電気的に接続された画像認識基板とを有する画像認識装置を提供する。本画像認識装置は、カメラ基板上に、撮像素子と、ハイゲインアンプとを有し、画像認識基板上に、ローゲインアンプと、画像合成部と、認識部とを有する。撮像素子は、撮像画像信号を出力する。ハイゲインアンプは、この撮像画像信号を所定のゲインで増幅することによって、低輝度部分を鮮明化したハイゲイン画像信号を出力する。ローゲインアンプは、撮像画像信号を、ハイゲインアンプよりも小さなゲインで増幅することによって、高輝度部分を鮮明化したローゲイン画像信号を出力する。画像合成部は、ハイゲイン画像信号およびローゲイン画像信号を合成する。認識部は、前記画像合成部によって合成された画像信号に基づいて、画像認識処理を行う。

第１の発明において、画像認識基板上に、ハイゲインＡ／Ｄコンバータと、ローゲインＡ／Ｄコンバータとをさらに実装することが望ましい。ハイゲインＡ／Ｄコンバータは、ハイゲインアンプから出力されたハイゲイン画像信号をハイゲイン画像データにデジタル化し、このデジタル化されたハイゲイン画像信号を画像合成部に出力する。また、ローゲインＡ／Ｄコンバータは、ローゲインアンプから出力されたローゲイン画像信号をローゲイン画像データにデジタル化し、このデジタル化されたローゲイン画像信号を画像合成部に出力する。

さらに、第１の発明において、画像合成部は、ハイゲインＡ／Ｄコンバータの分解能およびローゲインＡ／Ｄコンバータの分解能に基づいた所定の重み付け演算によって上記画像信号の合成を行う。

第２の発明は、第１のカメラ基板と、第２のカメラ基板と、第１のカメラ基板および第２のカメラ基板のそれぞれに電気的に接続された画像認識基板とを有する画像認識装置を提供する。本画像認識装置は、第１のカメラ基板上に、第１の撮像素子と、第１のハイゲインアンプとを有し、第２のカメラ基板上に、第２の撮像素子と、第２のハイゲインアンプとを有する。また、本画像認識装置は、画像認識基板上に、第１のローゲインアンプと、第２のローゲインアンプと、認識部とを有する。第１の撮像素子は、第１の撮像画像信号を出力する。第１のハイゲインアンプは、この第１の撮像画像信号を、所定のゲインで増幅することによって、低輝度部分を鮮明化した第１のハイゲイン画像信号を出力する。第２の撮像素子は、第１の撮像素子に対応する位置に設けられ、第２の撮像画像信号を出力する。第２のハイゲインアンプは、この第２の撮像画像信号を、第１のハイゲインアンプのゲインで増幅することによって、低輝度部分を鮮明化した第２のハイゲイン画像信号を出力する。第１のローゲインアンプは、第１の撮像画像信号を、第１のハイゲインアンプよりも小さなゲインで増幅することによって、高輝度部分を鮮明化した第１のローゲイン画像信号を出力する。第２のローゲインアンプは、第２の撮像画像信号を、第１のローゲインアンプのゲインで増幅することによって、高輝度部分を鮮明化した第２のローゲイン画像信号を出力する。認識部は、第１の画像信号と、第２の画像信号とに基づいて、画像認識処理を行う。この第１の画像信号は、第１のハイゲイン画像信号および第１のローゲイン画像信号を合成することによって得られる。また、第２の画像信号は、第２のハイゲイン画像信号および第２のローゲイン画像信号を合成することによって得られる。

本発明によれば、前段のカメラ基板上にハイゲインアンプを実装し、後段の画像認識基板上にローゲインアンプを実装することによって、耐ノイズ性の向上を図ることができる。ハイゲインアンプをカメラ基板上に実装する理由は、入力信号に重畳したノイズを大きなゲインで増幅してしまうというハイゲインアンプの特性上、これを撮像素子の近傍に配置して、重畳するノイズ自体の低減を図るためである。また、ローゲインアンプを画像認識基板上に実装する理由は、第１に、これをハイゲインアンプと共にカメラ基板上に実装すると、電流量の増大に起因した画像ノイズの発生を招くので、これを抑制するためである。第２に、ローゲインアンプは、ハイゲインアンプほどゲインが高くないので、後段の画像認識基板上に実装したとしても、画像に与えるノイズの影響がハイゲインアンプほど大きくないからである。

図１は、本実施形態に係る画像認識装置のブロック構成図である。この画像認識装置３０は、車両に搭載され、ステレオ画像処理に基づき撮像画像中に写し出された物体を認識することによって、走行状況に応じた車両制御を行う。ステレオカメラ１は、車内のルームミラー近傍に取り付けられており、自車両前方の景色を撮像する。このステレオカメラ１は、近赤外線感応型のメインカメラ１ａおよびサブカメラ１ｂで構成される。メインカメラ１ａは、進行方向右側に配置され、ステレオ画像処理時の基準画像を撮像する。一方、サブカメラ１ｂは、進行方向左側に配置され、メインカメラ１ａと同期して比較画像を撮像する。これら一対のカメラ１ａ，１ｂには、それぞれ、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１１ａ，１１ｂが内蔵されており、撮像素子１１ａ，１１ｂは、可視光、および、近赤外光の反射光に感光する。近赤外光は、夜間等に、（図示しない）近赤外ランプまたはヘッドライトから自車両前方に投光される。撮像素子１１ａでの撮像によるアナログ画像信号Ｓrは、ハイゲインアンプ１２ａおよびローゲインアンプ２１ａに出力される。同様に、撮像素子１１ｂは、撮像素子１１ａに対応する位置から自車両前方の景色を撮像し、撮像画像信号としてのアナログ画像信号Ｓlが、ハイゲインアンプ１２ｂおよびローゲインアンプ２１ｂに出力される。

ハイゲインアンプ１２ａは、アナログ画像信号Ｓrを、後段のハイゲインＡ／Ｄコンバータ２２ａの入力レンジに合致するように調整する。すなわち、ハイゲインアンプ１２ａは、画像信号Ｓrを所定のゲイン（ハイゲイン値、例えば36dBの固定値）で増幅することによってハイゲイン画像信号ＳrHを生成して、この信号ＳrHをＡ／Ｄコンバータ２２ａに出力する。また、ローゲインアンプ２１ａは、画像信号Ｓrを、ハイゲインアンプ１２ａよりも小さなゲイン（ローゲイン値、例えば6dBの固定値）で増幅することによって、ローゲイン画像信号ＳrLをローゲインＡ／Ｄコンバータ２３ａに出力する。同様に、ハイゲインアンプ１２ｂは、画像信号Ｓlをハイゲイン値で増幅して、ハイゲイン画像信号ＳlHをＡ／Ｄコンバータ２２ｂに出力する。また、ローゲインアンプ２１ｂは、画像信号Ｓlをローゲイン値で増幅して、画像信号ＳlLをＡ／Ｄコンバータ２３ｂに出力する。４つのアンプにおいては、ハイゲインアンプ同士で、或いは、ローゲインアンプ同士で、画像信号に対するゲインおよびオフセットによって、画像の明るさバランスが調整される。

Ａ／Ｄコンバータ２２ａは、画像信号ＳrHを所定の輝度階調（例えば、1024階調）のデジタル画像データに変換することによって、ハイゲイン画像データＤrHを生成する。また、Ａ／Ｄコンバータ２３ａは、ローゲイン画像信号ＳrLを、所定の輝度階調のローゲイン画像データＤrLに変換する。同様に、Ａ／Ｄコンバータ２２ｂは、画像信号ＳlHを、画像データＤrHと同じ階調数の画像データＤlHに変換し、Ａ／Ｄコンバータ２３ｂは、画像信号ＳlLを、画像データＤrLと同じ階調数のローゲイン画像データＤlLに変換する。ローゲインＡ／Ｄコンバータ２３ａ，２３ｂの分解能（デジタルデータの総階調数に対応）は、ハイゲインＡ／Ｄコンバータ２２ａ，２２ｂと同一であってもよいし、異なっていてもよい。

画像合成部２４ａは、基準画像側のハイゲイン画像データＤrHと、ローゲイン画像データＤrLとを合成することによって、基準画像側の合成された画像信号である合成画像データＤroを生成する。詳細については後述するが、この合成は、Ａ／Ｄコンバータ２２ａの分解能と、Ａ／Ｄコンバータ２３ａの分解能とに基づいた所定の重み付け演算によって行われる。そして、画像合成部２４ａは、この合成画像データＤroを対数変換し、対数変換後の合成画像データＤrをステレオ画像処理部２５に出力する。同様に、画像合成部２４ｂは、比較画像側のハイゲイン画像データＤlHと、ローゲイン画像データＤlLとを合成することにより、比較画像側の合成画像データＤloを生成する。対数変換後の合成画像データＤlが、ステレオ画像処理部２５に出力される。

ステレオ画像処理部２５は、合成画像データＤrと、合成画像データＤlとに基づくステレオマッチングによって、視差を算出する。このステレオマッチングによって、視差と、画像平面上の位置とが対応付けられた距離データが生成される。認識部２６は、この距離データ等に基づいて、道路形状（直線やカーブ曲率）や車両前方の立体物（例えば先行車、歩行者などの物体）を認識する。この認識結果に基づいて、警報が必要と判定された場合、モニターやスピーカ等の警報装置からドライバに注意が促される。また、必要に応じて所定の制御装置を制御することにより、自動変速機のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が適宜実行される。なお、ステレオ画像処理部２５における処理の詳細に関しては、特開平５−１１４０９９号公報に開示されている。また、認識部２６における道路形状の認識や立体物の認識に関する具体的な手法については、特開平５−２６５５４７号公報に開示されている。

特に、本画像認識装置は、メインカメラ１ａ内にカメラ基板１０ａを有し、この基板１０ａ上に撮像素子１１ａおよびハイゲインアンプ１２ａが実装される。同様に、サブカメラ１ｂ内にカメラ基板１０ｂが設けられており、この基板１０ｂ上に撮像素子１１ｂおよびハイゲインアンプ１２ｂが実装される。また、所定のケース内の画像認識基板２０が、カメラ基板１０ａおよびカメラ基板１０のそれぞれに電気的に接続されている。この基板２０上には、ローゲインアンプ２１ａ，２１ｂ、および、Ａ／Ｄコンバータ２２ａ，２２ｂ，２３ａ，２３ｂが実装される。このような基板１０ａ，１０ｂ，２０上での回路配置によって、電気的ノイズの影響を最小限に抑えることが可能であり、Ｓ／Ｎ比の高い画像が得られる。これは、次に（１）〜（３）に示す理由による。すなわち、（１）ハイゲインアンプをカメラ基板上に実装する理由は、入力信号に重畳したノイズを高いゲインで増幅してしまうというハイゲインアンプの特性上、これを撮像素子の近傍に配置して、重畳するノイズ自体の低減を図るためである。（２）また、ローゲインアンプを画像認識基板上に実装する理由は、第１に、これをハイゲインアンプとともにカメラ基板上に実装すると、電流量の増大、および、カメラ基板と画像認識基板との間のグランド電位差の増大に起因した画像ノイズの発生を招くので、これを抑制するためである。第２に、そもそも、ローゲインアンプは、ハイゲインアンプほどゲインが大きくないので、後段の画像認識基板上に実装したとしても、画像に与えるノイズの影響がハイゲインアンプほど大きくないからである（それゆえに、後段に配置してもあまり問題ない）。また、アンプで行われる相関二重サンプリングは、２枚の基板の間で発生するグランドノイズの影響を受けにくいことも挙げられる。これは、上下ピークを２回サンプリングする時間差が、100nsec以下の短時間であることに起因する。（３）Ａ／Ｄコンバータを画像認識基板上に実装する理由は、Ａ／Ｄコンバータをカメラ基板に実装すると、カメラ基板にデジタルＩＣと共通の電源やグランドが出入りし、これによって、画像ノイズが増大することになるので、これを防ぐためである。

図２は、画像の処理手順を示すフローチャートである。ここに示す一連の手順によって、一対の１フレーム相当の画像が順次処理されていく。まず、ステップ１において、ステレオカメラ１は、景色の撮像によって、基準画像信号Ｓrおよび比較画像信号Ｓlを出力する。この撮像に際しては、次のような、ローゲイン画像データ（または合成画像データ）に基づく露光時間（シャッタ時間）の制御を行う。すなわち、露光時間を長く取った方が、Ｓ／Ｎ比の向上には有効であるが、露光時間が長くなるほど、輝度飽和を生じる部位が増加する。そこで、ステレオ画像処理部２５による対数変換後の画像において、輝度飽和を生じた画素の数をカウントする。そして、この画素数が、前回のカウント時よりも増加した場合には、シャッタ時間を短縮し、また、輝度飽和画素が、減少した場合には、シャッタ時間を延長する。これは、結果的には、ローゲイン画像の飽和画素数をカウントしているのと等価である。ハイゲイン画像の多くの部分は飽和しているので、こちらの画像を参照する必要はない。すなわち、ハイゲイン画像における飽和画素数はカウントされないまま、ローゲイン画像の飽和画素数のみによって、シャッタ時間の制御が行われる。これによって、より小さな演算負荷により有効なシャッタ制御が行われることになる。

ステップ２において、ハイゲインアンプ１２ａは、サンプリングした基準画像信号Ｓrを増幅して、ハイゲイン画像信号ＳrHを生成する。また、ローゲインアンプ２１ａは、サンプリングした基準画像信号Ｓrを増幅して、ローゲイン画像信号ＳrLを生成する。同様に、ハイゲインアンプ１２ｂは、比較画像信号Ｓlからハイゲイン画像信号ＳlHを生成し、ローゲインアンプ２１ｂは、比較画像信号Ｓlからローゲイン画像信号ＳlLを生成する。つぎに、ステップ３において、基準画像側のＡ／Ｄコンバータ２２ａは、ハイゲイン画像信号ＳrHをハイゲイン画像データＤrHにデジタル化する。また、Ａ／Ｄコンバータ２３ａは、ローゲイン画像信号ＳrLをローゲイン画像データＤrLにデジタル化する。同様に、比較画像側のＡ／Ｄコンバータ２２ｂは、ハイゲイン画像信号ＳlHをハイゲイン画像データＤlHに変換し、Ａ／Ｄコンバータ２３ｂは、ローゲイン画像信号ＳlLをローゲイン画像データＤlLに変換する。

ステップ４において、基準画像側の画像合成部２４ａは、ハイゲイン画像データＤrHとローゲイン画像データＤrLとを所定の重み付け演算によって合成することによって、合成画像データＤroを生成する。図３は、この重み付け演算の一例を示す図である。本実施形態において、Ａ／Ｄコンバータ２２ａと、Ａ／Ｄコンバータ２３ａとは、等しく10bitの分解能を有する。この場合、画像信号ＳrH，ＳrLは、ともに1024階調のデジタルデータに変換される。また、ここでは、ハイゲイン値を36dB（64倍）に設定し、ローゲイン値を6dB（2倍）に設定する。この場合、ローゲイン画像を32（2の5乗）倍することにより、理論上、ハイゲイン画像が得られる。このハイゲイン値のローゲイン値に対する比率をゲイン補正値とし、ローゲイン画像にゲイン補正値を乗じることにより得られるデータを補正画像データとする。

合成画像データは、（１）所定レンジの低階調域、（２）所定レンジの高階調域、および、（３）中間階調域（低階調域、高階調域を除く階調域）のいずれかに属する。各階調域では、ハイゲイン画像データとローゲイン画像データ（補正画像データ）との間で、異なる重み付けが設定される。この重み付けによって、ハイゲイン画像データの低階調域（低輝度部分）が鮮明になり、ローゲイン画像データの高階調域（高輝度部分）が鮮明になる。より詳細には、同図のように、（１）低階調域では、ハイゲイン画像データの重みが１に、また、補正画像データの重みが０に設定される。すなわち、ハイゲイン画像データがそのまま合成画像データとして用いられる。これは、ローゲイン画像の最小輝度1が、ハイゲイン画像の輝度32に相当し、ハイゲイン画像の輝度1〜32に相当するデータが、ローゲイン画像に存在しないことによる。（２）高階調域では、ハイゲイン画像データの重みが０に、また、補正画像データの重みが１に設定される。すなわち、補正画像データがそのまま合成画像データとして用いられる。上述のように、ハイゲイン画像データと補正画像データとは、本来、同じ画像になるはずである。ところが、実際には、ハイゲイン画像の最も明るい部分では輝度飽和が生じており、このハイゲイン画像の輝度1024（2の10乗）は、ローゲイン画像の輝度32（補正画像の輝度1024）に相当する。したがって、補正画像の輝度1024以上については、補正画像をそのまま使用する。（３）中間階調域では、階調の増加に伴って、ハイゲイン画像データの重みが１から０まで漸減されるとともに、補正画像データの重みが０から１まで漸増される。ハイゲイン画像の輝度32〜1024はローゲイン画像の輝度1〜32に対応し、ハイゲイン画像およびローゲイン画像の双方ともにデータが存在する。両者の重み付け平均値が、合成画像データとして用いられるべきである。不自然な継ぎ目が合成画像上で生じないように、輝度が大きい側はローゲイン画像の重みを１（ハイゲイン画像の重みを０）付近とし、輝度が小さい側はハイゲイン画像の重みを１（ローゲイン画像の重みを０）付近とする。

特に、ここでの画像合成を、２回のテーブル参照を用いて簡便に行うことができる。すなわち、画像合成用の第１のテーブルに、ハイゲイン画像データの輝度値と、これに対応する重み付け後のハイゲイン画像データの輝度値との対応関係を記述して、所定のメモリに記憶させておく。同様に、画像合成用の第２のテーブルに、ローゲイン画像データの輝度値と、これに対応する重み付け後の補正画像データの輝度値との対応関係を記述しておく。基準画像側の画像合成部２４ａは、画像合成時に、ハイゲイン画像データに基づいて第１のテーブルを参照して、重み付け後のハイゲイン画像データの輝度値を特定する。また、画像合成部２４ａは、ローゲイン画像データに基づいて第２のテーブルを参照して、重み付け後の補正画像データの輝度値を特定する。重み付け後のハイゲイン画像データの輝度値と、重み付け後の補正画像データの輝度値とが加算されて、合成画像データの輝度値が得られる。比較画像側における画像合成についても、同様のテーブル参照を用いることができる。

なお、中間階調域において、次のような重み付けを行ってもよい。図４は、重み付け演算の他の例を示す図である。図４（ａ）は、ハイゲイン画像のノイズが少ない場合の望ましい重み付けを示している。同図（ａ）に示すように、ハイゲイン画像のノイズが少ない場合には、ハイゲイン画像の重みをより大きくする。すなわち、合成画像データの階調の増加に伴って、ハイゲイン画像データの重みは１から漸減されていくとともに、ローゲイン画像の重みは０から漸増されていくが、階調の増加分に比べて、この漸減分および漸増分を小さく設定する。また、図４（ｂ）は、ローゲイン画像のノイズが少ない場合の望ましい重み付けを示している。ローゲイン画像のノイズが少ない場合には、ローゲイン画像の重みをより大きくする。すなわち、合成画像データの階調の増加分に対して、ハイゲイン画像データの重みの漸減分、および、ローゲイン画像データの重みの漸増分を大きく設定する。

図２のステップ４に続くステップ５において、画像合成部２４ａは、このようにして得られた合成画像データに対数変換を施す。すなわち、合成画像において、1024を超える輝度は、補正画像データと同一であり、32刻みの値をとる。合成画像の最大輝度値は32768（2の15乗）であるが、全階調数は、2016（＝1024＋（32768−1024）／32）しかない。したがって、対数変換を施すことによって、ビット数を縮小して、後段における演算量を低減させることが好ましい。例えば、15bitの合成画像を8bitに対数変換する場合、次の数式１によることができる。

また、画像合成と同様に、対数変換をテーブル参照によって簡便に行うことができる。すなわち、対数変換用のテーブルに、合成画像の輝度値と、対数変換後の合成画像の輝度値との対応関係を記述しておく。画像合成部２４ａは、対数変換時に、合成画像の輝度値に基づいて対数変換用のテーブルを参照して、対数変換後の輝度値を特定する。

つぎに、ステップ６において、ステレオ画像処理部２５は、（対数変換後の）合成画像データＤrと、合成画像データＤlとに基づくステレオ画像処理によって距離データを生成する。ステップ７において、認識部２６は、この距離データに基づいて物体認識を行い、認識結果に基づいて、警報表示および車両制御等を行う。合成画像データでは、画像の明るい部分での輝度飽和が避けられながら、暗い部分がはっきりと表現される。その結果、距離データが適切に生成され、物体認識が適正に実行されることになる。特に、警報表示に際しては、対数変換後の合成画像データにガンマ補正が施され、ドライバに対して、補正後の画像データに基づく表示が行われる。

このように、本実施形態によれば、基準画像側のハイゲイン画像データＳrHおよびローゲイン画像データＳrLが、所定の重み付け演算により合成される。この合成によって、（さらに所定の対数変換により）合成画像データＤrが生成され、同様に、比較画像側の合成画像データＤlが生成される。これら合成画像データＤr，Ｄlは、重み付け演算の適切な設定によって広ダイナミックレンジとなる。つまり、1台のＡ／Ｄコンバータでは分解能が不足するため、基準画像側では、一対のアンプ１２ａ，２１ａと、一対のＡ／Ｄコンバータ２２ａ，２３ａとによってダイナミックレンジを広げる。Ａ／Ｄコンバータ２２ａ，２３ａは、一般に流通する安価な低分解能（例えば10bit）のものであるが、この一対のＡ／Ｄコンバータによって、通常入手が困難で高価なより高分解能のＡ／Ｄコンバータの機能が実現される。特に、カメラ基板１０ａ上に、撮像素子１１ａと、ハイゲインアンプ１２ａとが実装され、また、画像認識基板２０上に、ローゲインアンプ２１ａと、認識部２６とが実装される。この回路配置によって、ハイゲインアンプに混入するノイズを減少させつつ、２つのカメラ基板と、画像認識基板との間で発生するグランドノイズを減少させること等ができる。その結果、装置内で発生する電気的ノイズの低減、すなわち耐ノイズ性の向上が図られ、夜間の撮像画像を適切に精度良く処理することが可能となる。さらに、従来のように、画像を常時監視して、画像に応じて、撮像素子のシャッタースピード、または、アンプにおけるゲイン等を調整する必要がない。したがって、より小さな演算負荷によって上記処理が実現されることになる。

なお、本実施形態では、ステレオカメラ１を用いて生成された距離データに基づく画像認識処理について説明した。しかしながら、本発明はこれに限定されるものではなく、1台の単眼カメラによる撮像画像に基づく画像認識処理にも適用可能である。例えば、画像内対象物のオプティカルフロー検出を行う場合、1台のカメラを用いて所定の間隔で繰返し撮像することによって、時系列的な複数の撮像画像が得られる。そして、認識部は、画像認識処理として、撮像画像から生成された複数群の合成画像データの間で同一物体の検出を試みる。また、画像内におけるパターンマッチングを行う場合、1台のカメラによる撮像画像から合成画像データが生成され、認識部は、画像認識処理として、この合成画像データ中で、所定パターンの画像データの検出を試みる。

また、本実施形態では、画像認識基板２０上にステレオ画像処理部２５および認識部２６を設けた構成としているが、認識部２６を別基板上に配置することも可能である。この場合、画像認識基板２０上で実行される画像認識処理は、少なくともステレオ画像処理部２５における処理となる。

画像認識装置のブロック構成図 画像処理の流れを示すフローチャート 重み付け演算の一例を示す図 重み付け演算の他の例を示す図

符号の説明

１ ステレオカメラ
１ａ メインカメラ
１ｂ サブカメラ
１０ａ 基準画像側カメラ基板
１０ｂ 比較画像側カメラ基板
１１ａ，１１ｂ 撮像素子
１２ａ，１２ｂ ハイゲインアンプ
２０ 画像認識基板
２１ａ，２１ｂ ローゲインアンプ
２２ａ，２２ｂ ハイゲインＡ／Ｄコンバータ
２３ａ，２３ｂ ローゲインＡ／Ｄコンバータ
２４ａ，２４ｂ 画像合成部
２５ ステレオ画像処理部
２６ 認識部

Claims (4)

1. カメラ基板と、前記カメラ基板に電気的に接続された画像認識基板とを有する画像認識装置において、
   前記カメラ基板上に実装され、撮像画像信号を出力する撮像素子と、
   前記カメラ基板上に実装され、前記撮像画像信号を所定のゲインで増幅することによって、低輝度部分を鮮明化したハイゲイン画像信号を出力するハイゲインアンプと、
   前記画像認識基板上に実装され、前記撮像画像信号を、前記ハイゲインアンプよりも小さなゲインで増幅することによって、高輝度部分を鮮明化したローゲイン画像信号を出力するローゲインアンプと、
   前記画像認識基板上に実装され、前記ハイゲイン画像信号および前記ローゲイン画像信号を合成する画像合成部と、
   前記画像認識基板上に実装され、前記画像合成部によって合成された画像信号に基づいて、画像認識処理を行う認識部と
   を有することを特徴とする画像認識装置。
2. 前記画像認識基板上に実装され、前記ハイゲインアンプから出力された前記ハイゲイン画像信号をハイゲイン画像データにデジタル化し、当該デジタル化されたハイゲイン画像信号を前記画像合成部に出力するハイゲインＡ／Ｄコンバータと、
   前記画像認識基板上に実装され、前記ローゲインアンプから出力された前記ローゲイン画像信号をローゲイン画像データにデジタル化し、当該デジタル化されたローゲイン画像信号を前記画像合成部に出力するローゲインＡ／Ｄコンバータとをさらに有することを特徴とする請求項１に記載された画像認識装置。
3. 前記画像合成部は、前記ハイゲインＡ／Ｄコンバータの分解能および前記ローゲインＡ／Ｄコンバータの分解能に基づいた所定の重み付け演算によって前記画像信号の合成を行うことを特徴とする請求項２に記載された画像認識装置。
4. 第１のカメラ基板と、第２のカメラ基板と、前記第１のカメラ基板および前記第２のカメラ基板のそれぞれに電気的に接続された画像認識基板とを有する画像認識装置において、
   前記第１のカメラ基板上に実装され、第１の撮像画像信号を出力する第１の撮像素子と、
   前記第１のカメラ基板上に実装され、前記第１の撮像画像信号を、所定のゲインで増幅することによって、低輝度部分を鮮明化した第１のハイゲイン画像信号を出力する第１のハイゲインアンプと、
   前記第２のカメラ基板上の、前記第１の撮像素子に対応する位置に実装され、第２の撮像画像信号を出力する第２の撮像素子と、
   前記第２のカメラ基板上に実装され、前記第２の撮像画像信号を、前記第１のハイゲインアンプのゲインで増幅することによって、低輝度部分を鮮明化した第２のハイゲイン画像信号を出力する第２のハイゲインアンプと、
   前記画像認識基板上に実装され、前記第１の撮像画像信号を、前記第１のハイゲインアンプよりも小さなゲインで増幅することによって、高輝度部分を鮮明化した第１のローゲイン画像信号を出力する第１のローゲインアンプと、
   前記画像認識基板上に実装され、前記第２の撮像画像信号を、前記第１のローゲインアンプのゲインで増幅することによって、高輝度部分を鮮明化した第２のローゲイン画像信号を出力する第２のローゲインアンプと、
   前記画像認識基板上に実装され、前記第１のハイゲイン画像信号および前記第１のローゲイン画像信号を合成することによって得られた第１の画像信号と、前記第２のハイゲイン画像信号および前記第２のローゲイン画像信号を合成することによって得られた第２の画像信号とに基づいて、画像認識処理を行う認識部と
   を有することを特徴とする画像認識装置。

Images