JP2019146012A - 撮像装置 - Google Patents

Abstract

【課題】道路脇の背の高い物体のつくる日陰に存在する認識対象物の認識が容易になる撮像装置を提供すること。【解決手段】自車両に搭載された複数のカメラ１１，１２と，複数のカメラの露光を制御する制御装置２０を備える車載ステレオカメラ装置１００であって，制御装置は，複数のカメラで撮影された複数の画像から生成される視差画像に基づいて，道路脇に存在する道路脇立体物を認識する要素認識部２４と，視差画像の基となる画像が複数のカメラで撮影された日時と自車両の位置の時系列データに基づいて要素認識部により認識された道路脇立体物の車両側に陰が発生しているか否かを判定する陰判定部２５とを有し，制御装置は，陰判定部により道路脇立体物に陰が発生していると判定された場合，その道路脇立体物の輝度に応じて複数のカメラの少なくとも１つの露光を制御する露光制御部２６を有する。【選択図】 図２

Description

本発明は車両にフロントセンシングシステムとして複数のカメラを搭載した撮像装置に関する。

自動車の安全運転や自動運転に向けた社会的認知度の向上により，車載カメラ装置における各種物体認識への要求レベルは年々高まりつつある。ステレオカメラ装置は，画像による視覚的な情報と，対象物への距離情報を同時に計測するため，自動車周辺の様々な対象物（人，車，立体物，白線・路面，標識など）を詳細に把握でき，運転支援時の安全性の向上に寄与するデバイスであると言える。

単眼やステレオなどの車載カメラを使った安全支援技術の核となるのが画像認識技術であり，更には認識しやすい画像を提供する露光制御技術が重要となってくる。しかし，認識対象や走行地域が多様化することに伴って，露光制御をどのように行うのかが深刻な問題となりつつある。その一例が標識認識である。画像処理技術の向上により，フロントカメラで撮像された画像内に映った標識を認識することが可能となってきたが，その一方で，あらゆる位置に出現する可能性のある多種多様な標識を，どのように撮像すべきか，露光の制御方法が難しくなってきた。

この問題を解決する手段の一つとして，アプリケーションごとによる露光の棲み分けという話がある。特許文献１には，アプリケーションごとに必要とする露光時間（撮像パラメータの範囲）を管理し，それを元に露光時間を制御する技術が開示されている。

特開２０１６−３２２５５号公報

特許文献１を含め，通常，露光制御は，画像全体の明るさや，車両制御に影響を与える物体が写る画像上の自車前方や路面領域内の明るさに基づいて行われる。

ところで，ある程度の高さを有する木や構造物（側壁，建物等）等の物体が道路脇に沿って林立している場所（森林，建物が続く市街地，側壁が続く場所等）は自車と太陽の位置関係にも依るが日陰になって日中でも暗くなりやすい。このような場所に標識や人を含む認識対象物が存在した状況で通常の露光制御で撮像を行うと，撮像画像上で認識対象物が森林等にできた陰とともに黒つぶれとなることがある。すなわち，自車前方や路面領域内の明るさに基づく通常の露光制御では当該認識対象物を検知できず，状況に適した車両制御が困難になるおそれがある。

本発明は，上記の課題に鑑みてなされたものであり，道路脇の背の高い物体のつくる日陰に存在する認識対象物の認識が容易になる撮像装置を提供することを目的とする。

本願は上記課題を解決する手段を複数含んでいるが，その一例を挙げるならば，車両に搭載された複数のカメラと，前記複数のカメラの露光を制御する制御装置を備える撮像装置であって，前記制御装置は，前記複数のカメラで撮影された複数の画像から生成される視差画像に基づいて，道路脇に存在する立体物を認識する要素認識部と，前記視差画像の基となる画像が前記複数のカメラで撮影された日時と前記車両の位置の時系列データに基づいて前記要素認識部により認識された前記立体物の前記車両側に陰が発生しているか否かを判定する陰判定部とを有し，前記制御装置は，前記陰判定部により前記立体物に陰が発生していると判定された場合，前記複数のカメラの少なくとも１つの制御の設定と前記複数のカメラの少なくとも１つで撮影された画像に対する画像処理の設定のいずれかを前記立体物の画像特徴量に応じて変更することを特徴とする。

本発明によれば，道路脇の背の高い物体により日陰が生じていることを認識でき，その日陰部分の明るさに応じた露光制御や画像処理が実行されるので，日陰内の認識対象物の認識が容易になる。上記した以外の課題，構成及び効果は，以下の実施形態の説明により明らかにされる。

車載ステレオカメラ装置（撮像装置）１００の概略システム図。 制御装置２０の機能ブロック図。 第１実施形態における制御装置２０が実行する露光制御処理のフローチャート。 第１実施形態における道路脇立体物の認識方法の説明図。 ステレオカメラ装置１００による撮像画像の一例において要素認識部２４による認識結果の一例を示す図。 ヨーロッパ諸国において道路標識の地色が黄色である国を斜線で示した図。 陰判定部２５により実行される判定処理の説明図。 第２実施形態における制御装置２０が実行する露光制御処理のフローチャート。 第３実施形態における制御装置２０が実行する露光制御処理のフローチャート。 第４実施形態における制御装置２０内の要素認識部２４の機能ブロック図。 第４実施形態における制御装置２０が実行する露光制御処理のフローチャート。 路端検知部３０４で検知した路端を示す図。 分岐路において路端検知部３０４で検知した路端を示す図。 合流路において路端検知部３０４で検知した路端を示す図。

以下，本発明の実施形態について図面を用いて説明する。
図１は，本発明の実施形態に係る車載ステレオカメラ装置（撮像装置）の概略システム図である。

本実施形態では，本発明に係る撮像装置の一例としての２台のカメラ１１，１２と制御装置２０を備えた車載ステレオカメラ装置１００について説明する。車載ステレオカメラ装置１００は，不図示の車両に搭載され，車両前方の撮影対象領域の画像を左右のカメラ１１及び１２によって撮像し，その撮像画像に基づいて車外環境を認識する装置である。

車載ステレオカメラ装置１００は，例えば，道路の白線，歩行者，車両，その他の立体物，信号，標識，点灯ランプなどの認識を行い，その認識に基づいて車載ステレオカメラ装置１００が搭載された車両のブレーキ，ステアリング調整などの調整が行われる。また，車載ステレオカメラ装置１００を車両（以下，「自車」，「自車両」とも称する）に搭載した後に，車両工場において光軸や測距誤差の補正量等を計算するエーミング処理も，この車載ステレオカメラ装置１００によって行う。

車載ステレオカメラ装置１００は，車両の左右方向に所定の間隔（カメラ間距離）を介して配置され，所定の撮影設定（露光時間，焦点距離，ゲイン，ホワイトバランス等）で画像情報を定期的に取得（画像を撮像）する２つのカメラ１１及び１２と，このカメラ１１，１２の露光制御をはじめとするカメラ制御，及びカメラ１１，１２が撮影した画像に対する画像処理などの各種制御処理を実行する制御装置２０とを備える。

制御装置２０は，例えばマイクロコンピュータで構成できる。この場合の制御装置２０は，いずれも図示しないが，例えば，入力部と，プロセッサである中央処理装置（ＣＰＵ又はＭＰＵ）と，記憶装置であるリードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）と，出力部とをそれぞれ有している。入力部は，制御装置２０に入力される各種情報を，ＣＰＵが演算可能なように変換する。ＲＯＭは，適宜後述する演算処理を実行する制御プログラムと，当該演算処理の実行に必要な各種情報等が記憶された記録媒体であり，ＣＰＵは，ＲＯＭに記憶された制御プログラムに従って入力部及びＲＯＭ，ＲＡＭから取り入れた信号に対して所定の演算処理（フローチャートを利用して後述する各種演算処理も含む）を行う。出力部からは，出力対象を制御するための指令や出力対象が利用する情報等が出力される。なお，記憶装置は上記のＲＯＭ及びＲＡＭという半導体メモリに限られず，例えばハードディスクドライブ等の磁気記憶装置に代替可能である。さらに，制御装置２０は，複数のマイクロコンピュータで構成することも可能であるし，ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプログラム可能な集積回路で代替することも可能である。

また，制御装置２０は，画像入力インタフェース１３と，画像処理部１４と，演算処理部１５と，記憶部１６と，ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェース１７と，制御処理部１８と，これら各部を相互通信可能に接続する内部バス１９とを備えている。このうち，画像入力インタフェース１３とＣＡＮインタフェース１７は上記説明の入力部及び出力部に該当し，画像処理部１４，演算処理部１５及び制御処理部１８は上記説明のプロセッサに該当し，記憶部１６は上記説明の記憶装置に該当する。

画像入力インタフェース１３は，カメラ１１及び１２の撮像を制御して，撮像した画像を制御装置２０内に取り込むためものである。画像入力インタフェース１３を通して取り込まれたカメラ１１及び１２による撮像画像のデータは，内部バス１９を介して制御装置内２０で授受され，画像処理部１４や演算処理部１５で処理され，処理途中の結果や最終結果となる画像データなどが記憶部１６に記憶される。

画像処理部１４は，ステレオカメラであるカメラ１１及び１２のうちカメラ１１の撮像素子から得られる第一の画像と，カメラ１２の撮像素子から得られる第二の画像とを比較して，それぞれの画像に対して，撮像素子に起因するデバイス固有の偏差の補正や，ノイズ補間などの画像補正処理を行い，これを記憶部１０６に記憶する。更に第一の画像と第二の画像の間で同じ物（同じパターン）が撮影された位置のズレを示す距離情報（視差情報）を公知の方法で計算して視差画像（距離画像）を生成し，その視差画像等を記憶部１０６に記憶する。

演算処理部１５は，記憶部１６に蓄えられた撮像画像および視差画像（カメラ１１，１２の撮像画像上の各点に対してカメラ１１，１２からの距離情報が付加された画像）を使い，車両周辺の環境を知覚するために必要な，各種物体の認識を行う。各種物体とは，人，他の車両，その他の障害物，信号機，標識，他の車両のテールランプやヘッドライドなどである。これら認識結果や中間的な計算結果の一部が，先程と同様に記憶部１６に記録される。撮像した画像に対して各種物体認識を行った後に，これら認識結果を用いて車両制御に必要な情報を計算する。

計算の結果として得られた車両の制御方針や，物体認識結果の一部はＣＡＮインタフェース１７を通して，車載ネットワークＣＡＮ１１０に伝えられ，これにより車両の制御が行われる。また，これらの動作について，各処理部が異常動作を起こしていないか，データ転送時にエラーが発生していないかどうかなどを，制御処理部１８が監視しており，異常動作を防ぐ仕掛けとなっている。

記憶部１６は，例えば，画像処理部１４によって画像処理された画像情報等や，演算処理部１５によって演算処理された画像情報等を記憶する半導体メモリ等により構成されている。

車載ネットワークＣＡＮ１１０との入出力を行うＣＡＮインタフェース１７は，車載ステレオカメラ装置１００から出力された情報を，車載ネットワークＣＡＮ１１０を介して自車両の制御システム（図示せず）に出力する。

図２は本実施形態に係る制御装置２０の機能ブロック図である。制御装置２０は，画像処理部２１と，画像バッファ部２２と，視差処理部２３と，要素認識部２４と，陰判定部２５と，露光制御部２６と，国判定部２７と，道路判定部２８と，認識辞書記憶部３１と，走行ログ記憶部３２と，国別辞書記憶部３３とを備えている。このうち，画像処理部２１，画像バッファ部２２，視差処理部２３，要素認識部２４，陰判定部２５，露光制御部２６，国判定部２７及び道路判定部２８の機能は，記憶装置（記憶部１６）に記憶されたプログラムに基づくプロセッサの演算処理により実現される。また，認識辞書記憶部３１，走行ログ記憶部３２，国別辞書記憶部３３は，制御装置２０内の記憶装置（記憶部１６）内に構築されている。

画像処理部２１は，左右のカメラ１１，１２が所定周期で撮像した画像データのそれぞれについて，カメラ１１，１２の撮像素子（不図示）が持つ固有の癖を吸収するための補正処理を含む画像処理を実行する部分である。この画像処理は既知の如何なる手法を用いることができる。画像処理部２１の画像処理結果である補正された２つの画像（左右画像）はその撮影日時（日付及び時刻）とともに画像バッファ部２２に格納される。

視差処理部２３は，画像処理部２１で補正され画像バッファ部２２に格納された左右画像を使って画像同士の照合を行うことで視差情報（距離情報）を取得し，その取得した視差情報を基に視差画像（距離画像）を生成する。左右画像における対象物上の或る点が，左右画像上の何処と何処に対応するかを明らかにすることで視差情報は算出でき，例えば算出した視差とカメラ１１，１２の焦点距離とカメラ１１，１２間の距離とから三角測量の原理によって，カメラ１１，１２から当該対象物上の或る点までの距離を算出できる。画像処理部２１および視差処理部２３は，図１の画像処理部１４で実行され，ここで得られた視差画像や視差情報等は記憶部１０６に格納される。

要素認識部２４は，カメラ１１，１２で撮影された２つの画像（左右画像）から生成される視差画像（距離画像）に基づいて，道路脇（自車が走行する道路の左右の路面端よりも外側の領域）に存在する立体物（以下「道路脇立体物」と称することがある）を認識（検知）する処理を実行する。詳細は後述するが，道路脇立体物の認識方法には，視差画像上でカメラ１１，１２からの距離が所定の閾値（距離閾値）Ｄ１以上離れており，かつ，同一距離での出現頻度が所定の閾値（頻度閾値）Ｎ１を超えた立体物を道路脇立体物とみなす方法がある。

陰判定部２５は，走行ログ記憶部３２に記憶された車両の位置の時系列データと時刻（例えば，カメラ１１，１２が左右画像を撮影した時刻や，陰判定部２５が陰判定処理を実行した時刻）に基づいて要素認識部２４により認識された道路脇立体物における車両側（自車側）に陰が発生しているか否か，換言すればカメラ１１，１２による左右画像上の道路脇立体物に陰が現れているか否か，を判定する処理を実行する。

露光制御部２６は，陰判定部２５により道路脇立体物に陰が発生している（すなわち，左右画像上の道路脇立体物に陰が現れている）と判定された場合，画像バッファ部２２に格納された左右画像における道路脇立体物の輝度に応じて２つのカメラ１１，１２のうち少なくとも一方の露光を制御する処理を実行する。本実施形態では，陰判定部２５により道路脇立体物に陰が発生していないと判定された場合，露光制御部２６は道路脇立体物の輝度に応じた露光制御を行わずにプログラムで定義された他の露光制御（通常の露光制御）を行うものとする。

認識辞書記憶部３１は，例えば，要素認識部２４の認識対象の形状や動作の特徴を，その種類（名称）や意味合いと対応付けて，辞書として記憶した認識辞書を記憶している。要素認識部２４は，カメラ１１，１２の撮像画像上の物体の認識の際に必要に応じて認識辞書記憶部３１内の認識辞書を参照できる。本実施形態では，認識辞書記憶部３１は記憶部１０６に格納されているが，不図示の他の記憶装置に格納されていてもよい。

走行ログ記憶部３２には，自車両の位置の時系列データが位置算出時刻と関連付けて記憶されている。走行ログ記憶部３２は，自車両の位置データを演算する外部端末４１を車載ステレオカメラ装置１００に接続するケーブル６１を介して自車両の位置データを入力して自車両の位置の時系列データを取得している。本実施形態の自車両の位置データは緯度経度情報で定義されている。本実施形態の外部端末４１にはＧＰＳ受信機４２が搭載されており，外部端末４１はＧＰＳ受信機４２が複数のＧＰＳ衛星から受信した信号を基に自車両の位置を演算し，その演算結果を車載ステレオカメラ装置１００に出力している。本実施形態では，走行ログ記憶部３２は記憶部１０６に格納されているが，不図示の他の記憶装置に格納されているものであってもよい。なお，自車両の位置データの入力元はＧＰＳ受信機４２を備えた外部端末４１に限定されず，例えば他の衛星測位システムを利用する端末でも良く，またその端末とのデータ授受のためのネットワーク構築は有線接続（ケーブル６１）に限定されず，無線接続で行っても良い。

国別辞書記憶部３３には，国境の位置データ（国境線の緯度経度情報）と，各国の市街道路及び高速道路の位置データである道路種別位置データと，各国の道路標識の仕様データとが記憶されている。このうち各国の道路標識の仕様データには，各国の反射式標識の地色（例えば，図６で斜線を付した国（フィンランド，アイスランド，ポーランド，スウェーデン）等では地色は黄色），標識の照明方式の種類（例えば，反射式標識（外部照明式標識），内部照明式標識，電光式標識），内部照明式や電光式標識の場合はその光源の点滅周期が含まれる。本実施形態では，国別辞書記憶部３３は記憶部１０６に格納されているが，不図示の他の記憶装置に格納されていてもよい。

国判定部２７は，走行ログ記憶部３２に格納された自車両の位置データと，国別辞書記憶部３３に格納された国境の位置データに基づいて自車両の位置する国を判定する処理を実行する。例えば国境の位置データが各国境上に位置する点の集合の場合には，その中の特定の点の集合が閉領域を規定することで国の領域が定義されるが，自車両の位置がどの閉領域内に属するかに基づいて自車両が走行中の国を判定することができる。

道路判定部２８は，走行ログ記憶部３２に格納された自車両の位置データと，国別辞書記憶部３３に格納された道路種別位置データに基づいて自車両が位置する道路種別を判定する処理を実行する。例えば各国の市街道路及び高速道路の位置データがそれぞれ市街道路及び高速道路上に位置する点の集合で規定されている場合には，自車両の位置データがその中のどの点に最も近いかを判定し，その最も近いと判定された点が示す道路の種別を自車が走行中の道路種別と判定することができる。

図３は本実施形態に係る制御装置２０が実行する露光制御処理のフローチャートである。制御装置２０は図３のフローチャートを所定の制御周期で繰り返し実行している。ただし，制御装置２０は当該制御周期に係わらず所定の指令をトリガーに処理を開始することもできる。なお，図３のフローチャートでは画像処理部２１が行う画像処理（例えば，左右のカメラ１１，１２が撮像した２つの画像（左右画像）の補正処理と，その補正後の左右画像を画像バッファ部２２へ格納する処理）については説明を省略している。

処理を開始すると視差処理部２３はステップＳ３１で，２台のカメラ１１，１２が同時刻に撮像した２枚の撮像画像（左右画像）に基づいて視差画像を生成する。

ステップＳ３２では，要素認識部２４は，ステップＳ３１で生成された視差画像中で自車の走行する道路脇に所定の立体物（道路脇立体物）が存在するか否かを探索する。図４は本実施形態における道路脇立体物の認識方法の説明図である。本実施形態では図４に示すようにステップＳ３１の視差画像を一定幅（例えば左右画像の対応部分の特定に利用される矩形状の領域の幅）の複数の短冊に分割し，その短冊の１つに含まれる物体の距離（カメラ１１，１２から当該物体までの距離であり，さらに換言すると視差情報（Ｚ−ｐｅａｋ））を階級（横軸）とするヒストグラムを作成する。要素認識部２４は，このヒストグラムで距離が距離閾値Ｄ１以上で出現頻度（度数）が頻度閾値Ｎ１を超える距離（階級）が存在するか否かを判定し，この条件を満たす距離（階級）が存在する場合にはその距離に係る物体を道路脇立体物として認識する。

距離閾値Ｄ１は，画像上の物体が路面上に存在しているのか，または路面の外側（すなわち道路脇）に存在しているのかを判定するための閾値であり，距離が距離閾値Ｄ１未満の物体は路面上に存在するとみなされる。逆に距離が距離閾値Ｄ１以上の物体は道路脇に存在しているとみなされ道路脇立体物の候補となる。距離閾値Ｄ１は路面における自車の位置や路面幅に応じて変化させても良い。また，先行車の近傍に位置する道路脇立体物は自車から先行車までの距離よりも遠い位置に存在することを鑑みて，図５のように先行車５３が認識されている場合には「その先行車までの距離＋α」（ただし，αは設定値）の距離を距離閾値Ｄ１としても良い。

頻度閾値Ｎ１は，画像上の物体が比較的高さのある物体であるか否かを判定するための閾値であり，頻度が頻度閾値Ｎ１以下の物体は背が比較的低く陰ができても車両制御に影響を与えないとみなす。逆に頻度閾値Ｎ１を超える物体は背が比較的高く，その物体に陰ができた場合には標識や人等の認識対象物が画像上で陰と見分けがつかない状態で撮像され見逃される虞があるとみなし道路脇立体物の候補とする。頻度閾値Ｎ１は見逃され易い認識対象物の一般的な高さに応じて決定できる。例えば森林中の標識が見逃される虞が高い地域では，標識の下端（標識を支持するポールは除く）の高さの下限値を頻度閾値Ｎ１と設定することができる。

距離閾値Ｄ１及び頻度閾値Ｎ１との比較は，１枚の視差画像から得られる全ての短冊を対象とする必要はない。例えば，通常，視差画像の中央部には路面上の物体が撮像されているため，視差画像の左右の領域に位置する所定数の短冊に限定しても良い。また，先行車までの距離＋αの距離を頻度閾値Ｎ１とした場合には，その先行車から路端側に位置する短冊を順番に選択しても良い。

上記の処理によりステップＳ３２で要素認識部２４により道路脇立体物が認識された場合にはステップＳ３３に進み，認識されなかった場合にはステップＳ３７に進む。

ステップＳ３７では，露光制御部２６は道路脇立体物の輝度に応じた露光制御を行わずに自車前方や路面領域内の明るさに基づく通常の露光制御を行う。なお，ステップＳ３７で実施する露光制御は通常の露光制御に限らず，プログラムで定義された他の露光制御でも構わない。また，露光制御の対象は２つのカメラ１１，１２の双方でも構わないし，いずれか一方だけでも構わない。

ステップＳ３３では，陰判定部２５は，走行ログ記憶部３２に格納された自車両の位置の時系列データのうち，ステップＳ３１の視差画像の基となる左右画像が撮像された時刻を基準として直近の複数の時系列データから自車両の進行方向（自車両の向かっている方角）を算出し，同様に直近の自車両の位置データから現在（陰判定部２５による演算実行時）の位置（緯度及び経度）を算出する。これにより図７に示す自車両の現在位置７１と進行方向７２が特定できる。なお，自車両の進行方向と現在位置の演算は上記以外の時刻における自車両の位置データに基づいて算出しても良い。

ステップＳ３４では，陰判定部２５は，ステップＳ３１の視差画像の基となる左右画像の撮影日時と，ステップＳ３３で演算した自車両の位置（緯度及び経度）とから太陽の位置（太陽高度と太陽方位）を演算する。このうち太陽高度は例えば仰角を正，俯角を負と定義することで規定できる。太陽方位は例えば北を０度，東を９０度，南を１８０度，西を２７０度と定義することで規定できる。すなわち太陽高度と太陽方位はいずれも角度で規定できる。これにより図７に示す自車両に対する太陽の位置７３が特定できる。

ステップＳ３５では，陰判定部２５は，ステップＳ３２で認識された道路脇立体物の位置と，ステップＳ３３で演算した自車両の進行方向及び位置と，ステップＳ３４で演算した太陽の位置とに基づいて道路脇立体物にどのような陰が現れるかをシミュレーションし，その結果と道路脇立体物に対する自車両の位置と自車両の進行方向に基づいて道路脇立体物における自車両側に陰が発生しているか否か（左右画像上の道路脇立体物に陰が現れているか否か）を判定する。陰が発生していると判定された場合にはステップＳ３６に進み，陰は発生していないと判定された場合はステップＳ３７に進む。例えば図７で自車両からみて左側の道路脇に林立した木々（道路脇立体物）７４は自車両から見える部分が陰となるためステップＳ３５の判定結果はＹＥＳとなる。一方，右側の木々７５は自車両から見える部分は陰とならない又は陰が生じたとしても面積が狭いとみなしてステップＳ３５の判定結果はＮＯとなる。

なお，ステップＳ３５で判定結果がＹＥＳの道路脇立体物が存在した場合には，視差画像又は左右画像上でその道路脇立体物に隣接し形状や輝度が類似する物体を連結して図５に示すような面的な陰領域と認識してステップＳ３６の処理に移行しても良い。

ステップＳ３６では，露光制御部２６は，ステップＳ３１の視差画像の基となる左右画像における道路脇立体物の輝度に応じて２つのカメラ１１，１２の少なくとも一方の露光を制御する処理を実行する。具体的には露光制御部２６は，カメラ１１，１２のゲイン，絞り，露光時間（電荷読み取り速度）の少なくとも１つを道路脇立体物の輝度に応じて増加することで露光量を増加させる。これにより例えば自車前方や路面領域内を露出の基準とした場合（通常の露光制御を行った場合）よりも，陰となっている道路脇立体物やその陰に隠れた認識対象物（例えば図５の標識５２）が明るく撮像されるので，道路脇立体物の陰に隠れた認識対象物（例えば標識５２）が認識し易くなる。

なお，ステップＳ３６における露光制御は，ゲイン，絞り，露光時間の少なくとも１つを道路脇立体物の輝度に応じて増加させることに限らず，ゲイン，絞り，露光時間の少なくとも１つを予め定めた量だけ増加させても良い。

以上のように本実施形態の車載ステレオカメラ装置１００では，要素認識部２４により視差画像に基づいて道路脇（路面端より外側）に存在する立体物（道路脇立体物）を認識し，陰判定部２５により自車両の位置の時系列データと視差画像の基となる左右画像の撮像日時に基づいて要素認識部２４により認識された道路脇立体物に左右画像上で陰が発生しているか否かを判定し，陰判定部２５により陰が発生していると判定された場合には，露光制御部２６により道路脇立体物の輝度に応じてステレオカメラの露光量を増加することとした。これにより，左右画像（カメラ１１，１２の撮像画像）上に写った道路脇立体物の暗い部分が陰か否かを判断でき，暗い部分が陰の場合には露光量を増加することでその道路脇立体物やその陰に隠れた認識対象物が明るく撮像されるので，道路脇立体物の陰に隠れた認識対象物が認識し易くなる。

＜第２実施形態＞
次に制御装置２０が他の露光制御処理のフローチャートを実行する場合ついて説明する。図８は第２実施形態に係る制御装置２０が実行する露光制御処理のフローチャートである。車載ステレオカメラ装置１００のハードウェア構成は第１実施形態と同じであり，図８中の処理のうち図３の処理と同じものは同じ符号を付して説明は省略することがある。制御装置２０は図８のフローチャートを所定の制御周期で繰り返し実行している。

ステップＳ４１では，国判定部２７は，ステップＳ３３で算出した自車両の位置データと，国別辞書記憶部３３に格納された国境の位置データに基づいて自車両の位置する国を判定する処理を実行する。

ステップＳ４２では，露光制御部２６は，ステップＳ３１の視差画像の基となる左右画像における道路脇立体物の輝度と，ステップＳ４１で自車両が位置すると判定された国の標識の地色に応じて２つのカメラ１１，１２の少なくとも一方の露光を制御する処理を実行する。例えば図６で斜線を付した国（フィンランド，アイスランド，ポーランド，スウェーデン）では反射式標識（外部照明式標識）の地色が黄色であり，西欧中心部の他国の地色が白い反射式標識と異なり，道路脇立体物の陰に入ると非常にコントラストが得にくいという課題がある。この課題に対して本実施形態では，カメラ１１，１２のゲイン，絞り，露光時間（電荷読み取り速度）の少なくとも１つを道路脇立体物の輝度と自車両が走行中の国の反射式標識の地色とに応じて増加することで露光量を増加させる。

上記のように構成した本実施形態によれば，例えば自車前方や路面領域内を露出の基準とした場合（通常の露光制御を行った場合）よりも，陰となっている道路脇立体物やその陰に隠れた地色の黄色い反射式標識が明るく撮像されるので，道路脇立体物の陰に隠れた反射式標識が認識し易くなる。

なお，上記では自車両が走行中の国の判別は，各国境上に位置する点の集合からなる国境の位置データに基づいて行ったが，外部から入力されるＣＡＮ通信に対応したフォーマットの地図データ（例えばナビゲーションシステムに記憶された地図）や画像認識の結果（例えば画像認識した標識から国を特定する）等の情報に基づいて国を判別しても良い。

＜第３実施形態＞
次に制御装置２０が他の露光制御処理のフローチャートを実行する場合ついて説明する。図９は第３実施形態に係る制御装置２０が実行する露光制御処理のフローチャートである。車載ステレオカメラ装置１００のハードウェア構成は第１実施形態と同じであり，図９中の処理のうち図３及び図９の処理と同じものは同じ符号を付して説明は省略することがある。制御装置２０は図９のフローチャートを所定の制御周期で繰り返し実行している。

ステップＳ４３では，道路判定部２８は，ステップＳ３３で算出した自車両の位置データと，国別辞書記憶部３３に格納された道路種別位置データに基づいて，自車両が位置する道路の種別が市街道路及び高速道路のいずれであるかを演算する。

ステップＳ４４では，道路判定部２８は，自車両が位置する道路の種別が高速道路か否かを判定し，高速道路の場合には標識の照明方式の種類が内部照明式や電光式標識であるとみなしてステップＳ４５へ進み，市街道路の場合には標識の照明方式の種類が反射式標識であるとみなしてステップＳ４２に進む。

ステップＳ４５では，露光制御部２６は，ステップＳ３１の視差画像の基となる左右画像における道路脇立体物の輝度と，ステップＳ４１で自車両が位置すると判定された国の内部照明式や電光式標識の光源の点滅周期に応じて２つのカメラ１１，１２の少なくとも一方の露光を制御する処理を実行する。例えば内部照明式や電光式標識の光源の点滅周期は国ごとに異なる可能性があり，カメラ１１，１２の露光時間が点滅周期より短いとフリッカー現象が生じて物体認識に適した画像が得られない虞がある。この点に対して本実施形態では，カメラ１１，１２の露光時間を自車両が走行中の国の内部照明式や電光式標識の光源の点滅周期よりも長くすることでフリッカー現象の発生を回避している。

上記のように構成した本実施形態によれば，自車両が走行中の国の内部照明式や電光式標識の光源の点滅周期よりもカメラ１１，１２の露光時間を長くすることでフリッカー現象の発生を回避できる。

＜第４実施形態＞
次に，要素認識部２４で自車両が走行中の路面領域（路端）を認識し，その後道路脇立体物を認識する場合を第４実施形態として説明する。なお，車載ステレオカメラ装置１００のハードウェア構成は第１実施形態と同じであり説明は省略する。

図１０は要素認識部２４の機能ブロック図である。要素認識部２４は，カメラ１１，１２の撮像画像における各種物体である各要素を認識する。本実施形態では，要素認識部２４は，各要素の一つである道路脇立体物を認識する道路脇立体物認識部３０１と，各要素の一つである信号機を認識する信号機認識部３０２と，各要素の一つである立体物・歩行者の検知を行う立体物・歩行者検知部３０３と，各要素の一つである路端の検知を行う路端検知部３０４と，各要素の一つである標識の認識を行う標識認識部３０５と，各要素の一つである路面マークのゼブラゾーン（導流帯）や路面に表示された白線や案内を認識するゼブラゾーン認識部３０６と，各要素の一つである路面上の立体物を認識する路面立体物認識３０７と，各要素の一つである高速道路の行き先を示す看板を認識する行き先看板認識部３０８と，を有して，それぞれで各要素の認識，検知を行う。

路端検知部３０４では，自車両が走行している道路の路端を検知する。この路端の検知について，図１２Ａ，図１２Ｂ及び図１２Ｃを参照しながら，説明する
図１２Ａは，路端検知部３０４で検知した路端を示す図である。図１２Ａは，左右のカメラ１１及び１２で自車両の前方を撮像した撮像画像の一例である。図１２Ｂは，分岐路において路端検知部３０４で検知した路端を示す図である。図１２は，図１２Ａとは別の道路で，左右のカメラ１１及び１２で自車両の前方を撮像した撮像画像を俯瞰した図に加工した図の一例である。図１２Ｃは，合流路において路端検知部３０４で検知した路端を示す図である。図１２Ｃは，図１２Ａ及び図１２Ｂとは別の道路で，左右のカメラ１０１及び１０２で自車両の前方を撮像した撮像画像を俯瞰した図に加工した図の一例である。

例えば，図１０に示した立体物・歩行者検知部３０３によれば，路面上にある一定高さ以上の凸状物体を検知することができる。路端検知部３０４では，この立体物・歩行者検知部３０３で検知した凸状物体のうち略線状に連続している箇所を検知でき，その検知結果に基づいてガードレール，側壁，縁石などの道路の端部を検知するのが路端検知である。路端検知の結果である路端３２０は，図１２Ａ，図１２Ｂ及び図１２Ｃに四角で囲んで示すように検知される。

この検知した路端３２０を参照し，図１２Ａのように，自車両の進行方向の前方に向けて，左側の路端３２０と右側の路端３２０とがほぼ同じ角度で内側に傾いて続いている場合には，一本道であることが分かる。

図１２Ｂの俯瞰図のように，自車両の進行方向の前方に向けて，左側の路端３２０は外側に傾き，右側の路端３２０は傾いていない場合には，左側に分岐路があることが分かる。また，図１２Ｃの俯瞰図のように，自車両の進行方向の前方に向けて，左側の路端３２０は内側に傾き，右側の路端３２０は傾いていない場合には，左側に合流路があることが分かる。

図１２Ｂでは，左側の分岐路を走行している車両に適用される標識３２１がある場合を示し，図１２Ｃでは，左側の合流路を走行している車両に適用される標識３２１がある場合を示している。図１２Ｂでは，標識認識部３０５は，左側の路端３２０の外側（走行領域から予め定めた範囲内）に標識３２１を認識し，図１２Ｃでは，標識認識部３０５は，左側の路端３２０の外側（走行領域から予め定めた範囲内）に標識３２１を認識する。

路端検知部３０４で自車両が位置する道路の端部（路端）を検知することにより，路面領域の終端の位置が判明する。これにより路面領域とその外側の領域（すなわち，道路脇立体物が存在する領域）を区別して認識できる。また，道路の広がり方が距離に応じて変化することを検知できるため，道路に合流がある場合や分岐がある場合を検出することができ，標識３２１が自車両に対して適用される標識（有効な標識）であるか否かが判明する。

次に制御装置２０が他の露光制御処理のフローチャートを実行する場合ついて説明する。図１１は第４実施形態に係る制御装置２０が実行する露光制御処理のフローチャートである。図１１中の処理のうち図３，図８及び図９の処理と同じものは同じ符号を付して説明は省略することがある。制御装置２０は図１１のフローチャートを所定の制御周期で繰り返し実行している。

ステップＳ５１では，要素認識部２４の路端検知部３０４は，ステップＳ３１で生成された視差画像中で自車両が走行する道路の端部（路端）を検知することにより路面領域とその外側の領域を区別して認識する。

ステップＳ５２では，要素認識部２４の道路脇立体物認識部３０１は，ステップＳ５１で認識された路面領域の外側の領域（すなわち路面領域外）に道路脇立体物が存在するか否かを探索する。本実施形態では，第１実施形態で図４を用いて説明した方法と同じように，ステップＳ３１の視差画像における路面領域外の部分を一定幅の複数の短冊に分割し，その短冊の１つに含まれる物体の距離を階級（横軸）とするヒストグラムを作成する。道路脇立体物認識部３０１は，このヒストグラムで距離が距離閾値Ｄ１以上で出現頻度（度数）が頻度閾値Ｎ１を超える距離（階級）が存在するか否かを判定し，この条件を満たす距離（階級）が存在する場合にはその距離に係る物体を道路脇立体物として認識する。ここで道路脇立体物認識部３０１により道路脇立体物が認識された場合にはステップＳ３３に進み，認識されなかった場合にはステップＳ３７に進む。

上記のように構成した本実施形態によれば，第１実施形態と同様に，左右画像（カメラ１１，１２の撮像画像）上に写った道路脇立体物の暗い部分が陰か否かを判断でき，暗い部分が陰の場合には露光量を増加することでその道路脇立体物やその陰に隠れた認識対象物が明るく撮像されるので，道路脇立体物の陰に隠れた認識対象物が認識し易くなる。特に本実施形態では道路脇立体物の認識処理に際して，まず路面領域外の領域を認識し，その領域に道路脇立体物が存在するか否かを判定するというプロセスを経るので，路面領域内の物体を道路脇立体物と誤認識することが回避され，道路脇立体物の認識精度が向上する。

なお，本実施形態では距離閾値Ｄ１と頻度閾値Ｎ１の両方を超えるものを道路脇立体物と認識したが，路面領域外の物体は距離閾値Ｄ１を超えているとみなして，距離閾値Ｄ１との大小関係は比較せずに頻度閾値Ｎ１を超えることだけを条件にして道路脇立体物の認識を行っても良い。

−その他−
上記の各実施形態では，道路脇立体物に陰が発生していると判定された場合，２つのカメラ１１，１２の少なくとも１つの露光量を道路脇立体物の輝度（すなわち道路脇立体物の画像特徴量）に応じて変化させる場合についてのみ説明したが，例えば，２つのカメラ１１，１２の少なくとも１つで撮影された画像に対して制御装置２０により要素認識を行う際に利用するエッジ強調フィルタのパラメータ（すなわち左右画像の少なくとも１つに対する画像処理の設定）をエッジがより強調される値に変更する等して画像処理のフィルタ演算の値を強めても，道路脇立体物の陰に隠れた認識対象物の輪郭が強調されるのでその認識対象物が認識し易くなる。すなわち，２つのカメラ１１，１２の少なくとも１つで撮影された画像に対する制御装置２０による画像処理の設定を道路脇立体物の画像特徴量に応じて変更しても良い。

上記の各実施形態では２つのカメラ１１，１２を備える車載ステレオカメラ装置（撮像装置）１００を例示して説明したが，３つ以上のカメラで視差画像を生成する撮像装置に対しても本発明は適用可能である。

上記の各実施形態では車載ステレオカメラ装置（撮像装置）１００に搭載された制御装置２０により要素認識処理，陰判定処理，露光制御処理及び画像処理等を実行する場合について説明したが，車載ステレオカメラ装置（撮像装置）１００外の制御装置（例えばマイコン）により上記の各処理を実行するようにシステム（例えば車両制御を司るマイコン（制御装置）と撮像装置を有する車両制御システム）を構成しても良い。

本発明は，上記の実施の形態に限定されるものではなく，その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば，本発明は，上記の実施の形態で説明した全ての構成を備えるものに限定されず，その構成の一部を削除したものも含まれる。また，ある実施の形態に係る構成の一部を，他の実施の形態に係る構成に追加又は置換することが可能である。

また，上記の制御装置２０に係る各構成や当該各構成の機能及び実行処理等は，それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また，上記の制御装置２０に係る構成は，演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は，例えば，半導体メモリ（フラッシュメモリ，ＳＳＤ等），磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク，光ディスク等）等に記憶することができる。

また，上記の各実施の形態の説明では，制御線や情報線は，当該実施の形態の説明に必要であると解されるものを示したが，必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１１…カメラ（左），１２…カメラ（右），２０…制御装置，２１…画像処理部，２２…画像バッファ部，２３…視差処理部，２４…要素認識部，２５…陰判定部，２６…露光制御部，２７…国判定部，２８…道路判定部，３１…認識辞書記憶部，３２…走行ログ記憶部，３３…国別辞書記憶部，６１…ケーブル，４１…外部端末，４２…ＧＰＳ受信機，３０１…道路脇立体物認識部，３０４…路端検知部

Claims (10)

1. 車両に搭載された複数のカメラと，前記複数のカメラの露光を制御する制御装置を備える撮像装置であって，
   前記制御装置は，
   前記複数のカメラで撮影された複数の画像から生成される視差画像に基づいて，道路脇に存在する立体物を認識する要素認識部と，
   前記視差画像の基となる画像が前記複数のカメラで撮影された日時と前記車両の位置の時系列データに基づいて前記要素認識部により認識された前記立体物の前記車両側に陰が発生しているか否かを判定する陰判定部とを有し，
   前記制御装置は，前記陰判定部により前記立体物に陰が発生していると判定された場合，前記複数のカメラの少なくとも１つの制御の設定と前記複数のカメラの少なくとも１つで撮影された画像に対する画像処理の設定のいずれかを前記立体物の画像特徴量に応じて変更することを特徴とする撮像装置。
2. 請求項１の撮像装置において，
   前記制御装置は，前記陰判定部により前記立体物に陰が発生していると判定された場合，前記立体物の輝度に応じて前記複数のカメラの少なくとも１つの露光を制御する露光制御部を有することを特徴とする撮像装置。
3. 請求項２の撮像装置において，
   前記要素認識部は，前記視差画像上で前記複数のカメラから所定距離以上離れた位置において同一距離での出現頻度が所定の閾値を超えた立体物を前記道路脇に存在する立体物として認識することを特徴とする撮像装置。
4. 請求項２の撮像装置において，
   前記制御装置は，前記視差画像に基づいて前記車両が位置する道路の端部の位置を検知して路面領域を認識する路端検知部をさらに有し，
   前記要素認識部は，前記路端検知部により認識された前記路面領域の外部における同一距離での出現頻度が所定の閾値を超えた立体物を前記道路脇に存在する立体物として認識することを特徴とする撮像装置。
5. 請求項２の撮像装置において，
   前記陰判定部は，前記車両の位置の時系列データから前記日時における前記車両の位置と前記車両の進行方向を算出し，前記日時における前記車両の位置と前記日時から太陽の位置を算出し，前記日時における前記車両の位置及び進行方向並びに前記太陽の位置に基づいて前記要素認識部により認識された前記立体物に陰が発生しているか否かを判定することを特徴とする撮像装置。
6. 請求項２の撮像装置において，
   前記制御装置は，前記車両の位置データを演算する外部端末を前記制御装置に接続するケーブルから前記車両の位置データの時系列を入力することを特徴とする撮像装置。
7. 請求項２の撮像装置において，
   前記制御装置は，国境の位置データが記憶された記憶部と，前記車両の位置データと前記国境の位置データに基づいて前記車両の位置する国を判定する国判定部とをさらに有し，
   前記露光制御部は，前記陰判定部により前記立体物に陰が発生していると判定された場合，前記立体物の輝度と前記車両の位置する国に応じて前記複数のカメラの少なくとも１つの露光を制御することを特徴とする撮像装置。
8. 請求項７の撮像装置において，
   前記記憶部には市街道路及び高速道路の少なくとも一方の位置データである道路種別位置データが記憶されており，
   前記制御装置は，前記車両の位置データと前記道路種別位置データに基づいて前記車両が位置する道路種別を判定する道路判定部とをさらに有し，
   前記露光制御部は，前記陰判定部により前記立体物に陰が発生していると判定された場合，前記立体物の輝度と，前記車両の位置する国と，前記車両が位置する道路種別とに応じて前記複数のカメラの少なくとも１つの露光を制御することを特徴とする撮像装置。
9. 請求項８の撮像装置において，
   前記記憶部には国ごとの電光標識の仕様データが記憶されており，
   前記露光制御部は，前記陰判定部により前記立体物に陰が発生していると判定され，かつ，前記道路判定部により前記車両が高速道路に位置すると判定された場合，前記立体物の輝度と，前記車両の位置する国と，前記車両が位置する道路種別と，前記車両が位置する国における前記電光標識の仕様データとに応じて前記複数のカメラの少なくとも１つの露光を制御することを特徴とする撮像装置。
10. 請求項１の撮像装置において，
    前記制御装置は，前記陰判定部により前記立体物に陰が発生していると判定された場合，前記複数のカメラで撮影された複数の画像の少なくとも１つに対して要素認識を行う際に利用するエッジ強調フィルタのパラメータをエッジがより強調される値に変更することを特徴とする撮像装置。

Images