JP2016161973A - 認識装置、認識方法及びプログラム - Google Patents

Abstract

【課題】撮像環境によらずに撮像された画像から信号機の信号をより正確に認識できる認識装置、認識方法及びプログラムを提供することを目的とする。
【解決手段】実施形態の認識装置は、車両の周囲の画像データを取得するカメラと、車両の周囲の明るさを示す明るさデータを取得するセンサと、画像データから、明るさデータに基づいて異なる認識対象領域を認識する第１の認識部と、信号機の信号を示す領域を認識対象領域に基づいて認識する第２の認識部と、を備える。
【選択図】図２

Description

本発明は認識装置、認識方法及びプログラムに関する。

車載カメラを利用して、運転者を支援したり、事故発生時の映像を記憶したりする技術が従来から知られている。例えば車載カメラを利用した運転者支援技術には、障害物の回避又は衝突時の衝撃を軽減する自動ブレーキ機能、及び、先行車両との車間距離の維持等を警告する警報機能等がある。

また例えば特許文献１には、信号機の信号の色と、信号の形状と、を同じ被写体が撮影された２枚の画像から別々に認識することにより、精度良く画像から信号機の信号を認識する発明が開示されている。

しかしながら従来の技術では、精度良く画像から信号機の信号を認識するために、認識装置に入力する画像のフレームレートを低下させる必要があったり、カメラのゲイン（感度）を、信号機の信号を正確に認識するように調整したりする必要があった。またカメラのゲインを、信号機の信号を正確に認識するように調整することが難しかった。

例えば夜間に信号機の信号を撮影する場合、露光量の不足のため、車載カメラのセンサのゲインを上げると、信号機の信号を示す領域は元々明るいので、色を失って白く飽和する。またカメラセンサーの光漏れによりフレアが発生する。例えば青信号の場合、周辺に藍色の領域が広がる。そのため信号の色を用いて信号を検知する方法を、昼間と同様に適用できなくなる。また信号の形状のみで信号を検知すると、対向車のライト及び街灯の光等を、信号機の信号と誤認識する問題が発生する。

本発明は、上記に鑑みてなされたものであって、撮像環境によらずに撮像された画像から信号機の信号をより正確に認識できる認識装置、認識方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、車両の周囲の画像データを取得するカメラと、前記車両の周囲の明るさを示す明るさデータを取得するセンサと、前記画像データから、前記明るさデータに基づいて異なる認識対象領域を認識する第１の認識部と、信号機の信号を示す領域を前記認識対象領域に基づいて認識する第２の認識部と、を備える。

本発明によれば、撮像環境によらずに撮像された画像から信号機の信号を正確に認識することができるという効果を奏する。

図１は実施形態の認識装置が搭載された車両の例を示す図である。 図２は実施形態の認識装置の構成の例を示す図である。 図３は昼間に撮影された信号機の例を示す図である。 図４は夜間に撮影された信号機の例を示す図である。 図５は昼間に撮影された画像に含まれる青信号画素の（Ｕ，Ｖ）分布の例を示す図である。 図６は車両の周囲の明るさデータが閾値以上のときに使用される実施形態の第１の認識辞書の学習方法の例を示す図である。 図７は車両の周囲の明るさデータが閾値以上のときに認識される実施形態の青信号画素の領域の例を示す図である。 図８は車両の周囲の明るさデータが閾値以上のときの実施形態の青信号画素の膨張領域の例を示す図である。 図９は車両の周囲の明るさデータが閾値以上のときに実施形態のハフ変換により認識される円形の画素領域の例を示す図である。 図１０は車両の周囲の明るさデータが閾値以上のときに認識される実施形態の矩形領域の例を示す図である。 図１１は車両の周囲の明るさデータが閾値以上のときに撮影された画像データに含まれる実施形態の青信号の認識結果の例を示す図である。 図１２は夜間に撮影された画像に含まれる青信号の拡散光画素の（Ｕ，Ｖ）分布の例を示す図である。 図１３は車両の周囲の明るさデータが閾値未満のときに使用される実施形態の第２の認識辞書の学習方法の例を示す図である。 図１４は車両の周囲の明るさデータが閾値未満のときに認識される実施形態の青信号の拡散光画素の領域の例を示す図である。 図１５は車両の周囲の明るさデータが閾値未満のときの実施形態の青信号の拡散光画素の膨張領域の例を示す図である。 図１６は車両の周囲の明るさデータが閾値未満のときに実施形態のハフ変換により認識される円形の画素領域の例を示す図である。 図１７は車両の周囲の明るさデータが閾値未満のときに撮影された画像データに含まれる実施形態の青信号の認識結果の例を示す図である。 図１８は実施形態の認識方法の例を示すフローチャートである。 図１９は実施形態のカメラのハードウェア構成の例を示す図である。

以下に添付図面を参照して、認識装置、認識方法及びプログラムの実施形態を詳細に説明する。

図１は実施形態の認識装置１００が搭載された車両２００の例を示す図である。実施形態の認識装置１００は、車両２００のフロントガラスのバックミラー付近に設置される。実施形態の認識装置１００は、車両２００の周囲の明るさに基づく画像認識処理により、信号機３００の信号を認識する。

図２は実施形態の認識装置１００の構成の例を示す図である。実施形態の認識装置１００は、カメラ１０、明るさセンサ１１及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、第１の認識部２２、第２の認識部２３及び出力部２４を備える。

カメラ１０は車両２００の周囲を撮影し、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像データを取得する。カメラ１０は当該画像データをインタフェース部２１に入力する。

明るさセンサ１１は車両２００の周囲の明るさを示す明るさデータを取得し、当該明るさデータをインタフェース部２１に入力する。

インタフェース部２１は、カメラ１０から画像データを受け付けると、当該画像データを、第１の認識部２２が時系列の連続画像フレームとして受け付け可能なデータ形式に変換する。インタフェース部２１はデータ形式が変換された画像データを第１の認識部２２に入力する。

またインタフェース部２１は、明るさセンサ１１から明るさデータを受け付けると、当該明るさデータを第１の認識部２２に入力する。

第１の認識部２２は、インタフェース部２１から画像データ及び明るさデータを受け付けると、当該明るさデータに基づく画像認識処理により、当該画像データから信号機３００の信号を認識する。

ここで車両２００の周囲の明るさに応じた信号機３００の信号の見え方について説明する。なお信号機３００の信号が青信号、黄信号及び赤信号の場合の説明は同様なので、実施形態の説明では、信号が青信号である場合を例にして説明するが、認識対象の信号の色は任意でよい。

図３は昼間に撮影された信号機３００の例を示す図である。図３の例は、信号機３００が青信号である場合に撮影された画像データの例であり、信号機３００の青信号を示す領域１０１を含む。

一方、図４は夜間に撮影された信号機３００の例を示す図である。図４の例は、信号機３００が青信号である場合に撮影された画像データの例であり、信号機３００の青信号を示す領域１０１と、青信号の拡散光を示す領域１１１と、を含む。夜間は、信号機３００の周囲が暗いため、昼間よりも青信号の光が周囲に広がり易い。そのため図４の例では、青信号を示す領域１０１の周囲に青信号の拡散光を示す領域１１１が形成される。

図２に戻り、第１の認識部２２が信号機３００の信号を示す信号画素領域を認識する信号認識処理について具体的に説明する。まず第１の認識部２２は、（Ｒ，Ｇ，Ｂ）色空間の画像データを、次式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像データに変換する。

次に第１の認識部２２は、明るさデータが閾値（第１の閾値）以上の場合、第１の認識辞書を使用して画像認識処理を行い、明るさデータが閾値未満である場合、第２の認識辞書を使用して画像認識処理を行う。

＜第１の認識辞書が使用される場合＞
第１の認識辞書は、屋外にある信号機３００を昼間に撮影した場合等、周囲が明るい状況で撮影された画像に含まれる青信号画素と、周囲が明るい状況で撮影された画像に含まれる非青信号画素と、から学習された辞書である。青信号画素は、青信号を示す画素である。非青信号画素は、青信号でない被写体を示す画素である。ここで第１の認識辞書の学習方法の例について説明する。

図５は昼間に撮影された画像に含まれる青信号画素１２１の（Ｕ，Ｖ）分布の例を示す図である。図６は車両２００の周囲の明るさデータが閾値以上のときに使用される実施形態の第１の認識辞書の学習方法の例を示す図である。第１の認識辞書は、例えばＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）等の機械学習法により学習される。ＳＶＭにより学習する場合、点線１２３と直線１２４との距離（マージン）と、直線１２４と点線１２５との距離と、が最大になるようにして直線１２４を決定する。

このように決定された直線１２４により青信号画素１２１と、非青信号画素１２２と、が類別される。具体的には、第１の認識辞書として、次式（２）の評価関数のパラメータａ１，ｂ１及びｃ１が算出される。

ｆ１（Ｕ，Ｖ）＝ａ１×Ｕ＋ｂ１×Ｖ＋ｃ１ ・・・（２）

第１の認識部２２は、（Ｙ，Ｕ，Ｖ）色空間の画像データの各（Ｕ，Ｖ）について、ｆ１（Ｕ，Ｖ）が、閾値（第２の閾値）以上である場合、当該（Ｕ，Ｖ）を青信号画素として認識し、閾値未満である場合、当該（Ｕ，Ｖ）を非青信号画素であると認識する。

図７は車両２００の周囲の明るさデータが閾値以上のときに認識される実施形態の青信号画素の領域１０２の例を示す図である。図７の青信号画素の領域１０２の大きさは、実際の青信号を示す領域１０１の大きさよりも小さい。すなわち図７の例は、本来、青信号の領域として認識されるべき領域が、ノイズ画素の影響により青信号画素として認識されなかった場合を示す。ノイズ画素は、撮影時の周囲の状況に起因するノイズ画素、撮像素子の特性に起因するノイズ画素、及び、撮像素子表面に付着したゴミに起因するノイズ画素等である。撮影時の周囲の状態に起因するノイズ画素は、カメラ１０により信号機３００が撮影された際に、例えば太陽光等の光により反射していた青信号の領域の画素である。撮像素子の特性に起因するノイズ画素は、例えばランダムノイズの影響を受けた画素である。

図２に戻り、次に第１の認識部２２は、明るさデータが閾値以上の場合、青信号画素の領域１０２を、認識対象領域として第２の認識部２３に入力する。

第２の認識部２３は、第１の認識部２２から青信号画素の領域１０２を認識対象領域として受け付けると、青信号画素の領域１０２を膨張させる膨張処理を行う。具体的には、第２の認識部２３は青信号画素の領域１０２の画素毎に、当該画素を複数の画素により被覆することにより、青信号画素の領域１０２を青信号画素の膨張領域に膨張させる。第２の認識部２３は、例えばｎ×ｎ（ｎは１以上の整数）のブロック画素により各画素を被覆する。例えばｎ＝７の場合、青信号画素の領域１０２の各画素を、当該画素の周囲の４８個（７×７−１）の画素を更に含む青信号画素の膨張領域に膨張させる。

図８は車両２００の周囲の明るさデータが閾値以上のときの実施形態の青信号画素の膨張領域１０３の例を示す図である。図８の例は、第２の認識部２３が、第１の認識部２２により認識された青信号画素の領域１０２に、膨張処理を行ったことにより、本来の青信号を示す領域１０１を含む青信号画素の膨張領域１０３が得られた場合を示す。

図２に戻り、次に第２の認識部２３は青信号を示す領域１０１の形状を認識する形状認識処理を行う。具体的には、第２の認識部２３は、第１の認識部２２により認識された青信号画素の領域１０２をハフ（Ｈｏｕｇｈ）変換することにより、青信号画素の膨張領域１０３内で円形の画素領域を認識できるか否かを判定する。円形の画素領域を認識できる場合、第２の認識部２３は当該円形の画素領域が信号機３００の青信号を示す領域１０１であることを認識する。

図９は車両２００の周囲の明るさデータが閾値以上のときに実施形態のハフ変換により認識される円形の画素領域の例を示す図である。図９の例は、青信号画素の領域１０２（図７参照）がハフ変換されることにより、円形の画素領域として青信号を示す領域１０１が認識された場合の例を示す。

図１０は車両２００の周囲の明るさデータが閾値以上のときに認識される実施形態の矩形領域１０４の例を示す図である。図１０の例は、円形の画素領域として認識された青信号を示す領域１０１に外接する矩形領域１０４が認識された場合の例を示す。

図１１は車両２００の周囲の明るさデータが閾値以上のときに撮影された画像データに含まれる実施形態の青信号の認識結果の例を示す図である。図１１の例は、図３に示す画像データに含まれる信号機３００の青信号が、当該青信号を示す領域１０１を含む矩形領域１０４として認識された場合を示す。

＜第２の認識辞書が使用される場合＞
第２の認識辞書は、屋外にある信号機３００を夜間に撮影した場合等、周囲が暗い状況で撮影された画像に含まれる青信号の拡散光画素と、周囲が暗い状況で撮影された画像に含まれる非拡散光画素と、から学習された辞書である。拡散光画素は、信号機３００の青信号の光が拡散することにより生じた拡散光を示す画素である。非拡散光画素は、青信号の拡散光でない被写体を示す画素である。

図１２は夜間に撮影された画像に含まれる青信号の拡散光画素の（Ｕ，Ｖ）分布の例を示す図である。図１３は車両２００の周囲の明るさデータが閾値未満のときに使用される実施形態の第２の認識辞書の学習方法の例を示す図である。第２の認識辞書は、例えばＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）等の機械学習法により学習される。ＳＶＭにより学習する場合、点線１３３と直線１３４との距離（マージン）と、直線１３４と点線１３５との距離と、が最大になるようにして直線１３４を決定する。この直線１３４により青信号の拡散光画素１３１と、青信号の非拡散光画素１３２と、が類別される。

このように決定された直線１３４により拡散光画素１３１と、非拡散光画素１３２と、が類別される。具体的には、第２の認識辞書として、次式（３）の評価関数のパラメータａ２，ｂ２及びｃ２が算出される。

ｆ２（Ｕ，Ｖ）＝ａ２×Ｕ＋ｂ２×Ｖ＋ｃ２ ・・・（３）

第１の認識部２２は、（Ｙ，Ｕ，Ｖ）色空間の画像データの各（Ｕ，Ｖ）について、ｆ２（Ｕ，Ｖ）が、閾値（第３の閾値）以上である場合、当該（Ｕ，Ｖ）を拡散光画素として認識し、閾値未満である場合、当該（Ｕ，Ｖ）を非拡散光画素であると認識する。

図１４は車両２００の周囲の明るさデータが閾値未満のときに認識される実施形態の青信号の拡散光画素の領域１１２の例を示す図である。青信号の拡散光画素の領域１１２は、青信号の光が周囲に拡散することにより生じる拡散光を示す画素の領域である。また青信号の拡散光画素の領域１１２は、飽和した青信号画素の領域１１３を囲むようにして生じる。また飽和した青信号画素の領域１１３は、本来の青信号を示す領域１０１よりも大きい。

図２に戻り、次に第１の認識部２２は、明るさデータが閾値未満の場合、青信号の拡散光画素の領域１１２を、認識対象領域として第２の認識部２３に入力する。

第２の認識部２３は、第１の認識部２２から青信号の拡散光画素の領域１１２を認識対象領域として受け付けると、青信号の拡散光画素の領域１１２を膨張させる膨張処理を行う。具体的には、第２の認識部２３は青信号の拡散光画素の領域１１２の画素毎に、当該画素を複数の画素により被覆することにより、青信号の拡散光画素の領域１１２を青信号の拡散光画素の膨張領域に膨張させる。第２の認識部２３は、例えばｎ×ｎ（ｎは１以上の整数）のブロック画素により各画素を被覆する。例えばｎ＝７の場合、青信号の拡散光画素の領域１１２の各画素を、当該画素の周囲の４８個（７×７−１）の画素を更に含む青信号の拡散光画素の膨張領域に膨張させる。言い換えると、青信号の拡散光画素の膨張領域させることにより、飽和した青信号画素の領域１１３を収縮させ、飽和した青信号画素の領域１１３を、本来の青信号を示す領域１０１の大きさに近づける。

図１５は車両２００の周囲の明るさデータが閾値未満のときの実施形態の青信号の拡散光画素の膨張領域１１４の例を示す図である。図１５の例は、第２の認識部２３が、第１の認識部２２により認識された青信号の拡散光画素の領域１１２に、膨張処理を行ったことにより、飽和した青信号画素の収縮領域１１５を囲む青信号の拡散光画素の膨張領域１１４が得られた場合を示す。

図２に戻り、次に第２の認識部２３は青信号を示す領域１０１の形状を認識する形状認識処理を行う。具体的には、第２の認識部２３は、第１の認識部２２により認識された飽和した青信号画素の収縮領域１１５をハフ変換することにより、飽和した青信号画素の収縮領域１１５内で円形の画素領域を認識できるか否かを判定する。円形の画素領域を認識できる場合、第２の認識部２３は当該円形の画素領域が信号機３００の青信号を示す領域１０１であることを認識する。

図１６は車両２００の周囲の明るさデータが閾値未満のときに実施形態のハフ変換により認識される円形の画素領域の例を示す図である。図１６の例は、飽和した青信号画素の収縮領域１１５（図１５参照）がハフ変換されることにより、円形の画素領域として青信号を示す領域１０１が認識された場合の例を示す。

図１７は車両２００の周囲の明るさデータが閾値未満のときに撮影された画像データに含まれる実施形態の青信号の認識結果の例を示す図である。図１７の例は、図４に示す画像データに含まれる信号機３００の青信号が、当該青信号を示す領域１０１を含む矩形領域１０４として認識された場合を示す。

図２に戻り、第２の認識部２３は、青信号を示す領域１０１を含む矩形領域１０４を示す認識データを出力部２４に入力する。出力部２４は、第２の認識部２３から認識データを受け付けると、当該認識データを出力する。認識データは、例えばドライバーによる信号無視及び急発進等の危険運転の検知等の処理に使用される。

次に実施形態の認識方法について説明する。

図１８は実施形態の認識方法の例を示すフローチャートである。なお信号機３００の信号が青信号、黄信号及び赤信号の場合の説明は同様なので、実施形態の認識方法の説明では、信号が青信号である場合を例にして説明するが、認識対象の信号の色は任意でよい。

はじめに、第１の認識部２２が、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像データを、インタフェース部２１から受け付ける（ステップＳ１）。次に、第１の認識部２２が、（Ｒ，Ｇ，Ｂ）色空間の画像データを、上述の式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像データに変換する（ステップＳ２）。

また、第１の認識部２２が、インタフェース部２１から明るさデータを受け付ける（ステップＳ３）。第１の認識部２２が、明るさデータが閾値以上であるか否かを判定する（ステップＳ４）。

明るさデータが閾値以上の場合（ステップＳ４、Ｙｅｓ）、第１の認識部２２が、第１の認識辞書として、上述の式（２）の評価関数を選択する（ステップＳ５）。次に、第１の認識部２２が、ステップＳ５で選択された評価関数を使用して、青信号画素の領域１０２を、認識対象領域として認識する（ステップＳ６）。次に、第２の認識部２３が、ステップＳ６で認識された青信号画素の領域１０２を膨張させる（ステップＳ７）。

次に、第２の認識部２３が、ステップＳ７の処理により得られた青信号画素の膨張領域１０３から青信号を示す領域１０１の形状を認識する（ステップＳ８）。具体的には、第２の認識部２３が、第１の認識部２２により認識された青信号画素の領域１０２をハフ変換することにより、青信号画素の膨張領域１０３内で円形の画素領域を認識できるか否かを判定する。円形の画素領域を認識できる場合、第２の認識部２３は当該円形の画素領域が信号機３００の青信号を示す領域１０１であることを認識する。

明るさデータが閾値未満の場合（ステップＳ４、Ｎｏ）、第１の認識部２２が、第２の認識辞書として、上述の式（３）の評価関数を選択する（ステップＳ９）。次に、第１の認識部２２が、ステップＳ９で選択された評価関数を使用して、青信号の拡散光画素の領域１１２を、認識対象領域として認識する（ステップＳ１０）。次に、第２の認識部２３が、ステップＳ１０で認識された青信号の拡散光画素の領域１１２を膨張させる（ステップＳ１１）。

次に、第２の認識部２３が、ステップＳ１１の処理により得られた青信号の拡散光画素の膨張領域１１４に囲まれる領域（飽和した青信号画素の収縮領域１１５）から、青信号を示す領域１０１の形状を認識する（ステップＳ１２）。具体的には、第２の認識部２３は、第１の認識部２２により認識された飽和した青信号画素の収縮領域１１５をハフ変換することにより、飽和した青信号画素の収縮領域１１５内で円形の画素領域を認識できるか否かを判定する。円形の画素領域を認識できる場合、第２の認識部２３は当該円形の画素領域が信号機３００の青信号を示す領域であることを認識する。

次に、出力部２４が、青信号を示す領域１０１を含む矩形領域１０４を認識データとして出力する（ステップＳ１３）。

次に実施形態の認識装置１００のハードウェア構成について説明する。

まずカメラ１０のハードウェア構成について説明する。

図１９は実施形態のカメラ１０のハードウェア構成の例を示す図である。実施形態のカメラ１０は、撮影光学系２０１、メカシャッタ２０２、モータドライバ２０３、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０４、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５、Ａ／Ｄ変換器２０６、タイミング信号発生器２０７、画像処理回路２０８、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７を備える。

画像処理回路２０８、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２、ＳＤＲＡＭ２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７はバス２２０を介して接続されている。

撮影光学系２０１は被写体が反射した光を集光する。メカシャッタ２０２は所定の時間、開くことにより、撮影光学系２０１により集光された光をＣＣＤ２０４に入射させる。モータドライバ２０３は撮影光学系２０１及びメカシャッタ２０２を駆動する。

ＣＣＤ２０４は、メカシャッタ２０２を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像データをＣＤＳ回路２０５に入力する。ＣＤＳ回路２０５は、ＣＣＤ２０４からアナログの画像データを受け付けると、当該画像データのノイズ成分を除去し、ノイズ成分が除去されたアナログの画像データをＡ／Ｄ変換器２０６に入力する。Ａ／Ｄ変換器２０６は、ＣＤＳ回路２０５からアナログの画像データを受け付けると、当該アナログの画像データをデジタルの画像データに変換する。Ａ／Ｄ変換器２０６はデジタルの画像データを画像処理回路２０８に入力する。タイミング信号発生器２０７は、ＣＰＵ２１０からの制御信号に応じて、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６にタイミング信号を送信することにより、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６が動作するタイミングを制御する。

画像処理回路２０８は、Ａ／Ｄ変換器２０６からデジタルの画像データを受け付けると、ＳＤＲＡＭ２１３を使用して、当該デジタルの画像データの画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理及び色変換処理等である。ホワイトバランス処理は、画像データの色の濃さを調整する画像処理である。コントラスト補正処理は、画像データのコントラストを調整する画像処理である。エッジ強調処理は、画像データのシャープネスを調整する処理である。色変換処理は、画像データの色合いを調整する画像処理である。

画像処理回路２０８は上述の画像処理が行われた画像データをＬＣＤ２０９、又は、圧縮伸張回路２１４に入力する。ＬＣＤ２０９は、画像処理回路２０８から受け付けた画像データを表示する液晶ディスプレイである。

ＣＰＵ２１０はプログラムを実行することによりカメラ１０の動作を制御する。ＲＡＭ２１１はＣＰＵ２１０がプログラムを実行するときのワーク領域、及び、各種データの記憶等に使用される読取及び書込が可能な記憶領域である。ＲＯＭ２１２はＣＰＵ２１０により実行されるプログラム等を記憶する読取専用の記憶領域である。

ＳＤＲＡＭ２１３は画像処理回路２０８が画像処理を行うときに、画像処理対象の画像データを一時的に記憶する記憶領域である。

圧縮伸張回路２１４は、画像処理回路２０８から画像データを受け付けると、当該画像データを圧縮する。圧縮伸張回路２１４は圧縮された画像データをメモリ２１５に記憶する。また圧縮伸張回路２１４は、メモリ２１５から画像データを受け付けると、当該画像データを伸張する。圧縮伸張回路２１４は伸張された画像データをＳＤＲＡＭ２１３に一時的に記憶する。メモリ２１５は圧縮された画像データを記憶する。

操作部２１６はカメラ１０のユーザからの操作を受け付ける。操作部２１６は、例えばＬＣＤ２０９に表示された画像データをメモリ２１５に記憶する操作を受け付ける。出力Ｉ／Ｆ２１７は、カメラ１０から画像データを信号処理部２０に送信するためのインタフェースである。

なお上述の図２で説明した信号処理部２０のインタフェース部２１、第１の認識部２２、第２の認識部２３及び出力部２４は、信号処理ボード（信号処理回路）としてハードウェアにより実現しても、カメラ１０のＣＰＵ２１０により実行されるソフトウェア（プログラム）により実現してもよい。

実施形態の認識装置１００（ＣＰＵ２１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

なお実施形態の認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の認識装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態の認識装置１００のプログラムを、ＲＯＭ２１２等に予め組み込んで提供するように構成してもよい。

なお実施形態の認識装置１００で実行されるプログラムにより、インタフェース部２１、第１の認識部２２、第２の認識部２３及び出力部２４等を実現する場合、インタフェース部２１、第１の認識部２２、第２の認識部２３及び出力部２４等は、ＣＰＵ２１０がＲＯＭ２１２又は上記記憶媒体等からプログラムを読み出して実行することによりＲＡＭ２１１に実現される。

以上説明したように、実施形態の認識装置１００では、第１の認識部２２が、画像データから、車両２００の周囲の明るさデータに基づいて異なる認識対象領域（例えば青信号の場合、青信号画素の領域１０２、又は、青信号の拡散光画素の領域１１２）を認識する。そして第２の認識部２３が、信号機３００の信号を示す領域を認識対象領域に基づいて認識する。これにより撮像環境によらずに撮像された画像から信号機３００の信号をより正確に認識できる。例えばカメラ１０のゲインを信号機３００の信号を認識するために特別に調整することなく、昼夜問わずに、撮像された１枚の画像から信号機３００の信号を正確に認識することができる。

１０ カメラ
１１ 明るさセンサ
２０ 信号処理部
２１ インタフェース部
２２ 第１の認識部
２３ 第２の認識部
２４ 出力部
１００ 認識装置
１０１ 青信号を示す領域
１０２ 青信号画素の領域
１０３ 青信号画素の膨張領域
１０４ 矩形領域
１１１ 青信号の拡散光を示す領域
１１２ 青信号の拡散光画素の領域
１１３ 飽和した青信号画素の領域
１１４ 青信号の拡散光画素の膨張領域
１１５ 飽和した青信号画素の収縮領域
２００ 車両
２０１ 撮影光学系
２０２ メカシャッタ
２０３ モータドライバ
２０４ ＣＣＤ
２０５ ＣＤＳ回路
２０６ Ａ／Ｄ変換器
２０７ タイミング信号発生器
２０８ 画像処理回路
２０９ ＬＣＤ
２１０ ＣＰＵ
２１１ ＲＡＭ
２１２ ＲＯＭ
２１３ ＳＤＲＡＭ
２１４ 圧縮伸張回路
２１５ メモリ
２１６ 操作部
２１７ 出力Ｉ／Ｆ
２２０ バス
３００ 信号機

特開２０１４−７８０７１号公報

Claims (8)

1. 車両の周囲の画像データを取得するカメラと、
   前記車両の周囲の明るさを示す明るさデータを取得するセンサと、
   前記画像データから、前記明るさデータに基づいて異なる認識対象領域を認識する第１の認識部と、
   信号機の信号を示す領域を前記認識対象領域に基づいて認識する第２の認識部と、
   を備える認識装置。
2. 前記第１の認識部は、前記明るさデータが閾値以上の場合、信号機の信号を示す信号画素と、前記信号画素でない非信号画素と、から学習された第１の認識辞書を使用して、前記認識対象領域を認識する、
   請求項１に記載の認識装置。
3. 前記第１の認識部は、前記明るさデータが閾値以上の場合、前記認識対象領域を前記信号画素の領域として認識し、
   前記第２の認識部は、前記信号画素を複数の画素により被覆することにより、前記信号画素の領域を信号画素の膨張領域に膨張させ、前記信号画素の膨張領域をハフ変換することにより得られた画素領域を前記信号機の信号の形状として認識する、
   請求項２に記載の認識装置。
4. 前記第１の認識部は、前記明るさデータが閾値未満の場合、前記信号機の信号の光が拡散することにより生じた拡散光を示す拡散光画素と、前記拡散光画素でない非拡散光画素と、から学習された第２の認識辞書を使用して、前記認識対象領域を認識する、
   請求項２に記載の認識装置。
5. 前記第１の認識部は、前記明るさデータが閾値未満の場合、前記認識対象領域を前記拡散光画素の領域として認識し、
   前記第２の認識部は、前記拡散光画素を複数の画素により被覆することにより、前記拡散光画素の領域を拡散光画素の膨張領域に膨張させ、前記拡散光画素の膨張領域に囲まれる領域をハフ変換することにより得られた画素領域を前記信号機の信号の形状として認識する、
   請求項４に記載の認識装置。
6. 前記カメラは、（Ｒ，Ｇ，Ｂ）色空間の前記画像データを取得し、
   前記第１の認識部は、前記（Ｒ，Ｇ，Ｂ）色空間の画像データを（Ｙ，Ｕ，Ｖ）色空間の画像データに変換し、前記（Ｙ，Ｕ，Ｖ）色空間の画像データから、前記第１の認識辞書として算出された第１の評価関数ｆ１（Ｕ，Ｖ）、又は、前記第２の認識辞書として算出された第２の評価関数ｆ２（Ｕ，Ｖ）を使用して、前記認識対象領域を認識する、
   請求項４に記載の認識装置。
7. カメラが、車両の周囲の画像データを取得するステップと、
   センサが、前記車両の周囲の明るさを示す明るさデータを取得するステップと、
   第１の認識部が、前記画像データから、前記明るさデータに基づいて異なる認識対象領域を認識するステップと、
   第２の認識部が、信号機の信号を示す領域を前記認識対象領域に基づいて認識するステップと、
   を含む認識方法。
8. 車両の周囲の画像データを取得するカメラと、前記車両の周囲の明るさを示す明るさデータを取得するセンサと、を備える認識装置を、
   前記画像データから、前記明るさデータに基づいて異なる認識対象領域を認識する第１の認識部と、
   信号機の信号を示す領域を前記認識対象領域に基づいて認識する第２の認識部、
   として機能させるためのプログラム。

Images