JP2017004040A - 認識装置、認識方法及びプログラム - Google Patents

Abstract

【課題】信号領域をより短い時間で正確に認識する。
【解決手段】実施形態の認識装置は、車両の周囲の画像を取得する取得部と、画像に含まれる領域の色が、信号機の信号を示す色の範囲に含まれるか否かに基づいて、第１の認識対象領域を認識する第１の色認識部と、信号機の信号を示す信号画素と、信号画素でない非信号画素と、から学習された認識辞書を使用して、第１の認識対象領域から第２の認識対象領域を認識する第２の色認識部と、第２の認識対象領域から信号機の信号の形状を示す信号形状領域を認識する形状認識部と、を備える。
【選択図】図４

Description

本発明は認識装置、認識方法及びプログラムに関する。

車載カメラを利用して、運転者を支援したり、事故発生時の映像を記憶したりする技術が従来から知られている。例えば車載カメラを利用した運転者支援技術には、障害物の回避又は衝突時の衝撃を軽減する自動ブレーキ機能、及び、先行車両との車間距離の維持等を警告する警報機能等がある。

例えば特許文献１には、信号機の信号の色と、信号の形状と、を同じ被写体が撮影された２枚の画像から別々に認識することにより、精度良く画像から信号機の信号を認識する発明が開示されている。

しかしながら従来の技術では、高い精度で認識処理を行うと、認識処理に時間がかかる場合があり、当該認識処理の結果に基づく警告が間に合わなくなる恐れがあった。

本発明は、上記に鑑みてなされたものであって、信号機の信号を示す信号領域をより短い時間で正確に認識できる認識装置、認識方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、車両の周囲の画像を取得する取得部と、前記画像に含まれる領域の色が、信号機の信号を示す色の範囲に含まれるか否かに基づいて、第１の認識対象領域を認識する第１の色認識部と、前記信号機の信号を示す信号画素と、前記信号画素でない非信号画素と、から学習された認識辞書を使用して、前記第１の認識対象領域から第２の認識対象領域を認識する第２の色認識部と、前記第２の認識対象領域から前記信号機の信号の形状を示す信号形状領域を認識する形状認識部と、を備える。

本発明によれば、信号領域をより短い時間で正確に認識できるという効果を奏する。

図１は実施形態の認識装置が搭載された車両の例を示す図である。 図２は青信号領域を含む画像の例１を示す図である。 図３は青信号領域を含む画像の例２を示す図である。 図４は実施形態の認識装置の構成の例を示す図である。 図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。 図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。 図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。 図８は実施形態の青信号画素の認識辞書の学習方法の例を示す図である。 図９は実施形態の第１及び第２の認識対象領域の例を示す図である。 図１０は実施形態の膨張領域の例を示す図である。 図１１は実施形態のハフ変換により認識される円形の画素領域の例を示す図である。 図１２は実施形態の矩形領域の例を示す図である。 図１３は実施形態の青信号領域の認識結果情報の例を示す図である。 図１４は実施形態の認識方法の例を示すフローチャートである。 図１５は実施形態の取得部のハードウェア構成の例を示す図である。

以下に添付図面を参照して、認識装置、認識方法及びプログラムの実施形態を詳細に説明する。

図１は実施形態の認識装置１００が搭載された車両２００の例を示す図である。実施形態の認識装置１００は、車両２００のフロントガラスのバックミラー付近に設置される。実施形態の認識装置１００は、車両２００の周囲が撮像された画像から、信号機３００の信号を示す信号領域を認識する。ここで信号領域の例として、青信号を示す青信号領域について説明する。

図２は青信号領域１０１を含む画像の例１を示す図である。図２の例は、信号の配列が横型である信号機３００ａの青信号領域１０１を示す。例えば日本では、横型の信号機３００ａが一般的である。

図３は青信号領域４０１を含む画像の例２を示す図である。図３の例は、信号の配列が縦型である信号機３００ｂの青信号領域４０１を示す。例えばアメリカでは、縦型の信号機３００ｂが一般的である。なお日本でも、積雪量の多い地域では縦型の信号機３００ｂが設置されている。以下、信号機３００ａ及び信号機３００ｂを区別しない場合、単に信号機３００という。

次に実施形態の認識装置１００の構成の例について説明する。

図４は実施形態の認識装置１００の構成の例を示す図である。実施形態の認識装置１００は、取得部１０及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、第１の色認識部２２、第２の色認識部２３、形状認識部２４及び出力部２５を備える。

取得部１０は車両の周囲の画像を取得する。本実施形態の取得部１０はカメラである。取得部１０は、車両２００の周囲を撮像し、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像を取得する。取得部１０は当該画像をインタフェース部２１に入力する。なお取得部１０は、車両の周囲の画像を他の装置から取得してもよい。

インタフェース部２１は、取得部１０から画像を受け付けると、当該画像を、第１の色認識部２２が時系列の連続画像フレームとして受け付け可能なデータ形式に変換する。インタフェース部２１は、データ形式が変換された画像を第１の色認識部２２に入力する。

第１の色認識部２２は、インタフェース部２１から画像を受け付けると、当該画像に含まれる領域の色が、信号機３００の信号を示す色の範囲に含まれるか否かを判定する閾値判定処理により、第１の認識対象領域を認識する。具体的には、まず第１の色認識部２２は、（Ｒ，Ｇ，Ｂ）色空間の画像を、次式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像に変換する。

次に第１の色認識部２２は、赤信号画素を判定する閾値、青信号画素を判定する閾値、及び、黄信号画素を判定する閾値を使用した閾値判定処理により、第１の認識対象領域を認識する。ここで、赤信号画素は赤信号の色を示す画素である。また青信号画素は青信号の色を示す画素である。また黄信号画素は黄信号の色を示す画素である。

赤信号画素を判定する閾値は、Ｕの範囲を示す閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの範囲を示す閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）である。すなわち第１の色認識部２２は、Ｕｒ−ｍｉｎ≦Ｕ≦Ｕｒ−ｍａｘ、かつ、Ｖｒ−ｍｉｎ≦Ｖ≦Ｖｒ−ｍａｘを満たす（Ｙ，Ｕ，Ｖ）を、第１の認識対象領域として認識する。この閾値は、赤信号画素の（Ｕ，Ｖ）分布に基づいて決定される。

図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。図５の例は、赤信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた赤信号画素の（Ｕ，Ｖ）分布を示す。なおＵの範囲を示す閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの範囲を示す閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値により決定される色の範囲が広すぎると、赤信号の色でない画素を検出する可能性も高くなるので、赤信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。

青信号画素を判定する閾値は、Ｕの範囲を示す閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの範囲を示す閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）である。すなわち第１の色認識部２２は、Ｕｂ−ｍｉｎ≦Ｕ≦Ｕｂ−ｍａｘ、かつ、Ｖｂ−ｍｉｎ≦Ｖ≦Ｖｂ−ｍａｘを満たす（Ｙ，Ｕ，Ｖ）を、第１の認識対象領域として認識する。この閾値は、青信号画素の（Ｕ，Ｖ）分布に基づいて決定される。

図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。図６の例は、青信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた青信号画素の（Ｕ，Ｖ）分布を示す。なおＵの範囲を示す閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの範囲を示す閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値により決定される色の範囲が広すぎると、青信号の色でない画素を検出する可能性も高くなるので、青信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。

黄信号画素を判定する閾値は、Ｕの範囲を示す閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの範囲を示す閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）である。すなわち第１の色認識部２２は、Ｕｙ−ｍｉｎ≦Ｕ≦Ｕｙ−ｍａｘ、かつ、Ｖｙ−ｍｉｎ≦Ｖ≦Ｖｙ−ｍａｘを満たす（Ｙ，Ｕ，Ｖ）を、第１の認識対象領域として認識する。この閾値は、黄信号画素の（Ｕ，Ｖ）分布に基づいて決定される。

図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。図７の例は、黄信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた黄信号画素の（Ｕ，Ｖ）分布を示す。なおＵの範囲を示す閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの範囲を示す閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値により決定される色の範囲が広すぎると、黄信号の色でない画素を検出する可能性も高くなるので、黄信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。

第１の色認識部２２による第１の認識対象領域の認識処理は、上述の閾値判定処理により行われるため、高速に実行することができる。

図４に戻り、第１の色認識部２２は、第１の認識対象領域を認識すると、当該第１の認識対象領域を示す情報を第２の色認識部２３に入力する。

第２の色認識部２３は、第１の色認識部２２から第１の認識対象領域を示す情報を受け付けると、認識辞書を使用して、当該第１の認識対象領域から第２の認識対象領域を認識する。認識辞書は、信号機３００の信号を示す信号画素と、信号画素でない非信号画素と、から学習された辞書である。ここで青信号画素を認識する認識辞書の学習方法の例について説明する。

図８は実施形態の青信号画素の認識辞書の学習方法の例を示す図である。青信号画素の認識辞書は、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の機械学習法により学習される。ＳＶＭにより学習する場合、点線１２３と直線１２４との距離（マージン）と、直線１２４と点線１２５との距離と、が最大になるようにして直線１２４を決定する。

このように決定された直線１２４により青信号画素１２１と、非青信号画素１２２と、が類別される。具体的には、認識辞書として、次式（２）の評価関数ｆのパラメータａ１，ｂ１及びｃ１が算出される。

ｆ（Ｕ，Ｖ）＝ａ１×Ｕ＋ｂ１×Ｖ＋ｃ１ ・・・（２）

第２の色認識部２３は、（Ｙ，Ｕ，Ｖ）色空間の第１の認識対象領域の各（Ｕ，Ｖ）について、ｆ（Ｕ，Ｖ）が、閾値以上である場合、当該（Ｕ，Ｖ）を青信号画素として認識し、閾値未満である場合、当該（Ｕ，Ｖ）を非青信号画素であると認識する。第２の色認識部２３は、評価関数ｆに基づいて認識された青信号画素の領域を、第２の認識対象領域として認識する。

なお赤信号画素を第２の認識対象領域として認識する場合、及び、黄信号画素を第２の認識対象領域として認識する場合の説明は、上述の青信号画素を第２の認識対象領域として認識する場合の説明と同様なので省略する。

なお認識辞書による認識処理は、（Ｕ，Ｖ）色空間の画像に限られない。しかしながら信号機３００の信号は色の特徴が明確であるため、（Ｕ，Ｖ）色空間の画像の認識辞書を用いた認識処理がより好ましい。

上述の第２の色認識部２３による第２の認識対象領域の認識処理は、全画素を対象とせず、限られた範囲の第１の認識対象領域について行われるため、高速に実行することができる。また第２の色認識部２３の処理を更に行うことにより、第１の色認識部２２により得られた第１の認識対象領域に、天候、画像の撮影時間帯、及び、ノイズ等の影響による誤差が含まれている場合、当該誤差を低減することができる。これにより、より高精度に信号機３００の信号の認識対象領域を認識することができる。

以下、図２の青信号領域１０１を認識する場合について、図９乃至図１３を参照して具体的に説明する。なお赤信号領域及び黄信号領域を認識する場合についても同様である。

図９は実施形態の第１及び第２の認識対象領域の例を示す図である。まず第１の色認識部２２が、青信号画素を判定するＵの範囲を示す閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの範囲を示す閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）を満たす領域（Ｕ，Ｖ）を、第１の認識対象領域１０２として認識する。次に第２の色認識部２３が、（Ｙ，Ｕ，Ｖ）色空間の第１の認識対象領域１０２の各（Ｕ，Ｖ）について、ｆ（Ｕ，Ｖ）が、閾値以上である場合、当該（Ｕ，Ｖ）を第２の認識対象領域１０３として認識する。

図９の第２の認識対象領域１０３の大きさは、実際の青信号領域１０１（図２参照）の大きさよりも小さい。すなわち図９の例は、本来、青信号の領域として認識されるべき領域が、ノイズ画素の影響により青信号画素として認識されなかった場合を示す。ノイズ画素は、撮影時の周囲の状況に起因するノイズ画素、撮像素子の特性に起因するノイズ画素、及び、撮像素子表面に付着したゴミに起因するノイズ画素等である。撮影時の周囲の状態に起因するノイズ画素は、信号機３００ａが撮影された際に、例えば太陽光等の光により反射していた青信号の領域の画素である。撮像素子の特性に起因するノイズ画素は、例えばランダムノイズの影響を受けた画素である。

図４に戻り、次に第２の色認識部２３は、第２の認識対象領域１０３を示す情報を形状認識部２４に入力する。

形状認識部２４は、第２の色認識部２３から第２の認識対象領域１０３を示す情報を受け付けると、第２の認識対象領域１０３を膨張させる膨張処理を行う。具体的には、形状認識部２４は第２の認識対象領域１０３の画素毎に、当該画素を複数の画素により被覆することにより、第２の認識対象領域１０３を膨張領域に膨張させる。形状認識部２４は、例えばｎ×ｎ（ｎは１以上の整数）のブロック画素により各画素を被覆する。例えばｎ＝７の場合、第２の認識対象領域１０３の各画素を、当該画素の周囲の４８個（７×７−１）の画素を更に含む膨張領域に膨張させる。

図１０は実施形態の膨張領域１０４の例を示す図である。図１０の例は、形状認識部２４が、第２の色認識部２３により認識された第２の認識対象領域１０３に、膨張処理を行ったことにより、本来の青信号の領域の大きさを示す青信号領域１０１を含む膨張領域１０４が得られた場合を示す。

図４に戻り、次に形状認識部２４は、青信号領域１０１の形状を示す青信号形状領域を認識する形状認識処理を行う。具体的には、形状認識部２４は、第２の色認識部２３により認識された第２の認識対象領域１０３をハフ（Ｈｏｕｇｈ）変換することにより、膨張領域１０４内で円形の画素領域を認識できるか否かを判定する。形状認識部２４は、円形の画素領域を認識できる場合、当該円形の画素領域を青信号形状領域として認識する。この青信号形状領域が、信号機３００ａの青信号領域１０１として認識される。

図１１は実施形態のハフ変換により認識される円形の画素領域の例を示す図である。図１１の例は、第２の認識対象領域１０３（図９参照）がハフ変換されることにより、円形の画素領域として青信号領域１０１が認識された場合の例を示す。

図４に戻り、形状認識部２４は、青信号領域１０１を含む矩形領域を認識する。形状認識部２４は、青信号領域１０１を含む矩形領域を示す認識結果情報を出力部２５に入力する。出力部２５は、形状認識部２４から認識結果情報を受け付けると、当該認識結果情報を出力する。認識結果情報は、例えばドライバーによる信号無視及び急発進等の危険運転の検知等の処理に使用される。

図１２は実施形態の矩形領域１０５の例を示す図である。図１２の例は、円形の画素領域として認識された青信号領域１０１を含む矩形領域１０５が認識された場合の例を示す。なお矩形領域１０５は青信号領域１０１に外接するように認識されてもよい。

図１３は実施形態の青信号領域１０１の認識結果情報の例を示す図である。図１３の例は、図２に示す画像に含まれる信号機３００ａの青信号領域１０１が、当該青信号領域１０１を含む矩形領域１０５を示す認識結果情報として認識された場合を示す。

次に実施形態の認識方法について説明する。

図１４は実施形態の認識方法の例を示すフローチャートである。なお信号機３００の信号が青信号、黄信号及び赤信号の場合の説明は同様なので、実施形態の認識方法の説明では、信号が青信号である場合を例にして説明するが、認識対象の信号の色は任意でよい。

はじめに、第１の色認識部２２が、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像を、インタフェース部２１から受け付ける（ステップＳ１）。次に、第１の色認識部２２が、（Ｒ，Ｇ，Ｂ）色空間の画像を、上述の式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像に変換する（ステップＳ２）。

次に、第１の色認識部２２が、青信号画素を判定する閾値を使用した上述の閾値判定処理により、第１の認識対象領域１０２を認識する（ステップＳ３）。次に、第２の色認識部２３が、上述の式（２）の評価関数ｆに基づいて認識された青信号画素の領域を、第２の認識対象領域１０３として認識する（ステップＳ４）。

次に、形状認識部２４が、ステップＳ４で認識された第２の認識対象領域１０３を、膨張領域１０４に膨張させる（ステップＳ５）。

次に、形状認識部２４が、ステップＳ５の処理により得られた膨張領域１０４で、青信号形状領域を認識する（ステップＳ６）。具体的には、形状認識部２４は、第２の認識対象領域１０３をハフ変換することにより、膨張領域１０４内で円形の画素領域を認識できるか否かを判定する。形状認識部２４は、円形の画素領域を認識できる場合、当該円形の画素領域を青信号形状領域として認識する。この青信号形状領域が、信号機３００の青信号領域１０１として認識される。

次に、出力部２５が、青信号領域１０１を含む矩形領域１０５を示す認識結果情報を出力する（ステップＳ７）。

最後に実施形態の認識装置１００のハードウェア構成の例について説明する。

まず取得部１０のハードウェア構成の例について説明する。

図１５は実施形態の取得部１０のハードウェア構成の例を示す図である。実施形態の取得部１０は、撮影光学系２０１、メカシャッタ２０２、モータドライバ２０３、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０４、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５、Ａ／Ｄ変換器２０６、タイミング信号発生器２０７、画像処理回路２０８、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７を備える。

画像処理回路２０８、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２、ＳＤＲＡＭ２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７はバス２２０を介して接続されている。

撮影光学系２０１は被写体が反射した光を集光する。メカシャッタ２０２は所定の時間、開くことにより、撮影光学系２０１により集光された光をＣＣＤ２０４に入射させる。モータドライバ２０３は、ＣＰＵ２１０からの制御信号に応じて、撮影光学系２０１及びメカシャッタ２０２を駆動する。

ＣＣＤ２０４は、メカシャッタ２０２を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像情報をＣＤＳ回路２０５に入力する。ＣＤＳ回路２０５は、ＣＣＤ２０４からアナログの画像情報を受け付けると、当該画像情報のノイズ成分を除去し、ノイズ成分が除去されたアナログの画像情報をＡ／Ｄ変換器２０６に入力する。Ａ／Ｄ変換器２０６は、ＣＤＳ回路２０５からアナログの画像情報を受け付けると、当該アナログの画像情報をデジタルの画像情報に変換する。Ａ／Ｄ変換器２０６はデジタルの画像情報を画像処理回路２０８に入力する。タイミング信号発生器２０７は、ＣＰＵ２１０からの制御信号に応じて、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６にタイミング信号を送信することにより、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６が動作するタイミングを制御する。

画像処理回路２０８は、Ａ／Ｄ変換器２０６からデジタルの画像情報を受け付けると、ＳＤＲＡＭ２１３を使用して、当該デジタルの画像情報の画像処理を行う。画像処理は、例えばＹＵＶ（ＹＣｒＣｂ）変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理及び色変換処理等である。ＹＵＶ（ＹＣｒＣｂ）変換処理は、上述の式（１）による変換処理である。すなわち上述の式（１）の変換処理は、画像処理回路２０８で行ってもよい。ホワイトバランス制御処理は、画像情報の色の濃さを調整する画像処理である。コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整する処理である。色変換処理は、画像情報の色合いを調整する画像処理である。

画像処理回路２０８は上述の画像処理が行われた画像情報をＬＣＤ２０９、又は、圧縮伸張回路２１４に入力する。ＬＣＤ２０９は、画像処理回路２０８から受け付けた画像情報を表示する液晶ディスプレイである。

ＣＰＵ２１０はプログラムを実行することにより取得部１０の動作を制御する。ＲＡＭ２１１はＣＰＵ２１０がプログラムを実行するときのワーク領域、及び、各種情報の記憶等に使用される読取及び書込が可能な記憶領域である。ＲＯＭ２１２はＣＰＵ２１０により実行されるプログラム等を記憶する読取専用の記憶領域である。

ＳＤＲＡＭ２１３は画像処理回路２０８が画像処理を行うときに、画像処理対象の画像情報を一時的に記憶する記憶領域である。

圧縮伸張回路２１４は、画像処理回路２０８から画像情報を受け付けると、当該画像情報を圧縮する。圧縮伸張回路２１４は圧縮された画像情報をメモリ２１５に記憶する。また圧縮伸張回路２１４は、メモリ２１５から画像情報を受け付けると、当該画像情報を伸張する。圧縮伸張回路２１４は伸張された画像情報をＳＤＲＡＭ２１３に一時的に記憶する。メモリ２１５は圧縮された画像情報を記憶する。

操作部２１６は取得部１０のユーザからの操作を受け付ける。操作部２１６は、例えばＬＣＤ２０９に表示された画像情報をメモリ２１５に記憶する操作を受け付ける。出力Ｉ／Ｆ２１７は、取得部１０から画像情報を信号処理部２０に送信するためのインタフェースである。

なお上述の図４で説明した信号処理部２０のインタフェース部２１、第１の色認識部２２、第２の色認識部２３、形状認識部２４及び出力部２５は、信号処理ボード（信号処理回路）としてハードウェアにより実現しても、取得部１０のＣＰＵ２１０、及び、他の装置のＣＰＵ等により実行されるソフトウェア（プログラム）により実現してもよい。またインタフェース部２１、第１の色認識部２２、第２の色認識部２３、形状認識部２４及び出力部２５を、ハードウェアとソフトウェアとを組み合わせて実現してもよい。

実施形態の認識装置１００（ＣＰＵ２１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

なお実施形態の認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の認識装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態の認識装置１００のプログラムを、ＲＯＭ２１２等に予め組み込んで提供するように構成してもよい。

なお実施形態の認識装置１００で実行されるプログラムにより、インタフェース部２１、第１の色認識部２２、第２の色認識部２３、形状認識部２４及び出力部２５等を実現する場合、インタフェース部２１、第１の色認識部２２、第２の色認識部２３、形状認識部２４及び出力部２５等は、例えばＣＰＵ２１０がＲＯＭ２１２又は上記記憶媒体等からプログラムを読み出して実行することによりＲＡＭ２１１に実現される。

以上説明したように、実施形態の認識装置１００では、第１の色認識部２２が、画像に含まれる領域の色が、信号機３００の信号を示す色の範囲に含まれるか否かに基づいて、第１の認識対象領域を認識する。次に第２の色認識部２３が、信号機３００の信号を示す信号画素と、信号画素でない非信号画素と、から学習された認識辞書を使用して、第１の認識対象領域から第２の認識対象領域を認識する。そして形状認識部２４が、第２の認識対象領域から信号機３００の信号の形状を示す信号形状領域を認識する。これにより実施形態の認識装置１００によれば、信号機３００の信号を示す信号領域をより短い時間で正確に認識することができる。

なお実施形態の認識装置１００において、信号機３００全体の形状を認識しない理由は、遠くの信号機３００が撮影された画像等では、当該信号機３００全体の形状の認識が十分にできない場合が想定されるためである。そのため、実施形態の認識装置１００では、比較的確実に形状認識が可能な信号機３００の信号部分の円形状の認識を行っている。また、円形状の認識のみ、又は、第１の認識対象領域に円形状の認識を行うと、例えば看板に偶然含まれていた円模様が認識されてしまう等の不都合が生じる。そこで、実施形態の認識装置１００では、第１の認識対象領域に対して更に第２の認識対象領域を認識する２段階の色認識処理を実行することにより、高精度な信号領域をより高速に認識できるようにしている。

１０ 取得部
２０ 信号処理部
２１ インタフェース部
２２ 第１の色認識部
２３ 第２の色認識部
２４ 形状認識部
２５ 出力部
１００ 認識装置
１０１ 青信号領域
１０２ 第１の認識対象領域
１０３ 第２の認識対象領域
１０４ 膨張領域
１０５ 矩形領域
２００ 車両
２０１ 撮影光学系
２０２ メカシャッタ
２０３ モータドライバ
２０４ ＣＣＤ
２０５ ＣＤＳ回路
２０６ Ａ／Ｄ変換器
２０７ タイミング信号発生器
２０８ 画像処理回路
２０９ ＬＣＤ
２１０ ＣＰＵ
２１１ ＲＡＭ
２１２ ＲＯＭ
２１３ ＳＤＲＡＭ
２１４ 圧縮伸張回路
２１５ メモリ
２１６ 操作部
２１７ 出力Ｉ／Ｆ
２２０ バス
３００ 信号機

特開２００９−２４４９４６号公報

Claims (6)

1. 車両の周囲の画像を取得する取得部と、
   前記画像に含まれる領域の色が、信号機の信号を示す色の範囲に含まれるか否かに基づいて、第１の認識対象領域を認識する第１の色認識部と、
   前記信号機の信号を示す信号画素と、前記信号画素でない非信号画素と、から学習された認識辞書を使用して、前記第１の認識対象領域から第２の認識対象領域を認識する第２の色認識部と、
   前記第２の認識対象領域から前記信号機の信号の形状を示す信号形状領域を認識する形状認識部と、
   を備える認識装置。
2. 前記取得部は、（Ｒ，Ｇ，Ｂ）色空間の前記画像を取得し、
   前記第１の色認識部は、前記（Ｒ，Ｇ，Ｂ）色空間の画像を（Ｙ，Ｕ，Ｖ）色空間の画像に変換し、前記（Ｙ，Ｕ，Ｖ）色空間の画像に含まれる領域の色が前記色の範囲に含まれるか否かに基づいて、前記第１の認識対象領域を認識する、
   請求項１に記載の認識装置。
3. 前記第２の色認識部は、前記認識辞書として算出された評価関数ｆ（Ｕ，Ｖ）を使用して、前記第２の認識対象領域を認識する、
   請求項２に記載の認識装置。
4. 前記形状認識部は、前記第２の認識対象領域を複数の画素により被覆することにより、前記第２の認識対象領域を膨張領域に膨張させ、前記膨張領域内で前記第２の認識対象領域をハフ変換することにより得られる領域を、前記信号形状領域として認識する、
   請求項１乃至３のいずれか１項に記載の認識装置。
5. 認識装置が、車両の周囲の画像を取得するステップと、
   認識装置が、前記画像に含まれる領域の色が、信号機の信号を示す色の範囲に含まれるか否かに基づいて、第１の認識対象領域を認識するステップと、
   認識装置が、前記信号機の信号を示す信号画素と、前記信号画素でない非信号画素と、から学習された認識辞書を使用して、前記第１の認識対象領域から第２の認識対象領域を認識するステップと、
   認識装置が、前記第２の認識対象領域から前記信号機の信号の形状を示す信号形状領域を認識するステップと、
   を含む認識方法。
6. 車両の周囲の画像を取得する取得部を備える認識装置を、
   前記画像に含まれる領域の色が、信号機の信号を示す色の範囲に含まれるか否かに基づいて、第１の認識対象領域を認識する第１の色認識部と、
   前記信号機の信号を示す信号画素と、前記信号画素でない非信号画素と、から学習された認識辞書を使用して、前記第１の認識対象領域から第２の認識対象領域を認識する第２の色認識部と、
   前記第２の認識対象領域から前記信号機の信号の形状を示す信号形状領域を認識する形状認識部、
   として機能させるためのプログラム。