JP2018055591A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】撮影画像に映り込んだ信号機の信号を高精度に認識することが可能な情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】本発明の情報処理装置は、取得部と候補領域認識部と周囲特徴量データ算出部と判断部とを備える。取得部は撮影画像を取得する。候補領域認識部は、取得部により取得された撮影像画像のうち、信号機の信号の色と形状に対応する領域を示す候補領域を認識する。周囲特徴量データ算出部は、候補領域の周囲の特徴量を示す周囲特徴量データを算出する。判断部は、信号機の信号の周囲の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報と、周囲特徴量データ算出部により算出された周囲特徴量データと、に基づいて、周囲特徴量データに対応する候補領域が信号機の信号を示す領域であるか否かを判断する。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

車載カメラなどの撮影装置で撮影された撮影画像を解析し、撮影画像に含まれる信号機の信号（典型的には点灯している信号）を検出することで、運転者を支援するシステムが知られている。また、信号機の信号を認識するために、信号機の信号色を検出する装置が知られている。

例えば、特許文献１には、カメラのゲインを２回調整して２枚の撮影画像を取得し、これらの２枚の撮影画像を用いて信号色を検知する方法が開示されている。特許文献１では、１回目の撮影で取得した撮影画像を用いて、２回目の撮影用のゲインを調整する。

しかしながら従来の技術では、ゲインの異なる複数枚の撮影画像が必要であった。また、ゲイン調整の誤差により、検出精度が大幅に低下する場合があった。さらに、撮影画像のうち信号機が映り込んだ領域を検出する前の状態では、撮影画像における信号の位置が不明であることから、信号色を正確に検出可能なゲインの設定は困難であった。

また、カメラゲインを最適に設定しても、信号機の信号と同じ色、同じ形状の物体が現れると、その物体を信号機の信号として誤認識する問題がある。例えば、赤い看板の一部が木に隠れ、見える部分の形状が、赤信号の色を示す円の形になった場合、その赤い看板を、赤信号を示す領域として認識してしまう。従来の技術では、誤認識を削除不可能である。

すなわち、従来の技術では、撮影画像に映り込んだ信号機の信号を高精度に認識することは困難であるという問題があった。

本発明は、上記に鑑みてなされたものであって、撮影画像に映り込んだ信号機の信号を高精度に認識することが可能な情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮影画像を取得する取得部と、前記取得部により取得された前記撮影画像のうち、信号機の信号の色と形状に対応する領域を示す候補領域を認識する候補領域認識部と、前記候補領域の周囲の特徴量を示す周囲特徴量データを算出する周囲特徴量データ算出部と、前記信号機の信号の周囲の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報と、前記周囲特徴量データ算出部により算出された前記周囲特徴量データと、に基づいて、前記周囲特徴量データに対応する前記候補領域が前記信号機の信号を示す領域であるか否かを判断する判断部と、を備える情報処理装置である。

本発明によれば、撮影画像に映り込んだ信号機の信号を高精度に認識することができる。

図１は、情報処理装置の一例の説明図である。 図２は、実施形態の情報処理装置が有する機能の一例を示す図である。 図３は、横方向に配置する信号機の青信号が点灯していて、青信号に対応する領域が候補領域として認識される場合の例を示す図である。 図４は、横方向に配置する信号機の赤信号が点灯していて、赤信号に対応する領域が候補領域として認識される場合の例を示す図である。 図５は、縦方向に配置する信号機の赤信号が点灯していて、赤信号に対応する領域が候補領域として認識される場合の例を示す図である。 図６は、縦方向に配置する信号機の青信号が点灯していて、青信号に対応する領域が候補領域として認識される場合の例を示す図である。 図７は、周囲特徴量データの算出方法の説明図である。 図８は、周囲特徴量データの算出方法の説明図である。 図９は、周囲特徴量データの算出方法の説明図である。 図１０は、周囲特徴量データの算出方法の説明図である。 図１１は、周囲特徴量データの別の算出方法の説明図である。 図１２は、任意の１つの時間帯における画素平均値の分布の例を示す図である。 図１３は、時間帯判別部が有する機能の一例を示す図である。 図１４は、基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の一例を示す図である。 図１５は、青信号の画素例を示す図である。 図１６は、図１５の信号画素領域を膨張処理した後の画素例を示す図である。 図１７は、Ｈｏｕｇｈ変換により抽出した青信号の円領域を示す図である。 図１８は、候補領域認識部によって認識された候補領域を示す図である。 図１９は、図３の撮影画像から認識された候補領域（青信号の候補を示す領域）を示す図である。 図２０は、認識処理部の動作例を示すフローチャートである。 図２１は、撮影装置のハードウェア構成の一例を示す図である。 図２２は、情報処理装置のハードウェア構成例を示す図である。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。

図１は、本実施の形態の情報処理装置１０の一例の説明図である。情報処理装置１０は、例えば、移動体に搭載されている。移動体は、自立走行または牽引などにより、実空間において位置移動の可能な物体である。移動体は、例えば、車両、飛行機、電車、台車、などである。本実施の形態では、移動体が車両２０である場合を一例として説明する。すなわち、本実施の形態では、情報処理装置１０を車両２０に搭載した形態を一例として説明する。

車両２０には、撮影装置１２が搭載されている。撮影装置１２は、車両２０の周辺を撮影した撮影画像を得る。撮影装置１２は、例えば、公知のビデオカメラや、デジタルカメラなどである。本実施の形態では、撮影装置１２は、車両２０の周辺を連続して撮影することで、複数の撮影画像（すなわち、複数のフレーム）を撮影する。なお、撮影装置１２は、情報処理装置１０と一体的に構成してもよいし、情報処理装置１０と別体として構成してもよい。

また、撮影装置１２は、車両２０に搭載した形態に限定されない。撮影装置１２は、信号機３０を撮影可能な位置に設置されていればよく、地面に対して固定されていてもよい。なお、本実施の形態の情報処理装置１０で検知した検知結果を、車両２０の運転者の運転支援などに用いる場合には、撮影装置１２は、車両２０に搭載した形態であることが好ましい。

本実施形態では、撮影装置１２は、オートゲインコントロール（ＡＧＣ）機能を搭載している。このため、撮影装置１２は、感度を自動調整し、撮影画像の全画面の明るさが最適となるように自動調整した撮影画像を得る。

情報処理装置１０は、撮影画像を解析する。そして、情報処理装置１０は、撮影画像に含まれる信号機３０を検出する。

次に、情報処理装置１０が有する機能の一例を説明する。図２は、情報処理装置１０が有する機能の一例を示すブロック図である。説明の便宜上、ここでは、本実施形態に関する機能を主に例示しているが、情報処理装置１０が有する機能はこれらに限られるものではない。

情報処理装置１０は、インタフェース部１４と、認識処理部１６と、記憶部１８と、を備える。インタフェース部１４および記憶部１８は、認識処理部１６に電気的に接続されている。

インタフェース部１４は、撮影装置１２から撮影画像を受付ける。撮影装置１２は、車両２０の周辺を経時的に連続して撮影し、撮影によって得られた撮影画像（この例ではカラー画像）の各々を、撮影順に順次、インタフェース部１４へ出力する。インタフェース部１４は、撮影装置１２から撮影画像を順次受け付け、受け付けた順に、認識処理部１６へ順次出力する。

記憶部１８は、各種データを記憶する。本実施の形態では、記憶部１８は、時間帯認識辞書ＤＢ１８Ａと、周囲領域識別辞書ＤＢ１８Ｂを有し、時間帯認識辞書ＤＢ１８Ａは時間帯認識辞書を保持し、周囲領域識別辞書ＤＢ１８Ｂは周囲領域識別辞書を保持する。これらの詳細については後述する。

認識処理部１６は、撮影画像を解析し、撮影画像に映り込んだ信号機の信号を認識（検出）する。図２に示すように、認識処理部１６は、画像取得部１０１と、候補領域認識部１０２と、周囲特徴量データ算出部１０３と、判断部１０４と、削除処理部１０５と、時間帯判別部１０６と、位置情報取得部１０７と、選択部１０８と、出力部１０９と、を含む。

画像取得部１０１、候補領域認識部１０２、周囲特徴量データ算出部１０３、判断部１０４、削除処理部１０５、時間帯判別部１０６、位置情報取得部１０７、選択部１０８、出力部１０９の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

画像取得部１０１は、「取得部」の一例であり、撮影画像を取得する。この例では、画像取得部１０１は、インタフェース部１４から順次に入力される撮影画像（動画像）を取得する。つまり、画像取得部１０１は、車両２０に搭載された撮影装置１２によって撮影された撮影画像を取得する。

候補領域認識部１０２は、画像取得部１０１により取得された撮影画像のうち、信号機の信号の色と形状に対応する領域を示す候補領域を認識する。候補領域認識部１０２は、点灯する信号（赤信号または青信号）の色と形状に対応する領域（この例では矩形の領域）を候補領域として認識する。

図３は、横方向に配置する信号機の青信号が点灯していて、青信号に対応する領域３０１が候補領域として認識される場合の例を示す図である。図４は、横方向に配置する信号機の赤信号が点灯していて、赤信号に対応する領域４０１が候補領域として認識される場合の例を示す図である。日本などにおいては、信号機は、図３および図４に示すように横方向に配置されるのが一般的である。

図５は、縦方向に配置する信号機の赤信号が点灯していて、赤信号に対応する領域５０１が候補領域として認識される場合の例を示す図である。図６は、縦方向に配置する信号機の青信号が点灯していて、青信号に対応する領域６０１が候補領域として認識される場合の例を示す図である。アメリカや日本の東北地方などにおいては、信号機は、図５および図６に示すように縦方向に配置されるのが一般的である。候補領域の具体的な認識方法については後述する。

図２に戻って説明を続ける。周囲特徴量データ算出部１０３は、画像取得部１０１により取得された撮影画像のうち、候補領域認識部１０２により認識された候補領域の周囲の特徴量を示す周囲特徴量データを算出する。図７〜図１０を用いて、周囲特徴量データの算出方法を説明する。領域８０１（ａ）〜８０１（ｆ）の矩形領域は、候補領域の周囲の領域を表している。互いに区別しない場合は、単に「領域８０１」と称する場合がある。ここでは、図７〜図１０の何れにおいても、候補領域は、信号機の信号を示す領域と一致し、領域８０１（ａ）〜８０１（ｆ）は信号機の信号の周囲の領域を示す周囲領域と一致しているが、これに限らず、候補領域と、信号機の信号を示す領域とが一致しない場合は、候補領域の周囲の領域と、周囲領域とは一致しないことになる。

領域８０１の矩形のサイズは、候補領域の矩形サイズと同じである。周囲特徴量データ算出部１０３は、各領域８０１内の画素の平均値Ｉ_ｉを求める。より具体的には、領域８０１内の画素の輝度値（画素値）を合計し、矩形内の画素数（Ｍ×Ｎ）で除算することで、該領域８０１の画素の平均値Ｉ（以下の説明では「画素平均値Ｉ」と称する場合がある）を求めることができる。この例では、Ｍは矩形の横方向の画素数、Ｎは矩形の縦方向の画素数である。周囲特徴量データ算出部１０３は、各領域８０１（ａ）〜８０１（ｆ）の画素平均値Ｉを求めて、周囲特徴量データを求める。ここで、周囲特徴量データはＫ（Ｋは領域８０１の数に対応）次元のベクトルデータとなり、Ｐ(Ｉ_ａ，Ｉ_ｂ，Ｉ_ｃ，…,Ｉ_ｋ)のように表される。Ｉ_ｋは各領域８０１内の画素平均値Ｉであり、Ｉ_ａは、領域８０１（ａ）の画素平均値Ｉを表し、Ｉ_ｂは、領域８０１（ｂ）の画素平均値Ｉを表す。他も同様である。図７〜図１０の例では、周囲特徴量データＰは６次元のベクトルデータとなる（Ｐ(Ｉ_ａ，Ｉ_ｂ，Ｉ_ｃ，…,Ｉ_ｆ)）。また、周囲特徴量データＰを表すベクトルデータの次元数は任意である。例えば図１１のように、８０１（ａ）〜８０１（ｎ）の１４個の領域８０１を設け、各領域８０１の画素平均値Ｉを求め、１４次元のベクトルデータで周囲特徴量データＰを表す形態であってもよい。

図２の説明を続ける。判断部１０４は、撮影画像のうち信号機の信号の周囲（一定範囲内の周囲）の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報と、周囲特徴量データ算出部１０３により算出された周囲特徴量データと、に基づいて、周囲特徴量データに対応する候補領域が信号機の信号を示す領域であるか否かを判断する。この例では、周囲領域識別情報は、複数の時間帯ごとに予め定められる。また、周囲領域識別情報は、国または地域ごとに予め定められる。より具体的には、周囲領域識別情報は、時間帯と、国または地域との組み合わせごとに予め定められている。周囲領域識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して予め作成される。さらに言えば、周囲領域識別情報は、撮影画像のうち周囲領域と周囲領域以外の領域を示す誤認識領域との分離面を示す評価関数である。

例えば図８に示すように信号機が横方向に配置される国または地域（以下の説明では「対象地域（国も含む概念）」と称する）において、２次元の周囲特徴量データＰを用いて、対応する候補領域の判断を行う場合を想定する。つまり、この場合の周囲領域識別情報は、２次元の周囲特徴量データＰが正解であるか否か（撮影画像における信号機の信号の一定範囲内の周囲の領域を示すか否か）を識別するための情報である。なお、ここでは説明の便宜上、２次元の周囲特徴量データＰを例に挙げて説明するが、これに限らず、正解であるか否かを判断する対象となる周囲特徴量データＰの次元数は任意である。

ここでは、周囲特徴量データ算出部１０３により算出された２次元のベクトルデータが、図８に示す信号機の赤信号を示す領域（この例では領域４０１）の右隣の領域（この例では領域８０１（ａ））および左隣の領域（この例では領域８０１（ｄ））の各々を示すか否かを識別するための周囲領域識別情報を例に挙げて説明する。

このような周囲領域識別情報を作成する場合、赤信号を示す領域の検出に用いられる撮影画像とは別に、この検出処理より前に、対象地域の複数の時間帯ごとに、予め撮影装置１２によって赤信号の信号機を撮影した画像（赤信号画像と称する）を集める。そして、複数の時間帯ごとに、赤信号画像のうち、複数の赤色画素からなる矩形サイズ（候補領域の矩形サイズと同じ）の領域（赤色画素領域）の右隣の矩形サイズの領域の画素平均値Ｉ_ａおよび左隣の矩形サイズの領域の画素平均値Ｉ_ｄを求める。図１２は、任意の１つの時間帯における画素平均値（Ｉ_ａ，Ｉ_ｄ）の分布の例を示す図である。赤色画素領域が、信号機の赤信号を示す領域である場合、該赤色画素領域の右隣の領域（例えば図８の領域８０１（ａ））は、比較的に高い画素平均値Ｉ_ａが得られる。一方、該赤色画素領域の左隣の領域（例えば図８の領域８０１（ｄ））は点灯しない黄色領域であるので、比較的に低い画素平均値Ｉ_ｄが得られる。つまり、この場合、正解データとなる、周囲領域（赤信号の周囲の領域）の特徴量データＰ（Ｉ_ａ，Ｉ_ｄ）の集合は、図１２の右下の黒丸の集合のように表され、周囲領域以外の誤認識領域の特徴量データＰ（Ｉ_ａ，Ｉ_ｄ）の集合は、図１２の左上の白丸の集合のように表される。

ここでは、判断部１０４は、周囲領域の特徴量データ（正解データ）の集合と、誤認識領域の特徴量データの集合とを分離する分離面を、マージンｄが最大となるように配置する。そして、判断部１０４は、この分離面（図１２の例では直線Ｌ）を示す評価関数を、周囲領域識別辞書ＤＢ１８Ｂとして予め算出（学習により算出）しておくことができる。なお、この例では、評価関数を算出する主体は判断部１０４であるとして説明したが、これに限らず、評価関数を予め算出する主体は判断部１０４以外の他の機能であってもよい。

上記評価関数は、例えば以下の式（１）のような線形識別関数で表される。以下の式（１）におけるＡ，Ｂ，Ｃは評価関数の係数である。ここでは、この評価関数が「周囲領域識別情報」に対応する。同様にして、黄信号の周囲の領域を示す周囲領域を識別するための評価関数や青信号の周囲の領域を示す周囲領域を識別するための評価関数を予め作成しておくことができる。

判断部１０４は、周囲特徴量データ算出部１０３により算出された周囲特徴量データＰ（Ｉ_ａ，Ｉ_ｄ）を上記評価関数に代入して、評価関数ｆ（Ｉ_ａ，Ｉ_ｄ）の値を算出する。そして、算出した評価関数ｆ（Ｉ_ａ，Ｉ_ｄ）の値が予め定めた閾値以上（例えば０）であれば、判断部１０４は、該周囲特徴量データＰ（Ｉ_ａ，Ｉ_ｄ）に対応する候補領域は、赤信号を示す領域であると判断する。該周囲特徴量データＰ（Ｉ_ａ，Ｉ_ｄ）は、撮影画像のうち赤信号の周囲の領域（周囲領域）の特徴量を示すデータであると判断できるためである。一方、算出した評価関数ｆ（Ｉ_ａ，Ｉ_ｄ）の値が閾値未満であれば、判断部１０４は、該周囲特徴量データＰ（Ｉ_ａ，Ｉ_ｄ）に対応する候補領域は、赤信号を示す領域ではないと判断する。該周囲特徴量データＰ（Ｉ_ａ，Ｉ_ｄ）は、撮影画像のうち誤認識領域の特徴量を示すデータであると判断できるためである。

以上においては、正解であるか否かを判断する対象となる周囲特徴量データＰは２次元のベクトルデータである場合を例に挙げて説明したが、次元数は任意に変更可能である。次元数をＫとした場合、正解データの集合と、誤認識領域の特徴量データの集合とを分離する分離面を示す評価関数ｆ（Ｉ_ａ，Ｉ_ｂ，…，Ｉ_ｋ）は、以下の式（２）で表される。以下の式（２）における（ｗ_ａ，ｗ_ｂ，…，ｗ_ｋ）は評価関数の係数である。

この場合、周囲特徴量データ算出部１０３により算出される周囲特徴量データＰ（Ｉ_ａ，Ｉ_ｂ，・・・，Ｉ_ｋ）はＫ次元のベクトルデータであり、判断部１０４は、周囲特徴量データ算出部１０３により算出された周囲特徴量データＰ（Ｉ_ａ，Ｉ_ｂ，・・・，Ｉ_ｋ）を上記評価関数に代入して、評価関数ｆ（Ｉ_ａ，Ｉ_ｂ，・・・，Ｉ_ｋ）の値を算出する。そして、算出した評価関数ｆ（Ｉ_ａ，Ｉ_ｂ，・・・，Ｉ_ｋ）の値が予め定めた閾値以上であれば、判断部１０４は、該周囲特徴量データに対応する候補領域は、信号機の信号を示す領域であると判断する。一方、算出した評価関数（Ｉ_ａ，Ｉ_ｂ，・・・，Ｉ_ｋ）の値が閾値未満であれば、判断部１０４は、該周囲特徴量データに対応する候補領域は、信号機の信号を示す領域ではないと判断する。

ここでは、時間帯と、国または地域との組み合わせごとに、事前学習により評価関数を作成しておき、周囲領域識別辞書ＤＢ１８Ｂに格納しておく。なお、赤信号、黄信号および青信号ごとに、個別の評価関数を格納しておいてもよいし、検出対象の信号用の評価関数のみを格納しておいてもよい。例えば赤信号、黄信号および青信号の全てが検出対象であれば、国または地域との組み合わせごとに、赤信号用の評価関数、黄信号用の評価関数、および、青信号用の評価関数を予め作成しておき、周囲領域識別辞書ＤＢ１８Ｂに格納しておく形態であってもよい。また、例えば赤信号のみが検出対象であれば、国または地域との組み合わせごとに赤信号用の評価関数を作成しておき、周囲領域識別辞書ＤＢ１８Ｂに格納しておく形態であってもよい。要するに、信号機の信号の周囲の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報は、時間帯と、国または地域との組み合わせごとに予め定められている形態であればよい。

判断部１０４は、後述の選択部１０８により選択された評価関数と、周囲特徴量データ算出部１０３により算出された周囲特徴量データＰと、に基づいて、周囲特徴量データＰに対応する候補領域が信号機の信号を示す領域であるか否かを判断する。

削除処理部１０５は、判断部１０４によって、周囲特徴量データ算出部１０３により算出された周囲特徴量データＰに対応する候補領域は、信号機の信号を示す領域ではないと判断された場合、その候補領域を削除する（出力対象外とする）処理を行う。

出力部１０９は、信号機の信号を示す領域であると判断された候補領域を、認識結果として出力する。

時間帯判別部１０６は、画像取得部１０１により取得された撮影画像が撮影された時間帯を判別する。時間帯判別部１６Ｂは、撮影画像を解析することによって、該撮影画像の撮影時間帯を判別する。

撮影時間帯とは、１日（２４時間）を撮影環境の互いに異なる複数の時間帯に分割したものである。撮影環境が異なる、とは、光強度が異なることを意味する。例えば、撮影時間帯は、昼、または、夜、である。なお、撮影時間帯は、昼、夜、夕方、であってもよい。また、撮影時間帯は、１日を撮影環境の異なる複数の時間帯に分割した、各時間帯であればよく、昼、夜、夕方、などに限定されない。また撮影時間帯は、２種類や３種類に限定されず、４種類以上であってもよい。また、撮影時間帯は、撮影画像の撮影環境（例えば、季節、国、地域、北半球・南半球）に応じて、適宜、設定すればよい。

本実施形態では、一例として、撮影時間帯が、昼または夜を示す場合を説明する。撮影時間帯が昼を示す、とは、撮影環境の光強度が閾値以上の時間帯である。撮影時間帯が夜である、とは、撮影環境の光強度が該閾値未満の時間帯である。この光強度の閾値には、予め任意の値を定めればよい。例えば、この光強度の閾値には、処理対象の撮影画像を撮影した撮影装置１２のオートゲインコントロール機能によって、撮影画像に含まれる信号機３０の信号３０Ａを示す領域の光量が飽和し始める（または飽和が解除される）光強度を定めればよい。

時間帯判別部１０６は、画像取得部１０１により取得された撮影画像の輝度を用いて、撮影画像の撮影時間帯を判別する。詳細には、図１３に示すように、時間帯判別部１０６は、第１の算出部１１６Ｈと、第２の算出部１１６Ｉと、第３の算出部１１６Ｊと、を含む。

第１の算出部１１６Ｈは、撮影画像の平均輝度を算出する。第１の算出部１１６Ｈは、撮影画像に含まれる画素の各々の輝度値の平均値を算出する。これにより、第１の算出部１１６Ｈは、撮影画像の平均輝度を算出する。撮影時間帯が昼の場合、撮影画像の平均輝度は高い。一方、撮影時間帯が夜の場合、撮影画像の平均輝度は、昼より低い。

第２の算出部１１６Ｉは、撮影画像を複数のブロックに分割する。例えば、第２の算出部１１６Ｉは、撮影画像をｍ×ｎ個のブロックに分割する。なお、ｍおよびｎは、１以上の整数であり、且つ、ｍおよびｎの少なくとも一方は、２以上の整数である。

そして、第２の算出部１１６Ｉは、ブロックの各々ごとに、平均輝度を算出する。例えば、第２の算出部１１６Ｉは、ブロックの各々ごとに、ブロックに含まれる画素の輝度値の平均値を算出する。これにより、第２の算出部１１６Ｉは、撮影画像に含まれるブロックの各々ごとに、平均輝度を算出する。

さらに、第２の算出部１１６Ｉは、撮影画像における平均輝度が閾値以下のブロックの数を、該撮影画像における低輝度ブロック数として算出する。低輝度ブロック数の算出に用いる平均輝度の閾値には、任意の値を予め定めればよい。

そして、時間帯判別部１０６は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、を含む特徴量に基づいて、撮影時間帯を判別する。

具体的には、時間帯判別部１０６は、例えば、撮影画像の平均輝度と撮影画像の低輝度ブロック数を、時間帯判別時の特徴量として用いる。

本実施形態では、時間帯判別部１０６は、予め、撮影時間帯の判別に用いる時間帯認識辞書ＤＢ１８Ａを作成する。すなわち、時間帯判別部１０６は、撮影画像の時間帯判別処理より以前に、予め、時間帯認識辞書ＤＢ１８Ａを作成する。

本実施形態では、時間帯判別部１０６は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を用いて、時間帯認識辞書１８Ａを予め作成する。

詳細には、時間帯判別部１０６は、撮影時間帯ごとに予め撮影された複数の撮影画像を基準撮影画像として用いる。

基準撮影画像とは、信号機の信号を示す領域の検出に用いられる撮影画像とは別に、この検出処理より前に、撮影装置１２によって予め撮影された撮影画像である。まず、時間帯判別部１０６は、基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群を、平均輝度と低輝度ブロック数によって定まる二次元空間に登録する。図１４は、基準撮影画像における、平均輝度（Ｉａｖ）と低輝度ブロック数（Ｎｂｌｋ）によって示されるサンプル点の一例を示す図である。

図１４中、サンプル点群４０Ｂは、夜を示す撮影時間帯に撮影された基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群である。また、サンプル点群４０Ａは、昼を示す撮影時間帯に撮影された基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群である。

時間帯判別部１０６は、昼のサンプル点群４０Ａと夜のサンプル点群４０Ｂとを分離する分離面（ここでは、直線Ｌａ）を、昼のサンプル点群４０Ａと夜のサンプル点群４０Ｂの各々の境界線（直線Ｌａ１および直線Ｌａ２）間の距離ｄ（マージンと称される場合がある）が最大となるように配置する。そして、時間帯判別部１０６は、この分離面（図１４では、直線Ｌａ）を示す評価関数を算出する。下記式（３）は、この直線Ｌａを示す評価関数を示す式である。

上記式（３）中、ｆ（Ｉａｖ，Ｎｂｌｋ）は、撮影画像の平均輝度と撮影画像の低輝度ブロック数を時間帯判別時の特徴量として用いた場合の、評価関数である。式（３）中、Ａ、Ｂ、およびＣは、該評価関数の係数である。ここでは、評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）または係数Ａ、Ｂ、およびＣが時間帯認識辞書１８Ａに対応している。

時間帯判別部１０６は、式（３）に示す評価関数を予め作成し、時間帯認識辞書１８Ａとして予め記憶部１８に記憶する。

時間帯判別部１０６は、撮影画像の撮影時間帯の判別時には、記憶部１８に記憶されている時間帯認識辞書１８Ａ（式（３）に示す評価関数）を用いて、該撮影画像の撮影時間帯を判別する。

詳細には、時間帯判別部１０６は、第１の算出部１１６Ｈおよび第２の算出部１１６Ｉによって算出した、撮影画像の平均輝度（Ｉａｖ）と低輝度ブロック数（Ｎｂｌｋ）を、式（３）に代入することで、評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）の値を算出する。

そして、時間帯判別部１０６は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）の値が、予め定めた閾値以上である場合、該撮影画像の撮影時間帯が昼を示すと判別する。一方、時間帯判別部１０６は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）の値が、該閾値未満である場合、該撮影画像の撮影時間帯が夜を示すと判別する。この閾値は、判別対象の撮影時間帯の撮影環境の光強度に応じて、予め定めればよい。

なお、時間帯判別部１０６は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、該撮影画像におけるブロック毎の平均輝度の分散値と、を含む特徴量に基づいて、撮影時間帯を判別してもよい。

この場合、時間帯判別部１０６の第３の算出部１１６Ｊが、撮影画像におけるブロック毎の平均輝度の分散値を算出する。第３の算出部１１６Ｊは、第２の算出部１１６Ｉが分割したブロック毎の、平均輝度の分散値を算出する。例えば、時間帯判別部１０６は、下記式（４）を用いて、分散値（σ）を算出する。

式（４）中、σは、撮影画像におけるブロック毎の平均輝度の分散値を示す。式（４）中、Ｎは、撮影画像に含まれるブロック数（すなわち、ｍ×ｎの値）を示す。Ｉｉは、ｉ番目のブロックの平均輝度を示す。Ｉａｖは、撮影画像の全体の平均輝度を示す。

この場合、時間帯判別部１０６は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、該撮影画像におけるブロック毎の平均輝度の分散値と、を特徴量として用いる時間帯認識辞書１８Ａを、予め作成すればよい。

すなわち、時間帯判別部１０６は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、を特徴量として用いる場合と同様に、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を用いて、時間帯認識辞書１８Ａを予め作成すればよい。この場合、時間帯判別部１０６は、基準撮影画像における、平均輝度と低輝度ブロック数と分散値とによって示されるサンプル点の群を、平均輝度と低輝度ブロック数と分散値によって定まる三次元空間に登録すればよい。

そして、時間帯判別部１０６は、上記と同様にして、昼のサンプル点群と夜のサンプル点群とを分離する分離面を、マージンが最大となるように配置する。そして、時間帯判別部１０６は、この分離面を示す評価関数を、時間帯認識辞書１８Ａとして算出すればよい。下記式（５）は、撮影画像Ｐの平均輝度、撮影画像Ｐの低輝度ブロック数、および分散値を、時間帯判別時の特徴量として用いる場合の、評価関数（時間帯認識辞書１８Ａ）である。

式（５）中、ｆ（Ｉａｖ，Ｎｂｌｋ，σ）は、撮影画像の平均輝度と撮影画像の低輝度ブロック数と分散値とを時間帯判別時の特徴量として用いる場合の、評価関数（時間帯認識辞書１８Ａ）である。式（５）中、Ａ、Ｂ、Ｃ、およびＤは、該評価関数の係数である。

このように、時間帯判別部１０６は、例えば、式（５）に示す評価関数を予め作成し、時間帯認識辞書１８Ａとして予め記憶部１８に記憶してもよい。

この場合、時間帯判別部１０６は、撮影画像の撮影時間帯の判別時には、記憶部１８に記憶されている時間帯認識辞書１８Ａ（式（５）に示す評価関数）を用いて、該撮影画像の撮影時間帯を判別する。

詳細には、時間帯判別部１０６は、第１の算出部１１６Ｈ、第２の算出部１１６Ｉ、および第３の算出部１１６Ｊの各々によって算出された、撮影画像の平均輝度（Ｉａｖ）、低輝度ブロック数（Ｎｂｌｋ）、および分散値（σ）を得る。そして、時間帯判別部１０６は、これらの平均輝度（Ｉａｖ）、低輝度ブロック数（Ｎｂｌｋ）、および分散値（σ）を、式（５）に代入することで、評価関数ｆ（Ｉａｖ，Ｎｂｌｋ，σ）の値を算出する。

そして、時間帯判別部１０６は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ，σ）の値が、予め定めた閾値以上である場合、該撮影画像の撮影時間帯が昼を示すと判別する。一方、時間帯判別部１０６は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ，σ）の値が、該閾値未満である場合、該撮影画像の撮影時間帯が夜を示すと判別する。この閾値は、予め定めればよい。

以上のようにして、時間帯判別部１０６は、画像取得部１０１により取得された撮影画像が撮影された時間帯を判別し、判別した撮影時間帯を選択部１０８へ出力する。

図２に戻り、認識処理部１６が有する機能の説明を続ける。位置情報取得部１０７は、自装置の位置情報を取得する。例えば位置情報取得部１０７は、ＧＰＳ装置などの外部装置から位置情報を取得することができる。位置情報取得部１０７は、取得した位置情報を選択部１０８へ出力する。

選択部１０８は、時間帯判別部１０６により判別された時間帯に対応する周囲領域識別情報を選択する。また、選択部１０８は、位置情報取得部１０７により取得された位置情報（国または地域を特定可能）に対応する周囲領域識別情報を選択する。より具体的には、選択部１０８は、時間帯判別部１０６により判別された時間帯と、位置情報取得部１０７により取得された位置情報（国または地域を特定可能）との組み合わせに対応する周囲領域識別情報（この例では式（２）の評価関数）を選択する。

次に、候補領域認識部１０２による候補領域の認識方法について説明する。候補領域認識部１０２は、画像取得部１０１により取得された撮影画像のうち、信号機の信号色を示す信号画素を含む信号画素領域を抽出し、その抽出した信号画素領域を膨張した膨張領域に予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を信号領域として認識する。より具体的には、候補領域認識部１０２は、膨張領域に円形の定型領域が含まれる場合、該定型領域を含む領域を候補領域として認識する。以下、具体的な内容を説明する。

画像取得部１０１により取得された撮影画像が（Ｒ，Ｇ，Ｂ）色空間の画像データである場合、候補領域認識部１０２は、画像取得部１０１により取得されたＲＧＢ色空間の撮影画像（入力画像）を、（Ｙ，Ｕ，Ｖ）色空間の画像データに変更し、信号画素を抽出する。ここで、（Ｒ，Ｇ，Ｂ）の色空間と（Ｙ，Ｕ，Ｖ）の色空間との変換は以下の式（６）により行われる。

この例では、撮影装置１２によって予め信号機の信号を撮影して得られる撮影画像（「信号画像サンプル」と称する）を集めた学習により、信号機の信号の色値の範囲を示す信号認識辞書を予め作成しておく。例えば赤信号を示す（Ｕ，Ｖ）値分布と、赤信号以外の（Ｕ，Ｖ）値分布とを分離する分離面を、両者の間のマージン（距離）が最大になるように配置する。そして、その分離面を示す評価関数を、赤信号を認識するための赤信号認識辞書として算出することができる。以下の式（７）は、評価関数を表す式である。式（７）において、ｆ（Ｕ，Ｖ）は、赤信号認識辞書を示す評価関数であり、ａ，ｂ，ｃは、この評価関数の係数である。青信号認識辞書および黄信号認識辞書も同様の方法で作成することができる。

候補領域認識部１０２は、（Ｙ，Ｕ，Ｖ）色空間の撮影画像を構成する画素ごとに、該画素の（Ｕ，Ｖ）値を、各信号色（赤、黄および青の何れか）に対応する評価関数ｆ（Ｕ，Ｖ）に代入して、該評価関数ｆ（Ｕ，Ｖ）の値を求める。算出した評価関数ｆ（Ｕ，Ｖ）の値が、予め定めた閾値以上であれば、その画素は、対応する信号色の信号画素であると判断する。例えば最小値の閾値と最大値の閾値とを設けて信号画素を抽出してもよい。赤、青、黄色のそれぞれのＵの最小値および最大値、Ｖの最小値および最大値の閾値を設定してもよい。また、信号画素以外の画素の（Ｕ，Ｖ）値と重ならないように閾値を設定する。

図１５は、画素値の（Ｕ、Ｖ）空間での閾値処理で抽出した青信号の画素例を示す図である。図１５の画像中の信号画素（青信号を示す画素）を含む信号画素領域では、飽和した画素、ノイズ画素が含まれるので、抽出した信号画素領域は、青信号を示す実際の領域の一部しかない。そこで、候補領域認識部１０２は、抽出した信号画素に対して、膨張処理を行う。膨張処理は、１画素に対して、オリジナルの信号画像からＮ×Ｎの画素ブロックを加える。例えばＮ＝７のとき、膨張対象の１画素に対して、オリジナルの信号画像から、７×７の画素ブロックを加える。図１６は、図１５の信号画素領域を膨張処理した後の画素例を示す図である。以下では、膨張処理した後の信号画素領域を「膨張領域」と称する。

候補領域認識部１０２は、膨張領域に対して、信号形状認識処理を行う。赤、青、黄信号に対して、円形抽出により、形状認識を行う。ここで、膨張領域に対して、円抽出により、形状認識を行う。円が検知された場合、信号が存在すると判断することができる。円抽出処理はＨｏｕｇｈ変換により円抽出を行うことができる。そして、候補領域認識部１０２は、抽出した円領域に外接する矩形を求める。この矩形領域を候補領域（候補領域認識部１０２による認識結果）とする。図１７に示す太線で描かれた円は、Ｈｏｕｇｈ変換により抽出した青信号の円領域を示す。図１８に示す矩形領域は、候補領域認識部１０２によって認識された候補領域を示す。図１９に示す矩形領域は、図３の撮影画像から認識された候補領域（青信号の候補を示す領域）を示す図である。

上記図１９の認識結果は、撮影画像のうち信号機の信号（この例では青信号）を示す領域を認識した結果である。信号機以外の対象物でも、同じ色、同じ形状のものであれば、誤認識になってしまう問題がある。例えば、木の後方に赤色の看板がある場合、看板の一部は木に隠される。見える看板の一部は赤色で、丸い形になる。信号機の赤信号と同じ色および形状（円形状）であれば、信号機の赤信号として誤認識されてしまう。他の色の信号色についても同様の問題が起こる。

以上に説明した本実施形態では、信号機の信号の周囲の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報（この例では評価関数）と、候補領域の周囲の特徴量を示す周囲特徴量データと、に基づいて、周囲特徴量データに対応する候補領域が信号機の信号を示す領域であるか否かを判断するので、周囲特徴量データが正解データに該当しない限り、該周囲特徴量データに対応する候補領域は信号機の信号を示す領域であるとは判定されない。すなわち、本実施形態によれば、撮影画像に映り込んだ信号機の信号を高精度に認識することができる。

図２０は、本実施形態の認識処理部１６の動作例を示すフローチャートである。各ステップの具体的な内容は上述したとおりであるので、詳細な説明は適宜に省略する。図２０に示すように、まず画像取得部１０１は、撮影画像を取得する（ステップＳ１）。次に、候補領域認識部１０２は、ステップＳ１で取得された撮影画像のうち、信号機の信号の色と形状に対応する領域を示す候補領域を認識する（ステップＳ２）。次に、周囲特徴量データ算出部１０３は、ステップＳ１で取得された撮影画像のうち、ステップＳ２で認識された候補領域の周囲の特徴量を示す周囲特徴量データを算出する（ステップＳ３）。また、以上の処理と並行して、時間帯判別部１０６は、ステップＳ１により取得された撮影画像が撮影された時間帯を判別する（ステップＳ４）。

次に、選択部１０８は、ステップＳ４で判別された時間帯と、位置情報取得部１０７により取得された位置情報により特定される国または地域との組み合わせに対応する評価関数を選択する（ステップＳ５）。次に、判断部１０４は、ステップＳ３で算出された周囲特徴量データと、ステップＳ５で選択された評価関数と、に基づいて、該周囲特徴量データＰに対応する候補領域（ステップＳ２で認識された候補領域）が信号機の信号を示す領域であるか否かを判断する判断処理を行う（ステップＳ６）。そして、削除処理部１０５は、ステップＳ６の判断処理により、信号機の信号を示す領域ではないと判断された候補領域を削除する処理を行う（ステップＳ７）。出力部１０９は、ステップＳ６の判断処理により、信号機の信号を示す領域であると判断された候補領域を、認識結果として出力する（ステップＳ８）。

次に、撮影装置１２のハードウェア構成の一例を説明する。図２１は、撮影装置１２のハードウェア構成の一例を示す図である。

撮影装置１２は、撮影光学系２０１０、メカシャッタ２０２０、モータドライバ２０３０、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０４０、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路２０５０、Ａ／Ｄ変換器２０６０、タイミング信号発生器２０７０、画像処理回路２０８０、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０９０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１００、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２０、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３０、圧縮伸張回路２１４０、メモリ２１５０、操作部２１６０、および、出力Ｉ／Ｆ２１７０を備える。

画像処理回路２０８０、ＣＰＵ２１００、ＲＡＭ２１１０、ＲＯＭ２１２０、ＳＤＲＡＭ２１３０、圧縮伸張回路２１４０、メモリ２１５０、操作部２１６０、および、出力Ｉ／Ｆ２１７０は、バス２２００を介して接続されている。

撮影光学系２０１０は、被写体の反射光を集光する。メカシャッタ２０２０は、所定の時間、開くことにより、撮影光学系２０１０により集光された光をＣＣＤ２０４０に入射させる。モータドライバ２０３０は、撮影光学系２０１０およびメカシャッタ２０２０を駆動する。

ＣＣＤ２０４０は、メカシャッタ２０２０を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像データをＣＤＳ回路２０５０に入力する。

ＣＤＳ回路２０５０は、ＣＣＤ２０４０からアナログの画像データを受け付けると、当該画像データのノイズ成分を除去する。また、ＣＤＳ回路２０５０は、相関二重サンプリングやゲインコントロールなどのアナログ処理を行う。そして、ＣＤＳ回路２０５０は、処理後のアナログの画像データを、Ａ／Ｄ変換器２０６０へ出力する。

Ａ／Ｄ変換器２０６０は、ＣＤＳ回路２０５０からアナログの画像データを受け付けると、当該アナログの画像データをデジタルの画像データに変換する。Ａ／Ｄ変換器２０６０はデジタルの画像データを画像処理回路２０８０に入力する。タイミング信号発生器２０７０はＣＰＵ２１００からの制御信号に応じて、ＣＣＤ２０４０、ＣＤＳ回路２０５０、およびＡ／Ｄ変換器２０６０にタイミング信号を送信することにより、ＣＣＤ２０４０、ＣＤＳ回路２０５０、およびＡ／Ｄ変換器２０６０の動作タイミングを制御する。

画像処理回路２０８０は、Ａ／Ｄ変換器２０６０からデジタルの画像データを受け付けると、ＳＤＲＡＭ２１３０を使用して、当該デジタルの画像データの画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、および、色変換処理等である。

画像処理回路２０８０は上述の画像処理が行われた画像データをＬＣＤ２０９０、または、圧縮伸張回路２１４０に出力する。ＬＣＤ２０９０は画像処理回路２０８０から受け付けた画像データを表示する液晶ディスプレイである。

圧縮伸張回路２１４０は、画像処理回路２０８０から画像データを受け付けると、当該画像データを圧縮する。圧縮伸張回路２１４０は圧縮された画像データを、メモリ２１５０に記憶する。また、圧縮伸張回路２１４０はメモリ２１５０から画像データを受け付けると、当該画像データを伸張する。圧縮伸張回路２１４０は伸張された画像データをＳＤＲＡＭ２１３０に一時的に記憶する。メモリ２１５０は圧縮された画像データを記憶する。

出力Ｉ／Ｆ２１７０は、画像処理回路２０８０で処理された画像データを、撮影画像として、情報処理装置１０へ出力する。

なお上述の図２で説明したインタフェース部１４、および認識処理部１６に含まれる機能部の少なくとも一部を、信号処理ボード（信号処理回路）として撮影装置１２に実装してもよい。

次に、上記実施の形態および変形例の、情報処理装置１０のハードウェア構成を説明する。図２２は、上記実施形態の情報処理装置１０のハードウェア構成例を示すブロック図である。

上記実施形態の情報処理装置１０は、出力部８０、Ｉ／Ｆ部８２、入力部９４、ＣＰＵ８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、およびＨＤＤ９２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８６は、上記実施形態の情報処理装置１０で実行する処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した記憶部１８に格納されるデータを記憶する。Ｉ／Ｆ部８２は、他の装置との間でデータを送受信するためのインタフェースである。

上記実施形態の情報処理装置１０で実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。

なお、上記実施形態の情報処理装置１０で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、上記実施形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態の情報処理装置１０における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

上記実施形態の情報処理装置１０で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。

なお、上記ＨＤＤ９２に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とＣＰＵ８６と、を、ネットワーク等を介して接続した構成とすればよい。

１０ 情報処理装置
１４ インタフェース部
１６ 認識処理部
１８ 記憶部
１０１ 画像取得部
１０２ 候補領域認識部
１０３ 周囲特徴量データ算出部
１０４ 判断部
１０５ 削除処理部
１０６ 時間帯判別部
１０７ 位置情報取得部
１０８ 選択部
１０９ 出力部

特開２００９−２４４９４６号公報

Claims (10)

1. 撮影画像を取得する取得部と、
   前記取得部により取得された前記撮影画像のうち、信号機の信号の色と形状に対応する領域を示す候補領域を認識する候補領域認識部と、
   前記候補領域の周囲の特徴量を示す周囲特徴量データを算出する周囲特徴量データ算出部と、
   前記信号機の信号の周囲の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報と、前記周囲特徴量データ算出部により算出された前記周囲特徴量データと、に基づいて、前記周囲特徴量データに対応する前記候補領域が前記信号機の信号を示す領域であるか否かを判断する判断部と、を備える、
   情報処理装置。
2. 前記周囲領域識別情報は、複数の時間帯ごとに予め定められ、
   前記撮影画像が撮影された時間帯を判別する時間帯判別部と、
   前記時間帯判別部により判別された時間帯に対応する前記周囲領域識別情報を選択する選択部と、をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記周囲領域識別情報は、国または地域ごとに予め定められ、
   位置情報を取得する位置情報取得部と、
   前記位置情報取得部により取得された位置情報に対応する前記周囲領域識別情報を選択する選択部と、をさらに備える、
   請求項１または２に記載の情報処理装置。
4. 前記判断部は、前記選択部により選択された前記周囲領域識別情報と、前記周囲特徴量データ算出部により算出された前記周囲特徴量データと、に基づいて、前記周囲特徴量データに対応する前記候補領域が前記信号機の信号を示す領域であるか否かを判断する、
   請求項２または３に記載の情報処理装置。
5. 前記周囲領域識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して予め作成される、
   請求項１乃至４のうちの何れか１項に記載の情報処理装置。
6. 前記周囲領域識別情報は、前記周囲領域と前記周囲領域以外の領域を示す誤認識領域との分離面を示す評価関数である、
   請求項５に記載の情報処理装置。
7. 前記候補領域認識部は、
   前記撮影像画像のうち、前記信号機の信号色を示す信号画素を含む信号画素領域を抽出し、その抽出した前記信号画素領域を膨張した膨張領域に予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を前記候補領域として認識する、
   請求項１乃至６のうちの何れか１項に記載の情報処理装置。
8. 前記候補領域認識部は、前記膨張領域に円形の前記定型領域が含まれる場合、該定型領域を含む領域を前記候補領域として認識する、
   請求項７に記載の情報処理装置。
9. 撮影画像を取得する取得ステップと、
   前記撮影像画像のうち、信号機の色と形状に対応する領域を示す候補領域を認識する候補領域認識ステップと、
   前記候補領域の周囲の特徴量を示す周囲特徴量データを算出する周囲特徴量データ算出ステップと、
   前記信号機の周囲の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報と、前記周囲特徴量データ算出ステップにより算出された前記周囲特徴量データと、に基づいて、前記周囲特徴量に対応する前記信号領域が前記信号機の信号を示す領域であるか否かを判断する判断ステップと、を含む、
   情報処理方法。
10. コンピュータに、
    撮影画像を取得する取得ステップと、
    前記撮影像画像のうち、信号機の色と形状に対応する領域を示す候補領域を認識する候補領域認識ステップと、
    前記信号領域の周囲の特徴量を示す周囲特徴量データを算出する周囲特徴量データ算出ステップと、
    前記信号機の信号の周囲の領域を示す周囲領域を識別するために予め定められた周囲領域識別情報と、前記周囲特徴量データ算出ステップにより算出された前記周囲特徴量データと、に基づいて、前記周囲特徴量に対応する前記信号領域が前記信号機を示す領域であるか否かを判断する判断ステップと、を実行させるためのプログラム。

Images