JP2008517353A - 交通標識検出方法 - Google Patents

Abstract

ここに記載されているのは、少なくとも１つの交通標識を検出して認識する方法である。複数の画像フレームを含むビデオシーケンスを受信する。１つまたはそれ以上のフィルタが使用されて、関心対象オブジェクトを示す少なくとも１つの画像フレームにおいて特徴を測定する。これらの測定した特徴を組み合わせて、オブジェクトが存在し得ることを示すスコアに総計する。ロバストな検出のために、複数の画像フレームにわたってこれらのスコアを融合する。スコアにより、この画像フレームの１エリアにおいてオブジェクトが存在し得ることが示される場合、このエリアとモデルとを位置合わせする。つぎにこのエリアが交通標識を表すか否かについて決定する。このエリアが交通標識を表す場合、このエリアを交通標識の特定のタイプに分類する。本発明はまた、交通標識を検出して認識するシステムをトレーニングすることにも関する。

Description

関連出願に対する相互参照
この明細書は、2004年8月16日に提出した米国暫定特許明細書第60/601,788号および2004年12月21日に提出した米国暫定特許明細書第60/637,841号に優先権を主張するものであり、これらの明細書全体を引用によってここに組み込むものである。

発明の技術分野
本発明は、交通標識検出方法に関するものであり、殊にグレイスケールまたは色、形状および動き情報を使用して、交通標識を検出し認識する方法およびシステムに関する。

発明の背景
交通環境では標識によって交通が規制され、運転者に警告が発せられ、また特定の行動が命じられるかまたは禁止される。リアルタイムかつロバストな自動交通標識認識は、運転者を支援して負担を軽減することができ、ひいては運転の安全性および快適性を大幅に向上させることが可できる。例えば、上記のような自動交通標識認識は、現在の速度制限を運転者に気づかせ、また一方通行道路に進入する、追い越し不可区域において他車を追い越す、不所望の高速走行などのような不適切な行動を運転者が起こさないようにすることができる。さらに、このような自動標識認識は、ストレスの多い運転を軽減するためにアダプティブクルーズコントロール（ＡＣＣ adaptive cruise control）に組み込むことが可能である。一層グローバルなコンテキストでは、自動交通標識認識は、（例えば、自動車が市内または高速道路を走行している場合などに）交通状況を把握しようするシーンに貢献することができる。

交通標識認識は、いくつかの基本的な仮定を前提としており、交通標識のいくつかの有効な特徴が利用される。第１に交通標識のデザインに一意的であり、したがってオブジェクトの変化は小さい。さらに標識の色は、周囲環境に対して極めて良好にコントラストをなしていることが多い。さらに標識は、（車両と異なり）周囲環境に対して固定に配置されており、運転者から見易いところに設置されることが多い。

それにもかかわらず、認識に成功するためには多くの難題が残っている。第１に交通環境において天候およびライティング条件は多く変化するため、上記の一意性の利点が小さくなってしまう。また、カメラは移動しているため、付加的な画像の歪み、例えば、動きによるぼけおよび急峻なコントラスト変化が頻繁に発生する。さらに標識の設置状況および表面材料は、事故および天候の影響を受けて時間の経過と共に物理的に変化するため、標識が回転したり、退色が発生したりという結果になる。最後に、適用分野によって課される制約により、安価なシステム（すなわち、低品質のセンサ、低速のハードウェア）、高精度およびリアルタイム計算が要求される。

公知の交通標識認識に対するテクニックの大多数は、少なくとも２つのステップを利用している。１つの検出を目的としており、他の１つは分類、すなわち検出した標識画像をその意味上のカテゴリに対応付けるというタスクを目的としているのである。検出についての問題に関していくつかのアプローチが提案されている。これらのアプローチのうちのいくつかは、グレイスケールデータに依拠している。このようなアプローチの１つは、距離変換と組み合わせたテンプレートベースのテクニックを使用している。別のアプローチは、放射形対称についての尺度を利用し、これをフレームワーク内でのプレセグメンテーションとして適用している。放射形対称性は、単純化された（すなわち高速な）円形ハフ変換に相応するため、殊に円形の標識が出現し得ることを検出するのに適用可能である。仮説の検証は、上記の分類内に組み込まれる。

交通標識を検出するための別のいくつかのテクニックでは色情報を使用するものがある。これらのテクニックの共通であるのは、２ステップのストラテジである。第１に、赤緑青（ＲＧＢ）などの色表現に対する閾値処理によってプリセグメンテーションが行われる。ＲＧＢ表現の線形または非線形な変換も使用されている。引き続いて最終的な検出の決定が、形状ベースの特徴から得られる。これは上記のプリセグメンテーションが行われた領域だけに適用される。コーナおよびエッジ特徴、遺伝的アルゴリズムおよびテンプレートマッチングが使用されている。

これらのような逐次形のストラテジの欠点は、カラーセグメンテーションによって誤って否認された領域を、後続の処理において回復させることができないことである。またカラーセグメンテーションには閾値を固定しなければないが、これはほとんど場合に時間を消費しかつエラーを生じやすい手動のチューニングから得られるのである。

色および形状を組み合わせて扱うアプローチもすでに提案されている。このアプローチでは、標識の幾何学モデルを組み込む一方で、色および勾配情報に基づいて全体画像フレームの特徴マップを計算する。このアプローチにも手動の閾値チューニングが必要であり、計算コストがかかる。

上記の分類タスクに対して、ほとんどのアプローチでは、テンプレートマッチング、マルチレイヤ認知（multi-layer perception）、放射ベース関数ネットワーク（radial basis function network）およびラプラスカーネルクラシファイア（Laplace kernel classifier）などの周知のテクニックが利用される。フレームの時間的な融合（temporal fusion of frame）をベースにした検出を使用して、一層ロバストで包括的な検出を得ようとするアプローチはわずかである。これらのアプローチには、なんらかのトラッキングフレームワークが必要である。このように一般的なオブジェクト検出における色および形状モデリングに対して統合されたアプローチを使用するが、閾値を手動でチューニングする必要のない交通標識検出および認識のための方法に対するニーズが存在するのである。

本発明の概要
本発明は、少なくとも１つの交通標識を検出して認識する方法に関する。複数の画像フレームからなるビデオシーケンスを受信する。１つ以上のフィルタを使用して、関心対象オブジェクトを示す少なくとも１つの画像フレームにおいて特徴を測定する。測定した特徴を組み合わせ、オブジェクトが存在し得ることを示すスコアに総計する。これらのスコアは、ロバストな検出のために複数の画像フレームにわたって融合される。スコアにより、この画像フレームの１エリアにおいてオブジェクトが存在し得ることが示される場合、このエリアとモデルとを位置合わせする。つぎにこのエリアが交通標識を表すか否かについて決定を行う。このエリアが交通標識を表す場合、このエリアを交通標識の特定のタイプに分類する。本発明はまたシステムをトレーニングして、このシステムにより、交通標識が検出されて認識されるようにすることにも関する。

本発明の有利な実施形態では、上記の画像フレームは、カラー画像フレームまたはグレイスケール画像フレームである。

本発明の有利な実施形態では、少なくとも１つのフィルタは色表現フィルタまたはグレイスケール表現フィルタである。

本発明の有利な実施形態では、カラーフィルタに１つまたはそれ以上のカラーチャネルが組み込まれている。

本発明の有利な実施形態では、少なくとも１つのカラーチャネルは、正規化されたカラーチャネルである。

本発明の有利な実施形態では、少なくとも１つのチャネルは、グレイチャネルである。

本発明の有利な実施形態では、少なくとも１つのカラーチャネルは、カラーチャネルの線形変換である。

本発明の有利な実施形態では、少なくとも１つのフィルタは、リングフィルタである。

本発明の有利な実施形態では、上記の特徴を組み合わせてスコアにするステップにさらに、単純なクラシファイアおよびウェーブレット特徴を総計して評価することが含まれる。

本発明の有利な実施形態では、逐次仮説検定方式および部分クラシファイア決定を使用して、上記の総計されたクラシファイアを評価する。

本発明の有利な実施形態では、上記の交通標識を検出するステップにさらに、連続する画像フレームに対してスコアを累積して、累積スコアを得るステップと、各画像フレームの後、この累積されたスコアを比較して、あらかじめ定めた閾値よりもこのスコアが大きいか否かを決定するステップと、このスコアが閾値よりも大きい場合、つぎの画像フレームから得られる特徴スコアを上記の累積スコアに加えるステップと、スコアが閾値よりも小さい場合、この特徴は、関心対象のオブジェクトと関連していないと決定するステップとが含まれている。

本発明の有利な実施形態では、上記の画像のエリアを位置合わせするステップにさらに、エッジ領域、境界領域、リング領域および内部領域を定めるステップと、標識モデルと候補標識画像パッチとの間の相違を測定するコスト関数を定めるステップと、パラメタ空間にてエラー関数を最小化することによって正しい標識パラメタを推定するステップとが含まれている。

本発明の有利な実施形態では、上記の標識パラメタを推定するステップを画像の正規化に使用し、またこのステップにさらに、上記の標識パラメタの位置をおよびスケールを正規化するステップと、ｘ，ｙおよびｒで定められたエリアおよびこのエリアの統計的な特性を使用することによって画像輝度を正規化するステップとが含まれている。

本発明の有利な実施形態では、上記の推定された標識パラメタはｘ，ｙおよびｒであり、また画像の関心対象領域ＲＯＩ（region-of-interest）を形成するために使用される。

本発明の有利な実施形態では、上記のＲＯＩにおけるピクセルの線形判別分析（ＬＤＡ linear discriminant analysis）から分類特徴ベクトルを得る。

本発明の有利な実施形態では、特徴空間のマルチバリアントガウス確率密度関数および最大アプリオリ（ＭＡＰ maximum-a-priori）または最尤度（ＭＬ maximum likelihood）アプローチを使用して前記の標識画像の分類を得る。

本発明の有利な実施形態では、上記の分類のステップにさらに、連続する画像フレームに対する分類スコアを累積して、累算分類スコアを得るステップが含まれている。

本発明の有利な実施形態では、AdaBoostを使用して、フィルタｆ_t，重み付けα_tおよびクラシファイア閾値Θ_tを適合させる。

本発明の有利な実施形態では、AdaBoostを使用して、フィルタｆ_tの幾何学的パラメタを適合させる。

本発明の有利な実施形態では、AdaBoostを使用して、フィルタｆ_tの色表現を適合させる。

本発明の有利な実施形態では、上記の色空間におけるオブジェクトおよび非オブジェクトの線形判別分析（ＬＤＡ linear discriminant analysis）によって線形変換を決定する。

本発明の有利な実施形態では、標識クラスのトレーニングに、トレーニング画像の自動位置合わせ、画像の正規化、関心対象領域の形成、線形判別分析（LDＡ）特徴変換およびガウス確率密度関数の推定が含まれている。

図面の簡単な説明
以下では図面に基づいて本発明の有利な実施形態を詳しく説明する。図中、同じ参照符号は、同じ要素を表す。ここで、
図１は、本発明にしたがって標識を認識するシステムのシステムブロック図であり、
図２は、本発明にしたがって検出可能な交通標識の例を例示する一連の画像であり、
図３は、本発明にしたがって交通標識を認識する方法を説明する図であり、
図４は、本発明による弱いクラシファイアの関数である部分応答のポジティブおよびネガティブの例のグラフを示しており、
図５は、本発明によるリング形状フィルタの例を示しており、
図６は、本発明によるリングフィルタウェーブレットを含み、AdaBoostアルゴリズムによって選択される最初の６つのHaarウェーブレットを示しており、
図７は、本発明にしたがい、標識に対して定められる３つの領域を示している。

詳細な説明
本発明は、交通標識を検出して認識する方法に関する。図1は、本発明を実現するシステムのブロック図を示している。カメラ１０２が使用されて、道路およびその周囲の画像がキャプチャされる。カメラ１０２はふつう車両に取り付けられ、交通標識をキャプチャするために１方向を向いている。典型的な道路画像で予期されるように、画像には道路、建物、樹木、および家のような背景画像およびこの道路を走行する車両が含まれている。これらの画像はプロセッサ１０４に供給され、このプロセッサにより、画像強度および画像の動きが分析されて、シーンダイナミクスにおける任意の変化が検出される。

標識検出フレームワークは、AdaBoostトレーニングを使用して実現され、フィルタベースの特徴が組み合わされる。検出されたオブジェクトは、時間情報伝搬フレームワーク（tempora information propagation frame）内でトラッキングされる。つぎに、精確な正規化を得るため、検出された標識は、標識の幾何学形状の統計的なモデリングを使用してピクセル精度まで精確に位置合わせされる。最後に、複数のフレームにわたる仮説融合（hypothesis fusion）を含め、ベイズ生成モデリングに基づいて分類が行われる。

一旦交通標識が検出されると、この標識は、出力装置１０６を介して識別される。出力装置１０６によって出力信号が供給され、この出力信号により、交通標識の存在することがユーザに伝えられる。この出力信号は音響信号、または別のタイプの警報信号とすることができる。出力装置１０６は、検出した標識を見るためのディスプレイを含むこともできる。このディスプレイによって、検出されまたトラッキングしている標識のアイコン表示が供給される。これらのアイコンはデータベース１０８に記憶することが可能である。

本発明によって提供されるのは、リアルタイムでロバストな交通標識検出および認識に対するフレームワークであり、このフレームワークでは、色、形状および動きから得られる手掛かりが融合される。このようなシステムは、例えば、インテリジェント自動車コクピット環境において運転者を支援するために使用することができる。図２には、本発明の方法を使用して検出可能な交通標識を例示する一連の画像フレームが示されている。これらの画像は白黒であるが、グレイスケール輝度の違いは、標識の彩色を示しており、ここでこの彩色は上で述べた背景色から大きく異なっている。

本発明は、３つの主要なコンポーネントから構成されている。図３には、交通標識を検出する本発明の方法の概略が示されている。最初の画像フレーム３０２は、道路環境から得られたものである。画像フレーム３０２には道路の図ならびに背景の図が含まれている。まず、AdaBoostトレーニングを使用して標識検出フレームワークを実現し、フィルタベースの特徴を組み合わせる。検出されたオブジェクトは、時間情報伝搬フレームワーク内でトラッキングされる。本発明では、検出すべき標識の形状に特に適合されたフィルタ設計を利用する。カラーセンシティブHaarウェーブレット特徴を使用して、各フレームｔにおいて標識の外観が検出される。フレーム３０４のような後続の画像フレーム毎に、オブジェクト（例えば、交通標識）が検出されるか否かが決定される。一旦、標識が検出されると、この標識をトラッキングし、ロバストで包括的に検出するため、フレーム（ｔ−ｔ₀，…，ｔ）から得られる個別の検出結果を時間的に融合する。第２に、精確な正規化を得るため、検出された標識は、標識の幾何学形状の統計的なモデリングを使用してピクセル精度まで精確に位置合わせされる。標識は、位置、スケールおよび明るさについて正規化される。結果的に得られる画像は、フレーム３０６に示されており、このフレームによってオブジェクト候補が分離される。第３に、複数のフレームにわたる仮説融合を含めて、ベイズ生成モデリングに基づいて分類を行う。検出したオブジェクトが、関心対象のオブジェクトである場合、画像３０８によって図示したように最終的なオブジェクトが示される。

この例では交通標識であるオブジェクトの検出は、パッチベースアプローチで扱われる。詳しくいうと、単純な特徴および単純なクラシファイアの総計を評価することによって、画像パッチｘ_i（ベクトルと解釈する）を、２つのクラス「オブジェクト」（ｙ_i≧0）および「非オブジェクト」（ｙ_i＜0）のうちの１つに割り当てる。すなわち、

である。

変数ｆ_t（ベクトルと解釈する）はフィルタマスクであり、これはHaarウェーブレットの過完備集合である。この過完備集合は、所定の幾何学的パラメタ、例えば位置（ａ，ｂ）、幅ｗまたは高さを変化させることによって生成される。これらのウェーブレットの最適な部分集合、重み付けα_tおよびクラシファイア閾値Θ_tは、AdaBoostトレーニングアルゴリズムから得られる。

以下でさらに詳しく説明するように本発明では、AdaBoostトレーニングフレームワーク内で色および形状を組み合わせたモデリングアプローチを使用する。交通標識認識の応用に対して、色は重要な情報である。それは、ふつうの背景パターン（例えば、樹木、家、アスファルトなど）において、ほとんどのオブジェクト色が観察されないからである。

AdaBoostが特徴選択として解釈される場合、AdaBoostにより、単純ではあるが、色の統合に対して極めて効果的な手段が得られる。従来のアプローチではAdaBoostは、位置（ａ，ｂ），幅ｗまたは高さｈなどの幾何学的特性によってパラメトライズされて、ウェーブレット特徴の集合を選択するために（また重み付けするため）に使用されている。これらのウェーブレットはふつうのグレイスケール画像のパッチに適用される。グレイスケール情報ではなく色が利用可能な状況において、いずれの色表現を使用すべきかという選択に対して、または線形または非線形の色変換内でどのように最適に組み合わされるかということに対して、従来技術により、一般的なガイダンスは得られない。

本発明によれば、色表現は、ａ，ｂ，ｗおよびｈと並んで、自由なウェーブレットパラメタとして操作されるとみなされ、これによってAdaboostフレームワーク内で完全に自動に色が選択される。組み合わされる色表現の変化は、Ｒ，ＧおよびＢに限定されない。事前のドメインについての知識は、線形または非線形の色変換を採用することよって組み込むことができる。このモデリングの有益な特性の１つは、これらの変換がAdaBoostトレーニングに対する単なる「提案」に過ぎないことである。

基本的には色および幾何学空間におけるどの組み合わせも提案することができる。上記のAdaBoostフレームワークは、最も有効なものを選択しかつ有効でないものを無視するように設計される。上記の「提案」の変化形態は、計算および記憶資源だけで制限される。本発明によれば、９つの色表現がつぎのように使用される。すなわち、
１） 単純なチャネルＲ，ＧおよびＢ，
２） 正規化されたチャネルｒ＝Ｒ／Ｓ，ｇ＝Ｇ／Ｓおよびｂ＝Ｂ／Ｓ、ただしＳ＝Ｒ＋Ｇ＋Ｂ，
３） グレスケールチャネルＳ／３，および
４） ２つの線形変換Ｔ₁(Ｒ，Ｇ，Ｂ）およびＴ₂(Ｒ，Ｇ，Ｂ）
が使用されるのである。ここでＴ_iは、３次元ＲＧＢ空間における線形判別分析（Fisher Discriminant Analysisとしても知られているＬＤＡ linear dicriminant analysis）の第１の主要な成分に相応する。ここのデータは２つのクラスによって表される。すなわち、クラス１はふつうのオブジェクトを含み、クラス２は背景ピクセルを含む。この点からみるとＴ_iは、オブジェクトと背景ピクセルとを判別するための最適な線形変換である。（標識の「はじまり」に相応する）大きな赤のエリアが存在する標識に対してＴ₁を評価し、（標識の「一時中止」に相応する）灰色によって占有されている標識に対してＴ₂を評価する。

本発明の範囲および精神から逸脱することなく色表現の別の組み合わせまたはタイプを使用できることは当業者には当然のことである。

交通標識に対するAdaBoostトレーニングの結果は、図４に示されており、この図には標識検出に対してAdaBoostによって選択される最初の６つのウェーブレットが示されている。６つのHaarウェーブレットの１ずつに対して、白のエリアの下にあるピクセルは＋１で重み付けが行われ、黒のエリアは−１で重み付けが行われる。これらのウェーブレットは、その幅ｗ，高さｈおよび相対座標ａおよびｂによってパラメトライズされる。グレイレベルの違いで示される背景の「着色」は、個々の特徴を計算するカラーチャネルを示している。この例に対して、カラーチャネルは、ｒ，Ｒ，Ｇ，ｒ，Ｓ／３，ｇに相応する。

本発明を説明するため、本発明を使用して、周囲に赤いリングを有する円形の標識を位置決めすると仮定する。しかしながら、本発明の範囲および精神を逸脱することなく、上記の色表現およびウェーブレット特徴を相応に変更して、特性の異なる標識を検出できることは当業者にとって当然である。ウェーブレットを使用して標識を検出する場合、最も重要な情報は、色表現から選択される。この例の場合、ｒ，ＲおよびＧは、しばしば観察されるポジティブサンプル集合の赤いリングおよびネガティブサンプル集合の樹木にそれぞれ相応する。このことによって強調されるのは、本発明において色が有効なことである。

パッチベースの検出は、スケールに対して不変ではないため、多くの離散スケールに対して種々異なる検出器をトレーニングする。検出の後、相応する検出器の応答マップにおける最大値から、検出した標識パラメタの推定値（すなわち、位置（ａ₀，b₀）およびスケールｒ₀）を得ることができる。

標識を一旦検出すると、単純な動きモデルおよび時間情報伝搬を使用して標識をトラッキングする。一層ロバストな検出に対して、個々のフレームに基づく検出の結果を融合して、結合された１つスコアにする。

本発明の別の様相によれば、リング形オブジェクトを検出するために新しいタイプのフィルタ特徴を使用する。この新たなフィルター特徴は、サイズが異なるが中心が同じ３つの矩形エリアの組み合わを利用することによってリング構造を近似する。このリング特徴の幾何学的な説明は図５に示されている。図示のように、白のエリアは、ポジティブピクセルに相応し、これらはフィルタによって＋１で重み付けされる。黒のエリアは、ネガティブピクセルに相応し、上記のフィルタによって−１で重み付けされる。灰色のエリアは背景であり、これは０の重み付けに相応する。このタイプのモデリングでは、標識は画像パッチの中心に位置合わせされていることを前提としていることに注意されたい。

AdaBoostに対する変形形態の全体をトレース可能に維持するため、自由なパラメタの個数をできるかぎり小さく維持する。リング特徴は、内側の矩形の高さｈ（これは幅と同じである）および帯域幅ｂによってパラメトライズ可能である。外側の矩形の高さおよび幅は２ｈである。センタリングされた小さなドット５０２，５０４，５０６に相応するオブジェクト（例えば標識）を適切にレジストレーションすることによって、上記のリングはセンタリングされたままになる。

本発明の別の様相は、数式（１）で定めるように「強いクラシファイア」を効果的に評価することに関する。ここで使用されるパッチベースのオブジェクト検出原理の一般的なコンテキストでは、以下の２つの考察が有効である。すなわち、
１） 観察されるテストパッチｘ_iの極めて大多数（実際上は99.99%以上）が、オブジェクトでない。すなわち結果はネガティブなｙ_iになる。
２） ｙ_iの精確な推定値が数式（１）の最初のいくつかの和だけから形成することができるという意味で、これらの非オブジェクトの大半は「明らかに」ネガティブである。

第２の考察の実験的な検査結果は、図４に示されている。この図に示されているのは、５００個のポジティブなトレーニング例（図４（ａ））および５００個のネガティブなトレーニング例（図４（ｂ））ｘ_iの部分応答

であり、これは弱いクラシファイアのインデックスｔの関数である。図４（ｂ）から解釈できるのは、約１０〜５０の弱いクラシファイアの評価後、ネガティブな例の大半がすでに比較的大きな負の値（ここでは≒−０．０５…−０．１５）を有することである。ポジティブな例では、弱いクラシファイアの評価の同じ区間内でつねに値がｒ_i ^(t) ＞ −０．０５になる。

この点からみれば適切な際にｙ_iについて早期に決定を行うことによって計算コストを大幅に低減することができる。逐次に到着するデータに基づいてモデルを検証するというこの極めて一般的な問題は、逐次仮説検定という名称で文献において研究されている。このコンセプトを、つぎのように強いクラシファイア計算に適用する。閾値φ＝（φ_i，…，φ_T）の集合が与えられた場合、部分的なクラシファイア決定は、

のように定義され、また以下に説明するような候補刈り込みストラテジが考えられる。各ステップｔ∈{１，…，Ｔ−１}においてｙ_i ^(t)をゼロと比較する。ｙ_i ^(t) ≧ ０の場合、上記の加算を継続する。ｙ_i ^(t) ＜ ０の場合、上記の加算を終了して、ｘ_iをネガティブなパターンとして分類する。

効率と精確さとの間のトレードオフは、閾値φ_tによって制御することができる。φtが大きくなればなるほど、ステップｔにおいて刈り込まれる候補が少なくなる。以下の２つの状況は、極端なケースを表す。すなわち、
１）

の場合、ｙ_i ^(t)＞０がつねに成り立つ。ゆえにこの総和は、ｔ＝Ｔの前には終了せず、結果は、数式（１）の単純な評価に等しくなる。
２） ε＞０を任意の小さな数とし、

の場合、ｙ_i ^(t)＜０であり、上記の繰り返しは直ちに終了して、ｘ_iはネガティブサンプルとして分類される。しかしながら実際上はφ_tはポジティブと選択されることが極めて多い。

上記の閾値φは、与えられたデータから適合させることができる。合理的なストラテジの１つは、AdaBoostトレーニング中（またはこの後に）φ_tの集合を調整して、ステップｔにおけるトレーニングデータ集合（または共通部分のない評価データ集合）について、所定の誤ったネガティブレート１−ｄ_tとなるようにすることであり、すなわち、

である。

ゼロターゲット誤りネガティブレート（zero target false negative rate）、すなわち１−ｄ_t＝０，∀ｔ∈{１，…，Ｔ−１}である特別なケースに対して、これは

と等しく、ここで

は、ステップｔにおけるポジティブトレーニング集合（または評価集合）の最小応答である。図４（ａ）のコンテキストでは

は、すべての｛ｒ_i ^(t)｝の小さい方の境界に相応する。

交通標識検出というここでの応用に対して上で説明したストラテジを使用すると、平均でネガティブなｘ_iに対して２５０個の弱いクラシファイア評価の９４％を刈り取ることができた。ポジティブなｘ_iの端数は小さいため（上記の観察１を参照されたい）、これは大ざっぱにいって、候補の全体集合内の同じパーセントに相応する。

本発明ではカスケーディングとして知られる逐次検定を使用して、強いクラシファイアを識別する。複雑さの増大する複数の検出器のカスケード（すなわち、劣化された決定木）を評価する。（これらの各々は、数式（１）に起因してブーストされた強いクラシファイアによって実現される）。このカスケードにおいて、早い方（かつそれほど複雑でない方の）ノードは、明らかにネガティブな例を大量に拒否することを目的としており、これに対して遅い方（かつ一層複雑な方）のノードは、困難なネガティブおよびポジティブサンプルの間で精確に判別するために特化されている。

この逐次検定アプローチによってつぎのような利点が得られる。早期の決定は、明らかにネガティブな候補に対して行われる。逐次検定により、単一の強いクラシファイア決定が評価される。その目的は、特に定められたエラーレートを最小化することである。これに加えて、上記の逐次検定では、追加の計算なしに前のノードから得られる応答を再使用する。またこの逐次検定法により、それぞれの弱いクラシファイア評価の後、候補が刈り取られる。

本発明は、精確に位置合わせされたオブジェクト（例えば、標識）の検出に基づいている。フィルタ特徴に基づく検出により、標識の位置およびスケールが大まかに推定される。それはこのフィルタ特徴によって、あらかじめ定めた離散のスケールでパッチが検出されるからである。以下では、検出されたオブジェクトを本発明にしたがって位置合わせする方法を説明する。説明する例において、検出すべき標識はすべて円形である。したがってその位置およびサイズは、パラメタ（ａ，ｂ，ｒ）によって表すことができ、ここで（ａ，ｂ）は中心位置を、またｒは標識の半径を表す。

本発明では、標識の幾何学形状についての付加的な統計的情報によって強化したエッジ画像およびハフ変換を使用する。

検出する標識のほとんどは、その円形の全体形状によって背景上に輪郭が描かれるが、また例えば、周囲のリングである実質的に均一な領域または内部のピクトグラム領域によって区別される。

オブジェクトパラメタ（ａ，ｂ，ｒ）が与えられると、画像の４つの領域

が図７および以下に示すように定められる。すなわち、

である。

量３ｒ／４は、標識のあらゆる「はじまり」に対する内側の円の半径に相応する。

パラメタ（ａ，ｂ，ｒ）を有する真の標識オブジェクトに対して予想されるのは、
１）

は、（ａ，ｂ）^Tの方を向いている勾配ベクトルの成分の値が大きい。
２）

は、（ａ，ｂ）^Tの方を向いている勾配ベクトルの成分の値が大きい。
３）

は、単峰形色分布において幅の狭い１つのピークを有する。
４）

は、双峰形色分布において幅の狭い２つのピークを有し、

を背景領域

および前景（テキスト）領域

の２つのモードに分割する。ここで

である。
５）

の分布は、内部の背景モード

とは大きく異なる。

これらの考察に基づいてエネルギー関数を定める。すなわち、

であり、これは真の標識パラメタに対して最小になるはずである。すなわち、

である。

数式（１０）においてα₁，…，α₆は重みであり、これらを調整する。本発明では、分類エラーについて６次元α空間における勾配降下を使用することによってこの問題を解く。

における２つのモードのカバーされていない部分は、標準のテクニック（例えば、平均シフト、ＥＭ）によって解くことができる。

推定したパラメタ（ａ₀，ｂ₀，ｒ₀）に基づいて、以下の正規化ステップを実行する。すなわち、
１） パラメタ（ａ，ｂ，ｒ）を有する標識エリアに相応する円形領域を抽出する。
２） ヒストグラム等化によってこの領域内で画像の明るさを正規化する。
３） 得られた画像を、クラシファイア解像度まで双線形にスケーリングする。

つぎにこのオブジェクトの分類を実行する。この分類フレームワークは、生成パラダイムに基づいており、単峰形のガウス確率密度を使用する。確率的モデリングに先立って、標準線形判別分析（ＬＤＡ linear discrimination analysis）を使用して特徴変換を行う。この点から見れば標識パターンの特徴ベクトルｘ∈Ｒ²⁵には、ＬＤＡの２５個の最初の基本的なコンポーネントが含まれている。

クラスｌ毎に、確率密度関数p(ｘ｜l)を単峰形マルチバリアントガウシアン

に基づいて推定する。したがって全クラシファイアは、２３個（異なる標識クラスの数に等しい）の平均および共分散

の対によって決定される。

フレームｔにおけるテストシーケンスから特徴ベクトルｘ^(t)が与えられる場合、最尤度（ＭＬ maximum likelihood）アプローチは、分類の決定

に意味し、これは

および

によって定められる。

分類の性能は、時間的な依存性を考慮することによって改善することができる。上記のトラッキングから得られる結果として特徴シーケンスX^(t0)＝[ｘ^(l),...,x^(t0)]が与えられる場合、上記のクラシファイアの決定は、これまで考察してきた観察から組み合わせることができる。ｘ(l),…,ｘ(t0)の統計的な依存性を前提とすると、結合された距離は、

によって得られる。

実際的観点からは、個々のフレームの影響を別個に重み付けすることも有効であり得る。すなわち、

である。
重み付けの１例は

であり、ただしａ＜１である。この値を選択したのは、後のフレームにおいて交通標識が大きくなると、一層精確にフレームが分類されるようになるからである。

分類に対する確率的信頼度尺度は、クラスｌ’毎の事後確率によって得られ、

である。したがって例えば交通環境（例えば市内または高速道路）から得られる標識についての情報を事前に上記アプローチに組み込むことは極めて素直なことである、
本発明は、交通標識を検出し、トラッキングして認識するシステムおよび方法に関する。このシステムでは、色、形状および動き情報が組み合わされる。本発明は３つのコンポーネントをベースとしている。すなわち、AdaBoostおよびHaarウェーブレット特徴に基づく検出およびトラッキングフレームワークと、標識幾何学形状の統計的なモデリングに基づく精確な位置合わせと、ガウス分布に基づくクラシファイアとをベースとしている。

ここまでは交通標識を検出する方法に対する複数の実施形態について説明してきたが、上で教示したことを考え合わせれば、当業者は種々の変更および変形をなし得ることに注意されたい。したがって、ここに示した本発明の特定の実施形態においてさまざまな変更をすることができるが、これらの変更が、添付の特許請求の範囲に定められた本発明の範囲および精神内の枠内にあることは当然である。ここまでは特許法によって要求される細目および詳細さで本発明を説明したが、請求しかつ特許証によって保護されることを望む事項は、添付の特許請求の範囲に記載されている。

本発明にしたがって標識を認識するシステムのシステムブロック図である。 本発明にしたがって検出可能な交通標識の例を例示する一連の画像である。 本発明にしたがって交通標識を認識する方法を説明する図である。 本発明による弱いクラシファイアの関数である部分応答のポジティブおよびネガティブの例のグラフである。 本発明によるリング形状フィルタの例を示す図である。 本発明によるリングフィルタウェーブレットを含み、AdaBoostアルゴリズムによって選択される最初の６つのHaarウェーブレットを示す図である。 本発明にしたがい、標識に対して定められる３つの領域を示す図である。

Claims (28)

1. 少なくとも１つの交通標識を検出して認識する方法において、
   該方法は、
   ａ． 複数の画像フレームからなるビデオシーケンスを受信するステップと、
   ｂ． １つ以上のフィルタを使用し、関心対象オブジェクトを示す少なくとも１つの画像フレームにて、特徴を測定するステップと、
   ｃ． 特徴を組み合わせて、オブジェクトが存在し得ることを示すスコアに総計するステップと、
   ｄ． ロバストな検出を得るために複数の画像フレームにわたって該スコアを融合するステップと、
   ｅ． スコアにより、画像フレームの１エリアにてオブジェクトが存在し得ることが示される場合、当該エリアとモデルとを位置合わせするステップと、
   ｆ． 該エリアが交通標識を示しているか否か決定するステップと、
   ｇ． 交通標識を示している場合、該エリアを交通標識の所定のタイプに分類するステップとを有することを特徴とする、
   少なくとも１つの交通標識を検出して認識する方法。
2. 前記画像フレームは、カラー画像フレームである、
   請求項１に記載の方法。
3. 前記画像フレームは、グレイスケール画像フレームである、
   請求項１に記載の方法。
4. 少なくとも１つのフィルタは、色表現フィルタである、
   請求項２に記載の方法。
5. 少なくとも１つのフィルタは、グレイスケール表現フィルタである、
   請求項３に記載の方法。
6. 前記のカラーフィルタには１つまたはそれ以上のカラーチャネルが組み込まれている、
   請求項４に記載の方法
7. 少なくとも１つのカラーチャネルは、正規化されたカラーチャネルである、
   請求項６に記載の方法。
8. 少なくとも１つのチャネルは、グレイチャネルである、
   請求項６に記載の方法。
9. 少なくとも１つのカラーチャネルは、カラーチャネルの線形変換である、
   請求項６に記載の方法。
10. 少なくとも１つのフィルタは、リングフィルタである、
    請求項１に記載の方法。
11. 前記の特徴を組み合わせてスコアにするステップにはさらに、単純なクラシファイアおよびウェーブレット特徴を総計して評価することが含まれる、
    請求項１に記載の方法。
12. 逐次仮説検定方式および部分クラシファイア決定を使用して、前記の総計されたクラシファイアを評価する、
    請求項１１に記載の方法。
13. 前記の交通標識を検出するステップにはさらに、
    連続する画像フレームに対してスコアを累積して、累積スコアを得るステップと、
    各画像フレームの後、当該の累積されたスコアを比較して、あらかじめ定めた閾値よりも当該スコアが大きいか否かを決定するステップと、
    該スコアが閾値よりも大きい場合、つぎの画像フレームから得られる特徴スコアを前記の累積スコアに加えるステップと、
    スコアが閾値よりも小さい場合、当該特徴は、関心対象のオブジェクトと関連していないと決定するステップとが含まれている、
    請求項１に記載の方法。
14. 前記の画像のエリアを位置合わせするステップにはさらに、
    エッジ領域、境界領域、リング領域および内部領域を定めるステップと、
    標識モデルと候補標識画像パッチとの間の相違を測定するコスト関数を定めるステップと、
    パラメタ空間にてエラー関数を最小化することによって正しい標識パラメタを推定するステップとが含まれている、
    請求項１に記載の方法。
15. 前記の標識パラメタを推定するステップを画像の正規化に使用し、また該ステップにはさらに、
    前記の標識パラメタの位置をおよびスケールを正規化するステップと、
    ｘ，ｙおよびｒで定められたエリアおよび該エリアの統計的な特性を使用することによって画像輝度を正規化するステップとが含まれている、
    請求項１４に記載の方法。
16. 前記の推定された標識パラメタはｘ，ｙおよびｒであり、また画像の関心対象領域ＲＯＩ（region-of-interest）を形成するために使用される、
    請求項１４に記載の方法。
17. 前記ＲＯＩにおけるピクセルの線形判別分析（ＬＤＡ linear discriminant analysis）から分類特徴ベクトルを得る、
    請求項１６に記載の方法。
18. 特徴空間のマルチバリアントガウス確率密度関数および最大アプリオリ（ＭＡＰ maximum-a-priori）または最尤度（ＭＬ maximum likelihood）アプローチを使用して前記の標識画像の分類を得る、
    請求項１に記載の方法。
19. 前記の分類のステップにはさらに、
    連続する画像フレームに対する分類スコアを累積して、累算分類スコアを得るステップが含まれている、
    請求項１８に記載の方法。
20. 検出される交通標識は、周囲に色付きのリングを有する円形の標識である、
    請求項１に記載の方法。
21. AdaBoostを使用して、フィルタｆ_t，重み付けα_tおよびクラシファイア閾値Θ_tを適合させる、
    請求項１に記載の方法。
22. AdaBoostを使用して、フィルタｆ_tの幾何学的パラメタを適合させる、
    請求項１に記載の方法。
23. AdaBoostを使用して、フィルタｆ_tの色表現を適合させる、
    請求項１に記載の方法。
24. 前記の色空間におけるオブジェクトおよび非オブジェクトの線形判別分析（ＬＤＡ linear discriminant analysis）によって線形変換を決定する、
    請求項１７に記載の方法。
25. 逐次仮説検定に対する閾値Θ_tは、
    

    

    から決定され、ここでターゲット誤りネガティブレートは
    

    

    である、
    請求項２１に記載の方法。
26. 逐次仮説検定に対する閾値Θ_tは、
    

    

    から決定される、
    請求項２１に記載の方法。
27. 

    におけるパラメタα_iの適合化を分類エラーについての勾配降下によって行う、
    請求項１４に記載の方法。
28. 標識クラスのトレーニングには、トレーニング画像の自動位置合わせ、画像の正規化、関心対象領域の形成、線形判別分析（ＬＤＡ）特徴変換およびガウス確率密度関数の推定が含まれている、
    請求項１８に記載の方法。

Images