JP2011517351A - 物体検知及び認識システム - Google Patents

Abstract

物体認識システムは、少なくとも一つの画像を撮影するように構成される少なくとも一つの画像取込装置であって、画像は複数の画素を含むとともに画像データセットで表される画像取込装置と、少なくとも一つの画像から物体に対応する複数の画素を識別するように構成される物体検知装置であって、物体は複数の画素を含むとともにオブジェクトデータセットで表され、オブジェクトデータセットは物体の各画素に対応する一連の特徴を含む物体検知装置と、物体をテンプレートの１つとして認識するために一連のテンプレート画像に対する画像相関値によって物体に存在する関心物体を認識するように構成される画像認識装置と、を含むように提供される。
【選択図】図１

Description

関連出願の相互参照

本願は、２００８年２月８日に出願された米国出願第１２／０６８６５１号の利益及び優先権を主張し、その全体を参照することにより本明細書に組み込む。

本発明は、一般に物体検知及び認識のイメージング分野に関する。より詳細には、本発明は、撮影画像内の他の物体の中から関心物体を認識するシステムに関する。

撮影画像内の他の物体の中の関心物体の検知及び認識は、デジタル画像技術の出現以来、重点的な研究の対象となっていた分野である。正確かつ精密に他の物体の中の関心物体の検知を試みる様々なシステムが作り出されてきた。特に、かかるシステムの適用の一つは、道路標識の検知及び認識において行われている。

最初に、道路標識の検知及び認識は、かなり限られた課題のように思われ、解決策は非常に簡単であるかもしれない。つまり、道路標識は、交通現場の標準化された位置で出現する傾向にある。さらに、それらの形状、色及びピクトグラムは、国、地域及び地方の輸送機関の規格があるため、公知である。しかしながら、物体検知及び認識システムに関するこの種の課題に対する解決策は、初めに思われるほど単純ではない。

実際、この種の物体検知及び認識システムは様々な問題点に直面する。道路標識認識の目的の画像は、走行中の車から撮影され、標識のサイズ及び向きは、傾けられたり回転されたりしているかもしれないので、距離と共に変化する。さらに、多くの物体は、非常に複雑な撮影画像（例えば、歩行者、他の車両、茂み、建物、他の標識等）の中に存在する。これらの他の物体の中には、形状、模様及び色の点で道路標識と非常に類似するものがある場合がある。さらに問題を複雑にしているのは、道路標識は、多くの区域で、しばしばその国、地域又は地方の法律で定められた標準から著しく変更された多くのバリエーションが存在することである。最後に、全ての応用コンピュータ視覚システムと同様に、実行されるシステムは、短縮された時間フレーム内で大量の情報処理を必要とするリアルタイム処理に適していなければならない。

物体検知及び認識システムの一実施例では、単一のカメラが利用される。単一のカメラのイメージは、ニューラルネットワーク等の機械学習アルゴリズムに取り込まれる。前もって道路画像のデータベースでトレーニングされた機械学習アルゴリズムは、撮影画像及びその内容の分類を試みる。これにより、一連の関心物体を認識することは勿論のこと検出することが可能となる。しかし、この機械学習への統計的手法は、時間を要するのと同時に費用のかかる膨大な画像データベースの取得が必要となる。さらに、この手法は、振動、色のバリエーション、画像の不明瞭さ、撮影画像の複雑さ、定められた標準の道路標識のバリエーションに関する上述した問題を改善するという点で、完全に効果的であるというわけではない。

統計的手法による機械学習アルゴリズムの使用に加え、関心物体を検知してから認識する別の方法は、背景画像からオブジェクトセグメンテーションを支援する色の使用である。しかし、カメラに到達する色の波長は入射光の強度や標識の経年数に対して不変ではなく、物体は時間と共に色褪せるので、物体のカラーセグメンテーションの高速化及びロバスト性の向上は困難である。

上記の既存のシステムの説明により示されるように、撮影画像内の関心物体の検知及び認識の解決策の多くは最適のものではない。したがって、様々な環境で作動可能な、撮影画像内の関心物体の検知及び認識のためのシステムが必要である。

開示された実施形態によって、物体検知及び認識システムが提供される。かかるシステムは、少なくとも一つの画像取込装置を含む。ビジョン制御装置は、画像取込装置から画像を受信するように構成される。物体検知装置は、受信した画像内の関心物体を認識するように構成される。車両制御装置は、関心物体を受信し、関心物体に応答して車両サブシステムを制御するように構成される。

別の実施形態において、物体検知及び認識システムは、受信した画像内の各物体を分離するように構成されるオブジェクトセグメンテーション装置と、各物体が関心物体を含むかどうか決定するように構成される物体認識装置と、を含む。

別の実施形態において、物体検知及び認識方法が提供される。かかる方法は、少なくとも一つの画像取込装置から撮影画像を受信するステップと、受信した画像内の関心物体を認識するステップと、関心物体に応答して車両サブシステムを制御している車両制御装置に物体認識情報を提供するステップと、を含む。

別の開示された実施形態によれば、オブジェクトセグメンテーション装置は、受信した画像の距離情報を得るために、受信した画像の立体的画像を形成するために少なくとも二つの画像取込装置から画像を受信し、距離情報を使用して受信した画像内の各物体を分離する。

別の開示された実施形態によれば、認識ステップは、分離された物体の画像の画素アドレスを少なくとも一つの関心物体の画像の画素アドレスに写像するステップと、写像パラメータを最小二乗曲線に当てはめるステップと、写像画像と関心物体画像とを互いに関係づけるステップと、最も大きな相関関係を有する少なくとも一つの関心物体の画像を選択することによって、物体認識を行うステップと、をさらに含む。

上述の全体的な説明及び以下の詳細な説明はともに、例示的かつ説明的なものに過ぎず、特許請求の範囲に記載される本発明を限定するものではないことを理解されたい。本発明のこれら及び他の特徴、態様及び効果は、以下の説明、添付の特許請求の範囲及び図面に示された以下の例示的実施形態から明らかになろう。次に、図面について簡単に説明する。

一実施例による物体検知及び認識システムを有する車両を図示する。 一実施例による物体検知及び認識システムを図示する。 セグメント化された標識の画像を図示する。 一実施例による物体認識システムを図示する。 テンプレート生成に使用される標識を図示する。 画素化したテンプレート及び完全な画像の一部から作成されたテンプレートを図示する。 セグメント化された画像と回転されたテンプレート画像との間で写像された座標を図示する。

（詳細な説明）
図面を参照して本発明の実施形態を説明する。以下の説明は、本発明の例示的な実施形態を説明しているが、本発明を制限しないことを意図されるものであることを理解されたい。

「概要」
図１は、一実施形態による物体検知及び認識システム１を示す。少なくとも一つの画像取込装置３は、対象となる場面の画像を撮影するために車両に設置される。この場面には、車両の外部及び内部も含まれる。画像取込装置３は、ビジョン制御装置７に使用可能な状態で接続され、典型的には連続形式で画像５をビジョン制御装置７に提供する。ビジョン制御装置７は、バッファリングし、画像データ９を互換形式で物体検知装置１１に提供する。物体検知装置１１は、画像９内の関心物体を認識し、この情報１３を車両制御装置１５に提供する。車両制御装置１５は、ブレーキシステム１７及びドライバディスプレイシステム１９を含む車両制御サブシステムを調整することによって、関心物体の認識に応答する。

図２は、物体検知装置１１のブロック図を示す。画像データ９は、画像９内の各物体を分離するためにオブジェクトセグメンテーション装置３１に送信される。画像のセグメント部３３は、画像３３に関心物体が含まれるかどうかを決定するために、物体認識装置３５に送信される。データベース３７は、関心物体情報３９を物体認識装置に提供する。物体認識装置は、認識された関心物体１３を車両制御装置１５に送信する。

「オブジェクトセグメンテーション」
オブジェクトセグメンテーション装置３１は、画像データ９内の異なる物体を分離するために画像処理アルゴリズムを使用する。一実施形態では、単一の画像取込装置３からの画像データを使用して、画素を物体にクラスタ化するには、エッジ検出及び領域成長アルゴリズムを使用する。別の実施形態では、画素色情報も使用される。図３は、セグメント化された結果の標識画像を図示している。

さらなる実施形態では、セグメンテーション装置３１は、撮像された場面の立体的画像を形成するために、少なくとも二つの画像取込装置３からの画像９を使用する。三次元立体画像には、各画素の垂直及び水平方向の変位だけでなく分布も含まれる。分布情報には、セグメント化処理と連携する第三のクラスタ寸法が含まれるので、セグメント化処理を実質的に強化する。三次元のクラスタ化により、物体の垂直高さ及び横幅だけでなく奥行きも作り出される。これらは、距離単位（例えば、メートル）で測定される。

「物体認識」
図４は、物体認識装置３５のブロック図を示す。データベース３７内のテンプレート３９で表される各関心物体は、セグメント化済み画像３３に対して、選択され、テストされる。データベース３７の各テンプレート３９に対して、物体認識装置３５は、
・テンプレート３９が適格かどうか事前スクリーニングする（４１）
・事前スクリーニング済みテンプレートを画像３３に曲線適合させる（４３）
・曲線適合されたテンプレートと画像３３との相関値を算出する（４５）
・最大相関値のテンプレートを選択する（５３）
・最大相関値が最小値を超える場合、車両制御装置１５に最大相関値テンプレートを伝達する（５５）

「テンプレート」
関心物体のテンプレート３９は、関心物体の画像４９を含む。関心物体の画像は、任意の図記号法により形成され、言語にも内容にも制限されない。画像は、方程式若しくはx-y座標へのテーブル写像照射、画素化した画像、又は他の手段により表される。図５に、テンプレート画像に変換され得るカラー及び白黒の図記号法の実施例を示す。図６は、画素化した標識テンプレート６１を図示している。一実施形態において、画像容量を低減するために、全体画像よりも標識の関連部分６３がテンプレートとして使用される。

「テンプレートの事前スクリーニング」
セグメント化済み物体３３に関連するテンプレートは、一連の事前スクリーニング適性４７に適合するものである。これらの適性は、画像９内の物体の位置、物体の寸法比、色及び他の条件との一致を含む。各テンプレート３９に対してこの適性がデータベース３７に含まれており、事前スクリーニング装置に提供される（４７）。他の検出システムが事前スクリーニング処理を支援してもよい。例えば、車両が複数車線のハイウェイにいる場合、物体が現れ得る最小横断距離を設定するために、車両がどの車線にいるか決定し得るシステムが使用され得る。

場所ごとに標識にバリエーションがあることを考えると、一実施形態において、テンプレートは、ユビキタスＧＰＳナビゲーションシステムに予め格納され、車両位置が変化するにつれてデータベースを更新するように設定されている。別の実施形態では、ＧＰＳ位置データは、データベース３７に予め格納されたテンプレートを直接的に使用可能及び使用不能にするために使用される。さらなる実施形態では、ＧＰＳ位置データは、テンプレートを事前スクリーニングするために使用される（４１）。

物体の立体的画像により、高さ、幅及びその奥行きも与えられる。奥行きは、テンプレートを事前スクリーニングするために使用される（例えば、標識は有意な奥行きを有さないので、物体が有意な奥行きを有する場合は標識テンプレートが除外される）。

「事前スクリーニング済みテンプレートに対するセグメント化済み物体の比較」
物体が物体認識装置３５による処理のためにどんなにセグメント化されても、物体認識装置は一つの画像取込装置のセグメント化済み画像３３を検査し、その画像をデータベース３７に格納された関心物体の事前スクリーニング済みテンプレートと比較する。

セグメント化済み画像３３は、車両からの距離により縮尺されたり、車両に対して回転されたり、又は局所条件によって異なる色及び照度を有したりする。比較の基準は、データベーステンプレート４９からセグメント化済み画像画素３３に画素を写像することである。例えば、二つの画像の互いに対する回転を無視し、pixel_template（row_template,
column_template）のpixel_image（row_image, column_image）への写像は、次式のように行われる。

ここで、（row, column）をテンプレート又はセグメント化済み画像内の画素の画素アドレスとする。未知定数s_scaleは画像寸法を補正する。row_offset及びcolumn_offsetは画像内でセンタリング補正を行う未知定数である。図７に示すように、画像の回転が問題となる場合、次式のように、写像にはアフィン変換に加えられる回転角度が含まれる。

ここで、θは、未知定数の回転角度である。

行及び列に共通のs_scaleは、テンプレートの画素及びセグメント化済み画像の画素が同一のアスペクト比を有するものとみなす。アスペクト比が同じでない場合は次式のようにする。

ここで、α_row及びα_columnは、テンプレートの行及び列に対する画像取込装置３のサイズ比である。

別の実施形態では、セグメント化済み画像３３の画素は、次式のようにテンプレート画像４９の画素に写像される。

一般にテンプレート画像よりセグメント化済み画像のほうが画素が多いので、この実施形態は、テンプレートからセグメント化済み画像に画素を写像するほど効率的でないだろう。

未知定数（s_scale, row_offset,
column_offset, θ）は、テンプレートと写像された画像との平方誤差を最小限にすることで決定される。例えば、色ではなく照度のみが関係する場合、最小限にする平方誤差は次式のようになる。

λ_illumは照度を縮尺する未知定数である。I[r, c]は画素pixel[r, c]の照度である。R_template及びC_templateの用語は、テンプレート画像の行及び列の数である。これは、次のようにベクトル式で記述してもよい。

色が考慮される場合、照度は色成分で構成される。例えば、RGB色参照フレームでは、次式のようになる。

ここで、Ｒ、Ｇ及びＢ成分の各々は関連する強度を有する。Ｗはεの様々な構成要素の関連性を与える３×３加重行列である。等しい加重の場合、Ｗは単位行列である。テンプレートと比較すると、セグメント化済み画像の色成分のバリエーションは、成分間での近接適合を考慮することで軽減され、完全一致を必要としない。

平方誤差関数を最小化するように未知定数のベクトルpを選択するための標準的手法が多く存在する。勾配法及び準線形化法は、かかる方法の二つである。勾配法は、pの初期推定値から始め、J(p)の勾配の方向により適した推定値を選択していく。

ここで、∇ _p J(p _i)はp _iで評価されるJ(p)の勾配である。kはステップサイズを制御する。勾配は数値摂動法により決定される。

準線形化法は、次式のようにJ(p)の期待値を書き込むことから始める。

ここで、

一次導関数までのテイラー級数に展開すると、

エラーベクトルの勾配は次式のように推定される。

その勾配が0である場合にJは最小となる。

反復方程式を形成すると、

汎関数Ｊを効率的に最小にするために重要なのは、pの適した推定値から始めることである。例えば、
・考慮される各色の強度係数λは、テンプレート画像の色の平均強度に対するセグメント化済み画像の色の平均強度の比率として初期化される
・寸法倍率係数s_scaleは、テンプレート画像の画素領域に対するセグメント化済み画像の画素領域の比率の平方根として初期化される
・オフセットは、セグメント化済み画像の基点に初期化される
・回転角は、0に初期化される

この目的のため、初期化パラメータ５１として使用されるテンプレート画像の特定の統計的尺度は、以下のようなテンプレートデータベース情報３９に含まれる。
・テンプレート画像の各色の平均強度
・テンプレート画像の画素領域

曲線適合に最良適合パラメータベクトル
を用いると、結果として得られるテンプレートへの最良適合間の相関値が、このテンプレートの曲線適合をデータベース内の他のテンプレートの曲線適合と比較するために決定される。考慮される各色に対する、セグメント化済み画像とテンプレートとの相関値は、次式のようになる。

Pは、考慮される色に応じてＲ、Ｇ又はＢとなる。
はΠの平均値である。テンプレートの平均値
及び合計

はデータベース情報３９に含まれている（５１）。色が考慮される場合、画像内の全ての色の中の合成相関値は、次式のようになる。

セグメント化済み画像はデータベース内の事前スクリーニングされた（４１）全てのテンプレートと比較され、最も大きな相関値r²に匹敵するものが最も適合するテンプレートとして選択される。相関値r²が最小閾値を上回る場合、物体認識が可能となる。

表１は、オブジェクト認識プロセスを図示している。白黒の25mphの速度標識のセグメント化済み画像は、25mphの標識、35mphの標識及び45mphの標識のテンプレート画像と比較される。表に示すように、各曲線適合の反復により、相関値r²の増加を伴いながら汎関数Jは減少する。25mphの標識の認識は、その相関値が35mph及び45mphのテンプレートの相関値より大きいことにより解決される。

この手順による結果は、画素化により得られた不鮮明な画像の使用に対して、例えば、エッジ検出で「クリーンアップされた」バージョンを使用することの重要性を強調している。不鮮明な画素には、曲線適合処理の収束を補助する勾配情報が提供される。

「認識への反応」
セグメント化済み画像に対して十分な相関値を有する事前スクリーニングされたテンプレートを見つけることによって、関心物体を認識すると、その関心物体の識別情報は車両制御装置１５に伝達される（１３）。車両制御装置は情報に従って、運転者に警告したり（１９）、車両サブシステム１７の運用を変更したりする。例えば、制限速度を示す速度標識を検知すると、車両制御装置１５の速度センサが車両がこの制限を超えていることを示すと同時に、運転者に対して速度超過警告が表示される。極端に速度超過すると、車両制御装置によりブレーキがかかる。

本願明細書において、記載されている実施形態は、説明の便宜上、道路標識に焦点を置いているが、車両の中及び外にある他の物体を認識するためにも同一の手法が採用される。

本発明の開示を鑑みて、本発明の趣旨及び範囲に該当する他の実施形態及び変更態様があり得るということを、当業者なら理解するであろう。したがって、当業者によって、本発明の趣旨及び範囲に該当する本開示から得られる全ての変更態様は、本発明の更なる実施形態として含まれるものとする。

Claims (25)

1. 車両用物体検知及び認識システムであって、
   少なくとも一つの画像取込装置と、
   前記画像取込装置から画像を受信するように構成されるビジョン制御装置と、
   前記受信した画像内の関心物体を認識するように構成される物体検知装置と、
   前記関心物体を受信し、前記関心物体の認識に応答して車両サブシステムを制御するように構成される車両制御装置と、
   を備えることを特徴とする車両用物体検知及び認識システム。
2. 前記車両サブシステムは、ブレーキシステムである、請求項１に記載の車両用物体検知及び認識システム。
3. 前記車両サブシステムは、ドライバディスプレイである、請求項１に記載の車両用物体検知及び認識システム。
4. 前記物体検知装置は、
   前記受信した画像内の各物体を分離するように構成されるオブジェクトセグメンテーション装置と、
   関心物体情報を格納するように構成されるデータベースと、
   前記データベースから受信した情報に基づいて前記各物体が前記関心物体を含むかどうか決定するように構成される物体認識装置と、
   をさらに備える、請求項１に記載の車両用物体検知及び認識システム。
5. 前記オブジェクトセグメンテーション装置は、一つの画像取込装置から画像を受信し、該受信した画像内の各物体を分離する、請求項４に記載の物体検知及び認識システム。
6. 前記オブジェクトセグメンテーション装置は、前記受信した画像内の各物体を分離するために、さらに色情報を使用する、請求項５に記載の物体検知及び認識システム。
7. 前記セグメンテーション装置は、前記受信した画像の距離情報を得るために、前記受信した画像の立体的画像を形成するために少なくとも二つの画像取込装置から画像を受信し、さらに前記距離情報を使用して前記受信した画像内の各物体を分離する、請求項４に記載の物体検知及び認識システム。
8. 前記オブジェクトセグメンテーション装置は、前記受信した画像内の各物体を分離するために、前記距離情報と組み合わせてさらに色情報を使用する、請求項７に記載の物体検知及び認識システム。
9. 前記物体認識装置は、前記データベースから少なくとも一つの関心物体テンプレートを受信し、写像されたテンプレートと前記物体との偏差の関数を最小化する写像パラメータの値を決定して前記物体上へ前記テンプレートを写像することにより、分離された物体に前記テンプレートの曲線適合を行うように構成される、請求項４に記載の物体検知及び認識システム。
10. 前記写像パラメータは、幾何学的倍率係数及びオフセットを含む、請求項９に記載の物体検知及び認識システム。
11. 前記写像パラメータは、前記分離された物体を形成する各色成分に対する照度倍率をさらに含む、請求項１０に記載の物体検知及び認識システム。
12. 物体認識装置は、前記データベースから関心物体テンプレートを受信し、そして、
    事前スクリーニングテンプレートを得るために前記関心物体テンプレートを事前スクリーニングし、
    曲線適合されたテンプレートを得るために前記各物体に前記事前スクリーニングされたテンプレートの曲線適合を行い、
    前記曲線適合されたテンプレートと前記各物体との相関値を算出し、
    最大相関値を有する前記関心物体テンプレートを選択し、
    前記相関値が最小値より大きい場合、前記選択された関心物体テンプレートを前記車両制御装置に伝達するように構成される、請求項９に記載の物体検知及び認識システム。
13. GPS位置データは、前記データベースから受信される関心物体テンプレートを使用可能又は使用不能にするために使用される、請求項９に記載の物体検知及び認識システム。
14. 車両用物体検知及び認識方法であって、
    少なくとも一つの画像取込装置から撮影画像を受信するステップと、
    前記受信した画像内の関心物体を認識するステップと、
    前記関心物体に応答して車両サブシステムを制御するステップと、
    を備える車両用物体検知及び認識方法。
15. 前記車両サブシステムは、ブレーキシステムである、請求項１４に記載の車両用物体検知及び認識方法。
16. 前記車両サブシステムは、ドライバディスプレイである、請求項１４に記載の車両用物体検知及び認識方法。
17. 前記認識ステップは、
    前記受信した画像内の各物体を分離することと、
    データベースから受信した情報に基づいて前記各物体が前記関心物体を含むかどうか決定することと、
    をさらに備える請求項１４に記載の車両用物体検知及び認識方法。
18. 前記分離ステップは、前記受信した画像内の各物体を分離するために色情報を使用する、請求項１７に記載の車両用物体検知及び認識方法。
19. 前記分離ステップは、前記受信した画像の距離情報を得るために、前記受信した画像の立体的画像を形成するために少なくとも二つの画像取込装置から画像を受信し、前記距離情報を使用して前記受信した画像内の各物体を分離する、請求項１７に記載の車両用物体検知及び認識方法。
20. 前記分離ステップは、前記受信した画像内の各物体を分離する距離情報と組み合わせて色情報を使用する、請求項１７に記載の車両用物体検知及び認識方法。
21. 前記物体認識ステップは、前記データベースの関心物体テンプレートを使用し、写像されたテンプレートと前記物体との偏差の関数を最小化する写像パラメータの値を決定して前記物体上へ前記テンプレートを写像することによって、前記物体にテンプレートの曲線適合を行うように構成される、請求項１７に記載の物体検知及び認識方法。
22. 前記写像パラメータは、幾何学的倍率係数及びオフセットを含む、請求項２１に記載の物体検知及び認識方法。
23. 前記写像パラメータは、前記分離された物体を形成する各色成分に対する照度倍率をさらに含む、請求項２２に記載の物体検知及び認識方法。
24. 前記決定ステップは、
    前記データベースから関心物体テンプレートを受信することと、
    事前スクリーニングテンプレートを得るために前記関心物体テンプレートを事前スクリーニングすることと、
    曲線適合されたテンプレートを得るために前記各物体に前記事前スクリーニングされたテンプレートの曲線適合を行うことと、
    前記曲線適合されたテンプレートと前記各物体との相関値を算出することと、
    最大相関値を有する前記関心物体テンプレートを選択することと、
    前記相関値が最小値より大きい場合、前記選択された関心物体テンプレートを車両制御装置に伝達することと、
    をさらに備える、請求項１７に記載の車両用物体検知及び認識方法。
25. ＧＰＳ位置データは、前記データベースから受信される関心物体テンプレートを使用可能又は使用不能にするために使用される、請求項２４に記載の車両用物体検知及び認識方法。