JP2007508624A - 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出 - Google Patents

Abstract

移動物体検出は距離又は深度情報を含む低照度画像に基づいている。視覚システムは、並進運動が支配的で少量の回転運動を伴うプラットフォーム上で動作する。運動が背景の移動と一致しない移動物体の検出は、形状に基づいたアプローチを補足する。低照度でのコンピュータに基づいた視覚支援では、同時およびその次のフレームブロブの対応を求めるために二段階技術が用いられる。平均風景視差を用いることにより、陽にエゴモーションを計算することなく、運動が検出される。これらの技術は、熱放射物体がホットスポットとして現れる赤外感光ビデオデータの特性を利用する。

Description

関連出願
この出願は、ここで参照によって全てが引用されている、次の米国仮特許出願に基づいて優先権を主張する：シリアル番号６０／５１０，１７９、２００３年１０月９日出願、題名“ペデストリアン・ディテクション・ユージング・ステレオ・ナイト・ビジョン”（Serial No. 60/510,179 titled "Pedestrian Detection Using Stereo Night Vision" and filed on October 9, 2003."）

発明の背景
発明の分野
本発明は一般にリアルタイムのコンピュータ視覚に関し、特に移動プラットフォームから行う低照度下でのコンピュータに基づいた移動物体の認識に関する。

コンピュータ視覚は、人間が多くの機能を実行する際の、人間の補助または代行として利用される。コンピュータ視覚は多くの適用において、人間の視覚より正確で適合性に優れている。例えば、種々のコンピュータアルゴリズム（例えば、背景差分）とともに、１セットのカメラを使用するだけで、監視目的のコンピュータ視覚は、不特定の期間にわたって移動物体をよりうまく検出し形状を認識できる。

適用によっては、コンピュータ視覚システムは移動プラットフォームから操作することが要求される。このようなシステムでは、システム自身の運動を原因とする追加のファクタを扱う必要がある。このような適用に対して、従来は、コンピュータのアルゴリズムとともに、移動カメラとその他のハードウェア／ソフトウェアに依存して取り組んでいた。良く利用されるアルゴリズムとしては、例えば、サポートベクトルマシン（“ＳＶＭ”）のようなパターン分類子、形状認識用ニューラルネット、周期性のような運動パターン、Chamfer距離計算およびポーズの確率的モデリング、面及び視差分解等が含まれる。これら従来技術の全ては、移動風景中の関心物体を認識するために使用することができる。一般に、これらの方法において、移動カメラが見る静止風景は、システムの動作によって誘発される運動を含む。これらの方法は、移動物体が背景の動きと一致しない動きを持つという観察に基づいている。システムによって誘発される運動の補正後に残る運動は、独立に移動する物体によるものでなければならない。しかしながら、リアルタイムの視覚システムにこれらの方法を使う場合の欠点は、それらがしばしば陽的なエゴモーション計算またはモーション／フロー制約を含むからである。エゴモーション計算は演算費用が高く、リアルタイム視覚システムの性能に重大な影響を及ぼす。

他の適用では、低照度条件で動作可能なコンピュータ視覚システムが必要になる。人間の視覚は夜間または低照度下では弱いので、低照度下でのコンピュータ視覚による補助は人にとって特に重要である。夜間視覚システムに対する従来方法は、一般に赤外感光カメラに依存している。夜間に赤外感光カメラによって撮像した風景の外観は、日中に一般のカメラで撮像したものとは全く異なる。赤外カメラは熱感光性なので、熱放射物体は周囲の物体よりも明るく見える。例えば、人の検出に適用する場合、赤外感光カメラに関連して、人体の熱放射特性が利用される。赤外線夜間視覚への適用に用いられる従来技術には、歩行者に対する確率的テンプレート、外観に基づく学習、形状に基づく比較、対象性を用いる方法、およびヒストグラムなどが含まれる。

移動プラットフォームから行うコンピュータ夜間視覚の一つの重要な適用として、車両へ適用する歩行者検出システムがある。歩行者検出システムは風景中の歩行者の位置を特定するために多数のステップを使用する。一般に、これらの方法は風景中の人間と思われるブロブに対して多数の候補を検出することによって動作する。その後、これらの候補は、位置、サイズ、及び道路情報のような特定の判断基準に基づいて、人および人以外のカテゴリにふるいわけされる。例えば、歩行者検出のそのような一つの方法は、その全てが参照によって引用されている、“ペデストリアン・ディテクション・アンド・トラッキング・ウィズ・ナイト・ビジョン”、エフ シュー及びケー フジムラ、プロシーディングズ・オブ・ジ・ＩＥＥＥ・トランザクションズ・オン・インテリジェント・ビークルズ・シンポジューム・ベルサイユ・フランス（２００２年６月）（Pedestrian Detection and Tracking with Night Vision, F. Xu and K. Fujimura, Proc. of the IEEE Trans. on Intelligent Vehicles Symposium, Versailles, France (June 2002)）、に記載されている。しかしながら、フィルタリング処理は複雑で、人が取り得る可能性のある全ての形状を列挙することは実際問題として困難であるので、故障を起こし易い。また、自動車の安全性の観点から、人間または他の物体であるかにかかわらず、車両の進路を横切る移動物体を検出することが重要である。

このように、低照度条件下で移動プラットフォームから動作し、（１）どのような形状の移動物体も検出できて、（２）複雑なエゴモーション計算を必要としない移動物体検出システムと方法が必要である。

発明の要約
システムと方法は、移動プラットフォームの進路内の移動物体を検出するために、風景の運動を利用する。移動画像サブシステムが見る静止風景は、システムが搭載されているプラットフォームの動きによって誘発される運動を含む。プラットフォームによって誘発される運動補正後の残りの運動は、独立に移動する物体に起因するものでなければならない。これらの技術は一部、独立に移動する物体が背景の風景とは一致しない動きを持つという観察に基づいている。

従って、一実施形態において、移動プラットフォームから移動物体を検出するコンピュータ視覚システムは、画像サブシステム、計算サブシステムおよび出力サブシステムを含む。画像サブシステムは異なる時間において風景画像を撮像する。画像データは風景中の物体に深度または距離を得るための情報を含む。画像サブシステムは低照度条件下で動作するように設定されている。一実施形態において、画像サブシステムは２台、もしくは２台以上の赤外感光カメラを含む。

計算サブシステムは、画像データの送信のために画像サブシステムに通信可能に接続されている。計算サブシステムは、平均風景視差の計算に基づいて運動検出データを出力するように設定されている。運動検出データは風景内の独立に移動する物体の検出を指示する。運動検出データは出力サブシステムへ出力される。

出力サブシステムは運動検出データを受信するために計算サブシステムに接続されている。出力サブシステムは、そして、一つ以上の独立に移動する物体の検出に応じて運動検出信号を出力する。

一実施形態においては、計算サブシステムは画像サブシステムから画像データを受信するために入出力（Ｉ／Ｏ）モジュールも含む。Ｉ／Ｏモジュールは画像処理モジュールと運動検出モジュールへ接続する。画像処理モジュールはＩ／Ｏモジュールを経由して画像データを受信する。画像処理モジュールは画像データ内の撮像された物体に対して三次元座標を得るように設定されている。それらの座標は移動物体を検出するための運動検出モジュールへ送られる。運動検出モジュールは、少なくとも部分的に、推定物体シフトと実物体シフトの比較に基づいて、移動物体を検出する。実際値は、前後のフレーム間の、同一物体に対する三次元座標の変化から得られる一方、推定値は平均風景視差から得られる。

さらに、一実施形態において、コンピュータに基づく低照度下の移動プラットフォームから移動物体を検出する方法は多数のスッテップを含む。方法は時間上の二つ以上の点において移動物体から風景の画像データを撮像することを含む。画像データは低照度の画像情報と深度関連のデータを含む。方法はまた風景中の種々の物体に対応する点に対して三次元座標を決定するための画像データの処理を含む。さらに、この実施形態によれば、方法は静止であるらしい風景中の三次元座標物体の変化から平均風景視差を計算することを含む。

平均風景視差は、移動プラットフォームによって誘発される推定位置シフトを、風景中の目標物体でありそうな各物体に対して計算するために使用される。平均風景視差は移動物体を静止物体から分類するために使用される。これらの物体に対して、個々のフレームは時間上で異なる点において取得される、二つのフレーム内の物体に対する三次元座標を用いて、実位置シフトは計算される。実位置シフトおよび推定位置シフトを用いて、各候補物体に対する位置誤差が計算される。実験的に決定される位置シフト誤差に対する最大閾値に基づいて、位置誤差が最大閾値を越えた場合に、移動物体として検出される。一実施形態においては、最大閾値は、少なくとも部分的に、移動物体の速度と移動物体の移動プラットフォームまでの距離に基づく。

このアプローチは、静止物体の平均風景視差を計算する単純な式に基づいて、陽のエゴモーション計算を回避する。このアプローチは、例えば車両の動きのような、画像撮像サブシステムまたはプラットフォームが支配的な運動の一つであるときに、特に有用である。

一実施形態において、画像データは赤外感光情報を用いて時間上の二つの点で撮像される風景のフレームを含む。この実施形態では、風景中の熱放射物体またはホットスポットに対応するピクセルのブロブを見つけるために、画像データは各フレームを閾値化することによって処理される。前のフレームで発見されたブロブは、熱放射物体を対応づけるために、次のフレームで発見されるブロブと対応付けされる。その後、各ブロブに対して、ブロブ内の点に設定される三次元座標が決定される。

一実施形態において、二段階の対応付けアプローチが低照度画像データのステレオ画像処理に用いられる。粗から精細へ移行する計画を用いることによって、二乗和（“ＳＳＤ”）および多段解像度法のような従来方法よりも、ステレオ対応が高速レートで達成される。第一段階は、各フレーム内の類似の位置に位置する各ブロブに対するブロブ領域と他のブロブの特徴の比較に基づく。第二段階はグレーレベルテンプレート解析に基づく。二つのフレームの類似の位置にあるブロブに対する画像データ内のグレーレベル情報は、ブロブの一致を決定するために比較される。

さらに、一実施形態において、移動物体の検出後、関心のある物体のタイプが他の移動物体らしい物体から区別される。

他の実施形態において、歩行者検出システムは低照度条件で、車両の進路にいる歩行者及び他の移動物体を検出して、運転者を補助するように設定される。歩行者検出システムは赤外ステレオ視覚モジュール、データ処理モジュール及び出力インタフェースモジュールを含む。赤外ステレオ視覚モジュールは異なる時間において風景画像を撮像するように設定される。画像データは風景中の物体に対する深度または距離に関する情報を含む。赤外ステレオ視覚モジュールは、低照度条件で動作するように設定された、２台またはそれ以上の赤外感光カメラを含む。

データ処理モジュールは、赤外ステレオ視覚モジュールが撮像した画像データを受信するために、赤外ステレオ視覚モジュールに接続される。データ処理モジュールは、平均静止風景視差の計算に基づいて、運動検出データを出力するように設定されている。運動検出データは風景中で独立に移動する物体の検出を指示する。

さらに、出力インタフェースは、運動検出データを受信するために、データ処理モジュールに接続されている。出力インタフェースモジュールは、車両内の安全システム処理ユニットに出力信号を出力するように設定されている。出力信号は、車両の進路内に一人以上の歩行者が発見された場合に、運転者へ警告信号を発するために出力される。

明細書に示される特徴及び利点は全てを包括するのではなく、特に、これら以外の特徴及び利点は当業者にとって、図面、明細書および請求項を考慮すれば明白である。さらに、明細書で使用されている用語は主に読みやすさおよび解説を目的として選ばれており、発明主題を詳述し制限するためではないことに言及する。

発明の詳細な説明
図及び以下の記述は、本発明の好適な実施形態に対して、実例としての意味を持つだけである。以下の検討によってここに開示される構造及び方法を代替する実施形態が、請求の発明原則から外れることなく使用できる実行可能な代替案として即座に認識されることを特筆する。

図１を参照して移動プラットフォーム１０１上のコンピュータ視覚システム１００の一実施形態を示す。移動プラットフォーム１０１は、背景または基準フレーム１０３に対して相対的に移動する。コンピュータ視覚システム１００は画像サブシステム１０２、計算サブシステム１０４、および出力サブシステム１０６を含む。画像サブシステム１０２は計算サブシステム１０４によって処理させる画像データを撮像する。計算サブシステム１０４は画像データをインプットとして受信するために画像サブシステム１０２に接続される。計算サブシステム１０４は、背景または共通の基準フレーム１０３に相対的な動きをする移動物体１０５を検出するために、画像処理アルゴリズムを実行する。移動検出情報は計算サブシステム１０４の出力として出力サブシステム１０６へ送られる。出力サブシステム１０６は移動検出情報を受信して、出力信号を出力する。

移動プラットフォーム１０１は、車輪、レール、あるいはモータ等のような運動を可能にする機構と、コンピュータ視覚システム１００またはそのコンポーネントを搭載するための搭載ハードウェアを含む。例えば、いかなるサイズの動力付き車両も、計算サブシステムに画像データを出力するカメラを搭載するために使用できる。一実施形態において、移動プラットフォーム１０１は計算サブシステム１０４に無線で接続される画像サブシステム１０２を含む。他の実施形態では、移動プラットフォーム１０１は、本発明の歩行者検出安全システムを備える従来の乗用車である。他の実施形態は、二輪車及び軽トラック等のような他の多車輪車両を含む。

画像システム１０２は低照度条件で画像データを撮像する能力を含む。例えば、赤外感光カメラまたはタイムオブフライトカメラ等が画像サブシステム１０２に含まれる。これらの形式のカメラは可視光線スペクトラム外の波長の電磁放射を撮像し、低照度条件、例えば夜間に動作できる。従って、一実施形態において、コンピュータ視覚システム１００は夜間視覚動作、例えば夜間探査または夜間の運転者視覚補助等のために設定される。

さらに、画像サブシステム１０２は画像化された物体の深度または距離に関する情報、例えば２台のカメラによるステレオ視覚システムまたは深度検出カメラ等を含む。これらの形式のカメラはカメラから物体までの距離に関する情報を、直接的に例えばピクセル深度データ、あるいは間接的に例えばステレオ画像データとして、風景中の物体に与える。例えば、一実施形態において、ステレオ視覚システムは、両画像に現れた物体までの距離を従来のステレオ視覚技術によって計算する際に用いられる同一風景の左右画像を出力する。あるいは、別の実施形態において、深度検出システムは、ピクセルごとの深度情報（その他の画像に関連するデータ、例えば色および強度等に加えて）を出力する。この実施形態において、各物体からカメラまでの距離は、画像データそのものの中の物体に対応するピクセル、例えばこれらのピクセルに対する平均深度値から得られる。

画像データを処理するために、画像サブシステム１０２は計算サブシステム１０４に接続されている。この接続は、有線または無線、およびデジタルまたはアナログ信号で画像データを転送できる従来のデータ通信接続である。例えば、一実施形態において、画像サブシステム１０２は、計算サブシステム１０４と関連する無線受信機へ、デジタル画像を送信するための送信機を含む。別の実施形態において、画像サブシステム１０２は１台以上のカメラから計算サブシステム１０４へ直接接続するケーブル接続を含み、入力されしだい計算サブシステム１０２によってデジタル化されるアナログビデオ信号を搬送する。

計算サブシステム１０４は、移動プラットフォーム１０１の進路内の移動物体を検出するための風景運動アルゴリズムを利用するいくつかの計算モジュールを含む。画像サブシステム１０２は移動プラットフォーム１０１上にあるので、移動する画像システム１０２が見る風景には、システムが動くことによって誘発される運動、すなわちプラットフォームによって誘発される運動の影響がある。プラットフォームによって誘発される運動が補正された後、残りの検出された運動は、風景中を移動する物体に対応する。

プラットフォームによって誘発される運動を補正するために、計算サブシステム１０４は風景中の静止物体に対する平均位置視差である平均静止風景視差を計算する。平均風景視差は移動システムによって誘発される画像中の平均物体シフトの推定値を出力する。平均風景視差に基づく最大物体シフトを越えた物体は、静止物体に対立する移動物体として分類される。静止物体は次のフレームに最大物体シフト内で現れる。一旦物体が移動または静止に分類されると、計算サブシステム１０４は運動検出出力データを生成する。

計算サブシステム１０４の運動検出出力データは出力サブシステム１０６によって受信される。例えば、一実施形態において、計算サブシステム１０４の運動検出出力データは画像サブシステム１０２から受信する画像データ及び画像中の移動物体を認識するデータ、例えば画像中の移動物体の位置に対する座標を含む。出力サブシステム１０６は運動検出出力データに関する出力信号を出力する。例えば、一実施形態において、移動物体回りの輪郭を含むビデオ信号は、従来のコンピュータディスプレイシステム、例えばＣＲＴモニターまたはフラットスクリーン等に表示される。別の実施形態では、コンピュータ視覚システム１００によって検出された移動物体の存在を、利用者に可聴信号を与えて知らせる。さらに別の実施形態では、出力サブシステム１０６は車両安全システムへ検出出力信号を、例えば車両進路内の移動物体の発見に応じて、車両の速度を減少するため信号として出力する。

図２を参照してコンピュータ視覚システム１００を車両安全システムへ適用した実施形態の一例を示す。この実施形態において、移動プラットフォーム１０１は車両である。車両１０１は道路１０３に対して移動する。この実施形態の画像サブシステム１０２はステレオ夜間視覚用の２台の赤外感光カメラビデオシステム１０２を含む。カメラは車両の前の部分、例えば車両のダッシュボード上、バックミラー上またはその近辺または類似の場所、に搭載される。画像サブシステム１０２は車両のエンジンコンパートメント内の制御器１０４に接続する。出力サブシステム１０６は、運転者の視野内に張り出す車両のダッシュボード内にある、点灯ディスプレイを含む。例えば、一実施形態において、出力サブシステム１０６は、移動物体検出信号の受信に対応して、赤の点滅光線で照射される文字“ＳＬＯＷ”の表示を含む。一実施形態では、図２に示す車両安全システムは夜間歩行者検出システムとして作動することができる。コンピュータ視覚システム１００が車両１０１の進路内に、移動する歩行者１０５を検出すると、出力サブシステムは運転者に警告するために警告信号を生成する。

図３を参照して、計算サブシステム１０４の一実施形態のブロック図を説明する。計算サブシステム１０４はいくつかの計算モジュールと入出力インタフェースを含む。一実施形態において、計算サブシステム１０４は画像処理モジュール３１０及び検出モジュール３２０を含む。計算モジュールは、データ入出力（“Ｉ／Ｏ”）インタフェース３０１によって受信される画像データ上で動作する。データＩ／Ｏインタフェース３０１は画像サブシステム１０２から画像データを受信する。データＩ／Ｏインタフェース３０１は有線または無線接続で動作可能である。

計算モジュールは計算ハードウェア且つ／又はソフトウェアを含む、またはそれらによって実現される。例えば、一実施形態において、付属のストレージ又はメモリを持った汎用のプログラム可能なコンピュータプロセッサがいくつかの計算モジュールを実現する。別の実施形態では、特定機能向け内蔵プロセッサまたはマイクロコントローラがファームウェアを実行して計算モジュールを実現する。さらに別の実施形態は計算モジュールを実現するハードウェア論理回路を含む。従来のデータ処理システムからなる他のコンフィギュレーションも、ここに記載された技術に基づいて画像を処理するための計算サブシステム１０４を設定するために使用できることを特筆する。

画像処理モジュール３１０は画像内の物体の位置を決定するために画像データを処理する。画像処理モジュール３１０はまた、物体を対応付けすることにより同一の物体の異なる時刻の位置を決定するために、異なる時刻で取られたフレームを比較する。各物体に対して、画像処理モジュール３１０は、各フレームの物体の位置を認識する１セットの座標を生成する。物体の位置又は位置情報は検出モジュール３２０へ送られる。

検出モジュール３２０は物体の位置情報を評価し、画像の中のどの物体が移動物体であるかを決定する。さらに、一実施形態では、物体検出モジュール３２０は、パターンマッチング解析に基づいて、特に関心のある移動物体または偽の実在を検出する。例えば、歩行者検出システムでは、物体検出モジュール３２０が移動物体のうちどれが歩行者に対応するか決定する。

図４Ａを参照して移動物体検出方法４００の一実施形態を説明する。画像データが撮像され（４０１）処理のために送信される。画像データは画像に捉えられた対象物体の位置を決定するために処理される（４１０）。物体が一旦画像内で定義されれば、画像内の目標移動物体を検出するために情報が処理される（４２０）。風景中で目標移動物体が検出されれば、検出信号が出力される（４３０）。

画像撮像
図４Ｂを参照して、移動物体検出方法の一実施形態のより詳細なフローチャートについて説明する。画像データが従来の方法で撮像される（４０１）。上述のように、画像データは一般の画像情報と風景中の物体までの距離を決定するのに十分な情報を含む。一実施形態において、画像データは２台の赤外感光カメラ、左のカメラと右のカメラ、によって撮像される風景のビデオフレームを含む。２個のフレーム、左フレームと右フレームは各時間間隔、例えば１秒当たり３０フレーム（“ｆｐｓ”）のビデオを用いて、システムは１／３０秒毎に各カメラから１個、合計２個のフレームを同時に受信する。各フレームの画像データは７２０ｘ４８０ピクセルのグレースケールデジタル赤外画像である。

赤外画像は画像化された風景から検出された電磁エネルギの表示である。風景中では、異なる物体が、その熱反射／放射特性に従って赤外エネルギを放射または反射する。一般に、赤外画像データはグレースケールで熱レベルを示す：最も熱い物体は白く、最も冷たい物体は黒く表示される。赤外感光カメラによって夜間に撮像される風景の外観は、日中に撮像されるものと全く異なる。センサの熱感受性によって、熱放射物体、例えば人間、動物、エンジン及びその他は、周囲の物体よりも明るく見える。対照的に日中は、赤外放射は物体の反射特性、例えば色、材料及びその他と関連する。このように、この画像技術を夜間に使用することにより、自力で移動する可能性が高い物体、即ち熱放射物体の検出の援助となる。移動できない物体でも、大量の熱または他の赤外エネルギの反射によって、日中の改善された画像では他の移動可能な物体と同じように見えることがある。しかしながら、このような物体は、夜間または低照射条件で画像が撮像される時には、もっと簡単に区別できる。

フレーム内の物体認識
一実施形態において、画像データが撮像されると、同時に撮像されたフレームは画像処理のために入力される（４０５）。例えば、ステレオ視覚システムでは、同一風景の左右のフレームが処理のために入力される（４０５）。各フレームは画像データ中のホットスポットを検出するために動的に閾値化される（４１２）。上述のように、熱放射物体はグレースケールの赤外画像でより明るい色調で表示され、フレームの閾値化によって各フレーム内の熱放射物体の識別を容易にする。閾値の選択は得られる特徴点または物体の数に影響を及ぼす。閾値は赤外画像全体の総平均に基づいて決定される。一実施形態において、閾値２０５−平均が用いられる。閾値化の処理は、熱放射物体を表している隣接のピクセルまたはブロブのグループを与える。

同時フレーム間の物体の対応
一実施例によれば、次のステップは二つの同時フレームにおける物体ブロブを対応付けること（４１４）を含む。対応付けされたブロブは、同一風景の左右のフレームで認識される物体間の対応を示す。これは従来のステレオに基づく方法に共通の問題であり、従来の対応付けアプローチはいずれも使用することができる。代替の深度検出画像サブシステムを用いる実施形態では、１台のカメラから１回に１フレームしか生成しないので、このステップが不要であることを特筆する。

一実施形態において、二段階アプローチが、２個のステレオ画像中の物体を対応付けする（４１４）ために使用される。第一段階４１４ａは物体に対応するピクセルのブロブを、より高速の対応決定のために使用する。この段階で条件を満たす解が取得されれば、これ以降の処理は不要である。そうでない場合は、第二段階４１４ｂが対応を決定するために、解が得られていない物体の輪郭または形状に対してグレースケール情報を用いる。

いくつかのホットスポットが明確に決定され、背景から分離可能且つ相互間の分離可能なまばらな風景に対しては、一般に第一段階４１４ａで十分である。ブロブ対応付け４１４ａによる物体対応決定は、このような条件下では移動物体の決定に対して十分な精度を実現する。しかしながら、風景がまばらでなくて物体を相互に区別することが容易でない場合は、より精細な粗対応付け４１４ｂのために、グレーレベルデータが使用される。

この方法は画像ビューの中に少数のホットスポットが散在する環境に対して効力がある。例えば、図５は、対応ブロブのペア５１５ａおよび５１５ｂが左ステレオフレーム５１０ａおよび右ステレオフレーム５１０ｂのそれぞれで成功裏に対応付けられたサンプル風景５００を示す。

この結果、一実施形態において、第一段階４１４ａは、ブロブサイズと縦横比によって精度を保証する計算上有利な広範囲の検索を含む。十分な精度が実現されない場合は、第二段階４１４ｂがより時間を消費するグレーレベルマッチングアルゴリズムを使用する。徹底的な検索を回避し、第一段階４１４ａ後に認識されない物体ブロブに検索領域を限定することにより、このアルゴリズムの計算費用を低減できる。

連続するフレーム間の物体対応
図４Ｂに戻ると、物体ホットスポットが認識され（４１２）、左右の同時フレームで対応付けされる（４１４）、異なる時刻で撮像された風景ｉ＋１の次のフレームに対して同じマッチング処理が繰り返される。例えば、一実施形態において、３０ｆｐｓのビデオ信号に対して１／３秒に対応する、１０フレームごとにフレームの対応付けが行われる。

上記の式は、左右のフレーム間で使用される二段階アプローチが次のフレームに関して適用される際に用いられるフレームｉ＋１のブロブの新しい位置を推定する。この処理のために、ブロブ検索範囲には共通基準フレームに対するカメラ速度が考慮される。対応する座標が、第一段階４１４ａのブロブマッチング方法（ブロブが二つの画像で明らかに分割可能な形状の場合）に対して重心として定義される。さらに、第二段階４１４ｂのグレーレベルマッチング方法が使用される場合、対応する座標はテンプレートマッチングに対する中心として使用される。ブロブ重心によって決定される対応座標に関連し、異なるフレームのブロブ形状の違いに起因する少量のピクセル誤差は、上記の技術による新しい位置の推定にほとんど影響を及ぼさない。例えば、ブロブに対してｘ視差で３ピクセルの誤差がある場合、フレームｉ＋１に対する新しい位置の推定に対して１ピクセル未満の誤差にしかならない。

風景マッチング４１６の後、ブロブ重心点に対する三次元座標が、風景中の画像化された各候補物体または各候補ホットスポットに対して記録される。この情報は移動物体検出のための出力４１８である。

上述のように、画像サブシステムは移動プラットフォーム上にあるので、風景中の全ての物体が画像中で移動しているように見える。しかしながら、独立に移動する物体は、その見かけ上の移動がプラットフォームの移動によって誘発される静止物体の移動とは異なる移動のパター−ンであることが多い。時刻（ｔとｔ＋１）の２点で移動プラットフォームから撮像される風景には、次の理由が組み合わさって、フレームｉ（時刻ｔで撮像）とｉ＋１（時刻ｔ＋１で撮像）の異なる位置で同一の物体が出現する：
（１）プラットフォームの並進運動
（２）Ｘ軸回りのプラットフォームの回転運動
（３）Ｙ軸回りの車両の回転運動、および
（４）独立物体の運動

独立運動検出アルゴリズムは上記の１、２および３を原因とする位置の差を補正する。補正後に物体が依然として異なる位置で出現すれば、物体の位置変化は物体自身の独立な運動によるものである可能性がある。単純化のために、一実施形態において、運動の方向におけるＺ軸回りのプラットフォームの回転運動は考慮しない。一般に、自動車のような並進移動プラットフォームではＺ軸回転は最小で、ゼロと仮定しても大きな誤差を生じることは無い。

静止物体に対してもεがゼロでない主要な理由は、物体の位置を表すためにブロブの重心座標が使用されるからである。しかしながら、分割によって異なるフレームでわずかに異なる結果が通常は出る。このように、異なるフレームの同じブロブの重心は必ずしも一致しない。

静止の可能性のある物体の位置を決めるために、画像中心から離れた物体に対応する点が使われる。一般的な適用の仕方としては、画像サブシステムはそれらに焦点を直接合わせていないので、画像の中心から離れている物体は背景物体に相当する可能性がある。例えば、自動車の歩行者検出の実施形態では、周辺部の物体は電柱、橋および建物のような人工の物体であることが多い。

一つ以上の移動物体を検出すると、運動検出データが出力サブシステムに送られる（６７０）。一実施形態において、検出６６０は以下に説明する物体のタイプ認識処理をさらに含む。

εに対する閾値は移動物体の速度と移動物体から車両までの距離に基づいて選択される。車両が高速なほどεの値は大きくなる。誤差項εに対して適正な閾値を見つけるために、静止物体の推定位置と実位置との差が決定される。点はカメラシステムの視野角範囲でカメラシステムから一定の距離上にある。ステレオカメラシステムを用いた一実施形態において、視野角は−１３度から１３度である。この実施形態において、プラットフォームから１０から３５メートルの距離の物体は移動物体の候補の可能性がある。これらの点に対する推定位置とその次のフレームで検出された実位置の差が計算される。

表１では深度値１５メートルの物体に対して１／３秒の時間間隔でが比較されている。車両スピード４０ｍ／ｓに基づいて解析が行われている。ＸおよびＹは画像面内の物体の座標である。

画像中心からの物体の水平および垂直のオフセットはシステムの検出性能に影響を与える。例えば、車両用歩行者検出システムの一実施形態では、小さな回転（ω₁＝０．１５ｒａｄ／ｓ ω₂＝０．１５ｒａｄ／ｓ）を伴う車両のほぼ直線の運動に対して、画像面の左端および右端の点においても、誤差εは１０ピクセルまで小さくなる。このようなケースでは、理想計算と近似計算の間で、ピクセル値に差異がほとんど出ない。車両がもっと大きなレート（ω₁＝０．９０ｒａｄ／ｓ ω₂＝０．９０ｒａｄ／ｓ）で旋回する場合、その影響は大きくなるが、εはなお静止／移動決定に対して許容範囲内にある。表１に示すように、回転角度はεに無視できない影響を与える。これらの観察に基づいて、静止物体に対する検索範囲は不一致の小さな深度値、カメラシステムから１５メートルと３０メートルの間に限定される。さらに上述のように、画像エッジから離れた物体に対しては検索領域が狭められる。これらの限定によってεの最大値が低減される。一実施形態において、移動／静止決定に対する閾値は２５ピクセルである。これによれば、２５ピクセルより大きなεの物体は全て移動物体として扱われる。

物体タイプ認識
一実施形態において、移動物体検出６６０は検出物体のタイプに基づいてさらに洗練される。例えば、歩行者検出の一実施形態において、人歩行者だけが検出システムとって必要な目標物体である。従って、移動物体が発見されると、人間でない物体、例えば対向車は削除される。通常、検出された移動ホットスポットが人間（あるいは人間の一部）または何か他の物体の何れかであるかを認識することは簡単ではない。多くの従来画像認識アプローチが利用可能である。

一実施形態において、検出された移動物体に対応するブロブの縦横比とサイズが比較される。このアプローチは人間を目標物として検出するために用いられる。一般に、自動車(または自動車の一部分)に対応するブロブはサイズが相対的に大きく、水平方向に伸びているが、人間の形状は垂直方向に相対的に長い。このように、移動車両検出の一実施形態において、大きくて長いブロブは検出として表示され、一方小さくて長いブロブは削除される。同様の経験則は、特別のサイズ且つ／又は縦横比を持つ他の関心物体に対して使用される。

しかしながら、縦横比およびサイズだけを使用することは偽の実在を除外するために常に十分なわけではない。このようなケースでは、形状情報が考慮されなければならない。形状情報はパターン分類システムで使用される。画像に基づいて物体の形状を解析し、記憶されている訓練セットと比較する形状解析モジュールに、目標物体の候補が供与される。記憶されている訓練セットは、関心のある目標物体のタイプ、例えば人間、動物、車両、あるいはその他の特徴である形状の画像に対応している。例えば、一実施形態では、サポートベクトルマシン（ＳＶＭ）がこの目的で使用される。ＳＶＭは２セットの高次元ベクトル（訓練段階）間の境界(サポートベクトル)を計算し、これらのサポートベクトルを用いて類似のソース(テスト段階)からベクトルを分類する分類方法である。異なる訓練セット、例えば、グレースケールとバイナリ、または体の上部と全身が歩行者検出に及ぼす効率を評価するために、生成されるサポートベクトルの個数と検出レートが用いられる。一般に、グレースケール自己訓練ＳＶＭを用いた人体検出は非常に成功している：訓練セットと適用データ間にマイナーな差しかない場合に、それは常に正しい候補を認識でき、良い結果を得る。

本発明の特定の実施形態と適用がここに図示され説明されたが、発明はその構造そのものに限定されることはなく、種々の変更、改変及び変形が、本発明の配置、動作、方法の詳細及び装置において、添付の請求項に規定されているような本発明の真意と範囲から逸脱することなくなされ得ると理解する。

図１は移動プラットフォーム上のコンピュータ視覚システムの一実施形態のブロック図を示す。 図２はコンピュータ視覚システムを車両安全システムに適用する場合の実施形態の一例を示す。 図３は計算サブシステムの一実施形態のブロック図を示す。 図４Ａは移動物体検出方法の一実施形態のフローチャートを示す。 図４Ｂは移動物体検出方法の一実施形態のフローチャートを示す。 図４Ｃ物体ブロブマッチング方法の一実施形態のフローチャートを示す。 図５は対応ブロブペアが左右のステレオフレームのそれぞれにおいて成功裏に対応付けられたサンプル風景を示す。 図６は移動物体検出方法の一実施形態のフローチャートを示す。

Claims (20)

1. 移動プラットフォームから移動物体を検出するコンピュータ視覚システムであって、
   風景中の物体に対して深度基準を得るための情報を含む風景画像データを複数回撮像し、低照度条件下で動作する画像サブシステムと、
   前記画像データを受信し、前記風景内で独立に移動する物体の検出を示す運動検出データを平均風景視差計算に基づいて出力するために、前記画像サブシステムに通信可能に接続する計算サブシステムと、
   前記運動検出データを受信するために前記計算サブシステムに接続し、一つ以上の独立に移動する物体の検出に応じて運動検出信号を出力するための出力サブシステムと、を含むことを特徴とするコンピュータ視覚システム。
2. 前記画像サブシステムはさらに複数台の赤外感光カメラを含むことを特徴とする請求項１に記載のコンピュータ視覚システム。
3. 前記計算サブシステムはさらに、
   前記画像サブシステムから前記画像データを受信するための入出力モジュールと、
   前記画像データを受信するための前記入出力モジュールに接続し、前記画像データ中に撮像された複数の対象物に対して三次元座標を付与するように設定された画像処理モジュールと、
   前記複数の物体に対する前記三次元座標を受信するために前記画像処理モジュールに接続し、前記平均風景視差から得られた推定物体シフトと前記三次元座標の変化から得られた実物体シフトとの比較に少なくとも部分的に基づいて、前記複数の物体中の移動物体を検出するように設定されるとともに、移動物体の発見に応じて前記運動検出データを出力するように設定された運動検出モジュールと、をさらに含むことを特徴とする請求項１に記載のコンピュータ視覚システム。
4. 前記移動プラットフォームは道路上動作のための複数個の車輪を含む車両であることを特徴とする請求項１に記載のコンピュータ視覚システム。
5. 前記出力サブシステムは、前記運動検出信号の受信に応じて車両操作者に警告する前記車両内の安全システムに、さらに接続することを特徴とする請求項４に記載のコンピュータ視覚システム。
6. 低照度条件下で移動プラットフォームから移動物体を検出するためのコンピュータを用いる方法であって、
   低照度画像情報と深度関連情報とを含む風景画像データを時間上の２個以上の点で移動プラットフォームから撮像することと、
   前記風景中の複数の物体に対応する点に対して三次元座標を決定するために前記画像データを処理することと、
   前記風景中の静止状態にあるらしい物体の第一部分集合に対する三次元座標の変化から平均風景視差を計算することと、
   前記平均風景視差に少なくとも部分的に基づいて、前記風景中の物体の第二部分集合内の各物体に対して推定位置シフトを計算することと、
   前記物体の第二部分集合に対する三次元座標に少なくとも部分的に基づいて、前記風景中の前記物体の第二部分集合内の各物体に対して実位置シフトを計算することと、
   各物体に対する前記推定位置シフトと実位置シフトの差に少なくとも部分的に基づいて、前記風景中の前記物体の第二部分集合内の各物体に対して位置誤差を計算することと、
   少なくとも前記一つの物体の位置誤差と実験的に決められる最大閾値との比較に少なくとも部分的に基づいて、前記物体の第二部分集合内の物体から少なくとも一つの移動物体を検出することと、を含む方法。
7. 前記深度関連情報は同一風景の左フレームと右フレームに対する画像データを含むことを特徴とする請求項６に記載の方法。
8. 前記画像データは、時間上の第一の点の風景に対応する第一フレームと時間上の第二の点の風景に対応する第二フレームに対して赤外感光情報を含み、画像データ処理はさらに、
   前記風景中の一つ以上の熱放射物体に対応する各フレーム内のピクセルからなる一つ以上のブロブを検出するために前記イメージデータを閾化することと、
   第一フレームで検出されたブロブと、同一の熱放射物体に対応する第二フレーム内で検出されたブロブとを一致させることと、
   前記ブロブ内の点として各ブロブに対して設定される三次元座標を決定することと、を含むことを特徴とする請求項６に記載の方法。
9. ブロブを一致させることはさらに、
   前記第一および第二フレーム内の類似の位置にある各ブロブに対して少なくともブロブ領域の比較に基づく第一の一致段階と、
   グレーレベルテンプレート解析に基づく第二の一致段階と、を含み、
   前記第一および第二のフレーム内の類似の位置にあるブロブに対する画像データ内のグレーレベル情報は前記ブロブの類似性を決定するために比較されることを特徴とする請求項８に記載の方法。
10. 前記平均風景視差の計算は、速度測定装置によって与えられる測定値に少なくとも部分的に基づく並進成分の計算をさらに含むことを特徴とする請求項６に記載の方法。
11. 前記最大閾値は、少なくとも部分的に、前記移動物体の速度と前記移動物体の前記移動プラットフォームまでの距離に基づくことを特徴とする請求項６に記載の方法。
12. 前記少なくとも一つの移動物体を検出することは、前記物体が目標物体のタイプと一致するかを決定するために、前記少なくとも一つの物体のパターンマッチング解析の実行をさらに含むことを特徴とする請求項６に記載の方法。
13. 前記目標物体は人間であることを特徴とする請求項１２に記載の方法。
14. 低照度条件下で移動プラットフォームから移動物体を検出するコンピュータシステムであって、
    低照度画像情報と深度関連情報とを含む風景画像データを時間上の２個以上の点で移動プラットフォームから撮像する手段と、
    前記風景中の複数の物体に対応する点に対して三次元座標を決定するために前記画像データを処理する手段と、
    前記風景中の静止状態にあるらしい物体の第一部分集合に対する三次元座標の変化から平均風景視差を計算する手段と、
    前記平均風景視差に少なくとも部分的に基づいて、前記風景中の物体の第二部分集合内の各物体に対して推定位置シフトを計算する手段と、
    前記物体の第二部分集合に対する三次元座標に少なくとも部分的に基づいて、前記風景中の前記物体の第二部分集合内の各物体に対して実位置シフトを計算する手段と、
    各物体に対する前記推定位置シフトと実位置シフトの差に少なくとも部分的に基づいて、前記風景中の前記物体の第二部分集合内の各物体に対して位置誤差を計算する手段と、
    少なくとも前記一つの物体の位置誤差と実験的に決められる最大閾値との比較に少なくとも部分的に基づいて、前記物体の第二部分集合内の物体から少なくとも一つの移動物体を検出する手段と、を含むコンピュータシステム。
15. 前記深度関連情報は同一風景の左フレームと右フレームに対する画像データを含むことを特徴とする請求項１４に記載のコンピュータシステム。
16. 前記画像データは、時間上の第一の点の風景に対応する第一フレームと時間上の第二の点の風景に対応する第二フレームに対して赤外感光情報を含むとともに、前記画像データ処理手段はさらに、
    前記風景中の一つ以上の熱放射物体に対応する各フレーム内のピクセルからなる一つ以上のブロブを検出するために前記イメージデータを閾化する手段と、
    第一フレームで検出されたブロブと、同一の熱放射物体に対応する第二フレーム内で検出されたブロブとを一致させる手段と、
    前記ブロブ内の点として各ブロブに対して設定される三次元座標を決定する手段と、を含むことを特徴とする請求項１４に記載のコンピュータシステム。
17. 前記最大閾値は、少なくとも部分的に、前記移動物体の速度と前記移動物体の前記移動プラットフォームまでの距離に基づくことを特徴とする請求項１４に記載のコンピュータシステム。
18. 低照度条件で車両の進路内に在る歩行者および他の移動物体を検出するために運転者を支援する車両内の歩行者検出システムであって、
    低照度条件下で動作するように設定された複数台の赤外感光カメラを含み、風景内の物体に対して深度基準を得るための情報を含む風景画像データを複数回撮像する赤外ステレオ視覚モジュールと、
    前記画像データを受信し、前記風景内で独立に移動する物体の検出を示す運動検出データを平均静止風景視差計算に基づいて出力するために、前記赤外ステレオ視覚モジュールと通信可能に接続するデータ処理モジュールと、
    前記運動検出データを受信し、一人以上の歩行者の検出に応じて前記運転者に警告信号を与えるための前記車両内の安全システム処理ユニットへ出力信号を出力するために、前記データ処理モジュールに接続する出力インタフェースと、を含む歩行者検出システム。
19. 前記データ処理モジュールはさらに、
    前記赤外ステレオ視覚モジュールから前記画像データを受信する入出力モジュールと、
    前記画像データを受信するための前記入出力モジュールに接続し、前記画像データに撮像された複数の対象物に対して三次元座標を付与するように設定された画像処理モジュールと、
    前記複数の物体に対する前記三次元座標を受信するために前記画像処理モジュールに接続し、前記平均風景視差から得られる推定物体シフトと前記三次元座標の変化から得られる実物体シフトとの比較に少なくとも部分的に基づいて、前記複数の物体中の移動物体を検出するように設定されるとともに、移動物体の発見に応じて前記運動検出データを出力するように設定された運動検出モジュールと、をさらに含むことを特徴とする請求項１９に記載の歩行者検出システム。
20. 前記車両内の安全システム処理ユニットは、可聴信号、視覚検知可能信号または車両速度制御信号の何れか一つとして警告信号を前記運転者に与えることを特徴とする請求項１８に記載の歩行者検出システム。