JP2019530924A - カメラ画像からのオブジェクトの検出 - Google Patents

Abstract

本発明は、カメラの画像からオブジェクトを検出するための方法及び装置に関し、特にカメラベースのドライバー・アシスタント・システムにおいて、使用されることができる。該車載カメラの一連の画像からオブジェクトを検出するための方法は、以下のステップを包含している：ａ）車載カメラを用いて一連の画像を撮影するステップ、ｂ）マッチング特徴を、二枚の連続する画像内において割り出すステップ、ｄ）隣接するマッチング特徴を、それぞれ、空間内の一枚のレベルに分類することによって、空間内の複数のレベルを、割り出すステップ、ｆ）ステップｄ）において割り出したレベルを考慮しつつ、オブジェクトを検出するステップ。ある好ましい実施形態によれば、該方法は、以下のステップも包含している：ｃ）複数のレベルを割り出すために、隣接するマッチング特徴に対する同形異義性を算出するステップ；及び／或いは、ｄ２）隣接するマッチング特徴を、それぞれ一つのグランド・レベル、一つのバックウォール・レベル或いはサイドウォール・レベルへ分類するステップ。本発明に係る方法は、迅速な方法として実装し得るため、汎用的オブジェクト検出、乃至、シーン解釈を、略画像全面に対して、リアルタイムに実施できる。

Description

本発明は、カメラの画像からオブジェクトを検出するための方法に関し、特にカメラベースのドライバー・アシスタント・システムにおいて、使用されることができる。

最新の従来の技術における車両認識システムは、クラシフィケーション、即ち、分級をベースにしたものが大半である。クラシフィケーション・ベースのシステムは、トレーニング・データにおいて見たことのある車両、乃至、車両コンポーネントを再認識することができる。しかし、新しい車両デザインや変更された構造などが、システム・パフォーマンスの著しい低下の原因となり得るため、オブジェクトを認識するための汎用的なアプローチが望まれている。

特許文献１（ＵＳ ２０１４／０１６１３２３ Ａ１）は、一台のモノカメラによって撮影された画像から緻密な三次元ストラクチャーを作成するための方法を開示している。

特許文献２（ＥＰ ２ ９９３ ６５４ Ａ１）は、カメラ画像からフロント衝突警告（ＦＣＷ）を実施するための方法を開示している。ここでは、予め定められているタイム・インターバル内に自車両が到達すると予測される画像領域が、分析される。そして、該領域内にオブジェクトが、認識された場合、衝突警告が、出力される。

米国特許出願公開第２０１４／０１６１３２３号明細書 欧州特許出願公開第２９９３６５４号明細書

よって、本発明の課題は、オブジェクトを汎用的に認識するための方法を提供することにある。

本発明の出発点は、以下の様な考察であった：二枚のフレーム（シングル画像）のカメラポジションが既知であれば、ポイント・マッチング（互いに関連している特徴的ポイント）を三角測量することはできるが、三角測量では、ポイント・クラウドを有意義なオブジェクトにクラスター化することができるモデル・ノレッジは用いることができないため、オブジェクトを作成できないこと。シングルレンズシステムの欠点として、エピポール付近では、オブジェクトを、正確には、三角測量できないこと、並びに、そこにおいて、エゴモーション（カメラ自体の動き）における微々たるエラーが、多大な影響を有すること。
尚、ここで言う「エピポール」とは、第二時点においてカメラの中心に撮影される、第一カメラ画像内の画像点のことを意味している。例えば、真っすぐに走行している場合、バニシング・ポイントが、エピポールに相当する。しかしながらそれは、停止している、或いは、前方を走行している車両への追突を認識するために重要な領域である。エピポール・ジオメトリに従って動いている場合、動的なオブジェクトは、三角測量することができる。しかしながら、相対速度が既知でなければ、その間隔は、近すぎ、或いは、遠すぎに推定される。

そこで、個々のマッチングの代わりに、複数の隣接するマッチング（互いに関連している特徴）を観察すれば、オブジェクトを、異なる速度、スケール、変形を基に、セグメント化できる。

本発明に係る、車載カメラの一連の画像からオブジェクトを検出するための方法は、以下のステップを包含している：
ａ）車載カメラを用いて一連の画像を撮影するステップ、
ｂ）マッチング特徴を、二枚の連続する画像内において割り出すステップ、
ｄ）隣接するマッチング特徴を、それぞれ、空間内の一枚のレベルに分類することによって、空間内の複数のレベルを、割り出すステップ、並びに、
ｆ）（ステップｄ）において）割り出したレベルを考慮しつつ、オブジェクトを検出するステップ。

尚、該車載カメラは、好ましくは、車両の周辺部を撮影するために構成されている。ここで言う「周辺部」とは、特に、該車両の前方に横たわる周辺部である。該車載カメラカメラは、好ましくは、一つの運転手アシスタント装置内に内蔵されている、或いは、これと接続自在であるが、ここでは、該運転手アシスタント装置は、該車載カメラ手段が提供する画像データからオブジェクトを認識することができるように構成されていることが特に好ましい。尚、該車載カメラ手段は、好ましくは、車両の内部空間のフロントガラスの後ろに配置され、走行方向に向けられたカメラである。特に、該車載カメラは、単眼カメラであることが好ましい。

また、該車載カメラによっては、ある特定の、乃至、既知の時点毎にそれぞれ一枚の個別画像が撮影され、これらから、一連の画像シーケンスが、得られる。

ここで言う「マッチング」とは、第一画像内の特徴に対応する二枚目の画像内の特徴のことである。二枚の画像内のマッチング特徴は、該特徴が、該画像間においてどのように移動したのかを示すフローベクトルとしても記述される。該特徴は、特に好ましくは、一つの画像領域（乃至、パッチ）、一個のピクセル、一つのエッジ、或いは、角であることができる。
ステップｄ）は、代案的には、以下の様に記述することもできる：そのそれぞれに、複数の隣接するマッチング特徴が、その時点において存在している、或いは、それらがそこに入ってくるであろう、複数のレベルを割り出すステップ。
ステップｄ）には、空間内に複数のレベルを予め設定し、且つ、該予め設定されたレベルのそれぞれ一枚に、隣接するマッチング特徴を分類することも包含されている（下のステップｄ２参照）。

本発明のコンテクストにおける「レベル」とは、以下の事柄を記述するものである：
第一に、これは、隣接するマッチング特徴を集積する条件である。即ち、それらマッチングが空間内の共通のレベル内にあり、且つ、該レベルの動きに応じて時間的に共に進展する場合、それらは互いに帰属していると見なされる。
続いて、この様に集積されたマッチング特徴は、例えば、全てが路面レベルに相当するレベルに存在しているため、「グランド・レベル」と称される。しかしながらこの様なグランド・レベルは、無限に広がるものではなく、該レベルの部分領域、即ち、実際にマッチング特徴が配置されている領域のみを意味している。

ステップｆ）における「・・・を考慮しつつ」と言う表現は、ステップｄ）において割り出した複数のレベルを、オブジェクトを検出する際に考慮する事を意味している。これは、例えば、認識されたグランド・レベルから、路面仮定を、推定し、更に、バックウォール・レベル及びサイドウォール・レベルから、高さを有するオブジェクト用のオブジェクト仮定を推定することによりに実施することができる。一つの路面仮定と、高さを有するオブジェクト用の（複数であり得る）オブジェクト仮定さえあれば、車両の周辺部内のどのフリー空間が、その時点において、走行可能であるかを示すフリー空間検知を実施することができる。フリー空間検知の好ましい用途としては、例えば、走行レーンマークの認識に依存しない車線縁検出における使用を挙げることができる。

「オブジェクトの検出」と言う表現は、例えば、オブジェクト仮定の、乃至、オブジェクトの生成を意味することができる。

ある好ましい実施形態によれば、該方法は、以下のステップも包含している：
ｃ）複数のレベルを割り出すために、隣接するマッチング特徴に対する同形異義性を算出するステップ。
同形異義性は、二つのカメラポジション間の一枚のレベル上のポイントの関連性、或いは、車載カメラの二枚の連続する画像内のポイントの関連性を記述するものである。即ち、隣接するマッチング特徴の同形異義性を算出することにより、隣接するマッチング特徴のそれぞれ一枚の空間内のレベルへの分類を実施することができる（ステップｄ）参照）。

本方法は、以下のステップも包含していることが好ましい：
ｅ）算出した同形異義性を基にマッチング特徴をセグメント化するステップ。
特に、算出した同形異義性を基にすれば、マッチング特徴をセグメント化することができる、即ち、異なるセグメントに分類することができる。ステップｆ）では、オブジェクトの検出を、セグメント化した特徴を考慮して実施することも可能である。

本方法の好ましい発展形態は、ステップｄ２）も包含している：隣接するマッチング特徴を、それぞれ一つのグランド・レベル、一つのバックウォール・レベル或いはサイドウォール・レベルへ分類するステップ。ｘ方向が、水平乃至横方向、ｙ方向が、垂直、そして、ｚ方向が、車体前後方向である座標系の場合は、グランド・レベルを、ｙ方向基準に、バックウォール・レベルを、ｚ方向基準に、そして、サイドウォール・レベルをｘ方向基準に予め定めることもできる。
グランド・レベルの、バックウォール・レベルの、そして、サイドウォール・レベルの同形異義性を算出することにより、隣接するマッチング特徴を、これらのレベルのうちの一枚に割り当てることができる。

好ましくは、バックウォール・レベル用の同形異義性は、式（１０）に、グランド・レベル用では、式（９）に、そして、サイドウォール・レベル用では、式（１１）に従って算出されることができる。
式中、ａ，ｂ，ｃは、定数であり、ｘ_０，ｙ_０，ｘ_１，ｙ_１は、時点ｔ−０に撮影された第一画像（インデックス０）と過去の時点ｔ−１に撮影された第二画像（インデックス１）内のマッチングを示し、また、ｔ_ｘ，ｔ_ｙ，ｔ_ｚは、ベクトルｔ／ｄのコンポーネントを示している。尚、ｔは、車載カメラの平行移動を、ｄは、レベルまでの距離（そのレベルに対して垂直）、即ち、そのレベルの標準ベクトルに沿った距離を示している。コンポーネントｔ_ｘ，ｔ_ｙ乃至ｔ_ｚは、以下、「インバースＴＴＣ」とも呼ばれる。ＴＴＣは、「Ｔｉｍｅ ｔｏ ｃｏｌｌｉｓｉｏｎ」の頭文字を取ったものであり、ある空間方向において、間隔を平行移動速度で割ったものである。

有利な発展形態によれば、同じオリエンテーションを有する複数のレベルがある場合、同じオリエンテーションのレベルは、帰属するｔ_ｘ，ｔ_ｙ，ｔ_ｚ・値によって、分離されることができる。例えば、ｚ方向において、車載カメラからの距離が異なる二枚のバックウォール・レベルは、異なるｔ_ｚ・値を基に区別することができる。

尚、一枚の画像は、グリッドにより、同様のセルに分割され、各々のセルに対しては、その中で割り出されたマッチング特徴から、それぞれ同形異義性が算出されることが好ましい。続いて、一致する同形異義性を有するセルは、クラスター化されることができる。

算出された第一セルの同形異義性が、一つの隣接するセルの同形異義性と十分に一致する場合、レベル境界を割り出すために、個々のマッチング特徴の所謂「バックプロジェクションエラー」を観察することが、好ましく実施できる。
即ち、マッチング特徴を、バックプロジェクションエラーによって、評価することができる。この「バックプロジェクションエラー」は、測定したフローと算出した同形異義性から予測されたフローとの間の差異を与えるものである。言い換えれば、一枚のレベルのバックプロジェクションエラーは、時点ｔ−０のポイントｘと、同形異義性に従ってこのレベル上に投影された過去の時点ｔ−１におけるマッチングするポイントとの間の差異を示す値である（以下の式４参照）。
一つの第一セル内のマッチング特徴のバックプロジェクションエラーが、隣接するセルの同形異義性のバックプロジェクションエラーと比較され、このマッチング特徴が、最も小さなエラーを有する同形異義性に帰属されれば、第一セル内のレベル境界（乃至、セグメント境界、或いは、クラスター境界）を、より鮮明にすることができる。この様にすることで、一つのセルのマッチング特徴を、異なるレベルに分類することができる。

この様な、レベルと隣接するマッチング特徴との帰属は、本質的に、車載カメラの画像全面（少なくとも画像面積の８０％、好ましくは、少なくとも９０％）において割り出されることが好ましい。本発明に係る方法は、迅速な方法として実装し得るため、汎用的オブジェクト検出、乃至、シーン解釈を、略画像全面に対して、リアルタイムに実施できる。

更に、以下を包含する車載カメラの一連の画像からオブジェクトを検出するための装置も本発明の対象である：
カメラ制御手段、並びに、
評価用エレクトロニクス、
但し、
該カメラ制御手段は、以下のステップを実施できる様に、コンフィグレーションされている、乃至、構成されている：
ａ）車載カメラによって、一連の画像を撮影するステップ；
また、
該評価用エレクトロニクスは、以下のステップを実施できる様に、コンフィグレーション／構成されている：
ｂ）二枚の連続する画像内においてマッチング特徴を割り出すステップ、
ｄ）空間内の複数のレベルを、隣接するマッチング特徴をそれぞれ空間内の一枚のレベルに分類することによって割り出すステップ、そして、
ｇ）（ステップｄ）において）割り出したレベルを考慮しつつ、一つの、乃至、複数のオブジェクトを割り出す（或いは、生成する）ステップ。

該カメラ制御手段乃至評価用エレクトロニクスは、特に好ましくは、マイクロコントローラ乃至プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ／特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ／フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、関連する制御ステップや評価ステップを実施するためのソフトウェアを包含している。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。

本発明の更なる特徴、長所、及び、作用は、以下の好ましい実施例の説明によって示される。図の説明：

接近して来るバックウォール・レベルの典型的な変形を模式的に示す図である。 接近して来るグランド・レベルの典型的な変形を模式的に示す図である。 ａ）高速で、ｂ）低速で接近して来る乃至遠距離にあるバックウォール・レベルの典型的な変形を模式的に示す図である。 セル内に二つの異なるセグメントを有する一枚の画像の区分を模式的に示す図である。 第三反復ステップ後のセグメント化結果を示す図である。 ターゲット・バリデーション（衝突する可能性のあるオブジェクトのバリデーション）のためのレベル・オリエンテーションを示す図である。 ＴＴＣ（Ｔｉｍｅ ｔｏ Ｃｏｌｌｉｓｉｏｎ）ビューを示す図である。 時点ｔ−０（右）の時点ｔ−１（左）に対するガードレールセグメントの投影（乃至、ワープ）を示す図である。

互いに対応する部分は、通常、全ての図において同じ符号がつけられている。

図１には、第一時点ｔ−１において斜線で示されている領域（点線２０）を占有しているバックウォール・レベル（ｂａｃｋ ｐｌａｎｅ／後面）が、示されている。それに続く時点ｔでは、車載カメラと該バックウォール・レベルとの間隔が縮まったため、矢印（ｄ１）によって示唆される画像内のバックウォール・レベルの領域の変形（２１、実線）が発生する。領域（２０；２１）は、車載カメラとバックウォール・レベルの相対的移動に伴ってスケール乃至拡大する。

図２には、第一時点ｔ−１において斜線で示されている領域（点線３０）を占有しているグランド・レベル（ｇｒｏｕｎｄ ｐｌａｎｅ／地面）が、示されている。これは、該車両が走行している道路表面のある領域であることができる。車載カメラの自己運動に伴い、次の時点ｔにおける（画像内の）領域が、変化し、矢印（ｄ２）によって描かれているようにグランド・レベルの領域（３２）が変形する。時点ｔでは、符号３２によって示されているラインにより、グランド・レベルの領域が、区画される。即ち、ここで言う「グランド・レベル」は、道路表面の区画された領域であると解釈することができる。周縁領域は、例えば、画像シーケンスにおいてトラッキングされるシグナチュア（識別特性）（或いは、周縁ポイント）などから得られる。

図３は、時点ｔ−１において、図３ａのバックウォール・レベル（２０）が、図３ｂのバックウォール・レベル（２０）と同じ間隔を有していたと仮定した場合の、高速（図３ａ：２０，２１；変形ｄ１）、及び、低速（図３ｂ）で接近して来ているバックウォール・レベル（２０，２３；変形ｄ３）の違いを示している。
代案的に、図３は、例えば、同じ（相対）速度で動いている近距離にあるバックウォール・レベル（図３ａ：２０，２１；変形ｄ１）と遠距離にあるバックウォール・レベル（２０，２３；変形ｄ３）を示すこともできるが、この場合は、図３ｂに示されているオブジェクト（２０，２１）は、実空間では、図３ａに示されているオブジェクト（２０，２３）よりも大きなものである。

そこで、個々のマッチングの代わりに、複数の隣接するマッチングを観察すれば、オブジェクトを、異なる速度、スケール、変形を基に、セグメント化できる。

世の中がレベルから構成されていると仮定した場合、これらは、同形異義性に示され、以下に示す如く、距離、速度、並びに、オリエンテーションによって区別できる。
同形異義性は、二つのカメラポジション間の一枚のレベル上のポイントの関連性（マッチング）、或いは、二枚の連続するフレーム内のポイントの関連性（マッチング）を記述するものである：

ここで、ベクトルｘ_ｔ０は、時点ｔ−１におけるベクトルｘ_ｔ１の時点ｔ−０における３Ｄマッチングを記述している。同形異義性は、画像ベースに、四つのポイント・マッチングから算出できる（Ｔｕｔｏｒｉａｌ： Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ， Ｈａｒｔｌｅｙ， Ｒ． ａｎｄ Ｚｉｓｓｅｒｍａｎ， Ａ．， ＣＶＰＲ Ｊｕｎｅ １９９９：
ｈｔｔｐｓ：／／ｄｅ．ｓｃｒｉｂｄ．ｃｏｍ／ｄｏｃｕｍｅｎｔ／９６８１０９３６／Ｈａｒｔｌｅｙ−Ｔｕｔ−４ｕｐ アクセス日：２０１６年０９月２６日、参照）。該チュートリアルの６頁の左上（シート２１）に記載のマッチングから等式１の表記法において、以下の様に表現することができる：

代案的には、レベルの基準ベクトルｎに沿ったカメラ・トランスレーションｔ、ローテーションＲ、及び、距離ｄが既知であれば、同形異義性は、等式３によって算出できる。等式３は、インバースＴＴＣｔ／ｄが、ゼロではないこと、異なるオリエンテーションｎを有するレベルは、モデル化できること、そして、同じオリエンテーションｎを有するレベルは、インバースＴＴＣによって、区別できることを示している。

同形異義性は、理論的には、基準ベクトルｎ、ローテンション・マトリックスＲ、並びに、インバースＴＴＣｔ／ｄに分解できる。しかし、残念ながら、この分解は、数値的に見て、非常に不安定かつ測定エラーに対して敏感である。

レベルを用いて、あるシーンを記述する場合、以下に示す様にセグメント化することができる。

図４は、セルへの分割を模式的に示している（グリッド、網／ライン）。該シーンは、ＮｘＭイニシャル・セルに分割され、各々のポイント・マッチングには、一義的なＩＤが、与えられる。このＩＤは、第一に、あるセルへの帰属を示すものである。更に、このＩＤは、一つのクラスター、或いは、あるオブジェクトへの帰属を示すこともできる。
斜線部は、前景の（特にバックウォール・レベル内の）オブジェクトを示している。背景は、白色で示されている。
一つのセルが一つのオブジェクトのみを包含している場合（セルＢ３，Ｄ３）、同形異義性により、これらのセルを明確に記述できる。しかしながら、これらのセルが、複数のオブジェクトを包含している場合（セルＣ３）、同形異義性によって、双方のオブジェクトを明確に記述することはできない。ポイント・マッチング（黒点、乃至、黒色の十字、乃至「ｘ」）が、隣接するセル（Ｂ３乃至Ｄ３）のクラスター（乃至セグメント）に、バックプロジェクションエラーによって帰属されてしまった場合、セルＣ３用の同形異義性は、前景も背景も明確に記述できないため、該黒点は、セルＢ３のセグメントに帰属され、該黒色の十字は、セルＤ３のセグメントに帰属される。

しかし、該シーンに関する予備知識があれば、例えば、車両の近距離領域、乃至、正の分級応答を有する領域に対して大きな領域を作成するなどのより、セグメントの大きさをシーンに合わせることが可能である。等式５から１０に示す如く、各々のセグメントに対して、専属のバック／グランド／サイド面・同形異義性を算出する。

図４に示す如く、自由度の低い同形異義性では、異なるレベルを包含する領域を、良好にモデル化できないため、関連するポイントに、より高いバックプロジェクションエラーが、与えられてしまうが、該バック／グランド／サイド面・同形異義性を算出することにより、分離の鮮明度を高めることができる。尚、該バックプロジェクションエラー・ｅ_ｉは、時点ｔ−０におけるポイントｘを、時点ｔ−１にける関連するポイントのレベルｉの同形異義性によって、如何に良好に記述することができるかを示す値である：

カメラの取付場所が、固定的であり、カメラ・ローテーションが、二つの異なるビューであると仮定した場合（例えば、単眼システムにおいてカメラキャリブレーションが既知であり、基礎マトリックスが算出されている、乃至、回転数センサー・クラスターのローテーション値）、インバースＴＴＣｔ／ｄは、以下、グランド面ｎ’＝［０１０］用に例として示す如く、固定的カメラ・ローテーションに対して補整されたフローベクトルから、算出できる。尚、ローテーションが既知でない場合は、近似的に、単位マトリックスを代入することも可能である。
等式３の商ｔ／ｄに、

を代入すると以下の様になる：

とし、定数ａ，ｂ，ｃを等式５に代入すると、以下の様に簡略化される：

均一な座標を標準化すると以下が得られる：

一つ以上の測定に対して、特定のベクトルｘ、マトリックスＭ、及び、ベクトルｖからなるＭｘ＝ｖのような形の等式システムが得られ（等式９参照）、これは、サポート点としての少なくとも三つの画像関連性に対して、例えば、ＳＶＤ（ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ、マトリックスの特異値分解）、或いは、最小二乗法（Ｌｅａｓｔ−Ｓｑｕａｒｅ）によって解くことができる：

バック面及びサイド面同形異義性の導きも同様であり、以下の様にして得られる：

大きな、複数のセルから構成されているオブジェクトをセグメント化するには、次のステップにおいて、バックプロジェクションエラー、乃至、隣接するセグメントｊとｉのサポート点（下の段落１．：ＲＡＮＳＡＣ参照）、並びに、これらの同形異義性を算出することにより、隣接するセルを統合することができる。

が、

よりも小さい場合、或いは、例えば、予測されたフロー長さに標準化されたバックプロジェクションエラーが、設定自在な閾値よりも小さい場合は、隣接する二つのクラスターが統合される。特に、

が、

よりも小さく、且つ、双方のバックプロジェクションエラー・

と

が、共にフロー長さに標準化された閾値未満である場合、二つの隣接するクラスターを統合することができる。代案的に、バックプロジェクションエラーを、グラフ内のポテンシャルとして用い、グローバルなソリューションを算出することも可能である。この際、該クラスターのコンパクト性は、グラフ内のエッジ・ポテンシャルとして割り出すことができる。

セグメントが統合され、同形異義性が、新しく算出され、該ポイント・マッチングが、バックプロジェクションエラーが最も小さいクラスターに分類される。直接的に境を接しているクラスターのみを観察した場合、非常にコンパクトなオブジェクトを生成できる。最少エラーが、設定自在な閾値を超えた場合、部分的に覆われたオブジェクト、乃至、ＴＴＣが僅かにしか異ならないオブジェクトを認識できる様に、該マッチングには、新しい（クラスター／オブジェクト）ＩＤが、割り当てられる。閾値を設定することにより、解像度を、（僅かに）差を有するオブジェクトに合わせることができる。

該バックプロジェクションエラーには、連続する領域のコストを下げるバイアス、或いは、ポイント・マッチングが、長時間、同じＩＤ割り当てを有していた場合、ＩＤ交換のコストを高めるバイアスを付与することができる。

図５は、シーン・セグメント化の例を示している：
図５ａは、車両の内部に配置され、フロントガラスを介して、前方に横たわる周辺を捕捉する車載カメラによって撮影された画像を示している。そこには、三車線の道路（５１）、例えば、アウトバーン（ドイツの高速道路）が写っている。該走行レーンは、適宜な走行レーンマークによって区画されている。三つ全ての走行レーン上を車両が、走行している。自車線上の前方を走行中の車両（５３）は、更なる自車線上の前方を走行中の車両を覆っている可能性を有している。三車線の道路の左側には、建築的に高くなった対向車線との境界（５２）がある。三車線の道路（５１）の右側には、その先には森が続くガードレールによって、その右側が区画されている路肩乃至非常停車帯がある。自車両の前方のある距離を置いた地点には、三車線の道路（５１）にかけられている交通標識用架橋（ガントリー）が認識できる。

図４によって記述された方法と同様に、このシーンもセグメント化できる。図５ｂから５ｄには、セル（５６）を認識できる。セルには、ポイント・マッチング（５５）が、示されている。一つのセル（５６）のある一つのセグメントへの帰属は、セルフレームの、或いは、ポイント・マッチング（５５）の色によって示されている。
図５ｂは、セグメント化された画像の赤色のチャンネルを、
図５ｃは、緑色のチャンネル、図５ｄは、青色のチャンネルを示している。
異なるセグメントには、異なる色が付けられている。オリジナルにおいて緑色のセグメントは、５から６セルに跨っている（図５ｂと５ｄでは、これは、白色、且つ、フレーム無しに示されている）。このセグメントは、グランド・レベル、即ち、自車両が走行している車線（５１）の表面に対応している。
他のセグメントは、画像の中央に認識でき、これは、オリジナルではピンクである。よって、図５ｂでは、赤色の値が高く、図５ｄでは、青色の値が低く、且つ、図５ｃでは、緑色の値がゼロである。このセグメントは、自車線上を走行している（トランスポーター）車両（５３）のバックウォール・レベルに相当している。
ここに示されているセグメント化結果は、予備知識なしに、たった三つの反復ステップで割り出された。これは、時間積分による本発明の実施形態の非常に高い速度と能力を示すものである。

図６は、図５において既に示したシーンにおけるレベルのオリエンテーションの割り出しを示している。図６ａは、図５ａの周辺シチュエーションを、解り易くするために、もう一度示している。
全てのサイドウォール・レベルに帰属されたマッチングが、図６ｂに示されている。左縁のマッチングは、右側のサイドウォール・レベルに帰属されるが、画像内において、対向車線への建築的境界（５２）の右側が、そこに存在しているため、これは、理に適っている。画像の右半分にあるマッチングは、左側のサイドウォール・レベルに帰属されるが、同様に、車線縁の建造物や車線縁の植物の「左側」が、画像内に存在しているため、これも、理に適っている。
図６ｃは、どのマッチングが、グランド・レベルに帰属されるかを示しているが、該画像内では、車線（５１）の表面が見えるため、これも、理に適っている。
図６ｄは、どのマッチングが、バックウォール・レベルに帰属しているかを示している。これは、大部分が、理に適っている。しかしながら、これらの割り出しからだけでは、例えば、同じ車線の前方を走行中のバン（５３）を、その上空に配置されている交通標識用架橋（ガントリー）の標識（５４）など、異なるバックウォール・レベルを、十分に区別することができない。しかし、この描写から既に、車両の周辺部において、どこに高さを有するオブジェクトが、出現するかに関する示唆を得ることはできる。

図７に図示した如く、動的なオブジェクトを認識するためには、インバースＴＴＣ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）を用いることができる。
図７ａも、（図６ａと同じ）車両シチュエーションの画像である。自車線上の前方を走行中の車両（７３）は、バンである。左車線には、二台の車両（７１と７２）が、右車線には、更に二台の車両（７４と７５）が走行している。
図７ｂは、グランド・レベルに相当し（オリジナルでは、紫色）、唯一、赤色成分を含むマッチングを示している。
図７ｃは、動いているオブジェクトに帰属されるマッチングを示している。これらは、オリジナルでは、自車両から遠ざかる（即ち、自車両よりも早い）ものは、緑色であり、自車両よりも遅いものは、トルコ石（青緑）色である。
図７ｄは、青色成分を有する、即ち、グランド・レベルに相当する（図７ｂ参照）、自車両に接近する様に動いているオブジェクト（図７ｃ参照）、例えば、アウトバーンの左右にある森や交通標識用架橋（ガントリー）など、図７ｄにのみ示されている静的で高さを有するオブジェクトに相当するマッチングを示している。図７ｃと７ｄにおいては共に、自車線（７３）上において接近して来ている車両が、認識できる。右側の車線（７５）上の前方の車両も同様である。一方、他の車両（７１，７２と７４）は、遠ざかっている。
画像内において空に相当する領域は、ストラクチャーを欠いているため、マッチングを有していない（図７ｂから７ｄにおいて白色）。
同形異義性の計算前に、自己ローテーションが考慮された、或いは、ローテーション・マトリックスＲにおける自己ローテーションが考慮された場合、追越ししている車両は、負のｔ_ｚ成分から認識でき、又、車線変更している、或いは、カーブを走行している車両は、横方向ｔ_ｘ成分がゼロでないことから認識できる。動的セグメントが、同形異義性から予測された場合（下の「同形異義性を基にした光学的流れの圧縮」を参照）、経時的に動的マップを構成できる。

等式３を見れば、インバースＴＴＣがゼロではないセグメントは、ローテーション・マトリックスを記述していることがわかるが、ｔ／ｄがゼロであるセグメントからは、フル自由度の同形異義性（等式２）を計算することにより、これを算出することができる。エピポール付近の直線的成分は目立たないものであると言うことを前提とすれば、エピポールの座標（ｘ_ｅ，ｙ_ｅ）を、静的セグメントの同形異義性から予測し、ピクセル基準の焦点距離ｆのａｔａｎ（（ｘ_ｅ０−ｘ_ｅ１）／ｆ）乃至ａｔａｎ（（ｙ_ｅ０−ｙ_ｅ１）／ｆ）を算出することにより、ピッチ率とヨーイング率を割り出すことができる。

全てのクラスターに対して、フル自由度の同形異義性が算出されると、測定されたポジションｘ_ｔ０の代わりに、予測されたポジションＨ＊ｘ_ｔ１を三角測量に用いることによって、これらを３Ｄ周辺部の再現に用いることもできる。これにより、測定エラーの影響を低減できるだけでなく、エピポール付近のオブジェクトの再現も可能になる。

以下、同形異義性を基にした光学的流れの圧縮に関する実施例を説明する。

時点ｔ−１のセグメント化が既知である場合、オブジェクトの予測と圧縮されたフローフィールドの生成の双方に用いることができる。シグナチュア・ベースのフローメソッドでは、シグナチュアを生成し、これらを、続くフレームにおいて、一義的に帰属させることを試みる。該シグナチュアは、多くの場合、予め定められた大きさのパッチ（画像部分、乃至、画像領域）から算出される。しかし、パッチの大きさと形状が変化してしまうと、一定のテンプレート（ひな形、パターン、即ち、例えば、あるオブジェクトに相当する画像シーケンスの画像の画像部分、例えば、車両テンプレート）を用いたマッチング検出は、不可能になる。例えば、バック面に接近すると、パッチの大きさが変化する。又は、グランド面乃至サイド面に対して平行に移動すると、パッチの大きさと形状の双方が変化する（図１と２参照）。時点ｔ−１においてセグメント化が既になされている場合、既に検出されたフローベクトルから同形異義性を改めて算出し、時点ｔ−１の安定したマッチングのポジションと形状からｔ−０を予測するために用いることが可能である。

代案的には、スケール変化と形状変化を補整するために、時点ｔ−０における最新のフレームを、時点ｔ−１のものにトランスフォームすることも可能である。
図８は、その方法を図示したものである。

図８ａは、時点ｔ−１に車載カメラが撮影した他の走行シチュエーションの画像を示している。走行方向毎に三車線を有するアウトバーンが、写っている。自分がいる三車線の道路の左側には、ガードレール（８１）が、対向車線に対する高くなった境界として存在している。該道路の右側には、防音壁（８２）が、存在している。

図８ｂは、続く時点ｔに撮影され、ガードレールの同形異義性に従ってトランスフォームされた（「ゆがませる」、英語の「ｔｏ ｗａｒｐ（ワープ）」）画像を示しており、ここでは、車両が動いた結果、即ち、二つの撮影時点間に発生した画像内のガードレール部分に起こった変化は、補整されている。図８ｂにおける自車両の前進により、近距離にある走行レーンマークの部分線は、図８ａの時よりも、自車両に近づいている。このトランスフォメーションは、図８ｆに破線で図示したような画像の台形の転移の原因となる。

図８ｃは、ガードレールの領域（８１、図８ａ参照）において割り出されたマッチング特徴（８５）を白点として示している。
図８ｄは、このマッチング特徴が、図８ｂによって説明した如く、トランスフォメーションした後に、次の画像においてどこに現れ得るかを示している（８６）。

図８ｅと８ｆには、この様子が、今一度、白黒描写で示されているが、マッチング特徴（８５）は、画像左半分にあるガードレール（８１）上の黒点に相当している。

圧縮したフローフィールドを生成するためには、既にあった、スケールと形状が変化したマッチングを、再度見つける、或いは、新しいマッチングを合同なテンプレートを用いて定めるために、全てのセグメントに対して、最新の画像を、以前の画像にワープすることができる。

最新のフレームに、同形異義性の再計算をするのに十分なフローベクトルが無い場合、マッチングを形状変更及びスケール変更に対して堅牢なものにするために、近似的に、前のフレームの同形異義性を用いることもできる。

以下の実施形態乃至アスペクトは、好ましいものであり、個々、或いは、組合せて用いることが可能である：

１．該画像は、ＮｘＭセルに分割され、各々のポイント・マッチングには、一義的なセルＩＤが、与えられる。同じＩＤを有するマッチングから、ＲＡＮＳＡＣを用い、バック／グランド／サイド面・同形異義性（等式９，１０と１０）を算出し、最も小さなバックプロジェクションエラーの同形異義性と、同形異義性の算出に用いたサポート点の双方が、保存される。ＲＡＮＳＡＣ（ＲＡｎｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）メソッドにおいては、通常、各々の回帰において、最低数のランダムに選択されたマッチングが、仮説を立てるために、用いられる。続いて、全てのマッチング特徴に対して、該マッチング特徴が、該仮説をサポートするものであるか否かを示す値が、算出される。該仮説が、マッチング特徴によって、十分にサポートされた場合、仮説をサポートしていないマッチング特徴は、異常値として削除できる。そうでない場合、再び、最低数のマッチングが、ランダムに選択される。

２．隣接するセルｉ，ｊに対しては、バックプロジェクションエラー・

乃至

が、隣接する同形異義性のサポート点によって算出される。バックプロジェクションエラー・

が、

よりも小さい、或いは、該エラーが、フロー長さに標準化された閾値を下回った場合、ＩＤが統合され、同形異義性が、改めて計算される。特に、バックプロジェクションエラー・

が、

よりも小さく、且つ、双方のバックプロジェクションエラー・

と

の双方が、フロー長さに標準化された一つの閾値を下回った場合、二つの隣接するセルが、同一のレベル（同一のセグメント、乃至、同一のオブジェクト）に属しているとされる。

３．全てのポイント・マッチングのバックプロジェクションエラー・ｘ_ｔ０−Ｈ_ｉｘ_ｔ１が、隣接するセグメント用に算出され、該ポイント・マッチングは、最も小さなバックプロジェクションエラーのセグメントに帰属される。最低エラーが、閾値を超えた場合、小さな、或いは、部分的に覆われたオブジェクトも認識できる様に、該マッチングには、新しいオブジェクトＩＤが与えられる。

４．時点ｔ−１において抽出されたセグメントの同形異義性は、新しいフレームの開始時（ｔ−０）に、既に見つかっている画像マッチングから、新しく算出され、既にあるセグメントＩＤは、最新のフレーム内において予測される。最新のフレームに、同形異義性の再計算をするのに十分なフローベクトルが無い場合、近似的に、前のフレームの同形異義性を用いることもできる。

５．圧縮したフローフィールドを生成するため、スケール或いは形状が変化した既存のマッチングを再度見つけるために、或いは、新しいマッチングを定めるために、全てのセグメントに対して、最新のフレーム（ｔ−０）が、前のフレーム（ｔ−１）にワープされる。

６．バック／グランド／サイド面のバックプロジェクションエラーは、図６からも解るように、高さのあるターゲットの検証のために用いることができる。

７．例えば、車載ステレオカメラが用いられている場合には、視差マップが存在していれば、全てのピクセルの絶対距離ｄが視差マップ内にあるため、絶対速度を、インバースＴＴＣｔ／ｄから算出することができる。

８．全てのセグメント用に、フル自由度の完璧な同形異義性が計算された場合、ＴＴＣが略無限大（或いは、インバースＴＴＣが、略ゼロ）のセグメントから、ローテーション・マトリックスＲを割り出すことができる。

９．３Ｄ周辺部は、

から、

の代わりに、再現でき、これにより、エピポールのオブジェクトも再現できる。

Claims (12)

1. 以下のステップを包含していることを特徴とする車載カメラの一連の画像からオブジェクトを検出するための方法：
   ａ）車載カメラを用いて一連の画像を撮影するステップ、
   ｂ）マッチング特徴を、二枚の連続する画像内において割り出すステップ、
   ｄ）隣接するマッチング特徴を、それぞれ、空間内の一枚のレベルに分類することによって、空間内の複数のレベルを、割り出すステップ、並びに、
   ｆ）ステップｄ）において割り出したレベルを考慮しつつ、オブジェクトを検出するステップ。
2. 以下のステップを包含していることを特徴とする請求項１に記載の方法：
   ｃ）複数のレベルを割り出すために、隣接するマッチング特徴に対する同形異義性を算出するステップ。
3. 以下のステップを包含していることを特徴とする請求項２に記載の方法：
   ｅ）算出した同形異義性を基にマッチング特徴をセグメント化するステップ。
4. 以下のステップを包含していることを特徴とする先行請求項のうち一項に記載の方法：
   ｄ２）隣接するマッチング特徴を、それぞれ一つのグランド・レベル、一つのバックウォール・レベル或いはサイドウォール・レベルへ分類するステップ。
5. 少なくとも一枚のバックウォール・レベルが、等式：
   （式中、ａ，ｂ，ｃは定数、ｘ_０，ｙ_０，ｘ_１，ｙ_１は、第一画像（インデックス０）と第二画像（インデックス１）内におけるマッチング、ｔ_ｘ，ｔ_ｙ，ｔ_ｚは、ベクトルｔ／ｄの成分であり、ｔは、車載カメラの平行移動を、そして、ｄは、レベルまでの距離を示している）
   に従って算出されることを特徴とする請求項４に記載の方法。
6. 少なくとも一枚のグランド・レベルが、等式：
   に従って算出されることを特徴とする請求項４或いは５に記載の方法。
7. 少なくとも一枚のサイドウォール・レベルが、等式：
   に従って算出されることを特徴とする請求項４、５或いは６に記載の方法。
8. 同じオリエンテーションを有する複数のレベルがある場合、同じオリエンテーションのレベルが、帰属するｔ_ｘ，ｔ_ｙ，ｔ_ｚ・値によって、分離される
   ことを特徴とする請求項４から７の何れか一項に記載の方法。
9. 一枚の画像が、グリッドにより、同様のセルに分割され、各々のセルに対しては、その中で割り出されたマッチング特徴から、それぞれ同形異義性が算出され、且つ、一致する同形異義性を有するセルが、クラスター化される
   ことを特徴とする請求項２から８の何れか一項に記載の方法。
10. 該算出された第一セルの同形異義性が、一つの隣接するセルの同形異義性と十分に一致しない場合に、一つの第一セル内のマッチング特徴のバックプロジェクションエラーが、隣接するセルの同形異義性のバックプロジェクションエラーと比較され、該第一セル内のクラスター境界を割り出すことができる様に、該マッチング特徴が、最も小さなエラーを有する同形異義性に帰属される
    ことを特徴とする請求項９に記載の方法。
11. 該レベルと隣接するマッチング特徴との帰属が、車載カメラの画像の実質的全面において割り出される
    ことを特徴とする先行請求項のうち何れか一項に記載の方法。
12. 以下を包含していることを特徴とする車載カメラの一連の画像からオブジェクトを検出するための装置：
    ａ）車載カメラによって、一連の画像を撮影するステップ
    を実施できる様に構成されているカメラ制御手段、
    並びに、
    ｂ）二枚の連続する画像内においてマッチング特徴を割り出すステップ、
    ｄ）空間内の複数のレベルを、隣接するマッチング特徴をそれぞれ空間内の一枚のレベルに分類することによって割り出すステップ、及び、
    ｇ）割り出したレベルを考慮しつつ、一つの、乃至、複数のオブジェクトを検出するステップ
    を実施できる様に構成されている評価用エレクトロニクス。