JP2020502661A - 包括的適応３ｄモデルに基づくオブジェクト認識 - Google Patents

Abstract

本発明は、可変のモルフォロジのオブジェクトのクラスを認識するためのシステムを自動的に構成する方法であって、対象シーンの一連のイメージにおけるクラスのオブジェクトのインスタンスを認識するのに十分な初期データセット（１０）を有する機械学習システムを提供するステップと、そのモルフォロジをパラメータの組により定義することができるオブジェクトのクラスに固有の包括的三次元モデルを提供するステップと、カメラ（１２）を用いてシーンの一連のイメージを取得するステップと、初期データセットを用いて、取得された一連のイメージにおけるクラスのオブジェクトのイメージインスタンス（１４）を認識するステップと、認識されたイメージインスタンス（１４）に包括的三次元モデルを適合する（１６）ステップと、包括的モデルの適合から生じたパラメータの変動範囲を記憶する（２０）ステップと、記憶された変動範囲内でパラメータを変化させることにより包括的モデルから複数の三次元オブジェクトを合成する（２２）ステップと、学習システムのデータセット（１０）にイメージの平面内の合成されたオブジェクトの投影（２４）を補足するステップと、を含む方法に関する。【選択図】図２

Description

本発明は、移動するオブジェクトの認識システム、特に、機械学習に基づくシステムに関する。

一連のイメージにおける移動するオブジェクトの分離及び追跡は、例えば背景差分に基づく比較的単純な包括的アルゴリズムにより行われ得る。他方では、検出する、すなわち認識することを望む場合の、人、車、自転車、及び動物などのカテゴリへ、オブジェクトを分類する、したがって分離することはより難しい。実際は、オブジェクトは、一連のイメージにおいて多様なモルフォロジ（位置、サイズ、向き、歪み、テクスチャ、最終的な付加物及び連接要素の構成など）を有し得る。モルフォロジはまた、シーンを監視するカメラの視野及びレンズに依存する。往々にして、サブクラス（車のモデル、人の性別）を認識することも望まれる。

機械学習システムは、一般に、オブジェクトを分類及び検出するのに用いられる。分類は、その場合、学習を通じて得られる知識ベース又はデータセットに基づく。初期データセットが、一般に、所謂、監督下学習フェーズ中に生成され、オペレータは、コンテキストで生成された一連のイメージを見て、認識されるべきオブジェクトに対応するイメージ領域を手動で注釈付けする。このフェーズは、理想的にはそのクラスのオブジェクトのモルフォロジのすべての可能性のある代替、満足のいく認識率を得るのに少なくとも十分な代替を取り込もうとするものであるため、一般に長たらしく退屈である。

監督下学習のこの最初のタスクを軽減するために、機械学習技術が提案されており、その場合、注釈付けされた実イメージをデータセットに供給するのではなく、認識されるべきオブジェクトの三次元モデルから生成され自動的に注釈付けされた合成イメージが供給される。このような技術は、文献［“Ｌｅａｒｎｉｎｇ Ｓｃｅｎｅ−Ｓｐｅｃｉｆｉｃ Ｐｅｄｅｓｔｒｉａｎ Ｄｅｔｅｃｔｏｒｓ Ｗｉｔｈｏｕｔ Ｒｅａｌ Ｄａｔａ”， Ｈｉｒｏｎｏｒｉ Ｈａｔｔｏｒｉ ｅｔ ａｌ． ２０１５ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）］で歩行者検出器の構成に関して説明される。同様の技術は、文献［“Ｔｅａｃｈｉｎｇ ３Ｄ Ｇｅｏｍｅｔｒｙ ｔｏ Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌｓ”， Ｂｏｊａｎ Ｐｅｐｉｋ ｅｔ ａｌ． ２０１２ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）］で車検出器の構成に関して説明される。

これらの技術の特徴は、３Ｄモデルのパラメータ及び制約に適合するが、見込みのないモルフォロジを有する、多くの合成イメージを生成することである。これは、データセットに不要なイメージを散らかし、認識を遅くすることがある。

加えて、いくつかのオブジェクトは、管理可能な数のパラメータ及び制約を有する３Ｄモデルですべての可能性を写実的に再現することが難しい可変のモルフォロジを有する。これは、結果的にデータセットのギャップ及び特定のオブジェクトの検出ミスを生じる。

可変のモルフォロジのオブジェクトのクラスを認識するためのシステムを自動的に構成するための方法であって、対象シーンの一連のイメージにおけるクラスのオブジェクトのインスタンスを認識するのに十分な初期データセットを有する機械学習システムを提供するステップと、そのモルフォロジをパラメータの組により定義することができるオブジェクトのクラスに固有の包括的三次元モデルを提供するステップと、カメラを用いてシーンの一連のイメージを取得するステップと、初期データセットを用いて、取得された一連のイメージにおけるクラスのオブジェクトのイメージインスタンスを認識するステップと、認識されたイメージインスタンスに包括的三次元モデルを適合させるステップと、包括的モデルの適合から生じるパラメータの変動範囲を記憶するステップと、記憶された変動範囲内でパラメータを変化させることにより包括的モデルから複数の三次元オブジェクトを合成するステップと、学習システムのデータセットにイメージの平面内の合成されたオブジェクトの投影を補足するステップと、を含む方法が一般に提供される。

方法は、モデルのメッシュのランドマークの相対位置により包括的三次元モデルのパラメータを定義するステップであって、メッシュの他のノードの位置は、制約によりランドマークに拘束されるステップと、モデルの投影のランドマークをイメージの平面内に位置決めすることにより包括的三次元モデルの適合を行うステップと、をさらに含み得る。

方法は、認識されたイメージインスタンスの領域からのテクスチャを記憶するステップと、記憶されたテクスチャのうちの１つのテクスチャを各合成されたオブジェクト上にマッピングするステップと、をさらに含み得る。

学習システムの初期データセットは、そのモルフォロジがモルフォロジの観察された変動域の両端にあるクラスの少なくとも２つのオブジェクトに関係する監督下学習により得られ得る。

他の利点及び特徴は、例示の目的のためだけに提供され添付図に表される本発明の特定の実施形態の以下の説明からより明白となるであろう。

カメラにより観察されるシーンの異なる位置に投影されるオブジェクトの概略的な三次元包括的モデルを示す図である。 図１の包括的モデルに係るオブジェクトを認識するための機械学習システムの構成フェーズを概略で示す図である。

オブジェクト検出器の最初の構成フェーズを単純化するために、Ｈｉｒｏｎｏｒｉ Ｈａｔｔｏｒｉによる前述の文献のように、三次元モデルからの合成されかつ自動的に注釈付けされたイメージを用いて機械学習システムを構成することが本明細書で提案される。しかしながら、認識率を向上させるために、三次元モデルは、コンテキストで取得された実オブジェクトのイメージにこれまでに適合されているパラメトリック包括的モデルから得られる。

図１は、固定カメラにより監視される例示的なシーンの異なる位置でイメージ上に投影されるオブジェクト、例えば、車の、単純化された包括的モデルを例示する。シーンは、ここでは、簡潔のために、カメラの視野を水平方向に横断する道である。

背景において、モデルは、３つの位置合わせされた位置、すなわち、イメージの中央と左右の縁付近に投影される。前景において、モデルは、僅かに左寄りに投影される。すべてのこれらの投影は、次元の観点から同じモデルから生じ、シーンにおける位置の関数としてのイメージにおける投影のモルフォロジの変化を示す。曲がり道などのより複雑なシーンでは、モデルの向きに基づくモルフォロジの変化も見られるであろう。

位置の関数としてのモルフォロジの変化は、オブジェクトがその上で進行する平面、ここでは道、の投影により定義される。進行平面の投影は、カメラの特徴（レンズの視野、焦点距離、及び歪み）に依存する式により定義される。カメラ軸に垂直な縁は、サイズがカメラからの距離の関数として相似的に変化し、カメラ軸に平行な縁は、消失線に従う。結果として、例示されている図での車の横方向の移動中に、最初は見えている車の前面は、イメージの中央を横切る際には隠れており、一方、最初に隠れている後面は、イメージの中央を横切る際には見えるようになる。この例では常に見えている車の上面は、消失線に従って剪断する。

要約すれば、異なる位置又は向きでのイメージにおける同じオブジェクトの投影は、実オブジェクトが固定のモルフォロジを有する場合であっても、可変のモルフォロジを有する。もちろん、実オブジェクトはまた、１つのオブジェクトから別のオブジェクトへの（異なるモデルの２つの車間で）、又は同じオブジェクト（歩行者）の移動中に、可変のモルフォロジを有し得る。学習システムは、投影される可能性が最も高いモルフォロジの範囲を表すのに十分なデータでそれらが構成されているときに、この状況に上手く合わされる。

本明細書で用いられ得る三次元包括的モデル、例えばＰＤＭ（点分布モデル）は、制約により互いにリンクされるノードのメッシュ、すなわち、ランドマークとして既知の特定のノードの変位によって引き起こされる隣接するノード間の相対変位又はメッシュの変形を確立するパラメータを備え得る。ランドマークは、それらの変位が定義された制約内のモデルのすべての所望のモルフォロジを達成することを可能にするように選ばれる。

図１に示すように、前景において、単純化された包括的な車のモデルは、車体に関して、１０の矩形面を画定する及び１０のランドマークを有する１６のノードのメッシュを含み得る。８つのランドマークＫ０〜Ｋ７は、車の側面のうちの一方を定義し、他方の側面上に存在する残りの２つのランドマークＫ８及びＫ９は、車の幅を定義する。単一のランドマークは、車の幅を定義するのに十分であるが、２つ以上のランドマークの存在は、投影の変形を考慮してモデルを実オブジェクトの投影にフィッティングすることを可能にするであろう。ホイールは、車の特徴的要素であり、軸距、直径、及び道路との接点を定義する図示していないランドマークの特定の組を割り当てることができる。

検出されるべき車の範囲とモデルが一致するように、例えば、２つの側面間の平行性を維持する、前面と後面との間の平行性を維持する、側面に垂直な縁間の平行性を維持する、ノードＫ３及びＫ５はノードＫ１及びＫ６よりも確実に上にあるようにする、ノードＫ３及びＫ４はノードＫ２及びＫ５よりも確実に上にあるようにする、ノードＫ２及びＫ３はノードＫ１及びＫ２の確実に右にあるようにする、ノードＫ４及びＫ５はノードＫ５及びＫ６の確実に左にあるようにするなどの種々の制約がこれらのランドマークに割り当てられ得る。

前に示されているように、例示される包括的３Ｄモデルは、開示を明快にするためにかなり単純化されている。実際には、モデルは、より微細なメッシュを有することになり、湾曲している縁及び面を定義することができる。

図２は、単なる例として、図１の包括的モデルに係る車を認識するための機械学習システムの構成フェーズを概略で示す。学習システムは、例えば図１のシーンを監視するために設置されたカメラ１２に関連するデータセット１０を備える。

構成フェーズは、既存のデータセットから開始してよく、これは、概要とごく低い認識率を与え得る。この既存のデータセットは、迅速且つ面倒なことがない監督下学習フェーズにより生成され得る。その後のステップは、満足のいく認識率を達成するべくデータセットを補足するために行われる。

認識システムがオンにされ、カメラにより取り込まれた連続するイメージにおける車の認識及び追跡が開始される。各認識された車のイメージインスタンスが１４で抽出される。開示を単純化するために、車の一方の側面だけがインスタンスに例示され、実際には、各インスタンスは透視投影であり、ほとんどの場合、他の面は見えている。

カメラは、通常、異なる位置でそれぞれ同じ車の１つのインスタンスを含むいくつかのイメージを生成する。その後の動作のための最良の解像度を有することになる最大のインスタンスが選択され得る。

次いで、包括的３Ｄモデルが、各イメージインスタンスに適合される、したがって、抽出される。これは、例えばイメージの平面内に投影される場合のモデルのイメージとランドマークとのベストマッチを探す従来のフィッティングアルゴリズムで達成され得る。例えば、［“Ｏｎｅ Ｍｉｌｌｉｓｅｃｏｎｄ Ｆａｃｅ Ａｌｉｇｎｍｅｎｔ ｗｉｔｈ ａｎ Ｅｎｓｅｍｂｌｅ ｏｆ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ”， Ｖａｈｉｄ Ｋａｚｅｍｉ ｅｔ ａｌ． ＩＥＥＥ ＣＶＰＲ ２０１４］で説明される場合のランドマーク検出に基づくアルゴリズムを用いることも可能である。もちろん、モデルを完全に定義することができるように車の他の面はインスタンスにおいて見えていることが好ましい。

これらの適合動作は、実オブジェクトにスケール変更されることが想定される３Ｄモデルを生成する。この目的のために、適合動作は、オブジェクトの進行平面の投影の式を用い得る。これらの式は、カメラ特徴及びシーンの構成から手動で求められてよく、又は必要ならば、深度カメラなどの適切なツールを用いて校正フェーズにおいてシステムにより推定されてよい。オブジェクトが平面上で進むという知識に基づいて、追跡されるオブジェクトのインスタンスの位置に従ってサイズの変化から式を推論することができる。

各適合の終了時に、認識された車を縮尺で表す３Ｄモデルが１６で生成される。モデルは、抽出された側面１４に対応して二次元で例示される（用いられる包括的３Ｄモデルは、車、バン、及びさらにはバスに適合可能であることに注目されたい。したがって、システムは、ここでは、任意の四輪車両を認識するように構成される。）。

適合ステップ中に、車の異なる面に対応するイメージ領域をサンプリングし、これらのイメージ領域をテクスチャの形態で１８で記憶することも可能である。

特定の取得時間後に、異なる車を表す複数の３Ｄモデル並びにそれらのテクスチャが、教師なしに取得されることになる。初期データセットにより与えられる認識率が乏しい場合、取得時間は、コレクションにおいて満足のいく数のモデルに達するまで延長され得る。

モデルコレクション１６が満足のいくものと判断されるとき、モデルは、２０で互いに比較され、各ランドマークに関する変動範囲が記憶される。ランドマークＫ６に関する例示的な変動範囲が例示されている。

変動範囲は、モデル自体の形状に影響を及ぼす相対変動、又はモデルの位置及び向きなどの絶対変動を定義し得る。ランドマークのうちの１つ、例えばＫ０は、絶対参照として作用し得る。これは、イメージにおける車の可能な位置及び向きを決定する絶対変動の範囲を割り当てられ得る。記憶されるモデルは車の移動中に生成される複数のインスタンスの中から選ばれた単一のインスタンスから生じ得るので、これらの範囲は、実際には記憶されるモデルから直接推論可能ではない。位置及び向きの変動は、各インスタンスへの包括的モデルの完全な適合を実行せずに、追跡される車の複数のインスタンスからそれらを推論することにより推定され得る。

Ｋ０に対角線上に対向するランドマーク、例えばＫ６に関して、ランドマークＫ０に対する変動範囲が確立され、これは車の長さを決定し得る。別の対角線上に対向するランドマーク、例えばＫ８に関して、ランドマークＫ０に対する変動範囲が確立され、これは車の幅を決定し得る。他のランドマークのそれぞれの変動範囲は、その隣接するランドマークのうちの１つに対して確立され得る。

変動範囲が確立されると、それらのそれぞれの変動範囲内でランドマークを変化させることにより、包括的モデルから複数の仮想３Ｄ車が２２で合成される。テクスチャ１８のうちの１つはまた、各仮想車上にマッピングされ得る。ランドマーク変動は、ランダム、増分的、またはこれらの組み合わせであり得る。

２４で、学習システムのデータセット１０を補足する自動的に注釈付けされたイメージインスタンスを形成するべくカメラの像平面内に各合成された車が投影される。これらの投影はまた、車の進行平面の投影の式を用いる。同じ合成された車が、以前に求めた絶対変動範囲に従っていくつかの位置及び異なる向きに投影され得る。一般に、向きは位置と相関関係があり、ゆえに、２つのパラメータは、道路に対して横向きになった車などの異常な状況を検出することが望まれない限り、独立して変更されないであろう。

初期データセットが不十分であった場合、この手順により補足されるデータセットは、特定の車のモデルの検出を妨げるギャップを依然として有するであろう。このケースでは、自動構成フェーズが、完成されたデータセットから始まって再び繰り返され得る。このデータセットは、普通は、最初のセットよりも良好な認識率を与え、これはモデル１６のより変更されたコレクションの構成につながることになり、パラメータ変動範囲を洗練すること、及び、より正確且つより変更されたモデル２２を合成し、データセット１０を強化することを可能にする。

前に示されているように、初期データセットは、簡便迅速な監督下学習により生成され得る。このような手順では、オペレータは、観察されるシーンのイメージを見て、グラフィカルインターフェースを用いて、認識されるべきオブジェクトのインスタンスに対応するイメージ領域を注釈付けする。

その後の構成手順は、包括的モデルのモルフォロジの変動に基づいているので、オペレータは、最も顕著な変動を呈するオブジェクトを注釈付けすることを望み得る。したがって、オペレータは、そのモルフォロジがオペレータが観察された変動域の対極をなす、少なくとも２つのオブジェクトを注釈付けし得る。

インターフェースは、オペレータの支援を受けながら、進行平面の投影の式を確立するように設計されてよい。インターフェースは、次いで、オペレータに包括的モデルをイメージ領域に手動で適合することを提案し、注釈付けとコレクション１６における第１のモデルの作成との両方を提示し得る。

この注釈付けフェーズは、大まか且つ迅速であり、目標は、データセットを完成させることになる自動構成フェーズを開始することを可能にする、限られた初期データセットを得ることである。

本明細書で説明される実施形態の多くの変形及び修正が当業者には明白であろう。これらの実施形態は、本質的に車の検出に関係するが、車は、認識することが望まれ得るオブジェクトの単なる例として提示される。本明細書で説明される原理は、動物又はヒトなどの変形可能なオブジェクトを含む、包括的にモデル化することができる任意のオブジェクトに適用可能である。

Claims (4)

1. 可変のモルフォロジのオブジェクトのクラスを認識するためのシステムを自動的に構成するための方法であって、
   ・対象シーンの一連のイメージにおけるクラスのオブジェクトのインスタンスを認識するのに十分な初期データセット（１０）を有する機械学習システムを提供するステップと、
   ・そのモルフォロジをパラメータの組により定義することができる、前記オブジェクトのクラスに固有の包括的三次元モデルを提供するステップと、
   ・カメラ（１２）を用いて前記シーンの一連のイメージを取得するステップと、
   ・前記初期データセットを用いて、取得された一連のイメージにおけるクラスのオブジェクトのイメージインスタンス（１４）を認識するステップと、
   ・認識されたイメージインスタンス（１４）に前記包括的三次元モデルを適合させる（１６）ステップと、
   ・前記包括的モデルの適合から生じたパラメータの変動範囲を記憶する（２０）ステップと、
   ・記憶された変動範囲内で前記パラメータを変化させることにより前記包括的モデルから複数の三次元オブジェクトを合成する（２２）ステップと、
   ・前記学習システムのデータセット（１０）に前記イメージの平面内の合成されたオブジェクトの投影（２４）を補足するステップと、
   を含む、方法。
2. ・前記モデルのメッシュのランドマーク（Ｋ０〜Ｋ９）の相対位置により前記包括的三次元モデルのパラメータを定義するステップであって、前記メッシュの他のノードの位置は、制約により前記ランドマークに拘束されるステップと、
   ・前記モデルの投影のランドマークを前記イメージの平面内に位置決めすることにより前記包括的三次元モデルの適合を行うステップと、
   を含む、請求項１に記載の方法。
3. ・前記認識されたイメージインスタンスの領域からのテクスチャ（１８）を記憶するステップと、
   ・記憶されたテクスチャのうちの１つのテクスチャを各合成されたオブジェクト（２２）上にマッピングするステップと、
   を含む、請求項１に記載の方法。
4. 前記学習システムの初期データセットが、そのモルフォロジがモルフォロジの観察された変動域の両端にあるクラスの少なくとも２つのオブジェクトに関係する監督下学習により得られる、請求項１に記載の方法。

Images