JP2021511556A - 高速物体認識用のシルエットの使用 - Google Patents

Abstract

物体認識方法は、画像センサから画像を取得し、深度センサから３Ｄポイントクラウドを取得するステップと、画像及び３Ｄポイントクラウドを同期させるステップと、３Ｄポイントクラウドから物体を分離するための３Ｄポイントクラスタリングステップと、３Ｄポイントクラスタリングを用いた画像のセグメント化、及びセグメント化された画像における分離された物体の輪郭検出によってシルエットを抽出するステップと、各検出された輪郭をシルエット記述子に変形することによってシルエットを認識するステップと、物体認識用に訓練されたニューラルネットワークを用いて、これらのシルエット記述子を認識された物体に分類するステップと、を含む。

Description

本発明は、一般に、ニューラルネットワークを用いる機械学習技法に関する。特に、本発明は、シルエット検出を用いる物体認識方法に関する。

かかる方法は、走行車の環境を通して安全に操縦するために、障害物検出及び回避用のセンサを用いる人間支援型走行車又は自律走行車の分野で特に有用である。

ウィキペディアによれば、自動運転車は、ディープラーニング又はニューラルネットワークを用いて開発されている。ニューラルネットワークは、実生活の運転シナリオから抽出された広範囲なデータ量に依存する。ニューラルネットワークは、最善の行動指針を実行するように作動され、且つ「学習する」。加えて、自動運転車において既に用いられているＬＩＤＡＲセンサなどのセンサ、環境を検出するカメラ、及び正確なＧＰＳナビゲーションが、自動運転車において用いられる。

自動運転車用のこれらの新しい技術になされた全ての最近の改良にもかかわらず、一方では計算能力の向上の必要性と、走行車センサによる全ての収集された情報の高処理速度の絶対的な必要性との間の必要な妥協と同様に、稀な又は目に見えない運転状況の場合における検出及び挙動などの幾つかの欠点が残る。

本発明は、シルエット検出を用いて対象を認識すること、即ち危険を回避するための人間の視覚の主要な構成要素である、遮蔽輪郭を認識及び分類する能力を目標とする。目標は、かかる主要な構成要素を再生し、且つ一般にドライバの支援、自動運転、又はロボットなどの多くの用途のためのコンピュータビジョンにこの能力を提供することである。

第１の態様によれば、本発明は、
− 画像センサから画像を取得し、深度センサから３Ｄポイントクラウドを取得するステップと、
− 画像及び３Ｄポイントクラウドを同期させるステップと、
− ３Ｄポイントクラウドから物体を分離するために３Ｄポイントをクラスタリングするステップと、
− 〇 ３Ｄポイントクラスタリングを用いた画像のセグメント化、及び
〇 セグメント化された画像における分離された物体の輪郭検出、
によってシルエットを抽出するステップと、
− 〇 各検出された輪郭をシルエット記述子に変形すること、及び
〇 物体認識用に訓練されたニューラルネットワークを用いて、これらのシルエット記述子を認識された物体に分類すること、
によってシルエットを認識するステップと、
を含む物体認識方法に関する。

この方法は、幾つかの利点を提供するが、それらのうち、堅牢性は、弱光条件などの悪い条件の場合にさえ、画像センサによって取得された画像に含まれる情報、及び深度センサによって取得された３Ｄポイントクラウドに含まれる情報の組み合わされた使用のおかげである。このアプローチはまた、シルエットを通した物体認識が、全ての物体カテゴリ
（人間、ポール、木、動物、走行車等）に適用され得るので、包括的である。計算上のコストは低く、計算は速い。実際に、画素分布解析は、多くの処理を必要とするが、シルエット認識は、はるかに少ない処理しか必要としない。シルエット処理は、シーンの完全な記述は提供しないが、それでもやはり、それは、シーン内の潜在的な危険を検出するための優れた性能を備えた高速検出用の基本的手がかり及びコア技術を提供する。

有利なことに、画像センサによって撮られた画像は、複数の画素で作られ、画像ステップのセグメント化は、
− 〇 検討中の分離された物体に対応する３Ｄポイントクラスタリングステップからの全ての３Ｄポイントを画像上に投影することと、
〇 検討中の分離された物体に又は背景に属するものとして、投影された３Ｄポイントを評価することと、
〇 ２つの隣接画素間の色差及び／又は距離に基づいた画素重みを用いて、検討中の分離された物体、背景、又は未知の状態、のいずれかに属するものとして画像の各画素を評価することと、
〇 分離された物体に属する画素への各画素の距離、及び背景に属する画素への各画素の距離に基づいて、未知の状態に属する各画素用に画素重みを調整することと、
によって３Ｄポイントクラスタリングステップによって分離された各物体からグラフカットするサブステップと、
− １つ又は幾つかのブロブ（blob）の形で、背景及び検討中の分離された物体を表す画素の白黒マスクを各分離された物体用に出力するサブステップと、
を含む。

シルエットの抽出は、３Ｄポイントクラウドの協力で、画像のセグメント化を実行するために、グラフカット技術を用いて行われる。３Ｄ情報の導入は、画像における複雑な関連が、作られ、完全に飽和状態の場所における雑然としたシーン又は見えるポールを分離するなどできるので、主な利点として明らかになる。

有利なことに、輪郭検出ステップは、
− 対応する分離された物体の３Ｄポイントクラスタリングに基づいた距離を各ブロブ用に評価するサブステップと、
− 全てのブロブを最も遠くのものから最も近いものの順で描画することによって、全てのブロブを単一画像に組み合わせ、且つ更なる識別のために全てのブロブに相異なるラベルを割り当て、その結果として、重ねられたブロブ画像をもたらすサブステップと、
− 分離された物体に対応する重ねられたブロブ画像から輪郭を抽出するサブステップと、
− より近いブロブに属する距離で評価された輪郭の各画素用に偽の輪郭部分を決定するサブステップと、
を含む。

２Ｄ及び３Ｄ情報の両方を用いるかかる輪郭検出は、遮蔽偽輪郭から実際の輪郭を容易に分離できるようにするが、それは、物体認識用の主要な重要性である。

有利なことに、シルエット記述子は、一定の記述長を用いる１Ｄ記述子であり、好ましいことに、記述子は、１００万画素を超える画像用に１００〜３００の浮動小数点数の低減された長さを有する。

記述子用に一定の且つ低減された長さを用いることは、素早い認識を保証し、且つ隠れ層のニューラルネットワーク数を、例えばそれぞれ８００及び６００ユニットを備えた２層に低減できるようにする。

有利なことに、本方法は、物体認識ニューラルネットワークを画像内の物体予測用の少なくとも１つの別の訓練されたニューラルネットワークと組み合わせて、物体認識及び予測用に末端間ニューラルネットワークを形成するステップを更に含む。

シルエット認識を用いることは、少なくとも別のニューラルネットワークに方法を拡張するための柔軟性を与える。コア技術として、シルエットは、危険の知覚など、より精巧なタスク用に使用されてもよい。

別の態様によれば、本発明は、
− 画像を捕捉するように構成された画像センサユニットと、
− ３Ｄポイントクラウドを取得するように構成された深度センサと、
− 画像及び３Ｄポイントクラウドを（時間的且つ／又は空間的に）同期させる同期ユニットと、
− 請求項１〜６のいずれかに記載の物体認識方法に従って、画像内の物体を認識するように構成された処理ユニットと、
− 認識された物体に基づいて、走行車を制御するように構成された制御ユニットと、を含む支援型又は自律走行車に関する。

有利なことに、支援型又は自律走行車は、認識された物体に関係する情報を表示するように構成された表示ユニット、及び／又は認識された物体に依存して、安全な経路を計画するように構成された支援型若しくは自律駆動ユニットを更に含み、制御ユニットは、表示ユニット及び支援型又は自律駆動ユニットの少なくとも１つを作動するように構成される。

本発明の他の特徴及び利点は、添付の図面によって例示された本発明の特定の非制限的な例における以下の詳細な説明からよりはっきりと明らかになろう。

図１は、本発明の第１の実施形態に従って、物体認識方法を表す。 図２Ａは、画像のセグメント化ステップ用の好ましい実施形態を表す。図２Ｂは、輪郭検出ステップ用の好ましい実施形態を表す。 図３は、本発明による方法を実施するための必要なユニットを装備された走行車を表す。

本発明の相異なる実施形態をより詳細に説明する前に、自動運転車などのためのコンピュータビジョンにおいてシルエットを用いるための関心に関する幾らかの一般的な検討と同様に、しばしば用いられる用語であるシルエット定義にここで注意してもらいたい。

シルエットは、画素セットのまわりを回る輪郭である。それは、画素間の境界内である。シルエット量子（最小の要素、即ち一画素の長さ）は、２つの方位（垂直又は水平）及び４つの方向（上、右、下、左）だけを有することができる。単一のシルエットが、例えば遮蔽によって分割される場合に、多くのブロブで作られ得ることに注目されたい。我々は、右回りに回ることによって、内部及び外部を画定する。即ち、内部は、行程の右側にある。

シルエットの主な利点は、一般に知覚の全体的な向上にある。それは、２Ｄ及び３Ｄ視覚において極めて正確であり、且つ包括的なので、我々は、識別されたクラスタとして全ての物体を見ることができ、それらのほとんどを認識することができる。シルエットの知
覚、即ち遮蔽輪郭を認識し分類する能力は、危険をできるだけ速く回避する能力を与える人間の視覚の主要な構成要素である。それは、危険の分離及び認識を通して行われる。我々の目標は、この主要な構成要素を模倣すること、及び可能であるが多くの（時間及び電力）処理を要求する画素分布解析（古典的アプローチ）の代わりに、多くの用途（一般にドライバの支援、自動運転、及びロボット）のためのコンピュータビジョンにこの能力を提供することである。更に、シルエット技術はまた、行動認識への入力として人の姿勢を理解することが、はるかに簡単なので、他の機能（行動予測など）の出発点になり得る。

２Ｄ及び３Ｄ画像／深度センサを使用することは、堅牢性のための協力となる。カメラ（２Ｄ視覚）が、弱光条件などの幾つかの外部条件によって制限される一方で、深度センサ（３Ｄ視覚）は、例えば交通信号の状態を識別することができない。

図１は、本発明の第１の実施形態に従って、物体認識方法を表す。物体認識方法は、
Ｓ１：画像センサから画像を取得し、深度センサから３Ｄポイントクラウド（三次元点群）を取得するステップと、
Ｓ２：画像及び３Ｄポイントクラウドを同期させるステップと、
Ｓ３：３Ｄポイントクラウドから物体を分離するために３Ｄポイントをクラスタリングするステップと、
Ｓ４：３Ｄポイントクラスタリングを用いた画像のセグメント化（Ｓ４１）、及びセグメント化画像における分離された物体の輪郭検出（Ｓ４２）によってシルエットを抽出するステップと、
Ｓ５：各検出された輪郭をシルエット記述子に変換すること（Ｓ５１）、及び物体認識用に訓練されたニューラルネットワークを用いて、これらのシルエット記述子を認識された物体に分類すること（Ｓ５２）によってシルエットを認識するステップと、
を含む。

物体分離タスクは、連続する一連の３ｄポイントクラウドを取得するレーザ光走査ユニット（ＬＩＤＡＲ）などの深度センサから与えられた３Ｄの助けを借りて可能になる。即ち、シルエット抽出は、物体を分離するために３Ｄ情報を用いること、及び画像においてそれらの輪郭を抽出することによって行われる。次に、シルエット認識は、記述子及び分類子を介して行われる。

センサは、どこで物体を作成し捜すべきであるか示すために３Ｄ情報が用いられるという意味で協力する。次に、更なる情報は、濃密な画素情報を備えた画像から取られる。例えば、６４平面ＬＩＤＡＲなどの通常の深度センサは、画像なしでさえ、２５ｍまで十分な確信をもって歩行者を知覚できるようにする。更に遠くに行く場合に、又は平面がより少ないＬＩＤＡＲを用いる場合に、引き継ぐのは、画像の役割である。

３Ｄポイントをクラスタリングするステップ（Ｓ２）用に、周知の解決法のいずれかを用いることができ、解決法の中には、
− ２Ｄ／３Ｄ画像及びポイントクラウド処理用の独立型の大規模なオープンプロジェクトであるポイントクラウドライブラリ（www.pointclouds.org）と、
− ３Ｄクラスタリング方法を用いるセグメント化アルゴリズムをパートＩＩＩで提示する、Douillard et al.による「On the Segmentation of 3D LIDAR Point Clouds」と、
− 都市環境の３Ｄポイントクラウドにおける物体を認識するためのシステムを提示する、Golovinskiy et al.による「Shape-based recognition of 3D point clouds in urban environments」と、
がある。

シルエット抽出ステップ（Ｓ４）用に、幾つかの既存の解決法を用いることができ、解
決法の中には、
− 特徴抽出用にフィッシャーベクトルの使用を提示する、Adrian et al.による「Shape feature encoding via Fisher Vector for efficient fall detection in depth-videos」がある。

図２Ａは、画像セグメント化ステップ用の好ましい実施形態を表す。かかるセグメント化ステップは、
Ｓ４１１：
Ｓ４１１１：検討中の分離された物体に対応する３Ｄポイントクラスタリングステップからの全ての３Ｄポイントを画像上に投影することと、
Ｓ４１１２：検討中の分離された物体又は背景のいずれかに属するものとして、投影された３Ｄポイントを評価することと、
Ｓ４１１３：２つの隣接画素間の色差及び／又は距離に基づいた画素重みを用いて、検討中の分離された物体、背景、又は未知の状態のいずれかに属するものとして画像の各画素を評価することと、
Ｓ４１１４：分離された物体に属する画素への各画素の距離、及び背景に属する画素への各画素の距離に基づいて、未知の状態に属する各画素用の画素重みを調整することと、
によって、３Ｄポイントクラスタリングステップによって分離された各物体をからグラフカットするサブステップと、
Ｓ４１２：１つ又は幾つかのブロブの形で、背景及び検討中の分離された物体を表す画素の白黒マスクを各分離された物体用に出力するサブステップと、
を含む。

このグラフカット技術の使用における最も重要なポイントは、複雑な形状を抽出するその効率、（任意の物体用だけでなく、ロボットなどの別の文脈における）その一般性、及び限られた数の不確かな画素ゆえのその敏捷性である。

より具体的には、このセクションは、画像内における物体のシルエットを抽出するためのアルゴリズムを説明する。我々は、３Ｄポイントクラウドからの物体のクラスタリングから出発する。抽出は、グラフカットを用いて行われる。

カットは、前景（即ち検討中のいずれかの物体）又は背景（即ち検討中の物体以外の何でも）に対して各画素を評価する画像のセグメント化である。セグメント化を実行するために、グラフのエッジ（古典的にはｎリンク、即ち画素間のセグメント）は、かかるラベルであるという類似性に従って、又は同じラベルを与えられる隣接画素用に重みを与えられる。

ここでグラフカットの特殊性は、３Ｄポイントからの幾らかの情報を追加することである。具体的には、重みが、各セグメントに追加される。その目的で、物体の全ての３Ｄポイントが選択される（クラスタリングステップのおかげである）。次に、これらの３Ｄポイントは、３Ｄポイントを画像上に投影することによって、コネックス２Ｄエリアとして変換される。

図４に示されているように、本アイディアは、３つの画素セット、即ち、前景画素のセット（即ち、物体に属するものとして知られている−下記では緑色）、背景画素のセット（即ち、背景に属するものとして知られている−赤色）、及び未知のセット（即ち、前景又は背景のいずれかであり得る−黄色）を用いることである。我々は、ラインに並べられた３Ｄポイントから出発する。基本的に３Ｄポイントの各ラインは、我々がマージンで囲む画像におけるライン（緑色の）を構成するか、又は基本的に３Ｄポイントは、赤色画素による別の物体に明白に属する。黄色の画素を作るために、我々は、各見つけられた端部
間を補間し、我々は、物体の上端及び底部において外挿する。全体として、我々は、これらの２Ｄ画素（３つのカテゴリ）を事前選択画素と呼ぶ。同期化問題に対処するために、赤色及び緑色セットは、わずかに小さくされる。

以下で我々は、我々の重みモデルの説明を洗練する。グラフカットは、２つのモデル、即ち背景及び前景を分離することができる。古典的に各画素は、グラフの頂点である。隣接画素は、ｎリンクによってリンクされ、それぞれの色における距離によって重み付けされる。最も古典的な距離が使用され得る。次に、より重要なことだが、各画素は、ｔリンクによって２つの末端頂点にリンクされる。各ｔリンクの重みは、前景及び背景それぞれの画素の色及び色モデル（古典的には、それらのそれぞれのモデルのガウス混合モデル−ＧＭＭ）間の距離からの項と、それぞれ前景に属する最も近い画素（緑色画素）及び背景に属する最も近い画素（赤色画素）までの距離からの項と、によって構成される。第１の末端用に、我々は、この距離（画素、前景）を重みとして直接取る。それに対して、第２の末端用に、我々は、背景（画素、背景）への距離を取る。我々は、代わりに又は逆に、前景への距離の逆数を取ることによって、背景への距離の計算を回避することができる。この第２の項の洗練として、各画像方向（水平及び垂直）における距離は、３Ｄポイント分布に起因する要因によって重み付けされる。例えばＬＩＤＡＲ用に、水平分布は、垂直分布よりはるかに濃密であり、従って、垂直距離は、水平距離と比較して小さくされる。

次に、グラフカットは、最大フロー／最小カットアルゴリズムによって計算される。

グラフカットの出力は、白黒マスク、即ちフル解像度における画像である。恐らく画素が物体に対して評価されなければ、全て黒である。マスクは、コネックス（即ち単一のブロブで作られる）であるべき理由を有しない。実際には多くの状況において、形状は、幾つかのブロブで作られる。今、我々は、このマスクを輪郭表現に変えなければならない。

図２Ｂは、輪郭検出ステップの好ましい実施形態を表す。輪郭検出ステップは、
Ｓ４２１：対応する分離された物体の３Ｄポイントクラスタリングに基づいた距離を各ブロブ用に評価するサブステップと、
Ｓ４２２：全てのブロブを最も遠くのものから最も近いものの順で描画ことによって、全てのブロブを単一画像に組み合わせ、且つ更なる識別のために全てのブロブに相異なるラベルを割り当て、結果として重ねられたブロブ画像をもたらすサブステップと、
Ｓ４２３：分離された物体に対応する重ねられたブロブ画像から輪郭を抽出するサブステップと、
Ｓ４２４：より近いブロブに属する距離で評価された輪郭の各画素用に偽の輪郭部分を決定するサブステップと、
を含む。

実際に、本当の輪郭から偽の輪郭を区別することは、実に重要である。偽の輪郭は、遮蔽ゆえの人工の輪郭である。我々の方法において、このタスクは、単純になる。何故なら、各ブロブは、それが保持する３Ｄに基づいた距離を評価されるからである。輪郭を抽出する場合に、我々はまた、外部輪郭を走行することができ、外部画素が、より近いブロブに対して評価される場合に、対応する境界は、偽としてマークされる。

図３は、ビデオ又は連続する一連の画像を撮るために、走行車の前方の道又は環境を指す少なくとも１台のカメラ２００と、連続する一連の３ｄポイントクラウドを取るために、レーザ光走査ユニット（ＬＩＤＡＲ）などの３６０°走査ユニット２１０と、を装備された走行車１００を表す。走行車１００はまた、処理ユニット及び電子制御ユニット（３００）、表示ユニット、並びに自律駆動ユニット（４００、４１０）を含む。

電子制御ユニット３００は、走行車を操縦するように構成された操縦ユニット４００を含む自律駆動ユニットと、走行車速度を維持するか又は増加させるように構成された動力ユニット及び走行車を停止させるか又は走行車速度を低下させるように構成されたブレーキユニットを含む移動制御ユニット４１０と、に接続され、その結果、走行車１００は、本発明による方法で駆動され得る。

当業者に明らかな様々な修正及び／又は改善が、添付の特許請求の範囲によって定義される本発明の範囲から逸脱せずに、本説明に記載された本発明の様々な実施形態にもたらされ得ることが理解されよう。

Claims (8)

1. − 画像センサから画像を取得し、深度センサから３Ｄポイントクラウドを取得するステップ（Ｓ１）と、
   − 前記画像及び前記３Ｄポイントクラウドを同期させるステップ（Ｓ２）と、
   − 前記３Ｄポイントクラウドから物体を分離するために３Ｄポイントをクラスタリングするステップ（Ｓ３）と、
   − 〇 前記３Ｄポイントクラスタリングを用いた前記画像のセグメント化（Ｓ４１）、及び
   〇 前記セグメント化された画像における前記分離された物体の輪郭検出（Ｓ４２）、
   によってシルエットを抽出するステップ（Ｓ４）と、
   − 〇 各検出された輪郭をシルエット記述子に変形すること（Ｓ５１）、及び
   〇 物体認識用に訓練されたニューラルネットワークを用いて、これらのシルエット記述子を認識された物体に分類すること（Ｓ５２）、
   によってシルエットを認識するステップ（Ｓ５）と、
   を含む物体認識方法。
2. 前記画像が、複数の画素から作られ、
   前記画像の前記セグメント化が、
   − 〇 検討中の前記分離された物体に対応する前記３Ｄポイントクラスタリングステップからの全ての３Ｄポイントを前記画像上に投影すること（Ｓ４１１１）と、
   〇 検討中の前記分離された物体に又は背景のいずれかに属するものとして、前記投影された３Ｄポイントを評価すること（Ｓ４１１２）と、
   〇 ２つの隣接画素間の色差及び／又は距離に基づいた画素重みを用いて、検討中の前記分離された物体、背景、又は未知の状態、のいずれかに属するものとして前記画像の各画素を評価すること（Ｓ４１１３）と、
   〇 前記分離された物体に属する前記画素への各画素の距離、及び前記背景に属する前記画素への前記各画素の距離に基づいて、前記未知の状態に属する前記各画素用の前記画素重みを調整すること（Ｓ４１１４）と、
   によって、前記３Ｄポイントクラスタリングステップによって分離された各物体をグラフカットするサブステップ（Ｓ４１１）と、
   − １つ又は幾つかのブロブ形で、前記背景及び検討中の前記分離された物体を表す画素の白黒マスクを各分離された物体用に出力するサブステップと、
   を含む、請求項１に記載の物体認識方法。
3. 前記輪郭検出が、
   − 前記対応する分離された物体の前記３Ｄポイントクラスタリングに基づいた距離を各ブロブ用に評価するサブステップ（Ｓ４２１）と、
   − 全ての前記ブロブを最も遠くのものから最も近いものの順で描画することによって、全ての前記ブロブを単一画像に組み合わせ、且つ更なる識別のために全ての前記ブロブに相異なるラベルを割り当て、その結果として、重ねられたブロブ画像をもたらすサブステップ（Ｓ４２２）と、
   − 分離された物体に対応する前記重ねられたブロブ画像から前記輪郭を抽出するサブステップ（Ｓ４２３）と、
   − より近いブロブに属する距離で評価された前記輪郭の各画素用に偽の輪郭部分を決定するサブステップ（Ｓ４２４）と、
   を含む、請求項２に記載の物体認識方法。
4. 前記シルエット記述子が、一定の記述長を用いる１Ｄ記述子である、請求項１〜３のい
   ずれか一項に記載の物体認識方法。
5. 前記シルエット記述子が、低減された長さを有する、請求項４に記載の物体認識方法。
6. − 前記物体認識ニューラルネットワークを前記画像内の物体予測用の少なくとも１つの別の訓練されたニューラルネットワークと組み合わせて、物体認識及び予測用の末端間ニューラルネットワークを形成するステップ、
   を更に含む、請求項１〜５のいずれか一項に記載の物体認識方法。
7. − 画像を捕捉するように構成された画像センサユニット（２００）と、
   − ３Ｄポイントクラウドを取得するように構成された深度センサ（２１０）と、
   − 〇 前記画像及び前記３Ｄポイントクラウドを同期するように、かつ、
   〇 請求項１〜６のいずれか一項に記載の前記物体認識方法に従って、前記画像内の物体を認識するように、
   構成された処理ユニット（３００）と、
   − 認識された物体に基づいて、走行車（１００）を制御するように構成された制御ユニットと、
   を含む支援型又は自律走行車（１００）。
8. − 前記認識された物体に関係する情報を表示するように構成された表示ユニット及び／又は
   − 認識された物体に依存して、安全な経路を計画するように構成された支援型若しくは自律駆動ユニット（４００、４１０）、
   を更に含み、
   前記制御ユニットが、前記表示ユニット及び前記支援型又は自律駆動ユニットの少なくとも１つを作動するように構成される、請求項７に記載の支援型又は自律走行車（１００）。

Images