JP2019509552A - コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出 - Google Patents

Abstract

【課題】【解決手段】車両付近において部分的に遮られる物体（例えば、歩行者）の検出を検証するシステム及び方法が提供される。画像入力装置は周囲の画像及び／又はビデオをキャプチャする。物体検出器は、受け取った画像情報において、部分的に遮られた歩行者及び他の物体を検出する。部分的に遮られた歩行者の検出ウィンドウが遮蔽物体の検出ウィンドウと重なっており、前記遮蔽物体のウィンドウが、前記部分的に遮られた物体のウィンドウよりも、画像入力装置に近い場合、部分的に遮られた歩行者の検出が確証される。さらに、ＬＩＤＡＲ装置のような測距センサは、部分的に遮られた物体の方向に位置する物体までの距離を決定する。部分的に遮られた物体の方向に位置する他の物体のうちの１つの物体の距離が部分的に遮られた物体の距離よりも小さい場合、部分的に遮られた物体の検出が確証される。【選択図】図２

Description

本出願は、２０１６年２月３日に出願され、本願の譲受人に譲渡された米国特許出願第１５／０１５，０３３号（タイトル「コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出」と題する）の優先権を主張するものであり、該米国特許出願の全体は、ここでの開示により明確に本出願に組み込まれる。

本発明は、一般に運転者支援システムに関し、より詳細には、運転シーンにおける部分的に遮られた物体の検出システムに関する。

運転者支援システムは、一般に、運転中に運転者を助けるシステムである。運転者支援システムのいくつかの例には、車載ナビゲーションシステム、適応型クルーズコントロール（ＡＣＣ）システム、車線逸脱警報システム、衝突回避システム、自動駐車システム及び死角検出システムが含まれるが、これらに限定されない。運転者支援システムは、車両及び道路の安全性を高めるために使用される。

運転者支援システムのような（これに限定されるものではないが）現代の車両システムは、コンピュータビジョンに基づいた歩行者検出に依存している。コンピュータビジョンに基づく検出システムでは、周囲からデータを収集するために車両にセンサを装備し、センサデータに基づいて判定を行うことができる。歩行者を検出するための典型的なセンサとしては、周囲の画像を撮像するカメラがある。歩行者は、運転シーンにおいて、車、木、潅木、標識等の物体によって部分的に遮られる場合がある。従って、車両システムは、部分的に遮られた歩行者を検出するために、コンピュータビジョン技術（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）、例えば歩行者の上半身画像に基づいて学習が行われた部分ベースモデル（ｐａｒｔ−ｂａｓｅｄ ｍｏｄｅｌｓ）を使用することができる。

しかしながら、物体の一部の画像に対して学習が行われた画像ベースの検出器は、物体全体の画像に対して学習が行われた画像ベースの検出器よりも精度が低い場合がある。従って、当分野において、偽陽性の結果を低減するために、部分的に遮蔽された物体の検出が正確であるかどうかを検証する部分的に遮蔽された物体の検出システムの必要性が存在する。

一態様によれば、本開示は、車両に関連する第２の物体によって部分的に遮られた第１の物体の検出を検証するためのコンピュータで実行される方法及びシステムを提供する。検証が求められている車両の画像入力装置は、周囲の画像及び／又はビデオを取り込む。物体検出器は、受信された画像及び／又はビデオ情報において、部分的に遮られた物体（例えば、歩行者）等の第１の物体を検出し（学習済み部分ベースのモデル（例えば、歩行者の上半身画像のセット）を使用してもよい）、任意の遮蔽物体を含む第２の物体又は物体（例えば、車両）を検出する。１つの検証手順では、部分的に遮蔽された物体の検出ウィンドウと、他の物体のうちの１つの物体の検出ウィンドウとが重なっている又は近接している場合で、且つ、部分的に遮蔽された物体の検出ウィンドウの画像入力装置までの距離が、他の遮蔽物体の１つの検出ウィンドウの画像入力装置までの距離よりも長い場合、部分的に遮蔽された物体の検出が確証される。

別の検証手順によれば、車両上の測距センサは、物体検出器によって検出された部分的に遮られた歩行者の方向に位置する他の車両及び／又は他の遮蔽物体までの距離を決定する。部分的に遮蔽された物体（例えば、歩行者）の方向に位置する車両又は他の遮蔽物体のうちの１つの物体の距離が、画像入力装置に対する部分的に遮られた物体の検出ウィンドウの距離よりも小さい場合、部分的に遮蔽された歩行者の検出が確証される。

これらの態様のさらなる利点及び新規な特徴は、以下の説明に部分的に記載され、一部は、本開示の実施による以下を検討又は学習すれば、当業者には、より明らかになるであろう。

本開示の態様の特徴であると考えられる新規な特徴は、添付の特許請求の範囲に記載されている。以下の説明では、明細書全体にわたって同様の部材又は部品は同じ符号を付している。図面は必ずしも縮尺通りに描かれておらず、一部の図は明瞭且つ簡潔にするために誇張された形態又は一般化された形態で示されている。しかしながら、開示自体は、添付の図面と併せて読むと、開示の例示的な態様の以下の詳細な説明を参照することによって最もよく理解されるであろう。

図１は、本開示の態様による部分的に遮られた物体の検出のためのシステム及び方法を実施するための動作環境例の概略図である。 図２は、本開示の態様による、部分的に遮られた物体の検出に関連する様々な特徴の画像の例である。 図３は、本開示の態様による、地平面推定（ｇｒｏｕｎｄ ｐｌａｎｅ ｅｓｔｉｍａｔｉｏｎ）を用いて部分的に遮られた物体の検出を検証するための方法のプロセスフロー例を示す図である。 図４は、本開示の態様による、深さ検出を使用して部分的に遮られた物体の検出を検証するための方法のプロセスフロー例を示す図である。

以下において、本明細書で使用される選択された用語の定義が示される。それら定義には、用語の範囲内にあり且つ実施するために使用され得る様々な例及び／又は構成要素の形態が含まれる。これらの例は、限定を意図しているものではない。

本明細書で使用される「バス」は、コンピュータ内部又はコンピュータ間において他のコンピュータ構成要素に動作可能に接続される相互接続アーキテクチャを指す。バスは、コンピュータ構成要素間でデータを転送することができる。バスは、特に、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスとすることができる。バスは、メディア指向システムトランスポート（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）（ＭＯＳＴ）、コントローラエリアネットワーク（ＣＡＮ）、ローカル相互接続ネットワーク（ＬＩＮ）等のプロトコルを使用して車両内の構成要素を相互接続する車両バスであってもよい。

本明細書で使用する「コンピュータ通信」は、２つ以上のコンピューティングデバイス（例えば、コンピュータ、携帯情報端末、携帯電話、ネットワークデバイス）間の通信を指し、例えば、ネットワーク転送、ファイル転送、アプレット転送、電子メール、ハイパーテキスト転送プロトコル（ＨＴＴＰ）転送等が含まれる。コンピュータ通信は、例えば、無線システム（例えば、ＩＥＥＥ８０２．１１）、イーサネット（登録商標）システム（例えば、ＩＥＥＥ８０２．３）、トークンリングシステム（例えば、ＩＥＥＥ８０２．５）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ポイント・ツー・ポイント・システム、回線交換システム、パケット交換システム等を通じて行われる。

本明細書で使用される「ディスク」は、例えば、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、及び／又はメモリスティックを含み得る。さらに、ディスクは、ＣＤ−ＲＯＭ（コンパクトディスクＲＯＭ）、ＣＤ記録可能ドライブ（ＣＤ−Ｒドライブ）、ＣＤ書き換え可能ドライブ（ＣＤ−ＲＷドライブ）、及び／又はデジタルビデオＲＯＭドライブ（ＤＶＤ−ＲＯＭドライブ）であってもよい。ディスクは、コンピューティングデバイスのリソースを制御又は割り当てるオペレーティングシステムを格納することができる。

本明細書で使用される「データベース」又は「データベースリポジトリ」は、テーブル、テーブルのセット、データストアのセット及び／又はそれらのデータストアにアクセス及び／又はそれらのデータストアを操作するための方法を指す。いくつかのデータベースは、上で定義したようなディスクに組み込むことができる。

本明細書で使用される「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含むことができる。不揮発性メモリは、例えば、ＲＯＭ（読み出し専用メモリ）、ＰＲＯＭ（プログラム可能な読み出し専用メモリ）、ＥＰＲＯＭ（消去可能なＰＲＯＭ）及びＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）を含み得る。揮発性メモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）及びダイレクトラムバスＲＡＭ（ＤＲＲＡＭ）を含み得る。メモリは、コンピューティングデバイスのリソースを制御又は割り当てるオペレーティングシステムを格納することができる。

本明細書で使用される「モジュール」は、限定されないが、命令を格納する非一過性コンピュータ可読媒体、マシンで実行される命令、ハードウェア、ファームウェア、マシンで実行されるソフトウェア及び／又はそれらを組み合わせたものを含み、機能やアクションを実行させるために又は／及び別のモジュール、方法及び／又はシステムから機能やアクションを実行させる。モジュールはまた、ロジック、ソフトウェア制御マイクロプロセッサ、個別論理回路、アナログ回路、デジタル回路、プログラムされた論理デバイス、実行命令を含むメモリデバイス、論理ゲート、ゲートの組み合わせ、及び／又は他の回路構成要素を含む。複数のモジュールを１つのモジュールに結合し、単一のモジュールを複数のモジュールに分散してもよい。

「動作可能な接続」又は実体的なもの（ｅｎｔｉｔｉｅｓ）が「動作可能に接続される」接続は、信号、物理的通信、及び/又は論理的通信を送信及び／又は受信することができる接続である。動作可能な接続は、無線インターフェース、物理インターフェース、データインターフェース及び／又は電気インターフェースを含むことができる。

本明細書で使用される「プロセッサ」は、信号を処理し、一般的な計算及び算術機能を実行する。プロセッサによって処理される信号は、受信、送信、及び／又は検出可能な、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は他の特徴を含むことができる。一般に、プロセッサは、種々のプロセッサを含むことができる。例えば、複数のシングル及びマルチコアプロセッサ及びコプロセッサ並びに他の複数のシングル及びマルチコアプロセッサ及びコプロセッサアーキテクチャを含む。プロセッサは、様々な機能を実行するための様々なモジュールを含むことができる。

本明細書で使用される「車両」は、１又は複数の乗員を運ぶことができ、任意の形態のエネルギーによって動力が与えられる任意の移動車両を指す。用語「車両」には、以下に限定されないが、例えば、車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクーター、ボート、ゴーカート、娯楽用乗り物、鉄道、水上バイク、航空機が含まれる。場合によっては、自動車は、１つ又は複数のエンジンを含む。さらに、「車両」という用語は、１人以上の乗員を運ぶことができ、電気バッテリによって駆動される１つ又は複数の電気モータによって全体的に又は部分的に作動される電気自動車（ＥＶ）を指すことができる。ＥＶには、バッテリ電気自動車（ＢＥＶ）とプラグインハイブリッド電気自動車（ＰＨＥＶ）が含まれる。「車両」という用語はまた、任意の形態のエネルギーによって駆動される自律型車両及び／又は自動運転車両を指してもよい。自律型車両は、１人以上の人間の乗員を運搬してもよいし、運搬しなくてもよい。さらに、「車両」という用語は、所定の経路を自動で又は非自動で動く車両でもよいし、又は自由に動く車両でもよい。

１．システム概略
一般に、本明細書で開示されたシステム及び方法は、特に、車両近傍において、部分的に遮られた物体（例えば、歩行者、オートバイ運転者、自転車運転者、及び／又は動物）を検出し、偽陽性検出結果を減少させるために、部分的に遮られた物体の検出が正確であるかどうかを検証するものである。以下で示されるものは、１つ以上の例示的な態様を説明するためのものであり、限定する目的ではないが、図面を参照すると、図１は、部分的に遮蔽された物体の検出のためのシステム及び方法を実施するための動作環境１００の概略図である。環境１００の構成要素、並びに本明細書で記載される他のシステム、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャの構成要素は、組み合わされたり、省略されたり、組織化されたりすることで、種々の実施例のために異なるアーキテクチャとして構成されてよい。さらに、動作環境１００の構成要素は、例えば、先進運転者支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）（ＡＤＡＳ）による部分的に遮られた歩行者の検出のための車両（図示せず）と共に実装されてもよいし、関連付けられてもよい。

図１は、本開示の態様に従って使用可能な環境１００の例を示す。環境１００は、車両の種々の構成要素及び環境１００の他の構成要素に対して処理、通信、相互対話を行うための設備を備えた車両コンピューティング装置１０２（ＶＣＤ）を含む。一態様では、ＶＣＤ１０２は、特に、テレマティクスユニット、ヘッドユニット、ナビゲーションユニット、インフォテイメントユニット、電子制御ユニット（図示せず）の一部として一体化することができる。他の態様では、ＶＣＤ１０２の構成要素及び機能は、例えばポータブルデバイス（図示せず）又はネットワーク（例えば、ネットワーク１４４）を介して接続された別のデバイスの使用と連動して、少なくとも一部は車両の遠隔から実行されてもよい。

一般に、ＶＣＤ１０２は、プロセッサ１２０と、メモリ１０６と、ディスク１０８と、部分ベースのボディ検出器（ｐａｒｔ−ｂａｓｅｄ ｂｏｄｙ ｄｅｔｅｃｔｏｒ）１１０と、物体検出器１１２と、入力／出力（Ｉ／Ｏ）インターフェース１４０とを含む。これらはそれぞれ、バス１０４及び／又は他の有線及び／又は無線技術を介してコンピュータ通信可能に動作可能に接続されている。Ｉ／Ｏインターフェース１４０は、本明細書で説明されるように、ＶＣＤ１０２の構成要素、他の構成要素、ネットワーク、及びデータソース間のデータ入力及び出力を容易にするソフトウェア及びハードウェアを提供する。さらに、プロセッサ１２０は、環境１００の構成要素によって支援される、部分的に遮られた物体の検出の検証を行うのに適した第１検証モジュール１２２及び第２検証モジュール１２４を含む。

ＶＣＤ１０２はまた、（例えば、バス１０４及び／又はＩ／Ｏインターフェース１４０を介して）コンピュータ通信可能に、１つ又は複数の車両システム１３０に動作可能に接続される。車両システムは、車両システム、運転及び／又は安全性を向上させるために使用され得る任意の自動システム又は手動システムを含み得るが、これに限定されない。例えば、車両システム１３０は、コンピュータビジョンに基づく歩行者検出を利用するＡＤＡＳを含むことができるが、これに限定されない。車両システム１３０は、種々の車両センサ（例えば、画像入力装置１３２）を有してもよいし、コンピュータ通信可能に、動作可能に接続されてもよい。該センサは、車両、車両環境、及び／又は車両システム１３０に関連する情報を提供及び／又は感知する。

画像入力装置１３２を含む得る物体検出器は、入力画像を受け取る。画像入力装置１３２は、画像及び／又はビデオをキャプチャする任意のタイプの画像センサ及び／又は画像装置でよい。いくつかの態様では、画像入力装置１３２は、車両システム１３０又はコンピュータビジョンシステム（図示せず）の一部である。他の態様では、画像入力装置１３２は、例えばネットワーク１４４を介してアクセスされる遠隔装置である。ネットワーク１４４は、例えば、データネットワーク、インターネット、ワイドエリアネットワーク又はローカルエリアネットワークを含むことができる。ネットワーク１４４は、種々の遠隔装置（例えば、データベース、ウェブサーバ、リモートサーバ、アプリケーションサーバ、仲介サーバ、クライアントマシン、他のポータブルデバイス）への通信媒体としての役割を果たすことができる。

ＶＣＤ１０２はまた、深度センサ１４２及び前述のようにネットワーク１４４に、通信可能に、動作可能に結合されてもよい。Ｉ／Ｏインターフェース１４０から深度センサ１４２及びネットワーク１４４への接続は、様々な方法で容易にすることができる。例えば、ネットワーク接続（例えば、有線及び／又は無線）、ポータブルデバイス（図示せず）からのモバイルデータ通信ネットワーク（ｃｅｌｌｕｌａｒ ｄａｔａ ｎｅｔｗｏｒｋ）、車両−車両アドホックネットワーク（図示せず）、車載ネットワーク（図示せず）、又はそれらの任意の組み合わせを介して接続される。

深度センサ１４２は、車両の周囲の障害物を検出し、それらの障害物に対する距離測定を行う。深度センサ１４２は、限定するものではないが、光検出及び測距（ＬＩＤＡＲ）センサ、ステレオカメラ、及び／又は無線検出及び測距（ＲＡＤＡＲ）等の任意のタイプの測距センサ及び／又は測距装置である。例えば、本開示の態様に従って使用可能な１つのタイプのＬＩＤＡＲセンサについては、物体からの反射は、点群（ｐｏｉｎｔ ｃｌｏｕｄ）の一部としてスキャン点として返される。スキャン点はそれぞれ、例えば、センサの視野において１／２度ごとに提供される。一態様では、車両は、車両の周りに３６０°までの視野を提供するために複数の深度センサ１４２を有してもよい。これらの複数の深度センサ１４２は、側方センサ、後方センサ、及び前方センサを含むことができる。各深度センサ１４２は、他の深度センサ１４２とは独立して、その視野内の物体を検出する。単一の深度センサ又は複数の深度センサ１４２からのスキャン点の戻りを用いて、点群が生成されて、車両の近傍の物体を検出する。複数の深度センサ１４２を備えた車両では、複数の点群が戻されてもよく、センサ視野が重なり合う場合、いくつかの深度センサ１４２は同じ物体を検出している場合がある。この場合、複数の深度センサ１４２の点群を組み合わせて、深度センサ１４２によって検出された同じ物体が単一の物体として処理されるようにする必要がある。いくつかの態様では、深度センサ１４２は、例えばネットワーク１４４を介してアクセスされる遠隔装置を含むことができる。他の態様では、深度センサ１４２は車両システム１３０の一部であってもよい。

図１に示すシステムを、本開示の態様による実施例に従って説明する。上述したように、この実施例のシステムは、画像入力装置１３２を含む。画像入力装置は、入力画像を受け取る。例えば、図１において、画像入力装置１３２は入力画像を受け取る。入力画像は、例えば、物体検出のための、１又は複数の歩行者又は他の物体を含む運転シーン画像を含むことができる。ここでより詳細に説明される図２は、例示的な入力画像２０２を示す。

図１に示されるように、部分ベースのボディ検出器１１０は、入力画像の１又は複数の身体一部検出ウィンドウを決定する。本明細書で説明されるように、身体一部検出ウィンドウは、学習済みモデル（ｔｒａｉｎｅｄ ｍｏｄｅｌ）（例えば、歩行者の上半身画像のセット）に基づいて部分的に遮られた物体（例えば、部分的に遮られた歩行者）の検出に使用される「スライディング」ウィンドウ（例えば、画像上に置かれた、長さ及び／又は幅が可変のボックス形状のウィンドウ）を含む。学習済みモデルに基づく部分的に遮られた物体の検出の態様は、例えば、本出願人の同時係属の米国特許出願第１４／６４１，５０６号に記載されており、該米国特許出願の全体は、ここでの開示により明確に本出願に組み込まれる。学習済みモデル（図示せず）は、例えば、メモリ１０６及び／又はネットワーク１４４内でアクセス可能な別のメモリに格納することができる。学習済みモデルは、データ（例えば、テンプレート）を使用して、観察された画像データ（例えば、入力画像）間の関係を学習し、画像データ及び画像シーンの特徴を推定し、画像データから画像シーンに関する新たな推論を行う。さらに、物体検出器１１２は、入力画像の１つ又は複数の物体検出ウィンドウ（例えば、車両検出及び／又は他の遮蔽物体のウィンドウ）を決定する。図１では別々の構成要素として示されているが、部分ベースのボディ検出器１１０及び物体検出器１１２は、組合せて単一の構成要素としてよいことを理解されたい。

再び図１を参照すると、システムはまた、画像入力装置、深度センサ、部分ベースのボディ検出器、及び物体検出器と通信可能に、動作可能に接続されたプロセッサを含む。上述したように、プロセッサ１０４は、（例えば、Ｉ／Ｏインターフェース１４０及び／又はネットワーク１４４を介して）コンピュータ通信できるように、画像入力装置１３２と、深度センサ１４２と、部分ベースのボディ検出器１１０と、物体検出器１１２と、動作可能に接続されている。さらに、プロセッサ１０４は、第１検証モジュール１２２及び第２検証モジュール１２４の動作の特徴を含み、及び／又は実行することができる。これらモジュールは、例えば、部分ベースのボディ検出器１１０による部分的に遮られた歩行者の検出が正確かどうかを検証するために使用される。本明細書で説明されるように、第１検証モジュール１２２は、部分ベースのボディ検出器１１０によって検出された部分的に遮られた歩行者の相対距離と、物体検出器１１２によって検出された車両又は他の物体の相対距離とを、画像入力装置１３２から受け取った画像情報に基づいて比較する。或いは又はさらに、第２検証モジュール１２４は、１）第１検証モジュール１２２における情報に基づいた、部分ベースのボディ検出器１１０によって検出された部分的に遮られた歩行者までの距離、２）深度センサ１４２によって検出された車両又は他の物体までの距離を比較する。

２．検証方法
図３を参照して、本開示の例示的な態様による、部分的に遮られた物体及び他の物体の検出を検証する方法について説明する。図３は、図１及び図２の構成要素を参照して説明される。さらに、これらの方法は、図１に示されるシステムや他のシステムや方法で実現されるアルゴリズムを参照して説明される。ブロック３０２において、該方法は、画像入力装置１３２（図１）から入力画像を受け取ることを含む。入力画像は、Ｉ: Λ ⊂ Ｚ（Ｚは整数全体の集合を表す）→［０，２５５］として表現されるグレースケール画像であってよい。ここで、Λは格子である。入力画像は、例えば、画像入力装置１３２（図１）によって取り込まれた運転シーンの一部を含むことができる。さらに、入力画像は、１つ又は複数の部分的に遮られた物体を含むことができる。例えば、図２に示す入力画像２０２は、２つの歩行者（ボックス２０４、２０６参照）を含むことができ、各歩行者は、車両によって部分的に遮られている。

ブロック３０４において、該方法は、入力画像内において、部分的に遮られた物体（例えば、部分的に遮られた歩行者）を検出し、特定することを含む。一態様では、部分ベースのボディ検出器１１０は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、身体一部画像の学習セット（例えば、歩行者の上半身画像）に基づいて、入力画像Ｉにおける身体一部検出ウィンドウのセット（例えば、上半身検出ウィンドウ）を決定する。部分ベースのボディ検出器１１０（図１）は、例えば、スライディングウィンドウ検出器を含むことができる。部分ベースのボディ検出器１１０（図１）によって特定された上半身検出ウィンドウは、｛ｕ_i｝_i=1 ^Uとして表すことができる。また、各上半身検出ウィンドウｕ_i＝［ｕ_i ^x、ｕ_i ^y、ｕ_i ^w、ｕ_i ^h］は、入力画像上の上半身境界ボックスとして表すことができ、上半身境界ボックスの左上隅の位置は、（ｕ_i ^x、ｕ_i ^y）として表される。上半身境界ボックスの幅と高さは（ｕ_i ^w、ｕ_i ^h）として表される。例えば、部分ベースのボディ検出器１１０（図１）は、図２に示すように、入力画像２０２上において２つの上半身検出ウィンドウ２０４、２０６を検出する。

ブロック３０６において、該方法は、各上半身境界ボックスを歩行者の略全身サイズに拡張することを含む。一態様では、部分ベースのボディ検出器１１０は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、各上半身境界ボックスｕ_iを、チルダ（〜）付きｕ_i（以下では簡略的にｕ_i〜と表記する）に対する係数σによって、拡張する。ここで、ｕ_i〜＝［ｕ_i ^x、ｕ_i ^y、ｕ_i ^w、σｕ_i ^h］であり、σは歩行者の上半身画像の学習セットに基づいて、設定される。例えば、人体の３分の１を含む画像を使用して、部分ベースのボディ検出器１１０に学習させる場合、σは３に設定され、各上半身境界ボックスは、歩行者の身体サイズの３分の１から歩行者の略全身サイズに拡張される。例えば、上半身境界ボックス２０４、２０６（図２）は、図２に示すように、全身サイズに近づくように拡張される。従って、一旦拡張されると、上半身境界ボックスの底部の中点は、歩行者が地面に接触する位置を略表す。

ブロック３０８において、該方法は、入力画像上における物体（例えば、遮る及び／又は遮っていない車両又は他の物体）を検出することを含む。ある態様では、物体検出器１１２は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、入力画像Ｉ上において物体検出ウィンドウ（例えば、車両検出ウィンドウ）のセットを決定する。物体検出器１１２（図１）によって特定される車両検出ウィンドウのセットは、｛ｃ_j｝_j=1 ^Cとして表すことができる。さらに、各車両検出ウィンドウは、入力画像上の車両境界ボックスとして表すことができる。例えば、物体検出器１１２は、図２に示すように、入力画像２０２上の２つの車両検出ウィンドウ２０８、２１０を検出する。車両境界ボックスの底部の中点は、車両が地面に接触する位置を表す。

ブロック３１０において、該方法は、拡張された上半身境界ボックスと車両境界ボックスが、入力画像上で互いに重なり合っているか否かを判定することを含む。一態様では、第１検証モジュール１２２は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、拡張された上半身境界ボックスｕ_i〜と車両境界ボックスｃ_jとが重なり合う又は近接するように車両境界ボックスｃ_jが存在しているかどうかを判定する。例えば、第１検証モジュール１２２（図１）は、図２に示すように、上半身境界ボックス２０４と車両境界ボックス２１０とは重なっていると判定する。一態様では、第１検証モジュール１２２（図１）が、拡張された上半身境界ボックスが車両境界ボックスと重なっていると判定した場合、該方法はブロック３１２に進む。もしそうでなければ、第１検証モジュール１２２は、部分ベースのボディ検出器１１０による部分的に遮られた歩行者の検出は正確でないと判断し、該方法はブロック３２０で終了する。

ブロック３１２において、該方法は、上半身境界ボックスの画像入力装置からの距離を決定することを含む。一態様では、第１検証モジュール１２２は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、上半身境界ボックスの画像入力装置１３２（図１）からの距離を判定する。一態様では、画像入力装置１３２（図１）の位置は、［０，０，０］^Tによって与えられ、画像入力装置１３２（図１）の固有パラメータは、以下のように与えられる。

ここで、ｆ_x及びｆ_yは焦点距離、ｏ_x及びｏ_yは画像入力装置の主点オフセット（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ ｏｆｆｓｅｔｓ）である。さらに、地面Ｇの基底を推定して、ｇ₀∈Ｒ及びｇ₁∈Ｒ（Ｒは実数全体の集合）として表現する。ここで、地面Ｇ上の点は、拘束条件ｎ_xＸ＋ｎ_yＹ＋ｎ_zＺ＋ｂ＝０に従う。ここで、地面Ｇの法線は、［ｎ_x，ｎ_y，ｎ_z］＝ｇ₀×ｇ₁によって与えられる。従って、地面Ｇ上のピクセル（ｐ，ｑ）∈Λの３次元（３−Ｄ）座標は、以下に従って計算される。

ここで、

検出された物体について、該物体の検出ウィンドウの底部の中点は、検出された物体が地面Ｇに接触する点であると仮定することができる。例えば、検出ウィンドウｄ＝［ｘ，ｙ，ｗ，ｈ］とすると、物体が地面Ｇに接触する位置は、（ｘ＋ｗ／２，ｙ＋ｈ）で与えられる。この例では、検出された物体が地面Ｇに接触する点の３次元座標は、上記の式（２）及び（３）に従って、φ（ｘ＋ｗ／２，ｙ＋ｈ）によって与えられる。簡略化のために、検出された物体が地面Ｇに接触する点は、代わりに、φ（ｄ）として表されてもよい。第１検証モジュール１２２（図１）は、部分的に遮られた物体（例えば部分的に遮られた歩行者）が地面Ｇに接触する場所に基づいて、部分的に遮られた物体の画像入力装置１３２（図１）からの距離を決定する。一態様では、第１検証モジュール１２２（図１）は、画像入力装置１３２（図１）の場所に対する部分的に遮られた物体が地面Ｇに接触する場所の位置を表す３次元ベクトルのノルムを計算することによって、部分的に遮られたオブジェクトの画像入力装置１４２（図１）からの距離を求める。例えば、第１検証モジュール１２２（図１）は、｜｜φ（ｕ_i〜）｜｜の値を計算することによって、拡張された上半身境界ボックスｕ_i〜の画像入力装置１３２（図１）からの距離を求めることができる。ここで、φ（ｕ_i〜）は、上記の式（２）及び（３）によって与えられ、ｕ_i〜＝［ｕ_i ^x，ｕ_i ^y，ｕ_i ^w，σｕ_i ^h］である。

図３の方法を再び参照すると、ブロック３１４において、本方法は、車両境界ボックスの画像入力装置からの距離を決定することを含む。一態様では、第１検証モジュール１２２は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、車両境界ボックスｃ_jの画像入力装置１４２（図１）からの距離を決定する。ブロック３１２に関して上述したように、第１検証モジュール１２２（図１）は、｜｜φ（ｃ_j）｜｜の値を計算することによって、車両境界ボックスｃ_jの画像入力装置１４２（図１）からの距離を決定する。

ブロック３１６において、該方法は、車両境界ボックスが、拡張された上半身境界ボックスよりも画像入力装置に近いか否かを判定することを含む。一態様では、第１検証モジュール１２２は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、次の条件が満たされた場合に、車両境界ボックスｃ_jは上半身境界ボックスｕ_i〜よりも入力画像装置１３２（図１）に近いと判断することができる。

ここで、φ（ｕ_i〜）及びφ（ｃ_j）は式（２）、（３）に従って、計算することができる。第１検証モジュール１２２（図１）が、車両境界ボックスｃ_jは、画像入力装置１４２（図１）に対して、上半身境界ボックスｕ_i〜よりも近い位置にあると判定した場合、第１検証モジュール１２２（図１）は、ブロック３１８において、部分ベースのボディ検出器１１０（図１）による部分的に遮られた歩行者の検出が正確であることを確証する。そうでない場合、第１検証モジュール１２２（図１）は、ブロック３２０において、部分ベースのボディ検出器１１０（図１）による部分的に遮られた歩行者の検出は正確ではないと判定する。

次に図４を参照して、図３の方法に加えて（又はその代わりに）、部分的に遮られた物体の検出を検証するための方法を説明する。例えば、図４の方法は、図３の方法の前、又は後に実行される追加の検証手順として使用してもよい。例えば、入力画像中に車両の切り欠かれた画像（ｔｒｕｎｃａｔｅｄ ｉｍａｇｅ）を含み且つ／又は物体検出器１１２（図１）がそのクラスの物体（例えば、車両）を検出するように学習されていないために物体検出器１１２（図１）が車両検出ウィンドウを特定できない場合、図４の方法を図３の方法の代替として使用することもできる。図１及び図２の構成要素を参照して、図４を説明する。さらに、該方法は、図１において上述したシステムや他のシステム及び他の方法で実行され得るアルゴリズムを参照して、説明される。

図４のブロック４０２、４０４、４０６はそれぞれ、図３において説明されたブロック３０２、３０４、３０６に対応する。一態様では、ブロック４０２、４０４、４０６は、第１検証モジュール１２２によって（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、及び／又は第２検証モジュール１２４によって（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、実行される。

ブロック４０８において、図４の方法はさらに、拡張された身体一部の境界ボックスの入力画像装置からの距離を決定することを含む。一態様では、第２検証モジュール１２４は（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、画像入力装置１３２（図１）からの拡張された上半身境界ボックスｕ_i〜の距離を決定することができる。画像入力装置１３２（図１）からの拡張された上半身境界ボックスｕ_i〜の距離は、｜｜φ（ｕ_i〜）｜｜によって与えられる。ここで、φ（ｕ_i〜）は、第２検証モジュール１２４（図１）によって、上記式（２）、（３）に従って、計算される。

ブロック４１０において、この方法は、画像入力装置からの遮蔽物体の距離を測定するための深度検知（ｄｅｐｔｈ ｓｅｎｓｉｎｇ）を行うことを含む。一態様では、深度センサ１４２は（例えば、図１に示すようにプロセッサ１２０及び／又はメモリ１０６と協働して）、遮蔽物体（例えば、車両）の画像入力装置１３２（図１）からの距離を測定するための深度検知を行う。深度センサ１４２（図１）は、シーンの点群を生成するＬＩＤＡＲセンサ、ステレオカメラ、及び／又はＲＡＤＡＲセンサのいずれかであってもよいが、これらに限定されない。一態様では、深度センサ１４２（図１）は、画像入力装置１３２（図１）が入力画像Ｉを取り込むのと同時に、又は略同時に深度検知を行う。例えばＬＩＤＡＲを介した深度検知の間、シーン内の各物体からの反射は、点群の一部としてのスキャン点として返される。ここで、各スキャン点は、深度センサの視野において、例えば１／２°毎に与えられる。次いで、深度センサは、返された点群に基づいて、シーン内の各物体の深度測定値のセットを計算する。一態様では、深度センサ１４２によって計算された深度測定値のセットは、｛ｓ_j｝_j=1 ^Sとして表すことができる。ここで、ｓ_j∈Ｒ³（Ｒ³は実３次元数ベクトル空間を表す）である。

一態様では、第２検証モジュール１２４は（例えば、図１に示す深度センサ１４２、プロセッサ１２０、及び／又はメモリ１０６と協働して）、深度センサ１４２によって測定された深度測定値のセットＳのうち、拡張された身体一部の境界ボックスの方向におけるサブセットを選択する。一態様では、第２検証モジュール１２４は、測定された深度測定値のセットＳのうち、拡張された上半身境界ボックスｕ_i〜の方向におけるサブセットを選択する。例えば、第２検証モジュール１２４は、図２に示すように、拡張された上半身境界ボックス２０６付近の車両によって反射されたＬＩＤＡＲ点群２１２に対応する深度測定値のセットを選択する。選択されたサブセットＳｕ_i⊂Ｓは、以下のように表現される。

ここで、αは、拡張された上半身境界ボックスｕ_i〜の、左下隅ｕ_i〜^L＝φ（ｕ_i〜^x，ｕ_i〜^y＋ｕ_i〜^h）の３次元座標と右下隅ｕ_i〜^L＝φ（ｕ_i〜^x＋ｕ_i〜^w，ｕ_i〜^y＋ｕ_i〜^h）の３次元座標との間の角度を表し、ｐｒｏｊ_G（ｓ）は、点ｓの地面Ｇへの投影を表す。さらに、遮蔽物体は、画像入力装置１３２（図１）に対して、より近い又は最も近い物体なので、画像入力装置１４２（図１）に最も近い物体に関連付けられた点のサブセットが、第２検証モジュール１２４（図１）によって選択される。すなわち、第２検証モジュール１２４は、選択されたサブセットＳｕ_iを、Ｓｕ_i＝∪_i=n ^NＳｕ_nとなるように、互いに素のサブセットのセットに分ける。ここでは、隣接する点間の距離が閾値τ（例えば、１メートル）よりも小さい場合には、それらの点を、１つのサブセットにグループ化してもよい。一態様では、第２検証モジュール１２４は、深度測定値の選択されたサブセットＳｕ_iに基づいて、画像入力装置１３２（図１）からの遮蔽物体（本明細書では「オクルーダ物体（ｏｃｃｌｕｄｅｒ ｏｂｊｅｃｔ）」とも称し、交換可能である）の距離を測定する。すなわち、第２検証モジュール１２４は、以下の（６）の値を計算することによって、画像入力装置１３２（図１）からの遮蔽物体の距離を測定することができる。

ここで、ａｖｇ（．）は、点群における平均点（ｍｅａｎ ｐｏｉｎｔ）を表し、式（６）は、拡張された上半身境界ボックスｕ_i〜の方向において画像入力装置に最も近い物体の深度を表す。

図４の方法を再び参照すると、ブロック４１２において、本方法は、遮蔽物体が、拡張された身体一部の境界ボックスよりも画像入力装置に近いかどうかを判定することを含む。一態様では、第２検証モジュール１２４は、（例えば、図１に示すプロセッサ１２０及び／又はメモリ１０６と協働して）、遮蔽物体が、拡張された上半身境界ボックスｕ_i〜よりも、画像入力装置１３２（図１）に近いかどうかを判定する。第２検証モジュール１２４は、以下の条件が満たされた場合、遮蔽物体は、拡張された上半身境界ボックスｕ_i〜よりも、画像入力装置１３２（図１）に近いと判定する。

ここで、ａｖｇ（．）は、点群の平均点を表す。式（７）に従って、第２検証モジュール１２４が、遮蔽物体は拡張された上半身境界ボックスｕ_i〜よりも画像入力装置１３２（図１）に近いと判定した場合、部分ベースのボディ検出器１１０（図１）による部分的に遮蔽された物体の検出は正確であると、ブロック４１４において、確認される。そうでない場合は、部分ベースのボディ検出器１１０（図１）による部分的に遮蔽された物体の検出は不正確であると、ブロック４１６において、判定される。

図３及び図４において説明された、部分的に遮蔽された物体の検出を検証するための方法は、共に実行されてもよいし、或いは、別々に実行されてもよいと理解されるべきである。例えば、図３及び図４の方法が共に実行される場合、第１検証モジュール１２２又は第２検証モジュール１２４の少なくとも１つが（例えば、図１に示されるようなプロセッサ１２０及び／又はメモリ１０６と協働して）、部分的に遮蔽された物体の検出が正確であることを検証することで、部分的に遮られた物体の検出が検証される。

本開示の様々な態様によれば、運転シーンにおける部分的に遮られた物体（例えば、部分的に遮られた歩行者）の検出及び検証は、車両システム１３０（例えば、ＡＤＡＳ）に送信され、車両システム１３０は、それに応じて、種々の車両システムを調整し、及び／又は他の対応策をとる。

本明細書で説明される態様は、コンピュータ実行可能命令を格納する非一過性コンピュータ可読記憶媒体との関連において、説明され実施されてもよい。非一過性コンピュータ可読記憶媒体は、コンピュータ記憶媒体及び通信媒体を含む。例えば、フラッシュメモリドライブ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、フロッピーディスク、テープカセット等である。非一過性コンピュータ可読記憶媒体としては、コンピュータ可読命令、データ構造、モジュール又は他のデータのような情報を記憶するための任意の方法又は技術で実施される揮発性及び不揮発性媒体、取り外し可能な媒体及び取り外し不可能な媒体が挙げられる。非一過性コンピュータ可読記憶媒体としては、一時的且つ伝搬されたデータ信号を除く。

上記に開示された特徴及び機能、及び他の特徴及び機能、又はその代替形態又は変形形態の様々な実施形態を望ましいように組み合わせて、多くの他の異なるシステム又はアプリケーションとして構成してもよいことは理解されよう。 また、以下の請求項に包含されることが意図されるが、現在は予測されていない、又は予想されていない種々の代替、変形、変更、又は改良は、当業者であれば、引き続き行うことができる。

Claims (20)

1. 第１の物体の検出を検証する方法であって、前記第１の物体は車両に関連する第２の物体によって部分的に遮られており、該方法は、
   画像入力装置を介して画像情報を受け取るステップと、
   前記第１の物体に対応する前記画像情報における第１画像の境界を示す第１検出ウィンドウを決定するステップと、
   前記第２の物体に対応する前記画像情報における第２画像の境界を示す第２検出ウィンドウを決定するステップと、
   前記第１検出ウィンドウと前記第２検出ウィンドウとが重なっているか否かを判断するステップと、
   前記第１検出ウィンドウまでの第１距離と前記第２検出ウィンドウまでの第２距離とを決定するステップと、
   前記第１距離と前記第２距離とを比較するステップと、
   前記第１距離が前記第２距離よりも大きい場合、前記第１の物体は前記第２の物体によって部分的に遮られていると確証するステップと、
   を有する、
   方法。
2. 請求項１記載の方法において、
   前記第１の物体は前記第２の物体によって部分的に遮られていると確証する前記ステップは、
   深度センサから、前記深度センサと前記第２の物体との間の測定距離に対応する入力を受け取るステップと、
   前記第１距離と前記測定距離とを比較するステップと、
   前記第１距離が前記測定距離よりも大きいことを確証するステップと、
   をさらに有する、
   方法。
3. 請求項１記載の方法において、
   前記第１の物体はヒトである、
   方法。
4. 請求項１記載の方法において、
   前記第１の物体は、ヒト、自転車、オートバイ、動物からなる群から選択される、
   方法。
5. 請求項１記載の方法において、
   前記画像入力装置はカメラである、
   方法。
6. 請求項５記載の方法において、
   前記カメラは前記車両に搭載される、
   方法。
7. 請求項１記載の方法において、
   前記第１検出ウィンドウと前記第２検出ウィンドウとが重なっているかどうかを判断する前記ステップは、
   前記第１画像は部分的な画像であるかどうかを判定するステップを含む、
   方法。
8. 請求項７記載の方法において、
   前記第１画像はヒトであり、
   前記第１画像は部分的な画像であるかどうかを判定する前記ステップは、
   前記第１画像の少なくとも一部に対して、ヒト認識を適用するステップを含む、
   方法。
9. 請求項２記載の方法において、
   前記深度センサは、ＬＩＤＡＲ装置、ＲＡＤＡＲ装置、ステレオカメラシステムからなる群から選択される、
   方法。
10. 第１の物体の検出を検証する方法であって、前記第１の物体は車両に関連する第２の物体によって部分的に遮られ、該方法は、
    画像入力装置を介して画像情報を受け取るステップと、
    前記第１の物体に対応する前記画像情報における第１画像の境界を示す第１検出ウィンドウを決定するステップと、
    前記第２の物体に対応する前記画像情報における第２画像の境界を示す第２検出ウィンドウを決定するステップと、
    前記第１検出ウィンドウと前記第２検出ウィンドウとが重なっているかどうかを判断するステップと、
    前記第１検出ウィンドウまでの第１距離を決定するステップと、
    深度センサから、前記深度センサと前記第２の物体との間の測定距離に対応する入力を受け取るステップと、
    前記第１距離と前記測定距離とを比較するステップと、
    前記第１距離が前記測定距離よりも大きい場合、前記第１の物体は前記第２の物体によって部分的に遮られていると確証するステップと、
    有する、方法。
11. 第１の物体の検出を検証するシステムであって、前記第１の物体は車両に関連する第２の物体によって部分的に遮られ、該システムは、
    画像情報を受け取る画像入力装置と、
    前記第１の物体に対応する前記画像情報における第１画像の境界を示す第１検出ウィンドウを決定し、また前記第２の物体に対応する前記画像情報における第２画像の境界を示す第２検出ウィンドウを決定する物体検出器と、
    コンピュータ通信可能に、前記画像入力装置及び前記物体検出器に動作可能に接続されたプロセッサと、
    を備え、
    前記プロセッサは、
    前記第１検出ウィンドウと前記第２検出ウィンドウとが重なっているかどうかを判断し、
    前記第１検出ウィンドウと前記第２検出ウィンドウとが重なっている場合、前記第１の物体までの第１距離と前記第２の物体までの第２距離とを決定し、
    前記第１距離が前記第２距離よりも大きい場合、前記第１の物体は部分的に遮られていると確証する、
    システム。
12. 請求項１１記載のシステムにおいて、
    前記第１の物体までの第１距離と前記第２の物体までの第２距離とを決定する際、前記プロセッサは、
    前記第１検出ウィンドウのための位置情報と受け取った前記画像情報とを用いて、前記第１の物体までの第１距離を決定する、
    システム。
13. 請求項１２記載のシステムにおいて、
    前記第１の物体までの第１距離と前記第２の物体までの第２距離とを決定する際、前記プロセッサは、
    前記第２検出ウィンドウのための位置情報と受け取った前記画像情報とを用いて、前記第２の物体までの第２距離を決定する、
    システム。
14. 請求項１２記載のシステムにおいて、
    該システムはさらに深度センサを備え、
    前記第１の物体までの第１距離と前記第２の物体までの第２距離とを決定する際、前記プロセッサは、
    前記深度センサと前記第２の物体との間の距離に対応する深度センサ入力を、前記第２距離として受け取る、
    システム。
15. 請求項１１記載のシステムにおいて、
    前記第１の物体はヒトである、
    システム。
16. 請求項１１記載のシステムにおいて、
    前記画像入力装置はカメラである、
    システム。
17. 請求項１６記載のシステムにおいて、
    前記カメラは前記車両に搭載される、
    システム。
18. 請求項１１記載のシステムにおいて、
    前記第１検出ウィンドウと前記第２検出ウィンドウとが重なっているかどうかを判断する際、前記第１画像は部分的な画像であるかどうかを判定する、
    システム。
19. 請求項１８記載のシステムにおいて、
    前記第１画像はヒトであり、
    前記第１画像は部分的な画像であるかどうかを判定する際、
    前記第１画像の少なくとも一部に対して、ヒト認識を適用する、
    システム。
20. 請求項１４記載のシステムにおいて、
    前記深度センサは、ＬＩＤＡＲ装置、ＲＡＤＡＲ装置、ステレオカメラシステムからなる群から選択される、
    システム。

Images