JP2015082326A

JP2015082326A - 交差点における画像及び地図に基づく車両の検出法

Info

Publication number: JP2015082326A
Application number: JP2014215515A
Authority: JP
Inventors: 文洋奥村; Fumihiro Okumura
Original assignee: Toyota Motor Engineering and Manufacturing North America Inc; Toyota Engineering and Manufacturing North America Inc
Current assignee: Toyota Motor Engineering and Manufacturing North America Inc
Priority date: 2013-10-23
Filing date: 2014-10-22
Publication date: 2015-04-27
Anticipated expiration: 2034-10-22
Also published as: US20150110344A1; JP6317230B2; DE102014114939A1; US9495602B2

Abstract

【課題】交差点において画像及び地図に基づいて車両を検出するシステム、デバイス及び方法を提供すること。
【解決手段】物体を検出する一つの例示的なコンピュータ実行式方法は、車両上に配設された一つ以上のセンサから、画像を表す画像データを受信する段階と、上記画像上の物体を検出する段階とを含む。上記方法は更に、上記車両から、上記画像上の上記検出済み物体まで延在する経路を特定する段階と、車線情報を含む地図データを検索読取りする段階とを含む。上記方法は更に、上記経路を、上記車線情報の表現物に対して比較する段階と、上記経路、上記車線情報の表現物、及び、上記画像の比較に基づいて上記検出済み物体の位置を決定する段階とを含む。
【選択図】図８

Description

例えば、自己駆動式または自律式の車両において、全自動式の駆動システムは、運転者の相互作用または他の外部制御なしで、道路上で車両を操作すべく設計される。

自律的な車両操作は、自律的車両と、周囲環境における他の車両の如き該自律的車両の近傍の物体と、の両方の位置及び速度の確実性を必要とする。

例えば、カメラ画像、ライダ(lidar)もしくはレーダの帰還データ、または、他のセンサに基づくデータの処理に基づき、物体を検出かつ追尾することで、当該自律的車両に関する他の車両の位置及び速度を算出する既存の方法は、自律的車両を交差点において操作するために必要な測距、処理速度、または、高レベルの精度を有さない。

物体検出のためのシステム、デバイス及び方法が開示される。物体検出システムは、高信頼性の検出アルゴリズムと、持続的追尾アルゴリズムと、車線情報を含む地図データとを組み合わせることで、例えば移動車両などの物体の位置を正確に検出し得る。上記物体検出システムは、画像データを用いて自律的車両と検出済み物体との間に経路(path)または射線(ray)を算出し、且つ、この経路を上記地図データ上に投影することで、上記検出済み物体に対する複数の候補位置を決定し得る。次に、比較と、最も少ない誤差の決定とのために、上記経路に沿う各候補位置を上記画像上に戻し投影することにより、上記検出済み物体の実際位置が算出され得る。

一実施形態においては、物体検出システムが開示される。該システムは、車両上に配設された一つ以上のセンサと、上記一つ以上のセンサと通信するコンピュータ処理デバイスとを含む。上記コンピュータ処理デバイスは、該コンピュータ処理デバイスの動作を制御する一つ以上のプロセッサと、上記一つ以上のプロセッサにより使用されるデータ及びプログラム命令を記憶するメモリとを含む。上記一つ以上のプロセッサは、上記メモリに記憶された命令を実行することで、上記一つ以上のセンサから、画像を表す画像データを受信し、上記画像上の物体を検出し、上記車両から、上記画像上の上記検出済み物体まで延在する経路を特定し、車線情報を含む地図データを検索読取りし、上記経路を、上記車線情報の表現物に対して比較し、且つ、上記経路及び上記画像の比較に基づいて上記検出済み物体の位置を決定する、ように構成される。

別の実施形態においては、自律的ナビゲーションのためのコンピュータ実行式方法が開示される。該方法は、車両上に配設された一つ以上のセンサから、画像を表す画像データを受信する段階と、上記画像上の物体を検出する段階と、上記車両から、上記画像上の上記検出済み物体まで延在する経路を特定する段階と、車線情報を含む地図データを検索読取りする段階と、上記経路を、上記車線情報の表現物に対して比較する段階と、上記経路及び上記画像の比較に基づいて上記検出済み物体の位置を決定する段階とを含む。

別の実施形態においては、コンピュータ処理デバイスが開示される。該コンピュータ処理デバイスは、該コンピュータ処理デバイスの動作を制御する一つ以上のプロセッサと、上記一つ以上のプロセッサにより使用されるデータ及びプログラム命令を記憶するメモリとを含む。上記一つ以上のプロセッサは、上記メモリに記憶された命令を実行することで、車両上に配設された一つ以上のセンサから、画像を表す画像データを受信し、上記画像上の物体を検出し、上記車両から、上記画像上の上記検出済み物体まで延在する経路を特定し、車線情報を含む地図データを検索読取りし、上記経路を、上記車線情報の表現物に対して比較し、且つ、上記経路及び上記画像の比較に基づいて上記検出済み物体の位置を決定する、ように構成される。

本記述内容は、幾つかの図を通して同様の参照番号は同様の部材を指すという添付図面を参照する。

コンピュータ処理デバイスのブロック図である。図１のコンピュータ処理デバイスを含む自律的車両の例示的な交差点における平面視での表現を示す図である。図２の自律的車両及び交差点の例示的な地図表現物を示す図である。図２の交差点の片側の例示的画像上への、図３の地図表現物の投影物を示す図である。図２及び図３の交差点の片側の別の例示的画像を示す図である。自律的車両200から、検出済み物体まで延在する経路600の、図２及び図３の交差点の別の例示的な地図表現物上への投影物を示す図である。図６の地図表現物から図５の画像上への、検出済み物体の候補位置の投影物を示す図である。図１のコンピュータ処理デバイスにより実施される処理の論理フローチャートである。

以下においては、物体検出システム及び方法、及び、上記システムを実現するデバイスが記述される。上記システムを使用する方法において、自律的車両上に配設された一つ以上のセンサは、例えば、２つ以上の道路の交差点の片側などの画像を表す画像データを受信し得る。上記システムを実現するコンピュータ処理デバイスは、上記画像上の物体であって、例えば、上記自律的車両に向かって到来しまたは該自律的車両から離間して移動する移動車両などであるという物体を検出し得る。上記コンピュータ処理デバイスは、上記自律的車両から、上記画像上の上記検出済み物体まで延在する経路を特定すると共に、例えば、上記自律的車両が配置されている上記交差点を表す車線情報を含む地図データを検索読取りし得る。上記コンピュータ処理デバイスは、上記経路を上記車線情報の表現物と比較することで、例えば、上記検出済み物体に対する候補位置を決定し得ると共に、上記経路と上記画像との比較に基づき、上記検出済み物体の実際位置を決定し得る。

図１は、コンピュータ処理デバイス100のブロック図である。コンピュータ処理デバイス100は、車両搭載式、携帯式、デスクトップ式、または、他の形態の単一のコンピュータ処理デバイスの内の任意の形式とされ得るか、または、複数のコンピュータ処理デバイスで構成され得る。コンピュータ処理デバイス100におけるCPU102は、習用の中央処理ユニット、または、情報を操作もしくは処理し得る他の任意の形式の一つのデバイスもしくは複数のデバイスであり得る。コンピュータ処理デバイス100におけるメモリ104は、ランダム・アクセス・メモリ・デバイス(RAM)、または、任意の他の適切な形式の記憶デバイスであり得る。メモリ104は、CPU102によりバス108を用いてアクセスされるデータ106を含み得る。メモリ104はまた、オペレーティング・システム110及びインストール済みアプリケーション112を含み得、該インストール済みアプリケーション112は、本明細書に記述される画像及び地図に基づく検出方法をCPU102が実施することを許容するプログラムを含んでいる。

コンピュータ処理デバイス100はまた、例えば、メモリ・カード、フラッシュ・ドライブ、または、他の任意の形態の可読媒体などの、補助的、付加的、または、外部の記憶装置114も含み得る。インストール済みアプリケーション112は、補助記憶装置114の全体もしくは一部内に記憶されると共に、処理のために必要なときにメモリ104へとロードされる。コンピュータ処理デバイス100はまた、一つ以上のセンサ116に対しても結合され得る。各センサ116は、慣性測定ユニット(IMU)、推測航法システム、全地球的航法衛星システム(GNSS)、光検出と測距(LIDAR)システム、レーダ・システム、ソナー・システム、画像センサ・システム、或いは、自律的車両、他の車両、歩行者の如き物体を捕捉もしくは検出し得る他の任意の形式のシステム、による処理のためのデータ及び／または信号、或いは、他の局所的な位置データ及び／または信号を、受信、捕捉もしくは提供し得ると共に、対応するデータ及び／または信号をCPU102に対して出力し得る。

各センサ116はまた、上記車両に対するｘ、ｙ及びｚ軸位置、速度、加速度、回転角度、及び、回転角速度の夫々の変化を表すデータも捕捉し得る。もし各センサ116が推測航法システムに対するデータを捕捉するなら、車輪回転速度、踏破距離、操舵角、及び、操舵角速度に関連するデータが捕捉され得る。もし各センサ116がGNSSに対する信号を捕捉するなら、受信器は、全地球的座標において評価された車両位置及び速度を算出し得る。３次元の三角測量及び時間評価を用いて自律的車両の位置及び速度を評価するためには、複数の衛星が使用され得る。もし各センサ116がLIDARシステムに対するデータを捕捉するなら、上記車両を囲繞する領域の強度もしくは反射率の帰還物に関する測距データが、捕捉され得る。もし各センサ116が、例えば単眼カメラを用いて画像を捕捉するなら、時間系列の複数の画像が捕捉され得ると共に、該画像は、自律的車両の近傍の物体の位置及び速度を評価するために使用され得る。

以下に記述される例において、各センサ116は、少なくとも：自律的車両を囲繞する環境の画像、及び、車両の速度、加速度、減速度、位置及び配向を評価する推測航法システムもしくは他のシステムに対するデータ；自律的車両の位置及び速度を決定するGNSSまたは他のシステムに対する信号；及び、LIDARシステム、レーダ・システムに対する、または、(例えば、道路表面の標識もしくは道路の境界などの)道路ライン、障害物、他の車両、もしくは、信号機及び道路標識などの他の環境的特定構造からの車両距離を測定する他のシステムに対する、データ；を捕捉し得る。

図２は、例示的な交差点における、図１のコンピュータ処理デバイス100を含む自律的車両200の平面視での表現を示している。自律的車両200は、２つの道路202、204の三方向交差点において停止しているものとして、上方から示される。自律的車両200が現在において踏破しつつある道路202は、２本の車線206、208を含んでいる。交差する道路204もまた、２本の車線210、212を含んでいる。この例において、車線206、208、210、212の各々は、各道路202、204の一方の点線のセンターライン及び道路縁部により特定される。この例において示された道路202、204の交差点においては合計で４本の車線206、208、210、212が存在するが、自律的車両200は、任意の可能的な形式の車線分割体を有する任意の可能的な本数の車線を備える交差点に遭遇することがある。

図１のコンピュータ処理デバイス100は、図２に示された如く自律的車両200内に配置され得るか、または、(不図示の)代替的な箇所において自律的車両200から遠隔的に配置され得る。もしコンピュータ処理デバイス100が遠隔的であるなら、自律的車両200は、コンピュータ処理デバイス100と通信する能力を含み得る。自律的車両200はまた、図１に関して記述された各センサ116などの複数のセンサを含み得る。示された各センサ116の内の一つ以上のセンサは：自律的車両200の位置及び配向を評価すべくカルマン・フィルタにより使用される速度及び加速度、車輪回転速度及び距離の変化；推測航法システムに対する操舵角；画像センサによる処理のための画像；複数の衛星からの信号に基づく全地球的座標における車両位置；または、自律的車両200の環境に関する該自律的車両、及び、該自律的車両200に関する環境における他の物体もしくは他の車両、の両方の速度及び位置を決定すべく使用され得る他の任意のデータ及び／または信号；を捕捉すべく構成され得る。

図３は、図２の自律的車両200及び交差点の例示的な地図表現物を示している。上記地図表現物は、コンピュータ処理デバイス100によりアクセスされた地図データに基づき得るものであり、該地図データは、車線の本数、各車線の箇所、各車線の方向、各車線の幅の如き車線情報を含んでいる。地図データの一つの例示的な供給源は、一般的に利用できる道路ネットワーク定義ファイル(RNDF)であるが、上記地図表現物を生成するためには、例えば、車線ネットワーク・グラフまたはOpenStreetMap（登録商標）などの地図データの他の供給源が使用され得る。上記地図表現物に対して使用される地図データの部分は、例えば、GNSSまたは他のセンサ116を用いて決定された自律的車両200の位置に基づいて選択され得る。上記地図表現物上には、GNSSまたは他のセンサ116により算出された自律的車両200の位置も示される。

この例示的な地図表現物は、図２において記述された如く、自律的車両200を、道路202及び204の交差点における車線206に存在するものとして示している。車線206、208、210、212は、自律的車両200の位置の近傍の各道路の実際の物理的な車線の２次元的表現物である。これに加え、上記地図表現物は、例えば、車線206から車線212へ、車線212から車線208へ、車線210から車線208へなど、車線206、208、210、212における車両が踏破するときに辿り得る旋回経路に対する表示内容を含んでいる。図３の地図表現物は、各センサ116の内の一つ以上のセンサにより捕捉された画像300と併せて使用されることで、図４に関して記述される如く本開示内容において記述される種々の方法を実施するために必要とされる処理の量を制限し得る。

図４は、図２の交差点の片側の画像300上への、図３の地図表現物の投影物を示している。この例において、車線206、208、210、212の交差点の左側の画像300は、自律的車両200に配設された各センサ116の内の一つであるカメラにより捕捉され得る。図３の地図データにおいては、画像300が捕捉された箇所が表される一方、図４には画像300が示される。上記地図データを用い、自律的車両200に関する車線210、212の表現物は、画像300上へと投影され、点線400、402として示される。すなわち、車線210は点線400により表され、且つ、車線212は点線402により表される。

画像300上へと車線210、212が点線400、402の形態で一旦投影されたなら、車線210、212に沿い、境界付けボックス406の如き境界付けボックスが構築され得る。各境界付けボックスは、車線210、212に沿って物体が存在することが多い領域を表している。各境界付けボックスは、種々のサイズの物体の検出を考慮すべく設計された所定の安全量を含むべく構築され得る。図４に示された如く、画像300の右下において自律的車両200に最も近い各境界付けボックスは、最大であり、自律的車両200に最も近い物体を表している。画像300の左下において自律的車両200から最も遠い各境界付けボックスは、最小であり、依然として画像300内に存在し乍らも自律的車両200から最も遠い物体を表している。画像300上へと一旦投影されたなら、各境界付けボックスは、画像300上において関心対象となる領域、すなわち、画像300の領域であって、例えば、上記交差点に接近しまたは離脱する車両の如き移動物体などの物体を検出すべく解析され得るという領域を定義すべく使用され得る。物体検出法は、図５に関して更に記述される。

図５は、図２及び図３の交差点の左側の別の例示的な画像500を示している。画像500においては、自律的車両200の操作に関連する２つの物体、すなわち、移動車両502及び移動車両504が視覚的に検出され得る。移動車両502は、通常は車線210において、図２及び図３の交差点に向かい到来しつつあり、且つ、移動車両504は、通常は車線212において、図２及び図３の交差点から離間して移動しつつある。この画像500を自律的ナビゲーションに対して使用するために、移動車両502、504及び他の任意の関連する物体は、コンピュータ処理デバイス100により検出される必要がある。

画像500を処理するためには、種々の形式の物体検出法が使用され得る。物体を検出するために必要とされる処理の量は、画像500において関心対象となる領域のみを処理することにより、減少され得る。画像500において関心対象となる領域は、図４及び画像300に関して論じられたのと同一の様式で決定され得る。関心対象となる領域が一旦決定されたなら、画像500内の物体を迅速に検出すべく、例えば、グラフィック処理ユニット(GPU)を用いて実現されるスライディング・ウィンドウ(sliding window)技術を伴うカスケード式検出器(cascaded detector)などの検出アルゴリズムが使用され得る。カスケード式検出器の一例において、物体候補は、予備的段階においては有向勾配のヒストグラム(HOG)に基づき、且つ、後時の段階においてはHOGに基づく特徴の相互作用及び可能的な組み合わせに基づいて、検出される。画像500上の物体検出のための検出アルゴリズムと組み合わせて、関心対象となる領域を用いると、コンピュータ処理時間は２／３まで減少され得る。これに加え、上記検出アルゴリズムは、例えば、全てのフレームの代わりに、２つまたは３つの画像フレーム毎に実行されることで、コンピュータ処理時間を更に減少し得る。自律的車両200を操作する際には、高速のコンピュータ処理時間が望ましい。

コンピュータ処理デバイス100により実施された物体検出アルゴリズムからの少なくとも一つの結果、すなわち、検出済み物体の位置は、画像500上に境界付けボックス506の形態で表され得る。図５における例において、境界付けボックス506は移動車両502を囲繞しており、画像500上の移動車両502の位置を表示している。これに加え、移動車両502に対する運動方向は、画像500上における移動車両502の視覚的な属性に基づいて決定され得る。例えば、ヘッドライト、フロントグリルの存在、サイドミラーの位置、または、移動車両502上に存在する他の特定構造は、移動車両502の運動方向は該移動車両502が画像500を捕捉した自律的車両200に向かう如きであることを表し得る。

検出済み物体に対する運動方向は、例えば、移動車両502を囲繞する境界付けボックス506の箇所などの、検出済み物体の位置同士を、時系列化された２つ以上の画像において比較することによっても決定され得る。時系列化された複数の画像間で境界付けボックス506が移動する方向は、移動車両502の運動方向を表し得る。同様に、検出済み物体に対する速度は、時系列化された２つ以上の画像における、検出済み物体の位置の比較に基づいて決定され得る。移動車両502の如き検出済み物体の運動方向及び速度を解明することは、検出済み物体が自律的車両200に関して移動するときに該物体を追尾する上で有用である。

移動物体の位置、方向及び速度を決定することは、全て、持続的追尾方式の一部であり得る。上記持続的追尾方式はまた、“一群のトラッカ(tracker)”アルゴリズム、及び、“学習及び再検出”アルゴリズムの如きアルゴリズムなどの、複数の追尾アルゴリズム間で適応的に切換える段階も含み得る。複数の追尾アルゴリズム間で切換えると、追尾能率が向上されると共に、持続的追尾の全体的なコンピュータ処理負担が減少され得る。物体検出及び追尾精度の対する更なる向上は、図６及び図７に関して記述される。

図６は、自律的車両200から、検出済み物体まで延在する経路600の、図２及び図３の交差点の別の例示的な地図表現物上への投影物を示している。図６における地図表現物は、図２及び図３の交差点の部分的上面図であり、該地図表現物は、コンピュータ処理デバイス100により検索読取りされた地図データであって、少なくとも、自律的車両200の近傍の交差点に固有の車線情報を含むという地図データに基づき得る。この例示的な地図表現物において、車線210、212は各々、２つのセグメントもしくは半体で表現されることで、車線210、212における検出済み物体の多くの可能的箇所が考慮される。車線セグメントの個数は変更され得ると共に、上記地図表現物は、車線210、212間の、または、それらの外側のセグメントを含むことで、検出済み物体の種々の可能的な位置も考慮し得る。

経路600は、代表的な画像上での自律的車両200に関する検出済み物体の位置に基づいて生成される。この例において、経路600は、自律的車両200から画像500を捕捉しているセンサ116に関する境界付けボックス506に基づいている。経路600は上記地図表現物上へと投影されると共に、該経路は、一旦投影されたなら、上記地図表現物内に存在する車線情報と比較され、例えば、画像500上での検出済み物体に対する一つ以上の候補位置を決定し得る。検出済み物体の候補位置の各々は、ワールド座標系において２次元ベクトルとして評価され得る。

図６の例においては、車線210、212上への経路600の投影物に基づき、４つの候補位置602a〜dが示される。候補位置602a〜dの各々は、表現された車線210、212の各車線セグメントの内の一つの車線セグメント内に示される。候補位置602a〜dは、上記車線情報と上記経路との交錯領域同士の間に配置され得る。上記交錯領域とは、例えば、各車線セグメントの境界と、経路600の境界とが交錯する箇所であり得る。上記経路の境界は、画像500から投影される点線矢印で示され、且つ、各車線セグメントの境界は、車線210、212を構成する実線で示される。

候補位置602a〜dは、例えば、方向性配向情報などの運動方向の表現物も含み得る。図６の例示的な地図表現物において、車線210の各セグメントにおける２つの候補位置602a、bは、方向表示体604a、bを含んでいる。方向表示体604a、bは、自律的車両200に向けて指向された尖頭端部を示すことにより、これらの候補位置602a、bにより表された検出済み物体は、自律的車両200に向かっていることを示している。同様に、車線212の各セグメントにおける２つの候補位置602c、dは、検出済み物体が自律的車両200から離間した方に向かっていることを示す方向表示体604c、dを含む。方向表示体604a〜dは、車線210、212に対して関係付けられた車線情報、画像500における検出済み物体の視覚的属性、または、上述された検出／追尾アルゴリズムを用いて生成された他の情報に基づき得る。この例において、方向表示体604a〜dは、上記地図表現物を構築すべく使用された車線情報に基づいている。

経路600に沿う方向表示体604a〜d及び候補位置602a〜dはいずれも、自律的車両200に関する検出済み物体の位置を決定するために有用である。この例において、検出済み物体は、図５における画像500上の境界付けボックス506により表された移動車両502である。画像500上の境界付けボックス506のサイズによれば、自律的車両200から移動車両502までの概算距離が算出され得るが、この距離は、検出済み物体の厳密な位置を決定するために十分な精度ではない。

図７は、図６の地図表現物から図５の画像500上への、この例においては移動車両502である検出済み物体の候補位置602a〜dの投影物を示している。各投影物に対する適切なサイズを決定するために、コンピュータ処理デバイス100によれば、図６における車線210、212の地図表現物上の各候補位置602a〜dの箇所に基づき、自律的車両200から各候補位置602a〜dまでの距離が算出される。画像500上への候補位置602a〜dの投影物は、この距離を、候補位置602a〜dの各々のサイズを用いることで考慮する。例えば、候補位置602aの投影物は画像500上で最大に出現し、且つ、候補位置602dの投影物は画像500上で最小に出現する。

候補位置602a〜dの投影物を画像500と比較することにより、上記コンピュータ処理デバイスは、候補位置602bが移動車両502に対する最も正確な位置を表すことを決定し得る。候補位置602a、602c、602dの他の投影物の各々は、移動車両502よりも小さく、または、移動車両502よりも相当に大きく、すなわち、候補位置602a、602c、602dの投影物を表す各境界付けボックスは、検出された移動車両502に適合しない。検出済み物体の位置の決定は、該検出済み物体の運動方向にも基づき得る。画像500上の移動車両502の視覚的属性、もしくは、図６における地図表現物上で投影された経路600に沿う方向表示体604a〜dのいずれか、または、その両方を用いることにより、コンピュータ処理デバイス100は、検出済み物体が自律的車両200に向かって移動していることを決定し得る。故に、検出済み物体が自律的車両200から離間して移動することを示す候補位置602c、dは、経路600と画像500との最終的な比較の前に、検出済み物体に対する可能的な実際位置としては、排除され得る。

検出済み物体の候補位置602a〜dのいずれが実際位置であるかを、経路600及び画像500の比較に基づいて決定する上で、コンピュータ処理デバイス100は、種々の候補位置602a〜dの各々に対する誤差関数の最小値を見出すべく構成され得る。上記誤差関数は、例えば、以下の如く定義され得る：

E(p)＝αE_Road(p)＋βE_RayH(p)＋γE_RayV(p)
α、β及びγ＝誤差の重み
E_Road(p)＝min_r⊂Road(｜p−r｜)
E_RayH(p)＝｜p−c＋(p*v)v)｜
E_RayV(p)＝｜p*v−d｜
p＝候補位置602a〜dの中心
r＝ウェイポイント(waypoint)の位置(
c＝センサ116(カメラ)の主点
v＝経路600の正規化方向
d＝カメラから候補位置602a〜dまでの距離

上記の誤差関数において、αの大きな値は、道路204の形状に対する強い制約を提供し得る。これに加え、上記誤差関数は、道路204の形状及び経路600の方向に依存する多くの極小値を有し得る。検出済み物体の実際位置を候補位置602a〜dに基づいて決定する上では、例えば、捕捉された画像500において境界付けボックス506までの距離を単純に算出するよりも、経路600の方向は更に正確であることが判明している。

上記実施例において記述された物体の検出／追尾アルゴリズムは、物体検出と、持続的追尾と、車線情報を含む地図データとを組み合わせることで、自律的ナビゲーションにおいて使用されるために、例えば、図５及び図７に示された画像500における移動車両502などの検出済み物体の実際位置を決定する。上記検出／追尾アルゴリズムを実行するときに、コンピュータ処理デバイス100の各資源の使用は、画像500の処理を、関心対象となる領域に制限することにより最適化され得る。上記検出／追尾アルゴリズムは、高信頼性の検出及び持続的追尾を組み合わせることで、検出性能を向上させ、且つ、コンピュータ処理負担を低減する。

図８は、図１のコンピュータ処理デバイスにより実施される処理の論理フローチャートを示している。処理800のステップ802において、コンピュータ処理デバイス100は、一つ以上のセンサから、画像を表す画像データを受信し得る。例えば、図４、図５及び図７の画像300、500は、図２、図３及び図６の自律的車両200上に配設された各センサ116の内の一つのセンサの役割を果たす単眼カメラにより、捕捉され得る。一つ以上のセンサにより捕捉された画像データは、コンピュータ処理デバイス100により解析されることで、処理800のステップ804において、上記画像上の物体を検出し得る。上記物体を検出する上記アルゴリズムは、図５に関して先に記述されたカスケード式検出器を用いて上記画像データを処理する段階を含み得る。例えば、画像500においては移動車両502が検出され得ると共に、画像500上の移動車両502の位置を表すものとして、移動車両502に対しては境界付けボックス506が関連付けられ得る。物体を検出する上記アルゴリズムはまた、上記画像内で関心対象となる領域に限定されることで、図４に関して記述された必要なコンピュータ処理を制限もし得る。

処理800のステップ806において、コンピュータ処理デバイス100は、上記画像上で、自律的車両200から検出済み物体まで延在する経路を特定し得る。例えば、経路600は、図５に示された画像500と関係付けられた２次元座標空間において、自律的車両200の位置から移動車両502の位置まで延在すると算出され得る。処理800のステップ808において、コンピュータ処理デバイス100は、車線の本数及び各車線の方向の如き車線情報を含む地図データを検索読取りし得る。上記地図データは、例えば、コンピュータ処理デバイス100のメモリ104もしくは記憶装置114、RNDFの如き地図データの外部供給源、別の車線ネットワーク・グラフ、または、OpenStreetMap（登録商標）から検索読取りされ得る。

処理800のステップ810において、コンピュータ処理デバイス100は、例えば経路600などの経路を、図６の車線210、212の平面図などの車線情報の表現物と比較し得る。上記経路を上記車線情報の表現物と比較する上記段階は、上記画像上における検出済み物体に対する一つ以上の候補位置を決定する段階を含み得る。例えば、図６における車線情報の表現物上の候補位置602a〜dの箇所は、各々、経路600が上記車線情報に対して投影されたときにおける上記車線情報と経路600との交錯領域同士の間に位置すべく構成される。この例において、車線210、212は各々、２つの車線セグメントを含んでいる。各車線セグメントの実線の境界は経路600の点線の境界と交錯し、各交錯領域を形成し得る。候補位置602a〜dは、一つの候補位置が各車線セグメント内として、上記交錯領域同士の間に存在する。

処理800のステップ812において、コンピュータ処理デバイス100は、上記経路と上記画像との比較に基づき、検出済み物体の位置を決定し得る。例えば、経路600に沿い存在する候補位置602a〜dの各々は、画像500上へと戻し投影され得る。各候補位置602a〜dのサイズは、自律的車両200から、投影された各候補位置602a〜dまでの距離を表し得る。候補位置602a〜dのいずれが、検出済み物体の実際位置であるかを決定する段階は、この例においては、候補位置602a〜dのサイズを、画像500における移動車両502と比較して、もっとも誤差が少ない適合物を見出す段階を含む。

検出済み物体の実際位置はまた、該検出済み物体の運動方向であって、例えば画像500などの画像上での該検出済み物体の視覚的属性と、時系列化された２つ以上の画像における検出済み物体の位置の比較と、の内の少なくとも一方に基づいて決定されたという運動方向にも基づき得る。車線情報と画像とに対する経路の比較を用いた検出済み物体の実際位置の決定に加え、コンピュータ処理デバイス100は、時系列化された２つ以上の画像における検出済み物体の位置の比較に基づき、検出済み物体に対する速度も決定し得る。検出済み物体の実際位置を決定した後、処理800は終了する。

上述の説明は、現在において最も実用的な実施例と考えられるものに関している。但し、本開示内容は、これらの実施例に限られるのではなく、逆に、添付の各請求項の精神及び有効範囲であって、法に基づいて許される如き全ての改変例及び等価的な構造の全てを包含すべく最も広範な解釈に一致するという有効範囲内に含まれる種々の改変例及び等価的な配置構成を網羅することが意図されることは理解されるべきである。

本発明は以下のように構成されうる。
システム１．
車両上に配設された一つ以上のセンサと、
前記一つ以上のセンサと通信するコンピュータ処理デバイスであって、
該コンピュータ処理デバイスの動作を制御する一つ以上のプロセッサと、
前記一つ以上のプロセッサにより使用されるデータ及びプログラム命令を記憶するメモリであって、
前記一つ以上のプロセッサは、当該メモリに記憶された命令を実行することで、
前記一つ以上のセンサから、画像を表す画像データを受信し、
前記画像上の物体を検出し、
前記車両から、前記画像上の前記検出済み物体まで延在する経路を特定し、
車線情報を含む地図データを検索読取りし、
前記経路を、前記車線情報の表現物に対して比較し、且つ、
前記経路及び前記画像の比較に基づいて前記検出済み物体の位置を決定する、
ように構成される、
というメモリと、
を備えるというコンピュータ処理デバイスと、
を備える、物体検出システム。
システム２．
前記経路及び前記画像を比較する段階は、前記画像上において前記検出済み物体に対する一つ以上の候補位置を決定する段階を含む、システム１に記載のシステム。
システム３．
前記一つ以上の候補位置は、前記車線情報と前記経路との交錯領域同士の間に配置される、システム２に記載のシステム。
システム４．
各候補位置のサイズは、前記車両から、投影された各候補位置までの距離を表す、システム２に記載のシステム。
システム５．
各プロセッサは更に、前記検出済み物体に対する運動方向を決定すべく構成され、
前記運動方向の決定は、前記画像上の前記検出済み物体の視覚的属性と、時系列化された２つ以上の画像における前記検出済み物体の位置の比較と、の内の少なくとも一方に基づくものであり、且つ、
前記検出済み物体の位置を決定する段階は更に、前記検出済み物体の前記運動方向に基づくものである、システム１に記載のシステム。
方法６．
車両上に配設された一つ以上のセンサから、画像を表す画像データを受信する段階と、
前記画像上の物体を検出する段階と、
前記車両から、前記画像上の前記検出済み物体まで延在する経路を特定する段階と、
車線情報を含む地図データを検索読取りする段階と、
前記経路を、前記車線情報の表現物に対して比較する段階と、
前記経路及び前記画像の比較に基づいて前記検出済み物体の位置を決定する段階と、
を有する、物体を検出するコンピュータ実行式方法。
方法７．
当該方法は更に、前記検出済み物体に対する運動方向を決定する段階を有し、
前記運動方向の決定は、前記画像上の前記検出済み物体の視覚的属性と、時系列化された２つ以上の画像における前記検出済み物体の位置の比較と、の内の少なくとも一方に基づくものであり、且つ、
前記検出済み物体の位置を決定する段階は更に、前記検出済み物体の前記運動方向に基づくものである、方法６に記載の方法。
方法８．
当該方法は更に、時系列化された２つ以上の画像における前記検出済み物体の位置の比較に基づいて、前記検出済み物体に対する速度を決定する段階を有する、方法６に記載の方法。
方法９．
前記物体を検出する段階は、
前記地図データを前記画像データと比較し、前記画像上の関心対象となる領域を定義する段階であって、前記物体の検出は、前記関心対象となる領域内で行われるという段階、及び、
カスケード式検出器を用いて前記画像データを処理する段階、
の内の少なくとも一方の段階を含む、方法６に記載の方法。
方法１０．
前記車線情報は、車線の本数と、各車線の方向とを含む、方法６に記載の方法。
コンピュータ処理デバイス１１．
当該コンピュータ処理デバイスの動作を制御する一つ以上のプロセッサと、
前記一つ以上のプロセッサにより使用されるデータ及びプログラム命令を記憶するメモリであって、
前記一つ以上のプロセッサは、当該メモリに記憶された命令を実行することで、
車両上に配設された一つ以上のセンサから、画像を表す画像データを受信し、
前記画像上の物体を検出し、
前記車両から、前記画像上の前記検出済み物体まで延在する経路を特定し、
車線情報を含む地図データを検索読取りし、
前記経路を、前記車線情報の表現物に対して比較し、且つ、
前記経路及び前記画像の比較に基づいて前記検出済み物体の位置を決定する、
ように構成される、
というメモリと、
を備える、コンピュータ処理デバイス。
コンピュータ処理デバイス１２．
前記経路及び前記画像を比較する段階は、前記画像上において前記検出済み物体に対する一つ以上の候補位置を決定する段階を含む、コンピュータ処理デバイス１１に記載のコンピュータ処理デバイス。
コンピュータ処理デバイス１３．
前記一つ以上の候補位置は、前記車線情報と前記経路との交錯領域同士の間に配置される、コンピュータ処理デバイス１２に記載のコンピュータ処理デバイス。
コンピュータ処理デバイス１４．
各候補位置のサイズは、前記車両から、投影された各候補位置までの距離を表す、コンピュータ処理デバイス１２に記載のコンピュータ処理デバイス。
コンピュータ処理デバイス１５．
各プロセッサは更に、前記検出済み物体に対する運動方向を決定すべく構成され、
前記運動方向の決定は、前記画像上の前記検出済み物体の視覚的属性と、時系列化された２つ以上の画像における前記検出済み物体の位置の比較と、の内の少なくとも一方に基づくものであり、且つ、
前記検出済み物体の位置を決定する段階は更に、前記検出済み物体の前記運動方向に基づくものである、コンピュータ処理デバイス１１に記載のコンピュータ処理デバイス。

100 コンピュータ処理デバイス
102 CPU
104 メモリ
106 データ
112 インストール済みアプリケーション
116 センサ
200 自律的車両
206、208、210、212 車線

Claims

車両上に配設された一つ以上のセンサと、
前記一つ以上のセンサと通信するコンピュータ処理デバイスであって、
該コンピュータ処理デバイスの動作を制御する一つ以上のプロセッサと、
前記一つ以上のプロセッサにより使用されるデータ及びプログラム命令を記憶するメモリであって、
前記一つ以上のプロセッサは、当該メモリに記憶された命令を実行することで、
前記一つ以上のセンサから、画像を表す画像データを受信し、
前記画像上の物体を検出し、
前記車両から、前記画像上の前記検出済み物体まで延在する経路を特定し、
車線情報を含む地図データを検索読取りし、
前記経路を、前記車線情報の表現物に対して比較し、且つ、
前記経路及び前記画像の比較に基づいて前記検出済み物体の位置を決定する、
ように構成される、
というメモリと、
を備えるというコンピュータ処理デバイスと、
を備える、物体検出システム。
前記経路及び前記画像を比較する段階は、前記画像上において前記検出済み物体に対する一つ以上の候補位置を決定する段階を含む、請求項１に記載のシステム。
前記一つ以上の候補位置は、前記車線情報と前記経路との交錯領域同士の間に配置される、請求項２に記載のシステム。
各候補位置のサイズは、前記車両から、投影された各候補位置までの距離を表す、請求項２に記載のシステム。
各プロセッサは更に、前記画像上の前記検出済み物体の視覚的属性と、時系列化された２つ以上の画像における前記検出済み物体の位置の比較と、の内の少なくとも一方に基づいて、前記検出済み物体に対する運動方向を決定すべく構成される、請求項１に記載のシステム。
前記検出済み物体の位置を決定する段階は更に、前記検出済み物体の前記運動方向に基づく、請求項５に記載のシステム。
各プロセッサは更に、時系列化された２つ以上の画像における前記検出済み物体の位置の比較に基づいて、前記検出済み物体に対する速度を決定すべく構成される、請求項１に記載のシステム。
前記物体を検出する段階は、前記地図データを前記画像データと比較し、前記画像上の関心対象となる領域を定義する段階を含み、且つ、
前記物体の検出は、前記関心対象となる領域内で行われる、請求項１に記載のシステム。
前記物体を検出する段階は、カスケード式検出器を用いて前記画像データを処理する段階を含む、請求項１に記載のシステム。
前記車線情報は、車線の本数と、各車線の方向とを含む、請求項１に記載のシステム。
車両上に配設された一つ以上のセンサから、画像を表す画像データを受信する段階と、
前記画像上の物体を検出する段階と、
前記車両から、前記画像上の前記検出済み物体まで延在する経路を特定する段階と、
車線情報を含む地図データを検索読取りする段階と、
前記経路を、前記車線情報の表現物に対して比較する段階と、
前記経路及び前記画像の比較に基づいて前記検出済み物体の位置を決定する段階と、
を有する、物体を検出するコンピュータ実行式方法。
前記経路及び前記画像を比較する段階は、前記画像上において前記検出済み物体に対する一つ以上の候補位置を決定する段階を含む、請求項１１に記載の方法。
前記一つ以上の候補位置は、前記車線情報と前記経路との交錯領域同士の間に配置される、請求項１２に記載の方法。
各候補位置のサイズは、前記車両から、投影された各候補位置までの距離を表す、請求項１２に記載の方法。
各プロセッサは更に、前記検出済み物体に対する運動方向を決定すべく構成され、
前記運動方向の決定は、前記画像上の前記検出済み物体の視覚的属性と、時系列化された２つ以上の画像における前記検出済み物体の位置の比較と、の内の少なくとも一方に基づくものであり、且つ、
前記検出済み物体の位置を決定する段階は更に、前記検出済み物体の前記運動方向に基づくものである、請求項１１に記載の方法。
当該コンピュータ処理デバイスの動作を制御する一つ以上のプロセッサと、
前記一つ以上のプロセッサにより使用されるデータ及びプログラム命令を記憶するメモリであって、
前記一つ以上のプロセッサは、当該メモリに記憶された命令を実行することで、
車両上に配設された一つ以上のセンサから、画像を表す画像データを受信し、
前記画像上の物体を検出し、
前記車両から、前記画像上の前記検出済み物体まで延在する経路を特定し、
車線情報を含む地図データを検索読取りし、
前記経路を、前記車線情報の表現物に対して比較し、且つ、
前記経路及び前記画像の比較に基づいて前記検出済み物体の位置を決定する、
ように構成される、
というメモリと、
を備える、コンピュータ処理デバイス。
前記経路及び前記画像を比較する段階は、前記画像上において前記検出済み物体に対する一つ以上の候補位置を決定する段階を含む、請求項１６に記載のコンピュータ処理デバイス。
前記一つ以上の候補位置は、前記車線情報と前記経路との交錯領域同士の間に配置される、請求項１７に記載のコンピュータ処理デバイス。
各候補位置のサイズは、前記車両から、投影された各候補位置までの距離を表す、請求項１７に記載のコンピュータ処理デバイス。
各プロセッサは更に、前記検出済み物体に対する運動方向を決定すべく構成され、
前記運動方向の決定は、前記画像上の前記検出済み物体の視覚的属性と、時系列化された２つ以上の画像における前記検出済み物体の位置の比較と、の内の少なくとも一方に基づくものであり、且つ、
前記検出済み物体の位置を決定する段階は更に、前記検出済み物体の前記運動方向に基づくものである、請求項１６に記載のコンピュータ処理デバイス。