JP2023017704A - 航空画像に基づく車両環境マップの取得 - Google Patents

Abstract

【課題】車両の正確な位置を決定する方法を提供する。【解決手段】方法は、車両の少なくとも１つのセンサによる、車両の検知された環境情報の取得と、前記車両の初期位置推定モジュールによる、前記車両の初期位置推定の決定と、前記車両のプロセッサによる、前記車両の前記初期位置推定の環境を含む航空地図のセグメントに関連する航空地図のセグメント情報の取得と、前記車両の検知された情報および前記航空地図のセグメント情報に基づく、少なくとも前記車両の前記初期位置推定の前記環境内で、運転関連操作の実行の決定と、前記運転関連操作の実行とを含む。【選択図】図４

Description

自律走行車の最も重要な技術的課題のひとつは、環境における自分の位置を決定することである。

自律走行車は、水平またはほぼ水平な光軸を持つ１つ以上の車載カメラを含む。

先行技術の様々な解決策は、複数の地域を走行する他の車両の車載カメラ（水平またはほぼ水平の視野を持つ）によって取得された視覚情報に基づいて地図を生成する。

そのため、地図の作成には時間とリソースを要する。

より費用対効果の高い方法で地図を作成することが求められる。

図１Ａは、方法の一例を示す。

図１Ｂは、シグネチャーの一例を示す。

図１Ｃは、次元拡張工程の一例を示す。

図１Ｄは、併合操作の一例を示す。

図１Ｅは、ハイブリッド工程の一例を示す。

図１Ｆは、方法の一例を示す。

図１Ｇは、方法の一例を示す。

図１Ｈは、方法の一例を示す。

図１Ｉは、方法の一例を示す。

図１Ｊは、方法の一例を示す。

図１Ｋは、方法の一例を示す。

図１Ｌは、方法の一例を示す。

図１Ｍは、システムの一例を示す。

図１Ｎは、ここで開示される実施形態にしたがって構築され、実行される代表的な障害物検出およびマッピングシステムを、一部を絵で表し、一部をブロックで表す図を示す。

図１Ｏは、方法の一例を示す。

図１Ｐは、方法の一例を示す。

図１Ｑは、方法の一例を示す。

図２は、航空情報に現れ、１または複数の車両のセンサで検知された固有物体の一例を示す。

図３および４は、方法の一例を示す。 図３および４は、方法の一例を示す。

図５は、車両の一例を示す。

図６および７は、方法のいくつかのステップの実行の一例を示す。 図６および７は、方法のいくつかのステップの実行の一例を示す。

図８は、車両の一例を示す。

図９は、方法の一例を示す。

本開示の実施形態は、図面とともに、以下の詳細な説明から、をより理解されるであろう。

以下の詳細な説明では、本発明を十分に理解するために、多数の具体的な詳細が記載されている。しかしながら、本発明は、これらの具体的な詳細なしに実施され得ることは、当業者には理解されるであろう。他の例では、周知の方法、手順、および構成要素は、本発明を不明瞭にしないように、詳細には記載されていない。

本発明とみなされる主題は、本明細書の最後の部分で特に指摘され、明確に請求されている。しかし、本発明は、組織および操作方法の両方に関して、また、その目的、特徴および利点は、添付の図面と共に読むと、以下の詳細な説明を参照することによって最もよく理解され得る。

図解の単純化および明確化のために、図に示される要素は必ずしも縮尺通りに描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確にするために、他の要素に対して誇張され得る。さらに、適切と考えられる場合には、対応するまたは類似の要素を示すために、参照数字が図間で繰り返され得る。

本発明の図示された実施形態は、ほとんどの場合、当業者に公知の電子部品および回路を用いて実施できるので、詳細は、本発明の基本的概念の理解（understanding and appreciation）のために、また本発明の教えを難解にしたり逸脱したりしないために、上記に図示したように必要と考えられる範囲を超えて説明しない。

本明細書における方法への言及は、その方法を実行できる装置またはシステム、および/または、その方法を実行する命令を格納する非一時的なコンピュータ可読媒体に準用されるべきである。

本明細書におけるシステムまたは装置への言及は、システムによって実行され得る方法に準用されるべきであり、および/または、システムによって実行可能な命令を格納する非一時的なコンピュータ可読媒体に準用され得る。

本明細書における非一時的なコンピュータ可読媒体への言及は、非一時的なコンピュータ可読媒体に格納された命令を実行できる装置またはシステムに準用されるべきであり、および/または、命令を実行する方法に準用され得る。

図、明細書の一部、および/または、特許請求の範囲のいずれかに記載されたモジュールまたはユニットの任意の組み合わせが提供され得る。

知覚ユニット、狭域AIエージェント、交差点関連運転決定ユニットのいずれか１つは、ハードウェアおよび/またはコード、非一時的のコンピュータ可読媒体に格納された命令および/またはコマンドで実装され得、車両内、車両外、モバイルデバイス内、サーバ内などに含まれ得る。

車両は、地上交通車両、航空車両、水上船舶のいずれのタイプであり得る。

本明細書、および/または、図面は、プロセッサを参照し得る。プロセッサは、処理回路であり得る。処理回路は、中央処理装置（CPU）、および/または、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、フルカスタム集積回路等、または、それらの集積回路の組み合わせとして実装され得る。

本明細書および/または図面に例示された方法の任意のステップの任意の組み合わせを提供できる。

航空画像は、ドローン、飛行機、人工衛星など、任意の空撮装置で取得し得る。

光軸が水平またはほぼ水平な車載カメラの光軸を上回るカメラで撮影するため、航空写真を取得する方がコスト費用効果が高く、また、場合によっては、車両センサで撮影した画像よりも正確な画像を取得できる。

航空画像を加工して、国、県、市、町など様々な地域の航空地図を作成し得る。

航空地図を活用するためには、航空写真と車載カメラで撮影した画像に現れる異なる情報を補正する必要がある。

補正（compensation）は、物体検出と、GPSシステムなどから得られる車両の位置の初期推定に基づき得る。

車両の位置の初期推定は一定の精度を持つため、車両が位置する推定領域（例えば、所定のボックス）を定義できる。

自律走行車の位置の微細な/正確な/高解像度の/決定は、（ａ）航空地図（少なくとも推定された領域に対応する部分は）から、推定領域内の物体の位置とアイデンティティを取得し、（ｂ）車載カメラ（または、他のセンサ）によって検知された画像（または、他の検知された情報）を処理して、車両の環境内の一つ以上の物体の位置（車両に関する）を決定し、（ｃ）（ａ）と（ｂ）からの情報に基づいて、車両の位置を決定することによってなされる。

例えば、航空地図の推定地域を記述した部分内に、所定の位置としての固有物体があり、車両がその固有物体からある距離、ある角度に位置していると判断した場合（車両の検知された情報に基づいて）、車両の位置を（固有物体の）所定の位置から所定の距離、および、所定の角度に位置していると決定することができる。図２に、環状交差点（roundabout）２２０である固有物体（アンカー）を用いた一例を示す。環状交差点は、車両２１０の近傍に出現する。空撮情報には、車両２１０の近傍環境を含むセグメント２０９が含まれる。環状交差点２０９は、車両センサによって撮影された画像２０９にも現れる。

図３は、１つ以上の車両センサ２１１（カメラ等）、メモリユニット２１２、通信モジュール２１３、自律走行用の自律車両モジュール２１４、初期位置推定モジュール（例えば、GPS、または、GPS以外）２１５、プロセッサ２１６、ADASモジュール２１８、および、メモリユニット２１２に格納され得る航空マップ２１７（または、そのセグメント）を有する自律車両２１０を示す。上述の構成要素のいくつかの例は、図１Ｍに示される。プロセッサ４９５０、１つ以上の車両センサ通信ユニット４９０４を含み得る検知ユニット４９０２、通信モジュール２１３を形成し得る入力４９１１および出力４９１９を参照されたい。

プロセッサは、ステップ（ａ）～（ｃ）を実行し得る。

車両位置の初期推定は一定の精度を持つため、車両が位置する推定領域（例えば、所定のボックス）が定義される。

方法１００は、プロセッサによって実行され得る。方法１００は、プロセッサと1以上のセンサによって実行され得る。プロセッサは、車両コンピュータ、クラウドサーバなどのリモートコンピュータ等に属し得る。

方法１００は、車両の位置を決定する正確な方法を提供する。本方法は、リアルタイムで実行され、費用がかかり正確な位置情報を使用する必要性を排除し、鳥瞰情報と車両の検知された環境情報との間の予め定義されたマッピングを使用することにより、計算および/またはメモリ資源を節約できる。マッピングは、時間の経過とともに更新および/または生成され得る。

航空地図の使用は、車両が詳細（非航空）地図を持たない場合、例えば、車両が位置する空域の詳細地図を継続的に受信するために通信リンクを中継しなければならない場合、または、車両が詳細地図を生成および/または保存するリソースを（永久的または一時的に）持たない場合に、特に有益であり得る。

図1は、車両の位置を特定するための方法１００を示す。

方法１００は、ステップ１１０および１２０によって開始し得る。

ステップ１１０は、位置センサ情報に基づいて、第１の車両位置推定を決定することを含み得る。位置センサ情報は、グローバルポジショニングシステム（GPS）センサであり得る位置センサ、基地局の位置、車両が位置するセルのアイデンティティ等を用いて位置を推定し得る無線ネットワークベースの位置センサによって生成され得る。

ステップ１２０は、車両の検知された視覚情報を含む車両の検知された環境情報を取得することを含み得る。車両の検知された情報は、例えば、音声検知環境情報、レーダ検知空間情報、赤外線検知環境情報等、他のタイプの情報を含み得る。

車両の検知された環境情報は、車両の環境に関する検知された情報である。環境は、少なくとも部分的には、車両の前方に位置するが、車両の後方および/または車両の側面に位置し得る。環境は、車両から数cmのところから、数十m、数百m、又はそれ以上離れていることもあり得る。

ステップ１２０の後に、車両と車両の検知された環境情報によってキャプチャされた物体群の物体との間の空間的関係を検出するステップ１３０が続いてもよい。

ステップ１３０は、教師なし方式または教師あり方式で訓練された機械学習処理を用いて、物体を検出することを含み得る。物体は、１つ以上のアンカーであり得、または、それを含み得る。アンカーは、航空情報に現れることが予想される物体であり、少なくとも局所的に固有であり得る。例えば、横断歩道、信号機、交通標識等である。

ステップ１３０は、地平線を検出し、表面推定を行うことを含み得る。

ステップ１３０の後に、物体群の物体の鳥瞰図ベースの位置情報（航空情報）を取得するステップ１４０が続いてもよい。航空情報は、車両が位置する区域に関連し得る。したがって、航空情報は、より大きな航空マップのセグメントを表し得る。

ステップ１４０は、ステップ１１０中に生成された第１の車両位置推定を使用して、車両環境内の物体の鳥瞰図ベースの位置情報内を抽出（fetch）または検索し得る。

ステップ１４０は、空間関係及び鳥瞰図ベースの位置情報に基づく第２の車両位置推定を決定するステップ１５０に続くことができる。第２の車両位置推定は、第１の車両位置推定よりも正確である。

ステップ１５０は、鳥瞰図情報と車両の検知環境情報との間のマッピングを利用し得る。

マッピングは、教師なし方式または教師あり方式で学習された別の機械学習処理によって実行され得る。

マッピングは、車両がより多くの航空情報を取得し、より多くの環境情報を検知しながら、時間をかけて生成し得る。

車両の検知環境情報のシグネチャーが生成され得、シグネチャーとメタデータを含む概念構造が生成され得る。メタデータは、車両の検知環境情報においてキャプチャされた物体を識別する航空情報メタデータであり得、または、それを含み得る。例えば、航空地図が車両の近傍に位置する交通信号に関する情報を含み、車両がその交通信号を識別すると仮定する。信号機のシグネチャーは、概念構造に関連するシグネチャー（１つ以上の概念構造のシグネチャーまたは１つ以上の概念構造の物体のシグネチャーであり得る）と比較され、照合した場合、概念構造は、信号機の概念構造としてラベル付けされ得る。

視覚情報にキャプチャされた物体と鳥瞰図的な位置を結びつけるために、マッピングが必要となる。

ステップ１３０から車両とその物体との空間距離が既知である（または、少なくとも推定できる）ため、次に、物体の鳥瞰位置と物体への空間位置から車両の位置の推定を差し引くことができる。

車両の検知された情報は、明示的に深度（距離）情報を含み得る。例えば、車両の検知された情報は、レーダ情報、LIDARで得られた深度情報、超音波または音響ベースの音声深度情報、等を含み得る。

この場合、ステップ１３０は、車両が検知した視覚情報と車両が検知した深度情報とを融合することを含むことによって、空間的関係を検出することを含み得る。例えば、レーダを使用する場合、レーダは、ステップ１３０、１４０および１５０に関連し得る物体を（視覚情報と共に）識別するために使用できる正確な距離情報を提供する。ステップ１３０の実行に関与する機械学習処理は、融合を実行してもよく、又は、しなくてもよい。

車両の検知された情報または明示的に深度情報を含まない場合があることに留意すべきである。

高精度の車両位置推定を行うため、３つ以上の物体に関する情報、特に車両に対して異なる方向に位置する３つ以上の物体に関する情報を使用することが有効である。

グループの物体は、鳥瞰図的な位置が既知の静的なものであり得る。静的とは、鳥瞰位置に対して位置が変化しないことを想定する。

ステップ１５０は、鳥瞰図的な仮想平面内で物体と空間関係を仮想的に「重ねる」ことを含み得る。

物体は、信号機、交通標識、車線境界（lane boundary）、道路標識、または、車線境界線（lane line）のうち少なくとも１つであり得る。

ステップ１５０の後に、車両の検知された情報、第２の車両位置推定、及び車両の環境に関する航空情報に基づいて、少なくとも車両の環境内で運転関連操作を行うことを決定するステップ１６０が続いてもよい。

決定は、以下の少なくとも１つに基づくことができる。
・車両の環境（特に、道路、道路利用者、規制上の制限（例えば、制限速度）、現在の交通状態、の１以上）
・環境内の自車両の位置
・車両の目的地
・自律型、および/または、ADASに関連するルール
・車両が適用するルートプランニング方式
・ユーザーの好み

運転関連操作は、車両を自律的に運転すること、または、先進運転支援システム（ADAS：advance driver assistance system）操作を実行することを含み得る。ADAS操作は、環境との１つ以上の将来の経路を計画し、人間の運転者に提案すること、運転のいくつかの局面を制御すること、等を含み得る。ADAS操作の例は、歩行者回避、衝突回避、衝突警告、車線逸脱警告、自動緊急ブレーキ、駐車アシスト等を含み得る。

ステップ１６０後に、運転関連操作を実行するステップ１７０が続いてもよい。これは、自律運転操作および/または先進運転支援システム（ADAS）操作を実行することを含み得る。

方法１００はまた、１つ以上の車両ローカル地図操作を行うステップ１８０を含み得る。これは、以下の少なくとも１つを含み得る。
・前記車両によって、１つ以上の車両ローカル地図を生成する。
・１以上の車両ローカル地図を格納する。
・車両ローカル地図を車両外部の１つ以上のコンピュータシステムに送信する（例えば、別の車両、サーバ、クラウドコンピュータ環境）。
・他車両から車両ローカル地図を受信する。他車両ローカル地図は、他車両の環境内にあるアンカーと、アンカーの位置を示す。
・車両が生成した車両ローカル地図を、同じエリアをカバーすると想定される他の車両ローカル地図を比較する。
・車両から別の車両に１以上のローカルな車両地図を関連付ける。
・他車両ローカル地図に基づき、車両ローカル地図を検証する。
・１以上の車両ローカル地図を併合する。

送信または共有には、例えば車両間など、あらゆる通信手段を使用し得る。

車両ローカル地図は、車両の環境内のアンカー（例えば、信号機、ビル等、のアンカータイプ）及びアンカーの位置を示す。車両ローカル地図は、また、検知された情報、例えば、アンカーの視覚情報等、を含み得る。車両ローカル地図は、2D又は3D情報、例えば、座標、点群、3D検知情報、処理された3D検知情報等、を含み得る。

車両は、場所によって異なる車両ローカル地図を生成し得る。

１つ以上の車両ローカル地図は、同じ解像度であっても異なる解像度であってもよく、同じサイズであっても異なるサイズであってもよく、圧縮されていても非圧縮であってもよい、等である。

ローカルという用語は、車両ローカル地図が車両の環境をカバーし、限定されたサイズ（例えば、１００、２００、３００、５００、７５０、１０００、１５００、２０００、５０００、７５００、１００００平方メートル、等）であり得ることを意味する。請求項３に記載の方法は、車両ローカル地図を車両の外部に位置する別のコンピュータ化されたシステムと共有することを含む。

方法１００は、ステップ１１０、１２０、１３０、１４０、１５０、１６０、１７０および１８０の様々な組み合わせを含み得ることに留意されたい。例えば、ステップ１８０は、ステップ１６０および１６７の実行の代わりに（または、それに加えて）実行され得る。

図５は、航空画像に基づいて運転関連操作を行う方法３００の一例を示す。

方法３００は、車両の少なくとも１つのセンサによって車両の検知環境情報を取得するステップ１２０によって開始され得る。

方法３００は、また、車両の初期位置推定モジュールによって、車両の初期位置推定を決定するステップ３２０を含み得る。ステップ３２０は、ステップ１１０および/またはステップ１３０を含み得る。

ステップ３２０は、車両のプロセッサによって、航空地図のセグメントに関連する航空地図のセグメント情報を取得するステップ３３０に続いてもよく、セグメントは、車両の初期位置推定の環境を含む。ステップ３２０は、ステップ１４０を含み得る。

ステップ３３０及び３１０の後に、車両の検知された情報および航空地図のセグメント情報に基づいて、少なくとも車両の初期位置推定の環境内で運転関連操作の実行を決定するステップ３４０が続いてもよい。ステップ３４０は、ステップ３５０を含み得る。ステップ３４０は、ステップ１５０を実行することによって先行され得る。

ステップ３４０の後に、運転関連操作を実行するステップ１７０が続くことができる。これは、自律運転操作および/または先進運転支援システム（ADAS）操作の実行を含み得る。

方法３００は、１つ以上の車両ローカル地図操作を実行するステップ１８０も含み得る。

方法３００は、ステップ３１０、１２０、３３０、３４０、１７０及び１８０の様々な組み合わせを含み得ることに留意されたい。例えば、ステップ１８０は、ステップ３４０および１７０の実行の代わりに（または、それに加えて）実行され得る。

図６は、車両２１０と物体２０との間の空間関係30を示す。車両２１０と物体との空間関係（距離と方向）は、車両センシングされた環境情報に基づいて決定される。

車両２１０は、所定の不確実性を示す第１の車両位置推定を計算し得、この所定の不確実性は、物体２０の正確な位置に関する不確実性によっても反映される。車両の周りの破線円１２及び物体２０の周りの破線円２２を参照されたい。

図７は、５つの異なる鳥瞰図ベースの位置にある物体２０～２４と、第２の車両位置推定の決定後の車両２１０と物体との空間関係３０～３４を示す図である。

図８は、１つ以上の車両センサ２１１（カメラ等）、メモリユニット２１２、通信モジュール２１３、自律走行用の自律車両モジュール２１４、初期位置推定モジュール（例えば、GPS、または、GPS以外）２１５、プロセッサ２１６、ADASモジュール２１８、およびメモリユニット２１２に格納され得る車両ローカル地図２１９（または、そのセグメント）を有する自律車両２１０の一例を示す。

図９は、車両ローカル地図を使用するための方法５００の一例を示す。

方法５００は、ステップ５１０および５２０によって開始し得る。

ステップ５１０は、車両の少なくとも１つのセンサによって車両の検知環境情報を取得することを含み得る。

ステップ５２０は、車両の初期位置推定モジュールによって、車両の初期位置推定を決定することを含み得る。

ステップ５１０及び５２０は、車両のプロセッサによって、１つ以上の車両ローカル地図を取得するステップ５３０に続くことができ、１つ以上の車両ローカル地図は、１つ以上の他の車両にアクセス可能な１つ以上の航空地図と１つ以上の他の車両の１つ以上の環境の検知された情報との間のマッピングに基づき、生成される。取得は、初期位置推定を含む車両ローカル地図を取得することを含み得る。

車両は、ローカル車両地図に含まれる場所に到達したときに、ローカル車両地図を取得できる。あるいは、車両は、１つ以上のローカル車両地図に含まれる１つ以上の場所に到達する前に、１つ以上のローカル車両地図を事前に取得できる。

ステップ５３０は、車両の検知された情報及び１つ以上のローカル車両地図に基づいて、少なくとも車両の初期位置推定の環境内で運転関連操作を実行することを決定するステップ５４０に続くことができる。

決定は、以下のうち少なくとも１つに基づき得る。
・車両の環境（特に、道路、道路利用者、規制上の制限（例えば、制限速度）、現在の交通状態の１つ以上）
・環境内の自車両の位置
・車両の目的地
・自律型およびADASに関連する関連ルール
・車両が適用するルートプランニング方式
・ユーザーの好み

ステップ５４０の後に、運転関連操作を行うステップ１７０が続いてもよい。

方法１００、３００、５００、５０００の任意のステップと、いずれかの図に示された他の方法との任意の組み合わせを提供し得る。

シグネチャーの生成、検知された情報の処理、およびクラスタリングに関する様々な例が後述される。これらの方法および/またはシステムは、上記の方法のいずれにも適用し得る。

シグネチャーの低消費電力化

メディアユニットのコンテンツの解析は、メディアユニットのシグネチャーを生成すること、および、シグネチャーを参照シグネチャーと比較することによって実行され得る。参照シグネチャーは、１つ以上の概念構造で配置され得、他の任意の方法で配置されてもよい。シグネチャーは、物体検出のために用いられてもよく、他の用途のために用いられてもよい。

シグネチャーは、メディアユニットの多次元表現を作成することによって生成され得る。メディアユニットの多次元表現は、非常に大きな次元数を有し得る。大きな次元数は、異なる物体を含む異なるメディアユニットの多次元表現がまばらであること、および、異なる物体の物体識別子が互いに離れていること、を保証し得、シグネチャーの頑健性を向上させる。

シグネチャーの生成は、複数の繰り返しを含む繰り返し方式で実行され、各繰り返しは、併合操作に続く拡張操作を含んでもよい。繰り返しの拡張操作は、その繰り返しのスパンニング要素によって実行される。繰り返しごとに、（その繰り返しの）どのスパンニング要素が関連するか決定し、無関係なスパンニング要素の電力消費を減らすことによって、かなりの量の電力が節約され得る。

多くの場合、繰り返しのスパンニング要素のほとんどは無関係である。したがって、（スパンニング要素によって）それらの関連性を決定した後、無関係とみなされたスパンニング要素は、停止し、又は、アイドルモードに入ることができる。

図１Aは、メディアユニットのシグネチャーを生成する方法５０００を示す。

方法５０００は、検知された情報を受信または生成するステップ５０１０によって開始され得る。

検知された情報は、複数の物体をメディアユニットとするものであり得る。

ステップ５０１０の後に、複数繰り返すことによってメディアユニットを処理してもよく、複数の繰り返しの少なくとも一部は、繰り返しのスパンニング要素によって、併合操作に続く次元拡張処理を適用することを含む。

処理は、以下を含み得る。

・k'回の繰り返しの拡張処理を行うステップ５０２０（kは、繰り返し回数を追跡するために使用される変数であり得る）

・k'回の繰り返しの併合処理を行うステップ５０３０

・kの値を変更するステップ５０４０

・必要な繰り返しがすべて行われたかどうかをチェックするステップ５０５０ －行われていれば、シグネチャーの生成を完了するステップ５０６０に進み、そうでなければ、ステップ５０２０に戻る

ステップ５０２０の出力は、k'回の繰り返しの拡張結果５１２０である。

ステップ５０３０の出力は、k'回の繰り返しの併合結果５１３０である。

各繰り返し（ただし、第１の繰り返しを除く）で、前の繰り返しの併合結果は、現在の繰り返しの拡張処理の入力となる。

K回の繰り返しのうちの少なくともいくつかは、無関係とみなされるいくつかのスパンニング要素の消費電力を選択的に低減すること（ステップ５０２０の間）に関係する。

図１Ｂは、画像６０００であるメディアユニットの画像シグネチャー６０２７と、最終（K'回目）の繰り返しの結果６０１３の一例である。

画像６００１は、仮想的にセグメント６０００（i,k）に分割されている。セグメントは同じ形と大きさであってもよいが、必ずしもその必要はない。

結果６０１３は、メディアユニットのセグメントごとの値のベクトルを含むテンソルであり得る。１つ以上の物体が、所定のセグメントに現れ得る。各物体について、（シグネチャーの）物体識別子は、所定のセグメントに関連する所定のベクトル内の、有意な値の位置を示す。

例えば、画像の左上のセグメント（６００１（1,1））は、結果６０１３において、複数の値を有するベクトルV（1,1）６０１７（1,1）により表し得る。各ベクトルの値の数は、１００、２００、５００、１０００等を超え得る。

有意な値（例えば、１０、２０、３０、４０個以上の値、および/または、０．１%、０．２%以上、０．５%、１%、５%以上の値、等）を選択できる。有意な値は、値を有してもよいし、他の方法で選択されてもよい。

図１Ｂは、ベクトルV（1,1）６０１７（1,1）の有意な応答６０１５（1,1）のセットを示す。セットは、５つの有意な値（例えば、第１の有意な値SV1（1,1）６０１３（1,1,1）、第２の有意な値SV2（1,1）、第３の有意な値SV3（1,1）、第４の有意な値SV4（1,1）、第５の有意な値SV5（1,1）６０１３（1,1,5））を含む。

画像シグネチャー６０２７は、５つの有意な値を検索する５つのインデックスを含む。第１から第５の識別子ID1～ID5は、第１から第５の有意な値を検索するインデックスである。

図１Ｃは、k'回の繰り返しの拡張処理を示す。

k'回の繰り返しの拡張処理は、前の繰り返しの併合結果５０６０’を受信することで開始される。

前の繰り返しの併合結果は、前の拡張処理を示す値を含み得、例えば、前の拡張操作からの関連スパンニング要素を示す値、前の繰り返しの併合結果の多次元表現における関連関心領域を示す値を含み得る。

（前の繰り返しの）併合結果は、スパンニング要素５０６１（１）～５０６１（Ｊ）等のスパンニング要素に供給される。

各スパンニング要素には、一意の値のセットが関連付けられる。このセットは、１つ以上の値が含まれ得る。スパンニング要素は、互いに直交する可能性のある異なる関数を適用する。直交しない関数を使用すると、スパンニング要素の数が増える可能性があるが、この増加は許容範囲内であろう。

スパンニング要素は、互いに直交していなくても、互いに相関性を失わせる関数を適用し得る。

スパンニング要素は、複数の可能なメディアユニットを「カバー」し得る物体識別子の異なる組み合わせと関連付けられ得る。物体識別子の組み合わせの候補は、様々な方法で、例えば、様々な画像（テスト画像等）におけるそれらの出現に基づいて、ランダムに、疑似ランダムに、ある規則等に従って、選択され得る。これらの候補のうち、組み合わせは、相関性を失わせるように、前記複数の可能なメディアユニットをカバーするように、および/または、所定の物体が同じスパンニング要素にマッピングされるような方法で、選択され得る。

各スパンニング要素は、併合結果の値を（スパンニング要素に関連付けられた）一意のセットと比較し、一致するものがあれば、そのスパンニング要素は関連性があるとみなされる。一致する場合、そのスパンニング要素は拡張操作を完了する。

一致しない場合、スパンニング要素は無関係と判断され、低電力モードに入る。低電力モードは、アイドルモード、スタンバイモード等とも呼ばれ得る。低電力モードは、無関係なスパンニング要素の消費電力が、関連するスパンニング要素の消費電力より低いため、低電力と呼ばれる。

図１Ｃでは、様々なスパンニング要素が関連し（５０６１（１）～５０６１（３））、１つのスパンニング要素が無関係である（５０６１（Ｊ））。

各関連スパンニング要素は、繰り返しの関連スパンニング要素のアイデンティティを示す出力値を割り当てることを含むスパンニング操作を実行し得る。出力値はまた、（前の繰り返しからの）前の関連するスパンニング要素のアイデンティティを示し得る。

例えば、要素番号５０が関連し、８と４という一意の値のセットに関連していると仮定すると、出力値には５０、４、８という数字、例えば、１０００に（５０＋４０）＋４０を乗じた値、が反映され得る。その他のマッピング関数も適用され得る。

図１Ｃは、また、各スパンニング要素が実行するステップを示す。

併合結果が、スパンニング要素に関連しているか否かチェックする（ステップ５０９１）。

関連している場合、スパン操作を完了する（ステップ５０９３）。

関連していない場合、アイドル状態に入る（ステップ５０９２）。

図１Ｄは、各種併合操作の一例である。

併合操作は、関心領域を見つけることを含み得る。関心領域は、検知された情報の多次元表現内の領域である。関心領域は、より有意な応答（例えば、より強い、より高い強度の応答）を示し得る。

併合操作（k'回の繰り返しの併合操作の間に実行される）は、以下のうちの少なくとも１を含み得る。

（k'回の繰り返しの拡張操作の結果の）関心領域間の重複を検索し、重複に関連する関心領域を定義するステップ５０３１。

１つ以上の関心領域を飛ばす（drop）ことを決定し、決定にしたがって飛ばすステップ５０３２。

（k'回の繰り返しの拡張操作の結果の）関心領域間の関係を検索し、関係ある関心領域を定義するステップ５０３３。

（k'回の繰り返しの拡張操作の結果の）近接する関心領域を検索し、近接に関連する関心領域を定義するステップ５０３４。近接は、多次元空間の所定の割合（例えば、１%未満）である距離であり得、近接のためにテストされる関心領域の少なくとも１つの所定の割合であり得る。

（k'回の繰り返しの拡張操作の結果の）関心領域間の関係を検索し、関係にある関心領域を定義するステップ５０３５。

k'回の繰り返しの関心領域の形状に関連する形状情報に基づいて、k'回の繰り返しの関心領域を併合および/または飛ばすステップ５０３６。

同じ併合操作を異なる繰り返しで適用し得る。

あるいは、異なる繰り返しの処理中に、異なる併合操作を実行し得る。

図１Ｅは、ハイブリッド処理と入力画像６００１の一例を示す。

ハイブリッド処理は、一部の拡張および併合操作が、畳み込みニューラルネットワーク（CNN）によって実行され、一部の拡張および併合操作（拡張と併合の追加の繰り返しを表す）がCNNではなく、スパンニング要素の関連性の決定および無関係なスパンニング要素の低電力モードへの入力を含み得る処理によって実行されるという意味で、ハイブリッドである。

図１Ｅでは、第１および第２の関数６０１５（１）、６０１５（２）を適用するCNNの第１および第２の層６０１０（１）、６０１０（２）によって、１以上の初期繰り返しが実行される。

これらのレイヤの出力は、画像の特性に関する情報を提供する。画像の特性は、物体検出に相当しない場合もある。画像の特性は、エッジの位置、曲線の特性等を含み得る。

CNNは、物体検出情報を含み得るCNN出力６０１８を提供し得る追加の層（例えば、第３から第N'の層６０１０（N））を含み得る。追加の層は含まれない可能性があることに留意されたい。

シグネチャー生成処理全体を固定接続のハードウェアCNNで実行すると、消費電力が高くなる可能性があることに注意すべきである。なぜなら、CNNは無関係なノードの消費電力を減らすことができないからである。

図１Ｆは、シグネチャーの低電力計算のための方法７０００を示す。

方法７０００は、複数の物体のメディアユニットを受信または生成するステップ７０１０によって開始される。

ステップ７０１０の後に、複数の繰り返しを行うことによってメディアユニットを処理するステップ７０１２が続いてもよく、複数の繰り返しの少なくとも一部は、繰り返しのスパンニング要素によって、併合操作に続く次元拡張処理の適用含む。

繰り返しの次元拡張処理の適用は、（ａ）繰り返しのスパンニング要素の関連性を決定すること、（ｂ）繰り返しの関連スパンニング要素によって次元拡張処理を完了し、少なくとも、次元拡張処理の適用の完了まで、無関係なスパンニング要素の電力消費を減少させることを含み得る。

識別子は、有意な部分を検索する検索情報であり得る。

複数の繰り返しの処理の少なくとも一部は、複数の繰り返しの処理の大部分であり得る。

複数の繰り返しの出力は、メディアユニットの複数のセグメントのうち各セグメントに対する複数の特性属性を含み得、複数の繰り返しの出力の有意な部分は、よりインパクトのある特性属性を含み得る。

複数の繰り返しのうちの第１の繰り返しは、メディアユニット上で異なるフィルタを適用することによって次元拡張処理を適用することを含み得る。

複数の繰り返しの少なくとも一部は、複数の繰り返しの少なくとも第１の繰り返しを除外する。例えば、図１Ｅを参照されたい。

繰り返しのスパンニング要素の関連性を決定することは、少なくとも１つの前の繰り返しの関連するスパンニング要素の少なくとも一部の識別に基づき得る。

繰り返しのスパンニング要素の関連性を決定することは、繰り返しに先行する少なくとも１つ前の繰り返しの関連するスパンニング要素の少なくとも一部の識別に基づき得る。

繰り返しのスパンニング要素の関連性を決定することは、メディアユニットの特性に基づき得る。

繰り返しのスパンニング要素の関連性の決定は、繰り返しのスパンニング要素によって実行され得る。

方法７０００は、ニューラルネットワークの１つ以上の層によって実行され得、複数の繰り返しのうちの少なくともいくつかに属さない、ニューラルネットワーク処理操作を含み得る。例えば、図１Ｅを参照されたい。

少なくとも１つの繰り返しは、１つ以上の層の無関係なニューロンの消費電力を低減することなく実行され得る。

１つ以上のレイヤは、メディアユニットの特性に関する情報を出力し得、その情報は、複数の物体の認識とは異なる。

第１の繰り返しと異なる繰り返しのスパンニング要素によって、適用することは、次元拡張処理が、繰り返しの関連するスパンニング要素の同一性を示す可能性のある出力値を割り当てることを含み得る。例えば、図１Ｃを参照されたい。

第１の繰り返しとは異なる繰り返しの要素をまたいで、次元拡張処理を適用することは、第１の繰り返しとは異なる繰り返しまでの次元拡張処理の履歴を示す可能性のある出力値を割り当てることを含み得る。

各スパンニング要素は、参照識別子のサブセットと関連付けられ得る。繰り返しの各スパンニング要素の関連性の決定は、スパンニング要素の参照識別子のサブセットと、繰り返しの前の最後の併合操作の出力との間の関係に基づき得る。

繰り返しの次元拡張処理の出力は、関心領域を生成した１以上は複数の拡張処理に関連付けられ得る関心メディアユニット領域を含み得るメディアユニットの多次元表現であり得る。

繰り返しの併合操作は、多次元の関心領域のサブグループ間の空間的関係に基づいて、メディアユニット関心領域のサブグループを選択することを含み得る。

方法７０００は、多次元関心領域のサブグループに対して併合関数を適用することを含み得る。例えば、図１Ｃを参照されたい。

方法７０００は、多次元関心領域のサブグループに対して交差関数を適用することを含み得る。例えば、図１Ｃを参照されたい。

繰り返しの併合操作は、１以上の多次元関心領域の実際のサイズに基づき得る。

繰り返しの併合操作は、多次元関心領域のサイズ間の関係に基づき得る。例えば、より大きな多次元関心領域は維持され、より小さな多次元関心領域は無視され得る。

繰り返しの併合操作は、少なくともその繰り返しと１つ以上の前の繰り返しの間のメディアユニット関心領域の変化に基き得る。

ステップ７０１２の後に、複数の繰り返しの出力の有意な部分に関連する識別子を決定するステップ７０１４が続いてもよい。

ステップ７０１４の後に、識別子からなり、複数の物体を表すシグネチャーを提供するステップ７０１６が続いてもよい。

ローカライゼーションおよびセグメンテーション

上述したいずれのシグネチャー生成方法も、正確な形状情報を明示的に含まないシグネチャーを提供する。これは、形状に関連する不正確さ、または他の形状関連パラメータに対するシグネチャーの頑健性を高める。

シグネチャーは、メディアの関心領域を識別する識別子を含む。

各メディア関心領域は、物体（例えば、車両、歩行者、道路要素、人間が作った構造物、ウェアラブル、靴、木・空・太陽等の自然要素、等）または、物体の一部（例えば、歩行者の場合、首、頭、腕、脚、大腿、腰、足、上腕、前腕、手首、および、手等）を表し得る。物体検出の目的では、物体の一部が物体とみなされ得ることに留意されたい。

物体の正確な形状が、着目され得る。

図１Ｇは、メディアユニットのハイブリッド表現を生成する方法７００２を示す図である。

方法７００２は、ステップ７０２０、７０２２、７０２４及び７０２６のシーケンスを含み得る。

ステップ７０２０は、メディアユニットを受信または生成することを含み得る。

ステップ７０２２は、複数の繰り返しを行うことによってメディアユニットを処理することを含み得、複数の繰り返しの少なくとも一部は、繰り返しのスパンニング要素によって、併合操作に続く次元拡張処理を適用することを含む。

ステップ７０２４は、複数の繰り返しの出力に基づいて、複数の繰り返しの出力に寄与したメディアユニット関心領域を選択することを含み得る。

ステップ７０２６は、ハイブリッド表現を提供することを含み得、ハイブリッド表現は、（ａ）メディアユニット関心領域の形状に関する形状情報、および、（ｂ）メディアユニット関心領域を識別する識別子を含むメディアユニットシグネチャーを含み得る。

ステップ７０２４は、メディアユニットの複数のセグメントのうち、セグメントごとのメディア関心領域を選択することを含み得る。例えば、図２を参照されたい。

ステップ７０２６は、形状情報を生成するステップ７０２７を含み得る。

形状情報は、メディアユニット関心領域を実質的に囲む形状を表すポリゴンを含み得る。これらのポリゴンは、高次であり得る。

記憶領域を節約するために、方法は、メディアユニットの形状情報を圧縮して、メディアユニットの圧縮された形状情報を提供するステップ７０２８を含み得る。

図１Ｈは、メディアユニットのハイブリッド表現を生成する方法５００２を示す。

方法５００２は、メディアユニットを受信または生成するステップ５０１１によって開始され得る。

ステップ５０１１は、複数の繰り返しを行うことによって、メディアユニットを処理することによって続いてもよく、複数の繰り返しの少なくとも一部は、繰り返しのスパンニング要素によって、併合操作に続く次元拡張処理を適用することを含む。

処理の後に、ステップ５０６０および５０６２が続いてもよい。

処理は、ステップ５０２０、５０３０、５０４０、および、５０４０を含み得る。

ステップ５０２０は、k'回の繰り返しの拡張処理を行うことを含み得る（kは、繰り返しの回数を追跡するために使用される変数であり得る）。

ステップ５０３０は、第k'回の繰り返しの併合処理を実行することを含み得る。

ステップ５０４０は、kの値を変更することを含み得る。

ステップ５０５０は、すべての必要な繰り返しが行われたかどうかをチェックすることを含み得、仮に、行われた場合、ステップ５０６０および５０６２に進み、行われていない場合、ステップ５０２０に戻る。

ステップ５０２０の出力は、k'回の繰り返しの拡張結果である。

ステップ5030の出力は、k'回の繰り返しの併合結果である。

（第１の繰り返しを除く）各繰り返しで、前の繰り返しの併合結果は、現在の繰り返しの拡張処理の入力となる。

ステップ５０６０は、シグネチャーの生成を完了することを含み得る。

ステップ５０６２は、メディアユニットの関心領域の形状に関する形状情報を生成することを含み得る。シグネチャーおよび形状情報は、メディアユニットのハイブリッド表現を提供する。

ステップ５０６０と５０６２の組み合わせは、ハイブリッド表現を提供することに相当し、ハイブリッド表現は、（ａ）メディアユニット関心領域の形状に関する形状情報、および、（ｂ）メディアユニット関心領域を識別する識別子を含むメディアユニットシグネチャー、を含み得る。

圧縮された形状情報を利用した物体検出

物体検出は、入力画像のシグネチャーと１つ以上のクラスタ構造のシグネチャーを比較し、入力画像のシグネチャーと一致する１つ以上の一致するシグネチャーを含む１つ以上のクラスタ構造を見つけることを含み得る。

クラスタ構造と比較される入力画像の数は、クラスタ構造のシグネチャーの数を十分に上回る場合がある。例えば、数千、数万、数十万（さらに、それ以上）の入力シグネチャーが、はるかに少ないクラスタ構造のシグネチャーと比較され得る。入力画像の数とすべてのクラスタ構造のシグネチャーの総数の間の比率は、１０、１００、１０００等を超え得る。

計算リソースを節約するため、入力画像の形状情報を圧縮し得る。

一方、クラスタ構造に属するシグネチャーの形状情報は、圧縮された形状情報よりも非圧縮で高精度である可能性がある。

より高い品質が要求されない場合、クラスタシグネチャーの形状情報も圧縮され得る。

クラスタシグネチャーの形状情報の圧縮は、クラスタシグネチャーの優先度、クラスタシグネチャーとの一致の人気度（popularity）、等に基づいて行い得る。

また、クラスタ構造の１つ以上に一致する入力画像に関する形状情報は、一致するシグネチャーに関する形状情報に基づいて算出され得る。

例えば、入力画像のシグネチャー内のある識別子に関する形状情報は、一致するシグネチャー内のある識別子に関連する形状情報に基づいて決定され得る。

ある識別子で特定される入力画像の関心領域の（より精度の高い）形状情報を決定するために、一致シグネチャー内のある識別子に関連する形状情報に対する任意の処理を適用し得る。

例えば、形状を仮想的に重ね合わせ、画素あたりの人口で形状を定義し得る。

例えば、重ねた形状の少なくとも過半に現れる画素のみを関心領域に属すると見なすべきである。

その他の操作として、重ね合わせた形状の平滑化、重ね合わせた全ての形状に現れる画素の選択等を含み得る。

圧縮された形状情報は無視されてもよいし、考慮されてもよい。

図１Ｉは、照合処理と、より精度の高い形状情報の生成の様子を示したものである。

なお、クラスタ構造４９７４（１）～４９７４（M）は、複数（M個）存在すると仮定する。各クラスタ構造は、クラスタシグネチャーと、クラスタシグネチャーに関するメタデータと、クラスタシグネチャーの識別子で特定される関心領域に関する形状情報とを含む。

例えば、第1のクラスタ構造４９７４（１）は、複数（N1）のシグネチャー（クラスタシグネチャーCSと呼ぶ）CS（1,1）～CS（1,N1）４９７５（1,1）、メタデータ４９７６（1）、CSの識別子に関連する関心領域の形状に関する形状情報（形状情報４９７７（１））等を含む。

さらに別の例として、第M'のクラスタ構造４９７４（M）は、複数（N2）のシグネチャー（クラスタシグネチャーCSと呼ぶ）CS（M,1）～CS（M,N2）４９７５（M,N2）、メタデータ４９７６（M）、およびCSの識別子に関連する関心領域の形状に関する形状情報（形状情報４９７７（M））を含む。

概念構造それぞれのシグネチャーの数は時間とともに変化し得、例えば、構造からCSを削除して縮小したクラスタ構造を提供するクラスタ削減の試行により、縮小したクラスタシグネチャーが（非縮小）クラスタシグネチャーに関連付けられた物体をまだ識別し得ることをチェックし、そうならシグネチャーをクラスタシグネチャーから削減し得る。

各クラスタ構造のシグネチャーは互いに関連付けられ、関連付けは、シグネチャーの類似性に基づいて、および/またはシグネチャーのメタデータ間の関連付けに基づいて行われ得る。

各クラスタ構造が一意の物体に関連付けられると仮定すると、メディアユニットの物体は、前記物体に関連付けられるクラスタ構造の発見によって識別され得る。一致するクラスタ構造の発見は、メディアユニットのシグネチャーとクラスタ構造のシグネチャーとの比較、および、クラスタのシグネチャーのうち１つ以上の一致するシグネチャーの検索を含み得る。

図１Ｉにおいて、ハイブリッド表現を持つメディアユニットは、物体検出を受ける。ハイブリッド表現は、メディアユニットシグネチャー４９７２と圧縮された形状情報４９７３を含む。

メディアユニットシグネチャー４９７２は、ＣＳ（1,1）４９７５（1,1）からＣＳ（M,N2）４９７５（M,N2）までの、M個のクラスタ構造のシグネチャーと比較される。

１つ以上のクラスタ構造が一致クラスタ構造であると仮定する。

一致するクラスタ構造が発見されると、圧縮された形状情報よりも精度の高い形状情報を生成することで、この方法は進められる。

形状情報の生成は、識別子ごとに行われる。

1とJの間にある各j（Jはメディアユニットシグネチャー４９７２あたりの識別子の数）に対して、方法は以下のステップを実行し得る。

一致する各シグネチャーまたは一致するクラスタ構造の各シグネチャーの第jの識別子の形状情報を発見する（ステップ４９７８（j））。

第j'の識別子の形状情報をより高精度に生成する（ステップ４９７９（j））。

例えば、一致するシグネチャーがＣＳ（1,1）２９７５（1,1）、ＣＳ（2,5）２９７５（2,5）、ＣＳ（7,3）２９７５（7,3）およびＣＳ（15,2）２９７５（15,2）を含み、第jの識別子がＣＳ（1,1）２９７５（1,1）、ＣＳ（7,3）２９７５（7,3）およびＣＳ（15,2）２９７５（15,2）に含まれると仮定し、ＣＳ（1,1）２９７５（1,1）、ＣＳ（7,3）２９７５（7,3）およびＣＳ（15,2）２９７５（15,2）に関連付けられた形状情報に基づいて、メディアユニットの第jの識別子の形状情報が決定される。

図１Ｐは、４つの関心領域８００１、８００２、８００３、および８００４を含む画像８０００を示す。画像８０００のシグネチャー８０１０は、4つの関心領域８００１、８００２、８００３、および８００４を識別するID1 8011、ID2 8012、ID3 8013およびID4 8014を含む種々の識別子を含む。

４つの関心領域８００１、８００２、８００３、および８００４の形状は、４つの多角形である。これらの関心領域の形状に関する正確な形状情報は、シグネチャー８０１０の生成時に生成され得る。

図１Ｊに、物体検出の方法８０３０を示す。

方法８０３０は、方法８０２０のステップを含み得、また、ステップ８０２２、８０２４および８０２６に先行し得る。

方法８０３０は、ステップ８０３２、８０３４、８０３６および８０３８のシーケンスを含み得る。

ステップ８０３２は、入力画像の受信または生成を含み得る。

ステップ８０３４は、入力画像のシグネチャーの生成を含み得る。

ステップ８０３６は、入力画像のシグネチャーと、所定の概念構造のシグネチャーとの比較を含み得る。所定の概念構造は、方法８０２０によって生成され得る。

ステップ８０３８は、所定の概念構造のシグネチャーの少なくとも１つが入力画像のシグネチャーと一致するとき、入力画像が物体を含むと判定することを含み得る。

図２Ｄは、物体検出の方法８０４０を示す。

方法８０４０は、方法８０２０のステップを含み得、ステップ８０２２、８０２４および８０２６に先行し得る。

方法８０４０は、ステップ８０４１、８０４３、８０４５5、８０４７、および８０４９のシーケンスを含み得る。

ステップ８０４１は、入力画像の受信または生成を含み得る。

ステップ８０４３は、入力画像のシグネチャーの生成を含み得、入力画像のシグネチャーは、所定の第２の画像識別子の一部のみを含み、入力画像は、第２のスケールで示される。

ステップ８０４５は、入力画像のスケールを第１のスケールへ変更し、修正された入力画像を提供することを含み得る。

ステップ８０４７は、修正された入力画像のシグネチャーの生成を含み得る。

ステップ８０４９は、修正された入力画像のシグネチャーが少なくとも１つの特定の第１の画像識別子を含んでいる場合、入力画像が物体を含むことの検証を含み得る。

撮影角度に頑健な物体検出

物体検出は、撮影角度（画像センサの光軸と物体の特定の部分との間の角度）に対して頑健であることから利益を得ることができる。これにより、検出処理の信頼性が高まり、使用するクラスタの数を減らすことができる（異なる画像から同じ物体を識別するために複数のクラスタを要求し得ない）。

図１Ｋは、以下のステップを含む方法８１２０を示す。

異なる角度から取得された物体画像を受信または生成するステップ８１２２。

互いに近い異なる角度から撮影された物体の画像を発見するステップ８１２４。近いとは、１，５，１０，１５，２０度以下であり得、しかしながら、実質的に同じシグネチャーを受信することによって、近さがよりよく反映され得る。

類似のシグネチャーの画像間のリンクのステップ８１２６。これは、局所的な類似性の検索を含み得る。類似性は、シグネチャーのサブセットごとに計算されるという意味で、局所的である。例えば、類似性が２つの画像ごとに決定されると仮定すると、第１のシグネチャーは、第１の画像に類似する第２のシグネチャーにリンクされ得る。第３のシグネチャーは、第２と第３のシグネチャーの間の類似性に基づいて、さらには第１と第３のシグネチャーの間の関係に関係なく、第２の画像にリンクされ得る。

ステップ８１２６は、類似シグネチャーを含む概念データ構造の生成を含み得る。

このいわゆるローカル又はスライディングウィンドウ方式で、十分な数の画像（統計的に大きな角度をカバーすることになる）を取得することに加え、複数の方向から撮影した物体のシグネチャーを含む概念構造を生成し得る。

シグネチャーのテーラード一致の閾値

物体検出は、（ａ）メディアユニットのシグネチャーと関連するメタデータを含む概念構造の受信または生成、（ｂ）新しいメディアユニットの受信、新しいメディアユニットのシグネチャーの生成、および、（ｃ）新しいメディアユニットのシグネチャーと概念構造のシグネチャーとの比較、によって実施できる。

比較は、新しいメディアユニットのシグネチャー識別子（新規メディアユニットに出現する物体の識別子）と概念のシグネチャー識別子との比較、および、シグネチャーの一致基準に基づいて、新しいメディアユニットのシグネチャーと概念のシグネチャーとが一致するか否かの決定を含み得る。そのような一致が発見された場合、新しいメディアユニットは、その概念構造に関連する物体を含むとみなされる。

調整可能なシグネチャー一致基準を適用することにより、一致工程が非常に効果的になり、異なるシナリオにおける識別子の出現の統計に適応できることが判明した。例えば、新しいメディアユニットシグネチャーとクラスタシグネチャーに、比較的後方にあるが識別性の高い識別子が出現した場合は一致とし、新しいメディアユニットシグネチャーとクラスタシグネチャーに、共通でわずかに識別性の高い識別子が複数出現した場合は不一致とできる。

図１Ｌは、物体検出のための方法８２００を示す図である。

方法８２００は、以下を含み得る。

入力画像を受信するステップ８２１０。

入力画像のシグネチャーを生成するステップ８２１２。

入力画像のシグネチャーを概念構造のシグネチャーと比較するステップ８２１４。

入力画像のシグネチャーが、シグネチャー一致基準に基づいて概念構造のシグネチャーのいずれかと一致する否か判定するステップ８２１６。概念構造の各シグネチャーは、シグネチャーの物体検出パラメータに基づいて決定されるシグネチャー一致基準内に関連付けられる。

判定結果に基づいて、入力画像が概念構造に関連する物体を含むと結論付けるステップ８２１８。

シグネチャーの一致基準は、一致を示す識別子の最小数であり得る。例えば、数十個の識別子を含むシグネチャーを仮定すると、最小数は単一の識別子からシグネチャーの全ての識別子の間であり得る。

入力画像は複数の物体を含み得、入力画像のシグネチャーは複数のクラスタ構造に一致し得ることに留意されたい。方法８２００は、すべての一致処理に適用可能であり、シグネチャーの一致基準は、各クラスタ構造の各シグネチャーに対して設定され得ることに留意されたい。

ステップ８２１０は、異なるシグネチャー一致基準の下でシグネチャーの物体検出特性を評価することにより、各シグネチャー一致基準を決定するステップ８２０２に先行し得る。

ステップ８２０２は、以下を含み得る。

テスト画像群のシグネチャーを受信または生成するステップ８２０３。

異なるシグネチャー一致基準のシグネチャー一致基準ごとに、シグネチャーの物体検出特性を計算するステップ８２０４。

異なるシグネチャー一致基準の下でのシグネチャーの物体検出特性に基づいて、シグネチャー一致基準を選択するステップ８２０６。

物体検出特性は、テスト画像群のうちシグネチャーと一致するシグネチャーの割合を反映させ得る。

シグネチャー一致基準の選択は、一旦適用されると、シグネチャーに一致するテスト画像群のシグネチャーのパーセントが、シグネチャーに一致するテスト画像群のシグネチャーの予め定義された所望のパーセントに近接する結果となるシグネチャー一致基準を選択することを含む。

物体検出特性は、シグネチャーと一致するテスト画像群のシグネチャーのパーセントの大きな変化を反映し得る。例えば、シグネチャーの一致基準は一致する識別子の最小数であり、最小数の値を変更すると仮定すると、一致するテスト画像のパーセンテージが変化する可能性があるとする。割合の実質的な変化（例えば、１０、２０、３０、４０パーセント以上の変化）は、所望の値を示すことができる。所望の値は、例えば、実質的な変化の前に設定され、実質的な変化に近接して設定されてもよい。

例えば、図１Ｉを参照すると、クラスタシグネチャーＣＳ（1,1）、ＣＳ（2,5）、ＣＳ（7,3）及びＣＳ（15,2）は、ユニットシグネチャー４９７２と一致する。これらの一致のそれぞれは、一意のシグネチャーの一致基準を適用し得る。

システム例

図１Ｍは、上述した１つ以上の方法を実行可能なシステムの一例を示す。

システムは、様々なコンポーネント、要素、および/またはユニットを含む。

構成要素および/またはユニットは、処理回路は、中央処理装置（CPU）、および/または特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、フルカスタム集積回路等の１つ以上の他の集積回路、又はその組み合わせとして実施され得る。

あるいは、各構成要素および/またはユニットは、処理回路によって実行され得るハードウェア、ファームウェア、またはソフトウェアで実装され得る。

システム４９００は、検知ユニット４９０２、通信ユニット４９０４、入力４９１１、１つ以上のプロセッサ、例えばプロセッサ４９５０、および出力４９１９を含み得る。通信ユニット４９０４は、入力および/または出力を含み得る。通信ユニット４９０４は、任意のエンティティ、車内（例えば、ドライバーデバイス、パッセンジャーデバイス、マルチメディアデバイス等)、車外（他の車両、他のコンピュータ化されたシステム、図１Ｎの車外のコンピュータ化されたシステム４８２０等、他の道路利用者、車外の他の人間）等、と通信し得る。

入力/出力は、ネットワークインターフェースカード、ユニバーサルシリアルバス（USB）ポート、ディスクリーダー、モデム、または、トランシーバー等、当技術分野で知られるプロトコルを使用してシステムの他の要素と直接または間接的に通信するために動作する、適切な通信コンポーネントであり得る。

プロセッサ４９５０は、少なくとも以下を含み得る（また、少なくとも１つを含まなくてもよい）。
・複数のスパンニング要素４９５１（q）
・複数の併合要素４９５２（r）
・物体検出器４９５３
・クラスターマネージャ４９５４
・コントローラ４９５５
・選択ユニット４９５６
・物体検出決定部４９５７
・シグネチャー生成部４９５８
・移動情報ユニット４９５９
・物体（アンカーと非アンカー物体）を識別する識別ユニット４９１５

システム４９００は、検知ユニット４９０２を含むが、他のセンサから検知された情報を受信し得、および/または、検知ユニットは、システムに属さないことに留意されたい。システムは、車内に位置する、車両に関連する、および/または車外に位置する１以上のセンサから情報を受信し得る。

本明細書に例示される方法は、システム４９００によって完全にまたは部分的に実行されて得、および/または、１つ以上の他のコンピュータ化されたシステムによって完全にまたは部分的に実行され得、例えば、コンピュータ化されたシステム間のタスク割り当てによって、複数のコンピュータ化されたシステム間の協力（例えば、情報の交換、決定の交換、資源の任意の割り当て、共同決定、等）により、コンピュータ化されたシステムによって、実行される。

１つ以上の他のコンピュータ化されたシステムは、例えば、図１Ｎの車外のコンピュータ化されたシステム４８２０、他の車外のコンピュータ化されたシステム、１つ以上の他の車内システム、車内の人のコンピュータ化された装置、車外のコンピュータ化されたシステム、例えば、他の車両のコンピュータ化されたシステムも含む、でありうる。

他の車載システムの一例は、図１Ｎに４８３０で示され、道路４８２０に沿って走行する車両４８００内に配置される。

システム４９００は、任意のタイプのセンサ、カメラ、従来のカメラの代わりに、またはそれに加えて任意の適切なイメージング技術を使用して実装された１以上のセンサ、赤外線センサ、レーダ、超音波センサ、任意の電気光学センサ、放射線撮影センサ、LIDAR（ライダー）、遠隔測定法ECUセンサ、衝撃センサ等から検知された情報を取得し得る。

システム４９００および/または他の車載システムは、４８３０で示され、それらによって実行される任意の方法を実行するために教師ありおよび/または教師なし学習を使用し得る。

他の車載システム４８３０は、自律走行システム、先進運転支援システムであり得、自律走行システムとも先進運転支援システムと異なり得る。

他の車載システム４８３０は、処理回路２１０、入力/出力（I/O）モジュール２２０、１つ以上のセンサ２３３、およびデータベース２７０を含み得る。処理回路２１０は、明細書に例示された方法のいずれかに関連して、それが実行するように割り当てられた、またはプログラムされた任意のタスクを実行し得る。あるいは、他の車載システム４８３０は、（単独または処理回路で）任意のそのようなタスクを実行する別のモジュールを含み得る。例えば、処理回路は、自律走行マネージャ機能を提供する命令を実行し得る。あるいは、車載システム４８３０の別の回路またはモジュールが、自律運転マネージャ機能を提供し得る。

図１０に、メディアユニットのハイブリッド表現を生成する方法７００２を示す。

方法７００２は、ステップ７０２０、７０２２、７０２４および７０２６のシーケンスを含み得る。

ステップ７０２０は、メディアユニットの受信または生成を含み得る。

ステップ７０２２は、複数の繰り返しを行うことによるメディアユニットの処理を含み得、複数の繰り返しの少なくとも一部は、繰り返しのスパンニング要素による、併合操作に続く次元拡張処理を適用することからなる。

ステップ７０２４は、複数の繰り返しの出力に基づく、複数の繰り返しの出力に寄与したメディアユニット関心領域の選択を含み得る。

ステップ７０２６は、ハイブリッド表現を提供することを含み得、ハイブリッド表現は、（ａ）メディアユニット関心領域の形状に関する形状情報、および（ｂ）メディアユニット関心領域を識別する識別子を含むメディアユニットシグネチャーを含み得る。

ステップ７０２６は、メディアユニットの複数のセグメントの、セグメントごとのメディア関心領域の選択を含み得る。例えば、図２を参照されたい。

ステップ７０２６は、形状情報を生成するステップ７０２７を含み得る。

形状情報は、メディアユニット関心領域を実質的に拘束する形状を表すポリゴンを含み得る。これらのポリゴンは、高次のものであり得る。

記憶領域を節約するため、方法は、メディアユニットの形状情報を圧縮して、メディアユニットの圧縮された形状情報を提供するステップ７０２８を含み得る。

図１Ｐは、スケール不変の物体検出の方法８０２０を示す。

方法８０２０は、ステップ８０２２、８０２４、８０２６および８０２８を含み得るステップの第1のシーケンスを含み得る。

ステップ８０２２は、物体が第１のスケールで表示される第１の画像と、物体が第１のスケールとは異なる第２のスケールで表示される第２の画像の受信または生成を含み得る。

ステップ８０２４は、第１の画像シグネチャーおよび第２の画像シグネチャーの生成を含み得る。

第1の画像シグネチャーは、物体の少なくとも一部を識別する少なくとも１つの所定の第１の画像識別子の第１のグループを含む。

第２の画像シグネチャーは、物体の異なる部分を識別する所定の第２画像識別子の第２のグループを含む。

第２のグループは、第１のグループより多くの要素（members）を持つため、第２のグループは第１のグループより大きい。

ステップ８０２６は、少なくとも１つの所定の第１の画像識別子と所定の第２の画像識別子との間のリンク付けを含み得る。

ステップ８０２６は、第１の画像シグネチャー、第２の画像シグネチャー、および物体の間のリンクを含み得る。

ステップ８０２６は、物体に関連する所定の概念構造に、第１のシグネチャーと第２のシグネチャーを追加することを含み得る。

ステップ８０２８は、リンクに少なくとも部分的に基づいて、入力画像が物体を含むか否かの決定を含み得る。入力画像は、第１および第２の画像と異なる。

決定は、入力画像のシグネチャーが、少なくとも１つの所定の第１の画像識別子、または所定の第２の画像識別子を含む場合に、入力画像が物体を含むと決定することを含み得る。

決定は、入力画像のシグネチャーが、少なくとも１つの所定の第１の画像識別子の一部のみ、または所定の第２の画像識別子の一部のみを含む場合に、入力画像が物体を含むと決定することを含み得る。

リンクは、物体が２つ以上のスケールで表示される２つ以上の画像に対して実行され得る。

図１Qは、物体検出の方法８２００を説明する。

方法８２００は、以下を含み得る。

入力画像を受信するステップ８２１０。

入力画像のシグネチャーを生成するステップ８２１２。

入力画像のシグネチャーを概念構造のシグネチャーと比較するステップ８２１４。

シグネチャー一致基準に基づいて、入力画像のシグネチャーが、概念構造のシグネチャーのいずれかと一致するか否か決定するステップ８２１６。概念構造の各シグネチャーは、シグネチャーの物体検出パラメータに基づいて決定されるシグネチャー一致基準内に関連付けられる。

決定の結果に基づいて、入力画像が概念構造に関連する物体を含むと結論付けるステップ８２１８。

シグネチャーの一致基準は、一致を示す識別子の最小数とできる。例えば、数十個の識別子を含むシグネチャーを仮定すると、最小数は単一の識別子からシグネチャーの全ての識別子の間で変化する可能性がある。

入力画像は複数の物体を含み得、入力画像のシグネチャーは複数のクラスタ構造に一致し得ることに留意されたい。方法８２００は、すべての一致処理に適用可能であり、シグネチャーの一致基準は、各クラスタ構造の各シグネチャーに対して設定され得ることに留意されたい。

ステップ８２１０は、異なるシグネチャー一致基準の下でシグネチャーの物体検出特性を評価することにより、各シグネチャー一致基準を決定するステップ８２０２に先行することができる。

ステップ８２０２は、以下を含み得る。

テスト画像群のシグネチャーを受信または生成するステップ８２０３。

異なるシグネチャー一致基準のシグネチャー一致基準ごとに、シグネチャーの物体検出特性を計算するステップ８２０４。

異なるシグネチャー一致基準の下でのシグネチャーの物体検出特性に基づいて、シグネチャー一致基準を選択するステップ８２０６。

物体検出特性は、テスト画像群のうちシグネチャーと一致するシグネチャーの割合を反映し得る。

シグネチャー一致基準の選択は、一旦適用されると、シグネチャーに一致するテスト画像群のシグネチャーのパーセントが、シグネチャーに一致するテスト画像群のシグネチャーの予め定義された所望のパーセントに近接する結果となるシグネチャー一致基準を選択することを含む。

物体検出特性は、シグネチャーと一致するテスト画像群のシグネチャーのパーセントの大きな変化を反映し得る。例えば、シグネチャーの一致基準は一致する識別子の最小数であり、最小数の値を変更すると、一致するテスト画像のパーセンテージが変化する可能性があると仮定する。割合の実質的な変化（例えば、１０、２０、３０、４０パーセント以上の変化）は、所望の値を示し得る。所望の値は、例えば、実質的な変化の前に設定され得、実質的な変化に近接して設定され得る。

前述の明細書において、本発明は、本発明の実施形態の具体例を参照して説明された。しかしながら、添付の特許請求の範囲に規定される本発明のより広い精神および範囲から逸脱することなく、様々な修正および変更がそこでなされ得ることは明らかであろう。

さらに、本明細書および特許請求の範囲における「前」、「後」、「上」、「下」等の用語は、説明のために使用されており、必ずしも永久的な相対位置を説明するために使用されているのではない。そのように使用される用語は、ここに記載される本発明の実施形態が、例えば、ここに図示またはその他の方法で記載される方向とは異なる方向で動作可能であるように、適切な状況下で交換可能であることが理解される。

さらに、信号、ステータスビット、または同様の装置をそれぞれ論理的に真または論理的に偽の状態にすることを指す場合、「アサート」または「セット」および「ネゲート」（または「ディアサート」または「クリア」）という用語がここで使用される。論理的に真である状態が論理レベル１である場合、論理的に偽である状態は論理レベル０である。また、論理的に真である状態が論理レベル０である場合、論理的に偽である状態は論理レベル１である。

当業者は、論理ブロック間の境界は単に例示であり、代替の実施形態は、論理ブロックまたは回路要素を統合し、または様々な論理ブロックまたは回路要素に機能の代替分解を課し得ることを認識するであろう。したがって、ここに描かれたアーキテクチャは単に例示であり、実際には、同じ機能を達成する他の多くのアーキテクチャが実装され得ることが理解される。

同じ機能を達成するための構成要素のいかなる配置も、所望の機能が達成されるように、事実上「関連」する。したがって、特定の機能を達成するためにここで組み合わされる任意の２つの構成要素は、アーキテクチャまたは介在する構成要素に関係なく、所望の機能が達成されるように互いに「関連」していると見なし得る。同様に、そのように関連付けられた任意の２つの構成要素は、所望の機能性を達成するために互いに「動作可能に接続される」、または「動作可能に結合される」とも見なし得る。

さらに、当業者は、上述した操作の間の境界は単に例示に過ぎないことを認識するであろう。複数の操作は、単一の操作に結合され得、単一の操作は、追加の操作に分散され得、操作は、時間的に少なくとも部分的に重複して実行され得る。さらに、代替的な実施形態は、特定の操作の複数のインスタンスを含見え、操作の順序は、他の様々な実施形態において変更され得る。

また、例えば、一実施形態において、図示された例は、単一の集積回路上又は同じ装置内に配置された回路として実装され得る。あるいは、例示された例は、適切な方法で互いに相互接続された任意の数の別個の集積回路又は別個のデバイスとして実装され得る。

しかし、他の修正、変形、および代替案も可能である。したがって、本明細書および図面は、制限的な意味ではなく、例示的な意味で捉えられるべきものである。

特許請求の範囲において、括弧の間に置かれた参照符号は、特許請求の範囲を限定するものと解釈してはならない。また、「含む（comprising）」という語は、請求項に記載されたもの以外の要素またはステップが存在することを排除するものではない。さらに、ここで使用される「a」または「an」という用語は、１以上として定義される。また、請求項における「少なくとも１つ」や「１つ以上」などの導入句の使用は、不定冠詞「a」または「an」による他の請求項要素の導入が、当該導入された請求項要素を含む任意の特定の請求項に、同じ請求項に「１つ以上」または「少なくとも１つ」の導入句および「a」または「an」などの不定冠詞が含まれる場合でも、当該要素を１つだけ含む発明を制限するものと示唆するものと解釈されるべきではない。定冠詞の使用についても同じことが言える。特に断らない限り、「第１」「第２」などの用語は、その用語が説明する要素を任意に区別するために使用される。従って、これらの用語は、必ずしも当該要素の時間的またはその他の優先順位を示すことを意図したものではない。ある手段が相互に異なる請求項に記載されているという事実だけで、これらの手段の組合せが有利に使用できないことを示すものではない。

本発明の特定の特徴をここで例示し、説明したが、多くの修正、置換、変更、および均等物は、今や当業者にとって生じるものである。したがって、添付の特許請求の範囲は、本発明の真の精神の範囲内にあるすべてのそのような修正および変更をカバーすることを意図していることが理解されよう。

明確さのために、別々の実施形態の文脈で説明される本開示の実施形態の様々な特徴も、単一の実施形態において組み合わせて提供され得ることが理解される。逆に、簡潔にするために、単一の実施形態の文脈で説明されている本開示の実施形態の様々な特徴も、別々に、または任意の適切な下位組合せで提供され得る。

本開示の実施形態は、ここで特に示され、説明されたものによって限定されないことは、当業者によって理解されるであろう。むしろ、本開示の実施形態の範囲は、添付の特許請求の範囲及びその均等物によって定義される。

Claims (23)

1. 航空画像に基づいて、運転関連操作を行う方法であって、
   車両の少なくとも１つのセンサによって、車両の検知された環境情報を取得し、
   前記車両の初期位置推定モジュールによって、前記車両の初期位置推定を決定し、
   前記車両のプロセッサによって、前記車両の前記初期位置推定の環境を含む航空地図のセグメントに関連する航空地図のセグメント情報を取得し、
   前記車両の検知された情報および前記航空地図のセグメント情報に基づいて、少なくとも前記車両の前記初期位置推定の前記環境内で、運転関連操作の実行を決定し、
   前記運転関連操作を実行する
   方法。
2. 前記決定は、前記車両の検知環境情報でキャプチャされた１つ以上のアンカーを、前記航空地図のセグメントに現れる１つ以上の対応するアンカーと一致させる
   請求項１に記載の方法。
3. 前記車両によって、前記車両の前記環境内にあるアンカーおよびアンカーの位置を示す車両ローカル地図の生成を含む
   請求項２に記載の方法。
4. 前記車両ローカル地図の、前記車両の外に位置する他のコンピュータ化されたシステムとの共有を含む
   請求項３に記載の方法。
5. 前記共有は、車両から車両の通信を用いて実行され、前記コンピュータ化されたシステムは、他の車両である
   請求項４に記載の方法。
6. 前記コンピュータ化されたシステムは、１つ以上のサーバである
   請求項４に記載の方法。
7. 前記車両で、他の車両で生成された、前記他の車両の環境内にあるアンカーおよびアンカーの位置を示す前記他の車両のローカル地図の受信することを含む
   請求項２に記載の方法。
8. 前記他の車両のローカル地図と前記車両のローカル地図を比較する
   請求項７に記載の方法。
9. 前記運転操作は前記環境内での車両の完全な自立走行である
   請求項１に記載の方法。
10. 前記運転操作は、先進運転支援システム（ADAS）操作である
    請求項１に記載の方法。
11. 前記車両と前記車両に検知されることによってキャプチャされた物体群の物体との空間的関係の検出を含む
    請求項１に記載の方法。
12. 前記空間的関係および鳥瞰図ベースの位置情報に基づいて、第２の車両の位置推定を決定し、
    前記第２の車両の位置推定は、第１の車両の位置推定よりも正確である
    請求項１１に記載の方法。
13. 前記空間的関係の検出は、車両が検知した視覚情報と車両が検知したレーダ情報との融合を含む
    請求項１２に記載の方法。
14. 前記第２の車両の位置推定の決定は、前記鳥瞰図視覚情報と前記車両の検知された環境情報とのマッピングの利用を含む
    請求項１２に記載の方法。
15. 前記物体は、教師なし方式で訓練された機械学習処理を利用して検出される
    請求項１２に記載の方法。
16. 前記物体群は、前記車両に対して異なる方向に位置する３つ以上の物体を含む
    請求項１２に記載の方法。
17. 前記物体群の物体は、静的物体である
    請求項１２に記載の方法。
18. 前記物体群の物体は、少なくとも信号機および交通標識を含む
    請求項１２に記載の方法。
19. 前記物体群の物体は、少なくとも、車線境界（lane boundary）、道路標識および車線境界線（lane line）を含む
    請求項１２に記載の方法。
20. 前記空間的関係の検出は、地平線の検出および表面推定の実行を含む
    請求項１２に記載の方法。
21. 非一時的なコンピュータ可読媒体であって、
    車両の少なくとも１つによる、車両の検知された環境情報の取得、
    前記車両の初期位置推定モジュールによる、前記車両の初期位置推定の決定、
    前記車両のプロセッサによる、前記車両の前記初期位置推定の環境を含む航空地図のセグメントに関連する航空地図セグメント情報の取得、
    前記車両の検知された情報および前記航空地図のセグメント情報に基づく、少なくとも前記車両の前記初期位置推定の前記環境内で運転関連操作の実行の決定、および、
    前記運転関連操作を実行、
    の命令を記憶するコンピュータ可読媒体。
22. 車両ローカル地図を使用する方法であって、
    車両の少なくとも１つのセンサによって、車両の検知された環境情報を取得し、
    前記車両の初期位置推定モジュールによって、前記車両の初期位置推定を決定し、
    前記車両のプロセッサによって、１以上の他の車両の１以上の環境の検知された情報トの間のマッピングに基づいて、生成された、１以上の車両によってアクセス可能な１以上の航空地図を取得し、
    前記車両の検知された情報および前記１以上のローカル車両地図に基づいて、少なくとも前記車両の前記初期位置推定の前記環境内で、前記車両の運転関連操作の実行を決定し、
    前記運転関連操作の実行を決定する
    方法。
23. 非一時的なコンピュータ可読媒体であって、
    車両の少なくとも１つによる、車両の検知された環境情報の取得、
    前記車両の初期位置推定モジュールによる、前記車両の初期位置推定の決定、
    車両のプロセッサによる、１つ以上の車両がアクセス可能な１つ以上の航空地図と、１つ以上の他の車両の１つ以上の環境の検知された情報との間のマッピングにより生成された１つ以上のローカル車両地図の取得、
    前記車両の検知された情報および前記１つ以上のローカル車両地図に基づく、少なくとも前記初期位置推定の環境内の運転関連操作の実行の決定、および、
    前記運転関連操作の実行、
    の命令を記憶するコンピュータ可読媒体。

Images