JP2021136021A - 運転者中心危険評価：意図認識運転モデルを用いた因果推論を介する危険物体識別 - Google Patents

Abstract

【課題】自車両の運転シーンの少なくとも１つの画像を受信することを含む、意図認識運転モデルに基づいて、運転行動を予測するためのシステム及び方法を提供する。【解決手段】方法は、少なくとも１つの画像を分析して、運転シーン内に位置する動的物体を検出及び追跡し、運転シーンに関連付けられた運転シーン特性を検出及び識別することと、動的物体に関連付けられた自己−事物グラフ、及び運転シーン特性に関連付けられた自己−要素グラフを処理することと、自己−事物グラフ及び自己−要素グラフの表現の融合に基づく運転者の刺激行動と、自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動と、を予測することと、を含む。【選択図】図３

Description

（関連出願の相互参照）
本出願は、２０２０年２月２６日に出願された米国特許仮出願第６２／９８１，７８５号のそれぞれに優先権を主張する、２０２０年６月３０日に出願された米国特許出願第１６／９１６，４２８号の一部継続出願であり、これらの両方が参照により本明細書に明示的に組み込まれる。

運転者中心の危険を研究するには、運転シーンを敏感に理解する必要がある。データの収集及び分析は、より高いレベルの運転シーンの理解という課題の多くに対処していない。インテリジェント自動運転システムでは、そのような能力を有するシステムを可能にすることが重要であり得る。最終的な目標を達成するために、危険物体識別のための既存の取り組みは、大量の処理能力を利用しながら、多数の入力を受容することにより、ノイズが多く、時間がかかる方法で危険物体をラベリングすることを含み、危険物体を識別するための明示的な推論を提供していない。

一態様によれば、自車両の運転シーンの少なくとも１つの画像を受信することを含む、意図認識運転モデルに基づいて、運転行動を予測するためのコンピュータ実施方法である。コンピュータ実施方法はまた、少なくとも１つの画像を分析して、運転シーン内に位置する動的物体を検出及び追跡し、運転シーンに関連付けられた運転シーン特性を検出及び識別することと、動的物体に関連付けられた自己−事物グラフ、及び運転シーン特性に関連付けられた自己−要素グラフを処理することと、を含む。コンピュータ実施方法は、自己−事物グラフ及び自己−要素グラフの表現の融合に基づく運転者の刺激行動と、自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動と、を予測することを更に含む。

別の態様によれば、意図認識運転モデルに基づいて運転行動を予測するためのシステムであって、命令を記憶しているメモリを含み、命令が、プロセッサによって実行されるとき、プロセッサに、自車両の運転シーンの少なくとも１つの画像を受信させる、システムである。命令はまた、プロセッサに、少なくとも１つの画像を分析して、運転シーン内に位置する動的物体を検出及び追跡し、運転シーンに関連付けられた運転シーン特性を検出及び識別することと、動的物体に関連付けられた自己−事物グラフ、及び運転シーン特性に関連付けられた自己−要素グラフを処理することと、を行わせる。命令は、プロセッサに、自己−事物グラフ及び自己−要素グラフの表現の融合に基づく運転者の刺激行動と、自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動と、を予測することを更に行わせる。

更に別の態様によれば、命令を記憶する非一時的コンピュータ可読記憶媒体であって、プロセッサを含むコンピュータによって実行されるとき、自車両の運転シーンの少なくとも１つの画像を受信することを含む方法を実行する、非一時的コンピュータ可読記憶媒体である。方法はまた、少なくとも１つの画像を分析して、運転シーン内に位置する動的物体を検出及び追跡し、運転シーンに関連付けられた運転シーン特性を検出及び識別することと、動的物体に関連付けられた自己−事物グラフ、及び運転シーン特性に関連付けられた自己−要素グラフを処理することと、を含む。方法は、自己−事物グラフ及び自己−要素グラフの表現の融合に基づく運転者の刺激行動と、自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動と、を予測することを更に含む。

本開示に特徴的であると考えられる新規な特徴は、添付の特許請求の範囲に記載される。以下の説明において、明細書及び図面をとおして、同様の部分にはそれぞれ同一の符号を付す。図面は必ずしも縮尺どおりに描画されておらず、明確性及び簡潔さのために、特定の図面は、誇張された又は一般化された形態で示され得る。しかしながら、本開示自体、並びにその好ましい使用モード、更なる目的及び進歩は、添付図面と併せて読むと、例示的な実施形態の以下の詳細な説明を参照することによって最も良く理解されるであろう。

本開示の例示的実施形態による、意図認識運転モデルに基づく運転行動を予測するための例示的なシステムの概略図である。

本開示の例示的な実施形態による、ニューラルネットワークの行動予測アプリケーションの動作の例示的なフレームワークである。

本開示の例示的な実施形態による、動的物体及び自車両の運転シーンの運転シーン特性に関連付けられた自己−事物グラフ及び自己−要素グラフを生成するための方法のプロセスフロー図である。

本開示の例示的な実施形態による、自車両の運転シーン内に位置する動的物体の第１の例示的な例である。

本開示の例示的な実施形態による、自車両の運転シーン内に位置する動的物体の第２の例示的な例である。

本開示の例示的な実施形態による、自車両の運転シーン内に含まれる運転シーン特性の第１の例示的な例である。

本開示の例示的な実施形態による、自車両の運転シーン内に含まれる運転シーン特性の第２の例示的な例である。

本開示の例示的な実施形態による、自己中心表現を判定して、運転者の刺激行動及び運転者の意図行動を出力するための方法のプロセスフロー図である。

本開示の例示的実施形態による、時間デコーダの構造の概略図である。

本開示の例示的な実施形態による、意図認識運転モデルに基づいて、運転行動を予測するための方法のプロセスフロー図である。

以下は、本明細書で用いられる選択された用語の定義を含む。定義は、用語の範囲内に含まれかつ実施に使用され得る構成要素の様々な実施例及び／又は形態を含む。実施例は、限定することを意図するものではない。

本明細書で使用される場合、「バス」とは、コンピュータ内部又はコンピュータ間の他のコンピュータ構成要素に操作可能に接続された、相互接続されたアーキテクチャを指す。バスは、コンピュータ構成要素間でデータを転送することができる。バスは、とりわけ、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスであってもよい。バスはまた、とりわけ、媒体配向システム輸送（Media Oriented Systems Transport、ＭＯＳＴ）、コントローラエリアネットワーク（Controller Area network、ＣＡＮ）、ローカル相互接続ネットワーク（Local Interconnect Network、ＬＩＮ）などのプロトコルを使用して、車両内部の構成要素を相互接続する、車両バスであってもよい。

本明細書で使用される場合、「コンピュータ通信」とは、２つ以上のコンピューティングデバイス（例えば、コンピュータ、パーソナルデジタルアシスタント、セルラー電話、ネットワークデバイス）間の通信を指し、例えば、ネットワーク転送、ファイル転送、アプレット転送、電子メール、ハイパーテキスト転送プロトコル（hypertext transfer protocol、ＨＴＴＰ）転送などであってもよい。コンピュータ通信は、例えば、とりわけ、無線システム（例えば、ＩＥＥＥ８０２．１１）、イーサネットシステム（例えば、ＩＥＥＥ８０２．３）、トークンリングシステム（例えば、ＩＥＥＥ８０２．５）、ローカルエリアネットワーク（local area network、ＬＡＮ）、広域ネットワーク（wide area network、ＷＡＮ）、ポイントツーポイントシステム、回路スイッチングシステム、パケットスイッチングシステムを介して発生し得る。

本明細書で使用される場合、「ディスク」とは、例えば、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、及び／又はメモリスティックであってもよい。更に、ディスクは、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ ＲＯＭ、コンパクトディスクＲＯＭ）、ＣＤ記録可能ドライブ（CD recordable drive、ＣＤ−Ｒドライブ）、ＣＤ書き換え可能ドライブ（CD rewritable drive、ＣＤ−ＲＷドライブ）、及び／又はデジタルビデオＲＯＭドライブ（digital video ROM、ＤＶＤ−ＲＯＭ）であってもよい。ディスクは、コンピューティングデバイスのリソースを制御する又は割り振る、オペレーティングシステムを記憶することができる。

本明細書で使用される場合、「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含み得る。不揮発性メモリには、例えば、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、読み取り専用メモリ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、プログラマブル読み取り専用メモリ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ＰＲＯＭ、消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ、電気的消去可能なＰＲＯＭ）が含まれ得る。揮発性メモリには、例えば、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ランダムアクセスメモリ）、同期ＲＡＭ（synchronous RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（direct RAM bus RAM、ＤＲＲＡＭ）が含まれ得る。メモリは、コンピューティングデバイスのリソースを制御する又は割り振る、オペレーティングシステムを記憶することができる。

本明細書で使用される場合、「モジュール」は、機能（複数可）若しくは行動（複数可）を実行するため、並びに／又は別のモジュール、メソッド、及び／若しくはシステムからの機能若しくは行動を引き起こすための、命令を記憶する非一時的コンピュータ可読媒体、機械上で実行される命令、ハードウェア、ファームウェア、機械で実行中のソフトウェア、及び／又はそれぞれの組み合わせを含むが、これらに限定されない。モジュールはまた、論理、ソフトウェア制御マイクロプロセッサ、別個の論理回路、アナログ回路、デジタル回路、プログラムされた論理デバイス、実行命令を含むメモリデバイス、論理ゲート、ゲートの組み合わせ、及び／又は他の回路構成要素を含んでもよい。複数のモジュールは、１つのモジュールに組み合わされてもよく、単一モジュールは、複数のモジュール間に分散されてもよい。

「操作可能な接続」、又はエンティティが「操作可能に接続される」ことによる接続は、信号、物理的通信、及び／又は論理的通信が、送信及び／又は受信され得るものである。操作可能な接続は、無線インターフェース、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを含んでもよい。

本明細書で使用される場合、「プロセッサ」は、信号を処理し、一般的なコンピューティング及び演算機能を行う。プロセッサによって処理された信号は、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／若しくは検出され得る他の手段を含んでもよい。一般に、プロセッサは、複数の単一及びマルチコアのプロセッサ及びコプロセッサ並びに他の複数の単一及びマルチコアのプロセッサ及びコプロセッサアーキテクチャを含む、多種の様々なプロセッサであってもよい。プロセッサは、様々な機能を実行するための様々なモジュールを含んでもよい。

本明細書で使用される場合、「車両」は、１人以上の人間の乗員を運ぶことができ、任意の形態のエネルギーによって電力供給される、任意の移動車両を指し得る。「車両」という用語には、限定するものではないが、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクータ、ボート、ゴーカート、アミューズメントライドカー、鉄道輸送、水上バイク、及び航空機が含まれる。場合によっては、モータ車両は、１つ以上のエンジンを含む。更に、「車両」という用語は、１人以上の人間の乗員を運ぶことができ、電気電池によって電力供給される１つ以上の電気モータによって、完全に又は部分的に電力供給される、電気車両（electric vehicle、ＥＶ）を指し得る。ＥＶは、電池電気自動車（battery electric vehicle、ＢＥＶ）及びプラグインハイブリッド電気自動車（plug-in hybrid electric vehicle、ＰＨＥＶ）を含んでもよい。追加的に、「車両」という用語は、任意の形態のエネルギーによって動力を供給される、自律型車両及び／又は自動運転型車両を指し得る。自律型車両は、１人以上の人間の乗員を運んでいても運んでいなくてもよい。更に、「車両」という用語は、所定の経路又は自由移動車両で自動化又は非自動化される車両を含んでもよい。

本明細書で使用される場合、「値」及び「レベル」とは、とりわけ、百分率、非数値、離散的な状態、離散値、連続値などの数値、又は他の種類の値若しくはレベルを含むことができるが、これらに限定されない。「Ｘの値」又は「Ｘのレベル」という用語は、この詳細な説明全体を通じて、及び特許請求の範囲で使用される場合、Ｘの２つ以上の状態を区別するための任意の数値又は他の種類の値を指す。例えば、場合によっては、Ｘの値又はレベルは、０％〜１００％の割合として与えられてもよい。他の場合には、Ｘの値又はレベルは、１〜１０の範囲の値であり得る。更に他の場合では、Ｘの値又はレベルは数値でなくてもよいが、「非Ｘ」、「わずかにｘ」、「ｘ」、「非常にｘ」、及び「極ｘ」などの所与の離散した状態に関連付けることができる。
Ｉ．システムの概要

ここで図面を参照すると、表示は、１つ以上の例示的な実施形態を例示する目的のためであり、限定する目的のためではなく、図１は、本開示の例示的な実施形態による、意図認識運転モデルに基づいて運転行動を予測するための例示的システム１００の概略図である。システム１００の構成要素、並びに本明細書で考察される他のシステム、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャの構成要素は、様々な実施形態のために異なるアーキテクチャに組み合わされるか、省略されるか、又は編成されてもよい。

一般的に、システム１００は、自車両１０２を含んでもよい。自車両１０２は、１種類以上の環境内で走行し得る自動車、ロボット、フォークリフト、自転車／オートバイ、車椅子／スクータなどを挙げられ得るが、これらに限定されない。簡略化のために、本開示は、乗用車（例えば、車）としての自車両１０２に対するシステム１００の実施形態を説明する。自車両１０２は、とりわけ、１つ以上のアプリケーション、オペレーティングシステム、自車両システム、及びサブシステムユーザインターフェースを実行する電子制御ユニット（electronic control unit、ＥＣＵ）１０４を含む。ＥＣＵ１０４は、本開示の例示的な実施形態による、意図認識運転モデルに基づいて運転行動を予測するように構成され得る運転シーンモデリング運転者行動予測アプリケーション（行動予測アプリケーション）１０６を実行させることができる。

以下でより詳細に考察されるように、行動予測アプリケーション１０６は、機械学習及び深層学習を有するニューラルネットワーク１０８を利用して、多層注釈スキームに関連付けられた注釈を有する自然的な運転挙動データセット（図示せず）を構築及び維持するために利用され得る人工知能能力を提供するように構成されていてもよい。行動予測アプリケーション１０６は、入力として提供される様々なソースからの情報を処理することができ、また、コンピュータビジョン、物体分類、特徴認識、多層知覚、及び自律運転コマンドを含むがこれらに限定されない様々な機能を提供するために、ニューラルネットワーク１０８を利用してもよい。

多層注釈スキームは、自車両１０２の操作に対応する操作プロセス、自車両１０２、交通参加者、及び自車両１０２の周辺環境との間の相互作用を含む戦略的プロセス、並びにより高いレベルの推論、計画、及び意思決定のための戦略的プロセスを含むが、これらに限定されない、運転プロセスのクラスを含むように利用されてもよい。例示的な実施形態では、多層注釈スキームは、運転者が運転操作（複数可）を行う可能性のある意図に基づくナビゲーションタスク（例えば、右折）における自車両１０２の運転者の操作（複数可）を含み得る目標指向の行動として、１つ以上の運転操作のカテゴリ化を含んでもよい。多層注釈スキームは、運転操作（複数可）を行うための理由（運転者の反応による）又は１つ以上の外部刺激を示し得る刺激駆動行動（例えば、自車両１０２の停止）として、１つ以上の運転操作のカテゴリ化を含んでもよい。

多層注釈スキームはまた、１つ以上の運転操作（例えば、自車両１０２の前方に停止している車両が、自車両１０２を停止させる直接の原因である）を実行する際の運転者の行動に関する推論を説明するために、刺激駆動行動として分類された１つ以上の運転操作の因果的推論の判定を含んでもよい。更に、多層注釈スキームは、運転者が１つ以上の運転操作（例えば、自車両１０２の運転者が注意を向ける可能性のある黄色信号及び歩行者）を行う際に、運転者が注意を向ける可能性のある１つ以上の注意捕捉交通関連物体に関連付けられた運転者行動の判定を含んでもよい。

以下でより詳細に考察されるように、行動予測アプリケーション１０６は、刺激駆動行動に分類される１つ以上の運転操作と、運転者が１つ以上の運転操作を行う際に運転者が注意を向け得る１つ以上の注意捕捉交通関連物体との因果的推論の判定に基づいて、自車両１０２の動作に関連する刺激駆動行動及び運転者の意図行動を予測するように構成されていてもよい。因果的推論及び注意捕捉交通関連物体は、自車両１０２の運転シーン内に位置し得る１つ以上の動的物体、及び／又は自車両１０２の運転シーン内に含まれ得る１つ以上の運転シーン特性に基づいてもよい。運転シーンは、自車両１０２が操作されているときに、自車両１０２の所定の近傍を含んでもよい。

特に、行動予測アプリケーション１０６は、画像を分析して、自車両１０２の時空間運転シーンをモデリングするように構成されていてもよい。行動予測アプリケーション１０６は、画像を分析して、自車両１０２の運転シーンを更に分析し、運転シーン内を走行する動的物体を検出して追跡し、かつ運転シーンの運転シーン特性を検出して識別するように構成されていてもよい。一実施形態では、動的物体は、自車両１０２の周囲環境内に位置し得る交通参加者を含んでもよく、追加の車両、歩行者、自転車運転者などを含み得るが、これらに限定されない。運転シーン特性としては、運転シーン内の車道に含まれる路面表示（例えば、車線区分線、横断歩道）、自車両１０２の運転シーン内に含まれる交通灯、交通標識、車道構成（例えば、交差点、入口／出口ランプ、合流レーン）などが含まれ得るが、これらに限定されない。

行動予測アプリケーション１０６及びニューラルネットワーク１０８の動作のフレームワーク２００である、図２を参照すると、１つの構成において、行動予測アプリケーション１０６は、ニューラルネットワーク１０８を利用して、運転シーンの自己中心ビューの画像フレーム２０２の入力を受信し、自車両１０２の周辺環境の画像フレーム２０２に対してＩ３Ｄヘッド（Ｉ３Ｄ）２０４を用いてＩ３Ｄ畳み込みを行うための機械学習／深層学習処理を実行するように構成されていてもよい。更に、Ｉ３Ｄ畳み込みは、画像フレーム２０２から視覚的特徴を抽出するために適用されてもよい。ニューラルネットワーク１０８は、画像フレーム２０２内に捕捉された、自車両１０２の周囲環境内に位置する動的物体に関連付けられている計算された物体境界ボックス２０６から動的物体特徴を抽出するために、ＲＯＩアライン２０８を適用することができる。ニューラルネットワーク１０８はまた、マスクアライン２１２を適用して、画像フレーム２０２のセマンティックセグメンテーション２１０に基づいて、不規則的な形状の物体の特徴をセマンティックマスクから抽出してもよい。

以下で考察されるように、行動予測アプリケーション１０６は、ニューラルネットワーク１０８を利用して、グラフ生成器２１４を実行し、ＲＯＩアライン２０８からデータを受信し、運転シーン内の自車両１０２と動的物体との間の相互作用をモデリングするように設計された自己−事物グラフ２１８を構築することができる。動的物体は、運転シーン内のその位置、存在、及び／又は移動に基づいて、自車両１０２及び／又は動的物体の操作を引き起こす、自車両１０２の運転シーン内に位置する自己−事物として分類されてもよい。

行動予測アプリケーション１０６はまた、ニューラルネットワーク１０８を利用して、グラフ生成器２１６を実行させて、マスクアライン２１２からデータを受信し、横断歩道、車線区分線、車線分離帯、踏切遮断器、サービス車線、安全地帯、信号機、及び交通標識などを含むが、これらに限定されない、静的物体及び道路の特徴などの運転シーンの特性に関連する自己−要素グラフ２２０を構築してもよい。運転シーンの特性は、自車両１０２、動的物体、及び／又は互いに影響を受けない自己−要素として分類されてもよい。

特に、自己−要素グラフ２２０に関連付けられた要素−物体として分類された運転シーン特性と、自己−事物グラフ２１８に関連付けられた事物−物体として分類された動的物体とを区別するために使用される基準は、状態の変化が双方向の影響によって引き起こされ得るかどうかに基づいていてもよい。換言すれば、１つの動的物体の存在が別の動的物体及び／又は自車両１０２の運転操作に影響を与えるように、動的物体は、その存在が別の動的物体に停止、合流、方向転換等の刺激として相互に影響を与えるため、自己−事物として分類されてもよい。

例として、１つ以上の動的物体及び／又は自車両１０２は、運転シーン内で停止、横断、合流、及び／又は方向転換する１つ以上の追加の動的物体の存在に基づいて、その状態を「前進」から「停止」に変化させてもよい。あるいは、運転シーン内に位置する静的物体などの運転シーン特性は、互いに、又は追加の物体によって影響されないため、要素−物体として分類されてもよい。例えば、緑色から黄色から赤色に切り替わる信号機の動作は、信号機のコントローラ（図示せず）の電気的動作によって独立して発生し、物体の存在によって引き起こされることはない。

一実施形態では、２つのグラフ２１８，２２０の出力を融合し、エンコーダＬＳＴＭモジュール（エンコーダＬＳＴＭ）２２２に供給して、運転シーンの相互作用表現２２４を形成してもよい。更に、ニューラルネットワーク１０８は、Ｉ３Ｄ畳み込みを利用して、１つ以上の運転操作を実行する自車両１０２の運転者の運転意図に関連付けられた意図表現２２６を出力するように構成されてもよい。相互作用表現２２４及び意図表現２２６は、運転シーン内に含まれる特定の外部刺激に関連付けられた運転操作に関連する運転者刺激行動２３２を予測するための入力として、時間リカレントネットワークを使用する、時間デコーダ２２８を用いて集約されてもよい。ニューラルネットワーク１０８はまた、運転シーンの抽出された視覚的特徴の意図表現２２６に基づいて、運転者の意図に関連付けられた運転者の意図行動２３４の予測を可能にし得る。

再び図１を参照すると、ＥＣＵ１０４に加えて、自車両１０２はまた、車両カメラシステム１１０、記憶ユニット１１２、車両システム／制御ユニット１１４を含む複数の構成要素を含んでもよい。１つ以上の実施形態では、ＥＣＵ１０４は、マイクロプロセッサ、１つ以上の特定用途向け集積回路（複数可）（application-specific integrated circuit、ＡＳＩＣ）、又は他の同様のデバイスを含んでもよい。ＥＣＵ１０４はまた、内部処理メモリ、インターフェース回路、及びデータを転送し、コマンドを送信し、自車両１０２の複数の構成要素と通信するためのバスラインを含むことができる。ＥＣＵ１０４はまた、自車両１０２内で（例えば、１つ以上の構成要素間で）データを内部に送信し、外部ホスト型コンピューティングシステム（例えば、自車両１０２の外部）と通信するための通信デバイス（図示せず）を含んでもよい。

車両カメラシステム１１０は、自車両１０２の周囲環境の１つ以上の画像（例えば、自車両１０２が走行している車道の画像）を捕捉するために、１つ以上の方向で、かつ１つ以上のエリアにおいて位置決めされ得るカメラ（図示せず）のうちの１つ以上を含み得る。車両カメラシステム１１０の１つ以上のカメラは、限定されるものではないが、自車両ダッシュボード、自車両バンパ、自車両前方照明ユニット、自車両フェンダ、及びフロントガラスの異なる部分を含む、自車両１０２の外部前部分に配設され得る。一実施形態では、１つ以上のカメラは、ＲＧＢ映像／画像を捕捉し得るＲＧＢカメラとして構成されてもよい。１つ以上のカメラは、物体の外観に関する豊富な情報、並びに自車両１０２と自車両１０２の周囲環境内の動的物体との間の相互作用を捕捉するように構成することができる。

他の実施形態では、１つ以上のカメラは、三次元画像の形態で、環境情報を捕捉するように構成された立体カメラとして構成されてもよい。１つ以上の構成では、１つ以上のカメラは、ＲＧＢ画像／映像として自車両１０２の運転シーンを捕捉するように構成されてもよい。車両カメラシステム１１０は、１つ以上のＲＧＢ画像／ビデオ（例えば、画像のシーケンス）を、行動予測アプリケーション１０６に伝達されて分析される画像データに変換するように構成されてもよい。

概して、ＥＣＵ１０４は、記憶ユニット１１２内に記憶される１つ以上のアプリケーション、オペレーティングシステム、自車両システム、及びサブシステムユーザインターフェースなどを実行するために、記憶ユニット１１２と通信してもよい。１つ以上の実施形態では、自車両１０２の記憶ユニット１１２は、行動予測アプリケーション１０６によってアクセスされて、データ、例えば、１つ以上の画像、ビデオ、１組以上の画像座標、自車両１０２に関連付けられた車両動的データなどを記憶してもよい。

いくつかの実施形態では、記憶ユニット１１２は、異なる種類の動的物体及び静的物体（例えば、信号機、外灯、交通標識など）に関連付けられたサイズ及び特徴の範囲を含む、値を表す１つ以上の動的物体に関連付けられた１つ以上の物体モデル（図示せず）を含んでもよい。いくつかの構成では、物体モデルは、行動予測アプリケーション１０６によって分析されて、運転シーン内に位置する物体及び特徴を、運転シーン内に位置し、自己−事物として分類される動的物体、又は運転シーンに関連付けられて、自己−要素として分類される運転シーン特徴として識別し、それによって、自己−事物グラフ２１８及び自己−要素グラフ２２０を生成するようにしてもよい。

例示的な実施形態では、記憶ユニット１１２は、ニューラルネットワーク１０８を記憶するように構成され得る。ニューラルネットワーク１０８は、車両カメラシステム１１０によって提供される画像フレームを分析するように構成されている畳み込みニューラルネットワーク（（Convolutional Neural Networks、ＣＮＮ）として構成されてもよい。一実施例では、ニューラルネットワーク１０８は、処理ユニット１１６によって制御されてもよい。処理ユニット１１６は、画像データの形態で入力されたデータを分析するために機械学習／深層学習を利用するように構成されている処理能力を提供するように構成されてもよく、車両カメラシステム１１０によって提供される画像フレーム２０２からデータを決定するために、Ｉ３Ｄ２０４、ＲＯＩアライン２０８、及びマスクアライン２１２を利用して、それによって、自己−事物グラフ２１８及び自己−要素グラフ２２０を生成してもよい。

ニューラルネットワーク１０８は、更に、自己−事物グラフ２１８及び自己−要素グラフ２２０に関連付けられた融合データに基づいて、時空間判定を行う時間デコーダ２２８のためのバックボーンとして構成され得るエンコーダＬＳＴＭ２２２を含んでもよい。エンコーダＬＳＴＭモジュール２２２は、１ＸＤ特徴ベクトルを得るために、２種類のグラフ２１８、２２０から要素ごとの総和によって自己特徴を集約するように構成されていてもよい。

ニューラルネットワーク１０８はまた、時間リカレントネットワーク（temporal recurrent network、ＴＲＮ）として構成されている時間デコーダ２２８を含んでもよい。時間デコーダ２２８は、自車両１０２の運転シーンにおける発展的相互作用の特徴表現を学習するように構成されてもよい。時間デコーダ２２８は、自車両１０２の動作に対して現在発生している行動をより良く認識するために、両方の蓄積された過去の証拠を使用し、未来の情報を予測するように更に構成されてもよい。より具体的には、時間デコーダ２２８は、運転シーンにおける発展的相互作用の特徴表現を学習するように構成されている。未来ゲートは、時間デコーダ２２８から隠れた状態のベクトルを受信し、これらの特徴を、未来の状況における運転シーンの自己中心表現２３０として、要素ごとの総和を用いて織り込む。以下で考察されるように、運転者の刺激行動２３２は、自己中心表現２３０内に含まれる過去、現在、及び予測される未来情報からの時空間特徴の連結演算及びび捕捉に基づいて予測され、次の画像フレーム内の（例えば、ｔ＋１における）運転者の刺激行動２３２を予測してもよい。

引き続き図１参照すると、車両システム／制御ユニット１１４は、自車両１０２の動作に関連する１つ以上の警告、制御、及び／又は１つ以上の自律コマンドの実行を提供するように構成されていてもよい。車両システム／制御ユニット１１４は、１つ以上の未来のタイムスタンプ（例えば、ｔ＋１、ｔ＋２、ｔ＋ｎ）において、予測された運転者の刺激行動２３２及び予測された運転者の意図行動２３４に基づいて警告を提供するように構成され得る、高度な運転者支援システムを含むように構成されてもよい。いくつかの実施形態では、車両システム／制御ユニット１１４は、行動予測アプリケーション１０６によって伝達される自律的コマンドに基づいて、自車両１０２が自律運転するように制御するために、エンジン制御ユニット、ブレーキ制御ユニット、トランスミッション制御ユニット、ステアリング制御ユニットなどを含むように構成されていてもよい。

以下でより詳細に考察されるように、行動予測アプリケーション１０６は、図２のフレームワーク２００で表されるように、行動予測アプリケーション１０６によって利用されると、ニューラルネットワーク１０８によって実行される機械学習／深層学習処理に基づく、１つ以上の未来のタイムスタンプ（例えば、ｔ＋１、ｔ＋２、ｔ＋ｎ）における予測された運転者の刺激行動２３２及び予測された運転者の意図行動２３４に基づいて、自車両１０２の運転者に提供される警告を出力するように、車両システム／制御ユニット１１４と通信するように構成されていてもよい。
ＩＩ．運転シーンモデリング運転者行動予測アプリケーション及び関連する方法

行動予測アプリケーション１０６の構成要素を、例示的な実施形態に従って、かつ図１を参照して説明する。例示的な実施形態では、行動予測アプリケーション１０６は、記憶ユニット１１２上に記憶され、自車両１０２のＥＣＵ１０４によって実行され得る。別の実施形態では、行動予測アプリケーション１０６は、外部ホスト型コンピューティングインフラストラクチャ上に記憶され得、自車両１０２のテレマティクス制御ユニット（図示せず）によってアクセスされて、自車両１０２のＥＣＵ１０４によって実行され得る。

ここで、行動識別アプリケーション１０６の一般的な機能について考察する。例示的な実施形態では、行動予測アプリケーション１０６は、意図認識運転モデルに基づいて運転行動を予測するように構成され得る複数のモジュール１１８〜１２４を含んでもよい。複数のモジュール１１８〜１２４は、データ受信モジュール１１８、動的物体検出モジュール１２０、シーン特性モジュール１２２、及び運転行動予測モジュール１２４を含み得る。しかしながら、行動予測アプリケーション１０６は、モジュール１１８〜１２４の代わりに含まれる１つ以上の追加のモジュール及び／又はサブモジュールを含み得ることが理解される。

図３は、本開示の例示的な実施形態による、動的物体及び自車両１０２の運転シーンの運転シーン特性に関連付けられた自己−事物グラフ２１８及び自己−要素グラフ２２０を生成するための方法３００のプロセスフロー図である。図３は、図１及び図２の構成要素を参照して説明されるが、図３の方法３００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法３００は、ブロック３０２に進み得、ここで方法３００は、自車両１０２の周囲環境に関連付けられた画像を受信することを含んでもよい。

例示的な実施形態では、行動予測アプリケーション１０６のデータ受信モジュール１１８は、自車両１０２の車両カメラシステム１１０によって提供され得る、自車両１０２の周囲環境の捕捉された画像に関連付けられ得る画像データを受信するように構成されていてもよい。上で考察されるように、画像データは、車両カメラシステム１１０に動作可能に接続された１つ以上のカメラによって捕捉される、自車両１０２の周囲環境内に位置する動的物体及び運転シーン特徴の１つ以上のＲＧＢ画像／映像に関連してもよい。いくつかの実施形態では、データ受信モジュール１１８は、１つ以上の時点において評価されるように、記憶ユニット１１２上で画像データをパッケージ化及び記憶してもよい。

方法３００は、ブロック３０４に進み得、ここで方法３００は、自車両１０２の運転シーン内で動的物体を検出し、追跡することを含んでもよい。一実施形態では、データ受信モジュール１１８は、画像データを評価するように構成されていてもよく、自車両１０２の運転シーンを含む画像データから画像フレーム２０２を抽出してもよい。一実施形態では、データ受信モジュール１１８は、画像フレーム２０２をニューラルネットワーク１０８に入力して、Ｉ３Ｄ２０４によって分析するように構成されていてもよい。Ｉ３Ｄ２０４は、運転シーン内に位置する動的物体及び運転シーンの運転シーン特性を検出するために、インスタンスセグメンテーション及びセマンティックセグメンテーション２１０を適用するように構成されている。上で考察されるように、動的物体は、自己−事物に分類され得、動的シーン特性は、自己−要素として分類され得る。

自己−事物については、ニューラルネットワーク１０８は、時刻ｔにおいて捕捉された特定の画像フレーム、時刻ｔの前（例えば、ｔ−１、ｔ−２、ｔ−ｎ）に捕捉された複数の画像フレーム、及び現在の時刻ｔの後（例えば、ｔ＋１、ｔ＋２、ｔ＋ｎ）に捕捉された複数の画像フレームを評価し、停止、進入継続／加速、直進、右折、左折、右合流、左合流などを含むがこれらに限定されない、自車両１０２の１つ以上の運転挙動を検出するように構成されていてもよい。データ受信モジュール１１８は、更に、ニューラルネットワーク１０８を利用して、１つ以上の動的物体を検出して追跡し、時刻ｔの画像フレーム内で捕捉された自車両１０２の運転シーン内に位置し得る自己−事物として分類するように構成されていてもよい。

具体的には、データ受信モジュール１１８は、ニューラルネットワーク１０８を利用して、画像フレーム内に含まれる動的物体のそれぞれの周りの、それぞれの境界ボックス２０６を計算するように構成されていてもよい。動的物体特徴を抽出するために、ＲＯＩアライン２０８を用いてもよい。図４Ａ及び図４Ｂに示すように、ニューラルネットワーク１０８は、機械学習／深層習処理を実行して、運転シーン４００内に位置する動的物体のそれぞれを含む、境界ボックス２０６のそれぞれの中にカプセル化された画像フレーム２０２のそれぞれの画素のサブセット上に１チャネルバイナリマスクを提供するように構成されていてもよい。

例示的な実施形態では、ニューラルネットワーク１０８は、それぞれの境界ボックス２０６内に含まれる各動的物体が単独で除去され、その除去が分析されて、特定の除去された動的物体に対して運転挙動の変化レベルを出力するように、動的物体のそれぞれに独立して関連付けられた画素のそれぞれを電子的に除去し、置換するために画像修復を完了させることができる。特に、ニューラルネットワーク１０８によって実行される画像修復は、各層において畳み込み結果がマスクされていない領域のみに依存するため、マスクされた領域でのハルシネーションを可能にする、マスク及び再正規化された畳み込み演算に基づいている。この演算は、介入のために各動的物体を独立して除去することを可能にする。

一実施形態では、ニューラルネットワーク１０８は、それによって、２つの代替的な運転挙動（例えば、停止／前進）の予測因果性スコアを出力してもよく、運転シーン４００を分析して、画像フレームに含まれる運転シーン４００から電子的に除去されるように、動的物体の存在下、及び動的物体の非存在下での２つの運転挙動に関連する変化レベルを判定してもよい。換言すれば、動的物体検出モジュール１２０は、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することができ、それによって、変化レベルに基づいて運転挙動との因果関係に関連付けられた因果性スコアを割り当ててもよい。

因果性スコアは、動的物体のそれぞれの電子的除去に関連する変化レベルに基づいて、各動的物体の存在と特定の運転挙動（例えば、停止対前進）との間の因果関係に関連付けられていてもよい（例えば、特定の動的物体の存在がなければ、自車両１０２は停止せず、前進し得る）。ニューラルネットワーク１０８は、最も高い因果性スコアが割り当てられた１つ以上のそれぞれの物体を、危険物体として更に分類してもよい。換言すれば、ニューラルネットワーク１０８は、運転挙動に対して最も実質的な因果的効果をもたらす１つ以上の動的物体を、危険物体として分類してもよい。

したがって、自車両１０２の操作に対する停止予測などの予測が発生した場合、ニューラルネットワーク１０８は、一度にトラックレットを除去し、各画像フレーム内の除去された領域を修復することによって入力画像に介入し、トラックレットの存在しない運転シーンをシミュレートすることができる。次いで、トレーニングされた運転モデルを使用して、除去の効果を予測する。これにより、大規模な自然運転データセット（図示せず）が、ニューラルネットワーク１０８によって取り込まれ、かつ維持されて、運転者の刺激行動２３２を予測するのに使用され得る。

引き続き図３の方法３００を参照すると、方法３００はブロック３０６に進むことができ、方法３００は、動的物体に対する自車両１０２間の相互作用をモデリングするために、自己−事物グラフを生成することを含んでもよい。例示的な実施形態では、ニューラルネットワーク１０８が自然運転データセットを取り込むと、ニューラルネットワーク１０８は、自然運転データセットの更新に関するデータを、行動予測アプリケーション１０６の動的物体検出モジュール１２０に伝達してもよい。一実施形態では、ＲＯＩアライン２０８を用いた物体特徴の抽出時に、ニューラルネットワーク１０８は、自動車、歩行者、自転車、オートバイ、バス、列車、及びトラックを含み得るがこれらに限定されない動的物体クラスから、各画像フレーム上の上位Ｋの動的物体検出を維持するように構成されていてもよい。ＲＯＩアライン２０８と最大プーリング層を適用して、グラフ生成器２１４の動作に基づいて、自己−事物グラフ２１８の事物ノード特徴として、１ＸＤ次元の外観特徴を得る。

自己−事物グラフ２１８については、グラフ生成器２１４は、フレーム単位の自己−事物グラフのシーケンスを、

として表すように構成されていてもよく、ここで、Ｔはフレーム数であり、

は、事物−物体と自車両１０２との間の対での相互作用を表すフレームｔにおける自己−事物親和性マトリックスである。具体的には、

は、動的物体ｉに対する動的物体ｊの影響を示す。自己−事物グラフ２１８の事物ノードは、動的オブジェクトの集合

に対応し、ここで、

はｉ番目の動的物体の外観特徴であり、

は、世界フレーム内の動的物体の３Ｄ位置である。指標Ｋ＋１は、自車両１０２に対応し、ｉ＝１，．．．，Ｋは、運転シーンン内に位置し、自己−事物グラフ２１８の事物−物体として分類される動的物体に対応する。

自己−事物の相互作用（すなわち、運転シーン内の動的物体のうちの１つ以上の間での相互作用）は、２次相互作用として定義され、元の状態だけでなく、他の物体によって引き起こされる事物−物体の変化する状態も自己の状態に完全に影響を与えることになる。これらの相互作用を十分にモデリングするために、ニューラルネットワーク１０８は、外観特徴と距離制約の両方を考慮し、エッジ値

は、以下のように計算される。

ここで、

は、２つの動的物体間の外観関係を示す。距離制約は、空間関係

を用いて設定される。ソフトマックス関数は、運転シーン内に位置する他の動的物体からの動的物体ｉへの影響を正規化するために使用される。外観関係は、以下のように計算される。

ここで、

である。

は共に、外観特徴を部分空間にマッピングし、２つの物体の相関関係を学習できるようにする学習可能なパラメータである。

は正規化係数である。

空間関係を定義する必要性は、２つの遠方の物体の相互作用が、通常は乏しいことから生じる。この関係を計算するために、ニューラルネットワーク１０８は、２Ｄ画像面から世界フレーム内の３Ｄ空間への物体をアンプロジェクトすることができる。

ここで、［ｕｖ１］^Ｔ及び［ｘｙｚ１］^Ｔは、２Ｄ及び３Ｄ座標系における均質な表現であり、Ｐはカメラ固有マトリックスであり、δ_ｕ，ｖは、深度推定によって得られる（ｕ，ｖ）における相対深度である。

２Ｄ平面では、境界ボックス２０６の中心は、動的物体を見つけ出すように選択される。自車両１０２の位置は、画像フレーム２０２のそれぞれの中央下部画素に固定されている。空間関係関数ｆ_ｓは、以下のように定式化される。

ここで、

は指標機能であり、

は、３Ｄ空間内の動的物体ｉと動的物体ｊとの間のユークリッド距離を計算し、μは、距離が上限を超えている場合に空間関係値をゼロに調節する距離閾値である。例示的な実施形態では、自己−事物グラフ２１８が生成されると、ニューラルネットワーク１０８は、自己−事物グラフ２１８に関連するデータを動的物体検出モジュール１２０に伝達することができる。動的物体検出モジュール１２０は、生成された自己−事物グラフ２１８に関連するデータを、行動予測アプリケーション１０６のシーン特性モジュール１２２に伝達することができる。

引き続き図３の方法３００を参照すると、方法３００はブロック３０８に進むことができ、方法３００は、運転シーン特性に対する自車両１０２の動作をモデリングするために、自己−要素グラフ２２０を生成することを含んでもよい。例示的な実施形態では、動的物体検出モジュール１２０が自己−事物グラフ２１８の生成の伝達を受信すると、シーン特性モジュール１２２は、ニューラルネットワーク１０８と通信して、運転シーンの運転シーン特性に関連付けられた自己−要素グラフ２２０を生成することができる。

一実施形態では、ニューラルネットワーク１０８は、Ｉ３Ｄ２０４を実行して、画像フレーム２０２のそれぞれの上で、セマンティックセグメンテーション２１０を行い、それによって、画像フレーム内に捕捉された運転シーンの運転シーン特性を識別することができる。それにより、セマンティックセグメンテーション２１０は、運転シーン特性を検出することを許容して、運転シーン内に位置する、静的物体及び路面標識（例えば、レーンマーカ、譲れマーカ、停止マーカ）、信号機（例えば、赤色光、黄色光、緑色光）、交通標識（例えば、停止標識、譲れ標識）などの他の車道特徴を更に識別することができる。

図４Ｃ及び図４Ｄの例示的な実施例に示すように、ニューラルネットワーク１０８は、状態の変化が生じ得るかどうか、及び／又は物体が境界ボックス内にカプセル化され得るかどうかの分析に基づいて、運転シーン４００内に含まれる信号機４０２、道路マーカ４０４、中央分離帯４０６などの静的物体を識別することができる。特に、一実施形態では、要素−物体として分類される運転シーン特性を、事物−物体として分類される動的物体から区別するために使用される基準は、状態の変化が他の物体によって引き起こされ得るかどうかに基づいている。例えば、車は停止して人に譲るが、信号機は単独で赤から緑に変わる。別の違いは、ほとんどの要素−物体の輪郭が長方形の境界ボックスとして十分に表現されないという点である。

ニューラルネットワーク１０８は、それによって、識別された運転シーン特性４０２、４０４、４０６を、要素−物体として分類することができる。ニューラルネットワーク１０８は、マスクアライン２１２を利用して、時刻ｔにおけるｉ番目の要素物体であるバイナリマスク

のための特徴を抽出することができる。

は、中間Ｉ３Ｄ特徴マップＸ（Ｔ×Ｗ×Ｈ×Ｄ）と同じ空間次元を有する

にダウンサンプリングされる。要素物体特徴は、以下のようにマスクアライン２１２によって計算される。

自己−要素グラフ２２０を特に参照すると、自己−要素グラフＧ^ＥＳは、上述したように、自己−要素（運転シーン特性）に対して、自己−事物（動的物体）の状態の変化が独立しているのではなく、双方向であるので、ノード特徴抽出を除いて、上で考察される式１の自己−事物グラフ２１８Ｇ^ＥＴと同様に、グラフ生成器２１６によって生成される。したがって、自己−要素グラフ２２０内では、自己−要素が自車両１０２自体の動作に与える影響のみが考慮される。

そのため、ニューラルネットワーク１０８は、ｆ_ｓを物体の対ごとにゼロに設定してもよく、要素−物体が自車両１０２の動作に作用する影響に注意を払うことができる。この分析は、一次相互作用と称され得る。空間関係をより良好にモデリングするために、境界ボックス中心をアンプロジェクトする代わりに、ニューラルネットワーク１０８は、ダウンサンプリングされたバイナリマスク

内の全ての画素を３Ｄ空間にマッピングすることができ、自車両１０２との全ての画素間のユークリッド距離を更に計算することができる。距離は、全ての画素の最小距離である。

図５は、本開示の例示的な実施形態による、自己中心表現２３０を判定して、運転者の刺激行動２３２及び運転者の意図行動２３４を出力するための方法５００のプロセスフロー図である。図５は、図１及び図２の構成要素を参照して説明されるが、図５の方法５００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法５００は、ブロック５０２で開始することができ、方法５００は、インタラクティブ表現及び意図表現を判定することを含み得る。

特に、グラフ２１８、２２０での推論を行うために、ニューラルネットワーク１０８は、グラフ畳み込みネットワーク（graph convolutional networks、ＧＣＮ）を含むように構成されてもよい。ＧＣＮは、各グラフ２１８，２２０を入力とし、学習したエッジを用いて情報を通過させ、ノードの特徴を出力としてリフレッシュすることができる。具体的には、グラフ畳み込みは、以下のように表現され得る。

ここで、Ｇはグラフ２１８、２２０からの親和性マトリックスである。自己−事物グラフ２１８を例に取ると、

は、ｌ番目の層のノードの外観特徴マトリックスである。

は、学習可能な重みマトリックスである。残留接続は、Ｚ^ｌを加えることによって構築される。各層の端部では、層正規化が採用され、Ｚ^ｌ＋１の前のＲｅＬＵを次の層に送る。

例示的な実施形態では、自己−事物グラフ２１８から抽出された自己−事物特徴と、自己−要素グラフ２２０から抽出された自己−要素特徴とは、自車両１０２の運転シーンの時空間運転行シーンのモデリングを達成するために、融合することができる。グラフ２１８、２２０から抽出された自己特徴が融合されると、融合されたデータは、エンコーダＬＳＴＭ２２２を用いて処理され、融合されたデータに基づいて時空間判定を行い、インタラクティブ表現２２４を判定する。１つの構成では、自己−事物グラフ２１８及び自己−要素グラフ２２０からの自己特徴は、要素ごとの総和によって集約され、エンコーダＬＳＴＭ２２２に供給されて、インタラクティブ表現２２４としての１ＸＤ特徴ベクトルを得る。したがって、インタラクティブ表現２２４は、画像フレームｔ−ｎ、ｔ−２、ｔ−１、ｔ、ｔ＋１、ｔ＋２、ｔ＋ｎ内に捕捉された時間枠にわたって、動的物体同士、及び自車両１０２との間の相互作用を捕捉する。

一実施形態では、意図表現２２６は、自車両１０２の１つ以上の行動、自車両１０２が走行している車線、自車両１０２の軌跡、及び１つ以上の自己−要素（例えば、右折信号機）の状態に基づいて、自車両１０２の運転者の意図が画像フレーム２０２内に捕捉されるように、Ｉ３Ｄ２０４から判定される。

方法５００は、ブロック５０４に進んでもよく、方法５００は、予測された運転者の刺激行動２３２を出力するために、相互作用表現及び意図表現を時間デコーダ２２８に入力することを含んでもよい。例示的な実施形態では、行動予測アプリケーション１０６の運転行動予測モジュール１２４は、ニューラルネットワーク１０８にコマンドを送信して、相互作用表現２２４及び意図表現２２６を時間デコーダ２２８に入力し、Ｉ３Ｄ２０４によって出力された意図表現２２６を相互作用表現２２４に関連付けられたインタラクティブ特徴と集約することによって、時間的状況を追加するように構成されていてもよい。

時間デコーダ２２８の構造の概略図である図６に示すように、意図表現２２６と相互作用表現２２４は、時間デコーダ２２８に入力される。意図表現２２６は、デコーダＬＳＴＭ６０２に対して初期の隠れ状態として機能する。未来ゲート６０４及び時空間アキュームレータ（spatiotemporal accumulator、ＳＴＡ）６０６は、過去、現在、及び予測される未来の情報から未来を集約し、例示的な例として停止及び前進として示される運転者の刺激行動作２３２を推定する。

特に、時間デコーダ２２８は、運転シーンにおける発展的相互作用の特徴表現を学習する。未来ゲート６０４は、時間デコーダ２２８から隠れ状態のベクトルを受信し、これらの特徴を、未来の状況として、要素ごとの総和を用いて織り込む。ＳＴＡ６０６は、集中動作であり、過去、現在、及び予測された未来の情報から時空間的特徴を捕捉し、次のフレーム内で（例えば、ｔ＋１において）発生する運転者の刺激行動２３２を推定する。

再び図５の方法５００を参照すると、方法５００はブロック５０６に進むことができ、方法５００は、予測された運転者の意図行動２３４を出力するために意図表現２２６を分析することを含み得る。例示的な実施形態では、ニューラルネットワーク１０８は、分析される運転者の意図の意図表現２２６が、動的物体の重要性を推定し、危険性を評価することを可能にし得る。ニューラルネットワーク１０８は、Ｉ３Ｄ２０４からの意図表現２２６を、時間デコーダ２２８の第１のデコーダＬＳＴＭ６０２に対して初期化された隠れ状態として使用することにより、意図情報を組み込むように構成されてもよい。ニューラルネットワーク１０８は、この意図表現を用いて自車両の意図行動を予測し、この意図行動は、総損失として刺激行動の損失と組み合わされるクロスエントロピー損失によって管理される。

方法５００はブロック５０８に進んでもよく、方法５００は、予測に基づいて警告を出力するために、自車両１０２の車両システム／制御ユニットを制御することを含み得る。例示的な実施形態では、運転者の刺激行動２３２及び／又は運転者の意図行動２３４が予測されると、ニューラルネットワーク１０８は、行動予測アプリケーション１０６の運転行動予測モジュール１２４に予測に関するデータを伝達することができる。一実施形態では、行動予測アプリケーション１０６は、自車両１０２のＥＣＵ１０４と通信し、１つ以上の車両システム／制御ユニット１１４を動作可能に制御して、運転者の刺激行動２３２及び／又は運転者の意図行動２３４の予測に基づいて、１つ以上の警告を提供し、予測された行動２３２、２３４に基づいて、運転シーン内の動的物体及び／又は静的物体との潜在的な重なりを自車両１０２の運転者に警告するように構成することができる。車両システム／制御ユニット１１４は、１つ以上の未来のタイムスタンプ（例えば、ｔ＋１、ｔ＋２、ｔ＋ｎ）の前の所定の時間フレームにおいて、予測された運転者の刺激行動２３２及び予測された運転者の意図行動２３４に基づいて警告を提供し、運転者がいずれかの潜在的な重なりを回避するために、１つ以上の運転操作を完了させることを可能にするように構成され得る、高度な運転者支援システムを含むように構成され得る。

代替的な実施形態では、運転行動予測モジュール１２４は、運転シーン内の動的物体及び／又は静的物体との潜在的な重なりを回避するために、運転者の刺激行動２３２及び／又は運転者の意図行動２３４の予測に基づいて、自車両１０２の動作を自律的又は半自律的に制御するように、自車両１０２のＥＣＵ１０４と通信するように構成され得る。したがって、ＥＣＵ１０４は、１つ以上の車両システム／制御ユニット１１４と通信し、それによって、走行シーンの走行シーンの特性（例えば、車線の数、車線区分線に基づくナビゲート可能な経路、信号機の状態）に応じて、静的物体及び／又は動的物体との重なりを回避するそれぞれの速度、制動比、ステアリング比、加速度などで、走行シーン内を走行するための１つ以上の操作を行うように自車両１０２を制御することができる。

図７は、本開示の例示的な実施形態による、意図認識運転モデルに基づいて、運転行動を予測するための方法７００のプロセスフロー図である。図７は、図１及び図２の構成要素を参照して説明されるが、図７の方法７００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法７００は、ブロック７０２において開始することができ、方法７００は、自車両１０２の運転シーンの少なくとも１つの画像を受信することを含み得る。

方法７００は、ブロック７０２に進み得、方法７００は、自車両１０２の運転シーンの少なくとも１つの画像を受信することを含み得る。方法７００は、ブロック７０４に進み得、方法７００は、少なくとも１つの画像を分析し、運転シーン内に位置する動的物体を検出して追跡し、かつ運転シーンに関連付けられた運転シーン特性を検出して識別することを含み得る。方法７００は、ブロック７０６に進み得、方法７００は、動的物体に関連付けられた自己−事物グラフ、及び運転シーン特性に関連付けられた自己−要素グラフを処理することを含み得る。方法７００は、ブロック７０８に進み得、方法７００は、自己−事物グラフ及び自己−要素グラフの表現の融合に基づく運転者の刺激行動２３２と、自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動２３４と、を予測することを含み得る。

上述の説明から、本発明の様々な例示的な実施形態がハードウェアで実施され得ることが明らかであるべきである。更に、様々な例示的な実施形態は、本明細書で詳細に説明される操作を行うために少なくとも１つのプロセッサによって読み取り及び実行され得る、揮発性又は不揮発性メモリなどの非一時的機械可読記憶媒体上に記憶された命令として実施されてもよい。機械可読記憶媒体は、パーソナルコンピュータ又はラップトップコンピュータ、サーバ、又は他のコンピューティングデバイスなどの機械によって読み取り可能な形態で情報を記憶するための任意の機構を含んでもよい。したがって、非一時的機械可読記憶媒体は、一時信号を除外するが、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び同様の記憶媒体を含むがこれらに限定されない揮発性及び不揮発性メモリの両方を含んでもよい。

本明細書の任意のブロック図は、本発明の原理を具現化する例示的な回路の概念図を表すことを当業者は理解すべきである。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、機械可読媒体に実質的に表され、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されるであろう。

上記に開示された及び他の特徴並びに機能又はこれらの代替物若しくは変形の様々な実施が、望ましくは多くの他の異なるシステム又はアプリケーションに組み合わされ得ることが理解されるであろう。また、当業者であれば、現在予測されていない、又は予期されていない様々な代替例、修正例、変形例、又は改良例を連続的に行うことができ、これらも添付の特許請求の範囲によって包含されることが意図される。

Claims (20)

1. 意図認識運転モデルに基づいて運転行動を予測するためのコンピュータ実施方法であって、
   自車両の運転シーンの少なくとも１つの画像を受信することと、
   前記少なくとも１つの画像を分析して、前記運転シーン内に位置する動的物体を検出及び追跡し、前記運転シーンに関連付けられた運転シーン特性を検出及び識別することと、
   前記動的物体に関連付けられた自己−事物グラフ、及び前記運転シーン特性に関連付けられた自己−要素グラフを処理することと、
   前記自己−事物グラフ及び前記自己−要素グラフの表現の融合に基づく運転者の刺激行動と、前記自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動と、を予測することと、を含む、コンピュータ実施方法。
2. 前記自車両の前記運転シーンの前記少なくとも１つの画像を受信することが、ニューラルネットワークを利用して、前記運転シーンの前記少なくとも１つの画像に関連付けられた画像フレームの入力を受信することを含み、前記画像フレームが、前記運転シーンの自己中心ビューを含む、請求項１に記載のコンピュータ実施方法。
3. 前記少なくとも１つの画像を分析することが、前記動的物体に関連付けられた物体境界ボックスを計算することと、前記計算された物体境界ボックスから動的物体特徴を抽出することと、を含む、請求項１に記載のコンピュータ実施方法。
4. 前記少なくとも１つの画像を分析することが、セマンティックセグメンテーションを実行して、前記運転シーンの静的物体及び車道特徴に関連付けられた前記運転シーン特性を検出することを含み、セマンティックマスクからの不規則的な形状の物体が、前記セマンティックセグメンテーションに基づいて適用されて、前記運転シーン特性を識別する、請求項１に記載のコンピュータ実施方法。
5. 前記動的物体に関連付けられた前記自己−事物グラフを処理することが、前記動的物体を自己−事物として分類することと、ニューラルネットワークのグラフ生成器を実行させて、前記動的物体に対応する事物ノードを有する前記自己−事物グラフを計算することと、を含み、前記自己−事物グラフが、双方向に、前記動的物体同士の間、及び前記自車両との相互作用に関連する、請求項１に記載のコンピュータ実施方法。
6. 前記運転シーン特性に関連付けられた前記自己−要素グラフを処理することが、前記運転シーン特性を自己−要素として分類することと、ニューラルネットワークのグラフ生成器を実行させて、前記運転シーン特性に対応する要素ノードを有する前記自己−要素グラフを計算することと、を含み、前記自己−要素グラフが、前記自車両の動作時の前記自己−要素の効果に関連する、請求項１に記載のコンピュータ実施方法。
7. 前記運転者の刺激行動を予測することが、前記自己−事物グラフからの自己−事物特徴と、前記自己−要素グラフからの自己−要素特徴と、を抽出及び融合して、前記運転シーンの時空間運転シーンモデリングを達成することを含み、融合データが処理されて、時空間判定を行い、前記動的物体同士の間、及び前記自車両との双方向相互作用を捕捉する相互作用表現を出力する、請求項１に記載のコンピュータ実施方法。
8. 前記運転者の刺激行動を予測することが、前記運転シーンの抽出された視覚的特徴に関連付けられた運転者の意図に関連する前記相互作用表現及び前記意図表現を、ニューラルネットワークの時間デコーダに入力することを含み、前記時間デコーダが、過去、現在、及び予測された未来の情報から未来を集約して、前記運転者の刺激行動を予測する、請求項７に記載のコンピュータ実施方法。
9. 前記運転者の意図行動を予測することが、前記少なくとも１つの画像の畳み込み分析を使用して、視覚的特徴の抽出に基づいて、前記自車両の前記運転者の前記意図を分析して、前記意図表現を出力することを含み、前記運転者の意図行動が、前記自車両の将来の動作に対する運転者の意図に関連付けられている、請求項１に記載のコンピュータ実施方法。
10. 意図認識運転モデルに基づいて運転行動を予測するためのシステムであって、
    命令を記憶しているメモリを備え、前記命令が、プロセッサによって実行されるとき、前記プロセッサに、
    自車両の運転シーンの少なくとも１つの画像を受信することと、
    前記少なくとも１つの画像を分析して、前記運転シーン内に位置する動的物体を検出及び追跡し、前記運転シーンに関連付けられた運転シーン特性を検出及び識別することと、
    前記動的物体に関連付けられた自己−事物グラフ、及び前記運転シーン特性に関連付けられた自己−要素グラフを処理することと、
    前記自己−事物グラフ及び前記自己−要素グラフの表現の融合に基づく運転者の刺激行動と、前記自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動と、を予測することと、を行わせる、システム。
11. 前記自車両の前記運転シーンの前記少なくとも１つの画像を受信することが、ニューラルネットワークを利用して、前記運転シーンの前記少なくとも１つの画像に関連付けられた画像フレームの入力を受信することを含み、前記画像フレームが、前記運転シーンの自己中心ビューを含む、請求項１０に記載のシステム。
12. 前記少なくとも１つの画像を分析することが、前記動的物体に関連付けられた物体境界ボックスを計算することと、前記計算された物体境界ボックスから動的物体特徴を抽出することと、を含む、請求項１０に記載のシステム。
13. 前記少なくとも１つの画像を分析することが、セマンティックセグメンテーションを実行して、前記運転シーンの静的物体及び車道特徴に関連付けられた前記運転シーン特性を検出することを含み、セマンティックマスクからの不規則的な形状の物体が、前記セマンティックセグメンテーションに基づいて適用されて、前記運転シーン特性を識別する、請求項１０に記載のシステム。
14. 前記動的物体に関連付けられた前記自己−事物グラフを処理することが、前記動的物体を自己−事物として分類することと、ニューラルネットワークのグラフ生成器を実行させて、前記動的物体に対応する事物ノードを有する前記自己−事物グラフを計算することと、を含み、前記自己−事物グラフが、双方向に、前記動的物体同士の間、及び前記自車両との相互作用に関連する、請求項１０に記載のシステム。
15. 前記運転シーン特性に関連付けられた前記自己−要素グラフを処理することが、前記運転シーン特性を自己−要素として分類することと、ニューラルネットワークのグラフ生成器を実行させて、前記運転シーン特性に対応する要素ノードを有する前記自己−要素グラフを計算することと、を含み、前記自己−要素グラフが、前記自車両の動作時の前記自己−要素の効果に関連する、請求項１０に記載のシステム。
16. 前記運転者の刺激行動を予測することが、前記自己−事物グラフからの自己−事物特徴と、前記自己−要素グラフからの自己−要素特徴と、を抽出及び融合して、前記運転シーンの時空間運転シーンモデリングを達成することを含み、融合データが処理されて、時空間判定を行い、前記動的物体同士の間、及び前記自車両との双方向相互作用を捕捉する相互作用表現を出力する、請求項１０に記載のシステム。
17. 前記運転者の刺激行動を予測することが、前記運転シーンの抽出された視覚的特徴に関連付けられた運転者意図に関連する前記相互作用表現及び前記意図表現を、ニューラルネットワークの時間デコーダに入力することを含み、前記時間デコーダが、過去、現在、及び予測された未来の情報から未来を集約し、前記運転者の刺激行動を予測する、請求項１６に記載のシステム。
18. 前記運転者の意図行動を予測することが、前記少なくとも１つの画像の畳み込み分析を使用して、視覚的特徴の抽出に基づいて、前記自車両の前記運転者の前記意図を分析して、前記意図表現を出力することを含み、前記運転者の意図行動が、前記自車両の将来の動作に対する運転者の意図に関連付けられている、請求項１０に記載のシステム。
19. 命令を記憶している非一時的コンピュータ可読記憶媒体であって、前記命令が、プロセッサを含むコンピュータによって実行されるとき、方法を実行し、前記方法が、
    自車両の運転シーンの少なくとも１つの画像を受信することと、
    前記少なくとも１つの画像を分析して、前記運転シーン内に位置する動的物体を検出及び追跡し、前記運転シーンに関連付けられた運転シーン特性を検出及び識別することと、
    前記動的物体に関連付けられた自己−事物グラフ、及び前記運転シーン特性に関連付けられた自己−要素グラフを処理することと、
    前記自己−事物グラフ及び前記自己−要素グラフの表現の融合に基づく運転者の刺激行動と、前記自車両の運転者の運転意図に関連付けられた意図表現に基づく運転者の意図行動と、を予測することと、を含む、非一時的コンピュータ可読記憶媒体。
20. 前記運転者の刺激行動を予測することが、前記自己−事物グラフからの自己−事物特徴と、前記自己−要素グラフからの自己−要素特徴と、を抽出及び融合して、前記運転シーンの時空間運転シーンモデリングを達成することを含み、融合データが処理されて、時空間判定を行い、前記動的物体同士の間、及び前記自車両との双方向相互作用を捕捉する相互作用表現を出力する、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

Images