JP2022547611A - 道路シーンにおける多様な長期将来軌道のシミュレーション - Google Patents

道路シーンにおける多様な長期将来軌道のシミュレーション Download PDF

Info

Publication number
JP2022547611A
JP2022547611A JP2022516390A JP2022516390A JP2022547611A JP 2022547611 A JP2022547611 A JP 2022547611A JP 2022516390 A JP2022516390 A JP 2022516390A JP 2022516390 A JP2022516390 A JP 2022516390A JP 2022547611 A JP2022547611 A JP 2022547611A
Authority
JP
Japan
Prior art keywords
scene
vehicles
sampled
behavior
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022516390A
Other languages
English (en)
Other versions
JP7471397B2 (ja
Inventor
スリラム、 ノーシャー ナラヤナン、
マンモハン チャンドラカー、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Laboratories America Inc
Original Assignee
NEC Laboratories America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Laboratories America Inc filed Critical NEC Laboratories America Inc
Publication of JP2022547611A publication Critical patent/JP2022547611A/ja
Application granted granted Critical
Publication of JP7471397B2 publication Critical patent/JP7471397B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

同時マルチエージェント回帰軌道予測のための方法を提供する。この方法は、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成する（８０１）ことと、相互接続された車線の階層構造を捕捉する前記シーンの道路グラフを生成する（８０３）ことと、前記データセットで利用可能なトラックレット情報を利用することによって、前記生成された道路グラフ上で前記シーンから車両を組み込む（８０５）ことと、前記車両をそれらの最も近い車線識別に割り当てる（８０７）ことと、前記シーン内の全ての車両について多様な妥当な行動を識別する（８０９）こととを含む。本方法は、前記多様な妥当な行動から１つの行動をサンプリングし、前記サンプリングされた１つの行動に類似する前記データセットの前記実世界データからサンプリングされた関連する速度プロファイルを選択する（８１１）ことと、前記道路グラフおよび前記サンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに供給し、可視化装置上に出力される複数のシミュレーションされた多様な軌道を生成する（８１３）ことと、を含む。

Description

関連出願情報
本出願は、２０１９年１１月１４日に出願された米国仮出願第６２／９３５，３２６号、および２０２０年１１月５日に出願された米国特許出願第１７／０９０，３９９号の優先権を主張し、それぞれ、参照により全体が本明細書に組み込まれる。
技術分野
本発明は、軌道予測に関し、より詳細には、道路シーンにおける多様な長期将来軌道をシミュレーションするための方法およびシステムに関する。
関連技術の説明
シーンにおけるエージェントの将来の状態および意図について推論する能力は、車両の自律性にとって重要なタスクである。人間は、任意の所与のシナリオにおいて、様々な妥当な行動について予測し、理由をつける固有の能力を有する。それにもかかわらず、人間は、予測不可能な状況のために、依然として多くの予測不可能な日常事象に直面している。例えば、車両が交差点に向かって接近する交差点シナリオが想定される場合、車両が実行することができる複数の可能な操縦がある。車両がそれらの意図および現在の交通状況に基づいて車線変更操縦を実行することができる高速道路シナリオも同様である。単一の運動方向に偏った予測を有することは、そうでない場合において実行可能な解を提供しないかもしれない。しかしながら、様々なドライバの意図を有するデータへのアクセスは、既存のデータセットが焦点を当てているものではない。軌道予測において最先端の結果を得るために、深層学習において目標とされた努力がなされてきたが、このような努力は大規模なデータを必要とする。このような大規模な軌道データを得ることは、特に、散発的に発生するが、予測の観点からは重要であると考えられる「興味深い」場合には稀である。有意義な予測は、データの十分な多様性を必要とするが、現実世界のシナリオでは、同じシーンのデータのそのような多様性を捕捉することはしばしば妥当ではない。
同時マルチエージェント回帰軌道予測のためのコンピュータ実装方法を提示する。この方法は、シーン生成器を介して、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成することと、相互接続された車線の階層構造を捕捉する前記シーンの道路グラフを生成することと、前記データセットで利用可能なトラックレット情報を利用することによって、前記生成された道路グラフ上で前記シーンから車両を組み込むことと、
前記車両をそれらの最も近い車線識別に割り当てることと、前記シーン内の全ての車両について多様な妥当な行動（behavior）を識別することと、多様な行動生成器によって、前記多様な妥当な行動から１つの行動をサンプリングし、前記サンプリングされた１つの行動に類似する前記データセットの前記実世界データからサンプリングされた関連する速度プロファイルを選択することと、前記道路グラフおよび前記サンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに供給し、ユーザが所望の運転シナリオを再現するために前記複数のシミュレーションされた多様な軌道のうちの１つまたは複数を選択することが可能なように、可視化装置上に出力される複数のシミュレーションされた多様な軌道を生成することと、を含む。
同時マルチエージェント回帰軌道予測のためのコンピュータ可読プログラムを含む非一時的コンピュータ可読記憶媒体が提供される。前記コンピュータ可読プログラムは、前記コンピュータ可読プログラムは、コンピュータ上で実行されると、シーン生成器を介して、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成するステップと、相互接続された車線の階層構造を捕捉する前記シーンの道路グラフを生成するステップと、前記データセット内で利用可能なトラックレット情報を利用することによって、前記生成された道路グラフ上で前記シーンから車両を組み込むステップと、前記車両をそれらの最も近い車線識別に割り当てるステップと、前記シーン内の全ての車両について多様な妥当な行動を識別するステップと、多様な行動生成器によって、前記多様な妥当な行動から１つの行動をサンプリングし、前記サンプリングされた１つの行動に類似する前記データセットの前記実世界データからサンプリングされた関連する速度プロファイルを選択するステップと、前記道路グラフおよび前記サンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに供給し、ユーザが所望の運転シナリオを再現するために前記複数のシミュレーションされた多様な軌道のうちの１つまたは複数を選択することが可能なように、可視化装置上に出力される複数のシミュレーションされた多様な軌道を生成するステップとを、前記コンピュータに実行させる。
同時マルチエージェント回帰軌道予測のためのシステムを提示する。システムは、メモリと、前記メモリと通信する１つ以上のプロセッサとを含み、該プロセッサは、シーン生成器を介して、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成し、相互接続された車線の階層構造を捕捉する前記シーンの道路グラフを生成し、前記データセット内で利用可能なトラックレット情報を利用することによって、前記生成された道路グラフ上で前記シーンから車両を組み込み、前記車両をそれらの最も近い車線識別に割り当て、前記シーン内の全ての車両について多様な妥当な行動を識別し、多様な行動生成器によって、前記多様な妥当な行動から１つの行動をサンプリングし、前記サンプリングされた１つの行動に類似するデータセットの前記実世界データからサンプリングされた関連する速度プロファイルを選択し、前記道路グラフおよび前記サンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに供給し、ユーザが所望の運転シナリオを再現するために前記複数のシミュレーションされた多様な軌道のうちの1つまたは複数を選択することが可能なように、可視化装置上に出力される複数のシミュレーションされた多様な軌道を生成するように構成されている。
これらおよび他の特徴および利点は添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるのであろう。
本開示は、以下の図面を参照して、好ましい実施形態の以下の説明において詳細を提供する。
本発明の実施形態による、シーン内の単一車両の行動生成プロセスを示す例示的な全体パイプラインのブロック／フロー図である。
本発明の実施形態による、同時マルチエージェント回帰軌道予測の例示的な実装のブロック／フロー図である。
本発明の実施形態による、同時マルチエージェント回帰軌道予測の例示的なアルゴリズムフローのブロック／フロー図である。
本発明の実施形態による、同時マルチエージェント回帰軌道（ＳＭＡＲＴ）フレームワークの例示的な全体アーキテクチャのブロック／フロー図である。
本発明の実施形態による、同時マルチエージェント回帰軌道予測のための例示的な処理システムのブロック／フロー図である。
本発明の実施形態による、同時マルチエージェント回帰軌道予測のための例示的な方法のブロック／フロー図である。
本発明の実施形態による、同時マルチエージェント回帰軌道予測のための例示的な方法で使用される方程式のブロック／フロー図である。
本発明の実施形態による、同時マルチエージェント回帰軌道予測のための実用的な適用のブロック／フロー図である。
本発明の例示的な実施形態は、シーン内の各車両について複数の行動を有する一般的な予測データ生成方法を導入する。例示的な実施形態は、所与のシナリオにおいて関心のある様々な軌道を得るために、複数の行動をシミュレーションすることに重点を置く。シーンに対するこのようなマルチ行動軌道は、シミュレーション環境でのみ可能である。例示的な実施形態は、画像または点群のようなセンサ空間でシミュレーションする代わりに、鳥瞰図（ＢＥＶ）における軌道をシミュレーションする。シミュレーションは、状況またはセンサ特性により、低レベルのドメインギャップから離れた上面視抽象（top-view abstracts）で起こる。現在の傾向は、自動運転ロボットのナビゲーションのための高精細度（ＨＤ）セマンティックマップにも依存している。例示的な実施形態は、例えば、ＯｐｅｎＳｔｒｅｅｔＭａｐｓ（ＯＳＭ）から入手可能な情報を活用して、様々なデータセットのシーンをシミュレーションすることができる。ＯＳＭマップは、道路の上面視トポロジー情報を中心線及び車線情報と共に提供する。シミュレーション環境は、生成されたデータの現実性と多様性を同時に得るために、正確な様式でシーン構造とダイナミクスをモデル化する挑戦を含む。例示的な実施形態は、実世界の軌道情報から速度プロファイルをサンプリングし、このようなサンプリングされた速度プロファイルをシーン内のシミュレーションされた車両のための基準プロファイルとして使用することによって、この問題に取り組む。
例示的な実施形態は、既存のデータセットについてそのような軌道をシミュレーションする。このように、例示的な実施形態は、Ｍ個のシーンについてＮ個の軌道を取得する。例示的な実施形態は、データについて訓練され、既存の実世界データセットについて試験されたベースライン方法を用いて、予測結果の改善を示す。定性的に、例示的な実施形態は、マルチモーダル軌道予測方法が、既存の実世界データセットと比較して、データを使用することにより、多様性をはるかに良く捕らえることを示す。そのため、次のような貢献を与える。
例示的な実施形態は、特定のシナリオに対する多様なドライバの意図を生成するために、既存のデータセットに対するシーンの鳥瞰図（ＢＥＶ）シミュレーションに基づく一般的なデータセット生成方法を導入する。例示的な実施形態は、既存の実世界データセットにおけるベースライン結果の改善を示し、また、自律運転シナリオに有益であるはるかに良好なシーンで多様性を捕捉することを示す。例示的な実施形態は、さらに、適切な量の現実性を有するシミュレーション技術に基づいて、多様な軌道を生成するための方法を導入する。
例示的な解決は、以下を含む。
実世界データからシーンのトポロジーレイアウトを再構成するシーン生成モジュール。再構成されたレイアウトはさらに、実世界データから車両をシミュレーションするために使用される。
現在のシーンで実行可能な妥当な動作を識別する多様な行動生成モジュール。次に、多様な行動生成モジュールは、識別された行動のプールから各車両について１つの行動をサンプリングする。例示的な実施形態は、交差点（intersection）までの距離および平均速度などの発見的方法に基づいて、実世界データから行動による速度プロファイルをサンプリングするメカニズムを導入する。
例示的な実施形態は、車両（例えば、自動車）およびその周囲のサンプリングされた速度プロファイルに基づいて、車両軌道をシミュレーションするダイナミクスシミュレータを導入する。これは、シミュレーションされた軌道のセットを提供する。
ここで、例示的な実施形態は、同じシーンを使用して車両に対して複数の行動を生成し、したがって、多様な軌道を得る。
シミュレータを使用して完全な合成データセットを生成する伝統的な方法とは異なり、例示的な実施形態は、実世界データからシーンを適応させて、シーンおよび実行速度において適切な現実性を有する多様な行動をシミュレーションする。
例示的な実施形態は、道路グラフとして実世界データから上面視表現を再構成し、現実のシーン内の車両をシミュレーションするアルゴリズムを導入する。
例示的な実施形態は、シーン内のすべての車両について多様な行動を識別し、１つの行動をサンプリングする。例示的な実施形態は、選択された行動に密接に類似する速度を実世界データから選択する。最近傍サンプリングに使用される発見的方法は、交差点までの距離と平均速度である。これは、現実のシーンから最も近い行動を識別するのに役立つ。
多様な軌道を持つ実世界データを増強する際のシミュレーションパイプラインは、軌道予測のためのデータ問題を解決するために採用された方法である。
図１は、本発明の一実施形態による、シーン内の単一車両に対する行動生成プロセスのための全体的なパイプラインを示す図である。
シーン生成または生成器１００に関して、合成シミュレーションに完全に依存する他のシミュレーションメカニズムとは異なり、例示的な実施形態は、実世界データから正確なシーンを再構成し、シミュレーションの目的のために、そのような実世界データを使用する。
道路グラフ生成または生成器１２０に関して、例示的な実施形態は、実世界データ１１０の高精細度（ＨＤ）地図から車線ポリラインを抽出するか、または公開されて利用可能な地図情報を使用し、相互に接続された車線の階層的道路グラフを生成する。ここで、車線の終点は、固有の識別子によって識別され、グラフ内のノードを表す。
実物体インスタンス化１３０に関して、例示的な実施形態は、生成された道路グラフに車両を配置するために、データセットにおいて利用可能なトラックレット情報を利用する。例示的な実施形態は、現実のシーンが再構成され、シミュレーションのために実世界データから交通シーンが利用されるという点で異なる。トラックレットは、画像認識システムによって構築されるような、移動物体が追従する軌跡（track）の断片である。
実物体インスタンス化１３０に関して、例示的な実施形態は、これらのデータセットによって提供されるトラックレット情報の助けを借りて、特定の運転シナリオを再現する。車両姿勢情報は、エゴ座標系（ego frame of reference）で局所的道路グラフ上に再投影される。例示的な実施形態は、車両が占有する最近傍車線ＩＤを計算するために、車両のトラックレット位置およびヨー情報を使用する。各インスタンス化車両は、車線ＩＤが割り当てられ、それぞれの車線位置で車線の方位に合ったヨー角度で車線の中心に配置される。シミュレーション目的のために、例示的な実施形態は、移動している車両のみを考慮する。これらの計算された推測は、シーン生成プロセスを実際的に実行可能にする。
多様な行動生成または生成器２００に関して、ランダムな目標点を選択する代わりに、例示的な実施形態は、まず、シーン内の全ての車両に対して多様な妥当な行動を識別し、１つの行動をサンプリングする。また、車両が一定速度または所定の速度で移動する他のシミュレーション技術とは異なり、例示的な実施形態は、選択された行動に密接に類似する速度プロファイルを実世界データから選択する。行動生成または生成器２００は、操縦識別２１０および速度プロファイルサンプリング２２０を含む。
操縦識別２１０に関して、２１０は、シーン内の車両によって実行され得る異なる操縦を識別し、車両毎に１つの操縦をサンプリングする。
速度プロファイルサンプリング２２０に関して、２２０は、実世界データから、選択された行動の速度プロファイルをサンプリングする。最近傍サンプリングに使用される発見的方法は、交差点までの距離と平均速度である。これは、現実のシーンから最も近い行動を識別するのに役立つ。
速度プロファイルサンプリング２２０に関して、現実的なシミュレーション軌道を得るために、例示的な実施形態は、まず、実世界軌道サンプルのプールを作成する。最初に、例示的な実施形態は、シーン生成プロセスを実行し、各実世界軌道を、軌道のコース中に使用された、局所的道路グラフからの一組の車線中心線に関連付ける。この中心線情報は、実世界軌道を異なる操縦カテゴリに分類し、旋回操縦のための旋回前に移動する距離のような他のより高レベルの軌道特性を得るのに役立つ。例示的な実施形態は、実世界軌道から基準速度プロファイルをサンプリングするシミュレーションの前に、この情報を記憶する。シミュレーション時に、所望の行動をサンプリングした後、例示的な実施形態は、旋回前の距離、または、旋回および直進操縦についての平均速度のような特徴にそれぞれ基づいて、現在のシーンのための最近傍速度プロファイルを得る。
図１に示すシステムは、高度運転者支援システム（ＡＤＡＳ）、ロボット工学、および他の車両／エージェントがシーン内でどのように移動するかについての知識を必要とする他のアプリケーションで使用することができる。図１のシステムは、人間または車両の多様な行動をシミュレーションし、それに応じて最も安全な行動を計画するために使用することができる。あるいは、このシステムは、ＡＤＡＳ、および社会的な場所でナビゲートするために自律性を必要とする他のアプリケーションで使用されるモデルを訓練する多様な訓練例を生成するために使用することもできる。
シミュレーションエンジンは、幾つかの構成要素、すなわち、シーン生成モジュール１００、行動生成モジュール２００、およびダイナミクスシミュレーションエンジンまたはダイナミクスシミュレータ３００を含む。再現およびシミュレーションするためのデータセットが与えられると、シーン生成モジュール１００は、公開されて利用可能な地図情報を介して取得され得るか、またはデータセット１１０によって提供され得る車線中心線情報を取得する。例示的な実施形態は、この情報を利用して、車線および車線中心線の終点をそれぞれ表すノードおよびエッジを含むグラフデータ構造を作成する。これは、レンダリングされると、局所的シーンのＢＥＶ再構成を提供する。これを道路グラフと呼ぶ。物体インスタンス化モジュール１３０は、データセット１１０からのトラックレット情報を使用して、それらを生成された道路グラフ上に投影する。以上のことを行うために、例示的な実施形態は、エゴ車両に関する座標系を定義し、グラフ内の物体によって占められる最も近いエッジを見つける。
ここで、シーン内でインスタンス化されたすべての車両について、例示的な実施形態は、交通状況および道路構造が与えられた場合に実行することができる様々な可能な操縦を見出し、そこから例示的な実施形態は、シミュレーションのために異なる車両行動を一様にサンプリングする。例示的実施形態は、車両が｛直進、左折、右折、および車線変更｝のような異なる操縦を実行する場合の「行動」を参照する。著しく現実的なそのような多様な行動を実行するために、例示的な実施形態は、車両が実行することを計画している意図された行動に密接に類似する基準として、実世界データセットから適切な速度プロファイルをサンプリングする。ダイナミクスシミュレーションモジュールは、この基準速度を利用してすべての車両に対して正しい行動を実行するが、同時に、シーンレイアウトと現在の交通状況を考慮して、実行できる安全な加速を提供する。
例示的な実施形態は、例えば、7秒間、あらゆるシーンをシミュレーションし、最大で、例えば、３つの多様な行動を生成する。シミュレーションは、例えば、１０Ｈｚで実行され、シミュレーションの出力は、車両状態
Figure 2022547611000002
 を含む。車両状態は、シミュレーションの過程にわたる位置、速度、機首方位、加速度、および操縦を表す。ここで、各構成要素の簡単な説明を提供する。
シーン生成１００に関して、例示的な実施形態は、道路グラフを作成するために、例えば、ＯｐｅｎＳｔｒｅｅｔＭａｐｓ（ＯＳＭ）またはデータセット１１０からの車線情報を利用する。当該目的のために、例示的な実施形態は、中心線、車線の数、および各道路セグメントの一方向情報などの道路情報を利用する。すべての双方向道路中心線は、指定された車線数および一方向情報に基づいて分割される。データセット１１０からの車両姿勢情報は、正確な運転シナリオを再現するために使用される。
多様な行動生成２００に関して、各車両のローカル道路グラフ上の特定の車線ＩＤ（ノード）が与えられると、例示的な実施形態は、最初に、閾値距離内に到達することができるＫ個の可能なリーフノードを探索する。例示的な実施形態は、任意の所与のノードからの妥当な操縦を３つの異なるカテゴリ｛左、右、直進｝に分類する。シミュレーションに先立って、例示的な実施形態は、実世界データから基準速度プロファイルのプールを作成する。シミュレーション時に、所望の行動をサンプリングした後、例示的な実施形態は、旋回前の距離、または旋回および直進操縦についての平均速度のような特徴にそれぞれ基づいて、現在のシーンのための最近傍速度プロファイルを得る。
ダイナミクスシミュレーション３１０に関して、ダイナミクスモジュール３００は、道路グラフ、多様な妥当なもののプールからの行動、および適切な行動のために追跡される必要のある基準速度を利用する。ダイナミクスエンジン３００は、インテリジェントドライバモデル（ＩＤＭ）３１２およびモバイル３１４（誘導車線変更による全体の制動を最小限に抑える)によって制御される。このダイナミクスモジュール３００から得られた加速および車線変更の決定は、車両行動（横方向コントローラ３２２および縦方向コントローラ３２４の両方)の適切な状態変化を追跡し、これを示すように試みる低レベルコントローラ３２０に送られる。予測された軌道は、出力モジュール４００によって出力される。任意の交通状況の安全限界下での加速を制限し、シーン内の異なるエージェント間に交互作用を組み込むために、例示的な実施形態は、シミュレーションされた車両のＩＤＭ行動を使用する。ＩＤＭへの入力は、先行車両ｓまでの距離、車両の実際の速度ｖ、先行車両との速度差Δｖを含み、与えられた交通状況に対して安全と考えられる出力
Figure 2022547611000003
 を提供する。
これは、次式
Figure 2022547611000004
 で与えられる。
ここで、aは快適な加速度であり、
Figure 2022547611000005
 は所望の基準速度である。δは、加速度が速度とともにどのように減少するかを左右する指数である。車両の減速は、先行車両との実際のバンパ距離ｓに対する所望の最小隙間
Figure 2022547611000006
 の比率に依存する。
Figure 2022547611000007
 は、次式
Figure 2022547611000008
 で与える。
ここで、
Figure 2022547611000009
 は維持すべき所望の安全距離であり、Ｔは車両の安全な時間的隙間であり、ｂは車両の快適な所望の減速である。
Figure 2022547611000010
 は、様々な車両行動を生成するハイパーパラメータである。例示的な実施形態は、シミュレーション期間中にこれらのパラメータをサンプリングして、異なるレベルの攻撃性を有するシミュレーションを生成する。
車線変更決定に関して、例示的な実施形態は、旋回ベースの操縦軌道とは別に、車両軌道に付加的多様性を追加するための車線変更行動も考慮する。車線変更行動は、ＭＯＢＩＬアルゴリズムに基づいてモデル化される。
車線変更行動を制御するパラメータは、他のエージェントの加速ゲインがあれば車線変更に影響するポリテンシファクタｐ、車線変更加速閾値
Figure 2022547611000011
 、最大安全減速
Figure 2022547611000012
 、および特定の車線のバイアス
Figure 2022547611000013
 である。
以下の式
Figure 2022547611000014
 は、車線変更を実行できるかどうかを決定する。
ここで、aは現在の加速度であり、
Figure 2022547611000015
 は車線変更後の新しい加速度を表す。ｃ、ｎ、ｏの下付き文字は、それぞれ、現在の車両、新しい車両、旧車両を示す。
車線変更操縦は、十分な加速ゲインがあるか、または車線変更後に現在の車両または後続の車両に課せられる制動が上記式によって表される安全閾値よりも大きい場合にのみ実行される。
低レベルコントローラ３２０は、車両とダイナミクスモジュール３００によって管理される行動特性をシミュレーションする。低レベルコントローラ３２０は、操縦識別、ＩＤＭ（３１２）、およびＭＯＢＩＬ（３１４）モジュールから入力を受け取り、シミュレーションした車両に対する状態変化を生成する。低レベルコントローラ３２０は、それぞれの速度コマンドを出す縦横比例コントローラ３２２、３２４を含む。操縦識別処理中に得られた車線中心線は、シミュレーションした車両の基準軌道として用いられる。横方向コントローラ３２２から得られた速度は、基準軌道の追跡を助ける適切な操舵コマンドに変換される。ここで、車両の現在の速度をvとし、車線からの横方向位置を
Figure 2022547611000016
 とし、横方向速度を
Figure 2022547611000017
 とすると、操舵角
Figure 2022547611000018
 は、以下の式
Figure 2022547611000019
 で求められる。
ここで、
Figure 2022547611000020
 および
Figure 2022547611000021
 は、コントローラーパラメータであり、Ｌは車両の長さを表し、
Figure 2022547611000022
 は車線を追跡する際のオフセットノイズとして作用する。
Figure 2022547611000023
 は、車線中心との位置合わせのために補償される必要がある機首方位であり、
Figure 2022547611000024
 は、将来の時間ステップのために達成される必要がある必要な機首方位である。機首方位コントローラは、所与の目標機首方位
Figure 2022547611000025
 に対して機首方位レート
Figure 2022547611000026
 を提供する。
ここで、単一表現モデルは、予測がコンテンツ認識マルチモーダルであり、エージェントの数に関係なく一定の推論時間を持つような道路シーンにおける複数のエージェントに対する軌道を予測するために導入される。例示的な実施形態は、空間グリッド上のエージェントの位置のフレーム回帰に従って、軌道予測問題を定式化する。
シーンのための車線中心線情報
Figure 2022547611000027
 が与えられると、例示的な実施形態は、シーンコンテキストマップ
Figure 2022547611000028
 がＨｘＷｘ３であるように、それらを上面視表現でレンダリングする。ここで、チャネル次元は、道路、車線、および未知の道路要素に対応する各ピクセルのワンホット（one-hot）情報を表す。
Figure 2022547611000029
 は、時間ステップ
Figure 2022547611000030
 のうち、第ｉ番目の車両の軌道情報を示し、各
Figure 2022547611000031
 は、シーン内のエージェントの空間位置を表すものとする。ネットワークは、エージェントの開始位置に関する相対座標
Figure 2022547611000032
 の形式で入力を行う。
シーン内の第ｉ番目のエージェントについて、例示的な実施形態は、
Figure 2022547611000033
 を対応する
Figure 2022547611000034
 位置に投影して、
Figure 2022547611000035
 が時間ステップｔにおける第ｉ番目のエージェントの相対座標を含むように、状態
Figure 2022547611000036
 の空間位置マップを構築する。
Figure 2022547611000037
 は、グランドトゥルース軌跡を表す。また、例示的な実施形態は、シーン内のエージェントの構成を表す位置マスクとして
Figure 2022547611000038
 をさらに示す。時間ステップにわたって車両を追跡するために、例示的な実施形態は、車両ＩＤマップ
Figure 2022547611000039
 を構築する。ここで、
Figure 2022547611000040
 である。
さらに、例示的な実施形態は、各軌道
Figure 2022547611000041
 を、｛直進、左、右｝行動のうちの１つから軌道の行動タイプを表すラベルｃｉに関連付ける。また、車線変更の軌道ラベルは、３つのカテゴリのうちの１つに該当する。
Figure 2022547611000042
 は、ｃｉのグリッドマップ表現を、
Figure 2022547611000043
 となるように符号化する。車両の軌道は、人間の行動と比較してランダムではないことに留意する。その代わりに、それらは道路での他の車両の行動に依存し、それは異なる操縦に基づいて軌道を分類する動機付けとなる。
例示的な実施形態は、ネットワークがシーンコンテキストマップI、起動ラベルマップ
Figure 2022547611000044
 、位置マスクＭ、およびノイズマップ
Figure 2022547611000045
 と共に前の状態
Figure 2022547611000046
 を入力として取り、シーン内の対応するグリッドマップ位置
Figure 2022547611000047
 でエージェント毎に将来軌跡
Figure 2022547611000048
 を予測する公式化に従う。例示的な実施形態は、各エージェントに対して別個のヘッドを有していないことに留意されたい。その代わりに、ネットワークは、各個々のエージェントがｔで
Figure 2022547611000049
 にマッチしようとする単一の将来状態マップ
Figure 2022547611000050
 を予測する。
例示的な実施形態は、図４にパイプラインを示す。ネットワークアーキテクチャは、潜在エンコーダ６１０および条件付き生成器６４０を含む。例示的な実施形態は、畳み込み長短期記憶（ＣｏｎｖＬＳＴＭ）を使用して、エージェントの以前の位置を有する時間情報をモデル化する。例示的な実施形態は、さらに、状態プーリング操作を導入して、エージェントの状態情報を、連続する時間ステップのそれぞれの位置に供給する。例示的な実施形態は、多様な予測を捕捉するために軌道固有のラベルを提供するが、例示的な実施形態は、条件付き変分生成モデルを活用して、各タイプのラベルについてデータ内の多様性をモデル化する。
潜在エンコーダ６１０に関して、６１０はフレームワークのための認識モジュール
Figure 2022547611000051
 として動作し、訓練段階の間にのみ使用される。具体的には、潜在エンコーダ６１０が過去および将来の軌道情報
Figure 2022547611000052
 （６０２）の両方を取り込み、それらをＲＮＮエンコーダ６１４に通す。次いで、６１４において、埋め込みベクトルをＬＳＴＭネットワークに通し、時間テップ毎に符号化を生成する。全ての時間ステップにわたる出力は、６１２からワンホット軌道ラベルｃｉと共に単一のベクトル６１６に結合され、
Figure 2022547611000053
 を生成する。
次に、このベクトルを多層パーセプトロン（ＭＬＰ）に通してμおよびσを得て、分布
Figure 2022547611000054
 を出力する。
形式的には、
Figure 2022547611000055
 である。
条件付き生成器６４０に関して、例示的な実施形態は、その生成器のためのＵ?Ｎｅｔのようなアーキテクチャを適合させる。任意の時間ステップｔにおいて、ネットワーク条件付き生成器への入力６２０は、シーンコンテキストマップ
Figure 2022547611000056
 （ＨｘＷｘ３）（６２２）、すべてのエージェントの現在状態
Figure 2022547611000057
 （ＨｘＷｘ２）の単一表現（６２４）、位置マスク
Figure 2022547611000058
 （ＨｘＷｘ１）（６２８）、
Figure 2022547611000059
 （ＨｘＷｘ３）からグリッドにおけるエージェント特定位置に投影された各エージェントについてのワンホット軌道特定ラベル（６２６）、および訓練段階期間に
Figure 2022547611000060
 から取得された、またはテスト時に事前分布
Figure 2022547611000061
 からサンプリングされた
Figure 2022547611000062
 を含む潜在ベクトルマップ
Figure 2022547611000063
 （ＨｘＷｘ１６）（６３０）である。
形式的には、ネットワーク入力Ｅｔは、次式
Figure 2022547611000064
 で与えられる。
これは、任意の時間ステップｔに対してＨｘＷｘ２５のサイズである。表現はエンティティ中心ではないことに留意されたい。言い換えれば、例示的な実施形態は、起動を予測したい１つのターゲットエンティティを有さず、むしろ、すべてのエージェントに対してグローバルエンティティを有する。
Figure 2022547611000065
 の各時間ステップにおいて、例示的な実施形態は、上記の入力をエンコーダモジュール６４２に通す。このモジュール６４２は、情報を小さな空間次元で符号化し、それらをデコーダ６４４に通すストライド畳み込みを含む。デコーダ６４４は、ＣｏｎｖＬＳＴＭと、エンコーダモジュール６４２からのスキップ接続を有する転置畳み込みとを含み、ＨｘＷのマップを出力する。次に、それは、状態プーリング操作を用いて別のＣｏｎｖＬＳＴＭ層６４６に渡される。観測および予測の段階の間、同じネットワークが共有される。最後の１×１畳み込み層が追加されて、次の時間ステップにおけるエージェントの相対予測座標
Figure 2022547611000066
 を含む２チャネルマップ６５０が出力される。
例示的な実施形態は、観測された軌道についてグランドトゥルースエージェント位置を使用し、ネットワークの予測に基づいてＣｏｎｖＬＳＴＭを展開する。予測段階
Figure 2022547611000067
 の間、出力はネットワークへの入力として直接フィードバックされず、むしろ、エージェントの状態が予測に基づいてシーン内の次の位置に更新される。相対予測位置
Figure 2022547611000068
 は、絶対予測位置
Figure 2022547611000069
 に更新され、シーン内のすべてのエージェントの更新位置を含む更新シーン状態マップ
Figure 2022547611000070
 を取得する。シーンのためのそのような表現を使用することは、エージェントの数には無関係であり、エージェントの次の状態はそのそれぞれのピクセル位置で予測されるので、シーンからのエージェントの動的な出入りを処理することができることに留意されたい。
状態プールＣｏｎｖＬＳＴＭ６４６に関して、同時マルチエージェント予測は、ＣｏｎｖＬＳＴＭにおける状態プールを通して実現される。マルチエージェント軌道予測のために標準的なＣｏｎｖＬＳＴＭを使用することは、通常、意味的に整列された軌道を生成するが、軌道は時折、不規則な操縦を含む。例示的な実施形態は、状態プーリングを介してこの問題を解決し、これは、次の位置を予測しようと試みるときに事前状態情報の可用性を保証する。例示的な実施形態は、すべてのエージェント
Figure 2022547611000071
 について最終ＣｏｎｖＬＳＴＭ層から事前状態情報をプールし、エージェント更新位置における（隠れ状態およびセル状態の両方について）
Figure 2022547611000072
 で次の状態を初期化し、時間ステップｔについて他のすべての位置でゼロベクトルを初期化する。
「学習」に関して、例示的な実施形態は、認識ネットワーク
Figure 2022547611000073
 と条件生成器
Figure 2022547611000074
 の両方を同時に訓練する。例示的な実施形態は、エージェントがすべての時間ステップで訪問したインデックスからの値をプールすることによって、予測軌道
Figure 2022547611000075
 を取得する。
例示的な実施形態は、ＣｏｎｖＬＳＴＭネットワークを訓練する際に２つの損失関数を使用する。
再構成損失（reconstruction loss）は、次のように与えられる。
Figure 2022547611000076
 。これは、予測にペナルティを課し、グランドトゥルースを正確に再構成することを可能にする。
ＫＬ発散損失（divergence loss）は、以下のように与えられる。
Figure 2022547611000077
 。これは、
Figure 2022547611000078
 からの出力分布を正則化し、テスト時におけるサンプリング分布
Figure 2022547611000079
 に一致させる。
テスト段階では、推論時に、例示的な実施形態は、軌道固有ラベルｃｉにアクセスするのではなく、むしろ、これらのラベルをランダムにサンプリングすることによって、特定の行動を問い合わせる。各エージェントについてのｃｉと共に、例示的な実施形態は、また、
Figure 2022547611000080
 からｚｉをサンプリングする。しかしながら、
Figure 2022547611000081
 は入力から独立するように緩和することができ、したがって、テスト時に事前分布が
Figure 2022547611000082
 であることを意味する。
図２は、本発明の実施形態による、同時マルチエージェント回帰軌道予測の例示的な実装のブロック／フロー図である。
自動運転車５０１は、コンピュータ５１０と、操舵及び制御機構５１６とを含むことができる。コンピュータ５１０は、パーセプション方法５１２および計画方法５１４を実行するようにプログラムすることができる。
パーセプション方法５１２は、センサ入力５２０、他のパーセプション出力５２２、将来予測５２４、およびダウンストリームタスク５２６を含むことができる。
将来予測５２４は、運転シミュレータ５３０および予測方法５３２を含むことができる。
運転シミュレータ５３０は、シーン生成器５４０（１００）、多様な行動生成器５４２（２００）、およびダイナミクスシミュレータ５４４（３００）を含んでもよい。
シーン生成器５４０（１００）は、道路グラフ生成５５０（１２０）および実物体インスタンス化５５２（１３０）に依拠することができる。
多様な行動生成器５４２（２００）は、操縦識別５６０（２１０）および速度プロファイルサンプリング５６２（２２０）に依拠することができる。
図３は、本発明の実施形態による、同時マルチエージェント回帰軌道予測の例示的なアルゴリズムフローのブロック／フロー図である。
シミュレーションプロセスの第１のステップは、実データセットからシーン（シーン生成１００）のトポロジーレイアウトを再構成することである。例示的な実施形態は、公開されて利用可能な地図情報１１０を使用するか、またはシーンの道路グラフを作成するためにデータセット内の利用可能な高精細度ＨＤ地図情報を使用するかのいずれかである。道路グラフは、互いに相互接続された車線の階層構造を捕捉する（道路グラフ生成１２０）。次いで、例示的な実施形態は、生成された道路グラフ上の現実のシーンから車両を配置または導入し、車両をそれらの最も近い車線ＩＤに割り当てる（実物体インスタンス化１３０）。
次に、例示的な実施形態は、実世界データ（多様な行動生成２００）から関連する速度プロファイルと共に行動をサンプリングする、多様な行動生成に移動する。具体的には、多様な行動生成２００は、操縦識別２１０および速度プロファイルサンプリング２２０を含む。操縦識別２１０は、シーン内の全ての車両に対して妥当な操縦を識別し、同時に実世界データから速度プロファイルサンプリング２２０が適切な速度をサンプリングする。道路グラフ１００およびサンプリングされた速度プロファイル２２０は、２１０からの所望の目的地と共に、ダイナミクスシミュレータ３００への入力として与えられ、シーン内の全ての車両に対して安全な軌道４００を生成する。
図５は、本発明の実施形態による、同時マルチエージェント下記軌道予測のための例示的な処理システムのブロック／フロー図である。
処理システムは、少なくとも１つのプロセッサまたはプロセッサ装置（ＣＰＵ）７０４と、システムバス７０２を介して他の構成要素に動作可能に結合されたグラフィックスプロセッシングユニット（ＧＰＵ）７０５とを含む。キャッシュ７０６、読み出し専用メモリ（ＲＯＭ）７０８、ランダムアクセスメモリ（ＲＡＭ）７１０、入力／出力（Ｉ／Ｏ）アダプタ７２０、ネットワークアダプタ７３０、ユーザインタフェースアダプタ７４０、およびディスプレイアダプタ７５０は、システムバス７０２に動作可能に結合されている。軌道を予測する単一表現モデル７６０が、バス７０２を介して採用され得る。軌道を予測する単一表現モデル７６０は、シーン生成器１００、多様な行動生成器２００、およびダイナミクスシミュレータ３００を採用することができる。
記憶装置７２２は、Ｉ／Ｏアダプタ７２０によってシステムバス７０２に動作可能に結合されている。記憶装置７２２は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、固体磁気装置などのうちの任意のものとすることができる。
トランシーバ７３２は、ネットワークアダプタ７３０によってシステムバス７０２に動作可能に結合されている。
ユーザ入力装置７４２は、ユーザインタフェースアダプタ７４０によってシステムバス７０２に動作可能に結合されている。ユーザ入力装置７４２は、キーボード、マウス、キーパッド、画像撮像装置、モーションセンシング装置、マイクロフォン、前述の装置のうちの少なくとも２つの機能を組み込んだ装置などのうちの任意のものとすることができる。もちろん、本発明の精神を維持しながら、他のタイプの入力装置を使用することもできる。ユーザ入力装置７４２は、同じタイプのユーザ入力装置または異なるタイプのユーザ入力装置とすることができる。ユーザ入力装置７４２は、処理システムとの間で情報を入出力するために使用される。
ディスプレイ装置７５２は、ディスプレイアダプタ６５０によってシステムバス７０２に動作可能に結合されている。
もちろん、処理システムは当業者によって容易に企図されるように、他の要素（図示せず）を含んでもよく、また、特定の要素を省略してもよい。例えば、当業者によって容易に理解されるように、様々な他の入力デバイスおよび／または出力デバイスを、システムの特定の実装に応じて、システムに含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力デバイスを使用することができる。さらに、様々な構成の追加のプロセッサ、プロセッサデバイス、コントローラ、メモリなども、当業者によって容易に理解されるように利用することができる。処理システムのこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられた当業者によって容易に企図される。
図６は、本発明の実施形態による、同時マルチエージェント回帰軌道予測のための例示的な方法のブロック／フロー図である。
ブロック８０１において、シーン生成器を介して、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成する。
ブロック８０３において、シーンの道路グラフを生成し、道路グラフは、相互接続された車線の階層構造を捕捉する。
ブロック８０５で、データセットで利用可能なトラックレット情報を利用することによって、生成された道路グラフ上でシーンから車両を組み込む。
ブロック８０７で、最も近い車線識別に車両を割り当てる。
ブロック８０９で、シーン内のすべての車両について多様な妥当な行動を識別する。
ブロック８１１で、多様な行動生成器によって、多様な妥当な行動から１つの行動をサンプリングし、サンプリングされた１つの行動に類似するデータセットの実世界データからサンプリングされた関連する速度プロファイルを選択する。
ブロック８１３で、道路グラフおよびサンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに送り、ユーザが所望の運転シナリオを再作成するための複数のシミュレーションされた多様な軌道のうちの１つ以上を選択することが可能なように、視覚化装置上に出力される複数のシミュレーションされた多様な軌道を生成する。
図７は、本発明の実施形態による、同時マルチエージェント回帰軌道予測のための方法で使用される方程式のブロック／フロー図である。
式９００は、安全な軌道、認識ネットワーク、条件付き生成器、および、再構成損失およびＫＬ発散損失などの損失に対する出力を識別する。
図８は、本発明の実施形態による、同時マルチエージェント回帰軌道予測のための実用的な適用のブロック／フロー図である。
高度運転者支援システム（ＡＤＡＳ）１００１、ロボット１００３、およびエージェント１００５は、シーン１０１０で使用することができる。かかる適用１００１、１００３、１００５は、他の車両／ロボット／エージェントがシーン１０１０でどのように移動するかについての知識を必要とし得る。シミュレーションプロセス１０１２は、安全計画又は安全行動１０２０がレンダリングされるように、車両／ロボット／エージェント１００１、１００３、１００５に対する多様な行動をシミュレーションするために行われる。あるいは、ＡＤＡＳまたはロボットまたは他の適用で使用される訓練モデルのために、多様な訓練例１０２２を生成することができる。シミュレーションプロセス１０１２は、シーン生成器１００、多様な行動生成器２００、およびダイナミクスシミュレータ３００を使用することができる。
結論として、例示的な実施形態は、実世界シナリオに対して複数のドライバの意図を有する行動を生成する問題に対処する。これを達成するために、例示的な実施形態は、センサ空間内で軌道を生成するときに生じるいくつかの低レベルドメイン特異的ギャップを抽象化し、複数のドメインにわたる軌道の一般化可能性を改善する、シーンの上面視表現に関する新しいシミュレーション方法を提案する。具体的には、例示的な実施形態は、例えば、オープンソース地図情報を活用して、実世界データからシーンを再現し、シミュレーションされた車両のためのマルチインテント行動を実行する。シミュレーション方法は、実世界データから類似の速度プロファイルをサンプリングすることにより、現実的な軌道を組み込む。例示的な実施形態は、現在の交通状況に対して安全な加速を提供するインテリジェントドライバーモデル（ＩＤＭ）に基づくダイナミクスシミュレーションエンジンを有する。また、例示的な実施形態は、そのような操縦を実行しながら安全をチェックする模擬車両のための車線変更決定を組み込む。
本明細書で使用されるように、用語「データ」、「コンテンツ」、「情報」および同様の用語は、様々な例示的な実施形態に従って、捕捉され、送信され、受信され、表示され、および／または格納されることが可能なデータを参照するように、互換的に使用されることが可能である。したがって、かかる用語の使用は、開示の精神及び範囲を制限するものと解釈されるべきではない。さらに、別のコンピューティングデバイスからデータを受信するようにコンピューティングデバイスが本明細書に記載される場合、データは別のコンピューティングデバイスから直接受信することも、１つ以上の中間コンピューティングデバイス、例えば、１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局などを介して間接的に受信することもできる。同様に、データを別のコンピューティングデバイスに送るようにコンピューティングデバイスが本明細書に記載されている場合、データは直接、別のコンピューティングデバイスに送ることができ、または、１つ以上の中間コンピューティングデバイス、例えば、１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局などを介して間接的に送ることができる。
ユーザとの対話を提供するために、本明細書に記載される主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタと、キーボードと、ユーザがコンピュータに入力を提供することができるポインティングデバイス、例えば、マウスまたはトラックボールとを有するコンピュータ上に実装することができる。他の種類のデバイスも、ユーザとの対話を提供するために使用することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信することができる。
当業者には理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として実施することができる。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書では一般に「回路」、「モジュール」、「計算機」、「装置（device）」、または「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができる。さらに、本発明の態様は、その上に具現化されたコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。
１つまたは複数のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、あるいは前述のものの任意の適切な組合せとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、１つ以上のワイヤを有する電気的接続、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ、光ファイバ、携帯用コンパクトディスク読出し専用メモリ、光データ記憶装置、磁気データ記憶装置、または前述の任意の適切な組み合わせを有する。本文書のコンテキストでは、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、またはそれを記憶することができる、任意の有形媒体であってもよい。
コンピュータ可読信号媒体は、例えば、ベースバンドで、または搬送波の一部として、コンピュータ可読プログラムコードが組み込まれた伝搬データ信号を含むことができる。そのような伝播信号は、電磁、光学、またはそれらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形態をとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、または装置によって、またはそれに関連して使用するために、プログラムを通信、伝播、または転送することができる、任意のコンピュータ可読媒体であってもよい。
コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、または前述のもの任意の適切な組合せを含むがこれらに限定されない、任意の適切な媒体を使用して送信され得る。
本発明の態様に対する操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、全体的にはユーザのコンピュータ上で、部分的にはユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にはユーザのコンピュータ上で、部分的には遠隔コンピュータ上で、または全体的には遠隔コンピュータまたはサーバ上で実行されてもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに接続されてもよい。
本発明の態様を、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して以下に説明する。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組合せは、コンピュータプログラム命令によって実施できることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャートおよび／またはブロック図の１つまたは複数のブロックまたはモジュールで指定された機能／動作を実施する手段を作成するように、マシンを生成することができる。
これらのコンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の装置に特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、その結果、コンピュータ可読媒体に格納された命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックまたはモジュールで指定された機能／動作を実行する命令を含む製品を生成する。
コンピュータプログラム命令は、また、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置、または他の装置上で実行されて、コンピュータまたは他のプログラマブル装置上で実行される命令がフローチャートおよび／またはブロック図の１つまたは複数のブロックまたはモジュールで指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成することができる。
本明細書で使用される「プロセッサ」という用語は、例えば、ＣＰＵ（中央処理装置）および／または他の処理回路を含むものなど、任意の処理装置を含むことが意図されることを理解されたい。また、「プロセッサ」という用語は、１つ以上の処理装置を指すことができ、処理装置に関連する様々な要素は他の処理装置によって共有することができることも理解されたい。
本明細書で使用される「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリデバイス（例えば、ハードドライブ）、リムーバブルメモリ装置（例えば、ディスケット）、フラッシュメモリなど、プロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータ可読記憶媒体と考えることができる。
さらに、本明細書で使用される「入力／出力装置」または「Ｉ／Ｏ装置」という語句は、例えば、処理ユニットにデータを入力する1つ以上の入力装置（例えば、キーボード、マウス、スキャナなど）、および／または処理ユニットに関連付けられた結果を提示する１つ以上の出力装置（例えば、スピーカ、ディスプレイ、プリンタなど）を含むことが意図される。
以上の説明は、あらゆる点において、限定するものではなく、例示的かつ典型的なものとして理解されるべきであり、本明細書に開示される本発明の範囲は、詳細な説明からではなく、むしろ特許法によって許容される全範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の原理の例示にすぎず、当業者は本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。以上、本発明の態様を、特許法によって要求される詳細および特異性と共に説明したが、特許請求され、特許証で保護されることが望まれるものは、添付の特許請求の範囲に記載されている。

Claims (20)

  1. 同時マルチエージェント回帰軌道予測のためのプロセッサ上で実行されるコンピュータ実装方法であって、
    シーン生成器を介して、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成する（８０１）ことと、
    相互接続された車線の階層構造を捕捉する前記シーンの道路グラフを生成する（８０３）ことと、
    前記データセットで利用可能なトラックレット情報を利用することによって、前記生成された道路グラフ上で前記シーンから車両を組み込む（８０５）ことと、
    前記車両をそれらの最も近い車線識別に割り当てる（８０７）ことと、
    前記シーン内の全ての車両について多様な妥当な行動を識別する（８０９）ことと、
    多様な行動生成器によって、前記多様な妥当な行動から１つの行動をサンプリングし、前記サンプリングされた１つの行動に類似する前記データセットの前記実世界データからサンプリングされた関連する速度プロファイルを選択する（８１１）ことと、
    前記道路グラフおよび前記サンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに供給し、ユーザが所望の運転シナリオを再現するために前記複数のシミュレーションされた多様な軌道のうちの１つまたは複数を選択することが可能なように、可視化装置上に出力される複数のシミュレーションされた多様な軌道を生成する（８１３）ことと、を含む、コンピュータ実装方法。
  2. 前記多様な行動生成器は、操縦識別および速度プロファイルサンプリングを含む、請求項１に記載の方法。
  3. 前記操縦識別は、前記シーン内の全ての車両に対して異なる妥当な操縦を識別して、車両毎に１つの操縦をサンプリングし、前記速度プロファイルサンプリングは、前記実世界データから適切な速度をサンプリングする、請求項２に記載の方法。
  4. 前記道路グラフは、前記シーンの鳥瞰図再構成または上面視表現である、請求項１に記載の方法。
  5. 交差点までの距離および平均速度のような発見的手法に基づいて、前記サンプリングされた１つの行動に従って、速度プロファイルがサンプリングされる、請求項１に記載の方法。
  6. 前記ダイナミクスシミュレータは、前記シーン内の全ての車両に対して安全な軌道を生成する、請求項１に記載の方法。
  7. 前記安全な軌道は、
    Figure 2022547611000083
     によって与えられ、ここで、aは快適な加速度、
    Figure 2022547611000084
     は所望の基準速度、ｖは車両、δは速度とともに加速度がどのように減少するかを左右する指数、ｓは実際のバンパ距離、
    Figure 2022547611000085
     は所望の最小隙間、
    Figure 2022547611000086
     は先行車両との速度差である、請求項６に記載の方法。
  8. 潜在エンコーダおよび条件付き生成器をさらに含み、前記潜在エンコーダは認識モジュールとして動作し、訓練段階中に使用される、請求項１に記載の方法。
  9. 前記条件付き生成器は、畳み込みエンコーダと、畳み込み長短期記憶（ＣｏｎｖＬＳＴＭ）デコーダとを含む、請求項８に記載の方法。
  10. 同時マルチエージェント回帰軌道予測のためのコンピュータ可読プログラムを有する非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムは、コンピュータ上で実行されると、
    シーン生成器を介して、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成するステップ（８０１）と、
    相互接続された車線の階層構造を捕捉する前記シーンの道路グラフを生成するステップ（８０３）と、
    前記データセット内で利用可能なトラックレット情報を利用することによって、前記生成された道路グラフ上で前記シーンから車両を組み込むステップ（８０５）と、
    前記車両をそれらの最も近い車線識別に割り当てるステップ（８０７）と、
    前記シーン内の全ての車両について多様な妥当な行動を識別するステップ（８０９）と、
    多様な行動生成器によって、前記多様な妥当な行動から１つの行動をサンプリングし、前記サンプリングされた１つの行動に類似する前記データセットの前記実世界データからサンプリングされた関連する速度プロファイルを選択するステップ（８１１）と、
    前記道路グラフおよび前記サンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに供給し、ユーザが所望の運転シナリオを再現するために前記複数のシミュレーションされた多様な軌道のうちの１つまたは複数を選択することが可能なように、可視化装置上に出力される複数のシミュレーションされた多様な軌道を生成するステップ（８１３）と、を前記コンピュータに実行させる、非一時的コンピュータ可読記憶媒体。
  11. 前記多様な行動生成器は、操縦識別および速度プロファイルサンプリングを含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
  12. 前記操縦識別は、前記シーン内の全ての車両に対して異なる妥当な操縦を識別して、車両毎に１つの操縦をサンプリングし、前記速度プロファイルサンプリングは、前記実世界データから適切な速度をサンプリングする、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
  13. 前記道路グラフは、前記シーンの鳥瞰図再構成または上面視表現である、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
  14. 交差点までの距離および平均速度のような発見的手法に基づいて、前記サンプリングされた１つの行動に従って、速度プロファイルがサンプリングされる、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
  15. 前記ダイナミクスシミュレータは、前記シーン内の全ての車両に対して安全な軌道を生成する、請求項１０に記載の非一時的なコンピュータ可読記憶媒体。
  16. 前記安全な軌道は、
    Figure 2022547611000087
     によって与えられ、ここで、aは快適な加速度、
    Figure 2022547611000088
     は所望の基準速度、ｖは車両、δは速度とともに加速度がどのように減少するかを左右する指数、ｓは実際のバンパ距離、
    Figure 2022547611000089
     は所望の最小隙間、
    Figure 2022547611000090
     は先行車両との速度差である、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
  17. 潜在エンコーダおよび条件付き生成器をさらに含み、前記潜在エンコーダは認識モジュールとして動作し、訓練段階中に使用される、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
  18. 前記条件付き生成器は、畳み込みエンコーダと、畳み込み長短期記憶（ＣｏｎｖＬＳＴＭ）デコーダとを含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
  19. 同時マルチエージェント回帰軌道予測のためのシステムであって、
    メモリと、
    前記メモリと通信する１つ以上のプロセッサとを含み、該プロセッサは、
    シーン生成器を介して、実世界データを含むデータセットからシーンのトポロジーレイアウトを再構成し（８０１）、
    相互接続された車線の階層構造を捕捉する前記シーンの道路グラフを生成し（８０３）、
    前記データセット内で利用可能なトラックレット情報を利用することによって、前記生成された道路グラフ上で前記シーンから車両を組み込み（８０５）、
    前記車両をそれらの最も近い車線識別に割り当て（８０７）、
    前記シーン内の全ての車両について多様な妥当な行動を識別し（８０９）、
    多様な行動生成器によって、前記多様な妥当な行動から１つの行動をサンプリングし、前記サンプリングされた１つの行動に類似するデータセットの前記実世界データからサンプリングされた関連する速度プロファイルを選択し（８１１）、
    前記道路グラフおよび前記サンプリングされた速度プロファイルを所望の目的地とともにダイナミクスシミュレータに供給し、ユーザが所望の運転シナリオを再現するために前記複数のシミュレーションされた多様な軌道のうちの1つまたは複数を選択することが可能なように、可視化装置上に出力される複数のシミュレーションされた多様な軌道を生成する（８１３）ように構成されている、システム。
  20. 前記多様な行動生成器は、操縦識別および速度プロファイルサンプリングを含み、前記操縦識別は、前記シーン内の全ての車両に対して異なる妥当な操縦を識別して、車両毎に１つの操縦をサンプリングし、前記速度プロファイルサンプリングは、前記実世界データから適切な速度をサンプリングする、請求項１９に記載のシステム。
JP2022516390A 2019-11-14 2020-11-06 道路シーンにおける多様な長期将来軌道のシミュレーション Active JP7471397B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962935326P 2019-11-14 2019-11-14
US62/935,326 2019-11-14
US17/090,399 2020-11-05
US17/090,399 US20210148727A1 (en) 2019-11-14 2020-11-05 Simulating diverse long-term future trajectories in road scenes
PCT/US2020/059384 WO2021096776A1 (en) 2019-11-14 2020-11-06 Simulating diverse long-term future trajectories in road scenes

Publications (2)

Publication Number Publication Date
JP2022547611A true JP2022547611A (ja) 2022-11-14
JP7471397B2 JP7471397B2 (ja) 2024-04-19

Family

ID=75909909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022516390A Active JP7471397B2 (ja) 2019-11-14 2020-11-06 道路シーンにおける多様な長期将来軌道のシミュレーション

Country Status (4)

Country Link
US (1) US20210148727A1 (ja)
JP (1) JP7471397B2 (ja)
DE (1) DE112020005577T5 (ja)
WO (1) WO2021096776A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11776273B1 (en) * 2020-11-30 2023-10-03 Amazon Technologies, Inc. Ensemble of machine learning models for automatic scene change detection
US20220185289A1 (en) * 2020-12-14 2022-06-16 Zoox, Inc. Lane change gap finder
US20220198096A1 (en) * 2020-12-23 2022-06-23 Woven Planet North America, Inc. Generating Accurate and Diverse Simulations for Evaluation of Autonomous-Driving Systems
US20220308581A1 (en) * 2021-03-23 2022-09-29 Honda Motor Co., Ltd. System and method for completing continual multi-agent trajectory forecasting
US11748988B1 (en) 2021-04-21 2023-09-05 Amazon Technologies, Inc. Shot contras five self-supervised learning of a plurality of machine learning models for video analysis applications
CN113341960B (zh) * 2021-05-26 2022-06-03 重庆大学 基于监督式dqn算法的自动驾驶汽车转向控制方法
CN113536612B (zh) * 2021-09-17 2021-12-31 北京理工大学 一种基于仿真平台的可交互数据集重现方法与系统
CN114943943B (zh) * 2022-05-16 2023-10-03 中国电信股份有限公司 目标轨迹获得方法、装置、设备及存储介质
CN115140048B (zh) * 2022-06-28 2023-07-25 哈尔滨工业大学 一种自动驾驶行为决策与轨迹规划模型与方法
CN115009275B (zh) * 2022-08-08 2022-12-16 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181392A (ja) * 2016-03-31 2017-10-05 アイシン・エィ・ダブリュ株式会社 経路探索装置及びコンピュータプログラム
US20180124423A1 (en) * 2016-10-28 2018-05-03 Nec Laboratories America, Inc. Dynamic scene prediction with multiple interacting agents
JP2018197758A (ja) * 2018-07-23 2018-12-13 株式会社ゼンリン 車線変更支援装置及び地図データのデータ構造
US20190129436A1 (en) * 2017-10-28 2019-05-02 TuSimple System and method for real world autonomous vehicle trajectory simulation
JP2019073271A (ja) * 2017-10-12 2019-05-16 本田技研工業株式会社 自律走行車ポリシー生成

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
US20130278441A1 (en) * 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
US8948995B2 (en) * 2012-06-28 2015-02-03 Toyota Motor Engineering & Manufacturing North America, Inc. Preceding vehicle state prediction
US9070202B2 (en) * 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
WO2017090399A1 (ja) 2015-11-24 2017-06-01 オリンパス株式会社 内視鏡装置
WO2018125939A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
US11195418B1 (en) * 2018-10-04 2021-12-07 Zoox, Inc. Trajectory prediction on top-down scenes and associated model
US11691650B2 (en) * 2019-07-08 2023-07-04 Uatc, Llc Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
US20210056863A1 (en) * 2019-08-19 2021-02-25 Samsung Electronics Co., Ltd. Hybrid models for dynamic agents in a simulation environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181392A (ja) * 2016-03-31 2017-10-05 アイシン・エィ・ダブリュ株式会社 経路探索装置及びコンピュータプログラム
US20180124423A1 (en) * 2016-10-28 2018-05-03 Nec Laboratories America, Inc. Dynamic scene prediction with multiple interacting agents
JP2019073271A (ja) * 2017-10-12 2019-05-16 本田技研工業株式会社 自律走行車ポリシー生成
US20190129436A1 (en) * 2017-10-28 2019-05-02 TuSimple System and method for real world autonomous vehicle trajectory simulation
JP2018197758A (ja) * 2018-07-23 2018-12-13 株式会社ゼンリン 車線変更支援装置及び地図データのデータ構造

Also Published As

Publication number Publication date
WO2021096776A1 (en) 2021-05-20
JP7471397B2 (ja) 2024-04-19
US20210148727A1 (en) 2021-05-20
DE112020005577T5 (de) 2022-09-29

Similar Documents

Publication Publication Date Title
JP7471397B2 (ja) 道路シーンにおける多様な長期将来軌道のシミュレーション
US11667301B2 (en) Symbolic modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems
US11734885B2 (en) Systems and methods for generating synthetic light detection and ranging data via machine learning
US11842261B2 (en) Deep reinforcement learning with fast updating recurrent neural networks and slow updating recurrent neural networks
US11137762B2 (en) Real time decision making for autonomous driving vehicles
EP3776370A1 (en) Graph neural network systems for behavior prediction and reinforcement learning in multple agent environments
Chen et al. Driving maneuvers prediction based autonomous driving control by deep Monte Carlo tree search
US11740620B2 (en) Operational testing of autonomous vehicles
US20230419113A1 (en) Attention-based deep reinforcement learning for autonomous agents
US11926347B2 (en) Conditional agent trajectory prediction
WO2022156181A1 (zh) 一种运动轨迹的预测方法及装置
Cai et al. DQ-GAT: Towards safe and efficient autonomous driving with deep Q-learning and graph attention networks
Hu et al. How simulation helps autonomous driving: A survey of sim2real, digital twins, and parallel intelligence
Chandra et al. Using graph-theoretic machine learning to predict human driver behavior
Kim et al. An open-source low-cost mobile robot system with an RGB-D camera and efficient real-time navigation algorithm
Katyal et al. Occupancy map prediction using generative and fully convolutional networks for vehicle navigation
Khanum et al. Involvement of Deep Learning for Vision Sensor-Based Autonomous Driving Control: A Review
US20200334530A1 (en) Differentiable neuromodulated plasticity for reinforcement learning and supervised learning tasks
Feng et al. Autonomous RC-car for education purpose in iSTEM projects
Trumpp et al. Efficient Learning of Urban Driving Policies Using Bird's-Eye-View State Representations
CN113807460B (zh) 智能体动作的确定方法和装置、电子设备和介质
Sreedhar et al. Deep Learning for Hardware-Constrained Driverless Cars
US20230082365A1 (en) Generating simulated agent trajectories using parallel beam search
US20230278582A1 (en) Trajectory value learning for autonomous systems
US20230347932A1 (en) Evaluation of components of autonomous vehicles based on driving recommendations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240409

R150 Certificate of patent or registration of utility model

Ref document number: 7471397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150