JP2022016419A - 軌跡予測方法及び装置 - Google Patents

Abstract

【課題】特徴抽出の精度を著しく高めることができる軌跡予測方法を提供する。【解決手段】運動主体が現在の環境において運動を実行する過程において、軌跡予測ニューラルネットワークは、入力された現在の軌跡データと現在の環境の現在の地図データとを取得して高次元空間における現在の軌跡点集合及び現在の地図点集合として表現し、現在の軌跡点集合及び現在の地図点集合に基づいて、現在の環境の地図特徴及び軌跡特徴を有するグローバルシーン特徴を抽出して得て、グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力する。【選択図】図１１

Description

本発明は、コンピュータ技術の分野に関し、特に軌跡予測方法、装置、記憶媒体、及びコンピュータプログラムに関する。

人工知能の研究及び発展の上で、人工知能と結び付けて多くの技術分野、例えばロボット技術及び無人運転技術がより広く適用され、発展している。

ロボット及び無人運転の分野で、軌跡予測は、重要な一環である。軌跡予測は、無人運転システムの安全性能を大きく左右する。無人運転を例にとると、車両の走行中に、軌跡予測技術によって周りの車両の将来の所定期間における走行軌跡をリアルタイムで予測する必要があり、無人運転システムがこの予測の結果に基づいて安全な経路計画を作成し、衝突を避ける。

本発明の実施例は、従来の技術における軌跡予測方法が有する予測結果の精確性や信頼性が低いという問題を解決するための軌跡予測方法、装置、記憶媒体、及びコンピュータプログラムを提供する。

本発明の実施例の一態様によれば、
運動主体が現在の環境において運動を実行する過程において、軌跡予測ニューラルネットワークは、入力された現在の軌跡データと現在の環境の現在の地図データとを取得することと、
現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することと、
現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得ることと、
グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力することと、を含み、
現在の軌跡データは、運動主体と、現在の環境における他の１つ又は複数の運動物体との過去の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、現在の地図データは該所定時間帯での現在の環境における道路要素の複数の地図点の空間位置を含み、現在の軌跡点集合は、現在の軌跡データの各軌跡点に対応する高次元軌跡点を含み、現在の地図点集合は、現在の地図データの各地図点に対応する高次元地図点を含み、グローバルシーン特徴は、現在の環境の地図特徴及び軌跡特徴を有し、各予測軌跡点集合は、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む、
軌跡予測方法が提供される。

本発明の実施例の他の態様によれば、
運動主体が現在の環境において運動を実行する過程において、入力された現在の軌跡データと現在の環境の現在の地図データとを取得することと、
現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することと、
現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得ることと、のために使用されるエンコーダと、
グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力するために使用されるデコーダとを含み、
現在の軌跡データは、運動主体と、現在の環境における他の１つ又は複数の運動物体との過去の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、現在の地図データは該所定時間帯での現在の環境における道路要素の複数の地図点の空間位置を含み、グローバルシーン特徴は、現在の環境の地図特徴及び軌跡特徴を有し、各予測軌跡点集合は、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む、
軌跡予測方法が提供される。

本発明の実施例の他の態様によれば、
少なくとも１つのプロセッサと、少なくとも１つのメモリとを含み、
少なくとも１つのメモリには、少なくとも１つの機器実行可能な命令が記憶されており、
少なくとも１つのプロセッサは、少なくとも１つの機器実行可能な命令を実行して上記のような軌跡予測方法を実行する、
軌跡予測装置が提供される。

本発明の実施例の他の態様によれば、
上記のような軌跡予測方法を含む軌跡予測処理を実行するために使用されるように構成されたコードセグメント、
を有するコンピュータプログラムが提供される。

本発明の実施例の他の態様によれば、
上記のような軌跡予測方法を含む軌跡予測処理のためのコンピュータプログラムが記憶されている、
不揮発性記憶媒体が提供される。

本発明の実施例に係る軌跡予測方法によれば、運動主体が運動を実行するリアルタイム過程において、リアルタイムで取得された現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現し、現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を取得して得て、グローバルシーン特徴は現在の環境の地図特徴及び軌跡特徴を有し、グローバルシーン特徴に基づいて運動主体の将来の所定時間帯での軌跡を予測することができる。ここで、現在の軌跡データ及び現在の地図データを高次元空間におけるデータの点集合として表現し、時間特徴と空間特徴とを同時に有するデータの点集合を取得することができ、グローバルシーン特徴が現在の環境の地図特徴と軌跡特徴を融合し、特徴抽出の精度を著しく高めることができ、さらに、効率で高精度な特徴抽出に基づいて、軌跡予測の結果の精度と精確性を著しく高めることができる。

図面は、本発明のさらなる理解を提供するために使用され、且つ明細書の一部を構成し、本発明の実施例と共に、本発明を説明するために使用され、本発明を限定するものではない。

本発明の実施例に係る軌跡予測ニューラルネットワークのトレーニング方法の１つの処理のフローチャートである。 本発明の実施例に係る軌跡予測ニューラルネットワークの１つの構造の模式図である。 本発明の実施例に係る軌跡予測ニューラルネットワークのトレーニング方法の他の処理のフローチャートである。 本発明の実施例に係る軌跡予測ニューラルネットワークの他の構造の模式図である。 図２ｂに示すステップ１０４ａにおける処理手順のフローチャートである。 １つのシーンにおける動的物体の模式図である。 図５ａに示すシーンにおいて、従来の方法を用いて動的物体の軌跡を表現する模式図である。 図５ａに示すシーンにおいて、本発明の実施例に係る方法を用いて動的物体の軌跡を表現する模式図である。 図２ｂのステップ１０６ａの処理手順のフローチャートである。 図６のステップ１０６２ａの処理手順のフローチャートである。 図７ａのステップ６２１の処理手順のフローチャートである。 一例における１つの高次元軌跡点と隣接する高次元地図点を決定する模式図である。 一例における地図の関係学習を行う伝播の模式図である。 図６のステップ１０６３ａの処理手順のフローチャートである。 本発明の実施例に係るリアルタイム処理段階における軌跡予測方法の一処理のフローチャートである。 図１１のステップ１１０６の処理手順のフローチャートである。 図１２のステップ１０６２’の処理手順のフローチャートである。 図１２のステップ１０６３’の処理手順のフローチャートである。 本発明の実施例に係る軌跡予測ニューラルネットワークの他の構造の模式図である。 本発明の実施例に係る軌跡予測ニューラルネットワークの他の構造の模式図である。 本発明の実施例に係る軌跡予測ニューラルネットワークの他の構造の模式図である。 本発明の実施例に係る１回のグローバル特徴抽出操作のフローチャートである。 本発明の実施例に係る軌跡予測装置の構造模式図である。

以下、当業者が本発明の技術態様をよりよく理解できるように、本発明の実施例における図面を参照しながら、本発明の実施例における技術態様を明確且つ完全に説明する。説明される実施例は、本発明の一部の実施例にすぎず、すべての実施例ではないことは明らかである。本発明の実施例に基づいて、当業者が創造的な労働を行わない前提で得られるすべての他の実施例は、本発明の保護範囲に属すべきである。

ロボット技術や無人運転技術の中で、非常に重要な技術の一つは、ロボットや無人運転車両のために、安全かつ信頼性のある経路計画を如何に行うかである。経路計画はまた、ロボットや無人運転車両が位置する環境における他の動的物体の運動の軌跡を精確で有効に予測することに依存する。動的物体の運動の軌跡に対する精確で有効な予測に基づいてこそ、ロボットや無人運転車両に対して、安全かつ信頼性のある経路計画の作成が可能となる。

従来の技術では、複数の方法によって物体の運動の軌跡を予測することができる。

１つの履歴の軌跡データに基づく予測方法は、ニューラルネットワークを作成し、履歴の軌跡データを使用してニューラルネットワークをトレーニングし、軌跡を予測可能なニューラルネットワークを得る。この方法では、ニューラルネットワークによって実行される操作が通常、特徴抽出操作と予測操作を含み、特徴抽出操作によって動的物体（例えば車両、バイク、自転車又は歩行者）の過去の所定期間における走行軌跡の時間－空間特徴（即ち、時空間特徴）を取得し、予測操作によって抽出された時空間特徴に基づいて車両の将来の所定期間における軌跡を予測するようになっている。特徴抽出操作は、通常、先に複数の時点（時間特徴とも呼ぶ）を抽出してから、それぞれの時点における各動的物体の空間特徴を抽出し、空間特徴と時間特徴を融合させる。

上記の特徴抽出操作において、空間特徴の抽出は非常に時間の掛かる操作であり、このような処理手順はリアルタイムの処理環境に適用することができない。加えて、異なる時点間の動的物体間の空間の繋がりや空間の影響が捨てられ、特徴抽出操作は複数の時点間の空間特徴の複雑な繋がり及び影響を模擬できなくなってしまう。このような予測手順は、信頼性のない予測結果しかもたらすことができない。さらに、この方法は、ノイズのある入力データを処理することができない。ノイズのある入力データとは通常、ある動的物体の不完全な軌跡データをいう。不完全な軌跡データに対して、通常、この方法の処理は、この動的物体の全ての軌跡データを削除することと、不完全な軌跡データを充填することの二種類がある。このような制限は、明らかに予測結果の精確性と精度に影響を与え、上記の方法をリアルタイムの応用環境に適用できないようにしている。

他の履歴の軌跡と道路情報に基づく方法では、通常、環境における高精度地図の情報及び異なる車両の走行軌跡を、平面視で見たラスタライズ画像で示し、ラスタライズ画像における画素ＲＧＢ値をニューラルネットワークに入力し、ニューラルネットワークが、入力データに基づいて特徴を抽出し、抽出された特徴に基づいて軌跡予測を行う。この方法は、軌跡の情報及び道路構造の情報を保持することができるが、示される必要のあるシーンの面積が広く、画像で示すと、過量な冗長情報が記憶されてしまい（例えば、多くの車両のない場所が画像における画素点に対応してしまう）、さらにニューラルネットワークの演算効率が低いという問題をもたらしてしまう。

従来の技術による軌跡予測方法においては、予測操作に時間が掛かり、効率が低く、リアルタイム処理の環境に適用することができないという問題、及び予測結果の精確性が低く、信頼性及び効率が低いという問題があることが分かる。

そこで、本発明の実施例は、上記の問題の一部又は全部を解決するために、軌跡予測態様を提供する。

本発明は、無人運転技術を例として本発明に係る軌跡予測態様について説明する。当業者にとっては、本発明に係る軌跡予測態様が他の技術分野、例えばロボットの分野にも適用できることが理解できる。

本発明では、用語「車両」が本発明で任意の移動物体を含むものとして広く解釈され、例えば航空機、船、宇宙船、自動車、トラック、バン、セミトレーラー、バイク、ゴルフカート、オフローダー、倉庫の輸送車両又は農業用トラック、及び例えば電車又は汽車及び他の鉄道車両などの軌道上を走行する輸送手段を含む。本発明に係る「車両」は通常、動力システム、センサシステム、制御システム、周辺機器及びコンピュータシステムを含んでもよい。他の実施例において、車両は、より多い又はより少ない数のシステム、又は、異なるシステムを含んでもよい。

ただし、動力システムは、車両に動力を提供して運動させるものであり、エンジン／モータ、トランスミッションとホイール／タイヤ、エネルギーユニットを含む。

制御システムは、車両及びそのコンポーネントを制御する装置の組合せ、例えば、ステアリングユニット、スロットル、制動ユニットなどの部品を含んでもよい。

周辺機器は、車両と外部センサ、他の車両、外部のコンピューティングデバイス及び／又はユーザとのインタラクトを可能にする設備、例えば、無線通信システム、タッチスクリーン、マイクロフォン及び／又はスピーカであってもよい。

上記説明した車両に基づいて、無人運転車両にはセンサシステムと無人運転制御装置も配置されている。

センサシステムは、車両が位置する環境の情報を検知するための複数のセンサ、及びセンサの位置及び／又は方向を変更する１つ又は複数のアクチュエータを含んでもよい。センサシステムは、全地球測位システムセンサ、慣性計測ユニット、無線検出及び測距（ＲＡＤＡＲ）ユニット、カメラ、レーザー距離計、光検出及び測距（ＬＩＤＡＲ）ユニット及び／又は音響センサ等のセンサの任意の組合せを含んでよく、センサシステムは、車両内部のシステムを監視するセンサ（例えばＯ２モニタ、燃料計、エンジン温度計等）を含んでもよい。

無人運転制御装置は、少なくとも１つのプロセッサと少なくとも１つのメモリを含んでもよい。プロセッサは、中央処理装置（ＣＰＵ： Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又は画像処理装置 （ＧＰＵ： Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。メモリには、少なくとも１つの機器実行可能な命令が記憶されているが、該少なくとも１つの機器実行可能な命令を含むプログラムプロダクトを無人運転制御システムと呼ぶことができる。無人運転制御システムは、地図エンジン、測位モジュール、感知モジュール、ナビゲーション又は経路モジュール、及び自動制御モジュール等の複数のモジュールを含んでもよく、それに応じて、プロセッサが少なくとも１つの機器実行可能な命令を実行して、地図構築、測位、感知、ナビゲーション又は経路計画、及び車両制御等の機能を含む複数の対応する機能を実現することができる。地図エンジンと測位モジュールは、地図及び測位の情報を提供するために使用される。感知モジュールは、センサシステムによって取得された情報及び地図エンジンによって提供された地図情報に基づいて、車両が位置する環境の環境情報を感知するために使用される。ナビゲーション又は経路モジュールは、地図エンジン、測位モジュール及び感知モジュールの処理結果に基づいて、車両に走行経路を計画するために使用される。自動制御モジュールは、ナビゲーション又は経路モジュール等のモジュールの意思決定情報を、入力して解析し、車両制御システムに対する制御命令に変換して出力し、車載ネットワークによって（例えば、ＣＡＮバス、ローカルインターコネクトネットワーク（ＬＩＮ：Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、マルチメディア指向性システム伝送（ＭＯＳＴ：Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）等の方法による車両内部の電子ネットワークシステムによって）車両制御システムにおける対応する部品に制御命令を送信して車両に対する自動制御を実現する。自動制御モジュールは、車載ネットワークによって車両における各部品の情報を取得することもできる。

車両に経路を計画する過程において、軌跡予測技術によって周りの動的物体（例えば車両、バイク、自転車又は歩行者）の将来の所定期間における走行軌跡をリアルタイムで予測する必要があり、この予測の結果に基づいて安全かつ信頼性のある経路計画を作成する。

本発明の実施例に係る学習に基づく軌跡予測態様は、トレーニング段階とリアルタイム処理段階という２つの段階を含む。

トレーニング段階において、特定のネットワーク構造と初期のパラメータ集合を有するニューラルネットワークを設置する。教師あり学習方法を使用して、履歴の実際のデータに基づいて学習を行うようにニューラルネットワークをトレーニングして、トレーニングの結果が収束の条件を満たす場合、ニューラルネットワークのパラメータ集合が得られる。該特定のネットワーク構造及びトレーニングによるパラメータ集合を有するニューラルネットワークは、即ち、軌跡予測を実現するニューラルネットワークであり、又は、軌跡予測ニューラルネットワークとも呼ばれる。

リアルタイム処理段階において、１つの動的主体に対して軌跡予測を行う場合、動的主体及び周りの動的物体の現在の軌跡点集合データと現在の環境における現在の地図点集合データを軌跡予測ニューラルネットワークに提供し、該ニューラルネットワークは、運動データの処理を行って、該動的主体の将来の複数の軌跡点集合及びそれぞれの軌跡点集合の対応する確率を予測する。

以下、複数の実施例によって、本発明の技術態様について説明する。

軌跡予測ニューラルネットワークを得るためのトレーニング
トレーニング段階において、複数のネットワーク層を含むことができるニューラルネットワークを構築し、該ニューラルネットワークに初期パラメータ集合を設定する。ニューラルネットワークにおけるネットワーク層の層数及び初期パラメータ集合が、ユースシーンのニーズに応じて、具体的に設定されてもよい。

本発明の実施例は、履歴の実際の第１の軌跡データ及び第２の軌跡データと、履歴の地図データとによって、構築されたニューラルネットワークをトレーニングする。

本発明の実施例において、第１の軌跡データ及び第２の軌跡データには運動主体及び周りの１つ又は複数の運動物体の複数の軌跡点が含まれ、各軌跡点は１つの対応する時点における空間位置を含む。該空間位置は、二次元位置、三次元位置又は高次元位置であってもよい。例えば、車両が比較的平坦な路面を走行する過程において、路面の高さの変化の幅が小さければ、高さ情報を無視してもよく、軌跡データには運動主体及び運動物体の二次元位置のみが含まれてもよい。他の分野では、例えば、特殊用途のロボットにおいては、運動過程中に高さが大幅に変化する可能性があるため、軌跡データには運動主体及び運動物体の三次元位置が含まれてもよい。他のユースシーンにおいて、他の次元の位置情報がある、又は、他の次元の位置情報を考える必要がある場合、軌跡データには、高次元位置のデータが含まれてもよい。簡潔及び便宜のために、本発明では、すべて二次元位置を例として解釈して説明する。当業者は、空間位置が三次元位置又は高次元位置である場合、三次元位置又は高次元位置に対して、対応する位置変換や座標変換等の処理を行う、又は、具体的なユースシーンのニーズに応じて、対応する位置処理と座標処理を行うことができることを理解すべきである。

本発明の実施例において、第１及び第２の軌跡データは、時間的に前後に隣り合うデータ集合であり、例えば第１の軌跡データはｉ番目の時間帯のデータ集合であり、第２の軌跡データはｉ＋１番目の時間帯のデータ集合である。ｉ番目の時間帯の時間の長さはｍであり、ｉ＋１番目の時間帯の時間の長さはｎであり、いくつかの実施例において、ｍとｎは等しくてもよく、例えば、すべて３秒の時間の長さを含み、他のいくつかの実施例において、ｍとｎは、等しくなくてもよく、例えば、ｉ番目の時間帯の時間の長さは３秒であり、ｉ＋１番目の時間帯の時間の長さは２秒数である。ｉ番目の時間帯で頻度ｕによって複数の時点が得られ、ｉ＋１番目の時間帯で頻度ｖによって複数の時点が得られるが、ｕとｖは、等しくてもよいし、等しくなくてもよい。

履歴の地図データは、第１の軌跡データに対応する時間帯で（例えば、ｉ番目の時間帯）の運動主体が位置する環境における道路要素の複数の地図点の空間位置を含む。履歴の地図データは、車両の走行過程中の高精度地図からのものであってもよい。道路要素は、車線、歩道、路肩、ランプウェイ、交差点、ロータリー等の要素であってもよい。本発明は、車線等の道路要素に対して所定距離ごとにサンプリングを行い、一連の地図点を得て、各地図点には該点の空間位置が記録されている。上記の軌跡点の空間位置に対応して、地図点の空間位置は、二次元位置、三次元位置又は高次元位置であってもよい。

図１は、本発明の実施例に係る軌跡予測ニューラルネットワークのトレーニング方法の処理手順を示しており、該トレーニング処理は複数回の反復トレーニングを含み、１回の反復トレーニングは、
履歴の第１の軌跡データと履歴の地図データを入力としてニューラルネットワークに提供するステップ１０２と、
ニューラルネットワークは、第１の軌跡データ及び履歴の地図データを高次元空間における第１の軌跡点集合と履歴の地図点集合として表現するステップ１０４と、
第１の軌跡点集合、履歴の地図点集合に基づいて現在の環境の地図特徴と軌跡特徴を有するグローバルシーン特徴を抽出して得るステップ１０６と、
グローバルシーン特徴に基づいて運動主体の複数の軌跡点集合と、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む各軌跡点集合に対応する確率とを予測して出力するステップ１０８と、
出力された各軌跡点集合について、該出力された軌跡点集合及び第２の軌跡データを損失関数の入力とし、１つの対応する損失関数の出力を得るステップ１１０と、
すべての損失関数の出力が予め設定された収束の条件を満たすか否かを判断し、収束の条件を満たすと判断した場合、処理がステップ１１６に進み、収束の条件を満たさない場合、処理がステップ１１４に戻るステップ１１２と、
ニューラルネットワークのパラメータを調整し、処理がステップ１０２に戻るステップ１１４と、
トレーニングの完了を決定し、トレーニングを完了したニューラルネットワークのパラメータ集合を取得するステップ１１６と、
の処理を含む。

以下、例示的な実施例によって、図１に示す処理手順について説明する。

運動主体と運動物体の数をＮと仮定すると、第１の軌跡データにはＴ個の時点が含まれ、

は、運動主体又は運動物体ｎの時点ｔにおける二次元位置を示し、

、

が二次元空間の表示である。運動主体又は１つの運動物体ｎの軌跡データは、

として表すことができ、そのうち、

は、該物体の過去の時点１から観察時点Ｔまでの履歴の位置を示し、

は、該物体の将来の時点Ｔ＋１から時点Ｔ＋ｓまでの将来位置を示す。

は、第１の軌跡点集合と見なすことができ、

は、第２の軌跡点集合と見なすことができる。

履歴の地図点集合には

段の車線が含まれると仮定し、第１の軌跡データに対応する時間帯は時点１から観察時点Ｔまでであり、この期間における

段目の車線の地図データは

であり、

は、

段目の車線に含まれる

個のサンプル地図点の地図位置を示し、

は、

段目の車線におけるサンプル地図点

の地図位置を示す。

軌跡予測の目的は、

及び地図データ

によって、

と最適なマッチングを形成することができるマルチモーダル分布の予測軌跡点集合を予測して得ることである。

該例示的な実施例において、図２ａに示すように、ニューラルネットワークの構造は、実現する機能によってエンコーダ１とデコーダ２を含んでもよい。該例示的な実施例において、ニューラルネットワークに対するトレーニング処理は、
履歴の第１の軌跡データと履歴の地図データを入力としてエンコーダ１に提供するステップ１０２ａと、
エンコーダ１は、第１の軌跡データ及び履歴の地図データを高次元空間における第１の軌跡点集合と履歴の地図点集合として表現するステップ１０４ａと、
エンコーダ１は、第１の軌跡点集合と履歴の地図点集合に基づいて運動主体が位置する環境の地図特徴と軌跡特徴を有するグローバルシーン特徴を抽出して得るステップ１０６ａと、
デコーダ２は、グローバルシーン特徴に基づいて運動主体の複数の軌跡点集合と、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む各軌跡点集合に対応する確率とを予測して出力するステップ１０８ａと、
出力された各軌跡点集合について、該出力された軌跡点集合及び第２の軌跡点集合を損失関数の入力とし、１つの対応する損失関数の出力を得るステップ１１０と、
すべての損失関数の出力が予め設定された収束の条件を満たすか否かを判断し、収束の条件を満たすと判断した場合、処理がステップ１１６に進み、収束の条件を満たさない場合、処理がステップ１１４に戻るステップ１１２と、
ニューラルネットワークのパラメータを調整し、処理がステップ１０２ａに戻るステップ１１４と、
トレーニングの完了を決定し、トレーニングを完了したニューラルネットワークのパラメータ集合を取得するステップ１１６と、
の図２ｂに示す手順を含む。

以下、いくつかの実施例におけるニューラルネットワークの構造設定によって、上記のステップ１０４ａ～１０８ａの処理手順について説明する。

いくつかの実施例において、図３に示すように、エンコーダ１に入力表示層１１を設置することによって、ステップ１０４ａを実施することができる。図４に示すように、ステップ１０４ａは、
入力表示層１１は、所定の無順序の軌跡データのフォーマットで第１の軌跡データを表現し、無順序な第１の軌跡点集合を得るステップ１０４１ａと、
所定の無順序の地図データのフォーマットで履歴の地図データを表現し、無順序な履歴の地図点集合を得るステップ１０４２ａと、
の処理手順として実施されることができる。

ステップ１０４１ａにおいて、予め設定された軌跡データのフォーマットは、具体的なユースシーンのニーズに応じて、具体的に設定されてもよい。一例では、簡潔と拡張性から考えると、下記の式（１）に示す軌跡データのフォーマットで第１の軌跡データを表すことができる。

ここで、

は運動主体及び１つ又は複数の運動物体であり、

は複数の時点であり、

は物体ｎの時間ｔにおける二次元位置（即ち、１つの軌跡点）である。

は、物体ｎの時間ｔにおける空間位置

が高次元空間にマッピングされた１つの対応点であり、Ｐは高次元空間にマッピングされた第１の軌跡点集合である。

ステップ１０４２ａにおいて、下記の式（２）に示す地図データのフォーマットで履歴の地図点集合を表す。

ここで、

は、

段目の車線におけるサンプル地図点

の地図位置であり、

段目の車線に

個のサンプル地図点が含まれ、該履歴の地図点集合に

段の車線が含まれる。

は、１つのサンプル地図点

が高次元空間にマッピングされた１つの対応点であり、Ｍは、高次元空間にマッピングされた履歴の地図点集合である。

例示的なシーンにおいて、入力表示層１１は、式（１）で第１の軌跡データにおけるデータを高次元空間（例えば、時空間座標系）にマッピングする。該シーンにおいて、図５ａに示すように、動的物体には、２台の車、１台の自転車及び１人の歩行者が含まれる。図５ｂは、伝統的な表示方法で該シーンにおける動的物体の軌跡を表現する場合を示しており、即ち、二次元空間座標系において物体の二次元位置を表現する。該二次元空間座標系において、各データ点は空間特徴のみを有する。図５ｃは、本発明の実施例に係るデータ表現方法で該シーンにおける第１の軌跡点集合を、時空間座標系に表現する場合を示している。該座標系において、ｘ軸とｙ軸は二次元空間の座標軸を示しており、ｚ軸は時間軸であり、該座標系における各データ点は同時に時間特徴と空間特徴を有する。

所定の無順序で拡張可能なデータのフォーマットで第１の軌跡データを表現することによって、運動主体と運動物体の時系列順に発生する位置データを、時空間座標系にマッピングすることができ、即ち、順序あるデータを離散で無順序な点集合にマッピングすることができる。時空間座標系に表現された高次元第１の軌跡点集合は、第１の軌跡データの表現方式又は表現順序の変更に伴って変更されず、１つの物体に欠損データがあることによって、該物体のデータが表現できなくなることはない。第１の軌跡データを高次元空間にマッピングすることによって、従来の技術において、入力データにノイズがある際に余分な処理が必要となるという問題を克服し、欠損のある入力データの処理のロバスト性を向上させることができることがわかる。

さらに、所定のデータのフォーマットによって、第１の軌跡データにおけるすべてのデータを同じ高次元空間（例えば、時空間座標系）に統一して表現することができ、時間特徴と空間特徴を同じ表現に統一することで、後続の特徴抽取処理は、統一で融合された時間特徴と空間特徴を抽取することができる。

入力表示層１１は、所定の無順序なデータのフォーマットで、即ち、式（２）で履歴の地図データを表現することによって、道路要素を高次元空間（例えば時空間座標系）における離散で無順序な点集合として表現することができる。時空間座標系に表現された地図点集合は、道路データの表現方式又は表現順序の変更に伴って変更されず、道路要素にデータが欠損することによって、道路要素が表現できなくなることはない。

一方、運動主体と運動物体の軌跡データ、及び道路要素の地図データを高次元空間における離散で無順序な高次元データの点集合として表現することによって、従来の技術において、ラスタライズ画像で高精度地図の情報及び異なる車両の走行軌跡を示し、ラスタライズ画像における画素ＲＧＢ値をニューラルネットワークに入力して特徴を抽出するよりも、ニューラルネットワークの処理のデータ量を著しく減らし、ニューラルネットワークの処理速度と処理効率を向上させることができる。

いくつかの実施例において、図３に示すように、エンコーダ１に埋め込み層１２、関係学習層１３、グローバル特徴抽出層１４及び特徴出力層１５を設置することによって、ステップ１０６ａを実施することができる。図６に示すように、ステップ１０６ａは、以下の処理手順で実施されることができる。

ステップ１０６１ａにおいて、埋め込み層１２は、第１の軌跡点集合を所定の高次元空間に埋め込んで高次元軌跡点特徴を得て、履歴の地図点集合を所定の高次元空間に埋め込んで高次元地図点特徴を得る。

埋め込み操作の目的は、高次元空間の高次元軌跡点

を、データの時間特徴と空間特徴を統一することが可能な隠れた軌跡特徴

にマッピングすることである。いくつかの実施例において、埋め込み層１２は多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ、ＭＬＰ）によって実現されることができる。ＭＬＰは、フルメッシュ型ネットワークを含んでもよく、ネットワークにおけるニューロンの活性化関数はＲｅＬＵ活性化関数であってもよい。さらに、埋め込み層の各層の後には、１つのバッチ正規化層（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）が設置されてもよい。

説明の便宜上、下記の式（３）で第１の軌跡点集合を高次元空間に埋め込み（又はマッピング）操作を表すことができる。ここで、

は多層パーセプトロンである。

同様に、履歴の地図点集合に対する埋め込みの原理は似ていて、下記の式（４）で高次元地図点

を地図特徴

にマッピングすることができる。ここで、

は多層パーセプトロンである。

埋め込み操作は、高次元第１の軌跡点集合と高次元履歴の地図点集合を複数の次元からなる高次元空間に埋め込むが、各次元におけるデータは、いずれも時間特徴と空間特徴を含む。

ステップ１０６２ａにおいて、関係学習層１３は、第１の軌跡点集合、履歴の地図点集合、高次元軌跡点特徴、及び高次元地図点特徴に基づいて、ローカル地図情報を有する高次元軌跡点特徴であるローカルシーン特徴を取得して得る。

一例では、図７ａに示すように、ステップ１０６２ａは、以下の処理手順で実施されることができる。

ステップ６２１において、関係学習層１３は、第１の軌跡点集合と履歴の地図点集合に基づいて、各高次元軌跡点と、該高次元軌跡点の周りにおける所定の複数の高次元地図点との間の複数の地図空間関係を決定して得る。

一例では、関係学習層１３に、計算処理を行うネットワークを設置することによってステップ６２１を実施することができ、図７ｂに示すように、ステップ６２１の実施過程は、以下を含む。

ステップＳ１において、１つの高次元軌跡点とのユークリッド距離が予め設定された距離閾値内にある所定数の複数の高次元地図点を決定して得る。

一例では、図８に示すように、（ａ）部分は、第１の軌跡データにおける軌跡点、及び履歴の地図データにおける地図点を示し、入力表示層１１によって第１の軌跡データと履歴の地図データが表示されると、（ｂ）部分に示す高次元軌跡点と高次元地図点が得られ、（ｃ）部分に示すように、ステップＳ１によって１つの高次元軌跡点と隣接する複数の高次元地図点を決定して得る。

図９は、直観的な表現によってこの関連を示している。１つの高次元軌跡点

の予め設定された距離内には、４つ近接した高次元地図点

、

、

及び

がある。高次元地図点から高次元軌跡点に指している矢印は、関係学習を利用してローカル地図特徴を軌跡特徴に伝播し、相対的な空間関係を得る過程、即ち下記のステップＳ２を示す。

ステップＳ２において、該高次元軌跡点と、該複数の高次元地図点のうちの各高次元地図点との間の相対的な空間関係をそれぞれ決定し、１つの相対的な空間関係は、該高次元軌跡点及び１つの高次元地図点の絶対位置及び相対位置と、該軌跡点と該地図点との間の相対距離及び相対方向とを含む。

ここで、

は高次元軌跡点の絶対位置であり、

は高次元地図点の絶対位置であり、

は高次元軌跡点と高次元地図点との間の相対位置であり、ｄｉｓｔ

は高次元軌跡点と高次元地図点との間の相対距離であり、
ｃｏｓ

は高次元軌跡点と高次元地図点との間の相対方向であり、

は運動主体又は運動物体ｎの時点ｔにおける速度である。
１つの高次元軌跡点と１つの高次元地図点との間の相対的な空間関係

は、下記の式（５）として表すことができる。

ステップ６２３において、１つの高次元軌跡点に対応する各相対的な空間関係を高次元空間にそれぞれ埋め込んで高次元地図空間関係を得て、各高次元地図空間関係と、対応する高次元地図点特徴とのドット積を行って１つの加重地図特徴を得て、該高次元軌跡点の複数の加重地図特徴に対して最大化処理を行って最大加重地図特徴を選択して得る。

ここで、１つの高次元軌跡点に対応する複数の相対的な空間関係をいずれも高次元空間に埋め込むという操作は、上記の式（３）又は（４）の埋め込み操作を参照することができ、関係学習層１３に埋め込み層（例えば、多層パーセプトロンＭＬＰ）を設置することによって該埋め込み操作を実行することができる。埋め込み操作の後に複数の高次元地図空間関係を得ることができ、複数の高次元地図空間関係を該高次元軌跡点とそれぞれドット積を行ってから、複数のドット積の結果、つまり、複数の加重地図特徴を得るが、関係学習層１３にドット積の計算を実現するネットワーク層を設置することによってドット積操作を実行することができる。これらの複数のドット積の結果に対して最大化処理を行ってから、最大加重地図特徴を得ることができるが、関係学習層１３にプーリング層（例えば、最大プーリング層又は平均プーリング層）を設置することによって最大化処理を実現することができる。

ステップ６２５において、最大加重地図特徴と、該高次元軌跡点に対応する高次元軌跡点特徴とを加算して１つのローカルシーン特徴を得る。

式（６）でステップ６２３及び６２５の処理手順を表すことができる。

ここで、

はローカルシーン特徴であり、符号

は最大化処理を表し、

は相対的な空間関係に対して埋め込み処理を行うことであり、

は高次元地図点特徴であり、ｋは、１つの軌跡点とのユークリッド距離が予め設定された距離の閾値内にある地図点の所定数である。

図７ａに示す処理によって、１つの高次元軌跡点の周りにおける複数の高次元地図点の地図情報を該高次元軌跡点に伝播し、即ち、１つの高次元軌跡点の周りにおけるローカル地図情報を該高次元軌跡点に伝播し、ローカルの地図情報及び軌跡点の時空間情報を有するローカルシーン特徴を得ることができる。ローカルシーン特徴は、後から精確さがより高い予測軌跡点集合を得るためのデータの基礎を提供する。

ステップ１０６３ａにおいて、グローバル特徴抽出層１４は、ローカルシーン特徴及び高次元地図点特徴に対してそれぞれグローバル特徴抽出操作を実行して、グローバル軌跡特徴及びグローバル地図特徴を抽出して得る。

１つの実施例において、図１０に示すように、ステップ１０６３ａは、
ローカルシーン特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル軌跡特徴とするステップ６３１と、
高次元地図点特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル地図特徴とするステップ６３３と
の処理手順で実施されることができる。

ローカルシーン特徴と高次元地図点特徴を得た後、データの異なる配列に対して不変性を保持する必要がある。特徴抽出層は、高次元空間に含まれる各次元におけるデータに対して特徴を抽出し、時間特徴と空間特徴を融合したグローバル地図特徴、及びローカル地図特徴を融合したグローバル軌跡特徴を含むグローバル特徴を得る。グローバル特徴は、多次元の特徴を含むが、各次元が特徴空間の一部に対応し、つまり、時空間特徴における一部を表現する。

いくつかの実施例において、グローバル特徴抽出層１４は、順番にグローバル軌跡特徴とグローバル地図特徴を抽出するために使用される１つのプーリング層を含んでよく、グローバル軌跡特徴とグローバル地図特徴をそれぞれ抽出するために使用される２つの並列するプーリング層を含んでもよい。

ステップ１０６４ａにおいて、特徴出力層１５は、グローバル軌跡特徴とグローバル地図特徴に基づいてグローバルシーン特徴を決定して得る。

ここで、特徴出力層１５は、グローバル軌跡特徴をグローバル地図特徴に加算してグローバルシーン特徴を得る。該グローバルシーン特徴にはグローバル地図特徴とグローバル軌跡特徴が含まれ、後から精確さがより高い予測軌跡点集合を得るためのデータの基礎を提供する。

デコーダ１はグローバルシーン特徴を決定した後、デコーダ２はグローバルシーン特徴に基づいて予測処理を行うことができる。

いくつかの実施例において、図３に示すように、デコーダ２にマルチヘッド型デコーダ２１と確率決定層２２を設置することができる。

マルチヘッド型デコーダ２１は、複数のサブデコーダを含んでもよく、サブデコーダは、循環ニューラルネットワーク又は多層パーセプトロンであってもよい。循環ニューラルネットワークは、長短期記憶ネットワーク（Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ、ＬＳＴＭ）又はゲート付き回帰型ユニット（ＧＲＵ：Ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）を含む。他のいくつかの実施例において、確率論的デコーダ（Ｓｔｏｃｈａｓｔｉｃ Ｄｅｃｏｄｅｒ）を選択してもよい。

特定する初期パラメータ集合を有する各サブデコーダは、グローバルシーン特徴に基づいて１つの予測軌跡点集合を予測して得ると、マルチヘッド型デコーダ２１は複数の予測軌跡点集合を出力する。

確率決定層２２は各予測軌跡点集合に対して１つの対応する確率を決定して得る。確率決定層２２は１つのソータであってもよい。

上記のステップ１１０において、出力された各軌跡点集合について、該出力された軌跡点集合及び第２の軌跡点集合を損失関数の入力とし、１つの対応する損失関数の出力を得る。

損失関数は、ガウス分布の負の対数尤度（Ｎｅｇａｔｉｖｅ Ｌｏｇ ｌｉｋｅｌｉｈｏｏｄ、ＮＬＬ）関数であってもよい。

上記のトレーニングによってニューラルネットワークのパラメータ集合を得ることができ、該トレーニングによって得られたパラメータ集合を有し、かつ特定の構造を有するニューラルネットワークは、軌跡予測ニューラルネットワークである。該軌跡予測ニューラルネットワークによって、リアルタイム処理段階において、入力された現在の軌跡点集合及び現在の地図点集合に対して処理を行い、将来の時間帯の複数の予測軌跡点集合及び各予測軌跡点集合に対応する確率を予測して得ることができる。

上記のトレーニング過程によって、履歴の第１の軌跡データを高次元空間における第１の軌跡点集合にマッピングし、履歴の地図データを高次元空間における履歴の地図点集合にマッピングし、順序ある軌跡データを無順序なデータ点に変換することで、データのノイズによる後続の影響を克服し、データの処理のロバスト性を向上させることができる。エンドツーエンドの学習方式によって軌跡データと地図データに対する特徴抽出を実現することで、特徴抽出操作の速度と効率を著しく向上させ、ユースシーンのリアルタイム性へのニーズをよりよく満たすことができる。抽出されたグローバルシーン特徴はグローバル軌跡特徴とグローバル地図特徴を有し、グローバル軌跡特徴はローカル地図特徴と軌跡特徴を融合し、軌跡特徴は時間特徴と空間特徴とを同時に有する。グローバルシーン特徴に基づいて予測して得た予測軌跡点集合は、軌跡予測の結果の精度と精確性を著しく高めることができる。

リアルタイム処理段階における軌跡予測
図１に示す処理と対応し、図１１は、リアルタイム処理段階において、軌跡予測ニューラルネットワークによって物体の運動軌跡を予測する処理手順を示している。

ステップ１１０２において、運動主体が現在の環境において運動を実行する過程において、軌跡予測ニューラルネットワークは、入力された現在の軌跡データと現在の環境の現在の地図データとを取得し、現在の軌跡データは、運動主体と、現在の環境における他の１つ又は複数の運動物体との過去の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、現在の地図データは該所定時間帯での現在の環境における道路要素の複数の地図点の空間位置を含む。

ステップ１１０４において、現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現し、現在の軌跡点集合は、現在の軌跡データの各軌跡点に対応する高次元軌跡点を含み、現在の地図点集合は、現在の地図データの各地図点に対応する高次元地図点を含む。

ステップ１１０６において、現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得て、グローバルシーン特徴は、現在の環境の地図特徴及び軌跡特徴を有する。

ステップ１１０８において、グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力し、各予測軌跡点集合は、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む。

以下、例示的な実施例によって、図１１に示す処理について説明し、該例では、ニューラルネットワークは図３に示すニューラルネットワークであってもよい。該ニューラルネットワークにはエンコーダ１とデコーダ２が含まれる。エンコーダ１には入力表示層１１、埋め込み層１２、関係学習層１３、グローバル特徴抽出層１４及び特徴出力層１５が含まれる。デコーダ２にはマルチヘッド型デコーダ２１と確率決定層２２が含まれる。

上記のステップ１１０２において、軌跡予測ニューラルネットワークに入力される現在の軌跡データは、上流のモジュール、例えば感知モジュールからのものであってもよい。感知モジュールは、感知データの中から現在の軌跡データを選択して、現在の軌跡データを軌跡予測ニューラルネットワークのエンコーダ１に提供する。軌跡予測ニューラルネットワークに入力される現在の地図データは、上流の地図モジュールからの高精度地図データであってもよい。

現在の軌跡データは、上記の第１の軌跡データと同じ設定を有してもよく、現在の地図データは、上記の現在の地図データと同じ設定を有してもよい。

上記のステップ１１０４において、図３に示す入力表示層１１によってステップ１１０４を実行することができる。

該例では、入力表示層１１は、所定の無順序の軌跡データのフォーマットで現在の軌跡データを表現し、高次元空間にマッピングされた無順序の現在の軌跡点集合を得て、軌跡データのフォーマットは上記の式（１）に示すフォーマットであってもよく、現在の軌跡点集合は現在の軌跡データの各軌跡点に対応する高次元軌跡点を含む。所定の無順序の地図データのフォーマットで現在の地図データを表現し、高次元空間にマッピングされた無順序の現在の地図点集合を得て、地図データのフォーマットは上記の式（２）に示すフォーマットであってもよく、現在の地図点集合は現在の地図データの各地図点に対応する高次元地図点を含む。

ステップ１１０４の具体的な処理手順は、上記のステップ１０４ａの式（１）及び（２）と図４の処理を参照してもよい。

該例では、上記のステップ１１０６が、図３に示す埋め込み層１２、関係学習層１３、グローバル特徴抽出層１４及び特徴出力層１５、及び図６に示す処理を参照することによって実行されることができる。図１２に示すように、ステップ１１０６は、以下を含んでもよい。

ステップ１０６１’において、埋め込み層１２は、現在の軌跡点集合を所定の高次元空間に埋め込んで高次元軌跡点特徴を得て、現在の地図点集合を所定の高次元空間に埋め込んで高次元地図点特徴を得る。埋め込み層１２の具体的な操作は上記の式（３）及び（４）を使用し、上記のステップ１０６１ａの処理を参照して実現できる。

ステップ１０６２’において、関係学習層１３は、現在の軌跡点集合、現在の地図点集合、高次元軌跡点特徴及び高次元地図点特徴に基づいて、ローカル地図情報を有する高次元軌跡点特徴であるローカルシーン特徴を取得する。関係学習層１３の具体的な操作は上記のステップ１０６２ａの処理を参照して実現できる。

ステップ１０６３’において、グローバル特徴抽出層１４は、ローカルシーン特徴及び高次元地図点特徴に対してそれぞれグローバル特徴抽出操作を実行して、グローバル軌跡特徴及びグローバル地図特徴を抽出して得る。グローバル特徴抽出層１４の具体的な操作は上記のステップ１０６３ａを参照して実現できる。

ステップ１０６４’において、特徴出力層１５は、グローバル軌跡特徴とグローバル地図特徴に基づいてグローバルシーン特徴を決定して得る。特徴出力層１５の具体的な操作は上記のステップ１０６４ａを参照して実現できる。

例示的に、図７ａと上記のステップ１０６２ａを参照し、図１３に示すように、ステップ１０６２’において、関係学習層１３の処理は、以下を含んでもよい。

ステップ６２１’において、現在の軌跡点集合及び現在の地図点集合に基づいて、各高次元軌跡点と該高次元軌跡点の周りの所定の複数の高次元地図点との間の複数の相対的な空間関係を決定して得る。該処理は、図７ｂ及び上記のステップ６２１の処理を参照してもよく、１つの高次元軌跡点とのユークリッド距離が予め設定された距離閾値内にある所定数の複数の高次元地図点を決定して得ることと、該高次元軌跡点と、該複数の高次元地図点のうちの各高次元地図点との間の相対的な空間関係をそれぞれ決定することと、を含み、１つの相対的な空間関係は、該高次元軌跡点及び１つの高次元地図点の絶対位置及び相対位置と、該軌跡点と該地図点との間の相対距離及び相対方向とを含む。相対的な空間関係の表現は上記の式（５）を参照することができる。

ステップ６２３’において、１つの高次元軌跡点に対応する各地図空間関係を高次元空間にそれぞれ埋め込んで高次元地図空間関係を得て、各高次元地図空間関係と、対応する高次元地図点特徴とのドット積を行って１つの加重地図特徴を得て、該高次元軌跡点の複数の加重地図特徴に対して最大化処理を行って最大加重地図特徴を選択して得る。

ステップ６２５’において、最大加重地図特徴と、該高次元軌跡点に対応する高次元軌跡点特徴とを加算して１つのローカルシーン特徴を得る。

ステップ６２３’及び６２５’の操作は上記のステップ６２３及び６２５を参照して実現できる。

１つの高次元軌跡点に対応するローカルシーン特徴は上記の式（６）で表現することができる。現在の軌跡点集合における複数の高次元軌跡点から、対応する複数のローカルシーン特徴を得ることができる。

例示的に、図１０及び上記のステップ１０６３ａを参照し、図１４に示すように、ステップ１０６３’において、グローバル特徴抽出層１４の処理は、
ローカルシーン特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル軌跡特徴とするステップ６３１’と、
高次元地図点特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル地図特徴とするステップ６３３’とを含む。

例示的に、上記のステップ１０６４ａを参照し、特徴出力層１５の処理は、グローバル軌跡特徴をグローバル地図特徴に加算してグローバルシーン特徴を得ることを含むことができる。

上記の処理によって、現在の軌跡データを高次元空間における現在の軌跡点集合にマッピングし、現在の地図データを高次元空間における現在の地図点集合にマッピングし、順序ある軌跡データを無順序なデータ点に変換することで、データのノイズによる後続の影響を克服し、データの処理のロバスト性を向上させることができる。エンドツーエンドの処理方式によって軌跡データと地図データに対する特徴抽出を実現することで、特徴抽出操作の速度と効率を著しく向上させ、ユースシーンのリアルタイム性へのニーズをよりよく満たすことができる。抽出されたグローバルシーン特徴はグローバル軌跡特徴とグローバル地図特徴を有し、グローバル軌跡特徴はローカル地図特徴と軌跡特徴を融合し、軌跡特徴は時間特徴と空間特徴とを同時に有する。グローバルシーン特徴は、軌跡予測に精確で有効なデータの基礎を提供することができる。

該例では、ステップ１１０８の処理において、デコーダ２１におけるマルチヘッド型デコーダ２１が複数の予測軌跡点集合を出力して、確率決定層２２が各予測軌跡点集合に対して１つの対応する確率を決定する。

デコーダ２は、より精確で有効なグローバルシーン特徴に基づいて、精度と精確率がより高い軌跡点集合を予測することができる。

他のいくつかの実施例において、上記のいずれかの実施例に基づいて、第１の軌跡データ、第２の軌跡データ、現在の軌跡データにおけるデータ項目に対して、区分けと拡張を行って、データを軌跡データと属性データに区分けしてもよい。これに対応し、入力表示層１１が使用する軌跡データのフォーマットに対して、対応して拡張する。

一例では、軌跡データには、物体の１つの所定時間帯での複数の時点の空間位置と速度とが含まれてもよい。このような場合、所定データのフォーマットの拡張性に基づいて、式（７）で軌跡データのフォーマットを定義することができる。

ここで、

は物体の時間ｔにおける速度である。

実験及びテストの結果によって、軌跡データに速度データを追加することで、軌跡予測の結果の精度をさらに高められることが判明した。

他の例示的な実施例において、軌跡点集合には、軌跡データと属性データが含まれてもよい。属性データは、例えば歩行者、自転車又は車両である物体種別データを含んでもよい。具体的なユースシーンにおいて、物体種別データは、他の属性、例えばバン、レッカー車、セミトレーラー等の状況を含んでいる車両の属性であってもよく、また、車両のライトの属性項目、例えば車両のライトが点灯されているか否かを識別する車両のヘッドライトの属性データ又は車両のテールライトの属性データを追加してもよい。このような場合に、式（８）で軌跡データのフォーマットを定義することができる。

ここで、

は物体種別を表し、該種別の値は、例えば車両が１、歩行者が２、自転車が３であると予め設定されてもよい。式（８）では、１つの項目の属性データを例示的に拡張しているが、具体的なユースシーンのニーズに応じて、複数の項目の属性データを拡張してもよい。

属性データには、例えば運動主体又は周りにおける運動物体である物体の識別データが含まれてもよい。このような場合に、式（９）で軌跡データのフォーマットを定義することができる。

ここで、ｉｄは物体が運動主体又は周りにおける運動物体であることを識別し、例えば該データの値が１であると、物体ｎが運動主体であることを示し、値が０であると、物体ｎが周りにおける運動物体であることを示す。

所定の拡張可能なデータのフォーマットは、ユースシーンのニーズに応じて、複数のデータを含むことが可能であるため、データのフォーマットの長さが可変である。従来の技術では、入力データに対してデータ項目を増減させる必要があれば、開発者がデータに手動での編集と微調整を行う必要があり、仕事量が大きい。本発明の実施例は、可変長のデータのフォーマットを提供し、データのフォーマットにデータ項目を増減させるだけで、データに後続の処理を行うことができ、手動での編集による余計な仕事を避けることができる。

さらに、軌跡データに属性データを追加することにで、軌跡予測ネットワークが物体の属性について学習及び理解するようトレーニングすることができ、軌跡予測の精度と精確性を高めることができる。

他のいくつかの実施例において、上記のいずれかの実施例に基づいて、履歴の地図データ及び現在の地図データにおけるデータ項目に対して、区分けと拡張を行うこともできる。これに対応し、入力表示層１１の使用する地図データのフォーマットに対して、対応して拡張する。

一例では、地図データには各地図点とその点が位置する同じ道路要素における他の隣の地図点との位置の差が含まれてもよい。このような場合に、所定のデータのフォーマットの拡張性に基づいて、式（１０）で地図データのフォーマットを定義することができる。

は、地図点

と隣の１つ前の地図点

との位置の差、例えば二次元座標における位置の差又は三次元座標における位置の差である。

隣の２つの地図点間の位置の差を設定することで、軌跡予測ニューラルネットワークの後続の処理において道路要素の複数の地図点間の方向性及び接続性を取得することができる。

該例では、埋め込み層１２の処理が高次元地図点特徴を得てから、即ち、上記のステップ１０６１ａと上記のステップ１０６１’の後に、高次元地図点特徴に対して方向性と接続性の強化処理を行うことができる。これに対応し、図１５に示すように、図３に示すニューラルネットワークに基づいて、埋め込み層１２の後に強化層１２’を設置することができる。強化層１２’は、自己注意ニューラルネットワークであってもよい。

他の例では、地図データには各地図点の属性データをさらに含んでもよく、
属性データは、該地図点が属する道路要素の種別、属する道路要素が該所定時間帯で含んだ複数の地図点における該地図点のシーケンス番号を含む

他のいくつかの実施例において、上記のいずれかの実施例に基づいて、より精確で有効なグローバル軌跡特徴とグローバル地図特徴を抽出するために、複数回のグローバル特徴抽出操作を行うこと、即ち、上記のステップ１０６３ａ及びステップ１０６３’において複数回のグローバル特徴抽出操作を実行することができる。これに対応し、図１６ａ又は図１６ｂに示すように、図３又は図１５に示すニューラルネットワークに基づいて、グローバル特徴抽出層１４に複数の積み重ねられたサブグローバル特徴抽出層１４１を設置する。

グローバル特徴抽出層１４は、複数回のグローバル特徴抽出操作を実行し、各グローバル特徴抽出操作は、
隣の１つ前のサブグローバル特徴抽出層１４１は、ローカルシーン特徴から抽出したグローバル軌跡特徴を高次元軌跡点特徴に連結してから、連結された高次元軌跡点特徴を隣の次のサブグローバル特徴抽出層１４１に出力することと、
隣の１つ前のサブグローバル特徴抽出層１４１は、高次元地図点特徴から抽出したグローバル地図特徴を高次元地図点特徴に連結してから、連結された高次元地図点特徴を隣の次のサブグローバル特徴抽出層１４１に出力することと、を含む。

図１７は、１回のグローバル特徴抽出操作の模式図を示しており、ポイントレベルの特徴（即ち、ローカルシーン特徴又は高次元地図点特徴）に対してグローバル特徴抽出を行い、集約した特徴（つまり、１回の抽出で得たグローバル軌跡特徴又はグローバル地図特徴）を得て、該グローバル特徴を抽出して該グローバル特徴抽出操作に入力されたポイントレベルの特徴の後に連結して、連結されたローカルシーン特徴と連結された高次元地図点特徴を得る。連結されたローカルシーン特徴と連結された高次元地図点特徴を次のサブグローバル特徴抽出層１４１に入力して、次回のグローバル特徴抽出操作を実行する。

エンコーダ１には１つのグローバル特徴抽出層１４が含まれると、該グローバル特徴抽出層１４は、運動主体が位置する環境の第１のシーケンス情報、即ち、グローバルの時空間特徴を抽出することができ、複数のグローバル特徴抽出層１４によって該環境における第２のシーケンス情報、例えば異なる物体間の互いの影響を学習して抽出することができる。積層のグローバル特徴抽出層１４によって、個体物体とグローバルの時空間環境の状態及び関係をより深く理解し、これにより積層の特徴層が複数の物体間の互いの作用及び影響を捉えることができる。

積層の特徴層によって、例えば、現在の車が減速すると後の車に影響を与えて、それに応じて、後の車も減速するという作用と影響を捉えることができる。

エンコーダ１に積層のグローバル特徴抽出層１４を設置することによって、複数の物体間の互いの作用と影響を抽出し、ニューラルネットワークの環境への学習と理解の能力を高めることができ、これにより軌跡予測の精確性と精度をさらに高めることができる。

本発明の実施例は軌跡予測装置をさらに提供し、該装置は上記の図２ａ、図３、図１５、図１６ａ又は図１６ｂに示す構造であってもよく、対応するネットワーク構造は上記の説明を参照し、上記の軌跡予測の処理を対応して完了する。

図１８は、１つのプロセッサ８１と１つのメモリ８２を例示的に含む軌跡予測装置の一例の構造を示している。リアルタイム処理手順において、プロセッサ８１は、メモリ８２に記憶された少なくとも１つの機器実行可能な命令を実行して、図１１～図１４に示す処理を実行する。トレーニング過程において、プロセッサ８１は、メモリ８２に記憶された少なくとも１つの機器実行可能な命令を実行して、図１、図２ｂ、図４、図６、図７ａ、図７ｂ、図１０に示す処理を実行する。

本発明の実施例は、図１１～図１４に示す処理に加えて、図１、図２ｂ、図４、図６、図７ａ、図７ｂ、図１０に示す処理をさらに含むことができる軌跡予測処理を実行するために使用されるように配置されるコードセグメントを有するコンピュータプログラムをさらに提供する。

本発明の実施例は、図１１～図１４に示す処理に加えて、図１、図２ｂ、図４、図６、図７ａ、図７ｂ、図１０に示す処理をさらに含むことができる軌跡予測処理のためのコンピュータプログラムを記憶している記憶媒体をさらに提供する。

本開示のいくつかの例は、以下を含む。

例１、
運動主体が現在の環境において運動を実行する過程において、軌跡予測ニューラルネットワーク、入力された現在の軌跡データと現在の環境の現在の地図データとを取得することと、
現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することと、
現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得ることと、
グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力することと、を含み、
現在の軌跡データは、運動主体と、現在の環境における他の１つ又は複数の運動物体との過去の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、現在の地図データは該所定時間帯での現在の環境における道路要素の複数の地図点の空間位置を含み、現在の軌跡点集合は、現在の軌跡データの各軌跡点に対応する高次元軌跡点を含み、現在の地図点集合は、現在の地図データの各地図点に対応する高次元地図点を含み、グローバルシーン特徴は、現在の環境の地図特徴及び軌跡特徴を有し、各予測軌跡点集合は、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む、
ことを特徴とする、軌跡予測方法。

例２、軌跡予測ニューラルネットワークは、現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することは、
所定の無順序の軌跡データのフォーマットで現在の軌跡点集合を表現し、無順序の現在の軌跡点集合を得ることと、
所定の無順序の地図データのフォーマットで現在の地図点集合を表現し、無順序の現在の地図点集合を得ることと、を含む、
ことを特徴とする、例１に記載の方法。

例３、軌跡予測ニューラルネットワークは、現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得ることは、
現在の軌跡点集合を所定の高次元空間に埋め込んで高次元軌跡点特徴を得て、現在の地図点集合を所定の高次元空間に埋め込んで高次元地図点特徴を得ることと、
現在の軌跡点集合、現在の地図点集合、高次元軌跡点特徴及び高次元地図点特徴に基づいて、ローカル地図情報を有する高次元軌跡点特徴であるローカルシーン特徴を取得して得ることと、
ローカルシーン特徴及び高次元地図点特徴に対してそれぞれグローバル特徴抽出操作を実行して、グローバル軌跡特徴及びグローバル地図特徴を抽出して得ることと、
グローバル軌跡特徴及びグローバル地図特徴に基づいてグローバルシーン特徴を決定して得ることと、を含む、
ことを特徴とする、例１に記載の方法。

例４、軌跡予測ニューラルネットワークは、高次元軌跡点特徴と高次元地図点特徴に対して方向性と接続性の強化処理をさらに行う、
ことを特徴とする、例３に記載の方法。

例５、現在の軌跡点集合、現在の地図点集合、高次元軌跡点特徴及び高次元地図点特徴に基づいてローカルシーン特徴を取得して得ることは、
現在の軌跡点集合及び現在の地図点集合に基づいて、各高次元軌跡点と該高次元軌跡点の周りの所定の複数の高次元地図点との間の複数の相対的な空間関係を決定して得ることと、
１つの高次元軌跡点に対応する各地図空間関係を高次元空間にそれぞれ埋め込んで高次元地図空間関係を得て、各高次元地図空間関係と、対応する高次元地図点特徴とのドット積を行って１つの加重地図特徴を得て、該高次元軌跡点の複数の加重地図特徴に対して最大化処理を行って最大加重地図特徴を選択して得ることと、
最大加重地図特徴と、該高次元軌跡点に対応する高次元軌跡点特徴とを加算して１つのローカルシーン特徴を得ることと、を含む、
ことを特徴とする、例３に記載の方法。

例６、現在の軌跡点集合及び現在の地図点集合に基づいて、各高次元軌跡点と該高次元軌跡点の周りの所定の複数の高次元地図点との間の複数の相対的な空間関係を決定して得ることは、
１つの高次元軌跡点とのユークリッド距離が予め設定された距離閾値内にある所定数の複数の高次元地図点を決定して得ることと、
該高次元軌跡点と、該複数の高次元地図点のうちの各高次元地図点との間の相対的な空間関係をそれぞれ決定することと、を含み、
１つの相対的な空間関係は、該高次元軌跡点及び１つの高次元地図点の絶対位置及び相対位置と、該軌跡点と該地図点との間の相対距離及び相対方向とを含む、
ことを特徴とする、例５に記載の方法。

例７、ローカルシーン特徴及び高次元地図点特徴に対して、グローバル軌跡特徴及びグローバル地図特徴をそれぞれ抽出することは、
ローカルシーン特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル軌跡特徴とすることと、
高次元地図点特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル地図特徴とすることと、を含む、
ことを特徴とする、例３に記載の方法。

例８、軌跡予測ニューラルネットワークは、ローカルシーン特徴及び高次元地図点特徴に対して、グローバル軌跡特徴及びグローバル地図特徴をそれぞれ抽出することは、
軌跡予測ニューラルネットワークは、
複数回のグローバル特徴抽出操作を実行することを含み、各グローバル特徴抽出操作は、
ローカルシーン特徴から抽出したグローバル軌跡特徴を高次元軌跡点特徴に連結してから、連結された高次元軌跡点特徴を次回のグローバル特徴抽出操作に出力することと、
高次元地図点特徴から抽出したグローバル地図特徴を高次元地図点特徴に連結してから、連結された高次元地図点特徴を次回のグローバル特徴抽出操作に出力することと、を含む、
ことを特徴とする、例３又は７に記載の方法。

例９、グローバル軌跡特徴及びグローバル地図特徴に基づいてグローバルシーン特徴を決定して得ることは、
グローバル軌跡特徴をグローバル地図特徴に加算してグローバルシーン特徴を得ることを含む、
ことを特徴とする、例３に記載の方法。

例１０、現在の軌跡データは、運動主体及び他の１つ又は複数の運動物体の各軌跡点における速度をさらに含む、
ことを特徴とする、例１に記載の方法。

例１１、現在の軌跡データは、運動主体及び各運動物体の物体種別データを含む、運動主体及び各運動物体の属性データをさらに含む、
ことを特徴とする、例１に記載の方法。

例１２、運動主体又は運動物体が車両である場合、属性データは、ヘッドライトの属性データとテールライトの属性データとのうちの１つ又は複数をさらに含む、
ことを特徴とする、例１１に記載の方法。

例１３、現在の地図データは、各地図点とそれが存在する同じ道路要素における他の隣り合う地図点との位置の差をさらに含む、
ことを特徴とする、例１に記載の方法。

例１４、現在の地図データは、各地図点の属性データをさらに含み、
属性データは、該地図点が属する道路要素の種別、属する道路要素が該所定時間帯で含んだ複数の地図点における該地図点のシーケンス番号を含む、
ことを特徴とする、例１３に記載の方法。

例１５、軌跡予測ニューラルネットワークは、入力された現在の軌跡データ及び現在の地図データを取得することは、
上流モジュールから、入力された現在の軌跡データ及び現在の地図データを取得することを含む、
ことを特徴とする、例１に記載の方法。

例１６、トレーニングによって軌跡予測ニューラルネットワークを得る処理は、
履歴の第１の軌跡データ、第２の軌跡データ及び履歴の地図データに基づいて、予め設定されたニューラルネットワークに対して、複数回の反復トレーニングを行うこと、を含み、
第１の軌跡データ及び第２の軌跡データは時間的に前後に隣り合うデータ集合であり、いずれも、運動主体及び周りの１つ又は複数の運動物体の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、履歴の地図データは第１の軌跡データに対応する時間帯での運動主体が存在する環境における道路要素の複数の地図点の空間位置を含み、予め設定されたニューラルネットワークは初期パラメータ集合を有し、
１回の反復トレーニングは、
第１の軌跡データと履歴の地図データを入力としてニューラルネットワークに提供することと、
ニューラルネットワークは、第１の軌跡データ及び履歴の地図データを高次元空間における第１の軌跡点集合と履歴の地図点集合として表現することと、
第１の軌跡点集合及び履歴の地図点集合に基づいて、運動主体が存在する環境の地図特徴及び軌跡特徴を有するグローバルシーン特徴を抽出して得ることと、
グローバルシーン特徴に基づいて、運動主体の複数の軌跡点集合と、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む各軌跡点集合に対応する確率とを予測して出力することと、
出力された各軌跡点集合及び対応する確率と、第２の軌跡データとを入力として１つの対応する損失関数に提供し、該損失関数の出力を得ることと、
すべての損失関数の出力が予め設定された収束の条件を満たすか否かを判断することと、
収束の条件を満たすと判断した場合、トレーニングの完了を決定し、トレーニング後のニューラルネットワークのパラメータ集合を取得することと、
収束の条件を満たさないと判断した場合、ニューラルネットワークのパラメータを調整し、次回の反復トレーニングを実行することと、を含む、
ことを特徴とする、例１に記載の方法。

例１７では、
運動主体が現在の環境において運動を実行する過程において、入力された現在の軌跡データと現在の環境の現在の地図データとを取得することと、
現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することと、
現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得ることと、のために使用されるエンコーダと、
グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力するために使用されるデコーダとを含み、
現在の軌跡データは、運動主体と、現在の環境における他の１つ又は複数の運動物体との過去の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、現在の地図データは該所定時間帯での現在の環境における道路要素の複数の地図点の空間位置を含み、グローバルシーン特徴は、現在の環境の地図特徴及び軌跡特徴を有し、各予測軌跡点集合は、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む、
ことを特徴とする、軌跡予測装置。

例１８、
エンコーダは、入力表示層を含み、
エンコーダは、現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することは、
入力表示層は、所定の無順序の軌跡データのフォーマットで現在の軌跡点集合を表現し、無順序の高次元の現在の軌跡点集合を得ることと、所定の無順序の地図データのフォーマットで現在の地図点集合を表現し、無順序の現在の地図点集合を得ることとを含む、
ことを特徴とする、例１７に記載の装置。

例１９、
現在の軌跡点集合及び現在の地図点集合に基づいて、グローバルシーン特徴を抽出して得るエンコーダは、
現在の軌跡点集合を所定の高次元空間に埋め込んで高次元軌跡点特徴を得て、現在の地図点集合を所定の高次元空間に埋め込んで高次元地図点特徴を得ることに使用される埋め込み層と、現在の軌跡点集合、現在の地図点集合、高次元軌跡点特徴及び高次元地図点特徴に基づいて、ローカル地図情報を有する高次元軌跡点特徴であるローカルシーン特徴を取得して得ることに使用される地図関係学習層と、ローカルシーン特徴及び高次元地図点特徴に対してそれぞれグローバル特徴抽出操作を実行して、グローバル軌跡特徴及びグローバル地図特徴を抽出して得ることに使用されるグローバル特徴抽出層と、グローバル軌跡特徴及びグローバル地図特徴に基づいてグローバルシーン特徴を決定して得ることに使用される特徴出力層とを含む、
ことを特徴とする、例１７に記載の装置。

例２０、エンコーダは、強化層をさらに含み、
強化層は高次元軌跡点特徴及び高次元地図点特徴に対して方向性と接続性の強化処理を行うために使用され、強化層は自己注意ニューラルネットワークを含む、
ことを特徴とする、例１９に記載の装置。

例２１、地図関係学習層は、現在の軌跡点集合、現在の地図点集合、高次元軌跡点特徴及び高次元地図点特徴に基づいてローカルシーン特徴を取得して得ることは、
現在の軌跡点集合及び現在の地図点集合に基づいて、各高次元軌跡点と該高次元軌跡点の周りの所定の複数の高次元地図点との間の複数の相対的な空間関係を決定して得ることと、
１つの高次元軌跡点に対応する各地図空間関係を高次元空間にそれぞれ埋め込んで高次元地図空間関係を得て、各高次元地図空間関係と、対応する高次元地図点特徴とのドット積を行って１つの加重地図特徴を得て、該高次元軌跡点の複数の加重地図特徴に対して最大化処理を行って最大加重地図特徴を選択して得ることと、
最大加重地図特徴と、該高次元軌跡点に対応する高次元軌跡点特徴とを加算して１つのローカルシーン特徴を得ることと、を含む、
ことを特徴とする、例１９に記載の装置。

例２２、地図関係学習層は、現在の軌跡点集合及び現在の地図点集合に基づいて、各高次元軌跡点と該軌跡点の周りの所定の複数の高次元地図点との間の複数の相対的な空間関係を決定して得ることは、
１つの高次元軌跡点とのユークリッド距離が予め設定された距離閾値内にある所定数の複数の高次元地図点を決定して得ることと、
該高次元軌跡点と、該複数の高次元地図点のうちの各高次元地図点との間の相対的な空間関係をそれぞれ決定することと、を含み、
１つの相対的な空間関係は、該高次元軌跡点及び１つの高次元地図点の絶対位置及び相対位置と、該軌跡点と該地図点との間の相対距離及び相対方向とを含む、
ことを特徴とする、例２１に記載の装置。

例２３、グローバル特徴抽出層は、ローカルシーン特徴及び高次元地図点特徴に対して、グローバル軌跡特徴及びグローバル地図特徴をそれぞれ抽出することは、
ローカルシーン特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル軌跡特徴とすることと、
高次元地図点特徴における各特徴に対して特徴を抽出し、抽出された特徴に対して最大化処理を行って、選択された最大の特徴をグローバル地図特徴とすることと、を含む、
ことを特徴とする、例１９に記載の装置。

例２４、グローバル特徴抽出層は、複数の積み重ねられたサブグローバル特徴抽出層を含み、
隣の１つ前のサブグローバル特徴抽出層は、ローカルシーン特徴から抽出したグローバル軌跡特徴を高次元軌跡点特徴に連結してから、連結された高次元軌跡点特徴を隣の次のサブグローバル特徴抽出層に出力し、
隣の１つ前のサブグローバル特徴抽出層は、高次元地図点特徴から抽出したグローバル地図特徴を高次元地図点特徴に連結してから、連結された高次元地図点特徴を隣の次のサブグローバル特徴抽出層に出力する、
ことを特徴とする、例１９又は２３に記載の装置。

例２５、特徴出力層は、グローバル軌跡特徴及びグローバル地図特徴に基づいてグローバルシーン特徴を決定して得ることは、
特徴出力層が、グローバル軌跡特徴をグローバル地図特徴に加算してグローバルシーン特徴を得ることを含む、
ことを特徴とする、例１９に記載の装置。

例２６、デコーダは、
複数の長短期記憶ネットワーク又はゲート付き回帰型ユニットを含む循環ニューラルネットワーク、又は多層パーセプトロンを含み、グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合を予測して出力するために使用されるマルチヘッド型デコーダと、
各予測軌跡点集合に対応する確率を決定して得るために使用される確率決定層と、を含む、
ことを特徴とする、例１７に記載の装置。

例２７、
１つのプロセッサと、少なくとも１つのメモリとを含み、
少なくとも１つのメモリには、少なくとも１つの機器実行可能な命令が記憶されており、
プロセッサは、少なくとも１つの機器実行可能な命令を実行して例１から１６のいずれか１項に記載の方法を実現する、
ことを特徴とする、軌跡予測装置。

例２８、例１から１６のいずれか１項に記載の方法を含む軌跡予測処理を実行するために使用されるように構成されたコードセグメントを有する
ことを特徴とする、コンピュータプログラム。

例２９、プロセッサに実行されて例１～１６のいずれか１項に記載の方法を実現する少なくとも１つの機器実行可能な命令が記憶されている、
ことを特徴とする、不揮発性記憶媒体。

当業者にとって、本発明の範囲および精神から逸脱することなく、本発明に対して様々な変更及び変形を行うことができることは、明らかである。このように、本発明に対するこれらの修正及び変形が本発明の請求項及びその均等技術の範囲に属すれば、本発明が、これらの変更及び変形を含むことも意図している。

Claims (15)

1. 現在の軌跡データ及び現在の地図データを取得することと、
   現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することと、
   現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得ることと、
   グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力することとを含み、
   現在の軌跡データは、運動主体と、現在の環境における他の１つ又は複数の運動物体との過去の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、現在の地図データは該所定時間帯での現在の環境における道路要素の複数の地図点の空間位置を含む、軌跡予測方法。
2. 現在の軌跡データ及び現在の地図データを高次元空間における現在の軌跡点集合及び現在の地図点集合として表現することは、
   所定の無順序の軌跡データのフォーマットで現在の軌跡点集合を表現し、無順序の現在の軌跡点集合を得ることと、
   所定の無順序の地図データのフォーマットで現在の地図点集合を表現し、無順序の現在の地図点集合を得ることと、
   を含む、請求項１に記載の軌跡予測方法。
3. 現在の軌跡点集合は、現在の軌跡データの各軌跡点に対応する高次元軌跡点を含み、
   現在の地図点集合は、現在の地図データの各地図点に対応する高次元地図点を含む、
   請求項１又は２に記載の軌跡予測方法。
4. 現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得ることは、
   現在の軌跡点集合を所定の高次元空間に埋め込んで高次元軌跡点特徴を得て、現在の地図点集合を所定の高次元空間に埋め込んで高次元地図点特徴を得ることと、
   現在の軌跡点集合、現在の地図点集合、高次元軌跡点特徴及び高次元地図点特徴に基づいてローカルシーン特徴を取得して得ることと、
   ローカルシーン特徴及び高次元地図点特徴に対してそれぞれグローバル特徴抽出操作を実行して、グローバル軌跡特徴及びグローバル地図特徴を抽出して得ることと、
   グローバル軌跡特徴及びグローバル地図特徴に基づいてグローバルシーン特徴を決定して得ることと、
   を含む、請求項１から３のいずれか１項に記載の軌跡予測方法。
5. 現在の軌跡点集合、現在の地図点集合、高次元軌跡点特徴及び高次元地図点特徴に基づいてローカルシーン特徴を取得して得ることは、
   現在の軌跡点集合及び現在の地図点集合に基づいて、各高次元軌跡点と該高次元軌跡点の周りの所定の複数の高次元地図点との間の複数の相対的な空間関係を決定して得ることと、
   １つの高次元軌跡点に対応する各相対的な空間関係を高次元空間にそれぞれ埋め込んで高次元地図空間関係を得て、各高次元地図空間関係と、対応する高次元地図点特徴とのドット積を行って１つの加重地図特徴を得て、該高次元軌跡点の複数の加重地図特徴に対して最大化処理を行って最大加重地図特徴を選択して得ることと、
   最大加重地図特徴と、該高次元軌跡点に対応する高次元軌跡点特徴とを加算してローカルシーン特徴を得ることと、
   を含む、請求項４に記載の軌跡予測方法。
6. 現在の軌跡点集合及び現在の地図点集合に基づいて、各高次元軌跡点と該高次元軌跡点の周りの所定の複数の高次元地図点との間の複数の相対的な空間関係を決定して得ることは、
   １つの高次元軌跡点とのユークリッド距離が予め設定された距離閾値内にある所定数の複数の高次元地図点を決定して得ることと、
   該高次元軌跡点と、該複数の高次元地図点のうちの各高次元地図点との間の相対的な空間関係をそれぞれ決定することと、を含み、
   １つの相対的な空間関係は、該高次元軌跡点及び１つの高次元地図点の絶対位置及び相対位置と、該軌跡点と該地図点との間の相対距離及び相対方向とを含む、
   請求項５に記載の軌跡予測方法。
7. ローカルシーン特徴及び高次元地図点特徴に対してそれぞれグローバル特徴抽出操作を実行して、グローバル軌跡特徴及びグローバル地図特徴を抽出して得ることは、
   複数回のグローバル特徴抽出操作を実行することを含み、各グローバル特徴抽出操作は、
   ローカルシーン特徴から抽出したグローバル軌跡特徴を高次元軌跡点特徴に連結してから、連結された高次元軌跡点特徴を次回のグローバル特徴抽出操作に出力することと、
   高次元地図点特徴から抽出したグローバル地図特徴を高次元地図点特徴に連結してから、連結された高次元地図点特徴を次回のグローバル特徴抽出操作に出力することと、を含む、
   請求項４に記載の軌跡予測方法。
8. 現在の軌跡データは、
   運動主体及び他の１つ又は複数の運動物体の各軌跡点における速度、または、
   運動主体及び各運動物体の物体種別データを含む、運動主体及び各運動物体の属性データ、
   をさらに含む、請求項１から７のいずれか１項に記載の軌跡予測方法。
9. 現在の地図データは、
   各地図点とそれが存在する同じ道路要素における他の隣り合う地図点との位置の差、または、
   各地図点の属性データをさらに含み、
   属性データは、該地図点が属する道路要素の種別、属する道路要素が該所定時間帯で含んだ複数の地図点における該地図点のシーケンス番号を含む、
   請求項１から８のいずれか１項に記載の軌跡予測方法。
10. 予測ニューラルネットワークによって実行される軌跡予測方法であって、前記軌跡予測方法は、トレーニングによって軌跡予測ニューラルネットワークを得ることをさらに含み、
    トレーニングによって軌跡予測ニューラルネットワークを得ることは、
    履歴の第１の軌跡データ、第２の軌跡データ及び履歴の地図データに基づいて、予め設定されたニューラルネットワークに対して、複数回の反復トレーニングを行うこと、を含み、
    第１の軌跡データ及び第２の軌跡データは時間的に前後に隣り合うデータ集合であり、いずれも、運動主体及び周りの１つ又は複数の運動物体の所定時間帯での複数の軌跡点を含み、各軌跡点は１つの対応する時点における空間位置を含み、履歴の地図データは第１の軌跡データに対応する時間帯での運動主体が存在する環境における道路要素の複数の地図点の空間位置を含み、予め設定されたニューラルネットワークは初期パラメータ集合を有する、
    請求項１から９のいずれか１項に記載の軌跡予測方法。
11. １回の反復トレーニングは、
    第１の軌跡データと履歴の地図データを入力としてニューラルネットワークに提供することと、
    ニューラルネットワークは、第１の軌跡データ及び履歴の地図データを高次元空間における第１の軌跡点集合と履歴の地図点集合として表現することと、
    第１の軌跡点集合及び履歴の地図点集合に基づいて、運動主体が存在する環境の地図特徴及び軌跡特徴を有するグローバルシーン特徴を抽出して得ることと、
    グローバルシーン特徴に基づいて、運動主体の複数の軌跡点集合と、いずれも運動主体の将来の所定時間帯での複数の時点の空間位置を含む各軌跡点集合に対応する確率とを予測して出力することと、
    出力された各軌跡点集合及び対応する確率と、第２の軌跡データとを入力として１つの対応する損失関数に提供し、該損失関数の出力を得ることと、
    すべての損失関数の出力が予め設定された収束の条件を満たすか否かを判断することと、
    収束の条件を満たすと判断した場合、トレーニングの完了を決定し、トレーニング後のニューラルネットワークのパラメータ集合を取得することと、
    収束の条件を満たさないと判断した場合、ニューラルネットワークのパラメータを調整し、次回の反復トレーニングを実行することと、
    を含む、請求項１０に記載の軌跡予測方法。
12. 予測ニューラルネットワークによって実行される軌跡予測方法であって、前記軌跡予測ニューラルネットワークは、
    現在の軌跡データ及び現在の地図データを取得して高次元空間における現在の軌跡点集合及び現在の地図点集合として表現し、現在の軌跡点集合及び現在の地図点集合に基づいてグローバルシーン特徴を抽出して得るために使用されるエンコーダと、
    グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合と、各予測軌跡点集合に対応する確率とを予測して出力するために使用されるデコーダと、
    を含む、請求項１から１１のいずれか１項に記載の軌跡予測方法。
13. デコーダは、
    複数の長短期記憶ネットワーク又はゲート付き回帰型ユニットを含む循環ニューラルネットワーク、又は多層パーセプトロンを含み、グローバルシーン特徴に基づいて、運動主体の複数の予測軌跡点集合を予測して出力するために使用されるマルチヘッド型デコーダと、
    各予測軌跡点集合に対応する確率を決定して得るために使用される確率決定層と、
    を含む、請求項１２に記載の軌跡予測方法。
14. 少なくとも１つのプロセッサと、少なくとも１つのメモリとを含み、
    少なくとも１つのメモリには、少なくとも１つの機器実行可能な命令が記憶されており、
    プロセッサは、少なくとも１つの機器実行可能な命令を実行して請求項１から１３のいずれか１項に記載の軌跡予測方法を実現する、
    軌跡予測装置。
15. プロセッサに実行されて請求項１から１３のいずれか１項に記載の軌跡予測方法を実現する少なくとも１つの機器実行可能な命令が記憶されている、
    不揮発性記憶媒体。

Images