JP2020135672A - 交通流の推論 - Google Patents

Abstract

【課題】独立の交通流観測の解析から特定の道路を通過する交通流を推論する技術を提供する。【解決手段】交通流を推論する方法であって、各知覚データサンプルが、車道を通過する観測されたサンプル軌道のものである複数の知覚データサンプルを取得すること、対応する観測されたサンプル軌道の各知覚データサンプルに対して、エンコードされたアクター軌道を有する車道特徴表現を生成すること及び交通流推論関数を作成して、対応する車道を通過する複数の潜在的軌道に車道特徴表現を関連付けるべく、車道特徴表現に学習プロセスを適用することを含む。【選択図】図２

Description

本発明は、交通流の推論に関する。より具体的には、本発明は、独立の交通流観測の解析から特定の道路を通過する交通流を推論することに関する。

道路車線の概念は、どのように交通が組織されているかの基礎的な部分であり、複数の交通参加者によって道路を共有することを可能にするものである。道路車線を推論してそれに沿って進むことができることは、人間の運転者と共に公共道路上で走らせることが意図される自律車両の重要な機能である。人間の運転者は、道路マーキングを観測することによって、又は車線がはっきり画定されていない場合は直感によって、例えば目に見える道路マーキングがない場合は道路の右側を維持することによって道路車線を推論することができる。

現在、自律車両は、規定の静的な高解像度（ＨＤ）マップから都市運転のための道路車線を推論する。これらのマップは、マップ内にエンコードされた道路車線と方向性を有し、一旦車がそれ自体をマップ内で位置づけすれば、道路上をどのように運転するかを理解することができる。この方法は都市環境において実績が証明されているが、ＨＤマップは幾つかの重大な欠点を有する。例えば、道路が変化するたび、またその変化が道路工事中等に伴う一時的な障害物に限定される場合であったとしても、マップをアップデートしなければならない。また、人材及び要求される高価なセンサプラットフォームの点で、マップの作成には費用がかかる。最後に、自律車両が動作する全ての道路は、交通量の低い田舎道も含めて、マッピングしなければならない。

本発明のある態様によれば、コンピュータによって実行可能なコンピュータプログラムであって、コンピュータに、複数の知覚データサンプルを取得する手順であって、各知覚データサンプルが、車道を通過する観測されたサンプル軌道のものである、手順と、対応する観測されたサンプル軌道の各知覚データサンプルに対して、エンコードされたアクター軌道を有する車道特徴表現を生成する手順と、交通流推論関数を作成して、対応する車道を通過する複数の潜在的軌道に車道特徴表現を関連付けるべく、車道特徴表現に学習プロセスを適用する手順とを実行させるためのコンピュータプログラムが提示される。

この態様は、コンピュータプログラムの命令を実行しているコンピュータによって実行される方法、及び方法を実行する装置も含み得る。

要約条項は必ずしも、本発明の実施形態の全ての必要な特徴を記載したものではない。本発明は、上述した特徴の部分的組み合わせであってもよい。

本発明のある実施形態に係る、交通流を推論するための例示のハードウェア構成を示す図である。

本発明のある実施形態に係る、交通流を推論するための動作フローを示す図である。

本発明のある実施形態に係る、車道特徴表現を生成するための動作フローを示す図である。

本発明のある実施形態に係る、交通流推論関数を作成するための動作フローを示す図である。

本発明のある実施形態に係る、損失関数を学習プロセスに適用して、交通流推論関数を作成する、交通流推論関数作成セクションの一部を示す図である。

本発明のある実施形態に係る、損失関数を学習プロセスに適用して、交通流推論関数を作成する、交通流推論関数作成セクションの一部を示す図である。

本発明のある実施形態に係る、損失関数を学習プロセスに適用して、交通流推論関数を作成する、交通流推論関数作成セクションの一部を示す図である。

本発明のある実施形態に係る、２つの方向θと強い関連性を有する例示の格子点を示す図である。

本発明のある実施形態に係る、格子点における各分布を示すグラフである。

本発明のある実施形態に係る、全ての格子点において交通流推論関数によって決定された混合モデルの方向確率分布を示す視覚的表現である。

本発明のある実施形態に係る、交通流推論関数に含まれるコンボリューショナル・エンコーダ−デコーダ・ニューラルネットワークを示す図である。

本発明のある実施形態に係る、交通流推論関数に含まれるコンボリューショナル・エンコーダ−デコーダ・ニューラルネットワークの末尾を示す図である。

本発明のある実施形態に係る、車道の実際の車線を強調する方法で、潜在的軌道ファクタを示す視覚的表現である。

本発明のある実施形態に係る、潜在的軌道を決定するための動作フローを示す図である。

以下に、本発明の例示の実施形態を説明する。例示の実施形態は、特許請求の範囲に係る本発明を限定するものではなく、実施形態に記載された特徴の組み合わせは、必ずしも本発明に必須のものではない。

ＨＤマップに伴う問題を考慮すると、自律車両のための道路車線及び他の運転可能な経路を推論する現在の方法には拡張性がなく、都市内の小さな動作可能領域、及びシャトルバス用等の規定ルートに技術が限定されることは明らかである。

本発明の実施形態は、人間の運転者が経験及び道路環境の観測を通して道路車線を直感的に推論するのと同様に、システムの車載センサ及び／又は衛星センサを通して観測された動的道路シーン情報を使用することによって、道路車線及び他の運転可能な経路を推論し得る。そうすることで、自律車両は、システムのコストを削減しながらも、特定の都心に限定されずに郊外で動作する能力等の拡大した動作範囲、及び異常事態に対する向上した適応性を有し得る。

本発明の特定の実施形態を用いて、ニューラルネットワーク学習プロセスを訓練して、学習プロセスに供給されたセグメント化された車道の特徴に基づいて交通流を推論するようにすることが可能である。

学習プロセスは、独立の運転した軌道例から学習することによって、道路車線及び他の運転可能な経路を推論するように訓練され得る。一例は、運転した軌道と車道特徴表現との対から構成され得る。道路車線又は他の運転可能な経路の許容可能な方向を学習するために、運転した軌道は、２単位ベクトル成分としてエンコードされた方向性を有し得る。上記学習プロセスの訓練は自己管理型であってよく、これは、人間相互作用を必要とせずに、運転した軌道を自動的に及び個別に収集し、訓練データに処理することができることを意味する。

独立の軌道例を使用することによって、各例は１つの運転した軌道のみを示し、学習プロセスが、運転した軌道例を車道特徴表現の特徴と関連付けして、所定の車道全体にわたる全ての運転可能軌道を導出し、出力し得る。関連付け及び一般化は、損失関数を通して学習し得る。

図１は、本発明のある実施形態に係る交通流を推論するための例示のハードウェア構成を示す図である。例示のハードウェア構成は、ネットワーク１２８と通信し、センサ１２６と相互作用する交通流推論装置１２０を含む。交通流推論装置１２０は、オンプレミスアプリケーションを実行し、それを使用するクライアントコンピュータをホストするサーバコンピュータ又はメインフレームコンピュータ等のホストコンピュータであってよく、この場合、交通流推論装置１２０は、センサ１２６に直接接続されていなくてよいが、ネットワーク１２８を介して接続されている。交通流推論装置１２０は、２つ又はそれより多くのコンピュータを含むコンピュータシステムであり得る。交通流推論装置１２０は、交通流推論装置１２０のユーザのためにアプリケーションを実行するパーソナルコンピュータ又はダッシュボード埋込コンピュータ等の車両コンピュータであり得る。

交通流推論装置１２０は、論理セクション１００、記憶セクション１１０、通信インターフェース１２２、及び入力／出力コントローラ１２４を含む。論理セクション１００は、プロセッサ又はプログラマブル回路によって実行可能なプログラム命令をまとめて記憶して、プロセッサ又はプログラマブル回路にこれら様々なセクションの動作を実行させる１又は複数のコンピュータ可読記憶媒体を含むコンピュータプログラム製品であり得る。論理セクション１００はあるいは、アナログもしくはデジタルプログラマブル回路、又はそれらのいずれかの組み合わせであり得る。論理セクション１００は、通信を介して相互作用する、物理的に切り離された記憶装置又は回路から構成され得る。記憶セクション１１０は、本書のプロセスを実行中に論理セクション１００がアクセスするための実行不能データを記憶することができる不揮発性コンピュータ可読媒体であり得る。通信インターフェース１２２は、記憶セクション１１０等の記録媒体に設けられた送信バッファ領域に記憶され得る送信データを読み取り、読み取った送信データをネットワーク１２８へ送信する、又はネットワーク１２８から受信した受信データを、記録媒体に設けられた受信バッファ領域に書き込む。入力／出力コントローラ１２４は、パラレルポート、シリアルポート、キーボードポート、マウスポートおよびモニターポート等を介してセンサ１２６等の様々な入力及び出力装置に接続して、コマンドを受け入れ、情報を提示する。

センサ１２６は、カメラ、ＬｉＤＡＲシステム、加速度計、レーダ、超音波、赤外線カメラ、ＧＰＳ等を使用して、複数の種類の知覚データを検出し得る。センサ１２６は、サンプル軌道観測の対象である車両上に装着され得る、対象の車両と直列に移動している別の車両上に装着され得る、サンプル軌道観測の対象である道路に対して静的である構造上に装着され得る、又はいずれかの組み合わせであり得る。

論理セクション１００は、取得セクション１０２、車道特徴表現生成セクション１０４、交通流推論関数作成セクション１０６、及び潜在的軌道決定セクション１０８を含む。記憶セクション１１０は、知覚データサンプル１１２、車道特徴表現１１４、交通流推論関数パラメータ１１６、潜在的軌道ファクタ１１８、及び損失関数パラメータ１１９を含む。

取得セクション１０２は、論理セクション１００の、交通流推論の過程で、センサ１２６及びネットワーク１２８からのデータの取得を実行する部分である。取得セクション１０２は、知覚データを記憶セクション１１０に記憶させ得る。取得セクション１０２は、以下のフロー図に記載された付加的機能を実行するためのサブセクションを含み得る。上記サブセクションは、自らの機能に関連付けられた名前で称され得る。

車道特徴表現生成セクション１０４は、論理セクション１００の、交通流推論の過程で、車道特徴表現を生成する部分である。そうすることで、車道特徴表現生成セクション１０４は、知覚データサンプル１１２等のセンサ１２６によって取り込まれた知覚データを処理して、当該データを交通流推論関数によって処理されるのに好適な形式に変換し得る。車道特徴表現生成セクション１０４は、各々にアクター軌道がエンコードされた車道特徴表現を生成し得る。車道特徴表現生成セクション１０４は、各車道特徴表現を車道特徴表現１１４として記憶セクション１１０に記憶させ得る。車道特徴表現生成セクション１０４は、以下のフロー図に記載された付加的機能を実行するためのサブセクションを含み得る。上記サブセクションは、自らの機能に関連付けられた名前で称され得る。

交通流推論関数作成セクション１０６は、論理セクション１００の、交通流推論の過程で、車道特徴表現に学習プロセスを適用して交通流推論関数を作成する部分である。例えば、交通流推論関数は、車道特徴表現を、対応する車道を通過する複数の潜在的軌道に関連付けし得る。交通流推論関数作成セクション１０６は、以下のフロー図に記載された付加的機能を実行するためのサブセクションを含み得る。上記サブセクションは、自らの機能に関連付けられた名前で称され得る。

潜在的軌道決定セクション１０８は、論理セクション１００の、交通流推論の過程で、車道を通過する複数の潜在的軌道を決定する部分である。そうすることで、潜在的軌道決定セクション１０８が、交通流推論関数を用いて走行していない道路の車道特徴表現を処理することができ、結果的に、走行していない道路を通過する複数の潜在的軌道が出力される。潜在的軌道決定セクション１０８は、以下のフロー図に記載された付加的機能を実行するためのサブセクションを含み得る。上記サブセクションは、自らの機能に関連付けられた名前で称され得る。

他の実施形態では、交通流推論装置は、本書のプロセスを実行するために、論理関数を処理することができる他のいずれかの装置であり得る。交通流推論装置は、入力、出力、及び全ての情報が直接接続されている環境では、ネットワークに接続されている必要がない場合がある。論理セクション及び記憶セクションは完全に切り離された装置である必要はなく、１又は複数のコンピュータ可読媒体を共有し得る。例えば、記憶セクションは、論理セクションによってアクセスされる、コンピュータが実行可能な命令及びデータの両方を記憶するハードドライブであってよく、論理セクションは、中央処理装置（ＣＰＵ）及びランダムアクセスメモリ（ＲＡＭ）の組み合わせであってよく、論理セクションでは、本書のプロセスの実行中にＣＰＵによって実行されるために、コンピュータが実行可能な命令が全体的に又は部分的に複製され得る。

交通流推論装置がコンピュータである実施形態では、コンピュータにインストールされたプログラムは、コンピュータに、本発明の実施形態の装置又はそれらの１又は複数の部分（モジュール、コンポーネント、エレメント等を含む）として機能させ得る、もしくは本発明の実施形態の装置又はそれらの１又は複数の部分（モジュール、コンポーネント、エレメント等を含む）に関連付けられた動作を実行させ得る、及び／又はコンピュータに、本発明の実施形態のプロセス又はそれらのステップを実行させ得る。上記プログラムはプロセッサによって実行され、コンピュータに、本書に記載のフロー図及びブロック図のブロックの一部又は全てに関連付けられた特定の動作を実行させ得る。

図２は、本発明のある実施形態に係る交通流を推論するための動作フローを示す図である。動作フローは、交通流を推論する方法を提示し得る。

Ｓ２３０において、取得セクション１０２等の取得セクションは、複数の知覚データサンプルを取得し、各知覚データサンプルが、車道を通過する観測されたサンプル軌道のものである。これは、実際の道路を通過するサンプル軌道に沿って車両が移動するときに観測する段階と、それらの知覚データを取り込む段階とを含み得る。知覚データは、車両の画像、動画、ＬｉＤＡＲデータ、位置及び速度情報等を含み得る。取得セクションは、センサ１２６等のセンサから直接、又はセンサが接続されたネットワークを介して知覚データサンプルを取得し得る。取得セクションは、知覚データサンプル１１２等のこれらの知覚データサンプルを記憶セクション１１０内に記憶させ得る。

知覚データサンプルの取得は完全に自己管理プロセスであってよいが、幾つかの実施形態では、交通違反を犯した車両、衝突事故に巻き込まれた車両等を観測している場合等に、間違ったサンプル軌道を除外するための何らかの管理が存在し得る。他の実施形態では、車線使用、ターン、車道の障害物等の適切な分布といった知覚データサンプルの適切な分布を確保するための何らかの管理が存在し得る。

Ｓ２４０において、車道特徴表現生成セクション１０４等の車道特徴表現生成セクションは、対応する観測されたサンプル軌道の各知覚データサンプルに対して、エンコードされたアクター軌道を有する車道特徴表現を生成する。車道特徴表現生成セクションは、知覚データを処理して、境界を識別し、視点及び提示を操作し、重要でないデータを破棄し得る。車道特徴表現生成セクションは、車道特徴表現１１４等のこれらの車道特徴表現を記憶セクション１１０内に記憶させ得る。

Ｓ２５０において、交通流推論関数作成セクション１０６等の交通流推論関数作成セクションは、交通流推論関数を作成して、対応する車道を通過する複数の潜在的軌道に車道特徴表現を関連付けるべく、車道特徴表現に学習プロセスを適用する。幾つかの実施形態では、交通流推論関数は、特定の出力タイプ用の末尾を有するコンボリューショナル・エンコーダ−デコーダ・ニューラルネットワークである学習プロセスを含む。しかし、他の種類のニューラルネットワークもしくはそれらの組み合わせ、又はニューラルネットワーク以外の種類の機械学習を含むことも可能である。交通流推論関数は、学習プロセスからの出力を、より簡単に使用可能な形態に変換するための後処理も含み得る。交通流推論関数作成セクションは、交通流推論関数パラメータ１１６等の、学習プロセス及び後処理のパラメータを含み得る交通流推論関数パラメータを記憶セクション１１０内に記憶させ得る。

Ｓ２６０において、潜在的軌道決定セクション２０８等の潜在的軌道決定セクションは、Ｓ２５０において作成された交通流推論関数を、車道特徴表現生成セクションにより、観測された車道の知覚データサンプルから生成された車道特徴表現に適用することによって、観測された車道を通過する複数の潜在的軌道を決定する。

図３は、本発明のある実施形態に係る、図２のＳ２４０等の車道特徴表現を生成するための動作フローを示す図である。この動作フロー内の動作は、車道特徴表現生成セクション１０４等の車道特徴表現生成セクション、又はそれらの対応する名前のサブセクションによって実行され得る。この動作フロー内の動作の一部は、車道特徴表現を生成する段階がセグメント化された車道を生成する段階を含む実施形態において特に有用であり得る、そして、セグメント化された車道を生成する段階が運転可能領域の境界を決定する段階を含む実施形態においてとりわけ有用であり得る。図２に示すように、観測されたサンプル軌道の知覚データサンプルは、車道特徴表現を生成する前に取得され得る。

Ｓ３４２において、車道特徴表現生成セクション１０４又はそれらのサブセクション等の外側境界識別セクションは、知覚データサンプルから道路の外側境界を識別する。道路の外側境界の識別は、運転面（例えば、アスファルト、砂利、コンクリート、泥等）、高速道路の分離帯、橋に沿った柵、又は道路自体の外側境界の定義と結びつく他のいずれかの物理的構造の識別を含み得る。車道特徴表現が、運転可能領域の境界を含むセグメント化された車道である実施形態では、境界を決定する段階は、車道の外側境界を識別する段階を含み得る。

Ｓ３４３において、車道特徴表現生成セクション１０４、又はそれらのサブセクション等の指示識別セクションは、知覚データサンプルから、運転に影響を与える、法律上の又は地方自治体による指示等の指示を識別する。指示の識別は、車線マーキング、交通標識、交通信号、方向を指示する目的で道路に立っている警察官、又は交通の流れに影響を与える他のいずれかの指示の識別を含み得る。車道特徴表現が、運転可能領域の境界を含むセグメント化された車道である実施形態では、境界を決定する段階は、指示のうちで少なくとも車線マーキングを識別する段階を含み得る。ＨＤマップも含む実施形態では、検出プロセスを大幅に簡略化するために、ＨＤマップからの指示を用いることができる。例えば、一時停止標識、交通信号、又は「左折のみ」の標識を検出することは、車道特徴表現生成セクションにとって、画像からの識別が困難である場合があるが、そのような指示はＨＤマップにおいて簡単な形態で利用可能な基本情報であり得る。

Ｓ３４４において、車道特徴表現生成セクション１０４又はそれらのサブセクション等の道路障害物識別セクションは、知覚データサンプルから道路の障害物を識別する。道路の障害物を識別する段階は、くぼみ、減速バンプ、大きな水たまり、駐車した車、倒れた木、又は交通の流れの障害となる道路の外側境界内の他のいずれかの構造を識別する段階を含み得る。車道特徴表現が、運転可能領域の境界を含むセグメント化された車道である実施形態では、境界を決定する段階は、車道の障害物を識別する段階を含み得る。

Ｓ３４６において、車道特徴表現生成セクション１０４又はそれらのサブセクション等の空中視点境界推定セクションは、識別された運転可能領域の境界に基づいて空中視点から運転可能領域の境界を推定する。空中視点から境界を推定する段階は、知覚データ及び識別された運転可能領域の境界を三次元環境としてレンダリングする段階と、視点が空中視点と一致するまで三次元環境を回転させる段階とを含み得る。この方法では、運転可能領域は、交通流推論関数の処理が簡単であり得る二次元環境として表示され得る。車道特徴表現がセグメント化された車道である実施形態では、セグメント化された車道を生成する段階は、空中視点から運転可能領域の境界を推定する段階を含む。

Ｓ３４８において、車道特徴表現生成セクション１０４又はそれらのサブセクション等のアクター軌道エンコーディングセクションは、車道特徴表現上にアクター軌道をエンコードする。アクター軌道をエンコードする段階は、車道特徴表現の座標系を使用して、アクター軌道を一連の座標として表現する段階を含み得る。この方法では、車道特徴表現に対するアクター軌道は、車道に対する観測されたサンプル軌道の正確な表現である。車道特徴表現が空中視点からセグメント化された車道である実施形態では、セグメント化された車道を生成する段階は、空中視点から観測されたサンプル軌道を推定して、アクター軌道をエンコードする段階を含む。

上述の実施形態では、一部の動作は特にセグメント化された車道に適用可能である。しかし、車道特徴表現は必ずしもセグメント化された車道ではなく、他の空間的あるいは位相幾何学的表現であり得る。ＨＤマップが利用可能な実施形態では、車道特徴表現を生成する段階は、知覚データサンプルと高解像度（ＨＤ）マップとに基づいて生成する段階を含み得る。上記実施形態は、計算資源をそれほど多く必要とせずに、より特徴が豊富な車道特徴表現を生成し得る。

更なる実施形態では、車道特徴表現が生成された知覚データサンプルは、当技術分野におけるあるシステムが検出でき得る詳細よりも多くの詳細を有することが認められ得る。つまり、車道特徴表現のある特徴は、検出可能でない場合があるということである。例えば、都市の交差点に接近中の車両は、ちょうど角に位置づけされた大きな建造物のために、交差点の角周囲を検出することができない場合がある。事実、知覚データサンプルは、実際の実地システムと比較してはるかに優れた詳細を有していてよく、これにより、知覚データサンプルを使用して、全ての実地システムに好適な交通流推論関数を訓練することができる。このため、車道特徴表現を生成する段階は、部分的に視認可能な視点に従って、検出不能な特徴を除去する段階を含み得る。部分的に視認可能な視点は、センサの種類、センサの数、ＨＤマップの利用可能性等に依存し得る。部分的に視認可能な視点の識別は、交通流推論関数の訓練中の入力形式が交通流推論関数の実行時間中の入力形式と同等のものでなければならないため、交通流推論関数が訓練される実地システムとは異なるセンサを使用してセンサのデータサンプルを取得した状況において必要であり得る。更なる実施形態では、部分的に視認可能な視点に応じた検出不能な特徴の変化を使用して、訓練データを増加させることができる。例えば、車両は、車両がどの方向から接近するかに応じて、交差点の異なる部分を検出し得る。交差点に接近するのに可能な方向が４つある場合、知覚データサンプルを使用して、４つの車道特徴表現を生成することができ、各車道特徴表現は、接近の４つの方向の１つに対応する。つまり、生成する段階は、対応する観測されたサンプル軌道の各知覚データサンプルに対して、複数の車道特徴表現を生成する段階を含んでいてよく、これら複数の車道特徴表現の各々は、固有の部分的に視認可能な視点に対応し且つ対応する検出不能な特徴が除去されている。訓練データを増加させる他の方法は、観測されたサンプル軌道の視点を部分的に排除すること、ランダムに回転させること、及び平行移動させることを含み得る。これらの増加技術は、部分的に視認可能な視点、及び完全に視認可能な視点の交通流推論関数に用いられ得る。

図４は、本発明のある実施形態に係る、交通流推論関数を作成するための動作フローを示す図である。この動作フロー内の動作は、交通流推論関数作成セクション１０６等の交通流推論関数作成セクション、又はそれらの対応する名前のサブセクションによって実行され得る。この動作フロー内の動作の一部は、車道特徴表現を生成する段階がセグメント化された車道を生成する段階を含む実施形態において特に有用であり得る。

Ｓ４５２において、交通流推論関数作成セクション１０６又はそれらのサブセクション等の交通流推論関数定義セクションは、学習プロセスを定義する。学習プロセスを定義することは、ニューラルネットワークの種類、ニューラルネットワークの次元、層の数等を定義することを含み得る。

Ｓ４５４において、交通流推論関数作成セクション１０６又はそれらのサブセクション等の車道特徴表現選択セクションは、車道特徴表現の中から１つの車道特徴表現を選択する。交通流推論関数を作成するための動作フローの反復が進むにつれ、前に選択されていない車道特徴表現のみがＳ４５４で選択され、各車道特徴表現が確実に処理され得る。

Ｓ４５５において、交通流推論関数作成セクション１０６又はそれらのサブセクション等の学習プロセス適用セクションは、学習プロセスを車道特徴表現に適用する。学習プロセスを車道特徴表現に適用する段階は、車道特徴表現を学習プロセスへの入力として使用することにより、学習プロセスが出力を生成する段階を含み得る。学習プロセスがニューラルネットワークであり、車道特徴表現がセグメント化された車道である実施形態では、ニューラルネットワークはセグメント化された車道内の各格子点に対する少なくとも１つの方向項、及びセグメント化された車道を通過する複数の無指向経路を出力し得る。上記実施形態では、ニューラルネットワークの出力は、厳密には車道を通過する複数の潜在的軌道ではなく、潜在的軌道ファクタ１１８等の強力なファクタのセットである場合があり、ここから、後処理を通してより具体的な決定が簡単に引き出され得る。例えば、上記出力を使用して全方向における車道の実際の車線を更に決定し、所定の位置から車道に接近中の車両の潜在的軌道を更に決定し、また当業者に認められ得る他の決定をすることができる。

Ｓ４５７において、交通流推論関数作成セクション１０６又はそれらのサブセクション等の損失関数適用セクションは、アクター軌道をターゲットとして使用して損失関数を学習プロセスに適用する。交通流推論関数を作成するための動作フローの反復が進むにつれ、損失関数適用セクションは、交通流推論関数パラメータ１１６等の学習プロセスのパラメータを調節して、学習プロセスを訓練する。つまり、学習プロセスを適用する段階は、アクター軌道を対応する車道特徴表現のターゲットとして使用して学習プロセスを訓練する段階を含む。幾つかの実施形態では、交通流推論関数作成セクションは、アクター軌道を複数の潜在的軌道と比較する損失関数を適用する。上記実施形態では、損失関数は、アクター軌道に対応しない潜在的軌道を無視し得る、又は損失を別様に割り当て得る。損失がアクター軌道に対応しない潜在的軌道に割り当てられる実施形態では、損失は、実際の交通流に明らかに対応しない潜在的軌道に割り当てられ得る。幾つかの実施形態では、学習プロセスを訓練する段階は、実際の交通流に対応しない経路を複数の経路が含むことに応じて割り当てる損失よりも大きい損失を、アクター軌道に対応する経路を複数の経路が含まないことに応じて割り当てる段階を含む。

Ｓ４５９において、交通流推論関数作成セクション１０６等の交通流推論関数作成セクションは、交通流推論関数作成セクションによって全ての車道特徴表現が処理されたか否かを決定する。いずれかの車道特徴表現が未処理のまま残っている場合、動作フローは次にＳ４５４に戻り、別の車道特徴表現が処理のために選択される。車道特徴表現が未処理のまま残っていない場合、動作フローは終了する。

幾つかの実施形態では、学習プロセスは、一般的な形態の２つの出力を有するニューラルネットワークを含む。第１の出力は、セグメント化された車道の各格子点における指向性交通流を表す。第１の出力は、２つの層で構成されていてよく、ｘ及びｙ方向成分それぞれに対して１つの層である。第２の出力は、各格子点における方向信頼度に対応する１つの層で構成され得る。高い信頼度とは、一方通行の道路の場合のように、対応する格子点における交通流の方向が一貫していることを意味する。低い信頼度とは、交差点での場合のように、車両が、対応する格子点において複数の方向に運転する傾向があることを意味し、単一の方向を推論することができないことを意味する。幾つかの実施形態では、出力の対象は、学習プロセスが１を超える方向を推論することが可能になり得るマルチモードの方向性を含むように拡張されてよく、これは交差点において特に有用な能力であり得る。

訓練中、交通流が複数の方向性を持つ交差点等の領域では、学習プロセスが方向性を確実に学習することが困難であり得る。方向信頼度項は、損失の大きさを低減するために、方向が決定的でない領域において学習プロセスが方向信頼度値を減少させることを学習することを可能にすることによって、これらの状況を調整し得る。幾つかの実施形態では、損失項の第２の部分は、至るところでゼロの方向信頼度を予測する自明の解を回避し、低い方向信頼度の道路領域が十分に正当化された適切なバランスに到達するために、過度に方向信頼度を低下させる学習プロセスにペナルティを科す。

幾つかの実施形態では、学習プロセスは、１つの層にエンコードされたセグメント化された車道及び単一の運転した軌道と、２つの別々の層にエンコードされたｘ及びｙ方向成分とを含む訓練サンプルを使用して、統括的に訓練され得る。上記訓練サンプルは、ランダムな回転及び平行移動によって増加し得る。

図５Ａは、本発明のある実施形態に係る、学習プロセスに損失関数を適用して、交通流推論関数を作成する、交通流推論作成セクション１０６等の交通流推論関数作成セクションの一部を示す図である。図面は、アクター軌道がエンコードされたセグメント化された車道の形態の車道特徴表現５１４に、どのように学習プロセス及び後処理が適用されるかを示す。

図面は、ニューラルネットワーク５１６ＮＮである学習プロセスへの入力としての車道特徴表現５１４を示し、結果的に、経路アフォーダンス項Ｙ５１８Ｐ、方向平均項μ５１８Ｍ、方向重み項ω５１８Ｗ、及び方向分散項σ５１８Ｖが出力される。経路アフォーダンス項Ｙ５１８Ｐは、セグメント化された車道を通過する複数の無指向経路を含む。方向平均項μ５１８Ｍ、方向重み項ω５１８Ｗ、及び方向分散項σ５１８Ｖは全て、セグメント化された車道の各格子点における方向θの一分布の推論に対応する。つまり、各方向項は、少なくとも１つの方向分布を含み、各方向分布は、方向平均、方向重み、及び方向分散を含む。このような幾つかの実施形態では、各格子点は、方向分布ｉの数に対応する。各方向平均項μ５１８Ｍは、単一の格子点における方向分布の１つのモードを表す。各方向重み項ω５１８Ｗは、単一の格子点における方向分布の１つの混合重みを表す。各方向分散項σ５１８Ｖは、単一の格子点における方向分布の１つの分散を表す。これらの４つの出力項は、潜在的軌道を最終的に決定するためのファクタとして有用であり得る。交通流推論ニューラルネットワーク５１６ＮＮを訓練するために、４つの出力項に損失関数が適用される。

交通流推論関数の後処理により、方向平均項μ５１８Ｍ、方向重み項ω５１８Ｗ、及び方向分散項σ５１８Ｖが、交通流の推論においてより有用なものになり得る潜在的軌道ファクタに変換される。

Ｓ５５５Ａにおいて、交通流推論関数は、数値的な理由による過度にシャープな分布を回避するために、方向分散項σ５１８Ｖを反転及び拡大又は縮小させる。
式１

Ｓ５５５Ｂにおいて、交通流推論関数は、反転及び拡大又は縮小させた分散項ｂの分散数を使用して、０次の第一種の変形ベッセル関数を計算する。
式２

Ｓ５５５Ｃにおいて、交通流推論関数は、各方向平均項μ５１８Ｍ、各方向重み項ω５１８Ｗ、及び各方向分散項σ５１８Ｖに基づいて、各格子点に対するフォンミーゼス分布を計算する。
式３
結果的に、ｉフォンミーゼス分布が得られる。

Ｓ５５５Ｄにおいて、交通流推論関数は、全てのｉフォンミーゼス分布を合計する。
式４
結果的に、各格子点に対する混合モデル分布が得られる。

Ｓ５５５Ｅにおいて、交通流推論関数は、各格子点に対する混合モデル分布を個別の角度範囲△θで乗算する。
式５
結果的に、各格子点における個別の角度範囲△θそれぞれに対する近似方向確率が得られる。つまり、交通流推論関数は、各個別の角度範囲△θ内にある方向の確率を計算する。この概念を更に、図６Ａ〜図６Ｃに関して以下に説明する。

図５Ｂは、本発明のある実施形態に係る、学習プロセスに損失関数を適用して、交通流推論関数を作成する、交通流推論関数作成セクションの一部を示す図である。

Ｓ５５７Ｐにおいて、交通流推論関数作成セクション１０６又はそれらのサブセクション等の損失関数適用セクションは、経路アフォーダンス項Ｙ５１８Ｐを経路アフォーダンス損失関数への入力の対象とする。
式６
上記式において、Ｌ_ｓｌａは全損失である。
は、実際の交通流に明らかに対応しない潜在的軌道を含む出力等の、過度に軽率な予測に対する損失を割り当てる全損失項である。
は、アクター軌道の経路と実質的に類似する経路を含まない出力等の、アクター軌道５１４Ｐの経路に対応する出力５１８Ｐ_Ｍの一部のみを考慮して損失を割り当てるマスク損失（ｍａｓｋｅｄ ｌｏｓｓ）項である。αは、損失項の相対的影響を調整するマスク倍率である。αが増加するにつれ、学習プロセスは、より軽率になり、より多くの経路を出力する傾向になる可能性があり、αが減少すると、学習プロセスは、より保守的になり、より少ない経路を出力する傾向になり得る。訓練の反復が進むにつれ、学習プロセスは、実際の交通流の経路をより正確に反映した潜在的軌道ファクタを出力するように調節される。つまり、損失関数適用セクションは、複数の経路を出力するように学習プロセスを訓練し、各経路は、セグメント化された車道を通過する潜在的軌道に対応する。

方向項は、学習プロセスによって出力された指向性交通流と、運転した軌道の方向成分のコサイン類似度とを比較することができ、これにより、学習プロセスが、その他の方向予測にペナルティを科すことなく、運転した軌道と同じ方向を出力するように促される。学習の過程にわたって、学習プロセスは、訓練中のセグメント化された車道全てにわたって交通流を正確に予測するために、正しい方向出力を学習し、以前見えていなかったセグメント化された車道全体で正しい交通流の方向性を推論する。

図５Ｃは、本発明のある実施形態に係る、学習プロセスに損失関数を適用して交通流推論関数を作成する、交通流推論関数作成セクションの一部を示す図である。図面は、各格子点５１８Ｄに対する近似方向確率を、エンコードされたアクター軌道をターゲットとして使用する経路アフォーダンス損失関数の入力として示す。

Ｓ５５５Ｆにおいて、交通流推論関数作成セクション１０６又はそれらのサブセクション等の損失関数適用セクションは、アクター軌道内の各格子点に対する角度θ＊へのアクター軌道を決定する。例えば、アクター軌道の領域は、エンコードされたアクター軌道から平均車両幅の約半分だけ離れた左右方向の境界を決定することによって確立される。損失関数適用セクションは、アクター軌道をｘ方向ラベル５１４Ｘとｙ方向ラベル５１４Ｙとに分離し、ｘ方向ラベル５１４Ｘをｘ方向ベクトル５１４Ｘ_Ｖに変換し、またｙ方向ラベル５１４Ｙをｙ方向ベクトル５１４Ｙ_Ｖに変換し、アクター軌道内の各格子点に対するｘ方向ベクトル５１４Ｘ_Ｖ、及びｙ方向ベクトル５１４Ｙ_Ｖからの角度θ＊をエンコードすることによって、アクター軌道領域内の各格子点に対する角度θを決定する。

Ｓ５５５Ｇにおいて、損失関数適用セクションは、角度θ＊を対応する指標ｋにエンコードする。
式７
結果的に、アクター軌道内の各格子点に対する分布アレーが得られる。

Ｓ５５５Ｈにおいて、損失関数適用作成セクションは、分布アレーを、Ｓ５５５Ｅにおいて方向の確率が計算された個別の角度範囲△θの数に対応するｎ次元に拡張するために、アクター軌道領域内の各格子点に対する分布アレーにワン・ホット・エンコーディングを適用する。例えば、０〜３６０°の全角度範囲は０〜２°、２〜４°、４〜６°６〜８°等の２°の差分で離散化され得る。アクター軌道に沿った各格子点に対し、４８．７９°等の厳密な角度が、対応する格子点の混合モデル分布において、この角度に対応する確率を選択するために、４８．５０°等の対応する個別の角度範囲△θに変換される。

Ｓ５５５Ｉにおいて、損失関数適用セクションは、ワン・ホット・エンコードされたマトリックスを、各格子点５１８Ｄにおいてエンコードされた方向平均に対応する非ゼロ値でエレメントごとの乗算を実行し、結果的に、各格子点５１８Ｄに対する近似方向確率に対応する１つの非ゼロのエレメント、及び他の全てのエレメントに対するゼロが得られる。

Ｓ５５５Ｊにおいて、損失関数適用セクションは、各格子点に対して全てのｎエレメントを加えることによって、ｎ次元を一次元に減少させる。ｎエレメントの１つを除く全てがゼロであるため、ｎ次元は１つの非ゼロ値に減少する。

Ｓ５５７Ｄにおいて、損失関数適用セクションは、アクター軌道経路５１４Ｐから引き出されたラベルマスク５１８Ｄ_Ｍを適用し、これにより、アクター軌道経路５１４Ｐ内の格子点に対応する差のみが考慮され、残りの差は方向損失関数への入力の対象となる。
式８
上記式において、Ｌ_ｄｉｒは、残りの差、又はエレメントの対数の合計である。つまり、学習プロセスを訓練する段階は、アクター軌道内の格子点に対応する方向項のみを考慮する段階を含む。

Ｓ５５７Ｄ_Ｓにおいて、損失関数適用セクションは、方向損失合計：
式９
を正規化し、結果的に、アクター軌道の長さに対して不変となる大きさを有する方向損失５１９Ｄが得られる。この不変性により、長い潜在的軌道と短い潜在的軌道の予測に等しい影響が得られる。

急な方向変化を含む方向場よりも、滑らかな方向場の方が望ましいため、方向平滑化項が考慮され得る。この損失項の影響により、出力方向ベクトル場のねじれが最小限になる。

オプションの動作Ｓ５５７Ｓにおいて、損失関数適用セクションは、方向損失５１９Ｄ：
式１０
の方向平滑化を達成し、結果的に、方向ベクトル場のねじれが最小限になり、隣接の格子点との方向性の強い差が縮小する。つまり、全体的な方向場が平滑化され、場のジッタが実質的に削減される。訓練の反復が進むにつれ、学習プロセスは、実際の交通流の方向をより正確に反映する潜在的軌道ファクタを出力するように調節される。つまり、損失関数適用セクションは、交通流推論関数が、セグメント化された車道の各格子点に対して、車道の対応する位置における実際の交通流の１又は複数の方向と一致する方向項を出力するように、学習プロセスを訓練する。

損失項は、独立の強度パラメータを所有し、学習プロセスに、どのように別々の損失項の影響のバランスを取るかを学習させて、全ての所望の特性を取り込んだ信頼できる出力を作成するために、これらのパラメータの相対強度を最適化し得る。更なる実施形態では、このプロセスは、自動ハイパーパラメータ検索を通して行うことができる。性能は、交通流及び信頼度値が手動で標識化された試験用データセット上のネットワーク出力を比較することによって、評価することができる。

図６Ａは、本発明のある実施形態に係る、２つの方向θと強い関連性を有する格子点６１８ＧＰの例示を示す図である。２つの方向のうちの１つはθ＝９０°又は「上」として示され、他の方向はθ＝０°又は「右」として示されている。

図６Ｂは、本発明のある実施形態に係る、格子点６１８ＧＰにおける２つの方向分布を各々示すグラフである。このグラフによれば、第１の分布６１８_１の方向平均項μはθ＝０．０°又は「右」であり、第２の分布６１８_２の方向平均項μはθ＝９０．０°である。第１の分布６１８_１の方向分散項σは３０．０であり、ピークの傾斜によって表され、２０．０である第２の分布６１８_２の方向分散項σと比較して急勾配であり、格子点６１８ＧＰにおいてθ＝９０．０°よりもθ＝０．０°による交通流の方が信頼度が高いことを示している。ここで、２つの分布は同じ重みω＝０．５を有し、結果的に、結合分布６１８Ｃにおける２つのピークの相対高さは、個々の分布６１８_１と６１８_２における２つのピークの相対高さと類似したものとなる。この例は、格子点６１８ＧＰにおける交通が−５°≦θ≦５°によれば２０．９％の流れの確率を有し、８５°≦θ≦９５°によれば１６．５％の流れの確率を有する交差点と一致する。

図６Ｃは、本発明のある実施形態に係る、全ての格子点における交通流推論関数によって決定された混合モデルの方向確率分布の視覚的表現６１８Ｄを示す図である。

損失関数の公式化は、交通流推論関数の正確性に大きな影響を与え得る。幾つかの実施形態は４つの損失項、経路アフォーダンス項、方向項、方向平滑化項、及び方向信頼度項を用いる。

経路アフォーダンス項は、２つの部分を有し得る。第１の部分は、運転した軌道と一致するセグメント化された車道の領域のみを考慮し、運転した軌道と実質的に類似する出力運転可能軌道がない場合に結果は損失となり、学習プロセスは、より多くの運転可能軌道を出力するように試みて、運転した軌道と実質的に類似する運転可能軌道が出力される可能性を高めるように促される。第２の部分は、セグメント化された車道の全領域を考慮し、運転した軌道と実質的に類似しない出力軌道に対して結果は損失となる。このペナリゼーション（ｐｅｎａｌｉｚａｔｉｏｎ）は、学習プロセスに、道路セクション全体を運転可能軌道領域にする等の、運転可能軌道の過度に軽率な予測を回避させる。

図７Ａは、本発明のある実施形態に係る、交通流推論関数に含まれるコンボリューショナル・エンコーダ−デコーダ・ニューラルネットワーク７１６Ｃ_ＥＤを示す図である。コンボリューショナル・エンコーダ−デコーダ・ニューラルネットワーク７１６Ｃ_ＥＤは１２８Ｘ１２８の入力層を有し、これは、入力車道特徴表現７１４が１２８Ｘ１２８でなければならないことを意味する。コンボリューショナル・エンコーダ−デコーダ・ニューラルネットワーク７１６Ｃ_ＥＤは幾つかの層を有し、各層は、シェアインデックスをプーリング及びアンプーリングするための［行］、［列］、［フィルタ］、（［カーネルサイズ］、［ストライド］、［パディング］）として示す仕様を含む。この実施形態の学習プロセスは、コンボリューショナル・エンコーダ−デコーダ・ニューラルネットワーク７１６Ｃ_ＥＤを、各分布及び出力タイプに対して別々の末尾を有する主要なコンボリューショナル・エンコーダ−デコーダ・ネットワークとして使用する。

図７Ｂは、本発明のある実施形態に係る、交通流推論関数に含まれるコンボリューショナル・エンコーダ−デコーダ・ニューラルネットワーク７１６Ｃ_ＥＤの末尾７１６Ｄ及び７１６Ｐを示す図である。交通流推論関数は、経路アフォーダンス出力末尾７１６Ｐと、少なくとも１つの方向出力末尾７１６Ｄとを含む。各末尾７１６Ｐ及び７１６Ｄは幾つかの層を有し、各層は、［行］、［列］、［フィルタ］、（［カーネルサイズ］、［ストライド］、［パディング］）として示す仕様を含む。経路アフォーダンス出力末尾７１６Ｐの出力は、車道を通過する複数の潜在的軌道経路であり得る経路アフォーダンス出力７１８Ｐである。方向出力末尾７１６Ｄの出力は、方向平均出力７１８Ｍ、方向重み出力７１８Ｗ、及び方向分散出力７１８Ｖである。つまり、学習プロセスは、経路アフォーダンス出力、方向平均出力、方向重み出力、及び方向分散出力のうちの少なくとも１つのための末尾を有するコンボリューショナル・エンコーダ−デコーダ・ニューラルネットワークである。交通流推論関数の後処理は更に、経路アフォーダンス出力７１８Ｐ、方向平均出力７１８Ｍ、方向重み出力７１８Ｗ、及び方向分散出力７１８Ｖを、潜在的軌道ファクタ表現７１８に結合させる。潜在的軌道ファクタ表現７１８は、視覚的表現、又は自律運転システムによる更なる処理等の更なる処理に好適な他の任意の表現等の異なる形態を取り得る。

図８は、本発明のある実施形態に係る、車道の実際の車線を強調する方法で、潜在的軌道ファクタの視覚的表現８１８を示す図である。潜在的軌道ファクタは、経路アフォーダンス項Ｙ５１８Ｐ等のセグメント化された車道を通過する複数の潜在的経路によって補完されるセグメント化された車道の全ての格子点における混合モデルの方向確率分布と、方向平均項μ５１８Ｍ、方向重み項ω５１８Ｗ、及び方向分散項σ５１８ＶからＳ５５５Ｅにおいて決定された各格子点に対する近似方向確率とを含む。自律運転システムは、基礎となるデータから直接この車道の実際の車線を推論することができるが、視覚的表現８１８は展開リソースとして使用され得る。

図９は、本発明のある実施形態に係る、潜在的軌道を決定するための動作フローを示す図である。この動作フロー内の動作は、潜在的軌道決定セクション１０８、又はそれらの対応する名前のサブセクション等の潜在的軌道決定セクションによって実行され得る。

Ｓ９６２において、取得セクション１０２等の取得セクションは、観測された車道の知覚データサンプルを取得する。これは、車両が車道に接近したときに車道を観測する段階と、車道の知覚データを取り込む段階とを含み得る。知覚データは、画像、動画、ＬｉＤＡＲデータ等を含み得る。取得セクションは、センサ１２６等のセンサから直接、又はセンサが接続されたネットワークを通して、知覚データサンプルを取得し得る。Ｓ２４０と異なり、取得セクションは、車両の位置を取得して、車両がどの方向から車道に接近したかを決定し得るが、軌道情報は取得しない。

Ｓ９６４において、車道特徴表現生成セクション１０４等の車道特徴表現生成セクションは、観測された車道の知覚データサンプルから車道特徴表現を生成する。車道特徴表現生成セクションは、知覚データを処理して、境界を識別し、視点及び提示を操作し、重要でないデータを破棄し得る。Ｓ２５０と異なり、車道特徴表現生成セクションは、車道特徴表現上に軌道情報をエンコードしない。車両の位置が取得された実施形態では、車両が車道に接近した方向は、実施形態に応じて、車道特徴表現上にエンコードされる、又はエンコードされない場合がある。

Ｓ９６６において、潜在的軌道決定セクションは、交通流推論関数作成セクション１０６によって学習プロセスを訓練した後に、交通流推論関数パラメータ１１６による交通流推論関数などの交通流推論関数を、車道特徴表現に適用する。

幾つかの実施形態では、交通流推論関数の出力はすでに、複数の潜在的軌道の好適な表現であり得る。上記実施形態では、潜在的軌道決定セクションは、交通流推論関数を車道特徴表現に適用することによって、観測された車道を通過する複数の潜在的軌道を決定し得る。他の実施形態では、潜在的軌道決定セクションは、交通流推論関数からの出力を、特定の自律運転システムによって推論されるのに好適な形態に処理し得る。他の実施形態では、潜在的軌道決定セクションは、交通流推論関数からの出力を、車両の運転者のための視覚的表示に処理し得る。

Ｓ９６８において、潜在的軌道決定セクションは、車両が車道に接近した方向と一致しない全ての潜在的軌道を除外する。例えば、ある潜在的軌道は、現在の状況にある車両には適用できないと想定され得る。現在の状況は、車道に対する車両の位置、車両が車道に接近した方向等によって決定され得る。上記位置及び方向情報を取得セクションが取得した、及び／又は位置及び方向情報が他の方法で利用可能な、幾つかの実施形態では、潜在的軌道決定セクションは、セグメント化された車道に対する車両の位置及び向きを決定し、複数の潜在的軌道から、車両の位置及び向きと一致しない少なくとも１つの潜在的軌道を除外する。車両が更に自律運転システムを含む、幾つかの実施形態では、自律運転システムは、潜在的軌道のうちの１つに従って車両を操作する。

本発明の様々な実施形態は、ブロックが（１）動作が実行されるプロセスのステップ、又は（２）動作を実行する役割を果たす装置のセクションを表し得るフロー図及びブロック図を参照して、説明することができる。あるステップ及びセクションは、専用回路、コンピュータ可読媒体上に記憶されたコンピュータ可読命令が供給されているプログラマブル回路、及び／又はコンピュータ可読媒体上に記憶されたコンピュータ可読命令が供給されているプロセッサによって実装され得る。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでいてよく、集積回路（ＩＣ）及び／又は個別の回路を含み得る。プログラマブル回路は、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、及び他の論理演算、フリップ−フロップ、レジスタ、メモリ素子等、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）等を含む再構成可能なハードウェア回路を含み得る。

本発明の実施形態の多くは、特に人工知能、学習プロセス、及びニューラルネットワークを含む。上述の実施形態のうちの幾つかは、特殊なニューラルネットワークの説明である。しかしながら、学習プロセスは通常、ランダム値の構成として開始する。上記のような訓練されていない学習プロセスは、関数をうまく実行すると合理的に予想され得るようになる前に、訓練されなければならない。本書に記載のプロセスの多くは、交通流推論のために学習プロセスを訓練するためのものである。一旦訓練されれば、学習プロセスを使用して交通流を推論することができ、更なる訓練は必要ない可能性がある。このように、訓練された交通流推論関数は、訓練されていない学習プロセスを訓練するプロセスの成果である。

本発明の実施形態を説明してきたが、本発明の技術的範囲は、上記で説明した実施形態に限定されない。当業者には、様々な変更例及び改善例を上記で説明した実施形態に加えることができることが明らかである。特許請求の範囲からこれもまた明らかであるが、上記変更例又は改善例が加えられた実施形態を、本発明の技術的範囲に含むことができる。

特許請求の範囲、実施形態、又は図面に示す装置、システム、プログラム、及び方法によって実行される各プロセスの動作、手順、ステップ、及び段階は、順序が「に先立って」または「の前」等によって示されていない限り、また前のプロセスからの出力が後のプロセスで使用されない限りは、任意の順序で実行することができる。プロセスフローが、特許請求の範囲、実施形態、又は図面において「第１の」又は「次の」等の表現を使用して説明されている場合であっても、プロセスを必ずしもこの順序で実行しなければならないことを意味しない。

Claims (24)

1. コンピュータによって実行可能なコンピュータプログラムであって、前記コンピュータに、
   複数の知覚データサンプルを取得する手順であって、各知覚データサンプルが、車道を通過する観測されたサンプル軌道のものである、手順と、
   対応する前記観測されたサンプル軌道の各知覚データサンプルに対して、エンコードされたアクター軌道を有する車道特徴表現を生成する手順と、
   交通流推論関数を作成して、対応する前記車道を通過する複数の潜在的軌道に車道特徴表現を関連付けるべく、前記車道特徴表現に学習プロセスを適用する手順と
   実行させるためのコンピュータプログラム。
2. 前記学習プロセスを適用する前記手順は、前記アクター軌道を対応する前記車道特徴表現のターゲットとして使用して、前記学習プロセスを訓練する手順を有する、請求項１に記載のコンピュータプログラム。
3. 前記車道特徴表現を生成する前記手順は、セグメント化された車道を生成する手順を有する、請求項２に記載のコンピュータプログラム。
4. 前記セグメント化された車道を生成する前記手順は、運転可能領域の境界を決定する手順を含む、請求項３に記載のコンピュータプログラム。
5. 前記境界を決定する手順は、前記車道の外側境界を識別する手順を含む、請求項４に記載のコンピュータプログラム。
6. 前記境界を決定する前記手順は、車線マーキングを識別する手順を含む、請求項４又は５に記載のコンピュータプログラム。
7. 前記境界を決定する前記手順は、前記車道の障害物を識別する手順を含む、請求項４から６のいずれか１項に記載のコンピュータプログラム。
8. 前記セグメント化された車道を生成する前記手順は、空中視点から運転可能領域の境界を推定する手順を含む、請求項３から７のいずれか１項に記載のコンピュータプログラム。
9. 前記セグメント化された車道を生成する前記手順は、前記空中視点から前記観測されたサンプル軌道を推定して、前記アクター軌道をエンコードする手順を含む、請求項８に記載のコンピュータプログラム。
10. 前記学習プロセスを訓練する前記手順は、前記交通流推論関数が、前記セグメント化された車道の各格子点に対して、前記車道の対応する位置における実際の交通流の１又は複数の方向と一致する方向項を出力するように訓練する手順を含む、請求項３から９のいずれか１項に記載のコンピュータプログラム。
11. 各方向項が少なくとも１つの方向分布を含む、請求項１０に記載のコンピュータプログラム。
12. 各方向項が方向平均、方向重み、及び方向分散を含む、請求項１１に記載のコンピュータプログラム。
13. 前記学習プロセスを訓練する前記手順は、前記アクター軌道内の格子点に対応する方向項のみを考慮する手順を含む、請求項１０又は１１に記載のコンピュータプログラム。
14. 前記学習プロセスを適用する前記手順は、前記学習プロセスを訓練して複数の経路を出力する手順であって、各経路が、前記セグメント化された車道を通過する潜在的軌道に対応する、手順を有する、請求項３から１３のいずれか１項に記載のコンピュータプログラム。
15. 前記学習プロセスを訓練する前記手順は、前記アクター軌道に対応しない経路を前記複数の経路が含むことに応じて割り当てる損失よりも大きい損失を、前記アクター軌道に対応する経路を前記複数の経路が含まないことに応じて割り当てる手順を含む、請求項１４に記載のコンピュータプログラム。
16. 前記学習プロセスは、経路アフォーダンス出力、方向平均出力、方向重み出力、及び方向分散出力のうちの少なくとも１つの末尾を有するコンボリューショナル・エンコーダ・デコーダ・ニューラルネットワークである、請求項１５に記載のコンピュータプログラム。
17. 前記車道特徴表現を生成する前記手順は、部分的に視認可能な視点に従って検出不能な特徴を除去する手順を有する、請求項１から１６のいずれか１項に記載のコンピュータプログラム。
18. 生成する前記手順は、対応する前記観測されたサンプル軌道の各知覚データサンプルに対して、複数の車道特徴表現を生成する手順であって、前記複数の車道特徴表現の各々は、固有の部分的に視認可能な視点に対応し、且つ、対応する検出不能な特徴が除去されている、手順を有する、請求項１から１７のいずれか１項に記載のコンピュータプログラム。
19. 前記車道特徴表現を生成する前記手順は、知覚データサンプルおよび高解像度（ＨＤ）マップに基づいて生成する手順を有する、請求項１から１８のいずれか１項に記載のコンピュータプログラム。
20. 観測された車道の知覚データサンプルを取得する手順と、
    前記観測された車道の前記知覚データサンプルから車道特徴表現を生成する手順と、
    前記車道特徴表現に前記交通流推論関数を適用することによって、前記観測された車道を通過する複数の潜在的軌道を決定する手順と
    を更に有する、請求項１から１９のいずれか１項に記載のコンピュータプログラム。
21. 前記複数の潜在的軌道を決定する手順は、
    セグメント化された車道に対する車両の位置及び向きを決定する手順と、
    前記複数の潜在的軌道から、前記車両の位置及び向きと一致しない少なくとも１つの潜在的軌道を除外する手順と
    を有する、請求項２０に記載のコンピュータプログラム。
22. 自律運転システムによって、前記複数の潜在的軌道のうちの１つに従って車両を操作する手順を更に有する、請求項２０又は２１に記載のコンピュータプログラム。
23. コンピュータによって実装される方法であって、
    複数の知覚データサンプルを取得する段階であって、各知覚データサンプルが、車道を通過する観測されたサンプル軌道のものである、段階と、
    対応する前記観測されたサンプル軌道の各知覚データサンプルに対して、エンコードされたアクター軌道を有する車道特徴表現を生成する段階と、
    交通流推論関数を作成して、対応する前記車道を通過する複数の潜在的軌道に車道特徴表現を関連付けるべく、前記車道特徴表現に学習プロセスを適用する段階と
    を備える方法。
24. 装置であって、
    複数の知覚データサンプルを取得するように構成された取得セクションであって、各知覚データサンプルが、車道を通過する観測されたサンプル軌道のものである、取得セクションと、
    対応する前記観測されたサンプル軌道の各知覚データサンプルに対して、エンコードされたアクター軌道を有する車道特徴表現を生成するように構成された車道特徴表現生成セクションと、
    交通流推論関数を作成して、対応する前記車道を通過する複数の潜在的軌道に車道特徴表現を関連付けるべく、前記車道特徴表現に学習プロセスを適用するように構成された交通流推論関数作成セクションと
    を備える装置。