JP2019073271A - 自律走行車ポリシー生成 - Google Patents

Abstract

【課題】自動運転車において、効率的な車線変更操縦を安全に行う。【解決手段】自律走行車ポリシー生成システム１００は、訓練を受ける自律走行車の属性セットを生成する状態入力生成装置１０８と、自律走行車、車線の数に関連付けられた道路、及び、シミュレーション環境内の他車両を含むシミュレーション環境をシミュレーションする交通シミュレータ１１２と、ある時間間隔に関して、自律走行車の可能な行動セットのサブセットにマスクを適用することを決定するＱマスカー１１４と、可能な行動セットから残りの行動セットを探索して、残りの行動セットと自律走行車の属性セットとに基づいて、その時間間隔の自律走行車ポリシーを決定する行動生成装置１１６と、を含んでよい。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１７年１０月１２日出願の米国仮特許出願第６２／５７１７１７号（代理人整理番号ＨＲＡ−４３３０３）「ＴＡＣＴＩＣＡＬ ＤＥＣＩＳＩＯＮ ＭＡＫＩＮＧ ＦＯＲ ＬＡＮＥ ＣＨＡＮＧＩＮＧ ＷＩＴＨ ＤＥＥＰ ＲＥＩＮＦＯＲＣＥＭＥＮＴ ＬＥＡＲＮＩＮＧ」の利益を主張し、上記出願書類（複数可）の全体を参照により本明細書に組み込む。

近年、自動運転車に対する関心が高まってきた。しかしながら、自律走行車は、いつ車線変更するか、どのように車線変更するか等、多くの決定に直面する。これらの決定は、多車線またはマルチエージェントの設定または環境で行われることが多い。いずれにしても、自動運転車は、効率的な車線変更操縦を安全に行うことが要求され得る。これは、高速交通の存在下等、多車線の幹線道路の設定または環境で有用であり得る。これらの運転操縦の決定もしくは生成、または、車線変更決定は、例えば、天候や道路状況等、多くの他の要因と共に、自律走行車と他車両の間の相互作用によって難しく、複雑な場合がある。

一態様によると、自律走行車ポリシー生成システムは、状態入力生成装置、交通シミュレータ、Ｑマスカー、及び、行動生成装置を含んでよい。状態入力生成装置は、訓練を受ける自律走行車の属性セットを生成してよい。交通シミュレータは、自律走行車と、車線数に関連付けられた道路と、シミュレーション環境内の他車両とを含むシミュレーション環境をシミュレーションしてよい。Ｑマスカーは、ある時間間隔に関して、自律走行車の可能な行動セットのサブセットにマスクを適用することを決定してよい。行動生成装置は、可能な行動セットから残りの行動セットを探索してよく、残りの行動セットと自律走行車の属性セットとに基づいて、時間間隔に関して、自律走行車ポリシーを決定してよい。残りの行動セットは、マスクされた行動サブセットを除く。

属性セットは、自律走行車の現在速度、自律走行車の車線位置、及び、自律走行車から目標までの距離を含んでよい。目標は、所望の目的地であってよい。自律走行車の可能な行動セットは、時間間隔中の、自律走行車の現在速度の維持、加速、減速、右車線変更、または、左車線変更の自動運転操縦を含んでよい。

Ｑマスカーは、自律走行車とシミュレーション環境の間、もしくは、自律走行車とシミュレーション環境内の他車両との間の所定の許容される相互作用を示す予備知識と、許容される運転操縦を示す交通規則、または、自律走行車の物理的に可能な運転操縦を示す自律走行車の能力に基づいて、行動サブセットにマスクを適用することを決定してよい。

Ｑマスカーは、自律走行車が道路の右端の車線にいる時、右車線変更を行う自動運転操縦を含むように、また、自律走行車が道路の左端の車線にいる時、左車線変更を行う自動運転操縦を含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。Ｑマスカーは、自律走行車と他車両の両方が同じ車線にいて、自律走行車が他車両より第１の閾値距離だけ後ろにいる時、加速の自動運転操縦を含むように、また、自律走行車と他車両の両方が同じ車線にいて、自律走行車が他車両より第２の閾値距離だけ前にいる時、減速の自動運転操縦を含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。

Ｑマスカーは、自律走行車が、他車両の右側、且つ、他車両の車線変更閾値距離内にいる時、左車線変更の自動運転操縦を含むように、また、自律走行車が、他車両の左側、且つ、他車両の車線変更閾値距離内にある時、右車線変更の自動運転操縦を含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。Ｑマスカーは、自律走行車と他車両の間の衝突余裕時間（ＴＴＣ）推定値が閾値ＴＴＣ値未満の時、ＴＴＣ推定値の減少が予測される運転操縦をいずれも含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。

Ｑマスカーは、自律走行車の現在速度が道路の制限速度より速い時、加速を含むように、また、自律走行車の現在速度が道路の最低速度制限より遅い時、減速を含むように、交通規則に基づいて、マスクする行動サブセットを決定してよい。Ｑマスカーは、自律走行車が、道路の二重の車線区分線のすぐ右側にいる時、右車線変更を行う自動運転操縦を含むように、また、自律走行車が、道路の二重の車線区分線のすぐ左側にいる時、左車線変更を行う自動運転操縦を含むように、交通規則に基づいて、マスクする行動サブセットを決定してよい。

行動生成装置は、自律走行車が最終状態に到達するまで、可能な行動セットから残りの行動セットを探索してよく、１つまたは複数の追加の時間間隔に関して、自律走行車ポリシーを決定してよい。行動生成装置は、１つまたは複数の追加の時間間隔に関する１つまたは複数の探索された行動セットを、１つまたは複数の対応する軌道として記憶してよい。行動生成装置は、報酬関数に基づいて、可能な行動セットから残りの行動セットを探索してよく、報酬関数に基づいて、自律走行車ポリシーを決定してよい。報酬関数は、割引係数を含んでよい。

一態様によると、自律走行車ポリシー生成方法は、訓練を受ける自律走行車の属性セットを生成することと、自律走行車と、車線の数に関連付けられた道路と、シミュレーション環境内の他車両を含むシミュレーション環境をシミュレーションすることと、ある時間間隔に関して、自律走行車の可能な行動セットのサブセットにマスクを適用することを決定することと、可能な行動セットから残りの行動セットを探索することと、残りの行動セットと自律走行車の属性セットとに基づいて、時間間隔に関して、自律走行車ポリシーを決定することと、を含む。残りの行動セットは、マスクされた行動サブセットを除く。

属性セットは、自律走行車の現在速度、自律走行車の車線位置、及び、自律走行車から目標までの距離を含んでよい。目標は、所望の目的地であってよい。自律走行車の可能な行動セットは、時間間隔中の、自律走行車の現在速度の維持、加速、減速、右車線変更、または、左車線変更の自動運転操縦を含んでよい。

行動サブセットにマスクを適用することを決定することは、自律走行車とシミュレーション環境の間、もしくは、自律走行車とシミュレーション環境内の他車両との間の所定の許容される相互作用を示す予備知識、許容される運転操縦を示す交通規則、または、自律走行車の物理的に可能な運転操縦を示す自律走行車の能力に基づいてよい。方法は、シミュレーション環境外の自律走行車に対して自律走行車ポリシーを実施することを含んでよい。

一態様によると、自律走行車ポリシー生成システムは、状態入力生成装置、交通シミュレータ、Ｑマスカー、及び、行動生成装置を含んでよい。状態入力生成装置は、訓練を受ける自律走行車の属性セットを生成してよい。交通シミュレータは、自律走行車と、車線の数に関連付けられた道路と、シミュレーション環境内の他車両とを含むシミュレーション環境をシミュレーションしてよい。Ｑマスカーは、ある時間間隔に関して、自律走行車とシミュレーション環境の間、もしくは、自律走行車とシミュレーション環境内の他車両との間の所定の許容される相互作用を示す予備知識、許容される運転操縦を示す交通規則、または、自律走行車の物理的に可能な運転操縦を示す自律走行車の能力に基づいて、自律走行車の可能な行動セットのサブセットにマスクを適用することを決定してよい。行動生成装置は、可能な行動セットから残りの行動セットを探索してよく、残りの行動セットと自律走行車の属性セットとに基づいて、時間間隔に関して、自律走行車ポリシーを決定してよい。残りの行動セットは、マスクされた行動サブセットを除く。

１つまたは複数の態様による、自律走行車ポリシー生成システムの構成要素図である。 １つまたは複数の態様による、自律走行車ポリシー生成方法のフロー図である。 図３Ａは、１つまたは複数の態様による、自律走行車ポリシー生成方法のフロー図である。図３Ｂは、１つまたは複数の態様による、自律走行車ポリシー生成に関連付けられた例示のシミュレーションインタフェースである。 図４Ａ〜図４Ｃは、１つまたは複数の態様による、自律走行車ポリシー生成を実施し得る例示のシナリオである。 １つまたは複数の態様による、本明細書に記載の規定の１つまたは複数を具体化するように構成されたプロセッサ実行可能命令を含むコンピュータ可読媒体またはコンピュータ可読デバイスの例を示す図である。 １つまたは複数の態様による、本明細書に記載の規定の１つまたは複数を実施するコンピューティング環境の例を示す図である。

以下の用語は、本開示を通して使用される。本開示の１つまたは複数の態様を理解する助けとなるように、その用語の定義を記載する。

エージェントは、可能な行動セットから行動（シミュレーションされる行動であってよい）を取ってよい。可能な行動セットは、行動セット（Ａ）として既知であってよい。

環境は、シミュレーション環境、または、エージェントが移動する世界であってよい。

報酬関数（Ｒ）は、取られた（例えば、シミュレーションされた）行動を評価する関数であってよい。

割引係数（γ）は、将来の報酬を掛けて、長期の報酬よりも短期の決定に重みを置いてよい。

値（Ｖ）は、割引係数の効果を含む予測される長期的リターンであってよい。

Ｑ値（Ｑ）は、状態（ｓ）で、ポリシー（π）の下での行動（ａ）の長期的リターンを示す行動値であってよい。

軌道は、一連の状態、及び／または、一連の状態を含む行動であってよい。

ポリシー（π）は、現在の状態に基づいて、エージェントの次の行動を決定するために採用される戦略であってよい。

図１は、１つまたは複数の態様による、自律走行車ポリシー生成システム１００の構成要素図である。自律走行車ポリシー生成システム１００は、プロセッサ１０２、メモリ１０４、ストレージドライブ１０６、状態入力生成装置１０８、交通シミュレータ１１２、Ｑマスカー１１４、及び、行動生成装置１１６を含んでよい。状態入力生成装置１０８、交通シミュレータ１１２、Ｑマスカー１１４、及び、行動生成装置１１６は、プロセッサ１０２、メモリ１０４、及び／または、ストレージドライブ１０６を介して実施されてよい。

自律走行車ポリシー生成システム１００は、シミュレーションを通して、また、Ｑマスキングを通して、自律走行車１２０の自律走行車ポリシーを生成してよく、自律走行車１２０は、例えば、電子制御ユニット（ＥＣＵ）１２２を使用して、自律走行車ポリシーを実施してよい。

状態入力生成装置１０８は、シミュレーションされるように、自律走行車の状態情報を決定または生成する。言い換えると、状態入力生成装置１０８は、自律走行車ポリシー生成に関連するネットワークへの入力の決定を担当する。これらの入力の例は、シミュレーションされる自律走行車内部の状態情報（例えば、シミュレーションされる自律走行車の速度または現在速度）、及び、シミュレーションされる自律走行車の外部の状態情報（例えば、シミュレーションされる自律走行車の車線場所または車線位置、及び、所望の目的地等の目標からの距離）を含む、シミュレーションされる自律走行車の状態を含んでよい。目標は、必ずしも最終目的地でなくてもよく、例えば、ルート上のウェイポイント目的地であってよい。交通シミュレータ１１２は、シミュレーションされる自律走行車と、シミュレーション環境内の１つまたは複数の他車両（例えば、第１の車両、第２の車両、第３の車両等）とを含むシミュレーション環境をシミュレーションしてよい。交通シミュレータ１１２は、他車両が、ある範囲内の速度を維持するように制御するように構成されてよい。

目標までの距離は、シミュレータへの入力として考慮されるので、交通のうち、多車線の幹線道路等の運転シナリオ中にある時、戦略レベルの長期的決定に関する推論が、考慮されてよい。

一態様によると、交通シミュレータ１１２は、シミュレーション環境内の他車両を、シミュレーションされる自律走行車（例えば、エージェント）との衝突ではなく、互いの衝突を回避するように制御してよい。Ｑマスカー１１４は、低レベルコントローラを介して実施されてよく、深層Ｑ学習システムの一部であってよい。深層Ｑ学習システムは、自律走行車が戦略レベルについて決定するのを可能にするポリシーを学習する。深層Ｑ学習システムは、状態と、可能な行動のそれぞれに関連付けられたＱ値とのマッピングを学習してよい。言い換えると、交通シミュレータ１１２は、深層Ｑ学習システムを用いて、Ｑマスカー１１４を適用しなければ、各時間枠の可能な行動全てのシミュレーションに進み、これは、多大な計算能力を利用する場合がある。よって、各行動及びあらゆる行動を探索する完全なポリシーを学習することは、大きいネットワークを訓練するには難しい場合がある。

Ｑ学習ネットワークにおいては、状態と、各行動に関連付けられたＱ値との間のマッピングが学習されてよい。一態様によると、Ｑマスキングが、ｍａｘ（または、ｓｏｆｔ ｍａｘ）演算子の前に、出力されるＱ値に適用されるマスクの形でＱ値の出力層に適用されて、「最適な」行動を選んでよい。これに関して、Ｑマスカー１１４の直接効果は、ｍａｘ演算を行って、「最適な」行動を選ぶとき、低レベルモジュールによって指示された行動サブセットに関連付けられたＱ値のみを考慮することである。

従って、Ｑマスカー１１４は、交通シミュレータ１１２によってシミュレーションされる出力Ｑ値のサブセットをマスクしてよい。よって、行動の残りのサブセットに関連付けられたＱ値のみが、シミュレーション中、交通シミュレータ１１２よって考慮され、それによって、自律走行車ポリシー生成において、自律走行車のシミュレーション及び訓練中に利用される処理能力量、及び／または、コンピューティングリソースを軽減する。行動の残りのサブセット（例えば、可能な行動セットから、マスクされたサブセットを除いた行動サブセット）に基づいて、行動生成装置１１６は、残りの行動を探索してよく、それに従って、自律走行車ポリシーを決定してよい。これは、１つまたは複数の時間間隔にわたって繰り返されてよい。そうすることによって、Ｑマスカー１１４は、シミュレーションされる自律走行車に、マスクされていない状態のみを「強制的に」探索させてよく、従って、状態（ｓ）におけるポリシー（π）の下での行動（ａ）の長期的リターンを示す）関連するＱ値の空間のサブセットのみを学習してよい。

より詳細には、状態入力生成装置１０８は、訓練を受ける自律走行車（例えば、シミュレーションされる自律走行車）の属性セットを生成してよい。例えば、属性セットは、自律走行車の現在速度ｖ、自律走行車の車線位置ｌ、及び、自律走行車から目標までの距離ｄ２ｇを含んでよい。目標は、所望の目的地であってよい。さらに、車両の属性セットまたは位置情報は、占有グリッドとして表されてよい。属性セットは、自律走行車の状態（Ｓ）またはシナリオを示す、または、表す状態情報であってよい。例えば、掲示された制限速度、または、最低速度制限ｖ_ｍｉｎ及び最高速度制限ｖ_ｍａｘ等の情報は、自律走行車の位置または場所に基づいて決定されてよい。

交通シミュレータ１１２は、自律走行車と、車線の数に関連付けられた道路と、シミュレーション環境内の１つまたは複数の他車両とを含むシミュレーション環境をシミュレーションしてよい。交通シミュレータ１１２は、交通密度で交通を生成してよく、各車線は、ある時間間隔で、スタート位置に車両を出す確率Ｐ_ｌａｎｅを割り当てられてよく、他車両は、ランダムスタート速度、ランダム目標速度、及び、ランダム目標速度からとどまる範囲に関連付けられてよい。交通シミュレータ１１２は、シミュレーションされる自律走行車との衝突ではなく、互いの衝突を回避するように、他車両を制御するモデルを使用してよい。一態様によると、交通シミュレータ１１２は、シミュレーションされる自律走行車を制御せず、シミュレーション環境内の他車両を、（シミュレーションされる自律走行車とではなく）、互いに衝突することだけを回避するように制御する。

交通シミュレータ１１２は、深層Ｑ学習システムであってよく、シミュレーションされる自律走行車の状態入力生成属性と、交通シミュレータ１１２によって提供されるシミュレーション環境とに基づいて、強化学習を実施する。交通シミュレータ１１２によって管理されるシミュレーション環境内において、シミュレーションされる自律走行車は、エージェントであってよく、エージェントは、可能な行動セットからシミュレーションする行動を取ってよい。可能な行動セットは、行動セット（Ａ）として既知であってよい。例えば、自律走行車の可能な行動セットは、時間間隔中の、自律走行車の現在速度の維持、加速、減速、右車線変更、または、左車線変更の自動運転操縦を含む。

シミュレーション環境は、シミュレーションされる自律走行車が移動する世界または環境であってよい。交通シミュレータ１１２は、シミュレーションされる環境をシミュレーションし、シミュレーションされる自律走行車の（例えば、所与の時間間隔に関する）現在の状態と行動を入力として使用し、シミュレーションされた自律走行車の下記の報酬と次の状態とを出力として返信する。例えば、交通シミュレータ１１２は、車両の現在の状態（例えば、５０ｍｐｈ）と行動（例えば、減速）を取得してよく、物理学法則を適用して、シミュレーションされる自律走行車の次の状態（例えば、４５ｍｐｈ）を決定してよい。

交通シミュレータ１１２は、取られた（例えば、シミュレーションされた）行動を評価する関数であってよい報酬関数（Ｒ）を利用してよい。言い換えると、報酬関数を利用して、成功または失敗を測ってよい。例えば、シミュレーションされる自律走行車が、目標（例えば、所望の目的地）に到着しない場合、または、衝突に巻き込まれる場合、報酬関数は、現在の状態（例えば、目標に到着しないこと、または、衝突）に至るシミュレーションされた行動に罰則を与えてよい。逆に、報酬関数は、目標までの最速の時間または最速のルートに基づいて、報酬を与えてよい。報酬は、報酬関数に基づいて、すぐに与えられてもよく、または、遅らされてもよい。報酬関数によって与えられる報酬は、所与の目標（例えば、出口ランプへの到達）に基づいて、強化学習が生じるのを可能にする。

割引係数（γ）に、将来の報酬を掛けて、長期の報酬より短期の決定に重みを置いてよい。言い換えると、割引係数を使用して、将来の報酬は、即時の報酬より価値が無いようにしてよい。これに関して、値（Ｖ）は、割引効果を含む予測される長期的リターンであってよい。Ｑ値（Ｑ）は、行動値であってよく、行動値は、状態（ｓ）でポリシー（π）の下での行動（ａ）の長期的リターンを示す。軌道は、一連の状態、及び／または、一連の状態を含む行動であってよい。ポリシー（π）または自律走行車ポリシーは、行動生成装置１１６が、（例えば、自律走行車の属性セットによって示される）現在の状態に基づいて、自律走行車の次の行動を決定するために使用または採用する戦略であってよい。

一態様によると、報酬関数は、以下のようであってよい。

ここで、ｌは、車線であり、その車線内で、シミュレーションされる自律走行車は、スタート位置から目標距離Ｄにある。

よって、この報酬関数に従うと、正の最終報酬が、成功（例えば、目標到達）に対して与えられ、シミュレーションされる自律走行車が目標の車線から最終的に離れれば離れるほど、負の最終的報酬が増える。割引係数は、シミュレーションされる自律走行車が最短の時間量、または、最小の時間間隔数で目標に到達すること（すなわち、最高の平均速度を維持すること）を促進してよい。さらに、衝突は、訓練中は決して許されないので、報酬関数は、衝突を考慮する必要はなく、報酬関数を単純化する。

例えば、状態を所与とすると、Ｑマスカー１１４は、エージェントまたはシミュレーションされる自律走行車が、その結果を探索する必要がない、または、その結果から学習する必要のない行動セットはいずれも、制限してよい、または、「マスクで取り除いて」よい。言い換えると、シミュレーションされる自律走行車が、左端の車線にいる場合、左車線変更行動を取ることは、幹線道路を離れることになる。よって、Ｑマスカー１１４は、このような状態では、左車線変更行動が決して選択されないように、左行動に関連付けられたＱ値をマスクする。これは、システムに関する予備知識（すなわち、この例では、幹線道路路肩）を学習プロセスに直接、組み込むのを可能にする。そうすると、幹線道路から離れることに対する負の報酬は、設定する必要がないので、報酬関数を単純化する。

また、行動生成装置１１６が、これらの状態を探索しないので、学習自体が、より速く、より効率的になる。行動生成装置１１６が学習することになるのは、完全なセットではなく、Ｑ値の実際の空間のサブセットである。システムへの制約も、同様に組み込まれてよい。例えば、自律走行車が、最高速度ｖ_ｍａｘで運転している場合、加速行動は、マスクされてよい（または、最低速度ｖ_ｍｉｎの場合、減速行動はマスクされる）。このように、行動生成装置１１６は、幹線道路または道路の制限速度の学習に、時間を費やす必要はない。

Ｑマスカー１１４は、ある時間間隔に関して、自律走行車の可能な行動セットのサブセットにマスクを適用することを決定してよい。これらのマスクされた行動セットは、行動生成装置１１６によって探索されず、考慮もされないので、自律走行車ポリシー生成のためにシステムが利用する計算リソース（例えば、処理能力、メモリ、ストレージ等）の量を軽減する。

一態様によると、Ｑマスカー１１４は、予備知識、１つまたは複数の交通規則、低レベルコントローラからの制約もしくは情報、または、自律走行車の能力に基づいて、マスクを適用することを決定してよい。予備知識は、自律走行車とシミュレーション環境の間、または、自律走行車とシミュレーション環境内の他車両との間の所定の許容される相互作用を示してよい。言い換えると、Ｑマスカー１１４は、予備知識を利用して、例えば、シミュレーションされる自律走行車と他車両との衝突を生じ得る行動、衝突余裕時間（ＴＴＣ）を増加させ得る行動、シミュレーションされる自律走行車を道路から外れさせ得る行動、または、所望の運転閾値もしくは範囲の外になり得る行動をマスクしてよい。

交通規則は、車両の場所または現在位置に基づいて、許容される運転操縦を示してよい。例えば、交通規則は、最高速度制限と、最低速度制限と、急ハンドルを切らない、停止無しにダブルレーンチェンジを行わない、他のドライバの「行く手を遮る」運転を行わない等の運転エチケットとを含んでよい。言い換えると、Ｑマスカー１１４は、自律走行車の現在速度が、道路の制限速度より速い時、加速することを含むように、また、自律走行車の現在速度が、道路の最低速度制限より遅い時、減速することを含むように、交通規則に基づいて、マスクする行動サブセットを決定してよい。このように、最低速度制限ｖ_ｍｉｎ及び最高速度制限ｖ_ｍａｘを破り得る加速行動及び減速行動は、Ｑマスカー１１４によってマスクされてよい。

他の交通規則は、二重の車線区分線では追い越さないことを含んでよい。例えば、Ｑマスカー１１４は、自律走行車が、道路の二重の車線区分線のすぐ右にいる時、右車線変更を行う自動運転操縦を含むように、また、自律走行車が、道路の二重の車線区分線のすぐ左にいる時、左車線変更を行う自動運転操縦を含むように、交通規則に基づいて、マスクする行動サブセットを決定してよい。

さらに、自律走行車の能力は、自律走行車の物理的に可能な運転操縦を示してよい。例えば、自律走行車が、既に最高速度で運転している場合、加速は、可能でないので、加速行動は、Ｑマスカー１１４によってマスクされてよい。

Ｑマスカー１１４によってマスクされ得る他の行動の例は、自律走行車が道路を外れるような車線変更を含む。言い換えると、Ｑマスカー１１４は、自律走行車が、道路の右端の車線にいる時、右車線変更を行う自動運転操縦を含むように、また、自律走行車が、道路の左端の車線にいる時、左車線変更を行う自動運転操縦を含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。

同様に、Ｑマスカー１１４は、他車両に向かっての加速または減速に関連する行動をマスクしてよい。例えば、Ｑマスカー１１４は、自律走行車と他車両の両方が同じ車線にいて、自律走行車が、他車両より第１の閾値距離だけ後ろにいる時、加速の自動運転操縦を含むように、また、自律走行車と他車両の両方が同じ車線にいて、自律走行車が、他車両より第２の閾値距離だけ前にいる時、減速の自動運転操縦を含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。

一態様によると、Ｑマスカー１１４は、他の閾値に基づいて、シミュレーションされる自律走行車の行動をマスクしてよい（例えば、車線変更閾値距離に基づいて車線変更を無くす、または、あるシナリオにおいて、衝突余裕時間（ＴＴＣ）推定値の減少が予測される行動を無くす）。例えば、Ｑマスカー１１４は、自律走行車が、他車両の右側、且つ、他車両の車線変更閾値距離内にいる時、左車線変更の自動運転操縦を含むように、また、自律走行車が、他車両の左側、且つ、他車両の車線変更閾値距離内にある時、右車線変更の自動運転操縦を含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。Ｑマスカー１１４は、自律走行車と他車両の間のＴＴＣ推定値が閾値ＴＴＣ値未満の時、ＴＴＣ推定値の減少が予測される運転操縦をいずれも含むように、予備知識に基づいて、マスクする行動サブセットを決定してよい。

このように、Ｑマスカー１１４は、多くの利益及び／または長所を提供する。例えば、Ｑマスキングを用いて、報酬関数を単純化することによって、深層Ｑ学習をより速く、より効率的にしてよい。言い換えると、報酬関数は、交通シミュレータ１１２及び行動生成装置１１６によって実施されるように、学習プロセス（例えば、ネットワークの訓練）に予備知識を直接、組み込むことによって、単純化されてよい。Ｑマスカー１１４は、予備知識に基づいて行動をマスクするので、負の報酬関数を必要とせず、よって、報酬関数を単純化する。Ｑマスキングを用いることによって、Ｑマスカー１１４は、訓練中またはテスト中の衝突を軽減または除き得るので、必ずしもシミュレーション下ではなく、実際のシステムで直接、訓練を行うことを可能にする。言い換えると、Ｑマスカー１１４は、実際の自律走行車での自律走行車の訓練実施を可能にし得る。よって、一態様によると、交通シミュレータ１１２は、代わりに、１つまたは複数の他車両（例えば、第１の車両、第２の車両、第３の車両等、また、速度、位置、車線場所、方向指示器等の１つまたは複数の関連する属性）を検出するセンサと置き換えられてよい。

行動生成装置１１６は、可能な行動セットから残りの行動セットを探索してよく、（例えば、マスクされた行動サブセットを除く）残りの行動セットと、自律走行車の属性セットとに基づいて、時間間隔に関して、自律走行車ポリシーを決定してよい。行動生成装置１１６は、自律走行車が最終状態（例えば、目標または所望の目的地）に到達するまで等、可能な行動セットから残りの行動セットを探索してよく、１つまたは複数の追加の時間間隔に関して、自律走行車ポリシーを決定してよい。ここで、行動生成装置１１６は、１つまたは複数の追加の時間間隔に関連する探索された行動セットの１つまたは複数を、１つまたは複数の対応する軌道として記憶してよい。上記のように、軌道は、一連の状態、及び／または、一連の状態を含む行動であってよい。

行動生成装置１１６は、報酬関数に基づいて、可能な行動セットから残りの行動セットを探索してよく、また、報酬関数に基づいて、自律走行車ポリシーを決定してよい。報酬関数は、割引係数を含んでよい。訓練及び／またはシミュレーションを通して、行動生成装置１１６は、自律走行車ポリシーを学習してよく、自律走行車ポリシーは、ストレージドライブ１０６に記憶されてよく、車両１２０に通信されてよく、また、車両ＥＣＵ１２２を介して実施されて、自動運転を容易にしてよい。

訓練中、ｅｐｓｉｌｏｎ−ｇｒｅｅｄｙ（エプシロングリーディ）法で行動を取ってよく、Ｅは、焼きなまされてよい。行動生成装置１１６は、最終状態までの完全な軌道をシミュレーションしてよく、その軌道を、良い、または、悪いとして、分類してよい（すなわち、良いバッファは、衝突に巻き込まれず、制限速度を超えず等、目標に到達するシミュレーションされる自律走行車に関連付けられる）。他の言い方で説明すると、全ての推移（すなわち、成功した軌道からの状態、行動、及び、報酬タプルは、良いバッファに保存され、失敗した（すなわち、目標に到達しない）軌道からの推移は、悪いバッファに保存される。

任意の推移に関して、予測される報酬が、最終報酬から、以下の式によって、逆算されてよい。

ここで、γは、割引係数である。

ネットワークは、以下の損失関数を用いて、良いバッファ及び悪いバッファから等しくサンプリングされた推移のミニバッチを用いて、最適化されてよい。

２つの異なるバッファによって、探索が常に失敗した軌道につながり得る時、成功した実行への十分な暴露の維持を支援し、それによって、ネットワークが、極小値でスタックするのを回避する。

このように、自律走行車ポリシー生成システム１００は、高レベルの戦略的意思決定に深層強化学習の強みを活用し、従来の最適化または規則ベースの方法を用いて高レベルポリシーを公式化することは難しいが、よく設計された低レベルコントローラ（例えば、Ｑマスカー１１４を実施するコントローラ）が利用できる問題に対して、エンドツーエンドの完全なポリシー学習より構造化され、データ効率の良い代替を実証するフレームワークを提供する。自律走行車ポリシー生成システム１００は、低レベルコントローラとの緊密な一体化を維持しながら、深層強化学習を用いて、戦略的意思決定のための高レベルポリシーを取得する。

自動運転車両（例えば、自律走行車）の自動車線変更意思決定にこのフレームワークを適用して、ネットワークは、高レベルの戦略的意思決定ポリシーを学習してよい。グリーディベースライン及び人間ドライバに対する実験結果によって、本明細書に記載の自律走行車ポリシー生成システム１００及び方法は、より効率が良く、また、（例えば、衝突を除くことによって）ずっと低い衝突率という両方で、性能的に優れていることが分かった。グリーディベースラインは、自律走行車が、正しい車線に来るまで、右車線変更を行うことを優先し、次に、制限速度内にとどまりながら、他車両と衝突せずに、できるだけ速く進むというポリシーであってよい。

一態様によると、状態入力生成装置１０８は、閉塞に留意してよく、交通シミュレータ１１２は、確率的占有グリッドを提供してよい。さらに、交通シミュレータ１１２は、占有グリッドの履歴を、前の時間間隔から、別個のチャネルとして受信してよい。

図２は、１つまたは複数の態様による、自律走行車ポリシー生成方法２００のフロー図である。２０２において、自律走行車の属性セットを生成する。属性セットは、自律走行車の現在速度と、自律走行車の車線位置と、自律走行車から目標までの距離とを含んでよく、目標は、所望の目的地である。２０４において、交通シミュレーションを行う。例えば、シミュレーション環境は、自律走行車と、車線の数に関連付けられた道路と、シミュレーション環境内の他車両とを含んでよい。

２０６において、マスクが、行動サブセットに対して決定される。マスクは、自律走行車とシミュレーション環境の間、もしくは、自律走行車とシミュレーション環境内の他車両との間の所定の許容される相互作用を示す予備知識、許容される運転操縦を示す交通規則、または、自律走行車の物理的に可能な運転操縦を示す自律走行車の能力に基づいて、決定されてよい。

２０８において、マスクされていない残りの行動セットが探索される。言い換えると、シミュレーションは、残りの行動セットに関連付けられた全ての可能な結果を探索して、これらを良いと悪いの２つのクラスにソートしてよい。ここで、良いは、シミュレーションされる自律走行車が、目標に到達することに関連付けられ、悪いは、シミュレーションされる自律走行車が、目標に到達しないことに関連付けられる。２１０において、自律走行車ポリシーが、報酬関数または割引係数に基づいて等、決定される。割引係数は、時間、将来の報酬対現在の報酬等を考慮する。

図３Ａは、１つまたは複数の態様による、例示の自律走行車ポリシー生成方法のフロー図である。履歴を有する占有グリッドが、１つの畳み込み層を通って渡され、平らにされ、スカラ入力１０８を有する完全接続層の出力と連結されてよい。連結は、完全接続層を通って渡され、５つの戦略的行動に関連付けられた５つのＱ値が最終的に出力される。図３Ａに示すように、Ｑマスキング１１４が、Ｑ値とｍａｘ演算との間に挿入されて、行動１１６を決定し、それによって、事前情報を組み込むので、探索を通したゼロからの学習を行う必要はない。ｍａｘ演算は、行動を選択するためのＱ値に対するｍａｘまたはｓｏｆｔ−ｍａｘ演算であってよい。

図３Ｂは、１つまたは複数の態様による、自律走行車ポリシー生成に関連する例示のシミュレーションインタフェースである。上記のように、自律走行車の可能な行動セットは、時間間隔中の、自律走行車の現在速度（例えば、「Ｎ」、または、運転されていない）の維持、加速（Ａ）、減速（Ｄ）、右車線変更（Ｒ）、または、左車線変更（Ｌ）の自動運転操縦を含む。

図４Ａ〜図４Ｃは、１つまたは複数の態様による、自律走行車ポリシー生成を実施し得る例示のシナリオである。例示の一態様による、シミュレーションされる自律走行車が、制限速度を守り、衝突等を回避しながら、図４Ａに示すように、最小の時間量で右端の車線の出口に到達することを課される。図４Ａにおいて、自律走行車は、出口から目標までの距離ｄ２ｇにある。シミュレーションされる自律走行車が、出口（例えば、このシナリオにおける目標）に到達しない場合、これは、行動生成装置１１６または交通シミュレータ１１２によって失敗とみなされる。目標までの距離が、低レベルコントローラからの制約情報の予備知識等の情報と共に考慮されているので、高レベル及び低レベルの両方の考慮事項が、考慮されている。

図４Ｂにおいて、自律走行車またはエージェントが、位置４０２にいる場合、自律走行車が既に道路の左端の車線にいるので、左車線変更行動は、Ｑマスカー１１４によってマスクされてよい。同様に、自律走行車が位置４０４にいる時、加速行動は、Ｑマスカー１１４によってマスクされてよく、自律走行車が位置４０６にいる時、減速行動は、Ｑマスカー１１４によってマスクされてよい。これらの加速行動及び減速行動は、それぞれ、他車両までの閾値距離に基づいてマスクされてよい。

図４Ｃにおいて、２つの異なる軌道４１０及び４２０を示す。Ｑマスカー１１４が、各軌道に関わる意思決定のリスクの大半を既に軽減しているので、行動生成装置は、より高い報酬（例えば、時間が速い）に関連付けられた軌道を選択してよい。

さらに別の態様は、本明細書に提示の技術の１つまたは複数の態様を実施するように構成されたプロセッサ実行可能命令を含むコンピュータ可読媒体を伴う。このように考案されたコンピュータ可読媒体またはコンピュータ可読デバイスの態様を図５に示す。図５において、実際態様５００は、ＣＤ−Ｒ、ＤＶＤ−Ｒ、フラッシュドライブ、ハードディスクドライブのプラッタ等、コンピュータ可読媒体５０８を含み、コンピュータ可読媒体５０８上にコンピュータ可読データ５０６が符号化されている。そして、コンピュータ可読データ５０６に示すように複数のゼロと１を含むバイナリデータ等のこのコンピュータ可読データ５０６は、本明細書に記載の原理の１つまたは複数に従って演算するように構成されたプロセッサ実行可能コンピュータ命令５０４のセットを含む。このような一態様５００において、プロセッサ実行可能コンピュータ命令５０４は、図２の方法２００等、方法５０２を行うように構成されてよい。別の態様において、プロセッサ実行可能コンピュータ命令５０４は、図１のシステム１００等、システムを実施するように構成されてよい。本明細書に提示の技術に従って動作するように構成された多くのこのようなコンピュータ可読媒体が、当業者によって考案されてよい。

本出願書で使用される場合、「構成要素」「モジュール」「システム」「インタフェース」等の用語は、一般的に、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または、実行中のソフトウェア等、コンピュータ関連の実体を指すことを意図している。例えば、構成要素は、プロセッサで実行中のプロセス、マイクロプロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、または、コンピュータであってよいが、これらに限らない。例を挙げると、コントローラ上で実行しているアプリケーションもコントローラも両方とも、構成要素であってよい。プロセスまたは実行スレッド内に常駐する１つまたは複数の構成要素、及び、ある構成要素は、１つのコンピュータに配置されてもよく、２つ以上のコンピュータに分散されてもよい。

さらに、特許を請求している主題は、標準的プログラミング技術またはエンジニアリング技術を用いた方法、装置、または、製品として実施されて、開示の主題を実施するようにコンピュータを制御するソフトウェア、ファームウェア、ハードウェア、または、これらの任意の組み合わせを生成する。本明細書では「製品」という用語は、任意のコンピュータ可読デバイス、搬送波、または、媒体からアクセス可能なコンピュータプログラムを含むものとする。特許を請求する主題の範囲や趣旨を逸脱することなく、この構成に多くの修正が行われてよいことは、当然である。

図６と以下の記述は、本明細書に記載の規定の１つまたは複数の態様を実施するのに適したコンピューティング環境を記載したものである。図６の動作環境は、適切な動作環境のほんの一例であり、動作環境の使用または機能の範囲への制限を意図したものではない。コンピューティングデバイスの例は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、携帯電話等のモバイルデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、メディアプレーヤ等、マルチプロセッサシステム、家電、ミニコンピュータ、メインフレームコンピュータ、上記システム、デバイス等のいずれかを含む分散コンピューティング環境を含むが、これらに限らない。

一般的に、態様は、１つまたは複数のコンピューティングデバイスによって実行されている「コンピュータ可読命令」の一般的な文脈で記載される。コンピュータ可読命令は、下記のように、コンピュータ可読媒体を介して分散されてよい。コンピュータ可読命令は、１つまたは複数のタスクを実行する、または、１つまたは複数の抽象データ型を実施する、関数、オブジェクト、アプリケーションプログラミングインタフェース（ＡＰＩ）、データ構造等、プログラムモジュールとして実施されてよい。典型的に、コンピュータ可読命令の機能は、様々な環境において、所望のように、組み合わされる、または、分散される。

図６は、本明細書で提供する１つまたは複数の態様を実施するように構成されたコンピューティングデバイス６１２を含むシステム６００を示す。一つの構成においては、コンピューティングデバイス６１２は、少なくとも１つの処理ユニット６１６とメモリ６１８とを含む。コンピューティングデバイスの正確な構成と種類に応じて、メモリ６１８は、ＲＡＭ等、揮発性、ＲＯＭ、フラッシュメモリ等、不揮発性、または、それら２つの組み合わせであってよい。この構成は、図６に破線６１４によって示される。

他の態様においては、コンピューティングデバイス６１２は、追加の特徴または機能を含む。例えば、コンピューティングデバイス６１２は、磁気ストレージ、光学ストレージ等を含むが、これらに限らない、リムーバブルストレージまたはノンリムーバブルストレージ等の追加のストレージを含んでよい。このような追加のストレージは、図６にストレージ６２０によって示す。１つまたは複数の態様において、本明細書で提供された１つまたは複数の態様を実施するコンピュータ可読命令は、ストレージ６２０内にある。ストレージ６２０は、オペレーティングシステム、アプリケーションプログラミング等を実施する他のコンピュータ可読命令を記憶してよい。コンピュータ可読命令は、例えば、処理ユニット６１６によって実行されるために、メモリ６１８にロードされてよい。

本明細書で使用される「コンピュータ可読媒体」という用語は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、コンピュータ可読命令または他のデータ等の情報を記憶するための任意の方法または技術で実施される揮発性及び不揮発性、リムーバブル及びノンリムーバブルの媒体を含む。メモリ６１８とストレージ６２０は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは、他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは、他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは、他の磁気記憶装置、または、所望の情報の記憶に使用してよく、且つ、コンピューティングデバイス６１２によってアクセス可能な任意の他の媒体を含むが、これらに限らない。このようなコンピュータ記憶媒体は、いずれも、コンピューティングデバイス６１２の一部である。

「コンピュータ可読媒体」という用語は、通信媒体を含む。通信媒体は、典型的に、搬送波または他の伝達機構等、「変調データ信号」の形でコンピュータ可読命令または他のデータを実現し、任意の情報伝達媒体を含む。「変調データ信号」という用語は、その特徴の１つまたは複数が信号に情報を符合化するように設定または変更された信号を含む。

コンピューティングデバイス６１２は、キーボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置、または、任意の他の入力装置等、入力装置（複数可）６２４を含む。１つまたは複数のディスプレイ、スピーカ、プリンタ、もしくは、任意の他の出力装置等、出力装置（複数可）６２２が、コンピューティングデバイス６１２に含まれてよい。入力装置（複数可）６２４と出力装置（複数可）６２２は、有線接続、無線接続、または、それらの任意の組み合わせを介して、コンピューティングデバイス６１２に接続されてよい。１つまたは複数の態様において、他のコンピューティングデバイスの入力装置または出力装置が、コンピューティングデバイス６１２の入力装置（複数可）６２４または出力装置（複数可）６２２として使用されてよい。コンピューティングデバイス６１２は、例えば、ネットワーク６２８を通して等、１つまたは複数の他の装置６３０との通信を容易にする通信接続（複数可）６２６を含んでよい。

構造的特徴または方法論的行為に固有の言葉で主題を記載したが、添付の請求項の主題は、上記特定の特徴または行為に必ずしも限定されないことを理解されたい。むしろ、上記特定の特徴及び行為は、例示の態様として開示した。

態様の様々な動作を本明細書に記載した。動作の１つまたは複数または全てを記載した順番は、これらの動作が必ず順番に依存していることを示唆していると解釈すべきではない。この記載に基づいて、代わりの順番も認められる。さらに、本明細書で提供した各態様に、全ての動作が必ずしも存在しなくてもよい。

本出願書で使用される場合、「または（もしくは）」は、排他的な「または（もしくは）」ではなく、非排他的な「または（もしくは）」を意味するものとする。さらに、非排他的な「または（もしくは）」は、任意の組み合わせ（例えば、Ａ、Ｂ、または、Ａ、Ｂの任意の組み合わせ）を含んでよい。さらに、本出願書で使用される「ａ」及び「ａｎ」は、別段の記載のない限り、または、単数形を指すと文脈から明らかでない限り、一般的に、「１つまたは複数」を意味すると解釈される。さらに、Ａ及びＢの少なくとも１つ等は、一般的に、Ａ、または、Ｂ、または、ＡとＢの両方を意味する。さらに、「ｉｎｃｌｕｄｅｓ（含む）」「ｈａｖｉｎｇ（有する）」「ｈａｓ（有する）」「ｗｉｔｈ（有する）」、または、これらの変形が、詳細な説明または請求項で使用される場合、このような用語は、「ｃｏｍｐｒｉｓｉｎｇ（含む）」という語と同様に、非排他的であることを意図している。

さらに、別段の記載がない限り、「第１の」「第２の」等は、時間的側面、空間的側面、または、順番等を示唆する意図はない。むしろ、このような用語は、特徴、要素、項目等を識別するもの、名称等として使用されているだけである。例えば、第１のチャネルと第２のチャネルは、一般的に、チャネルＡとチャネルＢ、または、２つの異なるもしくは２つの同一のチャネル、または、同じチャネルに対応する。さらに、「ｃｏｍｐｒｉｓｉｎｇ（含む）」「ｃｏｍｐｒｉｓｅｓ（含む）」「ｉｎｃｌｕｄｉｎｇ（含む）」「ｉｎｃｌｕｄｅｓ（含む）」等は、一般的に、「ｃｏｍｐｒｉｓｉｎｇ（含む）」または「ｉｎｃｌｕｄｉｎｇ（含む）」を意味するが、これらに限らない。

様々な上記に開示した、及び、他の特徴及び機能、または、それらの代替もしくは変形は、多くの他の異なるシステムまたは用途に組み込まれることが望ましいことは理解されよう。また、現在は予見または予測されていないこれらの様々な代替、変形、または、改良が、今後、当業者によって行われるであろうが、これらも、また、以下の請求項に含まれるものとする。

１００ 自律走行車ポリシー生成システム
１０２ プロセッサ
１０４ メモリ
１０６ ストレージドライブ
１０８ 状態入力生成装置
１１２ 交通シミュレータ
１１４ Ｑマスカー
１１６ 行動生成装置
１２０ 自律走行車
１２２ 電子制御ユニット（ＥＣＵ）
４０２ 位置
４０４ 位置
４０６ 位置
４１０ 軌道
４２０ 軌道
５００ 実際態様
５０２ 方法
５０４ プロセッサ実行可能コンピュータ命令
５０６ コンピュータ可読データ
５０８ コンピュータ可読媒体
６００ システム
６１２ コンピューティングデバイス
６１４ 破線
６１６ 処理ユニット
６１８ メモリ
６２０ ストレージ
６２２ 出力装置
６２４ 入力装置
６２６ 通信接続
６２８ ネットワーク
６３０ 装置

Claims (20)

1. 訓練を受ける自律走行車の属性セットを生成する状態入力生成装置と、
   自律走行車と、車線の数に関連付けられた道路と、シミュレーション環境内の他車両とを含む前記シミュレーション環境をシミュレーションする交通シミュレータと、
   ある時間間隔に関して、前記自律走行車の可能な行動セットのサブセットにマスクを適用することを決定するＱマスカーと、
   前記可能な行動セットから残りの行動セットを探索し、前記残りの行動セットと、前記自律走行車の前記属性セットとに基づいて、前記時間間隔に関して自律走行車ポリシーを決定する行動生成装置と、
   を含む、自律走行車ポリシー生成システムであって、
   前記残りの行動セットは、前記マスクされた行動サブセットを除く、
   前記自律走行車ポリシー生成システム。
2. 前記属性セットは、前記自律走行車の現在速度と、前記自律走行車の車線位置と、前記自律走行車から目標までの距離とを含み、前記目標は、所望の目的地である、請求項１に記載の自律走行車ポリシー生成システム。
3. 前記自律走行車の前記可能な行動セットは、前記時間間隔中の、前記自律走行車の現在速度の維持、減速、加速、右車線変更、または、左車線変更の自動運転操縦を含む、請求項１に記載の自律走行車ポリシー生成システム。
4. 前記Ｑマスカーは、前記自律走行車と前記シミュレーション環境の間、もしくは、前記自律走行車と、前記シミュレーション環境内の前記他車両との間の所定の許容される相互作用を示す予備知識、許容される運転操縦を示す交通規則、または、前記自律走行車の物理的に可能な運転操縦を示す前記自律走行車の能力に基づいて、前記行動サブセットにマスクを適用することを決定する、請求項１に記載の自律走行車ポリシー生成システム。
5. 前記Ｑマスカーは、前記予備知識に基づいて、
   前記自律走行車が前記道路の右端の車線にいる時、右車線変更を行う自動運転操縦と、
   前記自律走行車が前記道路の左端の車線にいる時、左車線変更を行う自動運転操縦と
   を含むように、前記マスクする行動サブセットを決定する、
   請求項４に記載の自律走行車ポリシー生成システム。
6. 前記Ｑマスカーは、前記予備知識に基づいて、
   前記自律走行車と前記他車両の両方が、同じ車線にいて、前記自律走行車が、前記他車両から第１の閾値距離だけ後ろにいる時、加速する自動運転操縦と、
   前記自律走行車と前記他車両の両方が、同じ車線にいて、前記自律走行車が、前記他車両から第２の閾値距離だけ前にいる時、減速する自動運転操縦と、
   を含むように、前記マスクされた行動サブセットを決定する、
   請求項４に記載の自律走行車ポリシー生成システム。
7. 前記Ｑマスカーは、前記予備知識に基づいて、
   前記自律走行車が前記他車両の右側にいて、前記他車両の車線変更閾値距離内にいる時、左車線変更の自動運転操縦と、
   前記自律走行車が前記他車両の左側にいて、前記他車両の前記車線変更閾値距離内にいる時、右車線変更の自動運転操縦と
   を含むように、前記マスクする行動サブセットを決定する、
   請求項４に記載の自律走行車ポリシー生成システム。
8. 前記Ｑマスカーは、前記自律走行車と前記他車両の間の衝突余裕時間（ＴＴＣ）推定値が閾値ＴＴＣ値未満の時、前記ＴＴＣ推定値の減少が予測される運転操縦をいずれも含むように、前記予備知識に基づいて、前記マスクする行動サブセットを決定する、請求項４に記載の自律走行車ポリシー生成システム。
9. 前記Ｑマスカーは、前記交通規則に基づいて、
   前記自律走行車の現在速度が、前記道路の制限速度より速い時、加速と、
   前記自律走行車の前記現在速度が、前記道路の最低速度制限より遅い時、減速と、
   を含むように、前記マスクする行動サブセットを決定する、
   請求項４に記載の自律走行車ポリシー生成システム。
10. 前記Ｑマスカーは、前記交通規則に基づいて、
    前記自律走行車が、前記道路の二重の車線区分線のすぐ右にある時、右車線変更を行う自動運転操縦と、
    前記自律走行車が、前記道路の二重の車線区分線のすぐ左にある時、左車線変更を行う自動運転操縦と
    を含むように、前記マスクする行動サブセットを決定する、
    請求項４に記載の自律走行車ポリシー生成システム。
11. 前記自律走行車が最終状態に到達するまで、前記行動生成装置は、前記残りの行動セットを前記可能な行動セットから探索し、１つまたは複数の追加の時間間隔に関して、前記自律走行車ポリシーを決定する、請求項１に記載の自律走行車ポリシー生成システム。
12. 前記行動生成装置は、前記１つまたは複数の追加の時間間隔に関連する１つまたは複数の探索された行動セットを、１つまたは複数の対応する軌道として記憶する、請求項１１に記載の自律走行車ポリシー生成システム。
13. 前記行動生成装置は、報酬関数に基づいて、前記可能な行動セットから前記残りの行動セットを探索し、前記報酬関数に基づいて、前記自律走行車ポリシーを決定する、請求項１に記載の自律走行車ポリシー生成システム。
14. 前記報酬関数は、割引係数を含む、請求項１３に記載の自律走行車ポリシー生成システム。
15. 訓練を受ける自律走行車の属性セットを生成することと、
    前記自律走行車と、車線の数に関連付けられた道路と、シミュレーション環境内の他車両とを含む前記シミュレーション環境をシミュレーションすることと、
    ある時間間隔に関して、前記自律走行車の可能な行動セットのサブセットにマスクを適用することを決定することと、
    前記可能な行動セットから残りの行動セットを探索することと、
    前記残りの行動セットと、前記自律走行車の前記属性セットとに基づいて、前記時間間隔に関して、自律走行車ポリシーを決定することと、
    を含む、自律走行車ポリシー生成方法であって、
    前記残りの行動セットは、前記マスクされた行動サブセットを除く、
    前記自律走行車ポリシー生成方法。
16. 前記属性セットは、前記自律走行車の現在速度と、前記自律走行車の車線位置と、前記自律走行車から目標までの距離とを含み、前記目標は、所望の目的地である、請求項１５に記載の自律走行車ポリシー生成方法。
17. 前記自律走行車の前記可能な行動セットは、前記時間間隔中の、前記自律走行車の現在速度の維持、加速、減速、右車線変更、または、左車線変更の自動運転操縦を含む、請求項１５に記載の自律走行車ポリシー生成方法。
18. 前記行動サブセットに前記マスクを適用すると決定することは、前記自律走行車と前記シミュレーション環境の間、もしくは、前記自律走行車と前記シミュレーション環境内の前記他車両との間の所定の許容される相互作用を示す予備知識、許容される運転操縦を示す交通規則、または、前記自律走行車の物理的に可能な運転操縦を示す前記自律走行車の能力に基づく、請求項１５に記載の自律走行車ポリシー生成方法。
19. 前記シミュレーション環境外の自律走行車に対して前記自律走行車ポリシーを実施することを含む、請求項１５に記載の自律走行車ポリシー生成方法。
20. 訓練を受ける自律走行車の属性セットを生成する状態入力生成装置と、
    前記自律走行車と、車線の数に関連付けられた道路と、シミュレーション環境内の他車両とを含む前記シミュレーション環境をシミュレーションする交通シミュレータと、
    前記自律走行車と前記シミュレーション環境の間、もしくは、前記自律走行車と前記シミュレーション環境内の前記他車両との間の所定の許容される相互作用を示す予備知識、許容される運転操縦を示す交通規則、または、前記自律走行車の物理的に可能な運転操縦を示す前記自律走行車の能力に基づいて、ある時間間隔に関して、前記自律走行車の可能な行動セットのサブセットにマスクを適用することを決定するＱマスカーと、
    前記可能な行動セットから残りの行動セットを探索し、前記残りの行動セットと前記自律走行車の前記属性セットとに基づいて、前記時間間隔に関して自律走行車ポリシーを決定する行動生成装置と、
    を含む、自律走行車ポリシー生成システムであって、
    前記残りの行動セットは、前記マスクされた行動サブセットを除く、前記自律走行車ポリシー生成システム。