JP2021504218A - 状態推定器 - Google Patents
状態推定器 Download PDFInfo
- Publication number
- JP2021504218A JP2021504218A JP2020528883A JP2020528883A JP2021504218A JP 2021504218 A JP2021504218 A JP 2021504218A JP 2020528883 A JP2020528883 A JP 2020528883A JP 2020528883 A JP2020528883 A JP 2020528883A JP 2021504218 A JP2021504218 A JP 2021504218A
- Authority
- JP
- Japan
- Prior art keywords
- state
- vehicle
- ann
- update
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 93
- 238000005259 measurement Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract 1
- 210000002569 neuron Anatomy 0.000 description 26
- 230000006870 function Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 20
- 238000012549 training Methods 0.000 description 20
- 230000004913 activation Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000002085 persistent effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 3
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 3
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
自車両のための自動車運転者支援システムのための装置が提供される。装置は、自車両の後続の第2の状態を計算するために自車両の第1の状態を使用するように構成された状態推定器を実装し、第1の状態から第2の状態を計算することは、予測要素及び更新要素を含み、第1の状態から第2の状態を計算することは、人口神経回路網(「ANN」)を使用することを含む。【選択図】図4
Description
本発明は、自車両のための自動車運転者支援システムに関し、より詳細には、自車両の状態を推定するための装置に関する。
事故が回避され、運転に関する法律が遵守されるために、車両を運転することは、運転者の集中力を多くの場合長時間必要とする。運転者の集中力が低下すると、事故のリスクの増加及び/又は法律の非遵守につながる。ますます、支援機能を実行することが可能な運転者支援システムが、運転者の車両(以下、「自車両」と称する)に装着されるようになっている。例えば、支援機能は、運転者から彼/彼女の運転責務の一部を軽減することを含んでもよく、又はエラーが予測及び/若しくは回避され得るように、運転者のパフォーマンスを監視することを含んでもよい。
代替的に、支援機能は、運転者に従来利用可能ではないいくつかの付加的な機能を導入することができる。かかる付加的な機能は、運転者が、運転タスクをより容易に実行することができるように、運転者が、従来有していたであろう情報よりも多くの情報を有することを可能にし得る。例えば、逆動時に運転者にビデオフィードを提供することができる後ろ向きのカメラは、かかる付加的な機能の一例を構成する。この実施例では、ビデオフィードは、運転者が、より容易かつ安全に後ろ向き駐車することを可能にするが、実際には、必ずしも運転者のパフォーマンスを監視する、又は運転者のいくつかのタスクを実行しているわけではない。
したがって、運転者支援システムは、自車両の運転者、彼/彼女の乗員、及び他の道路使用者のリスクを軽減する。最終的には、運転者支援機能は、自車両を運転するほとんどの又は全ての態様を制御することができる程度にまで高められるであろう。この場合、運転者支援システムは、自律運転システムである。
運転者支援システムは、例えば、自車両の速度を変更することによって、自車両の動作に能動的に介在することができる能動的デバイスを含んでもよい。運転者支援システムは、代替的に又は付加的に、ユーザが通知に反応することができるように、特定の運転状況を運転者に通知する、受動的デバイスを含んでもよい。例えば、運転者支援システムは、自車両が路面標識を不意に越えて外れたとき、可聴信号を作成することができる。所与の自車両は、受動的システム及び能動的システムの両方を含んでもよい。
一般に、運転者支援システムは、少なくとも1つのセンサを含むことができる。特定のセンサは、車両及び/又はその周囲のパラメータを測定する。かかるセンサからのデータは、センサ測定値に基づいて、結論を引き出すために処理される。次いで、運転者支援システムは、結論の結果に基づいて、自車両との相互作用、又は運転者との相互作用をトリガし得る。自律運転システムの場合、実質的に全ての運転機能は、システムによって制御される。
運転者支援システム及び自律運転システム内で使用される潜在的センサの実施例は、RADARシステム、LIDARシステム、複数又は1つのカメラ、車両間通信、及び車両対インフラストラクチャ通信を含む。
運転者支援システムは、安全運転又は運転者の監視の様々な異なる態様を制御するために使用され得る。例えば、「適応クルーズ制御」(Adaptive Cruise Control、ACC)は、自車両と道路上のすぐ前の車両との間の距離を監視するために、RADAR又はLIDARシステムを使用してもよい。かかるセンサは、前方の車両までの距離を判定することができる。運転者支援システムはまた、自車両の速度を知り、かつ制御することができる。運転者支援システムは、前方車両に対する予め定義された安全条件を維持するために、自車両の速度を制御し得る。例えば、運転者支援システムは、自車両と前方車両との間の特定の距離を維持するために、速度を制御し得る。代替的に、運転者支援システムは、前方車両がある点を通過してから、自車両が同じ点を通過するまでの所定の時間を維持するために、速度を制御し得る。
自車両の周囲を監視して、自車両が走行している道路上又は道路の周りの他の車両及び実体の位置を特定する、既存の運転支援システムが存在する。周囲を監視することによって、かかる運転者支援システムは、自車両の状況認識を維持することができる。この状況認識は、ユーザに潜在的な危険を通知するために使用することができる。例えば、運転者は、第2の車両が死角にあるとき、自車両が車線変更すること、又は、自車両の経路への第2の車両の割り込みを検出することについて、通知されてもよい。状況認識はまた、例えば、ACCシステムへの入力として使用されてもよい。
詳細かつ信頼性の高い状況認識を提供することは、多数の異なる運転者支援機能に重要である。
一般に、自車両は、運転者支援システムの一部である多数の異なるセンサ及びセンサシステムを装着することができる。各センサ/センサシステムは、異なる形態の情報を提供することができる。情報は、生の測定値の形態であってもよく、又は、より大きい又はより小さい程度に処理されたデータ/情報の形態であってもよい。センサからの情報はまた、関連する不確実性を有し得る。
運転者支援システムは、自車両の現在の現実世界の状況について状況認識を維持する必要がある。自車両の状況としては、自車両情報(例えば、位置、速度、方向等)、周囲環境情報(例えば、車線区分線、道路標識、地理的な目印、ランドマーク等の位置)、及び/又は局所的物体(複数可)情報(例えば、局所的車両(複数可)の位置及び速度)等、様々な情報カテゴリを含んでもよい。
この現実世界の状況の数学的表現は、自車両の「状態」として称される。この状態は、時間的な単一の時点における自車両に関して既知である全てのものを記述する。一例として、この状態は、数字のベクトルx、及びx、Pタプルを共に形成する数字のベクトルの分散又は共分散であってもよい。自車両の状態は、上記の情報カテゴリのいくつか又は全てを含んでもよい。したがって、この状態は、自車両の状況認識の表現を効率的に構成する。状態の情報、及びその情報が対応する現実世界の要素は、時間と共に変化し得ることが理解されるであろう。例えば、局所的物体が存在しない場合、自車両の状態における局所的物体に関する情報は何ら存在しない。その後、局所的物体が運転者支援システムによって検出された場合、その局所的物体に関する情報は、次いで、その状態に組み込まれてもよい。
自車両の状態は、多数の運転者支援機能への入力として使用されてもよい。これらは、最新運転者支援システム(Advanced Driver assistance system、ADAS)であってもよい。これらの下流の運転支援装置は、安全が重大な結果に関わり得、かつ/又は車両情報を運転者に与え、及び/又は何らかの方法で車両を実際に制御することができる。したがって、状態は、可能な限り正確かつ堅牢であることが重要である。この状態はまた、自動運転システムで使用されてもよい。
状態の精度の観点から、状態の精度を向上させるために、利用可能な情報を可能な限り最大限に利用することが重要である。このようにして、状態は、自車両の現実世界の状況をより信頼性の高い形で反映することができる。利用可能な情報には、状態の測定値又は状態の要素に対応し得るセンサデータを含んでもよい。
堅牢性の観点から言うと、センサ測定値は、多くの場合、本質的にノイズが多い。すなわち、センサが提供する生の測定値、又は生のセンサ測定値を使用して計算されるパラメータは、関連する不確実性を有する。不確実性は、体系的(例えば、車両仕様によって正確に予測されないセンサの取り付け位置)である場合があり、及び/又は不確実性は、ランダムである(例えば、GPS受信機は、計算することができる位置の精度に基本的な限界がある)場合がある。最新運転システムでは、センサ測定値におけるこれらの両方の不確実性の原因は、回避されないか、又は特定の最小値を超えて削減できない場合がある。状態は、安全重視の運転支援装置に使用され得るため、状態が堅牢であり、状態に含まれる情報が現実世界の状況を信頼性の高い形で反映することが最も重要であることは明らかである。不確定性の変化、及び/又は大きな不確定性に堅牢な状態は、この要件を満たすための一部である。
自車両の状態は、多数の情報カテゴリを記述した情報を含んでもよい。状態に含まれるこの情報の多くは、相互に関連し得る。
一般に、自車両上のセンサからの測定値の数及び/又は対応する不確定性は可変であり得ることも理解されるであろう。例えば、天候は、センサからのデータの利用可能度及び/又は精度に影響を及ぼし得る。例えば、いくつかのセンサのパフォーマンスは、雨の条件では低下し得る。いくつかのセンサのパフォーマンスは、体系的に変化し得る。例えば、いくつかのセンサは、温度の変化によって影響され得る。センサ測定値(複数可)の不確実性は、状態の不確実性に反映され得る。
状態の不確定性の原因に関わらず、幅広い条件及びセンサ品質にわたって現実世界の状況を正確に反映する、自車両の堅牢な状態を維持することが望ましい。
自車両の現実世界の状況は、一般に、動的である。すなわち、1つの時間工程から次の時間工程まで、運動は、一般に、行われる。これは、自車両自体の運動、又は自車両付近の他の局所的物体の運動、若しくは2つの運動タイプの組み合わせであってもよい。現実世界の状況は動的であるため、現実世界の状況を記述した状態は、その動感を反映し、予測し、記述することができるべきである。
本発明の目的は、運転者支援システムのための改良された装置、及び運転者支援システムのための装置を動作させる方法を提供することであり、これらの問題のいくつか又は全てに対処しようとするものである。
本発明の第1の態様によれば、自車両のための自動車運転者支援システムの装置であって、自車両の後続の第2の状態を計算するために自車両の第1の状態を使用するように構成された状態推定器を実装するように構成されており、第1の状態から第2の状態を計算することは、予測要素及び更新要素を含み、予測要素は、第1の状態から第2の状態を推定するための予測モデルを使用することを含み、更新要素は、推定された第2の状態を正確なものにするための更新モデルを使用することを含み、更新モデルは、第2の状態の測定値に対応する少なくとも1つの値に基づいて推定された第2の状態を正確なものにし、少なくとも1つの値は、センサ測定値から決定され、第1の状態から第2の状態を計算することは、人工神経回路網(artificial neural network、「ANN」)を使用することを含む、装置が提供される。
有利には、ANNは、予測モデル及び更新モデルの一方又は両方の一部である。
好都合には、予測モデルは、予測ANNであり、予測ANNへの入力ベクトルは、第1の状態の少なくとも一部分から形成され、予測モデルANNの出力ベクトルは、推定された第2の状態の少なくとも一部分である。
好ましくは、更新モデルは、更新ANNであり、更新ANNへの入力ベクトルは、推定された第2の状態の少なくとも一部分及び第2の状態の測定値に対応する少なくとも1つの値から形成され、更新ANNの出力ベクトルは、第2の状態の少なくとも一部分である。
有利には、更新モデル及び予測モデルは、組み合わされたANNに組み合わされ、組み合わされたANNへの入力ベクトルは、第1の状態の少なくとも一部分及びセンサ測定値から決定された少なくとも1つの値から形成され、組み合わされたANNの出力ベクトルは、第2の状態の少なくとも一部分を形成する。
好都合には、第1の状態及び第2の状態は各々、自車両の運動の一態様を記述した少なくとも1つの自車両の属性を含む。
好ましくは、第1の状態及び第2の状態は各々、自車両の近傍に位置する物体を記述した少なくとも1つの局所的物体属性を含む。
有利には、少なくとも1つの局所的物体属性は、局所的物体の位置を含む。
好都合には、予測要素は、第1の状態の局所的物体の第1の位置を使用して、推定された第2の状態の局所的物体の第2の位置を推定するように構成されている。
好ましくは、局所的物体は、局所的車両である。
有利には、第2の状態の測定値に対応する少なくとも1つの値は、局所的車両の第2の位置の測定値を含む。
好都合には、装置は、能動的運転者支援デバイス又は受動的運転者支援デバイスによって使用されるために、第2の状態から出力変数を出力するように構成されている。
好ましくは、装置は、自車両の運転者に提示するために、第2の状態から出力変数を出力するように構成されている。
有利には、第1の状態及び第2の状態は各々、自車両が位置する環境を記述した少なくとも1つの環境属性を含む。
本発明の第2の態様によれば、自車両の状態を推定するための方法であって、状態は、自車両の自動車運転者支援システムで使用するためのものであり、方法は、自車両の後続の第2の状態を計算するために自車両の第1の状態を使用するための状態推定器を使用する工程を含み、第1の状態から第2の状態を計算することは、予測要素及び更新要素を含み、予測要素は、第1の状態から第2の状態を推定するための予測モデルを使用することを含み、更新要素は、推定された第2の状態を正確なものにするための更新モデルを使用することを含み、更新モデルは、第2の状態の測定値に対応する少なくとも1つの値に基づいて推定された第2の状態を正確なものにし、少なくとも1つの値は、センサ測定値から決定され、第1の状態から第2の状態を計算することは、人工神経回路網(「ANN」)を使用することを含む、方法が提供される。
当然ながら、各特定の態様に関して列挙された特徴は、他の態様に容易に適用され得る。
本発明がより容易に理解され得、その更なる特徴が理解され得るように、本発明の実施形態は、添付図面を参照して、例として説明されるであろう。
本発明によるシステムを含む自車両の概略図である。
カルマンフィルタ状態推定器を示すフローチャートである。
人工神経回路網(「ANN」)を示す。
第1の実施形態による状態推定器を示すフローチャートである。
図4のANNを示す。
第2の実施形態による状態推定器を示すフローチャートである。
図6のANNを示す。
第3の実施形態による状態推定器を示すフローチャートである。
図8のANNを示す。
第4の実施形態による回帰神経回路網(recurrent neural network、「RNN」)を含む状態推定器を示すフローチャートである。
図10のRNNを示す。
ここで図1をより詳細に考察すると、自車両2内にインストールされた例示的な運転者支援システム1の例解された概略表現である(車両の配向を示すために、車両の一方のパネルのみが、図1に示される)。運転者支援システム1は、自車両2上の適切な位置に取り付けられた、多数の異なるタイプのセンサを備える。具体的には、示されるシステム1は、車両2のそれぞれのフロント角に取り付けられた一対の発散型かつ外向きに方向付けられた中央範囲レーダー(「mid-range radar、MRR」)センサ3と、車両のそれぞれの後角に取り付けられた、同様の一対の発散型かつ外向きに方向付けられた多機能レーダーセンサ4と、車両2の前方で中央に取り付けられた前方に方向付けられた長範囲レーダー(「long-range radar、LRR」)センサ5と、例えば、車両のフロントガラスの上縁部の領域内に装着され得る、ステレオビジョンシステム(「stereo vision system、SVS」)7の一部を形成する一対の概して前方に方向付けられた光学センサ6(カメラ)と、を含む。様々なセンサ3〜6は、車両内の好都合な位置に取り付けられた統合電子制御ユニット8の形態で典型的に提供される、中央電子制御システムに動作可能に接続される。示された特定の構成では、前側及び後側MRRセンサ3、4は、従来のコントローラエリアネットワーク(Controller Area Network、「CAN」)バス9を介してECU8に接続され、LRRセンサ5及びSVS7のセンサは、同様に自体公知のバスであるより速いFlexRayシリアルバス10を介してECU8に接続される。
総じて、ECU8の制御下で、様々なセンサ3〜6は、例えば、死角監視、適応クルーズ制御、衝突防止支援、車線離脱保護、及び後方衝突緩和等の様々な異なるタイプの運転者支援機能を提供するために使用され得る。同様のセンサは、自律運転システム内で使用することができる。
CANバス9は、ECUに自車両パラメータを提供するセンサとしてECUによって処理され得ることに留意されたい。GPSモジュールはまた、ECUにセンサとして接続されてもよく、ECUに測位パラメータを提供する。
運転者支援システム1は、後続の自車両の第2の状態を推定するために、自車両の第1の状態を使用するための状態推定器及び人口神経回路網(本明細書では「ANN」)を実装する。ECU8は、状態推定器を実装するように構成されてもよい。
自車両の状態、又は自車両の構成要素は、例えば、運転者支援システム/機能又はADASシステム若しくは自律運転システム/機能によって使用されてもよい。付加的に又は代替的に、自車両の状態、又は自車両の構成要素は、自車両の運転者に提示するために出力されてもよい(例えば、画面上に表示するか、又は運転者に可聴的に通知される)。状態は、パラメータを含んでもよく、又はパラメータが状態から導出されることを可能にすることができ、これは、自車両上のADAS/自律運転システムによって使用され得る。自車両については、状態推定は、環境パラメータ及び車両パラメータ推定を含んでもよく、例えば、相手方の車両運動学、自車両運動、車線及び道路の幾何学的形状、又は自由空間部を追跡する。
車両上のセンサから来るデータのみを使用して、各時間工程の状態を計算する代わりに、持続的な状態を運転者支援システム内に維持することができる。持続的な状態は、状態推定器によって一連の時間工程又は動作サイクルの各々の間に維持される。状態推定器による持続的な状態の維持は、一般に、連続的なプロセスであり得る。状態推定の目標は、経時的にノイズ及び不正確な測定値をフィルタリングすることによって、システムの現在の状態空間部の値の正確な数を見出すことである。これは、例えばカルマンフィルタ等の状態推定器によって達成される。
運転者支援システムでは、状態推定は、主に、例えば、相手方の車両運動学、自運動、車線及び道路の幾何学的形状、又は自由空間部を追跡するときに、環境及び自車両状態推定において生じる。これらは、非常に非線形の問題であり得る。
一般に、状態推定器は、通常、持続的な状態推定値を経時的に記憶する。状態推定器は、交互の方式で、まず代数モデルを使用して状態空間部を通る第1の状態の軌跡を予測し、次いで、感知デバイスによって取得された測定値を使用してこの予測を更新する。測定値は、通常、一度使用された後に破棄されるため、状態推定器によって抽出された情報全体が状態内に記憶される。この効率的な圧縮により、信号遅延を導入する場合があるが、事実上は軌跡の平滑化、つまり状態推定器の望ましい特性が効率的にもたらされる。
図2は、カルマンフィルタ状態推定器の原理を示す。状態の事前知識は、第1の状態15に対応している。x、Pタプル体制では、第1の状態は、
「状態の出力推定」は、第1の状態15に対する後続の第2の状態16に対応し、第2の状態プロット16Aに示される。x、Pタプル体制では、第1の状態は、
状態推定器の目標及び目的は、第1の状態15から第2の状態16を計算することである。第1〜第2の状態の計算を繰り返すことは、持続的な状態の維持として考慮され得る。
第1の状態15から第2の状態16を計算することには、2つの要素が存在する。第1の要素は、予測要素18である。第2の要素は、更新要素19である。
予測要素18は、予測モデルを含む。この予測モデルは、一般に、第1の状態15と第2の状態16との間で経過した時間の状態空間部にわたる第1の状態15の軌跡を記述する。予測モデルは、第2の状態16を推定するために、第1の状態15で時間工程をどのように実装するかを数学的に記述する。
例えば、自車両の近くに位置する物体は、自車両上のセンサによって検出されてもよい。この検出された物体を記述したパラメータは、第1の状態に含まれてもよい。その物体についての予測モデルは、物体が次の時間工程でどのように移動し得るかを予測し、その結果、物体が第2の状態でどのように記述されるべきかを予測する。実際に現実世界にある物体は、最も適用可能な物理的モデルを決定することができる。例えば、物体が別の車両である場合、「調整されたターンモデル」は、最も適切なモデルであり得る。調整されたターンモデルは、輪状線に沿って移動する車両の経路を記述するために使用される。代替的に、例えば、物体が歩行者である場合、一定の加速度モデルがより適切であり得る。検出された物体のタイプが決定されなかった場合(例えば、物体が車両又は歩行者であるかどうか)、最も適切な予測モデルもまた、いまだ未定であり得る。
更新要素19は、更新モデルを含む。この更新モデルは、一般に、第2の状態16のセンサ測定値20が第2の状態16にどのように組み込まれるかを記述する。測定値20は、測定値プロット20Aに概略的に示されている。x、Pタプル体制では、xのセンサ測定値は、ykである。更新モデルによって正確なものにされる第2の状態16は、予測モデルによって作成された予測を受けた、推定された第2の状態16であり、これは中間状態21と考えることができる。x、Pタプル体制では、中間状態は
例えば、車両の状態xは、位置=(x、y、vx、vy)とすることができ、一方、例えば、センサからの測定値は、y=(範囲、軸受、範囲_速度)とすることができる。
一般に、予測要素18は、状態の不確実性を増加させる場合がある。更新要素19は、現実世界の測定値を状態に組み込むことによって、状態における不確実性を減少させることができる。事実上、現実世界のセンサ測定値は、第2の状態の測定値に対応している。更新モデルを導出することは、センサの精度と予測モデルの精度とをトレードオフする最適化プロセスであってもよい。
自車両の現在の状態は、様々な運転者支援システムにおいて、多数の異なる方法のうちのいずれかで読み取られ、使用されてもよい。これは、状態出力22によって示される。
例として、車両が現在位置x、yに位置し、速度vで走行している場合、その後の時間t=t+dtにおける位置x’、y’及び速度v’は何であるか?時間工程dtの大きさは、異なる時間工程について異なっていてもよい。予測モデルは、この質問に対する回答を推定する。この単純な例では、予測モデルは、運動の等式を含んでもよい。
一般に、センサから受け取られ得るものは、測定値yのストリームである。内部状態のx、Pタプルドメインが存在するのと同様に、Rが第1次モーメントの(ほとんど未知の)行列である、センサ測定のためのy、Rタプルドメインも存在する。モーメントRは、多くの場合、センサから利用できない。
しかしながら、x’、y’のうちの1つ又はいくつかから作製された測定値、又はt=t+1におけるv’が存在してもよい。これは、第2の状態16の精度を向上させるために中間状態に組み込まれ得る情報である。したがって、状態変数のうちの少なくとも1つの測定値20は、更新要素19内の更新モデルによって中間状態に組み込まれる。測定値20は、第2の状態16における変数の全ての測定値を含まなくてもよい。変数の共分散は、直接測定されなくてもよい。共分散は、推定システムの「ビリーフ確率分布」のモーメントを表す。測定値は、非線形であってもよい。例えば、レーダーセンサは、x又はyを直接測定する代わりに、距離=sqrt(x^2+y^2)を測定することができる。一般に、状態は、測定値によって不十分な状態で決定され得る、又は決定され得る。
Rの値が低いと、高精度のセンサであることを示す。Q(予測モデルノイズ)の値が低いと、正確な物理的モデルであることを示し得る。
一般に、カルマンフィルタは、第1の状態をとり、a)中間状態を形成するための物理的モデルに基づいて第2の状態を予測することと、b)第2の状態(又はその一部)の測定値に基づいて中間状態を更新することと、によって、第2の状態を計算する。上記のように、2つの工程(予測及び更新)は、数学的に同時に実行されてもよく、中間状態は実際には明確に形成されていなくてもよいことが理解されるであろう。
特定の状態は、状態ベクトル
カルマンフィルタは、関与する全ての分布が真にガウス分布であり、全ての演算が線形であり、正確に知られているという仮定の下で、状態推定問題に理論的に正しい解を見出すように設計されている。カルマンフィルタの場合、計算工程、予測及び更新の両方は、数値上の行列演算である。全ての演算は、本質的に状態を持たない。次の時間工程に持ち越される唯一の情報は、カルマンフィルタ状態
データのノイズ挙動の特定の要件が測定値20によって満たされる場合、測定値20は、更新要素19内の第2の状態16に組み込まれた後、破棄されてもよい。事実上、測定値20によって具体化された情報の全ては更新要素によって抽出され、第2の状態20に組み込まれる。次の時間工程では、第2の状態16は、第1の状態15になる。したがって、状態は、状態推定器により、自車両システムの現在状態を効率的に維持することができる。状態推定器を使用して現在の状態を維持することによって、測定値を使用後に破棄することができるため、状態推定器を実行する計算モジュールの必要記憶部は最小化される。
本発明によれば、自動車運転支援システムのための状態推定の一部としてANNが使用される。ANNを使用することにより、非線形モデル、非ガウスビリーフ分布、及び未知の、又は部分的に既知のモデリング等式のみを可能にし得る。システムに関する不足している知識は、ANNの訓練プロセス中に抽出される。低遅延と高平滑化との間のトレードオフは、任意のエラー関数を最小化することによって自動的に行われる。オンライン学習も実装することができ、これは、リアルタイムで発生する変更を補正することができる。かかる変更には、例えば、センサのずれ、センサの故障若しくは劣化、及び/又は環境の変化を含むことができる。
ANNは、機械学習技術である。一般に、ANNは、(数学的な意味で)相互接続された複数の計算ユニット(一般に「神経細胞」と称される)に基づいている。一般に、神経細胞は層で接続され、信号は第1の(入力)層から最後の(出力)層へと移動する。信号(入力及び発信)及び各神経細胞の状態は実数であり、典型的には0〜1の間で選択される。
図3は、フィードフォワード人工神経回路網(feedforward artificial neural network、FNN)の一例を示す。FNNは、ANNのカテゴリである。FNNは、入力層22及び出力層23を含む。入力層22と出力層23との間は、単一の隠れ層24である。入力層22は、入力神経細胞22Aを含み、隠れ層24は、隠れ神経細胞24Aを含み、出力層23は、出力神経細胞23Aを含む。入力神経細胞22Aと隠れ神経細胞24Aとの間に入力神経接続部25が存在する。隠れ神経細胞24Aと出力神経細胞23Aとの間に出力神経接続部26が存在する。データは、入力層22から、隠れ層24を通って出力層23へと一方向に流れる。FNNでは、データはこのようにのみ流れる。FNN(及び一般にANN)は、2つ以上の隠れ層23を有してもよい。入力層への入力は、入力ベクトルであってもよい。入力ベクトルは、複数の値であってもよく、入力ベクトル内のそれぞれの値は、入力層内の対応する入力神経細胞への入力として使用される。出力層からの出力は、出力ベクトルであってもよい。出力ベクトルは、複数の出力値であってもよく、出力ベクトル内のそれぞれの出力値は、出力層内の対応する出力神経細胞から出力される。入力ベクトルの長さは、出力ベクトルの長さと異なっていてもよい。入力ベクトルの長さは、出力ベクトルの長さと等しくてもよい。
一般に、各神経細胞22A、23A、24Aは、その入力の全ての加重和を計算する。加重和は、それぞれの神経細胞に対する活性化関数の引数として使用される。活性化関数の出力は、神経細胞の出力として使用される。神経細胞の出力は、1つ以上のアウトバウンド神経細胞接続部を介して、1つ以上の下流(すなわち、後続の層)神経細胞に供給され得る。
ANNは、回帰問題を解決するように設計及び実装されている。回帰は、変数間の数学的関係を推定することを含む。例えば、回帰は、ノイズの多いデータに連続曲線を当てはめるプロセスに対応することができ、したがって、ノイズの多いデータによって記述される変数間の関係の数学的形態を推定する。
ANNを使用することにより、高度に非線形であり、任意の複雑性であり得る変数間の関係を記述することができる。ANNが記述することができる関係の複雑性は、ANNのハイパーパラメータの選択によって制限され得る。ANNのハイパーパラメータは、基礎となるデータではなく、ANN自体の記述子に対応する。例えば、ハイパーパラメータは、ANN内の神経細胞の数及びそれらの神経細胞が配置されている層の数を含んでもよい。
これらの機能を達成するために、ANNを訓練する必要がある。ごく一般的な言い方をすると、訓練とは、各神経細胞の入力に適用される重みを決定することである。一般に、訓練は、入力及び所望の出力が既知である訓練データセットを使用することによって達成され、これは、ラベル付きのデータセットを有する教師あり訓練と呼ばれる(以下を参照)。ANNの神経細胞間の重みは、入力が可能な限り厳密に所望の出力に変換されるように変更される。重みは、エラー関数を最小化することによって(例えば、エラー逆伝搬を介して)最適化することができる。
所望の出力を有する入力も含む検証データセットを使用して、ANNのパフォーマンスを検証及び確認することができる。検証データセットは、ANNを訓練する際に使用されない(すなわち、ANNの重みを決定する)。換言すれば、検証データセットは、訓練データセットとは異なる。
訓練及び検証データセットを生成するには、通常、データセットの「ラベル付け」を必要とする。これは、出力が対応する入力から所望されるものであると決定されたことを意味する。ラベル付けには時間がかかる場合がある。
上述のFNNの場合、入力層への各入力ベクトルは、入力層への互いの入力ベクトルから独立していると見なされる。その結果、出力層からの各出力ベクトルは、互いの出力ベクトルから独立している。
回帰神経回路網(RNN)は、入力ベクトル間の時間的な関係を利用することができるANNのカテゴリである。これは、RNNによる処理において、第1の演算サイクル(第1の入力ベクトルが処理されて第1の出力ベクトルを形成する間)と、第2の後続の演算サイクル(第2の入力ベクトルが処理されて第2の出力ベクトルを形成する間)との間のフィードバックを含むことによって達成される。
かかるフィードバック接続を実装する2つの例示的な方法が記述される。第1に、RNN内の神経細胞のうちの少なくとも1つが、同じ又は後続の層内の神経細胞の少なくとも1つの出力を入力として(直接的又は間接的に)とることである。使用される出力は、前の演算サイクル中の同じ神経細胞からのものであってもよい。第2に、特定の神経細胞における活性化関数が時間の関数であることである。具体的には、活性化関数は、先行するサイクルによって少なくとも部分的に定義され得る。両方の場合では、演算サイクル間のフィードバックを有効にすることができる。
フィードバックにより、特定の神経細胞の出力は、先行する層からの値だけでなく、前の時間工程で先行したデータに依存することができる。したがって、RNNは、入力ベクトル間の関係を使用することができる。入力ベクトルが時間的に連続している場合、RNNは、入力ベクトル間の時間的な関係を使用してパフォーマンスを改善することができる。一般に、RNNの場合、第2のサイクルにおける隠れ層(単数又は複数)の入力/重み及び/又は活性化関数は、第1の先行するサイクルにおける隠れ層(単数又は複数)の入力/重み及び/又は活性化関数に依存している。RNNは、異なるメモリタイムスケールを有する複数のフィードバック接続を実装してもよい。RNNは、少なくとも1つの先行するサイクルのメモリを示す。RNNは、複数の先行するサイクルのメモリを示してもよい。
図4は、本発明による状態推定器の第1の実施形態を示す。図4の実施形態及び図2の状態推定器に共通する要素は、同じ要素参照番号を使用する。図4の実施形態では、予測要素の予測モデルは、予測ANN27を含む。
図5では、入力層27A、出力層27C、及びそれらの間の少なくとも1つの隠れ層27Bを有する予測ANN27が示されている(図3を参照)。
図5はまた、値のベクトルとしての第1の状態15、及び値のベクトルとして推定された第2の状態21も示す。第1の状態ベクトルの各値は、第1の状態15に含まれる属性に対応している。推定された第2の状態ベクトルの各値は、推定された第2の状態21に含まれる属性に対応している。中間状態は、推定された第2の状態に対応している。
予測ANN27の入力層27Aは、入力ベクトル27Dを使用する。入力ベクトル27Dは、第1の状態15からの入力値15Bのセットを含む。入力値15Bは、第1の状態の値の選択であってもよく、又は入力値15Bは、第1の状態15の値の全てを含んでもよい。いずれの場合でも、入力ベクトル27Dのそれぞれの値は、予測ANN27の入力層27Aのそれぞれの入力神経細胞に対する入力を形成してもよい。
入力ベクトル27Dは、予測ANN27を介して処理され、予測ANN27の出力層27Cの出力神経細胞から出力ベクトル27Eを形成する。出力ベクトル27Eは、推定された第2の状態21における出力値21Bのセットである。出力値21Bは、入力ベクトル27Dが入力状態15になるとき、推定された第2の状態21における同じパラメータに対応してもよい。
予測ANN27は、出力値21Bのセットを形成するために、入力値15Bのセットの状態空間部を通る軌跡を予測してもよい。
予測ANN27がそうすることができる前に、予測ANN 27は、ラベル付きの訓練データで訓練されてもよい。ラベル付きの訓練データは、「グラウンドトルース」を含んでもよい。すなわち、予測ANN27からの所望の出力が知られている。訓練は、センサ測定値20が第2の状態を改良しないという仮定を必要とし得る。
予測ANN27は、入力値15Bのセットと出力値21Bのセットとの間の非線形関係を再現することができる。予測ANN27を使用することにより、予測要素18が予測することができる挙動は、分析線形予測モデルによって制限されない。
予測要素17は、2つ以上の予測ANN27を含み得る。それぞれの予測ANN27は、それぞれの予測モデルに対応し得る。各ANNは、予測要素17内の互いの予測ANN27について第1の状態15から選択された入力値と比較して、第1の状態15から選択された入力値15Bの異なるセットを有してもよい。1つの予測ANN27の入力ベクトル27Dは、別の予測ANN27の入力ベクトル27Dにも含まれている第1の状態からのいくつかの値を含んでもよい。ANNのいずれかによって実現される等式は、内部物体のクラス属性を考慮することができる。
各々が状態の異なる部分に対応している、異なる予測ANNが存在し得る。また、異なる予測ANN間の相互接続(及びしたがって依存性)も存在し得る。代替的に、単一のANNは、全状態について予測ANNを形成してもよい。
図6は、本発明による状態推定器の第2の実施形態を示す。図6の実施形態及び図2の状態推定器に共通する要素は、同じ要素参照番号を使用する。図6の実施形態では、更新要素の更新モデルは、更新ANN28を含む。
図7では、入力層28A、出力層28C、及びそれらの間の少なくとも1つの隠れ層28Bを有する更新ANN28が示されている(図3を参照)。
図7はまた、値のベクトルとしての測定値20B、及び値のベクトルとして推定された第2の状態21Bの少なくとも一部を示す。更新ANN28は、推定された第2の状態21Bの全体を入力として使用することができる。この場合、更新ANN28の重みのいくつかは、訓練プロセス中にゼロになり得る。これは、例えば、センサからの測定値が第2の状態の特定の態様に影響を及ぼさない場合にあり得る。
測定値ベクトル20Bの各値は、少なくとも1つのセンサからの少なくとも1つの測定された属性に対応している。属性は直接測定値であってもよく、又はパラメータは、センサからECUに送信された測定値から計算された値であってもよい。推定された状態ベクトル21Bの各値は、推定された状態21に含まれる属性に対応している。
測定値20B及び推定された第2の状態(又はその一部)21Bは共に、更新ANN28への入力ベクトル28Dを形成する。更新ANN28は、測定値ベクトル20Bを推定された第2の状態ベクトル21Bに効率的に組み込み、出力ベクトル28Eを形成する。出力ベクトル28Eは、第2の状態16における出力値16Bのセットである。したがって、更新ANN28は、第2の状態を形成するために測定値を使用して推定された第2の状態を正確なものにする。
更新ANN28がそうすることができる前に、更新ANN28は、ラベル付きの訓練データを使用して訓練されてもよい。ラベル付きの訓練データは、「グラウンドトルース」を含んでもよい。すなわち、更新ANN28からの所望の出力が知られている。
一般に、更新ANNは、予測モデルによって誤って推定された全てを修正するべきである。換言すれば、更新ANNは、予測モデルの不正確さを修正するためにセンサ測定値を使用するべきである。
例えば、交通物体は、予測モデルに従って、直線経路に沿って走行し続けることができる。実際に、物体が実際に非直線経路に沿って走行する場合、推定された第2の状態による物体の位置は正しくない。更新モデルは、推定された第2の状態を正確なものにするためのセンサ測定値を使用して、第2の状態における交通物体の実際の位置をより正確に反映する。
したがって、更新ANNの訓練では、最終モデルで使用される予測工程を使用する場合がある。例えば、これを達成する方法は、工程k−1からのグラウンドトルースの状態ベクトルを使用し、次いで、(古典的な)予測モデルを実行することである。古典的な予測は、ANNを更新するための入力である。予想出力は、工程kからのグラウンドトルースxである。更新ANNは、かかる既知の入力及び出力に基づいて訓練される。
かかる訓練スキームでは、Pはアルゴリズムから省略されてもよく、又は近似値が使用される。近似値は、古典的なカルマンフィルタを並列に実行することから(訓練中のみ)導出することができる。
更新ANN28は、その2つの入力と推定された第2の状態との間の非線形関係を再現することができる。更新ANNの利点は、数学的センサモデルが必要ない、又は既知である必要がないことである。
更新要素19は、2つ以上の更新ANN28を含み得る。状態の測定値を提供する各センサ又はセンサシステムは、それらの測定値を推定された第2の状態に組み込むための別個の更新ANN28を有し得る。これは、異なるセンサ及びセンサシステムが異なる速度で、又は異なる時間に測定値を提供し、したがって特定のセンサに対応する特定の更新ANN28は、そのセンサからの利用可能な測定値が状態に組み込まれるときにのみ使用することができるため、柔軟なシステムを提供する。
図8は、本発明の第3の実施形態を示す。図8の実施形態では、単一の組み合わせた予測及び更新ANN(「組み合わされたANN」)29が提供される。組み合わされたANN29は、第1の実施形態の予測ANN27及び第2の実施形態の更新ANN28の両方の機能を実行する。
図9では、入力層29A、出力層29C、及びそれらの間の少なくとも1つの隠れ層29Bを有する組み合わされたANN29が示されている(図3を参照)。
図9はまた、値のベクトルとしての測定値20B、及び値のベクトルとしての第1の状態15Bの少なくとも一部を示す。測定値ベクトル20Bの各値は、センサからの測定されたパラメータに対応している。パラメータは直接測定値であってもよく、又はパラメータは、センサからECUに送信された測定値から計算された値であってもよい。第1の状態ベクトル15Bの各値は、第1の状態15に含まれる属性に対応している。
測定値ベクトル20Bと第1の状態ベクトル15Bは共に、組み合わされたANN29に入力ベクトル29Dを形成する。組み合わされたANN29は、測定値ベクトル20B及び第1の状態ベクトル15Bを効率的に組み込み、出力ベクトル29Eを形成する。組み合わされたANN29は、状態空間部を通る第1の状態ベクトル15Bの軌跡を効率的に予測し、測定値ベクトル20Bを第1の状態ベクトル15Bに組み込み、出力ベクトル29E.を形成する。出力ベクトル29Eは、第2の状態16における出力値のセット16Bを含む。組み合わされたANNでは、異なる第2の状態推定及び正確なものにする工程は存在しないことが理解されるであろう。その代わりに、両方の工程は、組み合わされたANNによって、区別がつかないほど効率的に実装される。換言すれば、組み合わされたANN29は、第1の実施形態の予測ANN27及び第2の実施形態の更新ANN28の両方の機能を実行する。
組み合わされたANNを訓練するために、例えば、サイクルk−1からのグラウンドトルースxを入力として使用することができ、サイクルkからのグラウンドトルースxを所望の出力として使用することができる。組み合わされたANNは、これに基づいて訓練され、これに基づいて予測及び正確なものにする挙動を導出する。
かかる訓練スキームでは、Pはアルゴリズムから省略されてもよく、又は近似値が使用される。近似値は、古典的なカルマンフィルタを並列に(訓練中のみ)実行し、P(k−1)及びP(k)値を使用することから導出することができる。上述の第1、第2、及び第3の実施形態では、ANNはFNNであってもよいが、ANNの他のカテゴリもまた、第1〜第3の実施形態の予測ANN、更新ANN、又は組み合わされたANNの適切な選択と見なされる。
図10は、本発明の第4の実施形態を示す。図10は、第1の状態30及び第2の、後続の状態31を示す。第1の状態30及び第2の状態31の各々は、自車両の状態を表す。状態推定RNN32が示されている。状態推定RNN32は、第1の状態30、及びセンサ測定値20に基づいて第2の状態31を推定する。状態推定は、一連の演算サイクルの各々の間に実行される。状態推定RNN32による第2の状態31の各推定は、単一の演算サイクルと見なすことができる。
図10では、状態推定RNN32は、第1の状態31及び第2の状態32に接続されているものとして表される。演算サイクル間の時間工程17もまた表される。説明を明確にするために、状態推定RNN32からの第1の状態と、状態推定RNN32からの第2の状態との分離が提示されていることが理解されるであろう。状態推定RNN32は、第1の状態30、第2の状態31、及び時間工程17を含むと見なすことができる。第1と第2の状態は同時に存在しなくてもよく、第1の状態からの第2の状態の推定は、状態推定RNN32内の持続的な状態の更新及び正確なものにすることに対応することができる。
状態推定RNN32では、データは、少なくとも1つの先行する演算サイクルから現在の演算サイクルで状態推定RNN32にフィードバックされる。したがって、状態推定RNN32は、少なくとも1つの先行する演算サイクルの「メモリ」を有する。これにより、状態推定RNN32は、入力内の時間的なパターンを状態推定RNN32に使用することを可能にする。本発明の文脈では、これにより、システムは、データ内のこれらの時間的な関係を利用することによって、第2の状態をより正確に導出することを可能にし得る。かかる挙動は、1つの時間工程から次の時間への時間的な関係が予想される運転者支援システムで特に有用である。
状態推定RNN32は、1つの演算サイクル中に、第1の状態30からの第2の状態31の推定と、センサ測定値20に基づくその推定された第2の状態31の正確なものにすることとを同時に効率的に実装する。このプロセスにより、状態推定RNN 32が、自車両の現在の状態に対応する「持続的な状態」を維持することを可能にすると考えられ得る。状態推定RNN32は、フィードバック機構を実装するので、状態推定RNN32は、現在の演算サイクル中に少なくとも1つの先行する演算サイクルからの情報を利用する。したがって、自動車のための装置は、第2の状態を決定する(又は持続的な状態を維持する)ときに、入力データの時間的な順序におけるパターンを使用することができる。
図11では、入力層32A、出力層32C、及びそれらの間の少なくとも1つの隠れ層32Bを有する状態推定RNN32が示されている。状態推定RNN32は、(上述のように)少なくとも1つのフィードバック接続を有する回帰神経回路網である。少なくとも1つのフィードバック接続は、少なくとも1つの隠れ層32B内に形成されてもよい。フィードバック接続は、先行するサイクルからの状態推定RNN32の少なくとも1つのパラメータ、又は先行するサイクルからの状態推定RNN32の少なくとも1つのパラメータに依存する値を記憶するためのメモリを含んでもよい。少なくとも1つのフィードバック接続は、状態推定RNN32が、状態推定RNN32への少なくとも1つの先行するサイクルのメモリを有することを意味する。状態推定RNN32は、それぞれの過去の先行する演算サイクルに対応する複数のフィードバック接続を有するように構成されてもよい。例えば、状態推定RNN34は、5つの先行する演算サイクルのメモリを有するように構成されてもよい。フィードバック接続によって使用される複数の先行する演算サイクルは、現在の演算サイクルの直前に先行する、複数の先行する演算サイクルであってもよい。
図11はまた、値のベクトルとしての測定値20B、及び値のベクトルとしての第1の状態30Bの少なくとも一部を示す。測定値ベクトル20Bの各値は、センサからの測定されたパラメータに対応している。パラメータは直接測定値であってもよく、又はパラメータは、センサからECUに送信された測定値から計算された値であってもよい。第1の状態ベクトル30Bの各値は、第1の状態30に含まれるパラメータに対応している。
測定値ベクトル20Bと第1の状態ベクトル30Bは共に、状態推定RNN32に入力ベクトル32Dを形成する。状態推定RNN32は、測定値ベクトル20Bを第1の状態ベクトル30Bに効率的に組み込み、出力ベクトル32Eを形成する。状態推定RNN32は、状態空間部を通る第1の状態ベクトル30Bの軌跡を効率的に予測し、測定値ベクトル20Bを第1の状態ベクトル30Bに組み込み、出力ベクトル32Eを形成する。出力ベクトル32Eは、第2の状態31における出力値のセット31Bを含む。
第1〜第3の実施形態は、特定の自車両状態を表すためにx、Pタプルを使用してもよい。式中、x値は、例えば、自車両の位置、自車両の速度、局所的物体、並びにそれらのそれぞれの位置及び速度等、現実世界のパラメータであってもよい。
しかしながら、第4の実施形態を使用すると、状態にx、Pタプルを使用できる場合がある一方で、状態推定RNN32が、x、Pタプルから離れた状態(すなわち、第1の状態30及び第2の状態31)の表現を、異なる抽象化された状態空間部に抽象化することもあり得、これは、x、Pタプルとは無関係であり得る(例えば、x値とP値を区別することは全く不可能であり得る)。抽象化された状態空間部は、状態推定RNN32を訓練するプロセスにおいて自動的に形成され得る。抽象化された状態空間部は、特定のx、Pタプルで見られるのと同じ量の情報が、状態推定RNN32によって形成された抽象化された状態空間部内で表すことによって、よりコンパクト及び/又は正確な形態で表され得るという意味で、より効率的であり得る。状態推定RNN32を使用することは、計算の複雑性及び必要な記憶容量を低減することができるため、有利であり得る。これは、計算容量が制限され得る、自車両運転者支援システムに特に有用である。例えば、フィードバック接続の数に依存する精度とメモリ要件との間のトレードオフがなされ得る。状態推定RNN32は、フィードバック接続に割り当てられた帯域幅、すなわちフィードバックのために提供される持続的なメモリの量を考慮して最適な表現に到達することができる。
状態推定RNN32によるこの抽象的な状態表現のために、運転者支援システムが使用する状態推定RNNから少なくとも1つの現実世界の属性を導出するための出力工程が提供される。出力工程33は、出力ANNを含んでもよい。出力ANNは、運転者支援システムが使用する状態推定RNN32の現実世界の属性から導出されるように訓練される。
前述の説明において、又は以下の特許請求の範囲において、又は添付図面内において、それらの特定の形態で、又は開示された機能を実行するための手段の観点から表現される、開示された特徴、若しくは、開示された結果を得るための方法又はプロセスは、適宜、別個に、又はかかる特徴の任意の組み合わせで、本発明を多様な形態で再利用するために利用することができる。
本発明を、上記の例示的な実施形態と併せて説明してきたが、所与の本開示を考慮すると、当業者には多くの等価な修正及び変形が明らかとなるであろう。したがって、上述の本発明の例示的な実施形態は、例示的であり、限定的ではないと考えられる。説明される実施形態に対する様々な変更が、本発明の趣旨及び範囲から逸脱することなく行われてもよい。
いかなる誤解も避けるために、本明細書で提供される任意の理論的な説明は、読者の理解を深める目的で提供されている。本発明者らは、これらの理論的な説明のいずれかによって拘束されることを望むものではない。
本明細書で使用される任意のセクションの見出しは、構成目的のみのためであり、記載される主題を限定するものとして解釈されるべきではない。
本明細書全体を通して、文脈が他の方法で必要とされない限り、「備える(comprise)」及び「含む(include)」という語、並びに「備える(comprises)」、「備える(comprising)」、及び「含む(including)」等の変形は、記載された整数又は工程又は整数又は工程群の包含を意味するが、任意の他の整数又は工程又は整数又は工程群を除外しないことを意味すると理解されるであろう。
本明細書及び添付の特許請求の範囲で使用される場合、単数形「a」、「an」、及び「the」は、文脈がそうでない旨を明確に指示しない限り、複数の指示対象を含むことに留意されたい。範囲は、本明細書において、「約(about)」の1つの特定の値から、及び/又は「約(about)」の別の特定の値までを表してもよい。このような範囲を表す場合、別の実施形態は、1つの特定の値及び/又は他の特定の値を含む。同様に、値を近似値として表す場合、先行詞「約(about)」を使用することによって、特定の値が別の実施形態を形成することが理解されるであろう。数値に対する「約(about)」という用語は任意であり、例えば、+/−10%を意味する。
Claims (15)
- 自車両のための自動車運転者支援システムのための装置であって、
前記自車両の後続の第2の状態を計算するために前記自車両の第1の状態を使用するように構成された状態推定器を実装するように構成されており、前記第1の状態から前記第2の状態を計算することが、予測要素及び更新要素を含み、
前記予測要素は、前記第1の状態から前記第2の状態を推定するための予測モデルを使用することを含み、
前記更新要素は、前記推定された第2の状態を正確なものにするための更新モデルを使用することを含み、前記更新モデルは、前記第2の状態の測定値に対応する少なくとも1つの値に基づいて前記推定された第2の状態を正確なものにし、前記少なくとも1つの値は、センサ測定値から決定され、
前記第1の状態から前記第2の状態を計算することが、人工神経回路網(「ANN」)を使用することを含む、装置。 - 前記ANNが、前記予測モデル及び前記更新モデルの一方又は両方の一部である、請求項1に記載の装置。
- 前記予測モデルが、予測ANNであり、
前記予測ANNへの入力ベクトルが、前記第1の状態の少なくとも一部分から形成され、
前記予測モデルANNの出力ベクトルが、前記推定された第2の状態の少なくとも一部分である、請求項1に記載の装置。 - 前記更新モデルが、更新ANNであり、
前記更新ANNへの入力ベクトルが、前記推定された第2の状態の少なくとも一部分及び前記第2の状態の測定値に対応する前記少なくとも1つの値から形成され、
前記更新ANNの出力ベクトルが、前記第2の状態の少なくとも一部分である、請求項1に記載の装置。 - 前記更新モデル及び前記予測モデルが、組み合わされたANNに組み合わされ、
前記組み合わされたANNへの入力ベクトルが、前記第1の状態の少なくとも一部分及びセンサ測定値から決定された前記少なくとも1つの値から形成され、
前記組み合わされたANNの出力ベクトルが、前記第2の状態の少なくとも一部分を形成する、請求項1に記載の装置。 - 前記第1の状態及び前記第2の状態が各々、前記自車両の運動の一態様を記述した少なくとも1つの自車両の属性を含む、請求項1〜5のいずれか一項に記載の装置。
- 前記第1の状態及び前記第2の状態が各々、前記自車両の近傍に位置する局所的物体を記述した少なくとも1つの局所的物体属性を含む、請求項1〜6のいずれか一項に記載の装置。
- 前記少なくとも1つの局所的物体属性が、前記局所的物体の位置を含む、請求項7に記載の装置。
- 前記予測要素が、前記第1の状態の前記局所的物体の第1の位置を使用して、前記推定された第2の状態の前記局所的物体の第2の位置を推定するように構成されている、請求項8に記載の装置。
- 前記局所的物体が、局所的車両である、請求項7〜9のいずれか一項に記載の装置。
- 前記第2の状態の測定値に対応する前記少なくとも1つの値が、前記局所的車両の前記第2の位置の測定値を含む、請求項10に記載の装置。
- 前記装置が、能動的運転者支援デバイス又は受動的運転者支援デバイスによって使用されるために、前記第2の状態から出力変数を出力するように構成されている、請求項1〜11のいずれか一項に記載の装置。
- 前記装置が、前記自車両の運転者に提示するために、前記第2の状態から出力変数を出力するように構成されている、請求項1〜12のいずれか一項に記載の装置。
- 前記第1の状態及び前記第2の状態が各々、前記自車両が位置する環境を記述した少なくとも1つの環境属性を含む、請求項1〜13のいずれか一項に記載の装置。
- 自車両の状態を推定するための方法であって、前記状態が、前記自車両の自動車運転者支援システムで使用するためのものであり、前記方法は、
前記自車両の後続の第2の状態を計算するために前記自車両の第1の状態を使用するための状態推定器を使用する工程を含み、前記第1の状態から前記第2の状態を計算することが、予測要素及び更新要素を含み、
前記予測要素は、前記第1の状態から前記第2の状態を推定するための予測モデルを使用することを含み、
前記更新要素は、前記推定された第2の状態を正確なものにするための更新モデルを使用することを含み、前記更新モデルは、前記第2の状態の測定値に対応する少なくとも1つの値に基づいて前記推定された第2の状態を正確なものにし、前記少なくとも1つの値は、センサ測定値から決定され、
前記第1の状態から前記第2の状態を計算することが、人工神経回路網(「ANN」)を使用することを含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17208647.2A EP3502976A1 (en) | 2017-12-19 | 2017-12-19 | A state estimator |
EP17208647.2 | 2017-12-19 | ||
PCT/EP2018/082261 WO2019120861A1 (en) | 2017-12-19 | 2018-11-22 | A state estimator |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021504218A true JP2021504218A (ja) | 2021-02-15 |
Family
ID=60942841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020528883A Pending JP2021504218A (ja) | 2017-12-19 | 2018-11-22 | 状態推定器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11807270B2 (ja) |
EP (1) | EP3502976A1 (ja) |
JP (1) | JP2021504218A (ja) |
WO (1) | WO2019120861A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10969752B1 (en) * | 2018-04-06 | 2021-04-06 | United States Of America As Represented By The Secretary Of The Air Force | System and apparatus for estimating states of a physical system |
WO2020123531A1 (en) * | 2018-12-11 | 2020-06-18 | SafeAI, Inc. | Techniques for kinematic and dynamic behavior estimation in autonomous vehicles |
CN111025914B (zh) * | 2019-12-26 | 2022-12-30 | 东北石油大学 | 基于通信受限的神经网络系统远程状态估计方法及装置 |
KR20210129913A (ko) * | 2020-04-21 | 2021-10-29 | 주식회사 만도모빌리티솔루션즈 | 운전자 보조 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008507454A (ja) * | 2004-07-26 | 2008-03-13 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 道路使用弱者保護システム |
JP2017154725A (ja) * | 2015-04-21 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4093076B2 (ja) * | 2003-02-19 | 2008-05-28 | 富士重工業株式会社 | 車両運動モデルの生成装置および車両運動モデルの生成方法 |
WO2016145547A1 (en) * | 2015-03-13 | 2016-09-22 | Xiaoou Tang | Apparatus and system for vehicle classification and verification |
US20170286826A1 (en) * | 2016-03-30 | 2017-10-05 | Nec Laboratories America, Inc. | Real-time deep learning for danger prediction using heterogeneous time-series sensor data |
DE102017006434A1 (de) * | 2017-07-07 | 2019-01-10 | Wabco Gmbh | Verfahren zum vorausschauenden Bewerten einer aktuellen Fahrsituation sowie Bewertungsmodul |
US10935982B2 (en) * | 2017-10-04 | 2021-03-02 | Huawei Technologies Co., Ltd. | Method of selection of an action for an object using a neural network |
GB2568286B (en) * | 2017-11-10 | 2020-06-10 | Horiba Mira Ltd | Method of computer vision based localisation and navigation and system for performing the same |
-
2017
- 2017-12-19 EP EP17208647.2A patent/EP3502976A1/en active Pending
-
2018
- 2018-11-22 US US16/956,148 patent/US11807270B2/en active Active
- 2018-11-22 WO PCT/EP2018/082261 patent/WO2019120861A1/en active Application Filing
- 2018-11-22 JP JP2020528883A patent/JP2021504218A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008507454A (ja) * | 2004-07-26 | 2008-03-13 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 道路使用弱者保護システム |
JP2017154725A (ja) * | 2015-04-21 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
BYEOUNGDO KIM ET AL, PROBABILISTIC VEHICLE TRAJECTORY PREDICTION OVER OCCUPANCY GRID MAP VIA RECURRENT NEURAL NETWORK, JPN7021002328, September 2017 (2017-09-01), ISSN: 0004703837 * |
Also Published As
Publication number | Publication date |
---|---|
EP3502976A1 (en) | 2019-06-26 |
WO2019120861A1 (en) | 2019-06-27 |
US11807270B2 (en) | 2023-11-07 |
US20200339154A1 (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7089832B2 (ja) | 状態推定器 | |
US10324469B2 (en) | System and method for controlling motion of vehicle in shared environment | |
US11269329B2 (en) | Dynamic model with learning based localization correction system | |
JP5690322B2 (ja) | 交通に参加するオブジェクトを監視し、予測するコンピュータを備える乗り物 | |
Baskar et al. | Traffic control and intelligent vehicle highway systems: a survey | |
US11807270B2 (en) | State estimator | |
CN112840350A (zh) | 自动驾驶车辆规划和预测 | |
JP5278419B2 (ja) | 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置 | |
US11242050B2 (en) | Reinforcement learning with scene decomposition for navigating complex environments | |
US11501449B2 (en) | Method for the assessment of possible trajectories | |
KR20180113447A (ko) | 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체 | |
Kim et al. | Probabilistic threat assessment with environment description and rule-based multi-traffic prediction for integrated risk management system | |
US11400942B2 (en) | Vehicle lane trajectory probability prediction utilizing kalman filtering with neural network derived noise | |
US11860634B2 (en) | Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes | |
US9744971B2 (en) | Method, system, and computer program product for monitoring a driver of a vehicle | |
EP4020113A1 (en) | Dynamic model evaluation package for autonomous driving vehicles | |
Klingelschmitt et al. | Using context information and probabilistic classification for making extended long-term trajectory predictions | |
KR20230159308A (ko) | 첨단 운전자 보조 시스템(adas) 및/또는 자동화된 운전 시스템(ads)을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 | |
JP2019220054A (ja) | 行動予測装置及び自動運転装置 | |
JP2021190119A (ja) | 交通参加者の経路を予測するための方法およびデバイス、ならびにセンサシステム | |
CN114056337B (zh) | 车辆行驶行为预测方法、装置及计算机程序产品 | |
JP6905433B2 (ja) | 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 | |
Tomar et al. | Lane change trajectory prediction using artificial neural network | |
Obuhuma et al. | A software agent for vehicle driver modeling | |
CN117962932B (zh) | 障碍物的行驶轨迹生成方法、装置和存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210625 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220209 |