JP2019053377A - 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 - Google Patents
車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 Download PDFInfo
- Publication number
- JP2019053377A JP2019053377A JP2017175485A JP2017175485A JP2019053377A JP 2019053377 A JP2019053377 A JP 2019053377A JP 2017175485 A JP2017175485 A JP 2017175485A JP 2017175485 A JP2017175485 A JP 2017175485A JP 2019053377 A JP2019053377 A JP 2019053377A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- vehicle information
- future
- information
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 65
- 210000002569 neuron Anatomy 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
複数パターンの車両情報を予測するため、想定し得る各パターンについて対象オブジェクトの近傍に到達するまでの時間を算出可能となり、推定が向上する。
確率ニューロンが複数の値のうちのいずれかの値を確率的に出力することで、複数パターンの車両情報を予測できる。
このような構成により、n個の確率ニューロンを設けることで、2nパターンの車両情報を予測できる。
確率ニューロンが複数の値のうちのいずれかの値を順繰りに出力することで、複数パターンの車両情報を予測できる。
この場合、前記未来における複数パターンの車両情報のそれぞれについて、前記特定車両の行動パターンを推定する行動パターン推定部と、前記行動パターンにおいて警報対象とすべきオブジェクトが存在する場合、前記確率を考慮して警報を発する警報部を備えてもよい。
この構成により、車両の行動パターンが複数考えられる場合に、実際に対象オブジェクトの近傍に到達するまでの時間を精度よく算出できる。
人が運転する車両によって収集された画像情報および車両情報を学習データとすることで、簡易に学習を行うことができる。
図1は、本発明の概要を説明する図である。車両200が三叉路に向かって走行しており、直進した先に歩行者Qがおり、左折した先に歩行者Rがいる状況を例示している(図1(a))。車両200の未来の行動パターンとしては、直進(図1(b))、左折(図1(c))、停車(図1(d))などが考えられる。車両200が直進するのであれば、車両200が歩行者Qの近傍(例えば、歩行者Qから半径所定距離内)に到達するまでの時間を推定する必要がある。一方、車両200が左折するのであれば、車両200が歩行者Rの近傍に到達するまでの時間を推定する必要がある。
2つの確率ニューロン431,432の出力が(0,0)である確率
={1−σ(W1x1)}{1−σ(W2x2)}
2つの確率ニューロン431,432の出力が(0,1)である確率
={1−σ(W1x1)}σ(W2x2)
2つの確率ニューロン431,432の出力が(1,0)である確率
=σ(W1x1){1−σ(W2x2)}
2つの確率ニューロン431,432の出力が(1,1)である確率
=σ(W1x1)σ(W2x2)
である。上記の例では、2つの確率ニューロン431,432の出力が(0,0)または(0,1)である場合の行動パターンが「直進」であり、その確率は{1−σ(W1x1)}σ(W2x2)+{1−σ(W1x1)}σ(W2x2)である。同(1,0)である場合の行動パターンが「左折」であり、その確率はσ(W1x1){1−σ(W2x2)}である。同(1,1)である場合の行動パターンが「停車」であり、その確率はσ(W1x1)σ(W2x2)である。
第1の実施形態では、確率ニューロン431,432が、入力される値に応じて複数の値のうちのいずれかを確率的に出力するものであった。
2 車両情報取得部
3 車両行動予測装置
31 オブジェクト検知部
32 学習器
33 行動パターン推定部
34 警報部
200 車両
Q,R 歩行者
Claims (12)
- 過去の画像情報および過去の車両情報から未来における車両情報を出力するように予め学習が行われたニューラルネットワークを有し、特定車両についての過去の画像情報および車両情報に基づいて、未来における前記特定車両の複数パターンの車両情報を予測する学習器を備える車両行動予測装置。
- 前記学習器は、
前記特定車両についての過去の画像情報を畳み込み処理する畳み込み層と、
前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
前記全結合層は、入力される値に応じて、複数の値のうちのいずれかの値を確率的に出力する確率ニューロンを含む、請求項1に記載の車両行動予測装置。 - 前記確率ニューロンは、前記確率ニューロンに入力される値と、予め行われた学習によって前記確率ニューロンに設定された重みと、に応じた確率で、第1の値または前記第1の値とは異なる第2の値を出力し、
前記第1の値に対応して未来における1つのパターンの車両情報が予測され、前記第2の値に対応して未来における他のパターンの車両情報が予測される、請求項2に記載の車両行動予測装置。 - 前記学習器は、
前記特定車両についての過去の画像情報を畳み込み処理する畳み込み層と、
前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
前記全結合層は、入力される値に関わらず複数の値のうちのいずれかの値を順繰りに出力する確率ニューロンを含み、
前記確率ニューロンから出力される各値に対応して、未来における各パターンの車両情報が予測される、請求項1に記載の車両行動予測装置。 - 前記未来における車両情報は、前記特定車両の車速、舵角およびヨーレートとして表わされる、請求項1乃至4のいずれかに記載の車両行動予測装置。
- 前記学習器は、前記未来における複数パターンの車両情報のそれぞれが実際に発生する確率を出力する、請求項1乃至5のいずれかに記載の車両行動予測装置。
- 前記未来における複数パターンの車両情報のそれぞれについて、前記特定車両の行動パターンを推定する行動パターン推定部と、
前記行動パターンにおいて警報対象とすべきオブジェクトが存在する場合、前記確率を考慮して警報を発する警報部を備える、請求項6に記載の車両行動予測装置。 - 前記未来における複数パターンの車両情報のそれぞれについて、前記特定車両の行動パターンを推定する行動パターン推定部と、
前記行動パターンにおいて警報対象とすべきオブジェクトが存在する場合、前記オブジェクトの近傍に到達するまでの時間を算出する警報部を備える、請求項1ないし5のいずれかに記載の車両行動予測装置。 - 人が運転する車両によって収集された画像情報および車両情報を学習データとして用いて、過去の画像情報および車両情報に基づいて、未来における複数パターンの車両情報を予測するためのニューラルネットワークの学習を行う、車両行動予測用ニューラルネットワークの学習方法。
- 前記ニューラルネットワークは、
入力される画像情報を畳み込み処理する畳み込み層と、
前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
前記全結合層は、入力される値に応じて、複数の値のうちのいずれかの値を確率的に出力する確率ニューロンを含む、請求項9に記載の車両行動予測用ニューラルネットワークの学習方法。 - 前記ニューラルネットワークは、
入力される画像情報を畳み込み処理する畳み込み層と、
前記畳み込み層からの処理結果に応じた値が入力され、前記未来における車両情報を予測するために用いられる値を出力する全結合層と、を有し、
前記全結合層は、入力される値に関わらず複数の値のうちのいずれかの値を順繰りに出力する確率ニューロンを含み、
前記確率ニューロンから出力される各値に対応して、未来における各パターンの車両情報が予測される、請求項9に記載の車両行動予測用ニューラルネットワークの学習方法。 - 人が運転する車両によって収集された画像情報および車両情報を学習データとして用いて、過去の画像情報および車両情報に基づいて、未来における複数パターンの車両情報を予測するためのニューラルネットワークの学習を行うステップと、
前記学習が行われたニューラルネットワークを用いて、特定車両についての過去の画像情報および車両情報に基づいて、未来における前記特定車両の複数パターンの車両情報を予測するステップと、を備える車両行動予測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017175485A JP6905433B2 (ja) | 2017-09-13 | 2017-09-13 | 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017175485A JP6905433B2 (ja) | 2017-09-13 | 2017-09-13 | 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019053377A true JP2019053377A (ja) | 2019-04-04 |
JP6905433B2 JP6905433B2 (ja) | 2021-07-21 |
Family
ID=66013399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017175485A Active JP6905433B2 (ja) | 2017-09-13 | 2017-09-13 | 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6905433B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020229515A1 (de) | 2019-05-14 | 2020-11-19 | Eyyes Gmbh | Verfahren zum anzeigen und/oder berechnen einer relativbewegung |
CN113094967A (zh) * | 2021-03-31 | 2021-07-09 | 北京理工大学 | 一种无人车位置预测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011014037A (ja) * | 2009-07-03 | 2011-01-20 | Fuji Heavy Ind Ltd | リスク予測システム |
JP2012118741A (ja) * | 2010-11-30 | 2012-06-21 | Toyota Central R&D Labs Inc | 可動物の目標状態決定装置及びプログラム |
JP2017154725A (ja) * | 2015-04-21 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
-
2017
- 2017-09-13 JP JP2017175485A patent/JP6905433B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011014037A (ja) * | 2009-07-03 | 2011-01-20 | Fuji Heavy Ind Ltd | リスク予測システム |
JP2012118741A (ja) * | 2010-11-30 | 2012-06-21 | Toyota Central R&D Labs Inc | 可動物の目標状態決定装置及びプログラム |
JP2017154725A (ja) * | 2015-04-21 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020229515A1 (de) | 2019-05-14 | 2020-11-19 | Eyyes Gmbh | Verfahren zum anzeigen und/oder berechnen einer relativbewegung |
US11745655B2 (en) | 2019-05-14 | 2023-09-05 | Eyyes Gmbh | Method for displaying and/or calculating a relative movement |
CN113094967A (zh) * | 2021-03-31 | 2021-07-09 | 北京理工大学 | 一种无人车位置预测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6905433B2 (ja) | 2021-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11645916B2 (en) | Moving body behavior prediction device and moving body behavior prediction method | |
US11131993B2 (en) | Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout | |
EP3660745B1 (en) | Real time decision making for autonomous driving vehicles | |
CN110225852B (zh) | 用于自主车辆的反馈 | |
EP3356900B1 (en) | Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle | |
CN111258217B (zh) | 实时对象行为预测 | |
KR102630320B1 (ko) | 다중 프레임 시맨틱 신호의 고속 cnn 분류 | |
KR20210134635A (ko) | 자율 주행 차량 시스템 | |
JP7089832B2 (ja) | 状態推定器 | |
US11242050B2 (en) | Reinforcement learning with scene decomposition for navigating complex environments | |
US20230078599A1 (en) | System and Method for Neural Network-Based Autonomous Driving | |
US11400942B2 (en) | Vehicle lane trajectory probability prediction utilizing kalman filtering with neural network derived noise | |
US11807270B2 (en) | State estimator | |
US20230347979A1 (en) | Methods and processors for controlling steering of self-driving car | |
JP6905433B2 (ja) | 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法 | |
US20200097005A1 (en) | Object detection device, object detection method, and vehicle controller | |
WO2022044210A1 (ja) | 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
CN115066697A (zh) | 狭义ai代理的集合 | |
JP2010267134A (ja) | リスク認識システム | |
US20240092359A1 (en) | Vehicle camera-based prediction of change in pedestrian motion | |
EP4216191A1 (en) | Computationally efficient trajectory representation for traffic participants | |
CN116968770A (zh) | 行人轨迹预测方法、装置及计算机可读存储介质 | |
CN118053062A (zh) | 使用多个神经网络执行电子设备或车辆的感知任务的方法 | |
CN117993438A (zh) | 公平神经网络 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6905433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |