JP2018198031A - 移動体制御方法、移動体制御装置、及びプログラム - Google Patents
移動体制御方法、移動体制御装置、及びプログラム Download PDFInfo
- Publication number
- JP2018198031A JP2018198031A JP2017103409A JP2017103409A JP2018198031A JP 2018198031 A JP2018198031 A JP 2018198031A JP 2017103409 A JP2017103409 A JP 2017103409A JP 2017103409 A JP2017103409 A JP 2017103409A JP 2018198031 A JP2018198031 A JP 2018198031A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- deduction
- control
- mobile body
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008685 targeting Effects 0.000 abstract 4
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Landscapes
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
移動体の位置及び前記移動体に対する複数の減点対象を取得する状態把握手順と、
前記移動体の位置から前記移動体の現在の速度を算出し、前記移動体と前記減点対象との関係を前記減点対象ごとに数値化し、現在の前記速度及び数値化した前記関係の特徴量ベクトルを取得する特徴量抽出手順と、
前記特徴量ベクトルに対して、現在の前記速度、数値化した前記関係、及び前記移動体に加減速と方向転換の少なくとも一つをさせる制御指針を行った結果を含む報酬値を用いて強化学習を行い、新たな制御指針を算出して前記移動体の制御を行う学習制御手順と、
を行う。
移動体の位置及び前記移動体に対する複数の減点対象を取得する状態把握部と、
前記移動体の位置から前記移動体の現在の速度を算出し、前記移動体と前記減点対象との関係を前記減点対象ごとに数値化し、現在の前記速度及び数値化した前記関係の特徴量ベクトルを取得する特徴量抽出部と、
前記特徴量ベクトルに対して、現在の前記速度、数値化した前記関係、及び前記移動体に加減速と方向転換の少なくとも一つをさせる制御指針を行った結果を含む報酬値を用いて強化学習を行い、新たな制御指針を算出して前記移動体の制御を行う学習制御部と、
を備える。
移動体の位置及び前記移動体に対する複数の減点対象を取得する状態把握部11と、
前記移動体の位置から前記移動体の現在の速度を算出し、前記移動体と前記減点対象との関係を前記減点対象ごとに数値化し、現在の前記速度及び数値化した前記関係の特徴量ベクトルを取得する特徴量抽出部12と、
前記特徴量ベクトルに対して、現在の前記速度、数値化した前記関係、及び前記移動体に加減速と方向転換の少なくとも一つをさせる制御指針を行った結果を含む報酬値を用いて強化学習を行い、新たな制御指針を算出して前記移動体の制御を行う学習制御部13と、
を備える。
状態把握部11が、移動体の位置及び前記移動体に対する複数の減点対象を取得する状態把握手順S11と、
特徴量抽出部12が、前記移動体の位置から前記移動体の現在の速度を算出し、前記移動体と前記減点対象との関係を前記減点対象ごとに数値化し、現在の前記速度及び数値化した前記関係の特徴量ベクトルを取得する特徴量抽出手順S12と、
学習制御部13が、前記特徴量ベクトルに対して、現在の前記速度、数値化した前記関係、及び前記移動体に加減速と方向転換の少なくとも一つをさせる制御指針を行った結果を含む報酬値を用いて強化学習を行い、新たな制御指針を算出して前記移動体の制御を行う学習制御手順S13と、
を行う。
状態把握部11は、位置情報の取得等を既存の技術によって得る。例えば、状態把握部11は、移動体自身の位置や速度、及び移動体の前方の減点対象を移動体に取り付けられたセンサー、GPS情報及び予め入力された情報(地図やルール(例:進入禁止区域等の情報))から得ることができる。
特徴量抽出部12は、状態把握部11からの情報に基づき、移動体の現在の速度(履歴)vと、360度方向に対する各角度方向(θ1, θ2, ..., θn)にある減点対象との距離(d(θi)、i=1〜n)とを特徴量として検出する。各距離は、任意の定数より大きいものを1、小さいものを0として[0,1]に正規化する。ここで、1を超える場合は1とみなし、0を下回るものは0とみなす。なお、進入禁止区域等のルールについては、当該区域までの距離を用いる。また、時間によって変動するルール(例:時間指定の進入禁止)については、距離の次元だけでなく、時間の次元を含めた多次元空間を加味し、進入禁止になるまでの時空間距離を特徴量に利用する。特徴量(速度vと距離d(θi))のベクトルを学習制御部13に伝達する。図2は特徴量を説明する図である。
学習制御部13は、得られた特徴量ベクトルに対して、減点対象を回避するための最適な制御指針を決定するために、強化学習を用いる。強化学習では、現在(時刻t)、観測している特徴量ベクトルstに対して、制御指針atを実行した際に得られる数2の報酬値を用いて、stにおける制御指針aの価値Q(st,at)を数3のように更新する。
12:特徴量抽出部
13:学習制御部
Claims (5)
- 移動体の位置及び前記移動体に対する複数の減点対象を取得する状態把握手順と、
前記移動体の位置から前記移動体の現在の速度を算出し、前記移動体と前記減点対象との関係を前記減点対象ごとに数値化し、現在の前記速度及び数値化した前記関係の特徴量ベクトルを取得する特徴量抽出手順と、
前記特徴量ベクトルに対して、現在の前記速度、数値化した前記関係、及び前記移動体に加減速と方向転換の少なくとも一つをさせる制御指針を行った結果を含む報酬値を用いて強化学習を行い、新たな制御指針を算出して前記移動体の制御を行う学習制御手順と、
を行う移動体制御方法。 - 前記特徴量ベクトルが前記減点対象の軌跡を含むことを特徴とする請求項1に記載の移動体制御方法。
- 移動体の位置及び前記移動体に対する複数の減点対象を取得する状態把握部と、
前記移動体の位置から前記移動体の現在の速度を算出し、前記移動体と前記減点対象との関係を前記減点対象ごとに数値化し、現在の前記速度及び数値化した前記関係の特徴量ベクトルを取得する特徴量抽出部と、
前記特徴量ベクトルに対して、現在の前記速度、数値化した前記関係、及び前記移動体に加減速と方向転換の少なくとも一つをさせる制御指針を行った結果を含む報酬値を用いて強化学習を行い、新たな制御指針を算出して前記移動体の制御を行う学習制御部と、
を備える移動体制御装置。 - 前記特徴量ベクトルが前記減点対象の軌跡を含むことを特徴とする請求項3に記載の移動体制御装置。
- 請求項1又は2に記載の移動体制御方法を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103409A JP6706223B2 (ja) | 2017-05-25 | 2017-05-25 | 移動体制御方法、移動体制御装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103409A JP6706223B2 (ja) | 2017-05-25 | 2017-05-25 | 移動体制御方法、移動体制御装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018198031A true JP2018198031A (ja) | 2018-12-13 |
JP6706223B2 JP6706223B2 (ja) | 2020-06-03 |
Family
ID=64663516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017103409A Active JP6706223B2 (ja) | 2017-05-25 | 2017-05-25 | 移動体制御方法、移動体制御装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6706223B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020136770A1 (ja) * | 2018-12-26 | 2020-07-02 | 三菱電機株式会社 | 移動体制御装置、移動体制御学習装置、及び移動体制御方法 |
JPWO2020179321A1 (ja) * | 2019-03-04 | 2020-09-10 | ||
CN112162555A (zh) * | 2020-09-23 | 2021-01-01 | 燕山大学 | 混合车队中基于强化学习控制策略的车辆控制方法 |
CN116540553A (zh) * | 2023-07-05 | 2023-08-04 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于强化学习的移动机器人安全运动方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06161551A (ja) * | 1992-11-19 | 1994-06-07 | Mitsubishi Heavy Ind Ltd | 自律移動物体の障害物回避システム |
JP2005293154A (ja) * | 2004-03-31 | 2005-10-20 | Hiroshima Univ | 障害物回避装置および移動体 |
JP2006289602A (ja) * | 2005-03-17 | 2006-10-26 | Sony Corp | ロボット装置及びその制御方法 |
JP2012208789A (ja) * | 2011-03-30 | 2012-10-25 | Advanced Telecommunication Research Institute International | 強化学習装置、制御装置、および強化学習方法 |
-
2017
- 2017-05-25 JP JP2017103409A patent/JP6706223B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06161551A (ja) * | 1992-11-19 | 1994-06-07 | Mitsubishi Heavy Ind Ltd | 自律移動物体の障害物回避システム |
JP2005293154A (ja) * | 2004-03-31 | 2005-10-20 | Hiroshima Univ | 障害物回避装置および移動体 |
JP2006289602A (ja) * | 2005-03-17 | 2006-10-26 | Sony Corp | ロボット装置及びその制御方法 |
JP2012208789A (ja) * | 2011-03-30 | 2012-10-25 | Advanced Telecommunication Research Institute International | 強化学習装置、制御装置、および強化学習方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020136770A1 (ja) * | 2018-12-26 | 2020-07-02 | 三菱電機株式会社 | 移動体制御装置、移動体制御学習装置、及び移動体制御方法 |
JPWO2020136770A1 (ja) * | 2018-12-26 | 2021-05-20 | 三菱電機株式会社 | 移動体制御装置、移動体制御学習装置、及び移動体制御方法 |
CN113260936A (zh) * | 2018-12-26 | 2021-08-13 | 三菱电机株式会社 | 移动体控制装置、移动体控制学习装置及移动体控制方法 |
JP7058761B2 (ja) | 2018-12-26 | 2022-04-22 | 三菱電機株式会社 | 移動体制御装置、移動体制御学習装置、及び移動体制御方法 |
CN113260936B (zh) * | 2018-12-26 | 2024-05-07 | 三菱电机株式会社 | 移动体控制装置、移动体控制学习装置及移动体控制方法 |
JPWO2020179321A1 (ja) * | 2019-03-04 | 2020-09-10 | ||
WO2020179321A1 (ja) * | 2019-03-04 | 2020-09-10 | パナソニックIpマネジメント株式会社 | 制御システム、及び制御方法 |
JP7407401B2 (ja) | 2019-03-04 | 2024-01-04 | パナソニックIpマネジメント株式会社 | 制御システム、及び制御方法 |
CN112162555A (zh) * | 2020-09-23 | 2021-01-01 | 燕山大学 | 混合车队中基于强化学习控制策略的车辆控制方法 |
CN112162555B (zh) * | 2020-09-23 | 2021-07-16 | 燕山大学 | 混合车队中基于强化学习控制策略的车辆控制方法 |
CN116540553A (zh) * | 2023-07-05 | 2023-08-04 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于强化学习的移动机器人安全运动方法 |
CN116540553B (zh) * | 2023-07-05 | 2023-08-25 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于强化学习的移动机器人安全运动方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6706223B2 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108698595B (zh) | 用于控制车辆运动的方法和车辆的控制系统 | |
JP2018198031A (ja) | 移動体制御方法、移動体制御装置、及びプログラム | |
US10860027B2 (en) | Method of road vehicle trajectory planning | |
EP3315388B1 (en) | Spring system-based change lane approach for autonomous vehicles | |
EP3350661B1 (en) | Method and system for steering control of an autonomous vehicle | |
EP3342670B1 (en) | Method to dynamically adjusting speed control rates of autonomous vehicles | |
CN110488843B (zh) | 避障方法、移动机器人及计算机可读存储介质 | |
KR101990878B1 (ko) | 시간상태 영역에서의 온라인 양방향 경로 계획 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 | |
JP6884685B2 (ja) | 制御装置、無人システム、制御方法及びプログラム | |
KR20140112824A (ko) | 백스테핑 기법을 이용한 선도 추종자 대형제어 장치, 방법 및 이동로봇 | |
US11597388B2 (en) | System and method for connected vehicle lane merge | |
JP2020525335A (ja) | 自動運転システムの人間による監視 | |
KR101605994B1 (ko) | 미지의 스키딩과 슬리핑을 갖는 이동 로봇을 위한 적응적 선도-추종 군집 제어 방법 및 그 장치 | |
US11358612B2 (en) | Method for controlling an automated or autonomous locomotive device, and evaluation unit | |
JP2019113926A (ja) | モデル予測制御装置 | |
Herman et al. | Inverse reinforcement learning of behavioral models for online-adapting navigation strategies | |
KR20190127849A (ko) | 차량 제어 방법 및 차량 제어 장치 | |
KR20200048808A (ko) | 로봇의 행동을 제어하는 정책을 갱신하는 방법 및 그 방법을 수행하는 전자 장치 | |
CN114667494A (zh) | 机器人控制模型学习方法、机器人控制模型学习装置、机器人控制模型学习程序、机器人控制方法、机器人控制装置、机器人控制程序以及机器人 | |
US11188083B2 (en) | Method, device, and computer readable storage medium with instructions for motion planning for a transportation vehicle | |
Ruof et al. | Real-time spatial trajectory planning for urban environments using dynamic optimization | |
CN112711255A (zh) | 移动机器人避障方法、控制设备及存储介质 | |
JP2016008024A (ja) | 操作情報推定装置及びプログラム | |
EP2287698A1 (en) | Estimating positions of a device and at least one target in an environment | |
US20230012905A1 (en) | Proximity detection for automotive vehicles and other systems based on probabilistic computing techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6706223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |