JP2022188453A - 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム - Google Patents
車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム Download PDFInfo
- Publication number
- JP2022188453A JP2022188453A JP2021096490A JP2021096490A JP2022188453A JP 2022188453 A JP2022188453 A JP 2022188453A JP 2021096490 A JP2021096490 A JP 2021096490A JP 2021096490 A JP2021096490 A JP 2021096490A JP 2022188453 A JP2022188453 A JP 2022188453A
- Authority
- JP
- Japan
- Prior art keywords
- remote
- operator
- vehicle
- remote control
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 20
- 230000001133 acceleration Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000033228 biological regulation Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
図1は、一実施形態に係る車両遠隔操作システム1を説明するための図である。図1に示される車両遠隔操作システム1は、自動運転車両2と、車両遠隔操作装置3とを備えている。車両遠隔操作システム1は、遠隔オペレータRによる自動運転車両2の遠隔操作を実行するためのシステムである。
自動運転車両2の構成の一例について説明する。図2は、自動運転車両2の構成の一例を示すブロック図である。図2に示されるように、自動運転車両2は、一例として、自動運転ECU[Electronic Control Unit]20を有している。自動運転ECU20は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等を有する電子制御ユニットである。自動運転ECU20では、例えば、ROM又はRAMに記録されているプログラムをCPUで実行することにより各種の機能が実現される。自動運転ECU20は、複数の電子ユニットから構成されていてもよい。
図1に示すように、車両遠隔操作装置3は、自動運転車両2の遠隔操作を行う装置である。車両遠隔操作装置3は、車両遠隔操作サーバ4、及びオペレータインターフェース5を備えている。本実施形態において、オペレータインターフェース5は、複数設けられている。
図4は、車両遠隔操作サーバ4のハードウェア構成の一例を示すブロック図である。図4に示すように、車両遠隔操作サーバ4は、遠隔操作ECU4a、通信部4b及びユーザインターフェース4cを備えた一般的なコンピュータとして構成することができる。
次に、車両遠隔操作装置3で実行される車両遠隔操作方法について、図8のフローチャートを用いて説明する。なお、ここでは、自動運転車両2から車両遠隔操作装置3に遠隔操作要求が送信され、この遠隔操作要求に応じて車両遠隔操作装置3が自動運転車両2の遠隔操作を行う場合を例に説明する。図8に示される処理は、自動運転車両2から送信された遠隔操作要求を車両遠隔操作サーバ4のセンサ情報受信部41が受信した場合に開始される。
車両遠隔操作プログラムは、車両遠隔操作サーバ4の遠隔操作ECU4aを、上述した情報提示部44、オペレータ状態判定部45、操作適正判定部46、及び遠隔操作送信部47として機能(動作)させる。車両遠隔操作プログラムは、例えば、ROM又は半導体メモリなどの非一時的な記録媒体によって提供される。また、車両遠隔操作プログラムは、ネットワークなどの通信を介して提供されてもよい。
Claims (7)
- 遠隔オペレータによる自動運転車両の遠隔操作を実行する車両遠隔操作装置であって、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示部と、
前記遠隔オペレータによる前記遠隔操作の入力を受け付ける入力受付部と、
前記情報提示部によって提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部と、
前記オペレータ状態判定部の判定結果に基づいて、前記入力受付部によって受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定部と、
前記入力受付部によって受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信部と、
を備え、
前記操作適正判定部は、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定し、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定し、
前記送信部は、前記操作適正判定部によって適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信し、前記操作適正判定部によって適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信しない、車両遠隔操作装置。 - 前記オペレータ状態判定部は、前記センサ情報に基づいて、提示する前記センサ情報に対して前記遠隔オペレータが注視すべき前記注視対象エリアを設定し、設定した前記注視対象エリアを前記遠隔オペレータが注視している場合に、前記遠隔オペレータが前記操作適正状態であると判定し、設定した前記注視対象エリアを前記遠隔オペレータが注視していない場合に、前記遠隔オペレータが前記操作適正状態でないと判定する、請求項1に記載の車両遠隔操作装置。
- 前記オペレータ状態判定部は、前記遠隔オペレータが前記注視対象エリアを注視している期間と、前記注視対象エリアの注視を終了してから所定の注視有効時間が経過するまでの間の期間と、について前記遠隔オペレータが前記操作適正状態であると判定する、請求項2に記載の車両遠隔操作装置。
- 前記情報提示部は、受け付けられた前記遠隔操作が前記操作適正判定部によって適正でないと判定された場合、前記オペレータ状態判定部が判定の際に用いた前記注視対象エリアを強調して表示させる、請求項2又は3に記載の車両遠隔操作装置。
- 自動運転車両と、遠隔オペレータによる前記自動運転車両の遠隔操作を実行する車両遠隔操作装置とを備える車両遠隔操作システムであって、
前記車両遠隔操作装置は、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示部と、
前記遠隔オペレータによる前記遠隔操作の入力を受け付ける入力受付部と、
前記情報提示部によって提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部と、
前記オペレータ状態判定部の判定結果に基づいて、前記入力受付部によって受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定部と、
前記入力受付部によって受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信部と、
を備え、
前記操作適正判定部は、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定し、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定し、
前記送信部は、前記操作適正判定部によって適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信し、前記操作適正判定部によって適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信せず、
前記自動運転車両は、
前記送信部から送信された前記遠隔操作情報を受信する受信部と、
受信された前記遠隔操作情報に基づいて前記自動運転車両の走行を制御する走行制御部と、
を備える、車両遠隔操作システム。 - 遠隔オペレータによる自動運転車両の遠隔操作を実行する車両遠隔操作装置で行われる車両遠隔操作方法であって、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示ステップと、
前記遠隔オペレータによる前記遠隔操作の入力を受け付ける入力受付ステップと、
前記情報提示ステップにおいて提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定ステップと、
前記オペレータ状態判定ステップの判定結果に基づいて、前記入力受付ステップにおいて受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定ステップと、
前記入力受付ステップにおいて受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信ステップと、
を含み、
前記操作適正判定ステップでは、前記遠隔操作が受け付けられた時に前記オペレータ状態判定ステップにおいて前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定し、前記遠隔操作が受け付けられた時に前記オペレータ状態判定ステップにおいて前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定し、
前記送信ステップでは、前記操作適正判定ステップにおいて適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信し、前記操作適正判定ステップにおいて適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信しない、車両遠隔操作方法。 - 遠隔オペレータによる遠隔操作の入力を受け付ける入力受付部への入力に基づいて自動運転車両の前記遠隔操作を実行する車両遠隔操作装置の遠隔操作ECUを動作させる車両遠隔操作プログラムであって、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示部、
前記情報提示部によって提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部、
前記オペレータ状態判定部の判定結果に基づいて、前記入力受付部によって受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定部、
及び、
前記入力受付部によって受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信部、
として、前記遠隔操作ECUを動作させ、
前記操作適正判定部においては、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定させ、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定させ、
前記送信部においては、前記操作適正判定部によって適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信させ、前記操作適正判定部によって適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信させない、車両遠隔操作プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096490A JP2022188453A (ja) | 2021-06-09 | 2021-06-09 | 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム |
US17/659,412 US20220397895A1 (en) | 2021-06-09 | 2022-04-15 | Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program |
EP22175002.9A EP4102323B1 (en) | 2021-06-09 | 2022-05-24 | Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program |
CN202210638539.4A CN115454037A (zh) | 2021-06-09 | 2022-06-07 | 车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096490A JP2022188453A (ja) | 2021-06-09 | 2021-06-09 | 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022188453A true JP2022188453A (ja) | 2022-12-21 |
Family
ID=82115933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021096490A Pending JP2022188453A (ja) | 2021-06-09 | 2021-06-09 | 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220397895A1 (ja) |
EP (1) | EP4102323B1 (ja) |
JP (1) | JP2022188453A (ja) |
CN (1) | CN115454037A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024121963A1 (ja) * | 2022-12-07 | 2024-06-13 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10459440B2 (en) * | 2016-01-04 | 2019-10-29 | GM Global Technology Operations LLC | System and method for remotely assisting autonomous vehicle operation |
US10479375B2 (en) * | 2017-02-16 | 2019-11-19 | Qualcomm Incorporated | Autonomously performing default operations based on current operating contexts |
JP2020042764A (ja) | 2018-09-06 | 2020-03-19 | 株式会社Soken | 車両遠隔操作支援システム |
-
2021
- 2021-06-09 JP JP2021096490A patent/JP2022188453A/ja active Pending
-
2022
- 2022-04-15 US US17/659,412 patent/US20220397895A1/en active Pending
- 2022-05-24 EP EP22175002.9A patent/EP4102323B1/en active Active
- 2022-06-07 CN CN202210638539.4A patent/CN115454037A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024121963A1 (ja) * | 2022-12-07 | 2024-06-13 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20220397895A1 (en) | 2022-12-15 |
EP4102323A1 (en) | 2022-12-14 |
EP4102323B1 (en) | 2024-04-03 |
CN115454037A (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6729220B2 (ja) | 車両用運転支援装置 | |
JP7234872B2 (ja) | 車両遠隔指示システム | |
JP7110729B2 (ja) | 自動運転システム及び自動運転システムの制御方法 | |
JP7276023B2 (ja) | 車両遠隔指示システム、及び自動運転車両 | |
US11996902B2 (en) | Vehicle remote instruction system | |
JP6623311B2 (ja) | 制御装置及び制御方法 | |
JP7140037B2 (ja) | 車両遠隔指示システム | |
US20190225217A1 (en) | Vehicle control device | |
JP7238670B2 (ja) | 画像表示装置 | |
JP7327344B2 (ja) | 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法 | |
JP2019079363A (ja) | 車両制御装置 | |
JP2019003278A (ja) | 車外報知装置 | |
EP4102323B1 (en) | Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program | |
JP7297055B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
CN115230732A (zh) | 远程功能选择装置 | |
JP2022143691A (ja) | 遠隔機能選択装置 | |
JP2022174921A (ja) | 車両遠隔指示システム | |
JP2021018743A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240607 |