CN115454037A - 车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序 - Google Patents
车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序 Download PDFInfo
- Publication number
- CN115454037A CN115454037A CN202210638539.4A CN202210638539A CN115454037A CN 115454037 A CN115454037 A CN 115454037A CN 202210638539 A CN202210638539 A CN 202210638539A CN 115454037 A CN115454037 A CN 115454037A
- Authority
- CN
- China
- Prior art keywords
- remote operation
- remote
- operator
- vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 description 22
- 238000012544 monitoring process Methods 0.000 description 20
- 230000001133 acceleration Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000033228 biological regulation Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明为一种车辆远程操作装置(3),具有:操作者状态判断部(45),其根据远程操作者(R)针对由信息提示部(44)提示的传感器信息的注视对象区域的注视状态,判断远程操作者(R)是否为适于实施远程操作的操作适当状态;操作适当判断部(46),其根据操作者状态判断部(45)的判断结果,判断由输入设备(53)承接的远程操作是否为适当;远程操作发送部(47),其将表示判断为适当的远程操作的远程操作信息发送至自动驾驶车辆(2)。
Description
技术领域
本发明涉及一种实施自动驾驶车辆的远程操作的车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序。
背景技术
例如,在专利文献1中记载了通过远程操作者远程地操作车辆而使可自动驾驶的车辆行驶。该远程操作者根据从车辆发送的拍摄图像等信息,远程地操作车辆。
现有技术文献
专利文献
专利文献1:日本特开2020-042764号公报。
发明内容
发明要解决的问题
在远程操作者远程地操作车辆的情况下,例如在远程操作者未观看拍摄图像等、远程操作者的状态为不适当远程的操作的状态下,也能够远程地操作车辆。在这种情况下,不能够使车辆适当地行驶,会产生妨碍交通的流动等的情况。
因此,本发明说明了能够将远程操作者输入的适当的远程操作信息发送至自动驾驶车辆的车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序。
用于解决问题的方法
本发明的第一方式为一种车辆远程操作装置,是执行基于远程操作者的自动驾驶车辆的远程操作的车辆远程操作装置,具有:信息提示部,其对自动驾驶车辆的车载传感器的传感器信息进行提示;输入承接部,其对基于远程操作者的远程操作的输入进行承接;操作者状态判断部,其根据远程操作者针对由信息提示部提示的传感器信息的注视对象区域的注视状态,判断远程操作者是否为适于实施远程操作的操作适当状态;操作适当判断部,其根据操作者状态判断部的判断结果,判断由输入承接部承接的远程操作是否为适当;发送部,其将表示由输入承接部承接的远程操作的远程操作信息发送至自动驾驶车辆,在操作适当判断部中,在远程操作被承接时通过操作者状态判断部判断为是操作适当状态的情况下,判断为承接的远程操作为适当,在远程操作被承接时通过操作者状态判断部判断为不是操作适当状态的情况下,判断为承接的远程操作为不适当,在发送部中,将由操作适当判断部判断为适当的远程操作的远程操作信息发送至自动驾驶车辆,将由操作适当判断部判断为不适当的远程操作的远程操作信息不发送至自动驾驶车辆。
在该车辆远程操作装置中,在远程操作者在适于远程操作的状态(操作适当状态)下输入了远程操作的情况下,远程操作信息被发送至自动驾驶车辆。另一方面,在车辆远程操作装置中,在远程操作者在不适于远程操作的状态下输入了远程操作的情况下,不向自动驾驶车辆发送远程操作信息。以此方式,车辆远程操作装置能够将远程操作者在操作适当状态下输入的适当的远程操作信息发送至自动驾驶车辆。
在车辆远程操作装置中,在操作者状态判断部中,根据传感器信息,设定针对提示的传感器信息而远程操作者应该注视的注视对象区域,在远程操作者注视设定的注视对象区域的情况下,判断为远程操作者为操作适当状态,在远程操作者未注视设定的注视对象区域的情况下,判断为远程操作者不为操作适当状态。在该情况下,车辆远程操作装置通过使用注视对象区域的注视的有无,能够更适当地判断远程操作者是否为适于远程操作的操作适当状态。
在车辆远程操作装置中,操作者状态判断部针对远程操作者注视注视对象区域的期间和从结束注视对象区域的注视到经过规定的注视有效时间为止的期间,判断为远程操作者为操作适当状态。在该情况下,车辆远程操作装置能够根据注视对象区域的注视状态,更适当地判断是否为操作适当状态。
在车辆远程操作装置中,信息提示部在由操作适当判断部判断为承接的远程操作不为适当的情况下,强调地显示在操作者状态判断部判断时使用的注视对象区域。在该情况下,车辆远程操作装置能够使远程操作者知晓为了成为操作适当状态而远程操作者应该注视的区域。由此,远程操作者能够掌握作为应该注视的注视对象区域。然后,远程操作者能够对为了成为操作适当状态所需的注视方法进行学习。
本发明的第二方式为一种车辆远程操作系统,是具有自动驾驶车辆和执行基于远程操作者的自动驾驶车辆的远程操作的车辆远程操作装置的车辆远程操作系统,车辆远程操作装置具有:信息提示部,其对自动驾驶车辆的车载传感器的传感器信息进行提示;输入承接部,其对基于远程操作者的远程操作的输入进行承接;操作者状态判断部,其根据远程操作者针对由信息提示部提示的传感器信息的注视对象区域的注视状态,判断远程操作者是否为适于实施远程操作的操作适当状态;操作适当判断部,其根据操作者状态判断部的判断结果,判断由输入承接部承接的远程操作是否为适当;发送部,其将表示由输入承接部承接的远程操作的远程操作信息发送至自动驾驶车辆,在操作适当判断部中,在远程操作被承接时通过操作者状态判断部判断为是操作适当状态的情况下,判断为承接的远程操作为适当,在远程操作被承接时通过操作者状态判断部判断为不是操作适当状态的情况下,判断为承接的远程操作为不适当,在发送部中,将由操作适当判断部判断为适当的远程操作的远程操作信息发送至自动驾驶车辆,将由操作适当判断部判断为不适当的远程操作的远程操作信息不发送至自动驾驶车辆,自动驾驶车辆具有:接收部,其接收从发送部发送的远程操作信息;行驶控制部,其根据接收的远程操作信息而对自动驾驶车辆的行驶进行控制。
在该车辆远程操作系统中的车辆远程操作装置中,在远程操作者在适于远程操作的状态(操作适当状态)下输入了远程操作的情况下,远程操作信息被发送至自动驾驶车辆。另一方面,在车辆远程操作装置中,在远程操作者在不适于远程操作的状态下输入了远程操作的情况下,不向自动驾驶车辆发送远程操作信息。以此方式,车辆远程操作系统能够将远程操作者在操作适当状态下输入的适当的远程操作信息发送至自动驾驶车辆。
本发明的第三方式为一种车辆远程操作方法,是通过车辆远程操作装置实施的车辆远程操作方法,车辆远程操作装置执行基于远程操作者的自动驾驶车辆的远程操作,车辆远程操作方法具有:对自动驾驶车辆的车载传感器的传感器信息进行提示的信息提示步骤;对基于远程操作者的远程操作的输入进行承接的输入承接步骤;根据远程操作者针对在信息提示步骤中提示的传感器信息的注视对象区域的注视状态,判断远程操作者是否为适于实施远程操作的操作适当状态的操作者状态判断步骤;根据操作者状态判断步骤的判断结果,判断在输入承接步骤中承接的远程操作是否为适当的操作适当判断步骤;将表示在输入承接步骤中承接的远程操作的远程操作信息发送至自动驾驶车辆的发送步骤,在操作适当判断步骤中,在远程操作被承接时在操作者状态判断步骤中判断为是操作适当状态的情况下,判断为承接的远程操作为适当,在远程操作被承接时在操作者状态判断步骤中判断为不是操作适当状态的情况下,判断为承接的远程操作为不适当,在发送步骤中,将在操作适当判断步骤中判断为适当的远程操作的远程操作信息发送至自动驾驶车辆,将在操作适当判断步骤中判断为不适当的远程操作的远程操作信息不发送至自动驾驶车辆。
在该车辆远程操作方法中,在远程操作者在适于远程操作的状态(操作适当状态)下输入了远程操作的情况下,远程操作信息被发送至自动驾驶车辆。另一方面,在车辆远程操作方法中,在远程操作者在不适于远程操作的状态下输入了远程操作的情况下,不向自动驾驶车辆发送远程操作信息。以此方式,在车辆远程操作方法中,能够将远程操作者在操作适当状态下输入的适当的远程操作信息发送至自动驾驶车辆。
本发明的第四方式是一种车辆远程操作程序,是使车辆远程操作装置的远程操作ECU动作的车辆远程操作程序,车辆远程操作装置根据对基于远程操作者的远程操作的输入进行承接的输入承接部的输入而执行自动驾驶车辆的远程操作,远程操作ECU作为以下的部进行动作,即:信息提示部,其对自动驾驶车辆的车载传感器的传感器信息进行提示;操作者状态判断部,其根据远程操作者针对由信息提示部提示的传感器信息的注视对象区域的注视状态,判断远程操作者是否为适于实施远程操作的操作适当状态;操作适当判断部,其根据操作者状态判断部的判断结果,判断由输入承接部承接的远程操作是否为适当;发送部,其将表示由输入承接部承接的远程操作的远程操作信息发送至自动驾驶车辆,在操作适当判断部中,在远程操作被承接时通过操作者状态判断部判断为是操作适当状态的情况下,判断为承接的远程操作为适当,在远程操作被承接时通过操作者状态判断部判断为不是操作适当状态的情况下,判断为承接的远程操作为不适当,在发送部中,将由操作适当判断部判断为适当的远程操作的远程操作信息发送至自动驾驶车辆,将由操作适当判断部判断为不适当的远程操作的远程操作信息不发送至自动驾驶车辆。
在该车辆远程操作程序中,在远程操作者在适于远程操作的状态(操作适当状态)下输入了远程操作的情况下,远程操作信息被发送至自动驾驶车辆。另一方面,在车辆远程操作程序中,在远程操作者在不适于远程操作的状态下输入了远程操作的情况下,不向自动驾驶车辆发送远程操作信息。以此方式,在车辆远程操作程序中,能够将远程操作者在操作适当状态下输入的适当的远程操作信息发送至自动驾驶车辆。
发明的效果
根据本发明的各种方式,能够将远程操作者输入的适当的远程操作信息发送至自动驾驶车辆。
附图说明
图1是用于说明一个实施方式的车辆远程操作系统的图。
图2是表示自动驾驶车辆的结构的一例的框图。
图3是表示操作者接口的硬件结构的一例的框图。
图4是表示车辆远程操作服务器的硬件结构的一例的框图。
图5是表示远程操作ECU的功能结构的一例的框图。
图6(a)及图6(b)是表示注视有效时间条的显示的一例的图。
图7(a)是表示向远程操作者提示的自动驾驶车辆的前方的拍摄图像的图。图7(b)是表示向远程操作者提示的自动驾驶车辆的后方的拍摄图像的图。
图8是表示由车辆远程操作装置执行的车辆远程操作方法的处理的流程的流程图。
具体实施方式
以下,参照附图,说明示例性实施方式。此外,在各图中,对于相同或相应的要素标示相同的符号,并省略重复的说明。
[车辆远程操作系统]图1是用于说明一个实施方式的车辆远程操作系统1的图。图1所示的车辆远程操作系统1具有自动驾驶车辆2和车辆远程操作装置3。车辆远程操作系统1是用于执行基于远程操作者R的自动驾驶车辆2的远程操作的系统。
远程操作者R指的是,实施用于自动驾驶车辆2执行远程行驶的远程操作的人。远程操作者R能够通过车辆远程操作装置3实施自动驾驶车辆2的远程操作。远程操作者R的人数没有限定,可以是一人,也可以是两人以上。能够与车辆远程操作装置3进行通信的自动驾驶车辆2的辆数也没有特别限定。也可以是多个远程操作者R交替地针对一辆自动驾驶车辆2实施远程操作的方式,也可以是一个远程操作者R针对两辆以上的自动驾驶车辆2实施远程操作的方式。
在此,在本实施方式中,远程操作者R实施的远程操作只要能够远程地使自动驾驶车辆2行驶,则远程操作的种类不限。例如,在该远程操作中,也可以包含根据来自自动驾驶车辆2的请求而远程操作者R代替在自动驾驶车辆2中进行的判断等的驾驶辅助。此外,例如,在该远程操作中,也可以包含无论来自自动驾驶车辆2的请求的有无,远程操作者R都针对自动驾驶车辆2实施行动的指示的远程指示。进一步地,例如,在该远程操作中,也可以包含远程操作者R远程地驾驶自动驾驶车辆2的远程驾驶。
在车辆远程操作系统1中,例如在从自动驾驶车辆2进行了请求等的规定的情况下,向远程操作者R请求远程操作的输入。远程操作者R向车辆远程操作装置3的操作者接口5输入远程操作内容。车辆远程操作装置3经由网络N向自动驾驶车辆2发送表示远程操作的远程操作信息。自动驾驶车辆2根据远程操作信息进行行驶。
[自动驾驶车辆]对自动驾驶车辆2的结构的一例进行说明。图2是表示自动驾驶车辆2的结构的一例的框图。如图2所示,作为一个例子,自动驾驶车辆2具有自动驾驶电子控制单元(ECU:Electronic Control Unit)20。自动驾驶ECU 20是具有CPU(CentralProcessing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等的电子控制单元。在自动驾驶ECU 20中,例如通过由CPU执行存储在ROM或RAM中的程序来实现各种功能。自动驾驶ECU 20也可以由多个电子单元构成。
自动驾驶ECU 20与GPS(Global Positioning System)接收部21、外部传感器(车载传感器)22、内部传感器23、地图数据库24、通信部25以及致动器26连接。
GPS接收部21通过从三个以上的GPS卫星接收信号,测定自动驾驶车辆2的位置(例如自动驾驶车辆2的纬度及经度)。GPS接收部21将测定的自动驾驶车辆2的位置信息发送至自动驾驶ECU 20。
外部传感器22是检测自动驾驶车辆2的外部环境的车载传感器。外部传感器22至少包含摄像机。摄像机是拍摄自动驾驶车辆2的外部环境的摄像设备。摄像机例如设置在自动驾驶车辆2的前窗玻璃的里侧,对车辆前方进行拍摄。摄像机将与自动驾驶车辆2的外部环境相关的拍摄信息发送至自动驾驶ECU 20。摄像机可以是单眼摄像机,也可以是立体摄像机。摄像机也可以设置多台,除了自动驾驶车辆2的前方以外,也可以拍摄左右的侧方及后方。在自动驾驶车辆2中,也可以配备朝向远程操作者R的外部摄像机。朝向远程操作者R的外部摄像机至少拍摄自动驾驶车辆2的前方。朝向远程操作者R的外部摄像机也可以由对包含自动驾驶车辆2的侧方和后方的周围进行拍摄的多个摄像机构成。
外部传感器22可以包含雷达传感器。雷达传感器是利用电波(例如毫米波)或光来检测自动驾驶车辆2的周边的物体的检测设备。雷达传感器包含例如毫米波雷达或激光雷达[LIDAR:Light Detection and Ranging]。雷达传感器向自动驾驶车辆2的周边发送电波或光并接收由物体反射的电波或光,由此检测物体。雷达传感器将检测的物体信息发送至自动驾驶ECU 20。物体除了护栏、建筑物等固定物体之外,还包含行人、自行车、其他车辆等移动物体。此外,外部传感器22也可以包含检测自动驾驶车辆2外部的声音的声音检测传感器。
内部传感器23是检测自动驾驶车辆2的行驶状态的车载传感器。内部传感器23包含车速传感器、加速度传感器和横摆率传感器。车速传感器是检测自动驾驶车辆2的速度的检测器。作为车速传感器,可以使用针对自动驾驶车辆2的车轮或与车轮一体旋转的驱动轴等设置的、检测各车轮的旋转速度的车轮速度传感器。车速传感器将检测的车速信息(车轮速度信息)发送至自动驾驶ECU 20。
加速度传感器是检测自动驾驶车辆2的加速度的检测器。加速度传感器例如包含检测自动驾驶车辆2的前后方向的加速度的前后加速度传感器。加速度传感器也可以包含检测自动驾驶车辆2的横向加速度的横向加速度传感器。加速度传感器例如将自动驾驶车辆2的加速度信息发送至自动驾驶ECU 20。横摆率传感器是检测围绕自动驾驶车辆2的重心的铅直轴的横摆率(旋转角速度)的检测器。例如,作为横摆率传感器,可以使用陀螺仪传感器。横摆率传感器将检测的自动驾驶车辆2的横摆率信息发送至自动驾驶ECU 20。
地图数据库24是记录地图信息的数据库。地图数据库24例如形成在搭载于自动驾驶车辆2上的HDD等记录装置内。在地图信息中,包含道路的位置信息、道路形状的信息(例如曲率信息)、交叉点及分支点的位置信息等。在地图信息中,也可以包含与位置信息建立关联的法定速度等交通限制信息。在地图信息中,也可以包含用于取得自动驾驶车辆2的位置信息的物标信息。作为物标,可以使用道路标识、路面标示、信号灯、电线杆等。地图数据库24也可以构成为,能够与自动驾驶车辆2进行通信的服务器。服务器不限于车辆远程操作服务器4。
通信部25是对与自动驾驶车辆2的外部之间的无线通信进行控制的通信设备。通信部25经由网络N与车辆远程操作服务器4进行各种信息的发送及接收。
致动器26是在自动驾驶车辆2的控制中使用的设备。致动器26至少包含驱动致动器、制动致动器及转向致动器。驱动致动器根据来自自动驾驶ECU 20的控制信号,控制针对发动机的空气的供给量(节气门开度),并控制自动驾驶车辆2的驱动力。此外,在自动驾驶车辆2为混合动力车的情况下,除了针对发动机的空气的供给量之外,还向作为动力源的电机输入来自自动驾驶ECU 20的控制信号而对该驱动力进行控制。在自动驾驶车辆2为电动汽车的情况下,向作为动力源的电机输入来自自动驾驶ECU 20的控制信号而对该驱动力进行控制。在这些情况下,作为动力源的电机构成致动器26。
制动致动器根据来自自动驾驶ECU 20的控制信号而对制动系统进行控制,并控制向自动驾驶车辆2的车轮施加的制动力。作为制动系统,例如能够使用液压制动系统。转向致动器根据来自自动驾驶ECU 20的控制信号,对电动动力转向系统中控制转向转矩的辅助电机的驱动进行控制。由此,转向致动器控制自动驾驶车辆2的转向转矩。
接着,说明自动驾驶ECU 20的功能性结构的一例。自动驾驶ECU 20具有车辆位置取得部20a、外部环境识别部20b、行驶状态识别部20c、远程操作请求部20d、行进路途生成部20e、以及自动驾驶控制部(接收部、行驶控制部)20f。
车辆位置取得部20a根据GPS接收部21的位置信息及地图数据库24的地图信息,取得自动驾驶车辆2的车辆位置信息。此外,车辆位置取得部20a也可以利用在地图数据库24的地图信息中包含的物标信息及外部传感器22的检测结果,通过SLAM(SimultaneousLocalization and Mapping)技术取得自动驾驶车辆2的车辆位置信息。车辆位置取得部20a也可以根据车道的划分线和自动驾驶车辆2的车辆位置关系,识别自动驾驶车辆2相对于车道的横向位置(车道宽度方向上的自动驾驶车辆2的位置),并包含在车辆位置信息中。此外,车辆位置取得部20a也可以通过作为其它的公知的方法取得自动驾驶车辆2的车辆位置信息。
外部环境识别部20b根据外部传感器22的检测结果,识别自动驾驶车辆2的外部环境。在外部环境中,包含周围物体相对于自动驾驶车辆2的相对位置。在外部环境信息中,也可以包含周围物体相对于自动驾驶车辆2的相对速度及移动方向。在外部环境信息中,也可以包含其他车辆、行人、自行车等的物体的种类。物体的种类能够通过图案匹配等公知的方法进行识别。在外部环境信息中,也可以包含自动驾驶车辆2的周围的划分线识别(白线识别)的结果。在外部环境信息中,也可以包含信号灯的点亮状态的识别结果。外部环境识别部20b例如根据外部传感器22的摄像机的图像,能够识别自动驾驶车辆2的前方的信号灯的点亮状态(是可穿过的点亮状态、或者禁止穿过的点亮状态等)。
行驶状态识别部20c根据内部传感器23的检测结果,识别自动驾驶车辆2的行驶状态。在行驶状态中,包含自动驾驶车辆2的车速、自动驾驶车辆2的加速度、自动驾驶车辆2的横摆率。具体而言,行驶状态识别部20c根据车速传感器的车速信息,识别自动驾驶车辆2的车速。行驶状态识别部20c根据加速度传感器的车速信息,识别自动驾驶车辆2的加速度。行驶状态识别部20c根据横摆率传感器的横摆率信息,识别自动驾驶车辆2的朝向。
远程操作请求部20d判断是否应该向远程操作者R请求远程操作。远程操作请求部20d例如根据车辆位置取得部20a取得的自动驾驶车辆2的车辆位置信息及地图数据库24的地图信息或者外部环境识别部20b识别的外部环境,判断是否应该请求远程操作。远程操作请求部20d在判断为应该请求远程操作的情况下,将远程操作请求发送至车辆远程操作服务器4。
远程操作请求部20d在自动驾驶车辆2成为预先设定的应该请求远程操作的状况的情况下,判断为应该请求远程操作。作为应该请求远程操作的状况,例如可以举出需要相对于车辆前方的障碍物的避免偏离车道的状况、自动驾驶车辆2在交叉路口右转的状况、进入带信号灯或无信号灯的交叉路口的状况、通过信号灯的状况(例如通过与道路途中的人行横道对应的信号灯的状况)、开始改变车道的状况、进入施工区段的状况、进入铁道口的状况、在交叉路口左转的状况(以确认转弯碰撞作为目的的情况)、根据车厢内的摄像机影像确认对于乘客而言能够安全起步的状况、根据车厢内外的摄像机影像确认能够安全开闭门的状况等。
此外,远程操作请求部20d与远程操作请求一并地,将作为外部传感器22的检测结果的传感器信息发送至车辆远程操作服务器4。传感器信息是在远程操作者R进行远程操作时的判断中使用的信息。例如,传感器信息也可以是摄像机的拍摄图像(影像)或雷达的点阵信息等。此外,该传感器信息不限于摄像机等外部传感器22的检测结果原样的信息。该传感器信息也可以是根据外部传感器22的检测结果实施了物体的识别处理等之后的信息。例如,传感器信息也可以是由外部环境识别部20b识别的外部环境信息。此外,例如,传感器信息也可以是改变了实际的摄像机的影像或图像的视角的信息。进一步地,例如,传感器信息也可以不是实际的影像或图像,而是根据3D模型信息生成的影像或图像。
此外,如上所述,远程操作者R能够与来自自动驾驶车辆2的请求的有无无关地,进行自动驾驶车辆2的远程操作。因此,远程操作请求部20d能够与远程操作请求的发送的有无无关地,将传感器信息发送至车辆远程操作服务器4。
进一步地,远程操作请求部20d也可以与传感器信息一并地,向车辆远程操作服务器4发送自动驾驶车辆2的车辆信息(自动驾驶车辆2的识别信息以及车辆位置信息等)、以及自动驾驶车辆2的行驶状态信息(车速、横摆率等信息)。此外,远程操作请求部20d也可以与传感器信息一并地,向车辆远程操作服务器4发送交通规则、限制信息(根据本车位置得到的车速限制信息、行进方向的限制信息(右转专用车道等)、识别的信号灯的颜色信息等)。
行进路途生成部20e生成在自动驾驶车辆2的自动驾驶中使用的行进路途[trajectory]。行进路途生成部20e根据预先设定的行驶路径、地图信息、自动驾驶车辆2的位置信息、自动驾驶车辆2的外部环境以及自动驾驶车辆2的行驶状态,生成自动驾驶的行进路途。
行驶路径指的是,在自动驾驶中自动驾驶车辆2行驶的路径。行进路途生成部20e根据例如目的地、地图信息以及自动驾驶车辆2的位置信息,计算自动驾驶的行驶路径。行驶路径也可以由公知的导航系统设定。目的地可以由自动驾驶车辆2的乘员设定,也可以由自动驾驶ECU 20或导航系统等自动地提出。
在行进路途中,包含车辆自动驾驶地行驶的路线[path]和自动驾驶时的车速曲线。路线是在行驶路径上自动驾驶中的车辆行驶的预定的轨迹。路线例如可以是与行驶路径上的位置对应的自动驾驶车辆2的转向角变化的数据(转向角曲线)。行驶路径上的位置指的是,例如在行驶路径的行进方向上每隔规定间隔(例如1m)设定的设定纵位置。转向角曲线是目标转向角与每个设定纵位置建立相关而成的数据。
行进路途生成部20e根据例如行驶路径、地图信息、自动驾驶车辆2的外部环境以及自动驾驶车辆2的行驶状态,生成自动驾驶车辆2行驶的路线。行进路途生成部20e例如生成自动驾驶车辆2穿过在行驶路径中包含的车道的中央(车道宽度方向上的中央)的路线。
车速曲线是例如针对每个设定纵位置与目标车速建立相关而成的数据。此外,设定纵位置也可以不以距离而是自动驾驶车辆2的行驶时间为基准进行设定。设定纵位置也可以设定为车辆的1秒后的到达位置、车辆的2秒后的到达位置。
行进路途生成部20e例如根据路线和在地图信息中包含的法定速度等交通限制信息,生成车速曲线。代替法定速度地,也可以使用针对地图上的位置或区段预先设定的设定速度。行进路途生成部20e根据路线及车速曲线生成自动驾驶的行进路途。此外,行进路途生成部20e中的行进路途的生成方法不限于上述内容,可以采用与自动驾驶相关的公知的方法。对于行进路途的内容也一样。
在通过远程操作请求部20d向车辆远程操作服务器4请求了远程操作的情况下,行进路途生成部20e生成与远程操作对应的行进路途。在此,行进路途生成部20e在预先确定了远程操作的内容的情况下,也可以预先生成与远程操作对应的行进路途。或者,行进路途生成部20e也可以在从车辆远程操作服务器4接收远程操作信息之后,生成与远程操作对应的行进路途。
自动驾驶控制部20f执行自动驾驶车辆2的自动驾驶。自动驾驶控制部20f例如根据自动驾驶车辆2的外部环境、自动驾驶车辆2的行驶状态以及行进路途生成部20e生成的行进路途,执行自动驾驶车辆2的自动驾驶。自动驾驶控制部20f通过向致动器26发送控制信号,实施自动驾驶车辆2的自动驾驶。
此外,自动驾驶控制部20f在经由通信部25从车辆远程操作服务器4接收了远程操作信息的情况下,根据与远程操作信息对应的行进路途来控制自动驾驶车辆2的行驶。
[车辆远程操作装置]如图1所示,车辆远程操作装置3是实施自动驾驶车辆2的远程操作的装置。车辆远程操作装置3具有车辆远程服务器4和操作者接口5。在本实施方式中,操作者接口5设置多个。
操作者接口5是为了远程操作者R实施自动驾驶车辆2的远程操作中使用的接口。更详细而言,如图3所示,操作者接口5具有监视器51、扬声器52、输入设备(输入承接部)53、操作者监视传感器54以及通信部55。
监视器51和扬声器52是根据来自车辆远程操作服务器4的指示,向远程操作者R提示与成为远程操作对象的自动驾驶车辆2的远程操作相关的各种信息的设备。在此,监视器51至少提示自动驾驶车辆2的外部传感器22的传感器信息。监视器51例如能够显示(提示)在自动驾驶车辆2上搭载的外部传感器22的摄像机的图像。
输入设备53是通过远程操作者R输入自动驾驶车辆2的远程操作的设备。也就是说,输入设备53承接基于远程操作者R的远程操作的输入。
作为输入设备53,例如可以使用按钮、开关、触摸面板等硬件、或者经由计算机输入的键盘、鼠标等。远程操作者R例如可以使用输入设备53进行“车辆行动的批准”、“起步指示”、“右转或左转指示”、“车道改变指示”、以及“车速、加减速的量的数值指示”等,作为远程操作。此外,远程操作者R可以使用输入设备53,实施自动驾驶车辆2识别的外部环境等的识别结果的正误的输入或修正的指示。
例如,远程操作者R在进行“车辆行动的批准”、“起步指示”、“右转或左转指示”、或“车道改变指示”的情况下,可以使用作为输入设备53的按钮、开关、触摸面板、鼠标中的任一个。此外,例如,在远程操作者R实施自动驾驶车辆2识别的识别结果的正误输入的情况下(例如,外部环境识别部20b将信号灯的点亮的颜色识别为红色,但远程操作者R修正为青色的情况下),可以使用作为输入设备53的按钮、开关、触摸面板、鼠标中的任一个。同样地,远程操作者R在进行自动驾驶车辆2识别的识别结果的修正的情况下(例如,外部环境识别部20b识别为在周围存在车辆,但远程操作者R修正为无车辆的情况下),可以使用作为输入设备53的按钮、开关、触摸面板、鼠标中的任一个。此外,例如,远程操作者R在进行“车速、加减速的量的数值指示”的情况下,可以使用作为输入设备53的音量开关、键盘输入中的任一个。
此外,远程操作者R也可以同时实施多种上述各种输入设备53的使用和各种的远程操作。例如,远程操作者R为了在进行车道改变指示的同时抑制车速,也可以同时地进行按钮操作和音量开关操作。此外,远程操作者R有时对自动驾驶车辆2的识别结果进行多种修正。例如,在同一方向上设置多个信号灯的情况较多。在这种情况下,由于太阳光的原因,有时会使多个信号灯的识别结果错误。在对这些进行修正的情况下,远程操作者R也可以通过触摸面板的操作而修正在触摸面板的显示画面上显示的多个识别结果。
操作者监视传感器54是用于监视进行自动驾驶车辆2的远程操作的远程操作者R的状态的传感器。操作者监视传感器54例如具有操作者监视摄像机和操作者监视麦克风。操作者监视摄像机是拍摄远程操作者R的摄像机。由操作者监视摄像机拍摄的图像可以用于通过取得远程操作者R的视线的朝向和/或脸的朝向来判断注视监视器51的显示画面中的哪个部分。此外,由操作者监视摄像机拍摄的图像可以用于在远程操作者R进行远程操作时判断指差呼称的动作的有无。由操作者监视麦克风检测的声音可以用于在远程操作者R实施远程操作时判断指差呼称的动作的有无。
通信部55是与车辆远程操作服务器4进行通信的设备。通信部55从车辆远程操作服务器4接收由监视器51和扬声器52提示的信息。通信部55将输入到输入设备53的表示远程操作的远程操作信息发送至车辆远程操作服务器4。此外,通信部55将作为操作者监视传感器54的检测结果的操作者监视信息发送至车辆远程操作服务器4。
[车辆远程操作服务器]图4是表示车辆远程操作服务器4的硬件结构的一例的框图。如图4所示,车辆远程操作服务器4可以被配置为具有远程操作ECU 4a、通信部4b和用户接口4c的通常的计算机。
远程操作ECU 4a使各种操作系统动作来控制车辆远程操作服务器4。远程操作ECU4a与自动驾驶ECU 20同样地,是具有CPU、ROM、RAM等的电子控制单元。远程操作ECU 4a控制通信部4b和用户接口4c。
通信部4b是用于经由网络N与自动驾驶车辆2进行通信的通信设备。此外,通信部4b进行与操作者接口5的通信。在通信部4b中,可以使用网络设备、网络控制器、网卡等。用户接口4c是针对管理者等用户的车辆远程操作服务器4的输入输出部。用户接口4c包含显示器、扬声器等输出器以及触摸面板等输入器。此外,车辆远程操作服务器4不一定必须设置在设施中,也可以搭载在车辆等移动体上。车辆远程操作服务器4可以由多个计算机构成。
接着,对远程操作ECU 4a的功能性结构进行说明。图5是表示远程操作ECU 4a的功能性结构的一例的框图。如图5所示,远程操作ECU 4a在功能上具有传感器信息接收部41、操作者监视信息接收部42、远程操作信息接收部43、信息提示部44、操作者状态判断部45、操作适当判断部46以及远程操作发送部(发送部)47。
传感器信息接收部41经由通信部4b接收由自动驾驶车辆2的远程操作请求部20d发送的外部传感器22的传感器信息。此外,在上述的远程操作请求以及车辆信息等与传感器信息一起发送的情况下,传感器信息接收部41也接收这些信息。操作者监视信息接收部42从操作者接口5经由通信部4b接收作为操作者监视传感器54的检测结果的操作者监视信息。
远程操作信息接收部43从操作者接口5经由通信部4b接收表示远程操作者R输入到输入设备53的远程操作的远程操作信息。
信息提示部44经由监视器51和扬声器52提示用于远程操作者R实施自动驾驶车辆2的远程操作的各种信息。信息提示部44在通过传感器信息接收部41接收了远程操作请求的情况下,将由传感器信息接收部41接收的传感器信息经由操作者接口5的监视器51及扬声器52提示给远程操作者R。例如,信息提示部44能够将由外部传感器22的摄像机拍摄的自动驾驶车辆2周围的图像作为传感器信息显示在监视器51上。此外,信息提示部44除了传感器信息以外,在由传感器信息接收部41接收了车辆信息等的情况下,还将接收的车辆信息等经由监视器51和扬声器52提示给远程操作者R。
此外,如上所述,远程操作者R能够与来自自动驾驶车辆2的请求的有无无关地,远程地操作自动驾驶车辆2。在这种情况下,信息提示部44与远程操作请求的接收的有无无关地,将由传感器信息接收部41接收的传感器信息经由操作者接口5的监视器51和扬声器52提示给远程操作者R。
进一步地,信息提示部44将由操作者状态判断部45设定的注视对象区域及注视有效时间与传感器信息一起地显示在监视器51上。关于该注视对象区域以及注视有效时间,在下文详述。
操作者状态判断部45判断远程操作者R是否为适于实施远程操作的操作适当状态。在此,操作者状态判断部45根据远程操作者R针对在监视器51上显示的传感器信息的注视对象区域的注视状态,判断是否为操作适当状态。
更详细而言,操作者状态判断部45根据由传感器信息接收部41接收的传感器信息,针对显示在监视器51上的传感器信息,设定远程操作者R应该注视的注视对象区域。然后,操作者状态判断部45根据由操作者监视信息接收部42接收的操作者监视信息,判断远程操作者R是否对注视对象区域进行注视。在远程操作者R注视设定的注视对象区域的情况下,操作者状态判断部45判断为远程操作者R为操作适当状态。此外,操作者状态判断部45在远程操作者R未注视设定的注视对象区域的情况下,判断为远程操作者R不是操作适当状态。
也就是说,操作者状态判断部45在监视器51上显示的传感器信息(例如拍摄图像)上设定应该注视的注视对象区域。操作者状态判断部45根据监视器51的显示画面上的注视对象区域的注视状态,判断远程操作者R是否为操作适当状态。
例如,操作者状态判断部45根据操作者监视信息,在远程操作者R将脸或视线朝向了注视对象区域的情况下,能够判断为远程操作者R注视了注视对象区域。
此外,操作者状态判断部45除了远程操作者R的脸或视线的朝向之外,也可以根据基于远程操作者R的指差呼称的手指方向,判断是否注视了注视对象区域。此时,例如,操作者状态判断部45也可以根据操作者监视信息,在远程操作者R将脸或视线朝向注视对象区域并且指差呼称的手指方向朝向注视对象区域的情况下,判断为远程操作者R注视了注视对象区域。
在此,对注视对象区域的具体例进行说明。注视对象区域指的是,在远程操作者R实施自动驾驶车辆2的远程操作时应该进行确认的区域。注视对象区域指的是,例如在自动驾驶车辆2实施远程操作请求的情况下,判断为自动驾驶车辆2不能够自主地进行状况判断等的区域。操作者状态判断部45将为了进行远程操作而应该注视的物体以及应该注视的区域(空间)设定为注视对象区域。
例如,有时自动驾驶车辆2的远程操作请求部20d实施“不能够判断前方的车辆为停车中或泊车中。可以超车吗?”的远程操作请求。在该情况下,操作者状态判断部45将“自动驾驶车辆2前方的车辆”设定为用于远程操作者R进行远程操作的注视对象区域。
例如,有时自动驾驶车辆2的远程操作请求部20d实施“可以进行车道改变吗?”的远程操作请求。在这种情况下,操作者状态判断部45将“改变车道处的前后的空间”设定为用于远程操作者R进行远程操作的注视对象区域。
例如,有时自动驾驶车辆2的远程操作请求部20d实施“可以在设置了信号灯的交叉路口起步吗?”的远程操作请求。此时,操作者状态判断部45将“信号灯的颜色(信号灯的发光部分)”设定为用于远程操作者R进行远程操作的注视对象区域。或者,在信号灯被前方车辆、树木、阳光等遮挡或不能够确认的情况下,操作者状态判断部45将“周围的车辆”设定为用于远程操作者R进行远程操作的注视对象区域,以此能够与周围的车辆的动作相应地进行起步。
在此,在上述中,使用具体例说明了在实施了远程操作请求时操作者状态判断部45设定注视对象区域的情况。不限于此,车辆远程操作装置3在没有来自自动驾驶车辆2的远程操作请求的情况下,也能够进行自动驾驶车辆2的远程操作。在这种情况下,操作者状态判断部45根据由传感器信息接收部41接收的传感器信息,判断自动驾驶车辆2的周围的状况,设定注视对象区域。
此外,操作者状态判断部45在远程操作者R对注视对象区域进行注视的期间,判断远程操作者R的状态为操作适当状态。其原因为,在远程操作者R对注视对象区域进行观看的期间,远程操作者R能够适当地判断注视对象区域的状况。
进一步地,操作者状态判断部45在远程操作者R停止注视对象区域之后(例如偏转视线后),到经过规定的注视有效时间为止的期间,也能够判断为远程操作者R的状态为操作适当状态。其原因为,在从远程操作者R停止注视对象区域的注视起仅经过少许时间的情况下,可以认为与远程操作者R在注视之时相比注视对象区域的状况几乎没有变化。换言之,在从停止注视对象区域的注视起经过了规定的注视有效时间之后,注视对象区域的状况变化大的可能性高,认为需要再次基于远程操作者R的确认。因此,操作者状态判断部45在远程操作者R停止注视对象区域的注视后起经过规定的注视有效时间为止,判断为远程操作者R的状态为操作适当状态。
在该操作适当状态的判断中使用的“规定的注视有效时间”被设定为,在远程操作者R停止注视对象区域的注视后,注视对象区域内的状况不会发生大的变化的时间。此外,该规定的注视有效时间可以是预先设定的固定值,也可以是根据各种条件而变化的值。
例如,操作者状态判断部45也可以根据交通规则、限制信息而设定规定的注视有效时间。操作者状态判断部45可以使用从自动驾驶车辆2的远程操作请求部20d发送的信息作为该交通规则、限制信息。在这种情况下,操作者状态判断部45例如在车道的限制速度快的情况下,与限制速度慢的情况相比,也可以将规定的注视有效时间设定得较短。此外,例如,操作者状态判断部45也可以根据自动驾驶车辆2的外部环境而设定规定的注视有效时间。在这种情况下,操作者状态判断部45例如在与自动驾驶车辆2的周围的物体的距离近的情况下,与距离远的情况相比,也可以将规定的注视有效时间设定得较短。该周围的物体可以是注视对象的物体,也可以是其他物体。
以此方式,操作者状态判断部45针对远程操作者R对注视对象区域的期间进行注视的期间、和从结束注视对象区域的注视到经过规定的注视有效时间为止的期间,判断为远程操作者R的状态为操作适当状态。
在此,上述信息提示部44也可以在操作者状态判断部45判断为远程操作者R对注视对象区域进行注视的情况下,向远程操作者R通知。信息提示部44可以通过监视器51的显示或设置在操作者接口5上的灯的点亮等来进行该通知。
此外,信息提示部44也可以使监视器51显示从远程操作者R结束注视对象区域的注视起开始计数的上述注视有效时间。在这种情况下,信息提示部44例如也可以如图6(a)所示地,在监视器51上显示随着注视有效时间的减少而长度变短的注视有效时间条B。例如,信息提示部44在远程操作者R对注视对象区域进行注视的期间将注视有效时间条B的长度设为“MAX”的长度。而且,信息提示部44也可以在远程操作者R结束注视对象区域的注视后,随着时间的经过而缩短注视有效时间条B的长度。
此外,如图6(a)和图6(b)所示,信息提示部44也可以根据注视有效时间的长度来改变注视有效时间条B的颜色。此时,例如信息提示部44也可以随着注视有效时间变短,使注视有效时间条B的颜色变化为警戒色(例如红色)。
此外,信息提示部44将由操作者状态判断部45设定的注视对象区域及注视有效时间与传感器信息一起显示在监视器51上。具体而言,如图7(a)和图7(b)所示,信息提示部44例如与拍摄图像重叠地,在监视器51的显示画面51a上显示注视对象区域及注视有效时间条。
图7(a)所示的例子是拍摄自动驾驶车辆2的前方的摄像机的拍摄图像。并且,在该例中,示出了用于确认来自停车车辆V的人的跃出的有无的注视对象区域A1。此外,关于注视对象区域A1的注视有效时间条B1显示在注视对象区域A1的上部。图7(b)所示的例子是拍摄自动驾驶车辆2的后方的摄像机的拍摄图像。而且,在该例中,表示了用于确认来自后方的车辆或摩托车等的双重超越(停车车辆V及自动驾驶车辆2的超越)的注视对象区域A2。此外,关于注视对象区域A2的注视有效时间条B2显示在注视对象区域A2的上部。
此外,在图7(a)和图7(b)中,示出了在多个注视对象区域的每一个中设定注视有效时间条的情况。不限于此,在存在多个注视对象区域的情况下,信息提示部44也可以通过一个注视有效时间条来表示这些注视有效时间。在这种情况下,信息提示部44也可以显示全部的注视有效时间中最短的注视有效时间的注视有效时间条。
操作适当判断部46根据操作者状态判断部45的判断结果,判断由输入设备53承接的远程操作是否为适当。具体而言,操作适当判断部46在由输入设备53承接了远程操作时,在由操作者状态判断部45判断为远程操作者R的状态是操作适当状态的情况下,判断为承接的远程操作为适当。另一方面,在由输入设备53承接了远程操作时,在由操作者状态判断部45判断为远程操作者R的状态不是操作适当状态的情况下,操作适当判断部46判断为承接的远程操作不适当。
在此,信息提示部44在判断为远程操作不适当的情况下,将在操作适当状态下未输入远程操作的情况反馈给远程操作者R。具体而言,信息提示部44在由操作适当判断部46判断为承接的远程操作不适当的情况下,将在操作者状态判断部45进行判断时使用的注视对象区域强调地显示在监视器51上。也就是说,在远程操作者R输入了远程操作后,强调地显示应该注视的注视对象区域。例如,作为强调地显示注视对象区域,信息提示部44以与通常不同的方式(颜色或亮度的改变、闪烁等)显示注视对象区域。
此外,在信息提示部44中,作为在操作适当状态下未输入远程操作的反馈,也可以将“经过了注视有效时间”、“未识别指差呼称”等具体的理由在监视器51上显示或者进行来自扬声器52的声音输出等。
远程操作发送部47将由操作者接口5的输入设备53承接的表示远程操作的远程操作信息发送至自动驾驶车辆2。在此,远程操作发送部47将由操作适当判断部46判断为适当的远程操作的远程操作信息发送至自动驾驶车辆2。另一方面,远程操作发送部47将由操作适当判断部46判断为不适当的远程操作的远程操作信息不发送至自动驾驶车辆2。
[车辆远程操作方法]接着,使用图8的流程图说明由车辆远程操作装置3执行的车辆远程操作方法。此外,在此,以从自动驾驶车辆2向车辆远程操作装置3发送远程操作请求,车辆远程操作装置3根据该远程操作请求进行自动驾驶车辆2的远程操作的情况为例进行说明。图8所示的处理在车辆远程操作服务器4的传感器信息接收部41接收了从自动驾驶车辆2发送的远程操作请求的情况下开始。
如图8所示,当接收到远程操作请求时,车辆远程操作服务器4的信息提示部44经由监视器51等向远程操作者R提示从自动驾驶车辆2发送的外部传感器22的传感器信息和车辆信息等(S101:信息提示步骤)。操作者状态判断部45根据远程操作者R针对由信息提示部44(信息提示步骤)提示的传感器信息的注视对象区域的注视状态,判断远程操作者R是否为适于实施远程操作的操作适当状态(S102:操作者状态判断步骤)。
操作适当判断部46判断是否通过输入设备53承接了基于远程操作者R的远程操作的输入(S103)。在未承接远程操作的输入的情况下(S 103:否),车辆远程操作装置3返回到上述S102的处理。
另一方面,在承接了远程操作的输入的情况下(S103:是),操作适当判断部46根据操作者状态判断部45(操作者状态判断步骤)的判断结果,判断承接的远程操作是否适当(S104:输入承接步骤、操作适当判断步骤)。具体而言,作为操作适当判断步骤,在承接了远程操作时,在操作者状态判断部45中判断为是操作适当状态的情况下,操作适当判断部46判断为承接的远程操作为适当。此外,操作适当判断部46在承接了远程操作时,在操作者状态判断部45中判断为不是操作适当状态的情况下,判断为承接的远程操作为不适当。
在远程操作为适当的情况下(S104:是),远程操作发送部47将被判断为适当的远程操作的远程操作信息发送至实施了远程操作请求的自动驾驶车辆2(S105:发送步骤)。另一方面,在远程操作为不适当的情况下(S 104:否),远程操作发送部47将判断为适当的远程操作的远程操作信息不发送至实施了远程操作请求的自动驾驶车辆2。此外,信息提示部44将在操作适当状态下未输入远程操作的情况反馈给远程操作者R(S106)。
[车辆远程操作程序]车辆远程操作程序使车辆远程操作服务器4的远程操作ECU4a作为上述的信息提示部44、操作者状态判断部45、操作适当判断部46以及远程操作发送部47发挥功能(动作)。车辆远程操作程序由ROM或半导体存储器等非临时记录介质提供。此外,车辆远程操作程序也可以经由网络等通信被提供。
根据以上说明的车辆远程操作装置3(车辆远程操作系统1、车辆远程操作方法以及远程操作程序),在远程操作者R在适于远程操作的操作适当状态下输入了远程操作的情况下,远程操作信息被发送至自动驾驶车辆2。另一方面,根据车辆远程操作装置3(车辆远程操作系统1、车辆远程操作方法以及远程操作程序),在远程操作者R在不适于远程操作的状态下输入了远程操作的情况下,远程操作信息不被发送至自动驾驶车辆2。以此方式,车辆远程操作装置3(车辆远程操作系统1、车辆远程操作方法以及远程操作程序)能够将远程操作者R在操作适当状态下输入的适当的远程操作信息发送至自动驾驶车辆。
操作者状态判断部45针对提示的传感器信息而设定远程操作者R应该注视的注视对象区域。然后,在远程操作者R对设定的注视对象区域进行注视的情况下,操作者状态判断部45判断为远程操作者R为操作适当状态。在该情况下,车辆远程操作装置3通过使用注视对象区域的注视的有无,能够更适当地判断远程操作者R是否为适于远程操作的操作适当状态。
操作者状态判断部45将远程操作者R对注视对象区域进行注视的期间判断为远程操作者R为操作适当状态。在此,在远程操作者R停止了注视对象区域后只经过了少许时间的情况下,认为与远程操作者R注视之时相比注视对象区域的状况几乎没有变化。因此,操作者状态判断部45进一步地将从注视对象区域的注视结束到经过规定的注视有效时间为止的期间也判断为操作适当状态。在该情况下,车辆远程操作装置3能够根据注视对象区域的注视状态,更适当地判断是否为操作适当状态。
信息提示部44在由操作者状态判断部45判断为承接的远程操作不适当的情况下,强调地显示在操作者状态判断部45判断时使用的注视对象区域。在该情况下,车辆远程操作装置3能够将为了成为操作适当状态而远程操作者R应该注视的区域通知远程操作者R。由此,远程操作者R能够掌握应该注视的注视对象区域。然后,远程操作者R根据该反馈,能够对为了成为操作适当状态所需的注视方法进行学习。
以上,对本发明的实施方式进行了说明,但本发明不限于上述实施方式。例如,操作者状态判断部45可以根据远程操作者R针对传感器信息的注视对象区域的注视状态,判断是否为操作适当状态。如上所述,不限于操作者状态判断部45在远程操作者对注视对象区域进行注视的情况下,判断为操作适当状态。此外,不限于如上所述地,操作者状态判断部45在远程操作者R未对注视对象区域进行注视的情况下,判断为不为操作适当状态。
此外,操作者状态判断部45针对远程操作者R对注视对象区域进行注视的期间、和从结束注视对象区域的注视起到经过规定的注视有效时间为止的期间,判断为远程操作者R为操作适当状态。但是,操作者状态判断部45判断为是操作适当状态的期间不限于上述的这些期间。
此外,信息提示部44在判断为远程操作不适当的情况下,也可以不强调地显示注视对象区域。信息提示部44也可以通过强调地显示注视对象区域之外的方法,将远程操作为不适当的情况反馈给远程操作者R,也可以不实施这样的反馈。
附图标记的说明
1 车辆远程操作系统;
2 自动驾驶车辆;
3 车辆远程操作装置;
4a 远程操作ECU;
20f 自动驾驶控制部(接收部、行驶控制部);
22 外部传感器(车载传感器);
44 信息提示部;
45 操作者状态判断部;
46 操作适当判断部;
47 远程操作发送部(发送部);
53 输入设备(输入承接部);
A1、A2 注视对象区域;
R 远程操作者。
Claims (7)
1.一种车辆远程操作装置,是执行基于远程操作者的自动驾驶车辆的远程操作的车辆远程操作装置,具有:
信息提示部,其对所述自动驾驶车辆的车载传感器的传感器信息进行提示;
输入承接部,其对基于所述远程操作者的所述远程操作的输入进行承接;
操作者状态判断部,其根据所述远程操作者针对由所述信息提示部提示的所述传感器信息的注视对象区域的注视状态,判断所述远程操作者是否为适于实施所述远程操作的操作适当状态;
操作适当判断部,其根据所述操作者状态判断部的判断结果,判断由所述输入承接部承接的所述远程操作是否为适当;
发送部,其将表示由所述输入承接部承接的所述远程操作的远程操作信息发送至所述自动驾驶车辆,
在所述操作适当判断部中,在所述远程操作被承接时通过所述操作者状态判断部判断为是所述操作适当状态的情况下,判断为承接的所述远程操作为适当,在所述远程操作被承接时通过所述操作者状态判断部判断为不是所述操作适当状态的情况下,判断为承接的所述远程操作为不适当,
在所述发送部中,将由所述操作适当判断部判断为适当的所述远程操作的所述远程操作信息发送至所述自动驾驶车辆,将由所述操作适当判断部判断为不适当的所述远程操作的所述远程操作信息不发送至所述自动驾驶车辆。
2.根据权利要求1所述的车辆远程操作装置,其中,
在所述操作者状态判断部中,根据所述传感器信息,设定针对提示的所述传感器信息而所述远程操作者应该注视的所述注视对象区域,在所述远程操作者注视设定的所述注视对象区域的情况下,判断为所述远程操作者为所述操作适当状态,在所述远程操作者未注视设定的所述注视对象区域的情况下,判断为所述远程操作者不为所述操作适当状态。
3.根据权利要求2所述的车辆远程操作装置,其中,
所述操作者状态判断部针对所述远程操作者注视所述注视对象区域的期间和从结束所述注视对象区域的注视到经过规定的注视有效时间为止的期间,判断为所述远程操作者为所述操作适当状态。
4.根据权利要求2或3所述的车辆远程操作装置,其中,
所述信息提示部在由所述操作适当判断部判断为承接的所述远程操作不为适当的情况下,强调地显示在所述操作者状态判断部判断时使用的所述注视对象区域。
5.一种车辆远程操作系统,是具有自动驾驶车辆和执行基于远程操作者的所述自动驾驶车辆的远程操作的车辆远程操作装置的车辆远程操作系统,
所述车辆远程操作装置具有:
信息提示部,其对所述自动驾驶车辆的车载传感器的传感器信息进行提示;
输入承接部,其对基于所述远程操作者的所述远程操作的输入进行承接;
操作者状态判断部,其根据所述远程操作者针对由所述信息提示部提示的所述传感器信息的注视对象区域的注视状态,判断所述远程操作者是否为适于实施所述远程操作的操作适当状态;
操作适当判断部,其根据所述操作者状态判断部的判断结果,判断由所述输入承接部承接的所述远程操作是否为适当;
发送部,其将表示由所述输入承接部承接的所述远程操作的远程操作信息发送至所述自动驾驶车辆,
在所述操作适当判断部中,在所述远程操作被承接时通过所述操作者状态判断部判断为是所述操作适当状态的情况下,判断为承接的所述远程操作为适当,在所述远程操作被承接时通过所述操作者状态判断部判断为不是所述操作适当状态的情况下,判断为承接的所述远程操作为不适当,
在所述发送部中,将由所述操作适当判断部判断为适当的所述远程操作的所述远程操作信息发送至所述自动驾驶车辆,将由所述操作适当判断部判断为不适当的所述远程操作的所述远程操作信息不发送至所述自动驾驶车辆,
所述自动驾驶车辆具有:
接收部,其接收从所述发送部发送的所述远程操作信息;
行驶控制部,其根据接收的所述远程操作信息而对所述自动驾驶车辆的行驶进行控制。
6.一种车辆远程操作方法,是通过车辆远程操作装置实施的车辆远程操作方法,所述车辆远程操作装置执行基于远程操作者的自动驾驶车辆的远程操作,所述车辆远程操作方法具有:
对所述自动驾驶车辆的车载传感器的传感器信息进行提示的信息提示步骤;
对基于所述远程操作者的所述远程操作的输入进行承接的输入承接步骤;
根据所述远程操作者针对在所述信息提示步骤中提示的所述传感器信息的注视对象区域的注视状态,判断所述远程操作者是否为适于实施所述远程操作的操作适当状态的操作者状态判断步骤;
根据所述操作者状态判断步骤的判断结果,判断在所述输入承接步骤中承接的所述远程操作是否为适当的操作适当判断步骤;
将表示在所述输入承接步骤中承接的所述远程操作的远程操作信息发送至所述自动驾驶车辆的发送步骤,
在所述操作适当判断步骤中,在所述远程操作被承接时在所述操作者状态判断步骤中判断为是所述操作适当状态的情况下,判断为承接的所述远程操作为适当,在所述远程操作被承接时在所述操作者状态判断步骤中判断为不是所述操作适当状态的情况下,判断为承接的所述远程操作为不适当,
在所述发送步骤中,将在所述操作适当判断步骤中判断为适当的所述远程操作的所述远程操作信息发送至所述自动驾驶车辆,将在所述操作适当判断步骤中判断为不适当的所述远程操作的所述远程操作信息不发送至所述自动驾驶车辆。
7.一种车辆远程操作程序,是使车辆远程操作装置的远程操作ECU动作的车辆远程操作程序,所述车辆远程操作装置根据对基于远程操作者的远程操作的输入进行承接的输入承接部的输入而执行自动驾驶车辆的所述远程操作,所述远程操作ECU作为以下的部进行动作,即:
信息提示部,其对所述自动驾驶车辆的车载传感器的传感器信息进行提示;
操作者状态判断部,其根据所述远程操作者针对由所述信息提示部提示的所述传感器信息的注视对象区域的注视状态,判断所述远程操作者是否为适于实施所述远程操作的操作适当状态;
操作适当判断部,其根据所述操作者状态判断部的判断结果,判断由所述输入承接部承接的所述远程操作是否为适当;
发送部,其将表示由所述输入承接部承接的所述远程操作的远程操作信息发送至所述自动驾驶车辆,
在所述操作适当判断部中,在所述远程操作被承接时通过所述操作者状态判断部判断为是所述操作适当状态的情况下,判断为承接的所述远程操作为适当,在所述远程操作被承接时通过所述操作者状态判断部判断为不是所述操作适当状态的情况下,判断为承接的所述远程操作为不适当,
在所述发送部中,将由所述操作适当判断部判断为适当的所述远程操作的所述远程操作信息发送至所述自动驾驶车辆,将由所述操作适当判断部判断为不适当的所述远程操作的所述远程操作信息不发送至所述自动驾驶车辆。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096490A JP2022188453A (ja) | 2021-06-09 | 2021-06-09 | 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム |
JP2021-096490 | 2021-06-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115454037A true CN115454037A (zh) | 2022-12-09 |
Family
ID=82115933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210638539.4A Pending CN115454037A (zh) | 2021-06-09 | 2022-06-07 | 车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220397895A1 (zh) |
EP (1) | EP4102323B1 (zh) |
JP (1) | JP2022188453A (zh) |
CN (1) | CN115454037A (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10459440B2 (en) * | 2016-01-04 | 2019-10-29 | GM Global Technology Operations LLC | System and method for remotely assisting autonomous vehicle operation |
US10479375B2 (en) * | 2017-02-16 | 2019-11-19 | Qualcomm Incorporated | Autonomously performing default operations based on current operating contexts |
JP2020042764A (ja) | 2018-09-06 | 2020-03-19 | 株式会社Soken | 車両遠隔操作支援システム |
-
2021
- 2021-06-09 JP JP2021096490A patent/JP2022188453A/ja active Pending
-
2022
- 2022-04-15 US US17/659,412 patent/US20220397895A1/en active Pending
- 2022-05-24 EP EP22175002.9A patent/EP4102323B1/en active Active
- 2022-06-07 CN CN202210638539.4A patent/CN115454037A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022188453A (ja) | 2022-12-21 |
EP4102323A1 (en) | 2022-12-14 |
US20220397895A1 (en) | 2022-12-15 |
EP4102323B1 (en) | 2024-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11364930B2 (en) | Vehicle control system, vehicle control method and program | |
JP6617534B2 (ja) | 運転支援装置 | |
US11703852B2 (en) | Vehicle remote instruction system | |
CN111762113A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US20170076605A1 (en) | Vehicle recognition notification apparatus and vehicle recognition notification system | |
US20210300341A1 (en) | Parking assist system | |
CN111830859B (zh) | 车辆远程指示系统 | |
US11565713B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
JP6827378B2 (ja) | 車両制御システム、車両制御方法、およびプログラム | |
US11332128B2 (en) | Driving assistance apparatus | |
CN109720343B (zh) | 车辆控制设备 | |
US10045173B1 (en) | Vehicle outside notification device | |
CN112309157B (zh) | 图像显示装置 | |
JP2020033013A (ja) | 運転支援装置 | |
US11327480B2 (en) | Vehicle control system | |
EP4102323B1 (en) | Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program | |
JP2020166479A (ja) | 運転支援装置 | |
CN113401056B (zh) | 显示控制装置、显示控制方法以及计算机可读取存储介质 | |
EP4080307A1 (en) | Remote function selection device | |
JP2022143691A (ja) | 遠隔機能選択装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |