CN114419574A - 车辆远程辅助系统、车辆远程辅助服务器及车辆远程辅助方法 - Google Patents
车辆远程辅助系统、车辆远程辅助服务器及车辆远程辅助方法 Download PDFInfo
- Publication number
- CN114419574A CN114419574A CN202111170597.0A CN202111170597A CN114419574A CN 114419574 A CN114419574 A CN 114419574A CN 202111170597 A CN202111170597 A CN 202111170597A CN 114419574 A CN114419574 A CN 114419574A
- Authority
- CN
- China
- Prior art keywords
- remote
- remote assistance
- vehicle
- autonomous vehicle
- assistance request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002688 persistence Effects 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000002085 persistent effect Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明涉及车辆远程辅助系统、车辆远程辅助服务器以及车辆远程辅助方法。车辆远程辅助系统具备服务器以及将过去辅助请求状况与远程操作员的远程辅助内容进行关联而存储的远程辅助事例数据库。所述服务器构成为,在从自动驾驶车辆接收到远程辅助请求的情况下,基于发送远程辅助请求的自动驾驶车辆的位置和自动驾驶车辆的外部环境,判定自动驾驶车辆的远程辅助请求状况是否与记录于远程辅助事例数据库的过去辅助请求状况类似,在判定为远程辅助请求状况与过去辅助请求状况类似的情况下,代替远程操作员将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆。
Description
技术领域
本发明涉及车辆远程辅助系统、车辆远程辅助服务器以及车辆远程辅助方法。
背景技术
以往,作为涉及车辆远程辅助系统的技术文献,已知有日本特开2018-077649。该公报中示出一种在从车辆受理到远程操作请求的情况下将车辆的状况提示给远程操作者并将由远程操作者进行的远程操作反映于车辆的行驶中的系统。远程操作指的是操作设置于车外设备的方向盘等来远程地对车辆进行驾驶操作。
发明内容
正在研究不是像上述的现有系统那样将由远程操作者进行的细微的转向操作等实时地反映于车辆而是远程地辅助自动驾驶车辆进行与行驶有关的判断的车辆远程辅助系统。在车辆远程辅助系统中,例如在狭窄的道路上要超过从路肩超出而停止的故障车辆等的场面,辅助进行自动驾驶车辆的关于行驶的判断。
然而,存在如下问题:在成为远程辅助对象的多台自动驾驶车辆行驶于相同车道等情况下,频繁地反复进行完全相同的辅助是没有效率的,也会增加远程操作员(operator)的负担。
本发明的一个技术方案是一种在受到自动驾驶车辆的远程辅助请求的情况下远程操作员进行与自动驾驶车辆的行驶有关的远程辅助的车辆远程辅助系统,具备:远程辅助事例数据库,其将包含过去进行远程辅助请求时的车辆位置信息和外部环境信息的过去辅助请求状况与该过去辅助请求状况下的远程操作员的远程辅助内容进行关联而存储;以及服务器。所述服务器构成为,在从自动驾驶车辆接收到远程辅助请求的情况下,基于发送远程辅助请求的自动驾驶车辆的位置和自动驾驶车辆的外部环境,判定自动驾驶车辆的远程辅助请求状况是否与记录于远程辅助事例数据库的过去辅助请求状况类似;在判定为远程辅助请求状况与过去辅助请求状况类似的情况下,代替远程操作员将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆。
根据本发明的一个技术方案涉及的车辆远程辅助系统,在判定为进行远程辅助请求的自动驾驶车辆的远程辅助请求状况与记录于远程辅助事例数据库的过去辅助请求状况类似的情况下,代替远程操作员将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆,因此,能够抑制远程操作员进行远程辅助的频率,减轻远程操作员的负荷。
在本发明的一个技术方案涉及的车辆远程辅助系统中,所述服务器也可以构成为,在远程操作员进行自动驾驶车辆的远程辅助的情况下,使远程操作员选择该自动驾驶车辆的远程辅助请求状况是否具有持续性。也可以为,在远程辅助事例数据库中,与远程操作员的选择结果相关联地存储过去辅助请求状况,所述服务器构成为,在判定为被选择为具有持续性的过去辅助请求状况与自动驾驶车辆的远程辅助请求状况类似的情况下,将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆,在判定为被选择为不具有持续性的过去辅助请求状况与自动驾驶车辆的远程辅助请求状况类似的情况下,不将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆。
根据该车辆远程辅助系统,使远程操作员选择自动驾驶车辆的远程辅助请求状况是否具有持续性,即使判定为如自行车在人行横道上摔倒等被选择为不具有持续性的过去辅助请求状况与自动驾驶车辆的远程辅助请求状况类似,也不将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆,因此,能够避免误将不具有持续性的、状况改变的可能性高的过去辅助请求状况的远程辅助内容发送给自动驾驶车辆。
在本发明的一个技术方案涉及的车辆远程辅助系统中,远程辅助请求状况也可以是自动驾驶车辆相对于车辆前方障碍物的车道偏离避让的状况。
根据该车辆远程辅助系统,在为了避开超出到行驶道路上的停泊车辆、掉落物等障碍物而进行偏离车道来与障碍物保持距离的车道偏离避让的状况下,能够降低远程操作员进行的远程辅助的频率,能够减轻远程操作员的负荷。
本发明的另一技术方案是一种用于在受到自动驾驶车辆的远程辅助请求的情况下远程操作员进行与自动驾驶车辆的行驶有关的远程辅助的车辆远程辅助服务器,具备:类似判定部,其在从自动驾驶车辆接收到远程辅助请求的情况下,基于发送远程辅助请求的自动驾驶车辆的位置和自动驾驶车辆的外部环境,判定自动驾驶车辆的远程辅助请求状况是否与包含过去进行远程辅助请求时的车辆位置信息和外部环境信息的过去辅助请求状况类似;以及远程辅助内容自动发送部,其在由类似判定部判定为远程辅助请求状况与过去辅助请求状况类似的情况下,通过参照将过去辅助请求状况与该过去辅助请求状况下的远程操作员的远程辅助内容进行关联而存储的远程辅助事例数据库,从而代替远程操作员将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆。
根据本发明的另一技术方案涉及的车辆远程辅助服务器,在判定为进行远程辅助请求的自动驾驶车辆的远程辅助请求状况与记录于远程辅助事例数据库的过去辅助请求状况类似的情况下,代替远程操作员将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆,因此,能够抑制远程操作员进行远程辅助的频率,减轻远程操作员的负荷。
本发明的又一技术方案是一种在受到自动驾驶车辆的远程辅助请求的情况下远程操作员进行与自动驾驶车辆的行驶有关的远程辅助的车辆远程辅助系统的车辆远程辅助方法,包括:在从自动驾驶车辆接收到远程辅助请求的情况下,基于发送远程辅助请求的自动驾驶车辆的位置和自动驾驶车辆的外部环境,判定自动驾驶车辆的远程辅助请求状况是否与包含过去进行远程辅助请求时的车辆位置信息和外部环境信息的过去辅助请求状况类似;以及在判定为远程辅助请求状况与过去辅助请求状况类似的情况下,通过参照将过去辅助请求状况与该过去辅助请求状况下的远程操作员的远程辅助内容进行关联而存储的远程辅助事例数据库,从而代替远程操作员将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆。
根据本发明的又一技术方案涉及的车辆远程辅助方法,在判定为进行远程辅助请求的自动驾驶车辆的远程辅助请求状况与记录于远程辅助事例数据库的过去辅助请求状况类似的情况下,代替远程操作员将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆,因此,能够抑制远程操作员进行远程辅助的频率,减轻远程操作员的负荷。
根据本发明的各技术方案,能够抑制远程操作员进行远程辅助的频率,减轻远程操作员的负荷。
附图说明
以下,参照附图对本发明的示例性实施方式的特征、优点以及技术和产业意义进行说明,在附图中相同的附图标记表示相同的要素,并且其中:
图1是用于说明一实施方式涉及的车辆远程辅助系统的图。
图2是表示自动驾驶车辆的构成的一例的框图。
图3是表示车辆远程辅助服务器的硬件结构的一例的框图。
图4是表示车辆远程辅助服务器的功能结构的一例的框图。
图5A是表示由远程操作员进行远程辅助的场面的一例的图。
图5B是表示存在位置与自动驾驶车辆的远程辅助请求状况类似的过去辅助请求状况的情况下的一例的图。
图5C是表示与过去辅助请求状况对应的远程辅助内容被发送给自动驾驶车辆的场面的一例的图。
图6是表示车辆远程辅助系统中的车辆远程辅助处理的一例的流程图。
具体实施方式
以下,参照附图,对本发明的实施方式进行说明。
图1是用于说明一实施方式涉及的车辆远程辅助系统的图。图1所示的车辆远程辅助系统1是用于根据来自自动驾驶车辆2的远程辅助请求而由远程操作员R进行自动驾驶车辆2的远程辅助的系统。远程操作员R指的是执行对自动驾驶车辆2的远程辅助的人。
远程操作员R的人数没有限定,可以为一人,也可以为两人以上。能够与车辆远程辅助系统1通信的自动驾驶车辆2的台数也没有特别限定。既可以为多名远程操作员R交替地进行对于一台自动驾驶车辆2的远程辅助的形态,也可以为一名远程操作员R对两台以上的自动驾驶车辆2进行远程辅助的形态。
远程辅助指的是,远程操作员R关于自动驾驶车辆2的行驶的建议(提案)的通知(发送)。远程辅助例如包括自动驾驶车辆2的行进和停止的建议。远程辅助也可以包括自动驾驶车辆2的加速或减速的建议。远程辅助也可以包括自动驾驶车辆2的路线变更的建议。
更具体而言,远程辅助可以包括以下建议中的至少一个:对车辆前方障碍物的车道偏离避让的建议、信号机(交通信号灯)故障时的行进或停止的建议、道路标识识别不良时的车辆行为的建议(例如临时停止的建议和/或速度指定的建议)、由倒下的树或道路损坏导致的通行不良时的路线变更的建议、超过前方车辆(包括停泊车辆)的建议、变更车道的建议、在十字路口的右转开始的建议、在有信号机的十字路口的进入开始的建议、和紧急躲避的建议。
车道偏离避让指的是,为了避开超出到行驶道路上的停泊车辆、掉落物、道路的局部塌陷等障碍物而偏离车道以与障碍物保持距离来行进的避让方法。在车辆右侧通行的国家或地区的情况下,可以代替十字路口右转开始的建议的通知而设为十字路口左转开始的建议的通知。
此外,自动驾驶车辆2不一定要遵照远程操作员R的远程辅助内容。自动驾驶车辆2即使接收到自动驾驶车辆2的行进的建议作为远程辅助内容,也可以在检测到行人突然接近等的情况下优先停车。
在车辆远程辅助系统1中,例如根据来自自动驾驶车辆2的远程辅助请求,请求远程操作员R进行远程辅助的输入。远程操作员R对操作员接口(operator interface)3输入远程辅助内容。车辆远程辅助系统1通过网络N向自动驾驶车辆2发送远程辅助内容。自动驾驶车辆2按照远程辅助自动行驶。
[自动驾驶车辆的构成]
首先,对自动驾驶车辆2的构成的一例进行说明。图2是表示自动驾驶车辆2的构成的一例的框图。如图2所示,作为一例,自动驾驶车辆2具有自动驾驶ECU20。自动驾驶ECU20是具有CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random AccessMemory)等的电子控制单元。在自动驾驶ECU20中,例如通过由CPU执行记录于ROM或RAM的程序而实现各种功能。自动驾驶ECU20也可以由多个电子控制单元构成。
自动驾驶ECU20与GPS(Global Positioning System)接收部21、外部传感器22、内部传感器23、地图数据库24、通信部25以及致动器(actuator)26连接。
GPS接收部21通过从3个以上的GPS卫星接收信号,测定自动驾驶车辆2的位置(例如自动驾驶车辆2的纬度和经度)。GPS接收部21将测定出的自动驾驶车辆2的位置信息发送给自动驾驶ECU20。
外部传感器22是检测自动驾驶车辆2的外部环境的车载传感器。外部传感器22至少包括摄像头(camera)。摄像头是拍摄自动驾驶车辆2的外部环境的拍摄设备。摄像头例如设置在自动驾驶车辆2的前风挡的里侧,对车辆前方进行拍摄。摄像头将与自动驾驶车辆2的外部环境有关的拍摄信息发送给自动驾驶ECU20。摄像头既可以是单眼摄像头,也可以是立体摄像头。也可以设置有多台摄像头,可以除了自动驾驶车辆2的前方之外,还拍摄左右侧方以及后方。自动驾驶车辆2也可以配备有面向远程操作员的外部摄像头。面向远程操作员的外部摄像头至少拍摄自动驾驶车辆2的前方。面向远程操作员的外部摄像头也可以由拍摄包括自动驾驶车辆2的侧方以及后方在内的周围的多个摄像头构成。
外部传感器22也可以包括雷达传感器。雷达传感器是利用电波(例如毫米波)或者光来检测自动驾驶车辆2周边的物体的检测设备。雷达传感器例如包括毫米波雷达或者激光雷达(LIDAR:Laser Imaging Detection and Ranging)。雷达传感器通过向自动驾驶车辆2的周边发送电波或者光并接收由物体反射的电波或者光,由此检测物体。雷达传感器将检测到的物体信息发送给自动驾驶ECU20。物体除了包括护栏、建筑物等固定物体,还包括行人、自行车、其他车辆等移动物体。另外,外部传感器22也可以包括检测自动驾驶车辆2外部的声音的声音检测传感器。
内部传感器23是检测自动驾驶车辆2的行驶状态的车载传感器。内部传感器23包括车速传感器、加速度传感器以及偏航率(yaw rate)传感器。车速传感器是检测自动驾驶车辆2的速度的检测器。作为车速传感器,能够使用针对自动驾驶车辆2的车轮或者与车轮一体旋转的驱动轴等而设置的检测各车轮的转速的轮速传感器。车速传感器将检测到的车速信息(轮速信息)发送给自动驾驶ECU20。
加速度传感器是检测自动驾驶车辆2的加速度的检测器。加速度传感器例如包括检测自动驾驶车辆2的前后方向的加速度的前后加速度传感器。加速度传感器也可以包括检测自动驾驶车辆2的横向加速度的横向加速度传感器。加速度传感器例如将自动驾驶车辆2的加速度信息发送给自动驾驶ECU20。偏航率传感器是检测围绕自动驾驶车辆2的重心的垂直轴的偏航率(旋转角速度)的检测器。作为偏航率传感器,例如可以使用陀螺仪传感器。偏航率传感器将检测到的自动驾驶车辆2的偏航率信息发送给自动驾驶ECU20。
地图数据库24是记录地图信息的数据库。地图数据库24例如形成在搭载于自动驾驶车辆2的HDD(Hard Disk Drive,硬盘驱动器)等记录装置内。地图信息包含道路的位置信息、道路形状的信息(例如曲率信息)、十字路口以及分岔点的位置信息等。地图信息也可以包含与位置信息相关联的法定速度等交通规则信息。地图信息也可以包含用于取得自动驾驶车辆2的位置信息的目标物信息。作为目标物,能够使用道路标识、路面标示、信号机、电线杆等。地图数据库24也可以在能够与自动驾驶车辆2通信的服务器中构成。服务器不限于车辆远程辅助服务器10。
通信部25是控制与自动驾驶车辆2外部的无线通信的通信设备。通信部25经由网络N与车辆远程辅助服务器10进行各种信息的发送和接收。
致动器26是控制自动驾驶车辆2所用的设备。致动器26至少包括驱动致动器、制动(刹车)致动器以及转向致动器。驱动致动器根据来自自动驾驶ECU20的控制信号控制对于发动机的空气的供给量(节气门开度),控制自动驾驶车辆2的驱动力。此外,在自动驾驶车辆2为混合动力车的情况下,除了对于发动机的空气的供给量之外,还对作为动力源的马达输入来自自动驾驶ECU20的控制信号,由此控制该驱动力。在自动驾驶车辆2为电动汽车的情况下,对作为动力源的马达输入来自自动驾驶ECU20的控制信号,由此控制该驱动力。这些情况下的作为动力源的马达构成致动器26。
制动致动器根据来自自动驾驶ECU20的控制信号控制制动系统,控制向自动驾驶车辆2的车轮施加的制动力。作为制动系统,例如可以使用液压制动系统。转向致动器根据来自自动驾驶ECU20的控制信号控制电动助力转向系统中的对转向扭矩进行控制的辅助马达的驱动。由此,转向致动器控制自动驾驶车辆2的转向扭矩。
接着,对自动驾驶ECU20的功能结构的一例进行说明。自动驾驶ECU20具有车辆位置取得部31、外部环境识别部32、行驶状态识别部33、远程辅助请求判定部34、行进轨迹生成部35以及自动驾驶控制部36。
车辆位置取得部31基于GPS接收部21的位置信息以及地图数据库24的地图信息,取得自动驾驶车辆2的车辆位置信息。另外,车辆位置取得部31也可以利用地图数据库24的地图信息所包含的目标物信息以及外部传感器22的检测结果,通过SLAM(SimultaneousLocalization and Mapping,同时定位与地图构建)技术,取得自动驾驶车辆2的车辆位置信息。车辆位置取得部31也可以根据车道的分道线与自动驾驶车辆2的车辆位置的关系,识别自动驾驶车辆2相对于车道的横向位置(车道宽度方向上的自动驾驶车辆2的位置)并使其包含于车辆位置信息。除此之外,车辆位置取得部31也可以利用周知的方法取得自动驾驶车辆2的车辆位置信息。
外部环境识别部32基于外部传感器22的检测结果,识别自动驾驶车辆2的外部环境。外部环境包括周围物体相对于自动驾驶车辆2的相对位置。外部环境信息也可以包括周围物体相对于自动驾驶车辆2的相对速度和移动方向。外部环境信息也可以包括其他车辆、行人、自行车等物体的种类。物体的种类能够通过模式匹配等周知的方法辨别。外部环境信息也可以包括自动驾驶车辆2周围的分道线识别(白线识别)的结果。外部环境信息也可以包括信号机的点亮状态的识别结果。外部环境识别部32例如能够基于外部传感器22的摄像头的图像,识别自动驾驶车辆2前方的信号机的点亮状态(是可通行的点亮状态还是禁止通行的点亮状态等)。
行驶状态识别部33基于内部传感器23的检测结果,识别自动驾驶车辆2的行驶状态。行驶状态包括自动驾驶车辆2的车速、自动驾驶车辆2的加速度和自动驾驶车辆2的偏航率。具体而言,行驶状态识别部33基于车速传感器的车速信息,识别自动驾驶车辆2的车速。行驶状态识别部33基于加速度传感器的加速度信息,识别自动驾驶车辆2的加速度。行驶状态识别部33基于偏航率传感器的偏航率信息,识别自动驾驶车辆2的朝向。
远程辅助请求判定部34判定是否应该请求远程操作员R进行远程辅助。远程辅助请求判定部34基于车辆位置取得部31所取得的自动驾驶车辆2的车辆位置信息以及地图数据库24的地图信息或者外部环境识别部32所识别出的外部环境,判定是否应该请求远程辅助。
远程辅助请求判定部34在自动驾驶车辆2成为预先设定的应该请求远程辅助的状况的情况下,判定为应该请求远程辅助。应该请求远程辅助的状况包括以下状况中的至少一个:需要进行对车辆前方障碍物的车道偏离避让的状况;自动驾驶车辆2要在十字路口右转的状况;要进入有信号机或者无信号机的十字路口的状况;要通过信号机的状况(例如通过与道路途中的人行横道对应的信号机的状况);开始变更车道的状况;要进入施工区间的状况;和要进入铁路道口的状况。
此外,自动驾驶车辆2不一定要在十字路口的右转时判定为应该请求远程辅助。自动驾驶车辆2也可以在一定的条件下(例如在没有检测到对向车的情况下等),不进行远程辅助请求而自动地在十字路口右转。
远程辅助请求判定部34在判定为应该请求远程辅助的情况下,向车辆远程辅助服务器10发送远程辅助请求。远程辅助请求判定部34将自动驾驶车辆2的识别信息、车辆位置信息以及外部环境信息与远程辅助请求合在一起发送给车辆远程辅助服务器10。远程辅助请求判定部34也可以将判定为应该请求远程辅助的状况的类别发送给车辆远程辅助服务器10。判定为应该请求远程辅助的状况的类别指的是车辆前方障碍物的车道偏离避让、十字路口的右转、向施工区间的进入等。
另外,远程辅助请求判定部34也可以还将自动驾驶车辆2的行驶状态信息(车速、偏航率等信息)发送给车辆远程辅助服务器10。远程辅助请求判定部34也可以将包含自动驾驶车辆2的目的地、乘车人数、车型和剩余燃料中的至少一方的关联信息发送给车辆远程辅助服务器10。
行进轨迹生成部35生成自动驾驶车辆2的自动驾驶所利用的行进轨迹(trajectory)。行进轨迹生成部35基于预先设定的行驶路线、地图信息、自动驾驶车辆2的位置信息、自动驾驶车辆2的外部环境以及自动驾驶车辆2的行驶状态,生成自动驾驶的行进轨迹。
行驶路线指的是在自动驾驶中自动驾驶车辆2行驶的路线。行进轨迹生成部35例如基于目的地、地图信息以及自动驾驶车辆2的位置信息,求取自动驾驶的行驶路线。行驶路线也可以通过周知的导航系统设定。目的地既可以由自动驾驶车辆2的乘员设定,也可以是自动驾驶ECU20或者导航系统等自动建议。
行进轨迹包括车辆通过自动驾驶所行驶的路径(path)和自动驾驶中的车速简况(profile)。路径是在行驶路线上自动驾驶期间的车辆预定行驶的轨迹。路径例如能够设为与行驶路线上的位置相应的自动驾驶车辆2的转向角变化的数据(转向角简况)。行驶路线上的位置指的是例如在行驶路线的行进方向上每隔预定间隔(例如1米)所设定的设定纵向位置。所谓转向角简况,是按各设定纵向位置关联有目标转向角的数据。
行进轨迹生成部35例如基于行驶路线、地图信息、自动驾驶车辆2的外部环境以及自动驾驶车辆2的行驶状态,生成自动驾驶车辆2行驶的路径。行进轨迹生成部35例如生成路径以使得自动驾驶车辆2从行驶路线所包含的车道的中央(车道宽度方向上的中央)通过。
车速简况例如是按各设定纵向位置关联有目标车速的数据。此外,设定纵向位置也可以并非以距离而以自动驾驶车辆2的行驶时间为基准来设定。设定纵向位置也可以设定为车辆的1秒钟后的到达位置、车辆的2秒钟后的到达位置。
行进轨迹生成部35例如基于路径和地图信息所包含的法定速度等交通规则信息来生成车速简况。也可以代替法定速度而使用针对地图上的位置或者区间所预先设定的设定速度。行进轨迹生成部35根据路径以及车速简况生成自动驾驶的行进轨迹。此外,行进轨迹生成部35中的行进轨迹的生成方法不限定于上述的内容,而可以采用关于自动驾驶的周知的方法。关于行进轨迹的内容,也是同样的。
行进轨迹生成部35在由远程辅助请求判定部34向车辆远程辅助服务器10请求了远程辅助的情况下,预先生成与远程辅助相应的行进轨迹。根据自动驾驶车辆2的状况,预先确定有远程辅助内容的选项。例如在十字路口的右转时的远程辅助内容的选项包括右转开始(行进)的建议和等待的建议。在十字路口的右转时的远程辅助内容的选项既可以包括放弃右转而直行的建议,也可以包括紧急躲避的建议。此外,行进轨迹生成部35不一定要预先生成行进轨迹,也可以在接收到远程辅助内容后生成与远程辅助内容对应的行进轨迹。
自动驾驶控制部36执行自动驾驶车辆2的自动驾驶。自动驾驶控制部36例如基于自动驾驶车辆2的外部环境、自动驾驶车辆2的行驶状态以及行进轨迹生成部35所生成的行进轨迹,执行自动驾驶车辆2的自动驾驶。自动驾驶控制部36通过对致动器26发送控制信号来进行自动驾驶车辆2的自动驾驶。
自动驾驶控制部36在由远程辅助请求判定部34向车辆远程辅助服务器10请求了远程辅助的情况下,等待接收来自车辆远程辅助服务器10的远程辅助内容。自动驾驶控制部36在持有驾驶证的乘员乘坐在驾驶席的情况下,在即使经过了预先设定的待机时间也没有接收到远程辅助内容时,也可以请求该乘员进行行驶的判断或者手动驾驶。自动驾驶控制部36在即使经过了待机时间也没有接收到远程辅助内容且也无法由乘员进行判断或者手动驾驶的情况下,也可以自动进行紧急躲避。
自动驾驶控制部36即使从车辆远程辅助服务器10接收到远程辅助内容,也不一定要遵照远程辅助内容。自动驾驶控制部36即使接收到自动驾驶车辆2的行进的建议作为远程辅助内容,也可以在检测到行人突然接近等情况下优先停车。自动驾驶控制部36也可以根据状况的变化由远程辅助请求判定部34进行远程辅助请求的再发送。
[车辆远程辅助系统的构成]
如图1所示,车辆远程辅助系统1具备操作员接口3、远程辅助事例数据库4以及车辆远程辅助服务器10。
操作员接口3指的是远程操作员R进行自动驾驶车辆2的远程辅助时利用的接口。操作员接口3设置有输出部以及辅助内容输入部。输出部是输出与成为远程辅助对象的自动驾驶车辆有关的各种信息的设备。输出部包括输出图像信息的显示器和输出声音信息的扬声器。
辅助内容输入部是由远程操作员R输入远程辅助内容的设备。辅助内容输入部例如具有输入杆,通过输入杆的操作而将自动驾驶车辆的行进或者停止等的建议作为远程辅助内容发送(通知)给自动驾驶车辆2。辅助内容输入部也可以具有键盘、鼠标、触摸面板,也可以具有语音识别、手势识别的功能。辅助内容输入部也可以具有用脚操作的操作踏板。
远程辅助事例数据库4是存储有过去的远程辅助的事例的数据库。远程辅助事例数据库4中存储有过去的自动驾驶车辆的远程辅助请求状况即过去辅助请求状况。远程辅助请求状况指的是对远程操作员R进行了远程辅助请求的自动驾驶车辆2的状况。远程辅助请求状况包含自动驾驶车辆2的车辆位置信息和外部环境信息。
远程辅助事例数据库4中存储有包含过去进行远程辅助请求时的自动驾驶车辆2的车辆位置信息以及外部环境信息的过去辅助请求状况。外部环境信息也可以包含自动驾驶车辆2前方的摄像头拍摄图像。
另外,远程辅助事例数据库4将过去辅助请求状况与该过去辅助请求状况下的远程操作员R的远程辅助内容相关联而存储。远程辅助事例数据库4例如存储有,在自动驾驶车辆2前方存在从路肩超出到行驶车道上而停止的故障车辆的过去辅助请求状况下,作为远程操作员R的远程辅助内容,提出了自动驾驶车辆2的车道偏离避让的建议。远程辅助事例数据库4也可以将车道偏离避让时的自动驾驶车辆2的行驶轨迹以及车速变化作为远程辅助内容进行存储。
图3是表示车辆远程辅助服务器10的硬件结构的一例的框图。如图3所示,车辆远程辅助服务器10能够构成为具备处理器10a、记录部10b、通信部10c以及用户接口10d的一般的计算机。
处理器10a使各种操作系统工作来控制车辆远程辅助服务器10。处理器10a是包括控制装置、运算装置、寄存器等的CPU等运算器。处理器10a对记录部10b、通信部10c以及用户接口10d进行综合管理。记录部10b构成为包括存储器(memory)和储存器(storage)中的至少一方。存储器是ROM、RAM等记录介质。储存器是HDD(Hard Disk Drive)等记录介质。
通信部10c是用于经由网络N进行通信的通信设备。对于通信部10c,能够使用网络设备、网络控制器、网卡等。用户接口10d是相对于管理者等用户的车辆远程辅助服务器10的输入输出部。用户接口10d包括显示器、扬声器等输出器以及触摸面板等输入器。此外,车辆远程辅助服务器10不一定要设置于设施(机构),也可以搭载于车辆等移动体。车辆远程辅助服务器10也可以由多个计算机构成。
接着,对车辆远程辅助服务器10的功能结构进行说明。图4是表示车辆远程辅助服务器10的功能结构的一例的框图。图4所示的车辆远程辅助服务器10具有远程辅助请求受理部41、类似判定部42、远程辅助内容发送部43、持续性选择部44以及远程辅助内容自动发送部45。
远程辅助请求受理部41受理从自动驾驶车辆2发送的远程辅助请求。另外,远程辅助请求受理部41取得发送了远程辅助请求的自动驾驶车辆2的识别信息、车辆位置信息以及外部环境信息。车辆位置信息以及外部环境信息包含于自动驾驶车辆2的远程辅助请求状况。远程辅助请求受理部41也可以取得自动驾驶车辆2的行驶状态信息,也可以取得包含自动驾驶车辆2的目的地、乘车人数、车型和剩余燃料中的至少一方的关联信息。
类似判定部42在由远程辅助请求受理部41从自动驾驶车辆2受理到远程辅助请求的情况下,基于发送了远程辅助请求的自动驾驶车辆2的车辆位置信息以及外部环境信息,判定自动驾驶车辆2的远程辅助请求状况是否与记录于远程辅助事例数据库4的过去辅助请求状况类似。
类似判定部42例如以位置和外部环境的两个阶段进行类似判定。类似判定部42基于包含于远程辅助请求状况的车辆位置信息,判定是否存在位置与远程辅助请求状况类似的过去辅助请求状况。类似判定部42在存在与和远程辅助请求状况所包含的车辆位置信息的位置相距在距离阈值内的位置对应的过去辅助请求状况的情况下,判定为存在位置与远程辅助请求状况类似的过去辅助请求状况。距离阈值没有特别限定。距离阈值可以为1米,也可以为2米。距离阈值也可以根据自动驾驶车辆2的传感器性能和/或车型预先设定。
类似判定部42也可以在位置的类似判定中对道路的延伸方向(纵向)与道路宽度方向(横向)使用不同的阈值。类似判定部42也可以将横向阈值设定为比纵向阈值小的值。即使在远程辅助请求状况与过去辅助请求状况类似的情况下,也会由于传感器性能、车辆高度等而存在自动驾驶车辆2判定为应该请求远程辅助的位置不同的情况。纵向阈值可以为10米,也可以为50米。关于横向,考虑设定横向阈值以使得不判定为跨车道地类似。横向阈值可以设为数米。纵向阈值和横向阈值的值没有限定。类似判定部42也可以在位置的类似判定中使用机器学习。
此外,类似判定部42也可以考虑判定为应该请求远程辅助的状况的类别(障碍物的车道偏离避让、向施工区间的进入等类别),从远程辅助事例数据库4中筛选(限定)进行比较的过去辅助请求状况。另外,用于类似判定的过去辅助请求状况也可以被施加时间限制。时间限制能够根据判定为应该请求远程辅助的状况的类别而变更。
类似判定部42在判定为存在位置与远程辅助请求状况类似的过去辅助请求状况的情况下,基于远程辅助请求状况的外部环境信息与该过去辅助请求状况的外部环境信息,进行外部环境的类似判定。
类似判定部42也可以通过由自动驾驶车辆2得到的车辆前方的摄像头拍摄图像的比较来进行外部环境的类似判定。类似判定部42在远程辅助请求状况的外部环境信息所包含的自动驾驶车辆2的车辆前方的摄像头拍摄图像与过去辅助请求状况的外部环境信息所包含的车辆前方的摄像头拍摄图像类似的情况下,作为远程辅助请求状况的外部环境与过去辅助请求状况的外部环境类似而能够判定为存在与远程辅助请求状况类似的过去辅助请求状况。
关于图像的类似判定,可以采用周知的各种方法。也可以以像素为单位进行类似判定。此外,也可以不通过图像整体的比较而通过障碍物图像的比较进行类似判定。在该情况下,既可以通过基于图像识别的筛选来提取障碍物图像,也可以利用毫米波雷达或者激光雷达的检测结果进行障碍物图像的提取。另外,在图像的类似判定中,也可以考虑自动驾驶车辆2的摄像头安装位置,进行视点变换等预处理。
再者,在图像的类似判定中,既可以利用使用图像特征量(尺度不变特征变换(Scale-Invariant Feature Transform)等)和机器学习(支持向量机(Support VectorMachine)等)的匹配,也可以进行使用深度学习(卷积神经网络(Convolutional NeuralNetwork)等)的匹配。在图像中包含其他车辆的情况下,也可以使用其他车辆的车型、位置、颜色、号码牌的显示等进行类似判定。对于图像内的道路标识、招牌、交通锥等目标物,也可以根据位置、大小进行类似判定。
类似判定部42在为因障碍物引起的远程辅助请求的情况下,也可以以自动驾驶车辆2前方的障碍物为基准进行外部环境的类似判定。类似判定部42基于远程辅助请求状况的外部环境信息(自动驾驶车辆2与障碍物的相对位置的信息)以及车辆位置信息,识别障碍物在地图上的位置。类似判定部42也可以基于远程辅助请求状况的外部环境信息,识别障碍物的形状。类似判定部42也可以进一步识别障碍物的大小、种类(四轮车、二轮车、掉落物等种类)。障碍物的信息既可以从摄像头拍摄图像取得,也可以从毫米波雷达或者激光雷达取得,还可以复合地使用各传感器来取得。作为毫米波雷达或者激光雷达的检测点群,也能够取得障碍物的大小、形状、位置。障碍物也可以限定于静止物。
类似判定部42在识别出的障碍物的位置和形状与过去辅助请求状况的外部环境信息所包含的障碍物的位置和形状类似的情况下,作为远程辅助请求状况的外部环境与过去辅助请求状况的外部环境类似,判定为存在与远程辅助请求状况类似的过去辅助请求状况。
此外,障碍物的位置不需要完全一致,只要在预先设定的障碍物判定距离内就可以判定为类似。障碍物判定距离没有特别限定。障碍物判定距离可以为1米,也可以为2米。障碍物的形状也不需要完全一致,允许一定范围的误差。类似判定部42既可以使用障碍物的大小和/或种类代替障碍物的形状来进行类似判定,也可以仅使用障碍物的位置进行类似判定。在使用障碍物的种类的情况下可以仅在完全一致的情况下判定为类似。
关于使用障碍物的类似判定,可以采用周知的各种方法。也可以进行基于机器学习的类似判定。障碍物也可以不仅包括车辆前方的而且包括周围的物体。物体可以包括其他车辆、行人、自行车等。
远程辅助内容发送部43将远程操作员R的远程辅助内容发送给自动驾驶车辆2。远程辅助内容发送部43在由类似判定部42判定为不存在与远程辅助请求状况类似的过去辅助请求状况的情况下,请求远程操作员R输入远程辅助内容,由远程操作员R进行向操作员接口3的远程辅助内容的输入。远程辅助内容发送部43在远程辅助内容由远程操作员R输入到操作员接口3的情况下,将远程辅助内容发送给自动驾驶车辆2。
在此,图5A是表示由远程操作员进行远程辅助的场面的一例的图。图5A中表示自动驾驶车辆2A、2B、2C以及故障车辆50。自动驾驶车辆2A、2B、2C均与车辆远程辅助服务器10可通信地连接。自动驾驶车辆2A、2B、2C以自动驾驶车辆2A为排头并按自动驾驶车辆2B、自动驾驶车辆2C的顺序行驶在同一车道上。故障车辆50以超出到自动驾驶车辆2A、2B、2C所行驶的车道的方式停止于路肩,为了避让故障车辆50而行进,需要进行偏离车道的车道偏离避让。
在图5A所示的状况下,自动驾驶车辆2A判定为由于故障车辆50的存在而需要进行车道偏离避让且为应该请求远程辅助的状况从而进行对于车辆远程辅助服务器10的远程辅助请求。自动驾驶车辆2A也发送车辆位置信息以及外部环境信息(例如包含故障车辆50的摄像头拍摄图像)。车辆远程辅助服务器10对远程操作员R进行远程辅助请求的联系。在此,假设不存在类似于自动驾驶车辆2A的远程辅助请求状况的过去辅助请求状况。
远程操作员R掌握自动驾驶车辆2A的状况而输入远程辅助内容。在此,远程操作员R建议进行车道偏离避让作为远程辅助内容。车辆远程辅助服务器10将远程操作员R所建议的车道偏离避让发送给自动驾驶车辆2A。自动驾驶车辆2A受到作为远程辅助内容的车道偏离避让的建议并为了避让故障车辆50而执行车道偏离避让。车辆远程辅助服务器10使远程辅助请求状况和远程辅助内容相关联地存储于远程辅助事例数据库4。此外,车辆远程辅助服务器10也可以在后述的持续性选择部44中的远程操作员R对持续性进行了选择后,使远程辅助事例数据库4记录远程辅助请求状况和远程辅助内容。
持续性选择部44在由远程操作员R对远程辅助内容进行了输入的情况下,使远程操作员R选择远程辅助请求状况是否具有持续性。持续性选择部44通过操作员接口3进行图像显示以及/或者语音输出,从而让远程操作员R进行持续性的选择。远程辅助请求状况具有持续性意味着,例如在本次进行了远程辅助请求的自动驾驶车辆2后续存在别的自动驾驶车辆2的情况下,继续发生相同的远程辅助请求状况的状况。
持续性选择部44在远程操作员R选择为具有持续性的情况下,将该远程辅助请求状况作为过去辅助请求状况存储于远程辅助事例数据库4。此外,在远程辅助事例数据库4中,也可以不论持续性的选择结果如何都存储所有的远程辅助请求状况。在该情况下,在远程辅助事例数据库4中,过去辅助请求状况与由远程操作员R做出的持续性的选择结果相关联地存储。
远程辅助内容自动发送部45在由类似判定部42判定为存在与远程辅助请求状况类似的过去辅助请求状况的情况下,代替远程操作员R将与该过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆2。远程辅助内容自动发送部45通过参照远程辅助事例数据库4,将与被判定为类似的过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆2。
远程辅助内容自动发送部45在远程辅助事例数据库4中不论持续性的选择结果如何都存储有所有的远程辅助请求状况的情况下,可以设为仅在判定为被选择为具有持续性的过去辅助请求状况与自动驾驶车辆2的远程辅助请求状况类似时将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆2的方式。在该情况下,即使判定为被选择为不具有持续性的过去辅助请求状况与自动驾驶车辆的远程辅助请求状况类似,远程辅助内容自动发送部45也不将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆2。
在此,图5B是表示存在位置与自动驾驶车辆2B的远程辅助请求状况类似的过去辅助请求状况的情况的一例的图。图5B是图5A的场面的后续。在图5B中,继通过远程操作员R的远程辅助而进行车道偏离避让从而避开故障车辆50行进的自动驾驶车辆2A之后,后续的自动驾驶车辆2B正在进行远程辅助请求。假设自动驾驶车辆2B也因故障车辆50而在进行远程辅助请求。自动驾驶车辆2B将车辆位置信息以及外部环境信息发送给车辆远程辅助服务器10。
车辆远程辅助服务器10的类似判定部42基于进行远程辅助请求的自动驾驶车辆2B的车辆位置信息,判定为远程辅助事例数据库4中存在位置与自动驾驶车辆2B的远程辅助请求状况类似的过去辅助请求状况(自动驾驶车辆2A的远程辅助请求状况)。
图5C是表示与过去辅助请求状况对应的远程辅助内容被发送给自动驾驶车辆的场面的一例的图。在图5C中,车辆远程辅助服务器10的类似判定部42根据从自动驾驶车辆2B发送来的外部环境信息和自动驾驶车辆2A的过去辅助请求状况所包含的外部环境信息,进行外部环境的类似判定。
类似判定部42例如根据自动驾驶车辆2B中的包含故障车辆50的摄像头拍摄图像与自动驾驶车辆2A的过去辅助请求状况下的包含故障车辆50的摄像头拍摄图像类似,作为不仅位置而且外部环境也类似,判定为存在与远程辅助请求状况类似的过去辅助请求状况。远程辅助内容自动发送部45代替远程操作员R,将车道偏离避让的建议作为与自动驾驶车辆2A的过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆2B。自动驾驶车辆2B受到作为远程辅助内容的车道偏离避让的建议,为了避让故障车辆50而执行车道偏离避让。
[车辆远程辅助系统的车辆远程辅助方法]
接着,参照图6,对本实施方式涉及的车辆远程辅助系统1的车辆远程辅助方法(处理)进行说明。图6是表示车辆远程辅助系统中的车辆远程辅助处理的一例的流程图。
如图6所示,在S10中,车辆远程辅助系统1的车辆远程辅助服务器10判定是否由远程辅助请求受理部41从自动驾驶车辆2受理到远程辅助请求(远程辅助请求受理判定步骤)。车辆远程辅助服务器10在判定为从自动驾驶车辆2受理到远程辅助请求的情况下(S10:是),移至S12。车辆远程辅助服务器10在没有判定为从自动驾驶车辆2受理到远程辅助请求的情况下(S10:否),结束本次处理。之后,车辆远程辅助服务器10在经过一定时间后再次重复进行S10的处理。
在S12中,车辆远程辅助服务器10由类似判定部42判定是否存在与远程辅助请求状况类似的过去辅助请求状况(类似判定步骤)。类似判定部42例如以位置和外部环境的两个阶段进行类似判定。类似判定部42在存在位置与远程辅助请求状况类似的过去辅助请求状况且外部环境也类似的情况下,判定为存在与远程辅助请求状况类似的过去辅助请求状况。车辆远程辅助服务器10在判定为存在与远程辅助请求状况类似的过去辅助请求状况的情况下(S12:是),移至S14。车辆远程辅助服务器10在没有判定为存在与远程辅助请求状况类似的过去辅助请求状况的情况下(S12:否),移至S16。
在S14中,车辆远程辅助服务器10由远程辅助内容自动发送部45将与过去辅助请求状况(被判定为类似的过去辅助请求状况)对应的远程辅助内容发送给自动驾驶车辆2(远程辅助内容自动发送步骤)。之后,车辆远程辅助服务器10结束本次处理。车辆远程辅助服务器10在经过一定时间后再次重复进行S10的处理。
在S16中,车辆远程辅助服务器10请求远程操作员R进行远程辅助(远程辅助请求步骤)。车辆远程辅助服务器10通过操作员接口3请求远程操作员R输入远程辅助内容。车辆远程辅助服务器10使操作员接口3表示自动驾驶车辆2的状况。
在S18中,车辆远程辅助服务器10由远程辅助内容发送部43将远程操作员R输入的远程辅助内容发送给自动驾驶车辆2。
在S20中,车辆远程辅助服务器10由持续性选择部44使远程操作员R选择远程辅助请求状况是否具有持续性(持续性选择步骤)。持续性选择部44通过操作员接口3进行图像显示以及/或者语音输出,从而让远程操作员R进行持续性的选择。此外,S20和S18的顺序也可以是相反的。
在S22中,车辆远程辅助服务器10由持续性选择部44判定远程操作员R是否选择为远程辅助请求状况具有持续性(持续性判定步骤)。车辆远程辅助服务器10在远程操作员R选择为远程辅助请求状况具有持续性的情况下(S22:是),移至S24。车辆远程辅助服务器10在远程操作员R没有选择为远程辅助请求状况具有持续性的情况下(S22:否),结束本次处理。之后,车辆远程辅助服务器10在经过一定时间后再次重复进行S10的处理。
在S24中,车辆远程辅助服务器10由持续性选择部44将本次的远程辅助请求状况作为过去辅助请求状况存储于远程辅助事例数据库4(过去辅助请求状况存储步骤)。在远程辅助事例数据库4中,包含车辆位置信息和外部环境信息的过去辅助请求状况与远程辅助内容相关联而存储。之后,车辆远程辅助服务器10结束本次处理,在经过一定时间后再次重复进行S10的处理。
根据以上说明的本实施方式涉及的车辆远程辅助系统1,在判定为进行远程辅助请求的自动驾驶车辆2的远程辅助请求状况与记录于远程辅助事例数据库的过去辅助请求状况类似的情况下,代替远程操作员R将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆2,因此,能够抑制远程操作员R进行远程辅助的频率,减轻远程操作员R的负荷。
另外,在车辆远程辅助系统1中,使远程操作员R选择自动驾驶车辆2的远程辅助请求状况是否具有持续性,即使判定为如自行车在人行横道上摔倒等被选择为不具有持续性的过去辅助请求状况与自动驾驶车辆2的远程辅助请求状况类似,也不将与过去辅助请求状况对应的远程辅助内容发送给自动驾驶车辆2,因此,能够避免误将不具有持续性的、状况改变的可能性高的过去辅助请求状况的远程辅助内容发送给自动驾驶车辆2。
在车辆远程辅助系统1中,通过使对于车辆前方障碍物的车道偏离避让的状况包含于远程辅助请求状况,在避开超出到行驶道路上的停泊车辆、掉落物等障碍物而进行偏离车道来与障碍物保持距离的车道偏离避让的状况下,能够降低远程操作员R进行的远程辅助的频率,能够减轻远程操作员R的负荷。
以上,对本发明的实施方式进行了说明,但本发明不限定于上述的实施方式。本发明可以从上述的实施方式开始,以基于本领域技术人员的知识施加各种变更、改良后的各种方式来实施。
远程辅助也可以包括由远程操作员R进行的远程操作。在远程操作中,远程操作员R通过操作设置于车外设施的方向盘、加速踏板、制动踏板等而能够远程地进行自动驾驶车辆2的驾驶操作。
远程辅助事例数据库4既可以是车辆远程辅助服务器10的一部分,也可以是分别的。持续性选择部44不一定要让远程操作员R选择,也可以是根据外部环境信息自动选择的形式。持续性选择部44也可以基于远程辅助请求状况的外部环境信息,通过机器学习来自动地选择是否具有持续性。
车辆远程辅助服务器10不一定要具备持续性选择部44。在该情况下,类似判定部42也可以将所有的过去辅助请求状况作为类似判定的对象。或者,也可以使用判定为应该请求远程辅助的状况的类别进行成为类似判定的对象的过去辅助请求状况的筛选。
由类似判定部42进行的类似判定的方法没有特别限定。类似判定部42不一定要以位置和外部环境的两个阶段进行类似判定,也可以使用车辆位置信息和外部环境信息一次性地完成类似判定。远程辅助请求状况不一定要包含车辆前方障碍物的车道偏离避让的状况。
Claims (8)
1.一种车辆远程辅助系统,是在受到自动驾驶车辆的远程辅助请求的情况下远程操作员进行与所述自动驾驶车辆的行驶有关的远程辅助的车辆远程辅助系统,其特征在于,具备:
远程辅助事例数据库,其将包含过去进行所述远程辅助请求时的车辆位置信息和外部环境信息的过去辅助请求状况与该过去辅助请求状况下的所述远程操作员的远程辅助内容进行关联而存储;以及
服务器,其构成为,
在从所述自动驾驶车辆接收到所述远程辅助请求的情况下,基于发送所述远程辅助请求的所述自动驾驶车辆的位置和所述自动驾驶车辆的外部环境,判定所述自动驾驶车辆的远程辅助请求状况是否与记录于所述远程辅助事例数据库的所述过去辅助请求状况类似;
在判定为所述远程辅助请求状况与所述过去辅助请求状况类似的情况下,代替所述远程操作员将与所述过去辅助请求状况对应的所述远程辅助内容发送给所述自动驾驶车辆。
2.根据权利要求1所述的车辆远程辅助系统,其特征在于,
所述服务器还构成为,在所述远程操作员进行所述自动驾驶车辆的所述远程辅助的情况下,使所述远程操作员选择该自动驾驶车辆的所述远程辅助请求状况是否具有持续性,
在所述远程辅助事例数据库中,与所述远程操作员的选择结果相关联地存储所述过去辅助请求状况,
所述服务器还构成为,在判定为被选择为具有所述持续性的所述过去辅助请求状况与所述自动驾驶车辆的所述远程辅助请求状况类似的情况下,将与所述过去辅助请求状况对应的所述远程辅助内容发送给所述自动驾驶车辆,在判定为被选择为不具有所述持续性的所述过去辅助请求状况与所述自动驾驶车辆的所述远程辅助请求状况类似的情况下,不将与所述过去辅助请求状况对应的所述远程辅助内容发送给所述自动驾驶车辆。
3.根据权利要求1或2所述的车辆远程辅助系统,其特征在于,
所述远程辅助请求状况是所述自动驾驶车辆相对于车辆前方障碍物的车道偏离避让的状况。
4.一种车辆远程辅助服务器,是用于在受到自动驾驶车辆的远程辅助请求的情况下远程操作员进行与所述自动驾驶车辆的行驶有关的远程辅助的车辆远程辅助服务器,其特征在于,具备:
类似判定部,其在从所述自动驾驶车辆接收到所述远程辅助请求的情况下,基于发送所述远程辅助请求的所述自动驾驶车辆的位置和所述自动驾驶车辆的外部环境,判定所述自动驾驶车辆的远程辅助请求状况是否与包含过去进行所述远程辅助请求时的车辆位置信息和外部环境信息的过去辅助请求状况类似;以及
远程辅助内容自动发送部,其在由所述类似判定部判定为所述远程辅助请求状况与所述过去辅助请求状况类似的情况下,通过参照将所述过去辅助请求状况与该过去辅助请求状况下的所述远程操作员的远程辅助内容进行关联而存储的远程辅助事例数据库,从而代替所述远程操作员将与所述过去辅助请求状况对应的所述远程辅助内容发送给所述自动驾驶车辆。
5.根据权利要求4所述的车辆远程辅助服务器,其特征在于,
还具备持续性选择部,所述持续性选择部构成为在所述远程操作员进行所述自动驾驶车辆的所述远程辅助的情况下,使所述远程操作员选择该自动驾驶车辆的所述远程辅助请求状况是否具有持续性,
在所述远程辅助事例数据库中,与所述持续性选择部中的所述远程操作员的选择结果相关联地存储所述过去辅助请求状况,
所述远程辅助内容自动发送部构成为,在判定为被选择为具有所述持续性的所述过去辅助请求状况与所述自动驾驶车辆的所述远程辅助请求状况类似的情况下,将与所述过去辅助请求状况对应的所述远程辅助内容发送给所述自动驾驶车辆,在判定为被选择为不具有所述持续性的所述过去辅助请求状况与所述自动驾驶车辆的所述远程辅助请求状况类似的情况下,不将与所述过去辅助请求状况对应的所述远程辅助内容发送给所述自动驾驶车辆。
6.根据权利要求4或5所述的车辆远程辅助服务器,其特征在于,
所述远程辅助请求状况是所述自动驾驶车辆相对于车辆前方障碍物的车道偏离避让的状况。
7.一种车辆远程辅助方法,是在受到自动驾驶车辆的远程辅助请求的情况下远程操作员进行与所述自动驾驶车辆的行驶有关的远程辅助的车辆远程辅助系统的车辆远程辅助方法,其特征在于,包括:
在从所述自动驾驶车辆接收到所述远程辅助请求的情况下,基于发送所述远程辅助请求的所述自动驾驶车辆的位置和所述自动驾驶车辆的外部环境,判定所述自动驾驶车辆的远程辅助请求状况是否与包含过去进行所述远程辅助请求时的车辆位置信息和外部环境信息的过去辅助请求状况类似;以及
在判定为所述远程辅助请求状况与所述过去辅助请求状况类似的情况下,通过参照将所述过去辅助请求状况与该过去辅助请求状况下的所述远程操作员的远程辅助内容进行关联而存储的远程辅助事例数据库,从而代替所述远程操作员将与所述过去辅助请求状况对应的所述远程辅助内容发送给所述自动驾驶车辆。
8.根据权利要求7所述的车辆远程辅助方法,其特征在于,
所述远程辅助请求状况是所述自动驾驶车辆相对于车辆前方障碍物的车道偏离避让的状况。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020171758A JP7327344B2 (ja) | 2020-10-12 | 2020-10-12 | 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法 |
JP2020-171758 | 2020-10-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114419574A true CN114419574A (zh) | 2022-04-29 |
Family
ID=76807508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111170597.0A Pending CN114419574A (zh) | 2020-10-12 | 2021-10-08 | 车辆远程辅助系统、车辆远程辅助服务器及车辆远程辅助方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11507110B2 (zh) |
EP (1) | EP3982226B1 (zh) |
JP (1) | JP7327344B2 (zh) |
CN (1) | CN114419574A (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11231287B2 (en) * | 2016-12-22 | 2022-01-25 | Nissan North America, Inc. | Autonomous vehicle service system |
US11537124B2 (en) * | 2020-04-29 | 2022-12-27 | Teleo, Inc. | Built-in safety of control station and user interface for teleoperation |
US11847919B2 (en) * | 2020-05-19 | 2023-12-19 | Toyota Motor North America, Inc. | Control of transport en route |
KR20230001073A (ko) * | 2021-06-25 | 2023-01-04 | 현대자동차주식회사 | 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법 |
WO2024161591A1 (ja) * | 2023-02-02 | 2024-08-08 | 三菱電機株式会社 | 遠隔操作支援装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10401852B2 (en) * | 2015-11-04 | 2019-09-03 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
JP6650386B2 (ja) | 2016-11-09 | 2020-02-19 | 本田技研工業株式会社 | 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム |
KR102685477B1 (ko) * | 2017-06-16 | 2024-07-15 | 모셔널 에이디 엘엘씨 | 자율 주행 능력들을 갖춘 차량의 작동에 대한 개입 |
JP6893140B2 (ja) * | 2017-07-20 | 2021-06-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 制御装置、制御方法、制御プログラム及び制御システム |
US11294376B2 (en) * | 2018-03-16 | 2022-04-05 | Hitachi, Ltd. | Moving body control device |
JP7124395B2 (ja) * | 2018-04-06 | 2022-08-24 | 株式会社デンソー | 管制装置 |
JP2019207539A (ja) | 2018-05-29 | 2019-12-05 | 株式会社Soken | 管理装置 |
JP7111530B2 (ja) * | 2018-06-28 | 2022-08-02 | 株式会社Soken | 車両の遠隔操作システム、車両制御装置、車両及び遠隔操作の開始タイミングを報知する方法 |
US10499190B1 (en) * | 2018-11-08 | 2019-12-03 | Capital One Services, Llc | Systems and methods for facilitating dynamic remote assistance networks |
US11810075B2 (en) * | 2019-01-07 | 2023-11-07 | Ottopia Technologies Ltd. | Servicing of autonomous vehicles |
-
2020
- 2020-10-12 JP JP2020171758A patent/JP7327344B2/ja active Active
-
2021
- 2021-07-02 EP EP21183541.8A patent/EP3982226B1/en active Active
- 2021-07-08 US US17/370,582 patent/US11507110B2/en active Active
- 2021-10-08 CN CN202111170597.0A patent/CN114419574A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220113737A1 (en) | 2022-04-14 |
JP7327344B2 (ja) | 2023-08-16 |
EP3982226A1 (en) | 2022-04-13 |
US11507110B2 (en) | 2022-11-22 |
JP2022063472A (ja) | 2022-04-22 |
EP3982226B1 (en) | 2024-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112466140B (zh) | 车辆远程指示系统 | |
CN110001658B (zh) | 用于车辆的路径预测 | |
US10643474B2 (en) | Vehicle control device, vehicle control method, and recording medium | |
CN110473416B (zh) | 车辆控制装置 | |
CN114419574A (zh) | 车辆远程辅助系统、车辆远程辅助服务器及车辆远程辅助方法 | |
CN111830859B (zh) | 车辆远程指示系统 | |
CN112309157B (zh) | 图像显示装置 | |
RU2745936C1 (ru) | Устройство определения положения стоп-линии и система управления транспортным средством | |
KR20190126024A (ko) | 교통 사고 처리 장치 및 교통 사고 처리 방법 | |
CN112650212A (zh) | 远程自动驾驶车辆及车辆远程指示系统 | |
US20220366175A1 (en) | Long-range object detection, localization, tracking and classification for autonomous vehicles | |
CN113075924B (zh) | 自动驾驶车辆停放场景设计 | |
CN114715140A (zh) | 自动泊车系统、自动泊车系统的控制方法以及自动驾驶车辆 | |
CN114792475A (zh) | 自动停车系统 | |
JP2022098397A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20220342417A1 (en) | Remote function selection device | |
EP4102323B1 (en) | Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program | |
US12054144B2 (en) | Road information generation apparatus | |
CN115035707B (zh) | 自动泊车系统及自动泊车系统的控制方法 | |
CN115440069B (zh) | 信息处理服务器、信息处理服务器的处理方法、非易失性存储介质 | |
JP7548085B2 (ja) | 遠隔機能選択装置 | |
US20240308537A1 (en) | Vehicle control device and vehicle control method | |
CN115440068A (zh) | 信息处理服务器、信息处理服务器的处理方法、程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |