CN112466140B - 车辆远程指示系统 - Google Patents
车辆远程指示系统 Download PDFInfo
- Publication number
- CN112466140B CN112466140B CN202010903298.2A CN202010903298A CN112466140B CN 112466140 B CN112466140 B CN 112466140B CN 202010903298 A CN202010903298 A CN 202010903298A CN 112466140 B CN112466140 B CN 112466140B
- Authority
- CN
- China
- Prior art keywords
- information
- autonomous vehicle
- sensor
- remote
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 374
- 230000005540 biological transmission Effects 0.000 claims description 161
- 230000008859 change Effects 0.000 claims description 143
- 239000000284 extract Substances 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 23
- 238000010276 construction Methods 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
- G05D1/2244—Optic
- G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/242—Means based on the reflection of waves generated by the vehicle
- G05D1/2427—Means based on the reflection of waves generated by the vehicle for monitoring a zone of adjustable size or form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2101/00—Details of software or hardware architectures used for the control of position
- G05D2101/20—Details of software or hardware architectures used for the control of position using external object recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Atmospheric Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
车辆远程指示系统(100)基于检测自动驾驶车辆(2)的外部环境的外部传感器(22)的检测信息,由远程指令者(R)进行与自动驾驶车辆(2)的行驶有关的远程指示。车辆远程指示系统(100)基于根据外部环境或地图信息得到的外部状况、以及自动驾驶车辆(2)的行进路线,设定由外部传感器(22)检测出的检测信息之中向远程指令者(R)发送的信息的范围作为限定信息范围。
Description
技术领域
本发明涉及一种远程指令者进行与自动驾驶车辆的行驶有关的远程指示的车辆远程指示系统。
背景技术
例如,日本特开2018-180771号公报中记载了一种车辆远程指示系统,通过从远程指令者向自动驾驶车辆进行远程指示而控制自动驾驶车辆的行驶。在该车辆远程指示系统中,车载传感器的传感器信息从自动驾驶车辆发送至远程指令者,远程指令者基于发送来的传感器信息进行远程指示。
发明内容
在此,远程指令者进行远程指示时所需的传感器信息与自动驾驶车辆的外部状况(场景)相应地变化。在不考虑自动驾驶车辆的外部状况而发送传感器信息的情况下,会发送不必要的传感器信息,要发送的数据容量变多。
因此,在本技术领域中,寻求与自动驾驶车辆的外部状况相应地减少发送至远程指令者的传感器信息的数据容量的方案。
本发明的一个方面是一种车辆远程指示系统,其中,远程指令者基于检测自动驾驶车辆的外部环境的外部传感器的传感器信息,进行与自动驾驶车辆的行驶有关的远程指示,该车辆远程指示系统具备发送信息限定部,该发送信息限定部基于根据外部环境或地图信息得到的外部状况、以及自动驾驶车辆的行进路线,设定由外部传感器检测出的传感器信息之中向远程指令者发送的信息的范围作为限定信息范围。
在该车辆远程指示系统中,通过发送信息限定部将向远程指令者发送的信息的范围设定为限定信息范围,从而能够仅将由外部传感器检测出的传感器信息之中与自动驾驶车辆的外部状况和行进路线对应的传感器信息(必要的传感器信息)发送给远程指令者。由此,车辆远程指示系统能够适当地执行远程指令者进行的远程指示,同时减少从自动驾驶车辆发送给远程指令者的传感器信息的数据容量。
也可以在车辆远程指示系统中,外部传感器具有检测外部环境的多个传感器,发送信息限定部基于外部状况和行进路线,确定多个传感器中向远程指令者发送传感器信息的传感器,将由所确定的传感器检测出的传感器信息设定为限定信息范围内的传感器信息。
如上所述,即使在具有多个传感器作为外部传感器的情况下,车辆远程指示系统也能够与外部状况相应地确定应当发送传感器信息的传感器,并将所确定的传感器检测出的传感器信息设定为限定信息范围内的传感器信息,从而减少发送给远程指令者的传感器信息的数据容量。
也可以在车辆远程指示系统中,发送信息限定部基于外部状况和行进路线,从由外部传感器检测出的传感器信息中提取向远程指令者发送的部分,并将提取出的部分的传感器信息设定为限定信息范围内的传感器信息。
如上所述,车辆远程指示系统通过从外部传感器的传感器信息中提取应当发送的部分,并将提取出的部分设定为限定信息范围内的传感器信息,从而能够减少发送给远程指令者的传感器信息的数据容量。
车辆远程指示系统可以还具备:信息有无判定部,其判定与外部状况相应地预先设定的必要信息是否包含于限定信息范围内的传感器信息中;以及通知建议部,在由信息有无判定部判定为必要信息没有包含在限定信息范围内的传感器信息中的情况下,该通知建议部向远程指令者进行通知,或者,向远程指令者建议变更自动驾驶车辆的位置姿态或变更外部传感器的检测区域。
在该情况下,车辆远程指示系统能够将必要信息没有包含在限定信息范围内这一情况通知给远程指令者,或者,能够向远程指令者建议必要信息没有包含在限定信息范围内而需要变更自动驾驶车辆的位置姿态或变更外部传感器的检测区域。由此,远程指令者能够进行基于来自车辆远程指示系统的通知或者建议的应对。
根据本发明,能够与自动驾驶车辆的外部环境相应地减少发送给远程指令者的传感器信息的数据容量。
附图说明
图1是示出实施方式所涉及的车辆远程指示系统的整体像的一个例子的图。
图2是示出自动驾驶车辆的构成的一个例子的框图。
图3是说明自动驾驶车辆在交叉路口右转的情况下的限定信息范围的设定的示意图。
图4(a)是说明在超越停在自动驾驶车辆的行驶车道上的停止车辆的情况下的限定信息范围的设定的示意图。图4(b)是示出变更了自动驾驶车辆的位置姿态的情况下的检测区域的变化的示意图。图4(c)是示出变更了外部传感器的检测区域的情况下的检测区域的变化的示意图。
图5是说明自动驾驶车辆2在设置有信号灯的交叉路口直行的情况下的限定信息范围的设定的示意图。
图6(a)是说明自动驾驶车辆在没有设置信号灯的狭窄小巷的交叉路口直行的情况下的限定信息范围的设定的示意图。图6(b)是示出变更了自动驾驶车辆的位置姿态的情况下的检测区域的变化的示意图。
图7是说明在自动驾驶车辆的前方存在施工区间的情况下的限定信息范围的设定的示意图。
图8是示出远程指示服务器的硬件构成的一个例子的框图。
图9是示出远程指示装置的构成的一个例子的框图。
图10是示出指示输入部的一个例子的图。
图11是示出远程指示目标状况发生时由自动驾驶ECU进行的处理的流程的流程图。
图12(a)是说明自动驾驶车辆在交叉路口右转的情况下的限定信息范围的设定的示意图。图12(b)是示出变更了自动驾驶车辆的位置姿态的情况下的检测区域的变化的示意图。图12(c)是示出变更了外部传感器的检测区域的情况下的检测区域的变化的示意图。
图13是说明自动驾驶车辆在交叉路口左转的情况下的限定信息范围的设定的示意图。
图14是说明自动驾驶车辆进入环岛的情况下的限定信息范围的设定的示意图。
图15是说明在自动驾驶车辆的前方的行驶车道上存在掉落物(障碍物)的情况下的限定信息范围的设定的示意图。
图16是说明自动驾驶车辆在通过人行横道的情况下的限定信息范围的设定的示意图。
图17是说明在使自动驾驶车辆停在停车位中的情况下的限定信息范围的设定的示意图。
图18是说明使自动驾驶车辆启动的情况下的限定信息范围的设定的示意图。
具体实施方式
以下,参照附图说明本发明的实施方式。此外,在以下的说明中,对相同或相当的要素标以相同的标号,省略重复说明。
图1是示出实施方式所涉及的车辆远程指示系统的整体图像的一个例子的图。图1所示的车辆远程指示系统100是这样一种系统,即,基于检测自动驾驶车辆2的外部环境的外部传感器22的检测信息,远程指令者R进行与自动驾驶车辆2的行驶有关的远程指示。远程指示使与自动驾驶车辆2的行驶有关的远程指令者R的指示。
远程指示包括自动驾驶车辆2的行进的指示以及自动驾驶车辆2的停止的指示。远程指示也可以包括自动驾驶车辆2的车道变更的指示。此外,远程指示也可以包括偏移避让前方障碍物的指示、超越前方行驶车辆的指示、紧急疏散的指示等。
(车辆远程指示系统的构成)
如图1所示,车辆远程指示系统100具备远程指令者R输入远程指示的远程指示装置1。远程指示装置1经由网络N与多台自动驾驶车辆2可通信地连接。网络N是无线通信网络。各种信息从自动驾驶车辆2发送至远程指示装置1。
在车辆远程指示系统100中,根据例如来自自动驾驶车辆2的远程指示请求,向远程指令者R请求远程指示的输入。远程指令者R向远程指示装置1的指令者接口3输入远程指示。远程指示装置1通过网络N向自动驾驶车辆2发送远程指示。自动驾驶车辆2按照远程指示自动地行驶。
另外,在车辆远程指示系统100中,远程指令者R的人数可以是一人,也可以是两人以上。能够与车辆远程指示系统100通信的自动驾驶车辆2的数量也没有特别限定。可以是多个远程指令者R交替向一台自动驾驶车辆2进行远程指示的方式,也可以是一个远程指令者R向两台以上的自动驾驶车辆2进行远程指示的方式。
(自动驾驶车辆的构成)
首先,对自动驾驶车辆2的构成的一个例子进行说明。图2是示出自动驾驶车辆2的构成的一个例子的框图。如图2所示,作为一个例子,自动驾驶车辆2具有自动驾驶ECU 20。自动驾驶ECU 20是具有CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等的电子控制单元。在自动驾驶ECU 20中,例如通过将记录在ROM中的程序加载到RAM中,并利用CPU执行加载到RAM中的程序,从而实现各种功能。自动驾驶ECU 200也可以由多个电子单元构成。
自动驾驶ECU 20与GPS(Global Positioning System)接收部21、外部传感器22、内部传感器23、地图数据库24、通信部25、以及致动器26连接。
GPS接收部21通过三个以上的GPS卫星接收信号,从而测定自动驾驶车辆2的位置(例如自动驾驶车辆2的纬度以及经度)。GPS接收部21将所测定的自动驾驶车辆2的位置信息向自动驾驶ECU 20发送。
外部传感器22是检测自动驾驶车辆2的外部环境的车载传感器。外部传感器22将检测到的检测信息(传感器信息)向自动驾驶ECU 20发送。外部传感器22包括检测外部环境的多个传感器。具体地,外部传感器22至少包括照相机作为传感器。照相机是对自动驾驶车辆2的外部环境进行拍摄的拍摄设备。照相机设置于例如自动驾驶车辆2的前挡风玻璃的内侧,对车辆前方进行拍摄。照相机将与自动驾驶车辆2的外部环境有关的拍摄图像(传感器信息)向自动驾驶ECU 20发送。照相机可以是单眼照相机,也可以是立体照相机。此外,照相机设置有多台,除自动驾驶车辆2的前方之外,还对左右两侧以及后方等自动驾驶车辆2的周边的全部或至少一部分进行拍摄。
外部传感器22也可以包括雷达传感器作为传感器。雷达传感器是利用电波(例如毫米波)或光对自动驾驶车辆2的周边的物体进行检测的检测设备。雷达传感器包括例如雷达(毫米波雷达)或光学雷达(LIDAR:Light Detection and Ranging)作为传感器。雷达传感器通过将电波或光向自动驾驶车辆2的周边发送,并接受被物体反射的电波或光而检测物体。雷达传感器将检测出的物体信息(传感器信息)向自动驾驶ECU 20发送。作为物体,除了护栏、建筑物等固定物体之外,还包括行人、自行车、其其他车辆等移动物体。雷达传感器设置有多台,将自动驾驶车辆2的周边的全部或至少一部分作为检测对象。此外,外部传感器22也可以包括声纳传感器,该声纳传感器向自动驾驶车辆2的周边发射声波,检测被障碍物等反射的声波。
内部传感器23是检测自动驾驶车辆2的行驶状态的车载传感器。内部传感器23包括车速传感器、加速度传感器、以及偏航角速度传感器。车速传感器是检测自动驾驶车辆2的速度的检测仪器。作为车速传感器,可以使用车轮转速传感器,其设置于自动驾驶车辆2的车轮或与车轮一体旋转的驱动轴等,检测各个车轮的转速。车速传感器将检测出的车速信息(车轮转速信息)向自动驾驶ECU 20发送。
加速度传感器是检测自动驾驶车辆2的加速度的检测仪器。加速度传感器包括例如检测自动驾驶车辆2的前后方向上的加速度的前后加速度传感器。加速度传感器也可以包括检测自动驾驶车辆2的横向加速度的横向加速度传感器。加速度传感器例如将自动驾驶车辆2的加速度信息向自动驾驶ECU 20发送。偏航角速度传感器是检测绕自动驾驶车辆2的重心的铅垂轴的偏航角速度(旋转角速度)的检测仪器。作为偏航角速度传感器,例如可以使用陀螺仪传感器。偏航角速度传感器将检测出的自动驾驶车辆2的偏航角速度信息向自动驾驶ECU 20发送。
除了外部传感器22之外,自动驾驶车辆2中也可以设置有远程指令者用的远程指示用传感器。远程指示用传感器可以设置为具有与外部传感器22的传感器不同的视角。远程指示用传感器例如可以构成为,设置在自动驾驶车辆2的车顶上,从较高位置检测周围。远程指示用传感器可以与识别用于进行自动驾驶的外部环境的外部传感器22相比分辨率较低、数据容量较小。由此,在将远程指示用传感器的检测结果发送至远程指示服务器10时,能够减少数据容量,抑制延迟的发生。
地图数据库24是记录地图信息的数据库。地图数据库24例如在搭载于自动驾驶车辆2的HDD(Hard Disk Drive)等的记录装置内形成。地图信息中包括道路的位置信息、道路形状的信息(例如曲率信息)、交叉路口以及岔路口的位置信息等。地图信息中也可以包括与位置信息相关联的法定最高速度等交通管控信息。地图信息中也可以包括用于获取自动驾驶车辆2的位置信息的标靶信息。作为标靶,可以使用道路标志、路面标识、信号灯、电线杆等。地图数据库24也可以配置于能够与自动驾驶车辆2进行通信的服务器中。
通信部25是控制与自动驾驶车辆2的外部之间的无线通信的通信设备。通信部25经由网络N进行与远程指示装置1(远程指示服务器10)的各种信息的发送和接收。
致动器26是用于控制自动驾驶车辆2的仪器。致动器26至少包括驱动致动器、制动致动器以及转向致动器。驱动致动器根据来自自动驾驶ECU 20的控制信号而控制至发动机的空气供给量(节气门开度),控制自动驾驶车辆2的驱动力。另外,在自动驾驶车辆2为混合动力车辆的情况下,除了控制至发动机的空气供给量之外,还通过向作为动力源的电动机输入来自自动驾驶ECU 20的控制信号而控制该驱动力。在自动驾驶车辆2为电动汽车的情况下,通过向作为动力源的电动机输入来自自动驾驶ECU 20的控制信号而控制该驱动力。这些情况下的作为动力源的电动机构成了致动器26。
制动致动器根据来自自动驾驶ECU 20的控制信号而控制制动系统,控制向自动驾驶车辆2的车轮施加的制动力。作为制动系统,例如可以使用液压制动系统。转向致动器与来自自动驾驶ECU 20的控制信号对应地,对用于控制电动助力转向系统中的转向扭矩的辅助电动机的驱动进行控制。由此,转向致动器控制自动驾驶车辆2的转向扭矩。
接下来,对自动驾驶ECU 20的功能性构成的一个例子进行说明。自动驾驶ECU 20具有:车辆位置获取部31、外部环境识别部32、行驶状态识别部33、远程指示判定部34、发送信息限定部35、信息有无判定部36、通知建议部37、传感器视角变更部38、行驶状况信息发送部39、行进路线生成部40、以及自动驾驶控制部41。
车辆位置获取部31基于GPS接收部21的位置信息以及地图数据库24的地图信息,获取自动驾驶车辆2的位置信息(地图上的位置)。车辆位置获取部31可以利用地图数据库24的地图信息中包含的标靶信息以及外部传感器22的检测结果,通过SLAM(SimultaneousLocalization and Mapping,同步定位与地图构建)技术获取自动驾驶车辆2的位置信息。车辆位置获取部31可以根据车道分隔线与自动驾驶车辆2的位置关系识别自动驾驶车辆2相对于车道的横向位置(自动驾驶车辆2在车道宽度方向上的位置),并将其包含于位置信息中。车辆位置获取部31也可以通过其他公知的方法获取自动驾驶车辆2的位置信息。
外部环境识别部32基于外部传感器22的检测结果,识别自动驾驶车辆2的外部环境。外部环境包括周边的物体相对于自动驾驶车辆2的相对位置。外部环境也可以包括周边的物体相对于自动驾驶车辆2的相对速度以及移动方向。外部环境也可以包括其他车辆、行人、自行车等物体的种类。物体的种类可以通过模式匹配等公知的方法来识别。外部环境也可以包括自动驾驶车辆2的周边的分隔线识别(白线识别)的结果。外部环境也可以包括信号灯亮灯状态的识别结果。外部环境识别部32例如能够基于外部传感器22的照相机的图像,识别自动驾驶车辆2的前方的信号灯亮灯状态(是可通行的亮灯状态,还是禁止通行的亮灯状态等)。
行驶状态识别部33基于内部传感器23的检测结果,识别自动驾驶车辆2的行驶状态。行驶状态包括自动驾驶车辆2的车速、自动驾驶车辆2的加速度、自动驾驶车辆2的偏航角速度。具体地,行驶状态识别部33基于车速传感器的车速信息识别自动驾驶车辆2的车速。行驶状态识别部33基于加速度传感器的车速信息识别自动驾驶车辆2的加速度。行驶状态识别部33基于偏航角速度传感器的偏航角速度信息识别自动驾驶车辆2的朝向。
远程指示判定部34判定自动驾驶车辆2是否应当向远程指令者R(远程指示装置1)请求远程指示。远程指示判定部34基于车辆位置获取部31所获取的自动驾驶车辆2的位置信息以及地图数据库24的地图信息、外部环境识别部32所识别的外部环境、以及后述的行进路线生成部40所生成的行进路线中的至少一个,判定是否应当请求远程指示。
远程指示判定部34例如在自动驾驶车辆2处于远程指示目标状况的情况下,判定为应当请求远程指示。远程指示目标状况是作为自动驾驶车辆应当向远程指示装置1请求远程指示的状况而预先设定的状况。
远程指示目标状况例如可以包括以下状况中的至少一种状况:自动驾驶车辆2在交叉路口右转或左转的状况,进入安装有信号灯或没有信号灯的交叉路口的状况,进入环岛的状况,通过人行横道的状况,前方存在停止车辆或障碍物的状况,为了避让施工区间而变更车道的状况,寻求判断是否对前方障碍物启动偏移避让的状况,已停止的自动驾驶车辆启动的状况,自动驾驶车辆在乘车地点或目的地停车的状况。另外,在车辆靠右行驶的国家或地区的情况下,可以替代在交叉路口右转的状况而设为在交叉路口左转的状况。
例如在自动驾驶车辆2处于进入交叉路口的状况或在交叉路口右转的状况的情况下,远程指示判定部34判定为应当请求远程指示。远程指示判定部34可以在自动驾驶车辆2的前方存在应当偏移避让的障碍物的情况下,判定为应当请求远程指示。
远程指示判定部34例如能够根据自动驾驶车辆2的位置信息、地图信息以及目标线路,识别自动驾驶车辆2处于在交叉路口右转的状况,自动驾驶车辆2处于进入安装有信号灯的交叉路口的状况,或自动驾驶车辆2处于开始变更车道的状况。
远程指示判定部34在判定为应当请求远程指示的情况下,向远程指示服务器10请求由远程指令者R进行的远程指示。远程指示的请求中包括例如自动驾驶车辆2的识别信息。另外,远程指示判定部34可以预先留出裕量来请求远程指示。远程指示判定部34可以在作为远程指示的目标的交叉路口等与自动驾驶车辆2之间的距离在一定距离以下的情况下,判定为应当请求远程指示。也可以不使用距离而使用至到达为止的剩余时间。
在由远程指示判定部34判定为需要请求远程指示的情况(处于远程指示目标状况的情况)下,发送信息限定部35设定向远程指示服务器10发送的、自动驾驶车辆2的行驶状况信息。另外,自动驾驶车辆2的行驶状况信息是在远程指令者R进行远程指示时使用的。后面将详细描述自动驾驶车辆2的行驶状况信息,行驶状况信息中包括外部传感器22的检测信息。在本实施方式中,发送信息限定部35在行驶状况信息所包含的外部传感器22的检测信息中,设定向远程指示服务器10发送的信息的范围。
具体地,发送信息限定部35基于自动驾驶车辆2的外部状况和自动驾驶车辆2的行进路线,设定由外部传感器22检测出的检测信息中向远程指示服务器10(远程指令者R)发送的信息的范围作为限定信息范围。
另外,自动驾驶车辆2的外部状况可以基于外部环境或地图信息而得到。发送信息限定部35使用基于外部传感器22的检测信息得到的外部环境(即外部环境识别部32所识别的外部环境)作为自动驾驶车辆2的外部环境。此外,发送信息限定部35所使用的地图信息是地图数据库24所存储的地图信息。发送信息限定部35可以使用由行进路线生成部40生成的行进路线作为行进路线。另外,这里的行进路线是生成与远程指示对应的行进路线之前的行进路线。
限定信息范围是与没有基于外部状况和行进路线设定信息范围的情况下发送到远程指示服务器10的、外部传感器22的检测信息相比进行了限定后的范围。如上所述,通过将所发送的检测信息的范围设定为限定信息范围,则与没有基于外部状况和行进路线设定信息范围的情况相比,所发送的检测信息的数据容量减少。
发送信息限定部35基于外部状况和行进路线,将远程指令者R进行远程指示时应当确认的区域包含在检测区域内的传感器的检测信息,设定为限定信息范围的信息。
(确定发送检测信息的传感器,从而设定限定信息范围)
以下,说明了从外部传感器22所具有的多个传感器中确定向远程指令者R发送检测信息的传感器,将由所确定的传感器检测出的检测信息设定为限定信息范围内的检测信息的方法。
首先,对使用了基于地图信息得到的外部状况进行的限定信息范围设定的例子进行说明。发送信息限定部35基于地图信息和行进路线,从外部传感器22所具有的多个传感器中确定向远程指示服务器10发送检测信息的传感器。然后,发送信息限定部35可以将由所确定的传感器检测出的检测信息设定为限定信息范围内的检测信息。
作为一个例子,如图3所示,对自动驾驶车辆2在交叉路口右转的情况进行说明。在该情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认在对向车道直行而来的车辆和横穿作为右转目标的道路的行人这两者均不存在。因此,发送信息限定部35基于地图信息、车辆位置获取部31所获取的自动驾驶车辆2的位置信息以及行进路线,判定自动驾驶车辆2处于在交叉路口右转的状况。然后,发送信息限定部35从外部传感器22所具有的多个传感器中,选择(确定)将前方作为检测区域的传感器以及将右前方(斜右前方)作为检测区域的传感器。
另外,在存在将前方和右前方两者作为检测区域的传感器的情况下,发送信息限定部35也可以选择该传感器。即,发送信息限定部35选择一个或多个将远程指令者R应当确认的区域包含于检测区域的传感器(对以下说明的传感器的选择也一样)。然后,发送信息限定部35可以将由所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。另外,在图3中,在自动驾驶车辆2的周边描绘的带有阴影线的区域表示外部传感器22所具有的各个传感器的检测区域(视角)(在其他图中也一样)。
如上所述,在上述例子中,发送信息限定部35将后方作为检测区域的传感器的检测信息等不包含于限定信息范围。即,发送信息限定部35基于根据地图信息得到的外部状况,将检测区域不包括远程指令者R应当确认的区域的传感器的检测信息不包含于限定信息范围。
另外,在这里,由于只要能够对在对向车道直行的车辆以及横穿作为右转目标的道路的行人进行检测即可,因此,发送信息限定部35可以将外部传感器22所具有的传感器的作为一个例子举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象(将检测信息作为包含于限定信息范围内的对象的传感器)。
接着,对使用了基于外部环境得到的外部状况进行的限定信息范围设定的例子进行说明。发送信息限定部35基于外部环境识别部32所识别的自动驾驶车辆2的外部环境、以及行进路线,从外部传感器22所具有的多个传感器中确定向远程指示服务器10发送检测信息的传感器。然后,发送信息限定部35可以将由所确定的传感器检测出的检测信息设定为限定信息范围内的检测信息。
作为一个例子,如图4(a)所示,对超越在自动驾驶车辆2的行驶车道上停车的停止车辆X1的情况进行说明。在该情况下,作为一个例子,远程指令者R在进行超越停止车辆X1的远程指示时,需要确认以下两者不存在:在自动驾驶车辆2的前方的对向车道直行而来的对向车辆(双向单车道的道路的情况下);想要从自动驾驶车辆2的后方超越自动驾驶车辆2以及停止车辆X1的车辆。因此,发送信息限定部35基于由外部环境识别部32检测出的停止车辆X1的信息(外部环境)、以及行进路线,识别自动驾驶车辆2为超越停止车辆X1的状况。然后,发送信息限定部35从外部传感器22所具有的多个传感器中,选择(确定)将前方作为检测区域的传感器以及将自动驾驶车辆2的后方作为检测区域的传感器。发送信息限定部35可以将由所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。
如上所述,发送信息限定部35基于根据外部环境得到的外部状况,将检测区域不包括远程指令者R应当确认的区域的传感器的检测信息不包含于限定信息范围。
另外,在这里,由于只要能够对自动驾驶车辆2的前方以及后方的车辆进行检测即可,因此,发送信息限定部35可以将作为一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。
另外,发送信息限定部35可以利用基于外部环境以及地图信息得到的外部状况,来进行限定信息范围的设定。具体地,作为一个例子,如图3所示,在自动驾驶车辆2在交叉路口右转的情况下,可以基于在自动驾驶车辆2的对向车道中是否存在等待右转的对向车辆X,来进行限定信息范围的设定。
例如,在存在等待右转的对向车辆X的情况下,位于对向车辆X内侧(从自动驾驶车辆2观察的内侧)的对向直行车道(对向车道的直行车道)由于被对向车辆X遮挡,因此很难被外部传感器22进行检测,对其他车辆等的识别性能下降。在这种情况下,自动驾驶车辆2优选基于远程指令者R进行的远程指示行驶。但是,在自动驾驶车辆2的前方的对向车道处不存在等待右转的对向车辆X的情况下,自动驾驶车辆2可以通过自动驾驶自动地进行右转。因此,作为一个例子,在交叉路口右转的情况下,当外部环境识别部32没有识别到在自动驾驶车辆2的前方等待右转的对向车辆X时,发送信息限定部35可以对于外部传感器22所具有的多个传感器中,将前方作为检测区域的传感器的检测信息不包含于限定信息范围内,仅将右前方作为检测区域的传感器的检测信息设定为限定信息范围内的检测信息。
同样地,在图3所示的情况下,在外部环境识别部32没有识别到要横穿作为右转目标的道路的行人的情况下,发送信息限定部35可以将右前方作为检测区域的传感器的检测信息不包含于限定信息范围内的检测信息。即,由于如果没有要横穿作为右转目标的道路的行人,则不需要远程指令者R确认行人,因此,发送信息限定部35可以将右前方作为检测区域的传感器的检测信息不包含于限定信息范围内的检测信息。
(从检测信息提取发送部分,设定限定信息范围)
以下,说明从由外部传感器22检测出的检测信息中提取向远程指令者R发送的部分,并将提取出的部分的检测信息设定为限定信息范围内的检测信息的方法。
首先,对使用了基于地图信息得到的外部状况进行的限定信息范围设定的例子进行说明。发送信息限定部35基于地图信息和行进路线,从由外部传感器22检测出的检测信息中提取向远程指示服务器10发送的部分。然后,发送信息限定部35可以将提取出的部分的检测信息设定为限定信息范围内的检测信息。在此,在检测信息中提取向远程指示服务器10发送的部分的内容是指,例如将检测信息的不必要的部分去除,仅保留必要的部分(发送部分)。作为一个例子,发送信息限定部35可以将外部传感器22具有的照相机的拍摄图像的一部分剪切,用作发送部分。
作为一个例子,如图5所示,对自动驾驶车辆2在设置有信号灯的交叉路口直行的情况进行说明。在该情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认信号灯的灯光信息(正在亮灯的信号的颜色信息)。因此,发送信息限定部35基于地图信息、车辆位置获取部31所获取的自动驾驶车辆2的位置信息、以及行进路线,判定自动驾驶车辆2处于在设置有信号灯的交叉路口直行的状况。然后,发送信息限定部35从外部传感器22所具有的多个传感器中,选择(确定)将信号灯包含于检测区域的传感器。此外,在这里,发送信息限定部35选择照相机作为传感器,以能够判断正在亮灯的信号的颜色。然后,发送信息限定部35可以在所选择的照相机的拍摄图像(检测信息)中提取包括信号灯的投射部S的部分(画素),将所提取的提取图像A设定为限定信息范围内的检测信息。另外,信号灯的投射部S的位置(距离路面的高度等)例如可以包含于地图信息中。
接着,对使用了基于外部环境得到的外部状况进行的限定信息范围设定的例子进行说明。发送信息限定部35基于被外部环境识别部32识别出的外部环境、以及行进路线,从由外部传感器22检测出的检测信息中提取向远程指示服务器10发送的部分。然后,发送信息限定部35可以将提取出的部分的检测信息设定为限定信息范围内的检测信息。
作为一个例子,如图4(a)所示,对超越在自动驾驶车辆2的行驶车道上停车的停止车辆X1的情况进行说明。此外,在这里,设为外部传感器22具备将自动驾驶车辆2的整个周边作为检测区域的传感器、或者将自动驾驶车辆2周边的前侧的180°的范围作为检测区域的传感器以及将后侧的180°作为检测区域的传感器。在该情况下,发送信息限定部35基于由外部环境识别部32检测出的停止车辆X1的信息(外部环境)、以及行进路线,判定自动驾驶车辆2处于超越停止车辆X1的状况。然后,发送信息限定部35可以从外部传感器22的检测信息中提取包括自动驾驶车辆2的前方区域的部分和包括后方区域的部分,将提取出的部分的检测信息设定为限定信息范围内的检测信息。在这里,发送信息限定部35不提取包括自动驾驶车辆2的左方以及右方区域的部分的检测信息作为限定信息范围内的检测信息。
另外,发送信息限定部35可以利用基于外部环境以及地图信息得到的外部状况,来进行限定信息范围的设定。具体地,作为一个例子,如图3所示,对自动驾驶车辆2在交叉路口右转的情况进行说明。在这里,设为外部传感器22具备将自动驾驶车辆2周边的前侧的180°范围作为检测区域的传感器。在该情况下,发送信息限定部35基于自动驾驶车辆2的对向车道是否存在等待右转的对向车辆X等车辆,从检测信息中提取向远程指令者发送的部分。
具体地,作为一个例子,在交叉路口右转的情况下,当外部环境识别部32在自动驾驶车辆2的前方没有识别到对向车辆X等车辆时,发送信息限定部35可以对于将自动驾驶车辆2的前方的180°作为检测区域的传感器的检测信息中,不提取自动驾驶车辆2的前方的部分(图3中的检测区域L1的部分),仅提取包括右前方的部分(图3中的检测区域L2的部分),将所提取的部分的检测信息设定为限定信息范围内的检测信息。
此外,在图3所示的情况下,在外部环境识别部32没有识别到要横穿作为右转目标的道路的行人的情况下,发送信息限定部35也可以将检测信息中的包括右前方的部分不包含于限定信息范围内的检测信息。另外,在不考虑是否存在对向车辆X等车辆以及横穿作为右转目标的道路的行人的情况下,发送信息限定部35可以从将自动驾驶车辆2的前方180°作为检测区域的传感器的检测信息中,提取包括自动驾驶车辆2的前方以及右前方的区域的部分,将所提取的部分的检测信息设定为限定信息范围内的检测信息。
信息有无判定部36对在发送信息限定部35所设定的限定信息范围内的检测信息中是否包括基于自动驾驶车辆2的外部状况而预先设定的必要信息进行判定。即,该必要信息是基于外部环境识别部32所识别的自动驾驶车辆2的外部环境或地图信息而预先设定的。
基于地图信息设定的必要信息例如可以是根据交叉路口等自动驾驶车辆2所行驶的地点而预先设定的信息。在该情况下的必要信息中例如可以包括远程指令者R应当确认的方向或地点(车道、道路等)、应当确认的对象物(信号灯、人行横道等)。此外,基于外部环境设定的必要信息例如可以根据由外部环境识别部32识别出的、远程指令者R应当确认的物体预先设定。该情况下的必要信息例如可以包括远程指令者R应当确认的、地图信息中没有包括的对象物(施工区间中的交通引导员或指示板等)。
作为基于地图信息预先设定的必要信息的一个例子,如图6(a)所示,对自动驾驶车辆2在没有设置信号灯的狭窄小巷的交叉路口直行的情况进行说明。在该情况下,远程指令者R在进行远程指示时,需要确认与自动驾驶车辆2所行驶的道路R1交叉的道路R2的状况(自动驾驶车辆2的左右的状况)。因此,作为这种状况下的必要信息,例如预先设定为与自动驾驶车辆2的行驶车道交叉的道路(道路R2)。
在图6(a)所示的例子中,由发送信息限定部35从外部传感器22所具有的多个传感器中,将检测自动驾驶车辆2的右方的传感器的检测信息和检测左方的传感器的检测信息设定为限定信息范围内的检测信息。信息有无判定部36基于地图信息、车辆位置获取部31所获取的自动驾驶车辆2的位置信息、以及行进路线,判定外部传感器22检测出的检测信息中是否包括道路R2的状况。在图6(a)所示的例子中,在自动驾驶车辆2所行驶的道路R1的两侧设置有墙W1和W2。检测自动驾驶车辆2的右方的传感器的检测区域被墙W1遮挡,检测左方的传感器的检测区域被墙W2遮挡。由此,无法通过检测右方的传感器以及检测左方的传感器来检测道路R2的状况。因此,信息有无判定部36判定为在限定信息范围内的检测信息中没有包含必要信息。
作为基于外部环境预先设定的必要信息的一个例子,如图7所示,对在自动驾驶车辆2的前方存在施工区间K、交通引导员P在施工区间K的前侧进行交通引导的情况进行说明。在该情况下,远程指令者R在进行远程指示时必要确认交通引导员P的引导动作。因此,作为这种状况下的必要信息,例如预先设定交通引导员P。此外,作为这种状况下的必要信息,例如可以预先设定设置在施工区间K的周围的指示牌。
在图7所示的例子中,假设通过外部环境识别部32来识别交通引导员P。在该情况下,信息有无判定部36判定在由发送信息限定部35设定的限定信息范围内的检测信息中是否包含交通引导员P。
在由信息有无判定部36判定为必要信息没有包含于限定信息范围内的检测信息中的情况下,通知建议部37通知远程指令者R。或者,通知建议部37向远程指令者R建议变更自动驾驶车辆2的位置姿态或变更外部传感器22的检测区域。通知建议部37可以在进行该通知以及建议时,将该内容发送到远程指示服务器10,经由远程指示装置1的指令者接口3进行通知以及建议。
另外,这里的变更自动驾驶车辆2的位置姿态例如是变更自动驾驶车辆2的位置或变更位置以及朝向。具体地,变更自动驾驶车辆2的位置姿态例如可以是使自动驾驶车辆2从该位置前进,或者使自动驾驶车辆2一边从该位置前进一边向右方或左方转向。随着自动驾驶车辆2的位置姿态的变更,外部传感器22的检测区域发生变化。
此外,外部传感器22的检测区域的变更例如可以包括变更外部传感器22所具有的传感器的安装位置姿态。变更传感器的安装位置姿态例如包括以下中的至少任一项:变更外部传感器22具有的传感器的安装角度(传感器的朝向);以及以传感器的检测方向为轴使传感器旋转。换言之,安装位置姿态的变更包括变更传感器的偏转角、俯仰角以及倾斜角中的至少任一个。此外,安装位置姿态的变更可以包括使传感器的位置平移(使传感器在水平方向以及垂直方向的至少一个方向上滑动)。
此外,外部传感器22的检测区域的变更例如可以是变更在外部传感器22的检测区域中的提取的范围。换言之,外部传感器22的检测区域的变更例如可以是变更从检测信息中提取的相关部分。
传感器视角变更部38进行外部传感器22的检测区域的变更。在本实施方式中,在从远程指令者R进行了变更外部传感器22的检测区域的变更指示的情况下,传感器视角变更部38基于检测区域的变更指示,变更外部传感器22的检测区域。在这里,传感器视角变更部38可以将每一次检测区域的变更指示中的变化量(检测区域的变化量)固定。在该情况下,远程指令者R进行多次检测区域的变更指示,直到期望区域包含于检测区域为止。由此,即使变更指示发生延迟或中断等,也能够在抑制外部传感器22的检测区域处于非预期状态的同时,使外部传感器22的检测区域适当地变化。
另外,在自动驾驶车辆2具备远程指令者用的远程指示用传感器的情况下,传感器视角变更部38可以变更远程指示用传感器的检测区域。
在通过远程指示判定部34判定为应当请求远程指示的情况下,行驶状况信息发送部39将自动驾驶车辆2的行驶状况信息发送至远程指示服务器10。自动驾驶车辆2的行驶状况信息中包括用于远程指令者R识别自动驾驶车辆2的状况的信息。另外,如上所述,行驶状况信息中包含的外部传感器22的检测信息的范围被发送信息限定部35设定于限定信息范围。
具体地,自动驾驶车辆2的行驶状况信息中包括自动驾驶车辆2的车载传感器的检测信息和/或根据车载传感器的检测信息生成的信息(例如自动驾驶车辆2的俯视图像)。车载传感器的检测信息中包括外部传感器22的检测信息。
例如,外部传感器22的检测信息中可以包括由照相机拍摄到的、自动驾驶车辆2的前方的照相机图像。外部传感器22的检测信息中可以包括包含自动驾驶车辆2的侧方以及后方的自动驾驶车辆2周边的照相机图像。此外,外部传感器22的检测信息中可以包括雷达传感器检测出的物体信息。外部传感器22的检测信息中可以包括物体的种类的识别结果。行驶状况信息中可以包括外部环境识别部32基于外部传感器22的检测信息识别出的自动驾驶车辆2的外部环境的信息。
此外,车载传感器的检测信息中可以包括内部传感器23的检测信息。内部传感器23的检测信息中可以包括车速传感器检测出的自动驾驶车辆2的车速的信息。内部传感器23的检测信息中可以包括偏航角速度传感器检测出的自动驾驶车辆2的偏航角速度的信息。内部传感器23的检测信息中可以包括自动驾驶车辆2的转向角的信息。行驶状况信息中可以包括行驶状态识别部33基于内部传感器23的检测信息识别出的自动驾驶车辆2的行驶状态的信息。
此外,自动驾驶车辆2的行驶状况信息中也可以包括自动驾驶车辆2的位置信息。自动驾驶车辆2的行驶状况信息中可以包括与乘客有关的信息(乘客的有无、乘客的人数)。自动驾驶车辆2的行驶状况信息中可以包括与远程指令者R可选择的远程指示对应的行进路线的信息。行进路线的描述在后面进行。
行进路线生成部40生成用于自动驾驶车辆2的自动驾驶的行进路线(trajectory)。行进路线生成部40基于预先设定的目标线路、地图信息、自动驾驶车辆2的位置信息、自动驾驶车辆2的外部环境、以及自动驾驶车辆2的行驶状态,生成自动驾驶的行进路线。行进路线相当于自动驾驶的行驶计划。
行进路线中包括车辆通过自动驾驶行驶的路径(path)和自动驾驶中的车速计划。路径是在目标线路上自动驾驶中的车辆行驶的预定轨迹。路径可以设为例如与目标线路上的位置对应的自动驾驶车辆2的转向角变化的数据(转向角计划)。目标线路上的位置是指例如在目标线路的行进方向上每隔规定间隔(例如1m)设定的设定纵向位置。转向角计划是在各个设定纵向位置处关联的目标转向角的数据。
目标线路是基于例如目的地、地图信息、以及自动驾驶车辆2的位置信息设定的。目标线路可以进一步考虑拥堵等交通信息来设定。目标线路可以由公知的导航系统设定。目的地可以由自动驾驶车辆2的乘客设定,也可以是自动驾驶ECU 20或导航系统自动建议。
行进路线生成部40基于例如目标线路、地图信息、自动驾驶车辆2的外部环境、以及自动驾驶车辆2的行驶状态,生成自动驾驶车辆2行驶的路径。行进路线生成部40以使得例如自动驾驶车辆2经过目标线路中包含的车道的中央(车道宽度方向的中央)的方式生成路径。
车速计划例如是各个设定纵向位置处关联的目标车速的数据。另外,设定纵向位置也可以并非以距离为基准而是以自动驾驶车辆2的行驶时间为基准设定。设定纵向位置可以设定为例如车辆1秒后的到达位置、车辆2秒后的到达位置。在该情况下,车速计划可以表现为与行驶时间对应的数据。
行进路线生成部40基于例如路径和地图信息中包含的法定最高速度等交通管控信息,生成车速计划。也可以使用针对地图上的位置或区间而预先设定的速度来代替法定最高速度。行进路线生成部40根据路径以及车速计划生成自动驾驶的行进路线。另外,行进路线生成部40中的行进路线的生成方法不限于上述内容,可以采用与自动驾驶有关的公知方法。行进路线的内容也同样如此。
在通过远程指示判定部34向远程指示服务器10请求了远程指示的情况下,或者在自动驾驶车辆2靠近作为远程指示的对象的交叉路口等的情况下,行进路线生成部40预先生成与远程指示对应的行进路线。根据自动驾驶车辆2的状况,预先决定远程指示的内容。例如在交叉路口右转时的远程指示的内容中包括“行进(右转开始)”的远程指示以及“停止(等待判断)”的远程指示。在交叉路口右转时的远程指示的内容中可以包括不进行右转而是直行的远程指示(路线变更的远程指示),也可以包括紧急疏散的远程指示。
行进路线生成部40在例如自动驾驶车辆2在交叉路口右转的状况下,以与右转开始的远程指示对应的方式生成自动驾驶车辆2在交叉路口右转的行进路线。行进路线生成部40也可以在接收到远程指示之前的期间,根据外部环境的变化而更新行进路线。此外,在存在从交叉路口右转切换为交叉路口直行的远程指示的情况下,行进路线生成部40可以预先生成在交叉路口直行的行进路线。
在存在紧急疏散的远程指示的情况下,行进路线生成部40可以预先生成用于紧急疏散的行进路线。用于紧急疏散的行进路线是以使自动驾驶车辆2向地图上预先设定的其中一个疏散空间停车的方式生成的。行进路线生成部40例如基于外部环境识别各个疏散空间上是否存在障碍物,以在空闲的疏散空间停车的方式生成用于紧急疏散的行进路线。另外,行进路线生成部40也可以无需必须预先生成行进路线,而是在接收到远程指示后生成与远程指示对应的行进路线。
自动驾驶控制部41执行自动驾驶车辆2的自动驾驶。自动驾驶控制部41基于例如自动驾驶车辆2的外部环境、自动驾驶车辆2的行驶状态、以及行进路线生成部40生成的行进路线,执行自动驾驶车辆2的自动驾驶。自动驾驶控制部41通过向致动器26发送控制信号,而进行自动驾驶车辆2的自动驾驶。
在通过行驶状况信息发送部39向远程指示服务器10请求了远程指示的情况下,自动驾驶控制部41等待接收来自远程指示服务器10的远程指示。在自动驾驶车辆2停车之后再请求了远程指示的情况下,自动驾驶控制部41在接收到远程指示之前维持停车状态。
在具有驾驶证的乘客乘坐的情况下,自动驾驶控制部41可以在即使经过预先设定的等待时间也没有接收到远程指示时,请求该乘客进行判断或手动驾驶。自动驾驶控制部41在即使经过等待时间也没有接收到远程指示、且无法由乘客进行判断或手动驾驶的情况(没有乘客乘坐的情况等)下,可以自动进行紧急疏散。
此外,在行驶状况信息发送部39为了请求远程指示而将行驶状况信息发送到远程指示服务器10之后,由远程指令者R进行了自动驾驶车辆2的位置姿态的变更指示的情况下,自动驾驶控制部41基于位置姿态的变更指示,变更自动驾驶车辆2的位置姿态。在这里,自动驾驶控制部41可以将每一次变更自动驾驶车辆2的位置姿态的变更指示中的变化量(自动驾驶车辆2的姿态(朝向、位置)的变化量)固定。在该情况下,远程指令者R进行多次变更自动驾驶车辆2的位置姿态的变更指示,直到期望区域包含于检测区域为止。由此,即使变更指示发生延迟或中断等,也能够在抑制自动驾驶车辆2的位置姿态处于非预期状态的同时,使自动驾驶车辆2的位置姿态适当地变化。另外,在进行了变更自动驾驶车辆2的位置姿态的变更指示等之后,行驶状况信息发送部39将变更后的行驶状况信息发送至远程指示服务器10。
(远程指示装置的构成)
以下,参照附图,对本实施方式所涉及的远程指示装置1的构成进行说明。如图1所示,远程指示装置1具有远程指示服务器10和指令者接口3。
首先,对远程指示服务器10的硬件构成进行说明。图8是示出远程指示服务器10的硬件构成的一个例子的框图。如图8所示,远程指示服务器10构成为具备处理器10a、存储部10b、通信部10c以及用户接口10d的通用计算机。该情况下的用户是指远程指示服务器10的用户(管理员等)。
处理器10a通过使各种操作系统动作而控制远程指示服务器10。处理器10a是包括控制装置、运算装置、寄存器等的CPU等运算器。处理器10a集中控制存储部10b、通信部10c以及用户接口10d。存储部10b构成为包括存储器和储存器中的至少一个。存储器是ROM、RAM等存储介质。储存器是HDD等存储介质。
通信部10c是用于进行经由网络N的通信的通信仪器。通信部10c可以使用网络设备、网络控制器、网卡等。用户接口10d是面向管理员等用户的、远程指示服务器10的输入输出部。用户接口10d包括显示器、扬声器等输出设备、以及触摸面板等输入设备。另外,远程指示服务器10不一定必须设置在设施中,可以搭载于车辆等移动体。
图9是示出远程指示装置1的构成的一个例子的框图。如图9所示,指令者接口3是面向远程指令者R的、远程指示装置1的输入输出部。指令者接口3具有输出部3a以及指示输入部3b。
输出部3a是向远程指令者R输出用于自动驾驶车辆2的远程指示的信息的仪器。输出部3a包括输出图像的显示器和输出声音的扬声器。
作为一个例子,显示器中显示了自动驾驶车辆2的照相机拍摄到的、自动驾驶车辆2的前方的图像(前方的景色的图像)。显示器可以具有多个显示画面,可以显示自动驾驶车辆2的侧方和/或后方的图像。作为显示器只要是能够向远程指令者R提供视觉信息的构成即可,没有特别限定。显示器可以是以覆盖远程指令者R的眼睛的方式佩戴的可穿戴设备。
扬声器例如是佩戴在远程指令者R的头部的头戴式扬声器。扬声器例如通过声音将自动驾驶车辆2的状况(例如交叉路口右转时等状况)传达给远程指令者R。扬声器不一定必须是头戴式,也可以是固定式。
输出部3a可以通过振动向远程指令者R提供信息。输出部3a可以具有例如设置于远程指令者R的座椅的振动致动器。输出部3a可以通过振动使远程指令者R注意其他车辆在接近自动驾驶车辆2等。输出部3a也可以在座椅的左右分别具有振动致动器,使与其他车辆的接近方向等对应的位置的振动致动器振动。另外,输出部3a可以具有佩戴在远程指令者R的身体上的可穿戴式振动致动器。输出部3a可以通过使佩戴在身体的各个位置的振动致动器与其他车辆的接近方向等对应地振动,从而对远程指令者R进行信息提供。
指示输入部3b是由远程指令者R输入远程指示的仪器。在此,图10是示出指示输入部3b的一个例子的图。如图10所示的指示输入部3b采用闸门式杆结构。图10中示出了杆La、监视开始按钮Lb以及十字槽Lc。
杆La是用于使远程指令者R操作的杆。杆La例如具有上端的握持部和从握持部朝向十字槽(十字闸门)Lc延伸的轴部。杆La的握持部的侧面设有监视开始按钮Lb。监视开始按钮Lb的位置没有特别限定,可以是握持部的左侧面,也可以是右侧面。监视开始按钮Lb可以设置在与十字槽Lc相同的面上。
监视开始按钮Lb是在远程指令者R开始监视自动驾驶车辆2的状况时按下的按钮。远程指示装置1可以根据监视开始按钮Lb被按下而识别远程指令者R已经开始监视。监视开始按钮Lb还用作杆La的锁定解除按钮。即,杆La仅在监视开始按钮Lb被按下的期间或监视开始按钮Lb被按压后的一定时间的期间内解除锁定,从而变得可移动。另外,监视开始按钮Lb并非必须设置。
十字槽Lc是这样一种槽:杆La的轴部进入其中,通过远程指令者R的操作而杆La进行移动。图10所示的指示输入部3b通过沿十字槽Lc而杆La的位置被切换,从而输入远程指示。如图10所示,作为一个例子,可以假设十字槽Lc的上方是输入“行进”的指示、下方是输入“停止”的指示、右方是输入“车道变更”的指示、左方是输入“取消”的指示。
远程指令者R例如通过一边按下监视开始按钮Lb一边使杆La向上方移动,从而向自动驾驶车辆2输入“行进”的远程指示。远程指令者R例如通过一边按下监视开始按钮Lb一边使杆La向下方移动,从而向自动驾驶车辆2输入“停止”的远程指示。在远程指令者R想要取消前一个远程指示的情况下,通过一边按下监视开始按钮Lb一边使杆La向左方移动,从而输入“取消”的指示。
另外,十字槽Lc中的“行进”等显示可以是可变更的数字显示。“行进”、“车道变更”等显示可以根据自动驾驶车辆2的远程指示状况而变更。例如,“车道变更”可以根据状况变成显示“超车”。在该情况下,通过使杆La向右移动,可以向自动驾驶车辆2进行超车的远程指示。
另外,远程指示的“停止”也可以是“等待判断”。在“停止”的情况下,自动驾驶车辆2无论位置如何都会停止,但是在“等待判断”的情况下,会持续自动驾驶至在必须进行远程指示的位置(例如信号灯的前侧的临时停止线)为止。指示输入部3b也可以能够分别区分输入“停止”和“等待判断”。在存在监视开始按钮Lb的情况下,远程指令者R可以通过持续按下监视开始按钮Lb而作为“等待判断”的指示。
此外,也可以不采用十字槽,而是采用能够选择行进以及停止(或等待)这两个远程指示输入的直形槽,也可以采用车辆的变速杆等所采用的阶梯状槽。另外,可以另行设置用于紧急疏散的按钮。紧急疏散可以是能够通过杆La的操作来选择的远程指示之一。
另外,指示输入部3b可以采用各种各样的输入方式。指示输入部3b可以采用按钮、触摸面板,也可以采用拨动开关、摇臂开关等各种开关。指示输入部3b可以采用键盘,也可以采用语音输入装置。为了防止误操作,在指示输入部3b中也可以安装按钮盖。为了防止误操作,在指示输入部3b中可以同时使用按钮和开关,也可以同时使用按钮和手柄,也可以同时使用踏板和杆。在指示输入部3b中,可以通过将杆的操作、按钮的操作、触摸面板的操作、踏板的操作、语音输入中的两个以上进行组合而输入远程指示。
此外,在触摸面板等虚拟按钮的情况下,通过不固定按钮的显示位置,可以抑制远程指令者R没有充分掌握自动驾驶车辆2的状况而反射性地操作的情况。可以通过语音和/或图像表示来通知远程指令者R输入的远程指示的内容(行进、停止等)。图像显示可以通过文本显示、或颜色的变化来通知远程指令者R。
指示输入部3b可以采用激活(Enable)按钮。该情况下的激活按钮是如果未处于所设定的按压量的范围内则不发送信号的按钮,在较小的按压量或过大的按压量的情况下,不进行信号的发送。指示输入部3b也可以采用两段开关,两段开关在轻按压状态和按压至底部的状态下变化所发送的信息。指示输入部3b也可以采用通过旋转圆盘状的旋转盘来选择远程指示内容的拨盘(例如旋转开关)。拨盘设有多个刻度,各个刻度分别对应“行进”、“停止”等远程指示内容。
接下来,对远程指示服务器10的功能性构成进行说明。如图9所示,远程指示服务器10具有远程指示请求接收部11、信息提供部12、以及远程指示发送部13。
在自动驾驶车辆2向远程指示服务器10请求了远程指示的情况下,远程指示请求接收部11接收远程指示的请求。此外,通过来自自动驾驶车辆2的发送,远程指示请求接收部11获取请求了远程指示的自动驾驶车辆2的行驶状况信息。另外,远程指示请求接收部11也可以获取没有请求远程指示的自动驾驶车辆2的行驶状况信息。
信息提供部12向远程指令者R提供各种信息。在远程指示请求接收部11接收到远程指示的请求的情况下,信息提供部12经由指令者接口3向负责的远程指令者R请求远程指示的输入。
此外,信息提供部12基于远程指示请求接收部11获取到的自动驾驶车辆2的行驶状况信息,向远程指令者R提供自动驾驶车辆2的信息。信息提供部12例如将自动驾驶车辆2的前方的图像显示在指令者接口3的输出部3a的显示器上。信息提供部12可以显示通过视角变换从自动驾驶车辆2的驾驶座附近看到的图像。信息提供部12也可以显示自动驾驶车辆2的侧方以及后方的图像。信息提供部12可以显示将拍摄自动驾驶车辆2的周边得到的图像合成后的全景图像,也可以显示以通过图像合成以及视角变换而俯视自动驾驶车辆2的方式生成的俯视图像。信息提供部12也可以进行图像中的物体的突出显示(例如用框包围显示其他车辆等)。在图像中包括信号灯的情况下,信息提供部12可以将信号灯的亮灯状态的识别结果显示在显示器上。
信息提供部12可以将各种各样的信息显示在显示器上,而不限于自动驾驶车辆2的照相机拍摄到的照相机图像。信息提供部12可以用文本或图标等显示请求了远程指示的自动驾驶车辆2的状况(在交叉路口右转时、偏移避让障碍物等状况)。信息提供部12可以将远程指令者R能够选择的远程指示的种类(行进、等待等)显示在显示器上。信息提供部12可以将与对应于远程指示的自动驾驶车辆2的行进路线有关的信息(对应于行进的远程指示的自动驾驶车辆2行进的轨迹等)显示在显示器上。
信息提供部12可以显示自动驾驶车辆2的雷达传感器检测到的物体的信息。物体的信息在俯视图像中可以显示为图标。在识别出物体的种类的情况下,可以进行与物体的种类相应的图标显示。信息提供部12可以将基于自动驾驶车辆2的位置信息获取到的自动驾驶车辆2的周边的地图信息显示在显示器上。地图信息可以是远程指示服务器10具有的,也可以从其他服务器等获取。自动驾驶车辆2的周边的地图信息也可以从自动驾驶车辆2获取。
信息提供部12可以将基于自动驾驶车辆2的位置信息获取到的道路交通信息显示在显示器上。道路交通信息包括拥堵发生区间、施工区间信息、事故位置信息等中的至少一个。道路交通信息例如可以从交通信息中心获取。
信息提供部12可以将自动驾驶车辆2的车速信息显示在显示器上,也可以将自动驾驶车辆2的转向角信息显示在显示器上。信息提供部12可以将自动驾驶车辆2所在的道路的坡度信息显示在显示器上。在自动驾驶车辆2具有车内照相机的情况下,信息提供部12可以根据必要显示自动驾驶车辆2的车内的图像。信息提供部12可以将自动驾驶车辆2中的乘客的乘坐状况和/或行李的装载状况显示在显示器上。
信息提供部12通过指令者接口3的输出部3a的扬声器将声音信息提供给远程指令者R。信息提供部12可以将自动驾驶车辆2的状况(在交叉路口右转时、偏移避让障碍物时等)以语音从扬声器输出。信息提供部12可以将自动驾驶车辆2的周边的其他车辆等的接近以声音或语音从扬声器输出。信息提供部12可以将自动驾驶车辆2的周边的声音(噪音)原样地从扬声器输出。信息提供部12可以根据必要从扬声器输出车内的乘客的语音。另外,由扬声器进行的信息提供不是必需的。
另外,在输出部3a具有振动致动器的情况下,信息提供部12可以通过振动为远程指令者R进行信息提供。在该情况下,信息提供部12例如可以通过使与应当注意的方向(其他车辆接近自动驾驶车辆2的方向、行人存在的方向等)对应的位置的振动致动器振动,而为远程指令者R进行信息提供(引起注意)。
另外,如上所述,行驶状况信息中包括的外部传感器22的检测信息的范围基于外部状况而被设定于限定信息范围内。在该情况下,信息提供部12基于包含设定于限定信息范围内的检测信息的行驶状况信息,为远程指令者R提供自动驾驶车辆2的信息。如上所述,即使将外部传感器22的检测信息的范围设定于限定信息范围内,也包含有将基于外部状况应当确认的区域包含于检测区域的检测信息。因此,远程指令者R可以基于包含有设定于限定信息范围内的检测信息的行驶状况信息,进行远程指示的判定。
此外,信息提供部12基于来自通知建议部37的指示,利用指令者接口3的输出部3a,将必要信息没有包含于限定信息范围内的检测信息的内容向远程指令者R通知。或者,信息提供部12基于来自通知建议部37的指示,利用指令者接口3的输出部3a,将自动驾驶车辆2的位置姿态的变更或外部传感器22的检测区域的变更的建议内容向远程指令者R提示。
在远程指令者R将远程指示输入了指令者接口3的指示输入部3b的情况下,远程指示发送部13将输入的远程指示向自动驾驶车辆2发送。在将远程指令者R输入的远程指示发送到自动驾驶车辆2的情况下,信息提供部12可以继续将自动驾驶车辆2的信息传达给远程指令者R,也可以切换为请求远程指示的另一自动驾驶车辆2的信息。
此外,在远程指令者R向指令者接口3的输出部3a进行了变更自动驾驶车辆2的位置姿态的变更指示或变更外部传感器22的检测区域的变更指示的情况下,远程指示发送部13将输入的变更指示向自动驾驶车辆2发送。另外,远程指令者R可以基于信息提供部12利用输出部3a进行的、必要信息没有包含于限定信息范围内的检测信息中的内容的通知,进行变更自动驾驶车辆2的位置姿态的变更指示等。或者,远程指令者R可以基于信息提供部12利用输出部3a进行的、自动驾驶车辆2的位置姿态的变更等建议内容,进行变更自动驾驶车辆2的位置姿态的变更指示等。此外,在远程指令者R基于自动驾驶车辆2的行驶状况信息确认提供来的信息、判断为没有包括必要信息等的情况下,可以进行变更自动驾驶车辆2的位置姿态的变更指示等。
(远程指示目标状况发生时的处理流程)
接下来,利用图11的流程图,对远程指示目标状况发生时自动驾驶车辆2的自动驾驶ECU 20进行的处理流程进行说明。另外,图11所示的处理是在远程指示判定部34中判定为处于请求远程指示的远程指示目标状况的情况下开始的。
如图11所示,在由远程指示判定部34判定为处于远程指示目标状况的情况下,自动驾驶ECU 20执行远程指示目标状况发生时的动作(S101)。在本实施方式中,作为一个例子,当远程指示目标状况发生时,自动驾驶ECU 20使自动驾驶车辆2在与远程指示目标状况相应的位置处停止。例如,在远程指示目标状况是进入交叉路口的状况的情况下,自动驾驶ECU 20可以使自动驾驶车辆2在设置于交叉路口的停止线的位置处停止,在远程指示目标状况是检测出了前方的停止车辆的状况的情况下,自动驾驶ECU 20可以使自动驾驶车辆2在与停止车辆相距预先设定的距离的前侧的位置处停止。
接着,远程指示判定部34将远程指示请求向远程指令者R(远程指示服务器10)发送(S102)。发送信息限定部35将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。然后,行驶状况信息发送部39将包括信息范围被设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送(S103)。
如果自动驾驶车辆2进行远程指示请求,则远程指令者R基于从行驶状况信息发送部39发送来的自动驾驶车辆2的行驶状况,对自动驾驶车辆2进行远程指示。自动驾驶控制部41如果接收到来自远程指令者R的远程指示(S104),则执行与远程指示对应的动作(例如,开始进入交叉路口、开始在交叉路口右转等)(S105)。
以下,说明在各种远程指示目标状况发生的情况下,由自动驾驶车辆2以及远程指令者R进行的各个步骤的具体例。
(在交叉路口的右转)
作为一个例子,如图3所示,对自动驾驶车辆2在交叉路口右转的情况进行说明。
(步骤A1)
远程指示判定部34基于自动驾驶车辆2的位置信息、地图数据库24的地图信息、以及行进路线生成部40生成的行进路线,识别自动驾驶车辆2到达了要右转的交叉路口(处于远程指示目标状况)这一情况。
(步骤A2)
自动驾驶ECU 20使自动驾驶车辆2在预先设定的停止位置处停止。这里的停止位置可以是路面上描绘的停止线的位置,也可以是停止线以外的预先设定的位置。
(步骤A3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤A4)
如上所述,在交叉路口右转的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认在对向车道直行而来的车辆和横穿作为右转目标的道路的行人两者均不存在。因此,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的前方包含于检测区域的传感器和将右前方包含于检测区域的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
另外,在这里,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
在此,在步骤A4中,发送信息限定部35可以进一步基于外部环境识别部32的识别结果,来进行限定信息范围的设定。具体地,例如,可以基于是否存在等待右转的对向车辆X,来进行限定信息范围的设定。在这里,如上所述,作为一个例子,当外部环境识别部32在自动驾驶车辆2的前方没有识别到等待右转的对向车辆X时,发送信息限定部35对于外部传感器22所具有的多个传感器中,将前方作为检测区域的传感器的检测信息不包含于限定信息范围内,而是仅将右前方作为检测区域的传感器的检测信息设定为限定信息范围内的检测信息。此外,在图3所示的情况下,在外部环境识别部32没有识别到要横穿作为右转目标的道路的行人的情况下,发送信息限定部35可以将右前方作为检测区域的传感器的检测信息不包括在限定信息范围内的检测信息内。
(步骤A5)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤A6)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,开始右转。
(在交叉路口的右转:存在视角变更)
作为一个例子,如图12(a)所示,说明在自动驾驶车辆2在交叉路口右转的情况下,进一步进行自动驾驶车辆2的位置姿态的变更或外部传感器22的检测区域的变更的情况。
(步骤B1)
远程指示判定部34与上述步骤A1同样地,识别自动驾驶车辆2到达了要右转的交叉路口(处于远程指示目标状况)这一情况。
(步骤B2)
自动驾驶ECU 20与上述步骤A2同样地,使自动驾驶车辆2在预先设定的停止位置处停止。
(步骤B3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤B4)
发送信息限定部35与上述A4同样地,将向远程指令者R发送的信息的范围设定于限定信息范围内.然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。另外,在这里,发送信息限定部35仅将自动驾驶车辆2的前方包含于检测区域中的传感器的检测信息设定为限定信息范围内的检测信息。但是,与上述步骤A4同样地,也可以为了能够确认横穿作为右转目标的道路的行人而将右前方包含于检测区域中的传感器的检测信息也包括于限定信息范围内的检测信息内。
(步骤B5)
远程指令者R对从自动驾驶车辆2接收到的行驶状况信息中包括的限定信息范围内的检测信息进行确认,在没有包含必要信息等期望信息的情况下,对自动驾驶车辆2进行变更自动驾驶车辆2的位置姿态的变更指示以及变更外部传感器22的检测区域的变更指示的至少其中一个指示。
另外,在经由远程指示装置1的指令者接口3通知了必要信息没有包含于限定信息范围内的检测信息中的内容的情况下,远程指令者R可以基于该通知进行变更自动驾驶车辆2的位置姿态的变更指示等。此外,在经由远程指示装置1的指令者接口3建议进行自动驾驶车辆2的位置姿态的变更或外部传感器22的检测区域的变更的情况下,远程指令者R可以基于该建议进行变更自动驾驶车辆2的位置姿态的变更指示等。另外,在没有通知以及建议的情况下,远程指令者R可以基于行驶状况信息的确认结果进行变更自动驾驶车辆2的位置姿态的变更指示等。这里的必要信息例如可以是位于存在于自动驾驶车辆2的前方的等待右转的对向车辆X的内侧的对向直行车道,也可以是作为右转目标的人行横道。
(步骤B6)
如果由远程指令者R进行变更自动驾驶车辆2的位置姿态的变更指示,则自动驾驶控制部41基于位置姿态的变更指示,变更自动驾驶车辆2的位置姿态。在这里,例如,如图12(b)所示,远程指令者R使自动驾驶车辆2一边从其位置前进一边向右方向转向后停止,使得位于存在于自动驾驶车辆2的前方的等待右转的对向车辆X的内侧的对向直行车道(必要信息)能够不被对向车辆X遮挡而被检测到。
此外,如果由远程指令者R进行变更外部传感器22的检测区域的变更指示,则传感器视角变更部38基于检测区域的变更指示,变更外部传感器22的检测区域。在这里,例如,如图12(c)所示,远程指令者R使将自动驾驶车辆2的前方作为检测区域的传感器的位置向自动驾驶车辆2的右侧面的位置平移,使得位于存在于自动驾驶车辆2的前方的等待右转的对向车辆X的内侧的对向直行车道(必要信息)尽可能不被对向车辆X遮挡而被检测到。由此,利用检测自动驾驶车辆2的前方的传感器,容易地对与对向车辆X所在的对向右转车道相邻的对向直行车道进行检测。
(步骤B7)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤B8)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,开始右转。
(在交叉路口的左转)
作为一个例子,如图13所示,对自动驾驶车辆2在交叉路口左转的情况进行说明。
(步骤C1)
远程指示判定部34与上述步骤A1同样地,识别自动驾驶车辆2到达了要左转的交叉路口(处于远程指示目标状况)这一情况。
(步骤C2)
自动驾驶ECU 20与上述步骤A2同样地,使自动驾驶车辆2在预先设定的停止位置处停止。
(步骤C3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤C4)
在交叉路口左转的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认横穿作为左转目标的道路的行人和左转时可能牵连的从后方接近的摩托车等两者均不存在。因此,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的左方包含于检测区域中的传感器和将后方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
另外,在这里,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
在此,在步骤C4中,发送信息限定部35可以进一步基于外部环境识别部32的识别结果,来进行限定信息范围的设定。具体地,例如,可以基于是否存在自动驾驶车辆2的后续车辆(自动驾驶车辆2的后方的其他车辆),来进行限定信息范围的设定。在这里,例如,在自动驾驶车辆2的后方存在后续车辆的情况下,当由外部传感器22检测自动驾驶车辆2的后方时,会产生被后续车辆遮挡的区域。由此,从后方经过自动驾驶车辆2的左侧的摩托车以及自行车等的识别精度降低。在这种情况下,自动驾驶车辆2优选基于远程指令者R进行的远程指示行驶。然而,在自动驾驶车辆2的后方不存在后续车辆的情况下,自动驾驶车辆2可以通过自动驾驶自动地确认后方,并进行左转。因此,作为一个例子,当由外部环境识别部32没有识别到在自动驾驶车辆2的后方存在后续车辆时,发送信息限定部35对于外部传感器22所具有的多个传感器,可以将后方作为检测区域的传感器的检测信息不包含于限定信息范围内,而是仅将左方作为检测区域的传感器的检测信息设定为限定信息范围内的检测信息。
同样地,在图13所示的情况下,在外部环境识别部32没有识别到要横穿作为左转目标的道路的行人的情况下,发送信息限定部35可以将左方作为检测区域的传感器的检测信息不包含于限定信息范围内的检测信息内。
另外,在图13所示的例子中,作为一个例子,发送信息限定部35将左方以及后方的检测信息设定为限定信息范围内的检测信息,但是也可以进一步将把自动驾驶车辆2的前方作为检测区域的传感器的检测信息包含于限定信息范围内的检测信息。
(步骤C5)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤C6)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,开始左转。
(在交叉路口的直行:存在信号灯)
作为一个例子,如图5所示,对自动驾驶车辆2在设置有信号灯的交叉路口直行的情况进行说明。
(步骤D1)
远程指示判定部34与上述步骤A1同样地,识别自动驾驶车辆2到达了要直行的交叉路口(处于远程指示目标状况)这一情况。
(步骤D2)
自动驾驶ECU 20与上述步骤A2同样地,使自动驾驶车辆2在预先设定的停止位置处停止。
(步骤D3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤D4)
如上所述,在自动驾驶车辆2在设置有信号灯的交叉路口直行的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认信号灯的亮灯信息。因此,作为一个例子,发送信息限定部35从外部传感器22所具有的多个传感器中,选择将信号灯包含于检测区域内的传感器。在这里,如上所述,发送信息限定部35选择照相机作为传感器。然后,发送信息限定部35在所选择的照相机的拍摄图像(检测信息)中提取包括信号灯的投射部S的部分,将所提取的提取图像A设定为限定信息范围内的检测信息。
即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
另外,发送信息限定部35也可以将以自动驾驶车辆2的前方作为检测区域的照相机、雷达、以及光学雷达中仅选择能够识别颜色的照相机的拍摄图像(检测信息),以代替在照相机的拍摄图像中仅提取包括投射部S的部分。然后,发送信息限定部35可以将所选择的照相机的拍摄图像设定为限定信息范围内的检测信息。
(步骤D5)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤D6)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,开始直行。
另外,在设置有信号灯的交叉路口直行的情况下请求由远程指令者R进行远程指示的情况,可以仅在预先设定的情况下进行。该远程指示的请求可以仅在例如由于逆光或雾等使得信号灯的颜色难以被外部环境识别部32识别出来的情况下进行。
(在交叉路口的直行:没有信号灯)
作为一个例子,如图6(a)所示,对自动驾驶车辆2在没有设置信号灯的狭窄小巷的交叉路口直行的情况进行说明。
(步骤E1)
远程指示判定部34与上述步骤A1同样地,识别自动驾驶车辆2到达了要直行的交叉路口(处于远程指示目标状况)这一情况。
(步骤E2)
自动驾驶ECU 20与上述步骤A2同样地,使自动驾驶车辆2在预先设定的停止位置处停止。
(步骤E3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤E4)
如上所述,在自动驾驶车辆2在狭窄小巷的交叉路口直行的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认与自动驾驶车辆2所行驶的道路R1交叉的道路R2的状况(自动驾驶车辆2的左右的状况)。因此,作为一个例子,发送信息限定部35从外部传感器22具有的多个传感器中选择检测自动驾驶车辆2的右方的传感器和检测左方的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
另外,在这里,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
(步骤E5)
远程指令者R对从自动驾驶车辆2接收到的行驶状况信息中包含于限定信息范围内的检测信息进行确认,在没有包含必要信息等期望信息的情况下,对自动驾驶车辆2进行变更自动驾驶车辆2的位置姿态的变更指示。在图6(a)所示的例子中,由于检测右方的传感器的检测区域和检测左方的传感器的检测区域被墙W1以及W2遮挡,因此远程指令者R进行变更自动驾驶车辆2的位置姿态的变更指示。但是,远程指令者R也可以进行变更外部传感器22的检测区域的变更指示。
另外,在经由远程指示装置1的指令者接口3通知了必要信息没有包含于限定信息范围内的检测信息中的内容的情况下,远程指令者R可以基于该通知进行变更自动驾驶车辆2的位置姿态的变更指示。此外,在经由远程指示装置1的指令者接口3建议进行自动驾驶车辆2的位置姿态的变更的情况下,远程指令者R可以基于该建议进行变更自动驾驶车辆2的位置姿态的变更指示。另外,在没有通知以及建议的情况下,远程指令者R可以基于行驶状况信息的确认结果进行变更自动驾驶车辆2的位置姿态的变更指示。
(步骤E6)
如果由远程指令者R进行变更自动驾驶车辆2的位置姿态的变更指示,则自动驾驶控制部41基于位置姿态的变更指示,变更自动驾驶车辆2的位置姿态。在这里,例如,如图6(b)所示,远程指令者R使自动驾驶车辆2从该位置前进后停止,使得检测右方的传感器的检测区域以及检测左方的传感器的检测区域不被墙W1以及W2遮挡(使被遮挡的部分变少)。
(步骤E7)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤E8)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,开始直行。
(进入环岛)
作为一个例子,如图14所示,对自动驾驶车辆2进入环岛的情况进行说明。另外,在这里,车辆在环岛处逆时针行驶。
(步骤F1)
远程指示判定部34与上述步骤A1同样地,识别自动驾驶车辆2到达了环岛(处于远程指示目标状况)这一情况。
(步骤F2)
自动驾驶ECU 20与上述步骤A2同样地,使自动驾驶车辆2在预先设定的停止位置处停止。
(步骤F3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤F4)
在进入环岛的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认在环岛内绕圈的其他车辆。因此,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的右前方包含于检测区域的传感器,仅将由所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
另外,在这里,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
(步骤F5)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤F6)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,一边左转一边开始进入环岛。
(超越停止车辆)
作为一个例子,如图4(a)所示,对超越停在自动驾驶车辆2的行驶车道上的停止车辆X1(障碍物)的情况进行说明。
(步骤G1)
外部环境识别部32识别自动驾驶车辆2的行驶车道上的停止车辆X1。远程指示判定部34基于外部环境识别部32识别出的停止车辆X1、以及行进路线生成部40生成的行进路线,识别自动驾驶车辆2处于超越停止车辆X1的状况(远程指示目标状况)这一情况。
(步骤G2)
自动驾驶ECU 20使自动驾驶车辆2在预先设定的停止位置处停止。在这里,例如,自动驾驶ECU 20使自动驾驶车辆2在与停止车辆X1相距预先设定的距离的前侧的位置处停止。
(步骤G3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤G4)
如上所述,在远程指示装置1超越停止车辆X1的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认需要确认以下两者不存在:在对向车道直行而来的对向车辆(双向单车道的道路的情况下);想要从自动驾驶车辆2的后方超越自动驾驶车辆2以及停止车辆的车辆。因此,作为一个例子,发送信息限定部35从外部传感器22具有的多个传感器中选择检测自动驾驶车辆2的前方的传感器和检测后方的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于外部环境(被识别出的停止车辆X1)和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
另外,在这里,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
在此,在步骤G4中,发送信息限定部35可以进一步基于外部环境识别部32的识别结果,来进行限定信息范围的设定。具体地,例如,可以基于是否存在自动驾驶车辆2的后续车辆(自动驾驶车辆2的后方的其他车辆),来进行限定信息范围的设定。在这里,例如,在自动驾驶车辆2的后方存在后续车辆的情况下,当由外部传感器22检测自动驾驶车辆2的后方时,会产生被后续车辆遮挡的区域。由此,想要从后方经过自动驾驶车辆2的右侧而超越自动驾驶车辆2的后方并行直行车辆(在自动驾驶车辆2的行驶车道的右侧的相邻车道上行驶的车辆)的识别精度降低。在这种情况下,自动驾驶车辆2优选基于远程指令者R进行的远程指示行驶。然而,在自动驾驶车辆2的后方不存在后续车辆的情况下,自动驾驶车辆2可以通过自动驾驶自动地确认后方并行直行车辆,并超越停止车辆X1。因此,作为一个例子,当由外部环境识别部32没有识别到在自动驾驶车辆2的后方存在后续车辆时,发送信息限定部35对于外部传感器22所具有的多个传感器,可以将后方作为检测区域的传感器的检测信息不包含于限定信息范围内,而是仅将前方作为检测区域的传感器的检测信息设定为限定信息范围内的检测信息。
(步骤G5)
远程指令者R对从自动驾驶车辆2接收到的行驶状况信息中包含的限定信息范围内的检测信息进行确认,在没有包含必要信息等期望信息的情况下,对自动驾驶车辆2进行变更自动驾驶车辆2的位置姿态的变更指示以及变更外部传感器22的检测区域的变更指示的至少其中一个指示。
在这里,作为一个例子,远程指令者R在进行远程指示时,需要确认自动驾驶车辆2的前方的对向车道(自动驾驶车辆2的行驶车道的右侧的相邻车道)的状况。因此,作为这种状况下的必要信息,预先设定为对向车道。在图4(a)所示的例子中,例如,在检测自动驾驶车辆2的前方的传感器的检测区域的大部分被停止车辆X1遮挡、难以确认对向车道等情况下,远程指令者R可以进行变更自动驾驶车辆2的位置姿态的变更指示等。
另外,在经由远程指示装置1的指令者接口3通知了必要信息没有包含于限定信息范围内的检测信息中的内容的情况下,远程指令者R可以基于该通知进行变更自动驾驶车辆2的位置姿态的变更指示等。此外,在经由远程指示装置1的指令者接口3建议进行自动驾驶车辆2的位置姿态的变更或外部传感器22的检测区域的变更的情况下,远程指令者R可以基于该建议进行变更自动驾驶车辆2的位置姿态的变更指示等。另外,在没有通知以及建议的情况下,远程指令者R可以基于行驶状况信息的确认结果进行变更自动驾驶车辆2的位置姿态的变更指示等。
(步骤G6)
如果由远程指令者R进行变更自动驾驶车辆2的位置姿态的变更指示,则自动驾驶控制部41基于位置姿态的变更指示,变更自动驾驶车辆2的位置姿态。在这里,例如,如图4(b)所示,远程指令者R使自动驾驶车辆2一边从该位置前进一边向右方向转向后停止,使得在对向车道直行而来的车辆能够不被停止车辆X1遮挡而被检测到。
此外,如果由远程指令者R进行变更外部传感器22的检测区域的变更指示,则传感器视角变更部38基于检测区域的变更指示,变更外部传感器22的检测区域。在这里,例如,如图4(c)所示,远程指令者R使将自动驾驶车辆2的前方作为检测区域的传感器的位置向自动驾驶车辆2的右侧面的位置平移,使得在对向车道直行而来的车辆能够不被停止车辆X1遮挡而被检测到。由此,利用检测自动驾驶车辆2的前方的传感器,容易地对在对向车道直行而来的车辆进行检测。
(步骤G7)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤G8)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,开始超越停止车辆X1。
(为了避让施工区间的车道变更)
作为一个例子,如图7所示,说明了在自动驾驶车辆2的行驶车道上存在施工区间K,为了避让施工区间K而向对向车道进行车道变更的情况。
(步骤H1)
外部环境识别部32基于自动驾驶车辆2的位置信息、地图数据库24的地图信息、以及行进路线生成部40生成的行进路线,识别到达了施工区间K的开始地点(处于远程指示目标状况)这一情况。在这里,作为一个例子,假设在地图信息中包括施工区间K的位置信息。
(步骤H2)
自动驾驶ECU 20使自动驾驶车辆2在预先设定的停止位置处停止。在这里,例如,自动驾驶ECU 20使自动驾驶车辆2在施工区间K的前侧设置的停止线的位置处停止。
(步骤H3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤H4)
在为了避让施工区间K而向对向车道进行车道变更的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认不存在在对向车道上直行而来的车辆。因此,作为一个例子,发送信息限定部35从外部传感器22具有的多个传感器中选择检测自动驾驶车辆2的前方的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息(施工区间K)和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
另外,在这里,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
在此,在由外部环境识别部32识别到交通引导员P的情况下,在步骤H4中,发送信息限定部35从外部传感器22具有的多个传感器中选择将交通引导员P包含于检测区域中的传感器。在这里,发送信息限定部35选择照相机作为传感器。然后,发送信息限定部35可以在所选择的照相机的拍摄图像(检测信息)中提取包括交通引导员P的部分,将所提取的提取图像A1设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于外部环境(被识别出的交通引导员P)和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
(步骤H5)
远程指令者R对从自动驾驶车辆2接收到的行驶状况信息中包含的限定信息范围内的检测信息进行确认,在没有包含必要信息等期望信息的情况下,对自动驾驶车辆2进行变更自动驾驶车辆2的位置姿态的变更指示以及变更外部传感器22的检测区域的变更指示的至少其中一个指示。
在这里,作为一个例子,远程指令者R在进行远程指示时,需要确认自动驾驶车辆2的前方的对向车道(自动驾驶车辆2的行驶车道的右侧的相邻车道)的状况。因此,作为这种状况下的必要信息,预先设定为对向车道。在图7所示的例子中,例如,在利用检测自动驾驶车辆2的前方的传感器无法检测对向车道(无法检测的部分较多)等情况下,远程指令者R可以进行变更自动驾驶车辆2的位置姿态的变更指示等。在照相机的拍摄图像中没有包括交通引导员P或只包括一部分等情况下,远程指令者R可以进行变更自动驾驶车辆2的位置姿态的变更指示等。
另外,在经由远程指示装置1的指令者接口3通知了必要信息没有包含于限定信息范围内的检测信息中的内容的情况下,远程指令者R可以基于该通知进行变更自动驾驶车辆2的位置姿态的变更指示等。此外,在经由远程指示装置1的指令者接口3建议进行自动驾驶车辆2的位置姿态的变更或外部传感器22的检测区域的变更的情况下,远程指令者R可以基于该建议进行变更自动驾驶车辆2的位置姿态的变更指示等。另外,在没有通知以及建议的情况下,远程指令者R可以基于行驶状况信息的确认结果进行变更自动驾驶车辆2的位置姿态的变更指示等。
(步骤H6)
如果由远程指令者R进行变更自动驾驶车辆2的位置姿态的变更指示,则自动驾驶控制部41基于位置姿态的变更指示,变更自动驾驶车辆2的位置姿态。此外,如果由远程指令者R进行变更外部传感器22的检测区域的变更指示,则传感器视角变更部38基于检测区域的变更指示,变更外部传感器22的检测区域。
(步骤H7)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。在从自动驾驶车辆2发送来交通引导员P的拍摄图像的情况下,远程指令者R可以对交通引导员P的引导动作进行确认,从而进行远程指示。
(步骤H8)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,开始进行向对向车道的车道变更,以避让施工区间K。
(存在掉落物的情况)
作为一个例子,如图15所示,对在自动驾驶车辆2的前方的行驶车道上存在掉落物D(障碍物)的情况进行说明。
(步骤J1)
外部环境识别部32识别自动驾驶车辆2的行驶车道上的掉落物D。远程指示判定部34基于外部环境识别部32识别出的掉落物D、以及行进路线生成部40生成的行进路线,识别自动驾驶车辆2处于压过掉落物D或通过变更车道来避让的状况(远程指示目标状况)这一情况。
(步骤J2)
自动驾驶ECU 20使自动驾驶车辆2在预先设定的停止位置处停止。在这里,例如,自动驾驶ECU 20使自动驾驶车辆2在与掉落物D相距预先设定的距离的前侧的位置处。
(步骤J3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤J4)
在存在掉落物D的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认自动驾驶车辆2是否能够压过掉落物D等。因此,作为一个例子,发送信息限定部35从外部传感器22具有的多个传感器中选择检测自动驾驶车辆2的前方的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于外部环境(被识别出的掉落物D)和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
在这里,由于掉落物D是静止物,因此,发送信息限定部35可以将作为外部传感器22具有的传感器的一个例子而举出的照相机或光学雷达作为选择对象的传感器。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
另外,发送信息限定部35可以在所选择的照相机的拍摄图像中提取包括掉落物D的部分,将所提取的提取图像A2设定为限定信息范围内的检测信息。
(步骤J5)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。在这里,例如,远程指令者R判断自动驾驶车辆2是否能够压过掉落物D。然后,远程指令者R例如可以进行压过掉落物D的远程指示、或通过进行车道变更来避让掉落物D的远程指示。
(步骤J6)
自动驾驶控制部41在接受到来自远程指令者R的远程指示之后,压过掉落物D或开始变更车道。
(通过人行横道的情况)
作为一个例子,如图16所示,对自动驾驶车辆2通过人行横道的情况进行说明。
(步骤K1)
远程指示判定部34与上述步骤A1同样地,识别自动驾驶车辆2到达了人行横道(远程指示目标状况)这一情况。
(步骤K2)
自动驾驶ECU 20与上述步骤A2同样地,使自动驾驶车辆2在预先设定的停止位置处停止。
(步骤K3)
远程指示判定部34请求由远程指令者R进行的远程指示。
(步骤K4)
在通过人行横道的情况下,作为一个例子,远程指令者R在进行远程指示时,需要确认不存在从道路两侧进入人行横道的行人等(经过人行横道的行人等)。因此,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的右前方包含于检测区域中的传感器和将右前方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。
另外,在这里,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。然后,行驶状况信息发送部39将包含信息范围设定于限定信息范围内的检测信息的、自动驾驶车辆2的行驶状况信息,向远程指示服务器10发送。
(步骤K5)
远程指令者R对从自动驾驶车辆2发送来的行驶状况信息进行确认,并进行远程指示。
(步骤K6)
自动驾驶控制部41接收到来自远程指令者R的远程指示之后,使自动驾驶车辆2启动,开始通过人行横道。
以下,说明了在发生上述远程指示目标状况以外的远程指示目标状况的情况下,发送信息限定部35所进行的限定信息范围的设定的具体例。
例如,对自动驾驶车辆2向左侧的相邻车道进行车道变更的情况进行说明。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择将自动驾驶车辆2的前方包含于检测区域中的传感器和将左后方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。例如,对自动驾驶车辆2向右侧的相邻车道进行车道变更的情况进行说明。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择将自动驾驶车辆2的前方包含于检测区域中的传感器和将右后方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。
即,在自动驾驶车辆2向左侧或右侧进行车道变更的情况下,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,在自动驾驶车辆2向左侧或右侧进行车道变更的情况下,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。
例如,对自动驾驶车辆2进入铁路交叉道的情况进行说明。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择将自动驾驶车辆2的前方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。在该情况下,例如,即使在由外部环境识别部32难以识别在经过铁路交叉道之前是否存在自动驾驶车辆2能够进入的空间的情况下,也能够基于由远程指令者R进行的远程操作而行驶。
例如,对在没有设置信号灯的人行横道处停止后启动的情况进行说明。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择将自动驾驶车辆2的前方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。在该情况下,远程指令者R可以基于从自动驾驶车辆2发送来的行驶状况信息确认人行横道上不存在行人,从而进行远程指示(启动的指示)。
例如,对在与自动驾驶车辆2的行驶车道正交的车道前侧暂时停止后重新启动的情况进行说明。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择将自动驾驶车辆2的前侧方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。在该情况下,远程指令者R可以对与自动驾驶车辆2的行驶车道正交的车道的移动障碍物进行确认,从而进行远程指示(启动的指示)。
例如,对通过高速公路的收费站的情况进行说明。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择将自动驾驶车辆2的前方包含于检测区域中的传感器,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将外部传感器22具有的照相机作为选择对象,使得远程指令者R能够确认ETC门的显示。
例如,对在高速公路上车道改道的情况进行说明。在自动驾驶车辆2向左侧改道的情况下,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的左前方包含于检测区域中的传感器和将后方包含于检测区域中的传感器。此外,在自动驾驶车辆2向右侧改道的情况下,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的右前方包含于检测区域中的传感器和将后方包含于检测区域中的传感器。发送信息限定部35可以仅将由所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。
例如,对在高速公路上自动驾驶车辆2并入相邻车道的情况进行说明。在自动驾驶车辆2并入左侧的相邻车道的情况下,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的左前方包含于检测区域中的传感器和将左后方包含于检测区域中的传感器。此外,在自动驾驶车辆2并入右侧的相邻车道的情况下,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的右前方包含于检测区域中的传感器和将右后方包含于检测区域中的传感器。发送信息限定部35可以仅将由所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。
例如,对在高速公路上存在向自动驾驶车辆2的行驶车道并入的车道的情况进行说明。在存在向自动驾驶车辆2的行驶车道从左侧并入的车道的情况下,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的左前方包含于检测区域中的传感器和将左后方包含于检测区域中的传感器。此外,在存在向自动驾驶车辆2的行驶车道从右侧与并入的车道的情况下,作为一个例子,发送信息限定部35从外部传感器22具有的传感器中选择将自动驾驶车辆2的右前方包含于检测区域中的传感器和将右后方包含于检测区域中的传感器。发送信息限定部35可以仅将由所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。
例如,对抵达目的地并在设置于路面的停车位停车的情况进行说明。此外,在这里,如图17所示,在停车位Z上存在停止车辆X1(障碍物),自动驾驶车辆2处于无法自动地在停车位Z内停车的状况(远程指示目标状况),因此进行远程指示的请求。自动驾驶车辆2停在停车位Z的前侧,请求远程指示。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择将自动驾驶车辆2的前方包含于检测区域中的传感器,使得停车位Z被包含于检测区域中,仅将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。即,发送信息限定部35可以基于地图信息(停车位Z(目的地)的位置)和行进路线,将由外部传感器22检测出的检测信息中向远程指令者R发送的信息的范围设定于限定信息范围内。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达中的任一种类的传感器作为选择对象。此外,发送信息限定部35可以将外部传感器22具有的传感器中的照相机作为选择对象,以能够对路面设置的停车位Z进行确认。在这里,远程指令者R可以对从自动驾驶车辆2发送来的行驶状况信息进行确认,进行例如使自动驾驶车辆2在停车位Z内停车的远程指示、或例如在该位置放下乘客(视为抵达)的远程指示等。
例如,对抵达作为目的地的建筑物附近并从道路进入建筑物的情况进行说明。在该情况下,作为设定限定信息范围的方法,发送信息限定部35可以根据从道路进入建筑物的朝向,采用与在交叉路口左转的情况或右转的情况相同的方法。
例如,对自动驾驶车辆2抵达目的地且乘客上下车结束后启动的情况进行说明。此外,在这里,如图18所示,假设自动驾驶车辆2处于从在停车位Z内停止的状态启动的状况(远程指示目标状况)。例如,虽然在自动驾驶车辆2启动时需要识别自动驾驶车辆2的周边的状况,但是自动驾驶车辆2的周边的识别精度可能较低,自动驾驶车辆2可能难以自动启动。因此,自动驾驶车辆2可以在启动时请求远程指示。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择能够得到自动驾驶车辆2的整个周边的检测信息的传感器,将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。在这里,发送信息限定部35可以仅提取离自动驾驶车辆2较近范围(预先设定的范围内)的检测信息,将所提取的检测信息设定为限定信息范围内的检测信息。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达、声纳传感器中的任一种类的传感器作为选择对象。此外,发送信息限定部35可以将下述照相机系统作为选择对象:该照相机系统用于通过多台照相机拍摄自动驾驶车辆2的周边,通过将拍摄到的拍摄图像拼接起来,从而用一个图像来显示自动驾驶车辆2的整个周边。
例如,对抵达目的地后使乘客上下车的情况进行说明。例如,虽然当乘客相对于自动驾驶车辆2上下车时需要识别自动驾驶车辆2的车门前的状况,但是车门前的识别精度可能较低,自动驾驶车辆2可能难以自动地打开/关闭车门而使乘客上下车。因此,自动驾驶车辆2可以在使乘客上下车的状况(远程指示目标状况)的情况下请求远程指示。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择能够得到自动驾驶车辆2的车门前的检测信息的传感器,将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。在这里,发送信息限定部35可以仅提取离自动驾驶车辆2较近范围(预先设定的范围内)的检测信息,将所提取的检测信息设定为限定信息范围内的检测信息。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达、声纳传感器中的任一种类的传感器作为选择对象。
例如,对使自动驾驶车辆2从停止状态后退的情况进行说明。例如,虽然在使自动驾驶车辆2后退时需要识别自动驾驶车辆2的后方的状况,但是接近自动驾驶车辆2的后方的区域的识别精度可能较低,自动驾驶车辆2可能难以自动后退。因此,自动驾驶车辆2可以在进行后退的状况(远程指示目标状况)的情况下请求远程指示。在该情况下,作为一个例子,发送信息限定部35可以从外部传感器22具有的传感器中选择能够得到自动驾驶车辆2的后方的检测信息的传感器,将所选择的传感器检测出的检测信息设定为限定信息范围内的检测信息。在这里,发送信息限定部35可以仅提取离自动驾驶车辆2较近范围(预先设定的范围内)的检测信息,将所提取的检测信息设定为限定信息范围内的检测信息。另外,发送信息限定部35可以将作为外部传感器22所具有的传感器的一个例子而举出的照相机、雷达、光学雷达、声纳传感器中的任一种类的传感器作为选择对象。
如上所述,在车辆远程指示系统100中,通过利用发送信息限定部35将向远程指令者R发送的信息的范围设定于限定信息范围内,从而能够仅将由外部传感器22检测出的检测信息中与自动驾驶车辆2的外部状况和行进路线相应的检测信息(必要的检测信息)发送给远程指令者R。由此,车辆远程指示系统100能够适当地执行远程指令者R进行的远程指示,同时减少从自动驾驶车辆2发送给远程指令者R(远程指示服务器10)的检测信息的数据容量。
发送信息限定部35能够基于外部状况和行进路线,从外部传感器22所具有的多个传感器中确定向远程指令者R发送检测信息的传感器,并将由所确定的传感器检测出的检测信息设定为限定信息范围内的检测信息。在该情况下,即使在具有多个传感器作为外部传感器22的情况下,车辆远程指示系统100也能够与外部状况相应地确定应当发送检测信息的传感器,并将所确定的传感器检测出的检测信息设定为限定信息范围内的检测信息,从而减少发送给远程指令者R的检测信息的数据容量。
发送信息限定部35能够基于外部状况和行进路线,从由外部传感器22检测出的检测信息中提取要向远程指令者R发送的部分,并将提取出的部分的检测信息设定为限定信息范围内的检测信息。在该情况下,车辆远程指示系统100能够从外部传感器22的检测信息中提取应当发送的部分,并将提取出的部分设定为限定信息范围内的检测信息,从而减少发送给远程指令者R的检测信息的数据容量。
在车辆远程指示系统100中,在必要信息没有包含于限定信息范围内的检测信息内的情况下,通知建议部37能够向远程指令者R进行通知,或者建议变更自动驾驶车辆2的位置姿态或变更外部传感器22的检测区域。在该情况下,车辆远程指示系统能够将必要信息没有包含在限定信息范围内这一情况通知给远程指令者,或者,能够向远程指令者建议必要信息没有包含在限定信息范围内而需要变更自动驾驶车辆的位置姿态或变更外部传感器的检测区域。由此,远程指令者R能够进行基于来自车辆远程指示系统100的通知或者建议的应对。
以上,说明了本发明的实施方式,但本发明并不限定于上述实施方式。例如,信息有无判定部36并不一定必须判定限定信息范围内是否存在必要信息、通知建议部37并不一定必须进行通知等。
另外,远程指示装置1可以搭载于车辆。在该情况下,远程指令者R也乘坐在车辆中。远程指示服务器10可以是由多台车辆的ECU构成的云服务器。
Claims (3)
1.一种车辆远程指示系统,其中,
远程指令者基于检测自动驾驶车辆的外部环境的外部传感器的传感器信息,进行与所述自动驾驶车辆的行驶有关的远程指示,
所述车辆远程指示系统具备发送信息限定部,所述发送信息限定部基于根据所述外部环境或地图信息得到的外部状况、以及所述自动驾驶车辆的行进路线,设定由所述外部传感器检测出的所述传感器信息之中向所述远程指令者发送的信息的范围作为限定信息范围,
所述发送信息限定部配置在所述自动驾驶车辆,
所述外部传感器具有检测所述外部环境的多个传感器,
所述发送信息限定部基于所述外部状况和所述行进路线,确定多个所述传感器中向所述远程指令者发送所述传感器信息的所述传感器,将由所确定的所述传感器检测出的所述传感器信息设定为所述限定信息范围内的所述传感器信息。
2.根据权利要求1所述的车辆远程指示系统,其中,
所述发送信息限定部基于所述外部状况和所述行进路线,从由所述外部传感器检测出的所述传感器信息中提取向所述远程指令者发送的部分,并将提取出的部分的所述传感器信息设定为所述限定信息范围内的所述传感器信息。
3.根据权利要求1或2所述的车辆远程指示系统,其中,
还具备:信息有无判定部,其判定与所述外部状况相应地预先设定的必要信息是否包含于所述限定信息范围内的所述传感器信息中;以及
通知建议部,在由所述信息有无判定部判定为所述必要信息没有包含于所述限定信息范围内的所述传感器信息中的情况下,该通知建议部向所述远程指令者进行通知,或者,向所述远程指令者建议变更所述自动驾驶车辆的位置姿态或变更所述外部传感器的检测区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019163066A JP7276023B2 (ja) | 2019-09-06 | 2019-09-06 | 車両遠隔指示システム、及び自動運転車両 |
JP2019-163066 | 2019-09-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112466140A CN112466140A (zh) | 2021-03-09 |
CN112466140B true CN112466140B (zh) | 2023-04-07 |
Family
ID=72266115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010903298.2A Active CN112466140B (zh) | 2019-09-06 | 2020-09-01 | 车辆远程指示系统 |
Country Status (4)
Country | Link |
---|---|
US (5) | US11703852B2 (zh) |
EP (2) | EP3789840B1 (zh) |
JP (5) | JP7276023B2 (zh) |
CN (1) | CN112466140B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020031812A1 (ja) * | 2018-08-09 | 2020-02-13 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、及び移動体 |
JP7182113B2 (ja) * | 2018-10-09 | 2022-12-02 | パナソニックIpマネジメント株式会社 | 車両および停止スイッチ装置 |
JP7276023B2 (ja) | 2019-09-06 | 2023-05-18 | トヨタ自動車株式会社 | 車両遠隔指示システム、及び自動運転車両 |
JP7268613B2 (ja) * | 2020-01-20 | 2023-05-08 | トヨタ自動車株式会社 | 運転支援装置 |
EP4116789A4 (en) * | 2020-03-03 | 2023-09-13 | Panasonic Intellectual Property Management Co., Ltd. | INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM |
US20230104858A1 (en) * | 2020-03-19 | 2023-04-06 | Nec Corporation | Image generation apparatus, image generation method, and non-transitory computer-readable medium |
US20220075369A1 (en) * | 2020-09-04 | 2022-03-10 | Micron Technology, Inc. | Machine learning with sensor information relevant to a location of a roadway |
US11767032B2 (en) | 2021-04-29 | 2023-09-26 | Tusimple, Inc. | Direct autonomous vehicle to autonomous vehicle communications |
US11767031B2 (en) * | 2021-04-29 | 2023-09-26 | Tusimple, Inc. | Oversight system to autonomous vehicle communications |
US20220348223A1 (en) * | 2021-04-29 | 2022-11-03 | Tusimple, Inc. | Autonomous vehicle to oversight system communications |
JP7501470B2 (ja) | 2021-08-19 | 2024-06-18 | トヨタ自動車株式会社 | 走行映像表示方法、走行映像表示システム |
JP2023158952A (ja) * | 2022-04-19 | 2023-10-31 | Boldly株式会社 | 運行管理装置、運行管理装置の制御方法、及び運行管理装置の制御プログラム |
WO2024018427A1 (en) * | 2022-07-20 | 2024-01-25 | Thales Canada Inc. | High integrity path extraction in rail using autonomy sensors |
US20240317250A1 (en) * | 2023-03-23 | 2024-09-26 | Torc Robotics, Inc. | Enhanced map display for autonomous vehicles and passengers |
CN116994445B (zh) * | 2023-09-26 | 2023-12-12 | 四川遂广遂西高速公路有限责任公司 | 一种多源融合车道人车安全警示方法及其警示系统 |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH113500A (ja) | 1997-06-10 | 1999-01-06 | Toyota Motor Corp | 車両用の案内画像表示装置 |
JP4661339B2 (ja) | 2005-05-11 | 2011-03-30 | マツダ株式会社 | 車両用移動物体検出装置 |
JP4453683B2 (ja) | 2006-06-16 | 2010-04-21 | トヨタ自動車株式会社 | 遠隔操作装置 |
JP4880401B2 (ja) | 2006-08-30 | 2012-02-22 | クラリオン株式会社 | 車載装置 |
JP2008299676A (ja) | 2007-05-31 | 2008-12-11 | Toyota Motor Corp | 死角情報要求/提供装置及びこれらを利用した車車間通信システム |
US8054201B2 (en) | 2008-03-19 | 2011-11-08 | Mazda Motor Corporation | Surroundings monitoring device for vehicle |
JP5473304B2 (ja) * | 2008-12-02 | 2014-04-16 | 三菱電機株式会社 | 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム |
DE102010040803A1 (de) | 2010-09-15 | 2012-03-15 | Continental Teves Ag & Co. Ohg | Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs |
US9963145B2 (en) | 2012-04-22 | 2018-05-08 | Emerging Automotive, Llc | Connected vehicle communication with processing alerts related to traffic lights and cloud systems |
US9760092B2 (en) | 2012-03-16 | 2017-09-12 | Waymo Llc | Actively modifying a field of view of an autonomous vehicle in view of constraints |
JP6152673B2 (ja) | 2013-03-21 | 2017-06-28 | トヨタ自動車株式会社 | 車線変更支援装置 |
US20150153184A1 (en) * | 2013-12-04 | 2015-06-04 | GM Global Technology Operations LLC | System and method for dynamically focusing vehicle sensors |
JP6112054B2 (ja) | 2014-01-31 | 2017-04-12 | 株式会社Jvcケンウッド | 電子機器、電子機器の制御方法及び電子機器の制御プログラム |
US9465388B1 (en) | 2014-03-03 | 2016-10-11 | Google Inc. | Remote assistance for an autonomous vehicle in low confidence situations |
US9384402B1 (en) * | 2014-04-10 | 2016-07-05 | Google Inc. | Image and video compression for remote vehicle assistance |
JP6361403B2 (ja) * | 2014-09-17 | 2018-07-25 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援システム、自動運転支援方法及びコンピュータプログラム |
JP6222137B2 (ja) | 2015-03-02 | 2017-11-01 | トヨタ自動車株式会社 | 車両制御装置 |
JP6650242B2 (ja) * | 2015-10-16 | 2020-02-19 | 日立オートモティブシステムズ株式会社 | 自動運転システム、自動運転制御方法、データecuおよび自動運転ecu |
EP4180893A1 (en) * | 2015-11-04 | 2023-05-17 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
US9612123B1 (en) | 2015-11-04 | 2017-04-04 | Zoox, Inc. | Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes |
US10607485B2 (en) | 2015-11-11 | 2020-03-31 | Sony Corporation | System and method for communicating a message to a vehicle |
US10308246B1 (en) | 2016-01-22 | 2019-06-04 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle signal control |
JP6418181B2 (ja) | 2016-03-04 | 2018-11-07 | トヨタ自動車株式会社 | 遠隔操作システム、車両及び遠隔操作装置 |
US10789840B2 (en) | 2016-05-09 | 2020-09-29 | Coban Technologies, Inc. | Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior |
US20180012197A1 (en) * | 2016-07-07 | 2018-01-11 | NextEv USA, Inc. | Battery exchange licensing program based on state of charge of battery pack |
KR101891599B1 (ko) * | 2016-09-30 | 2018-08-24 | 엘지전자 주식회사 | 자율 주행 차량의 제어방법과 서버 |
WO2018087879A1 (ja) * | 2016-11-11 | 2018-05-17 | 本田技研工業株式会社 | 遠隔操作システム、交通システム、および遠隔操作方法 |
US10338591B2 (en) * | 2016-11-22 | 2019-07-02 | Amazon Technologies, Inc. | Methods for autonomously navigating across uncontrolled and controlled intersections |
JP6720415B2 (ja) | 2016-12-06 | 2020-07-08 | ニッサン ノース アメリカ,インク | 自律走行車のための帯域幅制約画像処理 |
JP6986518B2 (ja) * | 2016-12-19 | 2021-12-22 | フォルシアクラリオン・エレクトロニクス株式会社 | 端末、及び端末の制御方法 |
JPWO2018155159A1 (ja) * | 2017-02-24 | 2019-12-19 | パナソニックIpマネジメント株式会社 | 遠隔映像出力システム、及び遠隔映像出力装置 |
JP6697686B2 (ja) | 2017-02-28 | 2020-05-27 | パナソニックIpマネジメント株式会社 | 管理装置と、管理装置の制御方法 |
JP2018144686A (ja) | 2017-03-07 | 2018-09-20 | オムロン株式会社 | 搭乗者支援装置、方法及びプログラム |
US10209718B2 (en) * | 2017-03-14 | 2019-02-19 | Starsky Robotics, Inc. | Vehicle sensor system and method of use |
JP6789863B2 (ja) | 2017-03-23 | 2020-11-25 | 株式会社日立製作所 | 移動体、移動体制御システム及び移動体制御方法 |
JP2018180771A (ja) | 2017-04-07 | 2018-11-15 | トヨタ自動車株式会社 | 遠隔操作装置 |
CN110709909B (zh) * | 2017-06-23 | 2021-12-28 | 日产自动车株式会社 | 泊车控制方法及泊车控制装置 |
JP7061914B2 (ja) * | 2017-08-24 | 2022-05-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 車両制御権設定方法、車両制御権設定装置、車両制御権設定プログラム及び車両制御方法 |
JP2019073190A (ja) | 2017-10-17 | 2019-05-16 | パナソニックIpマネジメント株式会社 | プログラムおよび駐車支援装置 |
US11079753B1 (en) * | 2018-01-07 | 2021-08-03 | Matthew Roy | Self-driving vehicle with remote user supervision and temporary override |
JP2019156298A (ja) | 2018-03-15 | 2019-09-19 | 株式会社デンソーテン | 車両遠隔操作装置及び車両遠隔操作方法 |
IL308640B1 (en) | 2018-03-18 | 2024-09-01 | Driveu Tech Ltd | Device, system and method for autonomous driving and remotely controlled vehicles |
JP7084749B2 (ja) * | 2018-03-19 | 2022-06-15 | 通則 竹元 | 蓋体着脱構造および収納容器 |
US10663977B2 (en) * | 2018-05-16 | 2020-05-26 | Direct Current Capital LLC | Method for dynamically querying a remote operator for assistance |
CN112313537A (zh) * | 2018-06-29 | 2021-02-02 | 索尼半导体解决方案公司 | 信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备 |
US11216007B2 (en) * | 2018-07-16 | 2022-01-04 | Phantom Auto Inc. | Normalization of intelligent transport system handling characteristics |
US11056005B2 (en) | 2018-10-24 | 2021-07-06 | Waymo Llc | Traffic light detection and lane state recognition for autonomous vehicles |
JP2020154568A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社日立製作所 | データ通信に基づいて意思決定を行うシステム |
US11112791B2 (en) * | 2019-05-02 | 2021-09-07 | Valeo Schalter Und Sensoren Gmbh | Selective compression of image data during teleoperation of a vehicle |
US11364932B2 (en) | 2019-06-25 | 2022-06-21 | Lg Electronics Inc. | Method for transmitting sensing information for remote driving in automated vehicle and highway system and apparatus therefor |
JP7276023B2 (ja) | 2019-09-06 | 2023-05-18 | トヨタ自動車株式会社 | 車両遠隔指示システム、及び自動運転車両 |
JP7310524B2 (ja) * | 2019-10-11 | 2023-07-19 | トヨタ自動車株式会社 | 遠隔自動運転車両、及び車両遠隔指示システム |
KR20210060690A (ko) * | 2019-11-18 | 2021-05-27 | 현대자동차주식회사 | 차량 및 그 후방 영상 제공 방법 |
US20230415764A1 (en) | 2022-06-22 | 2023-12-28 | Motional Ad Llc | Post drop-off passenger assistance |
-
2019
- 2019-09-06 JP JP2019163066A patent/JP7276023B2/ja active Active
-
2020
- 2020-08-26 EP EP20192843.9A patent/EP3789840B1/en active Active
- 2020-08-26 EP EP23178830.8A patent/EP4235334A3/en active Pending
- 2020-08-27 US US17/004,449 patent/US11703852B2/en active Active
- 2020-09-01 CN CN202010903298.2A patent/CN112466140B/zh active Active
-
2023
- 2023-04-27 JP JP2023073538A patent/JP2023101497A/ja active Pending
- 2023-04-27 JP JP2023073544A patent/JP2023101498A/ja active Pending
- 2023-04-27 JP JP2023073549A patent/JP7525003B2/ja active Active
- 2023-04-27 JP JP2023073532A patent/JP2023101496A/ja active Pending
- 2023-05-26 US US18/202,667 patent/US20230297102A1/en active Pending
- 2023-05-26 US US18/202,652 patent/US20230297101A1/en active Pending
- 2023-05-26 US US18/202,673 patent/US12066842B2/en active Active
- 2023-05-26 US US18/202,660 patent/US20230324902A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN112466140A (zh) | 2021-03-09 |
EP3789840A1 (en) | 2021-03-10 |
US20210072743A1 (en) | 2021-03-11 |
JP2023101498A (ja) | 2023-07-21 |
US20230297103A1 (en) | 2023-09-21 |
JP7525003B2 (ja) | 2024-07-30 |
US20230324902A1 (en) | 2023-10-12 |
US20230297101A1 (en) | 2023-09-21 |
EP3789840B1 (en) | 2023-07-26 |
US11703852B2 (en) | 2023-07-18 |
EP4235334A3 (en) | 2023-10-18 |
US12066842B2 (en) | 2024-08-20 |
EP4235334A2 (en) | 2023-08-30 |
JP2023101497A (ja) | 2023-07-21 |
JP2021043523A (ja) | 2021-03-18 |
US20230297102A1 (en) | 2023-09-21 |
JP7276023B2 (ja) | 2023-05-18 |
JP2023101496A (ja) | 2023-07-21 |
JP2023101499A (ja) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112466140B (zh) | 车辆远程指示系统 | |
US12078987B2 (en) | Vehicle remote instruction system | |
CN107415830B (zh) | 车辆控制系统、车辆控制方法和车辆控制程序 | |
US20210109515A1 (en) | Remote autonomous driving vehicle and vehicle remote instruction system | |
CN111830859B (zh) | 车辆远程指示系统 | |
CN112486160A (zh) | 车辆远程指示系统 | |
CN112349090A (zh) | 车辆远程指示系统以及远程指示装置 | |
JP7256668B2 (ja) | 制御装置、制御方法及びプログラム | |
JP7327344B2 (ja) | 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法 | |
JP7152339B2 (ja) | 走行制御装置、走行制御方法、およびプログラム | |
CN112309157A (zh) | 图像显示装置 | |
CN114194105B (zh) | 自动驾驶车用信息提示装置 | |
JP7201576B2 (ja) | 自動運転車用情報提示装置 | |
CN112937566B (zh) | 自动驾驶车辆用信息提示装置 | |
JP2021022033A (ja) | 車両遠隔指示システム | |
JP2021018636A (ja) | 車両遠隔指示システム | |
JP2020166605A (ja) | 制御装置、制御方法及びプログラム | |
CN115454037A (zh) | 车辆远程操作装置、车辆远程操作系统、车辆远程操作方法以及车辆远程操作程序 | |
CN115230732A (zh) | 远程功能选择装置 | |
CN113044028A (zh) | 自动驾驶车辆用信息提示装置 | |
JP2022174921A (ja) | 車両遠隔指示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |