CN116610049A - 远程辅助方法、远程辅助系统以及计算机可读取的记录介质 - Google Patents

远程辅助方法、远程辅助系统以及计算机可读取的记录介质 Download PDF

Info

Publication number
CN116610049A
CN116610049A CN202310125860.7A CN202310125860A CN116610049A CN 116610049 A CN116610049 A CN 116610049A CN 202310125860 A CN202310125860 A CN 202310125860A CN 116610049 A CN116610049 A CN 116610049A
Authority
CN
China
Prior art keywords
vehicle
remote
remote assistance
positional relationship
auxiliary content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310125860.7A
Other languages
English (en)
Inventor
平野麻衣子
足立义贵
市川健太郎
田口康治
山乡成仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN116610049A publication Critical patent/CN116610049A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23051—Remote control, enter program remote, detachable programmer

Abstract

本公开涉及远程辅助方法、远程辅助系统以及计算机可读取的记录介质。提供一种能够排除例如由通信延迟引起的辅助时机的偏差的影响而在远程操作员所期望的时机使车辆动作的远程辅助技术。根据本公开的远程辅助方法，首先将基于由车辆创建的用于自主行驶的路径计划和与存在于车辆的周围的物体相关的信息预测的、比当前时间点更向前的将来时刻的车辆与物体的位置关系空间地显示于显示装置。接下来从操作员输入的辅助内容向车辆发送。然后在车辆接收到辅助内容之后，接受实现了在被输入了辅助内容时显示于显示装置的车辆与物体的位置关系的确认，在车辆中执行与辅助内容相应的远程辅助。

Description

远程辅助方法、远程辅助系统以及计算机可读取的记录介质
技术领域
本公开涉及一种对具有自主行驶功能的车辆进行远程辅助的远程辅助技术。
背景技术
已知有远程监视自动驾驶车辆，在需要的情况下，远程操作员将判断、指示传达给车辆，从而辅助自动驾驶车辆的自动行驶的远程辅助技术。专利文献1公开了这样的远程辅助技术的一例。
根据专利文献1所公开的现有技术，针对远程驾驶装置，从车辆获取与车辆相关的信息和与车辆的周围的对象相关的信息。与车辆相关的信息包括车辆的当前的地理位置、车辆的当前的速度及加速度、远程驾驶服务中的车辆的识别信息、由自动驾驶功能推荐的将来的轨迹等。与对象相关的信息包括对象的种类、对象的当前地理位置、对象的速度及加速度、对象的将来的预测轨迹等。对象的将来的预测轨迹例如基于对象的地理位置、速度及加速度等来生成。
根据专利文献1所公开的现有技术，远程驾驶装置将用于表示对象的虚拟对象显示于显示装置。当决定虚拟对象的显示位置时，远程驾驶装置考虑在从车辆获取信息时发生的延迟和在从远程驾驶装置向车辆提供操作指示时发生的延迟。也就是说，根据专利文献1所公开的现有技术，不是将车辆的周围的当前状态，而是将考虑了延迟时间的未来的状态显示于显示装置。
然而，上述现有技术虽然考虑延迟时间来显示未来的状态，但在假定的延迟时间与实际的延迟时间之间有可能产生误差。在该情况下，无法在远程操作员所期望的时机使车辆动作。
需要说明的是，作为表示与本公开相关联的技术领域的技术水准的文献，除了上述专利文献1之外，还能够例示出下述的专利文献2、专利文献3以及专利文献4。
现有技术文献
专利文献
专利文献1：日本特开2020-167551号公报
专利文献2：日本特开2021-018744号公报
专利文献3：日本特开2021-033612号公报
专利文献4：日本特开2020-003890号公报
发明内容
发明要解决的问题
本公开是鉴于上述那样的问题而完成的，其目的在于提供一种能够排除由在车辆与远程辅助终端之间产生的延迟引起的辅助时机的偏差的影响，在远程操作员所期望的时机使车辆动作的远程辅助技术。
用于解决问题的方案
本公开提供远程辅助方法和远程辅助系统作为用于实现上述目的的远程辅助技术。
本公开的远程辅助方法是一种对具有自主行驶功能的车辆进行远程辅助的方法。本公开的远程辅助方法包括：将基于由车辆创建的用于自主行驶的路径计划和与存在于车辆的周围的物体相关的信息预测的、比当前时间点更向前的将来时刻的车辆与物体的位置关系空间地显示于显示装置；将从远程操作员输入的辅助内容向车辆发送。进而，本公开的远程辅助方法包括：在车辆接收到辅助内容之后，接受实现了在被输入了辅助内容时显示于显示装置的车辆与物体的位置关系的确认，在车辆中执行与辅助内容相应的远程辅助。
本公开的远程辅助系统是一种对具有自主行驶功能的车辆进行远程辅助的系统。本公开的远程辅助系统包括：至少1个存储器，包括至少1个程序；以及至少1个处理器，与至少1个存储器结合。上述至少1个程序被构成为使上述至少1个处理器执行以下的处理。由处理器执行的处理包括：将基于由车辆创建的用于自主行驶的路径计划和与存在于车辆的周围的物体相关的信息预测的、比当前时间点更向前的将来时刻的车辆与所述物体的位置关系空间地显示于显示装置；将从远程操作员输入的辅助内容向车辆发送。进而，由处理器执行的处理包括：在车辆接收到辅助内容之后，接受实现了在被输入了辅助内容时显示于显示装置的车辆与物体的位置关系的确认，在车辆中执行与辅助内容相应的远程辅助。
根据本公开的远程辅助技术，以实现了在由远程操作员输入了辅助内容时显示于显示装置的车辆与周边物体的位置关系的确认为条件，在车辆中执行与由远程操作员输入的辅助内容相应的远程辅助。也就是说，在取得上述确认之前，即使车辆接收到辅助内容，在车辆中也不执行与该辅助内容相应的远程辅助。由此，能够排除由在车辆与远程辅助终端之间产生的延迟引起的辅助时机的偏差的影响，在远程操作员所期望的时机使车辆动作，因此能够提高远程操作员的判断的可靠性。
在本公开的远程辅助技术中，上述确认也可以包括对在被输入了辅助内容时显示于显示装置的车辆与物体的位置关系与由车辆的传感器获取的车辆与物体的实际的位置关系的匹配度在容许范围内进行确认。在基于路径计划和与周边物体相关的信息的预测中包含误差的情况下，预测出的车辆与物体的位置关系与实际的车辆与周边物体的位置关系可能产生偏差。通过将预测出的车辆与物体的位置关系与实际的车辆与周边物体的位置关系的匹配度作为判断材料，能够准确地判断是否实现了在由远程操作员输入了辅助内容时显示于显示装置的车辆与周边物体的位置关系。
另外，在本公开的远程辅助技术中，也可以是与存在于车辆周围的物体相关的信息是由传感器获取的信息，由传感器获取的与物体相关的信息的至少一部分被用于路径计划的创建。由此，对基于由车辆的传感器获取的信息预测出的车辆与周边物体的实际的位置关系和由相同的传感器获取的车辆与周边物体的实际的位置关系进行比较，因此能够提高基于匹配度的判断的精度。
另外，在本公开的远程辅助技术中，也可以是上述确认包括对在车辆中能够执行与辅助内容相应的远程辅助的时刻未超过在被输入了辅助内容时显示于显示装置的车辆与物体的位置关系的将来时刻进行确认。若在车辆中能够执行远程辅助的时刻未超过在被输入了辅助内容时的显示装置的将来时刻，则能够判断为显示于显示装置的车辆与周边物体的位置关系被实现或将来要被实现。然而，当在车辆中能够执行远程辅助的时刻超过上述将来时刻的情况下，能够判断为显示于显示装置的车辆与周边物体的位置关系已经无法实现。
本公开提供用于实现上述目的的程序。本公开的程序被构成为使计算机执行以下的处理。由计算机执行的处理包括：将基于由车辆创建的用于自主行驶的路径计划和与存在于车辆的周围的物体相关的信息预测的、比当前时间点更向前的将来时刻的车辆与物体的位置关系空间地显示于显示装置；将从远程操作员输入的辅助内容向车辆发送。进而，由计算机执行的处理包括：在车辆接收到辅助内容之后，接受实现了在被输入了辅助内容时显示于显示装置的车辆与物体的位置关系的确认，在车辆中执行与辅助内容相应的远程辅助。本公开的程序既可以被存储于计算机可读取的记录介质，也可以经由网络被提供。
发明的效果
如上所述，根据本公开的远程辅助技术，能够排除由在车辆与远程辅助终端之间产生的延迟引起的辅助时机的偏差的影响，在远程操作员所期望的时机使车辆动作。
附图说明
图1是应用本公开的远程辅助方法的自动驾驶车辆的远程辅助系统的结构图。
图2是表示自动驾驶车辆的结构的一例的框图。
图3是表示远程辅助终端的结构的一例的框图。
图4是表示由自动驾驶车辆的摄像机获取的图像的一例和远程辅助终端的显示画面的一例的图。
图5是用于说明本公开的实施方式的远程辅助方法的概要的图。
图6是用于说明本公开的实施方式的远程辅助方法的概要的图。
图7是用于说明本公开的实施方式的远程辅助方法的概要的图。
图8是用于对匹配度的计算方法的第1例进行说明的图。
图9是用于对匹配度的计算方法的第2例进行说明的图。
图10是用于对匹配度的计算方法的第2例进行说明的图。
图11是表示本公开的实施方式的远程辅助系统的结构的框图。
图12是表示本公开的实施方式的远程辅助系统在车辆、远程辅助终端以及操作员间的处理的流程的序列图。
图13是表示本公开的实施方式的远程辅助终端的处理的一例的流程图。
图14是表示本公开的实施方式的自动驾驶车辆的处理的一例的流程图。
图15是表示本公开的实施方式的自动驾驶车辆的处理的其它例的流程图。
附图标记说明
20、自动驾驶车辆；21、计算机；21a、处理器；21b、存储器；21c、程序；30、远程辅助终端；31、计算机；31a、处理器；31b、存储器；31c、程序；32、显示装置；33、输入装置；40、远程操作员；50、其他车辆；100、远程辅助系统。
具体实施方式
以下，参照附图对本公开的实施方式进行说明。但是，在以下所示的实施方式中提及各要素的个数、数量、量、范围等数的情况下，除了特别明示的情况、原理上明确地确定为该数的情况之外，本公开的技术思想并不限定于该提及的数。另外，在以下所示的实施方式中说明的构造等除了特别明示的情况、原理上明确地确定为该构造等的情况之外，对于本公开的技术思想而言未必是必须的。
1.远程辅助系统的结构
图1是自动驾驶车辆的远程辅助系统的结构图。远程辅助系统100是通过操作员40的远程操作来辅助具有自主行驶功能的自动驾驶车辆20的自动驾驶的系统。将对自动驾驶车辆20进行远程辅助的操作员40称为远程操作员。作为被设为远程辅助的对象的自动驾驶车辆20的自动驾驶等级，例如设想等级4或者等级5。以下，将自动驾驶车辆20简称为车辆20。
操作员40对车辆20的远程辅助使用远程辅助终端30。远程辅助终端30经由包括互联网的通信网络与管理中心的服务器10连接。车辆20也经由包括4G、5G的通信网络与管理中心的服务器10连接。多个远程辅助终端30和多个车辆20与服务器10连接。从车辆20接收到辅助请求的服务器10从空闲的操作员40中选择负责人，将成为负责人的操作员40的远程辅助终端30与请求辅助的车辆20连接。
在车辆20请求辅助的场景中，例如包括超车先行车的情况、通过人行横道的情况、在交叉路口右转的场景、脱离车道而回避障碍物的场景等。在远程辅助中，由操作员40进行用于车辆20的自动驾驶的判断的至少一部分。与驾驶所需的认知、判断以及操作相关的基本计算在车辆20中进行。操作员40基于从车辆20发送的各种车辆信息来判断车辆20应该采取的行动，并基于判断结果向车辆20发送指令。在从操作员40向车辆20发送的远程辅助的指令中包含车辆20的行进的指令以及车辆20的停止的指令。另外，远程辅助的指令包括相对于前方的障碍物的偏移回避的指令、超车先行车的指示、紧急避让的指示等。
图2是表示车辆20的结构的一例的框图。车辆20具备计算机21。计算机21是搭载于车辆20的多个ECU(Electronic Control Unit，电子控制单元)的集合体。另外，车辆20具备外部传感器22、内部传感器23、致动器24以及通信装置25。它们使用CAN(Controller AreaNetwork，控制器局域网)等车载网络与计算机21连接。
计算机21具备1个或者多个处理器21a(以下，简称为处理器21a)和与处理器21a结合的1个或者多个存储器21b(以下，简称为存储器21b)。在存储器21b中存储有能够由处理器21a执行的1个或者多个程序21c(以下，简称为程序21c)和与其关联的各种信息。程序21c包括能够执行的多个指令。另外，在存储器21b中存储有用于自动驾驶的高精度三维地图信息。
通过处理器21a执行程序21c，实现处理器21a的各种处理。程序21c中包含用于实现自动驾驶的自动驾驶程序。通过由处理器21a执行自动驾驶程序，计算机21作为对车辆20进行自动驾驶的自动驾驶系统发挥功能。以下，将作为自动驾驶系统的计算机21简称为自动驾驶系统。另外，程序21c中包含用于接受远程辅助的远程辅助程序。通过由处理器21a执行远程辅助程序，执行用于向服务器10请求辅助并由车辆20执行从服务器10获取的辅助内容的处理。
外部传感器22包括对车辆20的周围、特别是车辆20的前方进行拍摄的摄像机。摄像机也可以设置多台，除了拍摄车辆20的前方之外，还可以拍摄侧方和后方。另外，摄像机既可以在自动驾驶用和操作员40的远程辅助用中共用，也可以分别设置自动驾驶用的摄像机和远程辅助用的摄像机。外部传感器22包括除摄像机之外的识别传感器。识别传感器是获取用于识别车辆20的周围的状况的信息的传感器。作为除摄像头之外的识别传感器，例示出LiDAR(Laser Imaging Detection and Ranging，激光成像探测与测距)和毫米波雷达。另外，外部传感器22包括检测车辆20的位置和方位的位置传感器。作为位置传感器，例示出GPS(Global Positioning System，全球定位系统)传感器。由外部传感器22获得的信息向计算机21发送。
内部传感器23包括获取与车辆20的运动相关的信息的状态传感器。作为状态传感器，例如例示出车轮速度传感器、加速度传感器、角速度传感器以及转向角传感器。加速度传感器和角速度传感器也可以是IMU。由内部传感器23获得的信息向计算机21发送。
以下，将由内部传感器23得到的信息和由外部传感器22得到的信息统称为车辆信息。其中，除了由车辆20的传感器获取的信息之外，车辆信息中还包括由自动驾驶系统创建的车辆20的路径计划和包围车辆20的周边环境的预测信息。自动驾驶系统使用由外部传感器22获得的与车辆20周围的状况相关的信息来预测包围车辆20的周边环境在今后短时间内的变化，基于该预测信息和例如由导航系统决定的目标路径来创建路径计划。
致动器24包括对车辆20进行转向操纵的转向操纵装置、对车辆20进行驱动的驱动装置以及对车辆20进行制动的制动装置。转向操纵装置中例如包括动力转向系统、线控转向操纵系统以及后轮转向操纵系统。驱动装置例如包括发动机、EV系统以及混合动力系统。制动装置中例如包括液压制动器和电力再生制动器。致动器24根据从计算机21发送的控制信号进行动作。
通信装置25是控制车辆20与外部的无线通信的装置。通信装置25经由通信网络与服务器10进行通信。由计算机21处理的信息使用通信装置25向服务器10发送。由服务器10处理后的信息使用通信装置25被取入计算机21。另外，在为了自动驾驶而需要与其他车辆的车车间通信、与基础设施的路车间通信的情况下，与这些外部装置的通信也由通信装置25进行。
图3是表示远程辅助终端30的结构的一例的框图。远程辅助终端30具备计算机31、显示装置32、输入装置33以及通信装置35。显示装置32、输入装置33以及通信装置35与计算机31连接。需要说明的是，远程辅助终端30既可以设于管理中心，也可以设于管理中心的外部、例如操作员40的自己家中。
计算机31具备1个或者多个处理器31a(以下，简称为处理器31a)和与处理器31a结合的1个或者多个存储器31b(以下，简称为存储器31b)。在存储器31b中存储有能够由处理器31a执行的1个或者多个程序31c(以下，简称为程序31c)和与其关联的各种信息。程序31c包括能够执行的多个指令。另外，在存储器31b中存储有高精度三维地图信息。
处理器31a执行程序31c，由此实现处理器31a的各种处理。程序31c中包含对用于对车辆20进行远程辅助的用户界面进行管理的操作员UI管理程序。通过由处理器31a执行操作员UI管理程序，计算机31作为操作员UI管理系统发挥功能，执行用于将远程辅助所需的信息显示于后述的显示装置32的处理。
显示装置32是显示操作员40进行远程辅助所需的信息的装置。具体而言，由显示装置32显示的信息是与车辆20的前方的图像相当的信息。但是，显示于显示装置32的信息不是由车辆20的摄像机获取到的图像、即车辆20的自动驾驶系统所利用的信息。图4表示由车辆20的摄像机获取的图像的一例(图4A)和显示装置32的画面的一例(图4B)。显示于显示装置32的信息是由计算机31创建的基于3D模型的图像。在该图像中，在以3D生成的空间上再现车辆20的周边环境。关于周边环境中的静止物，能够使用高精度三维地图信息和车辆20的位置信息空间地再现。随后将详细地说明显示于显示装置32的信息的内容及其生成方法。
输入装置33是输入操作员40的远程辅助用的操作的装置。由输入装置33输入的信息由计算机31处理并向车辆20发送。作为输入装置33的具体例，能够例示出按钮、控制杆以及触摸面板。例如，也可以通过推倒控制杆的方向对车辆20指示行进/停止、或者指示向横向的移动。向横向的移动中例如包括相对于前方的障碍物的偏移回避、车道变更、先行车的超车。
通信装置35是控制远程辅助终端30与外部的通信的装置。通信装置35经由通信网络与服务器10进行通信。由计算机31处理的信息使用通信装置35向服务器10发送。由服务器10处理后的信息使用通信装置35被取入计算机31。
2.远程辅助方法的概要
本公开的远程辅助方法的目的在于，排除由于在车辆20与远程辅助终端30之间产生的延迟而引起的辅助时机的偏差的影响，在操作员40所期望的时机使车辆20进行动作。为了实现该目的，在本公开的实施方式的远程辅助方法中，在远程辅助终端30的显示装置32中显示根据车辆信息生成的未来的图像，而不是显示搭载于车辆20的摄像机拍摄到的车辆20的前方的图像本身。显示于显示装置32的未来的图像是指预测为在比当前时间点更向将来的时刻实现的图像。用于生成未来的图像的车辆信息中包括由自动驾驶系统生成的车辆20的路径计划和用于生成路径计划的包围车辆20的周边环境的预测信息。路径计划的生成和周边环境的预测对于自动驾驶系统而言是基本的公知的功能，因此省略与它们相关的说明。至少在从请求辅助起到辅助完成为止的期间，车辆20将这些车辆信息向远程辅助终端30发送。
在本实施方式的远程辅助方法中，远程辅助终端30将由操作员40输入的辅助内容和由计算机31生成的车辆20的将来信息经由服务器10向车辆20发送。在由计算机31生成的车辆20的将来信息中，包括与考虑了后述的延迟时间的将来时刻下的车辆20与存在于车辆20的周边的物体之间的位置关系相关的信息。车辆20的计算机21基于接收到的辅助内容和将来信息，进行在实际需要辅助的时机可否执行该辅助的判断。
以下，使用图5～图7对本实施方式的远程辅助方法的概要具体地进行说明。在此，设想车辆20想要在交叉路口右转，其他车辆50(在此称为其他车辆)从反向车道进入交叉路口的状况。
首先，对图5～图7的整体的概要进行说明。在图5～图7的各图的上段描绘有表示从车辆20的摄像机的图像识别出的车辆20与其他车辆50的位置关系的示意图。这些示意图相当于将图4A所示那样的摄像机的图像变换为俯视图的图像。上段所示的5个示意图的时刻全部不同，以时刻T0、T11、T21、T31、T41的顺序从左到右按时间序列排列。其中，由车辆20的摄像机拍摄的图像是动态图像，车辆20与其他车辆50的位置关系也在连续的时间流中被识别出。在此，只不过是拾取连续的时间中的特定的时刻的位置关系来示出。
车辆20的自动驾驶系统基于摄像机的图像创建车辆20的路径计划，计算其他车辆50的预测路径。在各示意图中，从车辆20延伸的实线和虚线的箭头线是由自动驾驶系统创建的路径计划。路径计划中包括以车辆20为中心的坐标系或绝对坐标系中的车辆20的目标位置和该位置处的目标速度或目标加速度。实线是确定的路径计划，虚线是未确定的路径计划。从其他车辆50延伸的虚线的箭头线是由自动驾驶系统计算出的其他车辆50的预测路径。
在图5～图7的各图的下段描绘了表示空间上映出在远程辅助终端30的显示装置32的画面中的车辆20与其他车辆50的位置关系的示意图。这些示意图相当于将显示于显示装置32的图4B所示的3D图像变换为俯视图的图像。下段所示的3个示意图的时刻全部不同，以时刻T12、T22、T32的顺序从左到右按时间序列排列。其中，显示于显示装置32的画面的图像是动态图像，画面内的车辆20与其他车辆50的位置关系根据时间而连续地变化。在此，只不过是拾取连续的时间中的特定的时刻的位置关系来示出。
远程辅助终端30的计算机31基于从车辆20接收到的车辆20的路径计划和包含其他车辆50的预测路径的周边环境的预测信息，预测比当前时间点更向将来的时刻的车辆20与其他车辆50的位置关系。在各示意图中，从本车辆20延伸的实线和虚线的箭头线是从车辆20接收到的路径计划。实线是操作员40认可的路径计划，虚线是操作员40未认可的路径计划。从其他车辆50延伸的虚线的箭头线是计算机31预测出的将来时刻的其他车辆50的预测路径。计算机31例如基于地图信息和其他车辆50的速度及方位，预测其他车辆50在当前的行驶车道上直行的概率、右转的概率以及左转的概率。需要说明的是，在车辆20的周边的物体是行人的情况下，计算机31例如将道路分割为网格，使用行人的速度和方位来计算出该行人在各网格上通行的概率，从而预测该行人的行进路线。
图5～图7分别表示通过本实施方式的远程辅助方法实现的远程辅助的例子。从图5所示的例子起依次对各图所示的例子进行说明。
在图5所示的例子中，在时刻T0从车辆20发出辅助的请求。在该例中，车辆20请求的辅助为是否可以在位于前方的交叉路口执行右转的判断。车辆20不是在进入交叉路口之后而是在距交叉路口预定距离的靠近前处请求辅助。在车辆20请求辅助的时刻T0的时间点，不清楚反向车道的其他车辆50是直行还是左转或者右转。在这样的状况下，车辆20的自动驾驶系统自身不进行判断，而是将判断委托给操作员40并等待判断结果被发送来。但是，在请求辅助的期间，车辆20并不是在该场所完全停止，而是为了抑制对后续车的影响而以低速缓慢行驶至交叉路口的中心附近。
针对车辆20的辅助请求，由服务器10分配一名操作员40，将包含车辆20的路径计划和其他车辆50的预测路径的车辆信息与辅助请求一起发送至被分配的操作员40的远程辅助终端30。远程辅助终端30的计算机31基于车辆信息生成考虑了延迟时间的未来的图像，将生成的未来的图像在时刻T12显示于显示装置32。从由车辆20的摄像机获取包含车辆20与其他车辆50的位置关系的图像起，到由远程辅助终端30接收从车辆20发送的车辆信息并能够由远程辅助终端30显示未来的图像为止需要时间。该时间是上行方向的延迟时间。
上行方向的延迟时间与后述的下行方向的延迟时间的合计是在未来的图像的生成中考虑的延迟时间。延迟时间包括通信延迟和车辆20及远程辅助终端30的各计算机21、31的运算时间。也可以将运算时间设定为固定值，基于之前刚刚测定出的通信延迟(例如RTT(Round Trip Time，往返时间))来决定延迟时间。另外，也可以基于到此为止的实际结果，以固定值赋予延迟时间。在以固定值赋予延迟时间的情况下，考虑到通信延迟根据时间段而不同，也可以根据时间段来变更延迟时间的值。
在显示于显示装置32的未来的图像中包含比当前时间点(时刻T12)更向前的将来时刻的车辆20与其他车辆50的位置关系。另外，在显示装置32显示车辆20请求了怎样的辅助。操作员40基于显示于远程辅助终端30的显示装置32的车辆20与其他车辆50之间的位置关系和周边环境，判断车辆20是否可以在交叉路口右转。操作员40根据自身的判断结果来操作远程辅助终端30的输入装置33。在图5所示的例子中，根据在时刻T12显示于显示装置32的图像还无法确定其他车辆50的行进方向。因此，操作员40输入右转的执行的暂缓(No-Go)作为对车辆50的辅助内容。
输入到远程辅助终端30的辅助内容从远程辅助终端30向车辆20发送。另外，由远程辅助终端30创建的将来信息、即与将来时刻的车辆20和其他车辆50的位置关系相关的信息与辅助内容一起向车辆20发送。在此，为了简单，设为忽略操作员40的判断所需的时间，在时刻T12从远程辅助终端30向车辆20发送辅助内容和将来信息。在远程辅助系统中，操作员40的判断时间既不包含在上行方向的延迟时间中，也不包含在下行方向的延迟时间中，因此能够忽略操作员40的判断时间来进行研究。
从远程辅助终端30发送辅助内容和将来信息起，到由车辆20接收辅助内容和将来信息并能够由车辆20执行辅助内容为止需要时间。该时间是下行方向的延迟时间。与车辆20发送车辆信息的时刻相比，与上行方向和下行方向的合计延迟时间的量相应的将来的时刻为时刻T21，在时刻T21，车辆20能够执行辅助内容。如前所述，显示于远程辅助终端30的显示装置32的未来的图像是考虑延迟时间而创建的。也就是说，在时刻T12显示于显示装置32的未来的图像是预测时刻T21的实际的车辆20与其他车辆50的位置关系而创建的图像。然后，将在时刻T12预测出的时刻T21的车辆20与其他车辆50的位置关系作为将来信息向车辆20发送。
由于在时刻T21车辆20执行的辅助内容为No-Go，因此车辆20不执行右转而继续待机状态。与辅助内容一起由车辆20接收到的将来信息在辅助内容是Go的判断的情况下，也就是说，是积极地使车辆20移动的判断的情况下，被用于是否执行与辅助内容相应的远程辅助的最终决定。不限于在交叉路口处右转的场景，在操作员40对辅助请求的辅助内容为No-Go的情况下，车辆20与将来信息无关地继续待机状态。但是，在车辆20的判断与远程辅助的辅助内容一致的情况下，也存在在是否执行与辅助内容相应的远程辅助的判断中不使用将来信息的情况。另外，车辆20将时刻T21的最新的车辆信息向远程辅助终端30发送。
在时刻T0发出辅助请求后，车辆20持续地将车辆信息向远程辅助终端30发送。因此，在时刻T0发出辅助请求后到在时刻T21执行辅助内容为止的期间内的时刻T11，车辆20也将时刻T11的车辆信息向远程辅助终端30发送。
远程辅助终端30的计算机31基于在时刻T11从车辆20发送的车辆信息生成考虑了延迟时间的未来的图像，在时刻T22将生成的未来的图像显示于显示装置32。在时刻T22显示于显示装置32的未来的图像是预测出比当前时间点(时刻T22)更向前的将来时刻(时刻T31)的车辆20与其他车辆50的位置关系的图像。根据在时刻T22显示的图像，能够判断其他车辆50要在交叉路口右转。如果其他车辆50在交叉路口右转，则能够不产生与其他车辆50的干涉地使车辆20安全地右转。因此，操作员40输入右转的执行(Go)作为对车辆50的辅助内容。
接着向远程辅助终端30输入从车辆20发送的车辆信息。在时刻T32，基于在时刻T21从车辆20发送的车辆信息而生成的未来的图像被显示于显示装置32。在时刻T32显示于显示装置32的未来的图像是预测出比当前时间点(时刻T32)更向前的将来时刻(时刻T41)的车辆20与其他车辆50的位置关系的图像。根据在时刻T32显示的图像，可知其他车辆50处于交叉路口的右转的中途。如果其他车辆50也在右转的中途，则能够直接没有问题地进行车辆20的右转。因此，操作员40输入右转的执行(Go)作为对车辆50的辅助内容。
操作员40在时刻T22输入到远程辅助终端30的辅助内容与在时刻T22由远程辅助终端30创建的将来信息一起向车辆20发送。车辆20接收到的将来信息中包含在时刻T22预测出的时刻T31的车辆20与其他车辆50的位置关系。由于从操作员40发送来的辅助内容是Go的判断，因此车辆20参照将来信息来决定是否执行与辅助内容相应的远程辅助。
在可否执行车辆20的远程辅助的判断中，确认在操作员40向远程辅助终端30输入了辅助内容时显示于显示装置32的车辆20与其他车辆50的位置关系在现实中是否被实现。作为确认的方法，例如判定在时刻T22显示于显示装置32的未来的图像中的车辆20与其他车辆50的位置关系(以下，称为未来的位置关系)和在时刻T31实现的实际的车辆20与其他车辆50的位置关系的匹配度。未来的位置关系被包含在从远程辅助终端30发送的将来信息中。实际的车辆20与其他车辆50的位置关系能够由车辆20的摄像机获取。随后对匹配度的计算方法进行详细说明。若匹配度为阈值以上，则车辆20判断为确认了在时刻T22预测出的未来的位置关系在时刻T31被实现。
车辆20接受上述的确认而执行与辅助内容相应的远程辅助。在图5所示的例子中，与辅助内容的Go的判断相应的远程辅助是右转的执行。在时刻T31，车辆20的自动驾驶系统确定在交叉路口右转的路径计划，执行右转。需要说明的是，下行方向的延迟时间中还包含用于确认实现了预测出的未来的位置关系的时间。
接着向车辆20输入从远程辅助终端30发送的辅助内容和将来信息。在时刻T32从远程辅助终端30发送的将来信息中包含在时刻T32预测出的时刻T41的车辆20与其他车辆50的位置关系。在时刻T32从远程辅助终端30发送的辅助内容是Go的判断，因此车辆20判定在时刻T32由远程辅助终端30预测出的未来的位置关系和在时刻T41实现的实际的车辆20与其他车辆50的位置关系的匹配度。在图5所示的例子中，匹配度为阈值以上，因此车辆20按照操作员40对Go的判断接着继续右转。
接下来，对在现实中没被实现由远程辅助终端30预测出的未来的位置关系而无法执行与由操作员40输入的辅助内容相应的远程辅助的情况下的处理进行说明。在图6所示的例子中，在时刻T22由远程辅助终端30预测出的未来的位置关系和在时刻T31实现的实际的车辆20与其他车辆50的位置关系不匹配。在该情况下，车辆20不遵循在时刻T22从远程辅助终端30发送的辅助内容的Go的判断。也就是说，车辆20不执行右转而继续待机状态。另外，在时刻T31，车辆20对操作员40再次请求辅助。在该例中，车辆20再次请求的辅助是是否可以接着执行右转的判断。
接着向车辆20输入从远程辅助终端30发送的辅助内容和将来信息。在图6所示的例子中，在时刻T32由远程辅助终端30预测出的未来的位置关系和在时刻T41实现的实际的车辆20与其他车辆50的位置关系依然不匹配。由此，车辆20不按照操作员40对Go的判断而接着继续待机状态。通过在时刻T31从车辆20对操作员40再次请求辅助，在时刻T41之后也从远程辅助终端30向车辆20输入新的辅助内容和将来信息。然后，接受由远程辅助终端30预测出的未来的位置关系在现实中被实现的确认，车辆20根据操作员40对Go的判断而执行右转。
在现实中未被实现由远程辅助终端30预测出的未来的位置关系而无法执行与由操作员40输入的辅助内容相应的远程辅助的情况下，在图6所示的例子中，从车辆20对操作员40再次请求辅助。然而，根据车辆20所处的状况，无法对操作员40再次请求辅助。例如，在行进方向上的信号灯的颜色要从绿色变为红色的状况下，不能在交叉路口内持续待机。
在图7所示的例子中，在时刻T22由远程辅助终端30预测出的未来的位置关系和在时刻T31实现的实际的车辆20与其他车辆50的位置关系不匹配。在该情况下，车辆20不遵循在时刻T22从远程辅助终端30发送的辅助内容的Go的判断。但是，也不是能够一边对操作员40再次请求辅助一边在交叉路口内继续待机状态的状况。在该情况下，车辆20选择并执行能够确保安全的路径。在图7所示的例子中，在时刻T31，车辆20放弃右转，执行在交叉路口直行的路径。
接着向车辆20输入从远程辅助终端30发送的辅助内容和将来信息。在图7所示的例子中，在时刻T32从远程辅助终端30发送的辅助内容和将来信息向车辆20输入。然而，由于车辆20已经选择并执行了能够确保安全的路径，因此不执行从远程辅助终端30发送的辅助内容。车辆20在时刻T41也继续执行能够确保安全的路径。
如以上的说明那样，根据本实施方式的远程辅助方法，以确认实现了在由操作员40输入了辅助内容时显示于显示装置32的车辆20与其他车辆50的位置关系为条件，在车辆20中执行与由操作员40输入的辅助内容相应的远程辅助。也就是说，在得到上述的确认之前，即使车辆20接收到辅助内容，在车辆20中也不执行与该辅助内容相应的远程辅助。由此，能够排除由包含通信延迟的延迟时间引起的辅助时机的偏差的影响而使车辆20在操作员40所期望的时机进行动作，因此能够提高操作员40的判断的可靠性。
3.匹配度的计算方法
3-1.第1例
关于匹配度的计算方法，举出3个例子。图8是用于对匹配度的计算方法的第1例进行说明的图。在图8中示意性地描绘了车辆20及其周边的物体50-1、50-2、…、50-N。虽然未图示，但假设在车辆20的周边存在N个物体。周边的物体包括车辆、行人、自行车等所有移动体。车辆20和周边的物体50-1、50-2、…、50-N的虚线所示的位置是操作员40在辅助内容的判断中参照的预测位置，实线所示的位置是车辆20执行辅助内容时的实际位置。
在第1例中，匹配度使用以下的函数来表示。以下的函数被构成为预测位置与实际位置的误差越小则值越接近零。例如，也可以以在以下的函数的值为零时匹配度成为最大的方式创建匹配度的计算式。
[数1]
{(αe×De+βe×|ΔVe|)+Σi＝1～N(αa，i×Da，i+βa，i×|ΔVa，i|)}/(1+N)
在上述的函数中，De表示车辆20的当前位置与将来位置之间的变化量。ΔVe表示车辆20的当前速度与根据路径计划预测的将来速度之间的变化量。另外，Da,i表示物体50-i的当前位置与将来位置之间的变化量。ΔVa,i表示物体50-i的当前速度与由自动驾驶系统预测的将来速度之间的变化量。αe、βe、αa,i以及βa,i分别为系数。需要说明的是，在上述的函数中也能够省略与车辆20相关的De的项和ΔVe的项。在该情况下，分母的1+N设为N即可。
根据操作员40的判断内容、情景来决定在上述函数的计算中应作为计算对象的物体50-1、50-2、…、50-N。例如，在图8所示的例子中，也可以仅将在车辆20的行进方向的前方移动的物体50-1作为计算对象。还能够将计算对象限定为特定的物体，例如道路上的移动物、对向车道的车辆、接近本车的车辆、或者仅是车辆。另外，也能够将特定的物体、例如后续车或行人从计算对象中排除。
在图5～图7所示的例子中，在车辆20的周围也许还存在除其他车辆50之外的物体，但在交叉路口的右转中，影响车辆20的行动的判断的仅是其他车辆50。所以，在图5～图7所示的例子中，如果将上述函数用于匹配度的计算，则仅将其他车辆50作为计算对象。
需要说明的是，也可以在将从车辆20起存在于一定范围内的物体全部添加到计算对象的基础上，根据对车辆20的行动的判断的影响的大小来变更系数αa,i以及系数βa,i的值。例如，也可以使对接近车辆20的方向的物体赋予的系数大于对远离车辆20的方向上的物体赋予的系数。
3-2.第2例
第2例是将TTC(Time to Collision，碰撞时间)用于匹配度的判定的例子。在第2例中，针对干涉车辆20的路径的物体，计算显示于显示装置32的未来的位置关系下的预测TTC和车辆20执行辅助内容时的实际的位置关系下的实际TTC。在车辆20的路径上存在多个物体的情况下，前方和后方分别最近的物体被视为与车辆20干涉的物体。并且，在预测TTC与实际TTC的误差在阈值以内的情况下，判定为匹配度较高。需要说明的是，在第2例中，也能够代替TTC而使用相对距离或者相对速度。
图9是用于更详细地说明匹配度的计算方法的第2例的图。在第2例中，在与车辆20的路径干涉的车辆是相对于车辆20的先行车50F的情况下和后续车50R的情况下，变更采用辅助内容的匹配度判定的阈值。先行车50F和后续车50R的虚线所示的位置是操作员40在辅助内容的判断中参照的预测位置，实线所示的位置是车辆20执行辅助内容时的实际位置。如图9中图表和示意图所示，相对于先行车50F提高匹配度判定的阈值，相对于后续车50R降低匹配度判定的阈值。需要说明的是，预测TTC与实际TTC的误差和匹配度的关系可以如图表所示那样设定为线性，也可以设定为非线性。即使在代替TTC而使用相对距离或相对速度的情况下，只要设为误差越小则匹配度越高，那么误差与匹配度的关系就也能够任意地设定。
在此，更详细地说明在第2例中作为匹配度的计算对象的“与车辆20的路径干涉的物体”。图9所示的先行车50F和后续车50R是持续存在于车辆20的路径上的物体。然而，在实际的场景中，如图10中示意图所示，有时某些物体在极短时间内横穿车辆20的路径。需要说明的是，在是否是与车辆20的路径干涉的物体的判定中，对车辆20的路径赋予一定的宽度(例如车辆20的车宽程度的宽度)。
在物体横穿车辆20的路径的情况下，是否是与车辆20的路径干涉的物体由执行辅助内容时的物体的实际的位置决定。例如，如虚线所示操作员40在辅助内容的判断中参照的预测位置与路径干涉并且如实线所示执行辅助内容时的实际位置也与路径干涉的横穿车辆50C1在第2例中被设为匹配度的计算对象。也就是说，针对横穿车辆50C1计算预测TTC与实际TTC的误差，通过图10所示的图表根据误差计算匹配度。并且，若匹配度为阈值以上，则车辆20采用并执行辅助内容。需要说明的是，即使在物体横穿车辆20的路径的情况下，也能够代替TTC而使用相对距离或者相对速度。
另一方面，操作员40在辅助内容的判断中参照的预测位置与路径干涉但执行辅助内容时的实际位置通过路径的横穿车辆50C2在第2例中被设为匹配度的计算对象外。在该情况下，车辆20与横穿车辆50C2不会干涉，因此车辆20不计算匹配度而采用并执行辅助内容。另一方面，操作员40在辅助内容的判断中参照的预测位置与路径干涉但执行辅助内容时的实际位置尚未干涉路径的横穿车辆50C3在第2例中也被设为匹配度的计算对象外。在该情况下，车辆20不计算匹配度而不采用辅助内容。
3-3.第3例
第3例是将马氏距离用于匹配度的判定的例子。在车辆20预测周边的物体的位置、速度并考虑该预测值所具有的不确定度，在此基础上生成路径计划的情况下，以该不确定度为基准来计算预测值与实测值的背离是妥当的。作为该情况下的背离的计算方法，能够使用马氏距离。关于车辆20周边的各物体i，马氏距离M由以下的式子给出。
[数2]
在此，Si是表示物体i的预测值的不确定度的协方差矩阵，X→ i是由Di与ΔVi的异或给出的预测值与实测值的背离。即使在预测值与实测值之间的背离X→ i稍大的情况下，在由Si给出的预测值的不确定度足够大且该不确定度被纳入到车辆20的路径计划中的情况下，也能够期待在自动驾驶系统的运行中不会出现大的问题。可以说M(X→ i)的定义是反映了预测值的不确定度以怎样的程度纳入到车辆20的路径计划中的匹配度的指标。
4.远程辅助系统的结构
对本公开的实施方式的远程辅助系统的结构进行说明。图11是表示本实施方式的远程辅助系统的结构的框图。远程辅助系统100由车辆20和远程辅助终端30构成。但是，远程辅助系统100既可以包含对车辆20和远程辅助终端30进行中继的服务器10，也可以还包含将它们连接的通信网络。
首先，对远程辅助终端30所具备的功能进行说明。远程辅助终端30具备车辆信息接收部301、将来信息生成部302、远程辅助显示部303、远程辅助操作部304以及指令信号发送部305。它们在由处理器31a执行了在物理上构成远程辅助终端30的计算机31的存储器31b中存储的程序31c时，作为操作员UI管理系统即远程辅助终端30的功能来实现。
车辆信息接收部301通过通信装置35与车辆20进行通信。车辆信息接收部301获取车辆20发出的辅助请求和用于远程辅助的车辆信息。
将来信息生成部302基于从车辆20发送的车辆信息，生成与比当前时间点更向前的将来时刻的车辆20及其周边的物体(车辆、行人等)的状态相关的将来信息。在将来信息的生成中，具体而言，使用车辆20发送车辆信息的发送时刻、车辆信息所包含的路径计划、预测信息及识别信息、以及车辆信息接收部301接收到车辆信息的接收时刻。将来时刻既可以是与上行方向和下行方向的合计的延迟时间的量相应的将来时刻，也可以是与预先设定的时间的量相应的将来时刻。需要说明的是，操作员40在判断中使用的时间不包含在延迟时间中，但也可以将平均的判断时间作为缓冲添加到将来时刻中。
远程辅助显示部303将由将来信息生成部302生成的将来信息显示于显示装置32。将来信息包含比当前时间点更向前的将来时刻的车辆20与其周边的物体的位置关系，该位置关系空间地显示于显示装置32的画面。关于显示装置32的显示，操作员40能够任意地选择图4B那样的基于3D模型的显示和基于2D图像的显示。如果是基于3D模型的显示，则例如在需要掌握人行横道附近那样的特定场所附近的物体的情况下，能够使三维空间上的视点移动和旋转，以使操作员40容易观察其附近。另外，在被请求辅助的场所的附近有可能存在遮挡的情况下，还能够使视点移动及旋转到可能存在遮挡的地方。如果使用基于2D图像的显示，则能够采用提高图像的分辨率、改变画质·像素数量、放大、切换为全景显示、将显示目的地切换为其他显示装置等方法。
远程辅助操作部304受理操作员40输入到输入装置33的操作。操作员基于远程辅助显示部303在显示装置32中显示的将来信息来判断针对车辆20的辅助内容，将是Go还是No-Go的许可判断或其详细内容输入到输入装置33。远程辅助操作部304将输入到输入装置33的辅助内容向指令信号发送部305发送。
指令信号发送部305通过通信装置35与车辆20进行通信。指令信号发送部305将由将来信息生成部302生成的将来信息和操作员40使用该将来信息判断出的辅助内容向车辆20发送。
接下来，对车辆20所具备的功能进行说明。车辆20具备指令信号接收部201、车辆指令变更部202、自动驾驶系统部203以及车辆信息发送部204。它们在由处理器21a执行存储于计算机21的存储器21b的程序21c时，作为计算机21的功能而实现。
指令信号接收部201通过通信装置25与远程辅助终端30进行通信。指令信号接收部201接收从远程辅助终端30发送的辅助内容和将来信息。
车辆指令变更部202基于由指令信号接收部201得到的辅助内容和将来信息，提取需要变更的信息，向自动驾驶系统部203能够受理的信号信息转换。具体而言，在由指令信号接收部201得到的辅助内容是许可行动的判断(Go)的情况下，车辆指令变更部202对将来信息中包含的车辆20与周边物体的位置关系和实际执行辅助内容时的车辆20与周边物体的位置关系进行比较。在比较的结果为两者不匹配的情况下，也就是说在两者的匹配度小于阈值的情况下，车辆指令变更部202判断为不可执行辅助内容。若两者的匹配度为阈值以上，则车辆指令变更部202许可辅助内容的执行，将辅助内容发送至自动驾驶系统部203。
自动驾驶系统部203是作为计算机31的自动驾驶系统的功能。自动驾驶系统部203在通过通常的自动驾驶进行行驶时，基于由外部传感器22得到的与周边环境相关的信息来识别周边物体，一边预测识别出的周边物体的行动，一边计算车辆20前进的路径。并且，在成为或将要成为仅通过自动驾驶系统部203难以判断的状况时，输出远程辅助的请求。在接受远程辅助时，自动驾驶系统部203进行用于执行从车辆指令变更部202发送来的辅助内容的计算。
车辆信息发送部204通过通信装置25与远程辅助终端30进行通信。车辆信息发送部204在发出了远程辅助的请求时将辅助请求和远程辅助所需的车辆信息向服务器10发送。在由服务器10分配了负责车辆20的辅助的操作员40之后，车辆信息与辅助请求一起经由服务器10发送到操作员40的远程辅助终端30。
5.远程辅助系统中的处理
如上述那样构成的远程辅助系统100中的处理的流程如图12所示。图12是表示远程辅助系统100在车辆20、远程辅助终端30以及操作员40之间的处理流程的序列图。
首先，从车辆20的车辆信息发送部204发送辅助请求和车辆信息。详细而言，辅助请求暂时由服务器10接收，在分配了负责车辆20的辅助的操作员40之后，与车辆信息一起发送到操作员40的远程辅助终端30。辅助请求和车辆信息由远程辅助终端30的车辆信息接收部301接收。
接收到辅助请求的远程辅助终端30的将来信息生成部302计算用于计算将来信息的延迟时间。但是，在使用固定值作为延迟时间的情况下，不需要该处理。
远程辅助终端30的将来信息生成部302基于延迟时间和车辆信息，生成与比当前时间点更向前的将来时刻的车辆20和周边物体的状态相关的将来信息。
远程辅助终端30的远程辅助显示部303将由将来信息生成部302生成的将来信息显示于显示装置32。根据显示于显示装置32的将来信息，操作员40能够掌握将来时刻的车辆20与周边物体的位置关系来判断针对辅助请求的辅助内容。
操作员40将判断出的辅助内容输入到输入装置33。远程辅助终端30的远程辅助操作部304受理输入到输入装置33的辅助内容。
远程辅助终端30的指令信号发送部305将远程辅助操作部304受理的辅助内容与由将来信息生成部302生成的将来信息一起向车辆20发送。辅助内容和将来信息由车辆20的指令信号接收部201接收。
车辆20的车辆指令变更部202基于从远程辅助终端30输入的将来信息，进行在输入了辅助内容时显示于显示装置32的车辆20与周边物体的位置关系被实现的确认。
接受到得到了上述的确认这一情况，车辆20的自动驾驶系统部203执行与辅助内容相应的远程辅助。换言之，在得到上述的确认之前，在车辆20中不执行与辅助内容相应的远程辅助。通过由远程辅助系统100执行以上的处理，能够在操作员40所期望的时机使车辆20进行动作。
接下来，分别对远程辅助终端30的处理和车辆20的处理进行说明。
图13是表示远程辅助终端30的处理的一例的流程图。远程辅助终端30的存储器31b中存储的程序31c使处理器31a执行该流程图所示的一系列的处理，使远程辅助终端30作为操作员UI管理系统发挥功能。
接受到接收了来自车辆20的辅助请求这一情况，执行步骤S101。在步骤S101中，判定计算出的将来时刻是否有效。在计算出的将来时刻有效的情况下，执行步骤S103。在计算出的将来时刻无效的情况下，在执行步骤S102后执行步骤S103。在步骤S102中，基于最新的延迟时间来计算出将来时刻。
执行步骤S101和S102的理由如下所述。例如，假设另外测量出的通信延迟的移动平均被用于将来时刻的计算。在该情况下，若通信中断了假定以上时间，则在通信延迟的移动平均值中加入中断的时间量，因此在再连接后计算出的将来时刻成为与根据实际的延迟时间计算出的将来时刻不同的无效的时刻。或者，由于通信状态在中断前和中断后不同，因此中断前的延迟时间有时无法参考。因此，在通信中断了假定以上时间时，基于未受到其影响的最新的延迟时间来计算将来时间。或者，基于中断后新计算出的延迟时间来计算将来时间。
在步骤S103中，基于从车辆20接收到的车辆信息来生成将来时刻的将来信息。在步骤S104中，将在步骤S103中生成的将来信息显示于显示装置32。
在步骤S105中，判定是否从操作员40获取了辅助内容。反复执行步骤S104和步骤S105，直到从操作员40获取到辅助内容为止。然后，在从操作员40获取到辅助内容的情况下，执行步骤S106。在步骤S106中，将获取到的辅助内容向车辆20发送。
图14是示出由车辆20执行的处理的一例的流程图。存储在车辆20的存储器21b中的程序21c使处理器21a执行图14的流程图所示的一系列处理。
接受到产生了辅助请求这一情况，车辆20执行步骤S201。辅助请求被编程为响应于预定义事件的产生而产生。在步骤S201中，判定之前刚发送到远程辅助终端30的预测信息是否有效。
预测信息无效的一例是从上次发送的预测信息起经过了一定时间以上。预测信息无效的另一例是与和车辆20的路径干涉的物体的预测路径有关的信息相对于上次发送的信息显著改变。与预测路径相关的信息发生变化例如包括干涉的地点接近某一距离以上的情况、干涉的物体的加速度·速度变化某一值以上的情况、在车辆20的最近处干涉的物体变化为与上次不同的物体的情况等。
在之前刚刚发送的预测信息有效的情况下，执行步骤S203。在之前刚刚发送的预测信息无效的情况下，在执行步骤S202之后执行步骤S203。在步骤S202中，计算新的预测信息。在步骤S203中，将有效的预测信息与路径计划一起作为车辆信息向远程辅助终端30发送。
在步骤S204中，判定是否从远程辅助终端30接收到辅助内容。反复执行步骤S204，直到接收到辅助内容为止。在接收到辅助内容的情况下，并行地执行步骤S205和步骤S206。在步骤S205中，临时保存接收到的辅助内容和与辅助内容一起接收到的将来信息。在步骤S206中，计算并临时保存在当前的车辆20的状况下能够确保安全的路径。
接着，在步骤S207中，计算在步骤S205中临时保存的将来信息与辅助内容的执行时的周边信息的匹配度。将来信息中包括在由操作员40输入了辅助内容时显示于显示装置32的车辆20与周边物体之间的未来的位置关系。周边信息中包括由外部传感器22获取的车辆20与周边物体的实际的位置关系。更详细而言，在步骤S207中计算出的匹配度是未来的位置关系与实际的位置关系的匹配度。
在步骤S208中，判定在步骤S207中计算出的匹配度是否在容许范围内，即，匹配度是否在阈值以上。如果匹配度为阈值以上，则执行步骤S209。在步骤S209中，执行在步骤S205中临时保存的辅助内容。
在匹配度小于阈值的情况下，放弃执行在步骤S205中临时保存的辅助内容，取而代之执行步骤S210。在步骤S210中，判定是否能够向操作员40再次请求辅助。在能够向操作员40再次请求辅助的情况下，返回最初的处理而产生辅助请求。在不是能够向操作员40再次请求辅助的状况的情况下，执行步骤S211。在步骤S211中，执行在步骤S206中临时保存的能够确保安全的路径。
图15是表示车辆20的处理的其它例的流程图。在采用该例子的情况下，存储于车辆20的存储器21b的程序21c使处理器21a执行图15的流程图所示的一系列的处理。在以下，关于与图14的流程图共同的处理，将省略或简化说明，关于图15的流程图所特有的处理，将重点说明。
根据图15的流程图，接着步骤S205及步骤S206执行步骤S221。在步骤S221中，对在车辆20中能够执行辅助内容的时刻与被输入了辅助内容时的显示装置32的将来时刻进行比较。然后，判定辅助内容的可执行时刻是否超过将来时刻。
在辅助内容的可执行时刻未超过将来时刻的情况下，能够判断为显示于显示装置32的车辆20与周边物体的位置关系被实现或将来被实现。由此，在步骤S221的判定结果为肯定的情况下，在步骤S222中待机至将来时刻，之后执行步骤S209。在辅助内容的可执行时刻与将来时刻一致的情况下，不待机而立即执行步骤S209。
另一方面，在车辆20中能够执行远程辅助的时刻超过将来时刻的情况下，能够判断为显示于显示装置32的车辆20与周边物体的位置关系已经无法被实现。由此，在步骤S221的判定结果为否定的情况下，不执行步骤S209而执行步骤S210。
但是，在步骤S221的判定结果为否定的情况下，也可以在执行步骤S210之前执行步骤S223。在步骤S223中，计算在步骤S205中临时保存的将来信息与辅助内容的执行时的周边信息的匹配度，判定该匹配度是否为阈值以上。
若判定的结果为匹配度为阈值以上，则也可以执行步骤S209。也就是说，即使在将来时刻已过的情况下，只要在现实上实现了显示于显示装置32的车辆20与周边物体的位置关系，就也可以执行在步骤S205中临时保存的辅助内容。如果匹配度比阈值低，则不执行步骤S209而执行步骤S210。
在采用上述的例子作为车辆20的处理的情况下，用于将来时刻的计算的延迟时间优选设定为比假定的实际的延迟时间长的时间。由此，车辆20能够在接收到辅助内容之后，等待至将来时刻，之后可靠地执行辅助内容。

Claims (9)

1.一种远程辅助方法，对具有自主行驶功能的车辆进行远程辅助，其特征在于，该远程辅助方法包括：
将基于由所述车辆创建的用于自主行驶的路径计划和与存在于所述车辆的周围的物体相关的信息预测的、比当前时间点更向前的将来时刻的所述车辆与所述物体的位置关系空间地显示于显示装置；
将从远程操作员输入的辅助内容向所述车辆发送；以及
在所述车辆接收到所述辅助内容之后，接受实现了在被输入了所述辅助内容时显示于所述显示装置的所述车辆与所述物体的位置关系的确认，在所述车辆中执行与所述辅助内容相应的远程辅助。
2.根据权利要求1所述的远程辅助方法，其特征在于，
所述确认包括对在被输入了所述辅助内容时显示于所述显示装置的所述车辆与所述物体的位置关系与由所述车辆的传感器获取的所述车辆与所述物体的实际的位置关系的匹配度在容许范围内进行确认。
3.根据权利要求2所述的远程辅助方法，其特征在于，
与所述物体相关的信息是由所述传感器获取的信息，由所述传感器获取的与所述物体相关的信息的至少一部分被用于所述路径计划的创建。
4.根据权利要求2或3所述的远程辅助方法，其特征在于，
所述确认包括对在所述车辆中能够执行与所述辅助内容相应的远程辅助的时刻未超过在被输入了所述辅助内容时显示于所述显示装置的所述车辆与所述物体的位置关系的将来时刻进行确认。
5.一种远程辅助系统，对具有自主行驶功能的车辆进行远程辅助，其特征在于，
该远程辅助系统包括：
至少1个存储器，包括至少1个程序；以及
至少1个处理器，与所述至少1个存储器结合，
所述至少1个程序被构成为使所述至少1个处理器执行：
将基于由所述车辆创建的用于自主行驶的路径计划和与存在于所述车辆的周围的物体相关的信息预测的、比当前时间点更向前的将来时刻的所述车辆与所述物体的位置关系空间地显示于显示装置；
将从远程操作员输入的辅助内容向所述车辆发送；以及
在所述车辆接收到所述辅助内容之后，接受实现了在被输入了所述辅助内容时显示于所述显示装置的所述车辆与所述物体的位置关系的确认，在所述车辆中执行与所述辅助内容相应的远程辅助。
6.根据权利要求5所述的远程辅助系统，其特征在于，
所述确认包括对在被输入了所述辅助内容时显示于所述显示装置的所述车辆与所述物体的位置关系与由所述车辆的传感器获取的所述车辆与所述物体的实际的位置关系的匹配度在容许范围内进行确认。
7.根据权利要求6所述的远程辅助系统，其特征在于，
与所述物体相关的信息是由所述传感器获取的信息，由所述传感器获取的与所述物体相关的信息的至少一部分被用于所述路径计划的创建。
8.根据权利要求6或7所述的远程辅助系统，其特征在于，
所述确认包括对在所述车辆中能够执行与所述辅助内容相应的远程辅助的时刻未超过在被输入了所述辅助内容时显示于所述显示装置的所述车辆与所述物体的位置关系的将来时刻进行确认。
9.一种计算机可读取的记录介质，记录了使计算机执行处理的至少一个程序，其特征在于，
所述处理包括：
将基于由具有自主行驶功能的车辆创建的用于自主行驶的路径计划和与存在于所述车辆的周围的物体相关的信息预测的、比当前时间点更向前的将来时刻的所述车辆与所述物体的位置关系空间地显示于显示装置；
将从远程操作员输入的辅助内容向所述车辆发送；以及
在所述车辆接收到所述辅助内容之后，接受实现了在被输入了所述辅助内容时显示于所述显示装置的所述车辆与所述物体的位置关系的确认，在所述车辆中执行与所述辅助内容相应的远程辅助。
CN202310125860.7A 2022-02-15 2023-02-01 远程辅助方法、远程辅助系统以及计算机可读取的记录介质 Pending CN116610049A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-021586 2022-02-15
JP2022021586A JP2023118573A (ja) 2022-02-15 2022-02-15 遠隔支援方法、遠隔支援システム、及びプログラム

Publications (1)

Publication Number Publication Date
CN116610049A true CN116610049A (zh) 2023-08-18

Family

ID=87558495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310125860.7A Pending CN116610049A (zh) 2022-02-15 2023-02-01 远程辅助方法、远程辅助系统以及计算机可读取的记录介质

Country Status (3)

Country Link
US (1) US20230259127A1 (zh)
JP (1) JP2023118573A (zh)
CN (1) CN116610049A (zh)

Also Published As

Publication number Publication date
JP2023118573A (ja) 2023-08-25
US20230259127A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
CN113128326B (zh) 具有语义地图和lstm的车辆轨迹预测模型
CN110419211B (zh) 信息处理装置、信息处理方法和计算机可读的存储介质
US11225249B2 (en) Vehicle control device, vehicle control method, and storage medium
JP7156217B2 (ja) 車両遠隔指示システム
US20210197808A1 (en) Moving body control system
US11332132B2 (en) Method of handling occlusions at intersections in operation of autonomous vehicle
KR101291067B1 (ko) 차량 제어 장치 및 그 자율 주행 방법, 지역 서버 장치 및 그 자율 주행 서비스 방법, 전역 서버 장치 및 그 자율 주행 서비스 방법
JP6601696B2 (ja) 予測装置、予測方法、およびプログラム
US11613254B2 (en) Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations
US20200074851A1 (en) Control device and control method
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
EP3882100B1 (en) Method for operating an autonomous driving vehicle
US20200311623A1 (en) Parking management apparatus, method for controlling parking management apparatus, and storage medium
CN111183082A (zh) 车辆控制装置、车辆控制方法及程序
JP7207256B2 (ja) 車両制御システム
JP2020194209A (ja) 制御装置、乗降施設、制御方法、およびプログラム
JP7341806B2 (ja) 運転制御方法及び運転制御装置
JP2021006448A (ja) 単一車両走行用に設計された自動運転システムでの車両隊列実施
US20220397898A1 (en) Remote control request system, remote control request method, and nontransitory storage medium
CN116610049A (zh) 远程辅助方法、远程辅助系统以及计算机可读取的记录介质
EP4026747A1 (en) Sound source detection and localization for autonomous driving vehicle
EP3889944A1 (en) A vehicle, fleet management and traffic light interaction architecture design via v2x
JP7092955B1 (ja) 車両制御装置、車両制御方法、およびプログラム
CN117813227A (zh) 用于自主交通工具的互补控制系统
US20210309215A1 (en) Forward collision warning alert system for autonomous driving vehicle safety operator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination