CN109891470A - 远程操作系统、交通系统及远程操作方法 - Google Patents

Abstract

一种车辆的远程操作系统，其具备多个远程操作装置，该远程操作装置具备：通信部，其与车辆进行通信，并接收包含远程操作的请求的信息；提示部，其将由所述通信部从所述车辆接收到的所述车辆的状况向远程操作者提示；接受部，其接受由所述远程操作者进行的操作；以及控制部，其基于由所述接受部接受到的操作来生成控制信息，并使用所述通信部向所述车辆发送，其中，多个所述远程操作装置中的与发送了所述远程操作的请求的车辆的通信环境良好的远程操作装置执行远程操作。

Description

远程操作系统、交通系统及远程操作方法

技术领域

本发明涉及远程操作系统、交通系统及远程操作方法。

背景技术

近年来，对自动地进行加减速、转向的自动驾驶的研究不断进展。正研究如下技术：在自动驾驶中通过判断机构与车辆进行双方向的通信，在判断为不能执行自律意向型的自动驾驶的情况下，车辆与外部设备进行通信，来执行基于远程操作的他律意向型的自动驾驶(参照专利文献1)。

另外，在进行车辆的远程操作的情况下，在拍摄到实际的行驶状态的时间点的场景与进行远程操作的操作者用于进行操作的画面上显示的影像之间，会产生通信的延迟等引起的时间性的偏差(通信迟滞)。与此相关联而记载有通过GPS(Global PositioningSystem)取得本车的位置来进行自动驾驶的自动割草机。该自动割草机公开了如下装置的发明，该装置具备：用于进行远程操作的通信机构；对转向、驱动系统进行控制的控制机构；以及基于接收的位置信息来预测考虑通信迟滞而修正后的进行控制动作的位置的位置预测机构(参照专利文献2)。

在先技术文献

专利文献

专利文献1：国际公开第2016/038931号

专利文献2：日本特开2013-031389号公报

发明的概要

发明要解决的课题

然而，在现有技术中，关于在良好的通信环境下进行远程操作的情况未作考虑。

发明内容

本发明考虑到这样的情况而提出，其目的之一在于提供一种能够在良好的通信环境下进行远程操作的远程操作系统、交通系统及远程操作方法。

用于解决课题的方案

技术方案1所记载的发明为车辆的远程操作系统(1)，其具备多个远程操作装置(320)，该远程操作装置(320)具备：通信部(310)，其与车辆(M)进行通信，并接收包含远程操作的请求的信息；提示部(321)，其将由所述通信部从所述车辆接收到的所述车辆的状况向远程操作者提示；接受部(330)，其接受由所述远程操作者进行的操作；以及控制部(340)，其基于由所述接受部接受到的操作来生成控制信息，并使用所述通信部向所述车辆发送，其中，多个所述远程操作装置中的与发送了所述远程操作的请求的车辆的通信环境良好的远程操作装置执行远程操作。

技术方案2所记载的发明以技术方案1所记载的发明为基础，其中，所述远程操作系统还具备选择部(311)，该选择部(311)选择多个所述远程操作装置中的与发送了所述远程操作的请求的车辆的通信环境良好的远程操作装置。

技术方案3所记载的发明以技术方案2所记载的发明为基础，其中，优先选择与发送了所述远程操作的请求的车辆的通信距离短、或通信速度最快、或通信最稳定的远程操作装置中的任一个。

技术方案4所记载的发明以技术方案1所记载的发明为基础，其中，基于所述通信部从所述车辆接收到的所述车辆的状况来推定将来的车辆的状况，并将推定出的所述将来的车辆的状况向所述远程操作者提示。

技术方案5所记载的发明以技术方案4所记载的发明为基础，其中，所述提示部显示基于由所述通信部从所述车辆接收到的车辆的状况得到的图像，而且在由所述通信部从所述车辆接收到的车辆的状况为在所述车辆的前方物体少的状况的情况下，将基于由所述通信部从所述车辆接收到的车辆的状况得到的图像的一部分放大后的图像作为表示所述将来的车辆的状况的图像来显示。

技术方案6所记载的发明以技术方案4所记载的发明为基础，其中，所述通信部从所述车辆取得与自动驾驶的行动计划相关的信息，所述提示部基于所述行动计划来推定将来的车辆的状况。

技术方案7所记载的发明以技术方案4所记载的发明为基础，其中，将定点观测图像与基于由所述通信部从所述车辆接收到的车辆的状况得到的图像合成，由此生成表示所述将来的车辆的状况的图像。

技术方案8所记载的发明以技术方案1所记载的发明为基础，其中，所述远程操作系统具备：判定部，其判定在所述车辆行驶的预定的路线中是否包括包含通信障碍产生预想位置的路线；以及变更部，其在由所述判定部判定为包括包含通信障碍产生预想位置的路线的情况下，以回避所述通信障碍产生预想位置的方式变更路径。

技术方案9所记载的发明为交通系统，其具备：技术方案1所记载的远程操作系统；以及在接受所述远程操作的车辆上搭载的车辆控制系统。

技术方案10所记载的发明以技术方案9所记载的发明为基础，其中，基于所述车辆的状况来推定将来的车辆的状况，并将推定出的所述将来的车辆的状况向所述远程操作系统发送。

技术方案11所记载的发明以技术方案10所记载的发明为基础，其中，基于行动计划来执行自动驾驶，并基于所述行动计划来推定将来的车辆的状况。

技术方案12所记载的发明为远程操作方法，其使多个远程操作装置进行如下处理：与车辆进行通信，并接收包含远程操作的请求的信息；将从所述车辆接收到的所述车辆的状况向远程操作者提示；接受由所述远程操作者进行的操作；以及基于接受到的所述操作来生成控制信息，并向所述车辆发送，在所述远程操作方法中，多个所述远程操作装置中的与发送了所述远程操作的请求的车辆的通信环境良好的远程操作装置执行远程操作。

[发明效果]

根据技术方案1、2、9、12所记载的发明，由于选择多个远程操作装置中的与车辆之间的通信迟滞少的远程操作装置，因此能够减少通信迟滞。

根据技术方案3～7、9～11所记载的发明，即使存在车辆与远程操作装置之间的通信迟滞，由于生成并显示表示对拍摄到的车辆的状况进行推定后的推定状况的图像，因此也能够从远程操作者接受在车辆的将来的位置处所需的操作。

根据技术方案8所记载的发明，由于重新改线成回避预先预测为产生通信障碍的位置的路线，因此能够提高车辆的远程操作的安全性。

附图说明

图1是交通系统1的概念图。

图2是表示搭载于车辆M的结构的一例的图。

图3是表示由本车位置识别部122识别出车辆M相对于行驶车道L1的相对位置及姿态的情形的图。

图4是表示基于推荐车道来生成目标轨道的情形的图。

图5是表示远程操作系统300中的装置结构的图。

图6是示意性地表示远程操作装置320的结构的图。

图7是表示提示部321的结构的框图。

图8是表示产生通信迟滞的期间的车辆M的移动的图。

图9是例示基于拍摄到的图像V而生成的推定状况的图。

图10是例示通过将拍摄到的图像V的一部分放大而生成的推定状况S的图。

图11是表示远程操作系统300的处理的流程的流程图。

图12是表示自动地选择远程操作装置320的处理的顺序图。

图13是表示在第二实施方式的车辆M上搭载的结构的一例的图。

图14是表示通过定点相机K拍摄的车辆的状态的图。

具体实施方式

以下，参照附图，说明本发明的远程操作系统、交通系统、远程操作方法及远程操作程序的实施方式。

<第一实施方式>

[系统结构]

图1是交通系统1的概念图。交通系统1通过多个车辆M-1～M-n(n为任意的自然数)与远程操作系统300经由网络NW进行通信来实现。以下，在不对车辆进行区分时，称为车辆M。车辆M例如为二轮、三轮、四轮等的车辆，其驱动源为柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。而且，车辆M是能够执行自动地控制加减速或转向中的至少一方的自动驾驶的车辆。网络NW包括作为无线通信的接口的基地站、WAN(WideArea Network)、LAN(Local Area Network)、互联网、专用线路、卫星线路等。

在交通系统1中，从车辆M向远程操作系统300发送远程操作的委托(请求)，或者从车辆M对其他的车辆M发送远程操作的委托(请求)，由此来执行车辆M的远程操作。

[车辆结构]

首先，说明搭载于车辆M的结构。图2是表示搭载于车辆M的结构的一例的图。在车辆M上例如搭载有相机10、雷达装置12、探测器14、物体识别装置16、通信装置20、HMI(HumanMachine Interface)30、导航装置50、MPU(Micro-Processing Unit)60、车辆传感器70、驾驶操作件80、自动驾驶控制单元100、行驶驱动力输出装置200、制动装置210、转向装置220。这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而相互连接。需要说明的是，图2所示的结构只不过为一例，可以省略结构的一部分，也可以进一步追加其他的结构。图2所示的结构中，至少包含相机10、通信装置20、驾驶操作件80、第一控制部120、第二控制部140及被远程操作控制部160的结构是“车辆控制装置”的一例。

相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10在车辆M的任意的部位安装有一个或多个。在拍摄前方的情况下，相机10安装于前风窗玻璃上部、车室内后视镜背面等。相机10例如周期性地反复拍摄车辆M的周边。相机10也可以是立体摄影机。

雷达装置12向车辆M的周边放射毫米波等电波，并检测由物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在车辆M的任意的部位安装有一个或多个。雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。

探测器14是测定相对于照射光的散射光来检测到对象为止的距离的LIDAR(LightDetection and Ranging或Laser Imaging Detection and Ranging)。探测器14在车辆M的任意的部位安装有一个或多个。

物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理，来识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制单元100输出。

通信装置20利用例如蜂窝网、Wi-Fi(注册商标)网、Bluetooth(注册商标)、DSRC(Dedicated Short Range Communication)等与存在于车辆M的周边的其他车辆进行通信，或者经由无线基地站与各种服务器装置、远程操作系统300进行通信。

HMI30对车辆M的乘客提示各种信息，并接受由乘客进行的输入操作。HMI30包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键等。

导航装置50例如具备GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53，并将第一地图信息54保持于HDD(Hard Disk Drive)、闪存器等存储装置。GNSS接收机基于从GNSS卫星接收到的信号，来确定车辆M的位置。车辆M的位置也可以通过利用了车辆传感器70的输出的INS(Inertial Navigation System)来确定或补充。导航HMI52包括显示装置、扬声器、触摸面板、按键等。导航HMI52可以与前述的HMI30一部分或全部共用化。路径决定部53例如参照第一地图信息54来决定从由GNSS接收机51确定出的车辆M的位置(或者输入的任意的位置)到由乘客使用导航HMI52输入的目的地为止的路径。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point OfInterest)信息等。另外，路径决定部53以尽量回避后述的通信障碍产生预想位置的方式决定路径。由路径决定部53决定出的路径向MPU60输出。另外，导航装置50也可以基于由路径决定部53决定出的路径来进行使用了导航HMI52的路径引导。需要说明的是，导航装置50例如可以通过乘客所持有的智能手机、平板终端等终端装置的功能来实现。另外，导航装置50还可以经由通信装置20向导航服务器发送当前位置和目的地，并取得从导航服务器回复的路径。

MPU60例如作为推荐车道决定部61发挥功能，并将第二地图信息63保持于HDD、闪存器等存储装置。推荐车道决定部61将从导航装置50提供的路径分割为多个区段(例如，在车辆行进方向上按100[m]进行分割)，并参照第二地图信息63按区段来决定推荐车道。推荐车道决定部61进行在从左侧起的第几个车道上行驶这样的决定。推荐车道决定部61在路径中存在分支部位、汇合部位等的情况下，决定推荐车道，以使车辆M能够在用于向分支目的地行进的合理的路径上行驶。

第二地图信息63是比第一地图信息54精度高的地图信息。第二地图信息63例如包含车道的中央的信息或车道的边界的信息等。另外，第二地图信息63还可以包含道路信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。道路信息中包含高速道路、收费道路、国道、都道府县道这样的表示道路的类别的信息、道路的车道数、各车道的宽度、道路的坡度、道路的位置(包含经度、纬度、高度的三维坐标)、车道的弯路的曲率、车道的汇合及分支点的位置、设置于道路的标识、通信障碍产生预想位置、远程操作推荐地点等的信息。通信障碍产生预想位置是指隧道、大楼之间、地下等通信环境差且预想到产生通信障碍的位置。远程操作推荐地点是指拥堵的地点等的自动驾驶因棘手的方向盘操作、油门操作等而需要烦杂的操作的地点。远程操作推荐地点根据过去的统计数据等来决定。第二地图信息63也可以通过使用通信装置20访问其他装置而随时被更新。

MPU60参照由路径决定部53决定出的路径、第二地图信息63、以及后述的行动计划生成部123生成的行动计划，来判定在推荐车道中是否存在通信障碍产生预想位置。MPU60当在行驶的预定的路线中检测出通信障碍产生预想位置时，以回避包含通信障碍产生预想位置的路线并成为不会产生通信障碍的路线的方式对路径进行重新改线。上述MPU60的结构也可以搭载于远程操作系统300。

车辆传感器70包含检测车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测车辆M的朝向的方位传感器等。

驾驶操作件80例如包括油门踏板、制动踏板、变速杆、转向盘等操作件。在驾驶操作件80上安装有对操作量或操作的有无进行检测的传感器，其检测结果向自动驾驶控制单元100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一方或双方输出。

自动驾驶控制单元100例如具备第一控制部120、第二控制部140、被远程操作控制部160。第一控制部120、第二控制部140及被远程操作控制部160分别通过CPU(CentralProcessing Unit)等处理器执行程序(软件)来实现。另外，以下说明的第一控制部120、第二控制部140及被远程操作控制部160的功能部中的一部分或全部也可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Fie1d-Programmable Gate Array)等硬件来实现，还可以通过软件与硬件的协同配合来实现。

第一控制部120例如具备外界识别部121、本车位置识别部122、行动计划生成部123。

外界识别部121基于从相机10、雷达12及探测器14直接输入、或者经由物体识别装置16输入的信息，来识别周边车辆的位置及速度、加速度等的状态。周边车辆的位置可以由该周边车辆的重心、角部等代表点来表示，也可以由通过周边车辆的轮廓表现出的区域来表示。周边车辆的“状态”可以包括周边车辆的加速度、加加速度、或者“行动状态”(例如是否正进行车道变更或者是否要进行车道变更)。另外，外界识别部121除了识别周边车辆之外，还可以识别护栏、电线杆、驻车车辆、行人、其他物体的位置。

本车位置识别部122例如识别车辆M行驶的车道(行驶车道)、以及车辆M相对于行驶车道的相对位置及姿态。本车位置识别部122例如将从第二地图信息63得到的道路划分线的图案(例如实线与虚线的排列)与从由相机10拍摄到的图像中识别出的车辆M的周边的道路划分线的图案进行比较，来识别行驶车道。在该识别中，也可以加入从导航装置50取得的车辆M的位置、由INS处理的处理结果。

并且，本车位置识别部122例如识别车辆M相对于行驶车道的位置、姿态。图3是表示由本车位置识别部122识别出车辆M相对于行驶车道L1的相对位置及姿态的情形的图。本车位置识别部122例如识别车辆M的基准点(例如重心)从行驶车道中央CL的偏离OS、以及车辆M的行进方向相对于将行驶车道中央CL相连的线所成的角度θ，来作为车辆M相对于行驶车道L1的相对位置及姿态。需要说明的是，也可以取代于此，本车位置识别部122识别车辆M的基准点相对于本车道L1的任一侧端部的位置等，来作为车辆M相对于行驶车道的相对位置。由本车位置识别部122识别出的车辆M的相对位置向推荐车道决定部61及行动计划生成部123提供。

行动计划生成部123生成直至目的地为止的路径上的车辆M的行动计划。行动计划包括在自动驾驶中顺次执行的事件和在各事件中与车辆M将来行驶的目标轨道相关的信息。行动计划生成部123决定在自动驾驶中顺次执行的事件，以便能够在由推荐车道决定部61决定出的推荐车道上行驶，且应对车辆M的周边状况。事件中例如包括以恒定速度在相同的行驶车道上行驶的定速行驶事件、追随于前行车辆的追随行驶事件、车道变更事件、汇合事件、分支事件、紧急停止事件、用于从自动驾驶切换为远程操作的远程操作事件等。另外，在这些事件的执行中，也存在基于车辆M的周边状况(周边车辆、行人的存在、道路施工引起的车道狭窄等)来计划用于回避的行动的情况。

行动计划生成部123生成车辆M将来行驶的目标轨道。目标轨道例如包含速度要素。例如，每隔规定的采样时间(例如零点几[sec]左右)设定多个将来的基准时刻，并作为在这些基准时刻应到达的目标地点(轨道点)的集合来生成目标轨道。因此，在轨道点彼此的间隔宽的情况下，表示在该轨道点之间的区间高速行驶的情况。

图4是表示基于推荐车道来生成目标轨道的情形的图。如图所示，推荐车道设定为适合于沿着直至目的地的路径行驶。当来到推荐车道的切换地点的规定距离的近前(可以根据事件的种类来决定)时，行动计划生成部123起动车道变更事件、分支事件、汇合事件等。

在各事件的执行中，在需要回避障碍物的情况下，如图示那样生成回避轨道。行动计划生成部123例如生成多个目标轨道的候补，并基于安全性和效率性的观点来选择该时间点下的最佳的目标轨道。另外，行动计划生成部123当在路径中来到包含远程操作推荐地点的路线时，起动远程操作事件。

第二控制部140具备行驶控制部141。行驶控制部141控制行驶驱动力输出装置200、制动装置210及转向装置220，以使车辆M按照预定的时刻通过由行动计划生成部123生成的目标轨道。

关于被远程操作控制部160的功能，在后文叙述。

行驶驱动力输出装置200将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合、以及对它们进行控制的ECU。ECU按照从自动驾驶控制单元100输入的信息、或者从驾驶操作件80输入的信息来控制上述的结构。

制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从自动驾驶控制单元100输入的信息、或者从驾驶操作件80输入的信息来控制电动马达，并将与制动操作相应的制动转矩向各车轮输出。制动装置210也可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构来作为备用。需要说明的是，制动装置210不限于上述说明的结构，也可以是按照从行驶控制部141输入的信息来控制致动器，从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。

转向装置220例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从自动驾驶控制单元100输入的信息、或者从驾驶操作件80输入的信息来驱动电动马达，使转向轮的朝向变更。

[被远程操作控制]

以下，说明本实施方式的被远程操作控制。被远程操作控制部160在远程操作事件起动了的情况下，执行如下的被远程操作：使用通信装置20向远程操作系统300委托远程操作(发送远程操作请求)，并基于从远程操作系统300接收到的控制信息来自动地控制车辆M的加减速或转向中的至少一方。被远程操作控制部160例如具备远程操作决定部161。远程操作决定部161在远程操作事件起动了的情况下，使车辆M的自动驾驶停止，将车辆M的操作切换为远程操作。

[车外设备]

以下，说明进行远程操作的一侧的车外设备。图5是表示远程操作系统300中的装置构成的图。如图所示，在远程操作系统300中设有经由网络NW与车辆M(被远程操作车辆)进行通信的通信装置(通信部)310、选择部311、多个远程操作装置320-1、320-2、320-3、…。以下，在不对远程操作装置进行区分时，仅记为远程操作装置320。在各个远程操作装置320中，远程操作者为远程操作请求作准备而就座并等待。通信装置310接收来自车辆M的远程操作请求。

选择部311选择与发送了远程操作请求的车辆的通信环境良好的任一个远程操作装置320。通信环境良好例如是指通信速度快、或难以发生通信的切断且稳定的情况、或通信距离短的情况。通信距离短表示从发送侧发送的电波到达接收侧的距离短的无线通信的状态。选择部311优先选择与发送了远程操作的请求的车辆M的通信距离短、或通信速度最快、或通信最稳定的远程操作装置320中的任一个。通信装置310对选择出的远程操作装置320发送从车辆M接收到的信息(如前所述，远程操作请求、行动计划、由相机10拍摄到的图像、速度、角速度、车种等)，使其进行远程操作。

另外，远程操作系统300可以基于从通信装置310接收到的车辆M的行动计划，在路径中来到包含远程操作推荐地点的路线的情况下，从车辆M的自动驾驶切换为远程操作。此外，远程操作系统300也可以通过更新等来追加远程操作推荐地点，并当来到包含在行驶中的路线中追加的远程操作推荐地点的路线的情况下，从车辆M的自动驾驶切换为远程操作。由此，远程操作系统300即使从车辆M不发送远程操作请求，也能够通过远程操作系统300侧的判断来进行远程操作的切换。

图6是示意性地表示远程操作装置320的构成的图。远程操作装置320例如具备提示部321、扬声器322、座椅323、转向盘324、油门踏板及制动踏板等踏板类325、远程操作接受部(接受部)330、远程操作控制部(控制部)340。远程操作接受部330接受由远程操作者O进行的操作。远程操作控制部340基于由远程操作接受部330接受到的操作来生成控制信息，并使用通信装置310向车辆M发送。

图7是表示提示部321的结构的框图。提示部321将从车辆M接收到的包含车辆M的状况的信息向远程操作者O提示。提示部321具备推定状况生成部321a和显示部321b。推定状况生成部321a通过CPU等处理器执行程序(软件)来实现。另外，推定状况生成部321a也可以通过LSI、ASIC、FPGA等硬件来实现，还可以通过软件与硬件的协同配合来实现。

显示部321b例如为LCD(Liquid Crystal Display)、有机EL(Electroluminescence)显示装置，来显示图像或信息。需要说明的是，显示部321b也可以为HMD(Head Mount Display)。显示部321b例如显示由车辆M的相机10拍摄到的车外的风景的图像、车辆M的速度、发动机转速等。

在此，设想在车辆M与远程操作装置320之间的通信中产生通信迟滞的情况。图8是表示产生通信迟滞的期间的车辆M的移动的图。当显示部321b直接显示车辆M的状况时，产生车辆M与远程操作装置320之间的通信上的时间性的上行的通信迟滞。

上行的通信迟滞包括车辆M与远程操作系统300之间的通信所需的时间、从远程操作系统300接收来自车辆M的信息至在显示部321a上显示图像为止所需的处理时间等。例如，当在位置P1处拍摄车辆M的状况时，将该状况显示于显示部321b。此时，上行的通信迟滞需要时间T1，车辆M从P1的位置移动到P2的位置。

并且，在远程操作者O观察显示部321b而进行操作之后，在车辆M对操作进行响应之前也会产生下行的通信迟滞。下行的通信迟滞包括从远程操作者O进行了操作时至车辆M接收控制信息为止的时间、以及车辆M开始基于控制信息的操作之前的处理时间等。下行的通信迟滞需要时间T2，车辆M从P2的位置移动到P3的位置。因此，当操作者O进行观察的P1的位置的车辆M的状况所需的操作时，开始操作的车辆M处于P3的位置，产生远程操作中的偏差。

因此，显示部321b为了减少上行及下行的通信迟滞的影响而显示预读了车辆M的状况的图像。预读是指推定从拍摄的时间点的车辆M的状况起经过规定时间后的将来的车辆M的状况的情况。例如，推定状况生成部321a预读从车辆M接收到的车辆M的状况，生成表示根据拍摄的时间点的车辆M的状况推定的推定状况的图像，并将其显示于显示部321b。

规定时间根据对设想的通信迟滞进行合计来决定。例如运算上行的通信迟滞所需的时间T1与下行的通信迟滞所需的时间T2之和来作为合计的通信迟滞。

图9是例示基于推定状况得到的图像的图，该推定状况基于由相机10拍摄到的图像V而生成。推定状况生成部321a基于在P1的位置拍摄到的车辆M的状况的图像V来生成P3的位置的车辆M的状况的推定状况。推定状况生成部321a例如通过对由相机10拍摄到的图像进行加工来生成表示推定状况的图像。例如推定状况生成部321a通过使拍摄到的景色、物体的图像基于车辆M的速度、移动方向等信息移动来生成推定状况。

推定状况生成部321a在物体移动的情况下，将连续的图像帧进行比较来推定物体的移动量、移动方向。然后，推定状况生成部321a基于车辆的速度、移动方向的信息来推定经过规定时间后的物体的位置，生成表示推定状况的图像S。另外，在表示推定状况的图像S中例如也可以示出表示拍摄到的物体、景色的将来的位置的单纯的框线。

推定状况生成部321a在判断为拍摄到的车辆M的状况变化少的情况下，可以将拍摄到的图像V的一部分放大来生成表示相当于经过规定时间后的推定状况的图像S。图10是例示通过将拍摄到的图像V的一部分放大而生成的推定状况S的图。例如车辆M在前方没有其他的车辆的直线的道路上行驶的情况下，经过规定时间后的状况被推定为与将拍摄到的时间点的图像的中央附近的图像基于速度数据放大后的图像所示的状况类似。因此，推定状况生成部321a生成该放大后的图像S来作为表示推定状况的图像。

此外，推定状况生成部321a也可以基于由通信装置310取得的车辆M的行动计划而预读车辆M的状况来生成推定状况。当参照行动计划时，预测将来发生车辆M的右转、左转、行车道变更等的方向控制、停止这样的根据拍摄到的车辆M的状况无法推定的状况的情况。因此，推定状况生成部321a考虑行动计划的事件的时机和通信迟滞而生成方向控制等的推定状况。

在该情况下，推定状况生成部321a可以将表示推定状况的图像生成为通过CG(Computer Graphics)等合成的图像。此外，为了即便产生些许的通信迟滞也不与其他的车辆接触，推定状况生成部321a将表示推定状况的图像显示成，以使车间距离充分地扩大或使车辆M的速度降低的方式使远程操作者O进行远程操作，来确保安全余量。例如推定状况生成部321a可以在推定状况所示的图像中将其他的车辆比实际近地显示或将景色比实际放大地显示，来使远程操作者O进行成为安全侧那样的远程操作。即，推定状况生成部321a以基于通信环境来确保通过远程操作进行的操作的安全余量的方式显示表示推定状况的图像。

扬声器322根据由车辆M的物体识别装置16识别出的障碍物向车辆M的接近而发出警告声。远程操作者O就座于座椅323。提示部321显示表示推定状况的图像，使远程操作者O对驾驶操作件进行转向盘324、踏板类325等的操作。对这些驾驶操作件的操作量由未图示的传感器检测，并向远程操作接受部330输出。驾驶操作件也可以是操纵杆等其他的形态的驾驶操作件。远程操作接受部330将与从驾驶操作件输入的操作量对应的信息向远程操作控制部340输出。远程操作控制部340基于与从驾驶操作件输入的操作量对应的信息，来生成向车辆M发送的控制信息。控制信息由通信装置310发送。

通信装置310将这样生成的控制信息向车辆M发送。需要说明的是，在驾驶操作件上附设有用于作用根据操作量应产生的反力的反力输出装置。为了准确地决定反力，优选从车辆M对远程操作装置320供给速度、角速度等的信息。发送的控制信息例如为对转向盘324、踏板类325的操作量。

接下来，说明远程操作系统300的处理的流程。图11是表示远程操作系统300的处理的流程的流程图。远程操作系统300在接收到远程操作请求之后，经由通信装置310从车辆M接收包含车辆M的状况的信息(步骤S100)。选择部311从多个远程操作装置320中选择与车辆M的通信环境良好的一个远程操作装置320(步骤S110)。在选择出的远程操作装置320中，推定状况生成部321a生成表示预读了车辆M的状况的车辆M的推定状况的图像。然后，将表示推定状况的图像显示于显示部321b(步骤S120)。

远程操作接受部320接受远程操作者O基于显示部321b上显示的推定状况而进行的各操作(步骤S130)。远程操作控制部340将由远程操作接受部320接受到的远程操作者O的各操作作为控制信息而经由通信装置310向车辆M发送(步骤S140)。

在上述的步骤110中，远程操作系统300在接收到远程操作请求之后，通过选择部311从多个远程操作装置320中选择一个远程操作装置320，但也可以不通过选择部311而自动地选择一个远程操作装置320。例如，在接收到远程操作请求之后，通信装置310可以监视通信环境，从多个远程操作装置320中自动地选择与车辆M的通信环境最良好的一个远程操作装置320。

图12是表示自动地选择远程操作装置320的处理的顺序图。在图中，m、p、y为正整数。从进行自动驾驶的多个车辆M随机地发送远程操作请求。通信装置310按照与车辆M的通信环境良好的顺序将多个远程装置320建立顺位。通信装置310首先选择与车辆M的通信环境最良好的远程装置320-m。通信装置310建立车辆M与远程装置320-m之间的通信的连接。通信装置310在车辆M与远程装置320-m之间的通信的连接无法建立的情况下，首先选择与车辆M的通信环境第二良好的远程装置320-p。

然后，通信装置310建立车辆M与远程装置320-p之间的通信的连接。通信装置310在车辆M与远程装置320-p之间的通信的连接无法建立的情况下，选择与车辆M的通信环境第三良好的远程装置320-y。通信装置310在与远程装置320-y之间的通信的连接无法建立的情况下，与上述同样地选择仅次于远程装置320-y的通信环境良好的通信装置320即可。

根据以上说明的第一实施方式的交通系统1，在进行自动驾驶的车辆M从自动驾驶切换为远程操作时，能够从多个远程装置320中选择与车辆M之间的通信环境最良好的一个远程装置320。

另外，根据交通系统1，即使在车辆M与远程操作系统300之间的通信中产生通信迟滞，也能够降低通信迟滞的影响而接受远程操作者O的远程操作。交通系统1中，当远程操作系统300接收到车辆M取得的车辆M的状况时，远程操作系统300生成并显示表示预读了车辆M的状况的推定状况的图像，因此远程操作者O能够与将来的车外的状况对应而进行对转向盘324、踏板类325的操作。

<第二实施方式>

在第一实施方式中，说明了针对车辆M与远程操作系统300之间的通信迟滞而在远程操作系统300侧生成推定状况，从而从远程操作者O接受车辆将来所需的操作的情况。在第二实施方式中，车辆M侧预读车辆M的状况，并将预读后的将来的车辆M的状况向远程操作系统300发送。

图13是表示在第二实施方式的车辆M上搭载的结构的一例的图。车辆M将比自身取得的状况预读了的信息向远程操作系统300发送。在第二实施方式中，车辆M的第一控制部120具备推定状况生成部124。

推定状况生成部124运算通信装置20与远程操作系统300之间的通信迟滞。并且，推定状况生成部124基于通信迟滞，根据相机10拍摄到的车辆M的状况，来生成在与通信迟滞对应的规定时间的经过后推定的推定状况。此时，推定状况生成部124可以参照行动计划生成部123生成的行动计划来推定车辆M的状况并生成表示推定状况的图像。由推定状况生成部124生成的推定状况经由通信装置20向远程操作系统300发送。在接收到推定状况的远程操作系统300中，远程操作者O一边观察显示的表示推定状况的图像，一边进行远程操作。

根据以上说明的第二实施方式，通过在车辆M侧预读车辆M的状况，从而能够将将来的车辆M的状况向远程操作系统300发送。由此，交通系统1在各车辆M中进行与推定状况关联的处理，能够分散远程操作系统300的负担。

<第三实施方式>

在第一实施方式及第二实施方式中，说明了根据由相机10拍摄到的车辆M的状况来生成推定状况的情况。在第三实施方式中，使用由相机10以外的摄像装置拍摄到的图像来生成表示推定状况的图像。

图14是表示由定点相机K拍摄的车辆的状态的图。在网络NW上存在实时地提供由定点相机K拍摄到的景色的街景。定点相机K例如具有360度的视场及变焦功能，拍摄到的景色的图像能够由用户自由地设定视点方向及变焦。

在车辆M位于定点相机K的视场内的情况下，表示推定状况的图像可以生成为使用由定点相机K拍摄到的景色的图像来合成的图像。推定状况生成部321a根据定点相机K的图像，与从车辆M的当前位置推定的将来的位置对应来生成推定状况的景色。推定状况生成部321a确定视点方向和变焦来生成推定状况的景色。移动的物体被推定经过规定时间后的位置而生成，并被合成到推定的景色中。由此，生成表示推定状况的图像。

根据以上说明的第三实施方式，使用由与网络NW连接的定点相机K拍摄到的景色的图像数据，从而能够降低在车辆M与远程操作系统300之间发送接收的车辆M的状况的图像数据的容量，能够降低通信迟滞。

以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

符号说明：

1 交通系统

10 相机

16 物体识别装置

20 通信装置

30 HMI

80 驾驶操作件

100 自动驾驶控制单元

120 第一控制部

124 推定状况生成部

140 第二控制部

160 被远程操作控制部

161 远程操作决定部

300 远程操作系统

310 通信装置

311 选择部

320 远程操作装置

321 提示部

321a 推定状况生成部

330 远程操作接受部

340 远程操作控制部

Claims (12)

1.一种车辆的远程操作系统，其中，

所述远程操作系统具备多个远程操作装置，该远程操作装置具备：

通信部，其与车辆进行通信，并接收包含远程操作的请求的信息；

提示部，其将由所述通信部从所述车辆接收到的所述车辆的状况向远程操作者提示；

接受部，其接受由所述远程操作者进行的操作；以及

控制部，其基于由所述接受部接受到的操作来生成控制信息，并使用所述通信部向所述车辆发送，

多个所述远程操作装置中的与发送了所述远程操作的请求的车辆的通信环境良好的远程操作装置执行远程操作。

2.根据权利要求1所述的远程操作系统，其中，

所述远程操作系统还具备选择部，该选择部选择多个所述远程操作装置中的与发送了所述远程操作的请求的车辆的通信环境良好的远程操作装置。

3.根据权利要求2所述的远程操作系统，其中，

所述选择部优先选择与发送了所述远程操作的请求的车辆的通信距离短、或通信速度最快、或通信最稳定的远程操作装置中的任一个。

4.根据权利要求1所述的远程操作系统，其中，

所述提示部基于由所述通信部从所述车辆接收到的所述车辆的状况来推定将来的车辆的状况，并将推定出的所述将来的车辆的状况向所述远程操作者提示。

5.根据权利要求4所述的远程操作系统，其中，

所述提示部显示基于由所述通信部从所述车辆接收到的车辆的状况得到的图像，而且在由所述通信部从所述车辆接收到的车辆的状况为在所述车辆的前方物体少的状况的情况下，将基于由所述通信部从所述车辆接收到的车辆的状况得到的图像的一部分放大后的图像作为表示所述将来的车辆的状况的图像来显示。

6.根据权利要求4所述的远程操作系统，其中，

所述通信部从所述车辆取得与自动驾驶的行动计划相关的信息，

所述提示部基于所述行动计划来推定将来的车辆的状况。

7.根据权利要求4所述的远程操作系统，其中，

所述提示部将定点观测图像与基于由所述通信部从所述车辆接收到的车辆的状况得到的图像合成，由此生成表示所述将来的车辆的状况的图像。

8.根据权利要求1所述的远程操作系统，其中，

所述远程操作系统具备：

判定部，其判定在所述车辆行驶的预定的路线中是否包括包含通信障碍产生预想位置的路线；以及

变更部，其在由所述判定部判定为包括包含通信障碍产生预想位置的路线的情况下，以回避所述通信障碍产生预想位置的方式变更路径。

9.一种交通系统，其中，

所述交通系统具备：

权利要求1所述的远程操作系统；以及

在接受所述远程操作的车辆上搭载的车辆控制系统。

10.根据权利要求9所述的交通系统，其中，

所述车辆控制系统基于所述车辆的状况来推定将来的车辆的状况，并将推定出的所述将来的车辆的状况向所述远程操作系统发送。

11.根据权利要求10所述的交通系统，其中，

所述车辆控制系统基于行动计划来执行自动驾驶，并基于所述行动计划来推定将来的车辆的状况。

12.一种远程操作方法，其使多个远程操作装置进行如下处理：

与车辆进行通信，并接收包含远程操作的请求的信息；

将从所述车辆接收到的所述车辆的状况向远程操作者提示；

接受由所述远程操作者进行的操作；以及

基于接受到的所述操作来生成控制信息，并向所述车辆发送，

在所述远程操作方法中，

多个所述远程操作装置中的与发送了所述远程操作的请求的车辆的通信环境良好的远程操作装置执行远程操作。