CN111752267A - 控制装置、控制方法以及存储介质 - Google Patents

控制装置、控制方法以及存储介质 Download PDF

Info

Publication number
CN111752267A
CN111752267A CN202010192068.XA CN202010192068A CN111752267A CN 111752267 A CN111752267 A CN 111752267A CN 202010192068 A CN202010192068 A CN 202010192068A CN 111752267 A CN111752267 A CN 111752267A
Authority
CN
China
Prior art keywords
target
control device
vehicle
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010192068.XA
Other languages
English (en)
Inventor
松永英树
土屋成光
鹰野聪明
小野寺圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111752267A publication Critical patent/CN111752267A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种控制装置。用于从远程对操作对象物进行操作的控制装置具备：获取部，其从控制装置的外部的信息提供部获取与存在于操作对象物的周围且不是控制装置的操作对象的目标相关的信息；决定部，其基于与目标相关的信息来决定用于表示目标的虚拟目标；以及显示控制部，其将虚拟目标显示于与目标的地理位置对应的显示位置。

Description

控制装置、控制方法以及存储介质
技术领域
本发明涉及控制装置、控制方法以及存储介质。
背景技术
已知有由存在于远端的操作员操作车辆的远程驾驶技术。在远程驾驶中，作为所要求的要素之一，需充分抑制执行远程驾驶的操作员用的操作员装置与搭载于车辆的用户终端之间的通信延迟。在专利文献1中，通过发送车辆周围的环境的三维地图数据的差分信息来降低通信量。
现有技术文献
专利文献
专利文献1：日本特开2013-115803号公报
发明内容
发明所要解决的问题
即使利用了差分信息，但在通信量的降低方面仍有进一步改善的余地。本发明的目的在于提供一种用于降低远程操作中的通信量的技术。
用于解决问题的手段
鉴于上述问题，根据一部分实施方式，提供一种控制装置，其是用于从远程对操作对象物进行操作的控制装置，所述控制装置具备：获取单元，其从所述控制装置的外部的信息提供单元获取与存在于所述操作对象物的周围且不是所述控制装置的操作对象的目标相关的信息；决定单元，其基于与所述目标相关的信息来决定用于表示所述目标的虚拟目标；以及显示控制单元，其将所述虚拟目标显示于与所述目标的地理位置对应的显示位置。根据另一部分实施方式，提供一种控制方法，其是用于从远程对操作对象物进行操作的控制方法，所述控制方法具有：获取步骤，在所述获取步骤中，从所述控制装置的外部的信息提供单元获取与存在于所述操作对象物的周围且不是执行所述控制方法的控制装置的操作对象的目标相关的信息；决定步骤，在所述决定步骤中，基于与所述目标相关的信息来决定用于表示所述目标的虚拟目标；以及显示控制步骤，在所述显示控制步骤中，将所述虚拟目标显示于与所述目标的地理位置对应的显示位置。
发明效果
通过上述手段，远程操作中的通信量降低。
附图说明
图1是说明实施方式所涉及的车辆的构成例的框图。
图2是说明实施方式所涉及的远程驾驶装置的构成例的框图。
图3是说明实施方式所涉及的远程驾驶的控制台例的示意图。
图4是说明实施方式所涉及的车辆周边的实际环境的示意图。
图5是说明实施方式所涉及的远程控制系统的构成例的框图。
图6是说明实施方式所涉及的车辆的控制方法例的流程图。
图7是说明实施方式所涉及的远程驾驶装置的控制方法例的流程图。
图8是说明实施方式所涉及的远程驾驶装置的显示图像例的图。
图9是说明实施方式所涉及的远程驾驶装置的显示图像例的图。
图10是说明实施方式所涉及的考虑延迟的方法的示意图。
图11是说明实施方式所涉及的远程驾驶装置的控制方法例的流程图。
图12是说明实施方式所涉及的远程驾驶装置的控制方法例的流程图。
具体实施方式
以下，参照附图对实施方式进行详细说明。此外，以下的实施方式并非对权利要求书所涉及的发明进行限定，另外，在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外，对相同或者同样的构成标注相同的附图标记，并省略重复的说明。
车辆1包括控制车辆1的车辆用控制装置2(以下，简称为控制装置2)。控制装置2包括通过车内网络而连接为能够进行通信的多个ECU20～ECU29。各ECU包括以CPU为代表的处理器、半导体存储器等存储器、以及与外部设备的接口等。在存储器中存储处理器所执行的程序、处理器在处理中所使用的数据等。各ECU可以具备多个处理器、存储器以及接口等。例如，ECU20具备处理器20a和存储器20b。由处理器20a执行在存储器20b中储存的程序所包括的指令，由此执行基于ECU20的处理。取而代之地，ECU20也可以具备用于对基于ECU20的处理进行执行的ASIC等专用集成电路。关于其他ECU也相同。
以下，对各ECU20～ECU29负责的功能等进行说明。此外，关于ECU的数量、负责的功能，能够进行适当设计，能够比本实施方式更细化或整合。
ECU20执行与车辆1的自动驾驶功能以及远程驾驶功能相关的行驶控制。在该行驶控制中，ECU20自动控制车辆1的转向以及/或者加速减速。自动驾驶功能是指ECU20计划车辆1的行驶路径，并基于该行驶路径来控制车辆1的转向以及/或者加速减速的功能。远程驾驶功能是指ECU20按照来自车辆1的外部的操作员的指示来控制车辆1的转向以及/或者加速减速的功能。外部的操作员可以是人，也可以是AI(人工智能)。ECU20也能够组合执行自动驾驶功能和远程驾驶功能。例如，ECU20可以在没有来自操作员的指示的期间计划行驶路线来进行行驶控制，在有来自操作员的指示的情况下按照该指示进行行驶控制。
ECU21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)来对前轮进行转向的机构。另外，电动动力转向装置3包括发挥用于对转向操作进行辅助或对前轮进行自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶状态的情况下，ECU21根据来自ECU20的指示而自动控制电动动力转向装置3，控制车辆1的行进方向。
ECU22以及ECU23进行对车辆的外界的状况进行检测的检测单元41～43的控制以及检测结果的信息处理。检测单元41是对车辆1的前方进行拍摄的摄像机(以下，有时表述为摄像机41。)，在本实施方式的情况下，检测单元41在车辆1的车顶前部安装于前窗的车厢内侧。通过对摄像机41拍摄到的图像的解析，能够提取目标物的轮廓、道路上的车道的划分线(白线等)。
检测单元42是光学雷达(Light Detection and Ranging)(以下，有时表述为光学雷达42)，对检测车辆1的周围的目标物进行检测，或者对与目标物之间的距离进行测距。在本实施方式的情况下，光学雷达42设置有五个，在车辆1的前部的各角部各设置有一个，在后部中央设置有一个，在后部各侧方各设置有一个。检测单元43是毫米波雷达(以下，有时表述为雷达43)，对车辆1的周围的目标物进行检测，或者对与目标物之间的距离进行测距。在本实施方式的情况下，雷达43设置有五个，在车辆1的前部中央设置有一个，在前部各角部各设置有一个，在后部各角部各设置有一个。
ECU22进行一方的摄像机41和各光学雷达42的控制以及检测结果的信息处理。ECU23进行另一方的摄像机41和各雷达43的控制以及检测结果的信息处理。通过具备两组检测车辆的周围状况的装置，能够提高检测结果的可靠性，另外，通过具备摄像机、光学雷达、雷达这样的不同种类的检测单元，能够多方面地进行车辆的周边环境的解析。
ECU24进行陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等判定车辆1的行进路线。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息的服务器进行无线通信，获取这些信息。ECU24能够访问存储器中构建的地图信息的数据库24a，ECU24进行从当前地向目的地的路径探索等。ECU24、地图数据库24a、GPS传感器24b构成了所谓的导航装置。
ECU25具备车与车之间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信，进行车辆间的信息交换。通信装置25a也用于与车辆1的外部的操作员的通信。
ECU26控制动力装置6。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构，例如包括发动机和变速器。ECU26例如与由设置于油门踏板7A的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出，或者基于车速传感器7c检测到的车速等信息来切换变速器的变速挡。在车辆1的驾驶状态为自动驾驶状态的情况下，ECU26与来自ECU20的指示对应地自动控制动力装置6，控制车辆1的加速减速。
ECU27对包括方向指示器(转向灯)的照明装置8(前照灯、尾灯等照明器件)进行控制。在图1的例子的情况下，照明装置8设置在车辆1的前部、车门镜以及后部。ECU27还控制包括汽车喇叭的喇叭在内的朝向车外的音响装置11。照明装置8、音响装置11或其组合具有对车辆1的外界提供信息的功能。
ECU28进行输入输出装置9的控制。输入输出装置9进行对驾驶员的信息的输出和来自驾驶员的信息的输入的接受。语音输出装置91通过语音向驾驶员报告信息。显示装置92通过图像的显示对驾驶员报告信息。显示装置92例如配置于驾驶席正面，构成仪表板等。另外，在此例示了语音和显示，但也可以通过振动、光报告信息。另外，也可以组合语音、显示、振动或光中的多者来报告信息。进一步地，可以根据应报告的信息的等级(例如紧急度)，使组合不同，或者使报告方式不同。输入装置93配置于驾驶员能够操作的位置，是进行对车辆1的指示的开关组，但还可以包括语音输入装置。ECU28能够实施与ECU20的行驶控制相关的引导。关于引导的详情将在后面阐述。输入装置93可以包括用于对基于ECU20的行驶控制的动作进行控制的开关。输入装置93可以包括用于检测驾驶员的视线方向的摄像机。
ECU29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力来使车辆1减速或停止。ECU29例如与由设置于制动踏板7B的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的工作。在车辆1的驾驶状态为自动驾驶状态的情况下，ECU29与来自ECU20的指示对应地自动控制制动装置10，控制车辆1的减速以及停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而工作。另外，在动力装置6的变速器具备驻车锁定机构的情况下，也能够为了维持车辆1的停止状态而使该驻车锁定机构工作。
参照图2的框图，对本发明的一部分实施方式所涉及的远程驾驶装置200的构成进行说明。远程驾驶装置200是用于对具有远程驾驶功能的车辆提供远程驾驶服务的装置。远程驾驶装置200位于距服务提供对象的车辆远程处。
远程驾驶装置200可以为能够在多个动作模式下提供远程驾驶服务。远程驾驶服务的多个动作模式可以包括主导模式和辅助模式。主导模式是指远程驾驶装置200的操作员指定车辆的控制量(例如，转向角、油门踏板开度、制动踏板开度、转向灯拨杆的位置、灯光的打开/关闭等)的动作模式。辅助模式是指，车辆(具体而言为ECU20)按照远程驾驶装置200的操作员所指定的路径计划来决定车辆的控制量的动作模式。在辅助模式下，远程驾驶装置200的操作员可以自己生成并指定路径计划，也可以通过采用由车辆提出的路径计划来指定路径计划。
远程驾驶装置200具有图2所示的各构成要素。处理器201对远程驾驶装置200整体的动作进行控制。处理器201例如作为CPU发挥功能。存储器202存储用于远程操作装置200的操作的程序、临时数据等。存储器202例如由ROM、RAM等实现。输入部203用于远程驾驶装置200的使用者向远程驾驶装置200进行输入。远程驾驶装置200的使用者是指，在人是操作主体的情况下为该人，在AI是操作主体的情况下为监视AI的动作的人(监视者)。输出部204用于从远程驾驶装置200向使用者输出信息。存储部205存储用于远程驾驶装置200的动作的数据。存储部205由磁盘驱动器(例如HDD、SSD)等存储装置实现。通信部206提供远程驾驶装置200与其他装置(例如，远程驾驶对象的车辆)进行通信的功能，例如由网卡、天线等实现。
参照图3的概要图，对远程驾驶装置200的输入部203及输出部204的构成例进行说明。在该构成例中，由显示装置310以及音响装置320构成输出部204，由方向盘330、油门踏板340、制动踏板350、麦克风360以及多个开关370构成输入部203。
显示装置310是输出用于提供远程驾驶服务的视觉信息的装置。音响装置320是输出用于提供远程驾驶服务的听觉信息的装置。显示装置310中显示的画面包括一个主区域311和多个子区域312。在主区域311显示有与远程驾驶服务的提供对象的多个车辆中的控制对象车辆相关的信息。控制对象车辆是指被发送来自远程驾驶装置200的指示的车辆。各子区域312中显示有与远程驾驶服务的提供对象的多个车辆中的控制对象车辆以外的车辆相关的信息。控制对象车辆以外的车辆有时也被称为监视对象车辆。在通过一台远程驾驶装置200向多台车辆提供远程驾驶服务的情况下，操作员适当地对主区域311中显示的车辆(即，控制对象车辆)进行切换。主区域311以及子区域312所显示的信息包括车辆的周围的交通状况、车辆的速度等。
方向盘330用于在主导模式下对控制对象车辆的转向量进行控制。油门踏板340用于在主导模式下对控制对象车辆的油门踏板开度进行控制。制动踏板350用于在主导模式下对控制对象车辆的制动踏板开度进行控制。麦克风360用于输入语音信息。输入到麦克风360的语音信息可以向控制对象车辆发送，并在该车内进行播放。
多个开关370用来进行用于提供远程驾驶服务的各种输入。例如，多个开关370包括用于切换控制对象车辆的开关、用于指示辅助模式中的操作员的判断结果的开关、用于切换多个动作模式的开关等。
在图2以及图3中说明的远程驾驶装置200能够提供主导模式和辅助模式双方。取而代之地，远程驾驶装置200也可以仅提供主导模式和辅助模式中的一方。在不提供主导模式的情况下，能够省略方向盘330、油门踏板340以及制动踏板350。另外，也可以由多个远程驾驶装置200协作来提供远程驾驶服务。在该情况下，远程驾驶装置200可以将服务提供对象的车辆交接给另一远程驾驶装置200。
参照图4，对远程驾驶对象的车辆1的周围的实际环境400(现实世界的环境)的一个例子进行说明。设为车辆1按照来自远程驾驶装置200的操作指示而正在车道404上行驶。对向车辆402正在车道404的反向车道405上行驶。对向车辆402可以处于驾驶员的手动驾驶中，可以处于以自动驾驶功能行驶中，也可以处于利用与远程驾驶装置200进行的远程驾驶服务不同的远程驾驶服务而行驶中。其中，设为对向车辆402不是远程驾驶装置200的操作对象。
行人403在与车道404相邻的人行道406上行走。设置有道路管理摄像机401以便拍摄车道404以及反向车道405。对向车辆402以及行人403为存在于车辆1的周围且不是远程驾驶装置200的操作对象的目标的一个例子。以下，将不是远程操作装置200的操作对象的目标简称为目标。目标可以是能够移动的，也可以是不能移动的。例如，行人、其他车辆是能够移动的目标。护栏、建筑物、信号机等是不能移动的目标。进一步地，能够移动的目标可以是能够自主移动的目标。能够自主移动是指能够通过目标自身的判断而移动。例如，人、手动驾驶中的车辆、自动驾驶中的车辆是能够自主移动的目标。另一方面，由于远程驾驶中的车辆并非通过车辆自身的判断而移动，因此不是能够自主移动的目标。车辆1的周围可以是由车辆1的检测单元41～43所能够检测的范围，也可以是在远程驾驶装置200的显示装置310上作为车辆1的周围而显示的范围。
参照图5，对远程控制系统的构成例进行说明。在该例子中，远程控制系统由车辆1、道路管理摄像机401、远程驾驶装置200构成。可以省略道路管理摄像机401。以下，对远程控制系统的各装置中的与以下说明的实施方式相关联的功能模块进行说明。
车辆1具备本车信息提供部501和目标信息提供部502。它们均可以由ECU20来实现。本车信息提供部501向远程驾驶装置200提供(例如发送)与车辆1相关的信息。与车辆1相关的信息例如可以包括车辆1的当前的地理位置、车辆1的当前的速度以及加速度、远程驾驶服务中的车辆1的识别信息、通过自动驾驶功能推荐的将来的轨道等。车辆1的地理位置可以是关于表示车辆1的代表性的一点的地理位置，也可以是关于车辆1占据三维空间内的区域的地理位置。
目标信息提供部502向远程驾驶装置200提供(例如发送)与车辆1的周围的目标相关的信息。与目标相关的信息例如可以包括目标的种类、目标的当前地理位置、目标的速度以及加速度、目标的将来的预测轨迹等。目标信息提供部502基于由检测单元41～43得到的目标的传感器数据来决定目标的种类以及地理位置。目标的种类例如是普通车辆、大型车辆、两轮车、成人行人、儿童行人、自行车乘员等。目标的地理位置可以是关于一点的地理位置，也可以是目标在三维空间中占据的区域的地理位置。另外，目标信息提供部502可以基于目标的地理位置的时间变化来计算目标的速度、加速度。进一步地，目标信息提供部502可以基于目标的地理位置、速度以及加速度来生成目标的将来的预测轨迹。如果目标是车辆，则目标信息提供部502可以进一步基于方向指示器、驾驶员的视线等来生成目标的将来的预测轨道，如果目标是行人、自行车乘员，则目标信息提供部502可以基于其视线等来生成目标的将来的预测轨道。与目标相关的信息的数据量少于由检测单元41～43检测到的目标的传感器数据(例如，可见光图像、雷达图像、光学雷达图像)的数据量。车辆1可以在能够进行与目标的通信(例如，车与车之间通信)的情况下，从目标接收与目标相关的信息。
道路管理摄像机401是除了操作对象的车辆1以外获取目标的信息的装置的一个例子。道路管理摄像机401具备目标信息提供部511。目标信息提供部511与目标信息提供部502相同，因此省略说明。
远程操作装置200包括显示控制部521、通信状态获取部522、模型数据存储部523和背景数据存储部524。显示控制部521以及通信状态获取部522例如由处理器201来实现。模型数据存储部523以及背景数据存储部524例如由存储器202来实现。
显示控制部521进行与车辆1相关的显示控制。关于该显示控制的详情将在后面阐述。通信状态获取部522获取车辆1与远程驾驶装置200之间的通信状态、以及道路管理摄像机401与远程驾驶装置200之间的通信状态。通信状态例如包括通信质量(延迟等)。通信状态可以从车辆1、道路管理摄像机401直接获取，也可以从向这些装置提供通信服务的通信系统获取。
模型数据存储部523存储与车辆1以及目标的模型相关的数据。例如，模型数据存储部523存储按照上述目标的每个种类所存的三维模型数据。背景数据存储部524存储与车辆1有可能存在的环境中的固定物(道路、建筑物等)相关的数据(例如，地图数据)。如后所述，将存在于车辆1的地理位置的周围的固定物显示为背景。背景数据包括各固定物的地理位置以及三维模型数据。由于能够移动的目标的信息没有存储在背景数据存储部524中，因此远程驾驶装置200从车辆1等获取该能够移动的目标的信息。另一方面，远程驾驶装置200可以从背景数据存储部524读出不能移动的目标的信息，也可以从车辆1等获取该不能移动的目标的信息。
参照图6，对远程控制系统中的车辆1的控制方法例进行说明。该方法可以通过车辆1的处理器20a等执行存储器20b等中储存的程序来进行。取而代之地，方法的一部分或全部的步骤也可以由ASIC(特殊应用集成电路)这样的专用电路来执行。在前者的情况下，处理器成为用于特定动作的构成要素，在后者的情况下，专用电路成为用于特定动作的构成要素。在车辆1执行远程驾驶功能的过程中反复执行图6的控制方法。
在步骤S601中，车辆1(具体而言，本车信息提供部501)获取与车辆1相关的信息，并提供给远程驾驶装置200。在步骤S602中，车辆1(具体而言，目标信息提供部502)生成与车辆1的周围的目标相关的信息。
在步骤S603中，车辆1(具体而言，目标信息提供部502)判定所生成的信息是否满足规定的准确性。在信息满足规定的准确性的情况下(步骤S603中为“是”)，车辆1将处理转移到步骤S604，在除此以外的情况下(步骤S603中为“否”)，车辆1将处理转移到步骤S605。规定的准确性是指例如在远程驾驶服务中不会给操作员的操作带来障碍的程度的准确性。
在步骤604中，车辆1(具体而言，目标信息提供部502)向远程驾驶装置200提供与目标相关的信息。在步骤605中，车辆1(具体而言，目标信息提供部502)向远程驾驶装置200提供用于生成与目标相关的信息的原始数据。这样，车辆1在无法向远程驾驶装置200提供准确的信息的情况下，将原数据提供给远程驾驶装置200。远程驾驶装置200能够具有比车辆1高的处理能力，因此能够生成比车辆1更准确的信息。
在步骤606中，车辆1(具体而言，目标信息提供部502)从远程驾驶装置200接收与远程驾驶相关的操作指示。在步骤S607中，车辆1(具体而言，ECU20)按照操作指示来控制车辆1的行为。由于步骤S606以及S607的动作可以与以往的远程驾驶相同，因此省略详细的说明。
道路管理摄像机401(具体而言，目标信息提供部511)进行与图6的步骤S602～S605同样的动作。
参照图7，对远程控制系统中的远程驾驶装置200的控制方法例进行说明。该方法可以通过远程驾驶装置200的处理器201执行存储器202中储存的程序来进行。取而代之地，方法的一部分或全部的步骤也可以由ASIC(特殊应用集成电路)这样的专用电路来执行。在前者的情况下，处理器成为用于特定动作的构成要素，在后者的情况下，专用电路成为用于特定动作的构成要素。在远程驾驶装置200提供远程驾驶服务的过程中反复执行图7的控制方法。
在步骤S701中，远程驾驶装置200接收在步骤S601中发送的与远程驾驶对象的车辆1相关的信息。该信息中包括的信息如上所述。在步骤S702中，远程操作装置200接收在步骤S604中发送的关于目标的信息或在步骤S605中发送的原始数据。它们可以从车辆1接收，也可以从道路管理摄像机401接收。
在步骤S703中，远程驾驶装置200判定在步骤S702中是否接收到原数据。在接收到原始数据的情况下(在步骤S703中为“是”)，远程驾驶装置200在执行步骤S704之后转移到步骤S705，在除此以外的情况下(在步骤S703中为“否”)，远程驾驶装置200直接转移到步骤S705。
在步骤S704中，远程操作装置200从原始数据生成与目标相关的信息。与目标相关的信息的生成方法可以与上述的步骤S602相同。由于远程驾驶装置200比车辆1以及道路管理摄像机401性能高，因此能够生成精度更高的信息。
在步骤S705中，远程驾驶装置200(具体而言，通信状态获取部522)获取车辆1与远程驾驶装置200之间的通信的通信质量、以及道路管理摄像机401与远程驾驶装置200之间的通信的通信质量。
在步骤S706中，远程驾驶装置200(具体而言，显示控制部521)从背景数据存储部524读出与车辆1的地理位置及其周围的固定物相关的数据(例如，地图数据)。例如，远程驾驶装置200从背景数据存储部524读出车辆1的驾驶员视点下的地图数据。
在步骤S707中，远程操作装置200(具体而言，显示控制部521)基于与目标相关的信息中所包含的目标的种类来决定用于表示该目标的虚拟目标。例如，在目标的种类是普通车辆的情况下，远程驾驶装置200决定为了表示该目标而使用普通车辆的虚拟目标。进一步地，远程操作装置200可以基于目标的地理位置(即，在三维空间中占据的区域)来决定虚拟目标的显示尺寸。
在步骤S708中，远程驾驶装置200(具体而言，显示控制部521)生成表示车辆1的周围的实际环境的图像，并显示于显示装置310(例如，主区域311)。具体而言，远程驾驶装置200将步骤S707中决定的虚拟目标显示于在步骤S706中读出的背景数据中的与目标的地理位置对应的显示位置。该虚拟目标可以是模型数据存储部523所存储的多个模型中的与目标的种类对应的模型。后面将阐述图像的具体例。
在步骤S709中，远程操作装置200从操作员接受操作输入。在步骤S710中，远程驾驶装置200基于接受的操作输入而生成对车辆1的操作指示，并向车辆1发送该操作指示。
参照图8对步骤S708中生成的图像800的一个例子进行说明。图像800是虚拟地表现图4的实际环境400的图像。虚拟目标810是表示对向车辆402的虚拟目标。作为虚拟目标使用车辆的三维模型。虚拟目标820是表示行人403的虚拟目标。作为虚拟目标使用成人的三维模型。将这些虚拟目标显示在车辆1的驾驶员视点的地图上与各个目标的地理位置对应的显示位置。在图8的例子中，显示车辆1的驾驶员视点的地图，但取而代之地，也可以显示从后方观察车辆1的视点的地图。在该情况下，远程驾驶装置200可以在图像800中显示表示车辆1的虚拟目标。
在图像800中，用实线811表示对向车辆402的过去的轨道，用虚线812表示对向车辆402的将来的预测轨道。远程驾驶装置200基于对向车辆402的过去的地理位置而生成对向车辆402的过去的轨道。为了生成过去的轨道，远程驾驶装置200可以存储一定期间的量(例如，5秒的量)的对向车辆402的最近的地理位置。对向车辆402的将来的预测轨道通过在步骤S702中接收或在步骤S704中生成而获取。同样地，在图像800中，用实线821表示行人403的过去的轨道，用虚线822表示行人403的将来的预测轨道。
图像800用虚线831L、831R表示车辆1将来的预测轨道。虚线831L表示车辆1的左端的预测轨道，虚线831R表示车辆1的右端的预测轨道。通过像这样表示两端的预测轨道，远程驾驶装置200的操作员容易识别车辆1的车宽。另外，在图像800中还显示车辆1的自动驾驶功能所生成的车辆1的推荐的轨道832。
远程驾驶装置200可以代替图8的图像800或与之同时显示图9的图像900。图像900是车辆1的地理位置及其周围的俯瞰图。与图8同样地，在地图上显示虚拟目标810、820。在图像900中，还显示有表示车辆1的虚拟目标830和表示车辆1的过去的轨道的实线833。虚拟目标830的显示尺寸根据车辆1的大小来决定。车辆1的大小可以在步骤S701中从车辆1接收，也可以事先储存在存储器202中。远程驾驶装置200可以将表示过去或将来的轨道的实线811、821、832以及虚线812、822、831L、832R全部设为不显示，也可以仅显示一部分。
上述图像800、900中的虚拟目标也可以配置在与获取到与车辆1以及目标相关的信息的时间点的地理位置对应的显示位置。但是，若车辆1以及道路管理摄像机401与远程驾驶装置200的通信的延迟变大，则车辆1的实际环境与远程驾驶装置200中的显示内容的差距变大。进一步地，还需要考虑从远程驾驶装置200发送的操作指示到达车辆1为止的延迟。
因此，在一部分实施方式中，远程驾驶装置200可以将从车辆1或道路管理摄像机401获取信息时产生的延迟考虑在内来决定虚拟目标的显示位置。进一步地，远程驾驶装置200可以进一步将从远程驾驶装置200向车辆1提供操作指示时产生的延迟考虑在内来决定虚拟目标的显示位置。
参照图10，对远程驾驶装置200考虑延迟的方法进行说明。实际环境1000～1004分别表示时刻t0～t4下的车辆1的周围的实际环境。图像1010～1014分别表示在时刻t0～t4下显示于远程驾驶装置200的显示装置310的虚拟目标810、830的位置。时刻t0～t4为等间隔。为了易于掌握车辆1、对向车辆402以及虚拟目标810、830的位置关系，在车道的宽度方向上标注虚线。以下，为了使说明简单，设为从车辆1向远程驾驶装置200发送信息所花费的时间与从远程驾驶装置200向车辆1发送操作指示所花费的时间彼此相等(与时刻t0和时刻t1的间隔相等的时间)。另外，来自操作员的指示是与转向相关的指示。针对与加速减速或其他行为相关的指示，也能够通过以下的方法来应对。
包括时刻t0的车辆1以及对向车辆402的地理位置在内的信息在时刻t1被远程驾驶装置200接收。若远程驾驶装置200基于该信息来决定表示车辆1以及对向车辆402的虚拟目标810、830的显示位置，则导致远程驾驶装置200的使用者参照过去的实际环境。另外，在时刻t0与时刻t1之间从远程驾驶装置200发送的操作指示在时刻t1与时刻t2之间被车辆1接收，并被反映到车辆1的行为中。因此，车辆1的行为并未在操作员所意图的时机进行。
因此，远程驾驶装置200预测车辆1以及对向车辆402的将来的地理位置并决定表示它们的虚拟目标810、830的显示位置。具体而言，对在时刻t2由远程驾驶装置200生成的图像1012进行说明。首先，对表示对向车辆402的虚拟目标810的显示位置进行说明。在时刻t2，远程驾驶装置200获取时刻t1的对向车辆402的地理位置以及该时刻的对向车辆402的预测轨道。另外，在时刻t2由远程驾驶装置200发送的指示在时刻t3被车辆1处理。因此，以与在时刻t1发送的对向车辆402的预测轨道所表示的时刻t3下的对向车辆402的地理位置对应的方式，远程驾驶装置200决定图像1012中的虚拟目标810的显示位置。
接着，对表示车辆1的虚拟目标830的显示位置进行说明。在时刻t2，远程驾驶装置200获取到时刻t1的车辆1的地理位置。另外，时刻t1的车辆1的地理位置中反映了到时刻t0为止由操作员输入的操作指示。因此，针对时刻t1的车辆1的地理位置，以与对到时刻t0～t2为止输入远程驾驶装置200中的操作员的操作指示进行实施而得到的地理位置对应的方式，远程驾驶装置200决定图像1012中的虚拟目标830的显示位置。这样生成的图像1012中的虚拟目标810以及虚拟目标830的显示位置对应于时刻t3的实际环境1003中的对向车辆402以及车辆1的地理位置。根据这样的方法，即使存在延迟，远程驾驶装置200的操作员也能够以与直接驾驶车辆1相同的操作感觉对车辆1进行远程驾驶。
参照图11，对远程控制系统中的远程驾驶装置200的显示模式选择动作进行说明。该动作可以通过远程驾驶装置200的处理器201执行存储器202中储存的程序来进行。取而代之地，方法的一部分或全部的步骤也可以由ASIC(特殊应用集成电路)这样的专用电路来执行。在前者的情况下，处理器成为用于特定动作的构成要素，在后者的情况下，专用电路成为用于特定动作的构成要素。在远程驾驶装置200提供远程驾驶服务的过程中反复执行图11的控制方法。
在一部分实施方式中，远程驾驶装置200能够从多个显示模式中选择一个模式，生成用于车辆1的远程操作的图像。多个显示模式可以包括如上述那样使用虚拟目标进行与目标相关的显示的虚拟显示模式、和使用由车辆1得到的图像进行与目标相关的显示的图像显示模式。虚拟显示模式所需的通信量比图像显示模式所需的通信量少。因此，远程驾驶装置200在通信状态差的情况下，无法选择图像显示模式，而在虚拟显示模式下进行显示控制。以下，对具体的动作进行说明。
在步骤S1101中，远程操作装置200获取车辆1和远程操作装置200之间的通信质量。通信状态可以从车辆1、道路管理摄像机401直接获取，也可以从向这些装置提供通信服务的通信系统获取。
在步骤S1102中，远程驾驶装置200基于通信状态来判定是否预想到阈值以上的延迟。在预想到延迟的情况下(在步骤S1102中为“是”)，远程驾驶装置200将处理转移到步骤S1103，在除此以外的情况下(在步骤S1102中为“否”)，远程驾驶装置200将处理转移到步骤S1104。
在步骤S1103中，远程驾驶装置200禁止图像显示模式的执行，进行虚拟显示模式下的显示控制。在步骤S1104中，远程驾驶装置200设为能够选择图像显示模式和虚拟显示模式中的任一者。远程驾驶装置200根据操作员的选择，在任一模式下显示用于对车辆1进行远程驾驶的图像。
参照图12，对远程控制系统中的远程驾驶装置200的显示模式变更动作进行说明。该动作可以通过远程驾驶装置200的处理器201执行存储器202中储存的程序来进行。取而代之地，方法的一部分或全部的步骤也可以由ASIC(特殊应用集成电路)这样的专用电路来执行。在前者的情况下，处理器成为用于特定动作的构成要素，在后者的情况下，专用电路成为用于特定动作的构成要素。在远程驾驶装置200提供远程驾驶服务的过程中反复执行图12的控制方法。
在步骤S1201中，远程驾驶装置200判定是否应变更显示模式。在应变更显示模式的情况下(步骤S1201中为“是”)，远程驾驶装置200将处理转移到S1202，在除此以外的情况下(步骤S1201中为“否”)，远程驾驶装置200反复进行步骤S1201。远程驾驶装置200可以根据来自使用者的指示来判定是否应变更显示模式。另外，远程驾驶装置200例如也可以根据通信质量的变化来判定是否应变更显示模式。如在图11中说明的那样，在选择图像显示模式的过程中通信质量降低的情况下，远程驾驶装置200判定为应将显示模式变更为虚拟显示模式。进一步地，在选择虚拟显示模式的过程中通信质量改善的情况下，远程驾驶装置200可以判定为应将显示模式变更为图像显示模式。
在步骤S1202中，远程驾驶装置200判定是否能够进行远程驾驶。在能够进行远程驾驶的情况下(在步骤S1202中为“是”)，远程驾驶装置200将处理转移到步骤S1203，在除此以外的情况下，远程驾驶装置200结束处理。如在图11中说明的那样，显示模式的变更有时由通信质量的降低而引起。因此，在该步骤中，远程驾驶装置200判定是否仍能够执行远程驾驶、即是否为能够从远程驾驶装置200向车辆1提供操作指示的状态。在无法执行远程驾驶的情况下，远程驾驶装置200可以将该意思通知给远程驾驶装置200的使用者。
在步骤S1203中，远程驾驶装置200向远程驾驶装置200的使用者通知变更显示模式。在根据使用者的指示进行显示模式的变更的情况下，该通知可以是接受了变更指示的通知。在根据远程驾驶装置200的判断进行显示模式的变更的情况下，该通知可以是通过远程驾驶装置200的判断来变更显示模式的通知。进一步地，如在以后的步骤中说明的那样，远程驾驶装置200可以将根据需要使车辆1的速度降低这一情况通知给远程驾驶装置200的使用者。
在步骤S1204中，远程驾驶装置200判定车辆1的速度是否大于阈值速度。在比阈值速度大的情况下(步骤S1204中为“是”)，远程驾驶装置200将处理转移到步骤S1205，在除此以外的情况下，远程驾驶装置200将处理转移到步骤S1206。阈值速度可以根据车辆1的状况而单独设定。例如，当车辆1在高速道路上行驶中，阈值速度可以是时速80km。当车辆1在一般道路上行驶中，阈值速度可以是时速30km。
在步骤S1205中，远程操作装置200使车辆1的速度降低以成为阈值速度以下。有时在显示模式的变更中会发生时滞。另外，由于显示模式的变更，有可能使远程驾驶装置200的使用者产生困惑。因此，远程驾驶装置200将这样的延迟或困惑考虑在内而使车辆1的速度降低至阈值速度以下，由此以更安全的状态变更显示模式。换言之，远程操作装置200在变更显示模式之前降低车辆1的速度。进一步换言之，远程驾驶装置200以车辆1的速度为阈值速度以下作为条件来变更显示模式。在步骤S1206中，远程操作装置200变更显示模式。
在上述的实施方式中，对远程驾驶装置200的操作对象物为车辆1的情况进行了说明。本发明的操作对象物不限于车辆1。例如，操作对象物也可以是车辆以外的移动体、例如在牧草地中代替牧草犬而引导羊、牛等家畜的机器人。在操作对象物为家畜引导机器人的情况下，目标为家畜。进一步地，操作对象物也可以是移动体以外的装置、例如在固定位置使用的交通引导机器人。在操作对象物是交通引导机器人的情况下，目标为车辆。在操作对象物是车辆以外的情况下，远程驾驶装置200一般可被称为远程控制装置。
<实施方式的总结>
<构成1>
一种控制装置(200)，其是用于从远程对操作对象物(1)进行操作的控制装置，其中，所述控制装置具备：
获取单元(S702)，其从所述控制装置的外部的信息提供单元(502、511)获取与存在于所述操作对象物的周围且不是所述控制装置的操作对象的目标(402、403)相关的信息；
决定单元(S707)，其基于与所述目标相关的信息来决定用于表示所述目标的虚拟目标(810、820)；以及
显示控制单元(S708)，其将所述虚拟目标显示于与所述目标的地理位置对应的显示位置。
根据该构成，由于能够基于目标的信息生成用于远程操作的图像，因此无需接收目标的图像本身，从而通信量降低。
<构成2>
根据构成1所述的控制装置，其中，所述获取单元获取所述信息提供单元决定的所述目标的种类以及地理位置作为与所述目标相关的信息。
根据该构成，能够基于目标的种类以及地理位置来决定虚拟目标。
<构成3>
根据构成2所述的控制装置，其中，所述显示控制单元将多个模型中的与所述目标的种类对应的模型(810、820)显示为所述虚拟目标。
根据该构成，能够使用模型来显示虚拟目标。
<构成4>
根据构成1至3中任一构成所述的控制装置，其中，所述操作对象物为移动体(1)。
根据该构成，能够控制移动体的操作。
<构成5>
根据构成1至4中任一构成所述的控制装置，其中，所述显示控制单元还显示所述操作对象物的过去的轨道(833)、所述操作对象物的将来的预测轨道(831L、831R)、所述目标的过去的轨道(811、821)、以及所述目标的将来的预测轨道(812、822)中的至少一者。
根据该构成，控制装置的使用者容易掌握操作对象物以及目标的行为。
<构成6>
根据构成5所述的控制装置，其中，所述信息提供单元基于所述目标的地理位置、速度以及加速度而生成所述目标的将来的预测轨道(812、822)，并将所述预测轨道提供给所述控制装置。
根据该构成，由外部的装置生成预测轨道，因此控制装置无需获取原始数据。
<构成7>
根据构成6所述的控制装置，其中，所述信息提供单元在无法以满足规定的准确性的方式提供与所述目标相关的信息的情况下，将用于生成所述信息的原始数据提供给所述控制装置(S605)。
根据该构成，控制装置能够根据需要参照原始数据。
<构成8>
根据构成6或7所述的控制装置，其中，所述信息提供单元被包括在所述操作对象物中(502)。
根据该构成，能够获取由操作对象物生成的目标的信息。
<构成9>
根据构成1至8中任一构成所述的控制装置，其中，所述显示控制单元将从所述信息提供单元获取所述信息时产生的延迟考虑在内来决定所述虚拟目标的显示位置。
根据该构成，能够以与在实际环境下的操作相同的操作感觉从远程对操作对象物进行操作。
<构成10>
根据构成9所述的控制装置，其中，
所述控制装置还具备向所述操作对象物提供操作指示的提供单元(S710)，
所述显示控制单元还将从所述提供单元向所述操作对象物提供所述操作指示时产生的延迟考虑在内来决定所述虚拟目标的显示位置。
根据该构成，能够将控制装置中的操作在适当的时刻反映到操作对象物上。
<构成11>
根据构成1至10中任一构成所述的控制装置，其中，所述显示控制单元能够从包括第一显示模式和第二显示模式的多个显示模式中选择显示模式(S1104)，在所述第一显示模式下使用所述虚拟目标来进行与所述目标相关的显示，在所述第二显示模式下使用通过所述操作对象物得到的图像来进行与所述目标相关的显示。
根据该构成，能够根据通信状态来选择显示模式。
<构成12>
根据构成11所述的控制装置，其中，在变更所述显示模式的情况下(S1201)，所述显示控制单元向所述控制装置的使用者通知所述显示模式的变更(S1203)。
根据该构成，远程操作装置的使用者能够在事先掌握显示模式的变更。
<构成13>
根据构成11或12所述的控制装置，其中，所述显示控制单元在变更所述显示模式前使所述操作对象物的移动速度降低(S1205)。
根据该构成，能够抑制因显示模式变更而可能产生的时滞所引起的影响。
<构成14>
根据构成11～13中任一构成所述的控制装置，其中，所述显示控制单元以所述操作对象物的移动速度为阈值速度以下作为条件(S1204)来变更所述显示模式(S1206)。
根据该构成，能够抑制因显示模式变更而可能产生的时滞所引起的影响。
<构成15>
根据构成11至14中任一构成所述的控制装置，其中，所述显示控制单元基于所述信息提供单元与所述控制装置之间的通信状态来选择显示模式(S1101～S1104)。
根据该构成，能够根据通信状态来选择显示模式。
<构成16>
根据构成15所述的控制装置，其中，在基于所述通信状态而预想到阈值以上的延迟的情况下，所述显示控制单元选择所述第一显示模式(S1103)。
根据该构成，能够根据延迟来选择适当的显示模式。
<构成17>
根据构成1至16中任一构成所述的控制装置，其中，所述显示控制单元还显示表示所述操作对象物的虚拟目标(830)。
根据该构成，容易掌握操作对象物与其他目标的位置关系。
<构成18>
根据构成1至17中任一构成所述的控制装置，其中，所述显示控制单元根据所述操作对象物的大小来决定表示所述操作对象物的虚拟目标的显示尺寸。
根据该构成，容易掌握操作对象物与周围的环境的位置关系。
<构成19>
一种存储介质，其储存有用于使计算机作为构成1至18中任一构成所述的控制装置的各单元发挥功能的程序。
根据该构成，能够以储存有程序的存储介质的方式实现上述构成。
<构成20>
一种控制方法，其是用于从远程对操作对象物(1)进行操作的控制方法，其中，所述控制方法具有：
获取步骤(S702)，在所述获取步骤中，从所述控制装置的外部的信息提供单元(502、511)获取与存在于所述操作对象物的周围且不是执行所述控制方法的控制装置的操作对象的目标(402、403)相关的信息；
决定步骤(S707)，在所述决定步骤中，基于与所述目标相关的信息来决定用于表示所述目标的虚拟目标(810、820)；以及
显示控制步骤(S708)，在所述显示控制步骤中，将所述虚拟目标显示于与所述目标的地理位置对应的显示位置。
根据该构成，由于能够基于目标的信息生成用于远程操作的图像，因此无需接收目标的图像本身，从而通信量降低。
本发明并不局限于上述的实施方式，能够在发明的主旨的范围内进行各种变形、变更。

Claims (20)

1.一种控制装置，其是用于从远程对操作对象物进行操作的控制装置，其中，所述控制装置具备：
获取单元，其从所述控制装置的外部的信息提供单元获取与存在于所述操作对象物的周围且不是所述控制装置的操作对象的目标相关的信息；
决定单元，其基于与所述目标相关的信息来决定用于表示所述目标的虚拟目标；以及
显示控制单元，其将所述虚拟目标显示于与所述目标的地理位置对应的显示位置。
2.根据权利要求1所述的控制装置，其中，所述获取单元获取所述信息提供单元决定的所述目标的种类以及地理位置作为与所述目标相关的信息。
3.根据权利要求2所述的控制装置，其中，所述显示控制单元将多个模型中的与所述目标的种类对应的模型显示为所述虚拟目标。
4.根据权利要求1所述的控制装置，其中，所述操作对象物为移动体。
5.根据权利要求1所述的控制装置，其中，所述显示控制单元还显示所述操作对象物的过去的轨道、所述操作对象物的将来的预测轨道、所述目标的过去的轨道、以及所述目标的将来的预测轨道中的至少一者。
6.根据权利要求5所述的控制装置，其中，所述信息提供单元基于所述目标的地理位置、速度以及加速度而生成所述目标的将来的预测轨道，并将所述预测轨道提供给所述控制装置。
7.根据权利要求6所述的控制装置，其中，所述信息提供单元在无法以满足规定的准确性的方式提供与所述目标相关的信息的情况下，将用于生成所述信息的原始数据提供给所述控制装置。
8.根据权利要求6所述的控制装置，其中，所述信息提供单元被包括在所述操作对象物中。
9.根据权利要求1所述的控制装置，其中，所述显示控制单元将从所述信息提供单元获取所述信息时产生的延迟考虑在内来决定所述虚拟目标的显示位置。
10.根据权利要求9所述的控制装置，其中，
所述控制装置还具备向所述操作对象物提供操作指示的提供单元，
所述显示控制单元还将从所述提供单元向所述操作对象物提供所述操作指示时产生的延迟考虑在内来决定所述虚拟目标的显示位置。
11.根据权利要求1所述的控制装置，其中，所述显示控制单元能够从包括第一显示模式和第二显示模式的多个显示模式中选择显示模式，在所述第一显示模式下使用所述虚拟目标来进行与所述目标相关的显示，在所述第二显示模式下使用通过所述操作对象物得到的图像来进行与所述目标相关的显示。
12.根据权利要求11所述的控制装置，其中，在变更所述显示模式的情况下，所述显示控制单元向所述控制装置的使用者通知所述显示模式的变更。
13.根据权利要求11所述的控制装置，其中，所述显示控制单元在变更所述显示模式前使所述操作对象物的移动速度降低。
14.根据权利要求11所述的控制装置，其中，所述显示控制单元以所述操作对象物的移动速度为阈值速度以下作为条件来变更所述显示模式。
15.根据权利要求11所述的控制装置，其中，所述显示控制单元基于所述信息提供单元与所述控制装置之间的通信状态来选择显示模式。
16.根据权利要求15所述的控制装置，其中，在基于所述通信状态而预想到阈值以上的延迟的情况下，所述显示控制单元选择所述第一显示模式。
17.根据权利要求1所述的控制装置，其中，所述显示控制单元还显示表示所述操作对象物的虚拟目标。
18.根据权利要求1所述的控制装置，其中，所述显示控制单元根据所述操作对象物的大小来决定表示所述操作对象物的虚拟目标的显示尺寸。
19.一种存储介质，其储存有用于使计算机作为权利要求1至18中任一项所述的控制装置的各单元发挥功能的程序。
20.一种控制方法，其是用于从远程对操作对象物进行操作的控制方法，其中，所述控制方法具有：
获取步骤，在所述获取步骤中，从所述控制装置的外部的信息提供单元获取与存在于所述操作对象物的周围且不是执行所述控制方法的控制装置的操作对象的目标相关的信息；
决定步骤，在所述决定步骤中，基于与所述目标相关的信息来决定用于表示所述目标的虚拟目标；以及
显示控制步骤，在所述显示控制步骤中，将所述虚拟目标显示于与所述目标的地理位置对应的显示位置。
CN202010192068.XA 2019-03-29 2020-03-18 控制装置、控制方法以及存储介质 Withdrawn CN111752267A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-067125 2019-03-29
JP2019067125A JP7256668B2 (ja) 2019-03-29 2019-03-29 制御装置、制御方法及びプログラム

Publications (1)

Publication Number Publication Date
CN111752267A true CN111752267A (zh) 2020-10-09

Family

ID=72605835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010192068.XA Withdrawn CN111752267A (zh) 2019-03-29 2020-03-18 控制装置、控制方法以及存储介质

Country Status (3)

Country Link
US (1) US11733694B2 (zh)
JP (1) JP7256668B2 (zh)
CN (1) CN111752267A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238670B2 (ja) * 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
WO2022123831A1 (ja) * 2020-12-10 2022-06-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
EP4348375A1 (en) * 2021-06-03 2024-04-10 Elbit Systems Ltd. System and method for providing scene information
WO2023276207A1 (ja) * 2021-06-28 2023-01-05 ソニーセミコンダクタソリューションズ株式会社 情報処理システム及び情報処理装置
US20230196643A1 (en) * 2021-12-20 2023-06-22 Gm Cruise Holdings Llc Synthetic scene generation using spline representations of entity trajectories

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090284364A1 (en) * 2008-05-19 2009-11-19 Toyota Jidosha Kabushiki Kaisha Display-image switching apparatus and method
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
CN106572630A (zh) * 2014-07-30 2017-04-19 洋马株式会社 远程操作装置
CN106791617A (zh) * 2016-12-02 2017-05-31 湖南农业大学 农用机械无线视频驾驶系统及其视频切换方法
US20180032071A1 (en) * 2016-08-01 2018-02-01 The United States of America as represented by the Secretary of the Nevy Remote information collection, situational awareness, and adaptive response system (ricsaars) for improving advance threat awareness and hazardous risk avoidance with respect to a mobile platform or entity along a path of travel including systems and methods for identifying combinations of elements of interest including hazardous combinations of detected signals and other elements with respect to the mobile platform or entity along the path or expected path of the mobile platform or entity
JP2018106676A (ja) * 2016-12-22 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、被操作車両、情報処理方法及びプログラム
JP2018142921A (ja) * 2017-02-28 2018-09-13 パナソニックＩｐマネジメント株式会社 自動運転制御装置、自動運転制御方法、自動運転制御プログラム、自動運転車両、遠隔制御装置、遠隔制御方法、及び遠隔制御プログラム
US10101745B1 (en) * 2017-04-26 2018-10-16 The Charles Stark Draper Laboratory, Inc. Enhancing autonomous vehicle perception with off-vehicle collected data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868681B2 (ja) 2011-12-01 2016-02-24 三菱重工業株式会社 遠隔操縦車両システム
US10678237B2 (en) 2016-12-22 2020-06-09 Panasonic Intellectual Property Corporation Of America Information processing apparatus, operated vehicle, information processing method, and recording medium storing program
WO2018155159A1 (ja) 2017-02-24 2018-08-30 パナソニックＩｐマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
EP3392801A1 (en) * 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090284364A1 (en) * 2008-05-19 2009-11-19 Toyota Jidosha Kabushiki Kaisha Display-image switching apparatus and method
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
CN106572630A (zh) * 2014-07-30 2017-04-19 洋马株式会社 远程操作装置
US20180032071A1 (en) * 2016-08-01 2018-02-01 The United States of America as represented by the Secretary of the Nevy Remote information collection, situational awareness, and adaptive response system (ricsaars) for improving advance threat awareness and hazardous risk avoidance with respect to a mobile platform or entity along a path of travel including systems and methods for identifying combinations of elements of interest including hazardous combinations of detected signals and other elements with respect to the mobile platform or entity along the path or expected path of the mobile platform or entity
CN106791617A (zh) * 2016-12-02 2017-05-31 湖南农业大学 农用机械无线视频驾驶系统及其视频切换方法
JP2018106676A (ja) * 2016-12-22 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、被操作車両、情報処理方法及びプログラム
JP2018142921A (ja) * 2017-02-28 2018-09-13 パナソニックＩｐマネジメント株式会社 自動運転制御装置、自動運転制御方法、自動運転制御プログラム、自動運転車両、遠隔制御装置、遠隔制御方法、及び遠隔制御プログラム
US10101745B1 (en) * 2017-04-26 2018-10-16 The Charles Stark Draper Laboratory, Inc. Enhancing autonomous vehicle perception with off-vehicle collected data

Also Published As

Publication number Publication date
US11733694B2 (en) 2023-08-22
JP2020167551A (ja) 2020-10-08
US20200310416A1 (en) 2020-10-01
JP7256668B2 (ja) 2023-04-12

Similar Documents

Publication Publication Date Title
CN111752267A (zh) 控制装置、控制方法以及存储介质
CN111830961B (zh) 路径设定装置、路径设定方法以及存储介质
CN111762168A (zh) 控制装置、控制方法以及存储介质
CN112540592A (zh) 用于确保安全的具有双自主驾驶系统的自主驾驶车辆
CN111731295B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
CN111731296B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
CN111830859A (zh) 车辆远程指示系统
CN111532267A (zh) 车辆及其控制装置以及控制方法
CN112180911A (zh) 用于监控自动驾驶车辆的控制系统的方法
JP6908723B2 (ja) 車両、および情報処理装置
JP2021006448A (ja) 単一車両走行用に設計された自動運転システムでの車両隊列実施
CN112937566B (zh) 自动驾驶车辆用信息提示装置
US20200309560A1 (en) Control apparatus, control method, and storage medium
CN113574904B (zh) 远程操作装置、以及存储介质
CN113614805B (zh) 显示控制装置、显示控制方法以及存储介质
WO2020202379A1 (ja) 表示制御装置、表示制御方法及びプログラム
US11924652B2 (en) Control device and control method
US20200310409A1 (en) Communication apparatus, communication method, and storage medium
WO2023228781A1 (ja) 処理システム及び情報提示装置
JP7425975B2 (ja) 遠隔機能選択装置
CN113615256A (zh) 控制装置、控制方法以及程序
CN116508074A (zh) 用于识别不相关的信号发生器的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201009

WW01 Invention patent application withdrawn after publication