CN108227703B - 信息处理装置和方法、被操作车辆及记录程序的记录介质 - Google Patents

信息处理装置和方法、被操作车辆及记录程序的记录介质 Download PDF

Info

Publication number
CN108227703B
CN108227703B CN201711338333.5A CN201711338333A CN108227703B CN 108227703 B CN108227703 B CN 108227703B CN 201711338333 A CN201711338333 A CN 201711338333A CN 108227703 B CN108227703 B CN 108227703B
Authority
CN
China
Prior art keywords
operated vehicle
vehicle
information
obstacle
operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711338333.5A
Other languages
English (en)
Other versions
CN108227703A (zh
Inventor
米田孝弘
小西一畅
石川亮
下间雄太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017173323A external-priority patent/JP7029910B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN108227703A publication Critical patent/CN108227703A/zh
Application granted granted Critical
Publication of CN108227703B publication Critical patent/CN108227703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开涉及信息处理装置和方法、被操作车辆及记录程序的记录介质。作为信息处理装置的一例的远程操作装置用于操作员远程操作被操作车辆。该装置具备位置信息处理部，位置信息处理部基于表示被操作车辆的当前位置的车辆位置信息、和表示被操作车辆与远程操作装置之间的信息传送所需的延迟时间的延迟信息，生成表示相对于被操作车辆的当前位置考虑了延迟时间而得到的被操作车辆的第1预测位置的第1位置信息，并且基于表示被操作车辆取得的被操作车辆周边的1个以上的障碍物的当前位置的障碍物位置信息、和延迟信息，生成表示相对于障碍物的当前位置考虑了延迟时间而得到的1个以上的障碍物的第2预测位置的第2位置信息，输出第1和第2位置信息。

Description

信息处理装置和方法、被操作车辆及记录程序的记录介质
技术领域
本公开涉及对在道路上行驶的车辆进行远程控制的信息处理装置、被操作车辆、信息处理方法以及记录程序的记录介质。
背景技术
近年来，逐渐出现了如下的远程操作系统：位于远程位置的操作员(operator)利用无线LAN(Local Area Network，局域网)、手机线路等通信单元，对没有搭乘驾驶员的车辆、或驾驶员虽然搭乘但不进行驾驶操作的状态的车辆进行操作。在这种远程操作系统中，经由通信单元，将从搭载于被操作车辆的毫米波雷达、激光雷达、摄像头等各种传感器获得的被操作车辆的感测结果传达给操作员。操作员将与被操作车辆的行驶有关的控制信号传达给被操作车辆，由此从远程对被操作车辆进行操作。
在专利文献1中，公开了对于半自主式无人车辆的远程操作系统。专利文献1中的远程操作系统具备半自主式车辆，该半自主式车辆取得本车的行驶区域内的测距数据，基于测距数据进行自主行驶，并且，根据位于远程位置的操作员的操纵，进行基于从远程操纵装置发送来的操纵信息的远程操纵。在该远程操作系统中，能够对半自主式车辆进行远程操作。
现有技术文献
专利文献1：日本专利第5366703号公报
发明内容
发明所要解决的问题
对于位于远程位置的操作员利用无线LAN、手机线路等通信单元对被操作车辆进行操作的现有的远程操作系统，需要使安全性进一步提高等进一步的改善。
于是，本公开是鉴于上述问题而做出的，目的在于提供能够使被操作车辆的安全性提高的信息处理装置、被操作车辆、信息处理方法以及程序。
用于解决问题的技术方案
本公开的一个技术方案涉及的信息处理装置，用于操作员对被操作车辆进行远程操作，具备：处理电路；以及存储器，其存储有至少一组指令，当由处理电路执行时，该一组指令使处理电路进行如下操作：基于车辆位置信息和延迟信息，生成第1位置信息，所述车辆位置信息表示所述被操作车辆取得的所述被操作车辆的当前位置，所述延迟信息表示所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，所述第1位置信息表示相对于所述被操作车辆的当前位置考虑了所述延迟时间而得到的所述被操作车辆的第1预测位置；基于障碍物位置信息和所述延迟信息，生成第2位置信息，所述障碍物位置信息表示所述被操作车辆取得的所述被操作车辆周边的1个以上的障碍物的当前位置，所述第2位置信息表示相对于障碍物的当前位置考虑了所述延迟时间而得到的1个以上的障碍物的第2预测位置；输出所述第1位置信息和所述第2位置信息。
发明效果
根据本公开，能够使被操作车辆的安全性提高。
附图说明
图1是表示实施方式1涉及的远程操作系统的一例的图。
图2是表示实施方式1涉及的远程操作系统中的被操作车辆的构成的一例的框图。
图3是表示实施方式1涉及的远程操作系统中的远程操作装置的构成的一例的框图。
图4是表示实施方式1涉及的远程操作系统的由远程操作装置中的HMI(HumanMachine Interface，人机接口)生成部生成的信息显示于显示装置的输出画面的一例的图。
图5是表示实施方式1涉及的远程操作系统的工作的时序图。
图6是涉及实施方式1的、表示根据被操作车辆与障碍物的距离来决定使显示装置显示的信息的处理的流程图。
图7是涉及实施方式1的、表示根据被操作车辆的行进方向和障碍物的行进方向来对被操作车辆进行行驶控制的处理的流程图。
图8A是涉及实施方式1的、表示障碍物的示意图。
图8B是涉及实施方式1的、表示被操作车辆与障碍物存在发生碰撞的危险的状态的示意图。
图9是涉及实施方式1的、表示进行影像信息的减少的处理的流程图。
图10是表示实施方式1的变形例涉及的远程操作系统中的被操作车辆的构成的另一例的框图。
图11是表示实施方式1的变形例中的远程操作装置的其他构成的一例的框图。
图12是表示实施方式2涉及的远程操作系统中的远程操作装置的构成的一例的框图。
标号说明
10：操作员
13、130、230：远程操作装置(信息处理装置)
16、160：被操作车辆
19：扬声器
202a：车辆当前位置
202b：车辆预测位置(第1预测位置)
202c：车辆预测位置(第3预测位置)
203a、204a、205a、206a、207a、208a：障碍物当前位置
203b、204b、205b、206b、207b、208b：障碍物预测位置(第2预测位置)
203c、204c、205c、206c、207c、208c：障碍物移动向量(障碍物的行进方向)
1301：通信接口
1302：车辆信息接收部(车辆信息接收单元)
1304：时间计测部
1307a：位置信息处理部
1307b：方向算出部
1307c：判断处理部
1601：无线通信单元(发送部)
1609：远程控制单元(控制部)
1612：摄像头(拍摄部)
具体实施方式
以下，对成为本公开的基础的见解进行说明。
在现有的信息处理系统中，与一般地搭乘于车辆的驾驶员直接操作车辆的情况相比，在被操作车辆周边的状况出现某些变化的情况下，由位于远程位置的操作员对状况变化的识别容易延迟，被操作车辆的操作常常出现延迟。这是因为会产生如下涉及信息处理系统的特有的延迟时间：由根据搭载于被操作车辆的传感器的输出信号来生成表示检测结果的信息所引起的延迟时间、由表示检测结果的信息从被操作车辆发送到远程操作装置的期间内发生的通信而引起的延迟时间、远程操作装置接收表示检测结果的信息并输出给显示装置为止的延迟时间、生成操作员以显示装置所显示的信息为基础对操作输入装置进行了操作的操作信号为止的延迟时间、被操作车辆经由网络以及无线基站接收车辆操作信号为止的延迟时间。因此，即便通过传感器检测到被操作车辆周边的状况，也会在从由传感器检测到状况的时间点到被操作车辆的操纵完成之间，产生如上所述的延迟时间。
若产生这种延迟时间，在该时间内，被操作车辆周边的状况会发生变化。因此，存在如下问题：由于延迟时间导致由操作员进行的对被操作车辆的操作延迟，由此，例如在行驶于被操作车辆前方的其他车辆突然停止的情况下等，被操作车辆与其他车辆的发生碰撞的危险性增高。如果到被操作车辆被进行操作为止的延迟时间变长，那么该问题会变得更加显著。
在专利文献1中，公开了对于半自主式无人车辆的远程操作系统。专利文献1中的远程操作系统具备半自主式车辆，该半自主式车辆取得本车的行驶区域内的测距数据，基于测距数据进行自主行驶，并且，根据位于远程位置的操作员的操纵，进行基于从远程操纵装置发送来的操纵信息的远程操纵。再者，信息处理系统算出进行远程操作的装置与半自主式无人驾驶车辆之间的延迟时间，并算出加入了该延迟时间的半自主式驾驶车辆的行驶量，之后，基于对半自主式驾驶车辆的操作极限信息来进行远程操作。
然而，在专利文献1中，并没有在位于半自主式无人驾驶车辆行驶的区域内的其他车辆及行人这样的障碍物进行移动这一情况的信息的基础之上，考虑在进行远程操作的装置与半自主式无人驾驶车辆之间产生的延迟时间内的障碍物的移动量。因此，若进行远程操作的装置与半自主式无人驾驶车辆之间的通信延迟增加，障碍物的移动量也会加大，因而作为结果，会导致半自主式无人驾驶车辆的可行驶区域与实际的可行驶区域大大偏离。因此，对于位于远程位置的操作员对被操作车辆进行操作的现有的信息处理系统，需要安全性的提高等进一步的改善。
于是，研究了能够使被操作车辆的安全性提高的信息处理装置、被操作车辆、信息处理方法以及程序。
为了解决这种问题，本公开的一个技术方案涉及的信息处理装置，其用于操作员对被操作车辆进行远程操作，具备：处理电路；以及存储器，其存储有至少一组指令，当由处理电路执行时，该一组指令使处理电路进行如下操作：基于车辆位置信息和延迟信息，生成第1位置信息，所述车辆位置信息表示所述被操作车辆取得的所述被操作车辆的当前位置，所述延迟信息表示所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，所述第1位置信息表示相对于所述被操作车辆的当前位置考虑了所述延迟时间而得到的所述被操作车辆的第1预测位置；基于障碍物位置信息和所述延迟信息，生成第2位置信息，所述障碍物位置信息表示所述被操作车辆取得的所述被操作车辆周边的1个以上的障碍物的当前位置，所述第2位置信息表示相对于障碍物的当前位置考虑了所述延迟时间而得到的1个以上的障碍物的第2预测位置；输出所述第1位置信息和所述第2位置信息。
根据该构成，位置信息处理部生成表示相对于被操作车辆的当前位置考虑了延迟时间而得到的被操作车辆的第1预测位置的第1位置信息，并且生成表示相对于障碍物的当前位置考虑了延迟时间而得到的1个以上的障碍物的第2预测位置的第2位置信息。位置信息处理部将第1位置信息和第2位置信息输出。因此，即使在发生了被操作车辆与远程操作装置之间的信息传送所需的延迟时间的情况下，也能够将考虑了延迟时间的被操作车辆的第1位置信息和障碍物的第2位置信息提示给位于远程位置的操作员。因此，操作员能够识别与车辆预测位置和障碍物预测位置各自有关的信息，因而易于进行被操作车辆的远程操作。
因此，能够使被操作车辆的安全性提高。由此，操作员能够安全地对被操作车辆进行远程操作。
另外，本公开的一个技术方案涉及的信息处理方法，是用于操作员对被操作车辆进行远程操作的信息处理方法，包括：基于车辆位置信息和延迟信息，生成第1位置信息，所述车辆位置信息表示所述被操作车辆取得的所述被操作车辆的当前位置，所述延迟信息表示所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，所述第1位置信息表示相对于所述被操作车辆的当前位置考虑了所述延迟时间而得到的所述被操作车辆的第1预测位置；基于障碍物位置信息和所述延迟信息，生成第2位置信息，所述障碍物位置信息表示所述被操作车辆取得的所述被操作车辆周边的1个以上的障碍物的当前位置，所述第2位置信息表示相对于障碍物的当前位置考虑了所述延迟时间而得到的1个以上的障碍物的第2预测位置；输出所述第1位置信息和所述第2位置信息。
另外，本公开的一个技术方案涉及的非瞬时性记录介质，记录有使计算机执行信息处理方法的程序，能够由计算机进行读取，所述信息处理方法是用于操作员对被操作车辆进行远程操作的方法，所述程序在由计算机执行时，使所述计算机执行如下方法，所述方法包括：基于车辆位置信息和延迟信息，生成第1位置信息，所述车辆位置信息表示所述被操作车辆取得的所述被操作车辆的当前位置，所述延迟信息表示所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，所述第1位置信息表示相对于所述被操作车辆的当前位置考虑了所述延迟时间而得到的所述被操作车辆的第1预测位置；基于障碍物位置信息和所述延迟信息，生成第2位置信息，所述障碍物位置信息表示所述被操作车辆取得的所述被操作车辆周边的1个以上的障碍物的当前位置，所述第2位置信息表示相对于障碍物的当前位置考虑了所述延迟时间而得到的1个以上的障碍物的第2预测位置；输出所述第1位置信息和所述第2位置信息。
在它们中，也实现与上述同样的作用效果。
另外，在本公开的一个技术方案涉及的信息处理装置中，所述操作还包括：进一步基于所述车辆位置信息，算出第3预测位置，所述第3预测位置是被预测为从所述被操作车辆的当前位置经过了任意时间后的所述被操作车辆所到达的、与所述第1预测位置不同的位置；输出表示所算出的所述第3预测位置的第3位置信息。
根据该构成，位置信息处理部基于车辆位置信息，算出被预测为从被操作车辆的当前位置经过了任意时间后的被操作车辆所到达的第3预测位置。位置信息处理部输出表示该第3预测位置的第3位置信息。因此，能够将被操作车辆的当前位置以及从当前位置经过了任意时间的第3预测位置提示给操作员。因此，易于进行被操作车辆的远程操作。由此，操作员能够修正对被操作车辆的操作，因而能够更安全地操作被操作车辆。
另外，在本公开的一个技术方案涉及的信息处理装置中，所述操作还包括：基于所述障碍物位置信息，算出表示被预测为从所述障碍物位置信息所示的障碍物的当前位置起障碍物进行移动的方向的行进方向；输出表示所算出的障碍物的该行进方向的方向信息。
根据该构成，方向算出部基于障碍物位置信息，算出表示被预测为从障碍物位置信息所示的障碍物的当前位置起障碍物进行移动的方向的障碍物的行进方向。方向算出部输出表示行进方向的方向信息。因此，能够将被操作车辆周边的障碍物的当前位置以及障碍物的行进方向提示给操作员。因此，操作员能够在每次操作被操作车辆时，迅速地辨识应该注意的障碍物。因此，操作员易于认识到被操作车辆以及障碍物的状态，因而能够更安全地操作被操作车辆。
另外，在本公开的一个技术方案涉及的信息处理装置中，所述操作还包括：至少基于所述第1预测位置和所述第2预测位置，判断所述被操作车辆与障碍物的距离是否变得小于等于规定阈值；在所述被操作车辆与障碍物的距离变得小于等于规定阈值的情况下，输出引起与相应的障碍物有关的注意的信息。
根据该构成，在被操作车辆与障碍物的距离变得小于等于规定阈值的情况下，判断处理部输出引起与相应的障碍物有关的注意的信息。因此，能够将被操作车辆与障碍物碰撞等事故发生的危险性预先提示给操作员。因此，操作员易于根据引起注意的信息认识到被操作车辆以及障碍物的状态，因而能够更安全地操作被操作车辆。
另外，在本公开的一个技术方案涉及的信息处理装置中，所述操作还包括：在所述被操作车辆与障碍物的距离变得小于等于规定阈值的情况下，将引起与相应的障碍物有关的注意的信息作为警告声进行输出。
根据该构成，在被操作车辆与障碍物的距离变得小于等于规定阈值的情况下，判断处理部将引起与相应的障碍物有关的注意的信息作为警告声来输出。因此，能够预先使操作员认识到被操作车辆与障碍物碰撞等事故发生的危险性。由此，操作员能够更安全操作被操作车辆。
另外，在本公开的一个技术方案涉及的信息处理装置中，所述操作还包括：基于所述车辆位置信息和所述第1位置信息，算出表示被预测为从所述车辆位置信息所示的所述被操作车辆的当前位置起所述被操作车辆进行移动的方向的行进方向；基于所述被操作车辆的行进方向和障碍物的行进方向，判断所述被操作车辆的行进方向与障碍物的行进方向是否交叉；在所述被操作车辆的行进方向与障碍物的行进方向交叉的情况下，将使所述被操作车辆的行驶停止的停止信号输出给所述被操作车辆。
根据该构成，方向算出部基于车辆位置信息和第1位置信息，算出表示被预测为从车辆位置信息所示的被操作车辆的当前位置起被操作车辆进行移动的方向的行进方向。另外，在被操作车辆的行进方向与障碍物的行进方向交叉的情况下，判断处理部将使被操作车辆的行驶停止的停止信号输出给被操作车辆。因此，无需将被操作车辆与障碍物碰撞等事故发生的危险性提示给操作员，就能够使被操作车辆的行驶停止。因此，不会发生由操作员的判断引起的延迟时间，因而被操作车辆的安全性提高。
另外，在本公开的一个技术方案涉及的信息处理装置中，所述操作还包括：进一步，在所述延迟时间的基础上，还组合生成所述车辆位置信息的处理所涉及的延迟时间、生成所述障碍物位置信息所涉及的延迟时间、算出所述第1预测位置的处理所涉及的延迟时间、算出所述第2预测位置的处理所涉及的延迟时间、将所述第1预测位置以及所述第2预测位置输出给显示装置的延迟时间、和从该信息处理装置生成用于操作所述被操作车辆的车辆操作信号起到所述被操作车辆接收为止的延迟时间中的至少一个以上的延迟时间，计测表示延迟时间的所述延迟信息。
根据该构成，能够将除了被操作车辆与远程操作装置之间的信息传送所需的延迟时间还考虑了数据处理的延迟时间而得到的被操作车辆的第1预测位置、被操作车辆周边的障碍物的第2预测位置，提示给对被操作车辆进行操作的位于远程位置的操作员。因此，被操作车辆的操作性提高。由此，操作员能够更安全地操作被操作车辆。
另外，本公开的一个技术方案涉及的被操作车辆，是用于操作员使用信息处理装置进行远程操作的车辆，具备：发送部，其将车辆行驶信息发送给所述信息处理装置，所述车辆行驶信息表示包括所述被操作车辆的转向角、所述被操作车辆的速度、所述被操作车辆的加速度和所述被操作车辆的行进方向中的至少一个以上的所述被操作车辆的行驶状态；以及控制部，其根据从所述被操作车辆到该信息处理装置的通信质量和所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，控制向所述信息处理装置发送的表示所述被操作车辆的当前位置的车辆位置信息、所述车辆行驶信息、和表示所述被操作车辆周边的1个以上的障碍物的当前位置的障碍物位置信息的信息量。
根据该构成，控制部能够根据被操作车辆与远程操作装置之间的通信质量以及被操作车辆与远程操作装置之间的信息传送所需的延迟时间，控制被操作车辆发送的车辆行驶信息的信息量、车辆行驶信息的优先级等。因此，在被操作车辆中，在能够在被操作车辆与远程操作装置之间进行通信的速度降低的情况下，也能够优先地发送在从远程操作被操作车辆的方面涉及安全性的必要的信息。
另外，在本公开的一个技术方案涉及的被操作车辆中，还具备拍摄部，该拍摄部生成并输出表示所述被操作车辆周围的影像的影像信息，所述控制部，判断所述被操作车辆与所述信息处理装置的通信速度是否比规定值大，在所述通信速度小于等于规定值的情况下，使从所述拍摄部取得的所述影像信息的信息量减少，输出减少后的所述影像信息。
根据该构成，在通信速度小于等于规定值的情况下，控制部使从拍摄部取得的影像信息的信息量减少。由此，易于维持被操作车辆与信息处理装置之间的实时的信息的收发。
另外，在本公开的一个技术方案涉及的被操作车辆中，所述拍摄部设置有多个，所述控制部，根据所述被操作车辆的行为(举动)，决定所述拍摄部的重要度，根据所述重要度，使所述拍摄部生成的所述影像信息的信息量减少，输出减少后的所述影像信息。
根据该构成，控制部根据重要度使拍摄部所生成的影像信息的信息量减少。例如，在被操作车辆转弯时，拍摄转弯方向的拍摄部所拍摄到的影像信息变得重要，其他拍摄部拍摄的影像的重要度降低。另外，拍摄转弯方向的拍摄部所拍摄到的影像信息的重要度高，因此，不使该影像信息的信息量减少或者几乎不使其减少。如此，通过使重要度低的影像信息的信息量减少，易于维持被操作车辆与信息处理装置之间的实时的信息的收发。另外，对于重要度高的影像信息，能够获得清晰的影像。
此外，这些总括性或者具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
此外，以下说明的实施方式均表示本公开的一个具体例子。在以下的实施方式中表示的数值、形状、构成要素、步骤、步骤的顺序等仅为一例，并非旨在限定本公开。另外，对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。另外，在所有的实施方式中，也可以组合各自的内容。
此外，各附图仅为示意图，不一定是严格图示。另外，在各附图中，对于实质上相同的构成赋予同一标号，省略或者简化重复说明。
(实施方式1)
[远程操作系统的构成]
使用图1，对实施方式1中的远程操作系统100的构成进行说明。
图1是表示从远程位置操作被操作车辆16的远程操作系统的一例的图。
如图1所示，远程操作系统100是经由无线LAN、通信终端等的无线基站15和网络14，将被操作车辆16与远程操作装置13以能够通信的方式连接的系统。远程操作系统100具备操作输入装置11、显示装置12、扬声器19、被操作车辆16以及远程操作装置13，远程操作装置13用于位于远程位置的操作员10对被操作车辆进行远程操作。远程操作装置13是信息处理装置的一例。
显示装置12是将被操作车辆16以及在被操作车辆16周围的障碍物的状态显示给操作员10的装置。显示装置12连接于远程操作装置13，例如是显示被操作车辆16以及被操作车辆16周围的障碍物的显示器(monitor)，能够使位于远程位置的操作员10识别被操作车辆16以及障碍物的状态。显示装置12也可以为多台连接于远程操作装置13。
在此所说的障碍物指的是除被操作车辆16以外的其他车辆、人等，主要意味着在被操作车辆16行驶时成为障碍的移动体。此外，障碍物也可以是固定于地面的不动产(建筑物)。
操作输入装置11与远程操作装置13连接，是被输入操作员10的远程操作的装置。操作输入装置11例如是方向盘(handle)、脚踏板(footpedal)等，是用于操作被操作车辆16的装置。操作输入装置11连接于远程操作装置13，将被输入的车辆操作信号输出给远程操作装置13。
扬声器19与远程操作装置13连接，为了引起关于障碍物的注意，对操作员10输出警告声，由此使操作员10认识到危险临近。
被操作车辆16将表示由后述的图2中所示的、所搭载的毫米波雷达1611、激光雷达1610、摄像头1612等各种传感器获得的被操作车辆16以及被操作车辆16周边的感测结果的感测信息，经由无线基站15和网络14发送给远程操作装置13。以下，将毫米波雷达1611、激光雷达1610、摄像头1612进行总称并称为传感器。
另外，被操作车辆16经由远程操作装置13、网络14以及无线基站15，从操作输入装置11接收通过操作员10对操作输入装置11进行操作而输出的车辆操作信号，由此，基于车辆操作信号而被操作。
从远程位置操作被操作车辆16的操作员10基于显示装置12所显示出的被操作车辆16以及障碍物的状态，对操作输入装置11进行操作。被操作车辆16以及障碍物的状态相当于后述的映射(map)影像。
[被操作车辆的构成]
接着，使用图2，对本实施方式中的被操作车辆16的构成进行说明。图2是表示本实施方式涉及的被操作车辆16的构成的一例的框图。
如图2所示，被操作车辆16是能够基于车辆预先所保有的行驶数据、和以由传感器等检测到的信息为基础生成的行驶数据等，进行自主行驶的车辆，是能够在预定条件下由位于远程位置的操作员10远程操作的、进行自动驾驶的车辆。
被操作车辆16具备无线通信单元1601、转向角传感器1602、速度/加速度传感器1603、速度控制单元1604、转向控制单元1605、车载网络1606、1607、地图数据库1608、远程控制单元1609、1台以上的激光雷达1610、1台以上的毫米波雷达1611、1台以上的摄像头1612以及GPS(Global Positioning System，全球定位系统)1613。
摄像头1612设置在能够从被操作车辆16对前后左右方向进行拍摄的位置。也就是说，摄像头1612以能够对被操作车辆16周围进行拍摄的方式设置于被操作车辆16。摄像头1612将拍摄到的被操作车辆16周围的影像输出给远程控制单元1609。在此所说的影像意味着包括动态图像、静态图像。摄像头1612是拍摄部的一例。
此外，在本实施方式中，被操作车辆16具备激光雷达1610和毫米波雷达1611，但由于不是被操作车辆16的必须的构成要件，因而也可以不具备它们。
无线通信单元1601是与无线基站15进行无线通信的通信装置。无线通信单元1601将包括后述的车辆位置信息、车辆行驶信息、影像信息、障碍物位置信息、表示进行了感测的时间点的时间信息等在内的感测信息，经由无线基站15以及网络14发送给远程操作装置13。无线通信单元1601是发送部的一例。
转向角传感器1602是如下传感器：计测被操作车辆16的车轮的转向角，在车载网络1607上输出与转向角有关的转向角信息。
速度/加速度传感器1603是如下传感器：计测被操作车辆16的速度以及加速度，将含有计测到的速度以及加速度的车辆行驶信息输出到车载网络1607上。
速度控制单元1604是通过被操作车辆16的加速器、制动器以及换挡杆的操作来控制速度的装置。速度控制单元1604例如是ECU(engine control unit，发动机控制单元)。速度控制单元1604经由远程操作装置13、网络14、无线基站15以及无线通信单元1601接收从操作输入装置11输出的车辆操作信号。
转向控制单元1605是按照车辆操作信号控制被操作车辆16的速度以及转向的装置。转向控制单元1605是能够通过操作被操作车辆16的转向器来控制被操作车辆16的行进方向的装置。转向控制单元1605也经由远程操作装置13、网络14、无线基站15以及无线通信单元1601接收从操作输入装置11输出的车辆操作信号。
车载网络1606、1607是CAN(Control Area Network，控制局域网)等对在搭载于被操作车辆16的各传感器以及各单元间收发的信息进行传输的传输路径。另外，车载网络1606、1607既可以合并为一个，也可以由3个以上的网络构成。
地图数据库1608是保存与道路以及大楼等建筑物有关的地图信息的数据库。地图数据库1608例如记录于硬盘或者半导体存储器等记录介质。
远程控制单元1609生成对远程操作装置13发送的感测信息。具体而言，远程控制单元1609基于从转向角传感器1602、速度/加速度传感器1603、地图数据库1608、激光雷达1610、摄像头1612、GPS1613获得的被操作车辆16的感测信息，生成表示在对被操作车辆16进行了计测的时间点的被操作车辆16的当前位置的车辆位置信息。此外，车辆位置信息中也可以含有地图数据库1608所保存的、被操作车辆16所行驶的道路的车道的辨识信息等。
另外，远程控制单元1609基于从转向角传感器1602、速度/加速度传感器1603获得的感测信息，根据被操作车辆16的加速器、制动器、换挡杆、转向器等的操作，生成表示包括被操作车辆16的转向角、被操作车辆16的速度、被操作车辆16的加速度和被操作车辆16的行进方向中的至少一个以上的被操作车辆16的行驶状态的车辆行驶信息。
再者，远程控制单元1609基于从1个以上的摄像头1612获得的感测信息，生成被操作车辆16周围的影像信息。关于被操作车辆16周围的影像信息，既可以在被操作车辆16的前后左右方向的各个方向分别地生成为影像信息，也可以将被操作车辆16的前后左右方向一起合成作为一个影像信息来生成。
另外，远程控制单元1609基于从激光雷达1610、毫米波雷达1611、摄像头1612的各个传感器获得的感测信息，检测被操作车辆16的车辆周边的障碍物，从而生成表示障碍物的当前位置的障碍物位置信息。此外，障碍物位置信息也可以含有与障碍物的当前位置、障碍物的速度、障碍物的加速度、障碍物的行进方向、障碍物的大小、障碍物的种类有关的信息。障碍物的种类例如是区分行人、自行车、汽车等的种类。障碍物的当前位置表示在各个传感器感测到障碍物的时间点的障碍物的位置。
接着，远程控制单元1609将车辆位置信息、车辆行驶信息、影像信息以及障碍物位置信息经由无线通信单元1601发送给远程操作装置13。
远程控制单元1609根据从被操作车辆16到远程操作装置13的通信质量以及被操作车辆16与远程操作装置13之间的信息传送所需的延迟时间，控制向远程操作装置13发送的车辆位置信息、车辆行驶信息、影像信息以及障碍物位置信息的信息量。远程控制单元1609变更车辆位置信息、车辆行驶信息、影像信息以及障碍物位置信息的信息量，或通过选择性地发送这些信息，控制通信量。远程控制单元1609是控制部的一例。
远程控制单元1609判断被操作车辆16与远程操作装置13的通信速度是否比规定值大。远程控制单元1609在通信速度小于等于规定值的情况下，根据被操作车辆16的行为，决定摄像头1612的重要度。远程控制单元1609根据重要度使摄像头1612所生成的影像信息的信息量减少，将减少后的影像信息输出给远程操作装置13。被操作车辆16的行为指的是被操作车辆16的右拐或者左拐、被操作车辆16的车道变更、被操作车辆16的制动等。根据被操作车辆16的行为，每个摄像头1612的重要度是不同的。也就是说，各个摄像头1612所生成的每个影像信息的重要度是不同的。具体而言，在被操作车辆16转弯时，拍摄转弯方向的摄像头1612拍摄到的影像信息变得重要，其他摄像头1612拍摄的影像的重要度降低。因此，将转弯方向以外的其他的摄像头1612所生成的影像信息的重要度设定为低重要度。另外，拍摄转弯方向的摄像头1612拍摄到的影像信息的重要度高，因此将其重要度设定得比转弯方向以外的其他的摄像头1612所生成的影像信息高。
而且，远程控制单元1609不使重要度高的影像信息的信息量减少或者仅微微地减少。另外，远程控制单元1609使重要度低的影像信息的信息量相对地减少。也就是说，远程控制单元1609使重要度低的影像信息的信息量减少为少于现状。或者，远程控制单元1609使重要度低的影像信息的信息量相对于重要度高的影像信息的信息量减少。
在这种远程控制单元1609中，例如在因无线基站15与被操作车辆16之间的电波环境恶化，通信速度降低的情况下，远程控制单元1609使信息量相对校多的影像信息的比特率等下降到通信速度以下，也就是说与感测信息相比优先降低影像信息的信息量。由此，易于维持被操作车辆16与远程操作装置13之间的实时的信息的收发。
此外，远程控制单元1609也可以根据被操作车辆16的驾驶场景，从被操作车辆16所搭载的多个摄像头1612中选择任意的摄像头1612，使与所选择的摄像头1612对应的影像信息的比特率下降。例如，在被操作车辆16转弯时，拍摄转弯方向的摄像头1612拍摄到的影像信息变得重要，其他摄像头1612拍摄的影像的重要度降低。因此，优先减少其他摄像头1612的影像信息。
远程控制单元1609经由无线通信单元1601接收远程操作装置13发送的车辆操作信号。远程控制单元1609基于接收到的车辆操作信号，控制速度控制单元1604和转向控制单元1605，由此，控制被操作车辆16的行驶。
此外，远程控制单元1609也可以计测从操作输入装置11生成用于操作被操作车辆16的车辆操作信号起到被操作车辆16接收为止的延迟时间，将表示该计测结果即延迟时间的延迟信息发送给远程操作装置13。在此所说的延迟时间是被操作车辆16与远程操作装置13之间的信息传送所需的时间。
激光雷达1610是如下传感器：配置于被操作车辆16周围，根据激光的发送和接收，计测照射了激光的被操作车辆16与周边的物体的距离。另外，激光雷达1610还能够变更发送光的位置，根据其接收结果来计测物体的三维形状。
毫米波雷达1611是如下传感器：配置于被操作车辆16周围，根据毫米波区域的电波的发送和接收，计测与反射电波的被操作车辆16的车辆周边的物体的距离以及相对速度。
GPS 1613是检测被操作车辆16的当前位置的传感器。
[远程操作装置的构成]
接着，使用图3，对本实施方式中的远程操作装置13的构成进行说明。图3是表示实施方式1涉及的远程操作装置13的构成的一例的框图。
如图3所示，远程操作装置13具备通信接口1301、车辆信息接收部1302、车辆操作信号发送部1303、时间计测部1304、车辆操作信号生成部1305、地图数据库1306以及HMI生成部1307。
通信接口1301与网络14连接，是经由网络14以及无线基站15与被操作车辆16进行通信的通信部。
车辆信息接收部1302经由通信接口1301至少接收被操作车辆16发送的、车辆位置信息、车辆行驶信息、影像信息以及障碍物位置信息。
时间计测部1304计测经由无线基站15以及网络14，被操作车辆16与远程操作装置13之间的信息传输所需的延迟时间。时间计测部1304例如计测激光雷达1610、毫米波雷达1611以及摄像头1612这些传感器感测到被操作车辆16以及障碍物的时间点、与时间计测部1304取得这些传感器感测到的感测信息的时间点之间的时间差。时间计测部1304例如可以是计时器。
另外，时间计测部1304在延迟时间中，不仅组合被操作车辆16与远程操作装置13之间的信息传送所需的时间，还进一步组合如下延迟时间中的至少一个以上，算出表示延迟时间的延迟信息，延迟时间包括：生成车辆位置信息的处理所涉及的延迟时间、生成障碍物位置信息所涉及的延迟时间、后述的算出第1预测位置的处理所涉及的延迟时间、算出第2预测位置的处理所涉及的延迟时间、将第1预测位置以及第2预测位置输出给显示装置12的延迟时间、从远程操作装置13生成用于操作被操作车辆16的车辆操作信号起到被操作车辆16接收为止的延迟时间。时间计测部1304将延迟信息输出给位置信息处理部1307a。此外，时间计测部1304也可以在延迟时间中组合后述的算出第3预测位置的处理所涉及的延迟时间，算出表示延迟时间的延迟信息。
车辆操作信号生成部1305基于由操作员10进行的对操作输入装置11的操作，生成车辆操作信号，将生成的车辆操作信号输出给车辆操作信号发送部1303。
车辆操作信号发送部1303将车辆操作信号生成部1305生成的车辆操作信号，经由通信接口1301、网络14以及无线基站15发送给被操作车辆16。
地图数据库1306是保存与道路等建筑物有关的地图信息的数据库。
HMI生成部1307基于车辆位置信息、车辆行驶信息、障碍物位置信息、影像信息、延迟时间以及地图信息，生成由操作员10进行的对被操作车辆16的操作所需的映射影像，将映射影像输出给显示装置12。具体而言，HMI生成部1307具有位置信息处理部1307a、方向算出部1307b、判断处理部1307c以及影像生成部1307d。
位置信息处理部1307a基于表示被操作车辆16取得的被操作车辆16的当前位置的车辆位置信息、和表示被操作车辆16与远程操作装置13之间的信息传送所需的延迟时间的延迟信息，生成表示相对于被操作车辆16的当前位置考虑了延迟时间而得到的被操作车辆16的第1预测位置的第1位置信息。位置信息处理部1307a将表示算出的第1预测位置的第1位置信息，经由影像生成部1307d以及判断处理部1307c输出给显示装置12。
位置信息处理部1307a从被操作车辆16取得表示被操作车辆16的转向角的转向角信息。位置信息处理部1307a基于车辆位置信息以及转向角信息，算出预测为从表示被操作车辆16的当前位置的时间点经过了任意时间后的被操作车辆16所到达的、与第1预测位置不同的第3预测位置。关于第3预测位置的算出的详情，将在后面进行说明。而且，位置信息处理部1307a将表示算出的第3预测位置的第3位置信息，经由影像生成部1307d输出给显示装置12。
此外，位置信息处理部1307a也可以算出多个第3预测位置。在该情况下，也可以根据多个第3预测位置来描绘预测轨迹。另外，第3预测位置也可以是表示第1预测位置的将来的位置。
另外，位置信息处理部1307a基于表示被操作车辆16取得的被操作车辆16周边的1个以上的障碍物的当前位置的障碍物位置信息、和延迟信息，生成表示相对于障碍物的当前位置考虑了延迟时间而得到的1个以上的障碍物的第2预测位置的第2位置信息。位置信息处理部1307a将表示算出的第2预测位置的第2位置信息经由影像生成部1307d以及判断处理部1307c输出给显示装置12。
关于算出第1预测位置的方法，位置信息处理部1307a也可以根据被操作车辆16的当前位置、车辆行驶信息所示的被操作车辆16的速度、和被操作车辆16的行进方向，算出相对于被操作车辆16的当前位置考虑了延迟时间的第1预测位置。
另外，关于算出第1预测位置的方法，位置信息处理部1307a也可以将成为每隔单位时间计测到的被操作车辆16的当前位置的信息保存于存储器等存储装置，根据单位时间和被操作车辆16的速度来算出第1预测位置。
方向算出部1307b基于障碍物位置信息，算出表示被预测为从障碍物位置信息所示的障碍物的当前位置起障碍物进行移动的方向的障碍物的行进方向。方向算出部1307b将表示所算出的障碍物的行进方向的障碍物的方向信息，经由影像生成部1307d以及判断处理部1307c输出给位于远程位置的操作员10对被操作车辆16以及障碍物的状态进行识别的显示装置12。
算出障碍物的行进方向的方法例如也可以为，根据由第1次感测所得到的障碍物的位置、与由第2次感测所得的的障碍物的位置的变化来算出。
另外，方向算出部1307b还基于车辆位置信息和第1位置信息，算出表示被预测为从车辆位置信息所示的被操作车辆16的当前位置起被操作车辆16进行移动的方向的被操作车辆16的行进方向。被操作车辆16的行进方向例如通过由转向控制单元1605检测被操作车辆16的转向角来获得。方向算出部1307b将算出的被操作车辆16的行进方向所示的、被操作车辆16的方向信息，经由影像生成部1307d以及判断处理部1307c输出给显示装置12。
判断处理部1307c基于第1预测位置和第2预测位置，判断被操作车辆16与障碍物的距离是否变得小于等于规定阈值。在被操作车辆16与障碍物的距离变得小于等于规定阈值的情况下，判断处理部1307c将引起与相应的障碍物有关的注意的信息输出给显示装置12。作为引起与障碍物有关的注意的信息，使映射影像所示的与被操作车辆16离得近的障碍物的颜色发生变化，由此，易于使操作员10识别到危险临近。另外，引起与障碍物有关的注意的信息不仅限定于使相应的障碍物的颜色发生变化，也可以通过闪烁来使操作员10易于识别，还可以经由扬声器19等输出警告声。此外，判断处理部1307c设置于HMI生成部1307，但也可以构成为与HMI生成部1307分开的装置。
另外，判断处理部1307c基于被操作车辆16的行进方向和障碍物的行进方向，判断被操作车辆16的行进方向与障碍物的行进方向是否交叉。在被操作车辆16的行进方向与障碍物的行进方向交叉的情况下，判断处理部1307c将使被操作车辆16的行驶停止的停止信号输出给被操作车辆16。关于停止信号的输出的详情，将在后面进行说明。
此外，判断处理部1307c也可以将判断被操作车辆16的行进方向与障碍物的行进方向是否交叉所得到的结果输出给车辆操作信号生成部1305。在该情况下，车辆操作信号生成部1305也可以将使被操作车辆16的行驶停止的停止信号输出给被操作车辆16。在该情况下，停止信号也可以包含于车辆操作信号。
HMI生成部1307的影像生成部1307d将使第1位置信息、第2位置信息、被操作车辆16的方向信息以及障碍物的方向信息与地图信息相关联的映射影像输出给显示装置12。具体而言，影像生成部1307d对保存于地图数据库1306的地图信息所示的地图，映射位置信息处理部1307a生成的第1位置信息以及第2位置信息各自所示的第1预测位置以及第2预测位置。再者，影像生成部1307d对保存于地图数据库1306的地图信息所示的地图，映射第3位置信息所表示的第3预测位置。再者，影像生成部1307d对保存于地图数据库1306的地图信息所示的地图，映射障碍物的方向信息所表示的障碍物的行进方向。此外，也可以进一步将被操作车辆16的行进方向映射于地图信息所示的地图。
这样，影像生成部1307d生成对保存于地图数据库1306的地图信息所示的地图映射了第1预测位置、第2预测位置、第3预测位置以及障碍物的行进方向而得到的映射影像。
影像生成部1307d将映射影像输出给显示装置12。该映射影像是由操作员10进行的对被操作车辆16的远程操作所需的信息。
接着，使用图4，对显示装置12所输出的新的地图信息进行说明。
图4是表示本实施方式涉及的远程操作系统的将由远程操作装置13中的HMI生成部1307生成的映射影像显示于显示装置12的输出画面的一例的图。
如图4所示，显示装置12的输出画面200显示于显示装置12的显示画面的全部或一部分。输出画面200中显示有映射影像201。
映射影像201根据地图数据库1306所保存的地图信息、车辆当前位置202a、车辆预测位置202b、车辆预测位置202c等来生成。映射影像201中显示有与被操作车辆16所行驶的道路、其周边的道路、交通标识等有关的信息。
与被操作车辆16有关的信息由表示车辆当前位置202a的车辆位置信息、表示车辆预测位置202b的第1位置信息以及表示车辆预测位置202c的第3位置信息构成。
车辆当前位置202a基于车辆位置信息显示于显示装置12的映射影像201上的相对应的位置。
车辆预测位置202b表示了考虑了延迟时间的、相对于车辆当前位置202a的被操作车辆16的第1预测位置。车辆预测位置202b至少基于车辆位置信息和延迟时间，显示于映射影像201上的相对应的位置。再者，车辆预测位置202b也可以为，还考虑车辆行驶信息来算出。
使用一个例子，对基于车辆位置信息和延迟时间的、求取车辆预测位置202b的方法进行说明。
关于车辆预测位置202b，在将被操作车辆16的行进方向设为x轴方向，将宽度方向设为y轴方向的情况下，当设时刻t2的车辆预测位置为(xt2、yt2、0)、时刻t1的车辆当前位置为(xt1、yt1、0)、x轴的速度为νx、y轴方向的速度为νy、x轴方向的加速度为ax、y轴方向的加速度为ay、延迟时间为D时，根据以下的式(1)、式(2)进行求取。时刻t1、时刻t2以及延迟时间D的关系成为t2＝t1+D。车辆当前位置中所示的0表示与x轴以及y轴正交的z轴方向。
Figure BDA0001507808350000221
Figure BDA0001507808350000222
此外，延迟时间D中也可以预先加上生成车辆位置信息的处理所涉及的延迟时间、算出车辆预测位置的处理所涉及的延迟时间和将车辆预测位置202b输出给显示装置12的延迟时间中的至少一方的值。
关于速度以及加速度，例如在将时刻t的x轴方向的速度设为νx(t)，将x轴方向的加速度设为ax的情况下，能够分别由式(3)、式(4)来求取。
Figure BDA0001507808350000223
Figure BDA0001507808350000224
此外，HMI生成部1307也可以在车辆预测位置202b的算出中补充地使用车辆行驶信息。
车辆预测位置202c基于车辆位置信息，表示在从被操作车辆16的当前位置的时间点经过了任意时间时被操作车辆16所到达的位置，显示于显示装置12的映射影像201上的相对应的位置。车辆预测位置202c是第3预测位置的一例。在图4中，显示于比第1预测位置更向前行进后的位置，但也可以是到第1预测位置之前的位置。也就是说，任意时间可以与从当前位置的时间点到第1预测位置的时间点的时间相同，也可以不同。
车辆预测位置202c例如能够根据式(1)～式(4)，通过取代延迟时间而使用任意的经过时间来求取。此外，HMI生成部1307也可以为了算出车辆预测位置202c而补充地使用车辆行驶信息。
另外，在输出画面200所显示的映射影像201中，表示了与位于被操作车辆16周边的至少一个以上的障碍物有关的、障碍物的当前位置(203a、204a、205a、206a、207a、208a)、障碍物预测位置(203b、204b、205b、206b、207b、208b)和障碍物移动向量(203c、204c、205c、206c、207c、208c)。
障碍物的当前位置(203a、204a、205a、206a、207a、208a)基于表示与位于被操作车辆16周边的1个以上的障碍物有关的位置的障碍物位置信息，显示于显示装置12的映射影像201上的相对应的位置。
障碍物预测位置(203b、204b、205b、206b、207b、208b)表示考虑了延迟时间的障碍物的预测位置。障碍物预测位置(203b、204b、205b、206b、207b、208b)基于障碍物位置信息和延迟时间，显示于映射影像201上的相对应的位置。此外，障碍物预测位置(203b、204b、205b、206b、207b、208b)能够通过将障碍物的当前位置(203a、204a、205a、206a、207a、208a)代入式(1)～式(4)来求取。障碍物预测位置(203b、204b、205b、206b、207b、208b)是第2预测位置的一例。
此外，也可以预先对式(1)、式(2)的延迟时间D加上如下延迟时间中的一个以上的值：算出障碍物预测位置(203b、204b、205b、206b、207b、208b)的处理所涉及的延迟时间、将障碍物预测位置(203b、204b、205b、206b、207b、208b)输出给显示装置12的延迟时间、以及从生成车辆操作信号起到被操作车辆16接收为止的延迟时间。
障碍物移动向量(203c、204c、205c、206c、207c、208c)表示障碍物的行进方向，基于障碍物位置信息，显示于显示装置12的映射影像201上的与障碍物对应的位置。例如，在映射影像201上的障碍物位于障碍物的当前位置203a的情况下，表示了与障碍物对应的障碍物移动向量203c。障碍物移动向量(203c、204c、205c、206c、207c、208c)是障碍物的行进方向的一例。
此外，HMI生成部1307根据操作员10的操作状况以及被操作车辆16的状态，可以将与车辆当前位置202a、车辆预测位置202b、车辆预测位置202c、障碍物的当前位置(203a、204a、205a、206a、207a、208a)、障碍物预测位置(203b、204b、205b、206b、207b、208b)以及障碍物移动向量(203c、204c、205c、206c、207c、208c)有关的信息输出给显示装置12，也可以使这些信息中的至少一部分非显示。
此外，HMI生成部1307也可以至少基于车辆预测位置202b和障碍物预测位置(203b、204b、205b、206b、207b、208b)，关于与被操作车辆16接触以及碰撞的可能性增高了的1个以上的障碍物，例如变更表示在图4中示出的障碍物的当前位置(203a、204a、205a、206a、207a、208a)以及障碍物预测位置(203b、204b、205b、206b、207b、208b)的颜色，由此，向操作员10通知被操作车辆16的危险性。例如，作为判断为接触以及碰撞的可能性高的方法的一例，考虑如下情况：被操作车辆16的行进方向与障碍物的行进方向一致或交叉的障碍物中的、关于属于接触以及碰撞的可能性高的障碍物的障碍物预测位置与车辆预测位置的差量变得比任意距离小。
接着，表示对被操作车辆16与任意的障碍物相接触或者碰撞的可能性进行判断的方法的一例。
首先，描述判断被操作车辆16的行进方向与障碍物的行进方向是否交叉的方法。在将被操作车辆16的当前位置用(xt1、yt1、zt1)表示，将从当前位置(xt1、yt1、zt1)的时间点经过任意时间(T秒)后的车辆预测位置用(xt2、yt2、zt2)表示，将障碍物位置信息所示的障碍物的当前位置用(Xt1、Yt1、Zt1)表示，将从当前位置(Xt1、Yt1、Zt1)的时间点经过任意时间(T秒)后的障碍物预测位置用(Xt2、Yt2、Zt2)表示的情况下，通过式(5)以及式(6)来表示。此外，zt1、zt2、Zt1、Zt2是高度方向，因此设为0。
α＝(xt1-xt2)(Yt1-yt1)+(yt1-yt2)(xt1-Xt1) 式(5)
β＝(xt1-xt2)(Yt2-yt1)+(yt1-yt2)(xt1-Xt2) 式(6)
α×β＜0 式(7)
在基于式(5)以及式(6)满足式(7)的条件的情况下，能够判断为被操作车辆16的行进方向与障碍物的行进方向交叉。在该情况下，判断处理部1307c将使被操作车辆16的行驶停止的停止信号输出给被操作车辆16。此外，被操作车辆16以及障碍物的行进方向是否相同能够根据被操作车辆16和障碍物是否位于同一车道或相同的行进方向的车道上来判断。
接着，描述求取被操作车辆16与任意的障碍物的距离的方法。
在将车辆预测位置设为(xt2、yt2、zt2)，将障碍物预测位置设为(Xt2、Yt2、Zt2)的情况下，车辆预测位置与障碍物预测位置的距离能够通过以下的式(8)来求取，在车辆预测位置与障碍物预测位置的距离变得小于等于任意值的情况下，能够判断为接触的危险性高。
Figure BDA0001507808350000251
如图4所示，另外，HMI生成部1307也可以将车辆行驶信息和影像信息作为操作被操作车辆16所需的信息输出到显示装置12。此外，HMI生成部1307也可以至少基于车辆预测位置202b和障碍物预测位置(203b、204b、205b、206b、207b、208b)，关于与被操作车辆16接触以及碰撞的可能性变高的1个以上的障碍物，对影像信息所显示的相应的障碍物重叠通知危险性的网格线等。也就是说，也可以将引起注意的信息输出给显示装置12。
此外，HMI生成部1307也可以在至少基于车辆预测位置202b和障碍物预测位置(203b、204b、205b、206b、207b、208b)，与被操作车辆16接触以及碰撞的可能性变高的情况下，关于显示装置12的画面整体，显示通知危险性的网格线等。
[工作]
接着，对本实施方式中的远程操作系统100的工作进行说明。
图5是表示实施方式1涉及的远程操作系统的工作的时序图。
如图5所示，首先，被操作车辆16的各个传感器通过对被操作车辆16周围进行感测，取得被操作车辆16的车辆位置信息、车辆行驶信息、障碍物位置信息、影像信息等(S11)。被操作车辆16将各个传感器计测到的车辆位置信息、车辆行驶信息、障碍物位置信息、影像信息等经由无线通信单元1601等发送给远程操作装置13。
接着，远程操作装置13取得车辆位置信息、障碍物位置信息等。时间计测部算出被操作车辆16与远程操作装置13之间的信息传送所需的延迟时间(S21)，将延迟信息输出给HMI生成部1307。
接着，HMI生成部1307的方向算出部1307b基于障碍物位置信息，根据障碍物的当前位置，算出障碍物的行进方向(S22)。方向算出部1307b将表示障碍物的行进方向的信息输出给影像生成部1307d。
接着，HMI生成部1307的位置信息处理部1307a基于转向角信息以及车辆位置信息，生成表示被预测为从车辆位置信息所示的被操作车辆16的当前位置经过了任意时间后的被操作车辆16所到达的第3预测位置的第3位置信息(S23)。位置信息处理部1307a将第3位置信息输出给影像生成部1307d。
接着，HMI生成部1307的位置信息处理部1307a基于车辆位置信息和延迟信息，生成表示第1预测位置的第1位置信息(S24)。另外，位置信息处理部1307a基于障碍物位置信息和延迟信息，生成表示障碍物的第2预测位置的第2位置信息(S24)。位置信息处理部1307a将第1位置信息以及第2位置信息输出给HMI生成部1307的影像生成部1307d。
接着，影像生成部1307d对保存于地图数据库1306的地图信息所示的地图，映射基于第1位置信息、第2位置信息、第3位置信息以及表示障碍物的行进方向的信息的位置，生成映射影像(S25)。影像生成部1307d将映射影像输出给显示装置12。
接着，显示装置12显示映射影像(S31)。
接着，操作员10在根据显示装置12所显示的映射影像，识别为被操作车辆16存在与障碍物碰撞的危险时，对操作输入装置11进行操作。操作输入装置11将车辆操作信号发送给远程操作装置13(S41)。
接着，远程操作装置13接收车辆操作信号，并将其发送给被操作车辆16。
接着，被操作车辆16接收车辆操作信号，进行与车辆操作信号相应的行驶(S12)。这样，在远程操作系统100中，能够对在道路上行驶的被操作车辆16进行远程控制。
接着，对根据被操作车辆16与障碍物的距离来使显示装置12显示的方式进行说明。
图6是涉及实施方式1的、表示根据被操作车辆16与障碍物的距离来决定使显示装置12显示的信息的处理的流程图。
如图6所示，首先，判断处理部1307c基于第1预测位置和第2预测位置，算出被操作车辆16与障碍物的距离(S101)。
接着，判断处理部1307c判断在步骤S101中算出的距离是否变得小于等于规定阈值(S102)。
在被操作车辆16与障碍物的距离变得小于等于规定阈值的情况下(S102：是)，判断处理部1307c将引起与相应的障碍物有关的注意的信息附加于图4的映射影像(S103)。具体而言，判断处理部1307c使映射影像所示的与被操作车辆16距离近的障碍物的颜色发生变化来作为引起与相应的障碍物有关的注意的信息，由此，易于使操作员10识别到危险临近。判断处理部1307c将附加了引起与相应的障碍物有关的注意的信息的映射影像输出给显示装置12(S103)。然后，结束该处理。
另外，在被操作车辆16与障碍物的距离变得比规定阈值大的情况下(S102：否)，可认为障碍物与被操作车辆16分开了距离，因此，判断处理部1307c将通常的映射影像输出给显示装置12(S104)。然后，结束该处理。
接着，对强制使被操作车辆16的行驶停止的情况进行说明。
图7是涉及实施方式1的、表示根据被操作车辆16的行进方向和障碍物的行进方向来对被操作车辆16进行行驶控制的处理的流程图。
如图7所示，首先，方向算出部1307b基于车辆位置信息和第1位置信息，算出表示被预测为从车辆位置信息所示的被操作车辆16的当前位置起被操作车辆16进行移动的方向的行进方向。另外，方向算出部1307b基于障碍物位置信息，算出表示被预测为从障碍物位置信息所示的障碍物的当前位置起障碍物进行移动的方向的行进方向(S111)。
接着，判断处理部1307c基于被操作车辆16的行进方向和障碍物的行进方向，判断被操作车辆16的行进方向与障碍物的行进方向是否交叉(S112)。
在被操作车辆16的行进方向与障碍物的行进方向交叉的情况下(S112：是)，判断处理部1307c将使被操作车辆16行驶的停止的停止信号输出给被操作车辆16(S113)。然后，结束该处理。
另一方面，在被操作车辆16的行进方向与障碍物的行进方向不交叉的情况下(S112：否)，结束该处理。
对于判断处理部1307c将引起与相应的障碍物有关的注意的信息输出给显示装置12的情况，进行示例。
图8A是涉及实施方式1的、表示障碍物的示意图。图8B是涉及实施方式1的、表示被操作车辆16与障碍物存在发生碰撞的危险的状态的示意图。图8B表示从图8A经过了任意时间后的障碍物。
图8A以及图8B是显示装置12所显示的输出画面。该输出画面也可以显示于与图4的输出画面200邻接的地方。
在图8A中，被操作车辆16感测到的障碍物由实线的四边框包围着。在从图8A经过了任意时间的图8B中，图8A的障碍物即对向车辆217的行进方向朝着被操作车辆16。在该情况下，对向车辆217有可能会转弯，因此，判断处理部1307c判断为被操作车辆16的行进方向与对向车辆217的行进方向交叉。在该情况下，判断处理部1307c将引起与障碍物有关的注意的信息输出给显示装置12，因此，例如变更对向车辆217的四边框的颜色。在显示装置12中，变更了四边框的颜色地显示出对向车辆217。
接着，对影像信息的信息量的减少进行说明。
图9是涉及实施方式1的、表示影像信息的减少的处理的流程图。
如图9所示，首先，远程控制单元1609从无线通信单元1601取得远程操作装置13与被操作车辆16之间的通信速度、更具体而言是无线基站15与被操作车辆16之间的通信速度(S201)。
接着，远程控制单元1609根据被操作车辆16的行为判断通信速度是否大于规定值(S202)。
在通信速度小于等于规定值的情况下(S202：否)，远程控制单元1609按各个摄像头1612的每一个决定重要度(S204)。
接着，远程控制单元1609根据重要度使摄像头1612生成的影像信息的信息量减少(S205)。远程控制单元1609根据在步骤S204中设定的重要度，使重要度低的影像信息的信息量减少，不使重要度高的影像信息的信息量减少或者仅微微地减少。远程控制单元1609将生成的影像信息输出给远程操作装置13(S205)。然后，结束该处理。
另一方面，在通信速度大于规定值的情况下(S202：是)，远程控制单元1609将摄像头1612生成的影像信息以其原本的状态输出给远程操作装置13(S203)。然后，结束该处理。
此外，在该处理中，通过步骤S204，进行了对重要度的决定，但并非必须的构成要件。也就是说，也可以不进行对重要度的决定，而使影像信息的信息量减少。
[作用效果]
接着，对本实施方式中的远程操作装置13、被操作车辆16、信息处理方法以及程序的作用效果进行说明。
如上所述，在本实施方式涉及的远程操作装置13中，位置信息处理部1307a生成表示相对于被操作车辆16的当前位置考虑了延迟时间而得到的被操作车辆16的第1预测位置的第1位置信息，并且生成表示相对于障碍物的当前位置考虑了延迟时间而得到的1个以上的障碍物的第2预测位置的第2位置信息。位置信息处理部1307a将第1位置信息和第2位置信息输出。因此，即使在发生了被操作车辆16与远程操作装置13之间的信息传送所需的延迟时间的情况下，也能够将考虑了延迟时间的被操作车辆16的第1位置信息和障碍物的第2位置信息提示给位于远程位置的操作员10。因此，操作员10能够识别与车辆预测位置和障碍物预测位置各自有关的信息，因而易于进行被操作车辆16的远程操作。
因此，能够使被操作车辆16的安全性提高。由此，操作员10能够安全地对被操作车辆16进行远程操作。
另外，在本实施方式涉及的信息处理方法以及程序中，也实现与上述同样的作用效果。
另外，在本实施方式涉及的远程操作装置13中，位置信息处理部1307a基于车辆位置信息，算出被预测为从被操作车辆16的当前位置经过了任意时间后的被操作车辆16所到达的第3预测位置。位置信息处理部1307a将表示该第3预测位置的第3位置信息输出给显示装置12。因此，能够将被操作车辆16的当前位置以及从当前位置经过了任意时间的第3预测位置提示给操作员10。因此，易于进行被操作车辆16的远程操作。由此，操作员10能够修正对被操作车辆16的操作，因而能够更安全地操作被操作车辆16。
另外，在本实施方式涉及的远程操作装置13中，方向算出部1307b基于障碍物位置信息，算出表示被预测为从障碍物位置信息所示的障碍物的当前位置起障碍物进行移动的方向的障碍物的行进方向。方向算出部1307b将表示行进方向的方向信息输出。因此，能够将被操作车辆16周边的障碍物的当前位置以及障碍物的行进方向提示给操作员10。因此，操作员10能够在每次操作被操作车辆16时，迅速地辨识应该注意的障碍物。因此，操作员10易于认识到被操作车辆16以及障碍物的状态，因而能够更安全地操作被操作车辆16。
另外，在本实施方式涉及的远程操作装置13中，在被操作车辆16与障碍物的距离变得小于等于规定阈值的情况下，判断处理部1307c将引起与相应的障碍物有关的注意的信息作为被操作车辆16以及障碍物的状态输出。因此，能够将被操作车辆16与障碍物碰撞等事故发生的危险性预先提示给操作员10。因此，操作员10易于根据引起注意的信息认识到被操作车辆16以及障碍物的状态，因而能够更安全地操作被操作车辆16。
另外，在本实施方式涉及的远程操作装置13中，在被操作车辆16与障碍物的距离变得小于等于规定阈值的情况下，判断处理部1307c将引起与相应的障碍物有关的注意的信息作为警告声来输出。因此，能够预先使操作员10认识到被操作车辆16与障碍物碰撞等事故发生的危险性。由此，操作员10能够更安全操作被操作车辆16。
另外，在本实施方式涉及的远程操作装置13中，方向算出部1307b基于车辆位置信息和第1位置信息，算出表示被预测为从车辆位置信息所示的被操作车辆16的当前位置起被操作车辆16进行移动的方向的行进方向。另外，在被操作车辆16的行进方向与障碍物的行进方向交叉的情况下，判断处理部1307c将使被操作车辆16的行驶停止的停止信号输出给被操作车辆16。因此，无需将被操作车辆16与障碍物碰撞等事故发生的危险性提示给操作员10，就能够使被操作车辆16的行驶停止。因此，不会发生由操作员10的判断引起的延迟时间，因而被操作车辆16的安全性提高。
另外，在本实施方式涉及的远程操作装置13中，能够将除了被操作车辆16与远程操作装置13之间的信息传送所需的延迟时间还考虑了数据处理的延迟时间而得到的被操作车辆16的第1预测位置、被操作车辆16周边的障碍物的第2预测位置，提示给对被操作车辆16进行操作的位于远程位置的操作员10。因此，被操作车辆16的操作性提高。由此，操作员10能够更安全地操作被操作车辆16。
另外，在本实施方式涉及的被操作车辆16中，远程控制单元1609能够根据被操作车辆16与远程操作装置13之间的通信质量以及被操作车辆16与远程操作装置13之间的信息传送所需的延迟时间，控制被操作车辆16发送的车辆行驶信息的信息量、车辆行驶信息的优先级等。因此，在被操作车辆16中，在能够在被操作车辆16与远程操作装置13之间进行通信的速度降低的情况下，也能够优先地发送在从远程操作被操作车辆16的方面涉及安全性的必要的信息。
另外，在本实施方式涉及的被操作车辆16中，在通信速度小于等于规定值的情况下，远程控制单元1609使从摄像头1612取得的影像信息的信息量减少。由此，易于维持被操作车辆16与远程操作装置13之间的实时的信息的收发。
另外，在本实施方式涉及的被操作车辆16中，远程控制单元1609根据重要度使摄像头1612所生成的影像信息的信息量减少。例如，在被操作车辆16转弯时，拍摄转弯方向的摄像头1612所拍摄到的影像信息变得重要，其他摄像头1612拍摄的影像的重要度降低。另外，拍摄转弯方向的摄像头1612所拍摄到的影像信息的重要度高，因此，不使该影像信息的信息量减少或者几乎不使其减少。如此，通过使重要度低的影像信息的信息量减少，易于维持被操作车辆16与远程操作装置13之间的实时的信息的收发。另外，对于重要度高的影像信息，能够获得清晰的影像。
(实施方式1的变形例)
接着，对本变形例中的远程操作系统进行说明。
在本变形例中，与实施方式1的不同之处在于，在被操作车辆160的构成中，还具备位置检测单元1614以及障碍物检测单元1615。另外，本变形例在没有特别写明的情况下，与实施方式1是同样的，对相同的构成赋予同一标号，省略与构成有关的详细说明。
[其他的被操作车辆的构成]
图10是表示实施方式1的变形例中的被操作车辆160的其他构成的一例的框图。
如图10所示，在被操作车辆160的构成中，还具备位置检测单元1614以及障碍物检测单元1615。在图10的被操作车辆160中，位置检测单元1614进行图2的远程控制单元1609的任务中的、车辆位置信息的生成，障碍物检测单元1615进行其中的障碍物位置信息的生成。
位置检测单元1614代替远程控制单元1609，基于从转向角传感器1602、速度/加速度传感器1603、地图数据库1608、激光雷达1610、摄像头1612、GPS1613这些装置获得的1个以上的信息，计测被操作车辆160的当前位置，生成车辆位置信息。
障碍物检测单元1615代替远程控制单元1609，基于从激光雷达1610、毫米波雷达1611、摄像头1612获得的信息，生成障碍物位置信息。
远程控制单元1609生成从1个以上的摄像头1612获得的被操作车辆160的前后左右方向的影像信息，并且，根据转向角传感器1602、速度/加速度传感器1603输出的各个信息，生成车辆行驶信息。
另外，远程控制单元1609将位置检测单元1614生成的车辆位置信息、车辆行驶信息、影像信息以及障碍物检测单元1615生成的障碍物位置信息，经由无线通信单元1601发送给远程操作装置130。
图11是表示实施方式1的变形例中的远程操作装置130的其他构成的一例的框图。
在本变形例中，被操作车辆160的位置检测单元1614进行车辆位置信息的生成，被操作车辆160的障碍物检测单元1615进行障碍物位置信息的生成。因此，与实施方式1的图3的不同之处在于，HMI生成部1307不具有位置信息处理部1307a。
该本变形例中的作用效果是与实施方式1等同样的作用效果，对于相同的作用效果，省略详细说明。
(实施方式2)
接着，对本实施方式中的远程操作系统进行说明。
在本实施方式中，与实施方式1等的不同之处在于，不对远程操作装置230设置图3的时间计测部1304、和远程控制单元1609生成延迟信息等。
在本实施方式中，远程操作系统中的其他构成与实施方式1的远程操作系统100是同样的，除了特别提及的情况，对相同的构成赋予同一标号，省略与构成有关的详细说明。
[被操作车辆的构成]
如图2所示，远程控制单元1609计测延迟时间，该延迟时间是包括无线基站15和网络14的、被操作车辆16与远程操作装置230之间的信息传送所需的延迟时间。
此外，远程控制单元1609也可以基于车辆位置信息和延迟时间，算出被操作车辆16的当前位置和第1预测位置。再者，远程控制单元1609也可以基于障碍物位置信息和延迟时间，算出障碍物的当前位置和第2预测位置。而且，远程控制单元1609也可以将车辆位置信息、第1位置信息、车辆行驶信息、障碍物位置信息、第2位置信息以及影像信息经由无线通信单元1601发送给远程操作装置230。
另外，远程控制单元1609经由无线通信单元1601接收远程操作装置230发送的车辆操作信号。远程控制单元1609按照车辆操作信号，使用速度控制单元1604和转向控制单元1605来控制被操作车辆16的行驶。
[远程操作装置的构成]
使用图12，对本实施方式中的远程操作装置230进行说明。
图12是表示实施方式2涉及的远程操作系统中的远程操作装置230的构成的一例的框图。
如图12所示，远程操作装置230具备通信接口1301、车辆信息接收部1302、车辆操作信号发送部1303、车辆操作信号生成部1305、地图数据库1306以及HMI生成部1307。
通信接口1301与网络14连接，经由网络14以及无线基站15，与被操作车辆16进行通信。
车辆信息接收部1302经由通信接口1301接收被操作车辆16发送的延迟信息、车辆位置信息、车辆行驶信息、障碍物位置信息以及影像信息。此外，车辆信息接收部1302也可以在远程控制单元1609生成第1位置信息以及第2位置信息的情况下，进一步经由通信接口1301接收被操作车辆16发送的第1位置信息以及第2位置信息。
车辆操作信号生成部1305基于由操作员10进行的对操作输入装置11的操作，生成车辆操作信号。
车辆操作信号发送部1303将车辆操作信号生成部1305生成的车辆操作信号，经由通信接口1301、网络14以及无线基站15发送给被操作车辆16。
HMI生成部1307基于车辆当前位置、第1位置信息、车辆行驶信息、障碍物位置信息、第2位置信息、影像信息以及地图信息，生成由操作员10进行的对被操作车辆16的操作所需的映射影像，将映射影像输出给显示装置12。
在本实施方式中，远程控制单元1609计测作为包括无线基站15和网络14的、被操作车辆16与远程操作装置230之间的信息传送所需的延迟时间的延迟时间，因而无需对远程操作装置230设置时间计测部1304。因此，根据该远程操作系统，不设置时间计测部1304，故能够降低远程操作装置230的制造成本。
该本实施方式中的作用效果是与实施方式1等同样的作用效果，对于相同的作用效果，省略详细说明。
(变形例等)
以上，基于实施方式1、2以及实施方式1的变形例对本公开进行了说明，但本公开不限定于上述各实施方式1、2以及实施方式1的变形例。
例如，在上述实施方式1、2以及实施方式1的变形例涉及的信息处理装置以及被操作车辆中，引起与障碍物有关的注意的信息也可以使用如下方式中的至少1个以上：使映射影像所示的与被操作车辆距离近的障碍物的颜色发生变化；使映射影像所示的与被操作车辆距离近的障碍物闪烁；以及通过扬声器输出警告声。因此，障碍物的颜色的变化、使障碍物闪烁、扬声器在信息处理装置中并非必须的构成要件。
另外，在上述实施方式1、2涉及的信息处理装置以及被操作车辆中，位置信息处理部1307a也可以不生成第3位置信息，第3位置信息的生成并非必须的构成要件。因此，显示部中也可以不显示第3预测位置。
另外，上述实施方式1涉及的信息处理装置也可以搭载于被操作车辆。在该情况下，信息处理装置经由无线基站以及网络对显示装置发送映射影像等。
另外，在上述实施方式1、2以及实施方式1的变形例涉及的信息处理装置以及被操作车辆中，当信息处理装置与被操作车辆的电波强度变得小于等于阈值时，信息处理装置也可以将使被操作车辆的行驶停止的停止信号发送给被操作车辆。由此，被操作车辆停止行驶。
另外，上述实施方式1、2以及实施方式1的变形例涉及的信息处理装置以及被操作车辆的各处理部典型地可被实现为作为集成电路的LSI(Large Scale Integration：大规模集成电路)。它们可以各别地单片化，或者包括一部分或全部地单片化。
另外，集成电路化不限于LSI，也可以通过专用电路或通用处理器实现。也可以利用能够在LSI制造后编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接或设定的可重构处理器。
此外，在上述各实施方式1、2以及实施方式1的变形例中，各构成要素既可以用专用的硬件构成，也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行部将记录于硬盘或者半导体存储器等记录介质中的软件程序读出并执行来实现。
另外，上述所使用的数字全部是用于具体地说明本公开而示例的，本公开的实施方式不限制于示例出的数字。
另外，框图中的功能模块的分割仅为一例，也可以将多个功能模块作为一个功能模块来实现，或将一个功能模块分割为多个，或将一部分功能移至其他功能模块。另外，也可以为，单一的硬件或者软件并行或者分时地处理具有类似功能的多个功能模块的功能。
另外，执行流程图中的各步骤的顺序是为了具体说明本公开而示例的，也可以是除上述以外的顺序。另外，上述步骤的一部分也可以与其他步骤同时(并行)执行。
此外，将本领域技术人员想到的各种变形应用于上述各实施方式1、2以及实施方式1的变形例而得到的方式、和在不偏离本公开的宗旨的范围内将实施方式1、2以及实施方式1的变形例中的构成要素以及功能任意地组合而实现的方式也包含于本公开。
产业上的可利用性
本公开涉及的信息处理装置、被操作车辆、信息处理方法以及程序对于如下系统是有效的，即针对在道路上行驶的车辆，位于远程位置的操作员利用通信线路等对车辆进行远程操作。

Claims (12)

1.一种信息处理装置，用于操作员对被操作车辆进行远程操作，具备：
处理电路；以及
存储器，其存储有至少一组指令，当由处理电路执行时，该一组指令使处理电路进行如下操作：
基于车辆位置信息和延迟信息，生成第1位置信息，所述车辆位置信息表示所述被操作车辆取得的所述被操作车辆的当前位置，所述延迟信息表示所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，所述第1位置信息表示相对于所述被操作车辆的当前位置经过了所述延迟时间后而得到的所述被操作车辆的第1预测位置；
基于障碍物位置信息和所述延迟信息，生成第2位置信息，所述障碍物位置信息表示所述被操作车辆取得的所述被操作车辆周边的1个以上的障碍物的当前位置，所述第2位置信息表示相对于障碍物的当前位置经过了所述延迟时间后而得到的1个以上的障碍物的第2预测位置；
输出所述第1位置信息和所述第2位置信息。
2.根据权利要求1所述的信息处理装置，
所述操作还包括：
进一步基于所述车辆位置信息，算出第3预测位置，所述第3预测位置是被预测为从所述被操作车辆的当前位置经过了任意时间后的所述被操作车辆所到达的、与所述第1预测位置不同的位置；
输出表示所算出的所述第3预测位置的第3位置信息。
3.根据权利要求1所述的信息处理装置，
所述操作还包括：
基于所述障碍物位置信息，算出表示被预测为从所述障碍物位置信息所示的障碍物的当前位置起障碍物进行移动的方向的行进方向；
输出表示所算出的障碍物的该行进方向的方向信息。
4.根据权利要求1所述的信息处理装置，
所述操作还包括：
至少基于所述第1预测位置和所述第2预测位置，判断所述被操作车辆与障碍物的距离是否变得小于等于规定阈值；
在所述被操作车辆与障碍物的距离变得小于等于规定阈值的情况下，输出引起与相应的障碍物有关的注意的信息。
5.根据权利要求4所述的信息处理装置，
所述操作还包括：
在所述被操作车辆与障碍物的距离变得小于等于规定阈值的情况下，将引起与相应的障碍物有关的注意的信息作为警告声进行输出。
6.根据权利要求3所述的信息处理装置，
所述操作还包括：
基于所述车辆位置信息和所述第1位置信息，算出表示被预测为从所述车辆位置信息所示的所述被操作车辆的当前位置起所述被操作车辆进行移动的方向的行进方向；
基于所述被操作车辆的行进方向和障碍物的行进方向，判断所述被操作车辆的行进方向与障碍物的行进方向是否交叉；
在所述被操作车辆的行进方向与障碍物的行进方向交叉的情况下，将使所述被操作车辆的行驶停止的停止信号输出给所述被操作车辆。
7.根据权利要求1所述的信息处理装置，
所述操作还包括：
进一步，在所述延迟时间的基础上，还组合生成所述车辆位置信息的处理所涉及的延迟时间、生成所述障碍物位置信息所涉及的延迟时间、算出所述第1预测位置的处理所涉及的延迟时间、算出所述第2预测位置的处理所涉及的延迟时间、将所述第1预测位置以及所述第2预测位置输出给显示装置的延迟时间、和从该信息处理装置生成用于操作所述被操作车辆的车辆操作信号起到所述被操作车辆接收为止的延迟时间中的至少一个以上的延迟时间，计测表示延迟时间的所述延迟信息。
8.一种被操作车辆，是用于操作员使用信息处理装置进行远程操作的车辆，具备：
发送部，其将车辆行驶信息发送给所述信息处理装置，所述车辆行驶信息表示包括所述被操作车辆的转向角、所述被操作车辆的速度、所述被操作车辆的加速度和所述被操作车辆的行进方向中的至少一个以上的所述被操作车辆的行驶状态；以及
控制部，其根据从所述被操作车辆到该信息处理装置的通信质量和所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，控制向所述信息处理装置发送的表示所述被操作车辆的当前位置的车辆位置信息、所述车辆行驶信息、和表示所述被操作车辆周边的1个以上的障碍物的当前位置的障碍物位置信息的信息量，
所述被操作车辆基于第1位置信息和第2位置信息被远程操作，所述第1位置信息由所述信息处理装置基于所述车辆位置信息和所述延迟时间生成，所述第1位置信息表示相对于所述被操作车辆的当前位置经过了所述延迟时间后而得到的所述被操作车辆的第1预测位置，所述第2位置信息由所述信息处理装置基于所述障碍物位置信息和所述延迟时间生成，所述第2位置信息表示相对于障碍物的当前位置经过了所述延迟时间后而得到的1个以上的障碍物的第2预测位置。
9.根据权利要求8所述的被操作车辆，
还具备拍摄部，该拍摄部生成并输出表示所述被操作车辆周围的影像的影像信息，
所述控制部，
判断所述被操作车辆与所述信息处理装置的通信速度是否比规定值大，
在所述通信速度小于等于规定值的情况下，使从所述拍摄部取得的所述影像信息的信息量减少，输出减少后的所述影像信息。
10.根据权利要求9所述的被操作车辆，
所述拍摄部设置有多个，
所述控制部，
根据所述被操作车辆的行为，决定所述拍摄部的重要度，
根据所述重要度，使所述拍摄部生成的所述影像信息的信息量减少，输出减少后的所述影像信息。
11.一种信息处理方法，是用于操作员对被操作车辆进行远程操作的信息处理方法，包括：
基于车辆位置信息和延迟信息，生成第1位置信息，所述车辆位置信息表示所述被操作车辆取得的所述被操作车辆的当前位置，所述延迟信息表示所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，所述第1位置信息表示相对于所述被操作车辆的当前位置经过了所述延迟时间后而得到的所述被操作车辆的第1预测位置；
基于障碍物位置信息和所述延迟信息，生成第2位置信息，所述障碍物位置信息表示所述被操作车辆取得的所述被操作车辆周边的1个以上的障碍物的当前位置，所述第2位置信息表示相对于障碍物的当前位置经过了所述延迟时间后而得到的1个以上的障碍物的第2预测位置；
输出所述第1位置信息和所述第2位置信息。
12.一种非瞬时性记录介质，记录有使计算机执行信息处理方法的程序，能够由计算机进行读取，所述信息处理方法是用于操作员对被操作车辆进行远程操作的方法，
所述程序在由计算机执行时，使所述计算机执行如下方法，所述方法包括：
基于车辆位置信息和延迟信息，生成第1位置信息，所述车辆位置信息表示所述被操作车辆取得的所述被操作车辆的当前位置，所述延迟信息表示所述被操作车辆与该信息处理装置之间的信息传送所需的延迟时间，所述第1位置信息表示相对于所述被操作车辆的当前位置经过了所述延迟时间后而得到的所述被操作车辆的第1预测位置；
基于障碍物位置信息和所述延迟信息，生成第2位置信息，所述障碍物位置信息表示所述被操作车辆取得的所述被操作车辆周边的1个以上的障碍物的当前位置，所述第2位置信息表示相对于障碍物的当前位置经过了所述延迟时间后而得到的1个以上的障碍物的第2预测位置；
输出所述第1位置信息和所述第2位置信息。
CN201711338333.5A 2016-12-22 2017-12-14 信息处理装置和方法、被操作车辆及记录程序的记录介质 Active CN108227703B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016250113 2016-12-22
JP2016-250113 2016-12-22
JP2017173323A JP7029910B2 (ja) 2016-12-22 2017-09-08 情報処理装置、情報処理方法及びプログラム
JP2017-173323 2017-09-08

Publications (2)

Publication Number Publication Date
CN108227703A CN108227703A (zh) 2018-06-29
CN108227703B true CN108227703B (zh) 2022-08-02

Family

ID=60888118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711338333.5A Active CN108227703B (zh) 2016-12-22 2017-12-14 信息处理装置和方法、被操作车辆及记录程序的记录介质

Country Status (3)

Country Link
US (1) US10678237B2 (zh)
EP (1) EP3339999B1 (zh)
CN (1) CN108227703B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10293818B2 (en) * 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
US10725473B2 (en) 2017-09-01 2020-07-28 Uatc, Llc Systems and methods for changing a destination of an autonomous vehicle in real-time
US10300888B1 (en) * 2018-03-06 2019-05-28 GM Global Technology Operations LLC Performing remote vehicle commands using live camera supervision
JP7442272B2 (ja) * 2018-08-09 2024-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び、情報処理システム
CN110880236B (zh) * 2018-09-05 2022-06-14 阿里巴巴集团控股有限公司 路况信息处理方法、装置及系统
CN109743389A (zh) * 2019-01-03 2019-05-10 重庆西部汽车试验场管理有限公司 数据交互方法、装置、设备和系统
US11526816B2 (en) 2019-02-27 2022-12-13 Uber Technologies, Inc. Context-based remote autonomous vehicle assistance
JP7256668B2 (ja) 2019-03-29 2023-04-12 本田技研工業株式会社 制御装置、制御方法及びプログラム
US11112791B2 (en) * 2019-05-02 2021-09-07 Valeo Schalter Und Sensoren Gmbh Selective compression of image data during teleoperation of a vehicle
JP7223629B2 (ja) 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置
JP7238670B2 (ja) 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
EP3772226B1 (en) 2019-07-30 2023-01-25 Volkswagen AG Methods, computer programs, and apparatuses for a command center and a vehicle
JP7156208B2 (ja) * 2019-08-08 2022-10-19 トヨタ自動車株式会社 車両遠隔指示システム及び遠隔指示装置
JP7192709B2 (ja) * 2019-08-09 2022-12-20 トヨタ自動車株式会社 車両遠隔指示訓練装置
US11314246B2 (en) 2019-08-16 2022-04-26 Uber Technologies, Inc. Command toolbox for autonomous vehicles
JP7222332B2 (ja) 2019-08-23 2023-02-15 トヨタ自動車株式会社 車両遠隔指示システム
JP7156217B2 (ja) * 2019-09-06 2022-10-19 トヨタ自動車株式会社 車両遠隔指示システム
CN111242986B (zh) * 2020-01-07 2023-11-24 阿波罗智能技术(北京)有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
JP2021132300A (ja) * 2020-02-19 2021-09-09 本田技研工業株式会社 通信制御装置、通信装置、通信システム、無線基地局、通信制御方法、及びプログラム
US11830302B2 (en) 2020-03-24 2023-11-28 Uatc, Llc Computer system for utilizing ultrasonic signals to implement operations for autonomous vehicles
CN113703352A (zh) * 2021-07-27 2021-11-26 北京三快在线科技有限公司 一种基于远程驾驶的安全预警方法及装置
CN113696889A (zh) * 2021-08-18 2021-11-26 北京三快在线科技有限公司 一种基于安全距离的无人驾驶设备控制方法及装置
JP2023064332A (ja) * 2021-10-26 2023-05-11 トヨタ自動車株式会社 車両制御装置、システム、方法、及びプログラム
CN114882718A (zh) * 2021-12-03 2022-08-09 鸿海精密工业股份有限公司 适用于v2x系统的装置及车辆
CN115195849B (zh) * 2022-05-27 2024-04-30 新石器慧通（北京）科技有限公司 一种无人车远程控制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101028183A (zh) * 2006-02-28 2007-09-05 卓景顾问有限公司 水力驱动的清洁机及改变水力喷射的力度和方向的方法
CN101034495A (zh) * 2007-01-09 2007-09-12 方科峰 数字交通系统
JP4767794B2 (ja) * 2006-08-28 2011-09-07 本田技研工業株式会社 車両の接触回避支援装置
CN102241252A (zh) * 2010-05-12 2011-11-16 大众汽车有限公司 停入或驶出交通工具的方法及相应的辅助系统和交通工具

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201110A (ja) * 1989-12-28 1991-09-03 Toyota Central Res & Dev Lab Inc 自律走行車の位置方位検出装置
US5596319A (en) * 1994-10-31 1997-01-21 Spry; Willie L. Vehicle remote control system
KR100763901B1 (ko) * 2005-01-26 2007-10-05 삼성전자주식회사 이동체 제어 장치 및 방법
US7944849B2 (en) * 2006-01-06 2011-05-17 Nec Corporation Transmission path quality measuring device, communication system, quality measurement method, and quality measuring program
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8774950B2 (en) * 2008-01-22 2014-07-08 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US20100228427A1 (en) * 2009-03-05 2010-09-09 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
US9206589B2 (en) * 2009-03-31 2015-12-08 Caterpillar Inc. System and method for controlling machines remotely
JP5366703B2 (ja) 2009-08-19 2013-12-11 株式会社Ｉｈｉエアロスペース 半自律型無人車両の遠隔操縦システム
JP5462660B2 (ja) * 2010-02-23 2014-04-02 パナソニック株式会社 無線通信システム
US8731810B2 (en) * 2010-12-10 2014-05-20 The Boeing Company Aircraft path conformance monitoring
US9081079B2 (en) * 2012-05-02 2015-07-14 Qualcomm Incorporated Adaptive updating of indoor navigation assistance data for use by a mobile device
US8793035B2 (en) * 2012-08-31 2014-07-29 Ford Global Technologies, Llc Dynamic road gradient estimation
US9132551B2 (en) * 2012-11-30 2015-09-15 Abb Technology Ag Teleoperated industrial robots
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
WO2014141479A1 (ja) * 2013-03-15 2014-09-18 株式会社日立製作所 遠隔操作システム
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
RU2656230C2 (ru) * 2013-05-31 2018-06-04 Сони Корпорейшн Устройство обработки информации и способ обработки информации
US9080866B1 (en) * 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range
JP6002953B2 (ja) * 2013-08-30 2016-10-05 ニューロネット株式会社 通信品質測定制御装置、通信装置、およびプログラム
JP2015070568A (ja) * 2013-09-30 2015-04-13 ソニー株式会社 情報処理装置、通信方法およびプログラム
US9656667B2 (en) * 2014-01-29 2017-05-23 Continental Automotive Systems, Inc. Method for minimizing automatic braking intrusion based on collision confidence
JP6354542B2 (ja) * 2014-11-26 2018-07-11 株式会社デンソー 車両自動運転システム
JP6354541B2 (ja) * 2014-11-26 2018-07-11 株式会社デンソー 車両遠隔操作システム、携帯通信機
EP3230142B1 (en) * 2014-12-12 2022-03-16 Sony Group Corporation Method for switching modes for operating a vehicle
EP3845426A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6406141B2 (ja) * 2015-06-30 2018-10-17 トヨタ自動車株式会社 車両走行制御装置
DE102015217386A1 (de) * 2015-09-11 2017-03-16 Robert Bosch Gmbh Verfahren und System zum Betreiben eines Kraftfahrzeugs
CN108351216B (zh) * 2015-10-05 2022-01-18 日本先锋公司 估计装置、控制方法、程序以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101028183A (zh) * 2006-02-28 2007-09-05 卓景顾问有限公司 水力驱动的清洁机及改变水力喷射的力度和方向的方法
JP4767794B2 (ja) * 2006-08-28 2011-09-07 本田技研工業株式会社 車両の接触回避支援装置
CN101034495A (zh) * 2007-01-09 2007-09-12 方科峰 数字交通系统
CN102241252A (zh) * 2010-05-12 2011-11-16 大众汽车有限公司 停入或驶出交通工具的方法及相应的辅助系统和交通工具

Also Published As

Publication number Publication date
US10678237B2 (en) 2020-06-09
EP3339999A2 (en) 2018-06-27
US20180181118A1 (en) 2018-06-28
CN108227703A (zh) 2018-06-29
EP3339999B1 (en) 2021-10-27
EP3339999A3 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20210365750A1 (en) Systems and methods for estimating future paths
US10453344B2 (en) Information processing apparatus and non-transitory recording medium
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
CN108454631B (zh) 信息处理装置、信息处理方法以及记录介质
JP6137081B2 (ja) 車載機器
US20200051435A1 (en) Information processing apparatus, information processing method, program, and movable object
JP6936679B2 (ja) 情報処理装置およびプログラム
US11172167B2 (en) Video transmitting device, video transmitting method, and recording medium
WO2018116795A1 (ja) 運転支援システム及び運転支援装置
JP2008250503A (ja) 運転支援装置
CN113212498A (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
US20200310416A1 (en) Control apparatus, control method, and storage medium
WO2018003866A1 (ja) 走行支援装置、撮像装置、撮像システム、走行支援システム、車両、および走行支援方法
CN110962744A (zh) 车辆盲区检测方法和车辆盲区检测系统
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
JP2020147148A (ja) 情報処理装置及び情報処理装置を備える自動走行制御システム
JP6530782B2 (ja) 車両制御装置
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
JP2018073036A (ja) 画像取得方法、画像表示システム、及びコンピュータプログラム
JP6838728B2 (ja) 画像表示システム、画像表示方法及びコンピュータプログラム
JP2018185697A (ja) 走行支援装置、撮像システム、車両、及び走行支援システム
CN116457843A (zh) 飞行时间物体检测电路和飞行时间物体检测方法
JP2022154208A (ja) 画像処理装置、画像処理システム、および、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant