CN110225840A - 虚拟现实自主驾驶接管 - Google Patents

虚拟现实自主驾驶接管 Download PDF

Info

Publication number
CN110225840A
CN110225840A CN201780084537.2A CN201780084537A CN110225840A CN 110225840 A CN110225840 A CN 110225840A CN 201780084537 A CN201780084537 A CN 201780084537A CN 110225840 A CN110225840 A CN 110225840A
Authority
CN
China
Prior art keywords
vehicle
processor
camera
remote controler
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780084537.2A
Other languages
English (en)
Inventor
纳塔莉·明斯特尔
拉温·拉特纳坎特·萨达尔
亚历山德鲁·米哈伊·古吉安
帕尔萨·马哈茂迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110225840A publication Critical patent/CN110225840A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

描述了与虚拟现实自主驾驶接管有关的技术和示例。车辆的控制系统的处理器可以与遥控器建立无线通信。所述处理器可以向所述遥控器提供由所述车辆的相机捕获的视频图像流。所述处理器可以从所述遥控器接收操纵信号。所述处理器可以根据所述操纵信号来控制所述车辆的转向、所述车辆的速度或两者。

Description

虚拟现实自主驾驶接管
技术领域
本公开总体上涉及自主车辆，并且更具体地涉及虚拟现实自主驾驶接管。
背景技术
通常，自主车辆是能够感测环境并且在没有人为输入的情况下导航的车辆。自主车辆可以使用各种传感器检测周围环境，并且自主车辆的控制系统可以使用由传感器提供的数据来适当地导航和操纵车辆。例如，自主车辆可以配备有固定相机，所述固定相机相对于车辆在位置和定向上是固定的，以向可能需要在某些情况下(例如，在车辆的自主系统故障期间或当车辆的驾驶员变得无法操作车辆时)接管对自主车辆的控制的远程操作者提供实时视频馈送。然而，由于相机固定就位并因此无法改变视线，因此远程操作者无法从驾驶员座椅获得真实角度，就好像从驾驶员座椅驾驶自主车辆一样。
附图说明
参考以下附图描述本公开的非限制及非详尽实施例，其中除非另有说明，否则相同的附图标记在各个图中指代相同部件。
图1是描绘可以利用根据本公开的实施例的示例性场景的图。
图2是描绘根据本公开的实施例的示例性设备的框图。
图3是描绘根据本公开的实施例的示例性过程的流程图。
图4是描绘根据本公开的实施例的示例性过程的流程图。
具体实施方式
在以下描述中，参考附图，所述附图形成所述描述的一部分并且其中通过说明方式示出可以实践本公开的特定示例性实施例。足够详细地描述这些实施例以使得所属领域技术人员能够实践本文公开的概念，并且应理解，在不脱离本公开的范围的情况下，可以对各种公开的实施例进行修改，并且可以利用其他实施例。因此，以下详细描述不应被认为是限制性的。
图1示出了可以利用根据本公开的实施例的示例性场景100。为了解决远程操作者接管自主车辆的上述问题，本公开提出了与虚拟现实自主车辆接管有关的技术、方案、过程和设备。在所提出的方案下，如场景100中所示，车辆110可以配备、配置、安装或以其他方式设置有控制系统，该控制系统包括处理器115、前置相机112、后置相机117和无线收发器118。在一些实施例中，车辆110可以是全自主车辆。可选地，车辆110可以是能够在手动模式下操作(例如，由人类驾驶员操作)和在正常状况下在无需人为干预的自主模式下操作的车辆。
在方案100下，用户150可以利用基于虚拟现实的控制器120来接管对车辆110的控制。基于虚拟现实的控制器120可以包括头戴式耳机122和通信地耦合到头戴式耳机122的计算设备125。计算设备125可以包括处理器128，该处理器128可以控制基于虚拟现实的控制器120的操作。用户150可以穿戴头戴式耳机122并且经由无线通信与车辆110通信并控制车辆的操作(例如，转向和/或速度)。在一些实施例中，经由无线通信传输和接收的数据可以根据用户数据报协议(UDP)。在一些实施例中，可以在计算设备125与车辆110的无线收发器118之间直接建立无线通信。可选地或另外，可以经由一个或多个有线和/或无线网络(由图1中的网络130表示)和无线站135在计算设备125与车辆110的无线收发器118之间间接地建立无线通信。
相机112能够捕获车辆110的前视图的一个或多个视频图像流，所述视频图像流可以被穿戴头戴式耳机122的用户150查看。类似地，相机117能够捕获车辆110的后视图的一个或多个视频图像流，所述视频图像流可以被穿戴头戴式耳机122的用户150查看。相机112可以安装在万向架(gimbal mount)114上，该万向架114允许相机112进行三维(3D)移动。万向架114可以是例如通过3D打印定制的。在一些实施例中，车辆110还可以包括一个或多个致动器116和相关联的伺服系统(未示出)，它们能够通过转动、枢转和/或旋转万向架114来调整相机112的位置。即，一个或多个致动器116可以通信地耦合到处理器115以从处理器115接收信号以相应地调整相机112的位置和/或定向。
处理器115可以从相机112和相机117中的每一者接收一个或多个视频图像流。处理器115可以经由无线收发器118将一个或多个视频图像流传输到计算设备125的处理器128，这可以使得用户150能够在头戴式耳机122上虚拟现实地查看视频图像。因此，用户150可以从相机112和相机117的角度远程查看实时视频馈送，就好像用户150是车辆110的驾驶员一样，以便使用驾驶员设置、车辆内部设置、转向同时、一个或多个齿轮旋钮和/或基于虚拟现实的控制器120的踏板组远程接管或控制车辆110的操作。为了简单起见，图1中未示出驾驶员设置、车辆内部设置、转向同时、一个或多个齿轮旋钮和基于虚拟现实的控制器120的踏板组。在从用户150接收到用户输入时，处理器128可以向处理器115提供操纵信号以控制车辆110的转向、车辆110的速度或两者。
头戴式耳机122可以配备、配置或以其他方式设置有能够感测头戴式耳机122的移动和运动以感测和提供指示相对于头戴式耳机122(和用户150的头部)的位置的侧倾124、俯仰126、横摆128或其组合的一个或多个信号的一个或多个部件(例如，一个或多个加速度计和/或一个或多个陀螺仪)。在从头戴式耳机122接收到一个或多个这样的信号时，处理器128可以检测头戴式耳机122的位置和/或运动的变化，并且可以向处理器115提供相机调整信号以经由一个或多个致动器114响应于所述检测而调整相机112的位置(例如，侧倾、俯仰、横摆或其组合)。可以在头戴式耳机122中或头戴式耳机上提供实时音频、一个或多个传声器和/或一个或多个按钮，以允许用户150在头戴式耳机122的显示器的角落中发起来自相机117的后视视频馈送的弹出窗口。
利用来自相机112(和相机117)的实时视频馈送，头戴式耳机122允许用户150在虚拟现实设置中看到相机112(和相机117)的视图，就好像用户150实际上正在驾驶车辆110一样。当捕获头戴式耳机122的位置且所述位置与安装的传感器无关时，用户150能够将相机110复位到默认位置(例如，前向姿势)。例如，处理器128可以接收用于将相机110复位或以其他方式返回到其默认位置的用户输入，因此可以向处理器115提供复位信号以根据复位信号调整相机112的位置以使相机112相对于车辆110指向前向方向。
在某些情况下，诸如在车辆110的自主驾驶系统发生故障和/或车辆110的人类驾驶员无法操作车辆110的状况下，处理器115可以确定存在关于车辆110的这种状况。因此，处理器115可以将所述状况通知处理器128。响应于接收到此类通知，用户150可以经由基于虚拟现实的控制器120来远程接管对车辆110的控制。例如，用户150可以经由处理器128提供操纵信号以控制车辆110的一个或多个操作(例如，转向和/或其速度)。
图2示出了根据本公开的实施例的示例性设备200。设备200可以执行与本文中描述的与虚拟现实自主驾驶接管有关的技术、方案、方法和系统相关的各种功能，包括上面关于场景100描述的那些以及下面关于过程300和过程400描述的那些。设备200可以在车辆110中在场景100中实施以实现根据本公开的各种实施例。即，在一些实施例中，设备200可以是车辆110的控制系统的示例性实施方式。设备200可以包括图2中所示的部件中的一者、一些或全部。设备200还可以包括与本公开的各种实施例无关的一个或多个其他部件，因此，图2中未示出一个或多个这样的部件，并且为了简洁起见，本文中未提供对此类部件的描述。
设备200可以至少包括处理器210，该处理器210可以包括控制电路212和通信电路214。处理器210可以按一个或多个单核处理器、一个或多个多核处理器或一个或多个复杂指令集计算(CISC)处理器的形式来实施。因此，即使本文中使用单数术语“处理器”来指代处理器210，但是处理器210在一些实施例中也可以包括多个处理器，并且在根据本公开的其他实施例中可以包括单个处理器。另一方面，处理器210可以按具有电子部件的硬件(以及可选地，固件)的形式来实施，所述电子部件包括例如但不限于被配置和布置以实现根据本公开的特定目的的一个或多个晶体管、一个或多个二极管、一个或多个电容器、一个或多个电阻器和/或一个或多个电感器。换句话说，在至少一些实施例中，处理器210是被具体设计、布置和配置为执行包括根据本公开的各种实施例的虚拟现实自主驾驶接管的特定任务的专用机器。处理器210可以是车辆110的处理器115的示例性实施方式。
在一些实施例中，设备200可以包括前视相机220和后视相机225，每个相机都能够捕获一个或多个视频图像流。相机220和相机225中的每一者可以通信地耦合到处理器210，以提供由相机220和相机225捕获的一个或多个视频图像流的视频信号。在一些实施例中，相机220可以安装在万向架(例如，万向架114)上，该万向架允许相机220进行3D移动。在一些实施例中，设备200还可以包括一个或多个致动器250(1)至250(N)，它们能够通过转动、枢转和/或旋转上面安装有相机220的万向架来调整相机220的位置。即，一个或多个致动器250(1)至250(N)可以通信地耦合到处理器210以从处理器210接收信号以相应地调整相机220的位置和/或定向。
在一些实施例中，设备200可以包括通信地耦合到处理器210的无线收发器230。无线收发器230能够与一种或多种网络(例如，网络130)和/或遥控器(例如，基于虚拟现实的控制器120)建立无线通信。在一些实施例中，无线收发器230能够根据UDP传输和接收数据。
在一些实施例中，设备200可以包括通信地耦合到处理器210的车辆控制界面240，使得处理器210可以在没有人为输入、控制和/或干预的情况下自主地控制、操作或以其他方式操纵车辆(例如，车辆110)。车辆控制界面240可以与车辆的必要的机械、电气、气动和/或液压部件通信以用于车辆的控制和/或操纵。因此，在从处理器210接收到信号和/或命令时，车辆控制界面240可以致动、激活、控制和/或操作车辆的一个或多个部件(例如，以驾驶和操纵车辆)。
在一些实施例中，设备200的两个或更多个部件之间的通信可以是根据一种或多种合适的协议、一种或多种标准和/或一种或多种规范的无线通信。例如，处理器210与相机220、相机225、无线收发器230、车辆控制界面240和一个或多个致动器250(1)至250(N)中的一者或多者之间的通信可以基于根据电气和电子工程师协会(IEEE)802.11标准的一种或多种Wi-Fi技术。另外或可选地，可以使用其他无线技术，诸如蓝牙、近场通信(NFC)、红外和/或超声波。
通信电路214能够经由无线收发器230与遥控器(例如，基于虚拟现实的控制器120的计算设备125的处理器128)建立无线通信。通信电路214能够从遥控器接收操纵信号。控制电路212能够经由无线收发器230向遥控器提供由相机220捕获的视频图像流。控制电路212还能够经由车辆控制界面240根据操纵信号来控制车辆(例如，车辆110)的转向、车辆的速度或两者。
在一些实施例中，在提供视频图像流时，处理器210能够经由无线收发器230根据UDP提供视频图像流。同样地，在接收操纵信号时，处理器210能够经由无线收发器230根据UDP接收操纵信号。
在一些实施例中，控制电路212能够确定存在关于车辆的状况并且经由无线收发器230将所述状况通知遥控器。在一些实施例中，处理器210可以响应于将所述状况通知遥控器而从遥控器接收操纵信号。在一些实施例中，所述状况可以包括车辆的自主系统发生故障、车辆的人类驾驶员无法操作车辆，或两者。
在一些实施例中，通信电路214能够经由无线收发器230从遥控器接收相机调整信号。因此，控制电路212能够控制一个或多个致动器250(1)至250(N)以根据相机调整信号来调整相机220的位置。在一些实施例中，在控制一个或多个致动器250(1)至250(N)以调整相机220的位置时，控制电路212能够调整相对于相机220的位置的侧倾、俯仰、横摆或其组合。
在一些实施例中，通信电路214可以经由无线收发器230从遥控器接收复位信号。因此，控制电路212能够控制一个或多个致动器250(1)至250(N)以根据复位信号来调整相机220的位置以使相机220相对于车辆指向前向方向。
图3示出了根据本公开的实施例的示例性过程300。过程300可以包括被示为诸如310、320、330、340、350、360、370、380、390和395的框的一个或多个操作、动作或功能。尽管被示为离散框，但是取决于所需的实施方式，过程300的各个框可以被划分为附加框、组合成更少的框或者被消除。过程300可以在场景100中和/或由设备200来实施。出于说明性目的而非限制，在场景100的上下文中提供对过程300的以下描述。过程300可以从框310开始。
在310处，过程300可以包括车辆110的处理器115与遥控器(例如，计算设备125)建立无线通信。过程300可以从310进行到320。
在320处，过程300可以包括处理器115向遥控器提供由车辆的相机(例如，车辆110的相机112)捕获的视频图像流。过程300可以从320进行到330。
在330处，过程300可以包括处理器115从遥控器接收操纵信号。过程300可以从330进行到340。
在340处，过程300可以包括处理器115根据操纵信号控制车辆110的转向、车辆110的速度或两者。过程300可以从340进行到350、370和/或390。
在350处，过程300可以包括处理器115确定存在关于车辆110的状况。在一些实施例中，所述状况可以包括车辆的自主系统发生故障、车辆的人类驾驶员无法操作车辆，或两者。过程300可以从350进行到360。
在360处，过程300可以包括处理器115将状况通知遥控器。在一些实施例中，接收操纵信号可以是处理器115将状况通知遥控器的结果。
在370处，过程300可以包括处理器115从遥控器接收相机调整信号。过程300可以从370进行到380。
在380处，过程300可以包括处理器115控制一个或多个致动器116以根据相机调整信号来调整相机112的位置。在一些实施例中，在控制一个或多个致动器116以调整相机112的位置时，过程300可以包括处理器115调整相对于相机112的位置的侧倾、俯仰、横摆或其组合。
在390处，过程300可以包括处理器115从遥控器接收复位信号。过程300可以从390进行到395。
在395处，过程300可以包括处理器115控制一个或多个致动器以根据复位信号来调整相机112的位置以使相机112相对于车辆110指向前向方向。
在一些实施例中，提供视频图像流、接收操纵信号或两者可以根据UDP来完成。
图4示出了根据本公开的实施例的示例性过程400。过程400可以包括被示为诸如410、420、430、440、450、460、470和480的框的一个或多个操作、动作或功能。尽管被示为离散框，但是取决于所需的实施方式，过程400的各个框可以被划分为附加框、组合成更少的框或者被消除。过程400可以在场景100中和/或由设备200来实施。出于说明性目的而非限制，在场景100的上下文中提供对过程400的以下描述。过程400可以从框410开始。
在410处，过程400可以包括基于虚拟现实的控制器120的处理器128与车辆的控制系统(例如，车辆110的处理器115)建立无线通信。过程400可以从410进行到420。
在420处，过程400可以包括处理器128接收由与车辆110相关联的相机(例如，车辆110的相机112)捕获的视频图像流。过程400可以从420进行到430。
在430处，过程400可以包括处理器128至少部分地基于视频图像流从车辆110的驾驶员的角度(例如，在用户120的头戴式耳机122上)创建虚拟现实视图。过程400可以从430进行到440。
在440处，过程400可以包括处理器128向控制系统的处理器115提供操纵信号以控制车辆110的转向、车辆110的速度或两者。过程400可以从440进行到450和/或470。
在450处，过程400可以包括处理器128检测与基于虚拟现实的控制器120相关联的耳机122的位置变化。过程400可以从450进行到460。
在460处，过程400可以包括处理器128向控制系统的处理器115提供相机调整信号，以响应于所述检测而调整与车辆110相关联的相机112的位置。
在470处，过程400可以包括处理器128(例如，从用户150)接收用户输入。过程400可以从470进行到480。
在480处，过程400可以包括处理器128响应于接收到用户输入而向控制系统的处理器115提供复位信号以根据复位信号调整相机112的位置以使相机112相对于车辆110指向前向方向。
在一些实施例中，接收视频图像流、提供操纵信号或两者根据UDP来完成。
在一些实施例中，在向操纵系统提供操纵信号时，过程400可以包括处理器128从控制系统的处理器115接收指示存在关于车辆110状况的通知。此外，过程400可以包括处理器128响应于接收到通知而向控制系统的处理器115提供操纵信号。
在一些实施例中，所述状况可以包括车辆的自主系统发生故障、车辆的人类驾驶员无法操作车辆，或两者。
在以上公开内容中，参考了附图，所述附图形成本公开的一部分并且其中通过说明方式示出可以实践本公开的具体实施方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实施方式并且可以做出结构改变。在说明书中对于“一个实施例”、“实施例”、“示例性实施例”等的提及指示所述的实施例可以包括特定特征、结构或特性，但是每一个实施例都可以不必包括所述特定特征、结构或特性。此外，此类短语不一定是指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，认为是，无论是否明确描述，结合其他实施例实现此类特征、结构或特性都在所属领域技术人员的知识范围内。
本文中所公开的系统、设备、装置和方法的实施方式可以包括或利用包括计算机硬件(诸如，例如本文中所讨论的一个或多个处理器和系统存储器)的专用或通用计算机。本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以为可以由通用或专用计算机系统存取的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种截然不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段并且可以由通用或专用计算机存取的任何其他介质。
本文中所公开的装置、系统以及方法的实施方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬接线、无线或硬接线或无线的任何组合)向计算机传递或提供信息时，计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段并且可以由通用或专用计算机存取。上述组合也应当包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器中执行时使通用计算机、专用计算机或专用处理装置执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制代码、中间格式指令(诸如汇编语言)或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中定义的主题不必限于已描述的上述特征或动作。实情是，所述特征和动作被公开作为实施权利要求的示例性形式。
所属领域技术人员应明白，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，这些计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬接线数据链路、无线数据链路或通过硬接线与无线数据链路的任何组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
此外，在适当的情况下，本文描述的功能可以在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，可以编程一个或多个专用集成电路(ASIC)以执行本文描述的系统和过程中的一者或多者。某些术语在整个描述和权利要求中用于指代特定的系统部件。所属领域技术人员应明白，可以通过不同名称来提及部件。本文档并不意图区分名称不同但功能相同的部件。
应注意，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文出于说明目的而提供，而无意进行限制。本公开的实施例可以在如一种或多种相关领域技术人员所已知的其他类型的装置中实施。
本公开的至少一些实施例涉及计算机程序产品，其包括存储在任何计算机可用介质上的这种逻辑(例如，以软件形式)。此类软件在一种或多种数据处理装置中执行时使装置如本文所述进行操作。
尽管上文已描述本公开的各种实施例，但是应理解，仅通过示例方式而并非限制方式提出本公开的各种实施例。相关领域技术人员应明白，可以在不脱离本公开的精神和范围的情况下作出形式和细节方面的各种改变。因此，本公开的广度和范围不应受任何上述示例性实施例的限制，而是应仅根据以下权利要求和其等效物定义。出于说明及描述目的已呈现以上描述。不希望为穷尽性的或将本公开限于所揭示的具体形式。依据以上教示的其他修改及变型是可能的。此外，应注意，任何或所有上述备选实施方式可以所需的任何组合使用以形成本公开的附加混合实施方式。

Claims (20)

1.一种方法，其包括：
由车辆的控制系统的处理器与遥控器建立无线通信；
由所述处理器向所述遥控器提供由所述车辆的相机捕获的视频图像流；
由所述处理器从所述遥控器接收操纵信号；以及
由所述处理器根据所述操纵信号来控制所述车辆的转向、所述车辆的速度或两者。
2.如权利要求1所述的方法，其中提供所述视频图像流、接收所述操纵信号或两者是根据用户数据报协议(UDP)。
3.如权利要求1所述的方法，其还包括：
由所述处理器确定存在关于所述车辆的状况；以及
由所述处理器将所述状况通知所述遥控器，
其中接收所述操纵信号包括响应于将所述状况通知所述遥控器而接收所述操纵信号。
4.如权利要求3所述的方法，其中所述状况包括所述车辆的自主系统发生故障、所述车辆的人类驾驶员无法操作所述车辆，或两者。
5.如权利要求1所述的方法，其还包括：
由所述处理器从所述遥控器接收相机调整信号；以及
由所述处理器控制一个或多个致动器以根据所述相机调整信号来调整所述相机的位置。
6.如权利要求5所述的方法，其中控制所述一个或多个致动器以调整所述相机的所述位置包括调整相对于所述相机的所述位置的侧倾、俯仰、横摆或其组合。
7.如权利要求1所述的方法，其还包括：
由所述处理器从所述遥控器接收复位信号；以及
由所述处理器控制一个或多个致动器以根据所述复位信号来调整所述相机的位置以使所述相机相对于所述车辆指向前向方向。
8.一种方法，其包括：
由基于虚拟现实的控制器的处理器与车辆的控制系统建立无线通信；
由所述处理器接收由与所述车辆相关联的相机捕获的视频图像流；
由所述处理器至少部分地基于所述视频图像流从所述车辆的驾驶员的角度创建虚拟现实视图；以及
由所述处理器向所述控制系统提供操纵信号以控制所述车辆的转向、所述车辆的速度或两者。
9.如权利要求8所述的方法，其中接收所述视频图像流、提供所述操纵信号或两者是根据用户数据报协议(UDP)。
10.如权利要求8所述的方法，其中向所述控制系统提供所述操纵信号包括：
由所述处理器从所述控制系统接收通知，所述通知指示存在关于所述车辆的状况；以及
由所述处理器响应于接收到所述通知而向所述控制系统提供所述操纵信号。
11.如权利要求10所述的方法，其中所述状况包括所述车辆的自主系统发生故障、所述车辆的人类驾驶员无法操作所述车辆，或两者。
12.如权利要求8所述的方法，其还包括：
由所述处理器检测与所述基于虚拟现实的控制器相关联的头戴式耳机的位置变化；以及
由所述处理器响应于所述检测而向所述控制系统提供相机调整信号以调整与所述车辆相关联的所述相机的位置。
13.如权利要求8所述的方法，其还包括：
由所述处理器接收用户输入；以及
响应于接收到所述用户输入，由所述处理器向所述控制系统提供复位信号以根据所述复位信号调整所述相机的位置以使所述相机相对于所述车辆指向前向方向。
14.一种能够在车辆中实施的设备，其包括：
相机，所述相机安装在万向节上并且能够捕获视频图像流；
一个或多个致动器，所述一个或多个致动器能够调整所述相机的位置；
车辆控制界面，所述车辆控制界面能够操作所述车辆的一个或多个部件以操纵所述车辆；
无线收发器，所述无线收发器能够与遥控器无线通信；以及
处理器，所述处理器通信地耦合到所述相机、所述一个或多个致动器、所述车辆控制界面和所述无线收发器，所述处理器能够执行包括以下项的操作：
经由所述无线收发器与所述遥控器建立无线通信；
经由所述无线收发器向所述遥控器提供由所述相机捕获的所述视频图像流；
经由所述无线收发器从所述遥控器接收操纵信号；以及
经由所述车辆控制界面根据所述操纵信号来控制所述车辆的转向、所述车辆的速度或两者。
15.如权利要求14所述的设备，其中在提供所述视频图像流时，所述处理器能够经由所述无线收发器根据用户数据报协议(UDP)提供所述视频图像流，并且其中在接收所述操纵信号时，所述处理器能够经由所述无线收发器根据所述UDP接收所述操纵信号。
16.如权利要求14所述的设备，其中所述处理器还能够执行包括以下项的操作：
确定存在关于所述车辆的状况；以及
经由所述无线收发器将所述状况通知所述遥控器，
其中所述处理器响应于将所述状况通知所述遥控器而接收所述操纵信号。
17.如权利要求16所述的设备，其中所述状况包括所述车辆的自主系统发生故障、所述车辆的人类驾驶员无法操作所述车辆，或两者。
18.如权利要求14所述的设备，其中所述处理器还能够执行包括以下项的操作：
经由所述无线收发器从所述遥控器接收相机调整信号；以及
控制所述一个或多个致动器以根据所述相机调整信号来调整所述相机的所述位置。
19.如权利要求18所述的设备，其中在控制所述一个或多个致动器以调整所述相机的所述位置时，所述处理器能够调整相对于所述相机的所述位置的侧倾、俯仰、横摆或其组合。
20.如权利要求14所述的设备，其中所述处理器还能够执行包括以下项的操作：
经由所述无线收发器从所述遥控器接收复位信号；以及
控制所述一个或多个致动器以根据所述复位信号来调整所述相机的所述位置以使所述相机相对于所述车辆指向前向方向。
CN201780084537.2A 2017-01-26 2017-01-26 虚拟现实自主驾驶接管 Withdrawn CN110225840A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/015154 WO2018140023A1 (en) 2017-01-26 2017-01-26 Virtual reality autonomous driving takeover

Publications (1)

Publication Number Publication Date
CN110225840A true CN110225840A (zh) 2019-09-10

Family

ID=62978695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084537.2A Withdrawn CN110225840A (zh) 2017-01-26 2017-01-26 虚拟现实自主驾驶接管

Country Status (4)

Country Link
US (1) US20190384286A1 (zh)
CN (1) CN110225840A (zh)
DE (1) DE112017006571T5 (zh)
WO (1) WO2018140023A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107589745B (zh) * 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
JP7063672B2 (ja) * 2018-03-27 2022-05-09 本田技研工業株式会社 情報処理装置及びプログラム
US12050461B2 (en) * 2018-09-07 2024-07-30 DoorDash, Inc. Video system with frame synthesis
US10977501B2 (en) * 2018-12-21 2021-04-13 Waymo Llc Object classification using extra-regional context
DE102019116041A1 (de) * 2019-06-13 2020-12-17 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren und System zur sicheren Fernsteuerung eines Fahrzeuges
DE112020005993T5 (de) * 2019-12-06 2022-10-13 Denso Corporation Fahrzeugfahrsystem
GB2598345B (en) * 2020-08-27 2023-04-19 Extend Robotics Ltd Remote operation of robotic systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090018712A1 (en) * 2007-07-13 2009-01-15 Jerry Richard Duncan Method and system for remotely monitoring and controlling a vehicle via a virtual environment
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN103731658A (zh) * 2013-12-25 2014-04-16 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
CN103970084A (zh) * 2013-01-24 2014-08-06 福特全球技术公司 用于机动车的指令激活远程控制系统
CN104898497A (zh) * 2015-04-10 2015-09-09 北京林业大学 消防车远程控制终端
CN105527904A (zh) * 2016-01-25 2016-04-27 重庆德新机器人检测中心有限公司 一种无人车远程无线驾驶系统
CN110226144A (zh) * 2017-01-25 2019-09-10 福特全球技术公司 虚拟现实远程代客停车

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108031A (en) * 1997-05-08 2000-08-22 Kaman Sciences Corporation Virtual reality teleoperated remote control vehicle
EP1415862A4 (en) * 2001-08-01 2004-10-27 Yokohama Rubber Co Ltd NETWORK SYSTEM OF VEHICLE DEVICE AND POWER SUPPLY CONTROL DEVICE
US7528835B2 (en) * 2005-09-28 2009-05-05 The United States Of America As Represented By The Secretary Of The Navy Open-loop controller
KR20110034820A (ko) * 2009-09-29 2011-04-06 엘지전자 주식회사 대화형 프로그램 가이드를 디스플레이하는 방법, 대화형 프로그램 가이드를 디스플레이하는 사용자 장치, 통합 데이터 가이드 정보 목록을 제공하는 방법 및 통합 데이터 가이드 정보 목록 제공 장치
US8965620B2 (en) * 2013-02-07 2015-02-24 Harris Corporation Systems and methods for controlling movement of unmanned vehicles
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
US9880551B2 (en) * 2015-03-06 2018-01-30 Robotic Research, Llc Point-and-click control of unmanned, autonomous vehicle using omni-directional visors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090018712A1 (en) * 2007-07-13 2009-01-15 Jerry Richard Duncan Method and system for remotely monitoring and controlling a vehicle via a virtual environment
CN103970084A (zh) * 2013-01-24 2014-08-06 福特全球技术公司 用于机动车的指令激活远程控制系统
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN103731658A (zh) * 2013-12-25 2014-04-16 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
CN104898497A (zh) * 2015-04-10 2015-09-09 北京林业大学 消防车远程控制终端
CN105527904A (zh) * 2016-01-25 2016-04-27 重庆德新机器人检测中心有限公司 一种无人车远程无线驾驶系统
CN110226144A (zh) * 2017-01-25 2019-09-10 福特全球技术公司 虚拟现实远程代客停车

Also Published As

Publication number Publication date
DE112017006571T5 (de) 2019-10-17
WO2018140023A1 (en) 2018-08-02
US20190384286A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN110225840A (zh) 虚拟现实自主驾驶接管
EP3794851B1 (en) Shared environment for vehicle occupant and remote user
US10713937B2 (en) Trainable transceiver and mobile communications device diagnostic systems and methods
CN109906198A (zh) 用于起重机、施工机械和/或工业卡车的遥控装置
EP3208650A1 (en) Active vehicle window for presenting information and virtual reality
JP6509369B2 (ja) プライバシが保護されたリモートビューシステム
US11584438B2 (en) Virtual reality remote valet parking
WO2017164753A1 (en) Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone
CN103502037A (zh) 用于在机动车内进行无线传输的界面和计算机程序产品
US20130222590A1 (en) Methods and apparatus for dynamically simulating a remote audiovisual environment
KR20180061514A (ko) Lte망을 이용한 드론 제어 시스템 및 방법
US20220319122A1 (en) Method for operating a head-mounted display apparatus in a motor vehicle, control device, and head-mounted display apparatus
CN106068635B (zh) 在通信系统中提供内容的方法和装置
JP6685713B2 (ja) 撮像システムおよびその制御方法、通信装置、移動撮像装置
KR101478257B1 (ko) 스마트 기기가 장착된 로봇 제어 시스템 및 그 방법
US20160008984A1 (en) Robot control system
JP7021502B2 (ja) 建設機械の視覚拡張システム
JP2021064064A (ja) ロボットシステム、ロボット及び操作端末
US9930474B2 (en) Method and system for integrating wearable glasses to vehicle
KR101293597B1 (ko) 차량용 주변영상 출력 장치 및 그 방법
US20170126969A1 (en) Image shooting module and system thereof
GB2526515A (en) Image capture system
US10621856B2 (en) Methods and systems employing orientation of phone to adjust physical objects and/or employing phone proximity to select parts of physical objects for adjustment
EP4063571A2 (en) Image capturing function control system and image capturing function control method
US11070664B2 (en) Methods and systems employing orientation of phone to adjust physical objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190910

WW01 Invention patent application withdrawn after publication