CN110226144B - 虚拟现实远程代客停车 - Google Patents

虚拟现实远程代客停车 Download PDF

Info

Publication number
CN110226144B
CN110226144B CN201780084401.1A CN201780084401A CN110226144B CN 110226144 B CN110226144 B CN 110226144B CN 201780084401 A CN201780084401 A CN 201780084401A CN 110226144 B CN110226144 B CN 110226144B
Authority
CN
China
Prior art keywords
vehicle
processor
remote controller
signal
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780084401.1A
Other languages
English (en)
Other versions
CN110226144A (zh
Inventor
纳塔莉·明斯特尔
拉温·拉特纳坎特·萨达尔
亚历山德鲁·米哈伊·古吉安
帕尔萨·马哈茂迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110226144A publication Critical patent/CN110226144A/zh
Application granted granted Critical
Publication of CN110226144B publication Critical patent/CN110226144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

描述了关于虚拟现实远程代客停车的技术和示例。一种车辆的控制系统的处理器可与远程控制器建立无线通信。所述处理器可向所述远程控制器提供由所述车辆的摄像机捕获的视频图像流。所述处理器可从所述远程控制器接收信号。所述处理器可根据所述信号将所述车辆从一个位置操纵到另一个位置。

Description

虚拟现实远程代客停车
技术领域
本公开总体涉及自主车辆,并且更具体地涉及虚拟现实远程代客停车。
背景技术
随着不断增加的车辆保有量和使用中的车辆的数量,停车对许多车辆驾驶员来说已经成为了问题。一些常见停车问题可包括例如:驾驶员拥有的信息不足、现有停车容量的低效使用、使用中的车辆过多、不方便的停车空间、不方便的停车选项、令人困惑的停车政策、活动现场缺乏足够的停车空间以及低停车周转率。因此,许多车辆驾驶员往往浪费时间来寻找停车位。此外,交通拥堵可能由于车辆驾驶员驾驶车辆寻找停车空间而发生或变得更加严重。
附图说明
参考以下附图来描述本公开的非限制性和非穷尽性实施例,其中除非另有说明,否则相同的附图标号在各种附图中指代相同的部分。
图1是描绘示例性场景的图解,在所述示例性场景中可利用根据本公开的实施例。
图2是描绘根据本公开的实施例的示例性设备的框图。
图3是描绘根据本公开的实施例的示例性过程的流程图。
图4是描绘根据本公开的实施例的示例性过程的流程图。
具体实施方式
在以下描述中,参考形成其一部分的附图,并且在附图中通过图解示出可实践本公开的具体示例性实施例。充分详细地描述这些实施例以使本领域技术人员能够实践本文所公开的概念,并且应当理解,在不脱离本公开的范围的情况下,可对各种公开的实施例进行修改并且可利用其他实施例。因此,以下详细描述不应被视为具有限制意义。
图1示出示例性场景100,在所述示例性场景100中可利用根据本公开的实施例。为了解决远程操作者接管自主车辆的前述问题,本公开提出了关于虚拟现实自主车辆接管的技术、方案、过程和设备。在所提出的方案下,如场景100所示,车辆110可配备、配置、安设或以其他方式设置有控制系统,所述控制系统至少包括处理器115、前向摄像机112、后向摄像机117、无线收发器118以及一个或多个传感器119(1)-119(M)。在一些实施例中,车辆110可以是完全自主车辆。可替代地,车辆110可以是能够以手动模式操作(例如,由人类驾驶员操作)以及以在正常条件下无人工干预的自主模式操作的车辆。
在方案100下,用户150可利用基于虚拟现实的控制器120来接管对车辆110的控制。基于虚拟现实的控制器120可包括头戴式装置122和可通信地耦接到头戴式装置122的计算设备125。计算设备125可包括处理器128,所述处理器128可控制基于虚拟现实的控制器120的操作。用户150可穿戴头戴式装置122,并且经由无线通信与车辆110通信并控制车辆110的操作(例如,转向和/或速度)。在一些实施例中,经由无线通信发射和接收的数据可根据根据用户数据报协议(User Datagram Protocol,UDP)进行。在一些实施例中,可在计算设备125与车辆110的无线收发器118之间直接建立无线通信。可替代地或另外地,可经由一个或多个有线和/或无线网络(由图1中的网络130表示)和无线站135在计算设备125与车辆110的无线收发器118之间间接建立无线通信。
摄像机112可能够捕获可由穿戴头戴式装置122的用户150查看的车辆110的前视野的一个或多个视频图像流。类似地,摄像机117可能够捕获可由穿戴头戴式装置122的用户150查看的车辆110的后视野的一个或多个视频图像流。摄像机112可安装在万向节安装件114上,所述万向节安装件114允许摄像机112的三维(3D)移动。万向节安装件114可以例如通过3D打印定制。在一些实施例中,车辆110还可包括一个或多个致动器116和相关联的伺服装置(未示出),它们能够通过转动、枢转和/或旋转万向节安装件114来调整摄像机112的位置。也就是说,一个或多个致动器116可通信地耦接到处理器115,以从处理器115接收信号,从而相应地调整摄像机112的位置和/或取向。
处理器115可从摄像机112和摄像机117中的每一者接收一个或多个视频图像流。处理器115可经由无线收发器118向计算设备125的处理器128发射一个或多个视频图像流,这可使得用户150能够在头戴式装置122上进行视频图像的虚拟现实查看。因此,用户150可远程查看来自摄像机112和摄像机117的角度的实时视频馈送(就好像用户150是车辆110的驾驶员一样),以使用基于虚拟现实的控制器120的驾驶员设置、车辆内部设置、方向盘、一个或多个换挡杆把手和/或踏板组来远程接管或控制车辆110的操作。为简单起见,基于虚拟现实的控制器120的驾驶员设置、车辆内部设置、方向盘、一个或多个换挡杆把手和踏板组未在图1中示出。在从用户150接收用户输入时,处理器128可向处理器115提供操纵信号以控制车辆110的转向、车辆110的速度或两者。
头戴式装置122可配备、配置或以其他方式设置有一个或多个部件(例如,一个或多个加速度计和/或一个或多个陀螺仪),所述一个或多个部件能够感测头戴式装置122的移动和运动以感测并提供指示关于头戴式装置122(和用户150的头部)的位置的侧倾124、俯仰126、横摆128或其组合的一个或多个信号。在从头戴式装置122接收一个或多个此类信号时,处理器128可检测头戴式装置122的位置和/或运动的变化,并且可响应于所述检测向处理器115提供摄像机调整信号,以经由一个或多个致动器114调整摄像机112的位置(例如,侧倾、俯仰、横摆或其组合)。可在头戴式装置122中或头戴式装置122上设置实时音频、一个或多个传声器和/或一个或多个按钮,以允许用户150在头戴式装置122的显示器的一角中发起来自摄像机117的后视视频馈送的弹出。
利用来自摄像机112(和摄像机117)的实时视频馈送,头戴式装置122允许用户150在虚拟现实设定中看到摄像机112(和摄像机117)的视野,就好像用户150实际上正在驾驶车辆110一样。因为头戴式装置122的位置的捕获与所安装的传感器无关,所以用户150可能够将摄像机110重新设定到默认位置(例如,前向姿态)。例如,处理器128可接收用于将摄像机110重新设定或以其他方式返回到其默认位置的用户输入,并且可相应地向处理器115提供重设信号,从而根据重设信号调整摄像机112的位置,以使摄像机112沿关于车辆110的前向方向指向。
一个或多个传感器119(1)-119(M)可能够感测关于其中安设了设备200的车辆110的一个或多个方面或参数,并且生成表示感测结果的传感器数据。例如,一个或多个传感器119(1)-119(M)可包括一个或多个加速度计、一个或多个陀螺仪、一个或多个压力传感器、一个或多个压电传感器、一个或多个传声器和/或一个或多个图像传感器。一个或多个传感器119(1)-119(M)可检测关于车辆110的各种条件,例如像且不限于,车辆110是否正在移动、车辆110是否不在移动、车辆110是否被一个或多个乘员占用、以及人类驾驶员是否已将车辆110的控制释放到车辆110的自主驾驶或远程控制。
在方案100下,基于虚拟现实的控制器120可经由网络130通信地连接到一个或多个停车管理系统(由图1中的停车管理服务器140表示),以接收关于一个或多个停车场的停车信息,这可使得能够向诸如车辆110的车辆提供远程代驾服务。从服务器140接收的停车信息可包括一个或多个停车场以及一个或多个停车场中的每一者处的空位(例如,未占用的停车空间的可用性)的信息。远程代驾服务允许车辆110的驾驶员使车辆110(例如,在路边或在停车场附近)停下,并且让远程代驾服务取得对车辆110的控制。远程代驾驾驶员(例如,用户150)可使用停车系统程序或应用程序,或者从服务器140获得停车信息,以在车辆110附近的一个或多个停车场处找到一个或多个未占用的停车空间。远程代驾驾驶员可然后通过远程控制车辆110以操纵车辆110从其当前位置移动到停车场处的一个或多个未占用的停车空间中的一者来停放车辆110。
在方案100下,在远程代驾服务呈现期间,处理器115可不断地或周期性地从一个或多个传感器119(1)-119(M)接收传感器数据,以基于传感器数据确定是否存在关于车辆110的预定义情况。预定义情况可包括例如且不限于:由远程代驾驾驶员对车辆110的操纵包括一个或多个不安全的动作(例如,驾驶得非常快和/或驾驶得太靠近周围的一个或多个车辆和/或一个或多个行人)。响应于确定存在预定义情况,处理器115可执行一个或多个操作中的至少一个操作。一个或多个操作可包括就所述情况通知远程控制器和/或限制由远程控制器对车辆的操纵的至少一个方面。例如,处理器115可应用制动器来使车辆110减速,限制由远程代驾驾驶员进行的转向的量以避免碰撞,或者采取任何合适的动作来避免或减轻撞击或碰撞。
图2示出根据本公开的实施例的示例性设备200。设备200可执行与本文所公开的关于虚拟现实远程代客停车的技术、方案、方法和系统相关的各种功能,包括以上关于场景100描述的那些以及以下关于过程300和过程400描述的那些。设备200可在场景100中的车辆110中实现,以实现根据本公开的各种实施例。也就是说,在一些实施例中,设备200可以是车辆110的控制系统的示例性实现方式。设备200可包括图2所示的部件中的一个、一些或全部。设备200可还包括与本公开的各种实施例无关的一个或多个其他部件,并且因此一个或多个此类部件未在图2中示出,并且为了简洁,不在本文中提供其描述。
设备200可至少包括处理器210,所述处理器210可包括控制电路212和通信电路214。处理器210可以是车辆110的处理器115的示例性实现方式。处理器210可以一个或多个单核处理器、一个或多个多核处理器或一个或多个复杂指令集计算(complex instructionset computing,CISC)处理器的形式实现。因此,尽管在本文中使用单数术语“处理器”来指代处理器210,但根据本公开,处理器210可在一些实施例中包括多个处理器并且在其他实施例中包括单个处理器。在另一方面,处理器210可以具有电子部件的硬件(和可选地,固件)的形式实现,所述电子部件包括例如且不限于:一个或多个晶体管、一个或多个二极管、一个或多个电容器、一个或多个电阻器和/或一个或多个电感器,所述电子部件被配置和布置为实现根据本公开的具体目的。换句话讲,在至少一些实施例中,处理器210是经专门设计、布置和配置以执行包括根据本公开的各种实施例的虚拟现实远程代客停车的具体任务的专用机器。
在一些实施例中,设备200可包括各自能够捕获一个或多个视频图像流的前向摄像机220和后向摄像机225。摄像机220和摄像机225中的每一者可通信地耦接到处理器210,以提供由摄像机220和摄像机225捕获的一个或多个视频图像流的视频信号。在一些实施例中,摄像机220可安装在允许摄像机220的3D移动的万向节安装件(例如,万向节安装件114)上。在一些实施例中,设备200可还包括一个或多个致动器250(1)-250(N),所述一个或多个致动器250(1)-250(N)能够通过转动、枢转和/或旋转其上安装了摄像机220的万向节安装件来调整摄像机220的位置。也就是说,一个或多个致动器250(1)-250(N)可通信地耦接到处理器210,以从处理器210接收信号,从而相应地调整摄像机220的位置和/或取向。
在一些实施例中,设备200可包括通信地耦接到处理器210的无线收发器230。无线收发器230可能够与一个或多个网络(例如,网络130)和/或远程控制器(例如,基于虚拟现实的控制器120)建立无线通信。在一些实施例中,无线收发器230可能够根据UDP发射和接收数据。
在一些实施例中,设备200可包括车辆控制接口240,所述车辆控制接口240通信地耦接到处理器210,使得处理器210可在没有人为输入、控制和/或干预的情况下自主地控制、操作或以其他方式操纵车辆(例如,车辆110)。车辆控制接口240可与车辆的必要的机械、电气、气动和/或液压部件通信,以用于车辆的控制和/或操纵。因此,在从处理器210接收信号和/或命令时,车辆控制接口240可致动、激活、控制和/或操作车辆的一个或多个零件(例如,以驱动并操纵车辆)。
在一些实施例中,设备200可包括一个或多个传感器260(1)-260(M)。一个或多个传感器260(1)-260(M)可能够感测关于其中安设了设备200的车辆的一个或多个方面或参数,并生成表示感测结果的传感器数据。例如,一个或多个传感器260(1)-260(M)可包括一个或多个加速度计、一个或多个陀螺仪、一个或多个压力传感器、一个或多个压电传感器、一个或多个传声器和/或一个或多个图像传感器。一个或多个传感器260(1)-260(M)可检测关于车辆的各种条件,例如像且不限于,车辆是否正在移动、车辆是否不在移动、车辆是否被一个或多个乘员占用、以及人类驾驶员是否已将车辆的控制释放到车辆的自主驾驶或远程控制。
在一些实施例中,设备200的更多部件中的两个部件之间的通信可以是根据合适的一个或多个协议、一个或多个标准和/或一个或多个规格的无线通信。例如,处理器210与摄像机220、摄像机225、无线收发器230、车辆控制接口240、一个或多个致动器250(1)-250(N)和一个或多个传感器260(1)-260(M)中的一者或多者之间的通信可基于根据电气电子工程师学会(Institute of Electrical and Electronics Engineers,IEEE)802.11标准的一个或多个Wi-Fi技术。另外地或可替代地,可利用诸如蓝牙、近场通信(NFC)、红外和/或超声的其他无线技术。
通信电路214可能够经由无线收发器230与远程控制器(例如,基于虚拟现实的控制器120的计算设备125的处理器128)建立无线通信。通信电路214可能够从远程控制器接收信号。控制电路212可能够经由无线收发器230向远程控制器提供由摄像机220捕获的视频图像流。控制电路212还可能够根据信号操纵车辆从一个位置移动到另一个位置。
在一些实施例中,通信电路212可能够确定关于车辆的条件的存在并且经由无线收发器230就所述条件通知远程控制器。在一些实施例中,信号的接收可以是就所述条件通知远程控制器的结果。在一些实施例中,所述条件可包括车辆的停驻、车辆的人类驾驶员对车辆的控制的释放或两者。
在一些实施例中,通信电路214可能够经由无线收发器230从远程控制器接收摄像机调整信号。在此类情况下,控制电路212可能够根据摄像机调整信号控制一个或多个致动器以调整摄像机220的位置。
在一些实施例中,控制电路212可能够从一个或多个传感器260(1)-260(M)接收传感器数据。另外,控制电路212还可能够基于传感器数据确定存在关于车辆的情况。此外,控制电路212可能够响应于所述确定执行一个或多个操作中的至少一个操作。例如,所述情况可包括:由远程控制器对车辆的操纵包括一个或多个不安全的动作。在此类情况下,控制电路212可经由无线收发器230就所述情况通知远程控制器。控制电路212可还控制车辆控制接口240以限制由远程控制器对车辆的操纵的至少一个方面(例如,控制车辆控制接口240以应用制动器来使车辆减速、限制由远程控制器进行的转向的量以避免碰撞、或者采取任何合适的动作以避免或减轻撞击或碰撞)。
图3示出根据本公开的实施例的示例性过程300。过程300可包括被示出为诸如310、320、330、340、350、360、370、380、390、392和394的方框的一个或多个操作、动作或功能。尽管被示出为独立方框,但是根据期望的实现方式,过程300的各个方框可划分成另外的方框、组合成更少的方框或者被消除。过程300可在场景100中实现并且/或者由设备200实现。出于说明的目的并且不具有限制性,在场景100的上下文中提供过程300的以下描述。过程300可开始于方框310。
在310处,过程300可涉及车辆110的处理器115与远程控制器(例如,基于虚拟现实的控制器120的计算设备125的处理器128)建立无线通信。过程300可从310前进至320。
在320处,过程300可涉及处理器115向远程控制器提供由车辆的摄像机(例如,车辆110的摄像机112)捕获的视频图像流。过程300可从320前进至330。
在330处,过程300可涉及处理器115从远程控制器接收信号。过程300可从330前进至340。
在340处,过程300可涉及处理器115根据所述信号操纵车辆110从一个位置移动到另一个位置。过程300可从340前进至350、370和/或390。
在350处,过程300可涉及处理器115确定存在关于车辆110的条件。在一些实施例中,所述条件可包括车辆110的停驻、车辆110的人类驾驶员对车辆110的控制的释放或两者。过程300可从350前进至360。
在360处,过程300可涉及处理器115就所述条件通知远程控制器。在一些实施例中,操纵信号的接收可以是处理器115就所述条件通知远程控制器的结果。
在370处,过程300可涉及处理器115从远程控制器接收摄像机调整信号。过程300可从370前进至380。
在380处,过程300可涉及处理器115根据所述摄像机调整信号控制一个或多个致动器116以调整摄像机112的位置。在一些实施例中,在控制一个或多个致动器116以调整摄像机112的位置时,过程300可涉及处理器115调整关于摄像机112的位置的侧倾、俯仰、横摆或其组合。
在390处,过程300可涉及处理器115从与车辆110相关联的一个或多个传感器(例如,一个或多个传感器119(1)-119(M))接收传感器数据。过程300可从390前进至392。
在392处,过程300可涉及处理器115基于所述传感器数据确定存在关于车辆110的情况。过程300可从392前进至394。
在394处,过程300可涉及处理器115响应于所述确定执行一个或多个操作中的至少一个操作。例如,所述情况可包括:由远程控制器对车辆110的操纵包括一个或多个不安全的动作。在此类情况下,过程300可涉及处理器115就所述情况通知远程控制器。另外,过程300可涉及处理器115限制由远程控制器对车辆110的操纵的至少一个方面。
在一些实施例中,视频图像流的提供、信号的接收或两者可根据UDP完成。
图4示出根据本公开的实施例的示例性过程400。过程400可包括被示出为诸如410、420、430和440的方框以及子方框442、444、446和448的一个或多个操作、动作或功能。尽管被示出为独立方框,但是根据期望的实现方式,过程400的各个方框可划分成另外的方框、组合成更少的方框或者被消除。过程400可在场景100中实现并且/或者由设备200实现。出于说明的目的并且不具有限制性,在场景100的上下文中提供过程400的以下描述。过程400可开始于方框410。
在410处,过程400可涉及基于虚拟现实的控制器120的处理器128与车辆的控制系统(例如,车辆110的处理器115)建立无线通信。过程400可从410前进至420。
在420处,过程400可涉及处理器128接收由与车辆110相关联的摄像机(例如,车辆110的摄像机112)捕获的视频图像流。过程400可从420前进至430。
在430处,过程400可涉及处理器128至少部分地基于所述视频图像流从车辆110的驾驶员的角度(例如,在用户120的头戴式装置122上)创建虚拟现实视图。过程400可从430前进至440。
在440处,过程400可涉及处理器128向控制系统的处理器115提供信号以操纵车辆110从一个位置移动到另一个位置。在向处理器115提供信号以将车辆110从一个位置操纵到另一个位置时,过程400可涉及处理器128执行如子方框442、444、446和448所示的多个操作。
在442处,过程400可涉及处理器128确定车辆110的当前位置。过程400可从442前进至444。
在444处,过程400可涉及处理器128确定可用停车空间的停车位置。过程400可从444前进至446。
在446处,过程400可涉及处理器128确定将车辆110从当前位置移动到停车位置的路线。过程400可从446前进至448。
在448处,过程400可涉及处理器128根据所确定的路线生成信号。
在一些实施例中,视频图像流的接收、向控制系统提供信号或两者可根据UDP完成。
在一些实施例中,在向控制系统提供信号时,过程400可涉及处理器128从控制系统接收指示关于车辆110的条件的存在的通知。此外,过程400可涉及处理器128响应于接收到所述通知而向控制系统提供信号。在一些实施例中,所述条件可包括车辆110的停驻、车辆110的人类驾驶员对车辆110的控制的释放或两者。
在一些实施例中,过程400可涉及处理器128检测与基于虚拟现实的控制器相关联的头戴式装置的位置(例如,关于头戴式装置122的位置的侧倾、俯仰、横摆或其组合)的变化。另外,过程400可涉及处理器128响应于所述检测向控制系统提供摄像机调整信号以调整与车辆110相关联的摄像机112的位置。在一些实施例中,摄像机112的调整可涉及调整关于摄像机112的位置的侧倾、俯仰、横摆或其组合。
在以上公开内容中,已经参考了形成其一部分的附图,并且在附图中通过图解示出可实践本公开的具体实现方式。应当理解,可利用其他实现方式并且可在不背离本公开的范围的情况下进行结构改变。在说明书中对“一个实施例(one embodiment)”、“一个实施例(an embodiment)”、“一个示例性实施例”等的引用指示所描述的实施例可包括特定的特征、结构或特性,但是每个实施例可不一定包括所述特定的特征、结构或特性。此外,此类短语不一定是指同一实施例。另外,当结合实施例描述特定的特征、结构或特性时,应当认为,无论是否明确描述,使此类特征、结构或特性结合其他实施例起作用在本领域的技术人员的知识范围内。
本文所公开的系统、设备、装置和方法的实现方式可包括或利用专用或通用计算机,所述专用或通用计算机包括计算机硬件,例如像一个或多个处理器和系统存储器,如本文所讨论的。本公开范围内的实现方式还可包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非限制,本公开的实现方式可包括至少两种明显不同种类的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括:随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘驱动器(CD-ROM)、固态驱动器(“SSD”)(例如,基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁性存储装置、或可用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段并且可由通用或专用计算机访问的任何其他介质。
本文所公开的装置、系统和方法的实现方式可通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一通信连接(硬连线、无线、或硬连线或无线的任何组合)向计算机传递或提供信息时,计算机将连接恰当地视为传输介质。传输介质可包括网络和/或数据链路,所述网络和/或数据链路可用于以计算机可执行指令或数据结构的形式承载期望的程序代码手段并且可由通用或专用计算机访问。上述组合也应当包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器上执行时使通用计算机、专用计算机或专用处理装置执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令,或者甚至是源代码。尽管已经用结构特征和/或方法动作专用的语言描述了主题,但应当理解,所附权利要求中限定的主题不一定限于所描述的特征或上述动作。相反,所描述的特征和动作是作为实现权利要求的示例性形式而公开。
本领域技术人员应当理解,本公开可在具有许多类型的计算机系统配置的网络计算环境中实践,所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可在分布式系统环境中实践,其中通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统两者都执行任务。在分布式计算环境中,程序模块可以位于本地存储器存储装置和远程存储器存储装置两者中。
此外,在适当的情况下,本文所述的功能可在以下中的一者或多者中执行:硬件、软件、固件、数字部件或模拟部件。例如,一个或多个专用集成电路(ASIC)可被编程来执行本文所述的系统和程序中的一者或多者。某些术语贯穿本说明书和权利要求用于指代特定系统部件。如本领域技术人员应当理解,部件可通过不同的名称来指代。本文件并不意图区分名称不同但功能相同的部件。
应当注意,上面讨论的传感器实施例可包括计算机硬件、软件、固件或其任何组合以执行它们的功能的至少一部分。例如,传感器可包括被配置为在一个或多个处理器中执行的计算机代码,并且可包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中出于说明的目的而提供并且并不意图进行限制。如一个或多个相关领域的技术人员将知道的,本公开的实施例可在其他类型的装置中实现。
本公开的至少一些实施例涉及包括存储在任何计算机可用介质上的此类逻辑(例如,以软件的形式)的计算机程序产品。此类软件在一个或多个数据处理装置中执行时致使装置如本文所述地进行操作。
虽然上文已经描述了本公开的各种实施例,但应当理解,所述实施例仅以举例而非限制的方式呈现。相关领域的技术人员将明白,在不背离本公开的精神和范围的情况下,可在其中进行各种形式和细节的改变。因此,本公开的广度和范围不应受任何上述示例性实施例限制,而应仅根据以下权利要求及其等同物来限定。前述描述是为了说明和描述的目的而呈现。并非意图是详尽的,或者将本公开限于所公开的精确形式。根据上述教义,许多修改和变化是可能的。此外,应当注意,可以所需的任何组合来使用任何或所有前述替代实现方式,以形成本公开的另外的混合实现方式。

Claims (19)

1.一种由车辆的控制系统执行的远程代客停车方法,其包括:
由车辆的控制系统的处理器与远程控制器建立无线通信;
由所述处理器向所述远程控制器提供由所述车辆的摄像机捕获的视频图像流;
由所述处理器从所述远程控制器接收信号,其中从所述远程控制器接收信号进一步包括:
远程控制器基于所述视频图像流从车辆的驾驶员的角度创建虚拟现实视图以供车辆的驾驶员查看;
确定可用停车位的停车位置;
确定将车辆从当前位置操作到所述停车位置的路径;以及
根据确定的所述路径和驾驶员的输入产生信号,其中所述驾驶员基于所述虚拟现实视图确定所述输入;以及
由所述处理器根据所述信号操纵所述车辆从当前位置移动到所述停车位置。
2.如权利要求1所述的方法,其中所述视频图像流的所述提供、所述信号的所述接收或两者是根据用户数据报协议(UDP)进行的。
3.如权利要求1所述的方法,其还包括:
由所述处理器从与所述车辆相关联的一个或多个传感器接收传感器数据;
由所述处理器基于所述传感器数据确定存在关于所述车辆的情况;以及
由所述处理器响应于所述确定执行一个或多个操作中的至少一个操作,所述一个或多个操作包括:
就所述情况通知所述远程控制器;以及
限制由所述远程控制器对所述车辆的操纵的至少一个方面。
4.如权利要求3所述的方法,其中所述情况包括:由所述远程控制器对所述车辆的所述操纵包括一个或多个不安全的动作。
5.如权利要求1所述的方法,其还包括:
由所述处理器确定关于所述车辆的条件的存在;以及
由所述处理器就所述条件通知所述远程控制器,
其中所述信号的所述接收包括响应于所述就所述条件通知所述远程控制器而接收所述信号。
6.如权利要求5所述的方法,其中所述条件包括所述车辆的停驻、所述车辆的人类驾驶员对所述车辆的控制的释放或两者。
7.如权利要求1所述的方法,其还包括:
由所述处理器从所述远程控制器接收摄像机调整信号;以及
由所述处理器根据所述摄像机调整信号控制一个或多个致动器以调整所述摄像机的位置。
8.如权利要求7所述的方法,其中所述控制所述一个或多个致动器以调整所述摄像机的所述位置包括调整关于所述摄像机的所述位置的侧倾、俯仰、横摆或其组合。
9.一种由基于虚拟现实的控制器执行的远程代客停车方法,其包括:
由基于虚拟现实的控制器的处理器与车辆的控制系统建立无线通信;
由所述处理器接收由与所述车辆相关联的摄像机捕获的视频图像流;
由所述处理器至少部分地基于所述视频图像流从所述车辆的驾驶员的角度创建虚拟现实视图以供车辆的驾驶员查看;
由所述处理器执行下列操作:
确定可用停车位的停车位置;
确定将车辆从当前位置操作到所述停车位置的路径;以及
根据确定的所述路径和驾驶员的输入产生信号,其中所述驾驶员基于所述虚拟现实视图确定所述输入;以及
由所述处理器向所述控制系统提供信号以将所述车辆从当前位置操纵到所述停车位置。
10.如权利要求9所述的方法,其中所述视频图像流的所述接收、所述向所述控制系统提供所述信号或两者是根据用户数据报协议(UDP)进行的。
11.如权利要求9所述的方法,其中所述向所述控制系统提供所述信号包括:
由所述处理器从所述控制系统接收指示关于所述车辆的条件的存在的通知;以及
由所述处理器响应于接收到所述通知向所述控制系统提供所述信号。
12.如权利要求11所述的方法,其中所述条件包括所述车辆的停驻、所述车辆的人类驾驶员对所述车辆的控制的释放或两者。
13.如权利要求9所述的方法,其还包括:
由所述处理器检测与所述基于虚拟现实的控制器相关联的头戴式装置的位置的变化;以及
由所述处理器响应于检测的所述头戴式装置的位置的变化向所述控制系统提供摄像机调整信号以调整与所述车辆相关联的所述摄像机的位置。
14.一种能够在车辆中实现的设备,其包括:
摄像机,所述摄像机安装在万向节上并且能够捕获视频图像流;
一个或多个致动器,所述一个或多个致动器能够调整所述摄像机的位置;
车辆控制接口,所述车辆控制接口能够操作所述车辆的一个或多个部件以操纵所述车辆;
无线收发器,所述无线收发器能够与远程控制器进行无线通信;以及
处理器,所述处理器通信地耦接到所述摄像机、所述一个或多个致动器、所述车辆控制接口和所述无线收发器,所述处理器能够执行包括以下的操作:
经由所述无线收发器与所述远程控制器建立无线通信;
经由所述无线收发器向所述远程控制器提供由所述摄像机捕获的所述视频图像流;
经由所述无线收发器从所述远程控制器接收信号,其中从所述远程控制器接收信号进一步包括:
由所述远程控制器至少部分地基于所述视频图像流从所述车辆的驾驶员的角度创建虚拟现实视图以供车辆的驾驶员查看;
确定可用停车位的停车位置;
确定将车辆从当前位置操作到所述停车位置的路径;以及
根据确定的所述路径和驾驶员的输入产生信号,其中所述驾驶员基于所述虚拟现实视图确定所述输入;以及
根据所述信号操纵所述车辆从当前位置移动到所述停车位置。
15.如权利要求14所述的设备,其中所述视频图像流的所述提供、所述信号的所述接收或两者是根据用户数据报协议(UDP)进行的。
16.如权利要求14所述的设备,其中所述处理器进一步能够执行包括以下的操作:
确定关于所述车辆的条件的存在;以及
经由所述无线收发器就所述条件通知所述远程控制器,
其中所述信号的所述接收包括响应于所述就所述条件通知所述远程控制器而接收所述信号,并且
其中所述条件包括所述车辆的停驻、所述车辆的人类驾驶员对所述车辆的控制的释放或两者。
17.如权利要求14所述的设备,其中所述处理器进一步能够执行包括以下的操作:
经由所述无线收发器从所述远程控制器接收摄像机调整信号;以及
根据所述摄像机调整信号控制所述一个或多个致动器以调整所述摄像机的所述位置。
18.如权利要求14所述的设备,其还包括:
一个或多个传感器,所述一个或多个传感器能够感测所述车辆的一个或多个方面并且响应于所述感测提供传感器数据,
其中所述处理器进一步能够执行包括以下的操作:
从所述一个或多个传感器接收所述传感器数据;
基于所述传感器数据确定存在关于所述车辆的情况;以及
响应于所述确定执行一个或多个操作中的至少一个操作,所述一个或多个操作包括:
经由所述无线收发器就所述情况通知所述远程控制器;以及
控制所述车辆控制接口以限制由所述远程控制器对所述车辆的操纵的至少一个方面。
19.如权利要求18所述的设备,其中所述情况包括:由所述远程控制器对所述车辆的所述操纵包括一个或多个不安全的动作。
CN201780084401.1A 2017-01-25 2017-01-25 虚拟现实远程代客停车 Active CN110226144B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/014980 WO2018140013A1 (en) 2017-01-25 2017-01-25 Virtual reality remote valet parking

Publications (2)

Publication Number Publication Date
CN110226144A CN110226144A (zh) 2019-09-10
CN110226144B true CN110226144B (zh) 2022-12-13

Family

ID=62978208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084401.1A Active CN110226144B (zh) 2017-01-25 2017-01-25 虚拟现实远程代客停车

Country Status (4)

Country Link
US (2) US11220291B2 (zh)
CN (1) CN110226144B (zh)
DE (1) DE112017006531T5 (zh)
WO (1) WO2018140013A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190384286A1 (en) * 2017-01-26 2019-12-19 Ford Global Technologies, Llc Virtual reality autonomous driving takeover
US11340609B2 (en) * 2018-05-03 2022-05-24 Formula Square Holdings Ltd Systems and methods for providing driving guidance
US11836410B2 (en) * 2019-08-06 2023-12-05 Universal City Studios Llc Interactive headgear
CN115042806B (zh) * 2022-07-29 2022-11-15 浙江吉利控股集团有限公司 一种代客泊车的路径显示方法、装置及电子设备
CN116896684B (zh) * 2023-08-02 2024-05-17 广州颖上信息科技有限公司 一种稳定器的虚拟控制系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473951A (zh) * 2013-08-27 2013-12-25 东莞中国科学院云计算产业技术创新与育成中心 一种基于临场感的自动停车场管理系统
CN104680835A (zh) * 2013-11-27 2015-06-03 通用汽车环球科技运作有限责任公司 自主车辆的受控停车

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
WO2007143756A2 (en) * 2006-06-09 2007-12-13 Carnegie Mellon University System and method for autonomously convoying vehicles
US8525880B2 (en) * 2008-11-21 2013-09-03 Robert Bosch Gmbh Security system including modular ring housing
JP5168580B2 (ja) * 2008-12-01 2013-03-21 富士通株式会社 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置
DE102011109491A1 (de) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrunterstützungsvorrichtung zur Unterstützung der Befahrung enger Fahrwege
US20130246207A1 (en) * 2012-03-19 2013-09-19 Uber Technologies, Inc. System and method for dynamically adjusting prices for services
US20140002651A1 (en) * 2012-06-30 2014-01-02 James Plante Vehicle Event Recorder Systems
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US9406177B2 (en) * 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
US9465388B1 (en) * 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
FR3028767B1 (fr) * 2014-11-26 2017-02-10 Parrot Systeme video pour le pilotage d'un drone en mode immersif
US9931749B2 (en) * 2015-04-15 2018-04-03 John C. Nappo Remote presence robotic system
US20170083082A1 (en) * 2015-09-18 2017-03-23 Intellectual Fortress, LLC Image processing virtual reality controller system and method
CN105335571A (zh) * 2015-11-24 2016-02-17 大连楼兰科技股份有限公司 一种碰撞仿真虚拟现实的环境搭建方法
CN105654808A (zh) * 2016-02-03 2016-06-08 北京易驾佳信息科技有限公司 一种基于实际机动车的机动车驾驶人智能化训练系统
CN105974920A (zh) * 2016-06-14 2016-09-28 北京汽车研究总院有限公司 一种无人驾驶系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473951A (zh) * 2013-08-27 2013-12-25 东莞中国科学院云计算产业技术创新与育成中心 一种基于临场感的自动停车场管理系统
CN104680835A (zh) * 2013-11-27 2015-06-03 通用汽车环球科技运作有限责任公司 自主车辆的受控停车

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于RFID和组态王的停车场管理系统;李文华等;《计算机系统应用》;20130115;第22卷(第01期);第51-53页 *

Also Published As

Publication number Publication date
US20220026902A1 (en) 2022-01-27
DE112017006531T5 (de) 2019-09-26
WO2018140013A1 (en) 2018-08-02
US11584438B2 (en) 2023-02-21
US20190359258A1 (en) 2019-11-28
CN110226144A (zh) 2019-09-10
US11220291B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
CN110226144B (zh) 虚拟现实远程代客停车
US8471691B2 (en) Portable vision system
US20190384286A1 (en) Virtual reality autonomous driving takeover
KR102129340B1 (ko) 주차 제어 방법 및 주차 제어 장치
CN111923921B (zh) 驾驶辅助方法和系统
US8666599B2 (en) Driving support system
US10367869B2 (en) Remote vehicle control and operation
KR20190105150A (ko) 군집 주행 제어 장치 및 방법
US10081387B2 (en) Non-autonomous steering modes
EP3133454B1 (en) Method and apparatus for controlling a vehicle having automated driving control capabilities
US9868422B2 (en) Control apparatus of brake system and method of controlling the same
JP7416144B2 (ja) 運転引継制御装置、方法およびプログラム
JP7116924B2 (ja) 情報処理装置及び情報処理装置を備える自動走行制御システム
US20240210939A1 (en) Camera image compression for autonomous driving vehicles
CN108116402B (zh) 具有控制器的驾驶员辅助系统及其控制方法
JP6394219B2 (ja) 通信制御装置および通信制御方法
JP7146118B2 (ja) 車両制御装置及び車両制御方法
WO2024021083A1 (en) Sensor data transfer with self adaptive configurations for autonomous driving vehicle
JP7099412B2 (ja) 車両制御装置及び車両制御システム
US20240353850A1 (en) Control device and remote support system
JP2024024500A (ja) 映像記録装置
JP2024060467A (ja) 遠隔操作制御方法、遠隔操作システム、及び移動体
JP2024095005A (ja) モビリティシステム及びサーバ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant