CN110717991A - 用于车载增强虚拟现实系统的系统和方法 - Google Patents

用于车载增强虚拟现实系统的系统和方法 Download PDF

Info

Publication number
CN110717991A
CN110717991A CN201910451525.XA CN201910451525A CN110717991A CN 110717991 A CN110717991 A CN 110717991A CN 201910451525 A CN201910451525 A CN 201910451525A CN 110717991 A CN110717991 A CN 110717991A
Authority
CN
China
Prior art keywords
data
vehicle
fusing
image data
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910451525.XA
Other languages
English (en)
Inventor
F·白
于鑫
J·萨尔加吉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110717991A publication Critical patent/CN110717991A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了通过提供沉浸式体验来娱乐车辆乘客的系统和方法。在一个实施例中，方法包括：从耦合到该车辆的多个摄像装置接收图像数据，其中，该图像数据描绘了该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；通过处理器，用定位法来融合该图像数据和该兴趣点数据；通过处理器，基于用户装置的位置来定向融合图像数据；以及通过处理器，在该用户装置的虚拟现实显示器上渲染定向的融合数据。

Description

用于车载增强虚拟现实系统的系统和方法
技术领域
本发明总体上涉及虚拟现实，且更具体地涉及将虚拟现实体验整合到使用多视角摄像机的车辆、传感器融合以及兴趣点信息中的系统和方法。
车辆感知系统包括若干个摄像机。这些摄像机与车身融为一体，并且拍摄该车辆周围的环境。为了以自主或者部分自主的方式来控制该车辆，要对这些摄像机的输出进行分析。
后座乘客的视角通常会受到窗口大小和乘客相对位置的限制。因此，乘客不能在长途旅行的过程中享受全景。相应地，为了提供该景观的虚拟真实视角，需要提供用于平衡这些车辆摄像机的系统和方法。更需要在长途旅行的过程中为乘客提供附加信息。此外，结合附图以及前述的技术领域和背景技术，通过随后的详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。
发明内容
本发明提供了通过提供沉浸式体验来娱乐车辆乘客的系统和方法。在一个实施例中，方法包括：从耦合到该车辆的多个摄像装置接收图像数据，其中，该图像数据描绘该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；通过处理器，用定位法来融合该图像数据和该兴趣点数据；通过处理器，基于用户装置的位置来定向融合图像数据；以及通过处理器在该用户装置的虚拟现实显示器上渲染定向的融合数据。
在各种实施例中，该融合是基于概率优化方法的。在各种实施例中，该融合还基于惯性测量单元数据、全球定位系统数据以及该图像数据的融合，以确定车辆在第一坐标系中的位置、方向和速度。在各种实施例中，该融合还基于融合图像数据和惯性测量数据以获得结果并且将该结果与全球定位系统数据融合。
在各种实施例中，该融合是基于图形姿态优化的。在各种实施例中，该融合还基于融合全球定位系统数据和惯性测量单元数据以获得结果并将结果与该图像数据融合。
在各种实施例中，该融合基于图形姿态优化和扩展卡尔曼滤波。
在各种实施例中，该融合还包括将全球定位系统数据、惯性测量单元数据、摄像机数据以及兴趣点数据融合到单个坐标系中；并且将融合后的数据转换到第二坐标系中，其中该第二坐标系是该用户装置中的坐标系。在各种实施例中，该定向包含将转换后的数据从该第二坐标系定向到第三坐标系中，其中，该第三坐标系基于该用户装置的定向。
在各种实施例中，该兴趣点数据包括相对于该点的姓名、标识、地址、联系信息、销售信息、营业时间，及历史事实中的至少一个。
在另一实施例中，提供了用于车辆的虚拟现实系统。该虚拟现实系统包括被配置为分布在该车辆上的多个摄像装置，这些摄像装置感测与该车辆相关联的环境；以及控制器，该控制器配置成通过处理器从耦合到该车辆的多个摄像装置上接收图像数据，其中，该图像数据描绘该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；融合该图像数据和该兴趣点数据；基于用户装置的位置来定向融合图像数据；以及在用户设备的虚拟现实显示器上渲染该定向的融合数据。
在各种实施例中，该控制器基于概率优化法进行融合。在各种实施例中，该控制器还基于惯性测量数据、全球定位系统数据和该图像数据的融合进行融合，以确定该车辆在第一坐标系中的位置、方向和速度。在各种实施例中，该控制器还基于融合图像数据和惯性测量数据以获得测量结果并将该结果与全球定位系统数据进行融合。
在各种实施例中，该控制器基于图形姿态优化法进行融合。在各种实施例中，该控制器还基于融合全球定位系统数据和惯性测量单元数据进行融合，以获得结果并且将该结果和该图像数据融合。
在各种实施例中，该控制器还基于将全球定位系统数据、惯性测量单元数据、摄像机数据以及兴趣点数据融合到单坐标系中；并将该融合数据转换到第二坐标系中，其中，该第二坐标系是该用户装置中的坐标系。在各种实施例中，该控制器基于将该转换数据从该第二坐标系定向到第三坐标系中进行定向，其中，该第三坐标系基于该用户装置的定向。
在各种实施例中，该兴趣点数据包括相对于该点的姓名、标识、地址、联系信息、销售信息、营业时间、历史事实中的至少一个。
在另一种实施例中，提供了车辆。该车辆包括多个分布在该车辆周围的摄像装置，这些摄像装置感测与该车辆相关联的环境；以及控制器，该控制器配置为通过处理器从耦合到该车辆的多个摄像装置接收图像数据，其中，该图像数据描绘该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；融合该图像数据和该兴趣点数据；基于用户装置的位置来定向融合图像数据；以及在该用户装置的虚拟现实显示器上渲染该定向的融合数据。
附图说明
下文将结合以下附图描述示例性实施例，其中，相同数字表示相同元件，且其中：
图1A是示出根据各种实施例的具有乘客虚拟现实系统的车辆的功能框图；
图1B是根据各种实施例的虚拟现实系统的摄像机的图示；
图2是根据各种实施例的虚拟现实系统的虚拟现实模块的数据流图表；并且
图3是示出根据各种实施例的用于向车辆的乘客显示虚拟现实内容的方法的流程图。
具体实施方式
以下的详细描述本质上仅仅是作为示例的，并未旨在限制应用和使用。此外，不希望受前述技术领域、背景、发明内容或者以下详细描述中呈现的任何表达或暗示的限制。这里所用的，术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑，和/或处理器装置中单独的一个或者任意组合，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享处理器、专用处理器、或处理器组)和存储器、组合逻辑电路，和/或提供所述功能的其他合适的部件。
本发明的实施例可以根据功能和/或逻辑块部件以及各种处理步骤在此进行描述。应当理解，这样的块部件可以通过被配置为执行指定功能的任意数量的硬件、软件和/或固件部件来实现。例如，本发明的实施例可以使用各种集成电路部件、存储元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制装置的控制下执行各种各样的功能。另外，所属领域的技术人员将了解：可结合任何数目的系统来实践本发明的实施例，且本文中所描述的系统仅是本发明的示范性实施例。
为了简洁起见，有关这些系统的信号处理、数据传输、发信号、控制和其他功能方面(以及这些系统的单独操作部件)的常规技术可能在此不详细描述。此外，此处所包含的各图中所示的连接线旨在表示各元件之间的示例性功能关系和/或物理耦合。应该注意，在本发明的实施例中可存在许多替代或额外功能关系或物理连接。
参考图1A，根据各种实施例，总体上以100示出的虚拟现实系统与车辆10相关联。该虚拟现实系统通常包括多个车辆摄像机102、数据存储装置104、控制器106，以及用户显示装置108。通常，该虚拟现实系统100接收来自车辆摄像机102的传感器数据，融合该传感器数据，并将该融合的数据与该数据存储装置104中存储的兴趣点(POI)示意图相关联，以生成该用户显示装置108显示的信息和娱乐增强虚拟现实体验。例如，该虚拟现实系统100通过该用户所佩戴的眼镜将处理后的数据显示给该车辆10的乘客。
如图1A所示，该车辆10通常包括底盘12、车身14、前轮16和后轮18。该车身14安装在该底盘12上并且基本上包围该车辆10的部件。该车身14和该底盘12可以共同形成框架。车轮16-18各自在车身14的相应拐角附近可旋转地耦合到底盘12上。
在各种实施例中，车辆10可以是自主车辆，并且虚拟现实系统100可以结合到该自主车辆中。举例来说，该自主车辆是(完全或者部分)自动控制以将乘客从一个地点送到另一个地点的车辆。在所示实施例中，该车辆10被描述为客车，但是应当理解，也可以使用摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、船舶、飞机等在内的任何其他车辆。
如图所示，该车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34，以及通信系统36。在各种实施例中，该推进系统20可以包括内燃机、诸如牵引电动机的电机，和/或燃料电池推进系统。该传动系统22配置为根据可选速比将功率由该推进系统20传递到车轮16-18上。根据各种实施例，该传动系统22可以包括阶梯比自动变速器、无极变速器，或其他合适的变速器。该制动系统26配置为向车轮16-18提供制动力矩。在各种实施例中，该制动系统26包括摩擦制动器、线控制动器、诸如电气机器的再生制动系统，和/或其他合适的制动系统。该转向系统24影响车轮16-18的位置。尽管为了说明目的的描绘为包括方向盘，但在本发明的范围内预期的一些实施例中，该转向系统24可不包括方向盘。
该传感器系统28包括一个或多个感测该自主车辆10的外部环境和/或内部环境的可观测条件的传感装置31a-31n。这些传感装置31a-31n可以包括但不仅限于雷达、激光雷达、全球定位系统、光学摄像机、热感摄像机、超声传感器、惯性测量单元、麦克风，和/或其他传感器。该致动器系统30包括一个或多个致动器装置42a-42n，这些致动器装置控制一个或多个车辆特征，例如，但不仅限于该推进系统20、该传动系统22、该转向系统24，以及该制动系统26。在各种实施例中，这些由一个或多个致动器装置42a-42n控制的车辆特征能够进一步包括内部和/或外部车辆特征，例如，但不仅限于车门、后备箱，以及车厢特征，例如空气、音乐、照明等(未编号)。
在各种实施例中，一个或多个该传感装置31a-31n是指车辆摄像机102或其他成像装置。这些摄像装置102耦合在该车辆10的车身14的外部和/或耦合在该车辆10的内部，这样它们可以捕获该车辆10周围环境的图像。例如，包括分布在该车辆10上的摄像装置102的传感装置31a-31j的例示性实施例如图1B所示。如图所示，传感装置31a-31j设置在不同位置并且定向感测该车辆10附近的周围环境的不同部分。可以理解，这些传感装置31a-31j能够包括所有同类型的摄像装置或者这些类型的摄像装置的任意组合。
在所提供的示例中，第一传感装置31a位于该车辆10的左前(或驾驶员)侧，并且相对于该车辆10的纵向轴线在向前方向上逆时针45°定向；并且另一个传感装置31c可以位于该车辆10的右前(或乘客)侧，并且相对于该车辆10的纵向轴线顺时针45°定向。另外的传感装置31i和31j位于该车辆10的左后和右后侧并且沿着传感装置31d和31h同样相对于该车辆纵向轴线逆时针和顺时针45°定向，传感装置31d和31h位于该车辆10的左侧和右侧并且定向于远离纵向轴线的方向，以便沿着大体垂直于该车辆纵轴的轴线延伸。所示实施例还包括一组传感装置31e-31g，该组传感装置位于该车辆纵向轴线处或者附近并且定向成提供与该车辆纵向轴线一致的正向信号。
返回参考图1A，通信系统36被配置为向和从其他实体48无线地传送信息，例如，但不仅限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人装置(关于图2进行了更加详细的描述)。在示例性实施例中，该通信系统36被配置为使用IEEE 802.11标准的无线局域网(WLAN)或者通过蜂巢式数据通信进行通讯的无线通信系统。然而，诸如专用短距离通信(DSRC)信道的附加或者替换通信法也被认为在本发明的范围之内。DSRC信道是指专为汽车使用而设计的单向或双向短程到中程无线通信信道以及相应的一组协议和标准。
该数据存储装置32存储用于自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的定义的地图。在各种实施例中，该数据存储装置包括数据存储装置104，并且所定义的地图包括与各种兴趣点相关联的信息。这类信息可以包括，但不仅限于相对于这些点的姓名、标识、地址、联系信息、销售信息、营业时间、历史事实和/或其他任何信息。在各种实施例中，该POI信息可包括描绘这类信息的并且能够渲染在虚拟现实场景之上以提供增强现实的图像。在各种实施例中，该POI信息能够被分为不同的分类。然后，可以根据观众的兴趣选择分类。
在各种实施例中，所定义的地图和/或POI信息可以由远程系统预定义并可以从远程系统中获得。例如，所定义的地图/或POI信息可以通过该远程系统组装并(以无线和/或有线的方式)传送到车辆10，并且可以存储在该数据存储装置32中。值得重视的是，该数据存储装置32可以是该控制器34的一部分，与该控制器34分离，或者是该控制器34的一部分并且是分离系统的一部分。
该控制器34包括至少一个处理器44以及计算机可读存储设备或介质46。该处理器44能够是任意定制的或者市场上可以买到的处理器、中央处理器(CPU)、图形处理器(GPU)、与该控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或者芯片组的形式)、宏处理器、其任意组合，或者通常是执行指令的任何装置。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)以及保活存储器(KAM)中的易失性和非易失性存储器。KAM是永久或非易失性存储器，其可用于在处理器44断电时存储各种运行变量。计算机可读存储设备或介质可以使用可编程序只读存储器(PROM)、电可编程序只读存储器(电PROM)、电可擦只读存储器(电可擦PROM)、闪速存储器或其他任何电、磁、光学存储器等若干已知存储装置中的任意一个，或者能够存储数据的组合式存储装置来实现，其中有些代表可执行指令，通过该控制器34用来控制该车辆10。
这些指令可以包括一个或多个分离程序，每一个程序都包括用来实施逻辑函数的可执行指令的有序列表。由该处理器44执行时，这些指令接收并处理来自该传感器系统28的信号，执行用于自动控制该自主车辆10的部件的逻辑、计算、方法和/或算法，并且对该致动器系统30生成控制信号，以根据逻辑、计算、方法和/或算法自动控制该车辆10的部件。尽管在图1A中只示出了一个控制器34，但是该自主车辆10的实施例能够包括任何数量的控制器34，这些控制器通过任何合适的通信介质或者通信介质的组合进行通信，并且协作来处理传感器信号，执行逻辑、计算、方法和/或算法，并生成控制信号以自动控制该车辆10的特征。
在各种实施例中，该控制器34包括控制器106并且包括在虚拟现实模块110中呈现的一个或多个指令；当被处理器44执行时，虚拟现实模块110从诸如摄像装置的传感装置31-31j接收图像数据，接收GPS和/或IMU数据，并且处理所接收的数据，以定位该车辆10，将该数据融合进具有兴趣点信息的360度虚拟现实场景中。由该处理器执行时，这些指令还使得具有增强现实内容的虚拟现实场景被显示给佩戴用户显示装置108的乘客。
在各种实施例中，该用户显示装置108接收该虚拟场景并基于用户装置相对于环境的定向来显示一部分场景。该场景描绘了该车辆周围环境的虚拟现实以及关于某些兴趣点的信息。可以基于乘客的兴趣选择性地显示信息。例如，儿童乘客可能对不同于成人乘客的兴趣点感兴趣。
现在参考图2，并继续参考图1A和1B，数据流图示出了根据各项示例性实施例的虚拟现实系统100的虚拟现实模块110。可以理解，根据本发明，该虚拟现实模块110的各种示例性实施例都可以包括任意模块和/或子模块。在各种示例性实施例中，图2中所示的这些模块和子模块可以进行组合和/或进一步分成类似的模块，以提供包括增强现实数据在内的虚拟现实体验。在各种实施例中，该虚拟现实模块110可以全部位于该车辆10上，部分位于该车辆10上以及部分位于该用户显示装置108上，和/或全部位于该用户显示装置108上。在各种实施例中，该虚拟现实模块110从一个或多个摄像机102、从该虚拟现实模块110以内的其他模块(未显示)，从其他控制器(未显示)，和/或从该数据存储装置104接收输入。在各种实施例中，该虚拟现实模块110包括定位模块112、地图匹配模块114、视频拼接模块116、坐标转换模块118、编码模块120、解码模块122、方向转换模块124，以及渲染模块126。为了示例性目的，虚线示出了该车辆10上实现的功能与该用户显示装置108上实现的功能之间的示例性分离。
该定位模块112接收GPS数据130、IMU数据132和摄像机数据134作为输入。该定位模块112参照这些摄像机图像来确定该车辆10的实际位置(x＝{位置,方向,速度})(定位该车辆10)。在各项实施例中，该定位模块112根据扩展卡尔曼滤波(EKF)来定位该车辆10。可以理解，EKF的使用仅仅只是一个例子。应该理解的是，概率推理优化的其他方法，如粒子滤波、图形姿态优化等，以及许多其他替换能够用来解决针对性问题。在一个示例中，该定位模块112将包括IMU数据132(IMU)、GPS数据130(GPS)以及摄像机数据136-146(VO)在内的所有传感器输出融合到EKF，如下所示：
Figure BDA0002075299360000091
在另一个示例中，该定位模块112用多层次方法融合该数据，其中，先将该GPS数据130(GPS)和该IMU数据132(IMU)进行融合，然后将那个融合的输出(VIO)与该摄像机数据136-146(VO)进行融合，如下所示：
Figure BDA0002075299360000092
Figure BDA0002075299360000093
在各种实施例中，该定位模块112根据图形姿态优化法定位该车辆10。例如，该定位模块112用图形姿态优化将该IMU数据132(IMU)、该GPS数据130(GPS)和该摄像机数据136-146(VO)进行融合。
Figure BDA0002075299360000094
在另一个示例中，该定位模块112用多层次方法融合该数据，其中，先将该摄像机数据136-146(VO)和该IMU数据132(IMU)进行融合，然后将那个融合的输出(GPS/IMU)与该GPS数据130进行融合，如下所示：
Figure BDA0002075299360000095
Figure BDA0002075299360000101
该地图匹配模块114接收POI地图148，以及所确定的车辆10的位置。该地图匹配模块114检索位于该车辆10附近的POI信息。例如，该POI信息能够从该车辆10的位置限定的径向接近度来进行检索。在各种实施例中，可以基于车辆10的当前速度来选择所限定的径向接近度。例如，该车辆10行驶的越快，限定的半径越大。在另一个例子中，该车辆10行驶的越慢，限定的半径越小。
该视频拼接模块116从该车辆10的摄像装置102上接收该摄像机数据136-146。该视频拼接模块116拼接该图像数据，以提供该车辆10周围环境的360度视图。该视频拼接模块116基于每个摄像机相对于该车辆10的位置和一个或多个像素成像技术来拼接该图像数据。在各种实施例中，该视频拼接模块116根据特征匹配和随机抽样一致性(RANSAC)方法拼接图像数据。例如，这些图像特征包括Harris角点、ORB特征、SIFT特征和SURF特征。使用具有DLT法的RANSAC方法用来计算单应性。然后，将拼接图像数据投影到球面或者圆柱形表面。
该坐标转换模块118接收该图像数据和相关联的POI信息数据，并将每一个的坐标转换到该用户显示装置108的坐标系中。在各种实施例中，该坐标转换模块118将POI对象从世界坐标系转换到摄像机坐标系。例如，通过使用SLAM方法在该定位模块112中计算拼接摄像机在世界坐标中的位置和方向。从模块114中提取POI对象在世界坐标种的位置。然后该模块118根据该摄像机的内部和外部参数将该世界坐标转换到摄像机坐标。
该编码模块120接受经转换的图像数据和相关联的POI信息数据，并对数据进行编码，以供传输。在各种实施例中，举例来说，编码能够根据WI-FI或者有线通信协议进行。然后，该编码模块120将经编码的数据传输到该用户显示装置108。
该解码模块122接收经编码的数据作为输入，并解码所接收的数据。在各种实施例中，举例来说，解码能够根据WI-FI或者有线通信协议进行。
方向转换模块124接收所解码的数据。方向转换模块124将该图像数据的坐标和相对应的POI信息转换为基于该用户显示装置108的当前方位的坐标。例如，当用户佩戴着该装置108并向左看、向右看、向车辆后方看、向车辆前方看等时，可以相对于所定义的位置来确定该用户显示装置108的方向，并且基于用户正在看的方向来定向所显示的该图像数据。
该渲染模块126接收所定向的数据并渲染该数据以供用户显示装置108显示。
更多细节如图3所示，并继续参考图1A、图1B和图2，根据本发明，流程图阐明示出了由根据本发明的虚拟现实系统100执行的方法400。根据本发明，可以理解，该方法中的操作顺序不限于如图3所示的顺序执行，但是可以根据应用和根据本发明以一个或多个不同顺序进行。在各种实施例中，该方法400可被调度为基于一个或多个预定事件运行，和/或能够在该车辆10的操作期间持续运行。
在一个示例中，该方法可以在405处开始。在410处接收来自摄像装置、IMU以及GPS的传感器数据。例如，基于如上所述的扩展卡尔曼滤波和/或图形姿态优化，该车辆10在420处定位。该车辆10的位置与POI地图上的位置相匹配，并且在430处检索相应的POI信息。拼接该摄像机数据，以便在440处提供360度视角图。然后，将POI地图信息和该摄像机数据在450处转换到该用户装置的坐标系中，并在460处对其进行编码，以供传输。此后，该用户显示装置108在470处接收并解码所接收的数据，并且如上所述，在480处根据该用户显示装置108的方向转换该数据并在490处进行渲染。然后，该方法继续接收传感器数据并处理传感器数据，以便向用户显示增强的虚拟现实内容。以此方式，该方法提供了一种通过向用户显示车辆10当前正在行驶的环境的增强的虚拟现实来娱乐用户的方式。
虽然在前面的详细描述中已经给出了至少一个示例性实施例，但是应当理解，存在大量的变化。还应当理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本发明的范围，适用性或配置。相反，前面的详细描述将向本领域技术人员提供用于实现一个或多个示例性实施例的方便的路线图。应当理解，在不脱离所附权利要求及其合法等同物所阐述的本发明的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种通过提供沉浸式体验来娱乐车辆乘客的方法，包括：
从耦合到所述车辆的多个摄像装置接收图像数据，其中，所述图像数据描绘了所述车辆周围的环境；
接收与所述车辆的环境相关联的兴趣点数据；
通过处理器，利用定位法来融合所述图像数据和所述兴趣点数据；
通过处理器，基于用户装置的位置来定向所述融合图像数据；以及
通过处理器将所述定向的融合数据渲染在所述用户装置的虚拟现实显示器上。
2.根据权利要求1所述的方法，其中，所述融合基于概率优化方法，并且其中所述融合进一步基于惯性测量单元数据、全球定位系统数据以及所述图像数据的融合，以确定所述车辆在第一坐标系中的位置、方向和速度。
3.根据权利要求1所述的方法，其中所述融合基于概率优化方法，并且其中所述融合还基于融合图像数据和惯性测量数据以获得结果并将所述结果与全球定位系统数据融合。
4.根据权利要求1所述的方法，其中，所述融合基于图形姿态优化。
5.根据权利要求4所述的方法，其中，所述融合还基于融合全球定位系统数据和惯性测量单元数据以获得结果并且将所述结果与所述图像数据融合。
6.根据权利要求1所述的方法，其中所述融合是基于图位姿优化和扩展卡尔曼滤波的。
7.根据权利要求1所述的方法，其中，所述融合进一步包括：
将全球定位系统数据、惯性测量单元数据、摄像机数据以及兴趣点数据融合到单坐标系中；以及
将所述融合数据转换到第二坐标系中，其中，所述第二坐标系是所述用户装置中的坐标系。
8.根据权利要求7所述的方法，其中所述定向包含将所述经转换的数据从所述第二坐标系定向到第三坐标系中，其中所述第三坐标系基于所述用户装置的定向。
9.根据权利要求1所述的方法，其中所述兴趣点数据包括相对于所述兴趣点的姓名、标识、地址、联系信息、销售信息、营业时间、历史事实中的至少一个。
10.一种车辆的虚拟现实系统，包括：
多个摄像装置，所述摄像装置被配置为围绕所述车辆分布并感测与所述车辆相关联的环境；以及
控制器，所述控制器配置为通过处理器从耦合到所述车辆的多个摄像装置上接收图像数据，其中所述图像数据描绘所述车辆周围的环境；接收与所述车辆的环境相关联的兴趣点数据；融合所述图像数据和所述兴趣点数据；基于用户装置的位置来定向融合图像数据；以及在用户装置的虚拟现实显示器上渲染定向的融合数据。
CN201910451525.XA 2018-07-12 2019-05-28 用于车载增强虚拟现实系统的系统和方法 Pending CN110717991A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/034045 2018-07-12
US16/034,045 US20200020143A1 (en) 2018-07-12 2018-07-12 Systems and methods for in-vehicle augmented virtual reality system

Publications (1)

Publication Number Publication Date
CN110717991A true CN110717991A (zh) 2020-01-21

Family

ID=69139571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910451525.XA Pending CN110717991A (zh) 2018-07-12 2019-05-28 用于车载增强虚拟现实系统的系统和方法

Country Status (3)

Country Link
US (1) US20200020143A1 (zh)
CN (1) CN110717991A (zh)
DE (1) DE102019113706A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448322A (zh) * 2020-03-26 2021-09-28 宝马股份公司 用于车辆的远程操作方法和系统以及存储介质和电子设备
CN115035239A (zh) * 2022-05-11 2022-09-09 北京宾理信息科技有限公司 用于构建虚拟环境的方法、装置、计算机设备及车辆
CN115857693A (zh) * 2022-12-08 2023-03-28 小象智能(深圳)有限公司 一种xr设备应用于移动载具的方法及系统
WO2024065799A1 (en) * 2022-09-30 2024-04-04 Intel Corporation Vehicle passenger display modification

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6772944B2 (ja) 2017-04-19 2020-10-21 トヨタ自動車株式会社 自動運転システム
CN113836249B (zh) * 2021-09-02 2024-03-19 深圳市慧鲤科技有限公司 地图信息点的管理方法和相关装置、设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180040163A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
US20180136660A1 (en) * 2016-11-17 2018-05-17 GM Global Technology Operations LLC Automated Co-Pilot Control For Autonomous Vehicles

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150262428A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
US20190086227A1 (en) * 2014-12-15 2019-03-21 Nokia Technologies Oy A Method, Apparatus, Computer Program for Providing Point of Interest Invitations
KR20170030763A (ko) * 2015-09-10 2017-03-20 현대자동차주식회사 교차로 안내 방법, 내비게이션 서버, 내비게이션 단말, 및 이들을 포함하는 내비게이션 시스템
US10724874B2 (en) * 2015-10-13 2020-07-28 Here Global B.V. Virtual reality environment responsive to predictive route navigation
US10257582B2 (en) * 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180040163A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
US20180136660A1 (en) * 2016-11-17 2018-05-17 GM Global Technology Operations LLC Automated Co-Pilot Control For Autonomous Vehicles

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448322A (zh) * 2020-03-26 2021-09-28 宝马股份公司 用于车辆的远程操作方法和系统以及存储介质和电子设备
CN115035239A (zh) * 2022-05-11 2022-09-09 北京宾理信息科技有限公司 用于构建虚拟环境的方法、装置、计算机设备及车辆
WO2024065799A1 (en) * 2022-09-30 2024-04-04 Intel Corporation Vehicle passenger display modification
CN115857693A (zh) * 2022-12-08 2023-03-28 小象智能(深圳)有限公司 一种xr设备应用于移动载具的方法及系统

Also Published As

Publication number Publication date
DE102019113706A1 (de) 2020-01-16
US20200020143A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110717991A (zh) 用于车载增强虚拟现实系统的系统和方法
US11079753B1 (en) Self-driving vehicle with remote user supervision and temporary override
KR101844885B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
CN107914713B (zh) 车辆用显示装置及包括其的车辆
KR101732983B1 (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
US10614617B2 (en) Systems and methods for driver assistance
US9712791B2 (en) Around view provision apparatus and vehicle including the same
CN110177723B (zh) 用于提供周围视野的装置
JP7123207B2 (ja) 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
KR20160142167A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
CN107599966A (zh) 将车辆中平视显示器的驾驶员注意力分散最小化的系统和方法
KR101790426B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
US20200250854A1 (en) Information processing apparatus, information processing method, program, and moving body
WO2019167672A1 (en) On-chip compensation of rolling shutter effect in imaging sensor for vehicles
US20160023602A1 (en) System and method for controling the operation of a wearable computing device based on one or more transmission modes of a vehicle
CN110291773B (zh) 信息处理装置、信息处理方法和成像装置
US20230095988A1 (en) Systems and methods for performing commands in a vehicle using speech and image recognition
CN113168691A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
WO2017131814A1 (en) Apparatus and method for exchanging and displaying data between electronic eyewear, vehicles and other devices
US20230215196A1 (en) Information processing apparatus, information processing method, and program
US10703374B2 (en) Vehicle driving assisting apparatus and vehicle comprising same
KR102533246B1 (ko) 항법 장치 및 이를 포함하는 차량 운전 보조장치
KR101980547B1 (ko) 차량 운전 보조 장치 및 차량
US11798240B2 (en) System and method for social networking using an augmented reality display
US11748936B2 (en) Using epipolar reprojection for virtual view perspective change

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination