CN114063295A - 增强现实图像的动态调整 - Google Patents

增强现实图像的动态调整 Download PDF

Info

Publication number
CN114063295A
CN114063295A CN202110497654.XA CN202110497654A CN114063295A CN 114063295 A CN114063295 A CN 114063295A CN 202110497654 A CN202110497654 A CN 202110497654A CN 114063295 A CN114063295 A CN 114063295A
Authority
CN
China
Prior art keywords
image
vehicle
processor
augmented reality
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110497654.XA
Other languages
English (en)
Inventor
M.巴尔塔克斯
D.利维
O.齐姆霍尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN114063295A publication Critical patent/CN114063295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Instrument Panels (AREA)

Abstract

一种调整增强现实(AR)图像的系统和方法，涉及车辆中的前向摄像机。摄像机获取包括车辆前方路面的图像。该系统还包括处理器，用于在三维中检测路面的车道线，使用车道线执行插值以确定路面的地平面，并且调整AR图像以获得调整后的AR图像，使得调整后的AR图像的所有点与地平面上的点对应。

Description

增强现实图像的动态调整
技术领域
本发明涉及增强现实图像的动态调整。
背景技术
车辆(如汽车、卡车、建筑设备、农场设备)越来越多地用于获取有关车辆及其周围环境的信息，并向车内人员提供信息。示例性接口包括信息娱乐系统和抬头显示器(HUD，也称平视显示器)。信息娱乐系统可包括显示器，以显示由车辆的摄像机获得的地图或图像。例如，HUD将图像投影到车辆挡风玻璃上。增强现实(AR)图像是指增强真实世界图像的图像。例如，可以使用箭头的AR图像来增强由车辆前部的摄像机获得的前方道路的图像，以指示即将到来的转弯。作为另一个例子，代替显示速度或其他数据，HUD可以投射AR图像，增强驾驶员透过挡风玻璃看到的内容。道路动态或车辆与外界相对方向的其他变化源可能会导致AR图像显示在错误的位置(例如，指示方向的箭头在摄像机图像中投影到路边，而不是道路上)。因此，期望提供AR图像的动态调整。
发明内容
在一个示例性实施例中，用于调整增强现实(AR)图像的系统包括车辆中的前置摄像机，以获得包括车辆前方路面的图像。该系统还包括处理器，用于在三维中检测路面的车道线，使用车道线执行插值以确定路面的地平面，并且调整AR图像以获得调整后的AR图像，从而使得调整后的AR图像的所有点与地平面上的点对应。
除了本文描述的一个或多个特征之外，处理器还获得显示路面的基础图像。
除了本文所述的一个或多个特征之外，处理器还将调整后的AR图像添加到基础图像中，以显示给车辆驾驶员。
除了本文所述的一个或多个特征之外，处理器还从摄像机机或车辆中的第二前置摄像机获得基础图像。
除了本文描述的一个或多个特征外，处理器还监视车辆驾驶员的眼睛位置。
除了本文描述的一个或多个特征外，处理器还确定车辆挡风玻璃上的平视显示区域，以与驾驶员的眼睛位置相对应。
除了本文描述的一个或多个特征之外，处理器在平视显示区域中投影调整后的AR图像。
除了本文描述的一个或多个特征之外，处理器基于地平面上的点的旋转和平移来调整AR图像。
除了本文描述的一个或多个特征外，处理器还从图像中检测车辆正前方路面上的物体。
除了本文描述的一个或多个特征之外，处理器基于车辆和物体位置之间的路面选择或创建调整后的AR图像大小。
在另一个示例性实施例中，调整增强现实(AR)图像的方法包括从车辆中的前置摄像机获取图像，该图像包括车辆前方的路面。该方法还包括在三维中检测路面的车道线，并使用车道线执行插值以确定路面的地平面。调整AR图像以获得经调整的AR图像，从而使得经调整的AR图像的所有点对应于地平面上的点。
除了本文描述的一个或多个特征外，该方法还包括获得显示路面的基础图像。
除了本文所述的一个或多个特征之外，该方法还包括处理器将调整后的AR图像添加到基础图像中以显示给车辆驾驶员。
除了本文所述的一个或多个特征之外，获取基础图像的方法是从车辆中的摄像机或第二前置摄像机获取。
除了本文描述的一个或多个特征之外，该方法还包括处理器监控车辆驾驶员的眼睛位置。
除了本文描述的一个或多个特征外，该方法还包括处理器确定车辆挡风玻璃上的平视显示区域，以与驾驶员的眼睛位置相对应。
除了本文描述的一个或多个特征之外，该方法还包括处理器在平视显示区域中投影调整后的AR图像。
除了本文描述的一个或多个特征之外，AR图像的调整基于地平面上的点的旋转和平移。
除了本文描述的一个或多个特征外，该方法还包括处理器从图像中检测车辆正前方路面上的物体。
除了本文描述的一个或多个特征外，该方法还包括处理器基于车辆和物体位置之间的路面选择或创建调整后的AR图像大小。
上述特征和优点以及本发明的其他特征和优点在结合附图进行以下详细描述时显而易见。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，其中：
图1是根据一个或多个实施例的执行增强现实(AR)图像的动态调整的车辆的框图；
图2示出了根据一个或多个实施例的AR图像的调整；
图3示出了根据一个或多个实施例执行AR图像的动态调整的车辆；
图4是根据各种实施例的执行AR图像的动态调整的方法的处理流程；
图5示出了根据一个或多个实施例的提取道路几何以动态调整AR图像的方面；
图6示出了调整作为平视显示器显示的AR图像所涉及的操作；
图7示出了调整在基础图像上显示的AR图像所涉及的操作；以及
图8示出了根据一个或多个实施例将地平面划分为子平面以提高AR图像的调整效率。
具体实施方式
以下描述仅为示例性描述，并不旨在限制本发明及其应用或用途。应当理解，在附图中，相应的附图标记表示相似或相应的部件和特征。
如前所述，AR图像可以添加到真实世界的图像中(例如，由车辆摄像机获得并由信息娱乐系统显示)，或者可以投影到真实世界的视图中(例如，以HUD的形式)。本文详述的系统和方法的实施例涉及AR图像的动态调整。驾驶时，AR图像可显示在路面或其他道路特征上。如前所述，由于车辆相对于路面的相对方向的改变，AR图像可能出现在真实世界图像或真实世界视图的错误位置。如果前面的路不平坦，就会发生这种情况。即使道路平坦，当车辆具有倾斜角度(例如，由于后备箱中的重载)时，相对方向也会发生变化。车辆相对于道路位置的变化也可能导致此问题。最后，视野中的其他车辆或物体可能需要改变AR符号的位置或其他方面。
解决相对定向问题的先前方法包括事先创建准确的地形图。然后，通过精确的车辆定位和倾斜度，可以知道车辆在给定位置相对于路面的方向。但是，这需要在所有可能的地形上行驶才能获得地形图。此外，还需要传感器来获取定位和倾斜信息。此外，这种方法不能实时处理其他车辆或物体的存在。另一种先前的方法包括使用三维传感器，例如光探测和测距(lidar)系统。然而，光探测和测距(lidar)系统通常不适用于车辆，并且光探测和测距(lidar)系统获得的数据处理通常比其他传感器(例如摄像机、雷达系统)获得的数据处理更为处理器密集。
根据本文详述的一个或多个实施例，来自单个摄像机的单个图像用于获取关于路段的道路几何或结构的信息。摄像机可以是车辆中已普遍提供的前置摄像机。另外还介绍了减少滞后和提高精度的技术。根据示例性实施例，为摄像机捕捉的即将到来的路段确定道路几何结构。根据另一示例性实施例，可以将一大片道路划分为多个分段，以便更准确地确定每个分段的道路几何结构。
根据示例性实施例，图1是执行AR图像210(图2)的动态调整的车辆100的框图。图1所示的示例性车辆100是汽车101。车道线150示出在显示车辆100所在道路160上。车辆100包括控制器110，其执行如本文详述的AR图像210的动态调整。控制器110还可以执行车辆100的电子控制单元(ECU)的功能或与ECU通信。ECU的示例性功能可以包括半自主动作，例如自动制动和自适应巡航控制。控制器110包括处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路，和/或提供所述功能的其他合适组件。示出了三个非限制性示例性前向摄像机120a、120b、120c(通常称为120)。
例如，控制器110可以从摄像机120b获取车辆100前方道路160的图像220(图2)，以执行AR图像210的动态调整。其他摄像机120a、120c中的一个或摄像机120b本身可以提供图像220(为了说明目的被称为基础图像225(图2))，AR图像210被添加到该图像220以创建完整图像230(图2)。也就是说，获得用于确定道路160的几何形状以便于AR图像210的调整的图像220的摄像机120可以是但不必是获得由AR图像210增强以创建完整图像230的基础图像225的相同摄像机120。当使用不同的摄像机120时，必须考虑车辆100中的两个摄像机120的相对位置，以确保基于来自一个摄像机120的一个图像220调整的AR图像210被添加到由另一个摄像机120获得的基础图像225中的正确位置。图1所示的摄像机120的数量和位置只是一个示例。在替代实施例中，可使用位于别处的另一摄像机120来执行AR图像210的动态调整，该摄像机120获得车辆100前面的道路160的图像220。
HUD区域130显示在车辆100的挡风玻璃135上。HUD区域130对应于驾驶员330(图3)的眼睛310(图3)的位置，以使得在HUD区域130中投影的图像将对驾驶员330是可见的。因为眼睛310的位置移动，所以挡风玻璃135上的HUD区域130的位置基于眼睛310的监视而移动。根据图1中的视图，信息娱乐系统140显示在车辆100的仪表板中，在挡风玻璃135下方。信息娱乐系统140包括显示器145，其可显示由摄像机120其中之一所获得的基础图像225以及根据一个或多个实施例调整的AR图像210。根据替代实施例，基础图像225和调整后的AR图像210(即，完整图像230)可以显示在以有线或无线方式连接到控制器110的平板或电话或任何设备115上。如图所示，设备115可以位于车辆100内部，也可以位于车辆100外部。在图2中示出了AR图像210的示例性调整。
图2示出了根据一个或多个实施例的AR图像210的调整。继续参考图1。示出两个完整图像230a、230b(通常称为230)。完整图像230可以指的是在HUD区域130中具有投影在其上的AR图像210的道路160的真实世界视图。根据图2所示的示例性情况，完整图像230可替代地参考道路160的基础图像225，其中AR图像210被添加并显示在信息娱乐系统140的显示器145或另一设备(例如，平板电脑、电话)的屏幕上。如前所述，可以使用通过摄像机120中的任何一个获得的图像220来确定道路几何结构。如还注意到的，可以将使用摄像机120中的任何一个获得的图像220用作基础图像225，AR图像210被添加到该基础图像225以创建完整图像230。完整图像230a示出道路160升高(即，在车辆100前面的道路160的高度的增加)然后变平，并且在不考虑该标高变化的任何调整的情况下，AR图像210a错位。如完整图像230a所示，箭头的AR图像210a看起来高于道路160，而不是完全投影在道路160的表面上。
完整图像230b显示了车辆100前方的同一条道路160。然而，如图2所示，从AR图像210a调整为AR图像210b，使得其完全出现在道路160的表面上。出于解释目的，道路160的表面被具体地讨论为AR图像210的投影的目标。例如，车辆100朝向道路160的方向的改变也可以影响AR图像210在靠近道路160的路标或另一位置上的放置。如参考图4进一步讨论的，相对方向的确定涉及确定道路160的几何形状。
图3示出了根据一个或多个实施例执行AR图像210的动态调整的车辆100。车辆100的侧视图显示在车道线150之间。在图3所示的示例性情况中，AR图像210显示在挡风玻璃135的HUD区域130中。因此，在这种情况下，不存在向其添加AR图像210的基础图像225。相反，挡风玻璃135的HUD区域130中的AR图像210直接出现在道路160的真实视图上。图3示出前方道路160上的对象320(例如，另一车辆100)。除了道路几何，在调整AR图像210时还必须考虑该另一对象320，如参考图4进一步讨论的。为了使AR图像210出现在正确的位置，挡风玻璃135的HUD区域130与驾驶员眼睛310的位置相对应，通过使用已知的头部和眼睛跟踪过程跟踪驾驶员330的一只或两只眼睛310的位置来定位驾驶员的眼睛位置来确定。与获得图像220的摄像机120不同，眼睛310不可能保持在相对于车辆100的一个位置。因此，基于道路160的几何形状调整AR图像210还包括眼睛310的运动的实时跟踪，如参考图4和6所讨论的那样。
图4是根据各种实施例的执行AR图像210的动态调整的方法400的处理流程。例如，处理流程可以由控制器110执行。在方框410，获得图像220指例如使用图1所示的一个前置摄像机120获得车辆100前面的道路160的图像。在方框420，参考图5进一步讨论提取道路几何。确定地平面PG的坐标系
Figure BDA0003053790560000061
在方框420处，除了道路几何图形之外，还获得关于道路160上的对象320(例如，其他车辆100)的信息。当AR图像210应该投影在道路160的表面上时，该信息用于避免将AR图像210投影到对象320上。
在方框430，选择AR图像210指的是从预定义图像中选择图像或创建图像。在方框420处提取的道路几何信息和获得的对象320信息可以影响AR图像210的创建或选择。例如，如果在车辆100正前方有物体320(例如，另一车辆100)，则AR图像210投影到的道路160的表面的尺寸可以减小，从而可以限制被创建或被选择的AR图像210的大小。
在方框440，单应性(homography)用于将在方框430处选择的AR图像210投影到基础图像225或HUD区域130的正确位置。单应性将两幅图像中的像素坐标联系起来。因此，同一平面上的任意两个图像通过单应性相关联。具体地，在方框440处确定两个视点之间的旋转和平移，一个视点垂直于地平面PG(即鸟瞰视图)，另一个视点是创建基础图像225的摄像机的视点或驾驶员的视点，如进一步详述的那样。在方框440处的处理要求从框450获得由监视眼睛310或获得基础图像225产生的信息。那么，在现实世界中的一个点
Figure BDA0003053790560000071
投影到HUD区域130或在真实世界中的一个点
Figure BDA0003053790560000072
投影到获得基础图像225的摄像机120的坐标系。在方框440处的该处理是AR图像210的调整，其考虑车辆100相对于道路160的相对取向，并且参考图6和图7详细说明。在方框460，显示完整图像230包括在HUD区域130中投影调整后的AR图像210或在显示器145中或在设备115的屏幕上提供具有基础图像225的经过调整后的AR图像210。
图5示出了根据一个或多个实施例的在方框420(图4)提取道路几何以在方框440处动态调整AR图像的方面。在方框410处获得的来自其中一个前置摄像机120的单个图像220用于在三维中检测图像220中的车道线150。在获得图像220的摄像机120的坐标系中获得三维车道检测是已知的，在这里不再详细描述。根据一个实例，在第16/807735号美国申请中描述了该过程。基于获得与车道线150对应的三维点，使用插值来确定在由车道线150定义的道路160上的三维点
Figure BDA0003053790560000081
(例如，参见图1)。具体来说，在摄像机120的坐标系中从点的两个维度
Figure BDA0003053790560000082
点
Figure BDA0003053790560000083
的第三维度通过插值计算道路160的标高。给定点
Figure BDA0003053790560000084
的两个维度(例如，道路160表面上车道线150之间的点)，找到车道线150中最近的点，并计算加权标高Qz的插值数值。其中{P}是车道线150到在X，Y平面(如图5所示)中的
Figure BDA0003053790560000085
的最近点的集合，
Figure BDA0003053790560000086
均标高由以下公式给出：
Figure BDA0003053790560000087
在公式1中，如所示，
Figure BDA00030537905600000816
是集合{P}中的一个点，并且函数d给出了该点
Figure BDA0003053790560000088
和点
Figure BDA0003053790560000089
之间的二维欧氏距离。函数d由下式给出：
Figure BDA00030537905600000810
图6和图7示出了基于车辆100相对于道路160的相对方向(假设AR图像210投影到道路160或道路160的基础图像225上)来调整AR图像210所使用的因素。具体地，AR图像210的调整涉及将在现实世界中(即在道路160上)的点
Figure BDA00030537905600000811
投影到在HUD区域130中的点
Figure BDA00030537905600000812
如图6所示，或者到在获得基础图像225的摄像机120的坐标系中的点
Figure BDA00030537905600000813
如图7所示。在图6和图7中，示出车道线150以及示出具有作为示例性调整AR图像210投影的箭头的地平面PG和地面的坐标系
Figure BDA00030537905600000814
(即，道路160)。示出了在地平面PG上的示范点
Figure BDA00030537905600000815
在图6中，示出车辆100中的驾驶员330的眼睛310的位置
Figure BDA0003053790560000091
如HUD区域130。HUD区域平面PH和坐标系
Figure BDA0003053790560000092
与在HUD区域130的示例点
Figure BDA0003053790560000093
一起示出。驾驶员330的眼睛310的位置
Figure BDA0003053790560000094
到点
Figure BDA0003053790560000095
均距离也表示为
Figure BDA0003053790560000096
在现实世界中点
Figure BDA0003053790560000097
的旋转R与平移
Figure BDA0003053790560000098
(即在道路160上)提供了在HUD区域130中相应的点
Figure BDA0003053790560000099
特别地，
Figure BDA00030537905600000910
当公式3用于调整在HUD区域130中显示的AR图像210时，f是由在HUD区域平面PH和驾驶员330的眼睛310的位置
Figure BDA00030537905600000911
之间的fx和fy给出的平面距离或二维距离，如图6所示。另外，c是眼睛310和HUD区域130的中心之间的具有分量cx和cy的二维距离，如图6所示。
在图7中，示出获得基础图像225的摄像机120的焦点120-fp的位置
Figure BDA00030537905600000912
还显示了摄像机平面PC和坐标系
Figure BDA00030537905600000913
以及在摄像机120的坐标系
Figure BDA00030537905600000914
中的示范点
Figure BDA00030537905600000915
还示出了具有分量fx和fy的焦距f和具有分量cx和cy的主点c。然后，公式3可用于确定对于摄像机的坐标系
Figure BDA00030537905600000916
中的调整后的AR图像210的点
Figure BDA00030537905600000917
以将AR图像210添加到基础图像225的正确部分。
根据示例性实施例，调整AR图像210的过程可以更有效。作为效率的一个示例，如果在车辆100的前面的更远处获得图像220，则在方框440的处理之前执行方框420的处理。具体地，可以执行预计算：
Figure BDA00030537905600000918
例如，在显示器145的示例性情况下，A涉及道路160相对于视点的估计的旋转和平移
Figure BDA0003053790560000101
从该视点道路160的基础图像225将被捕获(当车辆100更接近由图像220获得的区域时)并且在该视点将显示AR图像210。然后，在AR图像210的显示时，可以确认估计的姿态A是否在指定的阈值内与车辆100前面的当前姿态匹配。如果是这样，计算的第二部分可以如下执行：
Figure BDA0003053790560000102
这样，可以减少与方法400的处理相关联的滞后时间。图8示出了可单独地或结合使用公式4和公式5所引入的另一效率。图4所示的方法400在公式4和公式5中实现。
图8示出了根据一个或多个实施例将地平面PG划分为子平面810以提高AR图像210的调整效率。如图8所示，示例性地平面PG包括导致四个子平面810-1、810-2、810-3、810-4(通常称为810)的三个标高变化。在图8中，三个区域820被指示为子平面810的过渡点。这些区域820中的每一个在方框420处确定的车道线150的三维表示中表现出超过阈值的曲率或标高梯度的变化。通过在方框440处使用子平面810而不是全地平面PG，计算并使用一小组同形图(每个子平面810一个)来调整AR图像210。与完整地平面PG的单个单应性相比，这减少了投影误差和可行的计算工作量。虽然使用完整地平面PG时计算每个点的单个投影将是准确的，但在计算上是不可行的。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变，并且可以用等效物代替其元件。此外，在不脱离本发明的基本范围的情况下，可以作出许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是包括在其范围内的所有实施例。

Claims (10)

1.一种调整增强现实图像的系统，该系统包括:
车辆中的前置摄像机，该摄像机被配置成获得包括车辆前方的路面的图像；和
处理器，其被配置为在三维中检测道路表面的车道线，使用车道线执行插值以确定道路表面的地平面，并且调整增强现实图像以获得调整后的增强现实图像，从而使得调整后的增强现实图像的所有点与地平面上的点相对应。
2.根据权利要求1所述的系统，其中，所述处理器还被配置为获得示出所述道路表面的基础图像，其中，所述处理器还被配置为将所述调整后的增强现实图像添加到所述基础图像以显示给所述车辆的驾驶员，并且所述处理器从所述车辆中的所述摄像机或第二前置摄像机获得所述基础图像。
3.根据权利要求1所述的系统，其中，所述处理器还被配置为监控车辆的驾驶员的眼睛位置，所述处理器还被配置为确定车辆挡风玻璃上的平视显示区域以对应于驾驶员的眼睛位置，并且所述处理器还被配置为在平视显示区域中投影调整后的增强现实图像。
4.根据权利要求1所述的系统，其中所述处理器被配置为基于所述地平面上的点的旋转和平移来调整所述增强现实图像。
5.根据权利要求1所述的系统，其中，所述处理器还被配置为从所述图像中检测所述车辆正前方的道路表面上的物体，并且所述处理器被配置为基于所述车辆和所述物体的位置之间的道路表面来选择或创建调整后的增强现实图像尺寸。
6.一种调整增强现实图像的方法，该方法包括:
由处理器从车辆中的前向摄像机获得图像，该图像包括车辆前方的道路表面；
由处理器检测在三维中道路表面的车道线；
由处理器使用车道线执行插值以确定道路表面的地平面；和
由所述处理器调整所述增强现实图像以获得经调整的增强现实图像，从而使得所述经调整的增强现实图像的所有点与所述地平面上的点相对应。
7.根据权利要求6所述的方法，还包括由所述处理器获得显示所述道路表面的基础图像，并且所述处理器将所述调整后的增强现实图像添加到所述基础图像以显示给所述车辆的驾驶员，其中获得所述基础图像来自所述车辆中的所述摄像机或第二前置摄像机。
8.根据权利要求6所述的方法，还包括所述处理器监控所述车辆的驾驶员的眼睛位置，确定所述车辆的挡风玻璃上的平视显示区域以对应于所述驾驶员的眼睛位置，并且在所述平视显示区域中投影所述调整的增强现实图像。
9.根据权利要求6所述的方法，其中所述调整增强现实图像是基于所述地平面上的点的旋转和平移。
10.根据权利要求6所述的方法，还包括所述处理器从所述图像中检测所述车辆正前方的道路表面上的物体，并基于所述车辆和所述物体的位置之间的道路表面来选择或创建所述调整后的增强现实图像尺寸。
CN202110497654.XA 2020-08-05 2021-05-07 增强现实图像的动态调整 Pending CN114063295A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/985,377 US11562576B2 (en) 2020-08-05 2020-08-05 Dynamic adjustment of augmented reality image
US16/985,377 2020-08-05

Publications (1)

Publication Number Publication Date
CN114063295A true CN114063295A (zh) 2022-02-18

Family

ID=79686131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110497654.XA Pending CN114063295A (zh) 2020-08-05 2021-05-07 增强现实图像的动态调整

Country Status (3)

Country Link
US (1) US11562576B2 (zh)
CN (1) CN114063295A (zh)
DE (1) DE102021110477A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11630302B1 (en) 2022-04-06 2023-04-18 GM Global Technology Operations LLC Driving guidance system for a motor vehicle having an augmented reality head up display
US11915395B2 (en) 2022-07-20 2024-02-27 GM Global Technology Operations LLC Holographic display system for a motor vehicle with real-time reduction of graphics speckle noise
US11654771B1 (en) 2022-07-20 2023-05-23 GM Global Technology Operations LLC Multi-view display device for a co-pilot application of a motor vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301813A1 (en) * 2010-06-07 2011-12-08 Denso International America, Inc. Customizable virtual lane mark display
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
DE102013220303A1 (de) * 2013-10-08 2015-04-09 Ford Global Technologies, Llc Verfahren zum Ermitteln einer relativen Fahrbahnsteigung
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
WO2018193708A1 (ja) * 2017-04-19 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
US10168174B2 (en) * 2017-05-09 2019-01-01 Toyota Jidosha Kabushiki Kaisha Augmented reality for vehicle lane guidance
JP6626069B2 (ja) * 2017-11-10 2019-12-25 矢崎総業株式会社 車両用表示装置
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
DE102018203462A1 (de) * 2018-03-07 2019-09-12 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
KR20200036335A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 차로를 결정하는 방법 및 장치
CN109624851B (zh) * 2018-11-23 2022-04-19 深圳市航盛电子股份有限公司 基于增强现实的辅助驾驶方法、系统及可读存储介质
US11518384B2 (en) * 2018-12-07 2022-12-06 Thinkware Corporation Method for displaying lane information and apparatus for executing the method

Also Published As

Publication number Publication date
US11562576B2 (en) 2023-01-24
DE102021110477A1 (de) 2022-02-10
US20220044032A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US10179588B2 (en) Autonomous vehicle control system
CN114063295A (zh) 增强现实图像的动态调整
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
CN103885573B (zh) 车用显示系统的自动校正方法及其系统
JP5011049B2 (ja) 画像処理システム
US20130321629A1 (en) Dynamic guideline overlay with image cropping
US11287879B2 (en) Display control device, display control method, and program for display based on travel conditions
US11518390B2 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
US11288833B2 (en) Distance estimation apparatus and operating method thereof
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
JP2018058544A (ja) 車載表示制御装置
KR20080024772A (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
CN103502876A (zh) 用于校正车辆的投影装置的方法和设备
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
JP2020125033A (ja) 表示制御装置および表示制御プログラム
CN115705780A (zh) 关联被感知和映射的车道边缘以进行定位
US11580695B2 (en) Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
CN113165510A (zh) 显示控制装置、方法和计算机程序
US20220219537A1 (en) Method for Operating a Motor Vehicle
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP7436331B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination