CN105676452B - 用于车辆的增强现实hud显示方法和装置 - Google Patents

用于车辆的增强现实hud显示方法和装置 Download PDF

Info

Publication number
CN105676452B
CN105676452B CN201510665017.3A CN201510665017A CN105676452B CN 105676452 B CN105676452 B CN 105676452B CN 201510665017 A CN201510665017 A CN 201510665017A CN 105676452 B CN105676452 B CN 105676452B
Authority
CN
China
Prior art keywords
augmented reality
hud
displaing coordinate
eyes
reality hud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510665017.3A
Other languages
English (en)
Other versions
CN105676452A (zh
Inventor
金圣云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Modern Auto Co Ltd
Original Assignee
Modern Auto Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Modern Auto Co Ltd filed Critical Modern Auto Co Ltd
Publication of CN105676452A publication Critical patent/CN105676452A/zh
Application granted granted Critical
Publication of CN105676452B publication Critical patent/CN105676452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Instrument Panels (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

车辆的增强现实HUD显示方法包括:检测车辆驾驶者正在观察的车辆外部物体位置;当驾驶者正在观察显示在车辆挡风玻璃上的外部物体信息时检测驾驶者眼睛的位置;基于检测到的物体位置抽取物体的增强现实HUD显示坐标并基于检测到的眼睛位置抽取眼睛的增强现实HUD显示坐标;利用物体的增强现实HUD显示坐标的误差纠正参数和眼睛的增强现实HUD显示坐标的误差纠正参数纠正物体的增强现实HUD显示坐标中的一个或多个误差和眼睛的增强现实HUD显示坐标中的一个或多个误差,误差纠正参数彼此不同;接收经纠正的物体的增强现实HUD显示坐标和经纠正的眼睛的增强现实HUD显示坐标;和基于接收到的经纠正的增强现实HUD显示坐标在挡风玻璃上显示外部物体的增强现实HUD显示图形。

Description

用于车辆的增强现实HUD显示方法和装置
技术领域
本发明总的来说涉及一种用于车辆的增强现实的平视显示器(HUD)的相关技术,本发明更具体涉及一种用于车辆的增强现实HUD显示方法和装置,其可使HUD上的增强现实HUD图形的感知误差最小。
背景技术
平视显示器(HUD)通常使用在车辆中,用于将信息投射到驾驶者的眼睛。HUD是前显示装置,被设计成在车辆的前窗(即挡风玻璃)上呈现车辆的行驶信息。换言之,HUD装置产生并显示虚像,以使驾驶者看到诸如速度、燃油水平、温度、警告、方向等各种类型的信息,这些信息过去通常显示在车辆的仪表群上。
HUD最初是使用在飞行器上,为飞行员提供增大的视野。目前,HUD已开始使用在车辆中,为了在驾驶时显示驾驶信息,并减少因驾驶者的目光从道路离开而造成的事故。例如,通过使用平视显示器装置,驾驶者可以使其注意力集中在前方(即,朝向道路),从而减小事故风险。某些HUD装置还提供夜视功能,使驾驶者能够在黑暗中识别前方物体,同时显示来源于仪表群的信息。
因此,HUD可以是一种通过显示与车辆操作有关的信息的图像来呈现信息,而无需驾驶者在驾驶时将其注意力从前方道路转移的装置。通常,HUD通过插入到前方挡风玻璃中的屏幕胶片来实现,以减少驾驶者的眼睛移动。这种HUD可包括用于产生图像的图像源(例如液晶显示器(LCD));光学系统,形成从图像源产生并投射的图像;以及用于驾驶者控制的接口。应该以离开挡风玻璃的最佳距离、有效的焦距,从图像源投射图像。
用于车辆的HUD能够在前挡风玻璃上显示来源于仪表群的信息,例如车速、英里数、每分钟转数(RPM)等,使得驾驶者能够在驾驶时容易地获得驾驶信息。此外,当车辆停下来或者驾驶者将车辆从停车到换档时,HUD通过将车辆的各种内部系统的信息表达成图像,将虚像显示在挡风玻璃上。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解,因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
本发明致力于提供一种用于车辆的增强现实HUD显示方法和装置,其可使车辆驾驶者或用户所感知的增强现实HUD图形的感知误差最小。
本发明的具体实施方式提供一种用于车辆的增强现实平视显示器(HUD)显示方法,该方法包括以下步骤:检测车辆的驾驶者正在观察的车辆的外部物体的位置;当驾驶者正在观察显示在车辆的挡风玻璃上的外部物体信息时,检测驾驶者的眼睛的位置;基于检测到的物体位置抽取物体的增强现实HUD显示坐标,并基于检测到的眼睛位置抽取眼睛的增强现实HUD显示坐标;利用物体的增强现实HUD显示坐标的误差纠正参数,以及眼睛的增强现实HUD显示坐标的误差纠正参数,来纠正物体的增强现实HUD显示坐标中的一个或多个误差和眼睛的增强现实HUD显示坐标中的一个或多个误差,其中误差纠正参数彼此不同;接收经纠正的物体的增强现实HUD显示坐标,以及经纠正的眼睛的增强现实HUD显示坐标;以及基于接收到的经纠正的增强现实HUD显示坐标,在挡风玻璃上显示外部物体的增强现实HUD图形。
纠正一个或多个误差的步骤可包括:检测车辆外部的多个物体的位置;设置第一纠正参数,用于纠正多个物体的第一物体的增强现实HUD显示坐标中的一个或多个误差,以及当驾驶者正在观察第一物体时眼睛的增强现实HUD显示坐标中的一个或多个误差;以及设置第二纠正参数,用于纠正多个物体中的第二物体的增强现实HUD显示坐标中以及在驾驶者正在观察第二物体时眼睛的增强现实HUD显示坐标的一个或多个误差。其中第一物体可以是离开驾驶者眼睛第一距离的外部物体,第二物体是离开驾驶者眼睛第二距离的外部物体,其中第二距离小于第一距离,并且第二纠正参数的误差纠正值被设置成小于第一纠正参数的误差纠正值。
该方法还可包括以下步骤:利用雷达传感器或激光雷达传感器检测物体的位置。该方法还可包括以下步骤:利用相机检测眼睛的位置。
纠正一个或多个误差的步骤包括:对物体的增强现实HUD显示坐标中一个或多个误差和眼睛的增强现实HUD显示坐标中的一个或多个误差进行低通滤波。被提供作为用于低通滤波的第一纠正参数的截止频率低于作为用于低通滤波的第二纠正参数的截止频率。
与外部物体信息相对应的HUD显示信息包括物体的速度信息或物体的导航信息。该导航信息可包括逐圈监测(TBT)信息。
此外,根据本发明实施方式的一种用于车辆的增强现实HUD显示装置,该装置包括:物体检测传感器,用于检测车辆的驾驶者正在观察的车辆外部物体的位置;眼睛位置检测器,用于检测当驾驶者正在观察显示在车辆的挡风玻璃上的外部物体信息时驾驶者的眼睛的位置;增强现实显示坐标抽取器,基于检测到的物体位置来抽取增强现实HUD显示坐标,以及基于检测到的眼睛位置来抽取眼睛的增强现实HUD显示坐标;误差纠正模块,利用物体的增强现实HUD显示坐标的误差纠正参数以及眼睛的增强现实HUD显示坐标的误差纠正参数,来纠正物体的增强现实HUD显示坐标中的一个或多个误差,以及眼睛的增强现实HUD显示坐标中的一个或多个误差,其中误差纠正参数彼此不同;以及图形显示单元,从误差纠正模块接收经纠正的物体的增强现实HUD显示坐标以及经纠正的眼睛的增强现实HUD显示坐标,并基于所接收到的经纠正的增强现实HUD显示坐标,在挡风玻璃上显示外部物体信息的增强现实HUD图形。
物体检测传感器可检测车辆外部的多个物体的位置;并且误差纠正模块可设置第一纠正参数和第二纠正参数,第一纠正参数用于纠正多个物体中的第一物体的增强现实HUD显示坐标中的一个或多个误差,以及当驾驶者正在观察第一物体时眼睛的增强现实HUD显示坐标中的一个或多个误差;第二纠正参数用于纠正多个物体中的第二物体的增强现实HUD显示坐标以及当驾驶者正在观察第二物体时的增强现实HUD显示坐标中的一个或多个误差。第一物体可以是离开驾驶者的眼睛第一距离的外部物体,第二物体可以是离开驾驶者的眼睛第二距离的外部物体,其中第二距离小于第一距离,并且第二纠正参数的误差纠正值被设置成小于第一纠正参数的误差纠正值。
物体检测传感器可包括雷达传感器或激光雷达传感器。眼睛位置检测器可包括相机。
误差纠正模块可包括低通滤波器,并且被提供作为低通滤波器的第一纠正参数的截止频率低于被提供作为低通滤波的第二纠正参数的截止频率。
与外部物体信息相对应的HUD显示信息可包括物体的速度信息或物体的导航信息。导航信息可包括TBT信息。
此外,根据本发明实施方式的一种非短暂计算机可读介质,包含由用于车辆的增强现实HUD显示方法的程序指令,该计算机可读介质包括:检测车辆的驾驶者正在观察的车辆外部物体的位置的程序指令;
当所述驾驶者正在观察显示在所述车辆的挡风玻璃上的外部物体信息时,检测所述驾驶者的眼睛的位置的程序指令;基于检测到的物体位置抽取物体的增强现实HUD显示坐标,并基于检测到的眼睛位置抽取眼睛的增强现实HUD显示坐标的程序指令;利用物体的增强现实HUD显示坐标的误差纠正参数,以及眼睛的增强现实HUD显示坐标的误差纠正参数,来纠正物体的增强现实HUD显示坐标中的一个或多个误差和眼睛的增强现实HUD显示坐标中的一个或多个误差的的程序指令,其中误差纠正参数彼此不同;接收经纠正的物体的增强现实HUD显示坐标,以及经纠正的眼睛的增强现实HUD显示坐标的程序指令;以及基于接收到的经纠正的增强现实HUD显示坐标,在挡风玻璃上显示外部物体的增强现实HUD图形的程序指令。
因此,用于车辆的增强现实HUD显示装置和方法,通过以随着驾驶者正在观察的物体的距离进行变化的方式,纠正由驾驶者感知的图形误差,使车辆的驾驶者在用于车辆的增强现实HUD系统(即增强现实HUD装置)上,直观地感知现实世界的驾驶环境。此外,本发明可实现一种算法,即使传感器技术被期望具有更大的进步,也能够通过权衡传感器成本与传感器性能,以较低成本实现用于车辆的增强现实HUD显示方法。
附图说明
为了全面理解本发明的说明书中所使用的附图,下面简要描述各张视图,其中:
图1和图2示出增强现实HUD显示方法的实施例;
图3示出增强现实HUD的工艺构造的实施例;
图4用于说明在增强现实HUD上的眼睛位置检测误差和驾驶者视角;
图5用于说明利用车辆传感器测量与物体距离的误差;
图6是用于说明根据本发明实施方式的用于车辆的增强现实HUD显示装置的方框图;
图7是用于说明图6的误差纠正模块的实施例的曲线图;
图8用于说明图6所示的用于车辆的增强现实HUD显示装置所显示的增强现实HUD图形的实施例;
图9用于说明由图6所示的用于车辆的增强现实HUD显示装置所显示的增强现实HUD图形的另一个实施例;
图10用于说明由图6所示的用于车辆的增强现实HUD显示装置所显示的增强现实HUD图形的另一个实施例;
图11用于说明由图6所示的用于车辆的增强现实HUD显示装置所显示的增强现实HUD图形的又一个实施例。
附图标记说明:
305:物体检测传感器
310:眼睛位置检测器
315:增强现实显示坐标抽取器
320:误差纠正模块
325:图形显示单元
具体实施方式
为了更好地理解本发明,并且为了更清楚地示出如何去实施,下面以举例的方式,并参考示出本发明实施方式的附图进行描述。
接下来,参考附图详细描述本发明的实施方式。为了描述本发明的实施方式,如果相关已知结构或功能被认为会使本发明的要点产生不必要的模糊,则省略对这些结构或功能的详细描述。尽可能地,在所有附图中使用相同的附图标记指代相同或类似的部件。
说明中使用的术语仅用于描述具体的实施方式,而并非意图限制本发明。除非上下文明确阐明,否则单数形式也意图包括复数形式。还应该理解,本说明书中使用的术语“包括”、“包含”或者“具有”,表明所陈述的特征、步骤、操作、组件、部件,或其组合的存在,但不排除一个或多个其它特征、数字、步骤、操作、组件、部件或者其组合的存在或者添加。
除非阐明,否则应该理解,在说明书中使用的所有术语,包括技术和科技术语,具有与本领域技术人员所理解的相同的含意。必须理解,由词典规定的术语与相关现有技术上下文中的含义相同,除非上下文清楚规定,否则不应该将这些术语理论地或过分拘泥地限定。
可以理解的是,本文中所使用的术语“车辆”或“车辆的”或其它类似的术语包括一般而言的机动车辆,比如包含运动型多用途车辆(SUV)、公共汽车、货车,各种商用车辆的客车、包含各种轮船和舰船的船只、飞行器等等,并且包括混合动力车辆、电动汽车、混合动力电动汽车、氢动力汽车和其它替代燃料汽车(例如,从除了石油以外的资源中取得的燃料)。如在本文中所引用的,混合动力车辆是具有两种或多种动力来源的车辆,例如汽油动力车辆和电动动力车辆二者。
此外,可以理解,下面方法中的一种或多种方法,或者其某些方面,可以由至少一个控制器来执行。术语“控制器”可指包括存储器和处理器的硬件装置。存储器被配置成存储程序指令,处理器可具体编程以执行程序指令,以执行在下面进一步描述的一个或多个程序。此外,可以理解,下列方法可以由包括与一个或多个其它组件相协作的控制器的装置来执行,本领域普通技术人员会理解这一点。
此外,本发明的控制逻辑可被实施为包含由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非短暂计算机可读介质。计算机可读介质的例子包括,但不局限于,ROM、RAM、光盘(CD)-ROM、磁带、闪存盘、智能卡和光数据存储装置。计算机可读记录介质也可以分布在连接计算机系统的网络中,以使计算机可读介质可以以分布式方式,例如,通过电信息通信服务器或控制器区域网(CAN),被存储和执行。
一般来说,为了实现如图1和图2所示的增强现实HUD,有必要检测车辆驾驶者的眼睛位置和驾驶者意图观察的目标的坐标。图1和图2示出增强现实HUD显示方法的实施例。
来自用于检测眼睛位置的相机传感器、激光雷达(光检测和测距)传感器、和/或用于检测车辆外部物体的雷达传感器的传感器数据,由于传感器振动或者眨眼,可能存在某种程度的误差。这种误差包括感知误差,其随着被显示在增强现实HUD上的目标物体的距离而变化,感知误差会使车辆的驾驶者或用户产生困惑。具体地,利用与距离无关的感知误差减小法(distance-independent perception error reduction algorithm)会在保持增强现实HUD图形的性能一致性方面产生难度。
此外,为了实现如图3所示的车辆的增强现实HUD,图像投向在挡风玻璃上,用户可以看到投射的图像,作为虚像,覆盖在挡风玻璃上的现实世界上。图3示出增强现实HUD的工艺构造的实施例。
为了精确匹配车辆前方的障碍物或指示器(标志),必须检测车辆的驾驶者的眼睛位置,通常利用安装在车辆中的相机来检测眼睛位置。由于相机分辨率、眨眼等原因,眼睛轨迹坐标具有某些噪音,并且由于分辨率的问题,用于检测外部物体的传感器也具有某些坐标误差。
图4用于说明眼睛位置检测误差和增强现实HUD上的驾驶者的视角。具体地,图4说明由眼睛噪音引起的、驾驶者正在观察的车辆外部物体的显示误差。
如图4所示,增强现实HUD的技术构件可包括眼睛位置检测相机120,用于检测驾驶者的眼睛;以及雷达(无线电检测和测距)传感器205和/或激光雷达(光检测和测距)传感器,用于检测(即测量)外部物体的位置。
眼睛矢量可以通过连接驾驶者眼睛125的中心与瞳孔中心的线来表示。因而,视线(即,眼睛位置检测系统的视角)具有从眼睛中心辐射的矢量,如图4所示。因此,如图4所示,眼睛噪音(即,眼睛位置检测误差)(以某一角度)辐射,离眼睛越远,横平面的直角坐标中的误差幅度越大。
进一步如图4所示,眼睛位置相对于甚或是相同尺寸物体的距离(即,从驾驶者的眼睛到驾驶者正在观察的物体的距离)进行变化的直角误差幅度(即,直角坐标误差)。因而,远处物体105在车辆的挡风玻璃115上的增强现实HUD的图形显示,比近处物体110在车辆的挡风玻璃115上的增强现实HUD的图形显示,具有更大的误差辐度,因而在远处物体上产生更高级别的感知噪音(即感知误差)。
图5用于说明使用车辆传感器测量到达物体的距离的误差。
如图5所示,与参考图4说明的相同原理,可应用到安装在车辆220前部的诸如雷达传感器或激光雷达传感器215等传感器。从传感器215辐射的无线电波或光(或激光)从车辆220上的一点出发,扫描车辆的前方区域。相应地,感测噪音与上述眼睛噪音类似,也以某个角度(即,从距离测量传感器的误差角)辐射。
因此,如图5所示,感测随着车辆220与车辆220外部的远处物体205或近处物体210之间的距离而变化的噪音。在感测噪音随着距离变化的增强现实HUD图形表示中,与近处物体210相同尺寸的远处物体205以不同级别的图形噪音显示,使驾驶者对于远处物体205和近处物体210感知不同级别的噪音。
下面参考公开的实施方式,图6是用于说明根据本发明的实施方式的用于车辆的增强现实HUD显示装置的方框图。
如图6所示,用于车辆的增强现实HUD显示装置300,可包括物体检测传感器305、眼睛位置检测器310、增强现实显示坐标抽取器315、误差纠正模块320、以及图形显示单元325。
现有技术中已知,增强现实可以指将现实世界中的虚拟物体或虚拟信息合成,使其看过来像现实世界物体的计算机图形技术。换言之,增加现实是指将虚拟信息与通过眼睛观察的现实世界相结合以产生一个图像的虚拟现实技术。增强现实技术在本领域中广为人知,因此在本说明书中省略对其的详细描述。
平视显示(HUD)装置,例如用于车辆的增强现实HUD显示装置300,可以是将图像反射到车辆的挡风玻璃或合成仪(即,透明板)上的图像,以便为车辆驾驶者提供诸如车速、英里数、每分钟转数(RPM)或导航信息等车辆信息的装置。由于增强现实HUD需要根据眼睛位置,将现实世界物体与眼睛位置进行匹配,因此驾驶者的眼睛位置必须与HUD屏幕(HUD区域)相匹配。HUD区域(即,HUD显示区域或HUD屏幕区域)可以通过在车辆的挡风玻璃上呈现诸如车辆行驶信息等车辆信息,示出被传递给车辆驾驶者的眼睛的车辆信息图像区域。HUD区域可以示出显示HUD图像的虚拟区域。HUD区域可以是指显示屏幕中、驾驶者的眼睛所位于的区域以及呈现当驾驶者向前看时的呈现的区域。
用于车辆的增强现实HUD显示装置300,可以执行纠正增强现实图形坐标(即增强现实HUD图形坐标)的步骤,并且可以在增强现实HUD图形界面中执行使由车辆驾驶者或使用者转移眼睛所造成的图形误差(即,由眼睛移动所造成的图形误差)最小的方法。更具体地,用于车辆的增强现实HUD显示装置300可执行一种算法(algorithm),这种算法为车辆近处的物体提供更快的反应速度,而不是精确度,而对于例如远离车辆的建筑物等物体提供更佳的精确度,而不是更快的反应速度。
此外,为了向驾驶者提供一致的感知误差,用于车辆的增强现实HUD显示装置300可利用误差纠正参数,该参数随着驾驶者与由增强现实HUD所显示的物体之间的距离(即,驾驶者眼睛与驾驶者正在观察的物体之间的距离)进行变化。基本上,减少所有传感器数据中的误差比较好,然而这样会使其它性能劣化。例如,减少误差的最典型方法之一的低通滤波法,能够明显减少噪音,但是可能会导致低响应速度。
因此,为了提供与驾驶者和物体之间距离无关的相同感知误差,以将远处物体(如图4或图5所示)的误差幅度减小到最大程度并且将近处物体的误差幅度减小到最小程度的方式来设置纠正参数。这是因为,由于远处物体的长距离移动不会呈现给驾驶者,因此远处物体的低反应速度在增强现实HUD显示装置300的性能(即,显示精确度)方面不产生问题,而近处物体由于其大小和反应速度对于近处物体更要紧,因此具有低噪音。
物体检测传感器305可检测车辆外部驾驶者正在观察的物体的位置。物体检测传感器305可测量从车辆到外部物体的距离。而且,物体检测传感器305可将距离信息传送给误差纠正模块320,误差纠正模块320利用传感器数据误差纠正信息参数,以便将该信息作为误差纠正模块320的误差纠正中的参考。
物体检测传感器305可包括雷达传感器和/或激光雷达(光检测和测距)传感器。激光雷达传感器,激光雷达传感器的一种类型,可以是通过测量辐射和反射以及返回的激光脉冲的时间来测量反射物体的坐标位置的雷达系统。
眼睛位置检测器310可检测驾驶者观察外部物体信息或者与显示在车辆的挡风玻璃上的外部物体信息相对应的增强现实HUD显示信息的眼睛位置。眼睛位置检测器310可包括相机。
增强现实显示坐标抽取器(即,增强现实HUD显示坐标抽取器)315,可抽取由物体检测传感器305检测到的外部物体的增强现实HUD显示坐标,以及由眼睛位置检测器310检测到的眼睛位置的增强现实HUD显示坐标(或者眼睛轨迹坐标)。
误差纠正模块320可通过利用外部物体的增强现实HUD显示坐标的误差纠正参数,以及用于眼睛位置的增强现实HUD显示坐标的误差纠正参数,纠正外部物体的增强现实HUD显示坐标中的误差,以及眼睛位置的增强现实HUD显示坐标中的误差,该误差纠正参数随着驾驶者的眼睛与外部物体之间的距离信息进行变化。距离信息可从物体检测传感器305传递到误差纠正模块320。
误差纠正模块320还可设置第一纠正参数和第二纠正参数,第一纠正参数用于纠正第一物体的增强现实HUD显示坐标中的误差以及车辆驾驶者观察的第一物体的眼睛位置的增强现实HUD显示坐标,第二纠正参数用于纠正第二物体的增强现实HUD显示坐标和观察第二物体的眼睛的位置的增强现实HUD显示坐标。第一物体是距离驾驶者眼睛第一距离的外部物体,第二物体是距离驾驶者眼睛第二距离的外部物体,该第二距离小于第一距离,第二纠正参数被设置成具有小于第一纠正参数的误差纠正值。
用于车辆的增强现实HUD显示装置300还可包括相机,用于捕获与外部物体信息或HUD显示信息(即,虚像信息)相匹配的车辆前方道路的图像。前方道路的图像可以是驾驶者通过挡风玻璃观察到的景象。
此外,误差纠正模块320可包括低通滤波器(LPF)。被提供作为低通滤波器的第一纠正参数的截止频率,可以低于被提供作为低通滤波器第二纠正参数的截止频率。
图形显示单元325可以从误差纠正模块320接收经纠正的外部物体的增强现实HUD显示坐标,以及经纠正的眼睛位置的增强现实HUD显示坐标,并在挡风玻璃上显示外部物体信息的增强现实HUD图形。与外部物体信息相对应的HUD显示信息,可包括图10中所示的外部物体的速度信息或者与外部物体相关的导航信息。导航信息可包括如图11所示的逐圈监测(TBT)信息。TBT信息可包括方向更改图标。
此外,用于车辆的增强现实HUD显示装置300,还可包括控制器(未示出)。控制器可执行中央处理单元(CPU)或处理器的功能,并控制物体检测传感器305、眼睛位置检测器310、增强现实显示坐标抽取器315、误差纠正模块320、以及图形显示单元325的整体操作。控制器可包括包含根据本发明的用于车辆的增强现实HUD显示方法的一系列指令的程序。
下面参考图6描述根据本发明实施方式的用于车辆的增强现实HUD显示方法。用于车辆的增强现实HUD显示方法,可被应用到如图6所示的用于车辆的增强现实HUD显示装置300中,还可参考作为在用于车辆的增强现实HUD上显示可变误差的方法。
用于车辆的增强现实HUD显示方法可包括,例如,第一检测步骤、第二检测步骤、抽取步骤、纠正步骤、以及显示步骤。
在第一检测步骤中,可通过物体检测传感器305来检测车辆驾驶者正在观察的车辆外部的物体的位置。用于检测外部物体的位置的传感器可包括雷达传感器或激光雷达传感器。
在第二检测步骤中,观察显示在车辆挡风玻璃上的外部物体信息的车辆驾驶者的眼睛位置,可通过眼睛位置检测器310来检测。用于检测眼睛位置的传感器可包括相机。与外部物体信息相对应的HUD显示信息,可包括如图10所示的外部物体的速度信息或与外部物体相关的导航信息。导航信息可包括如图11所示的TBT信息。
在抽取步骤中,经检测的外部物体的增强现实HUD显示坐标或者经检测的眼睛的增强现实HUD显示坐标(或者眼睛轨迹坐标),可通过增强现实显示坐标抽取器315来抽取。
在纠正步骤中,外部物体的增强现实HUD显示坐标中的误差,以及眼睛位置的增强现实HUD显示坐标中的误差,可通过误差纠正模块320利用外部物体的增强现实HUD显示坐标的误差纠正参数,以及用于眼睛位置的增强现实HUD显示坐标的误差纠正参数来纠正,误差纠正参数随着驾驶者的眼睛与外部物体之间的距离信息(即,眼睛距离信息)进行变化(即,改变)。
在纠正步骤中,可通过误差纠正模块320来设置第一纠正参数和第二纠正参数,其中第一纠正参数用于纠正第一物体的增强现实HUD显示坐标中的误差和车辆驾驶者正在观察第一物体的眼睛位置的增强现实HUD显示坐标中的误差,第二纠正参数参数用于纠正第二物体的增强现实HUD显示坐标中的误差以及观察第二物体的眼睛的增强现实HUD显示坐标中的误差。第一物体是离开驾驶者的眼睛第一距离的外部物体,第二物体是离开驾驶者眼睛第二距离的外部物体,其中第二距离小于第一距离,第二纠正参数被设置成具有小于第一纠正参数的误差纠正值。
此外,外部物体的增强现实HUD显示坐标的误差,以及眼睛位置的增强现实HUD显示坐标中的误差可以进行低通滤波。被提供作为用于低通滤波的第一纠正参数的截止频率,可以小于被提供作为用于低通滤波的第二纠正参数的截止频率。
在显示步骤中,经纠正的外部物体的增强现实HUD显示坐标和经纠正的眼睛位置的增强现实HUD显示坐标可被接收,外部物体信息的增强现实HUD显示图形,可由图形显示单元325显示在挡风玻璃上。
图7是用于说明图6的纠正误差模块的一个实施例的曲线图。
如图7所示,如果低通滤波器(LPF)被应用到图6的误差纠正模块320上,则截止频率可被提供作为纠正参数。在本文中,当物体远离驾驶者(或车辆)时,LPF的截止频率会减小,并且当物体靠近驾驶者(或车辆)时,LPF的截止频率会增大。传感器数据的精确度和反应速度可通过截止频率调节进行调整。
更具体地,如图7所示,外部物体的增强现实HUD显示坐标中的误差和眼睛的增强现实HUD显示坐标中的误差,可通过对眼睛位置的坐标范围以及由增强现实显示坐标抽取器(即,图6中的315)抽取的检测物体(未示出)的位置的坐标的范围进行低通滤波来纠正。
如上所述,在本发明的实施方式中,LPF的截止频率可用作误差纠正参数,并且截止频率可根据驾驶者(或车辆)与外部物体之间的距离来调整。因此,本发明可以使由驾驶者感知的、HUD装置中的增强现实HUD图形中的感知误差最小。
图8是用于说明如图6所示的用于车辆的增强现实HUD显示装置所显示的增强现实HUD显示图形的一个实施例。图8示出随着与驾驶者现实位置的视点的距离进行变化的物体的感知误差。
如图8所示,车辆驾驶者405可在挡风玻璃420上观察到长距离的第一物体415和短距离的第二物体410,可变误差通过纠正图形坐标中的误差而获得。第一物体415与第一HUD显示信息相对应,第二物体410与第二HUD显示信息相对应。
如图8中的大双箭头所示,可以对第一物体415执行大幅度的误差纠正;如图8的小双箭头所示,可对第二物体410执行小幅度的误差纠正。因此,图形中的感知错误可以均等地进行,而与驾驶者(或车辆)与物体之间的距离无关,因而可使在显示物体410和415上,依赖于距离的光标闪烁(cursor blinking)最少。
图9是用于说明由图6所示的用于车辆的增强现实HUD显示装置显示的增强现实HUD图形的另一个实施例。也就是说,图9示出本发明的一个应用,其在增强现实HUD上显示到前方车辆的距离。
如图9所示,近处物体510即第二物体的图形可被显示,显示误差参数被设置成与反应速度而不是精确度相对应,远处物体515即第一物体的图形可被显示,显示误差参数可被设置成与精确度而不是反应速度相对应。
因此,车辆驾驶者505能够在挡风玻璃520上观察到近处车辆510的图形显示和远处车辆515的图形显示,其中图形中的感知误差相同,而与驾驶者(或车辆)与物体之间的距离无关。
图10用于说明由图6所示的用于车辆的增强现实HUD显示装置显示的增强现实HUD图形的另一个实施例。换言之,图10示出本发明的一个应用,其在增强现实HUD上显示前方车辆的速度。
如图10所示,近处物体610即第二物体的图形可被显示,其显示误差参数被设置成与反应速度而不是精确度相对应,远处物体615即第一物体的图形可被显示,其显示误差参数可被设置成与精确度而不是反应速度相对应。因此,车辆驾驶者605能够在挡风玻璃620上观察到近处车辆610的图形显示和远处车辆615的图形显示,其中图形中的感知误差相同,而与驾驶者(或车辆)与物体之间的距离无关。
图11用于说明图6所示的用于车辆的增强现实HUD显示装置所显示的增强现实HUD图形的另一个实施例。即,图11示出本发明的另一个应用,在增强现实HUD上显示TBT信息。
如图11所示,用于短距离(例如50米)的TBT信息可被显示,其坐标误差参数被设置成与反应速度而不是精确度相对应,而用于长距离(例如150米)的TBT信息可被显示,其坐标误差参数被设置成与精确度而不是反应速度相对应。
本发明中所使用的组件、单元、块或模块,可通过诸如任务、等级、子路线、步骤、物体、执行线程(execution thread)、或程序等软件组件,以及诸如现场可编程门阵列或专用集成电路等硬件组件,或者软件组件与硬件组件的组合来执行。这些组件可被包含在计算机可读存储介质中,某些组件也可以分布在多个计算机中。
因此,在本文中(即在附图和说明书中)已经公开了本发明的实施方式。尽管在本文中使用特定的术语,然而这些术语仅出于描述本发明的目的,并非用于限定,本发明的保护范围由权利要求来限定。因此,本领域普通技术人员应该理解,还可以对本发明进行各种修改和变型。因此,本发明的保护范围由所附权利要求的技术原理来限定。

Claims (15)

1.一种用于车辆的增强现实平视显示器HUD显示方法,所述方法包括以下步骤:
检测所述车辆的驾驶者正在观察的所述车辆的外部物体的位置;
当所述驾驶者正在观察显示在所述车辆的挡风玻璃上的外部物体信息时,检测所述驾驶者的眼睛的位置;
基于检测到的物体位置抽取所述物体的增强现实HUD显示坐标,并基于检测到的眼睛位置抽取所述眼睛的增强现实HUD显示坐标;
利用所述物体的增强现实HUD显示坐标的误差纠正参数,以及所述眼睛的增强现实HUD显示坐标的误差纠正参数,来纠正所述物体的增强现实HUD显示坐标中的一个或多个误差和所述眼睛的增强现实HUD显示坐标中的一个或多个误差,所述误差纠正参数彼此不同,其中,所述误差纠正参数随着所述眼睛与所述物体之间的距离进行变化,并且所述误差纠正参数以这样的方式设置:所述物体越远,误差幅度减小得越多;
接收经纠正的所述物体的增强现实HUD显示坐标,以及经纠正的所述眼睛的增强现实HUD显示坐标;以及
基于接收到的经纠正的增强现实HUD显示坐标,在所述挡风玻璃上显示所述外部物体的增强现实HUD图形。
2.如权利要求1所述的方法,其中纠正一个或多个误差的步骤包括:
检测所述车辆外部的多个物体的位置;
设置第一纠正参数,用于纠正所述多个物体的第一物体的增强现实HUD显示坐标中的一个或多个误差,以及当所述驾驶者正在观察所述第一物体时所述眼睛的增强现实HUD显示坐标中的一个或多个误差;以及
设置第二纠正参数,用于纠正所述多个物体中的第二物体的增强现实HUD显示坐标中以及在所述驾驶者正在观察所述第二物体时所述眼睛的增强现实HUD显示坐标的一个或多个误差,
其中所述第一物体是离开所述驾驶者眼睛第一距离的外部物体,所述第二物体是离开所述驾驶者眼睛第二距离的外部物体,其中所述第二距离小于所述第一距离,并且所述第二纠正参数的误差纠正值被设置成小于所述第一纠正参数的误差纠正值。
3.如权利要求1所述的方法,还包括以下步骤:
利用无线电检测和测距传感器或光检测和测距传感器检测所述物体的位置。
4.如权利要求1所述的方法,还包括以下步骤:
利用相机检测所述眼睛的位置。
5.如权利要求1所述的方法,其中纠正所述一个或多个误差的步骤包括:
对所述物体的增强现实HUD显示坐标中一个或多个误差和所述眼睛的增强现实HUD显示坐标中的一个或多个误差进行低通滤波,
其中被提供作为用于低通滤波的第一纠正参数的截止频率低于被提供作为用于低通滤波的第二纠正参数的截止频率。
6.如权利要求1所述的方法,其中与所述外部物体信息相对应的HUD显示信息包括所述物体的速度信息或所述物体的导航信息。
7.如权利要求6所述的方法,其中所述导航信息包括逐圈监测TBT信息。
8.一种用于车辆的增强现实HUD显示装置,所述装置包括:
物体检测传感器,用于检测所述车辆的驾驶者正在观察的车辆外部物体的位置;
眼睛位置检测器,用于检测当所述驾驶者正在观察显示在所述车辆的挡风玻璃上的外部物体信息时所述驾驶者的眼睛的位置;
增强现实显示坐标抽取器,基于检测到的物体位置来抽取增强现实HUD显示坐标,以及基于检测到的眼睛位置来抽取所述眼睛的增强现实HUD显示坐标;
误差纠正模块,利用所述物体的增强现实HUD显示坐标的误差纠正参数以及所述眼睛的增强现实HUD显示坐标的误差纠正参数,来纠正所述物体的增强现实HUD显示坐标中的一个或多个误差,以及所述眼睛的增强现实HUD显示坐标中的一个或多个误差,其中所述误差纠正参数彼此不同,其中,所述误差纠正参数随着所述眼睛与所述物体之间的距离进行变化,并且所述误差纠正参数以这样的方式设置:所述物体越远,误差幅度减小得越多;以及
图形显示单元,从所述误差纠正模块接收经纠正的所述物体的增强现实HUD显示坐标以及经纠正的所述眼睛的增强现实HUD显示坐标,并基于所接收到的经纠正的增强现实HUD显示坐标,在所述挡风玻璃上显示所述外部物体信息的增强现实HUD图形。
9.如权利要求8所述的装置,其中:
所述物体检测传感器检测所述车辆外部的多个物体的位置;并且
所述误差纠正模块设置第一纠正参数和第二纠正参数,所述第一纠正参数用于纠正所述多个物体中的第一物体的增强现实HUD显示坐标中的一个或多个误差,以及当所述驾驶者正在观察所述第一物体时所述眼睛的增强现实HUD显示坐标中的一个或多个误差;所述第二纠正参数用于纠正所述多个物体中的第二物体的增强现实HUD显示坐标以及当所述驾驶者正在观察第二物体时的增强现实HUD显示坐标中的一个或多个误差,
其中所述第一物体是离开所述驾驶者的眼睛第一距离的外部物体,所述第二物体是离开所述驾驶者的眼睛第二距离的外部物体,其中所述第二距离小于所述第一距离,并且所述第二纠正参数的误差纠正值被设置成小于所述第一纠正参数的误差纠正值。
10.如权利要求8所述的装置,其中所述物体检测传感器包括无线电检测和测距传感器或光检测和测距传感器。
11.如权利要求8所述的装置,其中所述眼睛位置检测器包括相机。
12.如权利要求8所述的装置,其中所述误差纠正模块包括低通滤波器,并且被提供作为所述低通滤波器的第一纠正参数的截止频率低于被提供作为所述低通滤波的第二纠正参数的截止频率。
13.如权利要求8所述的装置,其中与所述外部物体信息相对应的HUD显示信息包括所述物体的速度信息或所述物体的导航信息。
14.如权利要求13所述的装置,其中所述导航信息包括TBT信息。
15.一种非短暂计算机可读介质,包含由用于车辆的增强现实HUD显示方法的程序指令,所述计算机可读介质包括:
检测所述车辆的驾驶者正在观察的车辆外部物体的位置的程序指令;
当所述驾驶者正在观察显示在所述车辆的挡风玻璃上的外部物体信息时,检测所述驾驶者的眼睛的位置的程序指令;
基于检测到的物体位置抽取所述物体的增强现实HUD显示坐标,并基于检测到的眼睛位置抽取所述眼睛的增强现实HUD显示坐标的程序指令;
利用所述物体的增强现实HUD显示坐标的误差纠正参数,以及所述眼睛的增强现实HUD显示坐标的误差纠正参数,来纠正所述物体的增强现实HUD显示坐标中的一个或多个误差和所述眼睛的增强现实HUD显示坐标中的一个或多个误差的程序指令,其中所述误差纠正参数彼此不同,其中,所述误差纠正参数随着所述眼睛与所述物体之间的距离进行变化,并且所述误差纠正参数以这样的方式设置:所述物体越远,误差幅度减小得越多;
接收经纠正的所述物体的增强现实HUD显示坐标,以及经纠正的所述眼睛的增强现实HUD显示坐标的程序指令;以及
基于接收到的经纠正的增强现实HUD显示坐标,在所述挡风玻璃上显示所述外部物体的增强现实HUD图形的程序指令。
CN201510665017.3A 2014-12-08 2015-10-15 用于车辆的增强现实hud显示方法和装置 Active CN105676452B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140175097 2014-12-08
KR10-2014-0175097 2014-12-08
KR10-2015-0065842 2015-05-12
KR1020150065842A KR101713740B1 (ko) 2014-12-08 2015-05-12 차량의 증강현실 hud 표시 방법 및 그 표시 장치

Publications (2)

Publication Number Publication Date
CN105676452A CN105676452A (zh) 2016-06-15
CN105676452B true CN105676452B (zh) 2019-11-26

Family

ID=56354933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510665017.3A Active CN105676452B (zh) 2014-12-08 2015-10-15 用于车辆的增强现实hud显示方法和装置

Country Status (2)

Country Link
KR (1) KR101713740B1 (zh)
CN (1) CN105676452B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131541A (zh) * 2016-08-26 2016-11-16 广州巧瞳科技有限公司 基于增强现实的智能显示装置及方法
KR20180031539A (ko) * 2016-09-20 2018-03-28 주식회사 크레모텍 차량용 헤드업 디스플레이 표시 방법 및 표시 장치
KR101976106B1 (ko) 2017-08-11 2019-05-07 주식회사 에이디테크 정보제공을 위한 차량용 통합 헤드업디스플레이장치
KR102347876B1 (ko) * 2017-09-19 2022-01-06 현대모비스 주식회사 증강현실 헤드업 디스플레이의 표시 위치 제어 장치
JP7067005B2 (ja) 2017-09-26 2022-05-16 スズキ株式会社 車両前部構造
JP6870109B2 (ja) * 2017-11-14 2021-05-12 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
CN108055476B (zh) * 2017-11-23 2020-03-27 中国航空工业集团公司洛阳电光设备研究所 一种消除前视红外设备与平视显示器视觉误差的方法
KR102463712B1 (ko) * 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
KR102437606B1 (ko) * 2017-11-30 2022-08-29 재단법인대구경북과학기술원 실감형 hud의 향상된 ui/ux 제공을 위한 증강정보 시뮬레이터
KR102436730B1 (ko) 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
CN108153502B (zh) * 2017-12-22 2021-11-12 长江勘测规划设计研究有限责任公司 基于透明屏幕的手持式增强现实显示方法及装置
CN108225734B (zh) * 2018-01-05 2021-07-02 宁波均胜科技有限公司 一种基于hud系统的误差标定系统及其误差标定方法
DE102018129741A1 (de) * 2018-10-11 2020-04-16 Hyundai Motor Company Vorrichtung und Verfahren zum Steuern einer Anzeige eines Fahrzeugs
KR102069094B1 (ko) * 2018-10-24 2020-01-22 주식회사 인포웍스 라이다 센서를 이용한 연기 상황 속 공간탐지 방법
CN110099273B (zh) * 2019-04-23 2021-07-30 百度在线网络技术(北京)有限公司 增强现实内容显示方法及装置
CN110304057A (zh) * 2019-06-28 2019-10-08 威马智慧出行科技(上海)有限公司 汽车碰撞预警、导航方法、电子设备、系统及汽车
KR20210009529A (ko) * 2019-07-17 2021-01-27 네이버랩스 주식회사 Hd 맵과 hud를 활용한 tbt 정보를 안내하는 방법 및 시스템
KR102199765B1 (ko) 2019-07-25 2021-01-07 주식회사 디젠 운전자 정보를 이용한 헤드업 디스플레이 유닛의 표시장치 및 방법
CN111405263A (zh) * 2019-12-26 2020-07-10 的卢技术有限公司 一种双摄像头结合共用于增强抬头显示的方法及系统
KR102641118B1 (ko) * 2019-12-30 2024-02-27 삼성전자주식회사 사용자에게 ar 오브젝트를 제공하는 방법 및 장치
KR102181589B1 (ko) 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
CN112164377B (zh) * 2020-08-27 2022-04-01 江苏泽景汽车电子股份有限公司 一种hud图像矫正的自适配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080812A (zh) * 2010-09-14 2013-05-01 罗伯特·博世有限公司 平视显示器
CN103661374A (zh) * 2012-09-07 2014-03-26 通用汽车环球科技运作有限责任公司 用于监测驾驶员对象检测的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066472A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 전방 물체를 이용한 증강 현실 출력 장치 및 방법
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US20130169679A1 (en) * 2011-12-30 2013-07-04 Automotive Research & Test Center Vehicle image display system and correction method thereof
TWI531495B (zh) * 2012-12-11 2016-05-01 Automatic Calibration Method and System for Vehicle Display System

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080812A (zh) * 2010-09-14 2013-05-01 罗伯特·博世有限公司 平视显示器
CN103661374A (zh) * 2012-09-07 2014-03-26 通用汽车环球科技运作有限责任公司 用于监测驾驶员对象检测的方法和系统

Also Published As

Publication number Publication date
KR20160069451A (ko) 2016-06-16
KR101713740B1 (ko) 2017-03-08
CN105676452A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105676452B (zh) 用于车辆的增强现实hud显示方法和装置
US9690104B2 (en) Augmented reality HUD display method and device for vehicle
US8089375B1 (en) Head-up display/synthetic vision system predicted flight path depiction
EP2891953B1 (en) Eye vergence detection on a display
EP3164787B1 (en) Method and apparatus for construction machine visualization
US9063328B2 (en) Head-up display apparatus and method for vehicle
US20170269684A1 (en) Vehicle display device
US9477315B2 (en) Information query by pointing
KR20150139610A (ko) 부품 조립 작업 지원 시스템 및 부품 조립 방법
CN103502876A (zh) 用于校正车辆的投影装置的方法和设备
EP2618322A1 (en) System and method for detecting and displaying airport approach lights
CN210139859U (zh) 汽车碰撞预警系统、导航系统及汽车
JP2019521403A (ja) 車輌ウィンドスクリーン上における拡張現実表示の方法及び装置
US9285876B2 (en) Transparent display field of view region determination
US10339843B2 (en) Display device, display image projecting method and head up display
US20220326028A1 (en) Method and system of vehicle driving assistance
US8939366B1 (en) Targeting display system and method
US20190147656A1 (en) Detection and visualization of system uncertainty in the representation of augmented image content in heads-up displays
US20220044032A1 (en) Dynamic adjustment of augmented reality image
US11815679B2 (en) Method, processing device, and display system for information display
CN108734729B (zh) 一种平视显示器系统中双目视差的检测方法
Kang et al. Do you see what I see: towards a gaze-based surroundings query processing system
CN111417885B (zh) 用于确定增强现实眼镜的姿态的系统和方法
US11386871B2 (en) Instrumentation perspective and light emulator
US11328464B2 (en) Vehicular display apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant