CN103502876A - 用于校正车辆的投影装置的方法和设备 - Google Patents

用于校正车辆的投影装置的方法和设备 Download PDF

Info

Publication number
CN103502876A
CN103502876A CN201280022877.XA CN201280022877A CN103502876A CN 103502876 A CN103502876 A CN 103502876A CN 201280022877 A CN201280022877 A CN 201280022877A CN 103502876 A CN103502876 A CN 103502876A
Authority
CN
China
Prior art keywords
image
head position
vehicle
projection arrangement
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280022877.XA
Other languages
English (en)
Other versions
CN103502876B (zh
Inventor
S.阿伯拉罕
H.冯齐策维茨
G.德贝尔
M.米勒-弗拉姆
S.韦伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN103502876A publication Critical patent/CN103502876A/zh
Application granted granted Critical
Publication of CN103502876B publication Critical patent/CN103502876B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及一种用于校正车辆的投影装置(102)的方法,其中,所述投影装置适用于将一配属于真实物体(108)的虚拟图像(330)投影到所述真实物体和所述车辆的乘客的假定的头部位置(106)之间的光路(110)中。在检测步骤中,检测一沿所述光路在所述假设的头部位置上抵达的光线信息,其中,所述光线信息一方面代表这样的光线,所述光线从处于所述车辆之外的真实物体出发;并且另一方面代表这样的光线,所述光线从所述投影装置出发,以便将配属于所述真实物体的虚拟图像投影到所述光路上。在确定步骤中,基于从所述光线信息中获知的所述虚拟图像的位置以及从所述光线信息中获知的所述真实物体的位置,确定一针对所述投影装置的校正信息。

Description

用于校正车辆的投影装置的方法和设备
技术领域
本发明涉及一种用于校正车辆的投影装置的方法和设备以及涉及一种相应的计算机程序产品。
背景技术
DE 10 2004 035 896 A1描述了一种抬头显示器,利用该抬头显示器能够探测车辆的驾驶员的视野。
发明内容
在该背景下利用本发明提出了根据独立权利要求所述的一种用于校正车辆的投影装置的方法、一种使用该方法的设备以及最后一种相应的计算机程序产品。有利的设计方案从各从属权利要求和下面的描述中给出。
借助于所述投影装置能够将一虚拟图像显现到车辆的乘客的视野范围中。为了在一位置上显现所述虚拟图像而需要所述投影装置的校正,其中,所述位置处于与一相对于一真实物体的对于乘客而言能看到的位置的、预先确定的关系中。为了确定适用于校正的校正信息,可以将所述虚拟图像的和所述真实物体的对于乘客而言可见的位置相互进行比较。如果这些位置相互处于所述预先确定的关系中,那么可以就此而言不需要其他校正。如果与此相反存在这些位置与所述预先确定的关系的偏差,那么可以基于所述偏差来确定所述校正信息。
本发明提供了一种用于校正车辆的投影装置的方法,其中,所述投影装置适用于将一配属于真实物体的虚拟图像投影到所述真实物体和车辆的乘客的假定的头部位置之间的光路上,并且其中,所述方法包括下列步骤:
检测沿所述光路在所述假设的头部位置上抵达的光线信息,其中,所述光线信息一方面代表这样的光线,该光线从处于所述车辆外部的真实物体出发,并且另一方面代表这样的光线,该光线从所述投影装置出发,以便将配属于所述真实物体的虚拟图像投影到所述光路上;以及
基于从所述光线信息中获知的所述虚拟图像的位置和从所述光线信息中获知的所述真实物体的位置,确定针对所述投影装置的校正信息。
借助于所述投影装置能够将所述虚拟图像显现到车辆的乘客、例如驾驶员的视野范围中。所述图像例如涉及一物体的成像,涉及标记、符号或一个词。所述图像可以具有相对于所述真实物体的关系,所述物体布置在车辆的外部。真实物体例如可以涉及一车行道、一车行道标记、一路标、一其它的车辆或一其它的人员。例如,所述虚拟图像可以这样显现,使得其从乘客的视线出发与真实物体重叠或布置在真实物体旁边。所述校正可能是需要的,以便将所述虚拟图像在关于所述真实物体所希望的位置上显现。所述投影装置可以是一抬头显示器。特别可以是所谓的接触模拟式或增强式抬头显示器。对于观察者而言可见一图像的区域通过一所谓的眼睛盒(Eyebox)来代表。所述HUD(抬头显示器)如此构建,使得所述眼睛盒包括车辆内部中的这样的点或区域,乘客的头部以及特别是乘客的眼睛典型地处在其上。所述虚拟图像可以如此显现,使得其能够从头部位置出来地较好地可见。所述光路可以通过所述真实物体和所述头部位置之间的一连接线来代表。所述光线信息的检测可以借助于图像检测装置、例如一摄像机来执行。由此,被检测的光线信息例如可以成像到一数字图像中。该图像可以利用一适当的图像评价装置来评价,例如以便将所述虚拟图像和所述真实物体在所述图像中识别并且使所述虚拟图像的位置和所述物体的位置在所述图像的内部相互关联系来。为了确定所述校正信息,可以将由光线信息所确定的位置与额定位置进行比较。也可以将由所述光线信息所确定的位置的相互布置与一额定布置进行比较。相应的额定预设可以预先给定或由所述投影装置来提供。一额定预设可以在于:所述虚拟图像的位置和所述真实物体的位置从乘客的视线出来、即从所述头部位置出来地重叠。如果基于所述光线信息确定了与所述额定预设的偏差,那么可以确定补偿所述偏差的补偿信息。所述补偿信息可以提供给所述投影装置。所述补偿信息可以引起所述虚拟图像的投影通过所述投影装置如此地改变,使得所述额定预设得以维持。如果由所述投影装置将多个虚拟图像投影到所述光路上,那么可以将确定所述校正信息的步骤针对每个虚拟图像进行重复。为了能够将所述虚拟图像投影到一正确的位置上,所述真实物体的真实位置对于所述投影装置而言是已知的。所述真实位置可以针对所述校正进行预先给定。所述真实位置例如也可以借助于一用于环境检测的传感设备来确定并且提供给所述投影装置。
根据一种实施方式,所述方法可以包括将一图像拍摄装置布置在所述假设的头部位置上的步骤。在此,在所述检测的步骤中可以通过所述图像拍摄装置检测所抵达的光线信息。所述图像拍摄装置可以是例如摄像机的图像检测装置的部件。借助于所述图像拍摄装置可以由具有所述光线信息的光线来产生一数字图像。基于所述数字图像可以确定所述补偿信息。所述图像拍摄装置可以为了执行所述校正的过程而由人员布置在所述头部位置上。当车辆不具有适当的图像拍摄装置时,该过程步骤是有利的。
替换地,在偏转的步骤中可以将在所述假设的头部位置上抵达的光线信息向一图像检测装置进行转向。该图像检测装置可以布置在所述假设的头部位置之外。镜子可以由人员布置在相应的位置上。如果更为合理的是图像检测装置不直接地布置在所述头部位置中,则该过程步骤是有利的。所述偏转可以通过如下方式进行,即,一偏转元件、例如一镜子布置在所述头部位置上并且适当地进行取向。当所述车辆已经具有一适当的图像检测装置时,则该过程步骤也是合适的。
例如,所述车辆可以具有用于监控车辆内部空间的内部空间摄像机。该内部空间摄像机可以被用作图像检测装置。在该情况下,例如一镜子如此地布置在所述头部位置上,使得所述光路从所述镜子进一步地向内部空间摄像机的图像拍摄装置引导。由此提供了已经在车辆中固定安装的内部空间摄像机的作为用于校正所述投影装置的校正装置的部件的新的应用。
根据一种实施方式,所述偏转的步骤可以针对不同的、假设的头部位置重复地实施。同样地,所述检测的步骤可以重复地实施,以便针对不同的、假设的头部位置中的每个头部位置来检测一图像信息。在获知的步骤中可以基于在重复的检测步骤中所检测的图像信息获知如下的假设头部位置,这些头部位置相应于眼睛盒的真实位置。所述眼睛盒的真实位置可以借助于一适当的图像评价装置来识别,例如其方式是,将在不同的头部位置上拍摄的图像相互进行比较。在确定步骤中可以基于在眼睛盒的真实位置上所检测的光线信息来确定所述校正信息。如果所述眼睛盒的真实位置在前部视野(Vorfeld)中无法识别或偏转元件的精确定位较耗费,则该过程步骤是合适的。在该情况下,所述偏转元件可以如下一直被移动,直至找到所述眼睛盒的真实位置。
也可以在所述确定步骤中基于在不同的位置上所检测的图像信息来确定用于预先失真(Vorverzerrung)由所述投影装置待给出的图像数据的信息。所述预先失真可以是有意义的,从而当乘客将头部略微运动并且由此略微改变其视线方向时,所述虚拟图像也针对乘客显现为不失真。
根据一种实施方式,所述方法可以包括将一遮光板布置到所述投影装置的投影光路中的步骤。在所述获知的步骤中可以将所述假设的头部位置获知为如下的位置,在该位置上能够看到所述虚拟图像。是否能够看到所述虚拟图像可以通过评价所抵达的光线信息来获知。例如,图像拍摄装置或所述转向元件可以如下一直在可能的头部位置之间来回运动,直至经检测的光线信息包括所述虚拟图像。所述转向元件的运动可以通过人员或一用于所述转向元件的保持装置来执行。由此获知的头部位置被用作假设的头部位置。
所述方法也可以包括虚拟图像的投影步骤,所述虚拟图像配属于所述真实物体。所述虚拟图像可以借助于所述投影装置投影到所述光路上。
本发明还提出了一种设备,其构造用于在相应的装置中执行或者说转换根据本发明的方法的步骤。通过本发明的以一设备为形式的实施变型也可以快速和高效地解决本发明的任务。
设备当前可以理解为一个或多个电气设备,其处理传感器信号并且与此相关地发出控制信号。所述设备可以具有一接口,其可以硬件地或软件地构造。在硬件地构造的情况下,所述接口可以例如是所谓的系统ASIC的部分,其包含所述设备的不同的功能。但也可行的是,所述接口具有自身的、集成的电路或者至少部分地由独立的构件构成。在软件地构造的情况下,所述接口可以是软件模块,其例如在一微控制器上存在于其它的软件模块旁。
有利的还有,具有程序代码的计算机程序产品,所述程序代码可以存储在机器可读的载体如半导体存储器、硬盘存储器或光学存储器上,并且当所述程序在一计算机或一设备上实施时,用于实施按照前述的实施方式的方法。
附图说明
下面参照附图示例性地详细阐释本发明。其中:
图1 示出了根据本发明的一个实施例的具有一投影装置的车辆;
图2 示出了一虚拟摄像机的示图;
图3 示出了根据本发明的另一个实施例的具有一投影装置的车辆;
图4 示出了根据本发明的另一个实施例的具有一投影装置的车辆;以及
图5 示出了根据本发明的一个实施例的流程图。
在下面的本发明的优选实施例的描述中,针对在不同的附图中展示的并且相似作用的元件采用相同的或者相似的附图标记,其中,舍弃了所述元件的重复描述。
具体实施方式
图1示出了根据本发明的一个实施例的具有一投影装置102的车辆100。所述车辆100具有一窗玻璃104。在所述车辆100的内部空间中,在所述窗玻璃104、这里一挡风玻璃的后面,示出了所述车辆100的乘客的头部区域106。在所述车辆100的外部,在乘客穿过所述窗玻璃104的视野中布置一物体108,这里是一指示牌。一光路110从所述物体108延伸至所述头部区域106,并且特别是延伸至乘客的眼睛的位置。经由所述光路110,由所述物体108发射的或反射的光线抵达乘客的头部区域106。所述投影装置102布置在所述车辆100的内部。所述投影装置102构造用于将一虚拟的图像投影到乘客的视野中。为此,所述投影装置102构造用于发射光线,所述光线经由另一光路112抵达一反射元件、例如所述窗玻璃104,并且从所述反射元件朝着所述头部区域106的方向接入到所述光路110中。以这种方式,所述车辆的乘客具有如下印象,似乎由所述投影装置102发射的虚拟图像在所述车辆100的外部位于所述光路110的区域中。
所述投影装置102可以构造用于将关于真实物体108的虚拟图像投影到乘客的视野中。例如所述虚拟图像可以与所述真实物体108叠合地示出。为此需要的是,所述投影装置102具有至少一个关于所述真实物体108相对于所述车辆100的位置的信息。关于所述位置的信息可以包括在所述车辆100的基准点和所述真实物体108的位置之间的方向和距离。所述投影装置102可以具有一个接口,用以接收关于所述位置的信息。经由所述接口,所述投影装置102也可以提供关于所述真实物体108的类型的信息。以这种方式所述投影装置102可以将所述虚拟图像的图像内容与所述真实物体108相匹配。关于所述真实物体108的位置的信息可以由一环境检测装置114提供给所述投影装置102。所述环境检测装置114布置在所述车辆100上并且构造用于至少在乘客的视野的部分区域中检测所述车辆100的环境。所述环境检测装置114构造用于检测所述真实物体108,并且确定所述真实物体108相对于所述车辆100的位置。所述环境检测装置114也可以构造用于借助于一物体识别装置来对所述真实物体108的类型进行分类。所述环境检测装置114可以显示为一ACC系统(自适应巡航控制系统)或这种系统的一部分。在所述投影装置102的校正方面,关于所述真实物体108的位置的信息也可以固定地预设给所述投影装置102,或者经由一输入接口,例如由操作人员来输入。
所述投影装置102可以是一抬头显示器。作为抬头显示器表示的是一种系统,其将信息直接显现到驾驶员的视野中。为此采用一种特殊的光学设备,其经由镜面投影到所述挡风玻璃104中而引起了针对所述驾驶员产生如下印象,即似乎一图像在所述车辆100前面悬浮。与此相反,驾驶员必须在一低头显示器的情况下或在所述车辆100中的组合仪器的情况下降低其目光,用以看见重要的显示比如速度或方向指示。HUD102的图像仅针对驾驶员是可见的,并且只有当其眼睛位于所谓的眼睛盒(EB)中时才可见。其是一3维空间,其从驾驶员的视线出来典型地为25cm宽和10cm高。
根据一个实施例,所述抬头显示器102可以将信息有针对性地重叠所述真实图像,用以参考所述空间中的点。这种显示器在一般的语言应用上叫做接触模拟式或增强式抬头显示器。借助于该技术例如能够以如下形式向驾驶员给出导航提示,即,该驾驶员将要走过的街道被有色地标出。行驶轨迹或由ACC系统114探测到的在先行驶的车辆也可以向驾驶员直接显现到所述视野中。针对一3D效应的产生,已知了不同的方式。经由自动伸缩的或双筒的系统,产生出针对两只眼睛的不同的图像并且经由相应的光学设备使眼睛可以看得见。其它的方法(双筒的)仅产生一唯一的图像,但其图像距离如此选择,即驾驶员的眼睛无法再识别到该图像,并且大脑自动地进行与位于所显现的标识之后的物体的配属。3D向2D的成像通过一所谓的渲染装置来实施,其将2D图像在现场从所述驾驶员的立体图以及所述3D可视化数据中计算出来。为此,可以需要一驾驶员头部位置估算。借助于所述驾驶员头部位置估算,可以在所述车辆100的内部,例如参考所述车辆的基准点来确定所述头部区域106的位置。
根据一个实施例,具有雷达传感器的以ACC为形式的周围传感设备114监控所述车辆100前面的区域。所述周围传感设备114构造用于从反射的信号中计算在先行驶的车辆或其它物体的方向、距离和相对速度。如果所述周围传感设备114在一自身的行驶轨迹中探测一缓慢的在先行驶的车辆,则其将速度如此地进行适配,使得所述车辆100以所希望的间距来跟随。为此,根据行驶情况的不同,ACC减小马达力矩或者所述车辆100制动。在曲线中ACC也可以识别,哪个车辆对于速度调节是决定性的。一旦在测量区域中不再具有车辆,则ACC将所述车辆再次自动地加速到预调节的速度上。现代的方法为了进行保险而使用雷达数据并且为了提高可靠性而使用外置摄像头。在此,借助于图像识别运算法则从视频图像中探测物体108并且与所述雷达数据进行合并。
针对一立体上正确的投影,必须校正所述增强真实性抬头显示器(AR-HUD)102。为此,一增强真实性抬头显示器的投影应该在安装在一Kfz(机动车)100中之后如此进行,使得在此之后所述标识在所述驾驶员的视野中的显现在正确的位置上进行。所谓的渲染装置从向所述驾驶员示出的一希望的3维场景中接管所述图像的立体图的计算,该图像通过所述UHD102示出。所示的图像在一单视场的HUD102的情况下是二维的。为了计算所述立体图,已知了如下技术,例如开放的图形程序接口(OpenGL),其直接进行图像计算。为此,将三个需展示的物体以一3D描述语言来进行描述并且传递给所述渲染装置,该渲染装置计算相应的2D图像。重要的是所述渲染装置的配置。该配置如此进行,即所述虚拟图像从所述驾驶员的视线出发在所希望的部位处出现。在此情况下,在所述渲染装置的内部跟踪一虚拟摄像机,针对其,通过所述渲染装置基于所述摄像机参数来进行3D到2D的换算。该摄像机参数是在所述方法中需确定的校正参数。
图2示出了这种虚拟摄像机220的示图。针对一正确的重叠,所述虚拟摄像机220必须处于驾驶员头部上并且对准所述HUD图像。“变焦”必须如此选择,使得所述HUD图像区域完全被检测到。因此,针对所述渲染装置的配置所需的所述虚拟摄像机220的参数是:
FoV:            水平的图像角度222(视野)
宽高比:    具有宽度w和高度h的侧面比例关系224
近平面:    沿着z方向的(视锥的)绘图体积的始端226
远平面:    沿着z方向的(视锥的)绘图体积的末端228
此外,针对外部的取向,需要所述摄像机220在车辆坐标系中的位置和旋转以及所谓的“视图”,该示图说明,所述图像在所述显示屏的像素中是多大的。
图3示出了根据本发明的一个实施例的一车辆的局部图,该车辆具有一用于校正一投影装置102的设备。所述投影装置102构造成AR-HUD。
所述投影装置102具有一HUD开口,参照图1所述,光线112从所述开口投影到所述车辆的挡风玻璃104上。所述光线112从所述挡风玻璃104反射到朝向所述乘客的头部位置的光路中,在所述头部位置上根据该实施例布置一摄像机320。眼睛盒说明了空间上的区域,在该区域中,针对观察者而言所述显示器的图像是可见的。因此,所述头部位置和所述摄像机320位于所述眼睛盒中。所述投影装置102构造用于将所述光线112如此地投影到所述挡风玻璃104上,该光线产生一虚拟图像330,使得从所述乘客的视线出发在所述光路110的延长线上在所述挡风玻璃104的后面,即在所述车辆之外悬浮。此外,在图3中示出了三个真实物体108,它们相互间隔地布置在所述车辆之外的不同的位置上。物体108是真实的记号108,其位置分别是已知的。在所述虚拟图像330中布置了三个记号。所述虚拟图像330应根据该实施例由所述投影装置102如此投影,使得所述虚拟图像330的记号中的每一个都与一个配属的真实记号108重叠。关于所述真实记号108的位置的信息可以经由所述投影装置102的一接口传递到所述投影装置102上。所述投影装置102具有一存储器332,在该存储器中存储所述投影装置102的系统参数,这里AR-HUD-参数。所述投影装置102构造用于在使用所述系统参数的情况下如此地确定用于产生所述虚拟图像330的操控值,使得所述虚拟图像330包括虚拟记号,所述虚拟记号在一预设的位置中与所述真实记号108在此重叠地显现。如果存在于力求的重叠的一偏差,则该偏差可以通过一校正过程来识别并且消除。
所述摄像机320如此布置,使得其不仅能够检测所述虚拟图像330也可以检测所述真实物体108。由所述摄像机320产生的图像336由所述摄像机320传递到一图像评价装置340上。该图像评价装置340构造用于实施所述图像336的评价并且基于所述评价来计算针对所述投影装置102的系统参数。为此,可以例如在所述图像336中识别到所述虚拟图像330的虚拟记号和所述真实记号108并且将各个位置相互比较。如果例如一虚拟记号的位置与一配属的真实记号108的位置存在偏差,则所述图像评价装置340可以构造用于基于所述偏差来如此地确定新的系统参数,使得所述偏差得以校正。为此可以采用用于校正一投影装置的已知的方法。为了产生所述虚拟图像330所采用的所述投影装置102的真实的系统参数可以针对所述图像评价装置340而言是已知的并且用来确定所述新的系统参数。由所述图像评价装置340确定的针对所述投影装置102的系统参数可以例如通过快闪来录入到所述投影装置102的存储器332中。随后可以将其用于针对所述虚拟图像330的重新投影的新的系统参数。
在图3中示出了根据本发明的一个实施例的用于自动校正增强真实性HUD的结构。在此,所述摄像机320和所述投影装置102布置在所述车辆的内部。所述图像评价装置340可以布置在所述车辆的外部并且经由合适的接口与所述摄像机320和所述投影装置102连接。根据该实施例,经由所述图像336,其是借助于所述摄像机320从所述眼睛盒中拍摄的,同时检测具有已知位置的物体108以及由HUD102产生的虚拟物体330。借助于所述摄像机320可以从所述HUD102的眼睛盒中将所述车辆前面的真实记号108的位置与显现的记号330的位置的偏差进行比较。在足够多数量的记号的情况下,可以从所述偏差中计算出针对所述AR-HUD的正确的参数,从而所述投影在立体上是正确的。
之后,所搜索的HUD参数可以在足够多数量的物体108的情况下从各物体位置中,针对虚拟的和真实的物体330、108,以及真实调节的,还要校准的HUD参数中计算出来。在此情况下,所述HUD参数可以在唯一一个步骤中进行计算。为了确定所述HUD参数,可以追溯到用于基于记号地计算变换参数的已知的运算法则。
图4示出了根据本发明的另一个实施例的一车辆的局部图,该车辆具有一用于校正一投影装置102的设备。在图4中所示的结构相应于在图3中所示的结构,区别在于,代替一定位在所述头部位置上的摄像机使用一内部空间摄像机420,使得一转向元件422,这里一镜子或转向镜,布置在所述头部位置上,并且所述内部空间摄像机420的图像336被一单元440进行评价以用于参数计算,所述单元是所述投影装置102的一部分。
所述镜子422如此地布置在所述眼睛盒中,使得所述光路110向所述内部空间摄像机420转向。所述内部空间摄像机420可以固定地安装在所述车辆中并且在正常运行中例如用于监控所述车辆的内部空间。由所述内部空间摄像机420产生的图像336经由一适当的接口提供到所述投影装置102上。例如所述图像336可以经由一系统总线,例如一CAN总线,从所述内部空间摄像机320传递到所述投影装置102上,在所述系统总线上不仅联接所述内部空间摄像机420而且联接所述投影装置102。所述单元440相应于参照图4所描述的图像评价装置340来构造,用以确定针对所述投影装置102的新的系统参数并且在所述投影装置102的存储器中保存。
根据该实施例,不仅所述投影装置,而且所述镜子422和所述内部空间摄像机420布置在所述车辆的内部。这样,可以在利用已经在所述车辆中构造的内部空间摄像机420,例如用于监控疲劳度的内部空间摄像机以及一临时置入到所述眼睛盒中的附加的镜子422,来进行HUD102的自动校正。在此,所述AR-HUD-参数的计算完全在所述车辆系统中发生,也就是说,无需电子地连接外部的设备,例如摄像机、PC或诊断测试仪。
额外地,所述镜子可以设有特征,例如记号,所述记号允许在摄像机图像中的记号的简化测量。这能够实现所述镜子关于所述摄像机的空间位置的简化的确定且因此利用已知的方法从光学的测量技术中确定车辆中的镜子的位置。这改善了确定针对所述投影的系统参数的准确度。
因此,能够实现一种用于自动校正一AR-HUD102的方法,其中,不存在如下的必要性,将一摄像机定位在车辆中的HUD102的眼睛盒的内部,用来评价该外部摄像机的图像,计算所述车辆外部的AR-HUD-参数,并且最终用于所述AR-HUD的配置。通过参照图4所示的方法能够完全回避相应的复杂的过程,在该复杂的过程中需要一单独的摄像机,读取图像并且在另一部位上进行处理并且将结果传递到所述车辆的电子装置中。因此,提出了一种基于一内部空间摄像机的增强真实性HUD的自动校正的方法,其成本低廉并且能够快速地实施。
利用该方法实现了仅借助于一镜子422和必要时根据校正方法的不同,借助于外部的记号108来进行所述投影装置102的校正。作为外部记号108,可以专门为了校正的目的而使用布置在车辆前面的物体。
下面进行在图4中所示的实施例的结构和功能的详细描述。所示的方法基于如下,在所述眼睛盒中可见的图像由所述镜子422转向到已经为了其它目的所使用的内部空间摄像机420中。校正运算法则,其例如安装在所述AR-HUD102内部的操控电子装置中,接收所述内部空间摄像机420的图像336,评价所述图像,计算所述AR-HUD-参数并且对由所述投影装置102产生的虚拟图像330进行新的重新配置。
在此所使用的校正运算法则相应于参照图3所描述的针对在所述眼睛盒中的每个摄像机的自动校正来使用。附加地,还可能需要软件模块,其在定位所述镜子422时支持使用者。
该校正必须严格地说从所述眼睛盒的中心进行。由于该位置仅借助于一复杂的机械定位才能实现,因此所述内部空间摄像机根据一个实施例构造用于拍摄一视频序列或图像序列,而所述镜子在所述眼睛盒内部沿着所有方向被移动。以这种方式可以获知所述眼睛盒的边界区域以及其中心。在此,当所述镜子422在所述序列内部仅一次地位于所述眼睛盒的中心时,对于所述评价就足够。所述序列的部位可以通过软件容易地识别,且因此针对所述投影装置102的参数的计算课件简单地参照在所述序列的部位处的相应的图像336来实施。
找到所述眼睛盒的中心的另一种可能性在于使用相应的遮光板,其放置在所述HUD102的开口上方。在唯一一个测试记号显现时,其仅在所述眼睛盒的中心是可见的。因此对于所述方法的使用者而言可以找到所述眼睛盒的中心。例如由所述摄像机420所接收的图像336可以显示在一显示屏上或者所述系统利用一音调来回复正确的定位。
利用所描述的方法,根据本发明的一个实施例还可以丈量整个眼睛盒并且从各位置中获知图像336。该信息可以用于由所述投影装置输出的虚拟图像330的电子的预先失真。因此其可以确定针对一适当的预先失真所需的参数并且由所述投影装置102用于投影所述虚拟图像330。为此,可以将所述参数存储在所述投影装置102的存储器332中。
图5示出了根据本发明的一个实施例用于校正车辆的投影装置的方法的流程图。该投影装置可以是参照图1、3或4所描述的投影装置。
在步骤550中借助于一图像检测装置来检测在所述车辆的眼睛盒中抵达的光线并且基于此来产生一图像。为此,可以将一摄像机直接布置在所述眼睛盒中。替换地,可以在所述眼睛盒中布置一镜子,用以将在所述眼睛盒中抵达的光线朝一布置在另一位置上的摄像机转向。所述摄像机或者说所述镜子如此取向,使得所检测的光线相应于所述车辆的乘客通过其处于所述眼睛盒的区域中的眼睛所接收到的光线。在此,所述光线不仅包括一关于布置在所述车辆外部的物体的信息也包括一关于一虚拟图像的信息,所述虚拟图像由所述投影装置关于布置在所述车辆外部的物体而产生。在所述车辆的紧急运行中,可以去除处于所述眼睛盒中的摄像机或者说处于所述眼睛盒中的镜子。也就是说,所述摄像机或者说所述镜子专门为了所述校准装置的校正过程而布置在所述眼睛盒中。在步骤552中基于由所述摄像机产生的图像确定一针对所述投影装置的校正信息。为此,可以实施一图像评价并且从所述图像中获知的关于所述虚拟图像和所述真实物体的数据可以与预设的额定数据进行比较。所述校正信息可以包括所述投影装置的系统参数,其提供到所述投影装置上。
所描述的并且在附图中所示的实施例仅是示例性地选择的。不同的实施例可以完全地或者关于单个的特征相互组合。一个实施例也可以通过其他实施例的特征来补充。此外,可以重复根据本发明的方法步骤以及以不同于在所描述的顺序进行实施。

Claims (10)

1. 用于校正车辆(100)的投影装置(102)的方法,其中,所述投影装置适用于将一配属于真实物体(108)的虚拟图像(330)投影到所述真实物体和所述车辆的乘客的假定的头部位置(106)之间的光路(110)中,并且其中,所述方法包括下列步骤:
检测(550)一沿所述光路在所述假设的头部位置上抵达的光线信息,其中,所述光线信息一方面代表这样的光线,所述光线从处于所述车辆之外的真实物体出发;并且另一方面代表这样的光线,所述光线从所述投影装置出发,以便将配属于所述真实物体的虚拟图像投影到所述光路上;以及
基于从所述光线信息中获知的所述虚拟图像的位置以及从所述光线信息中获知的所述真实物体的位置,确定(552)一针对所述投影装置的校正信息。
2. 根据权利要求1所述的方法,具有将一图像拍摄装置(320)布置在所述假设的头部位置(106)上的步骤,其中,在所述检测步骤(550)中,所述抵达的光线信息通过所述图像拍摄装置被检测。
3. 根据权利要求1所述的方法,具有将在所述假设的头部位置(106)上抵达的光线信息向一图像检测装置(420)转向的步骤,所述图像检测装置布置在所述假设的头部位置之外。
4. 根据权利要求3所述的方法,其中,所述车辆(100)具有一用于监控所述车辆的内部空间的内部空间摄像机,所述内部空间摄像机被用作图像检测装置(420)。
5. 根据权利要求3或4之一所述的方法,其中,所述偏转的步骤针对不同的、假设的头部位置(106)重复地实施,所述检测步骤(550)重复地实施,以便针对不同的、假设的头部位置中的每个头部位置来检测一图像信息(336),在所述获知步骤中基于在所述重复的检测的步骤中所检测的图像信息获知如下的假设的头部位置,这些假设的头部位置相应于真实头部位置,并且其中,在所述确定步骤(552)中基于在所述真实头部位置上所检测的光线信息来确定校正信息。
6. 根据权利要求5所述的方法,其中,在所述确定步骤(552)中基于在不同的头部位置(106)上所检测的图像信息(336)来确定用于预先失真由所述投影装置(102)待输出的图像数据的信息。
7. 根据前述权利要求之一所述的方法,具有将一遮光板布置到所述投影装置(102)的投影光路中的步骤并且具有将所述假设的头部位置(106)获知为如下位置的步骤,在该位置上能够看到所述虚拟图像(330)。
8. 根据前述权利要求之一所述的方法,具有将配属于所述真实物体(108)的所述虚拟图像(330)借助于所述投影装置(102)投影到所述光路(110)中的步骤。
9. 设备,其构造用于执行根据权利要求1至8之一所述的方法的步骤。
10. 计算机程序产品,具有程序代码,用于当所述程序在一设备上实施时,执行根据权利要求1至8之一所述的方法。
CN201280022877.XA 2011-05-12 2012-03-13 用于校正车辆的投影装置的方法和设备 Expired - Fee Related CN103502876B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011075703.1 2011-05-12
DE201110075703 DE102011075703A1 (de) 2011-05-12 2011-05-12 Verfahren und Vorrichtung zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs
PCT/EP2012/054353 WO2012152475A1 (de) 2011-05-12 2012-03-13 Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs

Publications (2)

Publication Number Publication Date
CN103502876A true CN103502876A (zh) 2014-01-08
CN103502876B CN103502876B (zh) 2016-11-09

Family

ID=45888174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280022877.XA Expired - Fee Related CN103502876B (zh) 2011-05-12 2012-03-13 用于校正车辆的投影装置的方法和设备

Country Status (3)

Country Link
CN (1) CN103502876B (zh)
DE (1) DE102011075703A1 (zh)
WO (1) WO2012152475A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105301777A (zh) * 2015-12-05 2016-02-03 中国航空工业集团公司洛阳电光设备研究所 一种平显调校方法和专用于实施该方法的装置
CN105786306A (zh) * 2014-12-25 2016-07-20 比亚迪股份有限公司 车载抬头显示系统及其投影图像高度调节方法
CN105874883A (zh) * 2013-09-10 2016-08-17 飞利浦灯具控股公司 用于编码光源的自动化投用的方法和装置
CN106133498A (zh) * 2014-04-09 2016-11-16 松下知识产权经营株式会社 车辆评价装置
CN107004120A (zh) * 2014-09-19 2017-08-01 奔德士商用车系统有限责任公司 宽基线物体探测立体系统
CN107472137A (zh) * 2016-06-08 2017-12-15 大众汽车有限公司 用于表示机动车辆的环境的方法和设备
CN107561720A (zh) * 2016-06-30 2018-01-09 叶天守 反射式虚像显示装置
CN107966816A (zh) * 2017-11-22 2018-04-27 苏州车萝卜汽车电子科技有限公司 一种装调方法以及装调的分体式抬头显示器
CN108152957A (zh) * 2017-12-25 2018-06-12 宁波均胜科技有限公司 一种车载抬头显示系统及基于该系统的误差校准方法
CN108225734A (zh) * 2018-01-05 2018-06-29 宁波均胜科技有限公司 一种基于hud系统的误差标定系统及其误差标定方法
CN109559522A (zh) * 2019-01-21 2019-04-02 中控智慧科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN109884793A (zh) * 2017-12-06 2019-06-14 三星电子株式会社 用于估计虚拟屏幕的参数的方法和设备
WO2019196536A1 (zh) * 2018-04-11 2019-10-17 京东方科技集团股份有限公司 用于投射显示装置的视角测试方法、装置和系统
CN111089708A (zh) * 2019-12-09 2020-05-01 中国航空工业集团公司洛阳电光设备研究所 一种测量平显显示中心误差的系统及方法
CN112344963A (zh) * 2020-11-05 2021-02-09 南京讯天游科技有限公司 一种基于增强现实抬头显示设备的测试方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9783112B2 (en) 2015-10-27 2017-10-10 Cnh Industrial America Llc Rear windshield implement status heads-up display
DE102016204274A1 (de) 2016-03-15 2017-09-21 Volkswagen Aktiengesellschaft System und Verfahren zum Erfassen einer Eingabegeste eines Nutzers
CN110780445A (zh) * 2018-11-12 2020-02-11 芋头科技(杭州)有限公司 用于装配光学成像系统的主动校准的方法及系统
US11487132B2 (en) * 2018-11-12 2022-11-01 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
CN112067013A (zh) * 2020-09-01 2020-12-11 卜云 一种基于ar-hud的车载识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
WO2007083215A2 (en) * 2006-01-17 2007-07-26 Ferrari S.P.A. Method of controlling a road vehicle hud system
DE102007001266A1 (de) * 2007-01-08 2008-07-10 Metaio Gmbh Optische Anordnung, insbesondere für ein Head-Up-Display
DE102007045301A1 (de) * 2007-09-21 2009-04-02 Carl Zeiss Ag Anordnung und Verfahren zur Charakterisierung von reflektiv abbildenden Projektionssystemen
CN101915991A (zh) * 2009-04-02 2010-12-15 通用汽车环球科技运作公司 全后窗平视显示器上的后方停车辅助

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004035896A1 (de) 2004-07-23 2006-03-16 Robert Bosch Gmbh Vorrichtung zur Erfassung von Informationen über ein Messobjekt in einem Fahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
WO2007083215A2 (en) * 2006-01-17 2007-07-26 Ferrari S.P.A. Method of controlling a road vehicle hud system
DE102007001266A1 (de) * 2007-01-08 2008-07-10 Metaio Gmbh Optische Anordnung, insbesondere für ein Head-Up-Display
DE102007045301A1 (de) * 2007-09-21 2009-04-02 Carl Zeiss Ag Anordnung und Verfahren zur Charakterisierung von reflektiv abbildenden Projektionssystemen
CN101915991A (zh) * 2009-04-02 2010-12-15 通用汽车环球科技运作公司 全后窗平视显示器上的后方停车辅助

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874883A (zh) * 2013-09-10 2016-08-17 飞利浦灯具控股公司 用于编码光源的自动化投用的方法和装置
CN106133498B (zh) * 2014-04-09 2019-12-13 松下知识产权经营株式会社 车辆评价装置
CN106133498A (zh) * 2014-04-09 2016-11-16 松下知识产权经营株式会社 车辆评价装置
CN107004120A (zh) * 2014-09-19 2017-08-01 奔德士商用车系统有限责任公司 宽基线物体探测立体系统
CN105786306A (zh) * 2014-12-25 2016-07-20 比亚迪股份有限公司 车载抬头显示系统及其投影图像高度调节方法
CN105301777B (zh) * 2015-12-05 2018-06-26 中国航空工业集团公司洛阳电光设备研究所 一种平显调校方法和专用于实施该方法的装置
CN105301777A (zh) * 2015-12-05 2016-02-03 中国航空工业集团公司洛阳电光设备研究所 一种平显调校方法和专用于实施该方法的装置
CN107472137A (zh) * 2016-06-08 2017-12-15 大众汽车有限公司 用于表示机动车辆的环境的方法和设备
CN107561720A (zh) * 2016-06-30 2018-01-09 叶天守 反射式虚像显示装置
CN107966816A (zh) * 2017-11-22 2018-04-27 苏州车萝卜汽车电子科技有限公司 一种装调方法以及装调的分体式抬头显示器
CN107966816B (zh) * 2017-11-22 2023-11-03 苏州萝卜电子科技有限公司 一种装调方法以及装调的分体式抬头显示器
CN109884793A (zh) * 2017-12-06 2019-06-14 三星电子株式会社 用于估计虚拟屏幕的参数的方法和设备
CN109884793B (zh) * 2017-12-06 2022-07-19 三星电子株式会社 用于估计虚拟屏幕的参数的方法和设备
CN108152957A (zh) * 2017-12-25 2018-06-12 宁波均胜科技有限公司 一种车载抬头显示系统及基于该系统的误差校准方法
CN108225734A (zh) * 2018-01-05 2018-06-29 宁波均胜科技有限公司 一种基于hud系统的误差标定系统及其误差标定方法
WO2019196536A1 (zh) * 2018-04-11 2019-10-17 京东方科技集团股份有限公司 用于投射显示装置的视角测试方法、装置和系统
US11667197B2 (en) 2018-04-11 2023-06-06 Boe Technology Group Co., Ltd. Angle-of-view testing method, device and system for a projection display device
CN109559522B (zh) * 2019-01-21 2021-09-28 熵基科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN109559522A (zh) * 2019-01-21 2019-04-02 中控智慧科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN111089708A (zh) * 2019-12-09 2020-05-01 中国航空工业集团公司洛阳电光设备研究所 一种测量平显显示中心误差的系统及方法
CN112344963A (zh) * 2020-11-05 2021-02-09 南京讯天游科技有限公司 一种基于增强现实抬头显示设备的测试方法及系统
CN112344963B (zh) * 2020-11-05 2021-09-10 的卢技术有限公司 一种基于增强现实抬头显示设备的测试方法及系统

Also Published As

Publication number Publication date
CN103502876B (zh) 2016-11-09
DE102011075703A1 (de) 2012-11-15
WO2012152475A1 (de) 2012-11-15

Similar Documents

Publication Publication Date Title
CN103502876A (zh) 用于校正车辆的投影装置的方法和设备
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US10732412B2 (en) Display device for vehicle
CN113710988B (zh) 用于识别环境传感器的功能能力的方法、控制仪和车辆
US10029700B2 (en) Infotainment system with head-up display for symbol projection
JP4788426B2 (ja) 車両用表示システム
US12061336B2 (en) Head-up display
KR100921427B1 (ko) 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치
CN102778754B (zh) 用于使车辆的投影装置的投影对齐的方法和装置
US20100157058A1 (en) Method and Device for Compensating a Roll Angle
KR101805377B1 (ko) 대상물 마킹의 위치를 트래킹하기 위한 방법 및 장치
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
CN111656775B (zh) 显示控制装置以及显示系统
JP2020016541A (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
CN114063295A (zh) 增强现实图像的动态调整
US20220326028A1 (en) Method and system of vehicle driving assistance
KR20150051388A (ko) 스테레오 카메라 보정 시스템
US20130033597A1 (en) Camera system and method for recognizing distance using the same
JP2007181129A (ja) 車載用移動体検出装置
JP2021026693A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
EP3795952A1 (en) Estimation device, estimation method, and computer program product
Gao et al. A calibration method for automotive augmented reality head-up displays based on a consumer-grade mono-camera
Gao et al. A calibration method for automotive augmented reality head-up displays using a chessboard and warping maps
KR101637298B1 (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161109

Termination date: 20210313