CN111417885A - 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车 - Google Patents

用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车 Download PDF

Info

Publication number
CN111417885A
CN111417885A CN201880072128.5A CN201880072128A CN111417885A CN 111417885 A CN111417885 A CN 111417885A CN 201880072128 A CN201880072128 A CN 201880072128A CN 111417885 A CN111417885 A CN 111417885A
Authority
CN
China
Prior art keywords
augmented reality
reality glasses
motor vehicle
light
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880072128.5A
Other languages
English (en)
Other versions
CN111417885B (zh
Inventor
A.哈尔
J.蒂姆勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN111417885A publication Critical patent/CN111417885A/zh
Application granted granted Critical
Publication of CN111417885B publication Critical patent/CN111417885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

用于确定增强现实眼镜的姿态的系统和方法，用于校准增强现实眼镜的姿态的系统和方法，用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车。为了支持姿态确定，由光源产生对于人类不可察觉的波长的光(10)。以这样产生的光照明机动车的至少一个挡风玻璃(11)。由挡风玻璃反射的光由光学获取装置获取(12)。借助于由光学获取装置所获取的信息可以确定增强现实眼镜的姿态(13)。同样可借助于所获取的信息来确定用于增强现实眼镜的转换规则(14)。

Description

用于确定增强现实眼镜的姿态的系统和方法、用于校准增强 现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定 的方法以及适用于该方法的机动车
技术领域
本发明涉及用于确定增强现实眼镜的姿态的系统和方法以及用于校准增强现实眼镜的系统和方法。本发明此外涉及用于支持增强现实眼镜的姿态确定的方法以及适合用于实现该方法的机动车。
背景技术
随着虚拟和增强现实技术和应用的不断进一步发展，它们也被引入到汽车中。增强现实(AR)，德语为“扩展的现实”，是真实世界通过在三维空间中位置正确地记录并且允许实时交互的虚拟元素的增强。因为在学术界中在德语领域中，表达“增强现实”相对于表达“扩展的现实”已经获得承认，所以在下面使用前者。
一种可能的技术实现方案，为了相应地利用透视正确的虚拟扩展来增强驾驶员工作位置，提供了增强现实眼镜。增强现实眼镜如正常眼镜那样佩戴，但是具有一个或多个投影单元或显示器，借助于其对于眼镜的佩戴者而言可将信息投影到眼前或直接投影到视网膜上。在此，如此设计眼镜，使得佩戴者也可以感知环境。优选地，以类似联系(kontaktanalog，有时也称为类似接触)的方式向佩戴者显示信息或提示。在此，信息或提示的显示在如下地点处进行，所述地点在周围环境中的对象的地点处定向，例如在对象处毗邻或重叠其。通过显示和驾驶场景的光学重叠，需要较少的头部和眼睛运动来读取信息。此外，减少了对于眼睛的适应消耗，因为取决于显示的虚拟距离必须较少直至甚至不必进行调节。通过标记对象并且在其真实的参考位置处显现信息，也就是说通过类似联系的展示，可以在驾驶员的视野中直接示出与环境有关的信息。因为可以将显示示出为“环境的一部分”，所以通过佩戴者的极其快速且直观的阐释是可能的。以增强现实的形式的环境的这种直接的图像增强因此可显著降低认知转换要求。
在增强现实的意义上在驾驶员的真实视野中记录虚拟信息对技术实施方案提出了非常高的要求。为了能够位置精确地且透视正确地在实际中示出虚拟内容，需要关于车辆的周围环境和自身运动的非常详细的知识。尤其还必须已知增强现实眼镜的姿态，即其相对于车辆的位置和取向。
为了增强现实眼镜的姿态确定，可以使用基于质量惯性的惯性测量系统。这种测量系统的传感器直接固定在眼镜处，且通过获取加速度来测量眼镜的运动。
就此而言，US 2017/0178412 A1描述了一种数据眼镜，借助于该数据眼镜可以在混合现实环境中对于多个地理参考的数据元素显示多个级别的视觉信息密度。用于提供信息的分级的程序获得针对第一地理参考的数据元素的信息，并向数据眼镜提供对于对象的视觉信息密度的第一级供使用。当针对地理参考的数据元素的信息的空间信息密度处于阈值以下时，程序递送用于针对第二地理参考的数据元素的视觉信息密度的第二级，该第二级大于第一级。为了确定数据眼镜的姿态，在此使用运动传感器。
惯性系统的缺点在于，仅进行相对测量并且通过测量结果的双重积分产生漂移(Drift)，该漂移在短时间内使追踪结果不可用。因此，惯性系统必须强制地与非漂移的测量系统结合。
因此，通常使用光学测量系统用于增强现实眼镜的姿态确定。在此，通常从外部进行对待追踪的对象的观察，因此这样的系统称为外内(Outside-In)追踪。为此，例如在车辆中提供附加的传感器系统(例如相机)，其获取增强现实眼镜的运动。
例如Guy Berg的论文：“Das Vehicle in the Loop - Ein Werkzeug für dieEntwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystemen”[1]描述了用于驾驶员辅助系统的测试和模拟环境。在此，测试和模拟环境连同集成的交通模拟与真实的测试车辆相关联。在此，借助于头戴式显示器(HMD)将驾驶员置于扩展的或虚拟的现实中，从而其从模拟环境中获得直接的视觉反馈以及从真实的车辆交互中获得触觉的、前庭的、体感的和声学的反馈。在运行中，在测试路段上定位车辆的位置和姿态。通过在真实世界中对它的了解，车辆在虚拟世界中的相应的位置和姿态也是已知的。附加地，借助于构建在车辆中的传感器确定驾驶员的视线方向。借助于车辆的位置和姿态以及驾驶员的视线方向在模拟软件中产生虚拟世界的对应于现实的图像，并且对于驾驶员而言经由HMD视觉化。在此使用头部的光学追踪，其使用光学标记。
外内系统的缺点是，除了眼镜之外，需要第二测量系统。
作为外内追踪的替代，可以使用所谓的内外(Inside-Out)追踪，在其中，测量系统被集成到待追踪的对象中，也就是说从对象的视线获取环境。在此，测量系统本身运动。
例如，DE 10 2014 217 963 A1描述了一种用于在机动车中使用的数据眼镜。所述数据眼镜包括显示器、红外相机(在其拍摄中基本上红外成像)以及电子处理器件。借助于相机拍摄数据眼镜的环境。然后在拍摄中识别预定义的图案。为此，借助于在车辆内部空间中的涂层事先安装红外图案。最后，取决于识别的图案来确定数据眼镜的姿态。
所描述的系统的缺点在于，必须在车辆中安装特殊的标记，这在内部空间的设计和外观方面可能是不被期望的。
现代的增强现实眼镜常常使用视觉系统和机器学习，以确定眼镜在空间中的尽可能准确的位置并且由此为用户生成位置正确的显现。在此，眼镜的姿态和运动通过光学测量技术的方法取决于周围空间中的特征角和棱边来确定。然而，增强现实眼镜被佩戴在用户的头部上。用于追踪的相机集成到增强现实眼镜的壳体中。如果用户在车辆中佩戴眼镜，则相机不仅获取外界(Außenwelt)而且获取车辆的内部空间。通过车辆的前进，在相机图像中属于内部空间的图像区域是相对静态的，而属于外界的图像区域是非常动态的。取决于所使用的眼镜的追踪方法，这可以使追踪不可实现，因为基础算法不能识别哪些图像区域可以且应该用于稳定追踪。当车辆又停止并且在相机图像中存在内部空间和外部空间的一致的表现时，追踪才能可靠地起作用。
发明内容
本发明的任务是说明用于确定增强现实眼镜的姿态和用于校准增强现实眼镜的替代解决方案。
该任务通过具有权利要求1或2的特征的系统、通过具有权利要求8、9或11的特征的方法以及通过具有权利要求12的特征的机动车来解决。本发明的优选的设计方案是从属权利要求的主题。
根据本发明的第一方面，用于在机动车中确定增强现实眼镜的姿态的系统包括：
- 至少一个布置在机动车中的光源，用于以对于人类不可察觉的波长的光照明机动车的至少一个挡风玻璃；
- 布置在增强现实眼镜中的光学获取装置，所述光学获取装置能够获取对于人类不可察觉的波长的光；和
- 用于借助由光学获取装置获取的信息来确定增强现实眼镜的姿态的姿态确定装置。
根据本发明的另一方面，用于在机动车中校准增强现实眼镜的系统包括：
- 至少一个布置在机动车中的光源，用于以对于人类不可察觉的波长的光照明机动车的至少一个挡风玻璃；
- 布置在增强现实眼镜中的光学获取装置，所述光学获取装置能够获取对于人类不可察觉的波长的光；和
- 校准装置，用于通过由光学获取装置探测的挡风玻璃的棱边与挡风玻璃的已知几何形状的调准来确定用于增强现实眼镜的转换规则。
根据本发明的另一方面，用于在机动车中确定增强现实眼镜的姿态的方法包括以下步骤：
- 以对于人类不可察觉的波长的光照明机动车的至少一个挡风玻璃；
- 通过布置在增强现实眼镜中的光学获取装置获取对于人类不可察觉的波长的、由机动车的挡风玻璃反射的光；和
- 借助由所述光学获取装置获取的信息来确定增强现实眼镜的姿态。
根据本发明的另一方面，用于在机动车中校准增强现实眼镜的方法包括以下步骤：
- 以对于人类不可察觉的波长的光照明机动车的至少一个挡风玻璃；
- 通过布置在增强现实眼镜中的光学获取装置获取对于人类不可察觉的波长的、由机动车的挡风玻璃反射的光；和
- 通过由光学获取装置探测的挡风玻璃的棱边与挡风玻璃的已知几何形状的调准来确定用于增强现实眼镜的转换规则。
根据本发明的另一方面，用于在机动车中支持增强现实眼镜的姿态确定的方法包括以下步骤：
- 产生对于人类不可察觉的波长的光；和
- 以对于人类不可察觉的波长的光照明机动车的至少一个挡风玻璃。
根据本发明的另一方面，机动车具有挡风玻璃和至少一个布置在内部空间中的光源，其中，至少一个光源设立成，以对于人类不可察觉的波长的光来照明至少挡风玻璃。
本发明基于如下方式(Ansatz)，从眼镜的视线应该由追踪明确排除的确定区域被遮盖。这尤其涉及穿过挡风玻璃的视线。通过使用由车辆的内部空间中的相应的光源产生的、限定的波长和足够高的发光强度的光实现遮盖。该光的波长处于对于人类可见的波长范围之外，然而所使用的波长或所使用的波长范围可以由光学获取装置、例如相机获取。光源将其光发送到挡风玻璃上，击中的光由挡风玻璃沿相机的方向反射。其击中到增强现实眼镜的相机上并且在那里超过穿过挡风玻璃从外部射入的光线。由此，在相机图像中，相应照射的位置作为亮点(heller Fleck)显现。如果整个挡风玻璃被照明，则玻璃的轮廓在相机图像中成像。作为结果，在相机图像中不可见起干扰作用的外界，从而能够实现可靠的姿态确定。在此，增强现实眼镜的概念应宽泛地理解，并且在不限制普遍性的情况下还包括混合现实眼镜、数据眼镜和头戴式显示器。
对于在增强现实眼镜中位置正确地显现对象的一个重要挑战是眼镜相对于被观察对象的正确的位置确定。眼镜系统相对于已知对象空间上记录的步骤被称为校准。校准的已知方法使用多点法，在其中使被观察的对象的已知3D坐标与真实空间中的观察点相关联。例如标记所观察的对象的角部在真实空间中的一个点并且将其与在虚拟空间中的相同的点相关联。这利用多个点重复，由此可以确定眼镜的坐标系到对象坐标系统的转换规则。通过挡风玻璃的照明，如上所述，挡风玻璃的几何形状在相机图像中成像。如果整个挡风玻璃在视野中，则可以通过挡风玻璃的已知几何形状(虚拟数据)确定与相机图像(真实数据)的棱边调准。在此，通过最佳拟合算法将玻璃的已知几何形状成像到探测到的棱边上并且因此确定必要的校准转换。在此，仅需要唯一的相机，因为用户的头部连续地至少略微相对于玻璃运动并且因此获取朝向对象、也就是说玻璃的不同视角。对于使用者而言，为了校准的目的可以迫使初始化运动。例如，可以要求使用者将其头从左向右摆动一次。
根据本发明的一个方面，姿态确定装置或校准装置可以布置在增强现实眼镜中或机动车中。当布置在机动车中时，必须由增强现实眼镜引起的计算功率减小，这对于电池运行中的成本和运行时间起到积极的作用。与之相反，将眼镜布置在增强现实眼镜中具有如下优点，眼镜不依赖于确定的技术，其必须构建在车辆中，而是可以自主地进行姿态确定或校准。
根据本发明的一个方面，机动车的另外的玻璃或机动车的内部空间中的对象由所述至少一个光源或由另外的光源以对于人类不可察觉的波长的光来照明。在驾驶期间，增强现实眼镜的光学获取装置的视线区域的主要包括挡风玻璃的区域，因为驾驶员必须注意行车道，然而也可以通过侧玻璃或其它玻璃获取外部空间的起干扰作用的影响。同样地，可能产生外部空间在车内后视镜处或在内部空间中的其它镜反射面处的不期望的反射。由此产生的干扰可以通过将根据本发明的解决方案的用途同样扩展到这些玻璃和对象上来避免。
根据本发明的一个方面，挡风玻璃、另外的玻璃或机动车的内部空间中的对象具有反射层，该反射层将对于人类不可察觉的波长的光沿光学获取装置的方向反射。在此，反射层例如可以具有棱镜结构或全息光学元件。通过使用反射层，提高了沿相机的方向反射的光的份额，从而可以降低光源的发光强度。
附图说明
本发明的另外的特征由以下描述和所附权利要求结合附图变得显而易见。
图1示意性地示出增强现实眼镜；
图2示意性地示出了在机动车中用于确定增强现实眼镜的姿态以及用于校准增强现实眼镜的系统；
图3示意性示出用于支持增强现实眼镜的姿态确定、用于确定增强现实眼镜的姿态并用于校准增强现实眼镜的方法；
图4示出用于校准和确定增强现实眼镜的姿态的组合装置的第一实施方式；
图5示出用于校准和确定增强现实眼镜的姿态的组合装置的第二实施方式；
图6示意性地示出了机动车的内部空间，在其中实现了根据本发明的解决方案；
图7示出在接通光源的情况下图6的内部空间，
图8示意性地示出了在来自图6的内部空间中增强现实眼镜的光学获取装置的视野；且
图9示出了在接通光源的情况下图8的视野。
具体实施方式
为了更好地理解本发明的原理，下面借助附图对本发明的实施方式进行更详细说明。显然，本发明不限于这些实施方式，并且在不脱离如其在所附权利要求中限定的本发明的保护范围的情况下，所描述的特征也可以被组合或修改。
图1示意性地示出增强现实眼镜1。增强现实眼镜1具有光学获取装置2，该光学获取装置2例如具有相机3，用于获取增强现实眼镜1的环境的环境数据。在此，光学获取装置2设立成除了对于人类可见的光之外也获取对于人类不可见的波长的光。借助于接口4，存在与外部的姿态确定装置5的连接，用于借助环境数据来确定增强现实眼镜1的姿态。为此，姿态确定装置5可以例如探测和评估图像数据中的棱边或特征点。姿态确定装置5自然也可以是增强现实眼镜1的组成部分。此外，通过接口4存在与外部校准装置6的连接，用于确定用于该增强现实眼镜的转换规则。校准装置6为此例如可以利用棱边的已知几何形状执行通过光学获取装置探测的棱边的调准。该校准装置6自然同样可以是增强现实眼镜1的组成部分。借助于图形单元7，可以在使用转换规则的情况下相应于所确定的姿态来匹配增强现实眼镜1的显示。为此，姿态确定装置5和图形单元7可相互交换数据。图形单元7可以如在实施例中所示那样是增强现实眼镜1的组成部分，或者可以经由接口与增强现实眼镜1连接。由图形单元7生成的显示通过投影单元8显现。在图1的实施例中，使用单目显示器，即显示器仅布置在用户的一只眼睛前面。当前描述的解决方案显然也可以利用具有双目显示器的增强现实眼镜1(在其中每只眼睛使用一个显示器)或者利用双目显示器(在其中对于两只眼睛使用一个共同的显示器)来实现。
图2示意性地示出了用于确定增强现实眼镜1的姿态以及用于校准增强现实眼镜1的系统。除了增强现实眼镜1之外，系统还包括机动车20。在机动车20的内部空间中构建有至少一个光源21，所述光源以对于人类不可察觉的波长的光来照明至少机动车20的挡风玻璃22。挡风玻璃22以及必要时另外的玻璃(Scheibe)将由光源21射出的光线沿增强现实眼镜1的光学获取装置的方向反射。挡风玻璃22以及另外的玻璃为此可以设有反射层23。光学获取装置获取反射的光，并且通过无线或有线连接将相机图像传输到姿态确定装置5或校准装置6处。在该实施例中，姿态确定装置5和校准装置6实现在机动车20中，而不是增强现实眼镜1的组成部分。借助由光学获取装置获取的信息，姿态确定装置5确定增强现实眼镜1的姿态。此外，通过使通过光学获取装置探测的挡风玻璃22的棱边与挡风玻璃22的已知几何形状进行调准，校准装置6可以确定用于增强现实眼镜1的转换规则。此外，机动车20具有导航系统24、数据传输单元25以及一系列辅助系统26，其中一个示例性地示出。借助于数据传输单元25可以建立与服务提供商的连接。存在存储器27以存储数据。机动车20的不同部件之间的数据交换通过网络28进行。由图形单元7从不同车辆系统的数据中计算用于增强现实眼镜1的显示。在图2中，图形单元实现在机动车20中，但是它也可以是增强现实眼镜1的组成部分。
图3示意性地示出了在机动车中用于支持增强现实眼镜的姿态确定、用于确定增强现实眼镜的姿态和用于校准增强现实眼镜的方法。在第一步骤中，为了支持光源的姿态确定，产生对于人类不可察觉的波长的光10。然后，利用这样产生的光照明机动车的至少一个挡风玻璃11。由挡风玻璃反射的光由光学获取装置来获取12。最后，借助由光学获取装置获取的信息可以确定增强现实眼镜的姿态13。同样可能的是，借助所探测的信息确定用于增强现实眼镜的转换规则14。
图4示出用于校准和确定增强现实眼镜的姿态的组合装置30的第一实施方式的简化示意图。装置30具有入口31，通过该入口可以接收增强现实眼镜的相机3的图像数据。此外，装置30具有图像处理单元32，用于探测图像数据中的棱边或特征点。分析单元33从棱边或特征点确定增强现实眼镜的姿态。此外，分析单元33借助于棱边或特征点与棱边或特征点的已知几何形状的调准来确定用于增强现实眼镜的转换规则。通过装置30的出口36将关于所确定的姿态以及关于转换规则的信息输出到图形单元7处。图形单元7然后可以在使用转换规则的情况下相应于确定的姿态来匹配增强现实眼镜的显示。在此，如此匹配增强现实眼镜的显示，使得可见的物体在光学上正确地与所显示的物体重叠。图形单元7可以是增强现实眼镜的组成部分，或可以通过接口与增强现实眼镜连接。
图像处理单元32和分析单元33可以由控制单元34控制。必要时，通过用户接口37可以改变图像处理单元32、分析单元33或控制单元34的设置。在装置30中堆积的数据可以在需要时存储在装置30的存储器35中，例如用于稍后的评估或者通过装置30的部件的使用。图像处理单元32、分析单元33以及控制单元34可以实现为专用的硬件、例如作为集成电路。然而，它们自然可以部分地或完全地组合，或实现为运行在合适的处理器上、例如在GPU上的软件。入口31和出口36可以实现为分开的接口或组合的双向接口。装置30可以是增强现实眼镜的组成部分或者通过接口与增强现实眼镜连接。
图5示出用于校准和用于确定增强现实眼镜的姿态的组合装置40的第二实施方式的简化示意图。装置40具有处理器42和存储器41。例如，装置40是计算机或控制设备。装置40具有用于接收信息、例如增强现实眼镜的相机的图像数据的入口43。在存储器41中存储有指令，该指令在通过处理器42执行时安排装置40探测图像数据中的棱边或特征点，并且借助于棱边或特征点与棱边或特征点的已知几何形状的调准来确定用于增强现实眼镜的转换规则。此外，指令可以在通过处理器42执行时对此安排装置40从棱边或特征点来确定增强现实眼镜的姿态。因此，存储在存储器41中的指令体现可通过处理器42执行的程序，该程序实现根据本发明的方法。由处理器42生成的数据通过出口44提供。此外，它们可以存储在存储器41中。入口43和出口44可以联合为双向接口。
处理器42可以包括一个或多个处理器单元，例如微处理器、数字信号处理器或其组合。
所描述的实施方式的存储器35,41既可以具有易失性存储区域也可以具有非易失性存储区域，并且包括各种不同的存储设备和存储介质，例如硬盘、光学存储介质或半导体存储器。
图6和图7示意性地示出了机动车20的内部空间，在该内部空间中实现了根据本发明的解决方案。在机动车20中构建有光源21，其在所示的实施例中安装在车顶上。显然，光源21也可以构建在其他位置上，例如在仪表玻璃上或在平视式显示器的投影单元的区域中。同样可能的是，使用多于一个光源21。图6示出在光源21关闭时的情况，图7示出在光源21接通时的情况。光源21产生对于人类不可见的波长的光，例如在红外光谱范围中的光。光源21如此构造，使得由其产生的光线几乎仅击中到挡风玻璃22上，并且在此尽可能完全地将其照亮。挡风玻璃22的照亮在图7中通过挡风玻璃22的阴影线表明。击中到挡风玻璃22上的光被反射并且击中到增强现实眼镜1的光学获取装置2上。为此目的，挡风玻璃22可以设有反射层，该反射层优选地仅作用于由光源21产生的波长。击中到光学获取装置2上的光超过从外部穿过挡风玻璃22击中到光学获取装置2上的光。因为整个挡风玻璃22被照射，所以挡风玻璃22的轮廓在相机图像中成像，相应地被照射的位置作为亮点显现。由此在相机图像中不可见起干扰作用的外界。通过对相机数据的过滤，可以将用于进一步处理的亮点涂黑。
自然地，所描述的方法可以扩展到任意其他的玻璃。为此，必要时可以使用另外的光源，它们精确地朝着另外的玻璃取向。同样可以以相同的形式和方式遮蔽其它起干扰作用的对象，尤其起强反射作用的对象，如镜或铬表面和漆表面。
图8和图9示意性地示出了在来自图6的内部空间中的增强现实眼镜的光学获取装置的视野。图8示出了在光源关闭时的情况，图9示出了在光源接通时的情况。在图9中的阴影区域由光源照射并且由此在相机图像中显得明亮。由此，挡风玻璃显得几乎不透明。
附图标记列表
1 增强现实眼镜
2 光学获取装置
3 相机
4 接口
5 姿态确定装置
6 校准装置
7 图形单元
8 投影单元
10 产生对于人类不可察觉的波长的光
11 照明挡风玻璃
12 获取反射的光
13 确定姿态
14 确定转换规则
20 机动车
21 光源
22 挡风玻璃
23 反射层
24 导航系统
25 数据传输单元
26 辅助系统
27 存储器
28 网络
30 装置
31 入口
32 图像处理单元
33 分析单元
34 控制单元
35 存储器
36 出口
37 用户接口
40 装置
41 存储器
42 处理器
43 入口
44 出口。
参考
[1] Guy Berg："Das Vehicle in the Loop - Ein Werkzeug für die Entwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystem"，慕尼黑联邦国防大学航天航空系博士论文 (2014),
Figure DEST_PATH_IMAGE002
。

Claims (13)

1.一种用于在机动车(20)中确定增强现实眼镜(1)的姿态的系统，具有：
- 至少一个布置在所述机动车(20)中的光源(21)，用于以对于人类不可察觉的波长的光照明(11)所述机动车(20)的至少一个挡风玻璃(22)；
- 布置在所述增强现实眼镜(1)中的光学获取装置(2)，所述光学获取装置能够获取(12)对于人类不可察觉的波长的光；和
- 用于借助由所述光学获取装置(2)获取的信息确定(13)所述增强现实眼镜(1)的姿态的姿态确定装置(5)。
2.一种用于在机动车(20)中校准增强现实眼镜(1)的系统，具有：
- 至少一个布置在所述机动车(20)中的光源(21)，用于以对于人类不可察觉的波长的光照明(11)所述机动车(20)的至少一个挡风玻璃(22)；
- 布置在所述增强现实眼镜(1)中的光学获取装置(2)，所述光学获取装置能够获取(12)对于人类不可察觉的波长的光；和
- 校准装置(6)，用于通过由所述光学获取装置(2)探测的所述挡风玻璃(22)的棱边与所述挡风玻璃(22)的已知几何形状的调准来确定(14)用于所述增强现实眼镜(1)的转换规则。
3.根据权利要求1或2所述的系统，其中，所述机动车(20)的另外的玻璃或所述机动车(20)的内部空间中的对象由至少一个光源(21)或由另外的光源以对于人类不可察觉的波长的光来照明。
4.根据前述权利要求中任一项所述的系统，其中，所述挡风玻璃(22)、所述另外的玻璃或所述在所述机动车(20)的内部空间中的对象具有反射层(23)，所述反射层将对于人类不可察觉的波长的光沿所述光学获取装置(2)的方向反射。
5.根据权利要求4所述的系统，其中，所述反射层(23)具有棱镜结构或全息光学元件。
6.根据前述权利要求中任一项所述的系统，其中所述光学获取装置(2)具有相机(3)。
7.根据前述权利要求中任一项所述的系统，其中所述姿态确定装置(5)或所述校准装置(6)布置在所述增强现实眼镜(1)中或所述机动车(20)中。
8.一种用于在机动车(20)中确定增强现实眼镜(1)的姿态的方法，具有以下步骤：
- 以对于人类不可觉察的波长的光照明(11)所述机动车(20)的至少一个挡风玻璃(22)；
- 通过布置在所述增强现实眼镜(1)中的光学获取装置(2)获取(12)对于人类不可察觉的波长的、由所述机动车(20)的挡风玻璃(22)反射的光；和
- 借助由所述光学获取装置(2)获取的信息来确定(13)所述增强现实眼镜(1)的姿态。
9.一种用于在机动车(20)中校准增强现实眼镜(1)的方法，具有以下步骤：
- 以对于人类不可觉察的波长的光照明(11)所述机动车(20)的至少一个挡风玻璃(22)；
- 通过布置在所述增强现实眼镜(1)中的光学获取装置(2)获取(12)对于人类不可察觉的波长的、由所述机动车(20)的挡风玻璃(22)反射的光；且
- 通过由所述光学获取装置(2)探测的所述挡风玻璃(22)的棱边与所述挡风玻璃(22)的已知几何形状的调准来确定(14)用于所述增强现实眼镜(1)的转换规则。
10.根据权利要求8或9所述的方法，其中，所述光学获取装置(2)具有相机(3)。
11. 一种用于在机动车(20)中支持增强现实眼镜(1)的姿态确定的方法，具有以下步骤：
- 产生(10)对于人类不可察觉的波长的光；和
- 以对于人类不可察觉的波长的光照明(11)所述机动车(20)的至少一个挡风玻璃(22)。
12.一种机动车(20)，具有挡风玻璃(22)和至少一个布置在内部空间中的光源(21)，其特征在于，至少一个光源(21)设立成，以对于人类不可察觉的波长的光来照明(11)至少所述挡风玻璃(22)。
13.根据权利要求12所述的机动车(20)，其中，所述挡风玻璃(22)具有反射层(23)，所述反射层设立成，将对于人类不可察觉的波长的光沿光学获取装置(2)的方向反射。
CN201880072128.5A 2017-11-07 2018-10-10 用于确定增强现实眼镜的姿态的系统和方法 Active CN111417885B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017219790.0 2017-11-07
DE102017219790.0A DE102017219790A1 (de) 2017-11-07 2017-11-07 System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
PCT/EP2018/077645 WO2019091688A1 (de) 2017-11-07 2018-10-10 System und verfahren zum bestimmen einer pose einer augmented-reality-brille, system und verfahren zum einmessen einer augmented-reality-brille, verfahren zum unterstützen einer posenbestimmung einer augmented-reality-brille und für das verfahren geeignetes kraftfahrzeug

Publications (2)

Publication Number Publication Date
CN111417885A true CN111417885A (zh) 2020-07-14
CN111417885B CN111417885B (zh) 2022-07-29

Family

ID=63896103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072128.5A Active CN111417885B (zh) 2017-11-07 2018-10-10 用于确定增强现实眼镜的姿态的系统和方法

Country Status (4)

Country Link
EP (1) EP3707547A1 (zh)
CN (1) CN111417885B (zh)
DE (1) DE102017219790A1 (zh)
WO (1) WO2019091688A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021109083A1 (de) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Tracking im Fahrzeuginnenraum mit einem Tiefensensor in einer Datenbrille
DE102021109082A1 (de) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Posenbestimmung in einer Datenbrille
DE102022121815A1 (de) 2022-08-29 2024-02-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Innenraum-Trackingsystems in einem Fahrzeug

Citations (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2060406A1 (en) * 1991-04-22 1992-10-23 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
JP2004294138A (ja) * 2003-03-26 2004-10-21 Hitachi Ltd 光線方向測定装置および測定方法
EP1605233A1 (en) * 2004-06-11 2005-12-14 Nissan Motor Co., Ltd. Driving support system and driving support method
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
DE102009004432A1 (de) * 2008-01-25 2009-07-30 Denso Corporation, Kariya Kraftfahrzeuganzeigevorrichtung zum Anzeigen eines ein vorderes Hindernis umkreisenden Bildflecks
JP2009251194A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 表示装置、ヘッドアップディスプレイ及びそれを用いた移動体
US20100001928A1 (en) * 2008-06-30 2010-01-07 Honeywell International Inc. Head-mountable cockpit display system
US20100148632A1 (en) * 2006-07-18 2010-06-17 Arjen Boersma Use of a plasticizer in an electroactive polymer composition
US20100253600A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Full-windshield head-up display enhancement: anti-reflective glass hard coat
CN102047166A (zh) * 2008-05-28 2011-05-04 罗伯特·博世有限公司 用于产生机动车周围环境的图像的装置、摄像机和方法
US20110199685A1 (en) * 2010-02-12 2011-08-18 Sony Corporation Optical device, sun screening apparatus, fitting, window material, and method of producing optical device
CN103353677A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103568955A (zh) * 2013-09-30 2014-02-12 深圳市领华数据信息有限公司 车内玻璃投影的方法及系统
CN103974048A (zh) * 2014-04-28 2014-08-06 京东方科技集团股份有限公司 控制可穿戴设备投影的方法及装置、可穿戴设备
CN103984096A (zh) * 2013-02-13 2014-08-13 精工爱普生株式会社 图像显示装置以及图像显示装置的显示控制方法
GB201503984D0 (en) * 2015-03-09 2015-04-22 Jaguar Land Rover Ltd Windshield monitoring system
CN104656257A (zh) * 2015-01-23 2015-05-27 联想(北京)有限公司 信息处理方法及电子设备
EP2891966A1 (en) * 2014-01-06 2015-07-08 Samsung Electronics Co., Ltd Electronic glasses and method for correcting color blindness
US20150193980A1 (en) * 2014-01-06 2015-07-09 Qualcomm Incorporated Calibration of augmented reality (ar) optical see-through display using shape-based alignment
US20150235435A1 (en) * 2013-03-11 2015-08-20 Magic Leap, Inc. Recognizing objects in a passable world model in augmented or virtual reality systems
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
CN105026983A (zh) * 2013-01-09 2015-11-04 Lg电子株式会社 提供眼睛注视校准的头戴式显示器及其控制方法
CN105373218A (zh) * 2014-08-13 2016-03-02 英派尔科技开发有限公司 用于改进眼睛跟踪的场景分析
DE102014218406A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Infrarotmuster in Scheiben von Fahrzeugen
DE102014221190A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Infrarotmuster in Scheiben von Fahrzeugen
US20160163107A1 (en) * 2014-12-09 2016-06-09 Industrial Technology Research Institute Augmented Reality Method and System, and User Mobile Device Applicable Thereto
CN105683813A (zh) * 2013-11-11 2016-06-15 Lg电子株式会社 头戴式显示器及其控制方法
CN105899996A (zh) * 2013-12-06 2016-08-24 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
CN106062826A (zh) * 2013-11-11 2016-10-26 索尼互动娱乐股份有限公司 图像生成装置以及图像生成方法
CN106095102A (zh) * 2016-06-16 2016-11-09 深圳市金立通信设备有限公司 一种虚拟现实显示界面处理的方法及终端
WO2016204942A1 (en) * 2015-06-17 2016-12-22 Geo Semiconductor Inc. Vehicle vision system
CN106324839A (zh) * 2016-10-18 2017-01-11 孙绪刚 基于透明成像玻璃的车载抬头显示系统
US20170011555A1 (en) * 2015-07-06 2017-01-12 Seiko Epson Corporation Head-mounted display device and computer program
CN106338828A (zh) * 2016-08-31 2017-01-18 京东方科技集团股份有限公司 车载增强现实系统、方法和设备
DE102015219859A1 (de) * 2015-10-13 2017-04-13 Carl Zeiss Vision International Gmbh Vorrichtung und Verfahren für die AR-Darstellung
CN106664393A (zh) * 2014-07-31 2017-05-10 索尼公司 信息处理装置、信息处理方法以及图像显示系统
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
CN106950695A (zh) * 2017-03-31 2017-07-14 谢亦瞻 一种vr眼镜
CN106994547A (zh) * 2016-01-26 2017-08-01 上海大众联合发展车身配件有限公司 一种mig焊接和mag焊接自动切换的弧焊岛系统
CN107870432A (zh) * 2017-10-19 2018-04-03 安徽奥兹信息科技有限公司 可调节的vr眼镜盒设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012211729A1 (de) * 2012-07-05 2014-01-09 Bayerische Motoren Werke Aktiengesellschaft Kamerasystem zum Erfassen der Position eines Fahrers eines Kraftfahrzeugs
US9619939B2 (en) 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
DE102014217963A1 (de) 2014-09-09 2016-03-10 Bayerische Motoren Werke Aktiengesellschaft Posenbestimmung einer Datenbrille mithilfe von passiven IR-Markern

Patent Citations (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2060406A1 (en) * 1991-04-22 1992-10-23 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
JP2004294138A (ja) * 2003-03-26 2004-10-21 Hitachi Ltd 光線方向測定装置および測定方法
EP1605233A1 (en) * 2004-06-11 2005-12-14 Nissan Motor Co., Ltd. Driving support system and driving support method
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
US20100148632A1 (en) * 2006-07-18 2010-06-17 Arjen Boersma Use of a plasticizer in an electroactive polymer composition
DE102009004432A1 (de) * 2008-01-25 2009-07-30 Denso Corporation, Kariya Kraftfahrzeuganzeigevorrichtung zum Anzeigen eines ein vorderes Hindernis umkreisenden Bildflecks
JP2009251194A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 表示装置、ヘッドアップディスプレイ及びそれを用いた移動体
CN102047166A (zh) * 2008-05-28 2011-05-04 罗伯特·博世有限公司 用于产生机动车周围环境的图像的装置、摄像机和方法
US20100001928A1 (en) * 2008-06-30 2010-01-07 Honeywell International Inc. Head-mountable cockpit display system
US20100253600A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Full-windshield head-up display enhancement: anti-reflective glass hard coat
US20110199685A1 (en) * 2010-02-12 2011-08-18 Sony Corporation Optical device, sun screening apparatus, fitting, window material, and method of producing optical device
CN105026983A (zh) * 2013-01-09 2015-11-04 Lg电子株式会社 提供眼睛注视校准的头戴式显示器及其控制方法
CN103984096A (zh) * 2013-02-13 2014-08-13 精工爱普生株式会社 图像显示装置以及图像显示装置的显示控制方法
US20150235435A1 (en) * 2013-03-11 2015-08-20 Magic Leap, Inc. Recognizing objects in a passable world model in augmented or virtual reality systems
CN103353677A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103568955A (zh) * 2013-09-30 2014-02-12 深圳市领华数据信息有限公司 车内玻璃投影的方法及系统
CN106062826A (zh) * 2013-11-11 2016-10-26 索尼互动娱乐股份有限公司 图像生成装置以及图像生成方法
CN105683813A (zh) * 2013-11-11 2016-06-15 Lg电子株式会社 头戴式显示器及其控制方法
CN105899996A (zh) * 2013-12-06 2016-08-24 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
EP2891966A1 (en) * 2014-01-06 2015-07-08 Samsung Electronics Co., Ltd Electronic glasses and method for correcting color blindness
US20150193980A1 (en) * 2014-01-06 2015-07-09 Qualcomm Incorporated Calibration of augmented reality (ar) optical see-through display using shape-based alignment
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
CN103974048A (zh) * 2014-04-28 2014-08-06 京东方科技集团股份有限公司 控制可穿戴设备投影的方法及装置、可穿戴设备
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口
CN106664393A (zh) * 2014-07-31 2017-05-10 索尼公司 信息处理装置、信息处理方法以及图像显示系统
CN105373218A (zh) * 2014-08-13 2016-03-02 英派尔科技开发有限公司 用于改进眼睛跟踪的场景分析
DE102014218406A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Infrarotmuster in Scheiben von Fahrzeugen
DE102014221190A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Infrarotmuster in Scheiben von Fahrzeugen
US20160163107A1 (en) * 2014-12-09 2016-06-09 Industrial Technology Research Institute Augmented Reality Method and System, and User Mobile Device Applicable Thereto
CN104656257A (zh) * 2015-01-23 2015-05-27 联想(北京)有限公司 信息处理方法及电子设备
GB201503984D0 (en) * 2015-03-09 2015-04-22 Jaguar Land Rover Ltd Windshield monitoring system
WO2016204942A1 (en) * 2015-06-17 2016-12-22 Geo Semiconductor Inc. Vehicle vision system
US20170011555A1 (en) * 2015-07-06 2017-01-12 Seiko Epson Corporation Head-mounted display device and computer program
DE102015219859A1 (de) * 2015-10-13 2017-04-13 Carl Zeiss Vision International Gmbh Vorrichtung und Verfahren für die AR-Darstellung
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
CN106994547A (zh) * 2016-01-26 2017-08-01 上海大众联合发展车身配件有限公司 一种mig焊接和mag焊接自动切换的弧焊岛系统
CN106095102A (zh) * 2016-06-16 2016-11-09 深圳市金立通信设备有限公司 一种虚拟现实显示界面处理的方法及终端
CN106338828A (zh) * 2016-08-31 2017-01-18 京东方科技集团股份有限公司 车载增强现实系统、方法和设备
CN106324839A (zh) * 2016-10-18 2017-01-11 孙绪刚 基于透明成像玻璃的车载抬头显示系统
CN106950695A (zh) * 2017-03-31 2017-07-14 谢亦瞻 一种vr眼镜
CN107870432A (zh) * 2017-10-19 2018-04-03 安徽奥兹信息科技有限公司 可调节的vr眼镜盒设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏德芳: "基于人工标识的移动增强现实配准方法", 《现代电子技术》 *

Also Published As

Publication number Publication date
DE102017219790A1 (de) 2019-05-09
WO2019091688A1 (de) 2019-05-16
EP3707547A1 (de) 2020-09-16
CN111417885B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
EP1933694B1 (en) Eye tracker having an extended span of operating distances
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
US7533989B2 (en) Sight-line detection method and device, and three-dimensional view-point measurement device
JP2020034919A (ja) 構造化光を用いた視線追跡
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
CN111417885B (zh) 用于确定增强现实眼镜的姿态的系统和方法
KR20180101496A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CN107427208B (zh) 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
US20170060235A1 (en) Method of operating a vehicle head-up display
WO2019028152A1 (en) OCULAR TRACKING USING TEMPORAL MULTIPLEXING
US20160224852A1 (en) Vehicle operator monitoring system and method
CN110031975B (zh) 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜
JP3372926B2 (ja) ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
US10809800B2 (en) Robust convergence signal
KR20190004806A (ko) 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션
US20230195226A1 (en) Attention cues for head-mounted display (hmd)
JP2005198743A (ja) 三次元視点計測装置
EP3542308B1 (en) Method and device for eye metric acquisition
US11694345B2 (en) Moving object tracking using object and scene trackers
JPH06189906A (ja) 視線方向計測装置
JP2016051317A (ja) 視線検出装置
CN109791294A (zh) 用于运行具有数据眼镜的显示系统的方法和设备
JP3185522B2 (ja) 車両用視線方向計測装置
JP2022546746A (ja) 視線方向の決定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant