CN111655528A - 控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质 - Google Patents

控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质 Download PDF

Info

Publication number
CN111655528A
CN111655528A CN201980010977.2A CN201980010977A CN111655528A CN 111655528 A CN111655528 A CN 111655528A CN 201980010977 A CN201980010977 A CN 201980010977A CN 111655528 A CN111655528 A CN 111655528A
Authority
CN
China
Prior art keywords
display
augmented reality
motor vehicle
display device
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980010977.2A
Other languages
English (en)
Other versions
CN111655528B (zh
Inventor
V.萨多维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN111655528A publication Critical patent/CN111655528A/zh
Application granted granted Critical
Publication of CN111655528B publication Critical patent/CN111655528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)

Abstract

本发明涉及一种控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质。图形生成器生成(10)用于通过增强现实平视显示器设备进行的接触模拟的显示的导航标记。借助合适的方法可以附加地确定(11)参考对象。此外，图形生成器生成(12)用于通过增强现实平视显示器设备进行的显示的参考标记。最后，将导航标记和参考标记输出(13)到增强现实平视显示器设备的控制装置，以通过增强现实平视显示器设备进行显示。

Description

控制用于机动车的增强现实平视显示器设备的显示的方法、 设备和具有指令的计算机可读的存储介质
本发明涉及一种控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质。此外，本发明还涉及一种机动车，其中使用了根据本发明的方法或者根据本发明的设备。
随着虚拟和增强现实技术和应用的不断发展，它们也进入汽车中。增强现实(Augmented Reality，即AR，德文“erweiterte
Figure BDA0002609910660000011
”，扩展现实)是通过虚拟元素来丰富现实世界，在三维空间中将这些虚拟元素位置正确地登记(或者说显示)并且允许实时交互。由于在德语区的学术界中，相对于表述“扩展现实(erweiterte
Figure BDA0002609910660000012
)”更加认同表述“增强现实(Augmented Reality)”，因此下文中将使用“增强现实”。表述“混合现实(Mixed Reality)”也作为同义词使用。
平视显示器(Head-up-Display HUD)提供了一种可能的技术实现方式，以便相应地利用透视正确的虚拟扩展来丰富驾驶员工作场所。在此，安装在仪表板中的显示器的光线通过多个镜子和透镜折叠，并且通过投影面反射到驾驶员的眼睛中，从而使驾驶员感知到交通工具外部的虚拟图像。在汽车领域，通常将前挡风玻璃用作投影面，在显示时必须考虑前挡风玻璃的弯曲的形状。作为备选，有时还使用附加的、由玻璃或塑料制成的薄片，该薄片在驾驶员与前挡风玻璃之间布置在仪表板上。通过将显示与驾驶场景光学叠加，只需要较少的头部和眼睛运动来读取信息。此外减少了眼睛的适应工作，因为与显示的虚拟距离相关，需要较少地或完全不需要调节视力。但是，当前的HUD系列限于紧邻驾驶员的主要视野下方的显示，并且包含诸如速度显示的冗余信息，这些信息也可以在驾驶舱中的其它位置处找到。尽管这种显示技术减少了将视线从道路上转移开，但是这种技术还具有如下缺点，即必须说明所展现的信息并且将其转移到真实情景，因为在真实的场景中没有登记该信息。在复杂情景下，这可能是一种耗费精神的认知过程。通过标记对象并且在其真实的参考位置处显现信息，即通过接触模拟(kontaktanaloge)的显示，可以直接在驾驶员的视野中显示关于环境的信息。这种以增强现实的形式对环境的直接在图形上的丰富可以显著降低认知转移要求。
增强现实提供了多种多样的应用可能性以通过车道和对象的接触模拟的标记来支持驾驶员。相对明显的示例主要涉及导航领域。传统的平视显示器中的经典的导航显示通常显示示意图，例如显示向右地直角延伸的箭头作为应该在下个机会右转弯的标志，而AR显示提供了明显更为有效的可能性。由于显示可以呈现为“环境的部分”，因此例如可以直接在真实的参考位置处非常有效地为驾驶员展现导航指示或危险警告。
在这种背景下，DE 10 2013 016 251 A1描述了一种用于在交通工具的交通工具环境的至少一个图像中增强地显示至少一个附加信息的方法。图像形成显示的背景。附加信息依据至少一个当前的驾驶情景或周围环境情景在颜色上变化地或者动画地在背景中叠加地输出。
此外，DE 10 2016 009 506 A1描述了一种用于显示交通工具的周围环境信息的方法，其中在交通工具中光学地显示周围环境的真实对象。在此，虚拟对象以扩展现实的形式叠加在真实的对象上。基于交通工具的当前运动特性或交通工具的周围环境中的至少一个真实对象的运动特性来确定用于显示虚拟对象的时间点。
按照增强现实在驾驶员的真实视野中登记虚拟信息对技术实施提出了很高的要求。为了能够位置准确且透视正确地在现实中显示虚拟内容，需要非常详细的关于周围环境以及交通工具自身运动的知识。为了使虚拟显现对于驾驶员来说透视正确地位于世界中，必须依据交通工具的位置在三维空间中使所述虚拟显现定位和定向。为此，必须将交通工具准确地定位在几厘米的准确度上。但是，即使利用DGPS系统(DGPS：DifferentialGlobal Positioning System；差分全球定位系统)，也只能实现约2m的精度。借助例如由GPS(GPS：Global Positioning System；全球定位系统)和关于道路标记的摄像机数据组成的传感器融合，可以提高精度。但是不能排除由于不准确性导致的显示错误。研究表明，这种不准确性可能导致增强的内容被错误地理解并且该功能因此不能提供支持。例如，接触模拟的导航中的不准确性可能导致，给驾驶员的接触模拟的导航指示与错误的转弯相关联[1]。
本发明要解决的技术问题是提供控制用于机动车的增强现实平视显示器设备的显示的解决方案，所述解决方案能够使得被错误定位的接触模拟的导航标记具有改善的明确性。
所述技术问题通过具有权利要求1的特征的方法、具有根据权利要求11所述的具有指令的计算机可读的存储介质以及具有权利要求12的特征的设备解决。本发明的优选的设计方案是从属权利要求的内容。
根据本发明的第一方面，控制用于机动车的增强现实平视显示器设备的显示的方法包括以下步骤：
-生成用于通过增强现实平视显示器设备进行的接触模拟的显示的导航标记；
-生成用于通过增强现实平视显示器设备进行的显示的参考标记；并且
-输出导航标记和参考标记以便通过增强现实平视显示器设备进行显示。
根据本发明的另一方面，计算机可读的存储介质包含指令，当计算机执行该指令时，该指令使计算机执行以下步骤以控制用于机动车的增强现实平视显示器设备的显示：
-生成用于通过增强现实平视显示器设备进行的接触模拟的显示的导航标记；
-生成用于通过增强现实平视显示器设备进行的显示的参考标记；并且
-输出导航标记和参考标记以便通过增强现实平视显示器设备进行显示。
在此，广义地理解术语计算机。计算机尤其也包括控制装置和其它基于处理器的数据处理设备。
根据本发明的另一方面，控制用于机动车的增强现实平视显示器设备的显示的设备具有：
-图形生成器，其用于生成用于通过增强现实平视显示器设备进行的接触模拟的显示的导航标记，并且用于生成用于通过增强现实平视显示器设备进行的显示的参考标记；和
-输出端，其用于输出导航标记和参考标记以便通过增强现实平视显示器设备进行显示。
在根据本发明的解决方案中，通过以下方式来减小导航标记可能的错误定位的影响，即除了导航标记之外还生成至少一个参考标记，并且通过增强现实平视显示器设备进行显示。准确性的提高是基于驾驶员可以根据参考标记分辨出导航标记的可能的不明确或者说歧义。因此，参考标记帮助驾驶员理解导航标记。
根据本发明的一方面，生成用于通过增强现实平视显示器设备进行接触模拟的显示的参考标记。这种接触模拟的显示的优点在于，它可以不引人注意地集成到增强现实显示中。因此，驾驶员不必辨别同时使用的不同显示形式。
根据本发明的一个方面，生成用于通过增强现实平视显示器设备进行情景模拟的显示的参考标记。在这种情况下，参考标记优选包括机动车的轨迹的示意图。根据轨迹，驾驶员在需要时可以轻易地确定他应该如何理解可能有歧义的导航标记，例如导航标记涉及的是多个可能的转弯的哪个。在此，由于例如可以使用情景目录，因此情景模拟的显示只需要较少的计算耗费。在这种目录中例如可以存储典型的交叉路口场景的示意图。
根据本发明的一方面，参考标记基于机动车的周围环境中的参考对象生成。优选地，参考对象是静态对象，例如交通工具、建筑物、柱子、交通标志、路灯或城市设施
Figure BDA0002609910660000041
这些对象的增强为接触模拟的导航标记提供了附加的参考。在存在例如由于交通工具运动而出现的不准确性的情况下，这些不准确性既涉及导航标记也涉及参考标记。在错误地定位参考标记的情况下，对于驾驶员来说通常仍然可以识别出被标记的应该是哪个参考对象。根据参考对象与参考标记之间的偏差，驾驶员能够显而易见或者说清楚地看出显示错误以何种形式和强度表现。这些知识帮助驾驶员理解同样被错误显示的导航标记。在情景模拟的显示中，参考对象也可以为驾驶员提供用于理解导航标记的提示，例如方式为利用停放的交通工具的标记来丰富交叉路口场景的示意图。
根据本发明的一方面，从地图确定参考对象以及其位置，所述导航标记也在此基础上生成。这具有的优点是，位置的确定只与很少的耗费关联。由于导航标记的生成和参考标记的生成基于相同的数据库进行，因此可以直接产生不同标记的一体化或者说集成的显示。
根据本发明的一方面，参考对象以及其位置借助机动车的传感机构进行确定。例如，可以借助雷达、激光雷达或立体摄像机来识别并分类对象。为了将参考标记与导航标记集成显示，在这种情况下，将所确定的、识别到的参考对象相对于机动车的位置换算为绝对位置。例如，可以在使用机动车的当前GPS位置的情况下将相对位置换算为世界坐标。借助机动车的传感机构确定参考对象以及其位置尽管需要较高的计算耗费，但是作为回报，比只使用地图的情况提供了明显更多可能的参考对象。以这种方式尤其也能够将停放的或者行驶的机动车用作参考对象。
特别有利地，根据本发明的方法或者根据本发明的设备在交通工具中、尤其是机动车中进行使用。
根据以下描述和所附权利要求结合附图示出了本发明的另外的特征。
图1示意性示出了控制用于机动车的增强现实平视显示器设备的显示的方法；
图2示出了控制用于机动车的增强现实平视显示器设备的显示的设备的第一实施方式；
图3示出了控制用于机动车的增强现实平视显示器设备的显示的设备的第二实施方式；
图4示意性示出了机动车，在该机动车中实现了根据本发明的解决方案；
图5示意性示出了用于机动车的增强现实平视显示器设备的一般结构；
图6示出了无错误地定位的导航标记的增强现实显示；
图7示出了错误地定位的导航标记的增强现实显示；
图8示出了具有附加的接触模拟的参考标记的、无错误地定位的导航标记的增强现实显示；
图9示出了具有附加的接触模拟的参考标记的、错误地定位的导航标记的增强现实显示；并且
图10示出了具有附加的情景模拟的参考标记的、错误地定位的导航标记的增强现实显示。
为了更好地理解本发明的原理，以下参照附图更详细地阐述本发明的实施方式。不言而喻的是，本发明不限于这些实施方式，并且还可以组合或修改所描述的特征，而不脱离本发明的如在所附权利要求书中定义的保护范围。
图1示意性示出了控制用于机动车的增强现实平视显示器设备的显示的方法。图形生成器生成10用于通过增强现实平视显示器设备进行的接触模拟的显示的导航标记。借助合适的方法可以附加地确定11参考对象，例如机动车的周围环境中的静态对象。例如，可以根据地图确定参考对象以及其位置，所述导航标记也在此基础上生成10。备选地，可以借助机动车的传感机构确定参考对象以及其位置。
此外，图形生成器生成12用于通过增强现实平视显示器设备进行的显示的参考标记。在此，可以生成用于接触模拟显示或情景模拟显示的参考标记。优选地，基于参考对象生成参考标记。尤其在情景模拟显示的情况下，参考标记可以包括机动车的轨迹的示意图。为了集成地显示参考标记与导航标记，优选将所确定的、识别的到参考对象相对于机动车的位置换算成绝对位置。
最后，将导航标记和参考标记输出13到增强现实平视显示器设备的控制装置，以通过增强现实平视显示器设备进行显示。代替将所生成的标记输出到控制装置，可以备选地只将生成相应标记的指示输出给控制装置。还可以完全由增强现实平视显示器设备的控制装置执行所描述的方法。
图2示出了控制用于机动车的增强现实平视显示器设备的显示的设备20的第一实施方式的简化的示意图。设备20具有输入端21，通过该输入端例如可以接收摄像机43的图像数据、传感器系统44的数据或导航系统45的数据。传感器系统44例如可以具有用于探测机动车的周围环境中的对象的激光扫描仪或立体摄像机。此外，设备20具有分析单元22，该分析单元22可以基于接收到的数据确定参考对象以及其位置，例如机动车的周围环境中的静态对象。分析单元22例如可以根据地图确定参考对象以及其位置，所述导航标记也在此基础上生成。备选地，分析单元22也可以根据摄像机43的图像数据或传感器系统44的数据确定参考对象以及其位置。
图形生成器23生成用于通过增强现实平视显示器设备进行的接触模拟显示的导航标记以及用于通过增强现实平视显示器设备进行的显示的参考标记。在此，可以针对接触模拟显示或情景模拟显示生成参考标记。优选地，参考标记基于参考对象生成。尤其在情景模拟显示的情况下，参考标记可以包括机动车的轨迹的示意图。为了集成地显示参考标记与导航标记，优选将所确定的、识别到的参考对象相对于机动车的位置转换成绝对位置。
经由设备20的输出端26，将导航标记和参考标记输出到增强现实平视显示器设备的控制装置42。备选地，也可以只将生成相应标记的指示输出给控制装置42。然后，控制装置42可以将标记插入增强现实平视显示器设备的显示中。
分析单元22和图形生成器23可以由控制单元24进行控制。必要时可以通过用户界面27来更改分析单元22、图形生成器23或控制单元24的设置。在需要时，可以将设备20中累积的数据存储在设备20的存储器25中，例如用于以后的评估或用于由设备20的部件来使用。分析单元22、图形生成器23和控制单元24可以实现为专用硬件，例如实现为集成电路。当然，还可以将它们部分或完全组合地实现或作为软件实现，该软件在合适的处理器、例如GPU上运行。可以将输入端21和输出端26实现为分开的接口或者实现为组合的双向接口。在所描述的示例中，设备20是独立的部件。然而，设备20同样可以集成在增强现实平视显示器设备的控制装置42中。
图3示出了控制用于机动车的增强现实平视显示器设备的显示的设备30的第二实施方式的简化示意图。设备30具有处理器32和存储器31。所述设备30例如是计算机或控制装置。在存储器31中存储有指令，当处理器32执行所述指令时，该指令使设备30执行根据所描述的方法之一的步骤。由此，存储在存储器31中的指令体现了可通过处理器32执行的程序，该程序实现根据本发明的方法。设备30具有输入端33，其用于接收信息、例如导航数据或者关于机动车的周围环境的数据。由处理器32生成的数据通过输出端34提供。此外，还可以将数据存储在存储器31中。输入端33和输出端34可以组合成双向接口。
处理器32可以包括一个或多个处理器单元，例如微处理器、数字信号处理器或它们的组合。
所描述的实施方式的存储器25、31可以具有易失性和非易失性的存储器区域，并且可以包括不同的存储装置和存储介质，例如硬盘、光学存储介质或半导体存储器。
图4示意性示出了机动车40，在该机动车中实现了根据本发明的解决方案。机动车40具有带有所属的控制装置42的增强现实平视显示器设备41。此外，机动车40具有用于控制增强现实平视显示器设备41的显示的设备20。当然，也可以将设备20集成到增强现实平视显示器设备41中或者集成到增强现实平视显示器设备41的控制装置42中。机动车40的其它部件是摄像机43和用于检测对象的传感器系统44、导航系统45、数据传输单元46和一系列辅助系统47，其中示例性地示出了一个辅助系统。借助数据传输单元46可以建立与服务提供商的连接，例如用于调用地图数据。存在存储器48以存储数据。机动车40的不同部件之间的数据交换通过网络49进行。
图5示意性示出了用于机动车40的增强现实平视显示器设备41，借助该增强现实平视显示器设备可以将内容显示在机动车40的投影面52上，例如显示在前挡风玻璃上或附加的由玻璃或塑料制成的薄片上，所述薄片在驾驶员与前挡风玻璃之间布置在仪表板上。显示的内容通过成像单元50产生，并且借助光学模块51投影到投影面52上。在此，投影通常在方向盘上方的前挡风玻璃的区域中实现。成像单元50例如可以是LCD-TFT显示器。增强现实平视显示器设备41通常安装在机动车40的仪表板中。
以下参照图6至图10来描述本发明的优选的实施方式。
图6示出了无错误地定位的导航标记60的增强现实显示的示例。所示的是相对复杂的交叉路口场景的情况，其中在较短的距离中相继存在两个转弯。通过导航标记60增强了第一转弯。尽管是较复杂的情形，但对于驾驶员来说可以明确地识别出需要遵循哪个转弯。
图7示出了在错误地定位导航标记60的情况下图6中的交叉路口场景的增强现实显示。在存在这种例如可能由交通工具运动引起的不准确性的情况下，导航标记60可能会变得有歧义，并且被驾驶员错误地理解。歧义在于存在多个可能的转弯，但其中只有唯一的一个转弯被增强。这可能导致驾驶员决定错误的转弯。在所示的示例中不清楚导航标记60涉及第一转弯还是第二转弯。由于第一转弯只通入一条小的侧街，而第二转弯有交通标志保证并且通向较大的街道，因此驾驶员会错误地决定这个转弯的概率相当大。
图8示出了在导航标记60无错误地定位的情况下图6中的交叉路口场景的增强现实显示，其中显现了附加的接触模拟的参考标记61。在该示例中，利用通过虚线示出的参考标记61将不同的参考对象62加强。参考对象62有一个是交通标志，另外的是停放的交通工具。尤其是静态对象，如停放的交通工具、建筑物、柱子、交通标志和交通信号灯、路灯或者城市设施的元素，例如广告板和广告柱、公交车站的候车亭、长椅、桩等适合作为参考对象62。但是，也可以使用动态对象，例如其它运动中的交通工具。在无错误地定位导航标记60的情况下，附加的参考标记61不会直接使驾驶员受益。在错误地定位导航标记60时，则表现出优点。
图9示出了在错误地定位导航标记60的情况下图8中的增强现实显示。在此，导航标记60和参考标记61以相同的程度出错，因为不准确的原因不只影响了导航标记60而且还影响了参考标记61。驾驶员可以根据偏移的参考标记61识别出，他应该直接在停放的交通工具之后并且在第一交通标志之前转弯。由此清楚地表明导航标记60显示得太向上或太向后，并且第一转弯是正确的。
参考标记61的显示不一定必须接触模拟地进行。例如还可以结合接触模拟的导航标记60情景模拟地显示交叉路口场景。图10示出了具有这种附加的情景模拟的参考标记61的、被错误定位的导航标记60的增强现实显示的示例。参考标记61在此通过具有集成的转向箭头的交叉路口场景的示意图形成。这种参考标记61也适合作为接触模拟显示的补充在不准确的情况下提高显示的可理解性。必要时，可以利用识别到的对象的标记、例如利用停放的交通工具的示意图来丰富参考标记61。
附图标记列表
10 生成导航标记
11 确定参考对象
12 生成参考标记
13 输出导航标记和参考标记
20 设备
21 输入端
22 分析单元
23 图形生成器
24 控制单元
25 存储器
26 输出端
27 用户界面
30 设备
31 存储器
32 处理器
33 输入端
34 输出端
40 机动车
41 增强现实平视显示器设备
42 增强现实平视显示器设备的控制装置
43 摄像机
44 传感器系统
45 导航系统
46 数据传输单元
47 辅助系统
48 存储器
49 网络
50 成像单元
51 光学模块
52 投影面
60 导航标记
61 参考标记
62 参考对象
引用
[1]L.Pfannmüller et al.:，，Lead me the right way？！The impact ofPosition accuracy of augmented reality navigation arrows in a contactanalogue head-up display on driving performance,workload,and usability“,Proceedings of the 19th Treinnial Congress of the International ErgonomicsAssociation(IEA)2015

Claims (9)

1.一种控制用于机动车(40)的增强现实平视显示器设备(41)的显示的方法，所述方法具有以下步骤：
-生成(10)用于通过所述增强现实平视显示器设备(41)进行的接触模拟的显示的导航标记(60)；
-基于所述机动车(40)的周围环境中的参考对象(62)生成(12)用于通过所述增强现实平视显示器设备(41)进行的接触模拟的显示的参考标记(61)；并且
-输出(13)所述导航标记(60)和所述参考标记(61)，以便通过所述增强现实平视显示器设备(41)进行显示；
其中，通过所述参考对象(62)与所述参考标记(61)之间的偏差，导致被错误定位的导航标记(60)的显示错误的形式和强度对于所述机动车(40)的驾驶员是显而易见的。
2.根据权利要求1所述的方法，其中，从地图确定所述参考对象(62)和所述参考对象(62)的位置，也在此基础上生成(10)所述导航标记(60)。
3.根据权利要求1所述的方法，其中，借助所述机动车(40)的传感机构(43、44)确定所述参考对象(62)和所述参考对象(62)的位置。
4.根据权利要求3所述的方法，其中，为了将所述参考标记(61)与所述导航标记(60)集成显示，将所确定的、识别到的参考对象(62)相对于所述机动车(40)的位置换算为绝对位置。
5.根据权利要求1至4中任一项所述的方法，其中，所述参考对象(62)是静态对象。
6.根据权利要求5所述的方法，其中，所述静态对象是以下对象中的一个：交通工具、建筑物、柱子、交通标志、路灯或城市设施。
7.一种具有指令的计算机可读的存储介质，当计算机执行所述指令时，所述指令使计算机执行根据权利要求1至6中任一项所述的方法的步骤，以控制用于机动车(40)的增强现实平视显示器设备(41)的显示。
8.一种控制用于机动车(40)的增强现实平视显示器设备(41)的显示的设备(20)，具有：
-图形生成器(23)，所述图形生成器用于生成(10)用于通过所述增强现实平视显示器设备(41)进行的接触模拟的显示的导航标记(60)，并且用于基于所述机动车(40)的周围环境中的参考对象(62)生成(12)用于通过所述增强现实平视显示器设备(41)进行的接触模拟的显示的参考标记(61)；和
-输出端(26)，所述输出端用于输出(13)所述导航标记(60)和所述参考标记(61)，以便通过所述增强现实平视显示器设备(41)进行显示；
其中，通过所述参考对象(62)与所述参考标记(61)之间的偏差，导致被错误定位的导航标记(60)的显示错误的形式和强度对于所述机动车(40)的驾驶员是显而易见的。
9.一种具有增强现实平视显示器设备(41)的机动车(40)，其特征在于，所述机动车(40)具有根据权利要求8所述的设备(20)，或者所述机动车设置用于执行根据权利要求1至6中任一项所述的方法，以控制增强现实平视显示器设备(41)的显示。
CN201980010977.2A 2018-02-06 2019-01-29 控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质 Active CN111655528B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018201769.7 2018-02-06
DE102018201769.7A DE102018201769B4 (de) 2018-02-06 2018-02-06 Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
PCT/EP2019/052153 WO2019154673A1 (de) 2018-02-06 2019-01-29 Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug

Publications (2)

Publication Number Publication Date
CN111655528A true CN111655528A (zh) 2020-09-11
CN111655528B CN111655528B (zh) 2023-04-25

Family

ID=65278337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010977.2A Active CN111655528B (zh) 2018-02-06 2019-01-29 控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质

Country Status (4)

Country Link
EP (1) EP3749541B1 (zh)
CN (1) CN111655528B (zh)
DE (1) DE102018201769B4 (zh)
WO (1) WO2019154673A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
DE102020102278A1 (de) 2020-01-30 2021-08-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Navigationsunterstützung in einem Kraftfahrzeug auf Grundlage von Informationen aus mehreren erfassenden Kraftfahrzeugen
US11610342B2 (en) 2020-09-17 2023-03-21 Ford Global Technologies, Llc Integrated augmented reality system for sharing of augmented reality content between vehicle occupants

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130027367A (ko) * 2011-09-07 2013-03-15 동국대학교 산학협력단 내비게이션 장치 및 경로 표시 방법
CN104303211A (zh) * 2011-10-11 2015-01-21 戴姆勒股份公司 用于在车辆显示器上整合虚拟对象的方法
DE102014014833A1 (de) * 2014-10-07 2015-04-02 Daimler Ag Verfahren zur Darstellung von Umgebungsinformationen
DE102015006640A1 (de) * 2015-05-22 2016-03-10 Daimler Ag Darstellung augmentierter Navigationselemente durch ein Head-Up-Display System
US20160147073A1 (en) * 2013-06-28 2016-05-26 Denso Corporation Head-up display and program product
CN206031079U (zh) * 2016-07-25 2017-03-22 江苏奥格视特信息科技有限公司 一种增强现实车载平视显示器ar‑hud
CN107554425A (zh) * 2017-08-23 2018-01-09 江苏泽景汽车电子股份有限公司 一种增强现实车载平视显示器ar‑hud

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003850A1 (de) 2010-04-12 2011-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
DE102012001950A1 (de) 2012-02-02 2013-08-08 Daimler Ag Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung
DE102013016251A1 (de) 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102014013408A1 (de) * 2014-09-10 2015-04-02 Daimler Ag Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs
DE102015012590A1 (de) 2015-09-29 2016-03-03 Daimler Ag Verfahren zum Betrieb einer Anzeigevorrichtung
DE102016009506A1 (de) 2016-08-04 2017-04-13 Daimler Ag Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130027367A (ko) * 2011-09-07 2013-03-15 동국대학교 산학협력단 내비게이션 장치 및 경로 표시 방법
CN104303211A (zh) * 2011-10-11 2015-01-21 戴姆勒股份公司 用于在车辆显示器上整合虚拟对象的方法
US20160147073A1 (en) * 2013-06-28 2016-05-26 Denso Corporation Head-up display and program product
DE102014014833A1 (de) * 2014-10-07 2015-04-02 Daimler Ag Verfahren zur Darstellung von Umgebungsinformationen
DE102015006640A1 (de) * 2015-05-22 2016-03-10 Daimler Ag Darstellung augmentierter Navigationselemente durch ein Head-Up-Display System
CN206031079U (zh) * 2016-07-25 2017-03-22 江苏奥格视特信息科技有限公司 一种增强现实车载平视显示器ar‑hud
CN107554425A (zh) * 2017-08-23 2018-01-09 江苏泽景汽车电子股份有限公司 一种增强现实车载平视显示器ar‑hud

Also Published As

Publication number Publication date
EP3749541A1 (de) 2020-12-16
DE102018201769B4 (de) 2023-08-24
DE102018201769A1 (de) 2019-08-08
CN111655528B (zh) 2023-04-25
EP3749541B1 (de) 2022-03-09
WO2019154673A1 (de) 2019-08-15

Similar Documents

Publication Publication Date Title
US9482540B2 (en) Navigation display method and system
US9052503B2 (en) Method for the output of graphic driving indications
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
US11993145B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
US20120224060A1 (en) Reducing Driver Distraction Using a Heads-Up Display
CN107554425A (zh) 一种增强现实车载平视显示器ar‑hud
RU2677122C1 (ru) Устройство отображения транспортного средства
CN111094898B (zh) 控制机动车辆增强现实抬头显示设备的显示的方法和设备
CN111655528B (zh) 控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质
US20200249044A1 (en) Superimposed-image display device and computer program
JP2013112269A (ja) 車載用表示装置
CN101855520A (zh) 用于在汽车中输出光学的行驶建议的方法和装置
US20210074247A1 (en) Display control device for vehicle and display unit for vehicle
US11915340B2 (en) Generating a display of an augmented reality head-up display for a motor vehicle
JP2022549562A (ja) 車両運転支援方法およびシステム
CN108427197B (zh) 用于控制增强现实平视显示器设备的显示的方法和设备
CN116091740B (zh) 信息显示控制方法、存储介质及电子设备
JP6365361B2 (ja) 情報表示装置
WO2017042923A1 (ja) 表示制御装置、表示装置及び表示制御方法
KR20140059809A (ko) 교통 표지 정보를 표시하기 위한 방법 및 장치
CN114901506A (zh) 用于通过抬头显示器显示系统来显示对象的方法以及抬头显示器显示系统
WO2020246114A1 (ja) 表示制御装置および表示制御プログラム
Lee et al. A study of issues and considerations for development of a vehicle AR system
JP2018205254A (ja) 車両用表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant