CN111557019A - 用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序 - Google Patents

用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序 Download PDF

Info

Publication number
CN111557019A
CN111557019A CN201980006242.2A CN201980006242A CN111557019A CN 111557019 A CN111557019 A CN 111557019A CN 201980006242 A CN201980006242 A CN 201980006242A CN 111557019 A CN111557019 A CN 111557019A
Authority
CN
China
Prior art keywords
field
view
image
operator
disturbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980006242.2A
Other languages
English (en)
Inventor
D.福尔廷
A.盖德
C.贝克尔
S.施韦特纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN111557019A publication Critical patent/CN111557019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4048Field of view, e.g. obstructed view or direction of gaze
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种用于避免针对对象的操作人员的视野干扰的方法。所述视野干扰可能由于通过显示单元(20)、尤其是交通工具(10)的平视显示器(HUD)或者数据眼镜显现虚拟的附加信息引起。在此,附加信息的显现用于在操作对象(10)时辅助操作人员。该方法的特征在于,执行图像分析,利用该图像分析检查是否由于显现虚拟的附加信息引起视野干扰,并且其中,当识别到视野干扰时,执行用于消除视野干扰的措施。

Description

用于避免针对对象的操作人员的视野干扰的方法、用于执行 所述方法的装置以及交通工具和计算机程序
本发明的建议涉及驾驶员信息系统的技术领域,所述驾驶员信息系统也以术语信息娱乐系统已知。这些系统主要用在交通工具中。但是本发明也可以用于带有数字眼镜的行人、骑行者等等。本发明的建议还涉及一种相应设计的用于执行所述方法的装置以及交通工具和计算机程序。
汽车行业的未来愿景是能够用虚拟元素显示在自身交通工具的挡风玻璃上,以便为驾驶员提供一些优点。使用的是所谓的“增强现实”技术(“Augmented Reality”,AR)。不太流行的是相应的德语术语“扩增现实”(erweiterten
Figure BDA0002525974820000011
)。在此,真实的环境通过虚拟元素被丰富。这有多个优点:由于在挡风玻璃上显示许多相关信息,因此不必向下看除了挡风玻璃之外的其它显示器。所以驾驶员的视线不必偏离行车道。增强现实显示的特点是,可以实现虚拟元素在真实环境中的位置精确的定位。在驾驶员在真实环境中将其视线转向的位置处,也显现虚拟的元素。从使用者的视角,利用这些显现可以使真实环境“被叠加”并且配设额外的信息,例如可以显现导航路径。以此实现驾驶员方面更低的认知消耗,因为不必领会抽象的图像,而是可以实现在一般的感知习惯范畴内的直观理解。
当前在交通工具中使用平视显示器或者说抬头显示器(HUD)。它具有的优点是,HUD的图像看上去更贴近真实环境。这种显示器实际上是投影单元,它们将图像投影到挡风玻璃上。然而从驾驶员的视角出发,该图像视模块的构造方式而定地位于交通工具前方的几米至15米。它具有的优点是,所显现的信息被呈现为,使得驾驶员的眼睛本身的视力调节行为的压力被减轻。
在此,“图像”的组成如下:它较少涉及虚拟显示,而更确切地说是通向虚拟世界中的一种“钥匙孔”。理论上虚拟环境被置于现实世界之上并且包含在驾驶时支持和通知驾驶员的虚拟对象。HUD的有限的显示面会导致的是,只能看到其中的局部。人们可以通过HUD的显示面看到虚拟世界的局部。因为该虚拟环境是对现实环境的补充,所以在这种情况下也称为“混合现实”。
当前同样在努力研发应该在之后实现自主驾驶的技术。在此,第一种方案是,驾驶员不完全从他的任务中解脱出来,而是要实现驾驶员可以在任何时候接管对交通工具的控制。此外驾驶员履行监视功能。通过驾驶员信息系统领域中的更新的技术、如平视显示器(HUD),可以更好地告知驾驶员关于在其交通工具周围环境中的事件的信息。
为了实现这一点,也需要使用更新的技术(车对车通信、使用数据库、交通工具传感技术等),由此使关于在本交通工具的直接环境中的对象(尤其交通工具)的丰富的信息是可用的。在交通工具传感技术领域中尤其列举下述部件,这些部件实现了对环境的观测:雷达设备即无线电探测和测距、激光雷达设备即光探测和测距,主要用于距离检测/距离警告领域,和具有相应的图像处理系统的摄像机,用于对象识别领域。这些关于环境的数据可以作为用于系统侧的驾驶建议、警告等等的基础。因此例如可以想到关于其它在周围的交通工具想往哪个方向(可能向自己的轨道中)拐弯的显示/警告。
在这期间也可以借助带有例如LTE、即长期演进(Long Term Evolution)的系统的移动通信实现车对车通信。在此,3GPP组织已经通过了名为LTE V2X的技术规范。备选的是,基于WLAN技术的系统可供交通工具的直接通信使用,尤其是按照WLAN p的系统。同样提到的是最新一代的移动无线通信5G,它也能实现V2V或者V2X通信。
由于当前向更高的自主驾驶等级的发展,而很多交通工具像从前一样仍由驾驶员控制,所以出发点应该在于,相应的附加信息在中期已经可以用于手动控制的交通工具,并且不是在长期才可以用于高度自动化的系统。在此,下文中还将详细说明的解决方案既可以用于手动控制的交通工具,也可以用于自动控制的交通工具。
由专利文献DE 10 2012 010 120 A1已知一种用于调节交通工具的平视显示器的方法。利用该方法也可以调节眼动范围(Eye-Box)的位置。在此,眼动范围是交通工具中的以下范围,为了能够感知挡风玻璃上的虚拟图像,驾驶员的眼睛必须处于所述范围中。为此将测试图像投影到挡风玻璃上,并且用摄像机拍摄眼动范围的至少一个边缘区域。
由专利文献DE 10 2005 037 797 A1已知一种用于自动校准用于交通工具的平视显示器的投影设备的装置,其中尤其能够进行可自动化地校准。在此,针对几何矫正和多投影校准计算的数据存储在所谓的扭曲场(Warp-Feldern)中。
迄今已知的“增强现实”显示(AR显示)的很大的优点是,相应的显示内容直接在环境中呈现或者作为环境的一部分呈现。比较相近的示例大多在导航领域方面。(在传统的平视显示器中的)经典的导航显示通常示出示意性视图(例如向右的直角延伸的箭头作为应该在下一个机会向右拐弯的标志),而AR显示提供明显更有效的可能性。因为显示内容能够作为“环境的一部分”呈现,所以对于使用者能非常快和直观地领会。然而迄今已知的方案也有各种问题,现在对于这些问题还没有解决方案。这在本发明的范畴内被认识到。有一系列问题是出现视野干扰,所述视野干扰由于虚拟的附加信息显现到驾驶员的视野中而引起。这种视野干扰可能涉及到对在真实环境中的对象的遮盖。另一种干扰是,在用于交通工具的情况中,使操作人员或者驾驶员转移注意力。这可能出现在由于依次相续的显现而产生闪烁的、跳动的或者脉动或者说脉冲式的视图时。
所显现的导航路径和显现的指示牌(限速标志、危险标记等等)是大面积的显现内容,它们可能覆盖真实的对象。因此在将虚拟的附加信息显现到操作人员的视野中时,需要进一步改进。本发明要解决的技术问题是,找到这样的解决方案。
上述技术问题通过按照权利要求1所述的用于避免针对对象的操作人员的视野干扰的方法、按照权利要求12所述的用于执行所述方法的装置以及按照权利要求14所述的交通工具和按照权利要求15所述的计算机程序解决。
从属权利要求包含本发明的相应于这些措施的下述说明的有利的扩展设计和改进方案。
按照本发明建议的解决方案在于用于避免针对对象的操作人员的视野干扰的方法,其中,虚拟的附加信息通过显示单元显现到操作人员的视野中。在此执行图像分析,利用该图像分析检查是否由于显现虚拟的附加信息引起视野干扰,并且其中,当识别到视野干扰时,执行用于抑制或者说消除视野干扰的措施。利用该解决方案,可以快速识别并且快速消除所述视野干扰。所述方法被连续地执行,因此可以检查所有的显现。由此化解与所述视野干扰相关联的潜在危险。
在所述方法的变型设计方案中执行图像分析,利用所述图像分析检查是否由于所述显现引起遮盖操作人员视野中的区域的问题。尤其当运动的对象被遮盖时,遮盖会掩藏很大的潜在危险,并且以此面临碰撞,因为操作人员不能识别对象。
在所述方法的另外的变型设计方案中,对多个依次相续的、具有虚拟的附加信息的显现的图像进行图像分析,利用该图像分析检查是否由于所述显现在操作人员的视野中引起干扰性的闪烁、跳动或者脉动。这种显现的潜在危险在于操作人员注意力的转移。因此该措施的优点是,也能消除这种视野干扰。
在本发明建议的具体设计方案中,用于揭示遮盖操作人员视野中的区域的问题的图像分析在于,分析多个依次相续的图像,其中,逐个图像地将图像越来越细地划分为部段并且单个地分析所述部段。由此可以不断地限定出图像中的产生遮盖的局部区域。
在一种变型设计中,在图像分析步骤中确定相应图像或者相应部段的由于显现虚拟的附加信息产生的填充度。如果例如这种部段中的填充度是100%,则显然在该部段中应该被看到的对象被遮盖。
该填充度可以以有利的方式通过计算由于显现虚拟的附加信息被填充的像点或者说像素的数量相对于能被填充的像点的总数量的比例实现。这种计算可以无需较大耗费地利用专门的芯片、如FPGA芯片实现,这种芯片也可以低成本地在产品中使用。
在一种变型设计方案中,为了识别遮盖危险,采取如下措施。为了检查对视野中区域的遮盖,分别分析三个依次相续的图像,其中,针对第一图像确定整个图像的填充度,针对第二图像确定四个相同尺寸的图像部段的填充度,并且针对第三图像确定九个相同尺寸的图像部段的填充度。在此,图像部段的总数分别覆盖整个图像。在其它的变型设计中,也可以在分析步骤中考虑另外的图像。这也与应该执行图像分析的专用芯片的性能有关。
在另一种变型设计方案中,为了识别遮盖危险,采取如下措施。为了检查对视野中区域的遮盖,分析依次相续的图像,其中,所述图像被分为不同的部段。第一,整个图像被视作一个部段。第二,所述图像被分为四个相同尺寸的图像部段。第三,所述图像被分为九个相同尺寸的图像部段。然后确定相应的图像部段的填充度。分析图像部段的速度取决于应该执行图像分析的专用芯片的性能。
有利的是,所确定的图像填充度和部段填充度被分级检查,并且当在检查中确认满足被检查的标准中的至少一个时就识别出遮盖操作人员视野中的区域的问题。如果较大的部段已被很大程度地填充,则它也适用更精细的划分的相应部段。
此外有利的是,为了检查是否由于所述显现在操作人员的视野中引起干扰性的闪烁、跳动的或者脉动,分析多个依次相续的检查过程所确定的填充度,其中,当确认了所确定的填充度具有周期性的改变时,就识别出所述显现在操作人员的视野中干扰性地闪烁、跳动或者脉动的问题。这种算法最好能够通过软件利用微型计算机实现。
为了消除视野干扰有利的是,停止或者说关闭所述显现或者降低显现的亮度。该措施可以简单地利用存在于平视显示器中的器件执行。为了改变用于显现的图像的计算可能需要更大的研发耗费。
针对用于执行所述方法的装置有利的是,所述装置具有显示单元,利用该显示单元可以将虚拟的附加信息显现到对象的操作人员的视野中,所述装置还具有用于接收图像的接口,利用所述图像能将虚拟的附加信息显现到操作人员的视野中,其中,所述装置具有图像分析单元和评估单元,利用它们检查是否由于显现虚拟的附加信息引起视野干扰,并且所述图像分析单元和评估单元还设计用于,当识别出视野干扰时,消除所述视野干扰。所述装置尤其可以作为用于交通工具的平视显示器HUD的一部分实现。但是所述装置也可以用于数字眼镜或者显示摄像机图像的显示器中,附加信息显现在所述摄像机图像中。
所述装置的有利的变型设计方案还在于,所述图像分析单元和评估单元还设计为,当识别出视野干扰时,所述图像分析单元和评估单元作用使得显现关闭或者显现的亮度降低。这种措施尤其可以特别简单地在平视显示器中实现。
按照本发明的装置能够以有利的方式使用在交通工具中。在交通工具中本发明优选这样实现,使得所述装置例如以平视显示器的形式固定地安装在交通工具中。
如上所述,当显示单元是数字眼镜时,本发明也可以以有利的方式使用。按照本发明的方法本身由此可以用于行人、骑自行车的人、骑摩托车的人等。
对于在所述装置的计算单元中运行以便执行按照本发明的方法的计算机程序,也适用与关于按照本发明的方法所述的相应的优点。
本发明的实施例在附图中示出并且在以下根据附图进一步阐述。
在附图中:
图1示出在行驶期间借助平视显示器将信息显现到交通工具的驾驶员的视野中的原理;
图2示出交通工具的典型的驾驶舱;
图3示出交通工具的信息娱乐系统的框图;
图4示出将虚拟的附加信息显现到交通工具的驾驶员的视野中的典型示例;
图5示出平视显示器单元的简化的框图;
图6示出在检查由于AR显现导致的视野干扰时的分析窗口的视图;
图7示出用于执行图像分析的程序的流程图;
图8示出用于评估图像分析的结果以便识别第一种视野干扰的程序的流程图;并且
图9示出用于评估图像分析的结果以便识别第二种视野干扰的程序的流程图。
在此的描述说明按照本发明的公开内容的原理。因此不言而喻的是,本领域技术人员能够设计不同的布局,它们在此尽管没有被明确说明,但是也实现了按照本发明的公开内容的原理,并且在其范围内也应该得到保护。
图1示出平视显示器的原理性作用方式。平视显示器20在交通工具10或者说车辆中安装在仪表板区域的下方/后方。通过投影到挡风玻璃上,将附加信息显现在驾驶员的视野中。这些附加信息看上去好像它们是投影到交通工具10前方7-15m的距离处的投影面21上。但是穿过该投影面21,真实世界保持可见。利用所显现的附加信息,在一定程度上产生虚拟的环境。虚拟的环境理论上设置在真实世界之上并且包含虚拟的对象,在行驶时这些对象辅助驾驶员并且给驾驶员提供信息。但是只在挡风玻璃的一部分上进行投影,因此附加信息不能任意地设置在驾驶员的视野中。
图2示出交通工具10的驾驶舱。示出的是轿车PKW。但是作为交通工具10同样可以考虑任意的其它交通工具。其它的交通工具例如是:巴士、商用车、尤其载重汽车LKW、农用机械、建筑机械、轨道交通工具等等。本发明可以普遍地用于农用交通工具、轨道交通工具、水运交通工具和空中交通工具。
在驾驶舱中示出信息娱乐系统的三个显示单元。其指的是平视显示器20、安装在中控台中的触摸感应的屏幕30和作为组合仪表110的一部分的较小的显示器。在行驶时中控台不在驾驶员的视野中。因此AR显现内容在行驶期间显现在HUD显示单元20上。
在此,触摸敏感的屏幕30尤其用于操作交通工具10的功能。例如以此可以控制收音机、导航系统、存储的音乐曲目的播放和/或空调、其它电子设备或者交通工具10的其它舒适性功能或者应用。通常概括地称为“信息娱乐系统”。在交通工具尤其轿车中,信息娱乐系统指的是汽车收音机、导航系统、免提通话设备、驾驶员辅助系统和中央操作单元中的其它功能的总合。术语信息娱乐(Infotainment)是一个混合词,它由词汇Information(信息)和Entertainment(娱乐)构成。主要使用触摸敏感的屏幕30(“触摸屏”)操作信息娱乐系统,其中,该屏幕30尤其能够被交通工具10的驾驶员、但也能够被交通工具10的副驾驶员很好地看到和操作。此外,在屏幕30的下方可以将机械的操作元件,例如按钮、调节旋钮或者它们的组合、例如按压调节旋钮布置在输入单元50中。方向盘操作通常也可以由信息娱乐系统的部件实现。该单元没有单独示出,而是视为输入单元50的部分。
图3示意性示出信息娱乐系统200的框图,以及示例性示出信息娱乐系统的一些子系统或者应用。操作装置包括触摸感应的显示单元30、计算装置40、输入单元50和存储器60。显示单元30不只包括用于显示可变的图形信息的显示面,而且也包括布置在显示面上方的、用于由使用者输入指令的操作面(触摸感应层)。
显示单元30通过数据线70与计算装置40连接。数据线可以按照LVDS标准设计,即Low Voltage Differential Signalling(低电压差分信号)。显示单元30通过数据线70从计算装置40接收用于控制触摸屏30的显示面的控制数据。所输入的指令的控制数据也通过数据线70从触摸屏30传输至计算装置40。附图标记50表示输入单元。输入单元包括已经提到的操作元件,例如按钮、调节旋钮、滑动调节器或者按压调节旋钮,操作人员可以借助它们通过菜单导引进行输入。术语输入通常理解为选定被选出的菜单项,以及改变参数、开启或者关闭功能等等。
存储器装置60通过数据线80与计算装置40连接。在存储器60中存储有图标目录和/或符号目录,它们具有用于附加信息的可能的显现的图标和/或符号。在此也可以存储有用作计算栅格显现的基础的点/符号。
信息娱乐系统的其它部分摄像机150、收音机140、导航设备130、电话120和组合仪表110通过数据总线100与用于操作信息娱乐系统的装置连接。作为数据总线100可以考虑按照ISO标准11898-2的CAN总线的高速变型方案。备选地例如也可以考虑使用基于以太网技术的总线系统,例如BroadR-Reach。也可以使用通过光波导体进行数据传输的总线系统。作为例子列举MOST总线(Media Oriented System Transport,即面向媒体的系统传输)或者D2B总线(Domestic Digital Bus,家用数字总线)。在此还要提到的是摄像机150可以设计为传统的视频摄像机。在此情况中,该摄像机每秒拍摄25个全图像,这在隔行扫描(Interlace)拍摄模式中相当于每秒50个半图像。备选地可以使用专用摄像机,其每秒拍摄更多的图像,以便在对象快速移动时提高对象识别的精度。可以使用多个摄像机用于环境观测。此外,作为补充或者备选,也可以使用已经提到的雷达或者激光雷达系统,用于执行或者扩展环境观测。交通工具10装配有通信模块160,用于向内和向外的无线通信。该模块通常也称为车载单元。它可以设计用于移动无线通信,例如按照LTE标准、即Long TermEvolution的移动无线通信。它也可以设计用于WLAN通信、即Wireless LAN(无线局域网),用于与在交通工具中的乘员的设备的通信,或者用于交通工具对交通工具的通信等。
以下根据实施例阐述按照本发明的分析方法,所述分析方法用于避免在HUD显示单元20方面由于信息显现导致的不允许的视野干扰。
首先,在图4中示出通过平视显示器的信息显现的示例。在此,危险符号28被投影到驾驶员的视野中。在所示情况中是警告三角,其为了突出还被明显地镶边。在对通过摄像机150提供的图像进行的图像评估表明在车道边缘处有只鹿13之后,进行显现。图像评估在计算单元40中进行。为此可以使用用于对象识别的已知算法。所述显现也可以按照“增强现实”的形式定位在驾驶员视野中的鹿13的位置处。但是由此存在的危险是,危险符号28的显现遮挡了鹿13并且因此驾驶员不能准确地识别出危险是什么。
图5示出用于平视显示器20的框图。HUD20如图3所示与计算单元40连接。存在用于传输图像数据的连接。在此指的是上述用于传输计算出的、LVDS格式的图像数据的数据线70。其它示出的总线连接72相当于总线接口,通过所述总线接口可以交换控制数据、配置数据和状态数据。例如可以考虑I2C类型(Inter Integrated Circuit Bus,内部集成电路总线)的总线接口。平视显示器本身基本上由三个部件构成。非常重要的是投影单元26,其作为成像单元除了包含光源之外,也包含用于射线成形的光学装置。投影单元26不直接从计算单元40得到图像数据,而是从HUD内部的控制单元22得到图像数据,所述控制单元22将图像数据转换成合适的格式,以便控制投影单元26。控制单元22也还包含图像分析功能,其在下文中还会更确切地阐述。额外地,在平视显示器20中还设置有另外的微控制器24。微控制器用于平视显示器20的亮度控制,以及用于控制其它设置。在该微控制器24中也进行对图像分析功能的结果的评估,下文还会阐述。
首先进一步阐述图像分析功能。图6示出图像分析的原理。示出摄像机150提供的视频数据流的三个依次相续的图像。通常所使用的摄像机每秒提供30个全图像。这与早就已知的TV标准NTSC一致。在第一个图像中,将分析窗口调节为整个图像尺寸。在第二个图像中,图像被分为四个相同尺寸的部段。针对每个单个部段单独进行图像分析。在第三个示出的图像中,以九个相同尺寸的部段分开地分析所述图像。因此图像分析从左向右越来越细化。
在30Hz摄像机的情况下,图像分析功能相应地每秒执行10次。单个部段或者整个图像的图像分析在于确定填充度。在此,用于相应的信息显现所需的像点被计数,并且该数量被与在分析窗口在整个图像上延伸的情况中可由HUD单元显示的图像的像点的总数进行比较或者说确定其比例。当图像部段被分析时,确定在该部段中呈现的像点的数量与在相应部段中的像点的总数量之比。如此确定的值被临时存储在微控制器24的存储器中并且准备就绪用于评估算法。
根据在图7中示出的流程图阐述分析功能的数据确定。程序在控制单元22中运行。附图标记310表示程序开始。在程序步骤312中进行针对第一个待分析的图像的填充度的计算。这如上文所述地进行。接着在程序步骤314中进行针对接下来的图像的填充度的计算,所述图像被分为四个相同尺寸的部段。在程序步骤316中进行针对第三个图像的填充度的计算,所述第三个图像被分为四个相同尺寸的部段。在经过图像分析步骤之后,在程序步骤318中,将计算出的数据传输到微控制器24上。接收到的数据在那里存储在临时存储器中并且准备就绪用于另外的评估。该程序在程序步骤320中结束。
根据图8中的流程图阐述数据评估的第一部分。该程序由微控制器24运行。在程序开始330之后,在程序步骤332中确定未被划分为部段的分析窗口的所确定的填充度BG_1x1是否大于5%。如果大于5%,就已经存在遮盖视野中的真实对象的危险。如果不大于5%,就在步骤334中检查,划分为四个相同尺寸的部段的图像的所确定的填充度BG_2x2之一是否超过10%的值。在这种情况下也推断出会发生对象的干扰性遮盖。如果也未超过10%,就在程序步骤336中检查,划分为九个相同尺寸的部段的图像的所确定的填充度BG_3x3之一是否超过20%的值。如果也未超过20%,就推断出不存在遮盖的危险,并且该程序在程序步骤340中结束。在不同的情况中,该程序分支到程序步骤338,并且在程序步骤338中执行避开遮盖危险的措施。这种措施例如是关闭显现和降低显现的亮度。尽管也可行的是就此通知计算单元40,使得计算单元可以计算减小的显现形状,但是这在实际实施时可能碰到问题。为此尤其存在更高的研发和测试耗费。必要时必须为此使用另外的微控制器和接口。
根据图9中的流程图阐述数据评估的第二部分。该程序在程序步骤350中开始。在程序步骤352中检查是否依次相续的值BG_1x1i和BG_1x1i+3是不等的,而BG_1x1i和BG1x1_i+6是相等的。在此指数i表示图像号码。如果答案是肯定的,则在程序步骤354中执行进一步的测试,即是否依次相续的值BG_2x2i和BG_2x2i+3是不等的,而BG_2x2i和BG_2x2i+6是相等的。如果答案是肯定的,则在程序步骤356中还是执行进一步的测试,即是否BG_3x3i和BG_3x3i+3是不等的,而BG_2x2i和BG_2x2i+6是相等的。如果该条件也满足,就推断出形成了显现的脉动的/闪烁的呈现,这是不期望的,因为它会从道路上的事件中分散人的注意力。测试的这种特殊形式可以识别具有约4Hz频率的闪烁。测试可以相应地调整适配于其它频率。
但是这取决于执行图像分析的专用芯片的性能,即每秒可以分析多少图像。在另一种变型实施方案中,芯片每秒可以分析60个图像部段。如图6所示,在将图像分为14个图像部段的情况下,每个循环分析14个图像部段。由于为此所需的时间(约250ms)和继续运行的视频流(30fps),其中涉及到7个依次相续的图像。具体而言,在这种变型设计中如下运行:在第一个图像中分析整个图像部段1和具有号码2的图像象限。在视频流中的第二个图像中分析具有号码3和4的两个图像象限。在视频流中的第三个图像中分析具有号码5的图像象限和具有号码6的3x3图像部段。在视频流中的第四个图像中分析具有号码7和8的两个3x3图像部段。在视频流中的第五个图像中分析具有号码9和10的两个3x3图像部段。在视频流中的第六个图像中分析具有号码11和12的两个3x3图像部段。在视频流中的第七个图像中分析具有号码13和14的两个3x3图像部段。对于这种变型设计需要相应地调整在附图7-9中的流程图。
在其它的实施方式中,可以针对测试对HUD显示单元20进行其它的部段划分。例如部段的数量也可以是4x 4=16个部段。
是否与进行比较的值相等的问询也可以设计为,使得接受偏差的确定的公差范围,在比较时在该公差范围中仍然认为存在等同性。
所有在此提到的示例以及条件性的表述不理解为对这些专门说明的示例的限制。因此例如由本领域技术人员认可的是,在此示出的框图呈现的是示例性的电路布置的概念上的视图。类似地应该认识到,示出的流程图、状态过渡图、伪码和类似物呈现用于显示过程的不同变型方案,它们基本上可以存储在计算机可读介质中并且因此可以由计算机或者处理器执行。在权利要求中提到的对象明确地也可以是人。
应该理解的是,所建议的方法和对应的装置可以以硬件、软件、固件、专用处理器的不同形式或者它们的组合实施。专用处理器可以包括专用集成电路(ASICs)、精简指令集计算机(RISC)和/或现场可编程门阵列(FPGAs)。优选的是所建议的方法和装置作为硬件和软件的结合实施。软件优选作为应用程序安装在程序存储器装置上。通常是基于计算机平台的机器,其具有硬件,例如一个或者多个中央单元(CPU)、随机存储器(RAM)和一个或者多个输入/输出(I/O)接口。在计算机平台上通常还安装有操作系统。在此说明的不同过程和功能可以是所述应用程序的部分或者通过所述操作系统执行的部分。
所述公开内容不限于在此说明的实施例。存在针对不同调整和改变的空间,本领域技术人员可以基于其专业知识将这些调整和改变考虑为也属于所述公开内容。
在实施例中以在交通工具中的使用为例详细地阐述了本发明。在此也要指出例如在陆上机动或者在搜救行动等中使用(固定翼)飞机和直升机的可能性。
但是要指出的是,所述使用不限于此。当利用AR显现可以丰富驾驶员、操作员或者也可以简单地只是带有数据眼镜的人的视野时,总是能够使用本发明。
在遥控设备例如机器人或者无人机(其中遥控通过监视器进行,在监视器上播放摄相机图像)中,AR显现也可以使操作更容易。在此也存在使用的可能性。
附图标记列表
10 交通工具
13 鹿
20 平视显示器HUD
20’ 组合仪表显示器
21 虚拟投影面
22 分析芯片
23 LVDS总线
24 微控制器
25 总线
26 投影单元
27 数据线
28 危险符号
30 触摸敏感的显示单元
40 计算单元
50 输入单元
60 存储器单元
70 通往显示单元的数据线
80 通往存储器单元的数据线
90 通往输入单元的数据线
100 数据总线
110 组合仪表
120 电话
130 导航设备
140 收音机
150 摄像机
160 通信模块
200 信息娱乐系统
310-360 不同的程序步骤

Claims (15)

1.一种用于避免针对对象的操作人员的视野干扰的方法,其中,虚拟的附加信息通过显示单元(20)显现到操作人员的视野中,其特征在于,执行图像分析,利用该图像分析检查是否由于显现虚拟的附加信息引起视野干扰,并且其中,当识别到视野干扰时,执行用于消除视野干扰的措施。
2.按照权利要求1所述的方法,其中,执行图像分析,利用所述图像分析检查是否由于所述显现引起遮盖操作人员视野中的区域的问题。
3.按照权利要求1或2所述的方法,其中,对多个依次相续的、具有虚拟的附加信息的显现的图像进行图像分析,利用该图像分析检查是否由于所述显现在操作人员的视野中引起干扰性的闪烁、跳动或者脉动。
4.按照上述权利要求之一所述的方法,其中,用于揭示遮盖操作人员视野中的区域的问题的图像分析在于,分析多个依次相续的图像,其中,逐个图像地将图像越来越细地划分为部段并且单个地分析所述部段。
5.按照权利要求4所述的方法,其中,所述图像分析在于,确定相应的图像或者相应的部段的通过显现虚拟的附加信息产生的填充度。
6.按照权利要求5所述的方法,其中,所述填充度通过计算通过显现虚拟的附加信息被填充的像点的数量相对于能被填充的像点的总数量的比例实现。
7.按照权利要求2至6之一所述的方法,其中,为了检查对视野中的区域的遮盖,分别分析三个依次相续的图像,其中,针对第一图像确定整个图像的填充度,针对第二图像确定四个相同尺寸的图像部段的填充度,并且针对第三图像确定九个相同尺寸的图像部段的填充度。
8.按照权利要求7所述的方法,其中,所确定的图像填充度和部段填充度被分级检查,并且当在检查中确认满足所检查的标准的至少一个标准时,就识别出存在遮盖操作人员视野中的区域的问题。
9.按照权利要求3至8之一所述的方法,其中,为了检查是否由于所述显现在操作人员的视野中引起干扰性的闪烁、跳动或者脉动,分析多个依次相续的检查过程的所确定的填充度,其中,当确认了所确定的填充度的周期性改变时,就识别出存在所述显现在操作人员的视野中干扰性地闪烁、跳动或者脉动的问题。
10.按照上述权利要求之一所述的方法,其中,为了消除视野干扰,关闭所述显现或者降低显现的亮度。
11.按照上述权利要求之一所述的方法,其中,虚拟的附加信息的显现按照相应于“augmented reality”的增强现实的方式相对于一个或者多个识别到的对象接触模拟地显现到操作人员的视野中。
12.一种用于执行按照上述权利要求之一所述的方法的装置,所述装置具有显示单元(20),利用该显示单元能够将虚拟的附加信息显现到对象的操作人员的视野中,所述装置还具有用于接收图像的接口(70),利用所述图像能够将虚拟的附加信息显现到对象的操作人员的视野中,其特征在于,所述装置还具有图像分析单元(22)和评估单元(24),利用所述图像分析单元和评估单元检查,是否由于显现虚拟的附加信息引起视野干扰,并且所述图像分析单元(22)和评估单元(24)还设计用于在识别到视野干扰时消除所述视野干扰。
13.按照权利要求12所述的装置,其中,所述图像分析单元(22)和评估单元(24)还设计为,使得当识别出了视野干扰时,所述图像分析单元和评估单元作用使得显现关闭或者显现的亮度降低。
14.一种交通工具,其特征在于,所述交通工具(10)具有按照权利要求12或者13所述的装置。
15.一种计算机程序,其特征在于,所述计算机程序设计用于当在包括图像分析单元(22)和评估单元(24)的计算单元中运行时执行按照权利要求1至11之一所述的用于避免针对对象的操作人员的视野干扰的方法的步骤。
CN201980006242.2A 2018-11-01 2019-10-09 用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序 Pending CN111557019A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018218746.0A DE102018218746B4 (de) 2018-11-01 2018-11-01 Verfahren zur Vermeidung einer Sichtfeldstörung für eine Bedienperson eines Objektes, Vorrichtung zur Durchführung des Verfahrens sowie Fahrzeug und Computerprogramm
DE102018218746.0 2018-11-01
PCT/EP2019/077334 WO2020088902A1 (de) 2018-11-01 2019-10-09 Verfahren zur vermeidung einer sichtfeldstörung für eine bedienperson eines objektes, vorrichtung zur durchführung des verfahrens sowie fahrzeug und computerprogramm

Publications (1)

Publication Number Publication Date
CN111557019A true CN111557019A (zh) 2020-08-18

Family

ID=68281399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980006242.2A Pending CN111557019A (zh) 2018-11-01 2019-10-09 用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序

Country Status (5)

Country Link
US (1) US20210354705A1 (zh)
EP (1) EP3874450A1 (zh)
CN (1) CN111557019A (zh)
DE (1) DE102018218746B4 (zh)
WO (1) WO2020088902A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020116976A1 (de) 2020-06-26 2021-12-30 Bayerische Motoren Werke Aktiengesellschaft Steuerung einer Anzeigevorrichtung an Bord eines Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130194110A1 (en) * 2012-02-01 2013-08-01 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
CN103959341A (zh) * 2011-12-07 2014-07-30 罗伯特·博世有限公司 用于呈现车辆环境的方法
DE102014008152A1 (de) * 2014-05-30 2014-10-23 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
US20160049013A1 (en) * 2014-08-18 2016-02-18 Martin Tosas Bautista Systems and Methods for Managing Augmented Reality Overlay Pollution
CN107018397A (zh) * 2016-01-08 2017-08-04 罗伯特·博世有限公司 用于运行视野显示设备的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037797B4 (de) 2005-08-03 2011-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102012010120A1 (de) 2012-05-23 2013-11-28 Audi Ag Verfahren zur Kalibrierung eines Head-up-Displays
DE102012216057A1 (de) 2012-09-11 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Anordnen von Anzeigen in einem Head-mounted Display
DE102013016241A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013021150A1 (de) 2013-12-13 2015-06-18 Man Truck & Bus Ag Verfahren zur Anzeige von optischen Informationen in Fahrzeugen
DE102015006612B4 (de) * 2015-05-21 2020-01-23 Audi Ag Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959341A (zh) * 2011-12-07 2014-07-30 罗伯特·博世有限公司 用于呈现车辆环境的方法
US20130194110A1 (en) * 2012-02-01 2013-08-01 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
DE102014008152A1 (de) * 2014-05-30 2014-10-23 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
US20160049013A1 (en) * 2014-08-18 2016-02-18 Martin Tosas Bautista Systems and Methods for Managing Augmented Reality Overlay Pollution
CN107018397A (zh) * 2016-01-08 2017-08-04 罗伯特·博世有限公司 用于运行视野显示设备的方法和装置

Also Published As

Publication number Publication date
DE102018218746B4 (de) 2022-09-29
EP3874450A1 (de) 2021-09-08
DE102018218746A1 (de) 2020-05-07
US20210354705A1 (en) 2021-11-18
WO2020088902A1 (de) 2020-05-07

Similar Documents

Publication Publication Date Title
KR102204250B1 (ko) Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램
US11486726B2 (en) Overlaying additional information on a display unit
US20190294895A1 (en) Method for calculating a display of additional information for an advertisement, a display unit, apparatus for carrying out the method, and transportation vehicle and computer program
US11629972B2 (en) Method for calculating an augmented reality overlay for displaying a navigation route on an AR display unit, device for carrying out the method, motor vehicle and computer program
CN110036635B (zh) 用于使用视频捕获设备经由针对乘客的增强的显示来缓解晕动病的系统、方法和计算机可读介质
US20190171024A1 (en) Method for calculating the movement data of the head of a driver of a transportation vehicle, data glasses and transportation vehicle for use in the method, and computer program
US11731509B2 (en) Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method
US9415686B2 (en) Display control apparatus
CN103303224A (zh) 车载设备手势控制系统及其使用方法
US11904688B2 (en) Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
JP5488303B2 (ja) 車両用表示装置
US20150227492A1 (en) Systems and methods for selection and layout of mobile content on in-vehicle displays
CN109074685B (zh) 用于调整图像的方法、设备、系统和计算机可读存储介质
CN112977460A (zh) 预防在行驶车辆中观看图像内容时的晕动症的方法和设备
CN110116619B (zh) 用于在车辆的抬头显示器hud中显示信息的方法
CN114842433A (zh) 基于显著性的图像中对象的呈现
US20170004809A1 (en) Method for operating a display device for a vehicle
CN111557019A (zh) 用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序
US11458985B2 (en) Method, device, and computer program for the operation of a vehicle operation system
KR101610169B1 (ko) 헤드업 디스플레이 및 헤드업 디스플레이의 제어방법
CN114008684A (zh) 车辆显示单元上的附加信息的位置正确的显现
JP2019031176A (ja) 車両用表示装置
KR20220010655A (ko) 주행모드 및 사용자 제어모션에 따른 자율주행 차량의 동적 칵핏 제어 시스템
CN114867992A (zh) 用于呈现虚拟导航元素的方法和装置
WO2015068269A1 (ja) 表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination