CN102317952A - 在显示装置的显示器上呈现运输工具周围环境中可见性不同的物体的方法 - Google Patents

Abstract

本发明涉及一种在显示装置的显示器上从运输工具的乘客、尤其是驾驶者的角度为使用者显示运输工具周围环境中可见性不同的物体的方法，运输工具的周围环境至少部分地由一个或多个物体识别装置自动识别。根据本发明，对于由一个或多个物体识别装置所识别的物体，基于一个或多个标准确定各个物体是对于乘客而言被归类为可见的第一物体还是对于乘客而言被归类为不可见的第二物体。然后对于所识别的包括至少一个第一物体和至少一个第二物体的多个物体，确定物体各自的用于显示的位置，其中多个物体之间的几何关系对于所输工具的乘客的角度而言基本上对应于实际的几何关系。最后，多个物体在所确定的位置处显示在显示器上。

Description

在显示装置的显示器上呈现运输工具周围环境中可见性不同的物体的方法

技术领域

本发明涉及一种用于在显示装置的显示器上呈现运输工具周围环境中可见性不同的物体的方法和设备。

背景技术

现有技术中以下夜视系统是已知的，在该夜视系统中，利用远红外摄像机采集运输工具周围环境的图像并且显示在运输工具内部空间中的显示器上。黑暗中人眼不能看到的障碍物或物体由此变得可见。还已知物体识别系统，该系统基于在红外光谱中所采集的周围环境执行自动的物体识别。因此也可以自动识别在可见光谱中不辐射或反射光或者只辐射或反射少量光但具有与其周围不同的温度的那些物体。此外还已知对运输工具周围环境中特定种类的物体的自动识别可以作为驾驶者警告、例如图示被输出在运输工具内部空间中的显示器上。如果利用夜视系统例如识别到行人，则在显示器上出现对应于行人的警示性的示意图示。借助于夜视系统识别的障碍物也可以直接在显示器上夜视系统的图像中例如借助于对障碍物的加边框或着色而被突出强调。

在文献DE 102005020772A1中介绍了一种用于呈现机动车的周围环境的显示系统，其中借助于远红外摄像机采集运输工具周围环境。其中被识别出的对于运输工具被归类为危险的物体在机动车的平视显示器(Head-Up-Display)中被突出地呈现。

在文献EP 1647807A1中介绍了一种驾驶者辅助系统，其中在显示器、例如平视显示器中为驾驶者再现前面行驶的可能运输工具来进行驾驶辅助并且根据所确定的行驶状态在显示器上向驾驶者给出驾驶指导。

在文献DE 102005062151A1中介绍了一种用于在通过道路变窄处时为运输工具驾驶者提供辅助的方法和设备。其中借助于至少一个摄像机采集运输工具交通环境的图像数据并且由运输工具尺寸生成运输工具将来位置的图示，运输工具将来位置叠加有摄像机的图像数据。驾驶者可以从该图示中识别其是否能以其运输工具通过运输工具前面的道路变窄处。

现有技术中还已知多种用于借助于运输工具内所使用的设备识别道路标记的系统。

现有技术中还已知用于识别行道路上障碍物的物体识别系统。尤其地，由公共研究项目“MIDIAS”已知将3D-TOF传感器(TOF＝飞行时间：Time of Flight)和单目摄像机结合。利用TOF传感器来基于被发射的被物体反射并且然后被接收的光的飞行时间测量物体并且由此确定与不同立体角的物体的距离。由此产生场景的3D图示。在所述传感器结合中，TOF传感器和单目摄像机的传感器数据以同一立体角执行。其中可以结合两种传感器类型的优点。尤其是将单目摄像机高的角度分辨率优点与3D传感器的由同一物体所确定的深度信息优点结合，单目摄像机但是只提供很少的关于物体距离的信息，3D传感器就本身而言具有相对低的角度分辨率。

图1示意性地示出了基于这样的传感器结合的摄像机系统的构造。例如被表示为人的要识别的物体O在此既被单目摄像机101采集也被相应的TOF传感器102采集。其中TOF传感器具有用于发射红外射线的相应装置103以及用于接收在相应物体上反射的红外射线的装置104。摄像机和传感器的数据然后结合，并且基于此例如确定周围环境图示或所识别到的物体的列表。

已知的物体识别系统经常生成大量警告以及其他要被使用者注意的信息。显示周围环境广泛部分的摄像机图像也可以对于驾驶者产生信息泛滥。其中运输工具乘客难以部分地注意非常大量的信息并且首先将提示与警告与实际周围环境联系起来。此外，通过已知的系统经常再现非常大量的识别出的物体，由此使运输工具的乘客以及尤其是驾驶者的注意力超负荷。

在借助于例如基于波长范围为8μm到10μm的热摄像机的夜视系统采集周围环境时，在运输工具内部空间中的显示器上显示包括障碍物(例如行人和动物)在内的周围环境。尤其是热物体(行人、动物、其他运输工具的某些部分)变得非常清楚地可见。但是对于驾驶者通常很难将在显示器上显示的物体对应到通过挡风玻璃看到实际周围环境以及尤其是识别驾驶者看得见的物体与被夜视系统识别但是不能被驾驶者的视觉系统看到的显示在显示器上的物体的空间关系。而且，借助于夜视系统采集的图像只成像一定的视角，该视角可能不再对应于人变化的注意区。因此驾驶者很难保持关于当前在运输工具内部空间中的显示器上能看到道路哪个区域的洞察以便由此将所识别的障碍物对应到实际的周围环境。图2再一次说明了刚才说明的问题。在该图中，既在俯视图中又在侧视图中示出了运输工具1，其中夜视系统的远红外摄像机的视角在运输工具1前面区域中通过相应阴影示出的区域B来表示。可以看出视角明显不同于驾驶者的视域。但是不可能在座舱内安装远红外摄像机，因为运输工具的挡风玻璃使热辐射衰减。

如已经说明的那样，例如在平视显示器上将运输工具的整个周围环境显示为视频画面或大量标记不仅在技术上是复杂的而且对于人的认知是不利的。因此，能想到的借助于一个或多个显示装置显示能通过多种类型的传感装置识别的所有物体会使人的认知过负荷并且很难得到说明性的图示。

发明内容

因此，本发明的任务在于在显示装置上从运输工具乘客的角度为使用者提供运输工具周围环境的图示，使用者利用该图示可以更好地了解运输工具周围环境中的物体。

该任务通过根据权利要求1的方法或根据权利要求24的设备来实现。在从属权利要求中限定了本发明的扩展方案。

根据本发明的方法用于在显示装置的显示器上从运输工具的乘客、尤其是驾驶者的角度为使用者显示运输工具周围环境中可见性不同的物体，其中运输工具周围环境至少部分地以一个或多个物体识别装置自动识别。

概念“运输工具”尤其可以是指机动车、飞行器、船舶或两栖交通工具。此外，概念“运输工具”在本发明的范围中还可以被理解为自主的载货车或侦察运输工具和/或作为运输工具的活动机器人。尤其地，运输工具至少部分地可以执行自动操纵，例如泊车操纵。

在一有利扩展方式中，运输工具的使用者是运输工具的乘客本身。因此在该扩展方案中，后面所使用的概念“使用者”等同于运输工具的乘客，其中乘客尤其是运输工具的驾驶者。但是同样还存在以下可能性：运输工具的使用者是从外部例如无线地控制运输工具和/或无线地从运输工具获得信息的人。在该情况下，运输工具的使用者例如可以是运输工具的监视操纵执行的第二驾驶者。其中可能的是，在运输工具中可能还根本没有乘客。在该情形下，于是乘客的角度是运输工具内部空间中一位置处虚拟乘客的角度。如果使用者不同于运输工具的乘客，则使用者在可能的情况下可以从多个位置中选择乘客的位置。虚拟乘客的假定位置可以是由使用者选择或预给定的位于运输工具的几何边界内并且有时是位于其内部空间内的位置。

根据本发明，对于由物体识别装置识别出的物体基于一个或多个标准确定相应物体是对于乘客被归类为可见的第一物体还是对于乘客被归类为不可见的第二物体。如果使用者不是乘客，则基于假定在相应乘客位置处的虚拟乘客来进行对可见性的归类。对于包括至少一个第一物体和至少一个第二物体的所识别出的多个物体，物体各自的位置被确定以用于显示，其中对于各个位置，这多个物体之间的几何关系基本上对应于对于运输工具的乘客角度而言实际的几何关系。尤其地，至少总共三个所示物体之间的相对几何关系基本上对应于对于乘客角度而言运输工具周围环境中相应物体之间实际的几何关系。其中例如图示中物体位置之间的距离比例可以对应于道路上相关物体之间的距离比例，如乘客从其角度、尤其是从其眼睛位置观看的那样。这多个物体然后在所确定的位置上被显示在显示器上。

本发明范围中的物体识别装置尤其可以是已知的至少使得能够识别物体的特征、尤其是边缘和/或轮廓以及/或者物体相互的布局。将物体例如分类到一物体分类中并不一定是必需的。

根据本发明，运输工具的使用者通过至少一个可见的第一物体和至少一个不可见的第二物体的显示而获知与对于乘客角度而言实际几何事实一致的这些物体的相对位置，从而运输工具的使用者获得不可见物体相对于可见物体的实际位置的清楚了解。

本发明因此规定确定所显示的第一和/或第二物体各自的图示位置，该图示位置基本上对应于这些位置从乘客位置、尤其是从乘客视角的关系。因此，从另一角度、例如从运输工具中物体识别装置的安装位置采集的物体在显示装置的显示器上以对于乘客位置正确的几何关系被显示。

在一有利实施方式中，第一和/或第二物体相对于运输工具的位置首先被确定，然后通过几何变换被变换为显示装置的显示器上的显示。其中，所显示的第一和/或第二物体之间的距离比例以及/或者这些物体之间的角度比例被理解为几何关系。例如以设置在运输工具上的不同物体识别装置来进行对相应的第一和/或第二物体的采集和识别。例如，该物体识别装置可以构造为近红外或远红外摄像机(例如热图像摄像机)或者构造为基于对与周围环境的不同部分的距离进行测量的装置。同样，物体识别装置也可以是用于光可见光谱部分的摄像机。

根据本发明，概念“物体”也可以理解为周围环境的一部分，例如道路的具有道路标记或道路标线的部分或者建筑物的一部分。“不可见的物体”尤其是指例如由于其在人可见光谱中很小的反射度和/或由于对于运输工具的乘客而言光照度和/或视线情况或者例如由于物体的色彩而不可见的或者以提高的概率可能不可见的那些物体。尤其地，不可见的物体是即使在使得其本身能够被注意到的视向上也很可能被忽略的那些物体。

在本发明的一特别有利的实施方式中，基于可见性值(Sichtbarkeitsmaβ)将物体归类为可见的第一物体和不可见的第二物体。其中如果针对一物体，对于运输工具乘客的可见性值第一阈值被超过了，则基于该标准将该物体归类为第一物体；并且如果针对一物体，未超过运输工具乘客的可见性值第二阈值，则该物体被归类为第二物体，其中第二阈值对应于第一阈值或者低于第一阈值。通过相应地以相互之间一定距离地选择第一阈值和第二阈值尤其实现了以下优点：所生成的显示始终提供对于乘客良好的定向，但是不加载以不必要显示的物体或部分周围环境。

物体的可见性值尤其可以根据其所发射的光的谱特性来确定。因此，例如在远红外光谱中具有能明确识别的辐射的物体在可见光谱中可能不具有足够的辐射，反之亦然。

尤其可以基于对可见性值的确定来将所识别的物体划分为可见的和不可见的物体，如在本申请人的在先德国专利申请102008051593.0中所介绍的那样。该专利申请的整个公开内容通过引用被包含在本申请中。在这个在先专利申请中所介绍的方法的原理也可以应用在这里所介绍的发明中来辨识可见的或不可见的物体。但是与在先专利申请不同，在这里所介绍的发明中，所识别的物体的可见性根据运输工具的乘客、尤其是驾驶者的位置来确定。相反，在在先专利申请中，运输工具本身的可见性根据不同的立体角或观察位置来确定。

如已经提到的那样，为了区分“可见”和“不可见”，尤其为所确定的可见性值确定适当的阈值，其中在超过该阈值的情况下物体被归类为对于人是可见的，而在低于该阈值的情况下物体被归类为对于人是不可见的。其中可见性值例如以所识别的物体尤其被统计的人或动物视觉系统看到或忽略的概率的形式来表达。与上面提到的在先专利申请类似，为了确定可见性值，所识别的相应物体的发光面的并且在可能的情况下还有所识别的物体的环境中的包括亮度分布和/或光谱分布的第一光分布被确定。其中该亮度分布和/或光谱分布尤其以运输工具中的相应感测装置确定，该感测装置也可以是根据本发明所使用的物体识别装置的一部分。为了确定运输工具的乘客或驾驶者位置的适当可见性值，第一光分布优选变换到运输工具的乘客或驾驶者的位置的角度上，由此获得第二光分布。然后基于该第二光分布可以确定各个物体的可见性值。

上述概念“发光面”既可以是指自发光的面，也可以是指反射的、光折射的或发荧光的面。发光面也可以是既可以自发光又可以反射或折射光的面，例如运输工具的挡风玻璃。发光面也可以是运输工具灯。例如可以按照几何观点进行发光面中的细分。从而例如相邻放置的物体或者其一部分可以构成一发光面，而间隔更远设置的物体或其一部分被归类为另一发光面。其中特别有利的是：将第一光分布具有相似特性的点集作为一发光面理解和/或进一步处理。在可能的情况下，发光面也可以是非常小的无限小的面。发光面可以具有任意形状，尤其地其也可以是弯曲的。

因此，通过第一光分布描述发光面的空间分布。光分布可以作为发光面之间的角度、立体角或角系数被确定和/或进一步处理。

上述可见性值尤其表示物体和/或其外边界和/或物体的空间取向对于人视觉系统的可辨识性。此外，可见性值也可以考虑各个物体与其他物体或别的物体的可区别性。尤其地，如果一物体的同样可能是物体的部件(尤其是边缘和/或结构)的足够大的部分是可见的和/或如果物体的一部分在其空间边界上是可见的，则认为该物体是可见的。尤其地，如果没有满足该标准，则认为物体是整体不可见的。

所确定的可见性值去不同参数，尤其取决于实际对比度以及取决于相应物体相对于通常光源或其他物体的相对运动。因此一般而言，例如如果从乘客位置看来物体相对于背景运动，则物体被乘客看到的概率提高。

在用于确定可见性的方法的一有利变体方案中，所确定的第一光分布以以下形式存在，即在该形式中包含光分布的参数的角度依赖性。这例如可以以光分布的各个参数对于方向、并且在可能的情况下还对于距离的依赖性的由支点描述的函数来描述。有利地，第一光分布以基于向量的格式存在，其中向量在该格式中表明相应发光面所位于的方向，并且包含相应发光面的相应光参数和/或相应辐射特性作为属性。

有利地，基于坐标变换来执行用于确定可见性值的对第一光分布的变换，该坐标变换将发光面的位置和/或辐射角度转换到运输工具的乘客的角度。其中，第一光分布的这个变换例如可以基于对由所识别的相应物体与该物体的周围环境的至少一部分构成的系统中光传播的模拟来执行。因此在计算机支持下由所确定的第一光分布空间地生成具有辐射特性的发光面模型，并且该模型然后又可以在计算机支持下以已知的变换被转换到运输工具的乘客的角度中。

在用于确定可见性值的方法的一有利实施方式中，在第二光分布内确定发光面之间、尤其是所识别的相应物体与所识别的物体的周围环境之间的一个或多个对比度，其中可见性值取决于这一个或多个对比度。在这里，对比度可以被理解为用于不同发光面的和/或一发光面内的亮度分布和/或光谱分布之间区别的参数。该区别例如也可以以梯度形式来表达。

在可能的情况下，对比度也可以通过以下函数来确定，即该函数描述各个发光面的亮度或谱分布各自的空间变化，在可能的情况下取决于运输工具的乘客的位置的立体角和/或与运输工具的乘客的位置的距离。因此，对比度也可以表示两个发光面的所确定的亮度和/或所确定的谱分布之间的区别，其中亮度和/或谱分布在相应的发光面的范围上被平均。作为对比度，尤其确定所识别的相应对象和该对象的周围环境之间的对比度。尤其地，相应物体的表征该物体的几何边界或外廓尺寸的发光面与周围环境的发光面(尤其是未被该相应物体遮盖的发光面)之间的对比度被确定。特别有利的是确定对于运输工具的乘客的位置而言形成相应物体的几何边界的发光面与环境中在相对于所识别的物体的几何边界成基本上相邻的立体角的情况下可见的发光面之间的对比度。此外，可见性值还可以根据第二光分布内子区域的局部对比度来确定。

根据本发明，优选借助于在根据本发明的用于采集或识别运输工具周围环境中物体的方法中所使用的物体识别装置来区分可见的第一物体和不可见的第二物体。因此，本发明可以特别经济地借助于总归存在的传感装置或计算资源来实现。例如，第一和第二物体之间的自动区分和/或要显示的第一和第二物体的选择与其他方法、例如用于识别物体的方法一起在物体识别系统的计算单元中尤其是借助于在该系统中已经存在的在物体识别方法中所确定的物体特征来实现。

在根据本发明的方法的一有利实施方式中，借助于至少两种传感器和/或物体识别装置来区分可见的第一物体和不可见的第二物体。例如可以借助于用于采集例如在夜间对于乘客而言可能是不可见的物体的近红外图像传感器或远红外图像传感器来采集运输工具的周围环境。对于乘客而言可能是可见的物体可以借助于可见光谱中的图像传感器或相应的摄像机来采集。其中，对于通过这样的图像传感器采集的物体可以根据上面所述的原理进行可见性值的检查。通过自动地对比所采集的借助于至少两种传感器识别的物体，可以确定位于运输工具周围环境中的什么物体在现有光照度和视线情况下对于驾驶者是可见的或不可见的。有利地，激光扫描器、激光距离传感器或TOF传感器可以被用作为一种传感器。其中特别有利的是，该传感器不依赖于环境光的辐射或反射。第二种传感器例如也可以一起设置在一传感器外壳中或半导体晶体上，例如作为例如对于可见光谱和远红外光谱具有不同光谱灵敏度的像素。

在根据本发明的另一实施方式中，使用者对应于乘客，采集运输工具的乘客的视线方向，其中在定义所述标准时由于所采集的视线方向(尤其是视线方向的历史)有高概率会被乘客忽略的那些物体被归类为第二物体。其中乘客的视线方向通过现有技术中已知的任何视线跟踪方法来采集，视线跟踪方法跟踪人眼睛移动的过程。由此可以推断对于乘客而言可见性更好或较差的物体。除了分析基本视线方向之外，本方法还包含考虑本领域技术人员公知的所谓跳视眼睛运动。因此例如可以确定如果乘客在观察具有明显不同的照明和/或距离的另一空间部分之后立即在该物体上观察并且还没有经过人视力系统适应或调节所需要的时间的情况下物体是第二物体。

在根据本发明的方法的另一实施方式中，运输工具的使用者能注意到的显示装置的显示器的位置位于运输工具内部空间之外。其中可以例如借助于平视显示器或这样的显示器的扩展方案来构造显示。可选地，例如借助于投影、尤其是全息投影在运输工具内部工件内或外或者借助于3D显示器来进行显示。

在根据本发明的另一变体方案中，显示在显示器上的第一和第二物体至少部分地象征性地被再现。尤其地，至少部分的象征性的显示可以通过以下方式实现：对以记录装置采集的图像的不同部分进行不同的图像处理步骤。因此，对尤其是图像的包含可见物体和/或不可见物体或者其一部分(例如边缘或边界区域)的部分进行不同的图像处理操作。象征性的显示也可以通过渐显的或对图像叠化的图形和/或相应的标记来生成。

在根据本发明的另一实施方式中，以至少一个物体识别装置识别的与运输工具相距一预定距离之内的道路标线和/或道路标记被归类为第一物体。其中有利地，认为与运输工具相距取决于占优势的条件(白天，夜晚，黄昏，下雨，雾)而定的一定距离的道路标线或道路标记是可见的，并且在根据本发明的显示中被再现。以该方式，特别容易地将道路标线或道路标记归类为可见的或不可见的物体。

在根据本发明的另一实施方式中，根据以至少一个采集装置所采集的光照度和/或可见性情形以及/或者其历史情形，尤其是在考虑人视觉系统的心理光学特性的情况下将由物体识别装置所识别的物体归类为第一物体或第二物体。在采集光照度和/或可见性情形时，尤其考虑心理光学的对比度。心理光学的对比度及其影响因素对于本领域技术人员而言是已知的。心理光学的对比度基于人视觉系统的已知的特殊特性，即基于该视觉系统能够借助于不同光参数的空间和时间梯度辨识不同发光空间部分之间的区别、物体的颜色变化、强度变化、纹理以及边缘等的能力。有利地，心理光学的对比度还包括人视力系统的适应特性。

根据本发明，可以借助于对运输工具的乘客的视觉系统的模拟来确定可见性值和/或用于确定物体可见性的参数。其中可以考虑运输工具的乘客所经受的和/或在最近刚经受的光照度的历史和/或环境。在一有利变体方案中，心理光学的对比度基于对运输工具的例如统计学上的驾驶者的视觉系统的模拟而被确定。其中可以考虑一系列作用于驾驶者的影响参数或事件，例如交通参与者吸引注意力的影响、夜间内部照明灯的影响、挡风玻璃在其眼睛前的反射作用等。

有利地，从所有这多个第一物体中选出第一物体子集，该子集中的第一物体或其位置在显示装置中被显示。有利地，选择这样的第一物体子集，即其中的第一物体向使用者提供关于该至少一个第二物体的位置的信息。在根据本发明的一实施方式中，对要显示的第一物体的选择取决于在环境的同一区域中是否有至少一个第二物体被选择用于显示。尤其地，只有至少从两个或三个空间侧包围在显示器上显示的不可见的第二物体的那些可见的第一物体被显示在显示器上。由此构成包围成像在显示中的第二物体的第一物体的范围。因此，运输工具的使用者获得附加的支持来辨识不可见的第二物体的位置，更确切地说是在没有不必要地持续显示多个对于驾驶者而言本来可见的物体的情况下。其中，例如在运输工具周围环境中以及在根据本发明的显示中呈现不可见物体导致一些本来可见的以前不成像在显示中的物体现在与不可见物体一起被显示。

在本发明的另一实施方式中，在所确定的位置处显示在显示器上的物体的本身可见的部分不被显示和/或在显示器上的显示中被抑制，如果该物体的可见性值未超过第二阈值的话。以该方式，相应的第二物体的至少那些本身对于运输工具的乘客可见的部分不被再现。

在根据本发明的方法的另一实施方式中，在显示器上生成包括以至少一个物体识别装置识别的道路标线和/或道路标记的虚拟道路路面。由此生成一显示，在该显示中驾驶者能非常快速地了解所识别的物体相对于道路的方位，因为该物体相对于虚拟道路路面在正确的位置处被再现。此外，通过再现包括所识别的道路标记和/或道路标线的虚拟道路路面，向驾驶者提供了对于所显示的被识别物体的非常好的基准点。尤其地，物体相对于道路标记或道路标线的位置可以显示在显示装置的显示器的相对小的区域上，例如平视显示器上，其中驾驶者但是可以准确地评估例如障碍物位于道路的什么位置处。因此，成本高地将平视显示器扩展到挡风玻璃的大部分上或者使用所谓的接触模拟的平视显示器不是必需的。尤其地，驾驶者非常良好地识别相应的可见的或不可见的物体位于哪个车道上以及该车道内什么位置上。

在根据本发明的另一实施方式中，根据运输工具的里程数据和/或自动分析的交通情况来选择在显示器上显示的第一和第二物体。例如，显示在显示器上的可见的路段的长度或该路段的宽度(例如所显示的车道数量)可以取决于运输工具的里程数据和/或自动识别的交通情况。

因此，根据自动分析的交通情况(例如停车和调轨，第30区，快车道)在显示器上显示各自重要的区域。要显示的区域尤其可以取决于运输工具接下来估计位于的位置或活动半径。在这种情况下考虑运输工具的特定的区域、例如紧邻运输工具的区域在多个交通情况下是不重要的。相反，距离越远的区域越重要。对于调轨速度，长度为几米的紧邻在运输工具后面的路段很重要，而对于高速公路速度，显示在20米才开始并且包括后面的30米。显示在显示器上的路段也可以根据导航系统的数据、例如根据进一步的路线和/或所设定的目的地来选择。

在根据本发明的方法的另一实施方式中，借助于关于第一和第二物体相对于运输工具的实际位置的深度信息来确定用于显示的第一和第二物体各自的位置，其中深度信息借助于至少一个物体识别装置确定。以该方式得到能资源节约地确定的简单的三角关系。其中与相应物体的距离可以借助于已知的方法确定。特别有利的是转换借助于开头提到的MIDIAS摄像机系统的方法，其中TOF传感器的针对相关立体角的深度信息被用于确定物体距离。

在本发明的另一实施方式中，显示器为了产生立体感包括多个具有对于运输工具的使用者、尤其是驾驶者的预定视线方向使用者察觉的不同位置的多个显示层面。其中优选地，在不同显示层面上、尤其是在被察觉为相对于使用者的距离不同和/或为倾斜不同的那些显示层面上呈现显示的一部分，尤其是不同物体。因此，为了向使用者例如直观清楚地显示或展示虚拟路面相对于视野的不同倾斜，所显示的一个物体与所显示的另一物体相比距离运输工具更远，支持完全3D的显示装置的存在不是必需的。因此，本发明例如可以借助于平视显示器或例如只支持3到12个不同显示深度的另一显示装置来实现。

在根据本发明的另一变体方案中，基于一标准选择所显示的第一和/或第二物体，在该标准中，与运输工具碰撞危险提高的物体优选作为要显示的物体。因此，要在显示中呈现的物体、尤其是不可见的物体可以根据其交通重要性、尤其是与运输工具的碰撞概率被选择。其中碰撞概率可以借助于已知的用于确定可能碰撞的方法来确定。

在根据本发明的另一实施方式中，显示在显示器上的第一和第二物体借助于其他图形元素被连接。这个人工生成的图形元素尤其用于显示可见的和不可见的物体之间的空间关系。该图形元素尤其可以构造为辅助线、网栅、点、箭头、标记的面或距离显示。

有利地，除了物体、尤其是第二物体的例如构造为标记或突出强调的物体的显示之外，例如在显示装置的另一区域中或者在另一显示装置上显示该物体的放大显示。因此，物体的相对大的视图和物体的位置同时显示在整个相对小的显示区域上或小的视角内。在该方法的一有利实施方式中，放大的物体视图以与本发明一实施方式中所显示的虚拟车道层面不同的角度、例如以未转换的角度和/或以变化的外观(例如以加重的边缘和轮廓)显示。

有利地，该方法可以被设计为使得显示表明放大的图示相对于显示器上物体位置的关系的附加图形元素。使用者由此获知物体的放大图示与物体图示或物体位置图示的从属关系。该图形元素可以将例如构造为象征性图示的物体图示与放大图示联系起来或者通过基本上从一图示到另一图示对准的线的方向表明这两个图示之间的关系。

在本发明的一实施方式中，显示装置是运输工具之外的外部设备(例如移动电话)的一部分，其中信息从运输工具发送到该外部设备，尤其是无线地发送。其中有利地，使用者可以通过该外部设备从至少两个位置中选择要以其角度显示运输工具周围环境的乘客位置。

除了上述方法之外，本发明还涉及一种用于在显示装置的显示器上从运输工具的乘客、尤其是驾驶者的角度为使用者显示运输工具周围环境中可见性不同的物体的显示装置，其中运输工具的周围环境至少部分地由一个或多个物体识别装置自动识别。其中该显示装置包括能基于一个或多个标准对于以该一个或多个物体识别装置识别的物体确定相应物体是归类为对于乘客是可见的第一物体还是归类为对于乘客是不可见的第二物体的装置。显示装置还包括能对于所识别的包括至少一个第一物体和至少一个第二物体的多个物体确定用于显示的物体各自的位置的装置，其中这多个物体的几何关系基本上对应于对于运输工具的乘客的角度而言实际的几何关系。其中该显示装置构造为使得这多个物体在所确定的位置处显示在显示器上。优选地，利用该显示装置能执行上面描述的根据本发明的方法的每种变体方案。该显示装置可以在运输工具的一个或多个控制装置或控制单元中使用或集成。

除了上述显示装置之外，本申请还涉及一种包括这样的显示装置的运输工具。

附图说明

以下借助于附图详细介绍本发明的实施例。

附图中：

图1示出了现有技术中已知的根据MIDIAS的摄像机系统的示意图；

图2示出了其中使用进行物体识别的摄像机的运输工具的示意图；

图3示出了根据本发明的方法的一实施例的示意图；

图4示出了借助于根据本发明的方法生成的运输工具周围环境的图示的一个例子；以及

图5示出了借助于根据本发明的方法生成的运输工具周围环境的另一图示的一个例子。

具体实施方式

上面已经在解释本发明要解决的技术问题时对图1和2进行了详细描述，因此不对这两幅图进行重复描述。

图3以示意图示出了本发明的一种实现的一个例子。其中以激光传感装置和摄像机采集运输工具周围环境。由激光传感装置和摄像机的数据确定在所采集的周围环境中物体的位置及其运动。基于该位置以及在包括摄像机的数据的情况下，然后根据一个或多个标准确定哪些物体对于乘客而言是可见的或不可见的，其中可见的物体被归类为第一物体，不可见的物体被归类为第二物体。在这个确定中还可以考虑运输工具的运动数据。例如，运输工具运动的速度可能影响物体的可见性。然后，选择要在运输工具中显示装置的显示器上显示的物体，其中要显示的物体包括至少一个第一物体和至少一个第二物体。在选择要显示的物体时尤其可以考虑关于交通情况的信息。例如可以优先再现碰撞风险提高的那些第二物体。然后确定位置移动，根据该位置移动确定要显示的物体对于运输工具的乘客的角度而言位于什么位置。这个位置移动还将借助于图4进行描述。最后，基于所确定的位置移动和所选择的要显示的物体在显示装置的显示器上生成图示，其中在可能的情况下，对于被显示的物体使用代表性的符号或纹路。其中，图示包含至少一个第一物体与至少一个第二物体的连接图形。此外，未被选择的物体在图示中被抑制。其中图示在平视显示器(缩写为HUB)中为驾驶者再现，但是在可能的情况下也可以在其他显示装置，例如显示器、3D显示器上作为光投影或全息成像而被显示。

在一实施方式中，由摄像机识别的在显示器上也再现的道路标线和道路标记被归类为可见物体。其中在显示器上生成虚拟的道路路面，这个虚拟的道路路面例如基于通过车道识别而确定的车道位置来确定并且包括道路标线和道路标记。因此生成在虚拟道路路面中包括所识别的道路标线或道路标记作为可见物体并且还包括对于驾驶者而言不可见的至少一个物体的图示。其中，道路标线或道路标记以及该至少一个不可见的物体位于这些道路标线或道路标记以及该至少一个不可见的物体之间的几何关系对于运输工具的驾驶者的角度而言对应于实际几何关系的位置上。以该方式弥补在再现时由于进行物体识别的摄像机系统的错位设置而导致的图示偏差，并且驾驶者快速地识别显示在显示器上的物体与其在实际周围环境中的位置之间的联系。

图4示例性地示出了能借助于根据本发明的方法生成的图示。可以看出，该图示包括具有作为可见物体的两个行车道2和3和行车道旁边的区域4和5的虚拟道路路面。其中在图示中，行车道旁的区域以相应的纹理实现。通过进行物体识别的系统采集到人形式的物体O，该物体位于道路上并且对于驾驶者而言被归类为不可见的(例如由于这个人的反射差的衣服)。其中，从进行物体识别的系统的安装位置看的物体的位置在图4中通过物体O’来表示，该物体O’不是所生成的图示的组成部分。根据本发明，基于物体O’的位置现在确定必须看见该物体的位置，因此保持相对于实际场景的再现比例，如从驾驶者位置看的那样。这个修正后的物体位置对应于作为所生成的图示一部分的物体O的位置。其中新的物体位置借助于在图4中以不是图示组成部分的相应箭头T表示的变换来计算。

图4中所示出的图示尤其可以在运输工具的平视显示器中进行，并且所识别出的道路标线或道路标记可以例如通过相应的方向控制辅助系统来确定。所示出的物体可以例如基于不同传感器的数据或者由夜视系统来识别。在该图示中不是再现实际采集到的物体，而是再现该物体的相应符号，从而驾驶者能非常好地区分实际周围环境与虚拟图示。

如从上面的描述中得到的那样，以一个或多个物体识别系统不仅能执行物体识别，而且还能获得用于生成图示的信息。其中例如可以根据所提供的深度信息确定所识别的障碍物与运输工具相距多远。由此还可以确定要在图示中显示的该障碍物的符号相对于道路标线和/或道路标记应偏移的偏差。其中对该偏差的确定基于对驾驶者位置、识别车道的设备(例如方向控制辅助系统的单目摄像机)的安装位置、以及提供深度信息的设备(例如MIDIAS摄像机系统的3D-TOF传感器或在可能的情况下相应的雷达/激光雷达传感器)的安装位置之间的几何关系。因此在图示中在与实际障碍物相对于实际道路标记相同的相对于所再现的道路标记或道路标线的位置处显示障碍物的符号。因此驾驶者获得对于在当前边缘条件下不可见的实际障碍物位于什么位置的能快速容易解释的信息。

图5示出了运输工具的显示装置的显示器上对于可见性不同的物体的一种根据本发明的图示的另一示例。其中采集包含三个房屋6、7和8、一个运输工具9以及一个人O的周围环境。其中，人O被归类为不可见的，其余物体6至9被归类为可见的。在显示器上显示的物体边缘在图中以实线示出，不显示的物体边缘被画为虚线。只有有助于描述不可见物体O的位置的对于驾驶者而言直接可见的物体(房屋6和7的一部分)被显示，不可见物体O对于运输工具的乘客而言不是直接可见的。因此所示出的第一物体构成用于正确直观可理解地察觉第二物体O的位置的范围。对于乘客而言可见的物体8和9不出现在运输工具的显示装置上，或者通过降低对比度或使用图像处理过滤器而相对于所显示的物体6和7的部分被改变。

Claims (26)

1.一种用于在显示装置的显示器上从运输工具的乘客、尤其是驾驶者的角度为使用者显示所述运输工具的周围环境中可见性不同的物体的方法，其中所述运输工具的周围环境至少部分地由一个或多个物体识别装置自动识别，其中

对于由所述一个或多个物体识别装置所识别的物体，基于一个或多个标准确定各个物体是对于所述乘客而言被归类为可见的第一物体还是对于所述乘客而言被归类为不可见的第二物体；

对于所识别的包括至少一个第一物体和至少一个第二物体的多个物体，确定物体各自的用于显示的位置，其中所述多个物体之间的几何关系对于所述运输工具的乘客的角度而言基本上对应于实际的几何关系；

将所述多个物体在所确定的位置处显示在所述显示器上。

2.如权利要求1所述的方法，其特征在于，基于所述一个或多个标准，

如果对于一物体，用于所述运输工具的乘客的可见性值的第一阈值被超过，则这一物体被归类为第一物体；而

如果对于一物体，用于所述运输工具的乘客的可见性值的第二阈值未被超过，则这一物体被归类为第二物体，

所述第二阈值对应于所述第一阈值或者低于所述第一阈值。

3.如权利要求1或2所述的方法，其特征在于，借助于至少两种传感器和/或物体识别装置来区分第一物体和第二物体。

4.如前述权利要求之一所述的方法，其特征在于，所述使用者是所述运输工具的乘客，并且采集所述运输工具的乘客的视线方向，并且基于所述一个或多个标准将第二物体定义为由于所采集的视线方向、尤其是视线方向的历史数据、和/或由于跳视眼睛运动有高概率会被所述乘客忽略的那些物体。

5.如前述权利要求之一所述的方法，其特征在于，所述显示装置的显示器的能被所述运输工具的使用者感知的位置位于运输工具内部空间之外。

6.如前述权利要求之一所述的方法，其特征在于，显示在所述显示器上的第一物体和第二物体至少部分地象征性地被再现。

7.如前述权利要求之一所述的方法，其特征在于，与所述运输工具相距一预定距离之内的由至少一个物体识别装置识别出的道路标线和/或道路标记被归类为第一物体。

8.如前述权利要求之一所述的方法，其特征在于，根据由至少一个采集装置所采集的光照度和/或可见性情形以及/或者其历史记录、尤其是在考虑人视觉系统的心理光学特性的情况下将由所述一个或多个物体识别装置所识别出的物体归类为第一物体或第二物体。

9.如前述权利要求之一所述的方法，其特征在于，借助于对所述运输工具的乘客的视觉系统的模拟来区分第一物体和第二物体。

10.如前述权利要求之一所述的方法，其特征在于，只有至少从两个或三个空间侧包围显示在所述显示器上的第二物体的那些第一物体才被显示在所述显示器上。

11.如前述权利要求之一所述且引用权利要求2的方法，其特征在于，如果在所述显示器上在所确定的位置处被显示的物体的可见性值不超过所述第二阈值，则所述物体的本身可见的部分不被显示和/或在显示器上的图示中被抑制。

12.如前述权利要求之一所述的方法，其特征在于，在所述显示器上生成包括由至少一个物体识别装置识别出的道路标线和/或道路标记的虚拟道路路面。

13.如前述权利要求之一所述的方法，其特征在于，根据所述运输工具的里程数据和/或自动分析的交通情况来选择在所述显示器上显示的第一物体和第二物体。

14.如前述权利要求之一所述的方法，其特征在于，借助于关于所述第一物体和所述第二物体相对于所述运输工具的实际位置的深度信息确定所述第一物体和所述第二物体各自用于显示的位置，其中所述深度信息借助于至少一个物体识别装置确定。

15.如前述权利要求之一所述的方法，其特征在于，所述显示器为了生成立体感包括多个具有对于所述运输工具的使用者、尤其是驾驶者的预定视线方向被使用者察觉的不同位置的显示层面。

16.如权利要求15所述的方法，其特征在于，所述图示的部分、尤其是不同的物体在不同显示层面上被显示，尤其是在被辨识为相对于所述使用者的距离不同和/或倾斜不同的那些显示层面上被显示。

17.如前述权利要求之一所述的方法，其特征在于，基于以下标准选择被显示的第一物体和/或第二物体，在该标准中，与所述运输工具碰撞的危险提高的物体被优先作为要显示的物体。

18.如前述权利要求之一所述的方法，其特征在于，除了物体、尤其是第二物体的图示之外，在所述显示器上还显示同一物体的放大图示，所述放大图示尤其是通过角度和/或所使用的图像参数与所述显示器上的所述图示区分开。

19.如权利要求18所述的方法，其特征在于，显示表明所述放大图示与所述图示上物体的位置的关系的附加图形元素。

20.如前述权利要求之一所述的方法，其特征在于，所述运输工具的周围环境的在所述显示器上显示的部分取决于至少一个第二物体、尤其是至少一个对于交通而言重要的第二物体的存在。

21.如前述权利要求之一所述的方法，其特征在于，借助于其他图形元素连接在所述显示器上显示的第一物体和第二物体。

22.如前述权利要求之一所述的方法，其特征在于，所述显示装置是所述运输工具之外的外部设备的一部分，其中信息从所述运输工具传输到所述外部设备，尤其是无线地传输。

23.如权利要求22所述的方法，其特征在于，所述使用者能通过所述外部设备从至少两个位置中选择乘客的位置，其中所述运输工具的周围环境由该乘客的角度被显示。

24.一种用于在显示装置的显示器上从运输工具的乘客、尤其是驾驶者的角度为使用者显示所述运输工具的周围环境中可见性不同的物体的显示装置，其中所述运输工具的周围环境至少部分地由一个或多个物体识别装置自动识别，所述显示装置包括：

能对于由所述一个或多个物体识别装置所识别的物体，基于一个或多个标准确定各个物体是对于所述乘客而言被归类为可见的第一物体还是对于所述乘客而言被归类为不可见的第二物体的装置；

能对于所识别的包括至少一个第一物体和至少一个第二物体的多个物体，确定物体各自的用于显示的位置的装置，其中所述多个物体之间的几何关系对于所述运输工具的乘客的角度而言基本上对应于实际的几何关系；

所述显示装置被构造为使得所述多个物体在所确定的位置处显示在所述显示器上。

25.如权利要求24所述的显示装置，其特征在于，所述显示装置被构造为使得利用所述显示装置能执行根据权利要求1至23之一所述的方法。

26.一种运输工具，包括如权利要求24或25所述的显示装置。

Images