CN113386667A - 验证间接观察系统的方法 - Google Patents

Abstract

一种用于验证间接观察系统的方法，其提供了至少一个图像采集单元，该图像采集单元具有至少一个图像传感器、至少一个图像处理单元、至少一个再现单元以及位于车辆的限定位置处的至少一个参考传感器，使得参考传感器位于图像采集单元的记录部分中，并且被描绘在图像传感器上。参考传感器被限定在图像传感器上的参考传感器目标位置。利用该方法，在图像传感器上采集车辆周围的至少一个记录部分的图像数据，并在再现单元上再现。然后，在图像传感器上确定参考传感器的参考传感器当前位置，并将参考传感器当前位置与参考传感器目标位置进行比较，以确定参考传感器当前位置是否等于参考传感器目标位置。

Description

验证间接观察系统的方法

技术领域

本发明涉及一种用于检验车辆(特别是乘用车或商用车)的间接观察系统(特别是图像采集单元的记录部分或图像采集单元的图像传感器的读取部分)的方法、被配置用于执行该方法的间接观察系统以及包括该间接观察系统的车辆。

背景技术

在机动车辆中，法律规定在驾驶操作过程中，驾驶员必须能够看见车辆周围的所谓视场。必须可见的视场取决于机动车辆的类型，例如摩托车、用于运送乘客的机动车辆、用于运输货物的机动车辆等。视场的可见性必须由间接观察装置提供，并且通过使用间接观察装置，视场必须对坐在驾驶座上的驾驶员一直可见。根据车辆的类型，特别是根据驾驶员可以直接观察到车辆周围的哪些区域，不同的法律规定要求某些视场通过使用间接观察装置是永久且可靠地可见的。在欧洲和欧洲以外的一些国家，在UN/ECE第46号法规中定义了驾驶员必须始终可靠地可见的视场。其他相关规范和法规分别包括例如ISO 5721、ISO5006、ISO 16505、ISO 14401和EU 167/2013。除了法律上规定的视场之外，该间接观察装置通常还使车辆周围的其他区域(所谓的视场)变得可见。视场区域可以包括法律规定的视场。

通常，可以使用一个或多个视镜来观察视场。然而，视镜也具有一些缺点。例如，视镜只是向驾驶员示出位于视镜的与驾驶员相同一侧上的物体。视镜后面的任何物体只能通过该视镜困难地显示。另外，除非视镜非常靠近驾驶员，否则仅由平板玻璃制成的视镜向驾驶员显示的区域很小。如果它们是凸面形的，则会产生图像畸变。大型车辆通常具有六个或更多个视镜，这些视镜安装在车辆的外侧周围，它们中的大多数是凸面形的并且会产生畸变，这使得驾驶员难以同时注意所有相关的视镜。然而，尽管具有这么多的视镜，在这些车辆周围的视场区域中通常仍然存在盲区，也就是没有视场的区域。

近年来，考虑将摄像机系统用作间接观察装置以作为间接观察装置的视镜的补充或替代，变得越来越普遍。在这样的摄像机系统中，连续地采集图像，并分别进行检测和处理，如果是这样，则进行存储。由图像采集单元采集的(视频)数据例如通过使用供应单元并且可选地在进一步处理之后被传输到位于驾驶室内的显示装置。该显示设备描绘了相关法律规定的视场或多个视场的视图，并且可选地描绘了车辆周围区域的补充信息，例如潜在的碰撞风险、与其他物体的距离等，使得视场对于驾驶员而言永久可见。同时，该观察系统提供了出色的夜视功能、更灵活的布置选择，并有机会在减少畸变的情况下观察更大的视场。

这里，永久可见是指以及时不间断的方式描绘视场中的视图，即，不因交替地示出和隐藏视场或其部分或者通过覆盖其他表示使得视场不能被完全看到而中断。因此，在显示装置上连续且实时地示出相应的一个或多个视场。这至少适用于对于所有车辆条件都被必须为永久可见的视场，其中点火开关被打开和/或优选地例如被耦合到接收相应信号的传感器，所述信号例如为车门打开信号或点火开关信号。

以摄像机系统作为间接观察装置，摄像机和图像采集单元分别安装在车身上。摄像机和图像采集单元分别采集车辆环境的至少一个侧向部分，该侧向部分对应于驾驶员在共同侧的后视镜或前视镜中看到的部分。特别是，对于商用车来说，期望使路面的平坦部分和水平部分具有特定的宽度，该宽度从车辆驾驶员的视点后方的限定距离延伸至在驾驶员侧和乘客侧分别可以看到的地平线。通过在驾驶员的视点后面一定距离内使用公共视镜，该条纹的宽度相当于广角镜的视场(例如，ECE R46中定义的视场IV)，在驾驶员的视点后面较短的距离内，相当于主镜的视场(例如，在ECE R46中定义的视场II)，其预定义可视宽度(即车辆横向上的延伸长度)小于广角镜的视场宽度。前视镜的区域例如对应于UN/ECE R46的视场VI。

为了特别是分别可靠地采集或记录分别具有摄像机和图像采集单元的公共广角镜的视域，摄像机和图像采集单元通常分别以一定距离安装到车辆的车身上，诸如在多部件且铰接的摄像机臂的远端处，其特征在于，其纵向延伸明显长于其横向延伸。此外，就采集所需的视场而言，将这种摄像机臂安装在车身上与安装公共视镜的通常位置不同的位置上可能是有利的。因此，可能出现这样的情况，即，摄像机安装至在驾驶过程中驾驶员不能看到的车身上的位置。

但是，特别是对于这种多部件摄像机臂，可能出现的是，摄像机(例如由于摄像机臂与车辆环境中的物体碰撞或受到外部撞击(由于第三方干扰而造成摄像机臂移位))相对于车辆定位，使得一个或多个固定限定的记录部分(例如上述法律规定的视场II和IV或一个或多个单独限定的视场)不再显示或不再完整显示。如果这仅涉及要显示的记录部分和实际显示的记录部分之间的微小偏差，则可能会出现驾驶员(特别是如果驾驶员不熟悉车辆)意识不到该偏差的情况。因此，由于要显示的记录部分与实际显示的记录部分之间的偏差而没有采集到或没有充分采集到，他可能太迟或根本没有意识到可能的危险情况，从而导致车辆与车辆环境中的其他交通参与者或物体发生碰撞的风险增加。

实际上，摄像机的视场只能通过非常广泛的测试设置来验证和调整。在这方面，将参考目标放置在车辆测试台中，车辆定位在车辆测试台之间，以使参考目标对于车辆具有固定的几何参考。车辆位置的误差和车辆的公差(例如部件公差、不同的车辆总成、有驾驶员和无驾驶员的测量等)使得精确验证变得困难而广泛。特别地，对于小型车辆制造商而言，复杂的验证过程几乎是不可行的，因为这样一来就会产生很高的成本，而且时间段也会增加。此外，对于驾驶员而言，例如如果在车辆的运行过程中出现这种偏差，这不是靠自己就能实现的，或者需要付出更多的努力。如果对图像采集单元进行维修或更换，则同样的缺点也分别出现在维修和更换过程中。

从WO 2017/174250 A1中已知一种用于确定车辆的摄像机系统的多个摄像机的安装位置和/或定向的方法。从EP 2 692 584 A1中已知一种用于车辆的视镜替代系统。从DE10 2018 111 776 A1中已知一种校准装置和用于确定校准数据的方法。

发明内容

有鉴于此，本发明的目的在于提供一种用于验证车辆的间接观察系统的方法，该方法能够识别要在再现单元上显示的固定限定区域与在再现单元上实际显示的区域之间的偏差。另外，本发明的目的还在于提供一种相应的观察系统。

该目的通过以下的方案来解决：一种用于检验车辆(特别是乘用车或商用车)的间接观察系统的方法，该方法具有根据权利要求1所述的特征；一种用于车辆(特别是商用车)的观察系统，该系统可以执行该方法，并具有根据权利要求15所述的特征；以及，具有根据权利要求24所述特征的使用间接观察系统的车辆。在从属权利要求中给出了优选实施例。

本发明基于这样的思想，即，减少了在间接观察系统的常规验证中产生的工作量，该间接观察系统具有参考目标相对于车辆的精确定向。特别地，通过验证，验证了图像采集单元的记录部分或图像采集单元的图像传感器的读取部分。在这方面，根据本发明，参考目标(在某些环境中位于车辆外部)被所谓的参考传感器代替。参考传感器附接在车身上。在这方面，每个车辆侧至少设置一个参考传感器，使得其位于带有接通的图像采集单元的图像采集单元的记录部分中，并且相应地在图像采集单元的图像传感器上示出。如果记录部分对应于目标记录部分，则在图像传感器上的目标位置处分别描绘和定义参考传感器。参考传感器在图像传感器上的目标位置对应于参考传感器在图像采集单元的记录部分中的图像采集单元的理想调整时必须具有的位置，从而分别将所需的和所期望的视场最佳地显示给驾驶员。换句话说，参考传感器目标位置对应于图像传感器上的位置，在该位置上以最佳可能的方式对参考传感器在图像传感器上的图像采集单元的记录部分进行调整，即完全满足对所需的和所期望的视场的可见性要求的调整。

在分别验证和检测间接观察系统是否调整为使其记录部分按照要求和期望的方式采集车辆环境的情况下，由具有图像传感器的图像采集单元以图像数据的形式采集车辆环境，并检测参考传感器在图像传感器上的当前位置。参考传感器在图像传感器上的当前位置对应于参考传感器在图像采集单元的记录部分中当前存在的图像采集单元的当前调整中实际具有的位置。在检测到参考传感器当前位置之后，图像处理单元或驾驶员将参考传感器当前位置与参考传感器目标位置进行比较。在参考传感器当前位置与参考传感器目标位置之间存在偏差的情况下，图像采集单元的记录部分或图像采集单元的图像传感器的读取部分分别与图像采集单元的记录部分和图像采集单元的图像传感器的读取部分的理想调整存在偏差。因此，可能存在对所需的和所期望的视场分别记录不充分(例如不完整)的情况。如果参考传感器当前位置与图像传感器上的参考传感器目标位置一致，则图像采集单元的记录部分或读取部分与图像采集单元的记录部分和读取部分的理想调整之间不存在偏差，并且图像采集单元的当前记录部分对应于图像采集单元的目标记录部分。视场分别按要求和期望显示。图像采集单元的记录部分对应于由图像采集单元采集并描绘在图像传感器上的车辆环境部分。图像传感器的读取部分对应于图像传感器的被选择用于在再现单元上再现并且从图像传感器中取出的部分。

除了参考传感器当前位置和参考传感器目标位置精确重合以确定图像采集单元的记录部分和读取部分的理想调整之外，参考传感器当前位置在在参考传感器目标位置周围的限定部分的位置也足以显示所需或所期望的视场。因此，不必强制性地将参考传感器目标位置和参考传感器当前位置精确地重合以便将所期望的和所要求的视场可靠地显示在再现单元上。在参考传感器当前位置周围提供限定的部分/区域可以在图像传感器上或在再现单元上进行，并用于平衡/补偿系统或车辆部件的机械公差或图像识别过程中的不准确性。

这种用于验证间接观察系统的方法具有这样的优点，即参考目标与车辆之间的固定几何参考可以通过简单地将参考传感器直接附接到车身上来实现，而无需用移动参考目标进行繁琐的测试设置。此外，通过本发明的方法，不再需要在合适的检查环境(诸如车间)中检查/检验车辆。相反，该方法可以在车辆的位置上独立地执行，优选地偶尔重复执行，并且还优选地在观察系统的运行过程中自动地(例如以固定的时间间隔)或者在需要时(例如如果驾驶员希望的话)执行。这不仅减少了所需的测试装置所需的设备，而且还节省了安装测试装置和进行检查/检验本身的时间，从而使间接观察系统不间断地、经济地运行。

优选地，参考传感器目标位置与由图像采集单元采集的至少一个目标视场具有固定的几何关系。目标视场可以是法律规定的视场，例如UN/ECE R46中定义的视场，也可以是由制造商和用户分别定义的视场，因此是所期望的视场。参考传感器目标位置和目标视场之间的固定几何关系可确保将参考传感器定位在图像采集单元的记录部分中，以便在参考传感器当前位置与参考传感器目标位置重合的情况下，显示出所规定的或所期望的视场。在这方面，所规定的或所期望的视场取决于车辆的类型及其几何形状。

根据一个优选实施例，至少参考传感器当前位置被描绘在再现单元上，并且在再现单元上进行比较。优选地，参考传感器当前位置与参考传感器目标位置的比较是通过手动施加掩模(例如箔片)或描绘具有固定参考传感器目标位置的数字覆盖层而在再现单元上进行的。从而，用户(例如生产人员)在再现单元上施加其上指示参考传感器目标位置的掩模，并且比较参考传感器当前位置在再现单元上是否被掩模上的参考传感器目标位置覆盖。在没有覆盖的情况下，用户以容易的方式识别出图像采集单元的记录部分被移位，或者图像传感器的读取部分被移位，并且所要求或所期望的视场可能不再完整显示。然而，在覆盖的情况下，用户以容易的方式认识到图像采集单元的记录部分或图像传感器的读取部分根据要求或期望被调整。还可以考虑在再现单元上同时显示参考传感器当前位置和参考传感器目标位置。因此，在不使用掩模的情况下，用户可以快速可靠地识别出图像采集单元的记录部分或图像传感器的读取部分发生了移位，并且所要求或所期望的视场可能不再完整显示。在车辆行驶过程中，甚至偶尔会在再现单元上描绘参考传感器当前位置和参考传感器目标位置。

优选地，例如分别通过一定的计算算法和计算机程序在图像处理单元中进行比较，以将参考传感器当前位置与存储在图像处理单元中的参考传感器目标位置进行比较。该计算机程序可以是图形程序或图像识别程序。例如，利用图形程序，可以将覆盖层投射到图像传感器上，使得图像处理单元可以识别参考传感器当前位置是否与参考传感器目标位置一致。或者，可以借助于图像识别来执行对参考传感器当前位置与参考传感器目标位置的一致性的检查/检验，其中，对由图像采集单元采集的图像进行分割并且通过模式识别/模式匹配对分离的图像片段进行分析。由图像处理单元对参考传感器当前位置和参考传感器目标位置的比较具有以下优点：在间接观察系统的运行过程中，甚至在车辆驾驶过程中，可以反复进行比较，而不需要用户的操作，这使得该比较更加可靠和更加确定，并且增加了车辆的运行安全性，因为如果当前位置和目标位置不再重合，则可以快速识别。

优选地，利用该方法，不仅将参考传感器当前位置和参考传感器目标位置进行相互比较，而且还可以同时检查显示在图像传感器上以及再现单元上的当前视场是否为所要求的或所期望的视场(即目标视场)。优选地，通过位置检查来进行当前视场和目标视场的比较，即通过将与目标视场相关联的某些点与当前视场的点进行比较来进行。因此，可以以容易的方式确定图像采集单元是处于运行位置还是处于固定限定的位置。例如，在多部件铰接式摄像机臂的情况下，可以通过与障碍物的碰撞或第三方的外部撞击而旋转地折叠，例如以限定的不规则或规则时间间隔(例如每天一次、每周一次或其他时间间隔)或在检测到特定的车辆状态(点火开/关、发动机启动、挂车的耦合、改变图像调整等)之后，可以检查摄像机臂是否在理想的方向上移位，或者摄像机臂是否位于预定位置，例如折叠位置、停车位置等。因此，在摄像机臂中不需要单独的位置开关和折叠传感器来检查/检验视场的可视性。例如，如果车辆位于具有参考视场显示的相应测试设备中，则视场位置的附加比较可以总是执行或优选地按需执行。

优选地，在图像处理单元中，至少在图像传感器的图像分析部中进行参考传感器当前位置和参考传感器目标位置的比较。图像分析部对应于整个图像传感器的一部分，图像处理单元在应用用于比较参考传感器当前位置和参考传感器目标位置的计算机程序时使用该图像分析部。与分析整个图像传感器相比，分析图像传感器的某一部分可以节省计算能力和计算时间。然而，也可以考虑在比较参考传感器当前位置和参考传感器目标位置的过程中分析(即考虑)整个图像传感器。

优选地，图像读取部包括图像分析部。图像读取部是图像传感器的一部分，该部分在再现单元上显示给驾驶员。根据本发明的一个实施例，图像读取部大于图像分析部。根据另一优选实施例，图像读取部不包括图像分析部，即，图像分析部位于图像传感器上除图像读取部之外的另一位置。

优选地，该方法包括附加步骤，如果参考传感器当前位置不等于参考传感器目标位置，则向驾驶员输出信号。该信号可以是声音、视觉和/或触觉信号，并且可以优选地向驾驶员重复示出。声音信号可以分别是音频警告和警报以及语音邮件等当中的一种或多种。视觉信号可以是视觉警告通知中的一种或多种，例如在再现单元、汽车仪表盘、平视显示器(head-up display)等位置指示的带感叹号的红色三角形灯。视觉警告通知可以反复出现(例如闪烁)，也可以不断显示。触觉信号可以是方向盘的振动。可以想到听觉、视觉和/或触觉信号的各种组合。通过一种或多种信号，驾驶员可以及时地(即没有明显的时间延迟地)识别出图像采集单元的记录部分或图像传感器的读取部分已经改变。

根据一个优选实施例，如果参考传感器当前位置不等于参考传感器目标位置，则该方法可以包括执行校准动作的附加步骤。如果参考传感器当前位置与参考传感器目标位置不相等，则必须执行校准动作，以使所期望的视场与目标视场再次重合。校准动作是指分别对图像采集单元的记录部分或图像采集单元的图像传感器的读取部分进行调整和校正，以使图像采集单元采集到所需的和所期望的视场。并使这些视场相应地显示在图像传感器和再现单元上。通过校准，不仅可以验证图像采集单元的记录部分和读取部分，即能够检查其正确性，而且如果需要，还可以对记录部分和读取部分进行校正。

信号的输出和校准动作的执行可以彼此分开或组合进行。也就是说，可以想到的是，为了向驾驶员或生产人员指出参考传感器当前位置和参考传感器目标位置的偏差而输出信号，但是不校正该偏差。或者，可以不向驾驶员或生产人员发出信号，但是在确定了参考传感器当前位置和参考传感器目标位置之间的偏差之后，直接进行偏差的校正。或者，信号输出和校正的过程也可以直接随后进行。

优选地，校准动作包括对图像采集单元的记录部分或图像传感器的读取部分的调整(校准)，使得参考传感器当前位置等于参考传感器目标位置，即，参考传感器当前位置与图像传感器上的参考传感器目标位置重合(一致)，即参考传感器当前位置和参考传感器目标位置在图像传感器上具有相同的位置。因此，可以确保驾驶员可以可靠地观察到车辆环境。

优选地，通过对准图像采集单元的至少一部分而手动地或电动地进行和/或通过调整图像传感器上的至少一个图像读取部分而以数字方式进行图像采集单元的记录部分或图像传感器的读取部分的调整。由此，图像采集单元的至少一个部分的定向可以手动进行，例如，通过在车辆的车身或支撑采集单元的支撑结构处的图像采集单元的调节螺钉的位移来实现。另一个例子是支撑结构和支撑结构的各部分彼此相对地移位。或者，定向也可以通过将采集单元分别以合适的位置和姿势粘附在车辆的车身或支撑采集单元的支撑结构上来实现。此外，可替代地或附加地，图像采集单元的至少一部分的定向可以以电子方式发生，例如通过使用伺服电动机，该伺服电动机例如自动移动图像采集单元的光学器件。图像读取部的定向可以通过相应的输入介质(例如操纵杆、触摸屏、门控制模块、监视器上的输入按钮等)手动进行，或者可以通过存储在图像处理单元中校准程序自动进行。替代地或附加地，可以通过改变图像传感器上的图像读取部以使得参考传感器当前位置与参考传感器目标位置一致来以数字方式发生至少一个图像读取部的适配。例如，这可以通过逐个像素地移动图像传感器上的读取部分来发生。

校准动作由图像处理单元中接收到的信号发生。优选地，可以在间接观察系统的运行过程中接收信号。该信号可以是用户(例如驾驶员或生产人员)的手动输入，或者可以通过软件以时钟方式(时间间隔、模式)或通过定义的车辆功能(点火开/关、发动机启动、挂车连接、改变图像调整等)输出。

目标视场优选是法律规定的视场。例如，目标视场对应于在UN/ECE R46中定义的视场之一，例如，第II或第IV组的视场。法律规定的视场与UN/ECE R46中定义的驾驶员的视点有固定的关系。因此，在这种情况下，驾驶员的视点与参考传感器之间也存在固定的几何关系，这进一步提高了驾驶员实际观察到他应观察的视场的可靠性。

优选地，间接观察系统是视镜替代系统，其完全替代法律规定的车辆视镜。

根据本发明的另一方面，提供了一种车辆的间接观察系统，其被配置为可以执行上述方法。该间接观察系统包括至少一个具有图像传感器的图像采集单元，该图像传感器被配置为记录车辆周围至少一个记录部分的图像数据；至少一个图像处理单元，其被配置为处理由图像采集单元所采集的图像数据；至少一个再现单元，其被配置为再现由图像处理单元处理的图像数据。此外，间接观察系统包括至少一个参考传感器，该参考传感器被配置为可附接到车辆上的限定位置，并且在间接观察系统安装到车辆的的状态下位于图像采集单元的记录部分中，并显示在图像传感器上，其中参考传感器显示在图像传感器上的参考传感器目标位置。此外，间接观察系统包括至少一个验证单元，该验证单元被配置用于定义参考传感器目标位置并用于确定图像传感器上的参考传感器当前位置。

作为图像采集单元，可以考虑具有图像传感器并且适合于以图像数据形式记录/采集车辆环境的任何数字图像采集单元，例如具有CMOS或CCD技术的摄像机。作为图像处理单元，可以考虑使用任何适合发出和接收信号和命令的控制单元(ECU)。从而，图像处理单元可以包括单个图像处理模块或多个图像处理模块，这些图像处理模块或多个图像处理模块或者被布置在观察系统中的一个位置或不同位置，或者被完全或部分地布置在车辆中。作为再现单元，可以考虑适合于显示由图像处理单元记录的图像数据的任何监视器、任何显示器等，例如TFT监视器、LCD监视器等。

优选地，该观察系统还包括校准单元，其被配置用于执行校准动作。因此，利用该间接观察系统，不仅可以确定参考传感器当前位置与参考传感器目标位置是否一致，而且在参考传感器当前位置与参考传感器目标位置之间存在偏差的情况下，还可以校正该偏差，从而调整图像采集单元的记录部分或图像传感器的读取部分，以使图像传感器以及再现单元上的参考传感器当前位置与参考传感器目标位置重合，即位于相同位置或至少位于参考传感器目标位置周围的限定区域中。

优选地，参考传感器包括几何图案。例如，参考传感器可以是十字线、三角形、圆形，如果是这样的话，可以使单色或多色的，其可以附着在车身的适当位置。替代地或附加地，参考传感器也可以是车身(尤其是车辆轮廓)的一部分，其具有可以通过图像识别的方式进行识别的特殊形状。例如，参考传感器可以对应于车辆(例如驾驶室或车辆总成)后部的边缘。或者，参考传感器也可以是车辆的车轮或转向指示器的闪光信号。另外，该特殊形状也可以由用户在再现单元上识别。

替代地或附加地，参考传感器可以被配置用于反射光。例如，参考传感器可以是反射器，如果是的话，作为粘性标签/贴纸，或者可以包括反射带/条带。由此，在车辆环境中在图像传感器或再现单元上存在光源的情况下，也可以在黑暗的车辆环境中识别参考传感器。

另外，参考传感器可以是光源本身。例如，参考传感器可以是LED、红外灯、激光器、灯泡等。因此，即使在车辆环境中不存在其他光源，也可以在黑暗中(例如在夜晚、隧道中或在恶劣的天气条件下)在图像传感器或再现单元上识别参考传感器。由此，光源可以永久地发光、闪烁或可以仅在出现特定事件(例如打开点火开关、挂车联接等)时才打开，或者可以由用户((例如司机或生产人员))手动打开。

优选地，光源可以是存在于车辆上的灯，例如车辆边界灯、周围灯、后灯、进入灯、信号指示器等。甚至车辆上的灯也可以用作参考传感器，这些灯不朝向图像采集单元照射，但尽管如此，它们位于图像采集单元的记录部分中，例如位于车辆后部或驾驶室或车俩总成的边界灯。在这种情况下，必须在灯壳上设置开口，光通过该开口朝向图像采集单元照射。

在使用光源作为参考传感器的情况下，该光源可以进一步有利地被配置为用于识别图像采集单元的光学器件对再现单元的污染。通过照亮图像采集单元的光学器件(例如镜头)，如果异物颗粒位于光学元件上，则可以在图像传感器上很好地识别出异物，即，比没有附加照明更清晰。通过照亮异物颗粒，在图像传感器上直接产生异物颗粒的高对比度和突出的描绘，因此，可以通过图像识别在图像传感器上自动识别光学元件的所谓污染，或者可以在再现单元上向驾驶员显示。

优选地，观察系统包括至少两个采集单元。每个采集单元与各自的参考传感器相关联。或者，一个公共参考传感器与多个采集单元相关联。

根据一个优选的实施例，该观察系统是视镜替代系统。

根据另一方面，提供了一种具有上述观察系统的车辆，其中，图像采集单元布置在从车辆向远侧延伸的保持元件中。该保持元件可以是摄像机臂，其特征在于，其在纵向上的延伸比在横向上的延伸大得多。优选地，图像采集单元布置在摄像机臂的远离车辆的一端，以便以合适的方式采集车辆环境。车辆优选是乘用车或商用车。作为商用车，考虑了具有驾驶室和优选为刚性的总成(例如金属总成)的卡车。或者，“车辆”一词也可以包括带有驾驶室和挂车的卡车。

优选地，车辆是商用车，并且参考传感器布置在车辆驾驶室的外侧。或者，参考传感器也可以附接到车辆的侧表面，或者参考传感器可以附接到车辆的前表面。如果应用ECE/UN R46，则这是特别有利的。另外，参考传感器也可以附接到车辆的车辆总成，例如箱体或侧板壁。

参考传感器可以直接附接到车辆，或者可以通过参考传感器支撑元件附接到车辆。支撑元件可以是在其安装状态下从车辆突出的部件，该部件在远离车辆的端部设有参考传感器，例如粘附在上面或用螺钉固定在上面。

根据一个优选的实施例，参考传感器与车辆可释放地连接。在这方面，参考传感器仅是为校准动作而(例如通过磁性基座、螺钉固定、悬挂连接等方式)临时附接的，之后将其移除。参考传感器也可以不可释放地连接至车辆，以使其永久存在于车辆上，例如通过粘性标签/贴纸、油漆或相应的清漆、车灯、单独的组件、与环境形成对比的车辆参考，例如驾驶室的后边缘、轮罩等。

附图说明

在下文中，将基于附图对本发明进行示例性地描述，其中：

图1为一种可以执行本发明方法的观察系统的结构示意图。

图2为具有图像采集单元和目标视场的车辆的俯视图。

图3为具有图像采集单元和目标视场的车辆的侧视图。

图4显示了再现单元，该再现单元示出了图2和3所示的车辆环境。；

图5显示了图像传感器，其上示出了参考传感器当前位置和参考传感器目标位置以及当前视场和目标视场。

图6显示了再现单元，该再现单元示出了图2和图3所示的车辆环境，在车辆侧面具有参考传感器；

图7显示了再现单元，其示出了图6所示的车辆环境，其中参考传感器分别布置在目标位置和当前位置以及相应的当前视场和目标视场；以及

图8显示了流程图，该流程图包括分别用于检验和校准根据本发明的间接观察系统的方法的基本步骤。

具体实施方式

图1示出了可以执行根据本发明的方法的间接观察系统1的示意图。观察系统1包括具有图像传感器20的图像采集单元10(例如摄像机)、图像处理单元30(例如ECU)以及再现单元40(例如监视器)。图1中所示的观察系统1是在理想车辆环境中示出的，在该理想车辆环境中，车辆60(参见以双点划线示出的矩形)和与车辆60相关联的目标视场71(参见阴影矩形)。当前理想车辆环境是指，在再现单元40上根据需要向车辆60的驾驶员(未示出)示出目标视场71。图1所示的车辆60的向前行驶方向在图1中朝向图1的右侧，向后行驶方向朝向图1的左侧。采集单元10具有记录部分11，该记录部分11从摄像机10开始向车辆60的后侧分别张开和扩展。

此外，观察系统1还包括参考传感器50。在图1中，参考传感器50附接到示意性示出的车辆60的左外侧。

目标视场71布置在车辆60左侧的斜后方，可以是法律要求的视场(例如UN/ECER46中要求的第II组或第IV组的视场)。如图1所示，目标视场71具有相对于参考传感器50的固定的几何参考73。也就是说，目标视场71相对于参考传感器50的布置是已知的，并且在理想车辆环境中也始终保持不变。

图2示出了车辆60(现为卡车)的俯视图。车辆60具有驾驶室61和车辆总成62(例如自卸车、冷却器、箱体、汽车运输车等)。卡车60的向前行驶方向在图2中朝向左侧，而卡车60的向后行驶方向在图2中朝向右侧。以下对于卡车60左侧的车辆环境的描述，即使未示出，对于卡车60右侧也是适用的。

卡车在牵引机(特别是驾驶室)的左侧具有图像采集单元10。图像采集单元10采集在卡车60左侧和后方的车辆环境，并具有记录部分11，该记录部分11在与路面平行的水平面中从图像采集单元10向卡车60的后方扩展。因此，图像采集单元10的记录部分11被称为记录锥11。

在卡车60的左侧/旁边，布置了图1中示意性示出的目标视场71。目标视场71在驾驶员的视点(未示出)后方的预定距离延伸至卡车60的后方，并且以特定角度向后方扩展。当前，目标视场71对应于UN/ECE R46的视场II，即主镜视场。然而，目标视场也可以对应于任何其他视场，可以是法律要求的视场，也可以是所期望的视场，即由制造商或用户预先确定的视场。

在卡车60的驾驶室61的后边缘处，布置有图1所示的参考传感器50。如图2所示，参考传感器50位于图像采集单元60的记录锥11中。参考传感器50还可以附接到车辆总成62，只要该总成是刚性总成即可。

图3以侧视图示出了图2的车辆环境。如图3所示，图像采集单元10的记录部分11不仅在与路面平行的水平面内从图像采集单元10向卡车60的后方展开，而且还在垂直于路面且平行于卡车左侧外壁的平面内向后方展开。目标视场71在图3中被示为在路面平面中的大黑线。如图3进一步所示，参考传感器布置在卡车60的牵引机的左后上角，并由图像采集单元10的记录锥11采集。

图4示出了图1所示的再现单元40。在图4中，再现单元40示出了图2和图3所示的理想车辆环境。在图4中示意性描绘的人未示出在图2和图3中。在图4中，为了清楚起见，仅描绘了图2和图3的牵引机。从图4可以看出，参考传感器50通过参考传感器支撑元件53布置在卡车60的牵引机上。具体而言，参考传感器50附接到参考传感器支撑元件53的端部，该端部从卡车60的牵引机突出而远离该卡车。参考传感器50可以是向卡车60的前方发射光的光反射元件或灯。

图5示出了如图1所示的图像采集单元10中的图像传感器20，并且示意性示出了由图像处理单元30执行的验证过程，其中，通过比较图像传感器20上的参考传感器当前位置52和参考传感器目标位置51，对图像采集单元10的记录部分11或图像传感器的读取部分22进行验证。

图像传感器20具有矩形形状，在图5中，其在上下延伸的长度比左右延伸的长度要长。在图像传感器20上，描绘了位于记录锥11内的整个车辆环境。图像传感器20上示出的一部分图像数据被读取为图像读取部22(参见带有细虚线的矩形)，并且被传送至再现单元40以进行显示。也可以将整个图像传感器20的图像数据传送到再现单元40以进行显示。

在图像读取部22的左上角，布置有图像分析部21(参见带有大致虚线的矩形)。在图像分析部21中，表示了参考传感器目标位置51。如果图像采集单元10的记录部分11分别位于所需的和所期望的调整中，则图像传感器20上的参考传感器目标位置51对应于图像传感器20上的应该描绘参考传感器50的位置。在分别对图像采集单元10的记录部分11进行所需和所期望的调整时，驾驶员分别在再现单元40上看到所需和所期望的车辆环境，例如所需和所期望的目标视场71。

在图像分析部21中，还示出了参考传感器当前位置52。如果图像采集单元10采集车辆环境，则图像传感器20上的参考传感器当前位置52对应于图像传感器20上实际描绘参考传感器50的位置。如图5所示，参考传感器当前位置52与参考传感器目标位置51不在同一位置。参考传感器目标位置51与目标视场71具有固定的几何关系73，在图像采集单元10的图像传感器20上也以相对于目标视场71偏移的方式显示出当前视场72，在这种情况下，驾驶员只能在再现单元40上分别部分地看到/观察到所需的和所期望的车辆环境(参见图5中的目标视场71和当前视场72的重叠部分)。

在图5所示的实施例中，通过存储在图像处理单元30中的合适的计算机程序检测图像传感器20上的参考传感器当前位置52和参考传感器目标位置51的偏差(例如通过图像识别)，并通过音频警告或在再现单元40或仪表板上的相应显示向驾驶员显示。然后，例如，驾驶员可以通过手动调整图像采集单元10来校正参考传感器当前位置52与参考传感器目标位置51的偏差，以使得参考传感器当前位置52等于参考传感器目标位置51。然而，在信号输出的下一步骤或替代步骤中，图像处理单元30还可以校正图像传感器上的描绘误差，即，参考传感器当前位置52与参考传感器目标位置51不相等，因此可以校准间接观察系统。图像采集单元10的记录部分11的校准可以由图像处理单元30自动进行。一般来说，参考传感器当前位置52是否等于参考传感器目标位置51的判断是基于信号(例如驾驶员的相应命令)、车辆事件或相应的校准程序开始的。车辆事件可以是车辆的启动、点火器的开启、挂车的耦合等。校准程序通过相应的软件以时钟方式来执行参考传感器当前位置52的确定，将参考传感器当前位置52与参考传感器目标位置51进行比较，并自动校正参考传感器当前位置52，使其与参考传感器目标位置51重合。

如图5进一步所示，在参考传感器目标位置51周围限定了参考传感器目标部分23。参考传感器目标部分23限定了图像传感器11上的一个区域，在该区域中，参考传感器50必须至少位于其中，以便能够使用图像采集单元10分别采集所需的和所期望的视场，以将它们描绘在图像传感器11上，并将它们显示在再现单元40上。参考传感器目标部分23由车辆制造商或观察系统制造商预先定义，并且通常包括围绕参考传感器目标位置51对称的部分。参考传感器目标部分23围绕参考传感器目标位置51的非对称延伸也是可能的。因此，以校准观察系统1，也可以将参考传感器当前位置52移入参考传感器目标部分23中，但不必精确地位于参考传感器目标位置51上。

在图6中，示出了再现单元40，其显示内容与图4的再现单元的显示内容基本一致。然而，在图6中，示出了参考传感器50，其附接到卡车60的驾驶室61的右后下角。图4中的参考传感器50是一种附接于驾驶室外壁的十字线(crossline)。例如，参考传感器50可以是永久性的粘性标签/贴纸，或者可以在卡车60消失时附着在驾驶室的外壁。因此，参考传感器永久固定在驾驶室的外壁上。然而，替代地，参考传感器50也可以是(可释放的)粘性标签/贴纸，可以经由磁性底座附接到驾驶室/卡车的外壁，或者可以以其他方式从驾驶室/卡车外壁可释放地配置，以便仅在需要时将其固定(即，用于计划中的验证)，如果需要，则将间接观察系统1校准到卡车的车体。此外，参考传感器可以附接到卡车60的车体上的所有能够想到的和合适的位置，然而，也可以附接到车辆总成的固定限定的部分，例如箱体。或者，卡车的车体的特殊形状(例如车轮、驾驶室61的后边缘或车辆总成62)可以形成参考传感器50本身。

图7再次示出了图6的再现单元40和由图像处理单元30执行的验证过程，其中，通过比较再现单元40上的参考传感器当前位置52和参考传感器目标位置51，例如通过覆盖层以数字方式或通过施加箔片(在每个箔片上定义了参考传感器目标位置)以手动方式，进行对图像采集单元10的记录部分11的验证。覆盖层和箔片目前分别对应于验证单元。

在图6中，再现单元40上只显示了目标情况，而在图7中，再现单元40上显示了目标情况和当前情况。具体地，在图6中显示，参考传感器50在目标情况下位于参考传感器目标位置51处，而在当前情况下位于参考传感器当前位置52处。参考传感器当前位置52相对于参考传感器目标位置51发生位移，当前视场72相对于目标视场71也发生位移。

在图6所示的实施例中，通过存储在图像处理单元30中的合适的计算机程序来检测图像传感器20上的参考传感器当前位置52与参考传感器目标位置51之间的偏差，例如，通过图像识别，并通过在再现单元40上将目标情况置于当前情况之上而将其显示给驾驶员。如果是这样，也可以通过附加信号(例如通过音频警告或在再现单元40或仪表板上的相应显示)在再现装置40上向驾驶员显示当前情况与目标情况的偏离。然后，例如，驾驶员可以通过调节图像采集单元10来手动地校正参考传感器当前位置52与参考传感器目标位置51的偏差，使得参考传感器当前位置52等于参考传感器目标位置51。然而，在信号输出的另一步骤或替代步骤中，图像处理单元30还可以通过合适的校准程序自行校正图像传感器上的描绘误差，即参考传感器当前位置52与参考传感器目标位置51不相等，因此可以校准间接观察系统。图像处理单元30对图像采集单元10的记录部分11的校准可以自动进行。通常，参考传感器当前位置52是否等于参考传感器目标位置51的确定是基于信号(例如驾驶员的相应命令)、车辆事件或相应的校准程序开始的。车辆事件可以是车辆的启动、点火开关的接通、挂车的联接等。校准程序通过相应的软件以时钟方式执行参考传感器当前位置52的确定，将参考传感器当前位置52与参考传感器目标位置51进行比较，并自行校正参考传感器当前位置52，使其与参考传感器目标位置51一致。

尽管在图6中示出了参考传感器50布置在驾驶室61的后部，然而图7示出了参考传感器50布置在卡车60的总成62的后部。

在图8中，示出了分别描述验证过程和校准过程的流程图。在步骤S10中，图像采集单元10具有至少一个图像传感器20，并且被配置为采集卡车周围的至少一个记录部分11的图像数据；ECU作为图像处理单元30，其被配置为处理由图像采集单元10采集的图像数据，以及作为再现单元40的监视器，其被配置为用于再现由图像处理单元30处理的图像数据。此外，在步骤S10中，提供了参考传感器，该参考传感器布置在卡车60上的限定位置处，使得参考传感器50在观察系统1的运行期间位于图像采集单元10的记录部分中，并且被描绘在图像传感器20上。

在步骤S20中，在图像传感器20上相应地定义/确定参考传感器目标位置51，其中参考传感器50被描绘在理想车辆环境中。

在步骤S30中，图像采集单元在包括参考传感器50的图像传感器20上采集车辆60周围的记录部分11的图像数据。

在步骤S40中，在再现单元40上示出从图像传感器20的图像数据中读取的图像读取部22。

在步骤S50中，在图像传感器20上确定参考传感器50的参考传感器当前位置52，并在步骤S60中，将参考传感器当前位置52和参考传感器目标位置51相互比较，以确定参考传感器当前位置52是否等于参考传感器目标位置51(S70)。

如果参考传感器当前位置52等于参考传感器目标位置51(S70中为“是”)，则验证过程返回到步骤S50并确定参考传感器当前位置52。参考传感器当前位置52的重新确定，既可以是在有信号时发生，例如基于驾驶员的手动信号或(例如经过某个时间段)自动生成的信号，也可以是在确定参考传感器当前位置52等于参考传感器目标位置51后立即发生，没有时间延迟，即在查询程序循环中发生。

如果参考传感器当前位置52不等于参考传感器目标位置51(S70中为“否”)，则该处理过程或者进行到步骤S71，并向驾驶员输出信号，该信号向驾驶员显示参考传感器当前位置52相对于参考传感器目标位置51的偏差，或者进行到步骤72，在步骤72中，对摄像机10的记录部分11进行校准，即进行校正，以使参考传感器当前位置52等于参考传感器目标位置51。还可以想到的是，步骤S71和S72随后及时发生，即首先向驾驶员输出信号，该信号示出了参考传感器当前位置52相对于参考传感器目标位置51的偏差，并且紧随信号的输出，进行参考传感器当前位置52的校正，使得参考传感器当前位置52等于参考传感器目标位置51。

图8的过程在步骤S71之后终止，并且在步骤S72之后，可以再次返回到步骤S70，以便检查参考传感器当前位置52是否等于参考传感器目标位置51，或者也可以在步骤S72之后终止。

需要明确指出的是，本说明书和/或权利要求书中公开的所有特征旨在出于原始公开的目的以及出于独立于这些实施例和/或权利要求中的特征组成而限制所要求保护的发明的目的而彼此分开地且独立地公开。明确指出，出于原始公开的目的以及出于限制所要求保护的发明的目的，所有值范围或实体组的指示均公开了每种可能的中间值或中间实体，特别是作为值范围的限制。

附图标记列表：

1：间接观察系统

10：图像采集单元，摄像机

11：记录部分，记录锥

20：图像传感器

21：图像分析部

22：图像读取部

23：参考传感器目标部分

30：图像处理单元，ECU

40：再现单元，监视器

50：参考传感器

51：参考传感器目标位置

52：参考传感器当前位置

53：参考传感器支撑元件

60：车辆

61：驾驶室

62：车辆总成

71：目标视场

72：当前视场

73：几何关系

Claims (30)

1.用于验证车辆(60)的间接观察系统(1)的方法，包括

提供(S10)至少一个图像采集单元(10)，其具有至少一个图像传感器(20)，并且被配置为采集所述车辆(60)周围的至少一个记录部分(11)的图像数据，

提供(S10)至少一个图像处理单元(30)，其被配置为处理由所述图像采集单元(10)采集的所述图像数据，

提供(S10)至少一个再现单元(40)，其被配置为再现由所述图像处理单元(30)处理的所述图像数据，

在所述车辆(60)的限定位置处提供(S10)至少一个参考传感器(50)，使得所述参考传感器(50)位于所述图像采集单元(10)的所述记录部分(11)中并且在所述图像传感器(20)上显示，其中所述参考传感器(50)被限定在所述图像传感器(20)上的参考传感器目标位置(51)(S20)，

在包括所述参考传感器(50)的所述图像传感器(20)上采集(S30)所述车辆(60)周围的所述至少一个记录部分(11)的图像数据，

在所述再现单元(40)上再现(S40)从所述图像传感器(20)的所述图像数据中读取的至少一个图像读取部(22)，

确定(S50)所述图像传感器(20)上的所述参考传感器(50)的参考传感器当前位置(52)，以及

将所述参考传感器当前位置(51)与所述参考传感器目标位置(51)进行比较(S60，S70)，以确定所述参考传感器当前位置(52)是否等于所述参考传感器目标位置(51)。

2.根据权利要求1所述的方法，其中，所述参考传感器目标位置(51)与由所述图像采集单元(10)采集的至少一个目标视场(71)具有固定的几何关系(73)。

3.根据权利要求1或2所述的方法，其中至少在所述再现单元(40)上描绘所述参考传感器当前位置(52)，并且所述比较(S60，S70)在所述再现单元(40)上进行。

4.根据权利要求1或2所述的方法，其中，所述比较(S60，S70)在所述图像处理单元(30)中进行。

5.根据从属于权利要求2的权利要求3或4所述的方法，其中，所述方法包括比较当前视场(72)和目标视场(71)的附加步骤。

6.根据权利要求4或5所述的方法，其中，所述参考传感器当前位置(52)与所述参考传感器目标位置(51)的所述比较由所述图像处理单元(30)在所述图像传感器(20)的至少一个图像分析部(21)中进行。

7.根据权利要求6所述的方法，其中所述图像读取部(22)包括所述图像分析部(21)。

8.根据前述权利要求中任一项所述的方法，其中，如果所述参考传感器当前位置(52)不等于所述参考传感器目标位置(51)，则所述方法包括向所述驾驶员输出信号的附加步骤。

9.根据前述权利要求中任一项所述的方法，其中，如果所述参考传感器当前位置(52)不等于所述参考传感器目标位置(51)，则所述方法包括执行校准动作的附加步骤。

10.根据权利要求9所述的方法，其中，所述校准动作包括对所述图像采集单元(10)的所述记录部分(11)的调节，使得所述参考传感器当前位置(52)等于所述参考传感器目标位置(51)。

11.根据权利要求10所述的方法，其中，对所述图像采集单元(10)的所述记录部分(11)的调节是通过对准所述图像采集单元(10)的至少一部分和/或通过调整所述图像传感器(20)上的至少一个图像读取部(22)来进行的。

12.根据权利要求9至11中任一项所述的方法，其中，所述校准动作通过从所述图像处理单元(30)接收的信号而发生。

13.根据权利要求2至12中任一项所述的方法，其中，所述目标视场(71)是法律规定的视场。

14.根据前述权利要求中任一项所述的方法，其中，所述间接观察系统(1)是视镜替代系统。

15.车辆(60)的间接观察系统(1)，其被配置用于执行根据权利要求1至14中任一项所述的方法，包括

所述至少一个图像采集单元(10)，其包括图像传感器(20)，并且被配置为采集所述车辆(60)周围的至少一个记录部分(11)的图像数据，

所述至少一个图像处理单元(30)，用于处理所述图像采集单元(10)采集的所述图像数据；

所述至少一个再现单元(40)，其被配置为再现由所述图像处理单元(30)处理的所述图像数据，

所述至少一个参考传感器(50)，其被配置为能够附接到所述车辆(60)上的限定位置，并且在所述车辆(60)上安装有所述间接观察系统(1)的状态下，所述参考传感器(50)位于所述图像采集单元(10)的记录部分(11)中，并在所述图像传感器(20)上显示，其中所述参考传感器(50)显示在所述图像传感器(20)上的所述参考传感器目标位置(51)，

至少一个验证单元，其被配置为定义参考传感器目标位置(51)并确定所述图像传感器(20)上的参考传感器当前位置(52)。

16.根据权利要求15所述的间接观察系统(1)，其中，所述观察系统还包括被配置为执行校准动作的校准单元。

17.根据权利要求15或16所述的间接观察系统(1)，其中，所述参考传感器(50)包括几何图案。

18.根据权利要求15至17中任一项所述的间接观察系统(1)，其中，所述参考传感器(50)反射光。

19.根据权利要求15至17中任一项所述的间接观察系统(1)，其中，所述参考传感器(50)是光源。

20.根据权利要求19所述的间接观察系统(1)，其中，所述光源是存在于所述车辆(60)处的灯。

21.根据权利要求19或20中任一项所述的间接观察系统(1)，其中，所述光源被配置为指示所述图像采集单元(10)的光学器件在所述再现单元(40)上的污染。

22.根据权利要求15至21中任一项所述的间接观察系统(1)，还包括至少两个采集单元，其中参考传感器(50)分别与每个采集单元相关联，或者公共参考传感器(50)与所述至少两个采集单元相关联。

23.根据权利要求15至22中任一项所述的间接观察系统(1)，其中，所述观察系统(1)是视镜替代系统。

24.具有根据权利要求15至23中任一项所述的间接观察系统的车辆(60)，其中，所述图像采集单元(10)布置在从所述车辆(60)向远侧延伸的支撑元件中。

25.根据权利要求24所述的车辆(60)，其中，所述参考传感器(50)附接在所述车辆的驾驶室的外侧。

26.根据权利要求24所述的车辆(60)，其中，所述参考传感器(50)附接到所述车辆(60)的侧表面。

27.根据权利要求24所述的车辆(60)，其中，所述车辆(60)是商用车，所述参考传感器(50)附接到所述车辆(60)的前表面。

28.根据权利要求24所述的车辆(60)，其中，所述参考传感器(50)附接到所述车辆(60)的车辆总成。

29.根据权利要求24至28中任一项所述的车辆(60)，其中，所述参考传感器(50)经由参考传感器支撑元件附接到所述车辆(60)。

30.根据权利要求24至29中任一项所述的车辆(60)，其中，所述参考传感器(50)可释放地连接至所述车辆(60)。

Images