CN117859152A - 用于探测车辆摄像头视觉遮挡的方法和用于操控车辆的方法 - Google Patents

Abstract

本发明涉及一种用于探测车辆(1)的摄像头的视觉遮挡的方法。根据本发明，使用摄像头拍摄车辆(1)的周围环境中的静态场景的图像(B)。在拍摄图像(B)的过程中对当下的拍摄条件进行分析。将所拍摄的图像(B)与从车辆外部服务器(2)中检索出来的参考图像进行对比，该参考图像基于多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像。如果所拍摄的图像(B)与参考图像之间的图像特征偏差超过预设容差，那么这些偏差将被评判为摄像头视觉遮挡的指示。此外，本发明还涉及一种操控设计用于执行自动化驾驶的车辆(1)的方法。

Description

用于探测车辆摄像头视觉遮挡的方法和用于操控车辆的方法

技术领域

本发明涉及一种用于探测车辆摄像头视觉遮挡的方法和一种用于操控车辆的方法。

背景技术

从DE 10 2019 002 487 A1中已知一种用于检测车辆环境采集传感器的方法。在该方法中，会在一张数字地图中定位车辆，并且在该数字地图中识别已存储的、车辆周围环境中的静态物体的特征，这些特征预期能够被环境采集传感器所识别出来。此外，还会用环境采集传感器采集车辆的周围环境，其中，若应予以识别的特征未由环境采集传感器识别到，或者由环境采集传感器实际识别到的特征与应识别的特征之间存在严重偏差，则会判定环境采集传感器性能下降。该数字地图会与已存储的、静态物体的特征一起从车辆外部的一个中央存储单元中被检索出来，以用于一个预先确定的预测视域。

发明内容

本发明的目的在于，提供一种新颖的用于探测车辆摄像头视觉遮挡的方法和一种新颖的用于操控车辆的方法。

根据本发明，该目的通过一种具有权利要求1中指定特征的用于探测车辆摄像头视觉遮挡的方法以及一种具有权利要求10中指定特征的用于操控车辆的方法来实现。

本发明的有利的设计方案是从属权利要求的主题。

根据本发明，在一种用于探测车辆摄像头视觉遮挡的方法中，将使用摄像头拍摄车辆周围环境中的静态场景的图像。此处，静态场景主要是指场景中没有任何动态物体，即没有任何移动物体或者可移动的物体，尤其是没有其他交通参与者，例如其他车辆或者行人。另外，在拍摄图像的过程中还会对拍摄条件进行分析。这张所拍摄的图像会与一张参考图像进行比较，即与一张使用摄像头拍摄静态场景时所预期的图像进行比较。该参考图像会从车辆外部服务器上检索出来。该参考图像基于多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像。此处，相似的拍摄条件主要是指拍摄条件与实际拍摄图像时的拍摄条件仅在预设的界限值范围内存在偏差。若检测到所拍摄图像与参考图像之间存在图像特征偏差，并且这些偏差超过预设容差，则会把这些偏差评判为摄像头视觉遮挡的指示。

对于基于摄像头的车辆辅助系统而言，识别摄像头的视觉遮挡(例如被污垢遮挡)是至关重要的。然而，对此，图像处理算法在某些环境条件下无法加以可靠地识别。这既可能导致系统可用性降低(尤其是在错误地识别到实际上并不存在的视觉遮挡的情况下)，也可能由于未识别到其他交通参与者而导致危险的系统行为(尤其是在错误地未识别到实际上存在的视觉遮挡的情况下)。本发明所述的方法解决了这一问题，因为它能更好、更可靠地识别出摄像头的视觉遮挡。

诸如地点、时间、光线条件、天气信息、车辆的朝向和/或摄像头的视野范围都会被分析为拍摄条件。由此能够非常准确地确定合适的参考图像。

诸如亮度、所识别到的边缘的数量、所识别到的边缘的清晰度、均匀度和/或色彩信息都会被作为图像特征加以考虑。由此，就能够借助各种不同的特征，实现所拍摄图像与参考图像之间的对比，从而能够可靠地探测出摄像头可能存在的视觉遮挡。

该参考图像主要基于多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像的均值化图像信息。此处基于的认识是，车辆摄像头的视觉遮挡(例如被污垢遮挡)只是个别现象。如果将图像内容，特别是某一特殊场景的某个指定位置的图像内容，在不同的时间(也就是说在不同日期、但最好是分别在每个日期的同一时刻)以相同的拍摄条件进行均值化处理，那么零星出现的视觉遮挡情形就会被平均掉。通过这种方式，就能够生成可靠的参考图像，以便与当前拍摄的图像进行对比。

诸如整个图像及整个参考图像的亮度，和/或图像及参考图像中各个图像区域的亮度，和/或整个图像及整个参考图像中所识别到的边缘的数量，和/或图像及参考图像的各个图像区域中所识别到的边缘的数量，和/或整个图像及整个参考图像中所识别到的边缘的清晰度，和/或图像及参考图像的各个图像区域中所识别到的边缘的清晰度，和/或图像及参考图像中各个图像区域的均匀度，和/或图像及参考图像的各个图像范围内的平均色彩信息都会被作为图像特征加以考虑。此处，图像范围可以与图像区域相同，也可以不同。这样一来，就能够可靠地实现所拍摄图像与参考图像之间的对比，从而能够可靠地探测出摄像头可能存在的视觉遮挡。

例如，如果与在参考图像的相应图像范围内所识别到的边缘的数量相比，图像的各个图像范围内所识别到的边缘的数量更少且超过预设容差，则会将此评判为摄像头视觉遮挡的指示。另外或者额外地，如果与整个参考图像的均匀度相比，整个图像的均匀度更高，且超过预设容差，则会将此评判为摄像头视觉遮挡的指示。另外或者额外地，同样也可以利用其他上述的特征，以相应的方式进行评判。

在一个可能的实施方案中，将拍摄的图像传输至车辆外部服务器，并且添加至多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像中。这样一来，就能够增加参考图像所依据的图像数量，继而尤其能够提高参考图像的质量和可靠性。

若存在摄像头视觉遮挡的指示，则可以设计为随后额外执行一种替代方法来探测车辆摄像头的视觉遮挡情况。这种替代方法主要是一种所谓的在线遮挡识别方法。例如，该替代方法已经用上述方式所分析出的结果进行了预先处理，主要是为了接下来能够更准确地检查出相关图像范围内潜在的视觉遮挡。由此，该替代方法不再需要检查整个图像，而是只需检查一个或者多个相关的图像范围，在这个或者这些图像范围中曾发现过摄像头存在视觉遮挡的指示。特别是当所拍摄图像与参考图像之间在图像特征仅存在预设的微小偏差时，也就是说，特别是当这一偏差未超过预设容差时，就可以执行该操作。

在一种根据本发明设计的、操控用于执行自动化驾驶、特别是高度自动化驾驶或者自主驾驶的车辆的方法中，会采用上述方法来探测车辆摄像头的视觉遮挡。在存在视觉遮挡指示的情况下，会降低驾驶操控的自动化程度，或者将驾驶车辆的驾驶任务移交给车辆的驾驶员。特别是当所拍摄图像和参考图像之间存在严重的图像特征偏差时，也就是说，特别是当这一偏差超过预设容差、尤其是偏差足够大且明显时，就可以执行上述操作，如此就没有必要再通过一种探测车辆摄像头视觉遮挡的替代方法额外进行检查，因为根据现有的偏差已经能够确定或者大概率地判定的确存在摄像头的视觉遮挡。

为了保证自动驾驶过程中的可用性和安全性，必须确保用于采集车辆周围环境的摄像头具有特定性能(尤其是在视野范围、精确度和故障率等方面)，从而来确保可靠的车辆自动驾驶操控。然而，一个被遮挡的摄像头、尤其是被遮挡过多的摄像头是无法满足这些性能要求的，继而会导致车辆功能的可用性降低，和/或导致不安全的系统状态，并且伴随巨大的事故隐患。采用本方法，就能够检查摄像头，从而可靠地识别出其受限的性能，并且能够根据性能调整自动驾驶操控的自动化程度，或者将驾驶任务完全移交给驾驶员。这样一来，就能够实现车辆始终安全可靠的驾驶。也就是说，采用本方法能够避免潜在的危险情形，例如在采集周围环境过程中，由于未识别到摄像头的性能下降，导致无法或者过晚采集到车辆周围环境中的动态物体及静态物体。也就是说，采用本方法能够识别因车辆摄像头受遮挡所导致的故障情形，继而启动辅助系统响应，例如减速行驶直至紧急停止。

例如，如果车辆驾驶员未接管驾驶任务，则可以设计为在一个预设的时间段内让车辆停止，或者在一个预设的时间段内首先将车辆引导至车道边缘或者硬路肩，然后再让其停止。这样可以显著提高车辆、位于同一车内的乘客以及其他交通参与者的安全性。如果先将车辆引导至车道边缘或者硬路肩，然后才让其停止，则尤其能够进一步降低与其他交通参与者发生碰撞的危险，继而进一步提升安全性。

附图说明

下面参考附图更详细地解释本发明的实施方案。

附图中：

图1示意性地示出了探测车辆摄像头视觉遮挡的方法流程。

具体实施方式

唯一的图1示出了用于探测车辆1摄像头视觉遮挡的方法的一种可能实施方案的具体流程。

在该方法中，车辆1使用其摄像头拍摄车辆1周围环境中的一幅静态场景的图像B。此处，静态场景主要是指场景中没有任何动态物体。

另外，车辆1会在拍摄图像B的过程中分析当时的拍摄条件，并主要将其作为场景描述传输至一台车辆外部服务器2上。用摄像头拍摄的图像B同样也会优先传输至该车辆外部服务器2上。

车辆1会从该车辆外部服务器2上检索出一幅参考图像，特别是会根据场景描述、即根据拍摄条件检索出一幅参考图像，并将其传输至车辆1。该参考图像基于多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像。此处，参考图像主要基于相同场景经过均值化处理的图像，尤其是多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的均值化图像信息。

车辆1与车辆外部服务器2之间的连接主要是一种无线电连接，尤其是一种移动无线电连接，例如LTE。

在本方法的一个对比步骤V中，会将所拍摄图像B与参考图像进行对比。此处，该参考图像代表预期图像，即一张使用摄像头拍摄静态场景时所预期的图像。

若检测到所拍摄图像B与参考图像之间存在图像特征偏差，且这些偏差超过预设容差，则会把这些偏差评判为摄像头视觉遮挡的指示。随后，会生成一条相应的遮挡信息BI，车辆1接下来就可以在诸如此处所述的方法中运用该信息，或者在下文还将描述的另外一种方法中运用该信息。

接下来将会详细描述一种可能的方法流程。

通过该方法，车辆1尝试在一个特定位置上识别摄像头(尤其是用来采集车辆1外部周围环境的摄像头传感器)当前是否受到视觉遮挡的影响。此处，当前的场景，即当前存在的静态场景，主要由拍摄条件决定。

这些拍摄条件包括诸如车辆1的当前位置，尤其是通过全球导航卫星系统确定的车辆1的准确位置；车辆1的当前朝向；摄像头的当前视野范围；当前的时间；当前的光线条件，例如车辆1车外照明灯的状态、多云状态和/或阳光照射情况、和/或来自车辆1的光线传感器的信息；当前的天气信息，例如是否降雨或者降雪，或者天气是否干燥；当然也包括在摄像头视野范围内没有任何动态物体的信息，尤其是例如其他车辆或者行人之类的其他交通参与者的信息，因为只有这样才存在静态场景。此处，关于拍摄条件的这些信息的实时性针对的是每个用摄像头拍摄图像B的拍摄时刻。

被用于与摄像头所拍摄的图像B进行对比的相应参考图像是从车辆外部服务器2上检索得到的，尤其是从一个位于其上的数据库(也被称为在线数据库)中检索得到的。如前所述，参考图像主要基于多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像的均值化图像信息。因此，参考图像主要基于与所拍摄图像B的静态场景相同或者相似的、尤其是完全相同的场景的均值化图像信息。为此，车辆外部服务器2上的数据库最好由大量车辆上传(即传输至车辆外部服务器2上)的图像组成，这些图像根据不同的场景(即根据不同的静态场景以及它们各自的拍摄条件)特别地进行了聚类管理，即特别地进行了分类。

如前所述，车辆1当下拍摄的图像B同样也最好传输至车辆外部服务器2上，从而被记录到该数据库中，以便扩大对应参考图像的基数。有利的是，只有在将所拍摄图像B与参考图像进行对比之后，才会进行上述操作。这样一来，就能够避免将不合适的图像B记录到数据库中，尤其是对比结果显示摄像头可能存在视觉遮挡的图像B，或者至少是对比结果显示所拍摄图像B与参考图像之间存在严重且明显的图像特征偏差，特别是这种偏差超过预设容差，故而可以确定或者大概率地判定的确存在摄像头的视觉遮挡。这样一来，就可以提高参考图像的可靠性。

在本方法的对比步骤V中，将由车辆1的摄像头拍摄的图像B与从车辆外部服务器2检索到的参考图像进行对比，主要包括对亮度、识别到的边缘数量、识别到的边缘清晰度、均匀度和/或色彩信息等图像特征进行评估。这些图像特征同样也被称为图像信息。

例如，在本方法的对比步骤V中，将由车辆1的摄像头拍摄的图像B与从车辆外部服务器2检索到的参考图像进行对比，主要包括对下列图像特征进行评估：

-整个图像B及整个参考图像的亮度，以及图像B及参考图像中各个图像区域的亮度，

-整个图像B及整个参考图像中所识别到的边缘的数量和清晰度，以及图像B及参考图像的各个图像区域中所识别到的边缘的数量和清晰度，

-图像B及参考图像中各个图像区域的均匀度，

-图像B及参考图像的各个图像范围内的平均色彩信息。

通过上述对比，可以准确地判断出摄像头当前所拍摄的图像B是否受到摄像头视觉遮挡的影响。如前所述，如果所拍摄图像B与参考图像之间的图像特征偏差超过预设容差，则会把这些偏差评判为摄像头视觉遮挡的指示。

例如，如果图像B的各个图像范围中识别到的边缘的数量明显少于数据库中的均值，也就是说明显少于参考图像的各个图像范围中识别到的边缘的数量，则表明这些范围中存在视觉遮挡。

例如，如果整个图像B的均匀度大于数据库中的均值，也就是说大于整个参考图像的均匀度，则表明存在视觉遮挡。

因此，与参考图像对应的图像范围中所识别到的边缘的数量相比，如果图像B的各个图像范围中所识别到的边缘的数量较少且超过预设容差，那么会将其评判为摄像头视觉遮挡的指示，以及/或者，与整个参考图像的均匀度相比，如果整个图像B的均匀度较大且超过预设容差，那么会将其评判为摄像头视觉遮挡的指示。另外或者额外地，同样也可以利用其他上述的特征，以相应的方式进行评判。

对比步骤V的结果，即遮挡信息BI(尤其是在该遮挡信息提示摄像头存在视觉遮挡的情况下)，接下来可用于额外执行另一种探测车辆1的摄像头视觉遮挡的替代方法(特别是一种在线遮挡识别方法)，并且对该方法进行预先处理，以便在相关的图像范围内更准确地检查出潜在的视觉遮挡，尤其是当摄像头拍摄的图像B与参考图像之间的对比结果存在较小的偏差时。

或者，特别地，如果该对比步骤V的结果，即遮挡信息BI含有摄像头存在视觉遮挡的指示，那么这个结果则尤其会应用于直接推断出视觉遮挡情形并关闭车辆1的相应辅助系统，尤其是当摄像头拍摄的图像B与参考图像之间的对比结果存在较大且明显的偏差时。例如，在一种操控设计用于执行自动化驾驶、特别是高度自动化驾驶或者自主驾驶的车辆1的方法中设计为，会采用上述方法来探测车辆1的摄像头的视觉遮挡，其中，在存在视觉遮挡指示的情况下，会降低驾驶操控的自动化程度，或者将驾驶车辆1的驾驶任务移交给车辆1的驾驶员。特别是当所拍摄的图像B和参考图像之间存在严重的图像特征偏差时，也就是说，特别是当这一偏差超过预设容差、尤其是偏差足够大且明显时，就可以执行上述操作，如此就没有必要再通过一种探测车辆1的摄像头视觉遮挡的替代方法额外进行检查，因为根据现有的偏差已能够确定或者大概率地判定的确存在摄像头的视觉遮挡。

如果车辆驾驶员未接管驾驶任务，则可以设计为在一个预设的时间段内让车辆1停止，或者在一个预设的时间段内首先将车辆引导至车道边缘或者硬路肩，然后再让其停止。

Claims (10)

1.一种用于探测车辆(1)的摄像头的视觉遮挡的方法，

其特征在于，

-使用摄像头拍摄所述车辆(1)的周围环境中的静态场景的图像(B)，

-在拍摄所述图像(B)的过程中对当下的拍摄条件进行分析，

-将所拍摄的图像(B)与从车辆外部服务器(2)中检索出来的参考图像进行对比，所述参考图像基于多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像，

-如果所拍摄的图像(B)与参考图像之间的图像特征偏差超过预设容差，那么这些偏差将被评判为摄像头视觉遮挡的指示。

2.根据权利要求1所述的方法，

其特征在于，地点、时间、光线条件、天气信息、所述车辆(1)的朝向和/或摄像头的视野范围会被分析为拍摄条件。

3.根据前述权利要求中任一项所述的方法，

其特征在于，亮度、所识别到的边缘的数量、所识别到的边缘的清晰度、均匀度和/或色彩信息会被作为图像特征加以考虑。

4.根据权利要求3所述的方法，

其特征在于，作为图像特征会被加以考虑的有：

-整个所述图像(B)及整个参考图像的亮度，和/或所述图像(B)及参考图像中各个图像区域的亮度，

-整个所述图像(B)及整个参考图像中所识别到的边缘的数量，和/或所述图像(B)及参考图像的各个图像区域中所识别到的边缘的数量，

-整个所述图像(B)及整个参考图像中所识别到的边缘的清晰度，和/或所述图像(B)及参考图像的各个图像区域中所识别到的边缘的清晰度，

-所述图像(B)及参考图像中各个图像区域的均匀度，和/或

-所述图像(B)及参考图像的各个图像范围内的平均色彩信息。

5.根据前述权利要求中任一项所述的方法，

其特征在于，参考图像基于多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像的均值化图像信息。

6.根据权利要求3至5中任一项所述的方法，

其特征在于，如果与参考图像的相应图像范围内所识别到的边缘的数量相比，所述图像(B)的各个图像范围内所识别到的边缘的数量更少且超过预设容差，则会将此评判为摄像头视觉遮挡的指示。

7.根据权利要求3至6中任一项所述的方法，

其特征在于，如果与整个参考图像的均匀度相比，整个所述图像(B)的均匀度更高且超过预设容差，则会将此评判为摄像头视觉遮挡的指示。

8.根据前述权利要求中任一项所述的方法，

其特征在于，将所拍摄的图像(B)传输至所述车辆外部服务器(2)，并且添加至多个车辆在相同或者相似的拍摄条件下拍摄的同一静态场景的图像中。

9.根据前述权利要求中任一项所述的方法，

其特征在于，若存在摄像头视觉遮挡的指示，则随后额外执行一种替代方法来探测所述车辆(1)的摄像头的视觉遮挡情况。

10.一种操控设计用于执行自动化驾驶的车辆(1)的方法，所述方法能够执行前述权利要求中任一项所述的方法，并且若存在所述车辆(1)的摄像头视觉遮挡的指示，会降低驾驶操控的自动化程度，或者将驾驶任务移交给所述车辆(1)的驾驶员。