CN116071724A - 车载相机遮挡场景识别方法、电子设备、存储介质及车辆 - Google Patents

Abstract

本发明涉及图像识别技术领域，具体提供一种车载相机遮挡场景识别方法、电子设备、存储介质及车辆，旨在解决现有方案通常采用传统图像处理方法来识别相机遮挡场景导致识别准确率较差的技术问题。为此目的，本发明的车载相机遮挡场景识别方法包括：获取车载相机采集的图像帧；基于图像帧获取车载相机遮挡场景的置信度；基于置信度确定车载相机是否为遮挡场景。如此，提高了对相机遮挡场景识别的准确度。

Description

车载相机遮挡场景识别方法、电子设备、存储介质及车辆

技术领域

本发明涉及图像识别技术领域，具体提供一种车载相机遮挡场景识别方法、电子设备、存储介质及车辆。

背景技术

目前，视觉感知是辅助驾驶系统中的重要组成部分。相机镜头遮挡、污染等情况会极大地影响视觉感知结果的可靠性，使得系统存在一定的安全风险。因此，辅助驾驶系统需要对实际驾驶场景中可能出现的风险的场景进行检测，并及时提醒驾驶员接管以避免危险情况发生。

现有方案通常采用传统图像处理方法来识别相机遮挡场景，具体是通过图像直接判断相机是否为遮挡场景，并不涉及对遮挡场景置信度的获取，鲁棒性和可扩展性不强，对相机遮挡场景的识别准确率较差。

相应地，本领域需要一种新的车载相机遮挡场景识别方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决上述技术问题。本发明提供了一种车载相机遮挡场景识别方法、电子设备、存储介质及车辆。

在第一方面，本发明提供一种车载相机遮挡场景识别方法，所述方法包括：获取所述车载相机采集的图像帧；基于所述图像帧获取所述车载相机遮挡场景的置信度；基于所述置信度确定所述车载相机是否为遮挡场景。

在一个实施方式中，所述基于所述图像帧获取所述车载相机遮挡场景的置信度，包括：将所述图像帧输入分类器，输出所述车载相机遮挡场景的置信度。

在一个实施方式中，所述基于所述置信度确定所述车载相机是否为遮挡场景，包括：基于所述置信度判断所述车载相机的当前状态是否为遮挡状态；若是，对所述当前状态进行时序累积，在时序累积的累积时间大于预设时间的情况下，则确定所述车载相机为遮挡场景。

在一个实施方式中，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：在所述置信度大于第一置信度阈值的情况下，则所述车载相机的当前状态为遮挡状态。

在一个实施方式中，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：在所述置信度大于第二置信度阈值且小于所述第一置信度阈值，以及所述图像帧的模糊度大于模糊度阈值的情况下，则确定所述车载相机的当前状态为遮挡状态。

在一个实施方式中，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：确定所述图像帧中像素灰度值小于预设灰度值的像素比例；在所述置信度大于第三置信度阈值且小于所述第二置信度阈值，以及所述像素比例大于预设比例的情况下，则确定所述车载相机的当前状态为遮挡状态。

在一个实施方式中，所述确定所述图像帧中像素灰度值小于预设灰度值的像素比例，包括：确定所述图像帧中像素灰度值小于预设灰度值的像素个数；基于所述像素个数与所述图像帧中的像素总数量的比值确定所述像素比例。

在第二方面，提供一种电子设备，该电子设备包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的车载相机遮挡场景识别方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的车载相机遮挡场景识别方法。

在第四方面，本发明提供一种车辆，所述车辆包括前述的电子设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

本发明中的车载相机遮挡场景识别方法，获取车载相机采集的图像帧；基于图像帧获取车载相机遮挡场景的置信度；基于置信度确定车载相机是否为遮挡场景。如此，相比于现有技术采用传统图像处理方法来识别相机遮挡场景，提高了对相机遮挡场景识别的准确度。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是根据本发明的一个实施例的车载相机遮挡场景识别方法的主要步骤流程示意图；

图2是一个实施例中车载相机遮挡场景识别方法的完整流程示意图；

图3一个实施例中电子设备的主要结构框图示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

目前传统的方法通常采用传统图像处理方法来识别相机遮挡场景，具体是通过图像直接判断相机遮挡场景，并不涉及对遮挡场景置信度的获取，鲁棒性和可扩展性不强，对相机遮挡场景的识别准确率较差。

为此，本申请提出了一种车载相机遮挡场景识别方法、电子设备、存储介质及车辆，获取车载相机采集的图像帧；基于图像帧获取车载相机遮挡场景的置信度；基于置信度确定车载相机是否为遮挡场景。如此，相比于现有技术采用传统图像处理方法来识别相机遮挡场景，提高了对相机遮挡场景识别的准确度。

参阅附图1，图1是根据本发明的一个实施例的车载相机遮挡场景识别方法的主要步骤流程示意图。

如图1所示，本发明实施例中的车载相机遮挡场景识别方法主要包括下列步骤S101-步骤S103。

步骤S101：获取所述车载相机采集的图像帧。

步骤S102：基于所述图像帧获取所述车载相机遮挡场景的置信度。

在一个具体实施方式中，所述基于所述图像帧获取所述车载相机遮挡场景的置信度，包括：将所述图像帧输入分类器，输出所述车载相机遮挡场景的置信度。

在一个实施例中，卷积神经网络（CNN）模型可以作为所述分类器的一个示例，但不限于此。

在一个实施例中，可以预先通过训练集以及标签对所述分类器进行训练，调节所述分类器的网络参数，以使所述分类器能够对输入图像是否为遮挡场景进行精准预测。

具体来说，可以将所述图像帧输入训练好的分类器，从而输出车载相机遮挡场景的置信度，其中置信度越大，表示所述车载相机为遮挡场景的概率越大。

步骤S103：基于所述置信度确定所述车载相机是否为遮挡场景。

在一个具体实施方式中，所述基于所述置信度确定所述车载相机是否为遮挡场景具体可通过下述步骤S1031至步骤S1032实现。

步骤S1031：基于所述置信度判断所述车载相机的当前状态是否为遮挡状态。

在一个具体实施方式中，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：在所述置信度大于第一置信度阈值的情况下，则所述车载相机的当前状态为遮挡状态。

具体来说，通过判断车载相机遮挡场景的置信度是否大于第一置信度阈值以确定所述车载相机的当前状态是否为遮挡状态，具体是所述置信度大于第一置信度阈值，则确定所述车载相机的当前状态为遮挡状态。实施例中的置信度阈值可以是预先通过实验获得的数值。

在一个具体实施方式中，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：在所述置信度大于第二置信度阈值且小于所述第一置信度阈值，以及所述图像帧的模糊度大于模糊度阈值的情况下，则确定所述车载相机的当前状态为遮挡状态。

具体来说，在车载相机遮挡场景的置信度位于第二置信度阈值至第一置信度阈值的范围内的情况下，进一步结合图像帧的模糊度判断车载相机的当前状态是否为遮挡状态。具体是在所述置信度大于第二置信度阈值且小于第一置信度阈值，以及图像帧的模糊度大于模糊度阈值的情况下，则确定车载相机的当前状态为遮挡状态。其中模糊度阈值可以是预先通过实验获得的数值。

在一个实施例中，采用无参考图像的清晰度评价算法对所述图像帧进行模糊度评估，从而得到所述图像帧的模糊度。在一个实施例中，方差函数、能量梯度函数等可以作为所述无参考图像的清晰度评价算法的示例，但不限于此，也可以采用准确度更高的机器学习方法实现。

在一个具体实施方式中，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：确定所述图像帧中像素灰度值小于预设灰度值的像素比例；在所述置信度大于第三置信度阈值且小于所述第二置信度阈值，以及所述像素比例大于预设比例的情况下，则确定所述车载相机的当前状态为遮挡状态。

在一个实施例中，当置信度大于第三置信度阈值且小于第二置信度阈值时，进一步结合图像帧的像素比例判断车载相机的当前状态是否为遮挡状态。具体是在置信度大于第三置信度阈值且小于第二置信度阈值，以及图像帧的像素比例大于预设比例的情况下，则确定车载相机的当前状态为遮挡状态。其中预设比例可以是预先通过实验获得的数值。

在一个具体实施方式中，所述确定所述图像帧中像素灰度值小于预设灰度值的像素比例，包括：确定所述图像帧中像素灰度值小于预设灰度值的像素个数；基于所述像素个数与所述图像帧中的像素总数量的比值确定所述像素比例。

具体来说，像素比例指的是图像帧中像素灰度值小于预设灰度值的暗像素比例。对于图像帧来说，其由多个像素组成。在一个实施例中，首先将每个像素均转换为灰度图，从而获得每个像素的灰度值，接着确定图像帧中像素灰度值小于预设灰度值的像素个数，将该像素个数与图像帧中的像素总数量的比值作为像素比例。

步骤S1032：若是，对所述当前状态进行时序累积，在时序累积的累积时间大于预设时间的情况下，则确定所述车载相机为遮挡场景。

具体来说，在通过置信度判断所述车载相机的当前状态为遮挡状态的情况下，进一步对车载相机的当前状态进行时序累积，当车载相机的当前状态的持续时间大于预设时间的情况下，则确定所述车载相机为遮挡场景。

车辆的报出状态包括遮挡状态和非遮挡状态。当确定车载相机为遮挡场景的情况下，将车辆的报出状态由非遮挡状态切换为遮挡状态。

基于上述步骤S101-步骤S103，获取车载相机采集的图像帧；基于图像帧获取车载相机遮挡场景的置信度；基于置信度确定车载相机是否为遮挡场景。如此，相比于现有技术采用传统图像处理方法来识别相机遮挡场景，提高了对相机遮挡场景识别的准确度。

在一个实施例中，可以获取底盘信号，在所述底盘信号为雨刮信号、引擎盖信号等情况下，保持当前车辆的报出状态不变，避免了误报出遮挡场景，进一步提高对相机遮挡场景识别的准确度。

在一个实施例中，具体如图2所示，车载相机遮挡场景识别方法具体可通过下述步骤实现。

数据获取，具体从车载相机中获取图像。

模型分类，利用深度学习分类器对遮挡场景进行识别，输出置信度。

进行底盘信号融合，例如对于雨刮信号、引擎盖信号等，保持当前车辆的报出状态不变，避免了误报出遮挡场景。

图像模糊度融合。由于相机遮挡时的成像表现一般为暗光或模糊，设计了分层召回策略：

a)若置信度大于第一置信度阈值T1，判定当前帧状态为“遮挡”。

b)若置信度大于第二置信度阈值T2且小于第一置信度阈值T1，以及图像模糊度大于模糊度阈值T3，判定当前帧状态为“遮挡”。

c)若置信度大于第三置信度阈值T4且小于第二置信度阈值T2，以及图像像素值较暗的比例大于预设比例T5，判定当前帧状态为“遮挡”。

d)若以上条件都不满足，判定当前帧状态为“非遮挡”。

对单帧状态进行时序累积，如果累积时间大于T6，则将报出状态进行切换，否则维持报出状态不变。

如此，相比于现有技术采用传统图像处理方法来识别相机遮挡场景，提高了对相机遮挡场景识别的准确度。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种电子设备。在根据本发明的一个电子设备实施例中，具体如图3所示，电子设备包括至少一个处理器31和至少一个存储装置32，存储装置可以被配置成存储执行上述方法实施例的车载相机遮挡场景识别方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的车载相机遮挡场景识别方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中电子设备可以是包括各种设备形成的控制装置设备。在一些可能的实施方式中，电子设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的车载相机遮挡场景识别方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的车载相机遮挡场景识别方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的车载相机遮挡场景识别方法，即每个处理器分别执行上述方法实施例的车载相机遮挡场景识别方法的不同步骤，来共同实现上述方法实施例的车载相机遮挡场景识别方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述电子设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述电子设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的车载相机遮挡场景识别方法的程序，该程序可以由处理器加载并运行以实现上述车载相机遮挡场景识别方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种车辆，所述车辆包括前述的电子设备。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种车载相机遮挡场景识别方法，其特征在于，所述方法包括：

获取所述车载相机采集的图像帧；

基于所述图像帧获取所述车载相机遮挡场景的置信度；

基于所述置信度确定所述车载相机是否为遮挡场景。

2.根据权利要求1所述的车载相机遮挡场景识别方法，其特征在于，所述基于所述图像帧获取所述车载相机遮挡场景的置信度，包括：将所述图像帧输入分类器，输出所述车载相机遮挡场景的置信度。

3.根据权利要求1所述的车载相机遮挡场景识别方法，其特征在于，所述基于所述置信度确定所述车载相机是否为遮挡场景，包括：

基于所述置信度判断所述车载相机的当前状态是否为遮挡状态；

若是，对所述当前状态进行时序累积，在时序累积的累积时间大于预设时间的情况下，则确定所述车载相机为遮挡场景。

4.根据权利要求3所述的车载相机遮挡场景识别方法，其特征在于，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：在所述置信度大于第一置信度阈值的情况下，则所述车载相机的当前状态为遮挡状态。

5.根据权利要求4所述的车载相机遮挡场景识别方法，其特征在于，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：在所述置信度大于第二置信度阈值且小于所述第一置信度阈值，以及所述图像帧的模糊度大于模糊度阈值的情况下，则确定所述车载相机的当前状态为遮挡状态。

6.根据权利要求5所述的车载相机遮挡场景识别方法，其特征在于，所述基于所述置信度判断所述车载相机的当前状态是否为遮挡状态，包括：

确定所述图像帧中像素灰度值小于预设灰度值的像素比例；

在所述置信度大于第三置信度阈值且小于所述第二置信度阈值，以及所述像素比例大于预设比例的情况下，则确定所述车载相机的当前状态为遮挡状态。

7.根据权利要求6所述的车载相机遮挡场景识别方法，其特征在于，所述确定所述图像帧中像素灰度值小于预设灰度值的像素比例，包括：

确定所述图像帧中像素灰度值小于预设灰度值的像素个数；

基于所述像素个数与所述图像帧中的像素总数量的比值确定所述像素比例。

8.一种电子设备，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的车载相机遮挡场景识别方法。

9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的车载相机遮挡场景识别方法。

10.一种车辆，其特征在于，所述车辆包括权利要求8所述的电子设备。

Images