CN114626450A

CN114626450A - 摄像头异常状况检测方法、系统和计算机可读存储介质

Info

Publication number: CN114626450A
Application number: CN202210216179.9A
Authority: CN
Inventors: 李兵磊; 王逸飞; 丁绅一; 邹积勇
Original assignee: Weilai Automobile Technology Anhui Co Ltd
Current assignee: Weilai Automobile Technology Anhui Co Ltd
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2022-06-14

Abstract

本发明提供了一种摄像头异常状况检测方法、系统和计算机可读存储介质，该方法包括如下步骤：S100：获取由摄像头采集的图像；S200：将所述图像输入到模型中，其中，所述模型基于包含样本图像和表征在所述样本图像中是否存在摄像头异常状况的标注信息的训练数据集构建；S300：基于所述模型，根据所述图像中的预设标识物相对于第一预设范围和第二预设范围的相对位置，检测所述摄像头是否存在第一异常状况，所述第一预设范围在外部包围所述第二预设范围；S310：响应于所述预设标识物超出所述第一预设范围，输出第一警示信号；以及S320：响应于所述预设标识物在未超出所述第一预设范围的情况下而超出所述第二预设范围，输出第二警示信号。

Description

摄像头异常状况检测方法、系统和计算机可读存储介质

技术领域

本发明涉及一种用于换电站的摄像头异常状况检测方法、系统和计算机可读存储介质。

背景技术

目前，对于电动汽车的能源补给主要存在有整车充电和换电（即电池更换）这两种模式。整车充电模式能够分为交流慢充以及直流快充，其中，交流慢充所需时间较长且受停车场地的限制。此外，直流快充虽然功率大、充电时间短，然而对电网冲击较大，同时还会降低电池的使用寿命。反之，换电模式在实现对电动汽车的快速的能源补给的同时还能够降低对电池寿命的损害。此外，换电模式能够实现电网电力负荷的“调峰储能”并且由此提高电力设备的综合利用效率。

对于自动化或半自动化的换电站来说，包括多个或多种摄像头的视频监控系统通常被用于车辆位置检测、平台人体检测、电池异物预警等。例如，在换电执行区域（其还能够被称为换电平台）中设置有鱼眼相机，以便检测车辆是否处于换电平台的预设位置中并且为换电过程的开始提供有针对性的指导。

然而，换电站落地规格差异以及周围环境对摄像头的影响会导致摄像头成像质量不合规。不合规的成像质量一方面会影响到换电站的异物检测、危险预警等安全保障环节，另一方面还可能导致换电流程终止、电池损坏、车身破坏等问题。

发明内容

根据不同的方面，本发明的目的在于提供一种用于换电站的摄像头异常状况检测方法、系统和计算机可读存储介质。

此外，本发明还旨在解决或者缓解现有技术中存在的其它技术问题。

本发明通过提供一种用于换电站的摄像头异常状况检测方法来解决上述问题，具体而言，其包括如下步骤：

S100：获取由摄像头采集的图像；

S200：将所述图像输入到模型中，其中，所述模型基于包含样本图像和表征在所述样本图像中是否存在摄像头异常状况的标注信息的训练数据集构建；

S300：基于所述模型，根据所述图像中的预设标识物相对于第一预设范围和第二预设范围的相对位置，检测所述摄像头是否存在第一异常状况，所述第一预设范围在外部包围所述第二预设范围；

S310：响应于所述预设标识物超出所述第一预设范围，输出第一警示信号；以及

S320：响应于所述预设标识物在未超出所述第一预设范围的情况下而超出所述第二预设范围，输出第二警示信号。

根据本发明的一个方面所提出的摄像头异常状况检测方法，所述第一警示信号和所述第二警示信号指示所述摄像头出现第一异常状况的概率。

根据本发明的一个方面所提出的摄像头异常状况检测方法，在步骤S200之前，截取所述图像的一个或多个包含预设标识物的特征区域作为待检测图像，将所述待检测图像输入到所述模型中。

根据本发明的一个方面所提出的摄像头异常状况检测方法，所述预设标识物包括动力电池的电插头、动力电池的水插头、动力电池的紧固件或换电站的位置不变的部件。

根据本发明的一个方面所提出的摄像头异常状况检测方法，还包括如下步骤：

S400：获取所述由摄像头采集的图像的特征指标；

S410：基于所述模型和所述特征指标，检测所述摄像头是否存在第二异常状况，其中，所述第二异常状况包括脏污、异物遮挡；以及

S420：响应于检测到所述第二异常状况，输出第三警示信号。

根据本发明的一个方面所提出的摄像头异常状况检测方法，所述特征指标包括所述图像的无图像区域的尺寸、模糊区域的尺寸、对比度、分辨率和色相。

S500：基于所述模型，根据所述由摄像头采集的图像的成像参数，检测所述摄像头是否存在第三异常状况，其中，所述第三异常状况包括摄像头的配置参数异常；以及

S510：响应于检测到所述第三异常状况，输出第四警示信号。

根据本发明的一个方面所提出的摄像头异常状况检测方法，在步骤S200中，对样本图像中的预设标识物进行平移、旋转，和/或改变所述样本图像的成像参数，以用于扩充训练数据集。

根据本发明的另一方面，本发明提供了一种用于执行这样的摄像头异常状况检测方法的系统，其包括：

图像获取模块，所述图像获取模块配置成用于获取由所述摄像头采集的图像；

判断模块，图像获取模块与所述图像获取模块相连并且在图像获取模块的存储器上存储有模型，所述模型基于包含样本图像和表征在所述样本图像中是否存在摄像头异常状况的标注信息的训练数据集构建，并且所述判断模块配置成用于根据图像中的预设标识物相对于第一预设范围和第二预设范围的相对位置来检测所述摄像头是否存在第一异常状况，其中，所述第一预设范围在外部包围所述第二预设范围；以及

警示模块，所述警示模块与所述判断模块连接并且基于所述判断模块的判断结果输出相应的警示信号。

根据本发明的另一方面所提出的系统，所述判断模块以边缘计算设备的形式进行构造，所述边缘计算设备布置在换电站中并且与云平台进行通讯。

根据本发明的另一方面所提出的系统，所述摄像头布置在换电站的电池仓区域中或布置在停车平台区域中或布置在换电站的周围环境中。

根据本发明的再一方面，本发明提供了一种计算机可读存储介质，在所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器执行时实现了这样的摄像头异常状况检测方法。

通过分级的检测过程和相应的警示信号的输出，根据本公开的摄像头异常状况检测方法能够对摄像头的维修工作提供有针对性的指导并且能够避免不必要的维修工作。

附图说明

参考附图，本发明的上述以及其它的特征将变得显而易见，其中，

图1至3示出了根据本发明的一实施例的摄像头异常状况检测方法的流程图的子步骤；

图4至10示出了预设标识物相对于第一预设范围和第二预设范围的相对位置；

图11示出了根据本发明的用于执行摄像头异常状况检测方法的系统的示意图。

具体实施方式

容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

在本说明书中提到或者可能提到的上、下、左、右、前、后、正面、背面、顶部、底部等方位用语是相对于各附图中所示的构造进行定义的，它们是相对的概念，因此有可能会根据其所处不同位置、不同使用状态而进行相应地变化。所以，也不应当将这些或者其他的方位用语解释为限制性用语。此外，术语“第一”、“第二”、“第三”等或类似表述仅用于描述与区分目的，而不能理解为指示或暗示相应的构件的相对重要性。

参考图1至3，其示出了根据本发明的摄像头异常状况检测方法，其能够用于换电站中以用于为随后的换电过程提供有针对性的指导。具体地，该检测方法包括如下步骤：

S100：获取由摄像头采集的图像；

需要说明的是，上文提到的（以及下面还要提到的）步骤名称仅仅用于步骤之间的区分和便于步骤的引用，并不代表步骤之间的顺序关系，包括附图的流程图也仅仅是执行本方法的示例。在没有明显冲突的情况下，步骤之间可以用各种顺序或者同时执行。

在步骤S100中，该摄像头能够涉及二维或三维相机、枪型摄像头、鱼眼相机、红外相机、半球型摄像头或其他任意形式的摄像装置。与此相应地，由其所采集到的图像能够但不限于二维图像、三维图像、点云图像或扫描图像。

此外，该摄像头能够布置在换电站的需要进行监控的区域中，例如其能够布置在用于存储服务电池的电池仓的区域中用于对电池的表面状态进行监测，或布置在用于执行换电过程的换电平台（也可以被称为停车平台）的区域中用于对车辆和站内人员的安全进行监测，或其还能够布置在换电站的周围环境中用于对周围的路况进行探测，例如其能够布置在换电站的站前区域中用于对站前可行驶区域进行检测。应该说明的是，摄像头的类型和布置方案并不限于上面所提到的方式，其还能够根据需要进行相应的改型。

在对该检测方法进行说明之前，首先应该对换电站中摄像头的异常状况进行说明。一方面由于换电站的规格差异或安装人员不统一而会引起与摄像头的预设安装标准存在一定的偏差，另一方面随着时间的推移其位置或拍摄角度会发生改变，这最终会导致成像位置偏移并且无法获取既定的全部区域的有效图像。在此，这种异常状况能够被称为场景偏移，在此为简单明了起见将其称为第一异常状况。

其次，在使用过程中摄像头的镜头会受到周围环境、例如灰尘或污泥的影响或其镜头由周围零部件遮挡，这会引起图像模糊或存在无图像区域。另外，周围环境的光线不佳也会导致所采集到的图像清晰度下降。在此，为清楚明了起见，在下文中将其称为第二异常状况。

此外，图像的分辨率错误、摄像头焦距错误、成像白平衡异常也会导致图像不合规，这主要由摄像头的配置参数错引起。在此，为清楚明了起见，在下文中将其称为第三异常状况。

此外，与摄像头连接的网络、软件、硬件的故障也能够引起图像不合规，例如图像丢失。这能够以简单的方式通过各部件的通讯进行识别，对此不再赘述。

关于第一异常状况的检测，根据本发明，通过设置两级标准或多级标准来实现一种冗余且有效的的检测方式，例如第一标准（即严格标准）和第二标准（宽松标准）。严格标准是用于区分成像高质量图片的界限，与此相对地，宽松标准为实际所需求的图片质量的界限标准。将相应的检测结果输入到后置的控制机构或云端，以便判断是否需要对摄像头进行调整或确定对其进行调整的时间，这在一定程度上避免了不必要的维修工作并且由此提高了换电效率。

在此，仅仅对不满足宽松标准的摄像头进行调整尤其在如下情况下是有利的，其中，该摄像头布置在电池仓中用于检测电池的表面异常并且由其所获取的图像不必与预设的标准图像完全吻合，也就是说，上面所提到的预设标识物不必严格地位于第一范围之内。

下面，根据图4至图10（其中，第一预设范围、容纳在其中的第二预设范围和预设标识物示意性地以方框示出），基于布置在电池仓中的摄像头对该检测方法进行详细地阐述。在此，选取动力电池表面的电插头作为预设标识物，当然该预设标识物还能够选取为水插头、紧固件（中部螺栓或尾部螺栓）或动力电池的其他易识别的部件。

图4和图5示出了满足严格标准的无异常状况的摄像头的图像，其中，图4中的电插头位于第二预设范围的中心，而图5中的电插头与第一预设范围的边缘邻近。在这种情况下，在保证后续的换电过程正常进行的情况下，不需要对摄像头的位置和角度进行调整。

与此相对地，图6至图8示出了水摄像头不合规的图像，其中，图6和图7中的电插头部分地超出了第一预设范围，并且图8中的电插头完全处于第一预设范围之外。在这种情况下，能够输出指示该摄像存在异常状况的第一警示信号，其能够以文字或概率的方式传输给云平台或显示给站内维修人员。另外，该第一警示信号还能够传输给换电站的控制系统，以便暂停换电进程。

图9和图10示出了满足宽松标准的可视为无异常的摄像头的图像，其中，电插头在不超出第一预设范围的情况下部分地位于第一预设范围和第二预设范围之间。在这种情况下，能够输出指示该摄像头满足宽松标准的第二警示信号。该警示信号能够以文字或概率的方式方式显示给站内维修人员或传输给换电站的云平台。

此外，当该摄像头没有设置成用于检测动力电池，而是例如设置成用于检测站前可行驶空间，为了能够快速且可靠进行识别，预设标识物能够被选取为相对于换电站或地面位置不变的物体。在该摄像头布置在执行换电过程的换电平台的区域中，该预设标识物能够涉及用于固定车辆的V形槽、停车线、换电执行机构等。相应地，在该摄像头布置在换电站外部时，该预设标识物能够涉及停车线或位置不变的建筑物等。

在此应该说明的是，该检测方法并不限于上面所提到的两级标准，其能够根据对摄像头的成像质量要求的不同进行相应的改型。这种改型例如能够涉及预设标识物相对于各预设范围的距离或角度等。

可选地，上面所提到的模型基于深度学习进行构建，尤其构造为卷积神经网络模型，其预先以表征摄像头存在异常状况的正样本图像和表征摄像头不存在异常状况的负样本图像和相应的标注信息进行训练。该卷积神经网络模型包括有卷积层、归一层、激活层、最大池化层、全连接层以及输出层。例如，在输出层中，使用Softmax函数将判断结果输出为概率值，并且采用Softmax交叉熵损失（Cross Entropy loss)。

可选地，为了使训练数据集多元化并且增加模型的鲁棒性，能够以在线数据增强的方式对训练数据集进行扩充，例如对预设标识物进行平移、旋转、翻转。这还能够通过改变样本图像的成像参数（例如对比度、亮度）或增强高斯噪声的方式来实现。

可选地，在将由摄像头所采集的图像输入到该模型中之前，能够对该图像进行ROI处理（Region of Interests，感兴趣区域），即以预设的尺寸截取一个或多个包含预设标识物的子图像作为待检测图像。在此，能够预先将该多个子图像进行缩放和拼接处理，以用于增强模型健壮性并且由此提高后续模型检测的精度。例如，所截取的子图像为具有HWC三通道的图片格式，其大小为256*156*3，相应地输入该模型中的图像大小为256*192*3。

应该说明的是，对于输入模型中的图像的格式和尺寸能够但不限于上面所阐释的方式，其能够根据模型的配置相应地进行改型。

关于第二异常状况的检测，该检测方法能够包括如下步骤：

S400：获取所述由摄像头采集的图像的特征指标；

S420：响应于检测到所述第二异常状况，输出第三警示信号。

由外部环境影响而引起的图像模糊能够以无参考图像的方式进行检测，例如根据Tenengrad梯度函数、Laplacian梯度函数或SMD（弧度方差）函数来检测图像的模糊程度。

当然，图像模糊这种异常状况还能够借助于深度学习模型、尤其卷积神经网络模型来检测。具体地，将样本图像以及指示该样本图像是否存在模糊区域或指示该样本图像的模糊等级的标注信息输入到预先建立的模型中，以用于对深度学习模型进行训练。在此，该标注信息能够在前期人为地或以机器学习的方式来创建。

在另一实施例中，还能够基于该模型识别图像的模糊区域的尺寸并且将其与预设尺寸进行比较，若其超过该预设尺寸，则输出指示存在第二异常状况的第三警示信号。此外，还能够以简单的方式判断是否存在图像模糊，即将所获取的图像的对比度、分辨率、色相与预设值进行比较。关于摄像头是否有异物遮挡的检测，能够通过识别输入到该模型中的图像的无图像区域来实现。

此外，关于上面所提到的第三异常状况（即摄像头配置参数异常）的检测，根据本发明的检测方法能够包括如下步骤：

S510：响应于检测到所述第三异常状况，输出第四警示信号。在此，该成像参数能够涉及图像的对比度、色相、亮度等。

在此，第三警示信号和第四警示信号同样能够以文字或概率的方式传输给云平台或显示给站内维修人员或传输给换电站的控制系统。

本发明此外还涉及一种用于在换电站中执行这样的摄像头异常状况检测方法的系统100，参考图11。该系统包括：

图像获取模块110，所述图像获取模块配置成用于获取由所述摄像头采集的图像；

判断模块120，图像获取模块与所述图像获取模块相连并且在图像获取模块的存储器上存储有模型，所述模型基于包含样本图像和表征在所述样本图像中是否存在摄像头异常状况的标注信息的训练数据集构建，并且所述判断模块配置成用于根据图像中的预设标识物相对于第一预设范围和第二预设范围的相对位置来判断所述摄像头是否存在第一异常状况，其中，所述第一预设范围在外部包围所述第二预设范围；

警示模块130，所述警示模块与所述判断模块连接并且基于所述判断模块的判断结果输出相应的警示信号。

通过摄像头异常状况的分级的检测过程和表征异常状况等级的不同的警示信号的输出，能够避免不必要的维修工作并且由此降低整个换电过程所需的时间。

可选地，该判断模块能够实施为边缘计算设备，其在换电站中靠近数据源地进行布置，并且其能够与换电站的云平台进行通讯以用于将检测结果可选地存储在云端。具体地，该边缘计算设备能够经由交换机和可能存在的路由器与云平台进行通讯，其中，边缘计算设备通过网线连接到交换机和路由器处，所述路由器通过4G或5G网路与部署在云端的云平台相连并且进行数据交互。

借助于边缘计算设备，在靠近数据源处（即在本地边缘计算层中）对摄像头的异常状况进行检测，从而能够保证检测的实时性和稳定性。另外，通过利用一个或多个边缘计算设备来执行对处理能力要求较高的图像处理，能够在一定程度上减轻云端的计算负荷并且有助于物联网的实现。

最后，本发明还涉及一种计算机可读存储介质，在所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述摄像头异常状况检测方法。在此，作为计算机存储介质，能够采用盘类（例如，磁盘、光盘等）、卡类（例如，存储卡、光卡等）、半导体存储器类（例如，ROM、非易失性存储器等）、带类（例如，磁带、盒式磁带等）等各种方式的计算机存储介质。

应当理解的是，所有以上的优选实施例都是示例性而非限制性的，本领域技术人员在本发明的构思下对以上描述的具体实施例做出的各种改型或变形都应在本发明的法律保护范围内。

Claims

1.一种摄像头异常状况检测方法，用于换电站中，其特征在于，包括如下步骤：

S100：获取由摄像头采集的图像；

2.根据权利要求1所述的摄像头异常状况检测方法，其特征在于，所述第一警示信号和所述第二警示信号指示所述摄像头出现第一异常状况的概率。

3.根据权利要求1所述的摄像头异常状况检测方法，其特征在于，在步骤S200之前，截取所述图像的一个或多个包含预设标识物的特征区域作为待检测图像，将所述待检测图像输入到所述模型中。

4.根据权利要求3所述的摄像头异常状况检测方法，其特征在于，所述预设标识物包括动力电池的电插头、动力电池的水插头、动力电池的紧固件或换电站的位置不变的部件。

5.根据权利要求1至4中任一项所述的摄像头异常状况检测方法，其特征在于，还包括如下步骤：

S400：获取所述由摄像头采集的图像的特征指标；

S420：响应于检测到所述第二异常状况，输出第三警示信号。

6.根据权利要求5所述的摄像头异常状况检测方法，其特征在于，所述特征指标包括所述图像的无图像区域的尺寸、模糊区域的尺寸、对比度、分辨率和色相。

7.根据权利要求1至4中任一项所述的摄像头异常状况检测方法，其特征在于，还包括如下步骤：

S510：响应于检测到所述第三异常状况，输出第四警示信号。

8.根据权利要求1所述的摄像头异常状况检测方法，其特征在于，在步骤S200中，对样本图像中的预设标识物进行平移、旋转，和/或改变所述样本图像的成像参数，以用于扩充训练数据集。

9.一种系统，用于执行根据权利要求1至8中任一项所述的摄像头异常状况检测方法，其特征在于，包括：

10.根据权利要求9所述的系统，其特征在于，所述判断模块以边缘计算设备的形式进行构造，所述边缘计算设备布置在换电站中并且与云平台进行通讯。

11.根据权利要求9所述的系统，其特征在于，所述摄像头布置在换电站的电池仓区域中或布置在停车平台区域中或布置在换电站的周围环境中。

12.一种计算机可读存储介质，在所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的摄像头异常状况检测方法。