CN115587987A - 一种蓄电池缺陷检测方法、装置、存储介质及电子设备 - Google Patents

一种蓄电池缺陷检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115587987A
CN115587987A CN202211279122.XA CN202211279122A CN115587987A CN 115587987 A CN115587987 A CN 115587987A CN 202211279122 A CN202211279122 A CN 202211279122A CN 115587987 A CN115587987 A CN 115587987A
Authority
CN
China
Prior art keywords
storage battery
network
defect detection
battery
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211279122.XA
Other languages
English (en)
Inventor
周登科
张亚平
汤鹏
史凯特
王罗
苏营
于傲
李哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges Corp
Original Assignee
China Three Gorges Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges Corp filed Critical China Three Gorges Corp
Priority to CN202211279122.XA priority Critical patent/CN115587987A/zh
Publication of CN115587987A publication Critical patent/CN115587987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Secondary Cells (AREA)

Abstract

本发明公开了一种蓄电池缺陷检测方法、装置、存储介质及电子设备，获取第一特征提取网络和训练用的至少一个蓄电池图像数据集；利用多尺度路径聚合结构对第一特征提取网络进行改进，得到第二特征提取网络；利用自适应特征池化结构构建目标检测网络；基于第二特征提取网络确定目标检测网络和预设三维重建网络；将蓄电池图像数据集通过预设三维重建网络进行处理，生成蓄电池缺陷检测模型；利用蓄电池缺陷检测模型对待检测的蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果。利用目标检测网络和预设三维重建网络，同时实现了三维重建和二维图像的缺陷目标检测。

Description

一种蓄电池缺陷检测方法、装置、存储介质及电子设备
技术领域
本发明涉及机器视觉缺陷检测技术领域，具体涉及一种蓄电池缺陷检测方法、装置、存储介质及电子设备。
背景技术
配电房蓄电池组作为发输变配等电力系统中的主要电力设备，是电力设备运维检修的主要巡检对象，人工巡检任务繁重，检修误差较大。随着智能装备和计算机视觉技术的发展，智能巡检系统成为升压站及其他电站中的主要巡检手段。配电房蓄电池的巡检中，缺陷主要包括蓄电池鼓包、变形、漏液、连接片松动腐蚀等情况。蓄电池的鼓包、变形主要是由于长期充放电，导则蓄电池板栅变形、活性物质膨胀所致。蓄电池的鼓包变形在视觉上属于为三维空间上的缺陷类型，而漏液和连接片锈蚀在视觉上属于二维图像缺陷检测类型，而现有的蓄电池缺陷检测方法难以同时准确检测设备的鼓包、变形和漏液、锈蚀等缺陷。
发明内容
有鉴于此，本发明实施例提供了涉及一种蓄电池缺陷检测方法、装置、存储介质及电子设备，以解决现有技术中蓄电池缺陷检测方法难以同时准确检测设备的鼓包、变形和漏液、锈蚀等缺陷的技术问题。
本发明提出的技术方案如下：
第一方面，本发明实施例提供一种蓄电池缺陷检测方法，该蓄电池缺陷检测方法包括：获取第一特征提取网络和训练用的至少一个蓄电池图像数据集；利用多尺度路径聚合结构对所述第一特征提取网络进行改进，得到第二特征提取网络；利用自适应特征池化结构构建目标检测网络；基于所述第二特征提取网络确定所述目标检测网络和预设三维重建网络；将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型；利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果。
结合第一方面，在第一方面的一种可能的实现方式中，将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型，包括：将所述蓄电池图像数据集通过所述预设三维重建网络进行处理，得到第一深度图；确定所述第一深度图的尺度值；获取所述尺度值对应的第二深度图；基于所述第一深度图和所述第二深度图构建损失函数；利用所述损失函数对所述蓄电池图像数据集进行训练，生成所述蓄电池缺陷检测模型。
结合第一方面，在第一方面的另一种可能的实现方式中，所述蓄电池图像数据集包括蓄电池参考深度图像、至少一张蓄电池源图像和所述蓄电池对应的相机的位姿信息；将蓄电池图像数据集通过所述预设三维重建网络进行处理，得到第一深度图，包括：基于所述蓄电池参考深度图像和所述至少一张蓄电池源图像，经过所述第二特征提取网络，得到至少一张所述蓄电池源图像的特征信息；基于至少一个所述蓄电池源图像的特征信息和所述位姿信息，经过单应性变换和正则网络处理，得到所述第一深度图。
结合第一方面，在第一方面的又一种可能的实现方式中，将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，得到第一深度图之后，所述方法还包括：基于多尺度光度一致性，对所述第一深度图进行处理，得到三维点云图，所述三维点云图反映所述蓄电池表面每个点的深度信息。
结合第一方面，在第一方面的又一种可能的实现方式中，所述检测网络用于对蓄电池进行漏液缺陷检测和锈蚀缺陷检测。
结合第一方面，在第一方面的又一种可能的实现方式中，利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果，包括：将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到待检测蓄电池的漏液缺陷检测结果和锈蚀缺陷检测结果。
结合第一方面，在第一方面的又一种可能的实现方式中，利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果，还包括：将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到所述待检测蓄电池表面每个点的深度信息；基于所述深度信息计算所述待检测蓄电池的表面凹凸度和凹凸区域面积；基于所述表面凹凸度和所述凹凸区域面积确定所述待检测蓄电池的鼓包程度和变形程度。
第二方面，本发明实施例提供一种蓄电池缺陷检测装置，该蓄电池缺陷检测装置包括：第一获取模块，用于获取第一特征提取网络和训练用的至少一个蓄电池图像数据集；改进模块，用于利用多尺度路径聚合结构对所述第一特征提取网络进行改进，得到第二特征提取网络；构建模块，用于利用自适应特征池化结构构建目标检测网络；确定模块，用于基于所述第二特征提取网络确定所述目标检测网络和预设三维重建网络；生成模块，用于将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型；检测模块，用于利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的蓄电池缺陷检测方法。
第四方面，本发明实施例提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的蓄电池缺陷检测方法。
本发明提供的技术方案，具有如下效果：
本发明实施例提供的蓄电池缺陷检测方法，在特征提取网络中增加多尺度路径聚合结构，提高了图像目标检测中定位的准确率；在目标检测网络中增加自适应特征池化结构，实现了蓄电池的漏液、锈蚀缺陷检测。因此，利用目标检测网络和特征提取网络训练得到的蓄电池缺陷检测模型，同时实现了三维重建和二维图像的缺陷目标检测。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种蓄电池缺陷检测方法的流程图；
图2是根据本发明实施例提供的区域建议网络RPN的结构图；
图3是根据本发明实施例提供的基于改进CasMVSNet网络的结构图；
图4是根据本发明实施例提供的一种蓄电池缺陷检测装置的结构框图；
图5是根据本发明实施例提供的计算机可读存储介质的结构示意图；
图6是根据本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对本申请实施例的技术方案说明之前，首先对本申请实施例的应用场景进行说明。
本申请技术方案应用于配电房蓄电池巡检技术领域。配电房蓄电池组作为发输变配等电力系统中的主要电力设备，是电力设备运维检修的主要巡检对象。智能巡检系统是升压站及其他电站中的主要巡检手段。现有配电房蓄电池巡检中，待检测的蓄电池的不同缺陷由不同原因组成，现有的检测技术无法同时实现对蓄电池的全面及准确检测。
本发明实施例提供一种蓄电池缺陷检测方法，如图1所示，该方法包括如下步骤：
步骤101：获取第一特征提取网络和训练用的至少一个蓄电池图像数据集。
其中，第一特征提取网络可以实现对蓄电池图像数据集中的图像的特征提取；在本发明中，第一特征提取网络为三维重建网络(CasMVSNet网络)内部结构。
蓄电池图像数据集用于模型训练，可以使用多个不同视场角度安装的摄像机等设备采集蓄电池的图像，且该图像可以完整包含蓄电池外观；
进一步，为提高蓄电池三维重建的精度和目标检测的精度，图像采集过程通过设置不同光照、不同角度、不同亮度等条件使图像数据尽可能丰富。
步骤102：利用多尺度路径聚合结构对所述第一特征提取网络进行改进，得到第二特征提取网络。
其中，第二特征提取网络包括三部分：特征金字塔(FPN)、多尺度语义聚合结构和多尺度路径聚合结构(PAN)。
具体地，特征金字塔可以视为一个编码解码结构，通过特征金字塔可以得到三个不同尺度的特征图，顶层特征图包含高层语义特征但缺乏底层的细节，高层的特征图虽然包含特征细节，但缺失足够的语义信息。因此从多个尺度上提取特征能够描述准确的图像特征。根据特征金字塔的上采样及下采样结构，输出的特征图有三个尺度，顶层的特征输出大小为W/4×H/4×32，其中W和H为原图像尺度；中间层尺度大小为W/2×H/2×16；最底层尺度为W×H×8。
多尺度路径聚合结构(PAN)通过自底向上的路径增强，利用准确的低层定位信号增强整个特征层次，从而缩短了低层与顶层特征之间的信息路径，提高了图像目标检测中定位的准确率。
步骤103：利用自适应特征池化结构构建目标检测网络。
其中，目标检测网络主要由区域建议网络(RPN，如图2所示)、自适应特征池化(AFP)和全连接层融合组成，可以实现蓄电池的漏液、锈蚀缺陷检测。
具体地，RPN网络接收经过PAN网络输出的单尺度的特征图，然后经过3*3的卷积，并在特征图上的每个点处生成9个anchor(基于一个中心点创建出的几种大小和长宽比的框：3个尺寸，每种尺寸对应3个宽高比)，之后再在两个分支并行的进行1*1卷积，分别用于对anchors进行分类和回归生成候选框(proposal)。自适应池化网络先将通过RPN提取的ROI压缩成一维的特征向量，然后通过取max或者取和的方式进行不同特征图(FeatureMap)的融合，最后在融合之后的基础上进行图像边界框(bounding box)和类别(class)的预测。
步骤104：基于所述第二特征提取网络确定所述目标检测网络和预设三维重建网络。
其中，预设三维重建网络即为改进后的CasMVSNet网络，如图3所示。
具体地，在第二特征提取网络上增加目标检测网络，并形成改进后的三维重建网络。
进一步，由于第二特征提取网络中包括多尺度路径聚合结构，检测网络中包括自适应特征池化结构，因此，利用目标检测网络和预设三维重建网络可以同时实现二维图像缺陷目标检测和三维重建。
步骤105：将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型。
具体地，利用目标检测网络和预设三维重建网络对蓄电池图像数据集进行处理并训练，可以生成蓄电池缺陷检测模型。
步骤106：利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果。
具体地，将待检测的蓄电池的图像数据集输入训练好的蓄电池缺陷检测模型中，可以得到对应的蓄电池缺陷检测结果。
本发明实施例提供的蓄电池缺陷检测方法，在特征提取网络中增加多尺度路径聚合结构，提高了图像目标检测中定位的准确率；在目标检测网络中增加自适应特征池化结构，实现了蓄电池的漏液、锈蚀缺陷检测。因此，利用目标检测网络和特征提取网络训练得到的蓄电池缺陷检测模型，同时实现了三维重建和二维图像的缺陷目标检测。
作为本发明实施例一种可选的实施方式，步骤105，包括：将所述蓄电池图像数据集通过所述预设三维重建网络进行处理，得到第一深度图；确定所述第一深度图的尺度值；获取所述尺度值对应的第二深度图；基于所述第一深度图和所述第二深度图构建损失函数；利用所述损失函数对所述蓄电池图像数据集进行训练，生成所述蓄电池缺陷检测模型。
具体地，改进CasMVSNet网络预测三个尺度的深度图和目标检测图，每个尺度的深度图(即第一深度图)利用相应尺度的真实深度图(即第二深度图)计算损失，目标检测通过预测框和真实框计算损失，总损失函数定义如关系式(1)所示：
Figure BDA0003897934810000081
式中：xvalid表示深度图中的有效像素集合；Dk′(x)表示第k阶段中像素x的预测深度；Dk″(x)表示第k阶段中像素x的真实深度；λk表示损失权重；
Figure BDA0003897934810000082
表示边界框回归损失；pi表示第i个anchor预测为真实标签的概率；
Figure BDA0003897934810000083
当为正样本时为1，当为负样本时为0；ti表示预测第i个anchor的边界框回归参数坐标；
Figure BDA0003897934810000084
表示第i个anchor对应的真实标注框的参数坐标；Ncls表示一个小批量数据集(mini-batch)中的样本数量；Nreg表示anchor位置的个数。
进一步，利用如关系式(1)所示的损失函数对蓄电池图像数据集进行多尺度训练，可以生成对应的蓄电池缺陷检测模型。
其中，多尺度训练过程如下：
(1)基于第一特征提取网络和第二特征提取网络生产3个不同尺度的特征图；
(2)尺度一特征图经过三维重建网络生成第一尺度深度图；
(3)尺度2特征图结合第一尺度深度图经过三维重建网络生成第二深度图；
(4)尺度3特征图结合第二深度图经过三维重建网络生成第三尺度深度图；
(5)第一尺度深度图、第二深度图经过上采样变化成和第三尺度深度图相同的尺度，然后3张图经过过滤及融合生成最终的深度图；(最终深度图和第三尺度深度图尺度相同)
作为本发明实施例一种可选的实施方式，所述蓄电池图像数据集包括蓄电池参考深度图像、至少一张蓄电池源图像和所述蓄电池对应的相机的位姿信息；将蓄电池图像数据集通过所述预设三维重建网络进行处理，得到第一深度图，包括：基于所述蓄电池参考深度图像和所述至少一张蓄电池源图像，经过所述第二特征提取网络，得到至少一张所述蓄电池源图像的特征信息；基于至少一个所述蓄电池源图像的特征信息和所述位姿信息，经过单应性变换和正则网络处理，得到所述第一深度图。
其中，蓄电池对应的相机即为步骤101中用于采集蓄电池的图像的设备；
具体地，通过特征提取网络以后可以得到一张参考图像的特征和N-1张源图像的特征，再根据单应性变换，将每一张源图像投影到每一层深度上构成特征体，然后使用正则网络3D CNN生成粗糙的深度图并将场景的深度范围进行了一个估计，包括以下两部分：
(1)特征匹配和代价聚合。首先根据单应性变换，将每一张源图像投影到每一层深度上构成特征体，然后利用插值法使每张投影尺寸相同。理论上每一张参考图像会有N-1个对应的特征体，将这些特征体基于方差的形式构建一个代价体。在构成剩余代价体时需要使用残差量的单应性变换，如关系式(2)所示：
Figure BDA0003897934810000091
式中：
Figure BDA0003897934810000101
分别对应相机的内参、旋转矩阵和平移矩阵；I1表示参考图像；
Figure BDA0003897934810000102
表示源图像；n表示参考摄像机的主轴，即为平面法向量；d表示深度。
由于在第一阶段生成的代价体尺度为W/4×H/4×32×48是稀疏的，因此使用的正则网络3D CNN生成粗糙的深度图并将场景的深度范围进行了一个估计。第一阶段得到的深度图作为参考，进行第二阶段的深度图估计(第一阶段和第二阶段分别指深度图预测的第一、二阶段)。使用中层特征图在剩余深度范围内进行采样深度平面构成剩余代价体，其尺度为W/2×H/2×16×32，使用3D CNN残差深度图，最终生成第二阶段深度图。最终的深度图是依靠第二阶段估计的深度图用相同的方式构成剩余代价体，其尺度大小为W×H×8×8，生成最终的深度图。基于方差的代价指标计算公式如关系式(3)所示：
Figure BDA0003897934810000103
式中：
Figure BDA0003897934810000104
表示特征体；C表示代价体；N表示图像的数量；
Figure BDA0003897934810000105
其中，W表示输入图像的宽度；H表示输入图像的高度；D表示输入图像的采样数；F表示输入图像的通道数。
(2)深度图回归。为了过滤聚合代价体中的噪声，采用三维卷积神经网络对聚合代价体进行正则化。具体来说，为了学习更多沿深度方向上的上下文信息，本发明实施例中使用多尺度的3D UNet网络用于代价体的正则化，3D UNet网络有多个编码和解码器，编码器和解码器跳跃连接。为了减轻网络的计算代价，在第一个3D卷积层后，将32通道的代价体缩减为8通道，将每个尺度的卷积从3层降为2层。最后卷积层的输出为1通道的体(Volume)。最终在深度方向上使用softmax操作(用于处理分类任务中初始输出结果)进行概率值的归一化，其产生的概率体可很好适合于深度值预测，不仅可以用于逐像素的深度预测，还可以用来衡量估计的置信度。
进一步，从概率体中恢复深度图采用在深度方向上计算期望的方法，在三维卷积神经网络的末尾采用可微的soft argmin(视差预测)操作，每个虚拟平面的深度乘以相应的概率值得到像素x的深度值。其中，像素x的深度定义如关系式(4)所示：
Figure BDA0003897934810000111
式中：
Figure BDA0003897934810000112
表示像素x在第m个深度平面中的深度；
Figure BDA0003897934810000113
表示像素x在第m个深度平面中的概率。
作为本发明实施例一种可选的实施方式，将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，得到第一深度图之后，所述方法还包括：基于多尺度光度一致性，对所述第一深度图进行处理，得到三维点云图。
其中，三维点云图反映所述蓄电池表面每个点的深度信息。
具体地，虽然多代价体聚合模块对代价体中的遮挡像素进行了过滤，但由于低纹理区域和曝光区域的存在，深度图中仍然存在离群值。为了生成更完整的点云，在将深度图转换为点云之前，需要过滤掉深度图中的离群值。将沿深度方向的四个最接近真实深度的概率相加，生成一个置信图Q来度量深度估计的可靠性。
进一步，基于多尺度光度一致性对深度图中的离群点进行过滤步骤如下：将第一和第二阶段的置信图Q1和Q2上采样到第三阶段的置信图Q3的大小。如果所有置信图上像素x的置信度都高于相应的阈值t，则认为像素x是可靠的，否则将其视为离群点并过滤掉。
其中，过滤像素深度通过如下关系式(5)所示：
Figure BDA0003897934810000121
式中：t1，t2，t3分别是置信图Q1，Q2和Q3的阈值，在实验中分别设置为0.7、0.3和0.3。
作为本发明实施例一种可选的实施方式，步骤106，包括：将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到待检测蓄电池的漏液缺陷检测结果和锈蚀缺陷检测结果。
具体地，由于检测网络可以直接实现蓄电池的漏液、锈蚀缺陷检测，因此，将待检测的蓄电池图像数据集输入训练好的蓄电池缺陷检测模型后，可以直接得到该待检测蓄电池的漏液缺陷检测结果和锈蚀缺陷检测结果。
进一步，蓄电池缺陷还包括蓄电池鼓包、变形缺陷，利用该蓄电池缺陷检测模型进行检测。
因此，作为本发明实施例一种可选的实施方式，步骤106，还包括：将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到所述待检测蓄电池表面每个点的深度信息；基于所述深度信息计算所述待检测蓄电池的表面凹凸度和凹凸区域面积；基于所述表面凹凸度和所述凹凸区域面积确定所述待检测蓄电池的鼓包程度和变形程度。
具体地，蓄电池表面凹凸度可以通过以下关系式(6)进行计算：
Figure BDA0003897934810000122
式中：δ表示蓄电池表面的凹凸程度；L表示测量的蓄电池外表面点云数据到蓄电池标准三维模型内几何中心点之间的距离；S表示标准蓄电池外表面点云数据到三维模型内几何中心点之间的距离。
进一步，待检测蓄电池的表面凹凸区域面积计算方式如下：
(1)选择标准蓄电池三维模型，标准蓄电池三维模型的各个平面为没有形变时的蓄电池三维模型。
(2)设置凹凸面阈值，凹凸陷值大于阈值的点，即变形区域的点。
(3)计算由变形区域的点云组成的区域外切最小矩形的面积，所得面积近似为变形区域面积。
通过计算得到的表面凹凸度和凹凸区域面积即可以确定待检测蓄电池的鼓包程度和变形程度。
本发明实施例还提供一种蓄电池缺陷检测装置，如图4所示，该装置包括：
第一获取模块401，用于获取第一特征提取网络和训练用的至少一个蓄电池图像数据集；详细内容参见上述方法实施例中步骤101的相关描述。
改进模块402，用于利用多尺度路径聚合结构对所述第一特征提取网络进行改进，得到第二特征提取网络；详细内容参见上述方法实施例中步骤102的相关描述。
构建模块403，用于利用自适应特征池化结构构建目标检测网络；详细内容参见上述方法实施例中步骤103的相关描述。
确定模块404，用于基于所述第二特征提取网络确定所述目标检测网络和预设三维重建网络；详细内容参见上述方法实施例中步骤104的相关描述。
生成模块405，用于将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型；详细内容参见上述方法实施例中步骤105的相关描述。
检测模块406，用于利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果。详细内容参见上述方法实施例中步骤106的相关描述。
本发明实施例提供的蓄电池缺陷检测装置，在特征提取网络中增加多尺度路径聚合结构，提高了图像目标检测中定位的准确率；在目标检测网络中增加自适应特征池化结构，实现了蓄电池的漏液、锈蚀缺陷检测。因此，利用目标检测网络和特征提取网络训练得到的蓄电池缺陷检测模型，同时实现了三维重建和二维图像的缺陷目标检测。
作为本发明实施例一种可选的实施方式，所述生成模块包括：第一处理子模块，用于将所述蓄电池图像数据集通过所述预设三维重建网络进行处理，得到第一深度图；第一确定子模块，用于确定所述第一深度图的尺度值；获取子模块，用于获取所述尺度值对应的第二深度图；构建子模块，用于基于所述第一深度图和所述第二深度图构建损失函数；训练子模块，用于利用所述损失函数对所述蓄电池图像数据集进行训练，生成所述蓄电池缺陷检测模型。
作为本发明实施例一种可选的实施方式，所述蓄电池图像数据集包括蓄电池参考深度图像、至少一张蓄电池源图像和所述蓄电池对应的相机的位姿信息；所述第一处理子模块包括：提取子模块，用于基于所述蓄电池参考深度图像和所述至少一张蓄电池源图像，经过所述第二特征提取网络，得到至少一张所述蓄电池源图像的特征信息；第二处理子模块，用于基于至少一个所述蓄电池源图像的特征信息和所述位姿信息，经过单应性变换和正则网络处理，得到所述第一深度图。
作为本发明实施例一种可选的实施方式，所述生成模块还包括：第三处理子模块，用于基于多尺度光度一致性，对所述第一深度图进行处理，得到三维点云图，所述三维点云图反映所述蓄电池表面每个点的深度信息。
作为本发明实施例一种可选的实施方式，所述构建模块中所述检测网络用于对蓄电池进行漏液缺陷检测和锈蚀缺陷检测。
作为本发明实施例一种可选的实施方式，所述检测模块包括：第一输入子模块，用于将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到待检测蓄电池的漏液缺陷检测结果和锈蚀缺陷检测结果。
作为本发明实施例一种可选的实施方式，所述检测模块还包括：第二输入子模块，用于将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到所述待检测蓄电池表面每个点的深度信息；计算子模块，用于基于所述深度信息计算所述待检测蓄电池的表面凹凸度和凹凸区域面积；第二确定子模块，用于基于所述表面凹凸度和所述凹凸区域面积确定所述待检测蓄电池的鼓包程度和变形程度。
本发明实施例提供的蓄电池缺陷检测装置的功能描述详细参见上述实施例中蓄电池缺陷检测方法描述。
本发明实施例还提供一种存储介质，如图5所示，其上存储有计算机程序501，该指令被处理器执行时实现上述实施例中蓄电池缺陷检测方法的步骤。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备，如图6所示，该电子设备可以包括处理器61和存储器62，其中处理器61和存储器62可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器61可以为中央处理器(Central Processing Unit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的蓄电池缺陷检测方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器61所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器62中，当被所述处理器61执行时，执行如图1-3所示实施例中的蓄电池缺陷检测方法。
上述电子设备具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种蓄电池缺陷检测方法，其特征在于，所述方法包括：
获取第一特征提取网络和训练用的至少一个蓄电池图像数据集；
利用多尺度路径聚合结构对所述第一特征提取网络进行改进，得到第二特征提取网络；
利用自适应特征池化结构构建目标检测网络；
基于所述第二特征提取网络确定所述目标检测网络和预设三维重建网络；
将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型；
利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型，包括：
将所述蓄电池图像数据集通过所述预设三维重建网络进行处理，得到第一深度图；
确定所述第一深度图的尺度值；
获取所述尺度值对应的第二深度图；
基于所述第一深度图和所述第二深度图构建损失函数；
利用所述损失函数对所述蓄电池图像数据集进行训练，生成所述蓄电池缺陷检测模型。
3.根据权利要求2所述的方法，其特征在于，所述蓄电池图像数据集包括蓄电池参考深度图像、至少一张蓄电池源图像和所述蓄电池对应的相机的位姿信息；将蓄电池图像数据集通过所述预设三维重建网络进行处理，得到第一深度图，包括：
基于所述蓄电池参考深度图像和所述至少一张蓄电池源图像，经过所述第二特征提取网络，得到至少一张所述蓄电池源图像的特征信息；
基于至少一个所述蓄电池源图像的特征信息和所述位姿信息，经过单应性变换和正则网络处理，得到所述第一深度图。
4.根据权利要求3所述的方法，其特征在于，将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，得到第一深度图之后，所述方法还包括：
基于多尺度光度一致性，对所述第一深度图进行处理，得到三维点云图，所述三维点云图反映所述蓄电池表面每个点的深度信息。
5.根据权利要求4所述的方法，其特征在于，所述检测网络用于对蓄电池进行漏液缺陷检测和锈蚀缺陷检测。
6.根据权利要求5所述的方法，其特征在于，利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果，包括：
将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到待检测蓄电池的漏液缺陷检测结果和锈蚀缺陷检测结果。
7.根据权利要求6所述的方法，其特征在于，利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果，还包括：
将待检测的所述蓄电池图像数据集输入所述蓄电池缺陷检测模型，得到所述待检测蓄电池表面每个点的深度信息；
基于所述深度信息计算所述待检测蓄电池的表面凹凸度和凹凸区域面积；
基于所述表面凹凸度和所述凹凸区域面积确定所述待检测蓄电池的鼓包程度和变形程度。
8.一种蓄电池缺陷检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一特征提取网络和训练用的至少一个蓄电池图像数据集；
改进模块，用于利用多尺度路径聚合结构对所述第一特征提取网络进行改进，得到第二特征提取网络；
构建模块，用于利用自适应特征池化结构构建目标检测网络；
确定模块，用于基于所述第二特征提取网络确定所述目标检测网络和预设三维重建网络；
生成模块，用于将所述蓄电池图像数据集通过所述目标检测网络和所述预设三维重建网络进行处理，生成蓄电池缺陷检测模型；
检测模块，用于利用所述蓄电池缺陷检测模型对待检测的所述蓄电池图像数据集进行检测，得到蓄电池缺陷检测结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1至7任一项所述的蓄电池缺陷检测方法。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1至7任一项所述的蓄电池缺陷检测方法。
CN202211279122.XA 2022-10-19 2022-10-19 一种蓄电池缺陷检测方法、装置、存储介质及电子设备 Pending CN115587987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211279122.XA CN115587987A (zh) 2022-10-19 2022-10-19 一种蓄电池缺陷检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211279122.XA CN115587987A (zh) 2022-10-19 2022-10-19 一种蓄电池缺陷检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115587987A true CN115587987A (zh) 2023-01-10

Family

ID=84780830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211279122.XA Pending CN115587987A (zh) 2022-10-19 2022-10-19 一种蓄电池缺陷检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115587987A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116086367A (zh) * 2023-04-10 2023-05-09 宁德时代新能源科技股份有限公司 电池检测方法、装置、存储介质及电池检测设备
CN116580025A (zh) * 2023-07-12 2023-08-11 宁德时代新能源科技股份有限公司 缺陷过滤方法、装置、计算机设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116086367A (zh) * 2023-04-10 2023-05-09 宁德时代新能源科技股份有限公司 电池检测方法、装置、存储介质及电池检测设备
CN116086367B (zh) * 2023-04-10 2023-08-15 宁德时代新能源科技股份有限公司 电池检测方法、装置、存储介质及电池检测设备
CN116580025A (zh) * 2023-07-12 2023-08-11 宁德时代新能源科技股份有限公司 缺陷过滤方法、装置、计算机设备和存储介质
CN116580025B (zh) * 2023-07-12 2024-04-02 宁德时代新能源科技股份有限公司 缺陷过滤方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
CN113066168B (zh) 一种多视图立体网络三维重建方法及系统
CN115587987A (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN111414923B (zh) 基于单幅rgb图像的室内场景三维重建方法及系统
CN112434586B (zh) 一种基于域自适应学习的多复杂场景目标检测方法
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN115578615A (zh) 基于深度学习的夜间交通标志图像检测模型建立方法
CN114220126A (zh) 一种目标检测系统及获取方法
CN115424017A (zh) 一种建筑物内外轮廓分割方法、装置及存储介质
CN116416237A (zh) 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法
CN115546442A (zh) 基于感知一致损失的多视图立体匹配重建方法及系统
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN116758219A (zh) 基于神经网络的区域感知多视角立体匹配三维重建方法
Lin et al. A-SATMVSNet: An attention-aware multi-view stereo matching network based on satellite imagery
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
CN115631223A (zh) 基于自适应学习和聚合的多视图立体重建方法
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN115423927A (zh) 一种基于ViT的多视角3D重建方法及系统
Zhang et al. Research on Binocular Stereo Vision Ranging Based on Improved YOLOv5s

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination