CN115272330A - 基于电池表面图像的缺陷检测方法、系统及相关设备 - Google Patents

基于电池表面图像的缺陷检测方法、系统及相关设备 Download PDF

Info

Publication number
CN115272330A
CN115272330A CN202211190284.6A CN202211190284A CN115272330A CN 115272330 A CN115272330 A CN 115272330A CN 202211190284 A CN202211190284 A CN 202211190284A CN 115272330 A CN115272330 A CN 115272330A
Authority
CN
China
Prior art keywords
feature map
scale
defect
battery
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211190284.6A
Other languages
English (en)
Other versions
CN115272330B (zh
Inventor
郭媛君
江俊杰
吴承科
杨之乐
胡天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211190284.6A priority Critical patent/CN115272330B/zh
Publication of CN115272330A publication Critical patent/CN115272330A/zh
Priority to PCT/CN2022/136763 priority patent/WO2024066035A1/zh
Application granted granted Critical
Publication of CN115272330B publication Critical patent/CN115272330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于电池表面图像的缺陷检测方法、系统及相关设备，方法包括：获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合；将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合；根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。与现有技术相比，本发明方案有利于提高缺陷检测识别的准确性。

Description

基于电池表面图像的缺陷检测方法、系统及相关设备
技术领域
本发明涉及电池检测技术领域，尤其涉及的是一种基于电池表面图像的缺陷检测方法、系统及相关设备。
背景技术
随着科学技术的发展，电池的应用也越来越广泛，对于电池的质量和安全要求也越来越高。因此，电池使用或制造过程中需要进行缺陷检测，以避免使用有缺陷的电池带来安全隐患。
电池表面缺陷的检测是电池缺陷检测的一种，可以通过表面图像对电池的表面进行缺陷检测。现有技术中，通常对表面图像进行特征提取后获得一张高语义信息、低分辨率的高层特征图，并基于该高层特征图进行检测。现有技术的问题在于，在进行特征提取时下采样过程中会造成低层特征（例如电池表面纹理信息）的逐层丢失，因此用于进行检测的高层特征图中也会丢失对应的低层特征，不利于提高缺陷检测识别的准确性。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种基于电池表面图像的缺陷检测方法、系统及相关设备，旨在解决现有技术中基于一张高层特征图进行缺陷检测的方案不利于提高缺陷检测识别的准确性的问题。
为了实现上述目的，本发明第一方面提供一种基于电池表面图像的缺陷检测方法，其中，上述基于电池表面图像的缺陷检测方法包括：
获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合，其中，上述多尺度特征图集合中包括多个不同分辨率的特征图；
将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，上述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图；
根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
可选的，上述预设的卷积神经网络模型是预先设置的结合特征金字塔网络的主干特征提取网络模型。
可选的，上述获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合，包括：
通过预先设置的相机对上述待检测电池进行图像采集获得上述待检测电池的表面图像；
将上述表面图像作为上述主干特征提取网络模型的输入，通过上述主干特征提取网络模型中的特征金字塔网络获取上述多尺度特征图集合，其中，上述多尺度特征图集合中包括分辨率依次降低的第一尺度特征图、第二尺度特征图、第三尺度特征图和第四尺度特征图。
可选的，上述上采样特征图集合中包括分辨率依次降低的第一上采样特征图、第二上采样特征图、第三上采样特征图和第四上采样特征图，上述多尺度目标特征图集合中包括分辨率依次降低的第一尺度目标特征图、第二尺度目标特征图、第三尺度目标特征图和第四尺度目标特征图，上述将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，包括：
根据上述第四尺度特征图与上述第一尺度特征图的分辨率区别倍数对上述第四尺度特征图进行上采样获得第一上采样特征图，将上述第一上采样特征图与上述第一尺度特征图进行拼接融合获得上述第一尺度目标特征图；
根据上述第四尺度特征图与上述第二尺度特征图的分辨率区别倍数对上述第四尺度特征图进行上采样获得第二上采样特征图，将上述第二上采样特征图与上述第二尺度特征图进行拼接融合获得上述第二尺度目标特征图；
根据上述第四尺度特征图与上述第三尺度特征图的分辨率区别倍数对上述第四尺度特征图进行上采样获得第三上采样特征图，将上述第三上采样特征图与上述第三尺度特征图进行拼接融合获得上述第三尺度目标特征图；
对上述第四尺度特征图进行1倍上采样获得第四上采样特征图，将上述第四上采样特征图与上述第四尺度特征图进行拼接融合获得上述第四尺度目标特征图。
可选的，上述根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果，包括：
根据上述多尺度目标特征图集合分别获取区域分割任务输入数据、缺陷分类任务输入数据和缺陷检测任务输入数据，其中，上述区域分割任务输入数据包括上述第三尺度目标特征图，上述缺陷分类任务输入数据包括上述第四尺度目标特征图，上述缺陷检测任务输入数据包括上述第一尺度目标特征图、上述第二尺度目标特征图、上述第三尺度目标特征图和上述第四尺度目标特征图；
根据上述区域分割任务输入数据、上述缺陷分类任务输入数据和上述缺陷检测任务输入数据，通过上述已训练的目标检测模型执行区域分割任务、缺陷分类任务和缺陷检测任务以获取上述待检测电池对应的检测结果，其中，上述检测结果包括分割出的电池区域、分类出的缺陷类别和检测出的缺陷位置。
可选的，上述目标检测模型根据如下步骤进行训练：
将训练数据中的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据输入上述目标检测模型，通过上述目标检测模型执行区域分割任务、缺陷分类任务和缺陷检测任务并获得对应的训练检测结果数据，其中，上述训练检测结果数据包括检测电池区域、检测缺陷类别和检测缺陷位置，上述训练数据包括多组模型训练数据组，每一组上述模型训练数据组包括区域分割任务训练数据、缺陷分类任务训练数据、缺陷检测任务训练数据和标注数据，上述标注数据包括标注电池区域、标注缺陷类别和标注缺陷位置；
根据上述训练检测结果数据和对应的上述标注数据对上述目标检测模型的参数进行调整，并继续执行上述将训练数据中的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据输入上述目标检测模型的步骤，直至满足预设训练条件，以得到已训练的目标检测模型。
可选的，上述已训练的目标检测模型是基于多任务学习机制训练获得的，在基于多任务学习机制对上述目标检测模型进行训练时，为不同任务分别设置损失函数权重参数。
本发明第二方面提供一种基于电池表面图像的缺陷检测系统，其中，上述基于电池表面图像的缺陷检测系统包括：
表面图像处理模块，用于获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合，其中，上述多尺度特征图集合中包括多个不同分辨率的特征图；
特征图处理模块，用于将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，上述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图；
检测模块，用于根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于电池表面图像的缺陷检测程序，上述基于电池表面图像的缺陷检测程序被上述处理器执行时实现上述任意一种基于电池表面图像的缺陷检测方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于电池表面图像的缺陷检测程序，上述基于电池表面图像的缺陷检测程序被处理器执行时实现上述任意一种基于电池表面图像的缺陷检测方法的步骤。
由上可见，本发明方案中，获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合，其中，上述多尺度特征图集合中包括多个不同分辨率的特征图；将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，上述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图；根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
与现有技术中仅通过一张高层特征图进行检测的方案相比，本发明中在对待检测电池的表面图像进行特征提取的过程中获取多个不同分辨率的特征图，并将其中分辨率最低的特征图进行不同倍数的上采样后分别与多尺度特征图集合中对应的特征图拼接融合，获得拼接融合后的多个不同分辨率的目标特征图，根据多个不同分辨率的目标特征图进行缺陷检测识别获得检测结果。如此，可以结合具有高层特征和语义信息的目标特征图以及具有低层特征（例如电池表面纹理信息）的目标特征图进行缺陷检测识别，融合高层语义信息和低层特征，有利于提高缺陷检测识别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于电池表面图像的缺陷检测方法的流程示意图；
图2是本发明实施例图1中步骤S100的具体流程示意图；
图3是本发明实施例提供的一种基于电池表面图像的缺陷检测系统的结构示意图；
图4是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
随着科学技术的发展，电池的应用也越来越广泛，对于电池的质量和安全要求也越来越高。因此，电池使用或制造过程中需要进行缺陷检测，以避免使用有缺陷的电池带来安全隐患。
电池表面缺陷的检测是电池缺陷检测的一种，可以通过表面图像对电池的表面进行缺陷检测。现有技术中，通常通过多个卷积层对表面图像进行下采样和特征提取后获得一张高语义信息、低分辨率的高层特征图，并基于该高层特征图进行检测。现有技术的问题在于，在进行卷积时下采样过程中会造成低层特征（例如电池表面纹理信息）的逐层丢失，因此用于进行检测的高层特征图中也会丢失对应的低层特征，不利于提高缺陷检测识别的准确性。
在对电池表面进行缺陷检测时需要实现多个任务，包括区域分割任务、缺陷分类任务和缺陷检测任务，区域分割任务的目的是在表面图像中分割出电池所在区域；缺陷分类任务的目的是对存在的缺陷种类进行分类，例如表面缺陷可能有划痕、麻点、凹凸、破边等；缺陷检测任务的目的是标记缺陷所在位置。现有技术中通常为各个任务单独训练不同的模型，各个任务之间的相关性不强。且单一任务下传统模型在训练过程中可能出现模型过拟合的问题，导致泛化能力差，最终影响缺陷检测效率和准确性。
为了解决上述多个问题中的至少一个问题，本发明方案中，获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合，其中，上述多尺度特征图集合中包括多个不同分辨率的特征图；将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，上述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图；根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
与现有技术中仅通过一张高层特征图进行检测的方案相比，本发明中在对待检测电池的表面图像进行特征提取的过程中获取多个不同分辨率的特征图，并将其中分辨率最低的特征图进行不同倍数的上采样后分别与多尺度特征图集合中对应的特征图拼接融合，获得拼接融合后的多个不同分辨率的目标特征图，根据多个不同分辨率的目标特征图进行缺陷检测识别获得检测结果。如此，可以结合具有高层特征和语义信息的目标特征图以及具有低层特征（例如电池表面纹理信息）的目标特征图进行缺陷检测识别，融合高层语义信息和低层特征，有利于提高缺陷检测识别的准确性。
同时，本发明中基于一个目标检测模型执行区域分割、缺陷分类和缺陷检测三个任务，可以基于多任务学习机制对该目标检测模型进行训练，提高各个任务之间的相关性，利用任务之间的相关性提高模型的泛化性能，降低单一任务过拟合的风险，提高缺陷检测效率和准确性。
示例性方法
如图1所示，本发明实施例提供一种基于电池表面图像的缺陷检测方法，具体的，上述方法包括如下步骤：
步骤S100，获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合，其中，上述多尺度特征图集合中包括多个不同分辨率的特征图。
其中，上述待检测电池是需要进行表面缺陷检测的电池，表面图像是对上述待检测电池进行图像采集后获得的图像。上述表面图像可以包括深度图像、彩色图像、灰度图像中的一种或多种。本实施例中，以表面图像为灰度图像为例进行具体说明。
具体的，基于电池表面图像进行缺陷检测时，需要执行多个任务，包括电池表面的区域分割任务、缺陷分类任务和缺陷检测任务。且一副电池表面图像可能有多种缺陷，因此缺陷分类任务需要进行多标签分类。当表面图像为灰度图像时，可以根据表面图像中灰度值的突变确定电池区域，也可以根据灰度值的变化确定具体的缺陷位置和缺陷种类。
本实施例中，上述预设的卷积神经网络模型基于特征金字塔网络改进的深度残差网络。进一步的，上述预设的卷积神经网络模型可以是预先设置的结合特征金字塔网络（FPN，Feature Pyramid Network）的主干特征提取网络模型。
其中，特征金字塔网络是基于一个特征提取网络的，即是基于一个主干模型的，本实施例中上述主干特征提取网络模型采用ResNet50。本实施例中，基于特征金字塔网络对主干特征提取网络进行改进，从而可以在特征提取时获得多个不同尺度（或不同分辨率）的特征图。
本实施例中，如图2所示，上述步骤S100具体包括如下步骤：
步骤S101，通过预先设置的相机对上述待检测电池进行图像采集获得上述待检测电池的表面图像。
步骤S102，将上述表面图像作为主干特征提取网络模型的输入，通过上述主干特征提取网络模型中的特征金字塔网络获取上述多尺度特征图集合，其中，上述多尺度特征图集合中包括分辨率依次降低的第一尺度特征图、第二尺度特征图、第三尺度特征图和第四尺度特征图。
本实施例中，可以预先设置相机采集待检测电池表面的灰度图像并作为表面图像。进一步的，本实施例中，通过主干特征提取网络模型中的特征金字塔网络采集四张不同分辨率的特征图，实际使用过程中，特征图的张数可以根据实际需求进行调整，在此不做具体限定。
步骤S200，将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，上述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图。
具体的，本实施例中，上述上采样特征图集合中包括分辨率依次降低的第一上采样特征图、第二上采样特征图、第三上采样特征图和第四上采样特征图，上述多尺度目标特征图集合中包括分辨率依次降低的第一尺度目标特征图、第二尺度目标特征图、第三尺度目标特征图和第四尺度目标特征图。
上述将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，包括：
根据上述第四尺度特征图与上述第一尺度特征图的分辨率区别倍数对上述第四尺度特征图进行上采样获得第一上采样特征图，将上述第一上采样特征图与上述第一尺度特征图进行拼接融合获得上述第一尺度目标特征图；
根据上述第四尺度特征图与上述第二尺度特征图的分辨率区别倍数对上述第四尺度特征图进行上采样获得第二上采样特征图，将上述第二上采样特征图与上述第二尺度特征图进行拼接融合获得上述第二尺度目标特征图；
根据上述第四尺度特征图与上述第三尺度特征图的分辨率区别倍数对上述第四尺度特征图进行上采样获得第三上采样特征图，将上述第三上采样特征图与上述第三尺度特征图进行拼接融合获得上述第三尺度目标特征图；
对上述第四尺度特征图进行1倍上采样获得第四上采样特征图，将上述第四上采样特征图与上述第四尺度特征图进行拼接融合获得上述第四尺度目标特征图。
具体的，分辨率区别倍数是两个特征图之间的分辨率的差异倍数。本实施例中，上述多尺度特征图集合中的各个特征图是根据连续的卷积层获取的，因此其中相邻的特征图之间的分辨率区别倍数为2，即第一尺度特征图的分辨率是第二尺度特征图的分辨率的2倍，第二尺度特征图的分辨率是第三尺度特征图的分辨率的2倍，以此类推。对应的，第四尺度特征图与第一尺度特征图、第二尺度特征图和第三尺度特征图之间的分辨率区别倍数分别为8、4和2。
需要说明的是，实际使用过程中，上述多尺度特征图集合中的各个特征图也可以是根据不连续的卷积层获取的，对第四尺度特征图进行上采样时只需要按照实际的分辨率区别倍数进行上采样即可，在此不做具体限定。
具体的，ResNet50包含了CONV0到CONV4这5个连续的卷积层，依次取CONV1到CONV4层对应的特征图作为第一尺度特征图、第二尺度特征图、第三尺度特征图和第四尺度特征图。将CONV4层的特征图（即第四尺度特征图）按照8倍、4倍、2倍、1倍进行上采样，获得对应的第一上采样特征图、第二上采样特征图、第三上采样特征图和第四上采样特征图。其中，获得的第一上采样特征图的分辨率与第一尺度特征图的分辨率相同，获得的第二上采样特征图的分辨率与第二尺度特征图的分辨率相同，以此类推。将4个不同尺度的上采样特征图分别与CONV1到CONV4层对应的特征图进行拼接融合，获得第一尺度目标特征图、第二尺度目标特征图、第三尺度目标特征图和第四尺度目标特征图，可以分别记为fn1、fn2、fn3和fn4。如此，获得的目标特征图（包括fn1到fn4）既能保留底层特征又能融合高层特征，有利于避免电池表面特征信息丢失，而缺陷检测时主要需要处理电池表面的纹理特征等低层语义，因此有利于提高缺陷检测识别的准确性。
其中，上述拼接融合是将两张特征图进行逐点像素相加。在一种应用场景中，还可以将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息。
步骤S300，根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
在一种应用场景中，上述目标检测模型可以依次执行区域分割任务、缺陷分类任务和缺陷检测任务，以实现电池表面缺陷检测。例如，通过特征金字塔网络提取特征并进行上述处理之后获得第一尺度目标特征图、第二尺度目标特征图、第三尺度目标特征图和第四尺度目标特征图，通过区域分割网络将电池从背景中区分出来，然后通过缺陷分类网络将提取出来的特征向量进行分类判断图像中包含哪些类型的缺陷，最后通过缺陷检测网络对缺陷的位置进行定位并赋予其高亮（用矩形框把存在缺陷的位置框起来）。
本实施例中，上述目标检测模型用于同时执行（即并行执行）区域分割任务、缺陷分类任务和缺陷检测任务。具体的，上述根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果，包括：
根据上述多尺度目标特征图集合分别获取区域分割任务输入数据、缺陷分类任务输入数据和缺陷检测任务输入数据，其中，上述区域分割任务输入数据包括上述第三尺度目标特征图，上述缺陷分类任务输入数据包括上述第四尺度目标特征图，上述缺陷检测任务输入数据包括上述第一尺度目标特征图、上述第二尺度目标特征图、上述第三尺度目标特征图和上述第四尺度目标特征图；
根据上述区域分割任务输入数据、上述缺陷分类任务输入数据和上述缺陷检测任务输入数据，通过上述已训练的目标检测模型执行区域分割任务、缺陷分类任务和缺陷检测任务以获取上述待检测电池对应的检测结果，其中，上述检测结果包括分割出的电池区域、分类出的缺陷类别和检测出的缺陷位置。
具体的，本实施例中，在执行上述三种不同的任务时使用的输入数据不同。可以将语义信息较高的第三尺度目标特征图作为区域分割任务的输入；语义信息最高的第四尺度目标特征图作为多标签分类任务的输入；而第一尺度目标特征图、第二尺度目标特征图、第三尺度目标特征图和第四尺度目标特征图都会作为缺陷检测任务的输入。
需要说明的是，在通过上述已训练的目标检测模型执行上述三个任务时，既可以直接将第一尺度目标特征图、第二尺度目标特征图、第三尺度目标特征图和第四尺度目标特征图作为目标检测模型的输入，也可以将处理和划分后的区域分割任务输入数据、缺陷分类任务输入数据和缺陷检测任务输入数据作为上述已训练的目标检测模型的输入数据，在此不作具体限定。
本实施例中，上述目标检测模型是基于two-stage的Faster RCNN目标检测模型，主要由用于特征提取的主干网络ResNet50和区域分割、缺陷分类（多标签分类）、缺陷检测三个单任务分支网络组成。其中，区域分割任务采用全卷积网络（FCN系列），多标签分类任务选用ResNet50作为主干网络，缺陷检测任务采用Faster RCNN和密集检测网络（RetinaNet）。其中，区域分割任务可以根据像素点的灰度值突变进行分割，从而将图像中的电池从背景中区分出来。缺陷检测是将原始图像经过主干特征提取网络（特征金字塔网络）提取出来的特征进行目标检测，得到图像中缺陷的位置。
本实施例中，上述目标检测模型根据如下步骤进行训练：
将训练数据中的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据输入上述目标检测模型，通过上述目标检测模型执行区域分割任务、缺陷分类任务和缺陷检测任务并获得对应的训练检测结果数据，其中，上述训练检测结果数据包括检测电池区域、检测缺陷类别和检测缺陷位置，上述训练数据包括多组模型训练数据组，每一组上述模型训练数据组包括区域分割任务训练数据、缺陷分类任务训练数据、缺陷检测任务训练数据和标注数据，上述标注数据包括标注电池区域、标注缺陷类别和标注缺陷位置；
根据上述训练检测结果数据和对应的上述标注数据对上述目标检测模型的参数进行调整，并继续执行上述将训练数据中的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据输入上述目标检测模型的步骤，直至满足预设训练条件，以得到已训练的目标检测模型。
其中，上述训练数据可以通过对训练用的电池表面训练图像执行与上述步骤S100、步骤S200及其具体处理过程相同的处理流程，并且进行对应的标注后获得。例如，训练数据中的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据是根据训练时对应的不同尺度的目标特征图获得的。具体的，对于采集获得的一张电池表面训练图像，可以通过上述卷积神经网络模型对其进行特征提取获得多尺度训练特征图集合，然后将多尺度训练特征图集合中分辨率最低的训练特征图进行不同倍数的上采样以获得上采样训练特征图集合，将上采样训练特征图集合中的各图像分别与多尺度训练特征图集合中一个对应的训练特征图拼接融合，获得多尺度训练目标特征图集合，根据多尺度训练目标特征图集合中的各个训练目标特征图可以获得对应的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据。
需要说明的是，上述训练数据中的标注数据可以是对电池表面训练图像进行标注获得的，也可以是分别针对区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据进行标注获得的，在此不作具体限定。
例如，在一种应用场景中，获取电池表面缺陷图像作为电池表面训练图像，对电池表面缺陷图像进行分割区域标注、多标签分类标注以及缺陷目标位置标注，得到三个用于分支任务的数据集（其中70%用于训练，30%用于测试）。且在特征提取阶段利用特征金字塔网络可以保留低层特征，又能融合高层特征，避免了卷积时向下采样的过程中电池表面纹理特征信息的丢失，从而改进对特征的提取。将电池表面缺陷图像作为主干特征提取网络ResNet50的输入，经过特征金字塔网络输出四个不同尺度的电池表面特征信息，进而获得后续三个分支任务的输入数据。
本实施例中，同一组模型训练数据组中的区域分割任务训练数据、缺陷分类任务训练数据、缺陷检测任务训练数据和标注数据互相对应，也与该组训练数据对应的训练检测结果数据相对应。训练时，根据输入目标检测模型的区域分割任务训练数据（或缺陷分类任务训练数据、缺陷检测任务训练数据）所对应的训练检测结果数据以及该区域分割任务训练数据（或缺陷分类任务训练数据、缺陷检测任务训练数据）所对应的标注数据对目标检测模型的参数进行调整。
具体的，上述训练检测结果数据中包括通过目标检测模型进行检测识别后输出的检测电池区域、检测缺陷类别和检测缺陷位置，而标注数据则包括预先标注的标注电池区域、标注缺陷类别和标注缺陷位置。在进行模型训练时，针对一组对应的检测电池区域和标注电池区域计算损失值、针对一组对应的检测缺陷类别和标注缺陷类别计算损失值、针对一组对应的检测缺陷位置和标注缺陷位置计算损失值，并根据各个损失值对上述目标检测模型中的模型参数进行调整，反复迭代上述步骤，直到满足预设训练条件。
上述预设训练条件为迭代次数达到预设的迭代次数阈值，或者计算获得的损失值小于预设的损失阈值，还可以根据实际需求设置其它训练条件，在此不做具体限定。
进一步的，本实施例中，上述已训练的目标检测模型是基于多任务深度学习机制训练获得的，在基于多任务学习机制对上述目标检测模型进行训练时，为不同任务分别设置损失函数权重参数。
其中，各个不同任务的损失函数权重参数可以根据实际需求进行设置和调整，可以设置为相同或不同，在此不作具体限定。
具体的，多任务学习的数学模型可以简化为L=w1*L1+w2*L2+w3*L3，其中，L代表模型的总体损失，L1、L2和L3代表三个分支任务的损失函数，w1、w2和w3代表三个分支任务的损失函数的权重。在一种应用场景中，可以将w1、w2和w3直接作为上述损失函数权重参数，在另一种应用场景中，也可以为损失函数额外设置损失函数权重参数，在此不作具体限定。
区域分割、缺陷分类以及缺陷检测这三个分支任务之间存在一定的关系，例如在区域分割任务中，如果扫描到一个图像的某个区域是背景，那么在多任务学习机制中会将缺陷分类和缺陷检测这两个任务的权重设置得很大从而使得L很大（最终的训练目的是要将L达到最小），因为背景不是进行缺陷分类和缺陷检测的对象。因此基于多任务学习的思想可以通过不断对模型进行训练，学习到这些任务之间存在的关系（也就是学习到最好的w1~w3使得L最小），故分支任务学习的结果是相互影响的。需要说明的是，本实施例中通过区域分割任务区分出感兴趣区域和背景区域，感兴趣区域是表面图像中的电池所在区域。
在一种应用场景中，电池表面缺陷的数据集数量有限，且工业缺陷数据集标注成本高，而基于单一任务的传统模型在训练过程中常由于样本数据较少引起模型过拟合问题，导致泛化能力差，最终影响缺陷检测效率。
对此，本实施例中基于多任务学习机制对目标检测模型进行训练，并且在模型的训练过程中，针对某单一任务占据梯度下降算法的主导地位、无法优化其他任务的问题，引入了任务噪声，均衡了各个任务的优化效果。
具体的，因为不同任务之间学习的难易程度不同，为了防止模型偏向于去拟合某单一任务而对其他任务的训练（学习）造成影响，因此引入任务噪声（即损失函数中设置的一个参数），它能够平衡任务之间的关系。如此，采用多任务学习机制同时学习多个相关任务的过程，可以利用任务间的相关性来提高模型的泛化性能，从而降低单一任务过拟合的风险。
由上可见，本实施例中，在对待检测电池的表面图像进行特征提取的过程中获取多个不同分辨率的特征图，并将其中分辨率最低的特征图进行不同倍数的上采样后分别与多尺度特征图集合中对应的特征图拼接融合，获得拼接融合后的多个不同分辨率的目标特征图，根据多个不同分辨率的目标特征图进行缺陷检测识别获得检测结果。如此，可以结合具有高层特征和语义信息的目标特征图以及具有低层特征（例如电池表面纹理信息）的目标特征图进行缺陷检测识别，融合高层语义信息和低层特征，有利于提高缺陷检测识别的准确性。
示例性设备
如图3中所示，对应于上述基于电池表面图像的缺陷检测方法，本发明实施例还提供一种基于电池表面图像的缺陷检测系统，上述基于电池表面图像的缺陷检测系统包括：
表面图像处理模块410，用于获取待检测电池的表面图像，通过预设的卷积神经网络模型对上述表面图像进行特征提取获得多尺度特征图集合，其中，上述多尺度特征图集合中包括多个不同分辨率的特征图。
特征图处理模块420，用于将上述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将上述上采样特征图集合中的各图像分别与上述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，上述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图。
检测模块430，用于根据上述多尺度目标特征图集合，通过已训练的目标检测模型对上述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
具体的，本实施例中，上述基于电池表面图像的缺陷检测系统及其各模块的具体功能可以参照上述基于电池表面图像的缺陷检测方法中的对应描述，在此不再赘述。
需要说明的是，上述基于电池表面图像的缺陷检测系统的各个模块的划分方式并不唯一，在此也不作为具体限定。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图4所示。上述智能终端包括处理器及存储器，该智能终端的存储器包括基于电池表面图像的缺陷检测程序，存储器为基于电池表面图像的缺陷检测程序的运行提供环境。该基于电池表面图像的缺陷检测程序被处理器执行时实现上述任意一种基于电池表面图像的缺陷检测方法的步骤。需要说明的是，上述智能终端还可以包括其它功能模块或单元，在此不作具体限定。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于电池表面图像的缺陷检测程序，上述基于电池表面图像的缺陷检测程序被处理器执行时实现本发明实施例提供的任意一种基于电池表面图像的缺陷检测方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的系统/智能终端和方法，可以通过其它的方式实现。例如，以上所描述的系统/智能终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于电池表面图像的缺陷检测方法，其特征在于，所述方法包括：
获取待检测电池的表面图像，通过预设的卷积神经网络模型对所述表面图像进行特征提取获得多尺度特征图集合，其中，所述多尺度特征图集合中包括多个不同分辨率的特征图；
将所述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将所述上采样特征图集合中的各图像分别与所述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，所述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图；
根据所述多尺度目标特征图集合，通过已训练的目标检测模型对所述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
2.根据权利要求1所述的基于电池表面图像的缺陷检测方法，其特征在于，所述预设的卷积神经网络模型是预先设置的结合特征金字塔网络的主干特征提取网络模型。
3.根据权利要求2所述的基于电池表面图像的缺陷检测方法，其特征在于，所述获取待检测电池的表面图像，通过预设的卷积神经网络模型对所述表面图像进行特征提取获得多尺度特征图集合，包括：
通过预先设置的相机对所述待检测电池进行图像采集获得所述待检测电池的表面图像；
将所述表面图像作为所述主干特征提取网络模型的输入，通过所述主干特征提取网络模型中的特征金字塔网络获取所述多尺度特征图集合，其中，所述多尺度特征图集合中包括分辨率依次降低的第一尺度特征图、第二尺度特征图、第三尺度特征图和第四尺度特征图。
4.根据权利要求3所述的基于电池表面图像的缺陷检测方法，其特征在于，所述上采样特征图集合中包括分辨率依次降低的第一上采样特征图、第二上采样特征图、第三上采样特征图和第四上采样特征图，所述多尺度目标特征图集合中包括分辨率依次降低的第一尺度目标特征图、第二尺度目标特征图、第三尺度目标特征图和第四尺度目标特征图，所述将所述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将所述上采样特征图集合中的各图像分别与所述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，包括：
根据所述第四尺度特征图与所述第一尺度特征图的分辨率区别倍数对所述第四尺度特征图进行上采样获得第一上采样特征图，将所述第一上采样特征图与所述第一尺度特征图进行拼接融合获得所述第一尺度目标特征图；
根据所述第四尺度特征图与所述第二尺度特征图的分辨率区别倍数对所述第四尺度特征图进行上采样获得第二上采样特征图，将所述第二上采样特征图与所述第二尺度特征图进行拼接融合获得所述第二尺度目标特征图；
根据所述第四尺度特征图与所述第三尺度特征图的分辨率区别倍数对所述第四尺度特征图进行上采样获得第三上采样特征图，将所述第三上采样特征图与所述第三尺度特征图进行拼接融合获得所述第三尺度目标特征图；
对所述第四尺度特征图进行1倍上采样获得第四上采样特征图，将所述第四上采样特征图与所述第四尺度特征图进行拼接融合获得所述第四尺度目标特征图。
5.根据权利要求4所述的基于电池表面图像的缺陷检测方法，其特征在于，所述根据所述多尺度目标特征图集合，通过已训练的目标检测模型对所述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果，包括：
根据所述多尺度目标特征图集合分别获取区域分割任务输入数据、缺陷分类任务输入数据和缺陷检测任务输入数据，其中，所述区域分割任务输入数据包括所述第三尺度目标特征图，所述缺陷分类任务输入数据包括所述第四尺度目标特征图，所述缺陷检测任务输入数据包括所述第一尺度目标特征图、所述第二尺度目标特征图、所述第三尺度目标特征图和所述第四尺度目标特征图；
根据所述区域分割任务输入数据、所述缺陷分类任务输入数据和所述缺陷检测任务输入数据，通过所述已训练的目标检测模型执行区域分割任务、缺陷分类任务和缺陷检测任务以获取所述待检测电池对应的检测结果，其中，所述检测结果包括分割出的电池区域、分类出的缺陷类别和检测出的缺陷位置。
6.根据权利要求5所述的基于电池表面图像的缺陷检测方法，其特征在于，所述目标检测模型根据如下步骤进行训练：
将训练数据中的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据输入所述目标检测模型，通过所述目标检测模型执行区域分割任务、缺陷分类任务和缺陷检测任务并获得对应的训练检测结果数据，其中，所述训练检测结果数据包括检测电池区域、检测缺陷类别和检测缺陷位置，所述训练数据包括多组模型训练数据组，每一组所述模型训练数据组包括区域分割任务训练数据、缺陷分类任务训练数据、缺陷检测任务训练数据和标注数据，所述标注数据包括标注电池区域、标注缺陷类别和标注缺陷位置；
根据所述训练检测结果数据和对应的所述标注数据对所述目标检测模型的参数进行调整，并继续执行所述将训练数据中的区域分割任务训练数据、缺陷分类任务训练数据和缺陷检测任务训练数据输入所述目标检测模型的步骤，直至满足预设训练条件，以得到已训练的目标检测模型。
7.根据权利要求5或6所述的基于电池表面图像的缺陷检测方法，其特征在于，所述已训练的目标检测模型是基于多任务学习机制训练获得的，在基于多任务学习机制对所述目标检测模型进行训练时，为不同任务分别设置损失函数权重参数。
8.一种基于电池表面图像的缺陷检测系统，其特征在于，所述系统包括：
表面图像处理模块，用于获取待检测电池的表面图像，通过预设的卷积神经网络模型对所述表面图像进行特征提取获得多尺度特征图集合，其中，所述多尺度特征图集合中包括多个不同分辨率的特征图；
特征图处理模块，用于将所述多尺度特征图集合中分辨率最低的特征图进行不同倍数的上采样以获得上采样特征图集合，将所述上采样特征图集合中的各图像分别与所述多尺度特征图集合中一个对应的特征图进行拼接融合，获得多尺度目标特征图集合，其中，所述多尺度目标特征图集合中包括拼接融合后的多个不同分辨率的目标特征图；
检测模块，用于根据所述多尺度目标特征图集合，通过已训练的目标检测模型对所述待检测电池进行区域分割、缺陷分类和缺陷检测以获得检测结果。
9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于电池表面图像的缺陷检测程序，所述基于电池表面图像的缺陷检测程序被所述处理器执行时实现如权利要求1-7任意一项所述基于电池表面图像的缺陷检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于电池表面图像的缺陷检测程序，所述基于电池表面图像的缺陷检测程序被处理器执行时实现如权利要求1-7任意一项所述基于电池表面图像的缺陷检测方法的步骤。
CN202211190284.6A 2022-09-28 2022-09-28 基于电池表面图像的缺陷检测方法、系统及相关设备 Active CN115272330B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211190284.6A CN115272330B (zh) 2022-09-28 2022-09-28 基于电池表面图像的缺陷检测方法、系统及相关设备
PCT/CN2022/136763 WO2024066035A1 (zh) 2022-09-28 2022-12-06 基于电池表面图像的缺陷检测方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211190284.6A CN115272330B (zh) 2022-09-28 2022-09-28 基于电池表面图像的缺陷检测方法、系统及相关设备

Publications (2)

Publication Number Publication Date
CN115272330A true CN115272330A (zh) 2022-11-01
CN115272330B CN115272330B (zh) 2023-04-18

Family

ID=83757945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211190284.6A Active CN115272330B (zh) 2022-09-28 2022-09-28 基于电池表面图像的缺陷检测方法、系统及相关设备

Country Status (2)

Country Link
CN (1) CN115272330B (zh)
WO (1) WO2024066035A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661139A (zh) * 2022-12-13 2023-01-31 深圳思谋信息科技有限公司 路面缺陷识别方法、装置、电子设备及存储介质
CN116681668A (zh) * 2023-06-01 2023-09-01 北京远舢智能科技有限公司 一种基于四层梯度融合神经网络的外观缺陷检测方法
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
WO2024066035A1 (zh) * 2022-09-28 2024-04-04 深圳先进技术研究院 基于电池表面图像的缺陷检测方法、系统及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
WO2022036953A1 (zh) * 2020-08-19 2022-02-24 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品
CN114463297A (zh) * 2022-01-24 2022-05-10 西安电子科技大学 一种基于fpn与detr融合改进的芯片缺陷检测方法
CN114663380A (zh) * 2022-03-17 2022-06-24 合肥学院 一种铝材表面缺陷检测方法、存储介质及计算机系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272330B (zh) * 2022-09-28 2023-04-18 深圳先进技术研究院 基于电池表面图像的缺陷检测方法、系统及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
WO2022036953A1 (zh) * 2020-08-19 2022-02-24 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品
CN114463297A (zh) * 2022-01-24 2022-05-10 西安电子科技大学 一种基于fpn与detr融合改进的芯片缺陷检测方法
CN114663380A (zh) * 2022-03-17 2022-06-24 合肥学院 一种铝材表面缺陷检测方法、存储介质及计算机系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066035A1 (zh) * 2022-09-28 2024-04-04 深圳先进技术研究院 基于电池表面图像的缺陷检测方法、系统及相关设备
CN115661139A (zh) * 2022-12-13 2023-01-31 深圳思谋信息科技有限公司 路面缺陷识别方法、装置、电子设备及存储介质
CN116681668A (zh) * 2023-06-01 2023-09-01 北京远舢智能科技有限公司 一种基于四层梯度融合神经网络的外观缺陷检测方法
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117078689B (zh) * 2023-10-17 2024-01-30 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统

Also Published As

Publication number Publication date
CN115272330B (zh) 2023-04-18
WO2024066035A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN115272330B (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN114926441A (zh) 一种注塑件加工成型的缺陷检测方法及系统
CN113269119B (zh) 一种夜间车辆检测方法及装置
CN114241344A (zh) 一种基于深度学习的植物叶片病虫害严重程度评估方法
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN117173412A (zh) 一种基于CNN和Transformer融合网络的医学图像分割方法
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN114821194B (zh) 一种设备运行状态识别方法及装置
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
CN115100402A (zh) 小样本分割模型、小目标检测方法、系统、介质及设备
CN115496990B (zh) 一种基于深度学习的服装图像解析方法
CN117078611A (zh) 一种图像模糊度检测方法、装置及电子设备
CN117557550A (zh) 缺陷检测方法、设备、存储介质及装置
CN118015617A (zh) 基于目标检测的乳腺癌病理图像有丝分裂细胞核识别方法
CN117745652A (zh) 极柱缺陷检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant