CN116934762A - 锂电池极片表面缺陷的检测系统及方法 - Google Patents
锂电池极片表面缺陷的检测系统及方法 Download PDFInfo
- Publication number
- CN116934762A CN116934762A CN202311203232.2A CN202311203232A CN116934762A CN 116934762 A CN116934762 A CN 116934762A CN 202311203232 A CN202311203232 A CN 202311203232A CN 116934762 A CN116934762 A CN 116934762A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- pole piece
- lithium battery
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 147
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 title claims abstract description 83
- 229910052744 lithium Inorganic materials 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 29
- 230000007246 mechanism Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 11
- 230000002787 reinforcement Effects 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 16
- 238000011176 pooling Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/10—Energy storage using batteries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种锂电池极片表面缺陷的检测系统及方法。本发明的系统包括相互连接的图像预处理模块、改进型极片缺陷深度学习网络;图像预处理模块用于对锂电池极片的原始表面图像进行预处理得到增强图像;图像预处理模块包括去噪模块、增强模块;去噪模块用于对原始表面图像进行K‑近邻均值滤波得到去噪图像;增强模块与去噪模块连接,用于通过小波变换的线性调整和多尺度细节增强的方式处理去噪图像的低频分量、高频分量得到增强图像;改进型极片缺陷深度学习网络用于从增强图像中检测锂电池极片的表面缺陷。本发明相比现有技术,能更高效、准确地检测出锂电池极片的表面缺陷。
Description
技术领域
本发明属于计算机视觉的技术领域,具体涉及一种锂电池极片表面缺陷的检测系统及方法。
背景技术
现有技术中,对锂电池的极片进行缺陷视觉识别的技术中,存在一种使用YOLOv7及更低版本的YOLO网络为主体的检测方法。例如,专利号为CN202211552287.X、发明名称为《一种基于YOLOv7的锂电池极片翻折缺陷检测方法》的中国专利,采用聚合网络结合YOLOv7对翻折缺陷进行针对性训;专利号为CN202211681008.X、发明名称为《基于YOLOv5的锂电池缺陷检测方法、系统、设备以及存储介质》的中国专利,采用分割图像结合YOLOv5的方式检测表面缺陷。
在现有技术中,当针对锂电池极片的表面缺陷检测采用CT图像或红外图像时,所采用的相关方法常为非深度学习的方式,并没有与YOLO模型相结合的内容。
但是,现有技术中采用的YOLO网络检测锂电池极片表面缺陷的方式,存在下列问题:
(1)没有对输入的图像进行合理的预处理,导致YOLO网络在识别相关缺陷前,检测网络的输入图像就已经丢失部分相关缺陷的特征,导致检测忽略实际锂电池极片所存在的缺陷,降低了检测的准确度,部分现有技术即使有预处理的过程,也只是简单的尺寸处理或图像噪声去除,没有考虑到如何在输入图像到深度学习网络前强化表面缺陷的特征信息;
(2)采用的YOLO网络版本过低,均为YOLOv7及更低的版本,且缺乏针对全面锂电池极片表面检测的场景进行单独的结构优化,只能通过对YOLO网络的参数调整进行低效率检测,且YOLOv7网络的结构较为笨重没有轻量化,使用已有的YOLOv7网络难以提高检测效率,在工业应用时部署也将占用更多的计算资源和存储空间,不利于提升实际应用落地;
(3)针对的缺陷检测类型过少,例如只检测翻折缺陷;
(4)部分现有技术需要分割原始的图像再进行检测识别,导致YOLO网络运算量过大而影响检测效率。
发明内容
为了克服现有技术存在的缺陷与不足,本发明的第一目的在于提供一种锂电池极片表面缺陷的检测系统,第二目的在于提供一种锂电池极片表面缺陷的检测方法,通过所设计的图像增强处理方式和对YOLOv8网络的轻量化改进,实现。
为了达到上述目的,本发明采用以下技术方案:
一种锂电池极片表面缺陷的检测系统,包括相互连接的图像预处理模块、改进型极片缺陷深度学习网络;
图像预处理模块用于对锂电池极片的原始表面图像进行预处理得到增强图像;
图像预处理模块包括去噪模块、增强模块;
去噪模块用于对原始表面图像进行K-近邻均值滤波得到去噪图像;
增强模块与去噪模块连接,用于通过小波变换的线性调整和多尺度细节增强的方式处理去噪图像的低频分量、高频分量得到增强图像;
改进型极片缺陷深度学习网络用于从增强图像中获取锂电池极片的表面缺陷;
改进型极片缺陷深度学习网络包括主干网络模块、颈部模块、注意力机制模块、头部模块;
主干网络模块与增强模块连接,用于对增强图像中的表面缺陷进行特征提取;
颈部模块与主干网络模块连接,用于对提取的特征进行轻量化卷积、采样处理;
注意力机制模块与颈部模块连接,用于对表面缺陷的特征进行强化学习;
头部模块与注意力机制模块连接,用于根据强化学习后的特征,识别表面缺陷在增强图像中的类型、位置。
优选地,还包括图像获取模块;
图像获取模块与去噪模块连接,用于拍摄锂电池极片表面的原始表面图像。
优选地,还包括工件分类模块;
工件分类模块与头部模块连接,用于将存在表面缺陷的锂电池极片工件与工业标准设计数模进行拟合对比,对锂电池极片工件是否合格进行分类。
优选地,图像预处理模块还包括尺寸设置模块;
尺寸设置模块分别与增强模块、主干网络模块连接,用于将增强图像处理为设定的标准尺寸后输入到主干网络模块。
优选地,改进型极片缺陷深度学习网络预先经过训练,在训练时采用EIOU损失函数;
EIOU损失函数如下式所示:
,
,
,
,
其中,A={x,y,w,h}为预测框的参数,B= {x',y',w',h'}为真实框的参数,C为预测框叠加真实框的最小面积,ρ代表b与bgt之间的距离,α代表权重函数,v用来度量预测框与真实框各自长宽比的相似性,c代表包含预测框和真实框的最小区域对角线之间的距离,wc、hc分别为最小外接矩形的宽度、最小外接矩形的高度,b、bgt、w、wgt、h、hgt分别为预测框或真实框的中心点、宽度、高度,gt表示真实框,{ x,y }、{ x',y'}分别为预测框、真实框中心点的坐标,IOU为预测框与真实框的交并比。
优选地,改进型极片缺陷深度学习网络的结构,为在YOLOv8网络的基础上进行的改进;
主干网络模块、头部模块分别为YOLOv8网络中原有的Backbone网络、Head网络;
颈部模块为对YOLOv8网络中原有的Neck网络替换为轻量化卷积的方式;
注意力机制模块设于颈部模块与YOLOv8网络原有Head网络中间。
优选地,颈部模块包括两个轻量卷积模块、四个轻量跨阶段部分特征融合模块、两个上采样模块、两个下采样模块;
第一个轻量卷积模块分别主干网络模块、第一个上采样模块、第四个轻量跨阶段部分特征融合模块;第一个上采样模块连接第一个轻量跨阶段部分特征融合模块;第一个轻量跨阶段部分特征融合模块分别连接主干网络模块、第二个轻量卷积模块;第二个轻量卷积模块分别连接第二个上采样模块、第三个轻量跨阶段部分特征融合模块;第二个上采样模块连接第二个轻量跨阶段部分特征融合模块;第二个轻量跨阶段部分特征融合模块分别连接主干网络模块、第一个下采样模块;第一个下采样模块连接第三个轻量跨阶段部分特征融合模块;第三个轻量跨阶段部分特征融合模块连接第二个下采样模块。
进一步地,轻量卷积模块用于先进行一次普通卷积得到部分的基础特征图,再对基础特征图进行廉价卷积线性变换得到ghost特征图;
轻量跨阶段部分特征融合模块的结构为:两个卷积模块分别设置在输入端、输出端,一个分割模块与输入端的卷积模块连接,多个轻量卷积瓶颈层分为对称的两大块分别与分割模块连接,每个轻量卷积瓶颈层分别连接一个连接模块,连接模块再连接输出端的卷积模块;
轻量卷积瓶颈层的结构为:三个轻量卷积模块依次连接后,再整体并行接入一个卷积模块,卷积模块的输出与轻量卷积瓶颈层中最后一个轻量卷积模块分别接入同一个连接模块。
优选地,注意力机制模块包括三个并行的坐标注意力模块;
坐标注意力模块分别与颈部模块、头部模块连接,用于加强对表面缺陷的特征学习。
一种基于前述第一项锂电池极片表面缺陷的检测系统的锂电池极片表面缺陷的检测方法,包括步骤如下:
对锂电池极片的原始表面图像,先进行K-近邻均值滤波得到去噪图像,然后采用小波变换的线性调整和多尺度细节增强的方式处理去噪图像的低频分量、高频分量得到增强图像;
使用预先经过训练的改进型极片缺陷深度学习网络,先对增强图像中的表面缺陷进行特征提取,然后对提取的特征进行轻量化卷积、采样处理,接着对表面缺陷的特征进行强化学习,最后根据强化学习后的特征识别表面缺陷在增强图像中的类型、位置。
本发明与现有技术相比,具有如下优点和有益效果:
本发明对输入的原始表面图像进行K-近邻均值滤波、多尺度细节小波变换的低对比度图像增强,且无需分割原始表面图像再进行检测识别,能够在识别相关表面缺陷前强化其特征,降低了运算量,提高了检测的准确度;
本发明在高版本的YOLOv8网络基础上,针对全面锂电池极片表面缺陷检测的场景对结构进行优化,采用了改进Neck网络的颈部模块并引入了注意力机制模块,得到结构较轻量化的改进型极片缺陷深度学习网络,同时提高检测效率,在工业应用时的部署也减少了占用的计算资源和存储空间,符合实际生产需求;
本发明能检测的锂电池极片表面缺陷类型全面。
附图说明
图1为本发明锂电池极片表面缺陷的检测系统的结构框架示意图;
图2为改进型极片缺陷深度学习网络的结构框架示意图;
图3为轻量跨阶段部分特征融合模块的结构框架示意图;
图4为轻量卷积瓶颈层的结构框架示意图;
图5为坐标注意力模块的结构框架示意图;
图6为没有经过图像预处理模块时的锂电池极片表面图;
图7为经过图像预处理模块后的锂电池极片表面图;
图8为改进型极片缺陷深度学习网络一种最终识别出表面缺陷的结果图;
图9为本发明锂电池极片表面缺陷的检测方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,“一个”、“一”或者“该”等类似词语仅用于描述目的,不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同,而不排除其他元素或者物件。“连电连接”或者“相连”等类似的词语并非限定于物理的或者机械的连电连接,而是可以包括电性的连电连接,不管是直电连接的还是间电连接的。
实施例1
如图1至图8所示,本实施例1提供一种锂电池极片表面缺陷的检测系统,包括依次连接的图像获取模块、图像预处理模块、改进型极片缺陷深度学习网络、工件分类模块。
图像获取模块具体为工业相机;图像获取模块运行时,将工业相机的角度和位置调整到待检测是否存在表面缺陷的锂电池极片的正中央上方,拍摄锂电池极片的表面得到相应的原始表面图像。本实施例优选,原始表面图像为普通的可见光图像,在其他实施方式中,原始表面图像也可以是CT图像、红外热成像图像等。
图像预处理模块用于接收图像获取模块拍摄到的原始表面图像,对原始表面图像进行预处理得到符合改进型极片缺陷深度学习网络输入图像尺寸要求的增强图像。
图像预处理模块包括依次连接的去噪模块、增强模块、尺寸设置模块。
去噪模块与图像获取模块连接。去噪模块用于使用K-近邻均值滤波的方式,对原始表面图像进行图像背景噪声抑制,得到原始表面图像的去噪图像。
对原始表面图像进行K-近邻均值滤波的过程为:以原始表面图像中待处理的像素为中心,设定一个为m*m像素的作用模板;在作用模板中,选择与待处理像素的灰度差最小的K个像素,然后计算K个像素的灰度均值;用K个像素的灰度均值替换掉原来的像素值。
增强模块用于对去噪图像进行图像增强处理得到增强图像,改善因拍摄锂电池极片表面存在的亮度不均、缺陷微小、对比度低的情况。
增强模块采用小波变换的线性调整和多尺度细节增强的方式处理去噪图像的低频分量、高频分量,从而对去噪图像进行增强;得到增强图像的过程为:对去噪图像进行二维离散小波变换,得到去噪图像中的一个低频子带WLL以及在三个方向上的高频子带WHL、WLH、WHH;针对用于表征图像基本特征的低频子带WLL,使用线性调整的方式进行非均匀光照校正,实现对去噪图像中亮度不均匀的部分进行修正,得到新的低频子带图像;针对用于表征图像细节特征的三个高频子带WHL、WLH、WHH,分别使用不同尺度的高斯核进行模糊处理,得到三种不同尺度的高斯模糊图像;使用高斯核进行模糊处理如下式所示:
B1=G1*W*, B2=G2*W* ,B3=G3*W*,
其中,W*代表高频子带,G代表高斯核,B代表高斯模糊图像,此时的G和B的下标均代表对应第几个高频子带,高频子带与高斯核之间进行的为卷积运算,对三种不同尺度的高斯模糊图像,分别进行如下式的运算,得到三种不同尺度的细节图像:
D1= W*-B1, D2= W*-B2,D3= W*-B3,
其中,D代表细节图像,D的下标代表对应第几个尺度,将这三种不同尺度的细节图像进行加权融合后添加到高频子带中,实现对高频子带中目标缺陷信息的增强,得到新的高频子带图像,计算过程如下式所示:
,
其中,k代表细节图像的权重系数,代表新的高频子带图像,k的下标代表对应第几个尺度;将得到的新低频子带图像、新高频子带图像组合进行小波重构,得到原始表面图像的增强图像。经过图像预处理模块前的锂电池极片表面如图6所示,经过图像预处理模块后的增强图像如图7所示,图6与图7进行比较,明显可看出图7中的表面缺陷的特征相对更加清楚、完整。
尺寸设置模块用于将原始表面图像的增强图像处理为设定的标准尺寸,以符合改进型极片缺陷深度学习网络对输入图像的设置。
如图2所示,改进型极片缺陷深度学习网络为在YOLOv8网络的基础上进行的改进。
改进型极片缺陷深度学习网络的输入与尺寸设置模块连接。改进型极片缺陷深度学习网络用于从经过图像预处理模块处理后的增强图像,识别出所存在的锂电池极片表面缺陷,然后输出锂电池极片表面缺陷的位置、表面缺陷的类型,完成对锂电池极片表面缺陷的检测。
在将改进型极片缺陷深度学习网络用到锂电池极片表面缺陷检测前,改进型极片缺陷深度学习网络提前进行了训练,采用的训练数据集同样为来自锂电池极片表面的图像,并且数据量足够支撑进行多轮次训练,对每张锂电池极片表面的图像进行标注,使用矩形边界框来框选极片缺陷,并按表面缺陷的类别打上标签,类别标签包括划痕、孔洞、漏金属、突起、金属异物、掉料、不均匀涂模块等,在标注时矩形边界框上的标签具体文字信息采用对应的英文标识;
本实施例优选,改进型极片缺陷深度学习网络在训练时,采用了不同于YOLOv8网络原本的CIOU损失函数另一个损失函数EIOU,对边界框回归的损失进行计算。
损失函数EIOU的计算分为三部分:IOU损失Loss IOU 、距离损失Loss dis 、方位损失Loss asp ;采用EIOU作为损失函数替换CIOU函数,能够直接使预测框和真实框的宽度和高度的差异最小化,从而产生更快的收敛速度,更好的定位效果和更优秀的模型,在工业应用上能够满足对于检测速度和精度提升的实际要求;损失函数EIOU如下式所示:
,
,
,
,
其中,A={x,y,w,h}为预测框的参数,B= {x',y',w',h'}为真实框的参数,C为预测框叠加真实框的最小面积,ρ代表b与bgt之间的距离,α代表权重函数,v用来度量预测框与真实框各自长宽比的相似性,c代表包含预测框和真实框的最小区域对角线之间的距离,wc、hc分别为最小外接矩形的宽度、最小外接矩形的高度,b、bgt、w、wgt、h、hgt分别为预测框或真实框的中心点、宽度、高度,gt表示真实框,{ x,y }、{ x',y'}分别为预测框、真实框中心点的坐标,IOU为预测框与真实框的交并比。
本实施例优选,对改进型极片缺陷深度学习网络进行训练,采用的计算机硬件设备为:操作系统为WINDOWS 11、CPU型号为11th Gen Intel(R) CoreTM i7-11800H @2.30GHz 、运行内存32GRAM 、GPU为NVDIA GeForce RTX 3060,采用的计算机软件工具为:PyTorch深度学习框架、Python编程语言,采用的训练数据集中按照8:2的比例分为训练集、测试集,训练参数的设置如下表1所示:
表1
改进型极片缺陷深度学习网络的结构包括依次连接的主干网络模块(Backbone)、颈部模块、注意力机制模块(Attention)、头部模块(Head)。图2的右上角部分为快速空间金字塔池化模块的结构框架图例,图2中括号内的数字表示各模块所对应输入特征图的宽度、高度、输入通道数。
主干网络模块继承了YOLOv8原本的Backbone,其输入模块与尺寸设置模块连接,用于对输入经过尺寸统一处理的增强图像中的表面缺陷进行特征提取。主干网络模块中,包括有一个输入模块(INTPUT)、五个卷积模块(Conv)、四个跨阶段部分特征融合模块(C2f,cross stage partial feature fusion)、一个快速空间金字塔池化模块(SPPF),连接关系依次为:第一个卷积模块与输入模块连接;第二个卷积模块与第一个卷积模块连接;第一个跨阶段部分特征融合模块与第二个卷积模块连接;第三个卷积模块与第一个跨阶段部分特征融合模块连接;第二个跨阶段部分特征融合模块与第三个卷积模块连接;第四个卷积模块与第二个跨阶段部分特征融合模块连接;第三个跨阶段部分特征融合模块与第四个卷积模块连接;第五个卷积模块与第三个跨阶段部分特征融合模块连接;第四个跨阶段部分特征融合模块与第五个卷积模块连接;快速空间金字塔池化模块与第四个跨阶段部分特征融合模块连接。
颈部模块对YOLOv8原本的Neck网络进行了改造,并在YOLOv8原本的Head模块、颈部模块之间引入了注意力机制模块。
颈部模块用于对提取的特征进行轻量化卷积、采样处理。颈部模块包括两个轻量卷积模块(GhostConv)、四个轻量跨阶段部分特征融合模块(GhostC2f)、两个上采样模块(UpSampling)、两个下采样模块(Downsampling)。颈部模块中,各模块的连接关系为:第一个轻量卷积模块分别连接快速空间金字塔池化模块、第一个上采样模块、第四个轻量跨阶段部分特征融合模块;第一个上采样模块连接第一个轻量跨阶段部分特征融合模块;第一个轻量跨阶段部分特征融合模块分别连接第三个跨阶段部分特征融合模块、第二个轻量卷积模块;第二个轻量卷积模块分别连接第二个上采样模块、第三个轻量跨阶段部分特征融合模块;第二个上采样模块连接第二个轻量跨阶段部分特征融合模块;第二个轻量跨阶段部分特征融合模块分别连接第二个跨阶段部分特征融合模块、第一个下采样模块;第一个下采样模块连接第三个轻量跨阶段部分特征融合模块;第三个轻量跨阶段部分特征融合模块连接第二个下采样模块。
颈部模块中,轻量卷积模块为针对YOLOv8原本Conv卷积进行的改进替换,用于以减轻网络整体的负担并保持准确性。轻量卷积模块的处理方式为:先进行一次普通卷积得到部分的基础特征图,再对基础特征图进行廉价卷积线性变换得到ghost特征图,如下式所示:
,
,
其中,X表示向轻量卷积模块输入的特征图,表示对应的滤波器,/>表示基础特征图中对应的第i个固有特征图,/>为ghost特征图的,/>表示基础特征图,,∗为卷积操作,m为进行普通卷积的通道数,/>表示进行廉价线性变换的卷积操作,m始终不大于n,廉价卷积线性变换的卷积操作消耗算力比YOLOv8原本的卷积运算消耗的算力少得多。
颈部模块中,轻量跨阶段部分特征融合模块(GhostC2f)针对YOLOv8原本Neck网络中的跨阶段部分特征融合模块进行的改进替换,用于增加浅模块特征图的感受野,优化颈部模块提取的细节特征。
如图3和图4所示,轻量跨阶段部分特征融合模块的结构为:两个卷积模块分别设置在输入端、输出端,一个分割模块(Spilt)与输入端的卷积模块连接,2n个轻量卷积瓶颈层(GhostBottleneck)分为对称的两大块分别与分割模块的两个输出连接,每个轻量卷积瓶颈层再连接一个连接模块(Concat),连接模块再连接输出端的卷积模块。每个轻量卷积瓶颈层的结构为:三个轻量卷积模块依次连接以增加通道数,再整体并行接入一个卷积模块,卷积模块的输出与轻量卷积瓶颈层中最后一个轻量卷积模块分别接入同一个连接模块。
使用多个轻量卷积瓶颈层的结构增加通道数可以加深网络深度。颈部模块中将跨阶段部分特征融合模块作为轻量跨阶段部分特征融合模块的输入,再将浅特征模块上采样后的特征图进行拼接操作,从而融合深模块语义信息与浅模块的细粒度信息,接着进行下采样到下采样模块的特征值的大小,采用聚合策略将特征进行拼接,与YOLOv8原本的Neck网络相比,颈部模块缩短了头部模块与浅层特征之间的距离,降低了计算和网络结构的复杂性,在保持足够精度的同时,提升了网络对锂电池极片的表面缺陷这类小目标的检测能力。
注意力机制模块由三个并行的坐标注意力模块(coordinate attention,简称CA)组成,用于强化对表面缺陷的特征学习。第一个坐标注意力模块与颈部模块中的第二个轻量跨阶段部分特征融合模块连接,第二个坐标注意力模块与颈部模块中的第三个轻量跨阶段部分特征融合模块连接,第三个坐标注意力模块与颈部模块中的第四个轻量跨阶段部分特征融合模块连接。
坐标注意力模块是一种将位置信息嵌入通道注意力的机制,采用了一种更有效的机制来捕获位置信息和通道关系,考虑通道间关系的同时还考虑了特征空间的位置信息,在其前端网络使用能够最大限度保留每个通道之间的隐藏链接的轻量卷积模块,网络的加深会加剧对数据流的阻力,当这些特征图运行到颈部模块时,通道维度已达到较大程度,宽度维度较小,因此在颈部模块的轻量跨阶段部分特征融合模块后添加同时考虑到对特征图空间(高度与宽度)的CA模块,能够加强对锂电池极片表面缺陷的图像区域特征的学习,使得整个改进型极片缺陷深度学习网络更加专注于对极片表面缺陷特征的提取,弱化复杂背景对检测结果的影响,从而获取更多的特征信息最大程度提升算法的检测精度。
如图5所示,坐标注意力模块对输入的特征图(尺寸为C×H×W,分别表示通道数、高度、宽度)通过二维全局池操作,分解为两个一维特征进行编码;二维全局池操作由残差模块加上横向平均池化模块(X Avg pool)再加上纵向平均池化模块(Y Avg pool)执行,具体过程为:为获得在高度、宽度不同方向上的注意力权重,实现对精确位置的编码,对输入初始特征图,在高度、宽度两个方向利用横向平均池化模块、纵向平均池化模块进行全局平均池化(横向平均池化模块、纵向平均池化模块并行),从而获得在两个方向上的特征图(尺寸分别为C×1×W、C×H×1),平均池化的过程如下式所示:
,
,
其中,(h,j)、(j,w)分别作为池化内核,用于编码坐标注意力模块中每个通道的横坐标、纵坐标,表示第c个通道在高度方向上的输出,/>表示第c个通道在宽度方向上的输出,x c 为第c个通道的输入;
经过平均池化后,将两个特征图连接在一起并接着进行由连接卷积模块执行的共享卷积核为 1×1 的卷积运算得到特征图,然后将特征图进行由非线性激活函数激活的批归一化模块执行的批量归一化处理,将维度降低到原来的 C/r(r为模块大小的一个超参数,C为通道数)得到形如 1×(W+H) ×C/r 的特征图f(由批归一化模块执行),如下式所示:
f = δ(F1([zh,zw])),
其中,F1([zh,zw])表示将水平、垂直的池化结果进行链接操作,δ表示非线性激活函数;
得到特征图f后,按照原来的高度和宽度进行卷积核为 1×1的卷积分别得到通道数与原来一样的特征图F h 、F w (由两个并行的卷积模块执行),经过 激活函数后分别得到特征图在高度、宽度上的注意力权重输出、/>,权重的计算如下式所示:
,
,
其中,、/>分别为由特征图f分离的两个高度、宽度上的独立特征图;对坐标注意力模块原本所输入的特征图,通过重新加权化模块执行乘法加权计算,将输出/>、/>合并成权重矩阵,得到最终在宽度、高度方向上带有注意力权重的特征图(尺寸为C×H×W)输出/>,计算如下式所示:
,
颈部模块的输出经过注意力机制模块中三个并行的坐标注意力模块处理后,每个坐标注意力模块分别连接头部模块。本实施例中,头部模块采用YOLOv8中原本的结构,由三个并行的识别模块(Detect)组成,第一个识别模块连接第一个坐标注意力模块,第二个识别模块连接第二个坐标注意力模块,第三个识别模块连接第三个坐标注意力模块。每个识别模块分别根据强化学习后的特征,输出表面缺陷的位置、类型和边界框。从图8可以看出,本实施例的改进型极片缺陷深度学习网络能有效识别多种类型的。
本实施例优选,工件分类模块与改进型极片缺陷深度学习网络中头部模块的最终输出连接。工件分类模块用于将对应被检测到存在表面缺陷的锂电池极片的工件,与工业标准设计数模进行拟合对比,将其中工业标准设计数模的合格工件、不符合工业标准设计数模的不合格工件做分类标记,从而完成对锂电池极片是否合格的检测。
本实施例1相比现有技术,其有益效果在于:
本实施例对输入的原始表面图像进行K-近邻均值滤波、多尺度细节小波变换的低对比度图像增强,且无需分割原始表面图像再进行检测识别,能够在识别相关表面缺陷前强化其特征,降低了运算量,提高了检测的准确度;
本实施例在高版本的YOLOv8网络基础上,针对全面锂电池极片表面缺陷检测的场景对结构进行优化,采用了改进Neck网络的颈部模块并引入了注意力机制模块,得到结构较轻量化的识别网络,同时提高检测效率,在工业应用时的部署也减少了占用的计算资源和存储空间,符合实际生产需求;
本实施例能检测的锂电池极片表面缺陷类型全面。
实施例2
如图9所示,本实施例2提供一种锂电池极片表面缺陷的检测方法,优选采用实施例1中的锂电池极片表面缺陷的检测系统来执行,在其他实施方式中,也可以采用其他能够执行本实施例2方法的系统或装置来执行;
本实施例2的锂电池极片表面缺陷的检测方法包括步骤如下:
S1、将工业相机的角度和位置调整到待检测是否存在表面缺陷的锂电池极片的正中央上方,拍摄锂电池极片的表面得到相应的原始表面图像;本实施例优选,原始表面图像为普通的可见光图像;
S2、对步骤S1采集到的原始表面图像进行图像预处理;
锂电池极片的原始表面图像包括锂电池极片的正极图像、负极图像,由于正极极片因涂覆材料原因反光效果较弱,而负极极片因涂覆材料原因反光效果较强,正极、负极两者光照不均而造成原始图像的对比度偏低,导致锂电池极片的表面缺陷特征的图像中表现不够明显,所以需要进行图像预处理增强图像中的缺陷特征;
图像预处理的过程包括:
S21、使用K-近邻均值滤波的方式,对原始表面图像进行图像背景噪声抑制,得到原始表面图像的去噪图像;
使用K-近邻均值滤波来抑制图像背景噪声,具有较好滤波效果的同时能保持图像清晰度,突出图像的边缘细节信息,较好地满足保边去噪的需求,从而保留住原始表面图像中的缺陷轮廓;
对原始表面图像进行K-近邻均值滤波的过程包括:
S211、以原始表面图像中待处理的像素为中心,设定一个为m*m像素的作用模板;
S212、在作用模板中,选择与待处理像素的灰度差最小的K个像素,然后计算K个像素的灰度均值;
S213、用步骤S212中的K个像素的灰度均值替换掉原来的像素值;
S22、对去噪图像进行图像增强处理得到增强图像,改善因拍摄锂电池极片表面存在的亮度不均、缺陷微小、对比度低的情况;
原始表面图像在拍摄时中,因环境中的灰尘、光学器件的光照、极片的反光等因素都会造成表面照度不均匀,即使进行滤波处理后,只能够将图像的噪声干扰抑制在一定程度,但此时去噪图像中的表面缺陷与背景的对比度还不够明显,导致表面缺陷边缘不够清晰,再加上有些漏金属和亮斑缺陷在整幅图像中的占比较小,甚至和噪声混在一起,影响了表面缺陷信息的有效表达,所以需要增强图像中的缺陷特征;
图像增强处理过程采用小波变换的线性调整和多尺度细节增强的方式处理去噪图像的低频分量、高频分量,具体过程包括:
S221、对去噪图像进行二维离散小波变换,得到去噪图像中的一个低频子带 WLL以及在三个方向上的高频子带WHL、WLH、WHH;
S222、针对用于表征图像基本特征的低频子带WLL,使用线性调整的方式进行非均匀光照校正,实现对去噪图像中亮度不均匀的部分进行修正,得到新的低频子带图像;
S223、针对用于表征图像细节特征的三个高频子带WHL、WLH、WHH,依次进行高斯模糊处理、细节运算、加权融合得到高频子带图像;
首先分别使用不同尺度的高斯核进行模糊处理,得到三种不同尺度的高斯模糊图像;使用高斯核进行模糊处理如下式所示:
B1=G1*W*, B2=G2*W* ,B3=G3*W*,
其中, W*代表高频子带,G代表高斯核,B代表高斯模糊图像,此时的G和B的下标均代表对应第几个高频子带,高频子带与高斯核之间进行的为卷积运算;
然后,对三种不同尺度的高斯模糊图像,分别进行如下式的运算,得到三种不同尺度的细节图像:
D1= W*-B1, D2= W*-B2,D3= W*-B3,
其中,D代表细节图像,D的下标代表对应第几个尺度;
最后,将这三种不同尺度的细节图像进行加权融合后添加到高频子带中,实现对高频子带中目标缺陷信息的增强,得到新的高频子带图像,计算过程如下式所示:
,
其中,k代表细节图像的权重系数,代表新的高频子带图像,k的下标代表对应第几个尺度;
S224、将步骤S222得到的新低频子带图像、步骤S223得到的新高频子带图像组合进行小波重构,得到原始表面图像的增强图像;
S23、将增强图像的尺寸处理为设定的标准尺寸,完成图像的预处理;
S3、将步骤S2进行图像预处理后得到的增强图像,输入经过训练的、用于锂电池极片表面缺陷检测的改进型极片缺陷深度学习网络,由改进型极片缺陷深度学习网络从增强图像中,识别出所存在的锂电池极片表面缺陷,然后输出锂电池极片表面缺陷的位置、表面缺陷的类型,完成对锂电池极片表面缺陷的检测;
在实施例优中,改进型极片缺陷深度学习网络的结构,采用实施例1中的改进型极片缺陷深度学习网络,所经过的训练也为实施例1中对改进型极片缺陷深度学习网络所做的训练;
识别锂电池极片表面缺陷的具体过程包括:
S31、在主干网络模块对增强图像中的表面缺陷进行特征提取;
S32、在颈部模块对提取的特征进行轻量化卷积、采样处理;
S33、在注意力机制模块对表面缺陷的特征进行强化学习;
S34、在头部模块根据强化学习后的特征识别表面缺陷在增强图像中的类型、位置;
本实施例优选,在检测出锂电池极片的表面缺陷后,还执行以下步骤:
S4、将对应被检测到存在表面缺陷的锂电池极片的工件,与工业标准设计数模进行拟合对比,将其中工业标准设计数模的合格工件、不符合工业标准设计数模的不合格工件做分类标记,从而完成对锂电池极片是否合格的检测。
本实施例2相比现有技术,其有益效果在于:
本实施例对输入的原始表面图像进行K-近邻均值滤波、多尺度细节小波变换的低对比度图像增强,且无需分割原始表面图像再进行检测识别,能够在识别相关表面缺陷前强化其特征,降低了运算量,提高了检测的准确度;
本实施例的改进型极片缺陷深度学习网络,结构较轻量化,能提高检测效率,符合实际生产需求;
本实施例能检测的锂电池极片表面缺陷类型全面。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种锂电池极片表面缺陷的检测系统,其特征在于,包括相互连接的图像预处理模块、改进型极片缺陷深度学习网络;
所述图像预处理模块用于对锂电池极片的原始表面图像进行预处理得到增强图像;
图像预处理模块包括去噪模块、增强模块;
所述去噪模块用于对原始表面图像进行K-近邻均值滤波得到去噪图像;
所述增强模块与去噪模块连接,用于通过小波变换的线性调整和多尺度细节增强的方式处理去噪图像的低频分量、高频分量得到增强图像;
所述改进型极片缺陷深度学习网络用于从增强图像中检测锂电池极片的表面缺陷;
改进型极片缺陷深度学习网络包括主干网络模块、颈部模块、注意力机制模块、头部模块;
所述主干网络模块与增强模块连接,用于对增强图像中的表面缺陷进行特征提取;
所述颈部模块与主干网络模块连接,用于对提取的特征进行轻量化卷积、采样处理;
所述注意力机制模块与颈部模块连接,用于对表面缺陷的特征进行强化学习;
所述头部模块与注意力机制模块连接,用于根据强化学习后的特征,识别表面缺陷在增强图像中的类型、位置。
2.根据权利要求1所述锂电池极片表面缺陷的检测系统,其特征在于,还包括图像获取模块;
所述图像获取模块与去噪模块连接,用于拍摄锂电池极片表面的原始表面图像。
3.根据权利要求1所述锂电池极片表面缺陷的检测系统,其特征在于,还包括工件分类模块;
所述工件分类模块与头部模块连接,用于将存在表面缺陷的锂电池极片工件与工业标准设计数模进行拟合对比,对锂电池极片工件是否合格进行分类。
4.根据权利要求1所述锂电池极片表面缺陷的检测系统,其特征在于,图像预处理模块还包括尺寸设置模块;
所述尺寸设置模块分别与增强模块、主干网络模块连接,用于将增强图像处理为设定的标准尺寸后输入到主干网络模块。
5.根据权利要求1所述锂电池极片表面缺陷的检测系统,其特征在于,改进型极片缺陷深度学习网络预先经过训练,在训练时采用EIOU损失函数;
所述EIOU损失函数如下式所示:
,
,
,
,
其中,A={x,y,w,h}为预测框的参数,B= {x',y',w',h'}为真实框的参数,C为预测框叠加真实框的最小面积,ρ代表b与bgt之间的距离,α代表权重函数,v用来度量预测框与真实框各自长宽比的相似性,c代表包含预测框和真实框的最小区域对角线之间的距离,wc、hc分别为最小外接矩形的宽度、最小外接矩形的高度,b、bgt、w、wgt、h、hgt分别为预测框或真实框的中心点、宽度、高度,gt表示真实框,{ x,y }、{ x',y'}分别为预测框、真实框中心点的坐标,IOU为预测框与真实框的交并比。
6.根据权利要求1所述锂电池极片表面缺陷的检测系统,其特征在于,改进型极片缺陷深度学习网络的结构,为在YOLOv8网络的基础上进行的改进;
主干网络模块、头部模块分别为YOLOv8网络中原有的Backbone网络、Head网络;
颈部模块为对YOLOv8网络中原有的Neck网络替换为轻量化卷积的方式;
注意力机制模块设于颈部模块与YOLOv8网络原有Head网络中间。
7.根据权利要求1所述锂电池极片表面缺陷的检测系统,其特征在于,颈部模块包括两个轻量卷积模块、四个轻量跨阶段部分特征融合模块、两个上采样模块、两个下采样模块;
第一个轻量卷积模块分别主干网络模块、第一个上采样模块、第四个轻量跨阶段部分特征融合模块;第一个上采样模块连接第一个轻量跨阶段部分特征融合模块;第一个轻量跨阶段部分特征融合模块分别连接主干网络模块、第二个轻量卷积模块;第二个轻量卷积模块分别连接第二个上采样模块、第三个轻量跨阶段部分特征融合模块;第二个上采样模块连接第二个轻量跨阶段部分特征融合模块;第二个轻量跨阶段部分特征融合模块分别连接主干网络模块、第一个下采样模块;第一个下采样模块连接第三个轻量跨阶段部分特征融合模块;第三个轻量跨阶段部分特征融合模块连接第二个下采样模块。
8.根据权利要求7所述锂电池极片表面缺陷的检测系统,其特征在于,所述轻量卷积模块用于先进行一次普通卷积得到部分的基础特征图,再对基础特征图进行廉价卷积线性变换得到ghost特征图;
所述轻量跨阶段部分特征融合模块的结构为:两个卷积模块分别设置在输入端、输出端,一个分割模块与输入端的卷积模块连接,多个轻量卷积瓶颈层分为对称的两大块分别与分割模块连接,每个轻量卷积瓶颈层分别连接一个连接模块,连接模块再连接输出端的卷积模块;
所述轻量卷积瓶颈层的结构为:三个轻量卷积模块依次连接后,再整体并行接入一个卷积模块,卷积模块的输出与轻量卷积瓶颈层中最后一个轻量卷积模块分别接入同一个连接模块。
9.根据权利要求1所述锂电池极片表面缺陷的检测系统,其特征在于,注意力机制模块包括三个并行的坐标注意力模块;
所述坐标注意力模块分别与颈部模块、头部模块连接,用于加强对表面缺陷的特征学习。
10.一种基于权利要求1所述锂电池极片表面缺陷的检测系统的锂电池极片表面缺陷的检测方法,其特征在于,包括步骤如下:
对锂电池极片的原始表面图像,先进行K-近邻均值滤波得到去噪图像,然后采用小波变换的线性调整和多尺度细节增强的方式处理去噪图像的低频分量、高频分量得到增强图像;
使用预先经过训练的改进型极片缺陷深度学习网络,先对增强图像中的表面缺陷进行特征提取,然后对提取的特征进行轻量化卷积、采样处理,接着对表面缺陷的特征进行强化学习,最后根据强化学习后的特征识别表面缺陷在增强图像中的类型、位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311203232.2A CN116934762B (zh) | 2023-09-19 | 2023-09-19 | 锂电池极片表面缺陷的检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311203232.2A CN116934762B (zh) | 2023-09-19 | 2023-09-19 | 锂电池极片表面缺陷的检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116934762A true CN116934762A (zh) | 2023-10-24 |
CN116934762B CN116934762B (zh) | 2024-01-16 |
Family
ID=88384744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311203232.2A Active CN116934762B (zh) | 2023-09-19 | 2023-09-19 | 锂电池极片表面缺陷的检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116934762B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117315428A (zh) * | 2023-10-30 | 2023-12-29 | 燕山大学 | 一种跨模态特征对齐融合的人群计数系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661622A (zh) * | 2022-09-27 | 2023-01-31 | 北京航空航天大学 | 一种基于图像增强和改进YOLOv5的陨石坑检测方法 |
CN116363124A (zh) * | 2023-05-26 | 2023-06-30 | 南京杰智易科技有限公司 | 一种基于深度学习的钢材表面缺陷检测方法 |
CN116664478A (zh) * | 2023-03-13 | 2023-08-29 | 哈尔滨理工大学 | 一种基于深度学习的钢材表面缺陷检测算法 |
-
2023
- 2023-09-19 CN CN202311203232.2A patent/CN116934762B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661622A (zh) * | 2022-09-27 | 2023-01-31 | 北京航空航天大学 | 一种基于图像增强和改进YOLOv5的陨石坑检测方法 |
CN116664478A (zh) * | 2023-03-13 | 2023-08-29 | 哈尔滨理工大学 | 一种基于深度学习的钢材表面缺陷检测算法 |
CN116363124A (zh) * | 2023-05-26 | 2023-06-30 | 南京杰智易科技有限公司 | 一种基于深度学习的钢材表面缺陷检测方法 |
Non-Patent Citations (4)
Title |
---|
YI-FAN ZHANG ET AL.: "Focal and Efficient IOU Loss for Accurate Bounding Box Regression", 《ARXIV:2101.08158V2》, pages 1 - 10 * |
周新颖 等: "基于小波增强与Canny算法融合的锂电池极片缺陷检测方法", 《电子测量技术》, vol. 46, no. 4, pages 149 - 154 * |
李松 等: "改进YOLOv8的道路损伤检测算法", 《计算机工程与应用》, pages 1 - 11 * |
李雅雯 等: "基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法", 《控制与决策》, pages 1 - 9 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117315428A (zh) * | 2023-10-30 | 2023-12-29 | 燕山大学 | 一种跨模态特征对齐融合的人群计数系统及方法 |
CN117315428B (zh) * | 2023-10-30 | 2024-04-05 | 燕山大学 | 一种跨模态特征对齐融合的人群计数系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116934762B (zh) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898610B (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
CN111914698B (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
CN116934762B (zh) | 锂电池极片表面缺陷的检测系统及方法 | |
CN111368658B (zh) | 一种自主航行中智能船舶外部目标的自动检测方法及系统 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
CN114202743A (zh) | 自动驾驶场景下基于改进faster-RCNN的小目标检测方法 | |
CN115775236B (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
Wang et al. | Low-light image enhancement based on deep learning: a survey | |
Chen et al. | Scene segmentation of remotely sensed images with data augmentation using U-net++ | |
Guo et al. | D3-Net: Integrated multi-task convolutional neural network for water surface deblurring, dehazing and object detection | |
CN111738237B (zh) | 一种基于异构卷积的多核迭代rpn的目标检测方法 | |
CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
CN112101283A (zh) | 一种交通标志智能识别方法及系统 | |
Liang et al. | Robust table recognition for printed document images | |
CN115115860A (zh) | 一种基于深度学习的图像特征点检测匹配网络 | |
Sang et al. | RARNet fusing image enhancement for real-world image rain removal | |
CN110751189B (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 | |
CN112288765A (zh) | 一种用于车载红外行人检测跟踪的图像处理方法 | |
Dai et al. | Effective detection by fusing visible and infrared images of targets for Unmanned Surface Vehicles | |
CN112508113A (zh) | 被动式太赫兹人体图像隐蔽目标的检测方法及装置 | |
CN111539396A (zh) | 一种基于yolov3的行人检测及步态识别的方法 | |
Iqbal et al. | Illumination normalization of face images using layers extraction and histogram processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |