CN111105405B - 基于自适应深度学习的新能源锂电池表面缺陷检测方法 - Google Patents
基于自适应深度学习的新能源锂电池表面缺陷检测方法 Download PDFInfo
- Publication number
- CN111105405B CN111105405B CN201911346723.6A CN201911346723A CN111105405B CN 111105405 B CN111105405 B CN 111105405B CN 201911346723 A CN201911346723 A CN 201911346723A CN 111105405 B CN111105405 B CN 111105405B
- Authority
- CN
- China
- Prior art keywords
- lithium battery
- image
- sobel
- frequency domain
- domain data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 title claims abstract description 121
- 229910052744 lithium Inorganic materials 0.000 title claims abstract description 121
- 230000007547 defect Effects 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 title claims description 11
- 238000005286 illumination Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000003709 image segmentation Methods 0.000 claims abstract description 5
- 230000001131 transforming effect Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000005260 corrosion Methods 0.000 claims description 12
- 230000007797 corrosion Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 230000004044 response Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229910000733 Li alloy Inorganic materials 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000001989 lithium alloy Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007773 negative electrode material Substances 0.000 description 1
- 239000011255 nonaqueous electrolyte Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于自适应深度学习的新能源锂电池表面缺陷检测方法。包括:对锂电池表面灰度图像进行非线性映射;将解耦的照射分量和反射分量变换至频域;对频域数据进行滤波、傅里叶反变换、指数变换,得到重构锂电池图像;基于形态学处理、背景差分,增强缺陷处的灰度响应;进行图像分割、连通域分析筛选处理,将结果作为标注图像;设计算子模拟光照细节,对锂电池表面灰度图像进行样本增强操作;基于增强的样本图像集与标注图像,训练深度卷积神经网络;基于训练好的网络实现锂电池表面缺陷检测。利用本发明,可以在锂电池表面缺陷检测场景中,提高检测效率,降低误检率。
Description
技术领域
本发明涉及计算机视觉、深度学习技术领域,具体涉及一种基于自适应深度学习的新能源锂电池表面缺陷检测方法。
背景技术
锂电池广泛的应用于移动设备、新能源汽车、家电等领域,为我们的生活带来了极大的便捷。锂电池具有能量密度高、使用寿命长自放电率低的特点,其一般是使用锂合金为负极材料、使用非水电解质溶液的电池。对于软包装电池一般在业态溶液套上聚合物外壳,并在结构上采用铝塑膜进行包装,正是由于软包装的特点,在企业的生产过程中常常由于密封不严、不均匀,或者是生产过程中的磕碰都会导致电池表面出现凸包缺陷,这种缺陷严重的影响了电池的安全性、使用寿命和性能,必须对锂电池表面缺陷,尤其是凸包现象进行严格检查。
一些小型锂电池企业的主要检测方式是人工进行质检,使电池旋转一周,然后通过人眼进行观察,这种方式效率极低、误检率高。因此,开始出现基于图像处理的锂电池检测研究。
一般的锂电池,例如18650锂电池,或类似的柱状锂电池都需要连续采集各个柱面的影像来得到完整的结果,一般较为先进的采集设备可以通过三至四张采集图像进行拼接得到完整的柱面图像。
一些研究提出的采用相机加深度学习的方式对电池外观进行检查,这种方式需要大量的数据集标注,同时过度依赖三维点云信息,并且受数据集的标注影响很大。目前采用深度学习的方法主要是先获得电池三维点云模板,然后进行模板匹配的方式进行缺陷检查,之后生成标注,这种检测方式很不稳定、速度慢、且对于微小的凸包缺陷无法检测,导致检测速度慢、漏检率高。
另一些研究提出用几十余种打光方式综合得到缺陷,以清华大学洛阳高端装备研究院的最新产品为例。该设备使用四百余种光源,则相机需要连续采集足够多的图像才能保证每种光源的照射后的图像都能被捕捉。由于光控系统复杂且相机帧率存在技术限制,该方法检测标称时间为四分之一秒左右,但该系统明显无法调用所有光源,且无法直接通过单种光源的图像采集来得到结果。此类系统参数过于复杂,在生产中、维护时调参和校准的工作费时费力,且无法达到理论上的性能最优,导致虽然漏检率低,但误报率高。
因此,现有锂电池表面缺陷检测技术存在检测效率低、误检率高的问题。
发明内容
本发明提供了一种基于自适应深度学习的新能源锂电池表面缺陷检测方法,该方法基于计算机视觉技术、深度学习技术实现了锂电池表面缺陷检测,检测效率更高,误检率更低。
一种基于自适应深度学习的新能源锂电池表面缺陷检测方法,该方法包括:
步骤一,采集锂电池表面灰度图像,利用非线性算子对锂电池表面灰度图像进行非线性映射,解耦照射分量和反射分量:
ln(G(x,y)+1)=ln(I(x,y)+1)+ln(R(x,y)+1)
其中,G为锂电池表面灰度图像,I为照射分量,R为反射分量,(x,y)为像素点坐标;
步骤二,通过傅里叶变换将解耦的照射分量和反射分量变换至频域;
步骤三,利用高斯高通滤波器分别对照射分量的频域数据和反射分量的频域数据进行滤波,得到滤波锂电池频域数据:
G′(u,v)×H(u,v)=I′(u,v)×H(u,v)+R′(u,v)×H(u,v)
其中,H(u,v)为高斯高通滤波器,I′(u,v)代表着照射分量的频域数据,R′(u,v)代表着反射分量的频域数据,G′(u,v)为锂电池频域数据,G′(u,v)×H(u,v)为滤波锂电池频域数据;
步骤四,对滤波锂电池频域数据进行傅里叶反变换、指数变换,得到重构锂电池图像;
步骤五,构建形态学结构元素,分别对重构锂电池图像进行膨胀、腐蚀操作,将膨胀结果与腐蚀结果做差,得到增强缺陷图像;
步骤六,利用大津阈值法对增强缺陷图像进行图像分割、连通域分析以及筛选处理,得到标注图像;
步骤七,对x、y方向的Sobel梯度算子进行基于随机权重分配的线性叠加,生成梯度算子SobelG:
SobelG=SobelGx*a+SobelGy*b
其中,SobelGx、SobelGy分别表示x、y方向的Sobel梯度算子,SobelG表示随机生成的梯度算子,a∈[0,1],b∈[0,1],a+b∈[0,1];使用随机生成的梯度算子SobelG对锂电池表面灰度图像进行处理;将处理结果与锂电池原始光照分布图像叠加,得到样本增强图像;
步骤八,针对多个锂电池,根据步骤一至七生成锂电池表面灰度图像、样本增强图像以及标注图像,作为样本数据集,基于交叉熵函数训练深度卷积神经网络;
步骤九,将待检测锂电池的表面灰度图像输入训练好的深度卷积神经网络,实现新能源锂电池表面缺陷检测。
步骤二包括:
对解耦的照射分量和反射分量进行傅里叶变换,得到照射分量的频域数据和反射分量的频域数据:
FT(ln(G(x,y)))=FT(ln(I(x,y)+1))+FT(ln(R(x,y)+1)
其中,FT表示傅里叶变换。
步骤三中的高斯高通滤波器为:
其中,常数c用来控制滤波器函数斜面的锐化,取值在γH、γL之间,γH>1,γL<1,D0为截止频率,D2(u,v)表示与频率中心的距离的平方。
步骤五包括:
构造形态学结构元素k:
采用结构元素k对重构锂电池图像S进行膨胀运算得到膨胀结果X;
采用结构元素k对重构锂电池图像S进行腐蚀运算得到腐蚀结果Y;
图像X与图像Y相减得到增强缺陷图像G1:
G1=X-Y。
步骤七包括:
对x、y方向的Sobel梯度算子进行基于随机权重分配的线性叠加,生成梯度算子SobelG:
SobelG=SobelGx*a+SobelGy*b
其中,SobelGx、SobelGy分别表示x、y方向的Sobel梯度算子,SobelG表示随机生成的梯度算子,a∈[0,1],b∈[0,1],a+b∈[0,1];
使用随机生成的梯度算子SobelG对锂电池表面灰度图像进行处理,得到模拟光照细节的图像;
对锂电池表面灰度图像进行低通滤波,得到锂电池原始光照分布图像;
将模拟光照细节的图像与锂电池原始光照分布图像点对点相加,得到样本增强图像。
步骤八中的交叉熵函数为:
其中,S1为通道1的输出结果,L1是标注图像中像素对应的二值标签,缺陷标注位置为1,其余位置为0,α为一超参数。
本发明的有益效果在于:
1.本发明采用解耦照射分量和反射分量、傅里叶变换等计算机视觉技术,对锂电池图像进行处理,获得更加准确的缺陷定位,无需人工标注,提高了标注效率和准确率,并且有助于降低缺陷的误检率;
2.本发明采用深度学习技术,基于获得的缺陷标注图像对神经网络进行训练,实现了半监督的缺陷检测,提高了缺陷检测效率;
3.本发明通过设计的梯度算子模拟随机照射干扰,即可得到多种光源效果的图像,实现样本增强,而非使用多种乃至上百种光源去感知边缘特征,不仅提高了检测效率,而且,基于样本增强的数据集训练神经网络,对光源、缺陷类型具有更强的泛化能力。
附图说明
图1为基于自适应深度学习的新能源锂电池表面缺陷检测方法流程图;
图2为锂电池表面灰度图像示意图;
图3为重构锂电池图像示意图;
图4为增强缺陷图像示意图;
图5为标注图像示意图;
图6为模拟光照细节的图像示意图;
图7为锂电池原始光照分布图像示意图;
图8为样本增强图像示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于自适应深度学习的新能源锂电池表面缺陷检测方法。该方法通过对图像进行非线性映射得到照射强度模型与反射强度模型,进一步通过傅里叶变换、滤波、形态学处理、图像分割等计算机视觉技术得到标注结果。进一步地,基于标注结果,利用深度学习技术实现半监督的新能源锂电池表面缺陷检测。本发明方法流程图如图1所示。下面通过具体实施例来进行说明。
实施例一:
基于自适应深度学习的新能源锂电池表面缺陷检测方法包括:
步骤一,采集锂电池表面灰度图像,利用非线性算子对锂电池表面灰度图像进行非线性映射,解耦照射分量和反射分量:
ln(G(x,y)+1)=ln(I(x,y)+1)+ln(R(x,y)+1)
其中,G为锂电池表面灰度图像,I为照射分量,R为反射分量,(x,y)为像素点坐标。
采用普通面阵相机获取锂电池表面灰度图像G。在获取图像中,由于锂电池呈圆柱状,因此需拍摄锂电池四个方向的图像。
将相机固定,通过伺服电机与托盘带动电池转动,每次旋转90度,通过这样的方式获取单个电池的四幅图像。这里以其中一幅图像为例,图2为锂电池表面灰度图像。
由图2我们可以看到,图像的光照是不均匀的,以下将去除光照不均匀影响,并且增强凸包缺陷及暗区域细节。
根据成像原理可知,一幅通过物理光学过程产生的图像p都可以表示为照射分量与反射分量的乘积:
p(x,y)=i(x,y)×r(x,y)
其中,i为图像p的照射分量,r为图像p的反射分量,x,y为像素点坐标。
根据上述公式可以看出,图像的照射分量是反射分量相乘关系,在信号学当中难以分开。
因此,通过图像的非线性映射将图像信号转换为线性组合信号,即:
ln(p(x,y))=ln(i(x,y))+ln(r(x,y))
在实际计算中为防止对数有负数现象,将对数内加1,即:
ln(G(x,y)+1)=ln(I(x,y)+1)+ln(R(x,y)+1)
其中,G为锂电池表面灰度图像,I为照射分量,R为反射分量,(x,y)为像素点坐标。
通过上述算式对锂电池表面灰度图像进行非线性映射,解耦照射分量、反射分量。
步骤二,通过傅里叶变换将解耦的照射分量和反射分量变换至频域。
对解耦的照射分量和反射分量进行傅里叶变换,有:
FT(ln(G(x,y)))=FT(ln(I(x,y)+1))+FT(ln(R(x,y)+1)
根据该公式可以求出:I′(u,v),R′(u,v)。I′(u,v)代表着照射分量的频域数据,由于光照照射一般是均匀变化的,所以I′(u,v)代表着低频信息。物体的反射强度一般是突变的,R′(u,v)是反射分量的频域数据,代表着高频信息。
对图像等离散分量进行傅里叶变换时,一般采用二维离散傅里叶变换公式:
其中,f(x,y)代表大小为M*N的矩阵,其中,x的取值区间[0,1,…,M-1]和y的取值区间[0,1,…,N-1],x、y均为整数,F(u,v)为f(x,y)的傅里叶变换频谱成分,是两个实频率变量μ和v的复值函数,频率μ对应于x轴,频率v对应于y轴,e为自然常数,i为虚数单位,π为圆周率。
步骤三,利用高斯高通滤波器分别对照射分量的频域数据和反射分量的频域数据进行滤波,得到滤波锂电池频域数据:
G′(u,v)×H(u,v)=I′(u,v)×H(u,v)+R′(u,v)×H(u,v)
其中,H(u,v)为高斯高通滤波器,I′(u,v)代表着照射分量的频域数据,R′(u,v)代表着反射分量的频域数据,G′(u,v)为锂电池频域数据,G′(u,v)×H(u,v)为滤波锂电池频域数据。
为了抑制低频分量,降低图像灰度值变化的动态范围,抑制光照不均匀现象的产生,根据高斯高通滤波器H(u,v)进行滤波:
其中,常数c用来控制滤波器函数斜面的锐化,取值在γH、γL之间,γH>1,γL<1,D0为截止频率,D2(u,v)表示与频率中心的距离的平方。
采用滤波器H(u,v)对G(u,v)进行滤波:
G′(u,v)×H(u,v)=I′(u,v)×H(u,v)+R′(u,v)×H(u,v)
其中,H(u,v)为高斯高通滤波器,I′(u,v)代表着照射分量的频域数据,R′(u,v)代表着反射分量的频域数据,G′(u,v)为锂电池频域数据,G′(u,v)×H(u,v)为滤波锂电池频域数据。
至此,得到了滤波锂电池频域数据。
步骤四,对滤波锂电池频域数据进行傅里叶反变换、指数变换,得到重构锂电池图像。
对滤波锂电池频域数据G′(u,v)×H(u,v)进行傅里叶反变换得到空域图像D。
对空域图像D进行指数变换还原图像得到重构锂电池图像S:
S(x,y)=eD(x,y)
其中,(x,y)为对应的图像坐标,S为重构锂电池图像,D为空域图像。重构锂电池图像如图3所示。
步骤五,构建形态学结构元素,分别对重构锂电池图像进行膨胀、腐蚀操作,将膨胀结果与腐蚀结果做差,得到增强缺陷图像。
构造形态学结构元素k:
采用结构元素k对重构锂电池图像S进行膨胀运算得到膨胀结果X。
采用结构元素k对重构锂电池图像S进行腐蚀运算得到腐蚀结果Y。
图像X与图像Y相减得到增强缺陷图像G1,即:
G1=X-Y
得到的增强缺陷图像如图4所示。从图4可以看出图像锂电池凸包区域的外得到加强,抑制噪声,增强缺陷灰度响应。
步骤六,利用大津阈值法对增强缺陷图像进行图像分割、连通域分析以及筛选处理,得到标注图像。
从图4可以看出锂电池表面凸包缺陷已经非常明显,可使用大津阈值法对增强图像进行二值化处理得到分割结果。进一步地,基于连通域分析以及筛选处理,得到标注图像,如图5所示。
实施者应当知道,连通域分析的算法基于公知的面积筛选、比例筛选即可。一种实施方式是逐行扫描阈值化后的图像,将具有相同值的像素组成团,从而检测出阈值化结果的连通域。进一步地,对检测到的连通域进行筛选,可以根据连通域面积等因素制定筛选规则。
实施者可以根据实施场景的图像大小、分辨率等因素设计筛选规则。对于得到的分割结果,实施者可以结合传统的机器视觉经验、设计简单、保守的样本筛选流程,例如,连通域比例筛选时使得阈值更保守、忽略缺陷不明显的样本等。
此步骤是为了在后续步骤中得到更好的效果,不作为本发明的保护内容,在此不再赘述。
步骤七,对x、y方向的Sobel梯度算子进行基于随机权重分配的线性叠加,生成梯度算子SobelG:
SobelG=SobelGx*a+SobelGy*b
其中,SobelGx、SobelGy分别表示x、y方向的Sobel梯度算子,SobelG表示随机生成的梯度算子,a∈[0,1],b∈[0,1],a+b∈[0,1];使用随机生成的梯度算子SobelG对锂电池表面灰度图像进行处理;将处理结果与锂电池原始光照分布图像叠加,得到样本增强图像。
基于积累、筛选得到的样本,可以直接训练深度卷积神经网络,实施者应当知道,样本数量推荐大于1000张以上。
由于直接基于小量样本的训练是极不严谨的,容易使得网络泛化能力变差。因此,需要进行针对锂电池设计的样本增强算法训练。一方面,锂电池外壳、热缩套的材质不同,其反射效果也不同,另一方面,对于不同的打光方案而言,表面的缺陷反射效果也不同。因此,需要对相位、光照分布等特性进行增强。
下面对样本增强进行详细阐述。
众所周知,上述的SobelGx,SobelGy分别对图像进行自左向右、自上向下的方向求导,因此,做倒相处理可以得到另一方向的模拟光照图像:Sobel′Gx=SobelGx*(-1),Sobel′Gy=SobelGy*(-1)。
综上,可以利用下式生成梯度算子模拟不同光照:
SobelG=SobelGx*a+SobelGy*b
其中,SobelGx、SobelGy分别表示x、y方向的Sobel梯度算子,SobelG表示随机生成的梯度算子,a∈[0,1],b∈[0,1],a+b∈[0,1]。
对x,y方向的算子进行随机权重的线性叠加即可模拟不同光照条件的特征。
使用随机生成的SobelG对锂电池表面灰度图像进行处理,得到模拟光照细节图像,如图6所示。图6中左、右两个图像是根据a、b不同的随机权重随机生成的两个SobelG得到的模拟光照细节图像。
进一步地,可以对锂电池表面灰度图像进行低通滤波,可以得到锂电池原始光照分布图像,如图7所示。
将模拟光照细节图像与锂电池原始光照分布图像点对点相加,得到样本增强图像,如图8所示。图8左是将图6左与图7叠加得到的样本增强图像,图8右是将图6右与图7叠加得到的样本增强图像。
如此,通过设计的梯度算子模拟随机照射干扰,即可得到多种光源效果的图像,实现样本增强,而非使用多种乃至上百种光源去感知边缘特征。
步骤八,针对多个锂电池,根据步骤一至七生成锂电池表面灰度图像、样本增强图像以及标注图像,作为样本数据集,基于交叉熵函数训练深度卷积神经网络。
深度卷积神经网络的训练需要一定数量的样本数据。针对多个锂电池样本,根据步骤一至八生成锂电池表面灰度图像、样本增强图像以及标注图像。将所有锂电池样本的灰度图像、样本增强图像、标注图象作为样本数据集,用于对深度卷积神经网络进行训练。
对于小样本训练深度卷积神经网络而言,一般使用交叉熵损失函数和Adam优化器来保证训练的成功性。但是小的体积的检测对于交叉熵函数而言不能很好地在训练后期快速提高精度,为了加速训练,同时一定程度上提高检测精度,对交叉熵函数做更大梯度的改进:
其中,S1为通道1的输出结果,L1是标注图像中像素对应的二值标签,标注位置为1,其余位置为0,α为一超参数。α越大,损失函数的惩罚越严重,对于本发明,推荐α在3左右。对于本发明,标注位置即二值分割标注图像中缺陷所在亮斑位置。
实施者应当知道,锂电池的检测是一种特殊的检测应用,对于深度神经网络的训练何时截至,应准备验证集进行观察,适时停止。
步骤九,将待检测锂电池的表面灰度图像输入训练好的深度卷积神经网络,实现新能源锂电池表面缺陷检测。
最后,使用训练好的深度卷积神经网络对待检测锂电池表面灰度图像进行推理,对输出结果二值化得到缺陷图像,实现新能源锂电池表面缺陷检测。
对于语义分割网络结果的后处理,众所周知的方法是直接对分割的通道进行二值化处理即可,在此不再赘述。
本发明能够克服电池表面光照不均匀现象,增强图像表面光照均匀度,提升图像暗区域细节。本发明采用解耦照射分量和反射分量、傅里叶变换等计算机视觉技术,对锂电池图像进行处理,获得更加准确的缺陷定位,无需人工标注,提高了标注效率和准确率,并且有助于降低缺陷的误检率;采用深度学习技术,基于获得的缺陷标注图像对神经网络进行训练,实现了半监督的缺陷检测,提高了缺陷检测效率;通过设计的梯度算子模拟随机照射干扰,即可得到多种光源效果的图像,实现样本增强,而非使用多种乃至上百种光源去感知边缘特征,不仅提高了检测效率,而且,基于样本增强的数据集训练神经网络,对光源、缺陷类型具有更强的泛化能力。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于自适应深度学习的新能源锂电池表面缺陷检测方法,其特征在于,该方法包括:
步骤一,采集锂电池表面灰度图像,利用非线性算子对锂电池表面灰度图像进行非线性映射,解耦照射分量和反射分量:
ln(G(x,y)+1)=ln(I(x,y)+1)+ln(R(x,y)+1)
其中,G为锂电池表面灰度图像,I为照射分量,R为反射分量,(x,y)为像素点坐标;
步骤二,通过傅里叶变换将解耦的照射分量和反射分量变换至频域;
步骤三,利用高斯高通滤波器分别对照射分量的频域数据和反射分量的频域数据进行滤波,得到滤波锂电池频域数据:
G′(u,v)×H(u,v)=I′(u,v)×H(u,v)+R′(u,v)×H(u,v)
其中,H(u,v)为高斯高通滤波器,I′(u,v)代表着照射分量的频域数据,R′(u,v)代表着反射分量的频域数据,G′(u,v)为锂电池频域数据,G′(u,v)×H(u,v)为滤波锂电池频域数据;
步骤四,对滤波锂电池频域数据进行傅里叶反变换、指数变换,得到重构锂电池图像;
步骤五,构建形态学结构元素,分别对重构锂电池图像进行膨胀、腐蚀操作,将膨胀结果与腐蚀结果做差,得到增强缺陷图像;
步骤六,利用大津阈值法对增强缺陷图像进行图像分割、连通域分析以及筛选处理,得到标注图像;
步骤七,对x、y方向的Sobel梯度算子进行基于随机权重分配的线性叠加,生成梯度算子SobelG:
SobelG=SobelGx*a+SobelGy*b
其中,SobelGx、SobelGy分别表示x、y方向的Sobel梯度算子,SobelG表示随机生成的梯度算子,a∈[0,1],b∈[0,1],a+b∈[0,1];使用随机生成的梯度算子SobelG对锂电池表面灰度图像进行处理;将处理结果与锂电池原始光照分布图像叠加,得到样本增强图像;
步骤八,针对多个锂电池,根据步骤一至七生成锂电池表面灰度图像、样本增强图像以及标注图像,作为样本数据集,基于交叉熵函数训练深度卷积神经网络;
步骤九,将待检测锂电池的表面灰度图像输入训练好的深度卷积神经网络,实现新能源锂电池表面缺陷检测。
2.如权利要求1所述的基于自适应深度学习的新能源锂电池表面缺陷检测方法,其特征在于,所述步骤二包括:
对解耦的照射分量和反射分量进行傅里叶变换,得到照射分量的频域数据和反射分量的频域数据:
FT(ln(G(x,y)))=FT(ln(I(x,y)+1))+FT(ln(R(x,y)+1)
其中,FT表示傅里叶变换。
5.如权利要求1所述的基于自适应深度学习的新能源锂电池表面缺陷检测方法,其特征在于,所述步骤七包括:
对x、y方向的Sobel梯度算子进行基于随机权重分配的线性叠加,生成梯度算子SobelG:
SobelG=SobelGx*a+SobelGy*b
其中,SobelGx、SobelGy分别表示x、y方向的Sobel梯度算子,SobelG表示随机生成的梯度算子,a∈[0,1],b∈[0,1],a+b∈[0,1];
使用随机生成的梯度算子SobelG对锂电池表面灰度图像进行处理,得到模拟光照细节的图像;
对锂电池表面灰度图像进行低通滤波,得到锂电池原始光照分布图像;
将模拟光照细节的图像与锂电池原始光照分布图像点对点相加,得到样本增强图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911346723.6A CN111105405B (zh) | 2019-12-24 | 2019-12-24 | 基于自适应深度学习的新能源锂电池表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911346723.6A CN111105405B (zh) | 2019-12-24 | 2019-12-24 | 基于自适应深度学习的新能源锂电池表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111105405A CN111105405A (zh) | 2020-05-05 |
CN111105405B true CN111105405B (zh) | 2020-12-25 |
Family
ID=70424227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911346723.6A Active CN111105405B (zh) | 2019-12-24 | 2019-12-24 | 基于自适应深度学习的新能源锂电池表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111105405B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951253B (zh) * | 2020-05-19 | 2021-08-20 | 高视科技(苏州)有限公司 | 用于锂电池表面缺陷检测的方法、设备及可读存储介质 |
KR102680595B1 (ko) * | 2020-09-18 | 2024-07-01 | 주식회사 엘지에너지솔루션 | 리튬 이차 전지의 검사 방법 |
CN112258459A (zh) * | 2020-10-12 | 2021-01-22 | 江南大学 | 一种基于集成深度学习的锂电池瑕疵检测方法 |
CN113129260B (zh) * | 2021-03-11 | 2023-07-21 | 广东工业大学 | 一种锂电池电芯内部缺陷的自动检测方法及装置 |
CN114119462A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯铝壳蓝膜外观检测算法 |
FR3134181A1 (fr) * | 2022-04-01 | 2023-10-06 | Psa Automobiles Sa | Procede de detection d’un defaut d’etat de surface sur une surface metallique d’un element de vehicule |
CN114881878B (zh) * | 2022-05-12 | 2023-07-18 | 厦门微图软件科技有限公司 | 深度图像增强方法、装置、设备及存储介质 |
CN115082451B (zh) * | 2022-07-26 | 2022-12-13 | 南通剑烽机械有限公司 | 一种基于图像处理的不锈钢汤勺缺陷检测方法 |
CN115294135B (zh) * | 2022-10-09 | 2023-01-03 | 临沂华太电池有限公司 | 一种电池卷边封口质量检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5751243A (en) * | 1990-10-29 | 1998-05-12 | Essex Corporation | Image synthesis using time sequential holography |
CN104751447A (zh) * | 2015-01-10 | 2015-07-01 | 哈尔滨工业大学(威海) | 一种锂电池单元缺陷检测方法 |
CN106814088A (zh) * | 2016-12-30 | 2017-06-09 | 镇江苏仪德科技有限公司 | 基于机器视觉对电池片颜色分选的检测装置及方法 |
CN109191421A (zh) * | 2018-07-04 | 2019-01-11 | 沈阳工业大学 | 柱形锂电池圆周面凹坑视觉检测方法 |
CN110308397A (zh) * | 2019-07-30 | 2019-10-08 | 重庆邮电大学 | 一种混合卷积神经网络驱动的锂电池多类故障诊断建模方法 |
CN110349120A (zh) * | 2019-05-31 | 2019-10-18 | 湖北工业大学 | 太阳能电池片表面缺陷检测方法 |
CN110544231A (zh) * | 2019-07-24 | 2019-12-06 | 华南理工大学 | 基于背景标准化和集中补偿算法的锂电池电极表面缺陷检测方法 |
-
2019
- 2019-12-24 CN CN201911346723.6A patent/CN111105405B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5751243A (en) * | 1990-10-29 | 1998-05-12 | Essex Corporation | Image synthesis using time sequential holography |
CN104751447A (zh) * | 2015-01-10 | 2015-07-01 | 哈尔滨工业大学(威海) | 一种锂电池单元缺陷检测方法 |
CN106814088A (zh) * | 2016-12-30 | 2017-06-09 | 镇江苏仪德科技有限公司 | 基于机器视觉对电池片颜色分选的检测装置及方法 |
CN109191421A (zh) * | 2018-07-04 | 2019-01-11 | 沈阳工业大学 | 柱形锂电池圆周面凹坑视觉检测方法 |
CN110349120A (zh) * | 2019-05-31 | 2019-10-18 | 湖北工业大学 | 太阳能电池片表面缺陷检测方法 |
CN110544231A (zh) * | 2019-07-24 | 2019-12-06 | 华南理工大学 | 基于背景标准化和集中补偿算法的锂电池电极表面缺陷检测方法 |
CN110308397A (zh) * | 2019-07-30 | 2019-10-08 | 重庆邮电大学 | 一种混合卷积神经网络驱动的锂电池多类故障诊断建模方法 |
Non-Patent Citations (3)
Title |
---|
Image-based defect detection in lithium-ion battery electrode using convolutional neural networks;Olatomiwa Badmos,et al.;《Journal of Intelligent Manufacturing》;20190801;885-896 * |
基于机器视觉的电池表面缺陷检测技术研究;王磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110915(第9期);17-60 * |
基于条纹反射的太阳能电池硅晶片表面质量检测方法研究;李明阳;《万方全文数据库》;20161103;41-50 * |
Also Published As
Publication number | Publication date |
---|---|
CN111105405A (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111105405B (zh) | 基于自适应深度学习的新能源锂电池表面缺陷检测方法 | |
Ren et al. | State of the art in defect detection based on machine vision | |
CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
CN111325721A (zh) | 一种基于红外热成像的气体泄漏检测方法及系统 | |
CN107808383B (zh) | 一种强海杂波下sar图像目标快速检测方法 | |
Tao et al. | Rolling surface defect inspection for drum-shaped rollers based on deep learning | |
CN114749342B (zh) | 一种锂电池极片涂布缺陷识别方法、装置及介质 | |
CN105741244B (zh) | 一种室内巡检机器人弱光下去除阴影和光晕的方法 | |
CN103020904A (zh) | 反射消除系统 | |
CN114119462A (zh) | 一种基于深度学习的锂电池电芯铝壳蓝膜外观检测算法 | |
CN111931620A (zh) | 仪表盘定位识别方法、装置、电子设备及存储介质 | |
Guo et al. | Haze removal for single image: A comprehensive review | |
CN112465057A (zh) | 一种基于深度卷积神经网络的目标检测识别方法 | |
Haoran et al. | Egg crack detection based on support vector machine | |
CN113538342B (zh) | 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法 | |
Ju et al. | A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation | |
Li et al. | Laplace dark channel attenuation-based single image defogging in ocean scenes | |
CN117611540A (zh) | 一种锂电池极片涂布缺陷检测方法及相关设备 | |
Xu et al. | A deep neural network-based intelligent detection model for manufacturing defects of automobile parts | |
Xu et al. | Research on improved residual network classification method for defect recognition of thermal battery | |
Dai et al. | A study of an improved RCNN network model for surface defect detection algorithm of precision workpiece and its realisation | |
CN115330705A (zh) | 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法 | |
CN115063679A (zh) | 一种基于深度学习的路面质量评估方法 | |
Mai et al. | An improved method for Vietnam License Plate location | |
Song et al. | End-to-end dehazing of traffic sign images using reformulated atmospheric scattering model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20201207 Address after: Room 1208, 1209 and 1210 on the south side of 12th floor of No. 4 Building of Service Outsourcing Industrial Park, Wuhu High-tech Industrial Development Zone, Anhui Province Applicant after: WUHU CHURUI INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 464300 Dongyue Town, Xi county, Xinyang City, Henan Province Applicant before: Liu Tiantian |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |