CN110222784A - 融合短时和长时深度特征的太阳能电池片缺陷检测方法 - Google Patents
融合短时和长时深度特征的太阳能电池片缺陷检测方法 Download PDFInfo
- Publication number
- CN110222784A CN110222784A CN201910511774.3A CN201910511774A CN110222784A CN 110222784 A CN110222784 A CN 110222784A CN 201910511774 A CN201910511774 A CN 201910511774A CN 110222784 A CN110222784 A CN 110222784A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- layer
- noise reduction
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000007547 defect Effects 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 title claims abstract description 9
- 238000007689 inspection Methods 0.000 title abstract description 3
- 239000011159 matrix material Substances 0.000 claims abstract description 105
- 230000009467 reduction Effects 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000012805 post-processing Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 44
- 230000007774 longterm Effects 0.000 claims description 34
- 210000004027 cell Anatomy 0.000 claims description 33
- 210000002569 neuron Anatomy 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 238000011049 filling Methods 0.000 description 2
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其步骤为：预处理；短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征；长时深度特征提取；短时深度特征和长时深度特征融合与转换；低秩矩阵分解与后处理，得到最终检测结果。本发明使用融合当前图像观测信息和先验知识的深度特征来表征太阳能电池片的缺陷，能够显著提高太阳能电池片缺陷检测的通用性和准确性，运算量小、检测效率高，且定位精度较高。
Description
技术领域
本发明涉及太阳能电池片缺陷检测的技术领域，尤其涉及一种融合短时和长时深度特征的太阳能电池片缺陷检测方法。
背景技术
近年来，面对环境恶化和能源短缺的问题，利用太阳能等可再生能源来发电已经成为解决这一问题的关键技术手段，而作为太阳能光伏发电系统的关键设备，太阳能电池片的质量对发电效率有着深远的影响。因此，对生产出的太阳能电池片进行缺陷检测具有重要意义。
现有的太阳能电池片缺陷检测的方法众多，其中，基于机器视觉的检测方法以其高效、便捷的特点成为了当前研究的主流。作为缺陷检测过程中的重要环节，特征提取对最终的检测结果具有显著影响，根据特征选用的不同可将基于机器视觉的太阳能电池片缺陷检测方法分为基于当前图像观测信息的检测方法和基于先验知识的检测方法两大类。其中，基于当前图像观测信息的方法通常采用手工设计的特征，通用性差，缺乏先验知识作为指导，而基于先验知识的检测方法缺乏大规模的标注样本数据集，因此，泛化能力也受到了限制。
发明内容
针对现有单纯使用当前图像观测信息或是单纯使用先验知识的检测方法通用性差，检测准确度不够的技术问题，本发明提出一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，有效利用了融合当前图像观测信息和先验知识的深度特征来表征太阳能电池片的缺陷，能够显著提高单晶硅太阳能电池片缺陷检测的通用性和准确性，且运算量小、检测效率高。
为了达到上述目的，本发明的技术方案是这样实现的：一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其步骤如下：
步骤一：预处理：对一帧待检测的太阳能电池片三通道彩色图像进行预处理，消除待检测图像中的无关信息；减少图像中的杂质背景；提高缺陷的可检测性，为后续的有效特征提取做好准备；
步骤二：短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征；
步骤三：长时深度特征提取：将预处理后的图像直接送入到深度卷积神经网络中提取由先验知识组成的长时深度特征；
步骤四：短时深度特征和长时深度特征融合与转换：将短时深度特征和长时深度特征进行拼接融合，对预处理后的图像进行超像素分割，将分割过程中确定出的每个超像素块包含像素点的定位标签投影到融合后的三维特征矩阵上，使其转换为二维矩阵，得到最终的特征表示；
步骤五：低秩矩阵分解与后处理：对转换后的二维特征矩阵进行低秩矩阵分解，得到初步检测结果，再对初步检测结果进行阈值分割、膨胀、细化、上采样等一系列后处理后得到最终检测结果，并通过计算机屏幕将最终检测结果直观地呈现出来。
所述步骤一的预处理的方法包括图像缩放、灰度化、中值滤波和主、副栅线的删除与再填充，实现的步骤为：
步骤1.1：将长度为e、宽度为z的待检测太阳能电池片三通道彩色图像Io按照比例因子θ进行同比缩放，得到长度为m、宽度为n的RGB三通道彩色图像Ic，其中，长度e、m宽度z、n均为正整数，且0＜θ＜1，m＝Roundoff(e×θ)，n＝Roundoff(z×θ)，Roundoff(·)表示四舍五入操作；
步骤1.2：将缩放后的RGB三通道彩色图像Ic通过加权平均方法实现从真彩三维空间到灰度一维空间的灰度化转换：
其中，Ig为经过灰度化后的单通道灰度图像，分别为RGB三通道彩色图像Ic的三通道彩色分量，r、g、b分别为计算相应三通道彩色分量灰度值的系数，然后对单通道灰度图像Ig进行中值滤波来消除噪声，得到滤波后的单通道灰度图像：
If＝Median(Ig)；
其中，Median(·)表示取中值操作，If为中值滤波后的单通道灰度图像；
步骤1.3：求取单通道灰度图像If中每一行所包含像素点的灰度和，将每一行的灰度和与所有行的灰度和的平均值做比较，根据主栅线的灰度值明显高于非栅线区域的特点，实现主栅线的自动定位；紧接着求取每一列所包含像素点的灰度和，将每一列的灰度和与所有列的灰度和的平均值做比较，根据副栅线的灰度值明显高于非栅线区域的特点，实现副栅线的自动定位，然后依据定位出的主、副栅线所对应的行、列坐标在三通道彩色图像Ic中实现主、副栅线的删除与再填充；
步骤1.4：将所有主栅线、副栅线删除并填充后的三通道彩色图像按照比例因子θ再次进行同比缩放，得到长度为σ、宽度为τ的预处理后的图像Id，其中，σ＝Roundoff(m×θ)，τ＝Roundoff(n×θ)。
所述步骤二中的每个图像块都与水平和垂直方向的相邻图像块之间有50％的区域重叠，每个图像块都与斜对角线方向的相邻图像块之间有25％的区域重叠；即利用大小为β×β的滑动窗口在Id上从左上到右下按照β/2的步长顺次截取出大小为β×β×3的图像块，将每个图像块的三个通道的β×β二维矩阵均转化为β2×1的列向量，然后将三个列向量依次拼接后得到长度为α的列向量，按照截取的先后次序将所有图像块的列向量组成样本集合其中，α＝β×β×3，xp∈Rα为第p个图像块向量化后的结果，且 为截取出的所有图像块个数。
所述步骤二中堆叠式降噪自动编码器中的降噪自动编码器包括输入层、隐藏层和输出层，输入层在输入数据中引入随机噪声，隐含层对输入层加有噪声后的数据进行编码和解码，输出层则尽可能地重构输入数据并且保持输出层神经元数量与输入层神经元数量一致；所述堆叠式降噪自动编码器是由若干个将输出层去掉后的降噪自动编码器一层一层堆叠起来形成的深度学习模型，且堆叠式降噪自动编码器至少包含两个降噪自动编码器，第一个降噪自动编码器隐藏层输出的数据作为第二个降噪自动编码器的输入层的输入数据，依次类推，最后一个降噪自动编码器隐藏层输出的数据即为图像块经过堆叠式降噪自动编码器训练学习获得的列向量。
所述步骤二中降噪自动编码器进行训练的方法为：
步骤2.1：通过将降噪自动编码器输入层的原始输入数据xp随机置零映射出加有噪声的输入数据：
其中，dxp∈Rα是将原始输入数据xp通过置零函数d(·)随机置零后获得的加有噪声的输入数据，通过随机置零进行加噪声可以防止出现过拟合问题；
步骤2.2：对第一个降噪自动编码器输入层加有噪声后的输入数据dxp进行编码计算：
其中，为第一个降噪自动编码器对dxp进行编码后形成的隐藏层特征；表示第一个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，表示第一个降噪自动编码器中隐藏层神经元的偏置向量，Sigmoid(·)为激活函数，且Sigmoid(y)＝1/(1+exp(-y))，y是激活函数的变量；
步骤2.3：对第一个降噪自动编码器隐藏层输出的隐藏层特征进行解码计算，有：
其中，为第一个降噪自动编码器对编码后的隐藏层特征进行解码后的结果，表示第一个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，表示第一个降噪自动编码器中输出层神经元的偏置向量；
步骤2.4：对第二个及其后的每个降噪自动编码器进行编码的过程为：首先将前一个降噪自动编码器的隐藏层特征输入到下一个降噪自动编码器的输入层，有：
其中，为第二个降噪自动编码器对第一个降噪自动编码器的隐藏层特征进行随机置零后获得的加有噪声的输入数据，为第二个降噪自动编码器对进行编码后形成的第二个降噪自动编码器隐藏层特征，表示第二个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，表示第二个降噪自动编码器中隐藏层神经元的偏置向量；为第γ个降噪自动编码器对第γ-1个降噪自动编码器的隐藏层特征进行随机置零后获得的加有噪声的输入数据，为第γ个降噪自动编码器对进行编码后形成的第γ个降噪自动编码器隐藏层特征，χ为降噪自动编码器的总个数；表示第γ个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，表示第γ个降噪自动编码器中隐藏层神经元的偏置向量；
步骤2.5：对第二个及其后的每个降噪自动编码器的隐藏层输出的隐藏层特征进行解码计算，有：
其中，为第二个降噪自动编码器对编码后的隐藏层特征进行解码后的结果，表示第二个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，表示第二个降噪自动编码器中输出层神经元的偏置向量，为第γ个降噪自动编码器对编码后的隐藏层特征进行解码后的结果，表示第γ个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，表示第γ个降噪自动编码器中输出层神经元的偏置向量；
步骤2.6：用于训练所有降噪自动编码器的损失函数定义如下：
其中，为训练第γ个降噪自动编码器的损失函数，Hγ为第γ个降噪自动编码器中输入层神经元的个数，Mγ为第γ个降噪自动编码器中隐藏层神经元的个数，ργ是设定的第γ个降噪自动编码器中隐藏层神经元的平均输出，是第γ个降噪自动编码器中第g个隐藏层神经元在所有个样本上的平均输出，KL(·)代表KL散度，λ代表稀疏性约束的权重；表示第γ个降噪自动编码器中输入层到隐藏层之间的权值矩阵中第h行、第g列元素的数值大小，β表示权重衰减项的权值大小；
重复上述逐层训练过程，直到最后一个降噪自动编码器训练完成，并舍弃输出层及其相应的权重矩阵和偏置向量，只保留输入层和隐藏层的权重矩阵和偏置向量，训练过程结束后，最后一个降噪自动编码器中隐藏层神经元的输出即为堆叠式降噪自动编码器提取出的特征。所述第p个图像块经过最后一个降噪自动编码器的隐藏层输出列向量fp，所有图像块的最后一个降噪自动编码器的隐藏层输出的列向量组成的二维矩阵为自适应深度特征矩阵：其中，δ为最后一个降噪自动编码器中隐藏层神经元的个数；将自适应深度特征矩阵Fd转换到三维矩阵得到由当前图像观测信息组成的短时深度特征：Fs∈Rσ×τ×δ，其中，σ和τ分别为前述预处理后的图像Id的长度和宽度。
所述步骤三中长时深度特征提取的方法为：
步骤3.1：使用由13个卷积层和3个全连接层组成的VGG-16深度卷积神经网络来逐像素地提取图像Id的深度卷积特征，首先，输入层将图像Id的大小调整到VGG-16的固定输入大小：
Iv＝Resize(Id)；
其中，Resize表示自动将输入图像调整到固定大小，Iv为调整大小后的图像，执行卷积过程，有：
H0＝Iv；
Hl＝Pooling(ReLU(Hl-1**wl+bl))，l∈[1，13]；
其中，Hl和Hl-1分别表示第l层和l-1层的状态输出，H0表示输入层的状态输出，即：第0层特指输入层，Pooling(·)表示最大池化操作，ReLU(·)表示线性整流激活函数，**表示卷积操作，wl和bl分别表示深度卷积神经网络中第l层和第l-1层之间的权值矩阵和偏差向量；
步骤3.2：将VGG-16深度卷积神经网络中第二、四、七卷积层所提取出的特征H2、H4和H7分别上采样得到与预处理后的图像Id大小相同的三维特征矩阵U2、U4和U7，并在第三维度上对三维特征矩阵U2、U4和U7进行拼接融合：
其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为前述预处理后的图像Id的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，Fl为长时深度特征，υ为长时深度特征Fl在第三维上的维数。
所述步骤四中短时深度特征和长时深度特征的融合与转换的方法为：
步骤4.1：在第三维度上对短时深度特征和长时深度特征进行拼接融合得到拼接后的三维特征矩阵：
其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为前述预处理后的图像Id的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，F为短时深度特征Fs和长时深度特征Fl在第三维度上拼接后得到的三维特征矩阵，μ为三维特征矩阵F在第三维上的维数，且：μ＝δ+υ；
步骤4.2：通过简单线性迭代聚类算法将预处理后的图像Id分割成一组不重叠的超像素块S＝{s1,s2,...sη,...sψ}，ψ为分割出的超像素块个数；将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块sη内的所有像素点求均值得到转换后的二维特征矩阵Qf＝[q1,q2,···,qη,···,qψ]∈Rψ×μ：
其中，qη∈Rμ代表第η个超像素块sη的特征向量，ωη为sη内所有像素点的个数，F(i,j,:)表示sη内坐标为(i,j)的像素点的特征向量。
所述步骤五中低秩矩阵分解和后处理的实现方法为：
步骤5.1：根据稀疏性，利用矩阵低秩分解算法将二维特征矩阵Qf分解为低秩矩阵Fw和稀疏矩阵Fe两部分：Qf＝Fw+Fe，然后沿列方向对分解出的稀疏矩阵Fe求取l1范数得到行向量V＝[v1,v2,···vη,vψ]∈R1×ψ：
V＝||Fe||1；
令Id中第η个超像素块sη的所有像素点的灰度值等于rη，可得到初步检测结果Rt∈Rσ×τ，其中，rη可通过下式计算得到：
步骤5.2：利用自适应阈值分割算法确定出的全局阈值将初步结果Rt转换为二值图像：
其中，T为全局阈值，Rb表示经阈值分割后的二值图像，对Rb施加膨胀、细化、上采样等后处理操作得到一个和原始待检测图像大小相同的清晰、连续、均匀的最终的检测结果Rf：
其中，和分别代表膨胀和细化，E1、E2和E3为结构元素，Median(·)为中值滤波，Gauss(·)为高斯滤波，Upsampling(·)为上采样操作。
与现有技术相比，本发明的有益效果：1)本发明能够有效利用代表当前图像观测信息的短时深度特征和代表先验知识的长时深度特征，并可实现两种特征的有效融合，弥补了现有特征提取方法中不能同时有效利用二者优越性的不足。2)本发明通过构建一种基于堆叠式降噪自动编码器和深度卷积神经网络的组合网络架构来实现短时和长时深度特征的提取与融合。通过实验可知，本发明运算量小、检测效率高，能够显著提高单晶硅太阳能电池片缺陷检测的通用性和准确性，且定位精度较高，对提高太阳能电池片的质检效率和出厂合格率具有重要意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明基于堆叠式降噪自动编码器和深度卷积神经网络的组合架构的结构示意图，其中，上半部分为深度卷积神经网络结构框架，下半部分为堆叠式降噪自动编码器结构框架。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明的一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其步骤如下：
步骤一：预处理：采用图像缩放、灰度化、中值滤波和栅线删除等技术手段对一帧待检测的太阳能电池片三通道彩色图像进行预处理，消除图像中的无关信息；减少图像中的杂质背景；提高缺陷的可检测性，为后续的有效特征提取做好准备。
进一步地，所述步骤步骤一的实现方法为：
步骤S11：将大小为2824×2824的待检测太阳能电池片图像Io按照比例因子θ＝0.4的缩放比例进行同比缩放，即：1130＝Roundoff(2284×0.4)，得到大小为1130×1130的缩放后的RGB三通道彩色图像Ic，然后对缩放后的RGB三通道彩色图像Ic通过加权平均方法实现从真彩三维空间到灰度一维空间的灰度化转换，灰度化的过程中用于计算相应三通道彩色分量灰度值的系数r、g、b分别为0.299、0.587和0.114，灰度化的模板大小为3×3。接下来，对灰度化后的单通道灰度图像Ig进行中值滤波来消除噪声，得到滤波后的单通道灰度图像If为：
If＝Median(Ig)；
其中，Roundoff(·)表示四舍五入操作，Median(·)表示取中值操作，即将(·)集合中的所有元素按大小排序，取中间的元素值作为输出结果。
步骤S12：进行预处理的目的是为了删除对检测过程产生影响的主栅线和副栅线。求取单通道灰度图像If中每一行所包含像素点的灰度和，将每一行的灰度和与所有行的灰度和的平均值做比较，根据主栅线的灰度值明显高于非栅线区域的特点，实现主栅线的自动定位；紧接着求取每一列所包含像素点的灰度和，将每一列的灰度和与所有列的灰度和的平均值做比较，根据副栅线的灰度值明显高于非栅线区域的特点，实现副栅线的自动定位，然后依据定位出的主、副栅线所对应的行、列坐标在三通道彩色图像Ic中实现主、副栅线的删除与再填充，由于栅线删除后进行了插值填充，所以图像大小不变；
将所有主栅线、副栅线删除并填充后的三通道彩色图像再次按照比例因子θ＝0.4的缩放比例进行缩放，即：452＝Roundoff(1130×0.4)，至此，所有的预处理操作已完成，得到最终大小为452×452的预处理后的彩色图像Id。
步骤二：短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征。
进一步地，所述步骤二的实现方法为：
步骤S21：利用滑块的方式将预处理后的彩色图像Id分块并向量化后送入到堆叠式降噪自动编码器中得到基于图像块自身产生的自适应深度特征，本实施步骤中滑块的大小为4×4，滑动的步长为2，每个图像块都与水平和垂直方向的相邻图像块之间有50％的区域重叠，与斜对角线方向的相邻图像块之间有25％的区域重叠。采用此种方式将预处理后的大小为452×452的彩色图像Id进行分块后的图像块个数为50625个，其中，每个图像块的尺寸为4×4×3，3为图像通道数。将每个4×4×3的彩色图像块转换成列向量。每个彩色图像块都包括R、G、B三个通道，每个通道可转化成一个4×4＝16维的列向量，按照R、G、B的顺序将3个16维的列向量拼接成一个16×3＝48维的列向量xp，因此所有图像块向量化后所得矩阵的大小为：48×50625。所述堆叠式降噪自动编码器是由若干个将输出层去掉后的降噪自动编码器一层一层堆叠起来形成的深度学习模型，且堆叠式降噪自动编码器至少包含两个降噪自动编码器，具体地，本发明中所选用的堆叠式降噪自动编码器中降噪自动编码器的个数为3，每个降噪自动编码器中的输入层加噪声过程中随机置零的数据比例设置为10％，降低数据冗余。三个降噪自动编码器输入层、隐藏层和输出层神经元的个数分别为：48、240、48；240、360、240；360、480、360；由于最后一个降噪自动编码器中隐藏层神经元的个数为480，因此，所获取的自适应深度特征矩阵的大小为：480×50625。
步骤S22：将二维自适应深度特征矩阵Fd转换到三维矩阵即得到由当前图像观测信息组成的短时深度特征，此过程通过数学运算依靠程序实现，480×50625的二维矩阵是由480个1×50625的一维向量组成的，先创建大小为452×452×480的三维零数组，利用MATLAB里的reshape语句把1×50625的一维向量转成452×452的二维矩阵，并赋值到创建好的三维矩阵每一维的平面上，将这个过程在第三维度上重复循环480次得到452×452×480的三维矩阵。具体地，短时深度特征Fs的大小为：452×452×480。
步骤三：长时深度特征提取：将预处理后得到的三通道彩色图像直接送入到深度卷积神经网络中提取由先验知识组成的长时深度特征。
进一步地，所述步骤三的实现方法为：
步骤S31：使用由13个卷积层和3个全连接层组成的VGG-16深度卷积神经网络来逐像素地提取Id的深度卷积特征，首先，输入层将Id的图像大小调整到VGG-16的固定输入大小Iv，然后执行卷积过程。本步骤中VGG-16的固定输入大小为：224×224，其余VGG-16所用参数的都是在Image Net数据集上预训练好的参数；
步骤S32：将VGG-16深度卷积神经网络中前三个卷积大组中的最后一层，即Conv1_2、Conv2_2和Conv3_3三个卷积层所提取出的特征H2、H4和H7分别上采样到预处理后的图像大小，并在第三维度上对上采样后的三维特征矩阵进行拼接融合得到三维特征矩阵Fl，这其中，选用的三个卷积层所提取出的特征H2、H4和H7的大小分别为224×224×64、112×112×128和56×56×256，将它们的长和宽全部上采样到452×452进行拼接融合后的三维特征矩阵Fl的大小为452×452×448，即长时深度特征。
步骤四：短时深度特征和长时深度特征的融合与转换：将步骤二获得短时深度特征和步骤三获得的长时深度特征进行拼接融合得到三维特征矩阵，对预处理后的图像进行超像素分割，将分割过程中确定出的每个超像素块包含像素点的定位标签投影到融合后的三维特征矩阵上，使其转换为二维矩阵，得到最终的特征表示。
进一步地，所述步骤四包括：
步骤S41：通过线性相加函数在第三维度上实现短时深度特征和长时深度特征的融合，具体地，本步骤中融合后的三维特征在第三维上的维度μ为928，短时深度特征Fs和长时深度特征Fl的大小分别为：452×452×480和452×452×448，经融合后形成的三维特征矩阵F大小为：452×452×928；将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块sη内的所有像素点求均值得到转换后的二维特征矩阵Qf＝[q1,q2,···,qη,···,qψ]∈Rψ×μ：
步骤S42：对预处理后的图像进行超像素分割，通过简单线性迭代聚类算法将预处理后的图像Id分割成一组不重叠的超像素块S＝{s1,s2,...sη,...sψ}，其中，ψ为分割出的超像素块个数，将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块sη内的所有像素点求均值得到转换后的二维特征矩阵Qf＝[q1,q2,···,qη,···,qψ]∈Rψ×μ。具体地，本步骤中超像素块的个数ψ为：8100，转换后二维特征矩阵Qf的大小为：928×8100。
步骤五：低秩矩阵分解与后处理：对转换后的二维特征矩阵进行低秩矩阵分解，得到初步检测结果，再对初步检测结果进行阈值分割、膨胀、细化、上采样等一系列后处理后得到最终检测结果，并通过计算机屏幕将最终检测结果直观地呈现出来。
进一步地，所述步骤五包括：
步骤S51：根据稀疏性，利用矩阵低秩分解算法将二维特征矩阵Qf分解为低秩矩阵和稀疏矩阵两部分，通过对分解出的稀疏矩阵Fe求取l1范数可得到由每个超像素块所包含像素点的均值组成的向量矩阵V＝||Fe||1，其中，V＝[v1,v2,···vη,vψ]∈R1×ψ，将V中的每个元素除以相对应的超像素块内像素点的个数得到rη，令图像Id中第η个超像素块sη的所有像素点的灰度值等于rη，即可得到初步检测结果Rt∈Rσ×τ，本实施例中向量矩阵V的大小为1×8100，初步检测结果Rt的大小为452×452；
步骤S52：利用自适应阈值分割算法将初步检测结果Rt上有缺陷的区域像素点的灰度值设为0，无缺陷区域像素点的灰度值设为1，呈现出明显的黑白效果，即为转换后的大小为452×452的二值图像Rb，然后对二值图像Rb施加诸如阈值分割、膨胀、细化、上采样等一系列后处理后得到一个大小为2824×2824的清晰、连续、均匀的最终检测结果Rf。
为了验证本发明的预测精度，本发明在硬件环境为Intel(R)Core(TM)i5CPU3.2G、8GB内存、1GB显存显卡的计算机上进行了实验，运行的软件环境是：Matlab R2017b和Windows7。实验所选取的太阳能电池片图像为一幅分辨率2824×2824的彩色图像。本发明在120幅太阳能电池片图像上进行了测试验证，结果如下：
1)采用本发明的方法可以以较快速度检测出太阳能电池片图像中的缺陷，每幅图像的平均检测时间为0.6s左右。
2)采用本发明可获得98％的缺陷检测正确率，其中，缺陷检测准确率定义为判断正确的太阳能电池片图像的数量与参与检测的太阳能电池片图像的总数量之比。表1所示为120幅测试图像的检测结果统计：40幅有缺陷图像全部检测正确，80幅无缺陷图像中仅有2幅图像被误检，误检的原因是由于该电池片背景杂质太过密集而导致其被误认为是缺陷。
表1对120幅测试图像的检测结果统计
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，其步骤如下：
步骤一：预处理：对一帧待检测的太阳能电池片三通道彩色图像进行预处理，消除待检测图像中的无关信息；
步骤二：短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征；
步骤三：长时深度特征提取：将预处理后的图像直接送入到深度卷积神经网络中提取由先验知识组成的长时深度特征；
步骤四：短时深度特征和长时深度特征融合与转换：将短时深度特征和长时深度特征进行拼接融合，对预处理后的图像进行超像素分割，将分割过程中确定出的每个超像素块包含像素点的定位标签投影到融合后的三维特征矩阵上，使其转换为二维矩阵，得到最终的特征表示；
步骤五：低秩矩阵分解与后处理：对转换后的二维特征矩阵进行低秩矩阵分解，得到初步检测结果，再对初步检测结果进行后处理后得到最终检测结果。
2.根据权利要求1所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤一的预处理的方法包括图像缩放、灰度化、中值滤波和主、副栅线的删除与再填充，实现的步骤为：
步骤1.1：将长度为e、宽度为z的待检测太阳能电池片三通道彩色图像Io按照比例因子θ进行同比缩放，得到长度为m、宽度为n的RGB三通道彩色图像Ic，其中，长度e和m、宽度z和n均为正整数，且0＜θ＜1，m＝Roundoff(e×θ)，n＝Roundoff(z×θ)，Roundoff(·)表示四舍五入操作；
步骤1.2：将缩放后的RGB三通道彩色图像Ic通过加权平均方法转换为单通道灰度图像Ig，然后对单通道灰度图像Ig进行中值滤波得到滤波后的单通道灰度图像：
If＝Median(Ig)；
其中，Median(·)表示取中值操作，If为中值滤波后的单通道灰度图像；
步骤1.3：求取单通道灰度图像If中每一行所包含像素点的灰度和，将每一行的灰度和与所有行的灰度和的平均值做比较，根据主栅线的灰度值明显高于非栅线区域的特点，实现主栅线的自动定位；紧接着求取每一列所包含像素点的灰度和，将每一列的灰度和与所有列的灰度和的平均值做比较，根据副栅线的灰度值明显高于非栅线区域的特点，实现副栅线的自动定位，然后依据定位出的主、副栅线所对应的行、列坐标在三通道彩色图像Ic中实现主、副栅线的删除与再填充；
步骤1.4：将所有主、副栅线删除并填充后的三通道彩色图像按照比例因子θ再次进行同比缩放，得到长度为σ、宽度为τ的预处理后的图像Id，其中，σ＝Roundoff(m×θ)，τ＝Roundoff(n×θ)。
3.根据权利要求1所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤二中的每个图像块都与水平和垂直方向的相邻图像块之间有50％的区域重叠，每个图像块都与斜对角线方向的相邻图像块之间有25％的区域重叠；即利用大小为β×β的滑动窗口在图像Id上从左上到右下按照β/2的步长顺次截取出大小为β×β×3的图像块，将每个图像块的三个通道的β×β二维矩阵均转化为β2×1的列向量，然后将三个列向量依次拼接后得到长度为α的列向量，按照截取的先后次序将所有图像块的列向量组成样本集合其中，α＝β×β×3，xp∈Rα为第p个图像块向量化后的结果，且 为截取出的所有图像块个数。
4.根据权利要求1或3所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤二中堆叠式降噪自动编码器中的降噪自动编码器包括输入层、隐藏层和输出层，输入层在输入数据中引入随机噪声，隐含层对输入层加有噪声后的数据进行编码和解码，输出层则尽可能地重构输入数据并且保持输出层神经元数量与输入层神经元数量一致；所述堆叠式降噪自动编码器是由若干个将输出层去掉后的降噪自动编码器一层一层堆叠起来形成的深度学习模型，且堆叠式降噪自动编码器至少包含两个降噪自动编码器，第一个降噪自动编码器隐藏层输出的数据作为第二个降噪自动编码器输入层的输入数据，最后一个降噪自动编码器隐藏层输出的数据即为图像块经过堆叠式降噪自动编码器训练学习获得的列向量。
5.根据权利要求4所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤二中降噪自动编码器进行训练的方法为：
步骤2.1：通过将降噪自动编码器输入层的原始输入数据xp随机置零映射出加有噪声的输入数据：
其中，dxp∈Rα是将原始输入数据xp通过置零函数d(·)随机置零后获得的加有噪声的输入数据；
步骤2.2：对第一个降噪自动编码器输入层加有噪声后的输入数据dxp进行编码计算：
其中，为第一个降噪自动编码器对dxp进行编码后形成的隐藏层特征；表示第一个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，表示第一个降噪自动编码器中隐藏层神经元的偏置向量，Sigmoid(·)为激活函数，且Sigmoid(y)＝1/(1+exp(-y))，y是激活函数的变量；
步骤2.3：对第一个降噪自动编码器隐藏层输出的隐藏层特征进行解码计算，有：
其中，为第一个降噪自动编码器对编码后的隐藏层特征进行解码后的结果，表示第一个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，表示第一个降噪自动编码器中输出层神经元的偏置向量；
步骤2.4：对第二个及其后的每个降噪自动编码器进行编码的过程为：首先将前一个降噪自动编码器的隐藏层特征输入到下一个降噪自动编码器的输入层，有：
其中，为第二个降噪自动编码器对第一个降噪自动编码器的隐藏层特征进行随机置零后获得的加有噪声的输入数据，为第二个降噪自动编码器对输入数据进行编码后形成的第二个降噪自动编码器隐藏层特征，表示第二个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，表示第二个降噪自动编码器中隐藏层神经元的偏置向量；为第γ个降噪自动编码器对第γ-1个降噪自动编码器的隐藏层特征进行随机置零后获得的加有噪声的输入数据，为第γ个降噪自动编码器对输入数据进行编码后形成的第γ个降噪自动编码器隐藏层特征，χ为降噪自动编码器的总个数；表示第γ个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，表示第γ个降噪自动编码器中隐藏层神经元的偏置向量；
步骤2.5：对第二个及其后的每个降噪自动编码器的隐藏层输出的隐藏层特征进行解码计算，有：
其中，为第二个降噪自动编码器对编码后的隐藏层特征进行解码后的结果，表示第二个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，表示第二个降噪自动编码器中输出层神经元的偏置向量，为第γ个降噪自动编码器对编码后的隐藏层特征进行解码后的结果，表示第γ个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，表示第γ个降噪自动编码器中输出层神经元的偏置向量；
步骤2.6：用于训练所有降噪自动编码器的损失函数定义如下：
其中，为训练第γ个降噪自动编码器的损失函数，Hγ为第γ个降噪自动编码器中输入层神经元的个数，Mγ为第γ个降噪自动编码器中隐藏层神经元的个数，ργ是设定的第γ个降噪自动编码器中隐藏层神经元的平均输出，是第γ个降噪自动编码器中第g个隐藏层神经元在所有个样本上的平均输出，KL(·)代表KL散度，λ代表稀疏性约束的权重；表示第γ个降噪自动编码器中输入层到隐藏层之间的权值矩阵中第h行、第g列元素的数值大小，β表示权重衰减项的权值大小；
重复上述逐层训练过程，直到最后一个降噪自动编码器训练完成，并舍弃输出层及其相应的权重矩阵和偏置向量，只保留输入层和隐藏层的权重矩阵和偏置向量，训练过程结束后，最后一个降噪自动编码器中隐藏层神经元的输出即为堆叠式降噪自动编码器提取出的特征。
6.根据权利要求5所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述第p个图像块经过最后一个降噪自动编码器的隐藏层输出列向量fp，所有图像块的最后一个降噪自动编码器的隐藏层输出的列向量组成的二维矩阵为自适应深度特征矩阵：其中，δ为最后一个降噪自动编码器中隐藏层神经元的个数；将自适应深度特征矩阵Fd转换到三维矩阵得到由当前图像观测信息组成的短时深度特征：Fs∈Rσ×τ×δ，其中，σ和τ分别为预处理后的图像Id的长度和宽度。
7.根据权利要求1或2所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤三中长时深度特征提取的方法为：
步骤3.1：使用由13个卷积层和3个全连接层组成的VGG-16深度卷积神经网络来逐像素地提取Id的深度卷积特征，首先，输入层将图像Id的大小调整到VGG-16的固定输入大小：
Iv＝Resize(Id)；
其中，Resize表示自动将输入图像调整到固定大小的函数，Iv为调整大小后的图像，执行卷积过程，有：
H0＝Iv；
Hl＝Pooling(ReLU(Hl-1**wl+bl))，l∈[1，13]；
其中，Hl和Hl-1分别表示第l层和l-1层的状态输出，H0表示输入层的状态输出，即第0层特指输入层，Pooling(·)表示最大池化操作，ReLU(·)表示线性整流激活函数，**表示卷积操作，wl和bl分别表示深度卷积神经网络中第l层和第l-1层之间的权值矩阵和偏差向量；
步骤3.2：将VGG-16深度卷积神经网络中第二、四、七卷积层所提取出的特征H2、H4和H7分别上采样得到与预处理后的图像Id大小相同的三维特征矩阵U2、U4和U7，并在第三维度上对三维特征矩阵U2、U4和U7进行拼接融合：
其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为预处理后的图像Id的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，Fl为长时深度特征，υ为长时深度特征Fl在第三维上的维数。
8.根据权利要求7所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤四中短时深度特征和长时深度特征的融合与转换的方法为：
步骤4.1：在第三维度上对短时深度特征和长时深度特征进行拼接融合得到拼接后的三维特征矩阵：
其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为预处理后的图像Id的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，F为短时深度特征Fs和长时深度特征Fl在第三维度上拼接后得到的三维特征矩阵，μ为三维特征矩阵F在第三维上的维数，且：μ＝δ+υ；
步骤4.2：通过简单线性迭代聚类算法将预处理后的图像Id分割成一组不重叠的超像素块S＝{s1,s2,...sη,...sψ}，ψ为分割出的超像素块个数；将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块sη内的所有像素点求均值得到转换后的二维特征矩阵Qf＝[q1,q2,···,qη,···,qψ]∈Rψ×μ：
其中，qη∈Rμ代表第η个超像素块sη的特征向量，ωη为超像素块sη内所有像素点的个数，F(i,j,:)表示超像素块sη内坐标为(i,j)的像素点的特征向量。
9.根据权利要求1或8所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤五中低秩矩阵分解和后处理的实现方法为：
步骤5.1：根据稀疏性，利用矩阵低秩分解算法将二维特征矩阵Qf分解为低秩矩阵Fw和稀疏矩阵Fe两部分：Qf＝Fw+Fe，然后沿列方向对分解出的稀疏矩阵Fe求取l1范数得到行向量V＝[v1,v2,···vη,vψ]∈R1×ψ：
V＝||Fe||1；
令Id中第η个超像素块sη的所有像素点的灰度值等于rη，可得到初步检测结果Rt∈Rσ×τ，其中，rη可通过下式计算得到：
步骤5.2：利用自适应阈值分割算法确定出的全局阈值将初步结果Rt转换为二值图像：
其中，T为全局阈值，Rb表示经阈值分割后的二值图像，对二值图像Rb施加膨胀、细化、上采样的后处理操作得到一个和原始待检测图像大小相同的清晰、连续、均匀的最终的检测结果Rf：
其中，和分别代表膨胀和细化的运算符，E1、E2和E3为结构元素，Median(·)为中值滤波，Gauss(·)为高斯滤波，Upsampling(·)为上采样操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910511774.3A CN110222784B (zh) | 2019-06-13 | 2019-06-13 | 融合短时和长时深度特征的太阳能电池片缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910511774.3A CN110222784B (zh) | 2019-06-13 | 2019-06-13 | 融合短时和长时深度特征的太阳能电池片缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110222784A true CN110222784A (zh) | 2019-09-10 |
| CN110222784B CN110222784B (zh) | 2020-05-26 |
Family
ID=67816895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910511774.3A Active CN110222784B (zh) | 2019-06-13 | 2019-06-13 | 融合短时和长时深度特征的太阳能电池片缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222784B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260653A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置、存储介质和电子设备 |
| CN111413622A (zh) * | 2020-04-03 | 2020-07-14 | 重庆大学 | 一种基于堆叠降噪自动编码机的锂电池寿命预测方法 |
| CN111624460A (zh) * | 2020-06-28 | 2020-09-04 | 西安奕斯伟硅片技术有限公司 | 一种单晶硅缺陷分布区域的检测方法 |
| CN113256607A (zh) * | 2021-06-17 | 2021-08-13 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
| CN113793343A (zh) * | 2021-08-23 | 2021-12-14 | 南昌航空大学 | 基于图像的缺陷定位分割方法、系统、终端及存储介质 |
| CN114648531A (zh) * | 2022-05-20 | 2022-06-21 | 领伟创新智能系统(浙江)有限公司 | 基于色彩通道亮度分布的太阳能面板表面灰尘辨识方法 |
| CN114937190A (zh) * | 2022-05-31 | 2022-08-23 | 南京林业大学 | 一种用于籽棉开松有效性的判别方法及系统 |
| CN116533529A (zh) * | 2023-05-12 | 2023-08-04 | 湖州东尼新能源有限公司 | 超声波焊接pc片的智能化控制方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8318240B2 (en) * | 2008-11-17 | 2012-11-27 | Solopower, Inc. | Method and apparatus to remove a segment of a thin film solar cell structure for efficiency improvement |
| US20160180215A1 (en) * | 2014-12-19 | 2016-06-23 | Google Inc. | Generating parse trees of text segments using neural networks |
| CN107274393A (zh) * | 2017-06-12 | 2017-10-20 | 郑州轻工业学院 | 基于栅线检测的单晶硅太阳能电池片表面缺陷检测方法 |
| EP3208937B1 (en) * | 2016-02-16 | 2018-04-04 | Airbus Defence and Space GmbH | Technique for detecting a defect in a multi-junction solar cell |
| CN108564577A (zh) * | 2018-04-12 | 2018-09-21 | 重庆邮电大学 | 基于卷积神经网络的太阳能电池片断栅缺陷检测方法 |
| CN109325549A (zh) * | 2018-10-25 | 2019-02-12 | 电子科技大学 | 一种人脸图像融合方法 |
| CN109376792A (zh) * | 2018-11-07 | 2019-02-22 | 河北工业大学 | 基于多通道残差神经网络的光伏电池外观缺陷分类方法 |
| CN109639237A (zh) * | 2018-12-14 | 2019-04-16 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 基于深能级瞬态谱的多结太阳电池缺陷检测方法 |
-
2019
- 2019-06-13 CN CN201910511774.3A patent/CN110222784B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8318240B2 (en) * | 2008-11-17 | 2012-11-27 | Solopower, Inc. | Method and apparatus to remove a segment of a thin film solar cell structure for efficiency improvement |
| US20160180215A1 (en) * | 2014-12-19 | 2016-06-23 | Google Inc. | Generating parse trees of text segments using neural networks |
| EP3208937B1 (en) * | 2016-02-16 | 2018-04-04 | Airbus Defence and Space GmbH | Technique for detecting a defect in a multi-junction solar cell |
| CN107274393A (zh) * | 2017-06-12 | 2017-10-20 | 郑州轻工业学院 | 基于栅线检测的单晶硅太阳能电池片表面缺陷检测方法 |
| CN108564577A (zh) * | 2018-04-12 | 2018-09-21 | 重庆邮电大学 | 基于卷积神经网络的太阳能电池片断栅缺陷检测方法 |
| CN109325549A (zh) * | 2018-10-25 | 2019-02-12 | 电子科技大学 | 一种人脸图像融合方法 |
| CN109376792A (zh) * | 2018-11-07 | 2019-02-22 | 河北工业大学 | 基于多通道残差神经网络的光伏电池外观缺陷分类方法 |
| CN109639237A (zh) * | 2018-12-14 | 2019-04-16 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 基于深能级瞬态谱的多结太阳电池缺陷检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| PENG XU 等: "DETECTION METHODS FOR MICRO-CRACKED DEFECTS OF PHOTOVOLTAIC MODULES BASED ON MACHINE VISION", 《PROCEEDINGS OF CCIS2014》 * |
| R. PIERDICCA 等: "DEEP CONVOLUTIONAL NEURAL NETWORK FOR AUTOMATIC DETECTION OF DAMAGED PHOTOVOLTAIC CELLS", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 * |
| XIAOLIANG QIAN 等: "Micro-cracks detection of multicrystalline solar cell surface based on self-learning features and low-rank matrix recovery", 《SENSOR REVIEW》 * |
| 王宪保 等: "基于深度学习的太阳能电池片表面缺陷检测方法", 《模式识别与人工智能》 * |
| 钱晓亮 等: "基于机器视觉的太阳能电池片表面缺陷检测研究现状及展望", 《北京工业大学学报》 * |
| 钱晓亮 等: "基于视觉显著性的太阳能电池片表面缺陷检测", 《仪器仪表学报》 * |
| 钱晓亮 等: "视觉显著性检测：一种融合长期和短期特征的信息论算法", 《电子与信息学报》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111413622A (zh) * | 2020-04-03 | 2020-07-14 | 重庆大学 | 一种基于堆叠降噪自动编码机的锂电池寿命预测方法 |
| CN111260653A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置、存储介质和电子设备 |
| CN111624460B (zh) * | 2020-06-28 | 2022-10-21 | 西安奕斯伟材料科技有限公司 | 一种单晶硅缺陷分布区域的检测方法 |
| CN111624460A (zh) * | 2020-06-28 | 2020-09-04 | 西安奕斯伟硅片技术有限公司 | 一种单晶硅缺陷分布区域的检测方法 |
| CN113256607A (zh) * | 2021-06-17 | 2021-08-13 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
| CN113256607B (zh) * | 2021-06-17 | 2021-10-19 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
| CN113793343A (zh) * | 2021-08-23 | 2021-12-14 | 南昌航空大学 | 基于图像的缺陷定位分割方法、系统、终端及存储介质 |
| CN113793343B (zh) * | 2021-08-23 | 2023-06-06 | 南昌航空大学 | 基于图像的缺陷定位分割方法、系统、终端及存储介质 |
| CN114648531A (zh) * | 2022-05-20 | 2022-06-21 | 领伟创新智能系统(浙江)有限公司 | 基于色彩通道亮度分布的太阳能面板表面灰尘辨识方法 |
| CN114937190B (zh) * | 2022-05-31 | 2023-05-16 | 南京林业大学 | 一种用于籽棉开松有效性的判别方法及系统 |
| CN114937190A (zh) * | 2022-05-31 | 2022-08-23 | 南京林业大学 | 一种用于籽棉开松有效性的判别方法及系统 |
| CN116533529A (zh) * | 2023-05-12 | 2023-08-04 | 湖州东尼新能源有限公司 | 超声波焊接pc片的智能化控制方法及系统 |
| CN116533529B (zh) * | 2023-05-12 | 2023-09-29 | 湖州东尼新能源有限公司 | 超声波焊接pc片的智能化控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110222784B (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222784B (zh) | 融合短时和长时深度特征的太阳能电池片缺陷检测方法 | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
| CN110276402B (zh) | 一种基于深度学习语义边界增强的盐体识别方法 | |
| CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN113129272A (zh) | 一种基于去噪卷积自编码器的缺陷检测方法及装置 | |
| CN110647977B (zh) | 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法 | |
| CN113469191A (zh) | 基于多层特征融合注意力机制的sar图像叠掩区提取方法 | |
| CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
| CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
| CN106934398A (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
| Cruz-Rojas et al. | A novel comparison of image semantic segmentation techniques for detecting dust in photovoltaic panels using machine learning and deep learning | |
| CN115689964A (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN109741258B (zh) | 基于重建的图像超分辨率方法 | |
| CN118397367A (zh) | 一种基于卷积视觉Mamba的篡改检测方法 | |
| CN113160078B (zh) | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 | |
| CN103413351A (zh) | 基于压缩感知理论的三维人脸快速重建方法 | |
| Ma et al. | MHGAN: A multi-headed generative adversarial network for underwater sonar image super-resolution | |
| CN117237256A (zh) | 一种浅海珊瑚礁监测数据采集方法、装置及设备 | |
| CN113487504B (zh) | 基于生成对抗网络的水下灰度偏振图像复原方法 | |
| CN113744152A (zh) | 一种潮水图像去噪处理方法、终端及计算机可读存储介质 | |
| CN114862685A (zh) | 一种图像降噪方法、及图像降噪模组 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |