CN113362298A - 一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法 - Google Patents
一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法 Download PDFInfo
- Publication number
- CN113362298A CN113362298A CN202110617025.6A CN202110617025A CN113362298A CN 113362298 A CN113362298 A CN 113362298A CN 202110617025 A CN202110617025 A CN 202110617025A CN 113362298 A CN113362298 A CN 113362298A
- Authority
- CN
- China
- Prior art keywords
- network
- vgg16
- image
- defect
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 title claims description 8
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000013138 pruning Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 238000007650 screen-printing Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000003900 secondary neuron Anatomy 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000010248 power generation Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000007689 inspection Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于VGG16深度卷积神经网络的太阳能网版缺陷检测方法，通过原始图像采集、图像块切割、中值滤波处理与训练图像数据集生成、VGG16神经网络修剪与微调、缺陷的识别与定位等步骤，实现对太阳能网版缺陷的检测。本发明将VGG16深度卷积神经网络与机器视觉缺陷检测相结合，提高了太阳能网版缺陷检测的准确率与工作效率，降低了缺陷漏检率，从而保证了太阳能网版与电池的生产质量，降低了生产成本。
Description
技术领域
本发明属于缺陷检测领域，尤其是涉及一种基于深度卷积神经网络的太阳能网版缺陷检测方法。
背景技术
近年来，太阳能作为一种清洁无污染、储量巨大的可再生能源，在工农业生产及日常生活中的应用日益广泛。太阳能光发电是指无需通过热过程直接将光能转变为电能的发电方式，光伏发电是实现太阳能发电的主要途径之一，太阳能电池则是光伏发电系统的关键组成部分。太阳能电池的批量制造多采用太阳能网版作为模具，其质量是太阳能电池光电转换效率与寿命的重要影响因素。
目前，太阳能网版的缺陷检测仍以人眼观察为主，准确率及工作效率较低，成本较高。采用机器视觉技术，可利用工业相机与计算机软件完成对太阳能网版缺陷的检测与识别；然而，传统机器视觉检测对于未知缺陷易出现漏检现象，导致检测结果的准确性下降，从而影响产品的可靠性。因此，有必要对现有机器视觉检测方法进行改进，提高太阳能网版缺陷检测的准确率与工作效率，从而保证太阳能网版与电池的生产质量，降低生产成本。
发明内容
针对传统太阳能网版缺陷检测过程中存在的漏检率高、工作效率低等问题，本发明旨在提供一种基于深度卷积神经网络的太阳能网版缺陷检测方法。
本发明为解决上述技术问题采取的技术方案是，一种基于深度卷积神经网络的太阳能网版缺陷检测方法，结合图1至图3，所述方法包括以下步骤：
步骤1、系统初始化，调整光源，并调整相机到拍摄起始位置，依次对网版检测区域进行拍摄，相机每次采集固定分辨率大小的图像。
步骤2、对步骤1中相机所采集的图像进行切割，将原始图像切割为若干个固定分辨率大小的图像块。
步骤3、对每个切割的图像进行图像处理，采用中值滤波对每个切割图像进行处理，平滑图像中的噪声，保留图像的边缘部分，并在滤波处理后生成缺陷训练图像数据集。
进一步的，所述步骤3的中值滤波处理图像的表达式为：
g(x，y)＝median{f(x+k，y+l)，(k，l∈W)} (1)
公式(1)中，f(x，y)，g(x，y)分别为中值滤波前后同一位置的像素灰度值；k、l分别表示距离中心像素的水平和垂直偏移量；W表示以(x，y)为邻域像素点的集合，为二维模板。
步骤4、采用缺陷训练图像数据集，预训练VGG16深度卷积神经网络，并对其进行评估，去除次要神经元，对网络进行修剪与微调。
进一步的，所述步骤4的具体流程为：
步骤4.1、预训练VGG16网络，利用缺陷训练数据对卷积核的贡献进行排序。
步骤4.2、根据步骤4.1中卷积核贡献排序，对VGG16网络的规模进行修剪，去除冗余的卷积核。
步骤4.3、将VGG16网络的最后一层全连接层替换为二进制输出层，以指示输入图像块存在的缺陷。
步骤4.4、对修剪后的VGG16网络进行微调。其中，微调采用固定学习速率和动量的随机梯度下降(SGD)算法，利用不同的缺陷训练数据集对整个初始网络的参数进行微调。
步骤4.5、对VGG16网络进行性能检测，判断是否需要进行进一步的修剪。
进一步的，所述步骤4.2的修剪工作基于泰勒展开算法，采用全局重缩放准则，寻找导致代价函数E(·)变化最小的核权重集合G′：
min|ΔE(G)|＝|E(F|G′)-E(F|G)|
s.t.||G′||≤B (2)
公式(2)中，F表示训练数据，G表示网络训练结束后得到的核权重集合，B为G′中非零元素的个数；若考虑G中元素间的所有组合，需对核权重进行2|G|评估；同时，为降低求解G′的计算量，采用贪婪算法，在所有待删除的G′子集间迭代搜索。
对于VGG16网络，卷积特征映射可以看作G′的元素，令Ji表示网络中的第i特征映射(i＝1，...，L)；其中，L为网络中特征映射的总数；且成本函数E(F|G)可写为：
E(F|G)≈E(F|Ji)＝E(F，Ji) (3)
设E(F，Ji＝0)表示删除特征映射Ji的代价函数E(·)，则成本函数的差异为：
|ΔE(Ji)|＝|E(F，Ji＝0)-E(F，Ji)| (4)
利用泰勒展开，将E(F，Ji＝0)近似为：
其中，R1(Ji＝0)为高阶项，忽略R1(Ji＝0)，则：
步骤5、进行网版缺陷的识别与定位。
进一步的，所述步骤5中，采用与VGG16网络训练中所使用图像块大小相同的滑动窗口扫描整个帧，然后将所有扫描数据传递到VGGl6网络进行缺陷识别，并对识别的缺陷进行定位，而相邻滑动窗口间的步长h和扫描方向由人为规定。
与现有技术相比，本发明的有益效果是：将VGG16深度卷积神经网络与机器视觉缺陷检测相结合，提高了太阳能网版缺陷检测的准确率与工作效率，降低了缺陷漏检率，从而保证了太阳能网版与电池的生产质量，降低了生产成本。
附图说明
图1为本发明所述基于VGG16深度卷积神经网络的太阳能网版缺陷检测方法的步骤；
图2为本发明所述缺陷检测方法中步骤4的具体流程；
图3为本发明实施例的步骤5中滑动窗口扫描步长h和扫描方向。
具体实施方式
参见附图1～3，一种基于深度卷积神经网络的太阳能网版缺陷检测方法，对检测区域为156mm×156mm的太阳能网版进行缺陷检测，包括以下步骤：
步骤1、系统初始化，调整光源，并调整相机到拍摄起始位置，依次对网版检测区域进行拍摄，相机每次采集分辨率为8192×8192的图像。
步骤2、对步骤1中相机所采集的图像进行切割，将原始图像切割为若干个分辨率为224×224的图像块。
步骤3、对每个切割的图像进行图像处理，采用中值滤波对每个切割图像进行处理，平滑图像中的噪声，保留图像的边缘部分，并在滤波处理后生成缺陷训练图像数据集。
进一步的，所述步骤3的中值滤波处理图像的表达式为：
g(x，y)＝median{f(x+k，y+l)，(k，l∈W)} (1)
公式(1)中，f(x，y)，g(x，y)分别为中值滤波前后同一位置的像素灰度值；k、l分别表示距离中心像素的水平和垂直偏移量；W表示以(x，y)为邻域像素点的集合，为二维模板。所述步骤3中采用过滤半径为1的圆形元素对图像进行中值滤波处理。
步骤4、采用缺陷训练图像数据集，预训练VGG16深度卷积神经网络，并对其进行评估，去除次要神经元，对网络进行修剪与微调。
进一步的，所述步骤4的具体流程为：
步骤4.1、预训练VGG16网络，利用缺陷训练数据对4224个卷积核的贡献进行排序。
步骤4.2、根据步骤4.1中卷积核贡献排序，对VGG16网络的规模进行修剪，去除冗余的卷积核。
步骤4.3、将VGG16网络的最后一层全连接层替换为二进制输出层，以指示输入图像块存在的缺陷。
步骤4.4、对修剪后的VGG16网络进行微调。其中，微调采用学习速率0.001和动量0.9的随机梯度下降(SGD)算法，利用不同的缺陷训练数据集对整个初始网络的参数进行微调。
步骤4.5、对VGG16网络进行性能检测，判断是否需要进行进一步的修剪。
在本实施例中，每种类型的缺陷数据集的VGG16网络进行了7次修剪迭代。
进一步的，所述步骤4.2的修剪工作基于泰勒展开算法，采用全局重缩放准则，寻找导致代价函数E(·)变化最小的核权重集合G′：
min|ΔE(G)|＝|E(F|G′)-E(F|G)|
s.t.||G′||≤B (2)
公式(2)中，F表示训练数据，G表示网络训练结束后得到的核权重集合，B为G′中非零元素的个数；若考虑G中元素间的所有组合，需对核权重进行2|G|评估；同时，为降低求解G′的计算量，采用贪婪算法，在所有待删除的G′子集间迭代搜索。
对于VGG16网络，卷积特征映射可以看作G′的元素，令Ji表示网络中的第i特征映射(i＝1，...，L)；其中，L为网络中特征映射的总数；且成本函数E(F|G)可写为：
E(F|G)≈E(F|Ji)＝E(F，Ji) (3)
设E(F，Ji＝0)表示删除特征映射Ji的代价函数E(·)，则成本函数的差异为：
|ΔE(Ji)|＝|E(F，Ji＝0)-E(F，Ji)| (4)
利用泰勒展开，将E(F，Ji＝0)近似为：
其中，R1(Ji＝0)为高阶项，忽略R1(Ji＝0)，则：
步骤5、进行网版缺陷的识别与定位。
进一步的，所述步骤5中，采用与VGG16网络训练中所使用图像块大小相同的滑动窗口扫描整个帧，然后将所有扫描数据传递到VGG16网络进行缺陷识别，并对识别的缺陷进行定位，相邻滑动窗口间的步长为8像素，扫描方向为从左到右。
上述具体实施方式阐明的内容应当理解为该具体实施方式仅用于更清楚地说明本发明，而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
Claims (1)
1.一种基于VGG16深度卷积神经网络的太阳能网版缺陷检测方法，其特征在于：所述方法包括如下步骤：
步骤1、系统初始化，调整光源，并调整相机到拍摄起始位置，依次对网版检测区域进行拍摄，相机每次采集固定分辨率大小的图像；
步骤2、对步骤1中相机所采集的图像进行切割，将原始图像切割为若干个固定分辨率大小的图像块；
步骤3、对每个切割的图像进行图像处理，采用中值滤波对每个切割图像进行处理，平滑图像中的噪声，保留图像的边缘部分，并在滤波处理后生成缺陷训练图像数据集；
进一步的，所述步骤3的中值滤波处理图像的表达式为：
g(x，y)＝median{f(x+k，y+l)，(k，l∈W)} (1)
公式(1)中，f(x，y)，g(x，y)分别为中值滤波前后同一位置的像素灰度值；k、l分别表示距离中心像素的水平和垂直偏移量；W表示以(x，y)为邻域像素点的集合，为二维模板；
步骤4、采用缺陷训练图像数据集，预训练VGG16深度卷积神经网络，并对其进行评估，去除次要神经元，对网络进行修剪与微调；
进一步的，所述步骤4的具体流程为：
步骤4.1、预训练VGG16网络，利用缺陷训练数据对卷积核的贡献进行排序；
步骤4.2、根据步骤4.1中卷积核贡献排序，对VGG16网络的规模进行修剪，去除冗余的卷积核；
步骤4.3、将VGG16网络的最后一层全连接层替换为二进制输出层，以指示输入图像块存在的缺陷；
步骤4.4、对修剪后的VGG16网络进行微调；其中，微调采用固定学习速率和动量的随机梯度下降(SGD)算法，利用不同的缺陷训练数据集对整个初始网络的参数进行微调；
步骤4.5、对VGG16网络进行性能检测，判断是否需要进行进一步的修剪；
进一步的，所述步骤4.2的修剪工作基于泰勒展开算法，采用全局重缩放准则，寻找导致代价函数E(·)变化最小的核权重集合G′：
min|ΔE(G)|＝|E(F|G′)-E(F|G)|
s.t.||G′||≤B (2)
公式(2)中，F表示训练数据，G表示网络训练结束后得到的核权重集合，B为G′中非零元素的个数；若考虑G中元素间的所有组合，需对核权重进行2|G|评估；同时，为降低求解G′的计算量，采用贪婪算法，在所有待删除的G′子集间迭代搜索；
对于VGG16网络，卷积特征映射可以看作G′的元素，令Ji表示网络中的第i特征映射(i＝1，...，L)；其中，L为网络中特征映射的总数；且成本函数E(F|G)可写为：
E(F|G)≈E(F|Ji)＝E(F，Ji) (3)
设E(F，Ji＝0)表示删除特征映射Ji的代价函数E(·)，则成本函数的差异为：
|ΔE(Ji)|＝|E(F，Ji＝0)-E(F，Ji)| (4)
利用泰勒展开，将E(F，Ji＝0)近似为：
其中，R1(Ji＝0)为高阶项，忽略R1(Ji＝0)，则：
步骤5、进行网版缺陷的识别与定位；
进一步的，所述步骤5中，采用与VGG16网络训练中所使用图像块大小相同的滑动窗口扫描整个帧，然后将所有扫描数据传递到VGG16网络进行缺陷识别，并对识别的缺陷进行定位，而相邻滑动窗口间的步长h和扫描方向由人为规定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110617025.6A CN113362298A (zh) | 2021-06-03 | 2021-06-03 | 一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110617025.6A CN113362298A (zh) | 2021-06-03 | 2021-06-03 | 一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113362298A true CN113362298A (zh) | 2021-09-07 |
Family
ID=77531488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110617025.6A Pending CN113362298A (zh) | 2021-06-03 | 2021-06-03 | 一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362298A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951223A (zh) * | 2020-07-16 | 2020-11-17 | 西南林业大学 | 一种木材节子瑕疵的图像自动识别方法及系统 |
| CN112116576A (zh) * | 2020-09-20 | 2020-12-22 | 中国人民解放军空军工程大学 | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 |
| CN112700412A (zh) * | 2020-12-29 | 2021-04-23 | 南京势创智能科技有限公司 | 基于led光源的光致发光电池片缺陷检测方法 |
-
2021
- 2021-06-03 CN CN202110617025.6A patent/CN113362298A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951223A (zh) * | 2020-07-16 | 2020-11-17 | 西南林业大学 | 一种木材节子瑕疵的图像自动识别方法及系统 |
| CN112116576A (zh) * | 2020-09-20 | 2020-12-22 | 中国人民解放军空军工程大学 | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 |
| CN112700412A (zh) * | 2020-12-29 | 2021-04-23 | 南京势创智能科技有限公司 | 基于led光源的光致发光电池片缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| RIH-TENG WU等: "Pruning deep convolutional neural networks for efficient edge computing in condition assessment of infrastructures", 《COMPUTER-AIDED CIVIL & INFRASTRUCTURE ENGINEERING》 * |
| 漆广文: "基于机器视觉的太阳能网版缺陷检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507793B (zh) | 一种超短期光伏功率预测方法 | |
| Mayr et al. | Weakly supervised segmentation of cracks on solar cells using normalized L p norm | |
| CN114973032B (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN113076816B (zh) | 基于红外与可见光图像的太阳能光伏组件热斑识别方法 | |
| CN115953408B (zh) | 一种基于YOLOv7的避雷器表面缺陷检测方法 | |
| CN113837994B (zh) | 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法 | |
| CN115409823A (zh) | 一种基于生成式对抗网络的太阳能网版缺陷检测方法 | |
| CN110210060A (zh) | 太阳能光伏板表面积灰程度的预测方法 | |
| CN115861190A (zh) | 一种基于对比学习的光伏组件无监督缺陷检测方法 | |
| CN111523458A (zh) | 一种基于机器学习的光伏电厂无人机巡检方法及系统 | |
| CN114972225A (zh) | 一种基于深度学习的两阶段光伏板缺陷检测方法 | |
| CN115375672A (zh) | 一种基于改进型YOLOv4算法的煤矸检测方法 | |
| Chindarkkar et al. | Deep learning based detection of cracks in electroluminescence images of fielded PV modules | |
| CN112381794B (zh) | 一种基于深度卷积生成网络的印刷缺陷检测方法 | |
| Wang et al. | Vehicle license plate recognition based on wavelet transform and vertical edge matching | |
| CN117392065A (zh) | 一种云边协同太阳能板覆灰状况自主评估方法 | |
| CN113362298A (zh) | 一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法 | |
| CN117218101A (zh) | 一种基于语义分割的复合材料风电叶片缺陷检测方法 | |
| CN112116569A (zh) | 基于阴影识别的光伏电站发电功率预测方法 | |
| CN115063679B (zh) | 一种基于深度学习的路面质量评估方法 | |
| CN114281846B (zh) | 一种基于机器学习的新能源发电预测方法 | |
| CN116029440A (zh) | 光伏电站超短期功率预测方法和装置 | |
| CN114387466A (zh) | 一种太阳能电池片色差检测方法及系统 | |
| CN115690626A (zh) | 一种光伏电池热斑的图像识别方法 | |
| CN116258664A (zh) | 一种基于深度学习的光伏电池片智能缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210907 |