CN114066825B - 一种改进的基于深度学习的复杂纹理图像瑕疵检测方法 - Google Patents
一种改进的基于深度学习的复杂纹理图像瑕疵检测方法 Download PDFInfo
- Publication number
- CN114066825B CN114066825B CN202111268703.9A CN202111268703A CN114066825B CN 114066825 B CN114066825 B CN 114066825B CN 202111268703 A CN202111268703 A CN 202111268703A CN 114066825 B CN114066825 B CN 114066825B
- Authority
- CN
- China
- Prior art keywords
- feature
- sub
- convolution
- features
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种改进的基于深度学习的复杂纹理图像瑕疵检测方法。本发明通过对resnet50网络结构的部分改进，将经过layer1和layer2输出的feature map通过1*1的卷积之后，按通道均分为s个子集；每个子集都有相应的convolution和involution操作，其中convolution和involution的两端均有残差结构，除了第一个子特征只进行卷积操作之外，其余子特征都与前一个子特征的输出进行相加之后再进行卷积操作，然后将各个子特征的输出进行拼接，再进行特征的融合；最后将融合后的特征经过SE block以进一步提升瑕疵检测精度。
Description
技术领域
本发明属于计算机视觉中的目标检测领域，涉及到一种改进的基于深度学习的复杂纹理图像瑕疵检测方法。
背景技术
近年来，随着深度学习的迅猛发展，深度学习已逐渐成为主流的研究方法。在计算机视觉领域，基于深度学习的目标检测研究已经成为了一个重要的研究方向。尤其依赖于计算机硬件的不断升级与并行计算技术的迅猛发展，为深度神经网络模型的学习提供了更为便利的条件。
基于计算机视觉的物体表面瑕疵检测是工业界对产品把控的重要环节，目前主要依赖于熟练工人通过手工进行操作，人力成本高，对工人的经验要求也很高。若物体表面纹理复杂，例如不规则的纹理图案与其邻域的花纹十分相近，这就使得瑕疵特征不明显，检测难度增大。
目前主要的目标检测方法，基于神经网络的检测算法主要围绕着两阶段算法和一阶段算法，这两个系列展开：两阶段检测算法的第一阶段会从图像中选取候选区域，它的第二阶段会在候选区域对目标进行分类与定位；单阶段算法是基于对全局分类回归，并直接生成目标对象的位置和类别。这两种方法相比，单阶段算法的实时性更强，但检测精度有所下降。不管哪种方法，在检测复杂纹理图案上都容易与邻域花纹混淆，使得精度不够或者检测出错。
发明内容
本发明针对现有技术的不足，提出了一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，提升检测精度的同时可广泛应用于其他网络。
本发明解决精度问题所采取的提升精度的方案为：
步骤1：将待检测的可能包含复杂纹理的图片，输入至RecoNet50的网络中进行特征提取，得到候选区域。
步骤2：将得到的候选区域通过卷积得到相应的复杂纹理的瑕疵特征。
步骤3：将卷积后的特征图通过最大池化层来减少参数量，以便后续计算，同时确保复杂纹理特征不会因为多次卷积造成特征消失，保证其后续检测的精度。
步骤4：将经过layer1和layer2之后得到的特征图先通过1*1的卷积操作，然后按通道平均分成s个子集，定义为：Xi,i∈{1,2,...,s}，每个特征都有相同大小的尺寸，但通道是输入的1/s。
步骤5：每个子特征都有相应的3*3的卷积核和involution kernel(Li,Duo,etal."Involution:Inverting the inherence of convolution for visualrecognition."Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.2021.)(在通道上共享kernel，可以使用大的空间从而通过spatial维度的设计提升性能的同时保证了通过channel维度的设计维持效率)，分别定义为Ki()和Hi()，其输出为Yi。子特征Xi都和Hi-1()相加，然后输入到Ki()。因此Yi可以写作：
将子特征中的第一个子特征先通过一个3*3的卷积，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y1。将子特征中的第二个子特征和第一个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y2。将子特征中的第三个子特征和第二个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y3。将子特征中的第四个子特征和第三个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y4。
步骤6：将每一个子特征得到的输出进行拼接，之后通过一个1*1的卷积核将特征进行特征融合。
步骤7：经过特征融合后的结果再通过一个SE block来进一步提升精度，得到更具表征能力的feature map。
步骤8：同样的，将步骤7中得到的结果作为Layer4的输入，并经过3个bottleneck的处理得到feature map。
步骤9：将步骤8中得到的特征图经过最大池化操作、全连接操作和softmax分类，最终输出复杂纹理的检测的结果。
本发明提供的技术方案的有益效果是：通过对ResNet50网络残差结构的部分改进，使其提取到的特征更丰富，更适合于具有复杂纹理特征的目标检测，通过加入involution模块使得其在优化精度的同时，克服了领域花纹在背景中的混淆，实现了在更大感受野的范围中对复杂纹理图像瑕疵的检测，在将提取的特征融合处理后，其表征能力大幅度提高，使网络提取的最终表示更丰富更完整，大大提高了检测的精度。
附图说明
为了更清楚的展示本发明的网络结构以及训练过程，下面将对实施例中所需要的附图做以简单的介绍。
图1为本发明对ResNet50网络残差结构部分改进后的RecoNet50结构图。
图2为ResNet50网络结构与RecoNet50网络结构的对比图。
具体实施方式
为了更具体的描述本发明，下面将结合附图以及具体实施方式对本发明的方案进行详细的说明。
本发明提出了一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，其网络结构如图1所示，在经过1*1卷积之后将通道分为4个部分分别用于3*3卷积和involutionkernel来提取特征，获得感受野大小。
整个网络结构如图2，RecoNet50部分所示。其简要步骤如下：一、读取输入图片，经过卷积得到feature map F1。二、经过layer1的3个bottleneck结构之后，得到进一步的feature map F2。三、将F2经过layer2的4个bottleneck处理后得到的feature map为F3。四、将F3作为输入，经过6个bottleneck处理之后，得到feature map F4。五、将得到的F4经过3个bottleneck处理后得到feature map为F5。六、将得到的F5经过average pool、FC、BN和softmax输出1000类的概率值。
实施例：
一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，包括如下步骤：
步骤1：传入待检测图片，将其输入基于的RecoNet50的网络中，具体的：输入一张224*224像素3通道的图片，将其转化为224*224*3的矩阵。
步骤2：待检测的图片通过7*7的卷积提取特征，具体的：将步骤1中得到的224*224*3的矩阵经过kernel_size＝7，in_channel＝3,out_channel＝64,stride＝2,padding＝3的卷积，BN和ReLU之后得到112*112*64的feature map。
步骤3：将卷积后的feature map经过一个3*3的max pool层用于减少参数量，具体的：将步骤2得到的feature map经过kernel_size＝3,stride＝2的max pooling得到56*56*64的feature map。同时保留了上层feature map的特征信息，降低了参数量。接着再经过3个bottleneck的处理，得到56*56*256的feature map。
步骤4：在经过layer1的3个bottleneck结构和layer2的4个bottleneck节后的处理之后得到feature map为28*28*512。
步骤5：在layer3经过第一个1*1卷积之后，将输入划分为4个子集，分别为(x1,x2,x3,x4)，每个子特征的大小为28*28*128，将x1先经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为Y1；将X2和Y1相加，再经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为Y2；将X3和Y2相加，再经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为Y3；将X4和Y3相加，再经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为Y4；最后将Y1，Y2，Y3，Y4四个部分进行拼接得到14*14*512的feature map，具体可见图1。
步骤6：将拼接在一起的四个部分经过1*1的全连接层进行特征融合，再经过一个SE block来进一步提高精度，得到输出14*14*1024的feature map。
步骤7:将步骤6得到的结果作为layer4的输入，在经过3个bottleneck结构之后得到大小为7*7*2048的feature map。
步骤8：将步骤7得到的feature map，经过最大池化操作、全连接操作和softmax分类之后，得到检测概率，并最终输出具有复杂纹理图像瑕疵的结果。
综上，本发明将针对复杂纹理背景中目标的复杂性和不确定性，设计提出了一种新的网络模块，在模块中加入involution和convolution的残差结构来克服复杂纹理在不同背景中的混淆，在计算量增加很少的情况下，扩大感受野以提高全局性和鲁棒性，同时既减少了纹理背景的影响，又从多角度增强细节特征以提高目标的检出率。
Claims (2)
1.一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，其特征在于该方法包括以下步骤：
步骤1：将待检测的可能包含复杂纹理的图片，输入至RecoNet50的网络中进行特征提取，得到候选区域；
步骤2：将得到的候选区域通过卷积得到相应的复杂纹理的瑕疵特征；
步骤3：将卷积后的特征图通过最大池化层来减少参数量；
步骤4：将经过layer1和layer2之后得到的特征图先通过1*1的卷积操作，按通道平均分成s个子集，定义为：子特征Xi,i∈{1,2,...,s}，每个特征都有相同大小的尺寸，但通道是输入的1/s；
步骤5：每个子特征都有相应的3*3的卷积核和involution kernel，分别定义为Ki()和Hi()，其输出为Yi；子特征Xi都和Hi-1()相加，然后输入到Ki()；Yi表达如下：
步骤6：将每一个子特征得到的输出进行拼接，之后通过一个1*1的卷积核将特征进行特征融合；
步骤7：经过特征融合后的结果再通过一个SE block来进一步提升精度，得到更具表征能力的特征图；
步骤8：将步骤7中得到的结果作为Layer4的输入，并经过3个bottleneck的处理得到特征图；
步骤9：将步骤8中得到的特征图经过最大池化操作、全连接操作和softmax分类，最终输出复杂纹理的检测的结果。
2.根据权利要求1所述的一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，其特征在于：步骤5具体是：
将子特征中的第一个子特征先通过一个3*3的卷积，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y1；
将子特征中的第二个子特征和第一个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y2；
将子特征中的第三个子特征和第二个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y3；
将子特征中的第四个子特征和第三个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为Y4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111268703.9A CN114066825B (zh) | 2021-10-29 | 2021-10-29 | 一种改进的基于深度学习的复杂纹理图像瑕疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111268703.9A CN114066825B (zh) | 2021-10-29 | 2021-10-29 | 一种改进的基于深度学习的复杂纹理图像瑕疵检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114066825A CN114066825A (zh) | 2022-02-18 |
| CN114066825B true CN114066825B (zh) | 2024-05-28 |
Family
ID=80236002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111268703.9A Active CN114066825B (zh) | 2021-10-29 | 2021-10-29 | 一种改进的基于深度学习的复杂纹理图像瑕疵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066825B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581860A (zh) * | 2022-05-09 | 2022-06-03 | 武汉纺织大学 | 一种基于改进的YOLOv5模型的安全帽检测算法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365554A (zh) * | 2020-10-26 | 2021-02-12 | 天津大学 | 基于多尺度残差神经网络的压缩感知图像重建方法 |
| WO2021098323A1 (zh) * | 2019-11-19 | 2021-05-27 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
| CN112907561A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵检测方法 |
| CN113284123A (zh) * | 2021-06-01 | 2021-08-20 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
-
2021
- 2021-10-29 CN CN202111268703.9A patent/CN114066825B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098323A1 (zh) * | 2019-11-19 | 2021-05-27 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
| CN112365554A (zh) * | 2020-10-26 | 2021-02-12 | 天津大学 | 基于多尺度残差神经网络的压缩感知图像重建方法 |
| CN112907561A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵检测方法 |
| CN113284123A (zh) * | 2021-06-01 | 2021-08-20 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 轮胎X光图像瑕疵检测FasterR-CNN算法改进研究;郭培林;陈金水;卢建刚;戴柏炯;史敦禹;孙洪林;;自动化博览;20200815(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114066825A (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lei et al. | A novel graph-tcn with a graph structured representation for micro-expression recognition | |
| CN108399406B (zh) | 基于深度学习的弱监督显著性物体检测的方法及系统 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN110060237A (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN111028217A (zh) | 一种基于全卷积神经网络的图像裂缝分割方法 | |
| CN109472298A (zh) | 用于小尺度目标检测的深度双向特征金字塔增强网络 | |
| CN112101262B (zh) | 一种多特征融合手语识别方法及网络模型 | |
| CN112150450A (zh) | 一种基于双通道U-Net模型的图像篡改检测方法及装置 | |
| CN112308137B (zh) | 一种利用注意力机制聚合邻域点和全局特征的图像匹配方法 | |
| CN111709443B (zh) | 一种基于旋转不变卷积神经网络的书法字风格分类方法 | |
| CN114066825B (zh) | 一种改进的基于深度学习的复杂纹理图像瑕疵检测方法 | |
| Liu et al. | Progressive context-dependent inference for object detection in remote sensing imagery | |
| Zhang et al. | SSRDet: Small object detection based on feature pyramid network | |
| CN117115824A (zh) | 一种基于笔划区域分割策略的视觉文本检测方法 | |
| Yuan et al. | YOLO-HMC: An improved method for PCB surface defect detection | |
| Zhou et al. | Ship target detection in optical remote sensing images based on multiscale feature enhancement | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN115049833A (zh) | 一种基于局部特征增强和相似性度量的点云部件分割方法 | |
| CN113705731A (zh) | 一种基于孪生网络的端到端图像模板匹配方法 | |
| Xie et al. | A high-effective multitask surface defect detection method based on CBAM and atrous convolution | |
| Li et al. | Steel Surface Defect Detection Method Based on Improved YOLOX | |
| Zhang et al. | DCP-net: the defect detection method of industrial product based on dual collaborative paths | |
| Huang et al. | FPP detector for small product defect detection | |
| CN112529095B (zh) | 一种基于卷积区域重配准的单阶段目标检测方法 | |
| Quan et al. | Weakly-Supervised Crack Segmentation via Scribble Annotations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |