CN113409289A - 一种基于Faster R-CNN的古建筑砖面缺陷检测方法 - Google Patents
一种基于Faster R-CNN的古建筑砖面缺陷检测方法 Download PDFInfo
- Publication number
- CN113409289A CN113409289A CN202110725958.7A CN202110725958A CN113409289A CN 113409289 A CN113409289 A CN 113409289A CN 202110725958 A CN202110725958 A CN 202110725958A CN 113409289 A CN113409289 A CN 113409289A
- Authority
- CN
- China
- Prior art keywords
- frame
- cnn
- network
- brick surface
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 239000011469 building brick Substances 0.000 title description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 14
- 239000011449 brick Substances 0.000 claims abstract description 11
- 230000001788 irregular Effects 0.000 claims description 2
- 230000002950 deficient Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明以Faster R‑CNN为基础设计了一种适用于古建筑砖面缺陷检测方法。使用残差网络ResNet‑101提高卷积神经网络的提取特征能力。在卷积神经网络中使用可变形卷积，以改善提取特征网络输出特征图的效果。统计数据集中标签的宽、高和宽高比例，并据此优化锚框的大小和比例，提高候选区域生成网络输出的候选框质量。最后使用Soft‑NMS代替NMS，解决原算法中的漏检问题，降低待测框的分类得分，由此降低漏检率。
Description
技术领域
本发明属于图像处理与计算机视觉领域，涉及一种基于Faster R-CNN的古建筑砖面缺陷检测方法，本质上就是利用卷积神经网络对图像像素点进行分类的问题。
背景技术
目前大多数缺陷检测算法是根据应用场景对缺陷特征参数进行手工设定，然后直接分类或者通过机器学习算法再分类。这种有监督机器学习算法在缺陷检测中存在一定的局限性，由于图片中缺陷的种类以及形状等的不同，人为提取特征时需要检测人员具有很强相应的专业性，而且检测效果不理想，鲁棒性差，因而不能很好地适用于砖面缺陷的检测。
近年来随着计算机视觉的迅猛发展，其在工业、农业、社会生活等领域中的应用也越来越广泛。比如在包裹分拣过程中，针对地址中的手写体识别需要使用深度学习对其进行识别，卷积神经网络CNN作为深度学习的一个重要分支，在手写体识别领域已经发展为一个成熟的网络。
基于深度学习的古建筑砖面缺陷检测可以降低缺陷检测的成本，不受地点和时间的限制，可以极大提升检测精度和效率，同时也能更好地保障检测人员安全。目标检测领域有许多性能优异的算法，本发明以在Pascal VOC数据集上表现性能佳、精度较高、检测速度均衡的Faster R-CNN算法为基础，针对古建筑砖面缺陷特点，提出了一种改进型的FasterR-CNN算法，提高了砖面缺陷检测的精度，获得了不错的检测效果，为古建筑砖面缺陷检测提供了有效的方法。
发明内容
本发明提出了一种基于Faster R-CNN的古建筑砖面缺陷检测方法，技术方案如下：
一种基于Faster R-CNN的古建筑砖面缺陷检测方法，具体实现步骤如下：
一、卷积特征提取：Faster R-CNN使用卷积层获取输入图片的特征；使用池化层在保证特征不变的情况下，降低特征图尺寸；该特征图与ReLu计算后，用于后续的待测框生成和预测概率计算；使用可变形卷积解决古建筑砖面缺陷形状的不规则性。
二、RPN：RPN的作用是产生待测框，并将待测框与Softmax函数计算判断待测框中是否包含目标，然后使用边界框回归修正锚框的大小和位置，获得比较精准的候选框。本发明重新设置模型中的锚框尺寸和比例，使模型更适用于自建的古建筑砖面缺陷数据集；使用Soft-NMS代替NMS算法，避免因为待选框和对比框的IoU大于阈值，而待选框的得分强制归零的现象，也避免了由此造成的某一物体的漏检情况。
三、ROIPooling：该层将特征图和RPN产生的待测框整合，得到包含高置信度待测区域的特征图，进而送入全连接层，对待测区域包含的目标类别和预测值进行计算。
四、分类和回归：判别候选区域的具体类别，同时再次使用边界框回归方法获得预测框最终位置。
本发明提出的基于Faster R-CNN的古建筑砖面缺陷检测的方法，包括输入图像处理、提取输入图像特征、生成候选区域、对候选区域进行筛选、分类与回归等步骤。首先，对输入图像进行缩放等预处理操作；然后通过卷积神经网络对输入图像提取特征；其次对提取的特征图进行前景与背景的二分类，并且筛选出置信度较高的候选框；最后使用全连接网络对预测框进行分类和位置回归。本发明提出的古建筑砖面缺陷检测方法具有较高的精度和效率，可以应用到实际中。
附图说明
图1为本发明的整体结构图。
图2为古建筑砖面数据集中标签的宽(左图)、高(中图)和宽高比例(右图)统计。
图3为Soft-NMS示意图。
图4为检测结果示意图。
具体实施方式
本发明提出了一种适用于古建筑砖面缺陷检测的方法，以Faster R-CNN为基础，采用ResNet-101为提取特征的网络框架。算法的总体框架如图1所示。首先使用ResNet-101的卷积部分对输入图像进行提取特征，在提取特征的同时加入可变形卷积来应对不规则的缺陷特征，将生成的特征图分别输入RPN和ROIPooling层。在RPN中使用设计的锚框尺寸和比例生成候选框，Softmax分类器将锚框分为前景和背景，同时通过Soft-NMS算法剔除不符合要求的候选框，降低模型的漏检率。最后通过Proposal层将锚框与调整后的边界回归信息进行整合，获得更准确的预测框的位置信息，然后再经过ROIPooing层将特征图固定到统一的大小以便后续的分类和回归。最后通过分类回归层输出缺陷的预测概率和分类结果。本发明主要包括以下几个核心模块：
一、卷积特征提取：卷积提取特征主要是对输入图像提取特征，提取的特征包括目标轮廓、颜色等低层次特征信息，以及能够包含目标完整组件信息的高层次特征信息。卷积提取特征的效果会直接影响到RPN和ROIPooling对候选框的分类和位置回归结果。因此需要提高Faster R-CNN对原图像提取特征的能力，输入到RPN的特征图才会包含更加丰富的特征信息。
二、RPN:RPN调整特征图结构之后与Softmax计算得到特征图的预测概率，分为前景或者背景；同时计算锚框的边界回归的偏移量，获得精确的目标区域。然后将两者结合输入到Proposal层，整合目标预测值最高的锚框和与之对应的待测框的坐标及其偏移量得到更加精准的目标区域，即边界框回归。边界框回归是找到一种关系使前景的锚框经过映射后更接近真实框的位置和大小。待测区域包含四个参数(x,y,w,h)，其中x，y用来表示锚框的中心位置坐标，w，h表示锚框的长鹤宽。假设前景的锚框表示为A＝(Ax,Ay,AW,Ah),目标的锚框即真实框为GT＝(Gx,Gy,Gw,Gh)，研究的目标就是找到一种变化关系F，使得F(Ax,Ay,AW,Ah)＝(G'x,G'y,G'w,G'h)，其中(G'x,G'y,G'w,G'h)≈(Gx,Gy,Gw,Gh)。为了找到这种映射关系，先对A做平移然后进行缩放，平移如式(1)所示，缩放如式(2)所示：
三、ROIPooling：ROIPooling层有两个输入，一个是CNN计算生成的特征图，另外一个是RPN输出的大小各不相同的目标区域的候选框。该层的作用是综合两个输入的信息生成最终大小相同的候选区域。
四、分类和回归：分类和回归将对在RPN得到的特征图进行计算。分类部分将特征图送入全连接层和Softmax，来计算每个待测框的预测种类与该种类的预测值，并将计算得到的输出目标分类(cls_pred)的结果作为预测的概率向量进行输出；回归部分将特征图进行边界框回归来获得每个待测区域中心点的位置及其偏移量(bbox_pred)。图4是检测结果样例。
Claims (6)
1.一种基于Faster R-CNN的古建筑砖面缺陷检测的方法，其特征在于：使用ResNet-101的卷积部分对输入图像进行提取特征，在提取特征的同时加入可变形卷积来应对不规则的缺陷特征，将生成的特征图分别输入RPN和ROIPooling层。在RPN中使用设计的锚框尺寸和比例生成候选框，Softmax分类器将锚框分为前景和背景，同时通过Soft-NMS算法剔除不符合要求的候选框，降低模型的漏检率。
2.如权利要求书1所述，其特征在于故宫砖面图片的采集以及数据集的制作，制作了包括6800张图片用于训练和测试，并将其制作成PASCAL VOC2007的格式。
3.如权利要求书1所述，其特征在于使用ResNet-101网络作为卷积神经网络的骨干网络对图像的特征进行提取。
4.如权利要求书1所述，其特征在于通过统计数据集中缺陷的标签的宽、高和宽高比，重新设置了锚框的尺寸。
5.如权利要求书1所述，其特征在于使用Soft-NMS提高检测精度，降低漏检率。
6.如权利要求书1所述，其特征在于使用可变形卷积代替传统卷积，能有效且更多的提取砖面的缺陷特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725958.7A CN113409289A (zh) | 2021-06-29 | 2021-06-29 | 一种基于Faster R-CNN的古建筑砖面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725958.7A CN113409289A (zh) | 2021-06-29 | 2021-06-29 | 一种基于Faster R-CNN的古建筑砖面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113409289A true CN113409289A (zh) | 2021-09-17 |
Family
ID=77680060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110725958.7A Pending CN113409289A (zh) | 2021-06-29 | 2021-06-29 | 一种基于Faster R-CNN的古建筑砖面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409289A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447018A (zh) * | 2018-11-08 | 2019-03-08 | 天津理工大学 | 一种基于改进Faster R-CNN的道路环境视觉感知方法 |
| CN110210463A (zh) * | 2019-07-03 | 2019-09-06 | 中国人民解放军海军航空大学 | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 |
| CN110909800A (zh) * | 2019-11-26 | 2020-03-24 | 浙江理工大学 | 一种基于Faster R-CNN改进算法的车辆检测方法 |
| CN112001411A (zh) * | 2020-07-10 | 2020-11-27 | 河海大学 | 一种基于fpn结构的大坝裂缝检测算法 |
| US20210034907A1 (en) * | 2019-07-29 | 2021-02-04 | Walmart Apollo, Llc | System and method for textual analysis of images |
-
2021
- 2021-06-29 CN CN202110725958.7A patent/CN113409289A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447018A (zh) * | 2018-11-08 | 2019-03-08 | 天津理工大学 | 一种基于改进Faster R-CNN的道路环境视觉感知方法 |
| CN110210463A (zh) * | 2019-07-03 | 2019-09-06 | 中国人民解放军海军航空大学 | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 |
| US20210034907A1 (en) * | 2019-07-29 | 2021-02-04 | Walmart Apollo, Llc | System and method for textual analysis of images |
| CN110909800A (zh) * | 2019-11-26 | 2020-03-24 | 浙江理工大学 | 一种基于Faster R-CNN改进算法的车辆检测方法 |
| CN112001411A (zh) * | 2020-07-10 | 2020-11-27 | 河海大学 | 一种基于fpn结构的大坝裂缝检测算法 |
Non-Patent Citations (2)
| Title |
|---|
| 周兵等: "基于改进的FasterR-CNN目标检测算法", 《激光与光电子学进展》 * |
| 陈利等: "基于改进的 Faster R-CNN 的古建筑地砖缺陷检测", 《人工智能》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Real-time face detection based on YOLO | |
| CN111161243B (zh) | 基于样本增强的工业产品表面缺陷检测方法 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN110555842A (zh) | 一种基于锚点集优化的硅片图像缺陷检测方法 | |
| CN109961049A (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN112767357A (zh) | 一种基于Yolov4的混凝土结构病害检测方法 | |
| CN110853015A (zh) | 基于改进Faster-RCNN的铝型材缺陷检测方法 | |
| WO2022148109A1 (zh) | 产品缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN110111331A (zh) | 基于机器视觉的蜂窝纸芯缺陷检测方法 | |
| CN112085024A (zh) | 一种罐表面字符识别方法 | |
| CN110598698B (zh) | 基于自适应区域建议网络的自然场景文本检测方法和系统 | |
| CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
| CN114910480A (zh) | 一种基于机器视觉的晶圆表面缺陷检测方法 | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN111220619B (zh) | 一种绝缘子自爆检测方法 | |
| CN110309765B (zh) | 一种视频运动目标高效检测方法 | |
| CN111597941B (zh) | 一种面向大坝缺陷图像的目标检测方法 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN112926694A (zh) | 基于改进的神经网络对图像中的猪只进行自动识别的方法 | |
| CN113221956A (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
| CN113673534A (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
| CN116912670A (zh) | 基于改进yolo模型的深海鱼类识别方法 | |
| CN116258908A (zh) | 一种基于无人机遥感影像数据的地灾预测评估分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210917 |
|
| WD01 | Invention patent application deemed withdrawn after publication |