CN110211097A - 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 - Google Patents

一种基于Faster R-CNN参数迁移的裂缝图像检测方法 Download PDF

Info

Publication number
CN110211097A
CN110211097A CN201910398515.4A CN201910398515A CN110211097A CN 110211097 A CN110211097 A CN 110211097A CN 201910398515 A CN201910398515 A CN 201910398515A CN 110211097 A CN110211097 A CN 110211097A
Authority
CN
China
Prior art keywords
rpn
cnn
training
network
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910398515.4A
Other languages
English (en)
Other versions
CN110211097B (zh
Inventor
毛莺池
唐江红
陈江
陈琨
迟福东
刘凡
王静
黄倩
王晓刚
丁玉江
余记远
赵盛杰
岳宏斌
沈凤群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Huaneng Group Technology Innovation Center Co Ltd
Huaneng Lancang River Hydropower Co Ltd
Original Assignee
Hohai University HHU
Huaneng Group Technology Innovation Center Co Ltd
Huaneng Lancang River Hydropower Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU, Huaneng Group Technology Innovation Center Co Ltd, Huaneng Lancang River Hydropower Co Ltd filed Critical Hohai University HHU
Priority to CN201910398515.4A priority Critical patent/CN110211097B/zh
Publication of CN110211097A publication Critical patent/CN110211097A/zh
Application granted granted Critical
Publication of CN110211097B publication Critical patent/CN110211097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Faster R‑CNN参数迁移的裂缝图像检测方法，方法详细步骤为：1)特征提取，将图片输入ResNet‑50网络提取特征；2)特征融合及候选区域生成，将所得特征图输入多任务增强RPN模型，并改善RPN模型的锚盒大小和尺寸以提高检测识别精度，生成候选区域；3)检测处理，将特征图和候选区域发送到感兴趣区域(ROI)池，完全连接(FC)层，然后将FC层输出分别连接到一个边界回归器和一个SVM分类器，得到目标的类别和位置。本发明解决大坝裂缝图像样本不足的问题，以及适应大坝在不同光照环境，不同长度裂缝的检测。

Description

一种基于Faster R-CNN参数迁移的裂缝图像检测方法
技术领域
本发明属于图像处理领域，特别涉及一种基于Faster R-CNN参数迁移的裂缝图像检测方法。
背景技术
我国是世界上拥有水库大坝最多的国家，但是受自然环境和人为因素的影响，大坝表面和内部发生形变，出现裂缝、渗漏、钙化物析出等一系列大坝表观缺陷，影响大坝结构的安全性和持久性，裂缝是大坝的主要危害之一。
近年来，图像处理、模式识别和深度学习等技术的发展，为大坝裂缝图像检测提供技术支持。传统机器学习方法需要大量训练样本，且需要满足训练数据与测试数据是同分布的假设。迁移学习放宽传统机器学习中的两个基本假设，其目的主要是针对规模不大，样本数量有限的特定领域数据集使用机器学习容易产生过拟合而导致无法训练与学习的问题，通过利用具有一定相似性的领域中已训练好的较好优秀模型和样本构建满足任务需求的模型，从而实现小数据集下构建良好模型的效果。因此基于迁移学习的大坝裂缝检测可以大大降低人工标注成本，充分利用现有的标注图像数据，当目标数据标注图像过少或无标注图像时，将源领域图像知识迁移到目标领域，进行裂缝图片检测，即便在源领域与目标领域裂缝数据分布不同也会有很好的分类效果。
Faster R-CNN是目前基于区域建议卷积神经网络系列的目标检测算法中综合性能最好的方法之一，具有准确度高、实现过程相对简单、迁移能力强、可以使用深度学习实现端到端的过程等优点，在许多检测问题上都取得很好的成绩。原始的Faster R-CNN算法工作流程是：
1)特征提取：将一张图片输入卷积神经网络VGG16，得到特征图；
2)特征融合以及候选区域生成：将所得特征图输入区域建议网络RPN，计算每个候选框属于前景还是背景的概率，生成高质量候选框；
3)检测处理：将候选区域定位到卷积层生成的特征图，固定特征长度，将该特征送入全连接层，然后进行检测分类。
发明内容
发明目的：为了克服现有技术中大坝裂缝图像较少，使用较小数量级样本进行深度卷积神经网络训练容易出现过拟合，以及Faster R-CNN算法在应对多目标、小目标检测精度不高，深层特征提取不完整的问题，本发明提供基于Faster R-CNN参数迁移的裂缝图像检测方法，解决大坝裂缝图像样本不足的问题，以及适应大坝在不同光照环境，不同长度裂缝的检测。
技术方案：为实现上述目的，本发明提供一种基于Faster R-CNN参数迁移的裂缝图像检测方法，用于在小样本大坝裂缝图像的情况下，对大坝裂缝图像实现裂缝的识别及位置检测；首先通过ResNet-50神经网络提取样本图像的特征图；然后将所得特征图输入多任务增强RPN模型，并改善RPN模型的锚盒大小和尺寸以提高检测识别精度，生成候选区域；最后将特征图和候选区域发送到感兴趣区域(ROI)池，完全连接(FC)层、一个边界回归器和一个SVM分类器，得到目标的类别和位置。
具体的，包括如下步骤：
(1)基于Faster R-CNN的多任务增强裂缝图像检测ME-Faster R-CNN；
(2)迁移学习与模型训练：首先通过已准备的裂缝图像数据集对ME-Faster R-CNN模型的结构参数进行预训练，然后使用预训练好的网络权重作为初始化权值，迁移到目标数据集上进行训练和微调，得出检测结果。
进一步的，所述步骤(1)中基于Faster R-CNN的多任务增强裂缝图像检测ME-Faster R-CNN的具体步骤如下：
(1.1)特征提取：选取轻量级的ResNet-50作为卷积神经网络，通过5级ResNet-50将图片转换成特征图；
(1.2)特征融合以及候选区域生成：将所得特征图输入多任务增强RPN模型，并改善RPN模型的锚盒大小和尺寸以提高检测识别精度，最后生成候选框，即候选区域；
(1.3)检测处理：将特征图和候选区域发送到感兴趣区域ROI池，完全连接FC层和一个边界回归器，将Faster R-CNN的Softmax分类器改成SVM分类器；感兴趣区域ROI池用于将不同大小的输入转换为固定长度的输出；边界回归器用于确定候选框的位置；SVM新分类器用于确定候选框中是不是目标。
进一步的，所述步骤(1.2)中特征融合以及候选区域生成的具体步骤如下：
(1.2.1)多任务增强RPN方法：在ResNet-50的基础上引入多个RPN来产生ROI，提取不同大小特征图，在ResNet-50的第三卷积层Conv3_x后加入一个RPN模块，其感受野大小为146*146，用来检测较小目标；同时在ResNet-50的第四卷积层Conv4_x后加入一个RPN模块，其感受野大小为229*229，用来检测较大目标；在ResNet-50的第五卷积层Conv5_x之后利用多RPN任务可以输出图像总体信息；
三个卷积层后RPN输出的候选区域均带有建议得分，该分数对应是目标的可能性，在对应位置选取分数最高的一个ROI区域，另外两层对应位置的ROI与所选ROI交并比若大于0.7，则认为是同一ROI，ROI-Merge Layer的输出数组中对应位置仅输出该得分最高的数组；在非极大值抑制方法之后，选择前100个值较高的ROI；
(1.2.2)改善RPN模型的锚盒大小和尺寸：新型锚盒尺度为：50×50、200×200、350×350和500×500，其中，50×50和200×200适用于小的裂缝检测，350×350和500×500适用于大的裂缝检测；这四种尺度每种尺寸按1∶1，1∶2，2∶1的长宽比例缩放，共12种尺度作为RPN需要评估的候选框，在预测时候选框的顺序是固定的；RPN的目标就是对原图中的每个锚点对应的12个框，预测其是否是一个存在目标的框；框与真值框的IoU＞0.7就认为这个框是一个候选框，反之，则不是。
(1.2.3)训练方法：为了训练RPN，将一个二进制分类标签分配给每个锚点；如果一个锚盒跟所有真值框之一的IoU大于0.7，则称之为正样本；如果一个锚盒跟所有真值框的IoU小于0.3，则称之为负样本；剩下的锚盒既不是正样本也不是负样本，不用于最终的训练；将真值框与回归输出的候选框的位置作比较，用梯度下降法来训练网络；训练RPN的loss函数定义如下：
其中，一个mini-batch是由一幅图像中最终选取的所有正负样本组成的，其中正负样本的比例为1∶1，i表示一个mini-batch中第i个锚点，pi表示第i个锚点对应的锚盒是目标的概率，值在[0，1]之间；正样本的为1，负样本的为0；ti表示候选框的位置信息，为真值框的位置信息；是分类损失函数；是回归损失函数；表示只对正样本进行回归操作，负样本的为0；分类和回归操作分别输出候选框是目标的概率pi和候选框的位置信息ti，这两项分别由Ncls和Nreg以及平衡权重λ归一化，Ncls为mini-batch的大小，Nreg为锚点的数量；
分类损失函数定义如下：
回归损失函数定义如下：
其中，损失函数为：
进一步的，所述步骤(2)中迁移学习与模型训练的具体步骤如下：
(2.1)预训练RPN网络：用已标注的裂缝图像数据集上训练好的RPN网络进行参数初始化，然后用小样本大坝真实裂缝图像进行端对端微调；
(2.2)预训练Fast R-CNN网络：在不共享卷积层的基础之上，使用步骤(2.1)训练得到的RPN候选区域来训练一个单独检测网络，即将通过候选区域截取原图作为FastR-CNN的输入，再通过特征提取、目标分类、边框回归等一系列训练步骤得到网络参数，将其作为Fast R-CNN的初始参数；
(2.3)训练RPN网络：在共享卷积层的基础之上，使用步骤(2.2)训练得到检测网络初始化RPN训练，微调RPN独有的层共三层。此时固定网络公共部分的参数，只更新RPN独有部分的参数；
(2.4)训练Fast R-CNN网络：在保持卷积层固定的情况下，用小样本大坝真实裂缝图像微调Fast R-CNN网络的全连接层，此时，RPN和Fast R-CNN两个子网络共享相同的卷积层，形成一个统一的ME-Faster R-CNN网络。
有益效果：本发明与现有技术相比具有以下优点：
(1)Faster R-CNN模型常使用的基准网络是VGG16网络，本发明使用表达能力更强的ResNet-50替换区域卷积神经网络的VGG16网络作为新的基准网络，ResNet-50网络能够优化深度学习的性能，从而增强训练集的准确性，使检测多目标、小目标情况达到更好的结果。
(2)Faster R-CNN模型用于物体检测，其核心是区域建议RPN网络，多任务增强RPN检测区域提取方法引入多个RPN来产生候选区域提取策略，更精准地得到裂缝候选框，提高提取特征效率和准确度。同时，改善锚盒大小，采用选定尺度的均匀分布区间，提高了锚盒的搜索能力。
ME-Faster R-CNN方法在多目标、小目标检测准确性方面更优异，提高大坝裂缝检测效率。
附图说明
图1为具体实施例中基于Faster R-CNN的多任务增强裂缝图像检测方法(ME-Faster R-CNN)的模型改进图；
图2为具体实施例中多任务增强RPN模型图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于Faster R-CNN参数迁移的裂缝图像检测方法，包括以下两个方面：
1)基于Faster R-CNN的多任务增强裂缝图像检测ME-Faster R-CNN
2)迁移学习与模型训练
1)ME-Faster R-CNN采用的如下：
ME-Faster R-CNN方法检测流程与Faster R-CNN一致，主要分为三个流程，分别是特征提取、特征融合以及候选区域生成、检测处理。
①特征提取：本发明选取轻量级的ResNet-50作为卷积神经网络，通过5级ResNet-50将图片转换成特征图；
②特征融合以及候选区域生成：将所得特征图输入多任务增强RPN模型，并改善RPN模型的锚盒大小和尺寸以提高检测识别精度，最后生成候选框，即候选区域；
③检测处理：将特征图和候选区域发送到感兴趣区域(ROI)池，完全连接(FC)层和一个边界回归器，由于大坝裂缝的分类器只判断有无裂缝两种情况，本发明将Faster R-CNN的Softmax分类器改成SVM分类器。感兴趣区域(ROI)池用于将不同大小的输入转换为固定长度的输出；边界回归器用于确定候选框的位置；SVM新分类器用于确定候选框中是不是目标。
上述②中的特征融合以及候选区域生成具体包含以下方法：
①多任务增强RPN方法：在ResNet-50的基础上引入多个RPN来产生ROI，提取不同大小特征图，该方法称为多任务增强RPN方法。该方法在ResNet-50的第三卷积层Conv3_x后加入一个RPN模块，其感受野大小为146*146，用来检测较小目标；同时在ResNet-50的第四卷积层Conv4_x后加入一个RPN模块，其感受野大小为229*229，用来检测较大目标；在ResNet-50的第五卷积层Conv5_x之后利用多RPN任务可以输出图像总体信息。
由于每个RPN输出独立的ROI数组，为聚集和选择有效的区域，本发明提供ROI-Merge Layer用于接受独立ROI数组，ROI-Merge Layer仅输出一个数组。为了避免重复ROI和低的ROI裂缝似然分数，本发明令非极大值抑制方法条件下，不同卷积层后RPN输出的候选区域中，在对应位置两ROI的交并比大于0.7的ROI为同一ROI。具体方法为，三个卷积层后RPN输出的候选区域均带有建议得分，该分数对应是目标的可能性，在对应位置选取分数最高的一个ROI区域，另外两层对应位置的ROI与所选ROI交并比若大于0.7，则认为是同一ROI，ROI-Merge Layer的输出数组中对应位置仅输出该得分最高的数组。在非极大值抑制方法之后，选择前100个值较高的ROI。因此，ROI-Merge Layer只需要调整超参数即可控制ROI的数量。
②改善RPN模型的锚盒大小和尺寸：Faster R-CNN模型经过卷积层提取特征图，然后特征图输入RPN区域进行特征融合以及生成候选区域，此时特征图上每个像素点映射不同比例宽度锚点，每个锚点放置若干个不同大小的锚，为解决不同尺度间隔的锚盒搜索能力不平衡的问题，本发明设计了一种新型锚盒，新型锚盒尺度为：50×50、200×200、350×350和500×500，其中，50×50和200×200适用于较小的裂缝检测，350×350和500×500适用于较大的裂缝检测。这四种尺度每种尺寸按1∶1，1∶2，2∶1的长宽比例缩放，共12种尺度作为RPN需要评估的候选框，在预测时候选框的顺序是固定的。RPN的目标就是对原图中的每个锚点对应的12个框，预测其是否是一个存在目标的框。框与真值框的IoU＞0.7就认为这个框是一个候选框，反之，则不是。
③训练方法：为了训练RPN，将一个二进制分类标签(是否是目标)分配给每个锚点。如果一个锚盒跟所有真值框之一的IoU大于0.7，则称之为正样本；如果一个锚盒跟所有真值框的IoU小于0.3，则称之为负样本。剩下的锚盒既不是正样本也不是负样本，不用于最终的训练。将真值框与回归输出的候选框的位置作比较，用梯度下降法来训练网络。训练RPN的loss函数定义如下：
其中，一个mini-batch是由一幅图像中最终选取的所有正负样本组成的，其中正负样本的比例为1∶1，i表示一个mini-batch中第i个锚点，pi表示第i个锚点对应的锚盒是目标的概率，值在[0，1]之间；正样本的为1，负样本的为0；ti表示候选框的位置信息，为真值框的位置信息；是分类损失函数；是回归损失函数；表示只对正样本进行回归操作(负样本的为0)。分类和回归操作分别输出候选框是目标的概率pi和候选框的位置信息ti，这两项分别由Ncls和Nreg以及平衡权重λ归一化，Ncls为mini-batch的大小，Nreg为锚点的数量。
分类损失函数定义如下：
回归损失函数定义如下：
其中，损失函数为：
2)迁移学习与模型训练采用的如下：
首先通过已准备的裂缝图像数据集对ME-Faster R-CNN模型的结构参数进行预训练，然后使用预训练好的网络权重作为初始化权值，迁移到目标数据集上进行训练和微调，得出检测结果。ME-Faster R-CNN模型由RPN和Fast R-CNN两个子网络组成，前者是一种候选框的生成算法，后者是在生成候选框的基础上对候选框的位置和框内的物体的类别进行精确计算。两个子网络都是独立训练的，但共享ME-Faster R-CNN网络前五层卷积层。ME-Faster R-CNN模型的训练步骤如下：
步骤1：预训练RPN网络：用已标注的裂缝图像数据集上训练好的RPN网络进行参数初始化，然后用小样本大坝真实裂缝图像进行端对端微调；
步骤2：预训练Fast R-CNN网络：在不共享卷积层的基础之上，使用步骤1训练得到的RPN候选区域来训练一个单独检测网络，即将通过候选区域截取原图作为Fast R-CNN的输入，再通过特征提取、目标分类、边框回归等一系列训练步骤得到网络参数，将其作为Fast R-CNN的初始参数；
步骤1和步骤2用不同的的数据集预训练并初始化RPN和Fast R-CNN网络，然后又各自独立地进行训练，所以在训练之后，各自对预训练得到的卷积层模型的更新是不一样的，即两步骤是不共享卷积层的。
步骤3：训练RPN网络：在共享卷积层的基础之上，使用步骤2训练得到检测网络初始化RPN训练，微调RPN独有的层(共三层)。此时固定网络公共部分的参数，只更新RPN独有部分的参数；
步骤4：训练Fast R-CNN网络：在保持卷积层固定的情况下，用小样本大坝真实裂缝图像微调Fast R-CNN网络的全连接层，此时，RPN和Fast R-CNN两个子网络共享相同的卷积层，形成一个统一的ME-Faster R-CNN网络。
参数的设置和实验评价标准如下：
A参数设置
以下为几个影响ME-Faster R-CNN网络的关键参数：学习率(Learning rate)、权值衰减(Weight decay)、动量(Momentum)、丢失率(Dropout ratio)。
B实验评价标准：
以下为本发明具体实施例的评价指标：
1)mAP：mAP全称为平均精度均值，作为目标检测中用于衡量识别精度指标，值越大，表示该检测模型的性能越好。其解决召回率(recall)和准确度(precision)的单一性，召回率和准确度公式如公式5、公式6所示，其中TP表示被判定正确的个数，FP表示被判定错误的次数，N表示该类标定的物体总数，由recall和precision可以求出每个类别的平均精度(mAP)。
2)IoU：在mAP的计算过程中会使用检测评价函数(Inetersection Over Union，IoU)来计算感兴趣区域和标定区域的重叠率，假设裂缝标定区域为A，对裂缝图像提取的感兴趣区域为B，A∩B表示提取的感兴趣区域与裂缝标定区域之间重叠的部分。那么，IoU计算公式如下：
IoU＝(A∩B)/(A∪B) (8)
IoU的值在[0,1]之间，当IoU越接近1时，说明裂缝标定区域与提取的感兴趣区域之间重叠部分越大，表明定位越精准，裂缝检测精度越高；当IoU越接近0时，说明裂缝标定区域与提取的感兴趣区域之间重叠部分越小或几乎没有重叠部分，表明定位不准确，裂缝检测精度不高。
具体的：本发明涉及到的相关定义如下：
定义1(锚点).锚点是卷积层输出的特征图上的一个像素点。
定义2(锚盒).锚盒是每一个锚点对应的候选框。在本发明中锚盒有4种尺度：50×50、200×200、350×350和500×500，3种尺寸：1∶1，1∶2，2∶1，所以一个锚点对应12个锚盒。
定义3(真值框).真值框是图像数据集中，人工标注的目标框。
定义4(感受野).在卷积神经网络CNN中，决定某一层输出结果中一个元素所对应的输入层的区域大小。
图1为本发明提供的基于Faster R-CNN的多任务增强裂缝图像检测方法(ME-Faster R-CNN)的模型改进图，在迁移学习下其工作过程如下所描述：
1)对训练图像数据集进行预处理：将大坝裂缝图像数据集划分为训练集DT和测试集S，已准备的裂缝图像数据集为源训练集Ds。
2)特征提取：将源训练集Ds输入5级ResNet-50将图片转换成特征图，ResNet-50网络的具体结构如表1所示。
表1 ResNet-50的具体结构
3)特征融合以及候选区域生成：将所得特征图输入多任务增强RPN模型，对RPN网络进行参数初始化，然后用小样本大坝真实裂缝图像训练集DT通过反向传播和随机梯度下降对卷积网络进行端对端微调，最终得到一系列的候选区域。
图2为本发明实施例的多任务增强RPN模型图，下面对多任务增强RPN模型的工作方式进行说明：
①在ResNet-50的基础上引入多个RPN来产生ROI，提取不同大小特征图，该方法称为多任务增强RPN方法。如图2所示，该方法在ResNet-50的第三卷积层Conv3_x后加入一个RPN模块，其感受野大小为146*146，用来检测较小目标；同时在ResNet-50的第四卷积层Conv4_x后加入一个RPN模块，其感受野大小为229*229，用来检测较大目标；在ResNet-50的第五卷积层Conv5_x之后利用多RPN任务可以输出图像总体信息。
由于每个RPN输出独立的ROI数组，为聚集和选择有效的区域，本发明提供ROI-Merge Layer用于接受独立ROI数组，ROI-Merge Layer仅输出一个数组。为了避免重复ROI和低的ROI裂缝似然分数，本发明令非极大值抑制方法条件下，不同卷积层后RPN输出的候选区域中，在对应位置两ROI的交并比大于0.7的ROI为同一ROI。具体方法为，三个卷积层后RPN输出的候选区域均带有建议得分，该分数对应是目标的可能性，在对应位置选取分数最高的一个ROI区域，另外两层对应位置的ROI与所选ROI交并比若大于0.7，则认为是同一ROI，ROI-Merge Layer的输出数组中对应位置仅输出该得分最高的数组。在非极大值抑制方法之后，选择前100个值较高的ROI。因此，ROI-Merge Layer只需要调整超参数即可控制ROI的数量。
②改善RPN模型的锚盒大小和尺寸：Faster R-CNN模型经过卷积层提取特征图，然后进入RPN区域进行特征融合以及生成候选区域，此时特征图上每个像素点映射不同比例宽度锚点，每个锚点放置若干个不同大小的锚，为解决不同尺度间隔的锚盒搜索能力不平衡的问题，本发明设计了一种新型锚盒，新型锚盒尺度为：50×50、200×200、350×350和500×500，其中，50×50和200×200适用于较小的裂缝检测，350×350和500×500适用于较大的裂缝检测。这四种尺度每种尺寸按1:1，1:2，2:1的长宽比例缩放，共12种尺度作为RPN需要评估的候选框，在预测时候选框的顺序是固定的。RPN的目标就是对原图中的每个锚点对应的12个框，预测其是否是一个存在目标的框。框与ground truth的IoU>0.7就认为这个框是一个region proposal，反之，则不是。
③训练方法：为了训练RPN，将一个二进制分类标签(是否是目标)分配给每个锚点。如果一个锚盒跟所有真值框的IoU大于0.7，则称之为正样本；如果一个锚点跟所有真值框的IoU小于0.3，则称之为负样本。将真值框与回归输出的候选框的位置作比较，用梯度下降法来训练网络。训练RPN的loss函数定义如下：
其中，i表示mini-batch中第i个锚点，pi表示第i个锚点对应的锚盒是目标的概率，值在[0，1]之间；正样本的为1，负样本的为0；ti表示候选框的位置信息，为真值框的位置信息；是分类损失函数；是回归损失函数；表示只对正样本进行回归操作(负样本的为0)。分类和回归操作分别输出候选框是目标的概率pi和候选框的位置信息ti，这两项分别由Ncls和Nreg以及平衡权重λ归一化，Ncls为mini-batch的大小，Nreg为锚点的数量。
分类损失函数定义如下：
回归损失函数定义如下：
其中，损失函数为：
4)预训练Fast R-CNN网络：将所得候选区域截取原图作为Fast R-CNN的输入，再通过特征提取、目标分类、边框回归等一系列训练步骤得到网络参数，将其作为Fast R-CNN的初始参数，在利用源训练集Ds训练好RPN和Fast R-CNN网络后，将其迁移到大坝真实裂缝图像训练集DT上继续训练。
5)训练RPN网络：在共享卷积层的基础之上，使用步骤2训练得到检测网络初始化RPN训练，微调RPN独有的层(共三层)。此时卷积的参数是上一步训练好的参数，在这一步是不更新该参数的，只更新RPN独有部分的参数；
6)在保持卷积层固定的情况下，用小样本大坝真实裂缝图像微调Fast R-CNN网络的全连接层，此时，RPN和Fast R-CNN两个子网络共享相同的卷积层，形成一个统一的ME-Faster R-CNN网络。
参数的设置和实验评价标准如下：
A参数设置
以下为几个影响CNN网络的关键参数：学习率(Learning rate)、权值衰减(Weightdecay)、动量(Momentum)、丢失率(Dropout ratio)。
表2列出了ME-Faster R-CNN网络的一些参数设置：
表2 LG-CNN模型训练参数设置
B实验评价标准：
以下为本发明具体实施例的评价指标：
1)mAP：mAP全称为平均精度均值，作为目标检测中用于衡量识别精度指标，值越大，表示该检测模型的性能越好。其解决召回率(recall)和准确度(precision)的单一性，召回率和准确度公式如公式2、公式3所示，其中TP表示被判定正确的个数，FP表示被判定错误的次数，N表示该类标定的物体总数，由recall和precision可以求出每个类别的平均精度(mAP)。
2)IoU：在mAP的计算过程中会使用检测评价函数(Inetersection Over Union，IoU)来计算感兴趣区域和标定区域的重叠率，假设裂缝标定区域为A，对裂缝图像提取的感兴趣区域为B，A∩B表示提取的感兴趣区域与裂缝标定区域之间重叠的部分。那么，IoU计算公式如下：
IoU＝(A∩B)/(A∪B) (8)
IoU的值在[0,1]之间，当IoU越接近1时，说明裂缝标定区域与提取的感兴趣区域之间重叠部分越大，表明定位越精准，裂缝检测精度越高；当IoU越接近0时，说明裂缝标定区域与提取的感兴趣区域之间重叠部分越小或几乎没有重叠部分，表明定位不准确，裂缝检测精度不高。
根据以上实施例可知，针对在实际应用中，大坝裂缝图像可以获得的图像数量较少，使用较小数量级样本进行深度卷积神经网络训练容易出现过拟合问题，本发明将迁移学习的思想引入深度卷积神经网络，解决大坝裂缝图像样本不足的问题，可有效提高深度卷积神经网络在小样本数据集上的泛化性能。针对Faster R-CNN算法在应对多目标、小目标检测精度不高，深层特征提取不完整的问题，本发明的方法，解决大坝裂缝图像样本不足的问题，以及适应大坝在不同光照环境，不同长度裂缝的检测。

Claims (4)

1.一种基于Faster R-CNN参数迁移的裂缝图像检测方法，其特征在于，包括如下步骤：
(1)基于Faster R-CNN的多任务增强裂缝图像检测ME-Faster R-CNN；
(2)迁移学习与模型训练：首先通过已准备的裂缝图像数据集对ME-Faster R-CNN模型的结构参数进行预训练，然后使用预训练好的网络权重作为初始化权值，迁移到目标数据集上进行训练和微调，得出检测结果。
2.根据权利要求1所述的一种基于Faster R-CNN参数迁移的裂缝图像检测方法，其特征在于，所述步骤(1)中基于Faster R-CNN的多任务增强裂缝图像检测ME-FasterR-CNN的具体步骤如下：
(1.1)特征提取：选取轻量级的ResNet-50作为卷积神经网络，通过5级ResNet-50将图片转换成特征图；
(1.2)特征融合以及候选区域生成：将所得特征图输入多任务增强RPN模型，并改善RPN模型的锚盒大小和尺寸以提高检测识别精度，最后生成候选框，即候选区域；
(1.3)检测处理：将特征图和候选区域发送到感兴趣区域ROI池，完全连接FC层和一个边界回归器，将Faster R-CNN的Softmax分类器改成SVM分类器；感兴趣区域ROI池用于将不同大小的输入转换为固定长度的输出；边界回归器用于确定候选框的位置；SVM新分类器用于确定候选框中是不是目标。
3.根据权利要求2所述的一种基于Faster R-CNN参数迁移的裂缝图像检测方法，其特征在于，所述步骤(1.2)中特征融合以及候选区域生成的具体步骤如下：
(1.2.1)多任务增强RPN方法：在ResNet-50的基础上引入多个RPN来产生ROI，提取不同大小特征图，在ResNet-50的第三卷积层Conv3_x后加入一个RPN模块，其感受野大小为146*146，用来检测较小目标；同时在ResNet-50的第四卷积层Conv4_x后加入一个RPN模块，其感受野大小为229*229，用来检测较大目标；在ResNet-50的第五卷积层Conv5_x之后利用多RPN任务可以输出图像总体信息；
三个卷积层后RPN输出的候选区域均带有建议得分，该分数对应是目标的可能性，在对应位置选取分数最高的一个ROI区域，另外两层对应位置的ROI与所选ROI交并比若大于0.7，则认为是同一ROI，ROI-Merge Layer的输出数组中对应位置仅输出该得分最高的数组；在非极大值抑制方法之后，选择前100个值较高的ROI；
(1.2.2)改善RPN模型的锚盒大小和尺寸：新型锚盒尺度为：50×50、200×200、350×350和500×500，其中，50×50和200×200适用于小的裂缝检测，350×350和500×500适用于大的裂缝检测；这四种尺度每种尺寸按1∶1，1∶2，2∶1的长宽比例缩放，共12种尺度作为RPN需要评估的候选框，在预测时候选框的顺序是固定的；RPN的目标就是对原图中的每个锚点对应的12个框，预测其是否是一个存在目标的框；框与真值框的IoU＞0.7就认为这个框是一个候选框，反之，则不是。
(1.2.3)训练方法：为了训练RPN，将一个二进制分类标签分配给每个锚点；如果一个锚盒跟所有真值框之一的IoU大于0.7，则称之为正样本；如果一个锚盒跟所有真值框的IoU小于0.3，则称之为负样本；剩下的锚盒既不是正样本也不是负样本，不用于最终的训练；将真值框与回归输出的候选框的位置作比较，用梯度下降法来训练网络；训练RPN的loss函数定义如下：
其中，一个mini-batch是由一幅图像中最终选取的所有正负样本组成的，其中正负样本的比例为1∶1，i表示一个mini-batch中第i个锚点，pi表示第i个锚点对应的锚盒是目标的概率，值在[0，1]之间；正样本的为1，负样本的为0；ti表示候选框的位置信息，为真值框的位置信息；是分类损失函数；是回归损失函数；表示只对正样本进行回归操作，负样本的为0；分类和回归操作分别输出候选框是目标的概率pi和候选框的位置信息ti，这两项分别由Ncls和Nreg以及平衡权重λ归一化，Ncls为mini-batch的大小，Nreg为锚点的数量；
分类损失函数定义如下：
回归损失函数定义如下：
其中，损失函数为：
4.根据权利要求1所述的一种基于Faster R-CNN参数迁移的裂缝图像检测方法，其特征在于，所述步骤(2)中迁移学习与模型训练的具体步骤如下：
(2.1)预训练RPN网络：用已标注的裂缝图像数据集上训练好的RPN网络进行参数初始化，然后用小样本大坝真实裂缝图像进行端对端微调；
(2.2)预训练Fast R-CNN网络：在不共享卷积层的基础之上，使用步骤(2.1)训练得到的RPN候选区域来训练一个单独检测网络，即将通过候选区域截取原图作为Fast R-CNN的输入，再通过特征提取、目标分类、边框回归等一系列训练步骤得到网络参数，将其作为Fast R-CNN的初始参数；
(2.3)训练RPN网络：在共享卷积层的基础之上，使用步骤(2.2)训练得到检测网络初始化RPN训练，微调RPN独有的层共三层。此时固定网络公共部分的参数，只更新RPN独有部分的参数；
(2.4)训练Fast R-CNN网络：在保持卷积层固定的情况下，用小样本大坝真实裂缝图像微调Fast R-CNN网络的全连接层，此时，RPN和Fast R-CNN两个子网络共享相同的卷积层，形成一个统一的ME-Faster R-CNN网络。
CN201910398515.4A 2019-05-14 2019-05-14 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 Active CN110211097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398515.4A CN110211097B (zh) 2019-05-14 2019-05-14 一种基于Faster R-CNN参数迁移的裂缝图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398515.4A CN110211097B (zh) 2019-05-14 2019-05-14 一种基于Faster R-CNN参数迁移的裂缝图像检测方法

Publications (2)

Publication Number Publication Date
CN110211097A true CN110211097A (zh) 2019-09-06
CN110211097B CN110211097B (zh) 2021-06-08

Family

ID=67785871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398515.4A Active CN110211097B (zh) 2019-05-14 2019-05-14 一种基于Faster R-CNN参数迁移的裂缝图像检测方法

Country Status (1)

Country Link
CN (1) CN110211097B (zh)

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
CN110555842A (zh) * 2019-09-10 2019-12-10 太原科技大学 一种基于锚点集优化的硅片图像缺陷检测方法
CN110738634A (zh) * 2019-09-10 2020-01-31 中国三峡建设管理有限公司 聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质
CN110910373A (zh) * 2019-11-25 2020-03-24 西南交通大学 正交异性钢桥面板疲劳裂纹检测图像的识别方法
CN111008656A (zh) * 2019-11-29 2020-04-14 中国电子科技集团公司第二十研究所 一种基于预测框误差多阶段回环处理的目标检测方法
CN111027542A (zh) * 2019-11-20 2020-04-17 天津大学 一种基于Faster RCNN算法改进的目标检测方法
CN111047585A (zh) * 2019-12-25 2020-04-21 苏州奥易克斯汽车电子有限公司 一种路面裂缝检测方法
CN111079820A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种基于图像识别的铁路货车防火板故障识别方法
CN111160120A (zh) * 2019-12-11 2020-05-15 重庆邮电大学 基于迁移学习的Faster R-CNN物品检测方法
CN111179262A (zh) * 2020-01-02 2020-05-19 国家电网有限公司 一种结合形状属性的电力巡检图像金具检测方法
CN111274981A (zh) * 2020-02-03 2020-06-12 中国人民解放军国防科技大学 目标检测网络构建方法及装置、目标检测方法
CN111292349A (zh) * 2020-01-17 2020-06-16 北京大学深圳研究生院 一种基于推荐候选框融合的用于目标检测的数据增强方法
CN111310756A (zh) * 2020-01-20 2020-06-19 陕西师范大学 一种基于深度学习的损伤玉米颗粒检测和分类方法
CN111523530A (zh) * 2020-04-13 2020-08-11 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111553212A (zh) * 2020-04-16 2020-08-18 中国科学院深圳先进技术研究院 一种基于平滑边框回归函数的遥感图像目标检测方法
CN111583204A (zh) * 2020-04-27 2020-08-25 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN111612747A (zh) * 2020-04-30 2020-09-01 重庆见芒信息技术咨询服务有限公司 产品表面裂缝快速检测方法及检测系统
CN111652216A (zh) * 2020-06-03 2020-09-11 北京工商大学 基于度量学习的多尺度目标检测模型方法
CN111768436A (zh) * 2020-06-17 2020-10-13 哈尔滨理工大学 一种基于Faster-RCNN改进的图像特征块配准方法
CN111784679A (zh) * 2020-07-06 2020-10-16 金陵科技学院 一种基于cnn和svm的挡土墙裂缝识别方法
CN111861982A (zh) * 2020-06-07 2020-10-30 中国葛洲坝集团第一工程有限公司 可视化图像监测识别系统
CN111951242A (zh) * 2020-08-07 2020-11-17 哈尔滨工程大学 基于多波束测深声纳的气体泄露检测方法
CN112150462A (zh) * 2020-10-22 2020-12-29 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
CN112149664A (zh) * 2020-09-04 2020-12-29 浙江工业大学 一种优化分类与定位任务的目标检测方法
CN112164024A (zh) * 2020-08-29 2021-01-01 北方工业大学 一种基于领域自适应的混凝土表面裂缝检测方法及系统
CN112241950A (zh) * 2020-10-19 2021-01-19 福州大学 一种塔式起重机裂缝图像的检测方法
CN112364687A (zh) * 2020-09-29 2021-02-12 上善智城(苏州)信息科技有限公司 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN112364906A (zh) * 2020-11-03 2021-02-12 北京工商大学 一种基于ExtremeNet融合双阶段的图像目标检测方法
CN112417981A (zh) * 2020-10-28 2021-02-26 大连交通大学 基于改进FasterR-CNN的复杂战场环境目标高效识别方法
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN112686251A (zh) * 2020-12-25 2021-04-20 佛山市南海区广工大数控装备协同创新研究院 一种基于维度分解的候选区域提取方法
CN112990004A (zh) * 2021-03-12 2021-06-18 中国科学技术大学智慧城市研究院(芜湖) 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法
CN112989897A (zh) * 2019-12-18 2021-06-18 富士通株式会社 训练多分支网络的方法和对象检测方法
CN113177549A (zh) * 2021-05-11 2021-07-27 中国科学技术大学 一种基于动态原型特征融合的少样本目标检测方法及系统
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
CN113269119A (zh) * 2021-06-07 2021-08-17 重庆大学 一种夜间车辆检测方法及装置
CN113269074A (zh) * 2021-05-19 2021-08-17 陕西科技大学 一种目标检测方法及安保巡检机器人
CN113486721A (zh) * 2021-06-09 2021-10-08 北京科技大学 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法
CN113705567A (zh) * 2021-08-25 2021-11-26 浙江国际海运职业技术学院 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN113807463A (zh) * 2021-09-28 2021-12-17 中电万维信息技术有限责任公司 一种基于Faster-RCNN对BI图标题检测的方法
CN113989600A (zh) * 2021-09-28 2022-01-28 上海师范大学 一种图像异物检测方法
CN114463613A (zh) * 2022-01-19 2022-05-10 中海石油(中国)有限公司 基于残差网络与Faster R-CNN的断层检测方法及系统
CN115035526A (zh) * 2022-06-21 2022-09-09 亿嘉和科技股份有限公司 基于深度学习的led字符自动定位和识别方法
CN115115887A (zh) * 2022-07-07 2022-09-27 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN113469272B (zh) * 2021-07-20 2023-05-19 东北财经大学 基于Faster R-CNN-FFS模型的酒店场景图片的目标检测方法
CN116385732A (zh) * 2023-02-08 2023-07-04 亿海兰特科技发展(长沙)有限公司 一种基于改进Sparse R-CNN的目标检测方法
CN117036348A (zh) * 2023-10-08 2023-11-10 中国石油大学(华东) 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法
CN117893872A (zh) * 2024-03-18 2024-04-16 成都理工大学 基于多模型融合检测的平面裂隙光学检测方法
CN118154993A (zh) * 2024-05-09 2024-06-07 南昌工程学院 基于声光图像融合的双模态水下大坝裂缝检测方法
CN115035526B (zh) * 2022-06-21 2024-10-22 亿嘉和科技股份有限公司 基于深度学习的led字符自动定位和识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备
CN108550133A (zh) * 2018-03-02 2018-09-18 浙江工业大学 一种基于Faster R-CNN的癌细胞检测方法
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
CN108985322A (zh) * 2018-06-01 2018-12-11 广东电网有限责任公司 一种基于ZF-Faster RCNNs的电缆隧道积水定位识别方法
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN109583517A (zh) * 2018-12-26 2019-04-05 华东交通大学 一种适用于小目标检测的增强的全卷积实例语义分割算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备
CN108550133A (zh) * 2018-03-02 2018-09-18 浙江工业大学 一种基于Faster R-CNN的癌细胞检测方法
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
CN108985322A (zh) * 2018-06-01 2018-12-11 广东电网有限责任公司 一种基于ZF-Faster RCNNs的电缆隧道积水定位识别方法
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN109583517A (zh) * 2018-12-26 2019-04-05 华东交通大学 一种适用于小目标检测的增强的全卷积实例语义分割算法

Cited By (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544251B (zh) * 2019-09-08 2021-02-09 河海大学 基于多迁移学习模型融合的大坝裂缝检测方法
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
CN110555842A (zh) * 2019-09-10 2019-12-10 太原科技大学 一种基于锚点集优化的硅片图像缺陷检测方法
CN110738634A (zh) * 2019-09-10 2020-01-31 中国三峡建设管理有限公司 聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质
CN111027542A (zh) * 2019-11-20 2020-04-17 天津大学 一种基于Faster RCNN算法改进的目标检测方法
CN110910373A (zh) * 2019-11-25 2020-03-24 西南交通大学 正交异性钢桥面板疲劳裂纹检测图像的识别方法
CN111008656A (zh) * 2019-11-29 2020-04-14 中国电子科技集团公司第二十研究所 一种基于预测框误差多阶段回环处理的目标检测方法
CN111160120A (zh) * 2019-12-11 2020-05-15 重庆邮电大学 基于迁移学习的Faster R-CNN物品检测方法
CN111079820A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种基于图像识别的铁路货车防火板故障识别方法
CN112989897A (zh) * 2019-12-18 2021-06-18 富士通株式会社 训练多分支网络的方法和对象检测方法
CN111047585A (zh) * 2019-12-25 2020-04-21 苏州奥易克斯汽车电子有限公司 一种路面裂缝检测方法
CN111179262A (zh) * 2020-01-02 2020-05-19 国家电网有限公司 一种结合形状属性的电力巡检图像金具检测方法
CN111292349A (zh) * 2020-01-17 2020-06-16 北京大学深圳研究生院 一种基于推荐候选框融合的用于目标检测的数据增强方法
CN111292349B (zh) * 2020-01-17 2023-04-18 北京大学深圳研究生院 一种基于推荐候选框融合的用于目标检测的数据增强方法
CN111310756A (zh) * 2020-01-20 2020-06-19 陕西师范大学 一种基于深度学习的损伤玉米颗粒检测和分类方法
CN111274981A (zh) * 2020-02-03 2020-06-12 中国人民解放军国防科技大学 目标检测网络构建方法及装置、目标检测方法
CN111523530A (zh) * 2020-04-13 2020-08-11 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111553212A (zh) * 2020-04-16 2020-08-18 中国科学院深圳先进技术研究院 一种基于平滑边框回归函数的遥感图像目标检测方法
CN111583204A (zh) * 2020-04-27 2020-08-25 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN111583204B (zh) * 2020-04-27 2022-10-14 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN111612747B (zh) * 2020-04-30 2023-10-20 湖北煌朝智能自动化装备有限公司 产品表面裂缝快速检测方法及检测系统
CN111612747A (zh) * 2020-04-30 2020-09-01 重庆见芒信息技术咨询服务有限公司 产品表面裂缝快速检测方法及检测系统
CN111652216B (zh) * 2020-06-03 2023-04-07 北京工商大学 基于度量学习的多尺度目标检测模型方法
CN111652216A (zh) * 2020-06-03 2020-09-11 北京工商大学 基于度量学习的多尺度目标检测模型方法
CN111861982A (zh) * 2020-06-07 2020-10-30 中国葛洲坝集团第一工程有限公司 可视化图像监测识别系统
CN111861982B (zh) * 2020-06-07 2024-03-12 中国葛洲坝集团第一工程有限公司 可视化图像监测识别系统
CN111768436B (zh) * 2020-06-17 2022-10-18 哈尔滨理工大学 一种基于Faster-RCNN改进的图像特征块配准方法
CN111768436A (zh) * 2020-06-17 2020-10-13 哈尔滨理工大学 一种基于Faster-RCNN改进的图像特征块配准方法
CN111784679A (zh) * 2020-07-06 2020-10-16 金陵科技学院 一种基于cnn和svm的挡土墙裂缝识别方法
CN111951242A (zh) * 2020-08-07 2020-11-17 哈尔滨工程大学 基于多波束测深声纳的气体泄露检测方法
CN111951242B (zh) * 2020-08-07 2023-04-18 哈尔滨工程大学 基于多波束测深声纳的气体泄露检测方法
CN112164024B (zh) * 2020-08-29 2023-09-05 北方工业大学 一种基于领域自适应的混凝土表面裂缝检测方法及系统
CN112164024A (zh) * 2020-08-29 2021-01-01 北方工业大学 一种基于领域自适应的混凝土表面裂缝检测方法及系统
CN112149664B (zh) * 2020-09-04 2024-05-07 浙江工业大学 一种优化分类与定位任务的目标检测方法
CN112149664A (zh) * 2020-09-04 2020-12-29 浙江工业大学 一种优化分类与定位任务的目标检测方法
CN112364687A (zh) * 2020-09-29 2021-02-12 上善智城(苏州)信息科技有限公司 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN112241950A (zh) * 2020-10-19 2021-01-19 福州大学 一种塔式起重机裂缝图像的检测方法
US11915466B2 (en) 2020-10-22 2024-02-27 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining target anchor, device and storage medium
CN112150462B (zh) * 2020-10-22 2023-12-22 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
CN112150462A (zh) * 2020-10-22 2020-12-29 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
CN112417981B (zh) * 2020-10-28 2024-04-26 大连交通大学 基于改进FasterR-CNN的复杂战场环境目标高效识别方法
CN112417981A (zh) * 2020-10-28 2021-02-26 大连交通大学 基于改进FasterR-CNN的复杂战场环境目标高效识别方法
CN112364906A (zh) * 2020-11-03 2021-02-12 北京工商大学 一种基于ExtremeNet融合双阶段的图像目标检测方法
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN112686251A (zh) * 2020-12-25 2021-04-20 佛山市南海区广工大数控装备协同创新研究院 一种基于维度分解的候选区域提取方法
CN112990004A (zh) * 2021-03-12 2021-06-18 中国科学技术大学智慧城市研究院(芜湖) 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
CN113177549B (zh) * 2021-05-11 2022-09-02 中国科学技术大学 一种基于动态原型特征融合的少样本目标检测方法及系统
CN113177549A (zh) * 2021-05-11 2021-07-27 中国科学技术大学 一种基于动态原型特征融合的少样本目标检测方法及系统
CN113269074A (zh) * 2021-05-19 2021-08-17 陕西科技大学 一种目标检测方法及安保巡检机器人
CN113269119A (zh) * 2021-06-07 2021-08-17 重庆大学 一种夜间车辆检测方法及装置
CN113486721A (zh) * 2021-06-09 2021-10-08 北京科技大学 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法
CN113486721B (zh) * 2021-06-09 2023-08-29 北京科技大学 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法
CN113469272B (zh) * 2021-07-20 2023-05-19 东北财经大学 基于Faster R-CNN-FFS模型的酒店场景图片的目标检测方法
CN113705567B (zh) * 2021-08-25 2024-02-02 浙江国际海运职业技术学院 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN113705567A (zh) * 2021-08-25 2021-11-26 浙江国际海运职业技术学院 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN113807463B (zh) * 2021-09-28 2023-10-17 中电万维信息技术有限责任公司 一种基于Faster-RCNN对BI图标题检测的方法
CN113807463A (zh) * 2021-09-28 2021-12-17 中电万维信息技术有限责任公司 一种基于Faster-RCNN对BI图标题检测的方法
CN113989600A (zh) * 2021-09-28 2022-01-28 上海师范大学 一种图像异物检测方法
CN114463613A (zh) * 2022-01-19 2022-05-10 中海石油(中国)有限公司 基于残差网络与Faster R-CNN的断层检测方法及系统
CN115035526B (zh) * 2022-06-21 2024-10-22 亿嘉和科技股份有限公司 基于深度学习的led字符自动定位和识别方法
CN115035526A (zh) * 2022-06-21 2022-09-09 亿嘉和科技股份有限公司 基于深度学习的led字符自动定位和识别方法
CN115115887B (zh) * 2022-07-07 2023-09-12 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN115115887A (zh) * 2022-07-07 2022-09-27 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN116385732B (zh) * 2023-02-08 2023-11-24 亿海兰特科技发展(长沙)有限公司 一种基于改进Sparse R-CNN的目标检测方法
CN116385732A (zh) * 2023-02-08 2023-07-04 亿海兰特科技发展(长沙)有限公司 一种基于改进Sparse R-CNN的目标检测方法
CN117036348B (zh) * 2023-10-08 2024-01-09 中国石油大学(华东) 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法
CN117036348A (zh) * 2023-10-08 2023-11-10 中国石油大学(华东) 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法
CN117893872A (zh) * 2024-03-18 2024-04-16 成都理工大学 基于多模型融合检测的平面裂隙光学检测方法
CN117893872B (zh) * 2024-03-18 2024-05-14 成都理工大学 基于多模型融合检测的平面裂隙光学检测方法
CN118154993A (zh) * 2024-05-09 2024-06-07 南昌工程学院 基于声光图像融合的双模态水下大坝裂缝检测方法

Also Published As

Publication number Publication date
CN110211097B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN110211097B (zh) 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN111259930A (zh) 自适应注意力指导机制的一般性目标检测方法
CN116863274B (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN114529819B (zh) 一种基于知识蒸馏学习的生活垃圾图像识别方法
CN104156734A (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN109614968A (zh) 一种基于多尺度混合图像风格化的车牌检测场景图片生成方法
CN104680151B (zh) 一种顾及雪覆盖影响的高分辨全色遥感影像变化检测方法
CN111259808A (zh) 一种基于改进ssd算法的交通标识的检测识别方法
CN105512675B (zh) 一种基于记忆性多点交叉引力搜索的特征选择方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质
CN118279320A (zh) 基于自动提示学习的目标实例分割模型建立方法及其应用
CN116403007B (zh) 基于目标向量的遥感影像变化检测方法
CN112102241A (zh) 一种单阶段遥感图像目标检测算法
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN111797795A (zh) 一种基于YOLOv3与SSR的行人检测算法
CN116935356A (zh) 基于弱监督的自动驾驶多模态图片和点云实例分割方法
CN114359300B (zh) 一种图像分割模型的优化方法、装置、系统及存储介质
CN112183163A (zh) 一种基于全卷积残差网络的自然场景文本检测方法
CN113344005B (zh) 一种基于优化小尺度特征的图像边缘检测方法
CN109886340A (zh) 一种遥感影像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant