CN114170511B - 基于Cascade RCNN的路面裂缝病害识别方法 - Google Patents
基于Cascade RCNN的路面裂缝病害识别方法 Download PDFInfo
- Publication number
- CN114170511B CN114170511B CN202111484833.6A CN202111484833A CN114170511B CN 114170511 B CN114170511 B CN 114170511B CN 202111484833 A CN202111484833 A CN 202111484833A CN 114170511 B CN114170511 B CN 114170511B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- cls
- full
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 69
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 230000007547 defect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于Cascade RCNN的路面裂缝病害识别方法，通过多层神经网络与双分支混合结构的检测头进行病害问题的定位和识别，泛化能力强，识别精度高，双分支混合结构的检测头将定位任务与分类任务进行解耦，并通过自学习系数加权融合的方式处理全连接层支路和卷积层支路独立提取的高维语义特征，有效提升了网络识别能力和定位精度，能够实现歧义难分路面裂缝病害的准确分类，从而综合提高检测识别的精确度，在工业缺陷检测、小目标检测等领域具有广阔的应用背景。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于Cascade RCNN的路面裂缝病害识别方法。
背景技术
伴随中国公路建设日渐完善，公路路面的日常性养护成为有效延长道路服役寿命的重要措施，是有效延长道路基础设施运行寿命的关键。对于大量普通公路路面常见病害的日常巡查，仍然是以人工调查的方式实现，这种方式对病害的判断受主观因素影响大，巡查效率低。传统的路面裂缝病害的自动化检测方法主要包括Cascade+Hog、DPM+Harr及其改进或优化方法，这些方法的缺点是采用人工设计特征，对光线条件要求苛刻，且对复杂路面、前景背景杂乱等情况下的多类型裂缝病害辨识，其性能表现急剧下降。近年来，伴随着深度学习方法在目标检测任务中的广泛运用，采用海量数据预训练的大规模卷积神经网络提取的图像特征质量远超传统手工设计的特征，具有较强的鲁棒性。并且基于卷积神经网络设计的目标检测网络能够实现端到端的推理分析，大幅度提升路面病害的识别效率。
伴随深度学习的迅猛发展，目前已有大量针对真实场景目标检测的深度学习算法。但是常见的自然场景中的缺陷检测仍然以Faster RCNN为代表的两阶段网络为主。Faster RCNN网络由于其结构简单，两阶段结构先使用候选区域生成网络(RegionProposal Network，RPN)对整张图片中的待检测目标的可能出现的候选区域进行判断，区分前景类与背景类；再通过分类回归网络对候选区域的前景进一步分类，确定目标的具体分类类别，对候选区域前景的坐标位置进一步回归，得到最终的目标框。
Cascade RCNN则是对二阶段目标检测网络Faster RCNN的进一步完善，在二阶段网络的区域生成了若干提名候选区域后，首先会对这些提名的候选区域进行一轮筛选。通过计算真实目标与提名候选区域的交并比(Intersection of Union,IoU)对提名的候选区域进行划分，区分正样本(前景类)与负样本(背景)。因此，IoU阈值的合理选取会对最终检测效果带来很大影响。除此之外，网络的训练阶段和推理阶段提名的候选区域的分布情况存在差异，单纯采用单一IoU阈值来区分正负样本并不合理。Cascade RCNN网络的核心在于：采用级联检测方式逐级提升IoU阈值来实现逐级检测，使得模型能够检测特定IoU的目标检测框，并且目标检测框的精度逐级提升，最终提升了网络的检测效果。但Cascade RCNN采用特征共享的检测头，以卷积层、全连接层的结构在同一分支上进行包围框回归、分类阶段的特征提取，在处理分类与回归问题时很难回归到最优值。同时，由于数据样本中隐含的标注噪声，往往分类准确的结果会被较低的分类结果干扰，导致包围框的漏检。
Double Head RCNN是在二阶段目标检测网络Faster RCNN的基础上通过设计两种不同结构的检测头，以全连接层分支分别对目标检测任务中的包围框的回归与分类问题，全卷积层处理目标检测任务中的分类问题。尽管Double Head RCNN结构缓解了二阶段Faster RCNN网络在最终包围框的回归、分类问题中的难度，分别采用两个检测头对包围框生成任务进行解耦。但单纯的网络解耦无法解决候选区域分布差异问题，很多候选框的结果在回归分类过程中由于不合适的IoU阈值直接被视为负样本被网络丢弃，也导致了包围框的漏检。
发明内容
本发明针对现有技术中的不足，提供一种基于Cascade RCNN的路面裂缝病害识别方法，采用解耦学习和级联检测头的方法解决路面裂缝数据样本中标注噪声、单一IoU阈值造成的包围框漏检问题，用于准确识别复杂场景下的路面裂缝病害。
为实现上述目的，本发明采用以下技术方案：
基于Cascade RCNN的路面裂缝病害识别方法，包括以下步骤：
步骤1：基于Cascade RCNN构建路面裂缝病害识别网络，包括特征提取骨干网络、区域提名网络和融合检测头网络；特征提取骨干网络用于提取道路表面特征图，区域提名网络用于根据提取的道路表面特征图生成若干候选目标区域，候选目标区域的特征图作为融合检测头网络的输入；融合检测头网络包括全连接支路和卷积层支路，全连接支路用于提取路面高维语义特征以实现裂缝病害分类，卷积层支路用于捕获空间位置信息和高维语义信息以实现裂缝病害定位；
步骤2：为路面裂缝病害识别网络构建联合损失函数；
步骤3：采集若干包含不同类型裂缝病害的路面图像，并分别标注裂缝病害类别及对应病害在图像中的位置，构建路面裂缝病害样本集；
步骤4：利用路面裂缝病害样本集和联合损失函数训练路面裂缝病害识别网络；
步骤5：将待识别路面图像输入到训练完成的路面裂缝病害识别网络中，得到一系列病害分类得分和对应的病害位置信息，并根据病害位置信息获取病害在待识别路面图像中的包围框；
步骤6：对获取的包围框进行筛选，将筛选后的包围框及其对应的类别作为最终结果。
进一步地，步骤1中，所述特征提取骨干网络包括若干卷积层和全连接层，对于特征提取骨干网络提取的道路表面特征图的不同层特征，利用特征金字塔结构将其进行融合，以生成多尺度的高清道路表面特征图；区域提名网络在道路表面特征图上每一点对应的原图位置处生成多种不同长宽尺寸的Anchor，作为候选目标区域，接着采用ROI Pooling层将候选目标区域的特征进行池化得到候选目标区域的特征图。
进一步地，步骤1中所述全连接支路包括两个全连接层，通过第一个全连接层对候选目标区域的特征图进行压缩，再通过第二个全连接层进一步抽象与分类相关的语义信息并进行分类。
进一步地，步骤1中所述卷积层支路首先通过依次连接的三个分组卷积层、一个压缩-扩张层和两个平均池化层对候选目标区域的特征图进行压缩，然后通过一个全连接层得到候选目标区域的位置调整参数；所述压缩-扩张层依次包括一个动态平均池化层、一个1*1的卷积层、ReLU激活函数、一个全连接层和Sigmoid激活函数。
进一步地，步骤1中所述的压缩-扩张层，通过一个动态平均池化层对多维度特征图的空间分辨率进行压缩，压缩为1*1*C的特征图，再通过一个1*1的卷积层、一个ReLU激活函数、一个全连接层和一个Sigmoid激活函数后，得到权重系数矩阵，尺寸也为1*1*C，最终将得到的权重系数矩阵与原始特征图相乘，得到特征重分配后的特征图
进一步地，融合检测头网络对目标区域的定位包括三个阶段，第一阶段通过融合检测头网络得到候选目标区域的位置调整参数，第二阶段将候选目标区域的特征图和第一阶段得到的位置调整参数联合输入融合检测头网络中获取第二阶段的位置调整参数，第三阶段将候选目标区域的特征图和第二阶段的位置调整参数联合输入融合检测头网络中获取最终的位置调整参数。
进一步地，所述分组卷积层为：随机将候选目标区域的特征图通道分为四组，第一组保留原始特征，第二组经过一个3*3的卷积层提取卷积特征，第三组与第二组提取的卷积特征融合后再经过一个3*3的卷积层提取卷积特征，第四组与第三组提取的卷积特征融合后再经过一个3*3的卷积层提取卷积特征，将各组的特征进行通道混洗操作后再经过一个1*1的卷积层作为输出。
进一步地，步骤1中，在卷积层支路添加一组分类输出，并将卷积层支路的分类得分conv_cls与全连接支路的分类得分fc_cls进行加权融合，
Cls_score＝σ*fc_cls+(1-σ)*conv_cls，
其中，Cls_score为最终的分类得分，融合系数σ由网络自动学习生成并以滑动平均的方式进行更新，σt＝β*σt-1+(1-β)*θt，σt代表t时刻的融合系数，σt-1代表t-1时刻的融合系数，β为加权权重值，θt代表t时刻网络生成的融合系数，在起始时刻θt为0.5。
进一步地，步骤2中，所述联合损失函数Loss为：
Loss＝α*l_fc_cls+(1–γ)*l_conv_cls+γ*l_conv_bbox+(1–α)*l_fc_bbox
其中，α、β分别为全连接支路和卷积层支路的损失函数权重，l_fc_cls和l_conv_cls分别表示全连接支路和卷积层支路的分类损失函数且均为交叉熵损失函数，l_conv_cls和l_fc_bbox均为Smooth L1损失函数。
进一步地，步骤6中，使用软化非极大值抑制算法对获取的包围框进行筛选，通过一个非线性函数分别将每个包围框与分类得分最高的包围框间的交并比映射为包围框得分，设定得分阈值，将包围框得分大于得分阈值的包围框及其对应的类别作为最终结果；所述非线性函数为：
其中，Bi为第i个包围框BBox_i的包围框得分，iou(BBox_i,M)表示BBox_i与分类得分最高的包围框M间的交并比，Si为第i个包围框对应的分类得分，ρ为修正系数。
本发明的有益效果是：本发明提出一种路面裂缝病害识别网络，通过包含的融合检测头网络将分类和定位进行解耦学习，并结合软化非极大值抑制算法解决了路面裂缝数据样本中标注噪声、单一IoU阈值造成的包围框漏检问题，提高了复杂场景下路面裂缝病害识别的准确度。
附图说明
图1为本发明网络的总体结构示意图；
图2为本发明网络中融合检测头网络的结构示意图；
图3为本发明网络中分组卷积的结构示意图；
图4为本发明网络中压缩-扩张层的结构示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
针对Cascade RCNN和Double Head RCNN在路面裂缝病害识别问题上存在的缺陷，本发明提出一种基于Cascade RCNN的路面裂缝病害识别方法，主要包括以下步骤：
(1)基于Cascade RCNN构建路面裂缝病害识别网络
路面裂缝病害识别网络包括特征提取骨干网络(Backbone)、区域提名网络(RPN)和融合检测头网络；特征提取骨干网络用于提取道路表面特征图，区域提名网络用于根据提取的道路表面特征图生成若干候选目标区域，候选目标区域的特征图作为融合检测头网络的输入；融合检测头网络包括全连接支路和卷积层支路，全连接支路用于提取路面高维语义特征以实现裂缝病害分类，卷积层支路用于捕获空间位置信息和高维语义信息以实现裂缝病害定位。
为保持网络的灵活性，特征提取骨干网络各层网络结构的超参数设置于ResNet50保持一致，具体结构如表1所示。
表1 Backbone网络的具体结构
如图1所示，对于特征提取骨干网络提取的道路表面特征图的不同层特征，利用特征金字塔结构(RPN)将其进行融合，以生成多尺度的高清道路表面特征图；区域提名网络在道路表面特征图上每一点对应的原图位置处生成9种不同长宽尺寸的Anchor，作为候选目标区域，接着采用ROI Pooling层将候选目标区域的特征进行池化得到7*7*256的特征图，而后通过一个上采样操作，将其缩放为9*9*256的候选目标区域的特征图。
如图2所示，融合检测头网络的全连接支路包括两个全连接层，通过第一个全连接层对候选目标区域的特征图进行压缩，再通过第二个全连接层进一步抽象与分类相关的语义信息并进行分类。卷积层支路首先通过依次连接的三个分组卷积层、一个压缩-扩张层和两个平均池化层对候选目标区域的特征图进行压缩，然后通过一个全连接层得到候选目标区域的位置调整参数。在分组卷积层中，随机将候选目标区域的特征图通道分为四组，第一组保留原始特征，第二组经过一个3*3的卷积层提取卷积特征，第三组与第二组提取的卷积特征融合后再经过一个3*3的卷积层提取卷积特征，第四组与第三组提取的卷积特征融合后再经过一个3*3的卷积层提取卷积特征，将各组的特征进行通道混洗操作后再经过一个1*1的卷积层作为输出，如图3所示。在压缩-扩张层中，通过一个动态平均池化层对多维度特征图的空间分辨率进行压缩，压缩为1*1*C的特征图，再通过一个1*1的卷积层、一个ReLU激活函数、一个全连接层和一个Sigmoid激活函数后，得到权重系数矩阵，尺寸也为1*1*C，最终将得到的权重系数矩阵与原始特征图相乘，得到特征重分配后的特征图，如图4所示。
在卷积层支路添加一组分类输出，并将卷积层支路的分类得分conv_cls与全连接支路的分类得分fc_cls进行加权融合，Cls_score＝σ*fc_cls+(1-σ)*conv_cls，Cls_score为最终的分类得分，融合系数σ由网络自动学习生成并以滑动平均的方式进行更新，σt＝β*σt-1+(1-β)*θt，σt代表t时刻的融合系数，σt-1代表t-1时刻的融合系数，β为加权权重值，本实施例中取值为0.999，θt代表t时刻网络生成的融合系数，在起始时刻θt为0.5。
参见图1，融合检测头网络对目标区域的定位包括三个阶段，第一阶段通过融合检测头网络得到候选目标区域的位置调整参数，第二阶段将候选目标区域的特征图和第一阶段得到的位置调整参数联合输入融合检测头网络中获取第二阶段的位置调整参数，第三阶段将候选目标区域的特征图和第二阶段的位置调整参数联合输入融合检测头网络中获取最终的位置调整参数，总计经过3个阶段的逐步精修。
(2)为路面裂缝病害识别网络构建联合损失函数
由于双路结构的融合检测头将分类任务与包围框的回归任务进行解耦，因此也需要重新设计对应的损失函数，联合损失函数Loss为：
Loss＝α*l_fc_cls+(1–γ)*l_conv_cls+γ*l_conv_bbox+(1–α)*l_fc_bbox
其中，α、β分别为全连接支路和卷积层支路的损失函数权重，本实施例中α取值为0.3，β取0.7，l_fc_cls和l_conv_cls分别表示全连接支路和卷积层支路的分类损失函数且均为交叉熵损失函数，l_conv_cls和l_fc_bbox均为Smooth L1损失函数。
(3)采集若干包含不同类型裂缝病害的路面图像，并分别标注裂缝病害类别及对应病害在图像中的位置，构建路面裂缝病害样本集。
(4)利用路面裂缝病害样本集和联合损失函数训练路面裂缝病害识别网络
对样本集中的路面图像进行预处理，即，归一化后将每张图像转换为[height,width,channels]的3阶张量形式输入到网络中进行网络训练，height为图像高度，width为图像宽度，channels为图像通道数。
(5)将待识别路面图像进行预处理后输入到训练完成的路面裂缝病害识别网络中，得到一系列病害分类得分和对应的病害位置信息，并根据病害位置信息获取病害在待识别路面图像中的包围框。
(6)使用软化非极大值抑制算法(Soft Non-Maximum Suppression，Soft NMS)对获取的包围框进行筛选，通过一个非线性函数分别将每个包围框与分类得分最高的包围框间的交并比映射为包围框得分，设定得分阈值，将包围框得分大于得分阈值的包围框及其对应的类别作为最终结果。非线性函数为：
其中，Bi为第i个包围框BBox_i的包围框得分，iou(BBox_i,M)表示BBox_i与分类得分最高的包围框M间的交并比，Si为第i个包围框对应的分类得分，ρ为修正系数，本实例中将其设置为0.5。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (7)
1.基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，包括以下步骤：
步骤1：基于Cascade RCNN构建路面裂缝病害识别网络，包括特征提取骨干网络、区域提名网络和融合检测头网络；特征提取骨干网络用于提取道路表面特征图，区域提名网络用于根据提取的道路表面特征图生成若干候选目标区域，候选目标区域的特征图作为融合检测头网络的输入；融合检测头网络包括全连接支路和卷积层支路，全连接支路用于提取路面高维语义特征以实现裂缝病害分类，卷积层支路用于捕获空间位置信息和高维语义信息以实现裂缝病害定位；
步骤2：为路面裂缝病害识别网络构建联合损失函数；
步骤3：采集若干包含不同类型裂缝病害的路面图像，并分别标注裂缝病害类别及对应病害在图像中的位置，构建路面裂缝病害样本集；
步骤4：利用路面裂缝病害样本集和联合损失函数训练路面裂缝病害识别网络；
步骤5：将待识别路面图像输入到训练完成的路面裂缝病害识别网络中，得到一系列病害分类得分和对应的病害位置信息，并根据病害位置信息获取病害在待识别路面图像中的包围框；
步骤6：对获取的包围框进行筛选，将筛选后的包围框及其对应的类别作为最终结果；
融合检测头网络对目标区域的定位包括三个阶段，第一阶段通过融合检测头网络得到候选目标区域的位置调整参数，第二阶段将候选目标区域的特征图和第一阶段得到的位置调整参数联合输入融合检测头网络中获取第二阶段的位置调整参数，第三阶段将候选目标区域的特征图和第二阶段的位置调整参数联合输入融合检测头网络中获取最终的位置调整参数；
步骤6中，使用软化非极大值抑制算法对获取的包围框进行筛选，通过一个非线性函数分别将每个包围框与分类得分最高的包围框间的交并比映射为包围框得分，设定得分阈值，将包围框得分大于得分阈值的包围框及其对应的类别作为最终结果；所述非线性函数为：
其中，Bi为第i个包围框BBox_i的包围框得分，iou(BBox_i,M)表示BBox_i与分类得分最高的包围框M间的交并比，Si为第i个包围框对应的分类得分，ρ为修正系数。
2.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中，所述特征提取骨干网络包括若干卷积层和全连接层，对于特征提取骨干网络提取的道路表面特征图的不同层特征，利用特征金字塔结构将其进行融合，以生成多尺度的高清道路表面特征图；区域提名网络在道路表面特征图上每一点对应的原图位置处生成多种不同长宽尺寸的Anchor，作为候选目标区域，接着采用ROIPooling层将候选目标区域的特征进行池化得到候选目标区域的特征图。
3.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中所述全连接支路包括两个全连接层，通过第一个全连接层对候选目标区域的特征图进行压缩，再通过第二个全连接层进一步抽象与分类相关的语义信息并进行分类。
4.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中所述卷积层支路首先通过依次连接的三个分组卷积层、一个压缩-扩张层和两个平均池化层对候选目标区域的特征图进行压缩，然后通过一个全连接层得到候选目标区域的位置调整参数；所述压缩-扩张层依次包括一个动态平均池化层、一个1*1的卷积层、ReLU激活函数、一个全连接层和Sigmoid激活函数。
5.如权利要求4所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，所述分组卷积层为：随机将候选目标区域的特征图通道分为四组，第一组保留原始特征，第二组经过一个3*3的卷积层提取卷积特征，第三组与第二组提取的卷积特征融合后再经过一个3*3的卷积层提取卷积特征，第四组与第三组提取的卷积特征融合后再经过一个3*3的卷积层提取卷积特征，将各组的特征进行通道混洗操作后再经过一个1*1的卷积层作为输出。
6.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中，在卷积层支路添加一组分类输出，并将卷积层支路的分类得分conv_cls与全连接支路的分类得分fc_cls进行加权融合，
Cls_score＝σ*fc_cls+(1-σ)*conv_cls，
其中，Cls_score为最终的分类得分，融合系数σ由网络自动学习生成并以滑动平均的方式进行更新，σt＝β*σt-1+(1-β)*θt，σt代表t时刻的融合系数，σt-1代表t-1时刻的融合系数，β为加权权重值，θt代表t时刻网络生成的融合系数，在起始时刻θt为0.5。
7.如权利要求6所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤2中，所述联合损失函数Loss为：
Loss＝α*l_fc_cls+(1–β)*l_conv_cls+β*l_conv_bbox+(1–α)*l_fc_bbox
其中，α、β分别为全连接支路和卷积层支路的损失函数权重，l_fc_cls和l_conv_cls分别表示全连接支路和卷积层支路的分类损失函数且均为交叉熵损失函数，l_conv_cls和l_fc_bbox均为Smooth L1损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111484833.6A CN114170511B (zh) | 2021-12-07 | 2021-12-07 | 基于Cascade RCNN的路面裂缝病害识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111484833.6A CN114170511B (zh) | 2021-12-07 | 2021-12-07 | 基于Cascade RCNN的路面裂缝病害识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170511A CN114170511A (zh) | 2022-03-11 |
| CN114170511B true CN114170511B (zh) | 2024-06-28 |
Family
ID=80483832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111484833.6A Active CN114170511B (zh) | 2021-12-07 | 2021-12-07 | 基于Cascade RCNN的路面裂缝病害识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170511B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114881966B (zh) * | 2022-05-05 | 2024-09-06 | 湖南大学 | 基于人工智能的复杂工况下路面病害高精度提取识别方法 |
| CN115343685A (zh) * | 2022-08-29 | 2022-11-15 | 北京国电经纬工程技术有限公司 | 应用于病害识别的多维度探地雷达检测方法、装置、设备 |
| CN115619784B (zh) * | 2022-12-16 | 2023-06-02 | 福建帝视科技集团有限公司 | 一种基于深度特征记忆库的无监督缺陷检测方法及终端 |
| CN116580277B (zh) * | 2023-05-10 | 2024-01-30 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的底部电子识别标签丢失图像识别方法 |
| CN117058536B (zh) * | 2023-07-19 | 2024-04-30 | 中公高科养护科技股份有限公司 | 一种基于双分支网络的路面病害识别方法、装置及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
| CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018122586A1 (zh) * | 2016-12-30 | 2018-07-05 | 同济大学 | 一种基于舒适度的自动驾驶车速控制方法 |
| WO2019028725A1 (en) * | 2017-08-10 | 2019-02-14 | Intel Corporation | CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT |
| CN111259930B (zh) * | 2020-01-09 | 2023-04-25 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
-
2021
- 2021-12-07 CN CN202111484833.6A patent/CN114170511B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
| CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170511A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114170511B (zh) | 基于Cascade RCNN的路面裂缝病害识别方法 | |
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| CN110210463B (zh) | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 | |
| Zhao et al. | Cloud shape classification system based on multi-channel cnn and improved fdm | |
| CN111553387B (zh) | 一种基于Yolov3的人员目标检测方法 | |
| CN107016405B (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
| CN103761531B (zh) | 基于形状轮廓特征的稀疏编码车牌字符识别方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN110569905B (zh) | 基于生成对抗网络和注意力网络的细粒度图像分类方法 | |
| CN106778687B (zh) | 基于局部评估和全局优化的注视点检测方法 | |
| CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
| CN108596038B (zh) | 一种结合形态学分割和神经网络的粪便中红细胞识别方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN112232371B (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
| CN106295532B (zh) | 一种视频图像中的人体动作识别方法 | |
| CN113657414B (zh) | 一种物体识别方法 | |
| CN112464983A (zh) | 一种用于苹果树叶病害图像分类的小样本学习方法 | |
| CN103971106A (zh) | 多视角人脸图像性别识别方法及装置 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN109635726A (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
| CN117333948A (zh) | 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法 | |
| CN115984202A (zh) | 一种斑马鱼心血管功能智能识别与评价方法 | |
| CN112418262A (zh) | 车辆再识别的方法、客户端及系统 | |
| CN107341456B (zh) | 一种基于单幅户外彩色图像的天气晴阴分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |