CN115953666A - 一种基于改进Mask-RCNN的变电站现场进度识别方法 - Google Patents

一种基于改进Mask-RCNN的变电站现场进度识别方法 Download PDF

Info

Publication number
CN115953666A
CN115953666A CN202310243753.4A CN202310243753A CN115953666A CN 115953666 A CN115953666 A CN 115953666A CN 202310243753 A CN202310243753 A CN 202310243753A CN 115953666 A CN115953666 A CN 115953666A
Authority
CN
China
Prior art keywords
image
data set
mask
rcnn
normalization layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310243753.4A
Other languages
English (en)
Other versions
CN115953666B (zh
Inventor
陈然
贺兰菲
周蠡
蔡杰
李智威
许汉平
熊川羽
张赵阳
周英博
孙利平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Economic and Technological Research Institute of State Grid Hubei Electric Power Co Ltd
Original Assignee
Economic and Technological Research Institute of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Economic and Technological Research Institute of State Grid Hubei Electric Power Co Ltd filed Critical Economic and Technological Research Institute of State Grid Hubei Electric Power Co Ltd
Priority to CN202310243753.4A priority Critical patent/CN115953666B/zh
Publication of CN115953666A publication Critical patent/CN115953666A/zh
Application granted granted Critical
Publication of CN115953666B publication Critical patent/CN115953666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

一种基于改进Mask‑RCNN的变电站现场进度识别方法，将采集的变电站电力设备和建筑图像输入到改进Mask‑RCNN网络模型中，通过CNN网络中提取图像特征，然后通过改进EC模块整合图像特征得到特征图，再通过RPN网络过滤ROI，随后采用兴趣区域对齐层统一特征图尺寸，再在全连接层中进行二值分类、边框回归、Mask掩膜生成二值掩膜图像并建立二值掩膜图像的多任务损失函数，得到多任务损失函数的全局最优解后将其与计算得到的权重矩阵代入到图像处理目标函数中，多次迭代改进Mask‑RCNN网络模型参数直至得到图像处理目标函数的最优解，对图像处理目标函数的最优解进行处理分析即可得到最终识别结果。本设计提高现场进度识别结果准确率、精确率同时降低了识别耗时。

Description

一种基于改进Mask-RCNN的变电站现场进度识别方法
技术领域
本发明属于工程技术领域，具体涉及一种基于改进Mask-RCNN的变电站现场进度识别方法，适用于提高现场进度识别准确率、精确率、召回率的同时降低识别耗时。
背景技术
随着信息技术的飞速发展，电网基础建设工程的数字化水平已得到了显著提升。由于传统装配式变电站项目工程进度管理存在延迟严重、资源浪费、耗时较长的缺点，因此运用数字化、智能化的手段加强装配式变电站基建项目工程进度管理，提升装配式变电站进度计划管控水平已迫在眉睫。深度学习方法能够很好地提取图像中的设备特征并将其融入到模型建立过程中，相比于传统图像检测方法，其具有抗干扰能力强，图像检测精度高，误检率和不良漏检率低的优点。因此，为了能够保质保量的完成装配式变电站基建重点工程项目的建设，如何将深度学习用于对装配式变电站基建现场进度的智能化识别，以实现对项目实际进度的及时跟踪和管控，是一个值得深入研究的课题。
《红外技术》期刊2021年第43卷230页起报道了一种基于改进高斯卷积核的变电站设备红外图像检测方法，在CenterNet模型的基础上针对高斯卷积核进行了改进，提高了变电站设备的定位识别精度；《电网技术》期刊2020年第44卷1148页起报道了一种单级多帧检测器智能变电站电力设备图像目标检测算法，可以对小样本电力设备数据集进行最优检测；《电网技术》期刊2021年第45卷713页起报道了一种基于深度学习的智能变电站二次设备故障定位研究，建立了基于循环神经网络的二次设备故障定位模型，采用深度学习方法对样本集进行训练，具有处理高维故障特征集和准确检测故障的能力；《电力建设》期刊2022年第43卷66页起报道了基于深度学习和知识图谱的变电站设备故障智能诊断，采用YOLOV4算法对故障样本进行聚类，结合多模态知识图谱来实现变电站智能故障诊断；然而，上述文献主要集中于将深度学习应用于变电站的设备和故障检测，鲜有考虑利用深度学习对变电站基建项目工程现场进度进行管控的研究。
申请公布号为CN115511808A的发明提供了一种基于卷积神经网络的水下混凝土质量检测方法，先获取混凝土灌注过程中水下混凝土的图像数据集并分成训练集、验证集和测试集，然后构造并训练改进的Mask RCNN网络，实时获取钻孔灌注桩灌注过程中水下混凝土图像，图像处理后输入Mask RCNN网络进行语义分割，对分割后的图像进行二值化，最后根据二值化图像，得到混凝土骨料占比，但是该方法难以解决因装配式变电站工程建设环境复杂导致电力设备和建筑检测难度较高，识别准确率和精确率低、召回率低、识别耗时过长的问题。
发明内容
本发明的目的是克服现有技术存在的上述问题，提供一种识别准确率和精确率高的一种基于改进Mask-RCNN的变电站现场进度识别方法。
为实现以上目的，本发明提供了以下技术方案：
一种基于改进Mask-RCNN的变电站现场进度识别方法，所述识别方法依次按照以下步骤进行：
S1、采集不同时序定点区域范围的装配式变电站工程现场的设备与建筑图像，并将其均分为样本数据集、待检测数据集；
S2、先将样本数据集、待检测数据集输入改进Mask-RCNN网络模型的CNN网络中提取图像特征，然后通过改进EC模块整合图像特征得到特征图，随后通过RPN网络对特征图的ROI进行提取和过滤，再通过兴趣区域对齐层根据过滤后的ROI统一特征图的尺寸，最后在全连接层中对特征图进行二值分类、边框回归、Mask掩膜分割生成二值掩膜图像，建立二值掩膜图像的多任务损失函数
Figure SMS_1
；
S3、通过不断调整二值分类、边框回归、Mask掩膜的参数以减小多任务损失函数
Figure SMS_2
的值，直至得到多任务损失函数
Figure SMS_3
的全局最优解；
S4、将多任务损失函数
Figure SMS_4
的全局最优解、权重矩阵
Figure SMS_5
代入到变电站工程现场的设备与建筑图像处理目标函数
Figure SMS_6
中，多次迭代改进Mask-RCNN网络模型参数，直至得到图像处理目标函数
Figure SMS_7
的最优解，对图像处理目标函数
Figure SMS_8
的最优解进行处理分析即可得到装配式变电站基建项目工程现场进度识别的最终结果。
步骤S4中，所述权重矩阵
Figure SMS_9
，
Figure SMS_10
为样本数据集和待检测数据集的数量，
Figure SMS_11
的表达式如下：
Figure SMS_12
；
上式中，
Figure SMS_23
、
Figure SMS_16
、
Figure SMS_19
分别为限制装配式变电站设备和建筑图像的颜色特征向量、纹理特征向量、形状特征向量对于相似性测度的实际贡献度，
Figure SMS_29
、
Figure SMS_31
、
Figure SMS_30
分别为限制装配式变电站设备和建筑图像的
Figure SMS_32
个颜色特征向量、
Figure SMS_21
个纹理特征向量、
Figure SMS_26
个形状特征的总相似性测度的实际贡献度，
Figure SMS_13
、
Figure SMS_17
、
Figure SMS_15
分别为装配式变电站电力设备和建筑待检测数据集中第
Figure SMS_20
个图像的颜色特征向量、纹理特征向量、形状特征向量，
Figure SMS_24
、
Figure SMS_27
、
Figure SMS_18
分别为装配式变电站电力设备和建筑样本数据集中第
Figure SMS_22
个图像的颜色特征向量、纹理特征向量、形状特征向量，
Figure SMS_25
为待检测数据集，
Figure SMS_28
为样本数据集，
Figure SMS_14
为图像在数据集中的时序序号；
所述图像处理目标函数
Figure SMS_33
的表达式如下：
Figure SMS_34
；
上式中，
Figure SMS_35
为损失函数，
Figure SMS_36
为激活函数，
Figure SMS_37
为待检测数据集，
Figure SMS_38
为权重矩阵，
Figure SMS_39
为灰度图像函数，
Figure SMS_40
为样本数据集和待检测数据集的数量。
步骤S4中，所述图像处理目标函数
Figure SMS_41
的最优解的表达式如下：
 
Figure SMS_42
；
上式中，
Figure SMS_45
为图像处理目标函数
Figure SMS_47
的最优解，
Figure SMS_49
为样本数据集和待检测数据集的数量，
Figure SMS_44
为灰度图像函数，
Figure SMS_46
为激活函数，
Figure SMS_50
为样本数据集，
Figure SMS_52
为权重矩阵，
Figure SMS_43
为激活函数
Figure SMS_48
对权重矩阵
Figure SMS_51
的偏导，
Figure SMS_53
为正则化系数。
步骤S2中，所述多任务损失函数
Figure SMS_54
的表达式如下：
Figure SMS_55
；
上式中，
Figure SMS_56
、
Figure SMS_57
、
Figure SMS_58
分别为二值分类误差函数、边框回归误差函数、Mask掩膜分割误差函数。
步骤S2中，通过RPN网络对特征图的ROI进行提取和过滤具体为：先利用非极大抑制法减少特征图中候选ROI的数量、增加有效ROI的数量，然后根据ROI特征层数计算公式对有效ROI进行过滤得到最合适尺寸的特征图，实现对ROI的提取和过滤，其中，所述ROI特征层数计算公式为：
Figure SMS_59
；
上式中，
Figure SMS_60
为此ROI使用的特征图层数，
Figure SMS_61
、
Figure SMS_62
分别为此ROI的高和宽，
Figure SMS_63
为样本数据集中图像的标准大小，
Figure SMS_64
为面积为
Figure SMS_65
的ROI所应该在的层级；
所述非极大抑制法为：先以利用分类器获得候选ROI中属于检测目标类别的概率值作为得分，并对所有ROI的得分进行排序，然后选中得分最高的ROI，遍历其余ROI并将与得分最高的ROI之间的交并比超过设定阈值的ROI删除，在未被删除的ROI中继续选中得分最高的ROI并重复上述过程。
步骤S2中，所述改进EC模块包括第一通道、第二通道，所述第一通道由第一卷积单元、第二卷积单元组成，所述第二通道由第二卷积单元组成，输入的图像特征分别进入第一通道中的第一卷积单元、第二通道中的第二卷积单元，所述第一通道中的第一卷积单元的输出结果进入第一通道中的第二卷积单元，随后对第一通道中的第二卷积单元、第二通道中的第二卷积单元的输出结果通过加权求和进行特征连接，最后由输出层输出整合后的图像特征。
所述第一卷积单元、第二卷积单元后均设置有对卷积结果进行归一化处理的群组自适配归一化层GSN，所述群组自适配归一化层GSN由批量归一化层BN、实例归一化层IN、层归一化层GN组成，群组自适配归一化层GSN的输出结果根据以下公式计算得到：
Figure SMS_66
；
Figure SMS_67
；
Figure SMS_68
；
上式中，
Figure SMS_77
为群组自适配归一化层GSN的输出结果，
Figure SMS_72
为卷积网络输入特征，
Figure SMS_73
为经群组自适配归一化层GSN处理得到的特征均值，
Figure SMS_81
为经群组自适配归一化层GSN处理得到的特征方差，
Figure SMS_83
为初始化可学习缩放因子，
Figure SMS_82
为初始化可学习平移因子，
Figure SMS_84
为超参数，
Figure SMS_78
、
Figure SMS_80
、
Figure SMS_69
分别为特征关于批量归一化层BN、实例归一化层IN、层归一化层GN的均值，
Figure SMS_76
、
Figure SMS_70
、
Figure SMS_75
分别为特征关于批量归一化层BN、实例归一化层IN、层归一化层GN的方差，
Figure SMS_74
、
Figure SMS_79
、
Figure SMS_71
分别为批量归一化层BN、实例归一化层IN、层归一化层GN的权重值。
所述
Figure SMS_85
、
Figure SMS_86
、
Figure SMS_87
根据Logarithmicmax权重学习方法计算得到，所述Logarithmicmax权重学习方法具体为：
Figure SMS_88
；
上式中，
Figure SMS_89
为选取的归一化层的种类，
Figure SMS_90
，
Figure SMS_91
为权重值，
Figure SMS_92
为控制参数。
所述第一卷积单元、第二卷积单元分别使用Leaky Relu激活函数、Linear激活函数。
所述步骤S1还包括对样本数据集、待检测数据集进行预处理，所述预处理具体为依次进行灰度化、归一化处理、图像滤波处理。
与现有技术相比，本发明的有益效果为：
1、本发明一种基于改进Mask-RCNN的变电站现场进度识别方法，将采集的装配式变电站电力设备和建筑图像输入到改进Mask-RCNN中，先通过CNN网络中提取图像特征，然后通过改进EC模块整合图像特征得到特征图，再通过RPN网络过滤ROI，随后采用兴趣区域对齐层统一特征图尺寸，再在全连接层中进行二值分类、边框回归、Mask掩膜生成二值掩膜图像并建立二值掩膜图像的多任务损失函数，然后通过不断调整对应参数以减小多任务损失函数的值，直至得到多任务损失函数的全局最优解，将多任务损失函数的全局最优解、计算得到的权重矩阵代入到变电站工程现场的设备与建筑图像处理目标函数中，多次迭代改进Mask-RCNN网络模型参数，直至得到图像处理目标函数的最优解，最后对图像处理目标函数的最优解进行处理分析即可得到装配式变电站基建项目工程现场进度识别的最终结果；该方法设计多任务损失函数求其全局最优解的目的是为了实现像素级的图像目标分割，当多任务损失函数的值为全局最优解时样本数据集的检测效果达到最佳，考虑相似度的问题，该方法将权重融合相似度与图像特征相互结合，计算出权重矩阵，最终利用权重矩阵、多任务损失函数的全局最优解求得图像处理目标函数的最优解，提高了识别结果的准确率和精准率。因此，本发明能提高识别结果的准确率和精准率，图像检测效果好。
2、本发明一种基于改进Mask-RCNN的变电站现场进度识别方法中，改进EC模块包括第一通道、第二通道，将图像特征分别输入第一通道、第二通道中，再对第一通道、第二通道的输出结果通过加权求进行特征连接，最后由输出层输出整合后的图像特征，第一通道由第一卷积单元、第二卷积单元组成，第二通道由第二卷积单元组成，第一卷积单元、第二卷积单元后均设置有对卷积结果进行归一化处理的群组自适配归一化层GSN，群组自适配归一化层GSN由批量归一化层BN、实例归一化层IN、层归一化层GN组成；该设计中群组自适配归一化层GSN不仅增强了网络特征信息聚合的适应性，图像信息鲁棒性好，提升了目标检测任务精度，而且计算复杂度低，简化了特征处理过程的计算冗余，最终降低识别耗时的同时提高召回率。因此，本发明通过改进EC模块提高召回率的同时降低了识别耗时。
附图说明
图1为本发明的流程图。
图2为本发明中改进EC模块的结构示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明作进一步的说明。
参见图1、图2，一种基于改进Mask-RCNN的变电站现场进度识别方法，具体按照以下步骤进行：
S1、采集不同时序定点区域范围的装配式变电站工程现场的设备与建筑图像，并将其均分为样本数据集、待检测数据集；
S2、将经预处理后的样本数据集、待检测数据集输入改进Mask-RCNN网络模型中利用CNN网络提取图像特征，其中，所述预处理具体为依次进行灰度化、归一化处理、图像滤波处理；
S3、利用改进EC模块整合提取的图像特征得到特征图，所述改进EC模块包括第一通道、第二通道、输出层，所述第一通道由一个第一卷积单元、一个第二卷积单元组成，所述第二通道由一个第二卷积单元组成，提取的图像特征分别进入第一通道中的第一卷积单元、第二通道中的第二卷积单元，所述第一通道中的第一卷积单元的输出结果进入第一通道中的第二卷积单元，对第一通道中的第二卷积单元、第二通道中的第二卷积单元的输出结果通过加权求和进行特征连接，最后由输出层输出整合后的图像特征图，所述第一卷积单元、第二卷积单元分别使用Leaky Relu激活函数、Linear激活函数，第一卷积单元、第二卷积单元后均设置有对卷积结果进行归一化处理的群组自适配归一化层GSN，所述群组自适配归一化层GSN由批量归一化层BN、实例归一化层IN、层归一化层GN组成，群组自适配归一化层GSN的计算公式如下：
Figure SMS_93
；
Figure SMS_94
；
Figure SMS_95
；
上式中，
Figure SMS_105
为群组自适配归一化层GSN的输出结果，
Figure SMS_99
为卷积网络输入特征，
Figure SMS_103
为经群组自适配归一化层GSN处理得到的特征均值，
Figure SMS_97
为经群组自适配归一化层GSN处理得到的特征方差，
Figure SMS_100
为初始化可学习缩放因子，
Figure SMS_104
为初始化可学习平移因子，
Figure SMS_109
为超参数，
Figure SMS_107
、
Figure SMS_111
、
Figure SMS_96
分别为特征关于批量归一化层BN、实例归一化层IN、层归一化层GN的均值，
Figure SMS_102
、
Figure SMS_108
、
Figure SMS_112
分别为特征关于批量归一化层BN、实例归一化层IN、层归一化层GN的方差，
Figure SMS_113
、
Figure SMS_114
、
Figure SMS_98
分别为批量归一化层BN、实例归一化层IN、层归一化层GN的权重值，
Figure SMS_101
、
Figure SMS_106
、
Figure SMS_110
根据Logarithmicmax权重学习方法计算得到，所述Logarithmicmax权重学习方法具体为：
Figure SMS_115
；
上式中，
Figure SMS_116
为选取的归一化层的种类，
Figure SMS_117
，
Figure SMS_118
为权重值，
Figure SMS_119
为控制参数；
S4、在RPN网络中先利用非极大抑制法减少图像特征图中候选ROI的数量、增加有效ROI的数量，然后根据ROI特征层数计算公式对有效ROI进行过滤得到最合适尺寸的特征图，其中，所述非极大抑制法为：先以利用分类器获得候选ROI中属于检测目标类别的概率值作为得分，然后对所有ROI的得分进行排序，再选中得分最高的ROI，遍历其余ROI并将与得分最高的ROI之间的交并比超过设定阈值的ROI删除，在剩余ROI中继续选中得分最高的ROI后重复排序、删除步骤直至剩余ROI与得分最高的ROI之间的交并比不超过设定阈值；
所述ROI特征层数计算公式为：
Figure SMS_120
；
上式中，
Figure SMS_121
为此ROI使用的特征图层数，
Figure SMS_122
、
Figure SMS_123
分别为此ROI的高和宽，
Figure SMS_124
为样本数据集中图像的标准大小，
Figure SMS_125
为面积为
Figure SMS_126
的ROI所应该在的层级；
S5、先利用兴趣区域对齐层统一特征图的尺寸，然后在全连接层中对特征图进行二值分类、边框回归、Mask掩膜分割生成二值掩膜图像，建立二值掩膜图像的多任务损失函数
Figure SMS_127
，所述多任务损失函数
Figure SMS_128
的表达式如下：
Figure SMS_129
；
上式中，
Figure SMS_130
、
Figure SMS_131
、
Figure SMS_132
分别为二值分类误差函数、边框回归误差函数、Mask掩膜分割误差函数；
S6、通过不断调整二值分类、边框回归、Mask掩膜的参数以减小多任务损失函数
Figure SMS_133
的值，直至得到多任务损失函数
Figure SMS_134
的全局最优解；
S7、将多任务损失函数
Figure SMS_137
的全局最优解、权重矩阵
Figure SMS_139
代入到变电站工程现场的设备与建筑图像处理目标函数
Figure SMS_141
中，多次迭代改进Mask-RCNN网络模型参数，直至得到图像处理目标函数
Figure SMS_136
的最优解，对图像处理目标函数
Figure SMS_138
的最优解进行处理分析即可得到装配式变电站基建项目工程现场进度识别的最终结果，其中，所述权重矩阵
Figure SMS_140
，
Figure SMS_142
为样本数据集和待检测数据集的数量，
Figure SMS_135
的表达式如下：
Figure SMS_143
；
上式中，
Figure SMS_152
、
Figure SMS_145
、
Figure SMS_150
分别为限制装配式变电站设备和建筑图像的颜色特征向量、纹理特征向量、形状特征向量对于相似性测度的实际贡献度，
Figure SMS_156
、
Figure SMS_160
、
Figure SMS_161
分别为限制装配式变电站设备和建筑图像的
Figure SMS_163
个颜色特征向量、
Figure SMS_155
个纹理特征向量、
Figure SMS_159
个形状特征的总相似性测度的实际贡献度，
Figure SMS_146
、
Figure SMS_151
、
Figure SMS_153
分别为装配式变电站电力设备和建筑待检测数据集中第
Figure SMS_157
个图像的颜色特征向量、纹理特征向量、形状特征向量，
Figure SMS_158
、
Figure SMS_162
、
Figure SMS_147
分别为装配式变电站电力设备和建筑样本数据集中第
Figure SMS_148
个图像的颜色特征向量、纹理特征向量、形状特征向量，
Figure SMS_149
为待检测数据集，
Figure SMS_154
为样本数据集，
Figure SMS_144
为图像在数据集中的时序序号；
所述图像处理目标函数
Figure SMS_164
的表达式如下：
Figure SMS_165
；
上式中，
Figure SMS_166
为损失函数，
Figure SMS_167
为激活函数，
Figure SMS_168
为待检测数据集，
Figure SMS_169
为权重矩阵，
Figure SMS_170
为灰度图像函数，
Figure SMS_171
为样本数据集和待检测数据集的数量。
步骤S4中，所述图像处理目标函数
Figure SMS_172
的最优解的表达式如下：
 
Figure SMS_173
；
上式中，
Figure SMS_176
为图像处理目标函数
Figure SMS_177
的最优解，
Figure SMS_180
为样本数据集和待检测数据集的数量，
Figure SMS_175
为灰度图像函数，
Figure SMS_179
为激活函数，
Figure SMS_181
为样本数据集，
Figure SMS_183
为权重矩阵，
Figure SMS_174
为激活函数
Figure SMS_178
对权重矩阵
Figure SMS_182
的偏导，
Figure SMS_184
为正则化系数。
性能测试：
分别利用本发明所述识别方法（测试例）、基于Faster-RCNN的装配式变电站现场进度识别方法（对比例1）、基于Mask-RCNN的装配式变电站现场进度识别方法（对比例2）对某地装配式变电站基建项目工程现场进度进行识别，得到识别结果后采用平均准确率、平均精确率、平均召回率及平均耗时这4个评价指标定量评价3种识别方法的综合性能，所述平均准确率根据以下公式计算得到：
Figure SMS_185
；
所述平均精确率根据以下公式计算得到：
Figure SMS_186
；
所述平均召回率根据以下公式计算得到：
Figure SMS_187
；
所述平均耗时根据以下公式计算得到：
Figure SMS_188
；
上式中，TP为正样本被正确识别的数量，FP为误报的负样本数量，TN为负样本被正确识别的数量，FN为漏报的正样本数量，正样本指与真值对应的目标类别的样本，负样本指与真值不对应的其他所有目标类别的样本；
上述三种识别方法综合性能对比如表1所示：
表1 三种识别方法综合性能对比
Figure SMS_189
由表1可知，测试例在平均准确率上相比对比例1提高了6.33%，相比对比例2提高了5.36%，在平均精确率上相比对比例1提高了11.01%，相比对比例2提高了3.29%，在平均召回率上相比对比例1提高了10.58%，相比对比例2提高了3.89%，在平均耗时上相比对比例1减少了54.90%，相比对比例2减少了51.11%，由此可见，本发明所述识别方法相比另外两种识别方法的图像识别准确率、精确率和召回率更高，同时识别耗时更短。

Claims (10)

1.一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
所述识别方法依次按照以下步骤进行：
S1、采集不同时序定点区域范围的装配式变电站工程现场的设备与建筑图像，并将其均分为样本数据集、待检测数据集；
S2、先将样本数据集、待检测数据集输入改进Mask-RCNN网络模型的CNN网络中提取图像特征，然后通过改进EC模块整合图像特征得到特征图，随后通过RPN网络对特征图的ROI进行提取和过滤，再通过兴趣区域对齐层根据过滤后的ROI统一特征图的尺寸，最后在全连接层中对特征图进行二值分类、边框回归、Mask掩膜分割生成二值掩膜图像，建立二值掩膜图像的多任务损失函数
Figure QLYQS_1
；
S3、通过不断调整二值分类、边框回归、Mask掩膜的参数以减小多任务损失函数
Figure QLYQS_2
的值，直至得到多任务损失函数
Figure QLYQS_3
的全局最优解；
S4、将多任务损失函数
Figure QLYQS_4
的全局最优解、权重矩阵
Figure QLYQS_5
代入到变电站工程现场的设备与建筑图像处理目标函数
Figure QLYQS_6
中，多次迭代改进Mask-RCNN网络模型参数，直至得到图像处理目标函数
Figure QLYQS_7
的最优解，对图像处理目标函数
Figure QLYQS_8
的最优解进行处理分析即可得到装配式变电站基建项目工程现场进度识别的最终结果。
2.根据权利要求1所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
步骤S4中，所述权重矩阵
Figure QLYQS_9
，
Figure QLYQS_10
为样本数据集和待检测数据集的数量，
Figure QLYQS_11
的表达式如下：
Figure QLYQS_12
；
上式中，
Figure QLYQS_21
、
Figure QLYQS_16
、
Figure QLYQS_17
分别为限制装配式变电站设备和建筑图像的颜色特征向量、纹理特征向量、形状特征向量对于相似性测度的实际贡献度，
Figure QLYQS_26
、
Figure QLYQS_29
、
Figure QLYQS_31
分别为限制装配式变电站设备和建筑图像的
Figure QLYQS_32
个颜色特征向量、
Figure QLYQS_22
个纹理特征向量、
Figure QLYQS_25
个形状特征的总相似性测度的实际贡献度，
Figure QLYQS_13
、
Figure QLYQS_18
、
Figure QLYQS_14
分别为装配式变电站电力设备和建筑待检测数据集中第
Figure QLYQS_20
个图像的颜色特征向量、纹理特征向量、形状特征向量，
Figure QLYQS_24
、
Figure QLYQS_28
、
Figure QLYQS_19
分别为装配式变电站电力设备和建筑样本数据集中第
Figure QLYQS_23
个图像的颜色特征向量、纹理特征向量、形状特征向量，
Figure QLYQS_27
为待检测数据集，
Figure QLYQS_30
为样本数据集，
Figure QLYQS_15
为图像在数据集中的时序序号；
所述图像处理目标函数
Figure QLYQS_33
的表达式如下：
Figure QLYQS_34
；
上式中，
Figure QLYQS_35
为损失函数，
Figure QLYQS_36
为激活函数，
Figure QLYQS_37
为待检测数据集，
Figure QLYQS_38
为权重矩阵，
Figure QLYQS_39
为灰度图像函数，
Figure QLYQS_40
为样本数据集和待检测数据集的数量。
3.根据权利要求2所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
步骤S4中，所述图像处理目标函数
Figure QLYQS_41
的最优解的表达式如下：
Figure QLYQS_42
；
上式中，
Figure QLYQS_44
为图像处理目标函数
Figure QLYQS_48
的最优解，
Figure QLYQS_51
为样本数据集和待检测数据集的数量，
Figure QLYQS_45
为灰度图像函数，
Figure QLYQS_47
为激活函数，
Figure QLYQS_50
为样本数据集，
Figure QLYQS_53
为权重矩阵，
Figure QLYQS_43
为激活函数
Figure QLYQS_46
对权重矩阵
Figure QLYQS_49
的偏导，
Figure QLYQS_52
为正则化系数。
4.根据权利要求1-3中任一项所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
步骤S2中，所述多任务损失函数
Figure QLYQS_54
的表达式如下：
Figure QLYQS_55
；
上式中，
Figure QLYQS_56
、
Figure QLYQS_57
、
Figure QLYQS_58
分别为二值分类误差函数、边框回归误差函数、Mask掩膜分割误差函数。
5.根据权利要求1-3中任一项所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
步骤S2中，通过RPN网络对特征图的ROI进行提取和过滤具体为：先利用非极大抑制法减少特征图中候选ROI的数量、增加有效ROI的数量，然后根据ROI特征层数计算公式对有效ROI进行过滤得到最合适尺寸的特征图，实现对ROI的提取和过滤，其中，所述ROI特征层数计算公式为：
Figure QLYQS_59
；
上式中，
Figure QLYQS_60
为此ROI使用的特征图层数，
Figure QLYQS_61
、
Figure QLYQS_62
分别为此ROI的高和宽，
Figure QLYQS_63
为样本数据集中图像的标准大小，
Figure QLYQS_64
为面积为
Figure QLYQS_65
的ROI所应该在的层级；
所述非极大抑制法为：先以利用分类器获得候选ROI中属于检测目标类别的概率值作为得分，并对所有ROI的得分进行排序，然后选中得分最高的ROI，遍历其余ROI并将与得分最高的ROI之间的交并比超过设定阈值的ROI删除，在未被删除的ROI中继续选中得分最高的ROI并重复上述过程。
6.根据权利要求1-3中任一项所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
步骤S2中，所述改进EC模块包括第一通道、第二通道，所述第一通道由第一卷积单元、第二卷积单元组成，所述第二通道由第二卷积单元组成，输入的图像特征分别进入第一通道中的第一卷积单元、第二通道中的第二卷积单元，所述第一通道中的第一卷积单元的输出结果进入第一通道中的第二卷积单元，随后对第一通道中的第二卷积单元、第二通道中的第二卷积单元的输出结果通过加权求和进行特征连接，最后由输出层输出整合后的图像特征。
7.根据权利要求6所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
所述第一卷积单元、第二卷积单元后均设置有对卷积结果进行归一化处理的群组自适配归一化层GSN，所述群组自适配归一化层GSN由批量归一化层BN、实例归一化层IN、层归一化层GN组成，群组自适配归一化层GSN的输出结果根据以下公式计算得到：
Figure QLYQS_66
；
Figure QLYQS_67
；
Figure QLYQS_68
；
上式中，
Figure QLYQS_78
为群组自适配归一化层GSN的输出结果，
Figure QLYQS_71
为卷积网络输入特征，
Figure QLYQS_73
为经群组自适配归一化层GSN处理得到的特征均值，
Figure QLYQS_70
为经群组自适配归一化层GSN处理得到的特征方差，
Figure QLYQS_76
为初始化可学习缩放因子，
Figure QLYQS_80
为初始化可学习平移因子，
Figure QLYQS_83
为超参数，
Figure QLYQS_79
、
Figure QLYQS_82
、
Figure QLYQS_69
分别为特征关于批量归一化层BN、实例归一化层IN、层归一化层GN的均值，
Figure QLYQS_74
、
Figure QLYQS_75
、
Figure QLYQS_77
分别为特征关于批量归一化层BN、实例归一化层IN、层归一化层GN的方差，
Figure QLYQS_81
、
Figure QLYQS_84
、
Figure QLYQS_72
分别为批量归一化层BN、实例归一化层IN、层归一化层GN的权重值。
8.根据权利要求7所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
所述
Figure QLYQS_85
、
Figure QLYQS_86
、
Figure QLYQS_87
根据Logarithmicmax权重学习方法计算得到，所述Logarithmicmax权重学习方法具体为：
Figure QLYQS_88
；
上式中，
Figure QLYQS_89
为选取的归一化层的种类，
Figure QLYQS_90
，
Figure QLYQS_91
为权重值，
Figure QLYQS_92
为控制参数。
9.根据权利要求6所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
所述第一卷积单元、第二卷积单元分别使用Leaky Relu激活函数、Linear激活函数。
10.根据权利要求1-3中任一项所述的一种基于改进Mask-RCNN的变电站现场进度识别方法，其特征在于：
所述步骤S1还包括对样本数据集、待检测数据集进行预处理，所述预处理具体为依次进行灰度化、归一化处理、图像滤波处理。
CN202310243753.4A 2023-03-15 2023-03-15 一种基于改进Mask-RCNN的变电站现场进度识别方法 Active CN115953666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310243753.4A CN115953666B (zh) 2023-03-15 2023-03-15 一种基于改进Mask-RCNN的变电站现场进度识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310243753.4A CN115953666B (zh) 2023-03-15 2023-03-15 一种基于改进Mask-RCNN的变电站现场进度识别方法

Publications (2)

Publication Number Publication Date
CN115953666A true CN115953666A (zh) 2023-04-11
CN115953666B CN115953666B (zh) 2023-06-06

Family

ID=85903383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310243753.4A Active CN115953666B (zh) 2023-03-15 2023-03-15 一种基于改进Mask-RCNN的变电站现场进度识别方法

Country Status (1)

Country Link
CN (1) CN115953666B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502882A (zh) * 2023-06-30 2023-07-28 杭州新中大科技股份有限公司 基于多模态时序信息融合的工程进度确定方法及装置
CN117173448A (zh) * 2023-07-18 2023-12-05 国网湖北省电力有限公司经济技术研究院 一种基建工程进度智能化管控与预警方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076212A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法
CN111339882A (zh) * 2020-02-19 2020-06-26 山东大学 基于实例分割的输电线路隐患检测方法
CN114170627A (zh) * 2021-11-23 2022-03-11 西安理工大学 基于改进的Faster RCNN的行人检测方法
US20220108546A1 (en) * 2019-06-17 2022-04-07 Huawei Technologies Co., Ltd. Object detection method and apparatus, and computer storage medium
CN114445620A (zh) * 2022-01-13 2022-05-06 国网江苏省电力有限公司苏州供电分公司 一种改进Mask R-CNN的目标分割方法
US20220157053A1 (en) * 2019-12-27 2022-05-19 Goertek Inc. Target recognition method and device based on mask rcnn network model
CN115393691A (zh) * 2022-09-05 2022-11-25 中国长江电力股份有限公司 基于Mask_RCNN算法的继电保护压板投退状态的自动检测方法
US20220383037A1 (en) * 2021-05-27 2022-12-01 Adobe Inc. Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network
CN115457551A (zh) * 2022-07-31 2022-12-09 哈尔滨工业大学（威海） 适用于小样本条件的叶片损伤识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076212A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法
US20220108546A1 (en) * 2019-06-17 2022-04-07 Huawei Technologies Co., Ltd. Object detection method and apparatus, and computer storage medium
US20220157053A1 (en) * 2019-12-27 2022-05-19 Goertek Inc. Target recognition method and device based on mask rcnn network model
CN111339882A (zh) * 2020-02-19 2020-06-26 山东大学 基于实例分割的输电线路隐患检测方法
US20220383037A1 (en) * 2021-05-27 2022-12-01 Adobe Inc. Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network
CN114170627A (zh) * 2021-11-23 2022-03-11 西安理工大学 基于改进的Faster RCNN的行人检测方法
CN114445620A (zh) * 2022-01-13 2022-05-06 国网江苏省电力有限公司苏州供电分公司 一种改进Mask R-CNN的目标分割方法
CN115457551A (zh) * 2022-07-31 2022-12-09 哈尔滨工业大学（威海） 适用于小样本条件的叶片损伤识别方法
CN115393691A (zh) * 2022-09-05 2022-11-25 中国长江电力股份有限公司 基于Mask_RCNN算法的继电保护压板投退状态的自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孔英会等: "基于改进Mask R-CNN模型的电力场景目标检测方法", 《科学技术与工程》 *
朱有产;王雯瑶;: "基于改进Mask R-CNN的绝缘子目标识别方法", 微电子学与计算机 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502882A (zh) * 2023-06-30 2023-07-28 杭州新中大科技股份有限公司 基于多模态时序信息融合的工程进度确定方法及装置
CN116502882B (zh) * 2023-06-30 2023-10-20 杭州新中大科技股份有限公司 基于多模态时序信息融合的工程进度确定方法及装置
CN117173448A (zh) * 2023-07-18 2023-12-05 国网湖北省电力有限公司经济技术研究院 一种基建工程进度智能化管控与预警方法及装置

Also Published As

Publication number Publication date
CN115953666B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
Chen et al. A self organizing map optimization based image recognition and processing model for bridge crack inspection
CN115953666A (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN110781829A (zh) 一种轻量级深度学习的智慧营业厅人脸识别方法
CN104732215A (zh) 一种基于信息向量机的遥感影像海岸线提取方法
CN111368690A (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN110717481A (zh) 一种利用级联卷积神经网络实现人脸检测的方法
CN102254183B (zh) 一种基于AdaBoost算法的人脸检测方法
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN108986142A (zh) 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法
CN110969121A (zh) 一种基于深度学习的高分辨率雷达目标识别算法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN114399674A (zh) 一种基于高光谱图像技术的贝类毒素无损快速检测方法及系统
CN110991374A (zh) 一种基于rcnn的指纹奇异点检测方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114359702A (zh) 一种基于Transformer的宅基地遥感图像违建识别方法及系统
CN111814726B (zh) 一种探测机器人视觉目标检测方法
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN116311357A (zh) 基于MBN-Transformer模型的不平衡牛身数据的双边识别方法
CN112040408B (zh) 一种适用于监管场所的多目标精确智能定位跟踪方法
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN114494850A (zh) 一种村庄无人居住院落智能识别方法及系统
CN114155428A (zh) 基于Yolo-v3算法的水下声呐侧扫图像小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant