CN114694178A - 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 - Google Patents

Abstract

本发明公开了一种基于Faster‑RCNN算法的智能安全帽检测方法及系统，融合迁移学习和Faster‑RCNN算法对安全帽进行检测，首先对Faster‑RCNN网络进行改进，利用k‑means II对生成anchor框方案进行改进，引入残差网络与注意力机制模块，增强检测精度，同时网络融合迁移学习解决样本不足的问题，然后对搭建好的整个网络进行训练，将训练集输入到第μ次迭代后的网络中进行训练，保留其权重参数。构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果。大大提升了检测精度，利用图形图像智能识别技术，对现场作业范围内的人员是否规范佩戴安全帽进行识别，给予及时告警，防止现场作业出现事故。

Description

基于Faster-RCNN算法的电力作业中安全帽监测方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种基于Faster-RCNN算法的电力作业中安全帽监测方法及系统。

背景技术

由于在输电线路巡检中工作人员佩戴安全帽不仅可以保护安全，同时通过安全帽中的传感器对周围信息的采集、定位，作为输电线路的环境状态监测、巡检管理的位置定位依据。现有的安全帽监测平台，为巡检人员提供设备故障录入、任务查询、设备信息查询等功能，但是由于输电线路巡检中受光线强弱、遮挡等因素造成安全帽监测不够准确。

发明内容

本发明的目的是提供一种基于Faster-RCNN算法的电力作业中安全帽监测方法及系统，以解决对现场作业范围内的人员因受光线强弱、遮挡等因素造成安全帽监测不够准确的问题。

为实现上述目的，本发明采用以下技术方案：

基于Faster-RCNN算法的电力作业中安全帽监测方法，包括：

采集巡检视频，通过巡检视频获得目标图像，利用标注工具对单帧目标图像中的安全帽进行标注，并保存其信息，得到样本数据；

采用Faster-RCNN对图像中的目标区域进行检测：首先根据目标的相似性，对预训练数据库ImageNet中的图像样本进行重采样，再利用重采样后的数据集对网络参数进行预训练；

结合迁移学习和Faster-RCNN网络对网络进行训练，进行μ次迭代训练，保留最佳的网络权重参数；

构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果。

进一步的，获得目标图像包括：

确定要标记的安全帽，根据安全帽所在的区域得到相对应的标记方框；把标记的安全帽划分为预先设定的某一状态标签；把标记完成的安全帽图像生成对应的xml文档，每个文档中标记的安全帽信息均包含四个位置属性和1个类别属性。

进一步的，原始Faster-RCNN网络具体包含以下四个部分：

主干网络：用于提取输入图像特征表示同时为RPN网络提供有效的输入特征；

RPN网络：接收主干网络提取的特征表示，并构建检测目标候选区域；

感兴趣区域(ROI)池化层：将候选区域映射至特征图，并将其池化为统一尺度，用于后续的检测与分类；

分类与回归：对特征区域各目标类别进行分类，并利用边界框回归修正目标框得到精确的位置偏移量。

进一步的，对Faster-RCNN网络进行调整和优化，采用Faster-RCNN对图像中的目标区域进行检测具体包括：

生成anchor框方案的改进，anchor是一组由RPN生成的矩形框，采用3种尺度和3种长宽比，在每个滑动窗口的中心生成k＝9个anchor；使anchor方案与所检测缺陷的尺寸相对应；

使用k-means II算法把输入的包含N个点的数据集分类为k个聚类,使数据集中所有点都划分到距离其最近的聚类中心所在的类中,幵使用欧氏距离作为分类时衡量距离的标准；

引入Res2Net模块，该模块采用更小尺寸的卷积核组进行替换，用小尺寸的卷积核捕捉细粒度更高的特征；同时，对输入特征图进行分组，以残差的形式将各组连接；

首先，输入特征经过一个1*1的卷积层得到；然后，沿着通道维度将其分成S组，每组特征子集记为x_i∈R^H×W×C/S,i＝2,.....,S,第i组对应卷积层记为Fi，其输出记为fi；除了第一组外，其余所有xi分别通过一个3*3的卷积层，且当i大于2时，融合xi与fi-1并通过一层3*3的卷积层，得到第i个分组的输出；其次，融合各组输出并通过一个1*1的卷积层；上述过程定义如下：

最后，将输入特征与公式(3)输出融合得到Res2Net模块的输出特征；

在上述Res2Net模块中引入通道注意力模块和空间注意力模块，提出SCA-Res2Net模块，在第二个1*1的卷积层后增加两个SE block和一个SA block，并将输入特征于第一个SE block后级联，从空间和通道维度增强有效的多尺度判别信息，抑制背景干扰信息，并通过残差结构减轻输入特征空间信息的丢失。

进一步的，k-means II算法的具体步骤如下：

(1)输入包含k个点的数据集；

(2)随机在数据集中去k个点作为聚类中心点，然后重复此取样过程5次得到5k个数据点，再对这些数据点迚行聚类，得到k个初始的聚类中心；

(3)将数据集中各个点按欧氏距离划分到离它最近的聚类中心所在的类中；欧氏距离公式为：

(4)重新计算各个类的聚类中心，计算方法为：

其中|c_i|为该类样本的数量；

(5)设置一个阈值，假设由式(2)得到的新中心与原来的中心距离小于该阈值，则聚类结束，否则转(3)步。

(6)输出k个聚类和k个聚类中心；

进一步的，对预训练数据库ImageNet中的图像样本进行重采样，再利用重采样后的数据集对网络参数进行预训练：

基于相似度重采样来构建迁移样本的数据集，建立目标相似度的评估函数；采用度量方式为：

式中：I₁和I₂分别表示训练样本集和目标样本集中的任意两幅图像；

f(I₁)表示从图像提取的特征矢量,此处用灰度共生矩阵来计算；两幅图像的相似度取为灰度共生矩阵距离的负指数次方；

式(4)所得数值介于0和1之间，解释为训练样本与目标样本的相似概率；依据此概率分布对训练数据集抽样，得到抽样后的训练数据集；此数据集中，相似度较高的样本有较大概率被多次抽中；相似度较低的样本出现的频度则降低；再利用重采样后的数据集对网络参数进行预训练。

进一步的，结合迁移学习和Faster-RCNN网络对网络进行训练，保留最佳的网络权重参数：

预训练完成后，在预训练模型的基础上用制作的安全帽数据集对参数进行优化，并最终用于安全帽检测中；

Faster-RCNN中的损失分为回归损失和分类损失两大类，分类损失是Softmax，回归损失是Smooth L1造成的损失；其总的损失函数表达式如下：

RPN和ROI的分类损失表达式相同，均是交叉熵损失；但RPN损失是二分类交叉熵损失，ROI损失是多分类交叉熵损失；其表达式如公式(6)所示；

其中，N_cls为总的anchor的数量；在RPN分类损失函数中，p_i为第i个anchor的预测分类概率；p*_i为标签，当anchor为positive时，p*_i＝1，当anchor为negative时，p*_i＝0；L_cls(p_i，p*_i)是二分类交叉熵损失函数，其表达式如公式(7)所示；

RPN和ROI的回归损失函数均是由Smooth_L1Loss计算的，Smooth_L1Loss的表达式如公式(8)所示；回归损失函数的表达式如公式(9)所示；

其中，N_reg由anchor位置的数量决定；p*_iLreg(t_i,t*_i)表示只有正样本才有边框回归损失；Lreg(t_i,t*_i)＝R(t_i-t*_i),R(t_i-t*_i)是Smooth_L1函数；λ为权重平衡参数；t_i是第i个anchor预测的边框回归的参数化坐标；进行μ次迭代训练，保存训练好的网络参数。

进一步的，构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果：

对于网络精度评价标准主要是采用精确度Precision、召回率Recall和平均精确率均值mean average precision，mAP进行评价，计算公式如下所示：

其中：

TP表示检测到的正例；FP表示检测到的负例；TN表示未检测到的负例；FN表示未检测到的正例；t_bbox表示标记的安全帽真实框；p_bbox表示通过算法计算出来的安全帽框；mAP是由Precision-recall曲线与坐标轴包围区域的面积；n为计算的组数，则差值近似的公式为：

进一步的，基于Faster-RCNN算法的输电线路巡检中安全帽监测系统，包括：

采集模块，用于采集巡检视频，通过巡检视频获得目标图像，利用标注工具对单帧目标图像中的安全帽进行标注，并保存其信息，得到样本数据；

目标区域检测模块，用于采用Faster-RCNN对图像中的目标区域进行检测：首先根据目标的相似性，对预训练数据库ImageNet中的图像样本进行重采样，再利用重采样后的数据集对网络参数进行预训练；

训练模块，用于结合迁移学习和Faster-RCNN网络对网络进行训练，进行μ次迭代训练，保留最佳的网络权重参数；

测试模块，用于构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果。

与现有技术相比，本发明有以下技术效果：

融合迁移学习和Faster-RCNN算法对安全帽进行检测，首先对Faster-RCNN网络进行改进，利用k-means II对生成anchor框方案进行改进，引入残差网络与注意力机制模块，增强检测精度，同时网络融合迁移学习解决样本不足的问题，然后对搭建好的整个网络进行训练，将训练集输入到第μ次迭代后的网络中进行训练，保留其权重参数。构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果。针对于样本数据集不足的问题，融入迁移学习，对Faster-RCNN网络进行改进，通过改进其ancher机制，提升了检测精度与效率；在原有的基础上融入SCA-Res2Net模块，大大提升了检测精度，利用图形图像智能识别技术，对现场作业范围内的人员是否规范佩戴安全帽进行识别，给予及时告警，防止现场作业出现事故。在不同光照、能见度、遮挡环境中对安全帽进行检测。

附图说明

图1是“智能安全帽”系统图；

图2是Faster-RCNN网络结构图；

图3为SCA-Res2Net模块结构图；

图4安全帽检测效果图；

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明是基于Faster-RCNN算法的智能安全帽检测方法，具体按照以下步骤实施：

步骤1、采集巡检视频，通过巡检视频获得目标图像，利用标注工具对单帧图像中的安全帽进行标注，并保存其信息，得到样本数据。

步骤2、对Faster-RCNN网络进行调整和优化，采用Faster-RCNN对图像中的目标区域进行检测，它是一个灵活通用的目标分割和识别框架。该网络可以对图像中的目标区域进行检测，如图2所示。

步骤3、由于网络训练过程中需要有大量数据集，为了解决样本不足的问题引入迁移学习，首先根据目标的相似性，对预训练数据库ImageNet中的图像样本进行重采样；再利用重采样后的数据集对网络参数进行预训练。

步骤4、结合迁移学习和Faster-RCNN网络对网络进行训练，保留最佳的网络权重参数。

步骤5、对测试集进行测试，得到目标检测结果。

本发明的特点还在于，

步骤1采集巡检视频，通过巡检视频获得目标图像，利用标注工具对安全帽的图像进行标注，并保存其信息，得到样本数据。

步骤1.1确定要标记的安全帽，根据安全帽的区域得到相对应的标记方框。

步骤1.2把标记的安全帽划分为预先设定的某一状态标签。

步骤1.3把标记完成的安全帽图像生成对应的xml文档，每个文档中标记的安全帽信息均包含四个位置属性和1个类别属性。

由步骤1.1、1.2、1.3得到样本数据。

步骤2对Faster-RCNN网络进行调整和优化，采用Faster-RCNN对图像中的目标区域进行检测，它是一个灵活通用的目标分割和识别框架。该网络可以对图像中的目标区域进行检测。

原始Faster-RCNN网络具体包含以下四个部分：

(1)主干网络：用于提取输入图像特征表示同时为RPN网络提供有效的输入特征。

(2)RPN网络：接收主干网络提取的特征表示，并构建检测目标候选区域。

(3)感兴趣区域(ROI)池化层：将候选区域映射至特征图，并将其

池化为统一尺度，用于后续的检测与分类。

(4)分类与回归：对特征区域各目标类别进行分类，并利用边界框回归修正目标框得到精确的位置偏移量。

步骤2.1生成anchor框方案的改进，anchor是一组由RPN生成的矩形框，采用3种尺度和3种长宽比(1:1,1:2,2:1)，在每个滑动窗口的中心生成k＝9个anchor。原始的FasterR-CNN算法的anchor生成方案是对数据集根据经验设定的尺寸，对于需要检测的安全帽原始的anchor无法与所检测缺陷的尺寸相对应，使得RPN中在生成区域建议时需要进行大量的回归操作，影响了算法的检测效率。因此，在RPN中应该使anchor方案与所检测缺陷的尺寸相对应，使得RPN在进行边界框回归时，可以减少回归工作，提升计算效率和减少网络训练时间，以便于得到更好的区域建议提高检测精度。

k-means II算法克服了初始聚类中心随机性以及遍历整个数据集的复杂性问题,在选定初始的聚类中心过程中,其在遍历数据集时每次选取多个样本。该算法把输入的包含N个点的数据集分类为k个聚类,使数据集中所有点都划分到距离其最近的聚类中心所在的类中,幵使用欧氏距离作为分类时衡量距离的标准。k-means II算法的具体步骤如下：

(1)输入包含k个点的数据集；

(2)随机在数据集中去k个点作为聚类中心点，然后重复此取样过程5次得到5k个数据点。再对这些数据点迚行聚类，得到k个初始的聚类中心。

(3)将数据集中各个点按欧氏距离划分到离它最近的聚类中心所在的类中。欧氏距离公式为：

(4)重新计算各个类的聚类中心，计算方法为：

其中|c_i|为该类样本的数量。

(5)设置一个阈值，假设由式(2)得到的新中心与原来的中心距离小于该阈值，则聚类结束，否则转(3)步。

(6)输出k个聚类和k个聚类中心。

步骤2.2为了将输入特征划分为分不同组别，并在残差块内实现分层连接，提升了模型结构的可选择性和多尺度特征提取的有效性，引入了Res2Net模块。如图3所示为Res2Net模块的内部结构示意图，该模块采用更小尺寸的卷积核组进行替换，用小尺寸的卷积核捕捉细粒度更高的特征；同时，对输入特征图进行分组，以残差的形式将各组连接。

首先，为降低计算复杂度，输入特征经过一个1*1的卷积层得到。然后，沿着通道维度将其分成S组，每组特征子集记为x_i∈R^H×W×C/S,i＝2,.....,S,第i组对应卷积层记为F_i，其输出记为f_i。除了第一组外，其余所有x_i分别通过一个3*3的卷积层，且当i大于2时，融合x_i与f_i-1并通过一层3*3的卷积层，得到第i个分组的输出。其次，融合各组输出并通过一个1*1的卷积层。上述过程定义如下：

最后，将输入特征与公式(3)输出融合得到Res2Net模块的输出特征。

因此，通过上述组内残差结构，整个结构可以有效提取全局和局部特征，并在计算载荷相近的情况下，以更细粒度表示多尺度特征，并提升每个网络层的感受野。

步骤2.3在上述Res2Net模块中引入通道注意力模块和空间注意力模块，提出SCA-Res2Net模块。在第二个1*1的卷积层后增加两个SE block和一个SA block，并将输入特征于第一个SE block后级联，从空间和通道维度增强有效的多尺度判别信息，抑制背景干扰信息，并通过残差结构减轻输入特征空间信息的丢失。具体结构如图3所示。

步骤3由于网络训练过程中需要有大量数据集，为了解决样本不足的问题引入迁移学习，首先根据目标的相似性，对预训练数据库ImageNet中的图像样本进行重采样；再利用重采样后的数据集对网络参数进行预训练。

步骤3.1基于相似度重采样来构建迁移样本的数据集，为了评估来自ImageNet源域训练样本与图像目标域样本的相似性，首先需要建立目标相似度的评估函数。综合考虑准确度和复杂度，采用度量方式为：

式中：I₁和I₂分别表示训练样本集和目标样本集中的任意两幅图像；

f(I₁)表示从图像提取的特征矢量,此处用灰度共生矩阵来计算；两幅图像的相似度取为灰度共生矩阵距离的负指数次方。

容易看出，式(3)所得数值介于0和1之间，可解释为训练样本与目标样本的相似概率。依据此概率分布对训练数据集抽样，可得到抽样后的训练数据集。此数据集中，相似度较高的样本有较大概率被多次抽中；相似度较低的样本出现的频度则显著降低。

步骤3.2再利用重采样后的数据集对网络参数进行预训练。

步骤4结合迁移学习和Faster-RCNN网络对网络进行训练，保留最佳的网络权重参数。

步骤4.1Faster-RCNN非常适合检测安全帽的任务，网络由步骤3.1生成的样本实施预训练。预训练完成后，在预训练模型的基础上用制作的安全帽数据集对参数进行优化，并最终用于安全帽检测中。这样可以提高算法模型的鲁棒性，减少过拟合。

步骤4.2Faster-RCNN中的损失分为回归损失和分类损失两大类，分类损失是Softmax，回归损失是Smooth_L1造成的损失。其总的损失函数表达式如下：

RPN和ROI的分类损失表达式相同，均是交叉熵损失。但RPN损失是二分类交叉熵损失，ROI损失是多分类交叉熵损失。其表达式如公式(6)所示。

其中，N_cls为总的anchor的数量；在RPN分类损失函数中，p_i为第i个anchor的预测分类概率；p*_i为标签，当anchor为positive时，p*_i＝1，当anchor为negative时，p*_i＝0；L_cls(p_i，p*_i)是二分类交叉熵损失函数，其表达式如公式(7)所示。

RPN和ROI的回归损失函数均是由Smooth_L1Loss计算的，Smooth_L1Loss解决了在预测值和真实值很接近的时候发生梯度爆炸以及函数在0点不可导影响收敛的问题。Smooth_L1Loss的表达式如公式(8)所示。回归损失函数的表达式如公式(9)所示。

其中，N_reg由anchor位置的数量决定；p*_iLreg(t_i,t*_i)表示只有正样本才有边框回归损失；L_reg(t_i,t*_i)＝R(t_i-t*_i),R(t_i-t*_i)是Smooth_L1函数；λ为权重平衡参数；t_i是第i个anchor预测的边框回归的参数化坐标。

步骤4.3进行μ次迭代训练，保存训练好的网络参数。

步骤5构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果。

对于网络精度评价标准主要是采用精确度(Precision)、召回率(Recall)和平均精确率均值(mean average precision，mAP)进行评价，计算公式如下所示：

其中：

TP表示检测到的正例；FP表示检测到的负例；TN表示未检测到的负例；FN表示未检测到的正例；t_bbox表示标记的安全帽真实框；p_bbox表示通过算法计算出来的安全帽框。

如果只用precision或recall作为衡量一个模型检测精度的优劣显然不合适。因此，还需要目标检测中最重要的指标之一的mAP，是多个验证集的平均AP值，mAP是由Precision-recall曲线与坐标轴包围区域的面积。n为计算的组数，则差值近似的公式为：

本发明的有益成果是，针对于样本数据集不足的问题，融入迁移学习；对FasterR-CNN网络进行改进，通过改进其ancher机制，提升了检测精度与效率；Faster R-CNN网络中引入SCA-Res2Net模块，大大提升了检测精度。

Claims (9)

1.基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，包括：

采集巡检视频，通过巡检视频获得目标图像，利用标注工具对单帧目标图像中的安全帽进行标注，并保存其信息，得到样本数据；

采用Faster-RCNN对图像中的目标区域进行检测：首先根据目标的相似性，对预训练数据库ImageNet中的图像样本进行重采样，再利用重采样后的数据集对网络参数进行预训练；

结合迁移学习和Faster-RCNN网络对网络进行训练，进行μ次迭代训练，保留最佳的网络权重参数；

构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果。

2.根据权利要求1所述的基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，获得目标图像包括：

确定要标记的安全帽，根据安全帽所在的区域得到相对应的标记方框；把标记的安全帽划分为预先设定的某一状态标签；把标记完成的安全帽图像生成对应的xml文档，每个文档中标记的安全帽信息均包含四个位置属性和1个类别属性。

3.根据权利要求1所述的基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，原始Faster-RCNN网络具体包含以下四个部分：

主干网络：用于提取输入图像特征表示同时为RPN网络提供有效的输入特征；

RPN网络：接收主干网络提取的特征表示，并构建检测目标候选区域；

感兴趣区域(ROI)池化层：将候选区域映射至特征图，并将其池化为统一尺度，用于后续的检测与分类；

分类与回归：对特征区域各目标类别进行分类，并利用边界框回归修正目标框得到精确的位置偏移量。

4.根据权利要求1所述的基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，对Faster-RCNN网络进行调整和优化，采用Faster-RCNN对图像中的目标区域进行检测具体包括：

生成anchor框方案的改进，anchor是一组由RPN生成的矩形框，采用3种尺度和3种长宽比，在每个滑动窗口的中心生成k＝9个anchor；使anchor方案与所检测缺陷的尺寸相对应；

使用k-meansII算法把输入的包含N个点的数据集分类为k个聚类,使数据集中所有点都划分到距离其最近的聚类中心所在的类中,幵使用欧氏距离作为分类时衡量距离的标准；

引入Res2Net模块，该模块采用更小尺寸的卷积核组进行替换，用小尺寸的卷积核捕捉细粒度更高的特征；同时，对输入特征图进行分组，以残差的形式将各组连接；

首先，输入特征经过一个1*1的卷积层得到；然后，沿着通道维度将其分成S组，每组特征子集记为x_i∈R^H×W×C/S,i＝2,.....,S,第i组对应卷积层记为Fi，其输出记为fi；除了第一组外，其余所有xi分别通过一个3*3的卷积层，且当i大于2时，融合xi与fi-1并通过一层3*3的卷积层，得到第i个分组的输出；其次，融合各组输出并通过一个1*1的卷积层；上述过程定义如下：

最后，将输入特征与公式(3)输出融合得到Res2Net模块的输出特征；

在上述Res2Net模块中引入通道注意力模块和空间注意力模块，提出SCA-Res2Net模块，在第二个1*1的卷积层后增加两个SE block和一个SA block，并将输入特征于第一个SEblock后级联，从空间和通道维度增强有效的多尺度判别信息，抑制背景干扰信息，并通过残差结构减轻输入特征空间信息的丢失。

5.根据权利要求4所述的基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，k-means II算法的具体步骤如下：

(1)输入包含k个点的数据集；

(2)随机在数据集中去k个点作为聚类中心点，然后重复此取样过程5次得到5k个数据点，再对这些数据点迚行聚类，得到k个初始的聚类中心；

(3)将数据集中各个点按欧氏距离划分到离它最近的聚类中心所在的类中；欧氏距离公式为：

(4)重新计算各个类的聚类中心，计算方法为：

其中|c_i|为该类样本的数量；

(5)设置一个阈值，假设由式(2)得到的新中心与原来的中心距离小于该阈值，则聚类结束，否则转(3)步；

(6)输出k个聚类和k个聚类中心。

6.根据权利要求1所述的基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，对预训练数据库ImageNet中的图像样本进行重采样，再利用重采样后的数据集对网络参数进行预训练：

基于相似度重采样来构建迁移样本的数据集，建立目标相似度的评估函数；采用度量方式为：

式中：I₁和I₂分别表示训练样本集和目标样本集中的任意两幅图像；

f(I₁)表示从图像提取的特征矢量,此处用灰度共生矩阵来计算；两幅图像的相似度取为灰度共生矩阵距离的负指数次方；

式(4)所得数值介于0和1之间，解释为训练样本与目标样本的相似概率；依据此概率分布对训练数据集抽样，得到抽样后的训练数据集；此数据集中，相似度较高的样本有较大概率被多次抽中；相似度较低的样本出现的频度则降低；再利用重采样后的数据集对网络参数进行预训练。

7.根据权利要求1所述的基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，结合迁移学习和Faster-RCNN网络对网络进行训练，保留最佳的网络权重参数：

预训练完成后，在预训练模型的基础上用制作的安全帽数据集对参数进行优化，并最终用于安全帽检测中；

Faster-RCNN中的损失分为回归损失和分类损失两大类，分类损失是Softmax，回归损失是Smooth L1造成的损失；其总的损失函数表达式如下：

RPN和ROI的分类损失表达式相同，均是交叉熵损失；但RPN损失是二分类交叉熵损失，ROI损失是多分类交叉熵损失；其表达式如公式(6)所示；

其中，N_cls为总的anchor的数量；在RPN分类损失函数中，p_i为第i个anchor的预测分类概率；p*_i为标签，当anchor为positive时，p*_i＝1，当anchor为negative时，p*_i＝0；L_cls(p_i，p*_i)是二分类交叉熵损失函数，其表达式如公式(7)所示；

RPN和ROI的回归损失函数均是由Smooth_L1 Loss计算的，Smooth_L1Loss的表达式如公式(8)所示；回归损失函数的表达式如公式(9)所示；

其中，N_reg由anchor位置的数量决定；p*_iLreg(t_i,t*_i)表示只有正样本才有边框回归损失；Lreg(t_i,t*_i)＝R(t_i-t*_i),R(t_i-t*_i)是Smooth_L1函数；λ为权重平衡参数；t_i是第i个anchor预测的边框回归的参数化坐标；进行μ次迭代训练，保存训练好的网络参数。

8.根据权利要求1所述的基于Faster-RCNN算法的电力作业中安全帽监测方法，其特征在于，构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果：

对于网络精度评价标准主要是采用精确度Precision、召回率Recall和平均精确率均值mean average precision，mAP进行评价，计算公式如下所示：

其中：

TP表示检测到的正例；FP表示检测到的负例；TN表示未检测到的负例；FN表示未检测到的正例；t_bbox表示标记的安全帽真实框；p_bbox表示通过算法计算出来的安全帽框；mAP是由Precision-recall曲线与坐标轴包围区域的面积；n为计算的组数，则差值近似的公式为：

9.基于Faster-RCNN算法的输电线路巡检中安全帽监测系统，其特征在于，包括：

采集模块，用于采集巡检视频，通过巡检视频获得目标图像，利用标注工具对单帧目标图像中的安全帽进行标注，并保存其信息，得到样本数据；

目标区域检测模块，用于采用Faster-RCNN对图像中的目标区域进行检测：首先根据目标的相似性，对预训练数据库ImageNet中的图像样本进行重采样，再利用重采样后的数据集对网络参数进行预训练；

训练模块，用于结合迁移学习和Faster-RCNN网络对网络进行训练，进行μ次迭代训练，保留最佳的网络权重参数；

测试模块，用于构建测试集的基准网络，选取μ次迭代结果中效果最佳的网络参数作为测试集的基准网络，将测试集输入基准网络中进行测试得到测试结果。

Images