CN109190580A - 一种混合式虚拟场景辅助学习的电力部件识别方法 - Google Patents

Abstract

本发明提出了一种混合式虚拟场景辅助学习的电力部件识别方法，包括虚拟场景的搭建、虚拟样本数据生成、虚拟影像的目标检测、人工辅助程序标注、迭代式增强训练等步骤。本发明提出了一套在没有实拍数据作为训练样本的情况下，利用基于几何约束的组合检测器，结合使用hog特征、haar特征与CNN深度网络，解决了由于虚拟样本在场景、目标等特征上与真实电力数据具有一定差距的问题。当真实数据的数量较少时，以VGG16作为主干网络，用ImageNet作为初始权值，并将真实数据集与虚拟数据集组成混合数据集，利用近似联合训练法训练FasterR‑CNN网络，不断增加标记数据和模型检测精度，起到了很好的训练和识别效果。

Description

一种混合式虚拟场景辅助学习的电力部件识别方法

技术领域

本发明涉及计算机辅助电力设备识别领域，尤其涉及一种混合式虚拟场景辅助学习的电力部件识别方法。

背景技术

在将虚拟模型用于目标检测的数据集方面，前人已经做出了一些工作。如Marin等人就探讨了能否将虚拟现实游戏场景中的人物用来做行人检测的训练数据集；Pishchulin等人是先采用人体3D模型匹配出图像中人物的姿态，然后通过微调3D模型的姿态并变换背景来达到扩充人体姿态数据集的目的，并用来进行姿态估计；Shotton等人则通过合成深度图像的方式来训练并作为人体姿态识别的数据集；Papon等人是在合成深度图像的基础上加入合成的RGB等纹理和色彩信息，来作为室内家居环境的识别与物体姿态估计深度网络的数据集；Aubry等人则通过一个含有上千个不同形状椅子的CAD模型集以及采用HOG特征和基于部件的线性判别分析(LDA，Linear Discriminant Analysis)的方法来识别室内环境中椅子的类别并估计姿态；Ros等人通过Unity平台生成了一套合成影像与标注集(SYNTHetic collection of Imagery and Annotations，SYNTHIA)，并结合实际影像数据集用以作为自动驾驶中场景分割、目标识别等的问题的训练集，取得了较好的效果。在电力设备的识别上，也有一些基于虚拟3D模型的识别，如翟永杰等人提出了一种通过绝缘子3D模型训练类Haar级联特征分类器，并用于检测的方法；翟荔婷等人通过3D塔架与图像中的塔架配准得到绝缘子的位置，再利用地球移动距离的方法检测绝缘子是否存在自爆等的异常。

通常单独使用虚拟及人工合成的数据集不能达到最佳的效果，还需要使用少量的真实数据进行迁移学习以适应新的目标域。例如，基于LDA的从3D模型数据集迁移到2D平面识别的方法，通过高质量的虚拟仿真数据并用一种先用虚拟数据训练，再根据在真实数据上检测结果并结合少量人工标注以进一步训练的迁移学习方法来做行人检测。Xu等人提出了一种针对可变部件模型(DPM，Deformable Part Model)数据迁移学习方法，利用层次结构对这种迁移学习的方法进行了改进和拓展。但是在一些情况下，需要在没有真实数据的条件下得到目标检测的分类器，在某个特定场景下用监控摄像头做行人监测的应用前景，由于要求在摄像头安装好之后即可进行监测，为此提出了一种针对实际具体场景进行虚拟建模并获取数据集的方法，并取得了比在通用数据集上训练出的分类器更好的效果。

在上述这些基于机器学习的目标检测方法中，类Haar特征表达的是影像上相邻两块或多块矩形区域之间明暗对比关系的特征，HOG特征是通过对图像梯度的学习来得到目标物体的轮廓信息，而基于深度网络的方法则通过学习来达到对目标物体特征的自动归纳与拟合。但是对于虚拟影像来说，通常难以保证对真实物件所有模式的还原，只能由建模人员根据实物的参考和经验进行建模，在模型样式，尤其是纹理贴图样式上具有局限性，只用虚拟仿真模型生成的图像样本训练得到的深度模型对实际目标物体的预测能力并不理想。另外，真实样本与虚拟样本的特性相反，利用无人机拍摄的电力设备影像往往分辨率大，像素数量多，目标在影像中的个数与所占比例均较小，当前能够将这些特点有效利用并与虚拟影像有机结合的方法较少。

发明内容

为解决上述技术问题，本发明提出了一种能通过迭代训练改善样本较少情况下，模型与实物影响差别大、识别率不理想的不足的虚拟混合式虚拟场景辅助学习的电力部件识别方法。

本发明的技术方案是这样实现的：一种混合式虚拟场景辅助学习的电力部件识别方法，其包括如下步骤：

A)虚拟场景的搭建：将待训练和识别的电力部件，以及目标的配套设备均按照实物的相关参数和剖面图进行人工建模；

B)虚拟样本数据生成：在场景搭建完毕并将电力部件嵌入场景中之后，进行虚拟影像的获取；

C)虚拟影像的目标检测：根据各分类器理论置信度对虚拟影像进行检测，依次将检测结果作为候选区域anchor，提取候选区域anchor附近Faster R-CNN、DPM或类haar特征级联分类器的检测结果，再通过比较候选区域anchor与FasterR-CNN、DPM或类haar特征级联分类器检测出区域的大小、位置以及各自区域的得分情况来评估该候选区域anchor的最终分值，根据分值大小判断该候选区域anchor是否是目标电力部件；

D)对步骤C的结果进行选择区域并进行自动标注，然后由人工进行辅助确认和标注，对自动标注结果进行修正；

E)迭代式增强训练：首先利用步骤C对真实影像进行检测，以该结果作为初始标注通过步骤D人工辅助程序进行标注，并自动生成多分辨率扩充样本与虚拟样本一起作为训练数据，使用faster R-CNN进行训练；深度模型更新之后，再按照上述过程进行迭代训练，得到满足精度要求的电路部件检测器。

在以上技术方案的基础上，优选的，步骤C中，评估候选区域的分值的具体过程如下：

首先，以Faster R-CNN的检测结果作为候选区域anchor，并依次评价与当前候选区域anchor临近的DPM的检测结果，通过比较检测结果的长宽与距离来给出分值，如下式所示：

式中W_i与H_i分别是当前DPM检测矩形的宽与高，W_a与H_a是当前候选区域anchor的宽和高，d_i是DPM矩形中心相距当前候选区域anchor中心的欧式距离，DPM_i是当前DPM检测矩形的分值，式中的函数f(x)是顶点值为1中心在0处的高斯函数，函数定义如下式所示，w₁、w₂、w₃为权值，即将宽与高作为形状的整体，并与中心距离平均加权作为当前DPM检测结果的几何得分，最大分值为1；f(x)定义如下：

下一步评价类haar分类器在该候选区域anchor处的表达，由于类haar分类器可分为电力部件整体分类器、电力部件连接器分类器、电力部件本体分类器三个部分，将电力部件定义为三个理想姿态，分别为向左旋转20°、向右旋转20°以及无旋转；电力部件本体取得分最高的姿态的分值的计算公式如下：

上式中S_hammer表示对电力部件本体分类器评估的分值，W_j、W_k表示电力部件本体在不同理想位置姿态下DPM检测矩形框体的宽度，d_j、d_k所代表的距离则是不同的理想电力部件本体中心与对应理想电力部件本体中心的距离，w₁、w₂为权值；在得到电力部件本体的分值之后，得到当前候选区域anchor处电力部件的姿态，电力部件连接器的理想位置则采取当前姿态的电力部件连接器位置进行计算，计算公式如下所示：

上式中S_bridge表示对电力部件连接器分类器评估的分值，W_i是当前DPM检测矩形的宽度，W_a是当前候选区域anchor的宽度，d_i表示的是当前电力部件连接器中心与电力部件本体相应姿态下的对应的理想电力部件连接器中心之间的距离，w₁、w₂为权值；在评价类haar特征电力部件整体分类器时，在电力部件本体评估出的姿态的基础上，得到相应理想电力部件整体的高宽比，再通过该宽高比得到类haar分类器矩形区域相应的理论高度值，从而对宽度和高度分别计算，如下式所示：

上式中S_haar表示对电力部件整体分类器评估的分值，W_i是当前DPM检测矩形的宽度，W_a与H_a是当前候选区域anchor的宽和高，d_i是DPM矩形中心相距当前候选区域中心的欧式距离，r_t为电力部件本体评估出的相应姿态理论高宽比，w₁、w₂、w₃为权值；

最后，将各分类器所评价出的得分综合起来，便得到了该候选区域anchor处的最终分值S_T，如下式所示：

S_T＝w₁S_F+w₂S_DPM+w₃S_haar+w₄S_bridge+w₅S_damper (1.6)

式中S_F为Faster R-CNN本身在该候选区域anchor处的分值，w₁、w₂、w₃、w₄、w₅为权值。

在以上技术方案的基础上，优选的，以Faster R-CNN的检测结果作为候选区域，并依次评价与当前候选区域临近的DPM的检测结果步骤中，公式1.1中权值w₁、w₂、w₃分别为0.25、0.25、0.5。

在以上技术方案的基础上，优选的，计算电力部件本体取得分最高的姿态的分值的公式1.3中权值w₁、w₂分别为0.5、0.5。

在以上技术方案的基础上，优选的，计算电力部件连接器的理想位置公式1.4中的权值w₁、w₂分别为0.5、0.5。

在以上技术方案的基础上，优选的，电力部件整体分类器评估的分值计算公式1.5中，权值w₁、w₂、w₃分别为0.25、0.25、0.5。

在以上技术方案的基础上，优选的，将各分类器所评价出的得分综合起来，得到该候选区域处的最终分值的公式1.6中权值w₁、w₂、w₃、w₄、w₅分别为1、1、0.9、0.8、0.7。

本发明提出了一种混合式虚拟场景辅助学习的电力部件识别方法，该方法相比现有技术具有以下有益效果：

(1)基于虚拟样本集在没有迁移学习的情况下提出了一种将不同分类器结合在一起进行检测的方法；该方法利用基于几何约束的这检测器GCAD，结合hog特征、haar特征、CNN深度网络，改善虚拟样本在场景上、目标特征上与真实电力部件数据存在差距的问题，提高识别效果；

(2)利用GCAD结合标注程序，结合少量的人工辅助标注，通过不断迭代学习，不断增加标记数据和模型检测精度，提高识别效果；

(3)本发明还提供了一套将真实影像集与虚拟影像集结合起来的思路，当真实数据的数量较少时，以VGG16作为主干网络，用ImageNet作为初始权值，并将真实数据集与虚拟数据集组成混合数据集，利用近似联合训练法训练Faster R-CNN网络；当真实数据集不断增加，直到在混合数据中占据优势时，使用基于FRCN的OHEM可以帮助训练出更为出色的检测、识别能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的总体流程图；

图2为本发明的虚拟样本生成流程图；

图3为本发明的分类器组合流程图：

图4为本发明迭代训练的流程图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

图1为本发明的总体流程图。

本实施例选用防振锤这一具体电力部件来进行详细说明。本发明提供了一种混合式虚拟场景辅助学习的电力部件识别方法，该方法包括如下步骤：

A)虚拟场景的搭建：将待训练和识别的电力部件即防振锤，以及配套设备均按照实物的相关参数和剖面图进行人工建模，本实施采用3DS Max软件建模；

B)虚拟样本数据生成：如图2所示，在场景搭建完毕并将电力部件嵌入场景中之后，需要进行虚拟影像的获取；本实施例虚拟影像数据的获取，是借助游戏引擎中的相机功能，对防振锤进行模拟拍照并将拍照结果实时渲染输出成通用的图片影像格式；图2中用N表示拍摄的影像张数，n表示当前已拍摄影像数目，W表示影像的宽度，H表示影像的高度，Xmax、Xmin、Ymax、Ymin表示防振锤在影像中的运动范围。

C)虚拟影像的目标检测：根据各分类器理论置信度对虚拟影像进行检测，依次将检测结果作为候选区域anchor，提取候选区域anchor附近Faster R-CNN、DPM或类haar特征级联分类器的检测结果，再通过比较候选区域anchor与FasterR-CNN、DPM或类haar特征级联分类器检测出区域的大小、位置以及各自区域的得分情况来评估该候选区域anchor的最终分值，根据分值大小判断该候选区域anchor是否是目标电力部件；

如图3所示，评估候选区域anchor的分值的具体过程如下：

首先，以Faster R-CNN的检测结果作为候选区域anchor，并依次评价与当前候选区域anchor临近的DPM的检测结果，通过比较检测结果的长宽与距离来给出分值，如下式所示：

式中W_i与H_i分别是当前DPM检测矩形的宽与高，W_a与H_a是当前候选区域anchor的宽和高，d_i是DPM矩形中心相距当前候选区域anchor中心的欧式距离，DPM_i是当前DPM检测矩形的分值，式中的函数f(x)是顶点值为1中心在0处的高斯函数，函数定义如下式所示，权值w₁、w₂、w₃为0.25、0.25、0.5。，即将宽与高作为形状的整体，并与中心距离平均加权作为当前DPM检测结果的几何得分，最大分值为1；f(x)定义如下：

下一步评价类haar分类器在该候选区域anchor处的表达，由于类haar分类器可分为电力部件整体分类器、电力部件连接器分类器、电力部件本体分类器三个部分，即防振锤整体分类器、防振锤连接器分类器、防振锤本体分类器。将防振锤定义为三个理想姿态，分别为向左旋转20°、向右旋转20°以及无旋转；防振锤本体取得分最高的姿态的分值，公式如下：

上式中S_hammer表示对防振锤本体分类器评估的分值，W_j、W_k表示防振锤本体在不同理想位置姿态下DPM检测矩形框体的宽度，d_j、d_k所代表的距离则是不同的理想防振锤本体中心与对应理想防振锤本体中心的距离，权值w₁、w₂分别为0.5、0.5。在得到防振锤本体的分值之后，得到当前候选区域anchor处防振锤的姿态，防振锤连接器的理想位置则采取当前姿态的防振锤连接器位置进行计算，计算公式如下所示：

上式中S_bridge表示对防振锤连接器分类器评估的分值，W_i是当前DPM检测矩形的宽度，W_a是当前候选区域anchor的宽度，d_i表示的是当前防振锤连接器中心与防振锤本体相应姿态下的对应的理想防振锤连接器中心之间的距离，权值w₁、w₂分别为0.5、0.5。在评价类haar特征防振锤整体分类器时，在防振锤本体评估出的姿态的基础上，得到相应理想防振锤整体的高宽比，再通过该宽高比得到类haar分类器矩形区域相应的理论高度值，从而对宽度和高度分别计算，如下式所示：

上式中S_haar表示对防振锤整体分类器评估的分值，W_i是当前DPM检测矩形的宽度，W_a与H_a是当前候选区域anchor的宽和高，d_i是DPM矩形中心相距当前候选区域anchor中心的欧式距离，r_t为防振锤本体评估出的相应姿态理论高宽比，权值w₁、w₂、w₃分别取0.25、0.25、0.5。

最后，将各分类器所评价出的得分综合起来，便得到了该候选区域anchor处的最终分值S_T，如下式所示：

S_T＝w₁S_F+w₂S_DPM+w₃S_haar+w₄S_bridge+w₅S_damper (1.6)

式中S_F为Faster R-CNN本身在该候选区域anchor处的分值，权值w₁、w₂、w₃、w₄、w₅分别取1、1、0.9、0.8、0.7。

D)对步骤C的结果进行选择区域并进行自动标注，然后由人工进行辅助确认和标注，对自动标注结果进行修正；

E)迭代式增强训练：首先利用步骤C对真实影像进行检测，以该结果作为初始标注通过步骤D人工辅助程序进行标注，并自动生成多分辨率扩充样本与虚拟样本一起作为训练数据，使用faster R-CNN进行训练；深度模型更新之后，再按照上述过程进行迭代训练，得到满足精度要求的防振锤检测器。迭代式增强训练流程图如图4所示。

本发明提出了一套在没有实拍数据作为训练样本的情况下，利用基于几何约束的组合检测器，结合使用hog特征、haar特征与CNN深度网络，解决了由于虚拟样本在场景、目标等特征上与真实电力数据具有一定的差距的问题。

本发明提供了一套将真实影像集与虚拟影像集结合起来的方法，当真实数据的数量较少时，以VGG16作为主干网络，用ImageNet作为初始权值，并将真实数据集与虚拟数据集组成混合数据集，利用近似联合训练法训练FasterR-CNN网络得到较好的效果。当真实数据集不断增加，直到在混合数据中占据优势时，可使用基于FRCN的OHEM帮助训练出检测效果更为出色的网络。

本发明基于虚拟样本集在没有迁移学习的情况下提出了一种将不同分类器结合在一起进行检测的方法，并利用分类器筛选较为可靠的目标，结合有限的人工辅助标注，能够通过迭代学习不断增加标记数据的数量和模型检测精度。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种混合式虚拟场景辅助学习的电力部件识别方法，其包括如下步骤：

A)虚拟场景的搭建：将待训练和识别的电力部件，以及目标的配套设备均按照实物的相关参数和剖面图进行人工建模；

B)虚拟样本数据生成：在场景搭建完毕并将电力部件嵌入场景中之后，进行虚拟影像的获取；

C)虚拟影像的目标检测：根据各分类器理论置信度对虚拟影像进行检测，依次将检测结果作为候选区域anchor，提取候选区域anchor附近Faster R-CNN、DPM或类haar特征级联分类器的检测结果，再通过比较候选区域anchor与Faster R-CNN、DPM或类haar特征级联分类器检测出区域的大小、位置以及各自区域的得分情况来评估该候选区域anchor的最终分值，根据分值大小判断该候选区域anchor是否是目标电力部件；

D)对步骤C的结果进行选择区域并进行自动标注，然后由人工进行辅助确认和标注，对自动标注结果进行修正；

E)迭代式增强训练：首先利用步骤C对真实影像进行检测，以该结果作为初始标注通过步骤D人工辅助程序进行标注，并自动生成多分辨率扩充样本与虚拟样本一起作为训练数据，使用faster R-CNN进行训练；深度模型更新之后，再按照上述过程进行迭代训练，得到满足精度要求的电路部件检测器。

2.如权利要求1所述的一种混合式虚拟场景辅助学习的电力部件识别方法，其特征在于：步骤C中，评估候选区域的分值的具体过程如下：

首先，以Faster R-CNN的检测结果作为候选区域anchor，并依次评价与当前候选区域anchor临近的DPM的检测结果，通过比较检测结果的长宽与距离来给出分值，如下式所示：

式中W_i与H_i分别是当前DPM检测矩形的宽与高，W_a与H_a是当前候选区域anchor的宽和高，d_i是DPM矩形中心相距当前候选区域anchor中心的欧式距离，DPM_i是当前DPM检测矩形的分值，式中的函数f(x)是顶点值为1中心在0处的高斯函数，函数定义如下式所示，w₁、w₂、w₃为权值，即将宽与高作为形状的整体，并与中心距离平均加权作为当前DPM检测结果的几何得分，最大分值为1；f(x)定义如下：

下一步评价类haar分类器在该候选区域anchor处的表达，由于类haar分类器可分为电力部件整体分类器、电力部件连接器分类器、电力部件本体分类器三个部分，将电力部件定义为三个理想姿态，分别为向左旋转20°、向右旋转20°以及无旋转；电力部件本体取得分最高的姿态的分值的计算公式如下：

上式中S_hammer表示对电力部件本体分类器评估的分值，W_j、W_k表示电力部件本体在不同理想位置姿态下DPM检测矩形框体的宽度，d_j、d_k所代表的距离则是不同的理想电力部件本体中心与对应理想电力部件本体中心的距离，w₁、w₂为权值；在得到电力部件本体的分值之后，得到当前候选区域anchor处电力部件的姿态，电力部件连接器的理想位置则采取当前姿态的电力部件连接器位置进行计算，计算公式如下所示：

上式中S_bridge表示对电力部件连接器分类器评估的分值，W_i是当前DPM检测矩形的宽度，W_a是当前候选区域anchor的宽度，d_i表示的是当前电力部件连接器中心与电力部件本体相应姿态下的对应的理想电力部件连接器中心之间的距离，w₁、w₂为权值；在评价类haar特征电力部件整体分类器时，在电力部件本体评估出的姿态的基础上，得到相应理想电力部件整体的高宽比，再通过该宽高比得到类haar分类器矩形区域相应的理论高度值，从而对宽度和高度分别计算，如下式所示：

上式中S_haar表示对电力部件整体分类器评估的分值，W_i是当前DPM检测矩形的宽度，W_a与H_a是当前候选区域anchor的宽和高，d_i是DPM矩形中心相距当前候选区域中心的欧式距离，r_t为电力部件本体评估出的相应姿态理论高宽比，w₁、w₂、w₃为权值；

最后，将各分类器所评价出的得分综合起来，便得到了该候选区域anchor处的最终分值S_T，如下式所示：

S_T＝w₁S_F+w₂S_DPM+w₃S_haar+w₄S_bridge+w₅S_damper (1.6)

式中S_F为Faster R-CNN本身在该候选区域anchor处的分值，w₁、w₂、w₃、w₄、w₅为权值。

3.如权利要求2所述的一种混合式虚拟场景辅助学习的电力部件识别方法，其特征在于：以FasterR-CNN的检测结果作为候选区域，并依次评价与当前候选区域临近的DPM的检测结果步骤中，公式1.1中权值w₁、w₂、w₃分别为0.25、0.25、0.5。

4.如权利要求2所述的一种混合式虚拟场景辅助学习的电力部件识别方法，其特征在于：计算电力部件本体取得分最高的姿态的分值的公式1.3中权值w₁、w₂分别为0.5、0.5。

5.如权利要求2所述的一种混合式虚拟场景辅助学习的电力部件识别方法，其特征在于：计算电力部件连接器的理想位置公式1.4中的权值w₁、w₂分别为0.5、0.5。

6.如权利要求2所述的一种混合式虚拟场景辅助学习的电力部件识别方法，其特征在于：电力部件整体分类器评估的分值计算公式1.5中，权值w₁、w₂、w₃分别为0.25、0.25、0.5。

7.如权利要求2所述的一种混合式虚拟场景辅助学习的电力部件识别方法，其特征在于：将各分类器所评价出的得分综合起来，得到该候选区域处的最终分值的公式1.6中权值w₁、w₂、w₃、w₄、w₅分别为1、1、0.9、0.8、0.7。