CN112163572A

CN112163572A - 识别对象的方法和装置

Info

Publication number: CN112163572A
Application number: CN202011194166.3A
Authority: CN
Inventors: 李大志; 杨博; 叶宽; 朱戎; 赵蕾; 谢欢; 李洪斌; 潘轩
Original assignee: State Grid Corp of China SGCC; State Grid Beijing Electric Power Co Ltd
Current assignee: State Grid Corp of China SGCC; State Grid Beijing Electric Power Co Ltd
Priority date: 2020-10-30
Filing date: 2020-10-30
Publication date: 2021-01-01

Abstract

本发明公开了一种识别对象的方法和装置。其中，该方法包括：采集施工图像，其中，施工图像中至少包括待识别对象，待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在电力施工现场的施工对象佩戴的安全护具；基于目标检测模型对施工图像进行识别，得到识别结果，其中，目标检测模型为使用多组数据通过多分支深度网络训练出来的，多组数据中的每组数据包括：施工图像和施工图像中标识出的待识别对象；根据识别结果确定施工对象是否存在违规行为。本发明解决了相关技术中，人工巡检电力施工现场的违规行为所导致的检测效率低的技术问题。

Description

识别对象的方法和装置

技术领域

本发明涉及图像识别领域，具体而言，涉及一种识别对象的方法和装置。

背景技术

随着社会的不断发展，电力行业得到了突飞猛进的发展。然而，近年来，在电力施工中屡屡发生因作业不规范导致的安全责任事故。针对此问题，安监部门要求在电力施工现场，现场施工人员身份信息需要与工作票信息相符，并且需要佩戴安全防护用具(例如，安全帽、马甲等)，而且，在施工现场需要架设安全围栏、三脚架，摆放安全标识牌，防止外来人员随意进入工作现场。

为减少甚至杜绝作业现场违章，需要对施工现场进行实时监控。传统的监控方法采用人员巡视的方式进行管理，电力施工作业现场配备专门的安全巡检人员，巡检人员定期对施工现场进行巡查，监督所有的施工人员是否正确佩戴安全帽以及安全马甲，对未佩戴的工作人员下发违章通知单。

但该方法耗费大量的时间，巡检人员不能做到实时巡查电力施工作业现场，而且有限的人力资源无法满足电网大规模增长的监控需求。随着监控视频的不断发展，电力施工作业现场还可采用人工与监控视频结合的方式对现场工况进行监控，通过人力实现对视频监控的实时校验，并利用人的直观视觉观察在电力施工作业环境下的工人们是否佩戴安全护具，以此来监控并保障工人安全。但由于全程使用人力监控现场施工，使监控过程变得繁琐复杂，无法高效保障作业人员的安全施工。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种识别对象的方法和装置，以至少解决相关技术中，人工巡检电力施工现场的违规行为所导致的检测效率低的技术问题。

根据本发明实施例的一个方面，提供了一种识别对象的方法，包括：采集施工图像，其中，施工图像中至少包括待识别对象，待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在电力施工现场的施工对象佩戴的安全护具；基于目标检测模型对施工图像进行识别，得到识别结果，其中，目标检测模型为使用多组数据通过多分支深度网络训练出来的，多组数据中的每组数据包括：施工图像和施工图像中标识出的待识别对象；根据识别结果确定施工对象是否存在违规行为。

进一步地，识别对象的方法还包括：在基于目标检测模型对施工图像进行识别，得到识别结果之前，获取设施数据集，其中，设施数据集包括多个类型的安全设施所对应的数据集；对设施数据集进行图像预处理，得到处理后的设施数据集；根据处理后的设施数据集对多分支深度网络进行训练，得到目标检测模型。

进一步地，识别对象的方法还包括：在获取设施数据集之前，获取图像采集设备所采集到的电力施工现场的多张图像；对多张图像进行样本标定，从多张图像中筛选出有效样本；根据有效样本，得到设施数据集。

进一步地，识别对象的方法还包括：在目标检测模型中，将施工图像的第一图像分辨率调整为第二图像分辨率，得到第一施工图像；将第一施工图像输入至残差模块，以提取第一施工图像的第一特征；对第一施工图像进行上采样，得到第一施工图像的第二特征；对第一特征和第二特征进行特征融合，得到识别结果。

进一步地，识别对象的方法还包括：在第一图像分辨率大于第二图像分辨率的情况下，对施工图像进行填充操作，得到第二施工图像，其中，第二施工图像的图像分辨率高于第一图像分辨率；对第二施工图像进行缩放操作，得到第一施工图像。

进一步地，目标检测模型至少包括两个残差模块，多分支深度网络具有4个输出分支。

进一步地，识别对象的方法还包括：采用第一子线程接收施工图像；采用第二子线程对施工图像进行识别处理，其中，第一子线程和第二子线程为不同的子线程，第一子线程和第二子线程并行操作。

根据本发明实施例的另一方面，还提供了一种识别对象的装置，包括：采集模块，用于采集施工图像，其中，施工图像中至少包括待识别对象，待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在电力施工现场的施工对象佩戴的安全护具；识别模块，用于基于目标检测模型对施工图像进行识别，得到识别结果，其中，目标检测模型为使用多组数据通过多分支深度网络训练出来的，多组数据中的每组数据包括：施工图像和施工图像中标识出的待识别对象；确定模块，用于根据识别结果确定施工对象是否存在违规行为。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的识别对象的方法。

根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序被设置为运行时执行上述的识别对象的方法。

在本发明实施例中，采用图像识别的方式来识别电力施工现场的违规行为，通过采集施工图像，并基于目标检测模型对施工图像进行识别，得到识别结果，再根据识别结果确定施工对象是否存在违规行为，其中，施工图像中至少包括待识别对象，待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在电力施工现场的施工对象佩戴的安全护具，目标检测模型为使用多组数据通过多分支深度网络训练出来的，多组数据中的每组数据包括：施工图像和施工图像中标识出的待识别对象。

在上述过程中，本申请基于图像识别的方式对施工对象的违规行为进行检测可极大地减少人力监管成本，节约大量的人力、物力资源，降低安全责任事故的发生率，减少因安全事故造成的经济损失，切实保障了施工人员的生命健康。另外，在本申请中，目标检测模型是通过多分支深度网络模型训练得到的，通过增加采样分支，可以提高目标检测模型对小目标的检测效果，总体上提高了电力施工大场景下不同尺度目标的检测效率。

由上可知，本申请所提供的方案达到了自动检测电力施工现场的违规行为的目的，从而实现了提高违规检测的检测效率的技术效果，进而解决了相关技术中，人工巡检电力施工现场的违规行为所导致的检测效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种识别对象的方法流程图；

图2是根据本发明实施例的一种可选的目标检测模型的训练示意图；

图3是根据本发明实施例的一种可选的待识别对象的标注示意图；

图4是根据本发明实施例的一种可选的XML文件的示意图；

图5是根据本发明实施例的一种可选的施工图像的识别流程图；

图6是根据本发明实施例的一种可选的残差单元的结构示意图；

图7是根据本发明实施例的一种可选的基本残差单元的示意图；

图8是根据本发明实施例的一种可选的特征融合的示意图；

图9是根据本发明实施例的一种可选的特征提取的示意图；

图10是根据本发明实施例的一种识别对象的装置示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种识别对象的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

此外，还需要说明的是，智能的图像监控系统可执行本实施例中的识别对象的方法，该图像监控系统至少包括图像采集设备以及图像处理设备，其中，图像采集设备可以为移动设备，例如，具有摄像功能的手机，也可以为非移动设备，例如，安装在电力施工现场的摄像头。可选的，图像处理设备可以对图像采集设备所采集到的图像进行处理，并输出处理结果。

图1是根据本发明实施例的识别对象的方法流程图，如图1所示，该方法包括如下步骤：

步骤S102，采集施工图像，其中，施工图像中至少包括待识别对象，待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在电力施工现场的施工对象佩戴的安全护具。

在步骤S102中，施工对象为在电力施工现场进行施工作业的施工人员。待识别对象为安全设施，例如，三脚架、安全标志牌等，待识别对象还可以为安全护具，例如，安全帽、马甲等。

可选的，图像监控系统中的图像采集设备可实时采集电力施工现场的施工图像，并将采集到的施工图像实时传输至图像处理设备进行图像处理，并输出处理结果，即在本申请中，图像监控系统可实时对电力施工现场进行监控，以检测电力施工现场的施工人员是否存在违规行为。

容易注意到的是，由于图像监控系统能够实时对电力施工现场进行监控，不再需要人工实时监控，从而提高了监控效率。

步骤S104，基于目标检测模型对施工图像进行识别，得到识别结果，其中，目标检测模型为使用多组数据通过多分支深度网络训练出来的，多组数据中的每组数据包括：施工图像和施工图像中标识出的待识别对象。

需要说明的是，电力施工场景下的待识别对象多为小目标，而传统的目标检测方法对小目标的检测效果较差。为提高小目标检测效果，本申请采用目标检测模型为通过多分支的深度网络训练得到的，通过增加采样分支可提升目标检测模型对小目标的检测效果。可选的，多分支深度网络具有4个输出分支。

另外，在步骤S104中，识别结果可以以图像的形式进行表示，例如，在图像上以矩形框的形式显示施工人员的安全帽，表明施工人员佩戴了安全帽。可选的，对于不同类型的待识别对象，在识别结果中以不同颜色和/或不同形状的框进行显示，例如，以红色的矩形框显示施工人员的安全帽，以绿色的矩形框显示电力施工现场中的围栏。

步骤S106，根据识别结果确定施工对象是否存在违规行为。

需要说明的是，在得到识别结果之后，图像监控系统可根据识别结果来确定在电力施工现场的施工对象的操作是否规范，例如，对施工对象的安全防护用具穿戴情况(安全帽、马甲)、有限空间作业现场三脚架配置情况、安全标识牌摆放情况等违章行为进行智能识别，并在检测到施工对象存在违规行为的情况下自动报警和/或生成报警记录。

基于上述步骤S102至步骤S106所限定的方案，可以获知，采用图像识别的方式来识别电力施工现场的违规行为，通过采集施工图像，并基于目标检测模型对施工图像进行识别，得到识别结果，再根据识别结果确定施工对象是否存在违规行为，其中，施工图像中至少包括待识别对象，待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在电力施工现场的施工对象佩戴的安全护具，目标检测模型为使用多组数据通过多分支深度网络训练出来的，多组数据中的每组数据包括：施工图像和施工图像中标识出的待识别对象。

容易注意到的是，本申请基于图像识别的方式对施工对象的违规行为进行检测可极大地减少人力监管成本，节约大量的人力、物力资源，降低安全责任事故的发生率，减少因安全事故造成的经济损失，切实保障了施工人员的生命健康。另外，在本申请中，目标检测模型是通过多分支深度网络模型训练得到的，通过增加采样分支，可以提高目标检测模型对小目标的检测效果，总体上提高了电力施工大场景下不同尺度目标的检测效率。

在基于目标检测模型对施工图像进行识别，得到识别结果之前，需要获得目标检测模型，即对目标检测模型进行训练。而对目标检测模型进行训练需要获取设施数据集，其中，设施数据集包括多个类型的安全设施所对应的数据集。

需要说明的是，如图2所示，目标检测模型的训练过程包括样本标定、图像预处理、训练目标检测模型以及生成目标检测模型四个步骤。

具体的，在基于目标检测模型对施工图像进行识别，得到识别结果之前，首先获取设施数据集，并对设施数据集进行图像预处理，得到处理后的设施数据集，最后，根据处理后的设施数据集对多分支深度网络进行训练，得到目标检测模型，其中，设施数据集包括多个类型的安全设施所对应的数据集。

可选的，对设施数据集进行图像预处理，处理后的设施数据集作为输入用于深度学习模型的训练。其中，图像的预处理包括但不限于图像的数据扩增、网络的初始化、激活函数的选取、目标函数的选择等。

需要说明的是，有效的图像预处理可以使多分支深度网络的训练效果更好。另外，在对目标检测模型进行训练前，需要对多分支深度网络的超参数进行设置，其中，合适的网络超参数可使多分支深度网络更快的收敛。在本申请中，目标检测模型的训练过程为端对端的过程，生成的目标检测模型可用于电力施工作业安全监控系统中进行目标检测。

在一种可选的实施例中，在获取设施数据集之前，获取图像采集设备所采集到的电力施工现场的多张图像，并对多张图像进行样本标定，从多张图像中筛选出有效样本，最后，根据有效样本，得到设施数据集。其中，样本标定是在电力施工作业现场由高清摄像机拍摄的图像中进行标定，通过筛选有效的可利用的样本，制作电力施工作业场景的安全护具与有限空间安全设施数据集。

需要说明的是，对于电力施工作业场景要完成的任务，现有的公共数据集中不存在专门的安全护具与有限空间安全设施数据集。因此，在本申请中，利用现场采集的数据自制适用于本申请的数据集。在电力施工现场采集的电力施工作业场景的图像数据巨大，图像数据均是由电力施工作业现场监控系统中视频采集模块的监控摄像头所采集，采集的画面均是施工人员的日常工作情况。根据图像采集的质量选取有效样本进行图像标定，标定可采取VOC格式进行标定，在有效样本中挑选安全护具与有限空间安全设施目标进行矩形框标定，提取安全护具与有限空间安全设施的坐标信息。在选取有效样本的过程中，夜间样本、不完整的图像均不可以作为有效样本。

另外，样本的选择具有多样性，即包含多个场景，且对于不同的待识别对象其具有多种尺度。经过筛选可得到有效样本，对有效样本进行标注，即得到位置坐标信息，如图3为标注的待识别对象，通过矩形框对图像中的待识别对象进行外界标注，得到图4中的XML文件，XML文件中存储了标注样本的相关信息。在标注文献XML中，第一行为size，是对待标注图像的宽度、高度、通道数目的具体描述，在object行中记录了目标类别以及坐标信息。对挑选的多张有效图像样本进行标注，得到基于电力施工作业场景下的自制数据集。

同理，还可构建围栏、三脚架等安全设施的设施数据集。对实验数据集中两类目标的个数进行统计，安全帽以及安全马甲的目标数如表1所示。在训练集数据中，安全帽个数为3157个，安全马甲的个数为2326个，围栏个数为4851个，三脚架个数为1742个，标识牌个数为3279个，梯子1020个；在测试数据集中，安全帽个数为980个，安全马甲的个数为465个，围栏个数为1017个，三脚架个数为339个，标识牌个数为856个，梯子450个。在训练以及测试数据集中，两类检测目标的数目是均衡的。

表1

在一种可选的实施例中，在得到目标检测模型之后，基于目标检测模型对施工图像进行识别的流程图，如图5所示，由图5可知，该识别过程主要包括图像预处理、目标检测以及结果输出三个步骤。

可选的，施工图像经过目标检测模型可实现对施工图像中的待识别对象的识别与定位。对电力施工现场采集而来的施工图像进行图像预处理，利用训练好的目标检测模型对预处理后的施工图像进行检测，得到最终的结果，即识别结果。如果检测到施工图像中的施工人员佩戴了安全帽以及安全马甲，或是有限空间作业时放置了安全护具，即在施工图像中自动锁定待识别对象的位置并输出坐标，图像监控系统使用彩色框对待识别对象进行标注，并注明所属类别。彩色框的标注可以在视觉上给予监控人员警示，清晰明了的发现施工人员是否正确佩戴安全护具。同时检测的结果(即识别结果)将会存储在磁盘阵列中，用于回放以及排查。检测的结果也可通过信号的方式传输给声光报警装置，报警装置发出警报。

需要说明的是，针对电力施工作业场景下安全护具与有限空间安全设施目标检测的特点，场景中存在安全帽等较小目标，场景中大、中、小目标均有分布，并且电力施工现场还可能存在环境干扰问题，环境的干扰会导致漏检。基于此，本申请使用基于Darknet-53的多分支网络结构，对场景内的大中小目标进行检测。

其中，多分支网络是基于残差网络和特征融合的，网络的整体结构由特征提取和特征融合组成，多分支网络使用Darknet-53为基本网络架构。在传统的卷积神经网络中，特征提取过程通常伴随着下采样过程，虽然卷积层层数的增加可以提高特征提取的性能，但随着网络的加深小目标的特征可能会丢失。因此，在本申请中将残差网络引入到特征提取中，可提高特征提取的性能，减轻梯度消失的问题。残差单元的结构如图6所示，其中，Leakyrelu为神经网络中的激活函数。由图6可知，基本残差单元的残差结构主要由1×1卷积层和3×3卷积层组成，残差模块可由多个基本残差单元组成，它们通过包含不同数量的基本残差单元来提取特征，从而控制特征提取的过程。

另外，为了在保持小目标的检测性能，同时提高大目标的检测性能，在大目标的检测分支之前增加了残差模块中的残差单元的数量，可选的，目标检测模型至少包括两个残差模块。理论上，随着输入图像的分辨率增加，在相应分支之前使用更多的残差模块会提取更丰富的特征。通过对实验数据的分析，在多分支深度网络使用的五个残差模块中，基本残差单元的数量为1、2、8、10和4，如图7所示，整个多分支深度网络共有5个残差模块，5次下采样，3次上采样，4次目标检测。基于DarkNet-53的多分支网络中的4次检测分别针对的就是大中小目标的检测，多分支的架构使得深度网络能够使用不同尺度大小的目标检测。

可选的，多分支深度网络首先调整输入图像的图像分辨率，在经过残差模块后，对高层的语义信息进行提取。特征融合在指在残差网络提取的浅层特征与上采样之后的特征图之间进行特征融合。

具体的，在目标检测模型中，将施工图像的第一图像分辨率调整为第二图像分辨率，得到第一施工图像，然后将将第一施工图像输入至残差模块，以提取第一施工图像的第一特征，并对第一施工图像进行上采样，得到第一施工图像的第二特征，最后对第一特征和第二特征进行特征融合，得到识别结果。

在一种可选的实施例中，在第一图像分辨率大于第二图像分辨率的情况下，对施工图像进行填充操作，得到第二施工图像，并对第二施工图像进行缩放操作，得到第一施工图像，其中，第二施工图像的图像分辨率高于第一图像分辨率。

可选的，在确定输入的施工图像的分辨率之后，可以分析施工图像中经过卷积神经网络后能够检测到的物体的最小分辨率。其中，在608×608分辨率的施工图像中，为了保持施工图像中待识别对象的原始比例，在降低图像分辨率时，可采用长边缩放、短边补码方案，将原始的施工图像填充为1920×1920分辨率，然后将填充后的施工图像缩放为608×608分辨率。

需要说明的是，经过浅层残差网络的特征图可以保留小物体的更多特征信息，并与相应的上采样结果集成在一起，以提高对小物体的特征提取能力。输入的施工图像中不同尺度大小的目标，在经过卷积神经网络中的残差模块时，不同数量的残差单元可以提取不同的特征。由于电力施工现场采集的施工图像中的待识别对象多是小目标，而深度网络的多分支设计可有效的提升对小目标特征的学习能力，实现在小目标方向的检测精度。

可选的，图8示出了施工图像在多分支深度网络中训练时特征融合的具体方式，该方法结合了FPN(Feature Pyramid Networks，特征金字塔网络)的思想，在输入五个残差模块之前，连续进行五次下采样以获得32倍的下采样特征图，进行网络的第一次检测，然后对该特征图进行上采样。32倍降采样将32倍降采样特征第一次上采样的特征图与16倍降采样特征图进行特征融合，进行第二次图像目标检测。然后，继续对32倍降采样特征图进行第二次上采样，将经过两次上采样的结果与8倍降采样的特征进行融合，进行第三次检测。同理，经过3次上采样的结果与4倍降采样的结果融合，进行第四次检测。

另外，在电力施工现场，图像监控系统以1920×1080的分辨率获取施工图像。直接对原始的高分辨率图像进行处理可能会消耗大量计算量。因此，降低施工图像的分辨率可以提高在将施工图像输入到多分支深度网络之前的计算效率。在主流对象检测方案中使用的图像分辨率通常包括416×416、608×608和800×800。在训练过程中，增加输入图像的分辨率可以提高目标检测模型的检测精度，但同时又会增加许多的计算量。因此，在本申请中以608×608的图像分辨率为例作为设计的多分支深度网络的输入，以充分利用现有的研究成果并在检测速度和检测精度之间取得平衡。

需要说明的是，如果需要得到稳定的小目标的识别结果，则施工图像中的目标区域至少需要2个残差模块用于特征提取。此时，在全高清原始图片中可以检测到的最小目标分辨率为13×13。如图9所示，当输入的施工图像中目标的尺寸为13×13时，在经过设计的网络进行特征提取后，随着网络的层数增加，特征的尺寸会不断的变小，最终的特征尺寸会变为1×1大小。因此，施工图像中能够被检测的目标最小分辨率为13×13。

当施工图像中的待识别对象的分辨率小于13×13个像素时，随着多分支深度网络的层数的增加，多分支深度网络将不能再对该待识别对象进行预测，此时施工图像中的待识别对象无法被检测。由于本申请中多分支深度网络的多分支设计，在4倍降采样处具有更多的图像信息，有更小的感受野，将4倍降采样处的特征与上采样的特征进行融合，在4倍降采样的特征大小处进行目标检测可以提升整个多分支深度网络对电力施工现场中普遍存在的小目标的检测效果。在8倍降采样和16倍降采样处进行检测，由于两个尺度的特征具有中等的感受野，可以对电力施工作业场景下的中等尺度的待识别对象进行检测。同时，将32倍降采样处的特征与上采样后同尺度的特征进行融合，由于此时的特征具有更大的感受野，可以实现对电力施工作业场景中的较大目标的检测。因此，基于DarkNet-53的多分支网络可以实现对于电力施工作业场景中的大、中、小多种尺度的目标的检测。

与其他目标检测网络类似，本申请所提供的多分支深度网络还需要在多分支深度网络训练之前对训练集的标注框进行聚类，以获取先验对象框。训练的标注框的精度直接决定目标检测模型的检测精度和多分支深度网络的运行速度。本申请采用k-means算法进行聚类。由于设计的网络具有4个输出分支，每个输出分支需要3个候选框，因此聚类中心k的值为12。

可选的，在目标检测领域有许多评价标准对其进行评测，不一样的评价标准所体现的含义也有所不同。其中，在本申请中，TP(True Positive)表示被正确分类为安全护具与有限空间安全设施的测试样本；TN(True Negative)表示在测试样本中，经过分类后能够正确被分类的负样本；FP(False Positive)代表在分类过程中，错误的被分类为安全护具与有限空间安全设施的样本；FN(False Negative)代表被错误分类为背景的测试样本。

可选的，精确度(Precision)指标，也可称为查准率，其代表了目标检测模型对正样本的预测能力。其中，精确度的公式可表示如下：

可选的，召回率(Recall)指标，也可称为查全率，其代表了在检测过程中被正确判定的正样本的数目占总的正样本数目的比重大小。其中，召回率的公式可表示如下：

可选的，虚警率与精确度互补，其代表了在检测过程中被判定为正样本的目标总数中非正样本所占的比率，其中，虚警率的公式可表示如下：

可选的，漏警率与召回率互补，其代表了在检测过程中没有被检测出来的正样本的目标占比，其中，漏警率的公式可表示如下：

在两类目标的分类任务中，首先设定阈值，当预测概率值大于等于阈值的候选区域将被判断为正样本，同理，当预测值的概率小于判定阈值时的候选区域会被预测为负样本。当目标检测模型设置的阈值不一样时，目标检测模型检测得到的精确度和召回率也不相同。

可选的，目标检测模型的平均精度指标可以用来评价分类器的性能。该指标可以以精度-召回曲线(Precision-Recall curve)的形式进行表示，即PR曲线围起来的面积。PR曲线是以召回率为横坐标，精确度为纵坐标，利用坐标系中绘制的精确度以及召回率值的点，得到的平滑曲线。平均精度为PR曲线与坐标轴围起来的面积，通常平均精度值越高表示训练所得到的分类器的性能越好。其中，平均精度的计算公式可由下式表示：

在上述所有的评价标准之上，能否正确预测框内的目标的类别是直接用来判断一个目标检测算法的重要标准，即平均精度均值(mean Average Precision，mAP)。mAP值是计算目标检测任务中所有参与训练的目标类别的平均精度，表示对检测到的物体平均精度的总体指标。通常通过设置判定交并比的阈值，并根据交并比的阈值来对目标检测算法进行评价，即如果目标检测算法检测出的目标框与真值框的相交程度大于交并比设定的判别阈值，则判定此检测为有效检测，在此之后对获取的不同类别目标的平均精度值求平均，得到的数值作为最终的评价指标。

需要说明的是，在实际的实验中应用了图像扩充的手段对采集到的样本多样化进行补充，例如，缩放、平移、翻转、颜色抖动等。采用数据增强的手段，不仅可以增加数据的数量，还能够使数据具有多样化的特性，避免过拟合的现象，使模型的性能得到一定的提升。

在基于Darknet-53的多分支网络训练前，将训练数据集进行比例划分。划分的比例是3:1:1，训练总共的迭代次数为600轮(epochs)，整个训练过程可分为两个阶段。第一阶段的训练是前100轮，将其初始学习率设置为0.001；在其后进行第二轮训练，同时调整学习率，将学习率下降为0.0001。可选的，网络超参数包括但不限于学习率、迭代轮数、动量、批量、学习率衰减因子、抑制预测框阈值等。

进一步的，将所有数据送入多分支深度网络中进行训练，得到训练过程中训练集与验证集的误差曲线。由训练集与验证集的误差曲线可以获知，在初始训练时，损失函数曲线下降的幅度较大。当第一阶段训练完成后，训练集和验证集下降的情况基本类似。在第一阶段训练结束时，学习率下降后继续训练，训练在迭代到300轮之后，训练集与验证集的误差曲线基本保持平稳，网络的训练基本已经达到收敛状态。

针对相同的训练策略，在608×608分辨率的输入图像上，检测的精度相对于低分辨率的输入图像具有一定的优势，检测的速度相对与高分辨率也具有一定优势，因此最终网络选取608×608作为图像的输入尺寸。

在一种可选的实施例中，首先对基于DarkNet-53的多分支深度网络进行训练，在网络达到收敛后，得到训练模型，对得到的训练模型进行测试，通过统计标准对所有的检测结果进行AP以及mAP值计算，如表2所示。

表2

模型	数值
		YOLOv3	82.23
多分支网络架构	90.14

由表2可知，实验分别对比了YOLOv3算法、基于DarkNet-53的多分支深度算法以及在非极大值抑制融合了GIoU的多分支算法，通过实验证明，增加了非极大值抑制融合了GIoU可以电力施工作业数据集上具有最优的检测效果，平均精度值最高，两类目标分别在3个模型上进行AP值的统计，均在多分支与GIoU损失上具有较高的AP值，最终对两类目标的AP值求取对应的mAP值，多分支算法与非极大值抑制融合GIoU的方案mAP值达到89.43％，验证了在电力施工作业场景的目标检测上，本申请的实验方案具有一定的先进性。

同时，最终实验结果统计了检测结果的检测精确度、召回率、漏警率以及虚警率，统计结果如表3所示。

表3

算法	精确度(％)	召回率(％)	漏警率(％)	虚警率(％)
					YOLOv3算法	91.17	96.45	8.83	3.55
多分支网络架构	97.58	98.43	2.42	1.67

在相同的训练条件以及超参数设置之下，某一类别的样本数据量大，质量高，在学习的过程中网络将获取更多的特征信息，因此模型最终的检测效果也会越好。在测试数据集上，利用模型对安全护具与有限空间安全设施目标进行测试，对三种网络架构的测试结果，由表3可知，通过实验可知，多分支网络架构的检测性能相对于YOLOv3算法的检测效果有较高的检测率，两种算法在非极大值抑制中采用了IoU的方式进行目标检测。通过进一步改进多分支网络架构中的非极大值抑制部分，将IoU替换成GIoU，检测结果显示，替换后的网络架构在安全护具与有限空间安全设施检测率上有所提升，有效的降低了电力施工作业现场目标检测的漏检概率。由表3可知，本申请所采用的网络架构对安全护具与有限空间安全设施进行检测的精确度可以达到96.56％，召回率为99.36％，漏警率为3.44％，虚警率为0.64％。由统计结果可知，安全护具与有限空间安全设施的检测精确度均在95％以上，同时，已经达到了工业上对电力施工作业现场目标检测的标准。

另外，光线的影响也是电力施工作业场景目标检测的一大难点，光线的不同会明显影响检测的效果。本申请所提供的多分支网络算法能克服不好的光照条件对电力施工作业场景目标检测的干扰，能检测出场景中的安全帽与安全马甲，使电力施工作业安全监控系统在不同施工环境以及不同的施工时间段都能有效的进行检测。

针对电力施工作业现场目标检测的难点中的小目标问题，本申请进行了场景中大中小目标的检测。其中，在小目标在卷积神经网络中随着网络深度的增加，图像的特征尺寸也会不断减小，不利于模型的训练与检测。而基于DarkNet-53的多分支深度网络模型能够对电力施工作业场景下的不同尺度目标，即大、中、小目标均有良好的检测效果。

当然，在测试过程中也会出现误检和漏警现象。误检现象是分类器将图像中的背景区域错误的判断为目标的情形，此时整个检测系统会出现错误报警的现象。漏警是目标检测系统在检测的过程中，没有将图像中存在的安全帽以及安全马甲检测出来的现象，没有将两类安全护具检测出来，系统将会错误的传递信息，给监控任务带来干扰。

对检测结果中存在误检的现象，本申请可在电力施工作业现场继续采集数据，使得训练数据集中的两类目标数据更加的丰富，然后对基于DarkNet-53的多分支网络进行训练，提高检测模型的学习能力。对于检测结果中存在漏检的现象，在电力施工作业场景的监控中，可以进一步修改摄像机的拍摄角度，目的是能够让采集的图像中的目标更加清晰明显，在检测时也会有更好的检测效果。

在一种可选的实施例中，图像监控系统可采用第一子线程接收施工图像，并采用第二子线程对施工图像进行识别处理，其中，第一子线程和第二子线程为不同的子线程，第一子线程和第二子线程并行操作。

需要说明的是，在实际软件开发的过程中，由于存在模型处理图像速度与系统接收图像速度不匹配的问题，基于此，本申请采用了多线程并行操作的方式，即开两个子线程分别用来处理图像与接收流媒体数据，避免了程序中任务过多导致主线程阻塞的问题。在实际测试中，该方法成功的将深度学习模型迁移到电力施工作业领域，实现了深度学习技术从实验室到工程实际的转化，为人工智能技术落地部署提供了一定的指导意义。

由上述内容可知，本申请所提供的方案基于图像识别的违规检测技术在深度学习的卷积神经网络基础上设计了一种新的多尺度4分支深度学习网络模型，通过增加采样分支提升对小目标的检测效果，通过增加残差单元保证中大目标的特征提取效果，从而总体提高电力施工大场景下不同尺度目标的检测效率。

实施例2

根据本发明实施例，还提供了一种识别对象的装置实施例，其中，图10是根据本发明实施例的识别对象的装置示意图，如图10所示，该装置包括：采集模块1001、识别模块1003以及确定模块1005。

其中，采集模块1001，用于采集施工图像，其中，施工图像中至少包括待识别对象，待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在电力施工现场的施工对象佩戴的安全护具；识别模块1003，用于基于目标检测模型对施工图像进行识别，得到识别结果，其中，目标检测模型为使用多组数据通过多分支深度网络训练出来的，多组数据中的每组数据包括：施工图像和施工图像中标识出的待识别对象；确定模块1005，用于根据识别结果确定施工对象是否存在违规行为。

需要说明的是，上述采集模块1001、识别模块1003以及确定模块1005对应于上述实施例中的步骤S102至步骤S106，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。

可选的，识别对象的装置还包括：第一获取模块、预处理模块以及训练模块。其中，第一获取模块，用于在基于目标检测模型对施工图像进行识别，得到识别结果之前，获取设施数据集，其中，设施数据集包括多个类型的安全设施所对应的数据集；预处理模块，用于对设施数据集进行图像预处理，得到处理后的设施数据集；训练模块，用于根据处理后的设施数据集对多分支深度网络进行训练，得到目标检测模型。

可选的，识别对象的装置还包括：第二获取模块、标定模块以及第一处理模块。其中，第二获取模块，用于在获取设施数据集之前，获取图像采集设备所采集到的电力施工现场的多张图像；标定模块，用于对多张图像进行样本标定，从多张图像中筛选出有效样本；第一处理模块，用于根据有效样本，得到设施数据集。

可选的，识别模块包括：第二处理模块、提取模块、采样模块以及融合模块。其中，第二处理模块，用于在目标检测模型中，将施工图像的第一图像分辨率调整为第二图像分辨率，得到第一施工图像；提取模块，用于将第一施工图像输入至残差模块，以提取第一施工图像的第一特征；采样模块，用于对第一施工图像进行上采样，得到第一施工图像的第二特征；融合模块，用于对第一特征和第二特征进行特征融合，得到识别结果。

可选的，第二处理模块包括：填充模块以及缩放模块。其中，填充模块，用于在第一图像分辨率大于第二图像分辨率的情况下，对施工图像进行填充操作，得到第二施工图像，其中，第二施工图像的图像分辨率高于第一图像分辨率；缩放模块，用于对第二施工图像进行缩放操作，得到第一施工图像。

可选的，目标检测模型至少包括两个残差模块，多分支深度网络具有4个输出分支。

可选的，识别对象的装置还包括：接收模块以及第三处理模块。其中，接收模块，用于采用第一子线程接收施工图像；第三处理模块，用于采用第二子线程对施工图像进行识别处理，其中，第一子线程和第二子线程为不同的子线程，第一子线程和第二子线程并行操作。

实施例3

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述实施例1中的识别对象的方法。

实施例4

根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序被设置为运行时执行上述实施例1中的识别对象的方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种识别对象的方法，其特征在于，包括：

采集施工图像，其中，所述施工图像中至少包括待识别对象，所述待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在所述电力施工现场的施工对象佩戴的安全护具；

基于目标检测模型对所述施工图像进行识别，得到识别结果，其中，所述目标检测模型为使用多组数据通过多分支深度网络训练出来的，所述多组数据中的每组数据包括：所述施工图像和所述施工图像中标识出的待识别对象；

根据所述识别结果确定所述施工对象是否存在违规行为。

2.根据权利要求1所述的方法，其特征在于，在基于目标检测模型对所述施工图像进行识别，得到识别结果之前，所述方法还包括：

获取设施数据集，其中，所述设施数据集包括多个类型的安全设施所对应的数据集；

对所述设施数据集进行图像预处理，得到处理后的设施数据集；

根据所述处理后的设施数据集对所述多分支深度网络进行训练，得到所述目标检测模型。

3.根据权利要求2所述的方法，其特征在于，在获取设施数据集之前，所述方法还包括：

获取图像采集设备所采集到的所述电力施工现场的多张图像；

对所述多张图像进行样本标定，从所述多张图像中筛选出有效样本；

根据所述有效样本，得到所述设施数据集。

4.根据权利要求1所述的方法，其特征在于，基于目标检测模型对所述施工图像进行识别，得到识别结果，包括：

在所述目标检测模型中，将所述施工图像的第一图像分辨率调整为第二图像分辨率，得到第一施工图像；

将所述第一施工图像输入至残差模块，以提取所述第一施工图像的第一特征；

对所述第一施工图像进行上采样，得到所述第一施工图像的第二特征；

对所述第一特征和所述第二特征进行特征融合，得到所述识别结果。

5.根据权利要求4所述的方法，其特征在于，在所述第一图像分辨率大于所述第二图像分辨率的情况下，将所述施工图像的第一图像分辨率调整为第二图像分辨率，得到第一施工图像，包括：

对所述施工图像进行填充操作，得到第二施工图像，其中，所述第二施工图像的图像分辨率高于所述第一图像分辨率；

对所述第二施工图像进行缩放操作，得到所述第一施工图像。

6.根据权利要求4所述的方法，其特征在于，所述目标检测模型至少包括两个所述残差模块，所述多分支深度网络具有4个输出分支。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用第一子线程接收所述施工图像；

采用第二子线程对所述施工图像进行识别处理，其中，所述第一子线程和所述第二子线程为不同的子线程，所述第一子线程和所述第二子线程并行操作。

8.一种识别对象的装置，其特征在于，包括：

采集模块，用于采集施工图像，其中，所述施工图像中至少包括待识别对象，所述待识别对象至少包括如下之一：位于电力施工现场的安全设施以及在所述电力施工现场的施工对象佩戴的安全护具；

识别模块，用于基于目标检测模型对所述施工图像进行识别，得到识别结果，其中，所述目标检测模型为使用多组数据通过多分支深度网络训练出来的，所述多组数据中的每组数据包括：所述施工图像和所述施工图像中标识出的待识别对象；

确定模块，用于根据所述识别结果确定所述施工对象是否存在违规行为。

9.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的识别对象的方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至7任一项中所述的识别对象的方法。