CN110910360B - 电网图像的定位方法和图像定位模型的训练方法 - Google Patents

Abstract

本申请涉及一种电网图像的定位方法和图像定位模型的训练方法，通过预定机器学习模型中的第一级定位网络获得电网图像中一级定位物体的坐标信息和对应的遮罩图像，再根据坐标信息获得一级定位物体的裁剪图像，进而通过第二级定位网络根据遮罩图像和裁剪图像共同确定裁剪图像中的二级定位物体对应的坐标信息，最后根据坐标信息在电网图像中定位物体，通过图像定位模型中的第一级定位网络先定位电网图像中的一级定位物体，再通过第二级定位网络定位裁剪图像中与该一级定位物体存在依赖联系的二级定位物体，可以做到在物体尺寸较小的情况下从一级定位物体到二级定位物体的定位，非常适用于输电线路上物体尺度差距较大的场景下的物体检测与识别。

Description

电网图像的定位方法和图像定位模型的训练方法

技术领域

本申请涉及计算机技术领域，特别是涉及一种电网图像的定位方法、图像定位模型的训练方法、装置、计算机可读存储介质和计算机设备。

背景技术

输电线路大多是铺设在交通不太便利的地方，维护人员工作条件比较艰苦，而输电线路上的输电设备的元件随着时间、气候等一系列因素的影响通常会出现损坏。如今，在每一次的输电巡检与变电巡检时，可以通过采集输电线路的电网图像，比如航拍电网图像或是无人机采集电网图像，然后对电网图像进行排查，从而确定输电线路的电网安全。

传统方式中，通常是通过人工排查的方式，观察电网图像并确定输电线路是否存在缺陷或者是输电线路上的物体是否存在缺陷。然而，由于采集的电网图像数量特别多，而且由于图像中不同的物体之间的尺寸存在巨大差异，工作人员需要不断的放大缩小图像定位其中的物体，不仅花费的时间长、检查效率低下，而且，也很容易漏检。

发明内容

基于此，有必要针对传统方式中以人工方式排查电网图像存在效率低下、准确率不高的技术问题，提供一种电网图像的定位方法、装置、计算机可读存储介质和计算机设备，及一种图像定位模型的训练方法、装置、计算机可读存储介质和计算机设备。

一种电网图像的定位方法，包括：

获取电网图像；

通过预定图像定位模型中的第一级定位网络，获得所述电网图像中的一级定位物体所对应的坐标信息及所述一级定位物体对应的遮罩图像；

根据所述坐标信息，获得所述一级定位物体对应的裁剪图像；

将所述遮罩图像和所述裁剪图像输入至所述预定图像定位模型中的第二级定位网络，并通过所述第二级定位网络获得所述裁剪图像中的二级定位物体所对应的坐标信息；

根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级定位物体，并根据所述二级定位物体所对应的坐标信息在所述裁剪图像中定位所述二级定位物体。

一种电网图像的定位装置，所述装置包括：

电网图像获取模块，用于获取电网图像；

第一定位模块，用于通过预定图像定位模型中的第一级定位网络，获得所述电网图像中的一级定位物体所对应的坐标信息及所述一级定位物体对应的遮罩图像；

裁剪图像获取模块，用于根据所述坐标信息，获得所述一级定位物体对应的裁剪图像；

第二定位模块，用于将所述遮罩图像和所述裁剪图像输入至所述预定图像定位模型中的第二级定位网络，并通过所述第二级定位网络获得所述裁剪图像中的二级定位物体所对应的坐标信息；

定位物体标注模块，用于根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级定位物体，并根据所述二级定位物体所对应的坐标信息在所述裁剪图像中定位所述二级定位物体。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述电网图像的定位方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述电网图像的定位方法的步骤。

上述电网图像的定位方法、装置、计算机可读存储介质和计算机设备，获得电网图像后，通过预定机器学习模型中的第一级定位网络获得电网图像中一级定位物体的坐标信息和对应的遮罩图像，再根据坐标信息获得一级定位物体的裁剪图像，进而通过第二级定位网络根据遮罩图像和裁剪图像共同确定裁剪图像中的二级定位物体对应的坐标信息，最后根据坐标信息在电网图像中定位物体。一方面，通过图像定位模型自动地对电网图像中的物体进行定位，相较于人工定位的方式更准确、漏检几率更低，而且输入电网图像后，图像定位模型可以直接根据电网图像中一级定位物体的坐标信息与二级定位物体的坐标信息定位出物体，大大缩短了人工阅读图片的时间，提高了效率；另一方面，通过图像定位模型中的第一级定位网络先定位电网图像中的一级定位物体，再通过第二级定位网络定位裁剪图像中与该一级定位物体存在依赖联系的二级定位物体，可以做到在物体尺寸较小的情况下从一级定位物体到二级定位物体的定位，非常适用于输电线路上物体尺度差距较大的场景下的物体检测与识别，进一步提高了定位准确性。

一种图像定位模型的训练方法，包括：

获取电网图像样本，所述电网图像样本对应的标注信息包括所述电网图像样本中一级定位物体的坐标信息及遮罩图像，还包括所述电网图像样本中二级定位图物体的坐标信息；

根据所述电网图像样本、所述一级定位物体的坐标信息及遮罩图像进行模型训练，获得所述图像定位模型中的第一级定位网络；

根据所述电网图像样本中一级定位物体的坐标信息，获得所述一级定位物体对应的裁剪图像，并将所述裁剪图像与所述遮罩图像级联后获得级联图像；

根据所述级联图像及所述二级定位图物体的坐标信息进行模型训练，获得所述图像定位模型中的第二级定位网络；

将所述第一级定位网络与所述第二级定位网络级联，获得图像定位模型。

一种图像定位模型的训练装置，所述装置包括：

图像样本获取模块，用于获取电网图像样本，所述电网图像样本对应的标注信息包括所述电网图像样本中一级定位物体的坐标信息及遮罩图像，还包括所述电网图像样本中二级定位图物体的坐标信息；

第一级定位网络训练模块，用于根据所述电网图像样本、所述一级定位物体的坐标信息及遮罩图像进行模型训练，获得所述图像定位模型中的第一级定位网络；

级联图像获取模块，用于根据所述电网图像样本中一级定位物体的坐标信息，获得所述一级定位物体对应的裁剪图像，并将所述裁剪图像与所述遮罩图像级联后获得级联图像；

第二级定位网络训练模块，用于根据所述级联图像及所述二级定位图物体的坐标信息进行模型训练，获得所述图像定位模型中的第二级定位网络；

网络级联模块，用于将所述第一级定位网络与所述第二级定位网络级联，获得图像定位模型。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述图像定位模型的训练方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像定位模型的训练方法的步骤。

上述图像定位模型的训练方法、装置、计算机可读存储介质和计算机设备，设置的图像定位模型包括第一级定位网络以及与之级联的第二级定位网络，在获得电网图像样本后，根据电网图像样本中一级定位物体的坐标信息及遮罩图像对第一级定位网络进行训练，训练完成后获得一级定位物体的遮罩图像，将一级定位物体的裁剪图像与遮罩图像级联后获得级联图像，再根据电网图像中二级定位物体的坐标信息及级联图像对第二级定位网络进行训练，最终将训练完成的第一级定位网络与第二级定位网络级联，得到图像定位模型。训练得到的图像定位模型包括两个级联的定位网络，可以充分挖掘物体之间依赖关系并实现从一级定位物体到二级定位物体的定位，非常适用于物体尺寸变化大和物体之间位置依赖关系强的电网图像定位场景。

附图说明

图1为一个实施例中电网图像的定位方法的应用环境图；

图2为一个实施例中电网图像的定位方法的流程示意图；

图3为一个实施例中电网图像中器件的示意图；

图4为另一个实施例中电网图像中器件的示意图；

图5为一个实施例中图像定位模型的网络结构示意图；

图6为一个实施例中电网图像的定位结果的示意图；

图7为一个实施例中过第一级定位网络对电网图像进行目标检测，获得电网图像中的一级定位物体、一级定位物体的类别及一级定位物体所对应的坐标信息的步骤的流程示意图；

图8为一个实施例中电网图像的第一级定位结果的示意图；

图9为一个实施例中裁剪图像的第二级定位结果的示意图；

图10为一个具体的实施例中电网图像的定位方法的流程示意图；

图11为一个实施例中图像定位模型的训练方法的流程示意图；

图12为一个实施例中电网图像的定位装置的结构框图；

图13为一个实施例中图像定位模型的训练装置的结构框图；

图14为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中电网图像的定位方法的应用环境图。参照图1，该电网图像的定位方法应用于电网图像的定位系统。该电网图像的定位系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，服务器120可以获取电网图像；通过预定图像定位模型中的第一级定位网络，获得电网图像中的一级定位物体所对应的坐标信息及一级定位物体对应的遮罩图像；根据坐标信息，获得一级定位物体对应的裁剪图像；将遮罩图像和裁剪图像输入至预定图像定位模型中的第二级定位网络，并通过第二级定位网络获得裁剪图像中的二级定位物体所对应的坐标信息；根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，并根据二级定位物体所对应的坐标信息在裁剪图像中定位二级定位物体，然后将定位后的电网图像发送至终端110，由终端110来展示定位后的电网图像。在另一些实施例中，服务器120也可以将获得的一级定位物体所对应的坐标信息、二级定位物体所对应的坐标信息发送至终端110，终端110可以根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，并根据二级定位物体所对应的坐标信息在裁剪图像中定位二级定位物体，并显示定位后的电网图像。

可以理解，在其他实施例中，终端110上运行了预定图像定位模型，因此也可以直接由终端110获取电网图像；通过预定图像定位模型中的第一级定位网络，获得电网图像中的一级定位物体所对应的坐标信息及一级定位物体对应的遮罩图像；根据坐标信息，获得一级定位物体对应的裁剪图像；将遮罩图像和裁剪图像输入至预定图像定位模型中的第二级定位网络，并通过第二级定位网络获得裁剪图像中的二级定位物体所对应的坐标信息；根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，并根据二级定位物体所对应的坐标信息在裁剪图像中定位二级定位物体。

如图2所示，在一个实施例中，提供了一种电网图像的定位方法。本实施例以该方法应用于计算机设备(如上述图1中的终端110或服务器120)为例来进行说明。参照图2，该电网图像的定位方法具体包括如下步骤S202至S210：

S202，获取电网图像。

其中，电网图像是对输电线路上的输电设备进行图像采集得到的图像，采集的电网图像可用于对输电线路的电网安全进行排查。电网图像是本申请提供的实施例中待进行图像定位的图像，图像定位是确定图像中的物体所属的类别及定位图像中物体的位置的过程。

具体地，计算机设备可以获取其它计算机设备传递的电网图像，例如航拍设备实时传递的电网图像，计算机设备也可以获取拷贝到本机上的电网图像。在一些实施例中，在对电网图像进行定位之前，计算机设备还可以对获取的大量的电网图像进行预处理，剔除不包括预设类别的待检测物体的电网图像或者所包括的物体尺寸过小的电网图像。

在一些实施例中，电网图像可以是通过航拍设备(如无人机)对输电设备进行图像采集得到的图像，电网图像还可以是对输电设备进行视频采集得到的视频数据中的视频帧。通过对输电设备进行图像采集得到电网图像，并对电网图像进行图像定位，以检测输电线路的元件是否存在缺陷。如图3所示，其中要定位的元件包括但不限于玻璃绝缘子串、三角铁、销栓、鸟巢、驱鸟器、金具、均压环及防震锤等；根据定位到的元件所确定的缺陷包括但不限于绝缘子自爆、绝缘子伞裙破损、销栓松动、有鸟巢、驱鸟器损坏、金具锈蚀、均压环歪斜脱落、均压环安装错误、均压环破损及防震锤破损等。

S204，通过预定图像定位模型中的第一级定位网络，获得电网图像中的一级定位物体所对应的坐标信息及一级定位物体对应的遮罩图像。

其中，预定图像定位模型是预先训练得到的具备图像定位能力的机器学习模型，预定图像定位模型通过电网图像样本进行学习，从而具备图像定位能力。预定图像定位模型可以采用深度神经网络模型进行学习得到。

在一个实施例中，计算机设备可以预先设置图像定位模型的模型结构，构建初始定位模型，再通过大量的电网图像样本，对初始定位模型进行模型训练，得到训练好的模型参数。这样，在需要对电网图像进行图像定位时，计算机设备可以获取训练好的模型参数，再将该模型参数导入至初始定位模型，得到预定图像定位模型。

在本申请所提供的实施例中，预定图像定位包括第一级定位网络和第二级定位网络。第一级定位网络可以用于定位输入的电网图像中的一级定位物体，第二级定位网络可以用于定位电网图像中的二级定位物体。定位物体是电网图像中属于预设类别的对象，如上文中提到的输电设备上的器件或缺陷。一级定位物体是相对于二级定位物体而言尺寸较大的物体，一级定位物体与二级定位物体存在一定的依赖关系。由此可见，在预定图像定位模型内部，可以由两个彼此独立的定位网络分别获得电网图像中的一级定位物体和二级定位物体。

在本实施例中，一级定位物体可以是一级元件或一级缺陷，一级元件是电力图像中较容易被定位到的、尺寸相对较大的元件，一级缺陷是电力图像中较容易被定位到的、尺寸相对较大的缺陷。当一级定位物体为一级元件时，二级定位物体可以是与一级定位物体存在器件依赖关系的物体，比如，一级定位物体是三角铁，二级定位物体是三角铁上的销栓，此种情况下在定位到销栓后需要人工排查销栓是否松动；当一级定位物体为一级元件时，二级定位物体还可以是与一级定位物体存在位置依赖关系的对象，比如，一级定位物体是绝缘子，二级定位物体是绝缘子上的破损位置或自爆位置，此种情况可以直接识别缺陷。当一级定位物体为一级缺陷时，则不需要通过第二级定位网络继续进行检测，比如，一级缺陷为鸟巢，对于输电线路而言鸟巢存在安全隐患，则可以直接由检测人员判定存在鸟巢导致的安全缺陷。

需要说明的是，在一张电网图像中，可能存在多种不同尺寸不同类别的器件以及相应的缺陷，计算机设备可以通过预定图像定位模型一一定位其中的器件及相应的缺陷。除此之外，对于一些一级定位物体，图像中并不存在相应的二级定位物体，也难以识别是否存在缺陷，此种情况下，在定位到一级定位物体后，可以通过人工排查的方式来检查是否存在缺陷，比如，从电网图像中定位到驱鸟器后，需要人工排查驱鸟器是否损坏，又比如，从电网图像中定位到金具后，需要人工排查金具是否锈蚀。

其中，物体对应的坐标信息能够表示物体在图像中的位置，坐标信息具体可以是物体的中心像素点的坐标以及物体的宽和高，如(x,y,w,h)，该坐标信息可以用于确定电网图像中与物体对应的矩形包围框。物体对应的遮罩图像实质上反映了物体对应的包围框中构成该物体的像素点的位置，遮罩图像可以用包围框内各像素点的类别(属于物体或背景)来表示，具体可以用一个矩阵来表示，例如，矩阵上每个元素的值可以用1或0表示，1代表对应位置的像素点属于物体，0代表对应位置的像素点属于背景。

在一些实施例中，计算机设备在对任一电网图像进行处理时，均可以将该电网图像输入至第一级定位网络，通过第一级定位网络对电网图像进行处理后，第一级定位网络输出电网图像中的一级定位物体的类别概率、该一级定位物体对应的坐标信息以及对应的遮罩图像。其中，类别概率是指将一级定位物体划归为哪一目标类别物体的概率，比如该一级定位物体为绝缘子的概率为0.99，属于其他类别物体的概率为0.01。

在一些实施例中，计算机设备在获得第一级定位网络输出的类别概率后，在执行步骤S206之前，还可以根据预置的一级定位物体与二级定位物体之间的依赖关系，判断是否存在与定位到的目标类别的一级定位物体对应的二级定位物体，若是，则继续执行步骤S206，若否，则计算机设备可以直接根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，而后，可以采用人工方式对定位到的一级定位物体进行缺陷排查。例如前文提及的，从电网图像中定位到驱鸟器后，而并不存在与驱鸟器对应的二级定位物体，因此可以直接由人工排查电网图像中该驱鸟器是否有损坏，又比如，从电网图像中定位到金具后，也不存在与金具对应的二级定位物体，因此可以直接由人工排查电网图像中该金具是否有锈蚀。需要说明的是，电网图像中可能存在多个不同类别的一级定位物体，只要定位到了需要继续处理的一级定位物体，则计算机设备需要继续执行步骤S206。

在一些实施例中，第一级定位网络可以采用Mask R-CNN框架实现，其中R-CNN的全称是Region-CNN(Region-based Convolutional Neural Network，区域卷积神经网络)，Mask是指对图像中的像素点进行像素分类得到的物体的遮罩信息。这样第一级定位网络不仅可以获得一级定位物体的坐标信息，还可以获得物体对应的矩形包围框内各像素点的类别，得到物体对应的遮罩图像，通过遮罩图像可以有效地提高从一级定位物体对应的裁剪图像中提取图像特征的准确率。

S206，根据坐标信息，获得一级定位物体对应的裁剪图像。

具体地，计算机设备在获得电网图像中一级定位物体的坐标信息后，可根据坐标信息，即一级定位物体的包围框坐标，从电网图像中划分出一级定位物体对应的裁剪图像。裁剪图像属于RGB图像，也就是三通道图像，若包围框的坐标信息为(x,y,w,h)，那么裁剪图像是一个通道数为3的w*h*3数组，每个通道分别代表相应位置上像素点的Red、Green、Blue分量值。

在一个实施例中，根据坐标信息，获得一级定位物体对应的裁剪图像，包括：根据坐标信息，确定与一级定位物体对应的包围框；按照包围框从电网图像分割一级定位物体对应的裁剪图像。

具体地，第一级定位网络输出电网图像中一级定位物体对应的坐标信息后，计算机设备可以根据该坐标信息从电网图像中确定包围了一级定位物体的包围框，并按照该包围框从电网图像中裁剪出包括该一级定位物体的图像，作为对应的裁剪图像。若第一级定位网络输出了多个一级定位物体对应的坐标信息，则计算机设备均可以从电网图像中分割出相应的裁剪图像。该包围框可以是包围了一级定位物体的最小矩形包围框。

S208，将遮罩图像和裁剪图像输入至预定图像定位模型中的第二级定位网络，并通过第二级定位网络获得裁剪图像中的二级定位物体所对应的坐标信息。

具体地，计算机设备继续将获得的遮罩图像和裁剪图像输入至第二级定位网络，通过第二级定位网络基于遮罩图像和裁剪图像提取图像特征，以获得裁剪图像中的二级定位物体所对应的坐标信息。同样地，二级定位物体对应的坐标信息具体可以是该物体在裁剪图像中的中心像素点的坐标以及该物体的宽和高，如(x,y,w,h)，该坐标信息可以用于确定裁剪图像中与该物体对应的矩形包围框。

在本实施例中，在从裁剪图像中定位二级定位物体时，不仅要获取裁剪图像的图像特征，还基于遮罩图像来进行特征提取，遮罩图像反映了裁剪图像中每个像素点的类别，这样能够综合更丰富的特征共同去定位裁剪图像中二级定位物体。

在实际应用中，由于图像采集器与输电设备的距离可远可近，导致输电设备上的同一器件在实际采集的不同电网图像中成像大小存在差异，比如，如图4所示，绝缘子串在左右两张电网图像中的成像大小差异巨大。而且，同一电网图像中不同类别器件的面积也存在较大差异，比如，当需要检测三角铁上的销栓是否脱离时，同一电网图像中销栓的面积与其他器件(如绝缘子)的面积差异巨大，在此情况下，直接检测器件是否完整或有缺陷十分困难，通过一个定位网络几乎无法同时定位出电网图像中的绝缘子与销栓。而本申请实施例中的图像定位模型采用了两级定位网络进行串联，第一级定位网络可从电网图像中定位尺寸较大的一级定位物体，比如绝缘子、三角铁等，第二级定位网络可从一级定位物体对应的裁剪图像中定位尺寸较小的、与一级定位物体存在器件依赖关系的二级定位物体或缺陷，比如绝缘子上缺失的绝缘环的位置、三角铁上的销栓等，也就是，图像定位模型可以在充分利用器件依赖关系的基础上，做到在物体尺寸微小的情况下从粗到细的定位。

在一些实施例中，计算机设备在通过第二级定位网络对裁剪图像进行处理后，通过第二级定位网络输出裁剪图像中的二级定位物体所对应的物体概率、该二级定位物体对应的坐标信息。其中，物体概率是指裁剪图像中定位到的区域属于二级定位物体或背景的二分类概率，即objectness score，比如，第二级定位网络输出的坐标信息所定位出的区域整体对应二级定位物体的概率为0.98，属于背景的概率为0.02。

在一些实施例中，第二级定位网络可以采用Fast R-CNN框架实现，其中R-CNN的全称是Region-CNN(Region-based Convolutional Neural Network，区域卷积神经网络)，R-CNN是一种将深度学习应用到目标检测上的算法，Fast R-CNN是在R-CNN的基础上进行改进后效率更高的网络结构。第二级定位网络不仅可以获得二级定位物体的坐标信息，还可以获得根据该坐标信息所确定的矩形包围框内区域对应二级定位物体的概率。

如图5所示，为一个实施例中图像定位模型的网络结构示意图。参照图3，将电网图像输入至第一级定位网络，第一级定位网络采用Mask R-CNN的网络框架，通过第一级定位网络获得电网图像中一级定位物体对应的坐标信息、类别概率及遮罩图像，根据坐标信息获得一级定位物体对应的裁剪图像并与遮罩图像级联后作为第二级定位网络的输入，第二级定位网络采用Fast R-CNN的网络框架，通过第二级定位网络获得裁剪图像中二级定位物体对应的坐标信息、以及该坐标信息所确定的区域对应二级定位物体的概率。

S210，根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，并根据二级定位物体所对应的坐标信息在裁剪图像中定位二级定位物体。

具体地，计算机设备依次获得电网图像中一级定位物体的坐标信息及一级定位物体对应的裁剪图像中二级定位物体的坐标信息后，可以在电网图像中定位出一级定位物体以及在裁剪图像中定位出二级定位物体。计算机设备可以在电网图像中标注出一级定位物体对应的矩形包围框，还可以在电网图像中标注一级定位物体对应的类别、类别概率，还可以在一级定位物体对应的裁剪图像中标注出二级定位物体对应的矩形包围框及二级定位物体的二分类概率。

在一个实施例中，如图6所示，计算机设备还可以在电网图像中标注出绝缘子对应的矩形包围框，若绝缘子上存在缺失的绝缘子环，则计算机设备还可以获得绝缘子对应的裁剪图像，在采集图像中标注缺失的绝缘子环对应的矩形包围框。该电网图像中还包括三角铁，计算机设备在电网图像中标注出三角铁对应的矩形包围框，并获得三角铁对应的裁剪图像，在该裁剪图像中标注出销栓对应的矩形包围框，可以方便进一步采用人工排查的方式查看销栓是否存在破损、脱落的缺陷。

在一个具体的应用场景中，计算机设备上设置有预先训练好的图像定位模型，计算机设备可以实时获取采集的电网图像，并将其输入至图像定位模型中，通过图像定位模型在电网图像中标注出一级定位物体的矩形包围框，在一级定位物体的裁剪图像中标注出二级定位物体的矩形包围框，不管电网图像中不同器件之间的尺寸差异多大，均可以识别一级定位物体是否存在缺陷，还可以方便工作人员可以直接根据矩形包围框来排查一级定位物体或二级定位物体是否存在缺陷，不需要花费时间去放大或调整电网图像，能够极大提高排查效率。

上述电网图像的定位方法，获得电网图像后，通过预定机器学习模型中的第一级定位网络获得电网图像中一级定位物体的坐标信息和对应的遮罩图像，再根据坐标信息获得一级定位物体的裁剪图像，进而通过第二级定位网络根据遮罩图像和裁剪图像共同确定裁剪图像中的二级定位物体对应的坐标信息，最后根据坐标信息在电网图像中定位物体。一方面，通过图像定位模型自动地对电网图像中的物体进行定位，相较于人工定位的方式更准确、漏检几率更低，而且输入电网图像后，图像定位模型可以直接根据电网图像中一级定位物体的坐标信息与二级定位物体的坐标信息定位出物体，大大缩短了人工阅读图片的时间，提高了效率；另一方面，通过图像定位模型中的第一级定位网络先定位电网图像中的一级定位物体，再通过第二级定位网络定位裁剪图像中与该一级定位物体存在依赖联系的二级定位物体，可以做到在物体尺寸较小的情况下从一级定位物体到二级定位物体的定位，非常适用于输电线路上物体尺度差距较大的场景下的物体检测与识别，进一步提高了定位准确性。

在一个实施例中，步骤S204，即通过预定图像定位模型中的第一级定位网络，获得电网图像中的一级定位物体所对应的坐标信息及一级定位物体对应的遮罩图像，可以包括如下步骤：

将电网图像输入至预定图像定位模型中的第一级定位网络；通过第一级定位网络对电网图像进行目标检测，获得电网图像中的一级定位物体、一级定位物体的类别及一级定位物体所对应的坐标信息；通过第一级定位网络对电网图像进行像素分类，获得一级定位物体对应的遮罩图像。

其中，目标检测是采用机器学习算法从图像中定位出物体并将定位出的物体划分为多个预设类别中的一个预设类别的过程，也就是第一级定位网络包括定位分支与分类分支，定位分支可以定位出电网图像中的一级定位物体，分类分支可以获得一级定位物体的类别。除此之外，第一级定位网络还可以包括像素级别的语义分割分支，用于对电网图像进行像素级别的类别，从电网图像中区分出背景像素点与属于物体的像素点，从而获得一级定位物体对应的遮罩图像。

在一个实施例中，第一级定位网络中的定位分支、分类分支与语义分割分支共享同一个对图像进行特征提取的卷积神经网络，并基于该卷积神经网络输出的特征图进行后续的物体定位、物体分类及像素分类任务。

在本实施例中，用户可以直接将电网图像输入至第一级定位网络，继而第一级定位网络可以自行完成定位任务、分类任务与像素级别的分类任务，进而输出电网图像中一级定位物体的坐标信息、一级定位物体属于预定类别的类别概率以及对应的遮罩图像，无需人工定义输入至第一级定位网络的特征，处理流程十分简便。

在一个实施例中，如图7所示，通过第一级定位网络对电网图像进行目标检测，获得电网图像中的一级定位物体、一级定位物体的类别及一级定位物体所对应的坐标信息，包括：

S702，通过第一级定位网络中的卷积层对电网图像进行特征提取，获得电网图像对应的特征图。

其中，特征图可以用于反映图像的特性。根据图像的特性可以对图像进行图像定位，即可以对电网图像进行特征提取，并根据得到的特征图对该电网图像进行物体定位、物体分类与像素分类。卷积层用于对输入的电网图像进行图像特征提取处理。特征图可以根据卷积层的网络参数确定，也就是将电网图像与卷积层对应的网络参数进行卷积操作，从而获得该电网图像对应的特征图。在一个实施例中，卷积层可以采用ResNet的网络结构，比如ResNet50或ResNet101。

S704，通过第一级定位网络中的区域推荐层，根据特征图确定电网图像中包括一级定位物体的候选框，并将候选框映射至特征图，获得特征图上的候选区域。

具体地，在第一级定位网络内部，还包括与卷积层相连的区域推荐层(RegionProposal Network)，计算机设备将提取的特征图输入至区域推荐层，通过区域推荐层确定电网图像中包括一级定位物体的候选框(Proposals)，并将候选框映射至特征图，获得特征图上的候选区域(Regions of Interest)，也就是说，每个候选区域对应了特征图上某个区域的图像特征。

S706，通过第一级定位网络中的分类回归层，根据候选区域获得相应候选框中一级定位物体的类别，并根据候选区域对候选框的位置进行调整，获得候选框中一级定位物体所对应的坐标信息。

其中，分类回归层包括用于对物体进行分类的第一全连接层以及第一输出层，还包括对物体的坐标信息进行回归的第二全连接层以及第二输出层，全连接层用于对其输入特征和该全连接层对应的网络参数进行矩阵相乘处理，从而得到对应的目标特征，第一全连接层与第二全连接层的结构可以保持一致，但两者的网络参数不同。第一全连接层与第一输出层连接，第一输出层以第一全连接层输出的图像特征为输入，对其进行归一化处理，得到相应候选框中一级定位物体属于预设类别的类别概率，从而可以根据该类别概率确定一级定位物体的类别。第二全连接层与第二输出层连接，第二输出层以第二全连接层输出的图像特征为输入，对其进行坐标信息的回归，得到相应候选框对应的坐标信息。

具体地，在获得每个候选区域后，将候选区域输入至分类回归层的第一全连接层，通过第一全连接层对候选区域所携带的图像特征进行预测，获得候选区域所对应的候选框中一级定位物体的类别概率及类别，将候选区域输入至分类回归层的第二全连接层，通过第二全连接层对候选区域所携带的图像特征进行预测，回归出一级定位物体的坐标信息。

在一些实施例中，由于每个候选区域的大小并不一致，还可以将候选区域统一调整至相同的尺寸，并基于调整后的特征图进行预测，也就是在将候选区域输入至全连接层之前，需要调整至尺寸相同的特征图，方便与全连接层进行匹配，以获得物体的坐标信息、类别概率及遮罩图像。

在一个实施例中，通过第一级定位网络中的分类回归层，根据候选区域获得相应候选框中一级定位物体的类别，包括：通过第一级定位网络中的分类回归层，根据候选区域确定候选框对应各类一级定位物体的类别概率；根据候选框对应各类一级定位物体的类别概率中的最大值确定候选框中一级定位物体的类别；在根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体之后，方法还包括：在电网图像中标注定位的一级定位物体的类别及类别概率。

具体地，如前文所提及的，在电网图像中应用场景中，一级定位物体可以包括绝缘子串、三角铁、鸟巢、驱鸟器、均压环、金具和防振锤，等等，那么对于确定的每个候选区域，分类回归层都要确定电网图像中相应候选框对应各类一级定位物体的类别概率，例如确定对应绝缘子串的类别概率、对应三角铁的类别概率、以及对应鸟巢的类别概率，等等。

类别概率可以反映候选区域对应的候选框属于某一类别的可能性大小，例如，候选框对应绝缘子串的类别概率用于反映该候选框属于绝缘子串的可能性大小，属于某一分类类别的类别概率越大，可以表明该候选框属于该分类类别的可能性越大，反之，属于某一分类类别的类别概率越小，可以表明该候选框属于该分类类别的可能性越小。基于此，可以根据待识别图像分别属于各预定分类类别的类别概率，进一步确定该相应候选框中一级定位物体所属的分类类别，也就是可以根据对应各类一级定位物体的类别概率中的最大值确定候选框中一级定位物体的类别。

进一步地，计算机设备还在确定了电网图像中一级定位物体的类别及类别概率后，不仅可以在电网图像中根据一级定位物体的坐标信息定位该一级定位物体，还可以在电网图像中标注该一级定位物体的类别及相应的类别概率。如图8所示，为一个实施例中电网图像的第一级定位结果的示意图，不仅在电网图像中标了注绝缘子串的矩形包围框还标注了对应的类别概率，以及标注了三角铁对应的矩形包围框及对应的类别概率。

在一个实施例中，通过第一级定位网络对电网图像进行像素分类，获得一级定位物体对应的遮罩图像，包括：通过第一级定位网络中的遮罩分支层，根据候选区域对相应候选框中的像素进行分类，确定候选框中属于一级定位物体的像素；根据候选框中属于一级定位物体的像素，获得一级定位物体对应的遮罩图像。

其中，遮罩分支层包括用于对候选区域内像素进行分类的全卷积网络，全卷积网络可以对候选区域中的像素进行分类，从而实现对相应候选框中的物体进行准确的分割。将候选区域输入至遮罩分支层中的全卷积网络，通过全卷积层先对候选区域进行卷积和池化，逐步减小特征的尺寸，接着对每一个像素值进行分类，从而实现对该候选区域相应的候选框中属于一级定位物体的像素点与属于背景的像素点的准确分割。

上述实施例中，通过第一级定位网络中的区域推荐层去找到特征图中包括物体的候选区域，继而对候选区域进行物体分类与物体定位，能够提高对电网图像中一级定位物体的检测效率。

在一个实施例中，将遮罩图像和裁剪图像输入至预定图像定位模型中的第二级定位网络，包括：分别对遮罩图像与裁剪图像进行尺度缩放处理；将缩放至相同尺度的遮罩图像与裁剪图像进行级联，得到级联图像；将级联图像输入至预定图像定位模型中的第二级定位网络。

由于第一级定位网络输出的一级定位物体的遮罩图像与候选框的大小一致，而一级定位物体对应的坐标信息所确定的矩形框大小是对候选框的位置及大小进行调整后得到的，那么根据该坐标信息分割得到的裁剪图像的尺度与遮罩图像的尺度也就不一致，因此，为了能够将遮罩图像作为裁剪图像特征的一部分与裁剪图像一同输入至第二级定位网络中进一步处理，需要分别对遮罩图像与裁剪图像进行尺度缩放处理，缩放至相同的尺度，且该尺度适于作为第二级定位网络的输入的尺度(例如224x224)。将缩放至相同尺度的遮罩图像与裁剪图像进行级联，也就是将是对裁剪图像与遮罩图像按照通道数级联到一起，再作为第二级定位网络的输入。

在一个实施例中，通过第二级定位网络获得裁剪图像中的二级定位物体所对应的坐标信息，包括：通过第二级定位网络中的卷积层对级联图像进行特征提取，获得级联图像对应的特征图；通过第二级定位网络中的区域推荐层，根据特征图确定裁剪图像中包括二级定位物体的候选框，并将候选框映射至特征图，获得特征图上的候选区域；通过第二级定位网络中的分类回归层，根据候选区域对候选框的位置进行调整，获得候选框中二级定位物体所对应的坐标信息。

同样地，级联图像对应的特征图可以反映裁剪图像的特性，且该特征图还携带了一级定位物体对应的遮罩信息。第二级定位网络中的卷积层用于对级联图像进行图像特征提取处理。在一个实施例中，第二级定位网络中的卷积层也可以采用ResNet的网络结构，比如ResNet50或ResNet101。

第二级定位网络内部还包括与卷积层相连的区域推荐层，计算机设备将提取的级联图像的特征图输入至区域推荐层，通过区域推荐层确定裁剪图像中包括二级定位物体的候选框，并将候选框映射至特征图，获得特征图上的候选区域，也就是说，每个候选区域对应了特征图上某个区域的图像特征。

第二级定位网络内部还包括分类回归层，分类回归层包括用于对物体进行分类的第一全连接层以及第一输出层，还包括对物体的坐标信息进行回归的第二全连接层以及第二输出层。第一全连接层与第一输出层连接，第一输出层以第一全连接层输出的图像特征为输入，对其进行归一化处理，得到相应候选框区域整体属于二级定位物体的概率。第二全连接层与第二输出层连接，第二输出层以第二全连接层输出的图像特征为输入，对其进行坐标信息的回归，得到相应候选框对应的坐标信息。在获得每个候选区域后，将候选区域输入至分类回归层的第一全连接层，通过第一全连接层对候选区域所携带的图像特征进行预测，获得候选区域所对应的候选框区域整体对应二级定位物体的概率，将候选区域输入至分类回归层的第二全连接层，通过第二全连接层对候选区域所携带的图像特征进行预测，回归出二级定位物体的坐标信息。

在一个实施例中，上述电网图像的定位方法还包括：通过第二级定位网络中的分类回归层，根据候选区域预测候选框包含二级定位物体的概率值；在根据二级定位物体所对应的坐标信息在裁剪图像中定位二级定位物体之后，方法还包括：在裁剪图像中标注定位的二级定位物体对应的概率值。

具体地，计算机设备可以通过第二级定位网络中的分类回归层对候选区域相应的候选框中的像素点属于前景或背景的概率进行预测，从而确定候选框是否包含二级定位物体的概率值。如前文所提及的，在电网图像中应用场景中，二级定位物体是与一级定位物体存在器件依赖关系或位置依赖关系的物体或缺陷，比如，二级定位物体为绝缘子串上的破损的绝缘子环、三角铁上的销栓，等等。在计算机设备确定了一级定位物体及相应的类别后，只需要在对应的裁剪图像中将相应的二级定位物体标注出来方便工作人员排查缺陷即可，计算机设备在确定了裁剪图像的候选框中包括二级定位物体的概率后，不仅可以在裁剪图像中根据二级定位物体的坐标信息定位该二级定位物体，还可以在裁剪图像中标注各候选框对应二级定位物体的概率。当然，在一些实施例中，计算机设备也可以识别这些二级定位物体所属的类别及类别概率。

如图9所示，为一个实施例中裁剪图像的定位结果的示意图，不仅在三角铁对应的裁剪图像中标注了销栓对应的矩形包围框，还标注了销栓的矩形框区域整体对应了物体的概率。

上述实施例中，通过第二级定位网络中的区域推荐层去找到特征图中包括物体的候选区域，继而对候选区域进行物体分类与物体定位，能够提高对裁剪图像中二级定位物体的检测效率。

在一个实施例中，一级定位物体为一级元件或一级缺陷；当一级定位物体为一级元件时，二级定位物体为一级元件上的关键元件或一级元件上的缺陷；当一级定位物体为一级缺陷时，则根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，包括：根据一级缺陷所对应的坐标信息在电网图像中标注一级缺陷。

如前文所提到的，第一级定位网络用于一级定位物体，一级定位物体可以是一级元件或一级缺陷。

一级元件是电力图像中直接被第一级定位网络定位到的、尺寸相对较大的元件，一级元件上存在与其存在器件依赖关系的、尺寸较小的关键元件，关键元件即二级定位物体，例如，一级元件为三角铁，关键元件为三角铁上的销栓；或者，一级元件上存在与其存在位置依赖关系的缺陷，该缺陷即为二级定位物体，例如，一级元件为绝缘子，一级元件上的缺陷为绝缘子上破损的绝缘子位置。

一级缺陷是电力图像中直接被第一级定位网络定位到的、尺寸相对较大的缺陷。一级缺陷直接通过第一级定位网络定位到之后，可以直接由人工排查存在一级缺陷，不需要再通过第二级定位网络继续检测，因此计算机设备可以直接在电网图像中标注出该一级缺陷。

当存在与一级定位物体对应的二级定位物体时，比如二级定位物体为一级元件上的关键元件或缺陷时，则需要通过第二级定位网络对一级定位物体对应的裁剪图像进一步处理，以定位出其中的二级定位物体。当并不存在与一级定位物体对应的二级定位物体时，比如，当一级定位物体为电网图像中的一级缺陷时，如电网图像中的鸟巢，又比如，对于电网图像中难以识别是否存在缺陷的一级定位物体如驱鸟器、金具、防震锤、均压环等等，这些一级定位物体均不需要从电网图像中分割出该一级定位物体对应的裁剪图像，也不需要第二级定位网络对裁剪图像进一步处理了，计算机设备直接根据一级缺陷所对应的坐标信息在电网图像中标注一级缺陷即可。

本实施例中，图像定位模型在得到一级定位物体的类别后，判断是否存在与之对应的二级定位物体，据此做不同的处理，实现了仅使用这一个级联网络就可以对电网图像中的器件进行全面检测，还能够提升检测效率和准确性。

如图10所示，在一个具体的实施例中电网图像的定位方法的示意图。参照图10，该方法具体包括以下步骤：

S1002，获取电网图像。

S1004，将电网图像输入至预定图像定位模型中的第一级定位网络。

S1006，通过第一级定位网络中的卷积层对电网图像进行特征提取，获得电网图像对应的特征图。

S1008，通过第一级定位网络中的区域推荐层，根据特征图确定电网图像中包括一级定位物体的候选框，并将候选框映射至特征图，获得特征图上的候选区域。

S1010，通过第一级定位网络中的分类回归层，根据候选区域确定候选框对应各类一级定位物体的类别概率；根据候选框对应各类一级定位物体的类别概率中的最大值确定候选框中一级定位物体的类别；根据候选区域对候选框的位置进行调整，获得候选框中一级定位物体所对应的坐标信息。

S1012，通过第一级定位网络中的遮罩分支层，根据候选区域对相应候选框中的像素进行分类，确定候选框中属于一级定位物体的像素；根据候选框中属于一级定位物体的像素，获得一级定位物体对应的遮罩图像。

S1014，根据坐标信息，确定与一级定位物体对应的包围框；按照包围框从电网图像分割一级定位物体对应的裁剪图像。

S1016，分别对遮罩图像与裁剪图像进行尺度缩放处理；将缩放至相同尺度的遮罩图像与裁剪图像进行级联，得到级联图像。

S1018，将级联图像输入至预定图像定位模型中的第二级定位网络。

S1020，通过第二级定位网络中的卷积层对级联图像进行特征提取，获得级联图像对应的特征图。

S1022，通过第二级定位网络中的区域推荐层，根据特征图确定裁剪图像中包括二级定位物体的候选框，并将候选框映射至特征图，获得特征图上的候选区域。

S1024，通过第二级定位网络中的分类回归层，根据候选区域对候选框的位置进行调整，获得候选框中二级定位物体所对应的坐标信息，根据候选区域预测候选框包含二级定位物体的概率值。

S1026，根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，并标注定位的一级定位物体的类别及类别概率。

S1028，根据二级定位物体所对应的坐标信息在裁剪图像中定位二级定位物体，并标注定位的二级定位物体对应的概率值。

图10为一个实施例中电网图像的定位方法的流程示意图。应该理解的是，虽然图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图11所示，在一个实施例中，提供了一种图像定位模型的训练方法。本实施例以该方法应用于计算机设备(如上述图1中的终端110或服务器120)为例来进行说明。参照图11，该图像定位模型的训练方法具体包括如下步骤S1102至S1110：

S1102，获取电网图像样本，电网图像样本对应的标注信息包括电网图像样本中一级定位物体的坐标信息及遮罩图像，还包括电网图像样本中二级定位图物体的坐标信息。S1104，根据电网图像样本、一级定位物体的坐标信息及遮罩图像进行模型训练，获得图像定位模型中的第一级定位网络。S1106，根据电网图像样本中一级定位物体的坐标信息，获得一级定位物体对应的裁剪图像，并将裁剪图像与遮罩图像级联后获得级联图像。S1108，根据级联图像及二级定位图物体的坐标信息进行模型训练，获得图像定位模型中的第二级定位网络。S1110，将第一级定位网络与第二级定位网络级联，获得图像定位模型。

其中，电网图像样本是标注信息已知的图像，标注信息包括两级信息，第一级标注信息是该图像中一级定位物体的坐标信息及遮罩图像，第二级标注信息是二级定位物体的坐标信息。第一级标注信息用于训练初始的第一级定位网络，获得模型参数满足第一预设条件的第一级定位网络，第二级标注信息用于训练初始的第二级定位网络，获得模型参数满足第二预设条件的第二级定位网络，训练好之后将二者级联到一起，获得图像定位模型。可以理解的是，对于电网图像样本中的每个物体，都有各自的标注信息。比如，在一张电网图像中，既包括绝缘子串，又包括三角铁，则在制作电网图像样本时，其对应了两组标注信息，其中，第一组标注信息包括：第一级标注信息：绝缘子串的坐标信息及遮罩图像；第二级标注信息：该绝缘子串上的损坏的绝缘子环的坐标信息。第二组标注信息包括：第一级标注信息：三角铁的坐标信息及遮罩图像；第二级标注信息：三角铁上销栓的坐标信息。

需要说明的是，当电网图像样本中的一级定位物体并不存在与之对应的二级定位物体时，则标注信息仅包括一级标注信息，该一级标注信息用于训练第一级定位网络。

在一个实施例中，方法还包括：根据电网图像样本中一级定位物体的坐标信息，获得一级定位物体与电网图像样本之间的第一尺寸差异；根据电网图像样本中二级定位物体的坐标信息，获得二级定位物体与裁剪图像之间的第二尺寸差异；当第一尺寸差异大于第一阈值时，和/或当第二尺寸差异大于第二阈值时，则删除电网图像样本。

电网图像样本中尺寸太小的物体会影响训练效果，因此为了不影响训练效果，对于电网图像样本进行了挑选，不符合条件的电网图像样本不加入训练。第一尺寸差异、第二尺寸差异可以用面积之比来表示，也可以用边长之比来表示，比如，当一级定位物体的面积小于电网图像样本的面积的0.1％时，则从训练样本中剔除该电网图像样本，不能使用该电力样本图像训练第一级定位网络。又比如，当二级定位物体的面积小于所在的裁剪图像面积的0.05％时，则不能用该裁剪图像去训练第二级定位网络。

上述图像定位模型的训练方法，设置的图像定位模型包括第一级定位网络以及与之级联的第二级定位网络，在获得电网图像样本后，根据电网图像样本中一级定位物体的坐标信息及遮罩图像对第一级定位网络进行训练，训练完成后获得一级定位物体的遮罩图像，将一级定位物体的裁剪图像与遮罩图像级联后获得级联图像，再根据电网图像中二级定位物体的坐标信息及级联图像对第二级定位网络进行训练，最终将训练完成的第一级定位网络与第二级定位网络级联，得到图像定位模型。训练得到的图像定位模型包括两个级联的定位网络，可以充分挖掘物体之间依赖关系并实现从一级定位物体到二级定位物体的定位，非常适用于物体尺寸变化大和物体之间位置依赖关系强的电网图像定位场景。

在一个实施例中，如图12所示，提供了一种电网图像的定位装置1200，该装置包括电网图像获取模块1202、第一定位模块1204、裁剪图像获取模块1206、第二定位模块1208和定位物体标注模块1210，其中：

电网图像获取模块1202，用于获取电网图像；

第一定位模块1204，用于通过预定图像定位模型中的第一级定位网络，获得电网图像中的一级定位物体所对应的坐标信息及一级定位物体对应的遮罩图像；

裁剪图像获取模块1206，用于根据坐标信息，获得一级定位物体对应的裁剪图像；

第二定位模块1208，用于将遮罩图像和裁剪图像输入至预定图像定位模型中的第二级定位网络，并通过第二级定位网络获得裁剪图像中的二级定位物体所对应的坐标信息；

定位物体标注模块1210，用于根据一级定位物体所对应的坐标信息在电网图像中定位一级定位物体，并根据二级定位物体所对应的坐标信息在裁剪图像中定位二级定位物体。

在一个实施例中，第一定位模块1204还用于将电网图像输入至预定图像定位模型中的第一级定位网络；通过第一级定位网络对电网图像进行目标检测，获得电网图像中的一级定位物体、一级定位物体的类别及一级定位物体所对应的坐标信息；通过第一级定位网络对电网图像进行像素分类，获得一级定位物体对应的遮罩图像。

在一个实施例中，第一定位模块1204还用于通过第一级定位网络中的卷积层对电网图像进行特征提取，获得电网图像对应的特征图；通过第一级定位网络中的区域推荐层，根据特征图确定电网图像中包括一级定位物体的候选框，并将候选框映射至特征图，获得特征图上的候选区域；通过第一级定位网络中的分类回归层，根据候选区域获得相应候选框中一级定位物体的类别，并根据候选区域对候选框的位置进行调整，获得候选框中一级定位物体所对应的坐标信息。

在一个实施例中，第一定位模块1204还用于通过第一级定位网络中的分类回归层，根据候选区域确定候选框对应各类一级定位物体的类别概率；根据候选框对应各类一级定位物体的类别概率中的最大值确定候选框中一级定位物体的类别；定位物体标注模块1210还用于在电网图像中标注定位的一级定位物体的类别及类别概率。

在一个实施例中，第一定位模块1204还用于通过第一级定位网络中的遮罩分支层，根据候选区域对相应候选框中的像素进行分类，确定候选框中属于一级定位物体的像素；根据候选框中属于一级定位物体的像素，获得一级定位物体对应的遮罩图像。

在一个实施例中，裁剪图像获取模块1206还用于根据坐标信息，确定与一级定位物体对应的包围框；按照包围框从电网图像分割一级定位物体对应的裁剪图像。

在一个实施例中，第二定位模块1208还用于分别对遮罩图像与裁剪图像进行尺度缩放处理；将缩放至相同尺度的遮罩图像与裁剪图像进行级联，得到级联图像；将级联图像输入至预定图像定位模型中的第二级定位网络。

在一个实施例中，第二定位模块1208还用于通过第二级定位网络中的卷积层对级联图像进行特征提取，获得级联图像对应的特征图；通过第二级定位网络中的区域推荐层，根据特征图确定裁剪图像中包括二级定位物体的候选框，并将候选框映射至特征图，获得特征图上的候选区域；通过第二级定位网络中的分类回归层，根据候选区域对候选框的位置进行调整，获得候选框中二级定位物体所对应的坐标信息。

在一个实施例中，第二定位模块1208还用于通过第二级定位网络中的分类回归层，根据候选区域预测候选框包含二级定位物体的概率值；定位物体标注模块1210还用于在裁剪图像中标注定位的二级定位物体对应的概率值。

在一个实施例中，一级定位物体为一级元件或一级缺陷；当一级定位物体为一级元件时，二级定位物体为一级元件上的关键元件或一级元件上的缺陷；当一级定位物体为一级缺陷时，则定位物体标注模块1210还用于根据一级缺陷所对应的坐标信息在电网图像中标注一级缺陷。

上述电网图像的定位装置1200，获得电网图像后，通过预定机器学习模型中的第一级定位网络获得电网图像中一级定位物体的坐标信息和对应的遮罩图像，再根据坐标信息获得一级定位物体的裁剪图像，进而通过第二级定位网络根据遮罩图像和裁剪图像共同确定裁剪图像中的二级定位物体对应的坐标信息，最后根据坐标信息在电网图像中定位物体。一方面，通过图像定位模型自动地对电网图像中的物体进行定位，相较于人工定位的方式更准确、漏检几率更低，而且输入电网图像后，图像定位模型可以直接根据电网图像中一级定位物体的坐标信息与二级定位物体的坐标信息定位出物体，大大缩短了人工阅读图片的时间，提高了效率；另一方面，通过图像定位模型中的第一级定位网络先定位电网图像中的一级定位物体，再通过第二级定位网络定位裁剪图像中与该一级定位物体存在依赖联系的二级定位物体，可以做到在物体尺寸较小的情况下从一级定位物体到二级定位物体的定位，非常适用于输电线路上物体尺度差距较大的场景下的物体检测与识别，进一步提高了定位准确性。

在一个实施例中，如图13所示，提供了一种图像定位模型的训练装置1300，装置包括图像样本获取模块1302、第一级定位网络训练模块1304、级联图像获取模块1306、第二级定位网络训练模块1308和网络级联模块1310，其中：

图像样本获取模块1302，用于获取电网图像样本，电网图像样本对应的标注信息包括电网图像样本中一级定位物体的坐标信息及遮罩图像，还包括电网图像样本中二级定位图物体的坐标信息；

第一级定位网络训练模块1304，用于根据电网图像样本、一级定位物体的坐标信息及遮罩图像进行模型训练，获得图像定位模型中的第一级定位网络；

级联图像获取模块1306，用于根据电网图像样本中一级定位物体的坐标信息，获得一级定位物体对应的裁剪图像，并将裁剪图像与遮罩图像级联后获得级联图像；

第二级定位网络训练模块1308，用于根据级联图像及二级定位图物体的坐标信息进行模型训练，获得图像定位模型中的第二级定位网络；

网络级联模块1310，用于将第一级定位网络与第二级定位网络级联，获得图像定位模型。

在一个实施例中，上述装置还包括样本筛选模块，用于根据电网图像样本中一级定位物体的坐标信息，获得一级定位物体与电网图像样本之间的第一尺寸差异；根据电网图像样本中二级定位物体的坐标信息，获得二级定位物体与裁剪图像之间的第二尺寸差异；当第一尺寸差异大于第一阈值时，和/或当第二尺寸差异大于第二阈值时，则删除电网图像样本。

上述图像定位模型的训练装置1300，设置的图像定位模型包括第一级定位网络以及与之级联的第二级定位网络，在获得电网图像样本后，根据电网图像样本中一级定位物体的坐标信息及遮罩图像对第一级定位网络进行训练，训练完成后获得一级定位物体的遮罩图像，将一级定位物体的裁剪图像与遮罩图像级联后获得级联图像，再根据电网图像中二级定位物体的坐标信息及级联图像对第二级定位网络进行训练，最终将训练完成的第一级定位网络与第二级定位网络级联，得到图像定位模型。训练得到的图像定位模型包括两个级联的定位网络，可以充分挖掘物体之间依赖关系并实现从一级定位物体到二级定位物体的定位，非常适用于物体尺寸变化大和物体之间位置依赖关系强的电网图像定位场景。

图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或服务器120，当该计算机设备为图1中的服务器120时，该计算机设备可以包括通过系统总线连接的处理器、存储器、网络接口；当该计算机设备为图1中的终端110时，该计算机设备还可以包括显示屏。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现电网图像的定位方法和/或图像定位模型的训练方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行电网图像的定位方法和/或图像定位模型的训练方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的电网图像的定位装置1200可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该电网图像的定位装置1200的各个程序模块，比如，图12所示的电网图像获取模块1202、第一定位模块1204、裁剪图像获取模块1206、第二定位模块1208和定位物体标注模块1210。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的电网图像的定位方法中的步骤。

例如，图14所示的计算机设备可以通过如图12所示的电网图像的定位装置1200中的电网图像获取模块1202执行步骤S202。计算机设备可通过第一定位模块1204执行步骤S204。计算机设备可通过裁剪图像获取模块1206执行步骤S206。计算机设备可通过第二定位模块1208执行步骤S208。计算机设备可通过定位物体标注模块1210执行步骤S210。

在一个实施例中，本申请提供的图像定位模型的训练装置1300，可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像定位模型的训练装置1300，的各个程序模块，比如，图13所示的图像样本获取模块1302、第一级定位网络训练模块1304、级联图像获取模块1306、第二级定位网络训练模块1308和网络级联模块1310。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像定位模型的训练方法中的步骤。

例如，图14所示的计算机设备可以通过如图13所示的图像定位模型的训练装置1300中的图像样本获取模块1302执行步骤S1102。计算机设备可通过第一级定位网络训练模块1304执行步骤S1104。计算机设备可通过级联图像获取模块1306执行步骤S1106。计算机设备可通过第二级定位网络训练模块1308执行步骤S1108。计算机设备可通过网络级联模块1310执行步骤S1110。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述电网图像的定位方法或图像定位模型的训练方法的步骤。此处电网图像的定位方法的步骤可以是上述各个实施例的电网图像的定位方法中的步骤。此处图像定位模型的训练方法的步骤可以是上述各个实施例的图像定位模型的训练方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述电网图像的定位方法或图像定位模型的训练方法的步骤。此处电网图像的定位方法的步骤可以是上述各个实施例的电网图像的定位方法中的步骤。此处图像定位模型的训练方法的步骤可以是上述各个实施例的图像定位模型的训练方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种电网图像的定位方法，包括：

获取电网图像；

通过预定图像定位模型中的第一级定位网络，获得所述电网图像中的一级定位物体所对应的坐标信息及所述一级定位物体对应的遮罩图像；所述一级定位物体是相对于二级定位物体而言尺寸较大的物体；

若定位到的所述一级定位物体属于一级缺陷，则直接根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级缺陷；

若定位到的所述一级定位物体属于一级元件，则根据预置的一级定位物体与二级定位物体之间的依赖关系，判断是否存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷；

若所述依赖关系指示存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷，则根据所述坐标信息，获得所述一级定位物体对应的裁剪图像；

将所述遮罩图像和所述裁剪图像输入至所述预定图像定位模型中的第二级定位网络，并通过所述第二级定位网络获得所述裁剪图像中的二级定位物体所对应的坐标信息；

根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级定位物体，并根据所述二级定位物体所对应的坐标信息在所述裁剪图像中定位所述二级定位物体。

2.根据权利要求1所述的方法，其特征在于，所述通过预定图像定位模型中的第一级定位网络，获得所述电网图像中的一级定位物体所对应的坐标信息及所述一级定位物体对应的遮罩图像，包括：

将所述电网图像输入至预定图像定位模型中的第一级定位网络；

通过所述第一级定位网络对所述电网图像进行目标检测，获得所述电网图像中的一级定位物体、所述一级定位物体的类别及所述一级定位物体所对应的坐标信息；

通过所述第一级定位网络对所述电网图像进行像素分类，获得所述一级定位物体对应的遮罩图像。

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一级定位网络对所述电网图像进行目标检测，获得所述电网图像中的一级定位物体、所述一级定位物体的类别及所述一级定位物体所对应的坐标信息，包括：

通过所述第一级定位网络中的卷积层对所述电网图像进行特征提取，获得所述电网图像对应的特征图；

通过所述第一级定位网络中的区域推荐层，根据所述特征图确定所述电网图像中包括一级定位物体的候选框，并将所述候选框映射至所述特征图，获得所述特征图上的候选区域；

通过所述第一级定位网络中的分类回归层，根据所述候选区域获得相应候选框中一级定位物体的类别，并根据所述候选区域对所述候选框的位置进行调整，获得所述候选框中一级定位物体所对应的坐标信息。

4.根据权利要求3所述的方法，其特征在于，所述通过所述第一级定位网络中的分类回归层，根据所述候选区域获得相应候选框中一级定位物体的类别，包括：

通过所述第一级定位网络中的分类回归层，根据所述候选区域确定所述候选框对应各类一级定位物体的类别概率；

根据所述候选框对应各类一级定位物体的类别概率中的最大值确定所述候选框中一级定位物体的类别；

在所述根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级定位物体之后，所述方法还包括：

在所述电网图像中标注定位的所述一级定位物体的类别及类别概率。

5.根据权利要求3所述的方法，其特征在于，所述通过所述第一级定位网络对所述电网图像进行像素分类，获得所述一级定位物体对应的遮罩图像，包括：

通过所述第一级定位网络中的遮罩分支层，根据所述候选区域对相应候选框中的像素进行分类，确定所述候选框中属于所述一级定位物体的像素；

根据所述候选框中属于所述一级定位物体的像素，获得所述一级定位物体对应的遮罩图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述坐标信息，获得所述一级定位物体对应的裁剪图像，包括：

根据所述坐标信息，确定与所述一级定位物体对应的包围框；

按照所述包围框从所述电网图像分割所述一级定位物体对应的裁剪图像。

7.根据权利要求1所述的方法，其特征在于，所述将所述遮罩图像和所述裁剪图像输入至所述预定图像定位模型中的第二级定位网络，包括：

分别对所述遮罩图像与所述裁剪图像进行尺度缩放处理；

将缩放至相同尺度的遮罩图像与裁剪图像进行级联，得到级联图像；

将所述级联图像输入至所述预定图像定位模型中的第二级定位网络。

8.根据权利要求7所述的方法，其特征在于，所述通过所述第二级定位网络获得所述裁剪图像中的二级定位物体所对应的坐标信息，包括：

通过所述第二级定位网络中的卷积层对所述级联图像进行特征提取，获得所述级联图像对应的特征图；

通过所述第二级定位网络中的区域推荐层，根据所述特征图确定所述裁剪图像中包括二级定位物体的候选框，并将所述候选框映射至所述特征图，获得所述特征图上的候选区域；

通过所述第二级定位网络中的分类回归层，根据所述候选区域对所述候选框的位置进行调整，获得所述候选框中二级定位物体所对应的坐标信息。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

通过所述第二级定位网络中的分类回归层，根据所述候选区域预测所述候选框包含二级定位物体的概率值；

在所述根据所述二级定位物体所对应的坐标信息在所述裁剪图像中定位所述二级定位物体之后，所述方法还包括：

在所述裁剪图像中标注定位的所述二级定位物体对应的所述概率值。

10.一种图像定位模型的训练方法，包括：

获取电网图像样本，所述电网图像样本对应的标注信息包括所述电网图像样本中一级定位物体的坐标信息及遮罩图像，还包括所述电网图像样本中二级定位图物体的坐标信息；所述一级定位物体是相对于二级定位物体而言尺寸较大的物体；

根据所述电网图像样本、所述一级定位物体的坐标信息、所属类别及遮罩图像进行模型训练，获得所述图像定位模型中的第一级定位网络；若所述一级定位物体属于一级元件，则根据预置的一级定位物体与二级定位物体之间的依赖关系，判断是否存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷；

若所述依赖关系指示存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷，则根据所述电网图像样本中一级定位物体的坐标信息，获得所述一级定位物体对应的裁剪图像，并将所述裁剪图像与所述遮罩图像级联后获得级联图像；

根据所述级联图像及所述二级定位图物体的坐标信息进行模型训练，获得所述图像定位模型中的第二级定位网络；

将所述第一级定位网络与所述第二级定位网络级联，获得图像定位模型。

11.一种电网图像的定位装置，其特征在于，所述装置包括：

电网图像获取模块，用于获取电网图像；

第一定位模块，用于通过预定图像定位模型中的第一级定位网络，获得所述电网图像中的一级定位物体所对应的坐标信息及所述一级定位物体对应的遮罩图像；所述一级定位物体是相对于二级定位物体而言尺寸较大的物体；

裁剪图像获取模块，用于若定位到的所述一级定位物体属于一级缺陷，则直接根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级缺陷；若定位到的所述一级定位物体属于一级元件，则根据预置的一级定位物体与二级定位物体之间的依赖关系，判断是否存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷；若所述依赖关系指示存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷，则根据所述坐标信息，获得所述一级定位物体对应的裁剪图像；

第二定位模块，用于将所述遮罩图像和所述裁剪图像输入至所述预定图像定位模型中的第二级定位网络，并通过所述第二级定位网络获得所述裁剪图像中的二级定位物体所对应的坐标信息；

定位物体标注模块，用于根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级定位物体，并根据所述二级定位物体所对应的坐标信息在所述裁剪图像中定位所述二级定位物体。

12.根据权利要求11所述的装置，其特征在于，所述第一定位模块，还用于将所述电网图像输入至预定图像定位模型中的第一级定位网络；通过所述第一级定位网络对所述电网图像进行目标检测，获得所述电网图像中的一级定位物体、所述一级定位物体的类别及所述一级定位物体所对应的坐标信息；通过所述第一级定位网络对所述电网图像进行像素分类，获得所述一级定位物体对应的遮罩图像。

13.根据权利要求12所述的装置，其特征在于，所述第一定位模块，还用于通过所述第一级定位网络中的卷积层对所述电网图像进行特征提取，获得所述电网图像对应的特征图；通过所述第一级定位网络中的区域推荐层，根据所述特征图确定所述电网图像中包括一级定位物体的候选框，并将所述候选框映射至所述特征图，获得所述特征图上的候选区域；通过所述第一级定位网络中的分类回归层，根据所述候选区域获得相应候选框中一级定位物体的类别，并根据所述候选区域对所述候选框的位置进行调整，获得所述候选框中一级定位物体所对应的坐标信息。

14.根据权利要求13所述的装置，其特征在于，所述第一定位模块，还用于通过所述第一级定位网络中的分类回归层，根据所述候选区域确定所述候选框对应各类一级定位物体的类别概率；根据所述候选框对应各类一级定位物体的类别概率中的最大值确定所述候选框中一级定位物体的类别；

所述定位物体标注模块，还用于在所述根据所述一级定位物体所对应的坐标信息在所述电网图像中定位所述一级定位物体之后，在所述电网图像中标注定位的所述一级定位物体的类别及类别概率。

15.根据权利要求13所述的装置，其特征在于，所述第一定位模块，还用于通过所述第一级定位网络中的遮罩分支层，根据所述候选区域对相应候选框中的像素进行分类，确定所述候选框中属于所述一级定位物体的像素；根据所述候选框中属于所述一级定位物体的像素，获得所述一级定位物体对应的遮罩图像。

16.根据权利要求11所述的装置，其特征在于，所述裁剪图像获取模块，还用于根据所述坐标信息，确定与所述一级定位物体对应的包围框；按照所述包围框从所述电网图像分割所述一级定位物体对应的裁剪图像。

17.根据权利要求11所述的装置，其特征在于，所述第二定位模块，还用于分别对所述遮罩图像与所述裁剪图像进行尺度缩放处理；将缩放至相同尺度的遮罩图像与裁剪图像进行级联，得到级联图像；将所述级联图像输入至所述预定图像定位模型中的第二级定位网络。

18.根据权利要求17所述的装置，其特征在于，所述第二定位模块，还用于通过所述第二级定位网络中的卷积层对所述级联图像进行特征提取，获得所述级联图像对应的特征图；通过所述第二级定位网络中的区域推荐层，根据所述特征图确定所述裁剪图像中包括二级定位物体的候选框，并将所述候选框映射至所述特征图，获得所述特征图上的候选区域；通过所述第二级定位网络中的分类回归层，根据所述候选区域对所述候选框的位置进行调整，获得所述候选框中二级定位物体所对应的坐标信息。

19.根据权利要求18所述的装置，其特征在于，所述第二定位模块，还用于通过所述第二级定位网络中的分类回归层，根据所述候选区域预测所述候选框包含二级定位物体的概率值；

所述定位物体标注模块，还用于在所述根据所述二级定位物体所对应的坐标信息在所述裁剪图像中定位所述二级定位物体之后，在所述裁剪图像中标注定位的所述二级定位物体对应的所述概率值。

20.一种图像定位模型的训练装置，其特征在于，所述装置包括：

图像样本获取模块，用于获取电网图像样本，所述电网图像样本对应的标注信息包括所述电网图像样本中一级定位物体的坐标信息及遮罩图像，还包括所述电网图像样本中二级定位图物体的坐标信息；所述一级定位物体是相对于二级定位物体而言尺寸较大的物体；

第一级定位网络训练模块，用于根据所述电网图像样本、所述一级定位物体的坐标信息及遮罩图像进行模型训练，获得所述图像定位模型中的第一级定位网络；

级联图像获取模块，用于若所述一级定位物体属于一级元件，则根据预置的一级定位物体与二级定位物体之间的依赖关系，判断是否存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷；若所述依赖关系指示存在与所述一级元件存在器件依赖关系的物体或存在位置依赖关系的缺陷，则根据所述电网图像样本中一级定位物体的坐标信息，获得所述一级定位物体对应的裁剪图像，并将所述裁剪图像与所述遮罩图像级联后获得级联图像；

第二级定位网络训练模块，用于根据所述级联图像及所述二级定位图物体的坐标信息进行模型训练，获得所述图像定位模型中的第二级定位网络；

网络级联模块，用于将所述第一级定位网络与所述第二级定位网络级联，获得图像定位模型。

21.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。

22.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。

Images