CN113191336A - 基于图像识别的电力隐患识别方法及系统 - Google Patents

Abstract

本发明提供一种基于图像识别的电力隐患识别方法及系统，方法包括：获取电力设备巡检机器人的第一坐标位置、电力设备巡检机器人拍摄的电力设备图像以及拍摄角度；根据拍摄角度从电力设备的三维图像模型中提取对应的第一设备图像；根据第一设备图像以及设定比例，生成电力设备的第二设备图像；根据电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定电力设备的第二坐标位置；根据电力设备图像和第二设备图像，确定电力设备的设备隐患；在电力设备的设备隐患是设备故障时，根据第二坐标位置在预设的场景模型中显示电力设备图像以及隐患信息。本实施本申请的技术方案，可以提高识别隐患的准确率以及降低定位成本。

Description

基于图像识别的电力隐患识别方法及系统

技术领域

本发明属于图像识别领域，具体涉及基于图像识别的电力隐患识别方法及系统。

背景技术

电力系统是人类工程科学史上最重要的成就之一，是由发电、输电、变电、配电和用电等环节组成的电力生产与消费系统，它将自然界的一次能源通过机械能装置转化成电力，再经输电、变电和配电将电力供应到各用户。

电力系统虽然给用户提供了便利，但也存在着相关的电力隐患，例如一些电力设备在发生隐患类故障并不会直接出现问题，但若这故障一直存在则可能会导致漏电触电、设备损毁等情况发生，造成人员伤亡或财务损失，故需要找到一种可以能识别并显示电力隐患的方法和系统，以便于工作人员进行隐含排查。

发明内容

本发明的目的在于解决现有所存在的其中一个问题，提供一种基于图像识别的电力隐患识别方法及系统。

本申请的第一方面，一种基于图像识别的电力隐患识别方法，包括：

S1、获取电力设备巡检机器人的第一坐标位置、电力设备巡检机器人拍摄的电力设备图像以及拍摄角度；

S2、根据所述拍摄角度从所述电力设备的三维图像模型中提取对应的第一设备图像，其中，所述电力设备的三维图像模型根据所述电力设备的实际尺寸按设定比例生成；

S3、根据所述第一设备图像以及所述设定比例，生成所述电力设备的第二设备图像，以使所述电力设备的第二设备图像的大小与所述电力设备的尺寸一致；

S4、根据所述电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定所述电力设备的第二坐标位置；

S5、根据所述电力设备图像和第二设备图像，确定所述电力设备的设备隐患；

S6、在所述电力设备的设备隐患是设备故障时，根据所述第二坐标位置在预设的场景模型中显示所述电力设备图像以及隐患信息。

可选的，在S2之前，所述方法还包括：

S11、根据所述拍摄角度，从多个三维图像模型提取与拍摄角度相对应的模型图像；

S12、确定满足设定条件的模型图像所对应的三维图像模型为所述电力设备的三维图像模型，其中，所述设定条件为模型图像与所述电力设备图像的相似度大于设定阈值。

可选的，所述S4包括：

S41、根据所述电力设备图像和第二设备图像，确定所述电力设备图像中的电力设备与所述第二设备图像中的电力设备的比例关系；

S42、根据所述比例关系、拍摄角度和第一坐标位置，确定所述电力设备的第二坐标位置。

可选的，所述S41包括：

根据所述电力设备图像，提取所述电力设备图像中的拍摄完整的设备部件的第一部件图像；

根据所述第二设备图像，提取所述第二设备图像中的设备部件的第二部件图像；

根据所述第一部件图像与所述第二部件图像，确定所述电力设备图像中的电力设备与所述第二设备图像中的电力设备的比例关系。

可选的，所述 S42包括：

根据所述比例关系、拍摄角度和电力设备巡检机器人的相机参数，确定所述电力设备相对电力设备巡检机器人的坐标关系；

根据所述坐标关系和第一坐标位置，确定所述第二坐标位置。

可选的，所述S5包括：

提取所述电力设备图像的特征向量；

提取所述第二设备图像的特征向量；

将所述电力设备图像的特征向量与所述第二设备图像的特征向量输入预先训练的设备隐患识别模型，得到所述电力设备的设备隐患。

可选的，所述S1前还包括：

从服务器获取所述电力设备的至少两个第三设备图像，其中，所述至少两个第三设备图像包括至少两个以不同拍摄方向拍摄同一所述电力设备所得到的图像；

获取每个所述设备图像对应的拍摄方向；

获取预先设置的所述电力设备的标准方向；

根据所述标准方向以及每个所述第三设备图像对应的拍摄方向，确定标准图像以及辅助图像，其中，所述标准图像是与标准方向夹角最小的拍摄方向所对应的第三设备图像，所述辅助图像是除标准图像外的所有第三设备图像；

生成所述标准图像对应的三维网格模型，以作为标准模型；

计算所有所述设备图像对应的灰度图的灰度均值；

根据所述灰度均值，对所述辅助图像进行中值滤波处理；

生成每个中值滤波处理后的所述辅助图像所对应的三维网格模型，以作为辅助模型；

根据所述辅助模型以及对应所述辅助图像的拍摄方向，优化所述标准模型，得到目标模型；

根据第三设备图像的色彩调整所述目标模型的色彩；

根据所述设定比例以及所述电力设备的实际尺寸，调整所述目标模型的尺寸，以得到所述电力设备的三维图像模型。

本申请的第二方面，一种基于图像识别的电力隐患识别系统，包括：

获取模块，用于获取电力设备巡检机器人的第一坐标位置、电力设备巡检机器人拍摄的电力设备图像以及拍摄角度；

图像提取模块，用于根据所述拍摄角度从所述电力设备的三维图像模型中提取对应的第一设备图像，其中，所述电力设备的三维图像模型根据所述电力设备的实际尺寸按设定比例生成；

图像生成模块，用于根据所述第一设备图像以及所述设定比例，生成所述电力设备的第二设备图像，以使所述电力设备的第二设备图像的大小与所述电力设备的尺寸一致；

第一确定模块，用于根据所述电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定所述电力设备的第二坐标位置；

第二确定模块，用于根据所述电力设备图像和第二设备图像，确定所述电力设备的设备隐患；

显示模块，用于在所述电力设备的设备隐患是设备故障时，根据所述第二坐标位置在预设的场景模型中显示所述电力设备图像以及隐患信息。

可选的，所述系统还包括三维图像模型确定模型，用于：

根据所述拍摄角度，提取多个三维图像模型的与拍摄角度相对应的模型图像；

确定满足设定条件的所述模型图像所对应的三维图像模型为所述电力设备的三维图像模型，其中，所述设定条件为所述模型图像与所述电力设备图像的相似度大于设定阈值。

可选的，第一确定模块用于根据电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定电力设备的第二坐标位置时，具体用于：

根据电力设备图像和第二设备图像，确定电力设备图像中的电力设备与第二设备图像中的电力设备的比例关系；

根据比例关系、拍摄角度和第一坐标位置，确定电力设备的第二坐标位置。

本申请基于预设比例根据拍摄角度从三维图像模型提取第二设备图像，再利用电力设备图像和第二设备图像，识别得到电力设备的设备隐患，以及，利用电力设备图像、第二设备图像、拍摄角度和第一坐标位置，来确定相应的第二坐标位置；一方面，基于第二设备图像识别设备隐含，使得设备隐患识别更精准，另一方基于第二设备图像确定第二坐标位置，使得仅利用一个第一坐标位置（无需两个或两个以上的第一坐标位置）即可计算得到电力设备的第二坐标位置，无需多角度拍摄定位，降低定位成本。

附图说明

图1为本申请一个实施方式中的一种基于图像识别的电力隐患识别方法的一种流程图。

图2为本申请一个实施方式中的一种基于图像识别的电力隐患识别方法的另一种流程图。

图3为本申请一个实施方式中的一种基于图像识别的电力隐患识别系统的框图。

具体实施方式

为了便于本领域技术人员的理解，下面结合具体实施例对本发明作进一步的说明。

本技术领域技术人员可以理解，除非特意声明，本申请使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。此外，这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面对本申请实施例可能涉及的应用场景进行说明，以变电站为例，基于图像识别的电力隐患识别方法的应用场景中包括计算机系统和设备巡检机器人，设备巡检机器人在变电站内移动巡检，其中，设备巡检机器人具备可调整拍摄角度的摄像头和定位芯片，摄像头用于拍摄电力设备的电力设备图像，设备巡检机器人可记录摄像头的拍摄角度，设备巡检机器人的定位芯片可定位设备巡检机器人自身的坐标位置，设备巡检机器人将电力设备图像、拍摄角度、坐标位置发送给计算机系统；计算机系统可执行本申请实施例的方法，其中，计算机系统内构建有变电站的三维场景模型，且，本申请中的三维场景模型中的电力设备的三维模型做了特殊处理，即将电力设备的三维模型的尺寸与电力设备的实际尺寸设置成设定比例的关系。

计算机系统可包括处理单元，其可以根据存储在只读存储器（ROM）中的程序或者从存储部分加载到随机访问存储器（RAM）中的程序而执行上述附图所示的实施方式中的各种处理。在RAM中，还存储有系统操作所需的各种程序和数据。处理单元、ROM以及RAM通过总线彼此相连。输入/输出（I/O）接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。其中，处理单元可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

下面将结合图1所示实施例对本申请实施例提供的数据处理方法进行介绍。

参见图1，一种基于图像识别的电力隐患识别方法，包括：

S1、获取电力设备巡检机器人的第一坐标位置、电力设备巡检机器人拍摄的电力设备图像以及拍摄角度；

此处，电力设备巡检机器人的第一坐标位置即电路设备巡检机器人自身的坐标位置。

在一个可选实施方式中，参见图2，步骤S2之前，还可以包括：

根据拍摄角度，从多个三维图像模型提取与拍摄角度相对应的模型图像；

确定满足设定条件的模型图像所对应的三维图像模型为电力设备的三维图像模型，其中，设定条件为模型图像与电力设备图像的相似度大于设定阈值。

本申请实施方式的技术方案，用于在众多三维图像模型中找到当前的电力设备的三维模型，具体的，利用拍摄角度提取每个三维图像模型中的二维的模型图像，若三维图像模型是当前的电力设备对应的三维图像模型，那么相应的模型图像与电力设备图像应该非常相似，基于此，本申请实施例中以其相似度是否大于设定阈值来判断哪个三维图像模型是当前的电力设备的图像模型。其中，与拍摄角度相对应的模型图像指的是三维图像模型按拍摄角度作为视角所生成的二维图像，本实施方式中的技术方案可以利用程序实现，达到自动获得电力设备图像中的电力设备所对应的三维图像模型的目的，其中，设定阈值可以根据需要设置，例如，设定阈值设置所成90%。

在提取多个三维图像模型的与拍摄角度相对应的模型图像时，可以先从预先设置的三维图像模型库中选择多个三维图像模型。具体的，可以根据预先训练的设备识别模型识别电力设备图像中的电力设备的设备类别，根据设备类别选择相应类别的多个三维图像模型，进而提取该相应类别的多个三维图像模型的与拍摄角度相对应的模型图像。其中，该设备识别模型在训练时，以电力设备的现场拍摄图像作为输入，以现场拍摄图像中空间占比最高的电力设备的设备类别作为输出。

具体的，确定满足设定条件的模型图像所对应的三维图像模型为电力设备的三维图像模型时，需要确定模型图像与电力设备图像是否满足预设条件，确定模型图像与电力设备图像是否满足预设条件需要计算模型图像与电力设备图像的相似度。

具体的，根据上述电力设备图像中的电力设备的设备类别，确定模型图像与电力设备图像的相似度的计算方法。

作为可选实施方式，计算模型图像与电力设备图像的相似度，包括：

根据预先训练的设备识别模型识别电力设备图像中的电力设备的设备类别；

根据设备类别，确定特征类别，特征类别包括图像特征和区域特征，其中，特征类别包括用于表示轮廓特征优先的第一类别和用于表示区域特征优先的第二类别，其中，每个设备类别与特征类别的对应关系可以由专家根据经验预先设置；

在电力设备图像中的电力设备的设备类别是第一类别时，根据模型图像的轮廓特征与电力设备图像的轮廓特征判断模型图像与电力设备图像的相似度；

在电力设备图像中的电力设备的设备类别是第二类别时，根据模型图像的区域特征与电力设备图像的区域特征判断模型图像与电力设备图像的相似度。

S2、根据拍摄角度从电力设备的三维图像模型中提取对应的第一设备图像，其中，电力设备的三维图像模型根据电力设备的实际尺寸按设定比例生成；

此处，提取电力设备的三维图像模型沿着垂直拍摄角度的平面的投影，即第一设备图像，可以理解为以拍摄角度查看三维图像模型时对应的二维图像。

其中，可以知道的，此处得到的第一设备图像的尺寸与电力设备的实际尺寸是成设定比例的。设定比例可以根据需要设置，例如设置为1:2、1:5等等。

S3、根据第一设备图像以及设定比例，生成电力设备的第二设备图像，以使电力设备的第二设备图像的大小与电力设备的尺寸一致；

此处，当设定比例是1:2时，第一设备图像的尺寸（单位为mm×mm）乘以2，即第二设备图像，该第二设备图像的图像尺寸与电力设备的实际尺寸一致。

S4、根据电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定电力设备的第二坐标位置；

此处，由于第二设备图像与电力设备的实际尺寸一致，所以基于相机（摄像头）的焦距f、拍摄角度、第一坐标位置、第二设备图像、电力设备图像确定第二坐标位置。

此处的比例关系指的是大小的比例关系，具体可以是图像中设备对角线的比例；由于第二设备图像中电力设备的图像尺寸与电力设备实际尺寸一致。故根据比例关系、拍摄角度和电力设备巡检机器人的相机参数，可以确定电力设备相对电力设备巡检机器人的坐标关系。具体的，确定物体距离相机距离D为多少时（此处可根据测试得到，也可以根据相机各参数计算得到），其拍摄的图像尺寸与物体实际尺寸一致，那么可以根据D值、比例关系、以及相机参数（焦距）确定相机与电力设备之间的距离，再根据拍摄角度以及相机与电力设备之间的距离，可以确定电力设备相对电力设备巡检机器人（即相机）的坐标关系。其中，可以知道的，电力设备巡检机器人的定位设备可设置在相机处。

具体的，以比例关系为L、物体距离相机距离D、相机（摄像头）焦距f为例，可以根据公式d/ (D-f) =L，计算摄像头与电力设备的当前距离d，根据当前距离d以及拍摄角度、第一坐标位置，可计算得到第二坐标位置。由于拍摄角度、距离D、第一坐标位置已知晓，所以第二坐标位置可以计算得到，此处不再详细描述。

综上，作为S4的可选实施方式，S4包括：

S41、根据电力设备图像和第二设备图像，确定电力设备图像中的电力设备与第二设备图像中的电力设备的比例关系；

S42、根据比例关系、拍摄角度和第一坐标位置，确定电力设备的第二坐标位置。

为了便于提取上述比例关系，作为S41的可选实施方式，S41包括：

根据电力设备图像，提取电力设备图像中的拍摄完整的设备部件的第一部件图像；

根据第二设备图像，提取第二设备图像中的设备部件的第二部件图像；

根据第一部件图像与第二部件图像，确定电力设备图像中的电力设备与第二设备图像中的电力设备的比例关系。

此处的第一部件图像和第二部件图像是同一个部件的部件图像，区别在于第一部件图像是电力设备图像中的部件的图像，而第二部件图像是第二设备图像中的同一部件的图像。此处，设备部件可以是显示屏等，采用部件图像计算比例关系，可以防止电力设备图像拍摄不全，导致无法计算比例关系的问题。

作为S42的可选实施方式，所述 S42包括：

根据所述比例关系、拍摄角度和电力设备巡检机器人的相机参数，确定所述电力设备相对电力设备巡检机器人的坐标关系；

根据所述坐标关系和第一坐标位置，确定所述第二坐标位置。

此处，即根据所述比例关系和电力设备巡检机器人的相机参数，可以计算电力设备与电力设备巡检机器人的距离；该距离结合拍摄角度，可以计算电力设备与电力设备巡检机器人的距离的坐标关系，基于坐标关系和第一坐标位置可以确定第二坐标位置。

S5、根据电力设备图像和第二设备图像，确定电力设备的设备隐患；

此处可以通过比对电力设备图像和第二设备图像是否不同，来判断电力设备的设备隐患。

具体的，也可以通过训练的设备隐患识别模型来识别电力设备的设备隐患，S5包括：

提取电力设备图像的特征向量；

提取第二设备图像的特征向量；

将电力设备图像的特征向量与第二设备图像的特征向量输入预先训练的设备隐患识别模型，得到电力设备的设备隐患。

可以知道的，设备隐患识别模型训练样本进行训练，训练样本包括作为输入的训练用电力设备图像的特征向量和训练用第二设备样本图像的特征向量，以及作为输出的具体的设备隐患。

作为可选的，电力设备图像的特征向量包括电力设备图像的像素值点矩阵；第二设备图像的特征向量包括第二设备图像的像素值点矩阵。

S6、在电力设备的设备隐患是设备故障时，根据第二坐标位置在预设的场景模型中显示电力设备图像以及隐患信息。

在场景模型中显示电力设备图像以及隐患信息时，隐患信息可以是 “设备故障”。

作为可选实施方式，S1前还包括：

从服务器获取电力设备的至少两个第三设备图像，其中，至少两个第三设备图像包括至少两个以不同拍摄方向拍摄同一电力设备所得到的图像；

获取每个设备图像对应的拍摄方向；此处，可以由人工标识设备图像对应的拍摄方向，然后有执行本申请方法的计算机设备获取设备图像对应的拍摄方向。

获取预先设置的所述电力设备的标准方向；此处的标准方向可以预先由专家设置，可根据特征结构选择作为标准方向，其中，特征结构是指与其他电子设备区别的结构，例如，电力设备的控制装置是特征结构，那么可以选择控制装置朝向的反方向作为标准方向，以使标准方向拍摄电力设备时，可以清楚的显示该控制装置。

根据标准方向以及每个第三设备图像对应的拍摄方向，确定标准图像以及辅助图像，其中，标准图像是与标准方向夹角最小的拍摄方向所对应的第三设备图像，辅助图像是除标准图像外的所有第三设备图像；此处拍摄方向R1与标准方向R2夹角的r度， 且r度时候所有拍摄方向与标准方向的夹角的最小值时，拍摄方向R1对应的第三设备图像为标准图像，其他的第三设备图像为辅助图像。

生成标准图像对应的三维网格模型，以作为标准模型；此处，可以采用现有模型，如Pixel2Mesh（全称Generating 3D Mesh Models from Single RGB Images）模型。

计算所有设备图像对应的灰度图的灰度均值；此处，可以根据灰度化处理每个所述设备图像，得到待处理灰度图；计算每个所述待处理灰度图的灰度差，其中，所述待处理灰度图的灰度差是所述待处理灰度图中所有相邻像素点的灰度值之差的绝对值之和；根据每个所述待处理灰度图的灰度差以及所有所述待处理灰度图的像素点总和，确定灰度差均值。

根据灰度均值，对辅助图像进行中值滤波处理；此处，可以根据灰度均值的所处的范围，确定中值滤波处理的像素邻域，并根据该像素邻域对辅助图像进行中值滤波处理。

生成每个中值滤波处理后的辅助图像所对应的三维网格模型，以作为辅助模型；此处可以采用现有模型，如Pixel2Mesh（全称Generating 3D Mesh Models from SingleRGB Images）模型。

根据辅助模型以及对应辅助图像的拍摄方向，优化标准模型，得到目标模型；此处，可以根据拍摄方向，从辅助模型选择部分模型，将该部分模型替换到目标准模型，以克服标准模型因为单帧图像设备侧面、背面图像信息缺失，而导致标准模型背面精度低的问题。

根据第三设备图像的色彩调整目标模型的色彩；此处，可以将第二设备图像的色彩提取出来，并替换到目标模型图像。

根据设定比例以及电力设备的实际尺寸，调整目标模型的尺寸，以得到电力设备的三维图像模型。此处，可以根据设定比例和电力设备的实际尺寸的乘积确定目标尺寸，根据目标尺寸调整目标模型的尺寸。

通过实施本公开的技术方案可以取得以下有益技术效果：本申请基于预设比例，根据拍摄角度从三维图像模型提取第二设备图像，利用电力设备图像和第二设备图像，识别得到电力设备的设备隐患，以及，利用电力设备图像、第二设备图像、拍摄角度和第一坐标位置，来确定相应的第二坐标位置；一方面，基于第二设备图像识别设备隐含，使得设备隐患识别更精准；另一方面，由于本是基于拍摄角度得到第二设备图像，所以本申请可以根据任意拍摄角度的电力设备图像计算第二坐标位置，由于第二设备图像包含电力设备的尺寸，所以此处利用一个第一坐标位置即可计算得到电力设备的第二坐标位置，无需多角度定位，降低了监控成本。

参见图3，一种基于图像识别的电力隐患识别系统，包括：

获取模块301，用于获取电力设备巡检机器人的第一坐标位置、电力设备巡检机器人拍摄的电力设备图像以及拍摄角度；

图像提取模块302，用于根据拍摄角度从电力设备的三维图像模型中提取对应的第一设备图像，其中，电力设备的三维图像模型根据电力设备的实际尺寸按设定比例生成；

图像生成模块303，用于根据第一设备图像以及设定比例，生成电力设备的第二设备图像，以使电力设备的第二设备图像的大小与电力设备的尺寸一致；

第一确定模块304，用于根据电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定电力设备的第二坐标位置；

第二确定模块305，用于根据电力设备图像和第二设备图像，确定电力设备的设备隐患；

显示模块306，用于在电力设备的设备隐患是设备故障时，根据第二坐标位置在预设的场景模型中显示电力设备图像以及隐患信息。

在一个实施方式中，系统还包括三维图像模型确定模型，用于：

根据拍摄角度，提取多个三维图像模型的与拍摄角度相对应的模型图像；

确定满足设定条件的模型图像所对应的三维图像模型为电力设备的三维图像模型，其中，设定条件为模型图像与电力设备图像的相似度大于设定阈值。

在一个实施方式中，第一确定模块用于根据电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定电力设备的第二坐标位置时，具体用于：

根据电力设备图像和第二设备图像，确定电力设备图像中的电力设备与第二设备图像中的电力设备的比例关系；

根据比例关系、拍摄角度和第一坐标位置，确定电力设备的第二坐标位置。

在一个实施方式中，第一确定模块用于根据电力设备图像和第二设备图像，确定电力设备图像中的电力设备与第二设备图像中的电力设备的比例关系时，具体用于：

根据电力设备图像，提取电力设备图像中的拍摄完整的设备部件的第一部件图像；

根据第二设备图像，提取第二设备图像中的设备部件的第二部件图像；

根据第一部件图像与第二部件图像，确定电力设备图像中的电力设备与第二设备图像中的电力设备的比例关系。

在一个实施方式中，第一确定模块在根据比例关系、拍摄角度和第一坐标位置，确定电力设备的第二坐标位置时，具体用于：

根据比例关系、拍摄角度和电力设备巡检机器人的相机参数，确定电力设备相对电力设备巡检机器人的坐标关系；

根据坐标关系和第一坐标位置，确定第二坐标位置。

在一个实施方式中，第二确定模块在根据电力设备图像、拍摄角度以及三维图像模型，确定电力设备的设备隐患，具体用于：

获取电力设备的第二设备图像，其中，电力设备的第二设备图像根据拍摄角度对应的第一设备图像以及设定比例生成，其中，拍摄角度对应的第一设备图像根据拍摄角度从电力设备的三维图像模型中提取得到；

根据电力设备图像和第二设备图像，确定电力设备的设备隐患。

在一个实施方式中，系统还包括信息发送模块，用于在电力设备的设备隐患是设备故障时，根据历史巡检记录，确定电力设备的巡检人员的唯一编码，根据巡检人员的唯一编码向巡检人员发送隐患信息。

本申请还公开了一种电子设备，包括存储器和处理器，存储器用于存储计算机指令，计算机指令被处理器执行以实现本申请实施例任一项的方法。

本申请还公开了一种可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时以实现本申请实施例任一项所述的方法。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (10)

1.基于图像识别的电力隐患识别方法，其特征在于，包括：

S1、获取电力设备巡检机器人的第一坐标位置、电力设备巡检机器人拍摄的电力设备图像以及拍摄角度；

S2、根据所述拍摄角度从所述电力设备的三维图像模型中提取对应的第一设备图像，其中，所述电力设备的三维图像模型根据所述电力设备的实际尺寸按设定比例生成；

S3、根据所述第一设备图像以及所述设定比例，生成所述电力设备的第二设备图像，以使所述电力设备的第二设备图像的大小与所述电力设备的尺寸一致；

S4、根据所述电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定所述电力设备的第二坐标位置；

S5、根据所述电力设备图像和第二设备图像，确定所述电力设备的设备隐患；

S6、在所述电力设备的设备隐患是设备故障时，根据所述第二坐标位置在预设的场景模型中显示所述电力设备图像以及隐患信息。

2.根据权利要求1所述的方法，其特征在于，在S2之前，所述方法还包括：

根据所述拍摄角度，从多个三维图像模型提取与拍摄角度相对应的模型图像；

确定满足设定条件的模型图像所对应的三维图像模型为所述电力设备的三维图像模型，其中，所述设定条件为模型图像与所述电力设备图像的相似度大于设定阈值。

3.根据权利要求1所述的方法，其特征在于，所述S4包括：

S41、根据所述电力设备图像和第二设备图像，确定所述电力设备图像中的电力设备与所述第二设备图像中的电力设备的比例关系；

S42、根据所述比例关系、拍摄角度和第一坐标位置，确定所述电力设备的第二坐标位置。

4.根据权利要求3所述的方法，其特征在于，所述S41包括：

根据所述电力设备图像，提取所述电力设备图像中的拍摄完整的设备部件的第一部件图像；

根据所述第二设备图像，提取所述第二设备图像中的设备部件的第二部件图像；

根据所述第一部件图像与所述第二部件图像，确定所述电力设备图像中的电力设备与所述第二设备图像中的电力设备的比例关系。

5.根据权利要求3所述的方法，其特征在于，所述 S42包括：

根据所述比例关系、拍摄角度和电力设备巡检机器人的相机参数，确定所述电力设备相对电力设备巡检机器人的坐标关系；

根据所述坐标关系和第一坐标位置，确定所述第二坐标位置。

6.根据权利要求1所述的方法，其特征在于，所述S5包括：

提取所述电力设备图像的特征向量；

提取所述第二设备图像的特征向量；

将所述电力设备图像的特征向量与所述第二设备图像的特征向量输入预先训练的设备隐患识别模型，得到所述电力设备的设备隐患。

7.根据权利要求1所述的方法，其特征在于，所述S1前还包括：

从服务器获取所述电力设备的至少两个第三设备图像，其中，所述至少两个第三设备图像包括至少两个以不同拍摄方向拍摄同一所述电力设备所得到的图像；

获取每个所述设备图像对应的拍摄方向；

获取预先设置的所述电力设备的标准方向；

根据所述标准方向以及每个所述第三设备图像对应的拍摄方向，确定标准图像以及辅助图像，其中，所述标准图像是与标准方向夹角最小的拍摄方向所对应的第三设备图像，所述辅助图像是除标准图像外的所有第三设备图像；

生成所述标准图像对应的三维网格模型，以作为标准模型；

计算所有所述设备图像对应的灰度图的灰度均值；

根据所述灰度均值，对所述辅助图像进行中值滤波处理；

生成每个中值滤波处理后的所述辅助图像所对应的三维网格模型，以作为辅助模型；

根据所述辅助模型以及对应所述辅助图像的拍摄方向，优化所述标准模型，得到目标模型；

根据第三设备图像的色彩调整所述目标模型的色彩；

根据所述设定比例以及所述电力设备的实际尺寸，调整所述目标模型的尺寸，以得到所述电力设备的三维图像模型。

8.一种基于图像识别的电力隐患识别系统，其特征在于，包括：

获取模块，用于获取电力设备巡检机器人的第一坐标位置、电力设备巡检机器人拍摄的电力设备图像以及拍摄角度；

图像提取模块，用于根据所述拍摄角度从所述电力设备的三维图像模型中提取对应的第一设备图像，其中，所述电力设备的三维图像模型根据所述电力设备的实际尺寸按设定比例生成；

图像生成模块，用于根据所述第一设备图像以及所述设定比例，生成所述电力设备的第二设备图像，以使所述电力设备的第二设备图像的大小与所述电力设备的尺寸一致；

第一确定模块，用于根据所述电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定所述电力设备的第二坐标位置；

第二确定模块，用于根据所述电力设备图像和第二设备图像，确定所述电力设备的设备隐患；

显示模块，用于在所述电力设备的设备隐患是设备故障时，根据所述第二坐标位置在预设的场景模型中显示所述电力设备图像以及隐患信息。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括三维图像模型确定模型，用于：

根据所述拍摄角度，提取多个三维图像模型的与拍摄角度相对应的模型图像；

确定满足设定条件的所述模型图像所对应的三维图像模型为所述电力设备的三维图像模型，其中，所述设定条件为所述模型图像与所述电力设备图像的相似度大于设定阈值。

10.根据权利要求9所述的系统，其特征在于，第一确定模块用于根据电力设备图像、拍摄角度、第一坐标位置和第二设备图像，确定电力设备的第二坐标位置时，具体用于：

根据电力设备图像和第二设备图像，确定电力设备图像中的电力设备与第二设备图像中的电力设备的比例关系；

根据比例关系、拍摄角度和第一坐标位置，确定电力设备的第二坐标位置。

Images