CN115984759A - 变电站开关状态识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种变电站开关状态识别方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取巡检设备在预设采集区域采集的巡检图像；基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行图像对齐操作，得到对齐后的巡检图像；获取对齐后的巡检图像的感兴趣区域，对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。采用本方法能够有效避免了由于巡检设备采集的巡检图像与标准图像存在偏差，导致不能正确检测对应目标的情况产生，提高了变电站开关状态识别精度。

Description

变电站开关状态识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及机器人技术领域，特别是涉及一种变电站开关状态识别方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

对变电站的电气控制柜进行周期性巡视是保证变电站安全可靠运行的重要步骤，当前变电站主要采用人工巡视、悬挂轨道式巡检机器人和地面式巡检机器人的方式来监测电气柜开关的运行状态。其中，人工方式需要工作人员花费大量的人力、物力去对电气控制柜进行周期性巡视；悬挂轨道式巡检机器人，铺设导轨复杂，巡检线路固定，改造及更换困难；地面式巡检机器人应用激光导航或视觉导航，能够自主和灵活移动，部署简单方便，通过搭载彩色相机和红外相机，周期自动巡检电力关键设备，降低人力巡检成本和及时发现设备故障。

然而，目前机器人导航技术限制，使用巡检机器人进行变电站电气柜开关状态识别，容易导致机器人采集得到的图像与标准图像存在一定偏差，使得巡检机器人不能正确检测到对应目标，开关状态识别精度较差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高变电站开关状态识别精度的变电站开关状态识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种变电站开关状态识别方法。所述方法包括：

获取巡检设备在预设采集区域采集的巡检图像；

基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对所述巡检图像与所述标准图像执行图像对齐操作，得到对齐后的巡检图像；

获取对齐后的巡检图像的感兴趣区域，对所述感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

在其中一个实施例中，所述基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对所述巡检图像与所述标准图像执行对齐操作，得到对齐后的巡检图像，包括：

基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵，所述单应性矩阵用于表征所述巡检关键点与所述标准关键点之间的对应关系；

获取所述标准图像的感兴趣区域，所述标准图像的感兴趣区域上预先部署有旋钮开关的标注框；

根据所述单应性矩阵与所述旋钮开关的标注框，对所述巡检图像进行透视变换，将所述巡检图像映射到所述标准图像上，得到对齐后的巡检图像。

在其中一个实施例中，所述基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵，包括：

获取所述巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点；

计算所述初始巡检关键点与所述标准关键点的相似度，将所述相似度大于预设相似度阈值的关键点确定为巡检关键点；

基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵。

在其中一个实施例中，所述基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵，包括：

对各所述巡检关键点与预先部署的标准图像的标准关键点执行特定图像提取操作，得到各所述巡检关键点对应的巡检关键图像，以及各所述标准关键点对应的标准关键图像；

根据所述巡检关键图像与所述标准关键图像进行图像匹配操作，得到各匹配关键组的匹配分数；

将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组；

基于各所述目标匹配关键组获得所述巡检图像与所述标准图像的单应性矩阵。

在其中一个实施例中，所述对所述感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态，包括：

对所述感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像；

搜寻所述处理后的感兴趣区域图像的开关连通区域；

通过几何二阶矩，计算所述开关连通区域角度，得到旋钮开关角度；

将所述旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

在其中一个实施例中，在所述获取对齐后的巡检图像的感兴趣区域步骤之后，还包括：

将所述感兴趣区域输入到预设神经网络中，识别所述感兴趣区域中是否存在旋钮开关图像；

若不存在，则生成提示信息，提示图像对齐失败，结束开关状态识别。

第二方面，本申请还提供了一种变电站开关状态识别装置。所述装置包括：

图像获取模块，用于获取巡检设备在预设采集区域采集的巡检图像；

图像对齐模块，用于基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对所述巡检图像与所述标准图像执行图像对齐操作，得到对齐后的巡检图像；

开关状态识别模块，用于获取对齐后的巡检图像的感兴趣区域，对所述感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述变电站开关状态识别方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述变电站开关状态识别方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述变电站开关状态识别方法的步骤。

上述变电站开关状态识别方法、装置、计算机设备、存储介质和计算机程序产品，在获取到巡检设备采集得到的巡检图像后，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像进行对齐操作，得到对齐后的巡检图像，通过基于对齐后的巡检图像进行旋钮开关角度识别，得到变电站的旋钮开关状态，有效避免了由于巡检设备采集的巡检图像与标准图像存在偏差，导致不能正确检测对应目标的情况产生，提高了变电站开关状态识别精度。

附图说明

图1为一个实施例中变电站开关状态识别方法的应用环境图；

图2为一个实施例中变电站开关状态识别方法的流程示意图；

图3为一个实施例中基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行对齐操作，得到对齐后的巡检图像步骤的流程示意图；

图4为一个实施例中基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵步骤的流程示意图；

图5为另一个实施例中基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵步骤的流程示意图；

图6为一个实施例中对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态步骤的流程示意图；

图7为另一个实施例中变电站开关状态识别方法的流程示意图；

图8为一个实施例中变电站开关状态识别装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的变电站开关状态识别方法，可以应用于如图1所示的应用环境中。其中，巡检设备102通过网络与识别平台104进行通信。数据存储系统可以存储识别平台104需要处理的数据。数据存储系统可以集成在识别平台104上，也可以放在云上或其他网络服务器上。识别平台104获取巡检设备102在预设采集区域采集得到的巡检图像，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行图像对齐操作，得到对齐后的巡检图像，获取对齐后巡检图像的感兴趣区域，对感兴趣区域图中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。其中，巡检设备102可以但不限于是各种能够完成图像采集的设备，例如各种巡检机器人等。识别平台104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种变电站开关状态识别方法，以该方法应用于图1中的识别平台为例进行说明，包括以下步骤：

步骤202，获取巡检设备在预设采集区域采集的巡检图像。

其中，巡检设备为对变电站的预设采集区域进行巡检并采集图像的设备，巡检设备可以配备有常用的导航功能，例如激光导航、雷达导航或视觉导航功能等，能够在变电站的预设采集区域自主灵活移动，同时巡检设备上配置有对应的图像采集部件，例如彩色相机、红外相机等，能够在对变电站的预设采集区域进行巡检同时采集相应的巡检图像，以供后续工作人员分析使用。

在其中一个实施例中，巡检设备的图像采集部件还可以和云台等稳定器搭配使用。

预设采集区域为工作人员预先根据巡检需求部署的图像采集区域，可以认为是预设的定点采集区域。为了能够最大程度保证巡检设备采集的巡检图像都能够包含待识别区域，工作人员预先在巡检区域的固定位置部署了固定的图像采集区域，当变电站开关状态的识别需求时，控制巡检设备移动至预设采集区域进行图像采集，可以提高巡检设备采集的巡检图像中包含识别区域的可能性。

具体地，当有变电站开关状态的识别需求时，工作人员控制巡检设备移动至预设采集区域，控制巡检设备调整到图像采集姿势，对变电站的目标设备进行图像采集，得到巡检图像。识别平台获取巡检设备采集的巡检图像。

在其中一个实施例中，识别平台在获取巡检图像后，可以先对巡检图像进行降噪处理。

步骤204，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行图像对齐操作，得到对齐后的巡检图像。

其中，标准图像为工作人员预先通过巡检设备在预设采集区域采集得到的最优图像，最优图像可以反应拍摄变电站的目标识别设备的最佳角度、距离以及拍摄高度等信息。

其中，巡检关键点为能够反映巡检图像显著特征的特征点，标准图像的标准关键点为能够反映标准图像显著特征的特征点。可以理解的，关键点可以是sift、surf、fastfeature等特征点。

在其中一个实施例中，巡检图像的巡检关键点由识别平台从巡检图像中实时获取。

在其中一个实施例中，标准图像的标准关键点可以是由识别平台从标准图像中实时获取，也可以是在工作人员部署了标准图像后直接获取，随后存储在识别平台中，方便后续直接获取使用。

在其中一个实施例中，识别平台在获取图像的关键点时，可以先对图像进行下采样处理，便于加快后续关键点提取的速度。

具体地，识别平台获取巡检图像的巡检关键点，同时获取预先部署的标准图像的标准关键点，基于巡检图像的巡检关键点与标准图像的标准关键点，对巡检图像与标准图像进行图像对齐操作，得到对齐后的巡检图像。

步骤206，获取对齐后的巡检图像的感兴趣区域，对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

其中，感兴趣区域(Region of interest，ROI)是机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆或不规则多边形等标记框勾勒出的需要处理的区域，这个区域中的图像是图像分析所关注的重点，通过感兴趣区域圈定需要重点关注的目标，可以有效减少后续的处理时间，提高处理精度。

具体地，工作人员在部署标准图像时即在标准图像处标注了感兴趣区域，而将巡检图像与标准图像对齐后，即可根据标准图像的感兴趣区域确定巡检图像的感兴趣区域，识别平台获取对齐后的巡检图像的感兴趣区域，对感兴趣区域中包含的旋钮开关图像进行旋钮开关角度识别，得到变电站旋钮开关的角度，从而确定变电站旋钮开关的状态。

上述变电站开关状态识别方法中，在获取到巡检设备采集得到的巡检图像后，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像进行对齐操作，得到对齐后的巡检图像，通过基于对齐后的巡检图像进行旋钮开关角度识别，得到变电站的旋钮开关状态，有效避免了由于巡检设备采集的巡检图像与标准图像存在偏差，导致不能正确检测对应目标的情况产生，提高了变电站开关状态识别精度。

图像对齐操作是解决巡检设备采集图像可能存在偏差的有效操作，在一个实施例中，如图3所示，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行对齐操作，得到对齐后的巡检图像，包括：

步骤302，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵，单应性矩阵用于表征巡检关键点与标准关键点之间的对应关系。

其中，单应性矩阵是指将两个不同视角的图像上的点进行对应，以便进行投影变换的矩阵表述，单应性矩阵可以表征巡检关键点与标准关键点之间的对应关系。

具体地，识别平台在获取了巡检图像的巡检关键点，以及标准图像的标准关键点后，由于巡检图像与标准图像均是由巡检设备在预设图像采集区域进行采集得到的图像，可以认为是不同视角的两个图像，因此，识别平台可以根据巡检关键点与标准关键点得到单应性矩阵，以表征巡检关键点与标准关键点之间的对应关系。

步骤304，获取标准图像的感兴趣区域，标准图像的感兴趣区域上预先部署有旋钮开关的标注框。

具体地，工作人员在部署标准图像时，对标准图像中的旋钮开关图像部分使用标注框进行标注，得到标注图像的感兴趣区域。识别平台获取标注图像的感兴趣区域。

步骤306，根据单应性矩阵与旋钮开关的标注框，对巡检图像进行透视变换，将巡检图像映射到标准图像上，得到对齐后的巡检图像。

具体地，识别平台根据得到的单应性矩阵，对巡检图像进行透视变换，将视角变换后的巡检图像映射到标准图像上，得到对齐后的巡检图像，可以理解的，对齐后的巡检图像上存在有对应的感兴趣区域。

本实施例中，通过巡检关键点与标准关键点得到巡检图像与标准图像的单应性矩阵，基于单应性矩阵将巡检图像变换视角后投射到标准图像上，并根据标准图像的感兴趣区域标准框，得到巡检图像对应的感兴趣区域，提高了巡检图像感兴趣区域确定的准确性，同时也为后续根据巡检图像的感兴趣区域进行变电站开关状态识别提供了数据基础。

进一步的，在一个实施例中，如图4所示，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵，包括：

步骤402，获取巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点。

其中，初始巡检关键点是从巡检图像中直接进行关键点提取得到的关键点。

具体地，识别平台对巡检图像进行关键点提取，得到巡检图像的初始巡检关键点，同时获取预先部署的标准图像的标准关键点。

在其中一个实施例中，识别平台利用FastFeature对巡检图像进行特征关键点提取，得到巡检图像的初始巡检关键点。

步骤404，计算初始巡检关键点与标准关键点的相似度，将相似度大于预设相似度阈值的关键点确定为巡检关键点。

其中，预设相似度阈值是用于判断初始巡检关键点与标准关键点是否匹配失误的阈值，预设相似度阈值由设计人员预先根据经验或实际情况设置。

具体地，识别平台通过相似度算法对初始巡检关键点与标准关键点进行相似度匹配，计算初始巡检关键点与标准关键点的相似度，将相似度与预设相似度阈值进行比较，将相似度大于预设相似度阈值的关键点确定为巡检关键点。

在其中一个实施例中，识别平台可以根据初始巡检关键点与标准关键点的特征向量的相似度进行相似度匹配。

步骤406，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵。

具体地，识别平台可以根据巡检关键点与标准关键点得到巡检图像与标准图像的单应性矩阵，以表征巡检关键点与标准关键点之间的对应关系。

上述实施例中，识别平台在提取了巡检图像的初始巡检关键点后，将初始巡检关键点与标准关键点进行相似度匹配，剔除相似度小于预设相似度阈值的关键点，将相似度大于预设相似度阈值的关键点确定为巡检关键点，根据筛选后的巡检关键点与标准关键点得到单应性矩阵，通过对初始巡检关键点进行相似度筛选，可以有效避免关键点提取不准确，以及关键点匹配失误的情况发生，提高了关键点提取的准确性。

为了得到更加精准的单应性矩阵，在一个实施例中，如图5所示，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵，包括：

步骤502，对各巡检关键点与预先部署的标准图像的标准关键点执行特定图像提取操作，得到各巡检关键点对应的巡检关键图像，以及各标准关键点对应的标准关键图像。

其中，特定图像提取操作是指以各关键点为中心，按照预设图像尺寸进行图像提取的操作。可以理解的，为了后续更好的进行图像匹配操作，预设图像尺寸根据关键点的不同而不同，巡检关键点对应有巡检关键图像的预设尺寸，标准关键点对应有标准关键图像的预设尺寸。例如，巡检关键图像的预设尺寸的宽w＝64，高h＝64，标准关键图像的预设尺寸的宽w＝32，高h＝32。

具体地，识别平台分别以各巡检关键点作为中心，按照巡检关键图像的预设尺寸，执行图像提取操作，得到各巡检关键点对应的巡检关键图像；分别以各标准关键点为中心，按照标准关键图像的预设尺寸，执行图像提取操作，得到各标准关键点对应的标准关键图像。可以理解的，巡检关键图像与标准关键图像可以认为是巡检关键点与标准关键点的感兴趣区域。

步骤504，根据巡检关键图像与标准关键图像进行图像匹配操作，得到各匹配关键组的匹配分数。

具体地，以标准关键图像为模板图像，以巡检关键图像为搜索图像进行图像匹配操作，识别平台一标准关键图像为目标图像在巡检关键图像中进行搜索，得到各巡检关键图像与标准关键图像匹配后的匹配关键组的匹配分数，匹配分数用于衡量巡检关键图像与标准关键图像的相似度。

步骤506，将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组。

其中，预设分数阈值是用于评价巡检关键图像与标准关键图像是否匹配的预设阈值参数，若匹配分数小于预设分数阈值，则说明当前匹配关键组对应的巡检关键图像与标准关键图像并不相似，无法匹配。若匹配分数大于预设分数阈值，则说明当前匹配关键组对应的巡检关键图像与标准关键图像足够相似，可以匹配。

具体地，识别平台将各匹配关键组的匹配分数与预设分数阈值进行比较，并保留匹配分数大于预设分数阈值的匹配关键组作为目标匹配关键组。

步骤508，基于各目标匹配关键组获得巡检图像与标准图像的单应性矩阵。

具体地，识别平台基于各目标匹配关键组确定巡检图像与标准图像的单应性矩阵。

本实施例中，识别平台通过获取各巡检关键点的巡检关键图像与各标准关键点的标准关键图像，并分别将巡检关键图像与标准关键图像进行匹配，保留匹配分数大于预设分数阈值的目标匹配关键组，可以进一步对提取的巡检关键点进行过滤，提高关键点提取的准确性。而基于目标匹配关键组获取巡检图像与标准图像的单应性矩阵，也为后续获取准确的巡检图像感兴趣区域提供了数据基础。

在确定了巡检图像的感兴趣区域后，即可继续对变电站的旋钮开关状态进行识别，在一个实施例中，如图6所示，对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态，包括：

步骤602，对感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像。

其中，模糊处理是用于对感兴趣区域的图像进行降低噪声干扰的处理步骤。

二值化处理是图像分割的一种最简单的方法。二值化可以把灰度图像转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值，从而实现二值化。

具体地，识别平台对感兴趣区域的图像进行模糊处理，降低噪声干扰，随后，根据获取的二值化阈值，对感兴趣区域的图像进行二值化处理，得到处理后的感兴趣区域图像。

在其中一个实施例中，识别平台采用mask的最大类间方差获得二值化阈值。

在其中一个实施例中，识别平台在对感兴趣区域的图像进行二值化处理后，再利用形态学处理去除感兴趣区域的图像的毛刺，得到处理后的感兴趣区域图像。

步骤604，搜寻处理后的感兴趣区域图像的开关连通区域。

具体地，识别平台分别从上下左右四个方向向感兴趣区域图像中间搜寻开关连通区域，并根据面积筛选出开关区域。

步骤606，通过几何二阶矩，计算开关连通区域角度，得到旋钮开关角度。

其中，图像的几何矩是用于描述图像特征的算子，其中，一阶矩和零阶矩可以用于计算某个形状的重心，而二阶矩则可以用于计算形状的方向。

具体地，识别平台通过感兴趣区域图像的几何二阶矩计算感兴趣区域图像中连通区域的角度，从而获得旋钮开关角度。

步骤608，将旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

其中，预设角度范围为设计人员预先根据变电站旋钮开关的状态设置的旋钮角度范围，可以用于判断变电站旋钮开关的状态是否正常。

具体地，识别平台将旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

在其中一个实施例中，若旋钮开关角度超出预设角度范围，则认为此时变电站旋钮开关的状态为异常状态，识别平台将生成异常报警信息，向工作人员报告变电站旋钮开关的异常结果。

在其中一个实施例中，若旋钮开关角度未超出预设角度范围，则认为此时变电站旋钮开关的状态为正常状态。

在上述实施例中，识别平台通过对巡检图像的感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像，并通过计算感兴趣区域图像中的开关连通区域角度，可以准确的得到变电站的旋钮开关角度，而通过将旋钮开关角度与预设角度范围进行比较，可以准确的识别变电站的旋钮开关状态，整个识别过程高效准确，提高了变电站开关状态识别精度。

在巡检识别进行巡检图像采集时，不可避免的会出现偏差较大的情况，基于此，在一个实施例中，在获取对齐后的巡检图像的感兴趣区域步骤之后，还包括：将感兴趣区域输入到预设神经网络中，识别感兴趣区域中是否存在旋钮开关图像；若不存在，则生成提示信息，提示图像对齐失败，结束开关状态识别。

其中，预设神经网络是预先训练得到的图像识别网络，用于识别输入的图像中是否存在旋钮开关图像。

具体地，识别平台在获取对齐后的巡检图像的感兴趣区域后，将感兴趣区域图像输入至预设神经网络中，进行图像识别，识别对齐后的巡检图像的感兴趣区域中是否存在旋钮开关图像，若不存在，则说明巡检设备在进行巡检图像采集时偏差过大，或，在进行图像对齐操作时对齐失败，此时识别平台将生成提示信息，提示工作人员图像对齐失败，并结束此次开关状态识别操作。

若存在，则说明此时巡检图像的感兴趣区域中包含旋钮开关图像，可以进行后续的开关状态识别操作。

本实施例中，通过对对齐后的巡检图像的感兴趣区域进行旋钮开关图像识别，可以在巡检设备采集偏差过大或图像对齐操作失败时及时提示工作人员，避免后续继续进行开关状态识别导致识别误差的情况产生。同时3)基于深度学习以其模型框架的通用性和能自动学习特征的特点，使得开关部分特征被遮挡或不完整，也能够对其进行准确分类，能够满足实际生产对分类精度的要求，使得其将在目标设备检测领域中发挥重要作用。

在一个实施例中，如图7所示，提供了一种变电站开关状态识别方法，以该方法涉及的巡检设备为巡检机器人为例进行说明，方法具体包括以下步骤：

首先，控制巡检机器人移动到指定地点，调整搭载相机的云台到指定高度后，对目标设备进行拍照，得到目标设备的巡检图像。

识别平台获取目标设备的巡检图像，对巡检图像进行降噪处理，得到处理后的巡检图像。

分别对巡检图像和预先部署的标准图像进行关键点提取，首先对巡检图像与标准图像进行下采样处理，便于加速，然后，利用FastFeature提取图像中的特征关键点，得到巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点。计算初始巡检关键点与标准关键点的相似度，将相似度大于预设相似度阈值的关键点保留，并确定为巡检关键点。

识别平台对保留的每个关键点获取特定大小的图像，得到巡检关键点对应的巡检关键图像，标准关键点对应的标准关键图像。然后以巡检关键图像为搜索图，以标准关键图像为模板图，在搜索图中采用模板匹配的方法进行搜索，得到由巡检关键图像与标准关键图像构成的匹配关键组的匹配分数，并将匹配分数与预设分数阈值进行比较，保留匹配分数大于预设分数阈值的匹配关键组，将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组。基于各目标匹配关键组，得到巡检图像与标准图像的单应性矩阵。

识别平台获取用户预先标注的标准图像的感兴趣区域，根据得到的单应性矩阵对巡检图像进行透视变换，将视角变换后的巡检图像映射到标注了感兴趣区域的标准图像上，从而得到巡检图像的感兴趣区域。

将巡检图像的感兴趣区域输入到预先设置的神经网络中，以识别巡检图像的感兴趣区域中是否存在旋钮开关图像，若不存在，则说明巡检机器人移动位置偏差太大，或图像对齐失败，识别平台生成提示信息，提示工作人员图像对齐失败，结束处理。

若巡检图像感兴趣区域中存在旋钮开关图像，则对巡检图像的感兴趣区域进行模糊处理，降低噪声干扰，然后采用带有mask的最大类间方差获得二值化阈值，对巡检图像的感兴趣区域进行二值化处理，并利用形态学处理去除毛刺。

对于处理后的巡检图像的感兴趣区域，识别平台从上下左右四个方向向中间搜寻开关连通区域，最后，根据面积筛选出开关区域，并通过几何二阶矩，计算连通区域角度，得到旋钮开关角度。

将旋钮开关角度与预设角度范围进行比较，若旋钮开关角度未超出预设角度范围，则确定变电站的开关状态正常。若旋钮开关角度超出预设角度范围，则确定变电站的开关状态异常，识别平台生成异常提示信息，向工作人员通报异常结果。

本实施例中的变电站开关状态识别方法，在图像对齐时使用了关键点匹配策略，相对于其他匹配技术，具有更高的准确率，提高了目标感兴趣区域确定的准确性，且本方法中基于深度学习的技术可以使用同一个模型，很容易推广到其他目标设备，能够高效地重复使用，缩短开发周期。在对旋钮开关角度进行测量时，采用带有mask的最大类间方差获得二值化阈值，能够更好的获取旋钮开关连通区域，同时采用几何二阶矩计算连通域角度，具有更好的鲁棒性。确保了机器人对旋钮开关识别精度符合的98％以上要求，具有更好的自动化程度，具有广阔的应用前景。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的变电站开关状态识别方法的变电站开关状态识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个变电站开关状态识别装置实施例中的具体限定可以参见上文中对于变电站开关状态识别方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种变电站开关状态识别装置800，包括：图像获取模块801、图像对齐模块802和开关状态识别模块803，其中：

图像获取模块801，用于获取巡检设备在预设采集区域采集的巡检图像。

图像对齐模块802，用于基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行图像对齐操作，得到对齐后的巡检图像。

开关状态识别模块803，用于获取对齐后的巡检图像的感兴趣区域，对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

上述变电站开关状态识别装置，在获取到巡检设备采集得到的巡检图像后，基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像进行对齐操作，得到对齐后的巡检图像，通过基于对齐后的巡检图像进行旋钮开关角度识别，得到变电站的旋钮开关状态，有效避免了由于巡检设备采集的巡检图像与标准图像存在偏差，导致不能正确检测对应目标的情况产生，提高了变电站开关状态识别精度。

在一个实施例中，图像对齐模块还用于：基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵，单应性矩阵用于表征巡检关键点与标准关键点之间的对应关系；获取标准图像的感兴趣区域，标准图像的感兴趣区域上预先部署有旋钮开关的标注框；根据单应性矩阵与旋钮开关的标注框，对巡检图像进行透视变换，将巡检图像映射到标准图像上，得到对齐后的巡检图像。

在一个实施例中，图像对齐模块还用于：获取巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点；计算初始巡检关键点与标准关键点的相似度，将相似度大于预设相似度阈值的关键点确定为巡检关键点；基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵。

在一个实施例中，图像对齐模块还用于：对各巡检关键点与预先部署的标准图像的标准关键点执行特定图像提取操作，得到各巡检关键点对应的巡检关键图像，以及各标准关键点对应的标准关键图像；根据巡检关键图像与标准关键图像进行图像匹配操作，得到各匹配关键组的匹配分数；将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组；基于各目标匹配关键组获得巡检图像与标准图像的单应性矩阵。

在一个实施例中，开关状态识别模块还用于：对感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像；搜寻处理后的感兴趣区域图像的开关连通区域；通过几何二阶矩，计算开关连通区域角度，得到旋钮开关角度；将旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

在一个实施例中，变电站开关状态识别装置还包括：感兴趣区域识别模块，用于将感兴趣区域输入到预设神经网络中，识别感兴趣区域中是否存在旋钮开关图像；若不存在，则生成提示信息，提示图像对齐失败，结束开关状态识别。

上述变电站开关状态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是集成有识别平台的服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储巡检图像、标准图像、巡检关键点、标准关键点、感兴趣区域等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种变电站开关状态识别方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取巡检设备在预设采集区域采集的巡检图像；

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行图像对齐操作，得到对齐后的巡检图像；

获取对齐后的巡检图像的感兴趣区域，对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵，单应性矩阵用于表征巡检关键点与标准关键点之间的对应关系；

获取标准图像的感兴趣区域，标准图像的感兴趣区域上预先部署有旋钮开关的标注框；

根据单应性矩阵与旋钮开关的标注框，对巡检图像进行透视变换，将巡检图像映射到标准图像上，得到对齐后的巡检图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点；

计算初始巡检关键点与标准关键点的相似度，将相似度大于预设相似度阈值的关键点确定为巡检关键点；

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对各巡检关键点与预先部署的标准图像的标准关键点执行特定图像提取操作，得到各巡检关键点对应的巡检关键图像，以及各标准关键点对应的标准关键图像；

根据巡检关键图像与标准关键图像进行图像匹配操作，得到各匹配关键组的匹配分数；

将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组；

基于各目标匹配关键组获得巡检图像与标准图像的单应性矩阵。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像；

搜寻处理后的感兴趣区域图像的开关连通区域；

通过几何二阶矩，计算开关连通区域角度，得到旋钮开关角度；

将旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将感兴趣区域输入到预设神经网络中，识别感兴趣区域中是否存在旋钮开关图像；

若不存在，则生成提示信息，提示图像对齐失败，结束开关状态识别。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取巡检设备在预设采集区域采集的巡检图像；

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行图像对齐操作，得到对齐后的巡检图像；

获取对齐后的巡检图像的感兴趣区域，对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵，单应性矩阵用于表征巡检关键点与标准关键点之间的对应关系；

获取标准图像的感兴趣区域，标准图像的感兴趣区域上预先部署有旋钮开关的标注框；

根据单应性矩阵与旋钮开关的标注框，对巡检图像进行透视变换，将巡检图像映射到标准图像上，得到对齐后的巡检图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点；

计算初始巡检关键点与标准关键点的相似度，将相似度大于预设相似度阈值的关键点确定为巡检关键点；

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对各巡检关键点与预先部署的标准图像的标准关键点执行特定图像提取操作，得到各巡检关键点对应的巡检关键图像，以及各标准关键点对应的标准关键图像；

根据巡检关键图像与标准关键图像进行图像匹配操作，得到各匹配关键组的匹配分数；

将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组；

基于各目标匹配关键组获得巡检图像与标准图像的单应性矩阵。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像；

搜寻处理后的感兴趣区域图像的开关连通区域；

通过几何二阶矩，计算开关连通区域角度，得到旋钮开关角度；

将旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将感兴趣区域输入到预设神经网络中，识别感兴趣区域中是否存在旋钮开关图像；

若不存在，则生成提示信息，提示图像对齐失败，结束开关状态识别。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取巡检设备在预设采集区域采集的巡检图像；

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对巡检图像与标准图像执行图像对齐操作，得到对齐后的巡检图像；

获取对齐后的巡检图像的感兴趣区域，对感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵，单应性矩阵用于表征巡检关键点与标准关键点之间的对应关系；

获取标准图像的感兴趣区域，标准图像的感兴趣区域上预先部署有旋钮开关的标注框；

根据单应性矩阵与旋钮开关的标注框，对巡检图像进行透视变换，将巡检图像映射到标准图像上，得到对齐后的巡检图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点；

计算初始巡检关键点与标准关键点的相似度，将相似度大于预设相似度阈值的关键点确定为巡检关键点；

基于巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到巡检图像与标准图像的单应性矩阵。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对各巡检关键点与预先部署的标准图像的标准关键点执行特定图像提取操作，得到各巡检关键点对应的巡检关键图像，以及各标准关键点对应的标准关键图像；

根据巡检关键图像与标准关键图像进行图像匹配操作，得到各匹配关键组的匹配分数；

将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组；

基于各目标匹配关键组获得巡检图像与标准图像的单应性矩阵。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像；

搜寻处理后的感兴趣区域图像的开关连通区域；

通过几何二阶矩，计算开关连通区域角度，得到旋钮开关角度；

将旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将感兴趣区域输入到预设神经网络中，识别感兴趣区域中是否存在旋钮开关图像；

若不存在，则生成提示信息，提示图像对齐失败，结束开关状态识别。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种变电站开关状态识别方法，其特征在于，所述方法包括：

获取巡检设备在预设采集区域采集的巡检图像；

基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对所述巡检图像与所述标准图像执行图像对齐操作，得到对齐后的巡检图像；

获取对齐后的巡检图像的感兴趣区域，对所述感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

2.根据权利要求1所述的方法，其特征在于，所述基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对所述巡检图像与所述标准图像执行对齐操作，得到对齐后的巡检图像，包括：

基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵，所述单应性矩阵用于表征所述巡检关键点与所述标准关键点之间的对应关系；

获取所述标准图像的感兴趣区域，所述标准图像的感兴趣区域上预先部署有旋钮开关的标注框；

根据所述单应性矩阵与所述旋钮开关的标注框，对所述巡检图像进行透视变换，将所述巡检图像映射到所述标准图像上，得到对齐后的巡检图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵，包括：

获取所述巡检图像的初始巡检关键点与预先部署的标准图像的标准关键点；

计算所述初始巡检关键点与所述标准关键点的相似度，将所述相似度大于预设相似度阈值的关键点确定为巡检关键点；

基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵。

4.根据权利要求3所述的方法，其特征在于，所述基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，得到所述巡检图像与所述标准图像的单应性矩阵，包括：

对各所述巡检关键点与预先部署的标准图像的标准关键点执行特定图像提取操作，得到各所述巡检关键点对应的巡检关键图像，以及各所述标准关键点对应的标准关键图像；

根据所述巡检关键图像与所述标准关键图像进行图像匹配操作，得到各匹配关键组的匹配分数；

将匹配分数大于预设分数阈值的匹配关键组确定为目标匹配关键组；

基于各所述目标匹配关键组获得所述巡检图像与所述标准图像的单应性矩阵。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述对所述感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态，包括：

对所述感兴趣区域进行模糊与二值化处理，得到处理后的感兴趣区域图像；

搜寻所述处理后的感兴趣区域图像的开关连通区域；

通过几何二阶矩，计算所述开关连通区域角度，得到旋钮开关角度；

将所述旋钮开关角度与预设角度范围比较，根据比较结果得到变电站的旋钮开关状态。

6.根据权利要求1所述的方法，其特征在于，在所述获取对齐后的巡检图像的感兴趣区域步骤之后，还包括：

将所述感兴趣区域输入到预设神经网络中，识别所述感兴趣区域中是否存在旋钮开关图像；

若不存在，则生成提示信息，提示图像对齐失败，结束开关状态识别。

7.一种变电站开关状态识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取巡检设备在预设采集区域采集的巡检图像；

图像对齐模块，用于基于所述巡检图像的巡检关键点与预先部署的标准图像的标准关键点，对所述巡检图像与所述标准图像执行图像对齐操作，得到对齐后的巡检图像；

开关状态识别模块，用于获取对齐后的巡检图像的感兴趣区域，对所述感兴趣区域中的旋钮开关图像进行旋钮开关角度识别，得到变电站的旋钮开关状态。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images