CN113674352A - 开关状态检测方法、电子装置和存储介质 - Google Patents
开关状态检测方法、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113674352A CN113674352A CN202110858199.1A CN202110858199A CN113674352A CN 113674352 A CN113674352 A CN 113674352A CN 202110858199 A CN202110858199 A CN 202110858199A CN 113674352 A CN113674352 A CN 113674352A
- Authority
- CN
- China
- Prior art keywords
- switch
- processed
- image
- type
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 85
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种开关状态检测方法、电子装置和存储介质，通过对包含待处理开关的待检测图像进行特征提取，得到待处理开关的多个第一类型特征点；获取待检测图像和参照图像之间的透视变换矩阵，基于待检测图像和参照图像之间的透视变换矩阵，对多个第一类型特征点进行透视变换处理，得到预设视角下的多个第一类型特征点，其中，参照图像包含在预设视角下待处理开关的图像；基于矫正后的多个第一类型特征点确定待处理开关的位姿，根据待处理开关的位姿确定待处理开关的状态，解决了相关技术中基于视觉的开关状态检测方法通用性和泛化性较低的问题，提升了基于视觉的开关状态检测方法的通用性和泛化性。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种开关状态检测方法、电子装置和存储介质。
背景技术
在基于视觉的开关状态检测场景中，通过电力巡检机器人按特定规划路径巡视变电站，并拍摄沿途图像上传后台，采用图像处理技术检测开关的方向。以下将介绍具体的相关技术。
方法一，对开关图像各个状态下的对应的图片保存建模成模板，然后通过对待测模板进行特征匹配，判断开关方向为最相似的模板所对应的开关状态。
但是，该方法需要专业人员建立模板图，角度精度要求越高，导致所需开关模板的数量越多。此外，该方法涉及的技术为传统的图像处理技术，在泛化性和鲁棒性上存在问题。
方法二，通过图像形态学操作获取开关轮廓，并通过计算轮廓的外接旋转矩形状态，得出目标开关方向。
但是，旋转外接矩形需要开关成手柄状，圆形的开关无法判断方向状态，使用传统的形态学方法获取轮廓无法适应外观复杂的开关，不具备通用性。
针对相关技术中基于视觉的开关状态检测方法通用性和泛化性较低的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种开关状态检测方法、电子装置和存储介质，以解决相关技术中基于视觉的开关状态检测方法通用性和泛化性较低的问题。
第一个方面，在本实施例中提供了一种开关状态检测方法，包括：
对包含待处理开关的待检测图像进行特征提取，得到所述待处理开关的多个第一类型特征点；
获取所述待检测图像和参照图像之间的透视变换矩阵，基于所述待检测图像和参照图像之间的透视变换矩阵，对所述多个第一类型特征点进行透视变换处理，得到预设视角下的多个第一类型特征点，其中，所述参照图像包含在预设视角下待处理开关的图像；
基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿，根据所述待处理开关的位姿确定所述待处理开关的状态。
在其中一些实施例中，基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿包括：
根据矫正后的所述多个第一类型特征点确定目标对象；
确定参照对象，计算所述目标对象与所述参照对象之间的位置关系，根据所述目标对象与所述参照对象之间的位置关系确定所述待处理开关的位姿。
在其中一些实施例中，所述待处理开关包括带有手柄的旋转式开关，所述多个第一类型特征点包括所述手柄的第一端点和第二端点；基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿包括：
连接所述第一端点和所述第二端点，得到所述目标对象；
以其中一端点为原点建立参照坐标系，以所述参照坐标系中某一坐标轴作为所述参照对象，基于所述目标对象相对于所述参照对象的倾角确定所述待处理开关的位姿。
在其中一些实施例中，所述待处理开关包括空气式开关，所述空气式开关包括手柄和门孔，所述多个第一类型特征点包括所述手柄的第一端点和第二端点，以及所述门孔的中心点；基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿包括：
连接所述第一端点和所述第二端点，得到所述目标对象；
以所述门孔的中心点为原点建立参照坐标系，以所述参照坐标系中的水平轴作为所述参照对象，基于所述目标对象相对于所述参照对象的平移位移量确定所述待处理开关的位姿。
在其中一些实施例中，在基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿，根据所述待处理开关的位姿确定所述待处理开关的状态之前，所述方法还包括：
获取所述待处理开关的多个状态信息，以及获取所述待处理开关处于各状态时的位姿；
存储所述待处理开关的多个状态信息与位姿之间的映射关系。
在其中一些实施例中，获取所述待检测图像和参照图像之间的透视变换矩阵包括：
对包含待处理开关的待检测图像进行特征提取，得到所述待处理开关的多个第二类型特征点，其中，所述第二类型特征点与所述第一类型特征点存在相对偏移；
获取所述参照图像的第二类型特征点；
将所述待检测图像的第二类型特征点和所述参照图像的第二类型特征点进行匹配，得到相匹配的第二类型特征点对；
根据所述相匹配的第二类型特征点对确定所述待检测图像与所述参照图像之间的透视变换矩阵。
在其中一些实施例中，对包含待处理开关的待检测图像进行特征提取包括：
对所述待检测图像进行以所述待处理开关为目标的目标检测，得到目标对象；
确定所述目标对象的中心点，以及确定所述目标对象中与所述中心点存在相对偏移的非中心点；
根据所述目标对象的中心点和所述非中心点得到所述第一类型特征点和所述第二类型特征点。
在其中一些实施例中，对包含待处理开关的待检测图像进行特征提取包括：
将所述待检测图像输入至训练后的特征提取网络进行特征提取，得到特征信息；所述特征提取网络包括第一特征提取单元，以及包括分别与所述第一特征提取单元连接的第二特征提取单元、第三特征提取单元和第四特征提取单元；其中，
所述第一特征提取单元用于提取所述待检测图像的特征图；
所述第二特征提取单元用于根据所述特征图提取所述目标对象的中心点；
所述第三特征提取单元用于提取所述第一类型特征点；
所述第四特征提取单元用于提取所述第二类型特征点。
在其中一些实施例中，将所述待检测图像输入至训练后的特征提取网络进行特征提取，得到特征信息包括：
经由所述第三特征提取单元提取得到所述目标对象中与所述中心点存在相对偏移的非中心点，并根据所述目标对象的中心点和所述非中心点，得到所述第一类型特征点；以及，
经由所述第四特征提取单元提取得到所述目标对象中与所述中心点存在相对偏移的非中心点，并根据所述目标对象的中心点和所述非中心点，得到所述第二类型特征点。
在其中一些实施例中，在经由所述第四特征提取单元提取所述第二类型特征点之前，所述方法还包括：
获取所述参照图像的第二类型特征点；
根据所述参照图像的第二类型特征点，对所述第四特征提取单元进行损失训练。
在其中一些实施例中，在将所述待检测图像输入至训练后的特征提取网络进行特征提取，得到特征信息之前，所述方法还包括：
获取包含有所述待处理开关的图像集合，并标注所述图像集合中的待处理开关；
划分所述图像集合，得到训练集和测试集；
根据所述训练集和所述测试集训练所述特征提取网络。
第二个方面，在本实施例中提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述第一个方面所述的开关状态检测方法。
第三个方面，在本实施例中提供了一种存储介质，，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一个方面所述的开关状态检测方法的步骤。
与相关技术相比，在本实施例中提供的开关状态检测方法、电子装置和存储介质，通过对包含待处理开关的待检测图像进行特征提取，得到待处理开关的多个第一类型特征点；获取待检测图像和参照图像之间的透视变换矩阵，基于待检测图像和参照图像之间的透视变换矩阵，对多个第一类型特征点进行透视变换处理，得到预设视角下的多个第一类型特征点，其中，参照图像包含在预设视角下待处理开关的图像；基于矫正后的多个第一类型特征点确定待处理开关的位姿，根据待处理开关的位姿确定待处理开关的状态，解决了相关技术中基于视觉的开关状态检测方法通用性和泛化性较低的问题，提升了基于视觉的开关状态检测方法的通用性和泛化性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本实施例的开关状态检测方法的终端的硬件结构框图。
图2是本实施例的开关状态检测方法的流程图。
图3是本实施例的旋转式开关的状态检测示意图。
图4是本实施例的空气式开关的状态检测示意图。
图5是本实施例的特征提取网络结构示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的开关状态检测方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的开关状态检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种开关状态检测方法，图2是本实施例的开关状态检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，对包含待处理开关的待检测图像进行特征提取，得到待处理开关的多个第一类型特征点。
第一类型特征点具备能够表征待处理开关的特性。例如，对于旋转式开关而言，第一类型特征点可以从待处理开关上发生旋转的部位提取。对于空气式开关而言，第一类型特征点可以从待处理开关上发生转动的部位提取。总之，第一类型特征点可以从待处理开关发生比较显著运动的部位提取，以便于根据第一类型特征点检测待处理开关的状态。
步骤S202，获取待检测图像和参照图像之间的透视变换矩阵，基于待检测图像和参照图像之间的透视变换矩阵，对多个第一类型特征点进行透视变换处理，得到预设视角下的多个第一类型特征点，其中，参照图像包含在预设视角下待处理开关的图像。
考虑到在获取待处理开关的待检测图像时，拍摄角度、距离、光照等因素复杂多变，导致拍摄得到的待检测图像和参照图像有着不容忽略的误差。为此，本实施例对第一类型特征点进行了透视变换，得到预设视角下待处理开关的图像，以矫正待检测图像的第一类型特征点，减小待检测图像和参照图像之间的误差。
其中，预设状态可以是沿待处理开关的正投影方向所呈现的正面状态。
步骤S203，基于矫正后的多个第一类型特征点确定待处理开关的位姿，根据待处理开关的位姿确定待处理开关的状态。
将第一类型特征点投入参照坐标系，按照预设逻辑连接第一类型特征点，该预设逻辑是按照待处理开关的外观样式设定的。基于参照坐标系和第一类型特征点，确定待处理开关的位姿。其中，待处理开关的位姿包括其在参照坐标系下的位置信息和朝向信息，待处理开关的位置信息和朝向信息决定着待处理开关的状态，通过确定待处理开关的位姿，可以得到待处理开关的状态。
在一些实施例中，可通过获取待处理开关的多个状态信息，以及获取待处理开关处于各状态时待处理开关的位姿，将其状态信息与位姿之间的关系进行映射和存储，以便于后续通过检测到的待处理开关的位姿，查找相应的待处理开关的状态信息。
在上述步骤S201至S203中，对于每一个待处理开关类别，抽象出影响其状态的第一类型特征点，在对其进行矫正的基础上确定待处理开关的位姿，根据待处理开关的位姿与状态之间的映射关系，即可确定待处理开关的状态。
相比于相关技术采用旋转矩形框判断待处理开关状态的方式，本实施例通过提取第一类型特征点，克服旋转矩形框无法判断特殊待处理开关类型的问题，使得基于特征点的开放状态识别的适用场景更为通用和广泛。本实施例的待处理开关检测方法可以适用于多种待处理开关类型，不限于旋转式开关，还可以是空气式开关。当然，在本发明构思上所设计的其他开关类型的状态检测方法，也应当属于本发明的保护范围。
传统的图像处理方法，将会涉及边缘、梯度等受环境和人工阈值影响较大的图像处理算法，难以适用实际场景，本实施例基于第一类型特征点检测待处理开关状态，而第一类型特征点会随着待处理开关类型数据丰富性增强，泛化性逐渐增强。并且，通过对待检测图像进行透视变化，可以适应大角度拍摄偏移的图像。
通过上述步骤，解决了开关状态检测方法通用性和泛化性较低的问题，提升了开关状态检测方法的通用性和泛化性。
在基于矫正后的多个第一类型特征点确定待处理开关的位姿时，可以根据矫正后的多个第一类型特征点确定目标对象；确定参照对象，计算目标对象与参照对象之间的位置关系，根据目标对象与参照对象之间的位置关系确定待处理开关的位姿。
为方便计算，可以将某个第一类型特征点作为待处理开关自身坐标系的原点，并以该原点建立参照坐标系，以参照坐标系中的某一坐标轴作为参照对象。以下将给出两种具体实施方式。
以带有手柄的旋转式开关为例，图3示出了本实施例的旋转式开关的状态检测示意图，如图3所示，图示31代表待检测图像，图示32代表检出特征点的图像，图示33代表确定开关位姿的图像图示34代表手柄，其中，手柄34上有第一端点A和第二端点B，第一端点A和第二端点B均为第一类型特征点，β代表倾角。通过连接第一端点A和第二端点B，得到目标对象35，将第一端点A作为待处理开关自身坐标系的原点，并以该原点建立参照坐标系，以参照坐标系中某一坐标轴(例如X轴)作为参照对象36，计算目标对象35与参照对象36之间的倾角β，根据该倾角β确定待处理开关的位姿为(0,0,β)。根据倾角β能够获取到对应的开关状态。
以空气式开关为例，图4示出了本实施例的空气式开关的状态检测示意图，如图4所示，图示41代表待检测图像，图示42代表检出特征点的图像，图示43代表确定开关位姿的图像，图示44代表手柄，图示45代表门孔，其中，手柄44上有第一端点A和第二端点B，门孔45上有中心点C，第一端点A、第二端点B和中心点C均为第一类型特征点，γ代表平移位移量。通过连接第一端点A和第二端点B，得到目标对象46，以门孔45的中心点C作为待处理开关自身坐标系的原点，并以该原点建立参照坐标系，以参照坐标系中的水平轴作为参照对象47，计算目标对象46与参照对象47之间的平移位移量γ，根据平移位移量γ确定待处理开关的位姿为(0,γ,0)。根据平移位移量γ能够获取到对应的开关状态。
在一些实施例中，可通过如下方式获取待检测图像和参照图像之间的透视变换矩阵：
对包含待处理开关的待检测图像进行特征提取，得到待处理开关的多个第二类型特征点，其中，第二类型特征点与第一类型特征点存在相对偏移；获取参照图像的第二类型特征点；将待检测图像的第二类型特征点和参照图像的第二类型特征点进行匹配，得到相匹配的第二类型特征点对；根据相匹配的第二类型特征点对确定待检测图像与参照图像之间的透视变换矩阵。
具体实施时，可预先准备一张标准正面状态的模板图像及其对应的第二类型特征点，将待检测图像的第二类型特征点和标准正面状态的模板图像的第二类型特征点进行匹配，得到相匹配的第二类型特征点对，最后根据相匹配的第二类型特征点对确定待检测图像与参照图像之间的透视变换矩阵。
由于待检测图像中可能存在多个待处理开关，为了区分各个待处理开关，在其中的一些实施例中，可以对待检测图像进行以待处理开关为目标的目标检测，得到目标对象；确定目标对象的中心点，以及确定目标对象中与中心点存在相对偏移的非中心点；根据目标对象的中心点和非中心点得到第一类型特征点和第二类型特征点。
其中，可通过将待检测图像输入至训练后的特征提取网络进行特征提取，得到特征信息。图5是本实施例的特征提取网络结构示意图，如图5所示，特征提取网络包括第一特征提取单元51，以及包括分别与第一特征提取单元51连接的第二特征提取单元52、第三特征提取单元53和第四特征提取单元54。
其中，第一特征提取单元51用于提取待检测图像的特征图；第二特征提取单元52用于根据特征图提取目标对象的中心点；第三特征提取单元53用于提取第一类型特征点；第四特征提取单元54用于提取第二类型特征点。
在一些实施例中，经由第三特征提取单元53提取得到目标对象中与中心点存在相对偏移的非中心点，并根据目标对象的中心点和非中心点，得到第一类型特征点。以及，经由第四特征提取单元54提取得到目标对象中与中心点存在相对偏移的非中心点，并根据目标对象的中心点和非中心点，得到第二类型特征点。
以下将以变电站待处理开关为例，给出特征提取网络的具体训练方法。
首先，由电力巡检机器人进行数据采集，采集变电站内部包含待处理开关在某种状态的场景图像；对画面中出现的待处理开关设备进行特征点标注，将所采集的数据划分为训练集和测试集，其中训练集作为特征提取网络的输入图像，测试集作为验证特征提取效果的输入图像；构建基于Yolo系列的第一特征提取单元51，以对输入图像进行卷积特征提取，当然，实际应用可不限于当前的第一特征提取单元51，可以使用任意第一特征提取单元51；基于CenterNet目标检测算法的可扩展性特征点，在第一特征提取单元51的输出端连接第二特征提取单元52、第三特征提取单元53和第四特征提取单元54；将构建好的整个特征提取网络对训练集的数据进行训练，提取图像特征；输入测试集，特征提取网络将输出检测所得的待处理开关的特征点图像位置，即为事先标注定义的特征点位置。
其中，在训练特征提取网络的过程中，还将获取参照图像的第二类型特征点，根据参照图像的第二类型特征点，对第四特征提取单元54进行损失训练。
例如，可采用自监督学习中的对比损失函数Contrastive Loss Function进行第二类型特征点的特征向量训练，达到相近的点特征向量靠近而不相近的点特征向量远离的目的，进而可用于特征点匹配。根据从输入图像中初步提取出的第二类型特征点，采用双线性插值法从特征图里面提取出对应的特征向量。预先准备一张标准正面状态的模板图像及其对应的第二类型特征点和特征向量，根据所对应的特征向量差异需接近0、否则差异接近1图像匹配原则，将输入图像中初步提取出的第二类型特征点与模板图像中的第二类型特征点进行匹配，获得输入图像和模板图像之间的匹配关系。
在模板图像中，第二类型特征点为跟待处理开关周围物理空间或者外观特征有关的逻辑点。输入图像和模板图像的第二类型特征点可以区分出正样本对和负样本对，分别表示这对点对在视觉上是同一个点还是不同的点。点对的距离独立公式如下所示：
其中，p1和p2分别代表输入图像和模板图像的第二类型特征点，“·”代表点乘运算符，“‖‖”代表范数运算符。
根据该点对的距离独立公式，损失训练部分定义为正样本对距离趋向于0，负样本对距离趋向于1。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对包含待处理开关的待检测图像进行特征提取，得到待处理开关的多个第一类型特征点。
S2，获取待检测图像和参照图像之间的透视变换矩阵，基于待检测图像和参照图像之间的透视变换矩阵，对多个第一类型特征点进行透视变换处理，得到预设视角下的多个第一类型特征点，其中，参照图像包含在预设视角下待处理开关的图像。
S3，基于矫正后的多个第一类型特征点确定待处理开关的位姿，根据待处理开关的位姿确定待处理开关的状态。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的开关状态检测方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种开关状态检测方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种开关状态检测方法，其特征在于，包括：
对包含待处理开关的待检测图像进行特征提取，得到所述待处理开关的多个第一类型特征点；
获取所述待检测图像和参照图像之间的透视变换矩阵，基于所述待检测图像和参照图像之间的透视变换矩阵，对所述多个第一类型特征点进行透视变换处理，得到预设视角下的多个第一类型特征点，其中，所述参照图像包含在预设视角下待处理开关的图像；
基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿，根据所述待处理开关的位姿确定所述待处理开关的状态。
2.根据权利要求1所述的开关状态检测方法，其特征在于，基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿包括：
根据矫正后的所述多个第一类型特征点确定目标对象；
确定参照对象，计算所述目标对象与所述参照对象之间的位置关系，根据所述目标对象与所述参照对象之间的位置关系确定所述待处理开关的位姿。
3.根据权利要求2所述的开关状态检测方法，其特征在于，所述待处理开关包括带有手柄的旋转式开关，所述多个第一类型特征点包括所述手柄的第一端点和第二端点；基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿包括：
连接所述第一端点和所述第二端点，得到所述目标对象；
以其中一端点为原点建立参照坐标系，以所述参照坐标系中某一坐标轴作为所述参照对象，基于所述目标对象相对于所述参照对象的倾角确定所述待处理开关的位姿。
4.根据权利要求2所述的开关状态检测方法，其特征在于，所述待处理开关包括空气式开关，所述空气式开关包括手柄和门孔，所述多个第一类型特征点包括所述手柄的第一端点和第二端点，以及所述门孔的中心点；基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿包括：
连接所述第一端点和所述第二端点，得到所述目标对象；
以所述门孔的中心点为原点建立参照坐标系，以所述参照坐标系中的水平轴作为所述参照对象，基于所述目标对象相对于所述参照对象的平移位移量确定所述待处理开关的位姿。
5.根据权利要求1所述的开关状态检测方法，其特征在于，在基于矫正后的所述多个第一类型特征点确定所述待处理开关的位姿，根据所述待处理开关的位姿确定所述待处理开关的状态之前，所述方法还包括：
获取所述待处理开关的多个状态信息，以及获取所述待处理开关处于各状态时的位姿；
存储所述待处理开关的多个状态信息与位姿之间的映射关系。
6.根据权利要求1所述的开关状态检测方法，其特征在于，获取所述待检测图像和参照图像之间的透视变换矩阵包括：
对包含待处理开关的待检测图像进行特征提取，得到所述待处理开关的多个第二类型特征点，其中，所述第二类型特征点与所述第一类型特征点存在相对偏移；
获取所述参照图像的第二类型特征点；
将所述待检测图像的第二类型特征点和所述参照图像的第二类型特征点进行匹配，得到相匹配的第二类型特征点对；
根据所述相匹配的第二类型特征点对确定所述待检测图像与所述参照图像之间的透视变换矩阵。
7.根据权利要求6所述的开关状态检测方法，其特征在于，对包含待处理开关的待检测图像进行特征提取包括：
对所述待检测图像进行以所述待处理开关为目标的目标检测，得到目标对象；
确定所述目标对象的中心点，以及确定所述目标对象中与所述中心点存在相对偏移的非中心点；
根据所述目标对象的中心点和所述非中心点得到所述第一类型特征点和所述第二类型特征点。
8.根据权利要求7所述的开关状态检测方法，其特征在于，对包含待处理开关的待检测图像进行特征提取包括：
将所述待检测图像输入至训练后的特征提取网络进行特征提取，得到特征信息；所述特征提取网络包括第一特征提取单元，以及包括分别与所述第一特征提取单元连接的第二特征提取单元、第三特征提取单元和第四特征提取单元；其中，
所述第一特征提取单元用于提取所述待检测图像的特征图；
所述第二特征提取单元用于根据所述特征图提取所述目标对象的中心点；
所述第三特征提取单元用于提取所述第一类型特征点；
所述第四特征提取单元用于提取所述第二类型特征点。
9.根据权利要求8所述的开关状态检测方法，其特征在于，将所述待检测图像输入至训练后的特征提取网络进行特征提取，得到特征信息包括：
经由所述第三特征提取单元提取得到所述目标对象中与所述中心点存在相对偏移的非中心点，并根据所述目标对象的中心点和所述非中心点，得到所述第一类型特征点；以及，
经由所述第四特征提取单元提取得到所述目标对象中与所述中心点存在相对偏移的非中心点，并根据所述目标对象的中心点和所述非中心点，得到所述第二类型特征点。
10.根据权利要求8所述的开关状态检测方法，其特征在于，在经由所述第四特征提取单元提取所述第二类型特征点之前，所述方法还包括：
获取所述参照图像的第二类型特征点；
根据所述参照图像的第二类型特征点，对所述第四特征提取单元进行损失训练。
11.根据权利要求8所述的开关状态检测方法，其特征在于，在将所述待检测图像输入至训练后的特征提取网络进行特征提取，得到特征信息之前，所述方法还包括：
获取包含有所述待处理开关的图像集合，并标注所述图像集合中的待处理开关；
划分所述图像集合，得到训练集和测试集；
根据所述训练集和所述测试集训练所述特征提取网络。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至11中任一项所述的开关状态检测方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的开关状态检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110858199.1A CN113674352A (zh) | 2021-07-28 | 2021-07-28 | 开关状态检测方法、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110858199.1A CN113674352A (zh) | 2021-07-28 | 2021-07-28 | 开关状态检测方法、电子装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674352A true CN113674352A (zh) | 2021-11-19 |
Family
ID=78540547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110858199.1A Pending CN113674352A (zh) | 2021-07-28 | 2021-07-28 | 开关状态检测方法、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674352A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009551A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电软件有限公司 | 适用于电力作业机器人的电力刀闸分合位状态识别方法 |
| CN108280471A (zh) * | 2018-01-17 | 2018-07-13 | 武汉中元华电软件有限公司 | 一种基于机器视觉的转换开关状态识别方法 |
| CN109887031A (zh) * | 2019-01-30 | 2019-06-14 | 国网湖南省电力有限公司 | 一种开关柜内地刀的位姿检测方法、系统、介质和设备 |
| CN110298344A (zh) * | 2019-07-04 | 2019-10-01 | 河海大学常州校区 | 一种基于机器视觉的仪表旋钮定位与检测方法 |
| CN110473259A (zh) * | 2019-07-31 | 2019-11-19 | 深圳市商汤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
| CN111860489A (zh) * | 2019-12-09 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种证件图像校正方法、装置、设备及存储介质 |
| CN112749656A (zh) * | 2021-01-07 | 2021-05-04 | 国网福建省电力有限公司泉州供电公司 | 基于ORB特征匹配与yolo的空气开关状态检测方法及装置 |
-
2021
- 2021-07-28 CN CN202110858199.1A patent/CN113674352A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009551A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电软件有限公司 | 适用于电力作业机器人的电力刀闸分合位状态识别方法 |
| CN108280471A (zh) * | 2018-01-17 | 2018-07-13 | 武汉中元华电软件有限公司 | 一种基于机器视觉的转换开关状态识别方法 |
| CN109887031A (zh) * | 2019-01-30 | 2019-06-14 | 国网湖南省电力有限公司 | 一种开关柜内地刀的位姿检测方法、系统、介质和设备 |
| CN110298344A (zh) * | 2019-07-04 | 2019-10-01 | 河海大学常州校区 | 一种基于机器视觉的仪表旋钮定位与检测方法 |
| CN110473259A (zh) * | 2019-07-31 | 2019-11-19 | 深圳市商汤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
| CN111860489A (zh) * | 2019-12-09 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种证件图像校正方法、装置、设备及存储介质 |
| CN112749656A (zh) * | 2021-01-07 | 2021-05-04 | 国网福建省电力有限公司泉州供电公司 | 基于ORB特征匹配与yolo的空气开关状态检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112950667B (zh) | 一种视频标注方法、装置、设备及计算机可读存储介质 | |
| JP6464934B2 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
| US10909369B2 (en) | Imaging system and method for object detection and localization | |
| Enqvist et al. | Robust fitting for multiple view geometry | |
| US8699786B2 (en) | 3D model generating apparatus, method and CRM by line pattern imaging | |
| CN112270688B (zh) | 一种前景提取方法、装置、设备及存储介质 | |
| CN107953329A (zh) | 物体识别和姿态估计方法、装置及机械臂抓取系统 | |
| CN109919971A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114862973B (zh) | 基于固定点位的空间定位方法、装置、设备及存储介质 | |
| Enqvist et al. | Robust optimal pose estimation | |
| CN111047622A (zh) | 视频中对象的匹配方法和装置、存储介质及电子装置 | |
| Zhou et al. | Vision-based pose estimation from points with unknown correspondences | |
| CN112686947A (zh) | 一种虚拟空间中物体标注方法、装置和电子设备 | |
| CN113763478A (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| Bellavia et al. | Image orientation with a hybrid pipeline robust to rotations and wide-baselines | |
| CN117437357A (zh) | 模型构建方法、装置、非易失性存储介质及电子设备 | |
| Liu et al. | Real-time camera pose estimation via line tracking | |
| CN113674352A (zh) | 开关状态检测方法、电子装置和存储介质 | |
| CN111127529B (zh) | 图像配准方法及装置、存储介质、电子装置 | |
| CN117253022A (zh) | 一种对象识别方法、装置及查验设备 | |
| WO2019015761A1 (en) | ELECTRONIC DEVICE, SYSTEM AND METHOD FOR DETERMINING THE INSTALLATION OF AN OBJECT | |
| CN109345560B (zh) | 增强现实设备的运动跟踪精度测试方法及装置 | |
| CN114897999B (zh) | 物体位姿识别方法、电子设备、存储介质和程序产品 | |
| CN111489433A (zh) | 车辆损伤定位的方法、装置、电子设备以及可读存储介质 | |
| CN113393378B (zh) | 光伏组件的图像拼接方法、装置、电子装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |