CN117437450A - 一种基于深度学习的旋转开关识别方法及系统 - Google Patents

一种基于深度学习的旋转开关识别方法及系统 Download PDF

Info

Publication number
CN117437450A
CN117437450A CN202311699849.8A CN202311699849A CN117437450A CN 117437450 A CN117437450 A CN 117437450A CN 202311699849 A CN202311699849 A CN 202311699849A CN 117437450 A CN117437450 A CN 117437450A
Authority
CN
China
Prior art keywords
rotary switch
handle
point
key point
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311699849.8A
Other languages
English (en)
Other versions
CN117437450B (zh
Inventor
曹晓杰
陈善星
东虎
赖晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mengpa Intelligent Technology Co ltd
Beijing Mengpa Xinchuang Technology Co ltd
Original Assignee
Shanghai Mengpa Intelligent Technology Co ltd
Beijing Mengpa Xinchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mengpa Intelligent Technology Co ltd, Beijing Mengpa Xinchuang Technology Co ltd filed Critical Shanghai Mengpa Intelligent Technology Co ltd
Priority to CN202311699849.8A priority Critical patent/CN117437450B/zh
Publication of CN117437450A publication Critical patent/CN117437450A/zh
Application granted granted Critical
Publication of CN117437450B publication Critical patent/CN117437450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的旋转开关识别方法及系统，方法包括：获取含旋转开关的图像；基于预先构建的深度学习模型对图像中旋转开关进行定位，给出旋转开关区域；基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像；对关键点图像进行识别分析，给出旋转开关的旋转角度。本发明可以适应于多种类旋转开关场景，进行旋转开关的定位，准确得到旋转开关角度，分析出旋转开关状态。

Description

一种基于深度学习的旋转开关识别方法及系统
技术领域
本发明涉及智能运维技术领域，具体涉及一种基于深度学习的旋转开关识别方法及系统。
背景技术
旋转开关作为重要机器组件，广泛应用于工业现场。工业现场机器开关、功能模块运行开关、机器门开关等都运用着旋转开关。对旋转开关状态的判断，是生产过程一个重要环节，保证机器运行的平稳、安全。传统的工业生产现场，主要利用人工进行查看检测，保证状态的符合，但在机器设备量庞大情况下此需要消耗大量人力。此外，在一些复杂与文献环境下，人为参与识别更加困难。
图像处理技术的快速进步，结合移动式机器人在工业生产现场广泛使用，使得开关状态判断方式发生很大改变。借助巡检机器人搭载的视觉摄像头，采集现场旋转开关图片或视频，再进行图像处理领域相关算法解析旋转开关图片、进行判断分析及入库完成记录，此方法可很大程度节省人力。专利CN113822200A公开了一种牵引变电所辅助监控多视角档位开关自动识别方法，通过定位网络定位开关位置，GridFace思想进行局部校正，分割出档位开关，基于档位开关所在位置进行角度判断输出结果。该方法是在定位到旋转开关的情况下，使用传统的图像处理分割方法进行开关的分割，且需要预先设置旋转区域范围（预设范围），受环境影响较大，适应性相对比较弱。
因此，如何提供一种可以适应多种类旋转开关的定位方法是本领域亟待解决的问题。
发明内容
针对上述现有技术中存在的缺陷，本发明提供了一种基于深度学习的旋转开关识别方法及系统。其获取含旋转开关的图像；基于预先构建的深度学习模型对图像中旋转开关进行定位，给出旋转开关区域；基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像；对关键点图像进行识别分析，给出旋转开关的旋转角度。可以适应于多种类旋转开关场景，进行旋转开关的定位，准确得到旋转开关角度，分析出旋转开关状态。
第一方面，本发明提供一种基于深度学习的旋转开关识别方法，包括：
获取含旋转开关的图像；
基于预先构建的深度学习模型对图像中旋转开关进行定位，给出旋转开关区域；
基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像；
对关键点图像进行识别分析，给出旋转开关的旋转角度。
进一步的，预先构建的深度学习模型通过对Yolov5模型进行训练得到。
进一步的，预先构建深度学习模型，包括：
获取若干包含旋转开关的历史图像；
对历史图像中的旋转开关进行位置及类型的标注，形成包含位置和类型的开关标签；
基于历史图像及对应开关标签对Yolov5模型的一阶网络进行训练，达到识别阈值后，完成深度学习模型的构建。
进一步的，预先构建的关键点检测模型通过对HRNet模型进行训练得到。
进一步的，预先构建关键点检测模型，包括：
获取分别包含若干旋转开关区域的区域图像集，分为训练集和测试集；
对训练集和测试集中旋转开关区域的关键点进行位置及类型的标注，形成包含位置和类型的关键点标签；
基于训练集中旋转开关区域和对应关键点标签对HRNet模型进行训练，给出训练后的HRNet模型；
根据测试集对训练后的HRNet模型进行模型评估，给出评估通过的HRNet模型。
进一步的，根据测试集对训练后的HRNet模型进行模型评估，给出评估通过的HRNet模型，包括：
基于训练后的HRNet模型对测试集中旋转开关区域进行检测，给出关键点位置和类型；
基于给出的关键点位置和类型以及测试集对应的关键点标签进行相似度分析，给出相似度结果；
若相似度结果不满足测试阈值，则对HRNet模型重复训练步骤，若相似度结果满足测试阈值，则将满足测试阈值的HRNet模型作为关键点检测模型。
进一步的，基于给出的关键点位置和类型以及测试集对应的关键点标签进行相似度分析，给出相似度结果，包括：
式中，OKS为相似度结果，i为关键点的数量，di为第i个预测关键点与对应实际关键点之间的欧氏距离，s为目标面积的平方根，ki为控制第i个关键点类别的衰减常数，δ为逻辑判断函数，其结果为0或1，判断为True（真）时其结果为1，判断为False（假）时其结果为0，Vi为第i个关键点的可见性。
进一步的，基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像，包括：
基于预先构建的关键点检测模型对旋转开关区域进行识别检测，给出标注关键点位置和类型的关键点图像。
进一步的，对关键点图像进行识别分析，给出旋转开关的旋转角度，包括：
根据关键点图像给出关键点的数量；
根据关键点的数量选取对应的计算模型；
根据选取的计算模型对关键点图像进行分析处理，给出旋转开关的旋转角度。
进一步的，计算模型包括第一计算模型和第二计算模型；其中，第一计算模型用于分析处理关键点数量不大于两个的关键点图像，第二计算模型用于分析处理关键点数量大于两个的关键点图像。
进一步的，根据第一计算模型对关键点图像进行分析处理，包括：
根据所有关键点的类型确定旋转开关在把柄上的关键点数量；
根据旋转开关在把柄上的关键点数量和位置给出旋转开关的旋转角度；
根据第二计算模型对关键点图像进行分析处理，包括：
根据关键点的类型确定旋转开关在把柄和底座上的数量；
根据旋转开关在把柄和底座上的关键点数量和位置给出旋转开关的旋转角度。
进一步的，根据旋转开关在把柄上的关键点数量和位置给出旋转开关的旋转角度，包括：
获取关键点图像的中心点，以中心点为起点向右水平延伸一定距离得到第一水平有向线段；
旋转开关在把柄上具有两个关键点时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第一把柄有向线段；
计算第一水平有向线段和第一把柄有向线段的夹角并作为旋转开关的旋转角度；
旋转开关在把柄上具有一个关键点时，以类型为把柄末端的关键点为起点向关键点图像中心点延伸或以关键点图像中心点为起点向类型为把柄始端的关键点延伸得到第二把柄有向线段；
计算第一水平有向线段和第二把柄有向线段的夹角并作为旋转开关的旋转角度。
进一步的，根据旋转开关在把柄和底座上的关键点数量和位置给出旋转开关的旋转角度，包括：
根据旋转开关在底座上的关键点数量和位置，给出底座的边界数量和类型；其中，边界类型包括水平边界和垂直边界；
根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段；
计算第三把柄有向线段和第二水平有向线段的夹角并作为旋转开关的旋转角度。
进一步的，根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段，满足以下关系：
式中，A为第三把柄有向线段，B为第二水平有向线段，为以类型为把柄末端的关 键点为起点向类型为把柄始端的关键点延伸的有向线段，为以类型为把柄末端的关键 点为起点向垂线交点延伸或以垂线交点为起点向类型为把柄始端的关键点延伸形成的有 向线段，为以类型为把柄末端的关键点为起点向中心点延伸或以中心点向类型为把柄 始端的关键点延伸形成的有向线段，为以把柄上两个关键点连线的中间点为起点向右水 平延伸一定距离形成的有向线段，为以水平边界向右形成的有向线段，为以把柄上两 个关键点连线的中间点为起点向垂直边界的垂足延伸形成的有向线段，为以水平边界 和垂直边界的垂线交点为起点向右水平延伸一定距离形成的有向线段，为以关键点图像 的中心点为起点向右水平延伸一定距离形成的有向线段，α为旋转开关在把柄上具有的关 键点数量，β为底座具有的边界情况，当β=1时，表示至少具有水平边界，当β=2时，表示仅具 有垂直边界，当β=3时，表示底座无边界，当β=4时，表示同时具有水平边界和垂直边界，当β= 5时，表示不同时具有水平边界和垂直边界，γ1为水平边界与水平方向的夹角，γ2为垂直边 界与竖直方向的夹角，γ0为预设的阈值角度。
进一步的，根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段，包括：
旋转开关在把柄上具有两个关键点，且底座具有水平边界和/或垂直边界时，计算水平边界与水平方向和/或垂直边界与竖直方向的夹角，在任一夹角大于阈值角度时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第三把柄有向线段，以把柄上两个关键点连线的中间点为起点向右水平延伸一定距离得到第二水平有向线段；在所有夹角均不大于阈值角度时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第三把柄有向线段，并以水平边界向右形成第二水平有向线段，或以把柄上两个关键点连线的中间点为起点向垂直边界的垂足延伸形成第二水平有向线段；其中，阈值角度为10°；
旋转开关在把柄上具有两个关键点，且底座不具有水平边界和/或垂直边界时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第三把柄有向线段，以把柄上两个关键点连线的中间点为起点向右水平延伸一定距离得到第二水平有向线段；
旋转开关在把柄上具有一个关键点，且底座具有水平边界和垂直边界时，计算水平边界与水平方向和垂直边界与竖直方向的夹角，在任一夹角大于阈值角度时，以水平边界和垂直边界的垂线交点为起点向右水平延伸一定距离得到第二水平有向线段，以类型为把柄末端的关键点为起点向垂线交点延伸或以垂线交点为起点向类型为把柄始端的关键点延伸形成第三把柄有向线段；在所有夹角均不大于阈值角度时，以水平边界向右形成第二水平有向线段，并以水平边界和垂直边界的垂线交点为起点向类型为把柄始端的关键点延伸或以类型为把柄末端的关键点为起点向水平边界和垂直边界的垂线交点延伸形成第三把柄有向线段；
旋转开关在把柄上具有一个关键点，且底座不同时具有水平边界和垂直边界时，以关键点图像的中心点为起点向右水平延伸一定距离得到第二水平有向线段，以类型为把柄末端的关键点为起点向中心点延伸或以中心点向类型为把柄始端的关键点延伸形成第三把柄有向线段。
第二方面，本发明还提供一种基于深度学习的旋转开关识别系统，采用上述的旋转开关识别方法，所述系统包括：
图像获取模块，其用于获取含旋转开关的图像；
图像定位模块，其用于基于预先构建的深度学习模型对图像中旋转开关进行定位，给出旋转开关区域；
关键点检测模块，其用于基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像；
角度识别模块，其用于对关键点图像进行识别分析，给出旋转开关的旋转角度。
本发明提供的一种基于深度学习的旋转开关识别方法及系统，至少包括如下有益效果：
（1）通过深度学习模型、关键点检测模型以及对关键点图像识别分析给出的旋转角度，不需要预先设置旋转区域范围，可以适应于多种类旋转开关等场景，进行旋转开关的定位，准确得到旋转开关角度，分析出旋转开关状态。
（2）通过关键点检测模型检测旋转把柄始端、末端，可准确判断旋转开关旋转的角度，并判断旋转角度为锐角还是钝角，区分旋转开关的不同状态。另外，通过关键点检测模型实现的关键点定位，相比于传统分割旋转把柄，在颜色较黑或光线较暗环境下更加准确，适应性更强。
附图说明
图1为本发明提供的一种基于深度学习的旋转开关识别方法的流程图；
图2为本发明提供的某一实施例的预先构建深度学习模型的流程图；
图3为本发明提供的某一实施例的预先构建关键点检测模型的流程图；
图4为本发明提供的某一实施例的给出HRNet模型的流程图；
图5为本发明提供的某一实施例的给出旋转开关旋转角度的流程图；
图6为本发明提供的一种基于深度学习的多种类旋转开关识别系统的示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
如图1所示，本发明提供一种基于深度学习的旋转开关识别方法，包括：
获取含旋转开关的图像；
基于预先构建的深度学习模型对图像中旋转开关进行定位，给出旋转开关区域；
基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像；
对关键点图像进行识别分析，给出旋转开关的旋转角度。
其中，预先构建的深度学习模型通过对Yolov5模型进行训练得到。Yolov5作为端到端的目标检测网络，对比多阶段处理过程，其采用一阶段网络完成功能，即可实现检测目标。即本发明采用Yolov5模型采用Yolov5的一阶段网络进行检测包含旋转开关的旋转开关区域。对于一个确定网络的Yolov5框架模型，其推理、检测输出主要取决于网络训练过程的输入与标签设计，用于训练网络的样本与标签，又称训练数据或者样本。模型训练时，输入一批包含旋转开关的图片，和包含标注旋转开关位置和类型的标签（具体为旋转开关的类型、具体图片上的位置roi坐标），旋转开关的类型包括方形底座旋转开关和圆形底座旋转开关。模型推理（即检测），当输入为一张RGB三通道的图片，则其输出为感兴趣目标在图片上的位置及其类型代号。最终可以根据感兴趣目标（对应本发明中旋转开关）在图片上的位置，对其进行裁剪得到后续的旋转开关区域。
具体的，如图2所示，预先构建深度学习模型，可以包括：
获取若干包含旋转开关的历史图像；
对历史图像中的旋转开关进行位置及类型的标注，形成包含位置和类型的开关标签；
基于历史图像及对应开关标签对Yolov5模型的一阶网络进行训练，达到识别阈值后，完成深度学习模型的构建。
其中，预先构建的关键点检测模型通过对HRNet模型进行训练得到。在进行关键点检测时，进行训练数据的标注存在差异。对于圆型底座与方型底座进行划分，方型底座对应的旋转开关进行六个关键点的标注（方型底座四个角点，把柄上两个点分开端点和末点），圆型底座旋转开关主要进行把柄上两个关键点的标注（在把柄上两个点同样分端点与末点）。对于检测关键点的模型可使用各种关键点检测模型，主要关键不同为输入训练数据的标注，此处使用上一步设计的旋转开关关键点标注方式进行训练数据准备，标注方形底座四个关键点及旋转把柄上两个关键点（划分始端、末端），圆型底座对应旋转开关只标注把柄上的两个关键点，可参考旋转开关关键点标注部分。标签为关键点的位置和种类。在训练时，基于包含旋转开关区域的区域图像和其对应的包含关键点位置和种类的标签对HRNet模型进行训练得到关键点检测模型，在检测时，通过训练后的HRNet模型对通过Yolov5模型给出的旋转开关区域进行关键点检测，最终识别出关键点，并给出关键点对应的位置和种类。将给出的关键点位置和种类在旋转开关区域内进行标注，可以得到包含关键点位置和种类标签的关键点图像。在后续进行关键点图像的识别分析时，可以根据关键点图像得到关键点的数量、位置和种类。其中，一个关键点对应标注一次，最终得到一个标签，标签包含关键点的位置和种类，关键点的数量通过HRNet模型标注的次数得到，即通过HRNet模型标注的标签数量得到。
具体的，如图3所示，预先构建关键点检测模型，可以包括：
获取分别包含若干旋转开关区域的区域图像集，分为训练集和测试集；
对训练集和测试集中旋转开关区域的关键点进行位置及类型的标注，形成包含位置和类型的关键点标签；
基于训练集中旋转开关区域和对应关键点标签对HRNet模型进行训练，给出训练后的HRNet模型；
根据测试集对训练后的HRNet模型进行模型评估，给出评估通过的HRNet模型。
本发明采用深度学习方法定位到旋转开关区域，然后对定位的旋转开关区域进行旋转开关的关键点检测，最后基于检测到的关键点进行开关把柄旋转角度的计算。其中，在进行关键点标注时，将旋转开关把柄两端作为主关键点标注，根据把柄两端的不同区分为始端与末端。对于存在方形底座的旋转开关中，对方形底座的四个点以顺时针进行有顺序的标注，例如，依次对方形底座的左上角、右上角、右下角、左下角进行标注，标注的结果为1.ru、2.ru、3.rd、4.ld，以该标注结果为例，在1和2或者3和4同时存在时可形成水平边界，在1和3或者2和4同时存在时可以形成垂直边界。
在实际训练HRNet模型的过程中，加载已经训练好的权重，可以对HRNet模型精度有较大提升，此处HRNet模型使用的权重为paddle框架原模型已训练好的关键点检测权重，在HRNet模型初始化时使用加载已训练好的关键点检测权重，并在此基础上进行HRNet模型的训练更新权重。
如图4所示，根据测试集对训练后的HRNet模型进行模型评估，给出评估通过的HRNet模型，包括：
基于训练后的HRNet模型对测试集中旋转开关区域进行检测，给出关键点位置和类型；
基于给出的关键点位置和类型以及测试集对应的关键点标签进行相似度分析，给出相似度结果；
若相似度结果不满足测试阈值，则对HRNet模型重复训练步骤，若相似度结果满足测试阈值，则将满足测试阈值的HRNet模型作为关键点检测模型。
本发明使用HRNet模型进行关键点检测，其评价准则是通过OKS（Object KeypointSimilarity）来表示预测keypoints与真实keypoints的相似程度，其值域在0到1之间，越靠近1表示相似度越高。在HRNet模型的测试和训练过程中，根据检测到的每个关键点以及对应的真实关键点，计算OKS用于计算检测出的相似程度，根据相似程度和相似阈值进行模型训练是否成功的判断。
具体的，基于给出的关键点位置和类型以及测试集对应的关键点标签进行相似度分析，给出相似度结果，可以包括：
式中，OKS为相似度结果，i为关键点的数量，di为第i个预测关键点与对应实际关键点之间的欧氏距离，s为目标面积的平方根，ki为控制第i个关键点类别的衰减常数，δ为逻辑判断函数，其结果为0或1，判断为True（真）时其结果为1，判断为False（假）时其结果为0，Vi为第i个关键点的可见性，在Vi = 0时，代表该关键点在图像中无法标注，在Vi = 1时，代表该关键点不可见但能大概猜测出位置，在Vi = 2时，代表该关键点可见。OKS只计算可以标注出的点，即Vi > 0的所有关键点。
基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像，包括：
基于预先构建的关键点检测模型对旋转开关区域进行识别检测，给出标注关键点位置和类型的关键点图像。
本发明中预先构建的关键点检测模型为HRNet模型，HRNet模型使用PaddlePaddle框架实现，关键点检测方法采用Top-Down的检测方式，Top-Down的检测方式为先检测主体，再检测局部关键点，权重，主体指旋转开关，关键点在开关上对应的位置为对应的局部位置，采用Top-Down的检测方式可以使得HRNet模型的准确率更高。
对关键点图像进行识别分析，给出旋转开关的旋转角度，包括：
根据关键点图像给出关键点的数量；
根据关键点的数量选取对应的计算模型；
根据选取的计算模型对关键点图像进行分析处理，给出旋转开关的旋转角度。
本发明在通过训练后的HRNet模型检测出关键点后，可以根据关键点进行分类计算，在关键点大于2时底座为方形底座（圆形底座最多两个关键点在旋转把柄上），检测到小于2时不区分底座类型，圆形底座和方形底座对应的旋转开关角度计算方式一样，只要存在2个关键点且位于旋转开关的把柄上，也不进行区分，计算方式一致，2个关键点不是全部在把柄上时，其旋转开关的底座类型必然为方形底座，对其进行区分计算。
具体的，根据关键点进行旋转开关的旋转角度计算时，计算模型包括第一计算模型和第二计算模型；其中，第一计算模型用于分析处理关键点数量不大于两个的关键点图像，第二计算模型用于分析处理关键点数量大于两个的关键点图像。
其中，根据第一计算模型对关键点图像进行分析处理，包括：
根据所有关键点的类型确定旋转开关在把柄上的关键点数量；
根据旋转开关在把柄上的关键点数量和位置给出旋转开关的旋转角度。
如图5所示，根据旋转开关在把柄上的关键点数量和位置给出旋转开关的旋转角度，包括：
获取关键点图像的中心点，以中心点为起点向右水平延伸一定距离得到第一水平有向线段；
旋转开关在把柄上具有两个关键点时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第一把柄有向线段；
计算第一水平有向线段和第一把柄有向线段的夹角并作为旋转开关的旋转角度；
旋转开关在把柄上具有一个关键点时，以类型为把柄末端的关键点为起点向关键点图像中心点延伸或以关键点图像中心点为起点向类型为把柄始端的关键点延伸得到第二把柄有向线段；
计算第一水平有向线段和第二把柄有向线段的夹角并作为旋转开关的旋转角度。
在进行角度计算时，两个有向线段之间的夹角可以根据常规计算公式进行得到，其中，以类型为把柄末端的关键点为起点向关键点图像中心点延伸得到第二把柄有向线段，是指将把柄末端的关键点与关键点图像中心点连接，其线段方向由把柄末端的关键点指向关键点图像中心点。
根据第二计算模型对关键点图像进行分析处理，可以包括：
根据关键点的类型确定旋转开关在把柄和底座上的数量；
根据旋转开关在把柄和底座上的关键点数量和位置给出旋转开关的旋转角度。
其中，根据旋转开关在把柄和底座上的关键点数量和位置给出旋转开关的旋转角度，可以包括：
根据旋转开关在底座上的关键点数量和位置，给出底座的边界数量和类型；其中，边界类型包括水平边界和垂直边界；
根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段；
计算第三把柄有向线段和第二水平有向线段的夹角并作为旋转开关的旋转角度。
具体的，根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段，满足以下关系：
式中，A为第三把柄有向线段，B为第二水平有向线段，为以类型为把柄末端的关 键点为起点向类型为把柄始端的关键点延伸的有向线段，为以类型为把柄末端的关键 点为起点向垂线交点延伸或以垂线交点为起点向类型为把柄始端的关键点延伸形成的有 向线段，为以类型为把柄末端的关键点为起点向中心点延伸或以中心点向类型为把柄 始端的关键点延伸形成的有向线段，为以把柄上两个关键点连线的中间点为起点向右水 平延伸一定距离形成的有向线段，为以水平边界向右形成的有向线段，为以把柄上两 个关键点连线的中间点为起点向垂直边界的垂足延伸形成的有向线段，为以水平边界 和垂直边界的垂线交点为起点向右水平延伸一定距离形成的有向线段，为以关键点图像 的中心点为起点向右水平延伸一定距离形成的有向线段，α为旋转开关在把柄上具有的关 键点数量，β为底座具有的边界情况，当β=1时，表示至少具有水平边界，当β=2时，表示仅具 有垂直边界，当β=3时，表示底座无边界，当β=4时，表示同时具有水平边界和垂直边界，当β= 5时，表示不同时具有水平边界和垂直边界，γ1为水平边界与水平方向的夹角，γ2为垂直边 界与竖直方向的夹角，γ0为预设的阈值角度。
在实际应用场景中，根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段，可以包括：
旋转开关在把柄上具有两个关键点，且底座具有水平边界和/或垂直边界时，计算水平边界与水平方向和/或垂直边界与竖直方向的夹角，在任一夹角大于阈值角度时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第三把柄有向线段，以把柄上两个关键点连线的中间点为起点向右水平延伸一定距离得到第二水平有向线段；在所有夹角均不大于阈值角度时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第三把柄有向线段，并以水平边界向右形成第二水平有向线段，或以把柄上两个关键点连线的中间点为起点向垂直边界的垂足延伸形成第二水平有向线段；其中，阈值角度为10°；
旋转开关在把柄上具有两个关键点，且底座不具有水平边界和/或垂直边界时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第三把柄有向线段，以把柄上两个关键点连线的中间点为起点向右水平延伸一定距离得到第二水平有向线段；
旋转开关在把柄上具有一个关键点，且底座具有水平边界和垂直边界时，计算水平边界与水平方向和垂直边界与竖直方向的夹角，在任一夹角大于阈值角度时，以水平边界和垂直边界的垂线交点为起点向右水平延伸一定距离得到第二水平有向线段，以类型为把柄末端的关键点为起点向垂线交点延伸或以垂线交点为起点向类型为把柄始端的关键点延伸形成第三把柄有向线段；在所有夹角均不大于阈值角度时，以水平边界向右形成第二水平有向线段，并以水平边界和垂直边界的垂线交点为起点向类型为把柄始端的关键点延伸或以类型为把柄末端的关键点为起点向水平边界和垂直边界的垂线交点延伸形成第三把柄有向线段；
旋转开关在把柄上具有一个关键点，且底座不同时具有水平边界和垂直边界时，以关键点图像的中心点为起点向右水平延伸一定距离得到第二水平有向线段，以类型为把柄末端的关键点为起点向中心点延伸或以中心点向类型为把柄始端的关键点延伸形成第三把柄有向线段。具体的，可以包括：
其中，angle1代表关键点与中心点的有向线段与水平夹角，根据把柄上存在单一关键点不同，连接有向线段不同，存始端，则连接中心点与始端，存在末端，则连接末端与中心点组成不同的有向线段。
本发明的水平有向线段以某一点向右水平延伸一定距离得到有向线段的长度即为其延伸的距离，该有向线段的终点可以通过延伸的起点位置和延伸的距离得到。对于第一把柄有向线段、第二把柄有向线段、第三把柄有向线段的长度可以根据其形成时的起点和终点得到。在进行两条有向线段的夹角计算时，采用常规的有向线段夹角计算方式进行得到。
在实际应用场景中，本发明针对检测的多类旋转开关，关键点检出结果不同，涉及对应的角度计算方式，计算出对应的把柄旋转角度。
首先，根据旋转开关的底座类型进行划分出圆型底座和方型底座两种。
对于圆型底座，主要判断把柄上两个关键点存在情况，两个关键点都存在的情况，取图像的中心点（图像中心点已在关键点检测输出中添加），取水平存在一点连接中心点，因为旋转把柄上关键点已区分始端与末端，这里需要计算水平连线与把柄连线的夹角即为旋转开关当前角度；把柄上只存在一点时，同样取图片中心点位置，取水平一点连接中心点H线，连接把柄上存在点与图片中心点得到G线，把柄关键点始端末端已区分，可计算H线与G线夹角即为旋转开关角度；对于旋转开关把柄上没检测到关键点，则无法计算旋转开关旋转角度，即为空。
对于方型底座旋转开关，当把柄上没检测到关键点时，设置计算角度为空。对于把柄检测到两个关键点，因为底座的边界会由于外界因素导致并不是垂直（角度为90°或者270°）或者水平（角度为0°或者180°），此时根据方型底座检出关键点个数进行区分。对于检出底座四个关键点，进行边界角度计算，设置垂直与水平边界角度浮动范围10°以内，对于边界超出设置角度，则根据旋转开关把柄检出两个关键点计算中间点，连接水平一点得到H线，对于未超出情况，可直接使用水平边界线作为H线，根据中心点划分图像四个象限，中心点坐标与中间点对比，可判断H线位于象限不同调整相应角度，计算旋转开关把柄连线与H线夹角即为旋转开关角度；对于检出底座3个关键点，同样根据存在边界的关键点计算是否超出设置的垂直和水平角度，对于超出情况，使用旋转把柄上关键点计算中间点，连接水平一点与中间点得到H线，对于未超出情况，直接使用水平边界作为H线，计算旋转开关角度判断过程同上；对于检出底座两个关键点，边界存在的关键点为对角线上的两个点，使用旋转开关把柄两个关键点时计算中间点，连接水平一点得到H线，计算旋转开关两个关键点连线与H线角度即为旋转开关角度，对于存在两个点可组成一边界，水平或者垂直边界，先计算是否超出设置的边界角度，如果超出则使用中间点计算的方式进行角度计算，对于未超出情况，如果为水平边界，则将水平边界两点作为H线，如果为垂直边界，计算中间点到垂直边界的垂直线即为H线，可计算旋转开关把柄与H线夹角即为角度。对于旋转开关把柄上只检测到一个关键点，根据检测到底座关键点个数进行划分，对于底座检出四个关键点，同样进行四条边界角度计算，对于超出设置的边界角度（角度浮动范围），使用边界关键点计算每条边界的中点，连接相同边界的中点，将连接中点后形成的交点作为中间点，取水平一点连接该中间点得到H线，连接该中间点与把柄上检测到的一个关键点（区分了始端与末端）的G线，计算H与G的夹角即为旋转角度；对于未超出旋转角度，根据上述得到中间点，计算对应旋转角度；对于检测到三个关键点时，计算步骤相同同样，使用三个边界关键点计算中间点时，后续在进行边界角度计算对比，超出情况H线取水平一点连接该中间点得到，G线为连接中间点与把柄上检测到的一个关键点；对于其它检出关键点情况（检出关键点两个、一个或者零个），使用中间点为图像的中心点，连接水平线一点得H线，连接中心点与把柄上关键点得G线，计算H与G夹角即为旋转开关角度。
如图6所示，本发明还提供一种基于深度学习的多种类旋转开关识别系统，采用上述的旋转开关识别方法，所述系统包括：
图像获取模块，其用于获取旋转开关的开关图像；
图像定位模块，其用于基于预先构建的深度学习模型对开关图像进行定位，给出开关图像的旋转开关区域；
关键点检测模块，其用于基于预先构建的关键点检测模型对旋转开关区域进行旋转开关关键点检测，给出标注旋转开关关键点的关键点图像；
角度识别模块，其用于对关键点图像进行识别分析，给出旋转开关的旋转角度。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于深度学习的旋转开关识别方法，其特征在于，包括：
获取含旋转开关的图像；
基于预先构建的深度学习模型对图像中旋转开关进行定位，给出旋转开关区域；
基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像；
对关键点图像进行识别分析，给出旋转开关的旋转角度。
2.如权利要求1所述的旋转开关识别方法，其特征在于，预先构建的深度学习模型通过对Yolov5模型进行训练得到。
3.如权利要求1所述的旋转开关识别方法，其特征在于，预先构建的关键点检测模型通过对HRNet模型进行训练得到。
4.如权利要求1所述的旋转开关识别方法，其特征在于，对关键点图像进行识别分析，给出旋转开关的旋转角度，包括：
根据关键点图像给出关键点的数量；
根据关键点的数量选取对应的计算模型；
根据选取的计算模型对关键点图像进行分析处理，给出旋转开关的旋转角度。
5.如权利要求4所述的旋转开关识别方法，其特征在于，计算模型包括第一计算模型和第二计算模型；其中，第一计算模型用于分析处理关键点数量不大于两个的关键点图像，第二计算模型用于分析处理关键点数量大于两个的关键点图像。
6.如权利要求5所述的旋转开关识别方法，其特征在于，根据第一计算模型对关键点图像进行分析处理，包括：
根据所有关键点的类型确定旋转开关在把柄上的关键点数量；
根据旋转开关在把柄上的关键点数量和位置给出旋转开关的旋转角度；
根据第二计算模型对关键点图像进行分析处理，包括：
根据关键点的类型确定旋转开关在把柄和底座上的数量；
根据旋转开关在把柄和底座上的关键点数量和位置给出旋转开关的旋转角度。
7.如权利要求6所述的旋转开关识别方法，其特征在于，根据旋转开关在把柄上的关键点数量和位置给出旋转开关的旋转角度，包括：
获取关键点图像的中心点，以中心点为起点向右水平延伸一定距离得到第一水平有向线段；
旋转开关在把柄上具有两个关键点时，以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸得到第一把柄有向线段；
计算第一水平有向线段和第一把柄有向线段的夹角并作为旋转开关的旋转角度；
旋转开关在把柄上具有一个关键点时，以类型为把柄末端的关键点为起点向关键点图像中心点延伸或以关键点图像中心点为起点向类型为把柄始端的关键点延伸得到第二把柄有向线段；
计算第一水平有向线段和第二把柄有向线段的夹角并作为旋转开关的旋转角度。
8.如权利要求6所述的旋转开关识别方法，其特征在于，根据旋转开关在把柄和底座上的关键点数量和位置给出旋转开关的旋转角度，包括：
根据旋转开关在底座上的关键点数量和位置，给出底座的边界数量和类型；其中，边界类型包括水平边界和垂直边界；
根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段；
计算第三把柄有向线段和第二水平有向线段的夹角并作为旋转开关的旋转角度。
9.如权利要求8所述的旋转开关识别方法，其特征在于，根据旋转开关在把柄上的关键点数量和位置，以及底座的边界数量和类型，给出第三把柄有向线段和第二水平有向线段，满足以下关系：
；
式中，A为第三把柄有向线段，B为第二水平有向线段，为以类型为把柄末端的关键点为起点向类型为把柄始端的关键点延伸的有向线段，/>为以类型为把柄末端的关键点为起点向垂线交点延伸或以垂线交点为起点向类型为把柄始端的关键点延伸形成的有向线段，/>为以类型为把柄末端的关键点为起点向中心点延伸或以中心点向类型为把柄始端的关键点延伸形成的有向线段，/>为以把柄上两个关键点连线的中间点为起点向右水平延伸一定距离形成的有向线段，/>为以水平边界向右形成的有向线段，/>为以把柄上两个关键点连线的中间点为起点向垂直边界的垂足延伸形成的有向线段，/>为以水平边界和垂直边界的垂线交点为起点向右水平延伸一定距离形成的有向线段，/>为以关键点图像的中心点为起点向右水平延伸一定距离形成的有向线段，α为旋转开关在把柄上具有的关键点数量，β为底座具有的边界情况，当β=1时，表示至少具有水平边界，当β=2时，表示仅具有垂直边界，当β=3时，表示底座无边界，当β=4时，表示同时具有水平边界和垂直边界，当β=5时，表示不同时具有水平边界和垂直边界，γ1为水平边界与水平方向的夹角，γ2为垂直边界与竖直方向的夹角，γ0为预设的阈值角度。
10.一种基于深度学习的旋转开关识别系统，其特征在于，采用权利要求1-9任意一项所述的旋转开关识别方法，所述系统包括：
图像获取模块，其用于获取含旋转开关的图像；
图像定位模块，其用于基于预先构建的深度学习模型对图像中旋转开关进行定位，给出旋转开关区域；
关键点检测模块，其用于基于预先构建的关键点检测模型对旋转开关区域进行关键点检测，给出标注旋转开关关键点的关键点图像；
角度识别模块，其用于对关键点图像进行识别分析，给出旋转开关的旋转角度。
CN202311699849.8A 2023-12-12 2023-12-12 一种基于深度学习的旋转开关识别方法及系统 Active CN117437450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311699849.8A CN117437450B (zh) 2023-12-12 2023-12-12 一种基于深度学习的旋转开关识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311699849.8A CN117437450B (zh) 2023-12-12 2023-12-12 一种基于深度学习的旋转开关识别方法及系统

Publications (2)

Publication Number Publication Date
CN117437450A true CN117437450A (zh) 2024-01-23
CN117437450B CN117437450B (zh) 2024-05-24

Family

ID=89553651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311699849.8A Active CN117437450B (zh) 2023-12-12 2023-12-12 一种基于深度学习的旋转开关识别方法及系统

Country Status (1)

Country Link
CN (1) CN117437450B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115893A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 仪表盘指针读数识别方法、装置、计算机设备及存储介质
CN113505808A (zh) * 2021-06-05 2021-10-15 北京超维世纪科技有限公司 基于深度学习用于配电类设施开关检测识别算法
EP3968212A1 (de) * 2020-09-11 2022-03-16 Siemens Aktiengesellschaft Computerimplementiertes verfahren zum bereitstellen von schaltzustandsdaten
CN115880629A (zh) * 2022-11-28 2023-03-31 智洋创新科技股份有限公司 一种装卸车鹤管状态识别方法和系统
CN115984759A (zh) * 2023-01-13 2023-04-18 岭东核电有限公司 变电站开关状态识别方法、装置、计算机设备和存储介质
CN116188960A (zh) * 2023-03-15 2023-05-30 精英数智科技股份有限公司 基于关键点识别的仪表智能读数方法、装置、设备和介质
CN116844147A (zh) * 2023-07-10 2023-10-03 昆明理工大学 一种基于深度学习的指针式仪表识别和异常警报方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3968212A1 (de) * 2020-09-11 2022-03-16 Siemens Aktiengesellschaft Computerimplementiertes verfahren zum bereitstellen von schaltzustandsdaten
CN112115893A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 仪表盘指针读数识别方法、装置、计算机设备及存储介质
CN113505808A (zh) * 2021-06-05 2021-10-15 北京超维世纪科技有限公司 基于深度学习用于配电类设施开关检测识别算法
CN115880629A (zh) * 2022-11-28 2023-03-31 智洋创新科技股份有限公司 一种装卸车鹤管状态识别方法和系统
CN115984759A (zh) * 2023-01-13 2023-04-18 岭东核电有限公司 变电站开关状态识别方法、装置、计算机设备和存储介质
CN116188960A (zh) * 2023-03-15 2023-05-30 精英数智科技股份有限公司 基于关键点识别的仪表智能读数方法、装置、设备和介质
CN116844147A (zh) * 2023-07-10 2023-10-03 昆明理工大学 一种基于深度学习的指针式仪表识别和异常警报方法

Also Published As

Publication number Publication date
CN117437450B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN108898085B (zh) 一种基于手机视频的道路病害智能检测方法
CN106529537A (zh) 一种数字仪表读数图像识别方法
CN112199993A (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN108734105A (zh) 车道线检测方法、装置、存储介质和电子设备
CN108921099A (zh) 一种基于深度学习的航道内运动船舶目标检测方法
CN110334760B (zh) 一种基于resUnet的光学元器件损伤检测方法及系统
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
Bruinink et al. Portable, automatic water level estimation using mobile phone cameras
CN102706274A (zh) 工业结构化场景中机器视觉精确定位机械零件的系统
CN116862910B (zh) 基于自动化裁切生产的视觉检测方法
CN111368682A (zh) 一种基于faster RCNN台标检测与识别的方法及系统
CN111144401A (zh) 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN112488042A (zh) 一种基于视频分析的行人通行瓶颈判别方法及系统
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN113947714A (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN116901089B (zh) 一种多角度视距的机器人控制方法及系统
CN113269195A (zh) 读数表图像字符识别方法和装置以及可读存储介质
CN113160220A (zh) 一种基于深度学习的检测门把手归位和弯曲的方法
CN117437450B (zh) 一种基于深度学习的旋转开关识别方法及系统
CN112464744A (zh) 一种鱼姿态识别方法
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN108827974B (zh) 一种瓷砖缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant