CN116188960A - 基于关键点识别的仪表智能读数方法、装置、设备和介质 - Google Patents

基于关键点识别的仪表智能读数方法、装置、设备和介质 Download PDF

Info

Publication number
CN116188960A
CN116188960A CN202310253760.2A CN202310253760A CN116188960A CN 116188960 A CN116188960 A CN 116188960A CN 202310253760 A CN202310253760 A CN 202310253760A CN 116188960 A CN116188960 A CN 116188960A
Authority
CN
China
Prior art keywords
points
image information
scale
point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310253760.2A
Other languages
English (en)
Inventor
李忠义
朱晓宁
刘志
吴骏一
李嘉驹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingying Digital Technology Co Ltd
Original Assignee
Jingying Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingying Digital Technology Co Ltd filed Critical Jingying Digital Technology Co Ltd
Priority to CN202310253760.2A priority Critical patent/CN116188960A/zh
Publication of CN116188960A publication Critical patent/CN116188960A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于关键点识别的仪表智能读数方法、装置、电子设备和介质，属于仪表数据管理的技术领域，该方法包括：获取第一图像信息；将第一图像信息输入至训练好的目标检测模型，确定仪表盘的位置信息；根据位置信息对第一图像信息进行裁剪，得到第二图像信息，第二图像信息的尺寸小于第一图像信息的尺寸；将第二图像信息输入至训练好的关键点检测模型，得到仪表盘上关键点的位置信息，关键点包括刻度关键点和指针关键点，刻度关键点至少包括仪表的刻度起点、刻度终点以及刻度起点和刻度终点之间的多个中间点，指针关键点至少包括指针轴心点和指针端点；根据关键点的位置信息确定仪表读数。本申请具有提高智能识别仪表盘读数的准确度的效果。

Description

基于关键点识别的仪表智能读数方法、装置、设备和介质
技术领域
本申请涉及仪表数据管理的技术领域，尤其是涉及一种基于关键点识别的仪表智能读数方法、装置、设备和介质。
背景技术
在工业场景中，经常会涉及仪表的读数问题，例如压力表和温度表等。随着图像技术的发展，图像识别技术应用于仪表的读数问题中。
目前，利用图像识别技术对仪表进行读数的方法，主要包括以下几种：
传统图像处理：通过图像二值化处理将仪表表盘的背景信息分离，通过直线检测或模板匹配的方式检测指针位置，进而根据指针角度进行度数。但是这种识别指针的方法受光线影响较大，识别指针的准确度较低。目标检测：检测仪表盘上的数字和指针，进行读数。但是由于识别的是矩形框，指针的像素信息在其中占据的比例较少，导致矩形框的位置不准确，进而不能精确地检测指针和仪表盘上的数字，读数准确度较低。
因此，如何提供一种识别准确度高的仪表盘读数方法成为一个亟需解决的问题。
发明内容
为了提高智能识别仪表盘读数的准确度，本申请提供一种基于关键点识别的仪表智能读数方法、装置、设备和介质。
第一方面，本申请提供一种基于关键点识别的仪表智能读数方法，采用如下的技术方案：
获取第一图像信息，所述第一图像信息为采集到的仪表盘的原始图像；
将所述第一图像信息输入至训练好的目标检测模型，确定仪表盘的位置信息；
根据所述位置信息对所述第一图像信息进行裁剪，得到第二图像信息，所述第二图像信息的尺寸小于所述第一图像信息的尺寸；
将所述第二图像信息输入至训练好的关键点检测模型，得到仪表盘上关键点的位置信息，所述关键点包括刻度关键点和指针关键点，所述刻度关键点至少包括仪表的刻度起点、刻度终点以及所述刻度起点和所述刻度终点之间的多个中间点，所述指针关键点至少包括指针轴心点和指针端点；
根据所述关键点的位置信息确定仪表读数。
通过采用上述技术方案，电子设备获取带有仪表盘的第一图像信息，通过目标检测模型识别第一图像信息，识别其中的仪表盘，进而确定特征点信息，进而能够根据特征点信息裁剪第一图像信息，去除对识别仪表盘造成干扰的背景，得到只包含仪表盘的第二图像信息，进一步应用关键点检测模型识别第二图像信息，得到仪表盘上关键点的位置信息，进而通过各个关键点确定仪表读数，因此应用了基于目标检测和关键点检测相结合的方式来对指针仪表盘进行读数，得到智能且高精度的读数结果，提高工业作业效率。
进一步地，所述获取带有仪表盘的第一图像信息，包括：
获取带有仪表盘的视频信息；
每隔预设时间从所述视频信息中截取一张图像，将截取的图像作为所述第一图像信息。
通过采用上述技术方案，电子设备通过从视频信息中截取图片，来获取第一图像信息，通过设置预设时间，确定获取第一图像信息的频次和张数，实现仪表盘图片的实时获取，因此能够实时读数。
进一步地，所述根据所述位置信息对所述第一图像信息进行裁剪，得到第二图像信息，包括：
根据预设的规则在所述仪表盘的位置上生成标记框，所述仪表盘位于所述标记框内；
对所述第一图像信息进行裁剪，保留所述标记框内的区域，得到所述第二图像信息。
通过采用上述技术方案，电子设备确定特征点信息包围的区域，包围的区域即为仪表盘，进而对第一图像信息进行裁剪，保留仪表盘对应的区域，删除复杂的背景图像，使第二图像简洁清楚，从而能提高关键点检测模块的识别准确度。
进一步地，所述根据所述关键点的位置信息确定仪表读数，包括：
根据所述指针端点的位置信息计算距离最近的第一刻度关键点；
选取与所述第一刻度关键点最近的点作为第二刻度关键点；
将所述第一刻度关键点和所述第二刻度关键点相连，得到第一直线；
将所述指针轴心点和所述指针端点连接，得到第二直线；
确定所述第一直线和所述第二直线的交点，得到交点位置信息；
根据所述交点位置信息、所述第一刻度关键点和所述第二刻度关键点的位置信息确定仪表读数。
通过采用上述技术方案，电子设备首先确定距离指针端点两端的第一刻度关键点和第二刻度关键点，进一步确定指针与第一刻度关键点和第二刻度关键点连线的交点，根据交点分别与第一刻度关键点和第二刻度关键点之间的距离，以及第一刻度关键点和第二刻度关键点的位置信息，确定仪表读数，将各个关键点的坐标和相对位置结合，从有限的关键点之间识别指针的读数，简单快速准确度高。
进一步地，所述根据所述交点的位置信息、所述第一刻度关键点和所述第二刻度关键点的位置信息确定仪表读数，包括：
确定所述第一刻度关键点对应的刻度M1和所述第二刻度关键点对应的刻度M2；
根据所述交点的位置信息和所述第一刻度关键点的位置信息，计算所述交点与所述第一刻度关键点的第一距离d1；
根据所述交点的位置信息和所述第二刻度关键点的位置信息，计算所述交点与所述第二刻度点的第二距离d2；
根据公式
Figure BDA0004128860910000031
确定所述仪表读数。
通过采用上述技术方案，电子设备确定交点与第一刻度关键点和第二刻度关键点之间的位置关系，根据实际对应的刻度差和位置关系，确定仪表读数，读数准确度高，受干扰因素少。
在另一种可能的实现方式中，在将所述第二图像信息输入至训练好的关键点检测模型之前，所述方法还包括：
获取仪表盘上的特征点信息；
根据所述特征点信息进行霍夫变换，对所述第二图像信息中的仪表盘进行形状检测，得到形状轮廓，所述形状轮廓包括椭圆和圆形圆形；
根据所述形状轮廓进行校正处理，包括以下任一种：
若所述形状轮廓是圆形，则不需要校正；
若所述形状轮廓是椭圆形，则以所述特征点信息拟合椭圆，确定椭圆参数，根据所述椭圆参数确定校正前后的多个透视变换点对，根据所述透视变换点对的各坐标点计算透视变换矩阵；通过所述透视变换矩阵进行倾斜校正。
通过采用上述技术方案，电子设备在对第二图像信息中的仪表盘进行圆形检测，判断是否仪表盘是否倾斜，若倾斜则进行校正，因此减小因倾斜带来的关键点识别误差，提高关键点检测的准确性，并且能够减少训练关键点检测模型时的训练样本数量。
在另一种可能的实现方式中，在根据所述关键点的位置信息确定仪表读数之前，所述方法还包括：
在第二图像信息中生成水平线；
提取所述第二图像信息中当前仪表盘的当前特征点；
获取标准仪表盘上两个关于仪表盘竖直中轴线对称的样本特征点；
将所述当前特征点与所述样本特征点进行匹配，确定两个连接点，两个所述连接点与两个所述样本特征点一一对应；
将两个连接点连接，得到连接线；确定所述连接线与所述水平线的夹角为偏转角度；
根据所述偏转角度转动所述第二图像信息，得到校正后的第二图像信息。
通过采用上述技术方案，电子设备通过旋转校正的方法，将仪表盘转动回正，利于电子设备进行快速读数，简化处理过程。第二方面，本申请提供一种基于关键点识别的仪表智能读数装置，采用如下的技术方案：
第一图像信息获取模块，用于获取带有仪表盘的第一图像信息；
仪表位置确定模块，用于将所述第一图像信息输入至训练好的目标检测模型，确定仪表盘的位置信息；
裁剪模块，用于根据所述特征点信息对所述图像信息进行裁剪，得到包含仪表盘的第二图像信息；
关键点确定模块，用于将所述第二图像信息输入至训练好的关键点检测模型，得到仪表盘上关键点的位置信息，所述关键点包括刻度关键点和指针关键点，所述刻度关键点至少包括仪表的刻度起点、刻度终点以及所述刻度起点和所述刻度终点之间的多个中间点，所述指针关键点至少包括指针轴心点和指针端点；
读数模块，用于根据所述关键点的位置信息确定仪表读数。
通过采用上述技术方案，第一图像信息获取模块获取带有仪表盘的第一图像信息，仪表位置确定模块通过目标检测模型识别第一图像信息，识别其中的仪表盘，进而确定特征点信息，进而裁剪模块能够根据特征点信息裁剪第一图像信息，去除对识别仪表盘造成干扰的背景，得到只包含仪表盘的第二图像信息，关键点确定模块进一步应用关键点检测模型识别第二图像信息，得到仪表盘上关键点的位置信息，进而读数模块通过各个关键点确定仪表读数，因此应用了基于目标检测和关键点检测相结合的方式来对指针仪表盘进行读数，得到智能且高精度的读数结果，提高工业作业效率。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，包括：
至少一个处理器；
存储器；
至少一个计算机程序，其中所述至少一个计算机程序被存储在所述存储器中并被配置为由所述至少一个处理器执行，所述至少一个计算机程序配置用于：执行如第一方面中任一项所述的基于关键点识别的仪表智能读数方法。
通过采用上述技术方案，处理器执行存储器中的计算机程序，获取带有仪表盘的第一图像信息，通过目标检测模型识别第一图像信息，识别其中的仪表盘，进而确定特征点信息，进而能够根据特征点信息裁剪第一图像信息，去除对识别仪表盘造成干扰的背景，得到只包含仪表盘的第二图像信息，进一步应用关键点检测模型识别第二图像信息，得到仪表盘上关键点的位置信息，进而通过各个关键点确定仪表读数，因此应用了基于目标检测和关键点检测相结合的方式来对指针仪表盘进行读数，得到智能且高精度的读数结果，提高工业作业效率。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面中任一项所述的基于关键点识别的仪表智能读数方法的计算机程序。
通过采用上述技术方案，处理器执行计算机可读存储介质中的计算机程序，获取带有仪表盘的第一图像信息，通过目标检测模型识别第一图像信息，识别其中的仪表盘，进而确定特征点信息，进而能够根据特征点信息裁剪第一图像信息，去除对识别仪表盘造成干扰的背景，得到只包含仪表盘的第二图像信息，进一步应用关键点检测模型识别第二图像信息，得到仪表盘上关键点的位置信息，进而通过各个关键点确定仪表读数，因此应用了基于目标检测和关键点检测相结合的方式来对指针仪表盘进行读数，得到智能且高精度的读数结果，提高工业作业效率。
综上所述，本申请包括以下至少一种有益技术效果：
1.获取带有仪表盘的第一图像信息，通过目标检测模型识别第一图像信息，识别其中的仪表盘，进而确定特征点信息，进而能够根据特征点信息裁剪第一图像信息，去除对识别仪表盘造成干扰的背景，得到只包含仪表盘的第二图像信息，进一步应用关键点检测模型识别第二图像信息，得到仪表盘上关键点的位置信息，进而通过各个关键点确定仪表读数，因此应用了基于目标检测和关键点检测相结合的方式来对指针仪表盘进行读数，得到智能且高精度的读数结果，提高工业作业效率；
2.电子设备确定交点与第一刻度关键点和第二刻度关键点之间的位置关系，根据实际对应的刻度差和位置关系，确定仪表读数，读数准确度高，受干扰因素少；
3.电子设备对仪表盘进行倾斜校正和旋转校正，因此减小因倾斜带来的关键点识别误差以及因旋转角度带来的读数误差，提高读数准确性。
附图说明
图1是本申请实施例中基于关键点识别的仪表智能读数方法的流程示意图。
图2中2-1是本申请实施例中第一图像信息的示意图；2-2是第二图像信息的示意图；2-3是识别出关键点后的第二图像信息。
图3是体现本申请实施例中仪表盘读数的流程示意图。
图4是体现本申请实施例中根据关键点读取仪表盘读数的示意图。
图5是本申请实施例中校正仪表盘的示意图。
图6是本申请实施例中基于关键点识别的仪表智能读数装置的电子设备的结构框图。
图7是本申请实施例中电子设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
本申请实施例公开一种基于关键点识别的仪表智能读数方法，该方法应用于可嵌入式设备，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、台式计算机等，但并不局限于此。
参照图1，该方法包括(步骤S101～步骤S105)：
步骤S101：获取第一图像信息，所述第一图像信息为采集到的仪表盘的原始图像。
具体地，为了能实时获取仪表盘的数据，在实际建设中，在仪表盘前架设用于拍摄仪表盘的摄像机或者相机，摄像机可以拍摄得到带有仪表盘的视频信息，相机拍摄带有仪表盘的照片。
若电子设备获取到摄像机发送的视频信息，则电子设备从视频信息中获取第一图像信息，具体包括：获取带有仪表盘的视频信息；每隔预设时间从视频信息中截取一张图像，将截取的图像作为第一图像信息。
例如，视频信息一秒为25帧，即1秒的视频就等于25张图片，电子设备就可以每1/25秒获取一张图片，即在每秒的视频中获取得到25张图片。在另一种可能的实现方式中，为了提高计算速度，采用隔帧获取，即隔3帧或隔5帧截取一张图片。电子设备截取到的图片即为第一图像信息。
步骤S102：将第一图像信息输入至训练好的目标检测模型，得到仪表盘的位置信息。
具体地，电子设备构建训练集，训练集包括大量带有仪表盘位置信息标签的仪表盘图片，训练集中的图片经过处理裁剪，使每个图片的边缘距仪表盘的边缘较近，减小背景信息对仪表盘检测的干扰。电子设备根据训练集进行训练模型，当模型的损失值达到一个较小的预设值后，得到一个训练好的目标检测模型。当将第一图像信息输入至训练好的目标检测模型后，根据输出得到第一图像信息中仪表盘的位置，并进行标识。
标识可以框选住仪表盘，也可以采用标签形式进行标注。
步骤S103：根据位置信息对第一图像信息进行裁剪，得到第二图像信息，第二图像信息的尺寸小于第一图像信息的尺寸，包括(步骤S1031～步骤S1032)：
步骤S1031：根据预设的规则在仪表盘的位置上生成标记框，仪表盘位于所述标记框内。
参照图2，其中2-2为第一图像信息，预设的规则即以仪表盘的位置为中心，生成任一形状的标记框，标记框可以为方形或其他形状，且标记框完全框住仪表盘。或者在仪表盘的轮廓上确定四个等间距的点，并以点为切点作切线，四个切线围成标记框。
步骤S1032：对第一图像信息进行裁剪，保留标记框内的区域，得到第二图像信息。
例如，参照图2中的2-2，将第一图像裁剪得到圆形或方形的第二图像信息，且仪表盘位于第二图像信息的正中央，仪表盘的边缘与第一图像信息的边缘之间存在距离。
在另一种可能的实现方式中，仪表读数的准确度很大程度上取决于相机的拍摄角度。当相机正对仪表拍摄时，采集的图像为端正的仪表图像，读数算法识别较为容易并且准确度更高。然而，由于变电站实际环境复杂，相机拍摄的角度各不相同，且仪表本身存在安装倾斜等原因，导致采集的图像中仪表往往有严重的倾斜和旋转情况。例如，相机拍摄时不是正视表盘，获得的图像中仪表倾斜，表盘刻度比例发生变化，如果直接对这类图像识别较为困难并且读数准确度较低。因此，有必要在仪表图像读数前对图像进行倾斜校正，因此在电子设备执行步骤S104将第二图像信息输入至训练好的关键点检测模型时，需要将图片中的仪表盘进行倾斜校正处理，使其归正，因此上述方法还包括(步骤S11～步骤S13)：
步骤S11：获取仪表盘上的特征点信息。
具体地，电子设备应用SIFT(Scale-invariant feature transform，尺度不变特征变换)和SURF(Speeded Up Robust Features,加速稳健特征)算法确定仪表盘上的特征点信息。
SIFT特征是图像的局部特征，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，SURF特征是对SIFT特征的进一步优化，进而确定更精确的特征点。
步骤S12：根据特征点信息进行霍夫变换，对第二图像信息中的仪表盘进行形状检测，得到形状轮廓，形状轮廓包括椭圆和圆形。
具体地，霍夫变换是一种特征检测，它的算法流程大致如下：给定一个物件、要辨别的形状的种类，算法会在参数空间中执行投票来决定物体的形状，而这是由累加空间里的局部最大值来决定。
因此，电子设备能够根据特征点信息应用霍夫变换进行圆检测，识别椭圆形或圆形。
步骤S13：根据形状轮廓进行校正处理，包括以下任一种：
若形状轮廓是圆形，则不需要校正。
若形状轮廓是椭圆形，则以特征点信息拟合椭圆，确定椭圆参数；根据椭圆参数确定校正前后的多个透视变换点对；根据透视变换点对的各坐标点计算透视变换矩阵；通过透视变换矩阵进行倾斜校正。
具体地，特征点信息即特征点对应的坐标；进一步地，椭圆可以认为是由圆压扁得来的，椭圆参数就是椭圆上的点被压扁之前在圆上对应的点的旋转角。因此，电子设备可以通过最小二乘法将特征点坐标拟合椭圆，进而得到椭圆参数，从而根据椭圆参数确定多对原平面上的点和其对应映射到新的是平面的点，即透视变换点对，一般地选取4对。
具体地，透视变换的本质是将图像投影到一个新的视平面，其变换公式为：
Figure BDA0004128860910000081
其中，(x，y，z)为原始图像像素点的齐次坐标，
Figure BDA0004128860910000082
为变换之后的图像像素点的其次坐标。即原始图像像素点的其次坐标(x，y，z)对应得到变换后的图像像素点的齐次坐标(X’，Y’，Z’)，其中Z’＝1，则点(X’，Y’)就是原图像对应的像素点的二维平面坐标经过变换后的二维平面坐标。
Figure BDA0004128860910000083
一般地，令a33＝1，展开以上公式，得到一个点的放射变换：
Figure BDA0004128860910000084
在这个方程中，总共有8个未知数，因此我们可以将4对透视变换点对代入方程，解出各个未知数，进而得到变换矩阵，变换矩阵为：
Figure BDA0004128860910000091
进一步地，假设变换好的图像new_image大小跟原图image一样大，然后我们遍历图像new_image行和列，即遍历new_image的每一个像素坐标(Y,X,1)，然后利用变换矩阵计算该坐标在原图中的对应位置(y,x,1)，将原图中该位置的像素值p(y,x,1)赋值到变换后的图new_image中的(Y,X,1)位置。超出原图像素坐标的点可以随意赋值，一般赋值为边缘像素值，进而完成倾斜校正。
在另一种可能的实现方式中，采用深度学习的方式，通过设计语义分割网络来对表盘区域进行矫正，例如以Unet网络为模板，将多尺度空洞卷积引入Unet网络中，增大感受野，实现像素级的回归，可以实现对原始图像的矫正。
进一步地，在根据关键点的位置信息确定仪表读数之前，电子设备进行旋转校正，若第二图像信息需要倾斜校正和旋转校正，更优的方法是首先对第二图像信息进行倾斜校正，然后进行旋转校正。上述方法还包括(步骤S21～步骤S27)：
步骤S21：在第二图像信息中生成水平线。
步骤S22：提取第二图像信息中当前仪表盘的当前特征点。
步骤S23：获取标准仪表盘上两个关于仪表盘竖直中轴线对称的样本特征点。
步骤S24：将当前特征点与样本特征点进行匹配，确定两个连接点，两个连接点与两个样本特征点一一对应。
具体地，电子设备应用SIFT(Scale-invariant feature transform，尺度不变特征变换)和SURF(Speeded Up Robust Features,加速稳健特征)算法确定样本仪表盘的标准特征点和当前仪表盘的当前特征点。电子设备在标准特征点中确定一对关于仪表盘竖直中轴线对称的样本特征点，应用如FlannBasedMatcher(快速最近邻逼近搜索函数库(FastApproximate Nearest Neighbor Search Library))的算法对两张图的特征点进行匹配，确定当前仪表盘上与样本特征点对应的一对连接点。
步骤S25：将两个连接点连接，得到连接线。
例如，参照图5，电子设备确定点A和点E为两个连接点，相连得到连接线L3。
步骤S26：确定连接线与水平线的夹角为偏转角度。
参照图4，其中的夹角a为偏转角度。
步骤S27：以指针轴线点为圆心，根据偏转角度转动第二图像信息，得到校正后的第二图像信息。
具体地，电子设备以点M为圆心，向靠近水平线的方向转动第二图像信息，且转动角度达到偏转角度后，更新得到校正后的第二图像信息。
步骤S104：将第二图像信息输入至训练好的关键点检测模型，得到仪表盘上关键点的位置信息，关键点包括刻度关键点和指针关键点，刻度关键点至少包括仪表的刻度起点、刻度终点以及刻度起点和刻度终点之间的多个中间点，指针关键点至少包括指针轴心点和指针端点。
具体地，电子设备通过大量带有关键点仪表盘的图片作为训练集，训练模型，当模型的损失值达到一个较小的预设值后，得到一个训练好的关键点检测模型。
电子设备将第二图像信息输入至关键点检测模型后，输出得到仪表盘上关键点的位置信息，其中，位置信息可以表现为坐标。参照图2中的2-3为识别出关键点后的第二图像信息。
步骤S105：根据关键点的位置信息确定仪表读数。
参照图3，步骤S105，包括(步骤S1051～步骤S1056)：
步骤S1051：根据指针端点的位置信息计算距离最近的第一刻度关键点。
具体的，电子设备在图片上建立坐标系，并标识各个关键点的坐标，电子设备通过坐标计算各个指针端点与各个第一刻度关键点之间的距离，从而选出距离指针端点最近的第一刻度关键点。
例如：参照图4，刻度起点为A、刻度终点为E，中间点包括B～D，指针轴心点为M，指针端点为N。根据图中所示，距离指针端点N最近的第一刻度关键点为A。
步骤S1052：根据第一刻度关键点的位置信息计算与其距离最近的第二刻度关键点。
例如：距离第一刻度关键点A最近的第二刻度关键点为B。
步骤S1053：将第一刻度关键点和第二刻度关键点相连，得到第一直线。
具体地，参照图4，电子设备将A与B相连得到第一直线L1。
步骤S1054：将指针轴心点和指针端点连接，得到第二直线。
参照图4，电子设备将点M与N相连，得到直线L2。
步骤S1055：确定第一直线和第二直线的交点，得到交点位置信息。
进一步地，电子设备确定L1与L2的交点为P，电子设备可以在坐标系中确定P的坐标，即得到交点位置信息。
步骤S1056：根据交点位置信息、第一刻度关键点和第二刻度关键点的位置信息确定仪表读数，包括(步骤Sa～步骤Sd)：
步骤Sa：确定第一刻度关键点对应的刻度M1和第二刻度关键点对应的刻度M2。
参照图2和图3，第一刻度关键点A对应的刻度M1为0，第二刻度关键点对应的刻度M2为0.4。
步骤Sb：根据交点的位置信息和第一刻度关键点的位置信息，计算交点与第一刻度关键点的第一距离d1。
步骤Sc：根据交点的位置信息和第二刻度关键点的位置信息，计算交点与第二刻度点的第二距离d2。
具体地，电子设备根据坐标计算点A与点P之间的距离d1。
例如，点A(x1，y1)，P(x2，y2)，则
Figure BDA0004128860910000111
同样的，电子设备可以根据相同的计算方法，计算得到d2。
步骤Sd：根据公式
Figure BDA0004128860910000112
确定仪表读数。
例如，d1＝0.2，d2＝0.8，M1＝0，M2＝0.4，则当前仪表读数为0.08。
进一步地，为了使得该模型可以在嵌入式设备上使用，使用任一种深度学习框架的部署工具(如NCNN、TensorRT等)对本方法中提到的目标检测算法和关键点检测算法进行加速，加速原理主要包括量化、压缩、低精度、多线程等，然后通过深度学习框架的部署工具来重写模型的加载和处理程序，从而使得检测模型可以在深度学习框架下进行推理，然后将改写之后的模型部署到相应的嵌入式设备上，完成在嵌入式设备上的部署。
为了更好地执行上述方法，本申请实施例还提供一种基于关键点识别的仪表智能读数装置，参照图6，基于关键点识别的仪表智能读数装置200包括：
第一图像信息获取模块201，用于获取第一图像信息，所述第一图像信息为采集到的仪表盘的原始图像；
仪表位置确定模块202，用于将第一图像信息输入至训练好的目标检测模型，得到仪表盘的位置信息；
裁剪模块203，用于根据位置信息对第一图像信息进行裁剪，得到第二图像信息，第二图像信息的尺寸小于第一图像信息的尺寸；
关键点确定模块204，用于将第二图像信息输入至训练好的关键点检测模型，得到仪表盘上关键点的位置信息，关键点包括刻度关键点和指针关键点，刻度关键点至少包括仪表的刻度起点、刻度终点以及刻度起点和刻度终点之间的多个中间点，指针关键点至少包括指针轴心点和指针端点；
读数模块205，用于根据关键点的位置信息确定仪表读数。
进一步地，第一图像信息获取模块201，具体用于：
获取带有仪表盘的视频信息；
每隔预设时间从视频信息中截取一张图像，将截取的图像作为所述第一图像信息。
进一步地，裁剪模块203，具体用于：
根据预设的规则在仪表盘的位置上生成标记框，仪表盘位于标记框内；
对第一图像信息进行裁剪，保留标记框内的区域，得到第二图像信息。
在另一种可能的实现方式中，在将第二图像信息输入至训练好的关键点检测模型之前，基于关键点识别的仪表智能读数装置200还包括：
特征点获取模块，用于获取仪表盘上的特征点信息；
圆形检测模块，用于根据特征点信息进行霍夫变换，对第二图像信息中的仪表盘进行形状检测，得到形状轮廓，形状轮廓包括椭圆和圆形；
倾斜校正模块，用于根据形状轮廓进行校正处理，包括以下任一种：
若形状轮廓是圆形，则不需要校正；
若形状轮廓是椭圆形，则以特征点信息拟合椭圆；
根据椭圆参数确定校正前后的透视变换点对；
根据各坐标点计算透视变换矩阵；
通过透视变换矩阵进行倾斜校正。
在另一种可能的实现方式中，在将第二图像信息输入至训练好的关键点检测模型之前，基于关键点识别的仪表智能读数装置200还包括：
水平线生成模块，用于在第二图像信息中生成水平线；
当前特征点获取模块，用于提取第二图像信息中当前仪表盘的当前特征点；
样本特征点获取模块，用于获取标准仪表盘上两个关于仪表盘竖直中轴线对称的样本特征点；连接点确定模块，用于将当前特征点与样本特征点进行匹配，确定两个连接点，两个连接点与两个样本特征点一一对应；；
连接线确定模块，用于将两个连接点连接，得到连接线；
偏转角度确定模块，用于确定连接线与水平线的夹角为偏转角度；
旋转校正模块，用于根据偏转角度转动第二图像信息，得到校正后的第二图像信息。
进一步地，读数模块205，具体用于：
根据指针端点的位置信息计算距离最近的第一刻度关键点；
选取与第一刻度关键点最近的点作为第二刻度关键点；
将第一刻度关键点和第二刻度关键点相连，得到第一直线；
将指针轴心点和指针端点连接，得到第二直线；
确定第一直线和第二直线的交点，得到交点位置信息；
根据交点位置信息、第一刻度关键点和第二刻度关键点的位置信息确定仪表读数。
进一步地，读数模块205在根据交点的位置信息、第一刻度关键点和第二刻度关键点的位置信息确定仪表读数时，具体用于：
确定第一刻度关键点对应的刻度M1和第二刻度关键点对应的刻度M2；
根据交点的位置信息和第一刻度关键点的位置信息，计算交点与第一刻度关键点的第一距离d1；
根据交点的位置信息和第二刻度关键点的位置信息，计算交点与第二刻度点的第二距离d2；根据公式
Figure BDA0004128860910000131
确定仪表读数。
前述实施例中的方法中的各种变化方式和具体实例同样适用于本实施例的基于关键点识别的仪表智能读数装置，通过前述对基于关键点识别的仪表智能读数方法的详细描述，本领域技术人员可以清楚的知道本实施例中的基于关键点识别的仪表智能读数装置的实施方法，所以为了说明书的简洁，在此不再详述。
为了更好地实施以上方法，本申请实施例提供一种电子设备，参照图7，电子设备300包括：处理器301、存储器303和显示屏305。其中，存储器303、显示屏305均与处理器301相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。
存储器303可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
图7示出的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时实现上述实施例提供的基于关键点识别的仪表智能读数方法，处理器执行计算机可读存储介质中的计算机程序，获取带有仪表盘的第一图像信息，通过目标检测模型识别第一图像信息，识别其中的仪表盘，进而确定特征点信息，进而能够根据特征点信息裁剪第一图像信息，去除对识别仪表盘造成干扰的背景，得到只包含仪表盘的第二图像信息，进一步应用关键点检测模型识别第二图像信息，得到仪表盘上关键点的位置信息，进而通过各个关键点确定仪表读数，因此应用了基于目标检测和关键点检测相结合的方式来对指针仪表盘进行读数，得到智能且高精度的读数结果，提高工业作业效率。。
本实施例中，计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的，计算机可读存储介质可以是便携式计算机盘、硬盘、U盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、讲台随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。
本实施例中的计算机程序包含用于执行前述所有的方法的程序代码，程序代码可包括对应执行上述实施例提供的方法步骤对应的指令。计算机程序可从计算机可读存储介质下载到各个计算/处理设备，或者通过网络(例如因特网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。计算机程序可完全地在用户计算机上执行、作为一个独立的软件包执行。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
另外，需要理解的是，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (10)

1.一种基于关键点识别的仪表智能读数方法，其特征在于，包括：
获取第一图像信息，所述第一图像信息为采集到的仪表盘的原始图像；
将所述第一图像信息输入至训练好的目标检测模型，得到仪表盘的位置信息；
根据所述位置信息对所述第一图像信息进行裁剪，得到第二图像信息，所述第二图像信息的尺寸小于所述第一图像信息的尺寸；
将所述第二图像信息输入至训练好的关键点检测模型，得到仪表盘上关键点的位置信息，所述关键点包括刻度关键点和指针关键点，所述刻度关键点至少包括仪表的刻度起点、刻度终点以及所述刻度起点和所述刻度终点之间的多个中间点，所述指针关键点至少包括指针轴心点和指针端点；
根据所述关键点的位置信息确定仪表读数。
2.根据权利要求1所述的方法，其特征在于，所述获取带有仪表盘的第一图像信息，包括：
获取带有仪表盘的视频信息；
每隔预设时间从所述视频信息中截取一张图像，将截取的图像作为所述第一图像信息。
3.根据权利要求1所述的方法，其特征在于，
所述根据所述位置信息对所述第一图像信息进行裁剪，得到第二图像信息，包括：
根据预设的规则在所述仪表盘的位置上生成标记框，所述仪表盘位于所述标记框内；
对所述第一图像信息进行裁剪，保留所述标记框内的区域，得到所述第二图像信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述关键点的位置信息确定仪表读数，包括：
根据所述指针端点的位置信息计算距离最近的第一刻度关键点；
选取与所述第一刻度关键点最近的点作为第二刻度关键点；
将所述第一刻度关键点和所述第二刻度关键点相连，得到第一直线；
将所述指针轴心点和所述指针端点连接，得到第二直线；
确定所述第一直线和所述第二直线的交点，得到交点位置信息；
根据所述交点位置信息、所述第一刻度关键点和所述第二刻度关键点的位置信息确定仪表读数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述交点的位置信息、所述第一刻度关键点和所述第二刻度关键点的位置信息确定仪表读数，包括：
确定所述第一刻度关键点对应的刻度M1和所述第二刻度关键点对应的刻度M2；
根据所述交点的位置信息和所述第一刻度关键点的位置信息，计算所述交点与所述第一刻度关键点的第一距离d1；
根据所述交点的位置信息和所述第二刻度关键点的位置信息，计算所述交点与所述第二刻度点的第二距离d2；
根据公式
Figure FDA0004128860900000021
确定所述仪表读数。
6.根据权利要求1所述的方法，其特征在于，在将所述第二图像信息输入至训练好的关键点检测模型之前，所述方法还包括：
获取仪表盘上的特征点信息；
根据所述特征点信息进行霍夫变换，对所述第二图像信息中的仪表盘进行形状检测，得到形状轮廓，所述形状轮廓包括椭圆和圆形；
根据所述形状轮廓进行校正处理，包括以下任一种：
若所述形状轮廓是圆形，则不需要校正；
若所述形状轮廓是椭圆形，则以所述特征点信息拟合椭圆，确定椭圆参数，根据所述椭圆参数确定校正前后的多个透视变换点对，根据所述透视变换点对的各坐标点计算透视变换矩阵；通过所述透视变换矩阵进行倾斜校正。
7.根据权利要求1或6所述的方法，其特征在于，在将所述第二图像信息输入至训练好的关键点检测模型之前，所述方法还包括：
在第二图像信息中生成水平线；
提取所述第二图像信息中当前仪表盘的当前特征点；
获取标准仪表盘上两个关于仪表盘竖直中轴线对称的样本特征点；
将所述当前特征点与所述样本特征点进行匹配，确定两个连接点，两个所述连接点与两个所述样本特征点一一对应；
将两个连接点连接，得到连接线；确定所述连接线与所述水平线的夹角为偏转角度；
根据所述偏转角度转动所述第二图像信息，得到校正后的第二图像信息。
8.一种基于关键点识别的仪表智能读数装置，其特征在于，包括：
第一图像信息获取模块，用于获取第一图像信息，所述第一图像信息为采集到的仪表盘的原始图像；
仪表位置确定模块，用于将所述第一图像信息输入至训练好的目标检测模型，得到仪表盘的位置信息；
裁剪模块，用于根据所述位置信息对所述第一图像信息进行裁剪，得到第二图像信息，所述第二图像信息的尺寸小于所述第一图像信息的尺寸；
关键点确定模块，用于将所述第二图像信息输入至训练好的关键点检测模型，得到仪表盘上关键点的位置信息，所述关键点包括刻度关键点和指针关键点，所述刻度关键点至少包括仪表的刻度起点、刻度终点以及所述刻度起点和所述刻度终点之间的多个中间点，所述指针关键点至少包括指针轴心点和指针端点；
读数模块，用于根据所述关键点的位置信息确定仪表读数。
9.一种电子设备，其特征在于，
至少一个处理器；
存储器；
至少一个计算机程序，其中所述至少一个计算机程序被存储在所述存储器中并被配置为由所述至少一个处理器执行，所述至少一个计算机程序配置用于：执行如权利要求1至7任一项所述的基于关键点识别的仪表智能读数方法。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一项所述的基于关键点识别的仪表智能读数方法的计算机程序。
CN202310253760.2A 2023-03-15 2023-03-15 基于关键点识别的仪表智能读数方法、装置、设备和介质 Pending CN116188960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310253760.2A CN116188960A (zh) 2023-03-15 2023-03-15 基于关键点识别的仪表智能读数方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310253760.2A CN116188960A (zh) 2023-03-15 2023-03-15 基于关键点识别的仪表智能读数方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN116188960A true CN116188960A (zh) 2023-05-30

Family

ID=86434625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310253760.2A Pending CN116188960A (zh) 2023-03-15 2023-03-15 基于关键点识别的仪表智能读数方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116188960A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437450A (zh) * 2023-12-12 2024-01-23 北京蒙帕信创科技有限公司 一种基于深度学习的旋转开关识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437450A (zh) * 2023-12-12 2024-01-23 北京蒙帕信创科技有限公司 一种基于深度学习的旋转开关识别方法及系统
CN117437450B (zh) * 2023-12-12 2024-05-24 北京蒙帕信创科技有限公司 一种基于深度学习的旋转开关识别方法及系统

Similar Documents

Publication Publication Date Title
CN107609557B (zh) 一种指针式仪表读数识别方法
CN111179358A (zh) 标定方法、装置、设备及存储介质
CN109740633B (zh) 一种图像相似度计算方法、装置、存储介质
JP5385105B2 (ja) 画像検索方法およびシステム
CN109479082B (zh) 图象处理方法及装置
CN109784250B (zh) 自动引导小车的定位方法和装置
JP6889865B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
JP6684475B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107240130B (zh) 遥感影像配准方法、装置及系统
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
JP6844235B2 (ja) 距離測定装置および距離測定方法
CN112991453A (zh) 双目相机标定参数的校验方法、装置及电子设备
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
US20200005078A1 (en) Content aware forensic detection of image manipulations
CN116188960A (zh) 基于关键点识别的仪表智能读数方法、装置、设备和介质
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN108052869B (zh) 车道线识别方法、装置及计算机可读存储介质
CN111161348B (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN108427110A (zh) 测距方法、装置及电子设备
CN117197245A (zh) 一种位姿修复方法及装置
CN115457202B (zh) 一种三维模型更新的方法、装置及存储介质
CN113379826A (zh) 物流件的体积测量方法以及装置
CN108564571B (zh) 图像区域选取方法及终端设备
Kang et al. A robust image matching method based on optimized BaySAC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination