CN111488874A - 一种指针式仪表倾斜校正方法及系统 - Google Patents
一种指针式仪表倾斜校正方法及系统 Download PDFInfo
- Publication number
- CN111488874A CN111488874A CN202010260786.6A CN202010260786A CN111488874A CN 111488874 A CN111488874 A CN 111488874A CN 202010260786 A CN202010260786 A CN 202010260786A CN 111488874 A CN111488874 A CN 111488874A
- Authority
- CN
- China
- Prior art keywords
- ellipse
- perspective transformation
- instrument
- fitting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000009466 transformation Effects 0.000 claims abstract description 105
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000012937 correction Methods 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 49
- 238000002372 labelling Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 5
- 241001347978 Major minor Species 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 241000669069 Chrysomphalus aonidum Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供的指针式仪表倾斜校正方法及系统，包括：将待校正的倾斜仪表图像输入至关键点检测模型，获取检测关键刻度数字坐标；基于最小二乘法对检测关键刻度数字坐标进行椭圆拟合获取拟合椭圆；获取椭圆参数，确定透视变换前坐标点；确定椭圆的外切圆，确定透视变换后坐标点；根据透视变换前坐标点和透视变换后坐标点，获取透视变换矩阵；根据透视变换矩阵，对待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。本实施例提供的方法及系统，通过获取关键刻度坐标拟合椭圆，结合椭圆变换原理使用透视变换实现仪表的倾斜校正，鲁棒性好，在表盘遮挡、模糊和光照不均等情况下，依然可以准确实现任意圆形类仪表的倾斜校正。
Description
技术领域
本发明实施例涉及智能识别技术领域，尤其涉及一种指针式仪表倾斜校正方法及系统。
背景技术
现有技术例如变电站系统中，存在大量用于检测设备工作状态的指针式仪表，对这些仪表进行检测及读取是一项繁重的任务。随着智能电力的快速发展，机器人逐渐代替人工完成各类仪表的智能检测及读取。但是，机器人在检测过程中，经常从不同的角度来拍摄仪表图像，而指针式仪表作为一种圆形刻度仪表，读数的准确性很大程度上取决于仪器的检测视角。
当相机正对仪表拍摄图像时，采集的仪表图像为圆形，此时算法可以显示出最佳性能。当相机倾斜拍摄仪表图像时，采集的仪表图像为椭圆形，仪表的刻度线发生比例变换，此时识别算法的准确度将会大大降低。由于现实情况下的自然环境复杂且设备的安装也经常不端正，相机往往无法从正视角度采集图像，使得采集的仪表图像倾斜较为严重，图像比例值发生变换，给仪表的智能读数识别带来困难且识别误差大。
目前，对获取的圆形的指针式仪表图像，并没有一种较好的校正方法。主要是通过模板图像和待识别的图像进行特征匹配实现仪表的倾斜校正，这种方法匹配速度较慢，并且需要预先采集各类模板图像，适用性较差。还有部分技术是通过在采集图像前人为添加参照物，最后根据参照物变化通过透视变换实现仪表倾斜校正，这种方法操作复杂，不具有灵活性，难以应用于工业环境。
有鉴于此，亟需提供一种有效的针对指针式仪表倾斜情况进行校正的方法。
发明内容
为了解决现有技术中在圆形指针式仪表检测中存在的诸多不足，本发明提出了一种指针式仪表倾斜校正方法及系统。
第一方面，本发明实施例提供一种指针式仪表倾斜校正方法，主要包括：将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标；基于最小二乘法对检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆；获取拟合椭圆的椭圆参数，并确定透视变换前坐标点；确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点；根据透视变换前坐标点和透视变换后坐标点，获取透视变换矩阵；根据透视变换矩阵，对待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
作为可选地，在上述将待校正的倾斜仪表图像输入至关键点检测模型之前，还包括对关键点检测模型进行预训练，主要包括：
采集不同倾斜角度、不同类型的指针式仪表图像，构建训练集；对训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注，构建训练标签集，训练标签集中的训练标签与训练集中的指针式仪表图像一一对应；利用训练集中的每个训练样本作为输入，以训练标签集中与训练样本对应的带区域标注图像作为输出，完成对关键点检测模型的预训练。
作为可选地，在对训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注，构建训练标签集之后，还包括：基于K-means算法，预测对所述训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注的数量和范围。
作为可选地，关键点检测模型可以为：RCNN、Mask-RCNN、R-FCN、YOLO、SSD、FPN模型中的一种。
作为可选地，上述基于最小二乘法对所述检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆，主要包括：从Opencv图像处理库调用椭圆拟合函数；利用最小二乘法，根据检测关键刻度数字坐标对椭圆拟合函数进行匹配，获取拟合椭圆。
作为可选地，上述获取拟合椭圆的椭圆参数，并确定透视变换前坐标点，主要包括：获取拟合椭圆的中心点坐标、长轴及长轴斜率、短轴及短轴斜率；确定长轴和短轴与拟合椭圆的交点坐标作为透视变换前坐标点。
作为可选地，上述确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点，主要包括：由拟合椭圆的中心点坐标和长轴的半径获取拟合椭圆对应的外切圆方程；将外切圆方程结合拟合椭圆的长短轴直线方程，获取长轴和短轴与外切圆的交点坐标作为透视变换后坐标点。
第二方面，本发明实施例提供一种指针式仪表倾斜校正系统，主要包括坐标获取单元、椭圆拟合单元、变换矩阵运算单元以及图像校正单元，其中：
坐标获取单元，用于实现将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标；椭圆拟合单元，用于基于最小二乘法对检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆；变换矩阵运算单元，用于获取拟合椭圆的椭圆参数，并确定透视变换前坐标点；确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点；根据透视变换前坐标点和透视变换后坐标点，获取透视变换矩阵；图像校正单元，用于根据透视变换矩阵，对待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如第一方面任一所述的指针式仪表倾斜校正方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面任一所述的指针式仪表倾斜校正方法的步骤。
本发明实施例提供的指针式仪表倾斜校正方法及系统，利用训练好的神经网络模型对待校正的倾斜仪表图像进行识别获取关键刻度坐标拟合椭圆，结合椭圆变换原理对拟合椭圆使用透视变换，以实现仪表的倾斜校正，鲁棒性好，在表盘遮挡、模糊和光照不均等情况下，依然可以准确实现任意圆形类仪表的倾斜校正。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种指针式仪表倾斜校正方法流程示意图；
图2为本发明实施例提供的一种关键点检测模型预训练的流程示意图；
图3为本发明实施例提供的一种待校正的倾斜仪表示意图；
图4为本发明实施例提供的一种含多个检测关键刻度数字坐标的待校正的倾斜仪表示意图；
图5为本发明实施例提供的一种获取透视变换前、后坐标点的待校正的倾斜仪表示意图；
图6为本发明实施例提供的一种校正后的正视仪表示意图；
图7为本发明实施例提供的一种指针式仪表倾斜校正系统的结构示意图；
图8为本发明实施例提供的一种电子设备的实体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对目前缺少一种稳定而通用的圆形指针式仪表倾斜校正方法，以及现有的方法中校正参考点选择困难等问题，本发明实施例提供了一种基于深度学习的指针式仪表倾斜校正方法，通过本方法构建的指针式仪表倾斜校正方法，旨在通过深度神经网络学习表盘上的刻度数字特征，从而获得以刻度数字为中心的关键点坐标，再根据坐标信息拟合椭圆，结合椭圆变换原理使用透视变换实现仪表的倾斜校正。本实施例的方法适合各种圆形类型的仪表的倾斜校正，具有普适性的特点，如图1所示，该方法主要包括但不限于以下步骤：
步骤S1，将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标。
步骤S2，基于最小二乘法对所述检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆。
步骤S3，获取拟合椭圆的椭圆参数，并确定透视变换前坐标点。
步骤S4，确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点。
步骤S5，根据透视变换前坐标点和所述透视变换后坐标点，获取透视变换矩阵。
步骤S6，根据透视变换矩阵，对待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
其中，关键点检测模型可以是一种卷积神经网络，在本发明实施例中，主要是基于该卷积神经网络提取待校正的倾斜仪表图像的深层特征，并根据提取的特征自动实现图像的检测关键刻度数字坐标的检测。其中，关键刻度数字可以是仪表图像中所显示的仪表盘中明显的标注刻度值，例如：仪表盘中的阿拉伯数字“0”、“10”、“20”等。由于这些阿拉伯数字与刻度之间存在明显的差异，便于识别，能够有效的提高卷积神经网络的识别精度。
其中，最小二乘法(又称最小平方法)是一种数学优化技术，其通过最小化误差的平方和来寻找数据的最佳函数匹配。在本发明实施例中利用最小二乘法进行曲线拟合。具体地，可以通过最小化约束条件4ac-b2＝1，最小化距离误差，然后利用最小二乘法进行求解。包括，先引入拉格朗日乘子算法获得等式组，然后求解等式组得到最优的拟合椭圆。
进一步地，在通过对检测关键刻度数字坐标进行拟合，获取到拟合椭圆之后，可以对该拟合椭圆进行数学计算，获取到拟合椭圆的椭圆参数。在获取到拟合椭圆的椭圆参数，可以将拟合椭圆上的一些特殊点，设定为透视变换前坐标点。
由于本发明实施例是需要将倾斜视角的仪表图像利用透视变换，转换成圆形的正视角仪表图像下的正视仪表图像，因此，在确定了拟合椭圆后，则可以进一步的确定出正视仪表图像的圆，即透视变换后形成的与拟合椭圆所对应的圆，可以将该圆设置为拟合椭圆的外切圆。在确定了上述外切圆的坐标参数之后，则可以结合透视变换前坐标点在拟合椭圆上的位置以及拟合椭圆的椭圆参数，进一步确定出与每个透视变换前坐标点一一对应的透视变换后坐标点。
进一步地，可以根据每个透视变换前坐标点和与其对应的透视变换后坐标点之间的关系，计算出用于透视变换的透视变换矩阵。
最后，根据透视变换矩阵将待校正的仪表图像中的每个像素点按照相同规则进行透视变换，获取到校正后的正视仪表图像。
本发明实施例提供的指针式仪表倾斜校正方法，利用训练好的神经网络模型对待校正的倾斜仪表图像进行识别获取关键刻度坐标拟合椭圆，结合椭圆变换原理对拟合椭圆使用透视变换，以实现仪表的倾斜校正，鲁棒性好，在表盘遮挡、模糊和光照不均等情况下，依然可以准确实现任意圆形类仪表的倾斜校正。
基于上述实施例的内容，作为一种可选实施例，在将待校正的倾斜仪表图像输入至关键点检测模型之前，还包括对关键点检测模型进行预训练，主要包括但不限于以下步骤：
采集不同倾斜角度、不同类型的指针式仪表图像，构建训练集；对训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注，构建训练标签集，训练标签集中的训练标签与所述训练集中的指针式仪表图像一一对应；利用训练集作为输入，训练标签集作为输出，完成对关键点检测模型的预训练。
基于上述实施例的内容，作为一种可选实施例，在对训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注，构建训练标签集之后，还可以包括：基于K-means算法，预测对训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注的数量和范围。
如图2所示，本发明实施例提供的对建立的关键点检测模型进行预训练的整个流程包括但不限于以下步骤：
在步骤S11中，采集包括不同旋转角度、不同倾斜角度、不同的遮挡情况和不同光照等情况下的指针式仪表图像，以构建出训练集(也可称作：数据集)，能有有效的提高关键点检测模型的鲁棒性。
在步骤S12中，对数据集的图像中仪表的刻度数字进行区域标注，其中标注的方式可以是采用手动进行的。为了提高模型训练的识别度，这一步骤中，主要是标注仪表盘上的所有刻度数字所在的区域。例如，对图3所示的本发明实施例提供的待校正的倾斜仪表示意图中的仪表盘上的所有刻度数字所在的区域进行标注，获取到如图4所示的含多个标注了检测关键刻度数字坐标的待校正的倾斜仪表示意图。
在步骤S13中，使用K-means聚类算法对步骤S12标注的区域进行聚类，并求用于模型训练的最佳标注区域的数量和标注区域(可以是一个标注框，其形状可以是圆形、矩形或菱形等)大小。可以理解为：本发明实施例中采用K-means算法的作用是在训练的过程中，通过K-means对标注的数据集标签进行聚类，求出刻度数字最佳的数量(一般3-9个)以及最合适的尺寸。在实际预测阶段，就根据这个最可能的数量和尺寸去索引区域标注的预测框，将相似度低的自动排除，进而可以提高预测的准确度和速度。
在步骤S14中，通过关键点检测模型结合最佳标注区域大小，通过参数调优对标注的训练集进行训练，完成对深度网络模型的预训练。
本发明实施例提供的指针式仪表倾斜校正方法，利用深度学习网络模型自动识别待校正的倾斜仪表图像中的刻度数字并建立起坐标，有效的提高了校正的效率和精度；同时，在进行深度学习网络模型预训练时，结合K-means聚类算法，以确定对图像中的仪表刻度数字进行标注的范围及个数，能够进一步的提高校正的效率。
基于上述实施例的内容，作为一种可选实施例，关键点检测模型可以采用RCNN、Mask-RCNN、R-FCN、YOLO、SSD、FPN等目标检测网络模型中的一种，对此本发明实施例不作具体的限定。
作为可选实施例，基于最小二乘法对所述检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆，可以采用以下方式实现：从Opencv图像处理库调用椭圆拟合函数；利用最小二乘法，根据检测关键刻度数字坐标对椭圆拟合函数进行匹配，获取拟合椭圆。
其中，Opencv图像处理库是Intel公司推出的开源、免费的计算机视觉程序库，利用OpenCV可以很方便地实现图像和视频处理。在本发明实施例中，在Opencv图像处理库调用的基础上，结合最小二乘法，以根据刻度数字坐标实现椭圆拟合函数的匹配，有效的提高了拟合函数的准确性。
基于上述实施例的内容，作为一种可选实施例，获取拟合椭圆的椭圆参数，并确定透视变换前坐标点，可以包括以下内容：获取拟合椭圆的中心点坐标、长轴及长轴斜率、短轴及短轴斜率；确定长轴和短轴与拟合椭圆的交点坐标作为透视变换前坐标点。
首先，根据步骤S4中获取的拟合椭圆，获取该拟合椭圆的椭圆方程系数(A-E)：Ax2+Bxy+Cy2+Dx+Ey+1＝0；
然后，由椭圆方程获取椭圆参数，主要包括：
(1)椭圆中心为：
(2)长、短轴分别为：
(3)椭圆长轴的水平倾斜角度θ为：
(4)椭圆长短轴的直线斜率分别为k1、k2，其中
k1＝tanθ，
进一步地，在步骤S4中，确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点，可以包括以下步骤：由拟合椭圆的中心点坐标和长轴的半径获取所述拟合椭圆对应的外切圆方程；将外切圆方程结合所述拟合椭圆的长短轴直线方程，获取所述长轴和所述短轴与所述外切圆的交点坐标作为所述透视变换后坐标点。
具体地，由椭圆长轴倾斜角度得到椭圆长轴的直线斜率k1＝tanθ，椭圆短轴的直线斜率
同时联立椭圆的中心坐标，获取椭圆的长轴和短轴直线方程为y＝kx+yc-kxc
其中，当k＝k1时为长轴直线方程；k＝k2时为短轴直线方程。由长短轴直线方程再联立椭圆方程求交点，最后得到四个坐标点，如图5所示的拟合椭圆的长轴和短轴与拟合椭圆的交点坐标A、B、C、D点即为透视变换变换前的坐标点对。
进一步地，由椭圆几何中心坐标和长轴半径可以获取到到椭圆的外切圆方程为：
(x-xc)2+(y-xc)2＝b2
则可以将椭圆外切圆方程联立椭圆的长、短轴直线方程求交点坐标，最后得到透视变换后的坐标点对。如图5所示，拟合椭圆的长轴和短轴与外切圆的交点E、F、G、H可以被作为透视变换后坐标点。
进一步地，可以根据交点A、B、C、D与交点E、F、G、H之间的坐标对应关系，计算透视变换矩阵M。最后，根据透视变换矩阵，实现仪表的倾斜校正，获取如图6所示的校正后的正视仪表图像。
其中，透视变换(Perspective Transformation)是指利用透视中心、像点(A、B、C、D)、目标点(E、F、G、H)三点共线的条件，按透视旋转定律(即按照透视变换矩阵M)使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的图形变换方法。
本发明实施例提供的指针式仪表倾斜校正方法，采用透视变换的方法将待校正的倾斜仪表图像转换成正视仪表图像，有效的提高了仪表检测的准确性，且在表盘遮挡、模糊和光照不均等情况下，依然可以准确实现任意圆形类仪表的倾斜校正。
本发明实施例提供一种指针式仪表倾斜校正系统，如图7所示，包括但不限于坐标获取单元1、椭圆拟合单元2、变换矩阵运算单元3、图像校正单元4，其中：
坐标获取单元1主要用于实现将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标；椭圆拟合单元2主要用于基于最小二乘法对检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆；变换矩阵运算单元3主要用于获取拟合椭圆的椭圆参数，并确定透视变换前坐标点；确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点；还用于根据透视变换前坐标点和透视变换后坐标点，获取透视变换矩阵；图像校正单元4主要用于根据所述透视变换矩阵，对待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
需要说明的是，本发明实施例提供的指针式仪表倾斜校正系统在具体运用时，可以执行上述任一实施例所述的指针式仪表倾斜校正方法，对此，本实施例不作赘述。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标；基于最小二乘法对检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆；获取拟合椭圆的椭圆参数，并确定透视变换前坐标点；确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点；根据透视变换前坐标点和透视变换后坐标点，获取透视变换矩阵；根据透视变换矩阵，对待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标；基于最小二乘法对检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆；获取拟合椭圆的椭圆参数，并确定透视变换前坐标点；确定拟合椭圆的外切圆，并结合椭圆参数，确定透视变换后坐标点；根据透视变换前坐标点和透视变换后坐标点，获取透视变换矩阵；根据透视变换矩阵，对待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种指针式仪表倾斜校正方法，其特征在于，包括：
将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标；
基于最小二乘法对所述检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆；
获取所述拟合椭圆的椭圆参数，并确定透视变换前坐标点；
确定所述拟合椭圆的外切圆，并结合所述椭圆参数，确定透视变换后坐标点；
根据所述透视变换前坐标点和所述透视变换后坐标点，获取透视变换矩阵；
根据所述透视变换矩阵，对所述待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
2.根据权利要求1所述的指针式仪表倾斜校正方法，其特征在于，在所述将待校正的倾斜仪表图像输入至关键点检测模型之前，还包括对所述关键点检测模型进行预训练，包括：
采集不同倾斜角度、不同类型的指针式仪表图像，构建训练集；
对所述训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注，构建训练标签集，所述训练标签集中的训练标签与所述训练集中的指针式仪表图像一一对应；
利用所述训练集作为输入，所述训练标签集作为输出，完成对所述关键点检测模型的预训练。
3.根据权利要求2所述的指针式仪表倾斜校正方法，其特征在于，在所述对所述训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注，构建训练标签集之后，还包括：
基于K-means算法，预测对所述训练集中每个指针式仪表图像中的仪表刻度数字进行区域标注的数量和范围。
4.根据权利要求1所述的指针式仪表倾斜校正方法，其特征在于，所述关键点检测模型为：RCNN、Mask-RCNN、R-FCN、YOLO、SSD、FPN模型中的一种。
5.根据权利要求1所述的指针式仪表倾斜校正方法，其特征在于，所述基于最小二乘法对所述检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆，包括：
从Opencv图像处理库调用椭圆拟合函数；
利用最小二乘法，根据所述检测关键刻度数字坐标对所述椭圆拟合函数进行匹配，获取所述拟合椭圆。
6.根据权利要求1所述的指针式仪表倾斜校正方法，其特征在于，所述获取所述拟合椭圆的椭圆参数，并确定透视变换前坐标点，包括：
获取所述拟合椭圆的中心点坐标、长轴及长轴斜率、短轴及短轴斜率；
确定所述长轴和所述短轴与所述拟合椭圆的交点坐标作为所述透视变换前坐标点。
7.根据权利要求6所述的指针式仪表倾斜校正方法，其特征在于，所述确定所述拟合椭圆的外切圆，并结合所述椭圆参数，确定透视变换后坐标点，包括：
由所述拟合椭圆的中心点坐标和长轴的半径获取所述拟合椭圆对应的外切圆方程；
将所述外切圆方程结合所述拟合椭圆的长短轴直线方程，获取所述长轴和所述短轴与所述外切圆的交点坐标作为所述透视变换后坐标点。
8.一种指针式仪表倾斜校正系统，其特征在于，包括：
坐标获取单元，用于实现将待校正的倾斜仪表图像输入至关键点检测模型，获取多个检测关键刻度数字坐标；
椭圆拟合单元，用于基于最小二乘法对所述检测关键刻度数字坐标进行椭圆拟合，获取拟合椭圆；
变换矩阵运算单元，用于获取所述拟合椭圆的椭圆参数，并确定透视变换前坐标点；确定所述拟合椭圆的外切圆，并结合所述椭圆参数，确定透视变换后坐标点；根据所述透视变换前坐标点和所述透视变换后坐标点，获取透视变换矩阵；
图像校正单元，用于根据所述透视变换矩阵，对所述待校正的仪表图像进行透视变换，获取校正后的正视仪表图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述指针式仪表倾斜校正方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述指针式仪表倾斜校正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010260786.6A CN111488874A (zh) | 2020-04-03 | 2020-04-03 | 一种指针式仪表倾斜校正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010260786.6A CN111488874A (zh) | 2020-04-03 | 2020-04-03 | 一种指针式仪表倾斜校正方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111488874A true CN111488874A (zh) | 2020-08-04 |
Family
ID=71791665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010260786.6A Pending CN111488874A (zh) | 2020-04-03 | 2020-04-03 | 一种指针式仪表倾斜校正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111488874A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183255A (zh) * | 2020-09-15 | 2021-01-05 | 西北工业大学 | 一种基于深度学习的水下目标视觉识别与姿态估计方法 |
| CN112487901A (zh) * | 2020-11-19 | 2021-03-12 | 国网河南省电力公司检修公司 | 一种排油注氮灭火装置压力表运行状态监测方法及监测系统 |
| CN112528910A (zh) * | 2020-12-18 | 2021-03-19 | 上海高德威智能交通系统有限公司 | 手脱离方向盘检测方法、装置、电子设备及存储介质 |
| CN112560839A (zh) * | 2020-12-02 | 2021-03-26 | 随锐科技集团股份有限公司 | 指针式仪表读数的自动识别方法及系统 |
| CN112668578A (zh) * | 2020-12-31 | 2021-04-16 | 中广核研究院有限公司 | 指针式仪表读数方法、装置、计算机设备和存储介质 |
| CN112801094A (zh) * | 2021-02-02 | 2021-05-14 | 中国长江三峡集团有限公司 | 一种指针式仪表图像倾斜校正方法 |
| CN112861870A (zh) * | 2021-02-02 | 2021-05-28 | 北京大学 | 指针式仪表图像矫正方法、系统及存储介质 |
| CN114166141A (zh) * | 2021-11-23 | 2022-03-11 | 中国直升机设计研究所 | 一种直升机高速旋转桨叶图像的多圆形标记检测方法 |
| CN115439524A (zh) * | 2022-09-07 | 2022-12-06 | 北京爱科农科技有限公司 | 叶片的参数计算方法、介质及计算机设备 |
| EP4202607A4 (en) * | 2020-09-10 | 2024-01-17 | Vivo Mobile Communication Co Ltd | IMAGE PROCESSING METHOD AND DEVICE AND ELECTRONIC DEVICE |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103913190A (zh) * | 2014-03-24 | 2014-07-09 | 合肥安达数控技术有限责任公司 | 基于机器视觉的汽车组合仪表耐久性能检测台 |
| CN110796095A (zh) * | 2019-10-30 | 2020-02-14 | 浙江大华技术股份有限公司 | 仪表模板建立方法、终端设备以及计算机存储介质 |
-
2020
- 2020-04-03 CN CN202010260786.6A patent/CN111488874A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103913190A (zh) * | 2014-03-24 | 2014-07-09 | 合肥安达数控技术有限责任公司 | 基于机器视觉的汽车组合仪表耐久性能检测台 |
| CN110796095A (zh) * | 2019-10-30 | 2020-02-14 | 浙江大华技术股份有限公司 | 仪表模板建立方法、终端设备以及计算机存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 邢德奎;达飞鹏;张虎;: "圆形目标精密定位方法的研究与应用", 仪器仪表学报 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4202607A4 (en) * | 2020-09-10 | 2024-01-17 | Vivo Mobile Communication Co Ltd | IMAGE PROCESSING METHOD AND DEVICE AND ELECTRONIC DEVICE |
| CN112183255A (zh) * | 2020-09-15 | 2021-01-05 | 西北工业大学 | 一种基于深度学习的水下目标视觉识别与姿态估计方法 |
| CN112487901A (zh) * | 2020-11-19 | 2021-03-12 | 国网河南省电力公司检修公司 | 一种排油注氮灭火装置压力表运行状态监测方法及监测系统 |
| CN112560839A (zh) * | 2020-12-02 | 2021-03-26 | 随锐科技集团股份有限公司 | 指针式仪表读数的自动识别方法及系统 |
| CN112528910A (zh) * | 2020-12-18 | 2021-03-19 | 上海高德威智能交通系统有限公司 | 手脱离方向盘检测方法、装置、电子设备及存储介质 |
| CN112668578B (zh) * | 2020-12-31 | 2023-11-07 | 中广核研究院有限公司 | 指针式仪表读数方法、装置、计算机设备和存储介质 |
| CN112668578A (zh) * | 2020-12-31 | 2021-04-16 | 中广核研究院有限公司 | 指针式仪表读数方法、装置、计算机设备和存储介质 |
| CN112861870A (zh) * | 2021-02-02 | 2021-05-28 | 北京大学 | 指针式仪表图像矫正方法、系统及存储介质 |
| CN112801094B (zh) * | 2021-02-02 | 2022-08-30 | 中国长江三峡集团有限公司 | 一种指针式仪表图像倾斜校正方法 |
| CN112861870B (zh) * | 2021-02-02 | 2023-10-24 | 北京大学 | 指针式仪表图像矫正方法、系统及存储介质 |
| CN112801094A (zh) * | 2021-02-02 | 2021-05-14 | 中国长江三峡集团有限公司 | 一种指针式仪表图像倾斜校正方法 |
| CN114166141B (zh) * | 2021-11-23 | 2023-05-26 | 中国直升机设计研究所 | 一种直升机高速旋转桨叶图像的多圆形标记检测方法 |
| CN114166141A (zh) * | 2021-11-23 | 2022-03-11 | 中国直升机设计研究所 | 一种直升机高速旋转桨叶图像的多圆形标记检测方法 |
| CN115439524A (zh) * | 2022-09-07 | 2022-12-06 | 北京爱科农科技有限公司 | 叶片的参数计算方法、介质及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111488874A (zh) | 一种指针式仪表倾斜校正方法及系统 | |
| CN112818988B (zh) | 一种指针式仪表自动识别读数方法及系统 | |
| CN111414934A (zh) | 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法 | |
| CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
| CN111223133A (zh) | 一种异源图像的配准方法 | |
| CN112801094B (zh) | 一种指针式仪表图像倾斜校正方法 | |
| CN109859101B (zh) | 农作物冠层热红外图像识别方法及系统 | |
| CN115147499A (zh) | 标定参数确定方法、混合标定板、装置、设备和介质 | |
| CN115222819A (zh) | 一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法 | |
| CN113989384A (zh) | 相机标定方法、裁切数据生成方法、装置、设备及介质 | |
| CN111462216B (zh) | 一种圆形阵列标定板中圆心像素坐标确定方法 | |
| CN115512343A (zh) | 一种圆形指针式仪表校正和读数识别方法 | |
| CN111199191A (zh) | 基于刻度搜索的指针式仪表自动读取方法 | |
| CN116597246A (zh) | 模型训练方法、目标检测方法、电子设备及存储介质 | |
| CN108564571B (zh) | 图像区域选取方法及终端设备 | |
| CN113408551A (zh) | 指针仪表读数的识别方法、系统、设备及计算机存储介质 | |
| CN114663681A (zh) | 用于对指针式仪表进行读数的方法及其相关产品 | |
| CN114170319A (zh) | 测试标板的调整方法及装置 | |
| CN113989513A (zh) | 一种方形指针式仪表读数识别的方法 | |
| CN113408542A (zh) | 指针仪表读数的识别方法、系统、设备及计算机存储介质 | |
| CN111695551B (zh) | 表盘的读数方法、装置、计算机设备及可读存储介质 | |
| CN111062874B (zh) | 文本图像显示方法、装置、设备及存储介质 | |
| CN114862847B (zh) | 一种基于图形识别的包覆药外形缺陷检测方法及系统 | |
| CN116844058B (zh) | 一种指针式仪表示数的识别方法、装置、设备及存储介质 | |
| CN115331212B (zh) | 一种易拉罐底喷码异常识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210204 Address after: 100192 building 19, Aobei Science Park, 1 Baonan Road, Haidian District, Beijing Applicant after: Suirui Technology Group Co.,Ltd. Applicant after: Suirui Technology (Tianjin) Co.,Ltd. Address before: 100193 No. 2 Old Summer Palace West Road, Beijing, Haidian District Applicant before: CHINA AGRICULTURAL University |
|
| TA01 | Transfer of patent application right |