CN116091818A - 基于多神经网络级联模型的指针式仪表读数识别方法 - Google Patents

基于多神经网络级联模型的指针式仪表读数识别方法 Download PDF

Info

Publication number
CN116091818A
CN116091818A CN202211552786.9A CN202211552786A CN116091818A CN 116091818 A CN116091818 A CN 116091818A CN 202211552786 A CN202211552786 A CN 202211552786A CN 116091818 A CN116091818 A CN 116091818A
Authority
CN
China
Prior art keywords
image
brightness
model
pointer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211552786.9A
Other languages
English (en)
Inventor
武星
王晨涛
陈雷生
孟凯
楼佩煌
李兴达
陈俊哲
李杨志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202211552786.9A priority Critical patent/CN116091818A/zh
Publication of CN116091818A publication Critical patent/CN116091818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Abstract

本发明涉及一种基于多神经网络级联模型的指针式仪表读数识别方法。首先，采用YOLO神经网络从原始图像中识别出指针式仪表，选择该类仪表所在矩形图像区域作为感兴趣区域(RoI)。其次，对RoI图像进行非均匀光照补偿、透视变换、比例变换等图像预处理，获得方形正视RoI图像。之后，利用SRGAN神经网络进行图像超分辨重建，获得高分方形正视RoI图像。再次，提出一种改进U2‑Net神经网络进行目标通道分割，从上述RoI图像中分割出指针和刻度。最后，提出一种基于极坐标线性插值变换的读数计算方法，根据指针相对于刻度的位置比例计算仪表读数。本发明所设计的YOLO+SRGAN+改进U2‑Net多神经网络级联模型，显著提高了指针式仪表自动读数的精度、效率与鲁棒性。

Description

基于多神经网络级联模型的指针式仪表读数识别方法
技术领域
本发明涉及人工智能领域，尤其涉及一种基于多神经网络级联模型的指针式仪表读数识别方法。
背景技术
现在工业测量仪表主要分为数字仪表与指针式仪表。如今，随着工业数字化与智能化的推进，数字仪表在工业中应用越来越普遍。然而，依赖于较强的抗电磁干扰能力与机械稳定性，指针式仪表仍然是电力工业的主要状态监测设备。
在目前的电力工业中，人工读数仍然是主要的读数方法。依赖人工读数方法，员工工作任务繁重、工作环境恶劣，读数精度并不理想。
申请号(CN202010377687.6)，公开了一种变电站指针仪表读数智能识别方法，该技术通过Hough变换算法检测表盘边框，使用Hough圆变换算法检测表盘和圆心，并使用Hough直线变换算法检测指针并获取角度。然而该方法存在一些缺陷：首先，在非均匀光照条件下，该方法使用传统阈值分割方法，难以找到针对不同亮度区域都能有效进行图像分割的统一阈值，难免存在大量过分割和欠分割的误差。其次，该方法多次应用Hough变换，计算量很大，处理时间较长；并且Hough变换对过分割和欠分割的误差比较敏感，导致指针角度计算误差较大，仪表读数精度下降。
发明内容
本发明的目的在于针对背景技术中的缺陷和问题加以创新，提出了一种基于多神经网络级联模型的指针式仪表读数识别方法，以解决先行技术在非均匀光照条件下指针式仪表读数识别的精确度较低、计算量较大、鲁棒性较差等问题。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种基于多神经网络级联模型的指针式仪表读数识别方法，包括用于构建图像亮度分区模型、仪表图像识别模型、超分图像重建模型和目标图像分割模型的多神经网络级联模型的离线过程，以及利用上述模型进行仪表图像亮度处理、目标识别、超分重建、图像分割的在线过程。
所述离线过程包括以下步骤：
步骤1：图像亮度分区模型构建：采集包含不同亮度的原始图像，制作图像亮度数据集；利用图像亮度数据集训练图像亮度分区模型直至所述模型收敛且性能达标；
步骤2：仪表图像识别模型构建：采集包含不同类型仪表的原始图像，制作仪表图像数据集；利用仪表图像数据集训练仪表图像识别模型直至所述模型收敛且性能达标；
步骤3：超分图像重建模型构建：从原始图像中截取图像区域，制作超分图像数据集；利用超分图像数据集训练超分图像重建模型直至所述模型收敛且性能达标；
步骤4：目标图像分割模型构建：采集包含指针和刻度的指针式仪表图像作为感兴趣区域(RoI)，对RoI图像进行图像预处理，制作目标图像数据集；利用目标图像数据集训练目标图像分割模型直至所述模型收敛且性能达标；
所述在线过程包括以下步骤：
步骤5：图像亮度处理：从复杂现场环境中采集可能包含不同亮度、不同类型仪表的原始图像，利用图像亮度分区模型识别原始图像中的高亮度、低亮度和正常亮度图像区域，并对高亮度和低亮度图像区域进行非均匀亮度补偿，获得亮度补偿后的原始图像；
步骤6：仪表图像识别：针对亮度补偿后的原始图像，利用仪表图像识别模型识别原始图像中的指针式仪表，选择指针式仪表所在图像区域作为RoI图像；
步骤7：图像预处理：针对上述RoI图像进行图像预处理，获得方形正视RoI图像；
步骤8：超分图像重建：针对上述方形正视RoI图像，利用超分图像重建模型进行超分辨率图像重建，获得超分方形正视RoI图像；
步骤9：目标图像分割：针对上述超分方形正视RoI图像，利用目标图像分割模型提取出所有指针和刻度的目标通道，并对目标通道进行图像处理；
步骤10：表盘圆心计算：针对刻度通道中的所有目标点进行圆特征检测，获得表盘圆心坐标和半径；
步骤11：仪表读数计算，以表盘圆心为极坐标原点，提出一种基于极坐标线性插值变换的读数计算方法，获得指针式仪表的读数。
优选地，所述的步骤1中图像亮度分区模型构建是采用包含一级支持向量机和二级支持向量机的双级支持向量机模型，具体包括以下步骤：
步骤1.1：原始图像数据集制作：从复杂现场环境中采集包含不同亮度的原始图像，利用图像增广方法处理原始图像以增加图像数量，制作原始图像数据集；
步骤1.2：一级图像亮度数据集制作：对原始图像数据集中图像样本的亮度进行分区标注，分为正常亮度和非正常亮度两类区域，制作一级图像亮度数据集，并在一级图像亮度数据集中按照比例划分训练集和验证集；
步骤1.3：一级支持向量机训练：利用一级图像亮度数据集中的训练集图像样本，以非正常亮度区域为目标，对一级支持向量机进行有监督的目标识别训练，直至一级支持向量机模型收敛；若模型无法收敛，则返回步骤1.1重新开始；
步骤1.4：一级支持向量机测试：利用一级图像亮度数据集中的验证集图像样本，测试一级支持向量机对非正常亮度区域的识别精度；若上述识别精度满足要求，则一级支持向量机训练结束，否则返回步骤1.1重新开始；
步骤1.5：二级图像亮度数据集制作：对原始图像数据集中图像样本的非正常亮度进行细化分区标注，分为高亮度和低亮度两类区域，制作二级图像亮度数据集，并在二级图像亮度数据集中按照比例划分训练集和验证集；
步骤1.6：二级支持向量机训练：利用二级图像亮度数据集中的训练集图像样本，以高亮度区域为目标，对二级支持向量机进行有监督的目标识别训练，直至二级支持向量机模型收敛；若模型无法收敛，则返回步骤1.1重新开始；
步骤1.7：二级支持向量机测试：利用二级图像亮度数据集中的验证集图像样本，测试二级支持向量机对高亮度区域的识别精度；若上述识别精度满足要求，则二级支持向量机训练结束，否则返回步骤1.1重新开始。
优选地，所述的步骤2中仪表图像识别模型构建是采用YOLO神经网络模型，具体包括以下步骤：
步骤2.1：仪表图像数据集制作：采集环境光照均匀但包含不同类型仪表的原始图像，利用图像增广方法处理原始图像以增加图像数量，对图像样本中的指针式仪表进行标注，制作仪表图像数据集，并在仪表图像数据集中按照比例划分训练集和验证集；
步骤2.2：YOLO神经网络训练：利用仪表图像数据集中的训练集图像样本，以指针式仪表为目标，对YOLO神经网络进行有监督的目标识别训练，直至YOLO神经网络模型收敛；若模型无法收敛，则返回步骤2.1重新开始；
步骤2.3：YOLO神经网络测试：利用仪表图像数据集中的验证集图像样本，测试YOLO神经网络对指针式仪表的识别精度；若上述识别精度满足要求，则YOLO神经网络训练结束，否则返回步骤2.1重新开始。
优选地，所述的步骤3中超分图像重建模型构建是采用SRGAN神经网络模型，具体包括以下步骤：
步骤3.1：超分图像数据集制作：从原始图像数据集中选择图像样本，随机从图像样本中截取方形图像区域作为高分辨率图像输出，对高分辨率图像进行高斯模糊且进行下采样，作为低分辨率图像输入，制作超分图像数据集，并在超分图像数据集中按照比例划分训练集和验证集；
步骤3.2：SRGAN神经网络训练：利用超分图像数据集中的训练集图像样本，以低分辨率图像为输入，以高分辨率图像为输出，对SRGAN神经网络进行有监督的目标识别训练，直至SRGAN神经网络模型收敛；若模型无法收敛，则返回步骤3.1重新开始；
步骤3.3：SRGAN神经网络测试：利用超分图像数据集中的验证集图像样本，测试SRGAN神经网络从低分辨率图像到高分辨率图像的重建精度；若上述重建精度满足要求，则SRGAN神经网络训练结束，否则返回步骤3.1重新开始。
优选地，所述目标图像分割模型构建是采用改进U2-Net神经网络模型，所述改进U2-Net神经网络包括以下改进：(1)采用深度可分离卷积加空洞卷积的模式代替普通卷积核和上采样过程，(2)使用FocalLoss函数作为损失函数。
优选地，所述目标图像分割模型构建具体包括以下步骤：
步骤4.1：RoI图像截取：选择仪表图像数据集中的图像样本，截取指针式仪表所在矩形图像区域作为RoI图像；
步骤4.2：RoI图像预处理：针对上述RoI图像进行透视变换、比例变换等图像预处理，获得方形正视RoI图像；
步骤4.3：目标图像数据集制作：针对上述方形正视RoI图像中的指针和刻度进行标注，制作目标图像数据集；并在目标图像数据集中按照比例划分训练集和验证集；
步骤4.4：改进U2-Net神经网络训练：利用目标图像数据集中的训练集图像样本，以指针和刻度为目标通道，对改进U2-Net神经网络进行有监督的目标识别训练，直至改进U2-Net神经网络模型收敛；若模型无法收敛，则返回步骤4.1重新开始；
步骤4.5：改进U2-Net神经网络测试：利用目标图像数据集中的验证集图像样本，测试改进U2-Net神经网络对指针和刻度的识别精度；若上述识别精度满足要求，则改进U2-Net神经网络训练结束，否则返回步骤4.1重新开始。
优选地，所述的步骤5中非均匀亮度补偿包括以下步骤：
步骤5.1：针对低亮度区域进行色彩增强，将低亮度区域图像转换到RGB色彩空间，对每个像素点的R、G、B三通道色彩分量进行比例放大。设I(x，y)为低亮度区域中像素点(x，y)的某一RGB分量值，IZ(x，y)为色彩增强后该像素点(x，y)的相应RGB分量值，η为增强比例系数，Y(x，y)为像素点(x，y)的实际亮度值，YS为标准亮度值，则色彩增强后的某一RGB分量值为：
Figure BSA0000290731380000041
步骤5.2：针对高亮度区域进行亮度减弱，将高亮度区域图像转换到HSV色彩空间，对每个像素点的亮度V值进行比例缩小，保持色度和饱和度不变。
优选地，所述的步骤9中目标图像分割包括以下步骤：
步骤9.1：通道分离：利用改进U2-Net神经网络模型，将超分方形正视RoI图像分离为指针通道、刻度通道和背景通道；
步骤9.2：均值滤波：利用中值滤波方法对各通道图像进行降噪处理；
步骤9.3：目标点区域分割：对指针通道和刻度通道的目标图像进行二值化分割，获得指针和刻度的目标点区域；
步骤9.4：图像腐蚀：对目标点区域进行图像腐蚀处理，消除过分割产生的误差点，获得指针和刻度的最终通道图像。
优选地，所述的步骤10中所述表盘圆心计算是针对刻度通道中的所有目标点，采用改进Hough变换方法进行圆特征检测，设置圆半径的参数区间，在圆半径参数区间内以累加器方式统计参数空间的圆特征，选择累加值最大的圆特征为表盘圆周，获取上述圆特征的圆心坐标为表盘圆心。
优选地，所述的步骤11中仪表读数计算方法包括以下步骤：
步骤11.1：极坐标系创建：以表盘圆心为极坐标原点，以图像坐标系纵轴为极坐标系横轴，建立极坐标系；
步骤11.2：直角坐标系创建：以表盘圆心为直角坐标系原点，以图像坐标系纵轴为直角坐标系横轴，以图像坐标系横轴为直角坐标系纵轴，建立直角坐标系；
步骤11.3：极坐标线性插值：针对极坐标系下的表盘图像，定义包含刻度和指针尖部的圆环区域[R1，R2]，其中R1为圆环内圆半径，R2为圆环外圆半径；对圆环区域[R1，R2]进行N等分线性插值，对极角区域[0°，360°]进行M等分线性插值；
步骤11.4：极坐标-直角坐标变换：针对表盘图像在圆环区域[R1，R2]中的任一点Pij，其中0≤i≤N-1，0≤j≤M-1；
在极坐标系下，点Pij的极径ρi为
Figure BSA0000290731380000051
点Pij的极角θj为
Figure BSA0000290731380000052
由极坐标系变换到直角坐标系下，点Pij的坐标为
Figure BSA0000290731380000053
步骤11.5：刻度像素值采样：针对刻度通道，在直角坐标系下定义N×M维的刻度像素值矩阵IS(i，j)，对圆环区域的刻度通道进行像素值采样；假设任一点Pij的刻度像素值为GS(xij，yij)，将该点的刻度像素值存储到刻度像素值矩阵：
IS(i，j)＝GS(xij，yij)        (5)
步骤11.6：指针像素值采样：针对指针通道，在直角坐标系下定义N×M维的指针像素值矩阵IP(i，j)，对圆环区域的指针通道进行像素值采样；假设任一点Pij的指针像素值为GP(xij，yij)，将该点的指针像素值存储到指针像素值矩阵：
IP(i，j)＝GP(xij，yij)        (6)
步骤11.7：刻度像素值矩阵投影：在直角坐标系下，将刻度像素值矩阵IS(i，j)向横轴投影，生成刻度像素特征向量FS(j)和刻度像素数目向量NS(j)；在第j列，假设刻度像素值IS(I，j)不为零的个数为nS(i，j)，则
Figure BSA0000290731380000054
NS(j)＝nS(i，j)        (8)
步骤11.8：指针像素值矩阵投影：在直角坐标系下，将指针像素值矩阵IP(i，j)向横轴投影，生成指针像素特征向量FP(j)和指针像素数目向量NP(j)；在第j列，假设指针像素值IP(I，j)不为零的个数为nP(i，j)，则
Figure BSA0000290731380000061
NP(j)＝nP(i，j)        (10)
步骤11.9：指针读数计算：在刻度像素特征向量FS(j)中搜索起始刻度位置BS和终止刻度位置BE；在指针像素特征向量FP(j)中搜索指针位置BP；假设指针式仪表的量程为R，则指针读数k为
Figure BSA0000290731380000062
本发明的有益效果：
本发明采用了支持向量机亮度分类模型，区分图像中正常、非正常亮度区域，并对非正常亮度区域进行相应的非均匀亮度补偿，能够减少非均匀光照对指针式仪表读数识别的影响，提高后续操作的精度；采用YOLO神经网络模型进行指针式仪表识别，精确识别图像中的指针式仪表并获取RoI图像；采用SRGAN神经网络模型进行超分辨率图像重建，提高RoI图像分辨率；改进U2-Net神经网络模型，提取RoI图像中所有指针和刻度的目标通道，提高了像素级分割精度与鲁棒性；提出了基于极坐标线性插值变换的读数计算方法，相比传统方法，减少了Hough变换的计算量，对读数视角变化及角度测量误差不敏感，提高了仪表读数精度与测量鲁棒性。
附图说明
图1为本发明中基于多神经网络级联模型的指针式仪表读书识别方法的方法流程图；
图2为本发明中基于多神经网络级联模型的指针式仪表读书识别方法的工作原理图；
图3为本发明中亮度区域分类方法的方法流程图；
图4为本发明中极坐标线性插值变换的坐标示意图；
图5为仪表读数计算方法中像素值矩阵及投影示意图。
具体实施方式
下面结合实施例与附图对本发明进一步详细说明。
参照图1所示，本发明中基于多神经网络级联模型的指针式仪表读数识别方法主要包括两个过程，离线过程和在线过程。其中离线过程包括图像亮度分区模型构建、仪表图像识别模型构建、超分图像重建模型构建和目标图像分割模型构建；在线过程包括图像亮度处理、仪表图像识别、图像预处理、超分图像重建、目标图像分割、表盘圆心计算和仪表读数计算。
参照图2所示，本发明在离线过程构建了图像亮度分区模型、仪表图像识别模型、超分图像重建模型和目标图像分割模型，在线过程采集原始图像，利用图像亮度分区模型对原始图像进行图像亮度分区，并对不同亮度区域进行相应预处理；利用仪表图像识别模型对补偿后图像进行仪表识别，识别图像中的指针式仪表，并选取仪表所在矩形区域为RoI区域；对RoI图像进行预处理后利用超分图像重建模型提高RoI图像分辨率；利用目标图像分割模型对高分辨率RoI图像进行目标图像分割，分割出刻度通道图像与指针通道图像，最后计算表盘圆心并进行仪表读数计算。
本发明基于多神经网络级联模型的指针式仪表读数识别方法，具体包括：
所述离线过程包括以下步骤：
步骤1：图像亮度分区模型构建：采集包含不同亮度的原始图像，制作图像亮度数据集；利用图像亮度数据集训练图像亮度分区模型直至所述模型收敛且性能达标；
步骤2：仪表图像识别模型构建：采集包含不同类型仪表的原始图像，制作仪表图像数据集；利用仪表图像数据集训练仪表图像识别模型直至所述模型收敛且性能达标；
步骤3：超分图像重建模型构建：从原始图像中截取图像区域，制作超分图像数据集；利用超分图像数据集训练超分图像重建模型直至所述模型收敛且性能达标；
步骤4：目标图像分割模型构建：采集包含指针和刻度的指针式仪表图像作为感兴趣区域(RoI)，对RoI图像进行图像预处理，制作目标图像数据集；利用目标图像数据集训练目标图像分割模型直至所述模型收敛且性能达标；
所述在线过程包括以下步骤：
步骤5：图像亮度处理：从复杂现场环境中采集可能包含不同亮度、不同类型仪表的原始图像，利用图像亮度分区模型识别原始图像中的高亮度、低亮度和正常亮度图像区域，并对高亮度和低亮度图像区域进行非均匀亮度补偿，获得亮度补偿后的原始图像；
步骤6：仪表图像识别：针对亮度补偿后的原始图像，利用仪表图像识别模型识别原始图像中的指针式仪表，选择指针式仪表所在图像区域作为RoI图像；
步骤7：图像预处理：针对上述RoI图像进行图像预处理，获得方形正视RoI图像；
步骤8：超分图像重建：针对上述方形正视RoI图像，利用超分图像重建模型进行超分辨率图像重建，获得超分方形正视RoI图像；
步骤9：目标图像分割：针对上述超分方形正视RoI图像，利用目标图像分割模型提取出所有指针和刻度的目标通道，并对目标通道进行图像处理；
步骤10：表盘圆心计算：针对刻度通道中的所有目标点进行圆特征检测，获得表盘圆心坐标和半径；
步骤11：仪表读数计算，以表盘圆心为极坐标原点，提出一种基于极坐标线性插值变换的读数计算方法，获得指针式仪表的读数。
首先，完成离线阶段步骤，具体步骤如下：
图像亮度分区模型构建采用包含一级支持向量机和二级支持向量机的双级支持向量机模型；设低亮度区域中低照度像素的集合为C1，正常亮度区域中正常照度像素的集合为C2，高亮光区域中高照度像素的集合为C3，集合C13为集合C1和集合C3的并集，代表非正常亮度区域；分别将C2和C13、C1和C3看作两个分类问题，构造两个子分类器，具体步骤如下：
(1)原始图像数据集制作：从复杂现场环境中采集包含不同亮度的原始图像，利用图像增广方法处理原始图像以增加图像数量，制作原始图像数据集；
(2)一级图像亮度数据集制作：对原始图像数据集中图像样本的亮度进行分区标注，分为正常亮度和非正常亮度两类区域，制作一级图像亮度数据集，并在一级图像亮度数据集中按照比例划分训练集和验证集；
(3)一级支持向量机训练：利用一级图像亮度数据集中的训练集图像样本，以非正常亮度区域为目标，对一级支持向量机进行有监督的目标识别训练，直至一级支持向量机模型收敛；若模型无法收敛，则返回图像数据集制作重新开始；
(4)一级支持向量机测试：利用一级图像亮度数据集中的验证集图像样本，测试一级支持向量机对非正常亮度区域的识别精度；若上述识别精度满足要求，则一级支持向量机训练结束，否则则返回图像数据集制作重新开始；
(5)二级图像亮度数据集制作：对原始图像数据集中图像样本的非正常亮度进行细化分区标注，分为高亮度和低亮度两类区域，制作二级图像亮度数据集，并在二级图像亮度数据集中按照比例划分训练集和验证集；
(6)二级支持向量机训练：利用二级图像亮度数据集中的训练集图像样本，以高亮度区域为目标，对二级支持向量机进行有监督的目标识别训练，直至二级支持向量机模型收敛；若模型无法收敛，则则返回图像数据集制作重新开始；
(7)二级支持向量机测试：利用二级图像亮度数据集中的验证集图像样本，测试二级支持向量机对高亮度区域的识别精度；若上述识别精度满足要求，则二级支持向量机训练结束，则返回图像数据集制作重新开始。
如图3所示，本发明所述的一级支持向量机分类器对待分类像素进行判定，判定是否为正常区域，如果是，则像素属于正常亮度区域，如果否，则属于非正常亮度区域并进行二级支持向量机分类器判定，判定是否为高亮度区域，如果是，则像素属于高亮度区域，如果否，则属于低亮度区域。
仪表图像识别模型构建，具体步骤如下：
(1)仪表图像数据集制作：采集环境光照均匀但包含不同类型仪表的原始图像，利用图像增广方法处理原始图像以增加图像数量，对图像样本中的指针式仪表进行标注，制作仪表图像数据集，并在仪表图像数据集中按照比例划分训练集和验证集；
(2)YOLO神经网络训练：利用仪表图像数据集中的训练集图像样本，以指针式仪表为目标，对YOLO神经网络进行有监督的目标识别训练，直至YOLO神经网络模型收敛；若模型无法收敛，则重新制作仪表图像数据集并训练；
(3)YOLO神经网络测试：利用仪表图像数据集中的验证集图像样本，测试YOLO神经网络对指针式仪表的识别精度；若上述识别精度满足要求，则YOLO神经网络训练结束，否则重新制作仪表图像数据集并训练、测试。
超分图像重建模型构建采用SRGAN神经网络模型，具体步骤如下：
(1)超分图像数据集制作：从原始图像数据集中选择图像样本，随机从图像样本中截取方形图像区域作为高分辨率图像输出，对高分辨率图像进行高斯模糊且进行下采样，作为低分辨率图像输入，制作超分图像数据集，并在超分图像数据集中按照比例划分训练集和验证集；
(2)SRGAN神经网络训练：利用超分图像数据集中的训练集图像样本，以低分辨率图像为输入，以高分辨率图像为输出，对SRGAN神经网络进行有监督的目标识别训练，直至SRGAN神经网络模型收敛；若模型无法收敛，则返回超分图像数据集制作重新开始；
(3)SRGAN神经网络测试：利用超分图像数据集中的验证集图像样本，测试SRGAN神经网络从低分辨率图像到高分辨率图像的重建精度；若上述重建精度满足要求，则SRGAN神经网络训练结束，否则返回超分图像数据集制作重新开始。
目标图像分割模型构建是采用改进U2-Net神经网络模型，所述改进U2-Net神经网络包括以下改进：(1)采用深度可分离卷积加空洞卷积的模式代替普通卷积核和上采样过程，(2)使用FocalLoss函数作为损失函数。
所述目标图像分割模型构建具体包括以下步骤：
(1)RoI图像截取：选择仪表图像数据集中的图像样本，截取指针式仪表所在矩形图像区域作为RoI图像；
(2)RoI图像预处理：针对上述RoI图像进行透视变换、比例变换等图像预处理，获得方形正视RoI图像；
(3)目标图像数据集制作：针对上述方形正视RoI图像中的指针和刻度进行标注，制作目标图像数据集；并在目标图像数据集中按照比例划分训练集和验证集；
(4)改进U2-Net神经网络训练：利用目标图像数据集中的训练集图像样本，以指针和刻度为目标通道，对改进U2-Net神经网络进行有监督的目标识别训练，直至改进U2-Net神经网络模型收敛；若模型无法收敛，则返回RoI图像截取重新开始；
(5)改进U2-Net神经网络测试：利用目标图像数据集中的验证集图像样本，测试改进U2-Net神经网络对指针和刻度的识别精度；若上述识别精度满足要求，则改进U2-Net神经网络训练结束，否则返回RoI图像截取重新开始。
完成离线过程步骤后，然后进行在线过程步骤，具体步骤如下：
图像采集：从复杂现场环境中采集可能包含不同亮度、不同类型仪表的原始图像。
图像亮度处理：利用图像亮度分区模型识别原始图像中的高亮度、低亮度和正常亮度图像区域，并对高亮度和低亮度图像区域进行非均匀亮度补偿，获得亮度补偿后的原始图像，非均匀亮度补偿包括以下步骤：
(1)针对低亮度区域进行色彩增强，将低亮度区域图像转换到RGB色彩空间，对每个像素点的R、G、B三通道色彩分量进行比例放大。设I(x，y)为低亮度区域中像素点(x，y)的某一RGB分量值，IZ(x，y)为色彩增强后该像素点(x，y)的相应RGB分量值，η为增强比例系数，Y(x，y)为像素点(x，y)的实际亮度值，YS为标准亮度值，则色彩增强后的某一RGB分量值为：
Figure BSA0000290731380000101
(2)针对高亮度区域进行亮度减弱，将高亮度区域图像转换到HSV色彩空间，对每个像素点的亮度V值进行比例缩小，保持色度和饱和度不变。
仪表图像识别：针对亮度补偿后的原始图像，利用仪表图像识别模型识别原始图像中的指针式仪表，选择指针式仪表所在图像区域作为RoI图像；
图像预处理：针对上述RoI图像进行透视变换、比例变换等图像预处理，获得方形正视RoI图像；
超分图像重建：针对上述方形正视RoI图像，利用超分图像重建模型进行超分辨率图像重建，获得超分方形正视RoI图像；
目标图像分割：针对上述超分方形正视RoI图像，利用目标图像分割模型提取出所有指针和刻度的目标通道，并对目标通道进行图像处理；目标图像分割包括以下步骤：
(1)通道分离：利用改进U2-Net神经网络模型，将超分方形正视RoI图像分离为指针通道、刻度通道和背景通道；
(2)均值滤波：利用中值滤波方法对各通道图像进行降噪处理；
(3)目标点区域分割：对指针通道和刻度通道的目标图像进行二值化分割，获得指针和刻度的目标点区域；
(4)图像腐蚀：对目标点区域进行图像腐蚀处理，消除过分割产生的误差点，获得指针和刻度的最终通道图像。
表盘圆心计算：针对刻度通道中的所有目标点，采用改进Hough变换方法进行圆特征检测，设置圆半径的参数区间，圆半径参数区间内以累加器方式统计参数空间的圆特征，选择累加值最大的圆特征为表盘圆周，获取上述圆特征的圆心坐标为表盘圆心。
仪表读数计算：以表盘圆心为极坐标原点，提出一种基于极坐标线性插值变换的读数计算方法，获得指针式仪表的读数。仪表读数计算方法包括以下步骤：
(1)极坐标系创建：如图4所受，以表盘圆心为极坐标原点，以图像坐标系纵轴为极坐标系横轴，建立极坐标系；
(2)直角坐标系创建：以表盘圆心为直角坐标系原点，以图像坐标系纵轴为直角坐标系横轴，以图像坐标系横轴轴为直角坐标系纵轴，建立直角坐标系；
(3)极坐标线性插值：针对极坐标系下的表盘图像，如图4所示，定义包含刻度和指针尖部的圆环区域[R1，R2]，其中R1为圆环内圆半径，R2为圆环外圆半径；对圆环区域[R1，R2]进行N等分线性插值，对极角区域[0°，360°]进行M等分线性插值；
(4)极坐标-直角坐标变换：针对表盘图像在圆环区域[R1，R2]中的任一点Pij，其中0≤i≤N-1，0≤j≤M-1；
在极坐标系下，点Pij的极径ρi为
Figure BSA0000290731380000111
点Pij的极角θj为
Figure BSA0000290731380000112
由极坐标系变换到直角坐标系下，点Pij的坐标为
Figure BSA0000290731380000113
(5)刻度像素值采样：如图5所示，针对刻度通道，在直角坐标系下定义N×M维的刻度像素值矩阵IS(i，j)，对圆环区域的刻度通道进行像素值采样；假设任一点Pij的刻度像素值为GS(xij，yij)，将该点的刻度像素值存储到刻度像素值矩阵：
IS(i，j)＝GS(xij，yij)       (5)
(6)指针像素值采样：如图5所示，针对指针通道，在直角坐标系下定义N×M维的指针像素值矩阵IP(i，j)，对圆环区域的指针通道进行像素值采样；假设任一点Pij的指针像素值为GP(xij，yij)，将该点的指针像素值存储到指针像素值矩阵：
IP(i，j)＝GP(xij，yij)         (6)
(7)刻度像素值矩阵投影：参照图5所示，在直角坐标系下，将刻度像素值矩阵IS(i，j)向横轴投影，生成刻度像素特征向量FS(j)和刻度像素数目向量NS(j)；在第j列，假设刻度像素值IS(I，j)不为零的个数为nS(i，j)，则
Figure BSA0000290731380000121
NS(j)＝nS(i，j)       (8)
(8)指针像素值矩阵投影：如图5所示，在直角坐标系下，将指针像素值矩阵IP(i，j)向横轴投影，生成指针像素特征向量FP(j)和指针像素数目向量NP(j)；在第j列，假设指针像素值IP(I，j)不为零的个数为nP(i，j)，则
Figure BSA0000290731380000122
NP(j)＝nP(i，j)        (10)
(9)指针读数计算：如图5所示，刻度像素特征向量FS(j)中出现的连续1为刻度的范围，连续1的中间位置认定为刻度位置，在刻度像素特征向量FS(j)中搜索起始刻度位置BS(即第一组连续1的中间位置)和终止刻度位置BE(即最后一组连续1的中间位置)；指针像素特征向量FP(j)中出现的连续1为指针的范围，连续1的中间位置认定为指针位置，在指针像素特征向量FP(j)中搜索指针位置BP；假设指针式仪表的量程为R，则指针读数k为
Figure BSA0000290731380000123
以上详细描述本发明的具体实施案例，本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于包括用于构建图像亮度分区模型、仪表图像识别模型、超分图像重建模型和目标图像分割模型的多神经网络级联模型的离线过程，以及利用上述模型进行仪表图像亮度处理、目标识别、超分重建、图像分割的在线过程；
所述离线过程包括以下步骤：
步骤1：图像亮度分区模型构建：采集包含不同亮度的原始图像，制作图像亮度数据集；利用图像亮度数据集训练图像亮度分区模型直至所述模型收敛且性能达标；
步骤2：仪表图像识别模型构建：采集包含不同类型仪表的原始图像，制作仪表图像数据集；利用仪表图像数据集训练仪表图像识别模型直至所述模型收敛且性能达标；
步骤3：超分图像重建模型构建：从原始图像中截取图像区域，制作超分图像数据集；利用超分图像数据集训练超分图像重建模型直至所述模型收敛且性能达标；
步骤4：目标图像分割模型构建：采集包含指针和刻度的指针式仪表图像作为感兴趣区域(RoI)，对RoI图像进行图像预处理，制作目标图像数据集；利用目标图像数据集训练目标图像分割模型直至所述模型收敛且性能达标；
所述在线过程包括以下步骤：
步骤5：图像亮度处理：从复杂现场环境中采集可能包含不同亮度、不同类型仪表的原始图像，利用图像亮度分区模型识别原始图像中的高亮度、低亮度和正常亮度图像区域，并对高亮度和低亮度图像区域进行非均匀亮度补偿，获得亮度补偿后的原始图像；
步骤6：仪表图像识别：针对亮度补偿后的原始图像，利用仪表图像识别模型识别原始图像中的指针式仪表，选择指针式仪表所在图像区域作为RoI图像；
步骤7：图像预处理：针对上述RoI图像进行图像预处理，获得方形正视RoI图像；
步骤8：超分图像重建：针对上述方形正视RoI图像，利用超分图像重建模型进行超分辨率图像重建，获得超分方形正视RoI图像；
步骤9：目标图像分割：针对上述超分方形正视RoI图像，利用目标图像分割模型提取出所有指针和刻度的目标通道，并对目标通道进行图像处理；
步骤10：表盘圆心计算：针对刻度通道中的所有目标点进行圆特征检测，获得表盘圆心坐标和半径；
步骤11：仪表读数计算：以表盘圆心为极坐标原点，提出一种基于极坐标线性插值变换的读数计算方法，获得指针式仪表的读数。
2.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述图像亮度分区模型构建是采用包含一级支持向量机和二级支持向量机的双级支持向量机模型，具体包括以下步骤：
步骤1.1：原始图像数据集制作：从复杂现场环境中采集包含不同亮度的原始图像，利用图像增广方法处理原始图像以增加图像数量，制作原始图像数据集；
步骤1.2：一级图像亮度数据集制作：对原始图像数据集中图像样本的亮度进行分区标注，分为正常亮度和非正常亮度两类区域，制作一级图像亮度数据集，并在一级图像亮度数据集中按照比例划分训练集和验证集；
步骤1.3：一级支持向量机训练：利用一级图像亮度数据集中的训练集图像样本，以非正常亮度区域为目标，对一级支持向量机进行有监督的目标识别训练，直至一级支持向量机模型收敛；若模型无法收敛，则返回步骤1.1重新开始；
步骤1.4：一级支持向量机测试：利用一级图像亮度数据集中的验证集图像样本，测试一级支持向量机对非正常亮度区域的识别精度；若上述识别精度满足要求，则一级支持向量机训练结束，否则返回步骤1.1重新开始；
步骤1.5：二级图像亮度数据集制作：对原始图像数据集中图像样本的非正常亮度进行细化分区标注，分为高亮度和低亮度两类区域，制作二级图像亮度数据集，并在二级图像亮度数据集中按照比例划分训练集和验证集；
步骤1.6：二级支持向量机训练：利用二级图像亮度数据集中的训练集图像样本，以高亮度区域为目标，对二级支持向量机进行有监督的目标识别训练，直至二级支持向量机模型收敛；若模型无法收敛，则返回步骤1.1重新开始；
步骤1.7：二级支持向量机测试：利用二级图像亮度数据集中的验证集图像样本，测试二级支持向量机对高亮度区域的识别精度；若上述识别精度满足要求，则二级支持向量机训练结束，否则返回步骤1.1重新开始。
3.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述仪表图像识别模型构建是采用YOLO神经网络模型，具体包括以下步骤：
步骤2.1：仪表图像数据集制作：采集环境光照均匀但包含不同类型仪表的原始图像，利用图像增广方法处理原始图像以增加图像数量，对图像样本中的指针式仪表进行标注，制作仪表图像数据集，并在仪表图像数据集中按照比例划分训练集和验证集；
步骤2.2：YOLO神经网络训练：利用仪表图像数据集中的训练集图像样本，以指针式仪表为目标，对YOLO神经网络进行有监督的目标识别训练，直至YOLO神经网络模型收敛；若模型无法收敛，则返回步骤2.1重新开始；
步骤2.3：YOLO神经网络测试：利用仪表图像数据集中的验证集图像样本，测试YOLO神经网络对指针式仪表的识别精度；若上述识别精度满足要求，则YOLO神经网络训练结束，否则返回步骤2.1重新开始。
4.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述超分图像重建模型构建是采用SRGAN神经网络模型，具体包括以下步骤：
步骤3.1：超分图像数据集制作：从原始图像数据集中选择图像样本，随机从图像样本中截取方形图像区域作为高分辨率图像输出，对高分辨率图像进行高斯模糊且进行下采样，作为低分辨率图像输入，制作超分图像数据集，并在超分图像数据集中按照比例划分训练集和验证集；
步骤3.2：SRGAN神经网络训练：利用超分图像数据集中的训练集图像样本，以低分辨率图像为输入，以高分辨率图像为输出，对SRGAN神经网络进行有监督的目标识别训练，直至SRGAN神经网络模型收敛；若模型无法收敛，则返回步骤3.1重新开始；
步骤3.3：SRGAN神经网络测试：利用超分图像数据集中的验证集图像样本，测试SRGAN神经网络从低分辨率图像到高分辨率图像的重建精度；若上述重建精度满足要求，则SRGAN神经网络训练结束，否则返回步骤3.1重新开始。
5.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述目标图像分割模型构建是采用改进U2-Net神经网络模型，所述改进U2-Net神经网络包括以下改进：(1)采用深度可分离卷积加空洞卷积的模式代替普通卷积核和上采样过程，(2)使用FocalLoss函数作为损失函数。
6.根据权利要求5所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述目标图像分割模型构建具体包括以下步骤：
步骤4.1：RoI图像截取：选择仪表图像数据集中的图像样本，截取指针式仪表所在矩形图像区域作为RoI图像；
步骤4.2：RoI图像预处理：针对上述RoI图像进行透视变换、比例变换等图像预处理，获得方形正视RoI图像；
步骤4.3：目标图像数据集制作：针对上述方形正视RoI图像中的指针和刻度进行标注，制作目标图像数据集；并在目标图像数据集中按照比例划分训练集和验证集；
步骤4.4：改进U2-Net神经网络训练：利用目标图像数据集中的训练集图像样本，以指针和刻度为目标通道，对改进U2-Net神经网络进行有监督的目标识别训练，直至改进U2-Net神经网络模型收敛；若模型无法收敛，则返回步骤4.1重新开始；
步骤4.5：改进U2-Net神经网络测试：利用目标图像数据集中的验证集图像样本，测试改进U2-Net神经网络对指针和刻度的识别精度；若上述识别精度满足要求，则改进U2-Net神经网络训练结束，否则返回步骤4.1重新开始。
7.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述非均匀亮度补偿包括以下步骤：
步骤5.1：针对低亮度区域进行色彩增强，将低亮度区域图像转换到RGB色彩空间，对每个像素点的R、G、B三通道色彩分量进行比例放大。设I(x，y)为低亮度区域中像素点(x，y)的某一RGB分量值，IZ(x，y)为色彩增强后该像素点(x，y)的相应RGB分量值，η为增强比例系数，Y(x，y)为像素点(x，y)的实际亮度值，YS为标准亮度值，则色彩增强后的某一RGB分量值为
Figure FSA0000290731350000041
步骤5.2：针对高亮度区域进行亮度减弱，将高亮度区域图像转换到HSV色彩空间，对每个像素点的亮度V值进行比例缩小，保持色度和饱和度不变。
8.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述目标图像分割包括以下步骤：
步骤9.1：通道分离：利用改进U2-Net神经网络模型，将超分方形正视RoI图像分离为指针通道、刻度通道和背景通道；
步骤9.2：均值滤波：利用中值滤波方法对各通道图像进行降噪处理；
步骤9.3：目标点区域分割：对指针通道和刻度通道的目标图像进行二值化分割，获得指针和刻度的目标点区域；
步骤9.4：图像腐蚀：对目标点区域进行图像腐蚀处理，消除过分割产生的误差点，获得指针和刻度的最终通道图像。
9.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述表盘圆心计算是针对刻度通道中的所有目标点，采用改进Hough变换方法进行圆特征检测，设置圆半径的参数区间，在圆半径参数区间内以累加器方式统计参数空间的圆特征，选择累加值最大的圆特征为表盘圆周，获取上述圆特征的圆心坐标为表盘圆心。
10.根据权利要求1所述的一种基于多神经网络级联模型的指针式仪表读数识别方法，其特征在于所述仪表读数计算方法包括以下步骤：
步骤11.1：极坐标系创建：以表盘圆心为极坐标原点，以图像坐标系纵轴为极坐标系横轴，建立极坐标系；
步骤11.2：直角坐标系创建：以表盘圆心为直角坐标系原点，以图像坐标系纵轴为直角坐标系横轴，以图像坐标系横轴为直角坐标系纵轴，建立直角坐标系；
步骤11.3：极坐标线性插值：针对极坐标系下的表盘图像，定义包含刻度和指针尖部的圆环区域[R1，R2]，其中R1为圆环内圆半径，R2为圆环外圆半径；对圆环区域[R1，R2]进行N等分线性插值，对极角区域[0°，360°]进行M等分线性插值；
步骤11.4：极坐标-直角坐标变换：针对表盘图像在圆环区域[R1，R2]中的任一点Pij，其中0≤i≤N-1，0≤j≤M-1；
在极坐标系下，点Pij的极径ρi为
Figure FSA0000290731350000042
点Pij的极角θj为
Figure FSA0000290731350000051
由极坐标系变换到直角坐标系下，点Pij的坐标为
Figure FSA0000290731350000052
步骤11.5：刻度像素值采样：针对刻度通道，在直角坐标系下定义N×M维的刻度像素值矩阵IS(i，j)，对圆环区域的刻度通道进行像素值采样；假设任一点Pij的刻度像素值为GS(xij，yij)，将该点的刻度像素值存储到刻度像素值矩阵：
IS(i，j)＝GS(xij，yij)  (5)
步骤11.6：指针像素值采样：针对指针通道，在直角坐标系下定义N×M维的指针像素值矩阵IP(i，j)，对圆环区域的指针通道进行像素值采样；假设任一点Pij的指针像素值为GP(xij，yij)，将该点的指针像素值存储到指针像素值矩阵：
IP(i，j)＝GP(xij，yij)  (6)
步骤11.7：刻度像素值矩阵投影：在直角坐标系下，将刻度像素值矩阵IS(i，j)向横轴投影，生成刻度像素特征向量FS(j)和刻度像素数目向量NS(j)；在第j列，假设刻度像素值IS(I，j)不为零的个数为nS(i，j)，则
Figure FSA0000290731350000053
NS(j)＝nS(i，j)  (8)
步骤11.8：指针像素值矩阵投影：在直角坐标系下，将指针像素值矩阵IP(i，j)向横轴投影，生成指针像素特征向量FP(j)和指针像素数目向量NP(j)；在第j列，假设指针像素值IP(I，j)不为零的个数为nP(i，j)，则
Figure FSA0000290731350000054
NP(j)＝nP(i，j)  (10)
步骤11.9：指针读数计算：在刻度像素特征向量FS(j)中搜索起始刻度位置BS和终止刻度位置BE；在指针像素特征向量FP(j)中搜索指针位置BP；假设指针式仪表的量程为R，则指针读数k为
Figure FSA0000290731350000055
CN202211552786.9A 2022-12-05 2022-12-05 基于多神经网络级联模型的指针式仪表读数识别方法 Pending CN116091818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211552786.9A CN116091818A (zh) 2022-12-05 2022-12-05 基于多神经网络级联模型的指针式仪表读数识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211552786.9A CN116091818A (zh) 2022-12-05 2022-12-05 基于多神经网络级联模型的指针式仪表读数识别方法

Publications (1)

Publication Number Publication Date
CN116091818A true CN116091818A (zh) 2023-05-09

Family

ID=86185833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211552786.9A Pending CN116091818A (zh) 2022-12-05 2022-12-05 基于多神经网络级联模型的指针式仪表读数识别方法

Country Status (1)

Country Link
CN (1) CN116091818A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636075A (zh) * 2024-01-25 2024-03-01 江苏省特种设备安全监督检验研究院 一种基于计算机视觉的特种设备仪表识别系统
CN117636075B (zh) * 2024-01-25 2024-05-03 江苏省特种设备安全监督检验研究院 一种基于计算机视觉的特种设备仪表识别系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636075A (zh) * 2024-01-25 2024-03-01 江苏省特种设备安全监督检验研究院 一种基于计算机视觉的特种设备仪表识别系统
CN117636075B (zh) * 2024-01-25 2024-05-03 江苏省特种设备安全监督检验研究院 一种基于计算机视觉的特种设备仪表识别系统

Similar Documents

Publication Publication Date Title
CN107590498B (zh) 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN106529559A (zh) 一种指针式圆形多仪表盘实时读数识别方法
CN112257676A (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN110598613B (zh) 一种高速公路团雾监测方法
CN113449594A (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN103729631A (zh) 一种基于视觉的连接器表面特征自动识别方法
CN105787950A (zh) 一种基于行梯度累加的红外图像海天线检测算法
CN116704516B (zh) 一种用于水溶肥料包装的视觉检测方法
CN111325164A (zh) 指针表示数识别方法、装置和电子设备
CN116559111A (zh) 一种基于高光谱成像技术的高粱品种识别方法
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN111523342A (zh) 一种复杂场景下的二维码检测和校正方法
CN111291818A (zh) 一种面向云掩膜的非均匀类别的样本均衡化方法
CN111553345B (zh) 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法
Ni et al. Multi-meter intelligent detection and recognition method under complex background
CN116091818A (zh) 基于多神经网络级联模型的指针式仪表读数识别方法
CN113591875B (zh) 一种高精度指针式仪表识别方法
Guo et al. Fault diagnosis of power equipment based on infrared image analysis
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN114529803A (zh) 一种指针仪表识别增强检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination