CN115457556A - 一种核电厂圆盘指针式仪表读数方法 - Google Patents

一种核电厂圆盘指针式仪表读数方法 Download PDF

Info

Publication number
CN115457556A
CN115457556A CN202210963854.4A CN202210963854A CN115457556A CN 115457556 A CN115457556 A CN 115457556A CN 202210963854 A CN202210963854 A CN 202210963854A CN 115457556 A CN115457556 A CN 115457556A
Authority
CN
China
Prior art keywords
meter
pointer
image
dial
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210963854.4A
Other languages
English (en)
Inventor
胡敏
任宇阳
罗意
杨青林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Nuclear Power Operation Technology Corp Ltd
Original Assignee
China Nuclear Power Operation Technology Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Nuclear Power Operation Technology Corp Ltd filed Critical China Nuclear Power Operation Technology Corp Ltd
Priority to CN202210963854.4A priority Critical patent/CN115457556A/zh
Publication of CN115457556A publication Critical patent/CN115457556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • G06V30/19013Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明属于仪表读数技术领域,具体涉及一种核电厂圆盘指针式仪表读数方法。包括以下步骤:步骤1:摄像头采集现场仪表图像;步骤2:检测图像中的仪表并分离表盘的前景和背景;步骤3:指针直线拟合;步骤4:构建参考标准系;步骤5:表计示数判读。有益效果在于:利用摄像头等图像采集设备,获取指针式仪表图像;利用深度学习等模型对仪表表盘、关键参数、指针进行了检测、识别、和提取;计算指针在表盘中的相对位置,消除角度偏转带来的读数偏差;基于指针与刻度参考线之间的相对角度计算出当前仪表读数。通过引入该方法,解决了仪表角度倾斜造成的读数偏差问题,表盘花纹和指针样式的干扰问题、提高了仪表读数的精度和识别效率。

Description

一种核电厂圆盘指针式仪表读数方法
技术领域
本发明属于仪表读数技术领域,具体涉及一种基于最小二乘回归模型和深度可分卷积神网络的核电厂圆盘指针式仪表读数方法。
背景技术
圆盘指针式仪表是核电站监测各种设备状态的重要工具,然而这类仪表通常没有数据接口,无法自动输出数据,实现数据的收集和传输。过去依靠人工方式进行仪表读数和数据采集,这种方式局限性较大,无法在危险场地进行读数,更无法做到实时监测。现在,仪表自动读数技术与巡检机器人相结合,能够自动、实时、灵活地采集数据。但由于摄像头采集角度不同、表盘样式多样、以及指针宽窄不一,导致准确判读表计示数十分困难。如何使得指针式仪表判读模型自适应这些干扰因素,准确判读成为研究难点。
目前,多数方法基于图像变换、区域生长等算法,直接检测表盘的指针和刻度。这类方法处理拍照角度多样、表计样式复杂、指针宽窄不一的情况,需要复杂的人工参数调节工作,以适应不同干扰下的指针式表计识别,难以满足核电厂复杂环境的自适应性要求。
发明内容
本发明的目的是提供一种核电厂圆盘指针式仪表读数方法,它能够适应不同干扰下的指针式表计识别,满足核电厂复杂环境的自适应性要求。
本发明的技术方案如下:一种核电厂圆盘指针式仪表读数方法,包括以下步骤:
步骤1:摄像头采集现场仪表图像;
步骤2:检测图像中的仪表并分离表盘的前景和背景;
步骤3:指针直线拟合;
步骤4:构建参考标准系;
步骤5:表计示数判读。
所述的步骤1包括:
步骤11:安装在核电厂区内的摄像头采集仪表的图像或视频流,采集得到的仪表图像序列定义为
Figure BDA0003793837600000021
xt表示第t时刻的仪表图像,T表示总时长,
Figure BDA0003793837600000022
表示正整数。
步骤12:将采集得到的图像序列输入到表盘分割模块中进行表计检测和表盘前景与背景的分离。
所述的步骤2包括:
步骤21:基于目标检测模型检测图像中的仪表位置,基于目标检测模型pp-yolo对采集的图像数据进行预测,检测采集到的图像中是否存在表计,若存在表计则输出表计的位置信息,所述的pp-yolo模型由主干网络(backbone)、中间结构网络(neck)、检测头网络(head)三部分组成,主干网络为RestNet50-vd,用于提取图像的基础特征,中间结构网络为金字塔特征网络(FPN),将主干网络提取得到的所有尺度的基础特征构建为高级语义特征,检测头网络由一个3x3卷积和1x1卷积组成,对高级语义特征进行卷积计算,最终输出检测到的表计位置数据信息(xmin,ymin,wmeter,hmeter),xmin表示表计矩形框的左上角顶点的横坐标,ymin表示表计矩形框左上角顶点的纵坐标,wmeter表示矩形框的宽,hmeter表示矩形框的高;
步骤22:基于表计位置矩形框坐标分割表计,根据采集图像像素点的横纵坐标的大小进行图像的分割,记图像的像素数组为
Figure BDA0003793837600000023
w,h,3分别表示图像的宽、高、通道数,遍历图像中的像素点,若像素点在表计位置矩形框范围内,则该像素点属于表计;若像素点在表计位置矩形框范围外,则该像素点不属于表计,基于以上原则,从采集的原始图像中分割出表计图像,计算过程可表达为:
Figure BDA0003793837600000031
最终输出的表计图像序列记作
Figure BDA0003793837600000032
步骤23:构建基于深度可分离卷积神经网络模型,在DeepLabV3模型基础上,引入深度可分离卷积,从而使得模型用更少的参数达到与普通卷积一样的计算效果,加快模型的计算速度,基于深度可分离卷积神经网络模型主要由编码器和解码器两个模块构成,编码器作用是对输入的图像进行特征提取和特征表达,编码器包括一个主干网络Xception和一个ASPP网络,Xception网络用于提取表计图像的基础特征,由入口流、中间流、出口流三个部分组成,入口流首先是两层3×3的普通卷积,然后是三个深度可分离卷积构成的残差模块,中间流是由三个3×3的深度可分离卷积组成,出口流由一个普通残差模块和三个深度可分离卷积构成。ASPP网络由一个1×1、三个3×3的空洞卷积、和一个全局池化层组成,最后通过一个1×1的卷积层来减少特征的通道数,在编码器输出的特征向量基础上,解码器进行上采样和卷积计算,还原成图像数据,解码器将主干网络输出的低级特征图和ASPP网络输出的特征图进行尺寸变换,变换相同大小,并在特征图的通道维度上进行特征拼接,最后连接一个3×3的卷积对拼接特征进行处理;
步骤24:训练深度可分离卷积神经网络,使用已经标注好前景和背景的表计数据来训练深度可分离卷积神经网络,
采用交叉熵损失函数训练网络模型,计算公式如下:
L=(ylog(p)+(1-y)log(1-p)),
其中,y为标签,1表示像素点属于前景范围(正样本),p表示样本预测为正样本的概率,以最小化交叉熵损失值为目的,多轮次的模型训练,最终输出最优深度可分离卷积神经网络模型;
步骤25:基于已训练的深度可分离卷积神经网络模型分割表盘前景和背景,将表计图像序列输入到深度可分离卷积神经网络模型,模型开始预测表计图像的指针和刻度,并输出分割的前景图像。
所述的步骤3包括:
步骤31:构建指针像素点的集合,遍历提取得到的前景图像的像素点,若像素点值为1,则为指针像素点,得到指针像素点的集合为D={d=(Xi,Yj)|i∈[0,wmeter],j∈[0,hmeter]},wmeter,hmeter表示表盘矩形框的宽和长,Xi,Yi表示像素点的坐标,
步骤32:定位指针的端点位置,遍历指针像素点的集合,指针的端点为横坐标和纵坐标均为最值,则端点横坐标计算如下:
Figure BDA0003793837600000044
第一个端点:
dS=(Xmax,Ys),Ys为点集合中横坐标为最大值所对应的纵坐标;
第二个端点:
dE=(Xmin,Ye),Ye为点集合中横坐标为最小值所对应的纵坐标;
步骤33:基于欧式距离公式判断指针的起点和终点,设起点为C(xx,yc),终点为指针的指尖P(xp,yp),记表盘图像中心O的坐标为(xo,yo)=(wmeter/2,hmeter/2),根据欧式距离公式分别计算点O到ds和de两点之间的距离,计算如下:
Figure BDA0003793837600000041
Figure BDA0003793837600000042
若dOS<dOE,则表盘中心C(xc,yc)=(Xmax,Ys),P(xp,yp)=(Xmin,Ye);若dOS>dOE
则表盘中心C(xc,yc)=(Xmin,Ye),P(xp,yp)=(Xmax,Ys),
步骤34:基于最小二乘法的线性回归模型拟合指针直线,已得出指针上的n个像素点d1,d2,...,dn,使用最小二乘法线性回归函数拟合指针像素点,得到一条直线处于样本数据的中心位置,最小二乘法的核心是以“残差平方和最小”确定直线位置,假设需计算直线公式为:
Figure BDA0003793837600000043
残差平方和计算公式如下:
Figure BDA0003793837600000051
其中,以上函数要使得Q取最小值,
Figure BDA0003793837600000052
为变量,因此分别对两个变量求偏导,值为零,得到变量取值为:
Figure BDA0003793837600000053
Figure BDA0003793837600000054
求解得到的拟合直线为:
Figure BDA0003793837600000055
所述的步骤4包括:
步骤41:基于文本识别模型提取表盘中的文本信息,输出被识别的文本及文本位置框的字典,记作
Figure BDA0003793837600000056
其中,m表示识别到的文本总数,
Figure BDA0003793837600000057
表示文本矩形框的左上,右上,右下,左下四个顶点的位置坐标,
步骤42:根据表盘的文本信息集合,基于模板匹配法,得到中间刻度和最大刻度对应的刻度位置,即表盘的中间刻度为Vmid,则中间刻度位置坐标
Figure BDA0003793837600000058
计算中间刻度的中心点位置
Figure BDA0003793837600000059
表盘的最大刻度值Vmax,则最大刻度位置坐标
Figure BDA00037938376000000510
计算最大刻度中心位置
Figure BDA00037938376000000511
确定了夹角与量程大小的关系,即夹角θ所对应的量程为Vmax-Vmin
所述的步骤5包括:
步骤51:根据A,B,C,P四点,计算指针在表盘中的相对角度位置,计算方法如下:
向量
Figure BDA0003793837600000061
Figure BDA0003793837600000062
之间的夹角:
Figure BDA0003793837600000063
向量
Figure BDA0003793837600000064
Figure BDA0003793837600000065
之间的夹角:
Figure BDA0003793837600000066
步骤52:计算指针P点在中心线lCA的相对位置,lCA直线方程写为:
Figure BDA0003793837600000067
当xc≠xa且yc≠ya
带入P的横坐标xp到直线方程中计算相应的纵坐标
Figure BDA0003793837600000068
Figure BDA0003793837600000069
则P在直线lCA的右边,
Figure BDA00037938376000000610
反之,则P在直线lCA的左边,
Figure BDA00037938376000000611
步骤53:计算表计示数如公式所示:
Figure BDA00037938376000000612
本发明的有益效果在于:本发明利用摄像头等图像采集设备,获取指针式仪表图像;利用深度学习等模型对仪表表盘、关键参数、指针进行了检测、识别、和提取;计算指针在表盘中的相对位置,消除角度偏转带来的读数偏差;基于指针与刻度参考线之间的相对角度计算出当前仪表读数。通过引入该方法,解决了仪表角度倾斜造成的读数偏差问题,表盘花纹和指针样式的干扰问题、提高了仪表读数的精度和识别效率,极大程度上减少人工参与程度并降低人工误读风险,使得核电厂设备监测更加智能和准确。
附图说明
图1为本发明所提供的一种核电厂圆盘指针式仪表读数方法流程图;
图2为构建的参考标准系。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
为了解决上述问题,本发明提出了一种基于最小二乘回归模型和深度可分卷积神经网络的圆盘指针式仪表自动读数方法。复杂的表盘花纹会干扰表计的判读,因此提出深度卷积可分神经网络分割表盘的前景和背景,表盘的前景包括指针、刻度信息,其他为背景信息。其次,在提取的前景图像基础上,基于指针像素分布特性,提出基于最小二乘回归模型的直线拟合机制,来拟合指针所在直线,解决因指针宽窄导致的指针定位不准确问题。然后,采用本发明的检测算法,检测仪表盘中的刻度数字和精度数字。基于精度数字计算压力表计的读数精确度,确定读数小数点;基于刻度数字的坐标数据,构建表盘的参考标准系,用于解决角度偏转问题。最后,计算指针所在直线在参考标准系中的相对位置,得出表盘示数。
本发明包括表盘分割模块、指针直线拟合模块、构建表盘参考系、示数判读模块四个部分。
表盘分割模块:基于目标检测模型定位图片中表盘的位置,再基于深度可分离卷积神经网络模型分割出前景图像,去除表盘花纹的干扰。
指针直线拟合模块:定位指针的端点位置,并基于最小二乘回归模型拟合出指针所在的直线,从而解决指针宽窄不一的问题。
构建参考标准系:基于文字识别模型检测表盘中的刻度并提取刻度的坐标位置,构建角度偏转与量程大小的比例关系,解决角度偏转的影响。
示数判读模块:基于指针直线偏角和参考标准系,计算出指针在表盘中的相对倾斜角度,再利用角度偏转与量程大小的比例关系,得到当前仪表读数。
如图1所示,一种核电厂圆盘指针式仪表读数方法,包括以下步骤:
步骤1:摄像头采集现场仪表图像
步骤11:安装在核电厂区内的摄像头采集仪表的图像或视频流,采集的仪表图像包括各种角度,多种仪表样式,采集得到的仪表图像序列定义为
Figure BDA0003793837600000071
xt表示第t时刻的仪表图像,T表示总时长,
Figure BDA0003793837600000072
表示正整数。
步骤12:将采集得到的图像序列输入到表盘分割模块中进行表计检测和表盘前景与背景的分离。
步骤2:检测图像中的仪表并分离表盘的前景和背景
步骤21:基于目标检测模型检测图像中的仪表位置。基于目标检测模型pp-yolo对采集的图像数据进行预测,检测采集到的图像中是否存在表计,若存在表计则输出表计的位置信息。pp-yolo模型由主干网络(backbone)、中间结构网络(neck)、检测头网络(head)三部分组成。主干网络为RestNet50-vd,用于提取图像的基础特征。中间结构网络为金字塔特征网络(FPN),将主干网络提取得到的所有尺度的基础特征构建为高级语义特征。检测头网络由一个3x3卷积和1x1卷积组成,对高级语义特征进行卷积计算,最终输出检测到的表计位置数据信息(xmin,ymin,wmeter,hmeter),xmin表示表计矩形框的左上角顶点的横坐标,ymin表示表计矩形框左上角顶点的纵坐标,wmeter表示矩形框的宽,hmeter表示矩形框的高。
步骤22:基于表计位置矩形框坐标分割表计。根据采集图像像素点的横纵坐标的大小进行图像的分割,记图像的像素数组为
Figure BDA0003793837600000081
w,h,3分别表示图像的宽、高、通道数,R表示实数。遍历图像中的像素点,若像素点在表计位置矩形框范围内,则该像素点属于表计;若像素点在表计位置矩形框范围外,则该像素点不属于表计。基于以上原则,从采集的原始图像中分割出表计图像。计算过程可表达为:
Figure BDA0003793837600000082
最终输出的表计图像序列记作
Figure BDA0003793837600000083
步骤23:构建基于深度可分离卷积神经网络模型。在经典的DeepLabV3模型基础上,我们引入深度可分离卷积,从而使得模型用更少的参数达到与普通卷积一样的计算效果,加快模型的计算速度。基于深度可分离卷积神经网络模型主要由编码器和解码器两个模块构成。编码器作用是对输入的图像进行特征提取和特征表达。编码器包括一个主干网络Xception和一个ASPP网络。Xception网络用于提取表计图像的基础特征,由入口流、中间流、出口流三个部分组成。入口流首先是两层3×3的普通卷积,然后是三个深度可分离卷积构成的残差模块。中间流是由三个3×3的深度可分离卷积组成。出口流由一个普通残差模块和三个深度可分离卷积构成。ASPP网络由一个1×1、三个3×3的空洞卷积、和一个全局池化层组成。最后通过一个1×1的卷积层来减少特征的通道数。在编码器输出的特征向量基础上,解码器进行上采样和卷积计算,还原成图像数据。解码器将主干网络输出的低级特征图和ASPP网络输出的特征图进行尺寸变换,变换相同大小,并在特征图的通道维度上进行特征拼接。最后连接一个3×3的卷积对拼接特征进行处理。
步骤24:训练深度可分离卷积神经网络。使用已经标注好前景和背景的表计数据来训练深度可分离卷积神经网络。
采用交叉熵损失函数训练网络模型,计算公式如下:
L=-(ylog(p)+(1-y)log(1-p)),
其中,y为标签,1表示像素点属于前景范围(正样本),0表示像素点不属于前景范围(负样本)。p表示样本预测为正样本的概率。以最小化交叉熵损失值为目的,多轮次的模型训练,最终输出最优深度可分离卷积神经网络模型。
步骤25:基于已训练的深度可分离卷积神经网络模型分割表盘前景和背景。将表计图像序列输入到深度可分离卷积神经网络模型,模型开始预测表计图像的指针和刻度,并输出分割的前景图像。
步骤3:指针直线拟合
步骤31:构建指针像素点的集合。遍历提取得到的前景图像的像素点,若像素点值为1,则为指针像素点,得到指针像素点的集合为D={d=(Xi,Yj)|i∈[0,wmeter],j∈[0,hmeter]},wmeter,hmeter表示表盘矩形框的宽和长,Xi,Yi表示像素点的坐标,d表示像素点,i和j表示像素点的索引。
步骤32:定位指针的端点位置。遍历指针像素点的集合,指针的端点为横坐标和纵坐标均为最值。则端点横坐标计算如下:
Figure BDA0003793837600000091
第一个端点:
dS=(Xmax,Ys),Ys为点集合中横坐标为最大值所对应的纵坐标。
第二个端点:
dE=(Xmin,Ye),Ye为点集合中横坐标为最小值所对应的纵坐标。
步骤33:基于欧式距离公式判断指针的起点和终点。设起点为C(xc,yc),终点为指针的指尖P(xp,yp)。记表盘图像中心O的坐标为(xo,yo)=(wmeter/2,hmeter/2)。根据欧式距离公式分别计算点O到ds和de两点之间的距离,计算如下:
Figure BDA0003793837600000101
Figure BDA0003793837600000102
若dOS<dOE,则表盘中心C(xc,yc)=(Xmax,Ys),P(xp,yp)=(Xmin,Ye);若dOS>dOE
则表盘中心C(xc,yc)=(Xmin,Ye),P(xp,yp)=(Xmax,Ys)。
步骤34:基于最小二乘法的线性回归模型拟合指针直线。已得出指针上的n个像素点d1,d2,...,en,使用最小二乘法线性回归函数拟合指针像素点,得到一条直线处于样本数据的中心位置。最小二乘法的核心是以“残差平方和最小”确定直线位置。假设需计算直线公式为:
Figure BDA0003793837600000103
残差平方和计算公式如下:补充ei的含义
Figure BDA0003793837600000104
其中,以上函数要使得Q取最小值,
Figure BDA0003793837600000105
为变量,因此分别对两个变量求偏导,值为零,得到变量取值为:
Figure BDA0003793837600000106
Figure BDA0003793837600000107
求解得到的拟合直线为:
Figure BDA0003793837600000111
步骤4:构建参考标准系
步骤41:基于文本识别模型提取表盘中的文本信息,输出被识别的文本及文本位置框的字典,记作
Figure BDA0003793837600000112
其中,m表示识别到的文本总数,
Figure BDA0003793837600000113
表示文本矩形框的左上,右上,右下,左下四个顶点的位置坐标。
步骤42:根据表盘的文本信息集合,基于模板匹配法,得到中间刻度和最大刻度对应的刻度位置。即表盘的中间刻度为Vmid,则中间刻度位置坐标
Figure BDA0003793837600000114
计算中间刻度的中心点位置
Figure BDA0003793837600000115
表盘的最大刻度值Vmax,则最大刻度位置坐标
Figure BDA0003793837600000116
计算最大刻度中心位置
Figure BDA0003793837600000117
因此,构建的参考标准系如图2所示。
该标准系的含义是,确定了夹角与量程大小的关系,即夹角θ所对应的量程为Vmax-Vmin
步骤5:表计示数判读
步骤51:根据A,B,C,P四点,计算指针在表盘中的相对角度位置。计算方法如下:
向量
Figure BDA0003793837600000118
Figure BDA0003793837600000119
之间的夹角:
Figure BDA00037938376000001110
向量
Figure BDA00037938376000001111
Figure BDA00037938376000001112
之间的夹角:
Figure BDA00037938376000001113
步骤52:计算指针P点在中心线lCA的相对位置,lCA直线方程写为:
Figure BDA0003793837600000121
当xc≠xa且yc≠ya
带入P的横坐标xp到直线方程中计算相应的纵坐标
Figure BDA0003793837600000122
Figure BDA0003793837600000123
则P在直线lCA的右边,
Figure BDA0003793837600000124
反之,则P在直线lCA的左边,
Figure BDA0003793837600000125
步骤53:计算表计示数如公式所示:
Figure BDA0003793837600000126

Claims (9)

1.一种核电厂圆盘指针式仪表读数方法,其特征在于,包括以下步骤:
步骤1:摄像头采集现场仪表图像;
步骤2:检测图像中的仪表并分离表盘的前景和背景;
步骤3:指针直线拟合;
步骤4:构建参考标准系;
步骤5:表计示数判读。
2.如权利要求1所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤1包括:
步骤11:安装在核电厂区内的摄像头采集仪表的图像或视频流,采集得到的仪表图像序列定义为
Figure FDA0003793837590000011
xt表示第t时刻的仪表图像。
步骤12:将采集得到的图像序列输入到表盘分割模块中进行表计检测和表盘前景与背景的分离。
3.如权利要求1所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤2包括:
步骤21:基于目标检测模型检测图像中的仪表位置,基于目标检测模型pp-yolo对采集的图像数据进行预测,检测采集到的图像中是否存在表计,若存在表计则输出表计的位置信息,所述的pp-yolo模型由主干网络(backbone)、中间结构网络(neck)、检测头网络(head)三部分组成,主干网络为RestNet50-vd,用于提取图像的基础特征,中间结构网络为金字塔特征网络(FPN),将主干网络提取得到的所有尺度的基础特征构建为高级语义特征,检测头网络由一个3x3卷积和1x1卷积组成,对高级语义特征进行卷积计算,最终输出检测到的表计位置数据信息(xmin,ymin,wmeter,hmeter),xmin表示表计矩形框的左上角顶点的横坐标,ymin表示表计矩形框左上角顶点的纵坐标,wmeter表示矩形框的宽,hmeter表示矩形框的高;
步骤22:基于表计位置矩形框坐标分割表计,根据采集图像像素点的横纵坐标的大小进行图像的分割,记图像的像素数组为
Figure FDA0003793837590000021
w,h,3分别表示图像的宽、高、通道数,遍历图像中的像素点,若像素点在表计位置矩形框范围内,则该像素点属于表计;若像素点在表计位置矩形框范围外,则该像素点不属于表计,基于以上原则,从采集的原始图像中分割出表计图像,计算过程可表达为:
Figure FDA0003793837590000022
最终输出的表计图像序列记作
Figure FDA0003793837590000023
步骤23:构建基于深度可分离卷积神经网络模型,在DeepLabV3模型基础上,引入深度可分离卷积,从而使得模型用更少的参数达到与普通卷积一样的计算效果,加快模型的计算速度,基于深度可分离卷积神经网络模型主要由编码器和解码器两个模块构成,编码器作用是对输入的图像进行特征提取和特征表达,编码器包括一个主干网络Xception和一个ASPP网络,Xception网络用于提取表计图像的基础特征,由入口流、中间流、出口流三个部分组成,入口流首先是两层3×3的普通卷积,然后是三个深度可分离卷积构成的残差模块,中间流是由三个3×3的深度可分离卷积组成,出口流由一个普通残差模块和三个深度可分离卷积构成。ASPP网络由一个1×1、三个3×3的空洞卷积、和一个全局池化层组成,最后通过一个1×1的卷积层来减少特征的通道数,在编码器输出的特征向量基础上,解码器进行上采样和卷积计算,还原成图像数据,解码器将主干网络输出的低级特征图和ASPP网络输出的特征图进行尺寸变换,变换相同大小,并在特征图的通道维度上进行特征拼接,最后连接一个3×3的卷积对拼接特征进行处理;
步骤24:训练深度可分离卷积神经网络,使用已经标注好前景和背景的表计数据来训练深度可分离卷积神经网络,
采用交叉熵损失函数训练网络模型,计算公式如下:
L=-(y log(p)+(1-y)log(1-p)),
其中,y为标签,1表示像素点属于前景范围(正样本),p表示样本预测为正样本的概率,以最小化交叉熵损失值为目的,多轮次的模型训练,最终输出最优深度可分离卷积神经网络模型;
步骤25:基于已训练的深度可分离卷积神经网络模型分割表盘前景和背景,将表计图像序列输入到深度可分离卷积神经网络模型,模型开始预测表计图像的指针和刻度,并输出分割的前景图像。
4.如权利要求1所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤3包括:
步骤31:构建指针像素点的集合,遍历提取得到的前景图像的像素点,若像素点值为1,则为指针像素点,得到指针像素点的集合为D={d=(Xi,Xj)|i∈[0,wmeter],j∈[0,hmeter]},wmeter,hmeter表示表盘矩形框的宽和长,Xi,Yi表示像素点的坐标,
步骤32:定位指针的端点位置,遍历指针像素点的集合,指针的端点为横坐标和纵坐标均为最值,则端点横坐标计算如下:
Figure FDA0003793837590000033
第一个端点:
dS=(Xmax,Ys),Ys为点集合中横坐标为最大值所对应的纵坐标;
第二个端点:
dE=(Xmin,Ye),Ye为点集合中横坐标为最小值所对应的纵坐标;
步骤33:基于欧式距离公式判断指针的起点和终点,设起点为C(xc,yc),终点为指针的指尖P(xp,yp),记表盘图像中心O的坐标为(xo,yo)=(wmeter/2,hmeter/2),根据欧式距离公式分别计算点O到ds和de两点之间的距离,计算如下:
Figure FDA0003793837590000031
Figure FDA0003793837590000032
若dOS<dOE,则表盘中心C(xc,yc)=(Xmax,Ys),P(xp,yp)=(Xmin,Ye);若dOS>dOE
则表盘中心C(xc,yc)=(Xmin,Ye),P(xp,yp)=(Xmax,Ys),
步骤34:基于最小二乘法的线性回归模型拟合指针直线,已得出指针上的n个像素点d1,d2,...,dn,使用最小二乘法线性回归函数拟合指针像素点,得到一条直线处于样本数据的中心位置,最小二乘法的核心是以“残差平方和最小”确定直线位置,假设需计算直线公式为:
Figure FDA0003793837590000041
残差平方和计算公式如下:
Figure FDA0003793837590000042
其中,以上函数要使得Q取最小值,
Figure FDA0003793837590000043
为变量,因此分别对两个变量求偏导,值为零,得到变量取值为:
Figure FDA0003793837590000044
Figure FDA0003793837590000045
求解得到的拟合直线为:
Figure FDA0003793837590000046
5.如权利要求1所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤4包括:
步骤41:基于文本识别模型提取表盘中的文本信息,输出被识别的文本及文本位置框的字典,记作
Figure FDA0003793837590000047
其中,m表示识别到的文本总数,
Figure FDA0003793837590000048
表示文本矩形框的左上,右上,右下,左下四个顶点的位置坐标。
6.如权利要求5所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤4包括:
步骤42:根据表盘的文本信息集合,基于模板匹配法,得到中间刻度和最大刻度对应的刻度位置,即表盘的中间刻度为Vmid,则中间刻度位置坐标
Figure FDA0003793837590000051
计算中间刻度的中心点位置
Figure FDA0003793837590000052
表盘的最大刻度值Vmax,则最大刻度位置坐标
Figure FDA0003793837590000053
计算最大刻度中心位置
Figure FDA0003793837590000054
确定了夹角与量程大小的关系,即夹角θ所对应的量程为Vmax-Vmin
7.如权利要求1所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤5包括:
步骤51:根据A,B,C,P四点,计算指针在表盘中的相对角度位置,计算方法如下:
向量
Figure FDA0003793837590000055
Figure FDA0003793837590000056
之间的夹角:
Figure FDA0003793837590000057
向量
Figure FDA0003793837590000058
Figure FDA0003793837590000059
之间的夹角:
Figure FDA00037938375900000510
8.如权利要求7所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤5包括:
步骤52:计算指针P点在中心线lCA的相对位置,lCA直线方程写为:
Figure FDA00037938375900000511
带入P的横坐标xp到直线方程中计算相应的纵坐标
Figure FDA00037938375900000512
Figure FDA00037938375900000513
则P在直线lCA的右边,
Figure FDA00037938375900000514
反之,则P在直线lCA的左边,
Figure FDA00037938375900000515
9.如权利要求7所述的一种核电厂圆盘指针式仪表读数方法,其特征在于,所述的步骤5包括:
步骤53:计算表计示数如公式所示:
Figure FDA00037938375900000516
CN202210963854.4A 2022-08-11 2022-08-11 一种核电厂圆盘指针式仪表读数方法 Pending CN115457556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210963854.4A CN115457556A (zh) 2022-08-11 2022-08-11 一种核电厂圆盘指针式仪表读数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210963854.4A CN115457556A (zh) 2022-08-11 2022-08-11 一种核电厂圆盘指针式仪表读数方法

Publications (1)

Publication Number Publication Date
CN115457556A true CN115457556A (zh) 2022-12-09

Family

ID=84298361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210963854.4A Pending CN115457556A (zh) 2022-08-11 2022-08-11 一种核电厂圆盘指针式仪表读数方法

Country Status (1)

Country Link
CN (1) CN115457556A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655576A (zh) * 2022-12-13 2023-01-31 成都千嘉科技股份有限公司 一种指针式压力表位移异常的自动感知方法
CN117372937A (zh) * 2023-12-07 2024-01-09 江西理工大学南昌校区 一种基于指针仪表的数据读取方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655576A (zh) * 2022-12-13 2023-01-31 成都千嘉科技股份有限公司 一种指针式压力表位移异常的自动感知方法
CN117372937A (zh) * 2023-12-07 2024-01-09 江西理工大学南昌校区 一种基于指针仪表的数据读取方法
CN117372937B (zh) * 2023-12-07 2024-03-29 江西理工大学南昌校区 一种基于指针仪表的数据读取方法

Similar Documents

Publication Publication Date Title
CN115457556A (zh) 一种核电厂圆盘指针式仪表读数方法
CN110543878A (zh) 一种基于神经网络的指针仪表读数识别方法
CN110276285B (zh) 一种非受控场景视频中的船舶水尺智能识别方法
AU2020103716A4 (en) Training method and device of automatic identification device of pointer instrument with numbers in natural scene
CN106529537A (zh) 一种数字仪表读数图像识别方法
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN110909738A (zh) 一种基于关键点检测的指针仪表自动读数方法
CN113469178B (zh) 一种基于深度学习的电力表计识别方法
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN117152727A (zh) 一种用于巡检机器人的指针式仪表自动读数方法
CN114399677A (zh) 一种基于文本区域读取的指针仪表识别方法
CN115841669A (zh) 一种基于深度学习技术的指针式仪表检测与示数识别方法
CN116188756A (zh) 一种基于深度学习的仪表角度校正与示数识别方法
CN113627427B (zh) 一种基于图像检测技术的仪器仪表读数方法及系统
CN115019294A (zh) 一种指针式仪表读数识别方法及系统
CN113065556A (zh) 一种数字式仪表定位和数字识别方法、装置和计算机设备
CN114241194A (zh) 一种基于轻量级网络的仪表识别及读数方法
CN113705564A (zh) 一种指针式仪表识别读数方法
CN113837166A (zh) 一种基于深度学习的指针式仪表自动读数方法
CN114898347A (zh) 一种指针式仪表机器视觉识别方法
CN115239952A (zh) 基于YOLOV5及U2-Net框架辅助读取工业表的方法
CN115661446A (zh) 基于深度学习的指针式仪表示数自动读取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination