CN111199191A - 基于刻度搜索的指针式仪表自动读取方法 - Google Patents

基于刻度搜索的指针式仪表自动读取方法 Download PDF

Info

Publication number
CN111199191A
CN111199191A CN201911329045.2A CN201911329045A CN111199191A CN 111199191 A CN111199191 A CN 111199191A CN 201911329045 A CN201911329045 A CN 201911329045A CN 111199191 A CN111199191 A CN 111199191A
Authority
CN
China
Prior art keywords
scale
pointer
instrument
search box
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911329045.2A
Other languages
English (en)
Inventor
郭健
王天野
黄迪
薛舒严
钱抒婷
朱文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911329045.2A priority Critical patent/CN111199191A/zh
Publication of CN111199191A publication Critical patent/CN111199191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于刻度搜索的指针式仪表自动读取方法，包括对仪表图像进行预处理获得仪表区域二进制图像，对仪表区域二进制图像进行概率霍夫变换，识别仪表指针；利用虚拟搜索框进行仪表刻度搜索；对仪表区域二进制图像进行连通域检测，确定候选数字区域，基于卷积神经网络识别候选数字区域中的刻度值；分别计算每个刻度值中心与所有刻度线起点之间的距离，将每个刻度值分配给距离自身最短的刻度，并根据刻度线的关系确定没有标注数值的刻度的刻度值；根据指针与其最接近的两个刻度之间的距离关系确定仪表读数。本发明提出了刻度值识别和刻度值推算算法，从而不需要数据库中的先验信息。

Description

基于刻度搜索的指针式仪表自动读取方法
技术领域
本发明属于模式识别技术领域，具体为一种基于刻度搜索的指针式仪表自动读取方法。
背景技术
在室内配电房中，存在许多可以显示电柜设备和系统状态的仪表。这些电表中的大多数是指针式仪表，分析其原因是因为它们具有很强的抗电磁干扰性，结构简单并且维护成本低，但是它们没有任何数字接口，并且通常是人工读取其示数，这既耗时又不方便。此外，由于观察角度和视觉疲劳等问题，很可能会出现人为错误，从而使得人工读数的结果不可靠。因此，找到一种更准确、鲁棒性更强和可重复的方式来读取指针式仪表的示数是有重大意义的。
为了避免人工读取示数，提高准确性，现在已经有许多基于计算机视觉的算法来自动读取指针式仪表。其中大多数方法可以在一定程度上应用于读取任务，但是它们的缺点也很明显。大多数算法只能在具有均匀刻度的仪表中使用，这就限制了它们在非均匀刻度仪表中的应用。此外，它们需要找到仪表的中心点，因此就无法读取中心点隐藏在表盘后的正方形仪表，并且仪表中心点识别的误差会影响算法的准确性。最后，许多算法需要先验信息，例如下限和上限刻度的位置等，使得读取不方便。
发明内容
本发明的目的在于提出了一种基于刻度搜索的指针式仪表自动读取方法。
实现本发明目的的技术解决方案为：一种基于刻度搜索的指针式仪表自动读取方法，具体步骤为：
步骤1、对仪表图像进行预处理获得仪表区域二进制图像，对仪表区域二进制图像进行概率霍夫变换，识别仪表指针；
步骤2、利用虚拟搜索框进行仪表刻度搜索；
步骤3、对仪表区域二进制图像进行连通域检测，确定候选数字区域，基于卷积神经网络识别候选数字区域中的刻度值；
步骤4、分别计算每个刻度值中心与所有刻度线起点之间的距离，将每个刻度值分配给距离自身最短的刻度，并根据刻度线的关系确定没有标注数值的刻度的刻度值；
步骤5、根据指针与其最接近的两个刻度之间的距离关系确定仪表读数。
优选地，对仪表图像进行预处理获得仪表区域二进制图像的具体方法为：
从仪表图像中提取仪表区域图像，对仪表区域图像进行灰度化、滤波和二值化处理得到仪表区域二进制图像。
优选地，对仪表区域二进制图像进行概率霍夫变换，识别仪表指针的具体方法为：
对仪表区域二进制图像进行概率霍夫变换获得线段，分别计算每条线段的长度，将最长的线段作为指针，将剩余的线段作为刻度，其中，线段的长度的计算公式为：
Figure BDA0002329106760000021
式中，(xs,ys)和(xe,ye)分别是线段的起点和终点的坐标；
设定指针起点为线段靠近仪表中心的端点，终点是远离仪表中心的端点。
优选地，利用虚拟搜索框进行仪表刻度搜索的具体步骤为：
步骤2-1、生成一个矩形形状虚拟搜索框，所述搜索框的中心为指针的终点，搜索框长度根据经验设定，搜索框倾斜角度为指针的倾斜角度；
步骤2-2、搜索框沿当前刻度的法线按规定方向dir移动，并确定移动后的搜索框坐标；
步骤2-3、对搜索框所在区域进行概率霍夫变换检测搜索框中的刻度，并将当前搜索框的倾角更新为刻度倾角；
判断搜索框与刻度是否有交点，若有，计算搜索框内的刻度长度，并将当前搜索框的长度更新为刻度长度加10～20个像素点；
将搜索框的中心点更新至当前刻度中心；
步骤2-4、对调整后的搜索框所在区域进行概率霍夫变换检测搜索框中的刻度并进行标记，返回步骤2-2，直至遍历整个仪表中的刻度。
优选地，指针的倾斜角度计算公式为：
Figure BDA0002329106760000031
式中，(xe,ye)为指针的终点坐标，(xs,ys)为指针的起点坐标。
优选地，卷积神经网络的训练方法具体为：
S1、对卷积神经网络进行权值初始化；
S2、将候选数字区域内的图像数据输入卷积神经网络，依次经过卷积层、下采样层、全连接层的向前传播得到输出值；
S3、求出网络的输出值与目标值之间的误差；
S4、判断误差与期望值的关系，当误差大于的期望值时，将误差传回网络中，依次求得全连接层、下采样层、卷积层的误差进行权值更新，返回S2；当误差等于或小于期望值时，结束训练。
优选地，没有标注数值的刻度的刻度值的确定公式为：
Figure BDA0002329106760000032
其中vi表示没有标注数值的刻度的刻度值，v01和v02是已确定刻度值且最接近vi的左刻度和右刻度，n为v01与v02之间刻度个数。
优选地，指针与其最接近的两个刻度之间的距离的计算公式为：
Figure BDA0002329106760000033
式中，l为指针到刻度的距离，a,b,c是刻度的直线方程系数，(xe,ye)为指针的终点。
优选地，指针读数的确定公式为：
Figure BDA0002329106760000034
其中l1和l2是分别从指针的终点到与其接近的刻度的距离，v1和v2是指针左右刻度的值。
本发明与现有技术相比，其显著优点为：本发明可以同时读取均匀和不均匀的仪表；本发明在仪表上查找所有刻度并根据距离计算读数，从而可以读取中心点隐藏在表盘后面的方形仪表；本发明提出了刻度值识别和刻度值推算算法，从而不需要数据库中的先验信息。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明的流程图。
图2为指针、刻度的起点和终点示意图。
图3为搜索框移动示意图。
图4为刻度搜索过程示意图，其中图4(a)为固定倾角和长度的搜索框效果图；图4(b)为搜索框动态调整效果图。
图5为刻度搜索算法流程图。
图6为刻度搜索结果示意图。
图7为刻度值识别结果示意图，其中图7(a)为含有错误的候选集的结果图；图7(b)为连通域内确定的单个数字结果图；图7(c)为由单个数字数组成的刻度值结果图。
图8为基于距离进行读数的示意图。
具体实施方式
如图1所示，一种基于刻度搜索的指针式仪表自动读取方法，具体步骤为：
步骤1、对仪表图像进行预处理获得仪表区域二进制图像，对仪表区域二进制图像进行概率霍夫变换，识别仪表指针，具体步骤为：
步骤1-1、为了避免干扰并简化计算，从仪表图像中提取仪表区域图像，对仪表区域图像进行灰度化、滤波和二值化预处理以获得仪表区域二进制图像；
步骤1-2、对仪表区域二进制图像进行概率霍夫变换(PPHT)获得线段，分别计算每条线段的长度，将最长的线段作为指针，将剩余的线段作为刻度，线段的长度的计算公式为：
Figure BDA0002329106760000041
其中，(xs,ys)和(xe,ye)分别是线段的起点和终点的坐标。
设定指针起点是靠近仪表中心的点，终点是远离仪表中心的点，如图2所示。
步骤2、利用虚拟搜索框进行仪表刻度搜索，具体步骤为：
步骤2-1、生成一个矩形形状虚拟搜索框，所述搜索框的中心为指针的终点(xe,ye)，搜索框长度根据经验设定，搜索框倾斜角度为指针的倾斜角度α，如图3所示。其中，倾斜角度α的计算公式如下：
Figure BDA0002329106760000051
步骤2-2、搜索框沿当前刻度的法线按规定方向dir移动，并确定移动后的搜索框坐标，移动后的搜索框坐标通过下式进行计算：
Figure BDA0002329106760000052
Figure BDA0002329106760000053
其中(x′,y′)为移动后的搜索框坐标，(x,y)为移动前的搜索框坐标，s为移动的步长，CW、CCW代表顺时针和逆时针方向。
步骤2-3、搜索框的倾斜角度和长度是固定的，因此无法完全识别刻度，如图4(a)所示。本发明在识别刻度的同时动态地调整了搜索框的倾斜角度和长度，而不是直接向前移动。调整方法是：对搜索框所在区域进行概率霍夫变换(PPHT)检测搜索框中的刻度，计算刻度倾角并将刻度倾角作为当前搜索框的倾角，计算公式为：
Figure BDA0002329106760000054
判断搜索框与刻度是否有交点，当搜索框与刻度有交点时，(x′e,y′e)为搜索框截取刻度靠上的端点，(x′s,y′s)为搜索框截取刻度靠下的端点，计算搜索框内的刻度长度：
Figure BDA0002329106760000055
更新搜索框的长度为刻度长度加10～20个像素点；
当搜索框与刻度没有交点时，搜索框的长度不变；
将搜索框的中心点更新至当前刻度中心。搜索框的动态调整如图4(b)所示。
步骤2-4、如图5、6所示，对调整后的搜索框所在区域进行概率霍夫变换(PPHT)检测搜索框中的刻度并进行标记，执行步骤2-2，遍历整个仪表中的刻度。
步骤3、对仪表区域二进制图像进行连通域检测，确定候选数字区域，基于卷积神经网络识别候选数字区域中的刻度值，具体步骤为：
步骤3-1、对步骤1-1得到的二进制图像进行检测得到连通域，采用上下左右4连通模板对二进制图像从左向右，从上到下进行扫描，对像素值为0的像素点进行标记，所有标记像素即为二进制仪表图像的连通域。由于数值区域相对表盘颜色较深，所以背景像素值为1，目标区域像素值为0，因此若当前像素值为1则移动到下一个扫描位置；若当前像素值为0，则对其进行标记。
剔除连通域中错误的候选区域，获得候选数字区域：
在找到的连通域中有许多文字和字符等错误候选区域，为了获得需要的数字区域，使用数字区域独特的特征数据，例如连通域最小边界矩形的高宽比处于中值范围左右；像素个数与矩形周长的比值约等于一；数字连通域距离每个刻度之间的距离最近等条件来剔除错误的候选区域，如图7(a)所示。
步骤3-2、使用训练好的卷积神经网络(CNN)来确定候选数字区域内确切的数字，如图7(b)、7(c)所示，其中，卷积神经网络的训练方法具体为：
S1、对卷积神经网络进行权值初始化；
S2、将候选数字区域内的图像数据输入卷积神经网络，依次经过卷积层、下采样层、全连接层的向前传播得到输出值；
S3、求出网络的输出值与目标值之间的误差；
S4、当误差大于的期望值时，将误差传回网络中，依次求得全连接层、下采样层、卷积层的误差进行权值更新，回到S2；当误差等于或小于期望值时，结束训练。
步骤4、分别计算每个刻度值中心与所有刻度线起点之间的距离，然后将每个刻度值分配给距离自身最短的刻度，得到了已有数字和刻度之间的关系，接着使用下式确定其余没有标注数值的刻度的刻度值：
Figure BDA0002329106760000061
其中vi表示没有标注数值的刻度的刻度值，v01和v02是已确定刻度值且最接近vi的左刻度和右刻度，n为v01与v02之间刻度个数。
步骤5、根据指针与其最接近的两个刻度之间的距离关系来计算示数的读数。指针的终点为(xe,ye)，a,b,c是刻度的直线方程系数，则距离可以计算为：
Figure BDA0002329106760000071
指针读数的确定公式为：
Figure BDA0002329106760000072
其中l1和l2是分别从指针的终点到与其接近的刻度的距离，v1和v2是刻度的值，如图8所示。

Claims (9)

1.一种基于刻度搜索的指针式仪表自动读取方法，其特征在于，具体步骤为：
步骤1、对仪表图像进行预处理获得仪表区域二进制图像，对仪表区域二进制图像进行概率霍夫变换，识别仪表指针；
步骤2、利用虚拟搜索框进行仪表刻度搜索；
步骤3、对仪表区域二进制图像进行连通域检测，确定候选数字区域，基于卷积神经网络识别候选数字区域中的刻度值；
步骤4、分别计算每个刻度值中心与所有刻度线起点之间的距离，将每个刻度值分配给距离自身最短的刻度，并根据刻度线的关系确定没有标注数值的刻度的刻度值；
步骤5、根据指针与其最接近的两个刻度之间的距离关系确定仪表读数。
2.根据权利要求1所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，对仪表图像进行预处理获得仪表区域二进制图像的具体方法为：
从仪表图像中提取仪表区域图像，对仪表区域图像进行灰度化、滤波和二值化处理得到仪表区域二进制图像。
3.根据权利要求1所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，对仪表区域二进制图像进行概率霍夫变换，识别仪表指针的具体方法为：
对仪表区域二进制图像进行概率霍夫变换获得线段，分别计算每条线段的长度，将最长的线段作为指针，将剩余的线段作为刻度，其中，线段的长度的计算公式为：
Figure FDA0002329106750000011
式中，(xs,ys)和(xe,ye)分别是线段的起点和终点的坐标；
设定指针起点为线段靠近仪表中心的端点，终点是远离仪表中心的端点。
4.根据权利要求1所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，利用虚拟搜索框进行仪表刻度搜索的具体步骤为：
步骤2-1、生成一个矩形形状虚拟搜索框，所述搜索框的中心为指针的终点，搜索框长度根据经验设定，搜索框倾斜角度为指针的倾斜角度；
步骤2-2、搜索框沿当前刻度的法线按规定方向dir移动，并确定移动后的搜索框坐标；
步骤2-3、对搜索框所在区域进行概率霍夫变换检测搜索框中的刻度，并将当前搜索框的倾角更新为刻度倾角；
判断搜索框与刻度是否有交点，若有，计算搜索框内的刻度长度，并将当前搜索框的长度更新为刻度长度加10～20个像素点；
将搜索框的中心点更新至当前刻度中心；
步骤2-4、对调整后的搜索框所在区域进行概率霍夫变换检测搜索框中的刻度并进行标记，返回步骤2-2，直至遍历整个仪表中的刻度。
5.根据权利要求4所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，指针的倾斜角度计算公式为：
Figure FDA0002329106750000021
式中，(xe,ye)为指针的终点坐标，(xs,ys)为指针的起点坐标。
6.根据权利要求1所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，卷积神经网络的训练方法具体为：
S1、对卷积神经网络进行权值初始化；
S2、将候选数字区域内的图像数据输入卷积神经网络，依次经过卷积层、下采样层、全连接层的向前传播得到输出值；
S3、求出网络的输出值与目标值之间的误差；
S4、判断误差与期望值的关系，当误差大于的期望值时，将误差传回网络中，依次求得全连接层、下采样层、卷积层的误差进行权值更新，返回S2；当误差等于或小于期望值时，结束训练。
7.根据权利要求1所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，没有标注数值的刻度的刻度值的确定公式为：
Figure FDA0002329106750000022
其中vi表示没有标注数值的刻度的刻度值，v01和v02是已确定刻度值且最接近vi的左刻度和右刻度，n为v01与v02之间刻度个数。
8.根据权利要求1所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，指针与其最接近的两个刻度之间的距离的计算公式为：
Figure FDA0002329106750000031
式中，l为指针到刻度的距离，a,b,c是刻度的直线方程系数，(xe,ye)为指针的终点。
9.根据权利要求1所述的基于刻度搜索的指针式仪表自动读取方法，其特征在于，指针读数的确定公式为：
Figure FDA0002329106750000032
其中l1和l2是分别从指针的终点到与其接近的刻度的距离，v1和v2是指针左右刻度的值。
CN201911329045.2A 2019-12-20 2019-12-20 基于刻度搜索的指针式仪表自动读取方法 Pending CN111199191A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911329045.2A CN111199191A (zh) 2019-12-20 2019-12-20 基于刻度搜索的指针式仪表自动读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911329045.2A CN111199191A (zh) 2019-12-20 2019-12-20 基于刻度搜索的指针式仪表自动读取方法

Publications (1)

Publication Number Publication Date
CN111199191A true CN111199191A (zh) 2020-05-26

Family

ID=70746425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911329045.2A Pending CN111199191A (zh) 2019-12-20 2019-12-20 基于刻度搜索的指针式仪表自动读取方法

Country Status (1)

Country Link
CN (1) CN111199191A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836726A (zh) * 2021-01-12 2021-05-25 云南电网有限责任公司电力科学研究院 一种基于视频信息的指针类仪表示数读取方法及装置
CN112906694A (zh) * 2021-03-25 2021-06-04 中国长江三峡集团有限公司 变电站倾斜式指针式仪表图像的读数矫正系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460327A (zh) * 2018-01-12 2018-08-28 河南大学 一种基于图像处理的指针式仪表读数自动识别方法
CN109993166A (zh) * 2019-04-03 2019-07-09 同济大学 基于刻度查找的指针式仪表读数自动识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460327A (zh) * 2018-01-12 2018-08-28 河南大学 一种基于图像处理的指针式仪表读数自动识别方法
CN109993166A (zh) * 2019-04-03 2019-07-09 同济大学 基于刻度查找的指针式仪表读数自动识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836726A (zh) * 2021-01-12 2021-05-25 云南电网有限责任公司电力科学研究院 一种基于视频信息的指针类仪表示数读取方法及装置
CN112836726B (zh) * 2021-01-12 2022-06-07 云南电网有限责任公司电力科学研究院 一种基于视频信息的指针类仪表示数读取方法及装置
CN112906694A (zh) * 2021-03-25 2021-06-04 中国长江三峡集团有限公司 变电站倾斜式指针式仪表图像的读数矫正系统及方法
CN112906694B (zh) * 2021-03-25 2022-10-04 中国长江三峡集团有限公司 变电站倾斜式指针式仪表图像的读数矫正系统及方法

Similar Documents

Publication Publication Date Title
CN107609557B (zh) 一种指针式仪表读数识别方法
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
JP4494427B2 (ja) 画像中のパターンを自動的に位置付けるベクトル相関システム
CN104657711B (zh) 一种鲁棒的指针式仪表读数自动识别方法
CN111488874A (zh) 一种指针式仪表倾斜校正方法及系统
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
CN110599489A (zh) 一种目标空间定位方法
CN110211178B (zh) 一种利用投影计算的指针式仪表识别方法
CN108775872A (zh) 基于自动变焦实时图像处理的桥梁挠度检测方法
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN111199191A (zh) 基于刻度搜索的指针式仪表自动读取方法
CN116630204B (zh) 遥感影像在线分析处理系统
CN113705350A (zh) 变电站的指针仪表读数识别方法、装置、介质和电子设备
CN111598097B (zh) 一种基于机器人视觉的仪表位置、读数识别方法和系统
CN117237681A (zh) 图像处理方法、装置及相关设备
CN111950553A (zh) 一种指针式仪表自动对准方法及装置
CN117197639A (zh) 真值获取方法、装置、电子设备及存储介质
CN108564571B (zh) 图像区域选取方法及终端设备
Ehrenfried Processing calibration-grid images using the Hough transformation
CN115239700A (zh) 一种脊椎Cobb角测量方法、装置、设备及存储介质
CN113192122B (zh) 大型装备装配位姿视觉检测过程中的光心提取方法
CN103105943B (zh) 精确定位光电鼠标位移量的方法
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN114898347A (zh) 一种指针式仪表机器视觉识别方法
CN112115896A (zh) 仪表盘指针读数预测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526

RJ01 Rejection of invention patent application after publication