CN103994786B - 圆弧标尺线指针式仪表刻度的图像检测方法 - Google Patents
圆弧标尺线指针式仪表刻度的图像检测方法 Download PDFInfo
- Publication number
- CN103994786B CN103994786B CN201410244156.4A CN201410244156A CN103994786B CN 103994786 B CN103994786 B CN 103994786B CN 201410244156 A CN201410244156 A CN 201410244156A CN 103994786 B CN103994786 B CN 103994786B
- Authority
- CN
- China
- Prior art keywords
- scale
- line
- points
- circular arc
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000007812 deficiency Effects 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000877 morphologic effect Effects 0.000 abstract description 2
- 238000012795 verification Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004164 analytical calibration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000669069 Chrysomphalus aonidum Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像的指针式仪表圆弧标尺刻度的自动检测方法。用单台数码照相机构建图像采集系统并进行标定;在对应于20%和80%满量程的激励信号下拍摄两幅表头图像;经阈值化和形态学处理获得标尺线与刻度线区域;提取骨架并经骨架分段法向投影确定候选标尺盘心;用霍夫变换圆检测确定粗略标尺盘心与标尺线半径;利用双点移除截断最小二乘拟合确定标尺线精确圆心与半径;用径向投影法确定标尺线上刻度线朝向角,获得候选刻度基点;用共域性确定检测所得刻度基点;合并两幅图像的结果为最终的刻度基点集。本发明能完成圆弧标尺线指针式仪表刻度位置的自动检测,可应用于仪表的自动校准和自动读数中,提高读数准确度,减轻劳动强度。
Description
技术领域
本发明涉及仪表自动校准和仪表自动读数等领域,具体是一种基于图像的指针式仪表圆弧标尺上刻度的自动检测方法。
背景技术
指针式仪表具有结构简单,使用方便等优点。在数字式仪表的应用日益广泛的今天,指针式仪表也仍然具有很大的年产量,而正在使用中的各类系统中更是存在着极为大量的指针式仪表。如果依靠人工来完成新产和使用中的指针式仪表的检定与校准工作,则其劳动量极大,且容易受到检验人员自身主观因素的影响。一种针对指针式仪表检定和校准问题的低成本解决途径,便是基于图像处理和机器视觉的仪表自动检定校准方法。此外,对现有系统提出的计算机远程控制与管理方面的要求,也需要能够自动获取包括指针式仪表读数在内的各个生产数据,而基于图像处理的指针式仪表自动读数方法同样是实现该目标的最直接、对现有系统影响和改造最小的途径。在基于图像的指针式仪表自动校准与自动读数中,仪表刻度的自动识别是不可或缺的重要步骤。
现有的仪表自动读数方法多通过人为设置刻度在图像中的角度范围来实现仪表指针方向到读数的转换;也有一些方法首先识别出表头的刻度值文字,确定出刻度位置与大小后,再将指针位置转换为仪表读数。这些方法或者失之过简,无法适用于刻度间距存在不均匀性的场合,从而造成自动读数中较大的系统误差;或者方法较为繁琐,且可靠性也有所下降。
因此,有必要找到一种相对简单、适用性好的方法,能够针对同型号仪表批量的校准或自动读数,方便可靠地利用图像处理和识别技术自动确定仪表刻度线或其代表点在图像中的位置,进而将图像中检测所得的指针位置转换为仪表读数,从而实现仪表读数自动化,减轻工作者的劳动强度,消除仪表读数不确定度中人为因素的分量,提高仪表读数的准确度,最终帮助实现仪表校准及信息管理和应用中数据采集的自动化。
发明内容
本发明所要解决的技术问题,是针对具有圆弧标尺线的指针式仪表表头提供一种刻度自动检测的方法。所述的指针式仪表,其表头上具有一条或多条同心的圆弧标尺线,每条圆弧标尺线上以均匀或不均匀间距分布着短直线段刻度,这些刻度直线与圆弧标尺线正交,且一端落在圆弧标尺线上;称所述的同心圆弧标尺线的圆心为标尺盘心;称所述的刻度直线段与圆弧标尺线的交点为刻度基点。
本发明为解决上述技术问题所提出的方法具体包括以下步骤:
i.确定一个放置待检测刻度的指针式仪表的固定平面;安装一台数码照相机或数码摄像机(为简洁起见,以下行文中仅以数码照相机为例加以叙述),使其成像光轴垂直朝向于仪表表头平面;调整数码照相机的位置和焦距,使得照相机恰好聚焦于表头平面,并使得圆弧标尺线、刻度线以及标尺盘心所在的范围能够占据图像中90%(按长宽尺寸计算)的部分;利用现有标准的照相机标定方法(可参考“C.Steger,M.Ulrich,C.Wiedemann,著,杨少荣,吴迪靖,段德山,译.机器视觉算法与应用(双语版).北京:清华大学出版社,2008”第3.9.4节),确定如上构成的视觉系统的径向畸变因子κ和比例因子s,以像素/mm为单位,该比例因子描述了被拍摄对象的实际物理尺寸(以mm计)和它在图像中的尺寸(以像素计)之间的比例关系;在下述的整个检测过程中,如上构成的视觉系统不得再进行调整;
ii.将待检测刻度的指针式仪表放置在上述平面上,接入适用于该表的激励信号源,调整输入大小为满量程的20%左右;利用数码照相机拍摄得到表头的灰度图像;利用现有标准的径向畸变校正方法,根据径向畸变因子κ进行图像校正后得到灰度图像IA;
iii.利用固定阈值进行二值化,得到二值图像B;当对同一型号的多个仪表进行检测且环境光照条件稳定时,可通过实验方式获得合适的阈值t,并用于这一整批待检测仪表;当表头为浅色背景、深色刻度时,二值化操作为:
而当表头为深色背景、浅色刻度时,二值化操作为:
式中,1≤x≤N和1≤y≤M分别为图像中各像素点的列下标和行下标,N和M分别为图像的宽度和高度;
iv.根据用户给定的刻度线及圆弧标尺线最大宽度wline_max(单位为mm)计算提取刻度线与圆弧标尺线区域的结构元素半径rdetect_line:
rdetect_line=wline_max×s(像素)
wline_max的典型值为0.1~1.0;利用半径为rdetect_line的圆盘形结构元素Sdetect_line对B进行数学形态学开运算,得到二值图像Bnon_line,即
Bnon_line=BoSdetect_line (3)
式中,o表示二值图像的数学形态学中开运算。利用Bnon_line和B进行二值图像的异或操作,得到刻度线与圆弧标尺线候选区域二值图像Bline,即
Bline(x,y)=Bnon_line(x,y)XORB(x,y),1≤x≤N,1≤y≤M (4)
v.利用现有标准的区域骨架化方法(可参考MATLAB7.0的图像处理工具包中提供的bwmorph函数中’skel’功能的实现),提取Bline的骨架K;
vi.对K利用骨架分段法向投影确定包含标尺盘心的候选图像区域,得到候选标尺盘心点集(表示候选标尺盘心的x坐标,表示候选标尺盘心的y坐标,Nc,cand表示候选标尺盘心的数量);
vii.根据骨架K和候选标尺盘心点集Ccand,利用霍夫变换圆检测算法确定像素级的标尺盘心粗略位置(xc,coarse,yc,coarse)(xc,coarse为标尺盘心的粗略x坐标,yc,coarse为标尺盘心的粗略y坐标)及各条圆弧标尺线的粗略半径(Nline表示用户给定的圆弧标尺线的数量,最常见的值为1);
viii.对每条圆弧标尺线j,根据(xc,coarse,yc,coarse)和确定出K中的圆弧标尺线候选点,然后利用双点移除截断最小二乘圆拟合方法确定各条圆弧标尺线的亚像素级圆参数(为第j条圆弧标尺线圆心的x坐标,为第j条圆弧标尺线圆心的y坐标,为第j条圆弧标尺线圆心的半径);
ix.根据viii中获得的每条圆弧标尺线j的圆参数在Bline中确定该条圆弧标尺线区域候选点,并利用径向投影法确定该条圆弧标尺线上各候选刻度线的朝向角(为第j条圆弧标尺线上的候选刻度线数量),进而确定该条圆弧标尺线上的各候选刻度基点(为候选刻度基点的x坐标,为候选刻度基点的y坐标);
x.利用共域性对每条圆弧标尺线j上的候选刻度基点进行筛选,获得每条圆弧标尺线j上检测得到的刻度基点(为检测得到的刻度基点的x坐标,为检测得到的刻度基点的y坐标,为检测得到的刻度线数量);
xi.调整激励信号源输入大小至满量程的80%左右;拍摄并矫正得到仪表盘面的灰度图像IB;重复步骤iv~x,得到另一组刻度基点(为根据IB检测得到的刻度基点的x坐标,为根据IB检测得到的刻度基点的y坐标,为检测得到的刻度线数量);
xii.对每条圆弧标尺线j,将上述所得的两组刻度基点合并为一个刻度基点集合,并按各个刻度基点至该条圆弧标尺线圆心连线的朝向角由小到大对刻度基点进行排序;依次考察排序后位置相邻的刻度基点对之间的距离,如果某两个相邻刻度基点之间的距离不大于一个给定的阈值εrepeat,则以这两个刻度基点连线的中点坐标代替它们作为相应刻度的刻度基点,εrepeat的典型取值可设为0.1×s;以由此得到的刻度基点集(为最终确定的刻度基点的x坐标,为最终确定的刻度基点的y坐标,Nj为最终确定的刻度线数量)以及它们各自所对应的量值υj,k作为刻度检测的结果。
所述的候选刻度线初筛方法(第vi步)具体包括以下步骤:
(vi.1)遍历K中所有的像素点,确定K中每个特征点的8-邻域中其他特征点(以下称为该特征点的8-邻点)的数量。其中某个像素点(x,y)的8-邻域指如下像素点:(x+1,y)、(x+1,y-1)、(x,y-1)、(x-1,y-1)、(x-1,y)、(x-1,y+1)、(x,y+1)以及(x+1,y+1);
(vi.2)将K中所有8-邻点数量大于2的特征点去除,得到简化骨架Kdismem;
(vi.3)遍历Kdismem并确定其中每个特征点的8-邻点数量;
(vi.4)依次考察Kdismem中的每个特征点,当找到一个8-邻点数量为1的特征点时,便由该点开始依次搜索并记录与之为8-连通的特征点(包括该点在内)坐标,获得当前骨架线条中各特征点的坐标序列,并将这些点由Kdismem中去除;
(vi.5)由步骤(vi.4)获得的当前骨架线条特征点坐标序列,从序列起点开始,将序列分为首尾相连的若干片段,每个片段包括lseg个特征点;记录下每个片段的起点和终点坐标;如果序列最后仅包含不足lseg个特征点,则将这部分特征点舍弃;lseg的典型取值为(0.05~0.2)×s;
(vi.6)重复步骤(vi.4)和(vi.5)直至Kdismem中所有特征点都被考察完毕;
(vi.7)再次依次考察Kdismem中的每个特征点,当找到一个8-邻点数量为2的特征点时,便由该点开始依次搜索并记录与之为8-连通的特征点(包括该点在内)坐标,获得当前骨架线条中各特征点的坐标序列,并将这些点由Kdismem中去除;
(vi.8)由步骤(vi.7)获得的当前骨架线条特征点坐标序列,从序列起点开始,将序列分为首尾相连的若干片段,每个片段包括lseg个特征点;记录下每个片段的起点和终点坐标;如果序列最后仅包含不足lseg个特征点,则将这部分特征点舍弃;
(vi.9)重复步骤(vi.7)和(vi.8)直至Kdismem中所有特征点都被考察完毕;
(vi.10)将IA的整个图像区域划分成边长为b个像素的正方形构成的网格,b的典型取值为(1~5)×s;为每一个正方形网格Guv={(x,y)|(u-1)b+1≤x≤ub,(v-1)b+1≤y≤vb}分配一个初始值为0的累加器Auv,其中W和H分别表示图像的宽度和高度,表示向上取整;
(vi.11)对步骤(vi.5)和(vi.8)中所得的每个片段的起点和终点确定这两点连线的中垂线L,其方程为
xsinθ-ycosθ=ρ0 (5)
式中,
ρ0=xmsinθ-ymcosθ (6)
对每个正方形网格Guv,如下计算Guv在朝向角θ方向上的最大截距ρmax和最小截距ρmin:
式中,
如果ρmin≤ρ0≤ρmax,则判断L与网格Guv相交,并将累加器Auv的值加1;
(vi.12)当所有片段均按步骤(vi.11)处理完成后,确定所有网格中的局部极大点;其中,称网格Guv为局部极大点,如果该网格的累加器值Auv大于该网格的8-邻域中所有网格的累加器值Au+1,v、Au+1,v-1、Au,v-1、Au-1,v-1、Au-1,v、Au-1,v+1、Au,v+1以及Au+1,v+1;
(vi.13)取对应累加器值最大的Np个局部极大点以这些局部极大点对应网格中所包含的像素点位置作为候选标尺盘心点集Np的典型取值为3~10。
所述的像素级标尺盘心粗略位置的霍夫变换圆检测方法(第vii步)的具体步骤如下:
(vii.1)根据候选标尺盘心点集和用户给定的圆弧标尺线的最大半径rmax和最小半径rmin,初始化一个圆霍夫变换的累加器矩阵(Nr=rmax-rmin+1),并将各累加器值初始化为0;rmax和rmin的典型值可分别设为和 表示向下取整;
(vii.2)对K中每个特征点(x,y),计算它与每个候选标尺盘心(1≤u≤Nc,cand)之间的圆整欧氏距离其中round(g)表示四舍五入取整;对每个ru,如果它满足rmin≤ru≤rmax,则令v=ru-rmin+1,并将累加器的值加1;
(vii.3)当对K中所有特征点均进行了步骤(vii.2)中的操作之后,找出具有最大累加值的累加器以该累加器对应的候选标尺盘心作为像素级的标尺盘心粗略位置(xc,coarse,yc,coarse);
(vii.4)将累加器矩阵Acir中所在的行抽取出来,然后确定其中邻域半径为rgap的局部极大点;其中,称是一个邻域半径为rgap的局部极大点,如果有(vp-rgap≤v≤vp+rgap,v≠vp);rgap的典型值为
(vii.5)从步骤(vii.4)所获得的局部极大点中,选取对应累加器值最大的Nline个局部极大点(1≤j≤Nline),并求取各条圆弧标尺线的粗略半径
所述的圆弧标尺线亚像素级圆参数确定方法(第viii步)的具体步骤如下:
(viii.1)按用户给定的圆弧标尺线排列顺序(例如根据半径由小到大或由大到小),对圆弧标尺线的粗略半径进行排序,排序后的粗略半径记为
(viii.2)用户按给定的圆弧标尺线排列顺序,为每条圆弧标尺线j确定一个该圆弧标尺线及其上刻度线所在的半径偏移范围远离标尺盘心方向的半径偏移值符号定义为正;和的典型取值范围为(0.5~5)×s;在K中确定所有的特征点(x,y),它们满足以上所述的特征点构成了待拟合点集Fj;
(viii.3)利用现有的双点移除式截断最小二乘圆拟合方法(可参考“郭斯羽,翟文娟,唐求,朱院娟.结合Hough变换与改进最小二乘法的直线检测.计算机科学,2012,第39卷,第4期,pp.196-200”),根据用户给定的保留率pcir和待拟合点集Fj,获得圆弧标尺线j的拟合圆参数pcir的典型取值为0.25~0.5。
所述的候选刻度基点径向投影确定方法(第ix步)的具体步骤如下:
(ix.1)对每条圆弧标尺线j(1≤j≤Nline),根据半径偏移范围在Bline中确定所有的特征点(x,y),它们满足以上所述的特征点构成了待投影点集Pj;
(ix.2)以为离散化间隔,由-π开始,将[-π,π)的刻度线朝向角区间离散化为并为每个离散化朝向角分配一个初始值为0的投影点累加器Δa的典型值为0.5或1;
(ix.3)对Pj中的每个点(x,y),计算出该点与当前圆弧标尺线圆心之间连线的朝向角θ;其中当时,当且时,而当且时,然后将投影点累加器的值加1,其中
(ix.4)当Pj中的所有点均按步骤(ix.3)完成投影处理后,利用2阶巴特沃斯低通滤波器或高斯滤波器对投影点累加器序列进行滤波,得到滤波后的序列滤波器的截止频设为κ的典型值为3;wtick为刻度线宽度,典型值为(0.1~0.3)×s;
(ix.5)确定滤波后序列中邻域半径为的局部极大点;其中Δθtick为当前圆弧标尺线上刻度线间的最小角度差,典型值为0.5°~1°;
(ix.6)确定滤波后序列中的最大值然后找出步骤(ix.5)中获得的局部极大点中的显著极大点,即对应滤波后的投影点累加值不小于γv的那些局部极大点,这些显著极大点记为(为显著极大点的数量,即所确定的候选刻度基点的数量);γ的典型值为0.2~0.4;
(ix.7)确定候选刻度线的朝向角为
(ix.8)确定候选刻度基点为其中
所述的利用共域性的刻度基点筛选方法(第x步)的具体步骤如下:
(x.1)利用一个半径为rflaws的圆盘形结构元素对Bline进行数学形态学的闭运算,得到处理后的二值图像Bline,closed;rflaw为标尺线区域中可能造成分割后标尺线区域断裂的瑕疵的尺寸,典型值为0.05~0.1;
(x.2)利用现有标准的连通域标记方法对Bline,closed进行连通域标记(可参考MATLAB7.0图像处理工具包中bwlabel函数的实现),为其中每个连通区域赋予一个取值为1~Nreg的特有的整数标号,其中Nreg为Bline,closed中的连通区域的数量;
(x.3)对每条圆弧标尺线j(1≤j≤Nline),初始化一个区域内刻度基点数量累加器序列初始值均为0;
(x.4)对当前圆弧标尺线上的每个候选刻度基点找到Bline,closed中与之距离最近的特征点,并确定该特征点所属连通区域的标号ks;将对应的区域内刻度基点数量累加器的值加1;
(x.5)待当前圆弧标尺线上的所有候选刻度基点均按步骤(x.4)处理完毕后,找到区域内刻度基点累加器值最大者所对应的区域标号
(x.6)对当前圆弧标尺线上的每个候选刻度基点找到Bline,closed中与之距离最近的特征点,并确定该特征点所属连通区域的标号ks;如果ks=k*,则保留该刻度基点,否则便将其筛除;
(x.7)待当前圆弧标尺线上的所有候选刻度基点均按步骤(x.6)处理完毕后,则保留下来的刻度基点即为在圆弧标尺线j上检测得到的刻度基点
(x.8)对所有圆弧标尺线均按步骤(x.3)~(x.7)进行处理,便得到了最终检测得到的所有刻度基点
综上所述,本发明所提供的方法,能够自动地检测指针式仪表图像中圆弧标尺线上各刻度线的代表点在图像中的位置,利用这一位置信息以及仪表指针位置的检测结果,便能实现仪表自动读数。由于可以利用所有的刻度信息,因此相比于仅利用满刻度范围的角度信息来计算读数的方法,采用本发明所提供的方法检测得到的刻度位置信息,能够更为准确地进行自动读数。
本发明所提供的方法需要事先确定较多参数,但对于同一型号、批次的仪表可采用相同的参数,而且参数的物理意义明确,参数精度的要求不高,因此可以较为容易地通过实验或查阅仪表产品规格说明书等资料,来针对需要考虑的仪表型号确定这些参数,并以配置文件的方式加以保存和利用,对实际工作量的影响可以忽略。
附图说明
图1为本发明中所提方法的总体流程框图;
图2为利用本发明中所提方法的步骤i~ii采集得到的实施例仪表表头图像;
图3为利用本发明中所提方法的步骤iii~iv分割得到的实施例圆弧标尺线与刻度线区域二值图像;
图4为利用本发明中所提方法的步骤v所得的实施例圆弧标尺线与刻度线区域骨架的二值图像;
图5为利用本发明中所提方法步骤(vi.1)~(vi.11)所得的实施例中确定粗略标尺盘心的累加器的累加结果;
图6为利用本发明中所提方法步骤vii所得的实施例粗略标尺盘心位置和各圆弧标尺线的粗略检测结果;
图7为利用本发明中所提方法步骤viii所得的实施例各圆弧标尺线的精确拟合结果;
图8为利用本发明中所提方法步骤(ix.1)所得的实施例待投影点集;
图9为利用本发明中所提方法步骤(ix.2)~(ix.3)所得的实施例投影点累加器序列(局部);
图10为利用本发明中所提方法步骤(ix.4)所得的实施例投影点累加器序列滤波结果(局部);
图11为利用本发明中所提方法步骤ix所得的实施例候选刻度基点;
图12为利用本发明中所提方法步骤x所得的实施例刻度基点检测结果。
具体实施方式
以下将结合附图和具体实施例对本发明做进一步详细说明。
本发明所提方法的总体流程框图如图1所示。
如图2所示是根据本发明所提方法的步骤i~ii采集得到的实施例仪表表头图像。
如图3所示是利用本发明中所提方法的步骤iii~iv分割得到的实施例圆弧标尺线与刻度线区域二值图像,其中使用的分割阈值t=144,进行开操作的圆盘形结构元素半径rdetect_line=5像素。为清晰起见,各二值图像中的特征点用黑色表示。
如图4所示是利用本发明中所提方法的步骤v所得的实施例圆弧标尺线与刻度线区域骨架的二值图像。
如图5所示是利用本发明中所提方法步骤(vi.1)~(vi.11)所得的实施例中确定粗略标尺盘心的累加器的累加结果,其中骨架片段包含的像素点数量lseg=5,分块尺寸b=50像素。由图5可见,在包括肉眼观察估计得到的标尺盘心区域在内的少数分块具有较亮的灰度值,意味着这些分块的累加器值较高,说明骨架分段法向投影能够将候选标尺盘心区域由整个图像区域缩减到相对很小部分的图像区域之中。
如图6所示是利用本发明中所提方法步骤vii所得的实施例粗略标尺盘心位置和各圆弧标尺线的粗略检测结果,其中在步骤vi中选取的Np=5,圆弧标尺线的最大、最小半径分别为rmin=800像素和rmax=1500像素,圆弧标尺线数量Nline=4,邻域半径rgap=16像素。由图6可见,尽管粗略的圆弧标尺线检测结果与真实的标尺线位置存在一定差异,但仍然较好地体现了各圆弧标尺线的主体部分,并且足够好地区分了不同的圆弧标尺线。
如图7所示是利用本发明中所提方法步骤viii所得的实施例各圆弧标尺线的精确拟合结果,为简洁起见,以下仅以距标尺盘心最远的圆弧标尺线为例,其中半径偏移omin=0像素,omax=30像素,保留率pcir=0.4。由图7可见,双点移除式截断最小二乘圆拟合的结果很好地反映了真实的圆弧标尺线的位置。
如图8所示是利用本发明中所提方法步骤(ix.1)所得的实施例待投影点集。
如图9和图10所示分别是利用本发明中所提方法步骤(ix.2)~(ix.3)所得的实施例投影点累加器序列和利用本发明中所提方法步骤(ix.4)所得的实施例投影点累加器序列滤波结果。为清晰起见,图9和图10中都仅截取了原图的相同局部。其中Δa=0.5,κ=3,刻度线宽度wtick=5像素,刻度线间最小角度差Δθtick=0.5°,γ=0.2。由图9可见,在进行了投影之后,尽管刻度线对应角度附近出现了较大的累加值,但累加值曲线的“毛刺”较多,且存在较多相同的累加值,不利于检测局部极大点;而由图10可见,在进行了低通滤波之后,此时的累加值更为光滑,且局部极大定义良好,有利于对其进行检测。
如图11所示是利用本发明中所提方法步骤ix所得的实施例候选刻度基点。由图11可见,除了真实的刻度基点之外,还在最外侧存在少量由非标尺线区域造成的虚假刻度基点。
如图12所示是利用本发明中所提方法步骤x所得的实施例刻度基点检测结果,其中rflaw=3像素。由图12可见,利用共域性判据,图11中的少量虚假刻度基点均被排除。
由于第2幅图像的处理过程与上述相同,因此为简洁起见,针对本实施例,省略了第2幅图像的处理及其结果。
由实施例可见,本发明所提的指针式仪表圆弧标尺上刻度的自动检测方法,其原理合理可行,参数意义明确,检测精度良好,检测过程可靠,可用于上述特定仪表的自动校准及自动读数应用之中。
Claims (6)
1.一种基于图像的、针对具有圆弧标尺线的指针式仪表自动校准或自动读数的刻度检测方法;所述的指针式仪表,其表头上具有一条或多条同心的圆弧标尺线,每条圆弧标尺线上以均匀或不均匀间距分布着短直线段刻度,这些刻度与圆弧标尺线正交,且一端落在圆弧标尺线上;称所述的圆弧标尺线的圆心为标尺盘心;称所述的刻度与圆弧标尺线的交点为刻度基点;所述方法包括以下步骤:
i.确定一个放置待检测刻度的指针式仪表的固定平面;安装一台数码照相机,使其成像光轴垂直朝向于仪表表头平面;调整数码照相机的位置和焦距,使得数码照相机恰好聚焦于仪表表头平面,并使得圆弧标尺线、刻度以及标尺盘心所在的范围能够占据图像中按长宽尺寸计算的90%的部分;利用现有标准的照相机标定方法对数码照相机进行标定,确定如上构成的视觉系统的径向畸变因子κ和比例因子s,κ无量纲,s的单位为像素/mm;s描述了被拍摄对象的实际物理尺寸和它在图像中的尺寸之间的比例关系,被拍摄对象的实际物理尺寸的单位为mm,被拍摄对象在图像中的尺寸的单位为像素;在下述的整个检测过程中,如上构成的视觉系统不得再进行调整;
ii.将待检测刻度的指针式仪表放置在上述平面上,接入适用于该表的激励信号源,调整输入大小为满量程的20%;利用数码照相机拍摄得到仪表表头的灰度图像,并根据径向畸变因子κ,利用现有标准的径向畸变矫正方法对其进行图像矫正后得到灰度图像IA;
iii.利用固定阈值对IA进行二值化,得到二值图像B,其中,包含刻度和圆弧标尺线的前景区域中的点为特征点;当对同一型号的多个仪表进行检测且环境光照条件稳定时,可通过实验方式获得合适的阈值,并用于这一整批待检测仪表;
iv.根据用户给定的刻度及圆弧标尺线最大宽度wline_max计算提取刻度与圆弧标尺线的结构元素半径rdetect_line:
rdetect_line=wline_max×s,单位:像素
wline_max在[0.1,1.0]区间上取值,单位为mm;利用半径为rdetect_line的圆盘形结构元素对B进行数学形态学开运算,得到二值图像Bnon_line;利用Bnon_line和B进行二值图像的异或操作,得到刻度与圆弧标尺线候选区域二值图像Bline;
v.利用现有标准的区域骨架化方法提取Bline的区域骨架K;
vi.对K利用骨架分段法向投影方法确定包含标尺盘心的候选图像区域,并得到候选标尺盘心点集其中,表示候选标尺盘心的x坐标,表示候选标尺盘心的y坐标,Nc,cand表示候选标尺盘心的数量;
vii.根据骨架K和候选标尺盘心点集Ccand,利用霍夫变换圆检测算法确定标尺盘心粗略位置(xc,coarse,yc,coarse)及各条圆弧标尺线的粗略半径其中,xc,coarse为标尺盘心的粗略x坐标,yc,coarse为标尺盘心的粗略y坐标,Nline为圆弧标尺线的数量,Nline由用户给定;
viii.对每条圆弧标尺线j,根据(xc,coarse,yc,coarse)和确定出K中的圆弧标尺线候选点,然后利用双点移除截断最小二乘圆拟合方法确定各条圆弧标尺线的圆参数其中,为第j条圆弧标尺线圆心的x坐标,为第j条圆弧标尺线圆心的y坐标,为第j条圆弧标尺线圆心的半径;
ix.根据viii中获得的每条圆弧标尺线j的圆参数在Bline中确定该条圆弧标尺线候选点,并利用径向投影法确定该条圆弧标尺线上各候选刻度的朝向角其中,为第j条圆弧标尺线上的候选刻度数量,进而确定该条圆弧标尺线上的各候选刻度的刻度基点其中,为候选刻度的刻度基点的x坐标,为候选刻度的刻度基点的y坐标;
x.利用共域性对每条圆弧标尺线j上的候选刻度的刻度基点进行筛选,获得每条圆弧标尺线j上检测得到的刻度基点其中,为检测得到的刻度基点的x坐标,为检测得到的刻度基点的y坐标,为检测得到的刻度数量;
xi.调整激励信号源输入大小至满量程的80%;拍摄并矫正得到仪表盘面的灰度图像IB;重复步骤iv~x,得到另一组刻度基点其中,为根据IB检测得到的刻度基点的x坐标,为根据IB检测得到的刻度基点的y坐标,为根据IB检测得到的刻度数量;
xii.对每条圆弧标尺线j,将上述所得的两组刻度基点合并为一个刻度基点集合,并按各个刻度基点至该条圆弧标尺线圆心连线的朝向角由小到大对刻度基点进行排序;依次考察排序后位置相邻的刻度基点对之间的距离,如果某两个相邻刻度基点之间的距离不大于一个给定的阈值εrepeat,则以这两个刻度基点连线的中点坐标代替它们作为相应刻度的刻度基点,εrepeat设为0.1×s;以由此得到的刻度基点集以及它们各自所对应的量值υj,k作为刻度检测的结果,其中,为最终确定的刻度基点的x坐标,为最终确定的刻度基点的y坐标,Nj为最终确定的刻度数量。
2.根据权利要求1所述的一种基于图像的、针对具有圆弧标尺线的指针式仪表自动校准或自动读数的刻度检测方法,其特征在于,第vi步中利用骨架分段法向投影方法确定包含标尺盘心的候选图像区域,并得到候选标尺盘心点集包含如下步骤:
a.遍历K中所有的像素点,确定K中每个特征点的8-邻域中其他特征点的数量,以下称该特征点的8-邻域中的这些其他特征点为该特征点的8-邻点;
b.将K中所有8-邻点数量大于2的特征点去除,得到简化骨架Kdismem;
c.遍历Kdismem并确定其中每个特征点的8-邻点数量;
d.依次考察Kdismem中的每个特征点,当找到一个8-邻点数量为1的特征点时,便由该点开始依次搜索并记录包括该点在内的、与该点为8-连通的特征点的坐标,形成当前骨架线条特征点坐标序列,并将这些特征点由Kdismem中去除;
e.由步骤d获得的当前骨架线条特征点坐标序列,从序列起点开始,将序列分为首尾相连的若干片段,每个片段包括lseg个特征点;记录下每个片段的起点和终点坐标;如果序列最后仅包含不足lseg个特征点,则将这部分特征点舍弃;lseg的取值为ξsegs,ξseg在[0.05,0.2]区间上取值;
f.重复步骤d、e直至Kdismem中所有特征点都被考察完毕;
g.再次依次考察Kdismem中的每个特征点,当找到一个8-邻点数量为2的特征点时,便由该点开始依次搜索并记录包括该点在内的、与该点为8-连通的特征点的坐标,形成当前骨架线条特征点坐标序列,并将这些点由Kdismem中去除;
h.由步骤g获得的当前骨架线条特征点坐标序列,从序列起点开始,将序列分为首尾相连的若干片段,每个片段包括lseg个特征点;记录下每个片段的起点和终点坐标;如果序列最后仅包含不足lseg个特征点,则将这部分特征点舍弃;
i.重复步骤g、h直至Kdismem中所有特征点都被考察完毕;
j.将IA的整个图像区域划分成边长为b个像素的正方形构成的网格,b的取值为s~5s;为每一个正方形网格Guv={(x,y)|(u-1)b+1≤x≤ub,(v-1)b+1≤y≤vb}分配一个初始值为0的累加器Auv,其中W和H分别表示图像的宽度和高度,表示向上取整;
k.对步骤e和h中所得的每个片段的起点和终点确定这两点连线的中垂线L;对每个正方形网格Guv,判断它是否与直线L相交;如果L与Guv相交,则累加器Auv的值加1;
l.当所有片段均按步骤k处理完成后,确定所有网格中的局部极大点;其中,称网格Guv为局部极大点,如果该网格的累加器Auv的值大于该网格的8-邻域中所有网格的累加器Au+1,v、Au+1,v-1、Au,v-1、Au-1,v-1、Au-1,v、Au-1,v+1、Au,v+1以及Au+1,v+1的值;
m.取对应累加器值最大的Np个局部极大点以这些局部极大点对应网格中所包含的像素点位置作为候选标尺盘心点集Np的取值为3~10。
3.根据权利要求1所述的一种基于图像的、针对具有圆弧标尺线的指针式仪表自动校准或自动读数的刻度检测方法,其特征在于,第vii步中利用霍夫变换圆检测算法确定标尺盘心粗略位置及各条圆弧标尺线粗略半径包含如下步骤:
a.根据候选标尺盘心点集和用户给定的圆弧标尺线的最大半径rmax和最小半径rmin,初始化一个圆霍夫变换的累加器矩阵其中,Nr=rmax-rmin+1,并将各累加器值初始化为0;rmax和rmin分别设为和 表示向下取整,ξmaxr在[60,100]区间上取值,ξminr在[30,50]区间上取值;
b.对K中每个特征点(x,y),计算它与每个候选标尺盘心之间的圆整欧氏距离其中,1≤u≤Nc,cand,round()表示四舍五入取整;对每个ru,如果它满足rmin≤ru≤rmax,则令v=ru-rmin+1,并将累加器的值加1;
c.当对K中所有特征点均进行了步骤b中的操作之后,找出具有最大累加值的累加器以该累加器对应的候选标尺盘心作为像素级的标尺盘心粗略位置(xc,coarse,yc,coarse);
d.将累加器矩阵Acir中所在的行抽取出来,然后确定该行中邻域半径为rgap的局部极大点;其中,称(u*,vp)是一个邻域半径为rgap的局部极大点,如果对于满足vp-rgap≤v≤vp+rgap且v≠vp的所有v,有累加器的值大于累加器的值;rgap的值为
e.从步骤d所获得的局部极大点中,选取对应累加器值最大的Nline个局部极大点其中,1≤j≤Nline,并求取各条圆弧标尺线的粗略半径
4.根据权利要求1所述的一种基于图像的、针对具有圆弧标尺线的指针式仪表自动校准或自动读数的刻度检测方法,其特征在于,第viii步中的利用双点移除截断最小二乘圆拟合方法确定各条圆弧标尺线圆参数包含如下步骤:
a.按用户给定的圆弧标尺线距离标尺盘心远近的排列顺序,对圆弧标尺线的粗略半径相应进行由大到小或由小到大的排序,排序后的粗略半径记为
b.按上述用户给定的圆弧标尺线距离标尺盘心远近的排列顺序,为每条圆弧标尺线j确定一个该圆弧标尺线及其上刻度线所在的半径偏移范围远离标尺盘心方向的半径偏移值符号定义为正;和的取值范围为ξoffsets,其中ξoffset在[0.5,5]区间上取值;在K中确定所有的特征点(x,y),它们满足以上所述的特征点构成了待拟合点集Fj;
c.利用双点移除式截断最小二乘圆拟合方法,根据用户给定的保留率pcir和待拟合点集Fj,获得圆弧标尺线j的拟合圆的圆参数作为圆弧标尺线的圆参数;pcir在[0.25,0.5]区间上取值。
5.根据权利要求1所述的一种基于图像的、针对具有圆弧标尺线的指针式仪表自动校准或自动读数的刻度检测方法,其特征在于,第ix步中利用径向投影法确定该条圆弧标尺线上各候选刻度的朝向角,进而确定该条圆弧标尺线上的各候选刻度的刻度基点包含如下步骤:
a.对每条圆弧标尺线j,根据半径偏移范围在Bline中确定所有的特征点(x,y),它们满足其中,1≤j≤Nline;以上所述的特征点构成了待投影点集Pj;
b.以为离散化间隔,由-π开始,将[-π,π)的刻度线朝向角区间离散化为并为每个离散化朝向角分配一个初始值为0的投影点累加器△a的值为0.5或1;
c.对Pj中的每个点(x,y),计算出该点与当前圆弧标尺线的圆心之间连线的朝向角θ;其中当时,当且时,而当且时,然后将投影点累加器的值加1,其中
d.当Pj中的所有点均按步骤c完成投影处理后,利用2阶巴特沃斯低通滤波器或高斯滤波器对投影点累加器的值的序列进行滤波,得到滤波后序列滤波器的截止频设为σ的值为3;wtick为刻度线宽度,值为ξticks,其中ξtick在[0.1,0.3]区间上取值;
e.确定滤波后序列中邻域半径为dticks的局部极大点;其中dtick为当前圆弧标尺线上刻度间的最小距离,在[0.5,1]区间上取值;
f.确定滤波后序列中的最大值然后找出步骤e中获得的局部极大点中的显著极大点,即对应滤波后的投影点累加值不小于γv的那些局部极大点,这些显著极大点记为其中,为显著极大点的数量,即所确定的候选刻度的数量;γ在[0.2,0.4]区间上取值;
g.确定候选刻度的朝向角为
h.确定候选刻度的刻度基点为其中
6.根据权利要求1所述的一种基于图像的、针对具有圆弧标尺线的指针式仪表自动校准或自动读数的刻度检测方法,其特征在于,第x步中利用共域性对每条圆弧标尺线上的候选刻度的刻度基点进行筛选,获得每条圆弧标尺线上检测得到的刻度基点包含如下步骤:
a.利用一个半径为rflaws的圆盘形结构元素对Bline进行数学形态学的闭运算,得到处理后的二值图像Bline,closed;rflaw为标尺线区域中可能造成分割后标尺线区域断裂的瑕疵的尺寸,在[0.05,0.1]区间上取值;
b.利用现有标准的连通域标记方法对Bline,closed进行连通域标记,为其中每个连通区域赋予一个取值为1~Nreg的特有的整数标号,其中Nreg为Bline,closed中的连通区域的数量;
c.对每条圆弧标尺线j,初始化一个区域内刻度基点数量累加器序列初始值均为0;其中,1≤j≤Nline;
d.对当前圆弧标尺线上的每个候选刻度的刻度基点找到Bline,closed中与之距离最近的特征点,并确定该特征点所属连通区域的标号kt;将对应的区域内刻度基点数量累加器的值加1;
e.待当前圆弧标尺线上的所有候选刻度的刻度基点均按步骤d处理完毕后,找到区域内刻度基点数量累加器的值最大者所对应的区域标号k*;
f.对当前圆弧标尺线上的每个候选刻度的刻度基点找到Bline,closed中与之距离最近的特征点,并确定该特征点所属连通区域的标号kt;如果kt=k*,则保留该候选刻度的刻度基点,否则便将其筛除;
g.待当前圆弧标尺线上的所有候选刻度的刻度基点均按步骤f处理完毕后,则保留下来的候选刻度的刻度基点即为在圆弧标尺线j上检测得到的刻度基点
h.对所有圆弧标尺线均按步骤c~g进行处理,便得到了最终检测得到的所有刻度基点
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410244156.4A CN103994786B (zh) | 2014-06-04 | 2014-06-04 | 圆弧标尺线指针式仪表刻度的图像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410244156.4A CN103994786B (zh) | 2014-06-04 | 2014-06-04 | 圆弧标尺线指针式仪表刻度的图像检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103994786A CN103994786A (zh) | 2014-08-20 |
CN103994786B true CN103994786B (zh) | 2017-03-22 |
Family
ID=51309017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410244156.4A Expired - Fee Related CN103994786B (zh) | 2014-06-04 | 2014-06-04 | 圆弧标尺线指针式仪表刻度的图像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103994786B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104657711B (zh) * | 2015-02-09 | 2018-11-09 | 中国石油大学(华东) | 一种鲁棒的指针式仪表读数自动识别方法 |
CN104680539B (zh) * | 2015-03-12 | 2018-11-09 | 华东理工大学 | 一种基于色彩相似性的数字图像过分割边缘移除方法 |
CN105021220B (zh) * | 2015-08-03 | 2017-03-08 | 广州供电局有限公司 | 指针式仪表的检定方法、系统及其装置 |
CN106017705B (zh) * | 2016-05-11 | 2018-11-27 | 红旗仪表(长兴)有限公司 | 一种指针式温度计表盘的标示设备及表盘的生成方法 |
CN107240109B (zh) * | 2017-05-11 | 2020-03-17 | 安徽慧视金瞳科技有限公司 | 一种仪表刻度线位置自动检测方法 |
CN108460327B (zh) * | 2018-01-12 | 2021-09-28 | 河南大学 | 一种基于图像处理的指针式仪表读数自动识别方法 |
CN108960226B (zh) * | 2018-07-12 | 2021-12-17 | 南方电网电力科技股份有限公司 | 一种指针仪类表示值读数方法及装置 |
JP7273567B2 (ja) * | 2019-03-19 | 2023-05-15 | 株式会社Third | 計器読取システム |
CN112344980A (zh) * | 2019-08-09 | 2021-02-09 | 浙江中控技术股份有限公司 | 一种指针式仪表全自动检定系统及方法 |
CN110852333B (zh) * | 2019-11-13 | 2021-07-23 | 南方电网电力科技股份有限公司 | 一种指针式仪表自动读数方法及装置 |
CN111191646B (zh) * | 2019-12-23 | 2023-04-18 | 福建亿榕信息技术有限公司 | 一种指针式仪表的智能识别方法 |
CN113534095B (zh) * | 2021-06-18 | 2024-05-07 | 北京电子工程总体研究所 | 一种激光雷达地图构建方法和机器人自主导航方法 |
CN114339179B (zh) * | 2021-12-23 | 2024-05-28 | 深圳市火乐科技发展有限公司 | 投影校正方法、装置、存储介质以及投影设备 |
CN115409885B (zh) * | 2022-11-02 | 2023-04-28 | 北京科技大学 | 一种适于钢管轮廓测量的椭圆拟合方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002288777A (ja) * | 2001-03-23 | 2002-10-04 | Mitsubishi Electric Corp | 自動検針装置および自動検針方法 |
JP2003065812A (ja) * | 2001-08-21 | 2003-03-05 | National Aerospace Laboratory Of Japan | 計器表示の画像情報に基く数値データ化システム |
CN100559131C (zh) * | 2008-07-22 | 2009-11-11 | 中国计量学院 | 一种指针式仪表自动检定方法 |
CN103364023B (zh) * | 2013-06-21 | 2015-11-18 | 广东电网公司电力科学研究院 | 一种基于总体最小二乘的仪表图像中心点提取方法 |
CN103528617B (zh) * | 2013-09-27 | 2016-08-10 | 中国人民解放军空军工程大学 | 一种座舱仪表自动识别和检测方法及装置 |
CN103759758B (zh) * | 2014-01-26 | 2016-02-17 | 哈尔滨工业大学 | 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法 |
CN103776482B (zh) * | 2014-02-20 | 2016-09-07 | 湖南大学 | 无标尺线指针式仪表刻度的图像检测方法 |
-
2014
- 2014-06-04 CN CN201410244156.4A patent/CN103994786B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103994786A (zh) | 2014-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103994786B (zh) | 圆弧标尺线指针式仪表刻度的图像检测方法 | |
CN110659636B (zh) | 基于深度学习的指针式仪表读数识别方法 | |
US12094152B2 (en) | Method for fully automatically detecting chessboard corner points | |
CN102176228B (zh) | 一种用于识别多个指针式仪表表盘信息的机器视觉方法 | |
CN110580480B (zh) | 基于图像处理的表计读数识别方法 | |
CN111160337B (zh) | 一种指针式仪表读数的自动识别方法、系统、介质及设备 | |
CN107239742B (zh) | 一种仪表指针刻度值计算方法 | |
CN107220645B (zh) | 基于动态图像处理的水表识别方法 | |
CN103207987B (zh) | 一种指针式仪表的示数识别方法 | |
CN103164692B (zh) | 一种基于计算机视觉的特种车辆仪表自动识别系统及方法 | |
CN108955901B (zh) | 一种红外测温方法、系统及终端设备 | |
CN110852954B (zh) | 指针式仪表的图像倾斜校正方法及系统 | |
CN112215060B (zh) | 一种基于霍夫变换的高精度机械式仪表示数识别方法 | |
CN112149667A (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
US10679094B2 (en) | Automatic ruler detection | |
CN111507186B (zh) | 一种变电站指针式仪表读数识别方法 | |
CN111222507B (zh) | 数字式仪表读数的自动识别方法、计算机可读存储介质 | |
CN114663744A (zh) | 基于机器学习的仪表自动识别方法及系统 | |
CN110633620A (zh) | 指针式仪表刻度识别方法及电子设备 | |
CN112836726A (zh) | 一种基于视频信息的指针类仪表示数读取方法及装置 | |
CN112560839A (zh) | 指针式仪表读数的自动识别方法及系统 | |
CN115452845B (zh) | 一种基于机器视觉的led屏幕表面损伤检测方法 | |
CN112036391A (zh) | 一种基于页岩气田生产站场的电子巡检方法及系统 | |
CN114677365B (zh) | 一种高精度的树木年轮分析方法及系统 | |
CN111695551B (zh) | 表盘的读数方法、装置、计算机设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170322 |