CN108121985A - 一种基于机器视觉的双指针仪表读数方法 - Google Patents

一种基于机器视觉的双指针仪表读数方法 Download PDF

Info

Publication number
CN108121985A
CN108121985A CN201711168147.1A CN201711168147A CN108121985A CN 108121985 A CN108121985 A CN 108121985A CN 201711168147 A CN201711168147 A CN 201711168147A CN 108121985 A CN108121985 A CN 108121985A
Authority
CN
China
Prior art keywords
pointer
threshold
reading
area
dial plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711168147.1A
Other languages
English (en)
Inventor
申心兰
马路
程雷鸣
冯维纲
熊少华
冯维颖
程沛沛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Original Assignee
Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongyuan Huadian Science & Technology Co Ltd filed Critical Wuhan Zhongyuan Huadian Science & Technology Co Ltd
Priority to CN201711168147.1A priority Critical patent/CN108121985A/zh
Publication of CN108121985A publication Critical patent/CN108121985A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于机器视觉的双指针仪表读数方法,包括以下步骤:采集模板图并建模,对待识别仪表图进行特征检测,利用特征匹配获取待识别仪表图中目标区域定位;从目标区域中截取出表盘区域图;对表盘区域图预处理,查找读数指针区域,去除阴影;利用读数指针区域查找读数指针直线;根据建模时保存的指针颜色特征获取阈值指针图像;对阈值指针图像预处理,查找阈值指针区域,去除阴影;利用阈值指针区域查找阈值指针直线;利用投影法完成两根指针方向判断;利用角度法完成两根指针读数。该方法在表盘旋转、光照变化情况能够准确定位目标区域,能够适应图像中指针断裂、指针和文字粘黏情况,并且能够不受指针阴影干扰,具有较高准确率和稳定性。

Description

一种基于机器视觉的双指针仪表读数方法
技术领域
本发明属于计算机图像处理技术领域,涉及一种基于机器视觉的双指针仪表读数方法。
背景技术
在电力系统、工业测量系统等领域中,一些设备都配置了双指针仪表,用来表征设备的状态。双指针仪表是指有两根指针的仪表,其中一根指针作为读数指针,用于对仪表的当前值进行读数,另一根指针作为阈值指针,用以警告仪表的安全值上限或者下限。当读数指针超过阈值指针时,说明当前设备状态异常,需要工作人员做出相应的处理。
目前,双指针仪表的读数方法主要是人工读数方法,效率低,且长期读数会出现视觉疲劳,导致准确度降低。
发明内容
针对人工读数方法的不足,本发明提出一种基于机器视觉的双指针仪表读数方法。本发明在表盘有旋转、光照有变化的情况能够准确定位表盘区域,能够适应图像中指针断裂、指针和文字粘黏的情况,并且能够不受指针阴影的干扰,具有较高的准确率和稳定性。
本发明采用以下技术方案:
一种基于机器视觉的双指针仪表读数方法,其特征在于,包括以下步骤:
步骤1:采集模板图,拍摄双指针仪表正视图作为模板图,对模板图进行建模,选取目标区域、排除区域、刻度点、指针回转中心点、读数指针、阈值指针,对目标区域进行特征检测,保存建模信息和特征信息;
步骤2:对待识别仪表图像进行特征检测,利用特征匹配技术完成待识别仪表图像和模板图之间的特征点匹配,获取待识别仪表图中目标区域的定位,并且将待识别的目标区域校准为模板图视角;
步骤3:利用建模信息获取目标区域与表盘区域的相对位置关系,从待识别的目标区域中截取出表盘区域图;
步骤4:对步骤3获取的待识别表盘区域图进行预处理,采用基于指针特征的查找方法在预处理后表盘区域图中查找并获取读数指针区域,并且对读数指针区域进行阴影去除;
步骤5:对步骤4获取的读数指针区域采用形态学方法获取读数指针的单像素边界,利用自适应直线检测方法获取读数指针边界线,进行直线筛选和合并,求角平分线得到读数指针直线;
步骤6:根据建模时保存的特征信息中的指针颜色特征,对步骤3获取的待识别表盘区域图进行颜色分析,获取阈值指针图像;
步骤7:对步骤6获取的阈值指针图像进行预处理,采用基于指针特征的查找方法获取阈值指针区域,并且对阈值指针区域进行阴影去除;
步骤8:对步骤7获取的阈值指针区域采用形态学方法获取阈值指针的单像素边界,利用自适应直线检测方法获取阈值指针边界线,进行直线筛选和合并,求角平分线得到阈值指针直线;
步骤9:对步骤4获取的读数指针区域和步骤7获取的阈值指针区域利用投影法完成读数指针和阈值指针的方向判断;
步骤10:对步骤5获取的读数指针直线和步骤8获取的阈值指针直线利用角度法完成读数指针和阈值指针的读数。
所述步骤1中建模过程选取目标区域、排除区域、刻度点、指针回转中心点、读数指针直线、阈值指针直线。选取的目标区域是选取一个能够包含表盘外轮廓矩形区域;排除区域是选取一个包含指针轮廓点的多边形;刻度点是指表盘刻度线上的点,必须包含量程的起点和终点;指针回转中心是指针刻度线交汇处;读数指针直线是指位于读数指针区域内的两点形成的直线,主要记录读数指针颜色信息;阈值指针直线是指位于阈值指针区域内的两点形成的直线,主要记录阈值指针颜色信息。
所述步骤1和步骤2中所述的特征检测采用是SURF特征检测(SpeededUp RobustFeatures加速稳健特征)。计算SURF特征检测的具体过程包括:构造Hessian矩阵;构造高斯金字塔尺度空间;定位特征点;确定特征点主方向;构造特征点描述子。
所述步骤3中利用建模信息从待识别的目标区域中截取出表盘区域图的具体过程如下:
步骤3-1:根据建模时选取指针回转中心和刻度点,计算出刻度点与回转中心的最大距离;
步骤3-2:以指针回转中心作为表盘圆心,以步骤3-1所得距离作为表盘半径,作圆并求此圆包围矩形,此矩形区域即为模板图的表盘区域;
步骤3-3:根据建模时选取的目标区域位置和步骤3-2获取的表盘区域位置,计算出模板图中目标区域和表盘区域的相对位置关系;
步骤3-4:根据步骤3-3获取的相对位置关系,从待识别的目标区域中截取出表盘区域图。
所述步骤4中对步骤3获取的待识别表盘区域图进行预处理主要包括:
步骤4-1-1:对表盘区域图进行灰度化,获取表盘区域灰度图;
步骤4-1-2:对表盘区域灰度图进行图像增强;
步骤4-1-3:对增强后的表盘区域灰度图像进行自适应局部统计阈值分割,获取表盘区域二值图;
所述步骤4中所述的指针特征包括以下两个特征:(1)指针的长度特征,指针的长度一般是大于表盘半径,小于表盘直径;(2)指针与回转中心的距离特征,回转中心一般在指针区域内,即指针区域内的点与回转中心的距离的最小值一般接近于0。利用基于指针特征的查找方法寻找读数指针区域,具体步骤包括:
步骤4-2-1:对表盘区域二值图进行轮廓查找,保存找到的轮廓序列;
步骤4-2-2:对找到的轮廓序列,按照面积由大到小进行排序;
步骤4-2-3:取第一个轮廓点集,求轮廓点集与回转中心点的距离的最小值,如果最小距离值在给定的距离阈值范围内,则该轮廓点集被保留。否则,继续取出下一个轮廓点集,重复步骤4-2-3;
步骤4-2-4:对距离符合要求的轮廓点集求最小面积包围矩形,如果,最小面积包围矩形的长度在给定的读数指针长度阈值范围内,说明该轮廓点集为读数指针区域。否则,继续取出下一个轮廓点集,重复步骤4-2-3、步骤4-2-4,直到找到读数指针区域。
所述步骤4中对读数指针区域图进行阴影去除,具体步骤包括:
步骤4-3-1:利用找到的读数指针区域,从表盘区域灰度图中抠出这部分读数指针区域灰度图;
步骤4-3-2:利用指数图像增强技术,增强读数指针区域灰度图的对比度;
步骤4-3-3:重新阈值分割,完成读数指针区域的阴影去除。
所述步骤5中自适应直线检测方法获取读数指针边界线是指根据步骤3-2计算出的表盘半径,自适应的设置霍夫变换检测直线的三个参数,累加器阈值、最小长度阈值和最大间距阈值。
所述步骤5直线筛选和合并具体如下:
(1)直线筛选的依据是指针边界直线和指针回转中心点的距离必须小于直线筛选距离阈值;
(2)直线合并的依据是两直线的夹角小于直线合并角度阈值且两直线的距离小于直线合并距离阈值。
所述的直线筛选距离阈值取表盘半径的0.3倍,直线合并角度阈值取筛选后所有直线最大夹角的0.5倍,直线合并距离阈值取指针区域包围矩形宽度的0.5倍。
所述步骤6中根据建模时保存的指针颜色特征获取阈值指针图像的具体步骤包括:
步骤6-1:根据建模时保存的阈值指针和读数指针的颜色信息,进行第一轮投票,统计出阈值指针的最大颜色分量、阈值指针最小颜色分量和读数指针最大颜色分量;
步骤6-2:根据阈值指针的最大颜色分量和读数指针的最大颜色分量是否一致进行第二次投票:
阈值指针的最大颜色分量和读数指针的最大颜色分量不一致,直接用阈值指针的最大颜色分量减去阈值指针的最小颜色分量,作为第二轮投票结果;
(2)阈值指针的最大颜色分量和读数指针的最大颜色分量一致,通过比较最大颜色分量与其他两个颜色分量的差值之间的比值,选取比值较大者作为第二轮的投票准则,假设R是最大分量,首先在当前投票点求出阈值指针R分量与G分量的差值thRMinusG、R分量与B分量的差值thRMinusB;其次求出读数指针R分量与G分量的差值readRMinusG、R分量与B分量的差值readRMinusB;然后比较thRMinusG/readRMinusG和thRMinusB/readRMinusB的大小,若thRMinusG/readRMinusG大于thRMinusB/readRMinusB,则当前点将一票投给R分量减去G分量,否则将一票投给R分量减去B分量,对每个投票点都进行此种投票操作,统计最后的投票数目,如果投票数最多的是R分量减去G分量,就将R分量减去G分量作为第二轮的投票结果,如果投票数最多的是R分量减去B分量,就将R分量减去B分量作为第二轮的投票结果;
步骤6-3:将步骤3获取的表盘区域图进行R、G、B三通道分离,然后根据步骤6-2的投票结果取相应的两个通道相减作为阈值指针区域图。
所述步骤7对获取的阈值指针图像进行预处理步骤包括:
步骤7-1:对阈值指针图像图像增强;
步骤7-2:对增强后的图像进行局部统计阈值分割;
所述步骤7中基于指针特征的查找方法获取阈值指针,类似于步骤4中基于指针特征的查找方法获取读数指针,对阈值指针区域进行阴影去除,类似于步骤4中对读数指针进行阴影去除,在此不再赘述。
所述步骤8中获取阈值指针直线的方法与步骤5中获取读数指针直线的方法相同,在此不再赘述。
所述步骤9中利用投影法完成读数指针和阈值指针的方向判断,具体包括:利用指针前端和后端的粗细程度不同,将去除阴影之后的指针区域的中心线旋转成水平状态,然后对指针区域进行竖直方向投影完成指针的方向判断。
所述步骤10中利用角度法完成读数指针和阈值指针的读数,具体包括:首先,根据建模时的刻度点信息和读数信息,计算每一个刻度点与指针回转中心连线与x轴正方向的夹角,建立角度与读数之间的关系式;然后,在找到待测指针直线并确定了指针方向之后,求出待测指针直线与x轴正方向的夹角,然后带入角度与读数关系式,就能完成对指针的读数。
附图说明
图1是本发明的流程图。
具体实施方式
本发明提出的一种基于机器视觉的双指针仪表读数方法,下面结合附图和具体实施方式对本发明进行进一步的说明。本发明的特征检测技术和特征匹配技术均为已知技术。
本发明提出的一种基于机器视觉的双指针仪表读数方法,流程图如图1所示,包括以下步骤:
步骤1:采集模板图,拍摄仪表的正视图作为模板图,对模板图进行建模,选取目标区域、排除区域、刻度点、指针回转中心点、读数指针、阈值指针,对目标区域进行特征检测,保存建模信息和特征信息。
选取的目标区域是选取一个能够包含表盘外轮廓矩形区域;排除区域是选取一个包含指针轮廓点的多边形;刻度点是指表盘刻度线上的点,必须包含量程的起点和终点;指针回转中心点是指针刻度线交汇处;读数指针直线是指位于读数指针区域内的两点形成的直线,主要记录读数指针颜色信息;阈值指针直线是指位于阈值指针区域内的两点形成的直线,主要记录阈值指针颜色信息。
步骤2:对待识别仪表图像进行特征检测,利用特征匹配技术完成待识别仪表图像和模板图之间的特征点匹配,获取待识别仪表图中目标区域的定位,并且将待识别目标区域校准为模板图视角。
步骤1和步骤2中涉及的特征检测技术使用的都是SURF特征检测,具体步骤如下:
a)构造Hessian矩阵
给定图像I中某点(x,y),在该点(x,y)处,尺度因子为σ的Hessian矩阵定义为:
其中,Lxx(x,y,σ)是高斯二阶微分在点(x,y)处与图像I的卷积,Lxy(x,y,σ)是高斯二阶微分在点(x,y)处与图像I的卷积,Lyy(x,y,σ)是高斯二阶微分在点(x,y)处与图像I的卷积。
对图像中每个像素点求H(x,y,σ)的行列式近似值即可得到输入图的一种尺度表示,改变高斯核的尺寸就可得到输入图的不同尺度表示。
b)构造高斯金字塔尺度空间
为了使图像具有尺度不变性以适应不同的图像中目标尺度的变化,我们需要构建尺度空间进行SURF特征点的提取。为了获取图像在不同尺度下通过Hessian矩阵判别式得到极值点,用类似SIFT的方法构建尺度图像金字塔,将尺度空间分为若干阶,每一阶存储不同尺寸的方框滤波对输入图像进行滤波后得到的模糊程度不同的图片。
c)定位特征点
首先,将经过hessian矩阵处理过的每个像素点与其3维领域的26个点进行比较,如果它是这26个点中的最大值或最小值,则保留下来作为初步的特征点。然后,采用3维线性插值法得到亚像素级的特征点,同时去掉那些值小于一定阈值的点,增加极值使检测到的特征点数量减少,最终只有几个特征最强点被检测出来。
d)确定特征点主方向
为了保证旋转不变性,在surf算法中,统计特征点领域内的Harr小波特征。即以特征点为中心,计算半径为6S(S为特征点所在空间的尺度值)的邻域内,统计60度扇形内所有点在x和y方向的Haar小波响应总和,并给这些响应值赋高斯权重系数,使得靠近特征点的响应贡献大,而远离特征点的响应贡献小,然后60度范围内的响应相加以形成新的矢量,遍历整个圆形区域,选择最长矢量的方向为该特征点的主方向。
e)构造特征点描述子
在特征点周围取一个正方形框,框的边长为20S(S为特征点所在空间的尺度值)。然后把该框分为16个子区域,每个子区域统计25个像素的水平方向和垂直方向的haar小波特征,这里的水平和垂直方向都是相对主方向而言。该haar小波特征为水平方向值之和,水平方向绝对值之和,垂直方向之和,垂直方向绝对值之和。这样每个小区域就有4个值,所以每个特征点就是16*4=64维的向量,相比SIFT而言,少了一半,这在特征匹配过程中会大大加快匹配速度。
检测出待测仪表图的SURF特征之后,利用特征匹配技术完成待测仪表图像和模板图之间的SURF特征点匹配,计算出两幅图像之间的透视变换矩阵,完成待识别仪表图中目标区域的定位,并且将待识别的目标区域校准为模板图视角。具体步骤如下:
a)通过Hessian矩阵的迹来进行初始判断,加快匹配的速度。根据光照亮度的不同,可以将特征点分为两种,第一种为特征点及其周围小邻域的亮度比背景区域要亮;第二种为特征点及其周围小邻域的亮度比背景区域要暗。对于第一种特征点,计算得到的Hessian矩阵的迹为正,而对于第二种特征点计算得到的Hessian矩阵为负。根据这个特性,对两个特征点的Hessian的迹进行比较。如果同号,说明两个特征点具有相同的对比度;如果是异号的话,说明两个特征点的对比度不同,放弃特征点之间后续的相似性度量。这样可以减少匹配所用时间,而且不会影响匹配的匹配率。
b)采用欧式距离来度量两个特征向量的匹配。对于待匹配图上的特征点,计算它到参考图像上所有特征点的欧氏距离,得到一个距离集合。通过对距离集合进行比较运算得到最小欧氏距离和次最小欧式距离。设定一个阈值,当最小欧氏距离和次最小欧式距离的比值小于该阈值时,认为特征点与对应最小欧氏距离的特征点是匹配的,否则没有点与该特征点相匹配。阈值设定越小,匹配点对越少,但匹配更稳定。本发明所选用的距离比值阈值是0.8,也就是当最小欧氏距离和次最小欧式距离的比值小于0.8时,认为是合格的匹配点对。
c)利用距离筛选出的匹配点对计算出模板图到待测仪表图的透视变换矩阵H,结合矩阵H和模板图的四个图像角点obj_corners计算出待测仪表图中目标区域所在的四个角点scene_corners。求出矩阵H的逆矩阵H_inv,也就是待测仪表图到模板图之间的透视变换矩阵。利用矩阵H_inv将待测仪表图校准为模板图的状态,这样待测仪表图中表盘的状态和模板图表盘的状态是一致的,所以在待测仪表图中可以直接利用建模时得到的角度读数关系。
步骤3:利用建模信息获取目标区域与表盘区域的相对位置关系,从待识别的目标区域中截取出表盘区域图。具体过程如下:
步骤3-1:根据建模时选取指针回转中心和刻度点,计算出刻度点与回转中心的最大距离;
步骤3-2:以指针回转中心作为表盘圆心,以步骤3-1所得距离作为表盘半径,作圆并求此圆包围矩形,此矩形区域即为模板图的表盘区域;
步骤3-3:根据建模时选取的目标区域的位置和步骤3-2获取的表盘区域的位置,计算出模板图中目标区域和表盘区域的相对位置关系;
步骤3-4:根据步骤3-3获取的相对位置关系,从待识别的目标区域中截取出表盘区域图。
截取出表盘区域图用于后续处理,一方面可以减少后续识别的干扰,另一方面能够减少后续运算量。
步骤4:对步骤3获取的待识别表盘区域图进行预处理,采用基于指针特征的查找方法获取读数指针区域,并且对读数指针区域进行阴影去除。
对待识别表盘区域图进行预处理主要包括:
步骤4-1-1:对表盘区域图进行灰度化,获取表盘区域灰度图。
灰度化公式为:
Gray=0.299*R+0.587*G+0.114*B+0.5
其中Gray为灰度值,R、G、B分别为红、绿、蓝三种颜色分量。
步骤4-1-2:对表盘区域灰度图进行图像增强。
利用指数图像增强技术,增强表盘区域灰度图的对比度。指数图像增强技术具体实现如下:先统计出指针区域灰度图的最小灰度值graymin和最大灰度值graymax,然后根据下列公式计算在像素(x,y)增强后的像素灰度值E(x,y)。
其中g(x,y)是增强前像素点(x,y)处的灰度值。通过合理的选择参数r可以压缩灰度范围。本发明实施例中参数r取3。
步骤4-1-3:对增强后的表盘区域灰度图像进行自适应局部统计阈值分割,获取表盘区域二值图。
根据建模时读数指针的颜色判断是黑指针白背景还是白指针黑背景,如果是黑指针白背景,先统计计算出所有像素的灰度平均值,取平均值的0.8倍作为阈值,小于此阈值的作为指针区域;如果是白指针黑背景,先统计计算出所有像素的灰度平均值,取平均值的1.2倍作为阈值,大于此阈值的作为指针区域。
基于指针特征,主要包括以下两个特征:(1)指针的长度特征,指针的长度一般是大于表盘半径,小于表盘的直径;(2)指针与回转中心的距离特征,回转中心一般在指针区域内,即指针区域内的点与回转中心的距离的最小值一般接近于0。利用基于指针特征的查找方法寻找读数指针区域,具体步骤包括:
步骤4-2-1:对表盘区域二值图进行轮廓查找,保存找到的轮廓序列;
步骤4-2-2:对找到的轮廓序列,按照面积由大到小进行排序;
步骤4-2-3:取第一个轮廓点集,求轮廓点集与回转中心点的距离的最小值,如果最小距离值在给定的距离阈值范围内,则该轮廓点集被保留。否则,继续取出下一个轮廓点集,重复步骤4-2-3;
步骤4-2-4:对距离符合要求的轮廓点集求最小面积包围矩形,如果,最小面积包围矩形的长度在给定的读数指针长度阈值范围内,说明该轮廓点集为读数指针区域。否则,继续取出下一个轮廓点集,重复步骤4-2-3、步骤4-2-4,直到找到读数指针区域。
对读数指针区域进行阴影去除,具体步骤包括:
步骤4-3-1:利用找到的读数指针区域,从表盘区域灰度图中抠出这部分读数指针区域灰度图;
步骤4-3-2:利用指数图像增强技术,增强读数指针区域灰度图的对比度;
步骤4-3-3:重新阈值分割,完成读数指针区域的阴影去除。
步骤5:对步骤4获取的读数指针区域采用形态学方法获取读数指针的单像素边界,利用自适应直线检测方法获取读数指针边界线,进行直线筛选和合并,求角平分线得到读数指针直线。
自适应直线检测方法获取读数指针边界线是指根据步骤3-2计算出的表盘区域半径,自适应的设置霍夫变换检测直线的三个参数,累加器阈值、最小长度阈值和最大间距阈值。
步骤5直线筛选和合并具体如下:
(1)直线筛选的依据是指针边界直线和指针回转中心点的距离必须小于直线筛选距离阈值;
(2)直线合并的依据是两直线的夹角小于直线合并角度阈值且两直线的距离小于直线合并距离阈值。
所述的直线筛选距离阈值取表盘半径的0.3倍,直线合并角度阈值取筛选后所有直线最大夹角的0.5倍,直线合并距离阈值取指针区域包围矩形宽度的0.5倍。
合并之后的直线可以分为两条,分别对应指针的两条边界线,采用求角平分线的方法就可以得到指针直线。这种方法,一方面可以消除指针与表盘自带的文字粘连带来的影响,另一方面和人眼读数的方式是相似的,具有更好的准确度。
步骤6:根据建模时保存的指针颜色特征,对步骤3获取的待识别表盘区域图进行颜色分析,获取阈值指针图像。
具体步骤包括:
步骤6-1:根据建模时候选取的阈值指针和读数指针的颜色信息,进行第一轮投票,统计出阈值指针的最大颜色分量、阈值指针最小颜色分量和读数指针最大颜色分量;
步骤6-2:根据阈值指针的最大颜色分量和读数指针的最大颜色分量是否一致进行第二次投票:
(1)阈值指针的最大颜色分量和读数指针的最大颜色分量不一致,直接用阈值指针的最大颜色分量减去阈值指针的最小颜色分量,作为第二轮投票结果;
(2)阈值指针的最大颜色分量和读数指针的最大颜色分量一致,通过比较最大颜色分量与其他两个颜色分量的差值之间的比值,选取比值较大者作为第二轮的投票准则,假设R是最大分量,首先在当前投票点求出阈值指针R分量与G分量的差值thRMinusG、R分量与B分量的差值thRMinusB;其次求出读数指针R分量与G分量的差值readRMinusG、R分量与B分量的差值readRMinusB;然后比较thRMinusG/readRMinusG和thRMinusB/readRMinusB的大小,若thRMinusG/readRMinusG大于thRMinusB/readRMinusB,则当前点将一票投给R分量减去G分量,否则将一票投给R分量减去B分量,对每个投票点都进行此种投票操作,统计最后的投票数目,如果投票数最多的是R分量减去G分量,就将R分量减去G分量作为第二轮的投票结果,如果投票数最多的是R分量减去B分量,就将R分量减去B分量作为第二轮的投票结果;
步骤6-3:将步骤3获取的表盘区域图进行R、G、B三通道分离,然后根据步骤6-2的投票结果取相应的两个通道相减作为阈值指针区域图。
步骤7:对步骤6获取的阈值指针图像进行预处理,采用基于指针特征的查找方法获取阈值指针区域,并且对阈值指针区域进行阴影去除。
基于指针特征的查找方法获取阈值指针,类似于步骤4中基于指针特征的查找方法获取读数指针,对阈值指针区域进行阴影去除,类似于步骤4中对读数指针进行阴影去除,在此不再赘述。
步骤8:对步骤7获取的阈值指针区域采用形态学方法获取阈值指针的单像素边界,利用自适应直线检测方法获取阈值指针边界线,进行直线筛选和合并,求角平分线得到阈值指针直线。所述步骤8中获取阈值指针直线的方法类似于步骤5中获取读数指针直线的方法,在此不再赘述。
步骤9:对步骤4获取的读数指针区域和步骤7获取的阈值指针区域利用投影法完成读数指针和阈值指针的方向判断。具体包括:利用指针前端和后端的粗细程度不同,将去除阴影之后的指针区域的中心线旋转成水平状态,然后对指针区域进行竖直方向投影完成指针的方向判断。
步骤10:对步骤5获取的读数指针直线和步骤8获取的阈值指针直线利用角度法完成读数指针和阈值指针的读数。具体包括:首先,根据建模时的刻度点信息和读数信息,计算每一个刻度点与指针回转中心连线与x轴正方向的夹角,建立角度与读数之间的关系式;然后,在找到待测指针直线并确定了指针方向之后,求出待测指针直线与x轴正方向的夹角,然后带入角度与读数关系式,就能完成对指针的读数。
上述虽然结合附图对本发明的具体实施进行了描述,但并非对本发明保护范围的限制,本领域技术人员在不需要创造性成果的前提下,做出的各种修改都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于机器视觉的双指针仪表读数方法,其特征在于,包括以下步骤:
步骤1:采集模板图:拍摄双指针仪表正视图作为模板图,对模板图进行建模,对目标区域进行特征检测,保存建模信息和特征信息;
步骤2:对待识别仪表图像进行特征检测,利用特征匹配技术完成待识别仪表图像和模板图之间的特征点匹配,获取待识别仪表图中目标区域的定位,并且将待识别目标区域校准为模板图视角;
步骤3:利用建模信息获取目标区域与表盘区域的相对位置关系,从待识别目标区域中截取出表盘区域图;
步骤4:对步骤3获取的待识别表盘区域图进行预处理,采用基于指针特征的查找方法在预处理后表盘区域图中查找并获取读数指针区域,并且对读数指针区域进行阴影去除;
步骤5:对步骤4获取的读数指针区域采用形态学方法获取读数指针单像素边界,利用自适应直线检测方法获取读数指针边界线,进行直线筛选和合并,求角平分线得到读数指针直线;
步骤6:根据建模时保存的特征信息中的指针颜色特征,对步骤3获取的待识别表盘区域图进行颜色分析,获取阈值指针图像;
步骤7:对步骤6获取的阈值指针图像进行预处理,采用基于指针特征的查找方法获取阈值指针区域,并且对阈值指针区域进行阴影去除;
步骤8:对步骤7获取的阈值指针区域采用形态学方法获取阈值指针单像素边界,利用自适应直线检测方法获取阈值指针边界线,进行直线筛选和合并,求角平分线得到阈值指针直线;
步骤9:对步骤4获取的读数指针区域和步骤7获取的阈值指针区域利用投影法完成读数指针和阈值指针的方向判断;
步骤10:对步骤5获取的读数指针直线和步骤8获取的阈值指针直线利用角度法完成读数指针和阈值指针的读数。
2.根据权利要求1所述的基于机器视觉的双指针仪表读数方法,其特征在于,步骤1中所述的建模包括选取目标区域、排除区域、刻度点、指针回转中心点、读数指针和阈值指针。
3.根据权利要求1所述的基于机器视觉的双指针仪表读数方法,其特征在于,步骤3利用建模信息获取目标区域与表盘区域的相对位置关系,从待识别目标区域中截取出表盘区域图,具体包括以下步骤:
步骤3-1:根据建模时选取指针回转中心和刻度点,计算出刻度点与回转中心的最大距离;
步骤3-2:以指针回转中心作为表盘圆心,以步骤3-1所得距离作为表盘半径,作圆并求此圆包围矩形,此矩形区域即为模板图的表盘区域;
步骤3-3:根据建模时选取的目标区域的位置和步骤3-2获取的表盘区域的位置,计算出模板图中目标区域和表盘区域的相对位置关系;
步骤3-4:根据步骤3-3获取的相对位置关系,从待识别的目标区域中截取出表盘区域图。
4.根据权利要求1所述的基于机器视觉的双指针仪表读数方法,其特征在于,步骤4中对获取的待识别表盘区域图进行预处理,主要包括以下步骤:
步骤4-1-1:对表盘区域图进行灰度化,获取表盘区域灰度图;
步骤4-1-2:对表盘区域灰度图进行图像增强;
步骤4-1-3:对增强后的表盘区域灰度图像进行自适应局部统计阈值分割,获取表盘区域二值图;
所述步骤4中所述的指针特征包括以下两个特征:(1)指针的长度特征,指针的长度是大于表盘半径,小于表盘直径;(2)指针与回转中心的距离特征,回转中心在指针区域内,即指针区域内的点与回转中心的距离的最小值接近于0;利用基于指针特征的查找方法寻找读数指针区域,具体步骤包括:
步骤4-2-1:对表盘区域二值图进行轮廓查找,保存找到的轮廓序列;
步骤4-2-2:对找到的轮廓序列,按照面积由大到小进行排序;
步骤4-2-3:取第一个轮廓点集,求轮廓点集与回转中心点的距离的最小值,如果最小距离值在给定的距离阈值范围内,则该轮廓点集被保留。否则,继续取出下一个轮廓点集,重复步骤4-2-3;
步骤4-2-4:对距离符合要求的轮廓点集求最小面积包围矩形,如果,最小面积包围矩形的长度在给定的读数指针长度阈值范围内,说明该轮廓点集为读数指针区域。否则,继续取出下一个轮廓点集,重复步骤4-2-3、步骤4-2-4,直到找到读数指针区域;
所述步骤4中对读数指针区域图进行阴影去除,具体步骤包括:
步骤4-3-1:利用找到的读数指针区域,从表盘区域灰度图中抠出这部分读数指针区域灰度图;
步骤4-3-2:利用指数图像增强技术,增强读数指针区域灰度图的对比度;
步骤4-3-3:重新阈值分割,完成读数指针区域的阴影去除。
5.根据权利要求3所述的基于机器视觉的双指针仪表读数方法,其特征在于,步骤5中自适应直线检测方法获取读数指针边界线是指根据步骤3-2计算出的表盘半径,自适应的设置霍夫变换检测直线的三个参数:累加器阈值、最小长度阈值和最大间距阈值。
6.根据权利要求5所述的基于机器视觉的双指针仪表读数方法,其特征在于,步骤5直线筛选和合并具体如下:
(1)直线筛选的依据是指针边界直线和指针回转中心点的距离必须小于直线筛选距离阈值;所述的直线筛选距离阈值取表盘半径的0.3倍,
(2)直线合并的依据是两直线的夹角小于直线合并角度阈值且两直线的距离小于直线合并距离阈值;直线合并角度阈值取筛选后所有直线最大夹角的0.5倍,直线合并距离阈值取指针区域包围矩形宽度的0.5倍。
7.根据权利要求1所述的基于机器视觉的双指针仪表读数方法,其特征在于,步骤6中根据建模时保存的特征信息中的指针颜色特征,对步骤3获取的待识别表盘区域图进行颜色分析,获取阈值指针图像,具体步骤包括:
步骤6-1:根据建模时候选取的阈值指针和读数指针颜色信息,进行第一轮投票,统计出阈值指针最大颜色分量、阈值指针最小颜色分量和读数指针最大颜色分量;
步骤6-2:根据阈值指针最大颜色分量和读数指针最大颜色分量是否一致进行第二次投票:
(1)阈值指针最大颜色分量和读数指针最大颜色分量不一致,直接用阈值指针的最大颜色分量减去阈值指针的最小颜色分量,作为第二轮投票结果;
(2)阈值指针的最大颜色分量和读数指针的最大颜色分量一致,通过比较最大颜色分量与其他两个颜色分量的差值之间的比值,选取比值较大者作为第二轮的投票准则,假设R是最大分量,首先在当前投票点求出阈值指针R分量与G分量的差值thRMinusG、R分量与B分量的差值thRMinusB;其次求出读数指针R分量与G分量的差值readRMinusG、R分量与B分量的差值readRMinusB;然后比较thRMinusG/readRMinusG和thRMinusB/readRMinusB的大小,若thRMinusG/readRMinusG大于thRMinusB/readRMinusB,则当前点将一票投给R分量减去G分量,否则将一票投给R分量减去B分量,对每个投票点都进行此种投票操作,统计最后的投票数目,如果投票数最多的是R分量减去G分量,就将R分量减去G分量作为第二轮的投票结果,如果投票数最多的是R分量减去B分量,就将R分量减去B分量作为第二轮的投票结果;
步骤6-3:将步骤3获取的表盘区域图进行R、G、B三通道分离,然后根据步骤6-2的投票结果取相应的两个通道相减作为阈值指针区域图。
8.根据权利要求7所述的基于机器视觉的双指针仪表读数方法,其特征在于,步骤7对获取的阈值指针图像进行预处理,具体步骤包括:
步骤7-1:对阈值指针图像图像增强;
步骤7-2:对增强后的图像进行局部统计阈值分割。
9.根据权利要求1所述的基于机器视觉的双指针仪表读数方法,其特征在于,所述步骤9中利用投影法完成读数指针和阈值指针的方向判断,具体包括:利用指针前端和后端的粗细程度不同,将去除阴影之后的指针区域的中心线旋转成水平状态,然后对指针区域进行竖直方向投影完成指针的方向判断。
10.根据权利要求1所述的基于机器视觉的双指针仪表读数方法,其特征在于,所述步骤10中利用角度法完成读数指针和阈值指针的读数,具体包括:首先,根据建模时的刻度点信息和读数信息,计算每一个刻度点与指针回转中心连线与x轴正方向的夹角,建立角度与读数之间的关系式;然后,在找到待测指针直线并确定了指针方向之后,求出待测指针直线与x轴正方向的夹角,然后带入角度与读数关系式,就能完成对指针的读数。
CN201711168147.1A 2017-11-21 2017-11-21 一种基于机器视觉的双指针仪表读数方法 Withdrawn CN108121985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711168147.1A CN108121985A (zh) 2017-11-21 2017-11-21 一种基于机器视觉的双指针仪表读数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711168147.1A CN108121985A (zh) 2017-11-21 2017-11-21 一种基于机器视觉的双指针仪表读数方法

Publications (1)

Publication Number Publication Date
CN108121985A true CN108121985A (zh) 2018-06-05

Family

ID=62228568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711168147.1A Withdrawn CN108121985A (zh) 2017-11-21 2017-11-21 一种基于机器视觉的双指针仪表读数方法

Country Status (1)

Country Link
CN (1) CN108121985A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108458733A (zh) * 2018-06-20 2018-08-28 安徽炬视科技有限公司 基于指针检测的指针式仪表自动读数装置系统及识别方法
CN109145899A (zh) * 2018-07-30 2019-01-04 安徽慧视金瞳科技有限公司 一种汽车仪表指针提取方法
CN109242906A (zh) * 2018-09-14 2019-01-18 威斯泰(苏州)智能科技有限公司 一种微积分累加的目标图像识别算法及方法
CN109272000A (zh) * 2018-09-10 2019-01-25 广东电网有限责任公司 一种机器人仪表对准和调焦方法及装置
CN109740616A (zh) * 2019-01-04 2019-05-10 山东交通学院 一种利用计算机视觉实现双指针仪表自动读数的方法
CN110111387A (zh) * 2019-04-19 2019-08-09 南京大学 一种基于表盘特征的指针表定位及读数算法
CN110796095A (zh) * 2019-10-30 2020-02-14 浙江大华技术股份有限公司 仪表模板建立方法、终端设备以及计算机存储介质
CN111161255A (zh) * 2019-12-31 2020-05-15 云领电气智能科技(苏州)有限公司 基于机器视觉的电力仪表自动检测方法
CN111950553A (zh) * 2020-08-17 2020-11-17 广东电科院能源技术有限责任公司 一种指针式仪表自动对准方法及装置
CN112329770A (zh) * 2020-10-30 2021-02-05 江苏理工学院 一种仪表刻度识别方法及装置
CN112508084A (zh) * 2020-12-04 2021-03-16 宁波智能装备研究院有限公司 复杂工业环境下基于模糊相似性度量的机器视觉检测方法
CN112560837A (zh) * 2020-12-02 2021-03-26 南方电网电力科技股份有限公司 一种指针式仪表的读数方法、装置、设备和存储介质
CN113283466A (zh) * 2021-04-12 2021-08-20 开放智能机器(上海)有限公司 一种仪表读数识别方法及装置、可读存储介质
CN113313122A (zh) * 2021-06-11 2021-08-27 曲阜师范大学 一种基于计算机视觉的指针式仪表自动识别读数方法
CN113556376A (zh) * 2021-04-13 2021-10-26 林润泉 一种设备监控方法、系统及设备
CN114187231A (zh) * 2021-10-26 2022-03-15 昆山丘钛微电子科技股份有限公司 视场角计算方法、终端设备及存储介质
CN116071736A (zh) * 2023-03-07 2023-05-05 北京全路通信信号研究设计院集团有限公司 一种仪表读数方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN107133623A (zh) * 2017-05-11 2017-09-05 安徽慧视金瞳科技有限公司 一种基于背景差和圆心定位的指针位置精确检测方法
CN107220645A (zh) * 2017-05-24 2017-09-29 河北省计量监督检测研究院 基于动态图像处理的水表识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620682A (zh) * 2008-06-30 2010-01-06 汉王科技股份有限公司 一种指针式仪表读数自动识别的方法及系统
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN107133623A (zh) * 2017-05-11 2017-09-05 安徽慧视金瞳科技有限公司 一种基于背景差和圆心定位的指针位置精确检测方法
CN107220645A (zh) * 2017-05-24 2017-09-29 河北省计量监督检测研究院 基于动态图像处理的水表识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
房桦 等: ""一种适用于智能变电站巡检机器人的双针仪表读数的识别算法"", 《山东电力技术》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108458733A (zh) * 2018-06-20 2018-08-28 安徽炬视科技有限公司 基于指针检测的指针式仪表自动读数装置系统及识别方法
CN108458733B (zh) * 2018-06-20 2023-09-22 安徽炬视科技有限公司 基于指针检测的指针式仪表自动读数装置系统及识别方法
CN109145899A (zh) * 2018-07-30 2019-01-04 安徽慧视金瞳科技有限公司 一种汽车仪表指针提取方法
CN109272000A (zh) * 2018-09-10 2019-01-25 广东电网有限责任公司 一种机器人仪表对准和调焦方法及装置
CN109242906A (zh) * 2018-09-14 2019-01-18 威斯泰(苏州)智能科技有限公司 一种微积分累加的目标图像识别算法及方法
CN109740616A (zh) * 2019-01-04 2019-05-10 山东交通学院 一种利用计算机视觉实现双指针仪表自动读数的方法
CN109740616B (zh) * 2019-01-04 2023-01-31 山东交通学院 一种利用计算机视觉实现双指针仪表自动读数的方法
CN110111387A (zh) * 2019-04-19 2019-08-09 南京大学 一种基于表盘特征的指针表定位及读数算法
CN110796095A (zh) * 2019-10-30 2020-02-14 浙江大华技术股份有限公司 仪表模板建立方法、终端设备以及计算机存储介质
CN110796095B (zh) * 2019-10-30 2022-08-09 浙江大华技术股份有限公司 仪表模板建立方法、终端设备以及计算机存储介质
CN111161255A (zh) * 2019-12-31 2020-05-15 云领电气智能科技(苏州)有限公司 基于机器视觉的电力仪表自动检测方法
CN111950553A (zh) * 2020-08-17 2020-11-17 广东电科院能源技术有限责任公司 一种指针式仪表自动对准方法及装置
CN112329770A (zh) * 2020-10-30 2021-02-05 江苏理工学院 一种仪表刻度识别方法及装置
CN112329770B (zh) * 2020-10-30 2024-02-23 江苏理工学院 一种仪表刻度识别方法及装置
CN112560837A (zh) * 2020-12-02 2021-03-26 南方电网电力科技股份有限公司 一种指针式仪表的读数方法、装置、设备和存储介质
CN112508084A (zh) * 2020-12-04 2021-03-16 宁波智能装备研究院有限公司 复杂工业环境下基于模糊相似性度量的机器视觉检测方法
CN112508084B (zh) * 2020-12-04 2022-05-03 宁波智能装备研究院有限公司 复杂工业环境下基于模糊相似性度量的机器视觉检测方法
CN113283466A (zh) * 2021-04-12 2021-08-20 开放智能机器(上海)有限公司 一种仪表读数识别方法及装置、可读存储介质
CN113556376A (zh) * 2021-04-13 2021-10-26 林润泉 一种设备监控方法、系统及设备
CN113313122A (zh) * 2021-06-11 2021-08-27 曲阜师范大学 一种基于计算机视觉的指针式仪表自动识别读数方法
CN114187231A (zh) * 2021-10-26 2022-03-15 昆山丘钛微电子科技股份有限公司 视场角计算方法、终端设备及存储介质
CN116071736A (zh) * 2023-03-07 2023-05-05 北京全路通信信号研究设计院集团有限公司 一种仪表读数方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108121985A (zh) 一种基于机器视觉的双指针仪表读数方法
CN108009535A (zh) 一种基于机器视觉的单指针仪表读数方法
CN108038476B (zh) 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN104182763B (zh) 一种基于花朵特征的植物种类识别系统
CN106407917B (zh) 基于动态尺度分配的视网膜血管提取方法及系统
WO2018024030A1 (zh) 一种夜视红外图像中的基于显著性的道路目标提取方法
Haralick et al. Glossary of computer vision terms.
CN107103323A (zh) 一种基于图像轮廓特征的目标识别方法
CN105260710B (zh) 基于图像处理的水表检定方法、装置及系统
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
Cheng et al. Outdoor scene image segmentation based on background recognition and perceptual organization
CN110148162A (zh) 一种基于复合算子的异源图像匹配方法
CN106503739A (zh) 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统
CN104217221A (zh) 基于纹理特征的书画作品检测方法
CN107103298A (zh) 基于图像处理的引体向上计数系统及计数方法
CN107203973A (zh) 一种三维激光扫描系统中线激光中心的亚像素定位方法
CN106709500A (zh) 一种图像特征匹配的方法
CN110119680A (zh) 一种基于图像识别的电气柜接线自动查错系统
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN106127205A (zh) 一种适用于室内轨道机器人的数字仪表图像的识别方法
CN108256467B (zh) 一种基于视觉注意机制和几何特征的交通标志检测方法
CN104680545B (zh) 光学图像中存在显著目标的检测方法
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN109978848A (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180605

WW01 Invention patent application withdrawn after publication