CN108960231B - 一种基于机器视觉的细指针表盘识别读数方法 - Google Patents
一种基于机器视觉的细指针表盘识别读数方法 Download PDFInfo
- Publication number
- CN108960231B CN108960231B CN201810551932.3A CN201810551932A CN108960231B CN 108960231 B CN108960231 B CN 108960231B CN 201810551932 A CN201810551932 A CN 201810551932A CN 108960231 B CN108960231 B CN 108960231B
- Authority
- CN
- China
- Prior art keywords
- image
- dial
- pointer
- angle
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于机器视觉的细指针表盘识别读数方法,包括下述步骤:步骤一,制作模板文件,截取矩形区域作为匹配模板,保存并设置矩形图片的文件名;本发明利用机器视觉技术代替了人工读取细指针仪表式的示数,可解决人工读数精确度不高,效率低,易疲劳等问题。本发明新的图像分割新算法可以减少其他特征细指针的分割干扰,提高其识别的鲁棒性,解决细指针特征不明显难以检测到指针的问题。本发明使得指针识别能够在室外识别,能够适应光照不均或者光照变化,提高识别的精度和可靠性。
Description
技术领域
本发明涉及机器视觉识别技术领域,具体涉及一种基于机器视觉的细指针表盘识别读数方法。
背景技术
指针式表盘由于结构简单,价格低,维护方便等特点,在社会生产行业受到广泛使用。但是,指针式仪表盘需要人工进行现场读数,而人工读数精确度不高,且效率低,易疲劳等问题,已经无法满足社会需求。目前对于细指针表盘由于其细指针特征不明显,在细指针表盘读数中有较好的鲁棒性的方法基本都是基于室内的识别,然而很多情况下,表盘在室外居多,目前在室外识别表盘读数一般都是采用同心圆环搜索法、Hough变换等来检测,但是,此类方法对光照影响大,而且室外获取的细指针表盘图片中细指针特征不明显,对细指针难以检测到直线,Hough变换检测不稳定,及其依赖参数调节,鲁棒性很低,稍微光照变化就会造成细指针检测不到或者错误,从而导致表盘读数不准确或者读数误差大。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种基于机器视觉的细指针表盘识别读数方法,该方法可解决人工读数精确度不高,效率低,易疲劳等问题,能够在室外对细指针表盘读数,能适应适当的光照变化,提高其识别的鲁棒性,解决细指针特征不明显难以检测到指针的问题,提高识别的精度和可靠性。
本发明的目的通过下述技术方案实现:
一种基于机器视觉的细指针表盘识别读数方法,包括下述步骤:
步骤一,制作模板文件,截取矩形区域作为匹配模板,保存并设置矩形图片的文件名;在矩形区域中的表盘刻盘上画五个点,通过前三个点求出表盘刻盘圆的半径与圆心,三个点标记为(x1,y1)、(x2,y2)和(x3,y3),具体方法如下:
表盘刻盘圆的标准公式为:(x-a)2+(y-b)2=r2;
将所述三点带入上述标准公式中求出a,b,r,则圆心坐标为(a,b),半径R=r;
后两点标记为(x4,y4)和(x5,y5),第一点(x1,y1)和第四点(x4,y4)用于求出表盘最小刻度所成的角度Amin,第三点(x3,y3)和第五点(x5,y5)用于求表盘最大刻度所成的角度Amax;第一点(x1,y1)和圆心坐标(a,b)所形成的角度设置为扇形起始角度Astart,第三点(x3,y3)和圆心坐标(a,b)所形成的角度为扇形终止角度Aend;
步骤二,以步骤一中的文件名建立配置xml文件,设置表盘的最大刻度值V1,最小刻度值V2,步骤一中的圆心坐标(a,b)和半径R,以及Amin、Amax、Astart和Aend,将这些数据保存入配置xml文件中;
步骤三,读入表盘图像P1,由于SURF算法具有尺度不变性,且旋转不变,且有高速的特点,所以采用SURF算法进行模板匹配,并且在其中设置特征点判断,少于六个特征点则反馈匹配失败,这样可以防止得到错误数据来提高算法的准确度,以此获表盘ROI图像;
步骤四,读取配置xml文件中的所有参数,创建一个与表盘ROI图像一样大小的黑底图像,在此黑底图像上填充一个高亮的扇形区域,则此图像用P2表示,用画椭圆的方式填充,以圆心(a,b)为椭圆圆心,表盘ROI图像的高以row表示,椭圆长轴和短轴都为R-row/4,扇形角度范围为0到360度,则图像P2是一种掩模的作用;
步骤五,此步骤得到含有特定区域的图像用P7表示,该特定区域只有指针,没有其他干扰因素,而表盘ROI图像除了该特定区域外,其他部分像素值都为255;首先创建一个与表盘ROI图像一样大小的白底图像P3,在图像P3上填充一个黑色的扇形区域,用画椭圆的方式填充,以圆心(a,b)为椭圆圆心,椭圆长轴和短轴都为R-8,扇形角度范围为Astart到Aend,则此时填充扇形区域的图像为P4;将原图P1中除图像P4扇形区域的像素值不变而其余部分像素值均设置为0,从而得到图像P5,即P5=P1-P4;将图像P5中像素值为0的设置为255,得到的图像用P6表示,即P6=P5+P4;用图像P6和步骤四中得到的图像P2相加从而得到图像P7,即P7=P6+P2;
步骤六,对步骤五中得到的图像P7进行灰度拉伸,由于光线原因会造成图像局部过亮或过暗,需要对图像进行拉伸使之覆盖较大的取值区间,来适应光线变化,具体方法如下:
图像P7的图像像素值用g(x,y)表示,设其大部分像素的灰度级分布在区间[c,d],则变换后图像像素值v(x,y)的灰度范围扩展到区间[e,f],采用下述线性变换来实现:
则灰度拉伸后的图像用P8表示;
步骤七,采用百分比阈值,即P-Tile法来获取分割阈值T,然后通过下述公式进行阈值分割:
由于指针长度占整个图像不会有太大变化,因此可获得先验概率,使得二值化后的目标或背景像素比例等于先验概率;将步骤七中的图像P8进行灰度处理,然后阈值化处理后的图像用P9表示;
步骤八,求出指针角度,对步骤七中的图像P9获取轮廓,通过轮廓周长来筛选出指针,过滤其他小的轮廓,处理后的图像用P10表示;对指针轮廓进行直线拟合,求出直线的角度即指针角度,并用A表示;
步骤九,通过表盘量程与表盘最小刻度所形成的角度和表盘最大刻度所成的角度得出指针读数RD,具体计算公式如下:
其中,V1为表盘最大刻度值,V2为表盘最小刻度值,Amin为表盘最小刻度所成的角度,Amax为表盘最大刻度所成的角度。
本发明与现有技术相比具有以下的有益效果:
本发明利用机器视觉技术代替了人工读取细指针仪表式的示数,可解决人工读数精确度不高,效率低,易疲劳等问题。本发明新的图像分割新算法可以减少其他特征细指针的分割干扰,提高其识别的鲁棒性,解决细指针特征不明显难以检测到指针的问题。本发明使得指针识别能够在室外识别,能够适应光照不均或者光照变化,提高识别的精度和可靠性。
附图说明
图1为本发明的总体流程图;
图2为本发明原始表盘图像P1的示意图;
图3为本发明模板匹配后的表盘ROI图像的示意图;
图4为本发明图像P2的示意图;
图5为本发明图像P5的示意图;
图6为本发明图像P7的示意图;
图7为本发明图像P9的示意图;
图8为本发明图像P10的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
如图1~8所示,一种基于机器视觉的细指针表盘识别读数方法,包括下述步骤:
步骤一,制作模板文件,截取矩形区域作为匹配模板,保存并设置矩形图片的文件名;在矩形区域中的表盘刻盘上画五个点,通过前三个点求出表盘刻盘圆的半径与圆心,三个点标记为(x1,y1)、(x2,y2)和(x3,y3),具体方法如下:
表盘刻盘圆的标准公式为:(x-a)2+(y-b)2=r2;
将所述三点带入上述标准公式中求出a,b,r,则圆心坐标为(a,b),半径R=r;
后两点标记为(x4,y4)和(x5,y5),第一点(x1,y1)和第四点(x4,y4)用于求出表盘最小刻度所成的角度Amin,第三点(x3,y3)和第五点(x5,y5)用于求表盘最大刻度所成的角度Amax;第一点(x1,y1)和圆心坐标(a,b)所形成的角度设置为扇形起始角度Astart,第三点(x3,y3)和圆心坐标(a,b)所形成的角度为扇形终止角度Aend,而扇形起始角度和扇形终止角度用于获得扇形区域的指针感兴趣区域。
步骤二,以步骤一中的文件名建立配置xml文件,设置表盘的最大刻度值V1,最小刻度值V2,步骤一中的圆心坐标(a,b)和半径R,以及Amin、Amax、Astart和Aend,将这些数据保存入配置xml文件中;
步骤三,读入表盘图像P1,如图2所示,由于SURF算法具有尺度不变性,且旋转不变,且有高速的特点,所以采用SURF算法进行模板匹配,并且在其中设置特征点判断,少于六个特征点则反馈匹配失败,这样可以防止得到错误数据来提高算法的准确度,以此获表盘ROI图像,如图3所示;
步骤四,读取配置xml文件中的所有参数,创建一个与表盘ROI图像一样大小的黑底图像,在此黑底图像上填充一个高亮的扇形区域,则此图像用P2表示,用画椭圆的方式填充,以圆心(a,b)为椭圆圆心,表盘ROI图像的高以row表示,椭圆长轴和短轴都为R-row/4,扇形角度范围为0到360度,则图像P2是一种掩模的作用,如图4所示;
步骤五,此步骤得到含有特定区域的图像用P7表示,该特定区域只有指针,没有其他干扰因素,而表盘ROI图像除了该特定区域外,其他部分像素值都为255;首先创建一个与表盘ROI图像一样大小的白底图像P3,在图像P3上填充一个黑色的扇形区域,用画椭圆的方式填充,以圆心(a,b)为椭圆圆心,椭圆长轴和短轴都为R-8,扇形角度范围为Astart到Aend,则此时填充扇形区域的图像为P4;将原图P1中除图像P4扇形区域的像素值不变而其余部分像素值均设置为0,从而得到图像P5,即P5=P1-P4,如图5所示;将图像P5中像素值为0的设置为255,得到的图像用P6表示,即P6=P5+P4;用图像P6和步骤四中得到的图像P2相加从而得到图像P7,即P7=P6+P2,如图6所示;
步骤六,对步骤五中得到的图像P7进行灰度拉伸,由于光线原因会造成图像局部过亮或过暗,需要对图像进行拉伸使之覆盖较大的取值区间,来适应光线变化,具体方法如下:
图像P7的图像像素值用g(x,y)表示,设其大部分像素的灰度级分布在区间[c,d],则变换后图像像素值v(x,y)的灰度范围扩展到区间[e,f],采用下述线性变换来实现:
则灰度拉伸后的图像用P8表示;
步骤七,采用百分比阈值,即P-Tile法来获取分割阈值T,然后通过下述公式进行阈值分割:
由于指针长度占整个图像不会有太大变化,因此可获得先验概率,使得二值化后的目标或背景像素比例等于先验概率;将步骤七中的图像P8进行灰度处理,然后阈值化处理后的图像用P9表示,如图7所示;
步骤八,求出指针角度,对步骤七中的图像P9获取轮廓,通过轮廓周长来筛选出指针,过滤其他小的轮廓,处理后的图像用P10表示,如图8所示;对指针轮廓进行直线拟合,求出直线的角度即指针角度,并用A表示;
步骤九,通过表盘量程与表盘最小刻度所形成的角度和表盘最大刻度所成的角度得出指针读数RD,具体计算公式如下:
其中,V1为表盘最大刻度值,V2为表盘最小刻度值,Amin为表盘最小刻度所成的角度,Amax为表盘最大刻度所成的角度。
本发明利用机器视觉技术代替了人工读取细指针仪表式的示数,可解决人工读数精确度不高,效率低,易疲劳等问题。本发明新的图像分割新算法,可以减少其他特征细指针的分割干扰,提高其识别的鲁棒性,解决细指针特征不明显难以检测到指针的问题。本发明使得指针识别能够在室外识别,能够适应光照不均或者光照变化,提高识别的精度和可靠性。
上述为本发明较佳的实施方式,但本发明的实施方式并不受上述内容的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (1)
1.一种基于机器视觉的细指针表盘识别读数方法,其特征在于,包括下述步骤:
步骤一,制作模板文件,截取矩形区域作为匹配模板,保存并设置矩形图片的文件名;在矩形区域中的表盘刻盘上画五个点,通过前三个点求出表盘刻盘圆的半径与圆心,三个点标记为(x1,y1)、(x2,y2)和(x3,y3),具体方法如下:
表盘刻盘圆的标准公式为:(x-a)2+(y-b)2=r2;
将所述三点带入上述标准公式中求出a,b,r,则圆心坐标为(a,b),半径R=r;
后两点标记为(x4,y4)和(x5,y5),第一点(x1,y1)和第四点(x4,y4)用于求出表盘最小刻度所成的角度Amin,第三点(x3,y3)和第五点(x5,y5)用于求表盘最大刻度所成的角度Amax;第一点(x1,y1)和圆心坐标(a,b)所形成的角度设置为扇形起始角度Astart,第三点(x3,y3)和圆心坐标(a,b)所形成的角度为扇形终止角度Aend;
步骤二,以步骤一中的文件名建立配置xml文件,设置表盘的最大刻度值V1,最小刻度值V2,步骤一中的圆心坐标(a,b)和半径R,以及Amin、Amax、Astart和Aend,将这些数据保存入配置xml文件中;
步骤三,读入表盘图像P1,由于SURF算法具有尺度不变性,且旋转不变,且有高速的特点,所以采用SURF算法进行模板匹配,并且在其中设置特征点判断,少于六个特征点则反馈匹配失败,这样可以防止得到错误数据来提高算法的准确度,以此获表盘ROI图像;
步骤四,读取配置xml文件中的所有参数,创建一个与表盘ROI图像一样大小的黑底图像,在此黑底图像上填充一个高亮的扇形区域,则此图像用P2表示,用画椭圆的方式填充,以圆心(a,b)为椭圆圆心,表盘ROI图像的高以row表示,椭圆长轴和短轴都为R-row/4,扇形角度范围为0到360度,则图像P2是一种掩模的作用;
步骤五,此步骤得到含有特定区域的图像用P7表示,该特定区域只有指针,没有其他干扰因素,而表盘ROI图像除了该特定区域外,其他部分像素值都为255;首先创建一个与表盘ROI图像一样大小的白底图像P3,在图像P3上填充一个黑色的扇形区域,用画椭圆的方式填充,以圆心(a,b)为椭圆圆心,椭圆长轴和短轴都为R-8,扇形角度范围为Astart到Aend,则此时填充扇形区域的图像为P4;将原图P1中除图像P4扇形区域的像素值不变而其余部分像素值均设置为0,从而得到图像P5,即P5=P1-P4;将图像P5中像素值为0的设置为255,得到的图像用P6表示,即P6=P5+P4;用图像P6和步骤四中得到的图像P2相加从而得到图像P7,即P7=P6+P2;
步骤六,对步骤五中得到的图像P7进行灰度拉伸,由于光线原因会造成图像局部过亮或过暗,需要对图像进行拉伸使之覆盖较大的取值区间,来适应光线变化,具体方法如下:
图像P7的图像像素值用g(x,y)表示,设其大部分像素的灰度级分布在区间[c,d],则变换后图像像素值v(x,y)的灰度范围扩展到区间[e,f],采用下述线性变换来实现:
则灰度拉伸后的图像用P8表示;
步骤七,采用百分比阈值,即P-Tile法来获取分割阈值T,然后通过下述公式进行阈值分割:
由于指针长度占整个图像不会有太大变化,因此可获得先验概率,使得二值化后的目标或背景像素比例等于先验概率;将步骤七中的图像P8进行灰度处理,然后阈值化处理后的图像用P9表示;
步骤八,求出指针角度,对步骤七中的图像P9获取轮廓,通过轮廓周长来筛选出指针,过滤其他小的轮廓,处理后的图像用P10表示;对指针轮廓进行直线拟合,求出直线的角度即指针角度,并用A表示;
步骤九,通过表盘量程与表盘最小刻度所形成的角度和表盘最大刻度所成的角度得出指针读数RD,具体计算公式如下:
其中,V1为表盘最大刻度值,V2为表盘最小刻度值,Amin为表盘最小刻度所成的角度,Amax为表盘最大刻度所成的角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810551932.3A CN108960231B (zh) | 2018-05-31 | 2018-05-31 | 一种基于机器视觉的细指针表盘识别读数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810551932.3A CN108960231B (zh) | 2018-05-31 | 2018-05-31 | 一种基于机器视觉的细指针表盘识别读数方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108960231A CN108960231A (zh) | 2018-12-07 |
CN108960231B true CN108960231B (zh) | 2022-05-13 |
Family
ID=64493172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810551932.3A Active CN108960231B (zh) | 2018-05-31 | 2018-05-31 | 一种基于机器视觉的细指针表盘识别读数方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108960231B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109858560A (zh) * | 2019-02-18 | 2019-06-07 | 广东中粤电力科技有限公司 | 一种指针式仪表图像识别读数及安全预警方法 |
CN110059622A (zh) * | 2019-04-18 | 2019-07-26 | 华北电力大学(保定) | 一种基于无线传感器网络的指针式仪表示值识别系统 |
CN111104862A (zh) * | 2019-11-22 | 2020-05-05 | 桂林金格电工电子材料科技有限公司 | 同轴特殊指针仪表的指针识别方法 |
CN111598109B (zh) * | 2020-05-07 | 2022-07-22 | 国网四川省电力公司电力科学研究院 | 一种变电站指针仪表读数智能识别方法 |
CN113989514A (zh) * | 2021-10-11 | 2022-01-28 | 佳源科技股份有限公司 | 一种基于模板滤波的指针定位方法 |
CN116434208B (zh) * | 2023-06-14 | 2023-10-27 | 福建(泉州)哈工大工程技术研究院 | 一种用于仪表扇形区域的视觉识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102176228A (zh) * | 2011-01-28 | 2011-09-07 | 河海大学常州校区 | 一种用于识别多个指针式仪表表盘信息的机器视觉方法 |
CN103714329A (zh) * | 2013-12-31 | 2014-04-09 | 长安大学 | 一种仪表指针识别的检测算法 |
CN105893938A (zh) * | 2016-03-28 | 2016-08-24 | 国网浙江省电力公司宁波供电公司 | 一种油温表的读数方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009535A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电科技股份有限公司 | 一种基于机器视觉的单指针仪表读数方法 |
-
2018
- 2018-05-31 CN CN201810551932.3A patent/CN108960231B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102176228A (zh) * | 2011-01-28 | 2011-09-07 | 河海大学常州校区 | 一种用于识别多个指针式仪表表盘信息的机器视觉方法 |
CN103714329A (zh) * | 2013-12-31 | 2014-04-09 | 长安大学 | 一种仪表指针识别的检测算法 |
CN105893938A (zh) * | 2016-03-28 | 2016-08-24 | 国网浙江省电力公司宁波供电公司 | 一种油温表的读数方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108960231A (zh) | 2018-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960231B (zh) | 一种基于机器视觉的细指针表盘识别读数方法 | |
CN112949564B (zh) | 一种基于深度学习的指针式仪表自动读数方法 | |
CN112257676B (zh) | 一种指针式仪表读数方法、系统以及巡检机器人 | |
CN106529537B (zh) | 一种数字仪表读数图像识别方法 | |
CN109003258B (zh) | 一种高精度亚像素圆形零件测量方法 | |
CN110659636B (zh) | 基于深度学习的指针式仪表读数识别方法 | |
CN108960237B (zh) | 一种指针式油位计读数识别方法 | |
CN106529559A (zh) | 一种指针式圆形多仪表盘实时读数识别方法 | |
CN104657711B (zh) | 一种鲁棒的指针式仪表读数自动识别方法 | |
WO2022057103A1 (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
CN106960208A (zh) | 一种仪表液晶数字自动切分和识别的方法及系统 | |
CN109409290B (zh) | 一种温度表检定读数自动识别系统及方法 | |
CN111814919A (zh) | 一种基于深度学习的仪表定位与识别系统 | |
CN110287887A (zh) | 一种刻度识别方法、装置及计算机存储介质 | |
CN111325164B (zh) | 指针表示数识别方法、装置和电子设备 | |
CN110211178B (zh) | 一种利用投影计算的指针式仪表识别方法 | |
CN109284718A (zh) | 面向巡检机器人的变视角多仪表同时识别方法 | |
CN111368906A (zh) | 一种基于深度学习的指针式油位计读数识别方法 | |
CN111476246A (zh) | 应用于复杂环境下指针仪表鲁棒高效智读方法 | |
CN116912250A (zh) | 基于机器视觉的菌包生产质量检测方法 | |
CN114565848B (zh) | 一种复杂场景的药液液位检测方法及系统 | |
CN116958125A (zh) | 基于图像处理的电竞主机电源元件缺陷视觉检测方法 | |
CN108921153A (zh) | 基于机器视觉的指针温湿度仪表检测 | |
CN111666880A (zh) | 一种针对灭火器指针式仪表的智能识别系统 | |
CN112036391B (zh) | 一种基于页岩气田生产站场的电子巡检方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |