CN112257676B - 一种指针式仪表读数方法、系统以及巡检机器人 - Google Patents

一种指针式仪表读数方法、系统以及巡检机器人 Download PDF

Info

Publication number
CN112257676B
CN112257676B CN202011298473.6A CN202011298473A CN112257676B CN 112257676 B CN112257676 B CN 112257676B CN 202011298473 A CN202011298473 A CN 202011298473A CN 112257676 B CN112257676 B CN 112257676B
Authority
CN
China
Prior art keywords
pointer
image
dial
target instrument
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011298473.6A
Other languages
English (en)
Other versions
CN112257676A (zh
Inventor
陈玖霖
刘爽
闵济海
叶增军
姜红杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tetra Electronic Technology Co ltd
Original Assignee
Nanjing Tetra Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tetra Electronic Technology Co ltd filed Critical Nanjing Tetra Electronic Technology Co ltd
Priority to CN202011298473.6A priority Critical patent/CN112257676B/zh
Publication of CN112257676A publication Critical patent/CN112257676A/zh
Application granted granted Critical
Publication of CN112257676B publication Critical patent/CN112257676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开属于指针式仪表读数识别领域，公开一种指针式仪表读数方法、系统以及巡检机器人，采用矩形标注框对目标仪表图像中的指针进行标注；对所述目标仪表图像进行优化，使优化后的所述目标仪表图像的指针角度与表盘刻度之间的对应关系与模板图像的标准模板量程一致；通过所述目标仪表图像的指针标注的所述矩形标注框与所述模板图像的表盘刻度的相对位置关系，获取所述目标仪表图像的指针的表盘读数；对现场图像进行仪表器表盘读数的处理和/或识别，提高仪表器表盘读数识别的精度。

Description

一种指针式仪表读数方法、系统以及巡检机器人
技术领域
本公开属于指针式仪表读数识别领域，具体涉及一种指针式仪表读数方法、系统以及巡检机器人。
背景技术
在变电站等工业现场存在大量的无法直接通过内部测量方法读数的指针式仪表，通常采用获取表盘图像并利用图像处理技术或深度学习的方法对表盘中的指针进行提取，再根据指针角度与表盘刻度进行换算，达到读数的功能。
但工业现场环境复杂多变，采集图像中目标可能存在遮挡、模糊、偏斜、反光弱光等现象造成仪表及其指针无法检测或读数精确度低的情况，识别正确率与精确度相对较低。
发明内容
本公开的目的在于提供一种指针式仪表读数方法、系统以及巡检机器人。
本公开的目的可以通过以下技术方案实现：
一种指针式仪表读数方法，包括以下步骤：
采用矩形标注框对目标仪表图像中的指针进行标注；
对目标仪表图像进行优化，使优化后的目标仪表图像的指针角度与表盘刻度之间的对应关系与模板图像的标准模板量程一致；
通过目标仪表图像的指针标注的矩形标注框与模板图像的表盘刻度的相对位置关系，获取目标仪表图像的指针的表盘读数。
一种指针式仪表读数系统，包括仪表检测模块、仪表校准模块、指针检测模块和指针读数计算模块；
仪表检测模块，从图像中检测需要读数的仪表并将其分割，得到单独的目标仪表图像；
仪表校准模块，将仪表检测模块所分割出的仪表图像根据仪表模板图像进行配准，统一量程与读数规则；
指针检测模块，对仪表校准模块所得到的配准后的图像进行仪表指针信息的提取；
指针读数计算模块，根据指针检测模块所输出的关于矩形标注框的信息，计算指针的位置与角度，并根据模板图像中角度与读数的关联信息，通过计算得到的指针角度计算其读数，得出仪表的读数结果。
一种巡检机器人，包括存储介质，存储介质上存储有计算机程序，计算机程序被读取时处理器执行上述方法或上述系统。
本公开的有益效果：
对现场图像进行仪表器表盘读数的处理和/或识别，提高仪表器表盘读数识别的精度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例的指针式仪表读数方法的流程图；
图2是本公开实施例的目标仪表检测结果示意图；
图3是本公开实施例的直方图均衡结果示意图；
图4是本公开实施例的SIFT 配准算法流程图；
图5是本公开实施例的SIFT 配准效果对比示意图；
图6是本公开实施例的指针检测结果示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
实施例一：
一种指针式仪表读数方法，包括以下步骤：
步骤1：采集现场仪表图像样本，一般情况下，现场仪表图像样本中包含多个目标仪表图像以及其他噪声仪表图像，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行标注，根据标注对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别；
在一些公开中，采用深度学习中具有目标检测功能的神经网络对采集现场仪表图像样本进行标注识别训练，获取能够进行标注识别的目标仪表图像检测的神经网络参数模型，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别，其中深度学习中具有目标检测功能的神经网络的目标检测模型可以但是不局限于YOLO、SSD、faster-RCNN等，利用YOLO、SSD、faster-RCNN目标检测模型对采集现场仪表图像样本进行标注识别训练，获取能够进行标注识别的目标仪表图像检测的神经网络参数模型，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别；本公开优先采用YOLO目标检测模型，因其数据训练集样本制作简单、检测速度快；
当然在其他一些公开中，除深度学习外也可采用传统数字图像处理的方法，常见方法有模板匹配，坐标标定等，如：采集现场仪表图像样本，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行标注，采用模板匹配或者坐标标定的方式，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别。
步骤2：根据对采集现场仪表图像样本中的标注识别，提取目标仪表图像，将提取后的所有目标仪表图像组成仪表数据样本，便于后期对目标仪表图像中的指针读数进行读取；
在一些公开中，如前述所述的采用深度学习的方式进行对采集现场仪表图像样本中需要进行读数的目标仪表图像进行标注，根据标注对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别，此时步骤2可以为另一种形式，如：通过训练好的目标检测神经网络模型对现样本图像中的仪表进行检测，并根据目标仪表图像的检测与识别结果，提取目标仪表图像，将提取后的所有目标仪表图像组成仪表数据样本，便于后期对目标仪表图像中的额指针进行读取。
在一些公开中，将目标仪表图像从采集现场仪表图像样本中提取，可采用对采集现场仪表图像样本进行裁剪操作，进行将目标仪表图像从采集现场仪表图像样本中分割出来，实现将目标仪表图像从采集现场仪表图像样本中提取；在一些公开中，采用迭代式的视频目标跟踪方法，也可以将目标仪表图像提取出，方法是通过人工选取范围，框出含有该仪表的视频的第一帧图像中的目标仪表，作为模板，对每一帧视频都进行模板匹配，即可提取视频中的所有仪表样本；也有直接通过仪表图像进行模板匹配并分割。
步骤3：采用矩形标注框对目标仪表图像中的指针进行标注，标注时，使目标仪表图像中的指针的中心线位于针矩形标注框的对角线上，或使目标仪表图像中的指针轮廓最小外接矩形的旋转角与矩形标注框对角线的旋转角相等，其中矩形标注框为针对于目标样本图像中的指针进行目标检测，便于对目标样本图像中的指针位置进行识别；
在一些公开中，如采用深度学习中具有目标检测功能的神经网络对标注指针后的目标仪表图像进行训练，得到基于指针检测的神经网络参数模型，指针检测使用深度学习方法可采用mask-rcnn检测模型、u-net检测模型等；在一些公开中，采用传统图像处理方法，如采用边沿检测、霍夫直线检测、轮廓检测等，进行对仪表样本图像中的指针位置进行识别。
在一些公开中，采用矩形标注框对目标仪表图像中的指针进行标注，可采用人工方式进行对矩形标注框对焦，利用人工标注的灵活性以及识别精确性的优势，提高指针的中心线位于针矩形标注框的对角线上，或使目标仪表图像中的指针轮廓最小外接矩形的旋转角与矩形标注框对角线的旋转角相等的精度；在其他一些公开中，也有采用矩形标注框直接对指针进行标注而不管二者相关关系，通过深度学习自行拟合到对角线位于指针中心线所在直线的方法。或采用该类方法并无该效果，后续采用其他方法进行计算，只需分割指针即可。若不采用矩形标注框，可以采用mask-rcnn或u-net神经网络模型，制作指针的图像标签，最终对其进行分割。
步骤4：从现场图像样本中选取一张正对清晰的（表盘平面与图像平面平行，表盘形状与现实一致无因视角造成畸变，表盘文字清晰）仪表图像作为模板图像，关联模板图像的指针角度与表盘刻度之间的对应关系作为标准模板量程，即获取目标仪表图像的指针的标准模板量程，形成对仪表数据样本中目标仪表图像的指针位置参照。
步骤5：对仪表数据样本中的目标仪表图像进行优化，使优化后的目标仪表图像的指针角度与表盘刻度之间的对应关系与模板图像的标准模板量程一致，从而使得目标仪表图像与模板图像的量程换算规则一致。根据不同表计角度的量程换算规则不同，具体换算规则可根据表计刻度特征进行设计，本文中针对的仪表刻度在指针角度上均匀分布，因此二者关系为一次函数关系，量程换算规则或因图像畸变导致不同，在此统一为与模板图像的指针角度与刻度关系。
在一些公开中，对采集现场仪表图像样本中进行分割后的目标仪表图像进行优化，可以为：如减轻目标仪表图像因为弱光或反光带来的图像干扰，采用直方图均衡的方法，也有直接调整亮度对比度的方法；并根据模板图像进行配准（或也可以采用仿射变换、透视变换等进行校准，在此采用SIFT配准方法，因其本身已经集成多种变换方式），得到配准后的目标仪表图像，目标仪表图像的指针角度与表盘刻度之间的对应关系与模板图像的标准模板量程一致，统一量程换算规则。
步骤6：通过目标仪表图像的指针标注的矩形标注框与模板图像的表盘刻度的相对位置关系，由于获取优化后的目标仪表图像的指针位于矩形标注框对角线所在直线的位置，即可以采用矩形标注框的位置指代目标仪表图像的指针的位置，获取目标仪表图像的指针的表盘读数；
在一些公开中，通过训练好的指针检测的神经网络参数模型对优化后的目标仪表图像进行指针检测与提取，获取优化后的目标仪表图像的指针位置，在此场景下，实质是直接获取优化后的目标仪表图像的指针标注的矩形标注框位置；
在一些公开中，可以采用神经网络对目标仪表图像的指针（在本场景下，也就是对应的矩形标注框对角线所在直线）的位置结果直接进行回归分析得出基于指针表盘的实际度数，也可以通过目标仪表图像的指针对应的矩形标注框对角线的偏转角度，计算指针位于表盘上的读数；当然，也可以为其他的关联方式，针对于采用神经网络进行回归分析，则需要对真实数据进行人工输入，过程较为麻烦且数据量较少时精度差；
在一些公开中，针对于通过目标仪表图像的指针对应的矩形标注框对角线的偏转角度，计算指针位于表盘上的读数，
如：矩形标注框的代表点与模板图像的中心坐标之间的相对位置关系，其中在本公开中矩形标注框的代表点采用矩形标注框的中心点，关于矩形标注框的代表点的选取，也可以采用其他方案诸如任意取矩形标注框中的一点，不局限于矩形标注框的中心点，采用矩形标注框中心坐标与模板图像的中心坐标/>之间的相对位置关系表述如下：
矩形标注框左上角与右下角两点坐标为，计算得到矩形标注框中心点坐标为
图像高为h，宽为，模板图像的的中心点坐标为：
根据矩形标注框与模板图像的相对位置关系，得出矩形标注框位于模板图像的所在的象限，矩形标注框所在的象限，即为目标仪表图像的指针所在象限；
目标仪表图像的指针现实刻度夹角定义为：目标仪表图像的指针与模板图像的x轴正方向之间的夹角为；
当目标仪表图像的指针位于第一、三象限时，目标仪表图像的指针中心线通过对应的矩形标注框左下角与右上角两点进行表述，其计算公式为：
（3）
当目标仪表图像的指针位于第二、四象限时，目标仪表图像的指针中心线通过对应的矩形标注框左下角与右上角两点进行表述，其计算公式为：
(4)
根据模板图像，测量每一刻度相对于模板图像的表盘图像的角度，由于刻度在角度上是均匀分布的，所以模板图像的表盘图像的角度与模板图像的表盘刻度的关系为一次线性函数，其函数关系可表示为：
(5)
将模板图像的指针偏转角度转换为模板图像的表盘平面的角度：设模板图像的表盘最小刻度所在直线斜率为，最大刻度所在直线斜率为/>，求得模板图像的表盘量程之间的最大夹角（量程之间指表盘中存在刻度盘部分的夹角，该仪表刻度盘大于180度，但存在刻度盘小于180度的仪表，故此描述）为：
(6)
设定模板图像的表盘的最小刻度为该一次线性函数的零刻度，对应的刻度角度为/>，模板图像的表盘的最大刻度为/>，最大刻度对应的角度为/>，在量程范围内，针对于模板图像的指针相对于模板图像的表盘最小刻度之间（位于存在表盘刻度的部分）的夹角/>时，模板图像的指针对应的表盘读数为/>，/>为：
(7)
其中为模板图像的指针相对于模板图像的表盘最小刻度之间的夹角；
计算目标仪表图像的指针现实刻度夹角，相对于模板图像的表盘最小刻度角度的相对角度（此时采用通过最小角度计算，也可以采用最大角度进行计算），相对角度为：
(8)
获取目标仪表图像的指针现实角度与自身指针指代的表盘读数之间的关系为：
(9)
由此即可通过直线角度计算得出目标仪表图像的指针指代的表盘读数。
当然在其他一些实施例中，也可以采用最大角度进行计算，如算出指针相对于最大角度的相对夹角，换算为相对最小刻度的夹角或可直接根据最大刻度进行关系拟合。
实施例二：
如图1所示，一种指针式仪表读数方法，包括以下步骤：
步骤1：采集现场仪表图像样本，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行标注，采用深度学习中的YOLO目标检测模型对采集现场仪表图像样本进行标注识别训练，获取能够进行标注识别的目标仪表图像检测的神经网络参数模型，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别；
步骤2：通过训练好的目标检测神经网络模型对现样本图像中的仪表进行检测，并根据目标仪表图像的检测与识别结果，提取目标仪表图像，将提取后的所有目标仪表图像组成仪表数据样本，便于后期对目标仪表图像中的额指针读书进行读取；
在一些场景中，采集了某变电站的大量仪表数据作为第一层目标网络的输入，将指针式气压计仪表作为目标仪表进行分割提取，训练完成后进行单独测试，得到如下结果如图2所示，展示了在几种特殊的环境：弱光、反光、倾斜、遮挡、仰视、模糊、双目标场景下，其中弱光如图2（a）所示，反光如图2（b）所示，倾斜如图2（c）所示，遮挡如图2（d）所示，仰视如图2（e）所示，模糊如图2（f）所示，双目标如图2（g）所示;通过训练的网络依旧能够准确检测出目标的高精度效果。
步骤3：采用矩形标注框对目标仪表图像中的指针进行标注，标注时，使目标仪表图像的指针的中心线位于针矩形标注框的对角线上，或使目标仪表图像中的指针轮廓最小外接矩形的旋转角与矩形标注框对角线的旋转角相等，采用深度学习的方式对标注指针后的目标仪表图像进行训练，得到基于指针检测的神经网络参数模型；
步骤4：从现场图像样本中选取一张正对清晰的（表盘平面与图像平面平行，表盘形状与现实一致无因视角造成畸变，表盘文字清晰）仪表图像作为模板图像，关联模板图像的指针角度与表盘刻度之间的对应关系作为标准模板量程，即获取目标仪表图像的指针的标准模板量程，形成对仪表数据样本中目标仪表图像的指针位置参照；
步骤5：采用直方图均衡的方法减轻目标仪表图像因为弱光或反光带来的图像干扰，采用SIFT配准方法，目标仪表图像与模板图像进行配准，使目标仪表图像的指针角度与表盘刻度之间的对应关系与模板图像的标准模板量程一致，从而使得目标仪表图像与模板图像的量程换算规则一致；
对于少量弱光图像，直接进行进一步的识别操作存在一定困难，在此采用直方图均衡的方法。直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法。通过这种方法，亮度可以更好地在直方图上分布，从而使图像有更高的可识别效果，提高识别精度。对彩色图像进行均衡，只需分别对 R、G、B三通道进行均衡再将分量合并即可，均衡后的效果如图3所示,其中图3（a）表示直方图均衡前的目标仪表图像，图3（b）表示直方图均衡后的目标仪表图像。
输出仪表中存在少量强反光与强模糊等极低质量图，使得指针肉眼不可见，
除去该类情况后指针均能展示于分割后的图中。但每一种表角度均不相同，除少量正拍产生的角度旋转问题外，也有部分斜拍所造成的仰视俯视等偏斜图像，需要进行旋转或透视变换校准到正视的方位，在此采用SIFT方法进行校准；
SIFT，尺度不变特征转换是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，其算法流程，如图4所示，其在一定程度上可解决：1）目标的旋转、缩放、平移，2）图像仿射/投影变换，3）光照影响，4）目标遮挡，5）杂物场景，6）噪声等场景；
SIFT配准效果对比，所有图像在校准后可认为位于模板图像的坐标与平面内，其位置规则与模板图像大致相同，因此均可按模板图像角度与刻度的函数关系进行换算，误差取决于图片质量与校准效果，如图5所示，其中图5（a）表示目标仪表图像存在旋转状态下，采用SIFT配准效果对比效果图；图5（b）表示目标仪表图像存在模糊状态下，采用SIFT配准效果对比效果图；图5（c）表示目标仪表图像存在遮挡状态下，采用SIFT配准效果对比效果图；图5（d）表示目标仪表图像存在倾斜状态下，采用SIFT配准效果对比效果图。
步骤6：通过训练好的指针检测的神经网络参数模型对优化后的目标仪表图像进行指针检测与提取，获取优化后的目标仪表图像的指针位置，通过目标仪表图像的指针标注的矩形标注框与模板图像的表盘刻度的相对位置关系，由于获取优化后的目标仪表图像的指针位于矩形标注框对角线所在直线的位置，即可以采用矩形标注框的位置指代目标仪表图像的指针的位置，获取目标仪表图像的指针的表盘读数；
对于该类仪表，其指针特征在于只有中间的白色圆环部分才可有效展示出特征，加之图像本身可能存在模糊等其他情况，对于传统图像方法提取较为困难。在此同样采用与第一层网络模型相同的YOLO目标检测方案，对指针进行检测提取。在对训练集标注时使指针位于矩形标记框两个对角线上，即可通过矩形标记框 坐标数据作为描述指针的特征值。相比于分割指针图像再通过传统方法进行特征提取，直接通过回归产生的矩形标记框已经具有一定的位置精度，因此可以直接通过矩形标记框坐标返回指针角度值，从而大大减少后续的工作量；如图6所示，可以看见指针被有效提取，且其所在直线位于矩形标记框对角线上。
在一些公开中，针对于通过目标仪表图像的指针对应的矩形标注框对角线的偏转角度，计算指针位于表盘上的读数，
如：矩形标注框的代表点与模板图像的中心坐标之间的相对位置关系，其中在本公开中矩形标注框的代表点采用矩形标注框的中心点，关于矩形标注框的代表点的选取，也可以采用其他方案诸如任意取矩形标注框中的一点，不局限于矩形标注框的中心点；
具体矩形标注框中心坐标与模板图像的中心坐标/>之间的相对位置关系表述如下：
矩形标注框左上角与右下角两点坐标为，计算得到矩形标注框中心点坐标为
图像高为h，宽为，模板图像的中心点坐标为：
根据矩形标注框与模板图像的相对位置关系，得出矩形标注框位于模板图像的所在的象限，矩形标注框所在的象限，即为目标仪表图像的指针所在象限；
目标仪表图像的指针现实刻度夹角定义为：目标仪表图像的指针与模板图像的x轴正方向之间的夹角为；
当目标仪表图像的指针位于第一、三象限时，目标仪表图像的指针中心线通过对应的矩形标注框左下角与右上角两点进行表述，其计算公式为：
（3）
当目标仪表图像的指针位于第二、四象限时，目标仪表图像的指针中心线通过对应的矩形标注框左下角与右上角两点进行表述，其计算公式为：
(4)
根据模板图像，测量每一刻度相对于模板图像的表盘图像的角度，由于刻度在角度上是均匀分布的，所以模板图像的表盘图像的角度与模板图像的表盘刻度的关系为一次线性函数，其函数关系可表示为：
(5)
将模板图像的指针偏转角度转换为模板图像的表盘平面的角度：设模板图像的表盘最小刻度所在直线斜率为，最大刻度所在直线斜率为/>，求得模板图像的表盘量程之间的最大夹角为：
(6)
设定模板图像的表盘的最小刻度为该一次线性函数的零刻度，对应的刻度角度为/>，模板图像的表盘的最大刻度为/>，最大刻度对应的角度为/>，在量程范围内，针对于模板图像的指针相对于模板图像的表盘最小刻度之间的夹角/>时，模板图像的指针对应的表盘读数为/>，/>为：
(7)
其中为模板图像的指针相对于模板图像的表盘最小刻度之间的夹角（式7的/>，与式5中的/>是否指代为同一个，如果不是请区分）；
计算目标仪表图像的指针现实刻度夹角，相对于模板图像的表盘最小刻度角度的相对角度（此时采用通过最小角度计算，也可以采用最大角度进行计算），相对角度为：
(8)
（式8的，与式5和式7中的/>是否指代为同一个，如果不是请区分）
获取目标仪表图像的指针现实角度与自身指针指代的表盘读数之间的关系为：
(9)
由此即可通过直线角度计算得出目标仪表图像的指针指代的表盘读数。
本专利中的方法运用在于带有算法的载体为轮式巡检机器人，采用YOLO目标检测算法较快响应机器人的请求，首先机器人拍摄巡检点照片并传入算法模块，第一层算法为YOLO网络模型，这层网络模型主要功能是将目标仪表进行识别与分割，提取出所需要的仪表图像。提取后的图像根据标准模板仪表图像采用 SIFT 匹配方法对目标图像进行校准，主要方便后续的读数精度，并将校准后的输出图像作为第二层YOLO网络的输入，通过第二层深度神经网络识别分割指针。提取指针后因其之前已经做过配准工作，故可直接采取传统图像处理如计算最小外接矩形旋转角、直线检测或直接根据标注时的矩形标记框es对角等自定义规则库输出角度，再根据模板图像角度与刻度的对应关系所拟合的函数，即可由角度得出相应的读数；
存在以下好处：
1）基于深度学习方法提取仪表，相对于传统模板匹配法，能够根据数据样本有效提取仪表特征，对于遮挡、偏斜、反光、模糊的目标依旧能够准确提取。改动数据标注与样本即可用于其他场景的目标检测，方法通用性、普适性与可延伸性较强。
2）基于深度学习方法提取仪表指针，解决了传统图像处理方法对于模糊、特征不明显的指针提取精度差、提取鲁棒性不高的问题，且参数只需在模型训练时调整，不需要测试时再根据不同的场景进行调整。改动数据标注与样本即可用于其他指针式仪表的提取，方法通用性、普适性与可延伸性较强。克服了传统数字图像处理方法识别率低、鲁棒性差、读数误差较大的问题。
3）采用YOLO目标检测算法，相对于采用其他进行指针提取的深度学习模型，样本制作与标注较为简单，只需原图及矩形标注框坐标信息，且模型结果输出具有较快的响应速度，减小了工业现场的巡检机器人因识别速度较慢可能带来其他问题的发生概率。
本专利采用利用矩形标注框进行标注，除此之外的标注方法还有采用多边形标注框，或对指针进行分割，直接制作基于指针形状的mask图像，即二值化图像标签。后两种方法一般用于实例分割场景，对于物体的形状以及范围有更精确的描述。但缺点在于当图像较为模糊时，采用多边形标注或二值化标签却不能准确对需要识别部分的特征进行精确的分割或特征描述，以至于产生较大误差，不能达到效果。且采用分割模型实现特征提取，标签制作较为麻烦，参数模型训练时间也更长。
采用矩形标注框进行标注，充分利用人眼聚焦的辅助性优势，标注时只需使矩形标注框对角线与指针位于同一直线上，或使指针轮廓最小外接矩形的旋转角与矩阵标注框对角线的倾斜角一致，即可采用矩形标注框对角线的旋转角作为指针偏转角度的描述，在神经网络参数模型训练好后，目标检测效果会直接将矩形标注框拟合到标注时的位置，即检测时的矩形框会位于以上述方式描述指针的位置，从而解决指针特征难以描述的问题。
试验验证：
采用升压站现场提取的原始图像，共 268 张，通过两层 YOLO网络与SIFT 配准后，输出指针的box坐标，指针提取的召回率达到 0.594，识别正确率达到 99.8%，识别效果精度足以满足现场需求。对验证数据进行随机抽样，采集了十组测试样本进行测试，得到标定数据与测试数据之间的误差以及误差率；其中仪表读数检测结果，如表1所示；
表1 仪表读数检测结果
由上表计算平均误差率为2.51%，平均引用误差为1.47%，该表最小分度值 为0.02，平均引用误差换算为刻度值后为0.0147，小于该表的最小分度值。因此该方法读数结果的误差在最小分度值内，在一定程度上可以保证读数精确性。
实施例三：
一种指针式仪表读数系统，包括以下模块：仪表检测模块、仪表校准模块、指针检测模块和指针读数计算模块。
仪表检测模块，从图像中检测需要读数的仪表并将其分割，该模块采用基于深度神经网络的YOLO目标检测模型，首先对标注了目标仪表的样本数据进行训练，得到该指针仪表的检测模型的参数模型，并使用该模型对现场图像中的目标仪表进行检测，检测后根据其矩形标注框通过裁剪等方式将图像分割，得到单独的目标仪表图像；
仪表校准模块，将仪表检测模块所分割出的仪表图像根据仪表模板图像进行配准，统一量程与读数规则。其具体方法是首先选择一张仪表图像作为模板图像，通过人工测量或仪表自带的数据计算，将表盘角度与刻度进行关联。对由仪表检测模块所分割出的仪表图像根据模板图像通过直方图均衡与SIFT配准的方法进行配准，得到配准后的图像。
指针检测模块，对仪表校准模块所得到的配准后的图像进行仪表指针信息的提取。具体方法是对仪表校准模块所得到的配准后的图像中的指针，利用矩形标注框进行标注，标注时需要使指针位于目标检测所用标注工具中的矩形标注框的对角线上，或使其轮廓最小外接矩形的旋转角与矩形标注框对角线的旋转角相等。然后采用基于深度神经网络的YOLO目标检测模型，对使用该方法标注了仪表指针的仪表样本数据进行训练，得到指针的检测模型的参数模型，并使用该模型对目标仪表中的指针进行检测，得到检测输出的与指针参数相关的矩形标注框的位置信息。
指针读数计算模块，用于解析指针检测模块输出的与指针相关的数据信息，计算仪表读数。具体方法根据指针检测模块所输出的关于矩形标注框的信息，计算指针的位置与角度，并根据模板图像中角度与读数的关联信息，通过计算得到的指针角度计算其读数，得出仪表的读数结果。
利用指针式仪表读数系统进行对现场图像进行仪表器表盘读数的处理和/或识别，提高仪表器表盘读数识别的精度。
实施例四：
一种巡检机器人，包括处理器，所述存储介质有计算机程序，所述计算机程序被处理器执行时实施例一至实施例三中的方法、步骤或者系统。
巡检机器人采用实施例一至实施例三中的方法、步骤或者系统，使得巡检机器人能够在工业现场环境复杂多变，进行仪表器表盘读数的识别，相对于现有的方式，提高巡检机器人针对于仪表器表盘读数识别的精度。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本公开的基本原理、主要特征和本公开的优点。本行业的技术人员应该了解，本公开不受上述实施例的限制，上述实施例和说明书中描述的只是说明本公开的原理，在不脱离本公开精神和范围的前提下，本公开还会有各种变化和改进，这些变化和改进都落入要求保护的本公开范围内。

Claims (8)

1.一种指针式仪表读数方法，其特征在于，包括以下步骤：
采用矩形标注框对目标仪表图像中的指针进行标注；
对所述目标仪表图像进行优化，使优化后的所述目标仪表图像的指针角度与表盘刻度之间的对应关系与模板图像的标准模板量程一致；
通过所述目标仪表图像的指针标注的所述矩形标注框与所述模板图像的表盘刻度的相对位置关系，获取所述目标仪表图像的指针的表盘读数，包括以下步骤：
采用矩形标注框中心坐标(x0,y0)与模板图像的中心坐标(xC,yC)之间的相对位置关系表述如下：
矩形标注框左上角与右下角两点坐标为(x1,y1)，(x2,y2),计算得到矩形标注框中心点坐标为
图像高为h，宽为w，模板图像的的中心点坐标为：
根据矩形标注框与模板图像的相对位置关系，得出矩形标注框位于模板图像的所在的象限，矩形标注框所在的象限，即为目标仪表图像的指针所在象限；
目标仪表图像的指针现实刻度夹角定义为：目标仪表图像的指针与模板图像的x轴正方向之间的夹角为
当目标仪表图像的指针位于第一、三象限时，目标仪表图像的指针中心线通过对应的矩形标注框左下角与右上角两点进行表述，其计算公式为：
当目标仪表图像的指针位于第二、四象限时，目标仪表图像的指针中心线通过对应的矩形标注框左下角与右上角两点进行表述，其计算公式为：
根据模板图像，测量每一刻度相对于模板图像的表盘图像的角度，由于刻度在角度上是均匀分布的，所以模板图像的表盘图像的角度与模板图像的表盘刻度的关系为一次线性函数，其函数关系可表示为：
y＝kx+b (5)
将模板图像的指针偏转角度转换为模板图像的表盘平面的角度：设模板图像的表盘最小刻度所在直线斜率为k1，最大刻度所在直线斜率为k2，求得模板图像的表盘量程之间的最大夹角为：
设定模板图像的表盘的最小刻度ymin为该一次线性函数的零刻度，对应的刻度角度为θmin，模板图像的表盘的最大刻度为ymax，最大刻度对应的角度为θmax，在量程范围内，针对于模板图像的指针相对于模板图像的表盘最小刻度之间的夹角θ时，模板图像的指针对应的表盘读数为y0，y0为：
其中θ为模板图像的指针相对于模板图像的表盘最小刻度之间的夹角；
计算目标仪表图像的指针现实刻度夹角相对于模板图像的表盘最小刻度角度θmin的相对角度，相对角度为：
获取目标仪表图像的指针现实角度与自身指针指代的表盘读数之间的关系为：
由此通过直线角度计算得出目标仪表图像的指针指代的表盘读数y0。
2.根据权利要求1所述的一种指针式仪表读数方法，其特征在于，所述矩形标注框对目标仪表图像中的指针进行标注，标注时，使目标仪表图像中的指针的中心线位于针矩形标注框的对角线上，或使目标仪表图像中的指针轮廓最小外接矩形的旋转角与矩形标注框对角线的旋转角相等。
3.根据权利要求1所述的一种指针式仪表读数方法，其特征在于，所述矩形标注框对目标仪表图像中的指针进行标注，采用人工方式进行对矩形标注框对焦。
4.根据权利要求1所述的一种指针式仪表读数方法，其特征在于，采用深度学习的方式对标注指针后的目标仪表图像进行训练，得到基于指针检测的神经网络参数模型。
5.根据权利要求1所述的一种指针式仪表读数方法，其特征在于，所述目标仪表图像的获取，包括以下步骤：
采集现场仪表图像样本，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行标注，根据标注对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别，获取目标仪表图像。
6.根据权利要求5所述的一种指针式仪表读数方法，其特征在于，采用深度学习中的YOLO目标检测模型对采集现场仪表图像样本进行标注识别训练，获取能够进行标注识别的目标仪表图像检测的神经网络参数模型，对采集现场仪表图像样本中需要进行读数的目标仪表图像进行识别。
7.根据权利要求1所述的一种指针式仪表读数方法，其特征在于，采用直方图均衡的方法减轻所述目标仪表图像因为弱光或反光带来的图像干扰，采用SIFT配准方法，将所述目标仪表图像与模板图像进行配准，使所述目标仪表图像的指针角度与表盘刻度之间的对应关系与模板图像的标准模板量程一致。
8.一种巡检机器人，包括存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被读取时处理器执行权利要求1-7任一的方法。
CN202011298473.6A 2020-11-19 2020-11-19 一种指针式仪表读数方法、系统以及巡检机器人 Active CN112257676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011298473.6A CN112257676B (zh) 2020-11-19 2020-11-19 一种指针式仪表读数方法、系统以及巡检机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011298473.6A CN112257676B (zh) 2020-11-19 2020-11-19 一种指针式仪表读数方法、系统以及巡检机器人

Publications (2)

Publication Number Publication Date
CN112257676A CN112257676A (zh) 2021-01-22
CN112257676B true CN112257676B (zh) 2023-10-24

Family

ID=74266283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011298473.6A Active CN112257676B (zh) 2020-11-19 2020-11-19 一种指针式仪表读数方法、系统以及巡检机器人

Country Status (1)

Country Link
CN (1) CN112257676B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966719B (zh) * 2021-02-05 2023-12-15 深圳市优必选科技股份有限公司 识别仪表盘读数的方法、装置及终端设备
CN113469167A (zh) * 2021-07-21 2021-10-01 浙江大华技术股份有限公司 仪表读数识别方法、装置、设备及存储介质
CN113705350A (zh) * 2021-07-28 2021-11-26 广州中科云图智能科技有限公司 变电站的指针仪表读数识别方法、装置、介质和电子设备
CN113627427B (zh) * 2021-08-04 2023-09-22 中国兵器装备集团自动化研究所有限公司 一种基于图像检测技术的仪器仪表读数方法及系统
CN113780310A (zh) * 2021-09-06 2021-12-10 桂林电子科技大学 一种基于关键点检测的仪表读数方法
CN113673486A (zh) * 2021-10-21 2021-11-19 泰豪软件股份有限公司 表计读数识别方法、装置、可读存储介质及计算机设备
CN114323106A (zh) * 2021-12-24 2022-04-12 航天科技控股集团股份有限公司 一种左右滑动的自动汽车仪表指针视觉校准系统
CN114161452A (zh) * 2021-12-30 2022-03-11 山东省科学院自动化研究所 一种巡检机器人控制系统
CN114359552A (zh) * 2022-03-02 2022-04-15 南京天创电子技术有限公司 一种基于巡检机器人的仪表图像识别方法
CN115797619B (zh) * 2023-02-10 2023-05-16 南京天创电子技术有限公司 一种适用于巡检机器人仪表图像定位的纠偏方法
CN117372937B (zh) * 2023-12-07 2024-03-29 江西理工大学南昌校区 一种基于指针仪表的数据读取方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5013154A (en) * 1989-10-16 1991-05-07 K And M Electronics, Inc. System for remotely reading an analog meter
US5673331A (en) * 1995-06-03 1997-09-30 United States Department Of Energy Method and apparatus for reading meters from a video image
JP2003223693A (ja) * 2002-01-30 2003-08-08 Kyushu Electric Power Co Inc 指示計器読み取り装置
JP3998215B1 (ja) * 2007-03-29 2007-10-24 国立大学法人山口大学 画像処理装置、画像処理方法及び画像処理プログラム
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN106682674A (zh) * 2016-12-23 2017-05-17 浙江大学 一种基于智能巡检机器人的指针式仪表自动读数方法
CN107463931A (zh) * 2017-07-06 2017-12-12 国家电网公司 一种基于arm平台的实时指针仪表识读方法及装置
WO2018162079A1 (en) * 2017-03-10 2018-09-13 Brainlab Ag Augmented reality pre-registration
CN109544628A (zh) * 2018-11-23 2019-03-29 福州大学 一种指针式仪表的准确读数识别系统及方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法
CN109828578A (zh) * 2019-02-22 2019-05-31 南京天创电子技术有限公司 一种基于YOLOv3的仪表巡检机器人最优路线规划方法
CN109948469A (zh) * 2019-03-01 2019-06-28 吉林大学 基于深度学习的巡检机器人仪表自动检测识别方法
CN110503144A (zh) * 2019-08-15 2019-11-26 南京天创电子技术有限公司 一种用于巡检机器人的指针式仪表识别方法
CN110807355A (zh) * 2019-09-12 2020-02-18 天津大学 一种基于移动机器人的指针仪表检测与读数识别方法
CN111160337A (zh) * 2019-12-12 2020-05-15 武汉工程大学 一种指针式仪表读数的自动识别方法、系统、介质及设备
CN111582071A (zh) * 2020-04-23 2020-08-25 浙江大学 一种基于HRNet网络模型的SF6仪表图像读数方法
CN111738229A (zh) * 2020-08-05 2020-10-02 江西小马机器人有限公司 一种指针表盘刻度的自动读取方法
CN111950330A (zh) * 2019-05-16 2020-11-17 杭州测质成科技有限公司 一种基于目标检测的指针式仪表示数检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484857B (zh) * 2014-12-26 2017-08-18 国网重庆市电力公司电力科学研究院 一种仪表数据读取方法及系统
US10108874B2 (en) * 2017-03-06 2018-10-23 Intelligent Security Systems Corporation Systems and methods for evaluating readings of gauge dials

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5013154A (en) * 1989-10-16 1991-05-07 K And M Electronics, Inc. System for remotely reading an analog meter
US5673331A (en) * 1995-06-03 1997-09-30 United States Department Of Energy Method and apparatus for reading meters from a video image
JP2003223693A (ja) * 2002-01-30 2003-08-08 Kyushu Electric Power Co Inc 指示計器読み取り装置
JP3998215B1 (ja) * 2007-03-29 2007-10-24 国立大学法人山口大学 画像処理装置、画像処理方法及び画像処理プログラム
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN106682674A (zh) * 2016-12-23 2017-05-17 浙江大学 一种基于智能巡检机器人的指针式仪表自动读数方法
WO2018162079A1 (en) * 2017-03-10 2018-09-13 Brainlab Ag Augmented reality pre-registration
CN107463931A (zh) * 2017-07-06 2017-12-12 国家电网公司 一种基于arm平台的实时指针仪表识读方法及装置
CN109544628A (zh) * 2018-11-23 2019-03-29 福州大学 一种指针式仪表的准确读数识别系统及方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法
CN109828578A (zh) * 2019-02-22 2019-05-31 南京天创电子技术有限公司 一种基于YOLOv3的仪表巡检机器人最优路线规划方法
CN109948469A (zh) * 2019-03-01 2019-06-28 吉林大学 基于深度学习的巡检机器人仪表自动检测识别方法
CN111950330A (zh) * 2019-05-16 2020-11-17 杭州测质成科技有限公司 一种基于目标检测的指针式仪表示数检测方法
CN110503144A (zh) * 2019-08-15 2019-11-26 南京天创电子技术有限公司 一种用于巡检机器人的指针式仪表识别方法
CN110807355A (zh) * 2019-09-12 2020-02-18 天津大学 一种基于移动机器人的指针仪表检测与读数识别方法
CN111160337A (zh) * 2019-12-12 2020-05-15 武汉工程大学 一种指针式仪表读数的自动识别方法、系统、介质及设备
CN111582071A (zh) * 2020-04-23 2020-08-25 浙江大学 一种基于HRNet网络模型的SF6仪表图像读数方法
CN111738229A (zh) * 2020-08-05 2020-10-02 江西小马机器人有限公司 一种指针表盘刻度的自动读取方法

Also Published As

Publication number Publication date
CN112257676A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112257676B (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN111950330B (zh) 一种基于目标检测的指针式仪表示数检测方法
CN107590498B (zh) 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN105894002B (zh) 一种基于机器视觉的仪表示数识别方法
CN104657711B (zh) 一种鲁棒的指针式仪表读数自动识别方法
WO2022057103A1 (zh) 一种基于深度学习的指针式仪表的自动读数的方法
CN110580723A (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN108960231B (zh) 一种基于机器视觉的细指针表盘识别读数方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN111638499A (zh) 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN111738229B (zh) 一种指针表盘刻度的自动读取方法
CN110852954B (zh) 指针式仪表的图像倾斜校正方法及系统
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
CN110288612B (zh) 铭牌定位与校正方法及设备
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN112381751A (zh) 一种基于图像处理算法的在线智能检测系统及方法
CN108447092B (zh) 视觉定位标识物的方法及装置
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
CN116543376B (zh) 一种指针式仪表读数方法和系统
CN117152727A (zh) 一种用于巡检机器人的指针式仪表自动读数方法
CN116310263A (zh) 一种指针式航空地平仪示数自动读取实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant