CN109272000A - 一种机器人仪表对准和调焦方法及装置 - Google Patents

一种机器人仪表对准和调焦方法及装置 Download PDF

Info

Publication number
CN109272000A
CN109272000A CN201811050749.1A CN201811050749A CN109272000A CN 109272000 A CN109272000 A CN 109272000A CN 201811050749 A CN201811050749 A CN 201811050749A CN 109272000 A CN109272000 A CN 109272000A
Authority
CN
China
Prior art keywords
image
dial plate
resolution image
multiplying power
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811050749.1A
Other languages
English (en)
Other versions
CN109272000B (zh
Inventor
刘晶
麦晓明
王柯
李文胜
黄炎
杨英仪
陈辉
吴晖
苏启奖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Electric Power Design Institute
Original Assignee
Guangdong Power Grid Co Ltd
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN201811050749.1A priority Critical patent/CN109272000B/zh
Publication of CN109272000A publication Critical patent/CN109272000A/zh
Application granted granted Critical
Publication of CN109272000B publication Critical patent/CN109272000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种机器人仪表对准和调焦方法及装置。本发明中采集表盘区域的图像特征构建表盘特征模板，采集辅助物区域的图像特征构建辅助物特征模板，分别将待分辨图像的图像特征与两种特征模板进行匹配，只要任意一种特征模板匹配成功即可得到表盘区域的位置，之后可以通过调节摄像头的拍摄视角和倍率使得机器人摄像头快速对准表盘并放大到合适倍率，然后根据预置调焦判据进行调焦即可得到表盘的清晰图像，解决了当前的移动机器人自动检测仪表时，难以采集到放大倍率合适且成像清晰的图像的技术问题。

Description

一种机器人仪表对准和调焦方法及装置
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种机器人仪表对准和调焦方法及装置。
背景技术
目前在电力系统的各类高压变电站中存在大量的非智能电气仪表，利用巡检机器人代替人工对变电站内的仪表设备进行巡检可以提高安全性，提高检测效率和可靠性，因此基于移动机器人是觉得仪表自动巡检成为近年来的研究热点。
当前移动机器人视觉自动检测指针仪表的读数时，为了精确检测指针读数，需要拍摄图像倍率较大的图像，但是倍率大则视场范围小，另外需要图像清晰度高才能准确检测指针，这需要以表盘区建立调焦判据，这又引入需要找到表盘在图像中的位置问题，即调焦需要先识别表盘，而识别表盘又需要调焦不能太差。
因此，导致了当前的移动机器人自动检测仪表时，难以采集到放大倍率合适且成像清晰的图像的技术问题。
发明内容
本发明提供了一种机器人仪表对准和调焦方法及装置，解决了当前的移动机器人自动检测仪表时，难以采集到放大倍率合适且成像清晰的图像的技术问题。
本发明提供了一种机器人仪表对准和调焦方法，包括：
S1：获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板并计算每一副模板图像内表盘特征模板与辅助物特征模板之间的坐标变换关系，其中，不同预置倍率之间为依次递减的关系；
S2：获取机器人拍摄的最大预置倍率的待分辨图像；
S3：提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，若是，则执行步骤S4，若否，则执行步骤S5；
S4：根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤S7，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤S7；
S5：判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则执行步骤S6，若否，则调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并返回步骤S3；
S6：根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤S7，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤S7；
S7：判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则根据预置调焦判据进行调焦，若否，调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例并根据预置调焦判据进行调焦。
优选地，步骤S1具体包括：
S11：获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板，其中，不同预置倍率之间为依次递减的关系；
S12：在每一副模板图像内构建直角坐标系，以表盘区域的形心和辅助物区域的形心的坐标差值作为表盘特征模板与辅助物特征模板之间的坐标变换关系。
优选地，图像特征具体为SIFT特征。
优选地，预置调焦判据具体为log响应调焦判据。
优选地，预置比例具体为75％。
本发明提供了一种机器人仪表对准和调焦装置，包括：
特征提取单元，用于获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板并计算每一副模板图像内表盘特征模板与辅助物特征模板之间的坐标变换关系，其中，不同预置倍率之间为依次递减的关系；
图像获取单元，用于获取机器人拍摄的最大预置倍率的待分辨图像；
第一匹配单元，用于提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，若是，则执行触发表盘匹配单元，若否，则触发第二匹配单元；
表盘匹配单元，用于根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则触发比例调焦单元，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，触发比例调焦单元；
第二匹配单元，用于判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则触发表盘转换单元，若否，则调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并触发第一匹配单元；
表盘转换单元，用于根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则触发比例调焦单元，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，触发比例调焦单元；
比例调焦单元，用于判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则根据预置调焦判据进行调焦，若否，调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例并根据预置调焦判据进行调焦。
优选地，特征提取单元具体包括：
特征子单元，用于获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板，其中，不同预置倍率之间为依次递减的关系；
坐标子单元，用于在每一副模板图像内构建直角坐标系，以表盘区域的形心和辅助物区域的形心的坐标差值作为表盘特征模板与辅助物特征模板之间的坐标变换关系。
优选地，图像特征具体为SIFT特征。
优选地，预置调焦判据具体为log响应调焦判据。
优选地，预置比例具体为75％。
从以上技术方案可以看出，本发明具有以下优点：
本发明中采集表盘区域的图像特征构建表盘特征模板，采集辅助物区域的图像特征构建辅助物特征模板，分别将待分辨图像的图像特征与两种特征模板进行匹配，只要任意一种特征模板匹配成功即可得到表盘区域的位置，之后可以通过调节摄像头的拍摄视角和倍率使得机器人摄像头快速对准表盘并放大到合适倍率，然后根据预置调焦判据进行调焦即可得到表盘的清晰图像，解决了当前的移动机器人自动检测仪表时，难以采集到放大倍率合适且成像清晰的图像的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种机器人仪表对准和调焦方法的一个实施例的流程示意图；
图2为本发明实施例提供的一种机器人仪表对准和调焦方法的另一个实施例的流程示意图；
图3为本发明实施例提供的一种机器人仪表对准和调焦装置的一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种机器人仪表对准和调焦方法及装置，解决了当前的移动机器人自动检测仪表时，难以采集到放大倍率合适且成像清晰的图像的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供了一种机器人仪表对准和调焦方法的一个实施例，包括：
步骤101：获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板并计算每一副模板图像内表盘特征模板与辅助物特征模板之间的坐标变换关系，其中，不同预置倍率之间为依次递减的关系；
需要说明的是，当进行机器人仪表对准和调焦之前，需要先建立进行特征比对的模板。
获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，根据表盘区域的图像特征构建各个预置倍率对应的模板图像的表盘特征模板，根据辅助物区域的图像特征构建各个预置倍率对应的模板图像的辅助物特征模板。
同时可以计算每一副模板图像内表盘特征模板与辅助物特征模板之间的坐标变换关系。
步骤102：获取机器人拍摄的最大预置倍率的待分辨图像；
需要说明的是，进行机器人仪表对准和调焦时，先获取机器人拍摄的最大预置倍率的待分辨图像。
步骤103：提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，若是，则执行步骤104，若否，则执行步骤105；
需要说明的是，提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，如果匹配成功，则执行步骤104，如果匹配不成功，则执行步骤105。
步骤104：根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤107，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤107；
需要说明的是，待分辨图像的图像特征与其倍率对应的模板图像的表盘特征模板匹配成功，则可以根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤107，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤107。
步骤105：判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则执行步骤106，若否，则调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并返回步骤103；
需要说明的是，待分辨图像的图像特征与其倍率对应的模板图像的表盘特征模板匹配不成功，则判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则执行步骤106，若否，则说明此倍率不合适，无法进行对准，调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并返回步骤103。
步骤106：根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤107，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤107；
需要说明的是，待分辨图像的图像特征与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配成功，则根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤107，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤107。
步骤107：判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则执行步骤108，若否，则执行步骤109；
需要说明的是，判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则执行步骤108，若否，则执行步骤109
步骤108：根据预置调焦判据进行调焦；
需要说明的是，表盘区域占据待分辨图像的比例大于或等于预置比例时，可以直接根据预置调焦判据进行调焦。
步骤109：调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例并根据预置调焦判据进行调焦。
需要说明的是，盘区域的大小未占据待分辨图像的预置比例时，则调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例再根据预置调焦判据进行调焦。
本实施例中采集表盘区域的图像特征构建表盘特征模板，采集辅助物区域的图像特征构建辅助物特征模板，分别将待分辨图像的图像特征与两种特征模板进行匹配，只要任意一种特征模板匹配成功即可得到表盘区域的位置，之后可以通过调节摄像头的拍摄视角和倍率使得机器人摄像头快速对准表盘并放大到合适倍率，然后根据预置调焦判据进行调焦即可得到表盘的清晰图像，解决了当前的移动机器人自动检测仪表时，难以采集到放大倍率合适且成像清晰的图像的技术问题。
以上为本发明实施例提供的一种机器人仪表对准和调焦方法的一个实施例，以下为本发明实施例提供的一种机器人仪表对准和调焦方法的另一个实施例。
请参阅图2，本发明实施例提供了一种机器人仪表对准和调焦方法的另一个实施例，包括：
步骤201：获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板，其中，不同预置倍率之间为依次递减的关系；
需要说明的是，获取不同预置倍率的包含表盘的清晰图像作为模板图像，预先在图像中标记表盘区域和辅助物区域。
辅助物区域可以选择一个或多个，当选择的辅助物区域越多，则后续匹配对准越容易。
提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，根据表盘区域的图像特征构建各个预置倍率对应的模板图像的表盘特征模板，根据辅助物区域的图像特征构建各个预置倍率对应的模板图像的辅助物特征模板。
进一步地，图像特征具体为SIFT特征，SIFT特征对平坦且一定纹理的平面可获得丰富的特征点并具备良好的匹配性和辨识性，同时对视角变化和照明变化具有很好的适应性，适合建立表盘区域和辅助物区域的特征模板。
辅助物区域应当同样选择较为平坦的区域，便于提取SIFT特征。
不同预置倍率之间为依次递减的关系，例如可以选择n个预置倍率，预置倍率从最大的镜头倍率m倍开始，依次减少m/n倍作为预置倍率。
将表盘区域的SIFT特征和辅助物区域的SIFT特征附加变倍数信息和名称信息即可构建表盘特征模板和辅助物特征模板。
步骤202：在每一副模板图像内构建直角坐标系，以表盘区域的形心和辅助物区域的形心的坐标差值作为表盘特征模板与辅助物特征模板之间的坐标变换关系；
需要说明的是，在每一副模板图像内构建直角坐标系，坐标系的原点定义为图像的左上角，水平向右为X轴正方向，竖直向下作为Y轴正方形。
建立了直角坐标系即可得到表盘区域的形心的坐标和辅助物区域的形心的坐标，计算表盘区域的形心和辅助物区域的形心的坐标差值即可作为表盘特征模板与辅助物特征模板之间的坐标变换关系。
步骤203：获取机器人拍摄的最大预置倍率的待分辨图像；
需要说明的是，当机器人行走到合适的位置，以合适的视角(俯仰和偏航)，需要进行机器人视觉对准时，先将镜头调整到最大预置倍率，采集图像，获取机器人拍摄的最大预置倍率的待分辨图像。
步骤204：提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，若是，则执行步骤205，若否，则执行步骤206；
需要说明的是，提取待分辨图像的SIFT特征，将待分辨图像的SIFT特征于其倍率对应的模板图像的表盘特征模板进行匹配，如果匹配成功，则执行步骤205，如果全待分辨图像的SIFT特征皆匹配不成功，则执行步骤206。
步骤205：根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤208，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤208；
需要说明的是，如果待分辨图像的SIFT特征与其倍率对应的模板图像的表盘特征模板匹配成功，则可以计算待分辨图像与其倍率对应模板图像之间的单应矩阵，并根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置。
判断表盘区域的形心是否位于待分辨图像的中心，如果是，则执行步骤208，如果否，则根据表盘区域的位置调节机器人摄像头的拍摄视角(例如控制机器人上镜头的云台进行俯仰或侧摆调整)直至表盘区域的形心位于待分辨图像的中心，并执行步骤208。
步骤206：判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则执行步骤207，若否，则调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并返回步骤204；
需要说明的是，待分辨图像的SIFT特征与其倍率对应的模板图像的表盘特征模板无法匹配，则将待分辨图像的SIFT特征与其倍率对应的模板图像的辅助物特征模板匹配，如果匹配成功，则执行步骤207，如果匹配不成功，则说明此镜头倍率不合适，在图中无法找到表盘区域和辅助物区域，调节摄像头的倍率为下一个预置倍率(即调低倍率，视场变大)，重新拍摄待分辨图像返回步骤204进行比对。
步骤207：根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤208，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤208；
需要说明的是，如果待分辨图像的SIFT特征与其倍率对应的模板图像的辅助物特征模板匹配成功，则可以计算待分辨图像与其倍率对应模板图像之间的单应矩阵，并根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中辅助物区域的位置，并根据表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置。
判断表盘区域的形心是否位于待分辨图像的中心，如果是，则执行步骤208，如果否，则根据表盘区域的位置调节机器人摄像头的拍摄视角(例如控制机器人上镜头的云台进行俯仰或侧摆调整)直至表盘区域的形心位于待分辨图像的中心，并执行步骤208。
步骤208：判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则执行步骤209，若否，则执行步骤210；
需要说明的是，判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，如果是，则执行步骤209，如果否，则执行步骤210。
进一步地，预置比例具体为75％。
步骤209：根据预置调焦判据进行调焦；
需要说明的是，表盘区域占据待分辨图像的比例如果大于或等于预置比例，则说明此事表盘区域在待分辨图像中显示的大小合适，可根据预置调焦判据进行调焦。
步骤210：调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例并根据预置调焦判据进行调焦。
需要说明的是，表盘区域占据待分辨图像的比例如果小于预置比例，则说明此事表盘区域在待分辨图像中显示的大小不合适，需要调高摄像头的倍率以增大待分辨图像中表盘区域的大小，直至表盘区域占据待分辨图像的比例大于或等于预置比例，在根据预置调焦判据进行调焦。
进一步地，预置调焦判据具体为log响应调焦判据。
本实施例中采集表盘区域的图像特征构建表盘特征模板，采集辅助物区域的图像特征构建辅助物特征模板，分别将待分辨图像的图像特征与两种特征模板进行匹配，只要任意一种特征模板匹配成功即可得到表盘区域的位置，提高匹配的速度和精准度，降低对倍率和调焦的需求，找到表盘区域的位置后再通过调节摄像头的拍摄视角和倍率使得机器人摄像头快速对准表盘并放大到合适倍率，根据预置调焦判据进行调焦即可得到表盘的清晰图像，解决了当前的移动机器人自动检测仪表时，难以采集到放大倍率合适且成像清晰的图像的技术问题。
以上为本发明实施例提供的一种机器人仪表对准和调焦方法的另一个实施例，以下为本发明实施例提供的一种机器人仪表对准和调焦装置的一个实施例。
请参阅图3，本发明实施例提供了一种机器人仪表对准和调焦装置的一个实施例，包括：
特征提取单元301，用于获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板并计算每一副模板图像内表盘特征模板与辅助物特征模板之间的坐标变换关系，其中，不同预置倍率之间为依次递减的关系；
图像获取单元302，用于获取机器人拍摄的最大预置倍率的待分辨图像；
第一匹配单元303，用于提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，若是，则执行触发表盘匹配单元304，若否，则触发第二匹配单元305；
表盘匹配单元304，用于根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则触发比例调焦单元307，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，触发比例调焦单元307；
第二匹配单元305，用于判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则触发表盘转换单元306，若否，则调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并触发第一匹配单元303；
表盘转换单元306，用于根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则触发比例调焦单元307，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，触发比例调焦单元307；
比例调焦单元307，用于判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则根据预置调焦判据进行调焦，若否，调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例并根据预置调焦判据进行调焦。
进一步地，特征提取单元301具体包括：
特征子单元3011，用于获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板，其中，不同预置倍率之间为依次递减的关系；
坐标子单元3012，用于在每一副模板图像内构建直角坐标系，以表盘区域的形心和辅助物区域的形心的坐标差值作为表盘特征模板与辅助物特征模板之间的坐标变换关系。
进一步地，图像特征具体为SIFT特征。
进一步地，预置调焦判据具体为log响应调焦判据。
进一步地，预置比例具体为75％。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种机器人仪表对准和调焦方法，其特征在于，包括：
S1：获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板并计算每一副模板图像内表盘特征模板与辅助物特征模板之间的坐标变换关系，其中，不同预置倍率之间为依次递减的关系；
S2：获取机器人拍摄的最大预置倍率的待分辨图像；
S3：提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，若是，则执行步骤S4，若否，则执行步骤S5；
S4：根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤S7，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤S7；
S5：判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则执行步骤S6，若否，则调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并返回步骤S3；
S6：根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则执行步骤S7，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，执行步骤S7；
S7：判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则根据预置调焦判据进行调焦，若否，调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例并根据预置调焦判据进行调焦。
2.根据权利要求1所述的一种机器人仪表对准和调焦方法，其特征在于，步骤S1具体包括：
S11：获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板，其中，不同预置倍率之间为依次递减的关系；
S12：在每一副模板图像内构建直角坐标系，以表盘区域的形心和辅助物区域的形心的坐标差值作为表盘特征模板与辅助物特征模板之间的坐标变换关系。
3.根据权利要求1所述的一种机器人仪表对准和调焦方法，其特征在于，图像特征具体为SIFT特征。
4.根据权利要求1所述的一种机器人仪表对准和调焦方法，其特征在于，预置调焦判据具体为log响应调焦判据。
5.根据权利要求1所述的一种机器人仪表对准和调焦方法，其特征在于，预置比例具体为75％。
6.一种机器人仪表对准和调焦装置，其特征在于，包括：
特征提取单元，用于获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板并计算每一副模板图像内表盘特征模板与辅助物特征模板之间的坐标变换关系，其中，不同预置倍率之间为依次递减的关系；
图像获取单元，用于获取机器人拍摄的最大预置倍率的待分辨图像；
第一匹配单元，用于提取待分辨图像的图像特征，判断待分辨图像的图像特征是否能与其倍率对应的模板图像的表盘特征模板匹配，若是，则执行触发表盘匹配单元，若否，则触发第二匹配单元；
表盘匹配单元，用于根据待分辨图像与其倍率对应模板图像之间的单应矩阵计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则触发比例调焦单元，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，触发比例调焦单元；
第二匹配单元，用于判断待分辨图像的图像特征是否能与待分辨图像的倍率对应的模板图像的辅助物特征模板匹配，若是，则触发表盘转换单元，若否，则调节摄像头的倍率为下一个预置倍率，重新拍摄待分辨图像并触发第一匹配单元；
表盘转换单元，用于根据待分辨图像与其倍率对应模板图像之间的单应矩阵以及表盘特征模板与辅助物特征模板之间的坐标变换关系计算待分辨图像中表盘区域的位置，判断表盘区域的形心是否位于待分辨图像的中心，若是，则触发比例调焦单元，若否，则根据表盘区域的位置调节机器人摄像头的拍摄视角直至表盘区域的形心位于待分辨图像的中心，触发比例调焦单元；
比例调焦单元，用于判断表盘区域占据待分辨图像的比例是否大于或等于预置比例，若是，则根据预置调焦判据进行调焦，若否，调节摄像头的倍率直至表盘区域占据待分辨图像的比例大于或等于预置比例并根据预置调焦判据进行调焦。
7.根据权利要求6所述的一种机器人仪表对准和调焦装置，其特征在于，特征提取单元具体包括：
特征子单元，用于获取不同预置倍率的包含表盘的清晰图像作为模板图像，提取模板图像内预先标记的表盘区域和辅助物区域的图像特征，构建各个预置倍率对应的模板图像的表盘特征模板和辅助物特征模板，其中，不同预置倍率之间为依次递减的关系；
坐标子单元，用于在每一副模板图像内构建直角坐标系，以表盘区域的形心和辅助物区域的形心的坐标差值作为表盘特征模板与辅助物特征模板之间的坐标变换关系。
8.根据权利要求6所述的一种机器人仪表对准和调焦装置，其特征在于，图像特征具体为SIFT特征。
9.根据权利要求6所述的一种机器人仪表对准和调焦装置，其特征在于，预置调焦判据具体为log响应调焦判据。
10.根据权利要求6所述的一种机器人仪表对准和调焦装置，其特征在于，预置比例具体为75％。
CN201811050749.1A 2018-09-10 2018-09-10 一种机器人仪表对准和调焦方法及装置 Active CN109272000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811050749.1A CN109272000B (zh) 2018-09-10 2018-09-10 一种机器人仪表对准和调焦方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811050749.1A CN109272000B (zh) 2018-09-10 2018-09-10 一种机器人仪表对准和调焦方法及装置

Publications (2)

Publication Number Publication Date
CN109272000A true CN109272000A (zh) 2019-01-25
CN109272000B CN109272000B (zh) 2022-01-25

Family

ID=65188427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811050749.1A Active CN109272000B (zh) 2018-09-10 2018-09-10 一种机器人仪表对准和调焦方法及装置

Country Status (1)

Country Link
CN (1) CN109272000B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069079A (zh) * 2019-05-05 2019-07-30 广东电网有限责任公司 一种基于焦距变换的机器人云台二次对准方法及相关设备
CN110222688A (zh) * 2019-06-10 2019-09-10 重庆邮电大学 一种基于多层次相关滤波的仪表定位方法
CN111414012A (zh) * 2020-04-08 2020-07-14 深圳市千乘机器人有限公司 一种巡检机器人区域检索与云台校正方法
CN111814919A (zh) * 2020-08-31 2020-10-23 江西小马机器人有限公司 一种基于深度学习的仪表定位与识别系统
CN113554778A (zh) * 2021-07-28 2021-10-26 广东电网有限责任公司 一种输电线路巡检机器人小目标识别方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126005A1 (en) * 1999-08-05 2004-07-01 Orbotech Ltd. Apparatus and methods for the inspection of objects
CN101464951A (zh) * 2007-12-21 2009-06-24 北大方正集团有限公司 图像识别方法及系统
CN101660908A (zh) * 2009-09-11 2010-03-03 天津理工大学 基于单个路标的视觉定位与导航方法
CN103034838A (zh) * 2012-12-03 2013-04-10 中国人民解放军63963部队 一种基于图像特征的特种车辆仪表类型识别与标定方法
US20140133706A1 (en) * 2012-11-14 2014-05-15 Ebay Inc. Vehicle identification based on an image
CN104408788A (zh) * 2014-09-27 2015-03-11 江苏华宏实业集团有限公司 一种巡检电力仪表的方法
WO2015131664A1 (zh) * 2014-10-10 2015-09-11 中兴通讯股份有限公司 一种调整焦距的方法、装置及终端
CN105930837A (zh) * 2016-05-17 2016-09-07 杭州申昊科技股份有限公司 基于自主巡检机器人的变电站仪表设备图像识别方法
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN106960207A (zh) * 2017-04-26 2017-07-18 佛山市南海区广工大数控装备协同创新研究院 一种基于模板匹配的汽车驾驶位仪表区多指针式仪表自动识别系统及方法
CN107145890A (zh) * 2017-05-02 2017-09-08 南通大学 一种远距离多视角环境下的指针式仪表盘自动读数方法
CN107209345A (zh) * 2014-12-26 2017-09-26 富士胶片株式会社 对焦控制装置、摄像装置、对焦控制方法及对焦控制程序
CN108121985A (zh) * 2017-11-21 2018-06-05 武汉中元华电科技股份有限公司 一种基于机器视觉的双指针仪表读数方法
CN108197634A (zh) * 2017-11-27 2018-06-22 广州供电局有限公司 自动抄表方法、系统、计算机设备和可读存储介质
CN108256524A (zh) * 2018-01-24 2018-07-06 国家电网公司 一种多表盘指针式仪表的自动读数方法
CN108446717A (zh) * 2018-02-07 2018-08-24 苏州工业大数据创新中心有限公司 一种基于图像识别的机台状态采集方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126005A1 (en) * 1999-08-05 2004-07-01 Orbotech Ltd. Apparatus and methods for the inspection of objects
CN101464951A (zh) * 2007-12-21 2009-06-24 北大方正集团有限公司 图像识别方法及系统
CN101660908A (zh) * 2009-09-11 2010-03-03 天津理工大学 基于单个路标的视觉定位与导航方法
US20140133706A1 (en) * 2012-11-14 2014-05-15 Ebay Inc. Vehicle identification based on an image
CN103034838A (zh) * 2012-12-03 2013-04-10 中国人民解放军63963部队 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN104408788A (zh) * 2014-09-27 2015-03-11 江苏华宏实业集团有限公司 一种巡检电力仪表的方法
WO2015131664A1 (zh) * 2014-10-10 2015-09-11 中兴通讯股份有限公司 一种调整焦距的方法、装置及终端
CN107209345A (zh) * 2014-12-26 2017-09-26 富士胶片株式会社 对焦控制装置、摄像装置、对焦控制方法及对焦控制程序
CN105930837A (zh) * 2016-05-17 2016-09-07 杭州申昊科技股份有限公司 基于自主巡检机器人的变电站仪表设备图像识别方法
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN106960207A (zh) * 2017-04-26 2017-07-18 佛山市南海区广工大数控装备协同创新研究院 一种基于模板匹配的汽车驾驶位仪表区多指针式仪表自动识别系统及方法
CN107145890A (zh) * 2017-05-02 2017-09-08 南通大学 一种远距离多视角环境下的指针式仪表盘自动读数方法
CN108121985A (zh) * 2017-11-21 2018-06-05 武汉中元华电科技股份有限公司 一种基于机器视觉的双指针仪表读数方法
CN108197634A (zh) * 2017-11-27 2018-06-22 广州供电局有限公司 自动抄表方法、系统、计算机设备和可读存储介质
CN108256524A (zh) * 2018-01-24 2018-07-06 国家电网公司 一种多表盘指针式仪表的自动读数方法
CN108446717A (zh) * 2018-02-07 2018-08-24 苏州工业大数据创新中心有限公司 一种基于图像识别的机台状态采集方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOMING MAI 等: "An Automatic Meter Reading Method Based on One-dimensional Measuring Curve Mapping", 《2018 IEEE INTERNATIONAL CONFERENCE OF INTELLIGENT ROBOTIC AND CONTROL ENGINEERING》 *
刘忠敏: "多指针式指示仪表识别模块的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
钱金菊 等: "变电站智能机器人巡检任务规划", 《广东电力》 *
高嘉巍: "变电站巡检机器人智能读表方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069079A (zh) * 2019-05-05 2019-07-30 广东电网有限责任公司 一种基于焦距变换的机器人云台二次对准方法及相关设备
CN110222688A (zh) * 2019-06-10 2019-09-10 重庆邮电大学 一种基于多层次相关滤波的仪表定位方法
CN111414012A (zh) * 2020-04-08 2020-07-14 深圳市千乘机器人有限公司 一种巡检机器人区域检索与云台校正方法
CN111814919A (zh) * 2020-08-31 2020-10-23 江西小马机器人有限公司 一种基于深度学习的仪表定位与识别系统
CN113554778A (zh) * 2021-07-28 2021-10-26 广东电网有限责任公司 一种输电线路巡检机器人小目标识别方法及装置

Also Published As

Publication number Publication date
CN109272000B (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
CN109272000A (zh) 一种机器人仪表对准和调焦方法及装置
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN105956582A (zh) 一种基于三维数据的人脸识别系统
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
CN107748869B (zh) 3d人脸身份认证方法与装置
CN105740780B (zh) 人脸活体检测的方法和装置
US20110025834A1 (en) Method and apparatus of identifying human body posture
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
CN109308718B (zh) 一种基于多深度相机的空间人员定位装置及方法
CN103679147A (zh) 手机型号的识别方法与装置
CN105022999A (zh) 一种人码伴随实时采集系统
CN111028271B (zh) 基于人体骨架检测的多摄像机人员三维定位跟踪系统
CN102525400B (zh) 带有双目摄像机的智能视力检测装置
CN105740779A (zh) 人脸活体检测的方法和装置
CN104665836A (zh) 长度量测方法与长度量测装置
CN104243815B (zh) 一种对焦方法及电子设备
CN105096307A (zh) 在成对的立体图像中检测物体的方法
CN106096621B (zh) 基于矢量约束的着降位置检测用随机特征点选取方法
CN105427320A (zh) 一种图像分割提取方法
WO2019011073A1 (zh) 人脸活体检测方法及相关产品
CN106264537B (zh) 图像中人体姿态高度的测量系统及方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN110363800A (zh) 一种基于点集数据与特征信息相融合的精确刚体配准方法
CN108960142A (zh) 基于全局特征损失函数的行人再识别方法
CN108710841A (zh) 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200110

Address after: 510000 room 501-503, annex building, Huaye building, No.1-3, Chumo new street, Xihua Road, Yuexiu District, Guangzhou City, Guangdong Province

Applicant after: Guangdong Electric Power Research Institute of energy technology limited liability company

Address before: 510600 No. 757 Dongfeng East Road, Guangzhou, Guangdong, Yuexiu District

Applicant before: GUANGDONG STATE GRID CO., LTD.

Applicant before: ELECTRIC POWER RESEARCH INSTITUTE, GUANGDONG POWER GRID CO., LTD.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: Room 501-503, annex building, Huaye building, No.1-3 Chuimao new street, Xihua Road, Yuexiu District, Guangzhou City, Guangdong Province 510000

Applicant after: China Southern Power Grid Power Technology Co.,Ltd.

Address before: Room 501-503, annex building, Huaye building, No.1-3 Chuimao new street, Xihua Road, Yuexiu District, Guangzhou City, Guangdong Province 510000

Applicant before: GUANGDONG ELECTRIC POWER SCIENCE RESEARCH INSTITUTE ENERGY TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant