CN104376328A - 基于坐标的分布型编码标志识别方法及系统 - Google Patents
基于坐标的分布型编码标志识别方法及系统 Download PDFInfo
- Publication number
- CN104376328A CN104376328A CN201410651226.8A CN201410651226A CN104376328A CN 104376328 A CN104376328 A CN 104376328A CN 201410651226 A CN201410651226 A CN 201410651226A CN 104376328 A CN104376328 A CN 104376328A
- Authority
- CN
- China
- Prior art keywords
- circle
- coordinate
- mark
- coding maker
- marks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000003550 marker Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 238000004064 recycling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于坐标的分布型编码标志识别方法及系统,该方法包括以下步骤:a、设置各种圆形标志,并建立平面坐标系,利用特定的编码标志的像点坐标和已知物点的三维坐标解算出相机的概略外方位元素;b、利用概略外方位元素和已知其他各编码标志的圆心物点三维坐标反算出其像点坐标,再利用反算出的像点坐标与像片中已经识别的圆形标志中心的像点坐标按照最小距离匹配原则一一匹配,从而确定出各坐标的编码值;c、利用已确定编码的标志的像点坐标和物点三维坐标重新计算相机的外方位元素,并重复步骤b,从而剔除误匹配编码标志和补全漏匹配的编码标志。本发明能够实时、快速准确的识别大量编码标志,以满足摄影测量和计算机视觉导航的需求。
Description
技术领域:
本发明涉及一种编码标志识别方法,特别是涉及一种基于坐标的分布型编码标志识别方法及系统。
背景技术:
摄影测量和计算机视觉导航中,通常要求目标物能够提供足够多且精确的特征点信息。但是,在摄影测量实际应用中,某些应用场合难以提供足够数量的特征点(如空旷的地域),而在计算机视觉导航应用中,由于特征点坐标通常未知且难以精确测定,因此难以满足精度要求。因此,在上述情况下,多采用布设人工标志点的方式提供足够数量且精度较高的特征点。
编码标志是一种特殊的测量标志,每个编码标志都对应一个唯一的识别编码。编码标志的作用主要有两方面:作为控制点辅助实现同名像点自动匹配;辅助多张像片的自动拼接。
目前的编码标志方案大多基于形状、色彩和结构的不同来区分编码。这些方式最突出的问题主要有:(1)产生的编码标志数量有限,一般的编码方案不会超过500个编码容量,这不能满足一些摄影测量任务的要求;(2)在实时动态条件下拍摄编码标志时,容易产生编码标志的变形,从而影响编码识别,造成误匹配。
发明内容:
本发明所要解决的技术问题是:克服现有技术的不足,提供一种能够实时、快速准确的识别大量编码标志,以满足摄影测量和计算机视觉导航需求的基于坐标的分布型编码标志识别方法及系统。
本发明的技术方案是:
一种基于坐标的分布型编码标志识别方法,包括以下步骤:
a、在摄影像片内设置一个最大圆标志、一个次大圆标志和不限数量的小圆标志,每个圆形标志均设有唯一编码,所述编码由其使用时的三维坐标所决定;
b、对摄影像片内的圆形标志进行逐一搜索,根据面积比对的方法,找到最大圆标志和次大圆标志,以次大圆标志的圆心为原点,以次大圆标志的圆心与最大圆标志的圆心之间的连线为Y轴,与其垂直的为X轴建立平面坐标系;
c、在次大圆标志的附近搜索距离最近并且对称分布的四个小圆标志,这四个小圆标志分别分布在该平面坐标系的四个象限内,利用上述六个特定的编码标志圆心的像点坐标和已知的物点三维坐标解算出相机的概略外方位元素;
d、利用概略外方位元素和已知其他各编码标志的圆心物点三维坐标反算出其像点坐标,再利用反算出的像点坐标与像片中已经识别的圆形标志中心的像点坐标按照最小距离匹配原则一一匹配,从而确定出各坐标的编码值;
e、利用已确定编码的标志的像点坐标和物点三维坐标重新计算相机的外方位元素,并重复步骤d,从而剔除误匹配编码标志和补全漏匹配的编码标志。
在步骤c中,对称分布的四个小圆标志按照Ⅰ、Ⅱ、Ⅲ、Ⅳ象限分别编为编码标志A、编码标志B、编码标志C和编码标志D。所述最大圆标志、次大圆标志和小圆标志为平面圆或圆柱体。
一种基于坐标的分布型编码标志识别系统,在摄影像片内设置一个最大圆标志、一个次大圆标志和不限数量的小圆标志,每个圆形标志均设有唯一编码,所述编码由其使用时的三维坐标所决定;以次大圆标志的圆心为原点,以次大圆标志的圆心与最大圆标志的圆心之间的连线为Y轴,与其垂直的为X轴建立平面坐标系;在次大圆标志的附近搜索距离最近并且对称分布的四个小圆标志,这四个小圆标志分别分布在该平面坐标系的四个象限内。
对称分布的所述四个小圆标志按照Ⅰ、Ⅱ、Ⅲ、Ⅳ象限分别设置为编码标志A、编码标志B、编码标志C和编码标志D。所述最大圆标志、次大圆标志和小圆标志为平面圆或圆柱体。
本发明的有益效果是:
1、本发明先利用建立的坐标系确定各坐标的编码值,再根据已确定编码的标志的像点坐标和物点三维坐标重新计算相机的外方位元素,从而剔除误匹配编码标志和补全漏匹配的编码标志,达到准确定位的目的。
2、本发明能够设置众多不限量的小圆标志,在实时动态条件下拍摄编码标志不会产生编码标志的变形,从而提高编码识别的准确性,满足所有摄影测量任务的需求。
3、本发明编码标志圆既可以采用平面圆结构,还可以采用圆柱体结构,容易实施,增加定位测量的准确性。
4、本发明能够实时、快速准确的识别大量编码标志,其应用范围广,易于推广实施,具有良好的经济效益。
附图说明:
图1为基于坐标的分布型编码标志识别系统的结构示意图。
具体实施方式:
实施例:参见图1,图中,1-最大圆标志,2-次大圆标志,3-对称的小圆标志,4-小圆标志,5-摄影像片。
基于坐标的分布型编码标志识别系统,其中:在摄影像片5内设置一个最大圆标志1、一个次大圆标志2和不限数量的小圆标志4,每个圆形标志均设有唯一编码,编码由其使用时的三维坐标所决定;以次大圆标志2的圆心为原点,以次大圆标志2的圆心与最大圆标志1的圆心之间的连线为Y轴,与其垂直的为X轴建立平面坐标系;在次大圆标志2的附近搜索距离最近并且对称分布的四个小圆标志3,这四个小圆标志分别分布在该平面坐标系的四个象限内。
对称分布的四个小圆标志按照Ⅰ、Ⅱ、Ⅲ、Ⅳ象限分别设置为编码标志A、编码标志B、编码标志C和编码标志D。最大圆标志1、次大圆标志2和小圆标志4为平面圆或圆柱体。
基于坐标的分布型编码标志识别方法,包括以下步骤:
a、在摄影像片5内设置一个最大圆标志1、一个次大圆标志2和不限数量的小圆标志4,每个圆形标志均设有唯一编码,所述编码由其使用时的三维坐标所决定;
b、对摄影像片5内的圆形标志进行逐一搜索,根据面积比对的方法,找到最大圆标志1和次大圆标志2,以次大圆标志2的圆心为原点,以次大圆标志2的圆心与最大圆标志1的圆心之间的连线为Y轴,与其垂直的为X轴建立平面坐标系;
c、在次大圆标志2的附近搜索距离最近并且对称分布的四个小圆标志3,这四个小圆标志分别分布在该平面坐标系的四个象限内,利用上述六个特定的编码标志圆心的像点坐标和已知的物点三维坐标解算出相机的概略外方位元素;
d、利用概略外方位元素和已知其他各编码标志的圆心物点三维坐标反算出其像点坐标,再利用反算出的像点坐标与像片中已经识别的圆形标志中心的像点坐标按照最小距离匹配原则一一匹配,从而确定出各坐标的编码值;
e、利用已确定编码的标志的像点坐标和物点三维坐标重新计算相机的外方位元素,并重复步骤d,从而剔除误匹配编码标志和补全漏匹配的编码标志。
在步骤c中,对称分布的四个小圆标志按照Ⅰ、Ⅱ、Ⅲ、Ⅳ象限分别编为编码标志A、编码标志B、编码标志C和编码标志D。最大圆标志、次大圆标志和小圆标志为平面圆或圆柱体。
本发明先利用建立的坐标系确定各坐标的编码值,再根据已确定编码的标志的像点坐标和物点三维坐标重新计算相机的外方位元素,从而剔除误匹配编码标志和补全漏匹配的编码标志,以满足摄影测量和计算机视觉导航的需求。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (6)
1.一种基于坐标的分布型编码标志识别方法,包括以下步骤:
a、在摄影像片内设置一个最大圆标志、一个次大圆标志和不限数量的小圆标志,每个圆形标志均设有唯一编码,所述编码由其使用时的三维坐标所决定;
b、对摄影像片内的圆形标志进行逐一搜索,根据面积比对的方法,找到最大圆标志和次大圆标志,以次大圆标志的圆心为原点,以次大圆标志的圆心与最大圆标志的圆心之间的连线为Y轴,与其垂直的为X轴建立平面坐标系;
c、在次大圆标志的附近搜索距离最近并且对称分布的四个小圆标志,这四个小圆标志分别分布在该平面坐标系的四个象限内,利用上述六个特定的编码标志圆心的像点坐标和已知的物点三维坐标解算出相机的概略外方位元素;
d、利用概略外方位元素和已知其他各编码标志的圆心物点三维坐标反算出其像点坐标,再利用反算出的像点坐标与像片中已经识别的圆形标志中心的像点坐标按照最小距离匹配原则一一匹配,从而确定出各坐标的编码值;
e、利用已确定编码的标志的像点坐标和物点三维坐标重新计算相机的外方位元素,并重复步骤d,从而剔除误匹配编码标志和补全漏匹配的编码标志。
2.根据权利要求1所述的基于坐标的分布型编码标志识别方法,其特征是:在步骤c中,对称分布的四个小圆标志按照Ⅰ、Ⅱ、Ⅲ、Ⅳ象限分别编为编码标志A、编码标志B、编码标志C和编码标志D。
3.根据权利要求1所述的基于坐标的分布型编码标志识别方法,其特征是:所述最大圆标志、次大圆标志和小圆标志为平面圆或圆柱体。
4.一种基于坐标的分布型编码标志识别系统,其特征是:在摄影像片内设置一个最大圆标志、一个次大圆标志和不限数量的小圆标志,每个圆形标志均设有唯一编码,所述编码由其使用时的三维坐标所决定;以次大圆标志的圆心为原点,以次大圆标志的圆心与最大圆标志的圆心之间的连线为Y轴,与其垂直的为X轴建立平面坐标系;在次大圆标志的附近搜索距离最近并且对称分布的四个小圆标志,这四个小圆标志分别分布在该平面坐标系的四个象限内。
5.根据权利要求4所述的基于坐标的分布型编码标志识别系统,其特征是:对称分布的所述四个小圆标志按照Ⅰ、Ⅱ、Ⅲ、Ⅳ象限分别设置为编码标志A、编码标志B、编码标志C和编码标志D。
6.根据权利要求4所述的基于坐标的分布型编码标志识别系统,其特征是:所述最大圆标志、次大圆标志和小圆标志为平面圆或圆柱体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410651226.8A CN104376328B (zh) | 2014-11-17 | 2014-11-17 | 基于坐标的分布型编码标志识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410651226.8A CN104376328B (zh) | 2014-11-17 | 2014-11-17 | 基于坐标的分布型编码标志识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104376328A true CN104376328A (zh) | 2015-02-25 |
CN104376328B CN104376328B (zh) | 2023-10-24 |
Family
ID=52555224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410651226.8A Active CN104376328B (zh) | 2014-11-17 | 2014-11-17 | 基于坐标的分布型编码标志识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104376328B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105957116A (zh) * | 2016-05-03 | 2016-09-21 | 大连理工大学 | 一种基于频率的动态编码点的设计与解码方法 |
CN106898025A (zh) * | 2017-02-24 | 2017-06-27 | 上海坤辕检测科技有限公司 | 一种基于八点编码标志的相机位移变换矩阵标定方法 |
CN108701241A (zh) * | 2016-02-23 | 2018-10-23 | 雀巢产品技术援助有限公司 | 用于制备饮料或食品的系统的代码和容器 |
CN110009692A (zh) * | 2019-03-28 | 2019-07-12 | 渤海大学 | 用于相机标定的大型控制场人工标志点及其编码方法 |
CN110031970A (zh) * | 2019-04-25 | 2019-07-19 | 李翠荣 | 光学镜头成像方法 |
CN114440834A (zh) * | 2022-01-27 | 2022-05-06 | 中国人民解放军战略支援部队信息工程大学 | 一种非编码标志的物方与像方匹配方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060007452A1 (en) * | 2002-10-24 | 2006-01-12 | Commissariat A L'energie Atomique | Coded target and photogrammetry method using such targets |
JP2007003233A (ja) * | 2005-06-21 | 2007-01-11 | Ritsumeikan | コードターゲット、コード検出システム、及び3次元情報取得システム |
CN101634544A (zh) * | 2009-09-02 | 2010-01-27 | 郑州辰维科技有限公司 | 一种水轮机叶片毛坯型面测量与加工余量分析方法 |
JP2010078466A (ja) * | 2008-09-26 | 2010-04-08 | Japan Atomic Energy Agency | マーカ自動登録方法及びシステム |
CN101876555A (zh) * | 2009-11-04 | 2010-11-03 | 北京控制工程研究所 | 一种月球车双目视觉导航系统标定方法 |
KR20130000356A (ko) * | 2011-06-22 | 2013-01-02 | 성균관대학교산학협력단 | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 |
US20130058581A1 (en) * | 2010-06-23 | 2013-03-07 | Beihang University | Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame |
CN103049731A (zh) * | 2013-01-04 | 2013-04-17 | 中国人民解放军信息工程大学 | 一种点分布型彩色编码标志的解码方法 |
CN103310215A (zh) * | 2013-07-03 | 2013-09-18 | 天津工业大学 | 一种环状编码标记点的检测与识别方法 |
CN105405135A (zh) * | 2015-11-06 | 2016-03-16 | 中国人民解放军信息工程大学 | 基于基本配置点的两步法摄影物点、像点自动匹配方法 |
-
2014
- 2014-11-17 CN CN201410651226.8A patent/CN104376328B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060007452A1 (en) * | 2002-10-24 | 2006-01-12 | Commissariat A L'energie Atomique | Coded target and photogrammetry method using such targets |
JP2007003233A (ja) * | 2005-06-21 | 2007-01-11 | Ritsumeikan | コードターゲット、コード検出システム、及び3次元情報取得システム |
JP2010078466A (ja) * | 2008-09-26 | 2010-04-08 | Japan Atomic Energy Agency | マーカ自動登録方法及びシステム |
CN101634544A (zh) * | 2009-09-02 | 2010-01-27 | 郑州辰维科技有限公司 | 一种水轮机叶片毛坯型面测量与加工余量分析方法 |
CN101876555A (zh) * | 2009-11-04 | 2010-11-03 | 北京控制工程研究所 | 一种月球车双目视觉导航系统标定方法 |
US20130058581A1 (en) * | 2010-06-23 | 2013-03-07 | Beihang University | Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame |
KR20130000356A (ko) * | 2011-06-22 | 2013-01-02 | 성균관대학교산학협력단 | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 |
CN103049731A (zh) * | 2013-01-04 | 2013-04-17 | 中国人民解放军信息工程大学 | 一种点分布型彩色编码标志的解码方法 |
CN103310215A (zh) * | 2013-07-03 | 2013-09-18 | 天津工业大学 | 一种环状编码标记点的检测与识别方法 |
CN105405135A (zh) * | 2015-11-06 | 2016-03-16 | 中国人民解放军信息工程大学 | 基于基本配置点的两步法摄影物点、像点自动匹配方法 |
Non-Patent Citations (4)
Title |
---|
JING CHEN等: "Detection of coded concentric rings for camera calibration" * |
ZHENZHONG XIAO等: "An accurate stereo vision system using cross-shaped target self-calibration method based on photogrammetry" * |
冯其强: "数字工业摄影测量技术研究与实践" * |
范生宏: "工业数字摄影测量中人工标志的研究与应用" * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108701241A (zh) * | 2016-02-23 | 2018-10-23 | 雀巢产品技术援助有限公司 | 用于制备饮料或食品的系统的代码和容器 |
CN108701241B (zh) * | 2016-02-23 | 2022-04-15 | 雀巢产品有限公司 | 用于制备饮料或食品的系统的代码和容器 |
CN105957116A (zh) * | 2016-05-03 | 2016-09-21 | 大连理工大学 | 一种基于频率的动态编码点的设计与解码方法 |
CN105957116B (zh) * | 2016-05-03 | 2018-12-21 | 大连理工大学 | 一种基于频率的动态编码点的设计与解码方法 |
CN106898025A (zh) * | 2017-02-24 | 2017-06-27 | 上海坤辕检测科技有限公司 | 一种基于八点编码标志的相机位移变换矩阵标定方法 |
CN110009692A (zh) * | 2019-03-28 | 2019-07-12 | 渤海大学 | 用于相机标定的大型控制场人工标志点及其编码方法 |
CN110031970A (zh) * | 2019-04-25 | 2019-07-19 | 李翠荣 | 光学镜头成像方法 |
CN110031970B (zh) * | 2019-04-25 | 2021-08-03 | 理念光电(湖北)有限公司 | 光学镜头成像方法 |
CN114440834A (zh) * | 2022-01-27 | 2022-05-06 | 中国人民解放军战略支援部队信息工程大学 | 一种非编码标志的物方与像方匹配方法 |
CN114440834B (zh) * | 2022-01-27 | 2023-05-02 | 中国人民解放军战略支援部队信息工程大学 | 一种非编码标志的物方与像方匹配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104376328B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104376328A (zh) | 基于坐标的分布型编码标志识别方法及系统 | |
CN103400373B (zh) | 相机检校控制场人工标志像点坐标自动识别定位方法 | |
CN103196426A (zh) | 一种全站仪联合三维激光扫描仪用于建筑测量的方法 | |
CN102411778A (zh) | 一种机载激光点云与航空影像的自动配准方法 | |
CN104331689B (zh) | 一种合作标识及多智能个体身份与位姿的识别方法 | |
CN103644860A (zh) | 大型空间自由曲面测量方法 | |
CN107808395B (zh) | 一种基于slam的室内定位方法 | |
CN103049731B (zh) | 一种点分布型彩色编码标志的解码方法 | |
CN103033171B (zh) | 基于颜色与结构特征的编码标志 | |
CN110009692B (zh) | 用于相机标定的大型控制场人工标志点及其编码方法 | |
CN103743393A (zh) | 一种圆柱状目标的位姿测量方法 | |
CN105203994B (zh) | 一种电子标签定位方法、装置、服务器及系统 | |
WO2021109138A1 (zh) | 三维图像传感系统以及相关电子装置以及飞时测距方法 | |
CN101853396A (zh) | 点分布型编码标志识别方法 | |
CN108133496A (zh) | 一种基于g2o与随机蕨类的稠密地图创建方法 | |
CN104048649B (zh) | 一种多视影像与三维模型的快速配准方法 | |
CN102930551A (zh) | 利用圆心的投影坐标和极线求解摄像机内参数 | |
CN106600649A (zh) | 一种基于二维标记码的相机自标定方法 | |
CN104318566B (zh) | 可返回多个高程值的新型多视影像铅垂线轨迹匹配方法 | |
CN109163708B (zh) | 无人机大比例尺地形图房屋线的优化方法、装置与介质 | |
CN105405135B (zh) | 基于基本配置点的两步法摄影物点、像点自动匹配方法 | |
CN104021543A (zh) | 一种基于平面棋盘模板的镜头畸变自校正方法 | |
CN107347209A (zh) | 基于Beacon技术的三点共线定位方法 | |
CN102901490B (zh) | 一种基于动态阈值的图像匹配方法及系统 | |
CN204302998U (zh) | 基于坐标的分布型编码标志识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |