CN105354550B - 一种基于图像局部特征点配准的表单内容提取方法 - Google Patents
一种基于图像局部特征点配准的表单内容提取方法 Download PDFInfo
- Publication number
- CN105354550B CN105354550B CN201510736902.6A CN201510736902A CN105354550B CN 105354550 B CN105354550 B CN 105354550B CN 201510736902 A CN201510736902 A CN 201510736902A CN 105354550 B CN105354550 B CN 105354550B
- Authority
- CN
- China
- Prior art keywords
- block
- image
- topography
- input picture
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于图像局部特征点配准的表单内容提取方法,包括以下步骤:提取输入图像中的SIFT特征点;求出输入图像与其对应基准图像的各局部图像块的匹配特征点对集合;根据匹配特征点对,计算基准图像的各局部图像块的变换矩阵;根据变换矩阵,求出输入图像中的各对应局部图像块;以局部图像块为节点、以局部图像块间几何关系为边建立图模型,通过图匹配运算对输入图像的各局部图像块和基准图像的各局部图像块进行匹配,求得匹配图像块集合;根据匹配图像块集合中的匹配特征点对集合,求得全局变换矩阵;通过全局变换矩阵变换输入图像;将变换后的输入图像与基准图像相减,得到对应像素的差值;对相减后的输入图像进行二值化,得到表单内容。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种基于图像局部特征点配准的表单内容提取方法。
背景技术
近些年来随着电商的迅猛发展,快递包裹的数量急剧增加。快递包裹中的表单中含有包裹寄件人、收件人、收件人地址、邮寄物品等很多信息,这些信息对邮件的分拣、信息的提取及安检等都有非常重要的意义。而识别包裹表单上的信息,首先需要提取用户输入的内容,然后才进行识别等进一步的工作。
由于因为光照、图像采集设备、包裹的尺寸等差异,包裹表单图像在分辨率、亮度、倾斜角度等处理方面比较复杂。因此,现在市场上亟需一种新的图像处理方法来克服上述缺陷。
发明内容
本发明的目的在于克服现有技术中的缺陷,提出了一种基于图像局部特征点配准的表单内容提取方法。
本发明提出的基于图像局部特征点配准的表单内容提取方法,包括以下步骤:
步骤一:提取输入图像中的SIFT特征点;
步骤二:求出所述输入图像与其对应基准图像的各局部图像块的匹配特征点对集合;
步骤三:根据所述匹配特征点对,计算所述基准图像的各局部图像块的变换矩阵;
步骤四:根据所述变换矩阵,求出所述输入图像中的各对应局部图像块;
步骤五:以所述局部图像块为节点、以所述局部图像块间几何关系为边建立图模型,通过图匹配运算对所述输入图像的各局部图像块和所述基准图像的各局部图像块进行匹配,求得匹配图像块集合;
步骤六:根据所述匹配图像块集合中的匹配特征点对集合,求得全局变换矩阵;
步骤七:通过所述全局变换矩阵变换所述输入图像;
步骤八:将变换后的所述输入图像与所述基准图像相减,得到对应像素的差值;
步骤九:对相减后的所述输入图像进行二值化,得到表单内容。
本发明提出的基于图像局部特征点配准的表单内容提取方法中,所述基准图像的局部图像块为矩形图像块。
本发明提出的基于图像局部特征点配准的表单内容提取方法中,所述步骤一之前先选取所述基准图像中具有代表性的图像块作为局部图像块。其中,具有代表性的图像块是指检测到SIFT特征点比较多的图像块。
本发明提出的基于图像局部特征点配准的表单内容提取方法中,所述步骤二采用基于特征描述子的欧几里德距离的最近邻与次近邻比值法。
本发明提出的基于图像局部特征点配准的表单内容提取方法中,所述步骤三和步骤六中,采用RANSAC方法计算所述变换矩阵。
本发明提出的基于图像局部特征点配准的表单内容提取方法中,所述步骤五中,同一图像上任意两个局部图像块间的几何关系定义为:两局部图像块中心的距离与局部图像块的两个角之间距离的比值。
本发明提出的基于图像局部特征点配准的表单内容提取方法中,对所述基准图像的局部图像块,两个角为左上角和右上角;对所述输入图像的局部图像块,两个角为与所述基准图像的局部图像块的左上角和右上角对应的两个角。
本发明方法基于图像局部特征点配准,涉及图像局部特征、图匹配、图像变换等内容,克服了复杂分辨率、亮度、倾斜角度等方面的干扰。
本发明在图像特征方面,基于图像梯度分布的SIFT(scale-invariant featuretransform)具有尺度不变性和旋转不变性等优异特性,其性能得到公认。然而,SIFT特征点匹配时,不考虑特征点之间的位置关系,只依据特征描述子之间的相似性,在图像配准时存在一定的局限性。本发明基于局部图像块进行分析,以图像块为节点、图像块间几何关系为边建立图模型,从而加入了特征点之间的位置关系,对结果有一定的改善。
本发明在图匹配方面,求解两图的匹配问题可以转化为求解该两图生成的association graph的最大(权)团问题。本发明中将图匹配问题转化为了最大权团问题,其中加权可以更合理的对相似性建模。
本发明在图像变换方面采用投影变换模型,以及采用RANSAC方法来根据匹配数据估计变换模型的参数。
本发明方法应用范围广,可以用于各种表单的内容提取,包括包裹表单、票据等。
附图说明
图1为本发明基于图像局部特征点配准的表单内容提取方法中输入图像的示意图。
图2为本发明基于图像局部特征点配准的表单内容提取方法中基准图像的示意图。
图3为实施例中基于图像局部特征点配准的表单内容提取方法的流程图。
图4为本发明方法中基准图像的局部图像块的示意图。
图5a为本发明方法中基准图像的SIFT特征点示例图(局部)。
图5b为本发明方法中输入图像的SIFT特征点示例图(局部)。
图6为本发明方法中输入图像的局部图像块的示意图。
图7为本发明方法中基准图像图模型的示意图。
图8为本发明方法中输入图像图模型的示意图。
图9为本发明方法中输入图像在图匹配后的公共子图示意图。
图10为本发明方法中基准图像在图匹配后的公共子图示意图。
图11为本发明中变换后的输入图像的示意图。
图12为本发明方法中输入图像与基准图像相减后的图像示意图。
图13为本发明方法提取出的表单内容示意图。
图14为本发明基于图像局部特征点配准的表单内容提取方法的流程图。
具体实施方式
结合以下具体实施例和附图,对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
本发明提出了一种基于图像局部特征点配准的表单内容提取方法,包括以下步骤:
步骤一:提取输入图像中的SIFT特征点;
步骤二:求出输入图像与其对应基准图像的各局部图像块的匹配特征点对集合;
步骤三:根据匹配特征点对,计算基准图像的各局部图像块的变换矩阵;
步骤四:根据变换矩阵,求出输入图像中的各对应局部图像块;
步骤五:以局部图像块为节点、以局部图像块间几何关系为边建立图模型,通过图匹配运算对输入图像的各局部图像块和基准图像的各局部图像块进行匹配,求得匹配图像块集合;
步骤六:根据匹配图像块集合中的匹配特征点对集合,求得全局变换矩阵;
步骤七:通过全局变换矩阵变换输入图像;
步骤八:将变换后的输入图像与基准图像相减,得到对应像素的差值;
步骤九:对相减后的输入图像进行二值化,得到表单内容。
本发明中,基准图像的局部图像块为矩形图像块。
本发明中,步骤一之前先选取基准图像中SIFT特征点较多的图像区域作为局部图像块。
本发明中,步骤二采用基于特征描述子的欧几里德距离的最近邻与次近邻比值法。
本发明中,步骤三和步骤六中,采用RANSAC方法计算变换矩阵。
本发明中,步骤五中,同一图像上任意两个局部图像块间的几何关系定义为:两局部图像块中心的距离与局部图像块的两个角之间距离的比值。
本发明中,对基准图像的局部图像块,两个角是指左上角和右上角;对输入图像的局部图像块,两个角是指与基准图像的局部图像块的左上角和右上角对应的两个角。
实施例
本实施例中,以提取邮政包裹表单内容为例描述本发明的实施方法,实际本发明方法可以应用于其他表单内容的提取。
本实施例基于图像局部特征点配准的表单内容提取方法中,以采集所得的贴有表单的包裹图像作为输入图像,如图1所示,本发明方法需要未填写任何内容但格式与输入图像中的表单相同的空白标准表单图像作为基准图像,如图2所示,在通过特征点匹配求得变换模型后,将输入图像变换入与基准图像相同的坐标空间中,再进行类似图像减法的操作,得到输入图像与基准图像的差异部分,即为用户输入的内容。
本实施例的整体流程图如图3所示,具体包括以下步骤:
针对不同基准图像的不同表单类型,选取若干有代表性的矩形图像块,称为局部图像块。如图4所示,每个矩形框内为一个局部图像块。
本实施例采用SIFT特征,需要在输入图像全图中提取SIFT特征点,并在基准图像的各个图像块中提取SIFT特征点。见图5a和5b,图5a为基准图像中“收件人”处图像块中提取出的SIFT特征点,图5b为输入图像中提取出的SIFT特征点的局部(“中国邮政logo”处)。
本实施例中,首先求出输入图像与各个基准图像块的匹配特征点对集合。求解方法为SIFT特征点匹配中经典的最近邻与次近邻比值法。然后,根据已经得到的匹配点对,求出各个变换矩阵。求解后保留与各基准图像块对应的内点,在本实施例的后续步骤中使用。最后,根据各个变换矩阵,求出各个基准图像块在输入图像中的对应四边形图像块,即为输入图像的局部图像块。从图6可见,输入图像中可能得出不合法的图像块或位置错误的图像块。
本实施例中使用的变换模型为投影变换:
其中,(x,y)为像素坐标,H为变换矩阵。
可以在得到匹配点对后,使用RANSAC方法,会只使用一部分匹配点对(内点)计算变换矩阵,而排除另一部分“异常点”(外点),从而对错误匹配有一定的鲁棒性。
得到输入图像的局部图像块以后,在输入图像和基准图像中以局部图像块为节点、局部图像块间几何关系为边建立图模型,然后通过图匹配运算对输入图像的局部图像块和基准图像的局部图像块进行匹配。
同一图像上任意两个图像块Pi和Pj间的几何关系,定义为两图像块中心的距离与Pi的两个角之间距离的比值:
本实施例中定义为比值,可以尺度无关;而距离则可以旋转无关。
对基准图像块,两个角是指左上角和右上角。对基准图像建立完全图Gb,节点对应基准图像块,边的权值对应两个基准图像块间的几何关系,见图7。
对输入图像块,两个角是指与基准图像块的左上角和右上角对应的两个角。对输入图像建立完全图Gf,节点对应输入图像块,边的权值对应两个输入图像块间几何关系,见图8。
求解Gb与Gf的图匹配问题,即实现了考虑图像块间几何关系的图像块匹配。为求解图匹配问题,可以由Gb与Gf生成Association Graph,求解该Association Graph的最大权团问题。求解结果见图9与图10,公共子图中为几何关系正确的匹配块。可以看到,使得SIFT特征点所得到的匹配图像块中,错误的两对被排除在了公共子图之外。
根据图匹配后的公共子图中的节点所对应的图像块中的内点,使用RANSAC方法求解全局变换矩阵H。使用H对输入图像进行变换,所得结果见图11。
将变换后的输入图像与基准图像相减,求对应像素的差值,见图12。
对相减后的图像做二值化,得到最后输出,见图13,黑色部分为提取的表单输入,白色部分为去除的背景。
本发明提出了一种基于图像局部特征点配准、用于表单内容提取的方法。本发明通过对采集所得表单图像(例如,贴有表单的包裹图像,作为输入图像)和未填写任何内容但格式与输入图像中的表单相同的空白表单图像(作为基准图像)进行配准,之后将输入图像变换到基准图像坐标空间中,再进行图像减法的操作,得到输入图像与基准图像的差异部分,即为用户输入的内容。由于输入图像存在旋转、缩放、分辨率等差异,本发明选择了具有旋转不变性和尺度不变性的SIFT算子。由于SIFT特征点匹配时,只考虑局部特征描述子,而忽略特征点之间的位置关系,在图像配准中存在一定的局限性,因此本发明以局部图像块为单位进行处理。首先选定基准图像的局部图像块,在局部图像块上进行SIFT特征点提取,同时在输入图像中进行SIFT特征点提取,然后根据特征点的匹配在输入图像中搜索与基准图像的局部图像块相匹配的图像块,接下来对基准图像和输入图像中的图像块分别建立图模型,并通过图模型的匹配对局部图像块进行匹配,从而实现输入图像中的表单与基准图像中的表单的配准。最后通过图像减运算提取表单中的内容。实验表明,本发明能有效提取表单中用户输入的内容。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。
Claims (7)
1.一种基于图像局部特征点配准的表单内容提取方法,其特征在于,包括以下步骤:
步骤一:提取输入图像中的SIFT特征点;
步骤二:求出所述输入图像与其对应基准图像的各局部图像块的匹配特征点对集合;
步骤三:根据所述匹配特征点对,计算所述基准图像的各局部图像块的变换矩阵;
步骤四:根据所述变换矩阵,求出所述输入图像中的各对应局部图像块;
步骤五:以所述局部图像块为节点、以所述局部图像块间几何关系为边建立图模型,通过图匹配运算对所述输入图像的各局部图像块和所述基准图像的各局部图像块进行匹配,求得匹配图像块集合;
步骤六:根据所述匹配图像块集合中的匹配特征点对集合,求得全局变换矩阵;
步骤七:通过所述全局变换矩阵变换所述输入图像;
步骤八:将变换后的所述输入图像与所述基准图像相减,得到对应像素的差值;
步骤九:对相减后的所述输入图像进行二值化,得到表单内容。
2.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法,其特征在于,所述基准图像的局部图像块为矩形图像块。
3.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法,其特征在于,所述步骤一之前选取所述基准图像中SIFT特征点较多的图像区域作为局部图像块。
4.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法,其特征在于,所述步骤二采用基于特征描述子的欧几里德距离的最近邻与次近邻比值法。
5.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法,其特征在于,所述步骤三和步骤六中,采用RANSAC方法计算所述变换矩阵。
6.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法,其特征在于,所述步骤五中,同一图像上任意两个局部图像块Pi和Pj间的几何关系定义为:两局部图像块中心的距离与局部图像块Pi的两个角之间距离的比值。
7.如权利要求6所述的基于图像局部特征点配准的表单内容提取方法,其特征在于,对所述基准图像的局部图像块,两个角为左上角和右上角;对所述输入图像的局部图像块,两个角为与所述基准图像的局部图像块的左上角和右上角对应的两个角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510736902.6A CN105354550B (zh) | 2015-11-03 | 2015-11-03 | 一种基于图像局部特征点配准的表单内容提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510736902.6A CN105354550B (zh) | 2015-11-03 | 2015-11-03 | 一种基于图像局部特征点配准的表单内容提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105354550A CN105354550A (zh) | 2016-02-24 |
CN105354550B true CN105354550B (zh) | 2018-09-28 |
Family
ID=55330518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510736902.6A Active CN105354550B (zh) | 2015-11-03 | 2015-11-03 | 一种基于图像局部特征点配准的表单内容提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105354550B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590155B (zh) * | 2016-07-08 | 2020-09-08 | 富士通株式会社 | 文档图像的字符真值获取装置及方法、电子设备 |
CN107085734A (zh) * | 2017-05-24 | 2017-08-22 | 南京华设科技股份有限公司 | 智能业务受理机器人 |
CN107622247B (zh) * | 2017-09-26 | 2020-08-25 | 华东师范大学 | 一种快递运单的定位与提取方法 |
CN109558844A (zh) * | 2018-11-30 | 2019-04-02 | 厦门商集网络科技有限责任公司 | 基于图像归一化提升自定义模板识别率的方法及设备 |
CN111695441B (zh) * | 2020-05-20 | 2024-05-10 | 平安科技(深圳)有限公司 | 图像文档处理方法、装置及计算机可读存储介质 |
CN113436256B (zh) * | 2021-06-07 | 2024-05-31 | 影石创新科技股份有限公司 | 拍摄装置状态识别方法、装置、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034237A (zh) * | 2010-12-10 | 2011-04-27 | 中国人民解放军国防科学技术大学 | 二维图像对应性寻找方法 |
WO2012176317A1 (ja) * | 2011-06-23 | 2012-12-27 | サイバーアイ・エンタテインメント株式会社 | 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム |
WO2015006273A1 (en) * | 2013-07-09 | 2015-01-15 | 3M Innovative Properties Company | Systems and methods for note content extraction and management by segmenting notes |
-
2015
- 2015-11-03 CN CN201510736902.6A patent/CN105354550B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034237A (zh) * | 2010-12-10 | 2011-04-27 | 中国人民解放军国防科学技术大学 | 二维图像对应性寻找方法 |
WO2012176317A1 (ja) * | 2011-06-23 | 2012-12-27 | サイバーアイ・エンタテインメント株式会社 | 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム |
WO2015006273A1 (en) * | 2013-07-09 | 2015-01-15 | 3M Innovative Properties Company | Systems and methods for note content extraction and management by segmenting notes |
Non-Patent Citations (3)
Title |
---|
A Method of Annotation Extraction from Paper Documents Using Alignment Based on Local Arrangements of Feature Points;T. Nakai等;《Ninth International Conference on Document Analysis and Recognition (ICDAR 2007)》;20071112;第23-27页 * |
A Method of Evaluating Table Segmentation Results Based on a Table Image Ground Truther;Yanhui Liang等;《2011 International Conference on Document Analysis and Recognition》;20111103;第247-251页 * |
Image matching using SIFT features and relaxation labeling technique—a constraint initializing method for dense stereo matching;Jyoti Joglekar等;《IEEE Transactions on Geoscience and Remote Sensing》;20140120;第52卷(第9期);第5643-5652页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105354550A (zh) | 2016-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105354550B (zh) | 一种基于图像局部特征点配准的表单内容提取方法 | |
Georgakis et al. | Multiview rgb-d dataset for object instance detection | |
CN105701766B (zh) | 图像匹配方法和装置 | |
CN103514446B (zh) | 一种融合传感器信息的室外场景识别方法 | |
CN104933398B (zh) | 车辆辨识系统与方法 | |
CN103606170B (zh) | 基于彩色尺度不变的街景影像特征检测与匹配方法 | |
CN105335952B (zh) | 匹配代价计算方法和装置、以及视差值计算方法和设备 | |
WO2017163384A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
CN104616297A (zh) | 一种用于图像篡改取证的改进型sift算法 | |
JPWO2014030400A1 (ja) | 物体識別装置、物体識別方法、及びプログラム | |
CN113524187B (zh) | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 | |
CN109284759A (zh) | 一种基于支持向量机(svm)的魔方颜色识别方法 | |
JP2012252621A (ja) | 画像特徴量抽出装置及びこれを用いた画像処理によるマーカ検出装置 | |
CN113420735A (zh) | 一种轮廓提取方法、装置、设备、程序产品及存储介质 | |
CN102663733A (zh) | 基于特征组对的特征点匹配方法 | |
JP5700220B2 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム | |
CN104881641B (zh) | 基于移动设备的问卷和表格数字化识别方法及系统 | |
JPWO2011010707A1 (ja) | マーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びそのプログラム | |
JP6016242B2 (ja) | 視点推定装置及びその分類器学習方法 | |
JP5931646B2 (ja) | 画像処理装置 | |
CN105814608B (zh) | 图像处理装置和特定图形检测方法 | |
JP6326622B2 (ja) | 人物検出装置 | |
Han | Tree height measurement based on image processing with 3-points correction | |
CN109325489A (zh) | 图像的识别方法及装置、存储介质、电子装置 | |
KR20150096128A (ko) | 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |