CN113435449B - 基于深度学习的ocr图像文字识别与段落输出方法 - Google Patents

基于深度学习的ocr图像文字识别与段落输出方法 Download PDF

Info

Publication number
CN113435449B
CN113435449B CN202110884424.9A CN202110884424A CN113435449B CN 113435449 B CN113435449 B CN 113435449B CN 202110884424 A CN202110884424 A CN 202110884424A CN 113435449 B CN113435449 B CN 113435449B
Authority
CN
China
Prior art keywords
text detection
image
column
text
detection box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110884424.9A
Other languages
English (en)
Other versions
CN113435449A (zh
Inventor
卢红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhi Technology Hangzhou Co ltd
Original Assignee
Quanzhi Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhi Technology Hangzhou Co ltd filed Critical Quanzhi Technology Hangzhou Co ltd
Priority to CN202110884424.9A priority Critical patent/CN113435449B/zh
Publication of CN113435449A publication Critical patent/CN113435449A/zh
Application granted granted Critical
Publication of CN113435449B publication Critical patent/CN113435449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了基于深度学习的OCR图像文字识别与段落输出方法，具体涉及OCR文字识别领域，具体操作步骤如下：S1、读入图像：将待识别的图像上传/导入，得到可编辑图像；S2、图像预处理：将步骤S1中得到的可编辑图像进行编辑，调整该图像到指定大小；S3、加载CTPN预训练模型：加载CTPN模型，先通过VGG16提取图像中的局部图像特征，再使用BLSTM提取上下文特征，然后用全连接层和多预测分支得到坐标值和概率值，最后合并字符为文本检测框。本发明在深度学习检测模型CTPN的基础上，对复杂图像进行分栏分段识别；在复杂的多栏场景下对图像中的文字进行识别并段落输出，根本上解决已有OCR识别中的结果杂糅问题，大大提升结果的可读性。

Description

基于深度学习的OCR图像文字识别与段落输出方法
技术领域
本发明涉及OCR文字识别技术领域，更具体地说，本发明涉及基于深度学习的OCR图像文字识别与段落输出方法。
背景技术
OCR技术是光学字符识别的缩写(Optical Character Recognition)，是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。可应用于银行票据、大量文字资料、档案卷宗、文案的录入和处理领域。适合于银行、税务等行业大量票据表格的自动扫描识别及长期存储。相对一般文本，通常以最终识别率、识别速度、版面理解正确率及版面还原满意度4个方面作为OCR技术的评测依据；而相对于表格及票据，通常以识别率或整张通过率及识别速度为测定OCR技术的实用标准。
OCR技术已经成熟的运用在多个领域，如，单栏图像场景下，OCR文字识别工具的准确率较高，甚至超过9成，然而，在双栏，多栏期刊及其他复杂场景下，多栏的文字距离过近，不同段落之间的联系过于紧密等杂糅现象，使得OCR识别结果准确率低，或者是多栏的识别结果混杂起来，可读性较差，通过人工进行粘贴复制也将耗费大量时间。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供基于深度学习的OCR图像文字识别与段落输出方法，本发明所要解决的技术问题是：现有OCR识别中的结果杂糅问题，结果的可读性较差。
为实现上述目的，本发明提供如下技术方案：基于深度学习的OCR图像文字识别与段落输出方法，具体操作步骤如下：
S1、读入图像：将待识别的图像上传/导入，得到可编辑图像；
S2、图像预处理：将步骤S1中得到的可编辑图像进行编辑，调整该图像到指定大小，如：1000*1000*3；
S3、加载CTPN预训练模型：加载CTPN模型，先通过VGG16提取图像中的局部图像特征，再使用BLSTM提取上下文特征，然后用全连接层和多预测分支得到坐标值和概率值，最后合并字符为文本检测框；
S4：将步骤S2中预处理后得到图像读入步骤S3中加载的CTPN模型，得到一系列文本检测框；
S5、将步骤S4中得到的文本检测框优化并生成文本框数组，数组的每个元素为一个段落，具体步骤如下：
S5.1：在多栏文本的复杂文本中，先将文本检测框正确分栏；得到文本检测框数组，每个数组元素均为一栏；
S5.2：考虑到部分文本检测框过长，包含多栏的情况，为此，对这些“长文本检测框”作切割操作；“长文本检测框”的切割已完成，每个文本检测框仅包含一栏；
S5.3：由于步骤S5.2中添加和修改了文本检测框，每栏的文本检测框数量发生了改变，因此，再做一遍步骤S5.1的操作；由此，得到优化后的文本检测框数组；
S5.4：最后，聚合每栏的文本检测框，生成段落；由此，文本框数组已全部生成，数组的每个元素即一个段落；
S6：文本识别，对文本框数组的每个元素依次识别；由此，得到由段落组成的文本内容。
在一个优选地实施方式中，所述步骤S2中调节步骤为：先通过RGB通道分别减去均值102.9801,115.9465,122.7717，再做max-min 0-1均一化处理。
在一个优选地实施方式中，所述步骤S5.1中分栏的详细操作：沿用CTPN中的anchor，即字符的宽度为16像素，设定5个字符长度为分栏的阈值，并记每个文本检测框的横坐标最小值为X_MIN；将文本检测框按X_MIN升序排列，遍历所有文本检测框，当X_MIN的极差不超过5个字符长度时，为一栏。
在一个优选地实施方式中，特别的，这里将大小标题各当做一栏处理。
在一个优选地实施方式中，所述步骤S5.2中切割操作的详细操作：首先记每栏中文本检测框合理的横坐标的最小最大值分别为X_LEFT，X_RIGHT，每个文本检测框的横坐标最小最大值分别为X_MIN，X_MAX，设定将该栏中X_MIN，X_MAX的众数分别作为X_LEFT，X_RIGHT。
在一个优选地实施方式中，遍历每栏的文本检测框，当X_MAX-X_RIGHT的差大于2个字符长度时，将文本检测框切割为2个文本检测框，其中第一个文本检测框的X_MIN＝X_MIN，X_MAX＝X_RIGHT，第二个文本检测框的X_MIN＝X_MAX+16*2，X_MAX＝X_MAX。
在一个优选地实施方式中，所述步骤S5.4中聚合的详细操作：首先，记每个文本检测框的纵坐标的最小值为Y_MIN，对每一栏，将文本检测框按Y_MIN升序排列；记每个文本检测框的缩进和行尾空白分别为INDENT1，INDENT2,以每栏的X_LEFT，X_RIGHT为对照，计算文本检测框的INDENT1＝X_MIN-X_LEFT，INDENT2＝X_RIGHT-X_MAX；设定当文本检测框的INDENT1和上一个文本检测框的INDENT2之和，即INDENT1+INDENT2<＝3字符长度时，为一个段落。
在一个优选地实施方式中，由于CTPN得到的文本检测框存在一定的不精准问题，在文本检测框判定段落的同时，设置X_MIN＝X_LEFT，从而解决文本检测框字符覆盖不完全的问题。
本发明的技术效果和优点：
本发明在深度学习检测模型CTPN的基础上，对复杂图像进行分栏分段识别；在复杂的多栏场景下对图像中的文字进行识别并段落输出，根本上解决已有OCR识别中的结果杂糅问题，大大提升结果的可读性。
附图说明
图1为本发明的段落生成模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了基于深度学习的OCR图像文字识别与段落输出方法，具体操作步骤如下：
S1、读入图像：将待识别的图像上传/导入，得到可编辑图像；
S2、图像预处理：将步骤S1中得到的可编辑图像进行编辑，调整该图像到指定大小，如：1000*1000*3；RGB通道分别减去均值102.9801,115.9465,122.7717，再做max-min0-1均一化处理；
S3、加载CTPN预训练模型：加载CTPN模型，先通过VGG16提取图像中的局部图像特征，再使用BLSTM提取上下文特征，然后用全连接层和多预测分支得到坐标值和概率值，最后合并字符为文本检测框；
S4：将步骤S2中预处理后得到图像读入步骤S3中加载的CTPN模型，得到一系列文本检测框；
S5、将步骤S4中得到的文本检测框优化并生成文本框数组，数组的每个元素为一个段落，具体步骤如下：
S5.1：在多栏文本的复杂文本中，先将文本检测框正确分栏；详细操作：沿用CTPN中的anchor，即字符的宽度为16像素，设定5个字符长度为分栏的阈值，并记每个文本检测框的横坐标最小值为X_MIN；将文本检测框按X_MIN升序排列，遍历所有文本检测框，当X_MIN的极差不超过5个字符长度时，为一栏，特别的，这里将大小标题各当做一栏处理；得到文本检测框数组，每个数组元素均为一栏；
S5.2：考虑到部分文本检测框过长，包含多栏的情况，为此，对这些“长文本检测框”作切割操作；详细操作：首先记每栏中文本检测框合理的横坐标的最小最大值分别为X_LEFT，X_RIGHT，每个文本检测框的横坐标最小最大值分别为X_MIN，X_MAX，设定将该栏中X_MIN，X_MAX的众数分别作为X_LEFT，X_RIGHT，遍历每栏的文本检测框，当X_MAX-X_RIGHT的差大于2个字符长度时，将文本检测框切割为2个文本检测框，其中第一个文本检测框的X_MIN＝X_MIN，X_MAX＝X_RIGHT，第二个文本检测框的X_MIN＝X_MAX+16*2，X_MAX＝X_MAX；“长文本检测框”的切割已完成，每个文本检测框仅包含一栏；
S5.3：由于步骤S5.2中添加和修改了文本检测框，每栏的文本检测框数量发生了改变，因此，再做一遍步骤S5.1的操作；由此，得到优化后的文本检测框数组；
S5.4：最后，聚合每栏的文本检测框，生成段落；详细操作：首先，记每个文本检测框的纵坐标的最小值为Y_MIN，对每一栏，将文本检测框按Y_MIN升序排列；记每个文本检测框的缩进和行尾空白分别为INDENT1，INDENT2,以每栏的X_LEFT，X_RIGHT为对照，计算文本检测框的INDENT1＝X_MIN-X_LEFT，INDENT2＝X_RIGHT-X_MAX；设定当文本检测框的INDENT1和上一个文本检测框的INDENT2之和，即INDENT1+INDENT2<＝3字符长度时，为一个段落，由于CTPN得到的文本检测框存在一定的不精准问题，在文本检测框判定段落的同时，设置X_MIN＝X_LEFT，从而解决文本检测框字符覆盖不完全的问题；由此，文本框数组已全部生成，数组的每个元素即一个段落；
S6：文本识别，对文本框数组的每个元素依次识别；由此，得到由段落组成的文本内容。
如图1所示的，实施方式具体为：
1.文本检测模型在复杂多栏场景下，单个文本检测框同时覆盖多栏文本内容的情况较为常见，这很大程度增加了后处理的复杂度；本方法中，以“栏+段落”的检测方法基本解决上述问题，具体操作：从多栏的角度出发，每个文本框的句首和句末会受到该栏的宽度限制；为此，通过同栏的文本框比对，将横坐标的最小最大值出现频次最多的坐标作为合理的横坐标的最小最大值，即得到更为准确的句首和句末；遍历每栏的文本框，当横坐标的最大值超出合理的句末时，对横坐标作切割，并以合理的最大值作为新的句末，并将剩余部分添加至后面的栏中，直到所有文本框的句末都在合理最大值的范围中；
2.文本检测模型在复杂多栏场景下，文本框的检测精度会受到明显影响；本方法中，文本框精度问题明显缓解，具体操作：通过同栏的文本框的比对，将横坐标的最小最大值出现频次最多的坐标作为合理的横坐标的最小最大值，即得到更为准确的句首和句末；遍历该栏的所有文本框，对精度不高的文本框的横坐标作修正，修正为合理的句首和句末，保证文本框可全部覆盖文本内容；
3.文本检测模型在复杂多栏场景下，其输出通常也是按行输出而不考虑段落，在可读性上存在较大问题；本方法中，按照内容书写的自然规律，根据段落前的末尾空格和段落开头的自然缩进，作自动化的段落识别；此外大小标题也会作为单独的段落输出；由此，段落输出的结果展示大大提高了可读性。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：具体操作步骤如下：
S1、读入图像：将待识别的图像上传/导入，得到可编辑图像；
S2、图像预处理：将步骤S1中得到的可编辑图像进行编辑，调整该图像到指定大小；
S3、加载CTPN预训练模型：加载CTPN模型，先通过VGG16提取图像中的局部图像特征，再使用BLSTM提取上下文特征，然后用全连接层和多预测分支得到坐标值和概率值，最后合并字符为文本检测框；
S4：将步骤S2中预处理后得到图像读入步骤S3中加载的CTPN模型，得到一系列文本检测框；
S5、将步骤S4中得到的文本检测框优化并生成文本框数组，数组的每个元素为一个段落，具体步骤如下：
S5.1：在多栏文本的复杂文本中，先将文本检测框正确分栏；得到文本检测框数组，每个数组元素均为一栏；
S5.2：考虑到部分文本检测框过长，包含多栏的情况，为此，对这些“长文本检测框”作切割操作；“长文本检测框”的切割已完成，每个文本检测框仅包含一栏；
S5.3：由于步骤S5.2中添加和修改了文本检测框，每栏的文本检测框数量发生了改变，因此，再做一遍步骤S5.1的操作；由此，得到优化后的文本检测框数组；
S5.4：最后，聚合每栏的文本检测框，生成段落；由此，文本框数组已全部生成，数组的每个元素即一个段落；
S6：文本识别，对文本框数组的每个元素依次识别；由此，得到由段落组成的文本内容。
2.根据权利要求1所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S2中调节步骤为：先通过RGB通道分别减去均值102.9801,115.9465,122.7717，再做max-min 0-1均一化处理。
3.根据权利要求1所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S5.1中分栏的详细操作：沿用CTPN中的anchor，即字符的宽度为16像素，设定5个字符长度为分栏的阈值，并记每个文本检测框的横坐标最小值为X_MIN；将文本检测框按X_MIN升序排列，遍历所有文本检测框，当X_MIN的极差不超过5个字符长度时，为一栏。
4.根据权利要求3所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：特别的，这里将大小标题各当做一栏处理。
5.根据权利要求4所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S5.2中切割操作的详细操作：首先记每栏中文本检测框合理的横坐标的最小最大值分别为X_LEFT，X_RIGHT，每个文本检测框的横坐标最小最大值分别为X_MIN，X_MAX，设定将该栏中X_MIN，X_MAX的众数分别作为X_LEFT，X_RIGHT。
6.根据权利要求5所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：遍历每栏的文本检测框，当X_MAX-X_RIGHT的差大于2个字符长度时，将文本检测框切割为2个文本检测框，其中第一个文本检测框的X_MIN＝X_MIN，X_MAX＝X_RIGHT，第二个文本检测框的X_MIN＝X_MAX+16*2，X_MAX＝X_MAX。
7.根据权利要求6所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S5.4中聚合的详细操作：首先，记每个文本检测框的纵坐标的最小值为Y_MIN，对每一栏，将文本检测框按Y_MIN升序排列；记每个文本检测框的缩进和行尾空白分别为INDENT1，INDENT2,以每栏的X_LEFT，X_RIGHT为对照，计算文本检测框的INDENT1＝X_MIN-X_LEFT，INDENT2＝X_RIGHT-X_MAX；设定当文本检测框的INDENT1和上一个文本检测框的INDENT2之和，即INDENT1+INDENT2<＝3字符长度时，为一个段落。
8.根据权利要求7所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：由于CTPN得到的文本检测框存在一定的不精准问题，在文本检测框判定段落的同时，设置X_MIN＝X_LEFT。
CN202110884424.9A 2021-08-03 2021-08-03 基于深度学习的ocr图像文字识别与段落输出方法 Active CN113435449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110884424.9A CN113435449B (zh) 2021-08-03 2021-08-03 基于深度学习的ocr图像文字识别与段落输出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110884424.9A CN113435449B (zh) 2021-08-03 2021-08-03 基于深度学习的ocr图像文字识别与段落输出方法

Publications (2)

Publication Number Publication Date
CN113435449A CN113435449A (zh) 2021-09-24
CN113435449B true CN113435449B (zh) 2023-08-22

Family

ID=77762644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110884424.9A Active CN113435449B (zh) 2021-08-03 2021-08-03 基于深度学习的ocr图像文字识别与段落输出方法

Country Status (1)

Country Link
CN (1) CN113435449B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869311A (zh) * 2021-09-28 2021-12-31 中通服创立信息科技有限责任公司 一种高识别率的光学字符识别方法
CN115019310B (zh) * 2022-08-05 2022-11-29 上海蜜度信息技术有限公司 图文识别方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188649A (zh) * 2019-05-23 2019-08-30 成都火石创造科技有限公司 基于tesseract-ocr的pdf文件解析方法
CN110399845A (zh) * 2019-07-29 2019-11-01 上海海事大学 一种图像中连续成段文本检测与识别方法
CN112926469A (zh) * 2021-03-04 2021-06-08 浪潮云信息技术股份公司 基于深度学习ocr与版面结构的证件识别方法
CN113159013A (zh) * 2021-04-28 2021-07-23 平安科技（深圳）有限公司 基于机器学习的段落识别方法、装置、计算机设备和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565474B2 (en) * 2010-03-10 2013-10-22 Microsoft Corporation Paragraph recognition in an optical character recognition (OCR) process

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188649A (zh) * 2019-05-23 2019-08-30 成都火石创造科技有限公司 基于tesseract-ocr的pdf文件解析方法
CN110399845A (zh) * 2019-07-29 2019-11-01 上海海事大学 一种图像中连续成段文本检测与识别方法
CN112926469A (zh) * 2021-03-04 2021-06-08 浪潮云信息技术股份公司 基于深度学习ocr与版面结构的证件识别方法
CN113159013A (zh) * 2021-04-28 2021-07-23 平安科技（深圳）有限公司 基于机器学习的段落识别方法、装置、计算机设备和介质

Also Published As

Publication number Publication date
CN113435449A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
US20230237040A1 (en) Automated document processing for detecting, extractng, and analyzing tables and tabular data
US8196030B1 (en) System and method for comparing and reviewing documents
CN113435449B (zh) 基于深度学习的ocr图像文字识别与段落输出方法
US8565474B2 (en) Paragraph recognition in an optical character recognition (OCR) process
CN105678292A (zh) 基于卷积及递归神经网络的复杂光学文字序列识别系统
CA2895917A1 (en) System and method for data extraction and searching
CN105654129A (zh) 一种光学文字序列识别方法
CN105654127A (zh) 基于端到端的图片文字序列连续识别方法
CN103995904A (zh) 一种影像档案电子资料的识别系统
CN105678300A (zh) 一种复杂图像文字序列识别方法
US12118813B2 (en) Continuous learning for document processing and analysis
Prusty et al. Indiscapes: Instance segmentation networks for layout parsing of historical indic manuscripts
Bhowmik et al. BINYAS: a complex document layout analysis system
CN116580414A (zh) 基于icr字符矩阵的合同文档差异性检测方法和装置
US9049400B2 (en) Image processing apparatus, and image processing method and program
Esakov et al. Issues in Automatic OCR Error Classification
CN114743203A (zh) 文档处理方法、装置、设备及存储介质
CN116403233A (zh) 一种基于数字化档案图像定位及识别方法
CN113779218B (zh) 问答对构建方法、装置、计算机设备和存储介质
CN113947678A (zh) 一种适用于文本图像的图像对齐方法
CN112541505B (zh) 文本识别方法、装置以及计算机可读存储介质
CN112837329A (zh) 一种藏文古籍文档图像二值化方法及系统
CN116303909B (zh) 一种电子投标文件与条款的匹配方法、设备及介质
Mas-Candela et al. Sequential next-symbol prediction for optical music recognition
Boiangiu et al. Efficient solutions for ocr text remote correction in content conversion systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant