CN114511853A - 一种文字图像书写轨迹恢复效果判别方法 - Google Patents

一种文字图像书写轨迹恢复效果判别方法 Download PDF

Info

Publication number
CN114511853A
CN114511853A CN202210417388.XA CN202210417388A CN114511853A CN 114511853 A CN114511853 A CN 114511853A CN 202210417388 A CN202210417388 A CN 202210417388A CN 114511853 A CN114511853 A CN 114511853A
Authority
CN
China
Prior art keywords
track
mask
image
score
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210417388.XA
Other languages
English (en)
Other versions
CN114511853B (zh
Inventor
黄双萍
陈洲楠
杨代辉
梁景麟
彭政华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou, South China University of Technology SCUT filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority to CN202210417388.XA priority Critical patent/CN114511853B/zh
Publication of CN114511853A publication Critical patent/CN114511853A/zh
Application granted granted Critical
Publication of CN114511853B publication Critical patent/CN114511853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种文字图像书写轨迹恢复效果判别方法，包括：对原始文字图像
Figure 100004_DEST_PATH_IMAGE001
进行掩膜化操作并二值化处理得到输入图像掩膜
Figure 538094DEST_PATH_IMAGE002
；将恢复轨迹渲染得到恢复轨迹掩膜
Figure 100004_DEST_PATH_IMAGE003
；恢复轨迹掩膜
Figure 123796DEST_PATH_IMAGE004
逐步进行多次膨胀操作，得到多个膨胀掩膜；采用交并比计算方法，分别计算恢复轨迹掩膜
Figure 133734DEST_PATH_IMAGE004
以及多个膨胀掩膜与输入图像掩膜
Figure 100004_DEST_PATH_IMAGE005
的IoU分数；计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果。本发明方法设计交并比计算方法，计算输入图像掩膜和恢复轨迹掩膜的相似度，设计动态膨胀机制，将恢复轨迹掩膜和膨胀掩膜分别与输入图像掩膜计算交并比分数，使用动态交并比分数消除输入文字图像笔画宽度对字形保真程度评价的影响。

Description

一种文字图像书写轨迹恢复效果判别方法
技术领域
本发明涉及文字图像识别技术领域，尤其涉及一种文字图像书写轨迹恢复效果判别方法。
背景技术
文字数据可以依据模态类型大致划分为图像模态数据和书写轨迹模态数据两大类，文字生成技术主要围绕这两种模态形式展开。文字图像往往是由扫描仪或是摄像头等图像采集设备得到，以点阵图像的形式保存，这种数据能直观地展示文字的形状，常用于文字的显示和阅读。文字书写轨迹由可以记录轨迹的数字笔，手写板或是触控屏等交互设备采集得到，通常以笔尖坐标点轨迹序列的方式存储，可能还会记录书写过程中的笔尖压力和速度等辅助信息。文字图像的书写轨迹恢复，是一种跨模态的文字生成技术，其目的是从不包含轨迹信息的文字图像中恢复得到其书写运动轨迹信息，常作为文字识别和数据增广的重要技术手段，也在司法笔迹鉴定、写字机器人、字体生成和文字特效生成等领域有巨大应用潜力。
文字图像的书写轨迹恢复算法不仅要学习轨迹点在空间上的位置以及不同轨迹点之间的先后顺序，还应该保证字形保真，即恢复轨迹的字形应该在视觉上和输入图像相似。当前，轨迹恢复效果的判别方法仅仅评价轨迹点的位置和先后顺序，而忽视了轨迹的字形保真。现有的判别评价方法中，一类是依赖于主观感受，通过人对恢复轨迹和输入图像进行视觉比较，直观感受出文字轨迹的恢复效果。这种评价方法具有主观性，非定量性，易错性，一类是通过手写识别模型的准确性间接评价轨迹的恢复质量。这种评价方法能一定程度上反映轨迹的重建质量，但它依赖于识别模型，其评价效果容易受到手写识别模型效果的影响。它无法对轨迹点的位置，先后顺序和轨迹的字形保真等方面做出评价，还有一类是用于直接评价恢复质量。但它们绝大多数都只关注了轨迹点位置和先后顺序的评价，例如，RMSE（root mean squared error，根均方误差）直接计算恢复和真实轨迹之间两两轨迹点的距离，DTW（dynamictimewarping，动态时间规整）先计算得到恢复和真实轨迹之间的最佳轨迹点匹配关系，随后根据该匹配关系计算两个轨迹之间的距离，这类方法可以评价恢复轨迹的轨迹点位置和先后顺序的误差，却没有对字形保真进行评价。
发明内容
有鉴于此，本发明的目的在于提供一种文字图像书写轨迹恢复效果判别方法，以解决现有技术在进行文字图像书写轨迹恢复判别时所存在的受图像背景干扰，无法准确反映字型保真程度，且现有技术对文字笔画不具鲁棒性，导致判别结果出现偏差的问题。
本发明公开了一种文字图像书写轨迹恢复效果判别方法，包括以下步骤：
步骤1，对原始文字图像
Figure 100002_DEST_PATH_IMAGE001
进行掩膜化操作并二值化处理得到输入图像掩膜
Figure 100002_DEST_PATH_IMAGE002
；
步骤2，将恢复轨迹
Figure 100002_DEST_PATH_IMAGE003
渲染得到恢复轨迹掩膜
Figure 100002_DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE006
为第1个恢复轨迹点的位置信息，
Figure DEST_PATH_IMAGE008
为第M个恢复轨迹点的位置信息；
步骤3，恢复轨迹掩膜
Figure 878367DEST_PATH_IMAGE004
逐步进行多次膨胀操作，得到多个膨胀掩膜；
步骤4，采用交并比计算方法，分别计算恢复轨迹掩膜
Figure 546109DEST_PATH_IMAGE004
以及多个膨胀掩膜与输入图像掩膜
Figure 100002_DEST_PATH_IMAGE009
的IoU分数；
步骤5，步骤4中计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果；
具体地，所述的交并比计算方法计算字形相似度IoU分数的公式为：
Figure 100002_DEST_PATH_IMAGE010
其中，
Figure 100002_DEST_PATH_IMAGE011
和
Figure 100002_DEST_PATH_IMAGE012
分别为“交”和“与”运算，
Figure 100002_DEST_PATH_IMAGE013
计算掩膜中的前景像素个数。
优选地，所述的原始文字图像
Figure 418250DEST_PATH_IMAGE001
、输入图像掩膜
Figure 100002_DEST_PATH_IMAGE014
和恢复轨迹掩膜
Figure 146034DEST_PATH_IMAGE004
的尺寸大小相同，在图像掩膜
Figure 244572DEST_PATH_IMAGE009
是用0表示空白背景，用1表示文字前景的二进制位图。
优选地，所述的原始文字图像
Figure 184846DEST_PATH_IMAGE001
、输入图像掩膜
Figure 301706DEST_PATH_IMAGE009
和恢复轨迹掩膜
Figure 997130DEST_PATH_IMAGE004
的尺寸大小为
Figure 100002_DEST_PATH_IMAGE015
，步骤2中渲染的过程中采用1为笔画宽度。
优选地，步骤3中所述的膨胀操作的过程中采用
Figure 100002_DEST_PATH_IMAGE016
的膨胀核，膨胀次数小于10。
本发明方法相对于现有技术而言，本发明方法提出动态交并比（DynamicIntersection on Union，DIoU）判别方法，用于判别恢复轨迹对输入文字图像的字形保真程度。首先，设计交并比计算方法，计算输入图像掩膜和恢复轨迹掩膜的相似度。随后，设计动态膨胀机制，逐步膨胀恢复轨迹掩膜，得到多个膨胀掩膜，将恢复轨迹掩膜和膨胀掩膜分别与输入图像掩膜计算交并比分数，使用数值最大的交并比分数为动态交并比分数，以此消除输入文字图像笔画宽度对字形保真程度评价的影响。
附图说明
图1示出了本发明实施方法的流程示意图；
图2示出了本发明实施例的判别流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明实施例的流程示意图。一种文字图像书写轨迹恢复效果判别方法，包括以下步骤：
步骤1，对原始文字图像
Figure 266786DEST_PATH_IMAGE001
进行掩膜化操作并二值化处理得到输入图像掩膜
Figure 100002_DEST_PATH_IMAGE017
；
步骤2，将恢复轨迹
Figure 400964DEST_PATH_IMAGE003
渲染得到恢复轨迹掩膜
Figure 513276DEST_PATH_IMAGE004
，
Figure 927071DEST_PATH_IMAGE006
为第1个恢复轨迹点的位置信息，
Figure 124834DEST_PATH_IMAGE008
为第M个恢复轨迹点的位置信息；
步骤3，恢复轨迹掩膜
Figure 797124DEST_PATH_IMAGE004
逐步进行多次膨胀操作，得到多个膨胀掩膜；
步骤4，采用交并比计算方法，分别计算恢复轨迹掩膜
Figure 560681DEST_PATH_IMAGE004
以及多个膨胀掩膜与输入图像掩膜
Figure 100002_DEST_PATH_IMAGE018
的IoU分数；
步骤5，步骤4中计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果。
本实施例的具体操作步骤如下：
如图2所示，对于输入文字图像
Figure 879798DEST_PATH_IMAGE001
，文字图像轨迹恢复算法得到恢复轨迹
Figure 299278DEST_PATH_IMAGE003
，其中
Figure 100002_DEST_PATH_IMAGE019
为轨迹点数。设计动态交并比（Dynamic Intersection onUnion，DIoU）判别方法，计算DIoU分数，用于判定恢复轨迹
Figure DEST_PATH_IMAGE020
对输入文字图像
Figure 509679DEST_PATH_IMAGE001
的字形保真程度：
（1）对输入文字图像
Figure 940792DEST_PATH_IMAGE001
进行掩膜化操作:二值化处理得到输入图像掩膜
Figure 352182DEST_PATH_IMAGE017
，即用0表示空白背景，用1表示文字前景的二进制位图。以1为笔画宽度，将恢复轨迹
Figure 55695DEST_PATH_IMAGE020
渲染得到恢复轨迹掩膜
Figure DEST_PATH_IMAGE021
，其尺寸与
Figure 273050DEST_PATH_IMAGE017
相同。本实例中，
Figure 89827DEST_PATH_IMAGE001
,
Figure 468856DEST_PATH_IMAGE017
和
Figure 862928DEST_PATH_IMAGE004
的尺寸都为
Figure 680712DEST_PATH_IMAGE015
。
（2）设计交并比计算方法（Intersection on Union，IoU），用于计算掩膜间的字形相似度：
Figure 945471DEST_PATH_IMAGE010
其中，
Figure 574030DEST_PATH_IMAGE011
和
Figure DEST_PATH_IMAGE022
分别为“交”和“与”运算，
Figure DEST_PATH_IMAGE023
计算掩膜中的前景像素个数。
（3）设计动态膨胀机制：对恢复轨迹掩膜
Figure 314452DEST_PATH_IMAGE021
逐步进行多次膨胀操作，得到多个膨胀掩膜。将恢复轨迹掩膜
Figure 545714DEST_PATH_IMAGE021
和膨胀掩膜分别与输入图像掩膜
Figure 71504DEST_PATH_IMAGE002
计算IoU分数，使用数值最大的IoU分数为DIoU分数。计算伪代码如下表所示。本实例中，使用
Figure 526756DEST_PATH_IMAGE016
的膨胀核，膨胀次数设置为7。动态交并比计算的计算伪代码如表1所示。
表1动态交并比计算步骤
Figure DEST_PATH_IMAGE024
与现有技术相比，本发明方法提出的DIoU只对文字前景进行相似度计算，并设置了动态膨胀机制以消除输入文字图像笔画宽度对字形保真程度评价的影响。对文字图像轨迹恢复的字形保真效果进行评价，有助于更加科学地去评价轨迹恢复方法的性能，也对轨迹恢复方法的改进有很大的指导意义。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种文字图像书写轨迹恢复效果判别方法，其特征在于，包括以下步骤：
步骤1，对原始文字图像
Figure DEST_PATH_IMAGE001
进行掩膜化操作并二值化处理得到输入图像掩膜
Figure DEST_PATH_IMAGE002
；
步骤2，将恢复轨迹
Figure DEST_PATH_IMAGE003
渲染得到恢复轨迹掩膜
Figure DEST_PATH_IMAGE004
，其中，
Figure DEST_PATH_IMAGE005
为恢复轨迹点数，
Figure DEST_PATH_IMAGE007
为第1个恢复轨迹点的位置信息，
Figure DEST_PATH_IMAGE009
为第M个恢复轨迹点的位置信息；
步骤3，恢复轨迹掩膜
Figure DEST_PATH_IMAGE010
逐步进行多次膨胀操作，得到多个膨胀掩膜；
步骤4，采用交并比计算方法，分别计算恢复轨迹掩膜
Figure 350430DEST_PATH_IMAGE004
以及多个膨胀掩膜与输入图像掩膜
Figure 470832DEST_PATH_IMAGE002
的IoU分数；
步骤5，计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果。
2.根据权利要求1所述的一种文字图像书写轨迹恢复效果判别方法，其特征在于，所述的交并比计算方法计算字形相似度IoU分数的公式为：
Figure DEST_PATH_IMAGE011
其中，
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE013
分别为“交”和“与”运算，
Figure DEST_PATH_IMAGE014
计算掩膜中的前景像素个数。
3.根据权利要求1所述的一种文字图像书写轨迹恢复效果判别方法，其特征在于，所述的原始文字图像
Figure DEST_PATH_IMAGE015
、输入图像掩膜
Figure DEST_PATH_IMAGE016
和恢复轨迹掩膜
Figure DEST_PATH_IMAGE017
的尺寸大小相同。
4.根据权利要求2或3所述的一种文字图像书写轨迹恢复效果判别方法，其特征在于，所述的原始文字图像
Figure 453832DEST_PATH_IMAGE015
、输入图像掩膜
Figure 193249DEST_PATH_IMAGE016
和恢复轨迹掩膜
Figure 210884DEST_PATH_IMAGE017
的尺寸大小为
Figure DEST_PATH_IMAGE018
，在图像掩膜
Figure 892401DEST_PATH_IMAGE016
是用0表示空白背景，用1表示文字前景的二进制位图，步骤2中渲染的过程中采用1为笔画宽度。
5.根据权利要求1所述的一种文字图像书写轨迹恢复效果判别方法，其特征在于，步骤3中所述的膨胀操作的过程中采用
Figure DEST_PATH_IMAGE019
的膨胀核，膨胀次数小于10。
CN202210417388.XA 2022-04-21 2022-04-21 一种文字图像书写轨迹恢复效果判别方法 Active CN114511853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210417388.XA CN114511853B (zh) 2022-04-21 2022-04-21 一种文字图像书写轨迹恢复效果判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210417388.XA CN114511853B (zh) 2022-04-21 2022-04-21 一种文字图像书写轨迹恢复效果判别方法

Publications (2)

Publication Number Publication Date
CN114511853A true CN114511853A (zh) 2022-05-17
CN114511853B CN114511853B (zh) 2022-07-12

Family

ID=81555360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210417388.XA Active CN114511853B (zh) 2022-04-21 2022-04-21 一种文字图像书写轨迹恢复效果判别方法

Country Status (1)

Country Link
CN (1) CN114511853B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461019A (zh) * 2020-04-01 2020-07-28 黑龙江文茁教育科技有限公司 一种汉字书写质量的评价方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216070A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 隠蔽された文字の復元方法及び画像処理装置
CN113569886A (zh) * 2021-01-15 2021-10-29 腾讯科技（深圳）有限公司 网络结构调整方法、装置和存储介质及电子设备
CN114240804A (zh) * 2021-12-27 2022-03-25 深圳万兴软件有限公司 一种抠图数据生成方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216070A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 隠蔽された文字の復元方法及び画像処理装置
CN113569886A (zh) * 2021-01-15 2021-10-29 腾讯科技（深圳）有限公司 网络结构调整方法、装置和存储介质及电子设备
CN114240804A (zh) * 2021-12-27 2022-03-25 深圳万兴软件有限公司 一种抠图数据生成方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUNG TUAN NGUYEN ET AL: "Online trajectory recovery from offline handwritten Japanese kanji characters of multiple strokes", 《2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *
詹琦梁等: "一种结合多种图像分割算法的实例分割方案", 《小型微型计算机系统》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461019A (zh) * 2020-04-01 2020-07-28 黑龙江文茁教育科技有限公司 一种汉字书写质量的评价方法、系统及设备
CN111461019B (zh) * 2020-04-01 2023-04-07 黑龙江文茁教育科技有限公司 一种汉字书写质量的评价方法、系统及设备

Also Published As

Publication number Publication date
CN114511853B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US7302099B2 (en) Stroke segmentation for template-based cursive handwriting recognition
CN104809446B (zh) 基于校正手掌方向的掌纹感兴趣区域快速提取方法
US7068821B2 (en) Information processing method and apparatus
JP4936513B2 (ja) 画像処理装置、画像処理方法、サイン登録プログラム及び記憶媒体
JP4443576B2 (ja) パターン分離抽出プログラム、パターン分離抽出装置及びパターン分離抽出方法
CN110287952B (zh) 一种维语图片字符的识别方法及系统
CN108664975B (zh) 一种维吾尔文手写字母识别方法、系统及电子设备
US10013603B2 (en) System and method for recognizing multiple object structure
CN114511853B (zh) 一种文字图像书写轨迹恢复效果判别方法
JP4817297B2 (ja) 文字検索装置
CN115359500A (zh) 带汉字纠错功能智能笔书写方法、装置及存储介质
JP2015099566A (ja) 特徴算出装置、方法及びプログラム
JP7450868B2 (ja) タッチベースユーザインターフェース入力におけるジェスチャーストローク認識
CN106250035B (zh) 动态生成个人化手写字型的系统和方法
US4853885A (en) Method of compressing character or pictorial image data using curve approximation
CN107209862B (zh) 识别装置和信息存储介质
Bunke et al. Online handwriting data acquisition using a video camera
JP2022120308A (ja) 画像処理装置及びプログラム
KR102193403B1 (ko) 도면 상에서 외곽선 및 표제 제거 방법을 포함하는 딥러닝 기반 학습 데이터 생성 방법 및 학습 데이터 생성 시스템
CN110737364B (zh) 一种安卓系统下触摸书写加速的控制方法
JP3977473B2 (ja) 手書き文字認識方法及び手書き文字認識装置
Shankar et al. Sketching in three dimensions: A beautification scheme
CN111104886A (zh) 手势识别方法、装置、设备和存储介质
Zhao et al. Trajectory generation for calligraphy writing animation
Hou et al. Real-time shape recognition scheme on projected capacitive touchscreens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant