CN109299663A - 手写字体识别方法、系统以及终端设备 - Google Patents

手写字体识别方法、系统以及终端设备 Download PDF

Info

Publication number
CN109299663A
CN109299663A CN201810977842.0A CN201810977842A CN109299663A CN 109299663 A CN109299663 A CN 109299663A CN 201810977842 A CN201810977842 A CN 201810977842A CN 109299663 A CN109299663 A CN 109299663A
Authority
CN
China
Prior art keywords
hand
written
text
manuscript
written script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810977842.0A
Other languages
English (en)
Inventor
董志辉
江晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810977842.0A priority Critical patent/CN109299663A/zh
Publication of CN109299663A publication Critical patent/CN109299663A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种手写字体识别方法、系统以及终端设备,其中方法包括以下步骤:获取用户书写的手写字体文字,并对手写字体文字进行特征提取以获得手写字体文字的特征信息,以及根据手写字体文字的特征信息创建文本库;采集手写书稿的图像,并对手写书稿的图像进行处理以获取每个手写字体文字的特征信息;选择文本库中与手写书稿的作者相对应的用户的映射关系集,并通过调用选择的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配,以获得每个手写字体文字对应的标准字体文字;根据每个手写字体文字对应的标准字体文字生成手写书稿对应的标准字体书稿。本发明能够快速识别手写书稿的手写字体,并且识别精度得到了大大提高。

Description

手写字体识别方法、系统以及终端设备
技术领域
本发明涉及计算机识别技术领域,特别涉及一种手写字体识别方法、一种手写字体识别系统以及一种终端设备。
背景技术
当前,随着文字处理技术的快速发展,很多电子设备都具备手写输入文字的功能,通过识别算法将手写字体的文字转换为计算机文字。但是,现有手写字体的识别方法大多数是基于笔画或者轨迹来进行识别的,其需要对笔画或轨迹进行准确提取和识别,然而由于每个人的手写字体都不同,并且很多文字在手写时会出现笔画变形、甚至被省去,所以有时很难准确、快速地识别出手写字体的文字。
因此,现有手写字体的识别方法,无论是在识别精度方面,还是在识别速度方面,都很难满足用户的需求。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的一个目的在于提出一种手写字体识别方法,基于不同用户手写字体的特性不同来创建相应的映射关系集,然后在识别某一用户的手写书稿时调用其对应的映射关系集,从而能够快速识别手写书稿的手写字体文字,并且识别精度得到了大大提高。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种终端设备。
本发明的第四个目的在于提出一种手写字体识别系统。
为达到上述目的,本发明第一方面实施例提出的一种手写字体识别方法,包括以下步骤:获取用户书写的手写字体文字,并对所述手写字体文字进行特征提取以获得所述手写字体文字的特征信息,以及根据所述手写字体文字的特征信息创建文本库,其中,所述文本库包括至少一个用户的手写字体文字的特征信息与标准字体的映射关系集;采集手写书稿的图像,并对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息;选择所述文本库中与所述手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对所述手写书稿中每个手写字体文字的特征信息进行匹配,以获得所述手写书稿中每个手写字体文字对应的标准字体文字;根据所述手写书稿中每个手写字体文字对应的标准字体文字生成所述手写书稿对应的标准字体书稿。
根据本发明实施例的手写字体识别方法,通过获取用户书写的手写字体文字,并对手写字体文字进行特征提取以获得手写字体文字的特征信息,然后根据手写字体文字的特征信息来创建文本库,从而可以基于不同用户的手写字体的不同特性来创建不同用户所对应的手写字体文字的特征信息与标准字体的映射关系集,这样在对某用户的手写书稿进行识别时,通过采集手写书稿的图像,并对手写书稿的图像进行处理以获取手写书稿中每个手写字体文字的特征信息,然后选择文本库中与手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配,来获得手写书稿中每个手写字体文字对应的标准字体文字,最后根据手写书稿中每个手写字体文字对应的标准字体文字生成手写书稿对应的标准字体书稿,从而能够实现对手写书稿的手写字体进行快速识别,并且识别精度得到了大大提高,对手写书稿的快速准确识别具有重要的实际意义。
另外,根据本发明上述实施例提出的手写字体识别方法还可以具有如下附加的技术特征:
根据本发明的一个实施例,通过采集用户书写的手写字体文字的图像以获取用户书写的手写字体文字,并对所述手写字体文字所对应的图像进行处理以进行特征提取。
根据本发明的一个实施例,对所述手写字体文字所对应的图像进行处理以进行特征提取,包括:将所述手写字体文字所对应的图像转化为灰度图;对所述手写字体文字所对应的灰度图进行HOG处理以获取HOG特征,以便将HOG特征作为所述手写字体文字的特征信息。
根据本发明的一个实施例,根据所述手写字体文字的特征信息创建文本库,包括:将所述手写字体文字对应的HOG特征输入到预设的极限学习机模型,并通过设置所述极限学习机模型的参数进行训练,以建立手写字体文字的HOG特征与标准字体的映射关系集。
根据本发明的另一个实施例,在获取用户书写的手写字体文字时,获取所述手写字体文字对应的标准字体,并多次对所述手写字体文字进行特征提取以获得所述手写字体文字的多个HOG特征,以及根据所述手写字体文字的多个HOG特征建立特征集合,以作为所述手写字体文字的特征信息,并根据所述特征值集合和所述手写字体文字对应的标准字体生成该用户的手写字体文字的特征信息与标准字体的映射关系集。
根据本发明的一个实施例,对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息,包括:将所述手写书稿的图像转化为灰度图;对所述手写书稿对应的灰度图进行预处理以获得所述手写书稿中每个手写字体文字的灰度图;对所述手写书稿中每个手写字体文字的灰度图进行HOG处理以获取HOG特征,以便将HOG特征作为所述手写书稿中每个手写字体文字的特征信息。
根据本发明的一个实施例,对所述手写书稿对应的灰度图进行预处理,包括:对所述手写书稿对应的灰度图进行网格化处理以撷取所述手写书稿中每个手写字体文字的矩形块。
根据本发明的一个实施例,在创建文本库时,还建立至少一个用户的手写字体文字的特征信息与最佳手写字体的映射关系集,以便在根据手写字体文字的特征信息与最佳手写字体的映射关系集对所述手写书稿中每个手写字体文字的特征信息进行匹配时,直接获得所述手写书稿中的每个手写字体文字,并根据所述手写书稿中的每个手写字体文字生成所述手写书稿的电子版书稿。
为达到上述目的,本发明第二方面实施例提出了一种计算机可读存储介质,其上存储有手写字体识别程序,该手写字体识别程序被处理器执行时实现如上所述的手写字体识别方法。
根据本发明实施例的计算机可读存储介质,其存储的手写字体识别程序被处理器执行时,实现上述的手写字体识别方法,从而能够实现对手写书稿的手写字体进行快速识别,并且大大提高了识别精度,将误差降低到最低,对手写书稿的快速准确识别具有重要的实际意义。
为达到上述目的,本发明第三方面实施例提出的一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手写字体识别程序,所述处理器执行所述手写字体识别程序时实现如上所述的手写字体识别方法。
根据本发明实施例的终端设备,通过执行上述的手写字体识别方法,能够实现对手写书稿的手写字体进行快速识别,并且大大提高了识别精度,将误差降低到最低,对手写书稿的快速准确识别具有重要的实际意义。
为达到上述目的,本发明第四方面实施例提出的一种手写字体识别系统,包括:获取模块,用于获取用户书写的手写字体文字;特征提取模块,用于对所述手写字体文字进行特征提取以获得所述手写字体文字的特征信息;创建模块,用于根据所述手写字体的特征信息创建文本库,其中,所述文本库包括至少一个用户的手写字体文字的特征信息与标准字体的映射关系集;采集模块,用于采集手写书稿的图像;图像处理模块,用于对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息;匹配模块,用于选择所述文本库中与所述手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对所述手写书稿中每个手写字体文字的特征信息进行匹配,以获得所述手写书稿中每个手写字体文字对应的标准字体文字;生成模块,用于根据所述手写书稿中每个手写字体文字对应的标准字体文字生成所述手写书稿对应的标准字体书稿。
根据本发明实施例的手写字体识别系统,通过获取模块获取用户书写的每个字的手写字体文字,并通过特征提取模块对每个字的手写字体文字进行特征提取以获得每个字的手写字体文字的特征信息,创建模块根据每个字的手写字体文字的特征信息获取对应的标准字体以创建文本库,从而利用基于不同每个用户的手写字体的不同特性来创建每个不同用户所对应的手写字体文字的特征信息与标准字体的映射关系集,这样在对每个某个用户的手写书稿进行识别时,通过采集模块采集手写书稿的图像,并通过图像处理模块对手写书稿的图像进行处理以获取手写书稿中每个手写字体文字的特征信息,然后匹配模块选择文本库中与手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配,来获得手写书稿中每个手写字体文字对应的标准字体文字,最后生成模块根据手写书稿中每个手写字体文字对应的标准字体文字生成手写书稿对应的标准字体书稿,从而能够实现对手写书稿的手写字体进行快速识别,并且识别精度得到了大大提高,对手写书稿的快速准确识别具有重要的实际意义。
附图说明
图1为根据本发明实施例的手写字体识别方法的流程图;
图2为根据本发明一个实施例的创建文本库的流程图;
图3为根据本发明实施例的手写字体识别系统的方框示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
现有的手写字体识别方法,大多都是通过采集任意用户书写每个字时的笔画或者轨迹来进行文字识别,将手写字体的文字转换为计算机标准文字。然而,面临对手写书稿进行识别时,由于每个人的手写字体均都不同,即每个人的手写字体的特性不相同,现有技术很难做到对手写字体的高精度识别,误识别率较高。
本发明实施例提出的手写字体的识别方法,正是利用每个人的手写字体的特性不同,通过对某些特定用户的手写字体进行训练来生成这些特定用户中每人对应的手写字体文字的特征信息与标准字体的映射关系集,从而创建文本库,这样在识别这个特定用户的手写书稿时,采集手写书稿的图像,并对手写书稿的图像进行处理以获取手写书稿中每个手写字体文字的特征信息,然后选择文本库中与手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配,来获得手写书稿中每个手写字体文字对应的标准字体文字,最后根据手写书稿中每个手写字体文字对应的标准字体文字生成手写书稿对应的标准字体书稿,从而能够实现对手写书稿的手写字体进行快速识别,并且识别精度得到了大大提高,对手写书稿的快速准确识别具有重要的实际意义。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的手写字体识别方法的流程图。如图1所示,该手写字体识别方法包括以下步骤:
S1,获取用户书写的手写字体文字,并对手写字体文字进行特征提取以获得手写字体文字的特征信息,以及根据手写字体文字的特征信息创建文本库,其中,文本库包括至少一个用户的手写字体文字的特征信息与标准字体的映射关系集。
在本发明的一个实施例中,可以选取一个训练文本,该训练文本中的每个字为被训练用户书写的,例如该训练文本可包含3500个不同的手写字体文字,这样可以通过拍摄装置对训练文本中的每个手写字体文字进行拍摄,从而来获得该训练用户对应的训练文本中每个字的手写字体文字图片,对该训练用户对应的训练文本中每个字的手写字体文字图片进行处理以进行特征提取,获得该训练用户对应的训练文本中每个字的手写字体的特征信息,例如每个字的手写字体的字迹分布信息,然后将每个字的手写字体的字迹分布信息与其相应的标准字体例如计算机文字进行对应,从而基于该被训练用户对应训练的每个字的手写字体的特征信息与对应的标准计算机文字之间的关系建立该被训练用户的手写字体文字的特征信息与标准字体的映射关系集,并进行存储,进而创建包含至少一个用户的手写字体文字的特征信息与标准字体的映射关系集的文本库,其中,每一个手写字体文字的特征信息与标准字体的映射关系集和对应的用户信息相关联,从而形成的文本库可包括一些特定用户的手写字体文字的特征信息与标准字体的映射关系集。
在本发明的另一个实施例中,被训练用户还可基于标准模板例如带有米字格的模板进行书写每个待训练的手写字体文字,每个手写字体文字可进行多次迭代训练,从而建立被训练用户的手写字体文字的特征信息与标准字体的映射关系集。
当然,可以理解的是,由于常用汉字基本就在3500字左右,因此,每个被训练用户只需要训练这3500字的手写字体,就可以创建对应的手写字体文字的特征信息与标准字体的映射关系集。
S2,采集手写书稿的图像,并对手写书稿的图像进行处理以获取手写书稿中每个手写字体文字的特征信息。
根据本发明的一个实施例,可通过摄像装置采集手写书稿中每页书稿的图像,然后对每页书稿的图像进行处理,例如通过将每页书稿的图像进行块划分来获得每个字对应的块图像,再对每个字对应的块图像进行特征提取来获得每页书稿中每个手写字体文字的特征信息。
需要说明的是,对每个字对应的块图像进行特征提取的方式可与上述对训练用户书写的每个字的手写字体图片进行处理以进行特征提取的方式相同,从而可以获得手写书稿中每个手写字体文字的字迹分布信息。
S3,选择文本库中与手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配,以获得手写书稿中每个手写字体文字对应的标准字体文字。
具体地,基于文本库中每个用户的信息来选择相应的用户的手写字体文字的特征信息与标准字体的映射关系集,然后调用选择的映射关系集,将手写书稿中每个手写字体文字的特征信息与选择的映射关系集中该用户的手写字体文字的特征信息进行相似度匹配,从而可以快速准确地识别出手写书稿中每个手写字体文字对应的标准字体文字。
S4,根据手写书稿中每个手写字体文字对应的标准字体文字生成手写书稿对应的标准字体书稿。
具体而言,将手写书稿中每个手写字体文字对应的标准字体文字和手写书稿中每个手写字体文字的位置进行关联,从而生成手写书稿对应的标准字体书稿,例如宋体书稿、楷体书稿等。
根据本发明实施例的手写字体识别方法,通过获取用户书写的手写字体文字,并对手写字体文字进行特征提取以获得手写字体文字的特征信息,然后根据手写字体文字的特征信息来创建文本库,从而可以基于不同用户的手写字体的不同特性来创建不同用户所对应的手写字体文字的特征信息与标准字体的映射关系集,这样在对某用户的手写书稿进行识别时,通过采集手写书稿的图像,并对手写书稿的图像进行处理以获取手写书稿中每个手写字体文字的特征信息,然后选择文本库中与手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配,来获得手写书稿中每个手写字体文字对应的标准字体文字,最后根据手写书稿中每个手写字体文字对应的标准字体文字生成手写书稿对应的标准字体书稿,从而能够实现对手写书稿的手写字体进行快速识别,并且识别精度得到了大大提高,对手写书稿的快速准确识别具有重要的实际意义。
根据本发明的一个实施例,在步骤S1中,可通过采集用户书写的手写字体文字的图像以获取用户书写的每个字的手写字体文字,并对手写字体文字所对应的图像进行处理以进行特征提取。
其中,对手写字体文字所对应的图像进行处理以进行特征提取的步骤,包括:将手写字体文字所对应的图像转化为灰度图;对手写字体文字所对应的灰度图进行HOG(Histogram of Oriented Gradient,方向梯度直方图)处理以获取HOG特征,以便将HOG特征作为手写字体文字的特征信息。
并且,在本发明的一个实施例中,根据手写字体文字的特征信息创建文本库的步骤,包括:将手写字体文字对应的HOG特征输入到预设的极限学习机模型,并通过设置极限学习机模型的参数进行训练,以建立手写字体文字的HOG特征与标准字体的映射关系集。
具体地,在本发明的一个实施例中,如图2所示,创建文本库的具体步骤包括:
S10,样本图像处理,即采用Gamma校正法将文字图像样本的颜色空间进行标准化,以获得标准化图像样本,例如进行灰度图转换。
S11,计算样本图像梯度,即分别计算标准化图像样本中每一个像素点横坐标和纵坐标方向的梯度,并根据每一个像素点横坐标和纵坐标方向的梯度计算每个像素位置的梯度方向值。
S12,对原始图像进行切分,即将文字图像样本的原始图像分为n个细胞单元cell,每个细胞单元cell的大小为m*m,将a*a个相邻的细胞单元cell组成为一个联通区间block,相邻的联通区间 block有重叠overlap,构建每一个细胞单元cell的特征向量。其中,n≥4,n>m≥3,m>a≥2。
S13,为每个细胞单元cell构建梯度方向直方图,即采用b个二进制bin的直方图来统计图像样本像素的梯度信息,也就是将细胞单元cell的梯度方向360度分成b个方向块,对细胞单元cell内每个像素用梯度方向在直方图中进行加权投影,可以得到这个细胞单元cell的梯度方向直方图,梯度大小就是作为投影的权值。其中,b≥2。
S14,构建每一个联通区间block梯度方向直方图,即将一个联通区间block内多有的细胞单元cell的特征向量串联起来,获得联通区间block的HOG特征。
S15,联通区间block的HOG特征归一化,即将联通区间block的HOG特征进行对比度归一化处理,以获得联通区间block的归一化HOG特征。
S16,收集HOG特征,即将所有联通区间block的归一化HOG特征收集,组合成HOG特征矩阵。
S17,设置极限学习机模型参数,例如以图像样本的HOG特征矩阵作为极限学习机模型的网络输入,设置极限学习机模型的激活函数、隐层节点个数,并进行网络的训练。
其中,激活函数为sigmoid,隐层节点个数为600-1000,例如800。
S18,获取用户书写的手写字体文字的待识别图像,并将图像转化为灰度图。
S19,特征信息提取,即对手写字体文字的待识别图像的灰度图进行HOG特征处理,获取待识别图像的HOG特征。
最后,将待识别图像的HOG特征作为极限学习机模型的参数输入极限学习机,进行图像识别,以获得手写字体的文字所对应的标准字体文字,以便创建用户的手写字体文字的特征信息与标准字体的映射关系集,从而创建文本库。
根据本发明的一个示例,Gamma校正法的gamma压缩公式为:I(x,y)=I(x,y )gamma,其中gamma为预设值,例如可以为0.45左右。
其中,在计算样本图像梯度时,图像中像素点(x,y)可采用如下公式进行计算:
Gx(x,y)=H(x+1,y)-H(x-1,y),
Gy(x,y)=H(x,y+1)-H(x,y-1),
式中GX(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值,像素点(x,y)处的梯度幅值和梯度方向分别为:
并且,相邻的联通区间block可有二分之一的区域重叠 overlap。
在本实施例中,加权投影是将每个像素用梯度方向映射到固定的角度范围。优选的是,角度范围为0-360度。
在本实施例中,联通区间block的HOG特征归一化具体为:
设V为联通区间block的未归一化的HOG特征向量,归一化因子设为,其中为很小的标准化产量,防止除数为0,取值范围在1e-3到5e-2之间的效果最好,为图像的特征向量,是指的二阶范数。
其中,取值如下:,若>0.2,则截断取值为0.2,重新计算归一化因子。
在本发明的实施例中,通过归一化后,能对光照变化和阴影获得更好的效果。
在本发明的实施例中,文字图像样本可来源于汉字样本数据库。
在本发明的另一个实施例中,在获取用户书写的手写字体文字时,可以直接获取手写字体文字对应的标准字体,并多次对手写字体文字进行特征提取以获得手写字体文字的多个HOG特征,以及根据手写字体文字的多个HOG特征建立特征集合,以作为手写字体文字的特征信息,然后根据特征值集合和手写字体文字对应的标准字体生成该用户的手写字体文字的特征信息与标准字体的映射关系集。
也就是说,可对被训练用户每次书写的待训练手写字体文字进行HOG特征提取,从而获得每个待训练手写字体文字的多个HOG特征,然后基于多个HOG特征的分布情况形成每个待训练手写字体文字的特征集合,再将形成的特征集合与这个手写字体文字对应的标准字体文字进行对应,从而能够生成被训练用户的手写字体文字的特征集合与标准字体的映射关系集。这样,在识别该用户的手写书稿时,直接调用该用户的手写字体文字的特征集合与标准字体的映射关系集,对手写书稿中的每个手写字体文字的进行特征匹配,从而快速准确地识别出手写书稿中的每个手写字体文字。
根据本发明的一个实施例,对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息,包括:将所述手写书稿的图像转化为灰度图;对所述手写书稿对应的灰度图进行预处理以获得所述手写书稿中每个手写字体文字的灰度图;对所述手写书稿中每个手写字体文字的灰度图进行HOG处理以获取HOG特征,以便将HOG特征作为所述手写书稿中每个手写字体文字的特征信息。
在提取手写书稿中每个手写字体文字的特征信息时,采用上述同样的方式进行HOG特征提取,这里就不再详细赘述。
其中,对所述手写书稿对应的灰度图进行预处理,包括:对所述手写书稿对应的灰度图进行网格化处理以撷取所述手写书稿中每个手写字体文字的矩形块。
也就是说,通过摄像装置获取手写书稿中每页书稿的图像,然后对每页书稿的图像进行灰度图处理,接着采用网格化的处理方式对手写书稿对应的灰度图进行处理,从而可以得到矩阵式的矩形块,每个矩形块对应一个手写字体的文字。然后对每个矩形块进行HOG特征提取,最后通过逐行匹配的方式来识别每行手写字体的文字,从而识别每页书稿的手写字体的文字,进而实现对整个手写书稿的识别,最终通过将手写书稿中每个手写字体文字对应的标准字体文字和手写书稿中每个手写字体文字的位置进行关联,从而生成手写书稿对应的标准字体书稿。
在本发明的另一个实施例中,在创建文本库时,还建立至少一个用户的手写字体文字的特征信息与最佳手写字体的映射关系集,以便在根据手写字体文字的特征信息与最佳手写字体的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配时,直接获得手写书稿中的每个手写字体文字,并根据手写书稿中的每个手写字体文字生成手写书稿的电子版书稿。
也就是说,在识别出手写书稿的手写字体文字后,可以直接获取手写书稿的手写字体文字,然后基于手写书稿的手写字体文字来形成电子版的手写书稿,最终呈现的是电子版的手写字体的书稿,扩大了应用范围,为用户提高更多选择的空间。
其中,需要说明的是,电子版书稿以自身作者的手写字体进行展现时需要得到作者/用户的授权,从而可以防止伪造,提高了安全性。
本发明实施例还提出了一种计算机可读存储介质,其上存储有手写字体识别程序,该手写字体识别程序被处理器执行时实现如上所述的手写字体识别方法。
根据本发明实施例的计算机可读存储介质,其存储的手写字体识别程序被处理器执行时,实现上述的手写字体识别方法,从而能够实现对手写书稿的手写字体进行快速识别,并且大大提高了识别精度,将误差降到最低,对手写书稿的快速准确识别具有重要的实际意义。
此外,本发明实施例提出的一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手写字体识别程序,所述处理器执行所述手写字体识别程序时实现如上所述的手写字体识别方法。
该终端设备可以是移动终端例如手机、平板电脑等,也可以是其他具有拍摄装置和/或存储装置的设备。
根据本发明实施例的终端设备,通过执行上述的手写字体识别方法,能够实现对手写书稿的手写字体进行快速识别,并且大大提高了识别精度,将误差降低到最低,对手写书稿的快速准确识别具有重要的实际意义。
图3为根据本发明实施例的手写字体识别系统的方框示意图。如图3所示,该手写字体识别系统100包括:获取模块10、特征提取模块20、创建模块30、采集模块40、图像处理模块50、匹配模块60和生成模块70。
其中,获取模块10用于获取用户书写的手写字体文字;特征提取模块20用于对手写字体文字进行特征提取以获得手写字体文字的特征信息;创建模块30用于根据手写字体文字的特征信息创建文本库,其中,所述文本库包括至少一个用户的手写字体文字的特征信息与标准字体的映射关系集;采集模块40用于采集手写书稿的图像;图像处理模块50用于对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息;匹配模块60用于选择所述文本库中与所述手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对所述手写书稿中每个手写字体文字的特征信息进行匹配,以获得所述手写书稿中每个手写字体文字对应的标准字体文字;生成模块70用于根据所述手写书稿中每个手写字体文字对应的标准字体文字生成所述手写书稿对应的标准字体书稿。
根据本发明实施例的手写字体识别系统,通过获取模块获取用户书写的每个字的手写字体文字,并通过特征提取模块对每个字的手写字体文字进行特征提取以获得每个字的手写字体文字的特征信息,创建模块根据每个字的手写字体文字的特征信息获取对应的标准字体以创建文本库,从而利用基于不同每个用户的手写字体的不同特性来创建每个不同用户所对应的手写字体文字的特征信息与标准字体的映射关系集,这样在对每个某个用户的手写书稿进行识别时,通过采集模块采集手写书稿的图像,并通过图像处理模块对手写书稿的图像进行处理以获取手写书稿中每个手写字体文字的特征信息,然后匹配模块选择文本库中与手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对手写书稿中每个手写字体文字的特征信息进行匹配,来获得手写书稿中每个手写字体文字对应的标准字体文字,最后生成模块根据手写书稿中每个手写字体文字对应的标准字体文字生成手写书稿对应的标准字体书稿,从而能够实现对手写书稿的手写字体进行快速识别,并且识别精度得到了大大提高,对手写书稿的快速准确识别具有重要的实际意义。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征 “上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种手写字体识别方法,其特征在于,包括以下步骤:
获取用户书写的手写字体文字,并对所述手写字体文字进行特征提取以获得所述手写字体文字的特征信息,以及根据所述手写字体文字的特征信息创建文本库,其中,所述文本库包括至少一个用户的手写字体文字的特征信息与标准字体的映射关系集;
采集手写书稿的图像,并对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息;
选择所述文本库中与所述手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对所述手写书稿中每个手写字体文字的特征信息进行匹配,以获得所述手写书稿中每个手写字体文字对应的标准字体文字;
根据所述手写书稿中每个手写字体文字对应的标准字体文字生成所述手写书稿对应的标准字体书稿。
2.如权利要求1所述的手写字体识别方法,其特征在于,通过采集用户书写的手写字体文字的图像以获取用户书写的手写字体文字,并对所述手写字体文字所对应的图像进行处理以进行特征提取。
3.如权利要求2所述的手写字体识别方法,其特征在于,对所述手写字体文字所对应的图像进行处理以进行特征提取,包括:
将所述手写字体文字所对应的图像转化为灰度图;
对所述手写字体文字所对应的灰度图进行HOG处理以获取HOG特征,以便将HOG特征作为所述手写字体文字的特征信息。
4.如权利要求3所述的手写字体识别方法,其特征在于,根据所述手写字体文字的特征信息创建文本库,包括:
将所述手写字体文字对应的HOG特征输入到预设的极限学习机模型,并通过设置所述极限学习机模型的参数进行训练,以建立手写字体文字的HOG特征与标准字体的映射关系集。
5.如权利要求3所述的手写字体识别方法,其特征在于,在获取用户书写的手写字体文字时,获取所述手写字体文字对应的标准字体,并多次对所述手写字体文字进行特征提取以获得所述手写字体文字的多个HOG特征,以及根据所述手写字体文字的多个HOG特征建立特征集合,以作为所述手写字体文字的特征信息,并根据所述特征值集合和所述手写字体文字对应的标准字体生成该用户的手写字体文字的特征信息与标准字体的映射关系集。
6.如权利要求1-5中任一项所述的手写字体识别方法,其特征在于,对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息,包括:
将所述手写书稿的图像转化为灰度图;
对所述手写书稿对应的灰度图进行预处理以获得所述手写书稿中每个手写字体文字的灰度图;
对所述手写书稿中每个手写字体文字的灰度图进行HOG处理以获取HOG特征,以便将HOG特征作为所述手写书稿中每个手写字体文字的特征信息。
7.如权利要求6所述的手写字体识别方法,其特征在于,对所述手写书稿对应的灰度图进行预处理,包括:
对所述手写书稿对应的灰度图进行网格化处理以撷取所述手写书稿中每个手写字体文字的矩形块。
8.如权利要求1所述的手写字体识别方法,其特征在于,在创建文本库时,还建立至少一个用户的手写字体文字的特征信息与最佳手写字体的映射关系集,以便在根据手写字体文字的特征信息与最佳手写字体的映射关系集对所述手写书稿中每个手写字体文字的特征信息进行匹配时,直接获得所述手写书稿中的每个手写字体文字,并根据所述手写书稿中的每个手写字体文字生成所述手写书稿的电子版书稿。
9.一种终端设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手写字体识别程序,所述处理器执行所述手写字体识别程序时实现如权利要求1-8中任一项所述的手写字体识别方法。
10.一种手写字体识别系统,其特征在于,包括:
获取模块,用于获取用户书写的手写字体文字;
特征提取模块,用于对所述手写字体文字进行特征提取以获得所述手写字体文字的特征信息;
创建模块,用于根据所述手写字体的特征信息创建文本库,其中,所述文本库包括至少一个用户的手写字体文字的特征信息与标准字体的映射关系集;
采集模块,用于采集手写书稿的图像;
图像处理模块,用于对所述手写书稿的图像进行处理以获取所述手写书稿中每个手写字体文字的特征信息;
匹配模块,用于选择所述文本库中与所述手写书稿的作者相对应的用户的手写字体文字的特征信息与标准字体的映射关系集,并通过调用选择的映射关系集对所述手写书稿中每个手写字体文字的特征信息进行匹配,以获得所述手写书稿中每个手写字体文字对应的标准字体文字;
生成模块,用于根据所述手写书稿中每个手写字体文字对应的标准字体文字生成所述手写书稿对应的标准字体书稿。
CN201810977842.0A 2018-08-27 2018-08-27 手写字体识别方法、系统以及终端设备 Pending CN109299663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810977842.0A CN109299663A (zh) 2018-08-27 2018-08-27 手写字体识别方法、系统以及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810977842.0A CN109299663A (zh) 2018-08-27 2018-08-27 手写字体识别方法、系统以及终端设备

Publications (1)

Publication Number Publication Date
CN109299663A true CN109299663A (zh) 2019-02-01

Family

ID=65165327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810977842.0A Pending CN109299663A (zh) 2018-08-27 2018-08-27 手写字体识别方法、系统以及终端设备

Country Status (1)

Country Link
CN (1) CN109299663A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197238A (zh) * 2019-04-15 2019-09-03 广州企图腾科技有限公司 一种字体类别的识别方法、系统及终端设备
CN111079490A (zh) * 2019-05-29 2020-04-28 广东小天才科技有限公司 一种书写字的识别方法及电子设备
CN111651229A (zh) * 2020-06-03 2020-09-11 北京百度网讯科技有限公司 字体更换方法、装置及设备
CN112016425A (zh) * 2020-08-21 2020-12-01 上海松鼠课堂人工智能科技有限公司 一种基于深度学习的手写答案识别方法和系统
CN113408373A (zh) * 2021-06-02 2021-09-17 中金金融认证中心有限公司 手写识别方法、系统、客户端和服务器端
CN114249197A (zh) * 2021-12-15 2022-03-29 上海贝思特电气有限公司 手写呼梯方法、装置、设备及存储介质
WO2022099872A1 (zh) * 2020-11-12 2022-05-19 深圳市鹰硕教育服务有限公司 智能笔字符识别方法、装置及电子设备
CN115620302A (zh) * 2022-11-22 2023-01-17 山东捷瑞数字科技股份有限公司 一种图片字体识别方法、系统、电子设备及存储介质
CN116206319A (zh) * 2023-02-17 2023-06-02 北京中兴正远科技有限公司 用于临床试验的数据处理系统
CN117472257A (zh) * 2023-12-28 2024-01-30 广东德远科技股份有限公司 一种基于ai算法的自动转正楷的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513278A (en) * 1993-05-27 1996-04-30 Matsushita Electric Industrial Co., Ltd. Handwritten character size determination apparatus based on character entry area
CN1549192A (zh) * 2003-05-16 2004-11-24 中国地质大学(武汉) 手写字体的计算机识别与自动输入方法
CN101276414A (zh) * 2008-04-07 2008-10-01 宇龙计算机通信科技(深圳)有限公司 手写字体识别方法及装置
CN107133647A (zh) * 2017-05-04 2017-09-05 湘潭大学 一种快速手写体识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513278A (en) * 1993-05-27 1996-04-30 Matsushita Electric Industrial Co., Ltd. Handwritten character size determination apparatus based on character entry area
CN1549192A (zh) * 2003-05-16 2004-11-24 中国地质大学(武汉) 手写字体的计算机识别与自动输入方法
CN101276414A (zh) * 2008-04-07 2008-10-01 宇龙计算机通信科技(深圳)有限公司 手写字体识别方法及装置
CN107133647A (zh) * 2017-05-04 2017-09-05 湘潭大学 一种快速手写体识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
迈克尔•劳伦斯•福克纳 等: "《交际有道:如何拥有更多更长久的朋友与合作》", 31 January 2015, 中国青年出版社 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197238B (zh) * 2019-04-15 2023-09-26 广州企图腾科技有限公司 一种字体类别的识别方法、系统及终端设备
CN110197238A (zh) * 2019-04-15 2019-09-03 广州企图腾科技有限公司 一种字体类别的识别方法、系统及终端设备
CN111079490A (zh) * 2019-05-29 2020-04-28 广东小天才科技有限公司 一种书写字的识别方法及电子设备
CN111651229A (zh) * 2020-06-03 2020-09-11 北京百度网讯科技有限公司 字体更换方法、装置及设备
CN112016425A (zh) * 2020-08-21 2020-12-01 上海松鼠课堂人工智能科技有限公司 一种基于深度学习的手写答案识别方法和系统
WO2022099872A1 (zh) * 2020-11-12 2022-05-19 深圳市鹰硕教育服务有限公司 智能笔字符识别方法、装置及电子设备
CN113408373A (zh) * 2021-06-02 2021-09-17 中金金融认证中心有限公司 手写识别方法、系统、客户端和服务器端
CN114249197A (zh) * 2021-12-15 2022-03-29 上海贝思特电气有限公司 手写呼梯方法、装置、设备及存储介质
CN115620302A (zh) * 2022-11-22 2023-01-17 山东捷瑞数字科技股份有限公司 一种图片字体识别方法、系统、电子设备及存储介质
CN115620302B (zh) * 2022-11-22 2023-12-01 山东捷瑞数字科技股份有限公司 一种图片字体识别方法、系统、电子设备及存储介质
CN116206319A (zh) * 2023-02-17 2023-06-02 北京中兴正远科技有限公司 用于临床试验的数据处理系统
CN116206319B (zh) * 2023-02-17 2023-09-29 北京中兴正远科技有限公司 用于临床试验的数据处理系统
CN117472257A (zh) * 2023-12-28 2024-01-30 广东德远科技股份有限公司 一种基于ai算法的自动转正楷的方法及系统
CN117472257B (zh) * 2023-12-28 2024-04-26 广东德远科技股份有限公司 一种基于ai算法的自动转正楷的方法及系统

Similar Documents

Publication Publication Date Title
CN109299663A (zh) 手写字体识别方法、系统以及终端设备
CN109446873A (zh) 手写字体识别方法、系统以及终端设备
CN109543690B (zh) 用于提取信息的方法和装置
US10489682B1 (en) Optical character recognition employing deep learning with machine generated training data
RU2661750C1 (ru) Распознавание символов с использованием искусственного интеллекта
CN111291629A (zh) 图像中文本的识别方法、装置、计算机设备及计算机存储介质
RU2726185C1 (ru) Детектирование и идентификация объектов на изображениях
CN110147786A (zh) 用于检测图像中的文本区域的方法、装置、设备以及介质
CN112819686B (zh) 基于人工智能的图像风格处理方法、装置及电子设备
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
CN108846385B (zh) 基于卷积-反卷积神经网络的图像识别、校正方法和装置
US20230027412A1 (en) Method and apparatus for recognizing subtitle region, device, and storage medium
CN111507354B (zh) 信息抽取方法、装置、设备以及存储介质
CN107980139A (zh) 文档扫描器
CN108509833A (zh) 一种基于结构化分析字典的人脸识别方法、装置及设备
CN113378815B (zh) 一种场景文本定位识别的系统及其训练和识别的方法
CN116311256A (zh) 图像处理方法及装置、识别网络的训练方法及装置
CN114092938A (zh) 图像的识别处理方法、装置、电子设备及存储介质
Arafat et al. Two stream deep neural network for sequence-based Urdu ligature recognition
CN109147002B (zh) 一种图像处理方法和装置
Zhao et al. DetectGAN: GAN-based text detector for camera-captured document images
CN114419174A (zh) 在线手写文本合成方法、装置和存储介质
CN116361502B (zh) 一种图像检索方法、装置、计算机设备及存储介质
US20230110558A1 (en) Systems and methods for detecting objects
CN111783881A (zh) 基于预训练模型的场景适配学习方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190201