CN111860506A - 识别文字的方法和装置 - Google Patents

识别文字的方法和装置 Download PDF

Info

Publication number
CN111860506A
CN111860506A CN202010721524.5A CN202010721524A CN111860506A CN 111860506 A CN111860506 A CN 111860506A CN 202010721524 A CN202010721524 A CN 202010721524A CN 111860506 A CN111860506 A CN 111860506A
Authority
CN
China
Prior art keywords
character
graph
center
feature points
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010721524.5A
Other languages
English (en)
Other versions
CN111860506B (zh
Inventor
张晓强
吕鹏原
刘珊珊
章成全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010721524.5A priority Critical patent/CN111860506B/zh
Publication of CN111860506A publication Critical patent/CN111860506A/zh
Priority to KR1020210024997A priority patent/KR20220013298A/ko
Priority to JP2021040886A priority patent/JP7317062B2/ja
Priority to EP21164053.7A priority patent/EP3832541A3/en
Priority to US17/209,987 priority patent/US11836996B2/en
Application granted granted Critical
Publication of CN111860506B publication Critical patent/CN111860506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本申请公开了一种识别文字的方法和装置，涉及人工智能技术领域、计算机视觉技术领域、知识图谱技术领域和自然语言处理技术领域。方法包括：获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；从文字中心线图中提取字符中心的特征点的坐标；基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列；根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框；根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果。该方法可以对输入图像中任意方向的文字进行识别，提高了文字的识别效率和准确率。

Description

识别文字的方法和装置
技术领域
本公开涉及计算机技术领域，具体涉及人工智能技术领域、计算机视觉技术领域、知识图谱技术领域和自然语言处理技术领域，尤其涉及识别文字的方法和装置。
背景技术
自然场景下的端到端文字检测识别技术可以被广泛应用于社会的各行各业，如教育、医疗、金融等领域。由文字检测识别技术派生的常见卡证票据的识别、文档的自动化录入、拍照搜题、AR实时翻译等技术极大地提升了传统行业的智能化程度和生产效率，方便了人们的日常学习与生活。
近年来，自然场景下的端到端文字检测识别技术得到了快速发展，很多公司及研究者采用检测+识别的两阶段解决方案或者基于字符的方法来实现端到端检测识别。
在将检测和识别问题当作子问题分别进行处理的两阶段解决方案中，文字检测旨在确定图像中文字的位置，常见的方法有高效和准确的场景文本检测(East)；文字识别是一个多分类任务，旨在确定图像中文字的内容，常用的方法有联结主义时间分类(Connectionist Temporal Classification，缩写为CTC)和注意力机制(Attention)。两阶段的端到端方案通过共享卷积特征，组合文字检测和识别方法成为一个系统达到端到端输出检测识别结果的目的，检测和识别步骤中间一般需要NMS、感兴趣区域特征提取等操作连接起来。
在基于字符的方法中，通常将检测与识别问题统一进行考虑，采用单阶段多分支的结构使用一个卷积网络并行输出文字检测和识别结果，需要字符级别的标注和较大的主干网络，不能够实时运行。
发明内容
本公开实施例提供了识别文字的方法和装置。
第一方面，本公开实施例提供了一种识别文字的方法，方法包括：获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；从文字中心线图中提取字符中心的特征点的坐标；基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列；根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框；根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果。
第二方面，本公开实施例提供了一种识别文字的装置，装置包括：图像获取模块，被配置成获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；坐标获取模块，被配置成从文字中心线图中提取字符中心的特征点的坐标；坐标排序模块，被配置成基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列；边界确定模块，被配置成根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框；分类确定模块，被配置成根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果。
第三方面，本公开的实施例提供了一种电子设备/服务器/智能终端，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实施例的方法。
第四方面，本公开的实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实施例中的方法。
本公开实施例提供的识别文字的方法和装置，首先获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；之后，从文字中心线图中提取字符中心的特征点的坐标；之后，基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列；之后，根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框；最后，根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果。
在这一过程中，采用了文字中心线图确定提取字符的关键点的坐标、再基于字符的关键点的坐标和文字方向偏移图得到字符的关键点的坐标序列、再基于坐标序列从文字边界偏移图和文字字符分类图中确定文字区域的多边形包围框、字符中心的特征点的分类结果，从而得到文字的识别结果，由于采用字符的关键点的坐标以及文字方向偏移来进行识别，可以对输入图像中任意方向的文字进行识别，提高了文字的识别效率和准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
通过阅读参照以下附图所作的对非限制性实施例详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开可以应用于其中的示例性系统架构图；
图2是根据本公开实施例的识别文字的方法的一个实施例的流程示意图；
图3是根据本公开实施例的识别文字的方法的一个示例性应用场景；
图4a是根据本公开实施例的识别文字的方法的又一个实施例的流程示意图；
图4b是根据图4a中本公开实施例的识别文字的方法的示例性应用场景；
图5是根据本公开实施例的识别文字的装置的一个实施例的示例性结构图；
图6是本公开的用来实现本申请实施例的识别文字的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本公开的识别文字的方法或识别文字的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如图像采集应用、音频播放应用、流媒体处理应用、多方交互应用、人工智能应用、游戏应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是支持文档处理应用的各种电子设备，包括但不限于智能终端、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
在实践中，本公开实施例所提供的识别文字的方法可以由终端设备101、102、103和/或服务器105执行，识别文字的装置也可以设置于终端设备101、102、103和/或服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，图2示出了根据本公开的识别文字的方法的一个实施例的流程200。该识别文字的方法包括以下步骤：
步骤201，获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图。
在本实施例中，识别文字的方法的执行主体(例如图1所示的终端或服务器)可以从用户使用的终端、本地数据库或远程数据库获取输入图像。之后，可以采用现有技术中或未来发展的技术中用于确定文字中心线、文字方向偏移、文字边界偏移和文字字符分类的方法，来分别确定文字区域的文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图，本申请对此不作限定。
在用于确定文字中心线的方法中，文字中心线是文字区域缩放后的单通道分割图，用于预测每个像素是否属于文字和非文字。示例性地，可以采用基于拓扑细化的方法、基于距离变换的方法、基于追踪的方法等来确定文字中心线。可以理解的是，还可以采用人工标定的方法来确定文字中心线。
以基于拓扑细化的方法为例，可以使用形态学腐蚀操作来不断去除物体的边界，直到仅剩其骨架。再以基于距离变换的方法为例，通过定位距离物体边界最远的一组点来确定物体的中心线，通常采用欧式距离，可以理解为一系列最大内切球的球心构成了物体的中心线，有代表性的是基于边界的距离变换和基于源点的距离变换。
在用于确定文字方向偏移的方法中，可以采用2个通道的检测，检测图像中存在文字的中心点的多个位置，从而确定用于表示文字中心线上的点在文字阅读方向上相对于下个点的坐标偏移。
在用于确定文字边界偏移的方法中，可以采用4个通道的检测，检测图像中存在文字的中心点的多个位置、文字上下边界上的点的位置，从而确定表示文字上下边界上的点相对于中心线上的点的坐标偏移。
在用于确定文字字符分类图的方法中，可以采用(C+1)个通道的检测，其中，C为待识别的文字种类的数量，1为背景种类的数量，各个通道的特征图表示该点属于某一个文字类别的概率。
步骤202，从文字中心线图中提取字符中心的特征点的坐标。
在本实施例中，上述执行主体可以从文字中心线图中，采用现有技术或未来发展的技术中用于提取特征点的坐标的方法，从文字中心线图中提取字符中心的特征点的坐标，本申请对此不作限定。
步骤203，基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列。
在本实施例中，上述执行主体可以根据文字方向偏移图的预设阅读方向、选定阅读方向或预测阅读方向，来排序字符中心的特征点的坐标，从而得到排序后的字符中心的特征点的坐标，也即得到字符中心的特征点的坐标序列。
在本实施例的一些可选实现方式中，基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列，可以包括：基于文字方向偏移图，计算文字阅读方向；根据文字阅读方向，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列。
在本实现方式中，由于文字方向偏移图表示了中心线上的点在文字阅读方向上相对于下个点的坐标偏移(坐标偏移可以采用当前点的坐标减去下个点的坐标得到)，因此，可以根据文字方向偏移图中的文字方向偏移(也即上述坐标偏移)，对每个中心线上的点的坐标偏移求平均，从而计算得到平均的文字阅读方向。之后，根据文字阅读方向，对字符中心的特征点的坐标进行排序，从而得到排序后的字符中心的特征点的坐标，也即字符中心的特征点的坐标序列。该确定坐标序列的方式，可以计算出朝向任意方向的文字区域的阅读方向，提高了对输入图像中不同阅读方向的文字区域的适应性。
步骤204，根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框。
在本实施例中，上述执行主体可以根据字符中心的特征点的坐标序列，从文字边界偏移图中，得到上下边界上的一对点的位置，然后将上下边界上的所有点的位置连起来，得到任意形状文字区域的多边形包围框。
步骤205，根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果。
在本实施例中，上述执行主体可以根据字符中心的特征点的坐标序列，在文字字符分类图中进行点采集，从而确定字符中心的特征点所属的字符分类的类别，也即得到字符中心的特征点的分类结果。
可选步骤206，基于多边形包围框和字符中心的特征点的分类结果，解码得到文字区域的识别结果。
在该可选步骤中，上述执行主体可以根据多边形包围框和字符中心的特征点的分类结果，解码文字区域的每个字符的识别结果。在解码时，可以采用现有技术或未来发展的技术中的解码方式得到每个字符的识别结果，本申请对此不作限定。经由该解码步骤，可以得到高效、准确的对输入图像中任意方向的文字进行识别的结果。
在一个具体的示例中，可以采用联结主义时间分类(CTC)解码，CTC可以归纳字符间的连接特性，根据给定输入搜索概率最大的路径，更可能搜索出能映射到正确结果的路径。且前缀集束搜索考虑了“多对一”的情况，进一步增加了解码出正确结果的可能性。
本公开上述实施例的识别文字的方法，由于采用了文字中心线图提取字符中心的特征点的坐标、再基于字符中心的特征点的坐标和文字方向偏移图得到字符中心的特征点的坐标序列、再基于坐标序列从文字边界偏移图和文字字符分类图中确定文字区域的多边形包围框、字符中心的特征点的分类结果，从而得到文字的识别结果，由于采用字符中心的特征点的坐标以及文字方向偏移来进行识别，可以对输入图像中任意方向的文字进行识别，提高了文字的识别效率和准确率。
在上述实施例的可选步骤201的一些可选实现方式中，上述获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图，包括：采用主干卷积网络，获取输入图像的卷积特征图；采用多分支卷积网络，从卷积特征图中分别提取文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图。
在本实现方式中，获取输入图像中的文字区域的文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图时，均需要提取输入图像中的特征。因此，可以采用提取卷积特征的主干网络来统一提取特征。之后，可以采用并行的多分支卷积网络来输出文字中心线图、文字方向偏移图、文字边界偏移图和文字字符分类图。
在这里，主干网络可以采用现有技术或未来发展的技术中的用于提取卷积特征的网络，本申请对此不作限定。例如，可以采用一个轻量级的主干网络来提取卷积特征，例如新型卷积网络efficientnet、轻量化卷积神经网络mobilenet或shufflenet等。
在一些具体的示例中，可以采用基于全卷积网络的多任务学习模块来实现获取输入图像中的文字区域的文字中心线图、文字方向偏移图、文字边界偏移图和文字字符分类图。
在另一些具体的示例中，多分支卷积网络可以分别采用现有技术或未来发展的技术中能够从卷积特征图中分别提取文字中心线图、文字方向偏移图、文字边界偏移图和文字字符分类图的方法来实现，本申请对此不作限定。
本实现方式中，通过采用主干网络与多分支卷积网络的配合，实现从的输入图像中的文字区域中，获取以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图，由于多分支卷积网络共用了主干网络，多分支并行输出，可以简化网络的计算流程，提高网络的计算效率。
在本实施例的一些可选实现方式中，上述的多分支卷积网络可以包括以下至少一项：以卷积特征图为输入，以文字中心线图为输出，采用Dice系数损失函数监督学习的第一分支卷积网络；以卷积特征图为输入，以文字边界偏移图为输出，采用smooth L1损失函数监督学习的第二分支卷积网络；以卷积特征图为输入，以文字方向偏移图为输出，采用smooth L1损失函数监督学习的第三分支卷积网络；以卷积特征图为输入，以文字字符分类图为输出，采用点采集-联结主义时间分类损失函数监督学习的第四分支卷积网络。
本实现方式中的多分支卷积网络，第一分支卷积网络用于根据输入的卷积特征图。输出文字中心线图，文字中心线图是文字区域缩放后的单通道分割图，可以预测每个像素属于文字和非文字。第一分支卷积网络可以基于第一分支卷积网络的训练样本中标注的真值(可以根据缩放标注的框得到)与将第一分支卷积网络的训练样本输入第一分支卷积网络所得到的预测值，确定第一分支卷积网络的通过Dice系数损失函数(Dice-loss)，并将该Dice系数损失函数用于监督第一分支卷积网络学习训练样本。
其中，第二分支卷积网络用于根据输入的卷积特征图，输出文字边界偏移图。文字边界偏移图有4个通道，表示文字上下边界上的点相对于中心线上的点的坐标偏移。第二分支卷积网络可以基于第二分支卷积网络的训练样本中标注的真值与将第二分支卷积网络的训练样本输入第二分支卷积网络所得到的预测值，确定第二分支卷积网络的smoothl1-loss损失函数，并将该第二分支卷积网络的smoothl1-loss用于监督第二分支卷积网络学习训练样本。
其中，第三分支卷积网络用于根据输入的卷积特征图，输出文字方向偏移图。文字方向偏移图有2个通道，表示中心线上的点在文字阅读方向上相对于下个点的坐标偏移。第三分支卷积网络可以基于第三分支卷积网络的训练样本中标注的真值与将第三分支卷积网络的训练样本输入第三分支卷积网络所得到的预测值，确定第三分支卷积网络的smoothl1-loss损失函数，并将该第三分支卷积网络的smoothl1-loss用于监督第三分支卷积网络学习训练样本。
其中，第四分支卷积网络用于根据输入的卷积特征图，输出文字字符分类图。文字字符分类图有(C+1)个通道。第四分支卷积网络根据文字中心线的真值进行点采集，C为待识别的文字种类的数量，1为背景种类的数量，这些特征图表示该点属于某一个文字类别的概率。第四分支卷积网络可以基于第四分支卷积网络的训练样本中标注的真值与将第四分支卷积网络的训练样本输入第四分支卷积网络所得到的预测值，确定点采集-联结主义时间分类损失函数(PG-CTC loss)，并将该PG-CTC loss用于监督第四分支卷积网络学习训练样本。
在这里，点采集(Point Gathering)操作以点序列的坐标和特征图为输入，通过在特征图上对点序列中每个点的坐标位置进行采样，从而得到点序列在特征图的对应位置上的序列特征。该操作简单高效，各主流深度学习框架均支持，可以替代传统端到端方法中NMS、感兴趣区域提取等计算量大的操作。
此外，PG-CTC损失函数可以通过点采集操作获取每个文字区域的特征点序列的分类结果，与标注的序列进行对比，然后经过标准的CTC loss对点序列监督训练。该损失函数的使用可以在实现像素级识别的同时，不需要任何字符级的标注，降低了标注成本和模型复杂度。
本实现方式中的多分支卷积网络，采用多分支并行输出，可以简化网络的计算流程，提高网络的计算效率。此外，在一些示例中，采用smooth L1损失函数监督学习的第三分支卷积网络，可以以文字方向偏移图为输出，从而在后续的处理中采用方向分支预测，处理各种的文字阅读方向，从而应对任意方向的文字的识别。此外，在第四分支卷积网络中采用了点采集来提取序列特征，无需复杂操作，从而可以简化多分支卷积网络的计算流程，提高了多分支卷积网络的计算效率；采用点采集-联结主义时间分类损失函数监督学习第四分支卷积网络，可以无需字符级标注，提高训练第四分支卷积网络的效率，并提高文字字符分类图的效率和准确率。
在上述实施例的一些可选实现方式中，上述的识别文字的方法可以包括以下至少一项：
上述的从文字中心线图中提取字符中心的特征点的坐标，可以包括：采用预先训练的提取模块从文字中心线图中提取字符中心的特征点的坐标。
上述的基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列，可以包括：采用预先训练的排序模块，基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列。
上述的根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框，包括：采用包围框拾取模块，基于字符中心的特征点的坐标序列，从文字边界偏移图中，确定文字区域的多边形包围框。
以及
上述的根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果，包括：采用字符分类模块，基于字符中心的特征点的坐标序列，从文字字符分类图中，确定字符中心的特征点的分类结果。
在本实现方式中，通过采用预先训练的提取模块从文字中心线图中提取字符中心的特征点的坐标，可以提高提取特征点的效率。
备选地或附加地，通过采用预先训练的排序模块，基于文字方向偏移图，确定文字阅读方向，再根据文字阅读方向排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列，从而可以提高排序字符中心的特征点的坐标、得到坐标序列的效率。
备选地或附加地，通过采用包围框拾取模块，基于字符中心的特征点的坐标序列，从文字边界偏移图中，确定与字符中心的特征点的坐标序列所对应的文字区域的多边形包围框，从而提高包围框的拾取效率。
备选地或附加地，通过采用字符分类模块，基于字符中心的特征点的坐标序列，从文字字符分类图中，确定字符中心的特征点的分类结果，从而快速准确地进行字符的分类。
可以理解的是，上述的提取模块、排序模块、包围框拾取模块和字符分类模块，分别可以采用基于卷积神经网络(CNN)的模型来实现，在此不再赘述。
以下结合图3，描述本公开的识别文字的方法的示例性应用场景。
如图3所示，图3示出了根据本公开的识别文字的方法的一个示例性应用场景。
如图3所示，识别文字的方法300运行于电子设备310中，可以包括：
首先，获取输入图像301的文字区域的以下图像：文字中心线图302、文字方向偏移图303、文字边界偏移图304、文字字符分类图305；
之后，从文字中心线图302上提取字符中心的特征点的坐标306；
之后，基于文字方向偏移图303，排序字符中心的特征点的坐标306，得到字符中心的特征点的坐标序列307；
之后，根据字符中心的特征点的坐标序列307和文字边界偏移图304，确定文字区域的多边形包围框308；
最后，根据字符中心的特征点的坐标序列307和文字字符分类图305，确定字符中心的特征点的分类结果309。
应当理解，上述图3中所示出的识别文字的方法的应用场景，仅为对于识别文字的方法的示例性描述，并不代表对该方法的限定。例如，上述图3中示出的各个步骤，可以进一步采用更为细节的实现方法。也可以在上述图3的基础上，进一步增加对确定的字符中心的特征点的分类结果进一步处理的步骤。
进一步参考图4a，图4a示出了根据本公开实施例的识别文字的方法的一个实施例的示意性流程图。
如图4a所示，本公开实施例的识别文字的方法的又一个实施例的示意性流程图的方法400，可以包括：
步骤401，获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图。
在本实施例中，识别文字的方法的执行主体(例如图1所示的终端或服务器)可以从用户使用的终端、本地数据库或远程数据库获取输入图像。之后，可以采用现有技术中或未来发展的技术中用于确定文字中心线、文字方向偏移、文字边界偏移和文字字符分类的方法，来分别确定文字区域的文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图，本申请对此不作限定。
步骤402，从文字中心线图中提取字符中心的特征点的坐标。
在本实施例中，上述执行主体可以从文字中心线图中，采用现有技术或未来发展的技术中用于提取特征点的坐标的方法，从文字中心线图中提取字符中心的特征点的坐标，本申请对此不作限定。
步骤403，基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列。
在本实施例中，上述执行主体可以根据文字方向偏移图的预设阅读方向、选定阅读方向或预测阅读方向，来排序字符中心的特征点的坐标，从而得到排序后的字符中心的特征点的坐标，也即得到字符中心的特征点的坐标序列。
步骤404，根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框。
在本实施例中，上述执行主体可以根据字符中心的特征点的坐标序列，从文字边界偏移图中，得到上下边界上的一对点的位置，然后将上下边界上的所有点的位置连起来，得到任意形状文字区域的多边形包围框。
步骤405，根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果。
在本实施例中，上述执行主体可以根据字符中心的特征点的坐标序列，在文字字符分类图中进行点采集，从而确定字符中心的特征点所属的字符分类的类别，也即得到字符中心的特征点的分类结果。
步骤406，基于多边形包围框和字符中心的特征点的分类结果，解码得到文字区域的识别结果。
在本实施例中，上述执行主体可以根据多边形包围框和字符中心的特征点的分类结果，解码文字区域的每个字符的识别结果。在解码时，可以采用现有技术或未来发展的技术中的解码方式得到每个字符的识别结果，本申请对此不作限定。
可以理解的是，上述步骤401至步骤406分别与图2所示的实施例中的步骤201至步骤206相对应，因此，上述针对步骤201至步骤206描述的操作和特征，同样适用于是步骤401至步骤406，此处不再赘述。
步骤407，推理文字区域的识别结果中的语义信息。
在本实施例中，上述执行主体可以根据文字区域的识别结果和字符、词语之间的语义关系进行推理，从而得到文字区域的识别结果中的语义信息。
在本实施例的一个可选实现方式中，推理文字区域的识别结果中的语义信息，包括：基于字符中心的特征点的坐标序列，从文字字符分类图中进行点采集，得到字符中心的特征点的语义特征点；将语义特征点作为语义节点，将基于语义特征点之间的距离所确定的语义特征点之间的语义邻接关系作为边连接，构建语义图。
在本实现方式中，上述执行主体可以从体现文字区域语义的文字字符分类图中，采集出与字符中心的特征点的坐标序列相对应的点，从而得到字符中心的特征点的语义特征点。之后，可以采用语义特征点作为语义节点，并将语义邻接关系作为边连接，构建表示语义信息的语义图。
本实现方式中，推理文字区域的识别结果中的语义信息的方法，由于采用语义图作为语义信息的载体，可以直观、有效的揭示文字区域的语义的规律，从而提高推理结果的有效性。
步骤408，基于语义信息，对识别结果进行调整，得到调整后的识别结果。
在本实施例中，上述执行主体根据步骤407中确定的语义信息，可以与预设的基于语义规律确定的语义图中的语义信息进行对比，并根据对比结果的相似度，对识别结果进行调整，以得到调整后的更为准确的识别结果。
本实施例中提供的识别文字的方法，与图2中的识别文字的方法相比，可以根据语义信息对图2中的识别结果进行调整，从而可以得到更为准确的调整后的识别结果。
在本实施例的一个可选实现方式中，基于语义信息，对识别结果进行调整，得到调整后的识别结果，包括：基于字符中心的特征点的坐标序列，从卷积特征图中进行点采集，得到字符中心的特征点的视觉特征点；将视觉特征点作为视觉节点，将基于视觉特征点之间的距离所确定的视觉特征点之间的视觉邻接关系作为边连接，构建视觉图；采用语义图网络对语义图进行推理，得到语义图特征；采用视觉图网络对视觉图进行推理，得到视觉图特征；融合语义图特征和数据图特征，得到融合后的特征；对融合后的特征进行分类，得到调整后的识别结果。
在本实现方式中，针对卷积特征图中所体现的视觉特征，根据字符中心的特征点的坐标序列，可以从其中进行点采集，得到与字符中心线的特征点的坐标序列相对应的视觉特征点。之后，将视觉特征点作为视觉节点，将视觉邻接关系作为边连接，可以构建视觉图。
之后，对于语义图和视觉图，可以分别采用语义图网络和视觉图网络进行推理，以得到语义图特征和视觉图特征，并融合这两个特征，从而根据融合后的特征进行分类，以得到调整后的识别结果。
其中，图网络(Graph Network,GN)是在拓扑空间(topological space)内按图(graph)结构组织进行关系推理(relational reasoning)的函数集合。在采用语义图网络和视觉图网络进行推理、得到语义图特征和视觉图特征之后，可以融合语义图特征和数据图特征。
在融合语义图特征和数据图特征时，可以采用现有技术或未来发展的技术中的融合方式来实现，本申请对此不做限定。例如，可以串行或者并行组合语义图特征和数据图特征，得到融合后的特征；将组合后的特征中每一维数据选择出一个对分类最优的数据，将选择出来的数据组成新的特征；或者采用数学方法对语义图特征和数据图特征进行特征变换，得到融合后的特征等。
本实现方式中，通过构建视觉图，并融合语义图特征和数据图特征，得到融合后的特征，之后根据融合后的特征进行分类，从而得到调整后的识别结果，这一过程中由于采用了语义图网络和视觉图网络进行推理，可以提高得到推理结果的效率和准确性，并且，对融合后的特征进行分类，可以得到更为准确的识别结果。
在本实施例的一些可选实现方式中，上述语义图网络和视觉图网络在训练阶段分别采用联结主义时间分类损失函数进行训练样本的监督学习。
在本实现方式中，采用联结主义时间分类(CTC)损失函数(本质上是基于最大似然的损失函数)训练语义图网络和视觉图网络，不需要对数据对齐和一一标注，并且CTC直接输出序列预测的概率，不需要外部的后处理，从而可以减少标注成本和计算成本，提高训练语义图网络和视觉图网络的效率和准确率。
进一步参考图4b，图4b示出了根据图4a中本公开实施例的识别文字的方法的示例性应用场景。
如图4b所示，识别文字的方法采用包括多任务学习模块、后处理模块和图网络微调模块的网络模型实现。其中，多任务学习模块包括：主干卷积网络和多分支卷积网络。基于这三个模块，识别文字的方法包括：
首先，多任务学习模块采用主干卷积网络获取输入图像，输出卷积特征图；
之后，多任务学习模块采用多分支卷积网络根据输入的卷积特征图，输出文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；
之后，后处理模块从文字中心线图中提取字符中心的特征点的坐标；基于文字方向偏移图，确定文字阅读方向；再根据文字阅读方向，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列；根据字符中心的特征点的坐标序列，从文字边界偏移图中进行点采集，计算文字区域的多边形包围框(如图中的包围文字BIKES的边界框、包围文字DIRECT的边界框)，从文字字符分类图中进行点采集，确定字符中心的特征点的分类结果(如图中所示的BIKFS、DIBECT)。
之后，图网络微调模块基于字符中心的特征点的坐标序列(图中的点坐标)，从输入特征图中的文字字符分类图中进行点采集，得到字符中心的特征点的语义特征点；之后将语义特征点作为语义节点，将基于语义特征点之间的距离所确定的语义特征点之间的语义邻接关系作为边连接，构建语义图；基于字符中心的特征点的坐标序列，从卷积特征图中进行点采集，得到字符中心的特征点的视觉特征点；将视觉特征点作为视觉节点，将基于视觉特征点之间的距离所确定的视觉特征点之间的视觉邻接关系作为边连接，构建视觉图；
之后，图网络微调模块采用语义图网络对语义图进行推理(也即进行图卷积)，得到语义图特征；采用视觉图网络对视觉图进行推理(也即进行图卷积)，得到视觉图特征；之后，将语义图特征和数据图特征进行特征融合，得到融合后的特征；最后，对融合后的特征进行分类，输出分类结果，也即得到调整后的识别结果(如图中图网络微调模块所呈现的识别结果框中的BIKES和DIRECT)。
进一步参考图5，本实施例的识别文字的装置500，可以包括：图像获取模块501，被配置成获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；坐标获取模块502，被配置成从文字中心线图中提取字符中心的特征点的坐标；坐标排序模块503，被配置成基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列；边界确定模块504，被配置成根据字符中心的特征点的坐标序列和文字边界偏移图，确定文字区域的多边形包围框；分类确定模块505，被配置成根据字符中心的特征点的坐标序列和文字字符分类图，确定字符中心的特征点的分类结果。
在本实施例的一些可选实现方式中，坐标排序模块503，包括(图中未示出)：方向计算模块，被配置成基于文字方向偏移图，计算文字阅读方向；序列得到模块，被配置成根据文字阅读方向，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列。
在本实施例的一些可选实现方式中，装置还包括：文字解码模块506，被配置成基于多边形包围框和字符中心的特征点的分类结果，解码得到文字区域的识别结果。
在本实施例的一些可选实现方式中，图像获取模块501，包括(图中未示出)：主干卷积模块，被配置成采用主干卷积网络，获取输入图像的卷积特征图；特征提取模块，被配置成采用多分支卷积网络，从卷积特征图中分别提取文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图。
在本实施例的一些可选实现方式中，特征提取模块中的多分支卷积网络包括以下至少一项：以卷积特征图为输入，以文字中心线图为输出，采用Dice系数损失函数监督学习的第一分支卷积网络；以卷积特征图为输入，以文字边界偏移图为输出，采用smooth L1损失函数监督学习的第二分支卷积网络；以卷积特征图为输入，以文字方向偏移图为输出，采用smooth L1损失函数监督学习的第三分支卷积网络；以卷积特征图为输入，以文字字符分类图为输出，采用点采集-联结主义时间分类损失函数监督学习的第四分支卷积网络。
在本实施例的一些可选实现方式中，装置还包括以下至少一项：坐标获取模块502进一步被配置成：采用预先训练的提取模块从文字中心线图中提取字符中心的特征点的坐标；坐标排序模块503进一步被配置成：采用预先训练的排序模块，基于文字方向偏移图，排序字符中心的特征点的坐标，得到字符中心的特征点的坐标序列；边界确定模块504进一步被配置成：采用包围框拾取模块，基于字符中心的特征点的坐标序列，从文字边界偏移中，确定文字区域的多边形包围框；以及分类确定模块505进一步被配置成：采用字符分类模块，基于字符中心的特征点的坐标序列，从文字字符分类图中，确定字符中心的特征点的分类结果。
在本实施例的一些可选实现方式中，装置还包括(图中未示出)：语义推理模块，被配置成推理文字区域的识别结果中的语义信息；结果调整模块，被配置成基于语义信息，对识别结果进行调整，得到调整后的识别结果。
在本实施例的一些可选实现方式中，语义推理模块，包括：语义点采集模块，被配置成基于字符中心的特征点的坐标序列，从文字字符分类图中进行点采集，得到字符中心的特征点的语义特征点；语义图构建模块，被配置成将语义特征点作为语义节点，将基于语义特征点之间的距离所确定的语义特征点之间的语义邻接关系作为边连接，构建语义图。
在本实施例的一些可选实现方式中，结果调整模块，包括：视觉点采集模块，被配置成基于字符中心的特征点的坐标序列，从卷积特征图中进行点采集，得到字符中心的特征点的视觉特征点；视觉图构建模块，被配置成将视觉特征点作为视觉节点，将基于视觉特征点之间的距离所确定的视觉特征点之间的视觉邻接关系作为边连接，构建视觉图；语义图推理模块，被配置成采用语义图网络对语义图进行推理，得到语义图特征；视觉图推理模块，被配置成采用视觉图网络对视觉图进行推理，得到视觉图特征；特征融合模块，被配置成融合语义图特征和数据图特征，得到融合后的特征；特征分类模块，被配置成对融合后的特征进行分类，得到调整后的识别结果。
在本实施例的一些可选实现方式中，语义图推理模块中的语义图网络和视觉图推理模块中的视觉图网络在训练阶段分别采用联结主义时间分类损失函数进行训练样本的监督学习。
应当理解，装置500中记载的各个模块与参考图2-图4b描述的方法中记载的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的各个模块，在此不再赘述。
如图6所示，是根据本申请实施例的识别文字的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的识别文字的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的识别文字的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的识别文字的方法对应的程序指令/模块(例如，图5所示的图像获取模块501、坐标获取模块502、坐标排序模块503、边界确定模块504和分类确定模块505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的识别文字的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据识别文字的方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至识别文字的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
识别文字的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与识别文字的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请实施例的技术方案，可以采用字符中心的特征点的坐标以及文字方向偏移来进行识别，可以对输入图像中任意方向的文字进行识别，提高了文字的识别效率和准确率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (22)

1.一种识别文字的方法，方法包括：
获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；
从文字中心线图中提取字符中心的特征点的坐标；
基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列；
根据所述字符中心的特征点的坐标序列和所述文字边界偏移图，确定所述文字区域的多边形包围框；
根据所述字符中心的特征点的坐标序列和所述文字字符分类图，确定所述字符中心的特征点的分类结果。
2.根据权利要求1所述的方法，其中，所述基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列，包括：
基于文字方向偏移图，计算文字阅读方向；
根据文字阅读方向，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列。
3.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述多边形包围框和所述字符中心的特征点的分类结果，解码得到文字区域的识别结果。
4.根据权利要求1所述的方法，其中，所述获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图，包括：
采用主干卷积网络，获取输入图像的卷积特征图；
采用多分支卷积网络，从所述卷积特征图中分别提取文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图。
5.根据权利要求4所述的方法，其中，所述多分支卷积网络包括以下至少一项：
以所述卷积特征图为输入，以文字中心线图为输出，采用Dice系数损失函数监督学习的第一分支卷积网络；
以所述卷积特征图为输入，以文字边界偏移图为输出，采用smooth L1损失函数监督学习的第二分支卷积网络；
以所述卷积特征图为输入，以文字方向偏移图为输出，采用smooth L1损失函数监督学习的第三分支卷积网络；
以所述卷积特征图为输入，以文字字符分类图为输出，采用点采集-联结主义时间分类损失函数监督学习的第四分支卷积网络。
6.根据权利要求1或4所述的方法，其中，所述方法还包括以下至少一项：
所述从文字中心线图中提取字符中心的特征点的坐标，包括：采用预先训练的提取模块从文字中心线图中提取字符中心的特征点的坐标；
所述基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列，包括：采用预先训练的排序模块，基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列；
所述根据所述字符中心的特征点的坐标序列和所述文字边界偏移图，确定所述文字区域的多边形包围框，包括：采用包围框拾取模块，基于所述字符中心的特征点的坐标序列，从所述文字边界偏移中，确定文字区域的多边形包围框；以及
所述根据所述字符中心的特征点的坐标序列和所述文字字符分类图，确定所述字符中心的特征点的分类结果，包括：采用字符分类模块，基于所述字符中心的特征点的坐标序列，从文字字符分类图中，确定所述字符中心的特征点的分类结果。
7.根据权利要求3所述的方法，其中，所述方法还包括：
推理所述文字区域的识别结果中的语义信息；
基于所述语义信息，对所述识别结果进行调整，得到调整后的识别结果。
8.根据权利要求7所述的方法，其中，所述推理所述文字区域的识别结果中的语义信息，包括：
基于所述字符中心的特征点的坐标序列，从文字字符分类图中进行点采集，得到所述字符中心的特征点的语义特征点；
将所述语义特征点作为语义节点，将基于所述语义特征点之间的距离所确定的所述语义特征点之间的语义邻接关系作为边连接，构建语义图。
9.根据权利要求8所述的方法，其中，所述基于所述语义信息，对所述识别结果进行调整，得到调整后的识别结果，包括：
基于所述字符中心的特征点的坐标序列，从所述卷积特征图中进行点采集，得到所述字符中心的特征点的视觉特征点；
将所述视觉特征点作为视觉节点，将基于所述视觉特征点之间的距离所确定的所述视觉特征点之间的视觉邻接关系作为边连接，构建视觉图；
采用语义图网络对所述语义图进行推理，得到语义图特征；
采用视觉图网络对所述视觉图进行推理，得到视觉图特征；
融合所述语义图特征和所述数据图特征，得到融合后的特征；
对所述融合后的特征进行分类，得到调整后的识别结果。
10.根据权利要求9所述的方法，其中，所述语义图网络和所述视觉图网络在训练阶段分别采用联结主义时间分类损失函数进行训练样本的监督学习。
11.一种识别文字的装置，装置包括：
图像获取模块，被配置成获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；
坐标获取模块，被配置成从文字中心线图中提取字符中心的特征点的坐标；
坐标排序模块，被配置成基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列；
边界确定模块，被配置成根据所述字符中心的特征点的坐标序列和所述文字边界偏移图，确定所述文字区域的多边形包围框；
分类确定模块，被配置成根据所述字符中心的特征点的坐标序列和所述文字字符分类图，确定所述字符中心的特征点的分类结果。
12.根据权利要求11所述的装置，其中，所述坐标排序模块，包括：
方向计算模块，被配置成基于文字方向偏移图，计算文字阅读方向；
序列得到模块，被配置成根据文字阅读方向，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列。
13.根据权利要求11所述的装置，其中，所述装置还包括：
文字解码模块，被配置成基于所述多边形包围框和所述字符中心的特征点的分类结果，解码得到文字区域的识别结果。
14.根据权利要求11所述的装置，其中，所述图像获取模块，包括：
主干卷积模块，被配置成采用主干卷积网络，获取输入图像的卷积特征图；
特征提取模块，被配置成采用多分支卷积网络，从所述卷积特征图中分别提取文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图。
15.根据权利要求14所述的装置，其中，所述特征提取模块中的多分支卷积网络包括以下至少一项：
以所述卷积特征图为输入，以文字中心线图为输出，采用Dice系数损失函数监督学习的第一分支卷积网络；
以所述卷积特征图为输入，以文字边界偏移图为输出，采用smooth L1损失函数监督学习的第二分支卷积网络；
以所述卷积特征图为输入，以文字方向偏移图为输出，采用smooth L1损失函数监督学习的第三分支卷积网络；
以所述卷积特征图为输入，以文字字符分类图为输出，采用点采集-联结主义时间分类损失函数监督学习的第四分支卷积网络。
16.根据权利要求11或14所述的装置，其中，所述装置还包括以下至少一项：
所述坐标获取模块进一步被配置成：采用预先训练的提取模块从文字中心线图中提取字符中心的特征点的坐标；
所述坐标排序模块进一步被配置成：采用预先训练的排序模块，基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列；
所述边界确定模块进一步被配置成：采用包围框拾取模块，基于所述字符中心的特征点的坐标序列，从所述文字边界偏移中，确定文字区域的多边形包围框；以及
所述分类确定模块进一步被配置成：采用字符分类模块，基于所述字符中心的特征点的坐标序列，从文字字符分类图中，确定所述字符中心的特征点的分类结果。
17.根据权利要求13所述的装置，其中，所述装置还包括：
语义推理模块，被配置成推理所述文字区域的识别结果中的语义信息；
结果调整模块，被配置成基于所述语义信息，对所述识别结果进行调整，得到调整后的识别结果。
18.根据权利要求17所述的装置，其中，所述语义推理模块，包括：
语义点采集模块，被配置成基于所述字符中心的特征点的坐标序列，从文字字符分类图中进行点采集，得到所述字符中心的特征点的语义特征点；
语义图构建模块，被配置成将所述语义特征点作为语义节点，将基于所述语义特征点之间的距离所确定的所述语义特征点之间的语义邻接关系作为边连接，构建语义图。
19.根据权利要求18所述的装置，其中，所述结果调整模块，包括：
视觉点采集模块，被配置成基于所述字符中心的特征点的坐标序列，从所述卷积特征图中进行点采集，得到所述字符中心的特征点的视觉特征点；
视觉图构建模块，被配置成将所述视觉特征点作为视觉节点，将基于所述视觉特征点之间的距离所确定的所述视觉特征点之间的视觉邻接关系作为边连接，构建视觉图；
语义图推理模块，被配置成采用语义图网络对所述语义图进行推理，得到语义图特征；
视觉图推理模块，被配置成采用视觉图网络对所述视觉图进行推理，得到视觉图特征；
特征融合模块，被配置成融合所述语义图特征和所述数据图特征，得到融合后的特征；
特征分类模块，被配置成对所述融合后的特征进行分类，得到调整后的识别结果。
20.根据权利要求19所述的装置，其中，所述语义图推理模块中的语义图网络和所述视觉图推理模块中的视觉图网络在训练阶段分别采用联结主义时间分类损失函数进行训练样本的监督学习。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
CN202010721524.5A 2020-07-24 2020-07-24 识别文字的方法和装置 Active CN111860506B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010721524.5A CN111860506B (zh) 2020-07-24 2020-07-24 识别文字的方法和装置
KR1020210024997A KR20220013298A (ko) 2020-07-24 2021-02-24 문자 인식 방법 및 장치
JP2021040886A JP7317062B2 (ja) 2020-07-24 2021-03-14 文字の認識方法及び装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
EP21164053.7A EP3832541A3 (en) 2020-07-24 2021-03-22 Method and apparatus for recognizing text
US17/209,987 US11836996B2 (en) 2020-07-24 2021-03-23 Method and apparatus for recognizing text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010721524.5A CN111860506B (zh) 2020-07-24 2020-07-24 识别文字的方法和装置

Publications (2)

Publication Number Publication Date
CN111860506A true CN111860506A (zh) 2020-10-30
CN111860506B CN111860506B (zh) 2024-03-29

Family

ID=72950869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010721524.5A Active CN111860506B (zh) 2020-07-24 2020-07-24 识别文字的方法和装置

Country Status (5)

Country Link
US (1) US11836996B2 (zh)
EP (1) EP3832541A3 (zh)
JP (1) JP7317062B2 (zh)
KR (1) KR20220013298A (zh)
CN (1) CN111860506B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464798A (zh) * 2020-11-24 2021-03-09 创新奇智(合肥)科技有限公司 文本识别方法及装置、电子设备、存储介质
CN112560862A (zh) * 2020-12-17 2021-03-26 北京百度网讯科技有限公司 文本识别方法、装置及电子设备
CN113362380A (zh) * 2021-06-09 2021-09-07 北京世纪好未来教育科技有限公司 一种图像特征点检测模型训练方法、装置及其电子设备
CN113780294A (zh) * 2021-09-10 2021-12-10 泰康保险集团股份有限公司 文本字符分割的方法和装置
CN114283411A (zh) * 2021-12-20 2022-04-05 北京百度网讯科技有限公司 文本识别方法、文本识别模型的训练方法及装置
CN114898375A (zh) * 2022-05-20 2022-08-12 深信服科技股份有限公司 字符检测模型训练方法及组件，文本识别方法及组件
CN115063809A (zh) * 2022-06-13 2022-09-16 深圳市星桐科技有限公司 一种文本识别方法、装置、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926372B (zh) * 2020-08-22 2023-03-10 清华大学 基于序列变形的场景文字检测方法及系统
US11532169B1 (en) * 2021-06-15 2022-12-20 Motive Technologies, Inc. Distracted driving detection using a multi-task training process
CN113569871A (zh) * 2021-08-03 2021-10-29 内蒙古工业大学 一种基于深度学习的图书馆自动盘书方法及系统
CN113344014B (zh) * 2021-08-03 2022-03-08 北京世纪好未来教育科技有限公司 文本识别方法和装置
CN113807351B (zh) * 2021-09-18 2024-01-16 京东鲲鹏(江苏)科技有限公司 一种场景文字检测方法和装置
CN113920497B (zh) * 2021-12-07 2022-04-08 广东电网有限责任公司东莞供电局 一种铭牌识别模型的训练、铭牌的识别方法及相关装置
CN114724168A (zh) * 2022-05-10 2022-07-08 北京百度网讯科技有限公司 深度学习模型的训练方法、文本识别方法、装置和设备
CN114926828B (zh) * 2022-05-17 2023-02-24 北京百度网讯科技有限公司 场景文本识别方法、装置、电子设备及存储介质
KR20230171769A (ko) * 2022-06-14 2023-12-21 서강대학교산학협력단 신경망을 이용한 간판 인식 시스템 및 간판 인식 방법
CN115546810B (zh) * 2022-11-29 2023-04-11 支付宝(杭州)信息技术有限公司 图像元素类别的识别方法及装置
CN116958981B (zh) * 2023-05-31 2024-04-30 广东南方网络信息科技有限公司 一种文字识别方法及装置
CN116630633B (zh) * 2023-07-26 2023-11-07 上海蜜度信息技术有限公司 语义分割自动标注方法、系统、存储介质及电子设备
CN117831573B (zh) * 2024-03-06 2024-05-14 青岛理工大学 基于多模态的语言障碍人群言语录音分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法
CN109117846A (zh) * 2018-08-22 2019-01-01 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
CN111160352A (zh) * 2019-12-27 2020-05-15 创新奇智(北京)科技有限公司 一种基于图像分割的工件金属表面文字识别方法及系统
US10671878B1 (en) * 2019-01-11 2020-06-02 Capital One Services, Llc Systems and methods for text localization and recognition in an image of a document

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400151B2 (ja) * 1994-12-08 2003-04-28 株式会社東芝 文字列領域抽出装置および方法
US7729538B2 (en) 2004-08-26 2010-06-01 Microsoft Corporation Spatial recognition and grouping of text and graphics
ATE485568T1 (de) * 2006-01-11 2010-11-15 Gannon Technologies Group Llc Verfahren und vorrichtungen zur erweiterung von dynamischer handschrifterkennung zur erkennung statischer handgeschriebener und maschinell erstellter texte
EP3511861A1 (en) * 2018-01-12 2019-07-17 Onfido Ltd Data extraction pipeline
CN108304835B (zh) * 2018-01-30 2019-12-06 百度在线网络技术（北京）有限公司 文字检测方法和装置
CN109325494B (zh) * 2018-08-27 2021-09-17 腾讯科技（深圳）有限公司 图片处理方法、任务数据处理方法和装置
WO2020092574A1 (en) 2018-10-30 2020-05-07 Laboratory Corporation Of America Holdings Express tracking for patient flow management in a distributed environment
CN110659640B (zh) * 2019-09-27 2021-11-30 深圳市商汤科技有限公司 文本序列的识别方法及装置、电子设备和存储介质
US11562591B2 (en) * 2019-12-23 2023-01-24 Insurance Services Office, Inc. Computer vision systems and methods for information extraction from text images using evidence grounding techniques

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法
CN109117846A (zh) * 2018-08-22 2019-01-01 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
US10671878B1 (en) * 2019-01-11 2020-06-02 Capital One Services, Llc Systems and methods for text localization and recognition in an image of a document
CN111160352A (zh) * 2019-12-27 2020-05-15 创新奇智(北京)科技有限公司 一种基于图像分割的工件金属表面文字识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENGFEI WANG等: "A Single-Shot Arbitrarily-Shaped Text Detector based on Context Attended Multi-Task Learning", 《MULTIMEDIA ACM》 *
张涛;: "一种序列文字识别方法", 工业控制计算机, no. 05 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464798A (zh) * 2020-11-24 2021-03-09 创新奇智(合肥)科技有限公司 文本识别方法及装置、电子设备、存储介质
CN112560862A (zh) * 2020-12-17 2021-03-26 北京百度网讯科技有限公司 文本识别方法、装置及电子设备
CN112560862B (zh) * 2020-12-17 2024-02-13 北京百度网讯科技有限公司 文本识别方法、装置及电子设备
CN113362380A (zh) * 2021-06-09 2021-09-07 北京世纪好未来教育科技有限公司 一种图像特征点检测模型训练方法、装置及其电子设备
CN113780294A (zh) * 2021-09-10 2021-12-10 泰康保险集团股份有限公司 文本字符分割的方法和装置
CN113780294B (zh) * 2021-09-10 2023-11-14 泰康保险集团股份有限公司 文本字符分割的方法和装置
CN114283411A (zh) * 2021-12-20 2022-04-05 北京百度网讯科技有限公司 文本识别方法、文本识别模型的训练方法及装置
CN114283411B (zh) * 2021-12-20 2022-11-15 北京百度网讯科技有限公司 文本识别方法、文本识别模型的训练方法及装置
CN114898375A (zh) * 2022-05-20 2022-08-12 深信服科技股份有限公司 字符检测模型训练方法及组件，文本识别方法及组件
CN115063809A (zh) * 2022-06-13 2022-09-16 深圳市星桐科技有限公司 一种文本识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20220013298A (ko) 2022-02-04
JP2022023770A (ja) 2022-02-08
US11836996B2 (en) 2023-12-05
EP3832541A3 (en) 2021-10-13
EP3832541A2 (en) 2021-06-09
CN111860506B (zh) 2024-03-29
US20210224568A1 (en) 2021-07-22
JP7317062B2 (ja) 2023-07-28

Similar Documents

Publication Publication Date Title
CN111860506B (zh) 识别文字的方法和装置
CN111626202B (zh) 用于识别视频的方法及装置
CN112001368A (zh) 文字结构化提取方法、装置、设备以及存储介质
CN111753727A (zh) 用于提取结构化信息的方法、装置、设备及可读存储介质
CN111967302B (zh) 视频标签的生成方法、装置及电子设备
CN111598164B (zh) 识别目标对象的属性的方法、装置、电子设备和存储介质
KR20220113829A (ko) 차량 추적 방법, 장치 및 전자 기기
CN110705460A (zh) 图像类别识别方法及装置
CN112668586B (zh) 模型训练、图片处理方法及设备、存储介质、程序产品
CN112016633A (zh) 一种模型训练方法、装置、电子设备及存储介质
CN112507090B (zh) 用于输出信息的方法、装置、设备和存储介质
CN111931859B (zh) 一种多标签图像识别方法和装置
US11775845B2 (en) Character recognition method and apparatus, electronic device and computer readable storage medium
CN111709873A (zh) 图像转换模型生成器的训练方法和装置
CN111611990A (zh) 用于识别图像中表格的方法和装置
CN112508003A (zh) 字符识别处理方法和装置
CN114898266B (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN111783639A (zh) 图像检测方法、装置、电子设备及可读存储介质
CN111753911A (zh) 用于融合模型的方法和装置
CN112561053A (zh) 图像处理方法、预训练模型的训练方法、装置和电子设备
CN112348107A (zh) 图像数据清洗方法及装置、电子设备和介质
CN111563541B (zh) 图像检测模型的训练方法和装置
US10540541B2 (en) Cognitive image detection and recognition
CN115482436B (zh) 图像筛选模型的训练方法、装置以及图像筛选方法
Zhu et al. An adaptive superpixel based hand gesture tracking and recognition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant