CN113888758B - 一种基于复杂场景中的弯曲文字识别方法和系统 - Google Patents

一种基于复杂场景中的弯曲文字识别方法和系统 Download PDF

Info

Publication number
CN113888758B
CN113888758B CN202111029153.5A CN202111029153A CN113888758B CN 113888758 B CN113888758 B CN 113888758B CN 202111029153 A CN202111029153 A CN 202111029153A CN 113888758 B CN113888758 B CN 113888758B
Authority
CN
China
Prior art keywords
character
model
text
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111029153.5A
Other languages
English (en)
Other versions
CN113888758A (zh
Inventor
马丹峰
唐会军
梁堃
刘拴林
陈建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nextdata Times Technology Co ltd
Original Assignee
Beijing Nextdata Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nextdata Times Technology Co ltd filed Critical Beijing Nextdata Times Technology Co ltd
Priority to CN202111029153.5A priority Critical patent/CN113888758B/zh
Publication of CN113888758A publication Critical patent/CN113888758A/zh
Application granted granted Critical
Publication of CN113888758B publication Critical patent/CN113888758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于复杂场景中的弯曲文字识别方法和系统，涉及文字识别领域。该方法包括：基于文字分割模型检测待识别图片的第一文字区域，将所述第一文字区域中的非文字内容进行标记，去除所述第一文字区域中标记的非文字内容获得第二文字区域，将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果，基于文字分割模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分紧凑的文本行且有良好的处理速度。通过本方案能够准确识别自然场景中常出现的弯曲文字，有效提升OCR在自然场景中的识别字准确率。也提高了各类需要识别文字的应用效果。

Description

一种基于复杂场景中的弯曲文字识别方法和系统
技术领域
本发明涉及文字识别领域，尤其涉及一种基于复杂场景中的弯曲文字识别方法和系统。
背景技术
随着社会的不断发展，图片文字识别的需求也在不断扩大。例如，网络社交媒体中带有不良内容的文字图片层出不穷，破坏了绿色网络的良性发展，也将损坏网民尤其是中小青年网民的身心健康。虽然已有文字识别技术，但是现有的技术无法准确识别出弯曲文字。然而，弯曲文字在自然场景中尤为常见。
现阶段相关图片文字识别技术的主要流程可以包括：检测和识别两个步骤，1.使用文本检测模型检测出图中文字位置，得到矩形文本框；2.使用文字识别模型对检测到的文本框识别出对应的文字内容。该流程能够较为有效地识别出表格、报表等文字水平工整规范的图片。然而，通过实践表明该流程对于复杂的自然场景中较为常见的弯曲文本识别不佳。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种基于复杂场景中的弯曲文字识别方法和系统。
本发明解决上述技术问题的技术方案如下：
一种基于复杂场景中的弯曲文字识别方法，包括：
S1，基于文字分割模型检测待识别图片的第一文字区域；
S2，将所述第一文字区域中的非文字内容进行标记；
S3，去除所述第一文字区域中标记的非文字内容获得第二文字区域；
S4，将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果。
本发明的有益效果是：本方案通过文字分割模型将待识别图片划分出第一文字区域，并将第一文字区域中的非文字内容进行标记，根据标记去除第一文字区域的非文字内容，获得第二文字区域，将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果，通过本方案能够准确识别自然场景中常出现的弯曲文字，有效提升OCR在自然场景中的识别字准确率。也提高了各类需要识别文字的应用效果。
基于文字分割模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
基于卷积层改进后的CRNN模型进行文字识别，通过改进的卷积层可以显著提高模型提取特征的能力，进而提升文字识别的准确率。
进一步地，所述文字分割模型包括：PSEnet文字检测模型。
采用上述进一步方案的有益效果是：本方案基于PSEnet文字检测模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
进一步地，
所述S4之前，还包括：将所述CRNN模型中卷积神经网络的卷积层修改为Xception模型的特征提取结构，获得改进后的CRNN模型。
采用上述进一步方案的有益效果是：本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为Xception模型的特征提取结构，获得改进后的CRNN模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
进一步地，所述S1具体包括：
基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域。
采用上述进一步方案的有益效果是：本方案通过基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域，通过分割方法的优势相对于现有识别方案中的回归方法能够更准确地检测出弯曲文字。
进一步地，所述S4具体包括：
将所述第二文字区域输入Xception的ExitFlow中，首先进行上采样，将上采样结果与Xception的EntryFlow的第三次下采样的特征图进行Concat 操作，获得文字识别结果。
采用上述进一步方案的有益效果是：本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为以Xception为主干网络，获得改进后的CRNN 模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
本发明解决上述技术问题的另一种技术方案如下：
一种基于复杂场景中的弯曲文字识别系统，包括：第一区域获取模块、标记模块、第二区域获取模块和文字识别模块；
所述第一区域获取模块用于基于文字分割模型检测待识别图片的第一文字区域；
所述标记模块用于将所述第一文字区域中的非文字内容进行标记；
所述第二区域获取模块用于去除所述第一文字区域中标记的非文字内容获得第二文字区域；
所述文字识别模块用于将所述第二文字区域输入经卷积层改进后的 CRNN模型，获得文字识别结果。
本发明的有益效果是：本方案通过文字分割模型将待识别图片划分出第一文字区域，并将第一文字区域中的非文字内容进行标记，根据标记去除第一文字区域的非文字内容，获得第二文字区域，将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果，通过本方案能够准确识别自然场景中常出现的弯曲文字，有效提升OCR在自然场景中的识别字准确率。也提高了各类需要识别文字的应用效果。
基于文字分割模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
基于卷积层改进后的CRNN模型进行文字识别，通过改进的卷积层可以显著提高模型提取特征的能力，进而提升文字识别的准确率。
进一步地，所述文字分割模型包括：PSEnet文字检测模型。
采用上述进一步方案的有益效果是：本方案基于PSEnet文字检测模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
进一步地，
所述S4之前，还包括：模型改进模块，用于将所述CRNN模型中卷积神经网络的卷积层修改为Xception模型的特征提取结构，获得改进后的 CRNN模型。
采用上述进一步方案的有益效果是：本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为Xception模型的特征提取结构，获得改进后的 CRNN模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
进一步地，所述第一区域获取模块用于基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域。
采用上述进一步方案的有益效果是：本方案通过基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域，通过分割方法的优势相对于现有识别方案中的回归方法能够更准确地检测出弯曲文字。
进一步地，所述文字识别模块具体用于将所述第二文字区域输入 Xception的ExitFlow中，首先进行上采样，将上采样结果与Xception的 EntryFlow的第三次下采样的特征图进行Concat操作，获得文字识别结果。
采用上述进一步方案的有益效果是：本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为以Xception为主干网络，获得改进后的CRNN 模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明的实施例提供的一种基于复杂场景中的弯曲文字识别方法的流程示意图；
图2为本发明的实施例提供的一种基于复杂场景中的弯曲文字识别系统的结构框图；
图3为本发明的其他实施例提供的待识别图片；
图4为本发明的其他实施例提供的待识别图片经文字分割模型的处理结果；
图5为本发明的其他实施例提供的待识别图片的最小外接矩形文本框；
图6为本发明的其他实施例提供的待识别图片的去除背景的文本框；
图7为本发明的其他实施例提供的改进的Xception主干网络结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例提供的一种基于复杂场景中的弯曲文字识别方法，包括：
S1，基于文字分割模型检测待识别图片的第一文字区域；
S2，将所述第一文字区域中的非文字内容进行标记；
S3，去除所述第一文字区域中标记的非文字内容获得第二文字区域；
在某一实施例中，可以包括：将图片Xh*w*c输入文字分割模型fD()，其中，h,w分别为图片的高和宽，c为图片通道数，模型输出与原图相同高宽的检测结果fD(Xh*w*c)＝Maskh*w。其中，Mask[i][j]＝1代表原图X中(i,j) 坐标像素为文字，Mask[i][j]＝0代表原图X中(i,j)坐标像素为非文字。这样， Mask中值为1的联通区域即为文本区域，多个1的联通区域代表了不同的多行文本。各个文本区域记作Ti(i＝1,...,n)，n为检测结果中文本框的个数。
如图3为原图X，进过检测模型得到如图4的检测结果Mask。图2中黑色部分为非文字区域，白色部分为文字区域。
对每个文字区域Ti外接最小矩形，Recti,(i＝1,…,n)。在以往的方案中，直接在原图Xh*w*c中截图矩形框。这样做的缺点在于如果文本是弯曲不规则的，那么截取后的文本框含有较多的非文字的背景信息，这些背景信息会对之后的文本识别造成干扰。因此，为了竟可能减少背景信息对文字识别的干扰，在本方案中，首先对每个文字区域Ti外接最小矩形，之后将在矩形内的非文本区域置0，同时保留原本文本区域。这样就得到了去除背景信息的文本框。
最小外接矩形文本框，即表示第一文字区域，如图5所示，去除背景的文本框，即第二文字区域如图6所示。
S4，将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果。
在某一实施例中，去除了背景的文本框Boxi，输入改进的Xception为主干网络的CRNN中进行文字识别，并输出文本框的文字。
在某一实施例中，CRNN模型输入是由文字分割模型检测后的文本框，输出图中的文字字符串；CRNN模型包括：卷积神经网络，循环神经网络和 CTC(ConnectionistTemporal Classification)；CRNN模型靠近输入的前层是卷积神经网路，其主要作用是提出文本框中的特征信息；CRNN模型靠近输出的后层是循环神经网络，其主要作用是序列特征提取；最后的CTC和序列特征学习图中上下文信息，预测得到图中的文字；
经卷积层改进后的CRNN模型可以包括：在上述CRNN模型的基础上，修改了CRNN中7层卷积层，替换为改进后的Xception模型的特征提取结构，其中Xception是一个轻量的深度学习网络，在图像分类中有很好的准确率。通过改进后的CRNN模型可以显著提高模型提取特征的能力，进而提升文字识别的准确率。
在某一实施例中，改进的Xception网络结构包括：在ExitFlow最后的输出中首先上采样，之后和EntryFlow第三次下采样的特征图进行Concat 操作，具体改进后的Xception结构如图7所示，如图7中Input为模型输入。 Conv代表普通卷积操作用于提取特征。ReLU为激活函数。SeparalbeConv 为深度可分离卷积，其比普通卷积有更少的参数量。MaxPooling为最大池化。 Upsample为上采样。Concat为concatenate融合操作。最后Ooutput为网络输出。如图7中+号为矩阵间逐元素加操作。如图7中“Conv 32,3×3, stride＝2×2”中32代表卷积输出特征通道数目，3×3为卷积核大小，stride 代表卷积核步长。
Xception是一个轻量级的卷积神经网络，在图像分类中有很高的准确率。网络分为Entry Flow、Middle Flow和Exit Flow。Entry Flow是输入阶段，用于初步特征提取，为深度特征提取做准备。Middle Flow是中间阶段，用于深度特征提取。最后Exit Flow是输出阶段。
本方案对Xception做出的改进：将网络浅层和深层的feature map进行融合，更加丰富了特征信息，能够提高模型识别字准确率。
本方案通过文字分割模型将待识别图片划分出第一文字区域，并将第一文字区域中的非文字内容进行标记，根据标记去除第一文字区域的非文字内容，获得第二文字区域，将所述第二文字区域输入经卷积层改进后的CRNN 模型，获得文字识别结果，通过本方案能够准确识别自然场景中常出现的弯曲文字，有效提升OCR在自然场景中的识别字准确率。也提高了各类需要识别文字的应用效果。
基于文字分割模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
基于卷积层改进后的CRNN模型进行文字识别，通过改进的卷积层可以显著提高模型提取特征的能力，进而提升文字识别的准确率。
优选地，在上述任意实施例中，所述文字分割模型包括：PSEnet文字检测模型。
在某一实施例中，基于分割的方法可属于目标分割，文字分割模型能够抠出文字的外轮廓，外轮廓的最小外接矩形即为检测到的文本框。LSAE、 DBNet、PSENet等模型是基于分割的方法。基于分割方法的优势在于相对于现有文字识别方案的回归方法能够更准确地检测出弯曲文字，基于分割的文字检测方法能够有效实现弯曲文字的检测。更具体地，本方案使用PSEnet 作为文字检测模型，它的优点在于能够有效区分紧凑的文本行且有良好的处理速度，也可以根据实际应用需求选择其他分割模型，不做具体限定。
本方案基于PSEnet文字检测模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
优选地，在上述任意实施例中，所述CRNN模型由是卷积神经网络，循环神经网络和CTC；卷积神经网络，循环神经网络和CTC依次连接。
S4之前，还包括：将所述CRNN模型中卷积神经网络的卷积层修改为 Xception模型的特征提取结构，获得改进后的CRNN模型。
本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为 Xception模型的特征提取结构，获得改进后的CRNN模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
优选地，在上述任意实施例中，所述S1具体包括：
基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域。
本方案通过基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域，通过分割方法的优势相对于现有识别方案中的回归方法能够更准确地检测出弯曲文字。
优选地，在上述任意实施例中，所述S4具体包括：
将所述第二文字区域输入Xception的ExitFlow中，首先进行上采样，将上采样结果与Xception的EntryFlow的第三次下采样的特征图进行Concat 操作，获得文字识别结果。
本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为以Xception为主干网络，获得改进后的CRNN模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
在某一实施例中，如图2所示，一种基于复杂场景中的弯曲文字识别系统，包括：第一区域获取模块1001、标记模块1002、第二区域获取模块1003 和文字识别模块1004；
所述第一区域获取模块1001用于基于文字分割模型检测待识别图片的第一文字区域；
所述标记模块1002用于将所述第一文字区域中的非文字内容进行标记；
所述第二区域获取模块1003用于去除所述第一文字区域中标记的非文字内容获得第二文字区域；
在某一实施例中，可以包括：将图片Xh*w*c输入文字分割模型fD()，其中，h,w分别为图片的高和宽，c为图片通道数，模型输出与原图相同高宽的检测结果fD(Xh*w*c)＝Maskh*w。其中，Mask[i][j]＝1代表原图X中(i,j) 坐标像素为文字，Mask[i][j]＝0代表原图X中(i,j)坐标像素为非文字。这样， Mask中值为1的联通区域即为文本区域，多个1的联通区域代表了不同的多行文本。各个文本区域记作Ti(i＝1,...,n)，n为检测结果中文本框的个数。
如图3为原图X，进过检测模型得到如图4的检测结果Mask。图2中黑色部分为非文字区域，白色部分为文字区域。
对每个文字区域Ti外接最小矩形，Recti,(i＝1,…,n)。在以往的方案中，直接在原图Xh*w*c中截图矩形框。这样做的缺点在于如果文本是弯曲不规则的，那么截取后的文本框含有较多的非文字的背景信息，这些背景信息会对之后的文本识别造成干扰。因此，为了竟可能减少背景信息对文字识别的干扰，在本方案中，首先对每个文字区域Ti外接最小矩形，之后将在矩形内的非文本区域置0，同时保留原本文本区域。这样就得到了去除背景信息的文本框。
最小外接矩形文本框，即表示第一文字区域，如图5所示，去除背景的文本框，即第二文字区域如图6所示。
所述文字识别模块1004用于将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果。
在某一实施例中，去除了背景的文本框Boxi，输入改进的Xception为主干网络的CRNN中进行文字识别，并输出文本框的文字。
在某一实施例中，CRNN模型输入是由文字分割模型检测后的文本框，输出图中的文字字符串；CRNN模型包括：卷积神经网络，循环神经网络和 CTC(ConnectionistTemporal Classification)；CRNN模型靠近输入的前层是卷积神经网路，其主要作用是提出文本框中的特征信息；CRNN模型靠近输出的后层是循环神经网络，其主要作用是序列特征提取；最后的CTC和序列特征学习图中上下文信息，预测得到图中的文字；
经卷积层改进后的CRNN模型可以包括：在上述CRNN模型的基础上，修改了CRNN中7层卷积层，替换为改进后的Xception模型的特征提取结构，其中Xception是一个轻量的深度学习网络，在图像分类中有很好的准确率。通过改进后的CRNN模型可以显著提高模型提取特征的能力，进而提升文字识别的准确率。
在某一实施例中，改进的Xception网络结构包括：在ExitFlow最后的输出中首先上采样，之后和EntryFlow第三次下采样的特征图进行Concat 操作，具体改进后的Xception结构如图7所示。
本方案通过文字分割模型将待识别图片划分出第一文字区域，并将第一文字区域中的非文字内容进行标记，根据标记去除第一文字区域的非文字内容，获得第二文字区域，将所述第二文字区域输入经卷积层改进后的CRNN 模型，获得文字识别结果，通过本方案能够准确识别自然场景中常出现的弯曲文字，有效提升OCR在自然场景中的识别字准确率。也提高了各类需要识别文字的应用效果。
基于文字分割模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
基于卷积层改进后的CRNN模型进行文字识别，通过改进的卷积层可以显著提高模型提取特征的能力，进而提升文字识别的准确率。
优选地，在上述任意实施例中，所述文字分割模型包括：PSEnet文字检测模型。
在某一实施例中，基于分割的方法可属于目标分割，文字分割模型能够抠出文字的外轮廓，外轮廓的最小外接矩形即为检测到的文本框。LSAE、 DBNet、PSENet等模型是基于分割的方法。基于分割方法的优势在于相对于现有文字识别方案的回归方法能够更准确地检测出弯曲文字，基于分割的文字检测方法能够有效实现弯曲文字的检测。更具体地，本方案使用PSEnet 作为文字检测模型，它的优点在于能够有效区分出紧凑的文本行且有良好的处理速度。
本方案基于PSEnet文字检测模型的分割方法的优势在于相对于现有文字识别方案中的回归方法能够更准确地检测出弯曲文字，能够有效区分出紧凑的文本行且有良好的处理速度。
优选地，在上述任意实施例中，所述CRNN模型由是卷积神经网络，循环神经网络和CTC；
还包括：模型改进模块，用于将所述CRNN模型中卷积神经网络的卷积层修改为Xception模型的特征提取结构，获得改进后的CRNN模型。
本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为 Xception模型的特征提取结构，获得改进后的CRNN模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
优选地，在上述任意实施例中，所述第一区域获取模块1001用于基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域。
本方案通过基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域，通过分割方法的优势相对于现有识别方案中的回归方法能够更准确地检测出弯曲文字。
优选地，在上述任意实施例中，所述文字识别模块1004具体用于
将第二文字区域输入Xception的ExitFlow中，首先进行上采样，将上采样结果与Xception的EntryFlow的第三次下采样的特征图进行Concat操作，获得文字识别结果。
本方案通过将所述CRNN模型中卷积神经网络的卷积层修改为以 Xception为主干网络，获得改进后的CRNN模型，合理地修改卷积层显著提高模型提取特征的能力，进而提升文字识别的准确率。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于复杂场景中的弯曲文字识别方法，其特征在于，包括：
S1，基于文字分割模型检测待识别图片的第一文字区域；
S2，将所述第一文字区域中的非文字内容进行标记；
S3，去除所述第一文字区域中标记的非文字内容获得第二文字区域；
S4，将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果；
所述S4之前，还包括：将所述CRNN模型中卷积神经网络的卷积层修改为Xception模型的特征提取结构，获得改进后的CRNN模型；
其中，所述S4具体包括：
将所述第二文字区域输入Xception的EntryFlow中，经过模型特征提取后的特征图进入ExitFlow，然后进行上采样，将上采样结果与Xception的EntryFlow的第三次下采样的特征图进行Concat操作，获得文字识别结果。
2.根据权利要求1所述的一种基于复杂场景中的弯曲文字识别方法，其特征在于，所述文字分割模型包括：PSEnet文字检测模型。
3.根据权利要求1或2所述的一种基于复杂场景中的弯曲文字识别方法，其特征在于，所述S1具体包括：
基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域。
4.一种基于复杂场景中的弯曲文字识别系统，其特征在于，包括：第一区域获取模块、标记模块、第二区域获取模块和文字识别模块；
所述第一区域获取模块用于基于文字分割模型检测待识别图片的第一文字区域；
所述标记模块用于将所述第一文字区域中的非文字内容进行标记；
所述第二区域获取模块用于去除所述第一文字区域中标记的非文字内容获得第二文字区域；
所述文字识别模块用于将所述第二文字区域输入经卷积层改进后的CRNN模型，获得文字识别结果；
还包括：模型改进模块，用于将所述CRNN模型中卷积神经网络的卷积层修改为Xception模型的特征提取结构，获得改进后的CRNN模型；
其中，所述文字识别模块具体用于将所述第二文字区域输入Xception的EntryFlow中，经过模型特征提取后的特征图进入ExitFlow，然后进行上采样，将上采样结果与Xception的EntryFlow的第三次下采样的特征图进行Concat操作，获得文字识别结果。
5.根据权利要求4所述的一种基于复杂场景中的弯曲文字识别系统，其特征在于，所述文字分割模型包括：PSEnet文字检测模型。
6.根据权利要求4或5所述的一种基于复杂场景中的弯曲文字识别系统，其特征在于，所述第一区域获取模块用于基于文字分割模型检测待识别图片，获得文字区域，对所述文字区域进外接最小矩形，获得第一文字区域。
CN202111029153.5A 2021-09-01 2021-09-01 一种基于复杂场景中的弯曲文字识别方法和系统 Active CN113888758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111029153.5A CN113888758B (zh) 2021-09-01 2021-09-01 一种基于复杂场景中的弯曲文字识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111029153.5A CN113888758B (zh) 2021-09-01 2021-09-01 一种基于复杂场景中的弯曲文字识别方法和系统

Publications (2)

Publication Number Publication Date
CN113888758A CN113888758A (zh) 2022-01-04
CN113888758B true CN113888758B (zh) 2022-05-24

Family

ID=79012232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111029153.5A Active CN113888758B (zh) 2021-09-01 2021-09-01 一种基于复杂场景中的弯曲文字识别方法和系统

Country Status (1)

Country Link
CN (1) CN113888758B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN111612009A (zh) * 2020-05-21 2020-09-01 腾讯科技（深圳）有限公司 文本识别方法、装置、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447078B (zh) * 2018-10-23 2020-11-06 四川大学 一种自然场景图像敏感文字的检测识别方法
CN110147763B (zh) * 2019-05-20 2023-02-24 哈尔滨工业大学 基于卷积神经网络的视频语义分割方法
US11461998B2 (en) * 2019-09-25 2022-10-04 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN111612009A (zh) * 2020-05-21 2020-09-01 腾讯科技（深圳）有限公司 文本识别方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
COVID-19 Screening Using a Lightweight Convolutional Neural Network with Generative Adversarial Network Data Augmentation;Mohd Asyraf Zulkifley 等;《Symmetry 2020》;20200916;第1-17页 *
Francşois Chollet.Xception: Deep Learning with Depthwise Separable Convolutions.《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》.2017, *
杨伟东 等.基于深度学习的车载屏幕文本检测与识别研究.《光电子•激光》.2021,第32卷(第4期), *

Also Published As

Publication number Publication date
CN113888758A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN107133622B (zh) 一种单词的分割方法和装置
CN102915438B (zh) 一种视频字幕的提取方法及装置
CN112381775A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN110766020A (zh) 一种面向多语种自然场景文本检测与识别的系统及方法
CN112507876B (zh) 一种基于语义分割的有线表格图片解析方法和装置
CN108108731A (zh) 基于合成数据的文本检测方法及装置
CN112749696B (zh) 一种文本检测方法及装置
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN112434555B (zh) 键值对区域识别方法、装置、存储介质和电子设备
CN110443235B (zh) 一种智能纸质试卷总分识别方法及系统
CN109977899B (zh) 一种物品识别的训练、推理以及增加新种类的方法和系统
CN109508716B (zh) 一种图像文字的定位方法及装置
CN113591746B (zh) 一种文档表格结构检测方法及装置
CN111652142A (zh) 基于深度学习的题目分割方法、装置、设备和介质
CN111563505A (zh) 一种基于像素分割合并的文字检测方法及装置
CN111652140A (zh) 基于深度学习的题目精准分割方法、装置、设备和介质
Mancas Relative influence of bottom-up and top-down attention
CN117541546A (zh) 图像裁剪效果的确定方法和装置、存储介质及电子设备
CN117765485A (zh) 基于改进的深度残差网络的车型识别方法、装置和设备
CN113888758B (zh) 一种基于复杂场景中的弯曲文字识别方法和系统
CN112329647A (zh) 基于U-Net神经网络的土地利用类型识别方法
Babu et al. A feature based approach for license plate-recognition of Indian number plates
CN112712080B (zh) 一种用于走字屏采集图像的文字识别处理方法
Vu et al. Automatic extraction of text regions from document images by multilevel thresholding and k-means clustering
Krishna et al. Digital image processing techniques in character recognition-a survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant