CN112883818A - 文本图像识别方法、系统、设备及存储介质 - Google Patents

文本图像识别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112883818A
CN112883818A CN202110102941.6A CN202110102941A CN112883818A CN 112883818 A CN112883818 A CN 112883818A CN 202110102941 A CN202110102941 A CN 202110102941A CN 112883818 A CN112883818 A CN 112883818A
Authority
CN
China
Prior art keywords
text
character
box
prediction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110102941.6A
Other languages
English (en)
Inventor
章嵘
龚霁程
赵钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Westwell Information Technology Co Ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202110102941.6A priority Critical patent/CN112883818A/zh
Publication of CN112883818A publication Critical patent/CN112883818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Abstract

本发明提供了一种文本图像识别方法、系统、设备及存储介质，该方法包括：将待识别图像输入特征提取网络，得到特征图；将所述特征图输入文本框预测网络，得到预测的文本框区域；从所述待识别图像中提取对应于所述文本框区域的文字图像；将所述文字图像输入文字预测网络，得到预测的文字内容。本发明首先通过特征提取网络对待识别图像进行特征图，然后通过文本框预测网络确定文字图像的提取位置，通过文字预测网络预测得到识别结果，可以实现对待识别图像端到端的检测，并且在提高文字识别准确率的同时提高了文字识别效率。

Description

文本图像识别方法、系统、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种文本图像识别方法、系统、设备及存储介质。
背景技术
文本图像指的是内容包括文字的图像。随着神经网络技术的发展，采用神经网络对文本图像的文字进行识别已经应用十分普遍。然而，现有技术中的文本图像识别的准确度仍然不高，无法满足高精度识别的需求。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种文本图像识别方法、系统、设备及存储介质，提高文本图像识别的准确率。
本发明实施例提供一种文本图像识别方法，包括如下步骤：
将待识别图像输入特征提取网络，得到特征图；
将所述特征图输入文本框预测网络，得到预测的文本框区域；
从所述待识别图像中提取对应于所述文本框区域的文字图像；
将所述文字图像输入文字预测网络，得到预测的文字内容。
在一些实施例中，所述特征提取网络为包括多个瓶颈模块的卷积神经网络，各个所述瓶颈模块包括至少一个卷积模块和一跳转链接层，所述跳转链接层用于将所述瓶颈模块的输入叠加到所述瓶颈模块的输出。
在一些实施例中，各个所述卷积模块包括归一化层、激活层和卷积层。
在一些实施例中，将所述特征图输入文本框预测网络，得到预测的文本框区域，包括如下步骤：
将所述特征图输入一卷积层，得到所述特征图的特征张量；
将所述特征张量输入文本框预测网络，得到预测的文本框区域。
在一些实施例中，所述文本框预测网络为第一双向循环神经网络，将所述特征图输入文本框预测网络，得到预测的文本框区域，包括如下步骤：
采用滑动卷积窗口对所述特征图进行计算，得到长度为W的序列特征，W为所述特征图的宽度；
将所述序列特征输入全连接层，得到预测框的位置和含有文字的概率值；
根据所述含有文字的概率值从所述预测框中选择文本候选框；
基于所述文本候选框的位置确定文本框区域。
在一些实施例中，所述采用滑动卷积窗口对所述特征图进行计算时，每个点设置多个高度不同的锚点框，且采用所述滑动卷积窗口稠密地自左向右计算。
在一些实施例中，基于所述文本候选框的位置确定文本框区域，包括如下步骤：
将垂直方向重合度大于重合度阈值且距离小于距离阈值的文本候选框连接成一个完整的检测框；
根据所述检测框的位置所对应的区域确定文本框区域。
在一些实施例中，将所述序列特征输入全连接层之后，所述全连接层还输出x轴偏移量，所述x轴偏移量为所述文本框区域的边界相对于锚点框边界的偏移量；
训练所述第一双向循环神经网络时，所述第一双向循环神经网络的损失函数包括预测框的位置损失函数、含有文字的概率值损失函数和x轴偏移量损失函数，所述含有文字的概率值损失函数为交叉熵损失函数，所述预测框的位置损失函数和所述x轴偏移量损失函数为SmoothL1损失函数。
在一些实施例中，训练所述第一双向循环神经网络时，采用如下公式计算所述第一双向循环神经网络的损失函数L(si,vj,ok)：
Figure BDA0002916286790000021
其中，Ns为包含文字的概率对应的锚点框数量，i∈(1,Ns)，si,
Figure BDA0002916286790000022
分别为预测包含文字的概率值和真实框包含文字的概率值，
Figure BDA0002916286790000023
采用交叉熵函数，Nv为预测框位置对应的锚点框数量，j∈(1,Nv)，vj,
Figure BDA0002916286790000031
分别为预测框和真实框相对于锚点框的位置变化相对值，
Figure BDA0002916286790000032
采用SmoothL1损失函数,No为x轴偏移量对应的锚点框数量，k∈(1,No)，ok,
Figure BDA0002916286790000033
分别为预测框的x轴偏移量和真实框的x轴偏移量，
Figure BDA0002916286790000034
采用SmoothL1损失函数，λ1和λ2分别为位置变化相对值和x轴偏移量的预设权重系数。
在一些实施例中，将所述文字图像输入文字预测网络，得到预测的文字内容，包括如下步骤：
将所述文字图像缩放至预设高度；
将所述文字图像输入一卷积层，得到所述文字图像的特征图；
将所述文字图像的特征图输入文字预测网络，得到预测的文字内容。
在一些实施例中，所述文字预测网络为第二双向循环神经网络，将所述文字图像输入文字预测网络，得到预测的文字内容，包括如下步骤：
将所述文字图像输入文字预测网络，得到预测值序列；
将所述预测值序列，基于预设的语义映射方法，得到字符预测值；
计算所述字符预测值的概率值，所述概率值为所述预测值序列中各个部分基于所述语义映射方法映射为对应字符的概率之和。
在一些实施例中，训练所述第二双向循环神经网络时，基于所述字符预测值和真实文字序列计算所述第二双向循环神经网络的损失函数。
本发明实施例还提供一种文本图像识别系统，用于实现所述的文本图像识别方法，所述系统包括：
图像特征提取模块，用于将待识别图像输入特征提取网络，得到特征图；
文本框预测模块，用于将所述特征图输入文本框预测网络，得到预测的文本框区域；
文字图像提取模块，用于从所述待识别图像中提取对应于所述文本框区域的文字图像；
文字内容预测模块，用于将所述文字图像输入文字预测网络，得到预测的文字内容。
本发明实施例还提供一种文本图像识别设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的文本图像识别方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的文本图像识别方法的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本发明的文本图像识别方法、系统、设备及存储介质具有如下有益效果：
本发明首先通过特征提取网络对待识别图像进行特征图，然后通过文本框预测网络确定文字图像的提取位置，通过文字预测网络预测得到识别结果，可以实现对待识别图像端到端的检测，并且在提高文字识别准确率的同时提高了文字识别效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的文本图像识别方法的流程图；
图2是本发明一实施例的特征提取网络中瓶颈模块的结构示意图；
图3是本发明一实施例的文本框预测网络的结构示意图；
图4是本发明一实施例的文本图像识别系统的结构示意图；
图5是本发明一实施例的文本图像识别设备的结构示意图；
图6是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
如图1所示，本发明实施例提供一种文本图像识别方法，包括如下步骤：
S100：将待识别图像输入特征提取网络，得到特征图；
S200：将所述特征图输入文本框预测网络，得到预测的文本框区域；
S300：从所述待识别图像中提取对应于所述文本框区域的文字图像，即根据所述文本框区域的位置在原图中提取文字图像，作为本子内容检测的对象；
S400：将所述文字图像输入文字预测网络，得到预测的文字内容，即通过所述文字预测网络预测得到文本图像中所包含的字符内容。
本发明的文本图像识别方法首先通过步骤S100采用特征提取网络对待识别图像进行特征图，然后通过步骤S200采用文本框预测网络确定文字图像的提取位置，通过步骤S300提取文字图像，通过步骤S400采用文字预测网络预测得到识别结果，可以实现对待识别图像端到端的检测，并且在提高文字识别准确率的同时提高了文字识别效率。
所述文本图像识别方法可以部署于一用于执行上述步骤S100～S400的服务器中，该服务器可以从图像源获取待识别图像，并且可以将步骤S400得到的预测的文字内容输出给下游业务单元。
在该实施例中，所述步骤S100：将待识别图像输入特征提取网络之前，还包括将所述待识别图像进行伽马变换，调整图像明暗度，然后将调整了图像明暗度之后的待识别图像输入所述特征提取网络。待识别图像为内容包含有文字的待识别的文本图像。将待识别图像输入特征提取网络之后，得到的特征图相较于原图宽和高均缩小了一定倍数，例如缩小16倍。
如图2所示，在该实施例中，所述特征提取网络为包括多个瓶颈模块的卷积神经网络，各个所述瓶颈模块包括至少一个卷积模块和一跳转链接层，各个所述卷积模块包括归一化层、激活层和卷积层，所述跳转链接层用于将所述瓶颈模块的输入叠加到所述瓶颈模块的输出。在该实施例中，所述特征提取网络包括19个瓶颈模块，每个瓶颈模块包括三个卷积模块，第一个卷积模块的卷积核为1x1，第二个卷积模块的卷积核为3x3，第三个卷积模块的卷积核为1x1。但本发明不限于此，在其他可替代的实施方式中，所述特征提取模块中瓶颈模块的数量也可以根据需要选择为其他值，所述瓶颈模块的结构也可以不完全与图2中示出的结构相同，均属于本发明的保护范围之内。
在该实施例中，所述步骤S200：将所述特征图输入文本框预测网络，得到预测的文本框区域，包括如下步骤：
将所述特征图输入一卷积层，得到所述特征图的特征张量，具体地，得到C×H×W的特征张量，H为特征张量对应的特征图的高度，W为特征张量对应的特征图的宽度，C表示各个点的特征值；
将所述C×H×W的特征张量输入文本框预测网络，得到预测的文本框区域。
如图3所示，在该实施例中，所述文本框预测网络为第一双向循环神经网络(Bi-directional Recurrent Neural Network,BRNN)，所述第一双向循环神经网络具有256维隐藏层。所述第一双向循环神经网络包括循环网络R1和循环网络R2。循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。双向循环神经网络不仅可以从过去的时间点获取记忆，而且可以从未来的时间点获取信息。双向循环神经网络的基本思想是提出每一个训练序列向前和向后分别是两个循环神经网络(即图3中的循环网络R1和循环网络R2)，而且这两个都连接着一个输出层。
所述步骤S200中，将所述特征图输入文本框预测网络，得到预测的文本框区域，包括如下步骤：
所述文本框预测网络的隐藏层采用滑动卷积窗口对所述C×H×W的特征张量对应的特征图进行计算，得到长度为W的序列特征，W为输入的特征图的宽度；
将所述序列特征输入全连接层，得到预测框的位置和含有文字的概率值，所述预测框的位置表示为预测框的y轴位置和高度；
根据所述含有文字的概率值从所述预测框中选择文本候选框，具体地，将含有文字的概率值大于预设概率阈值的预测框作为文本候选框，此处预设概率阈值的值可以根据需要设定，例如设定为0.7；
基于所述文本候选框的位置确定文本框区域。
在该实施例中，所述采用滑动卷积窗口对所述特征图进行计算时，每个点设置多个高度不同的锚点框，且采用所述滑动卷积窗口稠密地自左向右计算。具体地，所述锚点框的宽度固定，例如固定为16像素，而高度根据不同的文字高度会有所不同。在该实施例中，每个点设置10个锚点框，高度从11像素至273像素，但本发明不限于此，在其他实施方式中，锚点框的数量、宽度和高度可以根据需要进行选择。
在该实施例中，基于所述文本候选框的位置确定文本框区域，包括如下步骤：
将垂直方向重合度大于重合度阈值且距离小于距离阈值的文本候选框连接成一个完整的检测框；具体地，对于一个文本候选框，当该文本候选框与其他文本候选框的垂直方向大于0.7且距离小于50像素时，将被纳入到整体检测框中，此处重合度阈值和距离阈值均为示例，在其他的实施方式中，所述重合度阈值和距离阈值也可以选择为其他数值；
根据所述检测框的位置所对应的区域确定文本框区域。
由于每个文本候选框固定宽度为16像素，导致检测框的边界可能过大或者不完整。在该实施例中，将所述W长度的序列特征输入全连接层之后，所述全连接层还输出x轴偏移量，所述x轴偏移量为所述文本框区域的边界相对于锚点框边界的偏移量。
具体地，所述文本框预测网络的隐藏层输出为：
Figure BDA0002916286790000071
其中，Ht代表t时刻第一双向循环卷积网络的隐藏层输出，Xt∈R3×3×C是特征图第t个滑动卷积窗口的输出值。滑动窗口稠密地从左至右计算，得到长度为W的序列特征(W是特征图的宽度)。隐藏层输出将通过三个全连接层映射成三条输出分支，分别预测文本候选框相对于锚点框的位置变化相对值v(包括预测框相对于锚点框的y轴位置变化相对值和高度变化相对值)、含有文字的概率值s和x轴偏移量o。
其中，锚点框的位置变化相对值v表示为：
Figure BDA0002916286790000081
Figure BDA0002916286790000082
其中，vc为预测框相对于锚点框中心的y轴位置变化相对值，vh为预测框相对于锚点框的高度变化相对值，
Figure BDA0002916286790000083
为真实框相对于锚点框中心的y轴位置变化相对值，
Figure BDA0002916286790000084
为真实框相对于锚点框的高度变化相对值。cy为预测框中心的y轴位置，
Figure BDA0002916286790000085
为真实框中心的y轴位置，
Figure BDA0002916286790000086
为锚点框中心的y轴位置，h为预测框的高度，ha为锚点框的高度，h*为真实框的高度。
x轴偏移量表示为：
Figure BDA0002916286790000087
其中，o表示预测框的x轴偏移量，o*表示真实框的x轴偏移量，
Figure BDA0002916286790000088
Figure BDA0002916286790000089
表示检测框的端点框(即检测框最左边和最右边的框)的边界与对应的锚点框的边界(锚点框的左边界或右边界)的最近距离，xside表示检测框的端点框距离锚点框最近的边界位置，
Figure BDA00029162867900000810
表示锚点框距离端点框最近的边界位置，wa表示锚点框的宽度，
Figure BDA00029162867900000811
表示真实框的边界与对应的锚点框的边界的最近距离，
Figure BDA00029162867900000812
表示真实框距离锚点框最近的边界位置。
训练所述第一双向循环神经网络时，所述第一双向循环神经网络的损失函数包括预测框的位置损失函数、含有文字的概率值损失函数和x轴偏移量损失函数，所述含有文字的概率值损失函数为交叉熵损失函数，所述预测框的位置损失函数和所述x轴偏移量损失函数为SmoothL1损失函数。然后基于所述第一双向循环神经网络的损失函数来迭代优化训练所述第一双向循环神经网络，至其损失函数值小于预设损失阈值。
具体地，在该实施例中，训练所述第一双向循环神经网络时，采用如下公式计算所述第一双向循环神经网络的损失函数L(si,vj,ok)：
Figure BDA0002916286790000091
每个锚点框是一个训练样本，其中，Ns为包含文字的概率对应的锚点框数量，i是用于文字分类的每个锚点框的序号，i∈(1,Ns)，si,
Figure BDA0002916286790000092
分别为预测包含文字的概率值和真实框包含文字的概率值，
Figure BDA0002916286790000093
采用交叉熵函数。
Nv为预测框位置对应的锚点框数量，j是用于回归预测框位置的锚点框序号，与真实框IoU大于预设阈值的将被作为正样本，此处预设阈值例如设置为0.5，j∈(1,Nv)，vj,
Figure BDA0002916286790000094
分别为预测框和真实框相对于锚点框的位置变化相对值，
Figure BDA0002916286790000095
采用SmoothL1损失函数。
No为x轴偏移量对应的锚点框数量，k是用于预测x轴偏移量的锚点框序号，k∈(1,No)，ok,
Figure BDA0002916286790000096
分别为预测框的x轴偏移量和真实框的x轴偏移量，
Figure BDA0002916286790000097
采用SmoothL1损失函数，λ1和λ2分别为位置变化相对值和x轴偏移量的预设权重系数，例如λ1为1，λ2为2，但本发明不限于此，在其他实施方式中，权重系数的值可以根据需要选择。
在该实施例中，所述步骤S400：将所述文字图像输入文字预测网络，得到预测的文字内容，包括如下步骤：
将所述文字图像缩放至预设高度，例如在该实施例中，从原待处理图像中提取到文字图像后，将文字图像的高度统一变换到32像素，宽度按比例缩放，但本发明不限于此，此处预设高度的值可以根据需要选择；
将所述文字图像输入一卷积层，得到所述文字图像的特征图，具体地，得到W×n×C的特征图，W代表卷积后的特征图宽度，C为特征图每个向量的特征维度，n表示特征图高度，在输入文字图像高度固定为32时，特征图高度也固定为1；
将所述文字图像的特征图输入文字预测网络，得到预测的文字内容。
在该实施例中，所述文字预测网络为第二双向循环神经网络(Bi-directionalRecurrent Neural Network,BRNN)。所述第二双向循环神经网络用于预测特征图的每一个特征向量对应的字符。双向循环神经网络可以考虑到文本上下文的语义信息，从而可以得到更好的文本预测，同时也可以处理不定长的文本内容。第二双向循环神经网络的结构可以采用如图3所示的第一双向循环神经网络的结构相类似的网络结构，其输入和输出与第一双向循环神经网络不同。
具体地，将所述文字图像输入文字预测网络，得到预测的文字内容，包括如下步骤：
将所述文字图像输入文字预测网络，得到预测值序列；
将所述预测值序列，基于预设的语义映射方法，得到字符预测值；
计算所述字符预测值的概率值，所述概率值为所述预测值序列中各个部分基于所述语义映射方法映射为对应字符的概率之和。
即循环神经网络的预测值将被转义成字符形式，本发明采用时序分类法，对于一个输入序列y＝y1,…,yT，其中T代表序列长度，通过一个语义映射方法即序列至序列映射方法B，得到字符的预测值。例如方法B将“--h h-e-l-l l-o o--”(“-”代表空白符)映射成“hello”，接下来整个序列的概率值为该序列各部分映射成对应字符π的条件概率之和。
Figure BDA0002916286790000101
其中π的概率定义为
Figure BDA0002916286790000102
Figure BDA0002916286790000103
是指在t时刻字符πt的概率值。
在该实施例中，训练所述第二双向循环神经网络时，基于所述字符预测值和真实文字序列计算所述第二双向循环神经网络的损失函数。然后基于所述第二双向循环神经网络的损失函数来迭代优化训练所述第二双向循环神经网络，至其损失函数值小于预设损失阈值。
具体地，定义训练集为X＝{Ii,li}，其中Ii是训练集图片，li是真实文字序列，神经网络的训练目标为：
Figure BDA0002916286790000104
其中，X表示字库，yi是图片Ii通过循环神经网络预测出的序列。整个文字检测网络可以直接根据一张图以及一段文字序列进行训练，无需单独标出图片中每个字符。
如图4所示，本发明实施例还提供一种文本图像识别系统，用于实现所述的文本图像识别方法，所述系统包括：
图像特征提取模块M100，用于将待识别图像输入特征提取网络，得到特征图，所述待识别图像为待识别的包含有文字的文本图像；
文本框预测模块M200，用于将所述特征图输入文本框预测网络，得到预测的文本框区域；
文字图像提取模块M300，用于从所述待识别图像中提取对应于所述文本框区域的文字图像，即根据所述文本框区域的位置在原图中提取文字图像，作为本子内容检测的对象；
文字内容预测模块M400，用于将所述文字图像输入文字预测网络，得到预测的文字内容，即通过所述文字预测网络预测得到文本图像中所包含的字符内容。
本发明的文本图像识别系统通过图像特征提取模块M100采用特征提取网络对待识别图像进行特征图，通过文本框预测模块M200采用文本框预测网络确定文字图像的提取位置，通过文字图像提取模块M300提取文字图像，通过文字内容预测模块M400采用文字预测网络预测得到识别结果，可以实现对待识别图像端到端的检测，并且在提高文字识别准确率的同时提高了文字识别效率。
所述文本图像识别系统可以部署于一服务器中，该服务器可以从图像源获取待识别图像，并且可以将步骤S400得到的预测的文字内容输出给下游业务单元。
在该实施例中，所述文本图像识别系统还包括亮度调整模块，用于对待识别图像进行伽马变换，调整图像明暗度。
在该实施例中，所述特征提取网络为包括多个瓶颈模块的卷积神经网络，各个所述瓶颈模块包括至少一个卷积模块和一跳转链接层，各个所述卷积模块包括归一化层、激活层和卷积层，所述跳转链接层用于将所述瓶颈模块的输入叠加到所述瓶颈模块的输出。
在该实施例中，所述文本框预测模块M200将所述特征图输入文本框预测网络，得到预测的文本框区域，包括：将所述特征图输入一卷积层，得到所述特征图的特征张量；将所述特征张量输入文本框预测网络，得到预测的文本框区域。
在该实施例中，所述文本框预测网络为第一双向循环神经网络，所述文本框预测模块M200将所述特征图输入文本框预测网络，得到预测的文本框区域，包括：采用滑动卷积窗口对所述特征图进行计算，得到长度为W的序列特征，W为所述特征图的宽度；将所述序列特征输入全连接层，得到预测框的位置和含有文字的概率值；根据所述含有文字的概率值从所述预测框中选择文本候选框；基于所述文本候选框的位置确定文本框区域。
具体地，所述文本框预测模块M200基于所述文本候选框的位置确定文本框区域，包括：将垂直方向重合度大于重合度阈值且距离小于距离阈值的文本候选框连接成一个完整的检测框；根据所述检测框的位置所对应的区域确定文本框区域。
在该实施例中，所述文本图像识别系统还包括第一网络训练模块，用于训练所述第一双向循环神经网络，所述第一网络训练模块训练所述第一双向循环神经网络时，所述第一双向循环神经网络的损失函数包括预测框的位置损失函数、含有文字的概率值损失函数和x轴偏移量损失函数，所述含有文字的概率值损失函数为交叉熵损失函数，所述预测框的位置损失函数和所述x轴偏移量损失函数为SmoothL1损失函数。然后所述第一网络训练模块基于所述第一双向循环神经网络的损失函数来迭代优化训练所述第一双向循环神经网络，至其损失函数值小于预设损失阈值。
在该实施例中，所述文字内容预测模块M400将所述文字图像输入文字预测网络，得到预测的文字内容，包括：将所述文字图像缩放至预设高度；将所述文字图像输入一卷积层，得到所述文字图像的特征图；将所述文字图像的特征图输入文字预测网络，得到预测的文字内容。
具体地，所述文字预测网络为第二双向循环神经网络。所述文字内容预测模块M400将所述文字图像的特征图输入文字预测网络，得到预测的文字内容，包括：将所述文字图像的特征图输入文字预测网络，得到预测值序列；将所述预测值序列，基于预设的语义映射方法，得到字符预测值；计算所述字符预测值的概率值，所述概率值为所述预测值序列中各个部分基于所述语义映射方法映射为对应字符的概率之和。
在该实施例中，所述文本图像识别系统还包括第二网络训练模块，用于训练所述第二双向循环神经网络。在所述第二网络训练模块第二双向循环神经网络时，基于所述字符预测值和真实文字序列计算所述第二双向循环神经网络的损失函数。然后所述第二网络训练模块基于所述第二双向循环神经网络的损失函数来迭代优化训练所述第二双向循环神经网络，至其损失函数值小于预设损失阈值。
本发明实施例还提供一种文本图像识别设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的文本图像识别方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述文本图像识别方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
所述文本图像识别设备中，所述存储器中的程序被处理器执行时实现所述的文本图像识别方法的步骤，因此，所述计算机存储介质也可以获得上述文本图像识别方法的技术效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的文本图像识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述文本图像识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
所述计算机存储介质中的程序被处理器执行时实现所述的文本图像识别方法的步骤，因此，所述计算机存储介质也可以获得上述文本图像识别方法的技术效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (15)

1.一种文本图像识别方法，其特征在于，包括如下步骤：
将待识别图像输入特征提取网络，得到特征图；
将所述特征图输入文本框预测网络，得到预测的文本框区域；
从所述待识别图像中提取对应于所述文本框区域的文字图像；
将所述文字图像输入文字预测网络，得到预测的文字内容。
2.根据权利要求1所述的文本图像识别方法，其特征在于，所述特征提取网络为包括多个瓶颈模块的卷积神经网络，各个所述瓶颈模块包括至少一个卷积模块和一跳转链接层，所述跳转链接层用于将所述瓶颈模块的输入叠加到所述瓶颈模块的输出。
3.根据权利要求2所述的文本图像识别方法，其特征在于，各个所述卷积模块包括归一化层、激活层和卷积层。
4.根据权利要求1所述的文本图像识别方法，其特征在于，将所述特征图输入文本框预测网络，得到预测的文本框区域，包括如下步骤：
将所述特征图输入一卷积层，得到所述特征图的特征张量；
将所述特征张量输入文本框预测网络，得到预测的文本框区域。
5.根据权利要求1所述的文本图像识别方法，其特征在于，所述文本框预测网络为第一双向循环神经网络，将所述特征图输入文本框预测网络，得到预测的文本框区域，包括如下步骤：
采用滑动卷积窗口对所述特征图进行计算，得到长度为W的序列特征，W为所述特征图的宽度；
将所述序列特征输入全连接层，得到预测框的位置和含有文字的概率值；
根据所述含有文字的概率值从所述预测框中选择文本候选框；
基于所述文本候选框的位置确定文本框区域。
6.根据权利要求5所述的文本图像识别方法，其特征在于，所述采用滑动卷积窗口对所述特征图进行计算时，每个点设置多个高度不同的锚点框，且采用所述滑动卷积窗口稠密地自左向右计算。
7.根据权利要求5所述的文本图像识别方法，其特征在于，基于所述文本候选框的位置确定文本框区域，包括如下步骤：
将垂直方向重合度大于重合度阈值且距离小于距离阈值的文本候选框连接成一个完整的检测框；
根据所述检测框的位置所对应的区域确定文本框区域。
8.根据权利要求7所述的文本图像识别方法，其特征在于，将所述序列特征输入全连接层之后，所述全连接层还输出x轴偏移量，所述x轴偏移量为所述文本框区域的边界相对于锚点框边界的偏移量；
训练所述第一双向循环神经网络时，所述第一双向循环神经网络的损失函数包括预测框的位置损失函数、含有文字的概率值损失函数和x轴偏移量损失函数，所述含有文字的概率值损失函数为交叉熵损失函数，所述预测框的位置损失函数和所述x轴偏移量损失函数为SmoothL1损失函数。
9.根据权利要求8所述的文本图像识别方法，其特征在于，训练所述第一双向循环神经网络时，采用如下公式计算所述第一双向循环神经网络的损失函数L(si，vj，ok)：
Figure FDA0002916286780000021
其中，Ns为包含文字的概率对应的锚点框数量，i∈(1，Ns)，si，
Figure FDA0002916286780000022
分别为预测包含文字的概率值和真实框包含文字的概率值，
Figure FDA0002916286780000023
采用交叉熵函数，Nv为预测框位置对应的锚点框数量，j∈(1，Nv)，vj，
Figure FDA0002916286780000024
分别为预测框和真实框相对于锚点框的位置变化相对值，
Figure FDA0002916286780000025
采用SmoothL1损失函数，No为x轴偏移量对应的锚点框数量，k∈(1，No)，ok，
Figure FDA0002916286780000026
分别为预测框的x轴偏移量和真实框的x轴偏移量，
Figure FDA0002916286780000027
采用SmoothL1损失函数，λ1和λ2分别为位置变化相对值和x轴偏移量的预设权重系数。
10.根据权利要求1所述的文本图像识别方法，其特征在于，将所述文字图像输入文字预测网络，得到预测的文字内容，包括如下步骤：
将所述文字图像缩放至预设高度；
将所述文字图像输入一卷积层，得到所述文字图像的特征图；
将所述文字图像的特征图输入文字预测网络，得到预测的文字内容。
11.根据权利要求1所述的文本图像识别方法，其特征在于，所述文字预测网络为第二双向循环神经网络，将所述文字图像输入文字预测网络，得到预测的文字内容，包括如下步骤：
将所述文字图像输入文字预测网络，得到预测值序列；
将所述预测值序列，基于预设的语义映射方法，得到字符预测值；
计算所述字符预测值的概率值，所述概率值为所述预测值序列中各个部分基于所述语义映射方法映射为对应字符的概率之和。
12.根据权利要求10所述的文本图像识别方法，其特征在于，训练所述第二双向循环神经网络时，基于所述字符预测值和真实文字序列计算所述第二双向循环神经网络的损失函数。
13.一种文本图像识别系统，用于实现权利要求1至12中任一项所述的文本图像识别方法，其特征在于，所述系统包括：
图像特征提取模块，用于将待识别图像输入特征提取网络，得到特征图；
文本框预测模块，用于将所述特征图输入文本框预测网络，得到预测的文本框区域；
文字图像提取模块，用于从所述待识别图像中提取对应于所述文本框区域的文字图像；
文字内容预测模块，用于将所述文字图像输入文字预测网络，得到预测的文字内容。
14.一种文本图像识别设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任一项所述的文本图像识别方法的步骤。
15.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至12中任一项所述的文本图像识别方法的步骤。
CN202110102941.6A 2021-01-26 2021-01-26 文本图像识别方法、系统、设备及存储介质 Pending CN112883818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110102941.6A CN112883818A (zh) 2021-01-26 2021-01-26 文本图像识别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110102941.6A CN112883818A (zh) 2021-01-26 2021-01-26 文本图像识别方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112883818A true CN112883818A (zh) 2021-06-01

Family

ID=76053195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110102941.6A Pending CN112883818A (zh) 2021-01-26 2021-01-26 文本图像识别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112883818A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361432A (zh) * 2021-06-15 2021-09-07 电子科技大学 一种基于深度学习的视频文字端到端检测与识别的方法
CN113537195A (zh) * 2021-07-21 2021-10-22 北京数美时代科技有限公司 一种图像文本识别方法、系统和电子设备
CN117173731A (zh) * 2023-11-02 2023-12-05 腾讯科技（深圳）有限公司 一种模型训练的方法、图像处理的方法以及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026951A1 (en) * 2018-07-19 2020-01-23 Tata Consultancy Services Limited Systems and methods for end-to-end handwritten text recognition using neural networks
CN112085022A (zh) * 2020-09-09 2020-12-15 上海蜜度信息技术有限公司 一种用于识别文字的方法、系统及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026951A1 (en) * 2018-07-19 2020-01-23 Tata Consultancy Services Limited Systems and methods for end-to-end handwritten text recognition using neural networks
CN112085022A (zh) * 2020-09-09 2020-12-15 上海蜜度信息技术有限公司 一种用于识别文字的方法、系统及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BAOGUANG SHI,等: "An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition", 《ARXIV》 *
ZHI TIAN，等: "Detecting Text in Natural Image with Connectionist Text Proposal Network", 《ARXIV》 *
冯海: "基于深度学习的中文OCR算法与系统实现", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *
刘祥龙: "《飞桨PaddlePaddle深度学习实战》", 机械工业出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361432A (zh) * 2021-06-15 2021-09-07 电子科技大学 一种基于深度学习的视频文字端到端检测与识别的方法
CN113361432B (zh) * 2021-06-15 2022-03-15 电子科技大学 一种基于深度学习的视频文字端到端检测与识别的方法
CN113537195A (zh) * 2021-07-21 2021-10-22 北京数美时代科技有限公司 一种图像文本识别方法、系统和电子设备
CN117173731A (zh) * 2023-11-02 2023-12-05 腾讯科技（深圳）有限公司 一种模型训练的方法、图像处理的方法以及相关装置
CN117173731B (zh) * 2023-11-02 2024-02-27 腾讯科技（深圳）有限公司 一种模型训练的方法、图像处理的方法以及相关装置

Similar Documents

Publication Publication Date Title
US10558893B2 (en) Systems and methods for recognizing characters in digitized documents
CN108345890B (zh) 图像处理方法、装置和相关设备
CN106204522B (zh) 对单个图像的联合深度估计和语义标注
CN112883818A (zh) 文本图像识别方法、系统、设备及存储介质
CN108171260B (zh) 一种图片识别方法及系统
CN112488073A (zh) 目标检测方法、系统、设备及存储介质
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110163205B (zh) 图像处理方法、装置、介质和计算设备
CN110555405B (zh) 目标跟踪方法及装置、存储介质和电子设备
CN111488826A (zh) 一种文本识别方法、装置、电子设备和存储介质
CN113869138A (zh) 多尺度目标检测方法、装置及计算机可读存储介质
JP2022161564A (ja) テキスト画像の文字を認識する機械学習モデルを訓練するシステム
CN114358203A (zh) 图像描述语句生成模块的训练方法及装置、电子设备
CN113159013A (zh) 基于机器学习的段落识别方法、装置、计算机设备和介质
CN113780326A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN112632227A (zh) 简历匹配方法、装置、电子设备、存储介质和程序产品
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN116980541B (zh) 视频编辑方法、装置、电子设备以及存储介质
CN111460224B (zh) 评论数据的质量标注方法、装置、设备及存储介质
CN110929499B (zh) 文本相似度获取方法、装置、介质及电子设备
CN111753736A (zh) 基于分组卷积的人体姿态识别方法、装置、设备和介质
US20230281826A1 (en) Panoptic segmentation with multi-database training using mixed embedding
CN113361522B (zh) 用于确定字符序列的方法、装置和电子设备
CN113449799B (zh) 目标检测与分类方法、系统、设备及存储介质
CN113065585B (zh) 图像合成模型的训练方法、装置与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information