CN113313117B - 一种识别文本内容的方法及装置 - Google Patents

一种识别文本内容的方法及装置 Download PDF

Info

Publication number
CN113313117B
CN113313117B CN202110710912.8A CN202110710912A CN113313117B CN 113313117 B CN113313117 B CN 113313117B CN 202110710912 A CN202110710912 A CN 202110710912A CN 113313117 B CN113313117 B CN 113313117B
Authority
CN
China
Prior art keywords
text
image
target
detected
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110710912.8A
Other languages
English (en)
Other versions
CN113313117A (zh
Inventor
赵瑞书
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110710912.8A priority Critical patent/CN113313117B/zh
Publication of CN113313117A publication Critical patent/CN113313117A/zh
Application granted granted Critical
Publication of CN113313117B publication Critical patent/CN113313117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种识别文本内容的方法及装置，获取待处理图像，对待处理图进行文本检测，得到待处理图像中包含待检测文本的图像区域，作为初始图像；对初始图像进行旋转得到待检测图像，待检测图像的各边界中最长的边界为水平方向；基于预先训练的文本方向预测模型，确定待检测图像中的待检测文本的文本方向；基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，得到待检测文本的文本内容。基于上述处理，可以提高文本识别的识别准确度。

Description

一种识别文本内容的方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种识别文本内容的方法及装置。
背景技术
在对图像进行文本识别时，通常先确定图像中存在待检测文本的位置，该文本位置所在区域的图像可以称为目标图像。然后，基于文本识别算法，对目标图像进行文本识别，得到文本内容。
现有技术中，通常图像中的文本都是横向或纵向进行书写排列的，因此，可通过支持横向或纵向的文本识别算法，分别识别目标图像中的横向文本或纵向文本，以达到更好的文本识别效果。
但对于实际的图文审核业务，图像中所夹杂的广告等信息，有很大概率是倾斜的文本，对于倾斜文本，在进行文本检测确定文本位置后，并不能确定使用哪种文本识别算法对倾斜文本进行文本识别。如图1所示，图1中“加v合成888”为倾斜文本，“926”和“合成大西瓜”为横向文本，“下载游戏”为纵向文本。对于已确定的横向文本或纵向文本，可以基于支持横向或纵向的文本识别算法进行文本识别。在对倾斜文本进行文本识别时，可以从支持横向或纵向的文本识别算法中，随机选择一个文本识别算法，对倾斜文本进行文本识别。
在对倾斜文本进行识别时，由于随机选择的文本识别算法，不支持倾斜文本识别，会导致识别中产生乱码，也可能会识别成其他文本从而导致对真实内容的曲解，进而导致识别准确度低。
发明内容
本发明实施例的目的在于提供一种识别文本内容的方法及装置，以提高文本识别的准确度。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种识别文本内容的方法，所述方法包括：
获取待处理图像；
对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像；
对所述初始图像进行旋转得到待检测图像；其中，所述待检测图像的各边界中最长的边界为水平方向；
基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向；
基于所述待检测文本的文本方向对应的文本识别算法，对所述待检测图像进行文本识别，得到所述待检测文本的文本内容。
可选的，所述文本方向预测模型包括：特征提取子模型和概率预测子模型；
所述基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向，包括：
确定所述待检测文本中的每一文本行在所述待检测图像中所占的最小图像区域，并将所述最小图像区域作为目标图像；
获取所述目标图像的像素矩阵，其中，所述像素矩阵中的元素与所述目标图像的像素点的像素值一一对应；
将所述目标图像的像素矩阵输入至所述特征提取子模型，得到所述特征提取子模型输出的所述目标图像中的若干个区块的特征信息，作为第一特征信息；其中，一个区块的第一特征信息包含第一参数和第二参数；所述第一参数表示该区块中是否存在字符；所述第二参数表示该区块中存在字符时，该字符的方向特征；
将所述目标图像中的若干个区块的第一特征信息输入至所述概率预测子模型，得到所述概率预测子模型输出的所述目标图像的概率矩阵，作为目标概率矩阵；其中，所述目标概率矩阵中的行向量与所述目标图像中的若干个区块一一对应；一个区块对应的行向量中包括第一元素和第二元素；所述第一元素表示：该区块中不存在字符的概率；所述第二元素表示：该区块存在字符时，该字符的文本方向为各预设文本方向的概率；
基于所述目标概率矩阵，从所述目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块；
基于所述目标概率矩阵，确定所述目标区块中的字符的文本方向；
基于所述每一目标区块中的字符的文本方向，确定所述目标图像中的文本行的文本方向。
可选的，所述基于所述每一目标区块中字符的文本方向，确定所述目标图像中的文本行的文本方向，包括：
确定所述目标图像中的文本行中，具有每一预设文本方向的目标区块的数目，作为该预设文本方向对应的目标数目；
确定各目标数目中最大的目标数目对应的预设文本方向，作为所述目标图像中的文本行的文本方向。
可选的，所述基于所述目标概率矩阵，从所述目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块，包括：
针对所述目标图像中的每一区块，在所述目标概率矩阵中确定该区块对应的行向量；
如果该区块对应的行向量中存在大于第一元素的第二元素，确定该区块为存在字符的目标区块。
可选的，基于所述目标概率矩阵，确定所述目标区块中的字符的文本方向，包括：
针对所述目标图像中的每一目标区块，从各预设文本方向中，确定对应的概率最大的预设文本方向，作为该目标区块中的字符的文本方向。
可选的，所述概率预测子模型包括：卷积网络和全连接层；
所述将所述目标图像中的若干个区块的第一特征信息输入至所述概率预测子模型，得到所述概率预测子模型输出的所述目标图像的概率矩阵，作为目标概率矩阵，包括：
将所述目标图像中的若干个第一区块的特征信息，输入至所述卷积网络；
通过所述卷积网络对所述目标图像中的每一区块的第一特征信息，以及该区块的相邻区块的第一特征信息进行卷积处理，得到所述目标图像中每一区块的特征信息，作为第二特征信息，并将所述目标图像中每一区块的第二特征信息输入至所述全连接层；
通过所述全连接层，对所述目标图像中每一区块的第二特征信息进行映射处理，得到所述目标图像的概率矩阵，作为目标概率矩阵。
可选的，所述对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像，包括：
对所述待处理图像进行文本检测，得到所述待处理图像中待检测文本的最小外接矩形；
按照所述待检测文本的最小外接矩形，从所述待处理图像中提取包含所述待检测文本的图像区域，作为初始图像。
在本发明实施的第二方面，还提供了一种识别文本内容的装置，所述装置包括：
获取模块，用于获取待处理图像；
检测模块，用于对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像；
调整模块，用于对所述初始图像进行旋转得到待检测图像；其中，所述待检测图像的各边界中最长的边界为水平方向；
确定模块，用于基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向；
识别模块，用于基于所述待检测文本的文本方向对应的文本识别算法，对所述待检测图像进行文本识别，得到所述待检测文本的文本内容。
可选的，所述文本方向预测模型包括：特征提取子模型和概率预测子模型；
所述确定模块，具体用于确定所述待检测文本中的每一文本行在所述待检测图像中所占的最小图像区域，并将所述最小图像区域作为目标图像；
获取所述目标图像的像素矩阵，其中，所述像素矩阵中的元素与所述目标图像的像素点的像素值一一对应；
将所述目标图像的像素矩阵输入至所述特征提取子模型，得到所述特征提取子模型输出的所述目标图像中的若干个区块的第一特征信息；其中，一个区块的第一特征信息包含第一参数和第二参数；所述第一参数表示该区块中是否存在字符；所述第二参数表示该区块中存在字符时，该字符的方向特征；
将所述目标图像中的若干个区块的第一特征信息输入至所述概率预测子模型，得到所述概率预测子模型输出的所述目标图像的概率矩阵，作为目标概率矩阵；其中，所述目标概率矩阵中的行向量与所述目标图像中的若干个区块一一对应；一个区块对应的行向量中包括第一元素和第二元素；所述第一元素表示：该区块中不存在字符的概率；所述第二元素表示：该区块存在字符时，该字符的文本方向为各预设文本方向的概率；
基于所述目标概率矩阵，从所述目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块；
基于所述目标概率矩阵，确定所述目标区块中的字符的文本方向；
基于所述每一目标区块中的字符的文本方向，确定所述目标图像中的文本行的文本方向。
可选的，所述确定模块，具体用于确定所述目标图像中的文本行中，具有每一预设文本方向的目标区块的数目，作为该预设文本方向对应的目标数目；
确定各目标数目中最大的目标数目对应的预设文本方向，作为所述目标图像中的文本行的文本方向。
可选的，所述确定模块，具体用于针对所述目标图像中的每一区块，在所述目标概率矩阵中确定该区块对应的行向量；
如果该区块对应的行向量中存在大于第一元素的第二元素，确定该区块为存在字符的目标区块。
可选的，所述确定模块，具体用于针对所述目标图像中的每一目标区块，从各预设文本方向中，确定对应的概率最大的预设文本方向，作为该目标区块中的字符的文本方向。
可选的，所述概率预测子模型包括：卷积网络和全连接层；
所述确定模块，具体用于将所述目标图像中的若干个区块的第一特征信息，输入至所述卷积网络；
通过所述卷积网络对所述目标图像中的每一区块的第一特征信息，以及该区块的相邻区块的第一特征信息进行卷积处理，得到所述目标图像中每一区块的特征信息，作为第二特征信息，并将所述目标图像中每一区块的第二特征信息输入至所述全连接层；
通过所述全连接层，对所述目标图像中每一区块的第二特征信息进行映射处理，得到所述目标图像的概率矩阵，作为目标概率矩阵。
可选的，所述检测模块，具体用于对所述待处理图像进行文本检测，得到所述待处理图像中待检测文本的最小外接矩形；
按照所述待检测文本的最小外接矩形，从所述待处理图像中提取包含所述待检测文本的图像区域，作为初始图像。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的识别文本内容的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的识别文本内容的方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的识别文本内容的方法。
本发明实施例提供的一种识别文本内容的方法，获取待处理图像，对待处理图进行文本检测，得到待处理图像中包含待检测文本的图像区域，作为初始图像；对初始图像进行选择得到待检测图像；待检测图像的各边界中最长的边界为水平方向；基于预先训练的文本方向预测模型，确定待检测图像中的待检测文本的文本方向；基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，得到待检测文本的文本内容。
基于上述处理，如果待检测文本为倾斜文本，对初始图像进行旋转得到的待检测图像的各边界中最长的边界为水平方向，可以将倾斜文本调整为横向文本或纵向文本，然后，可以确定出待检测图像中的待检测文本的文本方向，并基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，以确定待检测文本的文本内容，进而，可以提高文本识别的识别准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中提供的一种待处理图像的示意图；
图2为本发明实施例中提供的一种识别文本内容的方法的流程图；
图3为本发明实施例中提供的另一种识别文本内容的方法的流程图；
图4(a)为本发明实施例中提供的一种待检测图像的示意图；
图4(b)为本发明实施例中提供的另一种待检测图像的示意图；
图5(a)为本发明实施例中提供的一种待检测文本的示意图；
图5(b)为本发明实施例中提供的另一种待检测文本的示意图；
图5(c)为本发明实施例中提供的另一种待检测文本的示意图；
图5(d)为本发明实施例中提供的另一种待检测文本的示意图；
图6为本发明实施例中提供的一种样本图像的示意图；
图7为本发明实施例中提供的另一种识别文本内容的方法的流程图；
图8为本发明实施例中提供的另一种识别文本内容的方法的流程图；
图9为本发明实施例中提供的另一种识别文本内容的方法的流程图；
图10为本发明实施例中提供的另一种识别文本内容的方法的流程图；
图11为本发明实施例中提供的另一种识别文本内容的方法的流程图；
图12为本发明实施例中提供的一种识别文本方向的方法的流程图；
图13为本发明实施例中提供的一种识别文本内容的装置的结构图；
图14为本发明实施例中提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
现有技术中，在进行图文审核时，当图像中存在倾斜文本时，由于在进行文本检测确定文本所在的图像区域后，并不能确定使用哪种文本识别算法对倾斜文本进行文本识别，会从支持横向或纵向的文本识别算法中，随机选择一个文本识别算法，对倾斜文本进行文本识别。在对倾斜文本进行识别时，由于随机选择的文本识别算法，不支持倾斜文本识别，会导致在识别中产生乱码，也可能会识别成其他文本从而导致对真实内容的曲解，进而导致识别准确度低。
为了解决上述问题，本发明实施例提供的一种识别文本内容的方法，该方法应用于电子设备，电子设备可以为终端，或者电子设备也可以为服务器，电子设备用于识别图像中的文本内容。
针对图文审核应用场景，用户通过终端(例如，手机、电脑等)在社交平台发布图像(即本发明实施例中的待处理图像)时，终端对待处理图像进行文本识别，以确定待处理图像中的文本是否存在敏感词。或者，社交平台对应的服务器，对待处理图像进行文本识别，以确定待处理图像中的文本是否存在敏感词。
基于本发明实施例提供的识别文本内容的方法，电子设备获取待处理图像，对待处理图进行文本检测，得到待处理图像中包含待检测文本的图像区域，作为初始图像；对初始图像进行旋转得到待检测图像；待检测图像的各边界中最长的边界为水平方向；基于预先训练的文本方向预测模型，确定待检测图像中的待检测文本的文本方向；基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，得到待检测文本的文本内容。
基于上述处理，如果待检测文本为倾斜文本，对初始图像进行旋转得到的待检测图像的各边界中最长的边界为水平方向，可以将倾斜文本调整为横向文本或纵向文本，然后，可以确定出待检测图像中的待检测文本的文本方向，并直接基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，以确定待检测文本的文本内容，进而，可以提高文本识别的识别准确度。
参见图2，图2为本发明实施例中提供的一种识别文本内容的方法的流程图，该方法可以包括以下步骤：
S201：获取待处理图像。
S202：对待处理图像进行文本检测，得到待处理图像中包含待检测文本的图像区域，作为初始图像。
S203：对初始图像进行旋转得到待检测图像。
其中，待检测图像的各边界中最长的边界为水平方向。
S204：基于预先训练的文本方向预测模型，确定待检测图像中的待检测文本的文本方向。
S205：基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，得到待检测文本的文本内容。
基于本发明实施例提供的识别文本内容的方法，如果待检测文本为倾斜文本，对初始图像进行旋转得到的待检测图像的各边界中最长的边界为水平方向，可以将倾斜文本调整为横向文本或纵向文本，然后，可以确定出待检测图像中的待检测文本的文本方向，并直接基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，以确定待检测文本的文本内容，进而，可以提高文本识别的识别准确度。
针对步骤S201和步骤S202，在获取待处理图像之后，电子设备对待处理图像中进行文本检测，可以得到待处理图像中包含文本(即本发明实施例中的待检测文本)的图像区域，作为初始图像。
在本发明的一个实施例中，在图2的基础上，参见图3，步骤S202包括以下步骤：
S2021：对待处理图像进行文本检测，得到待处理图像中的待检测文本的最小外接矩形。
S2022：按照待检测文本的最小外接矩形，从待处理图像中提取包含待检测文本的图像区域，作为初始图像。
一种实现方式中，在获取待处理图像之后，电子设备基于PMTD(Pyramid MaskText Detector，金字塔标记文本检测)算法，对待处理图像进行文本检测，得到待处理图像中的待检测文本的最小外接矩形，待检测文本的最小外接矩形用于表示待检测文本在待处理图像中所占的图像区域。
进而，针对待处理图像中的每一待检测文本，电子设备按照该待检测文本的最小外接矩形，对待处理图像进行剪切，得到包含该待检测文本图像区域，即初始图像。
在步骤S203中，电子设备计算初始图像的各边界的长度，然后，确定初始图像的各边界中最长的边界。进而，电子设备可以对初始图像进行旋转，以使得旋转之后的初始图像的最长的边界为水平方向，并将旋转之后的初始图像作为待检测图像。
示例性的，电子设备从图1所示的图像中提取得到包含“加v合成888”的初始图像之后，对初始图像进行旋转得到图4(a)所示的待检测图像，图4(a)所示的待检测图像的各边界中最长的边界为水平方向。电子设备从图1所示的图像中提取得到包含“下载游戏”的初始图像之后，对初始图像进行旋转得到图4(b)所示的待检测图像，图4(b)所示的待检测图像的各边界中最长的边界为水平方向。
另外，如果初始图像的各边界的长度相同，电子设备可以从初始图像的各边界中随机选择一个边界(可以称为目标边界)。进而，电子设备对初始图像进行旋转，以使得旋转之后初始图像的目标边界为水平方向，并将旋转之后的初始图像作为待检测图像。
基于上述处理，如果待检测文本为倾斜文本，对初始图像进行旋转得到待检测图像，可以使得待检测图像中的待检测文本为横向文本或者纵向文本。然后，在确定出待检测文本的文本方向后，可以直接基于待检测文本的文本方向对应的文本识别算法，对待检测文本进行文本识别，可以提高文本识别的识别精确度。
在步骤S204中，待检测文本的文本方向表示待检测文本中的字符的方向。如图5(a)所示的待检测文本中的字符包括：“文本1”，“文本1”的方向为0度，则待检测文本的文本方向为0度。图5(b)所示的待检测文本中的字符包括：“文本2”，“文本2”的方向为90度，则待检测文本中的文本方向为90度。同理，图5(c)所示的待检测文本的文本方向为180度。图5(d)所示的待检测文本的文本方向为270度。
一种实现方式中，在基于预先训练的文本方向预测模型，确定待检测图像中的待检测文本的文本方向之前，电子设备基于多个预设训练样本对初始结构的文本方向预测模型进行训练，得到训练好的文本方向预测模型。
一个预设训练样本包括：一个样本图像的像素矩阵，该样本图像对应的概率矩阵(可以称为样本概率矩阵)。样本图像为已确定文本方向的图像。样本概率矩阵中的行向量与样本图像中的各区块一一对应，样本图像中的预设数目个像素点为一个区块，一个区块对应的行向量包含第三元素和第四元素，第三元素表示该区块中不存在字符的概率，第四元素与各预设文本方向一一对应，第四元素表示该区块中存在字符时，该字符的文本方向为各预设文本方向的概率。
示例性的，各预设文本方向包括：0度、90度、180度和270度，则一个区块对应的行向量中包含1个第三元素和4个第四元素。
参见图6，图6所示的样本图像中包含5个区块，601为样本图像中的第1个区块，第1个区块中不存在字符，即第1个区块中不存在字符的概率为1，则第1个区块对应的行向量中的第三元素为1，第1个区块对应的行向量中的第四元素均为0。因此，第1个区块对应的行向量为[1，0，0，0，0，0]。
602为样本图像中的第2个区块，第2个区块中存在字符，且第2个区块中的字符为0度方向，也就是说第2个区块中不存在字符的概率为0，且第1个区块中的字符的文本方向为0度的概率为1。因此，第2个区块对应的行向量中的第三元素为0，且0度在第2个区块对应的行向量中对应的第四元素为1，90度、180度和270度在第2个区块对应的行向量中对应的第四元素均为0。因此，第2个区块对应的行向量为[0，1，0，0，0，0]。
同理，样本图像中的第3个区块(即图6中603所示的区块)对应的行向量为[0，1，0，0，0，0]。样本图像中的第4个区块(即图6中604所示的区块)对应的行向量为[0，1，0，0，0，0]。样本图像中的第5个区块(即图6中605所示的区块)对应的行向量为[0，1，0，0，0，0]。因此，样本概率矩阵为：
一种实现方式中，电子设备将样本图像的像素矩阵，作为初始结构的文本方向预测模型的输入数据，将样本概率矩阵作为初始结构的文本方向预测模型的输出数据，对初始结构的文本方向预测模型的模型参数进行调整，当初始结构的文本方向预测模型达到收敛时，得到训练好的文本方向预测模型。
在本发明的一个实施例中，文本方向预测模型包括：特征提取子模型和概率预测子模型。相应的，在图2的基础上，参见图7，步骤S204包括以下步骤：
S2041：确定待检测文本中的每一文本行在待检测图像中所占的最小图像区域，并将最小图像区域作为目标图像。
S2042：获取目标图像的像素矩阵。
其中，像素矩阵中的元素与目标图像的像素点的像素值一一对应。
S2043：将目标图像的像素矩阵输入至特征提取子模型，得到特征提取子模型输出的目标图像中的若干个区块的特征信息，作为第一特征信息。
其中，一个区块的第一特征信息包含第一参数和第二参数；第一参数表示该区块中是否存在字符；第二参数表示该区块中存在字符时，该字符的方向特征。
S2044：将目标图像中的若干个区块的第一特征信息输入至概率预测子模型，得到概率预测子模型输出的目标图像的概率矩阵，作为目标概率矩阵。
其中，目标概率矩阵中的行向量与目标图像中的若干个区块一一对应；一个区块对应的行向量中包括第一元素和第二元素；第一元素表示：该区块中不存在字符的概率；第二元素表示：该区块存在字符时，该字符的文本方向为各预设文本方向的概率。
S2045：基于目标概率矩阵，从目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块。
S2046：基于目标概率矩阵，确定目标区块中的字符的文本方向。
S2047：基于每一目标区块中的字符的文本方向，确定目标图像中的文本行的文本方向。
一种实现方式中，待检测文本中包含多个文本行的情况下，电子设备基于PMTD算法，确定待检测文本中的每一文本行的在待检测图像中所占的最小图像区域。进而，电子设备按照确定出的最小图像区域进行剪切，得到包含该文本行的目标图像。
电子设备在获取目标图像的像素矩阵之后，通过特征提取子模型，对目标图像的像素矩阵进行卷积处理，得到目标图像中的若干个区块的特征信息。
一种实现方式中，特征提取子模型为CNN(Convolutional Neural Network，卷积神经网络)模型。特征提取子模型包括多个卷积层。
在本发明的一个实施例中，概率预测子模型包括：卷积网络和全连接层。相应的，在图7的基础上，参见图8，步骤S2044包括以下步骤：
S20441：将目标图像中的每一区块的特征信息，输入至卷积网络。
S20442：通过卷积网络对目标图像中的每一区块的第一特征信息，以及该区块的相邻区块的第一特征信息进行卷积处理，得到目标图像中每一区块的特征信息，作为第二特征信息，并将目标图像中每一区块的第二特征信息输入至全连接层。
S20443：通过全连接层，对目标图像中每一区块的第二特征信息进行映射处理，得到目标图像的概率矩阵，作为目标概率矩阵。
一个区块的相邻区块可以为：目标图像中位于该区块之前的区块，和/或位于该区块之后的区块。
一种实现方式中，概率预测子模型为LSTM(Long Short-Term Memory，长短期记忆网络)模型。概率预测子模型包括：卷积网络和全连接层。卷积网络包含多个卷积层。
在确定目标图像中文本行中的字符的文本方向时，如果一个字符为对称结构，该字符在不同的文本方向的书写结构相同，例如，“田”、“口”等字符在0度、90度、180度和270度的文本方向的书写结构均相同。“本”、“木”等字符在90度和270度的文本方向的书写结构相同。
为了准确的确定出上述对称结构的字符的文本方向，电子设备通过卷积网络对目标图像中的每一区块的特征信息，以及该区块的相邻区块的特征信息进行卷积处理，得到目标图像中每一区块的第二特征信息，并输入至全连接层。进而，电子设备通过全连接层，对目标图像中每一区块的第二特征信息进行映射处理，得到目标图像的概率矩阵(即目标概率矩阵)。
基于上述处理，由于一个文本行中的相邻字符的文本方向通常是相同的。因此，如果一个区块中的字符为上述对称结构，可以根据该区块的特征信息和该区块的相邻区块的特征信息，确定该区块中的字符的文本方向，进而，可以提高确定出的文本方向的准确度。
在本发明的一个实施例中，参见图9，在图7的基础上，步骤S2045包括以下步骤：
S20451：针对目标图像中的每一区块，在目标概率矩阵中确定该区块对应的行向量。
S20452：如果该区块对应的行向量中存在大于第一元素的第二元素，确定该区块为存在字符的目标区块。
一种实现方式中，针对目标图像中的每一区块，如果该区块对应的行向量中存在大于第一元素的第二元素，表明该区块中不存在字符的概率，小于该区块存在的字符的文本方向为各预设文本方向的概率，也就是说，该区块中存在字符，则电子设备确定该区块为存在字符的目标区块。
在本发明的一个实施例中，步骤S2046包括以下步骤：针对目标图像中的每一目标区块，从各预设文本方向中，确定对应的概率最大的预设文本方向，作为该目标区块中的字符的文本方向。
示例性的，各预设文本方向包括：0度、90度、180度和270度。目标概率矩阵为：
针对目标概率矩阵中的每一行向量，该行向量中第1个元素为第一元素，该行向量中除第一元素外的为第二元素。目标概率矩阵包含5个行向量，则目标图像中包含5个区块。
目标概率矩阵中的第1个行向量中的第一元素大于第1个行向量中的第二元素，则第1个区块中不存在字符。目标概率矩阵中的第2个行向量中存在大于第一元素的第二元素，则第2个区块为存在字符的目标区块。同理，电子设备基于目标概率矩阵，确定出第2个区块、第3个区块和第4个区块为目标区块。
然后，针对目标图像中的第2个区块，第2个区块对应的行向量为[0，0.3，0.2，0，0.5]，其中的最大的概率0.5对应的预设文本方向为270度，则第2个区块中的字符的文本方向为270度。同理，第3个区块和第4个区块中字符的文本方向为0度。
在本发明的一个实施例中，在图7的基础上，参见图10，步骤S2047包括以下步骤：
S20471：确定目标图像中的文本行中，具有每一预设文本方向的目标区块的数目，作为该预设文本方向对应的目标数目。
S20472：确定各目标数目中最大的目标数目对应的预设文本方向，作为目标图像中的文本行的文本方向。
一种实现方式中，由于一个文本行中的字符的文本方向通常是相同的，因此，电子设备统计目标图像中的文本行中，具有每一预设文本方向的目标区块的数目，作为该预设文本方向对应的目标数目。进而，电子设备确定最大的目标数目对应的预设文本方向，为目标图像中的文本行的文本方向。
在步骤S205中，各预设文本方向可以对应不同的文本识别算法，每一预设文本方向对应的文本识别算法为：基于该预设文本方向的样本训练得到的文本识别算法。例如，预设文本方向包括：0度、90度、180度和270度。基于文本方向为0度的样本，对初始文本识别算法进行训练，可以得到0度对应的文本识别算法1；基于文本方向为90度的样本，对初始文本识别算法进行训练，可以得到90度对应的文本识别算法2，同理，可以得到180度对应的文本识别算法3和270度对应的文本识别算法4。相应的，预设文本方向与文本识别算法的对应关系可以为：0度对应文本识别算法1，90度对应文本识别算法2，180度对应文本识别算法3，270度对应文本识别算法4。
或者，可以对各预设文本方向进行分组，各组预设文本方向可以不同的文本识别算法。例如，预设文本方向包括：0度、90度、180度和270度。针对每一文本，对文本方向为0度的该文本进行镜像，可以得到文本方向为180度的该文本。对文本方向为90度的该文本进行镜像，可以得到文本方向为270度的该文本。因此，可以确定0度和180度为一组预设文本方向，90度和270度为一组预设文本方向。文本识别算法可以包括：支持横向文本的文本识别算法和支持纵向文本的文本识别算法。预设文本方向与文本识别算法的对应关系可以为：0度和180度对应的文本识别算法为：支持横向文本的文本识别算法；90度和270度对应的文本识别算法为：支持纵向文本的文本识别算法。
支持横向文本的文本识别算法可以为：支持横向文本的OCR(Optical CharacterRecognition，光学字符识别)算法。支持纵向文本的文本识别算法可以为：支持横向文本的OCR算法。
一种实现方式中，电子设备中可以存储有预设文本方向与文本识别算法的对应关系。进而，针对待检测文本中的每一文本行，电子设备在预设文本方向与文本识别算法的对应关系中，确定该文本行的文本方向对应的文本识别算法，并基于确定出的文本识别算法，对该文本进行文本识别，得到该文本行的文本内容。
参见图11，图11为本发明实施例中提供的另一种识别文本内容的方法的流程图。
电子设备获取待处理图像之后，对待处理图像进行文本检测，得到待处理图像中包含待检测文本的图像区域，作为初始图像。电子设备对初始图像进行旋转得到待检测图像。
然后，电子设备基于预先训练的文本方向预测模型，确定待检测图像中的待检测文本的文本方向。进而，电子设备基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，得到待检测文本的文本内容。
基于上述处理，如果待检测文本为倾斜文本，对初始图像进行旋转得到的待检测图像的各边界中最长的边界为水平方向，可以将倾斜文本调整为横向文本或纵向文本，然后，可以确定出待检测图像中的待检测文本的文本方向，并直接基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，以确定待检测文本的文本内容，进而，可以提高文本识别的识别准确度。
参见图12，图12为本发明实施例中提供的一种识别文本方向的方法的流程图。
电子设备确定待检测文本中的每一文本行在待检测图像中所占的最小图像区域，并将确定的最小图像区域作为目标图像，并获取目标图像的像素矩阵。
然后，电子设备将目标图像的像素矩阵输入至文本方向预测模型中的特征提取子模型，得到特征提取子模型输出的目标图像中的若干个区块的特征信息。电子设备将目标图像中的若干个区块的特征信息输入至概率预测子模型，得到率预测子模型输出的目标图像的目标概率矩阵，基于目标概率矩阵，从目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块，并基于目标概率矩阵，确定目标区块中的字符的文本方向。
进而，电子设备基于每一目标区块中字符的文本方向，确定目标图像中的文本行的文本方向。
基于上述处理，如果待检测文本为倾斜文本，对初始图像进行旋转得到的待检测图像的各边界中最长的边界为水平方向，可以将倾斜文本调整为横向文本或纵向文本，然后，可以确定出待检测图像中的待检测文本的文本方向，并直接基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，以确定待检测文本的文本内容，进而，可以提高文本识别的识别准确度。
与图2的方法实施例相对应，参见图13，图13为本发明实施例提供的一种识别文本内容的装置的结构图，所述装置包括：
获取模块1301，用于获取待处理图像；
检测模块1302，用于对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像；
调整模块1303，用于对所述初始图像进行旋转得到待检测图像；其中，所述待检测图像的各边界中最长的边界为水平方向；
确定模块1304，用于基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向；
识别模块1305，用于基于所述待检测文本的文本方向对应的文本识别算法，对所述待检测图像进行文本识别，得到所述待检测文本的文本内容。
可选的，所述文本方向预测模型包括：特征提取子模型和概率预测子模型；
所述确定模块1304，具体用于确定所述待检测文本中的每一文本行在所述待检测图像中所占的最小图像区域，并将所述最小图像区域作为目标图像；
获取所述目标图像的像素矩阵，其中，所述像素矩阵中的元素与所述目标图像的像素点的像素值一一对应；
将所述目标图像的像素矩阵输入至所述特征提取子模型，得到所述特征提取子模型输出的所述目标图像中的若干个区块的特征信息，作为第一特征信息；其中，一个区块的第一特征信息包含第一参数和第二参数；所述第一参数表示该区块中是否存在字符；所述第二参数表示该区块中存在字符时，该字符的方向特征；
将所述目标图像中的若干个区块的第一特征信息输入至所述概率预测子模型，得到所述概率预测子模型输出的所述目标图像的概率矩阵，作为目标概率矩阵；其中，所述目标概率矩阵中的行向量与所述目标图像中的若干个区块一一对应；一个区块对应的行向量中包括第一元素和第二元素；所述第一元素表示：该区块中不存在字符的概率；所述第二元素表示：该区块存在字符时，该字符的文本方向为各预设文本方向的概率；
基于所述目标概率矩阵，从所述目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块；
基于所述目标概率矩阵，确定所述目标区块中的字符的文本方向；
基于所述每一目标区块中的字符的文本方向，确定所述目标图像中的文本行的文本方向。
可选的，所述确定模块1304，具体用于确定所述目标图像中的文本行中，具有每一预设文本方向的目标区块的数目，作为该预设文本方向对应的目标数目；
确定各目标数目中最大的目标数目对应的预设文本方向，作为所述目标图像中的文本行的文本方向。
可选的，所述确定模块1304，具体用于针对所述目标图像中的每一区块，在所述目标概率矩阵中确定该区块对应的行向量；
如果该区块对应的行向量中存在大于第一元素的第二元素，确定该区块为存在字符的目标区块。
可选的，所述确定模块1304，具体用于针对所述目标图像中的每一目标区块，从各预设文本方向中，确定对应的概率最大的预设文本方向，作为该目标区块中的字符的文本方向。
可选的，所述概率预测子模型包括：卷积网络和全连接层；
所述确定模块1304，具体用于将所述目标图像中的若干个区块的第一特征信息，输入至所述卷积网络；
通过所述卷积网络对所述目标图像中的每一区块的第一特征信息，以及该区块的相邻区块的第一特征信息进行卷积处理，得到所述目标图像中每一区块的特征信息，作为第二特征信息，并将所述目标图像中每一区块的第二特征信息输入至所述全连接层；
通过所述全连接层，对所述目标图像中每一区块的第二特征信息进行映射处理，得到所述目标图像的概率矩阵，作为目标概率矩阵。
可选的，所述检测模块1302，具体用于对所述待处理图像进行文本检测，得到所述待处理图像中待检测文本的最小外接矩形；
按照所述待检测文本的最小外接矩形，从所述待处理图像中提取包含所述待检测文本的图像区域，作为初始图像。
基于本发明实施例提供的识别文本内容的装置，如果待检测文本为倾斜文本，对初始图像进行旋转得到待检测图像的各边界中最长的边界为水平方向，可以将倾斜文本调整为横向文本或纵向文本，然后，可以确定出待检测图像中的待检测文本的文本方向，并直接基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，以确定待检测文本的文本内容，进而，可以提高文本识别的识别准确度。
本发明实施例还提供了一种电子设备，如图14所示，包括处理器1401、通信接口1402、存储器1403和通信总线1404，其中，处理器1401，通信接口1402，存储器1403通过通信总线1404完成相互间的通信；
存储器1403，用于存放计算机程序；
处理器1401，用于执行存储器1403上所存放的程序时，实现如下步骤：
获取待处理图像；
对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像；
对所述初始图像进行旋转得到待检测图像；其中，所述待检测图像的各边界中最长的边界为水平方向；
基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向；
基于所述待检测文本的文本方向对应的文本识别算法，对所述待检测图像进行文本识别，得到所述待检测文本的文本内容。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于本发明实施例提供的电子设备，如果待检测文本为倾斜文本，对初始图像进行旋转得到的待检测图像的各边界中最长的边界为水平方向，可以将倾斜文本调整为横向文本或纵向文本，然后，可以确定出待检测图像中的待检测文本的文本方向，并直接基于待检测文本的文本方向对应的文本识别算法，对待检测图像进行文本识别，以确定待检测文本的文本内容，进而，可以提高文本识别的识别准确度。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的识别文本内容的方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的识别文本内容的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种识别文本内容的方法，其特征在于，所述方法包括：
获取待处理图像；
对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像；
对所述初始图像进行旋转得到待检测图像；其中，所述待检测图像的各边界中最长的边界为水平方向；
基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向；
基于所述待检测文本的文本方向对应的文本识别算法，对所述待检测图像进行文本识别，得到所述待检测文本的文本内容；
所述文本方向预测模型包括：特征提取子模型和概率预测子模型；
所述基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向，包括：
确定所述待检测文本中的每一文本行在所述待检测图像中所占的最小图像区域，并将所述最小图像区域作为目标图像；
获取所述目标图像的像素矩阵，其中，所述像素矩阵中的元素与所述目标图像的像素点的像素值一一对应；
将所述目标图像的像素矩阵输入至所述特征提取子模型，得到所述特征提取子模型输出的所述目标图像中的若干个区块的特征信息，作为第一特征信息；其中，一个区块的第一特征信息包含第一参数和第二参数；所述第一参数表示该区块中是否存在字符；所述第二参数表示该区块中存在字符时，该字符的方向特征；
将所述目标图像中的若干个区块的第一特征信息输入至所述概率预测子模型，得到所述概率预测子模型输出的所述目标图像的概率矩阵，作为目标概率矩阵；其中，所述目标概率矩阵中的行向量与所述目标图像中的若干个区块一一对应；一个区块对应的行向量中包括第一元素和第二元素；所述第一元素表示：该区块中不存在字符的概率；所述第二元素表示：该区块存在字符时，该字符的文本方向为各预设文本方向的概率；
基于所述目标概率矩阵，从所述目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块；
基于所述目标概率矩阵，确定所述目标区块中的字符的文本方向；
基于所述每一目标区块中的字符的文本方向，确定所述目标图像中的文本行的文本方向。
2.根据权利要求1所述的方法，其特征在于，所述基于所述每一目标区块中字符的文本方向，确定所述目标图像中的文本行的文本方向，包括：
确定所述目标图像中的文本行中，具有每一预设文本方向的目标区块的数目，作为该预设文本方向对应的目标数目；
确定各目标数目中最大的目标数目对应的预设文本方向，作为所述目标图像中的文本行的文本方向。
3.根据权利要求1所述的方法，其特征在于，所述基于所述目标概率矩阵，从所述目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块，包括：
针对所述目标图像中的每一区块，在所述目标概率矩阵中确定该区块对应的行向量；
如果该区块对应的行向量中存在大于第一元素的第二元素，确定该区块为存在字符的目标区块。
4.根据权利要求1所述的方法，其特征在于，基于所述目标概率矩阵，确定所述目标区块中的字符的文本方向，包括：
针对所述目标图像中的每一目标区块，从各预设文本方向中，确定对应的概率最大的预设文本方向，作为该目标区块中的字符的文本方向。
5.根据权利要求1所述的方法，其特征在于，所述概率预测子模型包括：卷积网络和全连接层；
所述将所述目标图像中的若干个区块的第一特征信息输入至所述概率预测子模型，得到所述概率预测子模型输出的所述目标图像的概率矩阵，作为目标概率矩阵，包括：
将所述目标图像中的若干个区块的第一特征信息，输入至所述卷积网络；
通过所述卷积网络对所述目标图像中的每一区块的第一特征信息，以及该区块的相邻区块的第一特征信息进行卷积处理，得到所述目标图像中每一区块的特征信息，作为第二特征信息，并将所述目标图像中每一区块的第二特征信息输入至所述全连接层；
通过所述全连接层，对所述目标图像中每一区块的第二特征信息进行映射处理，得到所述目标图像的概率矩阵，作为目标概率矩阵。
6.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像，包括：
对所述待处理图像进行文本检测，得到所述待处理图像中待检测文本的最小外接矩形；
按照所述待检测文本的最小外接矩形，从所述待处理图像中提取包含所述待检测文本的图像区域，作为初始图像。
7.一种识别文本内容的装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像；
检测模块，用于对所述待处理图像进行文本检测，得到所述待处理图像中包含待检测文本的图像区域，作为初始图像；
调整模块，用于对所述初始图像进行旋转得到待检测图像；其中，所述待检测图像的各边界中最长的边界为水平方向；
确定模块，用于基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向；
识别模块，用于基于所述待检测文本的文本方向对应的文本识别算法，对所述待检测图像进行文本识别，得到所述待检测文本的文本内容；
所述文本方向预测模型包括：特征提取子模型和概率预测子模型；
所述基于预先训练的文本方向预测模型，确定所述待检测图像中的待检测文本的文本方向，包括：
确定所述待检测文本中的每一文本行在所述待检测图像中所占的最小图像区域，并将所述最小图像区域作为目标图像；
获取所述目标图像的像素矩阵，其中，所述像素矩阵中的元素与所述目标图像的像素点的像素值一一对应；
将所述目标图像的像素矩阵输入至所述特征提取子模型，得到所述特征提取子模型输出的所述目标图像中的若干个区块的特征信息，作为第一特征信息；其中，一个区块的第一特征信息包含第一参数和第二参数；所述第一参数表示该区块中是否存在字符；所述第二参数表示该区块中存在字符时，该字符的方向特征；
将所述目标图像中的若干个区块的第一特征信息输入至所述概率预测子模型，得到所述概率预测子模型输出的所述目标图像的概率矩阵，作为目标概率矩阵；其中，所述目标概率矩阵中的行向量与所述目标图像中的若干个区块一一对应；一个区块对应的行向量中包括第一元素和第二元素；所述第一元素表示：该区块中不存在字符的概率；所述第二元素表示：该区块存在字符时，该字符的文本方向为各预设文本方向的概率；
基于所述目标概率矩阵，从所述目标图像中的若干个区块中，确定出存在字符的区块，作为目标区块；
基于所述目标概率矩阵，确定所述目标区块中的字符的文本方向；
基于所述每一目标区块中的字符的文本方向，确定所述目标图像中的文本行的文本方向。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202110710912.8A 2021-06-25 2021-06-25 一种识别文本内容的方法及装置 Active CN113313117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110710912.8A CN113313117B (zh) 2021-06-25 2021-06-25 一种识别文本内容的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110710912.8A CN113313117B (zh) 2021-06-25 2021-06-25 一种识别文本内容的方法及装置

Publications (2)

Publication Number Publication Date
CN113313117A CN113313117A (zh) 2021-08-27
CN113313117B true CN113313117B (zh) 2023-07-25

Family

ID=77380182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710912.8A Active CN113313117B (zh) 2021-06-25 2021-06-25 一种识别文本内容的方法及装置

Country Status (1)

Country Link
CN (1) CN113313117B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780131B (zh) * 2021-08-31 2024-04-12 众安在线财产保险股份有限公司 文本图像朝向识别方法和文本内容识别方法、装置、设备
CN114049648B (zh) * 2021-11-25 2024-06-11 清华大学 工程图文本检测识别方法、装置及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175498A (ja) * 2000-09-29 2002-06-21 Japan Science & Technology Corp 文字認識方法、文字認識プログラム、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置
CN108427950A (zh) * 2018-02-01 2018-08-21 北京捷通华声科技股份有限公司 一种文字行检测方法及装置
CN110490232A (zh) * 2019-07-18 2019-11-22 北京捷通华声科技股份有限公司 训练文字行方向预测模型的方法、装置、设备、介质
CN111259846A (zh) * 2020-01-21 2020-06-09 第四范式（北京）技术有限公司 文本定位方法和系统以及文本定位模型训练方法和系统
CN111428717A (zh) * 2020-03-26 2020-07-17 京东方科技集团股份有限公司 文本识别方法、装置、电子设备及计算机可读存储介质
CN111680690A (zh) * 2020-04-26 2020-09-18 泰康保险集团股份有限公司 一种文字识别方法及装置
CN111985469A (zh) * 2019-05-22 2020-11-24 珠海金山办公软件有限公司 一种图像中文字的识别方法、装置及电子设备
CN112329777A (zh) * 2021-01-06 2021-02-05 平安科技（深圳）有限公司 基于方向检测的文字识别方法、装置、设备及介质
CN112434698A (zh) * 2020-11-23 2021-03-02 泰康保险集团股份有限公司 字符识别方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4553241B2 (ja) * 2004-07-20 2010-09-29 株式会社リコー 文字方向識別装置、文書処理装置及びプログラム並びに記憶媒体
CN108229470B (zh) * 2017-12-22 2022-04-01 北京市商汤科技开发有限公司 文字图像处理方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175498A (ja) * 2000-09-29 2002-06-21 Japan Science & Technology Corp 文字認識方法、文字認識プログラム、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置
CN108427950A (zh) * 2018-02-01 2018-08-21 北京捷通华声科技股份有限公司 一种文字行检测方法及装置
CN111985469A (zh) * 2019-05-22 2020-11-24 珠海金山办公软件有限公司 一种图像中文字的识别方法、装置及电子设备
CN110490232A (zh) * 2019-07-18 2019-11-22 北京捷通华声科技股份有限公司 训练文字行方向预测模型的方法、装置、设备、介质
CN111259846A (zh) * 2020-01-21 2020-06-09 第四范式（北京）技术有限公司 文本定位方法和系统以及文本定位模型训练方法和系统
CN111428717A (zh) * 2020-03-26 2020-07-17 京东方科技集团股份有限公司 文本识别方法、装置、电子设备及计算机可读存储介质
CN111680690A (zh) * 2020-04-26 2020-09-18 泰康保险集团股份有限公司 一种文字识别方法及装置
CN112434698A (zh) * 2020-11-23 2021-03-02 泰康保险集团股份有限公司 字符识别方法、装置、电子设备及存储介质
CN112329777A (zh) * 2021-01-06 2021-02-05 平安科技（深圳）有限公司 基于方向检测的文字识别方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113313117A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
WO2020221298A1 (zh) 文本检测模型训练方法、文本区域、内容确定方法和装置
CN113785305B (zh) 一种检测倾斜文字的方法、装置及设备
CN113313117B (zh) 一种识别文本内容的方法及装置
CN110309297B (zh) 垃圾文本检测方法、可读存储介质和计算机设备
CN110929638B (zh) 一种人体关键点识别方法、装置及电子设备
CN108491845B (zh) 字符分割位置的确定、字符分割方法、装置及设备
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN110909663A (zh) 一种人体关键点识别方法、装置及电子设备
CN111325067B (zh) 违规视频的识别方法、装置及电子设备
CN110909665A (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
CN111178364A (zh) 一种图像识别方法和装置
CN113221718B (zh) 公式识别方法、装置、存储介质和电子设备
CN112580668A (zh) 一种背景欺诈检测方法、装置及电子设备
CN110287361B (zh) 一种人物图片筛选方法及装置
CN111444906B (zh) 基于人工智能的图像识别方法和相关装置
CN109597982B (zh) 摘要文本识别方法及装置
CN113076961A (zh) 一种图像特征库更新方法、图像检测方法和装置
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN113129298A (zh) 文本图像的清晰度识别方法
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
CN114036940A (zh) 敏感数据识别的方法及装置、电子设备、存储介质
CN113033240B (zh) 多行文本识别方法、模型训练方法、装置、设备及介质
CN113066486A (zh) 数据识别方法、装置、电子设备和计算机可读存储介质
CN108304540B (zh) 一种文本数据识别方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant