CN117437640A - 对图片进行文字提取的方法及装置、存储介质 - Google Patents

对图片进行文字提取的方法及装置、存储介质 Download PDF

Info

Publication number
CN117437640A
CN117437640A CN202210809822.9A CN202210809822A CN117437640A CN 117437640 A CN117437640 A CN 117437640A CN 202210809822 A CN202210809822 A CN 202210809822A CN 117437640 A CN117437640 A CN 117437640A
Authority
CN
China
Prior art keywords
target picture
text
offset
area
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210809822.9A
Other languages
English (en)
Inventor
郑辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Office Software Inc
Zhuhai Kingsoft Office Software Co Ltd
Wuhan Kingsoft Office Software Co Ltd
Original Assignee
Beijing Kingsoft Office Software Inc
Zhuhai Kingsoft Office Software Co Ltd
Wuhan Kingsoft Office Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Office Software Inc, Zhuhai Kingsoft Office Software Co Ltd, Wuhan Kingsoft Office Software Co Ltd filed Critical Beijing Kingsoft Office Software Inc
Priority to CN202210809822.9A priority Critical patent/CN117437640A/zh
Publication of CN117437640A publication Critical patent/CN117437640A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/1607—Correcting image deformation, e.g. trapezoidal deformation caused by perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Input (AREA)

Abstract

本申请涉及文字识别技术领域，公开一种对图片进行文字提取的方法，包括：获取带有文字的目标图片；对所述目标图片进行展平处理，获得中间目标图片；响应于在所述中间目标图片上的文字选择操作，获取所述中间目标图片上的第一区域，所述第一区域为所述文字选择操作选择的区域；提取所述第一区域中的文字。该方法通过将目标图片进行展平处理，使得中间目标图片的文本更加平直，在具有平直文本的中间目标图片上，对文字选择操作选择的区域中的文字进行识别。能够获得更准确的文字识别结果。本申请还公开一种对图片进行文字提取的装置及存储介质。

Description

对图片进行文字提取的方法及装置、存储介质
技术领域
本申请涉及文字识别技术领域，例如涉及一种对图片进行文字提取的方法及装置、存储介质。
背景技术
目前，多媒体技术越来越成熟，信息化应用越来越广泛，办公、学习、生活中将传统的纸质材料转换成电子文档的需求越来越多。通常，人们会通过相机、扫描仪等成像设备将带有文字信息的纸质材料转变成文本图片，然后运用文字识别技术识别出图片上的文字信息。但是在对纸质材料转变成文本图片的过程中，常常由于拍照角度或者纸质材料不平直等原因，导致转变成的文本图片中的文本存在弯曲的情况，使得对文本图片中的文字识别效果不够准确。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种对图片进行文字提取的方法及装置、存储介质，以使得对文本图片中文字识别的效果更准确。
在一些实施例中，所述对图片进行文字提取的方法包括：获取带有文字的目标图片；对所述目标图片进行展平处理，获得中间目标图片；响应于在所述中间目标图片上的文字选择操作，获取所述中间目标图片上的第一区域，所述第一区域为所述文字选择操作选择的区域；提取所述第一区域中的文字。
在一些实施例中，对所述目标图片进行展平处理，获得中间目标图片，包括：对所述目标图片中的每个文本行分别进行拟合处理，得到每个文本行对应的拟合曲线；获取间距、第一偏移和第二偏移；所述间距为任意两条相邻拟合曲线之间的间距，所述第一偏移为任意两条拟合曲线的起始点之间的偏移，所述第二偏移为每条拟合曲线距离中心点的偏移；根据所述间距、第一偏移和第二偏移确定映射矩阵；利用所述映射矩阵对所述目标图片进行像素映射，获得中间目标图片。
在一些实施例中，根据所述间距、第一偏移和第二偏移确定映射矩阵，包括：根据所述间距、第一偏移和第二偏移中的任意一个或多个确定约束条件；根据所述约束条件对预设的映射关系式进行映射矩阵求解操作，并将获得的最优解矩阵确定为映射矩阵。
在一些实施例中，提取所述第一区域中的文字，包括：将所述第一区域和第二区域进行匹配，获得至少一个目标位置；所述第二区域为所述中间目标图片上存在文字的区域；获取每个所述目标位置对应的文字。
在一些实施例中，所述第二区域通过以下方式确定：从所述中间目标图片中提取多个第一特征图，各所述第一特征图的尺寸不同；针对至少一个所述第一特征图进行上采样处理，得到预设尺寸的中间特征图；将多个所述中间特征图合并成第二特征图；根据所述第二特征图确定所述中间目标图片上的第二区域。
在一些实施例中，根据所述第二特征图确定所述中间目标图片上的第二区域，包括：获取所述第二特征图对应的概率图和阈值图；根据所述概率图和所述阈值图获取近似二值图；根据所述近似二值图确定所述中间目标图片上的第二区域。
在一些实施例中，所述获取每个所述目标位置对应的文字，包括：对每个所述目标位置执行以下操作：获取所述目标位置在所述中间目标图片上对应的区域；提取所述区域对应的图像特征；获取所述图像特征属于不同编码的概率；将概率最高的编码确定为所述目标位置对应的编码；根据所述目标位置对应的编码确定所述目标位置对应的文字。
在一些实施例中，获取每个所述目标位置对应的文字之后，还包括：将获得的编码复制到剪贴板；响应于粘贴指令，将获得的编码从剪贴板粘贴到文本编辑框，以使所述文本编辑框中显示所述获得的编码对应的文字。
在一些实施例中，所述对图片进行文字提取的装置包括：第一获取模块，被配置为获取带有文字的目标图片；展平模块，被配置为对所述目标图片进行展平处理，获得中间目标图片；第二获取模块，被配置为响应于在所述中间目标图片上的文字选择操作，获取所述中间目标图片上的第一区域，所述第一区域为所述文字选择操作选择的区域；提取模块，被配置为提取所述第一区域中的文字。
在一些实施例中，展平模块被配置为通过以下方式对所述目标图片进行展平处理，获得中间目标图片：对所述目标图片中的每个文本行分别进行拟合处理，得到每个文本行对应的拟合曲线；获取间距、第一偏移和第二偏移；所述间距为任意两条相邻拟合曲线之间的间距，所述第一偏移为任意两条拟合曲线的起始点之间的偏移，所述第二偏移为每条拟合曲线距离中心点的偏移；根据所述间距、第一偏移和第二偏移确定映射矩阵；利用所述映射矩阵对所述目标图片进行像素映射，获得中间目标图片。
在一些实施例中，展平模块被配置为通过以下方式根据所述间距、第一偏移和第二偏移确定映射矩阵：根据所述间距、第一偏移和第二偏移中的任意一个或多个确定约束条件；根据所述约束条件对预设的映射关系式进行映射矩阵求解操作，并将获得的最优解矩阵确定为映射矩阵。
在一些实施例中，提取模块被配置为通过以下方式提取所述第一区域中的文字：将所述第一区域和第二区域进行匹配，获得至少一个目标位置；所述第二区域为所述中间目标图片上存在文字的区域；获取每个所述目标位置对应的文字。
在一些实施例中，提取模块被配置为通过以下方式确定第二区域：从所述中间目标图片中提取多个第一特征图，各所述第一特征图的尺寸不同；针对至少一个所述第一特征图进行上采样处理，得到预设尺寸的中间特征图；将多个所述中间特征图合并成第二特征图；根据所述第二特征图确定所述中间目标图片上的第二区域。
在一些实施例中，提取模块被配置为通过以下方式根据所述第二特征图确定所述中间目标图片上的第二区域：获取所述第二特征图对应的概率图和阈值图；根据所述概率图和所述阈值图获取近似二值图；根据所述近似二值图确定所述中间目标图片上的第二区域。
在一些实施例中，提取模块被配置为通过以下方式获取每个所述目标位置对应的文字：对每个所述目标位置执行以下操作：获取所述目标位置在所述中间目标图片上对应的区域；提取所述区域对应的图像特征；获取所述图像特征属于不同编码的概率；将概率最高的编码确定为所述目标位置对应的编码；根据所述目标位置对应的编码确定所述目标位置对应的文字。
在一些实施例中，所述对图片进行文字提取的装置，还包括：复制模块，被配置为将获得的编码复制到剪贴板；粘贴模块，被配置为响应于粘贴指令，将获得的编码从剪贴板粘贴到文本编辑框，以使所述文本编辑框中显示所述获得的编码对应的文字。
在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行如上所述的对图片进行文字提取的方法。
本公开实施例提供的对图片进行文字提取的方法及装置、存储介质，可以实现以下技术效果：通过将目标图片进行展平处理，使得中间目标图片的文本更加平直，这样，在具有平直文本的中间目标图片上，对文字选择操作选择的区域中的文字进行识别，能够获得更准确的文字识别结果。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个对图片进行文字提取的方法的示意图；
图2是一个预设的深度神经网络模型的结构的示意图；
图3是一个预设的神经网络模型的结构的示意图；
图4是一个带有文字的目标图片的示意图；
图5是对图4中的目标图片进行展平处理后的中间目标图片的示意图；
图6是本公开实施例提供的一个对图片进行文字提取的装置的示意图；
图7是本公开实施例提供的另一个对图片进行文字提取的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
本申请可应用于识别图片中的文字。本申请的执行主体可以为在浏览器上运行的应用、客户端、电子设备等。应用具有图片查看功能，该应用运行在所有支持用户触摸响应的设备上。此外，本申请中所涉及的电子设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer，PC)、掌上电脑(PDA，Personal Digital Assistants)等终端设备。
本公开实施例可以将文本图片进行展平处理，得到文本更加平直的中间目标图片，并将中间目标图片进行显示。用户可以对中间目标图片中的文字区域进行选择操作，提取出选择的区域中的文字。尤其是针对带有弯曲文本的文本图片进行文字识别时，通过对带有弯曲文本的文本图片进行展平处理，得到文本平直的中间目标图片，从而可以从中间目标图片中提取出选择的区域中的文字。使得在对带有弯曲文本的文本图片进行文字识别时，能够获得更准确的文字识别结果，提高了对文本图片进行文字识别的效果。
结合图1所示，本公开实施例提供一种对图片进行文字提取的方法，包括：
步骤S101，获取带有文字的目标图片。
步骤S102，对目标图片进行展平处理，获得中间目标图片。并对中间目标图片进行显示。
步骤S103，响应于在中间目标图片上的文字选择操作，获取中间目标图片上的第一区域，第一区域为文字选择操作选择的区域。
步骤S104，提取第一区域中的文字。
采用本公开实施例提供的对图片进行文字提取的方法，通过将目标图片进行展平处理，使得中间目标图片的文本更加平直。这样，在具有平直文本的中间目标图片上，对文字选择操作选择的区域中的文字进行识别。能够获得更准确的文字识别结果。
进一步的，对目标图片进行展平处理，获得中间目标图片，包括：对目标图片中的每个文本行分别进行拟合处理，得到每个文本行对应的拟合曲线。获取间距、第一偏移和第二偏移，间距为任意两条相邻拟合曲线之间的间距，第一偏移为任意两条拟合曲线的起始点之间的偏移，第二偏移为每条拟合曲线距离中心点的偏移。根据间距、第一偏移和第二偏移确定映射矩阵。利用映射矩阵对目标图片进行像素映射，获得中间目标图片。这样，将目标图片中的各文本行拟合成拟合曲线，而根据任意两条相邻曲线之间的间距、任意两条曲线起始点之间的偏移，以及各曲线距离中心点的偏移，能够确定出各拟合曲线的弯曲情况。从而根据任意两条相邻曲线之间的间距、任意两条曲线起始点之间的偏移，以及各曲线距离中心点的偏移，能够对目标图片进行展平处理，能够获得文本更加平直的中间目标图片。
进一步的，对目标图片中的每个文本行分别进行拟合处理，包括：通过计算机视觉算法对目标图片中的每个文本行分别进行拟合处理，得到每个文本行对应的拟合曲线。其中，文本行为文本图片中位于同一行的文本数据。文本数据可以是文字、符号等。
在一些实施例中，在目标图片上以目标图片的任意点为原点，水平方向为x轴，竖直方向为y轴，建立直角坐标系。每条拟合曲线的中心点位于纵坐标上，且为预先设置的。其中，每条拟合曲线距离的中心点通过以下方式确定：确定出各拟合曲线在纵坐标上的最高点与最低点，并在纵坐标上，将最高点与最低点的中间点确定为该拟合曲线的中心点。
进一步的，根据间距、第一偏移和第二偏移确定映射矩阵，包括：根据间距、第一偏移和第二偏移中的任意一个或多个确定约束条件。根据约束条件对预设的映射关系式进行映射矩阵求解操作，并将获得的最优解矩阵确定为映射矩阵。其中，预设的映射关系表征目标图片中的像素点与中间目标图片中的像素点的映射关系。这样，根据任意两条相邻曲线之间的间距、任意两条曲线起始点之间的偏移，以及各曲线距离中心点的偏移，能够目标图片中的像素点与中间目标图片中的像素点的映射关系求解出最优解矩阵，从而利用该最优解矩阵对目标图片进行像素映射，实现了对目标图片进行展平处理。
进一步的，映射关系式为dst(x2,y2)＝src(fx(x1,y1),fy(x1,y1))，其中，dst(x2,y2)为中间目标图片上坐标(x2,y2)的像素，src(x1,y1)为目标图片中坐标(x1,y1)的像素。fx为目标图片的像素点到中间目标图片的像素点在x坐标轴上的映射函数。fy定义为目标图片的像素点到中间目标图片的像素点在y坐标轴上的映射函数。
进一步的，根据间距、第一偏移和第二偏移中的任意一个或多个确定约束条件，包括：计算各第一偏移的方差，根据间距、各第一偏移的方差和第二偏移中的任意一个或多个确定约束条件。
在一些实施例中，将Loss(fx,fy)确定为映射关系式的损失函数。其中，Loss(fx,fy)＝Espcae+Ealign+Rline。该损失函数描述了映射后Espcae，Ealign，Rline三者的误差累加。其中，Espace为任意两条相邻拟合曲线之间的间距，Ealign为所有第一偏移的方差，Rline为各拟合曲线距离中心点的偏移。
通过若干次迭代，求得Loss(fx,fy)的最小值，即Min(Espcae+Ealign+Rline)。将Min(Espace+Ealign+Rline)确定为约束条件对预设的映射关系式进行映射矩阵求解操作，获得最优解矩阵。
进一步的，利用映射矩阵对目标图片进行像素映射，获得中间目标图片，包括：利用remap(重映射)函数，根据映射矩阵对目标图片进行像素映射，得到中间目标图片。这样，利用remap函数，实现了将原影像映射到目标影像，从而获得展平后的中间目标图片。
进一步的，提取第一区域中的文字，包括：将第一区域和第二区域进行匹配，获得至少一个目标位置，第二区域为中间目标图片上存在文字的区域。获取每个目标位置对应的文字。这样，将文字选择操作选择的区域与中间目标图片上存在文字的区域进行匹配，能够确定出文字选择操作选中的文字对应的位置，然后识别出每个位置对应的文字，能够方便用户对于目标图片中局部文本进行识别的需求。
进一步的，第二区域通过以下方式确定：从中间目标图片中提取多个第一特征图，各第一特征图的尺寸不同，针对至少一个第一特征图进行上采样处理，得到预设尺寸的中间特征图，将多个中间特征图合并成第二特征图，根据第二特征图确定中间目标图片上的第二区域。
进一步的，根据第二特征图确定中间目标图片上的第二区域，包括：获取第二特征图对应的概率图和阈值图，根据概率图和阈值图获取近似二值图，根据近似二值图确定中间目标图片上的第二区域。这样，通过对中间目标图片进行特征提取，获取获取近似二值图，从而确定出中间目标图片上的文字区域。
在一些实施例中，利用预设的深度神经网络模型确定中间目标图片中的第二区域。结合图2所示，图2为深度神经网络模型的结构示意图。其中，表示将两个张量相加(Element-wise Sum)。up×N表示按照N倍的比例进行上采样(Up-sample with ratio N)，N为上采样的倍数，N为正整数。conv表示3*3的卷积操作(3*3convolution)。将中间目标图片p1输入预设的深度神经网络模型，中间目标图片经过FPN(Feature Pyramid Networks，特征金字塔)网络结构，提取五个第一特征图，五个第一特征图的尺寸大小分别为1/2、1/4、1/8、1/16、1/32。对1/32第一特征图进行卷积(conv)操作后，按照up×8进行上采样得到第一个1/4的中间特征图，并对1/32第一特征图按照up×2进行上采样后与1/16第一特征图相加得到1/16的第三特征图。对1/16的第三特征图进行卷积(conv)操作后，按照up×4进行上采样得到第二个1/4的中间特征图，并对1/16的第三特征图按照up×2进行上采样后与1/8第一特征图相加得到1/8的第三特征图。对1/8的第三特征图进行卷积(conv)操作后，按照up×2进行上采样得到第三个1/4的中间特征图，对1/8的第三特征图按照up×2进行上采样后与1/4第一特征图相加得到1/4的第三特征图。对1/4的第三特征图进行卷积(conv)操作后得到第四个1/4的中间特征图。对得到的四个1/4的中间特征图利用连接层(concat)进行合并操作，得到第二特征图，该第二特征图的尺寸大小为1/4。第二特征图进行两次反卷积，再经过激活函数(sigmoid)得到概率图(probability map)。概率图表征中间目标图片上各像素点为文字像素点的概率。并对第二特征图进行二值化操作(binary)，再进行一次卷积计算，再经过激活函数(sigmoid)，得到阈值图(threshold map)。对概率图和阈值图进行DB(可微分二值化)计算得到近似二值图(approximate binary map)。其中，DB计算的过程为，若概率图P中的点P(i,j)的概率值大于或者等于阈值图T中对应点T(i,j)的概率阈值，则确定近似二值图(approximate binary map)上点A(i,j)的值为1，否则点A(i,j)的值为0，从而得到近似二值图(approximate binary map)。其中，P(i,j)为概率图上横坐标为i，纵坐标为j的像素点。T(i,j)为阈值图上横坐标为i，纵坐标为j的像素点。A(i,j)为近似二值图上横坐标为i，纵坐标为j的像素点。并对近似二值图进行vatti clipping算法扩张，即将其中值为1对应的区域进行收缩/扩张操作，得到文字检测框(box)，将文字检测框确定为第二区域。文字检测框为包含有文字的矩形框。各矩形框的坐标信息为该矩形的四个顶点坐标，四个顶点坐标依次的顺序为左上角顶点坐标、右上角顶点坐标、右下角顶点坐标和左下角顶点坐标。
在一些实施例中，在显示展平后的中间目标图片时，显示中间目标图片上的至少一个第二区域。用户通过点击或长按中间目标图片上的至少一个第二区域来进行文字选择操作，通过文字选择操作选择的第二区域即为第一区域。第一区域的坐标信息为该第一区域的四个顶点坐标，四个顶点坐标依次的顺序为左上角顶点坐标、右上角顶点坐标、右下角顶点坐标和左下角顶点坐标。
可选地，将第一区域和第二区域进行匹配，包括：在第二区域中匹配出与第一区域坐标信息相同的区域，将匹配出的第二区域中各文字对应的位置确定为目标位置。由于第一区域是在中间目标图片上选择的至少一个第二区域，所以能够从各第二区域中能够匹配出与第一区域的坐标信息相同的第二区域。
在一些实施例中，显示展平后的中间目标图片，用户在中间目标图片上，利用鼠标或触摸点进行框选来进行文字选择操作，将鼠标框选的区域确定为第一区域。
可选地，将第一区域和第二区域进行匹配，包括：取第一区域与第二区域的交集，将交集区域中各文字对应的位置确定为目标位置。
进一步的，获取每个目标位置对应的文字，包括：对每个目标位置执行以下操作：获取目标位置在中间目标图片上对应的区域，提取该区域对应的图像特征。获取图像特征属于不同编码的概率，将概率最高的编码确定为目标位置对应的编码。根据目标位置对应的编码确定目标位置对应的文字。这样，在展平后的中间目标图片上，针对目标位置对应区域提取图像特征，识别出目标位置对应的文字。不仅能够在具有平直文本的中间目标图片上对文字进行识别，获得更准确的文字识别结果，还能够仅针对目标位置对应的文字进行识别，满足了用户对于图片中局部文本进行识别的需求。尤其是针对带有弯曲文本的文本图片进行文字识别，通过对带有弯曲文本的文本图片进行展平处理，得到文本平直的中间目标图片，从而可以从中间目标图片中提取出选择的区域中的文字。使得在对带有弯曲文本的文本图片进行文字识别时，能够获得更准确的文字识别结果。
在一些实施例中，编码为unicode(统一码)。利用预设的神经网络模型获取每个目标位置对应的文字。结合图3所示，图3为神经网络模型的结构示意图。将目标位置在中间目标图片上对应区域的图像p2输入预设的神经网络模型，经过预设层数的卷积层(Conv)对图像p2进行特征提取，获得图像特征。例如图3中所示的四层卷积层。然后将图像特征经过全连接层(Full Connect)，提取到1*M维数组里，该数组中的各维度为预设字典中的各备选Unicode编码在目标位置上的概率，其中，M为预设字典中存储的备选Unicode编码的数量。例如，图3中所示的M为5914，分别取0，1，2，……，5913。将概率最高的备选Unicode编码确定为目标位置对应的Unicode编码。根据目标位置对应的Unicode编码确定目标位置对应的文字。
可选地，获取每个目标位置对应的文字之后，还包括：将获得的编码复制到剪贴板。响应于粘贴指令，将获得的编码从剪贴板粘贴到文本编辑框。通过将获得的Unicode编码复制到剪贴板，在用户进行粘贴操作时，能够将Unicode编码粘贴到文本编辑框，从而在文本编辑框显示出对应的文字信息。这样，先通过将目标图片进行展平处理，使得中间目标图片的文本更加平直，然后识别出中间目标图片上选择的区域的文字，并粘贴到文本编辑框。不仅能够获得更准确的文字识别结果，还能满足用户对于图片中局部文本进行识别和复制的需求。其中，文本编辑框可以是不同应用中的文本编辑框。
在实际应用中，如图4和图5所示，图4为带有文字的目标图片的示意图。图4中的目标图片带有弯曲的文本。对图4中的目标图片进行展平处理，获得如图5所示的中间目标图片。图5的中间目标图片中的文本更加平直。这样，在图5中的中间目标图片中提取出选择的区域中的文字时，能够获得更准确的文字识别结果。
结合图6所示，本公开实施例提供一种对图片进行文字提取的装置，包括：第一获取模块1、展平模块2、第二获取模块3和提取模块4。第一获取模块1被配置为获取带有文字的目标图片。展平模块2被配置为对目标图片进行展平处理，获得中间目标图片。第二获取模块3被配置为响应于在中间目标图片上的文字选择操作，获取中间目标图片上的第一区域，第一区域为文字选择操作选择的区域。提取模块4被配置为提取第一区域中的文字。
采用本公开实施例提供的图片进行文字提取的装置，通过将目标图片进行展平处理，使得中间目标图片的文本更加平直。这样，在具有平直文本的中间目标图片上，对文字选择操作选择的区域中的文字进行识别。能够获得更准确的文字识别结果。
进一步的，展平模块被配置为通过以下方式对目标图片进行展平处理，获得中间目标图片：对目标图片中的每个文本行分别进行拟合处理，得到每个文本行对应的拟合曲线；获取间距、第一偏移和第二偏移；间距为任意两条相邻拟合曲线之间的间距，第一偏移为任意两条拟合曲线的起始点之间的偏移，第二偏移为每条拟合曲线距离中心点的偏移；根据间距、第一偏移和第二偏移确定映射矩阵；利用映射矩阵对目标图片进行像素映射，获得中间目标图片。这样，将目标图片中的各文本行拟合成拟合曲线，而根据任意两条相邻曲线之间的间距、任意两条曲线起始点之间的偏移，以及各曲线距离中心点的偏移，能够确定出各拟合曲线的弯曲情况。从而根据任意两条相邻曲线之间的间距、任意两条曲线起始点之间的偏移，以及各曲线距离中心点的偏移，能够对目标图片进行展平处理，能够获得文本更加平直的中间目标图片。
进一步的，展平模块被配置为通过以下方式根据间距、第一偏移和第二偏移确定映射矩阵：根据间距、第一偏移和第二偏移中的任意一个或多个确定约束条件；根据约束条件对预设的映射关系式进行映射矩阵求解操作，并将获得的最优解矩阵确定为映射矩阵。其中，预设的映射关系表征目标图片中的像素点与中间目标图片中的像素点的映射关系。这样，根据任意两条相邻曲线之间的间距、任意两条曲线起始点之间的偏移，以及各曲线距离中心点的偏移，能够目标图片中的像素点与中间目标图片中的像素点的映射关系求解出最优解矩阵，从而利用该最优解矩阵对目标图片进行像素映射，实现了对目标图片进行展平处理。
进一步的，提取模块被配置为通过以下方式提取第一区域中的文字：将第一区域和第二区域进行匹配，获得至少一个目标位置；第二区域为中间目标图片上存在文字的区域；获取每个目标位置对应的文字。这样，将文字选择操作选择的区域与中间目标图片上存在文字的区域进行匹配，能够确定出文字选择操作选中的文字对应的位置，然后识别出每个位置对应的文字，能够方便用户对于目标图片中局部文本进行识别的需求。
进一步的，提取模块被配置为通过以下方式确定第二区域：从中间目标图片中提取多个第一特征图，各第一特征图的尺寸不同；针对至少一个第一特征图进行上采样处理，得到预设尺寸的中间特征图；将多个中间特征图合并成第二特征图；根据第二特征图确定中间目标图片上的第二区域。
进一步的，提取模块被配置为通过以下方式根据第二特征图确定中间目标图片上的第二区域：获取第二特征图对应的概率图和阈值图；根据概率图和阈值图获取近似二值图；根据近似二值图确定中间目标图片上的第二区域。
进一步的，提取模块被配置为通过以下方式获取每个目标位置对应的文字：对每个目标位置执行以下操作：获取目标位置在中间目标图片上对应的区域；提取区域对应的图像特征；获取图像特征属于不同编码的概率；将概率最高的编码确定为目标位置对应的编码；根据目标位置对应的编码确定目标位置对应的文字。这样，在展平后的中间目标图片上，针对目标位置对应区域提取图像特征，识别出目标位置对应的文字。不仅能够在具有平直文本的中间目标图片上对文字进行识别，获得更准确的文字识别结果，还能够仅针对目标位置对应的文字进行识别，满足了用户对于图片中局部文本进行识别的需求。尤其是针对带有弯曲文本的文本图片进行文字识别，通过对带有弯曲文本的文本图片进行展平处理，得到文本平直的中间目标图片，从而可以从中间目标图片中提取出选择的区域中的文字。使得在对带有弯曲文本的文本图片进行文字识别时，能够获得更准确的文字识别结果。
进一步的，对图片进行文字提取的装置，还包括：复制模块，被配置为将获得的编码复制到剪贴板；粘贴模块，被配置为响应于粘贴指令，将获得的编码从剪贴板粘贴到文本编辑框。通过将获得的Unicode编码复制到剪贴板，在用户进行粘贴操作时，能够将Unicode编码粘贴到文本编辑框，从而在文本编辑框显示出对应的文字信息。这样，先通过将目标图片进行展平处理，使得中间目标图片的文本更加平直，然后识别出中间目标图片上选择的区域的文字，并粘贴到文本编辑框。不仅能够获得更准确的文字识别结果，还能满足用户对于图片中局部文本进行识别和复制的需求。其中，文本编辑框可以是不同应用中的文本编辑框。
结合图7所示，本公开实施例提供一种对图片进行文字提取的装置，包括处理器(processor)5和存储器(memory)6。可选地，该装置还可以包括通信接口(CommunicationInterface)7和总线8。其中，处理器5、通信接口7、存储器6可以通过总线8完成相互间的通信。通信接口7可以用于信息传输。处理器5可以调用存储器6中的逻辑指令，以执行上述实施例的对图片进行文字提取的方法。
此外，上述的存储器6中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器6作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器5通过运行存储在存储器6中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中对图片进行文字提取的方法。
存储器6可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器6可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种存储介质，存储有程序指令，程序指令在运行时，执行如上述的对图片进行文字提取的方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述对图片进行文字提取的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种对图片进行文字提取的方法，其特征在于，包括：
获取带有文字的目标图片；
对所述目标图片进行展平处理，获得中间目标图片；
响应于在所述中间目标图片上的文字选择操作，获取所述中间目标图片上的第一区域，所述第一区域为所述文字选择操作选择的区域；
提取所述第一区域中的文字。
2.根据权利要求1所述的方法，其特征在于，对所述目标图片进行展平处理，获得中间目标图片，包括：
对所述目标图片中的每个文本行分别进行拟合处理，得到每个文本行对应的拟合曲线；
获取间距、第一偏移和第二偏移；所述间距为任意两条相邻拟合曲线之间的间距，所述第一偏移为任意两条拟合曲线的起始点之间的偏移，所述第二偏移为每条拟合曲线距离中心点的偏移；
根据所述间距、第一偏移和第二偏移确定映射矩阵；
利用所述映射矩阵对所述目标图片进行像素映射，获得中间目标图片。
3.根据权利要求2所述的方法，其特征在于，根据所述间距、第一偏移和第二偏移确定映射矩阵，包括：
根据所述间距、第一偏移和第二偏移中的任意一个或多个确定约束条件；
根据所述约束条件对预设的映射关系式进行映射矩阵求解操作，并将获得的最优解矩阵确定为映射矩阵。
4.根据权利要求1所述的方法，其特征在于，提取所述第一区域中的文字，包括：
将所述第一区域和第二区域进行匹配，获得至少一个目标位置；所述第二区域为所述中间目标图片上存在文字的区域；
获取每个所述目标位置对应的文字。
5.根据权利要求4所述的方法，其特征在于，所述第二区域通过以下方式确定：
从所述中间目标图片中提取多个第一特征图，各所述第一特征图的尺寸不同；
针对至少一个所述第一特征图进行上采样处理，得到预设尺寸的中间特征图；
将多个所述中间特征图合并成第二特征图；
根据所述第二特征图确定所述中间目标图片上的第二区域。
6.根据权利要求5所述的方法，其特征在于，根据所述第二特征图确定所述中间目标图片上的第二区域，包括：
获取所述第二特征图对应的概率图和阈值图；
根据所述概率图和所述阈值图获取近似二值图；
根据所述近似二值图确定所述中间目标图片上的第二区域。
7.根据权利要求4所述的方法，其特征在于，所述获取每个所述目标位置对应的文字，包括：
对每个所述目标位置执行以下操作：
获取所述目标位置在所述中间目标图片上对应的区域；
提取所述区域对应的图像特征；
获取所述图像特征属于不同编码的概率；
将概率最高的编码确定为所述目标位置对应的编码；
根据所述目标位置对应的编码确定所述目标位置对应的文字。
8.根据权利要求7所述的方法，其特征在于，获取每个所述目标位置对应的文字之后，还包括：
将获得的编码复制到剪贴板；
响应于粘贴指令，将获得的编码从剪贴板粘贴到文本编辑框，以使所述文本编辑框中显示所述获得的编码对应的文字。
9.一种对图片进行文字提取的装置，其特征在于，包括：
第一获取模块，被配置为获取带有文字的目标图片；
展平模块，被配置为对所述目标图片进行展平处理，获得中间目标图片；
第二获取模块，被配置为响应于在所述中间目标图片上的文字选择操作，获取所述中间目标图片上的第一区域，所述第一区域为所述文字选择操作选择的区域；
提取模块，被配置为提取所述第一区域中的文字。
10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至8任一项所述的对图片进行文字提取的方法。
CN202210809822.9A 2022-07-11 2022-07-11 对图片进行文字提取的方法及装置、存储介质 Pending CN117437640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210809822.9A CN117437640A (zh) 2022-07-11 2022-07-11 对图片进行文字提取的方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210809822.9A CN117437640A (zh) 2022-07-11 2022-07-11 对图片进行文字提取的方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN117437640A true CN117437640A (zh) 2024-01-23

Family

ID=89556988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210809822.9A Pending CN117437640A (zh) 2022-07-11 2022-07-11 对图片进行文字提取的方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN117437640A (zh)

Similar Documents

Publication Publication Date Title
WO2019201035A1 (zh) 对图像中的对象节点的识别方法、装置、终端及计算机可读存储介质
US11004182B2 (en) Systems and methods for image data processing to correct document deformations using machine-learning techniques
US20230222631A1 (en) Method and device for removing handwritten content from text image, and storage medium
CN109117846B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
US9916499B2 (en) Method and system for linking printed objects with electronic content
CN111640130A (zh) 表格还原方法及装置
US9330331B2 (en) Systems and methods for offline character recognition
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN111652796A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN112085094B (zh) 单证图像翻拍检测方法、装置、计算机设备和存储介质
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN106611148B (zh) 基于图像的离线公式识别方法和装置
CN111881943A (zh) 图像分类的方法、装置、设备和计算机可读介质
CN115082935A (zh) 用于对文档图像进行矫正的方法、设备及存储介质
CN114511865A (zh) 一种结构化信息的生成方法、装置和计算机可读存储介质
CN112651399B (zh) 检测倾斜图像中同行文字的方法及其相关设备
CN113012075A (zh) 一种图像矫正方法、装置、计算机设备及存储介质
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN112581344A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN112348008A (zh) 证件信息的识别方法、装置、终端设备及存储介质
CN112380978A (zh) 基于关键点定位的多人脸检测方法、系统及存储介质
CN112287734A (zh) 碎屏检测及用于碎屏检测的卷积神经网络的训练方法
US10762317B2 (en) Quick response (QR) code deformation
CN112396057A (zh) 一种字符识别方法、装置及电子设备
CN117437640A (zh) 对图片进行文字提取的方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination