CN113971638A - 一种实现文档还原的方法、装置、计算机存储介质及终端 - Google Patents

Abstract

一种实现文档还原的方法、装置、计算机存储介质及终端，本发明实施例确定文档图像中无需进行线条还原的区域的区域位置信息，和文档图像中包含的线条的线条位置信息；过滤无需进行线条还原的区域中的线条后，确定需进行还原处理的线条，通过对需进行还原处理的线条进行还原，提升了可编辑文档的完整性。

Description

一种实现文档还原的方法、装置、计算机存储介质及终端

技术领域

本文涉及但不限于自动化办公应用技术，尤指一种实现文档还原的方法、装置、计算机存储介质及终端。

背景技术

将文档图像通过文档还原获得可编辑文档，是提升自动化办公效率的一项信息处理技术。

相关技术中进行文档还原过程中，一般只对文档图像中设定格式的线条进行还原、或不进行线条的还原，导致部分或全部线条，在还原获得的可编辑文档中未得到还原，影响了可编辑文档的完整性；此外，在进行线条还原时，若文档图像存在质量问题，会存在影响线条还原的噪点，导致线条还原出现遗漏。图1为相关技术文档图像示意图，如图1所示，文档图像的眉首包含红色反线，部分文字下包含下划线，还包含一个电子表格。图2为相关技术文档还原获得的可编辑文档的示意图，如图2所示，由于文档还原时未设置线条还原功能，文档图像中的所有线条在可编辑文档中均未被还原。图3 为相关技术文档还原获得的另一可编辑文档的示意图，如图3所示，由于文档还原时仅对文字下划线部分进行检测还原，因此，仅有文档图像中的表格线条和位于文字下的下划线在可编辑文档中得到还原，红色反线在获得的可编辑文档中未被还原，即相关技术即使设置了线条还原功能，也仅对下划线进行还原，无法还原出完整的可编辑文档。

综上，如何将文档图像中的线条还原至可编辑文档，提升可编辑文档的完整性，是文档还原需要解决的一个问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种实现文档还原的方法、装置、计算机存储介质及终端，能够提升可编辑文档的完整性。

本发明实施例提供了一种实现文档还原的方法，包括：

确定文档图像中无需进行线条还原的区域的区域位置信息；

确定文档图像中包含的各线条的线条位置信息；

根据确定的区域位置信息和线条位置信息，从包含的线条中过滤无需进行线条还原的区域中的线条后，确定待还原线条；

对待还原线条进行还原处理。

另一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述实现文档还原的方法。

再一方面，本发明实施例还提供一种终端，包括：存储器和处理器，所述存储器中保存有计算机程序；其中，

处理器被配置为执行存储器中的计算机程序；

所述计算机程序被所述处理器执行时实现如上述实现文档还原的方法。

还一方面，本发明实施例还提供一种实现文档还原的装置，包括：确定区域单元、确定线条单元、过滤单元和还原单元；其中，

确定线条单元设置为：确定文档图像中包含的各线条的线条位置信息；

过滤单元设置为：根据确定的区域位置信息和线条位置信息，从包含的线条中过滤无需进行线条还原的区域中的线条后，确定待还原线条；

还原单元设置为：对待还原线条进行还原处理。

本发明实施例确定文档图像中无需进行线条还原的区域的区域位置信息，和文档图像中包含的线条的线条位置信息；过滤无需进行线条还原的区域中的线条后，确定需进行还原处理的线条，通过对需进行还原处理的线条进行还原，提升了可编辑文档的完整性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为相关技术文档图像示意图；

图2为相关技术文档还原获得的可编辑文档的示意图；

图3为相关技术文档还原获得的另一可编辑文档的示意图；

图4为本发明实施例实现文档还原的方法的流程图；

图5为本发明实施例无需进行线条还原的区域的示意图；

图6为本发明实施例行扫描结果图的示意图；

图7为本发明实施例行扫描取反结果的示意图；

图8为本发明实施例列扫描结果图的示意图；

图9为本发明实施例列扫描取反结果的示意图；

图10为本发明实施例实现文档还原的装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图4为本发明实施例实现文档还原的方法的流程图，如图1所示，包括：

步骤401、确定文档图像中无需进行线条还原的区域的区域位置信息；

需要说明的是，本发明实施例无需进行线条还原的区域包括：通过相关技术已实现线条还原的区域。

本申请发明人对相关技术中的文档还原功能进行分析发现：目前的办公应用软件对文档图像，仅支持一些固定格式的线条的检测还原，例如：下划线的检测还原；因此，对于其他种类格式的线条，在文档还原处理时并未得到还原处理；且下划线的检测还原，有时还存在漏还原的情况。

在一种示例性实例中，无需进行线条还原的区域包括以下一项或任意组合的区域：

文本区域、图片区域、公式区域、表格区域、图标区域、水印区域、二维码区域和流程图区域等。

在一种示例性实例中，确定文档图像中无需进行线条还原的区域的区域位置信息，包括：

对文档图像进行除文本区域外的多目标检测，将多目标检测获得的至少一个目标区域的区域位置信息，作为文档图像中无需进行线条还原的区域的区域位置信息；这里，多目标检测算法可以是相关技术中已有的算法，在此不做赘述。

需要说明的是，上述目标区域包含的线条为目标区域包含的内容，在进行文档还原时，可以通过相关技术中已有的方法进行还原，例如：图片区域的线条，通过图像识别对图片进行识别后，将图片作为还原对象，采用相关的图像处理技术进行图片还原；公式区域的线条，通过相关技术确定公式区域包含的公式后，将公式作为还原对象，根据相关技术中已有的公式处理方法进行公式的还原。

在一种示例性实例中，本发明实施例确定文档图像中无需进行线条还原的区域的区域位置信息，包括：

无需进行线条还原的区域包括文本区域时，通过预设的空白图像对除文本区域外的其他目标区域进行覆盖；

对覆盖除文本区域外的其他目标区域后的文档图像进行文本检测，获得文本区域的区域位置信息。

在一种示例性实例中，当文档图像不包含目标区域时，可以参照相关技术直接进行文本检测，获得文本区域的区域位置信息。

在一种示例性实例中，当文本还原功能设置了对文字下划线进行检测还原，即设置了对下划线进行检测还原时，上述无需进行线条还原的区域不包括：文本区域和表格区域。

图5为本发明实施例无需进行线条还原的区域的示意图，如图5所示，虚线框中的表格区域和文本所在区域，为本发明实施例无需进行线条还原的区域。

步骤402、确定文档图像中包含的各线条的线条位置信息；

需要说明的是，本发明实施例步骤401和步骤402的执行不存在先后顺序。

在一种示例性实例中，本发明实施例确定文档图像中包含的线条的线条位置信息，包括：

获取文档图像中包含的线条的线条轮廓；

对获取的线条轮廓进行计算，获得各线条的线条位置信息；

其中，线条位置信息包括：线条横向起止位置的坐标和纵向起止位置的坐标。

本发明实施例进行线条检测时，可以对所有粗细的线条均进行检测。

在一种示例性实例中，对获取的线条轮廓进行计算包括：对获取的线条轮廓进行最小外接矩形计算。

在一种示例性实例中，本发明实施例获取文档图像中包含的线条的线条轮廓，包括：

对文档图像进行二值化处理，获得二值化图像；

对获得的二值化图像，分别通过预设的行扫描尺寸和列扫描尺寸进行行扫描和列扫描；

对行扫描和列扫描的结果分别进行取反，获得行扫描取反结果和列扫描取反结果；

对获得的行扫描取反结果和列扫描取反结果分别进行轮廓查找，确定文档图像中包含的线条的线条轮廓。

在一种示例性实例中，分别通过预设的行扫描尺寸和列扫描尺寸进行行扫描和列扫描之前，本发明实施例方法还包括：

对文档图像中的文本区域，根据字号不同区分为至少一个子文本区域；根据字号为各子文本区域分别确定相应的行扫描尺寸和列扫描尺寸；和/或，

对文档图像中的表格区域，根据字号不同区分为至少一个子表格区域；根据字号为各子表格区域分别确定相应的行扫描尺寸和列扫描尺寸；

其中，文本区域和表格区域可以根据需求，根据字号设置不同的行扫描尺寸和列扫描尺寸；也可以仅对文本区域或表格区域根据字号设置不同的行扫描尺寸和列扫描尺寸。文字区域和表格区域中相同字号可以采用相同的行扫描尺寸和列扫描尺寸，也可以根据实际需求采用不同的行扫描尺寸和列扫描尺寸。

在一种示例性实例中，确定各子文本区域的行扫描尺寸和列扫描尺寸后，对文本区域进行行扫描和列扫描，对行扫描和列扫描的结果分别进行取反和轮廓查找的处理，包括：

对各子文本区域对应的二值化图像，分别通过确定的行扫描尺寸和列扫描尺寸进行扫描；

对各子文本区域对应的二值化图像进行扫描获得的扫描结果进行取反，获得第一行扫描取反结果和第一列扫描取反结果；

对获得的第一行扫描取反结果和第一列扫描取反结果进行轮廓查找，确定文本区域包含的线条的线条轮廓。

同理，确定各子表格区域的行扫描尺寸和列扫描尺寸后，对表格区域进行行扫描和列扫描，对行扫描和列扫描的结果分别进行取反和轮廓查找的处理，包括：

对各子表格区域对应的二值化图像，分别通过确定的行扫描尺寸和列扫描尺寸进行扫描；

对各子表格区域对应的二值化图像进行扫描获得的扫描结果进行取反，获得第二行扫描取反结果和第二列扫描取反结果；

对获得的第二行扫描取反结果和第二列扫描取反结果进行轮廓查找，确定表格区域包含的线条的线条轮廓。

其中，在本发明实例中的文本区域、表格区域、及其他目标区域的行扫描尺寸和列扫描尺寸是否相同，在此不做限定。

需要说明的是，本发明实施例横向和纵向为相对而言，以图1所示文档图像为例：横向的定义为文档中一行字符从左到右的方向；纵向的定义为文档中多行字符从上到下的方向。

在一种示例性实例中，根据字号为各子文本区域分别确定相应的行扫描尺寸和列扫描尺寸时，可以设置行扫描尺寸的长度为各字号字符宽度的1.5～3 倍，行扫描尺寸的高度可以设置为最小像素尺寸，如一个像素；以图1所示的公告文档，可以设置标题部分的行扫描尺寸为20像素*1像素，列扫描尺寸为1像素*20像素；通过行扫描，可以确定文本区域中大于行扫描尺寸长度的线条；通过列扫描，可以确定文本区域中大于列扫描尺寸高度的线条；同理，基于上述原理，可以对表格区域进行行扫描和列扫描；对于除文本区域和表格区域外的其他目标区域，通过行扫描，可以确定大于相应的行扫描尺寸长度的线条；通过列扫描，可以确定大于相应的列扫描尺寸高度的线条；此外，通过行扫描和列扫描尺寸的设定，可以避免由于线条还原时出现的噪点，导致的线条遗漏问题，提升线条还原质量。

在一种示例性实例中，本发明实施例可以根据各区域的行扫描尺寸和列扫描尺寸，建立用于进行行扫描和列扫描的模板后，再对二值化图像进行扫描处理。

以下结合附图对本发明实施例进行实例说明，为简化陈述：将文档图像各不同区域的行扫描整合定义为行扫描；将各不同区域列扫描整合定义为列扫描；相应的，行扫描的取反结果定义为行扫描取反结果；列扫描的取反结果定义为列扫描取反结果；图6为本发明实施例行扫描结果图的示意图，如图6所示，在行扫描结果图中，包含文档图像中根据各字号对应的行扫描尺寸对文本区域进行行扫描时，横向大于文本区域行扫描尺寸长度的线条；根据行扫描尺寸对表格区域进行行扫描时，横向大于表格区域行扫描尺寸长度的线条；对除文本区域和表格区域外其他目标区域，通过设定的行扫描尺寸进行行扫描时，横向大于该行扫描尺寸长度的线条。图7为本发明实施例行扫描取反结果的示意图，如图7所示，对行扫描获得的线条进行取反操作后，线条以白色显示。图8为本发明实施例列扫描结果图的示意图，如图8所示，在列扫描结果图中，包含文档图像中根据各字号对应的列扫描尺寸对文本区域进行列扫描时，纵向大于列扫描尺寸高度的线条；根据以表格中字号确定的列扫描尺寸对表格区域进行行扫描时，纵向大于该列扫描尺寸长度的线条；对除文本区域和表格区域外其他目标区域，通过设定的列扫描尺寸进行行扫描时，纵向大于该列扫描尺寸长度的线条。图9为本发明实施例列扫描取反结果的示意图，如图9所示，对列扫描获得的线条进行取反操作后，线条以白色显示。

步骤403、根据确定的区域位置信息和线条位置信息，从包含的线条中过滤无需进行线条还原的区域中的线条后，确定待还原线条；

在一种示例性实例中，本发明实施例从文档图像包含的线条中过滤无需进行线条还原的区域中的线条，包括：

对各线条，判断其线条位置信息是否包含于确定的区域位置信息；

线条的线条位置信息包含于确定的区域位置信息时，确定该线条为无需进行线条还原的区域中的线条。

步骤404、对待还原线条进行还原处理。

本发明实施例确定文档图像中无需进行线条还原的区域的区域位置信息，和文档图像中包含的各线条的线条位置信息；将线条位置信息包含于区域位置信息中的线条剔除后，完成对无需进行线条还原的区域中的线条的过滤，再对获得的文档图像中待还原的线条进行还原，提升了可编辑文档的完整性。

在一种示例性实例中，文档图像的文本中设置有下划线或包含表格时，可以通过相关技术中已有的方法实现文本中设置的下划线和表格中包含的线条的还原。

在一种示例性实例中，对待还原线条进行还原处理之前，本发明实施例方法还包括：

根据线条位置信息，截取文档图像中包含的待还原线条的区域，获得线条区域图像；

对获得的线条区域图像进行边缘处理；

根据线条区域图像的边缘处理结果，修正线条位置信息。

需要说明的是，上述截取线条区域图像和边缘处理的方法，可以是相关技术中已有的图像处理方法，在此不做赘述。通过线条位置信息的修正，可以使渲染获得的线条的尺寸更为准确。

在一种示例性实例中，对确定的待还原的线条进行还原处理，包括：

获取待还原线条的颜色信息；

根据待还原线条的线条位置信息及获取的颜色信息，在可编辑文档中渲染获得待还原的线条；

其中，可编辑文档包括：由文档图像进行文档还原获得的文档。

在一种示例性实例中，本发明实施例获取待还原线条的颜色信息包括：

从文档图像中包含待还原线条区域分离红绿蓝(RGB)三个通道；

对分离的各RGB通道分别进行直方图分布计算，得到每个通道像素概率最大的颜色强度值；即红色像素概率最大的强度值、绿色像素概率最大的强度值和蓝色像素概率最大的强度值；

将得到的各通道像素概率最大的颜色强度值，作为线条的颜色信息。

本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机程序，计算机程序被处理器执行时实现上述实现文档还原的方法。

本发明实施例还提供一种终端，包括：存储器和处理器，存储器中保存有计算机程序；其中，

处理器被配置为执行存储器中的计算机程序；

计算机程序被处理器执行时实现如上述实现文档还原的方法。

图10为本发明实施例实现文档还原的装置的结构框图，包括：确定区域单元、确定线条单元、过滤单元和还原单元；其中，

确定区域单元设置为：确定文档图像中无需进行线条还原的区域的区域位置信息；

确定线条单元设置为：确定文档图像中包含的各线条的线条位置信息；

过滤单元设置为：根据确定的区域位置信息和线条位置信息，从包含的线条中过滤无需进行线条还原的区域中的线条后，确定待还原线条；

还原单元设置为：对待还原线条进行还原处理。

在一种示例性实例中，无需进行线条还原的区域包括以下一项或任意组合的目标区域：

文本区域、图片区域、公式区域、表格区域、图标区域、水印区域、二维码区域和流程图区域等。

在一种示例性实例中，确定区域单元是设置为：

对除文本区域外的其他目标区域，对文档图像进行多目标检测，将多目标检测获得的至少一个目标区域的区域位置信息，作为文档图像中无需进行线条还原的区域的区域位置信息；

当无需进行线条还原的区域包括文本区域时，通过预设的空白图像对检测获得的目标区域进行覆盖；对覆盖检测获得的目标区域后的文档图像进行文本检测，获得文本区域的区域位置信息。

在一种示例性实例中，确定线条单元是设置为：

获取文档图像中包含的线条的线条轮廓；

对获取的线条轮廓进行计算，获得各线条的线条位置信息；

其中，线条位置信息包括：线条横向起止位置的坐标和纵向起止位置的坐标。

在一种示例性实例中，确定线条单元设置为获取文档图像中包含的线条的线条轮廓，包括：

对文档图像进行二值化处理，获得二值化图像；

对获得的二值化图像，分别通过预设的行扫描尺寸和列扫描尺寸进行行扫描和列扫描；

对行扫描和列扫描的结果分别进行取反，获得行扫描取反结果和列扫描取反结果；

对获得的行扫描取反结果和列扫描取反结果分别进行轮廓查找，确定文档图像中包含的线条的线条轮廓。

在一种示例性实例中，确定线条单元还设置为：

对文档图像中的文本区域，根据字号不同区分为至少一个子文本区域；根据字号为各子文本区域分别确定相应的行扫描尺寸和列扫描尺寸；和/或，

对文档图像中的表格区域，根据字号不同区分为至少一个子表格区域；根据字号为各子表格区域分别确定相应的行扫描尺寸和列扫描尺寸。

在一种示例性实例中，本发明实施例装置还包括修正单元，设置为：

根据线条位置信息，截取文档图像中包含的待还原线条的区域，获得线条区域图像；

对获得的线条区域图像进行边缘处理；

根据线条区域图像的边缘处理结果，修正线条位置信息。

在一种示例性实例中，还原单元是设置为：

获取待还原线条的颜色信息；

根据待还原线条的线条位置信息及获取的颜色信息，在可编辑文档中渲染获得待还原线条；

其中，可编辑文档包括：由文档图像进行文档还原获得的文档。

“本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。”。

Claims (10)

1.一种实现文档还原的方法，包括：

确定文档图像中无需进行线条还原的区域的区域位置信息；

确定文档图像中包含的线条的线条位置信息；

根据确定的区域位置信息和线条位置信息，从包含的线条中过滤无需进行线条还原的区域中的线条后，确定待还原线条；

对待还原线条进行还原处理。

2.根据权利要求1所述的方法，其特征在于，所述无需进行线条还原的区域包括以下一项或任意组合的目标区域：

文本区域、图片区域、公式区域、表格区域、图标区域、水印区域、二维码区域和流程图区域。

3.根据权利要求2所述的方法，其特征在于，所述确定文档图像中无需进行线条还原的区域的区域位置信息，包括：

对所述文档图像进行除文本区域以外的多目标检测，将多目标检测获得的至少一个目标区域的区域位置信息，作为文档图像中无需进行线条还原的区域的区域位置信息；

当所述无需进行线条还原的区域包括所述文本区域时，通过预设的空白图像对所述检测获得的目标区域进行覆盖；

对覆盖所述检测获得的目标区域后的所述文档图像进行文本检测，获得所述文本区域的所述区域位置信息。

4.根据权利要求1～3任一项所述的方法，其特征在于，确定文档图像中包含的线条的线条位置信息，包括：

获取所述文档图像中包含的线条的线条轮廓；

对获取的所述线条轮廓进行计算，获得各线条的所述线条位置信息；

其中，所述线条位置信息包括：线条横向起止位置的坐标和纵向起止位置的坐标。

5.根据权利要求4所述的方法，其特征在于，所述获取所述文档图像中包含的线条的线条轮廓，包括：

对所述文档图像进行二值化处理，获得二值化图像；

对获得的所述二值化图像，分别通过预设的行扫描尺寸和列扫描尺寸进行行扫描和列扫描；

对所述行扫描和所述列扫描的结果分别进行取反，获得行扫描取反结果和列扫描取反结果；

对获得的所述行扫描取反结果和列扫描取反结果分别进行轮廓查找，确定所述文档图像中包含的线条的线条轮廓。

6.根据权利要求5所述的方法，其特征在于，所述分别通过预设的行扫描尺寸和列扫描尺寸进行行扫描和列扫描之前，所述方法还包括：

对所述文档图像中的文本区域，根据字号不同区分为至少一个子文本区域；根据字号为各子文本区域分别确定相应的所述行扫描尺寸和所述列扫描尺寸；和/或，

对所述文档图像中的表格区域，根据字号不同区分为至少一个子表格区域；根据字号为各子表格区域分别确定相应的所述行扫描尺寸和所述列扫描尺寸。

7.根据权利要求1～3任一项所述的方法，其特征在于，对确定的待还原的线条进行还原处理，包括：

获取所述待还原线条的颜色信息；

根据所述待还原线条的所述线条位置信息及获取的所述颜色信息，在可编辑文档中渲染获得所述待还原的线条；

其中，所述可编辑文档包括：由所述文档图像进行文档还原获得的文档。

8.一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～7中任一项所述的实现文档还原的方法。

9.一种终端，包括：存储器和处理器，所述存储器中保存有计算机程序；其中，

处理器被配置为执行存储器中的计算机程序；

所述计算机程序被所述处理器执行时实现如权利要求1～7中任一项所述的实现文档还原的方法。

10.一种实现文档还原的装置，包括：确定区域单元、确定线条单元、过滤单元和还原单元；其中，

确定区域单元设置为：确定文档图像中无需进行线条还原的区域的区域位置信息；

确定线条单元设置为：确定文档图像中包含的各线条的线条位置信息；

过滤单元设置为：根据确定的区域位置信息和线条位置信息，从包含的线条中过滤无需进行线条还原的区域中的线条后，确定待还原线条；

还原单元设置为：对待还原线条进行还原处理。

Images