CN114743203A - 文档处理方法、装置、设备及存储介质 - Google Patents
文档处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114743203A CN114743203A CN202011545186.0A CN202011545186A CN114743203A CN 114743203 A CN114743203 A CN 114743203A CN 202011545186 A CN202011545186 A CN 202011545186A CN 114743203 A CN114743203 A CN 114743203A
- Authority
- CN
- China
- Prior art keywords
- text
- text blocks
- blocks
- line
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012015 optical character recognition Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000007373 indentation Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000004282 Grewia occidentalis Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/131—Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Character Input (AREA)
Abstract
本申请提供一种文档处理方法、装置、设备及存储介质,其中,文档处理方法,包括:将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息;根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块;根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。本申请能够实现从识别得到的文本块中提取文本段的目的,由于文本段相较于离散的文本块更加便于归纳和分析,因此,能够解决传统的光学字符识别得到的离散的文本块不便于进行归纳和分析的问题,有助于纸质文档数字化、信息化处理的实现。
Description
技术领域
本申请涉及图像文本识别技术领域,尤其涉及一种文档处理方法、装置、设备及存储介质。
背景技术
随着信息化技术的快速发展,从纸质文档中提取文本信息以进行电子存档和数据分析的需求日益增强。
目前,从纸质文档中提取文本信息的主要手段是,将纸质文档进行扫描得到文档图像,然后采用光学字符识别(Optical Character Recognition,OCR)技术识别出其中的文字内容。
在实际应用中,文本信息一般是分段记载的,但是,当前通过光学字符识别得到的是一系列离散的文本块,每个文本块仅包括一行文字或者不足一行的几个文字,这些离散的文本块不便于进行归纳和分析。因此,如何从识别得到的文本块中提取文本段,成为纸质文档信息化处理中亟待解决的问题。
发明内容
本申请实施例的目的是提供一种文档处理方法、装置、设备及存储介质,以解决当前光学字符识别得到的文本块不便于归纳和分析的问题。
为解决上述技术问题,本申请实施例提供如下技术方案:
本申请第一方面提供一种文档处理方法,包括:
将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息;
根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块;
根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。
在本申请第一方面的一些变更实施方式中,所述根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,可以包括:遍历所述多个文本块,根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,并将处于同一行的所述文本块进行拼接。
在本申请第一方面的一些变更实施方式中,所述根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,可以包括:判断相邻的所述文本块之间的纵坐标差是否小于预设差值阈值,若小于预设差值阈值,则确定相邻的所述文本块处于同一行;或者,判断相邻的所述文本块之间的纵坐标比值是否小于预设比值阈值,若小于预设比值阈值,则确定相邻的所述文本块处于同一行。
在本申请第一方面的一些变更实施方式中,所述纵坐标差可以包括顶点坐标之差、底点坐标之差和中心纵坐标之差中的至少一项。
在本申请第一方面的一些变更实施方式中,若所述纸质文档的段落特征包括首行缩进,所述选取所述整行文本块组成文本段,可以包括:
遍历每个所述整行文本块,根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块;
选取段首文本块与其后相邻的段中文本块组成文本段。
在本申请第一方面的一些变更实施方式中,在根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块之前,还可以包括:
选取正文部分的多个整行文本块;
根据选取的多个整行文本块的起始位置的横坐标的平均值,确定横坐标阈值。
在本申请第一方面的一些变更实施方式中,所述纸质文档是包括格式化用语的格式文书,所述方法还可以包括:
通过关键字匹配或正则表达式匹配,从所述整行文本块中确定出包含所述格式化用语的格式化文本块;
所述根据所述纸质文档的段落特征,选取所述整行文本块组成文本段,可以包括:
根据所述纸质文档的段落特征,从去除所述格式化文本块后剩余的整行文本块中,选取所述整行文本块组成文本段。
在本申请第一方面的一些变更实施方式中,所述方法还可以包括:
根据所述文本段组合得到与所述纸质文档对应的电子文档。
本申请第二方面提供一种文档处理装置,包括:
光学字符识别模块,用于将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息;
文本块拼接模块,用于根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块;
段落组成模块,用于根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。
在本申请第二方面的一些变更实施方式中,所述文本块拼接模块,包括:
同行拼接单元,用于遍历所述多个文本块,根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,并将处于同一行的所述文本块进行拼接。
在本申请第二方面的一些变更实施方式中,所述同行拼接单元,包括:
纵坐标差判断子单元,用于判断相邻的所述文本块之间的纵坐标差是否小于预设差值阈值,若小于预设差值阈值,则确定相邻的所述文本块处于同一行;或者,
纵坐标比值判断子单元,用于判断相邻的所述文本块之间的纵坐标比值是否小于预设比值阈值,若小于预设比值阈值,则确定相邻的所述文本块处于同一行。
在本申请第二方面的一些变更实施方式中,所述纵坐标差包括顶点坐标之差、底点坐标之差和中心纵坐标之差中的至少一项。
在本申请第二方面的一些变更实施方式中,若所述纸质文档的段落特征包括首行缩进,所述段落组成模块,包括:
段中段首确定单元,用于遍历每个所述整行文本块,根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块;
段中段首组合单元,用于选取段首文本块与其后相邻的段中文本块组成文本段。
在本申请第二方面的一些变更实施方式中,所述段落组成模块,还包括:
整行文本块选取单元,用于选取正文部分的多个整行文本块;
横坐标阈值确定单元,用于根据选取的多个整行文本块的起始位置的横坐标的平均值,确定横坐标阈值。
在本申请第二方面的一些变更实施方式中,所述纸质文档是包括格式化用语的格式文书,所述装置还包括:
格式化文本块确定模块,用于通过关键字匹配或正则表达式匹配,从所述整行文本块中确定出包含所述格式化用语的格式化文本块;
所述段落组成模块,包括:
去除格式化文本块组成单元,用于根据所述纸质文档的段落特征,从去除所述格式化文本块后剩余的整行文本块中,选取所述整行文本块组成文本段。
在本申请第二方面的一些变更实施方式中,所述装置还包括:
电子文档组合模块,用于根据所述文本段组合得到与所述纸质文档对应的电子文档。
本申请第三方面提供一种设备,包括:至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行上述第一方面提供的文档处理方法。
本申请第四方面提供一种存储介质,其上存储有程序,该程序被处理器执行时实现上述第一方面提供的文档处理方法。
借由上述技术方案,本申请提供的技术方案至少具有下列优点:
本申请提供一种文档处理方法、装置、设备及存储介质,首先将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息,然后根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块,再根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。相较于现有技术,本申请方案巧妙地利用文本块对应的坐标信息实现了整行文本块的自动拼接,然后再将整行文本块根据纸质文档的段落特征组合得到文本段,从而实现从识别得到的文本块中提取文本段的目的,由于文本段相较于离散的文本块更加便于归纳和分析,因此,能够解决传统的光学字符识别得到的离散的文本块不便于进行归纳和分析的问题,有助于纸质文档数字化、信息化处理的实现。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,相同或对应的标号表示相同或对应的部分,其中:
图1示意性地示出了本申请的一些实施方式所提供的一种文档处理方法的流程图;
图2示意性地示出了本申请的一些实施方式所提供的一种光学字符识别信息的示意图;
图3示意性地示出了本申请的一些实施方式所提供的一种文档处理装置的示意图;
图4示意性地示出了本申请的一些实施方式所提供的一种设备的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种文档处理方法、装置、设备及存储介质,下面结合附图进行示例性说明。
请参考图1,其示意性地示出了本申请的一些实施方式所提供的文档处理方法的流程图,如图1所示,一种文档处理方法,可以包括以下步骤:
步骤S101:将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息。
其中,上述待处理图像可以通过扫描、拍照等方式对纸质文档采集获得,上述纸质文档可以是任意以纸张为媒体记载文字信息的文档,包括但不限于格式文书,其中,格式文书是指具有特定格式的文书,例如起诉书、上诉状、公函、举报信、行政复议申请文件等,本申请不做限定。
在采集到待处理图像后,即可调用OCR接口或OCR引擎对待处理图像进行光学字符识别,从而得到多个文本块和每个所述文本块对应的坐标信息。
请参考图2,其示意性地示出了本申请的一些实施方式所提供的一种光学字符识别信息的示意图,如图所示,对于格式文书“民事上诉书”对应的待处理图像进行光学字符识别时,位于同一行的上诉人信息被识别为多个文本块,另外,附图2中节选的光学字符识别结果还包括每个文本块的坐标信息,如图,LeftTop表示文本块左顶点的坐标,RightTop表示文本块右顶点的坐标,LeftBottom表示文本块左底点的坐标,RightBottom表示文本块右底点的坐标,上述坐标信息标注出了文本块在待处理图像中的位置。
步骤S102:根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块。
容易理解的是,为了便于阅读,文档中行与行之间会设置行间距,因此,同一行的多个文本块的纵坐标(顶点坐标和/或底点坐标)应当是相同的或者相近的,不同行的文本块的纵坐标会存在较大的差别,因此,可以根据每个文本块的坐标信息,对各个文本块进行分行,然后将处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块。
较为具体的,在一些实施方式中,上述根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,可以包括:
遍历所述多个文本块,根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,并将处于同一行的所述文本块进行拼接。
实际应用中,在光学字符识别后,OCR接口或引擎返回的是文本块列表,该文本块列表中逐个列明各个文本块中所包含的文本内容、各个文本块的坐标信息、是否手写内容等信息,因此,通过遍历该文本块列表中的各个文本块的信息,即可根据其中记载的文本块的纵坐标判断相邻的文本块是否处于同一行,并将处于同一行的所述文本块进行拼接。由于纵坐标能够明显地表征出同行或非同行的文本块的位置关系,因此,通过本实施方式,能够较为准确地识别出同行的文本块并进行拼接,有助于提高整体文档处理的精准度。
其中,根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,有多种实施方式,例如,可以通过比较文本块纵坐标的差值来判断相邻的文本块是否处于同一行,也可以通过比较文本块纵坐标的比值来判断相邻的文本块是否处于同一行,或者采用其他的数学逻辑来判断,其均可以实现本申请实施例的目的。
在一些示例中,上述根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,可以包括:
判断相邻的所述文本块之间的纵坐标差是否小于预设差值阈值;
若是,则确定相邻的所述文本块处于同一行;
若否,则确定相邻的所述文本块未处于同一行。
其中,上述纵坐标差可以是顶点坐标之差,也可以是底点坐标之差,还可以是中心纵坐标之差(中心纵坐标为顶点坐标与底点坐标的平均值),本申请实施例不做限定。由于差计算较为简单、快速,因此,通过上述实施方式,可以方便、快速、准确地判断相邻的文本块是否处于同一行,有助于提高整体文档处理的精准度。
需要说明的是,上述纵坐标差还可以包括顶点坐标之差、底点坐标之差和中心纵坐标之差中的多项,当采用多项时,一种判断方式是,任意一项小于该项对应的预设差值阈值,即判断相邻的文本块处于同一行,否则判断相邻的文本块未处于同一行;另一种判断方式是,只有采用的多项均小于各项对应的预设差值阈值,才判断相邻的文本块处于同一行,否则判断相邻的文本块未处于同一行;此外,本领域技术人员还可以根据实际需求设置其他的判断方式来实现本申请实施例的目的。
容易理解的是,当采用多项进行判断时,参与比较的纵坐标差更加全面,能够更加精准地判断相邻的文本块是否处于同一行,例如,对于同一行中字体大小不同的情况,如果只是根据顶点坐标之差来判断,则会将字体大小不同的文本块误判为不同行;而若采用多项,且任意一项小于该项对应的预设差值阈值,即判断相邻的文本块处于同一行,否则判断相邻的文本块未处于同一行,则即使同一行存在字体大小不同的文本块,也可以准确地判断其属于同一行,避免误判,从而提高同行文本块判断的精准度。
在上述示例中,上述预设差值阈值可以根据纸质文档的行间距、字体大小等灵活设置,本申请实施例不做具体限定。
在另一些示例中,上述根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,可以包括:
判断相邻的所述文本块之间的纵坐标比值是否小于预设比值阈值;
若是,则确定相邻的所述文本块处于同一行;
若否,则确定相邻的所述文本块未处于同一行。
其中,上述纵坐标比值还可以包括顶点坐标之比值、底点坐标之比值和中心纵坐标之比值中的至少一项,其具体实施方式可以参照上述基于纵坐标差的实施方式,此处不再赘述。
本实施方式,由于是根据纵坐标比值来判断相邻的文本块是否处于同一行,因此,不受文档字体大小、行间距大小的影响,无需用户针对不同的纸质文档分别设置不同的预设差值阈值,只需要统一设置预设比值阈值即可适用于各种字体大小、行间距大小的文档,适用性更强。
另外,在对处于同一行中的所述文本块进行拼接时,可以按照向左拼接的方式,由左至右依次将相邻的文本块进行拼接,其中,最左边的文本块的位置不变,右侧的文本块均向左拼接,从而得到整行文本块,其中,拼接完成后,还需要更新整行文本块的坐标信息,以便于后续根据整行文本块的起始位置的横坐标(例如左顶点坐标)区分其为段首文本块或段中文本块。
步骤S103:根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。
其中,上述段落特征可以包括首行缩进、悬挂缩进、左对齐、两侧对齐等,在具体实施时,可以根据上述段落特征,结合各个整行文本块的坐标信息,判断每个整行文本块为段中文本块、段首文本块或者段尾文本块,以进一步将各个整行文本块进行拼接形成文本段。
在一些示例中,若所述纸质文档的段落特征包括首行缩进,所述选取所述整行文本块组成文本段,可以包括:
遍历每个所述整行文本块,根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块;
选取段首文本块与其后相邻的段中文本块组成文本段。
其中,上述整行文本块起始位置的横坐标可以是指该整行文本块的左顶点坐标,对于首行缩进的段落,段首行相对于段中行(包括段尾行,此种情况可以将段中行与段尾行统称段中行),其起始位置的横坐标(即左顶点坐标)是较大的,一般为2个字符大小,因此,可以根据该起始位置的横坐标是否小于横坐标阈值确定整行文本块是段中文本块或段首文本块,例如,对于首行缩进2字符的段落,设横坐标阈值为2个字符大小,那么,依次判断各个整行文本块起始位置的横坐标,若小于2个字符,说明其是段中行,即段中文本块,若大于或等于2个字符,说明其是段首行,即段首文本块。需要说明的是,上述横坐标阈值可以根据实际需求灵活设置,本申请实施例并不限定其具体取值。
容易理解的是,同一个段落中,段中文本块在段首文本块之后出现,因此,相邻的两个段首文本块之间的段中文本块,可以与两个段首文本块中在前的一个组合形成一个文本段,因此,可选取段首文本块与其后相邻的段中文本块组成文本段。
通过本实施方式,可以针对首行缩进的文档,准确地区分段首文本块和段中文本块,并根据识别结果组合形成文本段,从而实现文本段的识别和提取,具有较高的精准度,且判断方式简单,可提高整体的处理速度。
需要说明的是,并非所有的文档都会采用2字符首行缩进,实际应用中还会遇到1字符首行缩进、4字符首行缩进等不同缩进程度的情况,因此,在上述实施方式的基础上,在一些变更实施方式中,在根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块之前,还可以包括:
选取正文部分的多个整行文本块;
根据选取的多个整行文本块的起始位置的横坐标的平均值,确定横坐标阈值。
其中,上述整行文本块的选取规则,应当能够确保选取的整行文本块包括段中文本块和段首文本块,这样计算得到的上述平均值,会小于段落的缩进值,若将该平均值作为横坐标阈值,那么,可以根据各个整行文本块的起始位置的横坐标是否小于该横坐标阈值确定整行文本块是段中文本块或段首文本块,若小于该横坐标阈值,说明其是段中行,即段中文本块,若大于或等于该横坐标阈值,说明其是段首行,即段首文本块。
本实施方式,不受具体缩进值的影响,基于本实施方式,无需人工针对不同的纸质文档分别设置不同的横坐标阈值,即可自动计算得到合适的横坐标阈值,适用于各种缩进值的文档,具有较高的适用性。
另外,上述正文部分,可以是指去除文档标题、文档卷尾署名、日期以及格式化用语之外的部分,上述文档标题、文档卷尾署名、日期以及格式化用语等可以采用正则表达式或关键字匹配的方式识别确定并去除,本申请实施例并不限定其具体实施方式。
在本申请实施例的一些变更实施方式中,上述纸质文档可以是包括格式化用语的格式文书,所述方法还可以包括:
通过关键字匹配或正则表达式匹配,从所述整行文本块中确定出包含所述格式化用语的格式化文本块。
容易理解的是,对于格式文书,其中会有格式化用语,例如:上诉状、诉讼状中的上诉请求、上诉理由、诉讼请求、请求事项、申请事项、事实理由等,这些格式化用语一般是单独成行、单独成段的,因此,无需采用前述判断段首文本块和段中文本块再结合的方式确定其对应的文本段,可以直接通过关键字匹配或正则表达式匹配或正则表达式匹配的方式,确定出包含上述格式化用语的格式化文本块,并将该格式化文本块确定为独立的文本段。
在上述实施方式的基础上,在一些变更实施方式中,上述根据所述纸质文档的段落特征,选取所述整行文本块组成文本段,可以包括:
根据所述纸质文档的段落特征,从去除所述格式化文本块后剩余的整行文本块中,选取所述整行文本块组成文本段。
通过本实施方式,可以首先识别出格式化文本块,然后忽略格式化文本块后,从剩余的整行文本块中选取组成文本段。由于格式化文本块无需与其他整行文本块组段,因此,通过本实施方式,可以避免对上述格式化文本块的重复处理,从而整体上提高处理效率。
此外,在前述实施方式的基础上,在选取正文部分的多个整行文本块时,可以先忽略上述格式化文本块,从剩余的整行文本块中选取,以避免上述格式化文本块对横坐标阈值的确定产生不良影响。
另外,在前述任意实施方式的基础上,在一些变更实施方式中,上述方法还可以包括:
根据所述文本段组合得到与所述纸质文档对应的电子文档。
其中,文本段之间进行组合时,可以在文本段之间添加换行符\r\n后至进行拼接,从而确保组合得到的电子文档与原纸质文档相一致。
容易理解的是,本申请前述实施方式所组合得到的文本段,并不限于生成电子文档,还可以直接提取组合得到的文本段输入数据库、表格或其他数据存储容器,以便进行数据存档和数据分析。
此外,在前述任意实施方式的基础上,在一些变更实施方式中,上述方法还可以包括:利用正则表达式过滤掉页码信息。由于在生成电子文档时,页码信息属于无效信息,因此,可以将其过滤掉,避免其对影响电子文档的组成效果。
本申请实施例提供的上述至少一种文档处理方法,首先将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息,然后根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块,再根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。相较于现有技术,本申请方案巧妙地利用文本块对应的坐标信息实现了整行文本块的自动拼接,然后再将整行文本块根据纸质文档的段落特征组合得到文本段,从而实现从识别得到的文本块中提取文本段的目的,由于文本段相较于离散的文本块更加便于归纳和分析,因此,能够解决传统的光学字符识别得到的离散的文本块不便于进行归纳和分析的问题,有助于纸质文档数字化、信息化处理的实现。
为了便于理解,下面结合具体实施方式进一步进行说明,其中,下述示例性说明可以参照前述任意实施例的说明进行理解,部分内容不再赘述。
需要说明的是,在下述示例性说明中,虽然部分用词发生了变化,但这并不影响其含义的表达,下述说明中会对部分用词与前述实施例说明中的用词进行对应性说明,该对应性说明所表达的对应关系既可以包括等同关系、也可以包括上下位关系,本领域技术人员可以结合实际情况进行理解。
在一些具体的实施例中,将本申请前述任意实施方式提供的文档处理方法应用于起诉书、上诉书等诉讼文档的数字化处理,具体可以包括以下步骤:
S201、利用OCR接口获得格式文书(例如起诉书、上诉书)识别后的坐标信息:
OCR接口返回文本块列表,通常情况下文档的每一行是一块,如果行中出现空格会按空格分一块。OCR接口会返回文本块四角的坐标信息,以及当前文字是否是手写IsHandwritten等信息,可参考图2进行理解。
S202、合并同行文本块:
正常的两行数据,纵坐标差都在150(示例值)左右,同行的文本块,其纵坐标也会有细微的差别,因此,可以设置较小的预设差值阈值,例如,设置highThresholdValue=50(可根据实际需求灵活设置),遍历每一个文本块,判断相邻两个文本块的纵坐标差如果小于highThresholdValue(即预设差值阈值),则表示是同一行的,将该相邻的文本块内容合并到一起,并过滤掉手写IsHandwritten=true的文字,得到整行文本块后,更新整行文本块的四角坐标(即坐标信息)。
S203、利用正则表达式过滤掉页码:
一篇文书有多页,扫码之后的OCR结果里最下面有页码,将其过滤掉。
S204、确定特殊行(即格式化文本块):
根据起诉书和上诉状的格式规范,确定一些特殊的行,这些行一定是单独的文本段:
1、标题:这一行包含起诉书、起诉状、上诉书或上诉状等文字,可以采用关键字匹配或正则表达式匹配的方式确定。
2、以上诉请求、上诉理由、诉讼请求、请求事项、申请事项、事实理由开头的行,可以采用关键字匹配或正则表达式匹配的方式确定。
3、此致、此至之后的每一行都是单独的一段,之后是法院、上诉人、和日期,可以采用关键字匹配或正则表达式匹配的方式确定。
S205、根据首行缩进的特征确定横坐标阈值:
中文文书会设置首行缩进,所以段首的横坐标(起始位置的横坐标)会大很多(例如2个字符的距离),取除了标题和此致之后的内容的所有行的横坐标,去掉2个最大的,去掉两个最小的取平均数,将该平均数确定为横坐标阈值。
S206、文本段组装:
遍历标题和此致中间的每行拼接文本内容(即整行文本块),如果起始位置的横坐标大于横坐标阈值或者是S204确定的特殊行,则该整行文本块是段首文本块,需要在内容前加上换行符\r\n再拼接内容。如果起始位置的横坐标小于横坐标阈值,则表示是段落的中间部分(即段中文本块),直接拼接即可。
S207、电子文档组合:
把S206得到的文本端之前拼接上标题,之后拼接上此致及后面的内容,即为一篇完整的诉讼文件的电子文档。
在上述的实施例中,提供了一种文档处理方法,与之相对应的,本申请还提供一种文档处理装置。本申请实施例提供的文档处理装置可以实施上述信息处理方法,该信息处理装置可以通过软件、硬件或软硬结合的方式来实现。例如,该信息处理装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图3,其示意性地示出了本申请的一些实施方式所提供的一种文档处理装置的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图3所示,所述文档处理装置10,可以包括:
光学字符识别模块101,用于将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息;
文本块拼接模块102,用于根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块;
段落组成模块103,用于根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。
在本申请实施例的一些变更实施方式中,所述文本块拼接模块102,包括:
同行拼接单元,用于遍历所述多个文本块,根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,并将处于同一行的所述文本块进行拼接。
在本申请实施例的一些变更实施方式中,所述同行拼接单元,包括:
纵坐标差判断子单元,用于判断相邻的所述文本块之间的纵坐标差是否小于预设差值阈值,若小于预设差值阈值,则确定相邻的所述文本块处于同一行;或者,
纵坐标比值判断子单元,用于判断相邻的所述文本块之间的纵坐标比值是否小于预设比值阈值,若小于预设比值阈值,则确定相邻的所述文本块处于同一行。
在本申请实施例的一些变更实施方式中,所述纵坐标差包括顶点坐标之差、底点坐标之差和中心纵坐标之差中的至少一项。
在本申请实施例的一些变更实施方式中,若所述纸质文档的段落特征包括首行缩进,所述段落组成模块103,包括:
段中段首确定单元,用于遍历每个所述整行文本块,根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块;
段中段首组合单元,用于选取段首文本块与其后相邻的段中文本块组成文本段。
在本申请实施例的一些变更实施方式中,所述段落组成模块103,还包括:
整行文本块选取单元,用于选取正文部分的多个整行文本块;
横坐标阈值确定单元,用于根据选取的多个整行文本块的起始位置的横坐标的平均值,确定横坐标阈值。
在本申请实施例的一些变更实施方式中,所述纸质文档是包括格式化用语的格式文书,所述装置10还包括:
格式化文本块确定模块,用于通过关键字匹配或正则表达式匹配,从所述整行文本块中确定出包含所述格式化用语的格式化文本块;
所述段落组成模块103,包括:
去除格式化文本块组成单元,用于根据所述纸质文档的段落特征,从去除所述格式化文本块后剩余的整行文本块中,选取所述整行文本块组成文本段。
在本申请实施例的一些变更实施方式中,所述装置10还包括:
电子文档组合模块,用于根据所述文本段组合得到与所述纸质文档对应的电子文档。
本申请实施例提供的文档处理装置10,与本申请前述实施例提供的文档处理方法出于相同的发明构思,具有相同的有益效果,此处不再赘述。
需要说明的是,在一些实现方式中,上述文档处理装置10包括处理器和存储器,上述光学字符识别模块、文本块拼接模块、段落组成模块、同行拼接单元、纵坐标差判断子单元、同行判断子单元、段中段首确定单元、段中段首组合单元、整行文本块选取单元、横坐标阈值确定单元、格式化文本块确定模块、去除格式化文本块组成单元和电子文档组合模块等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来利用文本块对应的坐标信息实现整行文本块的自动拼接,以及将整行文本块根据纸质文档的段落特征组合得到文本段,从而实现从识别得到的文本块中提取文本段的目的。
本申请实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现上述任意实施方式提供的文档处理方法。
本申请实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任意实施方式提供的文档处理方法。
本申请实施例提供了一种设备20,如图4所示,设备包括至少一个处理器201、以及与处理器201连接的至少一个存储器202、总线203;其中,处理器201、存储器202通过总线203完成相互间的通信;处理器201用于调用存储器202中的程序指令,以执行上述任意实施方式提供的文档处理方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
一种文档处理方法,包括:将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息;根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块;根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。
进一步的,所述根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,可以包括:遍历所述多个文本块,根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,并将处于同一行的所述文本块进行拼接。
进一步的,所述根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,可以包括:判断相邻的所述文本块之间的纵坐标差是否小于预设差值阈值,若小于预设差值阈值,则确定相邻的所述文本块处于同一行;或者,判断相邻的所述文本块之间的纵坐标比值是否小于预设比值阈值,若小于预设比值阈值,则确定相邻的所述文本块处于同一行。
进一步的,所述纵坐标差可以包括顶点坐标之差、底点坐标之差和中心纵坐标之差中的至少一项。
进一步的,若所述纸质文档的段落特征包括首行缩进,所述选取所述整行文本块组成文本段,可以包括:
遍历每个所述整行文本块,根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块;
选取段首文本块与其后相邻的段中文本块组成文本段。
进一步的,在根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块之前,还可以包括:
选取正文部分的多个整行文本块;
根据选取的多个整行文本块的起始位置的横坐标的平均值,确定横坐标阈值。
进一步的,所述纸质文档是包括格式化用语的格式文书,所述方法还可以包括:通过关键字匹配或正则表达式匹配,从所述整行文本块中确定出包含所述格式化用语的格式化文本块;
所述根据所述纸质文档的段落特征,选取所述整行文本块组成文本段,可以包括:根据所述纸质文档的段落特征,从去除所述格式化文本块后剩余的整行文本块中,选取所述整行文本块组成文本段。
进一步的,所述方法还可以包括:
根据所述文本段组合得到与所述纸质文档对应的电子文档。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种文档处理方法,其特征在于,包括:
将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息;
根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块;
根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。
2.根据权利要求1所述的方法,其特征在于,所述根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,包括:
遍历所述多个文本块,根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,并将处于同一行的所述文本块进行拼接。
3.根据权利要求2所述的方法,其特征在于,所述根据所述文本块的纵坐标判断相邻的所述文本块是否处于同一行,包括:
判断相邻的所述文本块之间的纵坐标差是否小于预设差值阈值,若小于预设差值阈值,则确定相邻的所述文本块处于同一行;或者,
判断相邻的所述文本块之间的纵坐标比值是否小于预设比值阈值,若小于预设比值阈值,则确定相邻的所述文本块处于同一行。
4.根据权利要求1所述的方法,其特征在于,若所述纸质文档的段落特征包括首行缩进,所述选取所述整行文本块组成文本段,包括:
遍历每个所述整行文本块,根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块;
选取段首文本块与其后相邻的段中文本块组成文本段。
5.根据权利要求4所述的方法,其特征在于,在根据所述整行文本块起始位置的横坐标是否小于横坐标阈值确定所述整行文本块是段中文本块或段首文本块之前,还包括:
选取正文部分的多个整行文本块;
根据选取的多个整行文本块的起始位置的横坐标的平均值,确定横坐标阈值。
6.根据权利要求1所述的方法,其特征在于,所述纸质文档是包括格式化用语的格式文书,所述方法还包括:
通过关键字匹配或正则表达式匹配,从所述整行文本块中确定出包含所述格式化用语的格式化文本块;
所述根据所述纸质文档的段落特征,选取所述整行文本块组成文本段,包括:
根据所述纸质文档的段落特征,从去除所述格式化文本块后剩余的整行文本块中,选取所述整行文本块组成文本段。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述文本段组合得到与所述纸质文档对应的电子文档。
8.一种文档处理装置,其特征在于,包括:
光学字符识别模块,用于将针对纸质文档采集的待处理图像进行光学字符识别,得到多个文本块和每个所述文本块对应的坐标信息;
文本块拼接模块,用于根据每个所述文本块对应的坐标信息,对处于同一行中的所述文本块进行拼接,得到按行区分的整行文本块;
段落组成模块,用于根据所述纸质文档的段落特征,选取所述整行文本块组成文本段。
9.一种设备,包括:至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行如权利要求1至7任一项所述的方法。
10.一种存储介质,其特征在于,其上存储有程序,该程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011545186.0A CN114743203A (zh) | 2020-12-24 | 2020-12-24 | 文档处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011545186.0A CN114743203A (zh) | 2020-12-24 | 2020-12-24 | 文档处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114743203A true CN114743203A (zh) | 2022-07-12 |
Family
ID=82274093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011545186.0A Pending CN114743203A (zh) | 2020-12-24 | 2020-12-24 | 文档处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114743203A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117037194A (zh) * | 2023-05-10 | 2023-11-10 | 广州方舟信息科技有限公司 | 单据图像的表格识别方法、装置、电子设备及存储介质 |
CN118366012A (zh) * | 2024-06-17 | 2024-07-19 | 暗物智能科技(广州)有限公司 | 一种视频中文字识别方法、装置、电子设备和存储介质 |
-
2020
- 2020-12-24 CN CN202011545186.0A patent/CN114743203A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117037194A (zh) * | 2023-05-10 | 2023-11-10 | 广州方舟信息科技有限公司 | 单据图像的表格识别方法、装置、电子设备及存储介质 |
CN118366012A (zh) * | 2024-06-17 | 2024-07-19 | 暗物智能科技(广州)有限公司 | 一种视频中文字识别方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020192391A1 (zh) | 基于ocr的图像转档方法、装置、设备及可读存储介质 | |
US9922247B2 (en) | Comparing documents using a trusted source | |
US8542926B2 (en) | Script-agnostic text reflow for document images | |
US8838657B1 (en) | Document fingerprints using block encoding of text | |
CN105930159A (zh) | 一种基于图像的界面代码生成的方法及系统 | |
KR20160147374A (ko) | 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법 | |
CN112329548A (zh) | 一种文档章节分割方法、装置及存储介质 | |
CN114743203A (zh) | 文档处理方法、装置、设备及存储介质 | |
CN111291572A (zh) | 一种文字排版方法、装置及计算机可读存储介质 | |
WO2019041442A1 (zh) | 图表数据结构化提取方法、系统、电子设备及计算机可读存储介质 | |
US20110075932A1 (en) | Image processing method and image processing apparatus for extracting heading region from image of document | |
US20100287187A1 (en) | Method for query based on layout information | |
US20220301285A1 (en) | Processing picture-text data | |
CN103559512B (zh) | 一种文字识别输出方法及系统 | |
CN115828874A (zh) | 基于图像识别技术的行业表格数字化处理方法 | |
CN111967545A (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
CN112651217A (zh) | 论文文档的处理方法、处理装置、电子设备及存储介质 | |
US9323726B1 (en) | Optimizing a glyph-based file | |
CN113807158A (zh) | 一种pdf内容提取方法、装置及设备 | |
CN115331247A (zh) | 文档结构识别方法、装置、电子设备及可读存储介质 | |
CN105488471A (zh) | 一种字形识别方法及装置 | |
US9049400B2 (en) | Image processing apparatus, and image processing method and program | |
CN112445926A (zh) | 一种图像检索方法以及装置 | |
CN117725886A (zh) | 一种版式文件检查方法及装置 | |
CN113343658A (zh) | 一种pdf文件信息抽取方法、装置以及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |