CN113822283A - 文本内容处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请是关于一种文本内容处理方法、装置、计算机设备及存储介质，属于人工智能技术领域。该方法包括：获取目标文本对象中的各个字块，字块是所述目标文本对象中包含连续的文字内容的区域；获取各个字块各自的第一特征，第一特征包含对应字块的图像特征、位置特征以及语义特征；基于各个字块各自的第一特征获取特征矩阵；基于特征矩阵，获取各个字块的邻接矩阵，邻接矩阵用于指示各个字块之间的先后顺序；基于邻接矩阵对各个字块各自对应的文字内容进行排序组合，获得目标文本对象的文本处理结果。基于多模态下的全局考量对文本内容进行处理，进而提高了文本语序还原的准确性。

Description

文本内容处理方法、装置、计算机设备及存储介质

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种文本内容处理方法、装置、计算机设备及存储介质。

背景技术

如今，随着人工智能的日益发展，人工智能技术在生活中的应用越来越广泛，其中包括将图像中提取到的文本语序进行还原处理。

在相关技术中，通过识别图像中存在的文本对应的文本框，确定各个文本框的坐标，将各个文本框进行聚类分析，首先可以根据文本框的y坐标进行聚类，确定属于同一行的文本框，然后再将同行内的文本框按照x坐标进行排序，从而输出文本框的先后顺序。

然而，上述进行文本语序还原处理的方法中，仅通过各个文本块对应的文本框的坐标位置，来确定文本块的先后顺序，因此在文本布局不是完全规整的情况下，无法准确的确定文本块之间的先后顺序，从而影响了文本语序还原的准确性。

发明内容

本申请实施例提供了一种文本内容处理方法、装置、计算机设备及存储介质，该技术方案如下：

一方面，提供了一种文本内容处理方法，所述方法包括：

获取目标文本对象中的各个字块，所述字块是所述目标文本对象中包含连续的文字内容的区域；

获取所述各个字块各自的第一特征，所述第一特征包含对应字块的图像特征、位置特征以及语义特征；

基于所述各个字块各自的所述第一特征获取特征矩阵；所述特征矩阵中包含所述各个字块中每两个字块的所述第一特征融合后得到的第二特征；

基于所述特征矩阵，获取所述各个字块的邻接矩阵，所述邻接矩阵用于指示所述各个字块之间的先后顺序；

基于所述邻接矩阵对所述各个字块各自对应的文字内容进行排序组合，获得所述目标文本对象的文本处理结果。

一方面，提供了一种文本内容处理装置，所述装置包括：

字块获取模块，用于获取目标文本对象中的各个字块，所述字块是所述目标文本对象中包含连续的文字内容的区域；

第一特征获取模块，用于获取所述各个字块各自的第一特征，所述第一特征包含对应字块的图像特征、位置特征以及语义特征；

矩阵获取模块，用于基于所述各个字块各自的所述第一特征获取特征矩阵；所述特征矩阵中包含所述各个字块中每两个字块的所述第一特征融合后得到的第二特征；

邻接矩阵获取模块，用于基于所述特征矩阵，获取所述各个字块的邻接矩阵，所述邻接矩阵用于指示所述各个字块之间的先后顺序；

结果获取模块，用于基于所述邻接矩阵对所述各个字块各自对应的文字内容进行排序组合，获得所述目标文本对象的文本处理结果。

在一种可能的实现方式中，所述第一特征获取模块，包括：

拼接特征获取子模块，用于获取所述各个字块各自的拼接特征，所述拼接特征包含对应字块的所述图像特征、所述位置特征以及所述语义特征拼接得到的特征；

第一特征获取子模块，用于基于所述各个字块各自的拼接特征，获取所述各个字块各自的所述第一特征。

在一种可能的实现方式中，所述第一特征获取子模块，包括：

相似度获取单元，用于获取所述各个字块中每两个字块对应的拼接特征之间的相似度；

图构建单元，用于基于所述各个字块各自的所述拼接特征，以及每两个字块对应的拼接特征之间的相似度构建图数据；

邻近特征获取单元，用于基于所述图数据，对所述各个字块的所述拼接特征进行邻近融合，获得所述各个字块各自对应邻近融合特征；

第一特征获取单元，用于基于所述各个字块各自对应邻近融合特征，获取所述各个字块各自的所述第一特征。

在一种可能的实现方式中，所述邻近特征获取单元，用于，

基于所述图数据，获取目标字块的K个相邻字块；所述相邻字块是对应的拼接特征与所述目标字块的拼接特征之间的相似度满足相邻条件的K个字块；所述目标字块是所述各个字块中的任意一个；所述K是正整数；

将所述目标字块的所述拼接特征，与K个所述相邻字块的所述拼接特征进行融合，获得所述目标字块的所述邻近融合特征。

在一种可能的实现方式中，所述第一特征获取单元，用于，

通过全连接网络对所述各个字块各自对应邻近融合特征进行特征聚合，获得所述各个字块各自的所述第一特征。

在一种可能的实现方式中，所述结果获取模块，包括：

序列获取子模块，用于通过遍历所述邻接矩阵，获取目标序列；所述目标序列中包括所述各个字块的排列顺序；

结果获取子模块，用于基于所述各个字块的排列顺序，对各个字块对应的文字内容进行排列组合，获得所述目标文本对象的所述文本处理结果。

在一种可能的实现方式中，所述邻接矩阵获取模块，包括：

获取子模块，用于将所述特征矩阵输入分类网络，获取所述各个字块的所述邻接矩阵。

另一方面，本申请实施例提供了一种计算机设备，计算机设备包括处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的文本内容处理方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的文本内容处理方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述方面的各种可选实现方式中提供的文本内容处理方法。

本申请提供的技术方案可以包括以下有益效果：

在本申请实施例所示的方案中，基于提取到的各个字块分别对应的多模态的特征，得到各个字块对应的第一特征，通过将各个字块中每两个字块进行第一特征的融合生成第二特征，并且构成包含各个第二特征的特征矩阵，然后基于该特征矩阵确定用于指示字块之间先后顺序的邻接矩阵，从而对先后顺序的确定进行了全局考量，避免了当目标文本对象中的字块分布不规整的情况下，出现的存在一个字块与多个字块可能存在先后顺序，而无法判断实际位于该字块前方或者后方的问题，可以基于多模态下的全局考量对文本内容进行处理，进而提高了文本语序还原的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种文本内容处理方法的流程图；

图2是根据一示例性实施例实施例示出的一种模型训练及结果预测框架图；

图3是根据一示例性实施例示出的一种文本内容处理方法的流程图；

图4是图3所示实施例涉及的一种特征拼接过程框架图；

图5是图3所示实施例涉及的一种进行特征融合过程的框架图；

图6是根据一示例性实施例示出的一种医学病历的文字内容处理示意图；

图7是图6所示实施例涉及的一种目标医学病历示意图；

图8是根据一示例性实施例示出的一种文本内容处理装置的框图；

图9是根据一示例性实施例示出的计算机设备的结构框图；

图10是根据一示例性实施例示出的计算机设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例提供了一种文本内容处理方法，可以提高文字内容排序的准确性。

图1是根据一示例性实施例示出的一种文本内容处理方法的流程图。该文本内容处理方法可以由计算机设备执行。比如，该计算机设备可以包括终端或者服务器中的至少一种。如图1所示，该文本内容处理方法包括的步骤如下：

步骤101，获取目标文本对象中的各个字块，字块是目标文本对象中包含连续的文字内容的区域。

在本申请实施例中，从目标文本对象中获取各个字块。

其中，目标文本对象可以是包括至少两个字块的图像或者是文本内容。字块可以是目标文本对象中包含连续的文字内容的区域。

示例性的，目标文本对象可以是病历文本进行扫描后在电脑中生成的病历文本图像，也可以是包含至少两个字块的图片内容，也可以是包含至少两个字块的网页，还可以是某一文档的页面。

在一种可能的实现方式中，响应于目标文本对象是文本文档，直接获取其中的各个字块，或者将文本文档转为图像格式，提取其中的各个字块。响应于目标文本对象是图像对象，对图像进行文本检测，提取其中的各个字块。

步骤102，获取各个字块各自的第一特征，第一特征包含对应字块的图像特征、位置特征以及语义特征。

在本申请实施例中，响应于获取到各个字块，对各个字块进行特征提取，获取各个字块对应的图像特征、位置特征以及语义特征，基于获取到的图像特征、位置特征以及语义特征可以生成各个字块各自对应的第一特征。

在一种可能的实现方式中，各个字块各自对应的图像特征包括对字块对应的中心位置进行图像特征提取得到的特征，位置特征包括对字块进行文本检测时生成的包含该字块的文本检测框的顶点位置特征，语义特征包括字块中的文本内容进行文本识别后得到的特征。

其中，对各个字块进行特征提取的过程属于人工智能技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请所示的包含图像采集组件的显示设备主要涉及其中的计算机视觉技术以及机器学习/深度学习等方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

步骤103，基于各个字块各自的第一特征获取特征矩阵；特征矩阵中包含各个字块中每两个字块的第一特征融合后得到的第二特征。

在本申请实施例中，通过对各个字块各自对应的第一特征进行特征融合，可以得到每两个字块的第一特征进行融合后生成的第二特征。

步骤104，基于特征矩阵，获取各个字块的邻接矩阵，邻接矩阵用于指示各个字块之间的先后顺序。

在本申请实施例中，基于特征矩阵中的每两个字块的第一特征融合后得到的第二特征，获取用于指示任意两个字块之间的先后顺序的邻接矩阵。

步骤105，基于邻接矩阵对各个字块各自对应的文字内容进行排序组合，获得目标文本对象的文本处理结果。

在本申请实施例中，基于邻接矩阵中包含的任意两个字块之间的先后排列关系，对各个字块各自对应的文字内容进行排列组合，得到目标文本对象的文本处理结果。

在一种可能的实现方式中，目标文本对象的文本处理结果是按照各个字块进行排列组合后生成的排序后的文字内容。

其中，得到的文本处理结果可以以文本的形式进行输出，也可以是直接展示在目标文本对象上。

综上所述，在本申请实施例所示的方案中，基于提取到的各个字块分别对应的多模态的特征，得到各个字块对应的第一特征，通过将各个字块中每两个字块进行第一特征的融合生成第二特征，并且构成包含各个第二特征的特征矩阵，然后基于该特征矩阵确定用于指示字块之间先后顺序的邻接矩阵，从而对先后顺序的确定进行了全局考量，避免了当目标文本对象中的字块分布不规整的情况下，出现的存在一个字块与多个字块可能存在先后顺序，而无法判断实际位于该字块前方或者后方的问题，可以基于多模态下的全局考量对文本内容进行处理，进而提高了文本语序还原的准确性。

上述实施例可以应用在医疗领域，用于对医学病历图像或者医学病历文本进行字块中的文本还原排序，从而将病历中的各个字块排列成一段完整，符合语序的文本内容进行输出，同时也可以将输出的处理后的文本内容进行展示，从而方便用户进行查阅。

也可以应用在文档版面分析的过程中，可以对获取到的排版复杂的文档进行文本还原排序处理，输出文档中的文字内容进行排序处理后的文本内容，从而方便对文本文档进行分析。

或者，也可以应用在文本信息抽取的过程中，将一目标文本对象进行其中的字块获取，并且对字块中的文字内容进行识别并且排序，可以输出到终端上的其它应用程序中，用于对提取到的排列后的文字内容进行分析。

在本申请上述实施例所示的方案，通过对各个字块进行特征提取，得到各个字块的多模态特征，多模态特征进行拼接生成各个字块各自对应的拼接特征，将各个字块各自对应的拼接特征输入特征融合网络中，通过特征融合网络可以获取各个字块对应的相邻字块，并且将各个相邻字块对应的拼接特征累加到对应的字块的拼接特征上，提取得到各个字块对应的邻近融合特征，然后对各个字块对应的邻近融合特征进行聚合，得到各个字块对应的第一特征，然后对各个字块中每两个字块对应的第一特征进行融合，得到每两个字块对应的第二特征，基于该第二特征生成各个字块对应的特征矩阵，通过该特征矩阵确定各个字块的邻接矩阵，从而指示每两个字块之间的先后顺序，最后对各个字块进行排序得到目标文本对象的文本处理结果，从而提高各个字块之间排序的准确性。在一种示例性的方案中，本申请上述实施例的方案涉及的文本内容处理系统包括模型训练更新阶段以及结果预测阶段。图2是根据一示例性实施例示出的一种模型训练及结果预测框架图。如图2所示，对于模型训练更新阶段，模型训练设备210通过各组样本字块对语序还原模型中包含特征提取网络、特征融合网络以及分类网络进行更新，更新完成的语序还原模型可以上传到云端中或者数据库中，以供使用。在结果预测阶段，预测设备220根据训练好的语序还原模型以及输入的各个字块直接进行各个字块中的文本内容之间的语序还原。

其中，上述模型训练设备210以及预测设备220可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是个人电脑、服务器以及固定式科研设备等固定式计算机设备，或者，该计算机设备也可以是平板电脑、电子书阅读器等移动式计算机设备。本申请实施例对于模型训练设备210的具体类型不做限定。

可选的，上述模型训练设备210和预测设备220可以是同一个设备，或者，模型训练设备210和预测设备220也可以是不同的设备。并且，当模型训练设备210和预测设备220是不同的设备时，模型训练设备210和预测设备220可以是同一类型的设备，比如模型训练设备210和预测设备220可以都是个人电脑；或者，模型训练设备210和预测设备220也可以是不同类型的设备，比如模型训练设备210可以是服务器，而预测设备220可以是固定式医疗设备或者固定式医疗设备等。本申请实施例对于模型训练设备210和预测设备220的具体类型不做限定。

图3是根据一示例性实施例示出的一种文本内容处理方法的流程图。该文本内容处理方法可以由计算机设备执行。比如，该计算机设备可以是图2中的模型训练设备，也可以是预测设备，或者还可以是模型训练设备以及预测设备。如图3所示，该文本内容处理方法包括的步骤如下：

步骤301，获取目标文本对象中的各个字块。

在本申请实施例中，计算机设备获取目标文本对象中的各个字块。

在一种可能的实现方式中，计算机设备通过对目标文本对象进行文本检测，获取目标文本对象中的各个字块。

其中，字块是目标文本对象中包含连续的文字内容的区域。文本检测可以检测到各个字块在图像上的位置信息或者在文档上的位置信息，还可以检测到各个字块在图像上所处的区域对应的区域图像，或者在文档上所处区域对应的区域图像。

示例性的，该区域图像可以是进行文本检测使生成的包围在各个字块外的文本检测框中的区域图像。

步骤302，获取各个字块各自的拼接特征。

在本申请实施例中，计算机设备获取基于文本检测获取到的各个字块对应的位置信息以及各个字块对应的区域图像，对各个字块分别进行图像特征提取、位置特征提取以及语义特征提取。

其中，拼接特征可以包含对应字块的图像特征、位置特征以及语义特征拼接得到的特征。

在一种可能的实现方式中，对各个字块进行特征提取，通过特征提取网络进行。

其中，特征提取网络中可以包括卷积神经网络、位置嵌入以及词嵌入。卷积神经网络用于进行图像特征提取，位置嵌入用于确定字块所处位置的位置特征，词嵌入用于进行语义特征提取，在特征提取网络中可以对各个字块对应的图像特征、位置特征以及语义特征进行拼接后生成拼接特征，由特征提取网络输出各个字块各自对应的拼接特征。

在一种可能的实现方式中，卷积神经网络中包括剪裁后的残差模块。通过卷积神经网络获取图像区域的中心位置对应的图像特征作为字块对应的图像特征。

示例性的，可以将获取到的各个字块对应的区域图像输入卷积神经网络，然后将区域图像的分辨率进行缩放，缩放至512*512，然后得到该区域图像对应的归一化的图像、以及在x方向上的缩放因子scale_x以及在y方向上的缩放因子scale_y。然后，将归一化的图像送入裁剪后的ResNet残差模块，得到分辨率为128*128、通道数为64的特征图。若图像区域为矩形的文本检测框，再将图像区域的四个顶点的坐标，即(x1，y1，w1，h1)按照(128/512)*scale_x和(128/512)*scale_y进行缩放，得到各个字块对应的文本检测框在最底层的特征图上对应的坐标，即(x1’，y1’，w1’，h1’)。最后，将最底层的特征图中的(x1’+w1’/2，y1’+h1’/2)位置上的图像特征，即文本检测框中心点的特征作为图像特征，从而得到包含各个字块对应的图像特征的图像特征集合，且每个字块对应的图像特征的特征维度可以为64。

在一种可能的实现方式中，通过文本检测输出得到的各个字块对应的位置信息，确定各个字块对应的位置特征。

示例性的，当各个字块对应的位置信息是各个字块对应的文本检测框的位置信息，若文本检测框为矩形，则将该文本检测框对应的顶点的坐标信息作为该字块对应的位置信息。

比如，若文本检测框对应的顶点的坐标信息为(x1，y1，w1，h1)，则可以将(x1，y1，w1，h1)作为该字块对应的位置特征向量，从而可以得到包含各个字块对应的位置特征的位置特征集合，且每个字块对应的位置特征的特征维度可以为4。

在一种可能的实现方式中，通过文本检测输出得到的各个字块对应的区域图像，将各个字块对应的区域图像输入文本识别网络中，通过文本识别网络对各个字块对应的文本内容进行识别，然后利用自然语言处理工具中的词嵌入(word embedding)，对识别出的各个字块对应的文本内容进行处理，将文本内容映射成为实值向量，将映射得到的实值向量确定为词向量，基于词向量得到各个字块对应的语义特征。

其中，自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

示例性的，通过获取到各个字块对应的词向量，得到包含各个字块对应的语义特征的语义特征集合，且每个字块对应的语义特征的特征维度可以为64。

在一种可能的实现方式中，将经过特征提取获得的字块对应的图像特征向量、位置特征向量以及语义特征向量进行拼接，生成拼接特征向量。

其中，各个字块各自对应的拼接特征向量可以是132维的特征向量。

示例性的，图4是本申请实施例涉及的一种特征拼接过程框架图。如图4所示，在特征网络中包括卷积神经网络41、位置嵌入42以及词嵌入43，通过卷积神经网络41可以得到多层卷积神经网络提取到的图像特征，通过残差网络提取得到最终的图像特征，基于位置嵌入42可以提取得到字块对应的位置特征，基于词嵌入43可以提取得到字块对应的语义特征，将图像特征、位置特征以及语义特征进行特征连接生成字块对应的拼接特征44。

步骤303，获取各个字块中每两个字块对应的拼接特征之间的相似度。

在本申请实施例中，计算机设备获取各个字块中的每两个字块对应的拼接特征之间的相似度。

在一种可能的实现方式中，拼接特征之间的相似度计算方式是基于向量空间模型进行计算。

比如，可以通过欧式距离的方式，计算各个字块中每两个字块对应的拼接矩阵对应的特征相似度，或者也可以通过余弦相似度的方式，计算各个字块中每两个字块对应的拼接矩阵对应的特征相似度，还可以是基于其它相似度计算方式进行特征相似度计算。

示例性的，若具有字块A、字块B以及字块C，分别获取字块A与字块B之间的特征相似度，字块B与字块C之间的特征相似度，字块A与字块C之间的特征相似度。

在一种可能的实现方式中，响应于特征提取网络输出各个字块对应的拼接特征后，将各个字块对应的拼接特征输入特征融合网络中，然后进行各个字块中每两个字块对应的拼接特征之间的相似度计算。

其中，特征融合网络中可以包括图神经网络以及全连接神经网络。

步骤304，基于各个字块各自的拼接特征，以及每两个字块对应的拼接特征之间的相似度构建图数据。

在本申请实施例中，计算机设备可以将各个字块分别作为图数据的各个节点，各个字块各自对应的拼接特征分别作为各个节点分别对应的节点特征，然后将每两个字块对应的拼接特征之间的相似度作为图数据中连接各个节点的边数据(也称为边权重)。

在一种可能的实现方式中，同一目标文本对象上识别到的各个字块可以构建为一个图数据。

步骤305，基于图数据，对各个字块的拼接特征进行邻近融合，获得各个字块各自对应邻近融合特征。

在本申请实施例中，基于构建得到的图数据，可以采用KNN(邻近算法，k-NearestNeighbor)对各个字块的拼接特征进行邻近融合，得到各个字块各自对应的邻近融合特征。

在一种可能的实现方式中，基于图数据，获取目标字块的K个相邻字块，将目标字块的拼接特征，与K个相邻字块的拼接特征进行融合，获得目标字块的邻近融合特征。

其中，相邻字块可以是对应的拼接特征与目标字块的拼接特征之间的相似度满足相邻条件的K个字块；目标字块是各个字块中的任意一个，K可以是大于0的正整数。

其中，相邻条件可以是目标字块与其它字块之间的相似度在指定阈值范围内，或者也可以是目标字块与其他字块之间的相似度按照从大到小的顺序进行排序，相似度排列位置在指定范围内。

在一种可能的实现方式中，对目标字块的拼接特征与K个相邻字块对应的拼接特征进行特征累加，然后再将具有特征累加后的拼接特征的图数据输入多层感知机(MLP)中进行特征提取，获得目标字块的邻近融合特征。

其中，图神经网络中可以包括多层感知机。

示例性的，若图数据中包括字块A、字块B、字块C以及字块D，通过图数据可以获取字块A对应的拼接特征向量a与字块B对应的拼接特征向量b、字块C对应的拼接特征向量c以及字块D对应的拼接特征向量d之间的特征相似度分别是x，y，z，其中，x大于z大于y，若K为2，则选取特征相似度较大的前两位，即x以及z对应的字块B以及字块D作为字块A的相邻字块。然后，将字块A的拼接特征向量与字块B的拼接特征向量以及字块D的拼接特征向量进行融合，获得字块A对应的特征累加后的拼接特征向量为(a，b，d)，将图数据上的各个字块均进行上述计算得到各个字块对应的特征累加后的拼接特征向量，然后将各个节点特征为各自对应的特征累加后的拼接特征向量的图数据输入多层感知机中，得到各个字块对应的邻近融合特征。

在一种可能的实现方式中，构建得到的图数据输入图神经网络中，得到各个字块对应的邻近融合特征。

步骤306，基于各个字块各自对应邻近融合特征，获取各个字块各自的第一特征。

在一种可能的实现方式中，通过全连接神经网络对各个字块各自对应邻近融合特征进行特征聚合，获得各个字块各自的第一特征。

其中，通过全连接神经网络(Fully Connected Neural Network，FCN)可以将各个字块的邻近融合特征进行聚合，使得各个字块对应的邻近融合特征进行降维，得到各个字块各自的第一特征。

示例性的，若各个字块对应的邻近融合特征向量为132维，则通过全连接神经网络可以将各个字块对应的邻近融合特征向量聚合至64维。

在一种可能的实现方式中，基于各个字块各自的拼接特征，获取各个字块各自的第一特征。

步骤307，基于各个字块各自的第一特征获取特征矩阵。

在本申请实施例中，计算机设备获取各个字块中的每两个字块各自对应的第一特征，将每两个字块各自对应的第一特征进行融合生成每两个字块对应的第二特征，基于每两个字块对应的第二特征获取该图数据对应的特征矩阵。

其中，特征矩阵中包含各个字块中每两个字块的第一特征融合后得到的第二特征。

示例性的，图5是本申请实施例涉及的一种进行特征融合过程的框架图。如图5所示，将特征提取网络输出的各个字块对应的拼接特征，输入特征融合网络50，首先基于各个字块对应的拼接特征构建包含同一目标文本对象上的字块的拼接特征的图数据51，然后，采用KNN确定各个字块对应的相邻字块，并且确定各个字块对应的邻近融合特征，将各个字块对应的邻近融合特征输入全连接神经网络中，对各个字块对应的节点通过全连接神经网络52进行处理，通过全连接神经网络可以将各个字块对应的邻近融合特征向量聚合至64维，得到各个字块对应的第一特征531，将每两个字块各自对应的第一特征531进行融合生成每两个字块对应的第二特征532，若图数据中共包含N个字块，则最终可以生成一个N*N的特征矩阵，并且该特征矩阵中的每个特征点对应的特征向量为128维的第二特征向量。

步骤308，基于特征矩阵，获取各个字块的邻接矩阵。

在本申请实施例中，基于特征融合网络输出的特征矩阵，可以获取用于指示各个字块中每两个字块之间的先后顺序的邻接矩阵。

其中，邻接矩阵可以用于指示各个字块之间的先后顺序。

在一种可能的实现方式中，将特征矩阵输入分类网络中，由分类网络对特征矩阵进行处理，获取各个字块的邻接矩阵。

其中，分类网络可以是二分类网络，即特征矩阵中的各个特征点分别对应两个字块对应的第二特征，基于分类网络可以确定各个特征点对应的特征数值，该特征数值用于指示对应的两个字块之间的先后顺序。

在一种可能的实现方式中，对分类网络进行训练时，可以采用蒙特卡洛采样随机选取成对的字块。通过蒙特卡洛采样随机选取成对的字块提高了分类网络训练的效率以及随机性。

示例性的，当第二特征是字块A与字块B各自的第一特征拼接得到的，基于分类网络可以预测得到字块A与字块B的先后顺序，若字块A先于字块B，则可以在邻接矩阵中对应的特征点处将特征数值置为1，若字块B先于字块A，则可以在邻接矩阵中对应的特征点处将特征数值置为0。

在一种可能的实现方式中，响应于字块数量为N，邻接矩阵是N*N的二分类矩阵。

步骤309，基于邻接矩阵对各个字块各自对应的文字内容进行排序组合，获得目标文本对象的文本处理结果。

在一种可能的实现方式中，通过遍历邻接矩阵，获取目标序列；基于各个字块的排列顺序，对各个字块对应的文字内容进行排列组合，获得目标文本对象的文本处理结果。

其中，遍历邻接矩阵的次数由各个字块的数量决定，当存在k个字块时，需要对邻接矩阵进行k-1次完整的遍历。

比如，在第一次进行邻接矩阵遍历过程中，确定排列在目标序列中的第一位的字块，在第二次进行邻接矩阵遍历过程中，确定排列在目标序列中的第二位的字块，直到在第k-1次进行邻接矩阵遍历过程中，确定排列在目标序列中的第k-1位的字块，停止继续进行遍历，最后剩下的字块为排列在第k位的字块。

在一种可能的实现方式中，基于状态矩阵确定第k次需要进行依次遍历的字块。

其中，状态矩阵可以用于记录进行第k次遍历过程中，需要进行位置排序比较的各个字块在当前时刻是否已经完成位置排序比较。

比如，在进行第一次遍历的过程中，需要进行确定的是目标序列中位于第一位的字块，当此时需要进行位置排序的字块包括字块1、字块2以及字块3时，在初始状态下状态矩阵指示各个字块均处于未完成位置排序的状态，所以从字块1、字块2以及字块3中任一选取一个暂时作为目标序列中的第一位字块，若选取的是字块2，则将状态矩阵中字块2对应的数值置为0，表示在该轮遍历中已经对字块1进行了处理，然后，下一时刻从字块1与字块3中选取任意一个基于邻接矩阵判断与字块2之间的先后顺序，若选取的是字块1，且经过判断字块1位于字块2的前面，则将目标序列中的第一位更新为字块1，若经过判断字块1位于字块2的后面，则将目标序列中的第一位仍为字块2，同样的，将状态矩阵中字块1对应的数值置为0，然后选取字块3，判断字块3与位于第一位的字块之间的先后顺序，基于判断结果更新目标序列中的第一位对应的字块，并且将状态矩阵中该字块的状态值置为0，将其他字块对应的状态值重置为1。然后继续进行第二轮遍历，确定目标序列中的第二位对应的字块。

示例性的，将邻接矩阵转化为文本框先后顺序的目标序列S，首先，遍历邻接矩阵，选取未使用过的字块A作为当前目标序列最前的种子点。然后，继续遍历邻接矩阵，选取未使用过的字块B，与字块A比较，若字块B在字块A之前，则将字块B置为当前目标序列最前的位置。再依次遍历剩余的字块，直至找到序列最前位置的字块为止，并将该字块放置在最终的目标序列S中。重复执行上述步骤，直至邻接矩阵中所有对应的字块均已使用时停止遍历，并得到最终的目标序列S。

在一种可能的实现方式中，按照目标序列对应的字块排列顺序输出字块对应的文本内容，或者展示对应的文本内容。

综上所述，在本申请实施例所示的方案中，基于提取到的各个字块分别对应的多模态的特征，得到各个字块对应的第一特征，通过将各个字块中每两个字块进行第一特征的融合生成第二特征，并且构成包含各个第二特征的特征矩阵，然后基于该特征矩阵确定用于指示字块之间先后顺序的邻接矩阵，从而对先后顺序的确定进行了全局考量，避免了当目标文本对象中的字块分布不规整的情况下，出现的存在一个字块与多个字块可能存在先后顺序，而无法判断实际位于该字块前方或者后方的问题，可以基于多模态下的全局考量对文本内容进行处理，进而提高了文本语序还原的准确性。

图6是根据一示例性实施例示出的一种医学病历的文字内容处理示意图。如图6所示，首先，在模型训练设备中进行语序还原模型62的模型训练，具体的模型训练过程包括，获取包含至少两个样本字块的样本医学病历图像61，将样本医学病历图像61输入语序还原模型62中，在语序还原模型62中首先通过将样本医学病历图像输入特征提取网络63，经过特征提取网络63对字块进行文本检测以及文本识别，通过文本检测可以确定各个样本字块对应的文本检测框的位置信息，以及文本检测框中对应的字块图像，通过文本识别可以确定各个样本字块对应的语义信息。基于字块图像可以通过图像特征提取网络，即卷积神经网络进行图像特征提取，基于文本检测框对应的位置信息可以基于位置嵌入提取得到样本字块对应的位置特征，通过样本字块对应的语义信息可以通过词嵌入得到对应的语义特征，然后将各个样本字块各自对应的图像特征、位置特征以及语义特征进行特征拼接，生成样本字块各自对应的拼接特征，将各个样本字块各自对应的拼接特征输入特征融合网络64，首先对属于同一样本医学病历图像上的各个样本字块构建为一个样本图数据，该样本图数据对应的节点是各个样本字块，节点特征是各个样本字块对应的拼接特征，边是各个对应节点之间的拼接特征对应的特征相似度，基于构建得到的样本图数据，采用KNN算法，获取各个样本字块各自对应的相邻字块，将相邻字块对应的拼接特征以及样本字块对应的拼接特征进行累加，将累加后的拼接特征进行MLP特征提取，确定各个样本字块对应的邻近融合特征，将具有各个样本字块对应的邻近融合特征的样本图数据输入全连接神经网络中，对邻近融合特征进行聚合，得到各个样本字块对应的第一特征，将各个样本字块之间的两两样本字块对应的第一特征进行融合，确定各个样本字块对应的第二特征，基于各个样本字块对应的第二特征，生成包含各个第二特征的样本图数据对应的特征矩阵。将该样本图数据对应的样本特征矩阵输入分类网络65中，输出预测的样本邻接矩阵，基于预测的样本邻接矩阵确定样本字块对应的预测目标序列，基于该预测目标序列对各个样本字块对应的文字内容进行排列组合，获取样本医学病历中的预测的各个样本字块的语序还原后的文本内容。基于获取到的预测的文本内容以及样本医学病历人工标注的语序还原后的文本内容获取损失函数值，基于该损失函数值更新语序还原模型。

当语序还原模型62训练完成后，将该语序还原模型62发送到预测设备上，当用户需要对目标医学病历图像66中的文本内容进行语序排列处理时，其中，图7是本申请实施例涉及的一种目标医学病历示意图。如图7所示，目标医学病历图像71上包括多条需要进行排序的字块。将该目标医学病历图像66输入语序还原模型62，通过上述实施例的步骤输出该目标医学病历图像66中的语序排列后的文本内容67。

示例性的，如图7所示，目标医学病历图像71上包括各个字块，各个字块对应的文本内容包括：“姓名：XXX”、“性别”、“女”、“年龄：55”、“病区”、“病床”、“临床诊断”、“右肺上叶结节，糖尿病、高血压”、“送检医师要求”、“检查部位和名称”、“胸部CT”、“胸部CT”、“检查时间”、“2020-12-03”、“16:20:56”、“检查方法”、“XXXXXXX”、“放射学表现”、“XXXXXXX，XXXXXX”、“放射学诊断”、“XXXXXXX，XXXXXX”、“XXXX”以及“XXXXX，XXX”。通过将该目标医学病历图像71输入如图6所示的语序还原模型中，可以得到输出的将上述各个字块对应的文本内容按照确定的语序排列的文本内容67，该文本内容67可以是“XX医院诊断报告(CT)姓名：XXX性别女年龄：55病区病床临床诊断右肺上叶结节，糖尿病、高血压送检医师要求胸部CT检查部位和名称胸部CT检查时间2020-12-0316:20:56检查方法XXXXXXX放射学表现XXXXXXX，XXXXXX放射学诊断XXXXXXX，XXXXXX XXXXXXXXX，XXX”，通过该语序还原模型得到的目标医学病历图像71上各个字块按照顺序排列后的文本内容，可以有效解决文本偏移以及多对多匹配的问题，比如，目标医学病历图像71上的“送检医师要求”对应的回答的文本内容应该是“胸部CT”，但是由于在目标医学病历71上“送检医师要求”以及“胸部CT”对应字块所处的位置是上下排布的，不是按照常规的从左到右为文本顺序的方式进行排列的，所以可以通过语序还原模型进行处理确定排在“送检医师要求”字块后面的是“胸部CT”字块。或者，当“检查部位和名称”对应字块的所处位置位于“胸部CT”对应字块以及“检查时间”对应字块的中间时，无法通过简单的位置判断确定位于“检查部位和名称”对应字块后面的字块时，可以通过语序还原模型进行处理确定排在“检查部位和名称”字块后面的是“胸部CT”字块。或者，当“检查部位和名称”对应字块的所处位置位于“胸部CT”对应字块以及“脑部CT”对应字块的中间时，无法通过简单的位置判断确定位于“检查部位和名称”对应字块后面的字块，也无法通过语义判断确定位于“检查部位和名称”对应字块后面的字块，可以通过语序还原模型进行处理全局性的判断“检查部位和名称”对应字块后面的字块，可以确定排在“检查部位和名称”字块后面的是“胸部CT”字块。

综上所述，在本申请实施例所示的方案中，基于提取到的各个字块分别对应的多模态的特征，得到各个字块对应的第一特征，通过将各个字块中每两个字块进行第一特征的融合生成第二特征，并且构成包含各个第二特征的特征矩阵，然后基于该特征矩阵确定用于指示字块之间先后顺序的邻接矩阵，从而对先后顺序的确定进行了全局考量，避免了当目标文本对象中的字块分布不规整的情况下，出现的存在一个字块与多个字块可能存在先后顺序，而无法判断实际位于该字块前方或者后方的问题，可以基于多模态下的全局考量对文本内容进行处理，进而提高了文本语序还原的准确性。

图8是根据一示例性实施例示出的一种文本内容处理装置的框图，如图8所示，该文本内容处理装置可以通过硬件或者软硬结合的方式实现为计算机设备中的全部或者部分，以执行图1或图3对应实施例所示的方法的全部或部分步骤。该文本内容处理装置可以包括：

字块获取模块810，用于获取目标文本对象中的各个字块，所述字块是所述目标文本对象中包含连续的文字内容的区域；

第一特征获取模块820，用于获取所述各个字块各自的第一特征，所述第一特征包含对应字块的图像特征、位置特征以及语义特征；

矩阵获取模块830，用于基于所述各个字块各自的所述第一特征获取特征矩阵；所述特征矩阵中包含所述各个字块中每两个字块的所述第一特征融合后得到的第二特征；

邻接矩阵获取模块840，用于基于所述特征矩阵，获取所述各个字块的邻接矩阵，所述邻接矩阵用于指示所述各个字块之间的先后顺序；

结果获取模块850，用于基于所述邻接矩阵对所述各个字块各自对应的文字内容进行排序组合，获得所述目标文本对象的文本处理结果。

在一种可能的实现方式中，所述第一特征获取模块820，包括：

拼接特征获取子模块，用于获取所述各个字块各自的拼接特征，所述拼接特征包含对应字块的所述图像特征、所述位置特征以及所述语义特征拼接得到的特征；

第一特征获取子模块，用于基于所述各个字块各自的拼接特征，获取所述各个字块各自的所述第一特征。

在一种可能的实现方式中，所述第一特征获取子模块，包括：

相似度获取单元，用于获取所述各个字块中每两个字块对应的拼接特征之间的相似度；

图构建单元，用于基于所述各个字块各自的所述拼接特征，以及每两个字块对应的拼接特征之间的相似度构建图数据；

邻近特征获取单元，用于基于所述图数据，对所述各个字块的所述拼接特征进行邻近融合，获得所述各个字块各自对应邻近融合特征；

第一特征获取单元，用于基于所述各个字块各自对应邻近融合特征，获取所述各个字块各自的所述第一特征。

在一种可能的实现方式中，所述邻近特征获取单元，用于，

基于所述图数据，获取目标字块的K个相邻字块；所述相邻字块是对应的拼接特征与所述目标字块的拼接特征之间的相似度满足相邻条件的K个字块；所述目标字块是所述各个字块中的任意一个；所述K是正整数；

将所述目标字块的所述拼接特征，与K个所述相邻字块的所述拼接特征进行融合，获得所述目标字块的所述邻近融合特征。

在一种可能的实现方式中，所述第一特征获取单元，用于，

通过全连接网络对所述各个字块各自对应邻近融合特征进行特征聚合，获得所述各个字块各自的所述第一特征。

在一种可能的实现方式中，所述结果获取模块850，包括：

序列获取子模块，用于通过遍历所述邻接矩阵，获取目标序列；所述目标序列中包括所述各个字块的排列顺序；

结果获取子模块，用于基于所述各个字块的排列顺序，对各个字块对应的文字内容进行排列组合，获得所述目标文本对象的所述文本处理结果。

在一种可能的实现方式中，所述邻接矩阵获取模块840，包括：

获取子模块，用于将所述特征矩阵输入分类网络，获取所述各个字块的所述邻接矩阵。

综上所述，在本申请实施例所示的方案中，基于提取到的各个字块分别对应的多模态的特征，得到各个字块对应的第一特征，通过将各个字块中每两个字块进行第一特征的融合生成第二特征，并且构成包含各个第二特征的特征矩阵，然后基于该特征矩阵确定用于指示字块之间先后顺序的邻接矩阵，从而对先后顺序的确定进行了全局考量，避免了当目标文本对象中的字块分布不规整的情况下，出现的存在一个字块与多个字块可能存在先后顺序，而无法判断实际位于该字块前方或者后方的问题，可以基于多模态下的全局考量对文本内容进行处理，进而提高了文本语序还原的准确性。

图9示出了本申请一示例性实施例示出的计算机设备900的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备900包括中央处理单元(Central Processing Unit，CPU)901、包括随机存取存储器(Random Access Memory，RAM)902和只读存储器(Read-Only Memory，ROM)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。所述计算机设备900还包括用于存储操作系统909、应用程序910和其他程序模块911的大容量存储设备906。

所述大容量存储设备906通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。所述大容量存储设备906及其相关联的计算机可读介质为计算机设备900提供非易失性存储。也就是说，所述大容量存储设备906可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备906可以统称为存储器。

根据本公开的各种实施例，所述计算机设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备900可以通过连接在所述系统总线905上的网络接口单元907连接到网络908，或者说，也可以使用网络接口单元907来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，中央处理器901通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的文本内容处理方法中的全部或部分步骤。

图10示出了本申请一个示例性实施例提供的计算机设备1000的结构框图。该计算机设备1000可以实现为上述的终端，比如：智能手机、平板电脑、笔记本电脑或台式电脑。计算机设备1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，计算机设备1000包括有：处理器1001和存储器1002。

处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的对象属性确定方法中的全部或部分步骤。

在一些实施例中，计算机设备1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。

外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

在一些实施例中，计算机设备1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。

本领域技术人员可以理解，图10中示出的结构并不构成对计算机设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述对象属性确定方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图1或图3任一实施例所示方法的全部或部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种文本内容处理方法，其特征在于，所述方法包括：

获取目标文本对象中的各个字块，所述字块是所述目标文本对象中包含连续的文字内容的区域；

获取所述各个字块各自的第一特征，所述第一特征包含对应字块的图像特征、位置特征以及语义特征；

基于所述各个字块各自的所述第一特征获取特征矩阵；所述特征矩阵中包含所述各个字块中每两个字块的所述第一特征融合后得到的第二特征；

基于所述特征矩阵，获取所述各个字块的邻接矩阵，所述邻接矩阵用于指示所述各个字块之间的先后顺序；

基于所述邻接矩阵对所述各个字块各自对应的文字内容进行排序组合，获得所述目标文本对象的文本处理结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述各个字块各自的第一特征，包括：

获取所述各个字块各自的拼接特征，所述拼接特征包含对应字块的所述图像特征、所述位置特征以及所述语义特征拼接得到的特征；

基于所述各个字块各自的拼接特征，获取所述各个字块各自的所述第一特征。

3.根据权利要求2所述的方法，其特征在于，所述基于所述各个字块各自的拼接特征，获取所述各个字块各自的所述第一特征，包括：

获取所述各个字块中每两个字块对应的拼接特征之间的相似度；

基于所述各个字块各自的所述拼接特征，以及每两个字块对应的拼接特征之间的相似度构建图数据；

基于所述图数据，对所述各个字块的所述拼接特征进行邻近融合，获得所述各个字块各自对应邻近融合特征；

基于所述各个字块各自对应邻近融合特征，获取所述各个字块各自的所述第一特征。

4.根据权利要求3所述的方法，其特征在于，所述基于所述图数据，对所述各个字块的所述拼接特征进行邻近融合，获得所述各个字块各自对应邻近融合特征，包括：

基于所述图数据，获取目标字块的K个相邻字块；所述相邻字块是对应的拼接特征与所述目标字块的拼接特征之间的相似度满足相邻条件的K个字块；所述目标字块是所述各个字块中的任意一个；所述K是正整数；

将所述目标字块的所述拼接特征，与K个所述相邻字块的所述拼接特征进行融合，获得所述目标字块的所述邻近融合特征。

5.根据权利要求3所述的方法，其特征在于，所述基于所述各个字块各自对应邻近融合特征，获取所述各个字块各自的所述第一特征，包括：

通过全连接网络对所述各个字块各自对应邻近融合特征进行特征聚合，获得所述各个字块各自的所述第一特征。

6.根据权利要求1所述的方法，其特征在于，所述基于所述邻接矩阵对所述各个字块各自对应的文字内容进行排序组合，获得所述目标文本对象的文本处理结果，包括：

通过遍历所述邻接矩阵，获取目标序列；所述目标序列中包括所述各个字块的排列顺序；

基于所述各个字块的排列顺序，对各个字块对应的文字内容进行排列组合，获得所述目标文本对象的所述文本处理结果。

7.根据权利要求1所述的方法，其特征在于，所述基于所述特征矩阵，获取所述各个字块的邻接矩阵，包括：

将所述特征矩阵输入分类网络，获取所述各个字块的所述邻接矩阵。

8.一种文本内容处理装置，其特征在于，所述装置包括：

字块获取模块，用于获取目标文本对象中的各个字块，所述字块是所述目标文本对象中包含连续的文字内容的区域；

第一特征获取模块，用于获取所述各个字块各自的第一特征，所述第一特征包含对应字块的图像特征、位置特征以及语义特征；

矩阵获取模块，用于基于所述各个字块各自的所述第一特征获取特征矩阵；所述特征矩阵中包含所述各个字块中每两个字块的所述第一特征融合后得到的第二特征；

邻接矩阵获取模块，用于基于所述特征矩阵，获取所述各个字块的邻接矩阵，所述邻接矩阵用于指示所述各个字块之间的先后顺序；

结果获取模块，用于基于所述邻接矩阵对所述各个字块各自对应的文字内容进行排序组合，获得所述目标文本对象的文本处理结果。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至7任一所述的文本内容处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一所述的文本内容处理方法。

Images