CN117115841A - 一种表格解析方法、装置、计算机设备及存储介质 - Google Patents

一种表格解析方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117115841A
CN117115841A CN202311238008.7A CN202311238008A CN117115841A CN 117115841 A CN117115841 A CN 117115841A CN 202311238008 A CN202311238008 A CN 202311238008A CN 117115841 A CN117115841 A CN 117115841A
Authority
CN
China
Prior art keywords
text
cell
model
prediction
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311238008.7A
Other languages
English (en)
Inventor
游锦成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Health Insurance Company of China Ltd
Original Assignee
Ping An Health Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Health Insurance Company of China Ltd filed Critical Ping An Health Insurance Company of China Ltd
Priority to CN202311238008.7A priority Critical patent/CN117115841A/zh
Publication of CN117115841A publication Critical patent/CN117115841A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于人工智能和金融领域，涉及一种表格解析方法，包括解析表格图像集中每张表格图像，得到每个单元格的单元格位置和单元格属性；根据单元格位置和单元格属性生成表格图像的结构标签序列，并构造样本数据集；使用样本数据集对模型进行训练和验证，得到表格解析模型；识别待解析图片中目标表格的文本行定位框及对应文本信息；将待解析图片输入表格解析模型得到表格结构信息和每个单元格的位置信息；将文本行定位框与单元格匹配，基于结构信息和对应的文本信息得到解析结果。本申请还提供一种表格解析装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，表格图像集可存储于区块链中。本申请能够提高复杂表格结构解析的准确度。

Description

一种表格解析方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能和金融科技技术领域，尤其涉及一种表格解析方法、装置、计算机设备及存储介质。
背景技术
随着人工智能和人类社会的发展，人们对图像解析已不再简单地满足于普通的OCR(Optical Character Recognition)技术，而开始转向对图片中的表格进行解析，以其可以还原表格的结构及单元格内的文本信息。表格作为数据记录汇总最精简表达方式，是数据分析中的基础，通常以照片或电子扫描图片或PDF的形式呈现。由于表格中通常包含重要的文字和数据等信息，尤其在金融领域，大量的报表、单据都是以表格形式进行数据记录存储，因此，有效提取表格中的信息至关重要。
目前表格解析采用的最优算法为TableMaster，其是采用神经网络构建模型，利用大量标注好的数据对模型进行训练，使其自主学习，具备还原模型的能力。这种算法只针对标准、结构较简单、非拍照的图像进行解析，然而，实际的业务场景中表格的结构更为复杂，导致在对表格进行解析时，解析难度大，表格结构的解析准确度较低。
发明内容
本申请实施例的目的在于提出一种表格解析方法、装置、计算机设备及存储介质，以解决现有技术中业务场景中表格的结构更为复杂，导致在对表格进行解析时，解析难度大，表格结构的解析准确度较低的技术问题。
为了解决上述技术问题，本申请实施例提供一种表格解析方法，采用了如下所述的技术方案：
获取全部业务场景的表格图像集，解析所述表格图像集中每张表格图像的表格结构，得到每张所述表格图像中每个单元格的单元格位置和单元格属性；
根据所述单元格位置和所述单元格属性，按照预设标签规则生成所述表格图像的结构标签序列，并将所述单元格位置和所述结构标签序列作为所述表格图像集的标注数据，构造样本数据集；
按照预设比例将所述样本数据集分为训练集和测试集，将所述训练集输入预构建的待训练模型中，得到训练完成的模型；
通过所述测试集验证所述训练完成的模型，得到验证结果，在所述验证结果符合预设条件时，输出最终的模型作为表格解析模型；
获取待解析图片，识别所述待解析图片中目标表格的文本行定位框以及所述文本行定位框中的文本信息；
将所述待解析图片输入所述表格解析模型中，得到所述目标表格的表格结构信息和每个单元格的位置信息；
根据所述位置信息匹配所述文本行定位框，得到每个所述单元格的匹配文本定位框；
基于所述结构信息和所述匹配文本定位框对应的文本信息，生成所述目标表格的解析结果。
进一步的，所述根据所述单元格位置和所述单元格属性，按照预设标签规则生成所述表格图像的结构标签序列的步骤包括：
根据所述预设标签规则获取所述单元格属性对应的结构标签；
将所述结构标签按照所述单元格位置进行拼接，得到所述表格图像的结构标签序列。
进一步的，所述待训练模型包括特征提取层、解码嵌入层、解码位置编码层、Transformer解码层、序列预测模块以及单元格位置回归模块；所述将所述训练集输入预构建的待训练模型中，得到训练完成的模型的步骤包括：
将所述训练集输入所述特征提取层进行特征提取，得到表格特征数据；
将所述训练集的标注数据输入到所述解码嵌入层，得到标注数据特征向量；
将所述标注数据特征向量输入到所述解码位置编码层中，得到标注数据位置向量；
将所述标注数据特征向量和所述标注数据位置向量相加，得到输入向量；
将所述输入向量和所述表格特征数据输入所述Transformer解码层，得到表格强化特征；
将所述表格强化特征分别输入所述序列预测模块和所述单元格位置回归模块，得到结构预测序列和位置预测结果；
基于所述结构预测序列和所述位置预测结果计算损失值，并根据所述损失值调整所述待训练模型的模型参数，继续迭代训练，直至收敛，输出训练完成的模型。
进一步的，所述基于所述结构预测序列和所述位置预测结果计算损失值，并根据所述损失值调整所述待训练模型的模型参数的步骤包括：
基于所述结构预测序列和所述标注数据的结构标签序列进行交叉熵损失函数计算，得到序列预测损失值；
基于所述位置预测结果和所述标注数据的单元格位置进行损失函数计算，得到位置预测损失值；
对所述序列预测损失值和所述位置预测损失值进行加权计算，得到融合损失值；
通过所述序列预测损失值和所述位置预测损失值对应调整所述序列预测模块和所述单元格位置回归模块的模型参数，并通过所述融合损失值调整所述特征提取层和所述Transformer解码层的模型参数。
进一步的，所述通过所述测试集验证所述训练完成的模型，得到验证结果的步骤包括：
从所述测试集中选取单行文本的表格图像组成测试子集；
将所述测试子集输入所述训练完成的模型，得到预测结果；
根据所述预测结果计算模型的预测精度，将所述预测精度作为验证结果。
进一步的，所述识别所述待解析图片中目标表格的文本行定位框以及所述文本行定位框中的文本信息的步骤包括：
通过PSEnet算法对所述目标表格中的文本进行定位，得到文本行定位框；
通过文本行识别算法对所述文本行定位框进行文本识别，得到对应的文本信息。
进一步的，所述根据所述位置信息匹配所述文本行定位框，得到每个所述单元格的匹配文本定位框的步骤包括：
获取所述文本行定位框的坐标信息，根据所述坐标信息计算得到所述文本行定位框的中心坐标，并根据所述位置信息获得所述单元格的文本框；
当所述中心坐标在所述文本框区域内时，确定所述文本行定位框为所述单元格的匹配文本定位框；
当所述中心坐标不在所述文本框区域内时，计算所述文本行定位框与每个所述文本框之间的交并比；
当存在大于预设阈值的交并比时，确定所述交并比大于预设阈值的所述文本框对应的单元格为匹配单元格，则将所述文本行定位框作为所述匹配单元格的匹配文本定位框；
当不存在大于预设阈值的交并比时，计算所述文本行定位框与每个所述文本框之间的距离；
确定所述距离最小的所述文本框对应的单元格为匹配单元格，则将所述文本行定位框作为所述匹配单元格的匹配文本定位框。
为了解决上述技术问题，本申请实施例还提供一种表格解析装置，采用了如下所述的技术方案：
获取模块，用于获取全部业务场景的表格图像集，解析所述表格图像集中每张表格图像的表格结构，得到每张所述表格图像中每个单元格的单元格位置和单元格属性；
序列生成模块，用于根据所述单元格位置和所述单元格属性，按照预设标签规则生成所述表格图像的结构标签序列，并将所述单元格位置和所述结构标签序列作为所述表格图像集的标注数据，构造样本数据集；
训练模块，用于按照预设比例将所述样本数据集分为训练集和测试集，将所述训练集输入预构建的待训练模型中，得到训练完成的模型；
验证模块，用于通过所述测试集验证所述训练完成的模型，得到验证结果，在所述验证结果符合预设条件时，输出最终的模型作为表格解析模型；
识别模块，用于获取待解析图片，识别所述待解析图片中目标表格的文本行定位框以及所述文本行定位框中的文本信息；
表格解析模块，用于将所述待解析图片输入所述表格解析模型中，得到所述目标表格的表格结构信息和每个单元格的位置信息；
匹配模块，用于根据所述位置信息匹配所述文本行定位框，得到每个所述单元格的匹配文本定位框；
结果生成模块，用于基于所述结构信息和所述匹配文本定位框对应的文本信息，生成所述目标表格的解析结果。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的表格解析方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的表格解析方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请通过解析全部业务场景下的表格图像的表格结构，得到表格图像的单元格位置和单元格属性，并根据预设标签规则生成结构标签序列，使得结构标签更准确反映各种业务场景的表格结构，数据标注更加简单高效；通过训练集对构建的待训练模型进行训练得到训练完成的模型，并采用测试集验证训练完成的模型输出符合条件的模型作为表格解析模型，使得模型更容易学习，提高模型预测的表格结构的准确度；识别待解析图片中目标表格的文本行定位框以及对应的文本信息，能够实现文本行的精准定位，提高文本行文本识别的准确率；通过表格解析模型得到待解析图片的目标表格的每个单元格对应的结构信息和位置信息，根据位置信息将每个文本行定位框分配到相应的单元格，能够提高表格解析的准确度，以获得更准确的表格结构；通过结构信息和匹配文本定位框对应的文本信息生成目标表格的解析结果，实现了表格数据结构化输出。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的表格解析方法的一个实施例的流程图；
图3是根据本申请的表格解析装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请提供了一种表格解析方法，涉及人工智能，可以应用于如图1所示的系统架构100中，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的表格解析方法一般由服务器/终端设备执行，相应地，表格解析装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
现有的表格结构的HTML序列采用Table标签表示，Table标签包括<thead>、</thead>、<tbody>、</tbody>、<tr>、</tr>、<td>、</td>等39个类标签，使得对表格的结构表示相当复杂，在模型预测时，会对序列从开头<thead>标签开始逐标签预测，导致模型学习难度升高，模型预测正确率降低，表格结构解析困难，为了解决这些问题，本申请通过对表格结构的表示进行改进，提出了一种表格解析方法。
继续参考图2，示出了根据本申请的表格解析方法的一个实施例的流程图，包括以下步骤：
步骤S201，获取全部业务场景的表格图像集，解析表格图像集中每张表格图像的表格结构，得到每张表格图像中每个单元格的单元格位置和单元格属性。
从业务系统中获取全部业务场景下所有的表格图像组成表格图像集。其中，业务包括但不限于保险业务、银行业务以及证券业务等不同金融领域的业务，保险业务包括不同险种(如人身安全类保险、财产类保险以及健康类保险等)对应的业务系统，不同的业务系统下对应的业务场景包括但不限于保险业务办理、理赔业务办理、风险评估等；银行业务包括但不限于贷款业务、汇款业务、收款业务、交易业务、结算业务等；证券业务包括但不限于证券交易、证券投资、资产管理等。
表格图像为包含有表格数据的图像，为了更方便快速地解析和标注，在本实施例中，每张表格图像含有一张表格数据。
在本实施例中，表格图像集可以通过有线连接方式或者无线连接方式进行获取。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
解析每张表格图像的表格结构，确定表格图像中表格的每个单元格的单元格位置和单元格属性，其中，单元格属性包括空单元格、含有文本的单元格、换行单元格以及合并单元格等。
需要强调的是，为进一步保证表格图像集的私密和安全性，上述表格图像集还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
步骤S202，根据单元格位置和单元格属性，按照预设标签规则生成表格图像的结构标签序列，并将单元格位置和结构标签序列作为表格图像集的标注数据，构造样本数据集。
在本实施例中，预设标签规则定义了表示表格结构的结构标签，结构标签按照单元格属性进行配置，包括<text>、<empty>、<tr>、<merge to left>、<merge to top>、<insert>、</insert>以及<new table>等8个标签符号。其中，<text>表示正常单元格，即含有文本的单元格；<empty>表示空单元格；<tr>表示换行；<merge to left>表示需要向左合并的单元格；<merge to top>表示向上合并的单元格；<insert>表示在正常表格中插入的非规则的单元格开始符；</insert>表示插入的非规则的单元格结束符；<new table>上个表格结束，新的不同结构的表格开始。
进一步的，上述根据单元格位置和单元格属性，按照预设标签规则生成表格图像的结构标签序列的步骤包括：
根据预设标签规则获取单元格属性对应的结构标签；
将结构标签按照单元格位置进行拼接，得到表格图像的结构标签序列。
具体的，根据单元格属性，按照预设标签规则获取单元格对应的结构标签，例如，单元格属性为空单元格时，根据预设标签规则的定义，获取到对应的结构标签<empty>；单元格属性为有文本的单元格时，根据预设标签规则的定义，获取到对应的结构标签<text>；获取到表格中全部单元格对应的结构标签后，按照单元格位置拼接结构标签，得到当前表格图像的结构标签序列。
示例的，参见表1所示，表1为保险业务所需的住院用药费用表。
表1
解析表1可知，该表格的第一行与下面的表格结构不同，此时应把第一行单独表示为一个表格，与下方的表格并列为一个完整的表格，按照预设标签规则得到该表格的结构表示为：
<text><text><text><text><text><text><text><text><new table>
<text><merge to left><merge to left><merge to left><merge to left><merge to left><merge to left><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text>
将上述结构标签按照单元格位置进行拼接，得到的结构标签序列如下：
{<text>，<text>，<text>，<text>，<text>，<text>，<text>，<text><new table>，<text>，<merge to left>，<merge to left>，<merge to left>，<merge to left>，<mergeto left>，<merge to left><tr>，<text>，<text>，<text>，<text>，<text>，<text>，<text><tr>，<text>，<text>，<text>，<text>，<text>，<text>，<text><tr>，<text>，<text>，<text>，<text>，<text>，<text>，<text><tr>，<text>，<text>，<text>，<text>，<text>，<text>，<text><tr>，<text>，<text>，<text>，<text>，<text>，<text>，<text><tr>，<text>，<text>，<text>，<text>，<text>，<text>，<text><tr>，<text>，<text>，<text>，<text>，<text>，<text>，<text>}
示例的，参见表2所示，表2为表格中间插入不规则结构的无线表格。
表2
解析表2可知，把插入的一行作为单独表格对待，而上下表格表示为一个表格，按照预设标签规则得到该表格的结构表示为:
<text><text><text><text><empty><text><text><insert>
<text><text><text></insert>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text><tr>
<text><text><text><text><text><text><text>
将上述结构标签进行拼接，得到相应的结构标签。
将单元格位置和结构标签序列作为对应表格图像的标注数据，标注表格图像，得到含有标注数据的表格图像集，即样本数据集。其中，标注可以采用标注工具，例如Lableme软件进行标注，也可以通过人工标注。
在本实施例中，通过预设标签规则设置8种结构标签用于表示表格结构，简化表格结构的表示，更有利于对真实业务场景中复杂结构的表格进行表示，同时，使得训练数据更容易标注、降低模型的学习难度，提高模型的训练效率以及模型预测准确率。
步骤S203，按照预设比例将样本数据集分为训练集和测试集，将训练集输入预构建的待训练模型中，得到训练完成的模型。
在本实施例中，将样本数据集按照预设比例划分训练集和测试集，其中，训练集和测试集的预设比例可以选择7:3。使用训练集训练预构建的待训练模型。
在一些可选的实现方式中，待训练模型包括特征提取层、解码嵌入层、解码位置编码层、Transformer解码层、序列预测模块以及单元格位置回归模块，上述将所述训练集输入预构建的待训练模型中，得到训练完成的模型的步骤包括：
将训练集输入特征提取层进行特征提取，得到表格特征数据；
将训练集的标注数据输入到解码嵌入层，得到标注数据特征向量；
将标注数据特征向量输入到解码位置编码层中，得到标注数据位置向量；
将标注数据特征向量和标注数据位置向量相加，得到输入向量；
将输入向量和表格特征数据输入Transformer解码层，得到表格强化特征；
将表格强化特征分别输入序列预测模块和单元格位置回归模块，得到结构预测序列和位置预测结果；
基于结构预测序列和位置预测结果计算损失值，并根据损失值调整待训练模型的模型参数，继续迭代训练，直至收敛，输出训练完成的模型。
其中，特征提取层包括至少两层不同通道数的卷积子层、残差子层、多头全局注意力子层以及特征融合子层，以两层卷积子层为例，第一卷积子层的卷积核为3×3，通道数为64，第二卷积子层的卷积核为3×3，通道数为128；通过卷积子层对训练集中的表格图像进行图像特征提取，得到表格特征图；残差子层可以采用卷积结构，对表格特征图进行扩张处理，增强特征的多尺度表达能力，具体的，通过残差子层对表格特征图进行残差连接，得到强化特征图；多头全局注意力子层可以更好地学习全局不同方面的特征，从而可以获得具有更大的感受野的特征图，从而可以满足多变的现实情况，具有较好的鲁棒性，具体的，将强化特征图输入多头全局注意力子层，通过多头全局注意力子层进行注意力计算，得到全局注意力特征图；特征融合子层具体可以采用卷积核为3×3的卷积层，通过特征融合子层将全局注意力特征图进行卷积融合操作，得到融合特征图；对融合特征图进行位置编码，得到包含位置信息的表格特征图，包含位置信息的表格特征图即为表格特征数据。
解码嵌入层也称为embedding层，用于将表格中的每个单元格的单元格位置和结构标签序列映射成预设维度的向量，预设维度与embedding层使用的模型维度一致。
解码位置编码层经过Positional Encoding操作对标注数据特征向量进行编码，得到标注数据位置向量。
Transformer解码层包括掩码多头注意力子层、多头注意力子层、前馈网络子层以及残差连接子层，掩码多头注意力子层不能捕获后面位置的单元格的依赖关系，原因是解码器解码时我们无法得知未来的信息，即后面位置的单元格还没生成出来，通常会使用Mask矩阵标注哪些位置不能计算注意力向量，计算注意力向量时Mask矩阵标注的位置的值会被置为0；多头注意力子层计算注意力向量时可以捕获任意两个单元格之间的依赖关系，捕获单元格的上下文信息；前馈网络子层用于将多头注意力子层输出的特征进行连接增强，防止拟合不够；掩码多头注意力子层、多头注意力子层、前馈网络子层均连接一个残差连接子层，残差连接子层用于将子层输出与子层输入相加(Add)再做规范化(Norm)作为子层最终的输出。
具体的，将输入向量和表格特征数据输入Transformer解码层，通过掩码多头注意力子层对输入向量和表格特征数据进行注意力机制计算，得到注意力分布特征；通过多头注意力子层对注意力分布特征和表格特征数据进行注意力机制计算，得到注意力增强特征；通过前馈网络子层对注意力增强特征进行计算，得到连接增强特征，通过残差连接子层输出，即得到表格强化特征。
Transformer解码层输出后，分成两个分支，一个分支为序列预测模块，用于预测结构标签序列，一个分支为单元格位置回归模块，用于预测单元格的文本框，能够实现表格结构序列预测和单元格文本行定位框回归的解耦，提高模型预测的准确率。
在本实施例的一些可选的实现方式中，序列预测模块包括第一Transformer解码层、第二Transformer解码层和第一输出层，单元格位置回归模块包括第三Transformer解码层、第四Transformer解码层和第二输出层；第一Transformer解码层的输入为表格特征数据和表格强化特征，第二Transformer解码层的输入为表格特征数据和第一Transformer解码层的输出，第三Transformer解码层的输入为表格特征数据和表格强化特征，第四Transformer解码层的输入为表格特征数据和第三Transformer解码层的输出。
其中，第一Transformer解码层、第二Transformer解码层、第三Transformer解码层以及第四Transformer解码层的结构与上述Transformer解码层相同，分别独立地包括掩码多头注意力子层、多头注意力子层、前馈网络子层以及连接各子层的残差连接子层；第一输出层和第二输出层分别独立地包括线性层和softmax层，由于两个分支的解码层最后输出的分别为结构序列向量和文本框预测位置向量，通过线性层将输出的向量映射为更长的向量，例如，表格图像中有50个结构标签，则通过线性层输出的向量有50维，每个位置的结构标签代表相应结构标签的分数，通过softmax层将分数转换为概率，概率最大的结构标签作为当前输出层的输出，文本框预测同理。
基于结构预测序列和位置预测结果计算损失值，并根据损失值调整待训练模型的模型参数，继续迭代训练，直至收敛，输出训练完成的模型。其中，满足收敛条件可以是损失值没有显著变化，也可以是迭代次数达到预设次数。
模型参数包括待训练模型各层的参数，包括权重参数、偏置参数等。
训练过程中，可以采用Adam优化器对待训练模型的模型参数和损失函数进行优化，以实现模型更快地收敛，提高模型的训练效果和泛化能力。
通过训练集中简化的结构标签表示整个表格结构，能够降低模型的学习难度，提高模型训练效率，同时，通过对模型进行训练，能够使得模型适用于真实业务场景的各种复杂结构表格解析，实现表格自动化解析，提高了表格解析的效率及准确度。
步骤S204，通过测试集验证训练完成的模型，得到验证结果，在验证结果符合预设条件时，输出最终的模型作为表格解析模型。
在验证阶段，可以只采用单行文本表格图像作为测试集进行模型验证，具体的，从测试集中选取单行文本的表格图像组成测试子集；将测试子集输入训练完成的模型，得到预测结果；根据预测结果计算模型的预测精度，将预测精度作为验证结果。
预测精度的计算公式如下：
其中，N是样本数量，yi ′是预测结果(预测结构标签序列和预测单元格位置)，yi是实际值(实际单元格位置和实际结构标签序列)；1(yi ′＝yi)表示预测结果与实际值一样，样本计数为1。
在预测精度大于等于预设阈值时，输出训练完成的模型作为最终的表格解析模型；如果预测精度小于预设阈值，则说明模型的预测准确度不高，需要增加样本数量，或者修改模型参数，重新训练，以提高预测精度。
本申请通过对训练完成的模型进行验证，能够提高模型的预测正确率。
步骤S205，获取待解析图片，识别待解析图片中目标表格的文本行定位框以及文本行定位框中的文本信息。
接收表格解析请求，从表格解析请求中获取待解析图片，对待解析图片中的表格进行文本行检测和文本行识别，得到文本行定位框以及文本行定位框中的文本信息。
在本实施例的一些可选的实现方式中，上述识别待解析图片中目标表格的文本行定位框以及文本行定位框中的文本信息的步骤包括：
通过PSEnet算法对目标表格中的文本进行定位，得到文本行定位框；
通过文本行识别算法对文本行定位框就那些文本识别，得到对应的文本信息。
PSEnet算法采用PSEnet网络实现，PSEnet网络的架构为resnet+FPN(FeaturePyramid Networks，特征图金字塔网络)，通过resnet提取特征，取不同层的特征送入FPN进行特征融合，实现分割结果的渐进式的扩展算法。
PSEnet算法的特点是可以对任意形状的文本进行定位。PSEnet算法进行文本定位，首先会预测每个文本行不同的kernel，这些kernel一般与文本行有相同的形状和中心，并且不超过文本原始行的大小。之后对这些kernel采用基于BFS扩增算法，首先从最小的scale开始，逐步放大，最终扩增到原始文本的大小，得到单元格定位文本行，即文本行定位框。
通过文本行识别算法对文本行定位框进行文本识别，在本实施例中，文本识别算法可以采用训练好的MASTER模型，MASTER模型包括编码器和解码器，编码器包括特征提取层和编码层，编码层包括残差子层、多头全局注意力子层以及特征融合子层；解码器包括embedding层、解码层以及线性&softmax层，解码层包括依次连接的掩码多头注意力子层、残差连接子层、多头注意力子层、残差连接子层、前馈网络子层以及残差连接子层。
通过PSEnet算法能够提高文本行定位的准确性，通过文本行识别算法能够提高文本行文本识别的准确度。
步骤S206，将待解析图片输入表格解析模型中，得到目标表格的表格结构信息和每个单元格的位置信息。
在本实施例中，通过表格解析模型对待解析图片中的目标表格进行解析，得到表格结构信息(即结构标签序列)和单元格的文本框位置(即位置信息)，。
步骤S207，根据位置信息匹配文本行定位框，得到每个单元格的匹配文本定位框。
通过上述步骤获得了表格结构和每个单元格的文本框，以及每个文本行定位框及其对应的文本内容。要生成完整的HTML序列，需要将每个文本行定位框分配到相应的表格结构单元格中。
根据单元格文本框坐标和文本行定位框坐标，把文本行定位框坐标和单元格文本框坐标进行匹配，然后就可以把对应文本行定位框的识别内容填充到对应单元格的结构标签序列中，从而得到最终的html文本，即表格解析结果。
进一步的，文本行定位框的匹配主要基于三个规则：1、中心点规则，如果文本行定位框的中心点在单元格的文本框内，则把文本行定位框相应的文字内容填充到对应的结构标签序列中；2、IOU(Intersection over Union，交并比)规则，在不满足第一点原则的情况下，计算单元格文本框和文本行定位框的IOU，将IOU超过预设阈值的单元格文本框作为匹配项；3、距离原则，如果以上两点规则都不满足，则计算所有单元格文本框和文本行定位框的距离，选取距离最小的单元格框作为匹配项。
具体的，上述根据位置信息匹配文本行定位框，得到每个单元格的匹配文本定位框的步骤包括：
获取文本行定位框的坐标信息，根据坐标信息计算得到文本行定位框的中心坐标，并根据位置信息获得单元格的文本框；
当中心坐标在文本框区域内时，确定文本行定位框为单元格的匹配文本定位框；
当中心坐标不在文本框区域内时，计算文本行定位框与每个文本框之间的交并比；
当存在大于预设阈值的交并比时，确定交并比大于预设阈值的文本框对应的单元格为匹配单元格，则将文本行定位框为匹配单元格的匹配文本定位框；
当不存在大于预设阈值的交并比时，计算文本行定位框与每个文本框之间的距离；
确定距离最小的文本框对应的单元格为匹配单元格，则将文本行定位框为匹配单元格的匹配文本定位框。
通过PSEnet算法能够获得文本行定位框的坐标信息，其中，坐标信息包括文本定位框的四个顶点坐标，左上角坐标(x1，y1)、左下角坐标(x2，y2)、右上角坐标(x3，y3)和右下角坐标(x4，y4)，则文本行定位框的中心坐标如下：
根据单元格的位置信息获取单元格文本框的坐标，根据单元格文本框的坐标得到文本框区域，确定文本行定位框的中心坐标是否在文本框区域内，当中心坐标在文本框区域内时，确定文本行定位框为单元格的匹配文本定位框。应当理解，一个单元格可能含有多个文本行，则一个文本框的匹配文本定位框可能具有多个。
文本行定位框与文本框之间的交并比，其预设阈值可以根据实际情况进行设置。
在本实施例中，文本行定位框与文本框之间的距离，可以采用欧几里得距离来实现。
通过文本行定位框的坐标和单元格文本框的坐标，按照匹配规则进行匹配，可以提高匹配的准确度，进而提升表格解析的准确度。
步骤S208，基于结构信息和匹配文本定位框对应的文本信息，生成目标表格的解析结果。
将文本行定位框分配到对应的单元格后，把文本行定位框对应识别的文本信息填充到对应单元格的结构标签序列中，从而得到最终的HTML文本，即表格解析结果，HTML文本可以还原为可视的表格结构。
本申请通过解析全部业务场景下的表格图像的表格结构，得到表格图像的单元格位置和单元格属性，并根据预设标签规则生成结构标签序列，使得结构标签更准确反映各种业务场景的表格结构，数据标注更加简单高效；通过训练集对构建的待训练模型进行训练得到训练完成的模型，并采用测试集验证训练完成的模型输出符合条件的模型作为表格解析模型，使得模型更容易学习，提高模型预测的表格结构的准确度；通过识别待解析图片中目标表格的文本行定位框以及对应的文本信息，能够实现文本行的精准定位，提高文本行文本识别的准确率；通过表格解析模型得到待解析图片的目标表格的每个单元格对应的结构信息和位置信息，根据位置信息将每个文本行定位框分配到相应的单元格，能够提高表格解析的准确度，以获得更准确的表格结构；通过结构信息和匹配文本定位框对应的文本信息生成目标表格的解析结果，实现了表格数据结构化输出。
在一些可选的实现方式中，上述基于结构预测序列和位置预测结果计算损失值，并根据损失值调整待训练模型的模型参数的步骤包括：
基于结构预测序列和标注数据的结构标签序列进行交叉熵损失函数计算，得到序列预测损失值；
基于位置预测结果和标注数据的单元格位置进行损失函数计算，得到位置预测损失值；
对序列预测损失值和位置预测损失值进行加权计算，得到融合损失值；
通过序列预测损失值和位置预测损失值对应调整序列预测模块和单元格位置回归模块的模型参数，并通过融合损失值调整特征提取层和Transformer解码层的模型参数。
对于序列预测，使用标准的交叉熵损失；对于单元格文本框回归，对单元格文本框的[x,y,w,h]坐标进行回归。坐标归一化为[0,1]。对于单元格文本框回归，在损失计算之前使用Sigmoid激活函数，则损失函数如下：
L2＝-[ylogy′+(1-y)log(1-y′)]；
其中，L2为位置预测损失值；y表示真实的单元格位置；y’表示预测的位置。
融合损失值L＝w1L1+w2L2；
其中，w1和w2分别为序列预测损失值L1和位置预测损失值L2对应的权重，可以通过训练获得，也可以根据实际情况进行设置。
通过损失函数可以指导模型参数的调整和优化，提高模型的预测准确度。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种表格解析装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的表格解析装置300包括：获取模块301、序列生成模块302、训练模块303、验证模块304、识别模块305、表格解析模块306、匹配模块307以及结果生成模块308。其中：
获取模块301用于获取全部业务场景的表格图像集，解析所述表格图像集中每张表格图像的表格结构，得到每张所述表格图像中每个单元格的单元格位置和单元格属性；
序列生成模块302用于根据所述单元格位置和所述单元格属性，按照预设标签规则生成所述表格图像的结构标签序列，并将所述单元格位置和所述结构标签序列作为所述表格图像集的标注数据，构造样本数据集；
训练模块303用于按照预设比例将所述样本数据集分为训练集和测试集，将所述训练集输入预构建的待训练模型中，得到训练完成的模型；
验证模块304用于通过所述测试集验证所述训练完成的模型，得到验证结果，在所述验证结果符合预设条件时，输出最终的模型作为表格解析模型；
识别模块305用于获取待解析图片，识别所述待解析图片中目标表格的文本行定位框以及所述文本行定位框中的文本信息；
表格解析模块306用于将所述待解析图片输入所述表格解析模型中，得到所述目标表格的表格结构信息和每个单元格的位置信息；
匹配模块307用于根据所述位置信息匹配所述文本行定位框，得到每个所述单元格的匹配文本定位框；
结果生成模块308用于基于所述结构信息和所述匹配文本定位框对应的文本信息，生成所述目标表格的解析结果。
需要强调的是，为进一步保证表格图像集的私密和安全性，上述表格图像集还可以存储于一区块链的节点中。
基于上述表格解析装置300，通过解析全部业务场景下的表格图像的表格结构，得到表格图像的单元格位置和单元格属性，并根据预设标签规则生成结构标签序列，使得结构标签更准确反映各种业务场景的表格结构，数据标注更加简单高效；通过训练集对构建的待训练模型进行训练得到训练完成的模型，并采用测试集验证训练完成的模型输出符合条件的模型作为表格解析模型，使得模型更容易学习，提高模型预测的表格结构的准确度；通过识别待解析图片中目标表格的文本行定位框以及对应的文本信息，能够实现文本行的精准定位，提高文本行文本识别的准确率；通过表格解析模型得到待解析图片的目标表格的每个单元格对应的结构信息和位置信息，根据位置信息将每个文本行定位框分配到相应的单元格，能够提高表格解析的准确度，以获得更准确的表格结构；通过结构信息和匹配文本定位框对应的文本信息生成目标表格的解析结果，实现了表格数据结构化输出。
在一些可选的实现方式中，序列生成模块302包括：
标签获取子模块，用于根据所述预设标签规则获取所述单元格属性对应的结构标签；
拼接子模块，用于将所述结构标签按照所述单元格位置进行拼接，得到所述表格图像的结构标签序列。
通过预设标签规则设置的结构标签用于表示表格结构，简化表格结构的表示，更有利于对真实业务场景中复杂结构的表格进行表示，同时，使得训练数据更容易标注、降低模型的学习难度，提高模型的训练效率以及模型预测准确率。
在本实施例的一些可选的实现方式中，所述待训练模型包括特征提取层、解码嵌入层、解码位置编码层、Transformer解码层、序列预测模块以及单元格位置回归模块；训练模块303包括：
特征提取子模块，用于将所述训练集输入所述特征提取层进行特征提取，得到表格特征数据；
嵌入子模块，用于将所述训练集的标注数据输入到所述解码嵌入层，得到标注数据特征向量；
位置编码子模块，用于将所述标注数据特征向量输入到所述解码位置编码层中，得到标注数据位置向量；
向量相加子模块，用于将所述标注数据特征向量和所述标注数据位置向量相加，得到输入向量；
解码子模块，用于将所述输入向量和所述表格特征数据输入所述Transformer解码层，得到表格强化特征；
预测子模块，用于将所述表格强化特征分别输入所述序列预测模块和所述单元格位置回归模块，得到结构预测序列和位置预测结果；
调整优化子模块，用于基于所述结构预测序列和所述位置预测结果计算损失值，并根据所述损失值调整所述待训练模型的模型参数，继续迭代训练，直至收敛，输出训练完成的模型。
通过训练集中简化的结构标签表示整个表格结构，能够降低模型的学习难度，提高模型训练效率，同时，通过对模型进行训练，能够使得模型适用于真实业务场景的各种复杂结构表格解析，实现表格自动化解析，提高了表格解析的效率及准确度。
在本实施例中，调整优化子模块包括：
第一计算单元，用于基于所述结构预测序列和所述标注数据的结构标签序列进行交叉熵损失函数计算，得到序列预测损失值；
第二计算单元，用于基于所述位置预测结果和所述标注数据的单元格位置进行损失函数计算，得到位置预测损失值；
融合单元，用于对所述序列预测损失值和所述位置预测损失值进行加权计算，得到融合损失值；
调整单元，用于通过所述序列预测损失值和所述位置预测损失值对应调整所述序列预测模块和所述单元格位置回归模块的模型参数，并通过所述融合损失值调整所述特征提取层和所述Transformer解码层的模型参数。
通过损失函数可以指导模型参数的调整和优化，提高模型的预测准确度。
在本实施例的一些可选的实现方式中，验证模块304包括：
选取子模块，用于从所述测试集中选取单行文本的表格图像组成测试子集；
验证子模块，用于将所述测试子集输入所述训练完成的模型，得到预测结果；
计算子模块，用于根据所述预测结果计算模型的预测精度，将所述预测精度作为验证结果。
通过对训练完成的模型进行验证，能够提高模型的预测正确率。
在一些可选的实现方式中，识别模块305包括：
文本行定位子模块，用于通过PSEnet算法对所述目标表格中的文本进行定位，得到文本行定位框；
文本行识别子模块，用于通过文本行识别算法对所述文本行定位框进行文本识别，得到对应的文本信息。
通过PSEnet算法能够提高文本行定位的准确性，通过文本行识别算法能够提高文本行文本识别的准确度。
在本实施例的一些可选的实现方式中，匹配模块307包括：
坐标计算子模块，用于获取所述文本行定位框的坐标信息，根据所述坐标信息计算得到所述文本行定位框的中心坐标，并根据所述位置信息获得所述单元格的文本框；
第一确定子模块，用于当所述中心坐标在所述文本框区域内时，确定所述文本行定位框为所述单元格的匹配文本定位框；
交并比计算子模块，用于当所述中心坐标不在所述文本框区域内时，计算所述文本行定位框与每个所述文本框之间的交并比；
第二确定子模块，用于当存在大于预设阈值的交并比时，确定所述交并比大于预设阈值的所述文本框对应的单元格为匹配单元格，则将所述文本行定位框作为所述匹配单元格的匹配文本定位框；
距离计算子模块，用于当不存在大于预设阈值的交并比时，计算所述文本行定位框与每个所述文本框之间的距离；
第三确定子模块，用于确定所述距离最小的所述文本框对应的单元格为匹配单元格，则将所述文本行定位框作为所述匹配单元格的匹配文本定位框。
通过文本行定位框的坐标和单元格文本框的坐标，按照匹配规则进行匹配，可以提高匹配的准确度，进而提升表格解析的准确度。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如表格解析方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述表格解析方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例表格解析方法的步骤，通过解析全部业务场景下的表格图像的表格结构，得到表格图像的单元格位置和单元格属性，并根据预设标签规则生成结构标签序列，使得结构标签更准确反映各种业务场景的表格结构，数据标注更加简单高效；通过训练集对构建的待训练模型进行训练得到训练完成的模型，并采用测试集验证训练完成的模型输出符合条件的模型作为表格解析模型，使得模型更容易学习，提高模型预测的表格结构的准确度；通过识别待解析图片中目标表格的文本行定位框以及对应的文本信息，能够实现文本行的精准定位，提高文本行文本识别的准确率；通过表格解析模型得到待解析图片的目标表格的每个单元格对应的结构信息和位置信息，根据位置信息将每个文本行定位框分配到相应的单元格，能够提高表格解析的准确度，以获得更准确的表格结构；通过结构信息和匹配文本定位框对应的文本信息生成目标表格的解析结果，实现了表格数据结构化输出。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的表格解析方法的步骤，通过解析全部业务场景下的表格图像的表格结构，得到表格图像的单元格位置和单元格属性，并根据预设标签规则生成结构标签序列，使得结构标签更准确反映各种业务场景的表格结构，数据标注更加简单高效；通过训练集对构建的待训练模型进行训练得到训练完成的模型，并采用测试集验证训练完成的模型输出符合条件的模型作为表格解析模型，使得模型更容易学习，提高模型预测的表格结构的准确度；通过识别待解析图片中目标表格的文本行定位框以及对应的文本信息，能够实现文本行的精准定位，提高文本行文本识别的准确率；通过表格解析模型得到待解析图片的目标表格的每个单元格对应的结构信息和位置信息，根据位置信息将每个文本行定位框分配到相应的单元格，能够提高表格解析的准确度，以获得更准确的表格结构；通过结构信息和匹配文本定位框对应的文本信息生成目标表格的解析结果，实现了表格数据结构化输出。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种表格解析方法，其特征在于，包括下述步骤：
获取全部业务场景的表格图像集，解析所述表格图像集中每张表格图像的表格结构，得到每张所述表格图像中每个单元格的单元格位置和单元格属性；
根据所述单元格位置和所述单元格属性，按照预设标签规则生成所述表格图像的结构标签序列，并将所述单元格位置和所述结构标签序列作为所述表格图像集的标注数据，构造样本数据集；
按照预设比例将所述样本数据集分为训练集和测试集，将所述训练集输入预构建的待训练模型中，得到训练完成的模型；
通过所述测试集验证所述训练完成的模型，得到验证结果，在所述验证结果符合预设条件时，输出最终的模型作为表格解析模型；
获取待解析图片，识别所述待解析图片中目标表格的文本行定位框以及所述文本行定位框中的文本信息；
将所述待解析图片输入所述表格解析模型中，得到所述目标表格的表格结构信息和每个单元格的位置信息；
根据所述位置信息匹配所述文本行定位框，得到每个所述单元格的匹配文本定位框；
基于所述结构信息和所述匹配文本定位框对应的文本信息，生成所述目标表格的解析结果。
2.根据权利要求1所述的表格解析方法，其特征在于，所述根据所述单元格位置和所述单元格属性，按照预设标签规则生成所述表格图像的结构标签序列的步骤包括：
根据所述预设标签规则获取所述单元格属性对应的结构标签；
将所述结构标签按照所述单元格位置进行拼接，得到所述表格图像的结构标签序列。
3.根据权利要求1所述的表格解析方法，其特征在于，所述待训练模型包括特征提取层、解码嵌入层、解码位置编码层、Transformer解码层、序列预测模块以及单元格位置回归模块；所述将所述训练集输入预构建的待训练模型中，得到训练完成的模型的步骤包括：
将所述训练集输入所述特征提取层进行特征提取，得到表格特征数据；
将所述训练集的标注数据输入到所述解码嵌入层，得到标注数据特征向量；
将所述标注数据特征向量输入到所述解码位置编码层中，得到标注数据位置向量；
将所述标注数据特征向量和所述标注数据位置向量相加，得到输入向量；
将所述输入向量和所述表格特征数据输入所述Transformer解码层，得到表格强化特征；
将所述表格强化特征分别输入所述序列预测模块和所述单元格位置回归模块，得到结构预测序列和位置预测结果；
基于所述结构预测序列和所述位置预测结果计算损失值，并根据所述损失值调整所述待训练模型的模型参数，继续迭代训练，直至收敛，输出训练完成的模型。
4.根据权利要求3所述的表格解析方法，其特征在于，所述基于所述结构预测序列和所述位置预测结果计算损失值，并根据所述损失值调整所述待训练模型的模型参数的步骤包括：
基于所述结构预测序列和所述标注数据的结构标签序列进行交叉熵损失函数计算，得到序列预测损失值；
基于所述位置预测结果和所述标注数据的单元格位置进行损失函数计算，得到位置预测损失值；
对所述序列预测损失值和所述位置预测损失值进行加权计算，得到融合损失值；
通过所述序列预测损失值和所述位置预测损失值对应调整所述序列预测模块和所述单元格位置回归模块的模型参数，并通过所述融合损失值调整所述特征提取层和所述Transformer解码层的模型参数。
5.根据权利要求1所述的表格解析方法，其特征在于，所述通过所述测试集验证所述训练完成的模型，得到验证结果的步骤包括：
从所述测试集中选取单行文本的表格图像组成测试子集；
将所述测试子集输入所述训练完成的模型，得到预测结果；
根据所述预测结果计算模型的预测精度，将所述预测精度作为验证结果。
6.根据权利要求1所述的表格解析方法，其特征在于，所述识别所述待解析图片中目标表格的文本行定位框以及所述文本行定位框中的文本信息的步骤包括：
通过PSEnet算法对所述目标表格中的文本进行定位，得到文本行定位框；
通过文本行识别算法对所述文本行定位框进行文本识别，得到对应的文本信息。
7.根据权利要求6所述的表格解析方法，其特征在于，所述根据所述位置信息匹配所述文本行定位框，得到每个所述单元格的匹配文本定位框的步骤包括：
获取所述文本行定位框的坐标信息，根据所述坐标信息计算得到所述文本行定位框的中心坐标，并根据所述位置信息获得所述单元格的文本框；
当所述中心坐标在所述文本框区域内时，确定所述文本行定位框为所述单元格的匹配文本定位框；
当所述中心坐标不在所述文本框区域内时，计算所述文本行定位框与每个所述文本框之间的交并比；
当存在大于预设阈值的交并比时，确定所述交并比大于预设阈值的所述文本框对应的单元格为匹配单元格，则将所述文本行定位框作为所述匹配单元格的匹配文本定位框；
当不存在大于预设阈值的交并比时，计算所述文本行定位框与每个所述文本框之间的距离；
确定所述距离最小的所述文本框对应的单元格为匹配单元格，则将所述文本行定位框作为所述匹配单元格的匹配文本定位框。
8.一种表格解析装置，其特征在于，包括：
获取模块，用于获取全部业务场景的表格图像集，解析所述表格图像集中每张表格图像的表格结构，得到每张所述表格图像中每个单元格的单元格位置和单元格属性；
序列生成模块，用于根据所述单元格位置和所述单元格属性，按照预设标签规则生成所述表格图像的结构标签序列，并将所述单元格位置和所述结构标签序列作为所述表格图像集的标注数据，构造样本数据集；
训练模块，用于按照预设比例将所述样本数据集分为训练集和测试集，将所述训练集输入预构建的待训练模型中，得到训练完成的模型；
验证模块，用于通过所述测试集验证所述训练完成的模型，得到验证结果，在所述验证结果符合预设条件时，输出最终的模型作为表格解析模型；
识别模块，用于获取待解析图片，识别所述待解析图片中目标表格的文本行定位框以及所述文本行定位框中的文本信息；
表格解析模块，用于将所述待解析图片输入所述表格解析模型中，得到所述目标表格的表格结构信息和每个单元格的位置信息；
匹配模块，用于根据所述位置信息匹配所述文本行定位框，得到每个所述单元格的匹配文本定位框；
结果生成模块，用于基于所述结构信息和所述匹配文本定位框对应的文本信息，生成所述目标表格的解析结果。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的表格解析方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的表格解析方法的步骤。
CN202311238008.7A 2023-09-22 2023-09-22 一种表格解析方法、装置、计算机设备及存储介质 Pending CN117115841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311238008.7A CN117115841A (zh) 2023-09-22 2023-09-22 一种表格解析方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311238008.7A CN117115841A (zh) 2023-09-22 2023-09-22 一种表格解析方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN117115841A true CN117115841A (zh) 2023-11-24

Family

ID=88811084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311238008.7A Pending CN117115841A (zh) 2023-09-22 2023-09-22 一种表格解析方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117115841A (zh)

Similar Documents

Publication Publication Date Title
CN112863683B (zh) 基于人工智能的病历质控方法、装置、计算机设备及存储介质
CN112395390B (zh) 意图识别模型的训练语料生成方法及其相关设备
CN112861662B (zh) 基于人脸和交互文本的目标对象行为预测方法及相关设备
CN114462412B (zh) 实体识别方法、装置、电子设备及存储介质
US11934786B2 (en) Iterative training for text-image-layout data in natural language processing
CN112801099B (zh) 一种图像处理方法、装置、终端设备及介质
CN115544560A (zh) 一种敏感信息的脱敏方法、装置、计算机设备及存储介质
CN112949320B (zh) 基于条件随机场的序列标注方法、装置、设备及介质
CN114639109A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN112598039B (zh) 获取nlp分类领域阳性样本方法及相关设备
CN115905605A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN116774973A (zh) 数据渲染方法、装置、计算机设备及存储介质
CN116756281A (zh) 知识问答方法、装置、设备和介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN112100390B (zh) 基于场景的文本分类模型、文本分类方法及装置
CN112395450B (zh) 图片文字检测方法、装置、计算机设备及存储介质
CN117115841A (zh) 一种表格解析方法、装置、计算机设备及存储介质
CN114359928A (zh) 一种电子发票识别方法、装置、计算机设备及存储介质
CN113326698A (zh) 检测实体关系的方法、模型训练方法及电子设备
CN114692715A (zh) 一种样本标注方法及装置
CN116561540B (zh) 业务数据校正方法、装置及ai数字人的训练方法、装置
CN112732913B (zh) 一种非均衡样本的分类方法、装置、设备及存储介质
CN117389607A (zh) 看板配置方法、装置、计算机设备及存储介质
CN117251799A (zh) 一种财务凭证处理方法、装置、计算机设备及存储介质
CN116453140A (zh) 基于人工智能的文档图像特征提取方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination