CN114996434B - 一种信息抽取方法及装置、存储介质、计算机设备 - Google Patents
一种信息抽取方法及装置、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN114996434B CN114996434B CN202210942486.5A CN202210942486A CN114996434B CN 114996434 B CN114996434 B CN 114996434B CN 202210942486 A CN202210942486 A CN 202210942486A CN 114996434 B CN114996434 B CN 114996434B
- Authority
- CN
- China
- Prior art keywords
- model
- current round
- parameters
- target
- round
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种信息抽取方法及装置、存储介质、计算机设备，该方法包括：通过文本分类模型识别目标文本的目标文本类别；获取所述目标文本类别对应的多个目标抽取问题，分别将每个所述目标抽取问题与所述目标文本进行拼接，得到每个所述目标抽取问题对应的信息抽取文本，并将所述信息抽取文本输入到信息抽取模型中获得每个所述目标抽取问题对应的待校验答案；获取每个所述待校验答案所在的文本语句，依据所述目标抽取问题的问题类别，确定所述待校验答案的答案类别，并依据所述文本语句以及所述待校验答案，构建节点拓扑图；将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确。
Description
技术领域
本申请涉及数据处理技术领域，尤其是涉及到一种信息抽取方法及装置、存储介质、计算机设备。
背景技术
随着计算机技术的不断发展，在各行各业每天都会产生海量数据，在海量数据中抽取出关注的关键信息对各行各业尤为重要。如何提升信息抽取的准确性是信息抽取技术领域一直以来不断探索的方向。
发明内容
有鉴于此，本申请提供了一种信息抽取方法及装置、存储介质、计算机设备，有助于提升抽取信息的准确性。
根据本申请的一个方面，提供了一种信息抽取方法，所述方法包括：
通过文本分类模型识别目标文本的目标文本类别；
获取所述目标文本类别对应的多个目标抽取问题，分别将每个所述目标抽取问题与所述目标文本进行拼接，得到每个所述目标抽取问题对应的信息抽取文本，并将所述信息抽取文本输入到信息抽取模型中获得每个所述目标抽取问题对应的待校验答案；
获取每个所述待校验答案所在的文本语句，依据所述目标抽取问题的问题类别，确定所述待校验答案的答案类别，并依据所述文本语句以及所述待校验答案，构建节点拓扑图，其中，所述节点拓扑图包括文本语句节点、不同答案类别的答案节点以及不同类型节点的连接关系；
将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确。
可选地，所述目标抽取问题中包括一个主要类别问题和至少一个次要类别问题；
所述根据所述文本语句以及所述待校验答案，构建节点拓扑图，包括：
依据所述文本语句以及不同类型的所述待校验答案，确定文本语句节点、主要类别答案节点以及次要类别答案节点；
对所述文本语句节点、所述主要类别答案节点以及所述次要类别答案节点进行两两组合，并建立包含组合节点和组合节点的节点关系的三元组；
依据所述三元组，构建所述节点拓扑图。
可选地，所述将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确之后，所述方法还包括：
获取所述待校验答案中校验结果为正确的目标答案；
确定所述目标文本类别对应的目标信息抽取表单，并将所述目标答案填充在所述目标信息抽取表单的对应位置。
可选地，所述文本分类模型、所述信息抽取模型以及所述节点校验模型中至少之一通过以下模型训练方式获得：
服务器在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至所述本轮客户端中，所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将所述本轮目标模型参数返回至所述服务器中；
所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数；
当所述本轮聚合参数未达到所述服务器的采样条件时，将所述本轮聚合参数作为下轮初始模型参数，并在所述客户端集合中重新采样多个下轮客户端，向所述下轮客户端发送所述下轮初始模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
当所述本轮聚合参数达到所述服务器的采样条件时，将所述本轮聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练。
可选地，所述服务器在客户端集合中采样多个本轮客户端之前，所述方法还包括：
初始化元模型参数，将所述元模型的初始化参数作为第一轮初始模型参数，其中，所述客户端集合中每个所述客户端对应的本地模型的模型结构均与所述元模型的模型结构相同。
可选地，所述方法还包括：
所述本轮客户端将所述本轮目标模型参数以及本轮训练样本量返回至所述服务器中；
所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数，包括：
所述服务器根据每个所述本轮客户端对应的所述本轮训练样本量占本轮训练样本总数的比例，确定每个所述本轮客户端对应的所述本轮目标模型参数的参数权重，并按所述参数权重对所述本轮目标模型参数进行加权求和，得到所述本轮聚合参数。
可选地，所述本轮初始模型参数包括本轮初始文本分类模型参数、本轮初始信息抽取模型参数以及本轮初始节点校验模型参数；所述节点校验模型包括卷积层和分类层；所述方法还包括：
若所述本轮客户端为首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型进行模型参数配置；
若所述本轮客户端为非首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数中的卷积层参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型的卷积层进行模型参数配置，并保持所述本轮初始节点校验模型参数中的分类层参数不变。
根据本申请的另一方面，提供了一种信息抽取装置，所述装置包括：
文本分类模块，用于通过文本分类模型识别目标文本的目标文本类别；
信息抽取模块，用于获取所述目标文本类别对应的多个目标抽取问题，分别将每个所述目标抽取问题与所述目标文本进行拼接，得到每个所述目标抽取问题对应的信息抽取文本，并将所述信息抽取文本输入到信息抽取模型中获得每个所述目标抽取问题对应的待校验答案；
拓扑图构建模块，用于获取每个所述待校验答案所在的文本语句，依据所述目标抽取问题的问题类别，确定所述待校验答案的答案类别，并依据所述文本语句以及所述待校验答案，构建节点拓扑图，其中，所述节点拓扑图包括文本语句节点、不同答案类别的答案节点以及不同类型节点的连接关系；
答案校验模块，用于将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确。
可选地，所述目标抽取问题中包括一个主要类别问题和至少一个次要类别问题；
所述拓扑图构建模块，具体用于：
依据所述文本语句以及不同类型的所述待校验答案，确定文本语句节点、主要类别答案节点以及次要类别答案节点；
对所述文本语句节点、所述主要类别答案节点以及所述次要类别答案节点进行两两组合，并建立包含组合节点和组合节点的节点关系的三元组；
依据所述三元组，构建所述节点拓扑图。
可选地，所述装置还包括：
填表模块，用于所述将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确之后，获取所述待校验答案中校验结果为正确的目标答案；确定所述目标文本类别对应的目标信息抽取表单，并将所述目标答案填充在所述目标信息抽取表单的对应位置。
可选地，所述文本分类模型、所述信息抽取模型以及所述节点校验模型中至少之一通过以下模型训练方式获得：
服务器在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至所述本轮客户端中，所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将所述本轮目标模型参数返回至所述服务器中；
所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数；
当所述本轮聚合参数未达到所述服务器的采样条件时，将所述本轮聚合参数作为下轮初始模型参数，并在所述客户端集合中重新采样多个下轮客户端，向所述下轮客户端发送所述下轮初始模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
当所述本轮聚合参数达到所述服务器的采样条件时，将所述本轮聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练。
可选地，通过以下方式确定第一轮初始模型参数：
初始化元模型参数，将所述元模型的初始化参数作为第一轮初始模型参数，其中，所述客户端集合中每个所述客户端对应的本地模型的模型结构均与所述元模型的模型结构相同。
可选地，所述本轮客户端将所述本轮目标模型参数以及本轮训练样本量返回至所述服务器中；
所述服务器根据每个所述本轮客户端对应的所述本轮训练样本量占本轮训练样本总数的比例，确定每个所述本轮客户端对应的所述本轮目标模型参数的参数权重，并按所述参数权重对所述本轮目标模型参数进行加权求和，得到所述本轮聚合参数。
可选地，所述本轮初始模型参数包括本轮初始文本分类模型参数、本轮初始信息抽取模型参数以及本轮初始节点校验模型参数；所述节点校验模型包括卷积层和分类层；
若所述本轮客户端为首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型进行模型参数配置；
若所述本轮客户端为非首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数中的卷积层参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型的卷积层进行模型参数配置，并保持所述本轮初始节点校验模型参数中的分类层参数不变。
根据本申请的另一方面，提供了一种用于实现信息抽取的模型的训练系统，所述系统包括：
服务器和多个客户端，其中，多个客户端构成客户端集合；
所述服务器，用于在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至所述本轮客户端中；
所述本轮客户端，用于按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将所述本轮目标模型参数返回至所述服务器中；
所述服务器，还用于对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数；
所述服务器，还用于当所述本轮聚合参数未达到所述服务器的采样条件时，将所述本轮聚合参数作为下轮初始模型参数，并在所述客户端集合中重新采样多个下轮客户端，向所述下轮客户端发送所述下轮初始模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
所述服务器，还用于当所述本轮聚合参数达到所述服务器的采样条件时，将所述本轮聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练。
可选地，所述服务器，还用于：
在客户端集合中采样多个本轮客户端之前，初始化元模型参数，将所述元模型的初始化参数作为第一轮初始模型参数，其中，所述客户端集合中每个所述客户端对应的本地模型的模型结构均与所述元模型的模型结构相同。
可选地，所述本轮客户端，还用于：将所述本轮目标模型参数以及本轮训练样本量返回至所述服务器中；
所述服务器，还用于：根据每个所述本轮客户端对应的所述本轮训练样本量占本轮训练样本总数的比例，确定每个所述本轮客户端对应的所述本轮目标模型参数的参数权重，并按所述参数权重对所述本轮目标模型参数进行加权求和，得到所述本轮聚合参数。
可选地，所述本轮初始模型参数包括本轮初始文本分类模型参数、本轮初始信息抽取模型参数以及本轮初始节点校验模型参数；所述节点校验模型包括卷积层和分类层；
所述本轮客户端，还用于若所述本轮客户端为首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型进行模型参数配置；
所述本轮客户端，还用于若所述本轮客户端为非首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数中的卷积层参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型的卷积层进行模型参数配置，并保持所述本轮初始节点校验模型参数中的分类层参数不变。
依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述信息抽取方法。
依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述信息抽取方法。
借由上述技术方案，本申请提供的一种信息抽取方法及装置、存储介质、计算机设备，先利用文本分类模型对目标文本进行识别，确定目标文本类别，再将目标文本类别对应的目标抽取问题和目标文本进行拼接得到信息抽取文本，输入到信息抽取模型中进行答案抽取，获得待校验答案，最后依据待校验答案以及答案所在的文本语句，构建包含答案节点和文本语句节点之间连接关系的节点拓扑图，并通过节点校验模型对节点拓扑图中的各答案节点的正确性进行校验，从而获得正确的答案。本申请实施例相比于目前的信息抽取技术，先对目标文本进行分类，从而根据目标文本类别对特定的目标抽取问题进行答案精准抽取，并且通过构建包含答案节点和答案所在语句节点的节点拓扑图，对节点拓扑图中各答案节点的正确性进行校验的方式，提升了最终答案的准确性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种信息抽取方法的流程示意图；
图2示出了本申请实施例提供的一种模型方法的流程示意图；
图3示出了本申请实施例提供的另一种信息抽取方法的流程示意图；
图4示出了本申请实施例提供的一种信息抽取装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种信息抽取方法，如图1所示，该方法包括：
步骤101，通过文本分类模型识别目标文本的目标文本类别；
步骤102，获取所述目标文本类别对应的多个目标抽取问题，分别将每个所述目标抽取问题与所述目标文本进行拼接，得到每个所述目标抽取问题对应的信息抽取文本，并将所述信息抽取文本输入到信息抽取模型中获得每个所述目标抽取问题对应的待校验答案；
本申请实施例中，针对待识别的目标文本，先通过文本分类模型识别出目标文本对应的目标文本类别，例如目标文本类别为股东增持事件。对于不同目标文本类别，用户关注的信息不同，因此可以预先设置不同类别对应的抽取问题，识别出目标文本类别后，获取该目标文本类别对应的目标抽取问题，以便按目标抽取问题寻找用户关注的信息。具体地，分别将每个目标抽取问题与目标文本进行拼接，得到各目标抽取问题的信息抽取文本，再将信息抽取文本输入到信息抽取模型中，通过模型在信息抽取文本中抽取目标抽取问题对应的答案，即待校验答案。同样使用股东增持事件进行举例，如果某篇文档属于股东增持事件，需要在文档中抽取公司名称、股东名称、增持占比、增持时间等4个不同的关键信息，此时信息抽取模型会针对这4个信息分别构建4个不同的问句，如“文档中股东增持事件下的股东名称是什么
”等。将4个问句分别与原始的目标文本进行拼接，得到4条信息抽取文本，分别对这4条信息抽取文本进行编码后输入到MRC信息抽取模型（Machine ReadingComprehension，机器阅读理解模型），MRC模型被预先训练为能够预测出答案的起始位置和结束位置，截取起始位置和结束位置之间的文本即可实现答案抽取。
步骤103，获取每个所述待校验答案所在的文本语句，依据所述目标抽取问题的问题类别，确定所述待校验答案的答案类别，并依据所述文本语句以及所述待校验答案，构建节点拓扑图，其中，所述节点拓扑图包括文本语句节点、不同答案类别的答案节点以及不同类型节点的连接关系；
步骤104，将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确。
在该实施例中，为了信息抽取准确性，还可以对信息抽取模型抽取的答案进行准确性校验。具体地，获取每个待校验答案所在的文本语句，一条文本语句生成对应的一个文本语句节点，每个待校验答案按照其对应的目标抽取问题的问题类别，生成对应的一个答案节点，建立各节点之间的连接关系，形成包含全部节点和两两节点之间连接边的节点拓扑图。需要注意的是，不同节点之间的连接关系需要通过不同形式的连接边来标识。最后将节点拓扑图输入到节点校验模型中，对各待校验答案节点的正确性进行校验，最终获得被校验为正确的答案进行输出。
在本申请实施例中，可选地，所述目标抽取问题中包括一个主要类别问题和至少一个次要类别问题；步骤103中“根据所述文本语句以及所述待校验答案，构建节点拓扑图”包括：
S1，依据所述文本语句以及不同类型的所述待校验答案，确定文本语句节点、主要类别答案节点以及次要类别答案节点；
S2，对所述文本语句节点、所述主要类别答案节点以及所述次要类别答案节点进行两两组合，并建立包含组合节点和组合节点的节点关系的三元组；
S3，依据所述三元组，构建所述节点拓扑图。
在上述实施例中，针对每个类型的文本，预先设置的抽取问题中包括一个主要问题和若干个次要问题，按问题的主要和次要将对应的待校验答案划分为主要类别答案节点和次要类别答案节点。构建节点拓扑图时，可以先各待校验答案节点（包括主要类别答案节点和次要类别答案节点）以及各文本语句节点进行两两组合，形成包含主要类别答案-次要类别答案，主要类别答案-文本语句、次要类别答案-文本语句、文本语句-文本语句的四种类型组合，并依据组合中两个元素的关系，构建节点-关系-节点的三元组，最后按照每个三元组包含的节点和关系，构建节点拓扑图。
通过应用本实施例的技术方案，先利用文本分类模型对目标文本进行识别，确定目标文本类别，再将目标文本类别对应的目标抽取问题和目标文本进行拼接得到信息抽取文本，输入到信息抽取模型中进行答案抽取，获得待校验答案，最后依据待校验答案以及答案所在的文本语句，构建包含答案节点和文本语句节点之间连接关系的节点拓扑图，并通过节点校验模型对节点拓扑图中的各答案节点的正确性进行校验，从而获得正确的答案。本申请实施例相比于目前的信息抽取技术，先对目标文本进行分类，从而根据目标文本类别对特定的目标抽取问题进行答案精准抽取，并且通过构建包含答案节点和答案所在语句节点的节点拓扑图，对节点拓扑图中各答案节点的正确性进行校验的方式，提升了最终答案的准确性。
本申请实施例中，可选地，步骤104之后，还包括：获取所述待校验答案中校验结果为正确的目标答案；确定所述目标文本类别对应的目标信息抽取表单，并将所述目标答案填充在所述目标信息抽取表单的对应位置。
在上述实施例中，对节点拓扑图中各答案节点进行正确性校验后，获取其中校验结果为正确的目标答案，并将目标答案填充在预先配置的目标文本类别对应的目标信息抽取表单中，形成目标文本的信息抽取表单进行输出。其中目标信息抽取表单中可以包含目标文本类别以及目标文本类别对应的目标抽取问题，将校验正确的目标答案填充在相应的目标抽取问题处，以便查看。
进一步的，本申请实施例还提供了一种用于实现信息抽取的模型的训练方法，以训练其中的文本分类模型为例，该方法包括：
步骤201，服务器在客户端集合中采样多个本轮客户端，将本轮初始文本分类模型参数发送至每个所述本轮客户端中，所述本轮客户端配置当前文本分类模型的模型参数后进行模型训练，并将训练得到的本轮目标文本分类模型参数返回至所述服务器中。
本申请实施例主要由两阶段的流程组成，分别为服务器流程和客户端流程，设置一个中心服务器和多个参与客户端，中心服务器主要负责收集所有参与客户端发送的模型参数信息，再对收到的模型参数信息进行聚合后分发给参与的客户端。这一过程服务器不会接触任何客户端的数据明文，保障了各方的数据隐私需求。客户端主要负责利用本地数据集进行模型训练，完成后将模型参数或部分统计信息发送给服务器。模型训练过程包括多轮训练，在其中任意一轮训练过程中，服务器在客户端集合中采样一组客户端，即本轮参与训练的本轮客户端，将预先确定的本轮初始文本分类模型参数发送至各本轮客户端中，对于任意一个本轮客户端来说，客户端接收到本轮初始模型参数后，对客户端本地模型进行参数赋值，利用本地数据对赋值后的本地的文本分类模型进行训练，并将训练得到的本地模型参数作为该客户端对应的本轮目标模型参数返回到服务器中。
同理，当训练信息抽取模型时，该步骤S201对应地为：服务器在客户端集合中采样多个本轮客户端，将本轮初始信息抽取模型参数发送至每个所述本轮客户端中，所述本轮客户端配置当前信息抽取模型的模型参数后进行模型训练，并将训练得到的本轮目标信息抽取模型参数返回至所述服务器中。
当训练节点校验模型时，该步骤S201对应为：服务器在客户端集合中采样多个本轮客户端，将本轮初始节点校验模型参数发送至每个所述本轮客户端中，所述本轮客户端配置当前节点校验模型的模型参数后进行模型训练，并将训练得到的本轮目标节点校验模型参数返回至所述服务器中。
在本申请实施例中，可选地，客户端对文本分类模型、信息抽取模型进行模型参数配置的方式为：直接将接收到的本轮初始文本分类模型参数配置为当前文本分类模型的模型参数，以及直接将接收到的本轮初始信息抽取模型参数配置为当前信息抽取模型的模型参数。
所述节点校验模型包括卷积层和分类层；客户端对节点校验模型进行模型参数配置的方式为：
若所述本轮客户端为首次被采样，则依据所述本轮初始节点校验模型参数，对当前节点校验模型进行模型参数配置；
若所述本轮客户端为非首次被采样，则依据所述本轮初始节点校验模型参数中的卷积层参数，对当前节点校验模型的卷积层进行模型参数配置，并保持所述本轮初始节点校验模型参数中的分类层参数不变。
在上述实施例中，如果客户端为首次被采样，那么直接按照服务器发送的各模型的本轮初始模型参数配置为本地模型的模型参数，如果客户端为非首次被采样，说明在此之前本地模型已经进行过模型训练，那么保留节点校验模型的分类层参数，其他部分的模型参数按服务器发送的本轮初始模型参数进行配置，即文本分类模型、信息抽取模型以及节点校验模型的卷积层均按服务器发送的参数进行配置。
步骤202，所述服务器分别对多个所述本轮客户端返回的所述本轮目标文本分类模型参数进行参数聚合，得到本轮文本分类模型聚合参数。
在该实施例中，多个本轮客户端均完成本轮的模型训练后，服务器将接收到多组本轮目标模型参数，服务器对多组本轮目标模型参数进行参数聚合，将本轮多个客户端的训练结果聚合为一组参数，即本轮聚合参数。具体地，可以将各本轮目标模型参数的平均值作为本轮聚合参数。
同理，当训练信息抽取模型时，该步骤S202对应为：所述服务器分别对多个所述本轮客户端返回的所述本轮目标节点校验模型参数进行参数聚合，得到本轮节点校验模型聚合参数；
当训练节点校验模型时，该步骤S202对应为：所述服务器分别对多个所述本轮客户端返回的所述本轮目标节点校验模型参数进行参数聚合，得到本轮节点校验模型聚合参数。
在本申请实施例中，可选地，还包括：所述本轮客户端将本轮文本分类模型训练样本量发送至所述服务器中；相应地，步骤202包括：
步骤202-1，所述服务器依据每个所述本轮客户端对应的所述本轮文本分类模型训练样本量占本轮文本分类模型训练样本总数的第一比例，确定每个所述本轮客户端对应的所述本轮目标文本分类模型参数的第一参数权重，并按所述第一参数权重对所述本轮目标文本分类模型参数进行加权求和，得到所述本轮文本分类模型聚合参数。
同理，当训练信息抽取模式时，该步骤S202-1对应为：所述服务器依据每个所述本轮客户端对应的所述本轮信息抽取模型训练样本量占本轮信息抽取模型训练样本总数的第二比例，确定每个所述本轮客户端对应的所述本轮目标信息抽取模型模型参数的第二参数权重，并按所述第二参数权重对所述本轮目标信息抽取模型参数进行加权求和，得到所述本轮信息抽取模型聚合参数；
当训练节点校验模型时，该步骤S202-1对应为：所述服务器依据每个所述本轮客户端对应的所述本轮节点校验模型训练样本量占本轮节点校验模型训练样本总数的第三比例，确定每个所述本轮客户端对应的所述本轮目标节点校验模型模型参数的第三参数权重，并按所述第三参数权重对所述本轮目标节点校验模型参数进行加权求和，得到所述本轮节点校验模型聚合参数。
在该实施例中，客户端完成一轮模型训练后，除了将训练得到的目标模型参数发送到服务器外，还可以将本轮训练的训练样本量发送到服务器中，服务器进行参数聚合时，将各客户端的训练样本量占本轮训练样本总数的比例，确定为各客户端对应的目标模型参数的参数权重，并按参数权重对目标模型参数进行加权求和，得到本轮聚合参数。其中，每个客户端每轮在本地训练三个模型，分别将三个模型的训练样本量发送至服务器中，即本轮文本分类模型训练样本量、本轮信息抽取模型训练样本量以及本轮节点校验模型训练样本量，服务器接收到各客户端发送的不同模型的训练样本量后，分别对每个模型的模型聚合参数进行计算，提升聚合参数的准确性。
步骤203，当本轮文本分类模型聚合参数未达到所述服务器的采样轮次阈值时，将所述本轮文本分类模型聚合参数作为下轮初始文本分类模型参数，并在所述客户端集合中重新采样多个下轮客户端，向每个所述下轮客户端发送所述下轮初始文本分类模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
同理，当训练信息抽取模型时，步骤S203对应为：当本轮信息抽取模型聚合参数未达到所述服务器的采样轮次阈值时，将所述本轮信息抽取模型聚合参数作为下轮初始信息抽取模型参数，并在所述客户端集合中重新采样多个下轮客户端，向每个所述下轮客户端发送所述下轮初始信息抽取模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
当训练节点校验模型时，步骤S203对应为：当本轮节点校验模型聚合参数未达到所述服务器的采样轮次阈值时，将所述本轮节点校验模型聚合参数作为下轮初始节点校验模型参数，并在所述客户端集合中重新采样多个下轮客户端，向每个所述下轮客户端发送所述下轮初始节点校验模型参数，以通过所述下轮客户端进行下个轮次的模型训练。
在该实施例中，得到本轮聚合参数后，判断是否已经达到了服务器的采样轮次阈值，服务器对客户端的采样轮次达到阈值认为满足采样条件，否则认为未达到采样条件。如果还没有达到服务器的采样条件，那么将本轮聚合参数作为下一轮模型训练的初始模型参数，重新在客户端集合中采样一组客户端，重复上述的训练过程完成下一轮的模型训练。
步骤204，当本轮文本分类模型聚合参数达到所述服务器的采样轮次阈值时，将所述本轮文本分类模型聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮文本分类模型聚合参数进行模型参数配置，得到最终的所述文本分类模型。
在该实施例中，当达到服务器对客户端的采样轮次达到采样轮次阈值时，将最后一轮的聚合参数发送到客户端集合内的每个客户端中，各客户端接收到该参数后，对本地模型进行参数配置，将配置后的模型作为最终的本地模型，完成整个训练过程。
同理，当训练信息抽取模型时，步骤S204对应为：当本轮信息抽取模型聚合参数达到所述服务器的采样轮次阈值时，将所述本轮信息抽取模型聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮信息抽取模型聚合参数进行模型参数配置，得到最终的所述信息抽取模型。
当训练节点校验模型时，步骤S204对应为：当本轮节点校验模型聚合参数达到所述服务器的采样轮次阈值时，将所述本轮节点校验模型聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮节点校验模型聚合参数进行模型参数配置，得到最终的所述节点校验模型。
通过应用本实施例的技术方案，通过服务器和多个客户端协同完成模型训练，客户端利用本地训练样本数据集进行模型训练，完成后将模型参数发送给服务器，服务器对收到的模型参数进行聚合后分发给参与的客户端。训练过程中服务器不会接触任何客户端的训练样本，保障了各方的数据隐私需求，并且通过对多个客户端的模型进行协同、统一训练，提升了模型开发效率以及模型泛化性。
在一个具体的实施例中，客户端集合中包括50个参与的客户端，如图2所示，模型训练流程包括：
a、服务端初始化Bert（Bidirectional Encoder Representation fromTransformers，是一种为不同的自然语言处理任务提供支持的通用的新型语言模型）文本分类模型，MRC（Machine Reading Comprehension，机器阅读理解模型）信息抽取模型，GCN（Graph Convolution Networks，图卷积网络）节点校验模型，每轮采样10个客户端，给每个被采样客户端发送上述三个模型的初始化参数；
b、每个被采样客户端接收到三个模型参数，按照接收到的三个模型参数分别配置本地的三个模型，并进行本地模型训练，得到三个模型训练后的参数；
c、每个被采样客户端都向服务端发送三个模型训练后的参数，同时保留GCN模型作为自己的本地训练参数；
d、服务端对接收到多个被采样客户端的三个模型参数分别进行聚合，聚合按照每个被采样客户端本地的数据量占比进行加权。得到新的下一轮的bert文本分类模型、MRC信息抽取模型和GCN节点校验模型的初始模型参数，并采样下一轮10个客户端；
e、每个客户收到bert和MRC模型参数，直接作为自己的初始化参数开始训练。GCN模型按照不同层使用不同的初始化参数，模型开始的卷积层使用服务端发送的模型参数，模型最后的分类层使用上一次被采样时保存在本地的模型参数。配置参数后进行本地训练，得到三个模型训练后的参数；
f、重复c-e的流程，直到达到最大通信轮次。
在一个具体实施方式中，如图3所示，信息抽取过程包括：
将待抽取的输入原始文本输入到bert分类模型（即文本分类模型）中，得到原始文本的事件类型（即目标文本类型）；将事件类型确定为需要抽取的关键信息类型，查找对应的目标抽取问题a、b、c、d，确定对应的问句A、B、C、D；将问句A、B、C、D分别与输入原始文本进行拼接，并输入到MRC关键信息抽取模型中，得到问句A、B、C、D各自对应的答案，即信息A、B、C、D；依据信息A、B、C、D以及信息A、B、C、D所在的句子，构建三元组，利用三元组绘制节点拓扑图，并通过GCN节点分类模型（即节点校验模型）对各信息节点A、B、C、D进行分类，确定信息节点A、B、C、D是否正确；将分类为正确的信息节点对应的信息A、D以及正确的信息对应的目标抽取问题a、d，填充到表单中进行输出。
进一步的，作为图1方法的具体实现，本申请实施例提供了一种信息抽取装置，如图4所示，该装置包括：
文本分类模块，用于通过文本分类模型识别目标文本的目标文本类别；
信息抽取模块，用于获取所述目标文本类别对应的多个目标抽取问题，分别将每个所述目标抽取问题与所述目标文本进行拼接，得到每个所述目标抽取问题对应的信息抽取文本，并将所述信息抽取文本输入到信息抽取模型中获得每个所述目标抽取问题对应的待校验答案；
拓扑图构建模块，用于获取每个所述待校验答案所在的文本语句，依据所述目标抽取问题的问题类别，确定所述待校验答案的答案类别，并依据所述文本语句以及所述待校验答案，构建节点拓扑图，其中，所述节点拓扑图包括文本语句节点、不同答案类别的答案节点以及不同类型节点的连接关系；
答案校验模块，用于将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确。
可选地，所述目标抽取问题中包括一个主要类别问题和至少一个次要类别问题；
所述拓扑图构建模块，具体用于：
依据所述文本语句以及不同类型的所述待校验答案，确定文本语句节点、主要类别答案节点以及次要类别答案节点；
对所述文本语句节点、所述主要类别答案节点以及所述次要类别答案节点进行两两组合，并建立包含组合节点和组合节点的节点关系的三元组；
依据所述三元组，构建所述节点拓扑图。
可选地，所述装置还包括：
填表模块，用于所述将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确之后，获取所述待校验答案中校验结果为正确的目标答案；确定所述目标文本类别对应的目标信息抽取表单，并将所述目标答案填充在所述目标信息抽取表单的对应位置。
可选地，所述文本分类模型、所述信息抽取模型以及所述节点校验模型通过以下方式获得：
服务器在客户端集合中采样多个本轮客户端，将本轮初始文本分类模型参数、本轮初始信息抽取模型参数以及本轮初始节点校验模型参数发送至每个所述本轮客户端中，所述本轮客户端配置当前文本分类模型、当前信息抽取模型以及当前节点校验模型的模型参数后进行模型训练，并将训练得到的本轮目标文本分类模型参数、本轮目标信息抽取模型参数以及本轮目标节点校验模型参数返回至所述服务器中；
所述服务器分别对多个所述本轮客户端返回的所述本轮目标文本分类模型参数、所述本轮目标信息抽取模型参数以及所述本轮目标节点校验模型参数进行参数聚合，得到本轮文本分类模型聚合参数、本轮信息抽取模型聚合参数以及本轮节点校验模型聚合参数；
当所述本轮聚合参数未达到所述服务器的采样轮次阈值时，将所述本轮文本分类模型聚合参数、所述本轮信息抽取模型聚合参数以及所述本轮节点校验模型聚合参数分别作为下轮初始文本分类模型参数、下轮初始信息抽取模型参数以及下轮初始节点校验模型参数，并在所述客户端集合中重新采样多个下轮客户端，向每个所述下轮客户端发送所述下轮初始文本分类模型参数、所述下轮初始信息抽取模型参数以及所述下轮初始节点校验模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
当所述本轮聚合参数达到所述服务器的采样轮次阈值时，将所述本轮文本分类模型聚合参数、所述本轮信息抽取模型聚合参数以及所述本轮节点校验模型聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮文本分类模型聚合参数、所述本轮信息抽取模型聚合参数以及所述本轮节点校验模型聚合参数进行模型参数配置，得到最终的所述文本分类模型、所述信息抽取模型以及所述节点校验模型。
可选地，通过以下方式确定第一轮初始文本分类模型参数、第一轮初始信息抽取模型参数以及第一轮初始节点校验模型参数：
所述服务器初始化元文本分类模型、元信息抽取模型以及元节点校验模型的模型参数，将所述元文本分类模型、所述元信息抽取模型以及所述元节点校验模型各自对应的初始化参数分别作为第一轮初始文本分类模型参数、第一轮初始信息抽取模型参数以及第一轮初始节点校验模型参数；
其中，所述客户端集合中每个所述客户端的本地文本分类模型、本地信息抽取模型以及本地节点校验模型均与所述元文本分类模型、所述元信息抽取模型以及所述元节点校验模型的模型结构相同。
可选地，所述本轮客户端将本轮文本分类模型训练样本量、本轮信息抽取模型训练样本量以及本轮节点校验模型训练样本量发送至所述服务器中；
所述服务器依据每个所述本轮客户端对应的所述本轮文本分类模型训练样本量占本轮文本分类模型训练样本总数的第一比例，确定每个所述本轮客户端对应的所述本轮目标文本分类模型参数的第一参数权重，并按所述第一参数权重对所述本轮目标文本分类模型参数进行加权求和，得到所述本轮文本分类模型聚合参数；
所述服务器依据每个所述本轮客户端对应的所述本轮信息抽取模型训练样本量占本轮信息抽取模型训练样本总数的第二比例，确定每个所述本轮客户端对应的所述本轮目标信息抽取模型模型参数的第二参数权重，并按所述第二参数权重对所述本轮目标信息抽取模型参数进行加权求和，得到所述本轮信息抽取模型聚合参数；
所述服务器依据每个所述本轮客户端对应的所述本轮节点校验模型训练样本量占本轮节点校验模型训练样本总数的第三比例，确定每个所述本轮客户端对应的所述本轮目标节点校验模型模型参数的第三参数权重，并按所述第三参数权重对所述本轮目标节点校验模型参数进行加权求和，得到所述本轮节点校验模型聚合参数。
需要说明的是，本申请实施例提供的一种信息抽取装置所涉及各功能单元的其他相应描述，可以参考图1至图3方法中的对应描述，在此不再赘述。
本申请实施例提供了一种用于实现信息抽取的模型的训练系统，所述系统包括：
服务器和多个客户端，其中，多个客户端构成客户端集合；
所述服务器，用于在客户端集合中采样多个本轮客户端，将本轮初始文本分类模型参数、本轮初始信息抽取模型参数以及本轮初始节点校验模型参数发送至每个所述本轮客户端中；
所述本轮客户端，用于配置当前文本分类模型、当前信息抽取模型以及当前节点校验模型的模型参数后进行模型训练，并将训练得到的本轮目标文本分类模型参数、本轮目标信息抽取模型参数以及本轮目标节点校验模型参数返回至所述服务器中；
所述服务器，还用于分别对多个所述本轮客户端返回的所述本轮目标文本分类模型参数、所述本轮目标信息抽取模型参数以及所述本轮目标节点校验模型参数进行参数聚合，得到本轮文本分类模型聚合参数、本轮信息抽取模型聚合参数以及本轮节点校验模型聚合参数；
所述服务器，还用于当所述本轮聚合参数未达到所述服务器的采样轮次阈值时，将所述本轮文本分类模型聚合参数、所述本轮信息抽取模型聚合参数以及所述本轮节点校验模型聚合参数分别作为下轮初始文本分类模型参数、下轮初始信息抽取模型参数以及下轮初始节点校验模型参数，并在所述客户端集合中重新采样多个下轮客户端，向每个所述下轮客户端发送所述下轮初始文本分类模型参数、所述下轮初始信息抽取模型参数以及所述下轮初始节点校验模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
所述服务器，还用于当所述本轮聚合参数达到所述服务器的采样轮次阈值时，将所述本轮文本分类模型聚合参数、所述本轮信息抽取模型聚合参数以及所述本轮节点校验模型聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮文本分类模型聚合参数、所述本轮信息抽取模型聚合参数以及所述本轮节点校验模型聚合参数进行模型参数配置，得到最终的所述文本分类模型、所述信息抽取模型以及所述节点校验模型。
可选地，所述服务器，还用于：
在客户端集合中采样多个本轮客户端之前，初始化元文本分类模型、元信息抽取模型以及元节点校验模型的模型参数，将所述元文本分类模型、所述元信息抽取模型以及所述元节点校验模型各自对应的初始化参数分别作为第一轮初始文本分类模型参数、第一轮初始信息抽取模型参数以及第一轮初始节点校验模型参数；
其中，所述客户端集合中每个所述客户端的本地文本分类模型、本地信息抽取模型以及本地节点校验模型均与所述元文本分类模型、所述元信息抽取模型以及所述元节点校验模型的模型结构相同。
可选地，所述本轮客户端，还用于将本轮文本分类模型训练样本量、本轮信息抽取模型训练样本量以及本轮节点校验模型训练样本量发送至所述服务器中；
所述服务器，还用于：
依据每个所述本轮客户端对应的所述本轮文本分类模型训练样本量占本轮文本分类模型训练样本总数的第一比例，确定每个所述本轮客户端对应的所述本轮目标文本分类模型参数的第一参数权重，并按所述第一参数权重对所述本轮目标文本分类模型参数进行加权求和，得到所述本轮文本分类模型聚合参数；
依据每个所述本轮客户端对应的所述本轮信息抽取模型训练样本量占本轮信息抽取模型训练样本总数的第二比例，确定每个所述本轮客户端对应的所述本轮目标信息抽取模型模型参数的第二参数权重，并按所述第二参数权重对所述本轮目标信息抽取模型参数进行加权求和，得到所述本轮信息抽取模型聚合参数；
依据每个所述本轮客户端对应的所述本轮节点校验模型训练样本量占本轮节点校验模型训练样本总数的第三比例，确定每个所述本轮客户端对应的所述本轮目标节点校验模型模型参数的第三参数权重，并按所述第三参数权重对所述本轮目标节点校验模型参数进行加权求和，得到所述本轮节点校验模型聚合参数。
可选地，所述节点校验模型包括卷积层和分类层；
所述本轮客户端，还用于若所述本轮客户端为首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型进行模型参数配置；
所述本轮客户端，还用于若所述本轮客户端为非首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数中的卷积层参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型的卷积层进行模型参数配置，并保持所述本轮初始节点校验模型参数中的分类层参数不变。
基于上述如图1至图3所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1至图3所示的信息抽取方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。
基于上述如图1至图3所示的方法，以及图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1至图3所示的信息抽取方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频（RadioFrequency，RF）电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏（Display）、输入单元比如键盘（Keyboard）等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口（如蓝牙接口、WI-FI接口）等。
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现先利用文本分类模型对目标文本进行识别，确定目标文本类别，再将目标文本类别对应的目标抽取问题和目标文本进行拼接得到信息抽取文本，输入到信息抽取模型中进行答案抽取，获得待校验答案，最后依据待校验答案以及答案所在的文本语句，构建包含答案节点和文本语句节点之间连接关系的节点拓扑图，并通过节点校验模型对节点拓扑图中的各答案节点的正确性进行校验，从而获得正确的答案。本申请实施例相比于目前的信息抽取技术，先对目标文本进行分类，从而根据目标文本类别对特定的目标抽取问题进行答案精准抽取，并且通过构建包含答案节点和答案所在语句节点的节点拓扑图，对节点拓扑图中各答案节点的正确性进行校验的方式，提升了最终答案的准确性。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (9)
1.一种信息抽取方法，其特征在于，所述方法包括：
通过文本分类模型识别目标文本的目标文本类别；
获取所述目标文本类别对应的多个目标抽取问题，分别将每个所述目标抽取问题与所述目标文本进行拼接，得到每个所述目标抽取问题对应的信息抽取文本，并将所述信息抽取文本输入到信息抽取模型中获得每个所述目标抽取问题对应的待校验答案，其中，所述目标抽取问题中包括一个主要类别问题和至少一个次要类别问题；
获取每个所述待校验答案所在的文本语句，依据所述目标抽取问题的问题类别，确定所述待校验答案的答案类别，并依据所述文本语句以及所述待校验答案，构建节点拓扑图，其中，所述节点拓扑图包括文本语句节点、主要类别答案节点、次要类别答案节点以及不同类型节点的连接关系；
将所述节点拓扑图输入到节点校验模型中，校验每个主要类别答案节点对应的所述待校验答案以及每个次要类别答案节点对应的待校验答案是否正确；
其中，本轮初始模型参数包括本轮初始文本分类模型参数、本轮初始信息抽取模型参数以及本轮初始节点校验模型参数；所述节点校验模型包括卷积层和分类层，所述文本分类模型、所述信息抽取模型以及所述节点校验模型通过以下模型训练方式获得：
服务器在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至所述本轮客户端中，所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将所述本轮目标模型参数返回至所述服务器中，其中，若所述本轮客户端为非首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数中的卷积层参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型的卷积层进行模型参数配置，并保持所述本轮初始节点校验模型参数中的分类层参数不变；
所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数；
当所述本轮聚合参数未达到所述服务器的采样条件时，将所述本轮聚合参数作为下轮初始模型参数，并在所述客户端集合中重新采样多个下轮客户端，向所述下轮客户端发送所述下轮初始模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
当所述本轮聚合参数达到所述服务器的采样条件时，将所述本轮聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练。
2.根据权利要求1所述的方法，其特征在于，所述根据所述文本语句以及所述待校验答案，构建节点拓扑图，包括：
依据所述文本语句以及不同类型的所述待校 验答案，确定文本语句节点、主要类别答案节点以及次要类别答案节点；
对所述文本语句节点、所述主要类别答案节点以及所述次要类别答案节点进行两两组合，并建立包含组合节点和组合节点的节点关系的三元组；
依据所述三元组，构建所述节点拓扑图。
3.根据权利要求1所述的方法，其特征在于，所述将所述节点拓扑图输入到节点校验模型中，校验每个所述待校验答案节点对应的所述待校验答案是否正确之后，所述方法还包括：
获取所述待校验答案中校验结果为正确的目标答案；
确定所述目标文本类别对应的目标信息抽取表单，并将所述目标答案填充在所述目标信息抽取表单的对应位置。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述服务器在客户端集合中采样多个本轮客户端之前，所述方法还包括：
初始化元模型参数，将所述元模型的初始化参数作为第一轮初始模型参数，其中，所述客户端集合中每个所述客户端对应的本地模型的模型结构均与所述元模型的模型结构相同。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
所述本轮客户端将所述本轮目标模型参数以及本轮训练样本量返回至所述服务器中；
所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数，包括：
所述服务器根据每个所述本轮客户端对应的所述本轮训练样本量占本轮训练样本总数的比例，确定每个所述本轮客户端对应的所述本轮目标模型参数的参数权重，并按所述参数权重对所述本轮目标模型参数进行加权求和，得到所述本轮聚合参数。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述本轮客户端为首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型进行模型参数配置。
7.一种信息抽取装置，其特征在于，所述装置包括：
文本分类模块，用于通过文本分类模型识别目标文本的目标文本类别；
信息抽取模块，用于获取所述目标文本类别对应的多个目标抽取问题，分别将每个所述目标抽取问题与所述目标文本进行拼接，得到每个所述目标抽取问题对应的信息抽取文本，并将所述信息抽取文本输入到信息抽取模型中获得每个所述目标抽取问题对应的待校验答案，其中，所述目标抽取问题中包括一个主要类别问题和至少一个次要类别问题；
拓扑图构建模块，用于获取每个所述待校验答案所在的文本语句，依据所述目标抽取问题的问题类别，确定所述待校验答案的答案类别，并依据所述文本语句以及所述待校验答案，构建节点拓扑图，其中，所述节点拓扑图包括文本语句节点、主要类别答案节点、次要类别答案节点以及不同类型节点的连接关系；
答案校验模块，用于将所述节点拓扑图输入到节点校验模型中，校验每个主要类别答案节点对应的所述待校验答案以及每个次要类别答案节点对应的待校 验答案是否正确；
其中，本轮初始模型参数包括本轮初始文本分类模型参数、本轮初始信息抽取模型参数以及本轮初始节点校验模型参数；所述节点校验模型包括卷积层和分类层，所述文本分类模型、所述信息抽取模型以及所述节点校验模型通过以下模型训练方式获得：
服务器在客户端集合中采样多个本轮客户端，将本轮初始模型参数发送至所述本轮客户端中，所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练，得到训练后的本轮目标模型参数，并将所述本轮目标模型参数返回至所述服务器中，其中，若所述本轮客户端为非首次被采样，则依据所述本轮初始文本分类模型参数、所述本轮初始信息抽取模型参数以及所述本轮初始节点校验模型参数中的卷积层参数，分别对当前文本分类模型、当前信息抽取模型以及当前节点校验模型的卷积层进行模型参数配置，并保持所述本轮初始节点校验模型参数中的分类层参数不变；
所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合，得到本轮聚合参数；
当所述本轮聚合参数未达到所述服务器的采样条件时，将所述本轮聚合参数作为下轮初始模型参数，并在所述客户端集合中重新采样多个下轮客户端，向所述下轮客户端发送所述下轮初始模型参数，以通过所述下轮客户端进行下个轮次的模型训练；
当所述本轮聚合参数达到所述服务器的采样条件时，将所述本轮聚合参数发送至所述客户端集合内的每个客户端中，每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练。
8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
9.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210942486.5A CN114996434B (zh) | 2022-08-08 | 2022-08-08 | 一种信息抽取方法及装置、存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210942486.5A CN114996434B (zh) | 2022-08-08 | 2022-08-08 | 一种信息抽取方法及装置、存储介质、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114996434A CN114996434A (zh) | 2022-09-02 |
| CN114996434B true CN114996434B (zh) | 2022-11-08 |
Family
ID=83022863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210942486.5A Active CN114996434B (zh) | 2022-08-08 | 2022-08-08 | 一种信息抽取方法及装置、存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114996434B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767334A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 信息抽取方法、装置、电子设备及存储介质 |
| CN111814466A (zh) * | 2020-06-24 | 2020-10-23 | 平安科技（深圳）有限公司 | 基于机器阅读理解的信息抽取方法、及其相关设备 |
| CN113268573A (zh) * | 2021-05-19 | 2021-08-17 | 上海博亦信息科技有限公司 | 一种学术人才信息的抽取方法 |
| CN113535963A (zh) * | 2021-09-13 | 2021-10-22 | 深圳前海环融联易信息科技服务有限公司 | 一种长文本事件抽取方法、装置、计算机设备及存储介质 |
| CN114297394A (zh) * | 2022-03-11 | 2022-04-08 | 中国科学院自动化研究所 | 对文本中的事件论元进行抽取的方法和电子设备 |
| CN114706963A (zh) * | 2022-03-16 | 2022-07-05 | 海信电子科技(武汉)有限公司 | 问答处理方法及智能设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782015B (zh) * | 2019-10-25 | 2024-10-15 | 腾讯科技（深圳）有限公司 | 神经网络的网络结构优化器的训练方法、装置及存储介质 |
| CN110874396B (zh) * | 2019-11-07 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 一种关键词抽取方法、装置以及计算机存储介质 |
| US11610069B2 (en) * | 2019-12-20 | 2023-03-21 | Naver Corporation | Training a question answering network using relational loss |
| US20220198149A1 (en) * | 2020-12-23 | 2022-06-23 | Industrial Technology Research Institute | Method and system for machine reading comprehension |
| CN113220886A (zh) * | 2021-05-31 | 2021-08-06 | 马上消费金融股份有限公司 | 文本分类方法、文本分类模型训练方法及相关设备 |
-
2022
- 2022-08-08 CN CN202210942486.5A patent/CN114996434B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814466A (zh) * | 2020-06-24 | 2020-10-23 | 平安科技（深圳）有限公司 | 基于机器阅读理解的信息抽取方法、及其相关设备 |
| CN111767334A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 信息抽取方法、装置、电子设备及存储介质 |
| CN113268573A (zh) * | 2021-05-19 | 2021-08-17 | 上海博亦信息科技有限公司 | 一种学术人才信息的抽取方法 |
| CN113535963A (zh) * | 2021-09-13 | 2021-10-22 | 深圳前海环融联易信息科技服务有限公司 | 一种长文本事件抽取方法、装置、计算机设备及存储介质 |
| CN114297394A (zh) * | 2022-03-11 | 2022-04-08 | 中国科学院自动化研究所 | 对文本中的事件论元进行抽取的方法和电子设备 |
| CN114706963A (zh) * | 2022-03-16 | 2022-07-05 | 海信电子科技(武汉)有限公司 | 问答处理方法及智能设备 |
Non-Patent Citations (1)
| Title |
|---|
| 机器阅读理解的技术研究综述;徐霄玲等;《小型微型计算机系统》;20200315(第03期);第18-24页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114996434A (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110366734B (zh) | 优化神经网络架构 | |
| US11151324B2 (en) | Generating completed responses via primal networks trained with dual networks | |
| CN106126524B (zh) | 信息推送方法和装置 | |
| CN111815169B (zh) | 业务审批参数配置方法及装置 | |
| CN113065843A (zh) | 一种模型处理方法、装置、电子设备和存储介质 | |
| CN110634471B (zh) | 一种语音质检方法、装置、电子设备和存储介质 | |
| CN109978629A (zh) | 一种广告投放方法、装置、电子设备及存储介质 | |
| US11281867B2 (en) | Performing multi-objective tasks via primal networks trained with dual networks | |
| CN111046158A (zh) | 问答匹配方法及模型训练方法、装置、设备、存储介质 | |
| CN111698552A (zh) | 一种视频资源的生成方法和装置 | |
| CN109710535A (zh) | 用于语音对话平台的服务校验方法及系统 | |
| CN112799782A (zh) | 模型生成系统、方法、电子设备及存储介质 | |
| CN116306974A (zh) | 问答系统的模型训练方法、装置、电子设备及存储介质 | |
| US20200082822A1 (en) | System and method for mapping a customer journey to a category | |
| CN114996434B (zh) | 一种信息抽取方法及装置、存储介质、计算机设备 | |
| CN112115703B (zh) | 文章评估方法及装置 | |
| CN113160009A (zh) | 信息推送方法、相关装置、以及计算机介质 | |
| JP7361121B2 (ja) | デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行 | |
| CN111459917A (zh) | 知识库管理方法、装置及处理设备 | |
| CN113190460B (zh) | 一种测试案例自动生成方法及装置 | |
| CN114579869B (zh) | 模型训练方法以及相关产品 | |
| CN116244164A (zh) | 测试数据包生成方法、装置、电子设备及存储介质 | |
| CN113868415A (zh) | 知识库的生成方法、装置、存储介质及电子设备 | |
| CN115273318B (zh) | 投票方法、装置、电子设备和计算机可读介质 | |
| CN117235236B (zh) | 对话方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |