CN116401345A - 智能问答方法、装置、存储介质和设备 - Google Patents
智能问答方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN116401345A CN116401345A CN202310219193.9A CN202310219193A CN116401345A CN 116401345 A CN116401345 A CN 116401345A CN 202310219193 A CN202310219193 A CN 202310219193A CN 116401345 A CN116401345 A CN 116401345A
- Authority
- CN
- China
- Prior art keywords
- candidate
- data
- document
- answered
- answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000012634 fragment Substances 0.000 claims abstract description 84
- 238000012549 training Methods 0.000 claims abstract description 79
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000012805 post-processing Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供一种智能问答方法、装置、存储介质和设备，该方法包括：对多个文档数据进行预处理，获得无标注训练数据、文档段落集和文档片段集，利用无标注训练数据对预训练模型进行继续训练，针对待回答问题，使用召回算法对文档段落集和文档片段集进行粗召回，获得候选段落和候选片段，并对候选片段进行后处理，将待回答问题依次与每一条候选段落和后处理后的候选片段进行拼接，获得多条待预测数据，将多条待预测数据输入继续训练好的模型中，获取输入文本向量特征，将输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案。本发明能够提高问答效率和准确率，且能够支持跨段落的待回答问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种智能问答方法、装置、存储介质和设备。
背景技术
智能问答系统是属于信息检索的一种表现形式。文档智能问答即基于具体的文档，通过理解用户的具体问题，定位并返回满足问题的相关文本。通常，文档智能问答系统包含多种，比如：FAQ检索式问答系统，KBQA图谱问答系统，MRC问答系统等。其中MRC问答系统由于提问方式灵活，无需预订信息等优点被广泛应用。
现有的MRC问答系统首先文档解析成段落集存入数据库，之后根据用户提出的待回答问题，从数据库中粗召回候选段落，再利用文本匹配模型对候选段落进行精排，将用户待回答问题以及最相关段落文本输入阅读理解模型，返回答案。
现有的MRC问答系统目前存在以下问题：
a.目前精排使用的文本匹配算法和获取答案使用的阅读理解模型，均使用预训练模型作文本的向量表示，对于一个问答系统来说，如果计算机资源有限的条件下，一个流程内多次使用预训练模型，会使得系统的推理速度变慢。
b.目前的MRC阅读理解模型缺少拒识能力，导致模型抽取的无效答案也被返回给用户。
c.由于需要将文档解析成为段落进行存储，导致召回的段落之间相互孤立，丢失了段落原本的上下文联系，如果待回答问题的答案是跨段落的，而召回的段落又缺少上下文段落，则会导致MRC问答系统无法支持答案跨段落的待回答问题。
d.基于通用语料训练的预训练模型对垂直领域的文档文本表征能力不强，会影响阅读理解模型的抽取准确度。
发明内容
有鉴于此，本发明提供一种智能问答方法、装置、存储介质和设备，能够提高问答效率和准确率，且能够支持跨段落的待回答问题。
第一方面，本发明实施例提供一种智能问答方法，所述方法包括：
对多个文档数据进行预处理，获得无标注训练数据、文档段落集和文档片段集；
利用所述无标注训练数据对预训练模型Bert进行继续训练，其中，所述预训练模型Bert在大规模通用语料上训练得到；
针对待回答问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段，并对所述候选片段进行后处理；
将待回答问题依次与每一条后处理后的候选段落和候选片段进行拼接，获得多条待预测数据；
将所述多条待预测数据输入继续训练好的模型中，获取输入文本向量特征；
将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案。
进一步地，每一条所述无标注训练数据为所述文档数据中的一个完整的句子；
所述文档数据中的一个段落文本为所述文档段落集中一条独立数据，所述文档段落集中忽略各段落文本的顺序信息；
所述文档片段集中每一个文本片段包含所述文档数据中的若干段落，且包含所述若干段落的顺序信息，和/或所述文档片段集中每一个文本片段包含所述文档数据中的某一段落的部分内容。
进一步地，针对待回待问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段包括：
去掉所述待回答问题中的停用词；
使用BM25召回算法分别对所述文档段落集和所述文档片段集进行检索；
对检索结果进行排序后获得排序靠前的预设数目个候选段落和候选片段。
进一步地，对所述候选片段进行后处理包括：
使用标点符号将所述候选片段切分为若干子片段；
计算每一个所述子片段与所述待回答问题之间的编辑距离；
根据所述编辑距离获得所述待回答问题的最匹配子片段；
以所述子片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述最匹配子片段和所述扩充文本的长度限制在预设字数内；
将所述最匹配子片段及其扩充文本进行合并，获得后处理后的候选片段。
进一步地，当根据所述编辑距离无法获得与所述待回答问题最匹配的子片段时，比较每一个所述子片段与所述待回答问题的字符特征，根据字符特征获得所述待回答问题的最匹配子片段。
进一步地，如无法获得满足条件的最匹配子片段，则以所述候选片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述候选片段和所述扩充文本的长度限制在预设字数内；
将所述候选片段及其扩充文本进行合并，获得后处理后的候选片段。
进一步地，每一条所述待预测数据的形式为：[CLS]+query+[SEP]+text+[SEP]，其中，所述[CLS]、[SEP]分别为所述继续训练好的模型所需的特殊标识符，query为待回答问题，text为一条候选段落或一条候选片段。
进一步地，所述答案抽取层包括两个位置概率网络结构、匹配度网络结构和置信度网络结构，将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案包括：
将所述输入文本向量特征输入所述位置概率网络结构，获得输入文本各位置的答案开始位置概率，以及输入文本各位置的答案结束位置概率；
将所述输入文本向量特征输入所述匹配度网络结构，获得输入文本与待回答问题的匹配度；
将所述输入文本向量特征输入所述置信度网络结构，获得所述输入文本的置信度；
根据所述匹配度对所述多条待预测数据进行排序，选择排序靠前的预设数目个待预测数据作为答案抽取数据；
选择所述答案抽取数据对应的答案开始位置概率和答案结束位置概率之和最大的位置索引，同时所述结束位置位于所述开始位置之后；
当所述位置索引确定的答案抽取数据对应的置信度大于阈值时，从所述答案抽取数据中截取候选片段作为所述待回答问题的答案。
进一步地，当所述位置索引确定的答案抽取数据对应的置信度小于阈值时，启用拒识，返回空的答案片段。
进一步地，将所述输入文本向量特征输入所述置信度网络结构，获得所述输入文本的置信度包括：
将所述输入文本向量特征分别在两个方向上进行复制，获得两个维度均为[L,L,H]的扩展向量，其中，L表述所述输入文本的长度，H表示所述预训练模型Bert的隐层维度；
将两个所述扩展向量进行拼接，获得维度为[L,L,H*2]的三维向量；
根据所述三维向量经过线性层获得置信度矩阵，根据所述置信度矩阵获得所述输入文本的置信度。
第二方面，本发明实施例提供一种智能问答装置，所述装置包括：
预处理模块，用于对多个文档数据进行预处理，获得无标注训练数据、文档段落集和文档片段集；
训练模块，用于利用所述无标注训练数据对预训练模型Bert进行继续训练，其中，所述预训练模型Bert在大规模通用语料上训练得到；
粗召回模块，用于针对待回答问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段，并对所述候选片段进行后处理；
拼接模块，用于将待回答问题依次与每一条后处理后的候选段落和候选片段进行拼接，获得多条待预测数据；
特征提取模块，用于将所述多条待预测数据输入继续训练好的模型中，获取输入文本向量特征；
答案输出模块，用于将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案。
第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述第一方面中任一项所述的方法。
本发明提供的技术方案，通过对多个文档数据进行预处理，之后利用预处理获得的无标注训练数据对预训练模型进行继续训练，针对待回答问题，使用召回算法对文档段落集和文档片段集进行粗召回，获得候选段落和候选片段，之后对候选片段进行后处理，将待回答问题依次与每一条后处理后的候选段落和候选片段进行拼接后获得多条待预测数据，之后将多条待预测数据输入继续训练好的模型中，获得输入文本向量特征，最后将输入文本向量特征输入答案抽取层获得待回答问题对应的答案。由此，本发明通过使用无标注的文档数据对预训练模型进行继续训练，能够增强预训练模型对垂直领域文本的句子表征能力，通过对文档滑窗切分获取候选片段的方式实现对跨段落待回答问题的支持，能够提高答案的准确率，同时将候选文本的精排和答案抽取集成在统一个模型中，避免了精排阶段重复使用预训练模型带来的资源负担，提高了问答的效率，同时在模型中集成了答案拒识能力，通过模型输出的置信度矩阵，可以让模型对抽取的无效答案进行过滤，提搞了问答的准确率。
附图说明
图1是本发明实施例一提供的智能问答方法的流程图；
图2是本发明实施例一中获得候选段落和候选片段的流程图；
图3是本发明实施例一中对候选片段进行后处理的流程图；
图4是本发明实施例一中获得待回答问题对应的答案的流程图；
图5是本发明实施例二提供的智能问答装置的结构图示意图；
图6是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
参见图1，图1是本发明一个实施例提供的智能问答方法的流程图，所述方法包括以下步骤：
步骤101、对多个文档数据进行预处理，获得无标注训练数据、文档段落集和文档片段集。
在本步骤中，对多个文档数据进行预处理的主要是为了获得无无标注训练数据、文档段落集和文档片段集。
具体地，通过对多个文档数据进行解析，可以将多个文档数据转化为无标注训练数据，其中，无标注训练数据的每一条数据为文档数据中的一个完整的句子。
利用文档解析器，可以将多个文档数据转化为文档段落集，文档段落集中忽略了段落的顺序信息，将文档中的一个段落文本作为一条独立的数据，将其存入数据库，形成文档段落集。
使用固定长度的文本滑动窗口，对文档数据进行切分，获得若干文档片段，每一个文档片段可能包含原文档数据的若干段落，此时文档片段中包含了段落的顺序信息及结构信息，将其存入数据库，形成文档片段集。
在另一些实施例中，也可以使用标点符号切分的方式获得文档片段，每一个文档片段可能包含原文档数据的若干段落，此时文档片段中包含了段落的顺序信息及结构信息，以保留文档片段内容的段落信息，从而增加模型对跨段落问题的支持。
步骤102、利用所述无标注训练数据对预训练模型进行继续训练，其中，所述预训练模型Bert在大规模通用语料上训练得到。
在本步骤中，预训练模型可以是BERT模型，也可以是其他多种预训练模型，如ERNIE、RoBERTa等。使用预处理阶段的无标注文本数据，对预训练模型BERT进行继续训练。预训练模型BERT是在大规模通用语料上训练得到的，该模型对通用文本具有较高的表征能力。继续训练能够提高其对垂直领域文本数据的表征能力。继续训练完成后交由后续步骤备用。
步骤103、针对待回答问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段，并对所述候选片段进行后处理。
在本步骤中，针对待回答问题，使用召回算法从文档段落集和文档片段集中进行检索，获得与待回答问题相关的候选段落和候选片段，并对候选片段进行后处理。
请参见图2，图2是本发明实施例一中获得候选段落和候选片段的流程图，使用针对待回待问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段可通过以下步骤来实现：
步骤1031、去掉所述待回答问题中的停用词。
在本步骤中，首先去掉待回答问题中的停用词，也即去掉待回答问题中与问题无关紧要的词语，以降低待回答问题中无关文字的干扰，提高待回答问题的检索精度。
步骤1032、使用BM25召回算法分别对所述文档段落集和所述文档片段集进行检索。
在本步骤中，使用BM25召回算法对文档段落集和文档片段集分别进行检索，根据检索结果，选取排名结果靠前的与待回答问题相关的若干文档段落和文档片段。
步骤1033、对检索结果进行排序后获得排序靠前的预设数目个候选段落和候选片段。
在本步骤中，利用BM25召回算法对待回答问题进行粗召回，召回算法对待回答问题的检索结果进行排序后获得排序靠前的预设数目个候选段落和候选片段。其中，预设数目可以是本领域有经验的人员来设置。例如，预设数目为15，则选取排名前15的检索结果作为候选段落和候选片段。
请参见图3，图3是本发明实施例一中获得对候选片段进行后处理的流程图，对候选片段进行后处理的一种可能的实现方式是包括以下步骤：
步骤1034、使用标点符号将所述候选片段切分为若干子片段。
在本实施例中，为了保证对段落内部答案抽取的效果，因此对候选段落不进行后处理，只对候选片段进行后处理。
在本步骤中，针对各候选片段，首先使用标点符号将各候选片段切分为若干子片段。
步骤1035、计算每一个所述子片段与所述待回答问题之间的编辑距离。
在本步骤中，计算每一个片段与待回答问题之间的逻辑距离。计算逻辑距离的的方法可采用现有技术的方法，本实施例对此不再赘述。
步骤1036、根据所述编辑距离获得所述待回答问题的最匹配子片段。
在本步骤中，当编辑距离的相似度值高于设定的相似度阈值时，认为能够通过编辑距离获得最匹配的子片段。此时，根据编辑距离的相似度得分最高的子片段作为最匹配子片段。
在另一些实施例中，当编辑距离的相似度低于设定的相似度阈值时，也即认为通过编辑距离不能获得最匹配的子片段时，可以通过比较每一个所述子片段与所述待回答问题的字符特征，根据字符特征来获得所述待回答问题的最匹配子片段。
步骤1037、以所述最匹配子片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述最匹配子片段和所述扩充文本的长度限制在预设字数内。
在本步骤中，以获取的最匹配子片段为基准，向后进行文本扩充，扩充文本应当以句号或者其他能够保证其句子完整性的标点符号结尾，同时应将最匹配子片段加扩充文本的长度限制在一定字数内。
步骤1038、将所述最匹配子片段及其扩充文本进行合并，获得后处理后的候选片段。
在本步骤中，将所述最匹配子片段及其扩充文本进行合并，获得后处理后的候选片段。
在另一些实施例中，当不存在最匹配子片段时，直接将候选片段作为最匹配片段，此时对候选片段进行扩充的方法与上述步骤中对最匹配子片段扩充的方法类似。即以所述候选片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述候选片段和所述扩充文本的长度限制在预设字数内，将所述候选片段及其扩充文本进行合并，获得后处理后的候选片段。
步骤104、将待回答问题依次与每一条候选段落和后处理后的候选片段进行拼接，获得多条待预测数据。
在本步骤中，假定有M条候选段落，N条候选片段。将待回答问题依次与每一条候选段落、每一条后处理后的候选片段进行拼接，形成M+N条待预测数据，形式为：[CLS]+query+[SEP]+text+[SEP]，其中[CLS]，[SEP]分别为所述继续训练好的模型所需的特殊标识符，query为用户问题，text为一条候选段落或一条候选片段。
步骤105、将所述多条待预测数据输入继续训练好的模型中，获取输入文本向量特征。
在本实施例中，答案抽取模型包括两部分，一部分是继续训练好的模型，另一部分是答案抽取层。其中，继续训练好的模型用于提取待预测数据的文本向量特征，答案抽取层用于对待预测数据的文本向量特征进行处理，获得待回答问题的答案。本实施例中将候选文本的精排和答案的抽取集成在同一个模型中，避免了精排阶段重复使用预训练模型带来的资源负担，提高了答案问答系统的响应速度。
在本步骤中，预训练模型使用上述过程继续训练好的模型，用于对输入的待预测数据文本进行编码，获取输入文本的向量表示。这里使用模型输出的字粒度向量sequence_out作为输入文本的向量表征，该向量的维度为[L,H]，其中L表示输入文本长度，H表示预训练模型的隐层维度，可以视为每个字在H维空间的映射。
步骤106、将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案。
在本步骤中，所述答案抽取层包括两个位置概率网络结构、匹配度网络结构和置信度网络结构，请参见图4，下面结合图4详细说明本发明实施例中获得待回答问题对应答案的实现过程，可通过以下步骤实现：
步骤1061、将所述输入文本向量特征输入所述位置概率网络结构，获得输入文本各位置的答案开始位置概率，以及输入文本各位置的答案结束位置概率。
在本步骤中，位置概率网络结构的数目为两个，一个用来预测输入文本各位置是答案开始位置的概率，一个用来预测输入文本各位置是答案结束位置的概率，二者维度都是[L,1]。
使用start_logits表示答案开始位置的概率，end_logits答案结束位置的概率，则答案开始位置的概率和答案结束位置的概率可分别用下述公式表示：
start_logits＝softmax(Linears(sequence_out))
end_logits＝softmax(Lineare(sequence_out))
步骤1062、将所述输入文本向量特征输入所述匹配度网络结构，获得输入文本与待回答问题的匹配度。
在本步骤中，将输入文本向量特征输入匹配度网络结构可以得到匹配度向量match_logits，根据匹配度向量可以得到待回答问题与候选段落或者候选片段是否匹配，可以用来对候选段落和候选片段排序。
match_logits＝softmax(Linearm(sequence_out))
步骤1063、将所述输入文本向量特征输入所述置信度网络结构，获得所述输入文本的置信度。
在本步骤中，将所述输入文本向量特征输入所述置信度网络结构，获得所述输入文本的置信度可通过以下步骤来实现：
步骤10631、将所述输入文本向量特征分别在两个方向上进行复制，获得两个维度均为[L,L,H]的扩展向量，其中，L表述所述输入文本的长度，H表示所述预训练模型Bert的隐层维度。
在本步骤中，对输入文本向量sequence_out分别在两个不同方向上进行复制，将其转为两个维度均为[L,L,H]的扩展向量。
步骤10632、将两个所述扩展向量进行拼接，获得维度为[L,L,H*2]的三维向量。
步骤10633、根据所述三维向量经过线性层获得置信度矩阵，根据所述置信度矩阵获得所述输入文本的置信度。
在本步骤中，经过线性层获取置信度矩阵，该矩阵的维度为[L,L]，其中第i行第j列表示输入文本[i,j]文本片段是答案的置信度。
在本申请中，上述技术方案中有多种方式可以计算置信度矩阵，除了扩展向量拼接再使用线性层转换，也可以使用扩展向量相加平均的方式获取三维张量，再接入线性层获取置信度矩阵。
步骤1064、根据所述匹配度对所述多条待预测数据进行排序，选择排序靠前的预设数目个待预测数据作为答案抽取数据。
在本步骤中，match_logits获取每一条数据的匹配度，根据匹配度对M+N条数据进行排序，选择匹配度最高的数据作为需要进行答案抽取的数据，这里可以起到精排的作用。
步骤1065、选择所述答案抽取数据对应的答案开始位置概率和答案结束位置概率之和最大的位置索引，同时所述结束位置位于所述开始位置之后的答案抽取数据为最佳答案数据。
在本步骤中，根据start_logits以及end_logits选择开始位置概率和结束位置概率之和最大的两个位置索引，同时应满足结束位置在开始位置之后，根据这两个位置索引能够确定最佳答案数据。
步骤1066、当所述最佳答案数据对应的置信度大于阈值时，从所述最佳答案数据中截取候选片段或者候选段落作为所述待回答问题的答案。
在本步骤中，增加了答案拒识能力，判断最佳答案数据对应的置信度是否大于阈值，如果是，则从所述最佳答案数据中截取候选片段或者候选段落作为所述待回答问题的答案，否则，启用拒识，返回空的答案片段。
由此，本发明实施例通过对多个文档数据进行预处理，之后利用预处理获得的无标注训练数据对预训练模型进行继续训练，针对待回答问题，使用召回算法对文档段落集和文档片段集进行粗召回，获得候选段落和候选片段，之后对候选片段进行后处理，将待回答问题依次与每一条后处理后的候选段落和候选片段进行拼接后获得多条待预测数据，之后将多条待预测数据输入继续训练好的模型中，获得输入文本向量特征，最后将输入文本向量特征输入答案抽取层获得待回答问题对应的答案。由此，本发明通过使用无标注的文档数据对预训练模型进行继续训练，能够增强预训练模型对垂直领域文本的句子表征能力，通过对文档滑窗切分获取候选片段的方式实现对跨段落待回答问题的支持，能够提高答案的准确率，同时将候选文本的精排和答案抽取集成在统一个模型中，避免了精排阶段重复使用预训练模型带来的资源负担，提高了问答的效率，同时在模型中集成了答案拒识能力，通过模型输出的置信度矩阵，可以让模型对抽取的无效答案进行过滤，提搞了问答的准确率。
实施例二
参见图5，图5是本发明实施例二提供的智能问答装置的结构图示意图，所述装置包括：
预处理模块21，用于对多个文档数据进行预处理，获得无标注训练数据、文档段落集和文档片段集；
训练模块22，用于利用所述无标注训练数据对预训练模型进行继续训练，其中，所述预训练模型在大规模通用语料上训练得到；
粗召回模块23，用于针对待回答问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段，并对所述候选片段进行后处理；
拼接模块24，用于将待回答问题依次与每一条后处理后的候选段落和候选片段进行拼接，获得多条待预测数据；
特征提取模块25，用于将所述多条待预测数据输入继续训练好的模型中，获取输入文本向量特征；
答案输出模块26，用于将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案。
在一些实施例中，预处理模块21获得的每一条所述无标注训练数据为所述文档数据中的一个完整的句子；所述文档数据中的一个段落文本为所述文档段落集中一条独立数据，所述文档段落集中忽略各段落文本的顺序信息；所述文档片段集中每一个文本片段包含所述文档数据中的若干段落，且包含所述若干段落的顺序信息，和/或所述文档片段集中每一个文本片段包含所述文档数据中的某一段落的部分内容。
在一些实施例中，粗召回模块23包括候选单元231和后处理单元232。
其中，候选单元231可包括：
去停用词子单元2311，用于去掉所述待回答问题中的停用词；
检索子单元2312，用于使用BM25召回算法分别对所述文档段落集和所述文档片段集进行检索；
排序子单元2313，用于对检索结果进行排序后获得排序靠前的预设数目个候选段落和候选片段。
后处理单元232可包括：
切分子单元2321，用于使用标点符号将所述候选片段切分为若干子片段；
计算子单元2322，用于计算每一个所述子片段与所述待回答问题之间的编辑距离；
匹配子单元2323，用于根据所述编辑距离获得所述待回答问题的最匹配子片段；
扩充子单元2324，用于以所述子片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述最匹配子片段和所述扩充文本的长度限制在预设字数内；
合并子单元2325，用于将所述最匹配子片段及其扩充文本进行合并，获得后处理后的候选片段。
在一些实施例中，当根据所述计算子单元2322无法获得与所述待回答问题最匹配的子片段时，比较每一个所述子片段与所述待回答问题的字符特征，根据字符特征获得所述待回答问题的最匹配子片段。
在一些实施例中，如匹配子单元2323无法获得满足条件的最匹配子片段，则以所述候选片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述候选片段和所述扩充文本的长度限制在预设字数内，将所述候选片段及其扩充文本进行合并，获得后处理后的候选片段。
在一些实施例中，拼接模块24获得的每一条所述待预测数据的形式为：[CLS]+query+[SEP]+text+[SEP]，其中，所述[CLS]、[SEP]分别为所述继续训练好的模型所需的特殊标识符，query为待回答问题，text为一条候选段落或一条候选片段。
在一些实施例中，答案输出模块26可包括：
位置概率单元261，用于将所述输入文本向量特征输入所述位置概率网络结构，获得输入文本各位置的答案开始位置概率，以及输入文本各位置的答案结束位置概率；
匹配向量单元262，用于将所述输入文本向量特征输入所述匹配度网络结构，获得输入文本与待回答问题的匹配度；
置信度单元263，用于将所述输入文本向量特征输入所述置信度网络结构，获得所述输入文本的置信度；
答案抽取单元264，用于根据所述匹配度对所述多条待预测数据进行排序，选择排序靠前的预设数目个待预测数据作为答案抽取数据；
最佳答案抽取单元265，用于选择所述答案抽取数据对应的答案开始位置概率和答案结束位置概率之和最大的位置索引，同时所述结束位置位于所述开始位置之后的答案抽取数据为最佳答案数据；
拒识单元265，用于当所述最佳答案数据对应的置信度大于阈值时，从所述最佳答案数据中截取候选片段或者候选段落作为所述待回答问题的答案；当所述位置索引确定的答案抽取数据对应的置信度小于阈值时，启用拒识，返回空的答案片段。
在一些实施例中，置信度单元263可包括：
扩展子单元2631，用于将所述输入文本向量特征分别在两个方向上进行复制，获得两个维度均为[L,L,H]的扩展向量，其中，L表述所述输入文本的长度，H表示所述预训练模型Bert的隐层维度；
拼接子单元2632，用于将两个所述扩展向量进行拼接，获得维度为[L,L,H*2]的三维向量；
置信度矩阵子单元2633，用于根据所述三维向量经过线性层获得置信度矩阵，根据所述置信度矩阵获得所述输入文本的置信度。
由此，本发明实施例通过对多个文档数据进行预处理，之后利用预处理获得的无标注训练数据对预训练模型进行继续训练，针对待回答问题，使用召回算法对文档段落集和文档片段集进行粗召回，获得候选段落和候选片段，之后对候选片段进行后处理，将待回答问题依次与每一条后处理后的候选段落和候选片段进行拼接后获得多条待预测数据，之后将多条待预测数据输入继续训练好的模型中，获得输入文本向量特征，最后将输入文本向量特征输入答案抽取层获得待回答问题对应的答案。由此，本发明通过使用无标注的文档数据对预训练模型进行继续训练，能够增强预训练模型对垂直领域文本的句子表征能力，通过对文档滑窗切分获取候选片段的方式实现对跨段落待回答问题的支持，能够提高答案的准确率，同时将候选文本的精排和答案抽取集成在统一个模型中，避免了精排阶段重复使用预训练模型带来的资源负担，提高了问答的效率，同时在模型中集成了答案拒识能力，通过模型输出的置信度矩阵，可以让模型对抽取的无效答案进行过滤，提搞了问答的准确率。
需要说明的是，本发明实施例中的智能问答装置与上述实施例中的智能问答方法属于相同的发明构思，未在本装置中详述的技术细节可参见前面对方法的相关描述，在此不再赘述。
此外，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行前面所述的方法。
图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如空闲检测方法。
在一些实施例中，空闲检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的空闲检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行空闲检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (13)
1.一种智能问答方法，其特征在于，所述方法包括：
对多个文档数据进行预处理，获得无标注训练数据、文档段落集和文档片段集；
利用所述无标注训练数据对预训练模型进行继续训练，其中，所述预训练模型在大规模通用语料上训练得到；
针对待回答问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段，并对所述候选片段进行后处理；
将待回答问题依次与每一条候选段落和后处理后的候选片段进行拼接，获得多条待预测数据；
将所述多条待预测数据输入继续训练好的模型中，获取输入文本向量特征；
将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案。
2.根据权利要求1所述的方法，其特征在于，
每一条所述无标注训练数据为所述文档数据中的一个完整的句子；
所述文档数据中的一个段落文本为所述文档段落集中一条独立数据，所述文档段落集中忽略各段落文本的顺序信息；
所述文档片段集中每一个文本片段包含所述文档数据中的若干段落，且包含所述若干段落的顺序信息，和/或所述文档片段集中每一个文本片段包含所述文档数据中的某一段落的部分内容。
3.根据权利要求1所述的方法，其特征在于，针对待回待问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段包括：
去掉所述待回答问题中的停用词；
使用BM25召回算法分别对所述文档段落集和所述文档片段集进行检索；
对检索结果进行排序后获得排序靠前的预设数目个候选段落和候选片段。
4.根据权利要求1所述的方法，其特征在于，对所述候选片段进行后处理包括：
使用标点符号将所述候选片段切分为若干子片段；
计算每一个所述子片段与所述待回答问题之间的编辑距离；
根据所述编辑距离获得所述待回答问题的最匹配子片段；
以所述最匹配子片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述最匹配子片段和所述扩充文本的长度限制在预设字数内；
将所述最匹配子片段及其扩充文本进行合并，获得后处理后的候选片段。
5.根据权利要求4所述的方法，其特征在于，当根据所述编辑距离无法获得与所述待回答问题最匹配的子片段时，比较每一个所述子片段与所述待回答问题的字符特征，根据字符特征获得所述待回答问题的最匹配子片段。
6.根据权利要求5所述的方法，其特征在于，
如无法获得满足条件的最匹配子片段，则以所述候选片段为基准向后进行文本扩充，所述文本扩充以表示句子完整性的标点符号结尾，同时所述候选片段和所述扩充文本的长度限制在预设字数内；
将所述候选片段及其扩充文本进行合并，获得后处理后的候选片段。
7.根据权利要求1所述的方法，其特征在于，每一条所述待预测数据的形式为：[CLS]+query+[SEP]+text+[SEP]，其中，所述[CLS]、[SEP]分别为所述继续训练好的模型所需的特殊标识符，query为待回答问题，text为一条候选段落或一条候选片段。
8.根据权利要求1所述的方法，其特征在于，所述答案抽取层包括两个位置概率网络结构、匹配度网络结构和置信度网络结构，将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案包括：
将所述输入文本向量特征输入所述位置概率网络结构，获得输入文本各位置的答案开始位置概率，以及输入文本各位置的答案结束位置概率；
将所述输入文本向量特征输入所述匹配度网络结构，获得输入文本与待回答问题的匹配度；
将所述输入文本向量特征输入所述置信度网络结构，获得所述输入文本的置信度；
根据所述匹配度对所述多条待预测数据进行排序，将排序靠前的预设数目个待预测数据作为答案抽取数据；
选择所述答案抽取数据对应的答案开始位置概率和答案结束位置概率之和最大的位置索引，且所述结束位置位于所述开始位置之后的答案抽取数据为最佳答案数据；
当所述最佳答案数据对应的置信度大于阈值时，从所述最佳答案数据中截取候选片段或者候选段落作为所述待回答问题的答案。
9.根据权利要求8所述的方法，其特征在于，当所述位置索引确定的答案抽取数据对应的置信度小于阈值时，启用拒识，返回空的答案片段。
10.根据权利要求8所述的方法，其特征在于，将所述输入文本向量特征输入所述置信度网络结构，获得所述输入文本的置信度包括：
将所述输入文本向量特征分别在两个方向上进行复制，获得两个维度均为[L,L,H]的扩展向量，其中，L表述所述输入文本的长度，H表示所述预训练模型Bert的隐层维度；
将两个所述扩展向量进行拼接，获得维度为[L,L,H*2]的三维向量；
根据所述三维向量经过线性层获得置信度矩阵，根据所述置信度矩阵获得所述输入文本的置信度。
11.一种智能问答装置，其特征在于，所述装置包括：
预处理模块，用于对多个文档数据进行预处理，获得无标注训练数据、文档段落集和文档片段集；
训练模块，用于利用所述无标注训练数据对预训练模型进行继续训练，其中，所述预训练模型在大规模通用语料上训练得到；
粗召回模块，用于针对待回答问题，使用召回算法对所述文档段落集和所述文档片段集进行粗召回，获得候选段落和候选片段，并对所述候选片段进行后处理；
拼接模块，用于将待回答问题依次与每一条后处理后的候选段落和候选片段进行拼接，获得多条待预测数据；
特征提取模块，用于将所述多条待预测数据输入继续训练好的模型中，获取输入文本向量特征；
答案输出模块，用于将所述输入文本向量特征输入答案抽取层获得所述待回答问题对应的答案。
12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至10中任一项所述的方法。
13.一种设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310219193.9A CN116401345A (zh) | 2023-03-09 | 2023-03-09 | 智能问答方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310219193.9A CN116401345A (zh) | 2023-03-09 | 2023-03-09 | 智能问答方法、装置、存储介质和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116401345A true CN116401345A (zh) | 2023-07-07 |
Family
ID=87013250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310219193.9A Pending CN116401345A (zh) | 2023-03-09 | 2023-03-09 | 智能问答方法、装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116401345A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117669512A (zh) * | 2024-02-01 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 答案生成方法、装置、设备及存储介质 |
| CN117669512B (zh) * | 2024-02-01 | 2024-05-14 | 腾讯科技（深圳）有限公司 | 答案生成方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874174A (zh) * | 2018-05-29 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 一种文本纠错方法、装置以及相关设备 |
| CN109800284A (zh) * | 2018-12-19 | 2019-05-24 | 中国电子科技集团公司第二十八研究所 | 一种面向任务的非结构化信息智能问答系统构建方法 |
| CN112818093A (zh) * | 2021-01-18 | 2021-05-18 | 平安国际智慧城市科技股份有限公司 | 基于语义匹配的证据文档检索方法、系统及存储介质 |
| CN113918681A (zh) * | 2021-10-15 | 2022-01-11 | 北京明略软件系统有限公司 | 基于片段抽取的阅读理解方法、系统、电子设备和存储介质 |
| CN115292469A (zh) * | 2022-09-28 | 2022-11-04 | 之江实验室 | 一种结合段落搜索和机器阅读理解的问答方法 |
| CN115329058A (zh) * | 2022-08-09 | 2022-11-11 | 太保科技有限公司 | 抽取式保险文档机器阅读理解方法、装置及可读介质 |
-
2023
- 2023-03-09 CN CN202310219193.9A patent/CN116401345A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874174A (zh) * | 2018-05-29 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 一种文本纠错方法、装置以及相关设备 |
| CN109800284A (zh) * | 2018-12-19 | 2019-05-24 | 中国电子科技集团公司第二十八研究所 | 一种面向任务的非结构化信息智能问答系统构建方法 |
| CN112818093A (zh) * | 2021-01-18 | 2021-05-18 | 平安国际智慧城市科技股份有限公司 | 基于语义匹配的证据文档检索方法、系统及存储介质 |
| CN113918681A (zh) * | 2021-10-15 | 2022-01-11 | 北京明略软件系统有限公司 | 基于片段抽取的阅读理解方法、系统、电子设备和存储介质 |
| CN115329058A (zh) * | 2022-08-09 | 2022-11-11 | 太保科技有限公司 | 抽取式保险文档机器阅读理解方法、装置及可读介质 |
| CN115292469A (zh) * | 2022-09-28 | 2022-11-04 | 之江实验室 | 一种结合段落搜索和机器阅读理解的问答方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117669512A (zh) * | 2024-02-01 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 答案生成方法、装置、设备及存储介质 |
| CN117669512B (zh) * | 2024-02-01 | 2024-05-14 | 腾讯科技（深圳）有限公司 | 答案生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220383190A1 (en) | Method of training classification model, method of classifying sample, and device | |
| US20210312139A1 (en) | Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium | |
| CN107301170B (zh) | 基于人工智能的切分语句的方法和装置 | |
| US20220318275A1 (en) | Search method, electronic device and storage medium | |
| CN114861889B (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
| CN114840671A (zh) | 对话生成方法、模型的训练方法、装置、设备及介质 | |
| CN113660541B (zh) | 新闻视频的摘要生成方法及装置 | |
| CN116450867B (zh) | 一种基于对比学习和大语言模型的图数据语义搜索方法 | |
| CN116028618B (zh) | 文本处理、文本检索方法、装置、电子设备及存储介质 | |
| CN113988157A (zh) | 语义检索网络训练方法、装置、电子设备及存储介质 | |
| CN112506864B (zh) | 文件检索的方法、装置、电子设备及可读存储介质 | |
| CN113033194B (zh) | 语义表示图模型的训练方法、装置、设备和存储介质 | |
| CN115248890A (zh) | 用户兴趣画像的生成方法、装置、电子设备以及存储介质 | |
| CN116467461A (zh) | 应用于配电网的数据处理方法、装置、设备及介质 | |
| CN113806483B (zh) | 数据处理方法、装置、电子设备及计算机程序产品 | |
| CN116049370A (zh) | 信息查询方法和信息生成模型的训练方法、装置 | |
| CN112784600B (zh) | 信息排序方法、装置、电子设备和存储介质 | |
| CN112528644B (zh) | 实体挂载的方法、装置、设备以及存储介质 | |
| CN114611625A (zh) | 语言模型训练、数据处理方法、装置、设备、介质及产品 | |
| CN116401345A (zh) | 智能问答方法、装置、存储介质和设备 | |
| CN112925912A (zh) | 文本处理方法、同义文本召回方法及装置 | |
| CN113408280A (zh) | 负例构造方法、装置、设备和存储介质 | |
| CN115795023B (zh) | 文档推荐方法、装置、设备以及存储介质 | |
| CN116244432B (zh) | 语言模型的预训练方法、装置及电子设备 | |
| CN117609418A (zh) | 文档处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |