CN116680386A - 基于多轮对话的答案预测方法和装置、设备、存储介质 - Google Patents

基于多轮对话的答案预测方法和装置、设备、存储介质 Download PDF

Info

Publication number
CN116680386A
CN116680386A CN202310717345.8A CN202310717345A CN116680386A CN 116680386 A CN116680386 A CN 116680386A CN 202310717345 A CN202310717345 A CN 202310717345A CN 116680386 A CN116680386 A CN 116680386A
Authority
CN
China
Prior art keywords
target
answer
question
sequence
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310717345.8A
Other languages
English (en)
Inventor
张镛
王健宗
程宁
刘帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310717345.8A priority Critical patent/CN116680386A/zh
Publication of CN116680386A publication Critical patent/CN116680386A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种基于多轮对话的答案预测方法和装置、设备、存储介质，属于人工智能和金融科技技术领域。该方法包括：获取目标段落数据、目标问题数据、历史对话数据；将目标段落数据、目标问题数据、历史对话数据进行数据拼接，得到目标问答序列；基于目标问答序列进行问题筛选处理，得到候选问题序列；通过预先训练的目标特征提取模型对候选问题序列进行特征提取，得到历史关注向量；根据候选问题序列和历史关注向量计算目标注意特征；根据目标注意特征、预先获取到的目标起始向量进行答案预测。本申请实施例能够提高答案预测的准确性。

Description

基于多轮对话的答案预测方法和装置、设备、存储介质
技术领域
本申请涉及人工智能和金融科技技术领域，尤其涉及一种基于多轮对话的答案预测方法和装置、设备、存储介质。
背景技术
目前，在多轮对话问答任务中，例如向银行申请贷款、办卡、购买理财产品等，或者向保险公司购买保险等，通常使用语言模型、引入大规模的通用数据集(例如CoQA和QuAC等)，并结合深度学习、强化学习进行答案预测，其中，有基于FLOW方法进行答案预测，也有使用上下文集成层的预训练语言模型(例如BERT，GPT，RoBERTa等)，以FLOW方法为例，在FLOW方法中，一般分为集成流和集成图流，类似于循环模型通过序列传播上下文信息，FLOW是一系列潜在表示，沿对话进程的方向传播推理通过提供在先前对话中推理过程中产生的中间潜在表征，进入目标问题数据的上下文推理。当前的答案预测方法，一般是简单地将历史记录预存到目标问题数据中，预测的答案并不精准；或者使用复杂的机制对历史记录进行建模，答案预测中会产生大量的冗余信息，大部分冗余信息可能对模型找到答案起到负面的干扰作用，并不是所有历史答案信息都对目标问题数据有所帮助，因此预测的答案不准确。
发明内容
本申请实施例的主要目的在于提出一种基于多轮对话的答案预测方法和装置、设备、存储介质，旨在提高答案预测的准确性。
为实现上述目的，本申请实施例的第一方面提出了一种基于多轮对话的答案预测方法，所述方法包括：
获取目标段落数据、目标问题数据、历史对话数据；其中，所述目标段落数据包括目标多轮对话，所述目标问题数据是从所述目标多轮对话提取得到的问题；
将所述目标段落数据、所述目标问题数据、所述历史对话数据进行数据拼接，得到目标问答序列；
基于所述目标问答序列进行问题筛选处理，得到候选问题序列；
通过预先训练的目标特征提取模型对所述候选问题序列进行特征提取，得到历史关注向量；
根据所述候选问题序列和所述历史关注向量计算目标注意特征；
根据所述目标注意特征、预先获取到的目标起始向量进行答案预测。
在一些实施例，所述基于所述目标问答序列进行问题筛选处理，得到候选问题序列，包括：
将所述目标问答序列输入至预先训练的问题选择器；其中，所述问题选择器包括全连接层和分类层；
通过所述全连接层对所述目标问答序列进行语义匹配处理，得到问题语义序列；
通过所述分类层对所述目标问答序列进行问题分类处理，问答分类数据；
将所述目标问答序列、所述问题语义序列和所述问答分类数据进行融合处理，得到所述候选问题序列。
在一些实施例，所述通过所述全连接层对所述目标问答序列进行语义匹配处理，得到问题语义序列，包括：
通过所述全连接层对所述目标问答序列进行语义特征提取，得到问题匹配序列；
通过所述全连接层对所述问题匹配序列进行排序，得到候选问题序列；
筛选出预设数量的所述候选问题序列，得到所述问题语义序列。
在一些实施例，所述通过所述分类层对所述目标问答序列进行问题分类处理，得到问答分类数据，包括：
对所述目标问答序列进行段落答案拆分处理，得到问题段落序列和历史答案序列；
通过所述分类层对所述问题段落序列进行段落分类处理，得到目标问题段落；
通过所述分类层对所述历史答案序列进行答案分类处理，得到目标答案序列；
计算所述目标问题段落和所述目标答案序列之间的相似度，得到问答相似度；
根据所述问答相似度进行排序处理，得到所述问答分类数据。
在一些实施例，所述历史对话数据包括历史问题数据和所述历史问题数据的历史答案数据，在所述通过预先训练的目标特征提取模型对所述候选问题序列进行特征提取，得到历史关注向量之前，所述方法还包括：训练所述目标特征提取模型，具体包括：
获取预设的候选段落数据；其中，所述候选段落数据是有监督数据；
从所述候选段落数据提取答案开始标签和答案结束标签；
根据预设分隔符对所述答案开始标签进行分隔编码得到答案开始向量，根据所述预设分隔符对答案结束标签进行分隔编码得到答案结束向量；
根据所述预设分隔符对所述历史答案数据进行分隔编码得到历史答案向量；
将所述答案开始向量、所述答案结束向量、所述历史答案向量输入至预设的原始特征提取模型进行模型训练，得到所述目标特征提取模型。
在一些实施例，所述根据所述候选问题序列和所述历史关注向量计算目标注意特征，包括：
对所述候选问题序列和所述历史关注向量进行第一注意力计算，得到第一注意力特征；
对所述候选问题序列和所述历史关注向量进行第二注意力计算，得到第二注意力特征；
对所述候选问题序列和所述历史关注向量进行第三注意力计算，得到第三注意力特征；
对所述第一注意力特征、所述第二注意力特征、所述第三注意力特征进行乘积计算，得到融合注意力特征；
对所述候选问题序列和所述融合注意力特征进行乘积计算，得到所述目标注意特征。
在一些实施例，所述将所述目标段落数据、所述目标问题数据、所述历史对话数据进行数据拼接，得到目标问答序列，包括：
将所述目标段落数据、所述目标问题数据进行段落问题合并，得到目标段落序列；
将所述目标段落序列和所述历史对话数据进行问答合并，得到段落问答序列；
根据所述预设分隔符对所述段落问答序列进行分隔编码，得到所述目标问答序列。
为实现上述目的，本申请实施例的第二方面提出了一种基于多轮对话的答案预测装置，所述装置包括：
数据获取模块，用于获取目标段落数据、目标问题数据、历史对话数据；其中，所述目标段落数据包括目标多轮对话，所述目标问题数据是从所述目标多轮对话提取得到的问题；
数据拼接模块，用于将所述目标段落数据、所述目标问题数据、所述历史对话数据进行数据拼接，得到目标问答序列；
问题筛选模块，用于基于所述目标问答序列进行问题筛选处理，得到候选问题序列；
特征提取模块，用于通过预先训练的目标特征提取模型对所述候选问题序列进行特征提取，得到历史关注向量；
注意力计算模块，用于根据所述候选问题序列和所述历史关注向量计算目标注意特征；
答案预测模块，用于根据所述目标注意特征、预先获取到的目标起始向量进行答案预测。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请实施例提出的基于多轮对话的答案预测方法和装置、设备、存储介质,可以应用于向银行申请贷款、办卡、购买理财产品等多轮对话中，或者向保险公司购买保险等多轮对话中，其通过获取目标段落数据、目标问题数据、历史对话数据，将目标段落数据、目标问题数据、历史对话数据进行数据拼接，得到目标问答序列，并基于目标问答序列进行问题筛选处理，得到候选问题序列，并对候选问题序列进行特征提取，得到历史关注向量，从而可以根据候选问题序列和历史关注向量计算目标注意特征，以根据目标注意特征、预先获取到的目标起始向量进行答案预测，进而根据目标注意特征、预先获取到的目标起始向量进行答案预测，以提高答案预测的准确性。
附图说明
图1是本申请实施例提供的基于多轮对话的答案预测方法的流程图；
图2是图1中的步骤102的流程图；
图3是图1中的步骤103的流程图；
图4是图3中的步骤302的流程图；
图5是图3中的步骤3036的流程图；
图6是本申请另一实施例提供的基于多轮对话的答案预测方法的流程图；
图7是图1中的步骤105的流程图；
图8是本申请实施例提供的基于多轮对话的答案预测装置的结构示意图；
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
自然语言处理(natural language processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
多轮对话问答任务(CQA)：多轮对话问答任务是对话AI的一个研究方向，通常应用于机器阅读理解(MRC)上，围绕着单轮问答，由于处理文本理解和对话以及上下文的复杂性，MRC的效果不理想。
目前，在多轮对话问答任务中，例如向银行申请贷款、办卡、购买理财产品等，或者向保险公司购买保险等，通常使用语言模型、引入大规模的通用数据集(例如CoQA和QuAC等)，并结合深度学习、强化学习进行答案预测，其中，有基于FLOW方法进行答案预测，也有使用上下文集成层的预训练语言模型(例如BERT，GPT，RoBERTa等)，以FLOW方法为例，在FLOW方法中，一般分为集成流和集成图流，类似于循环模型通过序列传播上下文信息，FLOW是一系列潜在表示，沿对话进程的方向传播推理通过提供在先前对话中推理过程中产生的中间潜在表征，进入目标问题数据的上下文推理。当前的答案预测方法，一般是简单地将历史记录预存到目标问题数据中，预测的答案并不精准；或者使用复杂的机制对历史记录进行建模，答案预测中会产生大量的冗余信息，大部分冗余信息可能对模型找到答案起到负面的干扰作用，并不是所有历史答案信息都对目标问题数据有所帮助，因此预测的答案不准确。
此外，多轮对话通常是累加和相关的话题，这些对话可能的行为要求模型能够从历史记录中联系上下文，因此编码模块不仅需要编码段落和目标问题数据，还需要编码对话历史记录，避免在下文采用简称或代称来代替上文已经出现的某一词语时，造成信息缺失，从而导致预测的答案不准确。
基于此，本申请实施例提供了一种基于多轮对话的答案预测方法和装置、设备、存储介质，旨在提高答案预测的准确性。
本申请实施例提供的基于多轮对话的答案预测方法和装置、设备、存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的基于多轮对话的答案预测方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的基于多轮对话的答案预测方法，涉及人工智能技术领域。本申请实施例提供的基于多轮对话的答案预测方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现基于多轮对话的答案预测方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户对话、用户特征、用户行为等数据，用户历史数据以及用户属性信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图1是本申请实施例提供的基于多轮对话的答案预测方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤101至步骤106。
步骤101，获取目标段落数据、目标问题数据、历史对话数据；其中，目标段落数据包括目标多轮对话，目标问题数据是从目标多轮对话提取得到的问题；
步骤102，将目标段落数据、目标问题数据、历史对话数据进行数据拼接，得到目标问答序列；
步骤103，基于目标问答序列进行问题筛选处理，得到候选问题序列；
步骤104，通过预先训练的目标特征提取模型对候选问题序列进行特征提取，得到历史关注向量；
步骤105，根据候选问题序列和历史关注向量计算目标注意特征；
步骤106，根据目标注意特征、预先获取到的目标起始向量进行答案预测。
本申请实施例所示意的步骤101至步骤106，通过获取目标段落数据、目标问题数据、历史对话数据，将目标段落数据、目标问题数据、历史对话数据进行数据拼接，得到目标问答序列，并基于目标问答序列进行问题筛选处理，得到候选问题序列，并对候选问题序列进行特征提取，得到历史关注向量，从而可以根据候选问题序列和历史关注向量计算目标注意特征，以根据目标注意特征、预先获取到的目标起始向量进行答案预测，进而根据目标注意特征、预先获取到的目标起始向量进行答案预测，以提高答案预测的准确性。
本申请实施例的基于多轮对话的答案预测方法可以应用于向银行申请贷款、办卡、购买理财产品等场景中，也可以应用于向保险公司购买保险或者向保险公司申请理赔的场景中。
在一些实施例的步骤101，目标段落数据可以是文章数据，该文章数据可以包括多轮对话，例如可以是一篇包含多轮对话的文章；目标段落数据也可以是小说数据或者剧本数据，例如可以从小说或者剧本中节选部分包含多轮对话的段落；目标段落数据还可以来源于客服与客户之间的对话数据，例如可以是向银行申请贷款、办卡、购买理财产品等场景中的咨询对话，或者是向保险公司申请理赔的投诉对话等；目标段落数据不限于此，以上仅作为示例进行举例说明。
历史对话数据包括历史问答对数据，历史问答对数据包括历史问题数据和历史问题数据的历史答案数据。目标问题数据是基于对目标段落数据的内容进行提问提取得到的问题。由于历史对话数据的冗余信息较多，本申请实施例中只使用历史对话数据中历史答案数据。另外，对于一个段落，可以包含多轮对话，包含多个问题。
在一实施例，目标段落数据、目标问题数据、历史对话数据的获取，可以同时获取，也可以分别在不同时间进行单独获取。本申请实施例不做限定。
在一应用场景，基于多轮对话的答案预测方法应用于多轮对话的场景中，目标段落数据为P，目标段落数据为P所包括的目标多轮对话是k轮对话，目标问题数据是指第k个问题，也是指当前问题，用Qk表示；历史对话数据表示为Hk，历史问题数据表示为Qi，历史答案数据表示为ai，历史答案数据ai是历史问题数据Qi的答案。在一应用场景中，多轮对话的最大轮数为L。历史对话数据是指目标问题数据之前的k-1个对话。应理解，历史对话数据的冗余信息较多，本申请实施例中只使用历史对话数据中历史答案数据，可以表示为历史答案数据的最大长度为N。
请参阅图2，在一些实施例的步骤102可以包括但不限于包括步骤201至步骤203：
步骤201，将目标段落数据、目标问题数据进行段落问题合并，得到目标段落序列；
步骤202，将目标段落序列和历史对话数据进行问答合并，得到段落问答序列；
步骤203，根据预设分隔符对段落问答序列进行分隔编码，得到目标问答序列。
在一些实施例的步骤201，将目标段落数据、目标问题数据进行段落问题合并得到的目标段落序列可以表示为(Qk,P)，该目标段落序列的最大长度为M。
在一些实施例的步骤202，由于历史对话数据的冗余信息较多，本申请实施例中只使用历史对话数据中历史答案数据，具体地，步骤202中将目标段落序列(Qk,P)和历史答案数据进行问答合并，得到的段落问答序列可以表示为：该段落问答序列是维度为(k-1)*(M+N)的序列。
在一些实施例的步骤203，根据预设分隔符对段落问答序列进行token化，以进行分隔编码，预设分隔符例如可以是[CLS]。在一应用场景，将目标段落数据标记为0，将历史答案数据标记为1，对段落问答序列进行token化，得到目标问答序列，目标问答序列可以表示为token
请参阅图3，在一些实施例的步骤103可以包括但不限于包括步骤301至步骤304：
步骤301，将目标问答序列输入至预先训练的问题选择器；其中，问题选择器包括全连接层和分类层；
步骤302，通过全连接层对目标问答序列进行语义匹配处理，得到问题语义序列；
步骤303，通过分类层对目标问答序列进行问题分类处理，问答分类数据；
步骤304，将目标问答序列、问题语义序列和问答分类数据进行融合处理，得到候选问题序列。
在一些实施例的步骤301，预先训练的问题选择器可以通过预训练模型BERT实现。该问题选择器包括全连接层和分类层，其中分类层可以通过激活函数softmax实现。上述步骤203得到中的目标问答序列作为步骤301中BERT的输入序列。
请参阅图4，在一些实施例的步骤302可以包括但不限于包括步骤401至步骤403：
步骤401，通过全连接层对目标问答序列进行语义特征提取，得到问题匹配序列；
步骤402，通过全连接层对问题匹配序列进行排序，得到候选问题序列；
步骤403，筛选出预设数量的候选问题序列，得到问题语义序列。
在一些实施例的步骤401，将目标问答序列输入问题选择器的全连接层，在全连接层进行语义特征提取；在进行语义特征提取时，可以基于步骤203的预设分隔符作为语义匹配信息，经过全连接层可以获得问题匹配序列，该问题匹配序列是维度为h的向量，且h为BERT的隐藏层的维度。具体地，可以将目标问答序列中的[CLS]作为每一轮的历史语义匹配信息进行语义特征提取。
在一些实施例，输入步骤103的目标问答序列token的维度为r*(M+N)*h，其中，r小于k；且当对话轮数较多时，r远小于k。
在一些实施例的步骤402，对问题匹配序列进行排序，得到的候选问题序列是一个具有顺序的序列。
在一些实施例的步骤403，按照候选问题序列的排序，选取排在前r个数量的候选问题序列作为问题语义序列；并且将剩余的候选问题序列赋予无限接近0的极小值。
请参阅图5，在一些实施例的步骤303可以包括但不限于包括步骤501至步骤505：
步骤501，对目标问答序列进行段落答案拆分处理，得到问题段落序列和历史答案序列；
步骤502，通过分类层对问题段落序列进行段落分类处理，得到目标问题段落；
步骤503，通过分类层对历史答案序列进行答案分类处理，得到目标答案序列；
步骤504，计算目标问题段落和目标答案序列之间的相似度，得到问答相似度；
步骤505，根据问答相似度进行排序处理，得到问答分类数据。
在一些实施例的步骤501，将问题段落序列输入分类层，在分类层中，将目标问答序列拆分为问题段落序列和历史答案序列。
在一些实施例的步骤502和步骤503，通过激活函数softmax分别计算问题段落序列的概率分布和计算历史答案序列的概率分布，通过计算问题段落序列的概率分布实现对问题段落序列进行段落分类处理，得到目标问题段落；通过计算历史答案序列的概率分布实现对历史答案序列进行答案分类处理，得到目标答案序列。
在一应用场景，步骤502和步骤503可以同时执行；在另一应用场景，可以先执行步骤502、再执行步骤503；在另又一应用场景，可以先执行步骤503、再执行步骤502。本申请实施例对于步骤502和步骤503的执行顺序，不做限定。
在一些实施例的步骤504可以包括但不限于包括：
计算目标问题段落和目标答案序列之间的Wasserstein距离，得到段落答案距离；其中，Wasserstein距离用于表征目标问题段落和目标答案序列之间相似程度；
对段落答案距离进行求倒数计算，得到问答相似度。
在一应用场景，通过步骤502和步骤503计算的概率分布越相似，则步骤504计算的距离越小。
在一些实施例的步骤505，按照问答相似度的排序，选取排在前r个数量的问答相似度作为问答分类数据；并且将剩余的问答相似度赋予无限接近0的极小值。在一应用场景，步骤403所选取的候选问题序列的数量，与步骤505所选取的问答相似度的数量相等。
在一应用场景，步骤302和步骤303可以同时执行；在另一应用场景，可以先执行步骤302、再执行步骤303；在另又一应用场景，可以先执行步骤503、再执行步骤302。本申请实施例对于步骤302和步骤303的执行顺序，不做限定。
在一些实施例的步骤304，将目标问答序列、问题语义序列和问答分类数据进行相乘计算，得到的候选问题序列的维度为r*(M+N)*h。
通过上述步骤103，可以筛选出前r轮对话中与目标问题数据最相关的历史问题，避免过多的冗余信息影响答案的预测。
上述步骤103中，通过基于语义匹配和概率分布两个角度筛选出前r轮与目标问题数据最相关的历史问题(候选问题序列)，从而避免过多的历史冗余信息影响最终答案的预测，还可以降低噪音干扰，进而提高问题选择器(BERT模型)的性能。
在一些实施例的步骤104，目标特征提取模型可以为BERT模型；步骤104所采用的BERT模型可以与步骤103的BERT模型相同，也可以不相同，本申请实施例不做限定。
在一些实施例，历史对话数据包括历史问题数据和历史问题数据的历史答案数据；请参阅图6，在步骤104之前，该基于多轮对话的答案预测方法，还可以包括但不限于包括步骤601至步骤605：
步骤601，获取预设的候选段落数据；其中，候选段落数据是有监督数据；
步骤602，从候选段落数据提取答案开始标签和答案结束标签；
步骤603，根据预设分隔符对答案开始标签进行分隔编码得到答案开始向量，根据预设分隔符对答案结束标签进行分隔编码得到答案结束向量；
步骤604，根据预设分隔符对历史答案数据进行分隔编码得到历史答案向量；
步骤605，将答案开始向量、答案结束向量、历史答案向量输入预设的原始特征提取模型进行模型训练，得到目标特征提取模型。
在一些实施例的步骤601和步骤602，候选段落数据是带有标签的有监督数据，候选段落数据是带有的标签包括答案开始标签和答案结束标签，答案开始标签和答案结束标签分别用于表示正确答案的开始位置和结束位置。通过步骤602从候选段落数据提取答案开始标签和答案结束标签。
在一些实施例的步骤603，预设分隔符可以参照上述步骤203的分隔符，例如可以是[CLS]，通过预设分隔符对答案开始标签进行token化，得到答案开始向量，并通过预设分隔符对答案结束标签进行token化，得到答案结束向量。
在一些实施例，步骤604与步骤603类似，通过预设分隔符对对历史答案数据进行token化，得到历史答案向量。
在一些实施例的步骤605，将答案开始向量、答案结束向量、历史答案向量一起输入原始特征提取模型进行模型训练，从而得到目标特征提取模型。
具体地，在一应用场景，步骤605的原理为：通过激活函数softmax进行概率计算，得到多个答案开始概率值、多个答案结束概率值，从多个答案开始概率值选取最大的答案开始概率值，将最大的答案开始概率值与正确答案的答案开始标签进行交叉损失计算，得到答案开始损失数据；并且，从多个答案结束概率值选取最大的答案结束概率值，将最大的答案结束概率值与正确答案的答案结束标签进行交叉损失计算，得到答案结束损失数据；将答案开始损失数据和答案结束损失数据作为代价函数对原始特征提取模型进行模型训练，从而得到目标特征提取模型，该目标特征提取模型为BERT。
在一些实施例的步骤104，历史关注向量的维度为h。将候选问题序列输入到通过步骤601至步骤605训练后得到的目标特征提取模型，根据输入的候选问题序列，该目标特征提取模型的最后一层隐藏层输出维度为h的问题序列，维度为h的问题序列输入全连接层，该全连接层通过根据该维度为h的问题序列输出维度为h的历史关注向量。
请参阅图7，在一些实施例的步骤105可以包括但不限于包括步骤701至步骤705：
步骤701，对候选问题序列和历史关注向量进行第一注意力计算，得到第一注意力特征；
步骤702，对候选问题序列和历史关注向量进行第二注意力计算，得到第二注意力特征；
步骤703，对候选问题序列和历史关注向量进行第三注意力计算，得到第三注意力特征；
步骤704，对第一注意力特征、第二注意力特征、第三注意力特征进行乘积计算，得到融合注意力特征；
步骤705，对候选问题序列和融合注意力特征进行乘积计算，得到目标注意特征。
其中，第一注意力计算、第二注意力计算、第三注意力计算均为注意力权重计算。
在一些实施例的步骤701，从轮级上对候选问题序列和历史关注向量进行第一注意力计算，得到表征轮级的第一注意力特征；
在一些实施例的步骤702，从句子级上对候选问题序列和历史关注向量进行第二注意力计算，得到表征句子级的第二注意力特征；
在一些实施例的步骤703，从词级上对候选问题序列和历史关注向量进行第三注意力计算，得到表征词级的第三注意力特征；
在一些实施例的步骤704，将第一注意力特征、第二注意力特征、第三注意力特征三个维度的权重，进行乘积计算，得到融合注意力特征；
在一些实施例的步骤705，将由步骤704得到的融合注意力特征与候选问题序列进行相乘计算，得到的目标注意特征为多维注意特征。
根据上述实施例的步骤105，将历史关注向量对候选问题序列分别从轮级、句子级、词级三个维度上通过softmax做注意力权重计算，得到三个维度的权重(第一注意力特征、第二注意力特征、第三注意力特征)进行相乘，得到的乘积(融合注意力特征)再与候选问题序列相乘，从而得到目标注意特征，该目标注意特征为多维注意特征。
在一些实施例执行步骤106之前，需先获取目标起始向量，该目标起始向量包括目标开始向量和目标结束向量，目标开始向量是正确答案的开始向量，目标结束向量是正确答案的结束始向量。目标起始向量可以根据目标特征提取模型得到，具体地，将目标问题数据输入目标特征提取模型，目标特征提取模型基于步骤601至步骤605的训练之后，可以学习到正确答案的开始标签和结束标签，从而目标特征提取模型根据输入的目标问题数据可以预测到正确答案的目标开始向量和目标结束向量。
在一些实施例的步骤106，可以基于目标特征提取模型进行答案跨度预测，具体地，目标特征提取模型的激活函数softmax对目标注意特征、目标开始向量和目标结束向量进行概率计算，从而得到与目标注意特征最相似的答案开始位置和答案结束位置，答案开始位置和答案结束位置之间的数据即为正确答案，从而实现答案预测。
当前的答案预测方法，一般是简单地将历史记录预存到目标问题数据中，预测的答案并不精准；或者使用复杂的机制对历史记录进行建模，答案预测中会产生大量的冗余信息，大部分冗余信息可能对模型找到答案起到负面的干扰作用，并不是所有历史答案信息都对目标问题数据有所帮助，因此预测的答案不准确。本申请实施例，相比于当前的答案预测方法，会对历史答案进行筛选，以剔除冗余无关的信息，降低历史答案中存在的噪音干扰，进一步提高模型的性能，并通过基于语义匹配和概率分布，筛选出前r轮与目标问题数据最相关的历史问题，避免过多的冗余信息影响答案的预测，降低干扰，提高模型的性能。此外，本申请实施例，通对历史答案进行多维注意力特征提取，从多个维度(轮级、句子级、词级)关注历史数据，使历史数据可以更有效融入答案，联系上下文，避免指代信息缺失(避免在下文采用简称或代称来代替上文已经出现的某一词语时造成的信息缺失)，有利于指代消解，同时也有利于回答更加流畅自然。
请参阅图8，本申请实施例还提供一种基于多轮对话的答案预测装置，可以实现上述基于多轮对话的答案预测方法，该装置包括：
数据获取模块，用于获取目标段落数据、目标问题数据、历史对话数据；其中，目标段落数据包括目标多轮对话，目标问题数据是从目标多轮对话提取得到的问题
数据拼接模块，用于将目标段落数据、目标问题数据、历史对话数据进行数据拼接，得到目标问答序列；
问题筛选模块，用于基于目标问答序列进行问题筛选处理，得到候选问题序列；
特征提取模块，用于通过预先训练的目标特征提取模型对候选问题序列进行特征提取，得到历史关注向量；
注意力计算模块，用于根据候选问题序列和历史关注向量计算目标注意特征；
答案预测模块，用于根据目标注意特征、预先获取到的目标起始向量进行答案预测。
在一些实施例中，数据拼接模块，具体可以用于实现：
将目标段落数据、目标问题数据进行段落问题合并，得到目标段落序列；
将目标段落序列和历史对话数据进行问答合并，得到段落问答序列；
根据预设分隔符对段落问答序列进行分隔编码，得到目标问答序列。
具体地，数据拼接模块可以用于实现上述步骤201至步骤203，在此不再赘述。
在一些实施例中，问题筛选模块，具体可以用于实现：
将目标问答序列输入至预先训练的问题选择器；其中，问题选择器包括全连接层和分类层；
通过全连接层对目标问答序列进行语义匹配处理，得到问题语义序列；
通过分类层对目标问答序列进行问题分类处理，问答分类数据；
将目标问答序列、问题语义序列和问答分类数据进行融合处理，得到候选问题序列。
在一些实施例中，具体地，问题筛选模块可以用于实现上述步骤301至步骤304，在此不再赘述。
在一些实施例中，问题筛选模块用于实现“通过全连接层对目标问答序列进行语义匹配处理，得到问题语义序列”，可以包括：
通过全连接层对目标问答序列进行语义特征提取，得到问题匹配序列；
通过全连接层对问题匹配序列进行排序，得到候选问题序列；
筛选出预设数量的候选问题序列，得到问题语义序列。
在一些实施例中，具体地，问题筛选模块可以用于实现上述步骤401至步骤403，在此不再赘述。
在一些实施例中，问题筛选模块用于实现“通过分类层对目标问答序列进行问题分类处理，问答分类数据”，可以包括：
对目标问答序列进行段落答案拆分处理，得到问题段落序列和历史答案序列；
通过分类层对问题段落序列进行段落分类处理，得到目标问题段落；
通过分类层对历史答案序列进行答案分类处理，得到目标答案序列；
计算目标问题段落和目标答案序列之间的相似度，得到问答相似度；
根据问答相似度进行排序处理，得到问答分类数据。
在一些实施例中，具体地，问题筛选模块还可以用于实现上述步骤501至步骤505，在此不再赘述。
在一些实施例中，基于多轮对话的答案预测装置，还包括模型训练模块，用于实现：
获取预设的候选段落数据；其中，候选段落数据是有监督数据；
从候选段落数据提取答案开始标签和答案结束标签；
根据预设分隔符对答案开始标签进行分隔编码得到答案开始向量，根据预设分隔符对答案结束标签进行分隔编码得到答案结束向量；
根据预设分隔符对历史答案数据进行分隔编码得到历史答案向量；
将答案开始向量、答案结束向量、历史答案向量输入预设的原始特征提取模型进行模型训练，得到目标特征提取模型。
在一些实施例中，具体地，模型训练模块可以用于实现上述步骤601至步骤605，在此不再赘述。
在一些实施例中，注意力计算模块，具体可以用于实现：
将目标问答序列输入至预先训练的问题选择器；其中，问题选择器包括全连接层和分类层；
通过全连接层对目标问答序列进行语义匹配处理，得到问题语义序列；
通过分类层对目标问答序列进行问题分类处理，问答分类数据；
将目标问答序列、问题语义序列和问答分类数据进行融合处理，得到候选问题序列。
在一些实施例中，具体地，注意力计算模块可以用于实现上述步骤701至步骤705，在此不再赘述。
对候选问题序列和历史关注向量进行第一注意力计算，得到第一注意力特征；
对候选问题序列和历史关注向量进行第二注意力计算，得到第二注意力特征；
对候选问题序列和历史关注向量进行第三注意力计算，得到第三注意力特征；
对第一注意力特征、第二注意力特征、第三注意力特征进行乘积计算，得到融合注意力特征；
对候选问题序列和融合注意力特征进行乘积计算，得到目标注意特征。
该基于多轮对话的答案预测装置的具体实施方式与上述基于多轮对话的答案预测方法的具体实施例基本相同，在此不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述基于多轮对话的答案预测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器801，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器802，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行本申请实施例的基于多轮对话的答案预测方法；
输入/输出接口803，用于实现信息输入及输出；
通信接口804，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线805，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息；
其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于多轮对话的答案预测方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的基于多轮对话的答案预测方法和装置、设备、存储介质，其通过获取目标段落数据、目标问题数据、历史对话数据，将目标段落数据、目标问题数据、历史对话数据进行数据拼接，得到目标问答序列，并基于目标问答序列进行问题筛选处理，得到候选问题序列，并对候选问题序列进行特征提取，得到历史关注向量，从而可以根据候选问题序列和历史关注向量计算目标注意特征，以根据目标注意特征、预先获取到的目标起始向量进行答案预测，进而根据目标注意特征、预先获取到的目标起始向量进行答案预测，以提高答案预测的准确性。相比于当前的答案预测方法，本申请实施例会对历史答案进行筛选，以剔除冗余无关的信息，降低历史答案中存在的噪音干扰，进一步提高模型的性能，并通过基于语义匹配和概率分布，筛选出前r轮与目标问题数据最相关的历史问题，避免过多的冗余信息影响答案的预测，降低干扰，提高模型的性能。此外，本申请实施例，通对历史答案进行多维注意力特征提取，从多个维度(轮级、句子级、词级)关注历史数据，使历史数据可以更有效融入答案，联系上下文，避免指代信息缺失(避免在下文采用简称或代称来代替上文已经出现的某一词语时造成的信息缺失)，有利于指代消解，同时也有利于回答更加流畅自然。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种基于多轮对话的答案预测方法，其特征在于，所述方法包括：
获取目标段落数据、目标问题数据、历史对话数据；其中，所述目标段落数据包括目标多轮对话，所述目标问题数据是从所述目标多轮对话提取得到的问题；
将所述目标段落数据、所述目标问题数据、所述历史对话数据进行数据拼接，得到目标问答序列；
基于所述目标问答序列进行问题筛选处理，得到候选问题序列；
通过预先训练的目标特征提取模型对所述候选问题序列进行特征提取，得到历史关注向量；
根据所述候选问题序列和所述历史关注向量计算目标注意特征；
根据所述目标注意特征、预先获取到的目标起始向量进行答案预测。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标问答序列进行问题筛选处理，得到候选问题序列，包括：
将所述目标问答序列输入至预先训练的问题选择器；其中，所述问题选择器包括全连接层和分类层；
通过所述全连接层对所述目标问答序列进行语义匹配处理，得到问题语义序列；
通过所述分类层对所述目标问答序列进行问题分类处理，问答分类数据；
将所述目标问答序列、所述问题语义序列和所述问答分类数据进行融合处理，得到所述候选问题序列。
3.根据权利要求2所述的方法，其特征在于，所述通过所述全连接层对所述目标问答序列进行语义匹配处理，得到问题语义序列，包括：
通过所述全连接层对所述目标问答序列进行语义特征提取，得到问题匹配序列；
通过所述全连接层对所述问题匹配序列进行排序，得到候选问题序列；
筛选出预设数量的所述候选问题序列，得到所述问题语义序列。
4.根据权利要求2所述的方法，其特征在于，所述通过所述分类层对所述目标问答序列进行问题分类处理，得到问答分类数据，包括：
对所述目标问答序列进行段落答案拆分处理，得到问题段落序列和历史答案序列；
通过所述分类层对所述问题段落序列进行段落分类处理，得到目标问题段落；
通过所述分类层对所述历史答案序列进行答案分类处理，得到目标答案序列；
计算所述目标问题段落和所述目标答案序列之间的相似度，得到问答相似度；
根据所述问答相似度进行排序处理，得到所述问答分类数据。
5.根据权利要求2所述的方法，其特征在于，所述历史对话数据包括历史问题数据和所述历史问题数据的历史答案数据，在所述通过预先训练的目标特征提取模型对所述候选问题序列进行特征提取，得到历史关注向量之前，所述方法还包括：训练所述目标特征提取模型，具体包括：
获取预设的候选段落数据；其中，所述候选段落数据是有监督数据；
从所述候选段落数据提取答案开始标签和答案结束标签；
根据预设分隔符对所述答案开始标签进行分隔编码得到答案开始向量，根据所述预设分隔符对答案结束标签进行分隔编码得到答案结束向量；
根据所述预设分隔符对所述历史答案数据进行分隔编码得到历史答案向量；
将所述答案开始向量、所述答案结束向量、所述历史答案向量输入至预设的原始特征提取模型进行模型训练，得到所述目标特征提取模型。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述候选问题序列和所述历史关注向量计算目标注意特征，包括：
对所述候选问题序列和所述历史关注向量进行第一注意力计算，得到第一注意力特征；
对所述候选问题序列和所述历史关注向量进行第二注意力计算，得到第二注意力特征；
对所述候选问题序列和所述历史关注向量进行第三注意力计算，得到第三注意力特征；
对所述第一注意力特征、所述第二注意力特征、所述第三注意力特征进行乘积计算，得到融合注意力特征；
对所述候选问题序列和所述融合注意力特征进行乘积计算，得到所述目标注意特征。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述目标段落数据、所述目标问题数据、所述历史对话数据进行数据拼接，得到目标问答序列，包括：
将所述目标段落数据、所述目标问题数据进行段落问题合并，得到目标段落序列；
将所述目标段落序列和所述历史对话数据进行问答合并，得到段落问答序列；
根据所述预设分隔符对所述段落问答序列进行分隔编码，得到所述目标问答序列。
8.一种基于多轮对话的答案预测装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标段落数据、目标问题数据、历史对话数据；其中，所述目标段落数据包括目标多轮对话，所述目标问题数据是从所述目标多轮对话提取得到的问题；
数据拼接模块，用于将所述目标段落数据、所述目标问题数据、所述历史对话数据进行数据拼接，得到目标问答序列；
问题筛选模块，用于基于所述目标问答序列进行问题筛选处理，得到候选问题序列；
特征提取模块，用于通过预先训练的目标特征提取模型对所述候选问题序列进行特征提取，得到历史关注向量；
注意力计算模块，用于根据所述候选问题序列和所述历史关注向量计算目标注意特征；
答案预测模块，用于根据所述目标注意特征、预先获取到的目标起始向量进行答案预测。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202310717345.8A 2023-06-16 2023-06-16 基于多轮对话的答案预测方法和装置、设备、存储介质 Pending CN116680386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310717345.8A CN116680386A (zh) 2023-06-16 2023-06-16 基于多轮对话的答案预测方法和装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310717345.8A CN116680386A (zh) 2023-06-16 2023-06-16 基于多轮对话的答案预测方法和装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN116680386A true CN116680386A (zh) 2023-09-01

Family

ID=87787088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310717345.8A Pending CN116680386A (zh) 2023-06-16 2023-06-16 基于多轮对话的答案预测方法和装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN116680386A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371404A (zh) * 2023-12-08 2024-01-09 城云科技（中国）有限公司 一种文本问答数据对生成方法及装置
CN117828017A (zh) * 2023-12-27 2024-04-05 中建八局第一数字科技有限公司 一种智能问答方法、装置及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371404A (zh) * 2023-12-08 2024-01-09 城云科技（中国）有限公司 一种文本问答数据对生成方法及装置
CN117371404B (zh) * 2023-12-08 2024-02-27 城云科技（中国）有限公司 一种文本问答数据对生成方法及装置
CN117828017A (zh) * 2023-12-27 2024-04-05 中建八局第一数字科技有限公司 一种智能问答方法、装置及电子设备
CN117828017B (zh) * 2023-12-27 2024-05-28 中建八局第一数字科技有限公司 一种智能问答方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN117521675A (zh) 基于大语言模型的信息处理方法、装置、设备及存储介质
CN111783394A (zh) 事件抽取模型的训练方法、事件抽取方法和系统及设备
CN116680386A (zh) 基于多轮对话的答案预测方法和装置、设备、存储介质
CN111832290A (zh) 用于确定文本相关度的模型训练方法、装置、电子设备及可读存储介质
CN116578688A (zh) 基于多轮问答的文本处理方法、装置、设备及存储介质
CN111767714B (zh) 一种文本通顺度确定方法、装置、设备及介质
CN113553412A (zh) 问答处理方法、装置、电子设备和存储介质
CN115222066A (zh) 模型训练方法和装置、行为预测方法、设备及存储介质
CN116662522B (zh) 问题答案推荐方法、存储介质和电子设备
CN114912537B (zh) 模型训练方法和装置、行为预测方法和装置、设备、介质
CN114519613B (zh) 价格数据的处理方法和装置、电子设备、存储介质
CN114492661B (zh) 文本数据分类方法和装置、计算机设备、存储介质
CN116775875A (zh) 问题语料库构建方法和装置、问答方法、设备及存储介质
CN116595023A (zh) 地址信息的更新方法和装置、电子设备及存储介质
CN116702736A (zh) 保险话术生成方法、装置、电子设备及存储介质
CN112926341A (zh) 文本数据处理方法、装置
CN116701604A (zh) 问答语料库的构建方法和装置、问答方法、设备及介质
CN116956068A (zh) 基于规则引擎的意图识别方法、装置、电子设备及介质
CN114647739B (zh) 实体链指方法、装置、电子设备及存储介质
CN113342932B (zh) 目标词向量的确定方法、装置、存储介质和电子装置
CN114998041A (zh) 理赔预测模型的训练方法和装置、电子设备及存储介质
CN115292460A (zh) 一种话题推荐方法、装置、电子设备及存储介质
CN114398903A (zh) 意图识别方法、装置、电子设备及存储介质
CN114611529A (zh) 意图识别方法和装置、电子设备及存储介质
CN113807920A (zh) 基于人工智能的产品推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination