CN116662495A - 问答处理方法、训练问答处理模型的方法及装置 - Google Patents
问答处理方法、训练问答处理模型的方法及装置 Download PDFInfo
- Publication number
- CN116662495A CN116662495A CN202310468450.2A CN202310468450A CN116662495A CN 116662495 A CN116662495 A CN 116662495A CN 202310468450 A CN202310468450 A CN 202310468450A CN 116662495 A CN116662495 A CN 116662495A
- Authority
- CN
- China
- Prior art keywords
- text
- question
- knowledge
- answer
- appeal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000012545 processing Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims description 33
- 238000010276 construction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 6
- 239000000463 material Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例公开了一种问答处理方法、训练问答处理模型的方法及装置。主要技术方案包括：获取问题文本以及问题文本在对话中的上下文；将问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取信息提炼模型输出的诉求文本，诉求文本描述了问题文本所针对目标对象的服务诉求；利用诉求文本在知识库中检索，得到一个以上的候选知识，知识库包含多种类型的文本知识；利用一个以上的候选知识、诉求文本以及上下文，构建第二文本序列；将第二文本序列输入答案生成模型，获取答案生成模型生成的针对问题文本的答案文本。这种方式能够在准确理解用户服务诉求的基础上，检索并整合多种类型的文本知识，从而生成更高精度的答案，提升答案生成效果。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种问答处理方法、训练问答处理模型的方法及装置。
背景技术
在人工智能领域，一个非常流行的应用是智能问答，其要求智能问答系统能够自动回答自然语言形式的问题。智能问答在诸如智能客服、人机对话等多种应用场景下得到了广泛地应用。智能问答相比较文本检索，减少了用户对检索文档内容的二次提取和推理的过程，能够显著提升用户获取知识的体验。但目前已有的智能问答系统的答案生成效果仍有待提高。
发明内容
有鉴于此，本申请提供了一种问答处理方法、训练问答处理模型的方法及装置，用以为用户提供高精度的答案，提高答案生成效果。
本申请提供了如下方案：
第一方面，提供了一种问答处理方法，所述方法包括：
获取问题文本以及问题文本在对话中的上下文；
将所述问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求；
利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；
利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本。
根据本申请实施例中一可实现的方式，所述信息提炼模型包括第一编码模块和第一解码模块；
所述第一编码模块对所述问题文本以及问题文本在对话中的上下文进行拼接后得到的第一文本序列进行特征提取，得到所述第一文本序列中各元素Token的特征表示；
所述第一解码模块利用所述第一文本序列中各Token的特征表示进行解码处理，将解码处理得到的文本序列作为诉求文本。
根据本申请实施例中一可实现的方式，所述知识库包括问答知识库和所述目标对象所属对象类型的信息知识库；
所述问答知识库包括问答对类型的知识，所述问答对类型的知识以所述问答对中的问题进行索引，并对应存储所述索引的特征向量和所述问答对相关的对象信息；
所述目标对象所属对象类型的信息知识库包括：所述对象类型的各对象信息对应的类目、属性信息、网页内容、评论内容和说明书中至少一种知识。
根据本申请实施例中一可实现的方式，利用所述诉求文本在知识库中检索包括：
从所述诉求文本中获取所述目标对象的信息；
利用所述目标对象的信息在所述知识库中进行第一检索，得到多个文本知识；
利用所述诉求文本的特征向量在所述多个文本知识中进行第二检索，得到所述一个以上的候选知识。
根据本申请实施例中一可实现的方式，利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列包括：
将所述一个以上的候选知识、所述诉求文本以及所述上下文填入预设的改写模板，得到所述第二文本序列，其中所述改写模板包括指示候选知识的内容、候选知识的槽位、指示诉求文本的内容、诉求文本的槽位、指示对话上下文的内容以及对话上下文的槽位。
第二方面，提供了一种问答处理方法，应用于电商智能客服系统，所述方法包括：
获取用户的问题文本以及问题文本在所述用户与所述电商智能客服系统的对话中的上下文；
将所述问题文本以及所述上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求，所述目标对象包括商家和/或商品；
利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含与商家和/或商品相关的多种类型的文本知识；
利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本。
根据本申请实施例中一可实现的方式，所述知识库包括商家问答知识库和商品信息知识库；
所述商家问答知识库包括问答对类型的知识，所述问答对类型的知识以所述问答对中的问题进行索引，并对应存储所述索引的特征向量以及所述问答对相关的商品标识和/或商家标识；
所述商品信息知识库包括商品标识对应的类目、属性信息、详情页、商品标题、评论内容和说明书中的至少一种。
根据本申请实施例中一可实现的方式，利用所述诉求文本在知识库中检索包括：
从所述诉求文本中获取商家标识和/或商品标识；
利用所述商家标识和/或商品标识在所述知识库中进行第一检索，得到多个文本知识；
利用所述诉求文本的特征向量在所述多个文本知识中进行第二检索，得到所述一个以上的候选知识。
第三方面，提供了一种问答处理方法，由云端服务器执行，所述方法包括：
获取用户的终端设备发送的问题文本或问题语音对应的问题文本，并获取问题文本在对话中的上下文；
将所述问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求；
利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；
利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本；
将所述答案文本或利用所述答案文本合成的语音返回给所述终端设备。
第四方面，提供了一种训练问答处理模型的方法，所述方法包括：
获取包括多个训练样本的训练数据，所述训练样本包括问题样本、问题样本在对话中的上下文以及问题样本对应的答案样本；
利用所述训练数据训练问答处理模型，其中，所述训练包括：将所述训练样本中的问题样本以及问题样本在对话中的上下文作为问题处理模型的输入，由所述问题处理模型中的信息提炼模型利用输入的问题样本以及问题样本在对话中的上下文生成诉求文本，所述诉求文本描述了所述问题样本所针对目标对象的服务诉求；利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；将所述第二文本序列输入所述问题处理模型中的答案生成模型，获取所述答案生成模型生成的针对所述问题样本的答案文本；所述训练的目标包括：最小化所述答案生成模型生成的答案文本与对应训练样本中的答案样本之间的差异。
第五方面，提供了一种问答处理装置，所述装置包括：
问题获取单元，被配置为获取问题文本以及问题文本在对话中的上下文；
信息提炼单元，被配置为将所述问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求；
知识检索单元，被配置为利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；
文本构建单元，被配置为利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
答案生成单元，被配置为将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本。
第六方面，提供了一种训练问答处理模型的装置，所述装置包括：
样本获取单元，被配置为获取包括多个训练样本的训练数据，所述训练样本包括问题样本、问题样本在对话中的上下文以及问题样本对应的答案样本；
模型训练单元，被配置为利用所述训练数据训练问答处理模型，其中，所述训练包括：将所述训练样本中的问题样本以及问题样本在对话中的上下文作为问题处理模型的输入，由所述问题处理模型中的信息提炼模型利用输入的问题样本以及问题样本在对话中的上下文生成诉求文本，所述诉求文本描述了所述问题样本所针对目标对象的服务诉求；利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；将所述第二文本序列输入所述问题处理模型中的答案生成模型，获取所述答案生成模型生成的针对所述问题样本的答案文本；所述训练的目标包括：最小化所述答案生成模型生成的答案文本与对应训练样本中的答案样本之间的差异。
根据第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面至第四方面中任一项所述的方法的步骤。
根据第八方面，提供了一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面至第四方面中任一项所述的方法的步骤。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
1)本申请通过信息提炼模型从问题文本和问题文本在对话中的上下文中提炼出体现所针对目标对象的服务诉求的诉求文本，并利用诉求文本从包含多种类型文本知识的知识库中检索一个以上的候选知识，利用候选知识、诉求文本以及上下文构建文本序列后输入答案生成模型，以获得答案文本。这种方式能够在准确理解用户服务诉求的基础上，检索并整合多种类型的文本知识，从而生成更高精度的答案，提升答案生成效果。
2)本申请将诸如问答对、类目、属性信息、网页内容、评论内容和说明书等多种类型的知识进行整合，统一用以进行答案生成。并且该方式更加高效，尤其适用于电商客服系统，能够为上千万的商家以及上亿级别的商品提供大规模、多源答案的优质答案生成。
3)本申请采用端到端的方式训练问答生成模型，无需额外针对信息提炼模型和排序模型额外标注训练数据，而是与问答生成模型统一使用一套训练数据即可，相比较传统基于意图识别的问答生成方式中需要针对意图识别模型额外标注大量的样本而言，显然大大节约了人力成本。
当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为是本申请实施例所适用的系统架构图；
图2为本申请实施例提供的问答处理方法的流程图；
图3为本申请实施例提供的问答处理模型的原理性示意图；
图4为本申请实施例提供的训练问答处理模型的方法流程图；
图5为本申请实施例提供的应用于电商智能客服系统的问答处理方法；
图6为本申请实施例提供的问答处理装置的示意性框图；
图7为本申请实施例提供的训练问答处理模型的装置示意性框图；
图8为本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
为了方便对本申请的理解，首先对本申请所适用的系统架构进行简单描述。图1示出了可以应用本申请实施例的示例性系统架构，如图1中所示，该系统架构可以包括用户设备和位于服务器端的问答处理装置、模型训练装置。
其中，模型训练装置用以在离线阶段获取到训练数据后，采用本申请实施例提供的方式预先训练得到答案生成模型。训练结束后答案生成模型上线提供给问答处理装置进行在线的问答处理。
用户可以通过用户设备输入问题文本或包含问题的语音，用户设备将问题文本或包含问题的语音发送给服务器端。
其中用户设备可以包括但不限于诸如：智能移动终端、智能家居设备、可穿戴式设备、PC(PersonalComputer，个人计算机)等。其中智能移动设备可以包括诸如手机、平板电脑、笔记本电脑、PDA(PersonalDigitalAssistant，个人数字助理)、互联网汽车等。智能家居设备可以包括智能电视、智能音箱、智能冰箱等等。可穿戴式设备可以包括诸如智能手表、智能眼镜、虚拟现实设备、增强现实设备、混合现实设备(即可以支持虚拟现实和增强现实的设备)等等。
服务器端将接收到的问题文本提供给问答处理装置，或者，服务器端对接收到的包含问题的语音进行语音识别，将语音识别得到的问题文本提供给问答处理装置。
问答处理装置可以采用本申请实施例中提供的方法，利用知识库中的多种类型知识，针对问题文本进行问答处理，生成答案文本。
服务器端在获取到问答处理装置生成的答案文本后，可以将答案文本通过网络返回给用户设备。也可以将答案文本进行语音合成，得到包含答案的语音，将该语音返回给用户设备。
模型训练装置和问答处理装置可以分别设置为独立的服务器，也可以设置于同一个服务器，还可以设置于服务器群组，或者还可以设置于云服务器。云服务器又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，VirtualPrivateServer)服务中存在的管理难度大，服务扩展性弱的缺陷。除了图1所示架构之外，模型训练装置和问答处理装置还可以设置于具有较强计算能力的计算机终端。
应该理解，图1中的用户设备、模型训练装置、问答处理装置、问答处理模型和知识库的数目仅仅是示意性的。根据实现需要，可以具有任意数目的用户设备、模型训练装置、问答处理装置、问答处理模型和知识库。
图2为本申请实施例提供的问答处理方法的流程图，该方法可以由图1所示系统中的问答处理装置执行。如图2中所示，该方法可以包括以下步骤：
步骤202：获取问题文本以及问题文本在对话中的上下文。
步骤204：将问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取信息提炼模型输出的诉求文本，诉求文本描述了问题文本所针对目标对象的服务诉求。
步骤206：利用诉求文本在知识库中检索，得到一个以上的候选知识，知识库包含多种类型的文本知识。
步骤208：利用一个以上的候选知识、诉求文本以及上述的上下文，构建第二文本序列。
步骤210：将第二文本序列输入答案生成模型，获取答案生成模型生成的针对问题文本的答案文本。
由上述流程可以看出，本申请通过信息提炼模型从问题文本和问题文本在对话中的上下文中提炼出体现所针对目标对象的服务诉求的诉求文本，并利用诉求文本从包含多种类型文本知识的知识库中检索一个以上的候选知识，利用候选知识、诉求文本以及上下文构建文本序列后输入答案生成模型，以获得答案文本。这种方式能够在准确理解用户服务诉求的基础上，检索并整合多种类型的文本知识，从而生成更高精度的答案，提升答案生成效果。
需要说明的是，本公开中涉及的“第一”、“第二”等限定并不具备大小、顺序和数量等方面的限制，仅仅用以在名称上加以区分。例如“第一编码模块”和“第二编码模块”用以在名称上区分两个编码模块。再例如“第一解码模块”和“第二解码模块”用以在名称上区分两个解码模块。
下面分别对上述流程中的各步骤进行具体描述。首先结合实施例对上述步骤202即“获取问题文本以及问题文本在对话中的上下文”进行详细描述。
问题文本通常来自于用户，在不同应用场景下，获取的问题文本的来源可以不同。例如，用户通过用户设备可以在智能问答系统提供的文本框中输入问题文本。也可以是用户通过语音方式在用户设备输入问题语音。
服务器端的问答处理装置获取来自用户设备的问题文本，或者对来自用户设备的问题语音进行语音识别得到问题文本。
用户在各场景下输入问题，通常是在对话中的某一轮提取某个问题，该问题本身可能并不能够充分和完整的表达用户的诉求，因此在本申请实施例中在获取用户问题文本的同时，也获取问题文本在对话中的上下文。作为其中一种可实现的方式，可以将对话中该问题文本之前N轮的内容作为上下文，N为预设的正整数，例如N可以取3。
下面结合实施例对上述步骤204即“将问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取信息提炼模型输出的诉求文本”进行详细描述。
在本申请实施例中，如图3中所示，信息提炼模型是问答处理模型中的一个子模型，用以利用问题文本以及问题文本在对话中的上下文提取诉求文本。信息提炼模型可以采用seq2seq(序列到序列)的生成式模型，可以具体包括：第一编码模块和第一解码模块。
第一编码模块，用以对问题文本以及问题文本在对话中的上下文进行拼接后得到的第一文本序列中，进行特征提取，得到第一文本序列中各Token的特征表示。
第一编码模块在对输入的第一文本序列进行编码之前，可以首先对输入的第一文本序列进行Embedding(嵌入)处理。例如，基于词的Embedding、基于位置的Embedding等。其中，词Embedding，即将各Token(元素)进行词向量编码，得到词向量表示。位置Embedding，即将各Token在输入的文本中的位置进行编码，得到位置的表示。其中文本序列中的各Token指的是构成文本序列的元素。对于文本序列而言，将文本序列切分为字符或者词语序列，则文本序列中的字符或者词语、以及起始符、分隔符均为Token。
第一编码模块可以基于预训练语言模型训练得到，将诸如T5(TransferText-to-Text Transformer，文本到文本迁移的转换)模型、BERT(BidirectionalEncoderRepresentationfrom Transformers，基于转换的双向编码表示)、XLNet(一种通过排列语言模型实现双向上下文信息的自回归模型)、GPT(GenerativePre-Training，生成式预训练)模型等预训练语言模型作为初始的编码模块，在此基础上进行进一步训练。
第一解码模块，用以利用第一文本序列中各Token的特征表示，进行解码处理，得到的文本序列作为诉求文本。
在此需要说明的是，与传统的一些问答处理方式中采用的意图识别相区别的是，意图识别是将用户的问题映射到固定种类的意图类别上，也就是说，意图识别识别得到的是已经预先设定好的多种类别中的一种，一方面约束性较高，是一种强制表达，且如果用户表达的与已有意图并不完全匹配，则可能造成答案不准确；另一方面，在进行意图识别模型的训练过程中需要额外标注大量的意图标签类样本，人工消耗巨大，并且随着意图种类的增加，需要重新训练调整意图识别模型。本申请实施例中涉及的诉求文本是通过生成式的seq2seq模型生成的文本序列，可以认为是对问题文本所针对目标对象的服务诉求的精炼表达，无需映射到具体的类别上，表达更加自由和准确。
举个例子，假设用户与智能客服发生如下对话：
“用户A：您好！
智能客服：您好。
用户A：我下单了商品XXX。
用户A：但我不知道是什么材质，能否帮我查一下？”
该例子中，用户的问题文本为：“但我不知道是什么材质，能否帮我查一下？”，在对话中的上下文若取前3轮对话中的内容，则将问题文本和上下文进行拼接后，可以得到文本序列“您好！您好。我下单了商品XXX。但我不知道是什么材质，能否帮我查一下？”。将该文本序列输入信息提炼模型后，可以得到诉求文本：“用户想要查询商品XXX的材质”。可见，诉求文本精炼地描述了用户的服务诉求，并且该服务诉求是针对特定对象的，即“商品XXX”。在此需要说明的是，通常用户的服务诉求是针对特定对象的，本申请将该特定对象称为目标对象，在不同应用领域中的目标对象可能不同。例如在电商问答场景下，目标对象可以是商品、商家，等等。在医学问答场景下，目标对象可以是疾病、器官、药品等等。
下面结合实施例对上述步骤206即“利用诉求文本在知识库中检索，得到一个以上的候选知识”进行详细描述。
本申请实施例中可以预先构建包含多种类型的文本知识的知识库。作为其中一种可实现的方式，上述知识库可以如图3中所示，包括问答知识库和目标对象所属对象类型的信息知识库。
其中问答知识库中的知识类型为问答对。可以预先从海量的历史对话或者用户评论等资源中抽取问答对，将问答对中的问题进行索引，并对应存储索引的特征向量和问答对相关的对象信息，对象信息可以采用诸如对象ID(Identitydocument，身份标识)。例如采用如下形式存储：[对象ID-索引-索引向量-知识]。其中，索引可以是问答对中的问题，知识可以是问答对中的答案。
目标对象所属对象类型的信息知识库可以包括各对象信息对应的类目、属性信息、网页内容、评论内容、说明书等中的至少一种知识。例如可以采用如下形式存储：[对象ID-信息源-知识]。另外，可以预先对应存储知识对应的特征向量。
本步骤可以由问答处理模型中的检索模型实现。
作为其中一种可实现的方式，获取步骤204得到的诉求文本的特征向量，利用该诉求文本的特征向量在知识库中进行检索，从而得到一个以上的候选知识。其中该检索实质上是计算诉求文本的特征向量与知识库中各知识的特征向量之间的相似度，例如计算诉求文本与问答知识库中索引的特征向量之间的相似度，计算诉求文本与信息知识库中知识的特征向量之间的相似度。然后选择相似度大于或等于预设相似度阈值的知识作为候选知识，或者选择相似度排在前K个的知识作为候选知识，K为预设的正整数，等等。
由于通常用户的问题是针对特定对象的，因此无论是问答知识库还是信息知识库，通常都会存储与对象信息之间的对应关系。因此作为另一种更为优选的实施方式，可以首先从诉求文本中获取目标对象的信息。例如，从诉求文本“用户想要查询商品XXX的材质”中获取目标对象为“商品XXX”。更进一步地，还可以从其他方面来获取目标对象的信息，例如获取智能客服所属的店铺ID。然后利用目标对象的信息在知识库中进行第一检索，得到多个文本知识；再利用诉求文本的特征向量在该多个文本知识中进行第二检索，得到一个以上的候选知识。
其中，利用目标对象的信息在知识库中进行第一检索时，可以检索与目标对象的信息对应的知识，例如目标商品ID对应的知识，目标商铺ID对应的知识。
在利用诉求文本的特征向量在该多个文本知识中进行第二检索时，可以计算诉求文本的特征向量与知识库中各知识的特征向量之间的相似度，例如计算诉求文本与问答知识库中索引的特征向量之间的相似度，计算诉求文本与信息知识库中知识的特征向量之间的相似度。然后选择相似度大于或等于预设相似度阈值的知识作为候选知识，或者选择相似度排在前K个的知识作为候选知识，K为预设的正整数，等等。
下面结合实施例对上述步骤208即“利用一个以上的候选知识、诉求文本以及上述的上下文，构建第二文本序列”进行详细描述。
作为其中一种可实现的方式，可以直接将上述一个以上的候选知识、诉求文本以及上述的上下文按照预设的顺序进行拼接，得到文本序列。
除了上述可实现的方式之外，为了让答案生成模型更好的理解用户诉求以及用户诉求和候选知识在语义上的关联，可以将上述一个以上的候选知识、诉求文本以及上下文填入预设的改写模板，得到文本序列。其中改写模板可以包括指示候选知识的内容、候选知识的槽位、指示诉求文本的内容、诉求文本的槽位、指示对话上下文的内容以及对话上下文的槽位。例如，改写模板可以采用如下形式：
“基于或参考下面提供的信息：[候选知识1]、[候选知识2]、…、[候选知识K]。结合用户的对话上下文：[上下文]，请回答用户当前问题：[诉求文本]”。
其中，上述[]代表槽位。
改写模板除了上述内容之外，还可以进一步包括若无法找到答案所采用的话术内容。例如，改写模板中还包括“若无法回答则输出‘没有答案’”。
下面结合实施例对上述步骤210即“将第二文本序列输入答案生成模型，获取答案生成模型生成的针对问题文本的答案文本”进行详细描述。
在本申请实施例中，如图3中所示，答案生成模型也是问答处理模型中的一个子模型，用以利用输入的文本序列生成答案文本。答案生成模型可以采用seq2seq(序列到序列)模型，可以具体包括：第二编码模块和第二解码模块。
第二编码模块，用以对输入的第二文本序列进行特征提取，得到第二文本序列中各Token的特征表示。
第二编码模块在对输入的第二文本序列进行编码之前，可以首先对输入的第二文本序列进行Embedding处理。例如，基于词的Embedding、基于位置的Embedding等。其中，词Embedding，即将各Token进行词向量编码，得到词向量表示。位置Embedding，即将各Token在输入的文本中的位置进行编码，得到位置的表示。其中文本序列中的各Token指的是构成文本序列的元素。对于文本序列而言，将文本序列切分为字符或者词语序列，则文本序列中的字符或者词语、以及起始符、分隔符均为Token。
第二编码模块可以基于预训练语言模型训练得到，将诸如T5模型、BERT、XLNet、GPT模型等预训练语言模型作为初始的编码模块，在此基础上进行进一步训练。
第二解码模块，用以利用第二文本序列中各Token的特征表示，进行解码处理，得到的文本序列作为答案文本。
图4为本申请实施例提供的训练问答处理模型的方法流程图，该方法可以由图1所示系统中的模型训练装置执行。如图4中所示，所述方法包括：
步骤402：获取包括多个训练样本的训练数据，训练样本包括问题样本、问题样本在对话中的上下文以及问题样本对应的答案样本。
其中训练样本可以人工构造，也可以采用其他方式获得。例如可以从人工客服的历史问答日志中获取用户的问题文本以及对话中该问题文本的前N轮对话内容分别作为问题样本以及该问题赝本在对话中的上下文，将人工客服针对该问题文本反馈的答案文本作为答案样本。再例如可以从历史问答日志中获取用户的问题文本以及对话中该问题文本的前N轮对话内容分别作为问题样本以及该问题赝本在对话中的上下文，将用户反馈优质的答案文本作为答案样本。等等。
另外，在构造训练样本时，除了给出用户想要的答案之外，为了能够在用户问题的不同情况下，都能够为用户返回合适的答案文本，可以进行一些特殊的样本构造。包括但不限于：
可以构造一些诉求不明确的问题文本及其在对话中的上下文，并相应构造其答案文本为反问类型的文本，目的是为了更进一步明确用户的诉求。这样，在实际问答处理过程中，如果用户输入的问题文本及其在对话中的上下文不具备明确的诉求时，能够生成反问用户的问题文本。
可以构造一些诉求是咨询商品信息的问题文本及其在对话中的上下文，并构造其答案文本为推荐相关商品的文本。这样，在实际问答处理过程中，如果用户输入的问题文本及其在对话中的上下文具备咨询商品信息的诉求时，能够生成推荐相关商品的文本。
步骤404：利用训练数据训练问答处理模型，其中，训练包括：将训练样本中的问题样本以及问题样本在对话中的上下文作为问题处理模型的输入，由问题处理模型中的信息提炼模型利用输入的问题样本以及问题样本在对话中的上下文生成诉求文本，诉求文本描述了问题样本所针对目标对象的服务诉求；问题处理模型中的检索模型利用诉求文本在知识库中检索，得到一个以上的候选知识，知识库包含多种类型的文本知识；利用一个以上的候选知识、诉求文本以及上下文，构建第二文本序列；将第二文本序列输入问题处理模型中的答案生成模型，获取答案生成模型生成的针对问题样本的答案文本；训练的目标包括：最小化答案生成模型生成的答案文本与对应训练样本中的答案样本之间的差异。
本申请实施例中，采用端到端的方式训练问答处理模型，即将信息提炼模型、检索模型和答案生成模型作为一个整体进行训练。关于信息提炼模型、检索模型和答案生成模型的具体实现原理参见问答处理方法实施例中的相关记载，在此不做赘述。
在本申请实施例中，可以依据上述训练目标构造损失函数，在每一轮迭代中利用损失函数的取值，采用诸如梯度下降等方式更新信息提炼模型、检索模型和答案生成模型的参数，直至满足预设的训练结束条件。其中训练结束条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。
本申请实施例提供的上述方法可以应用于多种应用场景，例如可以应用于电商的智能客服系统，再例如可以应用于智能音箱中的问答系统，再例如可以应用于教育领域的问答系统，等等。在此仅以应用于电商智能客服系统为例，对本申请提供的方法进行举例描述。
图5为本申请实施例提供的应用于电商智能客服系统的问答处理方法，如图5中所示，该方法可以包括以下步骤：
步骤502：获取用户的问题文本以及问题文本在用户与电商智能客服系统的对话中的上下文。
在本申请实施例中获取用户在与智能客服的对话过程中输入的问题文本，也获取问题文本在对话中的上下文。作为其中一种可实现的方式，可以将对话中该问题文本之前N轮的内容作为上下文，N为预设的正整数，例如N取3。
步骤504：将问题文本以及上下文输入信息提炼模型，获取信息提炼模型输出的诉求文本，诉求文本描述了问题文本所针对目标对象的服务诉求，目标对象包括商家和/或商品。
信息提炼模型的结构和原理参见之前实施例中的相关记载，在此不做赘述。举个例子：假设用户与智能客服发生如下对话：
“用户A：您好！
智能客服：您好。
用户A：我下单了商品XXX。
用户A：但我不知道是什么材质，能否帮我查一下？”
该例子中，用户的问题文本为：“但我不知道是什么材质，能否帮我查一下？”，在对话中的上下文若取前3轮对话中的内容，则将问题文本和上下文进行拼接后，可以得到文本序列“您好！您好。我下单了商品XXX。但我不知道是什么材质，能否帮我查一下？”。将该文本序列输入信息提炼模型后，可以得到诉求文本：“用户想要查询商品XXX的材质”。可见，诉求文本精炼地描述了用户的服务诉求。
步骤506：利用诉求文本在知识库中检索，得到一个以上的候选知识，知识库包含与商家和/或商品相关的多种类型的文本知识。
本实施例中涉及的知识库可以包括商家问答知识库和商品信息知识库等。
其中，商家问答知识库可以包括问答对类型的知识，可以预先从海量的历史对话或者用户对商品的评论等资源中抽取。可以框问答对类型的知识以问答对中的问题进行索引，并对应存储索引的特征向量以及问答对相关的商品ID和/或商家ID。例如采用如下形式存储：[商家ID-商品ID-索引-索引向量-知识]。其中，索引可以是问答对中的问题，知识可以是问答对中的答案。
商品信息知识库包括商品标识对应的类目、属性信息、详情页、商品标题、评论内容和说明书等知识中的至少一种。例如可以采用如下形式存储：[商家ID-商品ID-信息源-知识]。另外，可以预先对应存储知识对应的特征向量。
本步骤可以由问答处理模型中的检索模型实现。作为其中一种较为优选的实施方式，可以首先从诉求文本中获取商家标识和/或商品标识。除了从诉求文本中获取的方式之外，也可以从其他途径获取，例如从智能客服所属的商家获取商家标识等等。
然后利用商家标识和/或商品标识在知识库中进行第一检索，得到多个文本知识。例如利用商家标识和商品标识首先确定具有该商家标识和商品标识的多个文本知识。
再利用诉求文本的特征向量在多个文本知识中进行第二检索，得到一个以上的候选知识。
接续上例，从诉求文本：“用户想要查询商品XXX的材质”中可以获取“商品XXX”的商品ID，利用该商品ID与商家问答知识库中[商家ID-商品ID-索引-索引向量-知识]形式的知识进行匹配，以及与商品信息知识库中[商家ID-商品ID-信息源-知识]的知识进行匹配(即第一检索)，得到多个文本知识。再利用诉求文本的特征向量与匹配得到的多个文本知识的特征向量进行相似度计算(即第二检索)，选择相似度大于或等于预设阈值，或者相似度排在前K个的知识作为候选知识。
通过本步骤能够将问答对、评论、商品类目、属性信息、详情页、商品标题、评论内容和说明书等多种类型的知识进行整合，统一用以进行答案生成。并且该方式更加高效，能够为上千万的商家以及上亿级别的商品提供大规模、多源答案的优质答案生成。
步骤508：利用一个以上的候选知识、诉求文本以及上下文，构建第二文本序列。
在本实施例中，可以将上述一个以上的候选知识、诉求文本以及上下文填入预设的改写模板，得到第二文本序列。可以产生诸如下的第二文本序列：
“基于或参考下面提供的信息：[商品标题]、[商品类目]、[商品详情页]、[商品属性]、[商品属性]、[问答知识]。结合用户的对话上下文：[上下文]，请回答用户当前问题：[诉求文本]。若无法回答则输出‘未找到答案’”。
步骤510：将第二文本序列输入答案生成模型，获取答案生成模型生成的针对问题文本的答案文本。
关于答案生成模型的结构和原理可以参见之前实施例中的相关记载，在此不做赘述。
接续上例，针对诉求文本“用户想要查询商品XXX的材质”，将步骤508构建的对应第二文本序列输入答案生成模型后，答案生成模型可以生成答案文本“商品XXX的材质是棉麻”。如果没有候选知识，则答案生成模型可以生成答案文本“未找到答案”。
通过上述流程，能够形成一套统一有效的多源知识电商智能客服系统，提升智能客服的服务能力和服务质量，更高效、更全面地解决用户问题，提升用户的体验和满意度。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
根据另一方面的实施例，提供了一种问答处理装置。图6示出根据一个实施例的问答处理装置的示意性框图。如图6所示，该装置600包括：问题获取单元601、信息提炼单元602、知识检索单元603、文本构建单元604和答案生成单元605。其中各组成单元的主要功能如下：
问题获取单元601，被配置为获取问题文本以及问题文本在对话中的上下文。
信息提炼单元602，被配置为将问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取信息提炼模型输出的诉求文本，诉求文本描述了问题文本所针对目标对象的服务诉求。
知识检索单元603，被配置为利用诉求文本在知识库中检索，得到一个以上的候选知识，知识库包含多种类型的文本知识。
文本构建单元604，被配置为利用一个以上的候选知识、诉求文本以及上下文，构建第二文本序列。
答案生成单元605，被配置为将第二文本序列输入答案生成模型，获取答案生成模型生成的针对问题文本的答案文本。
作为其中一种可实现的方式，信息提炼模型包括第一编码模块和第一解码模块。
第一编码模块对问题文本以及问题文本在对话中的上下文进行拼接后得到的第一文本序列中进行特征提取，得到第一文本序列中各元素Token的特征表示。
第一解码模块利用第一文本序列中各Token的特征表示进行解码处理，将解码处理得到的文本序列作为诉求文本。
作为其中一种可实现的方式，知识库包括问答知识库和目标对象所属对象类型的信息知识库。
问答知识库包括问答对类型的知识，问答对类型的知识以问答对中的问题进行索引，并对应存储索引的特征向量和问答对相关的对象信息。
目标对象所属对象类型的信息知识库包括：对象类型的各对象信息对应的类目、属性信息、网页内容、评论内容和说明书中至少一种知识。
作为其中一种可实现的方式，知识检索单元603可以具体被配置为从诉求文本中获取目标对象的信息；利用目标对象的信息在知识库中进行第一检索，得到多个文本知识；利用诉求文本的特征向量在多个文本知识中进行第二检索，得到一个以上的候选知识。
作为其中一种可实现的方式，文本构建单元604可以具体被配置为：将一个以上的候选知识、诉求文本以及上下文填入预设的改写模板，得到第二文本序列，其中改写模板包括指示候选知识的内容、候选知识的槽位、指示诉求文本的内容、诉求文本的槽位、指示对话上下文的内容以及对话上下文的槽位。
根据再一方面的实施例，提供了一种训练问答处理模型的装置。图7示出根据一个实施例的训练问答处理模型的装置示意性框图，该装置即图1所示系统架构中的模型训练装置。如图7所示，该装置700包括：样本获取单元701和模型训练单元702。其中各组成单元的主要功能如下：
样本获取单元701，被配置为获取包括多个训练样本的训练数据，训练样本包括问题样本、问题样本在对话中的上下文以及问题样本对应的答案样本。
模型训练单元702，被配置为利用训练数据训练问答处理模型，其中，训练包括：将训练样本中的问题样本以及问题样本在对话中的上下文作为问题处理模型的输入，由问题处理模型中的信息提炼模型利用输入的问题样本以及问题样本在对话中的上下文生成诉求文本，诉求文本描述了问题样本所针对目标对象的服务诉求；利用诉求文本在知识库中检索，得到一个以上的候选知识，知识库包含多种类型的文本知识；利用一个以上的候选知识、诉求文本以及上下文，构建第二文本序列；将第二文本序列输入问题处理模型中的答案生成模型，获取答案生成模型生成的针对问题样本的答案文本；训练的目标包括：最小化答案生成模型生成的答案文本与对应训练样本中的答案样本之间的差异。
本申请实施例中，采用端到端的方式训练问答处理模型，即将信息提炼模型、检索模型和答案生成模型作为一个整体进行训练。关于信息提炼模型、检索模型和答案生成模型的具体实现原理参见问答处理方法实施例中的相关记载，在此不做赘述。
在本申请实施例中，可以依据上述训练目标构造损失函数，模型训练单元702在每一轮迭代中利用损失函数的取值，采用诸如梯度下降等方式更新信息提炼模型、检索模型和答案生成模型的参数，直至满足预设的训练结束条件。其中训练结束条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
以及一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。
本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
其中，图8示例性的展示出了电子设备的架构，具体可以包括处理器810，视频显示适配器811，磁盘驱动器812，输入/输出接口813，网络接口814，以及存储器820。上述处理器810、视频显示适配器811、磁盘驱动器812、输入/输出接口813、网络接口814，与存储器820之间可以通过通信总线830进行通信连接。
其中，处理器810可以采用通用的CPU、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。
存储器820可以采用ROM(ReadOnlyMemory，只读存储器)、RAM(RandomAccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器820可以存储用于控制电子设备800运行的操作系统821，用于控制电子设备800的低级别操作的基本输入输出系统(BIOS)822。另外，还可以存储网页浏览器823，数据存储管理系统824，以及问答处理装置/模型训练装置825等等。上述问答处理装置/模型训练装置825就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器820中，并由处理器810来调用执行。
输入/输出接口813用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口814用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线830包括一通路，在设备的各个组件(例如处理器810、视频显示适配器811、磁盘驱动器812、输入/输出接口813、网络接口814，与存储器820)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器810、视频显示适配器811、磁盘驱动器812、输入/输出接口813、网络接口814，存储器820，总线830等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序产品的形式体现出来，该计算机程序产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种问答处理方法，其特征在于，所述方法包括：
获取问题文本以及问题文本在对话中的上下文；
将所述问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求；
利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；
利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本。
2.根据权利要求1所述的方法，其特征在于，所述信息提炼模型包括第一编码模块和第一解码模块；
所述第一编码模块对所述问题文本以及问题文本在对话中的上下文进行拼接后得到的第一文本序列进行特征提取，得到所述第一文本序列中各元素Token的特征表示；
所述第一解码模块利用所述第一文本序列中各Token的特征表示进行解码处理，将解码处理得到的文本序列作为诉求文本。
3.根据权利要求1所述的方法，其特征在于，所述知识库包括问答知识库和所述目标对象所属对象类型的信息知识库；
所述问答知识库包括问答对类型的知识，所述问答对类型的知识以所述问答对中的问题进行索引，并对应存储所述索引的特征向量和所述问答对相关的对象信息；
所述目标对象所属对象类型的信息知识库包括：所述对象类型的各对象信息对应的类目、属性信息、网页内容、评论内容和说明书中至少一种知识。
4.根据权利要求1或3所述的方法，其特征在于，利用所述诉求文本在知识库中检索包括：
从所述诉求文本中获取所述目标对象的信息；
利用所述目标对象的信息在所述知识库中进行第一检索，得到多个文本知识；
利用所述诉求文本的特征向量在所述多个文本知识中进行第二检索，得到所述一个以上的候选知识。
5.根据权利要求1所述的方法，其特征在于，利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列包括：
将所述一个以上的候选知识、所述诉求文本以及所述上下文填入预设的改写模板，得到所述第二文本序列，其中所述改写模板包括指示候选知识的内容、候选知识的槽位、指示诉求文本的内容、诉求文本的槽位、指示对话上下文的内容以及对话上下文的槽位。
6.一种问答处理方法，应用于电商智能客服系统，其特征在于，所述方法包括：
获取用户的问题文本以及问题文本在所述用户与所述电商智能客服系统的对话中的上下文；
将所述问题文本以及所述上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求，所述目标对象包括商家和/或商品；
利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含与商家和/或商品相关的多种类型的文本知识；
利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本。
7.根据权利要求6所述的方法，其特征在于，所述知识库包括商家问答知识库和商品信息知识库；
所述商家问答知识库包括问答对类型的知识，所述问答对类型的知识以所述问答对中的问题进行索引，并对应存储所述索引的特征向量以及所述问答对相关的商品标识和/或商家标识；
所述商品信息知识库包括商品标识对应的类目、属性信息、详情页、商品标题、评论内容和说明书中的至少一种。
8.根据权利要求6或7所述的方法，其特征在于，利用所述诉求文本在知识库中检索包括：
从所述诉求文本中获取商家标识和/或商品标识；
利用所述商家标识和/或商品标识在所述知识库中进行第一检索，得到多个文本知识；
利用所述诉求文本的特征向量在所述多个文本知识中进行第二检索，得到所述一个以上的候选知识。
9.一种问答处理方法，由云端服务器执行，其特征在于，所述方法包括：
获取用户的终端设备发送的问题文本或问题语音对应的问题文本，并获取问题文本在对话中的上下文；
将所述问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求；
利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；
利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本；
将所述答案文本或利用所述答案文本合成的语音返回给所述终端设备。
10.一种训练问答处理模型的方法，其特征在于，所述方法包括：
获取包括多个训练样本的训练数据，所述训练样本包括问题样本、问题样本在对话中的上下文以及问题样本对应的答案样本；
利用所述训练数据训练问答处理模型，其中，所述训练包括：将所述训练样本中的问题样本以及问题样本在对话中的上下文作为问题处理模型的输入，由所述问答处理模型中的信息提炼模型利用输入的问题样本以及问题样本在对话中的上下文生成诉求文本，所述诉求文本描述了所述问题样本所针对目标对象的服务诉求；利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；将所述第二文本序列输入所述问题处理模型中的答案生成模型，获取所述答案生成模型生成的针对所述问题样本的答案文本；所述训练的目标包括：最小化所述答案生成模型生成的答案文本与对应训练样本中的答案样本之间的差异。
11.一种问答处理装置，其特征在于，所述装置包括：
问题获取单元，被配置为获取问题文本以及问题文本在对话中的上下文；
信息提炼单元，被配置为将所述问题文本以及问题文本在对话中的上下文输入信息提炼模型，获取所述信息提炼模型输出的诉求文本，所述诉求文本描述了所述问题文本所针对目标对象的服务诉求；
知识检索单元，被配置为利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；
文本构建单元，被配置为利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；
答案生成单元，被配置为将所述第二文本序列输入答案生成模型，获取所述答案生成模型生成的针对所述问题文本的答案文本。
12.一种训练问答处理模型的装置，其特征在于，所述装置包括：
样本获取单元，被配置为获取包括多个训练样本的训练数据，所述训练样本包括问题样本、问题样本在对话中的上下文以及问题样本对应的答案样本；
模型训练单元，被配置为利用所述训练数据训练问答处理模型，其中，所述训练包括：将所述训练样本中的问题样本以及问题样本在对话中的上下文作为问题处理模型的输入，由所述问题处理模型中的信息提炼模型利用输入的问题样本以及问题样本在对话中的上下文生成诉求文本，所述诉求文本描述了所述问题样本所针对目标对象的服务诉求；利用所述诉求文本在知识库中检索，得到一个以上的候选知识，所述知识库包含多种类型的文本知识；利用所述一个以上的候选知识、所述诉求文本以及所述上下文，构建第二文本序列；将所述第二文本序列输入所述问题处理模型中的答案生成模型，获取所述答案生成模型生成的针对所述问题样本的答案文本；所述训练的目标包括：最小化所述答案生成模型生成的答案文本与对应训练样本中的答案样本之间的差异。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10任一项所述的方法的步骤。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至10任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310468450.2A CN116662495A (zh) | 2023-04-27 | 2023-04-27 | 问答处理方法、训练问答处理模型的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310468450.2A CN116662495A (zh) | 2023-04-27 | 2023-04-27 | 问答处理方法、训练问答处理模型的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116662495A true CN116662495A (zh) | 2023-08-29 |
Family
ID=87716120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310468450.2A Pending CN116662495A (zh) | 2023-04-27 | 2023-04-27 | 问答处理方法、训练问答处理模型的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662495A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573842A (zh) * | 2024-01-12 | 2024-02-20 | 阿里云计算有限公司 | 文档检索方法以及自动问答方法 |
-
2023
- 2023-04-27 CN CN202310468450.2A patent/CN116662495A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573842A (zh) * | 2024-01-12 | 2024-02-20 | 阿里云计算有限公司 | 文档检索方法以及自动问答方法 |
| CN117573842B (zh) * | 2024-01-12 | 2024-04-30 | 阿里云计算有限公司 | 文档检索方法以及自动问答方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679039B (zh) | 用于确定语句意图的方法和装置 | |
| CN108304439B (zh) | 一种语义模型优化方法、装置及智能设备、存储介质 | |
| US20180336193A1 (en) | Artificial Intelligence Based Method and Apparatus for Generating Article | |
| CN110019732B (zh) | 一种智能问答方法以及相关装置 | |
| CN109299320B (zh) | 一种信息交互方法、装置、计算机设备和存储介质 | |
| CN108388650B (zh) | 基于需求的搜索处理方法、装置和智能设备 | |
| CN113806588B (zh) | 搜索视频的方法和装置 | |
| CN110377750B (zh) | 评论生成及评论生成模型训练方法、装置及存储介质 | |
| CN116127020A (zh) | 生成式大语言模型训练方法以及基于模型的搜索方法 | |
| CN114840671A (zh) | 对话生成方法、模型的训练方法、装置、设备及介质 | |
| CN112926308B (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
| CN111078842A (zh) | 查询结果的确定方法、装置、服务器及存储介质 | |
| CN112182167B (zh) | 一种文本匹配方法、装置、终端设备和存储介质 | |
| CN115062134B (zh) | 知识问答模型训练及知识问答方法、装置和计算机设备 | |
| CN114861889A (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
| CN116541493A (zh) | 基于意图识别的交互应答方法、装置、设备、存储介质 | |
| CN116245097A (zh) | 训练实体识别模型的方法、实体识别方法及对应装置 | |
| CN116662495A (zh) | 问答处理方法、训练问答处理模型的方法及装置 | |
| CN114120166A (zh) | 视频问答方法、装置、电子设备及存储介质 | |
| CN117131155A (zh) | 多类目识别方法、装置、电子设备及储存介质 | |
| CN113343692A (zh) | 搜索意图的识别方法、模型训练方法、装置、介质及设备 | |
| CN112182126A (zh) | 用于确定匹配度的模型训练方法、装置、电子设备及可读存储介质 | |
| CN116561271A (zh) | 问答处理方法及装置 | |
| CN116049370A (zh) | 信息查询方法和信息生成模型的训练方法、装置 | |
| CN116775815A (zh) | 对话数据的处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |