CN111414457A - 基于联邦学习的智能问答方法、装置、设备及存储介质 - Google Patents
基于联邦学习的智能问答方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111414457A CN111414457A CN202010206000.2A CN202010206000A CN111414457A CN 111414457 A CN111414457 A CN 111414457A CN 202010206000 A CN202010206000 A CN 202010206000A CN 111414457 A CN111414457 A CN 111414457A
- Authority
- CN
- China
- Prior art keywords
- question
- consulted
- model
- matching degree
- federal learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于联邦学习的智能问答方法、装置、设备及存储介质,所述方法应用于终端设备,包括:当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定待咨询问题的问题类型;调用本地内基于联邦学习的语义理解模型对与问题类型对应的各相似问题进行检索,得到与待咨询问题对应的匹配问题;获取与匹配问题对应的参考答案,并将参考答案作为与待咨询问题对应的回复输出;其中,分类模型和语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。本发明基于联邦学习的分类模型和语义理解模型所实现的智能问答,通过分类检索来提高智能问答效率的同时,确保了问答的准确性以及各方数据的安全性。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种基于联邦学习的智能问答方法、装置、设备及存储介质。
背景技术
随着金融科技(Fintech),尤其是互联网科技金融的不断发展,越来越多的技术(如人工智能、大数据、云存储等)应用在金融领域,但金融领域也对各类技术提出了更高的要求,如要求对智能问答更为全面准确。
网络平台的快速发展,对人工坐席的需求量越来越大,为了缓解人工坐席的压力,越来越多的网络平台设置有智能机器人来为客户提供智能问答服务。智能问答过程中,不同客户所咨询的问题类型千差万别,即便针对同一类型问题进行咨询,也存在不同的表述方式。当前智能机器人的智能问答依托于单一的知识库实现,使得在对各类咨询问题进行回复时,需要耗费大量时间来识别问题内容,增加了智能问答的等待时间;同时容易因表述方式的差别,而不能准确识别问题的内容,导致了智能问答的回复不准确。
发明内容
本发明的主要目的在于提供一种基于联邦学习的智能问答方法、装置、设备及存储介质,旨在解决现有技术中智能问答的等待时间长,且回复不准确的技术问题。
为实现上述目的,本发明提供一种基于联邦学习的智能问答方法,所述基于联邦学习的智能问答方法包括以下步骤:
当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型;
调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题;
获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出;
其中,所述分类模型和所述语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。
可选地,所述调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型的步骤包括:
调用所述分类模型对所述待咨询问题进行参数化处理,得到待咨询问题参数;
根据所述待咨询问题参数与所述分类模型中各分类样本参数之间的相似度大小,确定所述待咨询问题的问题类型。
可选地,所述调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题的步骤包括:
调用所述语义理解模型对所述待咨询问题和所述问题类型中各相似问题进行匹配,生成所述待咨询问题与各所述相似问题之间的匹配度;
确定各所述匹配度中匹配程度最高的目标匹配度,并将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题。
可选地,所述将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题的步骤包括:
将所述目标匹配度与预设匹配度对比,判断所述目标匹配度是否大于所述预设匹配度;
若大于所述预设匹配度,则查找所述问题类型中与所述目标匹配度对应的相似问题,并将查找到的相似问题确定为所述匹配问题;
若所述目标匹配度不大于所述预设匹配度,则调用预设知识图谱来确定与所述待咨询问题对应的待匹配问题;
获取所述待咨询问题与所述待匹配问题之间的问题匹配度,并判断所述问题匹配度是否大于预设匹配度;
若大于预设匹配度,则将所述待匹配问题确定为所述匹配问题;
所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
从本地的知识库中查找与所述匹配问题对应的参考答案,并获取与所述匹配问题对应的推荐问题;
将所述推荐问题和参考答案作为与所述待咨询问题对应的回复输出。
可选地,所述判断所述问题匹配度是否大于预设匹配度的步骤之后,所述方法还包括:
若所述问题匹配度不大于预设匹配度,则根据所述问题匹配度与所述目标匹配度之间的大小关系,确定待回复问题作为所述匹配问题;
所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
判断本地的闲聊库中是否存在与所述匹配问题对应的闲聊答案,若存在所述闲聊答案,则选取所述闲聊答案作为与所述待咨询问题对应的回复输出;
若不存在所述闲聊答案,则选取本地的默认答案作为与所述待咨询问题对应的回复输出。
可选地,所述基于联邦学习的智能问答方法还包括步骤:
每间隔预设周期,读取本地的问答日志中的各类历史问题,并判断各类所述历史问题是否均存在于本地的各类型问题集中;
若各类所述历史问题中具有不存在于本地各类型问题集中的目标历史问题,则确定与所述目标历史问题对应的答案源属性;
若所述答案源属性为人工属性,则获取与所述目标历史问题对应的回答答案,并将所述目标历史问题和所述回答答案一并作为训练样本存储,以对所述语义理解模型更新训练;
若所述答案源属性为机器属性,则查找本地中与所述目标历史问题相似度最高的标准问题,并确定与所述标准问题对应的目标类型问题集,将所述目标历史问题作为所述目标类型问题集下的待确定训练样本存储,以在所述待确定训练样本确定为训练样本后,对所述语义理解模型更新训练。
可选地,所述当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型的步骤之前,所述方法还包括:
在接收到分类样本和语义理解样本后,基于所述分类样本和语义理解样本分别对本地内的第一初始模型和第二初始模型进行训练,生成分类模型梯度和语义模型梯度;
将所述分类模型梯度和所述语义模型梯度传输到协调方,以供协调方将所述分类模型梯度和至少一个其他终端设备发送的其他分类模型梯度进行聚合,生成第一模型梯度,并将所述语义模型梯度和至少一个其他终端设备发送的其他语义模型梯度进行聚合,生成第二模型梯度;
接收协调方回传的第一模型梯度,并基于所述第一模型梯度对所述第一初始模型持续训练,直到所述第一初始模型收敛,得到本地内的分类模型;
接收协调方回传的第二模型梯度,并基于所述第二模型梯度对所述第二初始模型持续训练,直到所述第二初始模型收敛,得到本地内的语义理解模型。
进一步地,为实现上述目的,本发明还提供一种基于联邦学习的智能问答装置,所述基于联邦学习的智能问答装置包括:
确定模块,用于当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型;
检索模块,用于调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题;
获取模块,用于获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出;
其中,所述分类模型和所述语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。
进一步地,为实现上述目的,本发明还提供一种基于联邦学习的智能问答设备,所述基于联邦学习的智能问答设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的智能问答程序,所述基于联邦学习的智能问答程序被所述处理器执行时实现如上述所述的基于联邦学习的智能问答方法的步骤。
进一步地,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有基于联邦学习的智能问答程序,所述基于联邦学习的智能问答程序被处理器执行时实现如上所述的基于联邦学习的智能问答方法的步骤。
本发明的基于联邦学习的智能问答方法,设置有基于联邦学习联合多方数据来实现智能问答的机制,预先基于多方终端设备的分类样本和语义理解样本分别执行联邦学习算法进行训练,得到基于联邦学习的分类模型和语义理解模型。一旦接收到待咨询问题,表征具有智能问答需求时,先从本地内调用分类模型来确定待咨询问题的问题类型,再调用语义理解模型对问题类型中的各相似问题进行检索,得到与待咨询问题对应的匹配问题,进而获取与匹配问题对应的参考答案作为与待咨询问题对应的回复输出,实现待咨询问题的回复。本发明通过设置分类检索机制,缩短了检索识别时间,减少了智能问答的等待时间,提高了智能问答的效率。同时因分类模型和语义理解模型均联合多方样本训练生成,丰富了训练的样本量和样本类型,使得智能问答的回复更为准确。此外,各方训练样本均仅存在于各方终端设备内部,有利于各方样本数据的安全性。因此,本发明通过分类模型和语义理解模型所实现的智能问答,是在各方样本数据隐私受到严格保护的前提下联合多方样本数据实现的,在提高智能问答效率的同时,确保了回复的准确性以及各方数据的安全性。
附图说明
图1为本发明基于联邦学习的智能问答设备实施例方案涉及的设备硬件运行环境的结构示意图;
图2为本发明基于联邦学习的智能问答方法第一实施例的流程示意图;
图3为本发明基于联邦学习的智能问答装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于联邦学习的智能问答设备,参照图1,图1为本发明基于联邦学习的智能问答设备实施例方案涉及的设备硬件运行环境的结构示意图。
如图1所示,该基于联邦学习的智能问答设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解,图1中示出的基于联邦学习的智能问答设备的硬件结构并不构成对基于联邦学习的智能问答设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于联邦学习的智能问答程序。其中,操作系统是管理和控制基于联邦学习的智能问答设备与软件资源的程序,支持网络通信模块、用户接口模块、基于联邦学习的智能问答程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1004;用户接口模块用于管理和控制用户接口1003。
在图1所示的基于联邦学习的智能问答设备硬件结构中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;处理器1001可以调用存储器1005中存储的基于联邦学习的智能问答程序,并执行以下操作:
当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型;
调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题;
获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出;
其中,所述分类模型和所述语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。
进一步地,所述调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型的步骤包括:
调用所述分类模型对所述待咨询问题进行参数化处理,得到待咨询问题参数;
根据所述待咨询问题参数与所述分类模型中各分类样本参数之间的相似度大小,确定所述待咨询问题的问题类型。
进一步地,所述调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题的步骤包括:
调用所述语义理解模型对所述待咨询问题和所述问题类型中各相似问题进行匹配,生成所述待咨询问题与各所述相似问题之间的匹配度;
确定各所述匹配度中匹配程度最高的目标匹配度,并将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题。
进一步地,所述将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题的步骤包括:
将所述目标匹配度与预设匹配度对比,判断所述目标匹配度是否大于所述预设匹配度;
若大于所述预设匹配度,则查找所述问题类型中与所述目标匹配度对应的相似问题,并将查找到的相似问题确定为所述匹配问题;
若所述目标匹配度不大于所述预设匹配度,则调用预设知识图谱来确定与所述待咨询问题对应的待匹配问题;
获取所述待咨询问题与所述待匹配问题之间的问题匹配度,并判断所述问题匹配度是否大于预设匹配度;
若大于预设匹配度,则将所述待匹配问题确定为所述匹配问题;
所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
从本地的知识库中查找与所述匹配问题对应的参考答案,并获取与所述匹配问题对应的推荐问题;
将所述推荐问题和参考答案作为与所述待咨询问题对应的回复输出。
进一步地,所述判断所述问题匹配度是否大于预设匹配度的步骤之后,处理器1001可以调用存储器1005中存储的基于联邦学习的智能问答程序,并执行以下操作:
若所述问题匹配度不大于预设匹配度,则根据所述问题匹配度与所述目标匹配度之间的大小关系,确定待回复问题作为所述匹配问题;
所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
判断本地的闲聊库中是否存在与所述匹配问题对应的闲聊答案,若存在所述闲聊答案,则选取所述闲聊答案作为与所述待咨询问题对应的回复输出;
若不存在所述闲聊答案,则选取本地的默认答案作为与所述待咨询问题对应的回复输出。
进一步地,所述基于联邦学习的智能问答方法还包括步骤:
每间隔预设周期,读取本地的问答日志中的各类历史问题,并判断各类所述历史问题是否均存在于本地的各类型问题集中;
若各类所述历史问题中具有不存在于本地各类型问题集中的目标历史问题,则确定与所述目标历史问题对应的答案源属性;
若所述答案源属性为人工属性,则获取与所述目标历史问题对应的回答答案,并将所述目标历史问题和所述回答答案一并作为训练样本存储,以对所述语义理解模型更新训练;
若所述答案源属性为机器属性,则查找本地中与所述目标历史问题相似度最高的标准问题,并确定与所述标准问题对应的目标类型问题集,将所述目标历史问题作为所述目标类型问题集下的待确定训练样本存储,以在所述待确定训练样本确定为训练样本后,对所述语义理解模型更新训练。
进一步地,所述当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型的步骤之前,处理器1001可以调用存储器1005中存储的基于联邦学习的智能问答程序,并执行以下操作:
在接收到分类样本和语义理解样本后,基于所述分类样本和语义理解样本分别对本地内的第一初始模型和第二初始模型进行训练,生成分类模型梯度和语义模型梯度;
将所述分类模型梯度和所述语义模型梯度传输到协调方,以供协调方将所述分类模型梯度和至少一个其他终端设备发送的其他分类模型梯度进行聚合,生成第一模型梯度,并将所述语义模型梯度和至少一个其他终端设备发送的其他语义模型梯度进行聚合,生成第二模型梯度;
接收协调方回传的第一模型梯度,并基于所述第一模型梯度对所述第一初始模型持续训练,直到所述第一初始模型收敛,得到本地内的分类模型;
接收协调方回传的第二模型梯度,并基于所述第二模型梯度对所述第二初始模型持续训练,直到所述第二初始模型收敛,得到本地内的语义理解模型。
本发明基于联邦学习的智能问答设备的具体实施方式与下述基于联邦学习的智能问答方法各实施例基本相同,在此不再赘述。
本发明还提供一种基于联邦学习的智能问答方法。
参照图2,图2为本发明基于联邦学习的智能问答方法第一实施例的流程示意图。
本发明实施例提供了基于联邦学习的智能问答方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。具体地,本实施例中的基于联邦学习的智能问答方法包括:
步骤S10,当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型;
本实施例中的基于联邦学习的智能问答方法应用于经联邦学习的本地终端设备,本地终端设备包含有经联邦训练的分类模型和语义理解模型,适用于通过该分类模型和语义理解模型来实现智能问答。其中,分类模型经多方终端设备内各自的分类样本训练执行联邦学习算法进行训练得到,语义理解模型则经多方终端设备内各自的语义理解样本执行联邦学习算法进行训练得到。
进一步地,各方终端设备内的每条分类样本均包含问题、答案和分类标签,以表征各类型问题下的问题及其答案;每条语义理解样本则均包括标准问题和相似问题集,以表征每个问题以不同方式描述所得到的相似问题。设定用于训练分类模型的第一初始模型,以及用于训练语义理解模型的第二初始模型,因分类模型和语义理解模型实现的功能不同,故第一初始模型和第二初始模型基于不同的算法进行训练,得到分类模型和语义理解模型。因训练过程中所传输的是向量参数或者模型梯度,并不涉及到各方样本数据本身,有利于确保各方样本数据的安全性。
更进一步地,当多方终端设备中的任一方接收到待咨询问题时,则将接收到待咨询问题的终端设备作为本地终端设备(以下简称本地),并对待咨询问题进行问题清洗和问题补全等操作。其中清洗是针对待咨询问题中没有实际意义的连接词、语气词等一类无效词进行剔除的过程,如剔除待咨询问题中的“请问”、“地”、“的”、“呀”、“啊”等,以减少数据处理量,提高处理效率。问题补全则是对问句中缺少的主语、谓语、宾语等进行补全,以确保待咨询问题的准确性。
进一步地,调用本地内经联邦训练的分类模型对待咨询问题的问题类型进行确定。其中,分类模型经训练汇总的问题类型包括但不限于贷款、理财、还款、存款、利息等。确定待咨询问题的问题类型,即为确定针对那一类问题进行咨询,了解咨询的真正意图。具体地,调用本地内基于联邦学习的分类模型确定待咨询问题的问题类型的步骤包括:
步骤S11,调用所述分类模型对所述待咨询问题进行参数化处理,得到待咨询问题参数;
步骤S12,根据所述待咨询问题参数与所述分类模型中各分类样本参数之间的相似度大小,确定所述待咨询问题的问题类型。
更进一步地,通过分类模型对待咨询问题进行参数化处理,将待咨询问题转换为向量,得到待咨询问题参数。进而计算待咨询问题参数与分类模型中各分类样本参数之间的相似度,分类样本参数为经训练的表征问题类型的向量,如表征贷款问题类型的向量、理财问题类型的向量等。计算的相似度表征了待咨询问题属于各问题类型的可能性大小,待咨询问题与某分类样本参数之间的相似度越大,则说明待咨询问题属于该分类样本参数所表征问题类型的可能性越大,反之可能性越小。在计算得到各个相似度之后,在各相似度之间对比,确定其中的最大值。因待咨询问题与生成该最大值相似度的分类样本参数之间具有最高的相似度,即最有可能为该分类样本参数所表征的问题类型,从而查找与生成最大相似度的分类样本参数对应的问题类型,并将查找得到的问题类型确定为待咨询问题的问题类型。
步骤S20,调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题;
进一步地,在经分类模型确定待咨询问题的问题类型之后,再调用本地内基于联邦训练的语义理解模型对与问题类型对应的各相似问题进行检索。与问题类型对应的各相似问题即所需要咨询内容分类下的所有问题,由同类型语义理解样本中的标准问题和相似问题集形成,如贷款利息类型下的所有问题,或者理财利息下的所有问题等。通过对与问题类型对应的各相似问题的检索,来确定该问题类型下与待咨询问题相似程度最高的问题,即与待咨询问题对应的匹配问题。
步骤S30,获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出;
其中,所述分类模型和所述语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。
更进一步地,因分类模型在训练过程中的分类样本包括问题和答案,从而在得到与待咨询问题相似度最高的匹配问题后,则可直接获取与匹配问题对应的答案作为对待咨询问题回复的参考答案输出,实现对待咨询问题的解答。
本发明的基于联邦学习的智能问答方法,设置有基于联邦学习联合多方数据来实现智能问答的机制,预先基于多方终端设备的分类样本和语义理解样本分别执行联邦学习算法进行训练,得到基于联邦学习的分类模型和语义理解模型。一旦接收到待咨询问题,表征具有智能问答需求时,先从本地内调用分类模型来确定待咨询问题的问题类型,再调用语义理解模型对问题类型中的各相似问题进行检索,得到与待咨询问题对应的匹配问题,进而获取与匹配问题对应的参考答案作为与待咨询问题对应的回复输出,实现待咨询问题的回复。本发明通过设置分类检索机制,缩短了检索识别时间,减少了智能问答的等待时间,提高了智能问答的效率。同时因分类模型和语义理解模型均联合多方样本训练生成,丰富了训练的样本量和样本类型,使得智能问答的回复更为准确。此外,各方训练样本均仅存在于各方终端设备内部,有利于各方样本数据的安全性。因此,本发明通过分类模型和语义理解模型所实现的智能问答,是在各方样本数据隐私受到严格保护的前提下联合多方样本数据实现的,在提高智能问答效率的同时,确保了回复的准确性以及各方数据的安全性。
进一步地,基于本发明基于联邦学习的智能问答方法的第一实施例,提出本发明基于联邦学习的智能问答方法第二实施例。
所述基于联邦学习的智能问答方法第二实施例与所述基于联邦学习的智能问答方法第一实施例的区别在于,所述调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题的步骤包括:
步骤S21,调用所述语义理解模型对所述待咨询问题和所述问题类型中各相似问题进行匹配,生成所述待咨询问题与各所述相似问题之间的匹配度;
步骤S22,确定各所述匹配度中匹配程度最高的目标匹配度,并将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题。
本实施例在对与问题类型对应的各问题进行检索的过程中,将与问题类型对应的各相似问题作为问题类型下的各相似问题,即语义理解模型训练过程中属于该问题类型的语义理解样本所包括的标准问题和相似问题集为该问题类型下的相似问题。通过语义理解模型将待咨询问题参数化处理,将待咨询问题转换为向量,得到待咨询问题参数;或者直接调用经分类模型所转换的待咨询问题参数。进而将待咨询问题参数和问题类型下各相似问题的问题参数分别匹配,生成待咨询问题与各相似问题之间的匹配度。其中,问题参数值为每条语义理解样本训练过程中所转换的用于表征问题的向量。向量之间的匹配其实质为计算待咨询问题和各相似问题之间的相似度高低,所计算得到的匹配度高低,表征了待咨询问题与各相似问题之间的相似程度高低。在各匹配度之间对比,确定其中匹配程度最高的目标匹配度。目标匹配度表征了相似程度最高,进而查找问题类型中与目标匹配度对应的问题,作为与待咨询问题对应的匹配问题。
进一步地,所述将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题的步骤包括:
步骤S221,将所述目标匹配度与预设匹配度对比,判断所述目标匹配度是否大于所述预设匹配度;
步骤S222,若大于所述预设匹配度,则查找所述问题类型中与所述目标匹配度对应的相似问题,并将查找到的相似问题确定为所述匹配问题。
更进一步地,为了表征目标匹配度的高低,预先设置有预设匹配度,将目标匹配度和该预设匹配度对比,判断目标匹配度是否大于预设匹配度,若大于则说明生成目标匹配度的相似问题与待咨询问题之间的相似程度较高,两者之间所表达的语义一致。从而查找问题类型中生成目标匹配度的相似问题,并将查找得到的相似问题作为与待咨询问题对应的匹配问题。
进一步地,所述判断所述目标匹配度是否大于所述预设匹配度的步骤之后,还包括:
步骤S223,若所述目标匹配度不大于所述预设匹配度,则调用预设知识图谱来确定与所述待咨询问题对应的待匹配问题;
步骤S224,获取所述待咨询问题与所述待匹配问题之间的问题匹配度,并判断所述问题匹配度是否大于预设匹配度;
步骤S225,若大于预设匹配度,则将所述待匹配问题确定为所述匹配问题。
更进一步地,若经对比判定目标匹配度不大于预设匹配度,则说明本地内所训练的语义理解模型中不存在与待咨询问题语义一致的问题,此时调用本地中预先设定的预设知识图谱来确定与待咨询问题对应的待匹配问题。其中预设知识图谱所确定的待匹配问题为依据咨询者的信息结合待咨询问题推断出来的问题,表征该咨询者可能需要咨询的问题。进而将待匹配问题进行参数化处理,得到待匹配问题参数和待咨询问题参数进行相似度计算,生成待咨询问题和待匹配问题之间的问题匹配度,表征待咨询问题与待匹配问题之间的相似程度。
进一步地,将问题匹配度和预设匹配度对比,判断问题匹配度是否大于预设匹配度。若大于则说明待匹配问题和待咨询问题之间具有较高的相似程度,两者之间所表达的语义一致,将待匹配问题确定为与待咨询问题对应的匹配问题。
更进一步地,所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
步骤S31,从本地的知识库中查找与所述匹配问题对应的参考答案,并获取与所述匹配问题对应的推荐问题;
步骤S32,将所述推荐问题和参考答案作为与所述待咨询问题对应的回复输出。
本实施例在查找到与待咨询问题相似的各问题中最为匹配,且匹配程度满足预设匹配度的匹配问题后,则根据匹配问题获取本地中用于对待咨询问题进行回复的参考答案。具体地,本地在对分类模型和语义理解模型训练过程中,分类样本包含的问题、答案和分类标签,以及语义理解样本包含的标准问题和相似问题集形成本地的知识库。在确定本地中与待咨询问题匹配的匹配问题后,继续查找本地中与匹配问题对应的参考答案,同时查找与匹配问题对应的推荐问题。其中推荐问题为与匹配问题具有关联性的问题,通常在咨询匹配问题后,还具有推荐问题的需求。如与待咨询问题匹配的匹配问题为咨询某款理财产品的最小购买金额,具有关联性的问题则可能是该款理财产品的利率或者最短持有期限等。
进一步地,将查找得到的参考答案和推荐问题一并作为与待咨询问题对应的回复输出,以便于咨询者在查看回复的同时直接选择推荐问题咨询,避免咨询者重新输入问题,也避免本地重新匹配问题,提高了咨询的处理效率。
更进一步地,所述判断所述问题匹配度是否大于预设匹配度的步骤之后,所述方法还包括:
步骤S226,若所述问题匹配度不大于预设匹配度,则根据所述问题匹配度与所述目标匹配度之间的大小关系,确定待回复问题作为所述匹配问题;
所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
步骤S33,判断本地的闲聊库中是否存在与所述匹配问题对应的闲聊答案,若存在所述闲聊答案,则选取所述闲聊答案作为与所述待咨询问题对应的回复输出;
步骤S34,若不存在所述闲聊答案,则选取本地的默认答案作为与所述待咨询问题对应的回复输出。
进一步地,本地中还设置有闲聊库,若经对比确定问题匹配度不大于预设匹配度,则说明经预设知识图谱推断的待匹配问题与需要咨询的待咨询问题之间的相似程度较低,两者之间的语义不一致,则启用闲聊库对待咨询问题进行回复。具体地,将问题匹配度和目标匹配度对比,确定两者之间的大小关系,选取其中匹配程度高的匹配度,匹配程度高即表征了与待咨询问题的相似度高。进而查找与匹配程度高的匹配度所对应的问题,若匹配程度高的是问题匹配度,则查找本地中与待咨询问题生成问题匹配度的问题,若匹配程度高的是目标匹配度,则查找本地中与待咨询问题生成目标匹配度的问题。经查找得到的问题即为本地中与用户咨询问题最为相似的需要回复的待回复问题,将该待回复问题确定为匹配问。
更进一步地,对本地的闲聊库进行检索,判断其中是否存在与该匹配问题对应的闲聊答案,该闲聊答案与匹配问题之间具有一定的相关性,可用于对匹配问题进行回复。若经检索确定存在闲聊答案,则将闲聊答案作为待咨询问题的回复输出;若经检索确定不存在闲聊答案,则选取本地中预先设定的默认答案作为待咨询问题的回复输出。
本实施例针对待咨询问题与待相似问题之间匹配程度的差异性,结合知识图谱、知识库、闲聊库和默认答案来确定待咨询问题的回复,在得到两者之间的匹配度后,即可确定待咨询问题的回复方式进行回复,有利于快速回复。同时基于联邦学习的匹配和回复,又因样本数量的丰富性和隐私性,而提高了匹配和回复的准确性和安全性。
进一步地,基于本发明基于联邦学习的智能问答方法的第一或第二实施例,提出本发明基于联邦学习的智能问答方法第三实施例。
所述基于联邦学习的智能问答方法第三实施例与所述基于联邦学习的智能问答方法第一或第二实施例的区别在于,所述基于联邦学习的智能问答方法还包括步骤:
步骤S40,每间隔预设周期,读取本地的问答日志中的各类历史问题,并判断各类所述历史问题是否均存在于本地的各类型问题集中;
步骤S50,若各类所述历史问题中具有不存在于本地各类型问题集中的目标历史问题,则确定与所述目标历史问题对应的答案源属性;
步骤S60,若所述答案源属性为人工属性,则获取与所述目标历史问题对应的回答答案,并将所述目标历史问题和所述回答答案一并作为训练样本存储,以对所述语义理解模型更新训练;
步骤S70,若所述答案源属性为机器属性,则查找本地中与所述目标历史问题相似度最高的标准问题,并确定与所述标准问题对应的目标类型问题集,将所述目标历史问题作为所述目标类型问题集下的待确定训练样本存储,以在所述待确定训练样本确定为训练样本后,对所述语义理解模型更新训练。
本实施例中设置有对知识库的更新机制,以使得基于联邦学习的智能问答更为精准。具体地,预先设置收集用于更新的样本的间隔预设周期。每检测到达间隔预设周期,则对本地问答日志中的各类历史问题进行读取,以从各类历史问题中选取出更新样本进行自学习更新。其中问答日志为本地终端设备在对各项待咨询问题进行回复所生成的日志文件,包括由本地中智能机器人所进行的自动回复,也包括由人工所进行的人工回复。
进一步地,在读取到各类历史问题后,则判断各类问题是否均存在于本地的各类问题集中,各类问题集为经训练所形成的各个问题类型下由标准问题和相似问题集所组成的集合。若均存在于各类问题集中,则说明读取的各类历史问题为以往经训练的问题,不作为更新样本。若各类历史问题中存在任一项不存在于各类型问题集中,则说明各类历史问题中具有可作为更新样本的历史问题,将不存在于各类型问题集中的历史问题确定为目标历史问题,并依据目标历史问题的答案源属性进行不同类型的处理。
更进一步地,答案源属性表征对目标历史问题进行回复的答案来源属性,当目标历史问题由智能机器人进行回复,则其答案源属性为机器属性;若由人工进行回复,则答案源属性为人工属性,且不同的答案源属性由不同的标识进行区分。读取对目标历史问题进行回复的答案,并从答案中读取出标识,通过标识来确定目标历史问题对应的答案源属性。若经确定答案源属性为人工属性,则表征当前本地的语义理解模型缺少对该目标历史问题的匹配回复机制,不能匹配识别目标历史问题本身,也缺少对其的回复的答案。此时获取对目标历史问题进行回复的回答答案,并将目标历史问题和回答答案以便作为用于更新的训练样本存储,以在达到下一轮更新时机时通过两者对语义理解模型进行更新。
若经确定答案源属性为机器属性,则说明本地虽然对目标历史问题进行了回复,但其仍然被本地评估为可作为更新样本的问题。为了确定该目标历史问题是否确实可作为更新样本,本地将其与各类问题集中的标准问题进行匹配,确定各个标准问题中与目标历史问题相似度最高的标准问题,进而查找该相似度最高的标准问题所在的目标类型问题集。此后,将目标历史问题作为目标类型问题集下的待确定训练样本存储,由人工来确定其是否为用于更新的训练样本。若该待确定训练样本经确地为用于更新的训练样本,并由人工对其进行标注答案后,则可在达到下一轮更新时机时,通过经标注答案的该训练样本对语义理解模型进行更新。
本实施例通过每间隔预设周期查找用于更新的训练样本对语义理解模型进行更新,使得语义理解模型对待咨询问题的匹配识别更为精准,有利于提升基于联邦学习的智能问答的准确性。
进一步地,基于本发明基于联邦学习的智能问答方法的第一、第二或第三实施例,提出本发明基于联邦学习的智能问答方法第四实施例。
所述基于联邦学习的智能问答方法第四实施例与所述基于联邦学习的智能问答方法第一、第二或第三实施例的区别在于,所述当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型的步骤之前,所述方法还包括:
步骤a,在接收到分类样本和语义理解样本后,基于所述分类样本和语义理解样本分别对本地内的第一初始模型和第二初始模型进行训练,生成分类模型梯度和语义模型梯度;
步骤b,将所述分类模型梯度和所述语义模型梯度传输到协调方,以供协调方将所述分类模型梯度和至少一个其他终端设备发送的其他分类模型梯度进行聚合,生成第一模型梯度,并将所述语义模型梯度和至少一个其他终端设备发送的其他语义模型梯度进行聚合,生成第二模型梯度;
步骤c,接收协调方回传的第一模型梯度,并基于所述第一模型梯度对所述第一初始模型持续训练,直到所述第一初始模型收敛,得到本地内的分类模型;
步骤d,接收协调方回传的第二模型梯度,并基于所述第二模型梯度对所述第二初始模型持续训练,直到所述第二初始模型收敛,得到本地内的语义理解模型。
在本实施例中,对分类模型和语义理解模型进行联邦训练,且该联邦训练至少涉及到两方终端设备,即本地以及至少一个其他终端设备,各方终端设备之间用于训练的分类样本和语义理解样本互相独立。具体地,本地接收经标注的分类样本和语义理解样本,并将分类样本和语义理解样本分别传输到本地内的第一初始模型和第二初始模型,以对第一初始模型和第二初始模型分别进行训练。其中,第一初始模型依据分类样本进行训练,生成分类模型梯度,第二初始模型则依据语义理解样本进行训练,生成语义模型梯度。
在训练过程中,将每条分类样本和每条语义理解样本分别进行参数化处理,转换为向量,以向量参数的形式分别训练第一初始模型和第二初始模型。其中,联邦训练可以设置与各方终端设备对接的联邦服务器,将联邦服务器作为协调方来协调各方终端设备的训练;也可以不设置与各方终端设备对接的联邦服务器,而从各方终端设备中选取一方作为协调方,协调各方终端设备的训练。将本地对向量参数训练得到的分类模型梯度和语义模型梯度上传到协调方,其他终端设备也将各自依据上述训练方式所训练得到的其他分类模型梯度和其他语义模型梯度上传到协调方。协调方将分类模型梯度和其他分类模型梯度进行聚合,生成第一模型梯度回传到各方终端设备;同时协调方还将语义模型梯度和其他语义模型梯度聚合,生成第二模型梯度回传到各方终端设备。
更进一步地,本地对协调方回传的第一模型梯度和第二模型梯度进行接收,并基于第一模型梯度继续对第一初始模型进行训练,并判断第一初始模型是否收敛,若收敛则生成本地内的分类模型。同时,基于第二模型梯度对第二初始模型进行训练,并判断第二初始模型是否收敛,若收敛则生成本地内的语义理解模型。需要说明的是,分类模型梯度、语义模型梯度、第一模型梯度和第二模型梯度均以不对称加密的方式传输。
本实施通过基于联邦学习训练分类模型和语义理解模型,在各方终端数据不外传,保护隐私性的同时丰富了样本数量,优化了分类模型和语义理解模型的训练效果,使得依据分类模型和语义理解模型所进行的智能问答更准确。
本发明还提供一种基于联邦学习的智能问答装置。
参照图3,图3为本发明基于联邦学习的智能问答装置第一实施例的功能模块示意图。所述基于联邦学习的智能问答装置包括:
确定模块10,用于当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型;
检索模块20,用于调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题;
获取模块30,用于获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出;
其中,所述分类模型和所述语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。
进一步地,所述确定模块10还包括:
调用单元,用于调用所述分类模型对所述待咨询问题进行参数化处理,得到待咨询问题参数;
第一确定单元,用于根据所述待咨询问题参数与所述分类模型中各分类样本参数之间的相似度大小,确定所述待咨询问题的问题类型。
进一步地,所述检索模块20还包括:
匹配单元,用于调用所述语义理解模型对所述待咨询问题和所述问题类型中各相似问题进行匹配,生成所述待咨询问题与各所述相似问题之间的匹配度;
第二确定单元,用于确定各所述匹配度中匹配程度最高的目标匹配度,并将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题。
进一步地,所述第二确定单元还用于:
将所述目标匹配度与预设匹配度对比,判断所述目标匹配度是否大于所述预设匹配度;
若大于所述预设匹配度,则查找所述问题类型中与所述目标匹配度对应的相似问题,并将查找到的相似问题确定为所述匹配问题;
若所述目标匹配度不大于所述预设匹配度,则调用预设知识图谱来确定与所述待咨询问题对应的待匹配问题;
获取所述待咨询问题与所述待匹配问题之间的问题匹配度,并判断所述问题匹配度是否大于预设匹配度;
若大于预设匹配度,则将所述待匹配问题确定为所述匹配问题;
所述获取模块30包括:
获取单元,用于从本地的知识库中查找与所述匹配问题对应的参考答案,并获取与所述匹配问题对应的推荐问题;
输出单元,用于将所述推荐问题和参考答案作为与所述待咨询问题对应的回复输出。
进一步地,所述第二确定单元还用于:
若所述问题匹配度不大于预设匹配度,则根据所述问题匹配度与所述目标匹配度之间的大小关系,确定待回复问题作为所述匹配问题;
所述获取模块30还包括:
判断单元,用于判断本地的闲聊库中是否存在与所述匹配问题对应的闲聊答案,若存在所述闲聊答案,则选取所述闲聊答案作为与所述待咨询问题对应的回复输出;
选取单元,用于若不存在所述闲聊答案,则选取本地的默认答案作为与所述待咨询问题对应的回复输出。
进一步地,所述基于联邦学习的智能问答装置还包括:
读取模块,用于每间隔预设周期,读取本地的问答日志中的各类历史问题,并判断各类所述历史问题是否均存在于本地的各类型问题集中;
所述确定模块还用于若各类所述历史问题中具有不存在于本地各类型问题集中的目标历史问题,则确定与所述目标历史问题对应的答案源属性;
存储模块,用于若所述答案源属性为人工属性,则获取与所述目标历史问题对应的回答答案,并将所述目标历史问题和所述回答答案一并作为训练样本存储,以对所述语义理解模型更新训练;
查找模块,用于若所述答案源属性为机器属性,则查找本地中与所述目标历史问题相似度最高的标准问题,并确定与所述标准问题对应的目标类型问题集,将所述目标历史问题作为所述目标类型问题集下的待确定训练样本存储,以在所述待确定训练样本确定为训练样本后,对所述语义理解模型更新训练。
进一步地,所述基于联邦学习的智能问答装置还包括:
接收模块,用于在接收到分类样本和语义理解样本后,基于所述分类样本和语义理解样本分别对本地内的第一初始模型和第二初始模型进行训练,生成分类模型梯度和语义模型梯度;
聚合模块,用于将所述分类模型梯度和所述语义模型梯度传输到协调方,以供协调方将所述分类模型梯度和至少一个其他终端设备发送的其他分类模型梯度进行聚合,生成第一模型梯度,并将所述语义模型梯度和至少一个其他终端设备发送的其他语义模型梯度进行聚合,生成第二模型梯度;
第一训练模块,用于接收协调方回传的第一模型梯度,并基于所述第一模型梯度对所述第一初始模型持续训练,直到所述第一初始模型收敛,得到本地内的分类模型;
第二训练模块,用于接收协调方回传的第二模型梯度,并基于所述第二模型梯度对所述第二初始模型持续训练,直到所述第二初始模型收敛,得到本地内的语义理解模型。
本发明基于联邦学习的智能问答装置具体实施方式与上述基于联邦学习的智能问答方法各实施例基本相同,在此不再赘述。
此外,本发明实施例还提出一种存储介质。
存储介质上存储有基于联邦学习的智能问答程序,基于联邦学习的智能问答程序被处理器执行时实现如上所述的基于联邦学习的智能问答方法的步骤。
本发明存储介质可以是计算机可读存储存储介质,其具体实施方式与上述基于联邦学习的智能问答方法各实施例基本相同,在此不再赘述。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本发明的保护之内。
Claims (10)
1.一种基于联邦学习的智能问答方法,其特征在于,应用于终端设备,所述基于联邦学习的智能问答方法包括以下步骤:
当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型;
调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题;
获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出;
其中,所述分类模型和所述语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。
2.如权利要求1所述的基于联邦学习的智能问答方法,其特征在于,所述调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型的步骤包括:
调用所述分类模型对所述待咨询问题进行参数化处理,得到待咨询问题参数;
根据所述待咨询问题参数与所述分类模型中各分类样本参数之间的相似度大小,确定所述待咨询问题的问题类型。
3.如权利要求1所述的基于联邦学习的智能问答方法,其特征在于,所述调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题的步骤包括:
调用所述语义理解模型对所述待咨询问题和所述问题类型中各相似问题进行匹配,生成所述待咨询问题与各所述相似问题之间的匹配度;
确定各所述匹配度中匹配程度最高的目标匹配度,并将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题。
4.如权利要求3所述的基于联邦学习的智能问答方法,其特征在于,所述将所述问题类型中与所述目标匹配度对应的相似问题确定为所述匹配问题的步骤包括:
将所述目标匹配度与预设匹配度对比,判断所述目标匹配度是否大于所述预设匹配度;
若大于所述预设匹配度,则查找所述问题类型中与所述目标匹配度对应的相似问题,并将查找到的相似问题确定为所述匹配问题;
若所述目标匹配度不大于所述预设匹配度,则调用预设知识图谱来确定与所述待咨询问题对应的待匹配问题;
获取所述待咨询问题与所述待匹配问题之间的问题匹配度,并判断所述问题匹配度是否大于预设匹配度;
若大于预设匹配度,则将所述待匹配问题确定为所述匹配问题;
所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
从本地的知识库中查找与所述匹配问题对应的参考答案,并获取与所述匹配问题对应的推荐问题;
将所述推荐问题和参考答案作为与所述待咨询问题对应的回复输出。
5.如权利要求4所述的基于联邦学习的智能问答方法,其特征在于,所述判断所述问题匹配度是否大于预设匹配度的步骤之后,所述方法还包括:
若所述问题匹配度不大于预设匹配度,则根据所述问题匹配度与所述目标匹配度之间的大小关系,确定待回复问题作为所述匹配问题;
所述获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出的步骤包括:
判断本地的闲聊库中是否存在与所述匹配问题对应的闲聊答案,若存在所述闲聊答案,则选取所述闲聊答案作为与所述待咨询问题对应的回复输出;
若不存在所述闲聊答案,则选取本地的默认答案作为与所述待咨询问题对应的回复输出。
6.如权利要求1-5任一项所述的基于联邦学习的智能问答方法,其特征在于,所述基于联邦学习的智能问答方法还包括步骤:
每间隔预设周期,读取本地的问答日志中的各类历史问题,并判断各类所述历史问题是否均存在于本地的各类型问题集中;
若各类所述历史问题中具有不存在于本地各类型问题集中的目标历史问题,则确定与所述目标历史问题对应的答案源属性;
若所述答案源属性为人工属性,则获取与所述目标历史问题对应的回答答案,并将所述目标历史问题和所述回答答案一并作为训练样本存储,以对所述语义理解模型更新训练;
若所述答案源属性为机器属性,则查找本地中与所述目标历史问题相似度最高的标准问题,并确定与所述标准问题对应的目标类型问题集,将所述目标历史问题作为所述目标类型问题集下的待确定训练样本存储,以在所述待确定训练样本确定为训练样本后,对所述语义理解模型更新训练。
7.如权利要求1-5任一项所述的基于联邦学习的智能问答方法,其特征在于,所述当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型的步骤之前,所述方法还包括:
在接收到分类样本和语义理解样本后,基于所述分类样本和语义理解样本分别对本地内的第一初始模型和第二初始模型进行训练,生成分类模型梯度和语义模型梯度;
将所述分类模型梯度和所述语义模型梯度传输到协调方,以供协调方将所述分类模型梯度和至少一个其他终端设备发送的其他分类模型梯度进行聚合,生成第一模型梯度,并将所述语义模型梯度和至少一个其他终端设备发送的其他语义模型梯度进行聚合,生成第二模型梯度;
接收协调方回传的第一模型梯度,并基于所述第一模型梯度对所述第一初始模型持续训练,直到所述第一初始模型收敛,得到本地内的分类模型;
接收协调方回传的第二模型梯度,并基于所述第二模型梯度对所述第二初始模型持续训练,直到所述第二初始模型收敛,得到本地内的语义理解模型。
8.一种基于联邦学习的智能问答装置,其特征在于,所述基于联邦学习的智能问答装置包括:
确定模块,用于当接收到待咨询问题时,调用本地内基于联邦学习的分类模型确定所述待咨询问题的问题类型;
检索模块,用于调用本地内基于联邦学习的语义理解模型对与所述问题类型对应的各相似问题进行检索,得到与所述待咨询问题对应的匹配问题;
获取模块,用于获取与所述匹配问题对应的参考答案,并将所述参考答案作为与所述待咨询问题对应的回复输出;
其中,所述分类模型和所述语义理解模型分别基于多方终端设备的分类样本和语义理解样本执行联邦学习算法训练生成。
9.一种基于联邦学习的智能问答设备,其特征在于,所述基于联邦学习的智能问答设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的智能问答程序,所述基于联邦学习的智能问答程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于联邦学习的智能问答方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有基于联邦学习的智能问答程序,所述基于联邦学习的智能问答程序被处理器执行时实现如权利要求1-7中任一项所述的基于联邦学习的智能问答方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010206000.2A CN111414457A (zh) | 2020-03-20 | 2020-03-20 | 基于联邦学习的智能问答方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010206000.2A CN111414457A (zh) | 2020-03-20 | 2020-03-20 | 基于联邦学习的智能问答方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111414457A true CN111414457A (zh) | 2020-07-14 |
Family
ID=71491345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010206000.2A Pending CN111414457A (zh) | 2020-03-20 | 2020-03-20 | 基于联邦学习的智能问答方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414457A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985206A (zh) * | 2020-07-17 | 2020-11-24 | 联想(北京)有限公司 | 一种语料理解方法及设备 |
CN112148855A (zh) * | 2020-09-16 | 2020-12-29 | 深圳康佳电子科技有限公司 | 一种智能客服问题检索方法、终端以及存储介质 |
CN112182186A (zh) * | 2020-09-30 | 2021-01-05 | 完美世界(北京)软件科技发展有限公司 | 智能客服的运行方法、装置以及系统 |
CN112800178A (zh) * | 2021-01-28 | 2021-05-14 | 平安科技(深圳)有限公司 | 答案生成方法、装置、电子设备及可读存储介质 |
CN112885337A (zh) * | 2021-01-29 | 2021-06-01 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
CN112948560A (zh) * | 2021-03-23 | 2021-06-11 | 平安科技(深圳)有限公司 | 佛学问答数据生成方法、装置、计算机设备及存储介质 |
CN113609275A (zh) * | 2021-08-24 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、设备及存储介质 |
CN113704434A (zh) * | 2021-09-01 | 2021-11-26 | 内蒙古大学 | 知识库问答方法、电子设备及可读存储介质 |
CN113779223A (zh) * | 2021-09-15 | 2021-12-10 | 广州网律互联网科技有限公司 | 一种基于深度学习的人工智能服务方法、系统及设备 |
CN114528392A (zh) * | 2022-04-24 | 2022-05-24 | 北京理工大学 | 一种基于区块链的协同问答模型构建方法、装置及设备 |
CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
CN115170210A (zh) * | 2022-09-06 | 2022-10-11 | 深圳市明源云科技有限公司 | 售楼处的接待方法、电子设备及可读存储介质 |
CN116432615A (zh) * | 2023-06-12 | 2023-07-14 | 中国第一汽车股份有限公司 | 文本处理方法及装置 |
-
2020
- 2020-03-20 CN CN202010206000.2A patent/CN111414457A/zh active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985206A (zh) * | 2020-07-17 | 2020-11-24 | 联想(北京)有限公司 | 一种语料理解方法及设备 |
CN112148855A (zh) * | 2020-09-16 | 2020-12-29 | 深圳康佳电子科技有限公司 | 一种智能客服问题检索方法、终端以及存储介质 |
CN112182186A (zh) * | 2020-09-30 | 2021-01-05 | 完美世界(北京)软件科技发展有限公司 | 智能客服的运行方法、装置以及系统 |
CN112800178A (zh) * | 2021-01-28 | 2021-05-14 | 平安科技(深圳)有限公司 | 答案生成方法、装置、电子设备及可读存储介质 |
CN112885337A (zh) * | 2021-01-29 | 2021-06-01 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
CN112948560A (zh) * | 2021-03-23 | 2021-06-11 | 平安科技(深圳)有限公司 | 佛学问答数据生成方法、装置、计算机设备及存储介质 |
CN113609275B (zh) * | 2021-08-24 | 2024-03-26 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、设备及存储介质 |
CN113609275A (zh) * | 2021-08-24 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、设备及存储介质 |
CN113704434A (zh) * | 2021-09-01 | 2021-11-26 | 内蒙古大学 | 知识库问答方法、电子设备及可读存储介质 |
CN113779223A (zh) * | 2021-09-15 | 2021-12-10 | 广州网律互联网科技有限公司 | 一种基于深度学习的人工智能服务方法、系统及设备 |
CN114528392B (zh) * | 2022-04-24 | 2022-06-24 | 北京理工大学 | 一种基于区块链的协同问答模型构建方法、装置及设备 |
CN114528392A (zh) * | 2022-04-24 | 2022-05-24 | 北京理工大学 | 一种基于区块链的协同问答模型构建方法、装置及设备 |
CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
CN115080801B (zh) * | 2022-07-22 | 2022-11-11 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
CN115170210A (zh) * | 2022-09-06 | 2022-10-11 | 深圳市明源云科技有限公司 | 售楼处的接待方法、电子设备及可读存储介质 |
CN116432615A (zh) * | 2023-06-12 | 2023-07-14 | 中国第一汽车股份有限公司 | 文本处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414457A (zh) | 基于联邦学习的智能问答方法、装置、设备及存储介质 | |
US10713317B2 (en) | Conversational agent for search | |
WO2019154262A1 (zh) | 一种图像分类方法及服务器、用户终端、存储介质 | |
CN108021691B (zh) | 答案查找方法、客服机器人以及计算机可读存储介质 | |
CN104951428B (zh) | 用户意图识别方法及装置 | |
CN111241260A (zh) | 基于人机交互的数据处理方法、装置、设备及存储介质 | |
CN109753561B (zh) | 一种自动回复的生成方法及装置 | |
CN110059172B (zh) | 基于自然语言理解的推荐答案的方法和装置 | |
CN111522966A (zh) | 基于知识图谱的数据处理方法、装置、电子设备及介质 | |
US20210097441A1 (en) | Artificial intelligence task matching method, apparatus, and program | |
CN112416755A (zh) | 人工智能模型评测方法、装置、电子设备及存储介质 | |
CN111651989B (zh) | 命名实体识别方法和装置、存储介质及电子装置 | |
CN112507139A (zh) | 基于知识图谱的问答方法、系统、设备及存储介质 | |
CN117370426B (zh) | 一种基于人工智能报表数据生成方法、系统及存储介质 | |
CN107832342B (zh) | 机器人聊天方法及系统 | |
CN111309882B (zh) | 用于实现智能客服问答的方法和装置 | |
CN115934923B (zh) | 一种基于大数据的电商回复方法及系统 | |
CN112860736A (zh) | 大数据查询优化方法、设备及可读存储介质 | |
CN116450671A (zh) | 智能交互会话大数据分析方法及大数据服务器 | |
CN116450917A (zh) | 信息搜索方法及装置、电子设备和介质 | |
CN110543635A (zh) | 基于深度学习的信息检测方法、装置及计算机存储介质 | |
CN112148939A (zh) | 数据处理方法、装置及电子设备 | |
CN113868396A (zh) | 基于知识图谱的任务类智能对话构建方法及系统 | |
CN111046151B (zh) | 一种消息处理方法及装置 | |
CN112905892A (zh) | 应用于用户画像挖掘的大数据处理方法及大数据服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |