CN114116991A - 一种意图识别方法及相关装置、设备 - Google Patents

一种意图识别方法及相关装置、设备 Download PDF

Info

Publication number
CN114116991A
CN114116991A CN202010899495.1A CN202010899495A CN114116991A CN 114116991 A CN114116991 A CN 114116991A CN 202010899495 A CN202010899495 A CN 202010899495A CN 114116991 A CN114116991 A CN 114116991A
Authority
CN
China
Prior art keywords
text
time step
neural network
hidden state
hotspot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010899495.1A
Other languages
English (en)
Inventor
张晓桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010899495.1A priority Critical patent/CN114116991A/zh
Publication of CN114116991A publication Critical patent/CN114116991A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例公开了一种意图识别方法及装置、设备。通过获取待识别文本;将该待识别文本和该待识别文本对应的热点特征输入到意图识别器,输出识别结果,该意图识别器是用于识别多个意图的神经网络,该识别结果用于指示该待识别文本的意图,热点特征是从目标热点文本中提取的特征,目标热点文本包括与该待识别文本相似的至少一条热点文本。由此可知,该意图识别方法考虑到随着时间的变化,热点也会随着变化,相同的待识别文本可能会对应不同的意图,因此,在意图识别的过程中,将待识别文本与热点结合,从待识别文本相关的热点文本中提取出热点特征,从而能够关注意图的时效性,提升意图识别的准确度。

Description

一种意图识别方法及相关装置、设备
技术领域
本申请涉及人工智能技术领域,尤其涉及一种意图识别方法及相关装置、设备。
背景技术
问答系统(Question Answering System,QA)在生活中被应用广泛,如,语音助手、搜索引擎或搜索系统等。问答系统通过自动处理输入的信息,识别该信息的意图,从而使设备作出相应的反映,满足人们快速、准确地获取信息,或者使设备执行相关命令的需求。然而,在问答系统中,如何进行准确的意图识别依然是目前技术的难点和痛点之一,只有准确发现或定位用户输入的信息的真正意图,才能给用户提供他最想得到的反馈,才能提升用户的使用体验。
在实际应用中,用户输入的同一个信息往往会对应多个意图,如,用户输入“P40”,用户的意图可能在于“购买P40手机”,也可能在于“查询P40是什么”,也可能在于“获取P40手机相关的新闻”。且随着时间的推移,用户输入同一信息对应的意图可能会随着时间的变化而发生变化,例如,用户输入“P40”,有可能用户想要查找的是“P40手机”相关的信息,但设备却反馈“P-40战斗机”相关的信息。
因此,如何提高意图识别的准确率,更加精确定位用户的意图,是目前亟待解决的技术问题。
发明内容
本申请实施例提供了一种意图识别方法及相关装置、设备,能够提高意图识别的准确度。
第一方面,本申请实施例提供了一种意图识别方法,包括:
获取待识别文本;
将该待识别文本和该待识别文本对应的热点特征输入到意图识别器,输出识别结果,该意图识别器是用于识别多个意图的神经网络,该识别结果用于指示该待识别文本的意图,热点特征是从目标热点文本中提取的特征,目标热点文本包括与该待识别文本相似的至少一条热点文本。
在本申请提供的方案中,该意图识别方法考虑到随着时间的变化,热点也会随着变化,相同的待识别文本可能会对应不同的意图,因此,在意图识别的过程中,将待识别文本与热点结合,从待识别文本相关的热点文本中提取出热点特征,从而能够关注意图的时效性,提升意图识别的准确度。
结合第一方面,在第一方面的一种可能的实现方式中,将目标热点文本输入编码器,得到时间步t’对应的文本特征,该编码器包括第一循环神经网络、权重计算模块和第一输出模块,第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到时间步t的隐藏状态,权重计算模块用于对第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,第一输出模块用于根据所述权重,对第一循环神经网络输出的隐藏状态进行加权求和,得到时间步t’对应的文本特征;
将时间步t’对应的文本特征输入到解码器,得到时间步t’对应的隐藏状态,该解码器包括第二循环神经网络和第二输出模块,第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到时间步t’的隐藏状态,第二输出模块用于根据第二循环神经网络输出的隐藏状态输出目标热点文本中每一个热点文本的预测意图;
其中,第二循环神经网络在最后一个时间步输出的隐藏状态为该热点特征。
结合第一方面,在第一方面的一种可能的实现方式中,对目标热点文本中的热点文本进行加权求和,得到该热点特征,目标热点文本中每一个热点文本的权重由该每一个热点文本与该待识别文本的相似度确定。
上述方法,通过计算待识别文本与热点文本的相似度来确定待识别文本与热点文本的权重,待识别文本与目标热点文本中热点文本的相似度越大,待识别文本在该热点文本上的权重越高。那么,待识别文本对应的意图更倾向于与该待识别文本的相似度更高的热点文本。
结合第一方面,在该第一方面的一种可能的实现中,从多个热点集合中选定该待识别文本所属的目标热点集合;
计算该待识别文本与目标热点集合中每一个热点文本的相似度;
确定该目标热点文本为该目标热点集合中与该待识别文本的相似度最大的前N条热点文本。
结合第一方面,在该第一方面的一种可能的实现中,获取多个热点文本;对多个热点文本进行聚类,得到多个热点集合。
上述方法,可以实时或以一定频率或周期获取该多个热点文本,从而更新热点集合中的热点文本,进而,使得目标热点集合中的热点文本得以更新。在待识别文本从目标热点集合中获取目标热点文本时,可以在不同时间阶段获取到不同的目标热点文本。除此之外,随着时间的变化,还可以以一定频率或周期不断更新样本,使得训练得到的编码器、解码器和意图识别器具有较高的时效性。这样,在意图识别器识别待识别文本的意图时,因为意图识别器识别到的意图会随着时间的变化而变化,从而能够提升使用该意图识别方法的设备的智能性,减少人机交互的距离感,满足用户的心理诉求。
第二方面,本申请实施例提供了一种神经网络的训练方法,包括:
将样本文本对应的目标热点文本输入编码器,得到时间步t’对应的文本特征,该目标热点文本包括与样本文本相似的至少一条热点文本,该编码器包括第一循环神经网络、权重计算模块和第一输出模块,第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到时间步t的隐含状态,权重计算模块用于对第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,第一输出模块用于根据权重,对第一循环神经网络输出的隐藏状态进行加权求和,得到时间步t’对应的文本特征;
将时间步t’对应的文本特征输入到解码器,得到时间步t’对应的预测意图,编码器在一个时刻输出目标热点文本中一个热点文本的意图,解码器包括第二循环神经网络和第二输出模块,第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到时间步t’的隐藏状态,第二输出模块用于根据第二循环神经网络输出的隐藏状态输出目标热点文本中每一个热点文本的预测意图;
根据目标热点文本中所有热点文本的预测意图与目标热点文本中所有热点文本的真实意图之间的损失,调整编码器的模型参数和解码器的模型参数。
第三方面,本申请实施例提供了一种神经网络的训练方法,包括:
将样本文本和该样本文本对应的热点特征输入到意图识别器,得到预测意图,该热点特征是从目标热点文本中提取的特征,该目标热点文本包括与该样本文本相似的至少一条热点文本;
根据该样本文本对应的预测意图与该样本文本对应的真实意图之间的损失,调整该意图识别器的模型参数。
结合第三方面,在第三方面的一种可能的实现方式中,将该目标热点文本输入编码器,输出该热点特征,该编码器包括第一循环神经网络、权重计算模块和输出模块,该第一循环神经网络用于对时间步t-1输出的隐含状态和时间步t输入的热点文本进行处理得到该时间步t的隐藏状态,该权重计算模块用于对该第一循环神经网络输出的隐藏状态进行处理,得到该输出的隐藏状态中每一个隐含状态的权重,该输出模块用于根据该输出的隐含状态中每一个隐含状态的权重,对该第一循环神经网络输出的隐藏状态进行加权求和,得到该热点特征。
第四方面,本申请实施例提供了一种用于意图识别的执行设备,其特征在于,该执行设备包括:一个或多个处理器、存储器,该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器用于调用该计算机指令以使得该执行设备执行:
获取待识别文本;
将该待识别文本和该待识别文本对应的热点特征输入到意图识别器,输出识别结果,该意图识别器是用于识别多个意图的神经网络,该识别结果用于指示该待识别文本的意图,该热点特征是从目标热点文本中提取的特征,该目标热点文本包括与该待识别文本相似的至少一条热点文本。
结合第四方面,在第四方面的一种实现方式中,将该目标热点文本输入编码器,得到时间步t’对应的文本特征,该编码器包括第一循环神经网络、权重计算模块和第一输出模块,该第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到该时间步t的隐藏状态,该权重计算模块用于对该第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到该第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,该第一输出模块用于根据该权重,对该第一循环神经网络输出的隐藏状态进行加权求和,得到该时间步t’对应的文本特征;
将该时间步t’对应的文本特征输入到解码器,得到该时间步t’对应的隐藏状态,该解码器包括第二循环神经网络和第二输出模块,该第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到该时间步t’的隐藏状态,该第二输出模块用于根据该第二循环神经网络输出的隐藏状态输出该目标热点文本中每一个热点文本的预测意图;
其中,该第二循环神经网络在最后一个时间步输出的隐藏状态为该热点特征。
结合第四方面,在第四方面的一种实现方式中,对该目标热点文本中的热点文本进行加权求和,得到该热点特征,该目标热点文本中每一个热点文本的权重由该每一个热点文本与该待识别文本的相似度确定。
结合第四方面,在第四方面的一种实现方式中,从多个热点集合中选定该待识别文本所属的目标热点集合;
计算该待识别文本与目标热点集合中每一个热点文本的相似度;
确定该目标热点文本为该目标热点集合中与该待识别文本的相似度最大的前N条热点文本。
结合第四方面,在第四方面的一种实现方式中,获取多个热点文本;
对该多个热点文本进行聚类,得到多个热点集合。
第五方面,本申请实施例提供了一种训练设备,其特征在于,该训练设备包括:一个或多个处理器、存储器,该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器用于调用该计算机指令以使得该训练设备执行:
将样本文本对应的目标热点文本输入编码器,得到时间步t’对应的文本特征,该目标热点文本包括与该样本文本相似的至少一条热点文本,该编码器包括第一循环神经网络、权重计算模块和第一输出模块,该第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到该时间步t的隐含状态,该权重计算模块用于对该第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到该第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,该第一输出模块用于根据该权重,对该第一循环神经网络输出的隐藏状态进行加权求和,得到该时间步t’对应的文本特征;
将该时间步t’对应的文本特征输入到解码器,得到该时间步t’对应的预测意图,该编码器在一个时刻输出目标热点文本中一个热点文本的意图,该解码器包括第二循环神经网络和第二输出模块,该第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到该时间步t’的隐藏状态,该第二输出模块用于根据该第二循环神经网络输出的隐藏状态输出该目标热点文本中每一个热点文本的预测意图;
根据该目标热点文本中所有热点文本的预测意图与该目标热点文本中所有热点文本的真实意图之间的损失,调整该编码器的模型参数和解码器的模型参数。
第六方面,本申请实施例提供了一种训练设备,其特征在于,该训练设备包括:一个或多个处理器、存储器,该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器用于调用该计算机指令以使得该训练设备执行:
将样本文本和该样本文本对应的热点特征输入到意图识别器,得到预测意图,该热点特征是从目标热点文本中提取的特征,该目标热点文本包括与该样本文本相似的至少一条热点文本;
根据该样本文本对应的预测意图与该样本文本对应的真实意图之间的损失,调整该意图识别器的模型参数。
结合第六方面,在第六方面的一种实现方式中,将该目标热点文本输入编码器,输出该热点特征,该编码器包括第一循环神经网络、权重计算模块和输出模块,该第一循环神经网络用于对时间步t-1输出的隐含状态和时间步t输入的热点文本进行处理得到该时间步t的隐藏状态,该权重计算模块用于对该第一循环神经网络输出的隐藏状态进行处理,得到该输出的隐藏状态中每一个隐含状态的权重,该输出模块用于根据该输出的隐含状态中每一个隐含状态的权重,对该第一循环神经网络输出的隐藏状态进行加权求和,得到该热点特征。
第七方面,本申请实施例提供一种计算机可读存储介质,其特征在于,所述计算机可读介质用于存储程序代码,所述程序代码包括用于执行第一方面所述的方法。
第八方面,本申请实施例提供一种计算机可读存储介质,其特征在于,所述计算机可读介质用于存储程序代码,所述程序代码包括用于执行第二方面所述的方法。
第九方面,本申请实施例提供一种计算机可读存储介质,其特征在于,所述计算机可读介质用于存储程序代码,所述程序代码包括用于执行第三方面所述的方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种注意力机制的示意图;
图2是本申请实施例提供的一种系统的架构示意图;
图3A-图3C是本申请实施例提供的一些用户界面的示意图;
图4是本申请实施例提供的一种获取目标热点文本方法流程图;
图5是本申请实施例提供的一种神经网络的训练方法的流程示意图;
图6是本申请实施例提供的一种神经网络的结构示意图;
图7是本申请实施例提供的又一种神经网络的训练方法的流程示意图;
图8是本申请实施例提供的又一种神经网络的结构示意图;
图9是本申请实施例提供的再;一种神经网络的训练方法的流程示意图;
图10A是本申请实施例提供的一种意图识别方法的流程图;
图10B是本申请实施例提供的又一种意图识别方法的流程图;
图10C是本申请实施例提供的再一种意图识别方法的流程图;
图11是本申请实施例提供的一种电子设备100的结构示意图;
图12是本申请实施例提供的一种电子设备200的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
首先介绍本申请实施例涉及的专业术语和概念。
(1)意图和意图识别
意图是指识别待识别文本表达具体是想做什么。意图识别可以理解为语义表达分类的问题,也可以说,意图识别是一个分类器(本申请实施例中也称意图识别器),确定待识别文本是哪个意图。常用的用于意图识别的意图分类器为支持向量机(SVM)、决策树、神经网络(DNN)等。其中,神经网络可以是深度神经网络(Deep Neural Networks)、循环神经网络(recurrent neural network,RNN)等,RNN可以包括长短期记忆(long short-termmemory,LSTM)网络、堆叠环神经网络(stacked recurrent neural network,SRNN)等。
意图识别的大致的流程包括,首先,对待识别文本进行预处理,如,去除停用词等;其次,将语料转换为词向量(word embedding),例如,利用词嵌入(word embedding)算法,如,word2vec算法将预处理后的语料生成词向量;进而,利用意图识别器(如,DNN)来进行特征提取、意图分类等工作。本申请实施例中,意图识别器用于识别用户输入的待识别文本最可能的意图是哪种。
(2)注意力机制
注意力机制模拟的是人脑的注意力,举例而言,当我们欣赏一幅画时,虽然可以看到整幅画的全貌,但是我们在深入观察时,眼睛聚焦的就只是很小的一块,这个时候人的大脑主要关注在这一小块图案上,也就是说这个时候人脑对整幅图的关注并不是均衡的,是有一定的权重区分的。
一般而言,注意力机制是在encoder-decoder(编码器-解码器)框架上存在的。注意力机制可以应用于图像描述、翻译、语音识别、摘要提取等等。例如,对于机器翻译而言,如翻译“机器学习”,在翻译输出“machine”的时候,我们更希望模型关注的是“机器”,而不是“学习”,那么注意力机制是如何实现的呢?
以循环神经网络为例,注意力机制通过对编码器所有时间步的隐藏状态做加权求和来得到背景变量。解码器在每一时间步调整这些权重,即注意力权重,从而能够在不同时间步分别关注输入序列中的不同部分并编码进相应时间步的背景变量。
请参阅图1,是本申请实施例提供的一种注意力机制的示意图。如图1所示,编码器的时间步用t表示,总时间步为T,即t=1,2,...,T;解码器的时间步用t’表示,总时间步为T’,即t’=1,2,...,T’。具体来说,令编码器在时间步t的隐藏状态为ht,那么解码器在时间步t’的背景变量为所有编码器隐藏状态的加权求和,可以表示为如下形式:
Figure BDA0002659470150000061
例如,如图1所示,解码器在时间步2的背景变量c2可以表示为:c2=a21h1+a22h2+a23h3
其中给定t’时,权重at't在t=1,…,T的值是一个概率分布。为了得到概率分布,我们可以使用softmax运算得到:
Figure BDA0002659470150000062
现在,我们需要定义如何计算上式中softmax运算的输入et't。由于et't同时取决于解码器的时间步t’和编码器的时间步t,我们不妨以解码器在时间步t’-1的隐藏状态st'-1与编码器在时间步t的隐藏状态ht为输入,并通过函数a()计算et't
et't=a(st'-1,ht)
这里函数a()有多种选择,如果两个输入向量长度相同,一个简单的选择是计算它们的内积a(s,h)=sTh。例如,最早提出注意力机制的论文则将输入连结后通过含单隐藏层的多层感知机变换:
a(s,h)=vTtanh(wss+whh)
其中v、ws、wh都是可以学习的模型参数。
在解码器阶段,对于时间步t’,解码器输出yt'的条件概率是基于解码器之前的输出序列y1,y2,...,yt'-1和编码器输出的背景变量ct'得到的,即P(yt'|y1,...,yt'-1,ct')。
在时间步t’,解码器将上一时间步的输出yt'-1以及背景变量ct'作为输入,并将它们与上一时间步的隐藏状态st'-1变换为当前时间步的隐藏状态st'。因此,我们可以用函数g()表达解码器隐藏层的变换:
st'=g(yt'-1,ct',st'-1)
有了解码器的隐藏状态之后,就可以通过输出层和softmax函数运算来计算P(yt'|y1,...,yt'-1,ct')。例如,基于当前时间步t’解码器的隐藏状态st',解码器上一个时间步的输出yt'-1以及背景变量ct'来计算当前时间步t’解码器输出yt'的概率分布。
(3)深度神经网络
深度神经网络(deep neural network,DNN),也称多层神经网络,可以理解为具有很多层隐含层的神经网络,这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分,DNN内部的神经网络可以分为三类:输入层,隐含层,输出层。一般来说第一层是输入层,最后一层是输出层,中间的层数都是隐含层。层与层之间是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂,但是就每一层的工作来说,其实并不复杂,简单来说就是如下线性关系表达式:
Figure BDA0002659470150000071
其中,
Figure BDA0002659470150000073
是输入向量,
Figure BDA0002659470150000072
是输出向量,b是偏移向量,W是权重矩阵(也称系数),α( )是激活函数。每一层仅仅是对输入向量
Figure BDA0002659470150000074
经过如此简单的操作得到输出向量
Figure BDA0002659470150000075
由于DNN层数多,则系数W和偏移向量b的数量也就很多了。这些参数在DNN中的定义如下所述:以系数W为例:假设在一个三层的DNN中,第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA0002659470150000076
上标3代表系数W所在的层数,而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是:第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA0002659470150000077
需要注意的是,输入层是没有W参数的。在深度神经网络中,更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言,参数越多的模型复杂度越高,“容量”也就越大,也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程,其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
首先,介绍本申请实施例的系统架构。
请参阅图2,是本申请实施例提供的一种系统的架构示意图。如图2所示,该系统包括终端100、执行设备200、第一训练设备300、第二训练设备400、响应设备500、数据库600和数据采集设备700。其中:
数据库600用于存储热点文本和训练数据,热点文本可以是数据采集设备700以一定频率或周期从第三方平台采集得到的。
第一训练设备300可以从数据库600获取第一训练数据,用于训练第一模型,第一模型包括编码器和解码器。在一种实现中,第一训练数据包括多个样本,每一个样本包括样本文本对应的目标热点文本、该目标热点文本中每个热点文本对应的真实意图,其中,该目标热点文本为该样本文本相似的至少一条热点文本。第一训练设备300将将该目标热点文本输入编码器,得到时间步t’对应的文本特征,编码器包括第一循环神经网络、权重计算模块和第一输出模块。其中,第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到时间步t的隐藏状态;权重计算模块用于对第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重;第一输出模块用于根据该每一个隐藏状态对应的权重,对第一循环神经网络输出的隐藏状态进行加权求和,得到时间步t’对应的文本特征。进一步地,将时间步t’对应的文本特征输入到解码器,得到时间步t’对应的隐藏状态。解码器包括第二循环神经网络和第二输出模块。其中,第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到时间步t’的隐藏状态;第二输出模块用于根据第二循环神经网络输出的隐藏状态输出该目标热点文本中每一个热点文本的预测意图。其中,第二循环神经网络在最后一个时间步输出的隐藏状态为热点特征。
在另一种实现中,第一训练数据包括多个样本,每一个样本包括样本文本对应的目标热点文本、该样本文本对应的真实意图。第一训练设备300将该样本文本对应的目标热点文本输入到编码器,得到预测热点特征;进而,将该预测热点特征输入到解码器,得到预测意图;根据预测意图和真实意图之间的损失来调节编码器和解码器的模型参数。
进一步地,第一训练设备300可以将训练后的第一模型发送至执行设备200和第二训练设备400。
第二训练设备400可以从数据库600获取第二训练数据,用于训练意图识别器,该意图识别器为深度神经网络。第二训练数据包括多个样本,每一个样本包括样本文本、该样本文本对应的热点特征、该样本文本对应的真实意图。第二训练设备400将样本文本、该样本文本对应的热点特征输入到意图识别器,得到预测意图,根据预测意图和真实意图之间的损失来调整意图识别器的模型参数。
进一步地,第二训练设备400可以将训练后的意图识别器发送至执行设备200。
应理解,样本文本对应的热点特征的得到依赖于第一模型,即,需要将样本文本对应的目标热点文本输入到第一模型,输出得到样本文本对应的热点特征。在一种实现中,该热点特征可以是解码器在最后一个时间步输出的隐藏状态;在另一种实现中,将样本文本对应的目标热点文本输入到第一模型的编码器,输出得到样本文本对应的热点特征,该热点特征为编码器的输出。
应理解,第一训练设备300和第二训练设备400可以是计算器、服务器、云服务器等。
在执行设备200获取到训练后的第一模型和意图识别器之后,执行设备200就可以识别待识别文本的意图。其中,待识别文本可以是终端100向执行设备200发送的用户输入的文本。例如,终端100可以接收用户在终端100上通过输入装置(如,软键盘、外接键盘、触控面板等)输入的文本,即为待识别文本;终端100还可以接收通过语音采集装置(如,麦克风)采集的用户的语音,即为待识别语音,进而,终端100可以将待识别语音转换为待识别文本。
应理解,终端100可以包括但不限于手机、平板、计算机、智能手表、智能音响、电视等设备。
执行设备200在通过I/O接口201接收终端100发送的待识别文本后,可以将该待识别文本输入到目标热点文本获取模块202,目标热点文本获取模块202可以计算得到该待识别文本对应的目标热点文本,该目标热点文本为与待识别文本相似的至少一条热点文本。进而,执行设备200将该待识别文本的对应的目标热点文本输入到第一模型203,以获取到该待识别文本的热点特征;最后,执行设备200将待识别文本和该待识别文本对应的热点特征输入到意图识别器204,意图识别器204识别该待识别文本的意图并输出该待识别文本的意图。
其中,执行设备200将待识别文本输入到目标热点文本获取模块202,目标热点文本获取模块202计算得到该待识别文本对应的目标热点文本的一种实现方式可以是:计算待识别文本和目标热点集合中每一个热点文本的相似度;进而,确定目标热点集合中与待识别文本的相似度最大的N个热点文本为目标热点文本,N为正整数。应理解,目标热点文本获取模块202可以以一定频率或周期从数据库600中获取多条热点文本,通过聚类得到多个热点集合,目标热点集合是该多个热点集合中的一个集合。在一种实现方式中,目标热点集合中的热点文本与待识别文本的相似度之和大于该多个集合中任意一个热点集合中的热点文本与该待识别文本的相似度之和。
进一步地,执行设备200获取到待识别文本对应的意图之后,可以将该待识别文本对应的意图发送至响应设备500,响应设备500用于响应该意图,并向执行设备200或终端100返回该意图的响应信息。其中,响应信息的形式可以是文本、图片、链接、音频、视频、音视频等一种或多种形式的组合,响应信息还可以是用于指示终端100执行相应操作的命令。
应理解,响应设备500可以是服务器、云服务器等。
在一种实现方式中,执行设备200通过I/O接口201将该响应信息发送至终端100,终端100接收到该响应信息后,可以输出该响应信息。在一些实现方式中,若响应信息为文本形式,终端201可以通过显示屏显示该响应信息,或者通过扬声器以语音形式播放该响应信息;若响应信息为用于指示终端100执行相应操作的命令,如命令为“打开链接A”,则终端100可以执行该命令,打开链接A,跳转到链接A对应的用户界面。
应理解,执行设备200与响应设备500可以是同一设备。
还应理解,随时间变化,热点文本会不断更新,第一训练数据和第二训练数据也会不断进行更新,第一训练设备300可以定时根据更新后的第一训练数据训练第一模型,同理,第二训练设备400可以定时根据更新后的第一训练数据训练意图识别器,因此,意图识别器的识别结果会随时间不断变化,其识别结果具有时效性。可以理解,意图识别器针对相同的待识别文本,得到的识别结果(或称为意图)可能不相同,进而,可以获取到不同的响应信息。例如,对于待识别文本“P40”,在时间点为“2018-05-04”,意图识别器2识别到待识别文本“P40”的意图为“查找P-40战斗机是什么”;在时间点为“2020-06-04”,意图识别器识别到待识别文本“P40”的意图为“查找P40手机”。
应理解,图2所示系统的架构图只是本申请实施例提供的一种示例性的架构,本申请实施例包括的系统的架构不仅限于图2所示的设备,还可以包括更多或更少的设备,且图2中描述的实施方式也仅是本申请实施例的部分实施方式,还可以包括其它实现,此处不做限定。
下面,结合图2所示的系统架构,介绍本申请实施例涉及的一些用户界面。
终端可以包括处理器、存储器和显示器等,显示器可以是触控显示屏,用于显示用户界面,该用户界面上可以包括至少一个控件。
请参阅图3A-图3C,是本申请实施例提供的一些用户界面的示意图。如图3A所示,该用户界面可以包括文本输入控件302、语音输入控件303和图像输入控件304等中的至少一种。
响应于检测到的针对文本输入控件302输入的待识别文本,该终端可以将该待识别文本发送至执行设备;响应于检测到的针对语音输入控件303输入的待识别语音,该终端可以根据待识别语音转换为待识别文本,并向执行设备发送该待识别文本;响应于检测到的针对图像输入控件304输入的待识别图像,该终端可以提取该待识别图像的特征(如,图片中的文字),将该待识别图像转换为待识别文本,进而,终端将该待识别文本发送至执行设备。
如图3B所示,用户界面还包括还可以包括显示容器301,该显示容器301用于显示执行设备与终端的交互的信息。
在一种实现方式中,用户可以点击语音输入控件303,终端检测到这一操作,开启麦克风,通过麦克风采集用户的语音“P40”,即为待识别语音,然后,将待识别语音转换为待识别文本,显示在显示容器301中,如图3B中(1)所示,终端在显示容器301显示“P40”。
进一步地,终端向执行设备发送待识别文本。执行设备用于识别接收到的待识别文本的意图,并将识别结果发送至响应设备,响应设备响应识别结果,获取该识别结果对应的响应信息,然后将该响应信息发送至执行设备,执行设备再向终端返回响应信息,终端可以输出该响应信息。
在一种实现中,如时间点为“2018-05-04”,终端向执行设备发送“P40”作为待识别文本,此时,执行设备识别待识别文本“P40”此时对应的意图为“查找P-40战斗机是什么”,则执行设备可以将该意图发送至响应设备,响应设备可以从第三方网站或数据库中获取到“P-40战斗机”相关的百科作为响应信息发送至执行设备,执行设备将该响应信息发送至终端,终端输出并显示该响应信息,如图3B中(2)所示,终端在显示容器301中向用户显示“P40”以及“P40-战斗机”作为此时对应的响应信息。
在一种实现中,如时间点为“2020-06-04”,终端向执行设备发送“P40”作为待识别文本,此时,执行设备识别待识别文本“P40”此时对应的意图为“查找P40手机”,则执行设备可以将该意图发送至响应设备,响应设备可以从第三方网站或数据库中获取到“P40手机”相关的百科作为响应信息发送至执行设备,执行设备将该响应信息发送至终端,终端输出并显示该响应信息,如图3B中(3)所示,终端在显示容器301中向用户显示“P40”以及“P40手机”此时对应的响应信息。
在一些实现方式中,响应信息为用于使终端执行相应操作的命令,那么,终端在接收到响应信息后,可以直接执行该命令。
如图3C所示,终端接收输入的用户命令后,在显示容器301的右侧显示输入的待识别文本“P40”。在一种情况下,执行设备识别到待识别文本“P40”此时对应的意图为“购买P40手机”,执行设备将该意图发送至响应设备,响应设备响应该意图,获取到“P40手机的购买链接:http//...”作为响应信息,并将该响应信息发送至执行设备,执行设备将该响应信息发送至终端。此时,终端接收到该响应信息时,可以直接跳转到该“P40手机购买链接:http//...”对应的用户界面,如图3C所示,终端的显示屏显示跳转到用于购买P40手机的用户界面。
应理解,不限上述图3A-图3C示出的终端与执行设备交互显示的用户界面,图3A-图3C所示的用户界面及其显示的内容仅是本申请的示例性说明,用户界面还可以有其它的设计方式,还可以包括更多或更少的控件和信息,以上仅是本申请实施例的示例性说明,不应对本申请实施例构成限定。
下面,结合图2中系统架构的描述,介绍本申请包括的各个实施例。
实施例(一):
请参阅图4,图4是本申请实施例提供的一种获取目标热点文本方法流程图,该方法可以由上述图2中的执行设备200、第一训练设备300、第二训练设备400和执行设备200中的目标热点文本获取模块202来执行,本申请实施例以执行设备为例来说明。该方法可以包括但不限于如下步骤:
S100:执行设备从多个热点集合中选定目标文本所属的目标热点集合。
在一种实现方式中,可以计算目标文本与第一热点集合中每一个热点文本的相似度,进而,对目标文本与该第一集合中每一个热点文本的相似度求和,得到目标文本在该热点集合上的相似度。其中,第一集合是该多个热点集合中的任意一个热点集合。进一步地,执行设备确定目标文本在该多个热点集合上相似度最大的热点集合为目标热点集合。
应理解,目标热点集合的形成不限于步骤S100中的实现方式,步骤S100还可以包括其它实现方式,此处不做限定。
S102:执行设备计算目标热点集合中每一条热点文本与目标文本的相似度。
其中,计算热点文本与目标文本的相似度的方式可以是余弦相似度、Jaccard(杰卡德)相似系数、simhash算法等,此处不做限定。
本申请实施例中,目标热点集合包括多条热点文本。获取目标热点集合的实现方式可以参见下述步骤S202-S206中的具体描述。
S104:执行设备确定目标热点集合中与该目标文本的相似度最大的前N条热点文本为目标热点文本。
应理解,目标热点文本是来源于目标热点集合中的一条或多条热点文本,是与目标文本有关的热点文本。其中,N为正整数,例如,4,6,3等等。
在另一种实现方式中,执行设备还可以确定目标热点集合中与该目标文本的相似度大于第一阈值的热点文本为目标热点文本。其中,第一阈值可以是预设值,为小于1的正数,如0.8、0.5等。相似度为0表示两者不相关,相似度为1表示两者相同。该预设值也可以是使得目标热点文本包括N个热点文本的值,此时,目标热点文本包括热点集合中与目标文本的相似度最大的N个热点文本。
执行设备还可以采用其它方式确定与目标文本相似的目标热点文本,这里不作限定。
应理解,上述步骤S100中的多个热点集合可以是从其他设备获取到的,也可以是执行设备生成的,下面以执行设备获取多个热点集合为例来说明,获取热点集合的一种实现方式,该实现方式可以包括但不限于如下步骤:
S202:执行设备获取多条热点文本。
在一种可能的实现方式中,执行设备可以从数据库中获取多条热点文本。
在一种可能的实现方式中,执行设备可以从至少一个第三方平台分别获取热点列表,该热点列表包括至少一条热点文本,然后,执行设备对获取到的所有热点列表包括的热点文本进行预处理,例如,去重处理等,得到该多条热点文本。其中,第三方平台可以是微博、知乎、百度等平台,其分别对应的热点列表可以是微博的热搜、知乎的热榜、百度的百度热榜等。
S204:执行设备将获取到的该多条热点文本进行聚类,得到多个热点集合。
其中,每一个热点集合有一个聚类中心,每一个热点集合中的聚类中心与该热点集合中的其它热点文本的相似度之和大于该热点集合中任意一条热点文本与该热点集合中其它热点文本的相似度之和,每一个热点集合中的热点文本与该热点集合的聚类中心的相似度不小于该热点文本与该多个热点集合中其它任意一个热点集合的聚类中心的相似度。
在一种实现方式中,对于该多条热点文本,执行设备通过聚类将该多条热点文本分成多个热点集合,以执行设备将该多条热点文本分为K个热点集合为例进行说明。具体地:①针对该多条热点文本,执行设备在该多条热点文本中随机选择K条热点文本,分别作为K个热点集合的初始聚类中心;②计算该多条热点文本中每一条热点文本分别与K个聚类中心中每一个聚类中心的相似度,并将该多条热点文本中每一条热点文本划分到与它相似度最大的聚类中心所在的热点集合中,最终使得该多条热点文本划分到K个热点集合,每一条热点文本属于一个热点集合;③根据划分好的K个热点集合,重新确定每个热点集合的聚类中心,聚类中心与该热点集合中每一条热点文本的相似度之和大于该热点集合中任意一条热点文本与该热点集合中其它热点文本的相似度之和;④根据重新划分的聚类中心,迭代计算步骤②和步骤③,直到聚类中心不再发生变化,即说明执行设备已完成将该多条热点文本分为K个热点集合。
应理解,K可以是执行设备在聚类运算过程中随机选定的值,也可以是预先设定的一个值,K为大于1的正整数。
应理解,计算两条热点文本的相似度的方法可以是欧式距离、余弦相似度等,此处不做限定。
应理解,步骤S204中将多条热点文本分为多个集合的实现不限于上述实现方式,还可以通过其它聚类算法来实现,如,K中心点聚类算法、DBSCAN聚类算法等,此处不做限定。
实施例(二):
请参阅图5,是本申请实施例提供的一种神经网络的训练方法的流程示意图。该方法具体可以由图2所示的第一训练设备300执行。可选地,该方法还可以由第一训练设备300中的CPU处理,也可以由CPU和适合用于神经网络计算的处理器共同处理,本申请不做限制。该方法可以包括如下部分或全部步骤:
S202:第一训练设备获取多个样本,该多个样本中每一个样本包括样本文本对应的目标热点文本、该样本文本对应的真实意图。
通过上述实施例(一)介绍的获取目标文本对应的目标热点文本的实现方式,可以得到该样本文本对应的目标热点文本,此时,该样本文本即为上述目标文本。
S204:第一训练设备建立初始化的第一模型,该第一模型包括编码器和解码器,该编码器包括第一循环神经网络、权重计算模块和第一输出模块,该解码器包括第二循环神经网络和第二输出模块。
S206:第一训练设备将样本文本对应的目标热点文本输入到该第一模型,得到该样本文本对应的目标热点文本分别预测得到的预测意图。
应理解,下述第一循环网络的时间步用t表示,第二循环神经网络的时间步用t’表示。
请参阅图6,是本申请实施例提供的一种神经网络的结构示意图。
如图6所示,步骤S206的具体实现可以包括:第一训练设备将目标热点文本包括的多个热点文本输入到编码器,得到时间步t’对应的文本特征。其中,第一循环神经网络用于对前一时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到时间步t的隐藏状态;权重计算模块用于对第一循环神经网络输出的隐藏状态和第二循环神经网络在时间步t’-1的隐藏状态进行处理,得到第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重;第一输出模块用于根据该权重,对第一循环神经网络输出的隐藏状态进行加权求和,得到第二循环神经网络在时间步t’输入的文本特征。
将时间步t’对应的文本特征输入到解码器,得到时间步t’对应的隐藏状态。其中,第二循环神经网络用于对前一时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到时间步t’的隐藏状态。第二输出模块用于根据第二循环神经网络输出的隐藏状态输出该目标热点文本中每一个热点文本的预测意图。
S208:第一训练设备根据该样本文本对应的目标热点文本分别预测得到的预测意图与该样本文本对应的目标热点文本的真实意图构建损失函数,通过损失函数优化该第一模型中的模型参数。
在一种实现方式中,损失函数的构造可以选用交叉熵,具体可以表示为如下形式:
Figure BDA0002659470150000131
其中,yt是在第一循环神经网络的时间步t时输入的热点文本对应的真实意图,ot'是在第二循环神经网络的时间步t’时输出的热点文本对应的预测意图,第二循环神经网络在时间步t’对应的隐藏状态输出的预测意图为第一循环神经网络在时间步t输入的热点文本对应的预测意图。P代表P个时间步,P为正整数。
将样本依次输入到第一模型,通过上述损失函数计算损失,优化第一模型中的所有模型参数,直到第一模型收敛。在训练完成该第一模型之后,就可以将待识别文本对应的目标热点文本输入到该第一模型中,获取解码器的隐藏状态,得到该待识别文本的热点特征。
实施例(三):
请参阅图7,是本申请实施例提供的又一种神经网络的训练方法的流程示意图。该方法具体可以由图2所示的第一训练设备300执行。可选地,该方法还可以由第一训练设备300中的CPU处理,也可以由CPU和适合用于神经网络计算的处理器共同处理,本申请不做限制。该方法可以包括如下部分或全部步骤:
S302:第一训练设备获取多个样本,该多个样本中每一个样本包括样本文本对应的目标热点文本、该样本文本对应的真实意图。
步骤S302的实现可以参见上述步骤S202的具体描述,此处不做限定。
S304:第一训练设备建立初始化的第一模型,该第一模型包括编码器和解码器,该编码器包括第一循环神经网络、权重计算模块和第一输出模块,该解码器包括第二循环神经网络和第二输出模块。
S306:第一训练设备将样本文本对应的目标热点文本输入到该第一模型,得到该样本文本的预测意图。
请参阅图8,是本申请实施例提供的又一种神经网络的结构示意图。如图8所示,步骤S306的具体实现可以包括:第一训练设备将样本文本对应的目标热点文本输入到编码器,得到预测热点特征。具体地,第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到时间步t的隐藏状态;权重计算模块用于对第一循环神经网络输出的隐藏状态进行处理,得到输出的隐藏状态中每一个隐藏状态的权重;第一输出模块用于根据输出的隐藏状态中每一个隐藏状态的权重,对第一循环神经网络输出的隐藏状态进行加权求和,得到预测的热点特征。
将预测的热点特征输入到解码器,得到样本文本的预测意图。具体地,第二循环神经网络用于对前一时间步t’-1输出的隐藏状态和输入的预测的热点特征进行处理得到时间步t’的隐藏状态。第二输出模块用于根据第二循环神经网络输出的隐藏状态输出该样本文本的预测意图。
S308:第一训练设备根据该样本文本对应的预测意图与该样本文本对应的真实意图构建损失函数,通过损失函数优化该第一模型中的模型参数。
将样本依次输入到第一模型,通过损失函数计算损失,优化第一模型中的所有模型参数,直到第一模型收敛。在训练完成第一模型之后,就可以将待识别文本对应的目标热点文本输入到该第一模型的编码器中,编码器输出该待识别文本的热点特征。
实施例(四):
请参阅图9,是本申请实施例提供的再一种神经网络的训练方法的流程示意图。该方法具体可以由图2所示的第二训练设备400执行。可选地,该方法还可以由第二训练设备500中的CPU处理,也可以由CPU和适合用于神经网络计算的处理器共同处理,本申请不做限制。该方法可以包括如下部分或全部步骤:
S402:第二训练设备获取多个样本,该多个样本中每一个样本包括样本文本、该样本文本对应的热点特征和该样本文本的真实意图。
样本文本对应的热点特征是从样本文本对应的目标热点文本中提取得到的。通过上述实施例(一)介绍的获取目标文本对应的目标热点文本的实现方式,可以得到该样本文本对应的目标热点文本,此时,该样本文本即为上述目标文本。
在一种实现方式中,可以将样本文本对应的目标热点文本输入到通过上述实施例(二)训练得到第一模型中,获取解码器的隐藏状态,得到该样本文本的热点特征。
在另一种实现方式中,可以将样本文本对应的目标热点文本输入到通过上述实施例(三)训练得到第一模型的编码器中,获取编码器的输出,得到该样本文本的热点特征。
应理解,样本文本对应的热点特征的实现方式不限于上述实现方式,样本文本对应的热点文本的获取还可以包括其它实现方式,此处不做限定。
S404:第二训练设备建立初始的意图识别器,该意图识别器为深度神经网络。
该意图识别器包括输入层、隐藏层和输出层。
S406:第二训练设备将该样本文本、该样本文本对应的热点特征输入到该意图识别器,得到该样本文本预测得到的预测意图。
S408:第二训练设备根据该样本文本预测得到的预测意图和该样本文本对应的真实意图优化该意图识别器的模型参数。
意图识别器的模型参数都存在于隐藏层的权重矩阵w1和输出层的权重矩阵w2中,神经网络训练的本质就是更新w1和w2中的参数。在训练神经网络时,首先要对w1和w2进行初始化,在初始化的过程中,w1和w2中所包含的参数可以是随机选取的,然后通过后续的训练过程不断的更新随机选取的参数,例如,使用反向传播算法来修正权重矩阵w1和w2。
需要说明的是,不限于上述提供的训练神经网络的方式,以上方式仅是本申请的示例性说明,不应对本申请构成限定,还可以包括其它的实现方式,此处不做限定。
可选地,在一种可能的实现方式中,每一个样本还可以包括样本文本对应的历史意图特征。此时,训练设备在训练意图识别器的过程中,以样本文本、该样本文本对应的热点特征、该样本文本对应的历史意图特征作为输入,输出预测意图,比较预测意图和样本文本对应的意图确定损失,从而不断更新意图识别器中的参数。其中,获取样本文本对应的历史意图特征的一种实现方式可以是:首先,获取样本文本对应的历史意图,每一个样本文本可以对应至少一个历史意图;其次,确定每一个历史意图的权重,历史意图出现的次数越多,该历史意图对应的权重越高;进而,计算得到样本文本对应的历史意图特征,在一种实现中,样本文本对应的历史意图特征可以是各个历史意图的加权求和。
实施例(五):
请参见图10A,是本申请实施例提供的一种意图识别方法的流程图。该方法可以由上述图2中的终端100和执行设备200共同执行,该意图识别方法可以包括如下部分或全部步骤:
S502:终端获取待识别文本。
待识别文本是用户输入的文本,也可以是通过麦克风采集的待识别语音通过语音识别得到的文本,还可以是输入的待识别图像通过图像识别得到的文本等。
S504:终端将待识别文本发送至执行设备。
S506:执行设备根据接收的待识别文本,获取该待识别文本对应的热点特征。
其中,该热点特征是从该待识别文本对应的目标热点文本中提取的特征,该待识别文本对应的目标热点文本可以通过上述实施例(一)所述的方法得到,此时,目标文本为待识别文本。
从该待识别文本对应的目标热点文本中提取热点特征的实现方法可以包括但不限于如下两种实施方式。
实施方式1:
在一种可能的实现方式中,从待识别文本对应的目标热点文本中提取热点特征的实现方法可以包括如下步骤:
S5061:执行设备确定待识别文本在第一热点文本上的权重为待识别文本与第一热点文本的相似度,第一热点文本为该待识别文本对应的目标热点文本中的任意一条热点文本。
应理解,第一热点文本与待识别文本的相似度越大,该第一热点文本与待识别文本的权重越高。
S5062:执行设备对该目标热点文本中的热点文本进行加权求和,得到热点特征。
实施方式2:
在一种可能的实现方式中,可以通过训练后的第一模型从待识别文本对应的目标热点文本中提取热点特征。其中,对应于上述实施例(二)和实施例(三)中训练得到第一模型的两种实现方式,提取热点特征包括如下实现方式(A)和实现方式(B):
实现方式(A):
执行设备可以将待识别文本对应的目标热点文本输入到通过上述实施例(二)训练得到第一模型中,获取解码器最终的隐藏状态,得到该待识别文本的热点特征。
在具体实现中:将该目标热点文本输入编码器,得到时间步t’对应的文本特征,该编码器包括第一循环神经网络、权重计算模块和第一输出模块。其中,第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到时间步t的隐藏状态;权重计算模块用于对第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重;第一输出模块用于根据权重,对第一循环神经网络输出的隐藏状态进行加权求和,得到所述时间步t’对应的文本特征;
将时间步t’对应的文本特征输入到解码器,得到时间步t’对应的隐藏状态,该解码器包括第二循环神经网络和第二输出模块。其中,第二循环神经网络用于对前一时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到时间步t’的隐藏状态;第二输出模块用于根据第二循环神经网络输出的隐藏状态输出目标热点文本中每一个热点文本的预测意图。
第二循环神经网络在最后一个时间步输出的隐藏状态即最终的隐藏状态,为从该目标热点文本中提取出的热点特征。
实现方式(B):
执行设备可以将待识别文本对应的目标热点文本输入到通过上述实施例(三)训练得到第一模型的编码器中,获取编码器的输出,得到该待识别文本的热点特征。
在具体实现中:将该目标热点文本输入编码器,得到待识别文本的热点特征。该编码器包括第一循环神经网络、权重计算模块和输出模块。其中,第一循环神经网络用于对时间步t-1输出的隐含状态和时间步t输入的热点文本进行处理得到所述时间步t的隐藏状态;权重计算模块用于对第一循环神经网络输出的隐藏状态进行处理,得到输出的隐藏状态中每一个隐含状态的权重;输出模块用于根据输出的隐含状态中每一个隐含状态的权重,对第一循环神经网络输出的隐藏状态进行加权求和,得到该热点特征。
应理解,从目标热点文本中提取热点特征的方式不限于上述实施方式1和实施方式2中描述的方式,还可以包括其它实现方式,此处不做限定。
S508:将待识别文本和待识别文本对应的热点特征输入到意图识别器,得到识别结果,该意图识别器是是通过上述实施例(四)所述的方法训练得到的模型。
应理解,识别结果是用于指示该待识别文本的意图。其中,意图的颗粒度可以基于实际应用来设定,其中,训练意图识别器的训练样本的标签越多,颗粒度越细,则训练得到的意图识别器可识别的意图越多。例如,对于用户输入的待识别文本“P40”而言,如意图可以包括“搜索P40手机的百科信息”,“搜索P40手机的新闻信息”,“搜索P40手机的购买链接”,“搜索P40手机的图片”等等,结合“P40”对应的目标热点文本“P40手机正在火热预售”、“P40手机销量突破10万台”等提取的热点特征,“P40”和该热点特征输入到意图识别器后,识别结果可以为“搜索P40手机的购买链接”。
可选地,上述意图识别方法也可以单独由上述图2所示的终端100执行。请参阅图10B,是本申请实施例提供的又一种意图识别方法的流程图。该意图识别方法可以包括但不限于如下步骤:
S602:终端获取第一模型,该第一模型是通过上述实施例(二)或实施例(三)所述的方法训练得到的,该第二模型用于从目标热点文本中提取热点特征。
S604:终端获取意图识别器,该意图识别器是通过上述实施例(四)所述的方法训练得到的,该意图识别器用于识别待识别文本的意图。
S606:终端获取待待识别文本。
步骤S606的具体实现可以参见上述步骤S502中的描述,此处不再赘述。
S608:终端根据接收到的待识别文本,获取该待识别文本对应的热点特征。
步骤S608的具体实现可以参见上述步骤S506中的具体描述,此处不再赘述。
S610:终端将待识别文本和该待识别文本对应的热点特征输入到意图识别器,得到识别结果。
步骤S610的具体实现可以参见上述步骤S608中的具体描述,此处不再赘述。
应理解,步骤S602和步骤S604在意图识别方法的执行过程中可以不是必须的。
应理解,该意图识别方法的执行方式不限于上述步骤S502-S508和步骤S602-610所描述的实现方式,以上两种实现方式仅是本申请的部分实现方式,还可以包括其它实现方式,例如,该意图识别方法还可以仅由执行设备执行,此处不做限定。
可选地,执行设备获取到待识别文本对应的识别结果之后,该意图识别方法还可以包括,获取该识别结果对应的响应信息。以上述终端和执行设备共同执行该意图识别方法为例进行说明,请参阅图10C,是本申请实施例提供的又一种意图识别方法的流程图,此时,执行该意图识别方法的设备还可以包括上述图2中的响应设备500,上述意图识别方法还可以包括如下部分或全部步骤:
S702:执行设备将识别结果发送至响应设备。
S704:响应设备接收该识别结果并根据该识别结果获取响应信息。
其中,响应信息的形式可以是文本、图片、链接、音频、视频、音视频等一种或多种形式的组合;响应信息还可以是用于指示终端执行相应操作的命令,如命令为“打开P40手机的购买链接:https://www....”。
S706:响应设备将该响应信息发送至执行设备。
S708:执行设备将该响应信息发送至终端。
S710:终端接收并输出该响应信息。
若响应信息为文本、语音、图片等形式的信息,终端可以通过显示设备(如显示屏)显示响应信息,也可以通过音频设备(音响、扩音器等)以音频的形式向用户播放响应信息;若响应信息为命令,终端可以执行该响应信息对应的操作,如跳转到该响应信息对应的用户界面,或者控制其它电子设备(如智能灯泡、空调等)执行相应的操作,如调低音响的音量。
应理解,执行设备和响应设备可以是同一设备,此时,步骤S702和步骤S706可以不是必须的。
本申请实施例,通过获取待识别文本;将该待识别文本和所述待识别文本对应的热点特征输入到意图识别器,输出识别结果,所述意图识别器是用于识别多个意图的神经网络,所述识别结果用于指示所述待识别文本的意图,所述热点特征是从目标热点文本中提取的特征,所述目标热点文本包括与所述待识别文本相似的至少一条热点文本。由此可知,该意图识别方法考虑到随着时间的变化,热点也会随着变化,相同的待识别文本可能会对应不同的意图,因此,在意图识别的过程中,将待识别文本与热点结合,从待识别文本相关的热点文本中提取出热点特征,从而能够关注意图的时效性,提升意图识别的准确度。
基于上述描述,下面,介绍本申请实施例提供的一种电子设备100,该电子设备可以对应上述图2中的终端100。该电子设备100可以用于执行上述实施例(五)所述的方法。
图11示出了终端100的结构示意图。如图11所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
下面,介绍本申请实施例提供的另一种电子设备200的结构示意图。如图12所示,该电子设备200具体可以对应于图2中的执行设备200、第一训练设备300、第二训练设备400或响应设备500。该电子设备200可以执行上述实施例(一)至实施例(五)所述的方法。电子设备200可以包括:处理器201、总线202、网络接口203和存储器204。其中,通信总线202用于实现这些组件之间的连接通信。网络接口203可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。如图12所示,作为一种计算机可读存储介质的存储器204中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序,在装置200运行时,可以将上述操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
此外,这里需要指出的是:本申请实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的电子设备100和电子设备200所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文实施例(一)至实施例(五)中所提及的方法,这里将不再进行赘述。
另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (19)

1.一种意图识别方法,其特征在于,包括:
获取待识别文本;
将所述待识别文本和所述待识别文本对应的热点特征输入到意图识别器,输出识别结果,所述意图识别器是用于识别多个意图的神经网络,所述识别结果用于指示所述待识别文本的意图,所述热点特征是从目标热点文本中提取的特征,所述目标热点文本包括与所述待识别文本相似的至少一条热点文本。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述目标热点文本输入编码器,得到时间步t’对应的文本特征,所述编码器包括第一循环神经网络、权重计算模块和第一输出模块,所述第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到所述时间步t的隐藏状态,所述权重计算模块用于对所述第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到所述第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,所述第一输出模块用于根据所述权重,对所述第一循环神经网络输出的隐藏状态进行加权求和,得到所述时间步t’对应的文本特征;
将所述时间步t’对应的文本特征输入到解码器,得到所述时间步t’对应的隐藏状态,所述解码器包括第二循环神经网络和第二输出模块,所述第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到所述时间步t’的隐藏状态,所述第二输出模块用于根据所述第二循环神经网络输出的隐藏状态输出所述目标热点文本中每一个热点文本的预测意图;
其中,所述第二循环神经网络在最后一个时间步输出的隐藏状态为所述热点特征。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述目标热点文本中的热点文本进行加权求和,得到所述热点特征,所述目标热点文本中每一个热点文本的权重由所述每一个热点文本与所述待识别文本的相似度确定。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
从多个热点集合中选定所述待识别文本所属的目标热点集合;
计算所述待识别文本与目标热点集合中每一个热点文本的相似度;
确定所述目标热点文本为所述目标热点集合中与所述待识别文本的相似度最大的前N条热点文本。
5.根据权利要求4所述的方法,其特征在于,所述从多个热点集合中选定与所述待识别文本所属的目标热点集合之前,所述方法还包括:
获取多个热点文本;
对所述多个热点文本进行聚类,得到多个热点集合。
6.一种神经网络的训练方法,其特征在于,包括:
将样本文本对应的目标热点文本输入编码器,得到时间步t’对应的文本特征,所述目标热点文本包括与所述样本文本相似的至少一条热点文本,所述编码器包括第一循环神经网络、权重计算模块和第一输出模块,所述第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到所述时间步t的隐含状态,所述权重计算模块用于对所述第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到所述第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,所述第一输出模块用于根据所述权重,对所述第一循环神经网络输出的隐藏状态进行加权求和,得到所述时间步t’对应的文本特征;
将所述时间步t’对应的文本特征输入到解码器,得到所述时间步t’对应的预测意图,所述编码器在一个时刻输出目标热点文本中一个热点文本的意图,所述解码器包括第二循环神经网络和第二输出模块,所述第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到所述时间步t’的隐藏状态,所述第二输出模块用于根据所述第二循环神经网络输出的隐藏状态输出所述目标热点文本中每一个热点文本的预测意图;
根据所述目标热点文本中所有热点文本的预测意图与所述目标热点文本中所有热点文本的真实意图之间的损失,调整所述编码器的模型参数和解码器的模型参数。
7.一种神经网络的训练方法,其特征在于,包括:
将样本文本和所述样本文本对应的热点特征输入到意图识别器,得到预测意图,所述热点特征是从目标热点文本中提取的特征,所述目标热点文本包括与所述样本文本相似的至少一条热点文本;
根据所述样本文本对应的预测意图与所述样本文本对应的真实意图之间的损失,调整所述意图识别器的模型参数。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
将所述目标热点文本输入编码器,输出所述热点特征,所述编码器包括第一循环神经网络、权重计算模块和输出模块,所述第一循环神经网络用于对时间步t-1输出的隐含状态和时间步t输入的热点文本进行处理得到所述时间步t的隐藏状态,所述权重计算模块用于对所述第一循环神经网络输出的隐藏状态进行处理,得到所述输出的隐藏状态中每一个隐含状态的权重,所述输出模块用于根据所述输出的隐含状态中每一个隐含状态的权重,对所述第一循环神经网络输出的隐藏状态进行加权求和,得到所述热点特征。
9.一种用于意图识别的执行设备,其特征在于,所述执行设备包括:一个或多个处理器、存储器,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器用于调用所述计算机指令以使得所述执行设备执行:
获取待识别文本;
将所述待识别文本和所述待识别文本对应的热点特征输入到意图识别器,输出识别结果,所述意图识别器是用于识别多个意图的神经网络,所述识别结果用于指示所述待识别文本的意图,所述热点特征是从目标热点文本中提取的特征,所述目标热点文本包括与所述待识别文本相似的至少一条热点文本。
10.根据权利要求9所述的执行设备,其特征在于,所述执行设备还用于执行:
将所述目标热点文本输入编码器,得到时间步t’对应的文本特征,所述编码器包括第一循环神经网络、权重计算模块和第一输出模块,所述第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到所述时间步t的隐藏状态,所述权重计算模块用于对所述第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到所述第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,所述第一输出模块用于根据所述权重,对所述第一循环神经网络输出的隐藏状态进行加权求和,得到所述时间步t’对应的文本特征;
将所述时间步t’对应的文本特征输入到解码器,得到所述时间步t’对应的隐藏状态,所述解码器包括第二循环神经网络和第二输出模块,所述第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到所述时间步t’的隐藏状态,所述第二输出模块用于根据所述第二循环神经网络输出的隐藏状态输出所述目标热点文本中每一个热点文本的预测意图;
其中,所述第二循环神经网络在最后一个时间步输出的隐藏状态为所述热点特征。
11.根据权利要求9所述的执行设备,其特征在于,所述执行设备还用于执行:
对所述目标热点文本中的热点文本进行加权求和,得到所述热点特征,所述目标热点文本中每一个热点文本的权重由所述每一个热点文本与所述待识别文本的相似度确定。
12.根据权利要求9-11所述的执行设备,其特征在于,所述执行设备还用于执行:
从多个热点集合中选定所述待识别文本所属的目标热点集合;
计算所述待识别文本与目标热点集合中每一个热点文本的相似度;
确定所述目标热点文本为所述目标热点集合中与所述待识别文本的相似度最大的前N条热点文本。
13.根据权利要求12所述的执行设备,其特征在于,所述从多个热点集合中选定与所述待识别文本所属的目标热点集合之前,所述执行设备还用于执行:
获取多个热点文本;
对所述多个热点文本进行聚类,得到多个热点集合。
14.一种训练设备,其特征在于,所述训练设备包括:一个或多个处理器、存储器,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器用于调用所述计算机指令以使得所述训练设备执行:
将样本文本对应的目标热点文本输入编码器,得到时间步t’对应的文本特征,所述目标热点文本包括与所述样本文本相似的至少一条热点文本,所述编码器包括第一循环神经网络、权重计算模块和第一输出模块,所述第一循环神经网络用于对时间步t-1输出的隐藏状态和时间步t输入的热点文本进行处理得到所述时间步t的隐含状态,所述权重计算模块用于对所述第一循环神经网络输出的隐藏状态和时间步t’-1的隐藏状态进行处理,得到所述第一循环神经网络输出的隐藏状态中每一个隐藏状态的权重,所述第一输出模块用于根据所述权重,对所述第一循环神经网络输出的隐藏状态进行加权求和,得到所述时间步t’对应的文本特征;
将所述时间步t’对应的文本特征输入到解码器,得到所述时间步t’对应的预测意图,所述编码器在一个时刻输出目标热点文本中一个热点文本的意图,所述解码器包括第二循环神经网络和第二输出模块,所述第二循环神经网络用于对时间步t’-1输出的隐藏状态和时间步t’输入的文本特征进行处理得到所述时间步t’的隐藏状态,所述第二输出模块用于根据所述第二循环神经网络输出的隐藏状态输出所述目标热点文本中每一个热点文本的预测意图;
根据所述目标热点文本中所有热点文本的预测意图与所述目标热点文本中所有热点文本的真实意图之间的损失,调整所述编码器的模型参数和解码器的模型参数。
15.一种训练设备,其特征在于,所述训练设备包括:一个或多个处理器、存储器,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器用于调用所述计算机指令以使得所述训练设备执行:
将样本文本和所述样本文本对应的热点特征输入到意图识别器,得到预测意图,所述热点特征是从目标热点文本中提取的特征,所述目标热点文本包括与所述样本文本相似的至少一条热点文本;
根据所述样本文本对应的预测意图与所述样本文本对应的真实意图之间的损失,调整所述意图识别器的模型参数。
16.根据权利要求15所述的训练设备,其特征在于,所述训练设备还用于执行:
将所述目标热点文本输入编码器,输出所述热点特征,所述编码器包括第一循环神经网络、权重计算模块和输出模块,所述第一循环神经网络用于对时间步t-1输出的隐含状态和时间步t输入的热点文本进行处理得到所述时间步t的隐藏状态,所述权重计算模块用于对所述第一循环神经网络输出的隐藏状态进行处理,得到所述输出的隐藏状态中每一个隐含状态的权重,所述输出模块用于根据所述输出的隐含状态中每一个隐含状态的权重,对所述第一循环神经网络输出的隐藏状态进行加权求和,得到所述热点特征。
17.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在执行设备上运行时,使得所述执行设备执行如权利要求1-5所述的任一项方法。
18.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在训练设备上运行时,使得所述训练设备执行如权利要求6所述的方法。
19.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在训练设备上运行时,使得所述训练设备执行如权利要求7或8所述的任一项方法。
CN202010899495.1A 2020-08-31 2020-08-31 一种意图识别方法及相关装置、设备 Pending CN114116991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899495.1A CN114116991A (zh) 2020-08-31 2020-08-31 一种意图识别方法及相关装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899495.1A CN114116991A (zh) 2020-08-31 2020-08-31 一种意图识别方法及相关装置、设备

Publications (1)

Publication Number Publication Date
CN114116991A true CN114116991A (zh) 2022-03-01

Family

ID=80360120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899495.1A Pending CN114116991A (zh) 2020-08-31 2020-08-31 一种意图识别方法及相关装置、设备

Country Status (1)

Country Link
CN (1) CN114116991A (zh)

Similar Documents

Publication Publication Date Title
CN111669515B (zh) 一种视频生成方法及相关装置
CN112580400B (zh) 图像选优方法及电子设备
WO2022033556A1 (zh) 电子设备及其语音识别方法和介质
CN110070863A (zh) 一种语音控制方法及装置
CN112446255A (zh) 一种视频图像处理方法及装置
CN113297843B (zh) 指代消解的方法、装置及电子设备
CN110851067A (zh) 屏幕显示模式的切换方法、装置及电子设备
CN111178546A (zh) 机器学习模型的搜索方法及相关装置、设备
WO2022022319A1 (zh) 一种图像处理方法、电子设备、图像处理系统及芯片系统
CN114242037A (zh) 一种虚拟人物生成方法及其装置
CN112651510A (zh) 模型更新方法、工作节点及模型更新系统
CN112256868A (zh) 零指代消解方法、训练零指代消解模型的方法及电子设备
CN111147667A (zh) 一种熄屏控制方法及电子设备
CN111191018B (zh) 对话系统的应答方法和装置、电子设备、智能设备
CN114444705A (zh) 模型更新方法及装置
CN114356109A (zh) 文字输入方法、电子设备及计算机可读存储介质
CN109285563B (zh) 在线翻译过程中的语音数据处理方法及装置
CN113506566B (zh) 声音检测模型训练方法、数据处理方法以及相关装置
WO2021233259A1 (zh) 一种评估女性情绪的方法及相关装置、设备
CN111310701B (zh) 手势识别方法、装置、设备及存储介质
CN114120987B (zh) 一种语音唤醒方法、电子设备及芯片系统
CN113572798B (zh) 设备控制方法、系统、设备和存储介质
CN114547616A (zh) 检测垃圾软件的方法、装置及电子设备
CN114116991A (zh) 一种意图识别方法及相关装置、设备
CN115393676A (zh) 手势控制优化方法、装置、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination