CN110334344A - 一种语义意图识别方法、装置、设备及存储介质 - Google Patents
一种语义意图识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110334344A CN110334344A CN201910509538.8A CN201910509538A CN110334344A CN 110334344 A CN110334344 A CN 110334344A CN 201910509538 A CN201910509538 A CN 201910509538A CN 110334344 A CN110334344 A CN 110334344A
- Authority
- CN
- China
- Prior art keywords
- information
- text
- semantic
- key word
- intent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000013598 vector Substances 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 38
- 230000007423 decrease Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 235000010149 Brassica rapa subsp chinensis Nutrition 0.000 description 9
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 9
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 9
- 241000252230 Ctenopharyngodon idella Species 0.000 description 9
- 230000006854 communication Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 241000251468 Actinopterygii Species 0.000 description 7
- 244000061456 Solanum tuberosum Species 0.000 description 6
- 235000002595 Solanum tuberosum Nutrition 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 241000252228 Ctenopharyngodon Species 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 240000007594 Oryza sativa Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 235000021419 vinegar Nutrition 0.000 description 3
- 239000000052 vinegar Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000012015 potatoes Nutrition 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种语义意图识别方法、装置、设备及存储介质,所述方法包括:获取文本信息;将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;获取所述文本信息中与所述意图信息匹配的关键词信息;基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,多线性特征学习层的学习权重数据为一维线性权重向量。利用本申请实施例提供的技术方案可以大大降低模型学习过程中的计算复杂度,同时可以学习到多维度的文本特征信息,保证模型对意图的识别准确率,且结合意图来进行语义的分析,可以更好的提高语义理解的准确率。
Description
技术领域
本申请涉及互联网通信技术领域,尤其涉及一种语义意图识别方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展,深度学习在许多领域都得到了广泛的应用。例如,在语音助手技术中,可以利用深度学习对用户输入的语音信息或文本信息进行语义意图的识别,进而迅速做出回应,例如和用户聊天,或者根据指令帮用户操控智能设备等。
目前,在利用深度学习进行语义意图识别时,为了保证语义意图识别的准确率,往往设计复杂度较高的神经网络模型(例如多头注意力机制MultiHead Atention)网络层越多,复杂度越高,神经网络准确率会越好。但对于语音助手等人与机器实时交互的应用场景中,对响应速度与准确率都有很高的要求,现有的复杂度较高的神经网络模型往往采用多维矩阵作为权重矩阵,计算复杂度高,无法兼顾识别准确率和处理速度。因此,需要提供更有效的方案,以在保证语义意图识别的准确率的同时,降低神经网络模型的计算复杂度,提升处理速度。
发明内容
本申请提供了一种语义意图识别方法、装置、设备及存储介质,可以大大降低模型学习过程中的计算复杂度,同时可以学习到多维度的文本特征信息,保证模型对意图的识别准确率,且结合意图来进行语义的分析,可以更好的提高语义理解的准确率。
一方面,本申请提供了一种语义意图识别方法,所述方法包括:
获取文本信息;
将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;
获取所述文本信息中与所述意图信息匹配的关键词信息;
基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。
其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。
另一方面提供了一种语义意图识别装置,所述装置包括:
文本信息获取模块,用于获取文本信息;
意图识别处理模块,用于语义将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;
关键词信息获取模块,用于获取所述文本信息中与所述意图信息匹配的关键词信息;
语义信息确定模块,用于基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。
其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。
另一方面提供了一种语义意图识别设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的语义意图识别方法。
另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的语义意图识别方法。
本申请提供的语义意图识别方法、装置、设备及存储介质,具有如下技术效果:
本申请通过在意图识别模型中设置两层,以一维线性权重向量为学习权重数据(权重矩阵)的多线性特征学习层,可以大大降低模型学习过程中的计算复杂度,且可以学习到多维度的文本特征信息,提高模型的识别准确率。在基于该意图识别模型进行文本信息的意图识别时,可以快速准确地识别出文本信息的意图信息;然后,基于意图信息进行语义的识别,可以大大提高语义识别的准确率。在实际应用中,可以轻松应对语音助手等人机实时交互场景,对响应速度与准确率的高要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图;
图2是本申请实施例提供的一种语义意图识别方法的流程示意图;
图3是本申请实施例提供的一种意图识别模型的结构示意图;
图4是本申请实施例提供的一种特征输入转换层的结构示意图;
图5是本申请实施例提供的一种多线性特征学习层的结构示意图;
图6是本申请实施例提供的一种基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习的方法流程示意图;
图7是本申请实施例提供的一种获取所述文本信息中与所述意图信息匹配的关键词信息的方法流程示意图;
图8是本申请实施例提供的一种基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息的方法流程示意图;
图9是本申请实施例提供的另一种语义意图识别方法的流程示意图;
图10是本申请实施例提供的一种语义意图识别方法的应用场景的示意图;
图11是本申请实施例提供的一种语义意图识别装置的结构示意图;
图12是本申请实施例提供的一种客户端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本申请实施例提供的一种应用环境的示意图,如图1所示,该应用环境至少可以包括服务器01和客户端02。
具体的,本说明书实施例中,所述服务器01可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的,所述服务器01可以用于训练意图识别模型。
具体的,本说明书实施例中,所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备,也可以包括运行于实体设备中的软体,例如一些服务商提供给用户的网页页面,也可以为该些服务商提供给用户的应用。具体的,所述客户端02可以用于基于服务器01训练的意图识别模型进行意图识别以及语义识别。
此外,需要说明的是,在实际应用中,客户端02还可以结合识别出的语义意图与用户聊天,或者执行相应的操作等。
以下介绍本申请一种语义意图识别方法,图2是本申请实施例提供的一种语义意图识别方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,所述方法可以包括:
S201:获取文本信息。
在实际应用中,人机交互的应用中,常常提供文字信息、语音信息、图片信息、等多种形式的信息输入方式。相应的,当用户输入文字信息时,可以直接获取文本信息。
在一些实施例中,当用户输入语音信息时,基于对获取的语音信息进行语音识别,得到所述文本信息。具体的,本说明书实施例中,可以结合自动语音识别(AutomaticSpeech Recognition,ASR)技术来识别出语音信息中的文本信息。
在一些实施例中,当用户输入图片信息时,基于对获取的图片信息进行图像识别,得到所述文本信息。具体的,本说明书实施例中,可以结合图像识别算法来识别出图像信息中的文本信息。
S203:将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息。
本说明书实施例中,如图3所示,意图识别模型可以包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层。具体的,从图3中可见,意图识别模型中的每一层都包括多个节点,其中,线性特征学习层会将前一层多个节点的输出均作为输入,以提取更多的特征信息。
进一步的,在实际应用中,两个矩阵(文本特征矩阵和权重矩阵,这里的权重矩阵即模型学习过程中的学习权重数据)点积运算,相比矩阵与一维向量点积更加复杂,且计算复杂,参数庞大,常常导致训练神经网络时,存在参数冗余,部分网络层学习不到有用的特征信息;现有的MultiHead Attention也存在该问题。本说明书实施例中,多线性特征学习层采用一维线性权重向量替换现有的权重矩阵,用一维线性权重向量与矩阵(文本特征矩阵)运算代替矩阵与矩阵运算可以大大减少计算量,同时采用两层的多线性特征学习层可以学习到更多空间的特征信息,模型准确率会大大提升。
具体的,本说明书实施例中,所述意图识别模型可以包括采用下述方式确定:
1)获取标注有意图标识的文本信息;
2)基于所述标注有意图标识的文本信息对预设深度学习模型进行训练得到所述意图识别模型。
本说明书实施例中,意图标识可以结合实际应用场景需求进行设置,以一些购物场景为例,意图标识可以至少包括下述之一:下单意图标识、指示支付意图标识、指定支付工具意图标识、会话结束意图标识、备注意图标识、取消订单意图标识、增减指定对象意图标识。
此外,需要说明的是,意图标识还可以结合在实际应用需求,可以包括更多意图对应的标识。
具体的,如图3所示,所述预设深度学习模型可以包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层。基于上述的训练数据对预设深度学习模型进行训练得到意图识别模型后,意图识别模型可以语义识别文本信息的语义意图。
具体的,本说明书实施例中,如图4所示,所述特征输入转换层可以包括:文本特征提取单元、位置编码单元、以及合并处理单元。
所述文本特征提取单元用于生成文本特征矩阵,所述位置编码单元用于生成多角度的位置矩阵,具体的,这里的多角度的位置矩阵可以包括多个具有不同元素的矩阵;所述合并处理单元用于将位置编码单元生成的位置矩阵和文本特征提取单元生成的文本特征矩阵进行合并处理,具体的,这里合并处理可以包括将文本特征提取单元生成的文本特征矩阵分别与多角度的位置矩阵进行合并处理再进行加权平均处理。在实际应用中,合并处理后的文本特征矩阵可以包括文本信息中多个分词词语的词向量。
进一步的,结合图4所示,所述文本特征提取单元可以包括:输入层、特征向量转换层、和特征提取层;
具体的,所述输入层可以用于输入词性分析后的文本信息;所述特征向量转换层用于将词性分析后的文本信息转换成特征向量(即文本信息中词语的词向量);特征提取层可以用于基于多个全连接层的输出特征向量提取所述文本信息的文本特征矩阵(即文本信息中词语的词向量),所述多个全连接层的输出特征向量为特征向量转换层输出的特征向量经过多个全连接层的特征向量。
此外,需要说明的是,图4中并未展示全连接层,在实际应用中,在特征提取层与特征向量转换层之间存在多个全连接层。
具体的实施例中,基于多个全连接层的输出特征向量提取所述文本信息的文本特征矩阵可以包括结合下述公式实现:
其中,Sij可以为第i个和第j个全连接层的输出特征向量中提取的文本特征向量,x可以为特征向量转换层输出的词向量(特征向量),c为常数,可以结合实际应用预先设置,w1,w2可以为预设的一维线性权重向量(权重矩阵),一般的,初始化(训练之前)可以为0,在训练过程可以学习到合适的参数。hi,hj为x经过第i个和第j个全连接层之后的输出特征向量。为第i个和第j个全连接层的输出特征向量的权重矩阵,初始化为可以0,在训练过程可以学习到合适的参数。
相应的,假设全连接层的总数量为n,n大于等于2,基于上述公式获取两两全连接层的输出特征向量中提取的文本特征向量;将两两全连接层的输出特征向量中提取的文本特征向量进行加权平均可以得到所述文本信息的文本特征矩阵。
本说明书实施例中,通过从多个全连接层提取有用的文本特征矩阵,再与多角度的位置矩阵进行合并,可以更好的提取文本特征。
本说明书实施例中,如图5所示,所述多线性特征学习层可以包括:多线性注意力学习单元、第一归一化相加处理单元、门控制单元、前向学习单元和第二归一化相加处理单元;
具体的,所述多线性注意力学习单元可以用于基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习。在一个具体的实施例中,如图6所示,基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习可以包括:
S2031:对所述特征输入转换层输出的词向量与第一一维线性权重向量进行点积归一化处理。
具体的,点击归一化处理过程可以采用下述公式:
其中,I可以为点积归一化后的特征向量,Scale_Dot可以为点积归一化运算;为常量,可以结合实际应用需求进行设置,W(m)为多线性注意力学习单元第m 个节点在训练后得到的一维线性权重矩阵(即第一一维线性权重向量),X可以为特征输入转换层输出的词向量,b(m)多线性注意力学习单元第m个节点在训练后确定的偏置。
S2033:基于第二一维线性权重向量和第三一维线性权重向量对点积归一化处理后的特征向量和所述特征输入转换层输出的词向量进行线性变换处理。
具体的,线性变换处理可以包括采用下述公式:
U=sigmod(W1*s+W2*l+b)
其中,U可以为线性变化处理后的特征向量,W1和W2均为在训练后得到的一维线性权重矩阵(即分别对应着第二一维线性权重向量和第三一维线性权重向量),b为常量,可以结合实际应用需求进行设置。
本说明书实施例中,通过一维线性权重矩阵(W1和W2)可以在进行特征向量学习的同时,有效控制I和s的比例。
S2035:基于预设阈值函数对所述线性变化处理后的特征向量进行阈值映射处理。
具体的,阈值映射处理可以包括采用下述公式:
F=sigmod(U)
其中,F可以为阈值映射处理后的特征向量,U可以为线性变化处理后的特征向量,sigmod为神经网络的阈值函数,可以将线性变化处理后的特征向量中的元素映射到0至1之间。
S2037:基于阈值映射处理后的特征向量、点积归一化处理后的特征向量和所述特征输入转换层输出的词向量确定所述文本信息的多维度文本特征向量。
multiLine Attention=∑mAttentionm(F*I+(1-F)*s)
其中,multiLine Attention可以表示文本信息的多维度文本特征向量;F可以为阈值映射处理后的特征向量;I可以为点积归一化后的特征向量;S可以为特征输入转换层输出的词向量;∑mAttentionm表示将多线性注意力学习单元的多个节点对应的特征向量中每个特征向量看作qm(即(F*I+(1-F)*S));然后,将文本信息看作k,计算每个qm与k的相关性得分,最后,将qm相对于k的相关性得分进行加权求和,在加权求和过程中,通过对权重的分配,将较高的权重分配给对文本信息的学习起重要作用的特征,将较低的权重分配给与文本信息无关的特征,然后,通过加权实现对重要特征的关注,筛选出可以更好表征文本信息的多维度文本特征向量。
本说明书实施例中,在多线性注意力学习单元将文本特征矩阵多次与一维线性权重向量进行运算,可以大大减少计算量,同时可以学习到更多维度的特征信息,模型的识别准确率可以大大提升。
进一步的,结合图5所示,多线性特征学习层中的第一归一化相加处理单元可以用于将特征输入转换层输出的词向量和多线性注意力学习单元输出的多维度文本特征向量进行归一化和求和的处理。
进一步的,结合图5所示,多线性特征学习层中的门控制单元可以用于控制第一归一化相加处理单元的输出。
进一步的,结合图5所示,多线性特征学习层中的前向学习单元可以用于进一步控制输出的数据大小,具体的,前向学习单元可以包括但不限于卷积层和池化层。
进一步的,结合图5所示,多线性特征学习层中的第二归一化相加处理单元可以用于对前向学习单元输出的特征向量和第一归一化相加处理单元输出的特征向量进行归一化和求和的处理。
S205:获取所述文本信息中与所述意图信息匹配的关键词信息。
本说明书实施例中,如图7所示,当所述意图信息包括下单意图时,获取所述文本信息中与所述意图信息匹配的关键词信息可以包括:
S2051:对所述文本信息进行分词处理,得到文本信息中的分词词语。
本说明书实施例中,可以结合自然语言处理算法对文本信息进行分词处理,得到文本信息中的分词词语。
此外,需要说明的是,本说明书实施例中,分词词语中可以包括词语,还可以包括单个的字。
在一个具体的实施例中,例如文本信息为:买三斤草鱼,杀掉,刮鱼鳞;相应的,分词词语可以包括买、三斤、草鱼、杀掉、刮、鱼鳞。
S2053:基于预设词性备注库对所述分词词语进行词性分析,得到所述分词词语的词性。
本说明书实施例中,可以预先建立词性备注库,具体的,预先建立的词性备注库(预设词性备注库)可以包括具有词性备注的词语。
本说明书实施例中,词性可以指以词的特点作为划分词类型的依据。具体的,预设词性备注库中的词性备注可以包括但不限于名词、动词、量词、形容词、备注动词、备注名词、备注量词、备注形容词等。
在一个具体的实施例中,以上述的分词词语:买、三斤、草鱼、杀掉、刮、鱼鳞为例,买的词性为动词(动词可以用v表示),三斤的词性为量词(量词可以用m表示),草鱼的词性为名词(名词可以用n表示),杀掉的词性为备注动词(备注动词可以用r_v表示)、刮的词性为备注动词(备注动词可以用r_v表示)、鱼鳞的词性为备注名词(备注名词可以用r_n表示)。相应的,词性分析后的文本信息可以包括:买(v)三斤(m)草鱼(n),杀掉(r_v),刮(r_v)鱼鳞(r_n)。
S2055:基于所述分词词语的词性确定与所述意图信息匹配的关键词信息。
在实际应用中,不同的意图往往对应着不同的关键词信息,在一个具体的实施例中,假设意图信息为下单意图,相应的,下单意图的文本信息中往往或包括商品品牌(n)+商品形容词(adj)+商品名称(n)+数量(m)+单位(n)+备注(r)等具有固定词性的关键词。相应的,可以结合文本信息中分词词语的词性确定与意图信息对应的关键词具有相同词性的分词词语作为关键词信息。
在另一些具体的实施例中,当所述意图信息包括增减指定对象意图时,所述获取所述文本信息中与所述意图信息匹配的关键词信息可以包括:
1)确定所述文本信息中的增减关键词。
具体的,这里的增减关键词可以包括但不限于增加、再要、减少、去掉等增减用词。
2)获取与所述增减关键词相关联的对象关键词和数量关键词;
本说明书实施例中,所述对象关键词可以包括增减的对象,例如商品名等。所述数量关键词可以为增减的具体数量。
3)将所述增减关键词、所述对象关键词和所述数量关键词作为与增减指定对象意图匹配的关键词信息。
本说明书实施例中,通过对增减指定对象意图的识别,可以灵活应对用户下单过程中,对已选对象的调整,可以更好的提高用户体验。
另外,当意图信息为指示支付意图、指定支付工具意图、会话结束意图、备注意图、取消订单意图等时,可以直接获取与所述意图信息匹配的关键词信息。具体的,这里与意图信息匹配的关键词信息可以结合实际意图不同而不同,例如与指定支付工具意图的匹配的关键词信息可以为支付工具等,在此不再赘述。
S207:基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。
本说明书实施例中,如图8所示,当所述意图信息包括下单意图时,基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息可以包括:
2071:基于所述匹配的关键词信息生成与所述意图信息相匹配的文本短句。
在实际应用中,用户输入的文本信息往往包括多个短句,可以按照关键词信息在文本信息中的顺序,生成与所述意图信息相匹配的文本短句。
2073:对所述文本短句进行语义分析,得到所述文本短句的语义信息。
具体的,这里语义分析可以结合NLP(Natural Language Processing,自然语言处理)算法。
2075:将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。
在实际应用中,一些关键词信息可能可以与该关键词信息前面的关键词组成文本短句,也可以与该关键词信息后面的关键词信息组成文本短句;相应的,会导致文本短句存在歧义的情况。在一个具体的实施例中,文本信息为我买三斤草鱼每只草鱼在1斤左右。这里可以提取到与下单意图相匹配的关键词可以包括:“我、买、三斤、草鱼、每只、草鱼、1斤、左右”关键词信息;这里关键词信息中的“每只”可以与“我、买、三斤、草鱼”组成文本短句“我买三斤草鱼每只”,也可以与“草鱼、1斤、左右”组成文本短句“每只草鱼1斤左右”,相应的,这时就会导致一条鱼的重量在3斤还是1斤的语义歧义。相应的,本说明书实施例中,当文本短句的语义信息间存在语义歧义时,所述方法还可以包括:
1)获取所述存在语义歧义的文本短句中词语的位置权重和频率权重。
本说明书实施例中,文本短句中词语的位置权重可以表征文本短句中词语按照该文本短句来排列词语的频率。文本短句中词语的频率权重可以表征文本短句中词语一起出现的。
2)基于所述位置权重和频率权重分别对所述存在语义歧义的文本短句进行去歧义处理。
具体的,这里可以将存在语义歧义的文本短句对应的位置权重和频率权重相乘或者相加,将相加或相乘后数值较大的文本短句作为最终的文本语句(去歧义处理后的文本短句的语义信息),相应的,将相加或相乘后数值较小的文本短句进行删除。
相应的,所述将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息包括:
将去歧义处理后的文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。
在另一些实施例中,当所述意图信息包括备注意图时,所述基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息可以包括:
1)确定所述匹配的关键词信息中的对象关键词。
具体的,在一些购物场景中,用户常常会对购买的商品进行备注,例如鱼杀掉刮鳞。相应的,这里的对象关键词可以为鱼。
2)基于预设对象备注图谱确定与所述对象关键词相匹配的对象备注信息。
本说明书实施例中,可以结合实际应用需求建立大量对象(对象关键词,例如商品名)和该对象的常用对象备注(对象备注信息)的映射关系。具体的,这里的对象备注信息可以为与对象经常一起组合出现的备注用词。
3)基于所述对象备注信息确定与所述备注意图相匹配的语义信息。
本说明书实施例中,通过预先建立的包括对象关键词和对象备注信息的映射关系可以更准确的识别出备注信息的语义。
另外,当意图信息为指示支付意图、指定支付工具意图、会话结束意图、取消订单意图、增减指定对象意图等时,可以结合获取与所述意图信息匹配的关键词信息进行语义分析,进而识别出相应的语义。
由以上本说明书实施例提供的技术方案可见,本说明书实施例中意图识别模型中设置两层,以一维线性权重向量为学习权重数据(权重矩阵)的多线性特征学习层,可以大大降低模型学习过程中的计算复杂度,且可以学习到多维度的文本特征信息,提高模型的识别准确率。在基于该意图识别模型进行文本信息的意图识别时,可以快速准确地识别出文本信息的意图信息;然后,基于意图信息进行语义的识别,可以大大提高语义识别的准确率。在实际应用中,可以轻松应对语音助手等人机实时交互场景,对响应速度与准确率的高要求。
在另一些实施例中,在还可以对文本信息进行纠错处理,以提高对用户语义意图的识别准确率。具体的,纠错处理可以包括但不限于结合文本信息中分词词语的词性和上下文语义进行纠错。
在一个具体的实施例中,例如用户输入了“明天给我送过来,明天白米醋2 瓶”进行纠错处理,可以结合上下文语义和词性,实现对用户输入的“明天白米醋2瓶”进行纠错,得到更符合语义的“民田白米醋2瓶”(民田可以为品牌)。
在另一些实施例中,如图9所示,所述方法还可以包括:
S209:执行与所述意图信息相匹配的语义信息所对应的操作。
以下结合图10所示的购物场景介绍本申请语义意图识别方法的具体应用。
从图10可见,用户输入的文本信息为:我要订三斤大白菜;基于本申请的语义意图识别方法,可以识别出用户的语义意图为下单大白菜,相应的,基于下单大白菜的语义意图可以执行向用户反馈大白菜购买的操作界面。进一步的,在用户基于该操作界面将三斤大白菜加入购物车后,可以向用户反馈:三斤大白菜已经加入购物车的提示信息。进一步的,还可以主动向用户发送:需要特殊备注请说出或输入哦,以引导用户进行备注的输入。当用户输入:白菜要切丝;基于本申请的语义意图识别方法,可以识别出用户的语义意图为将刚刚加入购物车的大白菜进行切丝的备注;相应的,可以向用户反馈:白菜已经备注切丝的提示信息。
进一步的,在用户还未结算的情况下,还可以主动向用户发送:请问您还需要买什么吗?相应的,当用户输入:我要土豆10斤,切片处理好给我;基于本申请的语义意图识别方法,可以识别出用户的语义意图为下单土豆和备注土豆切片;相应的,可以执行向用户反馈土豆购买的操作界面,同时,操作界面可以备注好切片处理。进一步的,在用户基于该操作界面将10斤土豆加入购物车后,可以向用户反馈:10斤土豆已经加入购物车,且已备注切片的提示信息。
由以上购物场景的示例可见,基于本申请实施例提供的语义意图识别方法可以准确快速的对用户输入的文本信息进行一种或多种语义意图的识别,进而可以快速的响应用户的需求,提高用户体验。
本申请实施例还提供了一种语义意图识别装置,如图11所示,所述装置包括:
文本信息获取模块1110,可以用于获取文本信息;
意图识别处理模块1120,可以用于语义将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;
关键词信息获取模块1130,可以用于获取所述文本信息中与所述意图信息匹配的关键词信息;
语义信息确定模块1140,可以用于基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。
其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。
在一些实施例中,所述多线性特征学习层包括:
多线性注意力学习单元、第一归一化相加处理单元、门控制单元、前向学习单元和第二归一化相加处理单元;
其中,所述多线性注意力学习单元用于基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习。
在一些实施例中,所述多线性注意力学习单元包括:
点积归一化处理单元,用于对所述特征输入转换层输出的词向量与第一一维线性权重向量进行点积归一化处理;
线性变换处理单元,用于基于第二一维线性权重向量和第三一维线性权重向量对点积归一化处理后的特征向量和所述特征输入转换层输出的词向量进行线性变换处理;
阈值映射处理单元,用于基于预设阈值函数对所述线性变化处理后的特征向量进行阈值映射处理;
多维度文本特征向量确定单元,用于基于阈值映射处理后的特征向量、点积归一化处理后的特征向量和所述特征输入转换层输出的词向量确定所述文本信息的多维度文本特征向量。
在一些实施例中,所述意图识别模型包括采用下述单元确定:
标注文本信息获取单元,用于获取标注有意图标识的文本信息;
训练单元,用于基于所述标注有意图标识的文本信息对预设深度学习模型进行训练得到所述意图识别模型;
其中,所述意图标识至少包括下述之一:下单意图标识、指示支付意图标识、指定支付工具意图标识、会话结束意图标识、备注意图标识、取消订单意图标识、增减指定对象意图标识。
在一些实施例中,所述当所述意图信息包括下单意图时,所述关键词信息获取模块1120可以包括:
分词处理单元,用于对所述文本信息进行分词处理,得到文本信息中的分词词语;
词性分析单元,用于基于预设词性备注库对所述分词词语进行词性分析,得到所述分词词语的词性;
第一关键词信息确定单元,用于基于所述分词词语的词性确定与所述意图信息匹配的关键词信息;
其中,所述预设词性备注库包括具有词性备注的词语。
在一些实施例中,当所述意图信息包括下单意图时,所述语义信息确定模块1140包括:
文本短句生成单元,用于基于所述匹配的关键词信息生成与所述意图信息相匹配的文本短句;
语义分析单元,用于对所述文本短句进行语义分析,得到所述文本短句的语义信息;
第一语义信息确定单元,用于将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。
在一些实施例中,当所述文本短句的语义信息间存在语义歧义时,所述语义信息确定模块1140还包括:
第一数据获取单元,用于获取所述存在语义歧义的文本短句中词语的位置权重和频率权重;
去歧义处理单元,用于基于所述位置权重和频率权重分别对所述存在语义歧义的文本短句进行去歧义处理;
相应的,所述第一语义信息确定单元具体用于:将去歧义处理后的文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。
在一些实施例中,当所述意图信息包括备注意图时,所述语义信息确定模块1140可以包括:
对象关键词确定单元,用于确定所述匹配的关键词信息中的对象关键词;
对象备注信息确定单元,用于基于预设对象备注图谱确定与所述对象关键词相匹配的对象备注信息;
第二语义信息确定单元,用于基于所述对象备注信息确定与所述备注意图相匹配的语义信息;
其中,所述预设对象备注图谱包括对象关键词和对象备注信息的映射关系。
在一些实施例中,当所述意图信息包括增减指定对象意图时,所述关键词信息获取模块1130可以包括:
增减关键词确定单元,用于确定所述文本信息中的增减关键词;
第二数据获取单元,用于获取与所述增减关键词相关联的对象关键词和数量关键词;
第二关键词信息确定单元,用于将所述增减关键词、所述对象关键词和所述数量关键词作为与增减指定对象意图匹配的关键词信息。
在一些实施例中,所述文本信息获取模块1110至少包括下述单元之一:
语音识别单元,用于基于对获取的语音信息进行语音识别,得到所述文本信息;
或,
图像识别单元,用于基于对获取的图片信息进行图像识别,得到所述文本信息。
在一些实施例中,所述装置还包括:
语义意图执行模块,可以用于执行与所述意图信息相匹配的语义信息所对应的操作。
所述的装置实施例中的装置与方法实施例基于同样地申请构思。
本申请实施例提供了一种语义意图识别设备,该语义意图识别设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的语义意图识别方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端(客户端)、计算机终端 (客户端)、服务器或者类似的运算装置中执行。以运行在客户端上为例,图12 是本申请实施例提供的一种执行语义意图识别方法的设备的硬件结构框图。如图12所示,
所述客户端可以包括RF(Radio Frequency,射频)电路1210、包括有一个或一个以上计算机可读存储介质的存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、WiFi(wireless fidelity,无线保真)模块1270、包括有一个或者一个以上处理核心的处理器1280、以及电源1290等部件。本领域技术人员可以理解,图12中示出的客户端结构并不构成对客户端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路1210可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器1280处理;另外,将涉及上行的数据发送给基站。通常,RF电路1210包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路810还可以通过无线通信与网络和其他客户端通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobilecommunication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(Code Division Multiple Access,码分多址)、 WCDMA(Wideband CodeDivision Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service,短消息服务)等。
存储器1220可用于存储软件程序以及模块,处理器1280通过运行存储在存储器1220的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述客户端的使用所创建的数据等。此外,存储器1220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1220还可以包括存储器控制器,以提供处理器880和输入单元1230对存储器1220的访问。
输入单元1230可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1230可包括触敏表面1231以及其他输入设备1232。触敏表面1231,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1231上或在触敏表面 1231附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面1231可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1280,并能接收处理器1280发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面1231。除了触敏表面1231,输入单元1230还可以包括其他输入设备1232。具体地,其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及所述客户端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1240可包括显示面板1241,可选的,可以采用LCD(Liquid CrystalDisplay,液晶显示器)、OLED(Organic Light-Emitting Diode, 有机发光二极管)等形式来配置显示面板1241。进一步的,触敏表面1231可覆盖显示面板1241,当触敏表面1231检测到在其上或附近的触摸操作后,传送给处理器1280以确定触摸事件的类型,随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。其中,触敏表面1231与显示面板1241 可以两个独立的部件来实现输入和输入功能,但是在某些实施例中,也可以将触敏表面1231与显示面板1241集成而实现输入和输出功能。
所述客户端还可包括至少一种传感器1250,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度,接近传感器可在所述客户端移动到耳边时,关闭显示面板1241和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别客户端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击) 等;至于所述客户端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1260、扬声器1261,传声器1262可提供用户与所述客户端之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号,传输到扬声器1261,由扬声器1261转换为声音信号输出;另一方面,传声器1262将收集的声音信号转换为电信号,由音频电路1260接收后转换为音频数据,再将音频数据输出处理器1280处理后,经RF电路1210以发送给比如另一客户端,或者将音频数据输出至存储器1220以便进一步处理。音频电路1260还可能包括耳塞插孔,以提供外设耳机与所述客户端的通信。
WiFi属于短距离无线传输技术,所述客户端通过WiFi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1270,但是可以理解的是,其并不属于所述客户端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1280是所述客户端的控制中心,利用各种接口和线路连接整个客户端的各个部分,通过运行或执行存储在存储器1220内的软件程序和/或模块,以及调用存储在存储器1220内的数据,执行所述客户端的各种功能和处理数据,从而对客户端进行整体监控。可选的,处理器1280可包括一个或多个处理核心;优选的,处理器1280可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1280中。
所述客户端还包括给各个部件供电的电源1290(比如电池),优选的,电源可以通过电源管理系统与处理器1280逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1290还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,所述客户端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,客户端的显示单元是触摸屏显示器,客户端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行本发明中方法实施例中的指令。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于设备之中以保存用于实现方法实施例中一种语义意图识别方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的语义意图识别方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器 (RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的语义意图识别方法、装置、设备或存储介质的实施例可见,本申请在意图识别模型中设置两层,以一维线性权重向量为学习权重数据(权重矩阵)的多线性特征学习层,可以大大降低模型学习过程中的计算复杂度,且可以学习到多维度的文本特征信息,提高模型的识别准确率。在基于该意图识别模型进行文本信息的意图识别时,可以快速准确地识别出文本信息的意图信息;然后,基于意图信息进行语义的识别,可以大大提高语义识别的准确率。在实际应用中,可以轻松应对语音助手等人机实时交互场景,对响应速度与准确率的高要求。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种语义意图识别方法,其特征在于,所述方法包括:
获取文本信息;
将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;
获取所述文本信息中与所述意图信息匹配的关键词信息;
基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息;
其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。
2.根据权利要求1所述的方法,其特征在于,所述多线性特征学习层包括:
多线性注意力学习单元、第一归一化相加处理单元、门控制单元、前向学习单元和第二归一化相加处理单元;
其中,所述多线性注意力学习单元用于基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习。
3.根据权利要求1所述的方法,其特征在于,所述基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习包括:
对所述特征输入转换层输出的词向量与第一一维线性权重向量进行点积归一化处理;
基于第二一维线性权重向量和第三一维线性权重向量对点积归一化处理后的特征向量和所述特征输入转换层输出的词向量进行线性变换处理;
基于预设阈值函数对所述线性变化处理后的特征向量进行阈值映射处理;
基于阈值映射处理后的特征向量、点积归一化处理后的特征向量和所述特征输入转换层输出的词向量确定所述文本信息的多维度文本特征向量。
4.根据权利要求1所述的方法,其特征在于,所述意图识别模型包括采用下述方式确定:
获取标注有意图标识的文本信息;
基于所述标注有意图标识的文本信息对预设深度学习模型进行训练得到所述意图识别模型;
其中,所述意图标识至少包括下述之一:下单意图标识、指示支付意图标识、指定支付工具意图标识、会话结束意图标识、备注意图标识、取消订单意图标识、增减指定对象意图标识。
5.根据权利要求1所述的方法,其特征在于,当所述意图信息包括下单意图时,所述获取所述文本信息中与所述意图信息匹配的关键词信息包括:
对所述文本信息进行分词处理,得到文本信息中的分词词语;
基于预设词性备注库对所述分词词语进行词性分析,得到所述分词词语的词性;
基于所述分词词语的词性确定与所述意图信息匹配的关键词信息;
其中,所述预设词性备注库包括具有词性备注的词语。
6.根据权利要求1所述的方法,其特征在于,当所述意图信息包括下单意图时,所述基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息包括:
基于所述匹配的关键词信息生成与所述意图信息相匹配的文本短句;
对所述文本短句进行语义分析,得到所述文本短句的语义信息;
将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。
7.根据权利要求6所述的方法,其特征在于,当所述文本短句的语义信息间存在语义歧义时,所述方法还包括:
获取所述存在语义歧义的文本短句中词语的位置权重和频率权重;
基于所述位置权重和频率权重分别对所述存在语义歧义的文本短句进行去歧义处理;
相应的,所述将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息包括:
将去歧义处理后的文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。
8.根据权利要求1所述的方法,其特征在于,当所述意图信息包括备注意图时,所述基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息包括:
确定所述匹配的关键词信息中的对象关键词;
基于预设对象备注图谱确定与所述对象关键词相匹配的对象备注信息;
基于所述对象备注信息确定与所述备注意图相匹配的语义信息;
其中,所述预设对象备注图谱包括对象关键词和对象备注信息的映射关系。
9.根据权利要求1所述的方法,其特征在于,当所述意图信息包括增减指定对象意图时,所述获取所述文本信息中与所述意图信息匹配的关键词信息包括:
确定所述文本信息中的增减关键词;
获取与所述增减关键词相关联的对象关键词和数量关键词;
将所述增减关键词、所述对象关键词和所述数量关键词作为与增减指定对象意图匹配的关键词信息。
10.根据权利要求1所述的方法,其特征在于,所述获取文本信息至少包括采用下述一种方式:
基于对获取的语音信息进行语音识别,得到所述文本信息;
或,
基于对获取的图片信息进行图像识别,得到所述文本信息。
11.根据权利要求1至10任一所述的方法,其特征在于,所述方法还包括:
执行与所述意图信息相匹配的语义信息所对应的操作。
12.一种语义意图识别装置,其特征在于,所述装置包括:
文本信息获取模块,用于获取文本信息;
意图识别处理模块,用于语义将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;
关键词信息获取模块,用于获取所述文本信息中与所述意图信息匹配的关键词信息;
语义信息确定模块,用于基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息;
其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。
13.一种语义意图识别设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的语义意图识别方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的语义意图识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910509538.8A CN110334344B (zh) | 2019-06-13 | 2019-06-13 | 一种语义意图识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910509538.8A CN110334344B (zh) | 2019-06-13 | 2019-06-13 | 一种语义意图识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110334344A true CN110334344A (zh) | 2019-10-15 |
CN110334344B CN110334344B (zh) | 2024-05-14 |
Family
ID=68140660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910509538.8A Active CN110334344B (zh) | 2019-06-13 | 2019-06-13 | 一种语义意图识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110334344B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
CN111275780A (zh) * | 2020-01-09 | 2020-06-12 | 北京搜狐新媒体信息技术有限公司 | 人物图像的生成方法及装置 |
CN111400340A (zh) * | 2020-03-12 | 2020-07-10 | 杭州城市大数据运营有限公司 | 一种自然语言处理方法、装置、计算机设备和存储介质 |
CN111611801A (zh) * | 2020-06-02 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 一种识别文本地域属性的方法、装置、服务器及存储介质 |
CN111723816A (zh) * | 2020-06-28 | 2020-09-29 | 北京联想软件有限公司 | 一种教学笔记的获取方法及电子设备 |
CN111767721A (zh) * | 2020-03-26 | 2020-10-13 | 北京沃东天骏信息技术有限公司 | 信息处理方法、装置及设备 |
CN111783903A (zh) * | 2020-08-05 | 2020-10-16 | 腾讯科技(深圳)有限公司 | 文本处理方法、文本模型的处理方法及装置、计算机设备 |
CN111949869A (zh) * | 2020-08-11 | 2020-11-17 | 杭州鑫通信息技术有限公司 | 一种基于人工智能的内容信息推荐方法及系统 |
CN112632991A (zh) * | 2020-12-30 | 2021-04-09 | 北京久其软件股份有限公司 | 一种中文语言的特征信息提取方法及装置 |
CN112632962A (zh) * | 2020-05-20 | 2021-04-09 | 华为技术有限公司 | 人机交互系统中实现自然语言理解方法和装置 |
CN112989839A (zh) * | 2019-12-18 | 2021-06-18 | 中国科学院声学研究所 | 一种基于关键词特征嵌入语言模型的意图识别方法及系统 |
WO2021232589A1 (zh) * | 2020-05-21 | 2021-11-25 | 平安国际智慧城市科技股份有限公司 | 基于注意力机制的意图识别方法、装置、设备及存储介质 |
CN114238574A (zh) * | 2021-12-15 | 2022-03-25 | 平安科技(深圳)有限公司 | 基于人工智能的意图识别方法及其相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160188574A1 (en) * | 2014-12-25 | 2016-06-30 | Clarion Co., Ltd. | Intention estimation equipment and intention estimation system |
CN107818781A (zh) * | 2017-09-11 | 2018-03-20 | 远光软件股份有限公司 | 智能交互方法、设备及存储介质 |
CN108268617A (zh) * | 2018-01-05 | 2018-07-10 | 阿里巴巴集团控股有限公司 | 用户意图确定方法及装置 |
CN108920622A (zh) * | 2018-06-29 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种意图识别的训练方法、训练装置和识别装置 |
CN109840276A (zh) * | 2019-02-12 | 2019-06-04 | 北京健康有益科技有限公司 | 基于文本意图识别的智能对话方法、装置和存储介质 |
-
2019
- 2019-06-13 CN CN201910509538.8A patent/CN110334344B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160188574A1 (en) * | 2014-12-25 | 2016-06-30 | Clarion Co., Ltd. | Intention estimation equipment and intention estimation system |
CN107818781A (zh) * | 2017-09-11 | 2018-03-20 | 远光软件股份有限公司 | 智能交互方法、设备及存储介质 |
CN108268617A (zh) * | 2018-01-05 | 2018-07-10 | 阿里巴巴集团控股有限公司 | 用户意图确定方法及装置 |
CN108920622A (zh) * | 2018-06-29 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种意图识别的训练方法、训练装置和识别装置 |
CN109840276A (zh) * | 2019-02-12 | 2019-06-04 | 北京健康有益科技有限公司 | 基于文本意图识别的智能对话方法、装置和存储介质 |
Non-Patent Citations (1)
Title |
---|
陈世亮;李战怀;袁柳;: "一种基于多层语义相似性度量的图像检索方法", 西北工业大学学报, no. 05, pages 65 - 68 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046907B (zh) * | 2019-11-02 | 2023-10-27 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
CN112989839A (zh) * | 2019-12-18 | 2021-06-18 | 中国科学院声学研究所 | 一种基于关键词特征嵌入语言模型的意图识别方法及系统 |
CN111275780A (zh) * | 2020-01-09 | 2020-06-12 | 北京搜狐新媒体信息技术有限公司 | 人物图像的生成方法及装置 |
CN111275780B (zh) * | 2020-01-09 | 2023-10-17 | 北京搜狐新媒体信息技术有限公司 | 人物图像的生成方法及装置 |
CN111400340A (zh) * | 2020-03-12 | 2020-07-10 | 杭州城市大数据运营有限公司 | 一种自然语言处理方法、装置、计算机设备和存储介质 |
CN111400340B (zh) * | 2020-03-12 | 2024-01-09 | 杭州城市大数据运营有限公司 | 一种自然语言处理方法、装置、计算机设备和存储介质 |
CN111767721A (zh) * | 2020-03-26 | 2020-10-13 | 北京沃东天骏信息技术有限公司 | 信息处理方法、装置及设备 |
CN112632962A (zh) * | 2020-05-20 | 2021-04-09 | 华为技术有限公司 | 人机交互系统中实现自然语言理解方法和装置 |
CN112632962B (zh) * | 2020-05-20 | 2023-11-17 | 华为技术有限公司 | 人机交互系统中实现自然语言理解方法和装置 |
WO2021232589A1 (zh) * | 2020-05-21 | 2021-11-25 | 平安国际智慧城市科技股份有限公司 | 基于注意力机制的意图识别方法、装置、设备及存储介质 |
CN111611801B (zh) * | 2020-06-02 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 一种识别文本地域属性的方法、装置、服务器及存储介质 |
CN111611801A (zh) * | 2020-06-02 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 一种识别文本地域属性的方法、装置、服务器及存储介质 |
CN111723816B (zh) * | 2020-06-28 | 2023-10-27 | 北京联想软件有限公司 | 一种教学笔记的获取方法及电子设备 |
CN111723816A (zh) * | 2020-06-28 | 2020-09-29 | 北京联想软件有限公司 | 一种教学笔记的获取方法及电子设备 |
CN111783903A (zh) * | 2020-08-05 | 2020-10-16 | 腾讯科技(深圳)有限公司 | 文本处理方法、文本模型的处理方法及装置、计算机设备 |
CN111783903B (zh) * | 2020-08-05 | 2023-11-28 | 腾讯科技(深圳)有限公司 | 文本处理方法、文本模型的处理方法及装置、计算机设备 |
CN111949869A (zh) * | 2020-08-11 | 2020-11-17 | 杭州鑫通信息技术有限公司 | 一种基于人工智能的内容信息推荐方法及系统 |
CN112632991A (zh) * | 2020-12-30 | 2021-04-09 | 北京久其软件股份有限公司 | 一种中文语言的特征信息提取方法及装置 |
CN112632991B (zh) * | 2020-12-30 | 2024-05-14 | 北京久其软件股份有限公司 | 一种中文语言的特征信息提取方法及装置 |
CN114238574A (zh) * | 2021-12-15 | 2022-03-25 | 平安科技(深圳)有限公司 | 基于人工智能的意图识别方法及其相关设备 |
CN114238574B (zh) * | 2021-12-15 | 2024-05-10 | 平安科技(深圳)有限公司 | 基于人工智能的意图识别方法及其相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110334344B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110334344A (zh) | 一种语义意图识别方法、装置、设备及存储介质 | |
CN107943860B (zh) | 模型的训练方法、文本意图的识别方法及装置 | |
CN108009521B (zh) | 人脸图像匹配方法、装置、终端及存储介质 | |
CN107301213A (zh) | 智能问答方法及装置 | |
CN109033156B (zh) | 一种信息处理方法、装置及终端 | |
CN108304388A (zh) | 机器翻译方法及装置 | |
CN111931501B (zh) | 一种基于人工智能的文本挖掘方法、相关装置及设备 | |
CN110209810A (zh) | 相似文本识别方法以及装置 | |
CN110704661A (zh) | 一种图像分类方法和装置 | |
CN111368525A (zh) | 信息搜索方法、装置、设备及存储介质 | |
CN108345612A (zh) | 一种问题处理方法和装置、一种用于问题处理的装置 | |
CN114357278B (zh) | 一种话题推荐方法、装置及设备 | |
CN110162600A (zh) | 一种信息处理的方法、会话响应的方法及装置 | |
CN113596601A (zh) | 一种视频画面的定位方法、相关装置、设备及存储介质 | |
CN107704514A (zh) | 一种照片管理方法、装置及计算机可读存储介质 | |
CN112749558A (zh) | 一种目标内容获取方法、装置、计算机设备和存储介质 | |
CN110196833A (zh) | 应用程序的搜索方法、装置、终端及存储介质 | |
CN112995757B (zh) | 视频剪裁方法及装置 | |
CN112862021B (zh) | 一种内容标注方法和相关装置 | |
CN116975295B (zh) | 一种文本分类方法、装置及相关产品 | |
CN113822038A (zh) | 一种摘要生成方法和相关装置 | |
WO2023246558A1 (zh) | 语义理解方法、装置、介质及设备 | |
CN112328783A (zh) | 一种摘要确定方法和相关装置 | |
CN111553163A (zh) | 文本相关度的确定方法、装置、存储介质及电子设备 | |
CN111611369A (zh) | 基于人工智能的交互方法和相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |