CN111046674B - 语义理解方法、装置、电子设备和存储介质 - Google Patents
语义理解方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111046674B CN111046674B CN201911330205.5A CN201911330205A CN111046674B CN 111046674 B CN111046674 B CN 111046674B CN 201911330205 A CN201911330205 A CN 201911330205A CN 111046674 B CN111046674 B CN 111046674B
- Authority
- CN
- China
- Prior art keywords
- slot
- text
- layer
- intention
- understanding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 198
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000003993 interaction Effects 0.000 claims description 115
- 239000013598 vector Substances 0.000 claims description 53
- 238000004590 computer program Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明实施例提供一种语义理解方法、装置、电子设备和存储介质，其中方法包括：确定待理解文本；将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解。本发明实施例提供的方法、装置、电子设备和存储介质，通过语义描述文本进行语义理解，能够充分利用语义描述文本中携带的与语义理解相关的丰富信息，从而提高针对于多样化的语言表达形式下的语义理解的准确性。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种语义理解方法、装置、电子设备和存储介质。
背景技术
随着人工智能技术的迅猛发展，以智能语音交互为核心的人机交互系统的应用越来越广泛，例如，智能家居、智能客服、聊天机器人、早教机器人等。要实现人机交互，机器需要对用户输入的语料进行语义理解。
语义理解是指，机器依据用户给出的自然语言，理解出用户的意图，进一步的，还可以做出相应的操作。然而，由于人类语言具有多样性和复杂性，针对于一种意图的语言表达可能有多种形式。现有的语义理解技术尚无法准确理解不同语言表达形式下的语义。
发明内容
本发明实施例提供一种语义理解方法、装置、电子设备和存储介质，用以解决现有的语义理解准确度低的问题。
第一方面，本发明实施例提供一种语义理解方法，包括：
确定待理解文本；
将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；
其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解。
优选地，所述语义描述文本包括意图描述文本和/或槽描述文本。
优选地，所述语义理解模型包括文本特征提取层，以及意图理解层和/或槽抽取层；
其中，所述意图理解层用于基于对所述意图描述文本进行特征提取得到的意图表示特征进行意图理解；
所述槽抽取层用于基于对所述槽描述文本进行特征提取得到的槽表示特征进行槽抽取。
优选地，所述文本特征提取层包括意图文本特征提取层和/或槽文本特征提取层；
其中，所述意图文本特征提取层和所述意图理解层构成意图理解模型，所述意图理解模型是基于所述样本文本、所述样本语义理解结果中的样本意图理解结果，以及所述意图描述文本训练得到；
所述槽文本特征提取层和所述槽抽取层构成槽抽取模型，所述槽抽取模型是基于所述样本文本、所述样本语义理解结果中的样本槽抽取结果，以及所述槽描述文本训练得到。
优选地，所述将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果，具体包括：
将所述待理解文本输入至所述文本特征提取层中，得到所述文本特征提取层输出的所述待理解文本的上下文特征；
将所述上下文特征输入至所述语义理解模型的意图理解层中，得到所述意图理解层输出的意图理解结果；
将所述上下文特征输入至所述槽抽取层中，得到所述槽抽取层输出的槽抽取结果。
优选地，所述将所述上下文特征输入至所述意图理解层中，得到所述意图理解层输出的意图理解结果，具体包括：
将所述意图表示特征与所述上下文特征输入至所述意图理解层的意图交互注意力层中，得到所述意图交互注意力层输出的意图交互注意力特征；
将所述意图交互注意力特征输入至所述意图理解层的意图分类层中，得到所述意图分类层输出的意图理解结果。
优选地，所述将所述上下文特征输入至所述槽抽取层中，得到所述槽抽取层输出的槽抽取结果，具体包括：
将所述槽表示特征与所述上下文特征输入至所述槽抽取层的槽交互注意力层中，得到所述槽交互注意力层输出的槽交互注意力特征；
将所述槽交互注意力特征输入至所述槽抽取层的槽分类层中，得到所述槽分类层输出的槽抽取结果。
优选地，所述将所述槽表示特征与所述上下文特征输入至所槽抽取层的槽交互注意力层中，得到所述槽交互注意力层输出的槽交互注意力特征，具体包括：
将每一槽类别对应的槽表示特征，与所述上下文特征中每个字对应的上下文向量进行注意力交互，得到每一槽类别与每个字的注意力权重；
基于每一槽类别与每个字的注意力权重，确定每个字对应的槽交互注意力向量；
基于每一槽类别与每个字的注意力权重，确定每个字对应的槽类别。
优选地，所述基于每一槽类别与每个字的注意力权重，确定每个字对应的槽类别，具体包括：
基于任一槽类别与每个字的注意力权重，确定所述任一槽类别对应的累计权重；
基于每一槽类别对应的累计权重，确定所述待理解文本中包含的文本槽类别；
基于每一文本槽类别与每个字的注意力权重，确定每个字对应的槽类别。
优选地，所述将所述槽交互注意力特征输入至所述槽抽取层的槽分类层中，得到所述槽分类层输出的槽抽取结果，具体包括：
将每个字对应的槽交互注意力向量输入至所述槽分类层的槽位置分类层中，得到每个字对应的槽位置标记；
基于每个字对应的槽位置标记，以及每个字对应的槽类别，确定所述槽抽取结果。
第二方面，本发明实施例提供一种语义理解装置，包括：
文本确定单元，用于确定待理解文本；
语义理解单元，用于将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；
其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种语义理解方法、装置、电子设备和存储介质，通过语义描述文本进行语义理解，能够充分利用语义描述文本中携带的与语义理解相关的丰富信息，从而提高针对于多样化的语言表达形式下的语义理解的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的语义理解方法的流程示意图；
图2为本发明实施例提供的语义理解模型的运行流程示意图；
图3为本发明实施例提供的意图理解方法的流程示意图；
图4为本发明实施例提供的槽抽取方法的流程示意图；
图5为本发明实施例提供的语义理解模型的结构示意图；
图6为本发明实施例提供的槽交互注意力层的运行流程示意图；
图7为本发明实施例提供的语义理解装置的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着人工智能技术的不断突破和各种智能终端设备的日益普及，人机交互在人们日常工作和生活中出现的频率越来越高。语音交互作为最便捷的交互方式之一，已经成为人机交互的重要手段。人机交互对话系统被应用在各种智能终端设备中，如：电视、手机、车载、智能家居以及机器人等。而在人机交互对话系统中如何理解用户的意图是最为关键的技术。
由于人类语言具有多样性、复杂性，针对于一种意图的语言表达可能有多种形式。现有的语义理解技术受限于训练语料，无法准确理解不同语言表达形式下的语义，导致语义理解的准确度欠佳。针对这一问题，本发明实施例提供了一种语义理解方法。图1为本发明实施例提供的语义理解方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待理解文本。
具体地，待理解文本即需要进行语义理解的文本，待理解文本可以是人机交互过程时用户直接输入的交互文本，也可以是对用户输入的语音进行语音识别得到的。例如，用户正在使用手机语音助手，在手机语音助手说出“播放张学友的吻别”，此处“播放张学友的吻别”即为待理解文本。
步骤120，将待理解文本输入至语义理解模型中，得到语义理解模型输出的语义理解结果；其中，语义理解模型是基于样本文本、样本文本对应的样本语义理解结果以及语义描述文本训练得到的；语义理解模型用于基于对语义描述文本进行特征提取得到的表示特征，对待理解文本进行语义理解。
具体地，语义描述文本为预先设定的针对于语义理解的相关元素的自然语言描述文本，此处语义理解的相关元素可以是领域、意图或者槽等，语义描述文本可以是针对于领域类别、意图类别或者是槽类别的自然描述文本，例如在音乐领域下，意图类别可以包括查找音乐、播放音乐、暂停音乐等，槽类别可以包括歌手、歌曲、专辑等，针对于意图类别“播放音乐”的语义描述文本可以是“播放音乐，可以根据歌手来播放该歌手对应的歌曲，也可以直接根据歌曲名称来播放歌曲”。
相比针对于语义理解的相关元素本身，语义描述文本具备了针对相关元素的丰富信息，更能够体现在不同表述方式下的相关元素的特征。例如“播吻别”、“放张学友的歌”的语言表达形式并不相同，但是所对应的意图类别均为“播放音乐”，基于语义描述文本即可实现不同语言表达形式下的语义的精细划分。对语音描述文本进行特征提取，即可得到语义描述文本所对应的表示特征，并将语义描述文本所对应的表示特征应用于语义理解模型，有助于语义理解模型更加精细地学习语义理解的相关元素的特征，从而更准确地针对待理解文本进行语义理解，并输出语义理解结果。在执行步骤120之前，还可以预先训练得到语义理解模型，具体可以通过如下方式训练的得到语义理解模型：首先，收集大量样本文本，并通过人工标注得到样本文本的样本语义理解结果。与此同时，确定语义描述文本。随即，将样本文本及其样本语义理解结果，以及语义描述文本输入至初始模型进行训练，从而得到语义理解模型。
本发明实施例提供的方法，通过语义描述文本进行语义理解，能够充分利用语义描述文本中携带的与语义理解相关的丰富信息，从而提高针对于多样化的语言表达形式下的语义理解的准确性。
基于上述实施例，该方法中，语义描述文本包括意图描述文本和/或槽描述文本。
具体地，语义理解通常由两部分组成，其一是意图理解，判断出用户的意图，其二是槽抽取(slot filling)，从待理解文本中提取出意图相关的实体。
对应地，本发明实施例中的语义描述文本也可以包括意图描述文本和/或槽描述文本，其中意图描述文本为预先设定的针对于意图类别的自然语言描述文本，语义理解模型可以基于意图描述文本对待理解文本进行意图理解；槽描述文本为预先设定的针对于槽类别的自然语言描述文本，语义理解模型可以基于槽描述文本对待理解文本进行槽抽取。
语义描述文本可以仅包含供语义理解模型进行意图理解的意图描述文本，也可以仅包含供语义理解模型进行槽抽取的槽描述文本，还可以同时包含意图描述文本和槽描述文本，以供语义理解模型结合上述两者进行意图理解和槽抽取，本发明实施例对此不作具体限定。
基于上述任一实施例，语义理解模型包括文本特征提取层，以及意图理解层和/或槽抽取层；其中，意图理解层用于基于对意图描述文本进行特征提取得到的意图表示特征进行意图理解；槽抽取层用于基于对槽描述文本进行特征提取得到的槽表示特征进行槽抽取。
具体地，语义理解模型中，意图理解和槽抽取分别由意图理解层和槽抽取层实现。意图理解和槽抽取可以共用一个文本特征提取层，通过共用文本特征提取层实现意图理解和槽抽取之间的信息共享，从而提高语义理解的准确性。在此之前，可以针对意图理解和槽抽取两个任务进行联合训练，即将文本特征提取层、意图理解层和槽抽取层作为一个模型整体进行训练。
基于上述任一实施例，文本特征提取层包括意图文本特征提取层和/或槽文本特征提取层；其中，意图文本特征提取层和意图理解层构成意图理解模型，意图理解模型是基于样本文本、样本语义理解结果中的样本意图理解结果，以及意图描述文本训练得到；槽文本特征提取层和槽抽取层构成槽抽取模型，槽抽取模型是基于样本文本、样本语义理解结果中的样本槽抽取结果，以及槽描述文本训练得到。
具体地，区别于上述实施例中，意图理解和槽抽取共享一个文本特征提取层，本发明实施例中的意图理解和槽抽取不再共享文本特征提取层，而是在各自构建有对应的文本特征提取层，即意图文本特征提取层和槽文本特征提取层。
由此得到的语义理解模型可以由两个相互独立的模型构成，其中一个为意图理解模型，用于基于意图描述文本，对待理解文本进行意图理解，并输出意图理解结果，另一个为槽抽取模型，用于基于槽描述文本，对待理解文本进行槽抽取，并输出槽抽取结果。
基于上述任一实施例，图2为本发明实施例提供的语义理解模型的运行流程示意图，如图2所示，步骤120具体包括：
步骤121，将待理解文本输入至文本特征提取层中，得到文本特征提取层输出的待理解文本的上下文特征。
具体地，文本特征提取层用于提取输入的待理解文本的上下文特征。此处，待理解文本的上下文特征可以包括待理解文本中每一分词或每个字的上下文向量。文本特征提取层可以包括嵌入层(Embedding层)和上下文层，其中嵌入层用于向输入的待理解文本中的每一分词或者每个字进行向量转换，得到对应的词向量或者字向量；上下文层可以是循环神经网络RNN或者长短时记忆网络LSTM、Bi-LSTM等神经网络，用于根据输入的待理解文本中的每一分词或者每个字的向量，获取每一分词或者每个字的上下文向量，作为上下文特征。
此处，在语义理解模型训练时，可以将预训练得到的语言模型的结构和权重作为文本特征提取层的初始结构和权重，以提高模型训练效率。
步骤122，将上下文特征输入至意图理解层中，得到意图理解层输出的意图理解结果。
具体地，意图理解层用于基于输入的待理解文本的上下文特征进行意图理解，并输出意图理解结果。此处，意图理解结果可以包含待理解文本的意图，具体可以是待理解文本中每一分词或者每个字所对应的意图类别。
步骤123，将上下文特征输入至槽抽取层中，得到槽抽取层输出的槽抽取结果。
具体地，槽抽取层用于基于输入的待理解文本的上下文特征进行槽抽取，并输出槽抽取结果。此处，槽抽取结果可以包含待理解文本中包含的槽，具体可以是待理解文本中每一分词或者每个字所对应的槽类别。
需要说明的是，当文本特征提取层包括意图文本特征提取层和槽文本特征提取层时，意图文本特征提取层输出的上下文特征为意图理解层的输入，槽文本特征提取层输出的上下文特征为槽抽取层的输入。
基于上述任一实施例，步骤122具体包括：将意图表示特征与上下文特征输入至意图理解层，得到意图理解层输出的意图理解结果；意图表示特征是对意图描述文本进行特征提取得到的。
具体地，意图表示特征的确定方法可以有多种，例如将意图描述文本中的每一分词或每个字进行向量转换，得到每一分词或者每个字对应的向量作为意图表示特征；又例如在得到意图描述文本中每一分词或者每个字对应的向量的基础上，将每一分词或者每个字对应的向量输入到循环神经网络RNN或者长短时记忆网络LSTM、Bi-LSTM等神经网络，得到每一分词或者每个字的上下文向量，作为意图表示特征；还例如，在得到意图描述文本中每一分词或者每个字的上下文向量的基础上，对每一分词或者每个字的上下文向量进行自注意力转换，将自注意力转化结果作为意图表示特征，本发明实施例对此不作具体限定。
需要说明的是，在语义理解模型的训练过程中，如果需要获取意图描述文本中每个分词或者每个字的上下文向量，可以通过共享文本特征提取层实现。
此外，当存在多个意图类别时，每一意图类别均存在对应的意图描述文本，每一意图描述文本均存在对应的意图表示特征，即意图类别与意图表示特征一一对应。
基于上述任一实施例，意图理解层包括意图交互注意力层和意图分类层；其中，图3为本发明实施例提供的意图理解方法的流程示意图，如图3所示，步骤122具体包括：
步骤1221，将意图表示特征与上下文特征输入至意图理解层的意图交互注意力层中，得到意图交互注意力层输出的意图交互注意力特征。
具体地，意图交互注意力层用于对输入的意图表示特征和上下文特征进行注意力交互，并输出经过注意力交互得到的意图交互注意力特征。进一步地，意图交互注意力层用于对每一意图类别对应的意图表示特征以及待理解文本中每一分词或每个字的上下文向量进行注意力交互，并输出待理解文本中每一分词或每个字的意图交互注意力向量构成的序列，作为意图交互注意力特征。
在意图交互注意力层的作用下，针对待理解文本中的任一分词或者任一字，可以将注意力集中到该分词或该字与意图类别相似的信息上，从而凸显该分词或该字对应意图类别的特征信息。
步骤1222，将意图交互注意力特征输入至意图理解层的意图分类层中，得到意图分类层输出的意图理解结果。
具体地，意图分类层用于对输入的意图交互注意力特征进行意图分类，并输出意图理解结果。此处，意图理解结果中可以包含待理解文本中的每一分词或者每个字所对应的意图类别。
意图分类层可以是自注意力层与softmax层的结合，还可以是LSTM层、自注意力层与softmax层的结合，也可以是用于分类的神经网络结构，例如LSTM层与条件随机场CRF层的结合，本发明实施例对此不作具体限定。
本发明实施例提供的方法，基于注意力机制对意图表示特征与上下文特征进行交互，从而结合意图描述文本对待理解文本进行意图理解，实现高准确率的意图理解。
基于上述任一实施例，步骤123具体包括：将槽表示特征与上下文特征输入至槽抽取层中，得到槽抽取层输出的槽抽取结果；槽表示特征是对槽描述文本进行特征提取得到的。
具体地，槽表示特征的确定方法可以有多种，例如将槽描述文本中的每一分词或每个字进行向量转换，得到每一分词或者每个字对应的向量作为槽表示特征；又例如在得到槽描述文本中每一分词或者每个字对应的向量的基础上，将每一分词或者每个字对应的向量输入到循环神经网络RNN或者长短时记忆网络LSTM、Bi-LSTM等神经网络，得到每一分词或者每个字的上下文向量，作为槽表示特征；还例如，在得到槽描述文本中每一分词或者每个字的上下文向量的基础上，对每一分词或者每个字的上下文向量进行自注意力转换，将自注意力转化结果作为槽表示特征，本发明实施例对此不作具体限定。
需要说明的是，在语义理解模型的训练过程中，如果需要获取槽描述文本中每个分词或者每个字的上下文向量，可以通过共享文本特征提取层实现。
此外，当存在多个槽类别时，每一槽类别均存在对应的槽描述文本，每一槽描述文本均存在对应的槽表示特征，即槽类别与槽表示特征一一对应。
基于上述任一实施例，图4为本发明实施例提供的槽抽取方法的流程示意图，如图4所示，步骤123具体包括：
步骤1231，将槽表示特征与上下文特征输入至槽抽取层的槽交互注意力层中，得到槽交互注意力层输出的槽交互注意力特征。
具体地，槽交互注意力层用于对输入的槽表示特征和上下文特征进行注意力交互，并输出经过注意力交互得到的槽交互注意力特征。进一步地，槽交互注意力层用于对每一槽类别对应的槽表示特征以及待理解文本中每一分词或每个字的上下文向量进行注意力交互，并输出待理解文本中每一分词或每个字的槽交互注意力向量构成的序列，作为槽交互注意力特征。
在槽交互注意力层的作用下，针对待理解文本中的任一分词或者任一字，可以将注意力集中到该分词或该字与槽类别相似的信息上，从而凸显该分词或该字对应槽类别的特征信息。
步骤1232，将槽交互注意力特征输入至槽抽取层的槽分类层中，得到槽分类层输出的槽抽取结果。
具体地，槽分类层用于对输入的槽交互注意力特征进行槽分类，并输出槽理解结果。此处，槽理解结果中可以包含待理解文本中的每一分词或者每个字所对应的槽类别。
槽分类层可以是LSTM层与条件随机场CRF层的结合，也可以是LSTM层与自注意力层的结合，或者是其余用于分类的神经网络结构，本发明实施例对此不作具体限定。
本发明实施例提供的方法，基于注意力机制对槽表示特征与上下文特征进行交互，从而结合槽描述文本对待理解文本进行槽抽取，实现高准确率的槽抽取。
基于上述任一实施例，图5为本发明实施例提供的语义理解模型的结构示意图，如图5所示，语义理解模型包括文本特征提取层、用于意图理解的意图交互注意力层和意图分类层，以及用于槽抽取的槽交互注意力层和槽分类层。
将待理解文本输入文本特征提取层，通过文本特征提取层获取待理解文本中每个字的上下文向量，得到待理解文本的上下文特征。意图交互注意力层和槽交互注意力层共享文本特征提取层输出的上下文特征。
将上下文特征输入到意图交互注意力层中，通过意图交互注意力层实现上下文特征与每一意图类别对应的意图表示特征之间的注意力交互，并输出意图交互注意力特征。图5中，意图类别数为N，intent1，intent2，…，intentN即各个意图类别分别对应的意图表示特征，意图表示特征是将对应意图类别的意图描述文本输入到文本特征提取层后再基于自注意力机制得到的。
随即将意图交互注意力特征输入到意图分类层，得到意图理解结果。
此外，还将上下文特征输入到槽交互注意力层中，通过槽交互注意力层实现上下文特征与每一槽类别对应的槽表示特征之间的注意力交互，并输出槽交互注意力特征。图5中，槽类别数为M，slot1，slot2，…，slotM即各个槽类别分别对应的槽表示特征，槽表示特征是将对应槽类别的槽描述文本输入到文本特征提取层后再基于自注意力机制得到的。
随即将槽交互注意力特征输入到槽分类层，得到槽抽取结果。
本发明实施例中，应用语义理解模型同时进行意图理解和槽抽取，其中意图理解层和槽抽取层共享用文本特征提取层输出的上下文特征，实现了意图和槽的信息共享，有助于提高语义理解的准确性。此外，基于注意力机制将上下文特征分别与意图表述特征和槽表示特征进行交互，从而结合意图描述文本和槽描述文本对待理解文本进行意图理解和槽抽取，实现高准确率的语义理解。
通常在进行槽抽取时，直接根据槽的类别数确定最终的槽抽取结果的类别数。例如，假设存在两种槽类别，即“singer”和“source”，在BIEO标注方式下，单个字对应的槽抽取结果的类别包括“B-singer”、“I-singer”、“E-singer”和“O-singer”，以及“B-source”、“I-source”、“E-source”和“O-source”，其中“B”表示Begin，即槽开头，“I”表示Inner，即槽中间，“E”表示End，即槽结尾，“O”表示out of domain，即不属于槽。在槽抽取过程中，如果需要增加槽类别，则槽抽取结果的类别数也会对应增加，需要重新对语义理解模型进行训练，方能够实现新增槽类别的抽取。为了解决这一问题，本发明实施例提供了一种槽抽取方法。基于上述任一实施例，图6为本发明实施例提供的槽交互注意力层的运行流程示意图，如图6所示，步骤1231具体包括：
步骤1231-1，将每一槽类别对应的槽表示特征，与上下文特征中每个字对应的上下文向量进行注意力交互，得到每一槽类别与每个字的注意力权重。
具体地，假设存在M个槽类别，对应于M个槽表示特征slot，其中第i个槽类别的槽表示特征为sloti。假设待理解文本的字数为n，上下文特征包括待理解文本中每个字的上下文向量，其中第t个字的上下文向量为ht。
对任一槽类别对应槽表示特征sloti，与任一字对应的上下文向量ht进行注意力交互，可以得到该槽类别与该字的注意力权重αti。
步骤1231-2，基于每一槽类别与每个字的注意力权重，确定每个字对应的槽交互注意力向量。
具体地，针对第t个字，基于每一槽类别与该字的注意力权重，可以确定该字对应的槽交互注意力向量。此处，槽交互注意力向量可以具体体现为基于每一槽类别与该字的注意力权重，对每一槽类别的槽表示特征进行加权求和得到的向量gt与该字的上下文向量ht之和，其中gt可以通过如下公式得到：
步骤1231-3，基于每一槽类别与每个字的注意力权重，确定每个字对应的槽类别。
具体地，可以预先设定槽类别阈值，若任一槽类别与任一字的注意力权重大于预先设定的槽类别阈值，则确定该字对应于该槽类别，若每一槽类别与该字的注意力权重均小于预先设定的槽类别阈值，则确定该字不属于任何槽类别。
需要说明的是，本发明实施例不对步骤1231-2和步骤1231-3的执行顺序作具体限定，步骤1231-2可以在步骤1231-3之前或之后执行，也可以与步骤1231-3同步执行。
本发明实施例提供的方法，在槽抽取的序列联合标注过程中，仅通过槽表示特征与字的上下文向量进行注意力交互得到的槽类别与字的注意力权重，确定字所对应的槽类别，因此当存在新增的槽类别时，无需重新进行模型训练，仅需在槽交互注意力层中增加新增槽类别所对应的槽表示特征，即可实现新增槽类别的抽取，有效简化了新增槽类别抽取的相关操作，节省了人力成本和时间成本。
基于上述任一实施例，该方法中，步骤1231-3具体包括：基于任一槽类别与每个字的注意力权重，确定该槽类别对应的累计权重；基于每一槽类别对应的累计权重，确定待理解文本中包含的文本槽类别；基于每一文本槽类别与每个字的注意力权重，确定每个字对应的槽类别。
具体地，假设第i个槽类别与t个字的注意力权重为αti，待理解文本的字数为n，则第i个槽类别对应的累计权重为第i个槽类别分别与每个字的注意力权重之和，第i个槽类别对应的累计权重可以表示为αi＝∑nαti。
在确定每一槽类别对应的累计权重之后，可以根据每一槽类别对应的累计权重，确定待理解文本中包含的文本槽类别。例如，预先设定累计权重阈值，若任一槽类别对应的累计权重大于累计权重阈值，则确定该槽类别为待理解文本中包含的文本槽类别，否则确定该槽类别不包含在待理解文本中。又例如，直接将最大累计权重所对应的槽类别作为文本槽类别。此处，文本槽类别是指待理解文本中包含的槽类别。
在确定待理解文本中包含的文本槽类别后，基于文本槽类别与每个字的注意力权重，确定每个字对应的槽类别。例如，待理解文本为“播放张学友的吻别”，已确定待理解文本中包含的文本槽类别为“singer”和“song”，其中“singer”与“张”、“学”、“友”三个字的注意力权重均大于预先设定的注意力权重阈值，“song”与“吻”、“别”两个字的注意力权重均大于预先设定的注意力权重阈值，则确定“张”、“学”、“友”三个字对应的槽类别为“singer”，“吻”、“别”两个字对应的槽类别为“song”。
本发明实施例提供的方法，通过累计权重的计算，确定待理解文本中每个字对应的槽类别，从而通过在槽交互注意力层中增加新增槽类别所对应的槽表示特征，实现新增槽类别的抽取。
基于上述任一实施例，该方法中，步骤1232具体包括：将每个字对应的槽交互注意力向量输入至槽分类层的槽位置分类层中，得到每个字对应的槽位置标记；基于每个字对应的槽位置标记，以及每个字对应的槽类别，确定槽抽取结果。
此处，槽位置分类层用于根据输入的每个字对应的槽交互注意力向量，确定每个字对应的槽位置标记。此处，槽位置标记用于表征该字在槽中的具体位置，例如BIEO标注方式下的“B”、“I”、“E”、“O”。结合每个字对应的槽位置标记，以及步骤1231中得到的每个字对应的槽类别，即可得到每个字对应的槽抽取结果。
例如，待理解文本为“播放张学友的吻别”，基于槽交互注意力层得到“张”、“学”、“友”三个字对应的槽类别为“singer”，“吻”、“别”两个字对应的槽类别为“song”；基于槽分类层的槽位置分类层得到“张”、“学”、“友”三个字分别对应的槽位置标记为“B”、“I”、“E”，“吻”、“别”两个字分别对应的槽位置标记为“B”、“E”，可以得到槽抽取结果“歌手＝张学友”，“歌名＝吻别”。
本发明实施例提供的方法，在已知每个字对应的槽类别时，仅需通过槽分类层的槽位置分类层确定每个字对应的槽位置标记，即可得到槽抽取结果。因此在新增槽类别时，并不会对槽位置分类层造成影响，也无需重新进行模型训练。
基于上述任一实施例，基于语义理解模型进行槽抽取的方法，具体包括：
首先，将待理解文本输入至语义理解模型的文本特征提取层中，得到待理解文本的上下文特征。
其次，将上下文特征输入到语义理解模型的槽交互注意力层中，通过槽交互注意力层实现上下文特征中每个字对应的上下文向量与每一槽类别对应的槽表示特征之间的注意力交互，进而得到每一槽类别与每个字的注意力权重，进而确定每个字对应的槽交互注意力向量。此外，还可以基于每一槽类别与每个字的注意力权重，得到每一槽类别对应的累计权重，基于每一槽类别对应的累计权重，确定待理解文本中包含的文本槽类别，进而确定每个字对应的槽类别。
随即，将每个字对应的槽交互注意力向量和槽类别作为槽交互注意力特征输入到槽分类层中，槽分类层中的槽位置分类层基于每个字对应的槽交互注意力向量，得到每个字对应的槽位置标记。在此基础上，基于每个字对应的槽位置标记，以及每个字对应的槽类别，确定槽抽取结果。
本发明实施例提供的方法，在槽抽取的序列联合标注过程中，仅通过槽表示特征与字的上下文向量进行注意力交互得到的槽类别与字的注意力权重，确定字所对应的槽类别，在已知每个字对应的槽类别时，仅需通过槽分类层的槽位置分类层确定每个字对应的槽位置标记，即可得到槽抽取结果。因此当存在新增的槽类别时，无需重新进行模型训练，仅需在槽交互注意力层中增加新增槽类别所对应的槽表示特征，即可实现新增槽类别的抽取，有效简化了新增槽类别抽取的相关操作，节省了人力成本和时间成本。
基于上述任一实施例，图7为本发明实施例提供的语义理解装置的结构示意图，如图7所示，该装置包括文本确定单元710和语义理解单元720；
其中，文本确定单元710用于确定待理解文本；
语义理解单元720用于将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；
其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解。
本发明实施例提供的装置，通过语义描述文本进行语义理解，能够充分利用语义描述文本中携带的与语义理解相关的丰富信息，从而提高针对于多样化的语言表达形式下的语义理解的准确性。
基于上述任一实施例，所述语义描述文本包括意图描述文本和/或槽描述文本。
基于上述任一实施例，所述语义理解模型包括文本特征提取层，以及意图理解层和/或槽抽取层；
其中，所述意图理解层用于基于对所述意图描述文本进行特征提取得到的意图表示特征进行意图理解；
所述槽抽取层用于基于对所述槽描述文本进行特征提取得到的槽表示特征进行槽抽取。
基于上述任一实施例，所述文本特征提取层包括意图文本特征提取层和/或槽文本特征提取层；
其中，所述意图文本特征提取层和所述意图理解层构成意图理解模型，所述意图理解模型是基于所述样本文本、所述样本语义理解结果中的样本意图理解结果，以及所述意图描述文本训练得到；
所述槽文本特征提取层和所述槽抽取层构成槽抽取模型，所述槽抽取模型是基于所述样本文本、所述样本语义理解结果中的样本槽抽取结果，以及所述槽描述文本训练得到。
基于上述任一实施例，语义理解单元720包括：
特征提取单元，用于将所述待理解文本输入至所述文本特征提取层中，得到所述文本特征提取层输出的所述待理解文本的上下文特征；
意图理解单元，用于将所述上下文特征输入至所述意图理解层中，得到所述意图理解层输出的意图理解结果；
槽抽取单元，用于将所述上下文特征输入至所述槽抽取层中，得到所述槽抽取层输出的槽抽取结果。
基于上述任一实施例，意图理解单元具体用于：
将所述意图表示特征与所述上下文特征输入至所述意图理解层的意图交互注意力层中，得到所述意图交互注意力层输出的意图交互注意力特征；
将所述意图交互注意力特征输入至所述意图理解层的意图分类层中，得到所述意图分类层输出的意图理解结果。
基于上述任一实施例，槽抽取单元包括：
槽注意力子单元，用于将所述槽表示特征与所述上下文特征输入至所述槽抽取层的槽交互注意力层中，得到所述槽交互注意力层输出的槽交互注意力特征；
槽分类子单元，用于将所述槽交互注意力特征输入至所述槽抽取层的槽分类层中，得到所述槽分类层输出的槽抽取结果。
基于上述任一实施例，槽注意力子单元包括：
交互子单元，用于将每一槽类别对应的槽表示特征，与所述上下文特征中每个字对应的上下文向量进行注意力交互，得到每一槽类别与每个字的注意力权重；
特征输出子单元，用于基于每一槽类别与每个字的注意力权重，确定每个字对应的槽交互注意力向量；
类别确定子单元，用于基于每一槽类别与每个字的注意力权重，确定每个字对应的槽类别。
基于上述任一实施例，类别确定子单元具体用于：
基于任一槽类别与每个字的注意力权重，确定所述任一槽类别对应的累计权重；
基于每一槽类别对应的累计权重，确定所述待理解文本中包含的文本槽类别；
基于任一文本槽类别与每个字的注意力权重，确定每个字对应的槽类别。
基于上述任一实施例，槽分类子单元具体用于：
将每个字对应的槽交互注意力向量输入至所述槽分类层的槽位置分类层中，得到每个字对应的槽位置标记；
基于每个字对应的槽位置标记，以及每个字对应的槽类别，确定所述槽抽取结果。
图8为本发明实施例提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令，以执行如下方法：确定待理解文本；将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解。
此外，上述的存储器830中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定待理解文本；将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种语义理解方法，其特征在于，包括：
确定待理解文本；
将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；
其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；
所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解；所述语义描述文本是指预先设定的针对于语义理解的相关元素的自然语言描述文本，所述语义理解的相关元素包括领域、意图、槽中的至少一种，所述语义描述文本包括意图描述文本和/或槽描述文本；
所述语义理解模型包括文本特征提取层，以及意图理解层和/或槽抽取层，所述将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果，包括：
将所述待理解文本输入至所述文本特征提取层中，得到所述文本特征提取层输出的所述待理解文本的上下文特征；
将意图表示特征与所述上下文特征输入至所述意图理解层中，得到所述意图理解层输出的意图理解结果，所述意图表示特征基于对所述意图描述文本进行特征提取得到；
将槽表示特征与所述上下文特征输入至所述槽抽取层中，得到所述槽抽取层输出的槽抽取结果，所述槽表示特征基于对所述槽描述文本进行特征提取得到。
2.根据权利要求1所述的语义理解方法，其特征在于，所述意图理解层用于基于对所述意图描述文本进行特征提取得到的意图表示特征进行意图理解；
所述槽抽取层用于基于对所述槽描述文本进行特征提取得到的槽表示特征进行槽抽取。
3.根据权利要求2所述的语义理解方法，其特征在于，所述文本特征提取层包括意图文本特征提取层和/或槽文本特征提取层；
其中，所述意图文本特征提取层和所述意图理解层构成意图理解模型，所述意图理解模型是基于所述样本文本、所述样本语义理解结果中的样本意图理解结果，以及所述意图描述文本训练得到；
所述槽文本特征提取层和所述槽抽取层构成槽抽取模型，所述槽抽取模型是基于所述样本文本、所述样本语义理解结果中的样本槽抽取结果，以及所述槽描述文本训练得到。
4.根据权利要求2或3所述的语义理解方法，其特征在于，所述将意图表示特征与所述上下文特征输入至所述意图理解层中，得到所述意图理解层输出的意图理解结果，具体包括：
将所述意图表示特征与所述上下文特征输入至所述意图理解层的意图交互注意力层中，得到所述意图交互注意力层输出的意图交互注意力特征；
将所述意图交互注意力特征输入至所述意图理解层的意图分类层中，得到所述意图分类层输出的意图理解结果。
5.根据权利要求2或3所述的语义理解方法，其特征在于，所述将槽表示特征与所述上下文特征输入至所述槽抽取层中，得到所述槽抽取层输出的槽抽取结果，具体包括：
将所述槽表示特征与所述上下文特征输入至所述槽抽取层的槽交互注意力层中，得到所述槽交互注意力层输出的槽交互注意力特征；
将所述槽交互注意力特征输入至所述槽抽取层的槽分类层中，得到所述槽分类层输出的槽抽取结果。
6.根据权利要求5所述的语义理解方法，其特征在于，所述将所述槽表示特征与所述上下文特征输入至所槽抽取层的槽交互注意力层中，得到所述槽交互注意力层输出的槽交互注意力特征，具体包括：
将每一槽类别对应的槽表示特征，与所述上下文特征中每个字对应的上下文向量进行注意力交互，得到每一槽类别与每个字的注意力权重；
基于每一槽类别与每个字的注意力权重，确定每个字对应的槽交互注意力向量；
基于每一槽类别与每个字的注意力权重，确定每个字对应的槽类别。
7.根据权利要求6所述的语义理解方法，其特征在于，所述基于每一槽类别与每个字的注意力权重，确定每个字对应的槽类别，具体包括：
基于任一槽类别与每个字的注意力权重，确定所述任一槽类别对应的累计权重；
基于每一槽类别对应的累计权重，确定所述待理解文本中包含的文本槽类别；
基于每一文本槽类别与每个字的注意力权重，确定每个字对应的槽类别。
8.根据权利要求6所述的语义理解方法，其特征在于，所述将所述槽交互注意力特征输入至所述槽抽取层的槽分类层中，得到所述槽分类层输出的槽抽取结果，具体包括：
将每个字对应的槽交互注意力向量输入至所述槽分类层的槽位置分类层中，得到每个字对应的槽位置标记；
基于每个字对应的槽位置标记，以及每个字对应的槽类别，确定所述槽抽取结果。
9.一种语义理解装置，其特征在于，包括：
文本确定单元，用于确定待理解文本；
语义理解单元，用于将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果；
其中，所述语义理解模型是基于样本文本、所述样本文本对应的样本语义理解结果以及语义描述文本训练得到的；所述语义理解模型用于基于对所述语义描述文本进行特征提取得到的表示特征，对所述待理解文本进行语义理解；所述语义描述文本是指预先设定的针对于语义理解的相关元素的自然语言描述文本，所述语义理解的相关元素包括领域、意图、槽中的至少一种，所述语义描述文本包括意图描述文本和/或槽描述文本；
所述语义理解模型包括文本特征提取层，以及意图理解层和/或槽抽取层，所述将所述待理解文本输入至语义理解模型中，得到所述语义理解模型输出的语义理解结果，包括：
将所述待理解文本输入至所述文本特征提取层中，得到所述文本特征提取层输出的所述待理解文本的上下文特征；
将意图表示特征与所述上下文特征输入至所述意图理解层中，得到所述意图理解层输出的意图理解结果，所述意图表示特征基于对所述意图买哦书文本进行特征提取得到；
将槽表示特征与所述上下文特征输入至所述槽抽取层中，得到所述槽抽取层输出的槽抽取结果，所述槽表示特征基于对所述槽描述文本进行特征提取得到。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任一项所述的语义理解方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述的语义理解方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911330205.5A CN111046674B (zh) | 2019-12-20 | 2019-12-20 | 语义理解方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911330205.5A CN111046674B (zh) | 2019-12-20 | 2019-12-20 | 语义理解方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046674A CN111046674A (zh) | 2020-04-21 |
| CN111046674B true CN111046674B (zh) | 2024-05-31 |
Family
ID=70238156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911330205.5A Active CN111046674B (zh) | 2019-12-20 | 2019-12-20 | 语义理解方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046674B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528679B (zh) * | 2020-12-17 | 2024-02-13 | 科大讯飞股份有限公司 | 一种意图理解模型训练方法及装置、意图理解方法及装置 |
| CN112613322B (zh) * | 2020-12-17 | 2023-10-24 | 平安科技（深圳）有限公司 | 文本处理方法、装置、设备及存储介质 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760397A (zh) * | 2014-12-18 | 2016-07-13 | 中兴通讯股份有限公司 | 物联网本体模型处理方法及装置 |
| CN106933796A (zh) * | 2015-12-29 | 2017-07-07 | 中国电信股份有限公司 | 基于语义理解的物联网终端互操作方法和装置 |
| CN107301163A (zh) * | 2016-04-14 | 2017-10-27 | 科大讯飞股份有限公司 | 包含公式的文本语义解析方法及装置 |
| CN107480118A (zh) * | 2017-08-16 | 2017-12-15 | 科大讯飞股份有限公司 | 文本编辑方法及装置 |
| CN108287858A (zh) * | 2017-03-02 | 2018-07-17 | 腾讯科技（深圳）有限公司 | 自然语言的语义提取方法及装置 |
| CN108491386A (zh) * | 2018-03-19 | 2018-09-04 | 上海携程国际旅行社有限公司 | 自然语言理解方法及系统 |
| CN108804536A (zh) * | 2018-05-04 | 2018-11-13 | 科沃斯商用机器人有限公司 | 人机对话与策略生成方法、设备、系统及存储介质 |
| CN108874782A (zh) * | 2018-06-29 | 2018-11-23 | 北京寻领科技有限公司 | 一种层次注意力lstm和知识图谱的多轮对话管理方法 |
| CN108874774A (zh) * | 2018-06-05 | 2018-11-23 | 浪潮软件股份有限公司 | 一种基于意图理解的服务调用方法和系统 |
| CN108920497A (zh) * | 2018-05-23 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种人机交互方法及装置 |
| CN109785833A (zh) * | 2019-01-02 | 2019-05-21 | 苏宁易购集团股份有限公司 | 用于智能设备的人机交互语音识别方法及系统 |
| CN109829299A (zh) * | 2018-11-29 | 2019-05-31 | 电子科技大学 | 一种基于深度自编码器的未知攻击识别方法 |
| CN109858030A (zh) * | 2019-02-11 | 2019-06-07 | 北京邮电大学 | 双向的意图槽值交叉相关的任务型对话理解系统及方法 |
| CN109902283A (zh) * | 2018-05-03 | 2019-06-18 | 华为技术有限公司 | 一种信息输出方法及装置 |
| CN110008476A (zh) * | 2019-04-10 | 2019-07-12 | 出门问问信息科技有限公司 | 语义解析方法、装置、设备及存储介质 |
| CN110334339A (zh) * | 2019-04-30 | 2019-10-15 | 华中科技大学 | 一种基于位置感知自注意力机制的序列标注模型与标注方法 |
| CN110378484A (zh) * | 2019-04-28 | 2019-10-25 | 清华大学 | 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法 |
| WO2019240900A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Attention loss based deep neural network training |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9272658B2 (en) * | 2014-06-24 | 2016-03-01 | Google Inc. | Attention and event management |
| RU2592396C1 (ru) * | 2015-02-03 | 2016-07-20 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Способ и система для машинного извлечения и интерпретации текстовой информации |
| RU2628431C1 (ru) * | 2016-04-12 | 2017-08-16 | Общество с ограниченной ответственностью "Аби Продакшн" | Подбор параметров текстового классификатора на основе семантических признаков |
| US11449744B2 (en) * | 2016-06-23 | 2022-09-20 | Microsoft Technology Licensing, Llc | End-to-end memory networks for contextual language understanding |
| US10431207B2 (en) * | 2018-02-06 | 2019-10-01 | Robert Bosch Gmbh | Methods and systems for intent detection and slot filling in spoken dialogue systems |
| US20190251417A1 (en) * | 2018-02-12 | 2019-08-15 | Microsoft Technology Licensing, Llc | Artificial Intelligence System for Inferring Grounded Intent |
| US10679613B2 (en) * | 2018-06-14 | 2020-06-09 | Accenture Global Solutions Limited | Spoken language understanding system and method using recurrent neural networks |
-
2019
- 2019-12-20 CN CN201911330205.5A patent/CN111046674B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760397A (zh) * | 2014-12-18 | 2016-07-13 | 中兴通讯股份有限公司 | 物联网本体模型处理方法及装置 |
| CN106933796A (zh) * | 2015-12-29 | 2017-07-07 | 中国电信股份有限公司 | 基于语义理解的物联网终端互操作方法和装置 |
| CN107301163A (zh) * | 2016-04-14 | 2017-10-27 | 科大讯飞股份有限公司 | 包含公式的文本语义解析方法及装置 |
| CN108287858A (zh) * | 2017-03-02 | 2018-07-17 | 腾讯科技（深圳）有限公司 | 自然语言的语义提取方法及装置 |
| CN107480118A (zh) * | 2017-08-16 | 2017-12-15 | 科大讯飞股份有限公司 | 文本编辑方法及装置 |
| CN108491386A (zh) * | 2018-03-19 | 2018-09-04 | 上海携程国际旅行社有限公司 | 自然语言理解方法及系统 |
| CN109902283A (zh) * | 2018-05-03 | 2019-06-18 | 华为技术有限公司 | 一种信息输出方法及装置 |
| CN108804536A (zh) * | 2018-05-04 | 2018-11-13 | 科沃斯商用机器人有限公司 | 人机对话与策略生成方法、设备、系统及存储介质 |
| CN108920497A (zh) * | 2018-05-23 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种人机交互方法及装置 |
| CN108874774A (zh) * | 2018-06-05 | 2018-11-23 | 浪潮软件股份有限公司 | 一种基于意图理解的服务调用方法和系统 |
| WO2019240900A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Attention loss based deep neural network training |
| CN108874782A (zh) * | 2018-06-29 | 2018-11-23 | 北京寻领科技有限公司 | 一种层次注意力lstm和知识图谱的多轮对话管理方法 |
| CN109829299A (zh) * | 2018-11-29 | 2019-05-31 | 电子科技大学 | 一种基于深度自编码器的未知攻击识别方法 |
| CN109785833A (zh) * | 2019-01-02 | 2019-05-21 | 苏宁易购集团股份有限公司 | 用于智能设备的人机交互语音识别方法及系统 |
| CN109858030A (zh) * | 2019-02-11 | 2019-06-07 | 北京邮电大学 | 双向的意图槽值交叉相关的任务型对话理解系统及方法 |
| CN110008476A (zh) * | 2019-04-10 | 2019-07-12 | 出门问问信息科技有限公司 | 语义解析方法、装置、设备及存储介质 |
| CN110378484A (zh) * | 2019-04-28 | 2019-10-25 | 清华大学 | 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法 |
| CN110334339A (zh) * | 2019-04-30 | 2019-10-15 | 华中科技大学 | 一种基于位置感知自注意力机制的序列标注模型与标注方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于BLSTM-CNN-CRF模型的槽填充与意图识别;华冰涛;袁志祥;肖维民;郑啸;;计算机工程与应用;20180622(第09期);全文 * |
| 面向任务口语理解研究现状综述;侯丽仙;李艳玲;李成城;;计算机工程与应用;20190325(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046674A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109918680B (zh) | 实体识别方法、装置及计算机设备 | |
| CN110795543B (zh) | 基于深度学习的非结构化数据抽取方法、装置及存储介质 | |
| CN107291783B (zh) | 一种语义匹配方法及智能设备 | |
| CN110516253B (zh) | 中文口语语义理解方法及系统 | |
| CN110990543A (zh) | 智能对话的生成方法、装置、计算机设备及计算机存储介质 | |
| CN109271493A (zh) | 一种语言文本处理方法、装置和存储介质 | |
| CN111708869B (zh) | 人机对话的处理方法及装置 | |
| CN110197279B (zh) | 变换模型训练方法、装置、设备和存储介质 | |
| CN111079418B (zh) | 命名体识别方法、装置、电子设备和存储介质 | |
| CN112487139A (zh) | 基于文本的自动出题方法、装置及计算机设备 | |
| CN111274797A (zh) | 用于终端的意图识别方法、装置、设备及存储介质 | |
| CN109635080A (zh) | 应答策略生成方法及装置 | |
| US11947920B2 (en) | Man-machine dialogue method and system, computer device and medium | |
| CN116523031B (zh) | 语言生成模型的训练方法、语言生成方法及电子设备 | |
| CN111046674B (zh) | 语义理解方法、装置、电子设备和存储介质 | |
| CN108304424A (zh) | 文本关键词提取方法及文本关键词提取装置 | |
| CN112463942A (zh) | 文本处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111508466A (zh) | 一种文本处理方法、装置、设备及计算机可读存储介质 | |
| CN116910220A (zh) | 多轮对话交互处理方法、装置、设备和存储介质 | |
| CN116821290A (zh) | 面向多任务对话的大语言模型训练方法和交互方法 | |
| CN115345177A (zh) | 意图识别模型训练方法和对话方法及装置 | |
| CN112818096A (zh) | 对话生成方法及其装置 | |
| CN111680514B (zh) | 信息处理和模型训练方法、装置、设备及存储介质 | |
| CN113591472A (zh) | 歌词生成方法、歌词生成模型训练方法、装置及电子设备 | |
| CN113761843A (zh) | 语音编辑方法、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |