CN111597339A - 文档级多轮对话意图分类方法、装置、设备及存储介质 - Google Patents

文档级多轮对话意图分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111597339A
CN111597339A CN202010442254.4A CN202010442254A CN111597339A CN 111597339 A CN111597339 A CN 111597339A CN 202010442254 A CN202010442254 A CN 202010442254A CN 111597339 A CN111597339 A CN 111597339A
Authority
CN
China
Prior art keywords
word
level
document
vector
round
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010442254.4A
Other languages
English (en)
Other versions
CN111597339B (zh
Inventor
李净
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huiwen Technology Group Co ltd
Original Assignee
Beijing Huiwen Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huiwen Technology Group Co ltd filed Critical Beijing Huiwen Technology Group Co ltd
Priority to CN202010442254.4A priority Critical patent/CN111597339B/zh
Publication of CN111597339A publication Critical patent/CN111597339A/zh
Application granted granted Critical
Publication of CN111597339B publication Critical patent/CN111597339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文档级多轮对话意图分类方法、装置、设备及存储介质，该方法包括：对于每一轮对话，获取文档文本；将文档文本转换为词向量；将词向量输入自注意力层，得到意图分类结果。该方法实现提高意图分类结果的准确性。

Description

文档级多轮对话意图分类方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种文档级多轮对话意图分类方法、装置、设备及存储介质。
背景技术
目前，单轮对话意图分类只能识别一次单轮对话，远不能满足实际的多轮对话的工业应用，因此多轮对话文档级意图分类方法开始进入到了人们的视线当中。现有技术中，文档级多轮对话意图分类方法一般采用非层次化双向LSTM模型来完成。参考图1，图1为现有技术中非层次化双向LSTM模型图，首先，在每一轮对话中，将文档文本中每一个词信息输入到词嵌入层，得到输出结果，将词嵌入层的所有输出结果输入到双向LSTM(Long Short-Term Memory，长短期记忆网络)层，得到双向LSTM层的输出结果，利用双向LSTM层的输出结果得到意图分类结果。
然而，这种意图分类方法仅仅利用非层次化双向LSTM网络来完成意图分类，没有考虑到上下文信息关联，意图分类结果的准确性较低。
发明内容
本发明的目的是提供一种文档级多轮对话意图分类方法、装置、设备及存储介质，以实现提高意图分类结果的准确性。
为解决上述技术问题，本发明提供一种文档级多轮对话意图分类方法，包括：
对于每一轮对话，获取文档文本；
将文档文本转换为词向量；
将词向量输入自注意力层，得到意图分类结果。
优选的，所述将文档文本转换为词向量，包括：
从文档文本中提取词信息；
将词信息进行向量转换，生成词向量。
优选的，所述将词信息进行向量转换，生成词向量，包括：
将词信息进行向量转换，得到词嵌入向量和位置嵌入向量；
将词嵌入向量和位置嵌入向量进行拼接，得到词向量。
优选的，所述自注意力层包括：句子级别自注意力层和对话级别自注意力层。
优选的，所述将词向量输入自注意力层，得到意图分类结果，包括：
对于每一轮对话，将词向量输入至每一轮对话对应的句子级别自注意力层，输出得到句子级别隐状态；
将所有句子级别隐状态输入至轮次位置嵌入层，输出得到融合隐状态；
将融合隐状态输入至对话级别自注意力层，输出得到对话级别隐状态；
利用对话级别隐状态得到意图分类结果。
优选的，所述利用对话级别隐状态得到意图分类结果，包括：
将对话级别隐状态输入至分类层，输出得到意图分类结果。
优选的，所述分类层为Softmax分类层。
本发明还提供一种文档级多轮对话意图分类装置，包括：
获取模块，用于对于每一轮对话，获取文档文本；
转换模块，用于将文档文本转换为词向量；
输入模块，用于将词向量输入自注意力层，得到意图分类结果。
本发明还提供一种文档级多轮对话意图分类设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述的文档级多轮对话意图分类方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的文档级多轮对话意图分类方法的步骤。
本发明所提供的一种文档级多轮对话意图分类方法、装置、设备及存储介质，对于每一轮对话，获取文档文本；将文档文本转换为词向量；将词向量输入自注意力层，得到意图分类结果。可见，每一轮对话中，将转换后的词向量输入自注意力层，利用自注意力层来获取意图分类结果，这样不再通过非层次化双向LSTM网络来完成意图分类，而是利用层次化自注意力来完成意图分类，由于采用了自注意力机制并且层次化，这样能够考虑到上下文信息关联，更好的抽取文档级本文数据中的信息，结合多轮对话中的上下文信息进行预测，意图分类结果的准确性较高，实现提高意图分类结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有技术中非层次化双向LSTM模型图；
图2为本发明所提供的一种文档级多轮对话意图分类方法的流程图；
图3为词向量生成过程图；
图4为层次化自注意力模型架构图；
图5为本发明所提供的一种文档级多轮对话意图分类装置结构示意图；
图6为本发明所提供的一种文档级多轮对话意图分类设备结构示意图。
具体实施方式
本发明的核心是提供一种文档级多轮对话意图分类方法、装置、设备及存储介质，以实现提高意图分类结果的准确性。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图2，图2为本发明所提供的一种文档级多轮对话意图分类方法的流程图，该方法包括以下步骤：
S11：对于每一轮对话，获取文档文本；
S12：将文档文本转换为词向量；
S13：将词向量输入自注意力层，得到意图分类结果。
可见，该方法中，每一轮对话中，将转换后的词向量输入自注意力层，利用自注意力层来获取意图分类结果，这样不再通过非层次化双向LSTM网络来完成意图分类，而是利用层次化自注意力来完成意图分类，由于采用了自注意力机制并且层次化，这样能够考虑到上下文信息关联，更好的抽取文档级本文数据中的信息，结合多轮对话中的上下文信息进行预测，意图分类结果的准确性较高，实现提高意图分类结果的准确性。
基于上述方法，进一步的，步骤S12包括以下步骤：
S22：从文档文本中提取词信息；
S23：将词信息进行向量转换，生成词向量。
详细的，步骤S23包括以下步骤：
S31：将词信息进行向量转换，得到词嵌入向量和位置嵌入向量；
S32：将词嵌入向量和位置嵌入向量进行拼接，得到词向量。
图3为词向量生成过程图，如图3所示是每个句子中为每个单词生成词向量的过程，在图3中，假设本轮对话中的句子有n个单词。首先，词嵌入层和单词位置嵌入层将把句子中的单词转换为词向量，具体是将传统的词向量和单词位置信息向量拼接的方式来生成最后的词向量表达。词向量化是将自然语言转化为能够被识别的数字化形式，传统深度学习模型仅依赖词嵌入技术将自然文本转化为矩阵向量，本文同时结合词嵌入技术和位置嵌入技术将自然文本向量化。
基于上述方法，进一步的，步骤S13中，自注意力层包括：句子级别自注意力层和对话级别自注意力层。
其中，步骤S13具体包括以下步骤：
S41：对于每一轮对话，将词向量输入至每一轮对话对应的句子级别自注意力层，输出得到句子级别隐状态；
S42：将所有句子级别隐状态输入至轮次位置嵌入层，输出得到融合隐状态；
S43：将融合隐状态输入至对话级别自注意力层，输出得到对话级别隐状态；
S44：利用对话级别隐状态得到意图分类结果。
请参考图4，图4为层次化自注意力模型架构图。关于位置嵌入方式，本文使用了自注意力层来代替传统的双向LSTM层，但是完全的自注意力层完全基于注意力机制，这种注意力机制关注的是句子内部单词之间的关系。但是在并行化的同时，也丢失了像LSTM这样的结构中携带的序列信息，因此，本文在自注意力层中加入位置信息，来弥补位置信息的丢失，如下式：
Figure BDA0002504401970000051
其中，在句子级别的单词位置信息嵌入过程中，POS为单词在句子的位置序号，
Figure BDA0002504401970000052
是输入向量的维度。位置嵌入函数的作用是将位置信息POS映射成一个
Figure BDA0002504401970000053
维度的向量，该向量的第i个元素的值为PE(POS，i)。位置嵌入层生成的位置向量和词嵌入层生成的词向量的维度是一致的，因此，此处采用按位置加和的方式，将位置向量和词向量进行结合，生成最终的词向量，这些生成的词向量将会作为输入传递给句子级别的自注意力层。
其中，在对话级别的句子轮次信息嵌入过程中，POS为单词在句子在对话中的轮次序号，
Figure BDA0002504401970000061
是输入向量的维度，也就是句子级别自注意力层生成的隐状态的维度。位置嵌入函数的作用是将位置信息POS映射成一个
Figure BDA0002504401970000062
维度的向量，该向量的第i个元素的值为PE(POS，i)。位置嵌入层生成的位置向量和词嵌入层生成的词向量的维度是一致的，因此，此处也是采用按位置加和的方式，将轮次信息向量和句子级别自注意力层生成的隐状态进行结合，生成最终的隐状态，这些生成的隐状态将会作为输入喂给对话级别的自注意力层。
关于自注意力层，缩放点积注意力的公式如下式所示：
Figure BDA0002504401970000063
其中，
Figure BDA0002504401970000064
是向量维度，Q为查询矩阵，K是维度为dk的键，V是维度为dv的值，这里的键和值是键值对的意思。将查询矩阵和键做点积运算，然后将结果除以
Figure BDA0002504401970000065
也就是对点积的结果做缩放，将结果缩放到一定的范围，接下来对缩放后的结果做softmax归一化操作，得到V的权重，将这个权重和V点积相乘，最后的结果就是缩放点积注意力的结果。
自注意力首先通过不同的线性映射对查询矩阵、键、值做h次线性映射。接下来，h个缩放点积注意力并行计算。其公式化表达如下式所示：
Figure BDA0002504401970000066
其中，
Figure BDA0002504401970000067
是线性映射的参数矩阵。最终，这些缩放点积注意力的结果将会被拼接，拼接后的向量通过一个线性映射将不同头的不同频道进行混合。其公式化表达如下式所示：
MultiHead(Q,K,V)＝Concat(head1,…,headh)WO
其中，
Figure BDA0002504401970000068
是线性映射的参数矩阵。
基于步骤S44，具体的，步骤S44包括：将对话级别隐状态输入至分类层，输出得到意图分类结果。
其中，分类层为Softmax分类层。
本发明利用自注意力机制结合层次化特征抽取进行多轮对话意图分类，能够聚集多轮对话中的意图特征因素，然后利用注意力机制提取重要位置的信息，结合多轮对话中的上下文信息进行预测，即能够对多轮对话进行上下文信息推理，进而识别出对话中的意图，意图分类结果的准确性较高，实现提高意图分类结果的准确性。本发明中自注意力的层次化，能够更好的抽取文档级本文数据中的信息，能够得到更好的分类效果。
请参考图5，图5为本发明所提供的一种文档级多轮对话意图分类装置结构示意图，该装置用于实现上述方法，包括：
获取模块101，用于对于每一轮对话，获取文档文本；
转换模块102，用于将文档文本转换为词向量；
输入模块103，用于将词向量输入自注意力层，得到意图分类结果。
可见，该装置中，每一轮对话中，将转换后的词向量输入自注意力层，利用自注意力层来获取意图分类结果，这样不再通过非层次化双向LSTM网络来完成意图分类，而是利用层次化自注意力来完成意图分类，由于采用了自注意力机制并且层次化，这样能够考虑到上下文信息关联，更好的抽取文档级本文数据中的信息，结合多轮对话中的上下文信息进行预测，意图分类结果的准确性较高，实现提高意图分类结果的准确性。
请参考图6，图6为本发明所提供的一种文档级多轮对话意图分类设备结构示意图，该设备包括：
存储器201，用于存储计算机程序；
处理器202，用于执行所述计算机程序时实现如前述实施例中的文档级多轮对话意图分类方法的步骤。
对于本发明提供的文档级多轮对话意图分类设备的介绍请参照前述的文档级多轮对话意图分类的实施例，本发明实施例在此不再赘述。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述实施例中的文档级多轮对话意图分类方法的步骤。
对于本发明提供的计算机可读存储介质的介绍请参照前述的文档级多轮对话意图分类方法的实施例，本发明实施例在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种文档级多轮对话意图分类方法、装置、设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种文档级多轮对话意图分类方法，其特征在于，包括：
对于每一轮对话，获取文档文本；
将文档文本转换为词向量；
将词向量输入自注意力层，得到意图分类结果。
2.如权利要求1所述的方法，其特征在于，所述将文档文本转换为词向量，包括：
从文档文本中提取词信息；
将词信息进行向量转换，生成词向量。
3.如权利要求2所述的方法，其特征在于，所述将词信息进行向量转换，生成词向量，包括：
将词信息进行向量转换，得到词嵌入向量和位置嵌入向量；
将词嵌入向量和位置嵌入向量进行拼接，得到词向量。
4.如权利要求1所述的方法，其特征在于，所述自注意力层包括：句子级别自注意力层和对话级别自注意力层。
5.如权利要求4所述的方法，其特征在于，所述将词向量输入自注意力层，得到意图分类结果，包括：
对于每一轮对话，将词向量输入至每一轮对话对应的句子级别自注意力层，输出得到句子级别隐状态；
将所有句子级别隐状态输入至轮次位置嵌入层，输出得到融合隐状态；
将融合隐状态输入至对话级别自注意力层，输出得到对话级别隐状态；
利用对话级别隐状态得到意图分类结果。
6.如权利要求5所述的方法，其特征在于，所述利用对话级别隐状态得到意图分类结果，包括：
将对话级别隐状态输入至分类层，输出得到意图分类结果。
7.如权利要求6所述的方法，其特征在于，所述分类层为Softmax分类层。
8.一种文档级多轮对话意图分类装置，其特征在于，包括：
获取模块，用于对于每一轮对话，获取文档文本；
转换模块，用于将文档文本转换为词向量；
输入模块，用于将词向量输入自注意力层，得到意图分类结果。
9.一种文档级多轮对话意图分类设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的文档级多轮对话意图分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述文档级多轮对话意图分类方法的步骤。
CN202010442254.4A 2020-05-22 2020-05-22 文档级多轮对话意图分类方法、装置、设备及存储介质 Active CN111597339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442254.4A CN111597339B (zh) 2020-05-22 2020-05-22 文档级多轮对话意图分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442254.4A CN111597339B (zh) 2020-05-22 2020-05-22 文档级多轮对话意图分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111597339A true CN111597339A (zh) 2020-08-28
CN111597339B CN111597339B (zh) 2023-06-30

Family

ID=72192489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442254.4A Active CN111597339B (zh) 2020-05-22 2020-05-22 文档级多轮对话意图分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111597339B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559715A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 态度的识别方法、装置、设备及存储介质
CN112905772A (zh) * 2021-02-10 2021-06-04 网易有道信息技术（北京）有限公司 语义相关性分析方法、装置及相关产品
CN113377933A (zh) * 2021-04-27 2021-09-10 中国联合网络通信集团有限公司 多轮对话的意图分类方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357716A1 (en) * 2016-06-11 2017-12-14 Apple Inc. Data driven natural language event detection and classification
WO2018014835A1 (zh) * 2016-07-19 2018-01-25 腾讯科技（深圳）有限公司 一种对话生成方法及装置、设备、存储介质
WO2018036555A1 (zh) * 2016-08-25 2018-03-01 腾讯科技（深圳）有限公司 会话处理方法及装置
CN108874782A (zh) * 2018-06-29 2018-11-23 北京寻领科技有限公司 一种层次注意力lstm和知识图谱的多轮对话管理方法
US20190012371A1 (en) * 2017-07-06 2019-01-10 International Business Machines Corporation Dialog agent for conducting task-oriented computer-based communications
CN109783812A (zh) * 2018-12-28 2019-05-21 中国科学院自动化研究所 基于自注意力机制的中文命名实体识别方法及装置
CN109902175A (zh) * 2019-02-20 2019-06-18 上海方立数码科技有限公司 一种基于神经网络结构模型的文本分类方法及分类系统
WO2019174450A1 (zh) * 2018-03-15 2019-09-19 北京京东尚科信息技术有限公司 一种对话生成的方法和装置
WO2019212729A1 (en) * 2018-05-03 2019-11-07 Microsoft Technology Licensing, Llc Generating response based on user's profile and reasoning on contexts
CN110543566A (zh) * 2019-09-06 2019-12-06 上海海事大学 一种基于自注意力近邻关系编码的意图分类方法
CN110569725A (zh) * 2019-08-05 2019-12-13 华中科技大学 一种基于自注意力机制的深度学习的步态识别系统与方法
CN110888967A (zh) * 2018-09-11 2020-03-17 阿里巴巴集团控股有限公司 搜索方法、装置及设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357716A1 (en) * 2016-06-11 2017-12-14 Apple Inc. Data driven natural language event detection and classification
WO2018014835A1 (zh) * 2016-07-19 2018-01-25 腾讯科技（深圳）有限公司 一种对话生成方法及装置、设备、存储介质
WO2018036555A1 (zh) * 2016-08-25 2018-03-01 腾讯科技（深圳）有限公司 会话处理方法及装置
US20190012371A1 (en) * 2017-07-06 2019-01-10 International Business Machines Corporation Dialog agent for conducting task-oriented computer-based communications
WO2019174450A1 (zh) * 2018-03-15 2019-09-19 北京京东尚科信息技术有限公司 一种对话生成的方法和装置
WO2019212729A1 (en) * 2018-05-03 2019-11-07 Microsoft Technology Licensing, Llc Generating response based on user's profile and reasoning on contexts
CN108874782A (zh) * 2018-06-29 2018-11-23 北京寻领科技有限公司 一种层次注意力lstm和知识图谱的多轮对话管理方法
CN110888967A (zh) * 2018-09-11 2020-03-17 阿里巴巴集团控股有限公司 搜索方法、装置及设备
CN109783812A (zh) * 2018-12-28 2019-05-21 中国科学院自动化研究所 基于自注意力机制的中文命名实体识别方法及装置
CN109902175A (zh) * 2019-02-20 2019-06-18 上海方立数码科技有限公司 一种基于神经网络结构模型的文本分类方法及分类系统
CN110569725A (zh) * 2019-08-05 2019-12-13 华中科技大学 一种基于自注意力机制的深度学习的步态识别系统与方法
CN110543566A (zh) * 2019-09-06 2019-12-06 上海海事大学 一种基于自注意力近邻关系编码的意图分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王玮蔚: "语音情感的特征提取和分类方法研究", 中国优秀硕士毕业论文 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559715A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 态度的识别方法、装置、设备及存储介质
CN112559715B (zh) * 2020-12-24 2023-09-22 北京百度网讯科技有限公司 态度的识别方法、装置、设备及存储介质
CN112905772A (zh) * 2021-02-10 2021-06-04 网易有道信息技术（北京）有限公司 语义相关性分析方法、装置及相关产品
CN112905772B (zh) * 2021-02-10 2022-04-19 网易有道信息技术（北京）有限公司 语义相关性分析方法、装置及相关产品
CN113377933A (zh) * 2021-04-27 2021-09-10 中国联合网络通信集团有限公司 多轮对话的意图分类方法及装置
CN113377933B (zh) * 2021-04-27 2023-05-30 中国联合网络通信集团有限公司 多轮对话的意图分类方法及装置

Also Published As

Publication number Publication date
CN111597339B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
KR102486348B1 (ko) 어텐션-기반의 시퀀스 변환 신경망
CN111460807B (zh) 序列标注方法、装置、计算机设备和存储介质
CN109670035B (zh) 一种文本摘要生成方法
EP4073787B1 (en) System and method for streaming end-to-end speech recognition with asynchronous decoders
CN111597339B (zh) 文档级多轮对话意图分类方法、装置、设备及存储介质
Zou et al. Topic-oriented spoken dialogue summarization for customer service with saliency-aware topic modeling
CN110326002B (zh) 使用在线注意的序列处理
CN110427625B (zh) 语句补全方法、装置、介质及对话处理系统
Bai et al. Listen attentively, and spell once: Whole sentence generation via a non-autoregressive architecture for low-latency speech recognition
CN108228576B (zh) 文本翻译方法及装置
CN109740158B (zh) 一种文本语义解析方法及装置
CN108665055B (zh) 一种图说生成方法及装置
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN115964467A (zh) 一种融合视觉情境的富语义对话生成方法
CN111401081A (zh) 神经网络机器翻译方法、模型及模型形成方法
CN110990555A (zh) 端到端检索式对话方法与系统及计算机设备
CN113157900A (zh) 意图识别方法、装置、计算机设备及存储介质
Mocialov et al. Transfer learning for british sign language modelling
CN111597816A (zh) 一种自注意力命名实体识别方法、装置、设备及存储介质
JP2024515199A (ja) 要素テキスト処理方法、装置、電子機器及び記憶媒体
CN111797220B (zh) 对话生成方法、装置、计算机设备和存储介质
KR102562386B1 (ko) 이미지 합성 시스템의 학습 방법
CN117093864A (zh) 文本生成模型训练方法以及装置
CN111832699A (zh) 用于神经网络的计算高效富于表达的输出层
Miao et al. A blstm and wavenet-based voice conversion method with waveform collapse suppression by post-processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant