CN116542256B - 一种融合对话上下文信息的自然语言理解方法与装置 - Google Patents

一种融合对话上下文信息的自然语言理解方法与装置 Download PDF

Info

Publication number
CN116542256B
CN116542256B CN202310818128.8A CN202310818128A CN116542256B CN 116542256 B CN116542256 B CN 116542256B CN 202310818128 A CN202310818128 A CN 202310818128A CN 116542256 B CN116542256 B CN 116542256B
Authority
CN
China
Prior art keywords
intention
word
user
sentence
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310818128.8A
Other languages
English (en)
Other versions
CN116542256A (zh
Inventor
刘昌松
孙文韬
张汝民
张超意
陈怀珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Shuye Intelligent Technology Co ltd
Original Assignee
Guangdong Shuye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Shuye Intelligent Technology Co ltd filed Critical Guangdong Shuye Intelligent Technology Co ltd
Priority to CN202310818128.8A priority Critical patent/CN116542256B/zh
Publication of CN116542256A publication Critical patent/CN116542256A/zh
Application granted granted Critical
Publication of CN116542256B publication Critical patent/CN116542256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于自然语言理解领域，提供了一种融合对话上下文信息的自然语言理解方法与装置。主旨在于提高多轮人机对话场景中自然语言理解的准确度，主要方案包括采用该反馈式的系统架构，自然语言理解模块可获取对话上下文相关信息并融合到其算法模型中，主要过程包括通过深度神经网络Transformer的编码器模型来将对话状态中维护的结构化信息融合进自然语言理解模型中，同时通过Transformer解码器模型来根据对话历史信息预测用户可能的后续意图，最后通过基于贝叶斯概率原理的计算模块将理解与预测的结果结合，最终得到最为符合对话上下文语境信息的理解结果。

Description

一种融合对话上下文信息的自然语言理解方法与装置
技术领域
本发明属于人工智能技术人机对话系统中的自然语言理解领域，具体是涉及一种融合对话上下文信息的自然语言理解方法与装置。
背景技术
现有的人机对话系统通常采用如图所示的单向管道架构，由语音识别、自然语言理解、对话状态跟踪、对话管理、自然语言生成、文本语音转换六大模块组成，信息在各个模块之间单向序贯地流动。其中自然语言理解、对话状态跟踪和对话管理三大模块起着最核心的作用。自然语言理解模块负责理解和提取用户输入语言中所包含的对话意图与关键信息，对话状态跟踪模块将自然语言理解对每句话的处理结果进行整理和保存，对话管理模块根据对话状态跟踪模块所维护的信息进行对话规划和决策。在现有的技术中，自然语言理解模块只根据当前的输入语句来理解其意图和提取信息，而不能利用对话状态跟踪和对话管理模块中所记录和预测的对话上下文信息来更准确地分析理解当前语句。
与本发明最相似的现有技术实现方案，以及现有技术的缺点：
其它相关专利的对比说明。
随着人工智能技术与人机对话系统的发展与推广，出现了多个对话系统中的意图识别应用等，具体如下：
专利CN202010250336《对话意图类型识别方法、多轮对话方法、装置及计算设备》将当前轮的文本进行实体和意图识别，并与历史对话的文本的实体与意图识别结果拼接得到一个综合的向量输入至分类器来对当前轮的意图进行识别。此发明虽然利用了部分的历史对话数据，但没有利用其它对对话任务和意图理解非常关键的信息，包括结构化的对话状态数据和系统在之前对话中对用户输出的行为。此外，该发明只是将每个文本上得到的结果做简单拼接，而没有采用Transformer编码器等先进的序列模型来处理对话的历史信息。
专利CN202210163464《用户对话意图的识别方法、装置、存储介质和电子设备》根据预设的置信度和规则来确定本轮对话的当前句子对应的对话意图，其意图判断规则可以结合前文中的意图来判断当前的意图，但是这种通过人工设定的规则来判断的方式缺乏灵活性和可迁移性，也没有严格的数学原理。
专利CN201810521599《一种基于记忆网络的多轮对话下的意图识别方法》使用循环神经网络对对话的历史记录进行编码并用注意力机制来选择跟当前相关的内容来辅助识别当前的对话意图，此发明只利用了基本的文本信息，没有利用文本词向量之外的其它可用特征，也没有利用结构化的对话状态等信息。
专利CN201910588106《一种任务型多轮对话中的复杂意图识别方法》使用循环神经网络来对对话的历史语句进行建模并用于预测当前的意图，同时还采用了一个基于马尔科夫模型的意图转移矩阵来预测用户下一个可能的意图。此发明对对话历史的建模仍然只是基于句子文本本身的信息，没有利用结构化的对话状态信息和系统的输出信息，基于马尔科夫模型的意图预测也只能根据前一轮次的意图来预测下一轮意图，不能很好的利用完整的对话历史信息来对后续意图做出更准确的预测。
专利CN202110458561《多轮对话的意图分类方法及装置》使用循环神经网络来对对话的历史语句进行建模并预测每一轮对话语句的意图，此发明仍然只是使用了文本本身的信息来对意图进行分类，循环神经网络对较长序列的建模表征能力也不及基于自注意力机制的Transformer网络模型。
专利CN202110909637《对话意图识别、用于识别对话意图的模型的训练方法》使用图神经网络来对对话历史中的任意两句话之间的关系进行建模分析并辅助用于预测每句话的对话意图，但是图神经网络对于任意长度的序列的建模能力通常不及基于自注意力机制的Transformer网络，采用Transformer网络来对多轮对话进行建模分析是更加灵活和高效的手段。
专利CN202111564185《一种自然语言对话系统意图深度学习方法》将待解析的对话文本与其语音及情绪信号一起输入深度学习模型进行对话意图的识别，提高了对话意图识别的准确率，但是此发明并未利用任何的对话历史和对话状态信息。
在多轮的人机对话中，对话的上下文信息通常会对正确地理解用户的语言起到重要的作用，同样的一句话，放在不同的对话上下文中，往往会导致不同的理解。例如，当用户与一个心理咨询预约系统对话时，用户当前输入语句是“上一次是周老师给我做的咨询”，其对应的意图可能理解为继续预约同一位咨询师(周老师)，也可能理解为用户这次想要预约其他不同的咨询师，哪种理解正确取决于之前已发生的对话内容以及之后将要发生的对话。因此，在多轮的人机对话系统中，对用户当前输入语句的准确理解需要结合对话前文的信息以及对后续可能对话的预测。
与专利CN 112307774 A的对比：
该专利通过将先前对话内容以及预设的对话解析模板共同作为对话理解模型的输入，理解分析当前的对话状态。该方法虽然可以利用对话历史和特定领域信息来提高对话理解准确度，但是需要手工来编写和选取相应的对话解析模板，这一过程依赖于领域专家的知识且费时费力。本专利申请无需手工编写对话解析模板或其它专门信息，充分运用机器学习方法从数据中学习对话理解模型，并且可以利用对话状态追踪模块自动输出的结构化信息，在提高对话理解准确度的同时减少了系统开发和训练对特定领域知识的需求。
与专利CN 113692617 A的对比：
该专利运用机器学习模型将当前对话输入与先前上下文信息结合来提升对话意图理解准确度。该专利并未明确提出运用何种机器学习模型进行对话上下文的建模以及当前意图理解，且其对话上下文信息仅包含过往的用户意图和实体。本专利申请所利用的对话上下文信息不仅包含用户的过往意图和实体，同时包含系统过往的行为与输出，因此对对话上下文信息的利用更加完整，更加符合对话理解的基本逻辑。本专利申请明确提出运用当前最先进的transformer序列化模型对对话上下文进行建模和预测，同时基于贝叶斯概率理论进行当前语句分析和对话上下文分析的结果融合，具有明确的模型和理论支持。
发明内容
为了提高多轮人机对话场景中自然语言理解的准确度，本发明将对话的历史信息以及对用户后续可能的对话意图的预测结合到自然语言理解的算法模型中，提出一种结合对话上下文信息的自然语言理解方法与系统。
本发明为了实现上述目的采用以下技术方案：
本发明提供了一种融合对话上下文信息的自然语言理解方法，包括以下步骤：
步骤1、特征提取：将用户输入的当前自然语言文本，即当前语句转化成数字向量表示，将非结构化的自然语言文本所包含的信息转换成计算机可以处理和分析的结构化信息，最终得到每个词语的词特征向量，从而得到词特征向量序列；
步骤2、意图识别和实体抽取：运用神经网络Transformer编码器模型处理输入自然语言文本中语句的分词的结果和特征提取后得到的词特征向量序列，利用Transformer编码器对意图识别和实体抽取，得到当前语句意图的推测概率和当前语句的各个词语的实体标注结果，即得到意图识别结果和实体抽取结果；
步骤3、意图融合：将步骤2得到的用户输入的当前语句的意图识别结果和由上一轮得到的基于对话历史记录D对用户可能在当前轮输入意图的预测进行结合后，得到当前用户输入语句的融合意图识别结果，即得到融合意图；
步骤4、对话状态跟踪：基于步骤3得到用户当前输入语句的融合意图识别结果和步骤2得到的实体抽取结果来填写一系列预先设定的对话状态属性的值，其中对话状态是{属性:值，……，属性:值}构成的集合，对话状态跟踪的结果最后通过one-hot编码方式转换成一个二值化的对话状态特征向量,即得到对话状态S，对话状态S作为接下来的用户意图预测和下一轮对话中意图识别的输入；
步骤5、用户意图预测：使用Transformer解码器模型根据对话过程的对话历史记录D与步骤3得到的融合意图结合实现对用户接下来最可能输入的意图预测，为下一轮次步骤2中的意图识别提供参考的基准；下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图。
上述技术方案中，步骤1具体包括以下步骤：
步骤1.1、中文分词：
分词操作通过序列标注方法将用户输入的自然语言文本中的各个词语识别并分离开，使得语句从一个字序列变成一个词序列表示，得到分词的结果；
步骤1.2、构建稀疏向量特征：
运用词典匹配或者正则表达式匹配方法，首先识别出输入的自然语言文本的关键词、短语、特殊形式这些特征信息，将得到的特征信息表示为一系列的“one-hot”稀疏向量并拼接在一起，得到输入语句的稀疏向量特征表示，从而得到稀疏向量特征；
步骤1.3、获取词嵌入向量特征：
基于分词的结果，从预训练的中文词嵌入词表中获取每个词语的词嵌入向量表示，从而得到词嵌入向量特征；
步骤1.4、特征融合：
稀疏向量特征包含了与任务相关的语言信息，而词嵌入向量特征则是表征了通用的语法语义信息，特征融合将两者结合在一起形成最终的特征向量，其操作为通过训练一个前馈神经网络将稀疏向量特征xs转换为一个稠密向量xd再与词嵌入向量特征xe拼接得到每个词语最终的词特征向量表示：
x＝[FFN(xs)，xe]
上式中FFN()指前馈神经网络。
上述技术方案中，步骤2具体包括以下步骤：
步骤2.1、意图识别
根据语句的步骤1得到的词语特征向量x和当前的对话状态向量S来识别当前用户输入语句所包含的意图，具体的为，
根据对话系统要完成的任务预先设定所有用户可能对系统说出的用户意图，意图识别成为一个文本分类问题，即语句的识别意图yi：
yi＝argmaxy(p(yi|X，S))
这里yi表示意图识别结果，i表示intent，X＝[x1，x2，x3，...]表示词特征向量序列，S表示当前的对话状态向量，argmaxy()求取使得目标函数得到最大值的yi；
p(yi|X，S)是由深度学习模型计算得到的条件概率，即综合了语句文本特征和对话状态特征对当前语句意图的识别概率，其具体计算步骤如下：
先运用Transformer编码器对词特征向量序列X进行编码，编码时加入特殊的CLS标识符并运用Transformer的自注意力机制将语句中每个词语的特征以及词语之间的相互关联特征汇总到CLS标识符的编码中输出，得到语句编码向量；
将状态向量S通过一个前馈神经网络转换成稠密的特征向量，与CLS标识符输出的语句编码向量拼接，最后再通过一个前馈神经网络和归一化层得到输出的意图推测概率p(yi|X，S)；
步骤2.2、实体抽取
实体抽取被建模为一个序列标注问题，即搜索一个实体标注序列 使得联合概率p(ye|X)最大化，这里的对应输入自然语言文本中每一个词的实体标注结果；
实体抽取也通过Transformer编码器对输入语句中的每个词进行编码，每个词语的特征向量通过一个前馈网络输入Transformer编码器，Transformer编码器使用自注意力机制将每个词语与语句中其它词语的特征融合，最后再通过一个条件随机场模型计算得到各个词语的实体标注结果，即得到实体抽取结果；
对意图识别和实体抽取联合建模与训练
意图识别和实体抽取是两个紧密关联的任务，不同的意图对应了不同的实体，训练Transformer和神经网络相关参数时将意图识别和实体抽取进行联合建模与训练，即在给定的已标注训练数据集上使用以下交叉熵损失函数进行模型参数训练：
其中LCE()为交叉熵损失函数。
上述技术方案中，步骤3包括以下步骤：
意图融合：当前用户输入的语句的识别意图yi和基于对话历史对用户可能输入意图的预测意图yi′结合后，得到新的当前用户输入语句的融合意图yi″：
其中argmaxy()求取使得目标函数得到最大值的融合意图yi″，yi表示当前用户输入语句的识别意图，X表示当前输入语句分词后的特征向量序列，S表示当前的对话状态，D表示对话历史记录，其中，
其中a表示在一个对话轮次中系统输出的行为，t表示当前对话的轮次，X表示词特征向量序列，S表示当前的对话状态，p(yi′|S，D)是基于对话历史记录和当前状态对用户可能输入的意图的预测，p(yi|S)是用户在不同对话状态下可能输入的意图的先验概率，先验概率可直接从训练数据中统计获得，即对应的情况在训练数据中出现的频率。
上述技术方案中，步骤5中，用户意图预测使用Transformer解码器模型根据对话过程的历史记录D对用户接下来最可能输入的意图进行预测，得到预测意图，预测意图为下一轮次的意图识别提供参考的基准，下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图。
上述技术方案中，预测意图yi′的具体实现如下：
对历史记录D中的均采用1-hot向量表示，拼接后通过前馈网络编码输入Transformer单向解码器，Transformer单向解码器从前向后依次将每一轮次的输入转换为内在状态表示，最后将t-1轮得到的内在状态通过一个前馈网络和softmax归一化后得出对用户在下一轮最有可能输入的意图的预测，即得到当前轮的预测意图yi′。
因为本发明采用上述技术方案，因此具备以下有益效果：
一、本发明采用该反馈式的系统架构，自然语言理解模块可获取对话上下文相关信息并融合到其算法模型中，主要过程包括通过深度神经网络Transformer的编码器模型来将对话状态中维护的结构化信息融合进自然语言理解模型中，同时通过Transformer解码器模型来根据对话历史信息预测用户可能的后续意图，最后通过基于贝叶斯概率原理的计算模块将理解与预测的结果结合，最终得到最为符合对话上下文语境信息的理解结果。
二、本发明基于当前用户输入的意图识别和基于对话历史对用户可能输入意图的预测进行意图融合，充分利用了输入语句本身和对话历史的信息，对话历史的信息包含了对话从第一轮直到当前的前一轮的关键历史信息，可以进一步提高对当前用户输入意图的准确理解，达到提高多轮对话中意图识别准确度的效果。
三、在多轮对话中，用户的输入意图往往受到之前的对话过程，尤其是系统对用户输出过的行为的影响。因此本发明引入一个单独的意图预测步骤，使用Transformer解码器模型根据对话过程的历史记录对用户接下来最可能输入的意图进行预测，为下一轮次的意图识别提供参考的基准。下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图。
四、本发明充分运用深度学习transformer神经网络对文本处理和序列建模的强大能力，使用transformer编码器将稠密的词义向量和稀疏的语言及对话状态向量联合编码，充分利用各种相关信息来提高意图识别的准确率，同时使用transformer解码器来对对话历史进行长序列的建模以及重要信息的筛选，根据对话不断展开的过程来动态预测用户接下来可能的输入意图，进一步提升系统理解和管理对话的能力。
附图说明：
图1为现有的人机对话系统通常采用构架图；
图2为一个典型的多轮对话系统与用户的对话过程图；
图3本发明对话系统架构；
图4为本发明处理流程简图；
图5为特征融合简图；
图6为意图识别和实体抽取示意框图；
图7为意图预测示意框图。
具体实施方式
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。
一个典型的多轮对话系统与用户的对话过程如图2所示。在多轮对话中，将系统与用户的一次问答(通常包含系统的一个提问和用户的一个回答)称为对话的一个轮次。在每个对话轮次中，对话系统通过自然语言理解模块理解当前用户输入语句所包含的意图和具体实体等信息，对话状态跟踪模块将当前轮次的信息与之前对话的信息相结合形成对话的历史记录和全局状态，对话管理模块再依据对话历史和状态决定下个轮次系统应该采取的行为并预测用户可能的回应。为了将对话的上下文信息融合到自然语言理解的算法模型中，本发明提出一种反馈式的对话系统架构及相关算法模型，将对话状态跟踪和对话管理模块的输出信息反馈给前端的自然语言理解模块，系统的架构如图3所示。
采用该反馈式的系统架构，自然语言理解模块可获取对话上下文相关信息并融合到其算法模型中，主要过程包括通过深度神经网络Transformer的编码器模型来将对话状态中维护的结构化信息融合进自然语言理解模型中，同时通过Transformer解码器模型来根据对话历史信息预测用户可能的后续意图，最后通过基于贝叶斯概率原理的计算模块将理解与预测的结果结合，最终得到最为符合对话上下文语境信息的理解结果。更具体的处理流程如图所示，下面对其中的每个步骤做具体的说明。
1、特征提取
特征提取步骤将用户输入的自然语言文本转化成数字向量表示，将非结构化的自然语言所包含的信息转换成计算机可以处理和分析的结构化信息，主要包括以下操作：
1.1中文分词：
分词操作通过序列标注方法将输入语句中的各个词语识别并分离开，使得语句从一个字序列变成一个词序列表示，例如“我想预约一位心理咨询老师”得到分词结果为[“我”,“想”,“预约”,“一位”,“心理咨询”,“老师”]。分词将输入语句变成更有意义的词语的序列，从而能够更加容易地从中提取出词性、词义等相关信息。
1.2构建稀疏向量特征：
运用词典匹配、正则表达式匹配等方法，可以首先识别出输入语句中的一些关键词、短语、特殊形式等特征，例如日期、时间、地点、称谓等，将这些通过文本匹配手段提取出的信息表示为一系列的“one-hot”稀疏向量并拼接在一起，得到输入语句的稀疏向量特征表示。
1.3获取词嵌入向量特征：
基于分词的结果，从预训练的中文词嵌入(word embedding)词表中获取每个词语的词嵌入向量表示，词嵌入向量通常是一个300维的稠密向量，通过在大规模的中文语料库上运用word2vec等方法预训练得到，包含了各个词语的语法和语义信息，对整个语句的理解分析起着重要的作用。
1.4特征融合：
稀疏向量特征通常包含了与特定任务相关的语言信息，而词嵌入向量特征则是表征了通用的语法语义信息，特征融合将两者结合在一起形成最终的特征向量，其操作如图所示，通过训练一个前馈神经网络将稀疏向量xs转换为一个稠密向量xd再与词嵌入向量xe拼接得到每个词语最终的特征向量表示
x＝[FFN(xs)，xe]
上式中FFN()指前馈神经网络。
2、意图识别和实体抽取
意图识别和实体抽取是自然语言理解的主要步骤，本发明运用神经网络Transformer编码器模型处理输入语句分词和特征提取后得到的词特征向量序列，利用Transformer编码器可同时适用于不同语言理解任务的特性对意图识别和实体抽取进行联合建模。为了结合对话语境信息来进行语句理解，本发明将对话状态跟踪得到的结果以向量的形式与Transformer编码器得到的语句表征向量结合，使得对语句进行意图识别时可以参考对话状态的信息，进一步提高意图识别的准确度。意图识别和实体抽取的模型架构与处理流程如图所示，主要包括三个步骤：
2.1意图识别
意图识别根据语句的特征向量信息和对话状态信息来识别当前用户输入语句所包含的意图，例如输入语句“我想预约周五的心理咨询”的意图识别结果为“预约咨询”。用户所有可能对系统说出的意图通常根据对话系统要完成的任务预先设定，例如“预约咨询”、“取消咨询”、“查询咨询”、“修改咨询”等。设定好所有可能的用户意图之后，意图识别成为一个文本分类问题，即
yi＝argmaxy p(yi|X，S)
这里yi表示意图识别结果，X＝[x1，x2，x3，...]表示语句中每个词的特征向量组成的序列，S表示由对话状态得到的状态向量，argmaxy()求取使得目标函数得到最大值的yi；。对话状态是由对话状态跟踪模块负责维护和更新的结构化数据，是对对话进行到当前已收集到的所有相关信息的汇总，通常以一系列的{属性：值}的字典形式表示，例如
当前对话状态：{
“用户id”：“usr123”，
“对话轮次”：3，
“已有预约”：NULL，
“已选日期”：“周五”，
“已选时间”：“3pm”，
“已选咨询师”：NULL，
……
}
为了让意图识别能够利用对话状态中的结构化信息，本发明将对话状态中的每一个{属性：值}转换为一个one-hot向量，并将所有得到的one-hot向量拼接成表示当前对话状态的状态向量S。然后按照以下方式来计算条件概率p(yi|X，S)，即综合了语句文本特征和对话状态特征对当前语句意图的推测概率：
先运用Transformer编码器对文本特征X进行编码，编码时加入特殊的CLS标识符并运用Transformer的自注意力机制将语句中每个词语的特征以及词语之间的相互关联特征汇总到CLS标识符的编码中输出；
将状态向量S通过一个前馈神经网络转换成稠密的特征向量，与CLS标识符输出的语句编码向量拼接，最后再通过一个前馈神经网络和归一化层得到输出概率p(yi|X，S)。
实体抽取
实体抽取被建模为一个序列标注问题，即搜索一个实体标注序列 使得联合概率p(ye|X)最大化，这里的对应输入语句中每一个词的实体标注结果，例如输入语句“我想预约周五的咨询”得到的实体抽取结果为其它词语的实体标注结果为空。
实体抽取也通过Transformer编码器对输入语句中的每个词进行编码。每个词语的特征向量通过一个前馈网络输入Transformer编码器，Transformer编码器使用自注意力机制将每个词语与语句中其它词语的特征融合，最后再通过一个条件随机场模型计算得到各个词语的实体标注结果。
联合建模与训练
意图识别和实体抽取通常是两个紧密关联的任务，不同的意图往往对应了不同的实体，反之亦然。因此本发明在训练Transformer和神经网络相关参数时将意图识别和实体抽取进行联合建模与训练，即在给定的已标注训练数据集上使用以下交叉熵损失函数进行模型参数训练
L指训练模型时的“损失函数”，“因此本发明在训练Transformer和神经网络相关参数时将意图识别和实体抽取进行联合建模与训练，即在给定的已标注训练数据集上使用以下交叉熵损失函数进行模型参数训练”，因为神经网络的训练过程已经非常标准化了，通常只需要给出训练用的损失函数即可。
3、意图融合
在前一步骤中，已根据输入语句的特征向量信息和对话状态信息对语句意图yi进行了识别，为了加入更多的对话历史信息，尤其是系统在之前曾对用户输出过的行为以及系统与用户之间的交互过程信息，本发明将对话历史记录：
加入到意图识别模型中，其中a表示在一个对话轮次中系统输出的行为，i表示用户相应的输入意图，s表示该轮次中的对话状态，t表示当前对话的轮次，因此D包含了对话从第一轮直到当前的前一轮的关键历史信息，可以进一步提高对当前用户输入意图的准确理解。加入对话历史记录后，用户意图的识别采用如下公式计算：
其中yi表示当前用户输入语句的意图，X表示当前输入语句分词后的特征向量序列，S表示当前的对话状态，D表示对话历史记录，p(yi|X，S)是在前面步骤2中计算的基于当前输入语句和对话状态的意图概率，p(yi|S，D)是基于对话历史记录和当前状态对用户可能输入的意图的预测，p(yi|S)是用户在不同对话状态下可能输入的意图的先验概率，可以通过从对话数据中统计得到。该公式将基于当前用户输入的意图识别和基于对话历史对用户可能输入意图的预测结合，充分利用了输入语句本身和对话历史的信息，达到提高多轮对话中意图识别准确度的效果，本发明将这一步骤称为意图融合。意图融合公式的证明过程如下：
基于贝叶斯公式对条件概率表达式进行分解可得：
假设X与D条件独立，则有
因此有
4、对话状态跟踪
对话状态跟踪基于当前输入语句的意图识别和实体抽取结果来填写一系列预先设定的对话状态属性的值。如前所述，对话状态是一系列的{属性:值}构成的集合，是对对话进行到当前轮次已经获取到的关键信息的提炼总结。对话状态中应该包含哪些属性以及这些属性的取值类型和范围是根据对话系统的应用场景和任务需求预先设定的，同时会设定一系列的规则来根据对话过程中用户输入语句所包含的意图和实体来填写或更新对话状态中相应的属性值，例如有如下规则：
IF用户意图＝预约咨询AND
THEN SET已选日期＝$日期
即当当前用户输入语句的意图是“预约咨询”而且实体抽取结果中包含“日期”时，将对话状态中的“已选日期”属性设定为“日期”实体所对应的取值。
对话状态跟踪基于这样的规则库在每一个轮次中更新对话状态中记录的信息，如果当前轮次用户输入的信息与之前已保存的信息不一致，则以最新获取的信息替换已有信息。对话状态跟踪的结果最后通过one-hot编码方式转换成一个二值化的对话状态特征向量S作为接下来的用户意图预测和下一轮对话中意图识别的输入。
5、意图预测
在多轮对话中，用户的输入意图往往受到之前的对话过程，尤其是系统对用户输出过的行为的影响。因此本发明引入一个单独的意图预测步骤，使用Transformer解码器模型根据对话过程的历史记录对用户接下来最可能输入的意图进行预测，为下一轮次的意图识别提供参考的基准。
对历史记录D中的均采用1-hot向量表示，拼接后通过前馈网络编码输入Transformer单向解码器，Transformer单向解码器从前向后依次将每一轮次的输入转换为内在状态表示，最后将t-1轮得到的内在状态通过一个前馈网络和softmax归一化后得出对用户在下一轮最有可能输入的意图的预测，即得到当前轮的预测意图yi′。

Claims (6)

1.一种融合对话上下文信息的自然语言理解方法，其特征在于，包括以下步骤：
步骤1、特征提取：将用户输入的当前自然语言文本，即当前语句转化成数字向量表示，将非结构化的自然语言文本所包含的信息转换成计算机可以处理和分析的结构化信息，最终得到每个词语的词特征向量，从而得到词特征向量序列；
步骤2、意图识别和实体抽取：运用神经网络Transformer编码器模型处理输入自然语言文本中语句的分词的结果和特征提取后得到的词特征向量序列，利用Transformer编码器对意图识别和实体抽取，得到当前语句意图的推测概率和当前语句的各个词语的实体标注结果，即得到意图识别结果和实体抽取结果；
步骤3、意图融合：将步骤2得到的用户输入的当前语句的意图识别结果和由上一轮得到的基于对话历史记录D对用户可能在当前轮输入意图的意图预测进行结合后，得到当前用户输入语句的融合意图识别结果，即得到融合意图；
步骤4、对话状态跟踪：基于步骤3得到用户当前输入语句的融合意图和步骤2得到的实体抽取结果来填写一系列预先设定的对话状态属性的值，其中对话状态是{属性:值，……，属性:值}构成的集合，对话状态跟踪的结果最后通过one-hot编码方式转换成一个二值化的对话状态特征向量,即得到对话状态S，对话状态S作为接下来的用户意图预测和下一轮对话中意图识别的输入；
步骤5、用户意图预测，使用Transformer解码器模型根据对话过程的对话历史记录D与步骤3得到的融合意图结合实现对用户接下来最可能输入的意图预测，为下一轮次步骤2中的意图识别提供参考的基准；下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图；步骤1具体包括以下步骤：
步骤1.1、中文分词：
分词操作通过序列标注方法将用户输入的自然语言文本中的各个词语识别并分离开，使得语句从一个字序列变成一个词序列表示，得到分词的结果；
步骤1.2、构建稀疏向量特征：
运用词典匹配或者正则表达式匹配方法，首先识别出输入的自然语言文本的关键词、短语、特殊形式这些特征信息，将得到的特征信息表示为一系列的“one-hot”稀疏向量并拼接在一起，得到输入语句的稀疏向量特征表示，从而得到稀疏向量特征；
步骤1.3、获取词嵌入向量特征：
基于分词的结果，从预训练的中文词嵌入词表中获取每个词语的词嵌入向量表示，从而得到词嵌入向量特征；
步骤1.4、特征融合：
稀疏向量特征包含了与任务相关的语言信息，而词嵌入向量特征则是表征了通用的语法语义信息，特征融合将两者结合在一起形成最终的特征向量，其操作为通过训练一个前馈神经网络将稀疏向量特征xs转换为一个稠密向量xd再与词嵌入向量特征xe拼接得到每个词语最终的词特征向量表示：
x＝[FFN(xs)，xe]
上式中FFN()指前馈神经网络；
步骤2具体包括以下步骤：
步骤2.1、意图识别
根据语句的步骤1得到的词语特征向量x和当前的对话状态向量S来识别当前用户输入语句所包含的意图，具体的为，语句的识别意图yi：
yi＝argmaxy(p(yi|X，S))
这里yi表示意图识别结果，i表示intent，X＝[x1，x2，x3，...]表示词特征向量序列，S表示当前的对话状态向量，argmaxy()求取使得目标函数得到最大值的yi；
p(yi|X，S)是由深度学习模型计算得到的条件概率，即综合了语句文本特征和对话状态特征对当前语句意图的识别概率，其具体计算步骤如下：
先运用Transformer编码器对词特征向量序列X进行编码，编码时加入特殊的CLS标识符并运用Transformer的自注意力机制将语句中每个词语的特征以及词语之间的相互关联特征汇总到CLS标识符的编码中输出，得到语句编码向量；
将状态向量S通过一个前馈神经网络转换成稠密的特征向量，与CLS标识符输出的语句编码向量拼接，最后再通过一个前馈神经网络和归一化层得到输出的意图推测概率p(yi|X，S)；
步骤2.2、实体抽取
实体抽取被建模为一个序列标注问题，即搜索一个实体标注序列 使得联合概率p(ye|X)最大化，这里的对应输入自然语言文本中每一个词的实体标注结果；
实体抽取也通过Transformer编码器对输入语句中的每个词进行编码，每个词语的特征向量通过一个前馈网络输入Transformer编码器，Transformer编码器使用自注意力机制将每个词语与语句中其它词语的特征融合，最后再通过一个条件随机场模型计算得到各个词语的实体标注结果，即得到实体抽取结果。
2.根据权利要求1所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，步骤3包括以下步骤：
意图融合：当前用户输入的语句的识别意图yi和基于对话历史对用户可能输入意图的预测意图yi′结合后，得到新的当前用户输入语句的融合意图yi″：
其中argmaxy()求取使得目标函数得到最大值的融合意图yi″，yi表示当前用户输入语句的识别意图，X表示当前输入语句分词后的特征向量序列，S表示当前的对话状态，D表示对话历史记录，其中，
其中a表示在一个对话轮次中系统输出的行为，t表示当前对话的轮次，X表示词特征向量序列，S表示当前的对话状态，p(yi′|S，D)是基于对话历史记录和当前状态对用户可能输入的意图的预测，p(yi|S)是用户在不同对话状态下可能输入的意图的先验概率，先验概率可直接从训练数据中统计获得，即对应的情况在训练数据中出现的频率。
3.根据权利要求1所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，步骤5中，用户意图预测使用Transformer解码器模型根据对话过程的历史记录D对用户接下来最可能输入的意图进行预测，得到预测意图，预测意图为下一轮次的意图识别提供参考的基准，下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图。
4.根据权利要求3所述的一种融合对话上下文信息的自然语言理解方法，其特征在于，预测意图yi′的具体实现如下：
对历史记录D中的均采用1-hot向量表示，拼接后通过前馈网络编码输入Transformer单向解码器，Transformer单向解码器从前向后依次将每一轮次的输入转换为内在状态表示，最后将t-1轮得到的内在状态通过一个前馈网络和softmax归一化后得出对用户在下一轮最有可能输入的意图的预测，即得到当前轮的预测意图yi′。
5.一种融合对话上下文信息的自然语言理解装置，其特征在于，包括以下模块：
特征提取模块：将用户输入的当前自然语言文本，即当前语句转化成数字向量表示，将非结构化的自然语言文本所包含的信息转换成计算机可以处理和分析的结构化信息，最终得到每个词语的词特征向量，从而得到词特征向量序列；
自然语言理解模块，包括：
意图识别和实体抽取：运用神经网络Transformer编码器模型处理输入自然语言文本中语句的分词的结果和特征提取后得到的词特征向量序列，利用Transformer编码器对意图识别和实体抽取，得到当前语句意图的推测概率和当前语句的各个词语的实体标注结果，即得到意图识别结果和实体抽取结果；
意图融合：将得到的用户输入的当前语句的意图识别结果和由上一轮得到的基于对话历史记录D对用户可能在当前轮输入意图的预测进行结合后，得到当前用户输入语句的融合意图识别结果，即得到融合意图；
对话状态跟踪模块：基于得到用户当前输入语句的融合意图和得到的实体抽取结果来填写一系列预先设定的对话状态属性的值，其中对话状态是{属性：值，……，属性：值}构成的集合，对话状态跟踪的结果最后通过one-hot编码方式转换成一个二值化的对话状态特征向量，即得到对话状态S，对话状态S作为接下来的用户意图预测和下一轮对话中意图识别的输入；
对话管理模块：使用Transformer解码器模型根据对话过程的对话历史记录D与得到的融合意图结合实现对用户接下来最可能输入的意图预测，为下一轮次意图识别提供参考的基准；下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图；
特征提取模块实现包括以下步骤：
步骤1.1、中文分词：
分词操作通过序列标注方法将用户输入的自然语言文本中的各个词语识别并分离开，使得语句从一个字序列变成一个词序列表示，得到分词的结果；
步骤1.2、构建稀疏向量特征：
运用词典匹配或者正则表达式匹配方法，首先识别出输入的自然语言文本的关键词、短语、特殊形式这些特征信息，将得到的特征信息表示为一系列的“one-hot”稀疏向量并拼接在一起，得到输入语句的稀疏向量特征表示，从而得到稀疏向量特征；
步骤1.3、获取词嵌入向量特征：
基于分词的结果，从预训练的中文词嵌入词表中获取每个词语的词嵌入向量表示，从而得到词嵌入向量特征；
步骤1.4、特征融合：
稀疏向量特征包含了与任务相关的语言信息，而词嵌入向量特征则是表征了通用的语法语义信息，特征融合将两者结合在一起形成最终的特征向量，其操作为通过训练一个前馈神经网络将稀疏向量特征xs转换为一个稠密向量xd再与词嵌入向量特征xe拼接得到每个词语最终的词特征向量表示：
x＝[FFN(xs)，xe]
上式中FFN()指前馈神经网络；
自然语言理解模块实现包括以下步骤：
步骤2.1、意图识别
根据得到的词语特征向量x和当前的对话状态向量S来识别当前用户输入语句所包含的意图，具体的为，
根据对话系统要完成的任务预先设定所有用户可能对系统说出的用户意图，意图识别成为一个文本分类问题，即语句的识别意图yi：
yi＝argmaxy(p(yi|X，S))
这里yi表示意图识别结果，i表示intent，X＝[x1，x2，x3，...]表示词特征向量序列，S表示当前的对话状态向量，argmaxy()求取使得目标函数得到最大值的yi；
p(yi|X，S)是由深度学习模型计算得到的条件概率，即综合了语句文本特征和对话状态特征对当前语句意图的识别概率，其具体计算步骤如下：
先运用Transformer编码器对词特征向量序列X进行编码，编码时加入特殊的CLS标识符并运用Transformer的自注意力机制将语句中每个词语的特征以及词语之间的相互关联特征汇总到CLS标识符的编码中输出，得到语句编码向量；
将状态向量S通过一个前馈神经网络转换成稠密的特征向量，与CLS标识符输出的语句编码向量拼接，最后再通过一个前馈神经网络和归一化层得到输出的意图推测概率p(yi|X，S)；
步骤2.2、实体抽取
实体抽取被建模为一个序列标注问题，即搜索一个实体标注序列 使得联合概率p(ye|X)最大化，这里的对应输入自然语言文本中每一个词的实体标注结果；
实体抽取也通过Transformer编码器对输入语句中的每个词进行编码，每个词语的特征向量通过一个前馈网络输入Transformer编码器，Transformer编码器使用自注意力机制将每个词语与语句中其它词语的特征融合，最后再通过一个条件随机场模型计算得到各个词语的实体标注结果，即得到实体抽取结果；
对意图识别和实体抽取联合建模与训练
意图识别和实体抽取是两个紧密关联的任务，不同的意图对应了不同的实体，训练Transformer和神经网络相关参数时将意图识别和实体抽取进行联合建模与训练，即在给定的已标注训练数据集上使用以下交叉熵损失函数进行模型参数训练：
其中LCE()为交叉熵损失函数；
意图融合：当前用户输入的语句的识别意图yi和基于对话历史对用户可能输入意图的预测意图yi′结合后，得到新的当前用户输入语句的融合意图yi″：
其中argmaxy()求取使得目标函数得到最大值的融合意图yi″，yi表示当前用户输入语句的识别意图，X表示当前输入语句分词后的特征向量序列，S表示当前的对话状态，D表示对话历史记录，其中，
其中a表示在一个对话轮次中系统输出的行为，t表示当前对话的轮次，X表示词特征向量序列，S表示当前的对话状态，p(yi′|S，D)是基于对话历史记录和当前状态对用户可能输入的意图的预测，p(yi|S)是用户在不同对话状态下可能输入的意图的先验概率，先验概率可直接从训练数据中统计获得，即对应的情况在训练数据中出现的频率。
6.根据权利要求5所述的一种融合对话上下文信息的自然语言理解装置，其特征在于，用户意图预测使用Transformer解码器模型根据对话过程的历史记录D对用户接下来最可能输入的意图进行预测，得到预测意图，预测意图为下一轮次的意图识别提供参考的基准，下一次轮次的意图识别将根据用户输入语句本身的信息和根据对话历史已作出的意图预测来综合判断用户最可能的意图。
CN202310818128.8A 2023-07-05 2023-07-05 一种融合对话上下文信息的自然语言理解方法与装置 Active CN116542256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310818128.8A CN116542256B (zh) 2023-07-05 2023-07-05 一种融合对话上下文信息的自然语言理解方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310818128.8A CN116542256B (zh) 2023-07-05 2023-07-05 一种融合对话上下文信息的自然语言理解方法与装置

Publications (2)

Publication Number Publication Date
CN116542256A CN116542256A (zh) 2023-08-04
CN116542256B true CN116542256B (zh) 2024-02-06

Family

ID=87454534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310818128.8A Active CN116542256B (zh) 2023-07-05 2023-07-05 一种融合对话上下文信息的自然语言理解方法与装置

Country Status (1)

Country Link
CN (1) CN116542256B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573845B (zh) * 2024-01-15 2024-05-24 之江实验室 一种面向跨领域人机协同作业的机器人自然语言理解方法
CN117874206B (zh) * 2024-01-17 2024-07-30 北京中数睿智科技有限公司 基于大模型的高效数据资产的自然语言识别加中文分词的查询方法
CN117834780B (zh) * 2024-03-05 2024-05-14 济南云上电子科技有限公司 一种智能外呼客户意图预测分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581375A (zh) * 2020-04-01 2020-08-25 车智互联（北京）科技有限公司 对话意图类型识别方法、多轮对话方法、装置及计算设备
CN111813904A (zh) * 2020-05-28 2020-10-23 平安科技（深圳）有限公司 多轮对话管理方法、装置和计算机设备
CN112699686A (zh) * 2021-01-05 2021-04-23 浙江诺诺网络科技有限公司 基于任务型对话系统的语义理解方法、装置、设备及介质
CN115292463A (zh) * 2022-08-08 2022-11-04 云南大学 一种基于信息抽取的联合多意图检测和重叠槽填充的方法
CN116150338A (zh) * 2023-02-22 2023-05-23 山东浪潮科学研究院有限公司 一种基于多轮对话的智能客服方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560505A (zh) * 2020-12-09 2021-03-26 北京百度网讯科技有限公司 一种对话意图的识别方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581375A (zh) * 2020-04-01 2020-08-25 车智互联（北京）科技有限公司 对话意图类型识别方法、多轮对话方法、装置及计算设备
CN111813904A (zh) * 2020-05-28 2020-10-23 平安科技（深圳）有限公司 多轮对话管理方法、装置和计算机设备
CN112699686A (zh) * 2021-01-05 2021-04-23 浙江诺诺网络科技有限公司 基于任务型对话系统的语义理解方法、装置、设备及介质
CN115292463A (zh) * 2022-08-08 2022-11-04 云南大学 一种基于信息抽取的联合多意图检测和重叠槽填充的方法
CN116150338A (zh) * 2023-02-22 2023-05-23 山东浪潮科学研究院有限公司 一种基于多轮对话的智能客服方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
利用深度去噪自编码器深度学习的指令意图理解方法;李瀚清 等;上海交通大学学报(第07期) *
李瀚清 等.利用深度去噪自编码器深度学习的指令意图理解方法.上海交通大学学报.2016,(第07期), *

Also Published As

Publication number Publication date
CN116542256A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN116542256B (zh) 一种融合对话上下文信息的自然语言理解方法与装置
US11615799B2 (en) Automated meeting minutes generator
CN111883110B (zh) 语音识别的声学模型训练方法、系统、设备及介质
CN112712804B (zh) 语音识别方法、系统、介质、计算机设备、终端及应用
CN113255755B (zh) 一种基于异质融合网络的多模态情感分类方法
CN108984683B (zh) 结构化数据的提取方法、系统、设备及存储介质
CN110321418B (zh) 一种基于深度学习的领域、意图识别和槽填充方法
US7805302B2 (en) Applying a structured language model to information extraction
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN112101044B (zh) 一种意图识别方法、装置及电子设备
CN111581970B (zh) 一种网络语境的文本识别方法、装置及存储介质
CN110210036A (zh) 一种意图识别方法及装置
US20230096805A1 (en) Contrastive Siamese Network for Semi-supervised Speech Recognition
CN115831102A (zh) 基于预训练特征表示的语音识别方法、装置及电子设备
CN111340006B (zh) 一种手语识别方法及系统
CN112183106A (zh) 一种基于音素联想及深度学习的语义理解方法及装置
Lee et al. Word-level emotion embedding based on semi-supervised learning for emotional classification in dialogue
CN117149977A (zh) 一种基于机器人流程自动化的智能催收机器人
CN112257432A (zh) 一种自适应意图识别方法、装置及电子设备
CN116361442A (zh) 基于人工智能的营业厅数据分析方法及系统
CN115238048A (zh) 一种联合意图识别和槽填充的快速交互方法
CN112150103B (zh) 一种日程设置方法、装置和存储介质
CN115795010A (zh) 一种外部知识辅助的多因素层次建模共情对话生成方法
CN115376547A (zh) 发音评测方法、装置、计算机设备和存储介质
CN114896396A (zh) 文本分类及模型训练方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant