CN108334496A - 用于特定领域的人机对话理解方法与系统及相关设备 - Google Patents
用于特定领域的人机对话理解方法与系统及相关设备 Download PDFInfo
- Publication number
- CN108334496A CN108334496A CN201810092029.5A CN201810092029A CN108334496A CN 108334496 A CN108334496 A CN 108334496A CN 201810092029 A CN201810092029 A CN 201810092029A CN 108334496 A CN108334496 A CN 108334496A
- Authority
- CN
- China
- Prior art keywords
- semantic
- layer
- current time
- word
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims description 38
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 210000001503 joint Anatomy 0.000 claims 1
- 238000000465 moulding Methods 0.000 claims 1
- 210000005036 nerve Anatomy 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 7
- 238000011282 treatment Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能领域，具体涉及一种用于特定领域的人机对话理解方法与系统及相关设备，目的在于提高对话理解的准确率。本发明人机对话系统的对话理解方法，接收用户当前输入词并将该词映射到向量空间；使用语义表示层，将历史词向量、语义标注信息、意图类别信息表示成向量；使用语义标注层获得当前词的语义标签；使用意图识别层获得当前词的意图类别。在模型训练时，引入了额外的词性信息，使用词性预测层预测下一个输入词的词性，通过对语义标注、意图识别、词性预测三个任务进行联合处理，充分利用三个任务间共享的语义信息，并使其互相提升；本发明逻辑清晰、效率高、准确率高，妥善解决了现有人机对话系统无法有效进行实时对话理解的技术问题。
Description
技术领域
本发明涉及人工智能领域，具体涉及一种用于特定领域的人机对话理解方法与系统及相关设备。
背景技术
对话理解是人机对话系统中的一项重要任务，包括语义标注和意图识别两个子任务。语义标注指的是为用户输入语句中的每个词分配一个语义标签，意图识别指的是判断每条用户输入语句的意图。
人机对话系统中的用户输入语句多为口语，且比较简短，具有句子形式多变，不统一的特点，使得语义标注和意图识别变得尤为困难。
现有的技术主要包括以下几种：
(1)传统的机器学习方法：该方法将语义标注任务视作序列标注问题，将意图识别任务视作多分类问题，并且将这两个问题分别进行处理。对于语义标注任务，该方法主要使用HMM(Hidden Markov Model，隐马尔科夫模型)和CRF(Conditional Random Field，条件随机场)进行处理；对于意图识别任务，主要使用支持向量机(SVM)进行处理。该方法的缺陷在于，模型的效果极大程度受到特征选择的影响，且特征选择的过程需要耗费大量的时间。并且，该方法忽略了语义信息，在复杂的对话理解任务中表现欠佳。
(2)基于深度学习的方法：该方法使用RNN(Recurrent Neural Networks，循环神经网络)、CNN(Convolutional Neural Networks，卷积神经网络)等深度模型，对用户输入进行建模，并分析其语义标签和意图类别。该方法的优点在于，不再受到特征选取的影响，并且可以利用浅层语义信息。但其缺陷在于，仍然将语义标注和意图识别两个任务单独处理，没有充分利用两个任务间共享的语义信息。
(3)基于联合深度学习的方法：该方法使用RNN、CNN等深度模型，对语义标注、意图识别两个任务进行联合处理。处理过程中，利用了在两个任务间共享的语义信息。但是，该方法仍然局限于使用用户输入的文本信息，导致两个任务间共享的语义信息未被充分利用。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种用于特定领域的人机对话理解方法与系统及相关设备，提高了对话理解的正确率。
本发明的第一方面，提出一种用于特定领域的人机对话理解方法，包括以下步骤：
步骤S1，获取用户在当前时刻输入的一个词，通过训练好的人机对话理解模型，计算该词对应的意图类别；
步骤S2，判断当前语句是否结束，若是，则以最后时刻的意图类别作为当前语句的意图类别；否则，转至步骤S1；
其中，
所述人机对话理解模型，包括：词向量层、语义表示层、语义标注层和意图识别层；
所述人机对话理解模型的训练方法为：
步骤A1，从训练数据集中读取一条训练语句；
步骤A2，按先后顺序从当前的训练语句中读取一个词，通过所述人机对话理解模型，得到该词对应的语义表示、语义标注信息和意图类别；
步骤A3，根据该词对应的语义表示、语义标注信息和意图类别，通过词性预测层，预测当前训练语句中下一个词的词性；
步骤A4，判断当前训练语句是否结束，若是，则以最后时刻的意图类别作为当前训练语句的意图类别，转至步骤A5；否则，转至步骤A2；
步骤A5，计算语义标注、意图识别和词性预测三个任务的联合损失函数，并判断所述联合损失函数是否收敛到最小值；若是，则训练结束；否则，调整所述词向量层、所述语义表示层、所述语义标注层、所述意图识别层，以及所述词性预测层的参数，并转至步骤A1。
优选地，步骤S1中“获取用户在当前时刻输入的一个词，通过训练好的人机对话理解模型，计算该词对应的意图类别”，具体包括：
步骤S11，获取用户在当前时刻输入的一个词，通过词向量层将该词映射到向量空间，得到当前时刻的词向量；
步骤S12，将所述当前时刻的词向量，以及上一时刻的语义表示、语义标注信息和意图类别输入语义表示层，得到当前时刻的语义表示；
步骤S13，将所述当前时刻的语义表示输入语义标注层，得到当前时刻的语义标注信息；将所述当前时刻的语义表示输入意图识别层，得到当前时刻的意图类别。
优选地，步骤A2中“按先后顺序从当前的训练语句中读取一个词，通过所述人机对话理解模型，得到该词对应的语义表示、语义标注信息和意图类别”，具体包括：
步骤A21，按先后顺序从当前的训练语句中读取一个词，通过所述词向量层将该词映射到向量空间，得到当前时刻的词向量；
步骤A22，将所述当前时刻的词向量，以及上一时刻的语义表示、语义标注信息和意图类别输入所述语义表示层，得到当前时刻的语义表示；
步骤A23，将所述当前时刻的语义表示输入所述语义标注层，得到当前时刻的语义标注信息；将所述当前时刻的语义表示输入所述意图识别层，得到当前时刻的意图类别。
优选地，所述联合损失函数为：
L＝(Lslot+Lintent+Lpos)-λR(θ)
其中，
Lslot＝-P(yslot)logP(zslot)
Lintent＝-P(yintent)logP(zintent)
Lpos＝-P(ypos)logP(zpos)
Lslot、Lintent和Lpos分别为语义标注、意图识别和词性预测任务的损失函数；P(yslot)、P(yintent)和P(ypos)分别为语义标注、意图识别和词性预测任务的预测概率分布；P(zslot)、P(zintent)和logP(zpos)分别为语义标注、意图识别、词性预测任务的真实概率分布；θ为神经网络中需要训练的参数集合；R(θ)为使用在参数集合θ上的正则项；λ为根据经验值设定的参数。
优选地，所述语义表示层由LSTM(Long Short-Term Memory，长短期记忆网络)模型构成。
优选地，所述语义标注层、所述意图识别层和所述词性预测层均由多层全连接神经网络构成，且所述语义标注层、所述意图识别层和所述词性预测层的参数互相独立，各不相同。
优选地，步骤A22中，“将所述当前时刻的词向量，以及上一时刻的语义标注信息和意图类别输入所述语义表示层，得到当前时刻的语义表示”，具体包括：
步骤A221，根据当前t时刻的词向量xt，以及上一时刻的语义标注信息SLOTt-1和意图类别INTENTt-1，计算历史信息向量
步骤A222，根据历史信息向量以及上一时刻的语义表示，利用LSTM模型计算当前时刻的语义表示ht：
ct＝ft⊙ct-1+it⊙gt
ht＝ot⊙tanh(ct)
其中，
α为意图类别所占的权重；k为经验参数，T为预设的输入语句的最大长度；Wf、Wi、Wc、Wo、Uf、Ui、Uc、Uo均为转移矩阵；bf、bi、bc、bo均为偏置向量；⊙表示逐元素对应相乘；ht为当前时刻LSTM模型的输出，ht-1为上一时刻LSTM模型的输出。
优选地，步骤A23中“将所述当前时刻的语义表示输入所述语义标注层，得到当前时刻的语义标注信息”，具体为：
根据所述当前时刻的语义表示ht，计算当前时刻的语义标注信息SLOTt：
其中，
为构成所述语义标注层的多层全连接神经网络的输出；为转移矩阵；为偏置向量；σ为ReLU(Rectified Linear Unit，线性整流函数)激活函数。
优选地，步骤A23中“将所述当前时刻的语义表示输入所述意图识别层，得到当前时刻的意图类别”，具体为：
根据所述当前时刻的语义表示ht，计算当前时刻的意图类别INTENTt：
其中，
为构成所述意图识别层的多层全连接神经网络的输出；为转移矩阵；为偏置向量；σ为ReLU激活函数。
优选地，步骤A3中“根据该词对应的语义表示、语义标注信息和意图类别，通过词性预测层，预测当前训练语句中下一个词的词性”，具体包括：
步骤A31，根据所述当前时刻的语义表示ht、所述当前时刻的语义标注信息SLOTt和所述当前时刻的意图类别INTENTt，计算上下文信息向量
步骤A32，使用所述上下文信息向量预测当前训练语句中下一个词的词性POSt+1：
其中，
α为意图类别所占的权重；为构成所述词性预测层的多层全连接神经网络的输出；为转移矩阵，为偏置向量，σ为ReLU激活函数。
本发明的第二方面，提出一种存储设备，其中存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的用于特定领域的人机对话理解方法。
本发明的第三方面，提出一种处理设备，包括：处理器和存储器；所述处理器，适于执行程序；所述存储设备，适于存储该程序；所述程序适于由处理器加载并执行，以实现上面所述的用于特定领域的人机对话理解方法。
本发明的第四方面，提出一种用于特定领域的人机对话理解系统，包括：人机对话理解模型，以及判断与控制模块；
所述人机对话理解模型，包括：词向量层、语义表示层、语义标注层和意图识别层；
所述词向量层，配置为：将当前输入的一个词映射到向量空间，得到当前时刻的词向量；
所述语义表示层，配置为：根据所述当前时刻的词向量，以及上一时刻的语义标注信息和意图类别，计算得到当前时刻的语义表示；
所述语义标注层，配置为：根据所述当前时刻的语义表示，计算得到当前时刻的语义标注信息；
所述意图识别层，配置为：根据所述当前时刻的语义表示，计算得到当前时刻的意图类别；
所述判断与控制模块，配置为：获取当前输入的一个词，通过所述人机对话理解模型计算该词的意图类别；重复执行上述操作，直到当前语句结束，以最后时刻的意图类别作为当前语句的意图类别。
优选的，所述人机对话理解模型，还包括：词性预测层；
所述人机对话理解系统，还包括：损失函数计算模块和训练控制模块；
其中，
所述词性预测层、所述损失函数计算模块和所述训练控制模块，均用于模型训练；
所述词性预测层，配置为：根据所述当前时刻的语义表示、所述当前时刻的语义标注信息和所述当前时刻的意图类别，预测当前训练语句中下一个词的词性；
相应地，所述判断与控制模块还配置为：控制所述词性预测层，预测当前训练语句中下一个词的词性；
所述损失函数计算模块，配置为：根据所述当前时刻的语义标注信息、所述当前时刻的意图类别和所述下一个词的词性，计算语义标注、意图识别和词性预测三个任务的联合损失函数；
所述训练控制模块，配置为：从训练数据集中读取一条训练语句，并通过所述判断与控制模块，控制所述人机对话理解模型计算该语句中每个词的语义标注信息、意图类别，以及该词对应的下一个词的词性；通过所述损失函数计算模块，计算所述联合损失函数；调整所述词向量层、所述语义表示层、所述语义标注层、所述意图识别层，以及所述词性预测层的参数；重复执行上述操作，直到所述联合损失函数收敛到最小值，结束训练。
优选地，所述语义表示层由LSTM模型构成，所述语义标注层、所述意图识别层和所述词性预测层均由多层全连接神经网络构成，且所述语义标注层、所述意图识别层和所述词性预测层的参数互相独立，各不相同。
本发明的有益效果：
本发明提出的用于特定领域的人机对话理解方法与系统，接收用户当前输入词并将该词映射到向量空间；使用语义表示层，将历史词向量、语义标注信息、意图类别信息表示成向量；使用语义标注层对当前词进行语义标注；使用意图识别层获得当前词的意图类别。在模型训练时，引入了额外的词性信息，使用词性预测层预测用户下一个输入词的词性，通过对语义标注、意图识别、词性预测三个任务进行联合处理，充分利用三个任务间共享的语义信息，并使其互相提升；使得语义信息在多个任务间得到了充分利用；另外，通过在语义标注和意图识别两个任务的基础上引入词性预测层，额外引入的词性信息可以更好地提升模型的准确率和效率，使得模型的性能得到最大化。
本发明逻辑清晰、效率高、准确率高，妥善解决了现有人机对话系统无法有效进行实时对话理解的技术问题。
附图说明
图1是本发明的人机对话理解方法实施例的流程示意图；
图2是本发明的人机对话理解方法实施例中模型训练流程示意图；
图3是本发明的人机对话理解方法实施例中，模型训练时的数据流向示意图；
图4是本发明的一种用于特定领域的人机对话理解系统实施例一的构成示意图；
图5是本发明的一种用于特定领域的人机对话理解系统实施例二的构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明公开了一种用于特定领域人机对话系统的对话理解方法，其中，所述对话理解方法可以对用户输入的每个词进行实时理解，包括语义标注和意图分类。这里的“特定领域”是相对于“开放领域”而言的，本发明的方法可以用于例如机场、车站、银行等某些特定领域的人机对话，而非针对开放式的话题。
图1是本发明的人机对话理解方法实施例的流程示意图。如图1所示，本实施例的对话理解方法包括以下步骤：
步骤S1，获取用户在当前时刻输入的一个词，通过训练好的人机对话理解模型，计算该词对应的意图类别；
步骤S2，判断当前语句是否结束，若是，则以最后时刻的意图类别作为当前语句的意图类别；否则，转至步骤S1。
其中，人机对话理解模型，包括：词向量层、语义表示层、语义标注层和意图识别层；语义表示层由LSTM模型构成，语义标注层、意图识别层和词性预测层均由多层全连接神经网络构成，且语义标注层、意图识别层和词性预测层的参数互相独立，各不相同。
图2是本发明的人机对话理解方法实施例中模型训练流程示意图。如图2所示，本实施例的模型训练方法包括以下步骤：
在步骤A1中，从训练数据集中读取一条训练语句。
在步骤A2中，按先后顺序从当前的训练语句中读取一个词wt，通过人机对话理解模型，得到该词对应的语义表示ht、语义标注信息SLOTt和意图类别INTENTt。具体步骤可以包括步骤A21至A23：
在步骤A21中，按先后顺序从当前的训练语句中读取一个词wt，通过词向量层将该词映射到向量空间，得到当前时刻的词向量xt。
在步骤A22中，将当前时刻的词向量xt，以及上一时刻的语义表示ht-1、语义标注信息SLOTt-1和意图类别INTENTt-1输入语义表示层，得到当前时刻的语义表示ht；当t＝1时，SLOTt-1和INTENTt-1为两个所有元素都为0的向量。为了更清楚地说明，该步骤又可以细分为步骤A221-A222。
在步骤A221中，如公式(1)所示，根据当前t时刻的词向量xt，以及上一时刻的语义标注信息SLOTt-1和意图类别INTENTt-1，计算历史信息向量
其中，α为意图类别所占的权重，如公式(2)所示：
k为经验参数，T为预设的输入语句的最大长度。
由于意图类别只有当整条语句输入完成之后才能判断，而我们的模型中对于语句中的每个词都判断其意图类别，并使用最后一个词的意图类别作为整个句子的意图类别，因此一条语句中的前几个词的意图类别可能判断不准确。而我们在步骤A221-A222所述的语义表示层，以及后面的步骤A31-A32所述的词性预测层中都使用了词语的意图类别信息。为了降低意图类别判断不准确带来的影响，我们需要对意图信息进行加权，用α作为意图类别所占的权重，且在t≤k时，这个权重值α＝0。
在步骤A222中，根据历史信息向量以及上一时刻的语义表示ht-1，利用LSTM模型按照下面的公式(3)-(8)进行计算，得到语义表示ht：
ct＝ft⊙ct-1+it⊙gt (6)
ht＝ot⊙tanh(ct) (8)
其中，Wf、Wi、Wc、Wo、Uf、Ui、Uc、Uo均为转移矩阵；bf、bi、bc、bo均为偏置向量；⊙表示逐元素对应相乘；ht为当前时刻LSTM模型的输出，ht-1为上一时刻LSTM模型的输出。
在训练过程中，虽然训练语句是现成的，但是读取词还是按照说话时的先后顺序进行，“当前时刻”就是相对于当前读取的这个词而言的，“上一时刻”，就是读取到上一个词的时候。
在步骤A23中，将当前时刻的语义表示ht输入语义标注层，得到当前时刻的语义标注信息SLOTt；将当前时刻的语义表示ht输入意图识别层，得到当前时刻的意图类别INTENTt。该步骤可以具体包括步骤A231-A232：
步骤A231，根据当前时刻的语义表示ht，计算当前时刻的语义标注信息SLOTt，如公式(9)所示，：
其中，为构成所述语义标注层的多层全连接神经网络的输出，如公式(10)所示：
为转移矩阵；为偏置向量；σ为ReLU激活函数；
步骤A232，根据所述当前时刻的语义表示ht，计算当前时刻的意图类别INTENTt，如公式(11)所示：
其中，为构成所述意图识别层的多层全连接神经网络的输出，如公式(12)所示：
为转移矩阵；为偏置向量；σ为ReLU激活函数。
需要说明的是，计算SLOTt与INTENTt这两个步骤可以并列执行，也可以先后执行，并不要求哪个步骤必须在前。这里表明步骤A231、A232只是为了看起来更有条理。
在步骤A3中，根据该词对应的语义表示ht、语义标注信息SLOTt和意图类别INTENTt，通过词性预测层，预测当前训练语句中下一个词的词性POSt+1。该步骤可以具体包括步骤A31-A32：
步骤A31，根据当前时刻的语义表示ht、当前时刻的语义标注信息SLOTt和当前时刻的意图类别INTENTt，计算上下文信息向量如公式(13)所示：
其中，α为意图类别所占的权重，计算方法如公式(2)所示；
步骤A32，使用所述上下文信息向量预测当前训练语句中下一个词的词性POSt+1，如公式(14)所示：
其中，为构成所述词性预测层的多层全连接神经网络的输出，如公式(15)所示：
为转移矩阵，为偏置向量，σ为ReLU激活函数。
在步骤A4中，判断当前训练语句是否结束，若是，则以最后时刻的意图类别作为当前训练语句的意图类别，转至步骤A5；否则，转至步骤A2。
在步骤A5中，计算语义标注、意图识别和词性预测三个任务的联合损失函数，并判断联合损失函数是否收敛到最小值；若是，则训练结束；否则，调整词向量层、语义表示层、语义标注层、意图识别层，以及词性预测层的参数，并转至步骤A1。
联合损失函数如公式(16)所示：
L＝(Lslot+Lintent+Lpos)-λR(θ) (16)
其中，Lslot、Lintent和Lpos分别为语义标注、意图识别和词性预测任务的损失函数，如公式(17)-(19)所示：
Lslot＝-P(yslot)logP(zslot) (17)
Lintent＝-P(yintent)logP(zintent) (18)
Lpos＝-P(ypos)logP(zpos) (19)
P(yslot)、P(yintent)和P(ypos)分别为语义标注、意图识别和词性预测任务的预测概率分布；P(zslot)、P(zintent)和P(zpos)分别为语义标注、意图识别、词性预测任务的真实概率分布；θ为神经网络中需要训练的参数集合；R(θ)为使用在参数集合θ上的正则项；λ为根据经验值设定的参数。
图3是本发明的人机对话理解方法实施例中，模型训练时的数据流向示意图。如图3所示，假设一条训练语句长度为T，我们在t＝1时刻读入一个词w1，把它输入词向量层进行词的向量化，得到词w1的词向量；然后将w1的词向量输入语义表示层，得到w1的语义表示；再将该语义表示向上输入语义标注层(左边的分支)和意图识别层(右边的分支)，分别进行语义标注和意图识别，得到词w1的语义标注信息和意图类别；最后，根据词w1的语义表示、语义标注信息和意图类别，利用词性预测层预测出下一个词w2的词性。我们在t＝2时刻读入一个词w2，把它输入词向量层进行词的向量化，得到w2的词向量；然后将w2的词向量，以及词w1的语义表示、语义标注信息和意图类别输入语义表示层，得到w2的语义表示；再将w2的语义表示向上输入左边的语义标注层和右边的意图识别层，分别进行语义标注和意图识别，得到词w2的语义标注信息和意图类别；最后，根据词w2的语义表示、语义标注信息和意图类别，利用词性预测层预测出下一个词w3的词性。可以看出，在计算w2的语义表示时，不但用到了w2的词向量，还用到了前一个词w1的语义表示、语义标注信息和意图类别。针对后面的词w3、w4、…、wT，计算方法与w2类似。
本实施例中，步骤S1中“获取用户在当前时刻输入的一个词，通过训练好的人机对话理解模型，计算该词对应的意图类别”，可以具体包括：
步骤S11，获取用户在当前t时刻输入的一个词wt，通过词向量层将该词映射到向量空间，得到当前时刻的词向量xt；
步骤S12，将所述当前时刻的词向量xt，以及上一时刻的语义表示ht-1、语义标注信息SLOTt-1和意图类别INTENTt-1输入语义表示层，得到当前时刻的语义表示ht；
步骤S13，将所述当前时刻的语义表示ht输入语义标注层，得到当前时刻的语义标注信息SLOTt；将所述当前时刻的语义表示ht输入意图识别层，得到当前时刻的意图类别INTENTt。
其中，步骤S12的具体计算过程与步骤A221-A222相同；步骤S13的具体计算过程与步骤A231-A232相同，这里不再赘述。
本发明实施例以ATIS(Airline Travel Information System)数据集作为案例数据集来说明本发明的效果。ATIS数据集由真实的航班预定对话构建而成，信息丰富且规模较大。该数据集对语句中的词进行了语义标注，并对每条语句进行了意图标注。
选取以下几种主流方法进行对比实验：传统机器学习方法TriCRF(TriangularConditional Random Field)，联合深度学习方法RecNN(Recursive Neural Network)、RecNN+Viterbi(Recursive Neural Network and Viterbi Algorithm)、SLU-LM(SpokenLanguage Understanding and Language Modeling)。对于语义标注和意图识别两个任务，分别使用F1值和正确率作为精度进行衡量。其中，F1值为统计学中兼顾正确率和召回率的统计指标。实验结果对比如表1所示：
表1实验结果对比
| 语义标注(F1值) | 意图类别(正确率) | |
| TriCRF | 94.42 | 93.07％ |
| RecNN | 93.22 | 95.4％ |
| RecNN+Viterbi | 93.96 | 95.4％ |
| SLU-LM | 94.47 | 98.43％ |
| 本发明 | 94.81 | 98.54％ |
从上表结果可以看出，本发明提出的方法，对人机对话的理解能力超出了其他所有的方法。
本发明的一种存储设备的实施例，其中存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的用于特定领域的人机对话理解方法。
本发明的一种处理设备的实施例，包括：处理器和存储器。其中，处理器适于执行程序；存储设备适于存储该程序；所述程序适于由处理器加载并执行，以实现上面所述的用于特定领域的人机对话理解方法。
图4是本发明的一种用于特定领域的人机对话理解系统实施例一的构成示意图。如图4所示，包括：人机对话理解模型10，以及判断与控制模块20。
其中，人机对话理解模型10，包括：词向量层11、语义表示层12、语义标注层13和意图识别层14。
词向量层11配置为：将当前输入的一个词映射到向量空间，得到当前时刻的词向量；语义表示层12配置为：根据当前时刻的词向量，以及上一时刻的语义标注信息和意图类别，计算得到当前时刻的语义表示；语义标注层13配置为：根据当前时刻的语义表示，计算得到当前时刻的语义标注信息；意图识别层14配置为：根据所述当前时刻的语义表示，计算得到当前时刻的意图类别。
判断与控制模块20配置为：获取当前输入的一个词，通过人机对话理解模型计算该词的意图类别；重复执行上述操作，直到当前语句结束，以最后时刻的意图类别作为当前语句的意图类别。
图5是本发明的一种用于特定领域的人机对话理解系统实施例二的构成示意图。如图5所示，该系统还包括：损失函数计算模块30和训练控制模块40。为了提高模型的理解能力，训练系统中的人机对话理解模型10，在图4的基础上还增加了：词性预测层15。
其中，词性预测层15、损失函数计算模块30和训练控制模块40，均用于模型训练。
词性预测层15配置为：根据当前时刻的语义表示、当前时刻的语义标注信息和当前时刻的意图类别，预测当前训练语句中下一个词的词性；相应地，判断与控制模块20还配置为：控制词性预测层15，预测当前训练语句中下一个词的词性。
损失函数计算模块30，配置为：根据当前时刻的语义标注信息、当前时刻的意图类别和下一个词的词性，计算语义标注、意图识别和词性预测三个任务的联合损失函数。
训练控制模块40配置为：从训练数据集中读取一条训练语句，并通过判断与控制模块20控制人机对话理解模型计算该语句中每个词的语义标注信息、意图类别，以及该词对应的下一个词的词性；通过损失函数计算模块，计算联合损失函数；并调整词向量层11、语义表示层12、语义标注层13、意图识别层14，以及词性预测层15的参数；重复执行上述操作，直到联合损失函数收敛到最小值，结束训练。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (15)
1.一种用于特定领域的人机对话理解方法，其特征在于，包括以下步骤：
步骤S1，获取用户在当前时刻输入的一个词，通过训练好的人机对话理解模型，计算该词对应的意图类别；
步骤S2，判断当前语句是否结束，若是，则以最后时刻的意图类别作为当前语句的意图类别；否则，转至步骤S1；
其中，
所述人机对话理解模型，包括：词向量层、语义表示层、语义标注层和意图识别层；
所述人机对话理解模型的训练方法为：
步骤A1，从训练数据集中读取一条训练语句；
步骤A2，按先后顺序从当前的训练语句中读取一个词，通过所述人机对话理解模型，得到该词对应的语义表示、语义标注信息和意图类别；
步骤A3，根据该词对应的语义表示、语义标注信息和意图类别，通过词性预测层，预测当前训练语句中下一个词的词性；
步骤A4，判断当前训练语句是否结束，若是，则以最后时刻的意图类别作为当前训练语句的意图类别，转至步骤A5；否则，转至步骤A2；
步骤A5，计算语义标注、意图识别和词性预测三个任务的联合损失函数，并判断所述联合损失函数是否收敛到最小值；若是，则训练结束；否则，调整所述词向量层、所述语义表示层、所述语义标注层、所述意图识别层，以及所述词性预测层的参数，并转至步骤A1。
2.根据权利要求1所述的人机对话理解方法，其特征在于，步骤S1中“获取用户在当前时刻输入的一个词，通过训练好的人机对话理解模型，计算该词对应的意图类别”，具体包括：
步骤S11，获取用户在当前时刻输入的一个词，通过词向量层将该词映射到向量空间，得到当前时刻的词向量；
步骤S12，将所述当前时刻的词向量，以及上一时刻的语义表示、语义标注信息和意图类别输入语义表示层，得到当前时刻的语义表示；
步骤S13，将所述当前时刻的语义表示输入语义标注层，得到当前时刻的语义标注信息；将所述当前时刻的语义表示输入意图识别层，得到当前时刻的意图类别。
3.根据权利要求1所述的人机对话理解方法，其特征在于，步骤A2中“按先后顺序从当前的训练语句中读取一个词，通过所述人机对话理解模型，得到该词对应的语义表示、语义标注信息和意图类别”，具体包括：
步骤A21，按先后顺序从当前的训练语句中读取一个词，通过所述词向量层将该词映射到向量空间，得到当前时刻的词向量；
步骤A22，将所述当前时刻的词向量，以及上一时刻的语义表示、语义标注信息和意图类别输入所述语义表示层，得到当前时刻的语义表示；
步骤A23，将所述当前时刻的语义表示输入所述语义标注层，得到当前时刻的语义标注信息；将所述当前时刻的语义表示输入所述意图识别层，得到当前时刻的意图类别。
4.根据权利要求1所述的人机对话理解方法，其特征在于，所述联合损失函数为：
L＝(Lslot+Lintent+Lpos)-λR(θ)
其中，
Lslot＝-P(yslot)logP(zslot)
Lintent＝-P(yintent)logP(zintent)
Lpos＝-P(ypos)logP(zpos)
Lslot、Lintent和Lpos分别为语义标注、意图识别和词性预测任务的损失函数；P(yslot)、P(yintent)和P(ypos)分别为语义标注、意图识别和词性预测任务的预测概率分布；P(zslot)、P(zintent)和logP(zpos)分别为语义标注、意图识别、词性预测任务的真实概率分布；θ为神经网络中需要训练的参数集合；R(θ)为使用在参数集合θ上的正则项；λ为根据经验值设定的参数。
5.根据权利要求3所述的人机对话理解方法，其特征在于，所述语义表示层由LSTM模型构成。
6.根据权利要求5所述的人机对话理解方法，其特征在于，所述语义标注层、所述意图识别层和所述词性预测层均由多层全连接神经网络构成，且所述语义标注层、所述意图识别层和所述词性预测层的参数互相独立，各不相同。
7.根据权利要求6所述的人机对话理解方法，其特征在于，步骤A22中，“将所述当前时刻的词向量，以及上一时刻的语义标注信息和意图类别输入所述语义表示层，得到当前时刻的语义表示”，具体包括：
步骤A221，根据当前t时刻的词向量xt，以及上一时刻的语义标注信息SLOTt-1和意图类别INTENTt-1，计算历史信息向量
步骤A222，根据历史信息向量以及上一时刻的语义表示，利用LSTM模型计算当前时刻的语义表示ht：
ct＝ft⊙ct-1+it⊙gt
ht＝ot⊙tanh(ct)
其中，
α为意图类别所占的权重；k为经验参数，T为预设的输入语句的最大长度；Wf、Wi、Wc、Wo、Uf、Ui、Uc、Uo均为转移矩阵；bf、bi、bc、bo均为偏置向量；⊙表示逐元素对应相乘；ht为当前时刻LSTM模型的输出，ht-1为上一时刻LSTM模型的输出。
8.根据权利要求7所述的人机对话理解方法，其特征在于，步骤A23中“将所述当前时刻的语义表示输入所述语义标注层，得到当前时刻的语义标注信息”，具体为：
根据所述当前时刻的语义表示ht，计算当前时刻的语义标注信息SLOTt：
其中，
为构成所述语义标注层的多层全连接神经网络的输出； 为转移矩阵；为偏置向量；σ为ReLU激活函数。
9.根据权利要求8所述的人机对话理解方法，其特征在于，步骤A23中“将所述当前时刻的语义表示输入所述意图识别层，得到当前时刻的意图类别”，具体为：
根据所述当前时刻的语义表示ht，计算当前时刻的意图类别INTENTt：
其中，
为构成所述意图识别层的多层全连接神经网络的输出； 为转移矩阵；为偏置向量；σ为ReLU激活函数。
10.根据权利要求9所述的人机对话理解方法，其特征在于，步骤A3中“根据该词对应的语义表示、语义标注信息和意图类别，通过词性预测层，预测当前训练语句中下一个词的词性”，具体包括：
步骤A31，根据所述当前时刻的语义表示ht、所述当前时刻的语义标注信息SLOTt和所述当前时刻的意图类别INTENTt，计算上下文信息向量
步骤A32，使用所述上下文信息向量预测当前训练语句中下一个词的词性POSt+1：
其中，
α为意图类别所占的权重；为构成所述词性预测层的多层全连接神经网络的输出；为转移矩阵，为偏置向量，σ为ReLU激活函数。
11.一种存储设备，其中存储有程序，其特征在于，所述程序适于由处理器加载并执行，以实现权利要求1-10中任一项所述的用于特定领域的人机对话理解方法。
12.一种处理设备，包括：
处理器，适于执行程序；以及
存储设备，适于存储该程序；
其特征在于，所述程序适于由处理器加载并执行，以实现权利要求1-10中任一项所述的用于特定领域的人机对话理解方法。
13.一种用于特定领域的人机对话理解系统，其特征在于，包括：人机对话理解模型，以及判断与控制模块；
所述人机对话理解模型，包括：词向量层、语义表示层、语义标注层和意图识别层；
所述词向量层，配置为：将当前输入的一个词映射到向量空间，得到当前时刻的词向量；
所述语义表示层，配置为：根据所述当前时刻的词向量，以及上一时刻的语义标注信息和意图类别，计算得到当前时刻的语义表示；
所述语义标注层，配置为：根据所述当前时刻的语义表示，计算得到当前时刻的语义标注信息；
所述意图识别层，配置为：根据所述当前时刻的语义表示，计算得到当前时刻的意图类别；
所述判断与控制模块，配置为：获取当前输入的一个词，通过所述人机对话理解模型计算该词的意图类别；重复执行，直到当前语句结束，以最后时刻的意图类别作为当前语句的意图类别。
14.根据权利要求13所述的人机对话理解系统，其特征在于：
人机对话理解模型，还包括：词性预测层；
所述人机对话理解系统，还包括：损失函数计算模块和训练控制模块；
其中，
所述词性预测层、所述损失函数计算模块和所述训练控制模块，均用于模型训练；
所述词性预测层，配置为：根据所述当前时刻的语义表示、所述当前时刻的语义标注信息和所述当前时刻的意图类别，预测当前训练语句中下一个词的词性；
相应地，所述判断与控制模块还配置为：控制所述词性预测层，预测当前训练语句中下一个词的词性；
所述损失函数计算模块，配置为：根据所述当前时刻的语义标注信息、所述当前时刻的意图类别和所述下一个词的词性，计算语义标注、意图识别和词性预测三个任务的联合损失函数；
所述训练控制模块，配置为：从训练数据集中读取一条训练语句，并通过所述判断与控制模块，控制所述人机对话理解模型计算该语句中每个词的语义标注信息、意图类别，以及该词对应的下一个词的词性；通过所述损失函数计算模块，计算所述联合损失函数；调整所述词向量层、所述语义表示层、所述语义标注层、所述意图识别层，以及所述词性预测层的参数；重复执行，直到所述联合损失函数收敛到最小值，结束训练。
15.根据权利要求14所述的人机对话理解系统，其特征在于，所述语义表示层由LSTM模型构成，所述语义标注层、所述意图识别层和所述词性预测层均由多层全连接神经网络构成，且所述语义标注层、所述意图识别层和所述词性预测层的参数互相独立，各不相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810092029.5A CN108334496B (zh) | 2018-01-30 | 2018-01-30 | 用于特定领域的人机对话理解方法与系统及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810092029.5A CN108334496B (zh) | 2018-01-30 | 2018-01-30 | 用于特定领域的人机对话理解方法与系统及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108334496A true CN108334496A (zh) | 2018-07-27 |
| CN108334496B CN108334496B (zh) | 2020-06-12 |
Family
ID=62927605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810092029.5A Expired - Fee Related CN108334496B (zh) | 2018-01-30 | 2018-01-30 | 用于特定领域的人机对话理解方法与系统及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108334496B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117480A (zh) * | 2018-08-17 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 词预测方法、装置、计算机设备及存储介质 |
| CN109358959A (zh) * | 2018-10-23 | 2019-02-19 | 电子科技大学 | 基于预测的数据分布式协同处理方法 |
| CN109492079A (zh) * | 2018-10-09 | 2019-03-19 | 北京奔影网络科技有限公司 | 意图识别方法及装置 |
| CN109597993A (zh) * | 2018-11-30 | 2019-04-09 | 深圳前海微众银行股份有限公司 | 语句分析处理方法、装置、设备以及计算机可读存储介质 |
| CN110134971A (zh) * | 2018-02-08 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 一种机器翻译的方法、设备以及计算机可读存储介质 |
| CN110209764A (zh) * | 2018-09-10 | 2019-09-06 | 腾讯科技（北京）有限公司 | 语料标注集的生成方法及装置、电子设备、存储介质 |
| CN110532558A (zh) * | 2019-08-29 | 2019-12-03 | 杭州涂鸦信息技术有限公司 | 一种基于句子结构深层解析的多意图识别方法及系统 |
| CN111198937A (zh) * | 2019-12-02 | 2020-05-26 | 泰康保险集团股份有限公司 | 对话生成及装置、计算机可读存储介质、电子设备 |
| CN111696535A (zh) * | 2020-05-22 | 2020-09-22 | 百度在线网络技术（北京）有限公司 | 基于语音交互的信息核实方法、装置、设备和计算机存储介质 |
| CN111767735A (zh) * | 2019-03-26 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 执行任务的方法、装置及计算机可读存储介质 |
| CN111985934A (zh) * | 2020-07-30 | 2020-11-24 | 浙江百世技术有限公司 | 智能客服对话模型构建方法及应用 |
| CN112037772A (zh) * | 2020-09-04 | 2020-12-04 | 平安科技（深圳）有限公司 | 基于多模态的响应义务检测方法、系统及装置 |
| CN112069302A (zh) * | 2020-09-15 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 会话意图识别模型的训练方法、会话意图识别方法及装置 |
| CN112417894A (zh) * | 2020-12-10 | 2021-02-26 | 上海方立数码科技有限公司 | 一种基于多任务学习的对话意图识别方法及识别系统 |
| CN117910539A (zh) * | 2024-03-19 | 2024-04-19 | 电子科技大学 | 一种基于异构半监督联邦学习的家庭特征识别方法 |
| CN117910539B (zh) * | 2024-03-19 | 2024-05-31 | 电子科技大学 | 一种基于异构半监督联邦学习的家庭特征识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041743B2 (en) * | 2007-04-17 | 2011-10-18 | Semandex Networks, Inc. | Systems and methods for providing semantically enhanced identity management |
| WO2015195744A1 (en) * | 2014-06-19 | 2015-12-23 | Nuance Communications, Inc. | Syntactic parser assisted semantic rule inference by generation of alternate parse trees |
| CN105389307A (zh) * | 2015-12-02 | 2016-03-09 | 上海智臻智能网络科技股份有限公司 | 语句意图类别识别方法及装置 |
| CN106776564A (zh) * | 2016-12-21 | 2017-05-31 | 张永成 | 一种基于知识图谱的语义识别方法及系统 |
-
2018
- 2018-01-30 CN CN201810092029.5A patent/CN108334496B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041743B2 (en) * | 2007-04-17 | 2011-10-18 | Semandex Networks, Inc. | Systems and methods for providing semantically enhanced identity management |
| WO2015195744A1 (en) * | 2014-06-19 | 2015-12-23 | Nuance Communications, Inc. | Syntactic parser assisted semantic rule inference by generation of alternate parse trees |
| CN105389307A (zh) * | 2015-12-02 | 2016-03-09 | 上海智臻智能网络科技股份有限公司 | 语句意图类别识别方法及装置 |
| CN106776564A (zh) * | 2016-12-21 | 2017-05-31 | 张永成 | 一种基于知识图谱的语义识别方法及系统 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134971A (zh) * | 2018-02-08 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 一种机器翻译的方法、设备以及计算机可读存储介质 |
| CN110134971B (zh) * | 2018-02-08 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 一种机器翻译的方法、设备以及计算机可读存储介质 |
| CN109117480B (zh) * | 2018-08-17 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 词预测方法、装置、计算机设备及存储介质 |
| CN109117480A (zh) * | 2018-08-17 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 词预测方法、装置、计算机设备及存储介质 |
| CN110209764A (zh) * | 2018-09-10 | 2019-09-06 | 腾讯科技（北京）有限公司 | 语料标注集的生成方法及装置、电子设备、存储介质 |
| CN109492079A (zh) * | 2018-10-09 | 2019-03-19 | 北京奔影网络科技有限公司 | 意图识别方法及装置 |
| CN109358959A (zh) * | 2018-10-23 | 2019-02-19 | 电子科技大学 | 基于预测的数据分布式协同处理方法 |
| CN109597993A (zh) * | 2018-11-30 | 2019-04-09 | 深圳前海微众银行股份有限公司 | 语句分析处理方法、装置、设备以及计算机可读存储介质 |
| CN111767735A (zh) * | 2019-03-26 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 执行任务的方法、装置及计算机可读存储介质 |
| CN110532558A (zh) * | 2019-08-29 | 2019-12-03 | 杭州涂鸦信息技术有限公司 | 一种基于句子结构深层解析的多意图识别方法及系统 |
| CN111198937A (zh) * | 2019-12-02 | 2020-05-26 | 泰康保险集团股份有限公司 | 对话生成及装置、计算机可读存储介质、电子设备 |
| CN111696535A (zh) * | 2020-05-22 | 2020-09-22 | 百度在线网络技术（北京）有限公司 | 基于语音交互的信息核实方法、装置、设备和计算机存储介质 |
| CN111696535B (zh) * | 2020-05-22 | 2021-10-26 | 百度在线网络技术（北京）有限公司 | 基于语音交互的信息核实方法、装置、设备和计算机存储介质 |
| CN111985934A (zh) * | 2020-07-30 | 2020-11-24 | 浙江百世技术有限公司 | 智能客服对话模型构建方法及应用 |
| CN112037772A (zh) * | 2020-09-04 | 2020-12-04 | 平安科技（深圳）有限公司 | 基于多模态的响应义务检测方法、系统及装置 |
| CN112037772B (zh) * | 2020-09-04 | 2024-04-02 | 平安科技（深圳）有限公司 | 基于多模态的响应义务检测方法、系统及装置 |
| CN112069302B (zh) * | 2020-09-15 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 会话意图识别模型的训练方法、会话意图识别方法及装置 |
| CN112069302A (zh) * | 2020-09-15 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 会话意图识别模型的训练方法、会话意图识别方法及装置 |
| CN112417894A (zh) * | 2020-12-10 | 2021-02-26 | 上海方立数码科技有限公司 | 一种基于多任务学习的对话意图识别方法及识别系统 |
| CN117910539A (zh) * | 2024-03-19 | 2024-04-19 | 电子科技大学 | 一种基于异构半监督联邦学习的家庭特征识别方法 |
| CN117910539B (zh) * | 2024-03-19 | 2024-05-31 | 电子科技大学 | 一种基于异构半监督联邦学习的家庭特征识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108334496B (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334496A (zh) | 用于特定领域的人机对话理解方法与系统及相关设备 | |
| WO2021077974A1 (zh) | 一种个性化对话内容生成方法 | |
| CN105244020B (zh) | 韵律层级模型训练方法、语音合成方法及装置 | |
| CN108647207A (zh) | 自然语言修正方法、系统、设备及存储介质 | |
| CN110532355A (zh) | 一种基于多任务学习的意图与槽位联合识别方法 | |
| CN102880611B (zh) | 一种语言建模方法及语言建模装置 | |
| CN108197736A (zh) | 一种基于变分自编码器和极限学习机的空气质量预测方法 | |
| CN111344779A (zh) | 训练和/或使用编码器模型确定自然语言输入的响应动作 | |
| CN106600059A (zh) | 基于改进rbf神经网络的智能电网短期负荷预测方法 | |
| CN110046710A (zh) | 一种神经网络的非线性函数极值优化方法及系统 | |
| CN110033281A (zh) | 一种智能客服至人工客服转换的方法及装置 | |
| CN106445915A (zh) | 一种新词发现方法及装置 | |
| CN111177392A (zh) | 一种数据处理方法及装置 | |
| CN110457470A (zh) | 一种文本分类模型学习方法及装置 | |
| CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
| CN116757652A (zh) | 一种基于大语言模型的在线招聘推荐系统及方法 | |
| CN105355091B (zh) | 终端区流量调控方法 | |
| CN113420508B (zh) | 一种基于lstm的机组组合计算方法 | |
| CN103763350A (zh) | 基于误差反向传播神经网络的web服务选择方法 | |
| CN110888944B (zh) | 基于多卷积窗尺寸注意力卷积神经网络实体关系抽取方法 | |
| CN108573275B (zh) | 一种在线分类微服务的构建方法 | |
| CN110428052A (zh) | 深度神经网络模型的构建方法、装置、介质及电子设备 | |
| Emami et al. | Exact training of a neural syntactic language model | |
| CN115796187A (zh) | 一种基于对话结构图约束的开放域对话方法 | |
| CN112989287B (zh) | 一种基于流式大数据的交通态势实时计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200612 Termination date: 20220130 |