CN108491386A - 自然语言理解方法及系统 - Google Patents

自然语言理解方法及系统 Download PDF

Info

Publication number
CN108491386A
CN108491386A CN201810224982.0A CN201810224982A CN108491386A CN 108491386 A CN108491386 A CN 108491386A CN 201810224982 A CN201810224982 A CN 201810224982A CN 108491386 A CN108491386 A CN 108491386A
Authority
CN
China
Prior art keywords
sentence
vector
model
deep learning
term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810224982.0A
Other languages
English (en)
Inventor
鞠剑勋
刘浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip International Travel Agency Co Ltd
Original Assignee
Shanghai Ctrip International Travel Agency Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip International Travel Agency Co Ltd filed Critical Shanghai Ctrip International Travel Agency Co Ltd
Priority to CN201810224982.0A priority Critical patent/CN108491386A/zh
Publication of CN108491386A publication Critical patent/CN108491386A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种自然语言理解方法及系统。自然语言理解方法包括以下步骤：S1、构建深度学习联合模型；所述深度学习联合模型的输入参数为语句的词向量，输出参数为语句的关键词向量和意图向量；S2、获取待理解语句，对所述待理解语句进行分词处理得到词向量；S3、将所述词向量输入所述深度学习联合模型，计算所述待理解语句的关键词向量和意图向量。本发明使用深度学习联合模型实现了自然语言理解，使得自然语言理解的准确率得到了大幅提升。

Description

自然语言理解方法及系统
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于深度学习的自然语言理解方法及系统。
背景技术
自然语言理解技术广泛应用于理解句子的语义，分为两个方面，一是理解句子的整体意图，二是提取句子中影响理解的关键信息，这些关键信息通常为名词和数词等，比如命名实体、日期等，这种可变信息往往被提前设定好类型，被称为槽(SLOT)。
目前，最广泛的中文自然语言理解系统，使用了传统自然语言处理(NLP)技术。其预先设定好所有需要处理的问题的模板，模板中空出可变的关键词作为槽，对用户的实际问题进行关键字提取，并在模板集合中进行匹配。在匹配的结果中，进行打分，筛选出最有可能的目标模板。模板的意图即对应实际问题的意图，模板中槽里的词即为关键词，由意图和关键词共同决定了对整句话的理解。
由于语言表达的多样性、语义理解的困惑度，特别是中文的歧义等现象非常常见，导致了通过模板提取意图的准确率比较低，而且由于自然语言处理中的上下文复杂性，对于复杂的前后有上下文关联的长语句，模板并不能很好地处理，导致召回率也同样比较低。同时该方法需要投入大量人力制定很多模板和规则，因此在实际应用中，基于传统自然语言处理的自然语言理解系统，在成本控制和用户反馈上都没有取得很好的效果。
发明内容
本发明要解决的技术问题是为了克服现有技术中传统自然语言处理技术准确率低的缺陷，提供一种自然语言理解方法及系统。
本发明是通过下述技术方案来解决上述技术问题：
一种自然语言理解方法，所述自然语言理解方法包括以下步骤：
S1、构建深度学习联合模型；所述深度学习联合模型的输入参数为语句的词向量，输出参数为语句的关键词向量和意图向量；
S2、获取待理解语句，对所述待理解语句进行分词处理得到词向量；
S3、将所述词向量输入所述深度学习联合模型，计算所述待理解语句的关键词向量和意图向量。
较佳地，所述深度学习联合模型包括长短时记忆网络模型和注意力模型；
步骤S1具体包括：
获取语句样本；
标注所述语句样本的实际的关键词向量和意图向量，并对所述语句样本进行分词处理，得到词向量样本；
将所述词向量样本输入所述长短时记忆网络模型；
将所述长短时记忆网络模型的输出向量输入所述注意力模型；
将所述注意力模型的输出参数与所述实际的关键词向量和意图向量进行比较，根据比较结果调整所述长短时记忆网络模型和所述注意力模型的参数；
迭代执行上述步骤，当所述输出参数的准确度在预设范围内时，得到最终的深度学习联合模型。
较佳地，当所述输出参数的准确度在预设范围内时，得到最终的深度学习联合模型的步骤，具体包括：
分别基于交叉熵损失函数计算每次迭代过程中获得的关键词向量和语句意图向量的第一损失和第二损失；
当所述第一损失和所述第二损失的和为最小值时，将当前的深度学习联合模型作为最终的深度学习联合模型。
较佳地，对所述待理解语句进行分词处理的步骤之前，还包括：
过滤所述待理解语句以去除所述待理解语句中的停用词。
本发明还提供一种自然语言理解系统，所述自然语言理解系统包括：
模型构建模块，用于构建深度学习联合模型；
所述深度学习联合模型的输入参数为语句的词向量，输出参数为语句的关键词向量和意图向量；
语句处理模块，用于获取待理解语句，并对所述待理解语句进行分词处理得到词向量；
计算模块，用于将所述词向量输入所述深度学习联合模型，计算所述待理解语句的关键词向量和意图向量。
较佳地，所述深度学习联合模型包括长短时记忆网络模型和注意力模型；
所述模型构建模块，具体包括：
样本获取单元，用于获取语句样本；
语句处理单元，用于标注所述语句样本的实际的关键词向量和意图向量，并对所述语句样本进行分词处理，得到词向量样本；
计算单元，用于将所述词向量样本输入所述长短时记忆网络模型进行计算，并将所述长短时记忆网络模型的输出向量输入所述注意力模型进行计算；
比较单元，用于将所述注意力模型的输出参数与所述实际的关键词向量和意图向量进行比较，根据比较结果调整所述长短时记忆网络模型和所述注意力模型的参数；
调用单元，用于重复调用所述样本获取单元、所述语句处理单元、所述计算单元和所述比较单元直至所述输出参数的准确度在预设范围内时，得到最终的深度学习联合模型。
较佳地，所述调用单元具体用于调用所述计算单元分别基于交叉熵损失函数计算每次迭代过程中获得的关键词向量和语句意图向量的第一损失和第二损失；
所述调用单元具体还用于调用所述比较单元，以当所述比较结果为所述第一损失和所述第二损失的和为最小值时，将当前的深度学习联合模型作为最终的深度学习联合模型。
较佳地，所述自然语言理解系统还包括：
语句预处理模块，用于过滤所述待理解语句以去除所述待理解语句中的停用词。
本发明的积极进步效果在于：本发明使用深度学习联合模型实现了自然语言理解，使得自然语言理解的准确率得到了大幅提升。
附图说明
图1为本发明实施例1的自然语言理解方法的流程图。
图2为图1中的步骤101的具体的流程图。
图3为本发明实施例2的自然语言理解系统的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例的自然语言理解方法包括以下步骤：
步骤101、构建深度学习联合模型。
其中，深度学习联合模型的输入参数为语句的词向量，输出参数为语句的关键词向量(槽信息)和意图向量。
具体的，如图2所示，本实施例中，深度学习联合模型包括长短时记忆网络模型和注意力模型，步骤101包括：
步骤101-1、获取语句样本。
步骤101-2、标注语句样本的实际的关键词向量和意图向量，并对语句样本进行分词处理，得到词向量样本。
步骤101-2中，标注的语句样本的实际的关键词向量(槽向量)和意图向量可以分别存储为槽词典文件和意图词典文件。
为了便于计算，可预设词向量样本中词的个数为m，不足部分用其他字符(例如，<pad>)补充完整，若语句样本中包括n条语句，则可将语句样本的词向量的转化为m×n的矩阵，表示为[x1,x2,…,xt,…]，将其作为输入参数，进行端对端模型的训练。其中，xt表征语句样本的词向量。
本实施例中，为了提高建模的准确度同时减少计算量，在对语句样本进行分词处理的步骤之前，还包括：
过滤语句样本以去除语句样本中的停用词，也即对语句进行去噪处理。
步骤101-3、将词向量样本输入长短时记忆网络模型进行计算。
(1)设定长短时记忆网络模型(Bi-LSTM)的当前时刻遗忘门单元和输入门单元的输出分别为ft和it，当前时刻cell状态的值为Ct，其中：
ft＝σ(Wf*[ht-1,xt]+bf)；
it＝σ(Wi*[ht-1,xt]+bi)；
Ct＝tanh(WC*[ht-1,xt]+bc)；
其中，xt为当前时刻的输入参数，ht-1为前一时刻隐藏层的状态，Wf、Wi和WC为遗忘门单元、输入门单元和cell状态的权值矩阵，bf、bi和bc分别为遗忘门单元、输入门单元和cell状态的偏置向量，σ为sigmoid激活函数，tanh为双曲正切函数。
(2)通过公式Ct＝ft*Ct-1+it*Ct更新cell的状态Ct；
(3)根据以下公式得出各个隐藏节点的输出ht，将ht依次连接，构成m维的特征向量：
ot＝σ(Wo*[ht-1,xt]+bo)；
ht＝ot*tanh(Ct)；
其中，Wo为长短时记忆网络模型的输出门单元的权值矩阵，bo为输出门单元的偏置向量，ot为输出门单元的输出。
(4)经过构建(1)-(3)步骤，得到正向输出fhi。
(5)将词向量的矩阵反向经过(1)-(3)步骤，得到反向输出bhi；
(6)将fhi和bhi合并得到Bi-LSTM的输出向量hi。
步骤101-4、将长短时记忆网络模型的输出向量输入注意力模型进行计算。
其中，Bi-LSTM的输出向量序列表示为[h1,h2,…,ht,…]，将其作为注意力模型(Attention)的输入，通过以下公式得到注意力向量[c1,c2,…,ct,…]，与输出序列合并作为语句中每个词的槽输出向量。
其中，αi,j为语句中的第j个词对第i个输出的attention权重参数。
同时，通过以下公式得到注意力向量[d1,d2,…,dt,…]：
并通过以下公式计算出语句的意图向量：
outputintent＝Wddi+bd；
其中，βi,j为语句中的第j个词对第i个输出的attention权重参数，Wd为注意力向量序列的权值矩阵，bd为偏置向量。
步骤101-5、将注意力模型的输出参数与实际的关键词向量和意图向量进行比较。
步骤101-6、判断输出参数的准确度是否在预设范围内。
当判断为否时，执行步骤101-7；当判断为是时，执行步骤101-8。
步骤101-7、调整长短时记忆网络模型和注意力模型的参数。并返回步骤101-1。
步骤101-8、将当前的深度学习联合模型作为最终的深度学习联合模型。
以下提供一种步骤101-5～101-8的可能实现的迭代方法：
基于交叉熵损失函数计算每次迭代过程中获得的关键词向量与实际的关键词向量的第一损失(loss1)，同时基于交叉熵损失函数计算每次迭代过程中获得的语句意图向量与实际的语句意图向量的第二损失(loss2)，使用梯度下降法使loss1+loss2最小，不断迭代训练得出最终的深度学习联合模型。也即当loss1+loss2为最小值时，将当前的深度学习联合模型作为最终的深度学习联合模型，否则继续迭代。
步骤102、获取待理解语句，对待理解语句进行分词处理得到词向量。
本实施例中，为了提供准确度同时减少计算量，在对待理解语句进行分词处理的步骤之前，还包括：
过滤待理解语句以去除待理解语句中的停用词，也即对待理解语句进行去噪处理。
步骤103、将词向量输入深度学习联合模型，计算待理解语句的关键词向量和意图向量。
步骤104、读取槽词典文件和意图词典文件，查询得出输入的待理解语句的关键词和意图(也即主题)。
本实施例中，使用深度学习联合模型实现了自然语言理解，使得自然语言理解的准确率得到了大幅提升。本发明可应用于各种领域，例如旅游领域的对话系统、客服机器人、产品售后咨询，其能准确、快速地理解用户输入的文本，或由语音转化得到的文本信息。经过比较试验，将原有传统自然语言处理方法应用于旅游领域，其中文自然语言理解的准确率仅为70％，而将本实施例的自然语言理解方法应用于旅游领域，准确率达到了95％，并且伴随语料库的增加准确率还可以获得提升。
实施例2
如图3所示，本实施例的自然语言理解系统包括：模型构建模块1、语句处理模块2、计算模块3和语句预处理模块4。
模型构建模块1用于构建深度学习联合模型。其中，深度学习联合模型的输入参数为语句的词向量，输出参数为语句的关键词向量和意图向量。
本实施例中，深度学习联合模型包括长短时记忆网络模型和注意力模型。模型构建模块1具体包括：样本获取单元11、语句处理单元12、计算单元13、比较单元14和调用单元15。
样本获取单元用于获取语句样本；语句处理单元用于标注语句样本的实际的关键词向量和意图向量，并对语句样本进行分词处理，得到词向量样本；计算单元用于将词向量样本输入长短时记忆网络模型进行计算，并将长短时记忆网络模型的输出向量输入注意力模型进行计算；比较单元用于将注意力模型的输出参数与实际的关键词向量和意图向量进行比较，根据比较结果调整长短时记忆网络模型和注意力模型的参数；调用单元用于重复调用样本获取单元、语句处理单元、计算单元和比较单元直至输出参数的准确度在预设范围内时，得到最终的深度学习联合模型。
本实施例中，语句处理单元对语句样本进行标注后，还将语句样本的实际的关键词向量(槽向量)和意图向量可以分别存储为槽词典文件和意图词典文件。
本实施例中，调用单元实现了对模型的迭代训练，具体的，调用单元用于调用计算单元分别基于交叉熵损失函数计算每次迭代过程中获得的关键词向量和语句意图向量的第一损失和第二损失；调用单元还用于调用比较单元，以当比较结果为第一损失和第二损失的和为最小值时，将当前的深度学习联合模型作为最终的深度学习联合模型。
语句处理模块2用于获取待理解语句，并对待理解语句进行分词处理得到词向量。
在进行分词处理之前，可使用语句预处理模块4过滤待理解语句以去除待理解语句中的停用词，也即对待理解语句进行去噪处理。语句处理模块则对经过去噪处理的语句进行分词处理。
计算模块3用于将词向量输入深度学习联合模型，计算待理解语句的关键词向量和意图向量。计算模块还用于读取槽词典文件和意图词典文件，查询得出输入的待理解语句的关键词和意图(也即主题)。
本实施例中，使用深度学习联合模型(只采用一种联合模型)实现了自然语言理解，可同时得出语句中的用户的意图和槽信息(关键词)，能准确且快速地对用户的问题进行响应，提升用户体验。且本实施例的自然语言理解系统的架构简单，大大降低了维护成本。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种自然语言理解方法，其特征在于，所述自然语言理解方法包括以下步骤：
S1、构建深度学习联合模型；所述深度学习联合模型的输入参数为语句的词向量，输出参数为语句的关键词向量和意图向量；
S2、获取待理解语句，对所述待理解语句进行分词处理得到词向量；
S3、将所述词向量输入所述深度学习联合模型，计算所述待理解语句的关键词向量和意图向量。
2.如权利要求1所述的自然语言理解方法，其特征在于，所述深度学习联合模型包括长短时记忆网络模型和注意力模型；
步骤S1具体包括：
获取语句样本；
标注所述语句样本的实际的关键词向量和意图向量，并对所述语句样本进行分词处理，得到词向量样本；
将所述词向量样本输入所述长短时记忆网络模型；
将所述长短时记忆网络模型的输出向量输入所述注意力模型；
将所述注意力模型的输出参数与所述实际的关键词向量和意图向量进行比较，根据比较结果调整所述长短时记忆网络模型和所述注意力模型的参数；
迭代执行上述步骤，当所述输出参数的准确度在预设范围内时，得到最终的深度学习联合模型。
3.如权利要求2所述的自然语言理解方法，其特征在于，当所述输出参数的准确度在预设范围内时，得到最终的深度学习联合模型的步骤，具体包括：
分别基于交叉熵损失函数计算每次迭代过程中获得的关键词向量和语句意图向量的第一损失和第二损失；
当所述第一损失和所述第二损失的和为最小值时，将当前的深度学习联合模型作为最终的深度学习联合模型。
4.如权利要求1所述的自然语言理解方法，其特征在于，对所述待理解语句进行分词处理的步骤之前，还包括：
过滤所述待理解语句以去除所述待理解语句中的停用词。
5.一种自然语言理解系统，其特征在于，所述自然语言理解系统包括：
模型构建模块，用于构建深度学习联合模型；
所述深度学习联合模型的输入参数为语句的词向量，输出参数为语句的关键词向量和意图向量；
语句处理模块，用于获取待理解语句，并对所述待理解语句进行分词处理得到词向量；
计算模块，用于将所述词向量输入所述深度学习联合模型，计算所述待理解语句的关键词向量和意图向量。
6.如权利要求5所述的自然语言理解系统，其特征在于，所述深度学习联合模型包括长短时记忆网络模型和注意力模型；
所述模型构建模块，具体包括：
样本获取单元，用于获取语句样本；
语句处理单元，用于标注所述语句样本的实际的关键词向量和意图向量，并对所述语句样本进行分词处理，得到词向量样本；
计算单元，用于将所述词向量样本输入所述长短时记忆网络模型进行计算，并将所述长短时记忆网络模型的输出向量输入所述注意力模型进行计算；
比较单元，用于将所述注意力模型的输出参数与所述实际的关键词向量和意图向量进行比较，根据比较结果调整所述长短时记忆网络模型和所述注意力模型的参数；
调用单元，用于重复调用所述样本获取单元、所述语句处理单元、所述计算单元和所述比较单元直至所述输出参数的准确度在预设范围内时，得到最终的深度学习联合模型。
7.如权利要求6所述的自然语言理解系统，其特征在于，所述调用单元具体用于调用所述计算单元分别基于交叉熵损失函数计算每次迭代过程中获得的关键词向量和语句意图向量的第一损失和第二损失；
所述调用单元具体还用于调用所述比较单元，以当所述比较结果为所述第一损失和所述第二损失的和为最小值时，将当前的深度学习联合模型作为最终的深度学习联合模型。
8.如权利要求5所述的自然语言理解系统，其特征在于，所述自然语言理解系统还包括：
语句预处理模块，用于过滤所述待理解语句以去除所述待理解语句中的停用词。
CN201810224982.0A 2018-03-19 2018-03-19 自然语言理解方法及系统 Pending CN108491386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810224982.0A CN108491386A (zh) 2018-03-19 2018-03-19 自然语言理解方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810224982.0A CN108491386A (zh) 2018-03-19 2018-03-19 自然语言理解方法及系统

Publications (1)

Publication Number Publication Date
CN108491386A true CN108491386A (zh) 2018-09-04

Family

ID=63339876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810224982.0A Pending CN108491386A (zh) 2018-03-19 2018-03-19 自然语言理解方法及系统

Country Status (1)

Country Link
CN (1) CN108491386A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241533A (zh) * 2018-09-06 2019-01-18 科大国创软件股份有限公司 一种基于自然语言处理的语意理解系统及方法
CN109299229A (zh) * 2018-11-30 2019-02-01 神思电子技术股份有限公司 一种自然语言对话系统意图深度学习方法
CN109408626A (zh) * 2018-11-09 2019-03-01 苏州思必驰信息科技有限公司 对自然语言进行处理的方法及装置
CN109471922A (zh) * 2018-09-29 2019-03-15 平安科技（深圳）有限公司 基于深度学习模型的案件类型识别方法、装置、设备及介质
CN109992785A (zh) * 2019-04-09 2019-07-09 腾讯科技（深圳）有限公司 基于机器学习的内容计算方法、装置及设备
CN110008332A (zh) * 2019-02-13 2019-07-12 阿里巴巴集团控股有限公司 通过强化学习提取主干词的方法及装置
CN110147532A (zh) * 2019-01-24 2019-08-20 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
CN110619047A (zh) * 2019-09-16 2019-12-27 出门问问信息科技有限公司 一种自然语言模型的构建方法、装置以及可读存储介质
CN111046674A (zh) * 2019-12-20 2020-04-21 科大讯飞股份有限公司 语义理解方法、装置、电子设备和存储介质
WO2020114269A1 (zh) * 2018-12-05 2020-06-11 中兴通讯股份有限公司 一种智能投顾的实现方法及系统
CN111353314A (zh) * 2020-02-28 2020-06-30 长沙千博信息技术有限公司 一种用于动漫生成的故事文本语义分析方法
CN111625634A (zh) * 2020-05-25 2020-09-04 泰康保险集团股份有限公司 词槽识别方法及装置、计算机可读存储介质、电子设备
CN111930977A (zh) * 2020-08-04 2020-11-13 腾讯音乐娱乐科技（深圳）有限公司 识别敏感信息的方法、装置、设备及存储介质
CN111046674B (zh) * 2019-12-20 2024-05-31 科大讯飞股份有限公司 语义理解方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095749A (zh) * 2016-06-03 2016-11-09 杭州量知数据科技有限公司 一种基于深度学习的文本关键词提取方法
CN107577763A (zh) * 2017-09-04 2018-01-12 北京京东尚科信息技术有限公司 检索方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095749A (zh) * 2016-06-03 2016-11-09 杭州量知数据科技有限公司 一种基于深度学习的文本关键词提取方法
CN107577763A (zh) * 2017-09-04 2018-01-12 北京京东尚科信息技术有限公司 检索方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BING LIU 等: ""Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling"", 《INTERSPEECH 2016》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241533A (zh) * 2018-09-06 2019-01-18 科大国创软件股份有限公司 一种基于自然语言处理的语意理解系统及方法
CN109471922A (zh) * 2018-09-29 2019-03-15 平安科技（深圳）有限公司 基于深度学习模型的案件类型识别方法、装置、设备及介质
CN109408626A (zh) * 2018-11-09 2019-03-01 苏州思必驰信息科技有限公司 对自然语言进行处理的方法及装置
CN109299229A (zh) * 2018-11-30 2019-02-01 神思电子技术股份有限公司 一种自然语言对话系统意图深度学习方法
CN109299229B (zh) * 2018-11-30 2021-02-19 神思电子技术股份有限公司 一种自然语言对话系统意图深度学习方法
CN111353013A (zh) * 2018-12-05 2020-06-30 中兴通讯股份有限公司 一种智能投顾的实现方法及系统
WO2020114269A1 (zh) * 2018-12-05 2020-06-11 中兴通讯股份有限公司 一种智能投顾的实现方法及系统
CN110147532A (zh) * 2019-01-24 2019-08-20 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
US11995406B2 (en) 2019-01-24 2024-05-28 Tencent Technology (Shenzhen) Company Limited Encoding method, apparatus, and device, and storage medium
CN110147532B (zh) * 2019-01-24 2023-08-25 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
TWI717826B (zh) * 2019-02-13 2021-02-01 開曼群島商創新先進技術有限公司 通過強化學習提取主幹詞的方法及裝置
CN110008332A (zh) * 2019-02-13 2019-07-12 阿里巴巴集团控股有限公司 通过强化学习提取主干词的方法及装置
CN109992785A (zh) * 2019-04-09 2019-07-09 腾讯科技（深圳）有限公司 基于机器学习的内容计算方法、装置及设备
CN109992785B (zh) * 2019-04-09 2023-07-25 腾讯科技（深圳）有限公司 基于机器学习的内容计算方法、装置及设备
CN110619047B (zh) * 2019-09-16 2022-09-02 出门问问信息科技有限公司 一种自然语言模型的构建方法、装置以及可读存储介质
CN110619047A (zh) * 2019-09-16 2019-12-27 出门问问信息科技有限公司 一种自然语言模型的构建方法、装置以及可读存储介质
CN111046674A (zh) * 2019-12-20 2020-04-21 科大讯飞股份有限公司 语义理解方法、装置、电子设备和存储介质
CN111046674B (zh) * 2019-12-20 2024-05-31 科大讯飞股份有限公司 语义理解方法、装置、电子设备和存储介质
CN111353314A (zh) * 2020-02-28 2020-06-30 长沙千博信息技术有限公司 一种用于动漫生成的故事文本语义分析方法
CN111625634A (zh) * 2020-05-25 2020-09-04 泰康保险集团股份有限公司 词槽识别方法及装置、计算机可读存储介质、电子设备
CN111625634B (zh) * 2020-05-25 2023-08-22 泰康保险集团股份有限公司 词槽识别方法及装置、计算机可读存储介质、电子设备
CN111930977A (zh) * 2020-08-04 2020-11-13 腾讯音乐娱乐科技（深圳）有限公司 识别敏感信息的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108491386A (zh) 自然语言理解方法及系统
CN107168945B (zh) 一种融合多特征的双向循环神经网络细粒度意见挖掘方法
CN106484664B (zh) 一种短文本间相似度计算方法
CN111090736B (zh) 问答模型的训练方法、问答方法、装置及计算机存储介质
CN107766320A (zh) 一种中文代词消解模型建立方法及装置
CN107818164A (zh) 一种智能问答方法及其系统
CN107066446A (zh) 一种嵌入逻辑规则的循环神经网络文本情感分析方法
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN108197294A (zh) 一种基于深度学习的文本自动生成方法
CN107038480A (zh) 一种基于卷积神经网络的文本情感分类方法
CN110059191A (zh) 一种文本情感分类方法及装置
CN108388554B (zh) 基于协同过滤注意力机制的文本情感识别系统
CN106777402B (zh) 一种基于稀疏神经网络的图像检索文本方法
CN107305578A (zh) 人机智能问答方法和装置
CN110825850B (zh) 一种自然语言主题分类方法及装置
CN108898639A (zh) 一种图像描述方法及系统
CN107357785A (zh) 主题特征词抽取方法及系统、情感极性判断方法及系统
CN108038539A (zh) 一种集成长短记忆循环神经网络与梯度提升决策树的方法
CN110472040A (zh) 评价信息的提取方法及装置、存储介质、计算机设备
CN110516251A (zh) 一种电商实体识别模型的构建方法、构建装置、设备和介质
CN110472244A (zh) 一种基于Tree-LSTM和情感信息的短文本情感分类方法
CN107908782A (zh) 一种基于情感分析的数据处理方法和装置
CN109858008A (zh) 基于深度学习的文书判决结果倾向性的方法及装置
Zhang et al. Performance comparisons of Bi-LSTM and Bi-GRU networks in Chinese word segmentation
CN113010655B (zh) 一种机器阅读理解的回答与干扰项生成方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904