CN109271637A - 一种语义理解方法及装置 - Google Patents

一种语义理解方法及装置 Download PDF

Info

Publication number
CN109271637A
CN109271637A CN201811158985.5A CN201811158985A CN109271637A CN 109271637 A CN109271637 A CN 109271637A CN 201811158985 A CN201811158985 A CN 201811158985A CN 109271637 A CN109271637 A CN 109271637A
Authority
CN
China
Prior art keywords
semantic understanding
semantic
vector
feature
theme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811158985.5A
Other languages
English (en)
Other versions
CN109271637B (zh
Inventor
宋时德
肖飞
胡加学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201811158985.5A priority Critical patent/CN109271637B/zh
Publication of CN109271637A publication Critical patent/CN109271637A/zh
Application granted granted Critical
Publication of CN109271637B publication Critical patent/CN109271637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种语义理解方法及装置，获取语义理解对象，依据语义理解对象和语义理解对象的上下文对象，预测主题，并依据语义理解对象、语义理解对象的上下文对象以及主题，确定语义理解对象的语义理解结果。因为将主题和上下文对象均作为语义理解的依据，且主题依据语义理解对象及其上下文对象得到，因此，具有较高的准确性。

Description

一种语义理解方法及装置
技术领域
本申请涉及电子信息领域，尤其涉及一种语义理解方法及装置。
背景技术
针对自然语言的语义理解是指，机器依据用户给出的自然语言，理解出用户的意图，进一步的，还可以做出相应的操作。
目前已有大量的针对自然语言的语义理解技术，基于循环神经网络的语义理解技术和基于卷积神经网络的语义理解技术是当前的两大主流技术。
然而目前的针对自然语言的语义理解方法在待理解的文本的内容过多的情况下，准确性会大大降低，例如，对于包括多轮问和答的对话，现有的语义理解方法得到的语义理解结果的错误率较高。
发明内容
本申请提供了一种语义理解方法及装置，目的在于解决语义理解结果的错误率较高的问题。
为了实现上述目的，本申请提供了以下技术方案：
一种语义理解方法，包括：
获取语义理解对象；
依据所述语义理解对象和所述语义理解对象的上下文对象，预测主题；
依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果。
可选的，所述依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果，包括：
将所述语义理解对象进行切分，得到切分结果；
依据所述切分结果以及所述主题，获取所述语义理解对象的第一语义特征；
依据所述语义理解对象的第一语义特征和所述上下文对象的第一语义特征，获取第二语义特征，所述上下文对象的第一语义特征依据所述主题和所述上下文对象确定；
依据所述第二语义特征确定所述语义理解对象的语义理解结果。
可选的，所述依据所述切分结果以及所述主题，获取所述语义理解对象的第一语义特征包括：
依据所述切分结果获取特征向量；
将所述特征向量和所述主题的向量进行线性变化后相加，得到第一结果；
对所述第一结果进行非线性变化，得到门控权重；
使用所述门控权重将所述加权平均特征向量和所述主题的向量进行加权平均，得到所述语义理解对象的第一语义特征向量。
可选的，所述将所述语义理解对象进行切分，得到切分结果包括：
对所述语义理解对象中的词向量和字向量进行变换，得到每一个词向量中的字向量的权重；
对于每一个词向量，将该词向量中的字向量的加权平均向量和该词向量中每一维的最大值，作为所述切分结果。
可选的，所述依据所述语义理解对象的第一语义特征和所述上下文对象的第一语义特征，获取第二语义特征；依据所述第二语义特征确定所述语义理解对象的语义理解结果，包括：
将所述语义理解对象输入预先训练得到的语义理解模型中，得到所述语义理解模型输出的所述语义理解对象的语义理解结果；
其中，所述语义理解模型对所述任意一个语义理解对象的处理过程包括：
计算目标对象的第一语义特征向量的加权平均特征向量，得到第二语义特征向量，将与所述第二语义特征向量匹配的语义，作为所述语义理解对象的语义理解结果，其中，所述目标对象包括该语义理解对象以及该语义理解对象的上下文对象。
可选的，所述语义理解模型对所述任意一个语义理解对象的处理过程还包括：
从所述切分结果中提取特征；
计算所述特征的加权平均向量；
对所述加权平均向量和所述主题的向量进行运算，得到所述第一语义特征向量。
可选的，所述对所述加权平均向量和所述主题的向量进行运算，得到所述第一语义特征向量包括：
将所述加权平均特征向量和所述主题的向量进行线性变化后相加，得到第一结果；
对所述第一结果进行非线性变化，得到门控权重；
使用所述门控权重将所述加权平均特征向量和所述主题的向量进行加权平均，得到所述第一语义特征向量。
可选的，所述语义理解模型对所述任意一个语义理解对象的处理过程还包括：
对该语义理解对象中的词向量和字向量进行变换，得到每一个词向量中的字向量的权重；
对于每一个词向量，将该词向量中的字向量的加权平均向量和该词向量中每一维的最大值，作为所述切分结果向量。
可选的，所述语义理解模型对所述任意一个语义理解对象的处理过程还包括：
在获取所述第一语义特征向量之前，使用预先训练的LDA主题模型，依据该语义理解对象以及该语义理解对象的上下文对象，预测所述主题。
可选的，所述语义理解模型的训练过程包括：
将样本对话和先验权重信息作为输入，将所述样本对话中预设的语句作为正样本，随机生成的语句作为负样本，训练所述语义理解模型，其中，所述先验权重信息为所述样本对话对所属的领域中各个词的权重信息。
一种语义理解装置，包括：
获取模块，用于获取语义理解对象；
预测模块，用于依据所述语义理解对象和所述语义理解对象的上下文对象，预测主题；
确定模块，用于依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果。
一种语义理解设备，包括：
存储器和处理器；
所述存储器用于存储一个或多个程序；
所述处理器用于执行所述一个或多个程序，以使得所述语义理解设备实现前述语义理解方法。
一种计算机可读介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述语义理解方法。
本申请所述的语义理解方法及装置，获取语义理解对象，依据语义理解对象和语义理解对象的上下文对象，预测主题，并依据语义理解对象、语义理解对象的上下文对象以及主题，确定语义理解对象的语义理解结果。因为将主题和上下文对象均作为语义理解的依据，且主题依据语义理解对象及其上下文对象得到，因此，具有较高的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种语义理解方法的流程图；
图2为本申请实施例公开的语义理解模型的结构示意图；
图3为本申请实施例公开的训练RNN模型的流程图；
图4为本申请实施例公开的训练得到的RNN模型对对话进行语义理解的流程图；
图5为本申请实施例公开的一种语义理解装置的结构示意图。
具体实施方式
本申请实施例公开的语义理解方法应用的一个典型场景为自动问答场景，例如，自动客服系统在接通客户的电话后，理解用户的语音，并做出相应的对答。
通常，在自动问答场景中，包括多轮问和答语句的交互(一问一答为一轮交互)，本申请实施例公开的语义理解方法的目的在于，提高对用户的多轮交互对话理解的准确性，从而较为准确地反馈用户。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例公开的一种语义理解方法，包括以下步骤：
S101：获取语义理解对象。
其中，语义理解对象是指语义理解的最小单位，通常，语义理解的最小单位为一句话(即相邻两次停顿之间的内容)。对于语音而言，语义理解对象可以为语音转换后的文字。
以上述自动问答场景为例，语义理解对象为用户的一句话转换的文本。
S102：依据语义理解对象和语义理解对象的上下文对象，预测主题。
具体的，可以预先设置多个主题，使用分类模型，通过语义理解对象以及其上下文中的字和/或词，预测主题。
需要说明的是，如果语义理解对象没有上下文对象，则认为上下文对象为空，仅依据语义理解对象预测主题。
例如，假设语义理解对象为“我想查话费”，模型依据“话费”预测语义理解对象所属的主题为“话费查询”。
S103：依据语义理解对象、语义理解对象的上下文对象和主题，确定语义理解对象的语义理解结果。
其中，语义理解对象的上下文对象为与语义理解对象满足预设时序关系的对象，预设时序关系包括但不限于：获取时刻与待理解对象的获取时刻的间隔不超过预设时长。
在实际中，预设时长可以依据经验设置，对于自动客服系统而言，预设时长可以涵盖用户与自动客服的一通对话中的所有用户语音。假设一个用户与自动客服的一通对话中包括用户的三句语音和自动客服的三句语音，假设用户的三句语音中的任意一句语音为语义理解对象，则其它两句语音为语义理解对象的上下文对象。但自动客服在其它时间段获取的用户语音(不包括在当前这一通对话)，因为与当前这一通对话的关联性不大，所以均不作为语义理解对象的上下文对象。
具体的，S103的具体实现方式为：将语义理解对象进行切分，得到切分结果，具体的，切分可以包括分词得到分词结果和/或分字得到分字结果。依据切分结果以及主题，获取语义理解对象的第一语义特征(如第一语义特征向量)，具体的，可以通过提取切分结果的特征和主题信息的特征，获取第一语义特征向量。依据语义理解对象的第一语义特征和上下文对象的第一语义特征，获取第二语义特征(如第二语义特征向量)，依据第二语义特征确定语义理解对象的语义理解结果，其中，上下文对象的第一语义特征的获取方式与语义理解对象的第一语义特征的获取方式相同。
进一步的，将所述语义理解对象进行切分，得到切分结果的过程可以为：对语义理解对象中的词向量和字向量进行变换，得到每一个词向量中的字向量的权重，对于每一个词向量，将该词向量中的字向量的加权平均向量和该词向量中每一维的最大值，作为所述切分结果。
获取第一语义特征的过程可以为：依据切分结果获取特征向量，将特征向量和主题的向量进行线性变化后相加，得到第一结果，对第一结果进行非线性变化，得到门控权重。使用门控权重将加权平均特征向量和主题的向量进行加权平均，得到语义理解对象的第一语义特征向量。
图1所示的流程中，依据语义理解对象和上下文对象，预测主题，并将主题、语义理解对象和上下文对象均作为确定语义理解对象的语义理解结果的依据，与现有的仅针对当前对象进行语义理解的方式相比，尤其对于包括多轮对话的场景，具有更高的准确性。
进一步的，S102和S103可以使用循环神经网络(Recurrent Neural Networks，RNN)模型或者LSTM模型实现，如图2所示，本实施例中构建的RNN模型包括：辅助输入层、输入层、语义表示层、上下文管理层和输出层。
其中，辅助输入层包括LDA主题模型，用于依据语义理解对象和语义理解对象的上下文对象，预测主题，并提取主题的向量。可选的，辅助输入层还包括用于存储预设的各个领域内的词的先验权重信息的存储模块。
输入层用于对语义理解对象进行分词和分字，提取词和字的向量，并将词和字的向量进行变换，得到输入向量。
具体的，变换依据的公式为：
其中，vij表示第i个词中的第j个字的权重，cij表示第i个词中的第j个字向量，表示第i个词向量，表示第i个词中不同的字向量的加权平均向量，表示字向量的加权平均向量和词向量中，每一维取两者中的最大值，得到的切分结果向量。例如，和的第一列中，取最大值，得到的第一列。
例如词“上网卡”，其重点在“卡”字上，经过上述变换后，最后得到的向量能够表达“上网卡”同时突出“卡”字。
假设一个语义理解对象中包括30个词，每个词的维度为100，每个词中每个字的维度也为100，经过上述变换后，对于这个词获得一个新的100维向量的表示。整体句子的提取的输入向量为一个(30，100)的二维矩阵。
可见，输入层即利用了词的信息又利用了字的信息，并且能够通过上述变换突出比较重要的字的向量。因此输入层能够得到多样化的输入特征，有益于提高模型预测的准确性。
语义表示层包括双向LSTM网络、attention(注意力)层和控制门。
其中，双向LSTM网络用于从输入向量提取特征。举例说明：双向LSTM网络的步长为30，层神经元节点个数为100个，则对于前向和后向LSTM每个隐层分别输出(1，100)维的特征，将前向特征和后向特征进行拼接，获得(30，200)维的隐层输出特征。
attention层用于计算双向LSTM网络中每个隐层的影响权重，并对各个隐层输出的特征矩阵使用权重进行加权平均。接上例，对于(30，200)维的隐层输出特征，加权平均后获得200维向量。
控制门用于将主题的向量和attention层输出的向量进行加权平均，得到第一语义特征向量。
具体的，使用公式： 将主题的向量和attention层输出的向量进行加权平均。
即，将主题的向量topic和attention层输出的向量Vecq进行线性变化再加和，再对加和结果进行一个非线性变化，获得门控权重τ。再使用门控权重τ对主题的向量和attention层输出的向量进行加权平均，得到第一语义特征向量
可见，控制门将主题和字词特征进行结合，使得第一语义特征向量表达的信息更为全面，且主题信息的加入，能够提高后续语义理解的准确性。
上下文管理层包括LSTM网络和attention层。
其中，LSTM网络用于从第一语义特征向量提取特征，以及从语义理解对象的上下文对象的第一语义特征向量提取特征。例如，对于一通对话中的第3句用户语音，除了提取第3句用户语音的第一语义特征向量的特征外，还要提取第1句和第2句用户语义的第一语义特征向量的特征。
attention层用于获取上下文对象的第一语义特征向量的权重，并使用权重，计算第一语义特征向量的加权平均向量，得到第二语义特征向量。
距离语义理解对象的时间越近的对象，权重越大，以加大和当前对话语句较近的历史语句的权重。
输出层用于从预先建立的语义特征库中，查询与第二语义特征向量匹配的语义。
需要说明的是，以上包括各个层的语义理解模型，仅为实现图1所示的流程的一种具体实现方式，也可能，模型中的某些层的功能通过其它方式而非上述举例中的“层”实现，例如，通过LSTM可以替换为使用网络或模型，或者使用非神经网络的形式实现。
下面以包括M句用户语句的用户与自动客服之间的对话为例，对上述RNN语义理解模型的训练和语义理解过程进行详细说明。
样本对话中包括用户语句和自动客服语句，且认为自动客服语句与用户语句匹配。假设样本对话中的每句话的时序为：用户语句1(即语义理解对象1)、自动客户语句1、用户语句2(语义理解对象2)、自动客户语句2、……用户语句i(即语义理解对象i)、……用户语句M(语义理解对象M)、自动客户语句M。
图3为RNN模型对样本对话的语义理解流程(即训练过程)：
S301：辅助输入层依据样本对话(即样本对话中的所有语句)，预测主题，并将主题输入语义表示层的控制门。
S302：辅助输入层将样本对话所属的领域中的词的预设权重输入输入层。
S303：输入层接收到语义理解对象i后，对语义理解对象i提取词向量和字向量，并按照上述变换方式对词向量和字向量进行变换，得到输入向量i。具体方式如前所述，这里不再赘述。
S304：语义表示层获取输入向量i的第一语义特征向量。获取第一语义特征向量的具体方式如前所述，这里不再赘述。
需要说明的是，attention层依据预设权重，计算双向LSTM网络中每个隐层的影响权重。
S305：上下文管理层从输入层获取输入向量i的第一语义特征，并依据输入向量i的第一语义特征向量和语义理解对象i的上下文对象的第一语义特征向量，获取第二语义特征向量。
获取第二语义特征向量的具体方式如前所述，这里不再赘述。
需要说明的是，由于语义理解对象1为对话中的第一句用户语句，所以不存在上文对象。且鉴于以上语句的时序，在S304之前，用户并没有输入用户语句2，所以，也不存在下文对象。
对于语义理解对象M，不存在下文对象。
对于其它语义理解对象，存在上文对象和下文对象，在实际中，为了提高效率，可以采用上文对象或下文对象之一。
S306：输出层从预先建立的语义特征库中，查询与第二语义特征向量匹配的语义。
需要说明的是，与第二语义特征向量匹配的语义可以为第二语义特征向量表达的语义，在此情况下，自动客服依据第二语义特征向量表达的语义，从问答库中查询第二语义特征向量表达的语义的反馈语句(即自动客服语句1)，并将查询到的语句反馈给客户。也可能，与第二语义特征向量匹配的语义为反馈语句(即自动客服语句1)。
以上两种情况下，使用的样本对话有所不同：在第二种情况下，样本对话中包括用户与自动客服的对话，以此为例，本实施例中，预先设置样本对话中的自动客服语句作为正例，将随机生成的语句作为反例，利用损失函数：
计算模型中的各个参数。
其中μi，分别是对话中的用户语句、正例以及反例中每个词的先验权重值，即通过辅助输入层增加的先验权重信息，atti，是用户语句、正例以及反例中每个词由上下文管理层中的attention层计算得到的权重。
第一种情况下的样本对话可以包括用户的问句，正例为用户的问句的正确语义，反例为随机生成的语义。参数的训练过程与第一种情况类似，这里不再赘述。
图4为训练得到的RNN模型对对话进行语义理解的流程，图4与图3相比的区别在于：
1、辅助输入层依据已获取的语义理解对象，预测主题。
因为不可能像训练阶段一样可以在预测之前就获取对话中的全部语句，所以，仅依据已获取的语义理解对象预测主题。也就是说，在接收到用户语句1的情况下，仅依据用户语句1预测主题，随着后续接收到其它用户语句，并使用全部已接受到的用户语句预测主题，预测的准确性逐渐提高。
2、辅助输入层不再向输入层输入对话所属的领域中的词的预设权重。
与图3相同的流程这里不再赘述，可参见图4。
图5为本申请实施例公开的一种语义理解装置，包括：获取模块、预测模块和确定模块。
获取模块用于获取语义理解对象。预测模块用于依据所述语义理解对象和所述语义理解对象的上下文对象，预测主题。确定模块用于依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果。
具体的，确定模块依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果的具体实现方式为：将所述语义理解对象进行切分，得到切分结果；依据所述切分结果以及所述主题，获取所述语义理解对象的第一语义特征；依据所述语义理解对象的第一语义特征和所述上下文对象的第一语义特征，获取第二语义特征，所述上下文对象的第一语义特征依据所述主题和所述上下文对象确定；依据所述第二语义特征确定所述语义理解对象的语义理解结果。
进一步的，确定模块依据所述切分结果以及所述主题，获取所述语义理解对象的第一语义特征的具体实现方式为：依据所述切分结果获取特征向量；将所述特征向量和所述主题的向量进行线性变化后相加，得到第一结果；对所述第一结果进行非线性变化，得到门控权重；使用所述门控权重将所述加权平均特征向量和所述主题的向量进行加权平均，得到所述语义理解对象的第一语义特征向量。
进一步的，确定模块将所述语义理解对象进行切分，得到切分结果的具体实现方式为：对所述语义理解对象中的词向量和字向量进行变换，得到每一个词向量中的字向量的权重；对于每一个词向量，将该词向量中的字向量的加权平均向量和该词向量中每一维的最大值，作为所述切分结果。
本实施例中，具体的，预测模块和确定模块构成图2所示的模型，其中，预测模块包括图2中的辅助输入层。确定模块包括图2中的输入层、语义表示层、上下文管理层和输出层。
进一步的，确定模块依据所述语义理解对象的第一语义特征和所述上下文对象的第一语义特征，获取第二语义特征；依据所述第二语义特征确定所述语义理解对象的语义理解结果的具体实现方式为：将所述语义理解对象输入预先训练得到的语义理解模型中，得到所述语义理解模型输出的所述语义理解对象的语义理解结果，其中，语义理解模型的上下文管理层计算目标对象的第一语义特征向量的加权平均特征向量，得到第二语义特征向量，将与所述第二语义特征向量匹配的语义，作为所述语义理解对象的语义理解结果，其中，所述目标对象包括该语义理解对象以及该语义理解对象的上下文对象。
确定模块依据所述切分结果以及所述主题，获取所述语义理解对象的第一语义特征的具体实现方式为：语义理解模型的语义表示层从所述切分结果中提取特征；计算所述特征的加权平均向量；对所述加权平均向量和所述主题的向量进行运算，得到所述第一语义特征向量。进一步的，对所述加权平均向量和所述主题的向量进行运算，得到所述第一语义特征向量的具体实现方式为：将所述加权平均特征向量和所述主题的向量进行线性变化后相加，得到第一结果；对所述第一结果进行非线性变化，得到门控权重；使用所述门控权重将所述加权平均特征向量和所述主题的向量进行加权平均，得到所述第一语义特征向量。
确定模块将所述语义理解对象进行切分，得到切分结果的具体实现方式为：语义理解模型的输入层对该语义理解对象中的词向量和字向量进行变换，得到每一个词向量中的字向量的权重；对于每一个词向量，将该词向量中的字向量的加权平均向量和该词向量中每一维的最大值，作为所述切分结果向量。
进一步的，预测模块依据所述语义理解对象和所述语义理解对象的上下文对象，预测主题的具体实现方式为：语义理解模型的辅助输入层使用预先训练的LDA主题模型，依据所述语义理解对象以及所述上下文对象，预测所述主题。
进一步的，语义理解模型的训练过程包括：将样本对话和先验权重信息作为输入，将所述样本对话中预设的语句作为正样本，随机生成的语句作为负样本，训练所述语义理解模型，其中，所述先验权重信息为所述样本对话对所属的领域中各个词的权重信息。
图5所示的语义理解装置，将语义理解对象所述的主题和上下文对象，通过作为语义理解的依据，具有较高的准确性。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种语义理解方法，其特征在于，包括：
获取语义理解对象；
依据所述语义理解对象和所述语义理解对象的上下文对象，预测主题；
依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果。
2.根据权利要求1所述的方法，其特征在于，所述依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果，包括：
将所述语义理解对象进行切分，得到切分结果；
依据所述切分结果以及所述主题，获取所述语义理解对象的第一语义特征；
依据所述语义理解对象的第一语义特征和所述上下文对象的第一语义特征，获取第二语义特征，所述上下文对象的第一语义特征依据所述主题和所述上下文对象确定；
依据所述第二语义特征确定所述语义理解对象的语义理解结果。
3.根据权利要求2所述的方法，其特征在于，所述依据所述切分结果以及所述主题，获取所述语义理解对象的第一语义特征包括：
依据所述切分结果获取特征向量；
将所述特征向量和所述主题的向量进行线性变化后相加，得到第一结果；
对所述第一结果进行非线性变化，得到门控权重；
使用所述门控权重将所述加权平均特征向量和所述主题的向量进行加权平均，得到所述语义理解对象的第一语义特征向量。
4.根据权利要求2所述的方法，其特征在于，所述将所述语义理解对象进行切分，得到切分结果包括：
对所述语义理解对象中的词向量和字向量进行变换，得到每一个词向量中的字向量的权重；
对于每一个词向量，将该词向量中的字向量的加权平均向量和该词向量中每一维的最大值，作为所述切分结果。
5.根据权利要求2所述的方法，其特征在于，所述依据所述语义理解对象的第一语义特征和所述上下文对象的第一语义特征，获取第二语义特征；依据所述第二语义特征确定所述语义理解对象的语义理解结果，包括：
将所述语义理解对象输入预先训练得到的语义理解模型中，得到所述语义理解模型输出的所述语义理解对象的语义理解结果；
其中，所述语义理解模型对所述任意一个语义理解对象的处理过程包括：
计算目标对象的第一语义特征向量的加权平均特征向量，得到第二语义特征向量，将与所述第二语义特征向量匹配的语义，作为所述语义理解对象的语义理解结果，其中，所述目标对象包括该语义理解对象以及该语义理解对象的上下文对象。
6.根据权利要求5所述的方法，其特征在于，所述语义理解模型对所述任意一个语义理解对象的处理过程还包括：
从所述切分结果中提取特征；
计算所述特征的加权平均向量；
对所述加权平均向量和所述主题的向量进行运算，得到所述第一语义特征向量。
7.根据权利要求6所述的方法，其特征在于，所述对所述加权平均向量和所述主题的向量进行运算，得到所述第一语义特征向量包括：
将所述加权平均特征向量和所述主题的向量进行线性变化后相加，得到第一结果；
对所述第一结果进行非线性变化，得到门控权重；
使用所述门控权重将所述加权平均特征向量和所述主题的向量进行加权平均，得到所述第一语义特征向量。
8.根据权利要求5或6所述的方法，其特征在于，所述语义理解模型对所述任意一个语义理解对象的处理过程还包括：
对该语义理解对象中的词向量和字向量进行变换，得到每一个词向量中的字向量的权重；
对于每一个词向量，将该词向量中的字向量的加权平均向量和该词向量中每一维的最大值，作为所述切分结果向量。
9.根据权利要求8所述的方法，其特征在于，所述语义理解模型对所述任意一个语义理解对象的处理过程还包括：
在获取所述第一语义特征向量之前，使用预先训练的LDA主题模型，依据该语义理解对象以及该语义理解对象的上下文对象，预测所述主题。
10.根据权利要求5所述的方法，其特征在于，所述语义理解模型的训练过程包括：
将样本对话和先验权重信息作为输入，将所述样本对话中预设的语句作为正样本，随机生成的语句作为负样本，训练所述语义理解模型，其中，所述先验权重信息为所述样本对话对所属的领域中各个词的权重信息。
11.一种语义理解装置，其特征在于，包括：
获取模块，用于获取语义理解对象；
预测模块，用于依据所述语义理解对象和所述语义理解对象的上下文对象，预测主题；
确定模块，用于依据所述语义理解对象、所述语义理解对象的上下文对象以及所述主题，确定所述语义理解对象的语义理解结果。
12.一种语义理解设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储一个或多个程序；
所述处理器用于执行所述一个或多个程序，以使得所述语义理解设备实现权利要求1-10中任一项所述的语义理解方法。
13.一种计算机可读介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-10中任一项所述的语义理解方法。
CN201811158985.5A 2018-09-30 2018-09-30 一种语义理解方法及装置 Active CN109271637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811158985.5A CN109271637B (zh) 2018-09-30 2018-09-30 一种语义理解方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811158985.5A CN109271637B (zh) 2018-09-30 2018-09-30 一种语义理解方法及装置

Publications (2)

Publication Number Publication Date
CN109271637A true CN109271637A (zh) 2019-01-25
CN109271637B CN109271637B (zh) 2023-12-01

Family

ID=65195901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811158985.5A Active CN109271637B (zh) 2018-09-30 2018-09-30 一种语义理解方法及装置

Country Status (1)

Country Link
CN (1) CN109271637B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918673A (zh) * 2019-03-14 2019-06-21 湖北亿咖通科技有限公司 语义仲裁方法、装置、电子设备和计算机可读存储介质
CN110298035A (zh) * 2019-06-04 2019-10-01 平安科技（深圳）有限公司 基于人工智能的字向量定义方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278379A1 (en) * 2013-03-15 2014-09-18 Google Inc. Integration of semantic context information
CN106897268A (zh) * 2017-02-28 2017-06-27 科大讯飞股份有限公司 文本语义理解方法、装置和系统
CN107729311A (zh) * 2017-08-28 2018-02-23 云南大学 一种融合文本语气的中文文本特征提取方法
WO2018133761A1 (zh) * 2017-01-17 2018-07-26 华为技术有限公司 一种人机对话的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278379A1 (en) * 2013-03-15 2014-09-18 Google Inc. Integration of semantic context information
WO2018133761A1 (zh) * 2017-01-17 2018-07-26 华为技术有限公司 一种人机对话的方法和装置
CN106897268A (zh) * 2017-02-28 2017-06-27 科大讯飞股份有限公司 文本语义理解方法、装置和系统
CN107729311A (zh) * 2017-08-28 2018-02-23 云南大学 一种融合文本语气的中文文本特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭敏等: "基于双向LSTM语义强化的主题建模", 《中文信息学报》 *
徐梓翔等: "基于Bi-LSTM-CRF网络的语义槽识别", 《智能计算机与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918673A (zh) * 2019-03-14 2019-06-21 湖北亿咖通科技有限公司 语义仲裁方法、装置、电子设备和计算机可读存储介质
CN109918673B (zh) * 2019-03-14 2021-08-03 湖北亿咖通科技有限公司 语义仲裁方法、装置、电子设备和计算机可读存储介质
CN110298035A (zh) * 2019-06-04 2019-10-01 平安科技（深圳）有限公司 基于人工智能的字向量定义方法、装置、设备及存储介质
CN110298035B (zh) * 2019-06-04 2023-12-01 平安科技（深圳）有限公司 基于人工智能的字向量定义方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109271637B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN111488433B (zh) 一种适用于银行的提升现场体验感的人工智能交互系统
CN110534087B (zh) 一种文本韵律层级结构预测方法、装置、设备及存储介质
CN110263324A (zh) 文本处理方法、模型训练方法和装置
CN109874029A (zh) 视频描述生成方法、装置、设备及存储介质
WO2021114841A1 (zh) 一种用户报告的生成方法及终端设备
CN110678882B (zh) 使用机器学习从电子文档选择回答跨距的方法及系统
CN110750677B (zh) 基于人工智能的音视频识别方法、系统及存储介质和服务器
CN111667069B (zh) 预训练模型压缩方法、装置和电子设备
CN113408284A (zh) 文本处理模型的训练方法、装置、电子设备及存储介质
CN109271637A (zh) 一种语义理解方法及装置
CN112528108B (zh) 一种模型训练系统、模型训练中梯度聚合的方法及装置
CN113961679A (zh) 智能问答的处理方法、系统、电子设备及存储介质
WO2023029354A1 (zh) 文本信息提取方法、装置、存储介质及计算机设备
JP2023549411A (ja) 音声通話の制御方法、装置、コンピュータプログラム及び電子機器
CN109670073A (zh) 一种信息转换方法及装置、交互辅助系统
WO2023040545A1 (zh) 一种数据处理方法、装置、设备、存储介质和程序产品
CN116189678A (zh) 语音处理方法、装置及计算机设备
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
CN113256395B (zh) 基于推荐图网络的产品推荐方法、装置、设备及存储介质
CN111091011B (zh) 领域预测方法、领域预测装置及电子设备
CN110610697B (zh) 一种语音识别方法及装置
CN112749554B (zh) 确定文本匹配度的方法、装置、设备及存储介质
CN116757254B (zh) 任务处理方法、电子设备及存储介质
CN116561288B (zh) 事件查询方法、装置、计算机设备、存储介质及程序产品
Hu et al. Federated Learning for Character Prediction for Text Generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant