CN111460812A - 语句情感分类方法及相关设备 - Google Patents

语句情感分类方法及相关设备 Download PDF

Info

Publication number
CN111460812A
CN111460812A CN202010137265.1A CN202010137265A CN111460812A CN 111460812 A CN111460812 A CN 111460812A CN 202010137265 A CN202010137265 A CN 202010137265A CN 111460812 A CN111460812 A CN 111460812A
Authority
CN
China
Prior art keywords
vector
sequence
word
coding
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010137265.1A
Other languages
English (en)
Inventor
于凤英
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010137265.1A priority Critical patent/CN111460812A/zh
Publication of CN111460812A publication Critical patent/CN111460812A/zh
Priority to PCT/CN2020/131951 priority patent/WO2021174922A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种语句情感分类方法及相关设备。所述方法包括：利用特征提取模型将第一语句样本中缺失词之前的词语依词序转化为第一编码序列，将第一语句样本中缺失词之后的词语依反向词序转化为第二编码序列，根据预设词汇编码表将第一语句样本中的缺失词转化为第一语句样本的标签向量；利用特征提取模型根据第一编码序列、第二编码序列计算第一语句样本的缺失词向量；根据第一语句样本的缺失词向量和第一语句样本的标签向量训练特征提取模型；用由所述特征提取模型构成的属性分类模型识别待处理语句的属性词，用由所述特征提取模型构成的情感分类模型对连接属性词的待处理语句进行分类。本发明增强了情感分类的准确性和场景适应性。

Description

语句情感分类方法及相关设备
技术领域
本发明涉及自然语言处理领域，具体涉及一种语句情感分类方法、装置、计算机设备及计算机存储介质。
背景技术
通常，使用指定领域的带有情感标签的语句对情感分类模型(例如卷积神经网络)进行训练，用训练好的情感分类模型对指定领域的语句进行分类。现有的文本情感分类方法只适用于固定领域的语句情感分类任务，且需要较大的训练集才可能提升情感分类的准确性。
如何提升文本情感分类的场景适应性和情感分类的准确性，成为当前待解决的问题。
发明内容
鉴于以上内容，有必要提出一种语句情感分类方法、装置、计算机设备及计算机存储介质，其可以对语句进行情感分类，增强情感分类的准确性和场景适应性。
本申请的第一方面提供一种语句情感分类方法，所述方法包括：
获取第一语句样本集，所述第一语句样本集中的每个第一语句样本包含一个缺失词；
对于每个第一语句样本，利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列，根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量；
利用所述特征提取模型将所述第一词向量序列编码为第一编码序列，将所述第二词向量序列编码为第二编码序列；
利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量；
根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型，得到第一特征提取模型，新建第二特征提取模型，使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致，用所述第一特征提取模型的权值更新所述第二特征提取模型的权值；
用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型；
用所述属性分类模型识别多个待识别语句的属性词，将每个待识别语句与识别出的每个待识别语句的属性词连接，得到连接属性词的所述多个待识别语句；
用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型；
用所述属性分类模型识别待处理语句的属性词，情感分类模型对连接属性词的所述待处理语句进行分类，输出所述待处理语句的属性词和所述待处理语句的情感类型。
另一种可能的实现方式中，所述特征提取模型包括输入层、前向隐藏层、后向隐藏层和输出层。
另一种可能的实现方式中，所述利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列包括：
将所述第一语句样本中的所述缺失词前的词语依词序转化为第一编码向量序列，将所述第一语句样本中的所述缺失词后的词语依词序转化为第二编码向量序列；
将所述第一语句样本中的所述缺失词前的词语的位置编号转化为第一位置向量序列，将所述第一语句样本中的所述缺失词后的词语的位置编号转化为第二位置向量序列；
将所述第一编码向量序列和所述第一位置向量序列转化为第一词向量序列，将所述第二编码向量序列和所述第二位置向量序列转化为第二词向量序列。
另一种可能的实现方式中，所述特征提取模型将所述第一词向量序列编码为第一编码序列包括：
所述特征提取模型的第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1，所述初始化的权值矩阵集包括N个权值矩阵子集，所述第一编码序列的中间向量序列与所述第二编码序列的中间向量序列按顺序一一对应，所述特征提取模型的第n层的前向隐藏子层和第n层的后向隐藏子层共享第n个权值矩阵子集，每个权值矩阵子集包括多组权值矩阵和第四权值矩阵，每组权值矩阵包括V权值矩阵、Q权值矩阵、K权值矩阵；
从所述第1层前向隐藏子层的第2个编码模块开始，所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}，其中，所述第一编码序列的第一个中间向量序列的第u个向量与所述第一词向量序列的第u个词向量一一对应；
从所述特征提取模型的第2层前向隐藏子层开始，逐个用所述第n层前向隐藏子层根据第n个权值矩阵子集将所述第一编码序列的第n-1个中间向量序列Zn-1编码为所述第一编码序列的第n个中间向量序列Zn。
另一种可能的实现方式中，所述第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1包括：
所述第1层前向隐藏子层的第1个编码模块将所述第一词向量序列的第1个词向量分别乘以第一个权值矩阵子集中的多组权值矩阵中的V权值矩阵，得到所述第一词向量序列的第一个词向量的多个V权值向量；将所述第一词向量序列的第一个词向量的多个V权值向量进行连接，得到所述第一词向量序列的第一个词向量的组合向量；用所述第一词向量序列的第一个词向量的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第一个中间向量序列的第1个向量Z1,1。
另一种可能的实现方式中，所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}包括：
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的Q权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的Q权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V’权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的第三K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K’权值向量；
所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的Q权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K’权值向量确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值；
所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量、所述第一编码序列的第1个中间向量序列Z1,2的第2个向量的V’权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的第一个分值；
所述第1层前向隐藏子层的第2个编码模块将所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值进行连接，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量；
所述第1层前向隐藏子层的第2个编码模块用所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量；
所述第1层前向隐藏子层的第2个编码模块中的前馈网络对经过残差和归一化处理的所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量进行编码，并再次进行归一化处理，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2。
另一种可能的实现方式中，所述方法还包括：
所述特征提取模型的第n层前向隐藏子层的第U个编码模块将所述第一编码序列的n-1个中间向量序列的第U-1个向量、所述第一编码序列的n-1个中间向量序列的第U个向量和所述第二编码序列的n-1个中间向量序列的第W个向量编码为Zn,U；第n层后向隐藏子层的第W个编码模块将所述第二编码序列的n-1个中间向量序列的第W-1个向量、所述第二编码序列的n-1个中间向量序列的第W个向量和所述第一编码序列的n-1个中间向量序列的第U个向量编码为Rn,W。
本申请的第二方面提供一种语句情感分类装置，所述装置包括：
获取模块，用于获取第一语句样本集，所述第一语句样本集中的每个第一语句样本包含一个缺失词；
转化模块，用于对于每个第一语句样本，利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列，根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量；
编码模块，用于利用所述特征提取模型将所述第一词向量序列编码为第一编码序列，将所述第二词向量序列编码为第二编码序列；
计算模块，用于利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量；
第一训练模块，用于根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型，得到第一特征提取模型，新建第二特征提取模型，使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致，用所述第一特征提取模型的权值更新所述第二特征提取模型的权值；
第二训练模块，用于用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型；
连接模块，用于用所述属性分类模型识别多个待识别语句的属性词，将每个待识别语句与识别出的每个待识别语句的属性词连接，得到连接属性词的所述多个待识别语句；
第三训练模块，用于用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型；
分类模块，用于用所述属性分类模型识别待处理语句的属性词，情感分类模型对连接属性词的所述待处理语句进行分类，输出所述待处理语句的属性词和所述待处理语句的情感类型。
本申请的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述语句情感分类方法。
本申请的第四方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述语句情感分类方法。
本发明对语句进行情感分类，增强情感分类的准确性和场景适应性。
附图说明
图1是本发明实施例提供的语句情感分类方法的流程图。
图2是本发明实施例提供的语句情感分类装置的结构图。
图3是本发明实施例提供的计算机设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明的语句情感分类方法应用在一个或者多个计算机设备中。所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
图1是本发明实施例一提供的语句情感分类方法的流程图。所述语句情感分类方法应用于计算机设备。
本发明语句情感分类方法可以对语句进行情感分类。
如图1所示，所述语句情感分类方法包括：
101，获取第一语句样本集，所述第一语句样本集中的每个第一语句样本包含一个缺失词。
可以获取不同领域的多个文本，每个文本包括多个语句，对每个文本进行多次遮挡，每次遮挡所述文本中的部分词语，从每次遮挡部分词语的文本中抽取包含一个缺失词的句子作为所述第一语句样本。
可以获取旅游、电子产品、专利服务等各个领域的多个文本，每个领域的包括多个文本，每个领域的每个文本可以包括多个语句。本实施例对领域的大小不做限定，如电子产品领域和笔记本电脑领域，电子产品领域可以包括笔记本电脑领域。
可以对各个领域的多个文本中的每个文本进行多次遮挡，每次随机遮挡每个文本中的预设比例的部分词语，得到每各个领域的多个文本中存在缺失词的第一语句样本。
102，对于每个第一语句样本，利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列，根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量。
所述特征提取模型包括所述输入层、前向隐藏层、后向隐藏层和输出层。
在一具体实施例中，所述利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列包括：
将所述第一语句样本中的所述缺失词前的词语依词序转化为第一编码向量序列，将所述第一语句样本中的所述缺失词后的词语依词序转化为第二编码向量序列；将所述第一语句样本中的所述缺失词前的词语的位置编号转化为第一位置向量序列，将所述第一语句样本中的所述缺失词后的词语的位置编号转化为第二位置向量序列；将所述第一编码向量序列和所述第一位置向量序列转化为第一词向量序列，将所述第二编码向量序列和所述第二位置向量序列转化为第二词向量序列。
例如，一个第一语句样本为“<S>自<mask>语言处理<E>”，其中“<S>”表示第一语句样本的头部词，“<E>”表示第一语句样本的尾部词，根据所述预设词汇编码表将缺失词“然”前的词语“<S>自”依词序转化为第一编码向量序列{(0，0，0，0，1，0，0，0)，(0，0，0，0，0，0，0，1)}，将缺失词“然”后的词语“语言处理<E>”依词序转化为第二编码向量序列{(0，0，0，0，0，0，1，0)，(0，0，0，0，0，1，0，0)，(1，0，0，0，0，0，0，0)，(0，0，1，0，0，0，0，0)，(0，1，0，0，0，0，0，0)}，所述预设词汇编码表可以采用one-hot、word2vec等编码方式。将第一语句样本中的缺失词“然”前的词语的位置编号转化为第一位置向量序列{(1，0，0，0，0，0，0，0)，(0，1，0，0，0，0，0，0)}，将第一语句样本中的缺失词后的词语的位置编号转化为第二位置向量序列{(0，0，0，1，0，0，0，0)，(0，0，0，0，1，0，0，0)，(0，0，0，0，0，1，0，0)，(0，0，0，0，0，0，1，0)，(0，0，0，0，0，0，0，1)}。将缺失词“然”前的每个词语对应的第一编码向量序列中的第一编码向量和第一位置向量序列中的第一位置向量相加，得到第一词向量序列{(1，0，0，0，1，0，0，0)，(0，1，0，0，0，0，0，1)}。将缺失词“然”后的每个词语对应的第二编码向量序列中的第二编码向量和第二位置向量序列中的第二位置向量相加，得到第二词向量序列{(0，0，0，1，0，0，1，0)，(0，0，0，0，1，1，0，0)，(1，0，0，0，0，1，0，0)，(0，0，1，0，0，0，1，0)，(0，1，0，0，0，0，0，1)}。
根据所述预设词汇编码表将第一语句样本中的缺失词<mask>转化为所述第一语句样本的标签向量(0，0，0，1，0，0，0，0)，即“然”的one-hot编码。
103，利用所述特征提取模型将所述第一词向量序列编码为第一编码序列，将所述第二词向量序列编码为第二编码序列。
在本实施例中，所述特征提取模型的前向隐藏层将所述第一词向量序列编码为所述第一编码序列，所述特征提取模型的后向隐藏层将所述第二词向量序列编码为第二编码序列。所述前向隐藏层和所述后向隐藏层分别包括N个前向隐藏子层和N个后向隐藏子层，每个前向隐藏子层包括U个编码模块，每个后向隐藏子层包括W个编码模块；其中，第n层前向隐藏子层的第u个编码模块接收第n-1层前向隐藏子层的第u-1个编码模块输出的向量Zn-1,u-1和第n-1层前向隐藏子层的第u个编码模块输出的向量Zn-1,u，第n层前向隐藏子层的第u个编码模块输出向量Zn,u至第n+1层前向隐藏子层的第u个编码模块和第n+1层前向隐藏子层的第u+1个编码模块，2≤n≤N，2≤u≤U。第1层前向隐藏子层的第u个编码模块接收所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量，第N层前向隐藏子层为所述第一编码序列。第n层前向隐藏子层的第1个编码模块接收第n-1层前向隐藏子层的第1个编码模块输出的向量Zn-1,1，第n层前向隐藏子层的第1个编码模块输出向量Zn,1至第n+1层前向隐藏子层的第1个编码模块。第n层后向隐藏子层的第w个编码模块接收第n-1层后向隐藏子层的第w-1个编码模块输出的向量Rn-1,w-1和第n-1层后向隐藏子层的第w个编码模块输出的向量Rn-1,w，第n层后向隐藏子层的第w个编码模块输出向量Zn,w至第n+1层后向隐藏子层的第w个编码模块和第n+1层后向隐藏子层的第w+1个编码模块，2≤w≤W。第1层后向隐藏子层的第w个编码模块接收所述第二词向量序列的第w-1个词向量和所述第二词向量序列的第w个词向量，第N层后向隐藏子层为所述第二编码序列。第n层后向隐藏子层的第1个编码模块接收第n-1层后向隐藏子层的第1个编码模块输出的向量Rn-1,1，第n层后向隐藏子层的第1个编码模块输出向量Rn,1至第n+1层后向隐藏子层的第1个编码模块。
在一具体实施例中，所述特征提取模型将所述第一词向量序列编码为第一编码序列包括：
(a)第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1，所述初始化的权值矩阵集包括N个权值矩阵子集，所述第一编码序列的中间向量序列与所述第二编码序列的中间向量序列按顺序一一对应，第n层的前向隐藏子层和第n层的后向隐藏子层共享第n个权值矩阵子集，每个权值矩阵子集包括多组权值矩阵和第四权值矩阵，每组权值矩阵包括V权值矩阵、Q权值矩阵、K权值矩阵。
其中，多组权值矩阵中的V权值矩阵、Q权值矩阵、K权值矩阵用于计算基于多头注意力的所述第一编码序列和所述第二编码序列。即所述第一编码序列表示了所述第一语句样本中所述缺失词的上文的语义信息，所述第二编码序列表示了所述第一语句样本中所述缺失词的下文的语义信息。
所述第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1包括：
所述第1层前向隐藏子层的第1个编码模块将所述第一词向量序列的第1个词向量分别乘以第一个权值矩阵子集中的多组权值矩阵中的V权值矩阵，得到所述第一词向量序列的第一个词向量的多个V权值向量；将所述第一词向量序列的第一个词向量的多个V权值向量进行连接，得到所述第一词向量序列的第一个词向量的组合向量；用所述第一词向量序列的第一个词向量的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第一个中间向量序列的第1个向量Z1,1。
相邻两层的第1个编码模块之间的连接类似普通的神经元连接，没有使用注意力机制。
(b)从所述第1层前向隐藏子层的第2个编码模块开始，所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}，其中，所述第一编码序列的第一个中间向量序列的第u个向量与所述第一词向量序列的第u个词向量一一对应。
所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}包括：
(1)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V权值向量。
(2)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的Q权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的Q权值向量。
(3)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K权值向量。
(4)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V’权值向量。
(5)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的第三K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K’权值向量。
(6)所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的Q权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K’权值向量确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值。
(7)所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量、所述第一编码序列的第1个中间向量序列Z1,2的第2个向量的V’权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的第一个分值。
(8)(1)-(7)为所述第1层前向隐藏子层的第2个编码模块根据第一个权值矩阵子集中的第一组权值矩阵得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的第一个分值，同理，可由第一个权值矩阵子集中的多组权值矩阵得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值。
可以同时由第一个权值矩阵子集中的多组权值矩阵得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值。
(9)所述第1层前向隐藏子层的第2个编码模块将所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值进行连接，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量。
(10)所述第1层前向隐藏子层的第2个编码模块用所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量。
(11)所述第1层前向隐藏子层的第2个编码模块中的前馈网络对经过残差和归一化处理的所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量进行编码，并再次进行归一化处理，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2。
(12)(1)-(11)为所述第1层前向隐藏子层的第2个编码模块根据第一个权值矩阵子集将所述第一词向量序列的第2个词向量和所述第一词向量序列的第1个词向量编码为所述第一编码序列的第1个中间向量序列的第2个向量Z1,2，同理，所述第1层前向隐藏子层的第u个编码模块可编码得到所述第一编码序列的第1个中间向量序列的第u个向量Z1,u，得到Z1＝{Z1,1,…,Z1,u,…,Z1,U}。
(c)从第2层前向隐藏子层开始，逐个用第n层前向隐藏子层根据第n个权值矩阵子集将所述第一编码序列的第n-1个中间向量序列Zn-1编码为所述第一编码序列的第n个中间向量序列Zn。
与所述特征提取模型将所述第一词向量序列编码为第一编码序列同理，所述特征提取模型将所述第二词向量序列编码为第二编码序列Rn。
所述第1层前向隐藏子层的第u个编码模块可编码得到所述第一编码序列的第1个中间向量序列的第u个向量Z1,u。
同一层的前向隐藏子层和后向隐藏子层中的每个编码可以同时并发运行。
104，利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量。
在本实施例中，利用所述特征提取模型的输出层根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量。
将所述第一编码序列和所述第二编码序列中的向量按维度求和，将求和得到的一个和向量乘以所述输出权值矩阵并进行归一化处理，得到所述第一语句样本的缺失词向量。
105，根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型，得到第一特征提取模型，新建第二特征提取模型，使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致，用所述第一特征提取模型的权值更新所述第二特征提取模型的权值。
可以根据交叉熵损失函数计算所述第一语句样本的缺失词向量和标签向量的损失值，根据所述损失值采优化所述特征提取模型的权值矩阵。
可以按照所述第一特征提取模型的神经网络结构新建中间特征提取模型。神经网络结构可以包括神经元数量、神经元层数、神经元间连接方式等。可以复制所述第一特征提取模型的权值，在所述第一特征提取模型被训练后，所述第一特征提取模型的权值使所述第一特征提取模型具有较强的特征提取能力，用所述第一特征提取模型的权值初始化所述中间特征提取模型的权值，得到与所述第一特征提取模型相同的所述第二特征提取模型。
106，用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型。
例如，对于笔记本电脑的第二语句样本，属性标签可以包括分辨率、处理器、音效等，第二语句样本的一个语句为“这个电脑的反应速度很快”，属性标签为“处理器”，表示这个第二样本语句包括了处理器的语义。
所述第二语句样本可以是带有属性标签的给定领域的语句。可以采用少量所述第二语句样本训练所述属性分类模型，因为所述特征提取模型已训练好且可以较好地提取语义信息，所以只需要对所述特征提取模型的权值矩阵进行微调和对所述全连接层中的权值矩阵进行优化。其中，所述第一特征提取模型的输出为所述全连接层的输入。
在一具体实施例中，将所述第二语句样本中的每个语句按词数量等分为前后两部分，所述第二语句样本中的每个语句的前部分的词语类似所述第一语句样本中的每个语句的缺失词之前的词语，所述第二语句样本的每个语句的后部分的词语类似所述第一语句样本的每个语句的缺失词之后的词语。例如，第二语句样本的一个语句为“<S>这个电脑的反应速度很快处理器<E>”，则将“<S>这个电脑的反应”作为第二语句样本的一个语句的前部分的词语，类似于第一语句样本的一个语句的缺失词之前的词语；则将“速度很快处理器<E>”作为第二语句样本的一个语句的后部分的词语，类似于第一语句样本的一个语句的缺失词之后的词语。
若所述第二语句样本中的语句的词数量为奇数，则等分时剔除正中间的一个词，并将正中间的一个词分至前部分。
用所述第二语句样本训练所述第一特征提取模型的过程与用所述第一语句样本训练所述特征提取模型的过程类似，此处不再赘述。
107，用所述属性分类模型识别多个待识别语句的属性词，将每个待识别语句与识别出的每个待识别语句的属性词连接，得到连接属性词的所述多个待识别语句。
例如，待识别语句“<S>这个电脑的反应速度很快处理器<E>”的属性标签为“处理器”，将待识别语句与待识别语句的属性词连接为“<S>这个电脑的反应速度很快<SOE>处理器<E>”，其中“<SOE>”表示连接词。
108，用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型。
所述情感标签可以包括“积极”、“中性”和“负面”等，所述深度学习模型可以是CNN、RNN或LSTM等。训练所述情感分类模型为现有方法，此处不再赘述。其中，所述第二特征提取模型的输出为所述深度学习模型的输入。
可以输出连接属性词的所述多个待识别语句，输出的连接属性词的所述多个待识别语句可以进行人工标记处理，得到带有情感标签的连接属性词的所述多个待识别语句，接收带有情感标签的连接属性词的所述多个待识别语句。
用带有情感标签的连接属性词的所述多个待识别语句训练所述第二特征提取模型的过程与用所述第二语句样本训练所述第一特征提取模型的过程类似，此处不再赘述。
109，用所述属性分类模型识别待处理语句的属性词，情感分类模型对连接属性词的所述待处理语句进行分类，输出所述待处理语句的属性词和所述待处理语句的情感类型。
例如，用属性分类模型识别出待处理语句“这个电脑的反应速度很快”的属性词为“处理器”，情感分类模型对连接属性词的待处理语句“<S>这个电脑的反应速度很快<SOE>处理器<E>”进行分类，输出待处理语句的属性词“处理器”和待处理语句的情感类型“积极”。
实施例一实现了对语句进行情感分类，增强情感分类的准确性和场景适应性。
在另一实施例中，第n层前向隐藏子层的第U个编码模块将所述第一编码序列的n-1个中间向量序列的第U-1个向量、所述第一编码序列的n-1个中间向量序列的第U个向量和所述第二编码序列的n-1个中间向量序列的第W个向量编码为Zn,U；第n层后向隐藏子层的第W个编码模块将所述第二编码序列的n-1个中间向量序列的第W-1个向量、所述第二编码序列的n-1个中间向量序列的第W个向量和所述第一编码序列的n-1个中间向量序列的第U个向量编码为Rn,W。
在另一实施例中，可以将所述特征提取模型迁移至不同领域的情感分类模型中。
实施例二
图2是本发明实施例二提供的语句情感分类装置的结构图。所述语句情感分类装置20应用于计算机设备。所述语句情感分类装置20可以对语句进行情感分类。如图2所示，所述语句情感分类装置20可以包括获取模块201、转化模块202、编码模块203、计算模块204、第一训练模块205、第二训练模块206、连接模块207、第三训练模块208、分类模块209。
获取模块201，用于获取第一语句样本集，所述第一语句样本集中的每个第一语句样本包含一个缺失词。
可以获取不同领域的多个文本，每个文本包括多个语句，对每个文本进行多次遮挡，每次遮挡所述文本中的部分词语，从每次遮挡部分词语的文本中抽取包含一个缺失词的句子作为所述第一语句样本。
可以获取旅游、电子产品、专利服务等各个领域的多个文本，每个领域的包括多个文本，每个领域的每个文本可以包括多个语句。本实施例对领域的大小不做限定，如电子产品领域和笔记本电脑领域，电子产品领域可以包括笔记本电脑领域。
可以对各个领域的多个文本中的每个文本进行多次遮挡，每次随机遮挡每个文本中的预设比例的部分词语，得到每各个领域的多个文本中存在缺失词的第一语句样本。
转化模块202，用于对于每个第一语句样本，利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列，根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量。
所述特征提取模型包括所述输入层、前向隐藏层、后向隐藏层和输出层。
在一具体实施例中，所述利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列包括：
将所述第一语句样本中的所述缺失词前的词语依词序转化为第一编码向量序列，将所述第一语句样本中的所述缺失词后的词语依词序转化为第二编码向量序列；将所述第一语句样本中的所述缺失词前的词语的位置编号转化为第一位置向量序列，将所述第一语句样本中的所述缺失词后的词语的位置编号转化为第二位置向量序列；将所述第一编码向量序列和所述第一位置向量序列转化为第一词向量序列，将所述第二编码向量序列和所述第二位置向量序列转化为第二词向量序列。
例如，一个第一语句样本为“<S>自<mask>语言处理<E>”，其中“<S>”表示第一语句样本的头部词，“<E>”表示第一语句样本的尾部词，根据所述预设词汇编码表将缺失词“然”前的词语“<S>自”依词序转化为第一编码向量序列{(0，0，0，0，1，0，0，0)，(0，0，0，0，0，0，0，1)}，将缺失词“然”后的词语“语言处理<E>”依词序转化为第二编码向量序列{(0，0，0，0，0，0，1，0)，(0，0，0，0，0，1，0，0)，(1，0，0，0，0，0，0，0)，(0，0，1，0，0，0，0，0)，(0，1，0，0，0，0，0，0)}，所述预设词汇编码表可以采用one-hot、word2vec等编码方式。将第一语句样本中的缺失词“然”前的词语的位置编号转化为第一位置向量序列{(1，0，0，0，0，0，0，0)，(0，1，0，0，0，0，0，0)}，将第一语句样本中的缺失词后的词语的位置编号转化为第二位置向量序列{(0，0，0，1，0，0，0，0)，(0，0，0，0，1，0，0，0)，(0，0，0，0，0，1，0，0)，(0，0，0，0，0，0，1，0)，(0，0，0，0，0，0，0，1)}。将缺失词“然”前的每个词语对应的第一编码向量序列中的第一编码向量和第一位置向量序列中的第一位置向量相加，得到第一词向量序列{(1，0，0，0，1，0，0，0)，(0，1，0，0，0，0，0，1)}。将缺失词“然”后的每个词语对应的第二编码向量序列中的第二编码向量和第二位置向量序列中的第二位置向量相加，得到第二词向量序列{(0，0，0，1，0，0，1，0)，(0，0，0，0，1，1，0，0)，(1，0，0，0，0，1，0，0)，(0，0，1，0，0，0，1，0)，(0，1，0，0，0，0，0，1)}。
根据所述预设词汇编码表将第一语句样本中的缺失词<mask>转化为所述第一语句样本的标签向量(0，0，0，1，0，0，0，0)，即“然”的one-hot编码。
编码模块203，用于利用所述特征提取模型将所述第一词向量序列编码为第一编码序列，将所述第二词向量序列编码为第二编码序列。
在本实施例中，所述特征提取模型的前向隐藏层将所述第一词向量序列编码为所述第一编码序列，所述特征提取模型的后向隐藏层将所述第二词向量序列编码为第二编码序列。所述前向隐藏层和所述后向隐藏层分别包括N个前向隐藏子层和N个后向隐藏子层，每个前向隐藏子层包括U个编码模块，每个后向隐藏子层包括W个编码模块；其中，第n层前向隐藏子层的第u个编码模块接收第n-1层前向隐藏子层的第u-1个编码模块输出的向量Zn-1,u-1和第n-1层前向隐藏子层的第u个编码模块输出的向量Zn-1,u，第n层前向隐藏子层的第u个编码模块输出向量Zn,u至第n+1层前向隐藏子层的第u个编码模块和第n+1层前向隐藏子层的第u+1个编码模块，2≤n≤N，2≤u≤U。第1层前向隐藏子层的第u个编码模块接收所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量，第N层前向隐藏子层为所述第一编码序列。第n层前向隐藏子层的第1个编码模块接收第n-1层前向隐藏子层的第1个编码模块输出的向量Zn-1,1，第n层前向隐藏子层的第1个编码模块输出向量Zn,1至第n+1层前向隐藏子层的第1个编码模块。第n层后向隐藏子层的第w个编码模块接收第n-1层后向隐藏子层的第w-1个编码模块输出的向量Rn-1,w-1和第n-1层后向隐藏子层的第w个编码模块输出的向量Rn-1,w，第n层后向隐藏子层的第w个编码模块输出向量Zn,w至第n+1层后向隐藏子层的第w个编码模块和第n+1层后向隐藏子层的第w+1个编码模块，2≤w≤W。第1层后向隐藏子层的第w个编码模块接收所述第二词向量序列的第w-1个词向量和所述第二词向量序列的第w个词向量，第N层后向隐藏子层为所述第二编码序列。第n层后向隐藏子层的第1个编码模块接收第n-1层后向隐藏子层的第1个编码模块输出的向量Rn-1,1，第n层后向隐藏子层的第1个编码模块输出向量Rn,1至第n+1层后向隐藏子层的第1个编码模块。
在一具体实施例中，所述特征提取模型将所述第一词向量序列编码为第一编码序列包括：
(a)第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1，所述初始化的权值矩阵集包括N个权值矩阵子集，所述第一编码序列的中间向量序列与所述第二编码序列的中间向量序列按顺序一一对应，第n层的前向隐藏子层和第n层的后向隐藏子层共享第n个权值矩阵子集，每个权值矩阵子集包括多组权值矩阵和第四权值矩阵，每组权值矩阵包括V权值矩阵、Q权值矩阵、K权值矩阵。
其中，多组权值矩阵中的V权值矩阵、Q权值矩阵、K权值矩阵用于计算基于多头注意力的所述第一编码序列和所述第二编码序列。即所述第一编码序列表示了所述第一语句样本中所述缺失词的上文的语义信息，所述第二编码序列表示了所述第一语句样本中所述缺失词的下文的语义信息。
所述第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1包括：
所述第1层前向隐藏子层的第1个编码模块将所述第一词向量序列的第1个词向量分别乘以第一个权值矩阵子集中的多组权值矩阵中的V权值矩阵，得到所述第一词向量序列的第一个词向量的多个V权值向量；将所述第一词向量序列的第一个词向量的多个V权值向量进行连接，得到所述第一词向量序列的第一个词向量的组合向量；用所述第一词向量序列的第一个词向量的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第一个中间向量序列的第1个向量-1,1。
相邻两层的第1个编码模块之间的连接类似普通的神经元连接，没有使用注意力机制。
(b)从所述第1层前向隐藏子层的第2个编码模块开始，所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}，其中，所述第一编码序列的第一个中间向量序列的第u个向量与所述第一词向量序列的第u个词向量一一对应。
所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}包括：
(1)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V权值向量。
(2)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的Q权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的Q权值向量。
(3)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K权值向量。
(4)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V’权值向量。
(5)所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的第三K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K’权值向量。
(6)所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的Q权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K’权值向量确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值。
(7)所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量、所述第一编码序列的第1个中间向量序列Z1,2的第2个向量的V’权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的第一个分值。
(8)(1)-(7)为所述第1层前向隐藏子层的第2个编码模块根据第一个权值矩阵子集中的第一组权值矩阵得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的第一个分值，同理，可由第一个权值矩阵子集中的多组权值矩阵得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值。
可以同时由第一个权值矩阵子集中的多组权值矩阵得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值。
(9)所述第1层前向隐藏子层的第2个编码模块将所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值进行连接，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量。
(10)所述第1层前向隐藏子层的第2个编码模块用所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量。
(11)所述第1层前向隐藏子层的第2个编码模块中的前馈网络对经过残差和归一化处理的所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量进行编码，并再次进行归一化处理，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2。
(12)(1)-(11)为所述第1层前向隐藏子层的第2个编码模块根据第一个权值矩阵子集将所述第一词向量序列的第2个词向量和所述第一词向量序列的第1个词向量编码为所述第一编码序列的第1个中间向量序列的第2个向量Z1,2，同理，所述第1层前向隐藏子层的第u个编码模块可编码得到所述第一编码序列的第1个中间向量序列的第u个向量Z1,u，得到Z1＝{Z1,1,…,Z1,u,…,Z1,U}。
(c)从第2层前向隐藏子层开始，逐个用第n层前向隐藏子层根据第n个权值矩阵子集将所述第一编码序列的第n-1个中间向量序列Zn-1编码为所述第一编码序列的第n个中间向量序列Zn。
与所述特征提取模型将所述第一词向量序列编码为第一编码序列同理，所述特征提取模型将所述第二词向量序列编码为第二编码序列Rn。
所述第1层前向隐藏子层的第u个编码模块可编码得到所述第一编码序列的第1个中间向量序列的第u个向量Z1,u。
同一层的前向隐藏子层和后向隐藏子层中的每个编码可以同时并发运行。
计算模块204，用于利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量。
在本实施例中，利用所述特征提取模型的输出层根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量。
将所述第一编码序列和所述第二编码序列中的向量按维度求和，将求和得到的一个和向量乘以所述输出权值矩阵并进行归一化处理，得到所述第一语句样本的缺失词向量。
第一训练模块205，用于根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型，得到第一特征提取模型，新建第二特征提取模型，使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致，用所述第一特征提取模型的权值更新所述第二特征提取模型的权值。
可以根据交叉熵损失函数计算所述第一语句样本的缺失词向量和标签向量的损失值，根据所述损失值采优化所述特征提取模型的权值矩阵。
可以按照所述第一特征提取模型的神经网络结构新建中间特征提取模型。神经网络结构可以包括神经元数量、神经元层数、神经元间连接方式等。可以复制所述第一特征提取模型的权值，在所述第一特征提取模型被训练后，所述第一特征提取模型的权值使所述第一特征提取模型具有较强的特征提取能力，用所述第一特征提取模型的权值初始化所述中间特征提取模型的权值，得到与所述第一特征提取模型相同的所述第二特征提取模型。
第二训练模块206，用于用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型。
例如，对于笔记本电脑的第二语句样本，属性标签可以包括分辨率、处理器、音效等，第二语句样本的一个语句为“这个电脑的反应速度很快”，属性标签为“处理器”，表示这个第二样本语句包括了处理器的语义。
所述第二语句样本可以是带有属性标签的给定领域的语句。可以采用少量所述第二语句样本训练所述属性分类模型，因为所述特征提取模型已训练好且可以较好地提取语义信息，所以只需要对所述特征提取模型的权值矩阵进行微调和对所述全连接层中的权值矩阵进行优化。其中，所述第一特征提取模型的输出为所述全连接层的输入。
在一具体实施例中，将所述第二语句样本中的每个语句按词数量等分为前后两部分，所述第二语句样本中的每个语句的前部分的词语类似所述第一语句样本中的每个语句的缺失词之前的词语，所述第二语句样本的每个语句的后部分的词语类似所述第一语句样本的每个语句的缺失词之后的词语。例如，第二语句样本的一个语句为“<S>这个电脑的反应速度很快处理器<E>”，则将“<S>这个电脑的反应”作为第二语句样本的一个语句的前部分的词语，类似于第一语句样本的一个语句的缺失词之前的词语；则将“速度很快处理器<E>”作为第二语句样本的一个语句的后部分的词语，类似于第一语句样本的一个语句的缺失词之后的词语。
若所述第二语句样本中的语句的词数量为奇数，则等分时剔除正中间的一个词，并将正中间的一个词分至前部分。
用所述第二语句样本训练所述第一特征提取模型的过程与用所述第一语句样本训练所述特征提取模型的过程类似，此处不再赘述。
连接模块207，用于用所述属性分类模型识别多个待识别语句的属性词，将每个待识别语句与识别出的每个待识别语句的属性词连接，得到连接属性词的所述多个待识别语句。
例如，待识别语句“<S>这个电脑的反应速度很快处理器<E>”的属性标签为“处理器”，将待识别语句与待识别语句的属性词连接为“<S>这个电脑的反应速度很快<SOE>处理器<E>”，其中“<SOE>”表示连接词。
第三训练模块208，用于用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型。
所述情感标签可以包括“积极”、“中性”和“负面”等，所述深度学习模型可以是CNN、RNN或LSTM等。训练所述情感分类模型为现有方法，此处不再赘述。其中，所述第二特征提取模型的输出为所述深度学习模型的输入。
可以输出连接属性词的所述多个待识别语句，输出的连接属性词的所述多个待识别语句可以进行人工标记处理，得到带有情感标签的连接属性词的所述多个待识别语句，接收带有情感标签的连接属性词的所述多个待识别语句。
用带有情感标签的连接属性词的所述多个待识别语句训练所述第二特征提取模型的过程与用所述第二语句样本训练所述第一特征提取模型的过程类似，此处不再赘述。
分类模块209，用于用所述属性分类模型识别待处理语句的属性词，情感分类模型对连接属性词的所述待处理语句进行分类，输出所述待处理语句的属性词和所述待处理语句的情感类型。
例如，用属性分类模型识别出待处理语句“这个电脑的反应速度很快”的属性词为“处理器”，情感分类模型对连接属性词的待处理语句“<S>这个电脑的反应速度很快<SOE>处理器<E>”进行分类，输出待处理语句的属性词“处理器”和待处理语句的情感类型“积极”。
实施例二实现了对语句进行情感分类，增强情感分类的准确性和场景适应性。
在另一实施例中，第n层前向隐藏子层的第U个编码模块将所述第一编码序列的n-1个中间向量序列的第U-1个向量、所述第一编码序列的n-1个中间向量序列的第U个向量和所述第二编码序列的n-1个中间向量序列的第W个向量编码为Zn,U；第n层后向隐藏子层的第W个编码模块将所述第二编码序列的n-1个中间向量序列的第W-1个向量、所述第二编码序列的n-1个中间向量序列的第W个向量和所述第一编码序列的n-1个中间向量序列的第U个向量编码为Rn,W。
在另一实施例中，可以将所述特征提取模型迁移至不同领域的情感分类模型中。
实施例三
本实施例提供一种计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述语句情感分类方法实施例中的步骤，例如图1所示的步骤101-109。
或者，该计算机程序被处理器执行时实现上述装置实施例中各模块的功能，例如图2中的模块201-209。
实施例四
图3为本发明实施例四提供的计算机设备的示意图。所述计算机设备30包括存储器301、处理器302以及存储在所述存储器301中并可在所述处理器302上运行的计算机程序303，例如语句情感分类程序。所述处理器302执行所述计算机程序303时实现上述语句情感分类方法实施例中的步骤，例如图1所示的步骤101-109。
或者，该计算机程序被处理器执行时实现上述装置实施例中各模块的功能，例如图2中的模块201-209。
示例性的，所述计算机程序303可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器301中，并由所述处理器302执行，以完成本方法。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序303在所述计算机设备30中的执行过程。例如，所述计算机程序303可以被分割成图2中的获取模块201、转化模块202、编码模块203、计算模块204、第一训练模块205、第二训练模块206、连接模块207、第三训练模块208、分类模块209，各模块具体功能参见实施例二。
所述计算机设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图3仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，所述处理器302是所述计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
所述存储器301可用于存储所述计算机程序303，所述处理器302通过运行或执行存储在所述存储器301内的计算机程序或模块，以及调用存储在存储器301内的数据，实现所述计算机设备30的各种功能。所述存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器301可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种语句情感分类方法，其特征在于，所述方法包括：
获取第一语句样本集，所述第一语句样本集中的每个第一语句样本包含一个缺失词；
对于每个第一语句样本，利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列，根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量；
利用所述特征提取模型将所述第一词向量序列编码为第一编码序列，将所述第二词向量序列编码为第二编码序列；
利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量；
根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型，得到第一特征提取模型，新建第二特征提取模型，使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致，用所述第一特征提取模型的权值更新所述第二特征提取模型的权值；
用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型；
用所述属性分类模型识别多个待识别语句的属性词，将每个待识别语句与识别出的每个待识别语句的属性词连接，得到连接属性词的所述多个待识别语句；
用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型；
用所述属性分类模型识别待处理语句的属性词，情感分类模型对连接属性词的所述待处理语句进行分类，输出所述待处理语句的属性词和所述待处理语句的情感类型。
2.如权利要求1所述的方法，其特征在于，所述特征提取模型包括输入层、前向隐藏层、后向隐藏层和输出层。
3.如权利要求1所述的方法，其特征在于，所述利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列包括：
将所述第一语句样本中的所述缺失词前的词语依词序转化为第一编码向量序列，将所述第一语句样本中的所述缺失词后的词语依词序转化为第二编码向量序列；
将所述第一语句样本中的所述缺失词前的词语的位置编号转化为第一位置向量序列，将所述第一语句样本中的所述缺失词后的词语的位置编号转化为第二位置向量序列；
将所述第一编码向量序列和所述第一位置向量序列转化为第一词向量序列，将所述第二编码向量序列和所述第二位置向量序列转化为第二词向量序列。
4.如权利要求1所述的方法，其特征在于，所述特征提取模型将所述第一词向量序列编码为第一编码序列包括：
所述特征提取模型的第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1，所述初始化的权值矩阵集包括N个权值矩阵子集，所述第一编码序列的中间向量序列与所述第二编码序列的中间向量序列按顺序一一对应，所述特征提取模型的第n层的前向隐藏子层和第n层的后向隐藏子层共享第n个权值矩阵子集，每个权值矩阵子集包括多组权值矩阵和第四权值矩阵，每组权值矩阵包括V权值矩阵、Q权值矩阵、K权值矩阵；
从所述第1层前向隐藏子层的第2个编码模块开始，所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}，其中，所述第一编码序列的第一个中间向量序列的第u个向量与所述第一词向量序列的第u个词向量一一对应；
从所述特征提取模型的第2层前向隐藏子层开始，逐个用所述第n层前向隐藏子层根据第n个权值矩阵子集将所述第一编码序列的第n-1个中间向量序列Zn-1编码为所述第一编码序列的第n个中间向量序列Zn。
5.如权利要求4所述的方法，其特征在于，所述第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1包括：
所述第1层前向隐藏子层的第1个编码模块将所述第一词向量序列的第1个词向量分别乘以第一个权值矩阵子集中的多组权值矩阵中的V权值矩阵，得到所述第一词向量序列的第一个词向量的多个V权值向量；
将所述第一词向量序列的第一个词向量的多个V权值向量进行连接，得到所述第一词向量序列的第一个词向量的组合向量；
用所述第一词向量序列的第一个词向量的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第一个中间向量序列的第1个向量Z1,1。
6.如权利要求4所述的方法，其特征在于，所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u，得到所述第一编码序列的第一个中间向量序列Z1＝{Z1,1,…,Z1,u,…,Z1,U}包括：
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的Q权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的Q权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V’权值向量；
所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的第三K权值矩阵，得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K’权值向量；
所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的Q权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K’权值向量确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值；
所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量、所述第一编码序列的第1个中间向量序列Z1,2的第2个向量的V’权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的第一个分值；
所述第1层前向隐藏子层的第2个编码模块将所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值进行连接，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量；
所述第1层前向隐藏子层的第2个编码模块用所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量乘以所述第四权值矩阵，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量；
所述第1层前向隐藏子层的第2个编码模块中的前馈网络对经过残差和归一化处理的所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量进行编码，并再次进行归一化处理，得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述特征提取模型的第n层前向隐藏子层的第U个编码模块将所述第一编码序列的n-1个中间向量序列的第U-1个向量、所述第一编码序列的n-1个中间向量序列的第U个向量和所述第二编码序列的n-1个中间向量序列的第W个向量编码为Zn,U；第n层后向隐藏子层的第W个编码模块将所述第二编码序列的n-1个中间向量序列的第W-1个向量、所述第二编码序列的n-1个中间向量序列的第W个向量和所述第一编码序列的n-1个中间向量序列的第U个向量编码为Rn,W。
8.一种语句情感分类装置，其特征在于，所述装置包括：
获取模块，用于获取第一语句样本集，所述第一语句样本集中的每个第一语句样本包含一个缺失词；
转化模块，用于对于每个第一语句样本，利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列，将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列，根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量；
编码模块，用于利用所述特征提取模型将所述第一词向量序列编码为第一编码序列，将所述第二词向量序列编码为第二编码序列；
计算模块，用于利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量；
第一训练模块，用于根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型，得到第一特征提取模型，新建第二特征提取模型，使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致，用所述第一特征提取模型的权值更新所述第二特征提取模型的权值；
第二训练模块，用于用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型；
连接模块，用于用所述属性分类模型识别多个待识别语句的属性词，将每个待识别语句与识别出的每个待识别语句的属性词连接，得到连接属性词的所述多个待识别语句；
第三训练模块，用于用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型；
分类模块，用于用所述属性分类模型识别待处理语句的属性词，情感分类模型对连接属性词的所述待处理语句进行分类，输出所述待处理语句的属性词和所述待处理语句的情感类型。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1-7中任一项所述语句情感分类方法。
10.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述语句情感分类方法。
CN202010137265.1A 2020-03-02 2020-03-02 语句情感分类方法及相关设备 Pending CN111460812A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010137265.1A CN111460812A (zh) 2020-03-02 2020-03-02 语句情感分类方法及相关设备
PCT/CN2020/131951 WO2021174922A1 (zh) 2020-03-02 2020-11-26 语句情感分类方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137265.1A CN111460812A (zh) 2020-03-02 2020-03-02 语句情感分类方法及相关设备

Publications (1)

Publication Number Publication Date
CN111460812A true CN111460812A (zh) 2020-07-28

Family

ID=71684213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137265.1A Pending CN111460812A (zh) 2020-03-02 2020-03-02 语句情感分类方法及相关设备

Country Status (2)

Country Link
CN (1) CN111460812A (zh)
WO (1) WO2021174922A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036439A (zh) * 2020-07-30 2020-12-04 平安科技（深圳）有限公司 依存关系分类方法及相关设备
CN112329392A (zh) * 2020-11-05 2021-02-05 上海明略人工智能(集团)有限公司 双向编码的目标编码器构建方法及装置
WO2021174922A1 (zh) * 2020-03-02 2021-09-10 平安科技（深圳）有限公司 语句情感分类方法及相关设备
CN114443849A (zh) * 2022-02-09 2022-05-06 北京百度网讯科技有限公司 一种标注样本选取方法、装置、电子设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115169530B (zh) * 2022-06-29 2023-09-26 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和可读存储介质
CN115905533B (zh) * 2022-11-24 2023-09-19 湖南光线空间信息科技有限公司 一种多标签文本智能分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102086642B1 (ko) * 2018-07-23 2020-03-09 전남대학교산학협력단 가격등락에 따른 감성사전 구축과 합성곱 신경망 기반의 문장 감성 분류 시스템 및 방법
CN109299457B (zh) * 2018-09-06 2023-04-28 北京奇艺世纪科技有限公司 一种观点挖掘方法、装置及设备
CN110222178B (zh) * 2019-05-24 2021-11-09 新华三大数据技术有限公司 文本情感分类方法、装置、电子设备及可读存储介质
CN110287320B (zh) * 2019-06-25 2021-03-16 北京工业大学 一种结合注意力机制的深度学习多分类情感分析模型
CN110825849A (zh) * 2019-11-05 2020-02-21 泰康保险集团股份有限公司 文本信息情感分析方法、装置、介质及电子设备
CN111460812A (zh) * 2020-03-02 2020-07-28 平安科技（深圳）有限公司 语句情感分类方法及相关设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174922A1 (zh) * 2020-03-02 2021-09-10 平安科技（深圳）有限公司 语句情感分类方法及相关设备
CN112036439A (zh) * 2020-07-30 2020-12-04 平安科技（深圳）有限公司 依存关系分类方法及相关设备
CN112036439B (zh) * 2020-07-30 2023-09-01 平安科技（深圳）有限公司 依存关系分类方法及相关设备
CN112329392A (zh) * 2020-11-05 2021-02-05 上海明略人工智能(集团)有限公司 双向编码的目标编码器构建方法及装置
CN112329392B (zh) * 2020-11-05 2023-12-22 上海明略人工智能(集团)有限公司 双向编码的目标编码器构建方法及装置
CN114443849A (zh) * 2022-02-09 2022-05-06 北京百度网讯科技有限公司 一种标注样本选取方法、装置、电子设备和存储介质
CN114443849B (zh) * 2022-02-09 2023-10-27 北京百度网讯科技有限公司 一种标注样本选取方法、装置、电子设备和存储介质
US11907668B2 (en) 2022-02-09 2024-02-20 Beijing Baidu Netcom Science Technology Co., Ltd. Method for selecting annotated sample, apparatus, electronic device and storage medium

Also Published As

Publication number Publication date
WO2021174922A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111460812A (zh) 语句情感分类方法及相关设备
CN107680580B (zh) 文本转换模型训练方法和装置、文本转换方法和装置
CN112329465A (zh) 一种命名实体识别方法、装置及计算机可读存储介质
CN109657226B (zh) 多联结注意力的阅读理解模型、系统及方法
CN110866401A (zh) 基于注意力机制的中文电子病历命名实体识别方法及系统
CN111753081A (zh) 基于深度skip-gram网络的文本分类的系统和方法
CN110781306B (zh) 一种英文文本的方面层情感分类方法及系统
CN111738169B (zh) 一种基于端对端网络模型的手写公式识别方法
CN111738016A (zh) 多意图识别方法及相关设备
CN115662435B (zh) 一种虚拟教师拟真化语音的生成方法及终端
CN111985243B (zh) 情感模型的训练方法、情感分析方法、装置及存储介质
JP2023012493A (ja) 言語モデルの事前トレーニング方法、装置、デバイスおよび記憶媒体
CN112348911A (zh) 基于语义约束的堆叠文本生成细粒度图像方法及系统
CN110990555A (zh) 端到端检索式对话方法与系统及计算机设备
CN114333852A (zh) 一种多说话人语音人声分离方法、终端设备及存储介质
CN111339775A (zh) 命名实体识别方法、装置、终端设备及存储介质
Madhfar et al. Effective deep learning models for automatic diacritization of Arabic text
CN113283336A (zh) 一种文本识别方法与系统
CN111597815A (zh) 一种多嵌入命名实体识别方法、装置、设备及存储介质
CN111241820A (zh) 不良用语识别方法、装置、电子装置及存储介质
CN111968624B (zh) 数据构建方法、装置、电子设备及存储介质
CN111767720B (zh) 一种标题生成方法、计算机及可读存储介质
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
KR20230055021A (ko) Nested 와 Overlapped Named Entity 인식을 위한 피라미드 Layered 어텐션 모델
CN114297022A (zh) 云环境异常检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40031277

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination