CN111339255B - 目标情感分析的方法、模型训练方法、介质和设备 - Google Patents

目标情感分析的方法、模型训练方法、介质和设备 Download PDF

Info

Publication number
CN111339255B
CN111339255B CN202010121427.2A CN202010121427A CN111339255B CN 111339255 B CN111339255 B CN 111339255B CN 202010121427 A CN202010121427 A CN 202010121427A CN 111339255 B CN111339255 B CN 111339255B
Authority
CN
China
Prior art keywords
vector
word
target
sentence
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010121427.2A
Other languages
English (en)
Other versions
CN111339255A (zh
Inventor
刘巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010121427.2A priority Critical patent/CN111339255B/zh
Publication of CN111339255A publication Critical patent/CN111339255A/zh
Application granted granted Critical
Publication of CN111339255B publication Critical patent/CN111339255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)

Abstract

本公开涉及自然语言处理技术领域，提供了一种目标情感分析的方法及装置、目标情感分析模型训练方法及装置，以及计算机存储介质和电子设备。其中，目标情感分析的方法包括：对于待测语句中每个词，获取当前词的词向量、获取用于表示当前词的全局语义信息的文本向量，以及获取用于表示当前词在待测语句中位置信息的位置向量；对待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到待测语句的语义向量；获取待测语句中目标词对应的目标向量；根据语义向量和目标向量预测目标词的情感极性类别。本技术方案有利于提升对目标词的情感极性类别的预测准确度。

Description

目标情感分析的方法、模型训练方法、介质和设备
技术领域
本公开涉及自然语言处理技术领域，具体而言，涉及一种目标情感分析(TargetedSentiment Analysis,简称：TSA)的方法及装置、TSA模型训练方法及装置，以及计算机存储介质和电子设备。
背景技术
TSA任务是确定语句中目标词的情感极性类别，例如，对于语句“这家餐厅的食品很好吃，但是服务比较差。”对于其中的目标词“食品”的情感极性类别为积极类型，对于另一个目标词“服务”的情感极性类别为消极类型。
随着机器学习技术的发展，机器学习技术可被用于解决TSA任务。现有技术中，通过卷积神经网络对语句以及语句中的目标词进行特征提取，以通过提取到的特征实现对目标词的情感极性类别的预测。
然而，相关技术提供的目标情感分析的方案的预测准确度有待提高。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开的目的在于提供一种TSA的方法及装置、TSA模型训练方法及装置，以及计算机存储介质和电子设备，进而至少在一定程度上提升对目标词的情感极性类别的预测准确度。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种目标情感分析的方法，包括：
对于待测语句中每个词，获取当前词的词向量、获取用于表示上述当前词的全局语义信息的文本向量，以及获取用于表示上述当前词在上述待测语句中位置信息的位置向量；
对上述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到上述待测语句的语义向量；
获取上述待测语句中目标词对应的目标向量；
根据上述语义向量和上述目标向量预测上述目标词的情感极性类别。
根据本公开的一个方面，提供一种目标情感分析的装置，包括：包括：第一向量获取模块、向量编码模块、第二向量获取模块，以及情感极性分类模块。其中：
上述第一向量获取模块，被配置为：对于待测语句中每个词，获取当前词的词向量、获取用于表示上述当前词的全局语义信息的文本向量，以及获取用于表示上述当前词在上述待测语句中位置信息的位置向量；
上述向量编码模块，被配置为：对上述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到上述待测语句的语义向量；
上述第二向量获取模块，被配置为：获取上述待测语句中目标词对应的目标向量；
上述情感极性分类模块，被配置为：根据上述语义向量和上述目标向量预测上述目标词的情感极性类别。
在本公开的一些实施例中，基于前述方案，上述待测语句中包含一个或多个目标词。
在本公开的一些实施例中，基于前述方案，上述向量编码模块，包括：注意力机制处理单元、残差连接单元、标准化处理单元以及线性转换单元。
其中：
上述注意力机制处理单元，被配置为：通过注意力机制处理上述待测语句中的每个词的：词向量、文本向量和位置向量，得到第一处理向量；
上述残差连接单元，被配置为：将上述待测语句中的每个词的：词向量、文本向量和位置向量，与上述第一处理向量进行残差连接，得到第二处理向量；
上述标准化处理单元，被配置为：标准化处理上述第二处理向量，得到第三处理向量；
上述线性转换单元，被配置为：对上述第三处理向量进行线性转换处理，得到上述待测语句的语义向量。
在本公开的一些实施例中，基于前述方案，上述向量编码模块，具体被配置为：
通过遮蔽语言模型方式和下一语句预测方式预训练深度学习模型；
通过预训练后的深度学习模型对上述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到上述待测语句的语义向量。
在本公开的一些实施例中，基于前述方案，上述第二向量获取模块，具体被配置为：
对上述待测语句中的目标词进行词嵌入处理，得到上述目标向量。
在本公开的一些实施例中，基于前述方案，上述情感极性分类模块，包括：第一全连接处理单元、第二全连接处理单元和预测单元。其中：
上述第一全连接处理单元，被配置为：对上述语义向量和上述目标向量进行第一全连接处理，得到全连接向量；
上述第二全连接处理单元，被配置为：结合上述目标向量，对上述全连接向量进行第二全连接处理，以得到待测向量；
上述预测单元，被配置为：根据上述待测向量预测上述目标词的情感极性类别。
在本公开的一些实施例中，基于前述方案，上述第二全连接处理单元，具体被配置为：
对第i次全连接处理之后的全连接向量和上述目标向量进行求和处理，并对求和处理之后的向量进行第i+1次全连接处理，其中，i取值为正整数。
在本公开的一些实施例中，基于前述方案，上述预测单元，具体被配置为：
对上述待测向量进行归一化处理，得到上述目标词的情感极性类别。
在本公开的一些实施例中，基于前述方案，上述第一向量获取模块，被具体配置为：
对上述待测语句中的当前词进行词嵌入处理，得到上述当前词的词向量。
在本公开的一些实施例中，基于前述方案，上述情感极性类别，包括：积极、中立和消极。
根据本公开的一个方面，提供一种目标情感分析模型的训练方法，该方法包括：
对于样本语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述样本语句中位置信息的位置向量；
对所述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述样本语句的语义向量；
获取所述样本语句中目标词对应的目标向量；以及
将所述语义向量和所述目标向量输入目标情感分析模型，得到所述样本语句中目标词的预测情感极性，并基于所述预测情感极性和所述目标词的实际情感极性训练所述目标情感分析模型。
根据本公开的一个方面，提供一种目标情感分析模型的训练装置，该装置包括：第三向量获取模块、向量编码模块、第四向量获取模块以及模型训练模块。其中：
上述第三向量获取模块，被配置为：对于样本语句中每个词，获取当前词的词向量、获取用于表示上述当前词的全局语义信息的文本向量，以及获取用于表示上述当前词在上述样本语句中位置信息的位置向量；
上述向量编码模块，被配置为：对上述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到上述样本语句的语义向量；
上述第四向量获取模块，被配置为：获取上述样本语句中目标词对应的目标向量；以及
上述模型训练模块，被配置为：将上述语义向量和上述目标向量输入目标情感分析模型，得到上述样本语句中目标词的预测情感极性，并基于上述预测情感极性和上述目标词的实际情感极性训练上述目标情感分析模型
根据本公开的一个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的目标情感分析的方法，或实现第三方面所述的目标情感分析模型的训练方法。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的目标情感分析的方法，或实现第三方面所述的目标情感分析模型的训练方法。
由上述技术方案可知，本公开示例性实施例中的目标情感分析的方法及装置，以及实现上述目标情感分析的方法的计算机存储介质和电子设备至少具备以下优点和积极效果：
在本公开的一些实施例所提供的技术方案中，通过对待测语句中每个词的：词向量、文本向量和位置向量进行编码得到该待测语句的语义向量，其中，文本向量用于表示所述当前词的全局语义信息、位置向量用于表示所述当前词在所述待测语句中位置信息。从而能够多角度地获取该语句的特征，得到包含丰富语义信息的表征(即语义向量)。进一步地，根据该语义向量和该待测语句中目标词的目标向量预测目标词的情感极性类别。以基于语义向量和该待测语句的交互影响预测目标词的情感极性类别，有利于提升对目标词的情感极性类别的预测准确度。
本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在附图中：
图1示出了可以应用本公开实施例的一种目标情感分析的方法及装置的示例性应用环境的系统架构的示意图；
图2示意性示出了根据本公开的一实施例的目标情感分析的方法的流程图；
图3示意性示出了根据本公开的一实施例的语义向量的确定方法的流程图；
图4示意性示出了根据本公开的另一实施例的语义向量的确定方法的流程图；
图5示意性示出了根据本公开的再一实施例的语义向量的确定方法的流程图；
图6示意性示出了根据本公开的另一实施例的目标情感分析的方法的流程图；
图7示意性示出了根据本公开的再一实施例的目标情感分析的方法的流程图；
图8示意性示出了根据本公开的一实施例的目标情感分析模型的训练方法的流程图；
图9示意性示出了根据本公开的一实施例的目标情感分析的装置的结构图；
图10示意性示出了根据本公开的一实施例的目标情感分析模型的训练装置的流程图；以及，
图11示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本公开实施例的一种目标情感分析的方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务端105。网络104用以在终端设备101、102、103和服务端105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务端。比如服务端105可以是多个服务端组成的服务端集群等。
本公开实施例所提供的目标情感分析的方法一般由服务端105执行，相应地，目标情感分析的装置一般设置于服务端105中。但本领域技术人员容易理解的是，本公开实施例所提供的目标情感分析的方法也可以由终端设备101、102、103执行，相应的，目标情感分析的装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。
举例而言，在一种示例性实施例中，可以是服务端105对于待测语句中每个词，获取当前词的词向量、获取用于表示该当前词的全局语义信息的文本向量，以及获取用于表示该当前词在所述待测语句中位置信息的位置向量；然后，服务端105对上述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到该待测语句的语义向量。另一方面，服务端105获取该待测语句中目标词对应的目标向量；进一步地，服务端105根据上述语义向量和上述目标向量预测所述目标词的情感极性类别。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，服务端105还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
其中，人工智能(Artificial Intelligence，简称：AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
自然语言处理(Nature Language processing,简称：NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning，简称：ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本公开实施例提供的方案涉及人工智能的机器学习、自然语言处理等技术，具体通过如下实施例进行说明。具体通过如下实施例进行说明：
随着电子商务的发展，产生了大量的对商品的线上评价文本。通过TSA处理线上评价文本，一方面使得潜在消费者快速了解已消费用户对目标词的情感倾向，进而优化消费决策；另一方面商家可以从已消费用户的评论情感倾向中总结得到商品的市场反馈信息，有利于商品的改善。
现有技术中，通过卷积神经网络对语句以及语句中的目标词进行特征提取，一般仅对目标此信息和语句的语义信息进行线性组合，即没有充分考虑两者之间的复杂互动。可见，相关的目标情感分析方案中，特征提取层设计的比较简单，从而导致对目标词的情感极性类别的预测准确度较低。
针对相关技术中存在技术问题，本技术方案提供一种目标情感分析的方法及装置，至少在一定程度上提升对目标词的情感极性类别的预测准确度。以下先对本公开提供目标情感分析的方法实施例的进行详细阐述：
图2示意性示出了根据本公开的一实施例的目标情感分析的方法的流程图。具体的，参考图2，该图所示实施例包括：
步骤S210，对于待测语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述待测语句中位置信息的位置向量；
步骤S220，对所述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述待测语句的语义向量；
步骤S230，获取所述待测语句中目标词对应的目标向量；以及，
步骤S240，根据所述语义向量和所述目标向量预测所述目标词的情感极性类别。
在图2所示实施例提供的技术方案中，通过对待测语句中每个词的：词向量、文本向量和位置向量进行编码得到该待测语句的语义向量，其中，文本向量用于表示所述当前词的全局语义信息、位置向量用于表示所述当前词在所述待测语句中位置信息。从而能够多角度地获取该语句的特征，得到包含丰富语义信息的表征(即语义向量)。进一步地，根据该语义向量和该待测语句中目标词的目标向量预测目标词的情感极性类别。以基于语义向量和该待测语句的交互影响预测目标词的情感极性类别，有利于提升对目标词的情感极性类别的预测准确度。
需要说明的是，本技术方案适用于多种语言的目标情感分析任务，也就是说，上述待测语句可以是中文、英文或其他语言。
在一待测语句中包含两个或两个至上的目标词时，可以称作特定目标情感分析任务。具体的，特定目标情感分析任务需要针对文本中不同的特定目标来分析其情感极性。例如：“Good food but dreadful service at that restaurant”，其中包含两个目标词。且目标词“food”对应的是积极情感，目标词“service”对应的是消极情感。可见，在同一个待测语句中不同的目标词可能会出现相反的情感极性。然而，针对上述特定目标情感分析任务，相关技术中采用传统的机器学习模型(如，卷积神经网络)对语句以及语句中的目标词进行特征提取，模型的特征提取层设计的比较简单，从而很有可能将同一待测语句中的不同目标预测为相同的情感极性，导致特点TSA任务中目标词的情感极性类别的预测准确度较低。
同时，本技术方案适用于待测语句中包含一个或多个目标词的情况，即本技术方案提供的目标情感分析方案适用于解决TSA任务。其中，上述情感极性类别可以分为积极类别(如，“喜欢”、“不错”、“美观”等)、中立类别(如，“还可以”、“还行”、“一般”、“一般般”等)和消极类别(如，“糟糕”、“较差”、“差劲”等)。以下实施例将对本技术方案的具体实施方式进行解释说明：
在示例性的实施例中，参考图2，在步骤S210中，对于待测语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述待测语句中位置信息的位置向量
示例性的，上述待测语句可以是任意一个评价性语句，例如：“Good food butdreadful service at that restaurant”。在步骤S210中对待测语句中的每个词进行特征提取。对于待测语句中的当前进行特征提取的词(即“当前词”)获取其词向量(如，通过词嵌入的方式确定的一维向量)、还获取用于表示该当前词的全局语义信息的文本向量，以及获取用于表示该当前词在所述待测语句中位置信息的位置向量。
参考图3，假如待测语句31中的当前词为“but”，则获取“but”的词向量(1)、用于表示“but”的全局语义信息的文本向量(2)，以及获取用于表示“but”在该待测语句中位置信息的位置向量(3)。
在示例性的实施例中，在步骤S220中，对上述待测语句中的每个词的：词向量321、文本向量322和位置向量323进行编码，得到该待测语句的语义向量34。
示例性的，参考图3，可以通过预训练语言模型33的方式，对上述待测语句中的每个词的：词向量321、文本向量322和位置向量323进行编码，得到该待测语句的语义向量34。
在该实施例中，可以先通过遮蔽语言模型方式和下一语句预测方式预训练深度学习模型，得到预训练语言模型33。其中，上述遮蔽语言模型的预训练方式为将原语句中的某些词抹去/替换，通过训练使得语言模型预测被抹去/替换的词语。则遮蔽语言模型的预训练方式能够使得预训练后的语言模型更多地依赖于上下文信息去预测词汇，同时赋予给语言模型一定的纠错能力。上述下一句预测的预训练方式是将一语句中的词语顺序打乱，通过训练使得语言模型通过词语重新排序还原该语句。则下一句预测的预训练方式使得语言模型对全语句的语义进行充分、准确的理解。
然后，通过预训练语言模型33对上述待测语句的向量表示32(即，待测语句中的每个词的：词向量、文本向量和位置向量)进行编码，得到待测语句对应的语义向量34。其中，通过遮蔽语言模型方式和下一语句预测方式联合训练得到的预训练语言模型33处理向量表示32，可以使得语义向量34都能尽可能全面、准确地刻画待测语句的整体信息，最终有利于提升对目标词的情感极性的预测准确度。
在示例性的实施例中，图4和图5示意性示出了通过预训练语言模型33对向量表示32进行编码处理的具体实施方式。以下结合图5对图4示出的各个步骤的具体实施方式进行解释说明：
在步骤S410中，通过注意力机制331处理待测语句的向量表示32，得到第一处理向量332。
其中，通过注意力机制可以使得“当前词(此处指的是注意力机制进行处理的词)”的输出向量有区分地利用其上下文字信息，起到增强“当前词”的语义表示的作用。例如，通过注意力机制确定“food”的输出向量时，对其上文信息“Good”具有较大的权重值而对其下文信息“but”具有较小的权重值。从而，有利于语义向量能够充分、准确表达待测语句的语义。
在示例性的实施例中，可以采用自注意力机制(Self-Attention)对上述待测语句的向量表示32进行处理得到第一处理向量332。另外，为了增强多样性，还可以利用不同的Self-Attention获得向量表示32中每个词在不同语义空间下的增强语义向量，并将每个词的多个增强语义向量进行线性组合，从而获得增强语义向量(即第一处理向量332)。也就是说，还可以采用多头注意力机制(Multi-head Self-Attention)对上述待测语句的向量表示32进行处理，以得到第一处理向量332。
在步骤S420中，将该待测语句的向量表示32，与上述第一处理向量332进行残差连接，得到第二处理向量333。
在示例性的实施例中，通过残差连接(Residual Connection)得到的第二处理向量333，具体是将注意力机制331的输入(待测语句的向量表示32)与输出(第一处理向量332)相加得到的特征。其中，残差连接处理可以使语言模型33更容易训练。
在步骤S430中，通过层标准化(Layer Normalization)334标准化处理上述第二处理向量333，得到第三处理向量335。
在示例性的实施例中，通过层标准化334对一层神经网络节点作均值为0且方差为1的标准化，即将上述第二处理向量333进行均值为0且方差为1的准化处理。
在步骤S440中，对上述第三处理向量335进行线性转换处理336，得到上述待测语句的语义向量34。
在示例性的实施例中，通过对上述第三处理向量335进行一次或两次线性转换336，能够增强语言模型33输出向量的表达能力，即进一步增强语义向量34对待测语句的表达能力。
一方面，通过图3、图4以及图5所示的实施例便可以确定上述待测语句的语义向量34。另一方面，继续参考图2，在步骤S230中获取该待测语句中目标词对应的目标向量。进一步地，在步骤S240中结合语义向量和目标向量预测所述目标词的情感极性类别。
作为步骤S230的示例性的实施方式中，以待测语句“Good food but dreadfulservice at that restaurant”为例，其中包含两个目标词：“food”和“service”。本实施例中以该待测语句中的例中任意一个目标词“food”为例进行解释说明。示例性的，可以对目标词“food”进行词嵌入处理(Word Embedding)，得到目标向量。示例性的，本实施例中是对目标词的感情极性类别进行预测，则还可以通过Aspect Embedding确定目标向量，以提升特征提取的准确度。
需要说明的是，获取待测语句的语义向量(步骤S210和步骤S220)的实施例与获取待测语句中目标词的目标向量(步骤S230)的实施例的执行顺序部分先后。即，可以先执行获取待测语句的语义向量(步骤S210和步骤S220)的实施例，再执行获取待测语句中目标词的目标向量(步骤S230)的实施例；可以先执行获取待测语句中目标词的目标向量(步骤S230)的实施例，再执行获取待测语句的语义向量(步骤S210和步骤S220)的实施例；还可以获取待测语句的语义向量(步骤S210和步骤S220)的实施例，与获取待测语句中目标词的目标向量(步骤S230)的实施例同时执行。
以下结合图7对图6示出的各个步骤的具体实施方式进行解释说明：
在步骤S610中，对所述语义向量和所述目标向量进行第一全连接处理，得到全连接向量。
在示例性的实施例中，参考图7，将根据待测语句71确定的语义向量Xs，以及根据该待测语句中的目标词72确定的目标向量Wa，输入至第一全连接层F1，以进行上述第一全连接处理。具体的，语义向量Xs和目标向量Wa进入第一全连接层F1可以通过激活函数relu得到第一全连接向量R1。
在步骤S620中，结合所述目标向量，对所述全连接向量进行第二全连接处理，以得到待测向量。
在示例性的实施例中，对第i次全连接处理之后的全连接向量Ri和所述目标向量Wa进行求和处理，并对求和处理之后的向量进行第i+1次全连接处理，其中，i取值为正整数。
示例性的，参考图7，通过求和器73，对目标向量Wa和上述第一全连接层F1输出的第一全连接向量R1进行求和，并对求和处理之后的向量R1’输入至第二全连接层F2，再次进行全连接处理。进一步地，再次通过求和器73，对目标向量Wa和第二全连接层F2输出的第二全连接向量R2进行求和，并对求和处理之后的向量R2’输入至下一全连接层(图中未示出)，以再次进行全连接处理。直到通过第N全连接层FN(N为大于或等于2的正整数)对求和器输出的特征进行全连接处理，并进一步地将第N全连接向量RN与目标向量Wa求和得到向量RN’，最终将向量RN’进行归一化。
在步骤S620提供的技术方案中，在第i+1次全连接处理之前，将目标向量与第i次全连接处理得到的向量进行一次求和。一方面，使得全连接向量与目标向量之间进行较为复杂交互组合，相比于相关技术中两者仅一次线性组合，本技术方案有利于提升特征提取的复杂程度，从而有利于提升对情感极性预测的准确度。另一方面，通过多次结合目标向量之后进行全连接，避免了情感极性预测主要由语义信息决定，有利于提升目标信息对情感极性预测的影响力，也有利于提升对情感极性预测的准确度。
继续参考图6，在步骤S630中，根据所述待测向量预测所述目标词的情感极性类别。
在示例性的实施例中，通过归一化层74对待测向量(如第N全连接向量RN)进行归一化处理。例如，通过Y＝softmax(RN)得到目标词(如“food”)属于各个情感极性类别的概率。如，属于积极类别的概率为60％，属于中立类别的概率为30％，属于消极类别的概率为10％。则选择概率最大的情感极性类别作为当前目标词的情感极性，即得到目标词的情感极性类别75。
示例性的，针对待测语句“Good food but dreadful service at thatrestaurant”中的另一个目标词“service”，获取其情感极性的具体实施方式与获取目标词“food”的情感极性的具体实施方式相同，在此不再赘述。
可见，本技术方案适用于解决特定TSA任务，并且对于每个目标词均具有较高的预测准确度。例如，可以有效分析出客户对餐厅各个方面的评价，给出详细的小项分，以便后续客户参考。还可以分析出客户对一款新产品的各个功能的好评度，以便选择关键的功能进行优化；还可以便利准确地分析出观影者对某个电影的不同情节的评价、或对电影背景音乐的评价，从而细化了影评。
本技术方案的还提供一种目标情感分析模型的训练方法，其中，目标情感分析模型即可用于上述实施例的目标情感分析。参考图8，对目标情感分析模型的训练方法包括：
步骤S810，对于样本语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述样本语句中位置信息的位置向量；
步骤S820，对所述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述样本语句的语义向量；
步骤S830，获取所述样本语句中目标词对应的目标向量；以及
步骤S840，将所述语义向量和所述目标向量输入目标情感分析模型，得到所述样本语句中目标词的预测情感极性，并基于所述预测情感极性和所述目标词的实际情感极性训练所述目标情感分析模型。
在示例性的实施例中，可以使用Restaurant数据集作为实验数据集，其数据集构成如表1：
表1
Figure BDA0002393091120000151
Figure BDA0002393091120000161
在示例性的实施例中，对于上表中的Restaurant数据集执行步骤S810-步骤S830的特征提取步骤。具体通过步骤S810和步骤S820获取样本语句的语义向量，通过步骤S830获取样本语句中目标词的目标向量。其中，步骤S810-步骤S830的具体实施方式与步骤S210-步骤S230的具体实施方式相同，在此不再赘述。
在示例性的实施例中，获取到样本语句的语义向量以及该样本语句中任一目标词的目标向量之后，在步骤S840中，将每个样本语句对应的语义向量和目标向量输入目标情感分析模型，得到样本语句中目标词的预测情感极性，进一步地，基于预测情感极性和该目标词的实际情感极性训练所述目标情感分析模型。示例性的，具体的训练参数：
使用随机梯度下降(Stochastic Gradient Descent,简称：SGD)优化器，学习率Learning_rate＝1e-3，正则化项L2＝1e-3，Epoch＝10。
通过本技术方案提供的特征提取方法确定样本语句的语义向量以及目标向量，有利于提升该情感目标分析模型捕捉到两者之间复杂关系的能力，从而增强了模型的文本分析能力，进而基于语义信息和目标信息之间交互的复杂性进行情感极性类别的预测，并有利于提升预测准确度。
示例性的，表2列出了目标情感分析领域内多个模型的预测准确度。
表2
Figure BDA0002393091120000162
参考表2，与其他模型(支持向量机模型SVM、SVM+lexicons(A StructuredModeling System for Optimization)、ATAE_长短期记忆模型LSTM、卷积神经网络CNN、图像卷积网络GCN以及GCAE(Gated Convolutional Networks Aspect Embedding)模型)相比，本技术方案提供的目标情感分析模型在数据集Restaurant-Large上具有最高的准确度，同时，在数据集Restaurant 2014也具有较高的准确度。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由处理器(包含CPU和GPU)执行的计算机程序。例如，通过GPU实现对上述目标情感分析模型的训练，或者基于训练后的预测模型，使用CPU或GPU实现对目标情感分析任务等。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
以下介绍本公开的目标情感分析的装置实施例，可以用于执行本公开上述的目标情感分析的方法。
图9示意性示出本公开示例性实施例中目标情感分析的装置的结构图。如图9所示，上述目标情感分析的装置900包括：第一向量获取模块901、向量编码模块902、第二向量获取模块903，以及情感极性分类模块904。其中：
上述第一向量获取模块901，被配置为：对于待测语句中每个词，获取当前词的词向量、获取用于表示上述当前词的全局语义信息的文本向量，以及获取用于表示上述当前词在上述待测语句中位置信息的位置向量；
上述向量编码模块902，被配置为：对上述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到上述待测语句的语义向量；
上述第二向量获取模块903，被配置为：获取上述待测语句中目标词对应的目标向量；
上述情感极性分类模块904，被配置为：根据上述语义向量和上述目标向量预测上述目标词的情感极性类别。
在本公开的一些实施例中，基于前述方案，上述待测语句中包含一个或多个目标词。
在本公开的一些实施例中，基于前述方案，上述向量编码模块902，包括：注意力机制处理单元9021、残差连接单元9022、标准化处理单元9023以及线性转换单元9024。其中：
上述注意力机制处理单元9021，被配置为：通过注意力机制处理上述待测语句中的每个词的：词向量、文本向量和位置向量，得到第一处理向量；
上述残差连接单元9022，被配置为：将上述待测语句中的每个词的：词向量、文本向量和位置向量，与上述第一处理向量进行残差连接，得到第二处理向量；
上述标准化处理单元9023，被配置为：标准化处理上述第二处理向量，得到第三处理向量；
上述线性转换单元9024，被配置为：对上述第三处理向量进行线性转换处理，得到上述待测语句的语义向量。
在本公开的一些实施例中，基于前述方案，上述向量编码模块902，具体被配置为：
通过遮蔽语言模型方式和下一语句预测方式预训练深度学习模型；
通过预训练后的深度学习模型对上述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到上述待测语句的语义向量。
在本公开的一些实施例中，基于前述方案，上述第二向量获取模块903，具体被配置为：
对上述待测语句中的目标词进行词嵌入处理，得到上述目标向量。
在本公开的一些实施例中，基于前述方案，上述情感极性分类模块904，包括：第一全连接处理单元9041、第二全连接处理单元9042和预测单元9043。其中：
上述第一全连接处理单元9041，被配置为：对上述语义向量和上述目标向量进行第一全连接处理，得到全连接向量；
上述第二全连接处理单元9042，被配置为：结合上述目标向量，对上述全连接向量进行第二全连接处理，以得到待测向量；
上述预测单元9043，被配置为：根据上述待测向量预测上述目标词的情感极性类别。
在本公开的一些实施例中，基于前述方案，上述第二全连接处理单元9042，具体被配置为：
对第i次全连接处理之后的全连接向量和上述目标向量进行求和处理，并对求和处理之后的向量进行第i+1次全连接处理，其中，i取值为正整数。
在本公开的一些实施例中，基于前述方案，上述预测单元9043，具体被配置为：
对上述待测向量进行归一化处理，得到上述目标词的情感极性类别。
在本公开的一些实施例中，基于前述方案，上述第一向量获取模块901，被具体配置为：
对上述待测语句中的当前词进行词嵌入处理，得到上述当前词的词向量。
在本公开的一些实施例中，基于前述方案，上述情感极性类别，包括：积极、中立和消极。
上述目标情感分析的装置中各单元的具体细节已经在说明书的目标情感分析的方法中进行了详细的描述，因此此处不再赘述。
以下介绍本公开的目标情感分析模型的训练装置实施例，可以用于执行本公开上述的目标情感分析模型的训练方法。
图10示意性示出本公开示例性实施例中目标情感分析模型的训练装置的结构图。如图10所示，上述目标情感分析模型的训练装置1000包括：第三向量获取模块1001、向量编码模块1002、第第向量获取模块1003，以及模型训练模块1004。其中：
上述第三向量获取模块1001，被配置为：对于样本语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述样本语句中位置信息的位置向量；
上述向量编码模块1002，被配置为：对所述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述样本语句的语义向量；
上述第四向量获取模块1003，被配置为：获取所述样本语句中目标词对应的目标向量；
上述模型训练模块1004，被配置为：将所述语义向量和所述目标向量输入目标情感分析模型，得到所述样本语句中目标词的预测情感极性，并基于所述预测情感极性和所述目标词的实际情感极性训练所述目标情感分析模型。
上述目标情感分析模型的训练装置中各单元的具体细节已经在说明书的目标情感分析的方法中进行了详细的描述，因此此处不再赘述。
图11示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括处理器1101(包括：图形处理单元(GraphicsProcessing Unit，简称：GPU)、中央处理单元(Central Processing Unit，简称：CPU))，其可以根据存储在只读存储器(Read-Only Memory，简称：ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统操作所需的各种程序和数据。处理器(CPU或GPU)1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，简称：I/O)接口1105也连接至总线1004。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，简称：CRT)、液晶显示器(Liquid Crystal Display，简称：LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如局域网(Local Area Network，简称：LAN)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器(CPU或GPU)1101执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，简称：EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，简称：CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。
计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。
例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
例如，所述的电子设备可以实现如图2中所示的：步骤S210，对于待测语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述待测语句中位置信息的位置向量；步骤S220，对所述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述待测语句的语义向量；步骤S230，获取所述待测语句中目标词对应的目标向量；以及，步骤S240，根据所述语义向量和所述目标向量预测所述目标词的情感极性类别。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务端、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种目标情感分析的方法，其特征在于，所述方法包括：
对于待测语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述待测语句中位置信息的位置向量；
通过遮蔽语言模型方式和下一语句预测方式预训练深度学习模型，并通过预训练后的深度学习模型对所述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述待测语句的语义向量；
获取所述待测语句中目标词对应的目标向量；
根据所述语义向量和所述目标向量预测所述目标词的情感极性类别；
其中，通过预训练后的深度学习模型对所述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述待测语句的语义向量，包括：
通过注意力机制处理所述待测语句中的每个词的：词向量、文本向量和位置向量，得到第一处理向量；
将所述待测语句中的每个词的：词向量、文本向量和位置向量，与所述第一处理向量进行残差连接，得到第二处理向量；
标准化处理所述第二处理向量，得到第三处理向量；
对所述第三处理向量进行线性转换处理，得到所述待测语句的语义向量。
2.根据权利要求1所述的目标情感分析的方法，其特征在于，所述待测语句中包含一个或多个目标词。
3.根据权利要求1所述的目标情感分析的方法，其特征在于，所述获取所述待测语句中目标词对应的目标向量，包括：
对所述待测语句中的目标词进行词嵌入处理，得到所述目标向量。
4.根据权利要求1至3中任意一项所述的目标情感分析的方法，其特征在于，所述根据所述语义向量和所述目标向量预测所述目标词的情感极性类别，包括：
对所述语义向量和所述目标向量进行第一全连接处理，得到全连接向量；
结合所述目标向量，对所述全连接向量进行第二全连接处理，以得到待测向量；
根据所述待测向量预测所述目标词的情感极性类别。
5.根据权利要求4所述的目标情感分析的方法，其特征在于，所述结合所述目标向量，对所述全连接向量进行全连接处理，包括：
对第i次全连接处理之后的全连接向量和所述目标向量进行求和处理，并对求和处理之后的向量进行第i+1次全连接处理，其中，i取值为正整数。
6.根据权利要求4所述的目标情感分析的方法，其特征在于，所述根据所述待测向量预测所述目标词的情感极性类别，包括：
对所述待测向量进行归一化处理，得到所述目标词的情感极性类别。
7.根据权利要求4所述的目标情感分析的方法，其特征在于，所述获取当前词的词向量，包括：
对所述待测语句中的当前词进行词嵌入处理，得到所述当前词的词向量。
8.根据权利要求4所述的目标情感分析的方法，其特征在于，所述情感极性类别，包括：积极、中立和消极。
9.一种目标情感分析模型的训练方法，其特征在于，所述方法包括：
对于样本语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述样本语句中位置信息的位置向量；
通过遮蔽语言模型方式和下一语句预测方式预训练深度学习模型，并通过预训练后的深度学习模型对所述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述样本语句的语义向量；
获取所述样本语句中目标词对应的目标向量；
将所述语义向量和所述目标向量输入目标情感分析模型，得到所述样本语句中目标词的预测情感极性，并基于所述预测情感极性和所述目标词的实际情感极性训练所述目标情感分析模型；
其中，通过预训练后的深度学习模型对所述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述样本语句的语义向量，包括：
通过注意力机制处理所述样本语句中的每个词的：词向量、文本向量和位置向量，得到第一处理向量；
将所述样本语句中的每个词的：词向量、文本向量和位置向量，与所述第一处理向量进行残差连接，得到第二处理向量；
标准化处理所述第二处理向量，得到第三处理向量；
对所述第三处理向量进行线性转换处理，得到所述样本语句的语义向量。
10.一种目标情感分析的装置，其特征在于，所述装置包括：
第一向量获取模块，被配置为：对于待测语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述待测语句中位置信息的位置向量；
向量编码模块，被配置为：通过遮蔽语言模型方式和下一语句预测方式预训练深度学习模型，并通过预训练后的深度学习模型对所述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述待测语句的语义向量；
第二向量获取模块，被配置为：获取所述待测语句中目标词对应的目标向量；
情感极性分类模块，被配置为：根据所述语义向量和所述目标向量预测所述目标词的情感极性类别；
其中，所述向量编码模块通过预训练后的深度学习模型对所述待测语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述待测语句的语义向量的过程，包括：
通过注意力机制处理所述待测语句中的每个词的：词向量、文本向量和位置向量，得到第一处理向量；
将所述待测语句中的每个词的：词向量、文本向量和位置向量，与所述第一处理向量进行残差连接，得到第二处理向量；
标准化处理所述第二处理向量，得到第三处理向量；
对所述第三处理向量进行线性转换处理，得到所述待测语句的语义向量。
11.一种目标情感分析模型的训练装置，其特征在于，所述装置包括：
第三向量获取模块，被配置为：对于样本语句中每个词，获取当前词的词向量、获取用于表示所述当前词的全局语义信息的文本向量，以及获取用于表示所述当前词在所述样本语句中位置信息的位置向量；
向量编码模块，被配置为：通过遮蔽语言模型方式和下一语句预测方式预训练深度学习模型，并通过预训练后的深度学习模型对所述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述样本语句的语义向量；
第四向量获取模块，被配置为：获取所述样本语句中目标词对应的目标向量；
模型训练模块，被配置为：将所述语义向量和所述目标向量输入目标情感分析模型，得到所述样本语句中目标词的预测情感极性，并基于所述预测情感极性和所述目标词的实际情感极性训练所述目标情感分析模型；
其中，所述向量编码模块通过预训练后的深度学习模型对所述样本语句中的每个词的：词向量、文本向量和位置向量进行编码，得到所述样本语句的语义向量，包括：
通过注意力机制处理所述样本语句中的每个词的：词向量、文本向量和位置向量，得到第一处理向量；
将所述样本语句中的每个词的：词向量、文本向量和位置向量，与所述第一处理向量进行残差连接，得到第二处理向量；
标准化处理所述第二处理向量，得到第三处理向量；
对所述第三处理向量进行线性转换处理，得到所述样本语句的语义向量。
12.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的目标情感分析的方法，或实现如权利要求9所述的目标情感分析模型的训练方法。
13.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任意一项所述的目标情感分析的方法，或实现如权利要求9所述的目标情感分析模型的训练方法。
CN202010121427.2A 2020-02-26 2020-02-26 目标情感分析的方法、模型训练方法、介质和设备 Active CN111339255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010121427.2A CN111339255B (zh) 2020-02-26 2020-02-26 目标情感分析的方法、模型训练方法、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010121427.2A CN111339255B (zh) 2020-02-26 2020-02-26 目标情感分析的方法、模型训练方法、介质和设备

Publications (2)

Publication Number Publication Date
CN111339255A CN111339255A (zh) 2020-06-26
CN111339255B true CN111339255B (zh) 2023-04-18

Family

ID=71183746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010121427.2A Active CN111339255B (zh) 2020-02-26 2020-02-26 目标情感分析的方法、模型训练方法、介质和设备

Country Status (1)

Country Link
CN (1) CN111339255B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270170A (zh) * 2020-10-19 2021-01-26 中译语通科技股份有限公司 一种隐式表述语句的分析方法、装置、介质和电子设备
CN112380869A (zh) * 2020-11-12 2021-02-19 平安科技（深圳）有限公司 晶体信息检索方法、装置、电子设备及存储介质
CN113222772B (zh) * 2021-04-08 2023-10-31 合肥工业大学 本土人格词典构建方法、系统、存储介质以及电子设备
CN113312905A (zh) * 2021-06-23 2021-08-27 北京有竹居网络技术有限公司 信息预测方法、装置、存储介质及电子设备
CN113553834B (zh) * 2021-06-30 2023-09-22 北京百度网讯科技有限公司 文本纠错方法、装置、电子设备及存储介质
CN113535904B (zh) * 2021-07-23 2022-08-09 重庆邮电大学 一种基于图神经网络的方面级情感分析方法
CN113901171A (zh) * 2021-09-06 2022-01-07 特赞（上海）信息科技有限公司 语义情感分析方法及装置
CN113722491A (zh) * 2021-09-08 2021-11-30 北京有竹居网络技术有限公司 确定文本情节类型的方法、装置、可读介质及电子设备
CN116089602B (zh) * 2021-11-04 2024-05-03 腾讯科技（深圳）有限公司 信息处理方法、装置、电子设备、存储介质和程序产品
CN114048288A (zh) * 2021-11-10 2022-02-15 北京明略软件系统有限公司 细粒度情感分析方法、系统、计算机设备和存储介质
CN114722808B (zh) * 2022-03-14 2023-05-23 天津大学 基于多上下文和多词段图卷积网络的特定目标情感识别方法
CN114707518B (zh) * 2022-06-08 2022-08-16 四川大学 面向语义片段的目标情感分析方法、装置、设备及介质
CN115905518B (zh) * 2022-10-17 2023-10-20 华南师范大学 基于知识图谱的情感分类方法、装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287341A (zh) * 2019-06-26 2019-09-27 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及可读存储介质
CN110377740A (zh) * 2019-07-22 2019-10-25 腾讯科技（深圳）有限公司 情感极性分析方法、装置、电子设备及存储介质
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984780B2 (en) * 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287341A (zh) * 2019-06-26 2019-09-27 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及可读存储介质
CN110377740A (zh) * 2019-07-22 2019-10-25 腾讯科技（深圳）有限公司 情感极性分析方法、装置、电子设备及存储介质
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
a deep neural network model for target-based sentiment analysis;siyuan chen等;《2018 international joint conferenc on neural networks》;1-6 *
用于目标情感分类的多跳注意力深度模型;邓钰等;《电子科技大学学报》;第48卷(第5期);759-766 *

Also Published As

Publication number Publication date
CN111339255A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339255B (zh) 目标情感分析的方法、模型训练方法、介质和设备
CN111444709B (zh) 文本分类方法、装置、存储介质及设备
Liu et al. ReMemNN: A novel memory neural network for powerful interaction in aspect-based sentiment analysis
Lu et al. Towards interpretable deep learning models for knowledge tracing
CN112015859A (zh) 文本的知识层次抽取方法及装置、计算机设备及可读介质
US11409964B2 (en) Method, apparatus, device and storage medium for evaluating quality of answer
Onan SRL-ACO: A text augmentation framework based on semantic role labeling and ant colony optimization
Tong et al. Exercise hierarchical feature enhanced knowledge tracing
Wang et al. Intelligent auto-grading system
CN111666416A (zh) 用于生成语义匹配模型的方法和装置
CN112364167A (zh) 基于深度学习的意图识别方法、系统、设备及存储介质
Mrhar et al. A Bayesian CNN-LSTM model for sentiment analysis in massive open online courses MOOCs
Cabada et al. Mining of educational opinions with deep learning
CN108268629B (zh) 基于关键词的图像描述方法和装置、设备、介质
CN114648032B (zh) 语义理解模型的训练方法、装置和计算机设备
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN113779225A (zh) 实体链接模型的训练方法、实体链接方法及装置
Shen et al. Emotion analysis of ideological and political education using a gru deep neural network
Das et al. A hybrid deep learning technique for sentiment analysis in e-learning platform with natural language processing
CN110826327A (zh) 情感分析方法、装置、计算机可读介质及电子设备
US20240152707A1 (en) Automated Patent Language Generation
Udandarao et al. InPHYNet: Leveraging attention-based multitask recurrent networks for multi-label physics text classification
Troya et al. Aspect-based sentiment analysis of social media data with pre-trained language models
Chen Analyzing legal education mobile learner's behavior using deep learning under social media
Suresh Kumar et al. Local search five‐element cycle optimized reLU‐BiLSTM for multilingual aspect‐based text classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023736

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant