CN115618884B - 基于多任务学习的言论分析方法、装置以及设备 - Google Patents

基于多任务学习的言论分析方法、装置以及设备 Download PDF

Info

Publication number
CN115618884B
CN115618884B CN202211433032.1A CN202211433032A CN115618884B CN 115618884 B CN115618884 B CN 115618884B CN 202211433032 A CN202211433032 A CN 202211433032A CN 115618884 B CN115618884 B CN 115618884B
Authority
CN
China
Prior art keywords
training
semantic
feature
training sentences
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211433032.1A
Other languages
English (en)
Other versions
CN115618884A (zh
Inventor
钟玮瑜
胡晓晖
吴乔峰
卢国钧
薛云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202211433032.1A priority Critical patent/CN115618884B/zh
Publication of CN115618884A publication Critical patent/CN115618884A/zh
Application granted granted Critical
Publication of CN115618884B publication Critical patent/CN115618884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及言论分析领域，特别涉及一种基于多任务学习的言论分析方法、装置、设备以及存储介质，采用多任务学习的方法，在对言论分析模型的训练过程中引入语句的情感信息，实现了情感信息与语义信息的交互，并通过设计特征过滤模块，更好进行情感信息以及语义信息的融合，从而更加全面地对待分析语句进行言论分析，提升了言论分析的准确性，并且能够更好控制信息流，提升了言论分析的效率。

Description

基于多任务学习的言论分析方法、装置以及设备
技术领域
本发明涉及言论分析领域，特别涉及一种基于多任务学习的言论分析方法、装置、设备以及存储介质。
背景技术
近年来，言论分析越来越受到重视，此任务旨在识别一个句子是否是攻击性语言。目前大多数现有的工作都是利用深度学习的方法，例如CNN，LSTM 和FastText来进行攻击性语言检测，然而这些工作都仅使用预训练模型，或者仅使用更深层次的神经网络来加强获取语义特征的能力，从而忽略了目标检测句子的情感特征，难以对语句进行准确的言论分析。
发明内容
基于此，本发明提供一种基于多任务学习的言论分析方法、装置、设备以及存储介质，采用多任务学习的方法，在对言论分析模型的训练过程中引入语句的情感信息，实现了情感信息与语义信息的交互，并通过设计特征过滤模块，更好进行情感信息以及语义信息的融合，从而更加全面地对待分析语句进行言论分析，提升了言论分析的准确性，并且能够更好控制信息流，提升了言论分析的效率。该技术方法如下：
第一方面，本申请实施例提供了一种基于多任务学习的言论分析方法，包括以下步骤：
获取语义训练数据集以及情感训练数据集，其中，所述语义训练数据集包括若干个第一训练语句，所述情感训练数据集包括若干个第二训练语句；
获取预设的言论分析模型，其中，所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块，所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；
将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示；
将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示；
根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值；
将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示；
将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量；
获取语义标签集以及情感标签集，所述语义标签集包括若干个第一训练语句的真实语义概率分布向量，所述情感标签集包括若干个第二训练语句的情感语义概率分布向量，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值；
根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型；
获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。
第二方面，本申请实施例提供了一种基于多任务学习的言论分析装置，包括：
数据获取模块，用于获取语义训练数据集以及情感训练数据集，其中，所述语义训练数据集包括若干个第一训练语句，所述情感训练数据集包括若干个第二训练语句；
模型获取模块，用于获取预设的言论分析模型，其中，所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块，所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；
句子编码模块，用于将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示；
第一特征计算模块，用于将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示；
第一损失值计算模块，用于根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值；
第二特征计算模块，用于将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示；
概率分布向量计算模块，用于将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量；
第二损失值计算模块，用于获取语义标签集以及情感标签集，所述语义标签集包括若干个第一训练语句的真实语义概率分布向量，所述情感标签集包括若干个第二训练语句的情感语义概率分布向量，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值；
模型训练模块，用于根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型；
言论分析模块，用于获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。
第三方面，本申请实施例提供了一种计算机设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述的基于多任务学习的言论分析方法的步骤。
第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于多任务学习的言论分析方法的步骤。
在本实施例中，提供一种基于多任务学习的言论分析方法、装置、设备以及存储介质，采用多任务学习的方法，在对言论分析模型的训练过程中引入语句的情感信息，实现了情感信息与语义信息的交互，并通过设计特征过滤模块，更好进行情感信息以及语义信息的融合，从而更加全面地对待分析语句进行言论分析，提升了言论分析的准确性，并且能够更好控制信息流，提升了言论分析的效率。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本申请第一实施例提供的基于多任务学习的言论分析方法的流程示意图；
图2为本申请一个实施例提供的基于多任务学习的言论分析方法中S4的流程示意图；
图3为本申请一个实施例提供的基于多任务学习的言论分析方法中S5的流程示意图；
图4为本申请一个实施例提供的基于多任务学习的言论分析方法中S6的流程示意图；
图5为本申请一个实施例提供的基于多任务学习的言论分析方法中S7的流程示意图；
图6为本申请一个实施例提供的基于多任务学习的言论分析方法中S8的流程示意图；
图7为本申请一个实施例提供的基于多任务学习的言论分析方法中S82的流程示意图；
图8为本申请一个实施例提供的基于多任务学习的言论分析装置的结构示意图；
图9为本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述目标实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1，图1为本申请第一实施例提供的基于多任务学习的言论分析方法的流程示意图，包括如下步骤：
S1：获取语义训练数据集以及情感训练数据集。
本申请的基于多任务学习的言论分析方法的执行主体为基于多任务学习的言论分析方法的识别设备（以下简称识别设备）。
在一个可选的实施例中，识别设备可以是一台计算机设备，可以是服务器，或多台计算机设备联合而成的服务器机群。
在本实施例中，识别设备可以获取用户输入的获取语义训练数据集以及情感训练数据集，其中，所述语义训练数据集包括若干个第一训练语句，所述情感训练数据集包括若干个第二训练语句，所述第一训练语句以及第二训练语句均包括若干个单词
在本实施例中，所述语义训练数据集以及情感训练数据集中的训练语句是基于社交网络平台获取的数据集，例如Twitter、Youtube等社交网络平台，识别设备通过与所述社交网络平台进行连接，获取用户对某一服务或者产品发表的评论信息，作为所述训练语句，并进行划分，构建所述语义训练数据集以及情感训练数据集。
S2：获取预设的言论分析模型。
在本实施例中，识别设备获取预设的言论分析模型，其中，所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块，所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块。
S3：将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示。
所述句子编码模块采用BERT（Bidirectional Encoder Representation fromTransformers）词嵌入模型以，用于将单词的向量转换为相应的词嵌入向量。
在本实施例中，分析设备将所述语义训练数据集以及情感训练数据集输入至所述句子编码模块中，分别对所述语义训练数据集中若干个第一训练语句，以及所述情感训练数据集中若干个第二训练语句进行编码处理，获得所述待分析的句子特征表示。具体地，分析设备将相应的训练语句分别输入至预设的BERT词嵌入模型中，将训练语句中的每个单词映射到低维向量空间中，经过查询预训练好的BERT矩阵，获得BERT词嵌入模型输出的相应的训练语句的若干个单词的隐藏层向量，并进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示，其中，所述句子特征表示为：
Figure 971069DEST_PATH_IMAGE001
式中，H为所述句子特征表示，i为相应的训练语句的第i个单词，
Figure 256557DEST_PATH_IMAGE002
为第i个单词的 隐藏层向量。
S4：将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示。
在本实施例中，识别设备将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示。
所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；所述语义任务模块、情感任务模块以及共享任务模块均包括若干个全连接层子网络，所述若干个第一全连接层子网络均包括相应的特征提取算法，请参阅图2，图2为本申请一个实施例提供的基于多任务学习的言论分析方法中S4的流程示意图，包括步骤S41~S44，具体如下：
S41：将所述若干个第一训练语句的第一句子特征表示输入至所述语义任务模块中，根据预设的第一特征计算算法，获得所述若干个第一训练语句的初始语义特征表示。
所述第一特征计算算法为：
Figure 993569DEST_PATH_IMAGE003
式中，k表示为语义任务模块，m表示为第m个全连接子网络，
Figure 48113DEST_PATH_IMAGE004
表示为语义任务 模块中第m个全连接层子网络，
Figure 9116DEST_PATH_IMAGE005
为语义任务模块的第m个全连接层子网络的子语义特 征表示，i为第i个单词，
Figure 985162DEST_PATH_IMAGE006
为语义任务模块的全连接层子网络的数目，
Figure 57023DEST_PATH_IMAGE007
为第i个单词的 隐藏层向量，
Figure 231652DEST_PATH_IMAGE008
为语义任务模块对应的第i个单词的可训练权重参数，
Figure 363557DEST_PATH_IMAGE009
为语义任务模块 对应的第i个单词的可训练偏置参数，
Figure 561320DEST_PATH_IMAGE010
为语义任务模块对应的初始语义特征表示。
在本实施例中，识别设备将所述若干个第一训练语句的第一句子特征表示输入至所述语义任务模块中，将所述若干个第一训练语句的句子特征表示作为所述语义任务模块的若干个全连接层子网络的输入数据，根据所述若干个第一训练语句的句子特征表示中若干个单词的隐藏层向量以及预设的第一特征提取算法，获得所述语义任务模块的若干个全连接层子网络输出的若干个所述若干个第一训练语句的子语义特征表示，并将所述语义任务模块的若干个全连接层子网络输出的若干个所述若干个第一训练语句的子语义特征表示进行组合，获得所述若干个第一训练语句的初始语义特征表示。
S42：将所述若干个第二训练语句的句子特征表示输入至所述情感任务模块中，根据预设的第二特征计算算法，获得所述若干个第二训练语句的初始情感特征表示。
所述第二特征计算算法为：
Figure 702451DEST_PATH_IMAGE011
式中，q表示为情感任务模块，m表示为第m个全连接子网络，
Figure 233052DEST_PATH_IMAGE012
表示为情感任 务模块中第m个全连接层子网络，
Figure 473540DEST_PATH_IMAGE013
为情感任务模块的第m个全连接层子网络的子情感 特征表示，i为第i个单词，
Figure 486496DEST_PATH_IMAGE014
为情感任务模块的全连接层子网络的数目，
Figure 900159DEST_PATH_IMAGE015
为情感任务 模块对应的第i个单词的可训练权重参数，
Figure 987064DEST_PATH_IMAGE016
为情感任务模块对应的第i个单词的可训练 偏置参数，
Figure 460771DEST_PATH_IMAGE017
为情感任务模块对应的初始情感特征表示。
在本实施例中，识别设备将所述若干个第二训练语句的第二句子特征表示输入至所述情感任务模块中，将所述若干个第二训练语句的句子特征表示作为所述情感任务模块的若干个全连接层子网络的输入数据，根据所述若干个第二训练语句的句子特征表示中若干个单词的隐藏层向量以及预设的第二特征提取算法，获得所述情感任务模块的若干个全连接层子网络输出的若干个所述若干个第二训练语句的子情感特征表示，并将所述情感任务模块的若干个全连接层子网络输出的若干个所述若干个第二训练语句的子情感特征表示进行组合，获得所述若干个第二训练语句的初始情感特征表示。
S43：将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示分别输入至所述共享任务模块中，根据预设的第三特征计算算法，获得所述若干个第一训练语句以及若干个第二训练语句的共享特征表示。
所述第三特征计算算法为：
Figure 429864DEST_PATH_IMAGE018
式中，s表示为共享任务模块，
Figure 850481DEST_PATH_IMAGE019
表示为共享任务模块中第m个全连接层子网 络，
Figure 588630DEST_PATH_IMAGE020
为共享任务模块的第m个全连接层子网络的子语义特征表示，
Figure 498817DEST_PATH_IMAGE021
为共享任务模 块的全连接层子网络的数目，
Figure 158468DEST_PATH_IMAGE022
为共享任务模块对应的第i个单词的可训练权重参数，
Figure 179514DEST_PATH_IMAGE023
为共享任务模块对应的第i个单词的可训练偏置参数，
Figure 536284DEST_PATH_IMAGE024
为共享任务模块对应的初始语义 特征表示。
在本实施例中，识别设备将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示分别输入至所述共享任务模块中，分别将所述若干个第一训练语句，以及若干个第二训练语句的句子特征表示作为所述情感任务模块的若干个全连接层子网络的输入数据，根据所述若干个第一训练语句以及若干个第二训练语句的句子特征表示中若干个单词的隐藏层向量以及预设的第三特征提取算法，获得所述共享任务模块的若干个全连接层子网络输出的若干个所述若干个第一训练语句以及若干个第二训练语句的子共享特征表示。
识别设备将所述共享任务模块的若干个全连接层子网络输出的若干个所述若干个第一训练语句的子共享特征表示进行组合，获得所述若干个第一训练语句的共享特征表示。将所述共享任务模块的若干个全连接层子网络输出的若干个所述若干个第二训练语句的子共享特征表示进行组合，获得所述若干个第二训练语句的共享特征表示。
S44：将同一个第一训练语句的初始语义特征表示以及共享特征表示进行拼接处理，获得所述若干个第一训练语句的语义特征表示，将同一第二训练语句的初始情感特征表示以及共享特征表示进行拼接处理，获得所述若干个第二训练语句的情感特征表示。
在本实施例中，识别设备将同一个第一训练语句的初始语义特征表示以及共享特征表示进行拼接处理，获得所述若干个第一训练语句的语义特征表示，将同一第二训练语句的初始情感特征表示以及共享特征表示进行拼接处理，获得所述若干个第二训练语句的情感特征表示。其中，所述语义特征表示为：
Figure 555055DEST_PATH_IMAGE025
式中，
Figure 233161DEST_PATH_IMAGE026
为所述语义特征表示；
所述情感特征表示为：
Figure 57898DEST_PATH_IMAGE027
式中，
Figure 973901DEST_PATH_IMAGE028
为所述情感特征表示。
采用语义任务模块、情感任务模块以及共享任务模块，并针对地输入相应的训练数据进行训练，使得各个任务模块并不是被所有任务所共享，从而强化任务自身独立特性，更好的降低了弱相关性任务之间参数共享带来的负迁移问题。
S5：根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值。
在本实施例中，识别设备根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值。
请参阅图3，图3为本申请一个实施例提供的基于多任务学习的言论分析方法中S5的流程示意图，包括步骤S51~S52，具体如下：
S51：获取关键词信息。
在本实施例中，识别设备获取关键词信息，其中，所述关键词信息包括所述若干个第一训练语句中若干个单词的关键词信息，以及所述若干个第二训练语句中若干个单词的关键词信息。具体地，识别设备获取用户输入的两个词典（诅咒词和身份术语词），将词典中单词视为关键词，作为所述关键词信息。
S52：根据所述关键词信息，分别对所述若干个第一训练语句以及若干个第二训练语句的句子特征表示中相应的单词的隐藏层向量进行屏蔽处理以及线性变换，构建所述若干个第一训练语句以及若干个第二训练语句的正例特征表示以及负例特征表示，根据所述若干个第一训练语句以及若干个第二训练语句的句子特征表示、正例特征表示、负例特征表示以及预设的第一损失函数，获取第一损失值。
所述第一损失函数为：
Figure 960312DEST_PATH_IMAGE029
式中，
Figure 656872DEST_PATH_IMAGE030
为所述第一损失值，N为单词的数目，j以及t均为单词的位置索引，
Figure 957404DEST_PATH_IMAGE031
为所述句子特征表示中第j个单词的隐藏层向量，
Figure 524651DEST_PATH_IMAGE032
为所述正例特征表示中第j个单词的隐 藏层向量，
Figure 947542DEST_PATH_IMAGE033
为所述正例特征表示中第t个单词的隐藏层向量，
Figure 803503DEST_PATH_IMAGE034
为所述负例特征表示中第t个单词的隐藏层向量，
Figure 704463DEST_PATH_IMAGE035
为余弦相似度函数，τ为预设的温度系数。
在本实施例中，识别设备根据所述关键词信息，分别对所述若干个第一训练语句以及若干个第二训练语句的句子特征表示中相应的单词的隐藏层向量进行屏蔽处理以及线性变换，构建所述若干个第一训练语句以及若干个第二训练语句的正例特征表示以及负例特征表示，根据所述若干个第一训练语句以及若干个第二训练语句的句子特征表示、正例特征表示、负例特征表示以及预设的第一损失函数，从而获得若干个第一训练语句的第一损失值，以及若干个第二训练语句的第一损失值，进行累加，作为所述第一损失值。
在一个可选的实施例中，识别设备分别将所述若干个第一训练语句以及若干个第二训练语句划分为若干个批次对应的第一训练语句集以及若干个批次对应的第二训练语句集，获取所述若干个批次对应的第一训练语句集的若干个第一训练语句的正例特征表示、负例特征表示，以及所述若干个批次对应的第二训练语句集的若干个第二训练语句的正例特征表示、负例特征表示，根据所述第一损失函数，获取所述第一损失值，从而提高语句的言论分析的效率以及准确性。
S6：将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示。
在本实施例中，识别设备将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示。
请参阅图4，图4为本申请一个实施例提供的基于多任务学习的言论分析方法中S6的流程示意图，包括步骤S61~S62，具体如下：
S61：根据所述若干个第一训练语句的句子特征表示、语义特征表示以及预设的第一特征过滤算法，获得所述若干个第一训练语句的语义特征过滤表示。
所述第一特征过滤算法为：
Figure 158840DEST_PATH_IMAGE036
式中，
Figure 487053DEST_PATH_IMAGE037
为所述第一训练语句的平行分量特征表示，H为所述句子特征表示，
Figure 830310DEST_PATH_IMAGE038
为所述第一训练语句的正交分量特征表示，
Figure 534961DEST_PATH_IMAGE039
为所述第一训练语句的权重特征 表示，
Figure 76801DEST_PATH_IMAGE040
为所述特征过滤模块的第一可训练权重参数，
Figure 779177DEST_PATH_IMAGE041
为所述语义特征过滤表示，
Figure 672047DEST_PATH_IMAGE042
为拼接处理函数；
在本实施例中，识别设备根据所述若干个第一训练语句的句子特征表示、语义特征表示以及预设的第一特征过滤算法，对所述若干个第一训练语句的语义特征表示表示进行分解，获得所述若干个第一训练语句的正交分量特征表示以及平行分量特征表示，并计算所述若干个第一训练语句的权重特征表示，根据所述若干个第一训练语句的权重特征表示、正交分量特征表示、平行分量特征表示，获得所述若干个第一训练语句的语义特征过滤表示。
S62：根据所述若干个第二训练语句的句子特征表示、情感特征表示以及预设的第二特征过滤算法，获得所述若干个第二训练语句的情感特征过滤表示。
所述第二特征过滤算法为：
Figure 914809DEST_PATH_IMAGE043
式中，
Figure 779997DEST_PATH_IMAGE044
为所述第二训练语句的平行分量特征表示，H为所述句子特征表示，
Figure 715592DEST_PATH_IMAGE045
为所述第二训练语句的正交分量特征表示，
Figure 767862DEST_PATH_IMAGE046
为所述第二训练语句的权重特 征表示，
Figure 814315DEST_PATH_IMAGE047
为所述特征过滤模块的第二可训练权重参数；
Figure 100721DEST_PATH_IMAGE048
为所述情感特征过滤表 示。
在本实施例中，识别设备根据所述若干个第二训练语句的句子特征表示、情感特征表示以及预设的第二特征过滤算法，对所述若干个第二训练语句的情感特征表示表示进行分解，获得所述若干个第二训练语句的正交分量特征表示以及平行分量特征表示，并计算所述若干个第二训练语句的权重特征表示，根据所述若干个第二训练语句的权重特征表示、正交分量特征表示、平行分量特征表示，获得所述若干个第二训练语句的情感特征过滤表示。
由于平行分量特征表示是相应的语义特征表示或者情感特征表示在句子特征表 示上的投影，它可以被视为包含句子特征表示的一部分信息，相反，正交分量特征与句子特 征表示正交，因此可将其视为包含新的信息。具体地，所述平行分量特征表示
Figure 941638DEST_PATH_IMAGE049
为语义 特征表示
Figure 481204DEST_PATH_IMAGE026
包含语义信息的部分，正交分量特征表示
Figure 331348DEST_PATH_IMAGE038
为语义特征表示
Figure 702287DEST_PATH_IMAGE026
中包含情感信息的部分，则语义特征过滤表示
Figure 917367DEST_PATH_IMAGE050
为
Figure 272125DEST_PATH_IMAGE049
与
Figure 394802DEST_PATH_IMAGE038
的融合。
所述平行分量特征表示
Figure 89089DEST_PATH_IMAGE044
为语义特征表示
Figure 271808DEST_PATH_IMAGE028
包含语义信息的部分，正 交分量特征表示
Figure 848283DEST_PATH_IMAGE045
为语义特征表示
Figure 977913DEST_PATH_IMAGE028
中包含情感信息的部分，则语义特征过滤 表示
Figure 824909DEST_PATH_IMAGE048
为
Figure 444109DEST_PATH_IMAGE044
与
Figure 445563DEST_PATH_IMAGE028
的融合。
S7：将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量。
在本实施例中，识别设备将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量。
请参阅图5，图5为本申请一个实施例提供的基于多任务学习的言论分析方法中S7的流程示意图，包括步骤S71~S72，具体如下：
S71：根据所述若干个第一训练语句的语义特征过滤表示以及预设的预测语义概率分布向量计算算法，获得所述若干个第一训练语句的预测语义概率分布向量。
所述预测语义概率分布向量计算算法为：
Figure 441201DEST_PATH_IMAGE051
式中，
Figure 641238DEST_PATH_IMAGE052
为所述预测语义概率分布向量，
Figure 165760DEST_PATH_IMAGE053
为归一化函数。
在本实施例中，识别设备根据所述若干个第一训练语句的语义特征过滤表示以及预设的预测语义概率分布向量计算算法，获得所述若干个第一训练语句的预测语义概率分布向量。
S72：根据所述若干个第二训练语句的情感特征过滤表示以及预设的预测情感概率分布向量计算算法，获得所述若干个第二训练语句的预测情感概率分布向量。
所述预测情感概率分布向量计算算法为：
Figure 654510DEST_PATH_IMAGE054
式中，
Figure 453839DEST_PATH_IMAGE055
为所述预测情感概率分布向量。
在本实施例中，识别设备根据所述若干个第二训练语句的情感特征过滤表示以及预设的预测情感概率分布向量计算算法，获得所述若干个第二训练语句的预测情感概率分布向量。
S8：获取语义标签集以及情感标签集，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值。
在本实施例中，识别设备获取所述语义标签集以及情感标签集，其中，所述语义标签集包括若干个第一训练语句的真实语义概率分布向量，所述情感标签集包括若干个第二训练语句的情感语义概率分布向量。
识别设备根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值。
请参阅图6，图6为本申请一个实施例提供的基于多任务学习的言论分析方法中S8的流程示意图，包括步骤S81~S82，具体如下：
S81：获取所述若干个第一训练语句以及若干个第二训练语句的训练类型信息。
所述训练类型信息用于指示第一训练语句以及第二训练语句的训练类型。
在本实施例中，识别设备获取所述若干个第一训练语句以及若干个第二训练语句的训练类型信息。
S82：根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，以及与所述训练类型信息相应的第二损失函数，获取第二损失值。
在本实施例中，识别设备根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，以及与所述训练类型信息相应的第二损失函数，获取第二损失值。
所述训练类型信息包括回归任务训练类型信息以及分类任务训练类型信息。请参阅图7，图7为本申请一个实施例提供的基于多任务学习的言论分析方法中S82的流程示意图，包括步骤S821~S825，具体如下：
S821：若所述若干个第一训练语句的训练类型信息为回归任务训练类型信息，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量以及预设的均方损失函数，获取若干个语义回归损失值。
在本实施例中，若所述若干个第一训练语句的训练类型信息为回归任务训练类型信息，识别设备根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量以及预设的均方损失函数，获取若干个语义回归损失值，具体如下：
Figure 508383DEST_PATH_IMAGE056
式中，
Figure 407069DEST_PATH_IMAGE057
为所述语义回归损失值，
Figure 445432DEST_PATH_IMAGE058
为所述真实语义概率分布向量。
S822：若所述若干个第二训练语句的训练类型信息为回归任务训练类型信息，根据所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量以及预设的均方损失函数，获取若干个情感回归损失值。
在本实施例中，若所述若干个第二训练语句的训练类型信息为回归任务训练类型信息，识别设备根据所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量以及预设的均方损失函数，获取若干个情感回归损失值，具体如下：
Figure 720555DEST_PATH_IMAGE059
式中，
Figure 128141DEST_PATH_IMAGE060
为所述情感回归损失值，
Figure 260045DEST_PATH_IMAGE061
为所述真实情感概率分布向量。
S823：若所述若干个第一训练语句的训练类型信息为分类任务训练类型信息，根据所述若干个第二训练的预测语义概率分布向量、真实语义概率分布向量以及与预设的交叉熵损失函数，获取若干个语义分类损失值。
在本实施例中，若所述若干个第一训练语句的训练类型信息为分类任务训练类型信息，识别设备根据所述若干个第二训练的预测语义概率分布向量、真实语义概率分布向量以及与预设的交叉熵损失函数，获取若干个语义分类损失值，具体如下：
Figure 520125DEST_PATH_IMAGE062
式中，
Figure 395677DEST_PATH_IMAGE063
为所述语义分类损失值，Z为分类任务数目，z表示为第z个分类任务。
S824：若所述若干个第二训练语句的训练类型信息为分类任务训练类型信息，根据所述若干个第二训练的预测情感概率分布向量、真实情感概率分布向量以及与预设的交叉熵损失函数，获取若干个情感分类损失值。
Figure 362496DEST_PATH_IMAGE064
在本实施例中，若所述若干个第二训练语句的训练类型信息为分类任务训练类型信息，识别设备根据所述若干个第二训练的预测情感概率分布向量、真实情感概率分布向量以及与预设的交叉熵损失函数，获取若干个情感分类损失值。
式中，
Figure 930880DEST_PATH_IMAGE065
为所述情感分类损失值。
S825：将所述若干个语义回归损失值、情感回归损失值、语义分类损失值以及情感分类损失值进行累加，获取第二损失值。
在本实施例中，识别设备将所述若干个语义回归损失值、情感回归损失值、语义分类损失值以及情感分类损失值进行累加，获取第二损失值。
S9：根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型。
在本实施例中，识别设备根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型，具体地，识别设备根据所述第一损失值、第二损失值以及预设的总损失函数，获取总损失值，根据所述总损失值，对所述言论分析模型进行训练，获得目标言论分析模型，其中，所述总损失函数为：
Figure 412677DEST_PATH_IMAGE066
式中，loss为所述总损失值，
Figure 29603DEST_PATH_IMAGE067
为所述第二损失值，
Figure 913246DEST_PATH_IMAGE068
为第一超参数、
Figure 652532DEST_PATH_IMAGE069
为第二 超参数。
S10：获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。
在本实施例中，分析设备获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。
具体地，识别设备根据所述预测语义概率分布向量，获取概率最大的维度对应的 语义极性，作为所述待分析语句的言论分析结果，例如，当计算得到
Figure 123090DEST_PATH_IMAGE070
=[
Figure 543707DEST_PATH_IMAGE070
攻击性 高，
Figure 281856DEST_PATH_IMAGE052
攻击性中，
Figure 192043DEST_PATH_IMAGE052
攻击性低]=[0.7，0.1，0.2]，概率最大为
Figure 914011DEST_PATH_IMAGE070
攻击性高，其概 率最大的维度对应的情感极性为攻击性高，作为所述待分析语句的言论分析结果。
请参阅图8，图8为本申请一个实施例提供的基于多任务学习的言论分析装置的结构示意图，该装置可以通过软件、硬件或两者的结合实现基于多任务学习的言论分析方法的全部或一部分，该装置8包括：
数据获取模块80，用于获取语义训练数据集以及情感训练数据集，其中，所述语义训练数据集包括若干个第一训练语句，所述情感训练数据集包括若干个第二训练语句；
模型获取模块81，用于获取预设的言论分析模型，其中，所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块，所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；
句子编码模块82，用于将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示；
第一特征计算模块83，用于将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示；
第一损失值计算模块84，用于根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值；
第二特征计算模块85，用于将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示；
概率分布向量计算模块86，用于将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量；
第二损失值计算模块87，用于获取语义标签集以及情感标签集，所述语义标签集包括若干个第一训练语句的真实语义概率分布向量，所述情感标签集包括若干个第二训练语句的情感语义概率分布向量，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值；
模型训练模块88，用于根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型；
言论分析模块89，用于获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。
在本申请的实施例中，通过数据获取模块，获取语义训练数据集以及情感训练数据集，其中，所述语义训练数据集包括若干个第一训练语句，所述情感训练数据集包括若干个第二训练语句；通过模型获取模块，获取预设的言论分析模型，其中，所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块，所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；通过句子编码模块，将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示；通过第一特征计算模块，将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示；通过第一损失值计算模块，根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值；通过第二特征计算模块，将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示；通过概率分布向量计算模块，将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量；通过第二损失值计算模块，获取语义标签集以及情感标签集，所述语义标签集包括若干个第一训练语句的真实语义概率分布向量，所述情感标签集包括若干个第二训练语句的情感语义概率分布向量，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值；通过模型训练模块，根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型；通过言论分析模块，获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。本申请采用多任务学习的方法，在对言论分析模型的训练过程中引入语句的情感信息，实现了情感信息与语义信息的交互，并通过设计特征过滤模块，更好进行情感信息以及语义信息的融合，从而更加全面地对待分析语句进行言论分析，提升了言论分析的准确性，并且能够更好控制信息流，提升了言论分析的效率。
请参考图9，图9为本申请一个实施例提供的计算机设备的结构示意图，计算机设备9包括：处理器91、存储器92以及存储在存储器92上并可在处理器91上运行的计算机程序93；计算机设备可以存储有多条指令，指令适用于由处理器91加载并执行上述图1至图7所述实施例的方法步骤，具体执行过程可以参见图1至图7所述实施例的具体说明，在此不进行赘述。
其中，处理器91可以包括一个或多个处理核心。处理器91利用各种接口和线路连接服务器内的各个部分，通过运行或执行存储在存储器92内的指令、程序、代码集或指令集，以及调用存储器92内的数据，执行基于多任务学习的言论分析装置6的各种功能和处理数据，可选的，处理器91可以采用数字信号处理（Digital Signal Processing,DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（ProgrambleLogic Array，PLA）中的至少一个硬件形式来实现。处理器91可集成中央处理器91（CentralProcessing Unit，CPU）、图像处理器91（Graphics Processing Unit，GPU）和调制解调器等中的一个或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器91中，单独通过一块芯片进行实现。
其中，存储器92可以包括随机存储器92（Random Access Memory，RAM），也可以包括只读存储器92（Read-Only Memory）。可选的，该存储器92包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器92可用于存储指令、程序、代码、代码集或指令集。存储器92可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控指令等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器92可选的还可以是至少一个位于远离前述处理器91的存储装置。
本申请实施例还提供了一种存储介质，所述存储介质可以存储有多条指令，所述指令适用于由处理器加载并执行所示实施例一至实施例三的方法步骤，具体执行过程可以参见所示图1至图7所述实施例的具体说明，在此不进行赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的目标应用和设计约束条件。专业技术人员可以对每个目标的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (10)

1.一种基于多任务学习的言论分析方法，其特征在于，包括以下步骤：
获取语义训练数据集以及情感训练数据集，其中，所述语义训练数据集包括若干个第一训练语句，所述情感训练数据集包括若干个第二训练语句；
获取预设的言论分析模型，其中，所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块，所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；
将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示；
将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示；
根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值；
将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示；
将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量；
获取语义标签集以及情感标签集，所述语义标签集包括若干个第一训练语句的真实语义概率分布向量，所述情感标签集包括若干个第二训练语句的情感语义概率分布向量，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值；
根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型；
获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。
2.根据权利要求1所述的基于多任务学习的言论分析方法，其特征在于：所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；所述第一训练语句以及第二训练语句均包括若干个单词，所述句子特征表示中包括若干个单词的隐藏层向量；所述语义任务模块、情感任务模块以及共享任务模块均包括若干个全连接层子网络，所述若干个全连接层子网络均包括相应的特征提取算法；
所述将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示，包括步骤：
将所述若干个第一训练语句的第一句子特征表示输入至所述语义任务模块中，根据预设的第一特征计算算法，获得所述若干个第一训练语句的初始语义特征表示，其中，所述第一特征计算算法为：
Figure 295559DEST_PATH_IMAGE001
式中，k表示为语义任务模块，m表示为第m个全连接子网络，
Figure 912485DEST_PATH_IMAGE002
表示为语义任务模块 中第m个全连接层子网络，
Figure 796127DEST_PATH_IMAGE003
为语义任务模块的第m个全连接层子网络的子语义特征表 示，i为第i个单词，
Figure 535413DEST_PATH_IMAGE004
为语义任务模块的全连接层子网络的数目，
Figure 504506DEST_PATH_IMAGE005
为第i个单词的隐藏 层向量，
Figure 659544DEST_PATH_IMAGE006
为语义任务模块对应的第i个单词的可训练权重参数，
Figure 164737DEST_PATH_IMAGE007
为语义任务模块对应 的第i个单词的可训练偏置参数，
Figure 809345DEST_PATH_IMAGE008
为语义任务模块对应的初始语义特征表示，n为单词的 数目；
将所述若干个第二训练语句的句子特征表示输入至所述情感任务模块中，根据预设的第二特征计算算法，获得所述若干个第二训练语句的初始情感特征表示，其中，所述第二特征计算算法为：
Figure 468996DEST_PATH_IMAGE009
式中，q表示为情感任务模块，m表示为第m个全连接子网络，
Figure 490042DEST_PATH_IMAGE010
表示为情感任务模块 中第m个全连接层子网络，
Figure 348276DEST_PATH_IMAGE011
为情感任务模块的第m个全连接层子网络的子情感特征表 示，i为第i个单词，
Figure 367048DEST_PATH_IMAGE012
为情感任务模块的全连接层子网络的数目，
Figure 576312DEST_PATH_IMAGE013
为情感任务模块对 应的第i个单词的可训练权重参数，
Figure 869890DEST_PATH_IMAGE014
为情感任务模块对应的第i个单词的可训练偏置参 数，
Figure 785894DEST_PATH_IMAGE015
为情感任务模块对应的初始情感特征表示；
将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示分别输入至所述共享任务模块中，根据预设的第三特征计算算法，获得所述若干个第一训练语句以及若干个第二训练语句的共享特征表示，其中，所述第三特征计算算法为：
Figure 772304DEST_PATH_IMAGE016
式中，s表示为共享任务模块，
Figure 468865DEST_PATH_IMAGE017
表示为共享任务模块中第m个全连接层子网络，
Figure 769396DEST_PATH_IMAGE018
为共享任务模块的第m个全连接层子网络的子语义特征表示，
Figure 852757DEST_PATH_IMAGE019
为共享任务模块的 全连接层子网络的数目，
Figure 275648DEST_PATH_IMAGE020
为共享任务模块对应的第i个单词的可训练权重参数，
Figure 193926DEST_PATH_IMAGE021
为共 享任务模块对应的第i个单词的可训练偏置参数，
Figure 32569DEST_PATH_IMAGE022
为共享任务模块对应的初始语义特征 表示；
将同一个第一训练语句的初始语义特征表示以及共享特征表示进行拼接处理，获得所述若干个第一训练语句的语义特征表示，将同一第二训练语句的初始情感特征表示以及共享特征表示进行拼接处理，获得所述若干个第二训练语句的情感特征表示，其中，所述语义特征表示为：
Figure 719902DEST_PATH_IMAGE023
式中，
Figure 313694DEST_PATH_IMAGE024
为所述语义特征表示；
所述情感特征表示为：
Figure 656951DEST_PATH_IMAGE025
式中，
Figure 361602DEST_PATH_IMAGE026
为所述情感特征表示。
3.根据权利要求1所述的基于多任务学习的言论分析方法，其特征在于，所述根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值，包括步骤：
获取关键词信息，其中，所述关键词信息包括所述若干个第一训练语句中若干个单词的关键词信息，以及所述若干个第二训练语句中若干个单词的关键词信息；
根据所述关键词信息，分别对所述若干个第一训练语句以及若干个第二训练语句的句子特征表示中相应的单词的隐藏层向量进行屏蔽处理以及线性变换，构建所述若干个第一训练语句以及若干个第二训练语句的正例特征表示以及负例特征表示，根据所述若干个第一训练语句以及若干个第二训练语句的句子特征表示、正例特征表示、负例特征表示以及预设的第一损失函数，获取第一损失值，其中，所述第一损失函数为：
Figure 169021DEST_PATH_IMAGE027
式中，
Figure 871398DEST_PATH_IMAGE028
为所述第一损失值，N为单词的数目，j以及t均为单词的位置索引，
Figure 498688DEST_PATH_IMAGE029
为所述 句子特征表示中第j个单词的隐藏层向量，
Figure 242915DEST_PATH_IMAGE030
为所述正例特征表示中第j个单词的隐藏层向 量，
Figure 904841DEST_PATH_IMAGE031
为所述正例特征表示中第t个单词的隐藏层向量，
Figure 778119DEST_PATH_IMAGE032
为所述负例特征表示中第t个单 词的隐藏层向量，
Figure 158285DEST_PATH_IMAGE033
为余弦相似度函数，τ为预设的温度系数。
4.根据权利要求1所述的基于多任务学习的言论分析方法，其特征在于，所述将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示，包括步骤：
根据所述若干个第一训练语句的句子特征表示、语义特征表示以及预设的第一特征过滤算法，获得所述若干个第一训练语句的语义特征过滤表示，其中，所述第一特征过滤算法为：
Figure 142421DEST_PATH_IMAGE034
式中，
Figure 658853DEST_PATH_IMAGE035
为所述第一训练语句的平行分量特征表示，H为所述句子特征表示，
Figure 765350DEST_PATH_IMAGE036
为所述第一训练语句的正交分量特征表示，
Figure 570494DEST_PATH_IMAGE037
为所述第一训练语句的权重特征 表示，
Figure 155060DEST_PATH_IMAGE038
为所述特征过滤模块的第一可训练权重参数，
Figure 791577DEST_PATH_IMAGE039
为所述语义特征过滤表示，
Figure 6658DEST_PATH_IMAGE040
为拼接处理函数；
根据所述若干个第二训练语句的句子特征表示、情感特征表示以及预设的第二特征过滤算法，获得所述若干个第二训练语句的情感特征过滤表示，其中，所述第二特征过滤算法为：
Figure 830257DEST_PATH_IMAGE041
式中，
Figure 982628DEST_PATH_IMAGE042
为所述第二训练语句的平行分量特征表示，H为所述句子特征表示，
Figure 208073DEST_PATH_IMAGE043
为所述第二训练语句的正交分量特征表示，
Figure 594055DEST_PATH_IMAGE044
为所述第二训练语句的权重特 征表示，
Figure 170530DEST_PATH_IMAGE045
为所述特征过滤模块的第二可训练权重参数；
Figure 362477DEST_PATH_IMAGE046
为所述情感特征过滤表 示。
5.根据权利要求1所述的基于多任务学习的言论分析方法，其特征在于，所述将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量，包括步骤：
根据所述若干个第一训练语句的语义特征过滤表示以及预设的预测语义概率分布向量计算算法，获得所述若干个第一训练语句的预测语义概率分布向量，其中，所述预测语义概率分布向量计算算法为：
Figure 645690DEST_PATH_IMAGE047
式中，
Figure 530470DEST_PATH_IMAGE048
为所述预测语义概率分布向量，
Figure 328662DEST_PATH_IMAGE049
为归一化函数；
根据所述若干个第二训练语句的情感特征过滤表示以及预设的预测情感概率分布向量计算算法，获得所述若干个第二训练语句的预测情感概率分布向量，其中，所述预测情感概率分布向量计算算法为：
Figure 996403DEST_PATH_IMAGE050
式中，
Figure 196440DEST_PATH_IMAGE051
为所述预测情感概率分布向量。
6.根据权利要求1所述的基于多任务学习的言论分析方法，其特征在于，所述根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值，包括步骤：
获取所述若干个第一训练语句以及若干个第二训练语句的训练类型信息，其中，所述训练类型信息用于指示第一训练语句以及第二训练语句的训练类型；
根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，以及与所述训练类型信息相应的第二损失函数，获取第二损失值。
7.根据权利要求6所述的基于多任务学习的言论分析方法，其特征在于：所述训练类型信息包括回归任务训练类型信息以及分类任务训练类型信息；
所述根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，以及与所述训练类型信息相应的第二损失函数，获取第二损失值，包括步骤：
若所述若干个第一训练语句的训练类型信息为回归任务训练类型信息，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量以及预设的均方损失函数，获取若干个语义回归损失值；
若所述若干个第二训练语句的训练类型信息为回归任务训练类型信息，根据所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量以及预设的均方损失函数，获取若干个情感回归损失值；
若所述若干个第一训练语句的训练类型信息为分类任务训练类型信息，根据所述若干个第二训练的预测语义概率分布向量、真实语义概率分布向量以及与预设的交叉熵损失函数，获取若干个语义分类损失值；
若所述若干个第二训练语句的训练类型信息为分类任务训练类型信息，根据所述若干个第二训练的预测情感概率分布向量、真实情感概率分布向量以及与预设的交叉熵损失函数，获取若干个情感分类损失值；
将所述若干个语义回归损失值、情感回归损失值、语义分类损失值以及情感分类损失值进行累加，获取第二损失值。
8.一种基于多任务学习的言论分析装置，其特征在于，包括：
数据获取模块，用于获取语义训练数据集以及情感训练数据集，其中，所述语义训练数据集包括若干个第一训练语句，所述情感训练数据集包括若干个第二训练语句；
模型获取模块，用于获取预设的言论分析模型，其中，所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块，所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块；
句子编码模块，用于将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理，获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示；
第一特征计算模块，用于将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取，获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示；
第一损失值计算模块，用于根据所述若干个第一训练语句的句子特征表示、语义特征表示，以及若干个第二训练语句的句子特征表示、情感特征表示，获得所述多任务学习模块输出的第一损失值；
第二特征计算模块，用于将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤，获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示；
概率分布向量计算模块，用于将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块，获得所述若干个第一训练语句的预测语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量；
第二损失值计算模块，用于获取语义标签集以及情感标签集，所述语义标签集包括若干个第一训练语句的真实语义概率分布向量，所述情感标签集包括若干个第二训练语句的情感语义概率分布向量，根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量，以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量，获得所述识别模块输出的第二损失值；
模型训练模块，用于根据所述第一损失值以及第二损失值，对所述言论分析模型进行训练，获得目标言论分析模型；
言论分析模块，用于获取待分析语句，将所述待分析语句输入至所述目标言论分析模型，获得所述待分析语句的预测语义概率分布向量，根据所述待分析语句的预测语义概率分布向量，获取所述待分析语句的言论分析结果。
9.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于多任务学习的言论分析方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于多任务学习的言论分析方法的步骤。
CN202211433032.1A 2022-11-16 2022-11-16 基于多任务学习的言论分析方法、装置以及设备 Active CN115618884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211433032.1A CN115618884B (zh) 2022-11-16 2022-11-16 基于多任务学习的言论分析方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211433032.1A CN115618884B (zh) 2022-11-16 2022-11-16 基于多任务学习的言论分析方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN115618884A CN115618884A (zh) 2023-01-17
CN115618884B true CN115618884B (zh) 2023-03-10

Family

ID=84879035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211433032.1A Active CN115618884B (zh) 2022-11-16 2022-11-16 基于多任务学习的言论分析方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN115618884B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827878B (zh) * 2023-02-13 2023-06-06 华南师范大学 语句情感分析方法、装置以及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408823A (zh) * 2018-10-31 2019-03-01 华南师范大学 一种基于多通道模型的特定目标情感分析方法
CN112131886A (zh) * 2020-08-05 2020-12-25 浙江工业大学 一种文本的方面级别情感分析方法
CN112560495A (zh) * 2020-12-09 2021-03-26 新疆师范大学 一种基于情感分析的微博谣言检测方法
CN115017912A (zh) * 2022-01-18 2022-09-06 桂林旅游学院 一种多任务学习的双目标实体情感分析方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598786B (zh) * 2019-09-09 2022-01-07 京东方科技集团股份有限公司 神经网络的训练方法、语义分类方法、语义分类装置
CN112560503B (zh) * 2021-02-19 2021-07-02 中国科学院自动化研究所 融合深度特征和时序模型的语义情感分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408823A (zh) * 2018-10-31 2019-03-01 华南师范大学 一种基于多通道模型的特定目标情感分析方法
CN112131886A (zh) * 2020-08-05 2020-12-25 浙江工业大学 一种文本的方面级别情感分析方法
CN112560495A (zh) * 2020-12-09 2021-03-26 新疆师范大学 一种基于情感分析的微博谣言检测方法
CN115017912A (zh) * 2022-01-18 2022-09-06 桂林旅游学院 一种多任务学习的双目标实体情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨晨 ; 宋晓宁 ; 宋威 ; .SentiBERT：结合情感信息的预训练语言模型.2020,(09),全文. *

Also Published As

Publication number Publication date
CN115618884A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN112183747A (zh) 神经网络训练的方法、神经网络的压缩方法以及相关设备
CN116402063B (zh) 多模态讽刺识别方法、装置、设备以及存储介质
Dias et al. Using the Choquet integral in the pooling layer in deep learning networks
CN111259851B (zh) 一种多模态事件检测方法及装置
CN113704460B (zh) 一种文本分类方法、装置、电子设备和存储介质
CN113553412B (zh) 问答处理方法、装置、电子设备和存储介质
CN115204183A (zh) 基于知识增强的双通道情感分析方法、装置以及设备
CN116151263B (zh) 多模态命名实体识别方法、装置、设备以及存储介质
CN114676704A (zh) 句子情感分析方法、装置、设备以及存储介质
CN115659987B (zh) 基于双通道的多模态命名实体识别方法、装置以及设备
CN111476138A (zh) 建筑图纸构件识别模型构建方法、识别方法及相关设备
CN113593661A (zh) 临床术语标准化方法、装置、电子设备及存储介质
CN115618884B (zh) 基于多任务学习的言论分析方法、装置以及设备
CN116258145B (zh) 多模态命名实体识别方法、装置、设备以及存储介质
CN115587597B (zh) 基于子句级关系图的方面词的情感分析方法以及装置
CN110852066B (zh) 一种基于对抗训练机制的多语言实体关系抽取方法及系统
CN115168592B (zh) 基于方面类别的语句情感分析方法、装置以及设备
CN117217277A (zh) 语言模型的预训练方法、装置、设备、存储介质及产品
CN112257840A (zh) 一种神经网络处理方法以及相关设备
CN115659951B (zh) 基于标签嵌入的语句情感分析方法、装置以及设备
CN115827878B (zh) 语句情感分析方法、装置以及设备
CN115906863B (zh) 基于对比学习的情感分析方法、装置、设备以及存储介质
CN116543798A (zh) 基于多分类器的情感识别方法和装置、电子设备、介质
CN115905524A (zh) 融合句法和语义信息的情感分析方法、装置以及设备
CN112560848B (zh) 兴趣点poi预训练模型的训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant