CN111324739B - 一种文本情感分析方法及系统 - Google Patents

一种文本情感分析方法及系统 Download PDF

Info

Publication number
CN111324739B
CN111324739B CN202010409830.5A CN202010409830A CN111324739B CN 111324739 B CN111324739 B CN 111324739B CN 202010409830 A CN202010409830 A CN 202010409830A CN 111324739 B CN111324739 B CN 111324739B
Authority
CN
China
Prior art keywords
analyzed
entity
text
vector
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010409830.5A
Other languages
English (en)
Other versions
CN111324739A (zh
Inventor
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010409830.5A priority Critical patent/CN111324739B/zh
Publication of CN111324739A publication Critical patent/CN111324739A/zh
Application granted granted Critical
Publication of CN111324739B publication Critical patent/CN111324739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了一种文本情感分析方法及系统,所述方法包括:获得待分析文本和至少一个待分析实体;利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感;其中,所述分析模型包括图神经网络模型和判断模型,所述分析模型的处理包括:基于所述图神经网络模型、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量;所述判断模型基于所述待分析文本的向量和所述待分析实体的融合向量,确定所述待分析文本面向所述待分析实体的情感。

Description

一种文本情感分析方法及系统
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种文本情感分析方法及系统。
背景技术
随着移动互联网、物联网等新技术的迅速发展,人类进入数据时代。数据带来的信息风暴正改变着我们的生活、工作和思维方式,对网络舆情管理也带来深刻影响。
通过对网络数据进行情感分析,可以及时对舆情数据进行预警,有助于快速应对负面舆情,减少不良影响。基于此,本说明书提出一种文本情感分析方法及系统。
发明内容
本说明书实施例的一个方面提供一种文本情感分析方法,包括:获得待分析文本和至少一个待分析实体;利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感;其中,所述分析模型包括图神经网络模型和判断模型,所述分析模型的处理包括:基于所述图神经网络模型、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量;所述判断模型基于所述待分析文本的向量和所述待分析实体的融合向量,确定所述待分析文本面向所述待分析实体的情感。
本说明书实施例的一个方面提供一种文本情感分析系统,包括:获得模块,用于获得待分析文本和至少一个待分析实体;处理模块,用于利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感;其中,所述分析模型包括图神经网络模型和判断模型,所述分析模型的处理包括:基于所述图神经网络模型、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量;所述判断模型基于所述待分析文本的向量和所述待分析实体的融合向量,确定所述待分析文本面向所述待分析实体的情感。
本说明书实施例的一个方面提供一种文本情感分析装置,包括处理器,所述处理器用于执行如上任一项所述的一种文本情感分析方法。
附图说明
本说明书将以示例性实施例的方式进一步描述,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书的一些实施例所示的文本情感分析系统的应用场景示意图;
图2是根据本说明书的一些实施例所示的文本情感分析方法的流程图;
图3是根据本说明书的一些实施例所示的分析模型的结构示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书的一些实施例所示的文本情感分析系统的应用场景示意图。如图1所示,本说明书所涉及的应用场景可以包括第一计算系统130和/或第二计算系统160。
第一计算系统130可以用于为文本确定其表征的情感。在一些实施例中,第一计算系统130可以用于为文本确定其面向业务实体的情感。例如,自动为评论文本、问题文本以及新闻文本确定其面向业务实体的情感,辅助用户筛选与业务实体相关的舆情文本,减少此类舆情文本带来的负面影响。
第一计算系统130可以获取待分析数据120,待分析数据120包含待分析文本和待分析实体。待分析数据120可以通过终端110获取。待分析数据120可以通过各种常见的方式进入第一计算系统130。通过第一计算系统130中的模型131,可以输出分析结果140,得到待分析文本面向待分析实体的情感。
模型131的参数可以通过训练得到。第二计算系统160可以获取多组训练样本150,每组训练样本包含文本及文本的标签,其中,文本的标签为情感标注。第二计算系统160通过多组训练样本150更新模型161的参数,得到训练好的模型。模型131的参数来自于训练好的模型161。其中,参数可以以任何常见的方式传递。
模型(例如,模型131或/和模型161)可以指基于处理设备而进行的若干方法的集合。这些方法可以包括大量的参数。在执行模型时,所使用的参数可以是被预先设置好的,也可以是可以动态调整的。一些参数可以通过训练的方法获得,一些参数可以在执行的过程中获得。关于本说明书中涉及模型的具体说明,可参见本说明书的相关部分。
第一计算系统130和第二计算系统160可以相同也可以不同。第一计算系统130和第二计算系统160是指具有计算能力的系统,可以包括各种计算机,比如服务器、个人计算机,也可以是由多台计算机以各种结构连接组成的计算平台。
第一计算系统130和第二计算系统160中可以包括处理设备,处理设备可以执行程序指令。处理设备可以包括各种常见的通用中央处理器(central processing unit,CPU),图形处理器(Graphics Processing Unit ,GPU),微处理器,特殊应用集成电路(application-specific integrated circuit,ASIC),或其他类型的集成电路。
第一计算系统130和第二计算系统160中可以包括存储介质,存储介质可以存储指令,也可以存储数据。存储介质可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。
第一计算系统130和第二计算系统160还可以包括用于内部连接和与外部连接的网络。也可以包括用于输入或输出的终端110。网络可以是有线网络或无线网络中的任意一种或多种。终端110可以包括各类具有信息接收和/或发送功能的设备,如手机110-1、平板电脑110-2、计算机110-3、文字扫描设备(未示出)、显示设备(未示出)、打印机(未示出)等。
关于待分析文本、待分析实体和分析模型的更多细节参见图2和图3,此处不再赘述。
在一些实施例中,该系统100(例如,第一计算系统130或第二计算系统160)中可以包括获取模块和处理模块。
在一些实施例中,获取模块可以用于获得待分析文本和至少一个待分析实体。在一些实施例中,所述待分析文本可以为待分析舆情的网络文本,待分析实体为待分析舆情的业务对象。具体内容可以参见步骤202及其相关描述,在此不再赘述。
在一些实施例中,获取模型还用于:基于所述待分析实体与图网络的索引关系,获取所述待分析实体与其关联实体的关系;其中,所述图网路的顶点为多个预设实体中的一个,所述图网络的边为所述多个预设实体中任意两个之间的关系,所述多个预设实体中至少包含所述待分析实体。具体内容可以参见图3及其相关描述,在此不再赘述。
在一些实施例中,处理模块可以用于利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感;其中,所述分析模型包括图神经网络模型和判断模型,所述分析模型的处理包括:基于所述图神经网络模型、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量;所述判断模型基于所述待分析文本的向量和所述待分析实体的融合向量,确定所述待分析文本面向所述待分析实体的情感。具体内容可以参见步骤204及图3的相关描述,在此不再赘述。
在一些实施例中,所述处理模块进一步用于:基于所述图神经网络模型中的图卷积神经网络、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量和所述关联实体的融合向量;所述图神经网络模型中的掩码层对所述关联实体的融合向量进行掩码,得到所述待分析实体的融合向量。具体内容可以参见图3及其相关描述,在此不再赘述。
在一些实施例中,所述处理模块进一步用于:拼接所述待分析文本的向量和所述待分析实体的融合向量,得到拼接向量;将所述拼接向量输入所述判断模型中的注意力机制,所述拼接向量作为所述注意力机制中计算Q、K和V的输入。具体内容可以参见图3及其相关描述,在此不再赘述。
在一些实施例中,所述分析模型还包括第一编码网络和第二编码网络;所述第一编码网络对所述待分析文本进行编码,得到所述待分析文本的向量;所述第二编码网络对所述该待分析实体进行编码,得到所述该待分析实体的向量。在一些实施例中,所述第一编码网络和所述第二编码网络均由嵌入层和特征提取层构成。在一些实施例中,所述第一编码网络和所述第二编码网络共用所述嵌入层。具体内容可以参见图3及其相关描述,在此不再赘述。
应当理解,文本情感分析系统及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要注意的是,以上对于文本情感分析系统及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。例如,文本情感分析系统中披露的获得模块和处理模块可以是一个系统中的不同模块,也可以是一个模块实现上述的两个模块的功能。又例如,文本情感分析系统中各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
图2是根据本说明书的一些实施例所示的文本情感分析方法的流程图,该方法200包含:
步骤202,获得待分析文本和至少一个待分析实体。具体的,该步骤202可以由获取模块执行。
在一些实施例中,待分析文本可以指需要进行情感分析的任何文本。例如,一句话,一段话或者一篇文章等。在一些实施例中,待分析文本可以是待分析舆情的网络文本。在一些实施例中,待分析舆情的网络文本可以是指任何可能引起舆情事件发生的文本,或任何在舆情事件传播过程中产生的文本。例如,专业媒体发布的文本,在社交平台上发布和/或转发的文本等。
在一些实施例中,获取模块可以利用网络爬虫技术从网页信息中获取待分析文本。在一些实施例中,获取模块还可以通过读取存储的数据、调用相关接口或其他方式获取待分析文本。
在一些实施例中,待分析实体可以是任意可以被描述的对象。例如,服务、人名和地名等。在一些实施例中,待分析实体可以是待分析舆情的业务对象。例如,支付宝、花呗和借呗等。在一些实施例中,待分析实体可以包含于待分析文本中,也可以不包含于待分析文本中。本申请并不对待分析实体的来源做具体限定。
在一些实施例中,获取模块可以从待分析文本中获取待分析实体。示例地,若待分析文本为“我的钱丢了,早知道存在支付宝就好了”,则可以从该待分析文本中获取待分析实体“支付宝”,和/或自定义待分析文本。仍以上述待分析文本“我的钱丢了,早知道存在支付宝就好了”为例,则待分析实体可以为自定义的“花呗”和/或“借呗”等。
步骤204,利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感。具体的,该步骤204可以由处理模块执行。
在一些实施例中,分析模型可以是预先训练好的机器学习模型。在一些实施例中,训练模块可以基于多个携带有标签的训练样本训练初始分析模型,得到训练好的分析模型。其中,训练样本包括样本分析文本和样本分析实体,标签用于表征样本分析文本面向样本分析实体的情感。具体的,在训练的过程中,训练模块可以基于多个携带有标签的训练样本迭代更新初始分析模型的参数,以使模型的损失函数满足预设条件,例如,损失函数收敛,或损失函数值小于预设值。当损失函数满足预设条件时,模型训练完成,得到训练好的分析模型。训练好的分析模型可以对待分析文本和待分析实体进行处理,得到待分析文本面向待分析实体的情感。关于判断模型确定待分析文本面向待分析实体的情感的具体内容可以参见图3及其相关描述,在此不再赘述。
在一些实施例中,待分析文本面向待分析实体的情感可以是待分析文本中针对待分析实体所指向的情感。其中,情感的类型可以是多种,例如,正向、负向、中立等。仍以上述待分析文本“我的钱丢了,早知道存在支付宝就好了”为例,若待分析实体为“支付宝”,则待分析文本针对“支付宝”所指向的为“存在支付宝就好了”,该指向的内容代表的是正向情感;若待分析实体为“我”,则待分析文本针对“我”所指向的为“钱丢了”,该指向的内容代表的是负向情感。
图3是根据本说明书的一些实施例所示的分析模型的结构示意图。在一些实施例中,可以基于神经网络构建分析模型。如图3所示的分析模型的结构示意图300,分析模型可以包括第一编码网络310、第二编码网络320、图神经网络模型330以及判断模型340。
在一些实施例中,第一编码网络310可以对待分析文本进行编码,得到待分析文本的向量。在一些实施例中,第二编码网络320可以对待分析实体进行编码,得到待分析实体的向量。
在一些实施例中,第一编码网络310和第二编码网络320均可以由嵌入层和特征提取层构成。
在一些实施例中,嵌入层可以对输入的文本数据中的词进行向量化,得到对应的词向量。例如,第一编码网络中的嵌入层对输入的待分析文本中的词进行向量化。又例如,第二编码网络中的嵌入层对输入的待分析实体中的词进行向量化。
在一些实施例中,第一编码网络310和第二编码网络320可以共用嵌入层。在一些实施例中,嵌入层可以包括但不限于Word2vec模型、elmo模型或者glove模型等。
在一些实施例中,特征提取层可以基于输入的词向量提取输入的文本数据的特征信息,得到对应的特征向量,其中,特征信息包括但不限于文本信息、上下文信息或语义信息等。例如,第一编码网络中的特征提取层可以基于待分析文本中词的词向量,提取得到待分析文本的特征向量。又例如,第二编码网络中的特征提取层可以基于待分析实体中词的词向量,得到待分析实体的特征向量。
在一些实施例中,特征提取层可以包括但不限于LSTM模型、Bi-LSTM模型、CNN模型或Transformer模型等。
在一些实施例中,可以基于图神经网络模型330、待分析实体与该待分析实体的关联实体的关系,以及该待分析实体的向量,得到该待分析实体的融合向量。具体的,待分析实体的向量,以及待分析实体的向量及其关联实体的关系,通过图神经网络模型进行信息融合,得到待分析实体的融合向量。例如,图神经网络模型通过学习顶点(例如,待分析实体)与邻居顶点之间(待分析实体的关联实体)的关系,可以得到该顶点(例如,待分析实体)的融合向量表示,该顶点的融合向量中包含其邻居顶点的信息。
在一些实施例中,待分析实体与关联实体的关系可以通过待分析实体与图网络之间索引关系获取。其中,图网络的顶点为多个预设实体中的一个,边为多个预设实体中任意两个的关系。
预设实体是预先存储的一个或多个其他实体。在一些实施例中,预设实体中可以包含待分析实体、与待分析实体相关的实体或/和与待分析实体无关的实体。其中,相关是指与待分析实体存在某种关联关系。例如,上下级业务关系,示例的,待分析实体为“支付宝”,预设实体中包含“花呗”。
在一些实施例中,预设实体与预设实体之间存在关系。关系可以是一种,也可以是多种。关系的具体种类可以被定义。例如,有关、无关,其中有关可以是上下级业务关系、同级业务关系等。
在本说明书中预设实体可以是指预设实体的信息,例如表示预设实体特征的向量或矩阵;关系可以是指关于关系的信息。
关联实体可以是指一个或多个预设实体中,与待分析实体相关的预设实体。在一些实施例中,可以对相关设定范围,例如,相关的范围为上下级业务关系。例如,在上例中,预设实体“花呗”为待分析实体“支付宝”的关联实体。
如前所述,多个预设实体中至少包含待分析实体,因此,可以对待分析实体和图网络建立索引关系。可以理解的,基于待分析实体与图网络的索引关系,可以从图网络中获取子图网络,该子图网络中包含待分析实体与其关联实体的关系。其中,该子图网路中的顶点包含待分析实体和待分析实体的关联实体,边包含待分析实体与其关联实体之间的关系。在一些实施例中,该子图网路中还可以包含关联实体与其相关实体的关系。
在一些实施例中,图神经网络模型330可以包括图卷积神经网络3301和掩码层3302。
在一些实施例中,待分析实体的融合向量可以通过图神经网络模型330进行卷积获取。具体的,图卷积神经网络3301可以利用图卷积神经网络(GCN)技术,对待分析实体与其关联实体的关系(即,前述的子网络图),以及待分析实体的向量进行卷积处理,得到待分析实体的融合向量和关联实体的融合向量。例如,图卷积神经网络可以通过卷积处理,将子图网路中其他顶点的信息,以及与其他顶点之间的关系信息融合到某个顶点的信息中,从而获得对于该顶点的反映更深度信息的表示向量,即融合向量。图卷积神经网络3301输出包括待分析实体的融合向量和关联实体的融合向量。
融合向量不仅反应其对应顶点的信息,还反映了子图网络中其他顶点的信息,以及对应顶点与其他顶点之间的关系信息。对于待分析实体而言,因为子图网络包含了待分析实体与关联实体的关系,因此,待分析实体的融合向量中包含了待分析实体的信息、关联实体的信息以及待分析实体与其关联实体的关系信息。
图卷积神经网络是一种可训练的神经网路模型,其处理过程中的矩阵的数据为模型参数,是预先训练好的。在一些实施例中,待分析实体的融合向量与关联实体的融合向量可以在同一向量表示中。在该实施例下,为了进行后续的掩码处理,可以对该同一量表示中的待分析实体和关联实体进行标记,例如,待分析实体部分标记为1,关联实体部分标记为0等。
示例地,仍以上述待分析实体为“支付宝”,关联实体为“花呗”和“余额宝”为例,图卷积神经网络3301输出的向量表示为
Figure 410259DEST_PATH_IMAGE002
,其中
Figure 202766DEST_PATH_IMAGE004
对应“花呗”的融合向量,并标记0;
Figure 386098DEST_PATH_IMAGE006
对应“支付宝”的融合向量,并标记1;
Figure 312466DEST_PATH_IMAGE008
对应“余额宝”的融合向量,并标记0。
在一些实施例中,待分析实体的融合向量与关联实体的融合向量可以不在同一向量表示中。仍以上述示例为例,则图卷积神经网络3301可以直接输出“花呗”的融合向量
Figure 2204DEST_PATH_IMAGE010
、“支付宝”的融合向量
Figure 700033DEST_PATH_IMAGE012
,以及“借呗”的融合向量
Figure 842433DEST_PATH_IMAGE014
在一些实施例中,掩码层3302可以对关联实体的融合向量进行掩码(mask)处理。通过掩码处理,可以使输出结果为待分析实体的融合向量。其中,在一些实施例中,掩码可以是指用特定的字符进行替换。例如数字“0”。示例地,仍以上述示例为例,若待分析实体和关联实体在同一个向量表示中,则掩码层3302对H进行掩码处理后,可以得到待分析实体的融合向量
Figure 444928DEST_PATH_IMAGE016
,即除“支付宝”部分外,其他部分的向量值均为0。
如前所述,待分析实体的融合向量还包含了关联实体的信息以及与关联实体的关系信息,其代表的信息相比于未经过图神经网络模型处理的向量(即,待分析实体的向量)而言,信息更丰富,进一步,在后续判断模型基于待分析实体的融合向量确定待分析文本面向待分析实体的情感时,结果更准确。例如,若待分析文本中出现了待分析实体的关联实体,则在判断情感时,会考虑该关联实体的情感。示例的,“我的钱丢了,早知道存在余额宝就好了”为例,若待分析实体为“支付宝”,因为“余额宝”为“支付宝”的关联实体,且关系为“余额宝”为“支付宝”子业务,则可以根据“余额宝”在文本中的情感确定“支付宝”的情感。
在一些实施例中,判断模型340可以基于待分析文本的向量和待分析实体的融合向量,确定待分析文本面向待分析实体的情感。
在一些实施例中,判断模型340为引入注意力机制运算的模型网络。例如,判断模型340可以包括注意力机制层3401和输出层3402。具体的,注意力机制层3401可以获取待分析实体与待分析文本之间的关系信息,输出层基于该关系信息确定待分析文本面向待分析实体的情感。
在一些实施例中,待分析实体与待分析文本之间的关系信息可以是多种,例如,待分析文本中的词(或字)与待分析实体中的词(或字)之间的相似度,又例如,待分析文本中与待分析实体相关的词上下文信息等。相应的,若待分析文本中存在与待分析实体相似的词,输出层3402就可以根据该词的上下文信息确定该词在待分析文本中的情感,进一步将该情感作为待分析文本面向待分析实体的情感。示例的,待分析文本为“我的钱丢了,早知道存在支付宝就好了”为例,若待分析实体为“支付宝”,则因为待分析文本中出现了“支付宝”,因此基于“支付宝”在待分析文本的上下文信息,确定“支付宝”在待分析文本的情感。
如前所述,通过图神经网络模型330可以获取待分析实体的融合向量,该融合向量中包含了关联实体的信息,以及待分析实体与关联实体的关系信息。因此,输出层3402在判断待分析文本中的词(或字)与待分析实体中的词(或字)之间的相似度时,还会考虑待分析实体的关联实体的相关信息。示例的,“我的钱丢了,早知道存在余额宝就好了”为例,若待分析实体为“支付宝”,且其融合向量中包含了关联实体“余额宝”,则在计算相似度时,相似度会提高,进而能够准确判断该分析文本面向“支付宝”的情感为正向,提高了舆情预警的准确率。
在一些实施例中,可以基于待分析文本的向量和待分析实体的融合向量,确定判断模型340中注意力机制3401计算查询变量Q、键变量K和值变量V的输入,注意力机制基于计算得到的Q、K和V进行交互计算,进一步的,判断模型340中的输出层3402可以基于交互计算的结果确定待分析文本面向待分析实体的情感,该交互计算的结果中包含了待分析实体与待分析文本的关系信息。
例如,可以将待分析实体的融合向量作为计算Q的输入,将待分析文本的向量作为计算K和V的输入,该方式是以待分析实体的融合向量作为查询,可以确定该融合向量中代表的词(或字)与待分析文本中词(或字)的关系。又例如,可以拼接待分析文本的向量和待分析实体的融合向量,得到拼接向量,将拼接向量输入判断模型中的注意力机制,拼接向量作为注意力机制计算Q、K和V的输入,该方式是以拼接向量作为查询,可以确定拼接向量中代表的词(或字)之间的关系。因为拼接向量是由待分析实体的融合向量和待分析文本的向量组成,可以理解,确定的关系中包含该融合向量中代表的词(或字)与待分析文本中的词或字的关系。
在一些实施例中,注意力机制可以通过公式(1)进行Q、K和V的交互运算:
Figure 989173DEST_PATH_IMAGE018
其中,
Figure 264427DEST_PATH_IMAGE020
可以是待分析实体的融合向量,
Figure 894123DEST_PATH_IMAGE022
可以是待分析文本的向量,
Figure 503571DEST_PATH_IMAGE024
为用于归一化的系数,例如,可以是
Figure 89273DEST_PATH_IMAGE026
为K的维度;或者,
Figure 394484DEST_PATH_IMAGE020
可以是拼接向量,
Figure 449159DEST_PATH_IMAGE022
可以是拼接向量。
在一些实施例中,还可以采用其他常规的注意力机制运算方式,本发明不做限制。
在一些实施例中,输出层3402可以包括分类模型。在一些实施例中,分类模型可以采用逻辑回归模型或多层感知器等。在一些实施例中,输出层3402还可以包括归一化层。具体的,注意力机制层输出的结果经过分类模型,然后分类模型的输出连接归一化层,归一化层输出预测得分。在一些实施例中,预测得分可以为[0,1]的数值,在一些实施例中,归一化层可以采用softmax函数或sigmoid函数等。
在一些实施例中,可以基于预测得分确定待分析文本面向待分析实体的情感。例如,预测得分为[0,0.5)的数值,则该得分对应的待分析文本的情感为负向;预测得分为0.5的数值,则该得分对应的待分析文本的情感为中立;预测得分为(0.5,1]的数值,则该得分对应的待分析文本的情感为正向。
根据以上描述可知,本说明书实施例可以得到待分析文本面向待分析实体的情感,即可以针对业务对象进行舆情预警。例如,待分析文本是“我的钱丢了,早知道存在余额宝就好了”,虽然整句话的情绪时负面的,但是针对业务对象“余额宝”而言,分析的结果为正面。进一步的,因为通过图神经网络模型对待分析实体的信息中融入关联实体的信息,以及与关联实体的相关信息,即,可以通过图神经网络模型融合与业务对象相关的信息,从而在针对业务对象进行舆情预警时,可以提高了舆情预警的准确度。例如,待分析文本是“我的钱丢了,早知道存在余额宝就好了”,若业务实体为“支付宝”,可以得到分析的结果为正面,而不会因为“支付宝”未出现在待分析文本中,将结果分析为中立或者无。
本说明书实施例还提供一种文本情感分析装置,其至少包括处理器所述处理器用于执行前述文本情感分析方法。所述方法可以包括:获得待分析文本和至少一个待分析实体;利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感;其中,所述分析模型包括图神经网络模型和判断模型,所述分析模型的处理包括:基于所述图神经网络模型、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量;所述判断模型基于所述待分析文本的向量和所述待分析实体的融合向量,确定所述待分析文本面向所述待分析实体的情感。
本说明书实施例可能带来的有益效果包括但不限于:(1)可以针对业务对象进行舆情预警;(2)融合与业务对象相关的信息,提高了舆情预警的准确度。需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的处理设备或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (17)

1.一种文本情感分析方法,包括:
获得待分析文本和至少一个待分析实体;
利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感;
其中,所述分析模型包括图神经网络模型和判断模型,所述分析模型的处理包括:
基于所述图神经网络模型对所述待分析实体与其关联实体的关系,以及所述待分析实体的向量进行卷积处理,得到所述待分析实体的融合向量;所述待分析实体的融合向量包含所述待分析实体的信息、所述关联实体的信息以及所述待分析实体与其关联实体的关系信息;
所述判断模型中包括的注意力机制基于所述待分析文本的向量和所述待分析实体的融合向量进行计算,确定所述待分析文本面向所述待分析实体的情感。
2.如权利要求1所述的方法,所述基于所述图神经网络模型对所述待分析实体与其关联实体的关系,以及所述待分析实体的向量进行卷积处理,得到所述待分析实体的融合向量,包括:
基于所述图神经网络模型中的图卷积神经网络、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量和所述关联实体的融合向量;
所述图神经网络模型中的掩码层对所述关联实体的融合向量进行掩码,得到所述待分析实体的融合向量。
3.如权利要求1所述的方法,所述判断模型中包括的注意力机制基于所述待分析文本的向量和所述待分析实体的融合向量进行计算,确定所述待分析文本面向所述待分析实体的情感包括:
拼接所述待分析文本的向量和所述待分析实体的融合向量,得到拼接向量;
将所述拼接向量输入所述判断模型中的注意力机制,所述拼接向量作为所述注意力机制中计算Q、K和V的输入;
其中,Q表示查询变量,K表示键变量,V表示值变量。
4.如权利要求1所述的方法,所述分析模型还包括第一编码网络和第二编码网络;
所述第一编码网络对所述待分析文本进行编码,得到所述待分析文本的向量;
所述第二编码网络对所述待分析实体进行编码,得到所述待分析实体的向量。
5.如权利要求4所述的方法,所述第一编码网络和所述第二编码网络均由嵌入层和特征提取层构成。
6.如权利要求5所述的方法,所述第一编码网络和所述第二编码网络共用所述嵌入层。
7.如权利要求1所述的方法,获取所述待分析实体与其关联实体的关系包括:
基于所述待分析实体与图网络的索引关系,获取所述待分析实体与其关联实体的关系;
其中,所述图网络的顶点为多个预设实体中的一个,所述图网络的边为所述多个预设实体中任意两个的关系,所述多个预设实体中至少包含所述待分析实体。
8.如权利要求1所述的方法,所述待分析文本为待分析舆情的网络文本,所述待分析实体为待分析舆情的业务对象。
9.一种文本情感分析系统,包括:
获取模块,用于获得待分析文本和至少一个待分析实体;
处理模块,用于利用分析模型对所述待分析文本和所述待分析实体进行处理,得到所述待分析文本面向所述待分析实体的情感;
其中,所述分析模型包括图神经网络模型和判断模型,所述分析模型的处理包括:
基于所述图神经网络模型对所述待分析实体与其关联实体的关系,以及所述待分析实体的向量进行卷积处理,得到所述待分析实体的融合向量;所述待分析实体的融合向量包含所述待分析实体的信息、所述关联实体的信息以及所述待分析实体与其关联实体的关系信息;
所述判断模型中包括的注意力机制基于所述待分析文本的向量和所述待分析实体的融合向量进行计算,确定所述待分析文本面向所述待分析实体的情感。
10.如权利要求9所述的系统,所述处理模块进一步用于:
基于所述图神经网络模型中的图卷积神经网络、所述待分析实体与其关联实体的关系,以及所述待分析实体的向量,得到所述待分析实体的融合向量和所述关联实体的融合向量;
所述图神经网络模型中的掩码层对所述关联实体的融合向量进行掩码,得到所述待分析实体的融合向量。
11.如权利要求9所述的系统,所述处理模块进一步用于:
拼接所述待分析文本的向量和所述待分析实体的融合向量,得到拼接向量;
将所述拼接向量输入所述判断模型中的注意力机制,所述拼接向量作为所述注意力机制中计算Q、K和V的输入;
其中,Q表示查询变量,K表示键变量,V表示值变量。
12.如权利要求9所述的系统,所述分析模型还包括第一编码网络和第二编码网络;
所述第一编码网络对所述待分析文本进行编码,得到所述待分析文本的向量;
所述第二编码网络对所述待分析实体进行编码,得到所述待分析实体的向量。
13.如权利要求12所述的系统,所述第一编码网络和所述第二编码网络均由嵌入层和特征提取层构成。
14.如权利要求13所述的系统,所述第一编码网络和所述第二编码网络共用所述嵌入层。
15.如权利要求9所述的系统,所述获取模块还用于:
基于所述待分析实体与图网络的索引关系,获取所述待分析实体与其关联实体的关系;
其中,所述图网络的顶点为多个预设实体中的一个,所述图网络的边为所述多个预设实体中任意两个之间的关系,所述多个预设实体中至少包含所述待分析实体。
16.如权利要求9所述的系统,所述待分析文本为待分析舆情的网络文本;所述待分析实体为待分析舆情的业务对象。
17.一种文本情感分析的装置,包括处理器,所述处理器用于执行如权利要求1~8任一项所述的方法。
CN202010409830.5A 2020-05-15 2020-05-15 一种文本情感分析方法及系统 Active CN111324739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010409830.5A CN111324739B (zh) 2020-05-15 2020-05-15 一种文本情感分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010409830.5A CN111324739B (zh) 2020-05-15 2020-05-15 一种文本情感分析方法及系统

Publications (2)

Publication Number Publication Date
CN111324739A CN111324739A (zh) 2020-06-23
CN111324739B true CN111324739B (zh) 2020-08-28

Family

ID=71172088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010409830.5A Active CN111324739B (zh) 2020-05-15 2020-05-15 一种文本情感分析方法及系统

Country Status (1)

Country Link
CN (1) CN111324739B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527966B (zh) * 2020-12-18 2022-09-20 重庆邮电大学 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN112990578A (zh) * 2021-03-16 2021-06-18 北京航空航天大学 一种工业低质高噪数据建模及产品质量预测方法
CN113609390A (zh) * 2021-08-06 2021-11-05 北京金堤征信服务有限公司 信息分析方法及装置、电子设备和计算机可读存储介质
CN114706954A (zh) * 2022-04-07 2022-07-05 中银金融科技有限公司 一种情感极性的分析方法、装置、设备及可读存储介质
CN116245139B (zh) * 2023-04-23 2023-07-07 中国人民解放军国防科技大学 图神经网络模型训练方法和装置、事件检测方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354009B2 (en) * 2016-08-24 2019-07-16 Microsoft Technology Licensing, Llc Characteristic-pattern analysis of text
CN110287477B (zh) * 2018-03-16 2021-05-25 北京国双科技有限公司 实体情感分析方法及相关装置
CN109213868A (zh) * 2018-11-21 2019-01-15 中国科学院自动化研究所 基于卷积注意力机制网络的实体级别情感分类方法
CN109726745B (zh) * 2018-12-19 2020-10-09 北京理工大学 一种融入描述知识的基于目标的情感分类方法

Also Published As

Publication number Publication date
CN111324739A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111324739B (zh) 一种文本情感分析方法及系统
EP3522078A1 (en) Explainable artificial intelligence
CN112860841B (zh) 一种文本情感分析方法、装置、设备及存储介质
CN111191275A (zh) 敏感数据识别方法、系统及其装置
CN114648392B (zh) 基于用户画像的产品推荐方法、装置、电子设备及介质
CN113886584A (zh) 一种应用程序的信息检测方法、装置及设备
CN110704586A (zh) 一种信息处理方法及系统
CN111324738B (zh) 一种确定文本标签的方法和系统
Singh et al. HINDIA: a deep-learning-based model for spell-checking of Hindi language
CN112906384A (zh) 基于bert模型的数据处理方法、装置、设备及可读存储介质
US11321531B2 (en) Systems and methods of updating computer modeled processes based on real time external data
CN113505786A (zh) 试题拍照评判方法、装置及电子设备
CN115510188A (zh) 文本关键词关联方法、装置、设备及存储介质
JPWO2018230616A1 (ja) 法的情報処理システム、方法及びプログラム
CN111324749B (zh) 一种实体分类方法、系统、及装置
CN110717028B (zh) 一种剔除干扰问题对的方法及系统
CN111858923A (zh) 一种文本分类方法、系统、装置及存储介质
CN110955755A (zh) 一种确定目标标准信息的方法和系统
CN115470790A (zh) 一种识别文件中的命名实体的方法和装置
CN114398482A (zh) 一种词典构造方法、装置、电子设备及存储介质
Gongane et al. A survey of explainable ai techniques for detection of fake news and hate speech on social media platforms
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品
CN114911940A (zh) 文本情感识别方法及装置、电子设备、存储介质
CN114492446A (zh) 法律文书处理方法、装置、电子设备及存储介质
CN111400484A (zh) 一种关键词提取方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant