CN109190106B - 情感词典构建系统及构建方法 - Google Patents

情感词典构建系统及构建方法 Download PDF

Info

Publication number
CN109190106B
CN109190106B CN201810777409.2A CN201810777409A CN109190106B CN 109190106 B CN109190106 B CN 109190106B CN 201810777409 A CN201810777409 A CN 201810777409A CN 109190106 B CN109190106 B CN 109190106B
Authority
CN
China
Prior art keywords
emotion
condition
model
documents
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810777409.2A
Other languages
English (en)
Other versions
CN109190106A (zh
Inventor
殷复莲
王颜颜
刘剑波
贺夏婷
苏沛
吴佳乐
邵雪莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201810777409.2A priority Critical patent/CN109190106B/zh
Publication of CN109190106A publication Critical patent/CN109190106A/zh
Application granted granted Critical
Publication of CN109190106B publication Critical patent/CN109190106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明提供情感词典构建系统及方法，包括：设定情感词属于每一情感极性的情感强度条件，第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，第二条件为情感强度与情感词在每一类文档中出现频次成正相关，第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；上述条件结合TF‑IDF方法构建条件模型；根据条件模型构建情感词及其词性属于不同情感极性的情感强度模型；根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型。上述系统及方法将词性及类内分布因素结合，提高分类准确性。

Description

情感词典构建系统及构建方法
技术领域
本发明涉及自然语言处理技术领域，更为具体地，涉及一种情感词典构建系统及构建方法。
背景技术
如今随着计算机技术的发展，互联网普及到千家万户，每个人都可以在网络上发表意见观点，这些观点表达大众的好恶，为了能够挖掘观点中的情感偏好，文本情感分析必不可少。基于情感词典的方法是如今使用广泛的一种情感分析方法。很多领域用于情感分析的词典仍然是通过手动标注情感词汇，这不仅需要耗费大量人力，而且由于人的主观性影响，标注的情感可靠性以及词汇全面性都受到质疑，使得自动构建情感词典成为研究的关键技术，但是也存在诸如上下文词汇多义性、特定领域情感词典的缺乏、高质量训练语料难以获得等等。因此研究自动构建基于特定领域的情感词典方法是十分有必要的。
TF-IDF算法主要是一种用于资讯检索与资讯探勘的常用加权方法，TF-IDF的主要思想是如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语对这篇文档很重要，可以作为文本特征。TF-IDF主要是通过词频(TermFrequency，TF)与逆向文件频率(Inverse Document Frequency,IDF)来衡量词汇的重要程度。TF-IDF中TF方法对任意单词wordi词频的计算如公式(1)所示：
Figure BDA0001731692620000011
其中，tfi,j表示文档中第i个词wordi在第j篇文档dj中出现的频率，ni,j表示第i个词wordi在文档dj中出现的次数，nk,j表示文档dj中任意序号为k的单词wordk出现的频次,K表示在文档dj出现的单词的总数。
TF-IDF中IDF方法对词wordi逆向文件频率的计算如公式(2)所示：
Figure BDA0001731692620000012
其中，idfi是文档中第i个词wordi普遍重要性的度量，|D|表示语料中的文档总数，|{j:wordi∈dj}|表示语料中包含词wordi的文档总数，dj表示语料中含有词wordi且文档序号j为文档。
词频TF以及逆文档频率IDF，共同决定词语的重要性，可以过滤掉常见的词语，保留重要的词语。但是并没有考虑到词语在类内的分布，也没有考虑不同词性词语的分布情况。
发明内容
鉴于上述问题，本发明的目的是提供一种将情感词的词性及其在正类文档和负类文档内的分布情况(类内分布因素)结合到情感值分析的情感词典构建方法及系统。
根据本发明的一个方面，提供一种情感词典构建系统，包括：
采集部，采集文档；
分词部，对文档进行分词，得到文档内的情感词；
文档分类部，将采集部采集的文档分为正类文档和负类文档；
设定部，设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
条件模型构建部，根据设定部设定的条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
情感强度模型构建部，根据条件模型构建情感词及其词性属于不同情感极性的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
情感值模型构建部，根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
根据本发明的另一个方面，提供一种情感词典构建系统，包括：
第一调用部，调用语料中的文档、情感词及其词性，文档包括正类文档和负类文档；
设定部，设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
条件模型构建部，根据设定部设定的条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
情感强度模型构建部，根据条件模型构建情感词及其词性属于不同情感极性的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
情感值模型构建部，根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
根据本发明的第三个方面，提供一种情感词典构建系统，用于统一已有情感词典，包括：
第二调用部，调用已有的情感词典；
第一判断部，判断情感词典中的情感词是否具有情感值，如果具有情感值，将情感词典发送给第一先验情感值模型构建部，如果不具有情感值，将情感词典发送给第二先验情感值模型构建部；
第一先验情感值模型构建部，在每一本情感词典中，将每个情感词及其词性对应的多个情感值取平均值，作为所述情感词及其词性的先验情感值；
第二先验情感值模型构建部，在每一本情感词典中，设定与情感词及其词性的情感强度正相关的强度因子，通过强度因子确定先验情感值的绝对值的大小，通过情感词及其词性在情感词典中的情感极性确定先验情感值为正值或负值；
统一部，将各情感词及其词性在第一先验情感值模型构建部的各词典的先验情感值与对应的第二先验情感值模型构建部的各词典的先验情感值组合，得到各情感词及其词性的先验情感知识。
根据本发明的第四个方面，提供情感词典构建系统，包括：
基于文档的情感词典构建系统或/和基于语料的情感词典构建系统作为第一情感词典构建系统；
将统一已有情感词典的情感词典构建系统作为第二情感词典构建系统；
系统统一部，根据下式(11)统一上述第一情感词典构建系统和第二情感词典构建系统，
Uni_senti(SWi,pu)＝β×ITI_senti(SWi,pu)+(1-β)×Pri_senti(SWi,pu)(11)
其中，UniS(SWi,pu)表示统一第一情感词典构建系统和第二情感词典构建系统得到的统一情感值，β是两者的融合贡献比例，Pri_senti(SWi,pu)表示通过第二情感构建系统得到的(SWi,pu)的先验情感知识，ITI_senti(SWi,pu)表示通过第一情感词典构件系统得到的(SWi,pu)的情感值。
根据本发明的第五个方面，提供一种情感词典构建方法，包括：
采集文档；
对文档进行分词，得到文档内的情感词；
将采集的文档分为正类文档和负类文档；
设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
根据上述条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
根据条件模型构建情感词及其词性属于不同情感极性的情感强度的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
根据本发明的第六个方面，提供一种情感词典构建方法，包括：
调用语料中的文档、情感词及其词性，文档包括正类文档和负类文档；
设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
根据上述条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
根据条件模型构建情感词及其词性属于不同情感极性的情感强度的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
根据本发明的第七个方面，提供一种情感词典构建方法，用于统一已有情感词典，包括：
调用已有的情感词典；
判断情感词典中的情感词是否具有情感值；
如果具有情感值，在每一本情感词典中，将每个情感词及其词性对应的多个情感值取平均值，作为所述情感词及其词性的先验情感值；
如果不具有情感值，在每一本情感词典中，设定与情感词及其词性的情感强度正相关的强度因子，通过强度因子确定先验情感值的绝对值的大小，通过情感词及其词性在情感词典中的情感极性确定先验情感值为正值或负值；
将各情感词及其词性在具有情感值的各词典的先验情感值与对应的不具有情感值的各词典的先验情感值组合，得到各情感词及其词性的先验情感知识。
根据本发明的第八个方面，提供一种情感词典构建方法，包括；
基于文档的情感词典构建方法或/和基于语料的情感词典构建方法作为第一情感词典构建方法；
将统一已有情感词典的情感词典构建方法作为第二情感词典构建方法；
根据公式(11)统一情感词及其词性通过上述第一情感词典构建方法得到的情感值和通过第二情感词典构建方法得到的先验知识。
本发明所述情感词典构建方法及系统根据改进TF方法、IDF方法和TF-IDF方法构建情感词典，将词性和情感词在正负类文档中不同的分布因素加入考虑，得到基于<词,词性>对的特定领域情感词典，用于情感分析，相比较现有技术的情感词典，F1-Measure(F1指数)值有明显提升；本发明还提出了基于语料的改进TF或IDF方法和统一已有情感词典的多词性的的情感词典构建方法及系统，将已有情感词典中的先验情感知识加入词汇的情感计算中，构建多词性的统一情感词典，使得F1值又有一定的提升。
附图说明
通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1是本发明情感词典构建方法的一个实施例的流程示意图；
图2是本发明情感词典构建方法的另一个实施例的流程示意图；
图3是本发明情感词典构建方法的第三个实施例的流程示意图；
图4是本发明情感词典构建系统的一个实施例的构成框图的示意图；
图5是本发明情感词典构建系统的另一个实施例的构成框图的示意图；
图6是本发明情感词典构建系统的第三实施例的构成框图的示意图；
图7a是本发明贡献比例对通过短文本语料构建的情感词典系统的F1指数的影响曲线示意图；
图7b是本发明贡献比例对通过长文本语料构建的情感词典系统的F1指数的影响曲线示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。以下将结合附图对本发明的具体实施例进行详细描述。
以下将结合附图对本发明的具体实施例进行详细描述。
图1是本发明情感词典构建方法的一个实施例的流程示意图，如图1所示，所述情感词典构建方法包括，包括：
步骤S1，采集文档，例如通过网络爬虫从网络上、微博上、微信上等采集文档；
步骤S2，对文档进行分词，得到文档内的情感词；
步骤S3，将采集的文档分为正类文档和负类文档，例如采用基于词典的方法、基于机器学习方法等对文档进行分类；
步骤S4，设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
步骤S5，根据上述条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
步骤S6，根据条件模型构建情感词及其词性属于不同情感极性的情感强度的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
步骤S7，根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
相比传统的TF-IDF算法，本发明提出的将词性与正负极性分布因素考虑其中的改进TF-IDF算法具有更好的类内特征区分性，还可以较好的解决词语多义性问题，使得构建情感词典在进行文本情感分类是效果更佳。
在广播电视领域，存在很多电影、电视等节目的评论数据构成的数据集，即语料，在语料中已经根据评分对文档进行了划分，例如，长文本影评数据、短文本标记语料等，可以在现有语料基础上构建情感词典，如图2所示，基于语料的情感词典构建方法相对于图1中的情感词典构建方法，采用步骤S1＇(调用语料中的文档、情感词及其词性，文档包括正类文档和负类文档)替代了上述步骤S1-S3。
在本发明的一个实施例中，步骤S5包括：
所述第一TF模型根据下式(3)构建
Figure BDA0001731692620000081
其中，SWi表示第i个情感词，pu表示SWi对应的第u个词性，xm表示对应的情感极性，包括正极性和负极性，dm为情感极性对应的xm文档类，当xm表示正极性时，dm表示正类文档，当xm表示负极性时，dm表示负类文档，F1(SWi,pu,xm)表示情感词SWi及其词性pu属于情感极性xm的第一TF模型，简称F1，count(SWi,pu,xm)表示(SWi,pu)在xm情感极性对应的文档类中出现的次数，∑ucount(SWi,pu,xm)表示在xm情感极性对应的文档类中不同词性的情感词SWi出现的总频次；
第二TF模型根据下式(4)构建
Figure BDA0001731692620000091
其中，F2(SWi,pu,xm)表示情感词SWi及其词性pu属于情感极性xm的第二TF模型，简称F2，count(dm)表示dm文档类的文档数量；
第三TF模型根据下式(5)构建
Figure BDA0001731692620000092
其中，F3(SWi,pu)表示情感词SWi及其词性pu的第三TF模型，简称F3，count(SWi,pu,dpos)表示正类文档中(SWi,pu)出现的频次，count(SWi,pu,dneg)表示负类文档中(SWi,pu)出现的频次∑zcount(SWi,pu,dz)表示正类文档和负类文档中(SWi,pu)的总频次；
IDF模型根据下式(6)构建
Figure BDA0001731692620000093
其中，F4(SWi,pu)表示情感词SWi及其词性pu的IDF模型，简称F4，∑zcount(dz)表示正类文档和负类文档的文档总数，ε是常数。
在本发明的另一个实施例中，设定第一TF模型、第二TF模型、第三TF模型和IDF模型中一个或多个模型中的比例系数，即，分别根据下式(3＇)-(6＇)构建上述各模型
Figure BDA0001731692620000094
Figure BDA0001731692620000095
Figure BDA0001731692620000096
Figure BDA0001731692620000097
其中，C1、C2、C3和C4分别为第一TF模型、第二TF模型、第三TF模型和IDF模型的比例系数。
在步骤S6中，通过条件模型构建情感强度模型ITI_senti(SWn,pu,xm)，
其中，
Figure BDA0001731692620000098
或者，
Figure BDA0001731692620000099
Figure BDA00017316926200000910
或者
Figure BDA00017316926200000911
Figure BDA0001731692620000103
或者
Figure BDA0001731692620000101
其中，
Figure BDA0001731692620000102
为(SWi,pu)属于情感极性xm的情感强度。
为了体现每个因素对于最终得到的情感结果都有影响，采用连乘的形式，将四个条件转换为函数形式相乘即可得到(SWi,pu,xm)基于改进的TF-IDF算法的情感强度。
在步骤S7中，通过下式(7)得到每一个(SWi,pu)基于改进的TF-IDF算法的情感值，
ITI_senti(SWi,pu)＝ITI_senti(SWi,pu,xpos)-ITI_senti(SWi,pu,xneg)(7)
其中，ITI_senti(SWi,pu,xpos)是针对(SWi,pu)计算的正极性情感值，ITI_senti(SWi,pu,xneg)是针对(SWi,pu)计算的负极性情感值，ITI_senti(SWi,pu)是(SWi,pu)的情感值。
本发明上述情感词典构建方法在TF-IDF方法的基础上添加了情感词的词性及其在正类文档和负类文档内的分布情况(类内分布因素)，第一条件体现了自身词性的独特性，即某一特定词性pu的情感词SWi在某一类的文档中的多个词性中的分布情况，可以衡量某一特定词性的情感词在该词汇的多个词性中的重要程度，例如，“good”可以做名词也可以做形容词，甚至还可以是副词，比如在100篇正倾向性文档中，good共出现30次，其中作为形容词出现20次，名词8次，副词有2词，则作为形容词时的自身词性独特性为20/30；第二条件，加入词语的词性以及正负情感极性分布因素，体现了自身类别独特性，表示某一特定词性pu的情感词SWi在某一类的文档中分布情况，可以衡量该情感次在某一正负极性文档中的重要程度，如上例，“good”作为形容词时的自身类别独特性为20/100；第三条件在正负语料中出现次数相减的绝对值可以将一些在正负语料中都频繁出现的一些词汇去除，从而有利于选择出一些在单一正负预料中更加突出的词汇，体现了情感词及其词性的整体独特性，表示某一特定词性pu的情感词SWi在正负文档中分布的差异性；第四条件体现了情感词及其词性的整体普遍性，表示某一特定词性pu的情感词SWi在正负文档中分布的普遍性。
在广播电视领域，存在很多根据各种方法构建的情感词典，有的情感词典包括情感词的正负极性和情感强弱标签而不含有具体的情感值，有的情感词典针对每个概念具体包括概念的词性、情感值、相似词集等，可以统一已有情感词典，如图3所示，统一已有情感词典的情感词典构建方法包括：
步骤S10，调用已有的情感词典；
步骤S20，判断情感词典中的情感词是否具有情感值；
如果具有情感值，步骤S30，在每一本情感词典中，将每个情感词及其词性对应的多个情感值取平均值，作为所述情感词及其词性的先验情感值，具体地，如下式(8)
Figure BDA0001731692620000111
其中，senti1(SWi,pu)表示(SWi,pu)通过情感词典得到的先验情感值，N表示在情感词典中(SWi,pu)出现在文档中的次数，senti(SWi,pu,valuen)表示情感词典中(SWi,pu)的第n个情感值；
如果不具有情感值，步骤S40在每一本情感词典中，设定与情感词及其词性的情感强度正相关的强度因子，通过强度因子确定先验情感值的绝对值的大小，通过情感词及其词性在情感词典中的情感极性确定先验情感值为正值或负值，具体地，如下式(9)
Figure BDA0001731692620000112
其中，α(x)为强度因子，与情感强度正相关，例如，如果某一词汇的强度标签是强，则α(x)取值1；如果强度标签是弱，则α(x)取值0.5；
步骤S50，将各情感词及其词性在具有情感值的各词典的先验情感值与对应的不具有情感值的各词典的先验情感值组合，得到各情感词及其词性的先验情感知识，具体地，如下式(10)
Figure BDA0001731692620000113
其中，Pri_senti(SWi,pu)为(SWi,pu)的先验情感知识。
为了使得构建的情感词典更加全面可靠，可以采用上述图1、图2和图3所示的情感词典构建方法的任意组合，例如：
基于文档的情感词典构建方法和基于语料的情感词典构建方法都是分析情感词在文档中的类TF-IDF，可以将它们作为第一情感词典构建方法；
基于已有情感词典的情感词典构建方法作为第二情感词典构建方法；
根据下式(11)统一情感词及其词性通过上述第一情感词典构建方法得到的情感值和通过第二情感词典构建方法得到的先验知识，
Uni_senti(SWi,pu)＝β×ITI_senti(SWi,pu)+(1-β)×Pri_senti(SWi,pu)(11)
其中，UniS(SWi,pu)表示统一第一情感词典构建方法和第二情感词典构建方法得到的统一情感值，β是两者的融合贡献比例，Pri_senti(SWi,pu)表示通过第二情感构建方法得到的(SWi,pu)的先验情感知识，ITI_senti(SWi,pu)表示通过第一情感词典构件系统得到的(SWi,pu)的情感值。
又如，在基于语料的改进TF-IDF算法进行情感词典构建的基础上，为了增加情感词典的可靠性，将已有情感词典中包含的先验情感信息加入到情感词典构建中，提出构建基于多词性统一的情感词典。
在上述各实施例中，优选地，情感词典构建方法还包括：
使用精确率(Precision),召回率(Recall)或/和F1-Measure中一个或多个评价指标来进行性能对比，针对任意情感极性类型xm，其准确率P(xm)、召回率R(xm)以及F1(xm)公式如(12)、(13)、(14)所示：
Figure BDA0001731692620000121
Figure BDA0001731692620000122
Figure BDA0001731692620000123
其中，A表示极性为xm，并且分类正确的文档数目；B表示分类正确但是不属于极性xm的文档数目，C表示极性为xm，但是分类错误的文档数目。
进一步优选地，情感词典构建方法还包括：将评价指标的值最高对应的情感词典构建方法以及情感词典构建方法中C1、C2、C3、C4或/和β分别作为最佳情感词典构建方法、最佳比例系数或/和最佳融合贡献比例。
图4是本发明情感词典构建系统的一个实施例的构成框图的示意图，如图4所示，所述情感词典构建系统10包括：
采集部11，采集文档；
分词部12，对文档进行分词，得到文档内的情感词；
文档分类部13，将采集部采集的文档分为正类文档和负类文档；
设定部14，设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
条件模型构建部15，根据设定部设定的条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
情感强度模型构建部16，根据条件模型构建情感词及其词性属于不同情感极性的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
情感值模型构建部17，根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
图5是本发明情感词典构建系统的另一个实施例的构成框图的示意图，如图5所示，所述情感词典构建系统10＇相对于图4所示的情感词典构建系统采用第一调用部11＇代替采集部11、分词部12和文档分类部13构建基于语料的情感词典，其中，第一调用部11＇，调用语料中的文档、情感词及其词性，文档包括正类文档和负类文档。
优选地，在上述两个实施例中，条件模型构建部15包括第一TF模型构建单元151、第二TF模型构建单元152、第三TF模型构建单元153和IDF模型构建单元154中的一个或多个，其中：
第一TF模型构建单元151，根据公式(3)构建第一TF模型；
第二TF模型构建单元152，根据公式(4)构建第二TF模型；
第三TF模型构建单元153，根据公式(5)构建第三TF模型；
IDF模型构建单元154，根据公式(6)构建IDF模型。
进一步优选地，所述条件模型构建部15还包括：
系数设定单元155，设定第一TF模型、第二TF模型、第三TF模型和IDF模型中一个或多个模型中的比例系数。
图6是本发明情感词典构建系统的第三实施例的构成框图的示意图，如图6所示，所述情感词典构建系统20用于统一已有情感词典，包括：
第二调用部21，调用已有的情感词典；
第一判断部22，判断情感词典中的情感词是否具有情感值，如果具有情感值，将情感词典发送给第一先验情感值模型构建部，如果不具有情感值，将情感词典发送给第二先验情感值模型构建部；
第一先验情感值模型构建部23，在每一本情感词典中，将每个情感词及其词性对应的多个情感值取平均值，作为所述情感词及其词性的先验情感值；
第二先验情感值模型构建部24，在每一本情感词典中，设定与情感词及其词性的情感强度正相关的强度因子，通过强度因子确定先验情感值的绝对值的大小，通过情感词及其词性在情感词典中的情感极性确定先验情感值为正值或负值；
统一部25，将各情感词及其词性在第一先验情感值模型构建部的各词典的先验情感值与对应的第二先验情感值模型构建部的各词典的先验情感值组合，得到各情感词及其词性的先验情感知识。
图4-图6所示的情感词典可以任意组合，也就是说，情感词典构建系统还可以包括系统统一部：将图4所示的情感词典构建系统或/和图5所示的基于语料的情感词典构建系统作为第一情感词典构建系统；将图6所示基于已有情感词典的情感词典构建系统作为第二情感词典构建系统，根据公式(11)统一上述第一情感词典构建系统和第二情感词典构建系统。
在上述各实施例中，优选地，情感词典构建系统还包括：
系统性能评价部，使用精确率、召回率或/和F1-Measure中一个或多个评价指标来进行情感词典构建系统的各种组合形式及系统中的参数的性能对比。
进一步优选地，还包括确定部，将评价指标的值最高对应的情感词典构建系统以及对应的C1、C2、C3、C4或/和β分别作为最佳情感构建系统、最佳比例系数或/和最佳融合贡献比例。
本发明所述情感词典构建系统可以基于语料的改进TF-IDF算法和基于多词性的已有词典实现情感词典的构建，应用于网络评论文本进行情感分析，并提高情感分析F1-Measure值。
在本发明的一个具体实施例中，基于语料的改进TF-IDF算法自动构建情感词典，采用的数据都是电影的评论数据包括两部分，一个是由Maas AL等人提供的长文本影评数据(Large Movie Review Dataset v1.0)，该数据包含5万条标记样本和5万条未标记样本，其中5万条标记样本中分别有2.5万条标记正负的语料，原始数据来自IMDB网页。另一个语料是Pang B等人[18]提供的短文本标记语料(movie-review-data)，原始数据来自烂番茄(from Rotten Tomatoes webpages)，包括正负各5331条短文本语料。实例中将以上数据集分为训练集和测试集，从短文本以及长文本语料中各抽取正负2000条语料作为测试集，分别记为评价数据集1(Evaluation-data1)与评价数据集2(Evaluation-data2)，其余语料作为训练集。
基于语料的改进TF-IDF算法进行情感词典自动构建主要是对改进TF-IDF算法中的四个条件进行计算，具体见公式(3＇)-(6＇)，对于比例系数的取值，为了各个值相乘结合有意义，并且通过多次尝试结果，最终选择设置比例系数C1＝1,C2＝1000,C3＝1000,C4＝(3log10(4))-1，其中由于函数F2与F3的计算公式中<词,词性>的频次与语料总文档数比值很小，为了突出这两个因素的影响，减小该值与其他几个函数值的差异，所以设置比例系数C2与C3较大。而由公式(4＇)可知，当训练语料有4000条时，F4的最大值就是3log10(4)，因此C4的取值是为了让F4的值在[0,1]之间取值。然后通过公式(7)计算基于改进的TF-IDF算法的每一个<词，词性>对的情感值，并对其进行归一化处理，从而构建基于语料的改进TF-IDF算法的情感词典记为ITI-lexicon，下表1显示了构建的ITI-lexicon情感词典部分结果。
表1
Figure BDA0001731692620000151
Figure BDA0001731692620000161
由上表1可知，在正负类内情感词都较好的反映类内的特点。其中词性都是由python的自然语言处理包NLTK进行标记，由于一些经常使用的词性比如名词、副词、形容词、动词因时态等因素都有多种形式，比如动词包括过去式、现在进行时、三单等等，如果都使用NLTK包的进行词性标记，将会使得<词，词性>的数量更加庞大，计算复杂度也会非常大，所以为了方便，进行词性块构建，设定各种类型的形容词都表示为“a”,动词都表示为“v”，副词都表示为“r”，名词都表示为“n”，其余的词性表示按照NLTK的结果显示。
将先验知识情感与基于语料的改进TF-IDF方法构建的情感词典进行整合，得到基于词性的统一情感词典记作(UNI-lexicon)，不仅对于先验情感词典中没有包含的影视评论领域的新词进行补充，还对二者情感词典中同时存在的词的情感进行修正，由公式(11)可知，二者的融合贡献比例β将直接决定该情感词典的效果，取不同β进行文本情感分类任务，选择最佳的β值，具体评价实验结果F1-Measure如图7a和7b所示，横轴是融合贡献比例β，取值在[0,1]之间，纵轴都是F1-Measure的数值，表示的是β取值在[0,1]之间对于短文本Evaluation-data1与长文本Evaluation-data2进行文本情感分类任务的F1-Measure情况。整体上可以看出，当β取值在[0.4,0.5]时，对长短文本语料都是效果较好，因此本文取β＝0.5来进行基于词性的统一情感词典构建，下表2给出了部分基于词性的统一框架情感词典中的词汇。
表2
Figure BDA0001731692620000162
Figure BDA0001731692620000171
由上表可以看出，基于词性的统一情感词典，在四个方面表现突出：
(1)对于一些先验情感词典中没有包含的词与词性比如“nothing”的名词形式，通过基于语料的改进的TF-IDF方法构建情感词典可以计算该词汇在语料的情感，实现对于先验情感词典的补充；
(2)由于基于语料的改进TF-IDF方法构建情感词典重点是发现一些只出现在单一的情感倾向性语料中的词或者一些不常出现的词，而对于一些总是出现在正负语料中的词汇会选择性的忽略，因此像“good”、“clear”等经常出现的词汇可以通过先验情感词典进行补充；
(3)对于一些普遍存在正负多义性的词，通过基于词性的统一情感词典可以对特定影视领域的情感词进行修正，例如“thirs”这个词汇作为动词，既可以表示正倾向性也可以表示负倾向性，通过影视领域的语料计算之后，可以确定该词汇在在影视评论文本中通常是作为正倾向性词汇使用。
本实例将通过文本情感分类任务评价构建的基于多词性的统一情感词典与已有情感词典的性能，用于对比的已有情感词典包括MPQA情感词典、SentiWordNet3.0情感词典、GI情感词典，其中F1-Measure是精确率和召回率的综合评价指标，使用F1-Measure进行效果对比，各种情感词典的评价结果如表3所示：
表3
(a)短文本数据
Figure BDA0001731692620000172
Figure BDA0001731692620000181
(b)长文本数据
Figure BDA0001731692620000182
由上表可以看出，整体上看本发明将基于语料的情感词典ITI-Lexicon和已有情感词典统一的统一情感词典UNI-Lexicon用于文本情感分类任务效果明显高于已有的情感词典(MPQA情感词典、SentiWordNet3.0情感词典、GI情感词典)，略高于基于语料的情感词典ITI-Lexicon，而且相比较其他情感词典用于文本情感分类时，正负倾向性判别效果的差异化较大，本发明所述情感词典构建方法对于正负语料文本情感分析的差异性非常小，说明本发明构建的情感词典对于正负语料情感分类都具有较好的适用性，也反映了将先验情感知识加入基于语料的改进TF-IDF算法的情感词典中，构建的基于词性的统一情感词典是有一定的可行性的与有效性。
本发明所述情感词典构建方法及构建系统针对目前已有情感词典无法涵盖领域特有词汇也无法表示多义词，而且TF-IDF算法不能涵盖类内特征以及词性信息，导致目前基于已有情感词典进行文本情感分类效果较差的问题，对TF-IDF算法进行改进，提出了基于语料的改进TF-IDF算法，通过设置假设条件加入词语的类内特征以及词性分布，使文本情感分类的F1-Measure值在长短文本数据集上相比已有情感词典都有明显的提升，尤其对于长文本的负倾向性语料分类F1-Measur达到77％；并在基于语料的改进TF-IDF算法基础上构建多词性的统一情感词典，使得F1-Measur值又有所提升。
综上所述，参照附图以示例的方式描述了根据本发明提出的情感词典构建系统及构建方法。但是，本领域技术人员应当理解，对于上述本发明所提出的系统及方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (14)

1.一种情感词典构建系统，其特征在于，包括：
采集部，采集文档；
分词部，对文档进行分词，得到文档内的情感词；
文档分类部，将采集部采集的文档分为正类文档和负类文档；
设定部，设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
条件模型构建部，根据设定部设定的条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
情感强度模型构建部，根据条件模型构建情感词及其词性属于不同情感极性的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
情感值模型构建部，根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
2.一种情感词典构建系统，其特征在于，包括：
第一调用部，调用语料中的文档、情感词及其词性，文档包括正类文档和负类文档；
设定部，设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
条件模型构建部，根据设定部设定的条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
情感强度模型构建部，根据条件模型构建情感词及其词性属于不同情感极性的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
情感值模型构建部，根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
3.根据权利要求1或2所述的情感词典构建系统，其特征在于，所述条件模型构建部包括第一TF模型构建单元、第二TF模型构建单元、第三TF模型构建单元和IDF模型构建单元中的一个或多个，其中：
第一TF模型构建单元，根据下式(3)构建第一TF模型
Figure FDA0003954682860000031
其中，SWi表示第i个情感词，pu表示SWi对应的第u个词性，xm表示对应的情感极性，包括正极性和负极性，dm为情感极性对应的xm文档类，当xm表示正极性时，dm表示正类文档，当xm表示负极性时，dm表示负类文档，F1(SWi,pu,xm)表示情感词SWi及其词性pu属于情感极性xm的第一TF模型，count(SWi,pu,xm)表示(SWi,pu)在xm情感极性对应的文档类中出现的次数，∑u count(SWi,pu,xm)表示在xm情感极性对应的文档类中不同词性的情感词SWi出现的总频次；
第二TF模型构建单元，根据下式(4)构建第二TF模型
Figure FDA0003954682860000032
其中，F2(SWi,pu,xm)表示情感词SWi及其词性pu属于情感极性xm的第二TF模型，count(dm)表示dm文档类的文档数量；
第三TF模型构建单元，根据下式(5)构建第三TF模型
Figure FDA0003954682860000033
其中，F3(SWi,pu)表示情感词SWi及其词性pu的第三TF模型，dpos表示正类文档，count(SWi,pu,dpos)表示正类文档中(SWi,pu)出现的频次，dneg表示负类文档，count(SWi,pu,dneg)表示负类文档中(SWi,pu)出现的频次，dz表示正类文档和负类文档，∑zcount(SWi,pu,dz)表示正类文档和负类文档中(SWi,pu)的总频次；
IDF模型构建单元，根据下式(6)构建IDF模型
Figure FDA0003954682860000041
其中，F4(SWi,pu)表示情感词SWi及其词性pu的IDF模型，∑zcount(dz)表示正类文档和负类文档的文档总数，ε是常数。
4.根据权利要求3所述的情感词典构建系统，其特征在于，所述条件模型构建部还包括：
系数设定单元，设定第一TF模型、第二TF模型、第三TF模型和IDF模型中一个或多个模型中的比例系数。
5.根据权利要求4所述的情感词典构建系统，其特征在于，第一TF模型中的比例系数为1，第二TF模型中的比例系数为1000，第三TF模型中的比例系数为1000，IDF模型中的比例系数为(3log10(4))-1。
6.一种情感词典构建系统，用于统一已有情感词典，其特征在于，包括：
第二调用部，调用已有的情感词典；
第一判断部，判断情感词典中的情感词是否具有情感值，如果具有情感值，将情感词典发送给第一先验情感值模型构建部，如果不具有情感值，将情感词典发送给第二先验情感值模型构建部；
第一先验情感值模型构建部，在每一本情感词典中，将每个情感词及其词性对应的多个情感值取平均值，作为所述情感词及其词性的先验情感值；
第二先验情感值模型构建部，在每一本情感词典中，设定与情感词及其词性的情感强度正相关的强度因子，通过强度因子确定先验情感值的绝对值的大小，通过情感词及其词性在情感词典中的情感极性确定先验情感值为正值或负值；
统一部，将各情感词及其词性在第一先验情感值模型构建部的各词典的先验情感值与对应的第二先验情感值模型构建部的各词典的先验情感值组合，得到各情感词及其词性的先验情感知识。
7.一种情感词典构建系统，其特征在于，包括：
权利要求1-5中任一权利要求所述的情感词典构建系统，将其作为第一情感词典构建系统；
权利要求6所述的情感词典构建系统，将其作为第二情感词典构建系统；
系统统一部，根据下式(11)统一上述第一情感词典构建系统和第二情感词典构建系统，
Uni_senti(SWi,pu)＝
β×ITI_senti(SWi,pu)+(1-β)×Pri_senti(SWi,pu) (11)
其中，其中，SWi表示第i个情感词，pu表示SWi对应的第u个词性，Uni_senti(SWi,pu)表示统一第一情感词典构建系统和第二情感词典构建系统得到的统一情感值，β是两者的融合贡献比例，Pri_senti(SWi,pu)表示通过第二情感构建系统得到的(SWi,pu)的先验情感知识，ITI_senti(SWi,pu)表示通过第一情感词典构件系统得到的(SWi,pu)的情感值。
8.一种情感词典构建方法，其特征在于，包括：
采集文档；
对文档进行分词，得到文档内的情感词；
将采集的文档分为正类文档和负类文档；
设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
根据上述条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
根据条件模型构建情感词及其词性属于不同情感极性的情感强度的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
9.一种情感词典构建方法，其特征在于，包括：
调用语料中的文档、情感词及其词性，文档包括正类文档和负类文档；
设定确定情感词属于每一情感极性的情感强度的条件，所述情感极性包括正极性、负极性和中性，所述条件包括第一条件、第二条件、第三条件和第四条件中的一个或多个，所述第一条件为情感强度与情感词及其词性在每一类文档中出现频次成正相关，所述第二条件为情感强度与情感词在每一类文档中出现频次成正相关，所述第三条件为情感强度与情感词在正类文档和负类文档中出现频次差的绝对值成正相关，所述第四条件为情感强度与情感词在正类文档和负类文档中出现频次和成负相关；
根据上述条件结合TF或/和IDF方法构建条件模型，所述条件模型包括第一条件结合TF方法形成的第一TF模型、第二条件结合TF方法形成的第二TF模型、第三条件结合TF方法形成的第三TF模型和第四条件结合IDF方法形成的IDF模型中的一个或多个；
根据条件模型构建情感词及其词性属于不同情感极性的情感强度的情感强度模型，所述情感强度模型为条件模型中的任一个模型或为条件模型中多个模型的组合；
根据情感词及其词性属于正极性的情感强度与其属于负极性的情感强度的差值构建情感值模型，情感值为正值将情感词归属于正极性，情感值为负值将情感词归属于负极性，情感值为0将情感词归属于中性。
10.根据权利要求8或9所述的情感词典构建方法，其特征在于，所述第一TF模型根据下式(3)构建
Figure FDA0003954682860000071
其中，SWi表示第i个情感词，pu表示SWi对应的第u个词性，xm表示对应的情感极性，包括正极性和负极性，dm为情感极性对应的xm文档类，当xm表示正极性时，dm表示正类文档，当xm表示负极性时，dm表示负类文档，F1(SWi,pu,xm)表示情感词SWi及其词性pu属于情感极性xm的第一TF模型，count(SWi,pu,xm)表示(SWi,pu)在xm情感极性对应的文档类中出现的次数，∑ucount(SWi,pu,xm)表示在xm情感极性对应的文档类中不同词性的情感词SWi出现的总频次；
第二TF模型根据下式(4)构建
Figure FDA0003954682860000081
其中，F2(SWi,pu,xm)表示情感词SWi及其词性pu属于情感极性xm的第二TF模型，count(dm)表示dm文档类的文档数量；
第三TF模型根据下式(5)构建
Figure FDA0003954682860000082
其中，F3(SWi,pu)表示情感词SWi及其词性pu的第三TF模型，dpos表示正类文档，count(SWi,pu,dpos)表示正类文档中(SWi,pu)出现的频次，dneg表示负类文档，count(SWi,pu,dneg)表示负类文档中(SWi,pu)出现的频次，dz表示正类文档和负类文档，∑zcount(SWi,pu,dz)表示正类文档和负类文档中(SWi,pu)的总频次；
IDF模型根据下式(6)构建
Figure FDA0003954682860000083
其中，F4(SWi,pu)表示情感词SWi及其词性pu的IDF模型，∑zcount(dz)表示正类文档和负类文档的文档总数，ε是常数。
11.根据权利要求10所述的情感词典构建方法，其特征在于，设定第一TF模型、第二TF模型、第三TF模型和IDF模型中一个或多个模型中的比例系数。
12.根据权利要求11所述的情感词典构建方法，其特征在于，第一TF模型中的比例系数为1，第二TF模型中的比例系数为1000，第三TF模型中的比例系数为1000，IDF模型中的比例系数为(3log10(4))-1。
13.一种情感词典构建方法，用于统一已有情感词典，其特征在于，包括：
调用已有的情感词典；
判断情感词典中的情感词是否具有情感值；
如果具有情感值，在每一本情感词典中，将每个情感词及其词性对应的多个情感值取平均值，作为所述情感词及其词性的先验情感值；
如果不具有情感值，在每一本情感词典中，设定与情感词及其词性的情感强度正相关的强度因子，通过强度因子确定先验情感值的绝对值的大小，通过情感词及其词性在情感词典中的情感极性确定先验情感值为正值或负值；
将各情感词及其词性在具有情感值的各词典的先验情感值与对应的不具有情感值的各词典的先验情感值组合，得到各情感词及其词性的先验情感知识。
14.一种情感词典构建方法，其特征在于，包括：
权利要求8-12中任一权利要求所述的情感词典构建方法，将其作为第一情感词典构建方法；
权利要求13所述的情感词典构建方法，将其作为第二情感词典构建方法；
根据下式(11)统一情感词及其词性通过上述第一情感词典构建方法得到的情感值和通过第二情感词典构建方法得到的先验知识，
Uni_senti(SWi,pu)＝
β×ITI_senti(SWi,pu)+(1-β)×Pri_senti(SWi,pu) (11)
其中，其中，SWi表示第i个情感词，pu表示SWi对应的第u个词性，Uni_senti(SWi,pu)表示统一第一情感词典构建方法和第二情感词典构建方法得到的统一情感值，β是两者的融合贡献比例，Pri_senti(SWi,pu)表示通过第二情感构建方法得到的(SWi,pu)的先验情感知识，ITI_senti(SWi,pu)表示通过第一情感词典构件系统得到的(SWi,pu)的情感值。
CN201810777409.2A 2018-07-16 2018-07-16 情感词典构建系统及构建方法 Active CN109190106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810777409.2A CN109190106B (zh) 2018-07-16 2018-07-16 情感词典构建系统及构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810777409.2A CN109190106B (zh) 2018-07-16 2018-07-16 情感词典构建系统及构建方法

Publications (2)

Publication Number Publication Date
CN109190106A CN109190106A (zh) 2019-01-11
CN109190106B true CN109190106B (zh) 2023-01-10

Family

ID=64936627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810777409.2A Active CN109190106B (zh) 2018-07-16 2018-07-16 情感词典构建系统及构建方法

Country Status (1)

Country Link
CN (1) CN109190106B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291559B (zh) * 2020-01-22 2023-04-11 中国民航信息网络股份有限公司 姓名文本处理方法及装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663139A (zh) * 2012-05-07 2012-09-12 苏州大学 一种情感词典构建方法及系统
CN102760153A (zh) * 2011-04-21 2012-10-31 帕洛阿尔托研究中心公司 将词典知识合并入svm学习以改进情感分类
CN105069021A (zh) * 2015-07-15 2015-11-18 广东石油化工学院 基于领域的中文短文本情感分类方法
CN107301171A (zh) * 2017-08-18 2017-10-27 武汉红茶数据技术有限公司 一种基于情感词典学习的文本情感分析方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676730B2 (en) * 2011-07-11 2014-03-18 Accenture Global Services Limited Sentiment classifiers based on feature extraction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760153A (zh) * 2011-04-21 2012-10-31 帕洛阿尔托研究中心公司 将词典知识合并入svm学习以改进情感分类
CN102663139A (zh) * 2012-05-07 2012-09-12 苏州大学 一种情感词典构建方法及系统
CN105069021A (zh) * 2015-07-15 2015-11-18 广东石油化工学院 基于领域的中文短文本情感分类方法
CN107301171A (zh) * 2017-08-18 2017-10-27 武汉红茶数据技术有限公司 一种基于情感词典学习的文本情感分析方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Construction and quantization for a basic sentiment lexicon》;Xiaojun Li等;《2011 Eighth International Conference on Fuzzy Systems and Knowledge Discovery》;20110915;全文 *
《基于词向量的领域情感词典构建》;林江豪等;《山东大学学报(工学版)》;20180308(第03期);全文 *

Also Published As

Publication number Publication date
CN109190106A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
Haselmayer et al. Sentiment analysis of political communication: Combining a dictionary approach with crowdcoding
Rauh Validating a sentiment dictionary for German political language—a workbench note
Assiri et al. Towards enhancement of a lexicon-based approach for Saudi dialect sentiment analysis
Benamara et al. Sentiment analysis: Adjectives and adverbs are better than adjectives alone.
CN107180025B (zh) 一种新词的识别方法及装置
CN108073571B (zh) 一种多语言文本质量评估方法及系统、智能文本处理系统
Wang et al. Sentiment classification of online reviews: using sentence-based language model
KR20120108095A (ko) 소셜 데이터 분석 시스템
Masmoudi et al. Deep learning for sentiment analysis of Tunisian dialect
Verhoeven et al. Gender profiling for Slovene Twitter communication: The influence of gender marking, content and style
CN109190106B (zh) 情感词典构建系统及构建方法
Tariku et al. Sentiment Mining and Aspect Based Summarization of Opinionated Afaan Oromoo News Text
El Barachi et al. Combining named entity recognition and emotion analysis of tweets for early warning of violent actions
Cindo et al. Sentiment Analysis on Twitter By Using Maximum Entropy And Support Vector Machine Method
CN109298796B (zh) 一种词联想方法及装置
Ningtyas et al. The Influence of Negation Handling on Sentiment Analysis in Bahasa Indonesia
Rai et al. Identification of landscape preferences by using social media analysis
Suzen et al. LScDC-new large scientific dictionary
Liimatta et al. Results from rough data? The large-scale study of early modern historiography with multi-dimensional register analysis
CN111814456A (zh) 一种基于动词的中文文本相似度计算方法
CN110032735B (zh) 隐含观点情感极性的分析方法
Tao et al. Mining Pain Points from Hotel Online Comments Based on Sentiment Analysis
Yuan et al. Semantic based chinese sentence sentiment analysis
WO2019132648A1 (en) System and method for identifying concern evolution within temporal and geospatial windows
Utomo et al. Clustering Data National Examinations based on Social Media Using K-Means Methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant