CN111506785B - 基于社交文本的网络舆情话题识别方法和系统 - Google Patents

基于社交文本的网络舆情话题识别方法和系统 Download PDF

Info

Publication number
CN111506785B
CN111506785B CN202010150112.0A CN202010150112A CN111506785B CN 111506785 B CN111506785 B CN 111506785B CN 202010150112 A CN202010150112 A CN 202010150112A CN 111506785 B CN111506785 B CN 111506785B
Authority
CN
China
Prior art keywords
topic
word
distribution
text
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010150112.0A
Other languages
English (en)
Other versions
CN111506785A (zh
Inventor
姜元春
张吉
孙见山
任祖杰
单海军
刘心语
钱洋
梁瑞成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Zhejiang Lab
Original Assignee
Hefei University of Technology
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology, Zhejiang Lab filed Critical Hefei University of Technology
Priority to CN202010150112.0A priority Critical patent/CN111506785B/zh
Publication of CN111506785A publication Critical patent/CN111506785A/zh
Application granted granted Critical
Publication of CN111506785B publication Critical patent/CN111506785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于社交文本的网络舆情话题识别方法，涉及文本数据处理技术领域。本发明考虑到噪音词对文本话题发现的影响，将生成词中的主题词和生成词的噪声词分开，将噪音词过滤并推断出每个词的主题词分布，从而能准确的判断出生成该词对应的网络舆情话题，提高网络舆情话题识别的准确率，为后续的舆情监测、政府或者相关管理部门舆情引导和个性化营销等实际场景提供准确的数据支持。

Description

基于社交文本的网络舆情话题识别方法和系统
技术领域
本发明涉及文本数据处理技术领域，具体涉及一种基于社交文本的网络舆情话题识别方法和系统。
背景技术
随着互联网的快速发展，社交网络成为社交媒体环境中一个重要组成部分，如新浪微博、Facebook、Twitter等正在成为非常受欢迎的社交平台。越来越多的用户在社交平台上发表自己的观点和评论，产生了大量的用户数据。面对这些可用的网络数据，准确发现其对应的主题，对于舆情监测、个性化营销等实际场景具有很高的应用价值。例如，在社会舆情监测中，政府或者相关管理部门可以根据用户在不同平台上发布的言论确定其态度和感情，从而进行正确的引导。
由于海量网络信息的快速增长，近年来的研究主要集中在利用大规模的在线数据来挖掘有价值的主题信息，例如，在网络舆情分析系统中，网络事件具有突发性和快速传播性，及时迅速地对网络文本进行话题检测有助于相关监管部门对于网络舆情进行科学地决策；在知识转移领域中，将知识库中的知识进行话题检测，可以除去冗余数据并且将知识进行归类，可以提高后续知识传输和吸收过程中的效率。在话题发现中，文本聚类是常用的话题发现方法，近年来，越来越多学者开始将LDA应用到网络文本的话题发现，通过LDA模型的训练得到文本的潜在主题信息，进而有效地提取文本主题，实现话题的发现，
然而，LDA模型忽略了随意性语言(即为本申请中所述的噪声词)可能导致的问题，导致模型不能准确识别出网络舆情话题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于社交文本的网络舆情话题识别方法和系统，解决了现有技术不能准确识别出网络舆情话题的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供一种基于社交文本的网络舆情话题识别方法，所述方法由计算机执行，包括以下步骤：
S1、获取多个用户的社交媒体数据的文本集合，并确定所述文本集合的主题数量；
S2、基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词；
S3、根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计；
S4、基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。
优选的，在S1中，所述获取社交媒体数据的文本集合，并确定所述文本集合的主题数量，包括：
S101、获取|M|条社交文本构成的文本集合D，记为
Figure GDA0004205759110000031
|M|表示文本集合D中的文本数量，一个用户对应一条文本；
S102、对所述文本集合D进行预处理；
S103、基于预处理后的文本集合D建立向量
Figure GDA0004205759110000032
1≤i≤Nm，用来表示集合D中的第m个用户的文本；Dm i表示第m个用户文本中的第i个词，Nm表示第m个用户文本中的单词数；
S104、确定文本集合D中的主题个数K。
优选的，在S2中，所述基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词，包括：
S201、基于文本集合D中的K个主题，按照公式(1)进行采样从单词V的狄利克雷分布β中抽取主题k∈{1,2,...,K}的主题词分布
Figure GDA0004205759110000037
和噪声词分布/>
Figure GDA0004205759110000033
Figure GDA0004205759110000034
式(1)中：
β和β'是狄利克雷分布的超参数；
S202、对于每个用户的文本m∈{1,2,...,M}，按照公式(2)建立文本-主题分布，用向量
Figure GDA0004205759110000035
表示；
Figure GDA0004205759110000036
式(2)中：
α是狄利克雷分布的超参数；
Figure GDA0004205759110000041
表示用户文本m中对应的主题分布，服从参数为α的狄利克雷分布；
S203、基于文本的主题分布，利用公式(3)生成主题-单词分布；
Figure GDA0004205759110000042
Figure GDA0004205759110000043
式(3)中：
Figure GDA0004205759110000044
服从参数为γ,γ'的Beta分布，用于选择主题-单词分布，/>
Figure GDA0004205759110000045
与/>
Figure GDA0004205759110000046
构成Beta-Multinomial共轭；
cm n是二元指示变量，服从伯努利分布，决定主题-单词分布的超参数，
Figure GDA0004205759110000047
式(4)中，
zm n服从多项式分布，表示第m条文本的第n个词的主题编号；
当cm n＝1时，表示文本Dm是从主题词分布中生成词wm n的；当cm n＝0时，表示文本Dm是从噪声词分布中生成词wm n的。
优选的，在S3中，所述根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计，包括：
S301、设计折叠Gibbs采样算法进行近似后验推断，对潜在参数zmn和cm n进行采样，包括：
S30101、基于贝叶斯准则，使用公式(5)计算单词wm n对应主题zm n的后验概率：
Figure GDA0004205759110000051
式(5)中：
z-(m n)指除单词wm n外所有单词对应的主题编号；
Figure GDA0004205759110000052
表示当cm n＝1时，单词v被分配到主题k上的次数；
Figure GDA0004205759110000053
表示当cm n＝1时，被分配到主题k上的所有单词数；
Figure GDA0004205759110000054
表示第m个用户文本中被分配到主题k上的单词数；
所有带有公式-(mn)的计数均表示去除了单词wm n；
γ,γ'表示Beta分布的参数；
S30102、采样二元指示变量cm n，计算条件概率分布，采样二元指示变量cm n，如式(6)，二元指示变量cm n是分布选择器，决定了第m篇文本中，生成第n个词所选择的主题词分布；
Figure GDA0004205759110000055
Figure GDA0004205759110000056
式(6)中：
Figure GDA0004205759110000057
表示所有由噪声词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000058
表示所有由主题词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000059
表示噪声词分布生成单词v的次数，去除单词wm n；
Figure GDA00042057591100000510
表示噪声词分布生成所有词的次数，去除单词wm n；
Figure GDA0004205759110000061
表示c＝0时表示所有由噪声词分布生成的单词数，去除单词wm n；c＝1时表示所有由主题词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000062
表示cm n＝1时，单词v被分配到主题k上的次数，除去单词单词wm n；
Figure GDA0004205759110000063
表示噪声词分布生成所有词的次数；
所有带有公式-(mn)的计数均表示去除了单词wm n；
S302、为S301中两个潜在参数zm n和cm n随机初始化值；
S303、按照S301中的样公式(5)(6)依次采样，更新潜在参数zm n和cm n的值；
S304、将步骤S303重复I0次，完成网络舆情话题识别模型中潜在参数的更新，I0是迭代次数。
优选的，在S4中，所述基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题，包括：
基于所述潜在参数的值更新文本集合中的各个参数的值，根据各个参数的值计算文本集合文本文本-主题分布，主题-主题词分布，是主题-噪声词分布，计算公式如下：
Figure GDA0004205759110000064
Figure GDA0004205759110000065
Figure GDA0004205759110000071
式(7)(8)(9)中：
θmk表示文本-主题分布；
φk v表示主题-主题词分布；
φ′v表示主题-噪声词分布；
Nm表示第m个用户文本中的单词数；
K表示文本集合D中的主题个数；
V表示文本Dm中的不同词的数量；
Figure GDA0004205759110000072
表示第m个用户文本中被分配到主题k上的单词数；
Figure GDA0004205759110000073
表示当c＝1时，单词v被分配到主题k上的次数；
Figure GDA0004205759110000074
表示当c＝1时，被分配到主题k上的所有单词数；
Figure GDA0004205759110000075
表示噪声词分布生成单词v的次数；
Figure GDA0004205759110000076
表示噪声词分布生成所有词的次数；
α表示狄利克雷分布的超参数；
β和β'表示狄利克雷分布的超参数；
通过Gibbs采样算法获取文本集合中每个单词对应每个主题的概率，确定文本对应的主题，实现网络舆情话题的发现。
本发明还提供一种基于社交文本的网络舆情话题识别系统，所述系统包括计算机，所述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现以下步骤：
S1、获取多个用户的社交媒体数据的文本集合，并确定所述文本集合的主题数量；
S2、基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词；
S3、根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计；
S4、基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。
优选的，在S1中，所述获取社交媒体数据的文本集合，并确定所述文本集合的主题数量，包括：
S101、获取|M|条社交文本构成的文本集合D，记为
Figure GDA0004205759110000081
|M|表示文本集合D中的文本数量，一个用户对应一条文本；
S102、对所述文本集合D进行预处理；
S103、基于预处理后的文本集合D建立向量
Figure GDA0004205759110000082
1≤i≤Nm，用来表示集合D中的第m个用户的文本；Dm i表示第m个用户文本中的第i个词，Nm表示第m个用户文本中的单词数；
S104、确定文本集合D中的主题个数K。
优选的，在S2中，所述基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词，包括：
S201、基于文本集合D中的K个主题，按照公式(1)进行采样从单词V的狄利克雷分布β中抽取主题k∈{1,2,...,K}的主题词分布
Figure GDA0004205759110000091
和噪声词分布/>
Figure GDA0004205759110000092
Figure GDA0004205759110000093
式(1)中：
β和β'是狄利克雷分布的超参数；
S202、对于每个用户的文本m∈{1,2,...,M}，按照公式(2)建立文本-主题分布，用向量
Figure GDA0004205759110000094
表示；
Figure GDA0004205759110000095
式(2)中：
α是狄利克雷分布的超参数；
Figure GDA0004205759110000096
表示用户文本m中对应的主题分布，服从参数为α的狄利克雷分布；
S203、基于文本的主题分布，利用公式(3)生成主题-单词分布；
Figure GDA0004205759110000097
Figure GDA0004205759110000098
式(3)中：
Figure GDA0004205759110000099
服从参数为γ,γ'的Beta分布，用于选择主题-单词分布，/>
Figure GDA00042057591100000910
与/>
Figure GDA00042057591100000911
构成Beta-Multinomial共轭；
cm n是二元指示变量，服从伯努利分布，决定主题-单词分布的超参数，
Figure GDA0004205759110000101
式(4)中，
zm n服从多项式分布，表示第m条文本的第n个词的主题编号；
当cm n＝1时，表示文本Dm是从主题词分布中生成词wm n的；当cm n＝0时，表示文本Dm是从噪声词分布中生成词wm n的。
优选的，在S3中，所述根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计，包括：
S301、设计折叠Gibbs采样算法进行近似后验推断，对潜在参数zmn和cm n进行采样，包括：
S30101、基于贝叶斯准则，使用公式(5)计算单词wm n对应主题zm n的后验概率：
Figure GDA0004205759110000103
式(5)中：
z-(m n)指除单词wm n外所有单词对应的主题编号；
Figure GDA0004205759110000104
表示当cm n＝1时，单词v被分配到主题k上的次数；
Figure GDA0004205759110000105
表示当cm n＝1时，被分配到主题k上的所有单词数；
Figure GDA0004205759110000106
表示第m个用户文本中被分配到主题k上的单词数；
所有带有公式-(mn)的计数均表示去除了单词wm n；
γ,γ'表示Beta分布的参数；
S30102、采样二元指示变量cm n，计算条件概率分布，采样二元指示变量cm n，如式(6)，二元指示变量cm n是分布选择器，决定了第m篇文本中，生成第n个词所选择的主题词分布；
Figure GDA0004205759110000111
Figure GDA0004205759110000112
式(6)中：
Figure GDA0004205759110000113
表示所有由噪声词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000114
表示所有由主题词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000115
表示噪声词分布生成单词v的次数，去除单词wm n；
Figure GDA0004205759110000116
表示噪声词分布生成所有词的次数，去除单词wm n；
Figure GDA0004205759110000117
表示c＝0时表示所有由噪声词分布生成的单词数，去除单词wm n；c＝1时表示所有由主题词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000119
表示cm n＝1时，单词v被分配到主题k上的次数，除去单词单词wm n；
Figure GDA00042057591100001110
表示噪声词分布生成所有词的次数；
所有带有公式-(mn)的计数均表示去除了单词wm n；
S302、为S301中两个潜在参数zm n和cm n随机初始化值；
S303、按照S301中的样公式(5)(6)依次采样，更新潜在参数zm n和cm n的值；
S304、将步骤S303重复I0次，完成网络舆情话题识别模型中潜在参数的更新，I0是迭代次数。
优选的，在S4中，所述基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题，包括：
基于所述潜在参数的值更新文本集合中的各个参数的值，根据各个参数的值计算文本集合文本文本-主题分布，主题-主题词分布，是主题-噪声词分布，计算公式如下：
Figure GDA0004205759110000121
Figure GDA0004205759110000122
Figure GDA0004205759110000123
式(7)(8)(9)中：
θmk表示文本-主题分布；
φk v表示主题-主题词分布；
φ′v表示主题-噪声词分布；
Nm表示第m个用户文本中的单词数；
K表示文本集合D中的主题个数；
V表示文本Dm中的不同词的数量；
Figure GDA0004205759110000124
表示第m个用户文本中被分配到主题k上的单词数；
Figure GDA0004205759110000125
表示当c＝1时，单词v被分配到主题k上的次数；
Figure GDA0004205759110000126
表示当c＝1时，被分配到主题k上的所有单词数；
Figure GDA0004205759110000131
表示噪声词分布生成单词v的次数；
Figure GDA0004205759110000132
表示噪声词分布生成所有词的次数；
α表示狄利克雷分布的超参数；
β和β'表示狄利克雷分布的超参数；
通过Gibbs采样算法获取文本集合中每个单词对应每个主题的概率，确定文本对应的主题，实现网络舆情话题的发现。
(三)有益效果
本发明提供了一种基于社交文本的网络舆情话题识别方法和系统。与现有技术相比，具备以下有益效果：
本发明首先获取多个用户的社交媒体数据的文本集合，并确定所述文本集合的主题数量；然后基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词；根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计；最后基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。本发明考虑到噪音词对文本话题发现的影响，将生成词中的主题词和生成词的噪声词分开，将噪音词过滤并推断出每个词的主题词分布，从而能准确的判断出生成该词对应的网络舆情话题，提高网络舆情话题识别的准确率，为后续的舆情监测、政府或者相关管理部门舆情引导和个性化营销等实际场景提供准确的数据支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于社交文本的网络舆情话题识别方法的框图；
图2为本发明实施例中有参贝叶斯模型的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于社交文本的网络舆情话题识别方法，解决了现有技术不能准确识别出网络舆情话题的技术问题，实现提高网络舆情话题识别的准确率，为后续的舆情监测、政府或者相关管理部门舆情引导和个性化营销等实际场景提供准确的数据支持。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例考虑到噪音词对文本话题发现的影响，将生成词中的主题词和生成词的噪声词分开，将噪音词过滤并推断出每个词的主题词分布，从而能准确的判断出生成该词对应的网络舆情话题，提高网络舆情话题识别的准确率，为后续的舆情监测、政府或者相关管理部门舆情引导和个性化营销等实际场景提供准确的数据支持。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供一种基于社交文本的网络舆情话题识别方法，如图1所示，该方法由计算机执行，包括步骤S1～S5：
S1、获取多个用户的社交媒体数据的文本集合，并确定文本集合的主题数量；
S2、基于有参贝叶斯模型、文本集合和文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词；
S3、根据贝叶斯准则使用Gibbs采样算法对网络舆情话题识别模型中的潜在参数进行参数估计；
S4、基于潜在参数的值获取文本集合D文本文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。
本发明实施例考虑到噪音词对文本话题发现的影响，将生成词中的主题词和生成词的噪声词分开，将噪音词过滤并推断出每个词的主题词分布，从而能准确的判断出生成该词对应的网络舆情话题，提高网络舆情话题识别的准确率，为后续的舆情监测、政府或者相关管理部门舆情引导和个性化营销等实际场景提供准确的数据支持。
下面对各个步骤进行详细描述。
在步骤S1中，获取多个用户的社交媒体数据的文本集合，并确定文本集合的主题数量。具体为：
S101、通过网络爬虫技术获取|M|条社交文本构成的文本集合D，记为
Figure GDA0004205759110000161
|M|表示文本集合D中的文本数量，一个用户对应一条文本。
S102、对文本集合D进行预处理，预处理主要包括对文本集合D中的文本进行分词处理和去除文本集合D中的文本的所有停用词。
S103、基于预处理后的文本集合D建立向量
Figure GDA0004205759110000162
1≤i≤Nm，用来表示集合D中的第m个用户的文本；Dm i表示第m个用户文本中的第i个词，Nm表示第m个用户文本中的单词数，V表示文本Dm中的不同词的数量，用v∈{1,2,...,V}作为不同词的索引。
S104、确定文本集合D中的主题个数K。
在步骤S2中，基于有参贝叶斯模型(模型结构图如图2所示)、文本集合和文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词。具体为：
S201、基于文本集合D中的K个主题，按照公式(1)进行采样从单词V的狄利克雷分布β中抽取主题k∈{1,2,...,K}的主题词分布
Figure GDA0004205759110000163
和噪声词分布/>
Figure GDA0004205759110000164
Figure GDA0004205759110000165
式(1)中：
β和β'是狄利克雷分布的超参数。
主题词分布用于与主题相关的词汇的分布，噪声词分布用于与主题不相关的噪音词汇的分布。两个分布的不同在于文本中选择词的不同原因，例如：在微博中，针对“雾霾”这一话题的讨论，用户发表的评论可能来自多个方面，如地区、危害、形成原因等。每个组都有自己的一组主题词分布。除了类似这些的特定主题词分布，其余词是一组通用的过滤词分布生成的，由所有组共享，例如“存在”、“事件”、“认为”、“信息”等词汇，这些词汇普遍与主题无关，因此将其看做噪音词汇过滤掉，仅用主题词汇进行文本的主题发现。
S202、对于每个用户的文本m∈{1,2,...,M}，按照公式(2)建立文本-主题分布，用向量
Figure GDA0004205759110000171
表示；
Figure GDA0004205759110000172
式(2)中：
α是狄利克雷分布的超参数；
Figure GDA0004205759110000173
表示用户文本m中对应的主题分布，服从参数为α的狄利克雷分布。
S203、基于文本的主题分布，利用公式(3)生成主题-单词分布；
Figure GDA0004205759110000174
Figure GDA0004205759110000175
式(3)中：
Figure GDA0004205759110000176
服从参数为γ,γ'的Beta分布，用于选择主题-单词分布，/>
Figure GDA0004205759110000177
与/>
Figure GDA0004205759110000178
构成Beta-Multinomial共轭；
cm n是二元指示变量，服从伯努利分布，决定主题-单词分布的超参数，
Figure GDA0004205759110000181
式(4)中，
zm n服从多项式分布，表示第m条文本的第n个词的主题编号；当cm n＝1时，表示文本Dm是从主题词分布中生成词wm n的；当cm n＝0时，表示文本Dm是从噪声词分布中生成词wm n的。通过这个二元指示变量来决定单词从主题词分布还是噪声词分布中产生。
公式(1)、(2)、(3)和(4)组成网络舆情话题识别模型。
在步骤S3中，根据贝叶斯准则使用Gibbs采样算法对网络舆情话题识别模型中的潜在参数进行参数估计。具体为：
S301、设计折叠Gibbs采样算法进行近似后验推断，对潜在参数zmn和cmn进行采样，包括：
S30101、采样单词对应的主题分布
基于贝叶斯准则，使用公式(5)计算单词wm n对应主题zm n的后验概率：
Figure GDA0004205759110000182
式(5)中：
z-(m n)指除单词wm n外所有单词对应的主题编号；
Figure GDA0004205759110000183
表示当cm n＝1时，单词v被分配到主题k上的次数；
Figure GDA0004205759110000184
表示当cm n＝1时，被分配到主题k上的所有单词数；
Figure GDA0004205759110000191
表示第m个用户文本中被分配到主题k上的单词数；
所有带有公式-(mn)的计数均表示去除了单词wm n；
γ,γ'表示Beta分布的参数；
S30102、采样二元指示变量
采样二元指示变量cm n，计算条件概率分布，采样二元指示变量cm n，如式(6)，二元指示变量cm n是分布选择器，决定了第m篇文本中，生成第n个词所选择的主题词分布；
Figure GDA0004205759110000192
Figure GDA0004205759110000193
式(6)中：
Figure GDA0004205759110000194
表示所有由噪声词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000195
表示所有由主题词分布生成的单词数，去除单词wm n；
Figure GDA0004205759110000196
表示噪声词分布生成单词v的次数，去除单词wm n；
Figure GDA0004205759110000197
表示噪声词分布生成所有词的次数，去除单词wm n；
Figure GDA0004205759110000198
表示c＝0时表示所有由噪声词分布生成的单词数，去除单词wm n；c＝1时表示所有由主题词分布生成的单词数，去除单词wm n；/>
Figure GDA0004205759110000199
表示cm n＝1时，单词v被分配到主题k上的次数，除去单词单词wm n；
Figure GDA00042057591100001910
表示噪声词分布生成所有词的次数；
所有带有公式-(mn)的计数均表示去除了单词wm n；
S302、为S301中两个潜在参数zmn和cmn随机初始化值；
S303、按照S301中的样公式(5)(6)依次采样，更新潜在参数zmn和cmn的值；
S304、将步骤S303重复I0次，完成网络舆情话题识别模型中潜在参数的更新，I0是迭代次数，可自行赋值。
在步骤S4中，基于潜在参数的值获取文本集合D文本文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。具体为：
基于潜在参数的值更新文本集合D中的各个参数的值，根据各个参数的值计算文本集合D文本文本-主题分布，主题-主题词分布，是主题-噪声词分布。计算公式如下：
Figure GDA0004205759110000201
Figure GDA0004205759110000202
Figure GDA0004205759110000203
式(7)(8)(9)中：
θm k表示文本-主题分布；
φk v表示主题-主题词分布；
φ′v表示主题-噪声词分布；
Nm表示第m个用户文本中的单词数；
K表示文本集合D中的主题个数；
V表示文本Dm中的不同词的数量；
Figure GDA0004205759110000211
表示第m个用户文本中被分配到主题k上的单词数；
Figure GDA0004205759110000212
表示当c＝1时，单词v被分配到主题k上的次数；
Figure GDA0004205759110000213
表示当c＝1时，被分配到主题k上的所有单词数；
Figure GDA0004205759110000214
表示噪声词分布生成单词v的次数；
Figure GDA0004205759110000215
表示噪声词分布生成所有词的次数；
α表示狄利克雷分布的超参数；
β和β'表示狄利克雷分布的超参数。
在本发明实施例中，通过Gibbs采样算法获取文本集合中每个单词对应每个主题的概率，从而确定文本对应的主题，进而实现网络舆情话题的发现。对于主题k(k∈{1,2,…,K})，根据φkv(主题-主题词分布)解释该主题实际含义，帮助了解文本中词对应的主题分布，减少了由于噪音词汇对主题分布的影响。
本发明实施例还提供一种基于社交文本的网络舆情话题识别系统，上述系统包括计算机，上述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，上述至少一个存储单元中存储有至少一条指令，上述至少一条指令由上述至少一个处理单元加载并执行以实现以下步骤：
S1、获取多个用户的社交媒体数据的文本集合，并确定文本集合的主题数量；
S2、基于有参贝叶斯模型、文本集合和文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词；
S3、根据贝叶斯准则使用Gibbs采样算法对网络舆情话题识别模型中的潜在参数进行参数估计；
S4、基于潜在参数的值获取文本集合D文本文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。
可理解的是，本发明实施例提供的上述基于社交文本的网络舆情话题识别系统与上述基于社交文本的网络舆情话题识别方法相对应，其有关内容的解释、举例、有益效果等部分可以参考基于社交文本的网络舆情话题识别方法中的相应内容，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
本发明实施例考虑到噪音词对文本话题发现的影响，将生成词中的主题词和生成词的噪声词分开，将噪音词过滤并推断出每个词的主题词分布，从而能准确的判断出生成该词对应的网络舆情话题，提高网络舆情话题识别的准确率，为后续的舆情监测、政府或者相关管理部门舆情引导和个性化营销等实际场景提供准确的数据支持。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于社交文本的网络舆情话题识别方法，其特征在于，所述方法由计算机执行，包括以下步骤：
S1、获取多个用户的社交媒体数据的文本集合，并确定所述文本集合的主题数量，包括：
S101、获取|M|条社交文本构成的文本集合D，记为
Figure FDA0004213436120000011
|M|表示文本集合D中的文本数量，一个用户对应一条文本；
S102、对所述文本集合D进行预处理；
S103、基于预处理后的文本集合D建立向量
Figure FDA0004213436120000012
1≤i≤Nm，用来表示集合D中的第m个用户的文本；Dmi表示第m个用户文本中的第i个词，Nm表示第m个用户文本中的单词数；
S104、确定文本集合D中的主题个数K；
S2、基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词，包括：
S201、基于文本集合D中的K个主题，按照公式(1)进行采样从单词V的狄利克雷分布β中抽取主题k∈{1,2,...,K}的主题词分布
Figure FDA0004213436120000013
和噪声词分布/>
Figure FDA0004213436120000014
Figure FDA0004213436120000015
式(1)中：
β和β'是狄利克雷分布的超参数；
S202、对于每个用户的文本m∈{1,2,...,M}，按照公式(2)建立文本-主题分布，用向量
Figure FDA0004213436120000021
表示；
Figure FDA0004213436120000022
式(2)中：
α是狄利克雷分布的超参数；
Figure FDA0004213436120000023
表示用户文本m中对应的主题分布，服从参数为α的狄利克雷分布；
S203、基于文本的主题分布，利用公式(3)生成主题-单词分布；
Figure FDA0004213436120000024
Figure FDA0004213436120000025
式(3)中：
Figure FDA0004213436120000026
服从参数为γ,γ'的Beta分布，用于选择主题-单词分布，/>
Figure FDA0004213436120000027
与/>
Figure FDA0004213436120000028
构成Beta-Multinomial共轭；
cmn是二元指示变量，服从伯努利分布，决定主题-单词分布的超参数，
Figure FDA0004213436120000029
式(4)中，
zmn服从多项式分布，表示第m条文本的第n个词的主题编号；
当cmn＝1时，表示文本Dm是从主题词分布中生成词wmn的；当cmn＝0时，表示文本Dm是从噪声词分布中生成词wmn的；
S3、根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计，包括：
S301、设计折叠Gibbs采样算法进行近似后验推断，对潜在参数zmn和cmn进行采样，包括：
S30101、基于贝叶斯准则，使用公式(5)计算单词wmn对应主题zmn的后验概率：
Figure FDA0004213436120000031
式(5)中：
z-(mn)指除单词wmn外所有单词对应的主题编号；
Figure FDA0004213436120000032
表示当cmn＝1时，单词v被分配到主题k上的次数；
Figure FDA0004213436120000033
表示当cmn＝1时，被分配到主题k上的所有单词数；
Figure FDA0004213436120000034
表示第m个用户文本中被分配到主题k上的单词数；
所有带有公式-(mn)的计数均表示去除了单词wmn；
γ,γ'表示Beta分布的参数；
S30102、采样二元指示变量cmn，计算条件概率分布，采样二元指示变量cmn，如式(6)，二元指示变量cmn是分布选择器，决定了第m篇文本中，生成第n个词所选择的主题词分布；
Figure FDA0004213436120000035
Figure FDA0004213436120000036
式(6)中：
Figure FDA0004213436120000037
表示所有由噪声词分布生成的单词数，去除单词wmn；
Figure FDA0004213436120000038
表示所有由主题词分布生成的单词数，去除单词wmn；
Figure FDA0004213436120000041
表示噪声词分布生成单词v的次数，去除单词wmn；
Figure FDA0004213436120000042
表示噪声词分布生成所有词的次数，去除单词wmn；
Figure FDA0004213436120000043
表示c＝0时表示所有由噪声词分布生成的单词数，去除单词wmn；c＝1时表示所有由主题词分布生成的单词数，去除单词wmn；
Figure FDA0004213436120000044
表示cmn＝1时，单词v被分配到主题k上的次数，除去单词单词wmn；
Figure FDA0004213436120000045
表示噪声词分布生成所有词的次数；
所有带有公式-(mn)的计数均表示去除了单词wmn；
S302、为S301中两个潜在参数zmn和cmn随机初始化值；
S303、按照S301中的样公式(5)(6)依次采样，更新潜在参数zmn和cmn的值；
S304、将步骤S303重复I0次，完成网络舆情话题识别模型中潜在参数的更新，I0是迭代次数；
S4、基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。
2.如权利要求1所述的基于社交文本的网络舆情话题识别方法，其特征在于，在S4中，所述基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题，包括：
基于所述潜在参数的值更新文本集合中的各个参数的值，根据各个参数的值计算文本集合文本文本-主题分布，主题-主题词分布，是主题-噪声词分布，计算公式如下：
Figure FDA0004213436120000051
Figure FDA0004213436120000052
Figure FDA0004213436120000053
式(7)(8)(9)中：
θmk表示文本-主题分布；
φkv表示主题-主题词分布；
φ′v表示主题-噪声词分布；
Nm表示第m个用户文本中的单词数；
K表示文本集合D中的主题个数；
V表示文本Dm中的不同词的数量；
Figure FDA0004213436120000054
表示第m个用户文本中被分配到主题k上的单词数；
Figure FDA0004213436120000055
表示当c＝1时，单词v被分配到主题k上的次数；
Figure FDA0004213436120000056
表示当c＝1时，被分配到主题k上的所有单词数；
Figure FDA0004213436120000057
表示噪声词分布生成单词v的次数；
Figure FDA0004213436120000058
表示噪声词分布生成所有词的次数；
α表示狄利克雷分布的超参数；
β和β'表示狄利克雷分布的超参数；
通过Gibbs采样算法获取文本集合中每个单词对应每个主题的概率，确定文本对应的主题，实现网络舆情话题的发现。
3.一种基于社交文本的网络舆情话题识别系统，其特征在于，所述系统包括计算机，所述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现以下步骤：
S1、获取多个用户的社交媒体数据的文本集合，并确定所述文本集合的主题数量，包括：
S101、获取|M|条社交文本构成的文本集合D，记为
Figure FDA0004213436120000061
|M|表示文本集合D中的文本数量，一个用户对应一条文本；
S102、对所述文本集合D进行预处理；
S103、基于预处理后的文本集合D建立向量
Figure FDA0004213436120000066
用来表示集合D中的第m个用户的文本；Dmi表示第m个用户文本中的第i个词，Nm表示第m个用户文本中的单词数；
S104、确定文本集合D中的主题个数K；
S2、基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词，包括：
S201、基于文本集合D中的K个主题，按照公式(1)进行采样从单词V的狄利克雷分布β中抽取主题k∈{1,2,...,K}的主题词分布
Figure FDA0004213436120000063
和噪声词分布/>
Figure FDA0004213436120000064
Figure FDA0004213436120000065
式(1)中：
β和β'是狄利克雷分布的超参数；
S202、对于每个用户的文本m∈{1,2,...,M}，按照公式(2)建立文本-主题分布，用向量
Figure FDA0004213436120000071
表示；
Figure FDA0004213436120000072
式(2)中：
α是狄利克雷分布的超参数；
Figure FDA0004213436120000073
表示用户文本m中对应的主题分布，服从参数为α的狄利克雷分布；
S203、基于文本的主题分布，利用公式(3)生成主题-单词分布；
Figure FDA0004213436120000074
Figure FDA0004213436120000075
式(3)中：
Figure FDA0004213436120000076
服从参数为γ,γ'的Beta分布，用于选择主题-单词分布，/>
Figure FDA0004213436120000077
与/>
Figure FDA0004213436120000078
构成Beta-Multinomial共轭；
cmn是二元指示变量，服从伯努利分布，决定主题-单词分布的超参数，
Figure FDA0004213436120000079
式(4)中，
zmn服从多项式分布，表示第m条文本的第n个词的主题编号；
当cmn＝1时，表示文本Dm是从主题词分布中生成词wmn的；当cmn＝0时，表示文本Dm是从噪声词分布中生成词wmn的；
S3、根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计，包括：
S301、设计折叠Gibbs采样算法进行近似后验推断，对潜在参数zmn和cmn进行采样，包括：
S30101、基于贝叶斯准则，使用公式(5)计算单词wmn对应主题zmn的后验概率：
Figure FDA0004213436120000081
式(5)中：
z-(mn)指除单词wmn外所有单词对应的主题编号；
Figure FDA0004213436120000082
表示当cmn＝1时，单词v被分配到主题k上的次数；
Figure FDA0004213436120000083
表示当cmn＝1时，被分配到主题k上的所有单词数；
Figure FDA0004213436120000084
表示第m个用户文本中被分配到主题k上的单词数；
所有带有公式-(mn)的计数均表示去除了单词wmn；
γ,γ'表示Beta分布的参数；
S30102、采样二元指示变量cmn，计算条件概率分布，采样二元指示变量cmn，如式(6)，二元指示变量cmn是分布选择器，决定了第m篇文本中，生成第n个词所选择的主题词分布；
Figure FDA0004213436120000085
Figure FDA0004213436120000086
式(6)中：
Figure FDA0004213436120000091
表示所有由噪声词分布生成的单词数，去除单词wmn；
Figure FDA0004213436120000092
表示所有由主题词分布生成的单词数，去除单词wmn；
Figure FDA0004213436120000093
表示噪声词分布生成单词v的次数，去除单词wmn；
Figure FDA0004213436120000094
表示噪声词分布生成所有词的次数，去除单词wmn；
Figure FDA0004213436120000095
表示c＝0时表示所有由噪声词分布生成的单词数，去除单词wmn；c＝1时表示所有由主题词分布生成的单词数，去除单词wmn；
Figure FDA0004213436120000096
表示cmn＝1时，单词v被分配到主题k上的次数，除去单词单词wmn；
Figure FDA0004213436120000097
表示噪声词分布生成所有词的次数；
所有带有公式-(mn)的计数均表示去除了单词wmn；
S302、为S301中两个潜在参数zmn和cmn随机初始化值；
S303、按照S301中的样公式(5)(6)依次采样，更新潜在参数zmn和cmn的值；
S304、将步骤S303重复I0次，完成网络舆情话题识别模型中潜在参数的更新，I0是迭代次数；
S4、基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。
4.如权利要求3所述的基于社交文本的网络舆情话题识别系统，其特征在于，在S4中，所述基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题，包括：
基于所述潜在参数的值更新文本集合中的各个参数的值，根据各个参数的值计算文本集合文本文本-主题分布，主题-主题词分布，是主题-噪声词分布，计算公式如下：
Figure FDA0004213436120000101
Figure FDA0004213436120000102
Figure FDA0004213436120000103
式(7)(8)(9)中：
θmk表示文本-主题分布；
φkv表示主题-主题词分布；
φ′v表示主题-噪声词分布；
Nm表示第m个用户文本中的单词数；
K表示文本集合D中的主题个数；
V表示文本Dm中的不同词的数量；
Figure FDA0004213436120000104
表示第m个用户文本中被分配到主题k上的单词数；
Figure FDA0004213436120000105
表示当c＝1时，单词v被分配到主题k上的次数；
Figure FDA0004213436120000106
表示当c＝1时，被分配到主题k上的所有单词数；
Figure FDA0004213436120000107
表示噪声词分布生成单词v的次数；
Figure FDA0004213436120000108
表示噪声词分布生成所有词的次数；
α表示狄利克雷分布的超参数；
β和β'表示狄利克雷分布的超参数；
通过Gibbs采样算法获取文本集合中每个单词对应每个主题的概率，确定文本对应的主题，实现网络舆情话题的发现。
CN202010150112.0A 2020-03-06 2020-03-06 基于社交文本的网络舆情话题识别方法和系统 Active CN111506785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010150112.0A CN111506785B (zh) 2020-03-06 2020-03-06 基于社交文本的网络舆情话题识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010150112.0A CN111506785B (zh) 2020-03-06 2020-03-06 基于社交文本的网络舆情话题识别方法和系统

Publications (2)

Publication Number Publication Date
CN111506785A CN111506785A (zh) 2020-08-07
CN111506785B true CN111506785B (zh) 2023-07-07

Family

ID=71877658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010150112.0A Active CN111506785B (zh) 2020-03-06 2020-03-06 基于社交文本的网络舆情话题识别方法和系统

Country Status (1)

Country Link
CN (1) CN111506785B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069394B (zh) * 2020-08-14 2023-09-29 上海风秩科技有限公司 文本信息的挖掘方法及装置
CN112100518B (zh) * 2020-09-21 2023-11-28 之江实验室 一种考虑用户在线关系网络的舆情主题发现方法
CN114003815B (zh) * 2021-11-04 2024-03-29 之江实验室 一种网络舆情主题及其关注用户群体的发现方法
CN116386895B (zh) * 2023-04-06 2023-11-28 之江实验室 基于异构图神经网络的流行病舆情实体识别方法与装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808008A (zh) * 2017-11-17 2018-03-16 合肥工业大学 一种考虑用户特征信息的主题‑情感联合建模方法
CN110457711A (zh) * 2019-08-20 2019-11-15 电子科技大学 一种基于主题词的社交媒体事件主题识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8549016B2 (en) * 2008-11-14 2013-10-01 Palo Alto Research Center Incorporated System and method for providing robust topic identification in social indexes
CN102439597B (zh) * 2011-07-13 2014-12-24 华为技术有限公司 基于潜在狄利克雷模型的参数推断方法、计算装置及系统
US9466071B2 (en) * 2011-11-16 2016-10-11 Yahoo! Inc. Social media user recommendation system and method
US20150193482A1 (en) * 2014-01-07 2015-07-09 30dB, Inc. Topic sentiment identification and analysis
US10339160B2 (en) * 2015-10-29 2019-07-02 Qualtrics, Llc Organizing survey text responses
CN106844424B (zh) * 2016-12-09 2020-11-03 宁波大学 一种基于lda的文本分类方法
US10671936B2 (en) * 2017-04-06 2020-06-02 Universite Paris Descartes Method for clustering nodes of a textual network taking into account textual content, computer-readable storage device and system implementing said method
CN107798043B (zh) * 2017-06-28 2022-05-03 贵州大学 基于狄利克雷多项混合模型的长文本辅助短文本的文本聚类方法
CN110046228B (zh) * 2019-04-18 2021-06-11 合肥工业大学 短文本主题识别方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808008A (zh) * 2017-11-17 2018-03-16 合肥工业大学 一种考虑用户特征信息的主题‑情感联合建模方法
CN110457711A (zh) * 2019-08-20 2019-11-15 电子科技大学 一种基于主题词的社交媒体事件主题识别方法

Also Published As

Publication number Publication date
CN111506785A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111506785B (zh) 基于社交文本的网络舆情话题识别方法和系统
Ilie et al. Context-aware misinformation detection: A benchmark of deep learning architectures using word embeddings
CN109036577B (zh) 糖尿病并发症分析方法及装置
CN111966878B (zh) 基于机器学习的舆情事件反转检测方法
Miok et al. Prediction uncertainty estimation for hate speech classification
CN111709225B (zh) 一种事件因果关系判别方法、装置和计算机可读存储介质
Balli et al. Sentimental analysis of Twitter users from Turkish content with natural language processing
CN112836750A (zh) 一种系统资源分配方法、装置及设备
Woltmann et al. Tracing university–industry knowledge transfer through a text mining approach
CN114048729A (zh) 医学文献评价方法、电子设备、存储介质和程序产品
Islam et al. Deep learning for multi-labeled cyberbully detection: Enhancing online safety
CN114742319A (zh) 法考客观题成绩预测方法、系统及存储介质
Syahputra et al. Comparison of Support Vector Machine (SVM) and Random Forest Algorithm for Detection of Negative Content on Websites
CN114416991A (zh) 一种基于prompt的文本情感原因分析方法和系统
Qutab et al. Sentiment classification using multinomial logistic regression on Roman Urdu text
CN116304728A (zh) 一种基于句子表征的短文本相似度匹配方法及应用
CN115660060A (zh) 一种模型训练方法以及检测方法、装置、设备及存储介质
CN108733824B (zh) 考虑专家知识的交互式主题建模方法及装置
CN112766494A (zh) 一种预训练模型知识蒸馏的安全性评估方法
CN112348257A (zh) 一种多源数据融合与时序分析驱动的选举预测方法
CN117932073B (zh) 一种基于提示工程的弱监督文本分类方法及系统
Narmadha et al. Recognizing eminent players from the Indian Premier League using CNN model
CN115186597B (zh) 基于迁移学习的旋转多组件退化耦合影响评估方法及系统
CN116227598B (zh) 一种基于双阶段注意力机制的事件预测方法、设备及介质
CN113705873B (zh) 影视作品评分预测模型的构建方法及评分预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant