CN113849598A - 基于深度学习的社交媒体虚假信息检测方法及检测系统 - Google Patents

基于深度学习的社交媒体虚假信息检测方法及检测系统 Download PDF

Info

Publication number
CN113849598A
CN113849598A CN202111016642.7A CN202111016642A CN113849598A CN 113849598 A CN113849598 A CN 113849598A CN 202111016642 A CN202111016642 A CN 202111016642A CN 113849598 A CN113849598 A CN 113849598A
Authority
CN
China
Prior art keywords
model
network
information detection
text
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111016642.7A
Other languages
English (en)
Other versions
CN113849598B (zh
Inventor
姚涛
李烁
闫连山
蒲桂东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai New Generation Information Technology Research Institute Of Southwest Jiaotong University
Aidian Shandong Technology Co ltd
Ludong University
Original Assignee
Yantai New Generation Information Technology Research Institute Of Southwest Jiaotong University
Aidian Shandong Technology Co ltd
Ludong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai New Generation Information Technology Research Institute Of Southwest Jiaotong University, Aidian Shandong Technology Co ltd, Ludong University filed Critical Yantai New Generation Information Technology Research Institute Of Southwest Jiaotong University
Priority to CN202111016642.7A priority Critical patent/CN113849598B/zh
Publication of CN113849598A publication Critical patent/CN113849598A/zh
Application granted granted Critical
Publication of CN113849598B publication Critical patent/CN113849598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于深度学习的社交媒体虚假信息检测方法及检测系统，通过采集社交媒体信息中的图像和文本数据，使用深度学习模型提取图像和文本的特征，利用分类模型检测信息的真实性。与现有的社交媒体虚假信息检测方法相比，本发明能充分提取社交媒体虚假信息中图像和文本的深层语义特征，通过卷积神经网络融合不同模态的特征，并使用域自适应网络移除不同事件特有的特征，增强虚假信息检测的鲁棒性。本发明能有效地提高社交媒体虚假信息检测的准确性。

Description

基于深度学习的社交媒体虚假信息检测方法及检测系统
技术领域
本发明属于信息技术领域，具体涉及基于深度学习的社交媒体虚假信息检测方法及检测系统。
背景技术
随着我国经济发展和人民生活水平提升，互联网迅速普及到千家万户。截至2020年12月，我国网民规模达9.89亿，手机网民规模达9.86亿，互联网普及率达70.4%。微博、博客、论坛、播客等社交媒体已经成为大众获取实时信息、分享意见、发表观点的主要工具和平台。然而，随着越来越多的人热衷于在社交媒体上参与讨论热点话题，各种虚假信息也随之出现。群众的大量参与和网络社交媒体的实时更新，在带来高速信息流的同时也加速了虚假信息的传播。由于网络社交媒体使用门槛低，虚假信息普遍传播迅速，容易给公众带来困惑和不安，虚假信息甚至造成巨大的社会和经济损失。
现有的社交媒体虚假信息检测方法大多采用统计学或浅层的机器学习方法来实现。例如使用随机森林、支持向量机、回归模型等。随着虚假信息内容的复杂性越来越高，现有方法的检测准确率很难满足需求。其次，虚假信息检测的主要难点之一是训练数据集不涵盖新出现的事件，现有方法在新出现事件上的识别效果较差。此外，现有的方法大多只能检测单一语言的社交媒体平台。
发明内容
针对现有技术中的问题，本发明提供基于深度学习的社交媒体虚假信息检测方法及检测系统，通过提取社交媒体信息中图片和文本数据的语义特征，使用神经网络融合多模态的特征，利用虚假信息检测模型检测社交媒体信息的真实性，并通过域自适应网络模型提升检测的准确性。
为实现上述目的，本发明是通过以下技术方案实现的：
本发明提供基于深度学习的社交媒体虚假信息检测方法，其特殊之处在于：通过提取网络社交媒体信息中图片和文本数据的语义特征，使用多模态融合网络的特征，利用虚假信息检测模型检测社交媒体信息的真实性，并通过域自适应网络模型提升检测的准确性，具体按照以下步骤进行检测；
步骤1）信息收集：分别采集网络社交媒体中真实信息和虚假信息的原始图像和文本数据；
步骤2）在多模态融合网络中对步骤1中的原始图像和文本数据分别形成图像特征、文本统计特征、整句语义特征，并将图像特征、文本统计特征、整句语义特征形成三维特征向量，构建多模态融合特征；
步骤2.1）使用在ImageNet图像数据集上预训练的卷积神经网络VGG19提取图像特征
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE004
为提取出的图像特征，
Figure DEST_PATH_IMAGE006
为实数矩阵，
Figure DEST_PATH_IMAGE008
为实数矩阵
Figure DEST_PATH_IMAGE009
的维度；
步骤2.1）使用在ImageNet图像数据集上预训练的卷积神经网络VGG19提取图像特征
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
为提取出的图像特征，
Figure DEST_PATH_IMAGE012
为实数矩阵，
Figure DEST_PATH_IMAGE013
为实数矩阵
Figure DEST_PATH_IMAGE014
的维度；
步骤2.2）使用结巴分词模块分割文本语句，将语句按照词性分割成一组单词，然后使用在相同语种上预训练的词嵌入模型提取单词序列中的文本统计特征
Figure DEST_PATH_IMAGE016
,
Figure DEST_PATH_IMAGE018
为提取出的文本统计特征，
Figure DEST_PATH_IMAGE019
为实数矩阵，
Figure DEST_PATH_IMAGE021
为实数矩阵
Figure 204516DEST_PATH_IMAGE019
的维度；
步骤2.3）使用多语言预训练的BERT模型提取文本的整句语义特征
Figure DEST_PATH_IMAGE023
；
Figure DEST_PATH_IMAGE025
为提取出的整句语义特征，
Figure DEST_PATH_IMAGE026
为实数矩阵，
Figure DEST_PATH_IMAGE027
为实数矩阵
Figure 740802DEST_PATH_IMAGE026
的维度；
步骤2.4）将步骤2.1至步骤2.3中提取出的图像特征、文本统计特征、整句语义特征堆叠成三维特征向量
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE031
为三维特征向量，
Figure 666033DEST_PATH_IMAGE019
为实数矩阵，
Figure DEST_PATH_IMAGE032
为实数矩阵
Figure 296865DEST_PATH_IMAGE019
的维度；
步骤2.5）使用轻量化的深度卷积神经网络MoibleNet模型融合步骤2.4中的三维特征向量
Figure DEST_PATH_IMAGE033
，得到每条信息的多模态融合特征
Figure DEST_PATH_IMAGE035
，
Figure DEST_PATH_IMAGE037
为多模态融合特征，
Figure DEST_PATH_IMAGE039
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 155100DEST_PATH_IMAGE033
为步骤2.4中获得的三维特征向量，
Figure DEST_PATH_IMAGE041
为深度卷积神经网络MoibleNet模型的网络参数；
步骤3）构建虚假信息检测模型，该模型由一层隐藏层组成，输入为网络社交媒体信息的多模态融合特征
Figure DEST_PATH_IMAGE042
，输出为该信息的真实度；
步骤4）构建域自适应网络模型，该模型由一个梯度翻转层和两层隐藏层组成，输入为网络社交媒体信息的多模态融合特征
Figure DEST_PATH_IMAGE043
，输出为该信息所属的事件分类；
步骤5）将步骤2.5的所有多模态融合特征
Figure 626402DEST_PATH_IMAGE042
的样本随机划分为训练样本集和测试样本集，训练样本集用于训练虚假信息检测模型和域自适应网络模型的参数，测试样本集用于测试训练好的虚假信息检测模型的性能；
步骤6）利用步骤5中训练好的虚假信息检测模型对测试数据进行真实性检测。
进一步的，在步骤2.2中，在词嵌入模型中，使用在相同语种数据集上预先训练的单词嵌入提取器来生成每个单词的特征向量，每个单词的特征向量可以表示为
Figure DEST_PATH_IMAGE045
，
Figure DEST_PATH_IMAGE047
为单词的特征向量，
Figure DEST_PATH_IMAGE049
为实数矩阵，k为矩阵
Figure DEST_PATH_IMAGE050
的维度；一个具有n个单词的句子可以表示为：
Figure DEST_PATH_IMAGE052
，
Figure DEST_PATH_IMAGE054
代表一个句子的特征向量，n代表句子中单词的数量，
Figure 976611DEST_PATH_IMAGE050
为实数矩阵，
Figure DEST_PATH_IMAGE056
为矩阵
Figure 739031DEST_PATH_IMAGE049
的维度；
滑动抓取句子中h个连续单词，并使用ReLU激活函数的卷积滤波器来提取这h个单词的特征；然后得到该句文本在视野为h下的一个特征向量：
Figure DEST_PATH_IMAGE058
，通过更改视野大小h的值能够提取一句文本具有不同视野大小的特征向量；
使用不同大小的h，能够生成不同的过滤器和不同的特征向量，然后使用最大化池化函数，得到了最终的文本统计特征表示：
Figure DEST_PATH_IMAGE060
，
Figure DEST_PATH_IMAGE062
为提取出的文本统计特征，
Figure 74941DEST_PATH_IMAGE049
为实数矩阵，
Figure DEST_PATH_IMAGE063
为实数矩阵
Figure DEST_PATH_IMAGE064
的维度。
进一步的，在步骤2.3中使用文本标识化器将文本信息分割为单词列表，然后使用多语言预训练的BERT模型来提取该文本信息的语义特征，选择BERT模型中最后一个维度为768×1的隐藏层参数作为文本的语义特征
Figure DEST_PATH_IMAGE066
，
Figure DEST_PATH_IMAGE068
为提取出的语义特征，
Figure 467876DEST_PATH_IMAGE049
为实数矩阵，
Figure DEST_PATH_IMAGE069
为实数矩阵
Figure 367699DEST_PATH_IMAGE064
的维度。
进一步的，在步骤3中，构建虚假信息检测模型时，虚假信息检测模型在训练过程中按照深度学习自身的计算机制更新网络参数；
模型的计算机制公式如下：
Figure DEST_PATH_IMAGE071
其中：
Figure DEST_PATH_IMAGE073
代表虚假信息检测模型的网络结构，
Figure DEST_PATH_IMAGE075
代表虚假信息检测模型的网络参数，
Figure DEST_PATH_IMAGE077
为深度卷积神经网络MoibleNet模型的网络结构，
Figure DEST_PATH_IMAGE079
为步骤2.4中获得第i个信息对应的三维特征向量，
Figure DEST_PATH_IMAGE081
为深度卷积神经网络MoibleNet模型的网络参数；输出
Figure DEST_PATH_IMAGE083
代表信息的真实性概率，该概率取值的范围为0%—100%；
虚假信息检测模型识别一条信息的真实性，使用y来表示信息的真实度，并使用交叉熵函数来计算检测损失：
Figure DEST_PATH_IMAGE085
其中
Figure DEST_PATH_IMAGE087
表示虚假信息检测模型训练过程中的损失值，
Figure DEST_PATH_IMAGE089
表示交叉熵函数，
Figure DEST_PATH_IMAGE091
表示步骤2.4中获得的所有三维特征向量，
Figure DEST_PATH_IMAGE093
为步骤2.4中获得第i个信息对应的的三维特征向量，
Figure DEST_PATH_IMAGE095
为虚假信息检测模型的真实性概率计算公式。
进一步的，构建域自适应网络模型时使用
Figure DEST_PATH_IMAGE097
来表示信息的事件分类，并使用交叉熵函数来计算分类损失，域自适应网络模型在训练过程中按照深度学习自身的计算机制更新网络参数：
Figure DEST_PATH_IMAGE099
其中
Figure DEST_PATH_IMAGE101
表示域自适应网络模型训练过程中的损失值，
Figure DEST_PATH_IMAGE102
表示交叉熵函数，
Figure DEST_PATH_IMAGE103
表示步骤2.4中获得的所有三维特征向量，K为所有事件分类的数量，
Figure DEST_PATH_IMAGE105
为域自适应网络模型的网络结构，
Figure DEST_PATH_IMAGE107
为深度卷积神经网络MoibleNet模型的网络结构，
Figure DEST_PATH_IMAGE109
为步骤2.4中获得第i个信息对应的的三维特征向量，
Figure DEST_PATH_IMAGE111
为深度卷积神经网络MoibleNet模型的网络参数，
Figure DEST_PATH_IMAGE113
为域自适应网络模型的网络参数；
损失
Figure 278018DEST_PATH_IMAGE101
用来计算不同事件之间的差异，通过找到最优参数
Figure 720631DEST_PATH_IMAGE111
来最大化
Figure 346785DEST_PATH_IMAGE101
的分类损失。
进一步的，将步骤2.5的所有多模态融合特征样本随机划分为训练样本集和测试样本集，利用训练样本集训练虚假信息检测模型和域自适应网络模型的训练过程中，虚假信息检测模型需要最小化损失
Figure DEST_PATH_IMAGE115
来提升模型的准确率，而域自适应网络模型需要最大化损失
Figure DEST_PATH_IMAGE117
来获取通用的事件特征；总体损失的公式如下：
Figure DEST_PATH_IMAGE119
在模型训练过程中，参数的更新方式如下：
Figure DEST_PATH_IMAGE121
其中，
Figure DEST_PATH_IMAGE123
为总体损失，
Figure DEST_PATH_IMAGE125
表示虚假信息检测模型训练过程中的损失值，
Figure DEST_PATH_IMAGE127
表示域自适应网络模型训练过程中的损失值，
Figure DEST_PATH_IMAGE129
为深度卷积神经网络MoibleNet模型的网络参数，
Figure DEST_PATH_IMAGE131
代表虚假信息检测模型的网络参数，
Figure DEST_PATH_IMAGE133
为域自适应网络模型的网络参数，
Figure DEST_PATH_IMAGE135
为常量参数。
本发明还提供基于深度学习的社交媒体虚假信息检测系统，其特殊之处在于：
包括多模态融合网络、域自适应网络模型、虚假信息检测模型，其中多模态融合网络包括卷积神经网络VGG19模型、词嵌入模型、BERT模型、深度卷积神经网络MoibleNet模型，卷积神经网络VGG19模型用于提取图像特征
Figure DEST_PATH_IMAGE137
，词嵌入模型提取词组序列中的文本统计特征
Figure DEST_PATH_IMAGE139
，BERT模型提取文本的整句语义特征
Figure DEST_PATH_IMAGE141
，深度卷积神经网络MoibleNet模型用于融合图像特征、文本统计特征、整句语义特征堆叠成三维特征向量，形成多模态融合特征；
域自适应网络模型接收网络社交媒体信息的多模态融合特征
Figure DEST_PATH_IMAGE143
，输出为网络社交媒体信息的多模态融合特征
Figure 389696DEST_PATH_IMAGE143
，输出为该信息所属的事件分类；
虚假信息检测模型接收网络社交媒体信息的多模态融合特征
Figure DEST_PATH_IMAGE144
，输出网络社交媒体信息的真实度。
进一步的，在该系统的词嵌入模型中，使用在相同语种数据集上预先训练的单词嵌入提取器来生成每个单词的特征向量，每个单词的特征向量可以表示为
Figure 493918DEST_PATH_IMAGE045
，
Figure 804420DEST_PATH_IMAGE047
为单词的特征向量，
Figure 601475DEST_PATH_IMAGE049
为实数矩阵，k为矩阵
Figure 210311DEST_PATH_IMAGE050
的维度；一个具有n个单词的句子可以表示为：
Figure 914962DEST_PATH_IMAGE052
，
Figure 925643DEST_PATH_IMAGE054
代表一个句子的特征向量，n代表句子中单词的数量，
Figure 893599DEST_PATH_IMAGE050
为实数矩阵，
Figure DEST_PATH_IMAGE145
为矩阵
Figure 396256DEST_PATH_IMAGE049
的维度；
滑动抓取句子中h个连续单词，并使用ReLU激活函数的卷积滤波器来提取这h个单词的特征；然后得到该句文本在视野为h下的一个特征向量：
Figure DEST_PATH_IMAGE146
。通过更改视野大小h的值能够提取一句文本具有不同视野大小的特征向量；
使用不同大小的h，能够生成不同的过滤器和不同的特征向量，然后使用最大化池化函数，得到了最终的文本统计特征表示：
Figure 842281DEST_PATH_IMAGE060
，
Figure 504206DEST_PATH_IMAGE062
为提取出的文本统计特征，
Figure 643063DEST_PATH_IMAGE049
为实数矩阵，
Figure 226492DEST_PATH_IMAGE063
为实数矩阵
Figure 131999DEST_PATH_IMAGE064
的维度。
进一步的，在该系统的BERT模型中，使用文本标识化器将文本信息分割为单词列表，然后使用多语言预训练的BERT模型来提取该文本信息的语义特征，选择BERT模型中最后一个维度为768×1的隐藏层参数作为文本的语义特征
Figure DEST_PATH_IMAGE147
，
Figure 117273DEST_PATH_IMAGE068
为提取出的语义特征，
Figure 958190DEST_PATH_IMAGE049
为实数矩阵，
Figure 28914DEST_PATH_IMAGE032
为实数矩阵
Figure 82321DEST_PATH_IMAGE064
的维度。
进一步的，该系统的虚假信息检测模型由一层隐藏层组成，输入为社交媒体信息的多模态融合特征，输出为该信息的真实度，虚假信息检测模型在训练过程中按照深度学习自身的计算机制更新网络参数；模型的公式如下：
Figure 922101DEST_PATH_IMAGE071
其中：
Figure 809286DEST_PATH_IMAGE073
代表虚假信息检测模型的网络结构，
Figure 101727DEST_PATH_IMAGE075
代表虚假信息检测模型的网络参数，
Figure 958824DEST_PATH_IMAGE077
为深度卷积神经网络MoibleNet模型的网络结构，
Figure DEST_PATH_IMAGE148
为获得第i个信息对应的三维特征向量，
Figure 341526DEST_PATH_IMAGE081
为深度卷积神经网络MoibleNet模型的网络参数；输出
Figure 993087DEST_PATH_IMAGE083
代表信息的真实性概率，该概率取值的范围为0%—100%。
虚假信息检测模型旨在用于识别一条信息的真实性。使用y来表示信息的真实度，并使用交叉熵函数来计算检测损失：
Figure DEST_PATH_IMAGE149
其中
Figure 38404DEST_PATH_IMAGE087
表示虚假信息检测模型训练过程中的损失值，
Figure 964772DEST_PATH_IMAGE089
表示交叉熵函数，
Figure 513565DEST_PATH_IMAGE091
表示获得的所有三维特征向量，
Figure 601606DEST_PATH_IMAGE093
为获得第i个信息对应的的三维特征向量，
Figure 275164DEST_PATH_IMAGE095
为虚假信息检测模型的真实性概率计算公式。
进一步的，该系统的域自适应网络模型由一个梯度翻转层和两层隐藏层组成，输入为社交媒体信息的多模态融合特征，输出为该信息所属的事件分类。使用
Figure 208485DEST_PATH_IMAGE097
来表示信息的事件分类，并使用交叉熵函数来计算分类损失，域自适应网络模型在训练过程中按照深度学习自身的计算机制更新网络参数：
Figure DEST_PATH_IMAGE150
其中
Figure DEST_PATH_IMAGE151
表示域自适应网络模型训练过程中的损失值，
Figure 408522DEST_PATH_IMAGE102
表示交叉熵函数，
Figure DEST_PATH_IMAGE152
表示获得的所有三维特征向量，K为所有事件分类的数量，
Figure 667465DEST_PATH_IMAGE105
为域自适应网络模型的网络结构，
Figure 812008DEST_PATH_IMAGE107
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 814599DEST_PATH_IMAGE109
为获得第i个信息对应的的三维特征向量，
Figure 337984DEST_PATH_IMAGE111
为深度卷积神经网络MoibleNet模型的网络参数，
Figure 33408DEST_PATH_IMAGE113
为域自适应网络模型的网络参数。
损失
Figure 275033DEST_PATH_IMAGE101
可以用来计算不同事件之间的差异。较大的损失意味着不同事件的表示是相似的，但模型需要学习事件的不变特征。因此，为了消除不同事件的唯一性，需要通过找到最优参数
Figure 815736DEST_PATH_IMAGE111
来最大化
Figure 193628DEST_PATH_IMAGE101
的分类损失。
进一步的，所有多模态融合特征样本按照9:1的比例随机划分为训练样本集和测试样本集，利用训练样本集训练虚假信息检测模型和域自适应网络模型；在模型的训练过程中，虚假信息检测模型需要最小化损失
Figure DEST_PATH_IMAGE153
来提升模型的准确率，而域自适应网络模型需要最大化损失
Figure 200898DEST_PATH_IMAGE117
来获取通用的事件特征。总体损失的公式如下：
Figure DEST_PATH_IMAGE154
在模型训练过程中，参数的更新方式如下：
Figure 195399DEST_PATH_IMAGE121
其中，
Figure 539792DEST_PATH_IMAGE123
为总体损失，
Figure 37770DEST_PATH_IMAGE125
表示虚假信息检测模型训练过程中的损失值，
Figure 709884DEST_PATH_IMAGE127
表示域自适应网络模型训练过程中的损失值，
Figure 926101DEST_PATH_IMAGE129
为深度卷积神经网络MoibleNet模型的网络参数，
Figure 808607DEST_PATH_IMAGE131
代表虚假信息检测模型的网络参数，
Figure DEST_PATH_IMAGE155
为域自适应网络模型的网络参数，
Figure 692249DEST_PATH_IMAGE135
为常量参数。
本发明与现有技术相比，其有益之处在于：
1、使用BERT模型提取文本信息的整句语义能获得更丰富的文本特征：
当某些热点事件发生时，公众会在社交媒体平台上大量转发同一张图片并配以自己的评论。这就意味着在判断信息的真实性时，文本中的信息比图片中的信息更重要。现有的社交媒体虚假信息检测方法，通常只采用Word2vec词嵌入模型等方法提取文本数据的数学统计特征，无法获取到用户的语义和情感信息。本发明使用多语言预训练的BERT模型处理文本信息，可以有效地提取文本中的语义信息。
2、使用卷积神经网络融合不同模态的特征，更好的利用图片和文本的语义联系：
现有的社交媒体虚假信息检测方法，在连接不同模态的特征向量时，大多采用直接连接的方法。由于图片和文本存在语义差异的问题，直接连接文本和图片的特征向量无法有效地将文本和图像中的特征结合起来。为此，本发明将提取的图像特征、文本统计特征、整句语义特征堆叠成三维向量，使用卷积神经网络从三维向量中提取融合特征，能有效地利用图片和文本之间的语义联系。
3、使用域自适应网络模型，移除不同事件信息的独有特征，有助于提高虚假信息检测的准确性：
社交媒体虚假信息检测的主要难点之一是训练数据集不涵盖新出现的事件，虚假信息检测模型只能帮助检测训练集上的虚假信息。因此，在不同事件的信息中提取更多的共享特征可以帮助模型学习到所有事件中的共同特征。为了实现这一目标，应计算不同事件之间的特征差异，并消除每个事件的独有特征。
附图说明
图1为本发明的原理示意图。
图2为卷积神经网络VGG19模型的结构图。
图3为BERT模型的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
实施例1
本发明采用以下技术方案实现，参考图1-图3，以社交媒体信息中的马航M370事件为例对本发明技术方案进行详细介绍，本申请通过提取社交媒体信息中图片和文本数据的语义特征，采集有关马航M370事件信息的文本和图像数据后，使用神经网络融合多模态的特征，利用虚假信息检测模型检测社交媒体信息的真实性，并通过域自适应网络模型提升检测的准确性，本申请提供的基于深度学习的社交媒体虚假信息检测系统包括多模态融合网络、域自适应网络模型、虚假信息检测模型，其中多模态融合网络包括卷积神经网络VGG19模型、词嵌入模型、BERT模型、深度卷积神经网络MoibleNet模型，卷积神经网络VGG19模型用于提取图像特征
Figure DEST_PATH_IMAGE156
，词嵌入模型提取词组序列中的文本统计特征
Figure 369218DEST_PATH_IMAGE139
，BERT模型提取文本的整句语义特征
Figure 807153DEST_PATH_IMAGE141
，MoibleNet模型用于融合图像特征、文本统计特征、整句语义特征堆叠成三维特征向量，形成多模态融合特征；
域自适应网络模型接收网络社交媒体信息的多模态融合特征
Figure 899873DEST_PATH_IMAGE144
，输出为网络社交媒体信息的多模态融合特征
Figure 106864DEST_PATH_IMAGE144
，输出为该信息所属的事件分类；
虚假信息检测模型接收网络社交媒体信息的多模态融合特征
Figure 220313DEST_PATH_IMAGE144
，输出网络社交媒体信息的真实度。
本申请的基于深度学习的社交媒体虚假信息检测系统具体按照以下步骤对马航M370事件信息进行检测：
步骤1）分别采集网络社交媒体中真实信息和虚假信息的原始图像和文本数据，本实施例的原始图像为马航事件相关的图片信息，文本数据，比如“M370终于被找到了”，带有马航飞机相关的图片。
步骤2）在多模态融合网络中对步骤1中的原始图像和文本数据分别形成图像特征、文本统计特征、整句语义特征，并将图像特征、文本统计特征、整句语义特征形成三维特征向量，构建多模态融合特征。
在构建多模态融合特征时按照如下过程进行：
步骤2.1）使用在ImageNet图像数据集上预训练的卷积神经网络VGG19模型提取图像特征
Figure 676703DEST_PATH_IMAGE002
，
Figure 901011DEST_PATH_IMAGE011
为提取出的图像特征，
Figure 228087DEST_PATH_IMAGE006
为实数矩阵，
Figure DEST_PATH_IMAGE157
为实数矩阵
Figure DEST_PATH_IMAGE158
的维度；为了防止VGG19模型过拟合，在特征提取过程冻结了VGG19模型的所有网络层权重参数，m、n均为自然数，本实施例的图像特征大小为4096×1。
步骤2.2）使用结巴分词模块分割文本语句，将语句按照词性分割成一组单词，此处的词性为名词、动词、形容词等，然后使用在相同语种上预训练的词嵌入模型提取单词序列中的文本统计特征
Figure DEST_PATH_IMAGE159
,
Figure DEST_PATH_IMAGE160
为提取出的文本统计特征，
Figure DEST_PATH_IMAGE161
为实数矩阵，
Figure 699388DEST_PATH_IMAGE021
为实数矩阵
Figure 846336DEST_PATH_IMAGE161
的维度，m、n均为自然数，本实施例的文本统计特征大小为768×1。
在词嵌入模型中，使用在相同语种数据集上预先训练的单词嵌入提取器来生成每个单词的特征向量，每个单词的特征向量可以表示为
Figure 280859DEST_PATH_IMAGE045
，
Figure 462442DEST_PATH_IMAGE047
为单词的特征向量，
Figure 917694DEST_PATH_IMAGE049
为实数矩阵，k为矩阵
Figure 348675DEST_PATH_IMAGE050
的维度。一个具有n个单词的句子可以表示为：
Figure 914786DEST_PATH_IMAGE052
，
Figure 950875DEST_PATH_IMAGE054
代表一个句子的特征向量，n代表句子中单词的数量，n为自然数，
Figure 577028DEST_PATH_IMAGE050
为实数矩阵，
Figure DEST_PATH_IMAGE162
为矩阵
Figure 855825DEST_PATH_IMAGE049
的维度。
滑动抓取句子中h个连续单词，并使用ReLU激活函数的卷积滤波器来提取这h个单词的特征；然后得到该句文本在视野为h下的一个特征向量：
Figure 225627DEST_PATH_IMAGE146
。通过更改视野大小h的值能够提取一句文本具有不同视野大小的特征向量。
使用不同大小的h，能够生成不同的过滤器和不同的特征向量，然后使用最大化池化函数，得到了最终的文本统计特征表示：
Figure 912960DEST_PATH_IMAGE060
，
Figure 710015DEST_PATH_IMAGE062
为提取出的文本统计特征，
Figure 318851DEST_PATH_IMAGE049
为实数矩阵，
Figure 226764DEST_PATH_IMAGE063
为实数矩阵
Figure 643970DEST_PATH_IMAGE064
的维度。
步骤2.3）使用文本标识化器将文本信息分割为单词列表，然后使用多语言预训练的BERT模型来提取该文本信息的语义特征，选择BERT模型中最后一个维度为768×1的隐藏层参数作为文本的语义特征
Figure 611926DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE163
为提取出的语义特征，
Figure 239216DEST_PATH_IMAGE026
为实数矩阵，
Figure 950820DEST_PATH_IMAGE027
为实数矩阵
Figure 81587DEST_PATH_IMAGE026
的维度，本实施例的文本语义特征大小为768×1。
步骤2.4）将步骤2.1至步骤2.3中提取出的图像特征、文本统计特征、整句语义特征堆叠成三维特征向量
Figure 876237DEST_PATH_IMAGE029
，本实施例中形成的三维向量特征矩阵大小32×32×3。
步骤2.5）使用轻量化的深度卷积神经网络MoibleNet模型融合步骤2.4中的三维特征向量，得到每条信息的多模态融合特征
Figure 194086DEST_PATH_IMAGE035
，
Figure DEST_PATH_IMAGE164
为多模态融合特征，
Figure DEST_PATH_IMAGE165
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 240539DEST_PATH_IMAGE033
为步骤2.4中获得的三维特征向量，
Figure DEST_PATH_IMAGE166
为深度卷积神经网络MoibleNet模型的网络参数。
步骤3）构建虚假信息检测模型，模型由一层隐藏层组成，输入为社交媒体信息的多模态融合特征，输出为该信息的真实度，虚假信息检测模型在训练过程中按照深度学习自身的计算机制更新网络参数。
模型的公式如下：
Figure 225813DEST_PATH_IMAGE071
其中：
Figure 942096DEST_PATH_IMAGE073
代表虚假信息检测模型的网络结构，
Figure 747241DEST_PATH_IMAGE075
代表虚假信息检测模型的网络参数，
Figure 800647DEST_PATH_IMAGE077
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 171586DEST_PATH_IMAGE148
为步骤2.4中获得第i个信息对应的三维特征向量，
Figure 652246DEST_PATH_IMAGE081
为深度卷积神经网络MoibleNet模型的网络参数。输出
Figure 210266DEST_PATH_IMAGE083
代表信息的真实性概率，该概率取值的范围为0%—100%。
虚假信息检测模型旨在识别一条信息的真实性。使用y来表示信息的真或假，并使用交叉熵函数来计算检测损失：
Figure DEST_PATH_IMAGE167
其中
Figure 956112DEST_PATH_IMAGE087
表示虚假信息检测模型训练过程中的损失值，
Figure DEST_PATH_IMAGE168
表示交叉熵函数，
Figure 915978DEST_PATH_IMAGE091
表示步骤2.4中获得的所有三维特征向量，
Figure 98697DEST_PATH_IMAGE093
为步骤2.4中获得第i个信息对应的的三维特征向量，
Figure DEST_PATH_IMAGE169
为虚假信息检测模型的真实性概率计算公式。
步骤4）构建域自适应网络模型，模型由一个梯度翻转层和两层隐藏层组成，输入为社交媒体信息的多模态融合特征，输出为该信息所属的事件分类。使用
Figure 878434DEST_PATH_IMAGE097
来表示信息的事件分类，并使用交叉熵函数来计算分类损失，域自适应网络模型在训练过程中按照深度学习自身的计算机制更新网络参数：
Figure 273644DEST_PATH_IMAGE150
其中
Figure 494541DEST_PATH_IMAGE101
表示域自适应网络模型训练过程中的损失值，
Figure 317003DEST_PATH_IMAGE102
表示交叉熵函数，
Figure 115195DEST_PATH_IMAGE103
表示步骤2.4中获得的所有三维特征向量，K为所有事件分类的数量，
Figure 314095DEST_PATH_IMAGE105
为域自适应网络模型的网络结构，
Figure 982974DEST_PATH_IMAGE107
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 976338DEST_PATH_IMAGE109
为步骤2.4中获得第i个信息对应的的三维特征向量，
Figure 386459DEST_PATH_IMAGE111
为深度卷积神经网络MoibleNet模型的网络参数，
Figure 389050DEST_PATH_IMAGE113
为域自适应网络模型的网络参数。
损失
Figure 912435DEST_PATH_IMAGE101
可以用来计算不同事件之间的差异。较大的损失意味着不同事件的表示是相似的，但模型需要学习事件的不变特征。因此，为了消除不同事件的唯一性，需要通过找到最优参数
Figure 76701DEST_PATH_IMAGE111
来最大化
Figure 849485DEST_PATH_IMAGE101
的分类损失。
步骤5）将步骤2.5的所有多模态融合特征样本按照9:1的比例随机划分为训练样本集和测试样本集，利用训练样本集训练虚假信息检测模型和域自适应网络模型，比例还可以选择如8:2、7:3等，比例的选取随机。
在模型的训练过程中，虚假信息检测模型需要最小化损失
Figure 390187DEST_PATH_IMAGE153
来提升模型的准确率，而域自适应网络模型需要最大化损失
Figure 768079DEST_PATH_IMAGE117
来获取通用的事件特征。
总体损失的公式如下：
Figure 775349DEST_PATH_IMAGE154
在模型训练过程中，参数的更新方式如下：
Figure DEST_PATH_IMAGE170
其中，
Figure 238692DEST_PATH_IMAGE123
为总体损失，
Figure 114244DEST_PATH_IMAGE125
表示虚假信息检测模型训练过程中的损失值，
Figure 346642DEST_PATH_IMAGE127
表示域自适应网络模型训练过程中的损失值，
Figure 118289DEST_PATH_IMAGE129
为深度卷积神经网络MoibleNet模型的网络参数，
Figure 226184DEST_PATH_IMAGE131
代表虚假信息检测模型的网络参数，
Figure 108690DEST_PATH_IMAGE133
为域自适应网络模型的网络参数，
Figure 461174DEST_PATH_IMAGE135
为一个常量参数。
步骤6）利用步骤5中训练好的虚假信息检测模型对测试数据进行真实性检测，以此来检测关于马航事件的图像信息及文本信息真实性，通过在两个公开社交媒体数据集微博和推特上验证效果，虚假信息的检测精度分别为0.907和0.828。验证了本发明具有较高的精度，能够应用于社交媒体虚假信息检测。
在本实施例中选用的关于马航MH370航班失事事件社交媒体信息进行说明，在事件发生后，推特、微博等网络社交媒体上涌现出大量关于马航MH370航班的帖子。这些帖子大多是人公众对此次事件的疑问、猜想以及别有用心的人发布的谣言。谣言以及虚假的新闻不仅包含被故意修改的图片，也包含与此次事件无关的真实图片，如过去真实发生的空难图片。所以图片的真实性无法直接作为判断帖子真实性的依据，图片与事件的关联性也是重要的因素。而帖子中的文本信息中包含了用户的看法、猜想和情感色彩，如对事件原因的猜测，对失事地点的猜测，以及疑惑，悲伤，愤怒等语气词。通过提取文本统计特征可以获取到文本信息中出现的时间、地点、人名等关键词出现的频次，通过提取文本语义特征可以获取到用户的感情色彩。
本发明在采集有关马航事件信息的文本和图像数据后，使用卷积神经网络VGG19模型提取图像的特征，使用词嵌入模型提取文本的统计特征，使用BERT模型提取文本的语义特征，进一步地使用深度卷积神经网络MoibleNet模型融合图像特征、文本统计特征、整句语义特征，得到该信息的三维融合特征向量。域自适应网络模型首先会通过三维融合特征综合计算图像特征、文本统计特征、整句语义特征与马航事件的关联性，之后虚假信息检测模型将利用三维融合特征和事件的关联性计算出该信息的真实性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.基于深度学习的社交媒体虚假信息检测方法，其特征在于：通过提取网络社交媒体信息中图片和文本数据的语义特征，使用多模态融合网络的特征，利用虚假信息检测模型检测社交媒体信息的真实性，并通过域自适应网络模型提升检测的准确性，具体按照以下步骤进行检测；
步骤1）信息收集：分别采集网络社交媒体中真实信息和虚假信息的原始图像和文本数据；
步骤2）在多模态融合网络中对步骤1中的原始图像和文本数据分别形成图像特征、文本统计特征、整句语义特征，并将图像特征、文本统计特征、整句语义特征形成三维特征向量，构建多模态融合特征；
步骤2.1）使用在ImageNet图像数据集上预训练的卷积神经网络VGG19提取图像特征
Figure 519329DEST_PATH_IMAGE001
，
Figure 967628DEST_PATH_IMAGE002
为提取出的图像特征，
Figure 747365DEST_PATH_IMAGE003
为实数矩阵，
Figure 673733DEST_PATH_IMAGE004
为实数矩阵
Figure 19264DEST_PATH_IMAGE005
的维度；
步骤2.2）使用结巴分词模块分割文本语句，将语句按照词性分割成一组单词，然后使用在相同语种上预训练的词嵌入模型提取单词序列中的文本统计特征
Figure 841726DEST_PATH_IMAGE006
,
Figure 639918DEST_PATH_IMAGE007
为提取出的文本统计特征，
Figure 838818DEST_PATH_IMAGE003
为实数矩阵，
Figure 507697DEST_PATH_IMAGE008
为实数矩阵
Figure 32219DEST_PATH_IMAGE003
的维度；
步骤2.3）使用多语言预训练的BERT模型提取文本的整句语义特征
Figure 786548DEST_PATH_IMAGE009
；
Figure 564973DEST_PATH_IMAGE010
为提取出的整句语义特征，
Figure 88358DEST_PATH_IMAGE011
为实数矩阵，
Figure 518202DEST_PATH_IMAGE012
为实数矩阵
Figure 290986DEST_PATH_IMAGE011
的维度；
步骤2.4）将步骤2.1至步骤2.3中提取出的图像特征、文本统计特征、整句语义特征堆叠成三维特征向量
Figure 566110DEST_PATH_IMAGE013
，
Figure 740739DEST_PATH_IMAGE014
为三维特征向量，
Figure 75905DEST_PATH_IMAGE015
为实数矩阵，
Figure 804827DEST_PATH_IMAGE016
为实数矩阵
Figure 414800DEST_PATH_IMAGE015
的维度；
步骤2.5）使用轻量化的深度卷积神经网络MoibleNet模型融合步骤2.4中的三维特征向量
Figure 912777DEST_PATH_IMAGE017
，得到每条信息的多模态融合特征
Figure 215583DEST_PATH_IMAGE018
，
Figure 166221DEST_PATH_IMAGE019
为多模态融合特征，
Figure 579885DEST_PATH_IMAGE020
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 932369DEST_PATH_IMAGE017
为步骤2.4中获得的三维特征向量，
Figure 874917DEST_PATH_IMAGE021
为深度卷积神经网络MoibleNet模型的网络参数；
步骤3）构建虚假信息检测模型，该模型由一层隐藏层组成，输入为网络社交媒体信息的多模态融合特征
Figure 844010DEST_PATH_IMAGE022
，输出为该信息的真实度；
步骤4）构建域自适应网络模型，该模型由一个梯度翻转层和两层隐藏层组成，输入为网络社交媒体信息的多模态融合特征
Figure 264627DEST_PATH_IMAGE022
，输出为该信息所属的事件分类；
步骤5）将步骤2.5的所有多模态融合特征
Figure 737197DEST_PATH_IMAGE023
的样本随机划分为训练样本集和测试样本集，训练样本集用于训练虚假信息检测模型和域自适应网络模型的参数，测试样本集用于测试训练好的虚假信息检测模型的性能；
步骤6）利用步骤5中训练好的虚假信息检测模型对测试数据进行真实性检测。
2.如权利要求1所述的基于深度学习的社交媒体虚假信息检测方法，其特征在于：在步骤2.2中，在词嵌入模型中，使用在相同语种数据集上预先训练的单词嵌入提取器来生成每个单词的特征向量，每个单词的特征向量可以表示为
Figure 381805DEST_PATH_IMAGE024
，
Figure 307036DEST_PATH_IMAGE025
为单词的特征向量，
Figure 531343DEST_PATH_IMAGE026
为实数矩阵，k为矩阵
Figure 625464DEST_PATH_IMAGE027
的维度；一个具有n个单词的句子可以表示为：
Figure 909814DEST_PATH_IMAGE028
，
Figure 322341DEST_PATH_IMAGE029
代表一个句子的特征向量，n代表句子中单词的数量，
Figure 881499DEST_PATH_IMAGE027
为实数矩阵，
Figure 63081DEST_PATH_IMAGE030
为矩阵
Figure 252754DEST_PATH_IMAGE026
的维度；
滑动抓取句子中h个连续单词，并使用ReLU激活函数的卷积滤波器来提取这h个单词的特征；然后得到该句文本在视野为h下的一个特征向量：
Figure 683735DEST_PATH_IMAGE031
，通过更改视野大小h的值能够提取一句文本具有不同视野大小的特征向量；
使用不同大小的h，能够生成不同的过滤器和不同的特征向量，然后使用最大化池化函数，得到了最终的文本统计特征表示：
Figure 781004DEST_PATH_IMAGE032
，
Figure 82673DEST_PATH_IMAGE033
为提取出的文本统计特征，
Figure 443247DEST_PATH_IMAGE026
为实数矩阵，
Figure 361524DEST_PATH_IMAGE034
为实数矩阵
Figure 731326DEST_PATH_IMAGE035
的维度。
3.如权利要求1所述的基于深度学习的社交媒体虚假信息检测方法，其特征在于：
在步骤2.3中使用文本标识化器将文本信息分割为单词列表，然后使用多语言预训练的BERT模型来提取该文本信息的语义特征，选择BERT模型中最后一个维度为768×1的隐藏层参数作为文本的语义特征
Figure 153080DEST_PATH_IMAGE036
，
Figure 950135DEST_PATH_IMAGE037
为提取出的语义特征，
Figure 558971DEST_PATH_IMAGE026
为实数矩阵，
Figure 263621DEST_PATH_IMAGE016
为实数矩阵
Figure 274303DEST_PATH_IMAGE038
的维度。
4.如权利要求1所述的基于深度学习的社交媒体虚假信息检测方法，其特征在于：
在步骤3中，构建虚假信息检测模型时，虚假信息检测模型在训练过程中按照深度学习自身的计算机制更新网络参数；
模型的计算机制公式如下：
Figure 242259DEST_PATH_IMAGE039
其中：
Figure 869549DEST_PATH_IMAGE040
代表虚假信息检测模型的网络结构，
Figure 581153DEST_PATH_IMAGE041
代表虚假信息检测模型的网络参数，
Figure 446341DEST_PATH_IMAGE042
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 614892DEST_PATH_IMAGE043
为步骤2.4中获得第i个信息对应的三维特征向量，
Figure 198320DEST_PATH_IMAGE044
为深度卷积神经网络MoibleNet模型的网络参数；输出
Figure 448036DEST_PATH_IMAGE045
代表信息的真实性概率，该概率取值的范围为0%—100%；
虚假信息检测模型识别一条信息的真实性，使用y来表示信息的真实度，并使用交叉熵函数来计算检测损失：
Figure 964468DEST_PATH_IMAGE046
其中
Figure 274226DEST_PATH_IMAGE047
表示虚假信息检测模型训练过程中的损失值，
Figure 344950DEST_PATH_IMAGE048
表示交叉熵函数，
Figure 398357DEST_PATH_IMAGE049
表示步骤2.4中获得的所有三维特征向量，
Figure 769296DEST_PATH_IMAGE050
为步骤2.4中获得第i个信息对应的的三维特征向量，
Figure 249956DEST_PATH_IMAGE051
为虚假信息检测模型的真实性概率计算公式。
5.如权利要求1所述的基于深度学习的社交媒体虚假信息检测方法，其特征在于：构建域自适应网络模型时使用
Figure 542397DEST_PATH_IMAGE052
来表示信息的事件分类，并使用交叉熵函数来计算分类损失，域自适应网络模型在训练过程中按照深度学习自身的计算机制更新网络参数：
Figure 930653DEST_PATH_IMAGE053
其中
Figure 624939DEST_PATH_IMAGE054
表示域自适应网络模型训练过程中的损失值，
Figure 276500DEST_PATH_IMAGE055
表示交叉熵函数，
Figure 852975DEST_PATH_IMAGE056
表示步骤2.4中获得的所有三维特征向量，K为所有事件分类的数量，
Figure 248184DEST_PATH_IMAGE057
为域自适应网络模型的网络结构，
Figure 796977DEST_PATH_IMAGE058
为深度卷积神经网络MoibleNet模型的网络结构，
Figure 416178DEST_PATH_IMAGE059
为步骤2.4中获得第i个信息对应的的三维特征向量，
Figure 214369DEST_PATH_IMAGE060
为深度卷积神经网络MoibleNet模型的网络参数，
Figure 413270DEST_PATH_IMAGE061
为域自适应网络模型的网络参数；
损失
Figure 816569DEST_PATH_IMAGE054
用来计算不同事件之间的差异，通过找到最优参数
Figure 606670DEST_PATH_IMAGE060
来最大化
Figure 361000DEST_PATH_IMAGE054
的分类损失。
6.如权利要求1所述的基于深度学习的社交媒体虚假信息检测方法，其特征在于：将步骤2.5的所有多模态融合特征样本随机划分为训练样本集和测试样本集，利用训练样本集训练虚假信息检测模型和域自适应网络模型的训练过程中，虚假信息检测模型需要最小化损失
Figure 98012DEST_PATH_IMAGE062
来提升模型的准确率，而域自适应网络模型需要最大化损失
Figure 621397DEST_PATH_IMAGE063
来获取通用的事件特征；总体损失的公式如下：
Figure 83865DEST_PATH_IMAGE064
在模型训练过程中，参数的更新方式如下：
Figure 59911DEST_PATH_IMAGE065
其中，
Figure 600614DEST_PATH_IMAGE066
为总体损失，
Figure 775243DEST_PATH_IMAGE067
表示虚假信息检测模型训练过程中的损失值，
Figure 110409DEST_PATH_IMAGE068
表示域自适应网络模型训练过程中的损失值，
Figure 839331DEST_PATH_IMAGE069
为深度卷积神经网络MoibleNet模型的网络参数，
Figure 449304DEST_PATH_IMAGE070
代表虚假信息检测模型的网络参数，
Figure 947281DEST_PATH_IMAGE071
为域自适应网络模型的网络参数，
Figure 453349DEST_PATH_IMAGE072
为常量参数。
7.基于深度学习的社交媒体虚假信息检测系统，其特征在于：
包括多模态融合网络、域自适应网络模型、虚假信息检测模型，其中多模态融合网络包括卷积神经网络VGG19模型、词嵌入模型、BERT模型、深度卷积神经网络MoibleNet模型，卷积神经网络VGG19模型用于提取图像特征
Figure 200725DEST_PATH_IMAGE073
，词嵌入模型提取词组序列中的文本统计特征
Figure 83230DEST_PATH_IMAGE074
，BERT模型提取文本的整句语义特征
Figure 435714DEST_PATH_IMAGE075
，MoibleNet模型用于融合图像特征、文本统计特征、整句语义特征堆叠成三维特征向量，形成多模态融合特征；
域自适应网络模型接收网络社交媒体信息的多模态融合特征
Figure 909421DEST_PATH_IMAGE076
，输出为网络社交媒体信息的多模态融合特征
Figure 347356DEST_PATH_IMAGE076
，输出为该信息所属的事件分类；
虚假信息检测模型接收网络社交媒体信息的多模态融合特征
Figure 767973DEST_PATH_IMAGE076
，输出网络社交媒体信息的真实度。
CN202111016642.7A 2021-08-31 2021-08-31 基于深度学习的社交媒体虚假信息检测方法及检测系统 Active CN113849598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016642.7A CN113849598B (zh) 2021-08-31 2021-08-31 基于深度学习的社交媒体虚假信息检测方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016642.7A CN113849598B (zh) 2021-08-31 2021-08-31 基于深度学习的社交媒体虚假信息检测方法及检测系统

Publications (2)

Publication Number Publication Date
CN113849598A true CN113849598A (zh) 2021-12-28
CN113849598B CN113849598B (zh) 2024-08-02

Family

ID=78976798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016642.7A Active CN113849598B (zh) 2021-08-31 2021-08-31 基于深度学习的社交媒体虚假信息检测方法及检测系统

Country Status (1)

Country Link
CN (1) CN113849598B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579876A (zh) * 2022-03-10 2022-06-03 中国科学院空天信息创新研究院 虚假信息检测方法、装置、设备及介质
CN114662586A (zh) * 2022-03-18 2022-06-24 南京邮电大学 一种基于共注意的多模态融合机制检测虚假信息的方法
CN114722298A (zh) * 2022-04-28 2022-07-08 兰州大学 一种基于多特征融合和标签关联的轻生检测方法及装置
CN116452939A (zh) * 2023-05-11 2023-07-18 河海大学 基于多模态实体融合与对齐的社交媒体虚假信息检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN112035669A (zh) * 2020-09-09 2020-12-04 中国科学技术大学 基于传播异质图建模的社交媒体多模态谣言检测方法
US20210012199A1 (en) * 2019-07-04 2021-01-14 Zhejiang University Address information feature extraction method based on deep neural network model
CN112256945A (zh) * 2020-11-06 2021-01-22 四川大学 一种基于深度神经网络的社交网络粤语谣言检测方法
CN113239926A (zh) * 2021-06-17 2021-08-10 北京邮电大学 基于对抗的多模态虚假信息检测模型

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012199A1 (en) * 2019-07-04 2021-01-14 Zhejiang University Address information feature extraction method based on deep neural network model
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN112035669A (zh) * 2020-09-09 2020-12-04 中国科学技术大学 基于传播异质图建模的社交媒体多模态谣言检测方法
CN112256945A (zh) * 2020-11-06 2021-01-22 四川大学 一种基于深度神经网络的社交网络粤语谣言检测方法
CN113239926A (zh) * 2021-06-17 2021-08-10 北京邮电大学 基于对抗的多模态虚假信息检测模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金志威;曹娟;王博;王蕊;张勇东;: "融合多模态特征的社会多媒体谣言检测技术研究", 南京信息工程大学学报(自然科学版), no. 06, 28 November 2017 (2017-11-28) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579876A (zh) * 2022-03-10 2022-06-03 中国科学院空天信息创新研究院 虚假信息检测方法、装置、设备及介质
CN114662586A (zh) * 2022-03-18 2022-06-24 南京邮电大学 一种基于共注意的多模态融合机制检测虚假信息的方法
CN114722298A (zh) * 2022-04-28 2022-07-08 兰州大学 一种基于多特征融合和标签关联的轻生检测方法及装置
CN114722298B (zh) * 2022-04-28 2024-09-13 兰州大学 一种基于多特征融合和标签关联的轻生检测方法及装置
CN116452939A (zh) * 2023-05-11 2023-07-18 河海大学 基于多模态实体融合与对齐的社交媒体虚假信息检测方法

Also Published As

Publication number Publication date
CN113849598B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN111079444B (zh) 一种基于多模态关系的网络谣言检测方法
CN113849598B (zh) 基于深度学习的社交媒体虚假信息检测方法及检测系统
CN110222163B (zh) 一种融合cnn与双向lstm的智能问答方法及系统
CN109543178B (zh) 一种司法文本标签体系构建方法及系统
CN110209897B (zh) 智能对话方法、装置、存储介质及设备
CN111414461B (zh) 一种融合知识库与用户建模的智能问答方法及系统
CN110569920B (zh) 一种多任务机器学习的预测方法
CN105975478A (zh) 一种基于词向量分析的网络文章所属事件的检测方法和装置
CN102929873A (zh) 一种基于情境搜索提取搜索价值词的方法及装置
CN105354216B (zh) 一种中文微博话题信息处理方法
CN106649258A (zh) 一种智能的问答系统
CN110728144B (zh) 一种基于上下文语义感知的抽取式文档自动摘要方法
CN106599824B (zh) 一种基于情感对的gif动画情感识别方法
CN113593661A (zh) 临床术语标准化方法、装置、电子设备及存储介质
CN108268470A (zh) 一种基于演化聚类的评论文本分类提取方法
CN108763355B (zh) 一种基于用户的智能机器人交互数据处理系统及方法
CN118035945B (zh) 一种标签识别模型的处理方法和相关装置
CN115221864A (zh) 一种多模态假新闻检测方法及系统
Polignano et al. Identification Of Bot Accounts In Twitter Using 2D CNNs On User-generated Contents.
CN110347812A (zh) 一种面向司法文本的搜索排序方法及系统
Dwivedi et al. Examining the emotional tone in politically polarized Speeches in India: An In-Depth analysis of two contrasting perspectives
CN113158673A (zh) 单篇文档分析方法和装置
Drishya et al. Cyberbully image and text detection using convolutional neural networks
CN116049527A (zh) 一种面向军事领域的社交网络特定目标账号挖掘方法
Hajare et al. A machine learning pipeline to examine political bias with congressional speeches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant