CN109992703B - 一种基于多任务学习的差异化特征挖掘的可信度评估方法 - Google Patents

一种基于多任务学习的差异化特征挖掘的可信度评估方法 Download PDF

Info

Publication number
CN109992703B
CN109992703B CN201910082267.2A CN201910082267A CN109992703B CN 109992703 B CN109992703 B CN 109992703B CN 201910082267 A CN201910082267 A CN 201910082267A CN 109992703 B CN109992703 B CN 109992703B
Authority
CN
China
Prior art keywords
loss
private
characteristic
public
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910082267.2A
Other languages
English (en)
Other versions
CN109992703A (zh
Inventor
饶元
吴连伟
靳浩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910082267.2A priority Critical patent/CN109992703B/zh
Publication of CN109992703A publication Critical patent/CN109992703A/zh
Application granted granted Critical
Publication of CN109992703B publication Critical patent/CN109992703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开的一种基于多任务学习的差异化特征挖掘的可信度评估方法，基于共享私有特征空间，利用强化学习指导对抗网络捕获更加纯净的公共特征，解决公共特征挖掘精确度不高与效能低下的问题；采纳两种有效策略——用于迫使私有特征与公共特征相互独立的正交约束策略以及用于强化私有特征与公共特征差异性的差分策略，改善了私有特征与公共特征混杂严重的现状，融合并权衡以上两个过程产生的损失用于参数训练。该方法不仅能够提高了可信度评估精确度，还减少了计算的时间复杂度。

Description

一种基于多任务学习的差异化特征挖掘的可信度评估方法
技术领域
本发明涉及到网络信息的可信度评估方法，具体为一种基于多任务学习的差异化特征挖掘的可信度评估方法。
背景技术
随着互联网的迅速发展，使人们获取、浏览、共享和发布信息变得越来越快捷与便利，改变了人们获取信息的传统方式。然而，人们在享受健康、积极且真实信息的同时，还遭受着各种偏激、谣言、虚假等不真实信息带来的困扰。Gupta的研究结果表明：在Twitter中，有将近52％的内容是确定可信的、35％的内容是大致可信的以及13％的内容是确定不可信的。大量的不可信信息极大地渲染消极和负面的社会情绪，不仅影响着社会和谐，同时也影响到国家的安全与政治生态。如何在网络环境下快速识别出信息的真伪，以确保网络中传播信息的真实性与可信性，并对传播信息内容的可信度进行度量，已成为亟需解决的重要问题。
大多数学者将信息可信度评估视为文本分类问题。现有方法利用机器学习、深度学习等技术来评估可信度已经获得了一定的成功。这些方法概括起来，大致可分为：基于深度语义分析方法、基于文本特征与社会环境特征结合的分析方法等。第一类方法主要是深入捕获与文本相关的语言、句法、语法、语义特征、情感特征乃至风格特征。这类方法虽然能够全面挖掘出语义信息特征，但仍然局限在文本特征上，缺乏了特征的广度；第二类方法则在深入挖掘文本特征的基础上，结合待评估信息所处的社会环境特征，包括基于信息来源的、基于用户的、基于帖子本身的、基于网络的等特征，全面而又广泛的挖掘可信度特征以用于可信度评估。遗憾的是，这类方法在通过增加相关特征来扩展特征范围的同时，带来了许多无用的、冗余的、噪声的特征。这不仅一定程度上降低了模型性能还加重了计算负担，从而导致了计算效率骤减。
发明内容
针对现有技术中存在的问题，本发明提供一种基于多任务学习的差异化特征挖掘的可信度评估方法，将信息的可信度特征划分为公共与私有特征，解决共享空间与私有空间特征之间精准分离的问题，从而获得针对不同类型信息更具差异化的可信度特征，提高了信息可信度评估的准确性。
本发明是通过以下技术方案来实现：
一种基于多任务学习的差异化特征挖掘的可信度评估方法，包括以下步骤；
步骤1、设定数量为N的双标签数据集
Figure GDA0003459235520000021
并提取数据集
Figure GDA0003459235520000022
中的文本和元数据特征作为输入特征；
其中，xi指一条待进行可信度检测的信息，
Figure GDA0003459235520000023
表示真假二分类标签，
Figure GDA0003459235520000024
表示多分类的可信度标签；
步骤2、采用强化学习提供的激励计算动作期望值对抗网络中的生成器进行优化，优化后得到公共特征抽取器，公共特征抽取器抽取输入特征中的公共特征；
步骤3、利用数据集
Figure GDA0003459235520000025
中的真假二分类标签
Figure GDA0003459235520000026
将步骤2抽取的公共特征输入二分类判别器
Figure GDA0003459235520000027
得到判别损失Ladv；
步骤4、判别当前判别损失Ladv与上一次判别损失Ladv的关系；
如果当前判别损失Ladv大于之前所有判别损失Ladv的最大值时，则输出判别后的公共特征，执行步骤6；
步骤5、采用私有特征抽取器，编译输入特征进行私有特征的抽取，得到私有特征；
步骤6：对步骤4得到的判别后的公共特征和步骤5得到私有特征进行正交约束，得到独立化损失Lind；
步骤7、判断判别后的公共特征与私有特征是否相互独立；
当独立化损失值Lind的值为0，则判别后公共特征与私有特征相互独立，执行步骤10；
当独立化损失值Lind的值不为0，则判别后公共特征与私有特征中存在相关联的特征，执行步骤8；
步骤8、采用负向的KL散度算法计算判别后的公共特征和私有特征之间的相似度，产生差异化损失Ldiff，
步骤9、采用Softmax作为分类器，根据步骤5得到的私有特征对数据集
Figure GDA0003459235520000031
进行多可信度类型分类，得到多分类损失Ltask，
步骤10、对判别损失Ladv、独立化损失Lind、差异化损失Ldiff和多分类损失Ltask进行融合训练，使得多分类效果达到最优。
可选的，所述步骤2中生成器的优化方法具体如下：
在数据集
Figure GDA0003459235520000032
上采用经典的MLE算法预训练生成器的生成策略Gθ，采用最小化交叉熵预训练二分类判别器
Figure GDA0003459235520000033
循环遍历数据集
Figure GDA0003459235520000034
中的信息，开始进行GAN训练，执行g-steps次循环，其中，g-steps指该信息从当前词开始到所有词结束所产生的次数；生成一个长度为T的序列，根据生成的序列计算动作期望值，并基于该动作期望值，利用策略梯度优化生成器；其中，动作期望值的计算公式为：
Figure GDA0003459235520000041
其中，
Figure GDA0003459235520000042
代表动作期望值，s0代表状态值，y1代表信息中的词向量，
Figure GDA0003459235520000043
代表蒙特卡洛搜索从t到T，Gμ为生成模型Gθ的副本；
策略梯度更新的计算公式为：
Figure GDA0003459235520000044
Figure GDA0003459235520000045
其中，y1表示选定的词向量，s0表状态，
Figure GDA0003459235520000046
表这个生成序列所带来激励的期望，Gθ表生成器模型，
Figure GDA0003459235520000047
表该序列的状态值函数，θ表下降梯度。
可选的，所述步骤3中判别损失Ladv的计算公式如下；
Figure GDA0003459235520000048
其中，
Figure GDA0003459235520000049
表真实数据分布的期望，
Figure GDA00034592355200000410
表生成器分布的期望，
Figure GDA00034592355200000411
为判别器。
可选的，所述步骤4中当前判定损失小于或等于之前所有判定损失的最小值时，将该判别损失作为强化学习的激励输入到优化后的生成器中，重复执行步骤2和步骤3，直至当前判定损失大于之前所有判定损失的最大值，输出判别后公共特征，执行步骤6。
可选的，所述私有特征抽取器为BILSTM算法、RNN算法、GRU算法或CNN算法。
可选的，所述私有特征抽取器为BILSTM算法，计算公式为：
Figure GDA0003459235520000051
其中，xt,Pt-1分别表示t步骤的输入和t-1步骤的隐藏层。
可选的，所述步骤6中独立化损失Lind，计算公式如下；
Figure GDA0003459235520000052
其中，Lind表私有特征ST与公共特征P正交约束产生的损失。
可选的，所述步骤8中差异化损失Ldiff的计算公式如下：
Figure GDA0003459235520000053
Figure GDA0003459235520000054
其中，S′i表S向量中某一维向量的值，同样的P′i也是P向量中某一维向量的值。
可选的，所述步骤9中多分类损失Ltask的计算公式如下：
Figure GDA0003459235520000055
可选的，所述步骤10中多损失融合训练优化的计算公式为：
L＝Ltask+αLadv+βLind+γLdiff
其中，L为多特征融合的总损失。
与现有技术相比，本发明具有以下有益的技术效果：
本发明提供的一种基于多任务学习的差异化特征挖掘的可信度评估方法，基于共享私有特征空间，利用强化学习指导对抗网络捕获更加纯净的公共特征，解决公共特征挖掘精确度不高与效能低下的问题；采纳两种有效策略——用于迫使私有特征与公共特征相互独立的正交约束策略以及用于强化私有特征与公共特征差异性的差分策略，改善了私有特征与公共特征混杂严重的现状，融合并权衡以上两个过程产生的损失用于参数训练。该方法不仅能够提高了可信度评估精确度，还减少了计算的时间复杂度。
附图说明
图1为发明共享私有模型框架图；
图2为本发明的架构图；
图3为本发明的整体流程图；
图4为本发明所用数据标签图；
图5为本发明实验性能图；
图6为本发明组件分离性能图；
图7a为本发明的性能在LIAR数据集上随输入向量维度变化图；
图7b为本发明的性能在Weibo数据集上随输入向量维度变化图；
图8a为LIAR数据集上不同输入对本发明性能的影响；
图8b为Weibo数据集上不同输入对本发明性能的影响。
具体实施方式
下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
如图1-3所示，一种基于多任务学习的差异化特征挖掘的可信度评估方法，该方法主要包括两个部分，如下；
第一部分，利用强化学习指导对抗网络阻止真假二分类正确分类从而获得公共特征。
具体来说，公共特征抽取器从输入特征中捕获特征，混淆二分类判别器无法正确分类。当二分类判别器无法区分真假信息时，获得的特征即为公共特征。
第二部分，利用特征独立化和特征差异化两种方法来实现私有特征与公共特征的分离，从而获得差异化特征。
具体来说，将公共特征作为第二部分的输入特征，与利用私有特征抽取器抽取的私有特征进行特征对比使得两种特征分离。
这里，特征分离采用了两种方法，一种采用正交约束使得私有特征与公共特征互相独立的特征独立化方法，另一种采用KL散度增强公共特征与私有特征更具差异性的特征差异化方法。
最后通过多损失融合与协同方法来优化模型最终有效地实现信息可信度多分类。
其中，多损失融合与协同方法利用的是线性组合的方式。
优化模型利用到了四种类型的损失，包括：1)公共特征抽取时产生的判别损失；2)正交约束产生的特征独立化损失；3)KL散度产生的差异化损失；4)最终实现多分类时产生的多分类损失。
该评估方法具体包括以下步骤：
一、数据初始化
步骤1、设定数量为N的双标签数据集
Figure GDA0003459235520000071
并提取数据集
Figure GDA0003459235520000072
中的文本和元数据特征作为输入特征；
其中，xi指一条待进行可信度检测的信息，
Figure GDA0003459235520000073
表示真假二分类标签，
Figure GDA0003459235520000074
表示多分类的可信度标签；
二、公共特征抽取
步骤2：采用强化学习提供的激励计算动作期望值对抗网络中的生成器进行优化，得到公共特征抽取器，公共特征抽取器抽取输入特征中的公共特征；
生成器的优化方法具体如下：
在数据集
Figure GDA0003459235520000081
上采用经典的MLE算法预训练生成器的生成策略Gθ，采用最小化交叉熵预训练二分类判别器
Figure GDA0003459235520000082
循环遍历数据集
Figure GDA0003459235520000083
中的信息，开始进行GAN训练，执行g-steps次循环，其中，g-steps指该信息从当前词开始到所有词结束所产生的次数；生成一个长度为T的序列，根据生成的序列计算动作期望值，并基于该动作期望值，利用策略梯度更新生成器；其中，动作期望值的计算公式为：
Figure GDA0003459235520000084
其中，
Figure GDA0003459235520000085
代表动作期望值，s0代表状态值，y1代表信息中的词向量，
Figure GDA0003459235520000086
代表蒙特卡洛搜索从t到T，Gμ为生成模型Gθ的副本；
策略梯度更新的计算公式为：
Figure GDA0003459235520000087
Figure GDA0003459235520000088
其中，y1表示选定的词向量，s0表状态，
Figure GDA0003459235520000089
表这个生成序列所带来激励的期望，Gθ表生成器模型，
Figure GDA00034592355200000810
表该序列的状态值函数，θ表下降梯度。
步骤3：利用数据集
Figure GDA00034592355200000811
中的真假二分类标签
Figure GDA00034592355200000812
将步骤2抽取的公共特征输入二分类判别器
Figure GDA00034592355200000813
进行计算，输出判别损失Ladv，计算公式如下；
Figure GDA00034592355200000814
其中，
Figure GDA00034592355200000815
表真实数据分布的期望，
Figure GDA00034592355200000816
表生成器分布的期望，
Figure GDA0003459235520000091
为判别器。
步骤4：判别当前判别损失与上一次判别损失的关系；
如果当前判定损失大于之前所有判定损失的最大值时，则输出判别后的公共特征，执行步骤6；
如果当前判定损失小于或等于之前所有判定损失的最小值时，将该判别损失作为强化学习的激励输入到优化后的生成器中，重复执行步骤2和步骤3，直至当前判定损失大于之前所有判定损失的最大值，输判别后的出公共特征，执行步骤6；
其中，判别后的公共特征为无法使真假二分类任务分类的特征。
阶段2：私有特征抽取
步骤5：采用私有特征抽取器，编译输入特征进行私有特征的抽取；
私有特征抽取器为BILSTM、RNN、GRU、CNN算法；
以BILSTM算法为例，私有特征抽取器的计算公式为：
Figure GDA0003459235520000092
其中，xt,Pt-1分别表示t步骤的输入和t-1步骤的隐藏层。
阶段3：私有特征与公共特征分离
步骤6：特征独立化：为了使得判别后的公共特征与私有特征互相独立，利用步骤4获得的公共特征，以及步骤5获得私有特征进行正交约束，得到独立化损失Lind，计算公式如下：
Figure GDA0003459235520000093
其中，Lind表私有特征ST与判别后的公共特征P正交约束产生的损失。
步骤7：判断判别后的公共特征与私有特征是否相互独立；
当独立化损失值Lind的值为0，则判别后的公共特征与私有特征相互独立，执行步骤10；
当独立化损失值Lind的值为不为0，则判别后的公共特征与私有特征中存在相关联的特征，执行步骤8；
步骤8：特征差异化：为了使得私有特征更具有差异性，采用负向的KL散度算法计算公共特征和私有特征之间的相似度，产生差异化损失Ldiff，计算公式如下：
Figure GDA0003459235520000101
其中，S′i表S向量中某一维向量的值，同样的P′i也是P向量中某一维向量的值。
步骤9：采用Softmax作为分类器，利用步骤5得到的私有特征对数据集
Figure GDA0003459235520000102
进行多可信度类型分类，得到多分类损失Ltask，计算公式如下：
Figure GDA0003459235520000103
其中，Nm为样本总数量，Ltask为训练任务产生的损失，
Figure GDA0003459235520000104
表多分类标签的值，
Figure GDA0003459235520000105
表经过抽取器之后得到的特征。
阶段3：多损失融合与协同优化
步骤10：对判别损失Ladv、独立化损失Lind、差异化损失Ldiff和多分类损失Ltask进行融合训练；根据线性组合的方式不断调整多损失之间的权重，实现多损失的融合训练及优化，使得该方法的多分类效果达到最优。
多损失融合训练优化的计算公式为：
L＝Ltask+αLadv+βLind+γLdiff (9)
其中，L为多特征融合的总损失。
本发明提供的基于多任务学习的差异化特征挖掘的可信度评估方法，在采用多任务学习的共享私有模型的基础上，典型的共享私有模型如图1所示，图中每个任务有两种特征空间，分别是存储各个任务独有特征的私有空间，以及存储所有任务共性特征的共享空间。共享空间特征是指在多种可信度类型信息中同时存在的特征。私有空间特征则表示不同类型信息各自独有的差异性特征。但是，共享私有模型存在着无法精确合理的将两个空间明确的区分开来的问题。也就是说，在共享空间中混杂着私有特征，私有特征中也包含着部分公共特征。基于此，本发明基于多任务联合求解机制，首先利用对抗网络模型抽取出更加准确的公共特征。然后采用特征独立化与特征差异化两种方法，实现私有特征与公共特征有效分离，从而挖掘出信息的差异化特征。最终采用协同优化方式实现信息可信度的精准评估。
仿真验证
本发明在两个真实数据集上进行大量实验证实了其性能的优越性，如图4-5所示，并从输入特征、组件分离、输入特征维度变化等多角度分析了本发明的可靠性、可扩展性等优点，详情如图6、图7a、图7b、图8a和图8所示。
如图5所示，本发明在LIAR数据集和Weibo数据集上进行实验验证发现，本发明分别获得了0.407和0.463的准确率；明显高于其他7种基线方法；该实验证实了本发明的性能优越性。
如图6所示，我们对本发明进行了组件分离操作，来验证不同组件的有效性。首先，根据本发明的结构，将本发明划分为以下几种方法：1、本发明的原始结构，即不包含对抗网络产生的判别损失、独立化损失、差异化损失的结构。在这里，我们将其定义为基本方法；2、在基本方法的基础上，在公共特征抽取器上增加对抗方法，我们定义为“基本方法+对抗方法”方法；3在2的基础上，我们增加正交约束作为独立化损失，我们定义为“基本方法+对抗方法+正交约束”方法；4在3的基础上，我们增加差分方法作为差异化损失，我们定义为“基本方法+对抗+正交约束+差分”方法(也就是本发明)。然后，这四种方法分别在LIAR数据集和Weibo数据集上进行了实验，实验验证发现，随着组件的增加，方法的准确率越来越高，并且第四种方法(即本发明)获得了最高的准确率。这表明这几种组件对性能的提升存在着不同程度的贡献。
基于两个数据集分别验证了文本特征的词向量维度大小对本发明性能的影响。实验结果如图7a与7b所示，我们可以看到，词向量维度大小对本发明性能的影响不大，整体准确率(A)在LIAR数据集上维持在0.41-0.43之间，在Weibo数据集上维持在0.44-0.46之间。另外，文本特征的词向量维度为200时，整体准确率在两个数据集上获得的性能最优。这表明，本发明具有良好的可靠性与可扩展性。
基于两个数据集分别验证了元数据特征中不同类型的元数据特征对本发明性能的影响。实验结果如图8a和8b所示，我们可以看到，当去掉不同类型元数据特征时，本发明的性能会随之发生不同程度的降低。本发明利用所有类型的元数据特征作为输入时，获得了最高的性能。这表明充分利用元数据特征有助于提高本发明的性能。
本发明在深入分析传统的信息可信度评估算法以及经典的共享私有模型缺陷的基础上，结合强化学习、对抗网络以及特征分离策略，重点解决了随着可信度特征的增加，冗余无用噪声特征随之增加，并导致可信度评估性能和效率低下的问题。本发明强化了多任务之间的公共特征的挖掘，以及与私有特征之间的分离，创造性的提出了一种基于共享私有特征空间中差异化特征挖掘的信息可信度评估方法。本发明充分利用信息可信度相关的文本及元数据特征，在真实环境下两类代表性的中英文数据集上进行了大量实验，证实了本发明在信息可信度评估上的有效性及可扩展性。该发明适用于网络环境(尤其是社交网络环境)以及能够提供信息可信度特征的相关环境中
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，包括以下步骤；
步骤1、设定数量为N的双标签数据集
Figure FDA0003459235510000011
并提取数据集
Figure FDA0003459235510000012
中的文本和元数据特征作为输入特征；
其中，xi指一条待进行可信度检测的信息，
Figure FDA0003459235510000013
表示真假二分类标签，
Figure FDA0003459235510000014
表示多分类的可信度标签；
步骤2、采用强化学习提供的激励计算动作期望值对对抗网络中的生成器进行优化，优化后得到公共特征抽取器，公共特征抽取器抽取输入特征中的公共特征；
步骤3、利用数据集
Figure FDA0003459235510000015
中的真假二分类标签
Figure FDA0003459235510000016
将步骤2抽取的公共特征输入二分类判别器
Figure FDA0003459235510000017
得到判别损失Ladv；
步骤4、判别当前判别损失Ladv与上一次判别损失Ladv的关系；
如果当前判别损失Ladv大于之前所有判别损失Ladv的最大值时，则输出判别后的公共特征，执行步骤6；
步骤5、采用私有特征抽取器，编译输入特征进行私有特征的抽取，得到私有特征；
步骤6：对步骤4得到的判别后的公共特征和步骤5得到私有特征进行正交约束，得到独立化损失Lind；
步骤7、判断判别后的公共特征与私有特征是否相互独立；
当独立化损失值Lind的值为0，则判别后公共特征与私有特征相互独立，执行步骤10；
当独立化损失值Lind的值不为0，则判别后公共特征与私有特征中存在相关联的特征，执行步骤8；
步骤8、采用负向的KL散度算法计算判别后的公共特征和私有特征之间的相似度，产生差异化损失Ldiff；
步骤9、采用Softmax作为分类器，根据步骤5得到的私有特征对数据集
Figure FDA0003459235510000026
进行多可信度类型分类，得到多分类损失Ltask；
步骤10、对判别损失Ladv、独立化损失Lind、差异化损失Ldiff和多分类损失Ltask进行融合训练，使得多分类效果达到最优。
2.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述步骤2中生成器的优化方法具体如下：
在数据集
Figure FDA0003459235510000027
上采用经典的MLE算法预训练生成器的生成策略Gθ，采用最小化交叉熵预训练二分类判别器
Figure FDA0003459235510000021
循环遍历数据集
Figure FDA0003459235510000028
中的信息，开始进行GAN训练，执行g-steps次循环，其中，g-steps指该信息从当前词开始到所有词结束所产生的次数；生成一个长度为T的序列，根据生成的序列计算动作期望值，并基于该动作期望值，利用策略梯度优化生成器；其中，动作期望值的计算公式为：
Figure FDA0003459235510000022
其中，
Figure FDA0003459235510000023
代表动作期望值，s0代表状态值，y1代表信息中的词向量；
策略梯度更新的计算公式为：
Figure FDA0003459235510000024
Figure FDA0003459235510000025
其中，y1表示选定的词向量，s0表示状态，
Figure FDA0003459235510000031
表示这个生成序列所带来激励的期望，Gθ表示生成器模型，Gμ为生成模型Gθ的副本，
Figure FDA0003459235510000032
表示该序列的状态值函数，θ表示下降梯度。
3.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述步骤3中判别损失Ladv的计算公式如下：
Figure FDA0003459235510000033
其中，
Figure FDA0003459235510000034
表示真实数据分布的期望，
Figure FDA0003459235510000035
表示生成器分布的期望，
Figure FDA0003459235510000036
为判别器。
4.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述步骤4中当前判定损失小于或等于所有判定损失时，将该判别损失作为强化学习的激励输入到优化后的生成器中，重复执行步骤2和步骤3，直至当前判定损失大于之前所有判定损失时，输出判别后公共特征，执行步骤6。
5.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述私有特征抽取器为BILSTM算法、RNN算法、GRU算法或CNN算法。
6.根据权利要求5所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述私有特征抽取器为BILSTM算法，计算公式为：
Figure FDA0003459235510000037
其中，xt，Pt-1分别表示t步骤的输入和t-1步骤的隐藏层单元输出。
7.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述步骤6中独立化损失Lind，计算公式如下；
Figure FDA0003459235510000041
其中，Lind表示私有特征S的转置ST与公共特征P正交约束产生的损失，
Figure FDA0003459235510000042
表示Frobenius范数。
8.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述步骤8中差异化损失Ldiff的计算公式如下：
Figure FDA0003459235510000043
Figure FDA0003459235510000044
其中，S′i表示S向量中某一维向量的值，同样的P′i也是P向量中某一维向量的值。
9.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述步骤9中多分类损失Ltask的计算公式如下：
Figure RE-FDA0002984659480000045
。
10.根据权利要求1所述基于多任务学习的差异化特征挖掘的可信度评估方法，其特征在于，所述步骤10中多损失融合训练优化的计算公式为：
L＝Ltask+αLadv+βLind+γLdiff
其中，L为多特征融合的总损失。
CN201910082267.2A 2019-01-28 2019-01-28 一种基于多任务学习的差异化特征挖掘的可信度评估方法 Active CN109992703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910082267.2A CN109992703B (zh) 2019-01-28 2019-01-28 一种基于多任务学习的差异化特征挖掘的可信度评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910082267.2A CN109992703B (zh) 2019-01-28 2019-01-28 一种基于多任务学习的差异化特征挖掘的可信度评估方法

Publications (2)

Publication Number Publication Date
CN109992703A CN109992703A (zh) 2019-07-09
CN109992703B true CN109992703B (zh) 2022-03-01

Family

ID=67130140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910082267.2A Active CN109992703B (zh) 2019-01-28 2019-01-28 一种基于多任务学习的差异化特征挖掘的可信度评估方法

Country Status (1)

Country Link
CN (1) CN109992703B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795410A (zh) * 2019-10-08 2020-02-14 华南师范大学 一种多领域文本分类方法
CN110929624B (zh) * 2019-11-18 2021-09-14 西北工业大学 一种基于正交损失函数的多任务分类网络的构建方法
CN111177554B (zh) * 2019-12-27 2022-12-09 西安交通大学 一种基于生成对抗学习的可解释探索的假新闻识别系统及方法
CN113361198B (zh) * 2021-06-09 2023-11-03 南京大学 一种基于公共和私有信息挖掘的众包测试报告融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013065A1 (en) * 2000-08-03 2002-02-14 Epstein Bruce A Information collaboration and reliability assessment
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN108846384A (zh) * 2018-07-09 2018-11-20 北京邮电大学 融合视频感知的多任务协同识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013065A1 (en) * 2000-08-03 2002-02-14 Epstein Bruce A Information collaboration and reliability assessment
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN108846384A (zh) * 2018-07-09 2018-11-20 北京邮电大学 融合视频感知的多任务协同识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网络传播信息内容的可信度研究进展;吴连伟等;《中文信息学报》;20180228;全文 *

Also Published As

Publication number Publication date
CN109992703A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109992703B (zh) 一种基于多任务学习的差异化特征挖掘的可信度评估方法
Kaliyar et al. FakeBERT: Fake news detection in social media with a BERT-based deep learning approach
Zhang et al. Differentially private releasing via deep generative model (technical report)
CN109918505B (zh) 一种基于文本处理的网络安全事件可视化方法
EP3311311A1 (en) Automatic entity resolution with rules detection and generation system
Hou et al. BERT-based Chinese relation extraction for public security
Barua et al. F-NAD: an application for fake news article detection using machine learning techniques
CN111627429A (zh) 一种基于CycleGAN的语音识别模型的防御方法及装置
CN105468731B (zh) 一种文本情感分析特征验证的前置处理方法
CN113222002A (zh) 一种基于生成式鉴别性对比优化的零样本分类方法
Jeyakarthic et al. Optimal bidirectional long short term memory based sentiment analysis with sarcasm detection and classification on twitter data
Lang et al. A Survey on Out-of-Distribution Detection in NLP
Lesimple et al. Exploring deep learning models for vulnerabilities detection in smart contracts
Abd Elminaam et al. AraFake: A deep learning approach for Arabic fake news detection
JP3810469B2 (ja) パターン認識方法
CN108228655A (zh) 一种文本情感分析特征验证的前置处理方法
Bhat et al. Detection of hatefulness in Memes using unimodal and multimodal techniques
Rashmi et al. Robust Speech Processing with Fuzzy Logic-Driven Anti-Spoofing Techniques
CN112598662A (zh) 一种基于隐藏信息学习的图像美学描述生成方法
Divya et al. An Empirical Study on Fake News Detection System using Deep and Machine Learning Ensemble Techniques
Shulhan et al. Detecting vandalism on English Wikipedia using LNSMOTE resampling and Cascaded Random Forest classifier
Toprak et al. Comparison of classification techniques on energy efficiency dataset
Sridhar et al. A Two Tier Iterative Ensemble Method To Tackle Imbalance In Multiclass Classification
Zhou et al. The State of the Art for Cross-Modal Retrieval: A Survey
Fiorucci Snk@ dankmemes: Leveraging pretrained embeddings for multimodal meme detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant