CN118152812B - 虚假信息识别模型的训练方法、装置、设备及存储介质 - Google Patents
虚假信息识别模型的训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118152812B CN118152812B CN202410575897.4A CN202410575897A CN118152812B CN 118152812 B CN118152812 B CN 118152812B CN 202410575897 A CN202410575897 A CN 202410575897A CN 118152812 B CN118152812 B CN 118152812B
- Authority
- CN
- China
- Prior art keywords
- sample
- false
- term noise
- real
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000007774 longterm Effects 0.000 claims abstract description 216
- 230000006870 function Effects 0.000 claims description 242
- 230000015654 memory Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 22
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 238000010276 construction Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 230000000644 propagated effect Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011478 gradient descent method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000007480 spreading Effects 0.000 description 4
- 238000003892 spreading Methods 0.000 description 4
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036039 immunity Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种虚假信息识别模型的训练方法、装置、设备及存储介质;方法包括:通过虚假信息识别模型对短期噪声样本进行虚假信息识别,对应得到识别结果;基于样本标签以及识别结果,确定第一损失函数的损失值;通过虚假信息识别模型分别对长期噪声样本进行虚假信息识别,对应得到识别结果;基于样本标签以及识别结果,确定第二损失函数的第一损失值;基于第一损失函数的损失值及第二损失函数的第一损失值,更新虚假信息识别模型的模型参数。通过本申请,能够提高虚假信息识别模型的准确率和召回率。
Description
技术领域
本申请涉及深度学习技术,尤其涉及一种虚假信息识别模型的训练方法、装置、设备及存储介质。
背景技术
由于人工智能技术的蓬勃发展,人们常常需要分辨这些虚假内容,加大了用户鉴别信息的难度。相关技术基本都是基于常规分类模型,在虚假数据上完成训练,而虚假数据往往比较有限,所以,很容易造成模型过拟合,导致泛化性能不好,使得模型的准确率和召回率较低。
发明内容
本申请实施例提供一种虚假信息识别模型的训练方法、装置、设备及存储介质,能够提高虚假信息识别模型的准确率和召回率。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种虚假信息识别模型的训练方法,所述方法包括:
通过所述虚假信息识别模型分别对真实短期噪声样本、虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果;
其中,所述真实短期噪声样本通过对真实样本添加短期噪声得到,所述虚假短期噪声样本通过对所述真实样本对应的虚假样本添加短期噪声得到;
基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第一识别结果以及所述第二识别结果,确定第一损失函数的损失值;
通过所述虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果;
其中,所述真实长期噪声样本通过对所述真实样本添加长期噪声得到,所述虚假长期噪声样本通过对所述虚假样本添加长期噪声得到;
基于所述真实长期噪声样本的样本标签、所述虚假长期噪声样本的样本标签、所述第三识别结果以及所述第四识别结果,确定第二损失函数的第一损失值;
基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数。
本申请实施例提供一种虚假信息识别模型的训练装置,包括:
第一识别模块,用于通过所述虚假信息识别模型分别对真实短期噪声样本、虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果;其中,所述真实短期噪声样本通过对真实样本添加短期噪声得到,所述虚假短期噪声样本通过对所述真实样本对应的虚假样本添加短期噪声得到;
第一确定模块,用于基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第一识别结果以及所述第二识别结果,确定第一损失函数的损失值;
第二识别模块,用于通过所述虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果;其中,所述真实长期噪声样本通过对所述真实样本添加长期噪声得到,所述虚假长期噪声样本通过对所述虚假样本添加长期噪声得到;
第二确定模块,用于基于所述真实长期噪声样本的样本标签、所述虚假长期噪声样本的样本标签、所述第三识别结果以及所述第四识别结果,确定第二损失函数的第一损失值;
更新模块,用于基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数。
本申请实施例提供一种电子设备,所述电子设备包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现本申请实施例提供的虚假信息识别模型的训练方法。
本申请实施例提供一种计算机可读存储介质,存储有计算机程序或计算机可执行指令,用于被处理器执行时实现本申请实施例提供的虚假信息识别模型的训练方法。
本申请实施例提供一种计算机程序产品,包括计算机程序或计算机可执行指令,所述计算机程序或计算机可执行指令被处理器执行时,实现本申请实施例提供的虚假信息识别模型的训练方法。
本申请实施例具有以下有益效果:
分别对真实短期噪声样本、虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果,基于真实样本的样本标签、虚假样本的样本标签、第一识别结果以及第二识别结果,确定第一损失函数的损失值;分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果;基于真实长期噪声样本的样本标签、虚假长期噪声样本的样本标签、第三识别结果以及第四识别结果,确定第二损失函数的第一损失值;通过同时采用长期噪声样本和短期噪声样本训练虚假信息识别模型,可以有效增加模型的训练样本数量,降低模型的过拟合风险,同时能够提高模型对于多模态虚假信息识别的性能;基于第一损失函数的损失值及第二损失函数的第一损失值,更新虚假信息识别模型的模型参数,综合两种损失函数的损失值来完成模型参数的更新,可以提高模型预测的准确率和召回率。
附图说明
图1是本申请实施例提供的卷积神经网络结构示意图;
图2是本申请实施例提供的虚假信息识别模型的训练系统的架构示意图;
图3是本申请实施例提供的电子设备的结构示意图;
图4是本申请实施例提供的虚假信息识别模型的训练方法的第一流程示意图;
图5A是本申请实施例提供的短期噪声样本的第一构建流程示意图;
图5B是本申请实施例提供的短期噪声的生成方法的流程示意图;
图5C是本申请实施例提供的短期噪声样本的第二构建流程示意图;
图6A是本申请实施例提供的长期噪声样本构建第一流程示意图;
图6B是本申请实施例提供的长期噪声样本构建第二流程示意图;
图7是本申请实施例提供的虚假信息识别模型的训练方法的第二流程示意图;
图8是本申请实施例提供的构建原始样本的流程示意图;
图9是本申请实施例提供的虚假信息识别的流程示意图;
图10A是本申请实施例提供的虚假信息识别模型鉴别换脸图像的第一原理示意图;
图10B是本申请实施例提供的虚假信息识别模型鉴别换脸图像的第二原理示意图;
图11是本申请实施例提供的示例性的短期对抗噪声的生成方法示意图;
图12是本申请实施例提供的示例性的长期对抗噪声的生成方法示意图。
需要指出,上述的“第一”、“第二”仅用于区分不同的方案,不代表用于区分方案的优劣程度或在实施过程中的优先级。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例中,术语“模块”“单元”是指有预定功能的计算机程序或计算机程序的一部分,并与其他相关部分一起工作以实现预定目标,并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的,一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外,每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
除非另有定义,本申请实施例所使用的所有的技术和科学术语与所属技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
本申请实施例中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求,获取个人信息主体的知情同意或单独同意,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)长期对抗噪声(Slow Adversarial Noise,SAN),即长期噪声,一般的对抗生成器由生成器与分类器组成,分类器负责判别输入信息是真实信息还是生成信息;生成器负责在给定的随机噪声下,生成信息。生成器不断接收来自分类器的监督信息来优化自身参数,需要经历一个长期的训练过程,因此生成器生成的噪声即为长期对抗噪声。
2)短期对抗噪声(Fast Adversarial Noise,FAN),即短期噪声,计算过程如下:将真实信息输入到分类器后得到识别结果,结合识别结果以及真实信息的变更后的样本标签,计算损失函数的梯度,将梯度作为短期对抗噪声。其中,梯度用于反向传播至输入的真实信息,短期对抗噪声仅通过一次反向传播即可获得。
对于文本模态,虚假信息有虚假文案、文章拼凑等,一般需要用到文本分类模型和对抗生成模型。基于深度学习的短文本分类模型为循环神经网络(Recurrent NeuralNetwork,RNN)或卷积神经网络(Convolutional Neural Network,CNN)。循环神经网络在自然语言处理界流行了多年,但自身依赖的序列模型结构对于大规模并行计算来说相当不友好,难以进行大规模并行计算。参见图1,图1是本申请实施例提供的卷积神经网络结构示意图。卷积层本质上是特征抽取层,可以用一个超参数指定有多少个卷积核。由于卷积核覆盖的是滑动窗口,所以提取的是连续词序列(n-gram)特征,n的大小决定了捕获特征距离的远近。由于每个滑动窗口之间没有相对位置的依赖关系,所以卷积神经网络的并行程度很高,这也是卷积神经网络的一个优点。
变换器(Transformer)的编码器实则是一个性能很好的可以并行计算的特征抽取器,由自注意力机制堆叠而成。自注意力机制允许每个词和其他任何词发生关系,然后集成到一个嵌入式向量(embedding)中。所以它相比于卷积神经网络的优势在于提取局部特征的距离无限自由,并不受卷积核固定。同时有大量实验证明,变换器编码器(Transformer-Encoder)在提取语义特征的能力上,要超过循环神经网络和卷积神经网络。在长距离特征捕获上,Transformer-Encoder优于循环神经网络,循环神经网络优于卷积神经网络。在并行计算效率方面,Transformer-Encoder优于卷积神经网络,卷积神经网络优于循环神经网络。
以上三者都是很好的文本深度神经网络特征抽取器,被广泛用于文本检测任务中的分类任务。
申请人在研究过程中发现,对于图像模态,虚假信息有合成图像、换脸图像等,对于这类问题的识别,一般是一个常规的卷积神经网络,该模型通常是在自然图像上预训练得到的模型,然后在虚假图像和正常图像构成的数据集上微调模型。进一步的,例如对于换脸图像问题,可以针对换脸图像的特性,先对图像进行傅里叶变换,然后将变换后的图像同时作为输入图像输入到网络中。亦或是使用某种特定纹理算子提取纹理特征,也同样作为输入图像,输入到模型中。
关于虚假信息识别模型,基本都是基于常规分类模型,在虚假数据(如拼凑文本、换脸数据)上完成训练。然而,由于虚假数据往往比较有限,所以在实际的应用过程中,还存在以下方面的技术问题:
1、模型预测的准确率和召回率较低;
2、训练样本较少,导致模型过拟合,泛化性能不好;
3、模型的适应性较差,无法适用于多种模态的信息识别。
在本申请实施例中,采用了添加长期噪声和短期噪声的样本来训练虚假信息识别模型,可以有效提高模型预测的准确率和召回率。对于短期噪声,可以认为是模型对于训练数据中的部分信息过于敏感,需要进行对抗训练,以减小模型的过拟合风险,对于长期噪声,可以认为是存在于训练数据中的与标签相关的判别信息。因此,通过对抗训练来使得虚假信息识别模型不断聚焦于与标签相关的判别信息,可以使虚假信息识别模型更好得学习到有用的特征。
本申请实施例提供一种虚假信息识别模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品,能够提高模型预测的准确率和召回率,下面说明本申请实施例提供的虚假信息识别模型的训练系统的示例性应用。
参见图2,图2是本申请实施例提供的虚假信息识别模型的训练系统的架构示意图,为实现支撑一个应用,在系统100中,终端400通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。
终端400用于向服务器200传输真实短期噪声样本、虚假短期噪声样本、真实长期噪声样本、虚假长期噪声样本。
服务器200用于通过虚假信息识别模型分别对真实短期噪声样本、虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果;基于真实样本的样本标签、虚假样本的样本标签、第一识别结果以及第二识别结果,确定第一损失函数的损失值;通过虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果;基于真实长期噪声样本的样本标签、虚假长期噪声样本的样本标签、第三识别结果以及第四识别结果,确定第二损失函数的第一损失值;基于第一损失函数的损失值及第二损失函数的第一损失值,更新虚假信息识别模型的模型参数。
服务器200还用于将训练得到的虚假信息识别模型发送给终端400,以使终端400基于训练得到的虚假信息识别模型,进行虚假信息识别。
在一些实施例中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
下面对本申请实施例提供的实施虚假信息识别模型的训练方法的电子设备进行说明。
本申请实施例提供的电子设备可以实施为笔记本电脑、平板电脑,台式计算机、机顶盒、智能手机、智能音箱、智能手表、智能电视、车载终端等各种类型的终端,也可以实施为服务器。下面,将说明电子设备的示例性应用。
参见图3,图3是本申请实施例提供的电子设备的结构示意图,图3所示的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解,总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(Digital Signal Processor,DSP),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括扬声器和/或视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(Random Access Memory,RAM)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统551,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他电子设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(Universal Serial Bus,USB)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块554,用于对来自输入装置532的用户输入或互动进行检测,以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的装置可以采用软件方式实现,图3示出了存储在存储器550中的虚假信息识别模型的训练装置555,其可以是程序和插件等形式的软件,包括以下软件模块:第一识别模块5551、第一确定模块5552、第二识别模块5553、第二确定模块5554、更新模块5555,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的装置可以采用硬件方式实现,作为示例,本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的虚假信息识别模型的训练方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、可编程逻辑器件(ProgrammableLogic Device,PLD)、复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或其他电子元件。
将结合本申请实施例提供的电子设备的示例性应用和实施,说明本申请实施例提供的虚假信息识别模型的训练方法。如前所述,实现本申请实施例的虚假信息识别模型的训练方法的电子设备可以是终端、服务器,又或者是二者的结合。
以电子设备是服务器为例,对本申请实施例的虚假信息识别模型的训练方法进行说明,参见图4,图4是本申请实施例提供的虚假信息识别模型的训练方法的第一流程示意图,将结合图4示出的步骤101至步骤105进行说明。
在步骤101中,通过虚假信息识别模型分别对真实短期噪声样本、虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果。
其中,真实短期噪声样本通过对真实样本添加短期噪声得到,虚假短期噪声样本通过对真实样本对应的虚假样本添加短期噪声得到。
在一些实施例中,虚假信息识别模型可以是人工神经网络模型、决策树模型、支持向量机模型、贝叶斯分类器、隐马尔可夫模型、K近邻模型等,本申请实施例对此并不进行限制,可以依据实际情况进行选择。
在一些实施例中,真实短期噪声样本与虚假短期噪声样本可以是图像模态、文本模态、音频模态等,还可以是任意两种或两种以上模态的组合,本申请实施例对此并不进行限制,需要说明的是,真实短期噪声样本与虚假短期噪声样本可以称为短期噪声样本。
下面对本申请实施例中的真实短期噪声样本与虚假短期噪声样本进行说明。真实短期噪声样本通过对真实样本添加短期噪声得到,虚假短期噪声样本通过对真实样本对应的虚假样本添加短期噪声得到。
在一些实施例中,真实样本指的是包含的信息都是在客观世界真实存在的信息样本,虚假样本指的是在真实样本的基础上,对真实样本进行至少部分内容的修改所得到的包括虚假信息的信息样本。例如,若真实样本是图像模态中的人脸图像时,与真实样本对应的虚假样本可以是对人脸图像中的人脸进行变换后所得到的图像;若真实样本是文本模态的科普文章时,与真实样本对应的虚假样本可以是对科普文章的文本内容进行改变所得到的拼凑文本;若真实样本是音频模态中的音频时,与真实样本对应的虚假样本可以是对音频中的音色、音调等内容重新合成的虚假音频,上述示例仅用于示例说明,对真实样本和虚假样本的具体内容不做限定,真实样本还可以是任意两种或两种以上模态的组合,与真实样本对应的虚假样本的获取方式可以参考上述内容,此处不再赘述,需要说明的是,真实样本和虚假样本可以称为原始样本。
在本申请实施例中,虚假信息识别模型用于识别出样本是虚假信息还是真实信息,虚假样本为虚假信息识别模型感兴趣的样本,虚假信息识别模型感兴趣的样本为正样本,即为虚假样本,虚假样本标签为1,与正样本相对,负样本是指虚假信息识别模型不感兴趣的样本,即为真实样本,真实样本标签为0。
基于此,在一些实施例中,上述真实短期噪声样本通过对真实样本添加短期噪声得到,虚假短期噪声样本通过对真实样本对应的虚假样本添加短期噪声得到,可以通过以下技术方案实现:
参见图5A,图5A是本申请实施例提供的短期噪声样本的第一构建流程示意图,下面结合步骤201至步骤204具体说明。
在步骤201中,交换真实样本的样本标签以及虚假样本的样本标签,得到真实样本的伪样本标签以及虚假样本的伪样本标签。
在一些实施例中,将真实样本的样本标签变成虚假样本的样本标签,即由0变为1,1即为真实样本的伪样本标签,将虚假样本的样本标签变成真实样本的样本标签,即由1变为0,0即为虚假样本的伪样本标签。
在步骤202中,基于真实样本的伪样本标签、虚假样本的伪样本标签、第五识别结果以及第六识别结果,确定第三损失函数的第二损失值。
在一些实施例中,获得第五识别结果以及第六识别结果,可以通过以下技术方案实现:通过虚假信息识别模型分别对真实样本、与真实样本对应的虚假样本进行虚假信息识别,对应得到第五识别结果及第六识别结果。
作为示例,采用人工神经网络模型中的生成对抗网络作为虚假信息识别模型,生成对抗网络包括生成器和分类器,虚假信息识别模型通过分类器实现虚假信息的识别,分类器包括编码器和分类层,真实样本与虚假样本选用图像模态,下面进行具体说明。
以真实样本为例,首先,将一张真实图像输入到分类器中,还可以将真实图像经过预处理(如缩放、标准化等)后再输入到分类器中。编码器负责提取图像特征,编码器是卷积神经网络,通过一系列的卷积层、池化层和激活函数,编码器将输入的图像转换成特征向量。编码器将特征向量输入到分类层,分类层通常是一个全连接层,分类层将编码器提取的特征映射为类别预测的概率分布。分类层的输出是一个包含不同类别的概率值,表示图像属于每个类别的可能性,选择具有最高概率值的类别作为最终的预测结果,即第五识别结果,第五识别结果包括虚假信息识别模型预测真实图像的类别,以及类别对应的概率(预测值),第五识别结果可以用于表征真实图像为真实图像的概率或者为虚假图像的概率,按照上述的实现方式,将一张虚假图像输入到分类器中,可以得到虚假样本对应的第六识别结果,第六识别结果包括虚假信息识别模型预测虚假图像的类别,以及类别对应的概率(预测值),第六识别结果可以用于表征虚假图像为真实图像的概率或者为虚假图像的概率。
在一些实施例中,第三损失函数可以是均方误差损失、均方根误差损失、平均绝对误差损失、交叉熵损失、铰链损失、绝对损失、平方损失、KL散度损失、对抗损失、排序损失、零一损失中的任意一种,可以依据实际情况进行选择。
下面以第三损失函数选用铰链损失进行举例说明。
铰链损失的表达式为:
(1);
其中,是预测值,为样本标签。
铰链损失还包括如下的变种损失,其表达式为:
(2);
其中,是正样本的预测值,是负样本的预测值,与之间的差值可用来表示
两种预测结果的相似关系,是由根据实际情况进行设定的安全系数。
下面再以第三损失函数选用交叉熵损失进行举例说明。
交叉熵损失的表达式为:
(3);
其中,表示样本i的样本标签,正样本为1,负样本为0,表示样本i预测为正样
本的概率,N为样本数量。
可以根据实际情况选择第三损失函数的损失函数表达式,将真实样本的伪样本标签1、虚假样本的伪样本标签0、第五识别结果的预测值以及第六识别结果的预测值,输入到第三损失函数的损失函数表达式中,可以确定第三损失函数的第二损失值。
在步骤203中,基于第三损失函数的第二损失值,生成短期噪声。
在一些实施例中,参见图5B,图5B是本申请实施例提供的短期噪声的生成方法的流程示意图,图5A示出的步骤203可以通过以下步骤2031至步骤2032实现,下面具体说明。
在步骤2031中,根据第三损失函数的第二损失值,确定第三损失函数对于模型参数的导数,得到虚假信息识别模型的梯度。
在一些实施例中,在通过计算得到第三损失函数的第二损失值之后,通过链式法则从输出层向输入层计算梯度,逐层反向传播梯度,在反向传播梯度的过程中,不更新模型参数,传播至输入层时,根据真实样本的伪样本标签以及虚假样本的伪样本标签计算出虚假信息识别模型的梯度。
在步骤2032中,将虚假信息识别模型的梯度确定为短期噪声。
在一些实施例中,将计算得到虚假信息识别模型的梯度作为短期噪声。
通过步骤2031至步骤2032,可以获得与真实样本以及虚假样本具有相关性的短期噪声。
继续参见图5A,接续上文的步骤203进行说明。
在步骤204中,将短期噪声分别添加在真实样本以及虚假样本中,对应得到真实短期噪声样本以及虚假短期噪声样本。
在一些实施例中,参见图5C,图5C是本申请实施例提供的短期噪声样本的第二构建流程示意图,图5A示出的步骤204可以通过以下步骤2041至步骤2042实现,下面具体说明。
在步骤2041中,确定短期噪声的权重,并基于权重对短期噪声进行加权处理,得到权重短期噪声。
在一些实施例中,将(0,1]中的任意一个数值作为短期噪声的权重,根据确定的权重对短期噪声进行加权处理,得到权重短期噪声。
在步骤2042中,将权重短期噪声分别添加在真实样本以及虚假样本中,得到真实短期噪声样本以及虚假短期噪声样本。
在一些实施例中,将权重短期噪声添加在真实样本中,得到真实短期噪声样本,将权重短期噪声添加在虚假样本中,得到虚假短期噪声样本。
通过步骤2041至步骤2042,可以为短期噪声添加权重,减小噪声对原始样本的影响。
通过步骤201至步骤204,可以获得真实短期噪声样本以及虚假短期噪声样本,为模型增加不同类型的训练样本,进一步提高模型预测的准确率和召回率。
在一些实施例中,以真实短期噪声样本为例,将构建的真实短期噪声样本(真实短期噪声图像)输入到分类器中,还可以将真实短期噪声图像经过预处理(如缩放、标准化等)后再输入到分类器中。编码器负责提取图像特征,编码器可以是卷积神经网络,通过一系列的卷积层、池化层和激活函数,编码器将输入的图像转换成特征向量。编码器将特征向量输入到分类层,分类层通常是一个全连接层,分类层将编码器提取的特征映射为类别预测的概率分布。分类层的输出是一个包含不同类别的概率值,表示图像属于每个类别的可能性,选择具有最高概率值的类别作为最终的预测结果,即第一识别结果,第一识别结果包括虚假信息识别模型预测真实短期噪声图像的类别,以及类别对应的概率(预测值),在本申请实施例中,真实短期噪声样本被预测的类别为真实样本或者虚假样本,第一识别结果可以用于表征真实短期噪声图像为真实图像的概率或者为虚假图像的概率,按照上述的实现方式,将一张虚假短期噪声图像输入到分类器中,可以得到虚假短期噪声样本对应的第二识别结果,第二识别结果包括虚假信息识别模型预测虚假短期噪声图像的类别,以及类别对应的概率(预测值),第二识别结果可以用于表征虚假短期噪声图像为真实图像的概率或者为虚假图像的概率。
继续参见图4,接续上文的步骤101进行说明。
在步骤102中,基于真实样本的样本标签、虚假样本的样本标签、第一识别结果以及第二识别结果,确定第一损失函数的损失值。
在一些实施例中,第一损失函数可以是均方误差损失、均方根误差损失、平均绝对误差损失、交叉熵损失、铰链损失、绝对损失、平方损失、KL散度损失、对抗损失、排序损失、零一损失中的任意一种,第一损失函数可以与第三损失函数相同,也可以与第三损失函数不同,可以依据实际情况进行选择。
真实短期噪声样本是在真实样本上添加短期噪声得到的,真实短期噪声样本的样本标签即为真实样本的样本标签,虚假短期噪声样本是在虚假样本上添加短期噪声得到的,虚假短期噪声样本的样本标签即为虚假样本的样本标签。可以根据实际情况选择第一损失函数的损失函数表达式,将真实短期噪声样本对应的真实样本的样本标签1、虚假短期噪声样本对应的虚假样本的样本标签0、第一识别结果的预测值以及第二识别结果的预测值,输入到第一损失函数的损失函数表达式中,可以确定第一损失函数的损失值。
继续参见图4,接续上文的步骤102进行说明。
在步骤103中,通过虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果。
其中,真实长期噪声样本通过对真实样本添加长期噪声得到,虚假长期噪声样本通过对虚假样本添加长期噪声得到。
在一些实施例中,参见图6A,图6A是本申请实施例提供的长期噪声样本构建第一流程示意图,下面结合步骤301至步骤302具体说明。
在步骤301中,通过虚假信息识别模型中的生成器,基于输入的随机噪声生成长期噪声。
在一些实施例中,虚假信息识别是通过虚假信息识别模型中的分类器实现的,分类器由编码器和分类层构成,并且虚假信息识别模型还包括生成器。
随机噪声向量可以是服从某种分布的,比如可以从均匀分布、高斯分布、混合分布、或者其他分布中抽样得到。
生成器的目标是从输入的随机噪声中生成高质量的数据,例如,生成器可以通过多个神经网络层,如全连接层、卷积层、反卷积层等,将输入的随机噪声逐步转换为一个数据样本(即长期噪声)。
在步骤302中,将长期噪声分别添加在真实样本以及虚假样本中,对应得到真实长期噪声样本以及虚假长期噪声样本。
在一些实施例中,参见图6B,图6B是本申请实施例提供的长期噪声样本构建第二流程示意图,图6A示出的步骤302可以通过以下步骤3021至步骤3022实现,下面具体说明。
在步骤3021中,确定长期噪声的权重,并基于权重对长期噪声进行加权处理,得到权重长期噪声。
在一些实施例中,将(0,1]中的任意一个数值作为长期噪声的权重,根据确定的权重对长期噪声进行加权处理,得到权重长期噪声。
在步骤3022中,将权重长期噪声分别添加在真实样本以及虚假样本中,得到真实长期噪声样本以及虚假长期噪声样本。
在一些实施例中,将权重长期噪声添加在真实样本中,得到真实长期噪声样本,将权重长期噪声添加在虚假样本中,得到虚假长期噪声样本。
在一些实施例中,还可以将权重长期噪声添加在真实短期噪声样本中,得到真实长期噪声样本,将权重长期噪声添加在虚假短期噪声样本中,得到虚假长期噪声样本。
通过步骤3021至步骤3022,可以为长期噪声添加权重,减小噪声对原始样本的影响。
通过步骤301至步骤302,可以获得真实长期噪声样本以及虚假长期噪声样本,为模型增加不同类型的训练样本,进一步提高模型预测的准确率和召回率。
在获得真实长期噪声样本以及虚假长期噪声样本之后,通过虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果。
在一些实施例中,虚假信息识别模型还可以识别出真实长期噪声样本以及虚假长期噪声样本,以真实长期噪声样本为例,将构建的真实长期噪声样本(真实长期噪声图像)输入到分类器中,还可以将真实长期噪声图像经过预处理(如缩放、标准化等)后再输入到分类器中。编码器负责提取图像特征,编码器可以是卷积神经网络,通过一系列的卷积层、池化层和激活函数,编码器将输入的图像转换成特征向量。编码器将特征向量输入到分类层,分类层通常是一个全连接层,分类层将编码器提取的特征映射为类别预测的概率分布。分类层的输出是一个包含不同类别的概率值,表示图像属于每个类别的可能性,选择具有最高概率值的类别作为最终的预测结果,即第三识别结果,第三识别结果包括虚假信息识别模型预测真实长期噪声图像的类别,以及类别对应的概率(预测值),在本申请实施例中,真实长期噪声样本被预测的类别为真实长期噪声样本或者虚假长期噪声样本(对应的标签分别为2和3),第三识别结果可以用于表征真实长期噪声图像为真实长期噪声图像的概率或者为虚假长期噪声图像的概率,按照上述的实现方式,将一张虚假长期噪声图像输入到分类器中,可以得到虚假长期噪声样本对应的第四识别结果,第四识别结果包括虚假信息识别模型预测虚假长期噪声图像的类别,以及类别对应的概率(预测值),第四识别结果可以用于表征虚假长期噪声图像为真实长期噪声图像的概率或者为虚假长期噪声图像的概率。
需要说明的是,真实长期噪声样本和虚假长期噪声样本可以称为长期噪声样本。
继续参见图4,接续上文的步骤103进行说明。
在步骤104中,基于真实长期噪声样本的样本标签、虚假长期噪声样本的样本标签、第三识别结果以及第四识别结果,确定第二损失函数的第一损失值。
在一些实施例中,第二损失函数可以是均方误差损失、均方根误差损失、平均绝对误差损失、交叉熵损失、铰链损失、绝对损失、平方损失、KL散度损失、对抗损失、排序损失、零一损失中的任意一种,第二损失函数可以与第一损失函数或第三损失函数相同,也可以与第一损失函数或第三损失函数不同,可以根据实际情况进行选取。
需要说明的是,真实长期噪声样本是在真实样本上添加长期噪声得到的,真实长期噪声样本的样本标签即为真实样本的样本标签,虚假长期噪声样本是在虚假样本上添加长期噪声得到的,虚假长期噪声样本的样本标签即为虚假样本的样本标签。但是在确定第二损失函数的第一损失值的过程中,需要将真实长期噪声样本的样本标签0设置为伪样本标签2,将虚假长期噪声样本的样本标签1设置为伪样本标签3。
可以根据实际情况选择第二损失函数的损失函数表达式,将真实长期噪声样本的伪样本标签2、虚假长期噪声样本的伪样本标签3、第三识别结果的预测值以及第四识别结果的预测值,输入到第二损失函数的损失函数表达式中,可以确定第二损失函数的第一损失值。
在步骤105中,基于第一损失函数的损失值及第二损失函数的第一损失值,更新虚假信息识别模型的模型参数。
在一些实施例中,上述基于第一损失函数的损失值及第二损失函数的第一损失值,更新虚假信息识别模型的模型参数,可以通过以下技术方案实现:分别获取第一损失函数的权重及第二损失函数的权重;基于第一损失函数的损失值与权重及第二损失函数的第一损失值与权重,得到总损失函数的损失值;根据总损失函数的损失值,更新虚假信息识别模型的模型参数。
作为示例,令表示第一损失函数,表示第二损失函数,表示总损失函数,a
表示为第一损失函数的权重,b表示第二损失函数的权重,计算总损失函数的损失值的表达
式(总损失函数的表达式)如下:
(4);
或总损失函数为第一损失函数和第二损失函数的和,表达式如下:
(5);
可以预先设定损失值阈值或迭代次数,当总损失函数的损失值大于损失值阈值时,或者未满足迭代次数时,计算总损失函数关于虚假信息识别模型的每个模型参数的梯度,通过链式法则从输出层向输入层计算梯度,逐层反向传播梯度,根据计算得到的梯度使用优化算法(如梯度下降法)来更新虚假信息识别模型的每个模型参数,重复上述过程直至损失函数达到最小值或满足迭代次数。需要说明的是,虚假信息识别模型可以由一个分类器和一个生成器(用于生成长期噪声)构成,虚假信息识别模型还可以由两个分类器和两个生成器(分别用于生成长期噪声和短期噪声)构成。
在一些实施例中,上述基于第一损失函数的损失值及第二损失函数的第一损失值,更新虚假信息识别模型的模型参数,可以通过以下技术方案实现:基于第一损失函数的损失值、第二损失函数的第一损失值及第三损失函数的第一损失值,更新虚假信息识别模型的模型参数。
作为示例,上述第三损失函数的第一损失值,可以通过以下技术方案获取:
通过虚假信息识别模型分别对真实样本、与真实样本对应的虚假样本进行虚假信息识别,对应得到第五识别结果及第六识别结果;基于真实样本的样本标签、虚假样本的样本标签、第五识别结果以及第六识别结果,确定第三损失函数的第一损失值。
作为示例,上述通过虚假信息识别模型分别对真实样本、与真实样本对应的虚假样本进行虚假信息识别,对应得到第五识别结果及第六识别结果的实现方式可以参考步骤202,此处不再赘述。
可以根据实际情况选择第三损失函数的损失函数表达式,将真实样本的样本标签0、虚假样本的样本标签1、第五识别结果的预测值以及第六识别结果的预测值,输入到第三损失函数的损失函数表达式中,可以确定第三损失函数的第一损失值。
作为示例,上述基于第一损失函数的损失值、第二损失函数的第一损失值及第三损失函数的第一损失值,更新虚假信息识别模型的模型参数,可以通过以下技术方案实现:分别获取第一损失函数的权重、第二损失函数的权重及第三损失函数的权重;基于第一损失函数的损失值与权重、第二损失函数的第一损失值与权重及第三损失函数的第一损失值与权重,得到总损失函数的损失值;根据总损失函数的损失值,更新虚假信息识别模型的模型参数。
例如,令表示第一损失函数,表示第二损失函数,表示第三损失函数,
表示总损失函数,a表示为第一损失函数的权重,b表示第二损失函数的权重,c表示为第三
损失函数的权重,计算总损失函数的损失值的表达式(总损失函数的表达式)如下:
(6);
或总损失函数为第一损失函数、第二损失函数和第三损失函数的和,表达式如下:
(7);
可以预先设定损失值阈值或迭代次数,当总损失函数的损失值大于损失值阈值时,或者未满足迭代次数时,计算总损失函数关于虚假信息识别模型的每个模型参数的梯度,通过链式法则从输出层向输入层计算梯度,逐层反向传播梯度,根据计算得到的梯度使用优化算法(如梯度下降法)来更新虚假信息识别模型的每个模型参数,重复上述过程直至损失函数达到最小值或满足迭代次数。需要说明的是,虚假信息识别模型可以由一个分类器和一个生成器(用于生成长期噪声)构成,虚假信息识别模型还可以由三个分类器和两个生成器(分别用于生成长期噪声和短期噪声)构成。
通过上述技术方案,可引入真实样本和虚假样本所对应的第三损失函数的第一损失值,与第一损失函数的损失值以及第二损失函数的第一损失值共同更新模型的模型参数,进一步提升模型的训练效果,从而提高模型预测的准确率和召回率。
通过步骤101至步骤105,利用短期噪声样本训练模型,降低模型对于训练样本中的局部特征的敏感度,以减小模型的过拟合风险,利用长期噪声样本训练模型,通过改变长期噪声样本的样本标签,使得模型可以更多关注到与样本标签相关的判别信息,从而更好地学习到有用的特征,最终,二者的结合在整体上提高模型预测的准确率和召回率,同时也能够提高模型对于多模态虚假信息识别的性能。
参见图7,图7是本申请实施例提供的虚假信息识别模型的训练方法的第二流程示意图,在图4示出的步骤105之后,还可以进一步更新虚假信息识别模型的模型参数,下面结合步骤401至步骤403具体说明。
在步骤401中,通过更新的虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第七识别结果及第八识别结果。
在一些实施例中,通过已经更新过模型参数的虚假信息识别模型重新对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第七识别结果(真实长期噪声样本的预测值)及第八识别结果(虚假长期噪声样本的预测值)。
在步骤402中,基于真实样本的样本标签、虚假样本的样本标签、第七识别结果以及第八识别结果,确定第二损失函数的第二损失值。
在一些实施例中,通过对真实样本添加长期噪声得到的真实长期噪声样本的样本标签即为真实样本的样本标签,通过对真实样本对应的虚假样本添加长期噪声得到的虚假长期噪声样本的样本标签即为虚假样本的样本标签,在通过更新的虚假信息识别模型进行虚假信息识别时,利用真实样本的样本标签以及虚假样本的样本标签计算损失函数的损失值,可以基于真实样本的样本标签、虚假样本的样本标签、第七识别结果以及第八识别结果,确定第二损失函数的第二损失值。
在步骤403中,基于第一损失函数的损失值及第二损失函数的第二损失值,更新更新的虚假信息识别模型的模型参数。
在一些实施例中,上述基于第一损失函数的损失值及第二损失函数的第二损失值,更新更新的虚假信息识别模型的模型参数的实现方式可以参考步骤105,此处不再赘述。
通过步骤401至步骤403,可以利用真实长期噪声样本以及虚假长期噪声样本原始的样本标签,重新计算损失函数的损失值,进一步更新模型的模型参数,进一步提高模型预测的准确率和召回率。
参见图8,图8是本申请实施例提供的构建原始样本的流程示意图,在图4示出的步骤101之前,还可以获取混合模态的真实样本和虚假样本,下面结合步骤501至步骤503具体说明。
在步骤501中,获取至少两种模态的初始真实样本,并获取与初始真实样本对应的、至少两种模态的初始虚假样本。
在一些实施例中,上述获取至少两种模态的初始真实样本,并获取与初始真实样本对应的、至少两种模态的初始虚假样本的实现方式可以参考步骤201,此处不再赘述。
在步骤502中,将至少两种模态的初始真实样本进行融合,得到真实样本。
在一些实施例中,分别获取权重的权重,并基于权重对至少两种模态的初始真实样本进行加权处理,得到至少两种模态的权重初始真实样本,将至少两种模态的权重初始真实样本进行融合,得到真实样本。
作为示例,上述将至少两种模态的初始真实样本进行融合,得到真实样本可以根据以下表达式表示:
(8);
其中,、……表示为至少两种模态的初始真实样本,、……表示
为至少两种模态的初始真实样本对应的权重(、……可以是矩阵的形式),表
示融合处理后得到的真实样本。
例如,将、……中的一个或多个设置为1(若设置为1可以将设置为
单位矩阵)、或者将、……均设置为1,本申请实施例对的取值不做限定,可以
根据实际情况进行设置,再或者将至少两种模态的初始真实样本作为输入,经过一个深层
的特征编码器(比如卷积神经网络、循环神经网络、注意力机制网络等)再进行融合。本申请
实施例对至少两种模态的初始真实样本的处理方式不做限定,可以根据实际情况进行选
择。
在步骤503中,将至少两种模态的初始虚假样本进行融合,得到虚假样本。
在一些实施例中,上述将至少两种模态的初始虚假样本进行融合,得到虚假样本的实现方式可以参考步骤502,此处不再赘述。
通过步骤501至步骤503,可以构建多模态的真实样本和虚假样本,进一步提高模型对于多模态虚假信息识别的性能。
在一些实施例中,参见图9,图9是本申请实施例提供的虚假信息识别的流程示意图,在图4示出的步骤105之后,还可以调用虚假信息识别模型识别待识别信息,下面结合步骤601至步骤602具体说明。
在步骤601中,获取待识别信息。
作为示例,获取的待识别信息可以是图像模态、文本模态及音频模态的单模态信息,也可以是任意两种或两种以上模态的组合的多模态信息。
在步骤602中,调用虚假信息识别模型对待识别信息进行虚假信息识别,得到用于指示待识别信息是否包括虚假信息的识别结果。
作为示例,如果虚假信息识别模型中只有一个分类器,调用虚假信息识别模型对待识别信息进行虚假信息识别时,通过分类器对待识别信息进行虚假信息识别,如果虚假信息识别模型中有两个分类器,调用虚假信息识别模型对待识别信息进行虚假信息识别时,任意选择其中一个分类器对待识别信息进行虚假信息识别,如果虚假信息识别模型中有三个分类器,调用虚假信息识别模型对待识别信息进行虚假信息识别时,任意选择其中一个分类器对待识别信息进行虚假信息识别,最后得到用于指示待识别信息是否包括虚假信息的识别结果,识别结果中包括虚假信息识别模型预测待识别信息的类别,以及类别对应的概率(预测值)。
通过步骤601至步骤602,可以利用更新后的虚假信息识别模型对待识别信息进行识别。
本申请实施例构建短期噪声样本和长期噪声样本,结合两种样本所对应的损失函数,共同训练虚假信息识别模型,使得模型获得更丰富的训练样本特征,从而提高模型预测的准确率和召回率,解决了第一个“模型的准确率和召回率较低”的问题;通过在样本中添加短期噪声,降低模型对样本中部分信息的敏感度,降低模型的过拟合风险,提高模型的泛化性能,通过在样本中添加短期噪声和长期噪声,获得对应的短期噪声样本和长期噪声样本,可以增加模型的训练样本,也可以降低模型的过拟合风险,提高模型的泛化性能,解决了第二个“训练样本较少,导致模型过拟合,泛化性能不好”的问题;通过将智商两种模态的初始样本进行融合,作为模型的样本,使得模型可以支持多种模态的信息识别,解决了第三个“训练样本较少,导致模型过拟合,泛化性能不好”的问题;同时还可以通过原始样本、短期噪声样本和长期噪声样本,结合三种样本所对应的损失函数,共同训练虚假信息识别模型进一步提高模型预测的准确率和召回率;并且通过改变真实长期噪声样本和虚假长期噪声样本的标签,重新训练虚假信息识别模型,可以使得模型更多关注到样本中与标签相关的判别信息,进一步提高模型预测的准确率和召回率。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例的应用场景可以是图像换脸识别任务、文本的拼凑文本识别或者拼凑文章识别以及伪造的语音等虚假信息的识别,也可以是对图像与文本结合、图像与音频结合或者是图像、文本以及音频结合的多模态的虚假信息的识别。下面举例说明。
一、图像模态:
参见图10A,图10A是本申请实施例提供的虚假信息识别模型鉴别换脸图像的第一原理示意图,给定一组原始图像(第一组图像),包括真实人脸图像A和换脸人脸图像B,生成另外两组换脸图像,一组是原始图像A,B分别叠加上短期对抗噪声得到的图像(第二组图像),包括真实短期对抗噪声人脸图像C和换脸短期对抗噪声人脸图像D,另一组是原始图像A,B分别叠加上长期对抗噪声得到的图像(第三组图像),包括真实长期对抗噪声人脸图像E和换脸长期对抗噪声人脸图像F。
通过虚假信息识别模型中的分类器分别对上述六幅图像进行分类,对于前两组图像,本申请实施例期望分类器将真实人脸图像A和真实短期对抗噪声人脸图像C分到类别0里面,将换脸人脸图像B和换脸短期对抗噪声人脸图像D分到类别1里面。对于第三组图像,本申请实施例中期望分类器将真实长期对抗噪声人脸图像E分到类别2里面,而将换脸长期对抗噪声人脸图像F分到类别3里面。
参见图10B,图10B是本申请实施例提供的虚假信息识别模型鉴别换脸图像的第二原理示意图,给定一组原始图像(第一组图像),包括真实人脸图像A和换脸人脸图像B,生成另外两组换脸图像,一组是原始图像A,B分别叠加上短期对抗噪声得到的图像(第二组图像),包括真实短期对抗噪声人脸图像C和换脸短期对抗噪声人脸图像D,另一组是原始图像A,B分别叠加上长期对抗噪声得到的图像(第三组图像),包括真实长期对抗噪声人脸图像E和换脸长期对抗噪声人脸图像F。
分类器1、分类器2和分类器3是完全相同的分类器,通过虚假信息识别模型中的分类器1分别对图像A,图像B进行分类,通过分类器2分别对图像C,图像D进行分类,通过分类器3分别对图像E,图像F进行分类,对于前两组图像,本申请实施例期望分类器将真实人脸图像A和真实短期对抗噪声人脸图像C分到类别0里面,将换脸人脸图像B和换脸短期对抗噪声人脸图像D分到类别1里面。对于第三组图像,本申请实施例中期望分类器将真实长期对抗噪声人脸图像E分到类别2里面,而将换脸长期对抗噪声人脸图像F分到类别3里面。
参见图11,图11是本申请实施例提供的示例性的短期对抗噪声的生成方法示意图,如图11所示。输入的图像M可以是图10A或图10B中的真实人脸图像A和换脸人脸图像B。例如,分别将图像A,图像B输入到分类器中,将图像A,图像B的标签进行变换,即图像B的标签为1换成0,图像A的标签为0换成1。使用翻转后的标签计算分类损失函数的损失值,根据模型的每一层的参数对分类损失函数求导得到梯度,反向传播梯度(即短期对抗噪声N),并叠加在图像A,图像B上,得到图10A或图10B中的图像C,图像D。
参见图12,图12是本申请实施例提供的示例性的长期对抗噪声的生成方法示意图,如图12所示。流程中包含一个长期对抗噪声生成器负责生成长期对抗噪声,长期对抗噪声生成器根据输入的随机噪声生成长期对抗噪声R。输入的图像O可以是图10A或图10B中的真实人脸图像A,输入的图像P可以是图10A或图10B中的换脸人脸图像B,叠加长期对抗噪声的图像Q可以是图10A或图10B中的真实人脸图像A和换脸人脸图像B。在分类器的训练过程中与长期对抗噪声相关的训练方式分为两步,第一步,将长期对抗噪声分别与图像A,图像B叠加后,得到图10A或图10B中的图像E,图像F,分类器对图像E,图像F进行分类,得到预测结果,此时图像E,图像F对应的标签分别为2和3,计算分类损失函数的损失值后训练分类器;第二步,将长期噪声与原始图像叠加后,输入到分类器中,此时图像E,图像F的标签由2和3变更为0和1,计算分类损失函数的损失值后,根据每一层的参数对损失函数求导得到梯度,反向传播梯度,更新分类器的网络参数。
下面介绍训练的具体步骤:
步骤1:将图像A,图像B分别输入到虚假信息识别模型中,虚假信息识别模型中的分类器分别对图像A,图像B进行预测,得到对应的预测值a,b,根据预测值a,b以及图像A的标签0,图像B的标签1,计算得到第三损失函数对应的第一损失值;
步骤2:交换图像A,图像B对应的标签,得到图像A,图像B对应的伪标签,根据图像A,图像B的预测值a,b以及图像A的伪标签1,图像B的伪标签0,计算得到第三损失函数对应的第二损失值,通过链式法则从输出层向输入层计算梯度,逐层反向传播梯度,在反向传播梯度的过程中,不更新虚假信息识别模型的参数,传播至输入层时,根据图像A的伪标签1,图像B的伪标签0计算出虚假信息识别模型的梯度。并将梯度作为短期对抗噪声;
步骤3:将短期对抗噪声分别与图像A,图像B叠加,同时叠加一个权重α,α为0-1之间的随机值,得到图像C,图像D,分类器对图像C,图像D分别进行预测,得到对应的预测值c,d,根据预测值c,d以及图像C的标签0,图像D的标签1,计算得到第一损失函数对应的损失值;
步骤4:长期对抗噪声生成器根据输入的随机噪声,得到长期对抗噪声,将长期对抗噪声分别与图像A,图像B叠加,同时叠加一个权重为β,β为0-1之间的随机值,得到图像E,图像F,分类器对图像E,图像F分别进行预测,得到对应的预测值e,f,根据预测值e,f以及图像E的伪标签2,图像F的伪标签3,计算得到第二损失函数对应的第一损失值;
步骤5:将第一损失函数、第二损失函数以及第三损失函数进行相加求和,得到总损失函数,根据第一损失函数的损失值、第二损失函数的第一损失值以及第三损失函数的第一损失值进行相加求和,得到总损失函数的损失值,根据总损失函数的损失值,通过链式法则从输出层向输入层计算梯度,逐层反向传播梯度,根据计算得到的梯度使用优化算法(如梯度下降法)来更新虚假信息识别模型的每个模型参数;
步骤6:将第4步中图像E,图像F的标签由2和3变更为0和1,更新后的分类器分别对图像E,图像F分别进行预测,得到对应的预测值g,h,根据预测值g,h以及图像E的标签0,图像F的标签1,计算得到第二损失函数对应的第二损失值;根据第二损失函数对应的第二损失值、第一损失函数的损失值以及第三损失函数的第一损失值重新计算求和后的损失函数的损失值,按照步骤5进一步更新虚假信息识别模型的模型参数。
继续参见图10B,如图10B所示,在训练分类器的过程中,可以参照上述步骤1至步骤6。不同之处在于,在图10B中,通过三个相同的分类器分别对三组图像进行预测,得到每个分类器对应的损失函数的损失值,并将三个损失函数相加得到总损失函数,再根据总损失函数的损失值进行反向传播,同时更新三个分类器的参数,由于三个分类器是相同的,基于此,更新参数后的三个分类器仍是相同的,在应用阶段可以选择任意一个分类器进行预测。
二、文本模态:
以拼凑文本识别任务为例,给定一组原始文本包括真实文本A和拼凑文本B,本申请实施例可以生成另外两组带噪文本编码(由于噪声是向量形式,无法直接叠加在文本上,因此,在本申请实施例中的原始文本均是指原始文本经过文本编码器(如RNN、CNN、Transformer-Encoder等)提取的特征向量),一组是原始文本A,B分别叠加上短期对抗噪声得到的真实短期对抗噪声文本C和拼凑短期对抗噪声文本D,另一组是原始文本A,B分别叠加上长期对抗噪声得到的真实长期对抗噪声文本E和拼凑长期对抗噪声文本F。
下面介绍训练具体步骤:
步骤1:将文本A,文本B分别输入到虚假信息识别模型中,虚假信息识别模型中的分类器分别对文本A,文本B进行预测,得到对应的预测值a,b,根据预测值a,b以及文本A的标签0,文本B的标签1,计算得到第三损失函数对应的第一损失值;
步骤2:交换文本A,文本B对应的标签,得到文本A,文本B对应的伪标签,根据文本A,文本B的预测值a,b以及文本A的伪标签1,文本B的伪标签0,计算得到第三损失函数对应的第二损失值,通过链式法则从输出层向输入层计算梯度,逐层反向传播梯度,在反向传播梯度的过程中,不更新虚假信息识别模型的参数,传播至输入层时,根据文本A的伪标签1,文本B的伪标签0计算出虚假信息识别模型的梯度。并将梯度作为短期对抗噪声;
步骤3:将短期对抗噪声分别与文本A,文本B叠加,同时叠加一个权重α,α为0-1之间的随机值,得到文本C,文本D,分类器对文本C,文本D分别进行预测,得到对应的预测值c,d,根据预测值c,d以及文本C的标签0,文本D的标签1,计算得到第一损失函数对应的损失值;
步骤4:长期对抗噪声生成器根据输入的随机噪声,得到长期对抗噪声,将长期对抗噪声分别与文本A,文本B叠加,同时叠加一个权重为β,β为0-1之间的随机值,得到文本E,文本F,分类器对文本E,文本F分别进行预测,得到对应的预测值e,f,根据预测值e,f以及文本E的伪标签2,文本F的伪标签3,计算得到第二损失函数对应的第一损失值;
步骤5:将第一损失函数、第二损失函数以及第三损失函数进行相加,得到总损失函数,根据第一损失函数的损失值、第二损失函数的第一损失值以及第三损失函数的第一损失值进行相加求和,得到总损失函数的损失值,根据总损失函数的损失值,通过链式法则从输出层向输入层计算梯度,逐层反向传播梯度,根据计算得到的梯度使用优化算法(如梯度下降法)来更新虚假信息识别模型的每个模型参数;
步骤6:将第4步中文本E,文本F的标签由2和3变更为0和1,更新后的分类器分别对文本E,文本F分别进行预测,得到对应的预测值g,h,根据预测值g,h以及文本E的标签0,文本F的标签1,计算得到第二损失函数对应的第二损失值;根据第二损失函数对应的第二损失值,重新计算求和后的总损失函数的损失值,按照步骤5进一步更新虚假信息识别模型的模型参数。
三、混合模态:
混合模态的整体流程与以上两种模态训练方式类似,不同的是,需要加一个特征融合模块,来融合不同模态的特征,本申请实施例采取的方式是加权求和的形式,但对此并不限定。比如对于文本和图像混合模态的特征,将文本特征经过一个权重矩阵W1相乘后,与图像特征经过权重矩阵W2相乘后的结果相加,形成融合特征(即相当于获得真实样本和虚假样本)。然后将上述短期对抗噪声和长期对抗噪声分别加在融合特征上。具体的实现方式可以参考图像模态或者文本模态的步骤,此处不再赘述。
下面继续说明本申请实施例提供的虚假信息识别模型的训练装置555的实施为软件模块的示例性结构,在一些实施例中,如图3所示,存储在存储器550的虚假信息识别模型的训练装置555中的软件模块可以包括:
第一识别模块5551,用于通过所述虚假信息识别模型分别对真实短期噪声样本、虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果;其中,所述真实短期噪声样本通过对真实样本添加短期噪声得到,所述虚假短期噪声样本通过对所述真实样本对应的虚假样本添加短期噪声得到。
第一确定模块5552,用于基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第一识别结果以及所述第二识别结果,确定第一损失函数的损失值。
第二识别模块5553,用于通过所述虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果;其中,所述真实长期噪声样本通过对所述真实样本添加长期噪声得到,所述虚假长期噪声样本通过对所述虚假样本添加长期噪声得到。
第二确定模块5554,用于基于所述真实长期噪声样本的样本标签、所述虚假长期噪声样本的样本标签、所述第三识别结果以及所述第四识别结果,确定第二损失函数的第一损失值。
更新模块5555,用于基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数。
在一些实施例中,所述装置还包括:
第三识别模块,用于通过虚假信息识别模型分别对真实样本、与所述真实样本对应的虚假样本进行虚假信息识别,对应得到第五识别结果及第六识别结果。
第三确定模块,用于基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第五识别结果以及所述第六识别结果,确定第三损失函数的第一损失值。
在一些实施例中,更新模块5555,还用于基于所述第一损失函数的损失值、所述第二损失函数的第一损失值及所述第三损失函数的第一损失值,更新所述虚假信息识别模型的模型参数。
在一些实施例中,更新模块5555,还用于分别获取所述第一损失函数的权重、所述第二损失函数的权重及所述第三损失函数的权重;基于所述第一损失函数的损失值与权重、所述第二损失函数的第一损失值与权重及所述第三损失函数的第一损失值与权重,得到总损失函数的损失值;根据所述总损失函数的损失值,更新所述虚假信息识别模型的模型参数。
在一些实施例中,所述装置还包括:
第一生成模块,用于交换所述真实样本的样本标签以及所述虚假样本的样本标签,得到所述真实样本的伪样本标签以及所述虚假样本的伪样本标签;
基于所述真实样本的伪样本标签、所述虚假样本的伪样本标签、所述第五识别结果以及所述第六识别结果,确定所述第三损失函数的第二损失值;基于所述第三损失函数的第二损失值,生成短期噪声;将所述短期噪声分别添加在所述真实样本以及所述虚假样本中,对应得到所述真实短期噪声样本以及所述虚假短期噪声样本。
在一些实施例中,第一生成模块,还用于根据所述第三损失函数的第二损失值,确定所述第三损失函数对于所述模型参数的导数,得到所述虚假信息识别模型的梯度;将所述虚假信息识别模型的梯度确定为短期噪声。
在一些实施例中,第一生成模块,还用于确定所述短期噪声的权重,并基于所述权重对所述短期噪声进行加权处理,得到权重短期噪声;将所述权重短期噪声分别添加在所述真实样本以及所述虚假样本中,得到所述真实短期噪声样本以及所述虚假短期噪声样本。
在一些实施例中,所述装置还包括:
第二生成模块,用于通过虚假信息识别模型中的生成器,基于输入的随机噪声生成长期噪声;将所述长期噪声分别添加在所述真实样本以及所述虚假样本中,对应得到所述真实长期噪声样本以及所述虚假长期噪声样本。
在一些实施例中,第二生成模块,还用于确定所述长期噪声的权重,并基于所述权重对所述长期噪声进行加权处理,得到权重长期噪声;将所述权重长期噪声分别添加在所述真实样本以及所述虚假样本中,得到所述真实长期噪声样本以及所述虚假长期噪声样本。
在一些实施例中,更新模块5555,还用于通过更新的虚假信息识别模型分别对所述真实长期噪声样本、所述虚假长期噪声样本进行虚假信息识别,对应得到第七识别结果及第八识别结果;基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第七识别结果以及所述第八识别结果,确定所述第二损失函数的第二损失值;基于所述第一损失函数的损失值及所述第二损失函数的第二损失值,更新所述更新的虚假信息识别模型的模型参数。
在一些实施例中,所述装置还包括:
融合模块,用于获取至少两种模态的初始真实样本,并获取与所述初始真实样本对应的、至少两种模态的初始虚假样本;将所述至少两种模态的初始真实样本进行融合,得到所述真实样本;将所述至少两种模态的初始虚假样本进行融合,得到所述虚假样本。
在一些实施例中,所述装置还包括:
获取模块,用于获取待识别信息。
第四识别模块,用于调用虚假信息识别模型对所述待识别信息进行虚假信息识别,得到用于指示所述待识别信息是否包括虚假信息的识别结果。
本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序或计算机可执行指令,该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令,处理器执行该计算机可执行指令,使得该电子设备执行本申请实施例上述的虚假信息识别模型的训练方法。
本申请实施例提供一种计算机可读存储介质,其中存储有计算机可执行指令或者计算机程序,当计算机可执行指令或者计算机程序被处理器执行时,将引起处理器执行本申请实施例提供的虚假信息识别模型的训练方法,例如,如图4至图8示出的虚假信息识别模型的训练方法。
在一些实施例中,计算机可读存储介质可以是RAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,计算机可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(Hyper TextMarkup Language,HTML)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,计算机可执行指令可被部署为在一个电子设备上执行,或者在位于一个地点的多个电子设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个电子设备上执行。
综上所述,通过本申请实施例构造的针对虚假信息识别模型的短期噪声样本和长期噪声样本,虚假信息识别模型可以获得更丰富的训练样本特征,从而提高虚假信息识别模型的性能,可以适用于大部分需要训练深度分类模型的产品中,支持多种模态(图像、文本、语音以及混合模态),提高模型预测的准确率和召回率。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (14)
1.一种虚假信息识别模型的训练方法,其特征在于,所述方法包括:
交换真实样本的样本标签以及虚假样本的样本标签,得到所述真实样本的伪样本标签以及所述虚假样本的伪样本标签;
通过虚假信息识别模型分别对所述真实样本、与所述真实样本对应的所述虚假样本进行虚假信息识别,对应得到第五识别结果及第六识别结果;
基于所述真实样本的伪样本标签、所述虚假样本的伪样本标签、所述第五识别结果以及所述第六识别结果,确定第三损失函数的第二损失值;
基于所述第三损失函数的第二损失值,确定所述虚假信息识别模型的梯度,将所述虚假信息识别模型的梯度确定为短期噪声;
将所述短期噪声分别添加在所述真实样本以及所述虚假样本中,对应得到真实短期噪声样本以及虚假短期噪声样本;
通过所述虚假信息识别模型分别对所述真实短期噪声样本、所述虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果;
基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第一识别结果以及所述第二识别结果,确定第一损失函数的损失值;
通过所述虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果;
其中,所述真实长期噪声样本通过对所述真实样本添加长期噪声得到,所述虚假长期噪声样本通过对所述虚假样本添加长期噪声得到,所述长期噪声是通过所述虚假信息识别模型中的生成器基于输入的随机噪声生成的;
基于所述真实长期噪声样本的样本标签、所述虚假长期噪声样本的样本标签、所述第三识别结果以及所述第四识别结果,确定第二损失函数的第一损失值;
基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第五识别结果以及所述第六识别结果,确定第三损失函数的第一损失值;
所述基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数,包括:
基于所述第一损失函数的损失值、所述第二损失函数的第一损失值及所述第三损失函数的第一损失值,更新所述虚假信息识别模型的模型参数。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一损失函数的损失值、所述第二损失函数的第一损失值及所述第三损失函数的第一损失值,更新所述虚假信息识别模型的模型参数,包括:
分别获取所述第一损失函数的权重、所述第二损失函数的权重及所述第三损失函数的权重;
基于所述第一损失函数的损失值与权重、所述第二损失函数的第一损失值与权重及所述第三损失函数的第一损失值与权重,得到总损失函数的损失值;
根据所述总损失函数的损失值,更新所述虚假信息识别模型的模型参数。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第三损失函数的第二损失值,确定所述虚假信息识别模型的梯度,包括:
根据所述第三损失函数的第二损失值,确定所述第三损失函数对于所述模型参数的导数,得到所述虚假信息识别模型的梯度。
5.根据权利要求1所述的方法,其特征在于,所述将所述短期噪声分别添加在所述真实样本以及所述虚假样本中,对应得到真实短期噪声样本以及虚假短期噪声样本,包括:
确定所述短期噪声的权重,并基于所述权重对所述短期噪声进行加权处理,得到权重短期噪声;
将所述权重短期噪声分别添加在所述真实样本以及所述虚假样本中,得到所述真实短期噪声样本以及所述虚假短期噪声样本。
6.根据权利要求1所述的方法,其特征在于,所述虚假信息识别通过所述虚假信息识别模型中的分类器实现;
在所述通过所述虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别之前,所述方法还包括:
通过虚假信息识别模型中的生成器,基于输入的随机噪声生成长期噪声;
将所述长期噪声分别添加在所述真实样本以及所述虚假样本中,对应得到所述真实长期噪声样本以及所述虚假长期噪声样本。
7.根据权利要求6所述的方法,其特征在于,所述将所述长期噪声分别添加在所述真实样本以及所述虚假样本中,对应得到所述真实长期噪声样本以及所述虚假长期噪声样本,包括:
确定所述长期噪声的权重,并基于所述权重对所述长期噪声进行加权处理,得到权重长期噪声;
将所述权重长期噪声分别添加在所述真实样本以及所述虚假样本中,得到所述真实长期噪声样本以及所述虚假长期噪声样本。
8.根据权利要求1所述的方法,其特征在于,在所述基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数之后,所述方法还包括:
通过更新的虚假信息识别模型分别对所述真实长期噪声样本、所述虚假长期噪声样本进行虚假信息识别,对应得到第七识别结果及第八识别结果;
基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第七识别结果以及所述第八识别结果,确定所述第二损失函数的第二损失值;
基于所述第一损失函数的损失值及所述第二损失函数的第二损失值,更新所述更新的虚假信息识别模型的模型参数。
9.根据权利要求1所述的方法,其特征在于,在所述通过所述虚假信息识别模型分别对真实短期噪声样本、虚假短期噪声样本进行虚假信息识别之前,所述方法还包括:
获取至少两种模态的初始真实样本,并获取与所述初始真实样本对应的、至少两种模态的初始虚假样本;
将所述至少两种模态的初始真实样本进行融合,得到所述真实样本;
将所述至少两种模态的初始虚假样本进行融合,得到所述虚假样本。
10.根据权利要求1所述的方法,其特征在于,所述基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数之后,所述方法还包括:
获取待识别信息;
调用虚假信息识别模型对所述待识别信息进行虚假信息识别,得到用于指示所述待识别信息是否包括虚假信息的识别结果。
11.一种虚假信息识别模型的训练装置,其特征在于,所述装置包括:
第一生成模块,用于交换真实样本的样本标签以及虚假样本的样本标签,得到所述真实样本的伪样本标签以及所述虚假样本的伪样本标签;
第三识别模块,用于通过虚假信息识别模型分别对所述真实样本、与所述真实样本对应的所述虚假样本进行虚假信息识别,对应得到第五识别结果及第六识别结果;
所述第一生成模块,还用于基于所述真实样本的伪样本标签、所述虚假样本的伪样本标签、所述第五识别结果以及所述第六识别结果,确定第三损失函数的第二损失值;基于所述第三损失函数的第二损失值,确定所述虚假信息识别模型的梯度,将所述虚假信息识别模型的梯度确定为短期噪声;将所述短期噪声分别添加在所述真实样本以及所述虚假样本中,对应得到真实短期噪声样本以及虚假短期噪声样本;
第一识别模块,用于通过所述虚假信息识别模型分别对所述真实短期噪声样本、所述虚假短期噪声样本进行虚假信息识别,对应得到第一识别结果及第二识别结果;
第一确定模块,用于基于所述真实样本的样本标签、所述虚假样本的样本标签、所述第一识别结果以及所述第二识别结果,确定第一损失函数的损失值;
第二识别模块,用于通过所述虚假信息识别模型分别对真实长期噪声样本、虚假长期噪声样本进行虚假信息识别,对应得到第三识别结果及第四识别结果;其中,所述真实长期噪声样本通过对所述真实样本添加长期噪声得到,所述虚假长期噪声样本通过对所述虚假样本添加长期噪声得到,所述长期噪声是通过所述虚假信息识别模型中的生成器基于输入的随机噪声生成的;
第二确定模块,用于基于所述真实长期噪声样本的样本标签、所述虚假长期噪声样本的样本标签、所述第三识别结果以及所述第四识别结果,确定第二损失函数的第一损失值;
更新模块,用于基于所述第一损失函数的损失值及所述第二损失函数的第一损失值,更新所述虚假信息识别模型的模型参数。
12.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现权利要求1至10任一项所述的虚假信息识别模型的训练方法。
13.一种计算机可读存储介质,存储有计算机可执行指令或者计算机程序,其特征在于,所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至10任一项所述的虚假信息识别模型的训练方法。
14.一种计算机程序产品,包括计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至10任一项所述的虚假信息识别模型的训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410575897.4A CN118152812B (zh) | 2024-05-10 | 2024-05-10 | 虚假信息识别模型的训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410575897.4A CN118152812B (zh) | 2024-05-10 | 2024-05-10 | 虚假信息识别模型的训练方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118152812A CN118152812A (zh) | 2024-06-07 |
CN118152812B true CN118152812B (zh) | 2024-07-23 |
Family
ID=91292139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410575897.4A Active CN118152812B (zh) | 2024-05-10 | 2024-05-10 | 虚假信息识别模型的训练方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118152812B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112989186A (zh) * | 2021-02-25 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 资讯信息推荐模型训练方法、装置、电子设备及存储介质 |
CN113822320A (zh) * | 2021-07-12 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 生成模型训练方法和装置、样本生成方法和计算设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111445007B (zh) * | 2020-03-03 | 2023-08-01 | 平安科技(深圳)有限公司 | 对抗生成神经网络的训练方法及系统 |
-
2024
- 2024-05-10 CN CN202410575897.4A patent/CN118152812B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112989186A (zh) * | 2021-02-25 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 资讯信息推荐模型训练方法、装置、电子设备及存储介质 |
CN113822320A (zh) * | 2021-07-12 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 生成模型训练方法和装置、样本生成方法和计算设备 |
Also Published As
Publication number | Publication date |
---|---|
CN118152812A (zh) | 2024-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020228376A1 (zh) | 文本处理方法、模型训练方法和装置 | |
CN112084331B (zh) | 文本处理、模型训练方法、装置、计算机设备和存储介质 | |
CN115129848B (zh) | 一种视觉问答任务的处理方法、装置、设备和介质 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN117521675A (zh) | 基于大语言模型的信息处理方法、装置、设备及存储介质 | |
CN111898636B (zh) | 一种数据处理方法及装置 | |
CN114627282B (zh) | 目标检测模型的建立方法、应用方法、设备、装置及介质 | |
CN112633459A (zh) | 训练神经网络的方法、数据处理方法和相关装置 | |
CN113946681B (zh) | 文本数据的事件抽取方法、装置、电子设备及可读介质 | |
CN115223020B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
CN115512005A (zh) | 一种数据处理方法及其装置 | |
US20240046067A1 (en) | Data processing method and related device | |
CN113392180A (zh) | 文本处理方法、装置、设备及存储介质 | |
CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
CN115601629A (zh) | 模型训练方法、图像识别方法、介质、装置和计算设备 | |
CN115204301A (zh) | 视频文本匹配模型训练、视频文本匹配方法和装置 | |
CN115081615A (zh) | 一种神经网络的训练方法、数据的处理方法以及设备 | |
CN115795038A (zh) | 基于国产化深度学习框架的意图识别方法和装置 | |
CN111433786A (zh) | 计算设备和计算设备的信息输入方法 | |
CN113449840A (zh) | 神经网络训练方法及装置、图像分类的方法及装置 | |
CN114297022A (zh) | 云环境异常检测方法、装置、电子设备和存储介质 | |
CN114282258A (zh) | 截屏数据脱敏方法、装置、计算机设备及存储介质 | |
CN113569094A (zh) | 视频推荐方法、装置、电子设备及存储介质 | |
CN118152812B (zh) | 虚假信息识别模型的训练方法、装置、设备及存储介质 | |
CN116645956A (zh) | 语音合成方法、语音合成系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |