CN111862260B - 基于跨域对偶生成式对抗网络的偏见消除方法与装置 - Google Patents
基于跨域对偶生成式对抗网络的偏见消除方法与装置 Download PDFInfo
- Publication number
- CN111862260B CN111862260B CN202010759081.9A CN202010759081A CN111862260B CN 111862260 B CN111862260 B CN 111862260B CN 202010759081 A CN202010759081 A CN 202010759081A CN 111862260 B CN111862260 B CN 111862260B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- generator
- domain
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009977 dual effect Effects 0.000 title claims abstract description 37
- 238000013508 migration Methods 0.000 claims abstract description 49
- 230000005012 migration Effects 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000008030 elimination Effects 0.000 claims description 16
- 238000003379 elimination reaction Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008485 antagonism Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 230000003321 amplification Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000916 dilatatory effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于跨域对偶生成式对抗网络的偏见消除方法和装置,包括以下步骤:(1)构建样本对;(2)基于跨域对偶生成式对抗网络构建训练系统,包括生成器GA、GB、判别器DA、DB;(3)根据生成图像与样本图像v之间的距离构建判别器DA、DB的损失函数;根据所有生成图像和样本图像之间的距离、根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建生成器GA、GB的损失函数;(4)利用损失函数对训练系统进行对抗训练,训练结束后,提取参数确定的生成器GA和GB作为两个图像迁移模型;(5)应用时,将图像对分别输入至两个图像迁移模型,经计算生成图像域迁移的两张生成图像。
Description
技术领域
本发明属于图像生成领域,具体设计一种基于跨域对偶生成式对抗网络的偏见消除方法与装置。
背景技术
近年来,深度学习已经被广泛的应用于目标检测、图像检测、数据生成等领域。生成对抗网络(GAN)是目前深度学习中较为先进的技术之一,生成对抗网络通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生较好的输出,一般采用深度神经网络。
跨域图像-图像翻译的生成对抗网络(GAN)取得了很大的进展。根据任务复杂度的不同,训练生成对抗网络需要成千上万个图像对,而对于大量数据来说图像对是难以获得的。从自然语言翻译中得到对偶学习的启发,产生了一种新的对偶生成对抗网络机制(Dual-GAN),是在原来的生成对抗网络的基础上进一步扩展为两个相互耦合的生成对抗网络,其中有两个生成器和两个判别器,使图像翻译人员可以从两个域的两组图像中进行训练与辨别。对偶生成对抗网络最关键的一点在于,给定一个原始任务模型,对偶任务的模型可以给其提供反馈;同样的,给定一个对偶任务的模型,其原始任务的模型也可以给该对偶任务的模型提供反馈,这两个互为对偶的任务可以相互提供反馈,相互学习,相互提高。
图像识别系统例如一些深度学习网络,虽然它们在实际应用方面取得了很大进展,但它们还是很敏感。当这类系统用于包含人物的图像时,它们可能会将性别、种族或年龄等保护属性与物体或动作标签过度关联,从而放大社会刻板印象。而且,经过训练的模型大大扩大了某些标签与保护属性的关联,超出了人们对有偏见的数据集的接受程度。即使数据集是平衡的,每个标签都与保护属性平等,学习的模型也会放大标签和保护属性之间的关联。这样放大社会刻板印象的现象将直接影响图像生成模型生成的图像,导致错误判断。
这种放大社会刻板印象产生主要来自于两部分的泄露,第一部分是数据集泄露,当数据集被泄露攻击时,攻击者试图从其任务特定标签中,对输入图像中的受保护属性进行反向工程,则会造成保护属性对模型的任务结果产生很大偏见,出现放大社会刻板印象。另一部分是模型泄露,模型直接泄露数据集中被保护属性,则会造成保护属性对模型的任务结果产生很大偏见,出现放大社会刻板印象。
发明内容
本发明的目的是提供一种基于跨域对偶生成式对抗网络(Dual-GAN)的偏见消除方法与装置,以克服因为存在偏见或偏见放大而导致的图像域转移生成图像的不准确性问题。
为实现上述发明目的,本发明提供以下技术方案:
一种基于跨域对偶生成式对抗网络的偏见消除方法,包括以下步骤:
(1)采集图像数据,并标记图像数据的任务标签和受保护属性,将任务标签、受保护属性与图像数据构成一个样本图像,组成样本集,根据任务标签不同将样本集分成U域样本集和V域样本集,U域样本集中样本图像u和V域样本集中的样本图像v组成一个样本对;
(2)基于跨域对偶生成式对抗网络构建训练系统,包括生成器GA、判别器DA、生成器GB、判别器DB,样本对中样本图像u和样本图像v分别输入至生成器GA、生成器GB中,并为生成器GA和生成器GB分别添加噪声信息z和噪声信息z’,样本图像u与噪声信息z经过生成器GA编码的生成图像GA(u,z)再与噪声信息z’经过生成器GB编码得到生成图像GB(GA(u,z),z'),样本图像v与噪声信息z’经过生成器GB编码的生成图像GB(v,z')再与噪声信息z经过生成器GA编码得到生成图像GA(GB(u,z'),z),判别器DA判别生成图像GA(u,z)与样本图像v的真伪,判别器DB判别生成图像GB(v,z')与样本图像u的真伪;
(3)构建损失函数,根据生成图像GA(u,z)与样本图像v之间的距离构建判别器DA的第一损失函数;根据生成图像GB(v,z’)与样本图像u之间的距离构建判别器DB的第二损失函数,根据所有生成图像和样本图像之间的距离构建第一部分损失,根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建第二部分损失,第一部分损失和第二部分损失组成生成器GA和生成器GB的第三损失函数;
(4)利用第一损失函数、第二损失函数以及第三损失函数对训练系统进行对抗训练,训练结束后,提取参数确定的生成器GA和GB作为两个图像迁移模型;
(5)应用时,将图像对分别输入至两个图像迁移模型,经计算生成图像域迁移的两张迁移图像。
一种基于跨域对偶生成式对抗网络的偏见消除装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,所述计算机存储器中采用上述基于跨域对偶生成式对抗网络的偏见消除方法构建的两个图像迁移模型;
所述计算机处理器执行所述计算机程序时实现以下步骤:
将图像对分别输入至两个图像迁移模型,经计算生成图像域迁移的两张迁移图像。
与现有技术相比,本发明具有的有益效果至少包括:
通过对Dual-GAN的生成器施加去除偏见操作,采用对抗性的方法,从生成器的中间表示中删除与受保护属性对应的不必要特征,减少偏见放大,同时保持了判别器良好的隶属度评分,提升了图像域转移生成图像的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是本发明实施例提供的基于跨域对偶生成式对抗网络的偏见消除方法的流程图;
图2是本发明实施例提供的训练系统的结构示意图;
图3是本发明实施例提供的生成器的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
为了解决通过图像域迁移存在偏见问题导致生成图像不准确的问题,本发明实施例提供了一种基于跨域对偶生成式对抗网络的偏见消除方法和装置。
本发明把深度学习模型在做出决策时,受到无关但敏感特征的影响,并且其决策可能会会依赖于这种错误的特征关联的现象定义为模型的偏见行为。以性别歧视为例,假设性别标签是深度学习模型无关但敏感的特征,在其它标签的预测任务中,虽然不包括性别预测,但性别特征可能会影响其它分类任务,从而使深度学习产生性别歧视,即模型存在偏见。该偏见的存在直接影响模型的性能,使得模型的输出结果不准确。这种偏见可能来自于数据集的泄露,也可能来自于模型的泄露。
针对数据集的泄露,如果存在一个函数f(),使得gi≈f(Yi),则任务标签Yi会泄漏有关受保护属性gi的信息,将函数f()称为攻击者,因为它试图从其任务标签Yi中,对输入图像Xi中的受保护属性gi进行反向工程。攻击者的性能,即数据集D中通过任务标签Yi泄漏有关受保护属性gi信息的实例的分数,产生了泄漏的估计:
其中,1[]是指标函数,用于扩展了泄漏的定义,以评估在不同的准确性水平上显示了多少受保护属性,其中错误完全是由于偶然造成的,λD为偏见程度,通过扰动真实标签来定义性能为a时的数据集泄漏,其中包含一些函数r(Yi,a),这样,所更改的标签相对于真值的总体精度达到了精度a:
针对模型的泄露,通过生成器M的输出泄漏有关受保护属性信息。通过泄漏有关的受保护属性gi信息的百分比,为了衡量预测泄漏,在上训练一个不同的攻击者来提取有关受保护属性gi信息:
其中,f()是一个攻击者函数,训练从生成器M的输出中预测受保护属性gi,该函数具有精度得分a。
在数据集的泄露和模型的泄露的基础上,得到偏差放大,将这种偏差放大定义为模型泄漏与数据集泄漏在相同精度a下的差异Δ=λM(a)-λD(a)。需要注意的是,λD(a)测量了一个理想模型的泄露,实现了一个性能水平a,但是只有随机犯错误,不是因为系统性偏差。一个包含Δ(大于0)的模型泄漏的受保护属性信息比预期的要多,即使是简单地完成数据集定义的任务也是如此。这代表了一种依赖于受保护属性来完成预测任务的放大类型。、a可以是任何的性能测量,但是本实验中使用F1分数。之后,将展示所评估的所有模型泄漏的信息比预期的要多,甚至在数据集没有泄漏信息时也会泄漏信息。由此可见这两种偏见的存在极大地影响了模型的性能。
图1为实施例提供的基于跨域对偶生成式对抗网络的偏见消除方法的流程图,如图1所示,该基于跨域对偶生成式对抗网络的偏见消除方法包括以下步骤:
步骤1,采集图像数据,构建样本对。
首先,可以从多标签分类的COCO数据集中采集包含有人的图像作为样本图像,选择职业标签作为任务标签,引起偏见的性别属性作为受保护属性,对任务标签和受保护属性进行标记,将任务标签Y、受保护属性g和图像数据X构成一个样本图像(X,Y,g),组成样本集。
由于本实施例的任务是根据输入图像对来进行图像域迁移生成图像,以调整图像的风格等,因此,在得到样本集后,还需要根据任务标签不同将样本集分成U域样本集和V域样本集,U域样本集中样本图像u和V域样本集中的样本图像v组成一个样本对。组成样本对的样本图像u和样本图像v具有不同的任务标签,假设是一个二分类的任务,任务标签为1代表医生,0代表非医生,则组成样本对的样本图像u和样本图像v中一者拥有医生标签1,另一者拥有非医生标签0,样本图像u和样本图像v是一对不匹配的样本对。根据该样本对可以进行图像域迁移生成其他图像。
步骤2,基于跨域对偶生成式对抗网络构建训练系统。
如图2所示,本实施例提供的训练系统包括:生成器GA、判别器DA、生成器GB、判别器DB。以样本对作为输入,每个样本图像代表一个图像域,Dual-GAN同时从一个域到另一个域学习两个可靠的生成器和判别器,并对图像-图像转换任务进行操作。生成器GA和GB输出尽可能相似的假输出图像,同时减少性别偏见的放大,判别器DA和DB则尽可能区分真图像和假输出图像,通过对抗性的方法,得到最优生成器和辨别器。
样本对中样本图像u和样本图像v分别输入至生成器GA、生成器GB中,并为生成器GA和生成器GB分别添加噪声信息z和噪声信息z’,噪声信息的添加可以使生成器GA和生成器GB编码得到生成图像。样本图像u与噪声信息z经过生成器GA编码的生成图像GA(u,z),该生成图像GA(u,z)再与噪声信息z’经过生成器GB编码得到生成图像GB(GA(u,z),z'),样本图像v与噪声信息z’经过生成器GB编码的生成图像GB(v,z'),该生成图像GB(v,z'再与噪声信息z经过生成器GA编码得到生成图像GA(GB(u,z'),z)。
判别器DA判别生成图像GA(u,z)与样本图像v的真伪,即判断输入判别器DA的图像是来自于原始的样本图像v还是来自于生成器的生成图像GA(u,z),也即是隶属度评分。判别器DB判别生成图像GB(v,z')与样本图像u的真伪,即判断输入判别器DB的图像是来自于原始的样本图像u还是来自于生成器的生成图像GB(v,z'),也即是隶属度评分。
实施例中,生成器GA和生成器GB采用U-net网络。如图3所示,同一列的纵向箭头代表卷积和激活函数,横向箭头代表复制剪切操作,前半部分两列之间的连接箭头代表下采样,后半部分两列之间的连接箭头代表反卷积,最后一个输出箭头代表卷积核为1X1的卷积操作。U-net网络没有全连接层,只有卷积和下采样。U-net可以对像素进行端到端的分割,即输入是一幅图像,输出也是一幅图像。U-net网络由两部分组成:一个收缩路径(contracting path)来获取上下文信息以及一个对称的扩张路径(expanding path)用以精确定位。收缩网络主要负责下采样的工作,提取高维特征信息,每一次下采样包含两个的3x3的卷积操作,一个2x2的池化操作,通过修正线性单元(rectified linear unit,ReLU)作为激活函数,每一次下采样,图片大小变为原来的1/2,特征数量变为原来的2倍。扩张网络主要负责上采样的工作,每一次上采样包含两个3x3的卷积操作,通过修正线性单元作为激活函数。每一次上采样,图片大小变为原来的2倍,特征数量变为原来的1/2。在上采样操作中,将每一次的输出特征与相映射的收缩网络的特征合并在一起,补全中间丢失的边界信息。最后,加入1x1的卷积操作将之前所获的的特征映射到所属分类上面。
判别器DA和判别器DB采用PatchGAN结构,网络结构为3层全卷积层和1层标准化处理,卷积核为4×4大小。
步骤3,构建训练系统的损失函数。
训练系统的损失函数包括三部分,分别为判别器DA第一损失函数、判别器DB的第二损失函数以及生成器的第三损失函数。
其中,根据生成图像GA(u,z)与样本图像v之间的距离构建判别器DA的第一损失函数为:
根据生成图像GB(v,z’)与样本图像u之间的距离构建判别器DB的第二损失函数为:
其中,DA(v)为样本图像v输入至判别器DA得到的预测判别结果,DA(GA(u,z))为生成图像GA(u,z)输入至判别器DA得到的预测判别结果,DB(u)为样本图像u输入至判别器DB得到的预测判别结果,DB(GB(v,z'))为生成图像GB(v,z')输入至判别器DB得到的预测判别结果。
本实施例中,由于生成器GA和生成器GB具有相同的目标,因此,均采用相同的第三损失函数。第三损失函数中的第一部分损失lg1(u,v)为利用LI距离来测量的重构误差,该重构误差可以使被重构的样本服从域分布。具体地,根据所有生成图像和样本图像之间的距离构建第一部分损失lg1(u,v)为:
lg1(u,v)=λU||u-GB(GA(u,z),z')||+λV||v-GA(GB(u,z'),z)||-DA(GB(v,z'))-DB(GA(u,z))
其中,λU、λV为权重参数,取值范围为100~1000,DA(GB(v,z'))为生成图像GB(v,z')输入至判别器DA得到的预测判别结果,DB(GA(u,z))为生成图像GA(u,z)输入至判别器DB得到的预测判别结果,||·||为L1距离。
根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建第二部分损失lg2(u,v)为:
其中,其中,i为样本图像的索引,βU、βV、λ为权重参数,取值范围为0~1,λ用来对受保护属性的敏感性权衡任务性能,|·|l1为L1距离,ui为第i个样本图像u,为样本图像ui输入至生成器GA编码得到的中间表示,/>为样本图像ui的任务标签,DA(·)为判别器DA的预测判别结果,c(·)为判别模型C的预测判别结果,gi为受保护属性,vi为第i个样本图像v,为样本图像vi输入至生成器GB编码得到的中间表示,DB(·)为判别器DB的预测判别结果,L(·)和Lc(·)均为交叉熵函数。
根据第二部分损失lg2(u,v)可以得,第二部分损失中增加了克服数据集泄露和模型泄露的损失部分,构造一个判别模型C作为批评者,判别模型C试图从生成器的中间表示预测受保护属性的信息。批评者试图尽量减少它能提取的信息量的损失和虽然判别器试图尽量减少其在目标任务预测上的损失,同时增加评判的损失和/>在此基础上,通过利用自动编码输入图像的生成器来优化输入特征空间上的对抗性损失。为了实现这一目标,还增加了一个额外的损失/>和/>样本图像/>和样本图像/>是生成器编码得到的中间表示,将中间表示引入到损失函数中,即在训练过程中能够克服模型泄露引起的偏见问题,同时还采用了判别模型C对中间表示进行预测,并计算这个预测结果与受保护属性的交叉熵,这样在训练过程中能够克服数据集泄露引起的偏见问题。
最后,第一部分损失lg1(u,v)和第二部分损失lg2(u,v)组成生成器GA和生成器GB的第三损失函数lg(u,v)为:
lg(u,v)=lg1(u,v)+lg2(u,v)
实施例中,判别模型C是区别于判别器DA和DB的网络模型,采用为卷积神经网络CNN,该判别模型C输入为给定图像,输出为预测的受保护属性的概率值。
步骤4,利用损失函数对训练系统进行对抗训练,得到图像迁移模型。
在训练时,将样本对输入至训练系统中,并采用步骤3构建的第一损失函数、第二损失函数以及第三损失函数对训练系统进行对抗训练,训练时,batch size设为1,每个epoch训练1000张图,训练次数为100个epoch,同时生成器和判别器都默认使用Adam优化器,初始参数默认为相同的学习率。训练结束后,提取参数确定的生成器GA和GB作为两个图像迁移模型。该两个图像迁移模型可以用来生成基于图像域迁移的新图像。
步骤5,应用时,将图像对分别输入至两个图像迁移模型,经计算生成图像域迁移的两张生成图像。
在应用时,将图像对中的一个图像输入到的第一个图像迁移模型中,第一个图像迁移模型会根据输入图像和噪声信息生成第一迁移图像,第一迁移图像输入至第二个图像迁移模型中,会跟噪声信息生成优化的第一迁移图像。将图像对中的另一个图像输入到的第二个图像迁移模型中,第二个图像迁移模型会根据输入图像和噪声信息生成第二迁移图像,第二迁移图像输入至第一个图像迁移模型中,会跟噪声信息生成优化的第二迁移图像。这两个优化的第一迁移图像和第二迁移图像都能够克服受保护属性的影响导致的偏见问题。
例如,针对由医院图像和人物图像组成的图像对,再利用第一图像迁移模型和第二图像迁移模型生成医生在医院的场景图时,由于两个迁移模型能够克服性别偏见,因此,生成的迁移图像中将人物迁移到了医院图像中,生成了包含女医生的医院场景图,克服了医生就是男性的性别偏见问题。提升了迁移图像的准确性。
上述基于跨域对偶生成式对抗网络的偏见消除方法,通过对Dual-GAN的生成器施加去除偏见操作,采用对抗性的方法,从生成器的中间表示中删除与受保护属性对应的不必要特征,减少偏见放大,同时保持了判别器良好的隶属度评分,提升了图像域转移生成图像的准确性。
实施例还提供了一种基于跨域对偶生成式对抗网络的偏见消除装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,所述计算机存储器中采用上述基于跨域对偶生成式对抗网络的偏见消除方法构建的两个图像迁移模型;
所述计算机处理器执行所述计算机程序时实现以下步骤:
将图像对分别输入至两个图像迁移模型,经计算生成图像域迁移的两张迁移图像。
实际应用中,计算机存储器可以为在近端的易失性存储器,如RAM,还可以是失性存储器,如ROM,FLASH,软盘,机械硬盘等,还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA),即可以通过这些处理器实现迁移图像的生成步骤。
上述基于跨域对偶生成式对抗网络的偏见消除装置,通过对Dual-GAN的生成器施加去除偏见操作,采用对抗性的方法,从生成器的中间表示中删除与受保护属性对应的不必要特征,减少偏见放大,同时保持了判别器良好的隶属度评分,提升了图像域转移生成图像的准确性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于跨域对偶生成式对抗网络的偏见消除方法,其特征在于,包括以下步骤:
(1)采集图像数据,并标记图像数据的任务标签和受保护属性,将任务标签、受保护属性与图像数据构成一个样本图像,组成样本集,根据任务标签不同将样本集分成U域样本集和V域样本集,U域样本集中样本图像u和V域样本集中的样本图像v组成一个样本对;
(2)基于跨域对偶生成式对抗网络构建训练系统,包括生成器GA、判别器DA、生成器GB、判别器DB,样本对中样本图像u和样本图像v分别输入至生成器GA、生成器GB中,并为生成器GA和生成器GB分别添加噪声信息z和噪声信息z’,样本图像u与噪声信息z经过生成器GA编码的生成图像GA(u,z)再与噪声信息z’经过生成器GB编码得到生成图像GB(GA(u,z),z'),样本图像v与噪声信息z’经过生成器GB编码的生成图像GB(v,z')再与噪声信息z经过生成器GA编码得到生成图像GA(GB(u,z'),z),判别器DA判别生成图像GA(u,z)与样本图像v的真伪,判别器DB判别生成图像GB(v,z')与样本图像u的真伪;
(3)构建损失函数,根据生成图像GA(u,z)与样本图像v之间的距离构建判别器DA的第一损失函数;根据生成图像GB(v,z’)与样本图像u之间的距离构建判别器DB的第二损失函数,根据所有生成图像和样本图像之间的距离构建第一部分损失,根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建第二部分损失,第一部分损失和第二部分损失组成生成器GA和生成器GB的第三损失函数;
(4)利用第一损失函数、第二损失函数以及第三损失函数对训练系统进行对抗训练,训练结束后,提取参数确定的生成器GA和GB作为两个图像迁移模型;
(5)应用时,将图像对分别输入至两个图像迁移模型,经计算生成图像域迁移的两张迁移图像。
2.如权利要求1所述的基于跨域对偶生成式对抗网络的偏见消除方法,其特征在于,所述第一损失函数为:
第二损失函数为:
其中,DA(v)为样本图像v输入至判别器DA得到的预测判别结果,DA(GA(u,z))为生成图像GA(u,z)输入至判别器DA得到的预测判别结果,DB(u)为样本图像u输入至判别器DB得到的预测判别结果,DB(GB(v,z'))为生成图像GB(v,z')输入至判别器DB得到的预测判别结果。
3.如权利要求1所述的基于跨域对偶生成式对抗网络的偏见消除方法,其特征在于,所述第三损失函数lg(u,v)为:
lg(u,v)=lg1(u,v)+lg2(u,v)
第一部分损失lg1(u,v)为:
lg1(u,v)=λU||u-GB(GA(u,z),z')||+λV||v-GA(GB(u,z'),z)||-DA(GB(v,z'))-DB(GA(u,z))
其中,λU、λV为权重参数,取值范围为0~1,DA(GB(v,z'))为生成图像GB(v,z')输入至判别器DA得到的预测判别结果,DB(GA(u,z))为生成图像GA(u,z)输入至判别器DB得到的预测判别结果,||·||为L1距离;
第二部分损失lg2(u,v)为:
其中,i为样本图像的索引,βU、βV、λ为权重参数,取值范围为0~1,为L1距离,ui为第i个样本图像u,/>为样本图像ui输入至生成器GA编码得到的中间表示,/>为样本图像ui的任务标签,DA(·)为判别器DA的预测判别结果,c(·)为判别模型C的预测判别结果,gi为受保护属性,vi为第i个样本图像v,/>为样本图像vi输入至生成器GB编码得到的中间表示,DB(·)为判别器DB的预测判别结果,L(·)和Lc(·)均为交叉熵函数。
4.如权利要求1所述的基于跨域对偶生成式对抗网络的偏见消除方法,其特征在于,所述生成器GA和生成器GB采用U-net网络。
5.如权利要求1所述的基于跨域对偶生成式对抗网络的偏见消除方法,其特征在于,所述判别器DA和判别器DB采用PatchGAN结构,网络结构为3层全卷积层和1层标准化处理,卷积核为4×4大小。
6.如权利要求3所述的基于跨域对偶生成式对抗网络的偏见消除方法,其特征在于,所述判别模型结构不同于判别器DA和DB,采用卷积神经网络。
7.如权利要求1所述的基于跨域对偶生成式对抗网络的偏见消除方法,其特征在于,训练时,batch size设为1,每个epoch训练1000张图,训练次数为100个epoch,同时生成器和判别器都默认使用Adam优化器,初始参数默认为相同的学习率。
8.一种基于跨域对偶生成式对抗网络的偏见消除装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,其特征在于,所述计算机存储器中采用权利要求1~7任一项所述的基于跨域对偶生成式对抗网络的偏见消除方法构建的两个图像迁移模型;
所述计算机处理器执行所述计算机程序时实现以下步骤:
将图像对分别输入至两个图像迁移模型,经计算生成图像域迁移的两张迁移图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010759081.9A CN111862260B (zh) | 2020-07-31 | 2020-07-31 | 基于跨域对偶生成式对抗网络的偏见消除方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010759081.9A CN111862260B (zh) | 2020-07-31 | 2020-07-31 | 基于跨域对偶生成式对抗网络的偏见消除方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111862260A CN111862260A (zh) | 2020-10-30 |
CN111862260B true CN111862260B (zh) | 2024-03-15 |
Family
ID=72953648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010759081.9A Active CN111862260B (zh) | 2020-07-31 | 2020-07-31 | 基于跨域对偶生成式对抗网络的偏见消除方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111862260B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113536298B (zh) * | 2021-06-11 | 2024-04-30 | 浙江工业大学 | 一种面向深度学习模型偏见中毒攻击的防御方法 |
CN115114395B (zh) * | 2022-04-15 | 2024-03-19 | 腾讯科技(深圳)有限公司 | 内容检索及模型训练方法、装置、电子设备和存储介质 |
CN115281662B (zh) * | 2022-09-26 | 2023-01-17 | 北京科技大学 | 一种慢性踝关节不稳智能辅助诊断系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564611A (zh) * | 2018-03-09 | 2018-09-21 | 天津大学 | 一种基于条件生成对抗网络的单目图像深度估计方法 |
CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102403494B1 (ko) * | 2017-04-27 | 2022-05-27 | 에스케이텔레콤 주식회사 | 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법 |
-
2020
- 2020-07-31 CN CN202010759081.9A patent/CN111862260B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564611A (zh) * | 2018-03-09 | 2018-09-21 | 天津大学 | 一种基于条件生成对抗网络的单目图像深度估计方法 |
WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
Non-Patent Citations (1)
Title |
---|
基于生成对抗网络的ACGAN模型;侯柯冰;程晓荣;;信息技术与信息化;20200528(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111862260A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862260B (zh) | 基于跨域对偶生成式对抗网络的偏见消除方法与装置 | |
KR20200098379A (ko) | 이미지 기반의 데이터 처리 방법, 장치, 기기 및 판독 가능 저장 매체 | |
Alsabhan et al. | Automatic building extraction on satellite images using Unet and ResNet50 | |
CN105975573A (zh) | 一种基于knn的文本分类方法 | |
CN112949740B (zh) | 一种基于多级度量的小样本图像分类方法 | |
CN109033321B (zh) | 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法 | |
CN111966812A (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
CN114612767B (zh) | 一种基于场景图的图像理解与表达方法、系统与存储介质 | |
CN114926835A (zh) | 文本生成、模型训练方法和装置 | |
CN113779996A (zh) | 基于BiLSTM模型的标准实体文本确定方法、装置及存储介质 | |
CN115658934A (zh) | 一种基于多类注意力机制的图文跨模态检索方法 | |
CN112434718A (zh) | 基于深度图的新冠肺炎多模态特征提取融合方法及系统 | |
Li et al. | Small Object Detection Algorithm Based on Feature Pyramid‐Enhanced Fusion SSD | |
KR102166117B1 (ko) | 시멘틱 매칭 장치 및 방법 | |
CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
Yang et al. | Adaptive syncretic attention for constrained image captioning | |
CN115994558A (zh) | 医学影像编码网络的预训练方法、装置、设备及存储介质 | |
CN111488927B (zh) | 分类阈值确定方法、装置、电子设备及存储介质 | |
JP7259935B2 (ja) | 情報処理システム、情報処理方法およびプログラム | |
CN110348469A (zh) | 一种基于DeepWalk网络嵌入模型的用户相似度度量方法 | |
CN109753896A (zh) | 一种基于共性自动编码器的无监督异源遥感图像变化检测方法 | |
CN113420680B (zh) | 一种基于gru注意力的遥感影像区域关注与文本生成方法 | |
Jia et al. | Sample generation of semi‐automatic pavement crack labelling and robustness in detection of pavement diseases | |
CN110852066A (zh) | 一种基于对抗训练机制的多语言实体关系抽取方法及系统 | |
US20230259818A1 (en) | Learning device, feature calculation program generation method and similarity calculator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |