CN109325549A - 一种人脸图像融合方法 - Google Patents

一种人脸图像融合方法 Download PDF

Info

Publication number
CN109325549A
CN109325549A CN201811250280.6A CN201811250280A CN109325549A CN 109325549 A CN109325549 A CN 109325549A CN 201811250280 A CN201811250280 A CN 201811250280A CN 109325549 A CN109325549 A CN 109325549A
Authority
CN
China
Prior art keywords
fusion
image
input
encoder
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811250280.6A
Other languages
English (en)
Other versions
CN109325549B (zh
Inventor
陈波
李香
王豪爽
温金梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811250280.6A priority Critical patent/CN109325549B/zh
Publication of CN109325549A publication Critical patent/CN109325549A/zh
Application granted granted Critical
Publication of CN109325549B publication Critical patent/CN109325549B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸图像融合方法，它包括以下步骤：将待融合的原始人脸图像输入到人脸融合网络模型中；在人脸融合网络模型中设置相应的融合偏倚参数；人脸融合网络模型根据输入的偏倚参数将输入的原始图像进行重构融合，输出融合后的目标图像。通过VAE和VGG网络的结合，利用VGG小卷积特征提取优势，获取输入的原始图像和新生成的目标图像的之间信息损失，并使其信息损失最小化，能够将两张人脸图像融合成一张自然完整的新的人脸图像，通过对融合偏倚参数的设置能够进一步的保存完整的头发的颜色、发型、面部表情等细节，且本方法具有融合处理过程简单快捷的特点。

Description

一种人脸图像融合方法
技术领域
本发明涉及一种图像融合方法，特别是涉及一种人脸图像融合方法。
背景技术
人脸图像的融合即将两张不同的人脸图像融合成一张人脸图像，新得到的融合图像应保留有原人脸图像的面部特征。现目前最主流的融合方法是基于面部特征点匹配的方法，其主要依赖于基于人脸的面部特征工程，并已获得了较好的融合效果，但整个过程既复杂又耗时，而且这种方法会模糊目标图像的细节特征，也不具备扩展及多图像泛化的特性。
而由于GAN生成的图像具有清晰和逼真等特性，因此也被广泛应用于图像生成方面，如Alec Radford等人提出了深度卷积性生成对抗网络，在这些网络中，对GAN的卷积性架构拓扑进行了一组约束，使它们在大多数情况下都能稳定地进行训练；但是由于对抗生成网络GAN从随机噪声点生成图像，它不能生成特定细节的图像，另外，生成式对抗模型参照图像中的样子，没有办法强制它所生成的图像必须看起来像图像本身。这就造成了图像的样式不会非常写实。
因此，需要一种新的人脸图像融合方法，去简化融合过程并实现完整保存人脸图像的面部细节的要求。
发明/发明内容
本发明主要解决的技术问题是提供一种人脸图像融合方法，能够解决现有融合方法存在的融合过程复杂耗时以及融合的结果图像不写实的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种人脸图像融合方法，它包括以下步骤：
将待融合的原始人脸图像输入到人脸融合网络模型中；
在人脸融合网络模型中设置相应的融合偏倚参数；
人脸融合网络模型根据输入的偏倚参数将输入的原始图像进行重构融合，输出融合后的目标图像。
在进行所述将待融合的人脸图像输入到人脸融合网络模型中的步骤之前，还需要进行建立人脸融合网络模型；所述的人脸融合网络模型包括变分自动编码器VAE和VGG网络；所述的变分自动编码器包括编码器Vencoder和解码器Vdecoder。
生成解码器Vdecoder的步骤为：在变分自动编码器VAE中引入一个隐藏向量Z，得到解码器Pθ(X|Z)，利用隐藏向量Z重构原始图像X。
生成编码器Vencoder的步骤为：根据解码器Pθ(X|Z)得到Pθ(X|Z)的后验分布Pθ(Z|X)，利用神经网络得到Pθ(Z|X)的正态分布则为编码器Vencoder。
人脸融合网络模型根据输入的偏倚参数将输入的图像进行融合，输出融合后的图像的具体步骤如下：
将输入的原始图像Xa和Xb输入到编码器Vencoder中，得到两个服从正态分布的和分布；
将两个正态分布进行随机采集和处理得到一个100维特征向量
将100维特征向量输入到解码器Vdecoder，得到原始图像Xa和Xb融合后的目标图像Xab；
对融合得到的目标图像Xab输入到VGG网络中，根据VGG网络进行优化。
步骤将两个正态分布进行随机采集和处理得到一个100维特征向量的详细内容如下：
将得到的两个正态分布和进行随机采样分布得到对应100维特征向量和
对特征向量和进行进一步处理得到一个100维特征向量其中，
根据VGG网络进行优化包括求出度量重构的目标图像和原始图像之间差异性的重构误差以及通过KL散度使编码器Vencoder输出的正态分布向标准正态分布看齐两部分构成。
求出度量重构的目标图像和原始图像之间差异性的重构误差的具体步骤为：
将原始图像Xa和Xb以及目标图像Xab分别单独输入到VGG网络中，并提取原始图像Xa和Xb以及目标图像Xab输出的前三个卷积层；
将原始图像Xa和Xb得到每一个卷积层输出结果进行加权求和；
将加权求和的结果结合目标图像Xab的每一个卷积层输出结果求取均方误差，并将求得的各个均方误差进行求和得到重构误差的值。
人脸融合网络模型中设置相应的融合偏倚参数的步骤中，所述的融合偏倚参数包括W1和W2，其中W1和W2分别表示为特征向量和的100维的列向量。
融合偏倚参数W1和W2的取值包括0或者1，其中0表示舍弃图像此维度的特征，1表示保留图像此维度的特征；并且两个融合偏移参数W1和W2的和为每个维度值为1的100维列向量。
本发明的有益效果是：区别于现有技术的情况，本发明通过VAE和VGG网络的结合，利用VGG小卷积特征提取优势，获取输入的原始图像和新生成的目标图像的之间信息损失，并使其信息损失最小化，能够将两张人脸图像融合成一张自然完整的新的人脸图像，通过对融合偏倚参数的设置能够进一步的保存完整的头发的颜色、发型、面部表情等细节，且本方法具有融合处理过程简单快捷的特点。
附图说明
图1是本发明的网络结构图；
图2是本发明的第一实验图；
图3是本发明的第二实验图；
图4是本发明的第一对比实验图；
图5是本发明的第二对比实验图；
图6是本发明的第三对比实验图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，一种人脸图像融合方法，它包括以下步骤：
S1、将待融合的两张不同原始人脸图像输入到人脸融合网络模型中；
S2、在人脸融合网络模型中设置相应的融合偏倚参数；
S3、人脸融合网络模型根据输入的偏倚参数将输入的原始图像进行重构融合，输出融合后的目标图像。
在进行所述将待融合的人脸图像输入到人脸融合网络模型中的步骤之前，还需要进行建立人脸融合网络模型；所述的人脸融合网络模型包括变分自动编码器VAE和VGG网络；所述的变分自动编码器包括编码器Vencoder和解码器Vdecoder。
优选地，在建立好人脸融合网络模型之后，通过数据集CelebA对人脸融合网络模型进行训练，并进行实验来验证对融合结果产生影响的融合偏倚参数。
生成解码器Vdecoder的步骤为：在变分自动编码器VAE中引入一个隐藏向量Z，通过Z来自动生成目标图像，得到解码器Pθ(X|Z)，利用隐藏向量Z重构原始图像X。
生成编码器Vencoder的步骤为：根据解码器Pθ(X|Z)得到Pθ(X|Z)的后验分布Pθ(Z|X)，认为Pθ(Z|X)是一种标准的正态分布，利用神经网络得到Pθ(Z|X)的正态分布则为编码器Vencoder。
步骤S3人脸融合网络模型根据输入的偏倚参数将输入的原始图像进行融合，输出融合后的目标图像的具体步骤如下：
S31、将输入的两张不同的原始图像Xa和Xb输入到编码器Vencoder中，得到相应的两个服从正态分布的和分布；其中，两张原始图像的图片规格可以采用一样的规格，如，都为64*64*3；
S32、将两个正态分布进行随机采集和处理得到一个100维特征向量
S33、将100维特征向量输入到解码器Vdecoder，得到原始图像Xa和Xb融合后的目标图像Xab；由于输入的两张原始图像的图片规格相同，因此输出的目标图像的图片规格也跟原始图像的图片规格一样；
S34、对融合得到的目标图像Xab输入到VGG网络中，根据VGG网络进行优化。
步骤S32将两个正态分布进行随机采集和处理得到一个100维特征向量的详细内容如下：
S321、将得到的两个正态分布和进行随机采样分布得到对应100维特征向量和
S322、对特征向量和进行进一步处理得到一个100维特征向量其中，
其中，参数W1和W2是100维的列向量，取值为0或者1，取值0表示向量中不包括相应位置的特征，取值1表示向量中包括相应位置的特征。
根据VGG网络进行优化包括求出度量重构的目标图像和原始图像之间差异性的重构误差以及通过KL散度使编码器Vencoder输出的正态分布向标准正态分布看齐两部分构成。
求出度量重构的目标图像和原始图像之间差异性的重构误差的具体步骤为：
A1、将原始图像Xa和Xb以及目标图像Xab分别单独输入到VGG网络中，并提取原始图像Xa和Xb以及目标图像Xab输出的前三个卷积层；
A2、将原始图像Xa和Xb得到每一个卷积层输出结果进行加权求和；
A3、将加权求和的结果结合目标图像Xab的每一个卷积层输出结果求取均方误差，并将求得的各个均方误差进行求和得到重构误差的值。
优选地，设La (i)表示Xa关于第i个卷积层的输出；Lb (i)表示Xb关于第i个卷积层的输出；L(i)是X关于第i个卷积层的输出；其中i的取值范围从1到3；这样在每个卷积层上，加权求和的表达式为：
Pi＝W1×La (i)+W2×Lb (i)
上式中，W1'和W2'是取值范围在0～1之间，则重构误差可以表示为：
优选地，使用KL散度衡量和Pθ(Z|X)两个分布之间的差异，以使编码器Vencoder输出的正态分布向标准正态分布看齐；对隐藏向量Z进行重参数化，将其定义为Z＝u+σ*ε(ε服从标准的正态分布)，这样编码器Vencoder中的的参数在梯度下降时可以得到更新；由于数据集(假设x(i)均服从同一分布)，所以边界似然是每个独立数据点的边界似然之和，每个数据点的边界似然如下：
在上式中，右边第一项是KL散度用于衡量两个分布和Pθ(Z|X)之间的差异；右边第二项是变分下界；因此可以得到以下表达式：
因此我们对变分下界进行了一些优化以实现对优化边界的优化。在上式中，右边第一项为正则化器，第二项与重构误差有关。
在进行重构融合图片过程中，希望最小化原始图像和目标图像之间的差距，而由于隐藏向量Z是通过重新采样过的，而不是由编码器Vencoder直接计算出来的，隐藏重构过程受到噪声影响；噪声会增加重构的难度，而这个噪声强度(也就是均方误差)是由神经网络模拟得到的，所以人脸融合网络模型为了降低重构误差，就会尽量让均方误差为0，然后如果均方误差为0时，人脸融合网络模型就会丧失随机性，所以不管怎样采样都只是得到确定的结果(也就是均值)，而均值是通过另外一个神经网络计算得到的。
因此，为了解决这个问题，需要让所以的编码器Vencoder真正输出的向量P(Z|X)都向标准正态分布看齐，这样能够防止噪声强度(也就是均方误差)为0，同时保证了人脸融合网络模型具有生成能力。
其中，
因此P(Z)服从标准正态分布，这样就可以从N(0,1)中采样生成图像。
最后，根据重构误差和KL散度，VGG网络的误差函数可以表示为：
人脸融合网络模型中设置相应的融合偏倚参数的步骤中，所述的融合偏倚参数包括W1和W2，其中W1和W2分别表示为特征向量和的100维的列向量。
融合偏倚参数W1和W2的取值包括0或者1，其中0表示舍弃图像此维度的特征，1表示保留图像此维度的特征；并且两个融合偏移参数W1和W2的和为每个维度值为1的100维列向量。
优选地，融合偏倚参数还包括W1'和W2'，其取值范围皆在0～1之间，且W1'和W2'之和为1。
现根据以下几个实验来进一步说明本发明的效果以及对人脸融合网络模型进行评估。
实验一：首先将融合偏倚参数W1'和W2'的值都设置为0.5并保持不变为前提，然后将融合偏倚参数W2的前50维的值设置为“1”，后50维的值设置为“0”；由于W1和W2两个向量的和为每个维度值为1的100维列向量，因此融合偏倚参数W1的前50维的值相应设置为“0”，后50维的值相应设置为“1”。
其次，设置W1的前70维度的值为“1”，相应的向量W2中最后30维度的值为“1”。最后将W2每一维度的值设置为“1”，相应的W1每一维度的值设置为“0”。
如图2所示，通过以上三组参数的实验结果可以得知，对于向量W2，随着向量中取值为“1”的维度数的增加，最后的融合结果中有很多的面部特征与下方箭头所指的图片相似；因此，从中可以得知W1和W2中取值为“1”的维度数越多，最后的融合图片中就有更多的面部特征来源于相应的原始图像。
实验二：首先将向量W1的前50维的值设置为“1”，W2的后50的值设置为“1”保持不变为前提；然后对融合偏倚参数W1'和W2'的值进行如下设置：
W1’＝0.3，W2’＝0.7；
W1’＝0.4，W2’＝0.6；
W1’＝0.5，W2’＝0.5；
W1’＝0.6，W2’＝0.4；
如图3所示，当设置W1'＝0.5，W2'＝0.5时，可以看到在图片右侧相关的融合结果包含了箭头上下两侧的原始图像的面部特征，但是不能判断融合结果在整体上是与上箭头所指的图片还是与下箭头所指的图片更为相近或者类似；当设置W1'＞0.5时，可以看到融合结果的更多面部特征与上箭头所指的图片更为相近，并且整体上也与上箭头所指的图片类似；相反，当设置W1'＜0.5时，实验结果刚好与W1'＞0.5时相反。并且W1'的值越小，最后的融合结果就会在整体上与下箭头所指的原始图像的图片更加相近或者类似。
因此，当W1和W2中维度值保持不变时，融合偏倚参数W1'和W2'会对融合结果产生影响，其原因在于在训练整个人脸融合网络模型时使用随机梯度下降算法去减小重构误差引起的，如果W1'＞W2'，则重构误差更多来源于上箭头所指的图片，并且整个VGG网络会尽可能减少这一部分的误差，进而导致最后的融合结果与上箭头所指的图片更加相近或者类似。
所以，从上面的实验中可以得知，融合偏倚参数W1和W2以及W1'和W2'能够影响最后目标图像的融合结果。
为了进一步确定融合偏倚参数W1和W2以及W1'和W2'哪一组参数为影响最后目标图像融合结果的主要因素，进行了以下几组对比实验。
第一组：W1＝[1,1,1,…,1,1,1]，W2＝[0,0,0,…,0,0,0]，W1'＝W2'＝0.5；W1＝[1,…,1,0,…,0]，W2＝[0,…,0,1,…,1]，W1'＝0.6，W2'＝0.4。
第二组：W1＝[1,1,1,…,1,1,1]，W2＝[0,0,0,…,0,0,0]，W1'＝0.7，W2'＝0.3；W1＝[1,1,1,…,1,1,1]，W2＝[0,0,0,…,0,0,0]，W1'＝1，W2'＝0。
第三组：W1＝[1,1,1,…,1,1,1]，W2＝[0,0,0,…,0,0,0]，W1'＝0.3，W2'＝0.7。
如图4所示，在第一组对比实验中将W1的每个维度取值都设置为“1”以及取W1'＝W2'＝0.5，将W1的前50个维度的取值为“1”，剩下的维度取值为“0”，同时设置W1'＝0.6，W2'＝0.4，从中可知实验得到的融合图片整体上都与上箭头所指的图片相近或者类似；在第一个取值实验中解码器的100维特征向量中的每一个维度都来源于上箭头所指的图片，而在第二个取值实验中仅仅该向量的前50个维度来源于下箭头所指的图片，但是第二个取值实验的融合效果更好。
如图5所示，在第二组对比实验中，将W1的每一个维度值都设置为“1”，也就意味着这两次实验中的100维特征向量都来源于上箭头所指的图片，另外设置W1'＝0.7，W2'＝0.3以及W1'＝1，W2'＝0；从中可以得知两次实验的结果整体都与上箭头所指的图片相近或者类似，但是第二个取值实验在一些面部特征的细节上(如头发的颜色、发型和面部表情等等)表现的更好。
如图6所示，在第三组实验中，输入解码器的100维特征向量的每一个维度都来源于上箭头所指的图片，但是设置W1'＜0.5，最后得到的融合结果不与箭头上下两侧的任何一张图片相近或者类似。
因此，最终可以得知融合偏倚参数W1'和W2'是影响最后目标图像融合效果的主要因素。
以上所述仅为本发明/发明的实施例，并非因此限制本发明/发明的专利范围，凡是利用本发明/发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明/发明的专利保护范围内。

Claims (10)

1.一种人脸图像融合方法，其特征在于，它包括以下步骤：
将待融合的原始人脸图像输入到人脸融合网络模型中；
在人脸融合网络模型中设置相应的融合偏倚参数；
人脸融合网络模型根据输入的偏倚参数将输入的原始图像进行重构融合，输出融合后的目标图像。
2.根据权利要求1所述的一种人脸图像融合方法，其特征在于，在进行所述将待融合的人脸图像输入到人脸融合网络模型中的步骤之前，还需要进行建立人脸融合网络模型；所述的人脸融合网络模型包括变分自动编码器VAE和VGG网络；所述的变分自动编码器包括编码器Vencoder和解码器Vdecoder。
3.根据权利要求2所述的一种人脸图像融合方法，其特征在于，生成解码器Vdecoder的步骤为：在变分自动编码器VAE中引入一个隐藏向量Z，得到解码器Pθ(X|Z)，利用隐藏向量Z重构原始图像X。
4.根据权利要求3所述的一种人脸图像融合方法，其特征在于，生成编码器Vencoder的步骤为：根据解码器Pθ(X|Z)得到Pθ(X|Z)的后验分布Pθ(Z|X)，利用神经网络得到Pθ(Z|X)的正态分布则为编码器Vencoder。
5.根据权利要求4所述的一种人脸图像融合方法，其特征在于，所述的人脸融合网络模型根据输入的偏倚参数将输入的图像进行融合，输出融合后的图像的具体步骤如下：
将输入的原始图像Xa和Xb输入到编码器Vencoder中，得到两个服从正态分布的和分布；
将两个正态分布进行随机采集和处理得到一个100维特征向量
将100维特征向量输入到解码器Vdecoder，得到原始图像Xa和Xb融合后的目标图像Xab；
对融合得到的目标图像Xab输入到VGG网络中，根据VGG网络进行优化。
6.根据权利要求5所述的一种人脸图像融合方法，其特征在于，所述步骤将两个正态分布进行随机采集和处理得到一个100维特征向量的详细内容如下：
将得到的两个正态分布和进行随机采样分布得到对应100维特征向量和
对特征向量和进行进一步处理得到一个100维特征向量其中，
7.根据权利要求5所述的一种人脸图像融合方法，其特征在于，所述根据VGG网络进行优化包括求出度量重构的目标图像和原始图像之间差异性的重构误差以及通过KL散度使编码器Vencoder输出的正态分布向标准正态分布看齐两部分构成。
8.根据权利要求7所述的一种人脸图像融合方法，其特征在于，所述的求出度量重构的目标图像和原始图像之间差异性的重构误差的具体步骤为：
将原始图像Xa和Xb以及目标图像Xab分别单独输入到VGG网络中，并提取原始图像Xa和Xb以及目标图像Xab输出的前三个卷积层；
将原始图像Xa和Xb得到每一个卷积层输出结果进行加权求和；
将加权求和的结果结合目标图像Xab的每一个卷积层输出结果求取均方误差，并将求得的各个均方误差进行求和得到重构误差的值。
9.根据权利要求6所述的一种人脸图像融合方法，其特征在于，在所述人脸融合网络模型中设置相应的融合偏倚参数的步骤中，所述的融合偏倚参数包括W1和W2，其中W1和W2分别表示为特征向量和的100维的列向量。
10.根据权利要求9所述的一种人脸图像融合方法，其特征在于，所述的融合偏倚参数W1和W2的取值包括0或者1，其中0表示舍弃图像此维度的特征，1表示保留图像此维度的特征；并且两个融合偏移参数W1和W2的和为每个维度值为1的100维列向量。
CN201811250280.6A 2018-10-25 2018-10-25 一种人脸图像融合方法 Expired - Fee Related CN109325549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811250280.6A CN109325549B (zh) 2018-10-25 2018-10-25 一种人脸图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811250280.6A CN109325549B (zh) 2018-10-25 2018-10-25 一种人脸图像融合方法

Publications (2)

Publication Number Publication Date
CN109325549A true CN109325549A (zh) 2019-02-12
CN109325549B CN109325549B (zh) 2022-03-04

Family

ID=65263324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811250280.6A Expired - Fee Related CN109325549B (zh) 2018-10-25 2018-10-25 一种人脸图像融合方法

Country Status (1)

Country Link
CN (1) CN109325549B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110222784A (zh) * 2019-06-13 2019-09-10 郑州轻工业学院 融合短时和长时深度特征的太阳能电池片缺陷检测方法
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110414437A (zh) * 2019-07-30 2019-11-05 上海交通大学 基于卷积神经网络模型融合篡改人脸检测分析方法和系统
CN110517185A (zh) * 2019-07-23 2019-11-29 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110781842A (zh) * 2019-10-29 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110826627A (zh) * 2019-11-06 2020-02-21 广东三维家信息科技有限公司 图像相似度测量方法、装置及电子设备
CN111209962A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法
TWI725746B (zh) * 2019-02-26 2021-04-21 大陸商騰訊科技（深圳）有限公司 圖像融合的方法、模型訓練的方法以及相關裝置
US20210209423A1 (en) * 2020-04-17 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for training face fusion model and electronic device
WO2021180114A1 (zh) * 2020-03-11 2021-09-16 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
CN113449490A (zh) * 2021-06-22 2021-09-28 上海明略人工智能(集团)有限公司 一种文档信息汇总方法、系统、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194868A (zh) * 2017-05-19 2017-09-22 成都通甲优博科技有限责任公司 一种人脸图像生成方法及装置
CN107230181A (zh) * 2017-06-05 2017-10-03 厦门美柚信息科技有限公司 实现人脸图像融合的方法及装置
CN107240085A (zh) * 2017-05-08 2017-10-10 广州智慧城市发展研究院 一种基于卷积神经网络模型的图像融合方法及系统
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240085A (zh) * 2017-05-08 2017-10-10 广州智慧城市发展研究院 一种基于卷积神经网络模型的图像融合方法及系统
CN107194868A (zh) * 2017-05-19 2017-09-22 成都通甲优博科技有限责任公司 一种人脸图像生成方法及装置
CN107230181A (zh) * 2017-06-05 2017-10-03 厦门美柚信息科技有限公司 实现人脸图像融合的方法及装置
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENLIANG HE，ET AL.: "AttGAN: Facial Attribute Editing by Only Changing What You Want", 《ARXIV》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI725746B (zh) * 2019-02-26 2021-04-21 大陸商騰訊科技（深圳）有限公司 圖像融合的方法、模型訓練的方法以及相關裝置
CN110210429B (zh) * 2019-06-06 2022-11-29 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110222784A (zh) * 2019-06-13 2019-09-10 郑州轻工业学院 融合短时和长时深度特征的太阳能电池片缺陷检测方法
CN110517185A (zh) * 2019-07-23 2019-11-29 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110517185B (zh) * 2019-07-23 2024-02-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110415166B (zh) * 2019-07-29 2023-01-06 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110414437A (zh) * 2019-07-30 2019-11-05 上海交通大学 基于卷积神经网络模型融合篡改人脸检测分析方法和系统
CN110781842A (zh) * 2019-10-29 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110826627A (zh) * 2019-11-06 2020-02-21 广东三维家信息科技有限公司 图像相似度测量方法、装置及电子设备
CN111209962B (zh) * 2020-01-06 2023-02-03 电子科技大学 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法
CN111209962A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法
WO2021180114A1 (zh) * 2020-03-11 2021-09-16 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
US20210209423A1 (en) * 2020-04-17 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for training face fusion model and electronic device
CN113449490B (zh) * 2021-06-22 2024-01-26 上海明略人工智能(集团)有限公司 一种文档信息汇总方法、系统、电子设备及介质
CN113449490A (zh) * 2021-06-22 2021-09-28 上海明略人工智能(集团)有限公司 一种文档信息汇总方法、系统、电子设备及介质

Also Published As

Publication number Publication date
CN109325549B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN109325549A (zh) 一种人脸图像融合方法
CN108710831B (zh) 一种基于机器视觉的小数据集人脸识别算法
CN109447906B (zh) 一种基于生成对抗网络的图片合成方法
Kobler et al. Variational networks: connecting variational methods and deep learning
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
US11158048B2 (en) CT lymph node detection system based on spatial-temporal recurrent attention mechanism
CN109636886A (zh) 图像的处理方法、装置、存储介质和电子装置
CN109359519A (zh) 一种基于深度学习的视频异常行为检测方法
CN109584337A (zh) 一种基于条件胶囊生成对抗网络的图像生成方法
Li et al. Age progression and regression with spatial attention modules
CN107316066A (zh) 基于多通路卷积神经网络的图像分类方法及系统
CN109360170B (zh) 基于高级特征的人脸修复方法
US20200097766A1 (en) Multi-scale text filter conditioned generative adversarial networks
CN109165743A (zh) 一种基于深度压缩自编码器的半监督网络表示学习算法
CN108491925A (zh) 基于隐变量模型的深度学习特征泛化方法
Dogan et al. Semi-supervised image attribute editing using generative adversarial networks
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
CN111476241B (zh) 一种人物服饰转换方法及系统
Yang et al. Gender based face aging with cycle-consistent adversarial networks
Spurek et al. Hyperpocket: Generative point cloud completion
CN109819256A (zh) 基于特征感知的视频压缩感知方法
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
Zhou et al. Deeptree: Modeling trees with situated latents
CN109658508A (zh) 一种多尺度细节融合的地形合成方法
Vasluianu et al. Self-supervised shadow removal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220304