CN115049560A - 一种模型训练方法及系统、人脸图像去光方法及系统 - Google Patents

一种模型训练方法及系统、人脸图像去光方法及系统 Download PDF

Info

Publication number
CN115049560A
CN115049560A CN202210748437.8A CN202210748437A CN115049560A CN 115049560 A CN115049560 A CN 115049560A CN 202210748437 A CN202210748437 A CN 202210748437A CN 115049560 A CN115049560 A CN 115049560A
Authority
CN
China
Prior art keywords
face image
face
uniform illumination
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210748437.8A
Other languages
English (en)
Inventor
李士超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202210748437.8A priority Critical patent/CN115049560A/zh
Publication of CN115049560A publication Critical patent/CN115049560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种模型训练方法及系统、人脸图像去光方法及系统、电子设备及可读存储介质，该方法通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。进一步地，相比现有技术，本发明提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。

Description

一种模型训练方法及系统、人脸图像去光方法及系统
技术领域
本发明涉及深度学习模型技术领域，具体涉及一种模型训练方法及系统、人脸图像去光方法及系统、电子设备及可读存储介质。
背景技术
随着硬件和网络的发展，拍照变得越来越便捷，然而受限于拍摄环境，拍出来的照片往往很容易受到光线和阴影的不良影响，例如，光线过强造成的过曝光，或者不恰当的阴影位置等等。修图师可以通过一系列的专业工具来解决这个问题，但是这样做的成本较高。
当前针对人脸图像去光方法(包括去高光和/或去阴影)已经有一些进展，但是还存在以下几个问题：1)人脸图像去光方法依赖人脸图像去光模型的训练，而人脸图像去光模型的训练没有可获得的大型公开数据集，效果比较好的方法数据往往是基于昂贵的Light Stage(灯光舞台)采集的，导致算法的普及性不强；2)现有技术通过从2D人脸图像估计出人脸3D形状，然后对估计出的人脸3D形状进行去光，最后再渲染回2D图像，得到光照均匀的人脸图像，由于2D到3D的转换过程中会存在很大误差，所以影响最终的人脸图像去光效果。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本发明提供一种模型训练方法及系统、人脸图像去光方法及系统、电子设备及可读存储介质，以解决现有技术中人脸图像去光方法依赖人脸图像去光模型的训练，而人脸图像去光模型的训练需要使用昂贵的设备进行数据采集，导致成本高、算法普及性不强的问题。
根据本发明实施例的第一方面，提供一种模型训练方法，包括：
获取高清人脸图像数据集；
从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并将筛选出的光照均匀的人脸图像存储在真实人脸图像集中；
对筛选出的光照均匀的人脸图像重光照，得到带有阴影和高光的人脸图像，生成人脸重光照图像集；
将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，直至模型收敛，得到人脸图像去光模型，所述人脸图像去光模型用于对输入的人脸图像进行去光处理，得到光照均匀的人脸图像。
进一步地，所述从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，包括：
对所述高清人脸图像数据集中的每张高清人脸图像，进行人脸分割，获得人脸图像中的人脸区域；
对每个分割出的人脸区域，根据所述人脸区域中的高光像素和阴影像素占比，判断该人脸区域对应的人脸图像是否为光照均匀的人脸图像。
进一步地，所述根据所述人脸区域中的高光像素和阴影像素占比，判断该人脸区域对应的人脸图像是否为光照均匀的人脸图像，包括：
在所述人脸区域中，将像素值高于第一预设像素值的像素标记为高光像素，将像素值低于第二预设像素值的像素标记为阴影像素；所述第二预设像素值低于第一预设像素值；
计算阴影像素的数量和高光像素的数量两者之和占所述人脸区域所有像素数量的比重；
若所述比重低于阈值，则将该人脸区域对应的人脸图像标记为光照均匀的人脸图像。
进一步地，所述对筛选出的光照均匀的人脸图像重光照，包括：
随机挑选球谐函数系数，将所述球谐函数系数所对应的光照方向和光照强度添加到筛选出的光照均匀的人脸图像中，通过调节所述球谐函数系数的缩放尺度，得到带有阴影和高光的人脸图像；
将剪影数据作为外部阴影的轮廓或者通过添加柏林噪声仿造无固定形状的外部物体造成的阴影，添加到所述带有阴影和高光的人脸图像中。
进一步地，所述将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，包括：
定义所述网络模型的损失函数；
更新所述网络模型的生成器和判别器，直至模型收敛；
其中，所述生成器用于接收重光照后的人脸图像，并对重光照后的人脸图像进行去光处理，生成光照均匀的人脸图像；
所述判别器用于接收生成器生成的人脸图像，或者真实的光照均匀的人脸图像，输出所述人脸图像属于真实的光照均匀的人脸图像的置信度。
进一步地，所述网络模型的损失函数，至少包括：
用于优化生成器的基于标准差的正则项；
所述正则项用于约束生成器生成的人脸图像的光照效果。
进一步地，所述更新所述网络模型的生成器和判别器，包括：
更新生成器，包括：
固定判别器的网络参数，将所述人脸重光照图像集中的人脸图像分批送入生成器，输出光照均匀的人脸图像；
根据判别器输出的该光照均匀的人脸图像的置信度，计算损失函数值，并对生成器各层的模型参数进行求导，得到生成器各层的梯度；
根据所述梯度，使用梯度下降算法和反向传播算法更新生成器的网络参数；
更新判别器，包括：
将生成器生成的人脸图像和真实人脸图像集中的人脸图像，轮流输入到判别器中，分别得到输入的人脸图像属于真实的光照均匀的人脸图像的第一置信度和第二置信度；
根据所述第一置信度和第二置信度，计算损失函数值，并使用链式法则计算判别器各个层的梯度；
根据所述梯度，使用梯度下降算法和反向传播算法更新判别器的网络参数。
进一步地，所述方法，还包括：
设置所述生成器和判别器的优化迭代次数，所述优化迭代次数达到预设次数，损失函数值不再减小，且测试集上测得的结构相似度不再提升时，判定模型收敛，将此时的生成器确定为人脸图像去光模型；
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值；所述真值是指人脸图像未被重光照时的像素值；
所述结构相似度是指测试集中的人脸图像输入到生成器后，生成光照均匀的人脸图像，该光照均匀的人脸图像的预测值与对应真值的相似度；
所述预测值是指该光照均匀的人脸图像的像素值。
根据本发明实施例的第二方面，提供一种人脸图像去光方法，包括：
将实时采集的人脸图像进行人脸对齐，以识别出人脸区域，并将识别出的人脸区域对齐到指定位置；
将人脸对齐后的人脸图像，输入到所述人脸图像去光模型中进行去光处理，得到光照均匀的人脸图像；所述人脸图像去光模型为利用权利要求1～8中任一项所述的模型训练方法得到的。
根据本发明实施例的第三方面，提供一种模型训练系统，包括：
获取模块，用于获取高清人脸图像数据集；
筛选模块，用于从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并将筛选出的光照均匀的人脸图像存储在真实人脸图像集中；
重光照模块，用于对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集；
训练模块，用于将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，直至模型收敛，得到人脸图像去光模型，所述人脸图像去光模型，用于对输入的人脸图像进行去光处理，得到光照均匀的人脸图像。
进一步地，所述网络模型，包括：
生成器，用于接收重光照后的人脸图像，并对重光照后的人脸图像进行去光处理，生成光照均匀的人脸图像；
判别器，用于接收生成器生成的人脸图像，或者真实的光照均匀的人脸图像，输出所述人脸图像属于真实的光照均匀的人脸图像的置信度。
进一步地，所述生成器，包括：
编码器，用于对重光照后的人脸图像进行特征提取，得到去除光照影响的人脸特征；
解码器，用于将去除光照影响的人脸特征，还原为光照均匀的人脸图像。
进一步地，所述判别器，包括：
卷积层，用于对输入的光照均匀的人脸图像进行一次特征提取；
残差模块，用于对卷积层提取的特征进行二次特征提取和下采样；
全连接层，用于根据残差模块输出的特征，计算输入的光照均匀的人脸图像属于真实的光照均匀的人脸图像的置信度，并输出所述置信度。
根据本发明实施例的第四方面，提供一种人脸图像去光系统，包括：
对齐模块，用于将实时采集的人脸图像进行人脸对齐，以识别出人脸区域，并将识别出的人脸区域对齐到指定位置；
去光模块，用于将人脸对齐后的人脸图像，输入到所述人脸图像去光模型中进行去光处理，得到光照均匀的人脸图像；所述人脸图像去光模型为利用权利要求1～8中任一项所述的模型训练方法得到的。
根据本发明实施例的第五方面，提供一种电子设备，包括：处理器和存储器，其中，
所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行上述的人脸图像去光模型的训练方法，和/或，人脸图像去光方法。
根据本发明实施例的第六方面，提供一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的人脸图像去光模型的训练方法，和/或，人脸图像去光方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。
进一步地，本发明提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种模型训练方法的流程图；
图2是根据一示例性实施例示出的生成器的结构示意图；
图3是根据一示例性实施例示出的GAN块的结构示意图；
图4是根据一示例性实施例示出的判别器的结构示意图；
图5是根据一示例性实施例示出的残差模块的结构示意图；
图6是根据一示例性实施例示出的一种模型训练系统的示意框图；
图7是根据一示例性实施例示出的一种人脸图像去光系统的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如前面背景技术，现有技术中人脸图像去光方法依赖人脸图像去光模型的训练，而人脸图像去光模型的训练需要使用昂贵的设备进行数据采集，导致成本高、算法普及性不强。为了解决这一技术问题，本发明提供了以下几个示例性实施例。
需要说明的是，本发明各实施例所提及的“去光”是指去除当前人脸图像中的高光(过曝光)，和/或，阴影；“重光照”是指将高光(过曝光)，和/或，阴影添加到当前人脸图像中；“真实的光照均匀的人脸图像”是指真实人脸图像集中的人脸图像。
图1是根据一示例性实施例示出的一种人脸图像去光模型的训练方法的流程图，如图1所示，该方法包括：
步骤S11、获取高清人脸图像数据集；
步骤S12、从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并将筛选出的光照均匀的人脸图像存储在真实人脸图像集中；
步骤S13、对筛选出的光照均匀的人脸图像重光照，得到带有阴影和高光的人脸图像，生成人脸重光照图像集；
步骤S14、将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，直至模型收敛，得到人脸图像去光模型，所述人脸图像去光模型，用于对输入的人脸图像进行去光处理，得到光照均匀的人脸图像。
需要说明的是，本实施例提供的技术方案，适用于电脑端，和/或，移动终端，适用的场景包括但不限于：当前人脸图像中的高光(过曝光)，和/或，阴影。
步骤S11中“获取高清人脸图像数据集”，具体为：
从互联网上获取公开的FFHQ和CelebA-HQ人脸图像数据集。
其中，FFHQ全称Flickr-Faces-Hight-Quality(Flickr-Faces-HQ)是作为生成对抗网络(GAN)的基准创建的，也用于Style GAN的训练数据集中，于2019年开源。FFHQ是一个高质量的人脸数据集，包含1024x1024分辨率的70000张PNG格式高清人脸图像。
所述高清即为分辨率大于1024x1024的人脸图像。
CelebA是CelebFaces Attribute的缩写，即名人人脸属性数据集，其包含10，177个名人身份的202，599张人脸图片，每张图片都做好了特征标记，包含人脸bbox标注框、5个人脸特征点坐标以及40个属性标记，CelebA由香港中文大学开放提供。
步骤S12中“从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像”，包括：
对所述高清人脸图像数据集中的每张高清人脸图像，进行人脸分割，获得人脸图像中的人脸区域；
在所述人脸区域中，将像素值高于第一预设像素值的像素标记为高光像素，将像素值低于第二预设像素值的像素标记为阴影像素；所述第二预设像素值低于第一预设像素值；
计算阴影像素的数量和高光像素的数量两者之和占所述人脸区域所有像素数量的比重；
若所述比重低于阈值，则将该人脸区域对应的人脸图像标记为光照均匀的人脸图像。
在具体实践中，所述第一预设像素值、第二预设像素值、阈值根据用户需要进行设置，或者，根据实验数据进行设置，或者，根据历史经验值进行设置。例如，将第一预设像素值设定为200，第二预设像素值设定为114。
步骤S13中“对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集”，包括：
随机挑选球谐函数系数，将所述球谐函数系数所对应的光照方向和光照强度添加到筛选出的光照均匀的人脸图像中，通过调节所述球谐函数系数的缩放尺度，得到带有阴影和高光的人脸图像；
将剪影数据作为外部阴影的轮廓或者通过添加柏林噪声仿造无固定形状的外部物体造成的阴影，添加到所述带有阴影和高光的人脸图像中。
需要说明的是，球谐光照在现代图形渲染领域有着广泛的应用，可快速模拟复杂的实时光照。球谐光照是一种光照算法，这种算法的内核是定义在球面上的特殊函数：球谐函数，它可以对光照进行捕捉并在之后进行重新光照并且可以实时展示全局光照风格的区域光源与软阴影。
球谐函数有9个系数，这9个系数的大小共同决定当前的光照方向和光照强度。这9个系数同时乘以缩放尺度可以调节光照强度(光照方向不变，如果每个系数单独调整，光照方向才会改变)，该缩放尺度大于1，代表光的强度增加，小于1代表光的强度减小。调节所述球谐函数系数的缩放尺度，就可以得到带有阴影和高光的人脸图像。
由于本申请选用的人脸图像为彩色图像，RGB三通道每个通道对应9个系数，那么就组成3*9的系数矩阵。
将这3*9系数矩阵和筛选出的光照均匀的人脸图像输入到学习模型中，去学习这个3*9系数矩阵对应的光照方向和光照强度，得到带有阴影和高光的人脸图像。
可以理解的是，对筛选出的光照均匀的人脸图像重光照，不仅要模拟自然光对人脸图像造成的阴影(通过上述调节球谐函数系数实现)，还要模拟环境中外部物体对人脸图像造成的阴影。
模拟环境中外部物体对人脸图像造成的阴影，有两种方法：
1、在网上公开的剪影数据集中，随机挑选一个或多个剪影，仿造固定形状的外部物体造成的阴影，添加到所述带有阴影和高光的人脸图像中(通过调用融合函数，将剪影数据和人脸图像数据进行融合)。
2、通过噪声函数生成柏林噪声，仿造无固定形状的外部物体造成的阴影，添加到所述带有阴影和高光的人脸图像中(通过调用融合函数，将剪影数据和人脸图像数据进行融合)。
步骤S14中“将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练”，包括：
定义所述网络模型的损失函数；
更新所述网络模型的生成器和判别器，直至模型收敛；
具体实践中，基于深度学习框架(包括但不限于：Pytorch深度学习框架、TensorFlow深度学习框架)构建所述网络模型，所述网络模型包括：
生成器，用于接收重光照后的人脸图像，并对重光照后的人脸图像进行去光处理，生成光照均匀的人脸图像；
判别器，用于接收生成器生成的人脸图像，或者真实的光照均匀的人脸图像，输出所述人脸图像属于真实的光照均匀的人脸图像的置信度。
参见图2，所述生成器，包括：
编码器，用于对重光照后的人脸图像进行特征提取，得到去除光照影响的人脸特征；
解码器，用于将去除光照影响的人脸特征，还原为光照均匀的人脸图像。
参见图2，编码器包括多个卷积层Conv和一个全连接层FC，其中每个卷积层Conv的参数可以设定为如下表1所示(表1中步长是指每次卷积核移动的步幅，输出尺寸是指卷积后输出的向量维度)：
名字 卷积核大小 输入通道数 输出通道数 步长 输出尺寸
Conv0 1 3 16 1 1024*1024
Conv1 3 16 32 2 512*512
Conv2 3 32 64 2 256*256
Conv3 3 64 128 2 128*128
Conv4 3 128 256 2 64*64
Conv5 3 256 512 2 32*32
Conv6 3 512 512 2 16*16
Conv7 3 512 512 2 8*8
Conv8 3 512 512 2 4*4
Linear - 512*4*4 512 - 512
表1
可以理解的是，编码器中的卷积层Conv主要用于特征提取，全连接层FC主要用于特征降维，将卷积层Conv提取的特征降维到长度为512。
参见图2，编码器最终的输出为长度为512的特征向量Z，每个卷积层Conv的输出也会被保存下来，通过跨层连接提供给解码器。
编码器输出的长度为512的特征向量Z通过一个由8个全连接层组成的映射网络Mapping Network生成长度为512的特征向量W。
编码器包括Const矩阵和多个GAN块，其中，固定矩阵是Const矩阵，为一个4×4×512大小的固定矩阵，所有GAN块结构相同，如下图3所示。
图3中，A代表长度为512的特征向量W，B代表编码器每个卷积层Conv输出的中间结果。
进一步地，参见图4，所述判别器，包括：
一个卷积层Conv，用于对输入的光照均匀的人脸图像进行一次特征提取；
多个残差模块Residual Block，用于对卷积层提取的特征进行二次特征提取和下采样；
全连接层(也即线性层Linear)，用于根据残差模块输出的特征，计算输入的光照均匀的人脸图像属于真实的光照均匀的人脸图像的置信度，并输出所述置信度。
其中，所有残差模块Residual Block的结构相同，如图5所示，每个残差模块由两个卷积和一个旁路卷积构成，最后对两路卷积输入求和。图5中，激活函数的类型可以为leakyrelu。
进一步地，所述定义所述网络模型的损失函数，至少包括：
1)重建损失函数：
Figure BDA0003717456350000121
该损失函数仅参与优化生成器；
其中，λl1是手动指定的超参数，
Figure BDA0003717456350000122
是指人脸重光照图像集中的人脸图像，y是指真实的光照均匀的人脸图像，||·||1是指L1范数。
2)生成对抗损失函数，包括用于优化生成器的损失函数：
Figure BDA0003717456350000123
用于优化判别器的损失函数：
Figure BDA0003717456350000124
其中，D(y)是指输入判别器的图像y是真实的光照均匀的人脸图像的置信度；
Figure BDA0003717456350000125
是指输入判别器的图像
Figure BDA0003717456350000126
是真实的光照均匀的人脸图像的置信度，其值越高，证明是真实的光照均匀的人脸图像的可能性越大。
3)感知损失函数：
Figure BDA0003717456350000127
该损失函数仅参与优化生成器；
其中，φ是指提取的感知特征，在本实施例明中，使用VGG-19网络的卷积层Conv1到卷积层Conv5层进行特征提取。
4)基于标准差的正则项：
Figure BDA0003717456350000128
该损失函数仅参与优化生成器；
其中，λreg是指定的超参数，std(·)是指计算标准差，ReLU(x)＝max(0，x)。
综上，总的损失函数为：L＝Lrecon+LGAN+Lper+Lreg；
其中，正则项用于约束生成器生成的人脸图像的光照效果。
可以理解的是，一个质量较高的光照均匀的人脸图像，像素值位于0到255之间，其均值不一，但是标准差均在20到30之间。因此本实施例提出基于标准差的约束项，对生成器输出的人脸图像的标准差进行约束，最终提升去光的效果，并对高光有明显的压制。
步骤S14中“更新所述网络模型的生成器和判别器”，包括：
更新生成器，包括：
固定判别器的网络参数，将所述人脸重光照图像集中的人脸图像分批送入生成器，输出光照均匀的人脸图像；
根据判别器输出的该光照均匀的人脸图像的置信度，计算损失函数值，并使用链式法则计算生成器各个层的梯度(链式法则即对生成器各层的模型参数进行求导，得到生成器各层的梯度)；
根据所述梯度，使用梯度下降算法和反向传播算法更新生成器的网络参数；
更新判别器，包括：
将生成器生成的人脸图像和真实人脸图像集中的人脸图像，轮流输入到判别器中，分别得到输入的人脸图像属于真实的光照均匀的人脸图像的第一置信度和第二置信度；
根据所述第一置信度和第二置信度，计算损失函数值，并使用链式法则计算判别器各个层的梯度；
根据所述梯度，使用梯度下降算法和反向传播算法更新判别器的网络参数。
进一步地，设置所述生成器和判别器的优化迭代次数，所述优化迭代次数达到预设次数，损失函数值不再减小，且测试集上测得的结构相似度不再提升时，判定模型收敛，将此时的生成器确定为人脸图像去光模型。
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值；所述真值是指人脸图像未被重光照时的像素值；
所述结构相似度是指测试集中的人脸图像输入到生成器后，生成光照均匀的人脸图像，该光照均匀的人脸图像的预测值与对应真值的相似度；
所述预测值是指该光照均匀的人脸图像的像素值。
在具体实践中，优化迭代次数根据用户需要进行设置，或者，根据实验数据进行设置，或者，根据历史经验值进行设置，例如，设置为100000次。
可以理解的是，本实施例提供的技术方案，通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。
进一步地，本实施例提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。
在具体实践中，通过上述的模型训练方法训练出的人脸图像去光模型可以用于人脸图像去光。根据一示例性实施例示出的一种人脸图像去光方法，包括：
将实时采集的人脸图像进行人脸对齐，以识别出人脸区域，并将识别出的人脸区域对齐到指定位置；
将人脸对齐后的人脸图像，输入到所述人脸图像去光模型中进行去光处理，得到光照均匀的人脸图像；所述人脸图像去光模型为利用上述的模型训练方法得到的。
可以理解的是，本实施例提供的技术方案，由于需要通过实施例一所述的人脸图像去光模型的训练方法，得到人脸图像去光模型，而实施例一所述的人脸图像去光模型的训练方法通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。
进一步地，本实施例提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。
图6是根据一示例性实施例示出的一种模型训练系统100的示意框图，如图6所示，该系统100包括：
获取模块101，用于获取高清人脸图像数据集；
筛选模块102，用于从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并将筛选出的光照均匀的人脸图像存储在真实人脸图像集中；
重光照模块103，用于对筛选出的光照均匀的人脸图像重光照，得到带有阴影和高光的人脸图像，生成人脸重光照图像集；
训练模块104，用于将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，直至模型收敛，得到人脸图像去光模型，所述人脸图像去光模型，用于对输入的人脸图像进行去光处理，得到光照均匀的人脸图像。
需要说明的是，由于上述各模块的实现方式及有益效果可参考前述实施例中对应步骤的详细阐述，本实施例不再赘述。
可以理解的是，本实施例提供的技术方案，通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。
进一步地，本实施例提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。
图7是根据一示例性实施例示出的一种人脸图像去光系统200的示意框图，如图7所示，该系统200包括：
对齐模块201，用于将实时采集的人脸图像进行人脸对齐，以识别出人脸区域，并将识别出的人脸区域对齐到指定位置；
去光模块202，用于将人脸对齐后的人脸图像，输入到所述人脸图像去光模型中进行去光处理，得到光照均匀的人脸图像；所述人脸图像去光模型为利用上述的模型训练方法得到的。
可以理解的是，本实施例提供的技术方案，通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。
进一步地，本实施例提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。
根据一示例性实施例示出的一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行上述的人脸图像去光模型的训练方法，和/或，人脸图像去光方法。
需要说明的是，电子设备包括但不限于：智能终端(例如，手机、平板电脑、智能手表等)和计算机设备。
所述处理器包括但不限于：CPU、单片机、PLC控制器、FPGA控制器等。
所述存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器；还可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
可以理解的是，本实施例提供的技术方案，通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。
进一步地，本实施例提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。
根据一示例性实施例示出的一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当计算机程序在计算机设备上运行时，使得计算机设备执行上述的人脸图像去光模型的训练方法，和/或，人脸图像去光方法。
本实施例公开的计算机可读存储介质包括但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以理解的是，本实施例提供的技术方案，通过获取高清人脸图像数据集，从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集，实现了模型训练数据的自生成，摆脱了对昂贵的数据采集设备的依赖，成本低、算法普及性更强。
进一步地，本实施例提供的技术方案，无需2D到3D的转换，仅通过2D人脸图像就可以实现对人脸图像的去光，大大提升了人脸图像的去光效果。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

1.一种模型训练方法，其特征在于，包括：
获取高清人脸图像数据集；
从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并将筛选出的光照均匀的人脸图像存储在真实人脸图像集中；
对筛选出的光照均匀的人脸图像重光照，得到带有阴影和高光的人脸图像，生成人脸重光照图像集；
将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，直至模型收敛，得到人脸图像去光模型，所述人脸图像去光模型用于对输入的人脸图像进行去光处理，得到光照均匀的人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，包括：
对所述高清人脸图像数据集中的每张高清人脸图像，进行人脸分割，获得人脸图像中的人脸区域；
对每个分割出的人脸区域，根据所述人脸区域中的高光像素和阴影像素占比，判断该人脸区域对应的人脸图像是否为光照均匀的人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸区域中的高光像素和阴影像素占比，判断该人脸区域对应的人脸图像是否为光照均匀的人脸图像，包括：
在所述人脸区域中，将像素值高于第一预设像素值的像素标记为高光像素，将像素值低于第二预设像素值的像素标记为阴影像素；所述第二预设像素值低于第一预设像素值；
计算阴影像素的数量和高光像素的数量两者之和占所述人脸区域所有像素数量的比重；
若所述比重低于阈值，则将该人脸区域对应的人脸图像标记为光照均匀的人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述对筛选出的光照均匀的人脸图像重光照，包括：
随机挑选球谐函数系数，将所述球谐函数系数所对应的光照方向和光照强度添加到筛选出的光照均匀的人脸图像中，通过调节所述球谐函数系数的缩放尺度，得到带有阴影和高光的人脸图像；
将剪影数据作为外部阴影的轮廓或者通过添加柏林噪声仿造无固定形状的外部物体造成的阴影，添加到所述带有阴影和高光的人脸图像中。
5.根据权利要求1所述的方法，其特征在于，所述将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，包括：
定义所述网络模型的损失函数；
更新所述网络模型的生成器和判别器，直至模型收敛；
其中，所述生成器用于接收重光照后的人脸图像，并对重光照后的人脸图像进行去光处理，生成光照均匀的人脸图像；
所述判别器用于接收生成器生成的人脸图像，或者真实的光照均匀的人脸图像，输出所述人脸图像属于真实的光照均匀的人脸图像的置信度。
6.根据权利要求5所述的方法，其特征在于，所述网络模型的损失函数，至少包括：
用于优化生成器的基于标准差的正则项；
所述正则项用于约束生成器生成的人脸图像的光照效果。
7.根据权利要求5所述的方法，其特征在于，所述更新所述网络模型的生成器和判别器，包括：
更新生成器，包括：
固定判别器的网络参数，将所述人脸重光照图像集中的人脸图像分批送入生成器，输出光照均匀的人脸图像；
根据判别器输出的该光照均匀的人脸图像的置信度，计算损失函数值，并对生成器各层的模型参数进行求导，得到生成器各层的梯度；
根据所述梯度，使用梯度下降算法和反向传播算法更新生成器的网络参数；
更新判别器，包括：
将生成器生成的人脸图像和真实人脸图像集中的人脸图像，轮流输入到判别器中，分别得到输入的人脸图像属于真实的光照均匀的人脸图像的第一置信度和第二置信度；
根据所述第一置信度和第二置信度，计算损失函数值，并使用链式法则计算判别器各个层的梯度；
根据所述梯度，使用梯度下降算法和反向传播算法更新判别器的网络参数。
8.根据权利要求7所述的方法，其特征在于，还包括：
设置所述生成器和判别器的优化迭代次数，所述优化迭代次数达到预设次数，损失函数值不再减小，且测试集上测得的结构相似度不再提升时，判定模型收敛，将此时的生成器确定为人脸图像去光模型；
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值；所述真值是指人脸图像未被重光照时的像素值；
所述结构相似度是指测试集中的人脸图像输入到生成器后，生成光照均匀的人脸图像，该光照均匀的人脸图像的预测值与对应真值的相似度；
所述预测值是指该光照均匀的人脸图像的像素值。
9.一种人脸图像去光方法，其特征在于，包括：
将实时采集的人脸图像进行人脸对齐，以识别出人脸区域，并将识别出的人脸区域对齐到指定位置；
将人脸对齐后的人脸图像，输入到所述人脸图像去光模型中进行去光处理，得到光照均匀的人脸图像；所述人脸图像去光模型为利用权利要求1～8中任一项所述的模型训练方法得到的。
10.一种模型训练系统，其特征在于，包括：
获取模块，用于获取高清人脸图像数据集；
筛选模块，用于从所述高清人脸图像数据集中，筛选出光照均匀的人脸图像，并将筛选出的光照均匀的人脸图像存储在真实人脸图像集中；
重光照模块，用于对筛选出的光照均匀的人脸图像重光照，生成人脸重光照图像集；
训练模块，用于将所述人脸重光照图像集中的人脸图像及真实人脸图像集中的人脸图像输入到预先构建的网络模型中进行训练，直至模型收敛，得到人脸图像去光模型，所述人脸图像去光模型，用于对输入的人脸图像进行去光处理，得到光照均匀的人脸图像。
11.根据权利要求10所述的系统，其特征在于，所述网络模型，包括：
生成器，用于接收重光照后的人脸图像，并对重光照后的人脸图像进行去光处理，生成光照均匀的人脸图像；
判别器，用于接收生成器生成的人脸图像，或者真实的光照均匀的人脸图像，输出所述人脸图像属于真实的光照均匀的人脸图像的置信度。
12.根据权利要求11所述的系统，其特征在于，所述生成器，包括：
编码器，用于对重光照后的人脸图像进行特征提取，得到去除光照影响的人脸特征；
解码器，用于将去除光照影响的人脸特征，还原为光照均匀的人脸图像。
13.根据权利要求11所述的方法，其特征在于，所述判别器，包括：
卷积层，用于对输入的光照均匀的人脸图像进行一次特征提取；
残差模块，用于对卷积层提取的特征进行二次特征提取和下采样；
全连接层，用于根据残差模块输出的特征，计算输入的光照均匀的人脸图像属于真实的光照均匀的人脸图像的置信度，并输出所述置信度。
14.一种人脸图像去光系统，其特征在于，包括：
对齐模块，用于将实时采集的人脸图像进行人脸对齐，以识别出人脸区域，并将识别出的人脸区域对齐到指定位置；
去光模块，用于将人脸对齐后的人脸图像，输入到所述人脸图像去光模型中进行去光处理，得到光照均匀的人脸图像；所述人脸图像去光模型为利用权利要求1～8中任一项所述的模型训练方法得到的。
15.一种电子设备，其特征在于，包括：处理器和存储器，其中，
所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行权利要求1～8任一项所述的模型训练方法，和/或，权利要求9所述的人脸图像去光方法。
16.一种计算机可读存储介质，其特征在于，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行1～8任一项所述的模型训练方法，和/或，权利要求9所述的人脸图像去光方法。
CN202210748437.8A 2022-06-28 2022-06-28 一种模型训练方法及系统、人脸图像去光方法及系统 Pending CN115049560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210748437.8A CN115049560A (zh) 2022-06-28 2022-06-28 一种模型训练方法及系统、人脸图像去光方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210748437.8A CN115049560A (zh) 2022-06-28 2022-06-28 一种模型训练方法及系统、人脸图像去光方法及系统

Publications (1)

Publication Number Publication Date
CN115049560A true CN115049560A (zh) 2022-09-13

Family

ID=83162862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210748437.8A Pending CN115049560A (zh) 2022-06-28 2022-06-28 一种模型训练方法及系统、人脸图像去光方法及系统

Country Status (1)

Country Link
CN (1) CN115049560A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071807A (zh) * 2023-03-06 2023-05-05 深圳市网联天下科技有限公司 基于视频监控的校园一卡通智能预警方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071807A (zh) * 2023-03-06 2023-05-05 深圳市网联天下科技有限公司 基于视频监控的校园一卡通智能预警方法及系统

Similar Documents

Publication Publication Date Title
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN113096234B (zh) 利用多张彩色图片生成三维网格模型的方法及装置
WO2020108358A1 (zh) 图像修复方法、装置、计算机设备和存储介质
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN109035253A (zh) 一种语义分割信息指导的深度学习自动图像抠图方法
CN114049420B (zh) 一种模型训练方法、图像渲染方法、装置和电子设备
EP4118619A1 (en) Pose estimation method and apparatus
KR20200132682A (ko) 이미지 최적화 방법, 장치, 디바이스 및 저장 매체
CN112734887B (zh) 基于深度学习的人脸混合-变形生成方法和装置
CN111598796A (zh) 图像处理方法及装置、电子设备、存储介质
WO2019164497A1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
CN113936318A (zh) 一种基于gan人脸先验信息预测和融合的人脸图像修复方法
CN117036281A (zh) 一种缺陷图像的智能生成方法及其系统
CN115049560A (zh) 一种模型训练方法及系统、人脸图像去光方法及系统
CN115620158A (zh) 一种基于深度学习的高分辨率遥感影像阴影去除方法
Lei et al. Low-light image enhancement using the cell vibration model
CN113516755B (zh) 图像处理方法、图像处理装置、电子设备和存储介质
CN111951373B (zh) 一种人脸图像的处理方法和设备
CN111445422B (zh) 基于神经网络的随机渐近式光子映射图像降噪方法及系统
CN117197627A (zh) 一种基于高阶退化模型的多模态图像融合方法
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
CN115049558A (zh) 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质
CN115049559A (zh) 模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质
Tian et al. A modeling method for face image deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination