CN115661912A - 图像处理方法、模型训练方法、电子设备及可读存储介质 - Google Patents
图像处理方法、模型训练方法、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN115661912A CN115661912A CN202211672549.6A CN202211672549A CN115661912A CN 115661912 A CN115661912 A CN 115661912A CN 202211672549 A CN202211672549 A CN 202211672549A CN 115661912 A CN115661912 A CN 115661912A
- Authority
- CN
- China
- Prior art keywords
- image
- glasses
- face
- face image
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 239000011521 glass Substances 0.000 claims abstract description 319
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000009877 rendering Methods 0.000 claims description 48
- 238000005286 illumination Methods 0.000 claims description 42
- 230000008030 elimination Effects 0.000 claims description 30
- 238000003379 elimination reaction Methods 0.000 claims description 30
- 230000006978 adaptation Effects 0.000 claims description 27
- 238000011084 recovery Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 36
- 230000000694 effects Effects 0.000 abstract description 20
- 230000001815 facial effect Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 64
- 239000010410 layer Substances 0.000 description 29
- 238000007726 management method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、模型训练方法、电子设备及可读存储介质，属于终端技术领域。包括：获取第一人脸图像，第一人脸图像是待处理的戴眼镜的人脸图像。将第一人脸图像输入至已完成训练的目标检测模型中，输出第二人脸图像和第一物体本征数据，第二人脸图像是对第一人脸图像去掉眼镜和眼镜阴影后的图像，第一物体本征数据用于表征第一人脸图像中人脸面部的细节特征。将第二人脸图像和第一物体本征数据输入至已完成训练的目标精调模型中，输出目标人脸图像，目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。本申请在能够去除眼镜和眼镜阴影的同时，尽可能真实的恢复被眼镜遮挡的面部细节，提高了图像处理效果。
Description
技术领域
本申请涉及终端技术领域，特别涉及一种图像处理方法、模型训练方法、电子设备及可读存储介质。
背景技术
眼镜已经成为很多用户日常生活中的必需品。然而，在拍摄人脸图像时，眼镜通常会带来不必要的遮挡，并在人脸面部投下阴影，也即产生眼镜阴影。在一些场景中，会有去除眼镜和眼镜阴影并恢复被眼镜遮挡的面部区域的需求，譬如出于审美原因，用户需要去除人脸图像中的眼镜和眼镜阴影。
然而，由于眼镜会将各种光照效果（如投射阴影、反射以及扭曲等效果）带入面部区域，而产生这些光照效果的物理规则是复杂的，通常无法对眼镜的几何形状、面部几何形状和光线条件有细腻的感知。因此，如何能够有效地去除眼镜及眼镜阴影并恢复出被眼镜遮挡的面部区域成为亟需解决的问题。
发明内容
本申请提供了一种图像处理方法、模型训练方法、电子设备及可读存储介质，可以有效地去除眼镜及眼镜阴影并恢复出被眼镜遮挡的面部区域。所述技术方案如下：
第一方面，提供了一种图像处理方法，应用于电子设备，所述方法包括：
获取第一人脸图像，所述第一人脸图像是待处理的戴眼镜的人脸图像；
将所述第一人脸图像输入至已完成训练的目标检测模型中，输出第二人脸图像和第一物体本征数据，所述第二人脸图像是对所述第一人脸图像去掉眼镜和眼镜阴影后的图像，所述第一物体本征数据用于表征所述第一人脸图像中人脸面部的细节特征；
将所述第二人脸图像和所述第一物体本征数据输入至已完成训练的目标精调模型中，输出目标人脸图像，所述目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。
如此，在能够去除眼镜和眼镜阴影的同时，尽可能真实的恢复被眼镜遮挡的面部细节，提高了图像处理效果。
作为本申请的一个示例，所述第一物体本征数据包括无眼镜无阴影人脸反照率图和无眼镜无阴影人脸法线图。
由于无眼镜无阴影人脸反照率图可以表征物体本身的表面特征，无眼镜无阴影人脸法线图可以高精度地表示物体表面的细小结构，因此，将无眼镜无阴影人脸反照率图和无眼镜无阴影人脸法线图输入至目标精调模型后，可以使得目标精调模型能够准确地恢复被眼镜遮挡的面部细节，从而提高了图像处理效果。
作为本申请的一个示例，用于训练所述目标检测模型的图像样本数据集中包括真实图像数据和合成图像数据；所述目标检测模型包括第一域适应模块、第一掩模预测模块、第一消除模块和第一逆渲染网络模块，所述第一域适应模块用于确定所述真实图像数据与所述合成图像数据之间的域间差异，所述第一掩模预测模块能够分割出人脸图像中的眼镜掩模图像和阴影掩模图像，所述第一消除模块能够消除人脸图像中的眼镜和眼镜阴影，所述第一逆渲染网络模块能够确定人脸图像的物体本征数据；
所述将所述第一人脸图像输入至已完成训练的目标检测模型中，输出第二人脸图像和第一物体本征数据，包括：
将所述第一人脸图像输入至所述第一域适应模块中，输出第一标准域特征图；
通过所述第一掩模预测模块基于所述第一标准域特征图，确定所述第一人脸图像的第一眼镜掩模图像和第一阴影掩模图像；
通过所述第一消除模块基于所述第一人脸图像、所述第一眼镜掩模图像和所述第一阴影掩模图像，确定所述第二人脸图像；
将所述第一标准域特征图、所述第一眼镜掩模图像和所述第一阴影掩模图像输入至所述第一逆渲染网络模块中，输出所述第一物体本征数据。
如此，通过将第一人脸图像转换成第一标准域特征图，可以尽可能地消除真实域与合成域之间的域间差异，可以提高后续图像处理的准确性。并且，通过确定第一眼镜掩模图像和第一阴影掩模图像，有效地去除第一人脸图像中的眼镜和眼镜阴影，并确定第一人脸图像的第一物体本证数据，从而为后续恢复被眼镜遮挡的面部区域提供可靠的辅助参数。
作为本申请的一个示例，所述第一掩模预测模块包括眼镜掩模网络模块和阴影掩模网络模块，其中，所述眼镜掩模网络模块用于分割出人脸图像中的所述眼镜掩模图像，所述阴影掩模网络模块用于分割出人脸图像中的所述阴影掩模图像；
所述通过所述第一掩模预测模块基于所述第一标准域特征图，确定所述第一人脸图像的第一眼镜掩模图像和第一阴影掩模图像，包括：
将所述第一标准域特征图输入至所述眼镜掩模网络模块中，输出所述第一眼镜掩模图像；
将所述第一标准域特征图和所述第一眼镜掩模图像输入至所述阴影掩模网络模块中，输出所述第一阴影掩模图像。
如此，通过优先确定第一眼镜掩模图像，然后根据第一眼镜掩模图像，从第一标准域特征图中确定第一阴影掩模图像，可以提高确定的有效性。
作为本申请的一个示例，所述第一消除模块包括去眼镜网络模块和去阴影网络模块，所述去眼镜网络模块用于消除人脸图像中的眼镜，所述去阴影网络模块用于消除人脸图像中的眼镜阴影；
所述通过所述第一消除模块基于所述第一人脸图像、所述第一眼镜掩模图像和所述第一阴影掩模图像，确定所述第二人脸图像，包括：
将所述第一人脸图像、所述第一眼镜掩模图像和所述第一阴影掩模图像输入至所述去阴影网络模块中，输出去阴影人脸图像；
将所述去阴影人脸图像和所述第一眼镜掩模图像输入至所述去眼镜网络模块中，输出所述第二人脸图像。
如此，通过优先去除眼镜阴影，然后再去除眼镜，避免因先去除眼镜导致无法确定阴影的问题，从而保证能够有效地去除眼镜及眼镜阴影。
作为本申请的一个示例，所述目标检测模型和所述目标精调模型是基于多个图像样本训练集同步训练得到，每个图像样本训练集包括带眼镜带阴影人脸图像样本、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本。
如此，使得目标检测检测模型能够去除眼镜及眼镜阴影，以及目标精调模型能够对人脸面部特征进行恢复。
作为本申请的一个示例，所述每个图像样本训练集还包括光照图像样本；所述将所述第一人脸图像输入至目标检测模型中，输出第二人脸图像和第一物体本征数据，包括：
将所述第一人脸图像输入至所述目标检测模型中，输出所述第二人脸图像、所述第一物体本征数据和第一光照特征图像，所述第一光照特征图像用于表征拍摄所述第一人脸图像时的光照环境；
所述将所述第二人脸图像和所述第一物体本征数据输入至目标精调模型中，输出目标人脸图像，包括：
将所述第二人脸图像、所述第一物体本征数据和所述光照特征图像输入至所述目标精调模型中，输出所述目标人脸图像。
如此，由于考虑了光照环境，所以目标静态模型恢复出的面部细节更加自然、更有质感。
第二方面，提供了一种模型训练方法，应用于电子设备，所述方法包括：
获取多个图像样本训练集，每个图像样本训练集包括带眼镜带阴影人脸图像样本、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本；
基于所述多个图像样本训练集对未训练的初始检测模型和未训练的初始精调模型进行迭代训练，以得到目标检测模型和目标精调模型，所述目标检测模型能够去除人脸图像的眼镜和眼镜阴影以及确定第一物体本征数据，所述第一物体本征数据用于表征人脸图像中人脸面部的细节特征，所述目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。
如此，使得在图像处理过程中，能够去除眼镜和眼镜阴影的同时，尽可能真实的恢复被眼镜遮挡的面部细节，提高了图像处理效果。
作为本申请的一个示例，所述初始检测模型的输出输入至所述初始精调模型中；所述基于所述多个图像样本训练集对未训练的初始检测模型和未训练的初始精调模型进行训练，以得到目标检测模型和目标精调模型，包括：
将所述多个图像样本训练集中的带眼镜带阴影人脸图像样本作为所述初始检测模型的输入，以及将多个图像样本训练集中的所述带眼镜无阴影人脸图像样本、所述无眼镜带阴影人脸图像样本、所述无眼镜无阴影人脸反照率图样本、所述无眼镜无阴影人脸法线图样本、所述眼镜掩模图像样本、所述阴影掩模图像样本作为学习监督条件，对所述初始检测模型和所述初始精调模型进行迭代训练，以得到目标检测模型和目标精调模型。
如此，使得目标检测模型能够去除人脸图像的眼镜和眼镜阴影以及确定第一物体本征数据，以及使得目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。
作为本申请的一个示例，所述每个图像样本训练集还包括光照图像样本，所述目标检测模型能够去除人脸图像的眼镜和眼镜阴影、以及确定第一物体本征数据和第一光照特征图像，所述第一光照特征图像用于表征拍摄人脸图像时的光照环境。
如此，在增加光照图像样本后，可以使得目标检测模型输出第一光照特征图像，从而使得目标精调模型根据第一光照特征图像确定被眼镜遮挡的面部区域所需恢复的光照信息，进而输出更为真实、自然的目标人脸图像。
第三方面，提供了一种图像处理装置，所述图像处理装置具有实现上述第一方面中图像处理方法行为的功能。所述图像处理装置包括至少一个模块，所述至少一个模块用于实现上述第一方面所提供的图像处理方法。
第四方面，提供了一种模型训练装置，所述模型训练装置具有实现上述第二方面中模型训练方法行为的功能。所述模型训练装置包括至少一个模块，所述至少一个模块用于实现上述第二方面所提供的模型训练方法。
第五方面，提供了一种电子设备，所述电子设备的结构中包括处理器和存储器，所述存储器用于存储支持电子设备执行上述第一方面所提供的图像处理方法的程序，以及存储用于实现上述第一方面所述的图像处理方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。
第六方面，提供了一种电子设备，所述电子设备的结构中包括处理器和存储器，所述存储器用于存储支持电子设备执行上述第二方面所提供的模型训练方法的程序，以及存储用于实现上述第二方面所述的模型训练方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。
第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的图像处理方法。
第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第二方面所述的模型训练方法。
第九方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的图像处理方法。
第十方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面所述的模型训练方法。
上述第三方面、第五方面、第七方面和第九方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似，以及第四方面、第六方面、第八方面和第十方面所获得的技术效果与上述第二方面中对应的技术手段获得的技术效果近似，在这里不再赘述。
附图说明
图1是根据一示例性实施例示出的一种去眼镜前后的人脸图像对比示意图；
图2是根据一示例性实施例示出的一种应用场景的示意图；
图3是根据另一示例性实施例示出的一种应用场景的示意图；
图4是根据一示例性实施例示出的一种图像处理模块的示意图；
图5是根据一示例性实施例示出的一种模型训练的方法的流程示意图；
图6是根据一示例性实施例示出的一种第二域适应模块的示意图；
图7是根据一示例性实施例示出的一种眼镜掩模网络模块的示意图；
图8是根据一示例性实施例示出的一种阴影掩模网络模块的示意图；
图9是根据一示例性实施例示出的一种去阴影网络模块的示意图；
图10是根据一示例性实施例示出的一种去眼镜网络模块的示意图；
图11是根据一示例性实施例示出的一种第二逆渲染网络模块的示意图；
图12是根据一示例性实施例示出的一种初始精调模型的示意图；
图13是根据一示例性实施例示出的一种图像处理方法的流程示意图；
图14是根据一示例性实施例示出的一种电子设备的结构示意图；
图15是根据一示例性实施例示出的一种电子设备的软件系统的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是，本申请提及的“多个”是指两个或两个以上。在本申请的描述中，除非另有说明，“/”表示或的意思，比如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，比如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在对本申请实施例提供的方法进行详细介绍之前，先对所涉及的术语进行说明。
法线（normal）图：是一种通过RGB颜色通道来记录每一个像素点上的法线方向的图像。法线图能够清晰地表示物体表面的细节，或者说可以高精度地表示物体表面的细小结构，譬如能够表示物体表面的凸起、凹槽、划痕等细节。在一些示例中，法线图又称为法线贴图。
反照率（albedo）图：用于表征物体本身的纹理和颜色，其中物体的纹理描述了物体的表面性质。在一些示例中，反照率图又称为反照率贴图。
图像掩模法：用于提取待处理图像中的感兴趣区。在一种示例中，可以采用的技术手段是，将预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像，其中感兴趣区内图像值不变，而感兴趣区之外的其他区的图像值均为0。
U-net网络：通常一个U-net网络由编码器（下采样器）和解码器（上采样器）构成。在不同的应用场景中，通过使用不同的样本训练集对U-net网络进行训练，可以使得训练后的U-net网络具有不同的功能。
光追渲染：是显卡开启的光线追踪功能，该功能通过图形渲染过程模拟出光线在物体上、周围环境里的反射和折射，生成高度逼真的特效画面。
在介绍完本申请实施例涉及的术语后，接下来对本申请实施例涉及的背景进行简单介绍。
通常情况下，在通过诸如手机之类的电子设备拍摄人脸图像时，由于眼镜会对人脸面部造成遮挡，并且容易在人脸面部上投下阴影，产生眼镜阴影，而这些可能会对用户欣赏或者使用人脸图像造成一定的干扰，因此，通常会有去掉眼镜和眼镜阴影并恢复被眼镜遮挡的面部区域的需求。在一些实施中，会利用带有眼镜标签的图像样本，对深度学习网络模型进行训练，以使得训练后的深度学习网络模型能够具有去除眼镜的功能。然而，由于根据功能不同眼镜的镜片一般包括带颜色的（如墨镜）和不带颜色的（如近视镜），所以，如图1所示，如果仅去掉眼镜可能导致被眼镜遮挡的面部与其他未被遮挡的面部显示不一致，从而影响视觉效果。为此，本申请实施例提供了一种图像处理方法，该方法可以在去掉眼镜及眼镜阴影的同时，恢复被眼镜遮挡的面部细节及光影效果，从而得到视觉效果较为逼真的目标人脸图像。
在一个示例性的应用场景中，当用户想要对手机的图库中某个带有眼镜的人脸图像P1进行编辑以去除眼镜和眼镜阴影时，可以触发手机在图库中打开该人脸图像P1，譬如如图2中的（a）图所示，此外，在显示该人脸图像P1的图库界面中还可以提供有“编辑”控件。请参考图2中的（a）图，用户可以点击“编辑”控件。请参考图2中的（b）图所示，响应于用户对点击“编辑”控件的点击操作，手机显示编辑界面S，编辑界面S中包括一些编辑选项，如编辑选项包括“去眼镜及其阴影”、“修剪”、“滤镜”等控件。如此，请参见图2中的（c）图，用户可以点击“去眼镜及其阴影”控件，响应于用户对“去眼镜及其阴影”控件的触发操作，手机可以去除人脸图像P1中的眼镜以及眼镜阴影，并且，恢复被眼镜遮挡的人脸面部，得到如图2中（d）图所示的目标人脸图像。之后，用户即可在图库中对该目标人脸图像进行保存、分享、导出、打印等操作。
在另一个示例性的应用场景中，请参见图3中的（a）图，手机在打开相机的情况下，可以在相机拍摄界面中提供去眼镜及其阴影控件31。用户在使用手机的相机进行拍摄的过程中，若希望手机在预览画面中去除待拍摄用户的眼镜和眼镜阴影，并尽可能真实的显示被眼镜遮挡的人脸面部，则如图3中的（b）图所示，用户可以点击相机拍摄界面中提供的去眼镜及其阴影控件31。请参见图3中的（c）图，响应于用户对相机拍摄界面中的去眼镜及其阴影控件31的触发操作，手机去除预览画面中的眼镜以及眼镜阴影，并且，恢复被眼镜遮挡的人脸面部。之后，若对待拍摄用户进行拍照，则得到的人脸图像中不包括眼镜和眼镜阴影，并且被眼镜遮挡的人脸面部被恢复。
当然，图3所示实施例是以“去眼镜及其阴影”控件提供在相机拍摄界面的一级菜单中为例进行说明，在另一个示例中，该控件还可能提供在二级菜单中，譬如提供在“专业模式”菜单下，本申请实施例对此不作限定。
从上述应用场景可以看出，本申请实施例提供的方法不仅可以用于非实时地进行图像处理的应用场景中，譬如如图2所示的应用场景，还可以用于实时地进行图像处理的应用场景中，譬如如图3所示的应用场景。
当然需要说明的是，上述应用场景仅是示例性的，此外，本申请实施例提供的方法还可以应用于其他应用场景中，譬如还可以应用于基于人脸图像进行人脸验证、表情识别、面部识别、疲劳检测等应用场景，本申请实施例对此不作限定。
另外，上述是以电子设备是手机为例进行说明。作为示例而非限定，本申请实施例涉及的电子设备还可以是平板电脑、台式电脑、笔记本电脑、虚拟现实（Virtual Reality，VR）设备、无人机等。在一个示例中，该电子设备中可以配置或连接有摄像头，以便于通过摄像头可以采集人脸图像。
作为本申请的一个示例，电子设备中包括图像处理模块，图像处理模块用于对人脸图像进行处理，以去除人脸图像中的眼镜和眼镜阴影，并对被眼镜遮挡的人脸面部进行细节恢复。在一个示例中，请参考图4，图像处理模块包括已完成训练的目标检测模型和已完成训练的目标精调模型。图像处理模块通过目标检测模型可以去除人脸图像中的眼镜和眼镜阴影，此外，图像处理模块还可以通过目标检测模块确定用于表征人脸图像中的人脸面部的细节特征的物体本征数据；图像处理模块通过目标精调模型可以对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。
在一个示例中，目标检测模型中包括第一域适应模块、第一掩模预测模块、第一消除模块和第一逆渲染网络模块。其中，第一域适应模块的输出分别作为第一掩模预测模块的输入和第一逆渲染网络模块的输入；第一掩模预测模块的输出分别作为第一消除模块的输入和第一逆渲染网络模块的输入；第一消除模块的输出和第一逆渲染网络模块的输出均作为目标精调模型的输入。在实施中，第一域适应模块用于确定真实图像数据与合成图像数据之间的域间差异，第一掩模预测模块能够分割出人脸图像中的眼镜掩模图像和阴影掩模图像，第一消除模块能够消除人脸图像中的眼镜和眼镜阴影，第一逆渲染网络模块能够确定人脸图像的物体本征数据。
不难理解，由于目标检测模型是已完成训练的检测模型，所以，第一域适应模型是已完成训练的域适应模块（domain adaptation module，DA）；同理，第一掩模预测模块是已完成训练的掩模（MASK）预测模块；第一消除模块是已完成训练的消除模块；第一逆渲染网络模块是已完成训练的逆渲染网络模块。
在一个示例中，第一掩模预测模块中包括已完成训练的眼镜掩模网络模块和已完成训练的阴影掩模网络模块，其中已完成训练的眼镜掩模网络模块的输出作为已完成训练的阴影掩模网络模块的输入。已完成训练的眼镜掩模网络模块用于从人脸图像中分割出眼镜掩模图像，已完成训练的阴影掩模网络模块用于从人脸图像中分割出阴影掩模图像。
在一个示例中，第一消除模块中包括已完成训练的去眼镜网络模块和已完成训练的去阴影网络模块，其中已完成训练的去阴影网络模块的输出作为已完成训练的去眼镜网络模块的输入。已完成训练的去眼镜网络模块用于去除人脸图像中的眼镜，已完成训练的去阴影网络模块用于去除人脸图像中的眼镜阴影。
作为本申请的一个示例，目标检测模型和目标精调模型可以是该电子设备预先基于大量的合成图像数据和真实图像数据训练得到的。请参考图5，图5是根据一示例性实施例示出的一种模型训练的方法的流程示意图，主要包括如下内容：
步骤501：利用三维扫描技术，分别获取三维人脸模型和三维眼镜模型。
由于眼镜去除任务的特殊性，导致通常较难收集到大量成对的真实图像数据以供训练，所以为了能够有效地进行模型训练，可以进行数据合成，以得到大量的合成图像数据，从而为模型训练提供强监督。为此，电子设备通过三维扫描设备分别对不同的人脸进行三维扫描，以得到不同的三维人脸模型，以及通过三维扫描设备分别对不同的眼镜进行三维扫描，以得到不同的三维眼镜模型。其中扫描的人脸可以涉及不同的性别、年龄、表情等。另外，扫描的眼镜可以涉及不同的形状、材质、纹理等。
步骤502：将三维人脸模型和三维眼镜模型组成戴眼镜的虚拟人脸。
也即是，电子设备可以将不同的三维人脸模型与三维眼镜模型进行结合，如此可以组成多个虚拟人脸，不难理解，每个虚拟人脸中均戴有眼镜。
步骤503：通过全景相机获取全景环境图。
在一个示例中，全景环境图可以为（High dynamic range， HDR）全景环境图。
为了能够渲染出尽可能真实的合成图像数据，可以通过全景相机获取360度的全景环境图，并将获取的全景环境图作为渲染时的光照数据。示例性地，可以通过全景相机分别获取白天、晚上、黑暗、光亮等测试环境的全景环境图，得到多个全景环境图。
需要说明的是，步骤503与步骤501、步骤502之间没有严格的先后执行顺序。
步骤504：基于虚拟人脸和全景环境图，获取合成图像数据，合成图像数据包括带眼镜带阴影人脸图像样本、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本。
作为本申请的一个示例，电子设备可以通过光追渲染引擎基于虚拟人脸和全景环境图，渲染出带眼镜带阴影人脸图像样本。也即将单个虚拟人脸和单张全景环境图作为一组，通过光追渲染引擎进行渲染，可以渲染出一个较为真实的带眼镜带阴影人脸图像样本，在一个示例中，可以称渲染出的带眼镜带阴影人脸图像样本为合成的带眼镜带阴影人脸图像样本。不难理解，由于虚拟人脸的数量为多个，以及全景环境图的数量为多个，所以将每个虚拟人脸与每个全景环境图作为一组进行渲染后，即可生成多个合成的带眼镜带阴影人脸图像样本。
在一个示例中，光追渲染引擎可以为Blender内置的光追渲染引擎。或者，也可以采用其他渲染器，本申请实施例对此不作限定。
为了实现模型训练，除了获取带眼镜带阴影人脸图像样本之外，电子设备还获取带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本。在一个示例中，电子设备可以通过对三维眼镜模型进行转换，得到二维的眼镜掩模图像样本，之后，基于眼镜掩模图像样本和带眼镜带阴影人脸图像样本，合成阴影掩模图像样本。
此外，电子设备基于合成的带眼镜带阴影人脸图像样本，结合眼镜掩模图像样本，可以合成无眼镜带阴影人脸图像样本；基于合成的带眼镜带阴影人脸图像样本，结合阴影掩模图像样本合成带眼镜无阴影人脸图像样本。
此外，基于合成的带眼镜带阴影人脸图像样本，结合阴影掩模图像样本和眼镜掩模图像样本，合成无眼镜无阴影人脸图像样本。之后，可以基于无眼镜无阴影人脸图像样本，获取无眼镜无阴影人脸反照率图样本和无眼镜无阴影人脸法线图样本。在一个示例中，可以基于无眼镜无阴影人脸图像样本，通过光度立体算法，确定无眼镜无阴影人脸反照率图样本和无眼镜无阴影人脸法线图样本。
如此，即可得到大量的合成图像数据，其中用于训练的合成图像数据包括合成的带眼镜带阴影人脸图像样本、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、眼镜掩模图像样本、阴影掩模图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本。
步骤505：获取真实的带眼镜带阴影人脸图像样本。
由于若仅采用合成图像数据进行模型训练，可能因真实图像数据与合成图像数据之间存在域间差异，导致训练后得到的目标检测模型对真实的人脸图像的处理效果较差。为此，电子设备还可以获取真实的带眼镜带阴影人脸图像样本作为训练数据。
在一个示例中，真实的带眼镜带阴影人脸图像样本可以通过对戴有眼镜的人脸进行拍摄得到，和/或，从网络中获取得到，譬如从网页中下载得到等，本申请实施例对此不作限定。
需要说明的是，步骤505与上述各个步骤之间没有严格的先后执行顺序。
之后，将带眼镜带阴影人脸图像样本（其中包括带有真实标签的带眼镜带阴影人脸图像样本和带有合成标签的带眼镜带阴影人脸图像样本）、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本确定为图像样本训练集，可选地，还可以将全景环境图作为光照图像样本，也即每个图像样本训练集中还包括合成的带眼镜带阴影人脸图像样本对应的光照图像样本。如此可以获得多个图像样本训练集，之后即可基于多个图像样本训练集对未训练的初始检测模型和未训练的初始精调模型进行迭代训练，以得到上述目标检测模型和目标精调模型。接下来以目标检测模型包括如图4所示的结构为例进行说明，具体地，训练过程可以包括如下内容：
步骤506：将带有真实标签的带眼镜带阴影人脸图像样本和带有合成标签的带眼镜带阴影人脸图像样本输入至第二域适应模块中，输出第二标准域特征图。
第二域适应模块是未完成训练的域适应模块。
第二标准域特征图可以理解为是带有真实图像数据的特征的合成图像数据，也即为真实图像数据对应的真实域与合成图像数据对应的合成域之间的中间域的特征图。
在一个示例中，可以对多个图像样本训练集进行分组，以便于在每次训练中，可以基于分组后的批量的图像样本训练集进行模型训练，如此，经过多次迭代训练后完成训练。也即在每次训练时，可以将批量的带眼镜带阴影人脸图像样本（包括真实的和合成的）输入至第二域适应模块中，第二域适应模块输出批量的带眼镜带阴影人脸图像样本中各个带眼镜带阴影人脸图像样本对应的第二标准域特征图。该种情况下，后续步骤中各个模块的输出均为批量的，下文不再赘述。
作为本申请的一个示例，第二域适应模块包括U-net网络结构，属于一种交叉域网络，并且，可以使用对抗损失（GAN LOSS）作为损失函数进行约束。示例性地，第二域适应模块的损失函数可以记录loss1。
示例性地，如图6所示，在实施中，电子设备将带有真实标签的带眼镜带阴影人脸图像样本Irgb1和带有合成标签的带眼镜带阴影人脸图像样本Irgb2输入至第二域适应模块中，经过第二域适应模块中的编码器和解码器处理后，输出第二标准域特征图Funiform。
当然，本申请实施例仅是以第二域适应模块采用U-net结构为例进行说明。在另一个示例中，还可以采用ResUnet网络，或HR-Net网络，均可以达到相同的效果。
步骤507：将第二标准域特征图作为第二掩模预测模块的输入，输出第二眼镜掩模图像和第二阴影掩模图像，结合眼镜掩模图像样本和阴影掩模图像样本对第二掩模预测模块进行训练。
第二掩模预测模块是未完成训练的掩模预测模块。
作为本申请的一个示例，由于第一掩模预测模块是已完成训练的掩模预测模块，第二掩模预测模块是未完成训练的掩模预测模块，且如图4所示，第一掩模预测模块包括眼镜掩模网络模块和阴影掩模网络模块，所以不难理解，第二掩模预测模块包括未完成训练的眼镜掩模网络模块和未完成训练的阴影掩模网络模块。该种情况下，步骤507的具体实现可以包括：将第二标准域特征图输入至未完成训练的眼镜掩模网络模块中，输出第二眼镜掩模图像，基于第二眼镜掩模图像和眼镜掩模图像样本对未完成训练的眼镜掩模网络模块进行模型参数调整；将第二标准域特征图和第二眼镜掩模图像输入至未完成训练的眼镜阴影掩模网络模型中，输出第二阴影掩模图像，基于第二阴影掩模图像和阴影掩模图像样本对未完成训练的阴影掩模网络模块进行模型参数调整。
也即是，基于阴影是由眼镜产生的这一先验知识，在对第二掩模预测模块进行训练的过程中，可以分阶段进行训练，具体地，在第一阶段，对未完成训练的眼镜掩模网络模块进行训练，在第二阶段，对未完成训练的阴影掩模网络模型进行训练。因此，可以将第二标准域特征图输入至待训练的眼镜掩模网络模块中，输出第二眼镜掩模图像，然后可以基于第二眼镜掩模图像和眼镜掩模图像样本计算损失函数，并根据损失函数对未完成训练的眼镜掩模网络模块的模型参数进行调整，从而对未完成训练的眼镜掩模网络模块进行训练。之后，将第二标准域特征图和第二眼镜掩模图像输入至未完成训练的阴影掩模网络模中，输出第二阴影掩模图像，基于第二阴影掩模图像和阴影掩模图像样本计算损失函数，并根据损失函数对未完成训练的阴影掩模网络模块的模型参数进行调整，从而对未完成训练的阴影掩模网络模块进行训练。
在一个示例中，眼镜掩模网络模块包括U-net网络结构，以及可以使用L1 loss（绝对误差损失）作为损失函数进行监督，譬如眼镜掩模网络模块的损失函数记为loss2。阴影掩模网络模块包括U-net网络结构，以及可以使用L1 loss作为损失函数进行监督，譬如阴影掩模网络模块的损失函数记为loss3。
示例性地，如图7所示，在第一阶段，电子设备将第二标准域特征图Funiform输入至待训练的眼镜掩模网络模块中，经过待训练的眼镜掩模网络模块中的编码器和解码器处理后，输出第二眼镜掩模图像Mglass，电子设备基于第二眼镜掩模图像Mglass和眼镜掩模图像样本计算损失函数loss2，并根据损失函数loss2对未完成训练的眼镜掩模网络模块的模型参数进行调整。如图8所示，在第二阶段，电子设备将第二标准域特征图Funiform和第二眼镜掩模图像Mglass输入至阴影掩模网络模中，经过待训练的阴影掩模网络模块中的编码器和解码器处理后，输出第二阴影掩模图像Mshadow，电子设备基于第二阴影掩模图像Mshadow和阴影掩模图像样本计算损失函数loss3，并根据损失函数loss3对未完成训练的眼镜掩模网络模块的模型参数进行调整。
当然，本申请实施例仅是以眼镜掩模网络模块和阴影掩模网络模块均采用U-net网络结构为例进行说明。在另一个示例中，还可以采用ResUnet网络，或HR-Net网络，均可以达到相同的效果。
在一个示例中，由于未完成训练的眼镜掩模网络模块的输出需要作为未完成训练的阴影掩模网络模块的输入，所以为了提高对阴影掩模网络模块训练的有效性，在初次训练眼镜掩模网络模块时，可以多次（譬如N次）训练眼镜掩模网络模块，使得眼镜掩模网络模块具有较为稳定输出后，再将眼镜掩模网络模块输出的第二眼镜掩模图像输入至阴影掩模网络模块中。其中N可以根据需求进行设置。
步骤508：将带眼镜带阴影人脸图像样本、第二眼镜掩模图像和第二阴影掩模图像作为第二消除模块的输入，输出粗糙人脸图像，结合无眼镜带阴影人脸图像样本和带眼镜无阴影人脸图像样本对第二消除模块进行训练，其中粗糙人脸图像中不包括眼镜及眼镜阴影。
第二消除模块是为未完成训练的消除模块。
这里所述的带眼镜带阴影人脸图像样本可以是合成的带眼镜带阴影人脸图像样本。
作为本申请的一个示例，由于第一消除模块是已完成训练的消除模块，第二消除模块是未完成训练的消除模块，且如图4所示，第一消除模块包括去眼镜网络模块和去阴影网络模块，所以不难理解，第二消除模块包括未完成训练的去眼镜网络模块和去阴影网络模块。该种情况下，步骤508的具体实现可以包括：将带眼镜带阴影人脸图像样本、第二眼镜掩模图像和第二阴影掩模图像输入至未完成训练的去阴影网络模块中，输出样本去阴影人脸图像，基于样本去阴影人脸图像、带眼镜无阴影人脸图像样本，对未完成训练的去阴影网络模块进行模型参数调整；将第二眼镜掩模图像、样本去阴影人脸图像输入至未完成训练的去眼镜网络模块中，输出粗糙人脸图像，基于粗糙人脸图像和无眼镜带阴影人脸图像样本对未完成训练的去眼镜网络模块的模型参数进行调整。
也即是，基于阴影是由眼镜产生的这一先验知识，所以在对第二消除模块进行训练的过程中也可以分阶段进行训练，具体地，在第一阶段，对未完成训练的去阴影网络模块进行训练，在第二阶段，对未完成训练的去眼镜网络模块进行训练。因此，可以将带眼镜带阴影人脸图像样本、第二眼镜掩模图像和第二阴影掩模图像输入至未完成训练的去阴影网络模块中，输出样本去阴影人脸图像，然后可以基于样本去阴影人脸图像和带眼镜无阴影人脸图像样本计算损失函数，并根据损失函数对未完成训练的去阴影网络模块的模型参数进行调整，从而对未完成训练的去阴影网络模块进行训练。之后，将第二眼镜掩模图像、样本去阴影人脸图像输入至未完成训练的去眼镜网络模块中，输出粗糙人脸图像，基于粗糙人脸图像和无眼镜带阴影人脸图像样本计算损失函数，并根据损失函数对未完成训练的去眼镜网络模块的模型参数进行调整，从而对未完成训练的去眼镜网络模块进行训练。
在一个示例中，去眼镜网络模块包括U-net网络结构，以及可以使用L1 loss作为损失函数进行监督，譬如去眼镜网络模块的损失函数记为loss4。去阴影网络模块包括U-net网络结构，以及也可以使用L1 loss作为损失函数进行监督，譬如去阴影网络模块的损失函数记为loss5。
示例性地，如图9所示，在第一阶段，电子设备带眼镜带阴影人脸图像样本Irgb2、第二眼镜掩模图像Mglass和第二阴影掩模图像Mshadow输入至未完成训练的去阴影网络模块中，经过未完成训练的去阴影网络模块中的编码器和解码器处理后，输出样本去阴影人脸图像Ide-s，电子设备基于去阴影人脸图像Ide-s和带眼镜无阴影人脸图像样本计算损失函数loss4，并根据损失函数loss4对未完成训练的去阴影网络模块的模型参数进行调整。如图10所示，在第二阶段，电子设备第二眼镜掩模图像Mglass和样本去阴影人脸图像Ide-s输入至未完成训练的去眼镜网络模块中，经过未完成训练的去眼镜网络模块中的编码器和解码器处理后，输出粗糙人脸图像Ide-g，电子设备基于粗糙人脸图像Ide-g和无眼镜带阴影人脸图像样本计算损失函数loss5，并根据损失函数loss5对未完成训练的去眼镜网络模块的模型参数进行调整。
当然，本申请实施例仅是以去眼镜网络模块和去阴影网络模块均采用U-net网络结构为例进行说明。在另一个示例中，还可以采用ResUnet网络，或HR-Net网络，均可以达到相同的效果。
在一个示例中，由于未完成训练的去阴影网络模块的输出需要作为未完成训练的去眼镜网络模块的输入，所以为了提高对未完成训练的去眼镜网络模块训练的有效性，在初次训练去阴影网络模块时，可以多次（譬如M次）训练去阴影网络模块，使得去阴影网络模块具有较为稳定输出后，再将去阴影网络模块输出的样本去阴影人脸图像输入至去眼镜网络模块中。其中M可以根据需求进行设置。
步骤509：将第二标准域特征图、第二眼镜掩模图像和第二阴影掩模图像作为第二逆渲染网络模块的输入，输出第二物体本征数据，并结合无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本，对第二逆渲染模块的模型进行训练。
其中，第二逆渲染网络模块是未完成训练的逆渲染网络模块。
在一个示例中，第二物体本征数据包括无眼镜无阴影人脸样本反照率图和无眼镜无阴影人脸样本法线图。
当然，本实施例是以第二物体本征数据包括无眼镜无阴影人脸样本反照率图和无眼镜无阴影人脸样本法线图为例进行说明，在另一个示例中，第二物体本征数据还可能包括无眼镜无阴影人脸样本反照率图或者无眼镜无阴影人脸样本法线图，本申请实施例对此不作限定。
在一个示例中，将第二标准域特征图、第二眼镜掩模图像和第二阴影掩模图像作为第二逆渲染网络模块的输入，输出第二物体本征数据。然后基于无眼镜无阴影人脸样本反照率图、无眼镜无阴影人脸样本法线图、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本进行损失函数计算，譬如可以将无眼镜无阴影人脸样本反照率图和无眼镜无阴影人脸反照率图样本作为一对数据，以及将无眼镜无阴影人脸样本法线图和无眼镜无阴影人脸法线图样本作为一对数据计算损失函数。然后，根据损失函数对第二逆渲染网络模块的模型参数进行调整，以对第二逆渲染网络模块进行训练。
在一个示例中，第二逆渲染网络模块包括U-net网络结构，以及可以使用L1 loss作为损失函数进行监督，譬如第二逆渲染网络模块的损失函数记为loss6。
示例性地，如图11所示，电子设备将第二标准域特征图Funiform、第二眼镜掩模图像Mglass和第二阴影掩模图像Mshadow输入至第二逆渲染网络模块中，经过第二逆渲染网络模块中的编码器和解码器处理后，输出无眼镜无阴影人脸样本反照率图Albedo和无眼镜无阴影人脸样本法线图Normal，电子设备基于无眼镜无阴影人脸样本反照率图Albedo、无眼镜无阴影人脸样本法线图Normal、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本计算损失函数loss6，根据损失函数loss6对第二逆渲染网络模块的模型参数进行调整，以对第二逆渲染网络模块进行训练。
当然，本申请实施例仅是以第二逆渲染网络模块采用U-net网络结构为例进行说明。在另一个示例中，还可以采用ResUnet网络，或HR-Net网络，均可以达到相同的效果。
可选地，在图像样本训练集中还包括光照图像样本的情况下，将第二标准域特征图、第二眼镜掩模图像和第二阴影掩模图像作为第二逆渲染网络模块的输入，输出第二物体本征数据和第二光照特征图。然后，基于无眼镜无阴影人脸样本反照率图、无眼镜无阴影人脸样本法线图、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、第二光照特征图和光照图像样本进行损失函数计算，根据损失函数对第二逆渲染网络模块的模型参数进行调整，以对第二逆渲染网络模块进行训练。
由于第二物体本征数据中可能会存在光照、光影等残留，所以为了能够得到干净、不带有噪声的第二物体本征数据，可以在图像样本训练集中增加光照图像样本，以使得训练后的第二逆渲染网络模块能够输出较为可靠的第二物体本征数据，从而提高后续面部细节恢复的精度。
需要说明的是，对第二逆渲染网络模块的训练与对第二消除模块的训练没有严格的先后执行顺序，在一个示例中，可以并行执行，本申请实施例对此不作限定。
步骤510：将粗糙人脸图像和第二物体本征数据输入至初始精调模型中，输出去眼镜去阴影人脸图像，结合无眼镜无阴影人脸图像样本对初始精调模型进行训练。
初始精调模型是未完成训练的精调网络模型。在实施中，将粗糙人脸图像和第二物体本征数据输入至初始精调模型中，输出去眼镜去阴影人脸图像后，基于无眼镜无阴影人脸图像样本和去眼镜去阴影人脸图像计算损失函数，然后基于损失函数对初始精调模型的模型参数进行调整，以对初始精调模型进行训练。
在一个示例中，初始精调模型包括U-net网络结构，可以使用L1 loss作为损失函数进行监督，譬如初始精调模型的损失函数可以记为loss7。
譬如请参考图12，电子设备将粗糙人脸图像Ide-g、无眼镜无阴影人脸样本反照率图Albedo和无眼镜无阴影人脸样本法线图Normal输入至初始精调模型中，输出去眼镜去阴影人脸图像Iout，之后，基于无眼镜无阴影人脸图像样本和去眼镜去阴影人脸图像Iout计算损失函数，然后基于损失函数对初始精调模型的模型参数进行调整，以对初始精调模型进行训练。
当然，本申请实施例仅是以初始精调模型采用U-net网络结构为例进行说明。在另一个示例中，还可以采用ResUnet网络，或HR-Net网络，均可以达到相同的效果。
可选地，在图像样本训练集中还包括光照图像样本的情况下，将粗糙人脸图像、第二物体本征数据和第二光照特征图输入至初始精调模型中，输出去眼镜去阴影人脸图像。如此，在增加第二光照特征图后，可以使得训练后的初始精调模型学习出被眼镜遮挡的面部区域所需恢复的光照信息，从而能够输出更为真实、自然的目标人脸图像。
作为本申请的一个示例，在对初始精调模型进行模型参数调整的同时，还可以对其他模块的模型参数进行微调。譬如，可以将各个网络模块的损失函数通过加权的方式进行关联，譬如可以为各个网络模型的损失函数设置阈值的权重，将各个损失函数与各自对应的权重相乘后再进行相加。该种情况下，在输出去眼镜去阴影人脸图像后，可以根据关联后的损失函数对各个网络模型的模型参数进行同步调整。
需要说明的是，上述仅是以使用合成图像数据和真实图像数据进行模型训练为例进行说明。在另一个示例中，在存在一定数量的真实图像数据的情况下，也可以仅使用真实图像数据对目标检测模型进行训练，此时目标检测模块中可以不包括第一域适应模块，也即不需要确定真实图像数据与合成图像数据之间的域间差异。
在本申请实施例，获取多个图像样本训练集，每个图像样本训练集包括带眼镜带阴影人脸图像样本、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本。基于多个图像样本训练集对未训练的初始检测模型和未训练的初始精调模型进行迭代训练，以得到目标检测模型和目标精调模型，使得目标检测模型能够去除人脸图像的眼镜和眼镜阴影以及确定第一物体本征数据，第一物体本征数据用于表征人脸图像中人脸面部的细节特征，目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。如此，在能够去除眼镜和眼镜阴影的同时，尽可能真实的恢复被眼镜遮挡的面部细节，提高了图像处理效果。
需要说明的是，本申请仅是通过该电子设备对模型训练为例进行说明。在另一个示例中，还可以通过其他电子设备进行模型训练，之后，将训练后的模型存储至该电子设备中，以便于该电子设备后续利用训练后的模型进行图像处理。
在上述图4实施例提供的电子设备的基础上，接下来结合附图对本申请实施例提供的图像处理方法进行详细介绍。请参见图13，图13是根据一示例性实施例示出的一种图像处理方法的流程示意图，该方法可以由上述电子设备执行，该方法可以包括如下部分或者全部内容：
步骤1301：获取第一人脸图像，第一人脸图像是待处理的戴眼镜的人脸图像。
在一个示例中，当电子设备接收到用于指示进行人脸图像处理的操作时，获取第一人脸图像。譬如请参考图2，当用户点击“去眼镜及其阴影”控件后，电子设备获取用户在图库中选择的人脸图像，作为第一人脸图像。再如请参考图3，当用户点击相机拍摄界面中提供的去眼镜及其阴影控件31后，电子设备获取通过摄像头采集的预览画面，并将该预览画面作为第一人脸图像。
步骤1302：将第一人脸图像输入至第一域适应模块中，输出第一标准域特征图。
如前文所述，由于第一域适应模块是基于真实图像数据和合成图像数据训练得到，所以将第一人脸图像输入至第一域适应模型中，得到第一标准域特征图，也即得到真实图像数据对应的真实域与合成图像数据对应的合成域之间的中间域特征图。如此，可以提高后续图像检测的准确性。
步骤1303：将第一人脸图像输入至第一掩模预测模块，输出第一人脸图像的第一眼镜掩模图像和第一阴影掩模图像。
作为本申请的一个示例，第一掩模预测模块包括已完成训练的眼镜掩模网络模块和已完成训练的阴影掩模网络模块。该种情况下，步骤1303的具体实现可以包括：将第一标准域特征图输入至已完成训练的眼镜掩模网络模块中，输出第一眼镜掩模图像，将第一眼镜掩模图像和第一标准域特征图输入至已完成训练的阴影掩模网络模块中，输出第一阴影掩模图像。
也即是，由于眼镜阴影是眼镜产生的，所以可以先将第一标准域特征图输入至已完成训练的眼镜掩模网络模块中，以确定第一眼镜掩模图像。之后，通过已完成训练的阴影掩模网络模块基于第一眼镜掩模图像和第一标准域特征图，确定第一阴影掩模图像。
步骤1304：通过第一消除模块基于第一人脸图像、第一眼镜掩模图像和第一阴影掩模图像，确定第二人脸图像，第二人脸图像是对第一人脸图像去掉眼镜和眼镜阴影后的图像。
在确定第一人脸图像中的第一眼镜掩模图像和第一阴影掩模图像后，即可基于第一眼镜掩模图像和第一阴影掩模图像对第一人脸图像进行处理，以去除第一人脸图像中的眼镜和眼镜阴影，从而得到粗糙的去眼镜及其阴影的第二人脸图像。
作为本申请的一个示例，电子设备通过第一消除模块确定第二人脸图像。在第一消除模块包括已完成训练的去眼镜网络模块和已完成训练的去阴影网络模块的情况下，步骤1304的具体实现可以包括：将第一人脸图像、第一眼镜掩模图像和第一阴影掩模图像输入至已完成训练的去阴影网络模块，输出去阴影人脸图像。将去阴影人脸图像和第一眼镜掩模图像输入至已完成训练的去眼镜网络模块中，输出第二人脸图像。
也即是，由于眼镜阴影是由眼镜产生的，所以在去除眼镜和眼镜阴影的过程中，可以先去除眼镜阴影，然后在基于第一眼镜阴影图像，对去除了眼镜阴影后的去阴影人脸图像上去除眼镜，从而得到粗糙的去眼镜及其阴影的人脸图像。
步骤1305：将第一标准域特征图、第一眼镜掩模图像和第一阴影掩模图像输入至第一逆渲染网络模块中，输出第一物体本征数据，第一物体本征数据用于表征第一人脸图像中人脸面部的细节特征。
第一物体本征数据通常不随光照的变化而变化。在一个示例中，第一物体本征数据包括第一人脸图像对应的无眼镜无阴影人脸反照率图和无眼镜无阴影人脸法线图。
为了能够恢复出被眼镜遮挡的人脸面部的细节，电子设备将第一标准域特征图、第一眼镜掩模图像和第一阴影掩模图像输入至第一逆渲染网络模块中，输出第一物体本征数据。由于第一物体本征数据用于表征第一人脸图像中人脸面部的细节特征，且不随着光照的变化而变化，因此，第一物体本征数据可以作为恢复人脸面部的辅助参数。
可选地，在第一逆渲染网络模型的训练过程中还光照图像样本的情况下，将第一标准域特征图、第一眼镜掩模图像和第一阴影掩模图像输入至第一逆渲染网络模块中后，输出第一物体本征数据和第一光照特征图，第一光照特征图像用于表征拍摄第一人脸图像时的光照环境。
需要说明的是，步骤1304和步骤1305之间没有严格的先后执行顺序，在一个示例中，步骤1304和步骤1305可以并行执行，本申请实施例对此不作严格限定。
需要说明的是，上述步骤1302至步骤1305是将第一人脸图像输入至已完成训练的目标检测模型中，输出第二人脸图像和第一物体本征数据的一种可选实现方式。在另一个示例中，在目标检测模型是基于真实图像数据训练得到的情况下，目标检测模型可以不包括第一域适应模块，该种情况下，在对第一人脸图像进行处理的过程中，不产生第一标准域特征图。
步骤1306：将第二人脸图像和第一物体本征数据，输入至已完成训练的目标精调模型中，输出目标人脸图像，目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。
目标人脸图像为去除眼镜及眼镜阴影，且恢复了被眼镜遮挡的面部细节的RGB人脸图像，譬如如图2中的（d）图所示，或者如图3中的（c）图所示。
由于目标精调模型具有恢复面部细节的能力，所以将粗糙的第二人脸图像输入目标精调模型中，并将第一物体本征数据作为辅助数据，即可通过目标精调模型对去除眼镜和眼镜阴影的第二人脸图像进行精细化调整，以恢复出第二人脸图像中被眼镜遮挡的人脸面部的细节。
可选地，在第一逆渲染网络模块还输出第一光照特征图的情况下，步骤1306的具体实现可以包括：将第二人脸图像、第一物体本征数据和光照特征图输入至已完成训练的目标精调模型中，输出目标人脸图像。如此，由于考虑了光照环境，所以目标静态模型恢复出的面部细节更加自然、更有质感。
在本申请实施例中，获取第一人脸图像，第一人脸图像是待处理的戴眼镜的人脸图像。将第一人脸图像输入至已完成训练的目标检测模型中，输出第二人脸图像和第一物体本征数据，第二人脸图像是对第一人脸图像去掉眼镜和眼镜阴影后的图像，第一物体本征数据用于表征第一人脸图像中人脸面部的细节特征。将第二人脸图像和第一物体本征数据输入至已完成训练的目标精调模型中，输出目标人脸图像，目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。如此在能够去除眼镜和眼镜阴影的同时，尽可能真实的恢复被眼镜遮挡的面部细节，提高了图像处理效果。
图14是本申请实施例提供的一种终端的结构示意图。参见图14，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serialbus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中，传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，比如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口，如可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态（漏电，阻抗）等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的整数。
外部存储器接口120可以用于连接外部存储卡，比如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。比如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，来执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备100在使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，比如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。
电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的安卓（Android）系统为例，对电子设备的软件系统进行示例性说明。
图15是本申请实施例提供的一种电子设备的软件系统的框图。参见图15，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时（Android runtime）和系统层，以及内核层。
应用程序层可以包括一系列应用程序包。如图15所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。譬如，应用程序框架层包括图像处理模块，图像处理模块可以用于实现上述实施例中的图像处理方法。
此外如图15所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问，这些数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，比如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序的显示界面，显示界面可以由一个或多个视图组成，比如，包括显示短信通知图标的视图，包括显示文字的视图，以及包括显示图片的视图。电话管理器用于提供电子设备的通信功能，比如通话状态的管理（包括接通，挂断等）。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如，通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知，比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知，比如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块，比如：表面管理器（surface manager），媒体库（Media Libraries），三维图形处理库（比如：OpenGL ES），2D图形引擎（比如：SGL）等。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，比如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
下面结合捕获拍照场景，示例性说明电子设备软件以及硬件的工作流程。
当触摸传感器接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件（包括触摸坐标，触摸操作的时间戳等信息）。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别原始输入事件所对应的控件。以该触摸操作是单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用程序框架层的接口，启动相机应用，再调用内核层启动摄像头驱动，通过摄像头捕获静态图像或视频。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，比如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（比如：同轴电缆、光纤、数据用户线（Digital Subscriber Line，DSL））或无线（比如：红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（比如：软盘、硬盘、磁带）、光介质（比如：数字通用光盘（Digital Versatile Disc，DVD））或半导体介质（比如：固态硬盘（Solid State Disk，SSD））等。
以上所述为本申请提供的可选实施例，并不用以限制本申请，凡在本申请的揭露的技术范围之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：
获取第一人脸图像，所述第一人脸图像是待处理的戴眼镜的人脸图像；
将所述第一人脸图像输入至已完成训练的目标检测模型中，输出第二人脸图像和第一物体本征数据，所述第二人脸图像是对所述第一人脸图像去掉眼镜和眼镜阴影后的图像，所述第一物体本征数据用于表征所述第一人脸图像中人脸面部的细节特征；
将所述第二人脸图像和所述第一物体本征数据输入至已完成训练的目标精调模型中，输出目标人脸图像，所述目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。
2.如权利要求1所述的方法，其特征在于，所述第一物体本征数据包括无眼镜无阴影人脸反照率图和无眼镜无阴影人脸法线图。
3.如权利要求1或2所述的方法，其特征在于，用于训练所述目标检测模型的图像样本数据集中包括真实图像数据和合成图像数据；所述目标检测模型包括第一域适应模块、第一掩模预测模块、第一消除模块和第一逆渲染网络模块，所述第一域适应模块用于确定所述真实图像数据与所述合成图像数据之间的域间差异，所述第一掩模预测模块能够分割出人脸图像中的眼镜掩模图像和阴影掩模图像，所述第一消除模块能够消除人脸图像中的眼镜和眼镜阴影，所述第一逆渲染网络模块能够确定人脸图像的物体本征数据；
所述将所述第一人脸图像输入至已完成训练的目标检测模型中，输出第二人脸图像和第一物体本征数据，包括：
将所述第一人脸图像输入至所述第一域适应模块中，输出第一标准域特征图；
通过所述第一掩模预测模块基于所述第一标准域特征图，确定所述第一人脸图像的第一眼镜掩模图像和第一阴影掩模图像；
通过所述第一消除模块基于所述第一人脸图像、所述第一眼镜掩模图像和所述第一阴影掩模图像，确定所述第二人脸图像；
将所述第一标准域特征图、所述第一眼镜掩模图像和所述第一阴影掩模图像输入至所述第一逆渲染网络模块中，输出所述第一物体本征数据。
4.如权利要求3所述的方法，其特征在于，所述第一掩模预测模块包括眼镜掩模网络模块和阴影掩模网络模块，其中，所述眼镜掩模网络模块用于分割出人脸图像中的所述眼镜掩模图像，所述阴影掩模网络模块用于分割出人脸图像中的所述阴影掩模图像；
所述通过所述第一掩模预测模块基于所述第一标准域特征图，确定所述第一人脸图像的第一眼镜掩模图像和第一阴影掩模图像，包括：
将所述第一标准域特征图输入至所述眼镜掩模网络模块中，输出所述第一眼镜掩模图像；
将所述第一标准域特征图和所述第一眼镜掩模图像输入至所述阴影掩模网络模块中，输出所述第一阴影掩模图像。
5.如权利要求3所述的方法，其特征在于，所述第一消除模块包括去眼镜网络模块和去阴影网络模块，所述去眼镜网络模块用于消除人脸图像中的眼镜，所述去阴影网络模块用于消除人脸图像中的眼镜阴影；
所述通过所述第一消除模块基于所述第一人脸图像、所述第一眼镜掩模图像和所述第一阴影掩模图像，确定所述第二人脸图像，包括：
将所述第一人脸图像、所述第一眼镜掩模图像和所述第一阴影掩模图像输入至所述去阴影网络模块中，输出去阴影人脸图像；
将所述去阴影人脸图像和所述第一眼镜掩模图像输入至所述去眼镜网络模块中，输出所述第二人脸图像。
6.如权利要求1或2所述的方法，其特征在于，所述目标检测模型和所述目标精调模型是基于多个图像样本训练集同步训练得到，每个图像样本训练集包括带眼镜带阴影人脸图像样本、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本。
7.如权利要求6所述的方法，其特征在于，所述每个图像样本训练集还包括光照图像样本；所述将所述第一人脸图像输入至目标检测模型中，输出第二人脸图像和第一物体本征数据，包括：
将所述第一人脸图像输入至所述目标检测模型中，输出所述第二人脸图像、所述第一物体本征数据和第一光照特征图像，所述第一光照特征图像用于表征拍摄所述第一人脸图像时的光照环境；
所述将所述第二人脸图像和所述第一物体本征数据输入至目标精调模型中，输出目标人脸图像，包括：
将所述第二人脸图像、所述第一物体本征数据和所述光照特征图像输入至所述目标精调模型中，输出所述目标人脸图像。
8.一种模型训练方法，其特征在于，应用于电子设备，所述方法包括：
获取多个图像样本训练集，每个图像样本训练集包括带眼镜带阴影人脸图像样本、带眼镜无阴影人脸图像样本、无眼镜带阴影人脸图像样本、无眼镜无阴影人脸反照率图样本、无眼镜无阴影人脸法线图样本、眼镜掩模图像样本、阴影掩模图像样本；
基于所述多个图像样本训练集对未训练的初始检测模型和未训练的初始精调模型进行迭代训练，以得到目标检测模型和目标精调模型，所述目标检测模型能够去除人脸图像的眼镜和眼镜阴影以及确定第一物体本征数据，所述第一物体本征数据用于表征人脸图像中人脸面部的细节特征，所述目标精调模型能够对去除眼镜和眼镜阴影后的人脸图像进行面部细节恢复。
9.如权利要求8所述的方法，其特征在于，所述初始检测模型的输出输入至所述初始精调模型中；所述基于所述多个图像样本训练集对未训练的初始检测模型和未训练的初始精调模型进行训练，以得到目标检测模型和目标精调模型，包括：
将所述多个图像样本训练集中的带眼镜带阴影人脸图像样本作为所述初始检测模型的输入，以及将多个图像样本训练集中的所述带眼镜无阴影人脸图像样本、所述无眼镜带阴影人脸图像样本、所述无眼镜无阴影人脸反照率图样本、所述无眼镜无阴影人脸法线图样本、所述眼镜掩模图像样本、所述阴影掩模图像样本作为学习监督条件，对所述初始检测模型和所述初始精调模型进行迭代训练，以得到目标检测模型和目标精调模型。
10.如权利要求8或9所述的方法，其特征在于，所述每个图像样本训练集还包括光照图像样本，所述目标检测模型能够去除人脸图像的眼镜和眼镜阴影、以及确定第一物体本征数据和第一光照特征图像，所述第一光照特征图像用于表征拍摄人脸图像时的光照环境。
11.一种电子设备，其特征在于，所述电子设备的结构中包括处理器和存储器；
所述存储器用于存储支持所述电子设备执行如权利要求1-7中任意一项所提供的图像处理方法的程序，以及存储用于实现如权利要求1-7中任意一项所提供的图像处理方法所涉及的数据；或者，所述存储器用于存储支持所述电子设备执行如权利要求8-10中任意一项所提供的模型训练方法的程序，以及存储用于实现如权利要求8-10中任意一项所提供的模型训练方法所涉及的数据；
所述处理器被配置为用于执行所述存储器中存储的程序。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任意一项所述的方法，或者，执行如权利要求8-10中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211672549.6A CN115661912B (zh) | 2022-12-26 | 2022-12-26 | 图像处理方法、模型训练方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211672549.6A CN115661912B (zh) | 2022-12-26 | 2022-12-26 | 图像处理方法、模型训练方法、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661912A true CN115661912A (zh) | 2023-01-31 |
| CN115661912B CN115661912B (zh) | 2024-04-12 |
Family
ID=85023633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211672549.6A Active CN115661912B (zh) | 2022-12-26 | 2022-12-26 | 图像处理方法、模型训练方法、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661912B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456077A (zh) * | 2023-10-30 | 2024-01-26 | 神力视界(深圳)文化科技有限公司 | 一种材质贴图生成方法及相关设备 |
| CN117649478A (zh) * | 2024-01-29 | 2024-03-05 | 荣耀终端有限公司 | 模型训练方法、图像处理方法及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408426A (zh) * | 2014-11-27 | 2015-03-11 | 小米科技有限责任公司 | 人脸图像眼镜去除方法及装置 |
| US20150248590A1 (en) * | 2014-03-03 | 2015-09-03 | Xerox Corporation | Method and apparatus for processing image of scene of interest |
| US20170046563A1 (en) * | 2015-08-10 | 2017-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for face recognition |
| CN109416727A (zh) * | 2016-10-18 | 2019-03-01 | 华为技术有限公司 | 一种人脸图像中眼镜去除方法及装置 |
| CN111192223A (zh) * | 2020-01-07 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的处理方法、装置、设备及存储介质 |
| CN113838176A (zh) * | 2021-09-16 | 2021-12-24 | 网易（杭州）网络有限公司 | 模型的训练方法、三维人脸图像生成方法及设备 |
| CN115049558A (zh) * | 2022-06-28 | 2022-09-13 | 北京奇艺世纪科技有限公司 | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 |
| CN115239584A (zh) * | 2022-07-13 | 2022-10-25 | 清华大学 | 用三维合成数据去除人像眼镜及其阴影的方法及装置 |
-
2022
- 2022-12-26 CN CN202211672549.6A patent/CN115661912B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150248590A1 (en) * | 2014-03-03 | 2015-09-03 | Xerox Corporation | Method and apparatus for processing image of scene of interest |
| CN104408426A (zh) * | 2014-11-27 | 2015-03-11 | 小米科技有限责任公司 | 人脸图像眼镜去除方法及装置 |
| US20170046563A1 (en) * | 2015-08-10 | 2017-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for face recognition |
| CN106446768A (zh) * | 2015-08-10 | 2017-02-22 | 三星电子株式会社 | 用于脸部识别的方法和设备 |
| CN109416727A (zh) * | 2016-10-18 | 2019-03-01 | 华为技术有限公司 | 一种人脸图像中眼镜去除方法及装置 |
| CN111192223A (zh) * | 2020-01-07 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的处理方法、装置、设备及存储介质 |
| CN113838176A (zh) * | 2021-09-16 | 2021-12-24 | 网易（杭州）网络有限公司 | 模型的训练方法、三维人脸图像生成方法及设备 |
| CN115049558A (zh) * | 2022-06-28 | 2022-09-13 | 北京奇艺世纪科技有限公司 | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 |
| CN115239584A (zh) * | 2022-07-13 | 2022-10-25 | 清华大学 | 用三维合成数据去除人像眼镜及其阴影的方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456077A (zh) * | 2023-10-30 | 2024-01-26 | 神力视界(深圳)文化科技有限公司 | 一种材质贴图生成方法及相关设备 |
| CN117649478A (zh) * | 2024-01-29 | 2024-03-05 | 荣耀终端有限公司 | 模型训练方法、图像处理方法及电子设备 |
| CN117649478B (zh) * | 2024-01-29 | 2024-05-17 | 荣耀终端有限公司 | 模型训练方法、图像处理方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661912B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN115661912B (zh) | 图像处理方法、模型训练方法、电子设备及可读存储介质 | |
| CN113364971B (zh) | 图像处理方法和装置 | |
| WO2021078001A1 (zh) | 一种图像增强方法及装置 | |
| CN112991494A (zh) | 图像生成方法、装置、计算机设备及计算机可读存储介质 | |
| WO2024021742A9 (zh) | 一种注视点估计方法及相关设备 | |
| CN113452969B (zh) | 图像处理方法和装置 | |
| CN115689963B (zh) | 一种图像处理方法及电子设备 | |
| CN113536866A (zh) | 一种人物追踪显示方法和电子设备 | |
| CN114926351B (zh) | 图像处理方法、电子设备以及计算机存储介质 | |
| CN114205512B (zh) | 拍摄方法和装置 | |
| CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
| US20230014272A1 (en) | Image processing method and apparatus | |
| CN115580690B (zh) | 图像处理的方法和电子设备 | |
| CN114399622A (zh) | 图像处理方法和相关装置 | |
| CN113763517B (zh) | 人脸表情编辑方法及电子设备 | |
| CN115623318B (zh) | 对焦方法及相关装置 | |
| CN116757963B (zh) | 图像处理方法、电子设备、芯片系统及可读存储介质 | |
| CN117764853B (zh) | 人脸图像增强方法和电子设备 | |
| CN117036206B (zh) | 一种确定图像锯齿化程度的方法及相关电子设备 | |
| CN116452466B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN115170441B (zh) | 一种图像处理方法及电子设备 | |
| CN117499797B (zh) | 图像处理方法及相关设备 | |
| CN117523136B (zh) | 人脸点位对应关系处理方法、人脸重建方法、装置及介质 | |
| WO2024046010A1 (zh) | 一种界面显示方法、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |