CN110827371B - 证件照生成方法、装置、电子设备及存储介质 - Google Patents
证件照生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110827371B CN110827371B CN201911070362.7A CN201911070362A CN110827371B CN 110827371 B CN110827371 B CN 110827371B CN 201911070362 A CN201911070362 A CN 201911070362A CN 110827371 B CN110827371 B CN 110827371B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- face
- mask
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229920002678 cellulose Polymers 0.000 description 1
- 239000001913 cellulose Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种证件照生成方法、装置、电子设备及存储介质,涉及图像处理技术领域。其中,该方法通过对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息;根据第一掩模前景图像和待处理人脸图像,生成第二掩模前景图像,使得可以保留高层语意信息的引导,提高处理场景的鲁棒性,该第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息,使得根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照时,可以获取到待处理人脸图像中人脸的细节信息,增加证件照的真实感。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种证件照生成方法、装置、电子设备及存储介质。
背景技术
证件照即证件上用来证明身份的照片,其要求是免冠(不戴帽子)正面照,且对图像质量要求较高,拍摄证件照往往受到拍摄场地和拍摄器材的限制,比如需要专业单反相机,需要专用闪光灯,闪光灯架,蓝白红三色背景布等。
现有的,生成证件照的方法中,为了避免拍摄场地和拍摄器材的限制,往往采用传统的图像处理算法,比如基于阈值的分割方法,基于边缘的分割方法或基于区域增长的分割方法等自动分割出人像区域和背景区域,进而生成证件照。
但现有的生成证件照的生成方法中,由于分割出的人像区域缺少细节特征,因此,生成的证件照不够真实。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种证件照生成方法、装置、电子设备及存储介质,可以解决现有技术生成的证件照不够真实的技术问题。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种证件照生成方法,包括:对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息;根据第一掩模前景图像和待处理人脸图像,生成第二掩模前景图像,第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息;根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照。
可选地,上述对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,包括:对待处理人脸图像的特征信息进行降采样处理,获取降采样后的特征图和降采样索引图;对降采样后的特征图和所述降采样索引图进行升采样处理,得到第一掩模前景图像。
可选地,上述对降采样后的特征图和降采样索引图进行升采样处理,得到第一掩模前景图像,包括:对降采样后的特征图和降采样索引图进行升采样处理,得到升采样后的特征图,升采样后的特征图与待处理人脸图像的分辨率相同;升采样后的特征图为第一掩模前景图像。
可选地,上述根据第一掩模前景图像和待处理人脸图像,生成第二掩模前景图像,包括:将第一掩模前景图像和待处理人脸图像按照通道维度进行拼接,获取拼接后的特征图;根据拼接后的特征图,生成所述第二掩模前景图像。
可选地,上述根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照,包括:根据第二掩模前景图像和待处理人脸图像,获取待处理人脸图像中的人脸特征;根据人脸特征和预设背景图像,生成证件照。
可选地,上述对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像之前,包括:检测输入人脸图像中的人脸框和人脸特征点;根据人脸框和人脸特征点,对输入人脸图像中的人脸角度进行矫正,获取待处理人脸图像。
第二方面,本申请实施例提供了一种证件照生成装置,包括:第一生成模块、第二生成模块及第三生成模块;第一生成模块,用于对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息;第二生成模块,用于根据第一掩模前景图像和所述待处理人脸图像,生成第二掩模前景图像,第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息;第三生成模块,用于根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照。
可选地,上述第一生成模块,具体用于对所述待处理人脸图像的特征信息进行降采样处理,获取降采样后的特征图和降采样索引图;对降采样后的特征图和降采样索引图进行升采样处理,得到第一掩模前景图像。
可选地,上述第一生成模块,具体用于对降采样后的特征图和降采样索引图进行升采样处理,得到升采样后的特征图,升采样后的特征图与待处理人脸图像的分辨率相同;升采样后的特征图为第一掩模前景图像。
可选地,上述第二生成模块,具体用于将第一掩模前景图像和待处理人脸图像按照通道维度进行拼接,获取拼接后的特征图;根据拼接后的特征图,生成第二掩模前景图像。
可选地,上述第三生成模块,具体用于根据第二掩模前景图像和待处理人脸图像,获取待处理人脸图像中的人脸特征;根据人脸特征和预设背景图像,生成证件照。
可选地,上述装置还包括:获取模块,用于检测输入人脸图像中的人脸框和人脸特征点;根据人脸框和人脸特征点,对输入人脸图像中的人脸角度进行矫正,获取待处理人脸图像。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行上述第一方面的证件照生成方法的步骤。
第四方面,本申请实施例提供了一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面的证件照生成方法的步骤。
本申请的有益效果是:
本申请实施例提供的一种证件照生成方法、装置、电子设备及存储介质中,通过对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息;根据第一掩模前景图像和待处理人脸图像,生成第二掩模前景图像,使得可以保留高层语意信息的引导,提高处理场景的鲁棒性,该第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息,使得根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照时,可以获取到待处理人脸图像中人脸的细节信息,增加证件照的真实感。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种证件照生成方法的流程示意图;
图2为本申请实施例提供的另一种证件照生成方法的流程示意图;
图3为本申请实施例提供的又一种证件照生成方法的流程示意图;
图4为本申请实施例提供的另一种证件照生成方法的流程示意图;
图5为本申请实施例提供的又一种证件照生成方法的流程示意图;
图6为本申请实施例提供的另一种证件照生成方法的流程示意图;
图7为本申请实施例提供的一种证件照生成的网络模型示意图;
图8为本申请实施例提供的一种证件照生成装置的结构示意图;
图9为本申请实施例提供的另一种证件照生成装置的结构示意图;
图10为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
图1为本申请实施例提供的一种证件照生成方法的流程示意图,该方法的执行主体可以是计算机、服务器、处理器、移动终端等可以进行数据处理的设备,如图1所示,该方法包括:
S101、对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息。
其中,待处理人脸图像可以是人物的大头照、上半身照等,根据不同的应用场景可对应不同的图像,可选地,待处理人脸图像可以通过图像导入的方式导入上述设备,又或者可以通过上述设备自带的拍照功能获取,本申请在此不作限定;第一掩模前景图像可以为待处理人脸图像中前景图像的掩模板,其中,需要说明的是,对于待处理人脸图像,其前景即为图像中包括人脸区域的人物图像,通过该第一掩模前景图像即可获取到待处理人脸图像中人脸的轮廓信息、上半身照的轮廓信息等。
可选地,可以将降采样处理的过程作为网络的编码部分,上述降采样处理可以通过预设的网络降采样模块实现,比如最大池化层maxpooling;可以将升采样的过程作为网络的解码部分,上述升采样处理可通过预设的网络升采样模块实现,比如上池化层unpooling,本申请对此并不进行限定,根据实际的应用场景,可选择相应的采样方式进行。
S102、根据第一掩模前景图像和待处理人脸图像,生成第二掩模前景图像,第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息。
其中,第二掩模前景图像可以为待处理人脸图像中包括前景细节信息和前景轮廓信息的掩模板,其中,前景细节信息可以包括毛发细节,由于第一掩模前景图像包括待处理人脸图像的前景轮廓信息,则通过待处理图像可以对该第一掩模前景图像中的细节信息进行丰富,生成该第二掩模前景图像,使得基于该第二掩模前景图像获取待处理人脸图像中的前景图像时,可以获取到更多的细节特征。
S103、根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照。
其中,根据不同的应用场景,预设背景图像可以是白色、红色、蓝色等背景图像,但不以此为限,可选地,该预设背景图像可以为预设的证件照模板,该证件照模板可以包括除人脸之外其他区域预设的模板图像,比如,可以包括脖子以下人体的上半身图像模板;在获取到上述第二掩模前景图像后,即可根据第二掩模前景图像、待处理人脸图像及预设背景图像,将待处理人脸图像中的人脸整合到预设背景图像中,生成证件照。
当然,需要说明的是,上述在进行降采样或升采样处理过程中,也可包括相应的特征提取层,比如,可以包括卷积层、激活层等,本申请在此不作限定,根据实际的应用场景可自行选择。
综上所述,本申请实施例所提供的证件照生成方法中,通过对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息;根据第一掩模前景图像和待处理人脸图像,生成第二掩模前景图像,使得可以保留高层语意信息的引导,提高处理场景的鲁棒性,该第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息,使得根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照时,可以获取到待处理人脸图像中人脸的细节信息,增加证件照的真实感。
图2为本申请实施例提供的另一种证件照生成方法的流程示意图,可选地,如图2所示,上述对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,可以包括:
S201、对待处理人脸图像的特征信息进行降采样处理,获取降采样后的特征图和降采样索引图。
可选地,本申请可以基于Matting的神经网络模型可以通过降采样的方式提取待处理人脸图像的特征信息,当然,本申请在此并不限定降采样处理的次数,可以是3次、5次等,根据实际的应用可自行选择,而进行多次降采样处理时,当前降采样的输出可以作为下一降采样的输入;比如,对于待处理人脸图像,可通过特征提取的方式提取包括细节信息的特征图,对该特征图进行第一次降采样处理,获取第一次降采样后的特征图和降采样索引图;对该第一次降采样后的特征图和降采样索引图再进行第二次降采样处理,获取第二次降采样后的特征图和降采样索引图,重复该过程,直到完成预设的降采样处理的次数,获取到降采样后的特征图和降采样索引图。
S202、对降采样后的特征图和降采样索引图进行升采样处理,得到第一掩模前景图像。
对于降采样最终输出的特征图和降采样索引图可以进行升采样处理,通过升采样处理得到的特征图,即可获取到上述第一掩模前景图像。
当然,本申请在此并不限定升采样处理的次数,可以是3次、5次等,进行多次升采样时,当前升采样的输出可以作为下一升采样的输入;可选地,升采样处理的次数可以与降采样处理的次数相同,也即,比如降采样处理进行3次,升采样处理也可进行3次,根据实际的应用可自行选择。
此外,需要说明的是,在生成第一掩模前景图像时,也可采用相应的损失函数进行监督,比如,可以通过交叉熵损失(Cross Entropy Loss,CELoss)来监督生成第一掩模前景图像,其中,CE Loss作为一个分类loss,可以用于判断每个像素是属于前景,还是背景,可以在进行前景和背景分割时,可以保证粗粒度语意正确。
可选地,上述对降采样后的特征图和降采样索引图进行升采样处理,得到第一掩模前景图像,包括:
对降采样后的特征图和降采样索引图进行升采样处理,得到升采样后的特征图,升采样后的特征图与待处理人脸图像的分辨率相同;升采样后的特征图为第一掩模前景图像。
其中,升采样后的特征图可以与待处理人脸图像的分辨率相同,作为第一掩模前景图像,可选地,该升采样后的特征图可以只包括两个通道,该两个通道可以为0通道和1通道,其中,0通道代表背景,1通道代表前景,通过第一掩模前景图像可以反映待处理人脸图像中前景图像的轮廓信息。
图3为本申请实施例提供的又一种证件照生成方法的流程示意图。可选地,如图3所示,上述根据第一掩模前景图像和待处理人脸图像,生成第二掩模前景图像,包括:
S301、将第一掩模前景图像和待处理人脸图像按照通道维度进行拼接,获取拼接后的特征图。
S302、根据拼接后的特征图,生成第二掩模前景图像。
其中,按照通道维度进行拼接时,可以选用concat层来实现,但不以为限,通过拼接可以使得拼接后的特征图可以较第一掩模前景图像有更多的特征表示,进而基于该拼接后的特征图,生成第二掩模前景图像时,可以获取到更多的细节特征。
此外,需要说明的是,在生成第二掩模前景图像时,也可采用相应的损失函数进行监督,比如,可以通过均方误差(Mean Square Error,MSE)损失函数来监督生成第二掩模前景图像,其中,MSE损失,又称为L2损失(Quadratic Loss,L2 Loss),作为一个回归损失函数,使得通过L2损失的监督生成第二掩模前景图像时,可以丰富第二掩模前景图像的边缘细节。
图4为本申请实施例提供的另一种证件照生成方法的流程示意图。可选地,如图4所示,上述根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照,包括:
S401、根据第二掩模前景图像和待处理人脸图像,获取待处理人脸图像中的人脸特征。
可选地,可以将第二掩模前景图像和待处理人脸图像进行整合,得到待处理人脸图像中的人脸特征,所获取的人脸特征可以包括人脸的轮廓和细节特征,当然,该整合方式可以是图像的点乘操作,但不以此为限。
S402、根据人脸特征和预设背景图像,生成证件照。
其中,由于上述获取的人脸特征可以包括细节特征,使得基于该人脸特征与预设背景图像,生成证件照时,所生成的证件照中人脸的细节信息可以体现出来,生成的证件照更为逼真。可选地,对于证件照的生成方式,可以将获取的人脸特征和预设背景图像进行加运算,以生成证件照,但不以此为限。
图5为本申请实施例提供的又一种证件照生成方法的流程示意图。可选地,如图5所示,上述对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像之前,包括:
S501、检测输入人脸图像中的人脸框和人脸特征点。
S502、根据人脸框和人脸特征点,对输入人脸图像中的人脸角度进行矫正,获取待处理人脸图像。
其中,输入人脸图像可以是人物的大头照、半身照、全身照等,通过检测输入人脸图像中的人脸框和人脸特征点,可以对所输入的人脸图像进行可用性判断,可选地,可以判断输入人脸图像是否适合生成证件照,比如上传的图像不包括人脸,包括多个人脸、所包括的人脸区域不完整,或人脸区域占图像面积的比例过小,可以提示用户更换图像;再者,可以根据所检测的人脸框和人脸特征点,判断人脸角度是否符合预设角度要求,若不符合,则对人脸角度进行矫正,比如,输入人脸图像为自拍照时,该自拍照可能存在角度问题(比如自拍时,相机并不是水平放置而是有斜角),则需要对该输入人脸图像进行角度矫正,使得可以获取到满足预设角度要求的待处理图像,当然,若输入人脸图像角度偏离太大,经矫正后,仍无法满足预设角度要求,则可给出相应的提醒,以建议替换图像或重新拍摄,以提高证件照的生成效果。
当然,需要说明的是,根据实际的应用场景,也可对输入人脸图像进行相应的裁剪和尺寸调整。比如,待处理人脸图像为预设尺寸的人脸照,若输入人脸图像为人物全身照,则可以通过对人脸框和人脸特征点的检测,确定图像中的人脸区域,进而对图像进行相应的裁剪,裁剪得到预设尺寸的人物上半身图像作为待处理人脸图像,当然,本申请在此并不对该处理方式进行限定,不同的待处理人脸图像可对应不同的处理方式。
图6为本申请实施例提供的另一种证件照生成方法的流程示意图。可选地,如图6所示,该方法包括:
S601、对待处理人脸图像的特征信息进行降采样处理,获取降采样后的特征图和降采样索引图。
S602、对降采样后的特征图和降采样索引图进行升采样处理,得到升采样后的特征图,升采样后的特征图与待处理人脸图像的分辨率相同;升采样后的特征图为第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息。
S603、将第一掩模前景图像和待处理人脸图像按照通道维度进行拼接,获取拼接后的特征图。
S604、根据拼接后的特征图,生成第二掩模前景图像,第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息。
S605、根据第二掩模前景图像和待处理人脸图像,获取待处理人脸图像中的人脸特征。
S606、根据人脸特征和预设背景图像,生成证件照。
图7为本申请实施例提供的一种证件照生成的网络模型示意图。可选地,如图7所示,下面结合具体的实施例,对该方法进行说明,比如,待处理人脸图像为map(H*W),其中,H和W分别表示待处理人脸图像的宽度和高度的像素,则上述方法可基于Matting神经网络模型实现,可选地,该神经网络模型可包括,编码部分、解码部分以及拼接部分,其中,编码部分可对应降采样过程,用于提取图像特征;解码部分可对应升采样过程,用于根据提取的图像特征重建出任务图像,得到第一掩模前景图像;拼接部分可对应按照通道维度进行拼接的处理过程,具体可参见下述步骤实现:
步骤一、将待处理人脸图像map(H*W)经过残差网络(Residual NeuralNetwork,ResNet)的卷积层、归一化Batchnorm层和激活层等提取到包含细节信息的特征图featuremap1(H*W);
步骤二、将特征图featuremap1(H*W)输入网络降采样模块,比如,maxpooing层,通过maxpooing层得到特征图featuremap-indices1(H*W)和分辨率为二分之一的特征图featuremap2;
步骤三、重复以步骤一和步骤二过程共3次,得到特征图featuremap-indices4(H*W)和分辨率为八分之一的特征图featuremap4;
步骤四、将特征图featuremap-indices4(H*W)和分辨率为八分之一的特征图featuremap4输入网络升采样模块,比如,unpooling层,通过unpooling层将输入的特征图放大到输入的2倍,得到特征图featuremap5;
步骤五、将featuremap5经过ResNet网络的卷积层、激活层等提取图像中的非线性语意特征;
步骤六、重复步骤四和步骤五过程共3次,输出一个和待处理人脸图像分辨率相同、且只有两个通道(两个通道的特征图,0通道代表背景,1通道代表前景)的featuremap6,得到第一掩模前景图像mask;
步骤七、将待处理人脸图像map(H*W)和第一掩模前景图像mask,通过concat层按照通道维度进行拼接,获取拼接后的特征图featuremap7;
步骤八、将拼接后的特征图featuremap7经过ResNe网络的卷积层、激活层等提取细节特征,最终得到原分辨率大小的featuremap8,生成第二掩模前景图像alpha mask;
步骤九、对第二掩模前景图像alpha mask和待处理人脸图像map(H*W)进行点乘操作得到包括人脸的前景图像,将该前景图像与预设背景图像进行结合,即可形成最终的证件照。
其中,需要说明的是,本申请并不限定ResNe网络所包括的特征提取层,也不限定特征提取的方式,可选地,降采样与升采样处理之间,也可包括相应的ResNe网络进行特征提取,根据实际的应用可自行设置。
综上所述,本申请实施例提供的证件照生成方法基于Matting神经网络模型实现时,只需将待处理人脸图像输入该模型中,即可获取到上述第二掩模前景图像,相较于现有的基于Trimap的Matting算法,本申请可以不基于预设的Trimap实现,而通过模型自学习的方法得到,可以简化待处理人脸图像前景区域和背景区域的分割过程,同时,通过深度学习既可以保留高层语意信息的引导,提高处理场景的鲁棒性,又提升了图像细节,比如,图像边缘和半透明饰品等的分割精度,获取到包括前景细节信息和前景轮廓信息的第二掩模前景图像,则根据该第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照时,增加证件照的真实感。
其中,本申请所指的Trimap是指一张单通道的图像,用来指明哪些区域是前景区域(比如,可以置为255),哪些区域是背景区域(比如,可以置为0),哪些区域是前景和背景的过渡带也就是需要Matting出细节的区域(比如,可以置为128)。
图8为本申请实施例提供的一种证件照生成装置的结构示意图,该装置基本原理及产生的技术效果与前述对应的方法实施例相同,为简要描述,本实施例中未提及部分,可参考方法实施例中的相应内容,如图8所示,该装置包括:第一生成模块110、第二生成模块120及第三生成模块130。
第一生成模块110,用于对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,第一掩模前景图像包括待处理人脸图像的前景轮廓信息;第二生成模块120,用于根据第一掩模前景图像和所述待处理人脸图像,生成第二掩模前景图像,第二掩模前景图像包括:待处理人脸图像的前景细节信息和前景轮廓信息;第三生成模块130,用于根据第二掩模前景图像、待处理人脸图像及预设背景图像,生成证件照。
可选地,上述第一生成模块110,具体用于对所述待处理人脸图像的特征信息进行降采样处理,获取降采样后的特征图和降采样索引图;对降采样后的特征图和降采样索引图进行升采样处理,得到第一掩模前景图像。
可选地,上述第一生成模块110,具体用于对降采样后的特征图和降采样索引图进行升采样处理,得到升采样后的特征图,升采样后的特征图与待处理人脸图像的分辨率相同;升采样后的特征图为第一掩模前景图像。
可选地,上述第二生成模块120,具体用于将第一掩模前景图像和待处理人脸图像按照通道维度进行拼接,获取拼接后的特征图;根据拼接后的特征图,生成第二掩模前景图像。
可选地,上述第三生成模块130,具体用于根据第二掩模前景图像和待处理人脸图像,获取待处理人脸图像中的人脸特征;根据人脸特征和预设背景图像,生成证件照。
图9为本申请实施例提供的另一种证件照生成装置的结构示意图。可选地,如图9所示,上述装置还包括获取模块140,用于检测输入人脸图像中的人脸框和人脸特征点;根据人脸框和人脸特征点,对输入人脸图像中的人脸角度进行矫正,获取待处理人脸图像。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Signal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessingUnit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图10为本申请实施例提供的一种电子设备结构示意图。如图10所示,该电子设备可以包括:处理器210、存储介质220和总线230,存储介质220存储有处理器210可执行的机器可读指令,当电子设备运行时,处理器210与存储介质220之间通过总线230通信,处理器210执行机器可读指令,以执行上述方法实施例的步骤。具体实现方式和技术效果类似,这里不再赘述。
可选地,本申请还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述方法实施例的步骤。具体实现方式和技术效果类似,这里不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (6)
1.一种证件照生成方法,其特征在于,包括:
对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,所述第一掩模前景图像包括所述待处理人脸图像的前景轮廓信息;
根据所述第一掩模前景图像和所述待处理人脸图像,生成第二掩模前景图像,所述第二掩模前景图像包括:所述待处理人脸图像的前景细节信息和所述前景轮廓信息;
根据所述第二掩模前景图像、所述待处理人脸图像及预设背景图像,生成所述证件照;
所述对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,包括:
对所述待处理人脸图像的特征信息进行降采样处理,获取降采样后的特征图和降采样索引图;
对所述降采样后的特征图和所述降采样索引图进行升采样处理,得到所述第一掩模前景图像;
所述对所述降采样后的特征图和所述降采样索引图进行升采样处理,得到所述第一掩模前景图像,包括:
对所述降采样后的特征图和所述降采样索引图进行升采样处理,得到升采样后的特征图,所述升采样后的特征图与所述待处理人脸图像的分辨率相同;所述升采样后的特征图为所述第一掩模前景图像;
所述根据所述第一掩模前景图像和所述待处理人脸图像,生成第二掩模前景图像,包括:
将所述第一掩模前景图像和所述待处理人脸图像按照通道维度进行拼接,获取拼接后的特征图;
根据所述拼接后的特征图,生成所述第二掩模前景图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第二掩模前景图像、所述待处理人脸图像及预设背景图像,生成所述证件照,包括:
根据所述第二掩模前景图像和所述待处理人脸图像,获取所述待处理人脸图像中的人脸特征;
根据所述人脸特征和所述预设背景图像,生成所述证件照。
3.根据权利要求1或2所述的方法,其特征在于,所述对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像之前,包括:
检测输入人脸图像中的人脸框和人脸特征点;
根据所述人脸框和所述人脸特征点,对所述待处理人脸图像中的人脸角度进行矫正,获取待处理人脸图像。
4.一种证件照生成装置,其特征在于,包括:第一生成模块、第二生成模块及第三生成模块;
所述第一生成模块,用于对待处理人脸图像进行降采样和升采样处理,生成第一掩模前景图像,所述第一掩模前景图像包括所述待处理人脸图像的前景轮廓信息;
所述第二生成模块,用于根据所述第一掩模前景图像和所述待处理人脸图像,生成第二掩模前景图像,所述第二掩模前景图像包括:所述待处理人脸图像的前景细节信息和所述前景轮廓信息;
所述第三生成模块,用于根据所述第二掩模前景图像、所述待处理人脸图像及预设背景图像,生成所述证件照;
所述第一生成模块,具体用于对所述待处理人脸图像的特征信息进行降采样处理,获取降采样后的特征图和降采样索引图;
对所述降采样后的特征图和所述降采样索引图进行升采样处理,得到所述第一掩模前景图像;
所述第一生成模块,具体用于对所述降采样后的特征图和所述降采样索引图进行升采样处理,得到升采样后的特征图,所述升采样后的特征图与所述待处理人脸图像的分辨率相同;所述升采样后的特征图为所述第一掩模前景图像;
所述第二生成模块,具体用于将所述第一掩模前景图像和所述待处理人脸图像按照通道维度进行拼接,获取拼接后的特征图;
根据所述拼接后的特征图,生成所述第二掩模前景图像。
5.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1-3任一项所述证件照生成方法的步骤。
6.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-3任一项所述证件照生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911070362.7A CN110827371B (zh) | 2019-11-05 | 2019-11-05 | 证件照生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911070362.7A CN110827371B (zh) | 2019-11-05 | 2019-11-05 | 证件照生成方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110827371A CN110827371A (zh) | 2020-02-21 |
CN110827371B true CN110827371B (zh) | 2023-04-28 |
Family
ID=69552619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911070362.7A Active CN110827371B (zh) | 2019-11-05 | 2019-11-05 | 证件照生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110827371B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111263066B (zh) * | 2020-02-18 | 2021-07-20 | Oppo广东移动通信有限公司 | 构图指导方法、装置、电子设备及存储介质 |
CN111476201A (zh) * | 2020-04-29 | 2020-07-31 | Oppo广东移动通信有限公司 | 一种证件照制作方法及终端、存储介质 |
CN113810588B (zh) * | 2020-06-11 | 2022-11-04 | 青岛海信移动通信技术股份有限公司 | 一种图像合成方法、终端及存储介质 |
CN111709879B (zh) * | 2020-06-17 | 2023-05-26 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
CN113393465A (zh) * | 2021-05-26 | 2021-09-14 | 浙江吉利控股集团有限公司 | 一种图像生成方法及装置 |
CN114494530B (zh) * | 2022-01-25 | 2023-10-31 | 世纪开元智印互联科技集团股份有限公司 | 一种证件照抠图方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156947A (zh) * | 2014-07-23 | 2014-11-19 | 小米科技有限责任公司 | 图像分割方法、装置及设备 |
WO2018137623A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳市商汤科技有限公司 | 图像处理方法、装置以及电子设备 |
CN108694719A (zh) * | 2017-04-05 | 2018-10-23 | 北京京东尚科信息技术有限公司 | 图像输出方法和装置 |
US10217195B1 (en) * | 2017-04-17 | 2019-02-26 | Amazon Technologies, Inc. | Generation of semantic depth of field effect |
CN110334679A (zh) * | 2019-07-11 | 2019-10-15 | 厦门美图之家科技有限公司 | 人脸点处理方法及装置 |
-
2019
- 2019-11-05 CN CN201911070362.7A patent/CN110827371B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156947A (zh) * | 2014-07-23 | 2014-11-19 | 小米科技有限责任公司 | 图像分割方法、装置及设备 |
WO2018137623A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳市商汤科技有限公司 | 图像处理方法、装置以及电子设备 |
CN108694719A (zh) * | 2017-04-05 | 2018-10-23 | 北京京东尚科信息技术有限公司 | 图像输出方法和装置 |
US10217195B1 (en) * | 2017-04-17 | 2019-02-26 | Amazon Technologies, Inc. | Generation of semantic depth of field effect |
CN110334679A (zh) * | 2019-07-11 | 2019-10-15 | 厦门美图之家科技有限公司 | 人脸点处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
宁庆群.快速鲁棒的图像语义分割算法研究.《中国博士学位论文全文数据库信息科技辑》.2018,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110827371A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827371B (zh) | 证件照生成方法、装置、电子设备及存储介质 | |
CN109493350B (zh) | 人像分割方法及装置 | |
CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
WO2018072102A1 (zh) | 一种人脸图像中眼镜去除方法及装置 | |
JP2020523665A (ja) | 生体検出方法及び装置、電子機器並びに記憶媒体 | |
CN107862658B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
CN111127309B (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
CN113505772B (zh) | 基于生成对抗网络的车牌图像生成方法及系统 | |
CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
CN109948441B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN108765537A (zh) | 一种图像的处理方法、装置、电子设备和计算机可读介质 | |
CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
CN113642639B (zh) | 活体检测方法、装置、设备和存储介质 | |
CN105580050A (zh) | 提供图像中的控制点 | |
CN115270184A (zh) | 视频脱敏、车辆的视频脱敏方法、车载处理系统 | |
WO2016082470A1 (zh) | 一种图片处理方法、装置及计算机存储介质 | |
WO2022199395A1 (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
CN114419091A (zh) | 一种前景抠图方法、装置及电子设备 | |
CN112053287B (zh) | 图像超分辨率方法、装置及设备 | |
CN115690130B (zh) | 一种图像处理方法和装置 | |
CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
CN116485944A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN116664407A (zh) | 基于三元组非配对学习的人脸融合超分辨率方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |