CN106156730A - 一种人脸图像的合成方法和装置 - Google Patents
一种人脸图像的合成方法和装置 Download PDFInfo
- Publication number
- CN106156730A CN106156730A CN201610514078.4A CN201610514078A CN106156730A CN 106156730 A CN106156730 A CN 106156730A CN 201610514078 A CN201610514078 A CN 201610514078A CN 106156730 A CN106156730 A CN 106156730A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- original
- template
- centered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 99
- 238000010189 synthetic method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 112
- 230000004927 fusion Effects 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 39
- 238000007499 fusion processing Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 238000002844 melting Methods 0.000 claims 1
- 230000008018 melting Effects 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 20
- 238000003786 synthesis reaction Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008859 change Effects 0.000 abstract description 10
- 210000001747 pupil Anatomy 0.000 description 28
- 230000006870 function Effects 0.000 description 13
- 230000006854 communication Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000004807 localization Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000404095 Heteranthemis Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种人脸图像的合成方法和装置,支持包含背景的图像合成,合成后的图像中五官轮廓处不会形成颜色突变。在本发明的方法中,原始人脸图像、人脸模板图像分别可以转换为形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像,并且还可以生成人脸蒙版图像,本发明实施例中形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像这三个图像进行融合,原始人脸图像中的背景以及人脸模板图像中的背景都可以在人脸蒙版图像中根据配置的脸部灰度参数进行调整,从而可以支持包含背景的图像合成,原始人脸居中图像进行了肤色均衡,从而在合成后的图像中五官轮廓处不会形成颜色突变,提高图像的合成效果。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人脸图像的合成方法和装置。
背景技术
平均脸是指从一定数量的普通人脸提取面部特征,根据测量数据求平均值,再利用计算机技术得到一张合成脸。在目前的平均脸计算方法中,首先提取需要得出平均脸群体的一定数量照片,再次将每张照片的五官(耳朵除外)轮廓提取出来,再将它平均得到平均轮廓,例如一个大眼睛加一个小眼睛就是一个中等大小的眼睛,然后将得到的平均轮廓通过图像的像素融合得到平均脸。
现有技术的平均脸计算方法中可以得到平均脸,平均脸有多种应用,例如可以将平均脸用于用户人脸和目标人脸的合成中,从而可以支持脸部的替换。在基于平均脸的图像合成中,不支持脸部区域以外的图像部分的替换,从而造成合成后的人脸与目标人脸的边缘轮廓无法有效的融为一体。为了实现脸部区域外的替换,还存在一种支持全图替换的合成方法,该方法在合成图像时会造成用户人脸和目标人脸两幅图像背景的重叠,使得合成后的人脸无法显示目标人脸的背景,并且合成后的图像中人脸轮廓容易在五官轮廓处形成颜色突变,图像合成效果差。
发明内容
本发明实施例提供了一种人脸图像的合成方法和装置,用于支持包含背景的图像合成,在合成后的图像中五官轮廓处不会形成颜色突变,提高图像的合成效果。
为解决上述技术问题,本发明实施例提供以下技术方案:
第一方面,本发明实施例提供一种人脸图像的合成方法,包括:
对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,分别得到原始人脸五官位置和人脸模板五官位置;
根据所述原始人脸五官位置对所述原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据所述人脸模板五官位置对所述人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像;
根据所述原始人脸居中图像和所述人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据所述原始人脸平均颜色值和所述人脸模板平均颜色值对所述原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像;
从所述人脸模板居中图像中截取出人脸模板脸部区域,为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像,所述脸部灰度参数用于标识所述人脸模板脸部区域中各个像素点融合入原始人脸居中图像的融合权重;
根据所述原始人脸五官位置和所述人脸模板五官位置获取到人脸五官平均位置,并根据所述人脸五官平均位置分别对所述均衡完成后的原始人脸居中图像、所述人脸模板居中图像和所述人脸蒙版图像进行人脸形变处理,得到形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像;
对所述形变完成后的原始人脸居中图像、所述形变完成后的人脸模板居中图像和所述形变完成后的人脸蒙版图像进行人脸融合处理,得到所述原始人脸图像对应的人脸融合图像。
第二方面,本发明实施例还提供一种人脸图像的合成装置,包括:
人脸检测模块,用于对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,分别得到原始人脸五官位置和人脸模板五官位置;
图像裁剪缩放模块,用于根据所述原始人脸五官位置对所述原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据所述人脸模板五官位置对所述人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像;
肤色均衡模块,用于根据所述原始人脸居中图像和所述人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据所述原始人脸平均颜色值和所述人脸模板平均颜色值对所述原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像;
蒙版图像生成模块,用于从所述人脸模板居中图像中截取出人脸模板脸部区域,为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像,所述脸部灰度参数用于标识所述人脸模板脸部区域中各个像素点融合入原始人脸居中图像的融合权重;
人脸形变模块,用于根据所述原始人脸五官位置和所述人脸模板五官位置获取到人脸五官平均位置,并根据所述人脸五官平均位置分别对所述均衡完成后的原始人脸居中图像、所述人脸模板居中图像和所述人脸蒙版图像进行人脸形变处理,得到形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像;
人脸融合模块,用于对所述形变完成后的原始人脸居中图像、所述形变完成后的人脸模板居中图像和所述形变完成后的人脸蒙版图像进行人脸融合处理,得到所述原始人脸图像对应的人脸融合图像。
从以上技术方案可以看出,本发明实施例具有以下优点:
在本发明实施例中,原始人脸图像经过人脸识别以及人脸特征、图像裁剪以及图像缩放、肤色均衡处理和人脸形变等过程的处理之后可以得到形变完成后的原始人脸居中图像,人脸模板图像经过人脸识别以及人脸特征、图像裁剪以及图像缩放和人脸形变等过程的处理之后可以得到形变完成后的人脸模板居中图像,并且还可以根据人脸模板居中图像生成人脸蒙版图像,人脸蒙版图像也可以经过人脸形变处理之后得到形变完成后的人脸蒙版图像,本发明实施例中需要对形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像进行人脸融合处理,得到原始人脸图像对应的人脸融合图像。本发明实施例中形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像这三个图像进行融合,原始人脸图像中的背景以及人脸模板图像中的背景都可以在人脸蒙版图像中根据配置的脸部灰度参数进行调整,从而可以支持包含背景的图像合成,本发明实施例中原始人脸居中图像进行了肤色均衡,从而在合成后的图像中五官轮廓处不会形成颜色突变,提高图像的合成效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人脸图像的合成方法的流程方框示意图;
图2为本发明实施例提供的人脸图像的合成方法在小学生证件照的图像融合应用场景下的示意图;
图3-a为本发明实施例提供的一种人脸图像的合成装置的组成结构示意图;
图3-b为本发明实施例提供的一种图像裁剪缩放模块的组成结构示意图;
图3-c为本发明实施例提供的一种肤色均衡模块的组成结构示意图;
图3-d为本发明实施例提供的另一种人脸图像的合成装置的组成结构示意图;
图4为本发明实施例提供的人脸图像的合成方法应用于终端的组成结构示意图。
具体实施方式
本发明实施例提供了一种人脸图像的合成方法和装置,用于支持包含背景的图像合成,在合成后的图像中五官轮廓处不会形成颜色突变,提高图像的合成效果。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域的技术人员所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明人脸图像的合成方法的一个实施例,具体可以应用于用户人脸与人脸模板的融合过程中,请参阅图1所示,本发明一个实施例提供的人脸图像的合成方法,可以包括如下步骤:
101、对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,分别得到原始人脸五官位置和人脸模板五官位置。
在本发明实施例中,原始人脸图像是用户输入的需要处理的图像,人脸模板图像是预先配置的图像模板,该图像模板可以结合应用场景来具体选择,例如人脸模板图像可以是明星照片,或者儿童学生证照片,或者是老年人照片等,具体需要结合应用场景来选取,此处不做限定。本发明实施例中人脸识别以及人脸特征提取可以有多种方式,例如可以是手机系统自带的人脸检测工具,有可以是独立的人脸检测插件等,或者是用户配置的人脸检测算法模块等等。对原始人脸图像进行人脸识别以及人脸特征提取、对人脸模板图像进行人脸识别以及人脸特征提取可以同时进行,可以独立执行,或者按照先后顺序执行等,此处不做限定。对原始人脸图像进行人脸识别以及人脸特征提取之后可以得到原始人脸五官位置,对人脸模板图像进行人脸识别以及人脸特征提取之后可以得到人脸模板五官位置。其中,原始人脸五官位置和人脸模板五官位置可以是包括人脸五官特征的位置基准点,例如可以使用腾讯优图人脸检测,通过人脸识别和五官定位得到83个基准点。
需要说明的是,在本发明实施例中,原始人脸图像和人脸模板图像都可以是一张图像或者多张图像,具体实现过程与后续实施例中的描述相类似,本发明实施例中不限定原始人脸图像的图像个数和人脸模板图像的图像个数。
在本发明的一些实施例中,步骤101对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,具体可以包括如下步骤:
A1、从原始人脸图像和人脸模板图像中分别检测到人脸区域;
A2、对检测到的人脸区域进行五官特征点定位,五官特征点包括:脸部轮廓、眼睛轮廓、鼻子轮廓、眉毛轮廓和嘴唇轮廓。
其中,可以使用人脸检测算法从原始人脸图像和人脸模板图像检测到人脸区域,从该人脸区域中提取五官特征点,例如,该五官特征点可以包括:脸部轮廓、眼睛轮廓、鼻子轮廓、眉毛轮廓和嘴唇轮廓。通过五官特征点能否把人脸区域中的人脸特征完整的表示出来。
102、根据原始人脸五官位置对原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据人脸模板五官位置对人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像。
在本发明实施例中,获取到原始人脸五官位置和人脸模板五官位置之后,可以进行图像裁剪以及图像缩放的处理步骤,对原始人脸图像进行图像裁剪以及图像缩放、对人脸模板图像进行图像裁剪以及图像缩放可以同时进行,可以独立执行,或者按照先后顺序执行等,此处不做限定。在实际应用中图像裁剪以及图像缩放可以通过多种图像处理工具来完成,例如可以是OpenCV的cvSetImageROI和cvResize函数来实现上述效果。对原始人脸图像进行图像裁剪以及图像缩放可以实现对原始人脸图像的脸部居中,对人脸模板图像进行图像裁剪以及图像缩放可以实现对人脸模板图像的脸部居中,从而可以得到原始人脸居中图像和人脸模板居中图像,从而便于后续过程中的人脸形变以及人脸融合。在实际应用中,原始人脸图像和人脸模板图像都可以根据应用场景需要来进行图像裁剪和图像缩放,从而使得两张图像的人脸区域基本一致。
在本发明的一些实施例中,步骤102根据原始人脸五官位置对原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据人脸模板五官位置对人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像,包括:
B1、根据原始人脸五官位置获取原始人脸图像中包括原始人脸五官位置的人脸框;
B2、在原始人脸图像中以人脸框作为中心向外扩展预置长度的距离范围,并对原始人脸图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到原始人脸居中图像;
B3、获取在人脸模板图像中出现的人脸框,并移动人脸框至覆盖人脸模板五官位置的区域;
B4、在人脸模板图像中以人脸框作为中心向外扩展预置长度的距离范围,并对人脸模板图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到人脸模板居中图像。
其中,在原始人脸图像中根据原始人脸五官位置可以设置包括原始人脸五官位置的人脸框,该人脸框可以是正方形人脸框,也可以长方形人脸框,或者某种特别形状的人脸框。获取到人脸框之后,在原始人脸图像中以人脸框作为中心向外扩展预置长度的距离范围,并对原始人脸图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到原始人脸居中图像。该预置长度可以是正方形人脸框的边长,也可以是长方形人脸框的长度或者宽度等。
接下来获取在人脸模板图像中出现的人脸框,并移动人脸框至覆盖人脸模板五官位置的区域,使人脸框能够覆盖人脸模板五官位置,通过对原始人脸图像相同的裁剪和缩放对人脸模板图像进行操作,得到人脸模板居中图像,从而使得原始人脸图像和人脸模板图像的人脸区域基本一致,为后续的肤色均衡以及人脸融合做好准备。
103、根据原始人脸居中图像和人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据原始人脸平均颜色值和人脸模板平均颜色值对原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像。
在本发明实施例中,为了避免原始人脸和让人脸模板在融合时容易出现五官轮廓处颜色突变的问题,需要对原始人脸进行肤色均衡,即先计算原始人脸平均颜色值和人脸模板平均颜色值,计算原始人脸平均颜色值和计算人脸模板平均颜色值可以同时进行,可以独立执行,或者按照先后顺序执行等,此处不做限定。得到原始人脸平均颜色值和人脸模板平均颜色值之后,根据原始人脸平均颜色值和人脸模板平均颜色值对原始人脸居中图像进行肤色均衡处理,从而可以对原始人脸居中图像中人脸区域的图像颜色值进行修改。
在本发明的一些实施例中,步骤103根据原始人脸居中图像和人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据原始人脸平均颜色值和人脸模板平均颜色值对原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像,包括:
C1、将原始人脸居中图像转换为颜色模型(简称Lab)空间的原始人脸居中图像,将人脸模板居中图像转换为Lab空间的人脸模板居中图像,Lab空间的原始人脸居中图像包括:原始人脸L通道、原始人脸a通道和原始人脸b通道,Lab空间的人脸模板居中图像包括:人脸模板L通道、人脸模板a通道和人脸模板b通道;
C2、根据Lab空间的原始人脸居中图像计算出原始人脸Lab空间平均颜色值,根据Lab空间的人脸模板居中图像计算出人脸模板Lab空间平均颜色值,原始人脸Lab空间平均颜色值包括:原始人脸L通道平均值、原始人脸a通道平均值和原始人脸b通道平均值,人脸模板Lab空间平均颜色值包括:人脸模板L通道平均值、人脸模板a通道平均值和人脸模板b通道平均值;
C3、根据原始人脸Lab空间平均颜色值和人脸模板Lab空间平均颜色值对Lab空间的原始人脸居中图像中原始人脸L通道、原始人脸a通道和原始人脸b通道分别进行修正,得到均衡完成后的Lab空间的原始人脸居中图像。
其中,原始人脸居中图像和人脸模板居中图像都可以是BGR颜色模型,也可以是其它颜色模型的图像,通过步骤C1中的转换,可以得到Lab空间的颜色模型,在步骤C2中可以分别计算出原始人脸Lab空间平均颜色值和人脸模板Lab空间平均颜色值,接下来执行步骤C3,在L通道、a通道和b通道下分别对Lab空间的原始人脸居中图像进行修正,从而改变原始人脸居中图像中的人脸肤色。可以理解的是,步骤C3得到Lab空间的原始人脸居中图像之后,可以将Lab空间的原始人脸居中图像恢复成BGR颜色模型。
进一步的,在本发明的一些实施例中,步骤C3根据原始人脸Lab空间平均颜色值和人脸模板Lab空间平均颜色值对Lab空间的原始人脸居中图像中原始人脸L通道、原始人脸a通道和原始人脸b通道分别进行修正,得到均衡完成后的Lab空间的原始人脸居中图像,包括:
C31、获取Lab空间的原始人脸居中图像中的任意一个原始像素点Px,Px的原始人脸L通道为Lx,Px的原始人脸a通道为ax,Px的原始人脸b通道为bx;
C32、通过如下方式计算出均衡完成后的Lab空间的原始人脸居中图像,其中,原始像素点Px对应的均衡完成后的像素点为Px’:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
其中,Lx’为Px’的均衡完成后的原始人脸L通道取值,ax’为Px’的均衡完成后的原始人脸a通道取值,b’为Px’的均衡完成后的原始人脸b通道取值,AveUserL为原始人脸L通道平均值,AveTemL为人脸模板L通道平均值,AveUsera为原始人脸a通道平均值,AveTema为人脸模板a通道平均值,AveUserb为原始人脸b通道平均值,AveTemb为人脸模板b通道平均值。
其中,对于原始人脸居中图像中的任意一个原始像素点Px,都可以按照步骤C31和步骤C32中描述的修正方法来修改L通道、a通道、b通道的像素值。不限定的是,本发明实施例中步骤C32只是一种举例说明的可实现方式,在本发明的其它实施例中,还可以对Lx’、ax’和bx’的表达式进行变形,例如可以在等式右边加上预置的像素修改值A,则Lx’=Lx–AveUserL+AveTemL+A,同样可以完成对Lx’的计算,具体可以结合应用场景来确定。
104、从人脸模板居中图像中截取出人脸模板脸部区域,为人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像,脸部灰度参数用于标识人脸模板脸部区域中各个像素点融合入原始人脸居中图像的融合权重。
在本发明实施例中,在得到人脸模板居中图像之后,从人脸模板居中图像中截取出人脸模板脸部区域,对于人脸模板脸部区域中的每个像素点分别配置对应的脸部灰度参数,则可以得到人脸蒙版图像,脸部灰度参数用于标识人脸模板脸部区域中各个像素点融合入原始人脸居中图像的融合权重。举例说明如下,在人脸蒙版图像中包括有每个像素点的脸部灰度参数,例如脸部灰度参数可以是50%,表示需要50%的人脸模板图像,例如脸部灰度参数可以是100%,表示需要100%的人脸模板图像。通过生成人脸蒙版图像,可以确定人脸模板图像的各个像素点与原始人脸居中图像融合时采用的融合权重。
在本发明的一些实施例中,步骤104为人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像之后,本发明实施例提供的人脸图像的合成方法还可以包括如下步骤:
D1、对人脸蒙版图像的脸部轮廓边缘进行模糊处理。
其中,为了解决融合图像的边缘轮廓不够平滑的问题,在得到人脸蒙版图像之后,还可以对人脸蒙版图像中的五官特征点进行边缘模糊,例如可以由用户手动调整脸部轮廓边缘,也可以通过模糊算法来对脸部轮廓边缘进行模板计算。
105、根据原始人脸五官位置和人脸模板五官位置获取到人脸五官平均位置,并根据人脸五官平均位置分别对均衡完成后的原始人脸居中图像、人脸模板居中图像和人脸蒙版图像进行人脸形变处理,得到形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像。
在本发明实施例中,根据原始人脸五官位置和人脸模板五官位置获取到人脸五官平均位置,该人脸五官平均位置是人脸变形的依据,根据人脸五官平均位置分别对均衡完成后的原始人脸居中图像、人脸模板居中图像和人脸蒙版图像进行人脸形变处理,得到形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像,从而使原始人脸居中图像、人脸模板居中图像和人脸蒙版图像通过人脸形变处理后五官定位点趋于一致,为人脸融合打下基础。
106、对形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像进行人脸融合处理,得到原始人脸图像对应的人脸融合图像。
在本发明实施例中,人脸形变完成后,可以对形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像进行人脸融合处理,从而这三个图像可以融合为人脸融合图像,该人脸融合图像是最后输出的融合结果。
在本发明的一些实施例中,步骤106对形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像进行人脸融合处理,得到原始人脸图像对应的人脸融合图像,包括:
E1、获取形变完成后的人脸蒙版图像中的任意一个蒙版像素点的脸部灰度参数TemMaskB:
E2、根据TemMaskB通过如下方式计算出融合权重alpha:
alpha=0.5+0.5*TemMaskB;
E3、通过如下方式计算出原始人脸图像对应的人脸融合图像,其中,蒙版像素点对应的人脸融合像素点为TarPixel:
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
其中,TarB为TarPixel的B通道取值,TarG为TarPixel的G通道取值,TarR为TarPixel的R通道取值,UserB为蒙版像素点对应的形变完成后的原始人脸居中图像中的B通道取值,UserG为蒙版像素点对应的形变完成后的原始人脸居中图像中的G通道取值,UserR为蒙版像素点对应的形变完成后的原始人脸居中图像中的R通道取值,TemB为蒙版像素点对应的形变完成后的人脸模板居中图像中的B通道取值,TemG为蒙版像素点对应的形变完成后的人脸模板居中图像中的G通道取值,TemR为蒙版像素点对应的形变完成后的人脸模板居中图像中的R通道取值。
其中,对于形变完成后的人脸蒙版图像中的任意一个蒙版像素点,都可以按照步骤E1和步骤E3中描述的方法来计算人脸融合像素点在B通道、G通道、R通道的像素值。不限定的是,本发明实施例中步骤E2和E3只是一种举例说明的可实现方式,在本发明的其它实施例中,还可以对alpha、TarB、TarG、TarR的表达式进行变形,例如对于alpha,可以在等式右边加上预置的权重调整参量D,则alpha=0.5+0.5*TemMaskB+D,同样可以完成对alpha的计算,具体可以结合应用场景来确定。
通过以上实施例对本发明实施例的描述可知,原始人脸图像经过人脸识别以及人脸特征、图像裁剪以及图像缩放、肤色均衡处理和人脸形变等过程的处理之后可以得到形变完成后的原始人脸居中图像,人脸模板图像经过人脸识别以及人脸特征、图像裁剪以及图像缩放和人脸形变等过程的处理之后可以得到形变完成后的人脸模板居中图像,并且还可以根据人脸模板居中图像生成人脸蒙版图像,人脸蒙版图像也可以经过人脸形变处理之后得到形变完成后的人脸蒙版图像,本发明实施例中需要对形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像进行人脸融合处理,得到原始人脸图像对应的人脸融合图像。本发明实施例中形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像这三个图像进行融合,原始人脸图像中的背景以及人脸模板图像中的背景都可以在人脸蒙版图像中根据配置的脸部灰度参数进行调整,从而可以支持包含背景的图像合成,本发明实施例中原始人脸居中图像进行了肤色均衡,从而在合成后的图像中五官轮廓处不会形成颜色突变,提高图像的合成效果。
为便于更好的理解和实施本发明实施例的上述方案,下面举例相应的应用场景来进行具体说明。
本发明实施例提供的人脸图像的合成方法,通常采用的人脸模板图像可以是正脸模板照片,通常情况下正脸的融合效果是最好的,接下来以本发明实施例结合证件照的图像合成为例,让用户自觉拍摄正脸照片,与颜值较高的真小学生模板图像进行融合,达到每个人都会满意的效果。本发明实施例中可以支持包含背景的图像变形,解决融合图像边缘轮廓不自然的问题,也可以支持选择指定的目标图背景。
在我的小学生证件照中可以采用人脸检测和五官融合技术,将一张成年人照片与儿童五官进行融合并且调节参数,使得最终结果更似自己或者目标照片。只需用户上传一张照片作为原始人脸图像,通过本发明实施例提供的图像合成方法就可以立刻可以获得儿时的“似我非我”的照片。请参阅图2所示,为本发明实施例提供的人脸图像的合成方法在小学生证件照的图像融合应用场景下的示意图,整个处理过程主要包括离线部分和在线部分。
在图2所示的离线部分中,主要包括小学生脸的人脸识别及五官特征提取(例如可以手动标注)、脸部蒙版生成(例如基于五官特征点,可以手动调整脸部轮廓边缘,也可以通过自动模糊边缘实现)、小学生脸部肤色信息提取等。
在线部分中,包括用户图片人脸识别及五官特征提取、肤色调整,以及基于小学生脸、小学生脸蒙版、用户人脸的形变和融合,从而生成最终的结果图像。
接下来对本发明实施例中的关键技术点进行详细的举例说明。
(1)、人脸识别、五官定位。
本发明实施例中,可以使用多种人脸检测算法,包括但不限于:iOS自带人脸检测、OpenCV人脸检测、Face++、sensetime、腾讯优图人脸检测等。以腾讯优图人脸检测技术为例,可以对照片中的用户人脸进行识别和五官定位,从而得到83个基准点(比如:脸部轮廓、眼睛轮廓、鼻子、嘴唇等点。
(2)、图像裁剪、缩放。
这部分主要是针对用户图像,选择人脸区域,并且缩放到指定的大小。例如可以采用OpenCV的cvSetImageROI和cvResize函数来实现上述效果。具体的可以取正方形人脸框(边长a),并且往上下左右均拓展a的距离,得到一个更大的图像范围,并且将该虚线框内的图像缩放到目标图像。在目标图像中,正中间为人脸区域,外部为扩展区域。同样的,小学生模板照也要经过裁剪和缩放,从而保证两张照片的人脸区域基本一致,为后续的肤色均衡、人脸形变、融合做准备。
(3)、肤色均衡。
为了避免用户肤色与小学生模板照的肤色差异太大导致效果不自然,需要对用户照片进行肤色均衡。具体的算法是:
1、截取用户图像的人脸区域、小学生模板照的人脸区域,转换成Lab颜色空间的图像。
2、分别计算用户人脸区域、小学生人脸区域的平均颜色值(L、a、b三通道分别计算),记为AveUserL,AveUsera,AveUserb,AveTemL,AveTema,AveTemb。其中,各个参量分别表示:用户照片L通道平均值、用户照片a通道平均值、用户照片b通道平均值、小学生照片L通道平均值、小学生照片a通道平均值、小学生照片b通道平均值。
3、对于用户图片(经过裁剪和缩放后),转换为Lab颜色空间的图片,对于其中的每一个像素值(记为Lx,ax,bx),有:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
通过上述表达式可以得到每一个像素的转换后的像素值。
4、对于步骤3生成的Lab图片,可以转回BGR颜色通道。
(4)、人脸形变。
这一步的目的是让小学生脸和用户脸的五官定位点趋于一致,具体实现过程如下,对于用户图片,其五官定位点进行标记,小学生模板照的五官定位点进行标记,然后取他们的平均点,例如相同位置的对应点对取平均,一共83个点对。人脸形变的处理过程是将用户图片、小学生模板照均通过形变使得五官位置趋向于平均五官位置点。其中,具体的算法可以采用基于控制点集的移动最小二乘的图像变形(英文全称:Image DeformationUsing Moving Least Squares,英文简称:MLS)方法。不限定的是,在本发明的其它实施例中,人脸形变处理还可以包括:仿射变换、图像扭曲等。
(5)、人脸融合。
如果基于步骤(4)得到的结果直接进行融合,会造成图像背景的重叠。为了保证最终结果仅小学生人脸区域显示为用户效果,而其它区域(包括耳朵、头发)仍然保持原来小学生的效果,需要增加一个脸部灰度参数,用于标识哪些区域需要融合入用户的照片,以及用户照片所占的融合权重。通过小学生模板照,可以得到小学生的脸部蒙版图,举例说明如下,可以用纯黑色区域代表需要50%的小学生图像像素和50%的用户图像像素,用纯白色区域代表100%的小学生图像像素,中间过渡表示介于50%~0%的用户图像像素和50%~100%的小学生图像像素。接下来对该蒙版图的边缘进行模糊处理,可以保证用户照片与小学生照片融合后脸部边缘自然过渡。同样的因为小学生的脸随着五官基准点在形变,脸部蒙版图同样要随之形变。
举例说明如下,可以采用的融合算法为:三张图片(用户图、小学生图、小学生蒙版图)的任意的位置,假设三张图和目标图该位置的像素值如下:
用户图像素:UserB,UserG,UserR;
小学生图像素:TemB,TemG,TemR;
小学生蒙版像素:TemMaskB,TemMaskG,TemMaskR;
目标图像素:TarB,TarG,TarR;
其中,上述的各个取值的范围是0~1。
则alpha=0.5+0.5*TemMaskB;
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
从而可以得到目标图的每一个像素值,即最终的人脸融合结果图。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案,下面还提供用于实施上述方案的相关装置。
请参阅图3-a所示,本发明实施例提供的一种人脸图像的合成装置300,可以包括:人脸检测模块301、图像裁剪缩放模块302、肤色均衡模块303、蒙版图像生成模块304、人脸形变模块305和人脸融合模块306,其中,
人脸检测模块301,用于对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,分别得到原始人脸五官位置和人脸模板五官位置;
图像裁剪缩放模块302,用于根据所述原始人脸五官位置对所述原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据所述人脸模板五官位置对所述人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像;
肤色均衡模块303,用于根据所述原始人脸居中图像和所述人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据所述原始人脸平均颜色值和所述人脸模板平均颜色值对所述原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像;
蒙版图像生成模块304,用于从所述人脸模板居中图像中截取出人脸模板脸部区域,为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像,所述脸部灰度参数用于标识所述人脸模板脸部区域中各个像素点融合入原始人脸居中图像的融合权重;
人脸形变模块305,用于根据所述原始人脸五官位置和所述人脸模板五官位置获取到人脸五官平均位置,并根据所述人脸五官平均位置分别对所述均衡完成后的原始人脸居中图像、所述人脸模板居中图像和所述人脸蒙版图像进行人脸形变处理,得到形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像;
人脸融合模块306,用于对所述形变完成后的原始人脸居中图像、所述形变完成后的人脸模板居中图像和所述形变完成后的人脸蒙版图像进行人脸融合处理,得到所述原始人脸图像对应的人脸融合图像。
在本发明的一些实施例中,所述人脸检测模块301,具体用于从原始人脸图像和人脸模板图像中分别检测到人脸区域;对检测到的人脸区域进行五官特征点定位,所述五官特征点包括:脸部轮廓、眼睛轮廓、鼻子轮廓、眉毛轮廓和嘴唇轮廓。
在本发明的一些实施例中,请参阅图3-b所示,所述图像裁剪缩放模块302,包括:
原始人脸锁定模块3021,用于根据所述原始人脸五官位置获取所述原始人脸图像中包括所述原始人脸五官位置的人脸框;
原始图像居中处理模块3022,用于在所述原始人脸图像中以所述人脸框作为中心向外扩展预置长度的距离范围,并对所述原始人脸图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到原始人脸居中图像;
人脸模板锁定模块3033,用于获取在所述人脸模板图像中出现的所述人脸框,并移动所述人脸框至覆盖所述人脸模板五官位置的区域;
模板图像居中处理模块3034,用于在所述人脸模板图像中以所述人脸框作为中心向外扩展预置长度的距离范围,并对所述人脸模板图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到人脸模板居中图像。
在本发明的一些实施例中,请参阅图3-c所示,所述肤色均衡模块303,包括:
图像转换模块3031,用于将所述原始人脸居中图像转换为颜色模型Lab空间的原始人脸居中图像,将所述人脸模板居中图像转换为Lab空间的人脸模板居中图像,所述Lab空间的原始人脸居中图像包括:原始人脸L通道、原始人脸a通道和原始人脸b通道,所述Lab空间的人脸模板居中图像包括:人脸模板L通道、人脸模板a通道和人脸模板b通道;
颜色平均值计算模块3032,用于根据所述Lab空间的原始人脸居中图像计算出原始人脸Lab空间平均颜色值,根据所述Lab空间的人脸模板居中图像计算出人脸模板Lab空间平均颜色值,所述原始人脸Lab空间平均颜色值包括:原始人脸L通道平均值、原始人脸a通道平均值和原始人脸b通道平均值,所述人脸模板Lab空间平均颜色值包括:人脸模板L通道平均值、人脸模板a通道平均值和人脸模板b通道平均值;
像素值修正模块3033,用于根据所述原始人脸Lab空间平均颜色值和所述人脸模板Lab空间平均颜色值对Lab空间的原始人脸居中图像中原始人脸L通道、原始人脸a通道和原始人脸b通道分别进行修正,得到均衡完成后的Lab空间的原始人脸居中图像。
进一步的,在本发明的一些实施例中,所述像素值修正模块3033,具体用于获取Lab空间的原始人脸居中图像中的任意一个原始像素点Px,Px的原始人脸L通道为Lx,Px的原始人脸a通道为ax,Px的原始人脸b通道为bx;通过如下方式计算出均衡完成后的Lab空间的原始人脸居中图像,其中,原始像素点Px对应的均衡完成后的像素点为Px’:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
其中,Lx’为Px’的均衡完成后的原始人脸L通道取值,ax’为Px’的均衡完成后的原始人脸a通道取值,b’为Px’的均衡完成后的原始人脸b通道取值,AveUserL为原始人脸L通道平均值,AveTemL为人脸模板L通道平均值,AveUsera为原始人脸a通道平均值,AveTema为人脸模板a通道平均值,AveUserb为原始人脸b通道平均值,AveTemb为人脸模板b通道平均值。
在本发明的一些实施例中,请参阅图3-d所示,所述人脸图像的合成装置300,还包括:
边缘模糊处理模块307,用于所述蒙版图像生成模块304为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像之后,对所述人脸蒙版图像的脸部轮廓边缘进行模糊处理。
在本发明的一些实施例中,所述人脸融合模块306,具体用于获取形变完成后的人脸蒙版图像中的任意一个蒙版像素点的脸部灰度参数TemMaskB:根据所述TemMaskB通过如下方式出融合权重alpha:alpha=0.5+0.5*TemMaskB;通过如下方式计算出所述原始人脸图像对应的人脸融合图像,其中,所述蒙版像素点对应的人脸融合像素点为TarPixel:
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
其中,TarB为TarPixel的B通道取值,TarG为TarPixel的G通道取值,TarR为TarPixel的R通道取值,UserB为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的B通道取值,UserG为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的G通道取值,UserR为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的R通道取值,TemB为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的B通道取值,TemG为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的G通道取值,TemR为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的R通道取值。
通过以上对本发明实施例的描述可知,原始人脸图像经过人脸识别以及人脸特征、图像裁剪以及图像缩放、肤色均衡处理和人脸形变等过程的处理之后可以得到形变完成后的原始人脸居中图像,人脸模板图像经过人脸识别以及人脸特征、图像裁剪以及图像缩放和人脸形变等过程的处理之后可以得到形变完成后的人脸模板居中图像,并且还可以根据人脸模板居中图像生成人脸蒙版图像,人脸蒙版图像也可以经过人脸形变处理之后得到形变完成后的人脸蒙版图像,本发明实施例中需要对形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像进行人脸融合处理,得到原始人脸图像对应的人脸融合图像。本发明实施例中形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像这三个图像进行融合,原始人脸图像中的背景以及人脸模板图像中的背景都可以在人脸蒙版图像中根据配置的脸部灰度参数进行调整,从而可以支持包含背景的图像合成,本发明实施例中原始人脸居中图像进行了肤色均衡,从而在合成后的图像中五官轮廓处不会形成颜色突变,提高图像的合成效果。
本发明实施例还提供了另一种终端,如图4所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point ofSales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
图4示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图4,手机包括:射频(Radio Frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图4中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图4对手机的各个构成部件进行具体的介绍:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图4中,触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一手机,或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块1070,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理单元;优选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池),优选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本发明实施例中,该终端所包括的处理器1080还具有控制执行以上由终端执行的方法流程。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
综上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照上述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对上述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种人脸图像的合成方法,其特征在于,包括:
对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,分别得到原始人脸五官位置和人脸模板五官位置;
根据所述原始人脸五官位置对所述原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据所述人脸模板五官位置对所述人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像;
根据所述原始人脸居中图像和所述人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据所述原始人脸平均颜色值和所述人脸模板平均颜色值对所述原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像;
从所述人脸模板居中图像中截取出人脸模板脸部区域,为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像,所述脸部灰度参数用于标识所述人脸模板脸部区域中各个像素点融合入原始人脸居中图像的融合权重;
根据所述原始人脸五官位置和所述人脸模板五官位置获取到人脸五官平均位置,并根据所述人脸五官平均位置分别对所述均衡完成后的原始人脸居中图像、所述人脸模板居中图像和所述人脸蒙版图像进行人脸形变处理,得到形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像;
对所述形变完成后的原始人脸居中图像、所述形变完成后的人脸模板居中图像和所述形变完成后的人脸蒙版图像进行人脸融合处理,得到所述原始人脸图像对应的人脸融合图像。
2.根据权利要求1所述的方法,其特征在于,所述对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,包括:
从原始人脸图像和人脸模板图像中分别检测到人脸区域;
对检测到的人脸区域进行五官特征点定位,所述五官特征点包括:脸部轮廓、眼睛轮廓、鼻子轮廓、眉毛轮廓和嘴唇轮廓。
3.根据权利要求1所述的方法,其特征在于,所述根据所述原始人脸五官位置对所述原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据所述人脸模板五官位置对所述人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像,包括:
根据所述原始人脸五官位置获取所述原始人脸图像中包括所述原始人脸五官位置的人脸框;
在所述原始人脸图像中以所述人脸框作为中心向外扩展预置长度的距离范围,并对所述原始人脸图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到原始人脸居中图像;
获取在所述人脸模板图像中出现的所述人脸框,并移动所述人脸框至覆盖所述人脸模板五官位置的区域;
在所述人脸模板图像中以所述人脸框作为中心向外扩展预置长度的距离范围,并对所述人脸模板图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到人脸模板居中图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述原始人脸居中图像和所述人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据所述原始人脸平均颜色值和所述人脸模板平均颜色值对所述原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像,包括:
将所述原始人脸居中图像转换为颜色模型Lab空间的原始人脸居中图像,将所述人脸模板居中图像转换为Lab空间的人脸模板居中图像,所述Lab空间的原始人脸居中图像包括:原始人脸L通道、原始人脸a通道和原始人脸b通道,所述Lab空间的人脸模板居中图像包括:人脸模板L通道、人脸模板a通道和人脸模板b通道;
根据所述Lab空间的原始人脸居中图像计算出原始人脸Lab空间平均颜色值,根据所述Lab空间的人脸模板居中图像计算出人脸模板Lab空间平均颜色值,所述原始人脸Lab空间平均颜色值包括:原始人脸L通道平均值、原始人脸a通道平均值和原始人脸b通道平均值,所述人脸模板Lab空间平均颜色值包括:人脸模板L通道平均值、人脸模板a通道平均值和人脸模板b通道平均值;
根据所述原始人脸Lab空间平均颜色值和所述人脸模板Lab空间平均颜色值对Lab空间的原始人脸居中图像中原始人脸L通道、原始人脸a通道和原始人脸b通道分别进行修正,得到均衡完成后的Lab空间的原始人脸居中图像。
5.根据权利要求4所述的方法,其特征在于,所述根据所述原始人脸Lab空间平均颜色值和所述人脸模板Lab空间平均颜色值对Lab空间的原始人脸居中图像中原始人脸L通道、原始人脸a通道和原始人脸b通道分别进行修正,得到均衡完成后的Lab空间的原始人脸居中图像,包括:
获取Lab空间的原始人脸居中图像中的任意一个原始像素点Px,Px的原始人脸L通道为Lx,Px的原始人脸a通道为ax,Px的原始人脸b通道为bx;
通过如下方式计算出均衡完成后的Lab空间的原始人脸居中图像,其中,原始像素点Px对应的均衡完成后的像素点为Px’:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
其中,Lx’为Px’的均衡完成后的原始人脸L通道取值,ax’为Px’的均衡完成后的原始人脸a通道取值,b’为Px’的均衡完成后的原始人脸b通道取值,AveUserL为原始人脸L通道平均值,AveTemL为人脸模板L通道平均值,AveUsera为原始人脸a通道平均值,AveTema为人脸模板a通道平均值,AveUserb为原始人脸b通道平均值,AveTemb为人脸模板b通道平均值。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像之后,所述方法还包括:
对所述人脸蒙版图像的脸部轮廓边缘进行模糊处理。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述对所述形变完成后的原始人脸居中图像、所述形变完成后的人脸模板居中图像和所述形变完成后的人脸蒙版图像进行人脸融合处理,得到所述原始人脸图像对应的人脸融合图像,包括:
获取形变完成后的人脸蒙版图像中的任意一个蒙版像素点的脸部灰度参数TemMaskB:
根据所述TemMaskB通过如下方式计算出融合权重alpha:
alpha=0.5+0.5*TemMaskB;
通过如下方式计算出所述原始人脸图像对应的人脸融合图像,其中,所述蒙版像素点对应的人脸融合像素点为TarPixel:
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
其中,TarB为TarPixel的B通道取值,TarG为TarPixel的G通道取值,TarR为TarPixel的R通道取值,UserB为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的B通道取值,UserG为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的G通道取值,UserR为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的R通道取值,TemB为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的B通道取值,TemG为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的G通道取值,TemR为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的R通道取值。
8.一种人脸图像的合成装置,其特征在于,包括:
人脸检测模块,用于对原始人脸图像和人脸模板图像进行人脸识别以及人脸特征提取,分别得到原始人脸五官位置和人脸模板五官位置;
图像裁剪缩放模块,用于根据所述原始人脸五官位置对所述原始人脸图像进行图像裁剪以及图像缩放得到原始人脸居中图像,以及根据所述人脸模板五官位置对所述人脸模板图像进行图像裁剪以及图像缩放得到人脸模板居中图像;
肤色均衡模块,用于根据所述原始人脸居中图像和所述人脸模板居中图像分别计算出原始人脸平均颜色值和人脸模板平均颜色值,并根据所述原始人脸平均颜色值和所述人脸模板平均颜色值对所述原始人脸居中图像进行肤色均衡处理,得到均衡完成后的原始人脸居中图像;
蒙版图像生成模块,用于从所述人脸模板居中图像中截取出人脸模板脸部区域,为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像,所述脸部灰度参数用于标识所述人脸模板脸部区域中各个像素点融合入原始人脸居中图像的融合权重;
人脸形变模块,用于根据所述原始人脸五官位置和所述人脸模板五官位置获取到人脸五官平均位置,并根据所述人脸五官平均位置分别对所述均衡完成后的原始人脸居中图像、所述人脸模板居中图像和所述人脸蒙版图像进行人脸形变处理,得到形变完成后的原始人脸居中图像、形变完成后的人脸模板居中图像和形变完成后的人脸蒙版图像;
人脸融合模块,用于对所述形变完成后的原始人脸居中图像、所述形变完成后的人脸模板居中图像和所述形变完成后的人脸蒙版图像进行人脸融合处理,得到所述原始人脸图像对应的人脸融合图像。
9.根据权利要求8所述的装置,其特征在于,所述人脸检测模块,具体用于从原始人脸图像和人脸模板图像中分别检测到人脸区域;对检测到的人脸区域进行五官特征点定位,所述五官特征点包括:脸部轮廓、眼睛轮廓、鼻子轮廓、眉毛轮廓和嘴唇轮廓。
10.根据权利要求8所述的装置,其特征在于,所述图像裁剪缩放模块,包括:
原始人脸锁定模块,用于根据所述原始人脸五官位置获取所述原始人脸图像中包括所述原始人脸五官位置的人脸框;
原始图像居中处理模块,用于在所述原始人脸图像中以所述人脸框作为中心向外扩展预置长度的距离范围,并对所述原始人脸图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到原始人脸居中图像;
人脸模板锁定模块,用于获取在所述人脸模板图像中出现的所述人脸框,并移动所述人脸框至覆盖所述人脸模板五官位置的区域;
模板图像居中处理模块,用于在所述人脸模板图像中以所述人脸框作为中心向外扩展预置长度的距离范围,并对所述人脸模板图像中被扩展后的距离范围所覆盖的区域进行图像缩放,得到人脸模板居中图像。
11.根据权利要求8所述的装置,其特征在于,所述肤色均衡模块,包括:
图像转换模块,用于将所述原始人脸居中图像转换为颜色模型Lab空间的原始人脸居中图像,将所述人脸模板居中图像转换为Lab空间的人脸模板居中图像,所述Lab空间的原始人脸居中图像包括:原始人脸L通道、原始人脸a通道和原始人脸b通道,所述Lab空间的人脸模板居中图像包括:人脸模板L通道、人脸模板a通道和人脸模板b通道;
颜色平均值计算模块,用于根据所述Lab空间的原始人脸居中图像计算出原始人脸Lab空间平均颜色值,根据所述Lab空间的人脸模板居中图像计算出人脸模板Lab空间平均颜色值,所述原始人脸Lab空间平均颜色值包括:原始人脸L通道平均值、原始人脸a通道平均值和原始人脸b通道平均值,所述人脸模板Lab空间平均颜色值包括:人脸模板L通道平均值、人脸模板a通道平均值和人脸模板b通道平均值;
像素值修正模块,用于根据所述原始人脸Lab空间平均颜色值和所述人脸模板Lab空间平均颜色值对Lab空间的原始人脸居中图像中原始人脸L通道、原始人脸a通道和原始人脸b通道分别进行修正,得到均衡完成后的Lab空间的原始人脸居中图像。
12.根据权利要求11所述的装置,其特征在于,所述像素值修正模块,具体用于获取Lab空间的原始人脸居中图像中的任意一个原始像素点Px,Px的原始人脸L通道为Lx,Px的原始人脸a通道为ax,Px的原始人脸b通道为bx;通过如下方式计算出均衡完成后的Lab空间的原始人脸居中图像,其中,原始像素点Px对应的均衡完成后的像素点为Px’:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
其中,Lx’为Px’的均衡完成后的原始人脸L通道取值,ax’为Px’的均衡完成后的原始人脸a通道取值,b’为Px’的均衡完成后的原始人脸b通道取值,AveUserL为原始人脸L通道平均值,AveTemL为人脸模板L通道平均值,AveUsera为原始人脸a通道平均值,AveTema为人脸模板a通道平均值,AveUserb为原始人脸b通道平均值,AveTemb为人脸模板b通道平均值。
13.根据权利要求8至12中任一项所述的装置,其特征在于,所述人脸图像的合成装置,还包括:
边缘模糊处理模块,用于所述蒙版图像生成模块为所述人脸模板脸部区域中的每个像素点配置对应的脸部灰度参数得到人脸蒙版图像之后,对所述人脸蒙版图像的脸部轮廓边缘进行模糊处理。
14.根据权利要求8至12中任一项所述的装置,其特征在于,所述人脸融合模块,具体用于获取形变完成后的人脸蒙版图像中的任意一个蒙版像素点的脸部灰度参数TemMaskB:根据所述TemMaskB通过如下方式出融合权重alpha:alpha=0.5+0.5*TemMaskB;通过如下方式计算出所述原始人脸图像对应的人脸融合图像,其中,所述蒙版像素点对应的人脸融合像素点为TarPixel:
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
其中,TarB为TarPixel的B通道取值,TarG为TarPixel的G通道取值,TarR为TarPixel的R通道取值,UserB为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的B通道取值,UserG为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的G通道取值,UserR为所述蒙版像素点对应的形变完成后的原始人脸居中图像中的R通道取值,TemB为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的B通道取值,TemG为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的G通道取值,TemR为所述蒙版像素点对应的形变完成后的人脸模板居中图像中的R通道取值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610514078.4A CN106156730B (zh) | 2016-06-30 | 2016-06-30 | 一种人脸图像的合成方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610514078.4A CN106156730B (zh) | 2016-06-30 | 2016-06-30 | 一种人脸图像的合成方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106156730A true CN106156730A (zh) | 2016-11-23 |
CN106156730B CN106156730B (zh) | 2019-03-15 |
Family
ID=57350875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610514078.4A Active CN106156730B (zh) | 2016-06-30 | 2016-06-30 | 一种人脸图像的合成方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106156730B (zh) |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909892A (zh) * | 2017-01-24 | 2017-06-30 | 珠海市魅族科技有限公司 | 一种图像处理方法和系统 |
CN107038715A (zh) * | 2017-03-21 | 2017-08-11 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及装置 |
CN107424138A (zh) * | 2017-03-29 | 2017-12-01 | 广州市顺潮广告有限公司 | 基于云端服务器的图像融合方法与计算机存储介质 |
CN107507217A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
CN107564084A (zh) * | 2017-08-24 | 2018-01-09 | 腾讯科技(深圳)有限公司 | 一种动图合成方法、装置及存储设备 |
CN107578393A (zh) * | 2017-09-26 | 2018-01-12 | 成都国翼电子技术有限公司 | 一种基于人工交互的航拍图像亮度调节方法 |
CN107633499A (zh) * | 2017-09-27 | 2018-01-26 | 广东欧珀移动通信有限公司 | 图像处理方法及相关产品 |
CN107993216A (zh) * | 2017-11-22 | 2018-05-04 | 腾讯科技(深圳)有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
CN108124488A (zh) * | 2017-12-12 | 2018-06-05 | 福建联迪商用设备有限公司 | 一种基于人脸和声纹的支付认证方法及终端 |
CN108211241A (zh) * | 2017-12-27 | 2018-06-29 | 复旦大学附属华山医院 | 一种基于镜像视觉反馈的面部肌肉康复训练系统 |
CN108401458A (zh) * | 2017-12-12 | 2018-08-14 | 福建联迪商用设备有限公司 | 一种基于人脸和心电图的支付认证方法及终端 |
CN108648142A (zh) * | 2018-05-21 | 2018-10-12 | 北京微播视界科技有限公司 | 图像处理方法及装置 |
CN108682030A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 脸皮替换方法、装置及计算机设备 |
CN109191410A (zh) * | 2018-08-06 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 一种人脸图像融合方法、装置及存储介质 |
CN109461124A (zh) * | 2018-09-21 | 2019-03-12 | 维沃移动通信(杭州)有限公司 | 一种图像处理方法及终端设备 |
CN109741438A (zh) * | 2018-11-23 | 2019-05-10 | 重庆灵翎互娱科技有限公司 | 三维人脸建模方法、装置、设备及介质 |
CN109784850A (zh) * | 2019-01-08 | 2019-05-21 | 腾讯科技(深圳)有限公司 | 提示信息处理方法、装置、计算机设备和存储介质 |
CN109784157A (zh) * | 2018-12-11 | 2019-05-21 | 口碑(上海)信息技术有限公司 | 一种图像处理方法、装置及系统 |
CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
CN109937434A (zh) * | 2017-10-18 | 2019-06-25 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端和存储介质 |
CN109952594A (zh) * | 2017-10-18 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端及存储介质 |
CN110211030A (zh) * | 2019-06-04 | 2019-09-06 | 北京字节跳动网络技术有限公司 | 图像生成方法和装置 |
CN110223260A (zh) * | 2019-06-19 | 2019-09-10 | 安徽变脸智能技术有限公司 | 一种人脸自动磨皮的图像处理方法 |
CN110232730A (zh) * | 2019-06-03 | 2019-09-13 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
CN110276809A (zh) * | 2018-03-15 | 2019-09-24 | 深圳市紫石文化传播有限公司 | 用于人脸图像处理的方法和装置 |
CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
CN111652792A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 图像的局部处理、直播方法、装置、设备和存储介质 |
CN111836058A (zh) * | 2019-04-22 | 2020-10-27 | 腾讯科技(深圳)有限公司 | 用于实时视频播放方法、装置、设备以及存储介质 |
CN111833416A (zh) * | 2020-07-23 | 2020-10-27 | 深圳传音控股股份有限公司 | 图像处理方法、终端设备及存储介质 |
CN112561822A (zh) * | 2020-12-17 | 2021-03-26 | 苏州科达科技股份有限公司 | 美颜方法、装置、电子设备及存储介质 |
CN112734682A (zh) * | 2020-12-31 | 2021-04-30 | 杭州艾芯智能科技有限公司 | 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质 |
CN113160099A (zh) * | 2021-03-18 | 2021-07-23 | 北京达佳互联信息技术有限公司 | 人脸融合方法、装置、电子设备、存储介质及程序产品 |
WO2022135490A1 (zh) * | 2020-12-25 | 2022-06-30 | 百果园技术(新加坡)有限公司 | 一种人脸图像合成方法、系统、电子设备及存储介质 |
CN114764927A (zh) * | 2020-12-31 | 2022-07-19 | 合肥君正科技有限公司 | 一种分区域增强的人脸逆光图片的制作方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101000688A (zh) * | 2007-01-15 | 2007-07-18 | 浙江大学 | 多张人脸照片自动合成方法 |
CN101008981A (zh) * | 2007-01-26 | 2007-08-01 | 浙江大学 | 人脸图像合成中虚影的自动消除方法 |
CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
CN102486868A (zh) * | 2010-12-06 | 2012-06-06 | 华南理工大学 | 一种基于平均脸的美丽人脸合成方法 |
CN102567716A (zh) * | 2011-12-19 | 2012-07-11 | 中山爱科数字科技股份有限公司 | 一种人脸合成系统及实现方法 |
CN105184249A (zh) * | 2015-08-28 | 2015-12-23 | 百度在线网络技术(北京)有限公司 | 用于人脸图像处理的方法和装置 |
-
2016
- 2016-06-30 CN CN201610514078.4A patent/CN106156730B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101000688A (zh) * | 2007-01-15 | 2007-07-18 | 浙江大学 | 多张人脸照片自动合成方法 |
CN101008981A (zh) * | 2007-01-26 | 2007-08-01 | 浙江大学 | 人脸图像合成中虚影的自动消除方法 |
CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
CN102486868A (zh) * | 2010-12-06 | 2012-06-06 | 华南理工大学 | 一种基于平均脸的美丽人脸合成方法 |
CN102567716A (zh) * | 2011-12-19 | 2012-07-11 | 中山爱科数字科技股份有限公司 | 一种人脸合成系统及实现方法 |
CN105184249A (zh) * | 2015-08-28 | 2015-12-23 | 百度在线网络技术(北京)有限公司 | 用于人脸图像处理的方法和装置 |
Non-Patent Citations (5)
Title |
---|
LEI ZHANG 等: "Face Synthesis and Recognition from a Single Image under Arbitrary Unknown Lighting using a Spherical Harmonic Basis Morphable Model", 《IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION》 * |
晏洁 等: "基于一般人脸模型修改的特定人脸合成技术", 《计算机辅助设计与图形学学报》 * |
杜成 等: "多姿态人脸图像合成", 《光电子·激光》 * |
赵林 等: "正面人脸图像合成方法综述", 《中国图像图形学报》 * |
金城 等: "基于主动外观模型的人脸合成技术", 《浙江大学学报(工学版)》 * |
Cited By (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909892A (zh) * | 2017-01-24 | 2017-06-30 | 珠海市魅族科技有限公司 | 一种图像处理方法和系统 |
CN107038715B (zh) * | 2017-03-21 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及装置 |
CN107038715A (zh) * | 2017-03-21 | 2017-08-11 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及装置 |
CN107424138A (zh) * | 2017-03-29 | 2017-12-01 | 广州市顺潮广告有限公司 | 基于云端服务器的图像融合方法与计算机存储介质 |
CN107507217A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
CN107507217B (zh) * | 2017-08-17 | 2020-10-16 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
CN107564084A (zh) * | 2017-08-24 | 2018-01-09 | 腾讯科技(深圳)有限公司 | 一种动图合成方法、装置及存储设备 |
CN107564084B (zh) * | 2017-08-24 | 2022-07-01 | 腾讯科技(深圳)有限公司 | 一种动图合成方法、装置及存储设备 |
CN107578393B (zh) * | 2017-09-26 | 2021-12-10 | 成都国翼电子技术有限公司 | 一种基于人工交互的航拍图像亮度调节方法 |
CN107578393A (zh) * | 2017-09-26 | 2018-01-12 | 成都国翼电子技术有限公司 | 一种基于人工交互的航拍图像亮度调节方法 |
CN107633499A (zh) * | 2017-09-27 | 2018-01-26 | 广东欧珀移动通信有限公司 | 图像处理方法及相关产品 |
CN107633499B (zh) * | 2017-09-27 | 2020-09-01 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
CN109952594B (zh) * | 2017-10-18 | 2022-01-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端及存储介质 |
US11120535B2 (en) | 2017-10-18 | 2021-09-14 | Tencent Technology (Shenzhen) Company Limited | Image processing method, apparatus, terminal, and storage medium |
US11043011B2 (en) | 2017-10-18 | 2021-06-22 | Tencent Technology (Shenzhen) Company Limited | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects |
CN109937434A (zh) * | 2017-10-18 | 2019-06-25 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端和存储介质 |
CN109952594A (zh) * | 2017-10-18 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端及存储介质 |
CN107993216A (zh) * | 2017-11-22 | 2018-05-04 | 腾讯科技(深圳)有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
CN107993216B (zh) * | 2017-11-22 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
CN108401458A (zh) * | 2017-12-12 | 2018-08-14 | 福建联迪商用设备有限公司 | 一种基于人脸和心电图的支付认证方法及终端 |
WO2019113765A1 (zh) * | 2017-12-12 | 2019-06-20 | 福建联迪商用设备有限公司 | 一种基于人脸和心电图的支付认证方法及终端 |
CN108124488A (zh) * | 2017-12-12 | 2018-06-05 | 福建联迪商用设备有限公司 | 一种基于人脸和声纹的支付认证方法及终端 |
CN108211241A (zh) * | 2017-12-27 | 2018-06-29 | 复旦大学附属华山医院 | 一种基于镜像视觉反馈的面部肌肉康复训练系统 |
CN110276809A (zh) * | 2018-03-15 | 2019-09-24 | 深圳市紫石文化传播有限公司 | 用于人脸图像处理的方法和装置 |
CN108648142A (zh) * | 2018-05-21 | 2018-10-12 | 北京微播视界科技有限公司 | 图像处理方法及装置 |
CN108682030A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 脸皮替换方法、装置及计算机设备 |
CN109191410B (zh) * | 2018-08-06 | 2022-12-13 | 腾讯科技(深圳)有限公司 | 一种人脸图像融合方法、装置及存储介质 |
CN109191410A (zh) * | 2018-08-06 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 一种人脸图像融合方法、装置及存储介质 |
CN109461124A (zh) * | 2018-09-21 | 2019-03-12 | 维沃移动通信(杭州)有限公司 | 一种图像处理方法及终端设备 |
CN109741438A (zh) * | 2018-11-23 | 2019-05-10 | 重庆灵翎互娱科技有限公司 | 三维人脸建模方法、装置、设备及介质 |
CN109784157A (zh) * | 2018-12-11 | 2019-05-21 | 口碑(上海)信息技术有限公司 | 一种图像处理方法、装置及系统 |
CN109784850A (zh) * | 2019-01-08 | 2019-05-21 | 腾讯科技(深圳)有限公司 | 提示信息处理方法、装置、计算机设备和存储介质 |
CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
CN109859098B (zh) * | 2019-01-15 | 2022-11-22 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
CN111836058A (zh) * | 2019-04-22 | 2020-10-27 | 腾讯科技(深圳)有限公司 | 用于实时视频播放方法、装置、设备以及存储介质 |
CN111836058B (zh) * | 2019-04-22 | 2023-02-24 | 腾讯科技(深圳)有限公司 | 用于实时视频播放方法、装置、设备以及存储介质 |
CN110232730B (zh) * | 2019-06-03 | 2024-01-19 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
CN110232730A (zh) * | 2019-06-03 | 2019-09-13 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
CN110211030B (zh) * | 2019-06-04 | 2023-10-17 | 北京字节跳动网络技术有限公司 | 图像生成方法和装置 |
CN110211030A (zh) * | 2019-06-04 | 2019-09-06 | 北京字节跳动网络技术有限公司 | 图像生成方法和装置 |
CN110223260A (zh) * | 2019-06-19 | 2019-09-10 | 安徽变脸智能技术有限公司 | 一种人脸自动磨皮的图像处理方法 |
CN111652792A (zh) * | 2019-07-05 | 2020-09-11 | 广州虎牙科技有限公司 | 图像的局部处理、直播方法、装置、设备和存储介质 |
CN111652792B (zh) * | 2019-07-05 | 2024-03-05 | 广州虎牙科技有限公司 | 图像的局部处理、直播方法、装置、设备和存储介质 |
CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
CN111833416A (zh) * | 2020-07-23 | 2020-10-27 | 深圳传音控股股份有限公司 | 图像处理方法、终端设备及存储介质 |
CN112561822A (zh) * | 2020-12-17 | 2021-03-26 | 苏州科达科技股份有限公司 | 美颜方法、装置、电子设备及存储介质 |
CN112561822B (zh) * | 2020-12-17 | 2022-07-01 | 苏州科达科技股份有限公司 | 美颜方法、装置、电子设备及存储介质 |
WO2022135490A1 (zh) * | 2020-12-25 | 2022-06-30 | 百果园技术(新加坡)有限公司 | 一种人脸图像合成方法、系统、电子设备及存储介质 |
CN112734682A (zh) * | 2020-12-31 | 2021-04-30 | 杭州艾芯智能科技有限公司 | 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质 |
CN112734682B (zh) * | 2020-12-31 | 2023-08-01 | 杭州芯炬视人工智能科技有限公司 | 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质 |
CN114764927A (zh) * | 2020-12-31 | 2022-07-19 | 合肥君正科技有限公司 | 一种分区域增强的人脸逆光图片的制作方法 |
CN114764927B (zh) * | 2020-12-31 | 2024-05-28 | 合肥君正科技有限公司 | 一种分区域增强的人脸逆光图片的制作方法 |
CN113160099A (zh) * | 2021-03-18 | 2021-07-23 | 北京达佳互联信息技术有限公司 | 人脸融合方法、装置、电子设备、存储介质及程序产品 |
CN113160099B (zh) * | 2021-03-18 | 2023-12-26 | 北京达佳互联信息技术有限公司 | 人脸融合方法、装置、电子设备、存储介质及程序产品 |
WO2022193573A1 (zh) * | 2021-03-18 | 2022-09-22 | 北京达佳互联信息技术有限公司 | 人脸融合方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106156730B (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106156730A (zh) | 一种人脸图像的合成方法和装置 | |
CN110189340B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
CN110929651B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111985265B (zh) | 图像处理方法和装置 | |
JP6257848B1 (ja) | コンボリューションニューラルネットワークモデルの訓練方法及び装置 | |
US10489635B2 (en) | Method for detecting skin region and apparatus for detecting skin region | |
CN107767333B (zh) | 美颜拍照的方法、设备及计算机可存储介质 | |
CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
CN107835367A (zh) | 一种图像处理方法、装置及移动终端 | |
CN110163806A (zh) | 一种图像处理方法、装置以及存储介质 | |
CN108898068A (zh) | 一种人脸图像的处理方法和装置以及计算机可读存储介质 | |
CN106558025A (zh) | 一种图片的处理方法和装置 | |
CN107256555A (zh) | 一种图像处理方法、装置及存储介质 | |
CN110263617B (zh) | 三维人脸模型获取方法及装置 | |
CN107705251A (zh) | 图片拼接方法、移动终端及计算机可读存储介质 | |
CN108195390A (zh) | 一种导航方法、装置及移动终端 | |
CN106204423A (zh) | 一种基于增强现实的图片调整方法、装置及终端 | |
CN108269230A (zh) | 证件照生成方法、移动终端及计算机可读存储介质 | |
CN108170817A (zh) | 照片主体的演变视频获取方法、装置及可读存储介质 | |
CN108377339A (zh) | 一种拍照方法及拍照装置 | |
CN108986026A (zh) | 一种图片拼接方法、终端及计算机可读存储介质 | |
CN107493426A (zh) | 一种信息采集方法、设备和计算机可读存储介质 | |
CN109145809A (zh) | 一种记谱处理方法和装置以及计算机可读存储介质 | |
CN107464290A (zh) | 三维信息展示方法、装置和移动终端 | |
CN110209245A (zh) | 人脸识别方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231228 Address after: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd. Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |