CN114359030B - 一种人脸逆光图片的合成方法 - Google Patents

一种人脸逆光图片的合成方法 Download PDF

Info

Publication number
CN114359030B
CN114359030B CN202011048895.8A CN202011048895A CN114359030B CN 114359030 B CN114359030 B CN 114359030B CN 202011048895 A CN202011048895 A CN 202011048895A CN 114359030 B CN114359030 B CN 114359030B
Authority
CN
China
Prior art keywords
face
image
mask
point
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011048895.8A
Other languages
English (en)
Other versions
CN114359030A (zh
Inventor
马艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Ingenic Technology Co ltd
Original Assignee
Hefei Ingenic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Ingenic Technology Co ltd filed Critical Hefei Ingenic Technology Co ltd
Priority to CN202011048895.8A priority Critical patent/CN114359030B/zh
Publication of CN114359030A publication Critical patent/CN114359030A/zh
Application granted granted Critical
Publication of CN114359030B publication Critical patent/CN114359030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种人脸逆光图片的合成方法,包括:S1图像预处理;S2人脸特征点检测:S2.1将正常人脸图像送入人脸检测模型,检测出人脸轮廓点;S2.2将背景图像输入人脸检测模型,检测出背景人脸轮廓点;S3生成封闭人脸轮廓线;S4掩膜构造:S4.1对图像模板M运用泛洪填充算法,生成人脸区域掩膜mask0;S4.2根据对应轮廓点,求解两张图的单应性矩阵;对mask0进行单应性变换;得到变换后掩膜mask1;对人脸图像进行单应性变换;得到变换后人脸图像;S4.3对掩膜mask1取反操作,生成背景区域掩膜mask2;S5目标区域提取:S5.1将变换的人脸图像与掩膜mask1掩膜运算,提取人脸区域得到图像I1;S5.2将背景图像与掩膜mask2掩膜运算,提取逆光背景区域得到图像I2;S6图像拼接:将得到的图像像素加运算,得到拼接图像。

Description

一种人脸逆光图片的合成方法
技术领域
本发明涉及图像处理技术领域,特别涉及一种人脸逆光图片的合成方法。
背景技术
现有的人脸识别技术,其本质上是建立一个人脸识别模型,基于该模型提取人脸部的特征向量,通过将新图片(“新人物”)和语料库中的特征向量进行匹配,从而判断“新人物”身份信息。基于深度学习的人脸识别模型,需要大量的人脸数据集来不断训练模型,从而使模型提取的特征向量能更好的表征人脸特征。而且训练人脸识别模型的数据集不仅要求体量大,还需要提供准确的标签,并可以兼容各种应用场景(即非限制场景下的人脸图片)。
限制场景是指某一特定环境(差不多的背景,差不多的光照),比如一个证件照的数据集就是在基本相同的环境下采集的。而非限制场景则与之相反,是指不限制某一特定场景。因此,为了使模型具有更好的识别泛化能力,训练集中的场景需要多样化。常规的训练集增强方法一般包括:图像(亮度、色度、饱和度)增强,图像翻转、旋转、缩放、裁剪、平移,添加高斯噪声等;这些数据增强方法一方面增加了训练的数据量,提高了模型的泛化能力;另一方面增加了噪声数据,提升了模型的鲁棒性。
目前网络上公开的大型人脸训练集基本没有或包括很少逆光环境下采集的人脸,而且通过常规的数据增强无法产生逆光环境下采集的人脸图像效果,如果单纯依靠人力采集逆光人脸数据集,将耗费大量人力财力。
此外,常用的技术术语包括:
1.泛洪填充算法又称洪水填充算法,其基本原理就是从一个像素点出发,以此向周边的像素点扩充着色,直到图形的边界。它是很多图形绘制软件中常用的填充算法,最熟悉就是windows paint的油漆桶功能。
2.单应性矩阵:在计算机视觉中,平面的单应性被定义为一个平面到另外一个平面的投影映射。假设有两张不同角度拍摄的同一场景的图像,图1中x1对应世界坐标系中的X,其中x1=KR1X,图2中x2也对应世界坐标系中的X,其中那么x2认为是x1通过一个单应性变换得到,其中/>就是对应的单应性矩阵。
3.掩膜运算:掩膜是由0和1组成的一个二进制图像;当在某一功能中应用掩模时,1值区域被处理,被屏蔽的0值区域不被包括在计算中。本专利中通过图像掩膜运算提取感兴趣区,用预先制作的感兴趣区掩膜与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0。
发明内容
为了解决上述问题,本方法目的在于:在一张正常光照的人脸图像中提取人脸部分区域像素,在一张人脸逆光图像中提取逆光背景部分区域像素,将两个目标区域的像素合成一张新的人脸逆光图像。
具体地,本发明提供一种人脸逆光图片的合成方法,所述方法包括以下步骤:
S1.图像预处理:
S1.1在背景图像和人脸图像的原图中将对应的完整人脸裁剪成宽高相等的图像;
S1.2对步骤S1.1中裁剪好的人脸图像进行图像增强,使人脸区域变暗;
S2.人脸特征点检测:
S2.1将正常人脸图像送入人脸检测模型,检测出人脸轮廓点;
S2.2将背景图像输入人脸检测模型,检测出背景人脸轮廓点;
S3.生成封闭人脸轮廓线:
创建一个与人脸图像相同大小的全黑图像模板用M表示,在该模板上按步骤S2.1中检测的人脸最外围的轮廓点进行逐点连接,这样就形成了一个闭合的人脸轮廓线用line表示,line包围的内部就是一个封闭区域用area表示;
S4.掩膜构造:
S4.1对步骤S3中创建的图像模板M运用泛洪填充算法,起始填充点选择包含在area内的点,填充白色像素值255,即可生成人脸区域掩膜用mask0表示;
S4.2根据步骤S2.1、S2.2中的对应轮廓点,求解两张图的单应性矩阵;对mask0进行单应性变换;得到变换后掩膜mask1;对人脸图像进行单应性变换;得到变换后人脸图像;
S4.3对步骤S4.2中的掩膜mask1进行取反操作,即可生成背景区域掩膜mask2
S5.目标区域提取:
S5.1将步骤S4.2中变换的人脸图像与掩膜mask1进行掩膜运算,提取人脸区域,得到图像用I1表示;
S5.2将背景图像与掩膜mask2进行掩膜运算,提取逆光背景区域,得到图像用I2表示;
S6.图像拼接:
将步骤S5.1和步骤S5.2得到的图像直接进行像素加运算,即可得到两张图像的拼接图像。
所述的背景图像为逆光人脸图像。
所述的步骤S2.2中采用72点人脸特征点检测模型检测出人脸的轮廓点,p0~p71具体分布为:脸部边缘p0~p12,左眼p13~p21,左眉p22~p29,右眼p30~p38,右眉p39~p46,鼻p47~p57,上嘴唇的上边界p58~p62,下嘴唇的下边界p63~p65,上嘴唇的下边界p66~p68,下嘴唇的上边界p69~p71
所述的步骤S3中检测的人脸最外围的轮廓点进行逐点连接是沿着脸部边缘以及左右眉毛上半部分进行。
所述的逐点连接的连接顺序为:
(1)先分段将各个外围特征部分逐点连接成折线:脸部边缘折线左边眉毛上边缘折线/>右边眉毛上边缘折线
(2)再将三个曲折连线的端点进行连接:左脸边缘端点与左眉折线左端点连接左眉折线右端点与右眉折线左端点连接/>右脸边缘端点与右眉折线右端点连接/>
所述步骤S4.1中所述的起始填充点选择包含在area内的点是人脸鼻尖对应特征点p57或其他包含在area内的点。
所述步骤S6中由于步骤S5中掩膜运算只是分别对人脸图像、背景图像提取人脸区域、背景区域,而各图像其他区域像素为0,因此只需要将这两个互补的区域进行加运算,即可得到一张完整的合成图片。
由此,本申请的优势在于:
1.将人脸图像和背景图像假设为不同视角拍摄的图像,通过对应72点特征点求解最佳的单应性矩阵,对人脸图像进行单应性变换,可将人脸图像转换为背景图像同一视角,使得两张图的人脸区域能够很好的匹配;
2.人脸图像在预处理中通过图像增强来使图像整体变暗,这是模拟逆光环境中人脸区域较暗而背景较亮这种场景。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。
图1是实施例的人脸特征点及人脸轮廓线的示意图。
图2是实施例的逆光人脸合成方法的示意图。
图3是实施例的掩膜构造过程的示意图。
图4是本发明方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点,现结合附图对本发明进行进一步的详细说明。
如图4所示,本发明的一种人脸逆光图片的合成方法,所述方法包括以下步骤:
S1.图像预处理:
S1.1在背景图像和人脸图像的原图中将对应的完整人脸裁剪成宽高相等的图像;
S1.2对步骤S1.1中裁剪好的人脸图像进行图像增强,使人脸区域变暗;
S2.人脸特征点检测:
S2.1将正常人脸图像送入人脸检测模型,检测出人脸轮廓点;
S2.2将背景图像输入人脸检测模型,检测出背景人脸轮廓点;
S3.生成封闭人脸轮廓线:
创建一个与人脸图像相同大小的全黑图像模板用M表示,在该模板上按步骤S2.1中检测的人脸最外围的轮廓点进行逐点连接,这样就形成了一个闭合的人脸轮廓线用line表示,line包围的内部就是一个封闭区域用area表示;
S4.掩膜构造:
S4.1对步骤S3.1中创建的图像模板M运用泛洪填充算法,起始填充点选择包含在area内的点,填充白色像素值255,即可生成人脸区域掩膜用mask0表示;
S4.2根据步骤S2.1、S2.2中的对应轮廓点,求解两张图的单应性矩阵;对mask0进行单应性变换;得到变换后掩膜mask1;对人脸图像进行单应性变换;得到变换后人脸图像;
S4.3对步骤S4.2中的掩膜mask1进行取反操作,即可生成背景区域掩膜mask2
S5.目标区域提取:
S5.1将步骤S4.2中变换的人脸图像与掩膜mask1进行掩膜运算,提取人脸区域,得到图像用I1表示;
S5.2将背景图像与掩膜mask2进行掩膜运算,提取逆光背景区域,得到图像用I2表示;
S6.图像拼接:
将步骤S5.1和步骤S5.2得到的图像直接进行像素加运算,即可得到两张图像的拼接图像。
具体地参见图1至图3所示,本申请的具体实施例,图2为该方法实现示意图,图3为该方法中掩膜的构造方法;现将该方法的具体实施步骤陈述如下:
步骤1.图像预处理
1.1在背景图像(逆光人脸图像)和人脸图像的原图中将对应的完整人脸裁剪成宽高相等的图像;
1.2对步骤1.1中裁剪好的人脸图像进行图像增强,使人脸区域变暗;
步骤2.人脸特征点检测
2.1将正常人脸图像送入人脸检测模型,检测出人脸轮廓点;
2.2将背景图像(逆光人脸图像)输入人脸检测模型,检测出背景人脸轮廓点;
其中图1为采用72点人脸特征点检测模型检测出人脸的轮廓点,p0~p71具体分布为:脸部边缘p0~p12,左眼p13~p21,左眉p22~p29,右眼p30~p38,右眉p39~p46,鼻p47~p57,上嘴唇的上边界p58~p62,下嘴唇的下边界p63~p65,上嘴唇的下边界p66~p68,下嘴唇的上边界p69~p71
步骤3.生成封闭人脸轮廓线
创建一个与人脸图像相同大小的全黑图像模板M,在该模板上按步骤2.1中检测的人脸最外围的轮廓点(脸部边缘以及左右眉毛上半部分)进行逐点连接,具体的连接顺序为:
(1)先分段将各个外围特征部分逐点连接成折线:脸部边缘折线左边眉毛上边缘折线/>右边眉毛上边缘折线
(2)再将三个曲折连线的端点进行连接:左脸边缘端点与左眉折线左端点连接左眉折线右端点与右眉折线左端点连接/>右脸边缘端点与右眉折线右端点连接/>
这样就形成了一个闭合的人脸轮廓线line(如附图1中人脸轮廓线所示),line包围的内部就是一个封闭区域area;
步骤4.掩膜构造
4.1对步骤3中创建的图像模板M运用泛洪填充算法,起始填充点选择人脸鼻尖对应特征点p57或其他包含在area内的点,填充白色像素值255,即可生成人脸区域掩膜mask0
4.2根据步骤2.1、2.2中的对应轮廓点,求解两张图的单应性矩阵;对mask0进行单应性变换;得到变换后mask1;对人脸图像进行单应性变换;得到变换后人脸图像;
4.3对步骤4.2中的掩膜mask1进行取反操作,即可生成背景区域掩膜mask2
步骤5.目标区域提取
5.1将步骤4.2中变换的人脸图像与掩膜mask1进行掩膜运算,提取人脸区域,得到图像I1
5.2将背景图像与掩膜mask2进行掩膜运算,提取逆光背景区域,得到图像I2
步骤6.图像拼接
将步骤5.1和步骤5.2得到的图像直接进行像素加运算,即可得到两张图像的拼接图像。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种人脸逆光图片的合成方法,其特征在于,所述方法包括以下步骤:
S1.图像预处理:
S1.1在背景图像和人脸图像的原图中将对应的完整人脸裁剪成宽高相等的图像;
S1.2对步骤S1.1中裁剪好的人脸图像进行图像增强,使人脸区域变暗;
S2.人脸特征点检测:
S2.1将正常人脸图像送入人脸检测模型,检测出人脸轮廓点;
S2.2将背景图像输入人脸检测模型,检测出背景人脸轮廓点;
S3.生成封闭人脸轮廓线:
创建一个与人脸图像相同大小的全黑图像模板用M表示,在该模板上按步骤S2.1中检测的人脸最外围的轮廓点进行逐点连接,这样就形成了一个闭合的人脸轮廓线用line表示,line包围的内部就是一个封闭区域用area表示;
S4.掩膜构造:
S4.1对步骤S3中创建的图像模板M运用泛洪填充算法,起始填充点选择包含在area内的点,填充白色像素值255,即可生成人脸区域掩膜用mask0表示;
S4.2根据步骤S2.1、S2.2中的对应轮廓点,求解两张图的单应性矩阵;对mask0进行单应性变换;得到变换后掩膜mask1;对人脸图像进行单应性变换;得到变换后人脸图像;
S4.3对步骤S4.2中的掩膜mask1进行取反操作,即可生成背景区域掩膜mask2
S5.目标区域提取:
S5.1将步骤S4.2中变换的人脸图像与掩膜mask1进行掩膜运算,提取人脸区域,得到图像用I1表示;
S5.2将背景图像与掩膜mask2进行掩膜运算,提取逆光背景区域,得到图像用I2表示;
S6.图像拼接:
将步骤S5.1和步骤S5.2得到的图像直接进行像素加运算,即可得到两张图像的拼接图像。
2.根据权利要求1所述的一种人脸逆光图片的合成方法,其特征在于,所述的背景图像为逆光人脸图像。
3.根据权利要求1所述的一种人脸逆光图片的合成方法,其特征在于,所述的步骤S2.2中采用72点人脸特征点检测模型检测出人脸的轮廓点,p0~p71具体分布为:脸部边缘p0~p12,左眼p13~p21,左眉p22~p29,右眼p30~p38,右眉p39~p46,鼻p47~p57,上嘴唇的上边界p58~p62,下嘴唇的下边界p63~p65,上嘴唇的下边界p66~p68,下嘴唇的上边界p69~p71
4.根据权利要求1所述的一种人脸逆光图片的合成方法,其特征在于,所述的步骤S3中检测的人脸最外围的轮廓点进行逐点连接是沿着脸部边缘以及左右眉毛上半部分进行。
5.根据权利要求3所述的一种人脸逆光图片的合成方法,其特征在于,所述的逐点连接的连接顺序为:
(1)先分段将各个外围特征部分逐点连接成折线:脸部边缘折线左边眉毛上边缘折线/>右边眉毛上边缘折线/>
(2)再将三个曲折连线的端点进行连接:左脸边缘端点与左眉折线左端点连接左眉折线右端点与右眉折线左端点连接/>右脸边缘端点与右眉折线右端点连接/>
6.根据权利要求1所述的一种人脸逆光图片的合成方法,其特征在于,所述步骤S4.1中所述的起始填充点选择包含在area内的点是人脸鼻尖对应特征点p57或其他包含在area内的点。
7.根据权利要求1所述的一种人脸逆光图片的合成方法,其特征在于,所述步骤S6中由于步骤S5中掩膜运算只是分别对人脸图像、背景图像提取人脸区域、背景区域,而各图像其他区域像素为0,因此只需要将这两个互补的区域进行加运算,即可得到一张完整的合成图片。
CN202011048895.8A 2020-09-29 2020-09-29 一种人脸逆光图片的合成方法 Active CN114359030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011048895.8A CN114359030B (zh) 2020-09-29 2020-09-29 一种人脸逆光图片的合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011048895.8A CN114359030B (zh) 2020-09-29 2020-09-29 一种人脸逆光图片的合成方法

Publications (2)

Publication Number Publication Date
CN114359030A CN114359030A (zh) 2022-04-15
CN114359030B true CN114359030B (zh) 2024-05-03

Family

ID=81089902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011048895.8A Active CN114359030B (zh) 2020-09-29 2020-09-29 一种人脸逆光图片的合成方法

Country Status (1)

Country Link
CN (1) CN114359030B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631118A (zh) * 2022-08-22 2023-01-20 天翼数字生活科技有限公司 一种图像数据增强方法及装置
CN115938023B (zh) * 2023-03-15 2023-05-02 深圳市皇家金盾智能科技有限公司 智能门锁人脸识别解锁方法、装置、介质及智能门锁

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067218A (ja) * 1998-08-21 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 似顔絵作成装置及び似顔絵作成方法並びにこの方法を記録した記録媒体
JP2011223173A (ja) * 2010-04-06 2011-11-04 Olympus Imaging Corp 撮影装置、顔画像合成装置、顔画像合成方法、およびプログラム
CN104038704A (zh) * 2014-06-12 2014-09-10 小米科技有限责任公司 逆光人像场景的拍摄处理方法及装置
WO2016098943A1 (ko) * 2014-12-18 2016-06-23 재단법인 다차원 스마트 아이티 융합시스템 연구단 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
CN107316032A (zh) * 2017-07-06 2017-11-03 中国医学科学院北京协和医院 一种建立人脸图像识别器方法
CN108171206A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN108875594A (zh) * 2018-05-28 2018-11-23 腾讯科技(深圳)有限公司 一种人脸图像的处理方法、装置以及存储介质
CN109522853A (zh) * 2018-11-22 2019-03-26 湖南众智君赢科技有限公司 面向监控视频的人脸检测与搜索方法
CN110782419A (zh) * 2019-10-18 2020-02-11 杭州趣维科技有限公司 一种基于图形处理器的三维人脸融合方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067218A (ja) * 1998-08-21 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 似顔絵作成装置及び似顔絵作成方法並びにこの方法を記録した記録媒体
JP2011223173A (ja) * 2010-04-06 2011-11-04 Olympus Imaging Corp 撮影装置、顔画像合成装置、顔画像合成方法、およびプログラム
CN104038704A (zh) * 2014-06-12 2014-09-10 小米科技有限责任公司 逆光人像场景的拍摄处理方法及装置
WO2016098943A1 (ko) * 2014-12-18 2016-06-23 재단법인 다차원 스마트 아이티 융합시스템 연구단 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
CN107316032A (zh) * 2017-07-06 2017-11-03 中国医学科学院北京协和医院 一种建立人脸图像识别器方法
CN108171206A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN108875594A (zh) * 2018-05-28 2018-11-23 腾讯科技(深圳)有限公司 一种人脸图像的处理方法、装置以及存储介质
CN109522853A (zh) * 2018-11-22 2019-03-26 湖南众智君赢科技有限公司 面向监控视频的人脸检测与搜索方法
CN110782419A (zh) * 2019-10-18 2020-02-11 杭州趣维科技有限公司 一种基于图形处理器的三维人脸融合方法及系统

Also Published As

Publication number Publication date
CN114359030A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
CN108229279B (zh) 人脸图像处理方法、装置和电子设备
US10599914B2 (en) Method and apparatus for human face image processing
US8638993B2 (en) Segmenting human hairs and faces
US8698796B2 (en) Image processing apparatus, image processing method, and program
CN110490896B (zh) 一种视频帧图像处理方法和装置
Setlur et al. Retargeting images and video for preserving information saliency
CN111046763B (zh) 一种人像卡通化的方法和装置
US20130120393A1 (en) Methods and Apparatus for Marker-Based Stylistic Rendering
CN114359030B (zh) 一种人脸逆光图片的合成方法
Phimoltares et al. Face detection and facial feature localization without considering the appearance of image context
US20210035336A1 (en) Augmented reality display method of simulated lip makeup
CN102024156A (zh) 彩色人脸图像中的唇部区域定位方法
Mould et al. Developing and applying a benchmark for evaluating image stylization
Chang et al. Example-based color stylization based on categorical perception
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
CN111429416B (zh) 一种人脸色素斑识别方法、装置及电子设备
CN116310113A (zh) 风格数字人生成方法、装置、设备和可读存储介质
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
US20220157030A1 (en) High Quality AR Cosmetics Simulation via Image Filtering Techniques
CN112836467B (zh) 一种图像处理方法及装置
CN114596213A (zh) 一种图像处理方法及装置
CN112488965A (zh) 一种图像处理方法和装置
CN111062862A (zh) 基于颜色的数据增强方法和系统及计算机设备和存储介质
KR102374141B1 (ko) 유연한 가상 피팅 이미지 생성을 위한 의상영역 제거 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant