CN104732506B - 一种基于人脸语义分析的人物照片颜色风格转换方法 - Google Patents
一种基于人脸语义分析的人物照片颜色风格转换方法 Download PDFInfo
- Publication number
- CN104732506B CN104732506B CN201510138193.1A CN201510138193A CN104732506B CN 104732506 B CN104732506 B CN 104732506B CN 201510138193 A CN201510138193 A CN 201510138193A CN 104732506 B CN104732506 B CN 104732506B
- Authority
- CN
- China
- Prior art keywords
- face
- color
- pixel
- source images
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于人脸语义分析的人物照片颜色风格转换方法，包括以下步骤：输入需要被转换风格的源图像和作为风格参照的参考图像；对参考图像和源图像进行人脸检测，并根据检测结果进行抠图，分别得到分离的场景语义信息和人脸细部语义信息；根据参考图像各语义信息的颜色风格，调整源图像中的对应语义信息的颜色风格；将调整后的源图像的各语义信息重新拼合，得到目标图像。本发明将需要被转换风格的源图像和作为风格参照的参考图像的场景语义信息和人脸细部语义信息分离出来，之后进行一一对应的颜色转换，有效保留了源图像的内容，准确获得参考图像的颜色空间分布，使转化后的源图像且具有较强的视觉连贯性。
Description
技术领域
本发明涉及计算机图像处理技术领域，具体涉及一种基于人脸语义分析的人物照片颜色风格转换方法。
背景技术
在日常生活中，随着相机、手机等设备的日益增多，人们拍摄照片也变得更加频繁和方便了。同时，随着社交网络的发展，越来越多的人喜欢利用照片来分享他们的日常生活。但是，由于人们缺乏摄影师的专业技能，所以拍出的照片会存在缺乏层次，曝光不足，色彩饱和度低等问题。为了使照片看起来精致且具有艺术效果，一些图像处理软件被用来处理照片。但对大多数的图像处理软件来说，它们操作复杂，需要具备一定的专业技能才能够使用。同时，目前已有的图像处理软件无法实现将用户的照片按照某张由用户指定的艺术照片风格进行转换。
为了解决这一问题，计算机图形学领域的研究者们对图像颜色风格转换方法进行了探究，以追求最好的颜色风格转换效果，但对于人物照片的颜色风格转换方法则关注甚少，效果一般。
先前工作大多是基于图像颜色统计的方法，主要通过提取两个图像中各种颜色的统计数据，建立特定的映射函数，使得源图像的颜色与参考图像的颜色一致。如色彩自动转换算法，由Reinhard等人首先提出，参见Reinhard E,Ashikhmin M,Gooch B,et al.Colortransfer between images[J].IEEE Computer graphics and applications,21(5),34-41(2001)。
Tai等人把图像颜色分布建模为高斯混合模型，并利用期望最大化解决了区域颜色转换问题。参见Tai Y W,Jia J,Tang C K.Local color transfer via probabilisticsegmentation by expectation–maximization[C].Computer Vision and PatternRecognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,1,747-754(2005)。
Pitié等人提出了颜色自动分级方法，该方法利用一个N维概率分布函数进行转换。参见PitiéF,Kokaram A C,Dahyot R.Automated colour grading using colourdistribution transfer[J].Computer Vision and Image Understanding,107(1),123-137(2007)。
Pouli和Reinhard提出了一种直方图矫形技术，它允许用户选择源图像最佳的匹配目标。参见Pouli T,Reinhard E.Progressive color transfer for images ofarbitrary dynamic range[J].Computers and Graphics,35(1),67-80(2011)。
但在许多情况下，单纯的色彩统计信息并不能充分地描述图像的内容，某些区域可能在映射过程中被错误地着色。
为了避免这样的错误，一些交互方法利用用户指定的色彩笔触，来确保不同图像区域之间的颜色能够被正确的转换，以达到期望的目标。如Luan等人提出了一种用户使用笔触指定源图像和参考图像颜色转换区域的方法。参见Luan Q,Wen F,Xu Y Q.ColorTransfer Brush[C].Pacific Conference on Computer Graphics andApplications.465-468(2007)。
Wen等人用笔触在源图像和参考图像的多个区域间进行颜色转换。参见Wen C L,Hsieh C H,Chen B Y,et al.Example-based Multiple Local Color Transfer byStrokes[C].Computer Graphics Forum.Blackwell Publishing Ltd,27(7),1765-1772(2008)。
An和Pellacini利用非线性约束的参数模型，在笔触定义的图像区域之间进行颜色转换。参见An X,Pellacini F.User-Controllable Color Transfer[C].ComputerGraphics Forum.Blackwell Publishing Ltd,29(2),263-271(2010)。
但是，非专业人员可能很难控制这些笔触。另一个问题是，在进行颜色转换的过程中，没有考虑空间分布特征，这可能会影响视觉的连贯性，甚至失去重要的色彩特征。
利用Alpha混合用于图像拼合，参见Holten D.Hierarchicaledge bundles:Visualization of adjacency relations in hierarchical d ata[J].Visualizationand Computer Graphics,IEEE Transactions on,2006,12(5):741-748。
基于上述两种方法的缺点以及人物照片颜色风格转换的需要，希望能够开发出一种更准确高效且减少人工操作的人物照片颜色风格转换方法。
发明内容
本发明提供了一种基于人脸语义分析的人物照片颜色风格转换方法，转换的过程中，保留了源图像的内容，很好的获得了参考图像的颜色空间分布，具有良好的视觉连贯性，转换过程准确高效且易于操作。
一种基于人脸语义分析的人物照片颜色风格转换方法，包括以下步骤：
(1)输入需要被转换风格的源图像和作为风格参照的参考图像；
(2)对参考图像进行人脸检测，并根据检测结果进行抠图，得到分离的场景语义信息和人脸细部语义信息；
(3)对源图像进行人脸检测，并根据检测结果进行抠图，得到分离的场景语义信息和人脸细部语义信息；
(4)根据参考图像各语义信息的颜色风格，调整源图像中的对应语义信息的颜色风格；
(5)将经过步骤(4)调整的源图像的各语义信息重新拼合，得到目标图像。
本发明中，将人物照片，即需要被转换风格的源图像和作为风格参照的参考图像的场景语义信息和人脸细部语义信息分离出来，之后进行一一对应的颜色转换，有效保留了源图像的内容，准确获得参考图像的颜色空间分布，使转化后的源图像且具有较强的视觉连贯性，提高照片颜色风格转换效果。
其中，场景语义信息包括背景、人像的头发和衣服，人脸细部语义信息包括人像的眼睛、眉毛、嘴巴、牙齿和脸部。
参考图像可以是用户自行选定，为了使用方便，也可以自动生成与原图像相似度高的参考图像，优选的，步骤(1)中，输入的参考图像根据源图像的内容自动生成，具体过程包括以下步骤：
a、建立参考图像数据库；
b、将源图像与参考图像数据库内的图像进行人脸匹配，将与源图像相似度最大的图像作为风格参照的参考图像。
其中作为风格参照的参考图像可以选取一张，为了给用户更多的风格选择，可以选取相似度最大的多张图像供用户选择，并将选择的图片作为最终的作为风格参照的参考图像。
在进行人脸匹配之前需要对源图像和参考图像人脸上的关键点进行检测，以此来获取人脸特征，通过调用Face++提供的API函数进行人脸检测，本发明利用landmark API进行人脸关键点检测，landmark API用于检测给定人脸相应的面部轮廓，五官等关键点位置，包括25点和83点两种模式，为了提高面部检测的精细程度，本发明采用83点模式。
本发明所述的源图像在参考图像数据库中进行人脸匹配的方法如下：利用Face++提供的identify API进行人脸匹配。identify API用于对于一个待查询的人脸，在参考图像数据库中查询与之相似度最大的几张人脸。其主要功能是当给定一张含有人脸的源图像后，程序会在已构建的参考图像数据库的相应分组中，查找出匹配度最大的几张人脸，并返回匹配的相似程度。
为了减小本发明方法的运算效率，优选的，在步骤a建立参考图像数据库时，即对所有参考图像数据库内的图像进行步骤(2)的操作，并将信息储存，在步骤(1)中输入参考图像时，同时得到该参考图像的场景语义信息和人脸细部语义信息。将所有参考图像的场景语义信息和人脸细部语义信息(包括眼睛、眉毛、嘴巴、牙齿、脸部等)预先计算并储存，从而在确认参考图像后就可以得到场景语义信息和人脸细部语义信息，有效提高运算效率。
为了提高参考图像的识别效率，优选的，在步骤a建立参考图像数据库时，利用人脸识别工具，根据人脸特征，将所有图像分组，在步骤b中，先对源图像进行人脸识别，根据源图像的人脸特征，选取具有对应人脸特征的图像组内的图像与源图像进行人脸匹配。
人脸数据需要有效反映出一个人的脸部特征，因此在建立参考图像数据库时考虑了多方面的情况，包括不同的性别、年龄、种族、情绪、脸部姿势、微笑程度、是否配戴眼镜、是否有胡子等等人脸特征。利用这些不同的特征，可以帮助我们得到更佳的匹配效果，同时以此来提高源图像与参考图像的匹配速度，在一些计算受限的移动设备上也可以起到很好的效果。
优选的，步骤(2)和(3)中，根据人脸检测结果，对经检测的图像(源图像或者参考图像)进行抠图操作的具体步骤包括：
A、根据人脸检测，得到各人脸细部特征的关键点；
通过调用landmark API，Face++会将识别出的人脸语义信息以Json格式反馈回来。在返回的Json中，landmark项中保存了人脸上各个部位的关键点，包括眉毛，眼睛，鼻子，嘴巴，脸等细部的关键点，每一个细部位上有多个关键点，用x，y表示这些关键点的位置。
B、将各细部上的关键点连线，得到人脸细部轮廓(背景设置为黑色，连线设置为白色)；
C、先对人脸细部轮廓进行膨胀处理，再生成Trimap图像，得到各轮廓图像的前景、背景和未知区域(前景设置为白色、背景设置为黑色、未知区域设置为灰色)；
D、根据Trimap进行matting抠图；
进行matting抠图的具体步骤如下：
D-1、对各轮廓图像的前景或背景进行小规模的扩展；
D-2、扩展完成后，对剩余的未知区域内的每个像素点P，从像素点P出发，引出m条路径，每个路径之间成360/m的夹角，记录下每条路径经过的路线中首次遇到的前景点或背景点，直到超出图像的边缘，得到m对前景和背景取样点；
为了算法的稳定性，每矩形区域内(矩形区域范围在3×3到9×9之间，区域越小精度越高)，路径的起始角度周期性的改变，这样与像素点P相邻的未知像素的m条路径经过的区域就有着较大的不同，能得到更为有效的结果集。
D-3、将步骤D-2得到的每个像素点P的m对前景和背景取样点带入目标函数(1)，将使得目标函数(1)值最小的一对取样点作为最佳的前景和背景取样点，
Gp(fi,bj)＝Dp(fi,bj)eDAp(fi,bj)eAFp(fi)efFp(bi)eb； (1)
式中：
fi和bj是前景和背景取样点；
Dp(fi,bj)表明使像素点P的n×n邻域内的色彩失真最小化，3≤n≤9；
Fp(fi)和Fp(bi)表明执行空间关联准则，即前景和背景的取样应该尽可能的接近像素点P；
e{D,A,f,b}表明对这些指数中较大的值添加处罚；
Ap(fi,bj)表明计算出的透明度αp值关系着像素点P属于前景的概率，αp的计算公式如下：
式中：
αp表示像素点P的alpha值，即透明度；
Cp表示像素点P的颜色值；
Fi和Bj分别表示任一一对前景点fi和背景点bj的颜色值；
将得到各像素点P的最佳的前景和背景取样点的数据带入公式(2)，计算得到对应像素点P的透明度αp值：
对于步骤D-2中，无法得到m对前景和背景取样点的像素点P，获取最佳的前景和背景取样点以及对应的透明度αp值的方法如下：
对这类像素点P在s×s邻域内，将未知区域内的其他像素点P的最佳的前景和背景取样点数据带入公式(3)中，3≤s≤9，
计算使Np(Fi,Bj)最小时，αp的数值；
同时获取Np(Fi,Bj)最小的3～5个像素点P，对这些像素点P的数据进行加权平均，得到数据对
分别表示前景的平均颜色值和背景点的平均颜色值；
分别表示前景点邻域内的局部颜色变化的平均值和背景点邻域内的局部颜色变化的平均值；
再按照公式(4)、(5)和(6)，计算得到的和作为在步骤D-2中无法得到m对前景和背景取样点的像素点P的最佳的前景、背景取样点和透明度值；
D-4、对得到的剩余的未知区域内的所有像素点P的最佳的前景和背景取样点以及对应的透明度αp值进行平滑处理，完成抠图处理。优选的，平滑处理为局部平滑。
参见文章《Shared Sampling for RealTime Alpha Matting》：Gastal E S L,Oliveira M M.Shared Sampling for RealTime Alpha Matting[C].Computer GraphicsForum.Blackwell Publishing Ltd,29(2),575-584(2010).
现有静态图像抠图算法均需对给定图像添加标记以增加抠图问题的额外约束，Trimap为一种常用的标记方式，通过对给定图像的一种粗略划分，将给定图像划分为前景、背景和待求未知区域，通常将前景标记为白色、背景标记为黑色、未知区域标记为灰色。
Matting抠图就是要解决一个病态方程Cp＝αpFp+(1-αp)Bp，
其中，Cp是观察到的图像颜色，Fp表示前景颜色、Bp表示背景颜色、αp表示透明度。前景的αp为1，背景的αp为0，介于前景和背景之间的区域，αp的值在(0,1)范围内，所以大部分的matting问题都是去求解αp，找出最合适的值。
为了提高人脸细部语义信息的准确性，优选的，在步骤(3)中，对得到的源图像的人脸细部语义信息利用用户笔触的交互方式进行精细抠图。
进一步优选的，对得到的源图像的人脸细部语义信息利用用户笔触的交互方式进行精细抠图的具体方法如下：
ⅰ、通过两种不同颜色，人为区分各人脸细部图像的前景与背景，同时得到未知区域；
ⅱ、每一个未知区域Ω中的像素点P表示一个节点，去连接它周围四连通域中的节点N(p)，用图结构来表示马尔可夫随机场，将未知区域建模为马尔可夫随机场，对马尔可夫随机场中的每一个像素点P进行采样，得到所有像素点P的前景和背景颜色值，并构建能量方程(7)；
式中，
数据项可以优化抠图结果与输入图像之间的逼近程度，使结果尽可能地与真实值接近；
和表示未知区域内任一像素点P的前景和背景的颜色值；
αp表示像素点P的alpha值，即透明度；
Cp表示像素点P的颜色值；
表示Cp和的距离方差；
||...||表示RGB色彩空间中的欧式距离；
光滑项可以优化邻域之间的α值的相似性，使前景和背景区域能光滑过渡；
像素点q表示像素点P在r×r邻域内的任一点像素，3≤r≤9；
自适应动态权重
k表示迭代次数；
β表示一个可以调节的常数；
e为自然常数；
通常设定β为3.4，如果前景或是背景在很大程度上不连接时，则将β设定为0.5。在迭代初始时刻，λ非常大，光滑项占据主导地位，使线条迅速扩散；随后，λ逐渐减小，数据项逐渐占据优势，产生各向异性的扩散，保持图像的局部细节特征。
ⅲ、将数据项和光滑项带入能量方程，得到公式(8)，将边界条件带入公式(8)能够获取图像matte；
其中，边界条件为ΩF表示前景区域，ΩB表示背景区域。
定义保证像素点在中一定属于前景；
定义保证像素点在中一定属于背景；
ⅳ、更新和同时利用公式(9)增强Fp和Bp；
Fp和Bp为像素点P的前景点和背景点；
ⅴ、重复步骤ⅱ-ⅳ，直到 都为空；
ⅵ、迭代终止，完成收敛。
参见文章《Easy Matting-A Stroke Based Approach for Continuous ImageMatting》：Guan Y,Chen W,Liang X,et al.Easy Matting-A Stroke Based Approach forContinuous Image Matting[C].Computer Graphics Forum.Blackwell Publishing,Inc,25(3),567-576(2006).
优选的，步骤(4)中，根据参考图像的颜色风格，调整源图像的对应语义信息的颜色风格具体步骤包括：
4-1、把源图像和参考图像由RGB色彩空间转换为Lab色彩空间，因为Lab三个通道之间的相关性很弱；
4-2、分别计算源图像和参考图像的三个通道的均值和方差；
4-3、对源图像的每一通道的每个像素点作运算：
p＝(p-m1)·(d2/d1)+m2，m1、m2、d1、d2分别为源图像和参考图像在Lab色彩空间下任一通道的均值和方差，p为对应像素值；
4-4、把源图像由Lab色彩空间转换回RGB色彩空间；
4-5、对转换回的RGB色彩空间的源图像作越界检测矫正处理。
优选的，步骤(5)中，通过alpha混合将源图像的各语义信息重新拼合，混合公式如下：
R(c)＝alpha×R(b)+(1-alpha)×R(a)；
G(c)＝alpha×G(b)+(1-alpha)×G(a)；
B(c)＝alpha×B(b)+(1-alpha)×B(a)；
其中，a表示不透明图像的颜色，b表示透明图像的颜色，透过b看a看到的颜色为c。设b的透明度为alpha，alpha∈[0,1]，0表示完全透明，1表示完全不透明。
本发明的有益效果：
本发明的基于人脸语义分析的人物照片颜色风格转换方法，将需要被转换风格的源图像和作为风格参照的参考图像的场景语义信息和人脸细部语义信息分离出来，之后进行一一对应的颜色转换，有效保留了源图像的内容，准确获得参考图像的颜色空间分布，使转化后的源图像且具有较强的视觉连贯性，提高照片颜色风格转换效果。
附图说明
图1为本发明方法的技术方案流程线框图。
图2为本发明方法结合实际图像的技术方案流程示意图。
具体实施方式
如图1和2所示，本实施例的基于人脸语义分析的人物照片颜色风格转换方法，首先建立参考图像数据库，并对数据库中的参考图像进行人脸检测，场景内容结构分析和人脸语义分析的预处理，以提高整体的运行速度；接着，输入源图像，在参考图像数据库中对源图像进行人脸匹配，找到与源图像最为相似的几张参考图像；然后，对源图像进行精细的场景内容结构分析和人脸语义分析处理，以保证结果的精确度；最后，将源图像各部分语义信息的颜色风格按照参考图像的进行转换，并进行图像融合，得到源图像颜色风格转换后的目标图像。
具体步骤如下：
(1)输入需要被转换风格的源图像和作为风格参照的参考图像；
参考图像可以是用户自行选定，为了使用方便，也可以自动生成与原图像相似度高的参考图像，本实施例中，输入的参考图像根据源图像的内容自动生成，具体过程包括以下步骤：
a、建立参考图像数据库；
在建立参考图像数据库过程中，
利用人脸识别工具，根据人脸特征，将所有图像分组；人脸数据需要有效反映出一个人的脸部特征，因此在建立参考图像数据库时考虑了多方面的情况，包括不同的性别、年龄、种族、情绪、脸部姿势、微笑程度、是否配戴眼镜、是否有胡子等等人脸特征。利用这些不同的特征，可以帮助我们得到更佳的匹配效果，同时以此来提高源图像与参考图像的匹配速度，在一些计算受限的移动设备上也可以起到很好的效果。
同时对所有参考图像数据库内的图像进行人脸检测，并根据检测结果进行抠图，得到分离的场景语义信息和人脸细部语义信息，并将信息储存。将所有参考图像的场景语义信息和人脸细部语义信息(包括眼睛、眉毛、嘴巴、牙齿、脸部等)预先计算并储存，从而在确认参考图像后就可以得到场景语义信息和人脸细部语义信息，有效提高运算效率。
b、根据源图像的人脸特征，在参考图像数据库内选取具有对应人脸特征的图像组进行人脸匹配，在该图像组内选出与源图像相似度最大的三张图像作为预选，用户在三张中挑选一张作为风格参照的参考图像，同时得到该参考图像的场景语义信息和人脸细部语义信息。
在进行人脸匹配之前需要对源图像和参考图像人脸上的关键点进行检测，以此来获取人脸特征，通过调用Face++提供的API函数进行人脸检测，本发明利用landmark API进行人脸关键点检测，landmark API用于检测给定人脸相应的面部轮廓，五官等关键点位置，包括25点和83点两种模式，为了提高面部检测的精细程度，本实施例中，采用83点模式。
本实施例中，的源图像在参考图像数据库中进行人脸匹配的方法如下：利用Face++提供的identify API进行人脸匹配。identify API用于对于一个待查询的人脸，在参考图像数据库中查询与之相似度最大的几张人脸。其主要功能是当给定一张含有人脸的源图像后，程序会在已构建的参考图像数据库的相应分组中，查找出匹配度最大的几张人脸，并返回匹配的相似程度。
(2)对源图像进行人脸检测，并根据检测结果进行抠图，得到分离的场景语义信息和人脸细部语义信息；
根据人脸检测结果，对经检测的图像(源图像或者参考图像)进行抠图操作的具体步骤包括：
A、根据人脸检测，得到各人脸细部特征的关键点；
通过调用landmark API，Face++会将识别出的人脸语义信息以Json格式反馈回来。在返回的Json中，landmark项中保存了人脸上各个部位的关键点，包括眉毛，眼睛，鼻子，嘴巴，脸等细部的关键点，每一个细部位上有多个关键点，用x，y表示这些关键点的位置。
B、将各细部上的关键点连线，得到人脸细部轮廓(背景设置为黑色，连线设置为白色)；
C、先对人脸细部轮廓进行膨胀处理，再生成Trimap图像，得到各轮廓图像的前景、背景和未知区域(前景设置为白色、背景设置为黑色、未知区域设置为灰色)；
D、根据Trimap进行matting抠图；
进行matting抠图的具体步骤如下：
D-1、对各轮廓图像的前景或背景进行小规模的扩展；
D-2、扩展完成后，对剩余的未知区域内的每个像素点P，从像素点P出发，引出m条路径，每个路径之间成360/m的夹角，记录下每条路径经过的路线中首次遇到的前景点或背景点，直到超出图像的边缘，得到m对前景和背景取样点；
为了算法的稳定性，每矩形区域内(矩形区域范围在3×3到9×9之间，区域越小精度越高)，路径的起始角度周期性的改变，这样与像素点P相邻的未知像素的m条路径经过的区域就有着较大的不同，能得到更为有效的结果集。
D-3、将步骤D-2得到的每个像素点P的m对前景和背景取样点带入目标函数(1)，将使得目标函数(1)值最小的一对取样点作为最佳的前景和背景取样点，
Gp(fi,bj)＝Dp(fi,bj)eDAp(fi,bj)eAFp(fi)efFp(bi)eb； (1)
式中：
fi和bj是前景和背景取样点；
Dp(fi,bj)表明使像素点P的n×n邻域内的色彩失真最小化，3≤n≤9；
Fp(fi)和Fp(bi)表明执行空间关联准则，即前景和背景的取样应该尽可能的接近像素点P；
e{D,A,f,b}表明对这些指数中较大的值添加处罚；
Ap(fi,bj)表明计算出的透明度αp值关系着像素点P属于前景的概率，αp的计算公式如下：
式中：
αp表示像素点P的alpha值，即透明度；
Cp表示像素点P的颜色值；
Fi和Bj分别表示任一一对前景点fi和背景点bj的颜色值；
将得到各像素点P的最佳的前景和背景取样点的数据带入公式(2)，计算得到对应像素点P的透明度αp值：
对于步骤D-2中，无法得到m对前景和背景取样点的像素点P，获取最佳的前景和背景取样点以及对应的透明度αp值的方法如下：
对这类像素点P在s×s邻域内，将未知区域内的其他像素点P的最佳的前景和背景取样点数据带入公式(3)中，3≤s≤9，
计算使Np(Fi,Bj)最小时，αp的数值；
同时获取Np(Fi,Bj)最小的3～5个像素点P，对这些像素点P的数据进行加权平均，得到数据对
分别表示前景的平均颜色值和背景点的平均颜色值；
分别表示前景点邻域内的局部颜色变化的平均值和背景点邻域内的局部颜色变化的平均值；
再按照公式(4)、(5)和(6)，计算得到的和作为在步骤D-2中无法得到m对前景和背景取样点的像素点P的最佳的前景、背景取样点和透明度值；
D-4、对得到的剩余的未知区域内的所有像素点P的最佳的前景和背景取样点以及对应的透明度αp值进行平滑处理，完成抠图处理。
(3)对步骤(2)中得到的源图像的人脸细部语义信息利用用户笔触的交互方式进行精细抠图，具体方法如下：
ⅰ、通过两种不同颜色，人为区分各人脸细部图像的前景与背景，同时得到未知区域；
ⅱ、每一个未知区域Ω中的像素点P表示一个节点，去连接它周围四连通域中的节点N(p)，用图结构来表示马尔可夫随机场，将未知区域建模为马尔可夫随机场，对马尔可夫随机场中的每一个像素点P进行采样，得到所有像素点P的前景和背景颜色值，并构建能量方程(7)；
式中，
数据项
和表示未知区域内任一像素点P的前景和背景的颜色值；
αp表示像素点P的alpha值，即透明度；
Cp表示像素点P的颜色值；
表示Cp和的距离方差；
||...||表示RGB色彩空间中的欧式距离；
光滑项
像素点q表示像素点P在r×r邻域内的任一点像素，3≤r≤9；
自适应动态权重
k表示迭代次数；
β表示一个可以调节的常数；
e为自然常数；
ⅲ、将数据项和光滑项带入能量方程，得到公式(8)，将边界条件带入公式(8)能够获取图像matte；
其中，边界条件为ΩF表示前景区域，ΩB表示背景区域。
定义保证像素点在中一定属于前景；
定义保证像素点在中一定属于背景；
ⅳ、更新和同时利用公式(9)增强Fp和Bp；
Fp和Bp为像素点P的前景点和背景点；
ⅴ、重复步骤ⅱ-ⅳ，直到和都为空；
ⅵ、迭代终止，完成收敛。
(4)根据参考图像各语义信息的颜色风格，调整源图像中的对应语义信息的颜色风格，具体步骤包括：
4-1、把源图像和参考图像由RGB色彩空间转换为Lab色彩空间，因为Lab三个通道之间的相关性很弱；
4-2、分别计算源图像和参考图像的三个通道的均值和方差；
4-3、对源图像的每一通道的每个像素点作运算：
p＝(p-m1)·(d2/d1)+m2，m1、m2、d1、d2分别为源图像和参考图像在Lab色彩空间下任一通道的均值和方差，p为对应像素值；
4-4、把源图像由Lab色彩空间转换回RGB色彩空间；
4-5、对转换回的RGB色彩空间的源图像作越界检测矫正处理。
(5)将经过步骤(4)调整的源图像的各语义信息重新拼合，得到目标图像。通过alpha混合将源图像的各语义信息重新拼合，混合公式如下：
R(c)＝alpha×R(b)+(1-alpha)×R(a)；
G(c)＝alpha×G(b)+(1-alpha)×G(a)；
B(c)＝alpha×B(b)+(1-alpha)×B(a)；
其中，a表示不透明图像的颜色，b表示透明图像的颜色，透过b看a看到的颜色为c。设b的透明度为alpha，alpha∈[0,1]，0表示完全透明，1表示完全不透明。
本实施例中，将人物照片，即需要被转换风格的源图像和作为风格参照的参考图像的场景语义信息和人脸细部语义信息分离出来，之后进行一一对应的颜色转换，有效保留了源图像的内容，准确获得参考图像的颜色空间分布，使转化后的源图像且具有较强的视觉连贯性，提高照片颜色风格转换效果。
Claims (5)
1.一种基于人脸语义分析的人物照片颜色风格转换方法，其特征在于，包括以下步骤：
(1)输入需要被转换风格的源图像和作为风格参照的参考图像；输入的参考图像根据源图像的内容自动生成，具体过程包括以下步骤：
a、建立参考图像数据库；在步骤a建立参考图像数据库时，即对所有参考图像数据库内的图像进行步骤(2)的操作，并将信息储存，在步骤(1)中输入参考图像时，同时得到该参考图像的场景语义信息和人脸细部语义信息；
b、将源图像与参考图像数据库内的图像进行人脸匹配，将与源图像相似度最大的图像作为风格参照的参考图像；
在步骤a建立参考图像数据库时，利用人脸识别工具，根据人脸特征，将所有图像分组，在步骤b中，先对源图像进行人脸识别，根据源图像的人脸特征，选取具有对应人脸特征的图像组内的图像与源图像进行人脸匹配；
(2)对参考图像进行人脸检测，并根据检测结果进行抠图，得到分离的场景语义信息和人脸细部语义信息；人脸细部语义信息包括人像的眼睛、眉毛、嘴巴、牙齿和脸部；
(3)对源图像进行人脸检测，并根据检测结果进行抠图，得到分离的场景语义信息和人脸细部语义信息；在步骤(3)中，对得到的源图像的人脸细部语义信息利用用户笔触的交互方式进行精细抠图；
(4)根据参考图像各语义信息的颜色风格，调整源图像中的对应语义信息的颜色风格；
(5)将经过步骤(4)调整的源图像的各语义信息重新拼合，得到目标图像。
2.如权利要求1所述的基于人脸语义分析的人物照片颜色风格转换方法，其特征在于，步骤(2)和(3)中，根据人脸检测结果，对经检测的图像进行抠图操作的具体步骤包括：
A、根据人脸检测，得到各人脸细部特征的关键点；
B、将各细部上的关键点连线，得到人脸细部轮廓；
C、先对人脸细部轮廓进行膨胀处理，再生成Trimap图像，得到各轮廓图像的前景、背景和未知区域；
D、根据Trimap进行matting抠图；
进行matting抠图的具体步骤如下：
D-1、对各轮廓图像的前景或背景进行小规模的扩展；
D-2、扩展完成后，对剩余的未知区域内的每个像素点P，从像素点P出发，引出m条路径，每个路径之间成360/m的夹角，记录下每条路径经过的路线中首次遇到的前景点或背景点，直到超出图像的边缘，得到m对前景和背景取样点；
D-3、将步骤D-2得到的每个像素点P的m对前景和背景取样点带入目标函数(1)，将使得目标函数(1)值最小的一对取样点作为最佳的前景和背景取样点，
Gp(fi,bj)＝Dp(fi,bj)eDAp(fi,bj)eAFp(fi)efFp(bi)eb； (1)
式中：
fi和bj是前景和背景取样点；
Dp(fi,bj)表明使像素点P的n×n邻域内的色彩失真最小化，3≤n≤9；
Fp(fi)和Fp(bi)表明执行空间关联准则，即前景和背景的取样应该尽可能的接近像素点P；
e{D,A,f,b}表明对这些指数中较大的值添加处罚；
Ap(fi,bj)表明计算出的透明度αp值关系着像素点P属于前景的概率，αp的计算公式如下：
式中：
αp表示像素点P的alpha值，即透明度；
Cp表示像素点P的颜色值；
Fi和Bj分别表示任一一对前景点fi和背景点bj的颜色值；
将得到各像素点P的最佳的前景和背景取样点的数据带入公式(2)，计算得到对应像素点P的透明度αp值：
对于步骤D-2中，无法得到m对前景和背景取样点的像素点P，获取最佳的前景和背景取样点以及对应的透明度αp值的方法如下：
对这类像素点P在s×s邻域内，将未知区域内的其他像素点P的最佳的前景和背景取样点数据带入公式(3)中，3≤s≤9，
计算使Np(Fi,Bj)最小时，αp的数值；
同时获取Np(Fi,Bj)最小的3～5个像素点P，对这些像素点P的数据进行加权平均，得到数据对
分别表示前景的平均颜色值和背景点的平均颜色值；
分别表示前景点邻域内的局部颜色变化的平均值和背景点邻域内的局部颜色变化的平均值；
再按照公式(4)、(5)和(6)，计算得到的和作为在步骤D-2中无法得到m对前景和背景取样点的像素点P的最佳的前景、背景取样点和透明度；
D-4、对得到的剩余的未知区域内的所有像素点P的最佳的前景和背景取样点以及对应的透明度αp值进行平滑处理，完成抠图处理。
3.如权利要求1所述的基于人脸语义分析的人物照片颜色风格转换方法，其特征在于，对得到的源图像的人脸细部语义信息利用用户笔触的交互方式进行精细抠图的具体方法如下：
ⅰ、通过两种不同颜色，人为区分各人脸细部图像的前景与背景，同时得到未知区域；
ⅱ、每一个未知区域Ω中的像素点P表示一个节点，去连接它周围四连通域中的节点N(p)，用图结构来表示马尔可夫随机场，将未知区域建模为马尔可夫随机场，对马尔可夫随机场中的每一个像素点P进行采样，得到所有像素点P的前景和背景颜色值，并构建能量方程(7)，
式中，
数据项
和表示未知区域内任一像素点P的前景和背景的颜色值；
αp表示像素点P的alpha值，即透明度；
Cp表示像素点P的颜色值；
表示Cp和的距离方差；
||...||表示RGB色彩空间中的欧式距离；
光滑项
像素点q表示像素点P在r×r邻域内的任一点像素，3≤r≤9；
自适应动态权重
k表示迭代次数；
β表示常数；
e为自然常数；
ⅲ、将数据项和光滑项带入能量方程，得到公式(8)，将边界条件带入公式(8)能够获取图像matte；
其中，边界条件为ΩF表示前景区域，ΩB表示背景区域；
定义保证像素点在中一定属于前景；
定义保证像素点在中一定属于背景；
ⅳ、更新和同时利用公式(9)增强Fp和Bp；
Fp和Bp为像素点P的前景点和背景点；
ⅴ、重复步骤ⅱ-ⅳ，直到和都为空；
ⅵ、迭代终止，完成收敛。
4.如权利要求1所述的基于人脸语义分析的人物照片颜色风格转换方法，其特征在于，步骤(4)中，根据参考图像的颜色风格，调整源图像的对应语义信息的颜色风格具体步骤包括：
4-1、把源图像和参考图像由RGB色彩空间转换为Lab色彩空间；
4-2、分别计算源图像和参考图像的三个通道的均值和方差；
4-3、对源图像的每一通道的每个像素点作运算：
p＝(p-m1)·(d2/d1)+m2，m1、m2、d1、d2分别为源图像和参考图像在Lab色彩空间下任一通道的均值和方差，p为对应像素值；
4-4、把源图像由Lab色彩空间转换回RGB色彩空间；
4-5、对转换回的RGB色彩空间的源图像作越界检测矫正处理。
5.如权利要求1所述的基于人脸语义分析的人物照片颜色风格转换方法，其特征在于，步骤(5)中，通过alpha混合将源图像的各语义信息重新拼合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510138193.1A CN104732506B (zh) | 2015-03-27 | 2015-03-27 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510138193.1A CN104732506B (zh) | 2015-03-27 | 2015-03-27 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104732506A CN104732506A (zh) | 2015-06-24 |
| CN104732506B true CN104732506B (zh) | 2018-04-10 |
Family
ID=53456377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510138193.1A Active CN104732506B (zh) | 2015-03-27 | 2015-03-27 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104732506B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139415A (zh) * | 2015-09-29 | 2015-12-09 | 小米科技有限责任公司 | 图像前后景分割方法、装置及终端 |
| US9576351B1 (en) * | 2015-11-19 | 2017-02-21 | Adobe Systems Incorporated | Style transfer for headshot portraits |
| CN105956995B (zh) * | 2016-04-19 | 2019-08-02 | 浙江大学 | 一种基于实时视频本征分解的人脸外观编辑方法 |
| CN107403185B (zh) * | 2016-05-20 | 2020-12-04 | 北京大学 | 人像颜色转换方法和人像颜色转换系统 |
| US9881413B2 (en) * | 2016-06-09 | 2018-01-30 | Adobe Systems Incorporated | Illumination-guided example-based stylization of 3D renderings |
| CN106127139B (zh) * | 2016-06-21 | 2019-06-25 | 东北大学 | 一种mooc课程中学生面部表情的动态识别方法 |
| CN106529445A (zh) * | 2016-10-27 | 2017-03-22 | 珠海市魅族科技有限公司 | 一种妆容检测方法及设备 |
| CN106778928B (zh) * | 2016-12-21 | 2020-08-04 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| CN108537720A (zh) * | 2017-03-01 | 2018-09-14 | 杭州九言科技股份有限公司 | 一种图像处理方法和装置 |
| CN107369185B (zh) * | 2017-05-25 | 2020-02-11 | 郑州成功财经学院 | 一种基于图像的油画风格化方法 |
| CN111164563B (zh) * | 2017-08-02 | 2024-02-20 | 深圳传音通讯有限公司 | 一种智能终端的图像色彩调节系统及色彩调节方法 |
| CN107665482B (zh) * | 2017-09-22 | 2021-07-23 | 北京奇虎科技有限公司 | 实现双重曝光的视频数据实时处理方法及装置、计算设备 |
| CN107705279B (zh) * | 2017-09-22 | 2021-07-23 | 北京奇虎科技有限公司 | 实现双重曝光的图像数据实时处理方法及装置、计算设备 |
| CN108509846B (zh) * | 2018-02-09 | 2022-02-11 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备、存储介质及计算机程序产品 |
| CN108614994A (zh) * | 2018-03-27 | 2018-10-02 | 深圳市智能机器人研究院 | 一种基于深度学习的人头部图像提取方法和装置 |
| CN108846793B (zh) * | 2018-05-25 | 2022-04-22 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| CN109379572B (zh) | 2018-12-04 | 2020-03-06 | 北京达佳互联信息技术有限公司 | 图像转换方法、装置、电子设备及存储介质 |
| CN111222440A (zh) * | 2019-12-31 | 2020-06-02 | 江西开心玉米网络科技有限公司 | 一种人像背景分离方法、装置、服务器及存储介质 |
| CN111402181A (zh) * | 2020-03-13 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN111476146B (zh) * | 2020-04-03 | 2023-04-07 | 北京金沙江科技有限公司 | 一种基于移动端的学历证件照标准化处理方法 |
| CN114187371A (zh) * | 2020-09-14 | 2022-03-15 | Oppo广东移动通信有限公司 | 背景图像生成方法、装置、存储介质与电子设备 |
| CN113034355B (zh) * | 2021-04-20 | 2022-06-21 | 浙江大学 | 一种基于深度学习的肖像图像双下巴去除方法 |
| CN113269141B (zh) * | 2021-06-18 | 2023-09-22 | 浙江机电职业技术学院 | 一种图像处理方法及装置 |
| CN114677393B (zh) * | 2022-05-27 | 2022-09-30 | 珠海视熙科技有限公司 | 深度图像处理方法、装置、摄像设备、会议系统及介质 |
| CN115293996B (zh) * | 2022-10-08 | 2023-03-24 | 杭州群核信息技术有限公司 | 图像调色方法、装置和存储介质 |
| CN115587930B (zh) * | 2022-12-12 | 2023-04-18 | 成都索贝数码科技股份有限公司 | 图像色彩风格迁移方法、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4710447A (en) * | 1984-12-14 | 1987-12-01 | Castcraft Industries, Inc. | Color proofing and color proofing transfer process using water developed ink |
| CN102360490A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 基于颜色转换和编辑传播的图像季节特征增强方法 |
| CN104077352A (zh) * | 2014-05-27 | 2014-10-01 | 浙江大学 | 基于能量模型的图像语义标注方法 |
-
2015
- 2015-03-27 CN CN201510138193.1A patent/CN104732506B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4710447A (en) * | 1984-12-14 | 1987-12-01 | Castcraft Industries, Inc. | Color proofing and color proofing transfer process using water developed ink |
| CN102360490A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 基于颜色转换和编辑传播的图像季节特征增强方法 |
| CN104077352A (zh) * | 2014-05-27 | 2014-10-01 | 浙江大学 | 基于能量模型的图像语义标注方法 |
Non-Patent Citations (6)
| Title |
|---|
| Color Transfer between Images;Reinhard E 等;《IEEE ComputGraph Appl》;20011231;第21卷(第5期);第34页右栏，第36页右栏 * |
| Content-Based Colour Transfer;Fuzhang W 等;《Comp Graph Forum》;20131231;第32卷(第1期);摘要，第3节，第4.3节，第5节，图1-14 * |
| Easy matting - a stroke based approach for continuous image matting;Guan Y 等;《Comp Graph Forum》;20061231;第25卷(第3期);第3节，图3，图1 * |
| Shared Sampling for Real-Time Alpha Matting;Gastal ESL 等;《Comp Graph Forum》;20101231;第29卷(第2期);第3节 * |
| 基于色彩传递的生物医学图像彩色化;赵源萌 等;《生命科学仪器》;20071231;第5卷;26-30 * |
| 确定区域的人脸彩色传递;王晶 等;《光电子。激光》;20100131;第21卷(第1期);116-119 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104732506A (zh) | 2015-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104732506B (zh) | 一种基于人脸语义分析的人物照片颜色风格转换方法 | |
| Li et al. | A closed-form solution to photorealistic image stylization | |
| CN108280397B (zh) | 基于深度卷积神经网络的人体图像头发检测方法 | |
| CN110751655B (zh) | 一种基于语义分割和显著性分析的自动抠图方法 | |
| CN109410168B (zh) | 用于确定图像中的子图块类别的卷积神经网络的建模方法 | |
| Zhang et al. | Content-adaptive sketch portrait generation by decompositional representation learning | |
| Yang et al. | Semantic portrait color transfer with internet images | |
| CN109712145A (zh) | 一种图像抠图方法及系统 | |
| CN110322468A (zh) | 一种图像自动编辑方法 | |
| CN113673338B (zh) | 自然场景文本图像字符像素弱监督自动标注方法、系统及介质 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN111967533B (zh) | 一种基于场景识别的草图图像翻译方法 | |
| CN113379764A (zh) | 一种基于域对抗自监督学习的病理图像分割方法 | |
| CN114463492A (zh) | 一种基于深度学习的自适应通道注意力三维重建方法 | |
| Zhou et al. | Attention transfer network for nature image matting | |
| Zhong et al. | Highly efficient natural image matting | |
| Liu et al. | Magic-wall: Visualizing room decoration by enhanced wall segmentation | |
| Fu et al. | Fast accurate and automatic brushstroke extraction | |
| CN115967823A (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
| CN105956607B (zh) | 一种改进的高光谱图像分类方法 | |
| CN116993760A (zh) | 一种基于图卷积和注意力机制的手势分割方法、系统、设备及介质 | |
| Wan et al. | Illumination robust video foreground prediction based on color recovering | |
| AU2021101766A4 (en) | Cartoonify Image Detection Using Machine Learning | |
| CN109919057A (zh) | 一种基于高效卷积神经网络的多模态融合手势识别方法 | |
| CN115018729A (zh) | 一种面向内容的白盒图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |