CN109272568B - 一种采用基元发现的人脸风格图像处理方法 - Google Patents

一种采用基元发现的人脸风格图像处理方法 Download PDF

Info

Publication number
CN109272568B
CN109272568B CN201811177695.5A CN201811177695A CN109272568B CN 109272568 B CN109272568 B CN 109272568B CN 201811177695 A CN201811177695 A CN 201811177695A CN 109272568 B CN109272568 B CN 109272568B
Authority
CN
China
Prior art keywords
image
texture
style
extracting
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811177695.5A
Other languages
English (en)
Other versions
CN109272568A (zh
Inventor
孙正兴
徐峻峰
吴昊
李博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201811177695.5A priority Critical patent/CN109272568B/zh
Publication of CN109272568A publication Critical patent/CN109272568A/zh
Application granted granted Critical
Publication of CN109272568B publication Critical patent/CN109272568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种采用基元发现的人脸风格图像处理方法,包括以下步骤:对输入的风格图像进行基元提取,得到基元库;利用输入的风格图像对输入的人脸风格图像进行神经风格迁移,在神经风格迁移的过程中利用预训练VGG网络提取风格图像的低层纹理色彩特征及输入的人脸风格图像的中的高层语义特征,通过优化过程使得合成的图像中既包含人脸风格图像的高层语义特征也包含风格图像的低层纹理色彩特征,进行色彩填充;利用稀疏编码方法构造基于预提取基元库的稀疏词典,基于稀疏词典对色彩填充后的人脸风格图像进行进一步细节强化。

Description

一种采用基元发现的人脸风格图像处理方法
技术领域
本发明属于图像处理技术领域,尤其涉及一种采用基元发现的人脸风格图像处理方法。
背景技术
风格迁移是将给定风格图像的风格迁移到另一幅内容图像(如:照片、草图等)的过程。在图像处理领域中,风格迁移属于非真实感绘制领域(NPR),在过去的多年间,有许多研究者对风格迁移进行了相关研究,大多数研究都集中于将自然图像迁移成具有油画、水墨画等艺术风格的图像。已有的风格迁移方法主要可以分为两类,分别是:基于纹理合成的风格迁移方法和基于神经网络的风格迁移方法。
在基于纹理合成的风格迁移方法中,如文献1:Zhang W,Cao C,Chen S,etal.Style Transfer Via Image Component Analysis[J].IEEE Transactions onMultimedia,2013,15(7):1594-1601.,文献5:Chen T Q,Schmidt M.Fast Patch-basedStyle Transfer of Arbitrary Style[J].2016.。他们对输入的风格图像进行基元采样构建基元库,然后利用诸如马尔科夫模型、稀疏编码等方法建立基元和内容图像图像子块之间的关系。这类方法可以获取具有极佳细节的合成图像,但是这类方法直接采用风格图像的图像子块作为基元直接与内容图像进行匹配,难以取得很好的效果。
近些年来,基于神经网络的风格迁移方法将神经网络引入风格迁移领域获得了非常好的效果,如文献6:Rosin P L,Rosin P L,Rosin P L,et al.Depth-aware neuralstyle transfer[C]Symposium on Non-Photorealistic Animation and Rendering.ACM,2017:4,文献7:Li S,Xu X,Nie L,et al.Laplacian-Steered Neural Style Transfer[C]ACM on Multimedia Conference.ACM,2017.,这类方法主要基于预训练的VGG神经网络提取内容图像及风格图像的高低层特征,并构造对应损失函数使得合成图像在高层全局特征空间中与内容图像相似(语义相似),而在低层局部特征空间上与风格图像相似(局部纹理相似),从而得到风格化结果。但是这类方法过分依赖VGG神经网络对于图像高低层信息提取的能力,对于风格图像细节信息的描述能力较弱,并不能生成具有细节纹理的合成图像。文献3:Semmo A,Isenberg T,
Figure GDA0002480243540000011
J.Neural style transfer:a paradigm shift forimage-based artistic rendering?[C]//Symposium on Non-Photorealistic Animationand Rendering.ACM,2017:5.,提出通过融合基于纹理合成的风格迁移方法及基于神经网络的风格迁移方法以增强合成图像的纹理细节是一种有效的方案。
总而言之,现有的技术主要存在个缺陷:第一,基于纹理合成的风格迁移方法无法取得灵活且视觉效果较好的风格迁移结果;第二,基于纹理合成的风格迁移方法将草图风格迁移为具有指定风格的合成图像;第三,虽然基于神经网络的风格迁移方法满足了以上两个要求,但是无法生成具有细节纹理的合成图像。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种采用基元发现的人脸风格化方法,用于缓和、减轻或消除上述缺点。
为了解决上述技术问题,本发明公开了一种采用基元发现的人脸风格图像处理方法,包括以下步骤:
步骤1:基元发现:对输入的风格图像进行基元提取;
步骤2,神经风格迁移:采用神经网络方法,对输入的风格图像进行纹理色彩化;
步骤3,细节加强:采用稀疏编码技术对纹理色彩化的风格图像进行合成处理。
步骤1中包括以下步骤:
步骤1-1,内容纹理分离:将输入的风格图像进行分离,获取纹理、轮廓及色彩通道的信息;
步骤1-2,特征提取:提取风格图像纹理通道中的像素级特征,像素级特征包括纹理方向特征图和纹理方向性特征图;
步骤1-3,基元分离:将风格图像中的纹理通道进行超像素分割,针对每个超像素,根据提取的像素级特征分离不同的图像子块作为基元,构建基元库;
步骤1-4,词典构建:使用稀疏编码对提取的基元库进行编码,构造稀疏编码词典。
步骤1-1包括:将输入的风格图像从RGB色彩空间转换到Lab色彩空间,提取ab两通道作为色彩通道,利用双边滤波器提取输入的风格图像L通道中的轮廓作为轮廓通道,利用输入的风格图像的L通道减去输入的风格图像的轮廓通道获取纹理通道,具体分离方法如文献1:Zhang W,Cao C,Chen S,et al.Style Transfer Via Image Component Analysis[J].IEEE Transactions on Multimedia,2013,15(7):1594-1601。
步骤1-2包括:将输入的风格图像采样为不同的图像子块t,具体采样方法为每间隔一个像素提取一个长宽分别为20像素的图像子块。提取每个图像子块的梯度图G=[g1,g2,…,gn]T
Figure GDA0002480243540000031
是图像子块中第i个像素,其中
Figure GDA0002480243540000032
表示对函数t(x,y)求其关于变量x的偏导数,
Figure GDA0002480243540000033
表示对函数t(x,y)求其关于变量y的偏导数,i取值为1~n,n是图像子块中的像素总数,对每个图像子块的梯度图G∈Rn×2进行奇异值分解SVD(Singular Value Decomposition)得到G=USVT,其中Rn×2,表示n×2阶实数矩阵,其中U表示m×m阶矩阵,S表示m×n阶半正定矩阵,V表示n×n阶矩阵,提取V中第一行作为主梯度场v1,提取V中第二行作为次要梯度场v1,如果v1和v2差值超过30°则说明纹理方向较为混乱,也就是方向性特征较低,否则表示方向性特征较高,方向性fdirectionality求解如下式:
Figure GDA0002480243540000034
在求解方向性特征后,同时求解图像子块的主方向,求解如:对每个图像子块提取其拉东变换图谱,拉东变换图谱提取每个朝向的边缘信息强度,计算所有方向θ∈(0,π)的变换强度,拉东变换方法如文献2:Minlos,R.A.,Radon transform,(编)Hazewinkel,Michiel,数学百科全书,Springer,2001,ISBN 978-1-55608-010-4.,选择边缘强度最高的方向作为当前图像子块的主方向。
步骤1-4中,构造稀疏编码词典以满足下式:
Figure GDA0002480243540000035
其中Y∈Rd×M表示步骤1-2中提取的风格图像图像子图,X∈Rn×M为对应词典D∈Rd×M的表示系数k,xi为表示系数X中各个项,k为惩罚项以保证xi尽量接近于0,Rd×M表示d×M阶实数矩阵。
步骤2中包括以下步骤:
步骤2-1,内容特征提取:采用预训练的VGG-16神经网络对输入的人脸图像的高层语义图像特征进行提取,如文献3:Semmo A,Isenberg T,
Figure GDA0002480243540000036
J.Neural styletransfer:a paradigm shift for image-based artistic rendering?[C]//Symposiumon Non-Photorealistic Animation and Rendering.ACM,2017:5;
步骤2-2,风格特征提取:采用预训练的VGG-16神经网络对输入的风格图像的多层次纹理统计特征进行提取,如文献3:Semmo A,Isenberg T,
Figure GDA0002480243540000037
J.Neural styletransfer:a paradigm shift for image-based artistic rendering?[C]//Symposiumon Non-Photorealistic Animation and Rendering.ACM,2017:5;
步骤2-3,优化函数的构建及梯度下降优化:使用人脸图像作为初始合成图像,利用合成图像在VGG-16上提取的高层语义图像特征及多层次纹理统计特征,结合步骤2-1及步骤2-2提取的对应图像特征,构造损失函数,并利用梯度优化算法对损失函数进行迭代优化,迭代更新合成图像,最终生成纹理色彩化的人脸风格合成图像。
步骤3包括以下步骤:
步骤3-1,内容纹理分离:将步骤2-3得到的人脸风格合成图像进行分离,获取纹理,轮廓及色彩通道的信息;
步骤3-2,特征提取:提取步骤3-1中分离获取的人脸风格合成图像纹理通道中的像素级特征,像素级特征包括纹理方向特征图和纹理方向性特征图;
步骤3-3,子图采样:对步骤3-1中分离获取的人脸风格合成图像的纹理通道进行超像素分割,针对每个超像素,根据步骤3-2中提取的特征分离不同的图像子块作为子图;
步骤3-4,纹理重建:利用步骤1-4中构建的稀疏编码词典,对步骤3-3中提取的子图进行纹理重建;
步骤3-5,图像重建:利用步骤3-4中重建的纹理子图绘制最终结果的纹理通道,使用图像修复技术填充子图间的缝隙,并结合步骤3-1中获取的色彩及轮廓通道重构包含细节纹理,色彩及轮廓的最终合成结果。具体方法如文献4:Wu H,Sun Z,Wang S,et al.StyleTransfer Based on Style Primitive Discovery[C]//Pacific Rim Conference onMultimedia.Springer,Cham,2017:847-858.。
有益效果:本发明具有以下优点:首先,本发明利用基于神经网络的风格迁移技术可以将人脸风格图像风格化成具有指定风格图像风格的合成图像。其次本发明利用基于纹理合成的风格迁移技术可以在具有指定风格图像风格的合成图像基础上进一步加强合成图像的局部纹理细节。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1是本发明的处理流程示意图。
图2a是实施例的输入人脸图像。
图2b是实施例输入风格图像。
图2c是实施例的基元发现过程构建的基元词典图像。
图2d是实施例的纹理重建图像。
图2e是实施例的最终合成图像及其局部放大图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示,本发明公开的是一种采用基元发现的人脸风格图像处理方法,具体包括以下步骤:
步骤1:基元发现过程:对输入的风格图像进行基元提取。
步骤2,神经风格迁移过程:采用神经网络方法,对输入的人脸风格图像进行纹理色彩化。
步骤3,细节加强过程:采用稀疏编码技术对纹理色彩化的合成人脸风格图像进行进一步细节加强。
下面具体介绍各个步骤的主要流程:
1、基元发现过程
基元发现对输入的风格图像进行基元提取并构建基元词典,为后续风格迁移过程提供基元库,包括内容纹理分离,特征提取,基元分离和词典构建四个步骤
步骤11,内容纹理分离:将输入的风格图像进行分离,获取纹理,轮廓及色彩通道的信息;
为了进行内容纹理分离,将输入图像从RGB色彩空间转换到Lab色彩空间,提取ab两通道作为色彩通道,利用双边滤波器提取输入图像L通道中的轮廓作为轮廓通道,利用输入图像的L通道减去输入图像的轮廓通道获取纹理通道。
步骤12,特征提取:提取风格图像纹理通道中的像素级特征,包括:纹理方向特征图,纹理方向性特征图;
为了求解纹理方向性特征图,将图像采样为不同的图像子块t,提取每个图像子块的梯度图G=[g1,g2,…,gn]T在这里
Figure GDA0002480243540000051
是图像子块中第i个像素,n是图像子块中的像素总数,对每个图像子块的梯度图G∈Rn×2进行奇异值分解(SVD)得到G=USVT,提取V中第一行作为主梯度场v1,提取V中第二行作为次要梯度场v1。如果v1和v2差值较大则说明纹理方向较为混乱,也就是方向性特征较低,反之则较高,方向性求解如下式:
Figure GDA0002480243540000061
为了求解纹理方向特征图,将图像采样为不同的图像子块t,对每个图像子块提取其拉东变换图谱,拉东变换图谱提取每个朝向的边缘信息强度,计算所有方向θ∈(0,π)的变换强度,选择边缘强度最高的方向作为当前图像子块的主方向。
步骤13,基元分离:将风格图像中的纹理通道进行超像素分割,针对每个超像素,根据提取的特征分离不同的图像子块作为基元,构建基元库;
细粒度的超像素提取使用文献7:Achanta R,Shaji A,Smith K,et al.SLICsuperpixels compared to state-of-the-art superpixel methods[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2012,34(11):2274-2282.中所述的SLIC超像素,超像素的初始大小设置为5×5像素。粗粒度的过分割层次表示使用文献2中所述的Graph-Based算法得到。
步骤14,词典构建:使用稀疏编码对提取的基元库进行编码,构造稀疏编码词典。
构建稀疏编码词典以满足下式:
Figure GDA0002480243540000062
其中Y∈Rd×M表示步骤1-2中提取的风格图像图像子图,X∈Rn×M为对应词典D∈Rd×M的表示系数k,xi为表示系数X中各个项,k为惩罚项以保证xi尽量接近于0,Rd×M表示d×M阶实数矩阵。
2、神经风格迁移过程
神经风格迁移过程中,利用输入的风格图像对输入的人脸图像进行风格迁移。通过预训练的VGG-16神经网络提取特征,并在多个层次匹配人脸图像及风格图像之间的内容及风格特征,并最终通过优化方法获取包含风格图像风格和人脸图像内容的人脸风格合成图像。包含以下步骤:
步骤21,内容特征提取:采用预训练的VGG-16神经网络对输入的人脸图像的高层语义图像特征进行提取;
步骤22,风格特征提取:采用预训练的VGG-16神经网络对输入的风格图像的多层次纹理统计特征进行提取;
步骤23,优化函数的构建及梯度下降优化:利用合成图像在VGG-16上提取的高层语义图像特征及多层次纹理统计特征,结合步骤21及步骤22提取的对应图像特征,构造损失函数,并利用梯度优化算法对损失函数进行迭代优化,生成纹理色彩画后的人脸风格合成图像。
本申请使用文献6:Li S,Xu X,Nie L,et al.Laplacian-Steered Neural StyleTransfer[C]ACM on Multimedia Conference.ACM,2017.中所述的的VGG-16神经网络、优化函数及其梯度下降优化算法,得到神经风格迁移结果。
3、细节加强过程
细节加强过程利用基元发现过程中提取的基元词典,对神经风格迁移过程获取的合成图像进一步进行纹理合成以加强合成图像的纹理细节。包含以下步骤:
步骤31,内容纹理分离:将步骤23产生人脸风格合成图像进行分离,获取纹理,轮廓及色彩通道的信息;
为了进行内容纹理分离,将输入图像从RGB色彩空间转换到Lab色彩空间,提取ab两通道作为色彩通道,利用双边滤波器提取输入图像L通道中的轮廓作为轮廓通道,利用输入图像的L通道减去输入图像的轮廓通道获取纹理通道。
步骤32,特征提取:提取步骤31中分离获取的人脸风格合成图像纹理通道中的像素级特征,包括:纹理方向特征图,纹理方向性特征图;
为了求解纹理方向性特征图,将输入的风格图像采样为不同的图像子块t,具体采样方法为每间隔一个像素提取一个长宽分别为20像素的图像子块。提取每个图像子块的梯度图G=[g1,g2,…,gn]T
Figure GDA0002480243540000071
是图像子块中第i个像素,其中
Figure GDA0002480243540000072
表示对函数t(x,y)求其关于变量x的偏导数,
Figure GDA0002480243540000073
表示对函数t(x,y)求其关于变量y的偏导数,i取值为1~n,n是图像子块中的像素总数,对每个图像子块的梯度图G∈Rn×2进行奇异值分解SVD(Singular Value Decomposition)得到G=USVT,其中Rn×2,表示n×2阶实数矩阵,其中U表示m×m阶矩阵,S表示m×n阶半正定矩阵,V表示n×n阶矩阵,提取V中第一行作为主梯度场v1,提取V中第二行作为次要梯度场v1,如果v1和v2差值超过30°则说明纹理方向较为混乱,也就是方向性特征较低,否则表示方向性特征较高,方向性fdirectionality求解如下式:
Figure GDA0002480243540000074
在求解方向性特征后,同时求解图像子块的主方向,求解如:对每个图像子块提取其拉东变换图谱,拉东变换图谱提取每个朝向的边缘信息强度,计算所有方向θ∈(0,π)的变换强度,拉东变换方法如文献2:Minlos,R.A.,Radon transform,(编)Hazewinkel,Michiel,数学百科全书,Springer,2001,ISBN 978-1-55608-010-4.,选择边缘强度最高的方向作为当前图像子块的主方向。
步骤33,子图采样:对步骤31中分离获取的人脸风格合成图像的纹理通道进行超像素分割,针对每个超像素,根据步骤32中提取的特征分离不同的图像子块作为子图;
细粒度的超像素提取使用文献7:Achanta R,Shaji A,Smith K,et al.SLICsuperpixels compared to state-of-the-art superpixel methods[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2012,34(11):2274-2282.中所述的SLIC超像素,超像素的初始大小设置为5×5像素。粗粒度的过分割层次表示使用文献2中所述的Graph-Based算法得到。
步骤34,纹理重建:利用步骤14中构建的稀疏编码词典,对步骤33中提取的子图进行纹理重建;
利用已构建的稀疏编码基元词典D,求解重建图像DX以满足下式:
Figure GDA0002480243540000081
其中Y∈Rd×M表示步骤1-2中提取的风格图像图像子图,X∈Rn×M为对应词典D∈Rd×M的表示系数k,xi为表示系数X中各个项,k为惩罚项以保证xi尽量接近于0,Rd×M表示d×M阶实数矩阵。
步骤35,图像重建:利用步骤34中重建的纹理子图绘制最终结果的纹理通道,使用图像修复技术填充子图间的缝隙,并结合步骤31中获取的色彩及轮廓通道重构包含细节纹理,色彩及轮廓的最终合成结果。
实施例
本实施例中,如图2a所示为一幅输入的人脸图像,图2b为输入的风格图像。图2c为根据图2b风格图像所构建的基元词典的图像。在基元词典中每个小图像代表基元中的一个基,利用多种不同的基,可以对合成的神经风格图像进行进一步纹理细节加强。图2d为利用图2c基元词典重构的人脸图像(图2a),这幅图像仅仅包含合成图像中的纹理信息,且这些纹理信息来自于基元词典。结合图2d中的纹理信息及图2a中的分离出的色彩及轮廓信息,构造了最终合成图像(图2e),最终合成图像中既包含了图2a中的轮廓及颜色信息(内容信息),也包含了图2b中的纹理信息。
具体实施过程如下:
步骤一中,对输入的人脸图像进行内容纹理分离,分离人脸图像中的纹理信息及内容信息。根据分离的人脸图像的纹理信息进行特征提取。结合提取的多种不同的特征,对基元进行分离,然后利用分离的基元库结合稀疏编码方法构造图2c所示基元词典。
步骤二中,对输入的人脸图像进行神经风格迁移,在这一步中采用预训练的VGG-16神经网络对输入的人脸图像提取其高层语义信息,同时采用预训练的VGG-16神经网络对输入的风格图像提取其低层纹理信息,通过迭代优化的方式生成神经风格迁移合成图像,这种图像中同时包含了输入人脸图像(图2a)的高层语义信息(轮廓、区域信息)也包含了输入风格图像(图2b)中的低层纹理信息。
步骤三中,利用神经风格迁移合成图像作为输入图像,进行内容纹理分离获取其纹理信息及色彩轮廓信息,在接下来的过程中,对神经风格迁移合成图像的纹理信息提取其特征,利用提取的特征进行子图采样,结合步骤一中所获取的基元词典(图2c)重建纹理图像(图2d)。结合纹理图像(图2d)及步骤三中先前所分离的色彩轮廓信息重建最终的合成图像(图2e)。
本发明提供了一种采用基元发现的人脸风格图像处理方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种采用基元发现的人脸风格图像处理方法,其特征在于,包括以下步骤:
步骤1:基元发现:对输入的风格图像进行基元提取;
步骤2,神经风格迁移:采用神经网络方法,对输入的人脸图像进行纹理色彩化;
步骤3,细节加强:采用稀疏编码技术对纹理色彩化的人脸图像进行合成处理;
步骤1中包括以下步骤:
步骤1-1,内容纹理分离:将输入的风格图像进行分离,获取纹理、轮廓及色彩通道的信息;
步骤1-2,特征提取:提取风格图像纹理通道中的像素级特征,像素级特征包括纹理方向特征图和纹理方向性特征图;
步骤1-3,基元分离:将风格图像中的纹理通道进行超像素分割,针对每个超像素,根据提取的像素级特征分离不同的图像子块作为基元,构建基元库;
步骤1-4,词典构建:使用稀疏编码对提取的基元库进行编码,构造稀疏编码词典;
步骤1-1包括:将输入的风格图像从RGB色彩空间转换到Lab色彩空间,提取ab两通道作为色彩通道,利用双边滤波器提取输入的风格图像L通道中的轮廓作为轮廓通道,利用输入的风格图像的L通道减去输入的风格图像的轮廓通道获取纹理通道;
步骤1-2包括:将输入的风格图像采样为不同的图像子块t,具体采样方法为每间隔一个像素提取一个长宽分别为20像素的图像子块,提取每个图像子块的梯度图G=[g1,g2,…,gn]T
Figure FDA0002480243530000011
是图像子块中第i个像素,其中
Figure FDA0002480243530000012
表示对函数t(x,y)求其关于变量x的偏导数,
Figure FDA0002480243530000013
表示对函数t(x,y)求其关于变量y的偏导数,i取值为1~n,n是图像子块中的像素总数,对每个图像子块的梯度图G∈Rn×2进行奇异值分解SVD得到G=USVT,其中Rn×2,表示n×2阶实数矩阵,其中U表示m×m阶矩阵,S表示m×n阶半正定矩阵,V表示n×n阶矩阵,提取V中第一行作为主梯度场v1,提取V中第二行作为次要梯度场v1,如果v1和v2差值超过30°则说明纹理方向混乱,也就是方向性特征低,否则表示方向性特征高,方向性fdirectionality求解如下式:
Figure FDA0002480243530000014
在求解方向性特征后,同时求解图像子块的主方向:对每个图像子块提取其拉东变换图谱,拉东变换图谱提取每个朝向的边缘信息强度,计算所有方向θ∈(0,π)的变换强度,选择边缘强度最高的方向作为当前图像子块的主方向。
2.根据权利要求1所述的方法,其特征在于,步骤1-4中,构造稀疏编码词典以满足下式:
Figure FDA0002480243530000021
其中Y∈Rd×M表示步骤1-2中提取的风格图像子图,X∈Rn×M为对应词典
D∈Rd×M的表示系数k,xi为表示系数X中各个项,k为惩罚项以保证xi接近于0,Rd×M表示d×M阶实数矩阵。
3.根据权利要求2所述的方法,其特征在于,步骤2中包括以下步骤:
步骤2-1,内容特征提取:采用预训练的VGG-16神经网络对输入的人脸图像的高层语义图像特征进行提取;
步骤2-2,风格特征提取:采用预训练的VGG-16神经网络对输入的风格图像的多层次纹理统计特征进行提取;
步骤2-3,优化函数的构建及梯度下降优化:使用人脸图像作为初始合成图像,然后利用合成图像在VGG-16上提取的高层语义图像特征及多层次纹理统计特征,结合步骤2-1及步骤2-2提取的对应图像特征,构造损失函数,并利用梯度优化算法对损失函数进行迭代优化,迭代更新合成图像,最终生成纹理色彩化的人脸风格合成图像。
4.根据权利要求3所述的方法,其特征在于,步骤3包括以下步骤:
步骤3-1,内容纹理分离:将步骤2-3得到的人脸风格合成图像进行分离,获取纹理,轮廓及色彩通道的信息;
步骤3-2,特征提取:提取步骤3-1中分离获取的人脸风格合成图像纹理通道中的像素级特征,像素级特征包括纹理方向特征图和纹理方向性特征图;
步骤3-3,子图采样:对步骤3-1中分离获取的人脸风格合成图像的纹理通道进行超像素分割,针对每个超像素,根据步骤3-2中提取的特征分离不同的图像子块作为子图;
步骤3-4,纹理重建:利用步骤1-4中构建的稀疏编码词典,对步骤3-3中提取的子图进行纹理重建;
步骤3-5,图像重建:利用步骤3-4中重建的纹理子图绘制最终结果的纹理通道,使用图像修复技术填充子图间的缝隙,并结合步骤3-1中获取的色彩及轮廓通道重构包含细节纹理,色彩及轮廓的最终合成结果。
CN201811177695.5A 2018-10-10 2018-10-10 一种采用基元发现的人脸风格图像处理方法 Active CN109272568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811177695.5A CN109272568B (zh) 2018-10-10 2018-10-10 一种采用基元发现的人脸风格图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811177695.5A CN109272568B (zh) 2018-10-10 2018-10-10 一种采用基元发现的人脸风格图像处理方法

Publications (2)

Publication Number Publication Date
CN109272568A CN109272568A (zh) 2019-01-25
CN109272568B true CN109272568B (zh) 2020-07-17

Family

ID=65196995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811177695.5A Active CN109272568B (zh) 2018-10-10 2018-10-10 一种采用基元发现的人脸风格图像处理方法

Country Status (1)

Country Link
CN (1) CN109272568B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754415B (zh) 2019-08-28 2022-09-27 北京市商汤科技开发有限公司 人脸图像处理方法及装置、图像设备及存储介质
CN111008291A (zh) * 2019-10-23 2020-04-14 杭州屏行视界信息科技有限公司 一种基于图像特征提取的女性风格辨识方法
CN111524207B (zh) * 2020-04-21 2023-01-06 腾讯科技(深圳)有限公司 基于人工智能的图像生成方法、装置、电子设备
CN113284058B (zh) * 2021-04-16 2024-04-16 大连海事大学 一种基于迁移理论的水下图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436589B (zh) * 2010-09-29 2015-05-06 中国科学院电子学研究所 一种基于多类基元自主学习的复杂目标自动识别方法
US9857953B2 (en) * 2015-11-17 2018-01-02 Adobe Systems Incorporated Image color and tone style transfer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Image Style Transfer Using Convolutional Neural Networks》;Leon A. Gatys;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161212;第2414-2423页 *
《Laplacian-Steered Neural Style Transfer》;Shaohua Li等;《Proceedings of the 2017 ACM on Multimedia Conference》;20171027;摘要,第1716、1719页 *
《Style Transfer Based on Style Primitive Discovery》;Hao Wu等;《Advances in Multimedia Information Processing—PCM 2017》;20180510;第847-858页 *
《深度神经网络可视化技术研究与应用》;夏志强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315(第3期);第1-60页 *

Also Published As

Publication number Publication date
CN109272568A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109272568B (zh) 一种采用基元发现的人脸风格图像处理方法
Li et al. A closed-form solution to photorealistic image stylization
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
Karimpouli et al. Segmentation of digital rock images using deep convolutional autoencoder networks
Jiang et al. Scfont: Structure-guided chinese font generation via deep stacked networks
CN103247036B (zh) 多曝光图像融合方法和装置
Jozdani et al. A review and meta-analysis of generative adversarial networks and their applications in remote sensing
JP6395158B2 (ja) シーンの取得画像を意味的にラベル付けする方法
CN105320965B (zh) 基于深度卷积神经网络的空谱联合的高光谱图像分类方法
CN113016005A (zh) 联合无监督对象分割与修复
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
US12100071B2 (en) System and method for generating images of the same style based on layout
CN113393546B (zh) 基于服装类别及纹理图案控制的时尚服装图像生成方法
CN114863173B (zh) 一种面向土地资源审计的自互注意力高光谱图像分类方法
WO2024131565A1 (zh) 服装图像提取方法及其装置、设备、介质、产品
Fang et al. Uncertainty learning in kernel estimation for multi-stage blind image super-resolution
CN110660018B (zh) 一种面向图像的非均匀风格迁移方法
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
Xu et al. AS 3 ITransUNet: Spatial-Spectral Interactive Transformer U-Net with Alternating Sampling for Hyperspectral Image Super-Resolution
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
Liu et al. Diffusion models meet remote sensing: Principles, methods, and perspectives
RU2710659C1 (ru) Совместная неконтролируемая сегментация объектов и подрисовка
Lai et al. Multi-view image generation by cycle CVAE-GAN networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant