CN109272568A - 一种采用基元发现的人脸风格图像处理方法 - Google Patents
一种采用基元发现的人脸风格图像处理方法 Download PDFInfo
- Publication number
- CN109272568A CN109272568A CN201811177695.5A CN201811177695A CN109272568A CN 109272568 A CN109272568 A CN 109272568A CN 201811177695 A CN201811177695 A CN 201811177695A CN 109272568 A CN109272568 A CN 109272568A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- texture
- channel
- primitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000012546 transfer Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000001537 neural effect Effects 0.000 claims abstract description 20
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 14
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000001815 facial effect Effects 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 229910052704 radon Inorganic materials 0.000 claims description 12
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000000739 chaotic effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 10
- 230000003014 reinforcing effect Effects 0.000 abstract 1
- 238000009877 rendering Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种采用基元发现的人脸风格图像处理方法，包括以下步骤：对输入的风格图像进行基元提取，得到基元库；利用输入的风格图像对输入的人脸风格图像进行神经风格迁移，在神经风格迁移的过程中利用预训练VGG网络提取风格图像的低层纹理色彩特征及输入的人脸风格图像的中的高层语义特征，通过优化过程使得合成的图像中既包含人脸风格图像的高层语义特征也包含风格图像的低层纹理色彩特征，进行色彩填充；利用稀疏编码方法构造基于预提取基元库的稀疏词典，基于稀疏词典对色彩填充后的人脸风格图像进行进一步细节强化。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种采用基元发现的人脸风格图像处理方法。
背景技术
风格迁移是将给定风格图像的风格迁移到另一幅内容图像(如：照片、草图等)的过程。在图像处理领域中，风格迁移属于非真实感绘制领域(NPR)，在过去的多年间，有许多研究者对风格迁移进行了相关研究，大多数研究都集中于将自然图像迁移成具有油画、水墨画等艺术风格的图像。已有的风格迁移方法主要可以分为两类，分别是：基于纹理合成的风格迁移方法和基于神经网络的风格迁移方法。
在基于纹理合成的风格迁移方法中，如文献1：Zhang W,Cao C,Chen S,etal.Style Transfer Via Image Component Analysis[J].IEEE Transactions onMultimedia,2013,15(7):1594-1601.，文献5：Chen T Q,Schmidt M.Fast Patch-basedStyle Transfer of Arbitrary Style[J].2016.。他们对输入的风格图像进行基元采样构建基元库，然后利用诸如马尔科夫模型、稀疏编码等方法建立基元和内容图像图像子块之间的关系。这类方法可以获取具有极佳细节的合成图像，但是这类方法直接采用风格图像的图像子块作为基元直接与内容图像进行匹配，难以取得很好的效果。
近些年来，基于神经网络的风格迁移方法将神经网络引入风格迁移领域获得了非常好的效果，如文献6：Rosin P L,Rosin P L,Rosin P L,et al.Depth-aware neuralstyle transfer[C]Symposium on Non-Photorealistic Animation and Rendering.ACM,2017:4，文献7：Li S,Xu X,Nie L,et al.Laplacian-Steered Neural Style Transfer[C]ACM on Multimedia Conference.ACM,2017.，这类方法主要基于预训练的VGG神经网络提取内容图像及风格图像的高低层特征，并构造对应损失函数使得合成图像在高层全局特征空间中与内容图像相似(语义相似)，而在低层局部特征空间上与风格图像相似(局部纹理相似)，从而得到风格化结果。但是这类方法过分依赖VGG神经网络对于图像高低层信息提取的能力，对于风格图像细节信息的描述能力较弱，并不能生成具有细节纹理的合成图像。文献3：Semmo A,Isenberg T,J.Neural style transfer:a paradigm shift forimage-based artistic rendering？[C]//Symposium on Non-Photorealistic Animationand Rendering.ACM,2017:5.，提出通过融合基于纹理合成的风格迁移方法及基于神经网络的风格迁移方法以增强合成图像的纹理细节是一种有效的方案。
总而言之，现有的技术主要存在个缺陷：第一，基于纹理合成的风格迁移方法无法取得灵活且视觉效果较好的风格迁移结果；第二，基于纹理合成的风格迁移方法将草图风格迁移为具有指定风格的合成图像；第三，虽然基于神经网络的风格迁移方法满足了以上两个要求，但是无法生成具有细节纹理的合成图像。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种采用基元发现的人脸风格化方法，用于缓和、减轻或消除上述缺点。
为了解决上述技术问题，本发明公开了一种采用基元发现的人脸风格图像处理方法，包括以下步骤：
步骤1：基元发现：对输入的风格图像进行基元提取；
步骤2，神经风格迁移：采用神经网络方法，对输入的风格图像进行纹理色彩化；
步骤3，细节加强：采用稀疏编码技术对纹理色彩化的风格图像进行合成处理。
步骤1中包括以下步骤：
步骤1-1，内容纹理分离：将输入的风格图像进行分离，获取纹理、轮廓及色彩通道的信息；
步骤1-2，特征提取：提取风格图像纹理通道中的像素级特征，像素级特征包括纹理方向特征图和纹理方向性特征图；
步骤1-3，基元分离：将风格图像中的纹理通道进行超像素分割，针对每个超像素，根据提取的像素级特征分离不同的图像子块作为基元，构建基元库；
步骤1-4，词典构建：使用稀疏编码对提取的基元库进行编码，构造稀疏编码词典。
步骤1-1包括：将输入的风格图像从RGB色彩空间转换到Lab色彩空间，提取ab两通道作为色彩通道，利用双边滤波器提取输入的风格图像L通道中的轮廓作为轮廓通道，利用输入的风格图像的L通道减去输入的风格图像的轮廓通道获取纹理通道，具体分离方法如文献1：Zhang W,Cao C,Chen S,et al.Style Transfer Via Image Component Analysis[J].IEEE Transactions on Multimedia,2013,15(7):1594-1601。
步骤1-2包括：将输入的风格图像采样为不同的图像子块t，具体采样方法为每间隔一个像素提取一个长宽分别为20像素的图像子块。提取每个图像子块的梯度图G＝[g1,g2,…,gn]T，是图像子块中第i个像素，其中表示对函数t(x,y)求其关于变量x的偏导数，表示对函数t(x,y)求其关于变量y的偏导数，i取值为1～n，n是图像子块中的像素总数，对每个图像子块的梯度图G∈Rn×2进行奇异值分解SVD(Singular Value Decomposition)得到G＝USVT，其中Rn×2，表示n×2阶实数矩阵，其中U表示m×m阶矩阵，S表示m×n阶半正定矩阵，V表示n×n阶矩阵，提取V中第一行作为主梯度场v1，提取V中第二行作为次要梯度场v1，如果v1和v2差值超过30°则说明纹理方向较为混乱，也就是方向性特征较低，否则表示方向性特征较高，方向性fdirectionality求解如下式：
在求解方向性特征后，同时求解图像子块的主方向，求解如：对每个图像子块提取其拉东变换图谱，拉东变换图谱提取每个朝向的边缘信息强度，计算所有方向
θ∈(0,π)的变换强度，拉东变换方法如文献2：Minlos,R.A.,Radon transform,(编)Hazewinkel,Michiel,数学百科全书,Springer,2001,ISBN 978-1-55608-010-4.，选择边缘强度最高的方向作为当前图像子块的主方向。
步骤1-4中，构造稀疏编码词典以满足下式：
其中Y∈Rd×M表示步骤1-2中提取的风格图像图像子图，X∈Rn×M为对应词典
D∈Rd×M的表示系数k，xi为表示系数X中各个项，k为惩罚项以保证xi尽量接近于0，Rd×M表示d×M阶实数矩阵。
步骤2中包括以下步骤：
步骤2-1，内容特征提取：采用预训练的VGG-16神经网络对输入的人脸图像的高层语义图像特征进行提取，如文献3：Semmo A,Isenberg T,J.Neural styletransfer:a paradigm shift for image-based artistic rendering？[C]//Symposiumon Non-Photorealistic Animation and Rendering.ACM,2017:5；
步骤2-2，风格特征提取：采用预训练的VGG-16神经网络对输入的风格图像的多层次纹理统计特征进行提取，如文献3：Semmo A,Isenberg T,J.Neural styletransfer:a paradigm shift for image-based artistic rendering？[C]//Symposiumon Non-Photorealistic Animation and Rendering.ACM,2017:5；
步骤2-3，优化函数的构建及梯度下降优化：使用人脸图像作为初始合成图像，利用合成图像在VGG-16上提取的高层语义图像特征及多层次纹理统计特征，结合步骤2-1及步骤2-2提取的对应图像特征，构造损失函数，并利用梯度优化算法对损失函数进行迭代优化，迭代更新合成图像，最终生成纹理色彩化的人脸风格合成图像。
步骤3包括以下步骤：
步骤3-1，内容纹理分离：将步骤2-3得到的人脸风格合成图像进行分离，获取纹理，轮廓及色彩通道的信息；
步骤3-2，特征提取：提取步骤3-1中分离获取的人脸风格合成图像纹理通道中的像素级特征，像素级特征包括纹理方向特征图和纹理方向性特征图；
步骤3-3，子图采样：对步骤3-1中分离获取的人脸风格合成图像的纹理通道进行超像素分割，针对每个超像素，根据步骤3-2中提取的特征分离不同的图像子块作为子图；
步骤3-4，纹理重建：利用步骤1-4中构建的稀疏编码词典，对步骤3-3中提取的子图进行纹理重建；
步骤3-5，图像重建：利用步骤3-4中重建的纹理子图绘制最终结果的纹理通道，使用图像修复技术填充子图间的缝隙，并结合步骤3-1中获取的色彩及轮廓通道重构包含细节纹理，色彩及轮廓的最终合成结果。具体方法如文献4：Wu H,Sun Z,Wang S,et al.StyleTransfer Based on Style Primitive Discovery[C]//Pacific Rim Conference onMultimedia.Springer,Cham,2017:847-858.。
有益效果：本发明具有以下优点：首先，本发明利用基于神经网络的风格迁移技术可以将人脸风格图像风格化成具有指定风格图像风格的合成图像。其次本发明利用基于纹理合成的风格迁移技术可以在具有指定风格图像风格的合成图像基础上进一步加强合成图像的局部纹理细节。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1是本发明的处理流程示意图。
图2a是实施例的输入人脸图像。
图2b是实施例输入风格图像。
图2c是实施例的基元发现过程构建的基元词典图像。
图2d是实施例的纹理重建图像。
图2e是实施例的最终合成图像及其局部放大图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本发明公开的是一种采用基元发现的人脸风格图像处理方法，具体包括以下步骤：
步骤1：基元发现过程：对输入的风格图像进行基元提取。
步骤2，神经风格迁移过程：采用神经网络方法，对输入的人脸风格图像进行纹理色彩化。
步骤3，细节加强过程：采用稀疏编码技术对纹理色彩化的合成人脸风格图像进行进一步细节加强。
下面具体介绍各个步骤的主要流程：
1、基元发现过程
基元发现对输入的风格图像进行基元提取并构建基元词典，为后续风格迁移过程提供基元库，包括内容纹理分离，特征提取，基元分离和词典构建四个步骤
步骤11，内容纹理分离：将输入的风格图像进行分离，获取纹理，轮廓及色彩通道的信息；
为了进行内容纹理分离，将输入图像从RGB色彩空间转换到Lab色彩空间，提取ab两通道作为色彩通道，利用双边滤波器提取输入图像L通道中的轮廓作为轮廓通道，利用输入图像的L通道减去输入图像的轮廓通道获取纹理通道。
步骤12，特征提取：提取风格图像纹理通道中的像素级特征，包括：纹理方向特征图，纹理方向性特征图；
为了求解纹理方向性特征图，将图像采样为不同的图像子块t，提取每个图像子块的梯度图G＝[g1,g2,…,gn]T在这里是图像子块中第i个像素，n是图像子块中的像素总数，对每个图像子块的梯度图G∈Rn×2进行奇异值分解(SVD)得到G＝USVT，提取V中第一行作为主梯度场v1，提取V中第二行作为次要梯度场v1。如果v1和v2差值较大则说明纹理方向较为混乱，也就是方向性特征较低，反之则较高，方向性求解如下式：
为了求解纹理方向特征图，将图像采样为不同的图像子块t，对每个图像子块提取其拉东变换图谱，拉东变换图谱提取每个朝向的边缘信息强度，计算所有方向θ∈(0,π)的变换强度，选择边缘强度最高的方向作为当前图像子块的主方向。
步骤13，基元分离：将风格图像中的纹理通道进行超像素分割，针对每个超像素，根据提取的特征分离不同的图像子块作为基元，构建基元库；
细粒度的超像素提取使用文献7：Achanta R,Shaji A,Smith K,et al.SLICsuperpixels compared to state-of-the-art superpixel methods[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2012,34(11):2274-2282.中所述的SLIC超像素，超像素的初始大小设置为5×5像素。粗粒度的过分割层次表示使用文献2中所述的Graph-Based算法得到。
步骤14，词典构建：使用稀疏编码对提取的基元库进行编码，构造稀疏编码词典。
构建稀疏编码词典以满足下式：
其中Y∈Rd×M表示步骤1-2中提取的风格图像图像子图，X∈Rn×M为对应词典D∈Rd×M的表示系数k，xi为表示系数X中各个项，k为惩罚项以保证xi尽量接近于0，Rd×M表示d×M阶实数矩阵。
2、神经风格迁移过程
神经风格迁移过程中，利用输入的风格图像对输入的人脸图像进行风格迁移。通过预训练的VGG-16神经网络提取特征，并在多个层次匹配人脸图像及风格图像之间的内容及风格特征，并最终通过优化方法获取包含风格图像风格和人脸图像内容的人脸风格合成图像。包含以下步骤：
步骤21，内容特征提取：采用预训练的VGG-16神经网络对输入的人脸图像的高层语义图像特征进行提取；
步骤22，风格特征提取：采用预训练的VGG-16神经网络对输入的风格图像的多层次纹理统计特征进行提取；
步骤23，优化函数的构建及梯度下降优化：利用合成图像在VGG-16上提取的高层语义图像特征及多层次纹理统计特征，结合步骤21及步骤22提取的对应图像特征，构造损失函数，并利用梯度优化算法对损失函数进行迭代优化，生成纹理色彩画后的人脸风格合成图像。
本申请使用文献6：Li S,Xu X,Nie L,et al.Laplacian-Steered Neural StyleTransfer[C]ACM on Multimedia Conference.ACM,2017.中所述的的VGG-16神经网络、优化函数及其梯度下降优化算法，得到神经风格迁移结果。
3、细节加强过程
细节加强过程利用基元发现过程中提取的基元词典，对神经风格迁移过程获取的合成图像进一步进行纹理合成以加强合成图像的纹理细节。包含以下步骤：
步骤31，内容纹理分离：将步骤23产生人脸风格合成图像进行分离，获取纹理，轮廓及色彩通道的信息；
为了进行内容纹理分离，将输入图像从RGB色彩空间转换到Lab色彩空间，提取ab两通道作为色彩通道，利用双边滤波器提取输入图像L通道中的轮廓作为轮廓通道，利用输入图像的L通道减去输入图像的轮廓通道获取纹理通道。
步骤32，特征提取：提取步骤31中分离获取的人脸风格合成图像纹理通道中的像素级特征，包括：纹理方向特征图，纹理方向性特征图；
为了求解纹理方向性特征图，将输入的风格图像采样为不同的图像子块t，具体采样方法为每间隔一个像素提取一个长宽分别为20像素的图像子块。提取每个图像子块的梯度图G＝[g1,g2,…,gn]T，是图像子块中第i个像素，其中表示对函数t(x,y)求其关于变量x的偏导数，表示对函数t(x,y)求其关于变量y的偏导数，i取值为1～n，n是图像子块中的像素总数，对每个图像子块的梯度图G∈Rn×2进行奇异值分解SVD(Singular Value Decomposition)得到G＝USVT，其中Rn×2，表示n×2阶实数矩阵，其中U表示m×m阶矩阵，S表示m×n阶半正定矩阵，V表示n×n阶矩阵，提取V中第一行作为主梯度场v1，提取V中第二行作为次要梯度场v1，如果v1和v2差值超过30°则说明纹理方向较为混乱，也就是方向性特征较低，否则表示方向性特征较高，方向性fdirectionality求解如下式：
在求解方向性特征后，同时求解图像子块的主方向，求解如：对每个图像子块提取其拉东变换图谱，拉东变换图谱提取每个朝向的边缘信息强度，计算所有方向θ∈(0,π)的变换强度，拉东变换方法如文献2：Minlos,R.A.,Radon transform,(编)Hazewinkel,Michiel,数学百科全书,Springer,2001,ISBN 978-1-55608-010-4.，选择边缘强度最高的方向作为当前图像子块的主方向。
步骤33，子图采样：对步骤31中分离获取的人脸风格合成图像的纹理通道进行超像素分割，针对每个超像素，根据步骤32中提取的特征分离不同的图像子块作为子图；
细粒度的超像素提取使用文献7：Achanta R,Shaji A,Smith K,et al.SLICsuperpixels compared to state-of-the-art superpixel methods[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2012,34(11):2274-2282.中所述的SLIC超像素，超像素的初始大小设置为5×5像素。粗粒度的过分割层次表示使用文献2中所述的Graph-Based算法得到。
步骤34，纹理重建：利用步骤14中构建的稀疏编码词典，对步骤33中提取的子图进行纹理重建；
利用已构建的稀疏编码基元词典D，求解重建图像DX以满足下式：
其中Y∈Rd×M表示步骤1-2中提取的风格图像图像子图，X∈Rn×M为对应词典D∈Rd×M的表示系数k，xi为表示系数X中各个项，k为惩罚项以保证xi尽量接近于0，Rd×M表示d×M阶实数矩阵。
步骤35，图像重建：利用步骤34中重建的纹理子图绘制最终结果的纹理通道，使用图像修复技术填充子图间的缝隙，并结合步骤31中获取的色彩及轮廓通道重构包含细节纹理，色彩及轮廓的最终合成结果。
实施例
本实施例中，如图2a所示为一幅输入的人脸图像，图2b为输入的风格图像。图2c为根据图2b风格图像所构建的基元词典的图像。在基元词典中每个小图像代表基元中的一个基，利用多种不同的基，可以对合成的神经风格图像进行进一步纹理细节加强。图2d为利用图2c基元词典重构的人脸图像(图2a)，这幅图像仅仅包含合成图像中的纹理信息，且这些纹理信息来自于基元词典。结合图2d中的纹理信息及图2a中的分离出的色彩及轮廓信息，构造了最终合成图像(图2e)，最终合成图像中既包含了图2a中的轮廓及颜色信息(内容信息)，也包含了图2b中的纹理信息。
具体实施过程如下：
步骤一中，对输入的人脸图像进行内容纹理分离，分离人脸图像中的纹理信息及内容信息，并将纹理。根据分离的人脸图像的纹理信息进行特征提取。结合提取的多种不同的特征，对基元进行分离，然后利用分离的基元库结合稀疏编码方法构造图2c所示基元词典。
步骤二中，对输入的人脸图像进行神经风格迁移，在这一步中采用预训练的VGG-16神经网络对输入的人脸图像提取其高层语义信息，同时采用预训练的VGG-16神经网络对输入的风格图像提取其低层纹理信息，通过迭代优化的方式生成神经风格迁移合成图像，这种图像中同时包含了输入人脸图像(图2a)的高层语义信息(轮廓、区域信息)也包含了输入风格图像(图2b)中的低层纹理信息。
步骤三中，利用神经风格迁移合成图像作为输入图像，进行内容纹理分离获取其纹理信息及色彩轮廓信息，在接下来的过程中，对神经风格迁移合成图像的纹理信息提取其特征，利用提取的特征进行子图采样，结合步骤一中所获取的基元词典(图2c)重建纹理图像(图2d)。结合纹理图像(图2d)及步骤三中先前所分离的色彩轮廓信息重建最终的合成图像(图2e)。
本发明提供了一种采用基元发现的人脸风格图像处理方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (7)
1.一种采用基元发现的人脸风格图像处理方法，其特征在于，包括以下步骤：
步骤1：基元发现：对输入的风格图像进行基元提取；
步骤2，神经风格迁移：采用神经网络方法，对输入的人脸图像进行纹理色彩化；
步骤3，细节加强：采用稀疏编码技术对纹理色彩化的人脸图像进行合成处理。
2.根据权利要求1所述的方法，其特征在于，步骤1中包括以下步骤：
步骤1-1，内容纹理分离：将输入的风格图像进行分离，获取纹理、轮廓及色彩通道的信息；
步骤1-2，特征提取：提取风格图像纹理通道中的像素级特征，像素级特征包括纹理方向特征图和纹理方向性特征图；
步骤1-3，基元分离：将风格图像中的纹理通道进行超像素分割，针对每个超像素，根据提取的像素级特征分离不同的图像子块作为基元，构建基元库；
步骤1-4，词典构建：使用稀疏编码对提取的基元库进行编码，构造稀疏编码词典。
3.根据权利要求2所述的方法，其特征在于，步骤1-1包括：将输入的风格图像从RGB色彩空间转换到Lab色彩空间，提取ab两通道作为色彩通道，利用双边滤波器提取输入的风格图像L通道中的轮廓作为轮廓通道，利用输入的风格图像的L通道减去输入的风格图像的轮廓通道获取纹理通道。
4.根据权利要求3所述的方法，其特征在于，步骤1-2包括：将输入的风格图像采样为不同的图像子块t，具体采样方法为每间隔一个像素提取一个长宽分别为20像素的图像子块，提取每个图像子块的梯度图G＝[g1，g2，...，gn]T，是图像子块中第i个像素，其中表示对函数t(x，y)求其关于变量x的偏导数，表示对函数t(x，y)求其关于变量y的偏导数，i取值为1～n，n是图像子块中的像素总数，对每个图像子块的梯度图G∈Rn×2进行奇异值分解SVD得到G＝USVT，其中Rn×2，表示n×2阶实数矩阵，其中U表示m×m阶矩阵，S表示m×n阶半正定矩阵，V表示n×n阶矩阵，提取V中第一行作为主梯度场v1，提取V中第二行作为次要梯度场v1，如果v1和v2差值超过30°则说明纹理方向较为混乱，也就是方向性特征较低，否则表示方向性特征较高，方向性fdirectionality求解如下式：
在求解方向性特征后，同时求解图像子块的主方向：对每个图像子块提取其拉东变换图谱，拉东变换图谱提取每个朝向的边缘信息强度，计算所有方向θ∈(0，π)的变换强度，选择边缘强度最高的方向作为当前图像子块的主方向。
5.根据权利要求4所述的方法，其特征在于，步骤1-4中，构造稀疏编码词典以满足下式：
其中Y∈Rd×M表示步骤1-2中提取的风格图像子图，X∈Rn×M为对应词典D∈Rd×M的表示系数k，xi为表示系数X中各个项，k为惩罚项以保证xi尽量接近于0，Rd×M表示d×M阶实数矩阵。
6.根据权利要求4所述的方法，其特征在于，步骤2中包括以下步骤：
步骤2-1，内容特征提取：采用预训练的VGG-16神经网络对输入的人脸图像的高层语义图像特征进行提取；
步骤2-2，风格特征提取：采用预训练的VGG-16神经网络对输入的风格图像的多层次纹理统计特征进行提取；
步骤2-3，优化函数的构建及梯度下降优化：使用人脸图像作为初始合成图像，然后利用合成图像在VGG-16上提取的高层语义图像特征及多层次纹理统计特征，结合步骤2-1及步骤2-2提取的对应图像特征，构造损失函数，并利用梯度优化算法对损失函数进行迭代优化，迭代更新合成图像，最终生成纹理色彩化的人脸风格合成图像。
7.根据权利要求6所述的方法，其特征在于，步骤3包括以下步骤：
步骤3-1，内容纹理分离：将步骤2-3得到的人脸风格合成图像进行分离，获取纹理，轮廓及色彩通道的信息；
步骤3-2，特征提取：提取步骤3-1中分离获取的人脸风格合成图像纹理通道中的像素级特征，像素级特征包括纹理方向特征图和纹理方向性特征图；
步骤3-3，子图采样：对步骤3-1中分离获取的人脸风格合成图像的纹理通道进行超像素分割，针对每个超像素，根据步骤3-2中提取的特征分离不同的图像子块作为子图；
步骤3-4，纹理重建：利用步骤1-4中构建的稀疏编码词典，对步骤3-3中提取的子图进行纹理重建；
步骤3-5，图像重建：利用步骤3-4中重建的纹理子图绘制最终结果的纹理通道，使用图像修复技术填充子图间的缝隙，并结合步骤3-1中获取的色彩及轮廓通道重构包含细节纹理，色彩及轮廓的最终合成结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811177695.5A CN109272568B (zh) | 2018-10-10 | 2018-10-10 | 一种采用基元发现的人脸风格图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811177695.5A CN109272568B (zh) | 2018-10-10 | 2018-10-10 | 一种采用基元发现的人脸风格图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109272568A true CN109272568A (zh) | 2019-01-25 |
| CN109272568B CN109272568B (zh) | 2020-07-17 |
Family
ID=65196995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811177695.5A Active CN109272568B (zh) | 2018-10-10 | 2018-10-10 | 一种采用基元发现的人脸风格图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109272568B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008291A (zh) * | 2019-10-23 | 2020-04-14 | 杭州屏行视界信息科技有限公司 | 一种基于图像特征提取的女性风格辨识方法 |
| CN111524207A (zh) * | 2020-04-21 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像生成方法、装置、电子设备 |
| CN111754415A (zh) * | 2019-08-28 | 2020-10-09 | 北京市商汤科技开发有限公司 | 人脸图像处理方法及装置、图像设备及存储介质 |
| CN113284058A (zh) * | 2021-04-16 | 2021-08-20 | 大连海事大学 | 一种基于迁移理论的水下图像增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436589A (zh) * | 2010-09-29 | 2012-05-02 | 中国科学院电子学研究所 | 一种基于多类基元自主学习的复杂目标自动识别方法 |
| US20170139572A1 (en) * | 2015-11-17 | 2017-05-18 | Adobe Systems Incorporated | Image Color and Tone Style Transfer |
| CN106952224A (zh) * | 2017-03-30 | 2017-07-14 | 电子科技大学 | 一种基于卷积神经网络的图像风格转移方法 |
| CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
-
2018
- 2018-10-10 CN CN201811177695.5A patent/CN109272568B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436589A (zh) * | 2010-09-29 | 2012-05-02 | 中国科学院电子学研究所 | 一种基于多类基元自主学习的复杂目标自动识别方法 |
| US20170139572A1 (en) * | 2015-11-17 | 2017-05-18 | Adobe Systems Incorporated | Image Color and Tone Style Transfer |
| CN106952224A (zh) * | 2017-03-30 | 2017-07-14 | 电子科技大学 | 一种基于卷积神经网络的图像风格转移方法 |
| CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
Non-Patent Citations (4)
| Title |
|---|
| HAO WU等: "《Style Transfer Based on Style Primitive Discovery》", 《ADVANCES IN MULTIMEDIA INFORMATION PROCESSING—PCM 2017》 * |
| LEON A. GATYS: "《Image Style Transfer Using Convolutional Neural Networks》", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| SHAOHUA LI等: "《Laplacian-Steered Neural Style Transfer》", 《PROCEEDINGS OF THE 2017 ACM ON MULTIMEDIA CONFERENCE》 * |
| 夏志强: "《深度神经网络可视化技术研究与应用》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754415A (zh) * | 2019-08-28 | 2020-10-09 | 北京市商汤科技开发有限公司 | 人脸图像处理方法及装置、图像设备及存储介质 |
| US11941854B2 (en) | 2019-08-28 | 2024-03-26 | Beijing Sensetime Technology Development Co., Ltd. | Face image processing method and apparatus, image device, and storage medium |
| CN111008291A (zh) * | 2019-10-23 | 2020-04-14 | 杭州屏行视界信息科技有限公司 | 一种基于图像特征提取的女性风格辨识方法 |
| CN111524207A (zh) * | 2020-04-21 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像生成方法、装置、电子设备 |
| CN113284058A (zh) * | 2021-04-16 | 2021-08-20 | 大连海事大学 | 一种基于迁移理论的水下图像增强方法 |
| CN113284058B (zh) * | 2021-04-16 | 2024-04-16 | 大连海事大学 | 一种基于迁移理论的水下图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109272568B (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109272568A (zh) | 一种采用基元发现的人脸风格图像处理方法 | |
| CN111161277B (zh) | 一种基于深度学习的自然图像抠图方法 | |
| CN115049936B (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
| CN108986058B (zh) | 明度一致性学习的图像融合方法 | |
| CN102903128B (zh) | 基于局部特征结构保持的视频图像内容编辑传播方法 | |
| CN111178316B (zh) | 一种高分辨率遥感影像土地覆盖分类方法 | |
| CN107492070A (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN108734659A (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN111583384B (zh) | 一种基于自适应八叉树头发卷积神经网络的头发重建方法 | |
| CN109558806A (zh) | 高分遥感图像变化的检测方法和系统 | |
| CN111223041B (zh) | 一种全自动自然图像抠图方法 | |
| CN103810729B (zh) | 一种基于等高线的光栅图像矢量化方法 | |
| CN111915545B (zh) | 一种多波段图像的自监督学习融合方法 | |
| CN105957124B (zh) | 具有重复场景元素的自然图像颜色编辑方法及装置 | |
| CN113034505A (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN105931180A (zh) | 利用显著信息引导的图像不规则马赛克拼接方法 | |
| CN113298736B (zh) | 一种基于面部样式的人脸图像修复方法 | |
| CN113420838B (zh) | 基于多尺度注意力特征融合的sar与光学图像分类方法 | |
| CN111626918A (zh) | 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统 | |
| CN110717978B (zh) | 基于单张图像的三维头部重建方法 | |
| CN113780307A (zh) | 一种区域年度最大蓝绿空间信息提取方法 | |
| Zhao et al. | Research on the application of computer image processing technology in painting creation | |
| CN111260585A (zh) | 基于类凸集投影算法的图像恢复方法 | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| CN113034388B (zh) | 一种古代绘画虚拟修复方法及修复模型的构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |