CN110288667B - 一种基于结构引导的图像纹理迁移方法 - Google Patents
一种基于结构引导的图像纹理迁移方法 Download PDFInfo
- Publication number
- CN110288667B CN110288667B CN201810224267.7A CN201810224267A CN110288667B CN 110288667 B CN110288667 B CN 110288667B CN 201810224267 A CN201810224267 A CN 201810224267A CN 110288667 B CN110288667 B CN 110288667B
- Authority
- CN
- China
- Prior art keywords
- target
- style
- graph
- texture
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000005012 migration Effects 0.000 title claims abstract description 44
- 238000013508 migration Methods 0.000 title claims abstract description 44
- 239000000463 material Substances 0.000 claims abstract description 123
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 23
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 82
- 230000009466 transformation Effects 0.000 claims description 21
- 230000000875 corresponding effect Effects 0.000 claims description 19
- 230000001427 coherent effect Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000001276 controlling effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公布了一种基于结构引导的图像纹理迁移方法，输入包含素材语义图、素材风格图和目标语义图的一组样图，通过显著结构信息提取、结构信息传播、引导性的纹理合成等步骤，使得纹理迁移后仍能保持内部结构信息、底层细节信息，由此自动生成与目标语义图内容一致且具备素材风格图的纹理风格的目标风格图。本发明方法通过显著性结构纹理引导的方式解决了目标风格图中结构信息丢失的问题，通过语义引导项为用户提供了控制纹理形态、位置的接口，解决了用户交互性的问题，通过改进的最近邻搜索匹配方法提高了生成图片质量。
Description
技术领域
本发明属于计算机视觉和图形学领域，涉及纹理迁移方法，尤其涉及一种基于结构引导的图像纹理迁移方法，包含纹理的结构信息且能够依据用户意愿控制图像纹理风格、形态和位置。
背景技术
纹理迁移技术作为计算机视觉和图形学领域的一个研究热点，能够根据样图自动生成风格化的纹理。针对该内容，工业界和学术界均提出了一系列有效的纹理迁移方法，其主要分为传统纹理迁移方法和基于神经网络的纹理迁移方法。
传统纹理迁移方法主要基于传统纹理合成技术，通过加入具有风格化纹理的样图来提供素材资源。代表方法有基于图像类比的纹理合成方法，该方法以输入图与其对应风格图为图像对，依赖于图像对的通用有效性，通过分析并学习输入图像对中两幅图像的关系，并将此关系运用到目标图像对中，从而实现图像的风格化迁移。但该方法不能有效处理具有显著结构信息的纹理，在合成中没有对传播方向进行控制，容易造成内部纹理错乱，使得结构信息丢失。且该方法无法让用户控制合成纹理的形态、位置等，不具备用户交互性。
基于神经网络的纹理迁移技术，将风格迁移问题看作能量最小化的过程，将包含艺术风格的图片作为风格图，将要处理的图片作为内容图。寻找一幅与内容图和风格图都最为接近的特征图，该特征图基于卷积神经网络VGG模型进行提取。卷积神经网络的本质便是对图像特征的逐层抽象表达，多次的卷积变换使图像的特征愈加稳定，因而低层次的偏向于点线特征，高层次的更偏向于具有强稳定性和语义性的高级特征。随机初始化图像(或直接使用内容图)，不断迭代优化并反向传播使得输出结果逐渐细化直至满足要求。这种方法能够依据艺术画作生成具有相似风格的图像，但是，基于神经网络的纹理迁移方法适用范围小，仅适合于抽象的艺术画作，而不能很好地处理真实拍摄的图像或写实主义图片，使得真实图像迁移后的结果图包含大量的底层噪声，并且这种方法类似于一个黑盒操作，无法控制生成过程，使得生成结果有更多不可预测性，难以控制其细节上合成，从而难以生成高质量的图片。
发明内容
针对目前现有技术中存在的结构信息丢失、不具备用户交互性和合成图像质量低等一系列问题，本发明提供了一种基于结构引导的图像纹理迁移方法，该方法通过显著性信息检测及结构信息定义，对图像内部的显著性结构信息进行提取，然后利用语义色块的边缘关键点匹配结果，进行内部像素点的稠密对应关系映射，从而将素材图中的结构纹理映射到目标图中完成结构信息传播，最后利用传播后的结构信息图、语义引导图和素材风格图共同引导目标风格图的生成。本发明方法通过显著性结构纹理引导的方式解决了目标风格图中结构信息丢失的问题，通过语义引导项为用户提供了控制纹理形态、位置的接口，解决了用户交互性的问题，通过改进的最近邻搜索匹配方法提高了生成图片质量。
本发明提供的技术方案是：
一种基于结构引导的图像纹理迁移方法，所述纹理迁移方法输入包含素材语义图、素材风格图和目标语义图的一组样图，通过显著结构信息提取、结构信息传播、引导性的纹理合成等步骤，使得纹理迁移后仍能保持内部结构信息、底层细节信息，由此自动生成与目标语义图内容一致且具备素材风格图的纹理风格的图像，称为目标风格图。具体包括如下步骤：
A.输入一组样图，该组样图包含素材语义图、素材风格图和目标语义图；
其中，素材风格图是一幅包含风格纹理的图像，素材语义图是素材风格图在语义层面上的色彩遮罩，两者内容对齐；目标语义图是由用户创建的、与素材语义图具有相似语义的、形状大小位置可控的色彩遮罩；依据目标语义图和素材语义图的相关性，将自动生成与目标语义图内容一致且具备素材风格图的纹理风格的图像，称为目标风格图，即最后的输出结果。
B.提取素材风格图的显著性结构信息，通过显著性检测对图像中各个像素点的显著度进行计算，将满足结构信息定义的像素点标注为显著性点，得到素材风格图中的显著性结构信息。
C.创建目标结构图：依据素材语义图和目标语义图的形状相似性，找到一个平面变换关系，将素材风格图中的具备显著结构信息的像素点映射到新图像中，该图像定义为目标结构图。
素材语义图和素材风格图是对齐的，根据素材语义图和目标语义图的色块轮廓关键点匹配关系，把色块内部的像素点从素材映射到目标中，构建素材与目标之间一些位置(像素点)的对应，把素材风格图中显著性点映射到一个新图像中，新图像就是目标结构图。
D.建立目标函数，目标函数由不同权重的语义引导项、结构引导项和纹理相干项构成。
E.纹理合成优化，将纹理合成过程看作一个最优化问题，以多尺度方式在每个尺度上利用最大期望值算法不断迭代优化目标函数，交替执行最近邻搜索和目标风格图重建两个步骤，直至收敛，即完成图像纹理迁移，得到具备素材风格的目标风格图。
针对上述纹理迁移方法，进一步地，步骤B中提取素材风格图的显著性结构信息，具体包括如下步骤：
B1.利用文献(S.Goferman,L.Zelnik-Manor,and A.Tal.Context-awaresaliency detection.IEEE Transactions on Pattern Analysis and MachineIntelligence,34(10):1915–1926,2012.)记载的具有内容意识的显著性检测方法，分别对素材风格图和素材语义图进行计算，得到素材风格图的显著性图和素材语义图的的显著性图。
B2.通过对素材风格图的显著性图Msty与素材语义图的显著性图Msem进行减法运算，通过公式Msty-lMsem得到新的显著性图，l为控制色块边缘显著度的常数，取值为10，将新的显著性图中显著度大于某设定阈值的像素点记为包含结构信息的显著性点，以二值图的形式初始化显著性结构信息遮罩，各个像素点初始值均为0，将上述显著性点对应位置标识为1。
针对上述纹理迁移方法，进一步地，步骤C所述建立目标结构图，素材风格图与目标结构图之间进行结构信息的传播，具体包括如下步骤：
C1.轮廓关键点匹配，素材语义图和目标语义图均由多个色块组成，相同颜色色块对应同种语义信息，对素材语义图和目标语义图中的对应色块进行轮廓像素点匹配，取轮廓上按照曲率由高到低排序的前nc个点作为轮廓关键点，关键点nc的取值由轮廓点的总个数决定，一般范围为(5,20)。
C2.稠密关系映射，利用素材语义图中和目标语义图中轮廓关键点的对应关系，模拟一个弹性平面变换，将素材风格图中的显著性点映射到目标结构图中，从而完成显著性结构信息的传播。
更进一步地，步骤C1中轮廓像素点匹配采用一致性点漂移算法Coherent PointDrift(CPD)，即一种基于高斯混合模型的点集匹配算法。
更进一步地，步骤C2中依据轮廓关键点匹配关系，计算平面变换，完成内部稠密关系映射，采用薄板样条插值算法进行变换。
针对上述纹理迁移方法，进一步地，步骤D所述建立目标函数过程。具体包括如下步骤：
D1.建立语义引导项，语义引导项用于施加用户对风格纹理形态、位置的控制，通过计算素材语义图的图像块与目标语义图的图像块在RGB空间上的L2范式得到。
D2.建立结构引导项，结构引导项用于约束目标结构图中图像块与实时合成的目标风格图中图像块的相似性，且该项只对具有显著结构信息的像素点有效，其中的目标结构图步骤C得到。
D3.建立纹理相干项，纹理相干项控制目标风格图中生成的纹理与素材风格图中纹理风格相一致，使得风格纹理具有连续性，通过计算素材风格图的图像块与目标风格图的图像块在RGB空间上的L2范式得到。
D4.将语义引导项、结构引导项和纹理相干项加权构成目标方程，语义引导项和结构引导项的权重分别为λ1、λ2，纹理相干项不设置权重变量，故系数默认为1，λ1随着迭代次数增多逐渐下降，变化范围从常数β下降到0，λ2的取值与素材语义图和目标语义图中语义块的形状相似性成正相关，相关关系为指数相关。
针对上述纹理迁移方法，进一步地，步骤E所述纹理合成优化过程。具体包括如下步骤：
E1.引导性的初始化，在目标风格图的初始化阶段，使用目标结构图提供先验知识，将目标结构图中的显著结构点直接映射到目标风格图的对应位置，目标风格图的非显著结构点随机初始化，得到初始目标风格图(最粗尺度目标风格图)；在更细一级尺度上优化时，该级初始目标风格图为更粗一级合成结果进行上采样得到。
E2.引导性的最近邻搜索，对目标结构图进行多尺度计算，得到各个尺度下的目标结构图，用于引导各尺度上的优化合成；同时采用一种改进的PatchMatch算法，在原有算法基础上，采用全新的执行规则，利用矩阵运算在每个像素点上同时运算以进行传播和随机搜索，在匹配时加入图像块的几何变换以获得空间拓展，使得快速得到高质量的纹理合成结果。
E3.目标风格图重建，依据素材风格图和目标风格图中像素点的对应匹配结果进行目标风格图重建，目标风格图中每个像素点的RGB值为所有覆盖该像素点的图像块对应的最优匹配块在该点的加权平均值，且权值依赖于能量值，能量越低，权重越高。
与现有技术相比，本发明的有益效果是：
本发明提供一种纹理迁移方法，该纹理迁移方法通过提取并传播显著结构信息，利用预映射的目标结构图引导纹理合成过程，实现了有结构意识的纹理迁移，保留了生成图像的结构信息和细节特征，解决了目标风格图中结构信息丢失的问题。
本发明通过引入语义信息图，使得用户能够通过语义图标注需要迁移的纹理及其要迁移到的位置、形态，提高了纹理迁移任务中的用户交互性。
本发明通过改进的最近邻搜索方法，定义全新的执行规则，利用矩阵运算，极大的提高了运行速度，同时拓展了图像块的仿射变换空间，能够提供更加丰富的素材块，提高了生成图像的质量。
附图说明
图1是本发明提供方法的流程框图。
图2是本发明实施例的输入与输出效果图；
其中，(a)为输入的素材语义图；(b)为输入的素材风格图；(c)为输入的目标语义图；(d)为自动生成的目标风格图。
图3是本发明实施例中显著结构信息提取的示意图，包含结构提取两个样例的效果；
其中，(a)为样例1的素材语义图；(b)为样例1的素材风格图；(c)为针对样例1的素材语义图提取的显著性图；(d)为针对样1的素材风格图提取的显著性图；(e)为样例2的素材语义图；(f)为样例2的素材风格图；(g)为针对样例2的素材语义图提取的显著性图；(h)为针对样2的素材风格图提取的显著性图；(i)为样例1的显著性结构信息遮罩；(j)为样例2的显著性结构信息遮罩。
图4是本发明实施例中结构信息传播示意图；
其中，(a)为素材语义图；(b)为目标语义图；(c)为素材结构图；(d)为目标结构图。
图5是本发明实施例中目标结构图在多尺度上的效果图。
图6是本发明实施例对多个图像进行纹理迁移的结果示例；
其中，(a)列为输入样例中的素材风格图与素材语义图；(b)列为输入样例中的目标语义图；(c)列为目标风格图，即输出结果。
图7是本发明实施例对多种素材图风格进行纹理迁移的结果示例；
其中，(a)为样例1输入的素材风格图；(b)为样例2输入的素材风格图；(c)为样例3输入的素材风格图；(d)为输入的目标语义图；(e)为样例1的目标风格图；(f)为样例2的目标风格图；(g)为样例3的目标风格图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供了一种基于结构引导的图像纹理迁移方法，该方法通过显著性信息检测及结构信息定义，对图像内部的显著性结构信息进行提取，利用语义色块的边缘关键点匹配结果，进行内部像素点的稠密对应关系映射，从而将素材图中的结构纹理映射到目标图中完成结构信息传播，最后利用传播后的结构信息图、语义引导图和素材风格图共同引导目标风格图的生成。
本发明方法的流程如附图1所示，一个具体实施例如下：
1)以素材语义图、素材风格图和目标语义图作为输入，目标风格图作为输出，输入及输出结果如图2所示；
2)对输入的素材风格图进行显著性结构信息提取；
2-a)利用有内容意识的显著性检测方法分别对素材语义图和素材风格图中每个像素点进行显著度计算，得到二者的显著图，分别记为Msem和Msty；
2-b)利用式1计算得到结构信息遮罩Mstruct
其中，p为结构信息遮罩Mstruct中的像素点；l为边缘显著度系数，取值为1；δ为显著性阈值，取值范围为(0,1)。
结构信息遮罩Mstruct以二值图的形式进行表达，将图中大于显著性阈值δ的像素点记为包含结构信息的显著性点，在Mstruct中记为1，否则为0。图3为包含两个样例的结构信息提取示意图。将结构信息遮罩施加于素材风格图，即对应位置在Mstruct中为1的像素点的RGB值保留，其余点RGB归零，从而得到素材结构图Mstruct，完成显著性结构信息提取；
3)将素材风格图中的结构信息传播到目标中，获得目标结构图，如附图4所示；
3-a)轮廓关键点匹配，采用一致性点漂移(Coherent Point Drift,CPD)算法对素材语义图和目标语义图中对应的色块进行轮廓像素点匹配，取轮廓上按照曲率由高到低排序的前nc个点作为轮廓关键点，关键点nc的取值由轮廓点的总个数决定，一般范围为(5,20)。
3-b)稠密关系映射，依据轮廓关键点匹配结果，模拟一个弹性平面变换ψ:2→2，采用薄板样条插值(thin plate splines,TPS)算法将素材结构图中的显著性点映射到目标结构图中,目标结构图中的显著性点集合
其中sp是素材结构图中的显著性点，
是映射后目标结构图中的显著性点，
为匹配点对，目标结构图Tstruct计算如下：
其中，Tstruct(q)为目标结构图Tstruct中的像素点q，Sstruct(sp)为素材结构图Sstruct中的显著性点sp，Ω'struct为目标结构图中的显著性点
的集合。
4)建立目标方程；
4-a)建立语义引导项，语义引导项用于施加用户对风格纹理形态、位置的控制，通过计算素材语义图的图像块与目标语义图的图像块在RGB空间上的L2范式得到，表示为式3：
Esem(p,q)＝||Tsem(Nq)-Ssem(f(Np))||2 (式3)
其中，Np为以像素点q为中心坐标且大小为5×5的图像块，本方法中的图像块大小均为5×5；Tsem(Nq)为目标语义图中以像素点q为中心坐标的图像块，Ssem(f(Np))为素材语义图中以像素点p为中心坐标且经过几何变换的图像块，通过几何变换f可计算Np中每个像素点i变换后的坐标，计算方法为式4：
其中，旋转矩阵
镜像参数γ∈{1,-1}，
为图像块中第i个像素点与中心坐标p的相对坐标。
4-b)建立结构引导项，结构引导项用于约束目标结构图中图像块与实时合成的目标风格图中图像块的相似性，且该项只对具有显著结构信息的像素点有效，表达形式如下
其中
为以像素点q为中心坐标的图像块中第i个像素点(按照从上到下、从左到右的点阵扫描顺序)，
为目标结构图中以像素点q为中心坐标的图像块的第i个像素点，
为目标风格图中以像素点q为中心坐标的图像块的第i个像素点，
为图像块中第i个像素点是否为具有显著性结构信息的点，定义为
其中，当目标结构图中以像素点q为中心坐标的图像块的第i个像素点
属于目标结构图中显著性点集合Ω'struct时，
记为1，反之，记为0。
τ(Nq)为图像块中具有显著性结构信息点的个数，定义为
其中，
为图像块中第i个像素点是否为具有显著性结构信息的点的0-1值。
4-c)建立纹理相干项，纹理相干项控制目标风格图中生成的纹理与素材风格图中纹理风格相一致，使得风格纹理具有连续性，通过计算素材风格图的图像块与目标风格图的图像块在RGB空间上的L2范式得到，表达形式如下
Ecor(p,q)＝||Tsty(Nq)-Ssty(f(Np))||2 (式8)
其中，Np为以像素点q为中心坐标且大小为5×5的图像块，Tsty(Nq)为目标风格图中以像素点q为中心坐标的图像块，Ssty(f(Np))为素材风格图中以像素点p为中心坐标且经过几何变换的图像块，几何变换f定义同式3。
4-d)三个引导项加权构成目标方程，将纹理合成过程看作一个能量最优化问题，建立目标函数，目标函数包含语义引导项Esem、结构引导项Estruct和纹理相干项Ecoh三个引导项，目标函数表达如下
λ1、λ2为权重系数，分别定义为
其中，ts和te分别为迭代系数t的初始值和终止值，β为控制语义引导项最高权重的常数，可设置为100，λ1随着迭代次数的增加从β降到0；
为素材语义图中的轮廓关键点cp与目标语义图中的轮廓关键点
的匹配结果，即轮廓关键点匹配点对，
为轮廓关键点匹配点对之间的距离，表征了轮廓匹配的相似度；Ω'con为目标语义图中的轮廓关键点
的集合，|Ω'con|为集合Ω'con中像素点的个数。
5)纹理合成优化，该优化过程在多尺度上依次进行，由低分辨率到高分辨率图像逐渐合成。每一尺度下，利用最大期望值算法迭代优化目标函数，交替执行最近邻搜索和目标风格图重建两个步骤，直至收敛；
5-a)引导性的初始化，在最粗尺度目标风格图的初始化阶段，不再采用随机初始化，而是使用目标结构图提供先验知识，将目标结构图中的显著结构点直接映射到目标风格图的对应位置，目标风格图的非显著结构点随机初始化；在更细一级尺度上优化时，初始目标风格图为更粗一级合成结果进行上采样得到。
5-b)引导性的最近邻搜索，对目标结构图进行多尺度计算，得到各个尺度下的目标结构图用于引导各尺度上的优化合成，目标结构图在多尺度上的效果图如图5所示；同时采用一种改进的PatchMatch算法，不同于原有PatchMatch算法中对目标图像中每个像素按照扫描顺序(从上到下、从左到右)依次进行处理，为其在素材图像中搜索最为匹配的图像块，，而是采用全新的执行规则，利用矩阵运算建立与目标图像同规格的能量矩阵，使得每个像素点可以同时运算以进行传播和随机搜索，并在匹配时加入素材图像块的几何变换以获得空间拓展，使得快速得到高质量的纹理合成结果。
5-c)目标风格图重建，依据素材风格图和目标风格图中像素点的对应匹配结果进行目标风格图重建，目标风格图中每个像素点的RGB值为所有覆盖该像素点的图像块对应的最优匹配块在该点的加权平均值，且权值依赖于能量值，能量越低，权重越高。
图6是本发明实施例对多个图像进行纹理迁移的结果示例；图7是本发明实施例对多种素材图风格进行纹理迁移的结果示例。结果表明，本发明所述的方法能够在用户控制下，进行有结构意识的纹理迁移，有效地保留了生成图像的结构信息和细节特征，生成高质量的纹理迁移图像。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (10)
1.一种基于结构引导的图像纹理迁移方法，输入一组样图，通过显著结构信息提取、结构信息传播、引导性的纹理合成步骤，自动生成目标风格图；包括如下步骤：
A.输入一组样图，样图包含素材语义图、素材风格图和目标语义图；素材风格图包含图像的风格纹理；素材语义图是素材风格图在语义层面上的色彩遮罩；目标语义图与素材语义图具有相似语义的、形状大小位置可控的色彩遮罩；
B.通过对素材风格图和素材语义图进行显著性检测，得到新的显著性图，将新的显著性图中标注显著性点，提取得到素材风格图中的显著性结构信息；具体通过具有内容意识的显著性检测方法，分别对素材风格图和素材语义图进行计算，得到素材风格图的显著性图Msty和素材语义图的显著性图Msem；再利用式子Msty-lMsem运算得到新的显著性图，其中l为控制色块边缘显著度的常数；将新的显著性图中显著度大于设定的显著性阈值的像素点记为包含结构信息的显著性点，以二值图的形式初始化显著性结构信息遮罩，由此提取得到素材风格图的显著性结构信息；
步骤B通过显著性检测对图像中各个像素点的显著度进行计算，提取素材风格图的显著性结构信息，具体包括如下步骤：
C.创建目标结构图：依据素材语义图和目标语义图的形状相似性，建立平面变换关系，将素材风格图中具备显著结构信息的像素点映射到新图像中，所述新图像为目标结构图；
D.建立目标函数，目标函数由不同权重的语义引导项、结构引导项和纹理相干项构成；
E.纹理合成优化：将纹理合成过程看作一个最优化问题，以多尺度方式在每个尺度上利用最大期望值算法不断迭代优化目标函数，交替执行引导性的最近邻搜索和目标风格图重建，直至收敛，得到与目标语义图内容一致且具备素材风格图的纹理风格的图像，即目标风格图，由此完成图像纹理迁移。
2.如权利要求1所述的图像纹理迁移方法，其特征是，步骤B中具有内容意识的显著性检测方法具体利用文献S.Goferman,L.Zelnik-Manor,and A.Tal.Context-awaresaliency detection.IEEE Transactions on Pattern Analysis and MachineIntelligence,34(10):1915–1926,2012.记载的具有内容意识的显著性检测方法，分别对素材风格图和素材语义图进行计算；所述以二值图的形式初始化显著性结构信息遮罩，具体是：将各个像素点初始值均设为0，将显著性点对应位置标识为1。
3.如权利要求1或2所述的图像纹理迁移方法，其特征是，以二值图的形式初始化显著性结构信息遮罩，具体利用式1计算得到结构信息遮罩Mstruct：
其中，p为结构信息遮罩Mstruct中的像素点；控制色块边缘显著度的常数l取值为1；δ为显著性阈值，取值范围为(0,1)。
4.如权利要求1所述的图像纹理迁移方法，其特征是，步骤C建立目标结构图，实现素材风格图与目标结构图之间进行结构信息的传播；具体包括如下步骤：
C1.轮廓关键点匹配：对素材语义图和目标语义图中的对应色块进行轮廓像素点匹配，取轮廓上曲率最大的多个点作为轮廓关键点；
C2.稠密关系映射：利用素材语义图中和目标语义图中轮廓关键点的对应关系，模拟一个弹性平面变换ψ:
将素材风格图中的显著性点映射到目标结构图中，从而实现显著性结构信息的传播。
5.如权利要求4所述的图像纹理迁移方法，其特征是，步骤C1中采用一致性点漂移算法实现轮廓像素点匹配。
6.如权利要求4所述的图像纹理迁移方法，其特征是，步骤C2采用薄板样条插值算法计算平面变换，完成内部稠密关系映射；具体地：
目标结构图中的显著性点集合
其中sp是素材结构图中的显著性点，
是映射后目标结构图中的显著性点，
为匹配点对，目标结构图Tstruct根据式2计算得到：
其中，Tstruct(q)为目标结构图Tstruct中的像素点q，Sstruct(sp)为素材结构图Sstruct中的显著性点sp，Ω'struct为目标结构图中的显著性点
的集合。
7.如权利要求1所述的图像纹理迁移方法，其特征是，步骤D所述建立目标函数过程具体包括如下步骤：
D1.建立语义引导项，用于施加用户对风格纹理形态和位置的控制；语义引导项通过计算素材语义图的图像块与目标语义图的图像块在RGB空间上的L2范式得到；
D2.建立结构引导项，用于约束目标结构图中图像块与实时合成的目标风格图中图像块的相似性，且只对具有显著结构信息的像素点有效；
D3.建立纹理相干项，控制目标风格图中生成的纹理与素材风格图中纹理风格相一致，使得风格纹理具有连续性；纹理相干项通过计算素材风格图的图像块与目标风格图的图像块在RGB空间上的L2范式得到；
D4.将语义引导项、结构引导项、纹理相干项加权构成目标方程，语义引导项和结构引导项的权重分别为λ1、λ2，λ1随着迭代次数增多逐渐下降，变化范围从常数β下降到0，λ2的取值与素材语义图和目标语义图中语义块的形状相似性成正相关，相关关系为指数相关；纹理相干项权重为1。
8.如权利要求7所述的图像纹理迁移方法，其特征是，语义引导项表示为式3：
Esem(p,q)＝||Tsem(Nq)-Ssem(f(Np))||2 (式3)
其中，Tsem(Nq)为目标语义图中以像素点q为中心坐标的图像块，Ssem(f(Np))为素材语义图中以像素点p为中心坐标且经过几何变换的图像块；通过几何变换f计算Np中每个像素点i变换后的坐标，计算方法为式4：
其中，旋转矩阵
镜像参数γ∈{1,-1}，
为图像块中第i个像素点与中心坐标p的相对坐标；
结构引导项表示为式5：
其中，
为以像素点q为中心坐标的图像块中第i个像素点；
为目标结构图中以像素点q为中心坐标的图像块的第i个像素点；
为目标风格图中以像素点q为中心坐标的图像块的第i个像素点；
为图像块中第i个像素点是否为具有显著性结构信息的点，定义为式6：
其中，Ω'struct为目标结构图中的显著性点的集合；
τ(Nq)为图像块中具有显著性结构信息点的个数，定义为式7：
纹理相干项表示为式8：
Ecor(p,q)＝||Tsty(Nq)-Ssty(f(Np))||2 (式8)
其中，Tsty(Nq)为目标风格图中以像素点q为中心坐标的图像块，Ssty(f(Np))为素材风格图中以像素点p为中心坐标且经过几何变换的图像块，几何变换f定义同式3。
9.如权利要求8所述的图像纹理迁移方法，其特征是，建立包含语义引导项Esem、结构引导项Estruct和纹理相干项Ecoh的目标函数，表示如式9：
λ1、λ2为权重系数，分别定义为：
其中，ts和te分别为迭代系数的初始值和终止值，β为控制语义引导项最高权重的常数，λ1随着迭代次数的增加从β降到0；
为素材语义图中的轮廓关键点cp与目标语义图中的轮廓关键点
的匹配结果，即轮廓关键点匹配点对；
为轮廓关键点匹配点对之间的距离，表征了轮廓匹配的相似度；Ω'con为目标语义图中的轮廓关键点
的集合，|Ω'con|为集合Ω'con中像素点的个数。
10.如权利要求1所述的图像纹理迁移方法，其特征是，步骤E所述纹理合成优化过程具体包括如下步骤：
E1.引导性的初始化：将目标结构图中的显著结构点直接映射到目标风格图的对应位置，目标风格图的非显著结构点随机初始化，得到最粗尺度目标风格图，作为初始目标风格图；在更细一级尺度上优化时，该级初始目标风格图为更粗一级合成结果进行上采样得到；
E2.引导性的最近邻搜索：对目标结构图进行多尺度计算，得到各个尺度下的目标结构图，用于引导各尺度上的优化合成；同时采用PatchMatch改进算法，具体利用矩阵运算建立与目标图像同规格的能量矩阵，使得每个像素点可同时运算以进行传播和随机搜索，并在匹配时加入素材图像块的几何变换以获得空间拓展；
E3.目标风格图重建：依据素材风格图和目标风格图中像素点的对应匹配结果进行目标风格图重建，目标风格图中每个像素点的RGB值为所有覆盖该像素点的图像块对应的最优匹配块在该点的加权平均值，且权值依赖于能量值，能量越低，权重越高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810224267.7A CN110288667B (zh) | 2018-03-19 | 2018-03-19 | 一种基于结构引导的图像纹理迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810224267.7A CN110288667B (zh) | 2018-03-19 | 2018-03-19 | 一种基于结构引导的图像纹理迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288667A CN110288667A (zh) | 2019-09-27 |
| CN110288667B true CN110288667B (zh) | 2021-03-02 |
Family
ID=68000945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810224267.7A Active CN110288667B (zh) | 2018-03-19 | 2018-03-19 | 一种基于结构引导的图像纹理迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288667B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110944098A (zh) * | 2019-11-27 | 2020-03-31 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111882389B (zh) * | 2020-07-23 | 2024-01-23 | 上海观池聚光数字科技有限公司 | 一种应用于素材二次加工的定制系统 |
| CN113034560A (zh) * | 2021-02-22 | 2021-06-25 | 北京工业大学 | 非均匀纹理迁移方法及装置 |
| CN115909321B (zh) * | 2023-03-08 | 2023-05-12 | 成都睿瞳科技有限责任公司 | 一种用于电梯轿厢的识别方法、系统和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9691121B1 (en) * | 2014-11-11 | 2017-06-27 | Amazon Technologies, Inc. | Distributed determination of scene information |
| CN106127197B (zh) * | 2016-04-09 | 2020-07-07 | 北京交通大学 | 基于显著标签排序的图像显著性目标检测方法和装置 |
| CN106650744B (zh) * | 2016-09-16 | 2019-08-09 | 北京航空航天大学 | 局部形状迁移指导的图像对象共分割方法 |
| CN107180410A (zh) * | 2017-04-11 | 2017-09-19 | 中国农业大学 | 一种图像的风格化重建方法及装置 |
| CN107291855A (zh) * | 2017-06-09 | 2017-10-24 | 中国电子科技集团公司第五十四研究所 | 一种基于显著对象的图像检索方法及系统 |
| CN107679580B (zh) * | 2017-10-21 | 2020-12-01 | 桂林电子科技大学 | 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法 |
-
2018
- 2018-03-19 CN CN201810224267.7A patent/CN110288667B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288667A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288667B (zh) | 一种基于结构引导的图像纹理迁移方法 | |
| Lin et al. | Magic3d: High-resolution text-to-3d content creation | |
| WO2019174377A1 (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
| CN110427799B (zh) | 基于生成对抗网络的人手深度图像数据增强方法 | |
| CN113393550B (zh) | 一种姿态和纹理引导的时尚服装设计合成方法 | |
| CN109741268B (zh) | 一种针对壁画的破损图像补全方法 | |
| CN111242841A (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
| CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| CN113538608B (zh) | 基于生成对抗网络的可控人物图像生成方法 | |
| CN112862807A (zh) | 基于头发图像的数据处理方法及装置 | |
| CN115689869A (zh) | 一种视频美妆迁移方法及系统 | |
| CN110909778B (zh) | 一种基于几何一致性的图像语义特征匹配方法 | |
| CN112541856B (zh) | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 | |
| Uchida et al. | Stylized line-drawing of 3D models using CNN with line property encoding | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| Arechiga et al. | Drag-guided diffusion models for vehicle image generation | |
| Zhang et al. | Interactive modeling of complex geometric details based on empirical mode decomposition for multi-scale 3D shapes | |
| CN116777738A (zh) | 基于服装区域对齐和风格保持调制的真实性虚拟试穿方法 | |
| CN115457160A (zh) | 一种深度信息引导的多风格人脸素描生成方法 | |
| CN115760552A (zh) | 基于图像妆容迁移网络的人脸图像妆容迁移方法及系统 | |
| He et al. | Text-based image style transfer and synthesis | |
| Xie et al. | Stroke-based stylization by learning sequential drawing examples | |
| Li et al. | Neural style transfer based on deep feature synthesis | |
| CN117237542B (zh) | 基于文本的三维人体模型生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |