CN113034560A - 非均匀纹理迁移方法及装置 - Google Patents
非均匀纹理迁移方法及装置 Download PDFInfo
- Publication number
- CN113034560A CN113034560A CN202110224145.XA CN202110224145A CN113034560A CN 113034560 A CN113034560 A CN 113034560A CN 202110224145 A CN202110224145 A CN 202110224145A CN 113034560 A CN113034560 A CN 113034560A
- Authority
- CN
- China
- Prior art keywords
- texture
- image
- sample
- color
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005012 migration Effects 0.000 title claims abstract description 47
- 238000013508 migration Methods 0.000 title claims abstract description 47
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 53
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 53
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 238000001308 synthesis method Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000012173 estrus Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 9
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000898323 Microtus irani Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010429 water colour painting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
非均匀纹理迁移方法及装置，提高纹理迁移的合成质量，尤其是纹理的颜色丰富程度以及分布特性与样本纹理保持一致；处理更为复杂的纹理图像，使得纹理迁移适应性更加广泛，使用户更加直观控制合成过程，实现自由地控制纹理迁移的结果。通过输入样本及一组语义标注图，经过以下步骤生成目标纹理图：(1)纹理结构提取:通过用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；(2)多尺度迭代纹理合成:将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。
Description
技术领域
本发明涉及计算机图形学和计算机图像处理的技术领域，尤其涉及一种非均匀纹理迁移方法，以及非均匀纹理迁移装置。
背景技术
近年来，纹理迁移已广泛应用于各类图像编辑场景中，包括图像重建、图像修复、图像压缩、视频合成以及图像和视频的风格化等应用场景。虽然纹理图像可以通过很多方法获取，如手工绘图或摄影。但涉及到生产环节则需要使用相同的大量纹理。目前，基于样图的纹理迁移仍然是最流行的方法之一，因为这类方法能处理多种类型的纹理，并且简单易用，用户只需要提供一个样本即可生成高质量的纹理结果。合成的结果可以是任意大小且不会包含过多的重复或不自然的痕迹，用户可以简单的复制出需要的大面积纹理。
虽然基于样图的纹理迁移方法上出现了很多的进展，但这些方法本质上都是假设输入样本纹理是是均匀、重复的，如人造建筑，地板，印花布料的纹理等，所以目前的算法可以较好的处理一些重复且规则纹理。然而，现实生活中的纹理丰富多彩，变化诸多。一方面，存在着很多变化复杂的自然纹理，内部可以是多种不同材质组成，或者是大量人工制作的纹理，包括带有笔触细节，如水彩、油画的纹理，这些纹理包含一些空域变化，例如纹理在颜色、亮度、模式、大小和方向上在纹理空域范围内都有变化；另一方面，存在着按照对称、旋转、平移或者方向分布的纹理，这类纹理存在明显的空间分布规律，但也不满足均匀、重复的特性，所以将上述二者统称为非均匀纹理。
对于上述两类纹理，目前的纹理迁移技术效果较差，常常会出现细节不自然、断裂及重复过多等缺点。找到一种根据纹理类型自适应的纹理迁移方法显得非常重要，将会大大拓展了纹理迁移技术的拓展性，更好的为实际生产服务。同时，仅靠单一的样本不能达到高质量的合成效果。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种非均匀纹理迁移方法，其针对上述两类非均匀纹理，一方面提高纹理迁移的合成质量，尤其是纹理的颜色丰富程度以及分布特性与样本纹理保持一致；另一方面，一定的交互性能够处理更为复杂的纹理图像，如包含高层语义信息的纹理图像，这样使得纹理迁移适应性更加广泛，通过监督式的方式，使用户更加直观控制合成过程，实现自由地控制纹理迁移的结果。
本发明的技术方案是：这种非均匀纹理迁移方法，通过输入样本及一组语义标注图，经过以下步骤生成目标纹理图：
(1)纹理结构提取:通过用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；
(2)多尺度迭代纹理合成:将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。
通过用户输入纹理样本的语义图和目标语义，用户可以通过现有的图像编辑工具绘制语义图，作为合成结果的控制手段，连同纹理样本一起作为纹理迁移框架的输入，因此能够提高纹理迁移的合成质量，尤其是纹理的颜色丰富程度以及分布特性与样本纹理保持一致。在合成过程中，基于多尺度优化的纹理合成算法，将语义图作为附加通道加入到纹理图像中，计算样本语义图与目标语义图差异作为额外的惩罚项加入到纹理优化算法中去，一定的交互性能够处理更为复杂的纹理图像，如包含高层语义信息的纹理图像，这样使得纹理迁移适应性更加广泛，通过监督式的方式，使用户更加直观控制合成过程，实现自由地控制纹理迁移的结果。另外，考虑纹理合成算法中的纹理颜色直方图特征以及图像块的连续程度，在纹理合成算法中的颜色投票步骤中将二者作为权值约束合成结果，以实现高质量的纹理迁移。
还提供了非均匀纹理迁移装置，该装置包括：
纹理结构提取模块，其用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；
多尺度迭代纹理合成模块，其将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。
附图说明
图1为本发明的非均匀纹理迁移方法的基本步骤图；
图2为本发明的非均匀纹理迁移方法的具体步骤图；
图3为结构提取步骤的示意图；
图4为本发明对于轮廓渐变纹理的合成结果；
图5为图像块连续程度的计算方式；
图6为不同语义区域颜色直方图的计算方式；
图7为本发明的不同非均匀纹理合成结果；
图8为本发明的不同文本纹理合成结果。
具体实施方式
如图1所示，这种非均匀纹理迁移方法，通过输入样本及一组语义标注图，经过以下步骤生成目标纹理图：
(1)纹理结构提取:通过用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；
(2)多尺度迭代纹理合成:将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。
通过用户输入纹理样本的语义图和目标语义，用户可以通过现有的图像编辑工具绘制语义图，作为合成结果的控制手段，连同纹理样本一起作为纹理迁移框架的输入，因此能够提高纹理迁移的合成质量，尤其是纹理的颜色丰富程度以及分布特性与样本纹理保持一致。在合成过程中，基于多尺度优化的纹理合成算法，将语义图作为附加通道加入到纹理图像中，计算样本语义图与目标语义图差异作为额外的惩罚项加入到纹理优化算法中去，一定的交互性能够处理更为复杂的纹理图像，如包含高层语义信息的纹理图像，这样使得纹理迁移适应性更加广泛，通过监督式的方式，使用户更加直观控制合成过程，实现自由地控制纹理迁移的结果。另外，考虑纹理合成算法中的纹理颜色直方图特征以及图像块的连续程度，在纹理合成算法中的颜色投票步骤中将二者作为权值约束合成结果，以实现高质量的纹理迁移。
优选地，所述步骤(1)包括以下分步骤：
(1.1)使用SLIC超级像素分割算法将语义图分割为多个超像素，将s定义为SLIC算法分割的超像素区域大小，且s＝λseg*n，其中n是图像中的像素数，λseg是用来控制超级像素的大小的参数；
(1.2)使用均值漂移算法Mean-Shift对所有超像素的平均向量进行聚类并进行编号；均值偏移算法的带宽表示为bw，并将bw的值固定为0.2，从而对不同语义进行编号并获得其精确区域，并将每个区域记录为r；
(1.3)对不同语义区域提取距离特征，分别对不同语义区域计算像素到区域轮廓的距离，距离的计算方式为公式(1)：
其中，Ω为不同区域组成的轮廓，dist(P)计算从像素p到最近的轮廓像素o(o∈Ω)的欧几里德距离。
优选地，所述步骤(2)包括以下分步骤：
(2.1)使用随机映射对每个区域r的样本的相应区域初始化映射表φ，映射表φ的长宽等同于目标图像T，通道数为5，分别记录图像块的横坐标x，纵坐标y，旋转参数θ，缩放参数s，反射参数τ，该映射表为每个目标像素q分配一个样本图像块P；
(2.2)通过GPM算法来搜索给定T和S之间的最佳对应关系来最小化目标函数，为了扩大搜索空间以获得更好的结果，GPM算法允许样本中图像块P中的像素i进行几何变换，表示为公式(2)：
f(i)＝γδRΔi+p (2)
其中p是样本中图像块P的中心像素坐标，Δi表示i对于像素p的相对坐标，γ为缩放算子，参数为s，且s∈[smin，smax]，其中，smin，Smax是缩放参数，δ为反射算子，参数为τ，且τ∈{-1，1}，R表示旋转矩阵，参数为θ，表示为公式(3)：
在最低分辨率的初始化目标图像之后，通过多尺度迭代的方法最小化目标函数，目标函数作为引导搜索相似块的准则，目标函数表示为公式(4)：
其中P是样本S中的图像块，Q是目标图像T中的图像块，P、Q均代表图像中5×5的图像块，所有图像块以向量形式进行计算；Eapp、Estru和Edist分别为外观项、结构项和距离项，三者共同构成目标函数，用于GPM算法的相似块搜索步骤；
(2.3)对于目标图像中的每一像素q，其颜色计算方式为公式(9)：
其中i是图像块P中的第i个像素，wc，i是图像块P的连续性权值，描述像素i处图像块的连续程度，wr，h，i是图像块P的颜色直方图权值，描述像素i处的颜色对直方图的贡献，cp，i是图像块P中第i个像素的颜色值；
wc，i的计算方式为公式(10)：
其中，G是高斯核函数，σ是连续性范围，φ是从目标图到样本的相似块映射关系。
优选地，所述外观项Eapp计算样本和目标图像对S、T和图像块P、Q之间RGB三通道的L2范式差异，该项控制样本当前计算图像块和目标当前计算图像块的相似程度，计算两个标注块P、Q的平方差，表示为式(5)：
Eapp(P，Q)＝||P-Q||2 (5)。
优选地，所述结构项Estru为公式(6)：
Estru(P，Q)＝wd||P′-Q′||2 (6)
wd为对图像块加权的权值，控制结构项对语义边界处纹理合成的过渡效果，通过公式(7)计算区域轮廓Ω附近的图像块权值wd：
其中P是当前计算的图像块，Px是S中的任意图像块，
优选地，通过改变参数λedge来抑制优化算法在不同区域轮廓边缘附近的约束，当λedge＝0时，wd＝1；通过控制λedge来控制图像块权值wd，使得合成结果边界部分的过渡逐渐自然。
优选地，所述项Edist计算样本纹理和合成纹理在特征上的差异，由于目标的纹理应与样本纹理具有相似的距离分布，引入了距离项，表示为公式(8)：
Edist(P，Q)＝(dist(P)-dist(Q))2 (8)
其中dist(P)和dist(Q)分别是从像素p和q到最近区域轮廓像素
o(o∈Ω)的欧几里德距离。
优选地，所述步骤(2.3)中，wr，h，i为基于语义区域计算的颜色直方图权值，用于保证纹理的颜色丰富程度，计算方式为公式(11)：
其中，Ht，r表示目标图像T中区域r的颜色直方图，Hs，r表示目标图像S中区域r的颜色直方图，j是当前颜色通道，算法为每个RGB通道构建直方图，H(b)表示直方图中的bin b，bj(c)表示直方图中包含颜色c的bin。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种非均匀纹理迁移装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
纹理结构提取模块，其用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；
多尺度迭代纹理合成模块，其将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。
优选地，所述多尺度迭代纹理合成模块将获取的纹理信息集成到多尺度纹理合成算法中，整个纹理合成任务在图像金字塔上执行，算法在低分辨率的图像上初始化目标图，并在不同分辨率下交替执行搜索和投票步骤，通过GPM算法搜索目标图中所有图像块在样本中的相似块，最小化合成目标图与样本之间的图像块相似性的能量函数，算法将纹理合成任务定义为能量函数的形式，在寻找到目标纹理和样本纹理的相似图像块之后，将这些相似图像块通过加权颜色投票的形式进行混合，得到最终的目标纹理。
以下更详细地说明本发明。
图1展示了本发明纹理迁移方法的基本步骤图，可以通过输入样本及一组语义标注图，自动生成目标纹理图。本发明中的纹理合成算法建立在多尺度优化的纹理合成算法之上，并通过不同语义区域的颜色信息和局部纹理的一致性来保持纹理质量。框架包括纹理结构提取和多尺度迭代优化的纹理合成步骤。首先通过(1)结构提取步骤获取不同语义区域的纹理信息，再通过(2)多尺度纹理合成步骤合成目标纹理图像，为了便于说明，将步骤中用到的基本符号进行汇总，如表1所示：
表1
| 符号 | 说明 | 符号 | 说明 |
| S | 样本纹理 | Q′ | T′中的图像块 |
| T | 合成纹理 | p | P的中心像素(坐标) |
| S′ | 样本语义 | q | Q的中心像素(坐标) |
| T′ | 目标语义 | i | P和Q中的第i个像素 |
| P | S中的图像块 | c | 像素对应的RGB值 |
| Q | T中的图像块 | r | 纹理区域编号 |
| P′ | S′中的图像块 | λ | 参数 |
下面结合如图2所示的具体步骤图对上述两个步骤进行详细说明：
(1)结构提取步骤：获取样本纹理的具体的语义区域及对应的序号和距离分布特征，并将这些特征用于后续的纹理合成算法。如图3所示，算法分别对样本语义S′和目标语义T′进行结构提取，以获得它们精确的区域标签。具体步骤如下：
(1.1)使用SLIC超级像素分割算法将语义图分割为多个超像素(Super pixel)，将s定义为SLIC算法分割的超像素区域大小，且s＝λseg*n，其中n是图像中的像素数，λseg是用来控制超级像素的大小的参数。
(1.2)使用均值漂移算法(Mean-Shift)算法对所有超像素的平均向量进行聚类并进行编号。均值偏移算法的带宽表示为bw，并将bw的值固定为0.2。这一步骤可以对不同语义进行编号并获得其精确区域，并将每个区域记录为r
(1.3)对不同语义区域提取距离特征，分别对不同语义区域计算像素到区域轮廓的距离，因为距离信息在描述纹理时同样重要。距离的计算方式如式(1)所示：
其中，Ω为不同区域组成的轮廓，dist(P)计算从像素p到最近的轮廓像素o(o∈Ω)的欧几里德距离。
(2)多尺度纹理合成步骤：将结构提取步骤获取的纹理信息集成到多尺度纹理合成算法中，本发明的纹理合成算法建立在多尺度优化的纹理合成算法之上，整个纹理合成任务在图像金字塔上执行，算法在低分辨率的图像上初始化目标图，并在不同分辨率下交替执行搜索和投票步骤，通过GPM算法(Generalized PatchMatch)搜索目标图中所有图像块在样本中的相似块，最小化合成目标图与样本之间的图像块相似性的能量函数。算法将纹理合成任务定义为能量函数的形式，在寻找到目标纹理和样本纹理的相似图像块之后，将这些相似图像块通过加权颜色投票的形式进行混合，得到最终的目标纹理。如图2所示，可以将纹理合成步骤分为初始化、引导搜索和颜色投票三个步骤，具体说明如下：
(2.1)初始化：使用随机映射对每个区域r的样本的相应区域初始化映射表φ，映射表φ的长宽等同于目标图像T，通道数为5，分别记录图像块的横坐标x，纵坐标y，旋转参数θ，缩放参数s，反射参数τ。该映射表为每个目标像素q分配一个样本图像块P。
(2.2)引导搜索：主要是通过GPM算法来搜索给定T和S之间的最佳对应关系来最小化目标函数。为了扩大搜索空间以获得更好的结果，GPM算法允许样本中图像块P中的像素i进行几何变换，表示为式(2)：
f(i)＝γδRΔi+p (2)
其中p是样本中图像块P的中心像素坐标，Δi表示i对于像素p的相对坐标，γ为缩放算子，参数为s，且s∈[smin，smax]，其中，smin，smax是缩放参数。δ为反射算子，参数为τ，且τ∈{-1，1}。R表示旋转矩阵，参数为θ，表示为式(3)：
在最低分辨率的初始化目标图像之后，通过多尺度迭代的方法最小化目标函数，目标函数作为引导搜索相似块的准则，目标函数表示为式(4)：
其中P是样本S中的图像块，Q是目标图像T中的图像块，P、Q均代表图像中5×5的图像块，所有图像块以向量形式进行计算。Eapp、Estru和Edist分别为外观项、结构项和距离项，三者共同构成目标函数，用于GPM算法的相似块搜索步骤。其中：
外观项Eapp计算样本和目标图像对S、T和图像块P、Q之间RGB三通道的L2范式差异，该项控制样本当前计算图像块和目标当前计算图像块的相似程度，计算两个标注块P、Q的平方差，表示为式(5)：
Eapp(P，Q)＝||P-Q||2 (5)
结构项Estru计算样本和目标语义序号对S、T和图像块P′、Q′之间的L2范式差异，该项控制样本和目标图语义序号的一致性。通过计算两个图像块间语义序号P′、Q′的平方差，表示为式(6)：
Estru(P，Q)＝wd||P′-Q′||2 (6)
算法在合成纹理的边界处过渡是不自然的。通过引入一个在对图像块加权的权值wd来控制结构项对轮廓的影响。使用公式(7)计算区域轮廓Ω附近的图像块权值wd：
其中P是当前计算的图像块，Px是S中的任意图像块。dist(P)计算从像素p到不同区域最近的轮廓像素o(o∈Ω)的欧几里德距离。可以通过改变参数λedge来抑制优化算法在不同区域轮廓边缘附近的约束，当λedge＝0时，wd＝1。本发明通过控制λedge来控制图像块权值wd。如图4所示，第一行为图像块权值wd的可视化，白色对应值为1，黑色对应值为0。第二行为不同λedge的合成结果，其中图(a)中λedge＝0，图(b)中λedge＝0.2，图(c)中λedge＝0.5，图(d)中λedge＝1。可以看到合成结果边界部分的过渡逐渐自然。
距离项Edist计算样本纹理和合成纹理在特征上的差异。由于目标的纹理应与样本纹理具有相似的距离分布，本文引入了距离项，表示为公式(8)：
Edist(P，Q)＝(dist(P)-dist(Q))2 (8)
如(1.3)中对距离的定义，其中dist(P)和dist(Q)分别是从像素p和q到最近区域轮廓像素o(o∈Ω)的欧几里德距离。
(2.3)颜色投票：本发明在(Y.Wexler，E.Shechtman，and M.Irani.2007.Space-Time Completion of Video.IEEE Transactions on Pattern Analysis and MachineIntelligence 29，3(2007)，463-476.)的基础上修改了原有的颜色投票机制，以消除伪影，提高纹理质量。对于目标图像中的每一像素q，其颜色计算方式如公式(9)所示：
其中i是图像块P中的第i个像素。wc，i是图像块P的连续性权值，描述像素i处图像块的连续程度。wr，h，i是图像块P的颜色直方图权值，描述像素i处的颜色对直方图的贡献。cp，i是图像块P中第i个像素的颜色值。
图7所示为计算相邻像素q和i所对应的图像块的连续程度，并将图像块的分散程度(红色箭头)定义为图像块连续度权值wc，i，确保合成图像块的连续性，这种措施可以一定程度上消除伪影。wc，i的计算方式如公式(10)所示：
其中，G是高斯核函数，σ是连续性范围。φ是从目标图到样本的相似块映射关系。图7展示了图像块连续程度的定义，wc，i鼓励所有重叠的图像块尽可能连续，所以连续的图像块具有更高的权值。
另外，本发明还引入了一个基于语义区域计算的颜色直方图权值wr，h，i，用于保证纹理的颜色丰富程度，计算方式如公式(11)所示：
其中，Ht，r表示目标图像T中区域r的颜色直方图，Hs，r表示目标图像S中区域r的颜色直方图。公式(11)鼓励减少重复颜色的图像块的权值，这有助于减少合成结果与样本对应颜色直方图之间的差异，从而保证不同区域的纹理颜色一致。j是当前颜色通道，算法为每个RGB通道构建直方图。H(b)表示直方图中的bin b，bj(c)表示直方图中包含颜色c的bin。颜色直方图权值旨在减少颜色不匹配样本直方图特征的图像块的权值，这有助于减少结果颜色直方图与样本颜色直方图之间的差异。因此，基于区域计算的颜色直方图匹配可以保持结果的颜色相似性，而非重复使用相同颜色的纹理。
图6为本发明所述的方法对多种图像进行纹理迁移的结果示例，图7为本发明对文字特效图像进行纹理迁移的结果示例，从左到右分别为样本纹理、样本语义、目标语义和合成结果。可以看到，本发明所述的方法能够在用户的控制下，进行高质量的纹理迁移，有效地保留了生成图像纹理颜色特征和细节特征，生成符合用户预期的纹理迁移图像。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.非均匀纹理迁移方法，其特征在于：通过输入样本及一组语义标注图，经过以下步骤生成目标纹理图：
(1)纹理结构提取：通过用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；
(2)多尺度迭代纹理合成：将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。
2.根据权利要求1所述的非均匀纹理迁移方法，其特征在于：所述步骤(1)包括以下分步骤：
(1.1)使用SLIC超级像素分割算法将语义图分割为多个超像素，将s定义为SLIC算法分割的超像素区域大小，且s＝λseg*n，其中n是图像中的像素数，λseg是用来控制超级像素的大小的参数；
(1.2)使用均值漂移算法Mean-Shift对所有超像素的平均向量进行聚类并进行编号；均值偏移算法的带宽表示为bw，并将bw的值固定为0.2，从而对不同语义进行编号并获得其精确区域，并将每个区域记录为r；
(1.3)对不同语义区域提取距离特征，分别对不同语义区域计算像素到区域轮廓的距离，距离的计算方式为公式(1)：
其中，Ω为不同区域组成的轮廓，dist(P)计算从像素p到最近的轮廓像素o(o∈Ω)的欧几里德距离。
3.根据权利要求2所述的非均匀纹理迁移方法，其特征在于：所述步骤(2)包括以下分步骤：
(2.1)使用随机映射对每个区域r的样本的相应区域初始化映射表φ，映射表φ的长宽等同于目标图像T，通道数为5，分别记录图像块的横坐标x，纵坐标y，旋转参数θ，缩放参数s，反射参数τ，该映射表为每个目标像素q分配一个样本图像块P；
(2.2)通过GPM算法来搜索给定T和S之间的最佳对应关系来最小化目标函数，为了扩大搜索空间以获得更好的结果，GPM算法允许样本中图像块P中的像素i进行几何变换，表示为公式(2)：
f(i)＝γδRΔi+p (2)
其中p是样本中图像块P的中心像素坐标，Δi表示i对于像素p的相对坐标，γ为缩放算子，参数为s，且s∈[smin，smax]，其中，smin，smax是缩放参数，δ为反射算子，参数为τ，且τ∈{-1，1}，R表示旋转矩阵，参数为θ，表示为公式(3)：
在最低分辨率的初始化目标图像之后，通过多尺度迭代的方法最小化目标函数，目标函数作为引导搜索相似块的准则，目标函数表示为公式(4)：
其中P是样本S中的图像块，Q是目标图像T中的图像块，P、Q均代表图像中5×5的图像块，所有图像块以向量形式进行计算；Eapp、Estru和Edist分别为外观项、结构项和距离项，三者共同构成目标函数，用于GPM算法的相似块搜索步骤；
(2.3)对于目标图像中的每一像素q，其颜色计算方式为公式(9)：
其中i是图像块P中的第i个像素，wc，i是图像块P的连续性权值，描述像素i处图像块的连续程度，wr，h，i是图像块P的颜色直方图权值，描述像素i处的颜色对直方图的贡献，cp，i是图像块P中第i个像素的颜色值；
wc，i的计算方式为公式(10)：
其中，G是高斯核函数，σ是连续性范围，φ是从目标图到样本的相似块映射关系。
4.根据权利要求3所述的非均匀纹理迁移方法，其特征在于：所述外观项Eapp计算样本和目标图像对S、T和图像块P、Q之间RGB三通道的L2范式差异，该项控制样本当前计算图像块和目标当前计算图像块的相似程度，计算两个标注块P、Q的平方差，表示为式(5)：
Eapp(P，Q)＝||P-Q||2 (5)。
5.根据权利要求4所述的非均匀纹理迁移方法，其特征在于：所述结构项Estru为公式(6)：
Estru(P，Q)＝wd||P′-Q′||2 (6)
wd为对图像块加权的权值，控制结构项对语义边界处纹理合成的过渡效果，通过公式(7)计算区域轮廓Ω附近的图像块权值wd：
其中P是当前计算的图像块，Px是S中的任意图像块，
6.根据权利要求5所述的非均匀纹理迁移方法，其特征在于：通过改变参数λedge来抑制优化算法在不同区域轮廓边缘附近的约束，当λedge＝0时，wd＝1；通过控制λedge来控制图像块权值wd，使得合成结果边界部分的过渡逐渐自然。
7.根据权利要求6述的非均匀纹理迁移方法，其特征在于：所述项Edist计算样本纹理和合成纹理在特征上的差异，由于目标的纹理应与样本纹理具有相似的距离分布，引入了距离项，表示为公式(8)：
Edist(P，Q)＝(dist(P)-dist(Q))2 (8)
其中dist(P)和dist(Q)分别是从像素p和q到最近区域轮廓像素o(o∈Ω)的欧几里德距离。
8.根据权利要求7的非均匀纹理迁移方法，其特征在于：所述步骤(2.3)中，wr，h，i为基于语义区域计算的颜色直方图权值，用于保证纹理的颜色丰富程度，计算方式为公式(11)：
其中，Ht，r表示目标图像T中区域r的颜色直方图，Hs，r表示目标图像S中区域r的颜色直方图，j是当前颜色通道，算法为每个RGB通道构建直方图，H(b)表示直方图中的bin b，bj(c)表示直方图中包含颜色c的bin。
9.非均匀纹理迁移装置，其特征在于：其包括：
纹理结构提取模块，其用户监督的方式提取纹理特征，从输入纹理样本中提取颜色和分布特征；
多尺度迭代纹理合成模块，其将纹理的颜色和分布特征集成到基于优化的纹理合成方法中，基于优化的纹理合成方法利用这些特征来约束纹理迁移目标函数，目标函数通过迭代搜索相似图像块，利用投票步骤合成纹理，最终生成满足用户需求的高质量非均匀纹理。
10.根据权利要求9所述的非均匀纹理迁移装置，其特征在于：
所述多尺度迭代纹理合成模块将获取的纹理信息集成到多尺度纹理合成算法中，整个纹理合成任务在图像金字塔上执行，算法在低分辨率的图像上初始化目标图，并在不同分辨率下交替执行搜索和投票步骤，通过GPM算法搜索目标图中所有图像块在样本中的相似块，最小化合成目标图与样本之间的图像块相似性的能量函数，算法将纹理合成任务定义为能量函数的形式，在寻找到目标纹理和样本纹理的相似图像块之后，将这些相似图像块通过加权颜色投票的形式进行混合，得到最终的目标纹理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110224145.XA CN113034560A (zh) | 2021-02-22 | 2021-02-22 | 非均匀纹理迁移方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110224145.XA CN113034560A (zh) | 2021-02-22 | 2021-02-22 | 非均匀纹理迁移方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113034560A true CN113034560A (zh) | 2021-06-25 |
Family
ID=76464771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110224145.XA Pending CN113034560A (zh) | 2021-02-22 | 2021-02-22 | 非均匀纹理迁移方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034560A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188462A (zh) * | 2023-04-24 | 2023-05-30 | 深圳市翠绿贵金属材料科技有限公司 | 一种基于视觉鉴定的贵金属质量检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163239A (zh) * | 2019-01-25 | 2019-08-23 | 太原理工大学 | 一种基于超像素和条件随机场的弱监督图像语义分割方法 |
| CN110288667A (zh) * | 2018-03-19 | 2019-09-27 | 北京大学 | 一种基于结构引导的图像纹理迁移方法 |
| CN110458906A (zh) * | 2019-06-26 | 2019-11-15 | 重庆邮电大学 | 一种基于深度颜色迁移的医学图像着色方法 |
-
2021
- 2021-02-22 CN CN202110224145.XA patent/CN113034560A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110288667A (zh) * | 2018-03-19 | 2019-09-27 | 北京大学 | 一种基于结构引导的图像纹理迁移方法 |
| CN110163239A (zh) * | 2019-01-25 | 2019-08-23 | 太原理工大学 | 一种基于超像素和条件随机场的弱监督图像语义分割方法 |
| CN110458906A (zh) * | 2019-06-26 | 2019-11-15 | 重庆邮电大学 | 一种基于深度颜色迁移的医学图像着色方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188462A (zh) * | 2023-04-24 | 2023-05-30 | 深圳市翠绿贵金属材料科技有限公司 | 一种基于视觉鉴定的贵金属质量检测方法及系统 |
| CN116188462B (zh) * | 2023-04-24 | 2023-08-11 | 深圳市翠绿贵金属材料科技有限公司 | 一种基于视觉鉴定的贵金属质量检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10424087B2 (en) | Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures | |
| Li et al. | A closed-form solution to photorealistic image stylization | |
| Wang et al. | Multimodal transfer: A hierarchical deep convolutional neural network for fast artistic style transfer | |
| US8655069B2 (en) | Updating image segmentation following user input | |
| Li et al. | Example-based image colorization using locality consistent sparse representation | |
| Pierre et al. | Luminance-chrominance model for image colorization | |
| Zhang et al. | Style transfer via image component analysis | |
| US20050271273A1 (en) | Foreground extraction using iterated graph cuts | |
| Arbelot et al. | Local texture-based color transfer and colorization | |
| Lin et al. | Painterly animation using video semantics and feature correspondence | |
| Li et al. | Globally and locally semantic colorization via exemplar-based broad-GAN | |
| CN115512036A (zh) | 一种基于本征神经辐射场的可编辑新颖视图合成方法 | |
| Pierre et al. | Recent approaches for image colorization | |
| Kuzovkin et al. | Descriptor-based image colorization and regularization | |
| Giraud et al. | Superpixel-based color transfer | |
| Fang et al. | Hand-drawn grayscale image colorful colorization based on natural image | |
| CN113034560A (zh) | 非均匀纹理迁移方法及装置 | |
| Murray et al. | Towards automatic concept transfer | |
| CN114187215A (zh) | 基于图像分割的局部重着色算法 | |
| Liu | An overview of color transfer and style transfer for images and videos | |
| CN113298821A (zh) | 一种基于Nystrom谱聚类的超像素抠图方法 | |
| Wang et al. | Region Assisted Sketch Colorization | |
| Liu et al. | Saliency-guided image style transfer | |
| Basavaprasad et al. | Improved grabcut technique for segmentation of color image | |
| Yan et al. | Re-texturing by intrinsic video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |