CN114972611B - 一种基于引导匹配损失的深度纹理合成方法及相关设备 - Google Patents

一种基于引导匹配损失的深度纹理合成方法及相关设备 Download PDF

Info

Publication number
CN114972611B
CN114972611B CN202210839491.3A CN202210839491A CN114972611B CN 114972611 B CN114972611 B CN 114972611B CN 202210839491 A CN202210839491 A CN 202210839491A CN 114972611 B CN114972611 B CN 114972611B
Authority
CN
China
Prior art keywords
texture
target
source
guide
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210839491.3A
Other languages
English (en)
Other versions
CN114972611A (zh
Inventor
周漾
陈凯健
黄惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210839491.3A priority Critical patent/CN114972611B/zh
Publication of CN114972611A publication Critical patent/CN114972611A/zh
Application granted granted Critical
Publication of CN114972611B publication Critical patent/CN114972611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于引导匹配损失的深度纹理合成方法及相关设备，所述方法包括：获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理；基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合；获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像。本发明利用深度特征提取器，通过简单的损失反向传播优化方式，实现了任意分辨率、高真实感、灵活及实时的纹理合成。

Description

一种基于引导匹配损失的深度纹理合成方法及相关设备
技术领域
本发明涉及计算机图形学技术领域，尤其涉及一种基于引导匹配损失的深度纹理合成方法、终端及计算机可读存储介质。
背景技术
在真实场景中，自然物体表面存在着复杂的图案及肌理，这些图案及肌理存在一定重复性模式，被统称为纹理。纹理图像是影像与三维场景的重要组成部分，被广泛于图像编辑合成、图像修补、模型贴图等计算机图像处理、图形学应用中，服务于虚拟城市、影视动画、游戏制作领域。随着计算机算力的高速增长，各领域对合成影像及三维场景真实性提出了更高的要求，
因此，高质量纹理图像的获取环节必不可缺。纹理图像的获取通常采用手绘及摄影的方式，然而，其获取结果受到采集设备的分辨率限制，难以应用于更大规模的三维场景表面贴图上；此外，影视艺术等领域常常存在基于源素材图片，通过素材图片的某种属性（纹理变化、局部朝向等）进行引导编辑合成的需求，然而现有引导合成方法要么效率低下，要么合成结果不符合预期。
纹理合成算法可大致分为传统纹理合成算法及深度纹理合成算法。
在传统纹理合成算法中，例如将合成纹理所有图块与源纹理图块的匹配误差的总和定义为纹理能量函数，方法通过迭代进行最近邻图块匹配及图块融合，逐渐降低纹理能量函数，进而获得局部上与源纹理相似的合成结果。例如根据图像局部匹配的连续性，将邻域匹配传播及随机搜索的机制引入图块匹配过程中，大大地提升了搜索最近邻的效率。例如针对纹理合成结果结构不完整、多样性不足问题，额外引入自动提取的结构特征以保证合成结果结构；引入重复率图，约束合成结果尽可能包含源图所有图块，该方法可实现高质量的纹理扩展合成。例如针对非均匀纹理，设计了一种纹理自动化分析及可控合成方法，提出利用单值渐变图对目标纹理局部模式进行控制，借助无向方向图对纹理局部朝向进行控制，从而实现高精度的非均匀纹理可控合成。
上述传统纹理合成方法采用迭代优化的方式进行合成，其合成速度较为缓慢，难以实现实时编辑合成。此外，传统方法使用颜色、边缘等低语义级别特征信息，合成结果可能存在结构连贯性不足等瑕疵。
深度纹理合成算法主要包括基于优化纹理特征及基于前馈网络的方法。例如在基于优化纹理特征的方法中，提出将图像的深度特征图的统计信息格拉姆矩阵作为深度纹理特征，对图像的全局性纹理属性进行建模，该方法缺少局部纹理的控制能力，无法进行精细化控制合成。例如出基于马尔科夫随场的纹理损失（CNNMRF），该损失使用深度特征图块作为局部特征，通过最小化目标深度特征图块与最近邻源图块的差异，进行深度纹理优化。然而，该方法合成结果局部存在一定模糊，且纹理重复感较为严重。例如提出基于瓦瑟斯坦距离的纹理损失（Sliced Wasserstein），该损失通过最小化源和目标纹理局部特征分布的切片瓦瑟斯坦距离，从而使得二者分布一致，进而合成目标纹理。基于前馈网络的可控合成方法大多基于大数据集训练，如果直接用于训练单一纹理引导图到纹理图像的映射，网络将倾向于过拟合训练引导图，难以处理与训练引导图差异较大的目标引导图。
深度纹理合成方法由于各方法限制，难以实现高质量的、可拓展性强的纹理扩展及可控合成任务。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于引导匹配损失的深度纹理合成方法、终端及计算机可读存储介质，旨在解决现有技术中纹理合成速度较为缓慢，难以实现实时编辑合成，难以实现高质量的、可拓展性强的纹理扩展及可控合成任务的问题。
为实现上述目的，本发明提供一种基于引导匹配损失的深度纹理合成方法，所述基于引导匹配损失的深度纹理合成方法包括如下步骤：
获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理；
基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合；
获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像。
所述的基于引导匹配损失的深度纹理合成方法，其中，所述获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理，具体包括：
获取目标纹理的目标像素
Figure 565741DEST_PATH_IMAGE001
，在初始化目标像素
Figure 238031DEST_PATH_IMAGE001
时，根据对应目标引导值
Figure 204850DEST_PATH_IMAGE002
，从源引导图中找到具有相同引导值的源坐标位置
Figure 569972DEST_PATH_IMAGE003
，从源坐标位置
Figure 255031DEST_PATH_IMAGE004
中随机选择一个获取对应颜色
Figure 871957DEST_PATH_IMAGE006
作为当前像素颜色；
将目标纹理所有位置进行填充，获得局部颜色分布符合目标引导的初始化目标纹理
Figure 83496DEST_PATH_IMAGE008
。
所述的基于引导匹配损失的深度纹理合成方法，其中，所述深度语义特征提取器为VGG19网络；
所述基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合，具体包括：
将源纹理和初始化目标纹理分别输入VGG19网络
Figure 494886DEST_PATH_IMAGE009
中，提取VGG19网络
Figure 667241DEST_PATH_IMAGE009
的conv2_1、 conv3_1和 conv4_1中间层特征图，获得多尺度源纹理深度特征图
Figure 681333DEST_PATH_IMAGE011
和目标纹理深度特征图
Figure 888324DEST_PATH_IMAGE013
：
Figure 470615DEST_PATH_IMAGE014
；
其中，
Figure 989321DEST_PATH_IMAGE015
表示源纹理在特征提取层
Figure 948050DEST_PATH_IMAGE016
提取的深度特征图，
Figure 9546DEST_PATH_IMAGE018
表示目标纹理在特征提取层
Figure 887373DEST_PATH_IMAGE019
提取的深度特征图；
提取各层特征图块，获得源深度特征图块集合
Figure 34320DEST_PATH_IMAGE020
及目标深度特征图块集合
Figure 390215DEST_PATH_IMAGE022
：
Figure 306219DEST_PATH_IMAGE023
；
其中，
Figure 495891DEST_PATH_IMAGE025
代表图块化处理函数，
Figure 989190DEST_PATH_IMAGE026
代表图块的大小，s代表图块提取的步长，
Figure 289721DEST_PATH_IMAGE028
表示使用图块大小为
Figure 60231DEST_PATH_IMAGE026
、步长为s对源纹理深度特征图进行图块提取，
Figure 279860DEST_PATH_IMAGE030
表示使用图块大小为
Figure 401399DEST_PATH_IMAGE026
、步长为s对目标纹理深度特征图进行图块提取。
所述的基于引导匹配损失的深度纹理合成方法，其中，所述获取目标深度特征图块集合和源深度特征图块集合的匹配误差，具体包括：
构建重复率图对各个源深度特征图块的出现次数进行记录，所述重复率图是一个记录每个源深度特征图块被目标深度特征图块匹配次数的图；
获得所有目标深度特征图块
Figure 974463DEST_PATH_IMAGE032
的最近邻源图块
Figure 989693DEST_PATH_IMAGE033
；
基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图
Figure 255589DEST_PATH_IMAGE034
；
在获得重复率图
Figure 598846DEST_PATH_IMAGE035
后，重新计算所有目标深度特征图块与源深度特征图块的距离，计算过程中额外考虑源深度特征图块的重复出现次数，获得新的距离及最近邻关系；
根据所有目标深度特征图块的损失总和计算总引导匹配损失。
所述的基于引导匹配损失的深度纹理合成方法，其中，所述基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图
Figure 631392DEST_PATH_IMAGE034
，具体包括：
对于任意一个目标深度特征图块
Figure 110915DEST_PATH_IMAGE032
，计算该目标深度特征图块
Figure 813292DEST_PATH_IMAGE032
与所有源深度特征图块
Figure 508759DEST_PATH_IMAGE037
的特征距离
Figure 689204DEST_PATH_IMAGE039
，获得最近邻源图块的源索引位置
Figure 413447DEST_PATH_IMAGE041
：
Figure 286725DEST_PATH_IMAGE042
；
对源深度特征图块
Figure 604574DEST_PATH_IMAGE044
被作为最近邻指向的次数进行统计：
Figure 447765DEST_PATH_IMAGE045
；
其中，
Figure 167459DEST_PATH_IMAGE046
表示重复率图
Figure 211639DEST_PATH_IMAGE035
的j位置，用于对源深度特征图块
Figure 875838DEST_PATH_IMAGE044
被指向的次数进行统计；
对所有为源位置j进行相同操作，获得重复率图
Figure 663666DEST_PATH_IMAGE035
。
所述的基于引导匹配损失的深度纹理合成方法，其中，所述重新计算所有目标深度特征图块与源深度特征图块的距离，具体包括：
在获得重复率图
Figure 972287DEST_PATH_IMAGE035
后，为特征距离
Figure 312002DEST_PATH_IMAGE039
引入重复出现惩罚项，获得最终引导距离
Figure 338863DEST_PATH_IMAGE047
：
Figure 664803DEST_PATH_IMAGE048
；
其中，
Figure 218144DEST_PATH_IMAGE049
表示重复出现的最佳次数，
Figure 604126DEST_PATH_IMAGE050
表示目标深度特征图块的总数，
Figure 118284DEST_PATH_IMAGE051
表示源深度特征图块的总数，
Figure 372547DEST_PATH_IMAGE053
表示距离项的权重。
所述的基于引导匹配损失的深度纹理合成方法，其中，所述根据所有目标深度特征图块的损失总和计算总引导匹配损失，具体包括：
通过标准化及指数变换操作，将引导距离
Figure 655761DEST_PATH_IMAGE047
转换为相似度
Figure 478224DEST_PATH_IMAGE054
：
Figure 338732DEST_PATH_IMAGE055
；
其中，
Figure 6474DEST_PATH_IMAGE057
表示对引导距离
Figure 409774DEST_PATH_IMAGE047
进行转换，
Figure 262192DEST_PATH_IMAGE058
表示找到目标深度特征图块i与所有源深度特征图块的最近距离，
Figure 219784DEST_PATH_IMAGE060
，用于防止除零操作，
Figure 956795DEST_PATH_IMAGE061
表示带宽参数；
使用标准化的相似度作为上下文相似度
Figure 73656DEST_PATH_IMAGE063
：
Figure 972342DEST_PATH_IMAGE064
；
其中，
Figure 948388DEST_PATH_IMAGE066
源深度特征图块的位置索引；
对每一个目标深度特征图块
Figure 82566DEST_PATH_IMAGE032
，将上下文相似度最高的源深度特征图块
Figure 194879DEST_PATH_IMAGE044
作为最近邻图块，获得
Figure 389100DEST_PATH_IMAGE032
的引导匹配损失；
最终将所有目标深度特征图块的损失总和作为总引导匹配损失：
Figure 586863DEST_PATH_IMAGE067
；
其中，
Figure 665677DEST_PATH_IMAGE068
，为目标特征图块i的最近邻源深度特征图块位置索引。
所述的基于引导匹配损失的深度纹理合成方法，其中，所述基于引导匹配损失的深度纹理合成方法还包括：
在引导距离中额外加入引导图距离，使得源纹理和目标纹理中具备相同引导特征的区域纹理一致，实现可控引导合成；
所述在引导距离中额外加入引导图距离，使得源纹理和目标纹理中具备相同引导特征的区域纹理一致，实现可控引导合成，具体包括：
给定额外源纹理引导图
Figure 757130DEST_PATH_IMAGE069
及目标纹理引导图
Figure 997619DEST_PATH_IMAGE071
，将源纹理引导图
Figure 682678DEST_PATH_IMAGE069
下采样至源深度特征图
Figure 424238DEST_PATH_IMAGE072
大小获得
Figure 245563DEST_PATH_IMAGE074
，图块化操作后获得对应源引导图块
Figure 656953DEST_PATH_IMAGE076
；将目标纹理引导图
Figure 953942DEST_PATH_IMAGE071
下采样至目标深度特征图
Figure 108980DEST_PATH_IMAGE077
大小获得
Figure 50391DEST_PATH_IMAGE078
，图块化操作后获得对应目标引导图块
Figure 22895DEST_PATH_IMAGE079
：
Figure 416967DEST_PATH_IMAGE080
；
在特征距离度量过程中，为原始的特征距离
Figure 375696DEST_PATH_IMAGE081
额外引入引导距离
Figure 126326DEST_PATH_IMAGE082
，实现可控纹理合成：
Figure 145097DEST_PATH_IMAGE083
Figure 885520DEST_PATH_IMAGE084
；
其中，
Figure 647940DEST_PATH_IMAGE085
是一个引导权重项，用于调控引导图对匹配距离的影响，
Figure 563943DEST_PATH_IMAGE086
代表引导图块间的距离计算函数。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于引导匹配损失的深度纹理合成程序，所述基于引导匹配损失的深度纹理合成程序被所述处理器执行时实现如上所述的基于引导匹配损失的深度纹理合成方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于引导匹配损失的深度纹理合成程序，所述基于引导匹配损失的深度纹理合成程序被处理器执行时实现如上所述的基于引导匹配损失的深度纹理合成方法的步骤。
本发明中，获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理；基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合；获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像。本发明利用深度特征提取器，通过简单的损失反向传播优化方式，实现了任意分辨率、高真实感、灵活及实时的纹理合成。
附图说明
图1是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例的流程图；
图2是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例的基于引导匹配损失的深度纹理优化过程示意图；
图3是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中目标纹理初始化示意图；
图4是现有技术中马尔科夫随机场损失合成结果存在的多样性不足及局部模糊问题的示意图；
图5是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中重复率图的获取过程的示意图；
图6是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中引导距离的计算过程的示意图;
图7是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于上下文相似度的匹配误差的欧几里距离的示意图；
图8是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于上下文相似度的匹配误差的上下文相似度的示意图；
图9是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于引导场的可控合成示意图；
图10是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于有监督训练的生成网络存在一定泛化问题的示意图；
图11是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于引导损失的可控纹理合成网络示意图；
图12是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中随机目标引导图生成策略的示意图；
图13是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中不同出现距离权重的纹理扩展合成结果的示意图；
图14是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中使用不同误差项的非均匀纹理合成结果的示意图；
图15是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中纹理扩展合成结果的示意图；
图16是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于渐变引导图的非均匀纹理合成结果的示意图；
图17是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于方向引导图的非均匀纹理合成结果的示意图；
图18是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中二者协同控制的非均匀纹理合成结果的示意图；
图19是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于标注图的纹理合成结果的示意图；
图20是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中纹理扩展合成结果对比的示意图；
图21是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于渐变引导图的非均匀纹理合成结果对比的示意图；
图22是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于方向图及协同控制的非均匀纹理引导合成效果对比的示意图；
图23是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于渐变引导图的非均匀纹理合成结果的示意图；
图24是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于方向图的非均匀纹理合成结果的示意图；
图25是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中基于渐变引导图的非均匀纹理合成结果对比的示意图；
图26是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中合成训练中引导匹配损失与Sliced Wasserstein损失的结果对比的示意图；
图27是本发明基于引导匹配损失的深度纹理合成方法的较佳实施例中损失消融实验结果的示意图；
图28为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的主要目标是实现任意分辨率、高真实感、灵活及实时的纹理合成。本发明分两步完成：首先，本发明提出了一种基于引导匹配损失的深度纹理优化方法，该方法可实现高真实感的纹理扩展及可控合成；此外，本发明基于引导匹配损失训练一个纹理合成前馈网络，加速合成过程，使纹理可控合成过程达到实时。
本发明首先提出了一个基于引导匹配损失的深度纹理优化方法，其核心思想是结合传统纹理优化方法合成效果真实性高及深度特征语义信息丰富的特点，将纹理优化过程应用于纹理的深度特征图中，进而获得高真实感及语义结构完整的合成纹理。深度纹理优化的过程主要包括以下两步：目标纹理特征图块的最近邻源特征图块搜索过程及匹配误差反向传播优化目标纹理过程。通过迭代进行以上操作，逐步优化目标纹理，使得目标纹理视觉上与源纹理保持一致。然而，单纯通过最近邻搜索及匹配误差回传，可能导致合成结果重复性明显、局部模糊问题。为解决以上问题，本发明提出了一引导匹配损失，通过引入源重复率图，在目标特征图块的最近邻源特征图块搜索时，将源特征图块出现的次数作为额外距离项，约束合成结果尽可能均匀地指向源纹理，解决合成纹理多样性缺失问题；通过在匹配误差中引入上下文信息，使得目标特征图块不仅需要与最近邻源特征图块相似，同时要与其他源特征图块不相似，取代现有方法直接优化匹配两者距离的方式，进而获得局部更加清晰与真实的合成结果。此外，本发明提出在目标特征图块的最近邻源特征图块搜索过程中，添加额外引导距离项，使得合成结果在一定程度上符合引导图趋势，进而实现符合用户预期的高真实感纹理合成。经过实验证明，不管在纹理扩展合成及可控合成问题上，本方法合成结果局部清晰、不存在明显重复，在视觉真实性上超过了现有纹理损失，媲美传统方法效果。
为实现实时可控合成，本发明提出基于引导匹配损失的可控纹理合成网络，来显式学习单张源引导图到源纹理的映射。训练过程中，由于训练数据集仅为单张引导图及对应纹理图像，仅采用有监督训练会导致网络泛化能力不足问题-网络仅能处理与源引导图相似的目标引导图，当两者差异较大时，网络生成的目标纹理存在明显结构及纹理细节丢失。为了解决以上问题，本发明提出一种基于随机目标引导图及引导匹配损失的无监督训练方式，大大地提升了网络的泛化性。经过实验表明，该方法可根据任意目标引导图，合成符合引导趋势、纹理细节真实的目标纹理。
本发明基于源纹理
Figure 612671DEST_PATH_IMAGE088
及额外引导条件（源纹理引导图
Figure 246914DEST_PATH_IMAGE090
及目标纹理引导图
Figure 547446DEST_PATH_IMAGE091
），合成高质量的目标纹理
Figure 177010DEST_PATH_IMAGE093
，将传统纹理优化算法用于富含语义信息的深度特征，通过迭代进行目标图块的最近邻源图块搜索、匹配误差反向传播优化目标图像，从而最小化目标纹理与源纹理的局部纹理差异，合成与源纹理一致的目标纹理图像（如图2所示，提取源纹理和目标纹理的特征，对所有目标深度特征图块
Figure 537584DEST_PATH_IMAGE032
而言，使用引导距离找到最相似的源特征图块，进而计算上下文损失，进行反向传播优化目标纹理，迭代进行以上步骤，最终获得目标纹理）。为解决现有方法合成结果多样性不足、局部模糊的问题，本方法提出一引导匹配损失，该损失为最近邻搜索过程的距离度量引入空间平均约束，显式约束目标深度特征图块匹配到尽可能多样的源图块，进而使得合成纹理更为多样；该损失为匹配误差引入上下文信息，不仅约束目标深度特征图块与最近邻源深度特征图块相似，还要与其他源深度特征图块不相似，进而使合成结果具备更好的局部细节；此外，该损失支持额外引导图输入，进而实现高质量的引导控制合成。本节方法将详细阐述深度纹理优化流程及现有方法的问题，并通过实验结果展示及对比，证明本方法的可用性和优越性。
深度纹理优化流程首先对目标纹理进行初始化，而在每次迭代优化过程中，分别提取源纹理及目标纹理的深度特征，进行纹理损失的计算及梯度反向传播优化，重复迭代优化过程直至损失收敛，即可获得最终纹理。
本发明较佳实施例所述的基于引导匹配损失的深度纹理合成方法，如图1和图2所示，所述基于引导匹配损失的深度纹理合成方法包括以下步骤：
步骤S10、获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理。
具体地，传统纹理优化方法指出，合成效果受到目标纹理初始化显著影响。为了使得合成结果在总体颜色感知上与源纹理一致，本发明基于源纹理颜色进行目标纹理的初始化。针对扩展合成任务，本发明将为目标纹理的每个像素初始化为源纹理的随机像素值，进而获得基本具备源纹理颜色分布的目标纹理（如图3所示）。针对引导合成任务，为了保证目标纹理尽可能符合目标引导图趋势，本发明采用源和目标像素级引导值的对应关系，对目标纹理进行像素级别初始化。其核心思想是：获取目标纹理的目标像素
Figure 127966DEST_PATH_IMAGE001
，在初始化目标像素
Figure 356822DEST_PATH_IMAGE001
时，根据对应目标引导值
Figure 247417DEST_PATH_IMAGE002
，从源引导图中找到具有相同引导值的源坐标位置
Figure 513314DEST_PATH_IMAGE004
，从源坐标位置
Figure 981204DEST_PATH_IMAGE004
中随机选择一个获取对应颜色
Figure 623538DEST_PATH_IMAGE006
作为当前像素颜色（如图3所示）；通过以上方法，将目标纹理所有位置进行填充，即可获得局部颜色分布符合目标引导的初始化目标纹理
Figure 103061DEST_PATH_IMAGE008
。
步骤S20、基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合。
具体地，利用训练于大数据集分类任务的VGG19网络对图像进行中间层特征提取，获得的深度特征图具有丰富的语义信息，即本发明的所述深度语义特征提取器优选为VGG19网络。本发明沿用上述方法，基于VGG19网络作为深度语义特征提取器，提取源纹理和目标纹理的多尺度语义特征，进而获取对应深度特征图块。具体而言，首先将源纹理和初始化目标纹理分别输入VGG19网络
Figure 930071DEST_PATH_IMAGE009
中，提取VGG19网络
Figure 760624DEST_PATH_IMAGE009
的conv2_1、 conv3_1和 conv4_1中间层特征图，获得多尺度源纹理深度特征图
Figure 206649DEST_PATH_IMAGE011
和目标纹理深度特征图
Figure 930891DEST_PATH_IMAGE013
：
Figure 804170DEST_PATH_IMAGE094
；
其中，
Figure 590860DEST_PATH_IMAGE015
表示源纹理在特征提取层
Figure 965209DEST_PATH_IMAGE016
（例如conv2_1, conv3_1，…）提取的深度特征图，
Figure 419325DEST_PATH_IMAGE095
表示目标纹理在特征提取层
Figure 463504DEST_PATH_IMAGE096
提取的深度特征图；
其次，提取各层特征图块，获得源深度特征图块集合
Figure 127703DEST_PATH_IMAGE020
及目标深度特征图块集合
Figure 649952DEST_PATH_IMAGE022
：
Figure 224153DEST_PATH_IMAGE097
；
其中，
Figure 563867DEST_PATH_IMAGE025
代表图块化处理函数，
Figure 590729DEST_PATH_IMAGE026
代表图块的大小，s代表图块提取的步长，
Figure 916668DEST_PATH_IMAGE099
表示使用图块大小为
Figure 470009DEST_PATH_IMAGE026
、步长为s对源纹理深度特征图进行图块提取，
Figure 590412DEST_PATH_IMAGE101
表示使用图块大小为
Figure 229204DEST_PATH_IMAGE026
、步长为s对目标纹理深度特征图进行图块提取；例如
Figure 358834DEST_PATH_IMAGE103
。由于各层特征损失计算方式相同，下文将省略对特征层索引
Figure 642047DEST_PATH_IMAGE016
的标记。
步骤S30、获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像。
具体地，深度纹理优化中，最关键的步骤就是获取目标深度特征图块和源深度特征图块的匹配误差（后文提到的深度特征图块都是指深度特征图块集合），进而根据反向传播优化图像的方式合成目标纹理图像。匹配误差的计算过程可分为两步，分别是目标图块的最近邻源图块搜索过程及匹配损失计算过程。本发明将介绍现有深度纹理优化方法的具体实现及存在的问题，进而引出本发明的引导匹配损失。
现有方法马尔科夫随机场损失在特征图块距离计算过程中，对于每个目标特征图块，采用特征的余弦相似度作为图块间的相似性度量，即：
Figure 323564DEST_PATH_IMAGE104
；
其中，
Figure 59439DEST_PATH_IMAGE106
，
Figure 992760DEST_PATH_IMAGE108
分别是目标深度特征图块和源深度特征图块的位置索引。在匹配误差计算过程中，该方法使用欧几里得距离计算各目标特征图块的匹配误差，将其总和作为最终损失，即：
Figure 520693DEST_PATH_IMAGE109
；
其中，
Figure 248478DEST_PATH_IMAGE110
，表示目标深度特征图块
Figure 471649DEST_PATH_IMAGE111
在源深度特征图块集合
Figure 333295DEST_PATH_IMAGE113
中最近邻图块的位置索引。
然而，观察马尔科夫随机场损失的合成结果，如图4所示，发现：
（1）合成纹理存在明显重复感。深度纹理优化框架采用随机噪声进行目标图像初始化，并且对每个目标特征图块而言，将余弦相似度最大的源特征图块作为匹配图块。这种贪婪的最近邻获取方法没有明显约束目标深度特征图块指向尽可能多样的源深度特征图块，容易造成“多对一”问题，即多个目标深度特征图块匹配了相同的源深度特征图块，从而导致目标纹理重复感明显、缺乏多样性。
（2）合成纹理存在明显局部模糊问题。本发明认为，该问题主要来源于匹配误差的计算中，使用欧几里得距离衡量指标。在深度纹理优化过程中，迭代进行最近邻匹配及反向梯度传播的主要目的是获得趋向稳定的最近邻场（Nearest Neighbor Field），用于记录所有目标深度特征图块的最终源深度特征图块匹配结果。由于纹理存在一定重复性，深度特征图块之间在高维空间中非常接近，单纯使用最小化基于欧几里得距离的匹配误差，可能导致多次迭代过程中，同一个目标深度特征图块匹配得到的源特征图块不断发生变化，使得该目标深度特征图块趋向于变化的源深度特征图块的平均，最终合成模糊的结果。
为了解决以上问题，本发明提出一个适用于深度纹理优化的引导匹配损失，分别对现有最近邻搜索过程中的距离度量及匹配损失计算进行了改进，最终合成纹理更为多样、清晰。
针对现有方法存在明显重复感问题，本发明在最近邻搜索中的距离度量中引入空间均匀约束，在计算目标深度特征图块与源深度特征图块的距离时，额外考虑该源深度特征图块已出现在目标纹理中的次数，如果出现次数过多则增加额外距离，进而惩罚同一源图块被过多指向的情况。通过构建重复率图对各个源深度特征图块的出现次数进行记录。
如图5所示，引导距离示意：图5是重复率图的获取过程，所述重复率图是一个记录每个源深度特征图块被目标深度特征图块匹配次数的图，首先获得所有目标深度特征图块
Figure 591101DEST_PATH_IMAGE115
的最近邻源图块
Figure 224207DEST_PATH_IMAGE033
，随后基于最近邻关系，统计所有源深度特征图块被指向的次数，进而获得源的重复率图
Figure 330747DEST_PATH_IMAGE116
（黑白单通道图，白色部分代表该位置被大量指向）；如图6所示，图6是引导距离的计算过程，在获得重复率图
Figure 340291DEST_PATH_IMAGE116
后，重新计算所有目标深度特征图块与源深度特征图块的距离，其计算过程中额外考虑源深度特征图块的重复出现次数，进而获得新的距离及最近邻关系。
重复率图
Figure 452604DEST_PATH_IMAGE116
的获取过程具体为：重复率图的j位置
Figure 646824DEST_PATH_IMAGE118
负责对源深度特征图块
Figure 844588DEST_PATH_IMAGE119
指向的次数进行统计，进而记录该图块重复出现在合成纹理的次数。具体而言，对于任意一个目标深度特征图块
Figure 923402DEST_PATH_IMAGE032
，计算该目标深度特征图块
Figure 749276DEST_PATH_IMAGE032
与所有源深度特征图块
Figure 255343DEST_PATH_IMAGE037
的特征距离
Figure 799457DEST_PATH_IMAGE121
，获得最近邻源图块的源索引位置
Figure 150804DEST_PATH_IMAGE123
：
Figure 237709DEST_PATH_IMAGE124
；
对源深度特征图块
Figure 39312DEST_PATH_IMAGE044
被作为最近邻指向的次数进行统计：
Figure 946088DEST_PATH_IMAGE045
；
其中，
Figure 366705DEST_PATH_IMAGE046
表示重复率图
Figure 432750DEST_PATH_IMAGE035
的j位置，用于对源深度特征图块
Figure 15041DEST_PATH_IMAGE044
被指向的次数进行统计；
对所有为源位置j进行相同操作，即可获得重复率图
Figure 674692DEST_PATH_IMAGE035
。
引导距离的计算过程为：在获得重复率图
Figure 758055DEST_PATH_IMAGE035
后，为原有的特征距离
Figure 819552DEST_PATH_IMAGE039
引入重复出现惩罚项，进而获得最终引导距离
Figure 307165DEST_PATH_IMAGE047
：
Figure 578746DEST_PATH_IMAGE048
；
其中，
Figure 341166DEST_PATH_IMAGE049
表示重复出现的最佳次数，与源深度特征图块数量和目标深度特征图块数量的比值相关，
Figure 991590DEST_PATH_IMAGE050
表示目标深度特征图块的总数，
Figure 40317DEST_PATH_IMAGE051
表示源深度特征图块的总数，
Figure 408982DEST_PATH_IMAGE053
表示距离项的权重，本发明中设置为
Figure 568568DEST_PATH_IMAGE125
。
针对原有合成结果局部模糊问题，本发明提出一个基于上下文相似度的匹配误差计算方法，该方法的核心思想是，在计算每个目标深度特征图块的匹配误差时，为匹配误差引入上下文信息，不仅约束目标深度特征图块与最近邻源深度特征图块相似，同时约束该图块和其他源深度特征图块不相似，以更强的约束迫使该图块与匹配图块尽可能一致，进而增强匹配的确定性，如图7和图8所示，基于上下文相似度的匹配误差：使用上下文相似度作为匹配误差，其核心思想是，不仅约束目标深度特征图块与最近邻源深度特征图块相似，其他源深度特征图块也将尽可能排斥该目标特征，从而使得
Figure 604657DEST_PATH_IMAGE127
与最近邻源深度特征图块匹配更快、差异更小。
下面将详细介绍匹配误差的计算方式：
首先，通过标准化及指数变换操作，将引导距离
Figure 965231DEST_PATH_IMAGE047
转换为相似度
Figure 821192DEST_PATH_IMAGE054
：
Figure 784468DEST_PATH_IMAGE055
；
其中，
Figure 675064DEST_PATH_IMAGE057
表示对引导距离
Figure 65594DEST_PATH_IMAGE047
进行转换，
Figure 408851DEST_PATH_IMAGE058
表示找到目标深度特征图块i与所有源深度特征图块的最近距离，
Figure 51185DEST_PATH_IMAGE060
，用于防止除零操作，
Figure 655341DEST_PATH_IMAGE061
表示带宽参数，例如
Figure 357718DEST_PATH_IMAGE128
；
其次，为了使得二者相似性考虑到其它源深度特征图块，使用标准化的相似度作为上下文相似度
Figure 188271DEST_PATH_IMAGE063
：
Figure 493350DEST_PATH_IMAGE064
；
其中，
Figure 92959DEST_PATH_IMAGE066
源深度特征图块的位置索引；
最后，对每一个目标深度特征图块
Figure 966237DEST_PATH_IMAGE032
，将上下文相似度最高的源深度特征图块
Figure 143140DEST_PATH_IMAGE044
作为最近邻图块，要求二者上下文相似度尽可能地大，从而获得
Figure 392856DEST_PATH_IMAGE032
的引导匹配损失；
最终将所有目标深度特征图块的损失总和作为总引导匹配损失：
Figure 846971DEST_PATH_IMAGE067
；
其中，
Figure 891151DEST_PATH_IMAGE068
，为目标特征图块i的最近邻源深度特征图块位置索引。
Figure 555350DEST_PATH_IMAGE130
，NN(i）为索引，指代第i个目标深度特征图块与最相似的源深度特征图块的上下文相似度。
在最大化目标特征图块
Figure 343178DEST_PATH_IMAGE032
与其最近邻源图块
Figure 917378DEST_PATH_IMAGE131
的上下文相似度的过程中，
Figure 985654DEST_PATH_IMAGE132
指第i个目标深度特征图块的最相似源深度特征图块，带有标准化的相似度衡量不仅要求
Figure 278095DEST_PATH_IMAGE032
和
Figure 463089DEST_PATH_IMAGE132
尽可能相似，同时要求
Figure 891796DEST_PATH_IMAGE032
和
Figure 543357DEST_PATH_IMAGE133
Figure 57515DEST_PATH_IMAGE044
，
Figure 311779DEST_PATH_IMAGE134
尽可能不相似，迫使
Figure 594993DEST_PATH_IMAGE032
尽快与
Figure 151876DEST_PATH_IMAGE132
达成一致，从而加速了优化收敛的速度及收敛的质量，进而提升合成效果的局部纹理清晰度及完整性。
引导匹配损失具备较强的可扩展性，通过在引导距离中额外加入引导图距离，使得源、目标纹理中具备相同引导特征的区域纹理一致，即可实现可控引导合成。具体而言，给定额外源纹理引导图
Figure 277964DEST_PATH_IMAGE069
及目标纹理引导图
Figure 945706DEST_PATH_IMAGE071
，将源纹理引导图
Figure 349005DEST_PATH_IMAGE069
下采样至源深度特征图
Figure 201424DEST_PATH_IMAGE135
大小获得
Figure 690174DEST_PATH_IMAGE136
（下采样的源引导图），图块化操作后获得对应源引导图块
Figure 896027DEST_PATH_IMAGE076
；将目标纹理引导图
Figure 278467DEST_PATH_IMAGE071
下采样至目标深度特征图
Figure 442732DEST_PATH_IMAGE137
大小获得
Figure 153199DEST_PATH_IMAGE078
（下采样的目标引导图），图块化操作后获得对应目标引导图块
Figure 287377DEST_PATH_IMAGE139
：
Figure 665269DEST_PATH_IMAGE080
；
在特征距离度量过程中，为原始的特征距离
Figure 469277DEST_PATH_IMAGE081
额外引入引导距离
Figure 57253DEST_PATH_IMAGE082
，进而实现可控纹理合成（如图9所示，在特征图块的距离计算中额外考虑引导特征距离）：
Figure 870488DEST_PATH_IMAGE141
Figure 837307DEST_PATH_IMAGE143
；
其中，
Figure 202430DEST_PATH_IMAGE144
是一个引导权重项，用于调控引导图对匹配距离的影响，
Figure 887489DEST_PATH_IMAGE145
代表引导图块间的距离计算函数。
本发明以多尺度的方式，从粗到精地进行深度纹理优化，以合成最终高分辨率、高质量的目标纹理。具体而言，首先进行最粗糙、低分辨率的目标纹理合成，根据引导匹配损失反向传播优化，逐渐优化目标纹理直至损失收敛，进而获得当前尺度的目标纹理结果。此后，将合成纹理进行上采样，进行下一个尺寸的目标纹理合成。这种多尺度的纹理合成方法非常有利于提高合成结果的视觉效果，因为粗糙尺度的合成可为精细尺度合成提供一个更好的初始化，避免优化过程陷入局部最优解。
为了实现实时可控合成，本发明将聚焦于训练深度前馈网络，显式学习引导图到纹理图像的映射。网络在训练完成后，给定任意引导图，可实时合成符合引导趋势的高质量纹理图像。不过，训练前馈网络往往需要大量数据集支持，而可控纹理合成往往仅有单张纹理及对应引导图作为训练数据，单纯使用生成对抗网络及图像翻译技术训练网络会致使网络泛化能力不足（如图10所示，基于有监督训练的生成网络存在一定泛化问题，当目标引导图输入与源引导图存在较大差异时，合成结果局部存在明显瑕疵，如图10中局部细节模糊，砖块结构缺失），即网络仅能处理与参考引导图相似的目标引导图，当目标引导图与源引导图存在巨大差异时，难以合成合理结果。
如前所述，引导匹配损失可衡量引导图约束下目标纹理和源纹理的纹理损失，该计算过程可微，可进一步用于前馈网络的训练中。如果在网络训练过程中，额外增加一种合成训练（如图11虚线流所示），该训练过程将随机目标引导图作为目标纹理输入，将训练纹理及引导图作为源输入，并且借助引导匹配损失，约束合成结果尽可能符合目标引导趋势，那么网络泛化能力不足的问题将获得有效缓解。以下将从训练数据构造、网络结构、训练过程对方法进行阐述，并且通过实验证明方法的有效性
如图11所示，基于引导损失的可控纹理合成网络示意：网络在每次训练过程中，动态生成的源纹理图块、引导图块及随机目标引导图数据，借助重建训练（图11中虚线箭头流）及合成训练（图11中实线箭头流），使得网络学习引导图到对应纹理的映射。训练完成后，网络可实现以任意引导图为输入，输出符合引导图控制的合成纹理结果。
本发明的数据集由源纹理及引导图块数据集
Figure 363470DEST_PATH_IMAGE146
及对应随机目标引导图
Figure 450374DEST_PATH_IMAGE148
组成，以下将进行图块数据集获得过程的详细介绍。
本发明的基本数据集为源纹理
Figure 127343DEST_PATH_IMAGE150
及对应引导图
Figure 158753DEST_PATH_IMAGE152
。为增加训练样本多样性，本发明从源纹理及源引导图中裁剪出多个256×256像素的图块
Figure 313791DEST_PATH_IMAGE153
作为扩增的基本数据集。
基于引导匹配损失进行网络训练的关键步骤之一是随机目标引导图的数据合成。为了更好的适配引导匹配损失，需要根据引导匹配损失的特性进行随机目标引导图的合成设计。首先，在不考虑对源纹理进行旋转或者翻转的数据增强情况下，引导匹配损失仅考虑符合栅格坐标系的目标纹理、源纹理及引导图特征，如果合成引导图的局部特征不存在于源引导图，将导致局部匹配出错，容易产生错误的梯度。为此，在训练时基于源引导图块
Figure 520781DEST_PATH_IMAGE154
进行目标引导图的生成，从而保证目标引导图的每个局部特征都能在原引导图中找到合适的对应关系。此外，由于目标引导图通常采用手绘的方式进行，为了模仿自然绘制的引导图存在的随机扰动，本发明借助柏林噪声辅助进行随机目标引导图的增强。基于以上考量，本发明设计了三种目标引导图的生成方式，如图12所示，具体三种生成方式如下：
（1）向源引导图块
Figure 227706DEST_PATH_IMAGE155
中注入柏林噪声。其核心在于构建源引导图块的拉普拉斯金字塔，进而添加不同尺度的柏林噪声。具体而言，构建源引导图块
Figure 887358DEST_PATH_IMAGE155
的拉普拉斯金字塔
Figure 580507DEST_PATH_IMAGE156
，计算每层的均值
Figure 501059DEST_PATH_IMAGE158
与方差
Figure 519830DEST_PATH_IMAGE159
。其次，为不同层金字塔注入均值方差与同层一致的随机柏林噪声
Figure 401199DEST_PATH_IMAGE160
，进而通过拉普拉斯金字塔重建方法合成目标引导图块
Figure 288252DEST_PATH_IMAGE162
。
（2）裁剪源引导图块
Figure 204256DEST_PATH_IMAGE155
的局部区域，进行随机比例重采样。裁剪策略保证了获得的目标引导图
Figure 862770DEST_PATH_IMAGE162
中，各局部特征都可以在源引导图块中找到对应关系。而随机比例重采样则为增加了目标样本尺寸的多样性，防止网络过拟合于同一尺寸的引导图。
（3）使用随机尺度的柏林噪声。为了增加网络处理极端目标引导图的能力，本发明额外设置了不同尺度的柏林噪声作为初始化目标引导图
Figure 621647DEST_PATH_IMAGE164
，由于不同尺度的柏林噪声具有不同的噪声周期，该数据增强能大大地增加目标引导图数据集的样本多样性。随后，使用直方图配准技术调整目标引导图，以约束其色值分布尽可能与源引导图一致。
借助以上数据扩增及数据生成方式，可获得无数的图块数据集
Figure 922179DEST_PATH_IMAGE165
，该图块数据集随机、多样，随后将被用于前馈网络的训练中。
本发明网络结构基于SPADE，主要由生成网络与基于引导图条件的图块判别网络组成。其中，生成网络负责将引导图映射到纹理图像，而基于引导图条件的图块判别网络则负责根据引导图条件，对输入图像各个图块区域进行真实性的评估，下面将分别对生成网络和基于引导图条件的判别网络进行详细介绍。
生成网络架构：生成网络
Figure 692689DEST_PATH_IMAGE167
主要负责将目标引导图映射到目标纹理。该网络输入主要包括：潜在向量图输入
Figure DEST_PATH_IMAGE168
及引导图输入
Figure 646738DEST_PATH_IMAGE169
，其中，潜在向量图采用均匀分布作为采样空间，即
Figure 768278DEST_PATH_IMAGE171
。本发明的生成网络
Figure 737414DEST_PATH_IMAGE167
基于SPADE。每个残差网络模块分为可学习支及不可学支，其中可学习支由两个[SPADE，活函数ReLU，3×3卷积层]模块组成，不可学习支直接将残差块的输入上采样至可学习支输出结果的大小，最终残差模块结果由二者逐像素值求和获得。
基于引导图条件的判别网络架构 基于引导图条件的图块判别网络
Figure DEST_PATH_IMAGE172
主要负责根据对应引导图条件，判断输入图像的每个图块是否真实。判别网络以图像输入及引导图条件为输入，由多个卷积模块及下采样模块组成。将图像及引导图图像作为网络输入，经过一定数量的卷积层及下采样操作后，将获得一个单通道二维矩阵，该矩阵的每个位置值越接近于1，则表示对应图像的感受野区域越符合真实图块分布。为了尽可能保证合成结果的多尺度图块真实性，本发明中使用多尺度的判别网络，对图像不同尺度的图块进行真假判别。
本方法主要采用重建训练及合成训练的方式（如图11所示），令生成网络学习引导图到纹理图像的映射，即
Figure DEST_PATH_IMAGE174
。下面将从网络训练过程及损失设计进行详细介绍。
在每次训练的过程中，给定源纹理图块、源引导图图块、随机目标引导图
Figure 690327DEST_PATH_IMAGE175
，本发明首先进行源纹理的重建合成及目标纹理合成，获得重建源纹理图块
Figure DEST_PATH_IMAGE177
及目标纹理
Figure DEST_PATH_IMAGE179
，即
Figure 549698DEST_PATH_IMAGE180
Figure DEST_PATH_IMAGE181
，
Figure 361796DEST_PATH_IMAGE182
，其中，
Figure 394343DEST_PATH_IMAGE184
及
Figure 139445DEST_PATH_IMAGE186
分别为随机采样的潜在向量图。基于重建结果及目标合成结果，本发明采用特征匹配损失、引导匹配损失、对抗损失进行生成网络及判别网络的训练：
为了令网络学习源引导图到源纹理图像的映射
Figure 576243DEST_PATH_IMAGE188
，本发明使用特征匹配损失，显式约束重建结果与源纹理图块尽可能逐像素特征一致：
Figure DEST_PATH_IMAGE189
；
其中，
Figure 265850DEST_PATH_IMAGE190
表示特征匹配损失，
Figure 446296DEST_PATH_IMAGE192
及
Figure DEST_PATH_IMAGE193
分别是
Figure DEST_PATH_IMAGE195
和
Figure 373801DEST_PATH_IMAGE196
输入预训练的VGG19网络后提取的第
Figure DEST_PATH_IMAGE197
层特征，而
Figure DEST_PATH_IMAGE199
则表示各层损失的权重。
为了显式增强网络处理任意引导输入的能力，本发明借助引导匹配损失，约束目标纹理尽可能地符合引导图趋势，即：
Figure 574975DEST_PATH_IMAGE200
；
其中，
Figure 17458DEST_PATH_IMAGE202
表示引导匹配损失，
Figure DEST_PATH_IMAGE203
表示引导匹配损失的计算过程，
Figure 470436DEST_PATH_IMAGE204
是引导图距离权重。
为了保证重建及合成结果的纹理细节及真实性，本发明借助对抗损失训练生成网络及判别网络，其对应损失如下所示：
Figure DEST_PATH_IMAGE205
；
Figure 783605DEST_PATH_IMAGE206
；
其中，
Figure DEST_PATH_IMAGE207
，
Figure 421260DEST_PATH_IMAGE208
分别是生成器对抗损失及判别器对抗损失，
Figure 226405DEST_PATH_IMAGE209
；
综上所述，本发明所使用的总损失函数如下所示：
Figure 14232DEST_PATH_IMAGE210
；
其中，
Figure 713067DEST_PATH_IMAGE211
，
Figure 662568DEST_PATH_IMAGE213
分别为特征匹配损失及引导匹配损失的权重参数。
别发明提出了一种适用于深度网络的引导匹配损失，并且基于该损失进行深度纹理优化框架设计，实现高真实感的纹理扩展合成；实验证明，基于引导匹配损失的纹理扩展合成结果局部清晰、结构完整、无明显重复感，效果超越现有纹理扩展合成方法。
该损失能结合额外的引导通道实现对纹理合成的引导控制，进而实现可控纹理合成。本发明引导匹配损失可在最近邻搜索过程中，额外增加引导图距离，约束源纹理及目标纹理具有相同引导值的区域具备相似的纹理。实验证明，方法在应对非均匀纹理合成或者基于标注图的纹理合成任务时，都可以合成符合引导控制、局部纹理结构保留完整的目标纹理图像，体现出方法本身较强的可拓展性。
该损失能应用于训练前馈网络，实现实时纹理合成。在纹理扩展合成中，本发明可借助引导匹配损失训练网络学习噪声到纹理图像的映射，使纹理扩展合成过程达到实时；在可控合成中，本发明提出了一个基于引导匹配损失的可控合成网络，在有监督重建训练的基础上，额外提出一种结合随机目标引导图及引导匹配损失的合成训练，训练网络在学习源引导图到源纹理图像的映射的同时，可根据各式各样引导图输入，合成纹理结构完整的目标结果。实验证明，该方法可大大提升可控纹理合成的效率及泛化能力，实现实时可控合成。
本发明与目前最先进的传统及深度纹理扩展合成及可控合成方法进行了比较，在扩展合成任务中，本发明的合成结果在局部语义结构上获得了更好的保留，传统纹理合成结果存在局部模糊，深度纹理合成方法存在局部细节失真、重复感明显等问题。在可控合成任务中，本发明与现有深度可控合成方法进行了对比，相比而言本发明的引导设置更为灵活，且局部细节上明显优于其他合成方法。而本发明的实时版本中，提出一个目标引导图数据增强策略，并结合引导匹配损失大大地提升了网络训练的稳定性，从而获得高质量的实时可控合成网络。本发明与Sliced Wasserstein损失进行对比，发现本发明更适合用于稳定训练。
为了解不同重复出现惩罚项权重对合成结果的影响，本发明分别采用权重
Figure DEST_PATH_IMAGE214
=0.005和
Figure 548485DEST_PATH_IMAGE214
=0.05进行扩展合成实验，结果如图13所示。通过观察发现，在不增加出现距离约束的情况下（
Figure 874424DEST_PATH_IMAGE215
），合成结果各局部区域保持清晰，但是这些区域都指向了相似的源纹理区域（实际中的棕红色纹理区域），结果多样性明显不足。随着出现距离权重的增大，合成结果逐渐拥有源图中的其他纹理信息，局部纹理多样性获得有效提升，这也说明出现距离项的有效性。
本发明分别使用上下文匹配误差与使用的L2误差，进行挑战性较强的非均匀纹理合成实验，其合成结果如图14所示。本发明发现，基于L2误差项的合成结果尽管符合目标引导图的变化趋势，但是其局部区域存在纹理细节模糊问题。具体而言，在其合成结果中，每个砖块都丢失了源纹理中砖块的复杂材质，原有高频信息没有得到有效保留。而基于上下文匹配误差的合成结果则不同，其中每个砖块细节保留更为完整，中心深色区域的砖块模式也更为清晰。实验证明，基于上下文相似度的特征匹配误差能更好地提升合成纹理的局部纹理还原性。
本发明从纹理数据中挑选多张作为源纹理输入，进行纹理扩展合成实验，结果如图15所示，其中，源纹理及合成纹理分别位于同组的左侧及右侧。图15中，第一行的铁板纹理合成结果不仅保留了源纹理的大尺度纹理模式，而且自然还原了源纹理的圆形铁钉出现情况；水波纹理的合成结果有效保留了高光波纹的结构，涵盖了源纹理的各种波纹模式；可以发现，上述合成结果较好地还原源纹理的纹理大尺度结构，局部纹理清晰可见，且不存在明显的重复感，合成结果真实自然，这也说明了本发明在处理纹理扩展合成任务的有效性。
本发明具有较强的拓展性，可应用在多种可控合成任务中，下文将从非均匀纹理合成及基于标注图的合成结果进行展示。
（1）非均匀纹理合成：为实现基于纹理变化趋势及方向属性的非均匀纹理可控合成，本发明首先从非均匀纹理数据集上挑选部分纹理，并借助自动化非均匀纹理分析方法，获取源纹理及对应的单通道渐变引导图及方向引导图，作为本方法中的源引导图输入，目标渐变引导图及方向引导图采取人工绘制的方式获得。
本发明分别进行了基于渐变引导图、基于方向引导图、二者协同控制的非均匀纹理合成实验，结果如图16、图17、图18所示。本发明发现：基于渐变引导图的非均匀纹理合成结果不仅还原了目标渐变引导图的总体引导趋势，而且纹理过渡自然，没有明显瑕疵。基于方向引导图的合成结果在局部纹理的朝向上与目标方向引导图一致，且局部纹理的结构得到有效保留。二者协同控制的合成结果在局部纹理分布和朝向上均符合目标引导图，合成结果局部纹理细节有效地还原了源纹理。通过以上实验可说明，本发明可处理任意引导图类型及数量，具有较强的扩展性。
（2）基于标注图的纹理合成：基于标注图的纹理合成使用离散标注图对源纹理及目标纹理进行标注分割，旨在保证两者具备相同标注区域的纹理尽可能相似，从而实现目标纹理的空间分布精细化控制。本发明在网络上选择了四张复合纹理图片，并通过手工绘制的方式获得源及目标标注图，进行引导合成，其结果如图19所示。本发明发现：合成结果符合目标标注图的空间位置约束，且对于同一标注区域而言，纹理来源于具有相同标注的源纹理局部区域，此外，合成纹理的局部纹理细节清晰、纹理结构完整，这有效地说明了本发明基于标注图进行高质量引导合成的能力。
为证明本发明的优越性，本发明分别与当前最先进的纹理扩展合成工作进行对比，包括基于传统纹理优化的方法Self-tuning，基于深度学习反向传播优化的方法CNNMRF损失、Contextual损失和Sliced Wasserstein损失，及基于深度前馈网络的TextureExpansion和SinGAN方法，对比结果如图20所示。
从图20中可以发现：传统扩展合成方法中，Self-tuning方法可合成局部清晰的合成结果，但是在处理非均匀纹理时，其合成结果分块明显（如雨滴合成结果的明显色彩分块），合成结果不真实。基于纹理损失的优化合成方法中，CNNMRF损失的合成结果重复感强烈，局部纹理的还原程度较低，存在明显伪影；Contextual损失的合成结果存在局部杂色现象，与实验结果一致；Sliced Wasserstein损失的合成结果保留了源纹理的各局部纹理特点，不过由于感受野的限制，合成结果的大尺度结构保持不佳。基于前馈网络的方法中，Texture Expansion方法的合成结果在边缘部分失真，合成多样性不足，没有捕获源纹理的所有局部特征；SinGAN方法的合成结果在中间区域具备明显重复感，部分合成纹理局部模糊、纹理还原性不足。而本发明的扩展合成结果多样，局部纹理细节清晰，在合成效果上远超现有纹理扩展合成方法。
除定性对比外，为了更公平地对比不同方法的合成效果，本发明进行了以下两种定量对比方式。首先，本发明借助SinGAN提出的图像质量指标SIFID，对各方法的合成质量进行量化。SIFID比较合成纹理图图块分布与源图图块分布的距离，该数值越小代表图像图块分布越接近。本发明以随机50张纹理数据作为数据集，合成512像素×512像素的目标纹理，并为各个方法计算50张合成结果与对应源纹理的SIFID平均数值，各方法的SIFID数值对比如下表1所示：
Figure 303131DEST_PATH_IMAGE217
表1：图像质量指标对比
可以看出，Sliced Wasserstein的合成结果具有最小的SIFID值，这是因为该损失显式优化源和目标纹理的双向相似性；针对传统方法，Self-tuning由于以图块拷贝的形式进行合成，同样具备较低的SIFID。Contextual的合成结果具有十分高的SIFID值，这可能与该方法合成结果的局部噪点相关。不过相比CNNMRF及其它基于对抗生成网络的方法，本方法的提升也是较为明显的。
为了了解不同方法合成结果的视觉感知差异，设置了以下用户调研实验：为40个用户分别设置了10个问题，其中每个问题展示了源纹理及除Contextual以外各方法的合成结果（由于该方法合成结果存在明显瑕疵，出于减少用户负担的考量，将该方法结果排除在视觉对比外），并要求用户根据合成结果好坏选择出前三名。此外，同一名用户的每个问题中，源纹理随机选自50张纹理数据，并且不存在重复。最终，各方法的名次统计结果如下表2所示：
Figure DEST_PATH_IMAGE218
表2：名次统计结果
可以看出，本发明被选为第一名、第二名及被纳入前三名的次数最多，而各数值表现基本与Self-tuning保持一致，这是由于Self-tuning采用了特殊的初始化策略，并且在合成过程中使用额外的结构特征引导，从而保证了合成结果的结构一致性，而本发明采用随机初始化方式。
本发明与基于传统纹理优化的最先进方法Texture Analysis进行结果对比，结果如图21、图22所示。可以看出，部分Texture Analysis合成结果的纹理结构保留不佳，比如说砖块纹理合成，可以看出中间部分的砖块结构缺失，或者是雨滴纹理的中间区域，存在大片不自然的蓝色区域，这是由于传统方法采用颜色图块进行匹配及融合，缺少对更高层语义的约束。而本发明则采用深度语义特征作为匹配特征，其合成结果尽可能地保证了局部纹理的语义完整性。
在基于方向引导图的合成结果中，本发明的合成效果基本与传统方法媲美，不仅在整体朝向上符合引导图趋势，而且在局部纹理上与源纹理视觉上一致，不过发明由于显存限制，旋转增强数量有限，合成结果无法考虑到更多角度的源纹理特征，因此在局部朝向上相比Texture Analysis略显不足。
在二者协同控制的合成结果中，可以发现Texture Analysis的纹理颜色过渡不够自然、合成结果不够还原目标纹理的引导趋势，例如棕色毛发的合成纹理中间深色区域存在明显断层，纹理包含了浅棕色纹理，不符合渐变引导图要求的深棕色绒毛纹理。本发明的合成效果更符合引导图的要求，在局部颜色特征上过渡更为自然，而大尺度结构上保留更为完整，例如棕色毛发合成结果中心区域为深棕色，并且在向外或者螺旋扩展的毛发中，保留了源纹理缕状毛发的结构特征。除合成效果外，在合成速度上本发明方法大大高于Texture Analysis，在带有八个朝向的数据增强下，本发明合成单张512像素×512像素的目标纹理仅需20分钟左右，而Texture Analysis的合成方法则需要1小时30分以上。总的来看，针对非均匀纹理合成任务，本发明合成结果与传统最先进的非均匀纹理合成方法在合成效果上相当，而合成速度上则更胜一筹。
基于渐变图与方向图的非均匀纹理合成结果：首先，本发明进行了基于渐变引导图的非均匀纹理合成实验，合成结果如图23所示，通过观察合成获得的砖块纹理及红色铁锈纹理，可以发现合成结果符合目标渐变引导图的纹理变化趋势，其全局特征获得有效保留，且每个局部的纹理结构清晰，比如说砖块的合成纹理在水平方向上保持较高的连贯性，而各局部都具有砖块的结构特征。接着，本发明进行了基于方向引导图的非均匀纹理合成实验，结果如图24所示。本发明发现，合成结果在局部朝向上与目标引导图一致，而局部纹理则与源纹理相似，比如说，年轮合成结果的线条走向符合目标引导图的要求，且在中心区域存在原有年轮纹理的深色纹理信息。不过，在年轮纹理中，年轮的线条存在局部不连贯的问题，而羽毛纹理的纹理存在一定重复感。
针对基于渐变引导图的非均匀纹理合成，本发明与仅有重建训练的合成结果进行对比，结果如图25所示。可以发现，深度纹理优化方法合成结果的局部纹理细节丰富多样，但是合成结果的全局横向结构没有较好的保留，合成结果存在大量断开的砖块区域。仅有重建训练的合成结果中，存在局部纹理结构缺失问题，比如说第一列高亮区域、第二列及第三列合成结果的深色区域失去了砖块结构（如图25所示，除了图25中最上方的两个图块外，从左至右最左边的第一列的三个图块表示第一列，中间的第二列的三个图块表示第二列，最右边的第三列的三个图块表示第三列）。本发明，即使用重建训练及合成训练的合成结果保留了源纹理的横向全局结构，其中各个局部纹理特征显著，不过其纹理存在较为明显的重复感。在合成速度上，现有技术需要5分钟进行目标纹理合成，而本发明方法仅需0.2毫秒。以上实验可说明，本发明可实时合成符合引导图引导趋势、保留源纹理大尺度结构的目标纹理，但是以一定多样性及纹理细节为代价。
除与仅进行重建训练的合成结果进行对比外，本发明使用Sliced Wasserstein损失替换合成训练中的引导匹配损失，并且对合成结果进行对比，实验结果如图26所示。可以看出，Sliced Wasserstein损失无法稳定基于引导图条件的判别训练，合成结果局部还原不足且重复感明显。相比之下，本发明的合成结果符合导引导要求，且局部纹理更为还原源纹理的纹理模式，进一步说明引导匹配损失对稳定对抗训练的重要性。
由于特征匹配损失起了稳定训练的作用，本发明实验中始终保留该损失，并对关键的对抗损失及引导匹配损失进行了消融实验，结果如图27所示。通过观察结果发现，仅使用引导匹配损失的合成结果虽然符合目标引导图的引导趋势，但是不具备源纹理的局部纹理细节。仅使用对抗损失的合成结果在不同引导任务中表现不同，比如在基于渐变引导图的合成结果中，合成的砖块纹理出现明显高频噪点，这也许与训练数据中条件引导数据的多样性不足有关，即条件判别网络在对随机合成结果进行真实性惩罚时，没有足够的先验知识，进而对生成网络产生了不合适的梯度；而在基于方向图的合成结果中，局部纹理效果上获得了显著的提升。针对以上任务，对抗损失和引导匹配损失结合的合成结果则更为自然，较大尺度的纹理结构获得有效保留。
本发明提出了一整套全新的深度纹理合成方法，实现了高质量的纹理扩展（无控制）合成、可控合成及实时可控合成。具体来说，本发明首先设计了一种新颖的适用于深度网络的引导匹配损失，该损失可用于衡量目标纹理及源纹理间的纹理差异，并且同时考虑到目标纹理的多样性及局部结构完整性；基于该损失，本发明提出了一种深度纹理优化方法，利用深度特征提取器，通过简单的损失反向传播优化方式，即可实现高质量纹理扩展合成。同时，如果引入额外的控制引导图，仅需在引导匹配损失中加入额外的距离度量，即可实现高质量的可控纹理合成。最后，为进一步实现实纹理合成，本发明结合引导匹配损失和前馈神经网络，提出了一种新颖的可控纹理合成前馈网络，来显式学习引导图到纹理图像（可控合成）的映射。针对可控合成任务，为防止过拟合，本发明在重建训练的基础上，提出了一种基于随机目标引导图的合成训练，进而大大地提升了网络的泛化能力。
本发明提出了一个深度纹理合成损失，该损失对富含语义特征的深度特征进行计算，可结合纹理优化框架进行高质量的纹理合成，其合成结果在局部语义结构保留上比传统方法更优秀；此外，本发明将上述损失与生成对抗网络结合，实现实时可控合成。本发明将传统纹理合成的高质量生成及高拓展性与深度网络结合，提出了一整套全新的深度纹理合成方法，实现了高质量的纹理扩展（无控制）合成、可控合成及实时合成。
进一步地，如图28所示，基于上述基于引导匹配损失的深度纹理合成方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图28仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于引导匹配损失的深度纹理合成程序40，该基于引导匹配损失的深度纹理合成程序40可被处理器10所执行，从而实现本申请中基于引导匹配损失的深度纹理合成方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于引导匹配损失的深度纹理合成方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于引导匹配损失的深度纹理合成程序40时实现如上所述基于引导匹配损失的深度纹理合成方法的步骤。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于引导匹配损失的深度纹理合成程序，所述基于引导匹配损失的深度纹理合成程序被处理器执行时实现如上所述的基于引导匹配损失的深度纹理合成方法的步骤。
需要说明的是，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于引导匹配损失的深度纹理合成方法，其特征在于，所述基于引导匹配损失的深度纹理合成方法包括：
获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理；
所述获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理，具体包括：
获取目标纹理的目标像素
Figure DEST_PATH_IMAGE001
，在初始化目标像素
Figure 54196DEST_PATH_IMAGE001
时，根据对应目标引导值
Figure DEST_PATH_IMAGE002
，从源引导图中找到具有相同引导值的源坐标位置
Figure DEST_PATH_IMAGE003
，从源坐标位置
Figure DEST_PATH_IMAGE004
中随机选择一个获取对应颜色
Figure DEST_PATH_IMAGE005
作为当前像素颜色；
将目标纹理所有位置进行填充，获得局部颜色分布符合目标引导的初始化目标纹理
Figure DEST_PATH_IMAGE006
；
基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合；
所述深度语义特征提取器为VGG19网络；
所述基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合，具体包括：
将源纹理和初始化目标纹理分别输入VGG19网络
Figure DEST_PATH_IMAGE007
中，提取VGG19网络
Figure 784385DEST_PATH_IMAGE007
的conv2_1、conv3_1和 conv4_1中间层特征图，获得多尺度源纹理深度特征图
Figure DEST_PATH_IMAGE008
和目标纹理深度特征图
Figure DEST_PATH_IMAGE009
：
Figure DEST_PATH_IMAGE010
；
其中，
Figure DEST_PATH_IMAGE011
表示源纹理在特征提取层
Figure DEST_PATH_IMAGE012
提取的深度特征图，
Figure DEST_PATH_IMAGE013
表示目标纹理在特征提取层
Figure DEST_PATH_IMAGE014
提取的深度特征图；
提取各层特征图块，获得源深度特征图块集合
Figure DEST_PATH_IMAGE015
及目标深度特征图块集合
Figure DEST_PATH_IMAGE016
：
Figure DEST_PATH_IMAGE017
；
其中，
Figure DEST_PATH_IMAGE018
代表图块化处理函数，
Figure DEST_PATH_IMAGE019
代表图块的大小，s代表图块提取的步长，
Figure DEST_PATH_IMAGE020
表示使用图块大小为
Figure 176839DEST_PATH_IMAGE019
、步长为s对源纹理深度特征图进行图块提取，
Figure DEST_PATH_IMAGE021
表示使用图块大小为
Figure 696682DEST_PATH_IMAGE019
、步长为s对目标纹理深度特征图进行图块提取；
获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像；
所述获取目标深度特征图块集合和源深度特征图块集合的匹配误差，具体包括：
构建重复率图对各个源深度特征图块的出现次数进行记录，所述重复率图是一个记录每个源深度特征图块被目标深度特征图块匹配次数的图；
获得所有目标深度特征图块
Figure DEST_PATH_IMAGE022
的最近邻源图块
Figure DEST_PATH_IMAGE023
；
基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图
Figure DEST_PATH_IMAGE024
；
在获得重复率图
Figure DEST_PATH_IMAGE025
后，重新计算所有目标深度特征图块与源深度特征图块的距离，计算过程中额外考虑源深度特征图块的重复出现次数，获得新的距离及最近邻关系；
根据所有目标深度特征图块的损失总和计算总引导匹配损失。
2.根据权利要求1所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图
Figure 950202DEST_PATH_IMAGE024
，具体包括：
对于任意一个目标深度特征图块
Figure 569403DEST_PATH_IMAGE022
，计算该目标深度特征图块
Figure 164332DEST_PATH_IMAGE022
与所有源深度特征图块
Figure DEST_PATH_IMAGE026
的特征距离
Figure DEST_PATH_IMAGE027
，获得最近邻源图块的源索引位置
Figure DEST_PATH_IMAGE028
：
Figure DEST_PATH_IMAGE029
；
对源深度特征图块
Figure DEST_PATH_IMAGE030
被作为最近邻指向的次数进行统计：
Figure DEST_PATH_IMAGE031
；
其中，
Figure DEST_PATH_IMAGE032
表示重复率图
Figure 208905DEST_PATH_IMAGE025
的j位置，用于对源深度特征图块
Figure 64734DEST_PATH_IMAGE030
被指向的次数进行统计；
对所有为源位置j进行相同操作，获得重复率图
Figure 995781DEST_PATH_IMAGE025
。
3.根据权利要求2所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述重新计算所有目标深度特征图块与源深度特征图块的距离，具体包括：
在获得重复率图
Figure 680668DEST_PATH_IMAGE025
后，为特征距离
Figure 89783DEST_PATH_IMAGE027
引入重复出现惩罚项，获得最终引导距离
Figure DEST_PATH_IMAGE033
：
Figure DEST_PATH_IMAGE034
；
其中，
Figure DEST_PATH_IMAGE035
表示重复出现的最佳次数，
Figure DEST_PATH_IMAGE036
表示目标深度特征图块的总数，
Figure DEST_PATH_IMAGE037
表示源深度特征图块的总数，
Figure DEST_PATH_IMAGE038
表示距离项的权重。
4.根据权利要求3所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述根据所有目标深度特征图块的损失总和计算总引导匹配损失，具体包括：
通过标准化及指数变换操作，将引导距离
Figure 645792DEST_PATH_IMAGE033
转换为相似度
Figure DEST_PATH_IMAGE039
：
Figure DEST_PATH_IMAGE040
；
其中，
Figure DEST_PATH_IMAGE041
表示对引导距离
Figure 91948DEST_PATH_IMAGE033
进行转换，
Figure DEST_PATH_IMAGE042
表示找到目标深度特征图块i与所有源深度特征图块的最近距离，
Figure DEST_PATH_IMAGE043
，用于防止除零操作，
Figure DEST_PATH_IMAGE044
表示带宽参数；
使用标准化的相似度作为上下文相似度
Figure DEST_PATH_IMAGE045
：
Figure DEST_PATH_IMAGE046
；
其中，
Figure DEST_PATH_IMAGE047
源深度特征图块的位置索引；
对每一个目标深度特征图块
Figure 881043DEST_PATH_IMAGE022
，将上下文相似度最高的源深度特征图块
Figure 844583DEST_PATH_IMAGE030
作为最近邻图块，获得
Figure 425737DEST_PATH_IMAGE022
的引导匹配损失；
最终将所有目标深度特征图块的损失总和作为总引导匹配损失：
Figure DEST_PATH_IMAGE048
；
其中，
Figure DEST_PATH_IMAGE049
，为目标特征图块i的最近邻源深度特征图块位置索引。
5.根据权利要求4所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述基于引导匹配损失的深度纹理合成方法还包括：
在引导距离中额外加入引导图距离，使得源纹理和目标纹理中具备相同引导特征的区域纹理一致，实现可控引导合成；
所述在引导距离中额外加入引导图距离，使得源纹理和目标纹理中具备相同引导特征的区域纹理一致，实现可控引导合成，具体包括：
给定额外源纹理引导图
Figure DEST_PATH_IMAGE050
及目标纹理引导图
Figure DEST_PATH_IMAGE051
，将源纹理引导图
Figure 308373DEST_PATH_IMAGE050
下采样至源深度特征图
Figure DEST_PATH_IMAGE052
大小获得
Figure DEST_PATH_IMAGE053
，图块化操作后获得对应源引导图块
Figure DEST_PATH_IMAGE054
；将目标纹理引导图
Figure DEST_PATH_IMAGE055
下采样至目标深度特征图
Figure DEST_PATH_IMAGE056
大小获得
Figure DEST_PATH_IMAGE057
，图块化操作后获得对应目标引导图块
Figure DEST_PATH_IMAGE058
：
Figure DEST_PATH_IMAGE059
；
在特征距离度量过程中，为原始的特征距离
Figure DEST_PATH_IMAGE060
额外引入引导距离
Figure DEST_PATH_IMAGE061
，实现可控纹理合成：
Figure DEST_PATH_IMAGE062
Figure DEST_PATH_IMAGE063
；
其中，
Figure DEST_PATH_IMAGE064
是一个引导权重项，用于调控引导图对匹配距离的影响，
Figure DEST_PATH_IMAGE066
代表引导图块间的距离计算函数。
6.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于引导匹配损失的深度纹理合成程序，所述基于引导匹配损失的深度纹理合成程序被所述处理器执行时实现如权利要求1-5任一项所述的基于引导匹配损失的深度纹理合成方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于引导匹配损失的深度纹理合成程序，所述基于引导匹配损失的深度纹理合成程序被处理器执行时实现如权利要求1-5任一项所述的基于引导匹配损失的深度纹理合成方法的步骤。
CN202210839491.3A 2022-07-18 2022-07-18 一种基于引导匹配损失的深度纹理合成方法及相关设备 Active CN114972611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210839491.3A CN114972611B (zh) 2022-07-18 2022-07-18 一种基于引导匹配损失的深度纹理合成方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210839491.3A CN114972611B (zh) 2022-07-18 2022-07-18 一种基于引导匹配损失的深度纹理合成方法及相关设备

Publications (2)

Publication Number Publication Date
CN114972611A CN114972611A (zh) 2022-08-30
CN114972611B true CN114972611B (zh) 2022-11-11

Family

ID=82969361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210839491.3A Active CN114972611B (zh) 2022-07-18 2022-07-18 一种基于引导匹配损失的深度纹理合成方法及相关设备

Country Status (1)

Country Link
CN (1) CN114972611B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546271B (zh) * 2022-09-29 2023-08-22 锋睿领创(珠海)科技有限公司 基于深度联合表征的视觉分析方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780701A (zh) * 2016-11-23 2017-05-31 深圳大学 非均匀纹理图像的合成控制方法、装置、存储介质及设备
CN107045727A (zh) * 2017-03-27 2017-08-15 中国科学院深圳先进技术研究院 一种纹理合成方法及其装置
CN113240613A (zh) * 2021-06-07 2021-08-10 北京航空航天大学 一种基于边缘信息重建的图像修复方法
WO2021236104A1 (en) * 2020-05-22 2021-11-25 Google Llc Re-timing objects in video via layered neural rendering

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10772658B2 (en) * 2010-12-17 2020-09-15 Srgi Holdings, Llc Pixel array medical systems, devices and methods
US10497172B2 (en) * 2016-12-01 2019-12-03 Pinscreen, Inc. Photorealistic facial texture inference using deep neural networks
CN110458906B (zh) * 2019-06-26 2024-03-15 广州大鱼创福科技有限公司 一种基于深度颜色迁移的医学图像着色方法
US20210012486A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. Image synthesis with generative adversarial network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780701A (zh) * 2016-11-23 2017-05-31 深圳大学 非均匀纹理图像的合成控制方法、装置、存储介质及设备
CN107045727A (zh) * 2017-03-27 2017-08-15 中国科学院深圳先进技术研究院 一种纹理合成方法及其装置
WO2021236104A1 (en) * 2020-05-22 2021-11-25 Google Llc Re-timing objects in video via layered neural rendering
CN113240613A (zh) * 2021-06-07 2021-08-10 北京航空航天大学 一种基于边缘信息重建的图像修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A SlicedWasserstein Loss for Neural Texture Synthesis;Eric Heitz et al;《Computer Science》;20200612;第1-9页 *
可控多重纹理扩展合成与迁移;李二强 等;《吉林大学学报(理学版)》;20210526;第577-586页 *
基于深度学习的单目图像三维人体姿态估计算法研究;唐振华;《中国优秀硕士学位全文数据库 信息科技辑》;20211015(第1期);第I138-117页 *
基于纹理转移的露天矿区遥感图像超分辨率重建;杨宏业等;《煤炭学报》;20191215(第12期);第163-171页 *

Also Published As

Publication number Publication date
CN114972611A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Zhang et al. Cross-domain correspondence learning for exemplar-based image translation
Yang et al. Deep plastic surgery: Robust and controllable image editing with human-drawn sketches
JP4145652B2 (ja) デジタルビデオにおける複合シーンからの画像抽出
Barnes et al. The patchmatch randomized matching algorithm for image manipulation
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
Tai et al. Perceptually-inspired and edge-directed color image super-resolution
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN114972611B (zh) 一种基于引导匹配损失的深度纹理合成方法及相关设备
Zhang et al. Interactive medical image annotation using improved Attention U-net with compound geodesic distance
Weiss et al. Learning adaptive sampling and reconstruction for volume visualization
CN115564782A (zh) 3d血管及气管分割方法及系统
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN112489088A (zh) 一种基于记忆单元的孪生网络视觉跟踪方法
Xu et al. Generative image completion with image-to-image translation
Ardino et al. Semantic-guided inpainting network for complex urban scenes manipulation
Mehta et al. Content based sub-image retrieval system for high resolution pathology images using salient interest points
Han et al. Data augmentation in material images using the improved HP-VAE-GAN
Jing et al. Image generation step by step: animation generation-image translation
CN116342377A (zh) 一种降质场景下伪装目标图像自适应生成方法与系统
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
Zhang et al. Deep photographic style transfer guided by semantic correspondence
Wu et al. HIGSA: Human image generation with self-attention
CN113538493A (zh) 一种mri头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质
CN113033656B (zh) 一种基于生成对抗网络的交互式孔探数据扩展方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant