CN117475066B - 材质贴图处理方法、装置、电子设备及存储介质 - Google Patents

材质贴图处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117475066B
CN117475066B CN202311835528.6A CN202311835528A CN117475066B CN 117475066 B CN117475066 B CN 117475066B CN 202311835528 A CN202311835528 A CN 202311835528A CN 117475066 B CN117475066 B CN 117475066B
Authority
CN
China
Prior art keywords
mapping
map
resolution
texture
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311835528.6A
Other languages
English (en)
Other versions
CN117475066A (zh
Inventor
魏辉
张晓辉
卢丽华
李茹杨
赵雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311835528.6A priority Critical patent/CN117475066B/zh
Publication of CN117475066A publication Critical patent/CN117475066A/zh
Application granted granted Critical
Publication of CN117475066B publication Critical patent/CN117475066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供一种材质贴图处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，通过获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到，可以实现对同一材质的不同贴图进行同时压缩，实现紧凑的材质贴图表示，并且，通过基准贴图和偏移量贴图，可以提高各贴图数据之间的相似程度，有利于提高后续压缩过程的压缩率。

Description

材质贴图处理方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种材质贴图处理方法、装置、电子设备及存储介质。
背景技术
材质是物体的重要属性，是图像渲染中的重要要素，决定了物体的光泽、金属/塑料表面、颜色等表观特性，在计算机图形学等领域中拥有重要作用。基于物理渲染的材质（Physicallly-Based Rendering，PBR）材质是目前高质量图像渲染中通常采用的材质表示格式，通常包含基础色、金属度、粗糙度、亮度等参数组成，每种参数存储在一个对应的贴图中，贴图中的不同像素对应物体不同表面位置处的材质参数。贴图在图像处理过程中发挥重要作用，例如，材质贴图文件的大小直接影响渲染速度、显存占用大小等，因此材质数据/文件的高效紧凑表示即贴图压缩及表示是图像渲染领域的一个重要技术。相关技术中，通过将待压缩贴图划分为两个目标区域，对两个目标区域中对应的像素值进行比较；基于比较结果压缩待压缩贴图，从而实现两个目标区域中相同或者相似的像素进行合并的目的。但其只解决了单个贴图的压缩效率问题，在存在多个贴图时，对单个贴图逐一进行压缩，影响压缩效率。
发明内容
本发明提供一种材质贴图处理方法、装置、电子设备及存储介质，用以解决传统贴图压缩方法只针对单个贴图进行压缩，在存在多个贴图时，影响贴图压缩效率的缺陷。
本发明提供一种材质贴图处理方法，包括：
获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；
根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；
将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到。
根据本发明提供的一种材质贴图处理方法，所述计算所述待处理材质贴图文件中每种材质类型对应的基准贴图，包括：
根据所述待处理材质贴图文件中同一材质类型的所有原始材质贴图中每个像素坐标位置的值的三角函数计算基准贴图中每个像素坐标位置的值，以使所述基准贴图中每个像素坐标位置的值在预设范围内；
根据所述基准贴图中每个像素坐标位置的值获取每种材质类型对应的基准贴图。
根据本发明提供的一种材质贴图处理方法，所述待处理材质贴图文件后，还包括：
将所述待处理材质贴图文件中所有原始材质贴图转换为同一分辨率的材质贴图。
根据本发明提供的一种材质贴图处理方法，所述根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图，包括：
将所述每种材质类型对应的各个原始材质贴图的三角函数值与对应基准贴图的差值作为同一材质类型中各贴图相对基准贴图的偏移量贴图。
根据本发明提供的一种材质贴图处理方法，所述贴图特征表示以特征网格形式表示，所述特征网格中每个网格单元用于存储压缩贴图特征，所述压缩贴图特征为单个特征值，和/或，所述压缩贴图特征为预设维度的特征向量。
根据本发明提供的一种材质贴图处理方法，所述贴图特征表示以特征隐式形式表示，所述特征隐式根据特征网格中每个网格单元存储的压缩贴图特征及位置编码构造。
根据本发明提供的一种材质贴图处理方法，其特征在于，还包括：
获取贴图特征表示对应的材质类型；
将贴图特征表示及贴图特征表示对应的材质类型输入贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
根据所述对应材质类别的基准贴图及偏移量贴图还原出原始材质贴图。
根据本发明提供的一种材质贴图处理方法，所述贴图压缩模型及所述贴图解压模型的训练过程，包括：
获取训练数据集中不同材质类型的原始材质贴图，计算每种材质类型的原始材质贴图计算出每种材质类型的基准贴图及偏移量贴图；
获取同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值；
将同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值输入初始贴图压缩模型，得到贴图特征表示；
将所述贴图特征表示及贴图特征表示对应的材质类型输入初始贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
根据所述对应材质类别的基准贴图及偏移量贴图计算出还原材质贴图；
根据所述原始材质贴图和所述还原材质贴图构造损失函数；
根据所述损失函数，利用优化器对初始贴图压缩模型和初始贴图解压模型进行参数优化，得到训练好的贴图压缩模型和训练好的贴图解压模型。
根据本发明提供的一种材质贴图处理方法，所述根据所述原始材质贴图和所述还原材质贴图构造损失函数，包括：
所述损失函数为原始材质贴图与所述还原材质贴图的结构相似性指标误差。
根据本发明提供的一种材质贴图处理方法，所述原始材质贴图与所述还原材质贴图的结构相似性指标误差计算方法，包括：
获取所述原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差；
根据所述原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差计算所述原始材质贴图与所述还原材质贴图的结构相似性指标误差。
根据本发明提供的一种材质贴图处理方法，所述获取待处理材质贴图文件后，还包括：
根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成多个分辨率等级的材质贴图，每个分辨率等级对应的原始材质贴图的分辨率不同，每个等级分辨率贴图质量及压缩效率设定；
其中，当前级别分辨率的材质贴图根据与其相邻等级分辨率的材质贴图下采样计算得到，或，当前级别分辨率的材质贴图根据与其不相邻等级分辨率的材质贴图下采样计算得到；
所述下采样计算包括插值计算和/或间隔选取像素计算；
根据每种材质类型对应的材质贴图获取多个分辨率等级的贴图序列；
计算同一材质类型中每种分辨率等级的贴图序列对应的基准贴图；
根据所述每种分辨率等级的贴图序列对应的基准贴图计算同一材质下同一分辨率等级的贴图序列中各贴图相对基准贴图的偏移量贴图；
将每种材质类型对应的同一分辨率等级的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到同一材质类型不同分辨率层级对应的贴图特征表示。
根据本发明提供的一种材质贴图处理方法，每个分辨率层级对应的贴图特征表示，包括：
高分辨率特征网格及位置编码，或，低分辨率特征网格及位置编码；
所述高分辨率特征网格中每个网格单元用于存储高频细节信息；
所述低分辨率特征网格中每个网格单元用于存储低频平滑信息；
所述位置编码为对压缩材质贴图中每个像素坐标进行编码后得到的编码向量。
根据本发明提供的一种材质贴图处理方法，所述高频细节信息为高分辨率特征采样值，所述高分辨率特征采样值根据从高分辨率特征网格中特征所在位置的相邻四个特征值得到。
根据本发明提供的一种材质贴图处理方法，所述低频平滑信息为低分辨率特征插值，所述低分辨率特征插值根据低分辨率特征网格中特征所在位置从相邻四个特征值经过插值计算得到。
根据本发明提供的一种材质贴图处理方法，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量相同，或者，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同。
根据本发明提供的一种材质贴图处理方法，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同时，同一材质类型的特征网格分辨率层级少于对应材质类型的材质贴图分辨率等级。
根据本发明提供的一种材质贴图处理方法，所述对压缩材质贴图中每个像素坐标进行编码后得到的编码向量，包括：
使用三角函数位置编码方法对所述压缩材质贴图中每个像素坐标进行编码后得到的编码向量。
本发明还提供一种材质贴图处理装置，包括：
第一计算模块，用于获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；
第二计算模块，用于根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；
压缩模块，用于将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的材质贴图处理方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的材质贴图处理方法。
本发明提供的材质贴图处理方法、装置、电子设备及存储介质，通过获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到，可以实现对同一材质的不同贴图进行同时压缩，实现紧凑的材质贴图表示，并且，通过基准贴图和偏移量贴图，可以提高各贴图数据之间的相似程度，有利于提高后续压缩过程的压缩率。
附图说明
为了更清楚地说明本发明或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的材质贴图处理方法的流程示意图；
图2是本发明实施例提供的模型训练过程示意图；
图3是本发明实施例提供的贴图特征表示示意图；
图4是本发明实施例提供的多分辨率表示示意图；
图5是本发明实施例提供的材质贴图处理装置的功能结构示意图；
图6是本发明实施例提供的电子设备的功能结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的材质贴图处理方法的流程图，如图1所示，本发明实施例提供的材质贴图处理方法包括：
步骤101、获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；
步骤102、根据每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；
步骤103、将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到。
传统材质贴图处理方法是通过将待压缩贴图划分为两个目标区域，对两个目标区域中对应的像素值进行比较；基于比较结果压缩待压缩贴图，从而实现两个目标区域中相同或者相似的像素进行合并的目的。但其只解决了单个贴图的压缩效率问题，在存在多个贴图时，对单个贴图逐一进行压缩，影响压缩效率。
本发明实施例提供的材质贴图处理方法，通过获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到，可以实现对同一材质的不同贴图进行同时压缩，实现紧凑的材质贴图表示，并且，通过基准贴图和偏移量贴图，可以提高各贴图数据之间的相似程度，有利于提高后续压缩过程的压缩率。
基于上述任一实施例，本发明实施例提供的材质贴图处理方法包括：
步骤201、将待处理材质贴图文件中所有原始材质贴图转换为同一分辨率的材质贴图；
步骤202、根据待处理材质贴图文件中同一材质类型的所有原始材质贴图中每个像素坐标位置的值的三角函数计算基准贴图中每个像素坐标位置的值，以使所述基准贴图中每个像素坐标位置的值在预设范围内；
步骤203、根据所述基准贴图中每个像素坐标位置的值获取每种材质类型对应的基准贴图；
在本发明实施例中，原始材质贴图表示为uv/>s的张量集合，每个贴图的分辨率为u/>v，共s个贴图，分辨率不是u/>v的贴图可通过插值等方式处理为u/>v。每种材质类型对应一个基准贴图Tb，基准贴图通过该材质的所有贴图{Ti,i=1,2,…，s}计算得到。基准贴图的分辨率同样为u/>v，其计算公式如下：
；
其中表示基准贴图中位于/>像素坐标位置的值，由上述公式可知，的值位于/>范围内。
通过上述公式，可以把各材质贴图中数值压缩到范围内，对后续的压缩过程起到一个预压缩作用。
步骤204、根据每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；
步骤205、将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示。
本发明实施例提高的材质贴图压缩方法，可实现高效紧凑的材质贴图压缩表示，并且，可以提高后续压缩时的压缩率和压缩效率。
基于上述任一实施例，本发明实施例提供的材质贴图处理方法包括：
步骤301、将待处理材质贴图文件中所有原始材质贴图转换为同一分辨率的材质贴图；
步骤302、根据待处理材质贴图文件中同一材质类型的所有原始材质贴图中每个像素坐标位置的值的三角函数计算基准贴图中每个像素坐标位置的值，以使所述基准贴图中每个像素坐标位置的值在预设范围内；
步骤303、根据所述基准贴图中每个像素坐标位置的值获取每种材质类型对应的基准贴图。
步骤304、将每种材质类型对应的各个原始材质贴图的三角函数值与对应基准贴图的差值作为同一材质类型中各贴图相对基准贴图的偏移量贴图；
在本发明实施例中，计算各贴图相对基准贴图的偏移量贴图。对贴图Ti，其偏移量贴图/>计算如下公式：
通过计算基准贴图，并通过偏移量贴图去代替原始材质贴图，可以提高各贴图数据之间的相似程度，有利于提高后续压缩过程的压缩率。
步骤305、将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示。
本发明实施例提高的材质贴图压缩方法，利用基于物理的渲染（PhysicallyBased Rendering，PBR）材质多个贴图文件之间的相似性，通过计算和基准贴图的偏移量贴图可以缩小各贴图之间的差异，能够为后续压缩过程起到预压缩作用。
在本发明实施例中，贴图特征表示以特征网格形式表示，如图3所示，贴图特征表示可以以图3左侧的特征网格的形式进行表示，特征网格中每个网格单元用于存储压缩贴图特征，压缩贴图特征为单个特征值，和/或，压缩贴图特征为预设维度的特征向量。
在本发明一些实施例中，贴图特征表示以特征隐式形式表示，特征隐式根据特征网格中每个网格单元存储的压缩贴图特征及位置编码构造,例如，特征隐式为：
。
本发明实施例通过以特征网格形式表示压缩结果或以特征隐式形式表示压缩结果，可以实现紧凑的材质贴图表示。
基于上述任一实施例，本发明实施例提供的材质贴图处理方法，包括：
步骤401、获取贴图特征表示对应的材质类型；
步骤402、将贴图特征表示及贴图特征表示对应的材质类型输入贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
步骤403、根据对应材质类别的基准贴图及偏移量贴图还原出原始材质贴图。
在本发明实施例中，由网络直接计算得到的是基准贴图Tb和各材质贴图相对基准贴图的偏移量贴图，参考上述计算各贴图相对基准贴图/>的偏移量贴图对应公式可计算得到原始材质贴图数据。
在本发明一些实施例中，本发明实施例提供的材质贴图处理方法，还包括：
获取贴图特征表示对应的分辨率层级编号；
将贴图特征表示及贴图特征表示对应的材质类型、分辨率层级编号输入贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
根据对应材质类别的基准贴图及偏移量贴图还原出原始材质贴图。
在本发明实施例中，利用压缩得到的特征网格表示，加上贴图中的像素坐标、分辨率等级编号、贴图类别号，利用训练好的贴图解压模型便可以还原得到材质贴图数据。
基于上述任一实施例，如图2所述，贴图压缩模型和贴图解压模型网络结构均为多层感知器（Multi-Layer Perceptron，MLP）网络，中间四层隐藏层每层包含256个神经元节点。MLP神经网络属于前馈神经网络的一种。在网络训练过程中，需要通过反向传播算法计算梯度，将误差从输出层反向传播回输入层，用于更新网络参数。网络的训练可以采用特征网格和网络参数联合训练优化的方式，利用ADAM优化器采用梯度下降方法实现。
本发明实施例提供的贴图压缩模型及所述贴图解压模型的训练过程，包括：
步骤501、获取训练数据集中不同材质类型的原始材质贴图，计算每种材质类型的原始材质贴图计算出每种材质类型的基准贴图及偏移量贴图；
步骤502、获取同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值；
步骤503、将同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值输入初始贴图压缩模型，得到贴图特征表示；
步骤504、将所述贴图特征表示及贴图特征表示对应的材质类型输入初始贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
步骤505、根据所述对应材质类别的基准贴图及偏移量贴图计算出还原材质贴图；
步骤506、根据所述原始材质贴图和所述还原材质贴图构造损失函数；
步骤507、根据损失函数，利用优化器对初始贴图压缩模型和初始贴图解压模型进行参数优化，得到训练好的贴图压缩模型和训练好的贴图解压模型。
在本发明实施例中，通过将贴图压缩模型及贴图解压模型进行同时训练，一方面便于构造损失函数，进而提供模型训练精确性，另一方面可以同时训练好两个模型，从而提高训练效率。
在本发明实施例中，根据所述原始材质贴图和所述还原材质贴图构造损失函数，包括：
所述损失函数为原始材质贴图与所述还原材质贴图的结构相似性指标（Structural Similarity，SSIM）误差。
在本发明实施例中，原始材质贴图与还原材质贴图的结构相似性指标误差计算方法，包括：
获取所述原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差；
根据原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差计算原始材质贴图与还原材质贴图的结构相似性指标误差。
结构相似性指标测量可由三种对比模块组成，分别为：亮度，对比度，结构。结构相似性的范围为-1到1。其值越大，说明压缩得到贴图的质量越好。当两张图像一模一样时，结构相似性的值等于1。
本发明实施例提高的材质贴图压缩方法，通过压缩特征网格和网络参数的联合训练优化，能够实现将同一材质的多个贴图文件压缩为同一特征网格表示，提高了贴图压缩的效果。
基于上述任一实施例，本发明实施例提供的材质贴图处理方法包括：
步骤601、获取待处理材质贴图文件，根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成多个分辨率等级的材质贴图，每个分辨率等级对应的原始材质贴图的分辨率不同，每个等级分辨率贴图质量及压缩效率设定；
在本发明实施例中，当前级别分辨率的材质贴图根据与其相邻等级分辨率的材质贴图下采样计算得到，或，当前级别分辨率的材质贴图根据与其不相邻等级分辨率的材质贴图下采样计算得到；
在本发明实施例中，下采样计算包括插值计算和/或间隔选取像素计算；
步骤602、计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；
步骤603、根据每种材质类型对应的材质贴图获取多个分辨率等级的贴图序列；
对所有贴图计算生成其不同分辨率的多级贴图，级数L为预设值，根据压缩质量和压缩效率需求确定，L可取3、4、5级等，一般以原始贴图自身作为0级，其后各级分辨率依次降低，每级贴图的分辨率大小可根据具体需求设定。
以为例，其分辨率为u/>v，取L=3时，则/>自身即为0级贴图；1级贴图通过0级贴图下采样得到，采样方式可采用插值或间隔选取像素的方式等，其分辨率可根据需求设定，比如取u/2/>v/2；2级贴图分辨率假设取为u/4/>v/4，可在0级贴图或1级贴图基础上通过下采样得到。
通过以上过程，所有贴图都生成了L个分辨率等级的贴图序列。
步骤604、计算同一材质类型中每种分辨率等级的贴图序列对应的基准贴图；
步骤605、根据所述每种分辨率等级的贴图序列对应的基准贴图计算同一材质下同一分辨率等级的贴图序列中各贴图相对基准贴图的偏移量贴图；
步骤606、将每种材质类型对应的同一分辨率等级的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到同一材质类型不同分辨率层级对应的贴图特征表示。
在本发明实施例中，每个分辨率层级对应的贴图特征表示，包括：
高分辨率特征网格及位置编码，或，低分辨率特征网格及位置编码；
高分辨率特征网格中每个网格单元用于存储高频细节信息；
低分辨率特征网格中每个网格单元用于存储低频平滑信息；
位置编码为对压缩材质贴图中每个像素坐标进行编码后得到的编码向量。
在本发明实施例中，对压缩材质贴图中每个像素坐标进行编码后得到的编码向量，包括：
使用三角函数位置编码方法对所述压缩材质贴图中每个像素坐标进行编码后得到的编码向量。
三角函数位置编码方法是通过使用不同频率的正弦和余弦函数来为每个位置产生一个独特的编码。选择三角函数来生成位置编码可以编码相对位置信息，并且，不同位置的编码果会随着相对位置的增加而递减。
在本发明实施例中，如图3所示，高频细节信息为高分辨率特征采样值，所述高分辨率特征采样值根据从高分辨率特征网格中特征所在位置的相邻四个特征值得到。低频平滑信息为低分辨率特征插值，所述低分辨率特征插值根据低分辨率特征网格中特征所在位置从相邻四个特征值经过插值计算得到。
在本发明实施例中，插值计算方法可采用一维或二维线性插值等方法实现。
位置编码为在贴图中的像素坐标经过位置编码后得到的编码向量，分辨率等级编号为贴图所对应的具体分辨率等级L的取值；贴图类别号为在s个材质贴图中的编号。
由于特征采样时从相邻四邻域位置进行，可以保证最终材质贴图的可随机存取特性。
在本发明实施例中，压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量相同，或者，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同。
在本发明实施例中，压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同时，同一材质类型的特征网格分辨率层级少于对应材质类型的材质贴图分辨率等级。
本发明实施例提高的材质贴图压缩方法，利用不同分辨率的特征网格实现不同粒度的材质贴图特征表示，支持同一特征网格对应多个分辨率的贴图文件，能够提高材质贴图的空间压缩效率。
图4为一个3层分辨率特征网格的示例，每层包括一个高分辨率网格和一个低分辨率网格。每种材质类型压缩后得到的隐式特征是由不同分辨率的特征网格组成，特征网格的分辨率层数与材质贴图的分辨率层数不一定完全一一对应。为达到压缩的目的，一般情况下特征网格的分辨率层数要少于材质贴图的分辨率层数，存在多个分辨率贴图对应同一分辨率特征网格的情况，这种情况可以通过在网络训练过程中为多个特征网格指定同一分辨率等级编号实现。例如，0-7共八个等级的贴图分辨率，与0-2共三个等级的特征分辨率之间对应关系如表1所示。
表1材质贴图与特征网格分辨率之间对应关系
每一层分辨率等级的特征网格包含高分辨率和低分辨率两个网格，其中高分辨率特征网格可以较好保存高频细节信息，低分辨率网格特征可以较好保存低频平滑信息。
在本发明实施例中，高分辨率材质贴图对应的材质贴图处理方法，具体包括：
步骤701、获取待处理材质贴图文件，根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成0、1、2分辨率等级贴图，以原始贴图自身作为0级，分辨率为(uv)，1级分辨率等级的贴图取u/2/>v/2；2级贴图分辨率为u/4/>v/4。
步骤702、获取0、1、2分辨率等级贴图序列；
步骤703、分别计算0、1、2分辨率等级贴图序列对应的基准贴图；
步骤704、根据0级分辨率贴图序列对应的基准贴图的偏移量贴图，根据1级分辨率贴图序列对应的基准贴图的偏移量贴图，根据2级分辨率贴图序列对应的基准贴图的偏移量贴图；
步骤705、将0级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到0分辨率层级对应的贴图特征表示，0分辨率层级特征存储在高分辨网格的网格单元中，将1级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到0分辨率层级对应的贴图特征表示；将2级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到0分辨率层级对应的贴图特征表示。
在本发明实施例中，低分辨率材质贴图对应的材质贴图处理方法，具体包括：
步骤801、获取待处理材质贴图文件，根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成5、6、7分辨率等级贴图，5、6、7分辨率等级贴图的分辨率依次减小。
步骤802、获取5、6、7分辨率等级贴图序列；
步骤803、分别计算5、6、7分辨率等级贴图序列对应的基准贴图；
步骤804、根据5级分辨率贴图序列对应的基准贴图的偏移量贴图，根据6级分辨率贴图序列对应的基准贴图的偏移量贴图，根据7级分辨率贴图序列对应的基准贴图的偏移量贴图；
步骤805、将5级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到2分辨率层级对应的贴图特征表示，2分辨率层级特征存储在低分辨网格的网格单元中，将6级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到2分辨率层级对应的贴图特征表示；将7级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到2分辨率层级对应的贴图特征表示。
在本发明实施例中，通过多分辨率特征层次化表示方法，利用不同分辨率的特征网格实现不同粒度的材质贴图特征表示。
本发明实施例提供的材质贴图处理方法，通过对多个贴图文件同时压缩为一个特征表达，可实现高效紧凑的材质贴图压缩表示，同时支持随机存取访问。通过基于基准贴图的预压缩，利用PBR材质多个贴图文件之间的相似性，通过计算和基准贴图的偏移量贴图可以缩小各贴图之间的差异，能够为后续压缩过程起到预压缩作用。通过神经网络模型压缩，模型通过压缩特征网格和网络参数的联合训练优化，能够实现将同一材质的多个贴图文件压缩为同一特征网格表示，提高了贴图压缩的效果。通过多分辨率特征层次化表示方法，利用不同分辨率的特征网格实现不同粒度的材质贴图特征表示，支持同一特征网格对应多个分辨率的贴图文件，能够提高材质贴图的空间压缩效率。
下面对本发明提供的材质贴图处理装置进行描述，下文描述的材质贴图处理装置与上文描述的材质贴图处理方法可相互对应参照。
图5为本发明实施例提供的材质贴图处理装置的功能结构示意图，如图5所示，本发明实施例提供的材质贴图处理装置包括：
第一计算模块501，用于获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；
第二计算模块502，用于根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；
压缩模块503，用于将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到。
本发明实施例提供的材质贴图处理装置，通过获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到，可以实现对同一材质的不同贴图进行同时压缩，实现紧凑的材质贴图表示，并且，通过基准贴图和偏移量贴图，可以提高各贴图数据之间的相似程度，有利于提高后续压缩过程的压缩率。
在本发明实施例中，第一计算模块501被配置为：
根据所述待处理材质贴图文件中同一材质类型的所有原始材质贴图中每个像素坐标位置的值的三角函数计算基准贴图中每个像素坐标位置的值，以使所述基准贴图中每个像素坐标位置的值在预设范围内；
根据所述基准贴图中每个像素坐标位置的值获取每种材质类型对应的基准贴图。
在本发明实施例中，待处理材质贴图文件后，还包括：
将所述待处理材质贴图文件中所有原始材质贴图转换为同一分辨率的材质贴图。
在本发明实施例中，第二计算模块502被配置为：
将所述每种材质类型对应的各个原始材质贴图的三角函数值与对应基准贴图的差值作为同一材质类型中各贴图相对基准贴图的偏移量贴图。
在本发明实施例中，压缩模块503中的贴图特征表示以特征网格形式表示，所述特征网格中每个网格单元用于存储压缩贴图特征，所述压缩贴图特征为单个特征值，和/或，所述压缩贴图特征为预设维度的特征向量。
在本发明一些实施例中，压缩模块503中的贴图特征表示以特征隐式形式表示，所述特征隐式根据特征网格中每个网格单元存储的压缩贴图特征及位置编码构造。
基于上述任一实施例，本发明实施例提供的材质贴图处理装置还包括还原模块，还原模块被配置为：
获取贴图特征表示对应的材质类型；
将贴图特征表示及贴图特征表示对应的材质类型输入贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
根据所述对应材质类别的基准贴图及偏移量贴图还原出原始材质贴图。
基于上述任一实施例，贴图压缩模型和贴图解压模型网络结构均为多层感知器网络，中间四层隐藏层每层包含256个神经元节点。MLP神经网络属于前馈神经网络的一种。在网络训练过程中，需要通过反向传播算法计算梯度，将误差从输出层反向传播回输入层，用于更新网络参数。网络的训练可以采用特征网格和网络参数联合训练优化的方式，利用ADAM优化器采用梯度下降方法实现。
本发明实施例提供的材质贴图处理装置还包括训练模块，训练模块被配置为：
获取训练数据集中不同材质类型的原始材质贴图，计算每种材质类型的原始材质贴图计算出每种材质类型的基准贴图及偏移量贴图；
获取同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值；
将同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值输入初始贴图压缩模型，得到贴图特征表示；
将所述贴图特征表示及贴图特征表示对应的材质类型输入初始贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
根据所述对应材质类别的基准贴图及偏移量贴图计算出还原材质贴图；
根据所述原始材质贴图和所述还原材质贴图构造损失函数；
根据所述损失函数，利用优化器对初始贴图压缩模型和初始贴图解压模型进行参数优化，得到训练好的贴图压缩模型和训练好的贴图解压模型。
在本发明实施例中，根据所述原始材质贴图和所述还原材质贴图构造损失函数，包括：
所述损失函数为原始材质贴图与所述还原材质贴图的结构相似性指标误差。
在本发明实施例中，所述原始材质贴图与所述还原材质贴图的结构相似性指标误差计算方法，包括：
获取所述原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差；
根据所述原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差计算所述原始材质贴图与所述还原材质贴图的结构相似性指标误差。
基于上述任一实施例，本发明实施例提供的材质贴图处理装置还包括分辨率区分模块，分辨率区分被配置为：获取待处理材质贴图文件后，根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成多个分辨率等级的材质贴图，每个分辨率等级对应的原始材质贴图的分辨率不同，每个等级分辨率贴图质量及压缩效率设定；
其中，当前级别分辨率的材质贴图根据与其相邻等级分辨率的材质贴图下采样计算得到，或，当前级别分辨率的材质贴图根据与其不相邻等级分辨率的材质贴图下采样计算得到；所述下采样计算包括插值计算和/或间隔选取像素计算；
根据每种材质类型对应的材质贴图获取多个分辨率等级的贴图序列；
对所有贴图计算生成其不同分辨率的多级贴图，级数L为预设值，根据压缩质量和压缩效率需求确定，L可取3、4、5级等，一般以原始贴图自身作为0级，其后各级分辨率依次降低，每级贴图的分辨率大小可根据具体需求设定。
以为例，其分辨率为u/>v，取L=3时，则/>自身即为0级贴图；1级贴图通过0级贴图下采样得到，采样方式可采用插值或间隔选取像素的方式等，其分辨率可根据需求设定，比如取u/2/>v/2；2级贴图分辨率假设取为u/4/>v/4，可在0级贴图或1级贴图基础上通过下采样得到。
计算同一材质类型中每种分辨率等级的贴图序列对应的基准贴图；
根据所述每种分辨率等级的贴图序列对应的基准贴图计算同一材质下同一分辨率等级的贴图序列中各贴图相对基准贴图的偏移量贴图；
将每种材质类型对应的同一分辨率等级的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到同一材质类型不同分辨率层级对应的贴图特征表示。
在本发明实施例中，每个分辨率层级对应的贴图特征表示，包括：
高分辨率特征网格及位置编码，或，低分辨率特征网格及位置编码；
所述高分辨率特征网格中每个网格单元用于存储高频细节信息；
所述低分辨率特征网格中每个网格单元用于存储低频平滑信息；
所述位置编码为对压缩材质贴图中每个像素坐标进行编码后得到的编码向量。
在本发明实施例中，所述对压缩材质贴图中每个像素坐标进行编码后得到的编码向量，包括：
使用三角函数位置编码方法对所述压缩材质贴图中每个像素坐标进行编码后得到的编码向量。
在本发明实施例中，所述高频细节信息为高分辨率特征采样值，所述高分辨率特征采样值根据从高分辨率特征网格中特征所在位置的相邻四个特征值得到。
在本发明实施例中，所述低频平滑信息为低分辨率特征插值，所述低分辨率特征插值根据低分辨率特征网格中特征所在位置从相邻四个特征值经过插值计算得到。
在本发明实施例中，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量相同，或者，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同。
在本发明实施例中，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同时，同一材质类型的特征网格分辨率层级少于对应材质类型的材质贴图分辨率等级。
每一层分辨率等级的特征网格包含高分辨率和低分辨率两个网格，其中高分辨率特征网格可以较好保存高频细节信息，低分辨率网格特征可以较好保存低频平滑信息。
在本发明实施例中，高分辨率材质贴图对应的材质贴图处理方法，具体包括：获取待处理材质贴图文件，根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成0、1、2分辨率等级贴图，以原始贴图自身作为0级，分辨率为(uv)，1级分辨率等级的贴图取u/2/>v/2；2级贴图分辨率为u/4/>v/4。获取0、1、2分辨率等级贴图序列；分别计算0、1、2分辨率等级贴图序列对应的基准贴图；根据0级分辨率贴图序列对应的基准贴图的偏移量贴图，根据1级分辨率贴图序列对应的基准贴图的偏移量贴图，根据2级分辨率贴图序列对应的基准贴图的偏移量贴图；将0级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到0分辨率层级对应的贴图特征表示，0分辨率层级特征存储在高分辨网格的网格单元中，将1级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到0分辨率层级对应的贴图特征表示；将2级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到0分辨率层级对应的贴图特征表示。
在本发明实施例中，低分辨率材质贴图对应的材质贴图处理方法，具体包括：获取待处理材质贴图文件，根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成5、6、7分辨率等级贴图，5、6、7分辨率等级贴图的分辨率依次减小。获取5、6、7分辨率等级贴图序列；分别计算5、6、7分辨率等级贴图序列对应的基准贴图；根据5级分辨率贴图序列对应的基准贴图的偏移量贴图，根据6级分辨率贴图序列对应的基准贴图的偏移量贴图，根据7级分辨率贴图序列对应的基准贴图的偏移量贴图；将5级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到2分辨率层级对应的贴图特征表示，2分辨率层级特征存储在低分辨网格的网格单元中，将6级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到2分辨率层级对应的贴图特征表示；将7级分辨率的贴图序列中各贴图相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到2分辨率层级对应的贴图特征表示。
本发明实施例提供的材质贴图处理装置，通过对多个贴图文件同时压缩为一个特征表达，可实现高效紧凑的材质贴图压缩表示，同时支持随机存取访问。通过基于基准贴图的预压缩，利用PBR材质多个贴图文件之间的相似性，通过计算和基准贴图的偏移量贴图可以缩小各贴图之间的差异，能够为后续压缩过程起到预压缩作用。通过神经网络模型压缩，模型通过压缩特征网格和网络参数的联合训练优化，能够实现将同一材质的多个贴图文件压缩为同一特征网格表示，提高了贴图压缩的效果。通过多分辨率特征层次化表示方法，利用不同分辨率的特征网格实现不同粒度的材质贴图特征表示，支持同一特征网格对应多个分辨率的贴图文件，能够提高材质贴图的空间压缩效率。
图6示例了一种电子设备的实体结构示意图，如图6所示，该服务器可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行材质贴图处理方法，该方法包括：获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的材质贴图处理方法，该方法包括：获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种材质贴图处理方法，其特征在于，包括：
获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；
根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；
将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图以及与贴图解压模型联合训练得到，所述贴图解压模型用于根据材质类型对应的贴图特征表示还原出原始材质贴图。
2.根据权利要求1所述的材质贴图处理方法，其特征在于，所述计算所述待处理材质贴图文件中每种材质类型对应的基准贴图，包括：
根据所述待处理材质贴图文件中同一材质类型的所有原始材质贴图中每个像素坐标位置的值的三角函数计算基准贴图中每个像素坐标位置的值，以使所述基准贴图中每个像素坐标位置的值在预设范围内；
根据所述基准贴图中每个像素坐标位置的值获取每种材质类型对应的基准贴图。
3.根据权利要求2所述的材质贴图处理方法，其特征在于，所述待处理材质贴图文件后，还包括：
将所述待处理材质贴图文件中所有原始材质贴图转换为同一分辨率的材质贴图。
4.根据权利要求1所述的材质贴图处理方法，其特征在于，所述根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图，包括：
将所述每种材质类型对应的各个原始材质贴图的三角函数值与对应基准贴图的差值作为同一材质类型中各贴图相对基准贴图的偏移量贴图。
5.根据权利要求1所述的材质贴图处理方法，其特征在于，所述贴图特征表示以特征网格形式表示，所述特征网格中每个网格单元用于存储压缩贴图特征，所述压缩贴图特征为单个特征值，和/或，所述压缩贴图特征为预设维度的特征向量。
6.根据权利要求5所述的材质贴图处理方法，其特征在于，所述贴图特征表示以特征隐式形式表示，所述特征隐式根据特征网格中每个网格单元存储的压缩贴图特征及位置编码构造。
7.根据权利要求1、5、6中任一项所述的材质贴图处理方法，其特征在于，还包括：
获取贴图特征表示对应的材质类型；
将贴图特征表示及贴图特征表示对应的材质类型输入贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
根据所述对应材质类别的基准贴图及偏移量贴图还原出原始材质贴图。
8.根据权利要求7所述的材质贴图处理方法，其特征在于，所述贴图压缩模型及所述贴图解压模型的训练过程，包括：
获取训练数据集中不同材质类型的原始材质贴图，计算每种材质类型的原始材质贴图计算出每种材质类型的基准贴图及偏移量贴图；
获取同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值；
将同一材质类型基准贴图及偏移量贴图中的每个像素坐标的像素值输入初始贴图压缩模型，得到贴图特征表示；
将所述贴图特征表示及贴图特征表示对应的材质类型输入初始贴图解压模型，得到对应材质类别的基准贴图及偏移量贴图；
根据所述对应材质类别的基准贴图及偏移量贴图计算出还原材质贴图；
根据所述原始材质贴图和所述还原材质贴图构造损失函数；
根据所述损失函数，利用优化器对初始贴图压缩模型和初始贴图解压模型进行参数优化，得到训练好的贴图压缩模型和训练好的贴图解压模型。
9.根据权利要求8所述的材质贴图处理方法，其特征在于，所述根据所述原始材质贴图和所述还原材质贴图构造损失函数，包括：
所述损失函数为原始材质贴图与所述还原材质贴图的结构相似性指标误差。
10.根据权利要求9所述的材质贴图处理方法，其特征在于，所述原始材质贴图与所述还原材质贴图的结构相似性指标误差计算方法包括：
获取所述原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差；
根据所述原始材质贴图的第一像素平均值和第一像素方差及所述还原材质贴图的第二像素平均值和第二像素方差计算所述原始材质贴图与所述还原材质贴图的结构相似性指标误差。
11.根据权利要求1所述的材质贴图处理方法，其特征在于，所述获取待处理材质贴图文件后，还包括：
根据所述待处理材质贴图文件中每种材质类型的原始材质贴图生成多个分辨率等级的材质贴图，每个分辨率等级对应的原始材质贴图的分辨率不同，每个等级分辨率贴图质量及压缩效率设定；
其中，当前级别分辨率的材质贴图根据与其相邻等级分辨率的材质贴图下采样计算得到，或，当前级别分辨率的材质贴图根据与其不相邻等级分辨率的材质贴图下采样计算得到；
所述下采样计算包括插值计算和/或间隔选取像素计算；
根据每种材质类型对应的材质贴图获取多个分辨率等级的贴图序列；
计算同一材质类型中每种分辨率等级的贴图序列对应的基准贴图；
根据所述每种分辨率等级的贴图序列对应的基准贴图计算同一材质下同一分辨率等级的贴图序列中各贴图相对基准贴图的偏移量贴图；
将每种材质类型对应的同一分辨率等级的贴图序列中各贴图的基准贴图及相对基准贴图的偏移量贴图输入贴图压缩模型进行压缩，得到同一材质类型不同分辨率层级对应的贴图特征表示。
12.根据权利要求11所述的材质贴图处理方法，其特征在于，每个分辨率层级对应的贴图特征表示，包括：
高分辨率特征网格及位置编码，或，低分辨率特征网格及位置编码；
所述高分辨率特征网格中每个网格单元用于存储高频细节信息；
所述低分辨率特征网格中每个网格单元用于存储低频平滑信息；
所述位置编码为对压缩材质贴图中每个像素坐标进行编码后得到的编码向量。
13.根据权利要求12所述的材质贴图处理方法，其特征在于，所述高频细节信息为高分辨率特征采样值，所述高分辨率特征采样值根据从高分辨率特征网格中特征所在位置的相邻四个特征值得到。
14.根据权利要求12所述的材质贴图处理方法，其特征在于，所述低频平滑信息为低分辨率特征插值，所述低分辨率特征插值根据低分辨率特征网格中特征所在位置从相邻四个特征值经过插值计算得到。
15.根据权利要求11所述的材质贴图处理方法，其特征在于，压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量相同，或者，压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同。
16.根据权利要求15所述的材质贴图处理方法，其特征在于，所述压缩后同一材质类型的特征网格分辨率层级与压缩前同一材质类型的材质贴图分辨率等级的数量不同时，压缩后同一材质类型的特征网格分辨率层级少于压缩前对应材质类型的材质贴图分辨率等级。
17.根据权利要求12所述的材质贴图处理方法，其特征在于，所述对压缩材质贴图中每个像素坐标进行编码后得到的编码向量，包括：
使用三角函数位置编码方法对所述压缩材质贴图中每个像素坐标进行编码，得到编码向量。
18.一种材质贴图处理装置，其特征在于，包括：
第一计算模块，用于获取待处理材质贴图文件，计算所述待处理材质贴图文件中每种材质类型对应的基准贴图；
第二计算模块，用于根据所述每种材质类型对应的基准贴图计算同一材质类型中各贴图相对基准贴图的偏移量贴图；
压缩模块，用于将每种材质类型的基准贴图及对应偏移量贴图输入贴图压缩模型进行压缩，得到每种材质类型对应的贴图特征表示，其中，所述贴图压缩模型根据不同材质类型对应的材质贴图的基准贴图和偏移量贴图以及与贴图解压模型联合训练得到，所述贴图解压模型用于根据材质类型对应的贴图特征表示还原出原始材质贴图。
19.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至17任一项所述的材质贴图处理方法。
20.一种非暂态可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至17任一项所述的材质贴图处理方法。
CN202311835528.6A 2023-12-28 2023-12-28 材质贴图处理方法、装置、电子设备及存储介质 Active CN117475066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311835528.6A CN117475066B (zh) 2023-12-28 2023-12-28 材质贴图处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311835528.6A CN117475066B (zh) 2023-12-28 2023-12-28 材质贴图处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117475066A CN117475066A (zh) 2024-01-30
CN117475066B true CN117475066B (zh) 2024-03-15

Family

ID=89627906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311835528.6A Active CN117475066B (zh) 2023-12-28 2023-12-28 材质贴图处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117475066B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140568A (zh) * 2021-10-28 2022-03-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115409755A (zh) * 2022-11-03 2022-11-29 腾讯科技（深圳）有限公司 贴图处理方法和装置、存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112362679A (zh) * 2019-07-23 2021-02-12 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140568A (zh) * 2021-10-28 2022-03-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115409755A (zh) * 2022-11-03 2022-11-29 腾讯科技（深圳）有限公司 贴图处理方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN117475066A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN110390638B (zh) 一种高分辨率三维体素模型重建方法
Morell et al. Geometric 3D point cloud compression
US7230616B2 (en) Bi-level iso-surface compression
JP4398257B2 (ja) テクスチャ・イメージが使用する空間を最適化するための方法及びプログラム
CN104160421A (zh) 用于执行对输入图像的分层超分辨率的方法和装置
CN112634149A (zh) 一种基于图卷积网络的点云去噪方法
EP3841528A1 (en) Data compression using integer neural networks
CN115205488A (zh) 一种基于隐式神经场表示的3d人体网格补全方法
Young et al. Gaussian lifting for fast bilateral and nonlocal means filtering
JP2021165962A (ja) 情報処理装置、学習方法、学習モデルおよびプログラム
Qin et al. Multi-resolution space-attended residual dense network for single image super-resolution
CN117475066B (zh) 材质贴图处理方法、装置、电子设备及存储介质
Vines Signal modeling with iterated function systems
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN115393452A (zh) 一种基于非对称自编码器结构的点云几何压缩方法
CN113838104B (zh) 基于多光谱与多模态图像一致性增强网络的配准方法
CN114615505A (zh) 基于深度熵编码的点云属性压缩方法、装置和存储介质
US20220172421A1 (en) Enhancement of Three-Dimensional Facial Scans
Deshmukh Image compression using neural networks
CN113505801B (zh) 一种用于超维计算的图像编码方法
Szczȩsna The multiresolution analysis of triangle surface meshes with lifting scheme
KR102466156B1 (ko) 컨벌루셔널 신경망 연산 방법
Abood et al. Fast Full-Search Algorithm of Fractal Image Compression for Acceleration Image Processing
CN116416362A (zh) 基于生成对抗网络的高质量材质贴图获取方法及系统
CN116128985A (zh) 基于双分支神经网络的大规模点云几何压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant