CN115409755A - 贴图处理方法和装置、存储介质及电子设备 - Google Patents
贴图处理方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115409755A CN115409755A CN202211365530.7A CN202211365530A CN115409755A CN 115409755 A CN115409755 A CN 115409755A CN 202211365530 A CN202211365530 A CN 202211365530A CN 115409755 A CN115409755 A CN 115409755A
- Authority
- CN
- China
- Prior art keywords
- target
- initial
- map
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000013507 mapping Methods 0.000 claims description 55
- 238000005070 sampling Methods 0.000 claims description 53
- 230000004927 fusion Effects 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 238000005457 optimization Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种贴图处理方法和装置、存储介质及电子设备。其中，该方法包括：获取待处理的初始贴图，其中，初始贴图是目标应用需要加载的贴图，根据初始贴图生成不同尺度的多个特征图像，其中，多个特征图像中每个特征图像保留了不同尺度的高频信息，对多个特征图像进行融合，生成目标贴图，在目标性能参数满足预设条件的情况下，将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销，本申请可以应用于包括但不限于智能游戏领域等，实现对游戏资源贴图进行的基于人工智能的处理。本申请解决了相关技术中贴图加载时，资源开销过大，浪费硬件资源的技术问题。
Description
技术领域
本申请涉及计算机领域，具体而言，涉及一种贴图处理方法和装置、存储介质及电子设备。
背景技术
不合理的贴图资源会导致应用的性能下降，比如，贴图资源的尺寸过大，会导致GPU（图形处理器，Graphics Processing Unit）和CPU（中央处理器，Central ProcessingUnit）的负载增加，资源过小也会导致硬件资源的浪费，在优化贴图资源时，一般采用全局提高分辨率的优化方式，而上述优化方式由于计算量过大，而且在图像优化过程中未区别性地提升图像，导致图像整体视觉效果虽然提升，但是牺牲了硬件性能，导致需要使用的CPU或者GPU资源成指数倍增加。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种贴图处理方法和装置、存储介质及电子设备，以至少解决相关技术中贴图加载时，资源开销过大，浪费硬件资源的技术问题。
根据本申请实施例的一个方面，提供了一种贴图处理方法，包括：获取待处理的初始贴图，其中，所述初始贴图是目标应用需要加载的贴图；根据所述初始贴图生成不同尺度的多个特征图像，其中，所述多个特征图像中每个特征图像保留了不同尺度的高频信息；对所述多个特征图像进行融合，生成目标贴图，其中，所述目标贴图的分辨率与所述初始贴图的分辨率相同；在目标性能参数满足预设条件的情况下，将初始贴图替换为所述目标贴图，其中，所述目标性能参数用于表示所述目标应用加载所述目标贴图时所产生的资源开销。
根据本申请实施例的另一方面，还提供了一种贴图处理装置，包括：获取模块，用于获取待处理的初始贴图，其中，所述初始贴图是目标应用需要加载的贴图；生成模块，用于根据所述初始贴图生成不同尺度的多个特征图像，其中，所述多个特征图像中每个特征图像保留了不同尺度的高频信息；融合模块，用于对所述多个特征图像进行融合，生成目标贴图，其中，所述目标贴图的分辨率与所述初始贴图的分辨率相同；替换模块，用于在目标性能参数满足预设条件的情况下，将初始贴图替换为所述目标贴图，其中，所述目标性能参数用于表示所述目标应用加载所述目标贴图时所产生的资源开销。
可选地，所述装置用于通过如下方式根据所述初始贴图生成不同尺度的多个特征图像：对所述初始贴图执行特征提取操作，得到初始特征图像；将所述初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像，其中，所述目标生成网络是对待训练的初始生成网络进行训练得到的网络，所述目标生成网络包括所述不同尺度对应的多个目标生成子网络，每个所述目标生成子网络中的目标生成器的数量不同，所述目标生成器用于根据输入的特征图像，输出提升了分辨率的特征图像。
可选地，所述装置用于通过如下方式将所述初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像：将所述初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像，其中，所述第一目标生成子网络包括一个所述目标生成器，所述第一特征图像分辨率大于所述初始特征图像；将所述初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像，其中，所述第二目标生成子网络包括多个所述目标生成器，所述多个目标生成器串联设置，所述第二特征图像的分辨率大于所述第一特征图像的分辨率。
可选地，所述装置用于通过如下方式将所述初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像：将所述初始特征图像输入第一目标生成器，得到所述第一特征图像，其中，所述第一目标生成子网络包括所述第一目标生成器；
所述装置用于通过如下方式将所述初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像：对所述第一特征图像执行上采样操作，得到第一采样图像；将所述初始特征图像输入所述第一目标生成器，得到所述第一特征图像；将所述第一特征图像输入第二目标生成器，得到第一中间特征图像；融合所述第一采样图像和所述第一中间特征图像，得到所述第二特征图像，其中，所述第二目标生成子网络包括所述第一目标生成器和所述第二目标生成器。
可选地，所述装置还用于：通过如下方式将所述初始特征图像输入预训练的第三目标生成子网络，得到第四特征图像，其中，所述第三目标生成子网络包括第一目标生成器、第二目标生成器、第三目标生成器以及第四目标生成器：对所述第二特征图像执行上采样操作，得到第二采样图像；将所述初始特征图像输入所述第一目标生成器，得到所述第一特征图像；将所述第一特征图像输入第二目标生成器，得到第一中间特征图像；将所述第一中间特征图像输入第三目标生成器，得到第二中间特征图像；将所述第二采样图像和所述第二中间特征图像融合，得到所述第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率；对所述第三特征图像执行上采样操作，得到第三采样图像；将所述第二中间特征图像输入第四目标生成器，得到第三中间特征图像；将所述第三采样图像和所述第三中间特征图像融合，得到所述第四特征图像，其中，所述第四特征图像的分辨率大于所述第三特征图像的分辨率。
可选地，所述装置用于通过如下方式对所述多个特征图像进行融合，生成目标贴图：对所述多个特征图像进行分类，并根据分类结果确定所述多个特征图像中各个特征图像中各个像素点的目标融合系数；根据所述目标融合系数聚合所述多个特征图像，得到所述重建贴图，其中，所述重建贴图的分辨率大于所述初始贴图；对所述重建贴图执行下采样操作，得到所述目标贴图。
可选地，所述装置还用于：将初始样本贴图输入初始生成网络，生成目标样本贴图，其中，所述初始生成网络包括所述不同层级对应的多个初始生成子网络，每个所述初始生成子网络包括至少一个初始生成器和初始判别器，不同层级对应的所述初始生成子网络中对应的初始生成器的数量不同，每个所述初始生成器用于根据输入的样本特征图像输出分辨度更高的样本特征图像，位于目标层级的所述初始判别器用于确定所述目标层级中最终输出的样本特征图像中各个像素的分类结果，所述分类结果用于确定所述各个像素的样本融合系数，所述样本融合系数用于融合各个所述初始生成子网络生成的样本特征图像中相同像素点，以生成所述目标样本贴图；其中，所述各个初始生成子网络分别进行独立训练，在所述各个初始生成子网络均训练完成的情况下，得到所述目标生成网络。
可选地，所述装置还用于：通过如下方式训练各个所述初始生成子网络：对初始样本贴图执行所述特征提取操作，得到第一样本特征图像；对所述第一样本特征图像执行卷积操作，得到第二样本特征图像；将所述第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度，其中，所述残差密集度是所述初始生成子网络的损失函数；在所述残差密集度满足所述预设损失条件的情况下，生成所述目标生成子网络。
可选地，所述装置用于通过如下方式将所述第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度：确定所述第二样本特征图像中各个像素与周围像素的能量聚集程度；根据各个像素对应的所述能量聚集程度确定所述各个像素需要进行调节的权重值；根据所述各个像素对应的权重值确定所述残差密集度。
可选地，所述装置用于执行如下至少之一方法：获取第一性能参数，其中，所述第一性能参数用于表示所述目标应用加载所述初始贴图时所产生的资源开销；在所述目标性能参数与所述第一性能参数的差值小于或等于第一预设阈值的情况下，确定所述目标性能参数满足所述预设条件；获取目标性能参数阈值，其中，所述目标性能参数阈值用于表示所述目标应用加载贴图时所允许产生的资源开销最大值；在所述目标性能参数与所述目标性能参数阈值的差值小于或等于第二预设阈值的情况下，确定所述目标性能参数满足所述预设条件。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述贴图处理方法。
根据本申请实施例的又一方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上贴图处理方法。
根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的贴图处理方法。
在本申请实施例中，采用获取待处理的初始贴图，其中，初始贴图是目标应用需要加载的贴图，根据初始贴图生成不同尺度的多个特征图像，其中，多个特征图像中每个特征图像保留了不同尺度的高频信息，对多个特征图像进行融合，生成目标贴图，其中，目标贴图的分辨率与初始贴图的分辨率相同，在目标性能参数满足预设条件的情况下，将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销的方式，通过使用基于多尺度异步学习的生成网络，在网络模型中采用金字塔结构来整合不同尺度的高频信息，达到优化性能的目的，从而实现了提高图像分辨率，优化高视觉效果的同时避免资源开销过大的技术效果，进而解决了相关技术中贴图加载时，资源开销过大，浪费硬件资源的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的贴图处理方法的应用环境的示意图；
图2是根据本申请实施例的一种可选的贴图处理方法的流程示意图；
图3是根据本申请实施例的一种可选的贴图处理方法的示意图；
图4是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图5是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图6是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图7是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图8是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图9是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图10（a）是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图10（b）是根据本申请实施例的又一种可选的贴图处理方法的示意图；
图11是根据本申请实施例的一种可选的贴图处理装置的结构示意图；
图12是根据本申请实施例的一种可选的贴图处理产品的结构示意图；
图13是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
CNN：卷积神经网络。
下面结合实施例对本申请进行说明：
根据本申请实施例的一个方面，提供了一种贴图处理方法，可选地，在本实施例中，上述贴图处理方法可以应用于如图1所示的由服务器101和终端设备103所构成的硬件环境中。如图1所示，服务器101通过网络与终端103进行连接，可用于为终端设备或终端设备上安装的应用程序提供服务，应用程序可以是视频应用程序、即时通信应用程序、浏览器应用程序、教育应用程序、游戏应用程序等。可在服务器上或独立于服务器设置数据库105，用于为服务器101提供数据存储服务，例如，游戏数据存储服务器，上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络，终端设备103可以是配置有应用程序的终端，可以包括但不限于以下至少之一：手机（如Android手机、iOS手机等）、笔记本电脑、平板电脑、掌上电脑、MID（Mobile Internet Devices，移动互联网设备）、PAD、台式电脑、智能电视、智能语音交互设备、智能家电、车载终端、飞行器等计算机设备，上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。
结合图1所示，上述贴图处理方法可以在终端设备103通过如下步骤实现：
S1，在终端设备103上获取待处理的初始贴图，其中，初始贴图是目标应用需要加载的贴图；
S2，在终端设备103上根据初始贴图生成不同尺度的多个特征图像，其中，多个特征图像中每个特征图像保留了不同尺度的高频信息；
S3，在终端设备103上对多个特征图像进行融合，生成目标贴图，其中，目标贴图的分辨率与初始贴图的分辨率相同；
S4，在目标性能参数满足预设条件的情况下，在终端设备103上将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销。
可选地，在本实施例中，上述贴图处理方法还可以通过服务器实现，例如，图1所示的服务器101中实现；或由终端设备和服务器共同实现。
上述仅是一种示例，本实施例不做具体的限定。
可选地，作为一种可选的实施方式，如图2所示，上述贴图处理方法包括：
S202，获取待处理的初始贴图，其中，初始贴图是目标应用需要加载的贴图；
S204，根据初始贴图生成不同尺度的多个特征图像，其中，多个特征图像中每个特征图像保留了不同尺度的高频信息；
S206，对多个特征图像进行融合，生成目标贴图，其中，目标贴图的分辨率与初始贴图的分辨率相同；
S208，在目标性能参数满足预设条件的情况下，将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销。
在一个示例性的实施例中，上述贴图处理方法可以包括但不限于应用于游戏领域、电子商务领域、智慧交通领域等需要在目标应用中加载资源贴图的应用场景。
需要说明的是，上述贴图处理方法可以但不限于应用于各种应用中，其中，以目标应用是游戏应用为例，上述游戏应用可以为多人在线战术竞技游戏（Multiplayer OnlineBattle Arena 简称为MOBA ）或者为单人游戏（Single-Player Game 简称为SPG）。在此不做具体限定，上述的目标游戏应用可以包括但不限于射击应用、角色扮演应用、即时战略应用等，上述射击应用可以包括但不限于第一人称射击应用、第三人称射击应用以及能够在第一人称与第三人称之间进行切换的射击应用，上述目标应用还可以包括但不限于以下至少之一：二维（Two Dimension，简称2D）游戏应用、三维（Three Dimension，简称3D）游戏应用、虚拟现实（Virtual Reality，简称VR）游戏应用、增强现实（Augmented Reality，简称AR）游戏应用、混合现实（Mixed Reality，简称MR）游戏应用。以上只是一种示例，本实施例对此不作任何限定。
在一个示例性的实施例中，上述初始贴图可以包括但不限于显示在应用中的图案、模型等，通过调用纹理资源贴图、材质资源贴图等进行渲染，以最终显示在目标应用所在终端的显示画面中。
需要说明的是，以游戏应用为例，虚拟桌椅、虚拟载具、虚拟角色、虚拟地形等等游戏贴图均是由纹理块和贴图资源共同组成并进行显示的，贴图一般用于表示虚拟物体的颜色、材质等，当需要加载相对复杂的贴图，又需要避免过度浪费硬件资源时，则需要对初始贴图进行优化，以生成重建的超分辨率图像作为上述目标贴图，当目标贴图加载时硬件资源开销较低时，则可以将初始贴图替换为目标贴图，以在分辨率受影响较小的情况下，大幅度降低硬件开销，或者，在硬件开销相同或区别较小的情况下，大幅度提高贴图的分辨率。
例如，图3是根据本申请实施例的一种可选的贴图处理方法的示意图，如图3所示，目标应用显示有各种各样的虚拟物品、虚拟墙壁、虚拟云朵、虚拟道具等，上述内容均是通过加载预先存储的纹理块和贴图显示的，以虚拟云朵为例，当加载虚拟云朵时，GPU调用函数拉取上述虚拟云朵的纹理块和贴图，再对纹理块和贴图进行渲染，最终将上述虚拟云朵显示在目标应用中，此时，由于虚拟云朵的贴图消耗过高资源，可能会导致目标应用卡顿等问题，而通过根据该虚拟云朵的贴图生成不同尺度的多个特征图像，对多个特征图像进行融合，生成新的表示虚拟云朵的目标贴图，以在后续需要显示虚拟云朵时，加载新生成的目标贴图，由于上述目标贴图的资源开销小于上述初始贴图的资源开销，因此，替换后的目标应用可能不再卡顿，或者缩短了虚拟云朵的显示等待时间，提高了视觉体验。
S208，在目标性能参数满足预设条件的情况下，将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销。
在一个示例性的实施例中，上述不同尺度可以理解为不同分辨率的特征图像，上述多个不同尺度的特征图像用于提取初始图像中的高频信息，并针对提取到的高频信息进行优化，以最终重建出具有初始图像高频信息的目标贴图，该目标贴图所消耗的资源开销小于或等于上述初始资源的开销。
需要说明的是，上述目标贴图相比于初始贴图可以包括但不限于消耗资源相同，但目标贴图的分辨率更高，或者分辨率相同但目标贴图消耗的资源更少，亦或者目标贴图的分辨率更高且目标贴图消耗的资源更少。
可选地，在本实施例中，图像频率是指图像中灰度变化剧烈程度的指标。图像的主要成分是低频信息，它形成了图像基本的灰度等级，对图像结构的决定作用较小；中频信息决定了图像的基本结构，形成了图像的主要边缘结构；高频信息形成了图像的边缘和细节，是在中频信息上对图像内容的强化，也即，低频信息表示图像中灰度值变化缓慢的区域，对应着图像中大块平坦的区域，也就是大范围大尺度的信息，即常说的背景，是图像的大致概貌和轮廓，是图像的近似信息，而上述高频信息表示图像中灰度值变化剧烈的区域，对应着图像的边缘、噪声以及细节部分，反应的是小范围的细节信息。
可选地，在本实施例中，上述不同尺度的高频信息可以理解为在不同分辨率或尺度等级下，所提取到的高频信息，上述高频信息所表示的例如轮廓或者线条可以使得图像看起来更棱角分明，在一定程度上可以提高图像分辨率，优化视觉效果。
在一个示例性的实施例中，上述对多个特征图像进行融合，生成目标贴图可以理解为对不同尺度下得到的多个特征图像中各个像素分配不同的权重，以实现特征图像的融合。
例如，图4是根据本申请实施例的又一种可选的贴图处理方法的示意图，如图4所示，多个特征图像包括特征图像1、特征图像2、特征图像3、特征图像4，每个特征图像用于表示初始图像在不同尺度（尺度A、尺度B、尺度C以及尺度D各不相同）下各个像素点的位置以及各个像素点的像素值，上述融合过程实际上是将不同尺度下相同位置的像素点的像素值按照一定权重值进行融合的过程，通过将融合后的像素值作为上述对应像素点的像素值，以进行图像重建。
需要说明的是，上述一定权重值可以包括但不限于根据分类器的分类结果确定，例如，以生成网络的判别器为例，通过将特征图像输入判别器进行鉴别，以生成分类结果，该分类结果可以是概率值，以作为上述一定权重值。
可选地，在本实施例中，上述目标贴图的分辨率与初始贴图的分辨率可以相同或属于相同的分辨率区间，当目标贴图的分辨率与初始贴图的分辨率相同时，上述目标贴图的高频细节相比于上述初始贴图更加逼真，贴图质量也更高。
在一个示例性的实施例中，上述目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销，也即，当目标应用加载目标贴图时，获取CPU或GPU的负载情况，以生成上述目标性能参数，可以包括但不限于CPU占用率、GPU占用率等。
可选地，在本实施例中，上述预设条件可以是根据先验知识预先确定的性能参数阈值，以比较上述目标性能参数和性能参数阈值之间的大小，进而，当目标性能参数小于性能参数阈值时，认为目标贴图可以保证贴图质量的情况下，不损害性能，或者，预先确定初始贴图的第一性能参数，以比较上述第一性能参数和目标性能参数之间的大小，进而，当目标性能参数小于第一性能参数时，认为目标贴图可以保证贴图质量的情况下，降低资源开销。
在一个示例性的实施例中，上述将初始贴图替换为目标贴图可以包括但不限于将初始贴图从服务器或其他存储设备中删除，并添加上述目标贴图，并将初始贴图的调用函数更改为目标贴图的调用函数。
例如，图5是根据本申请实施例的又一种可选的贴图处理方法的示意图，如图5所示，目标应用关联的贴图集合包括贴图A（对应于前述初始贴图）、贴图B，通过根据贴图A生成不同尺度的多个特征图像，对多个特征图像进行融合，生成贴图C，在目标性能参数满足预设条件时，将贴图A替换为贴图C，以实现缩短贴图的显示等待时间，降低了资源开销，提高了视觉体验。
通过本实施例，采用获取待处理的初始贴图，其中，初始贴图是目标应用需要加载的贴图，根据初始贴图生成不同尺度的多个特征图像，其中，多个特征图像中每个特征图像保留了不同尺度的高频信息，对多个特征图像进行融合，生成目标贴图，其中，目标贴图的分辨率与初始贴图的分辨率相同，在目标性能参数满足预设条件的情况下，将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销的方式，通过使用基于多尺度异步学习的生成网络，在网络模型中采用金字塔结构来整合不同尺度的高频信息，达到优化性能的目的，从而实现了提高图像分辨率，优化高视觉效果的同时避免资源开销过大的技术效果，进而解决了相关技术中贴图加载时，资源开销过大，浪费硬件资源的技术问题。
作为一种可选的方案，根据初始贴图生成不同尺度的多个特征图像，包括：
对初始贴图执行特征提取操作，得到初始特征图像；
将初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像，其中，目标生成网络是对待训练的初始生成网络进行训练得到的网络，目标生成网络包括不同尺度对应的多个目标生成子网络，每个目标生成子网络中的目标生成器的数量不同，目标生成器用于根据输入的特征图像，输出提升了分辨率的特征图像。
可选地，在本实施例中，上述特征提取操作可以包括但不限于一种或多种进行特征提取操作的组合，例如，可以包括但不限于常规的卷积提取特征操作，上述目标生成网络可以包括但不限于由多个生成子网络组成，每个目标生成子网络分别对应于不同尺度中的一个尺度，每个目标生成子网络中包括一定数量的目标生成器和判别器，不同尺度的目标生成子网络包括不同数量的目标生成器，该目标生成器可以用于对输入的特征图像提取包括高频信息，分辨率更高的特征图像。
例如，图6是根据本申请实施例的又一种可选的贴图处理方法的示意图，如图6所示，目标生成网络可以包括但不限于设置包括4个目标生成子网络，分别对应于Level 0尺度、Level 1尺度、Level 2尺度以及Level 3尺度，其中，Level 0尺度包括1个目标生成器，Level 1尺度包括2个目标生成器，Level 2尺度包括3个目标生成器，Level 3尺度包括4个目标生成器，当包括多个目标生成器时，多个目标生成器串联设置在网络结构中，也即，目标生成器602的输入是初始贴图所提取到的初始特征图像，输出是特征图像A，目标生成器604的输入是特征图像A，输出是特征图像B，以此类推。
通过本实施例，上述每个生成子网络的目标生成器的数量可以根据实际需要进行调整，多个目标生成器可以提供不同尺度的特征图像，最终使得融合得到的目标贴图包含不同尺度下的高频信息，进而达到优化贴图处理速度以及优化贴图显示效果的技术效果。
作为一种可选的方案，将初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像，包括：
将初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像，其中，第一目标生成子网络包括一个目标生成器，第一特征图像分辨率大于初始特征图像；
将初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像，其中，第二目标生成子网络包括多个目标生成器，多个目标生成器串联设置，第二特征图像的分辨率大于第一特征图像的分辨率。
可选地，在本实施例中，上述第一目标生成子网络是指输入为初始特征图像的网络，该网络包括一个目标生成器，如图6所示，Level 0对应的目标生成子网络即为上述第一目标生成子网络。上述第二目标生成子网络是指第一个目标生成器的输入为初始特征图像，其余目标生成器的输入为串联接入的前一个目标生成器输出的特征图像，上述第二目标生成子网络包括多个（至少两个）目标生成器，每个目标生成器都串联在网络结构中，如图6所示，Level 1-3均为上述第二目标生成子网络，每个目标生成器输出的特征图像的分辨率均大于输入该目标生成器的特征图像。
作为一种可选的方案，将初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像，包括：将初始特征图像输入第一目标生成器，得到第一特征图像，其中，第一目标生成子网络包括第一目标生成器；将初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像，包括：对第一特征图像执行上采样操作，得到第一采样图像；将初始特征图像输入第一目标生成器，得到第一特征图像；将第一特征图像输入第二目标生成器，得到第一中间特征图像；融合第一采样图像和第一中间特征图像，得到第二特征图像，其中，第二目标生成子网络包括第一目标生成器和第二目标生成器。
可选地，在本实施例中，上述第一目标生成子网络的输入是初始图像提取到的初始特征图像，输出为经过一个目标生成器生成的第一特征图像。
可选地，在本实施例中，上述第二目标生成子网络的第一个目标生成器的输入依旧是初始特征图像，但是之后的第二个目标生成器、…、第i个目标生成器的输入均是前一个目标生成器输出的中间特征图像与该中间特征图像执行上采样操作后融合得到的特征图像。
可选地，在本实施例中，上述融合第一采样图像和第一中间特征图像可以包括但不限于按照一定权重对各个像素点的像素值进行融合。
例如，图7是根据本申请实施例的又一种可选的贴图处理方法的示意图，如图7所示，包括Level 0、Level 1、Level 2、Level 3四个尺度等级的目标生成子网络，G0、G1、G2、G3分别表示不同的目标生成器。
以Level 1为例，包括但不限于如下步骤：
S702，对第一特征图像执行上采样操作，得到第一采样图像；
S704，将初始特征图像输入第一目标生成器，得到第一特征图像；
S706，将第一特征图像输入第二目标生成器，得到第一中间特征图像；
S708，融合第一采样图像和第一中间特征图像，得到第二特征图像。
作为一种可选的方案，上述方法还包括：
通过如下方式将初始特征图像输入预训练的第三目标生成子网络，得到第四特征图像，其中，第三目标生成子网络包括第一目标生成器、第二目标生成器、第三目标生成器以及第四目标生成器：
对第二特征图像执行上采样操作，得到第二采样图像；
将初始特征图像输入第一目标生成器，得到第一特征图像；
将第一特征图像输入第二目标生成器，得到第一中间特征图像；
将第一中间特征图像输入第三目标生成器，得到第二中间特征图像；
将第二采样图像和第二中间特征图像融合，得到第三特征图像，其中，第三特征图像的分辨率大于第二特征图像的分辨率；
对第三特征图像执行上采样操作，得到第三采样图像；
将第二中间特征图像输入第四目标生成器，得到第三中间特征图像；
将第三采样图像和第三中间特征图像融合，得到第四特征图像，其中，第四特征图像的分辨率大于第三特征图像的分辨率。
可选地，在本实施例中，上述第三目标生成子网络的第一个目标生成器的输入依旧是初始特征图像，之后的第二个目标生成器、…、第i个目标生成器的输入均是前一个目标生成器输出的中间特征图像与该中间特征图像执行上采样操作后融合得到的特征图像。
例如，图8是根据本申请实施例的又一种可选的贴图处理方法的示意图，如图8所示，包括Level 0、Level 1、Level 2、Level 3四个尺度等级的目标生成子网络，G0、G1、G2、G3分别表示不同的目标生成器。
以Level2，Level 3为例，包括但不限于如下步骤：
S802，对第二特征图像执行上采样操作，得到第二采样图像；
S804，将初始特征图像输入第一目标生成器，得到第一特征图像；
S806，将第一特征图像输入第二目标生成器，得到第一中间特征图像；
S808，将第一中间特征图像输入第三目标生成器，得到第二中间特征图像；
S810，将第二采样图像和第二中间特征图像融合，得到第三特征图像，其中，第三特征图像的分辨率大于第二特征图像的分辨率；
S812，对第三特征图像执行上采样操作，得到第三采样图像；
S814，将第二中间特征图像输入第四目标生成器，得到第三中间特征图像；
S816，将第三采样图像和第三中间特征图像融合，得到第四特征图像，其中，第四特征图像的分辨率大于第三特征图像的分辨率。
作为一种可选的方案，对多个特征图像进行融合，生成目标贴图，包括：
对多个特征图像进行分类，并根据分类结果确定多个特征图像中各个特征图像中各个像素点的目标融合系数；
根据目标融合系数聚合多个特征图像，得到重建贴图，其中，重建贴图的分辨率大于初始贴图；
对重建贴图执行下采样操作，得到目标贴图。
在一个示例性的实施例中，上述对多个特征图像进行分类可以通过判别器实现。
例如，使用一个多分类判别网络进行图像融合，如下公式所示：
其中，
代表Level层级，
表示各个像素对应的分类结果，
表示各个像素点，
表示各个像素点所对应的权重。
对各个Level的像素进行分类后，需要确定各个像素的目标融合系数
，如下公式
所示：
其中，
表示分类结果对应的类别总数，
表示第j个特征图像的分类结果（例如，
分类类别），
表示第k个图的分类结果，
表示一种计算函数（例如，指数函数），
表示当前level层级的输出的特征图像表示的位置为(
)的像素的融合系数，这里为了融
合矩阵计算方便，所以对每个level的融合系数均进行标记，同一个level的融合系数可以
相同，以便于并行计算。
在一个示例性的实施例中，上述根据目标融合系数聚合多个特征图像，得到重建贴图可以包括但不限于通过如下公式实现：
其中，n表示重建贴图的分辨率宽度，k表示重建贴图的分辨率高度，
表示
融合后的位置为
的像素点的最终像素值，
表示当前level位置为
像素点的像素
值。
作为一种可选的方案，上述方法还包括：
将初始样本贴图输入初始生成网络，生成目标样本贴图，其中，初始生成网络包括不同层级对应的多个初始生成子网络，每个初始生成子网络包括至少一个初始生成器和初始判别器，不同层级对应的初始生成子网络中对应的初始生成器的数量不同，每个初始生成器用于根据输入的样本特征图像输出分辨度更高的样本特征图像，位于目标层级的初始判别器用于确定目标层级中最终输出的样本特征图像中各个像素的分类结果，分类结果用于确定各个像素的样本融合系数，样本融合系数用于融合各个初始生成子网络生成的样本特征图像中相同像素点，以生成目标样本贴图；
其中，各个初始生成子网络分别进行独立训练，在各个初始生成子网络均训练完成的情况下，得到目标生成网络。
可选地，在本实施例中，上述初始生成器和初始判别器构成一个初始生成子网络，当初始生成子网络独立训练完成时，初始生成器视为目标生成器，初始判别器视为目标判别器，上述初始样本贴图可以是预先收集的资源贴图，作为训练样本集中的训练样本。
可选地，在本实施例中，上述位于目标层级的初始判别器用于确定目标层级中最终输出的样本特征图像中各个像素的分类结果，该分类结果用于确定各个像素的像素值的融合系数，也即，样本融合系数，该样本融合系数用于融合各个初始生成子网络生成的样本特征图像中相同位置的像素点，以生成目标样本贴图。
作为一种可选的方案，上述方法还包括：
通过如下方式训练各个初始生成子网络：
对初始样本贴图执行特征提取操作，得到第一样本特征图像；
对第一样本特征图像执行卷积操作，得到第二样本特征图像；
将第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度，其中，残差密集度是初始生成子网络的损失函数；
在残差密集度满足预设损失条件的情况下，生成目标生成子网络。
可选地，在本实施例中，上述初始样本贴图是预先设置的训练集中的样本贴图，上述第一样本特征图像是对初始样本贴图执行特征提取操作得到的特征图像，上述第二样本特征图像是使用高斯算法求得的卷积核对第一样本特征图像执行卷积操作得到的样本特征图，例如，3*3或者5*5的卷积核执行卷积操作。
可选地，在本实施例中，上述至少一个残差密集块所包括的残差密集块的数量可以预先设置，例如，23个残差密集块，上述至少一个残差密集块共同确定一个残差密集度作为上述初始生成子网络的损失函数，以实现在该损失函数满足预设损失条件的情况下，生成上述目标生成子网络。
其中，残差密集度求取公式如下：
其中，
表示期望函数，
表示残差密集度求取公式，
表示像素点
的像素，
表示进行单个像素点修正时的权重，以实现针对全局特征残差进行合理微调，使得
各Level的生成网络得到的图像可以融合。
需要说明的是，上述残差密集度满足预设损失条件可以理解为上述残差密集度趋近于预设值或小于等于预设值或大于等于预设值，以表示修正结果是否达标，不达标可以在下一个level再次修正。
作为一种可选的方案，将第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度，包括：
确定第二样本特征图像中各个像素与周围像素的能量聚集程度；
根据各个像素对应的能量聚集程度确定各个像素需要进行调节的权重值；
根据各个像素对应的权重值确定残差密集度。
可选地，在本实施例中，上述各个像素与周围像素的能量聚集程度可以通过将图像映射至频域进行评价，例如：
其中，
表示像素点
和全局关系之间的评价系数，
是傅里叶变换，得到的是
特征图像对应的频率分布，
是稀疏字典，可以评价
与周围像素的能量聚集，能量
聚集高说明是低频，也即，低分辨率能量较为集中，高分辨率则比较分散。
表示二维傅里
叶变换后对应的转换域的坐标点。
可选地，在本实施例中，上述根据各个像素对应的能量聚集程度确定各个像素需要进行调节的权重值可以包括但不限于如下公式确定：
通过在残差模块中获得更深的特征，并融合三个不同尺度的特征图，可以减少约50% 的参数数量。当残差密集度不符合要求时，进行再次卷积微调。
其中，
表示进行修正时单个像素点的权重值，需要改变图像分辨率时，对像
素点
和全局关系进行评价，从而进行合理的像素点修复，当图像需要提高分辨率时，则
提高图像的边缘信息，通过增加
实现，在上采样时会对上采样周边的像素点进行阶
梯补充，当图像需要降低分辨率时，则降低
，使其更平滑。Conv是卷积操作，Kern是事
先用高斯算法确定的卷积核，可以包括但不限于为3*3卷积核或者5*5卷积核，
表示像
素点
和全局关系之间的评价系数，（
）是像素域的坐标，（
）表示傅里叶域的坐标，
用于执行归一化操作。
可选地，在本实施例中，上述根据各个像素对应的权重值确定残差密集度可以包括但不限于如下公式确定：
其中，
表示期望函数，
表示残差密集度求取公式，
表示像素点
的像素，
表示进行单个像素点修正时的权重，以实现针对全局特征残差进行合理微调，使得
各Level的生成网络得到的图像可以融合。
作为一种可选的方案，上述方法还包括以下至少之一：
获取第一性能参数，其中，第一性能参数用于表示目标应用加载初始贴图时所产生的资源开销；在目标性能参数与第一性能参数的差值小于或等于第一预设阈值的情况下，确定目标性能参数满足预设条件；
获取目标性能参数阈值，其中，目标性能参数阈值用于表示目标应用加载贴图时所允许产生的资源开销最大值；在目标性能参数与目标性能参数阈值的差值小于或等于第二预设阈值的情况下，确定目标性能参数满足预设条件。
在一个示例性的实施例中，上述第一性能参数是初始贴图加载到目标应用时所产生的资源开销，上述目标性能参数与第一性能参数的差值小于或等于第一预设阈值可以理解为上述目标贴图对应的资源开销与初始贴图对应的资源开销相同或目标贴图对应的资源开销小于初始贴图对应的资源开销。
在一个示例性的实施例中，上述目标性能参数阈值是预设的性能参数最大值，上述目标性能参数与目标性能参数阈值的差值小于或等于第二预设阈值可以理解为上述目标贴图对应的资源开销是小于或等于预设的资源开销最大值。
下面结合具体的示例，对本申请进行进一步的解释说明：
本申请可以应用于包括但不限于对游戏中贴图资源的性能进行优化，例如，在游戏应用中，不合理的贴图资源会导致游戏性能下降，比如尺寸过大，会导致GPU和CPU的负载增加，资源过小也会导致硬件资源的浪费。而贴图资源期望看起来清晰又不至于消耗过多的CPU和GPU的资源，是现有技术中存在的问题。本申请通过使用同等或者小于CPU/GPU资源最大化优化贴图资源，让其分辨率更高，从而提高游戏性能，解决了重建图像贴图时存在线条结构模糊、高频信息缺失等问题，使用一种基于多尺度异步学习的生成网络，在网络模型中采用金字塔结构来整合不同尺度的高频信息，达到优化性能的目的，高频信息比如轮廓或者线条能让图像看起来更棱角分明，在一定程度上可以提高图像分辨率，提高视觉效果。
本申请以最合理的手段进行快速的图像性能优化，提出了一种基于多尺度异步学习的生成对抗网络，在网络模型中采用金字塔结构来整合不同尺度的高频信息，使用这种策略，能够全局提高游戏资源的贴图质量，同时不损耗性能。
例如，图9是根据本申请实施例的又一种可选的贴图处理方法的示意图，如图9所示，利用debug工具先对贴图资源进行提取，提取后送入优化网络，进行优化后，再替换掉原有的贴图，重新运行贴图加载过程，比较性能，如果加载耗时和GPU消耗减少，则符合优化要求，通过提出基于生成优化的网络（生成网络区别于判别网络，判别网络关注全局类别，简单说就是分类器常用于二分类或者多分类，而生成网络关注特征的分布，不用作分类器，是一种无监督学习），该网络对超分辨率使用特征金字塔结构；整个网络包括一个生成器和一个判别器。生成器获取低分辨率图像并将其转换为高分辨率图像。将每个阶段的高分辨率特征图输入判别器网络进行评估；相应的分数在特征金字塔中从塔的顶部传递到底部。判别器根据相应阶段的权重计算最终得分，以确定特征图像是否需要提升分辨率。在所有阶段之后，选择得分最高的模型权重，通过指定的测试集对图像指标进行评分，并选择表现更好的作为结果。这个循环一直持续到重建满足要求为止。
确定使用多尺度金字塔模型非常重要，当对输入的图像进行更大尺度的下采样时，由于层数不足，生成的图像会失去整体一致性，通过使用渐进式多尺度金字塔结构，以低分辨率图像的特征信息为输入，前向传播到三个层次Level，再通过卷积融合和引入残差密集块后进行特征融合。
其中，在残差模块中，可以找到与表现良好的高频信息相结合的深层特征，同时在视觉地图中包含三种不同的尺度，原始单张训练图像X（例如，从游戏资源中提取到的样本图像）及其对应的训练条件C（对应于前述的残差密集度所设置的阈值）作为训练样本，训练从尺度Level 0开始，遍历所有图像尺度，在每个阶段依次生成特定分辨率的图像，例如，以Levelj为例，其中，j≥0，Gj输出的特征图像Outputj和Gj-1输出的特征图像Outputj-1采样到Ĵ倍（表示当前level的倍数，Gj生成的特征图像的分辨率倍数）分辨率进行融合，得到Levelj输出的特征图像，进一步输入至GJ+1，得到GJ+1输出的outputj+1，通过多次生成网络的调节，最后经过判别器网络D，对4个level的图像增强效果进行合理加权生成超分辨率图像。
其中，上述生成器网络采用了多尺度金字塔结构，优化生成网络，从通用生成网络中移除了批量归一化BN（Batch Normalization，批量归一化）层，因为 BN 层会引入令人不快的伪影，并且，通过使用残差块以提高性能。
例如，将引入残差密集块的数量增加了N倍，并使用残差模块连接不同的层级。
图10（a）为生成器网络结构起初训练的最小的生成器和低分辨率图像，随着Level数的增加，生成网络的容量和图像分辨率将增加到图10（b）。
训练过程使用多次迭代，每次迭代都会增加分辨率，第一阶段，G0拟合输入条件，在低尺度下提高图像分辨率；随后的阶段恢复图像细节，例如，在前一阶段无法准确重建的低频信息。因此，将原始特征的残差连接添加到新添加的卷积层的输出中，并重复此过程N次，直到达到×16 分辨率。在默认设置下，建议异步训练生成器为三个级别。
在生成器网络中，低分辨率部分图像被输入到整个网络中，在第一阶段，低分辨率部分图像在初始阶段由生成器上采样到×2大小，并保留特征信息。在每个阶段，都提取特征信息，这些信息最终被组合并传递给判别器进行超分辨率融合。
生成器涉及一系列训练，每个阶段都使用前一阶段的原始特征作为输入，在每个阶段的训练之后，将每个级别的图像传播到下一个级别，逐层迁移可以基于浅层特征学习详细信息，经过所有阶段后，图像被上采样×16，并保留了高频特征信息的真实性，同时补充了低分辨率的不足。
当图像上下采样更激进时，生成的图像会因为级别不足而失去整体一致性，可以在残差模块中获得更深的特征，并融合三个不同尺度的特征图，以减少约 50% 的参数数量。当残差密集度不符合要求时，会进行再次卷积微调，具体如下：
其中，
表示进行修正时单个像素点的权重值，需要改变图像分辨率时，对像
素点
和全局关系进行评价，从而进行合理的像素点修复，当图像需要提高分辨率时，则
提高图像的边缘信息，通过增加
实现，在上采样时会对上采样周边的像素点进行阶
梯补充，当图像需要降低分辨率时，则降低
，使其更平滑。Conv是卷积操作，Kern是事
先用高斯算法确定的卷积核，可以包括但不限于为3*3卷积核或者5*5卷积核，
表示像
素点
和全局关系之间的评价系数，（
）是像素域的坐标，（
）表示傅里叶域的坐标，
用于执行归一化操作。
还包括：
其中，
表示像素点
和全局关系之间的评价系数，
是傅里叶变换，得到的是
特征图像对应的频率分布，
是稀疏字典，可以评价
与周围像素的能量聚集，能量
聚集高说明是低频，也即，低分辨率能量较为集中，高分辨率则比较分散。
表示二维傅里
叶变换后对应的转换域的坐标点。
其中，
表示期望函数，
表示残差密集度求取公式，
表示像素点
的像素，
表示进行单个像素点修正时的权重，以实现针对全局特征残差进行合理微调，使得
各Level的生成网络得到的图像可以融合。
在一个示例性的实施例中，可以使用多分类判别网络进行图像融合，如下公式所示：
其中，
代表Level层级，
表示各个像素对应的分类结果，
表示各个像素点，
表示各个像素点所对应的权重。
对各个Level的像素进行分类后，需要确定各个像素的融合系数，如下所示：
其中，
表示分类结果对应的类别总数，
表示第j个特征图像的分类结果（例如，
分类类别），
表示第k个图的分类结果，
表示一种计算函数（例如，指数函数），
表示当前level层级的输出的特征图像表示的位置为(
)的像素的融合系数，这里为了融
合矩阵计算方便，所以对每个level的融合系数均进行标记，同一个level的融合系数可以
相同，以便于并行计算。
最后，超分辨率图像（对应于前述的目标贴图）使用以下公式进行聚合：
其中，n表示重建贴图的分辨率宽度，k表示重建贴图的分辨率高度，
表示
融合后的位置为
的像素点的最终像素值，
表示当前level位置为
像素点的像素
值。
当生成了超分辨率图像后，将现在放大的图像进行尺度还原，对现有尺度等比例缩放，现在的贴图进行分辨率调整后会比之前的图像大，为了合理调节性能，对其尺度下采样恢复，然后将其进行送入贴图资源，再进行debug性能比较，性能有所优化则是合理的贴图优化。本申请在游戏中进行贴图资源优化时，可以找出很多使用不合理的贴图，并且通过替换新贴图，改善了应用的性能。
可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面，还提供了一种用于实施上述贴图处理方法的贴图处理装置。如图11所示，该装置包括：
获取模块1102，用于获取待处理的初始贴图，其中，所述初始贴图是目标应用需要加载的贴图；
生成模块1104，用于根据所述初始贴图生成不同尺度的多个特征图像，其中，所述多个特征图像中每个特征图像保留了不同尺度的高频信息；
融合模块1106，用于对所述多个特征图像进行融合，生成目标贴图，其中，所述目标贴图的分辨率与所述初始贴图的分辨率相同；
替换模块1108，用于在目标性能参数满足预设条件的情况下，将初始贴图替换为所述目标贴图，其中，所述目标性能参数用于表示所述目标应用加载所述目标贴图时所产生的资源开销。
作为一种可选的方案，所述装置用于通过如下方式根据所述初始贴图生成不同尺度的多个特征图像：对所述初始贴图执行特征提取操作，得到初始特征图像；将所述初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像，其中，所述目标生成网络是对待训练的初始生成网络进行训练得到的网络，所述目标生成网络包括所述不同尺度对应的多个目标生成子网络，每个所述目标生成子网络中的目标生成器的数量不同，所述目标生成器用于根据输入的特征图像，输出提升了分辨率的特征图像。
作为一种可选的方案，所述装置用于通过如下方式将所述初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像：将所述初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像，其中，所述第一目标生成子网络包括一个所述目标生成器，所述第一特征图像分辨率大于所述初始特征图像；将所述初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像，其中，所述第二目标生成子网络包括多个所述目标生成器，所述多个目标生成器串联设置，所述第二特征图像的分辨率大于所述第一特征图像的分辨率。
作为一种可选的方案，所述装置用于通过如下方式将所述初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像：将所述初始特征图像输入第一目标生成器，得到所述第一特征图像，其中，所述第一目标生成子网络包括所述第一目标生成器；
所述装置用于通过如下方式将所述初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像：对所述第一特征图像执行上采样操作，得到第一采样图像；将所述初始特征图像输入所述第一目标生成器，得到所述第一特征图像；将所述第一特征图像输入第二目标生成器，得到第一中间特征图像；融合所述第一采样图像和所述第一中间特征图像，得到所述第二特征图像，其中，所述第二目标生成子网络包括所述第一目标生成器和所述第二目标生成器。
作为一种可选的方案，所述装置还用于：
通过如下方式将所述初始特征图像输入预训练的第三目标生成子网络，得到第四特征图像，其中，所述第三目标生成子网络包括第一目标生成器、第二目标生成器、第三目标生成器以及第四目标生成器：
对所述第二特征图像执行上采样操作，得到第二采样图像；
将所述初始特征图像输入所述第一目标生成器，得到所述第一特征图像；
将所述第一特征图像输入第二目标生成器，得到第一中间特征图像；
将所述第一中间特征图像输入第三目标生成器，得到第二中间特征图像；
将所述第二采样图像和所述第二中间特征图像融合，得到所述第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率；
对所述第三特征图像执行上采样操作，得到第三采样图像；
将所述第二中间特征图像输入第四目标生成器，得到第三中间特征图像；
将所述第三采样图像和所述第三中间特征图像融合，得到所述第四特征图像，其中，所述第四特征图像的分辨率大于所述第三特征图像的分辨率。
作为一种可选的方案，所述装置用于通过如下方式对所述多个特征图像进行融合，生成目标贴图：
对所述多个特征图像进行分类，并根据分类结果确定所述多个特征图像中各个特征图像中各个像素点的目标融合系数；
根据所述目标融合系数聚合所述多个特征图像，得到所述重建贴图，其中，所述重建贴图的分辨率大于所述初始贴图；
对所述重建贴图执行下采样操作，得到所述目标贴图。
作为一种可选的方案，所述装置还用于：
将初始样本贴图输入初始生成网络，生成目标样本贴图，其中，所述初始生成网络包括所述不同层级对应的多个初始生成子网络，每个所述初始生成子网络包括至少一个初始生成器和初始判别器，不同层级对应的所述初始生成子网络中对应的初始生成器的数量不同，每个所述初始生成器用于根据输入的样本特征图像输出分辨度更高的样本特征图像，位于目标层级的所述初始判别器用于确定所述目标层级中最终输出的样本特征图像中各个像素的分类结果，所述分类结果用于确定所述各个像素的样本融合系数，所述样本融合系数用于融合各个所述初始生成子网络生成的样本特征图像中相同像素点，以生成所述目标样本贴图；
其中，所述各个初始生成子网络分别进行独立训练，在所述各个初始生成子网络均训练完成的情况下，得到所述目标生成网络。
作为一种可选的方案，所述装置还用于：
通过如下方式训练各个所述初始生成子网络：
对初始样本贴图执行所述特征提取操作，得到第一样本特征图像；
对所述第一样本特征图像执行卷积操作，得到第二样本特征图像；
将所述第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度，其中，所述残差密集度是所述初始生成子网络的损失函数；
在所述残差密集度满足所述预设损失条件的情况下，生成所述目标生成子网络。
作为一种可选的方案，所述装置用于通过如下方式将所述第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度：
确定所述第二样本特征图像中各个像素与周围像素的能量聚集程度；
根据各个像素对应的所述能量聚集程度确定所述各个像素需要进行调节的权重值；
根据所述各个像素对应的权重值确定所述残差密集度。
作为一种可选的方案，所述装置用于执行如下至少之一方法：
获取第一性能参数，其中，所述第一性能参数用于表示所述目标应用加载所述初始贴图时所产生的资源开销；在所述目标性能参数与所述第一性能参数的差值小于或等于第一预设阈值的情况下，确定所述目标性能参数满足所述预设条件；
获取目标性能参数阈值，其中，所述目标性能参数阈值用于表示所述目标应用加载贴图时所允许产生的资源开销最大值；在所述目标性能参数与所述目标性能参数阈值的差值小于或等于第二预设阈值的情况下，确定所述目标性能参数满足所述预设条件。
根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理器1201执行时，执行本申请实施例提供的各种功能。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
图12示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，计算机系统1200包括中央处理器1201（Central Processing Unit，CPU），其可以根据存储在只读存储器1202（Read-Only Memory，ROM）中的程序或者从存储部分1208加载到随机访问存储器1203（Random Access Memory，RAM）中的程序而执行各种适当的动作和处理。在随机访问存储器1203中，还存储有系统操作所需的各种程序和数据。中央处理器1201、在只读存储器1202以及随机访问存储器1203通过总线1204彼此相连。输入/输出接口1205（Input /Output接口，即I/O接口）也连接至总线1204。
以下部件连接至输入/输出接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至输入/输出接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理器1201执行时，执行本申请的系统中限定的各种功能。
根据本申请实施例的又一个方面，还提供了一种用于实施上述贴图处理方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为终端设备为例来说明。如图13所示，该电子设备包括存储器1302和处理器1304，该存储器1302中存储有计算机程序，该处理器1304被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取待处理的初始贴图，其中，初始贴图是目标应用需要加载的贴图；
S2，根据初始贴图生成不同尺度的多个特征图像，其中，多个特征图像中每个特征图像保留了不同尺度的高频信息；
S3，对多个特征图像进行融合，生成目标贴图，其中，目标贴图的分辨率与初始贴图的分辨率相同；
S4，在目标性能参数满足预设条件的情况下，将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销。
可选地，本领域普通技术人员可以理解，图13所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图13其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图13中所示更多或者更少的组件（如网络接口等），或者具有与图13所示不同的配置。
其中，存储器1302可用于存储软件程序以及模块，如本申请实施例中的贴图处理方法和装置对应的程序指令/模块，处理器1304通过运行存储在存储器1302内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的贴图处理方法。存储器1302可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1302可进一步包括相对于处理器1304远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1302具体可以但不限于用于初始贴图等信息。作为一种示例，如图13所示，上述存储器1302中可以但不限于包括上述贴图处理装置中的获取模块1102、生成模块1104、融合模块1106以及替换模块1108。此外，还可以包括但不限于上述贴图处理装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1306包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1306为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器1308，用于显示上述贴图；和连接总线1311，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（P2P，Peer To Peer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机可读存储介质，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述贴图处理方面的各种可选实现方式中提供的贴图处理方法。
可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取待处理的初始贴图，其中，初始贴图是目标应用需要加载的贴图；
S2，根据初始贴图生成不同尺度的多个特征图像，其中，多个特征图像中每个特征图像保留了不同尺度的高频信息；
S3，对多个特征图像进行融合，生成目标贴图，其中，目标贴图的分辨率与初始贴图的分辨率相同；
S4，在目标性能参数满足预设条件的情况下，将初始贴图替换为目标贴图，其中，目标性能参数用于表示目标应用加载目标贴图时所产生的资源开销。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (15)
1.一种贴图处理方法，其特征在于，包括：
获取待处理的初始贴图，其中，所述初始贴图是目标应用需要加载的贴图；
根据所述初始贴图生成不同尺度的多个特征图像，其中，所述多个特征图像中每个特征图像保留了不同尺度的高频信息；
对所述多个特征图像进行融合，生成目标贴图，其中，所述目标贴图的分辨率与所述初始贴图的分辨率相同；
在目标性能参数满足预设条件的情况下，将初始贴图替换为所述目标贴图，其中，所述目标性能参数用于表示所述目标应用加载所述目标贴图时所产生的资源开销。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始贴图生成不同尺度的多个特征图像，包括：
对所述初始贴图执行特征提取操作，得到初始特征图像；
将所述初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像，其中，所述目标生成网络是对待训练的初始生成网络进行训练得到的网络，所述目标生成网络包括所述不同尺度对应的多个目标生成子网络，每个所述目标生成子网络中的目标生成器的数量不同，所述目标生成器用于根据输入的特征图像，输出提升了分辨率的特征图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像，包括：
将所述初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像，其中，所述第一目标生成子网络包括一个所述目标生成器，所述第一特征图像分辨率大于所述初始特征图像；
将所述初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像，其中，所述第二目标生成子网络包括多个所述目标生成器，所述多个目标生成器串联设置，所述第二特征图像的分辨率大于所述第一特征图像的分辨率。
4.根据权利要求3所述的方法，其特征在于，
所述将所述初始特征图像输入预训练的第一目标生成子网络，得到第一特征图像，包括：将所述初始特征图像输入第一目标生成器，得到所述第一特征图像，其中，所述第一目标生成子网络包括所述第一目标生成器；
将所述初始特征图像输入预训练的第二目标生成子网络，得到第二特征图像，包括：对所述第一特征图像执行上采样操作，得到第一采样图像；将所述初始特征图像输入所述第一目标生成器，得到所述第一特征图像；将所述第一特征图像输入第二目标生成器，得到第一中间特征图像；融合所述第一采样图像和所述第一中间特征图像，得到所述第二特征图像，其中，所述第二目标生成子网络包括所述第一目标生成器和所述第二目标生成器。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过如下方式将所述初始特征图像输入预训练的第三目标生成子网络，得到第四特征图像，其中，所述第三目标生成子网络包括第一目标生成器、第二目标生成器、第三目标生成器以及第四目标生成器：
对所述第二特征图像执行上采样操作，得到第二采样图像；
将所述初始特征图像输入所述第一目标生成器，得到所述第一特征图像；
将所述第一特征图像输入第二目标生成器，得到第一中间特征图像；
将所述第一中间特征图像输入第三目标生成器，得到第二中间特征图像；
将所述第二采样图像和所述第二中间特征图像融合，得到第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率；
对所述第三特征图像执行上采样操作，得到第三采样图像；
将所述第二中间特征图像输入第四目标生成器，得到第三中间特征图像；
将所述第三采样图像和所述第三中间特征图像融合，得到所述第四特征图像，其中，所述第四特征图像的分辨率大于所述第三特征图像的分辨率。
6.根据权利要求1所述的方法，其特征在于，所述对所述多个特征图像进行融合，生成目标贴图，包括：
对所述多个特征图像进行分类，并根据分类结果确定所述多个特征图像中各个特征图像中各个像素点的目标融合系数；
根据所述目标融合系数聚合所述多个特征图像，得到重建贴图，其中，所述重建贴图的分辨率大于所述初始贴图；
对所述重建贴图执行下采样操作，得到所述目标贴图。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将初始样本贴图输入初始生成网络，生成目标样本贴图，其中，所述初始生成网络包括不同层级对应的多个初始生成子网络，每个所述初始生成子网络包括至少一个初始生成器和初始判别器，不同层级对应的所述初始生成子网络中对应的初始生成器的数量不同，每个所述初始生成器用于根据输入的样本特征图像输出分辨度更高的样本特征图像，位于目标层级的所述初始判别器用于确定所述目标层级中最终输出的样本特征图像中各个像素的分类结果，所述分类结果用于确定所述各个像素的样本融合系数，所述样本融合系数用于融合各个所述初始生成子网络生成的样本特征图像中相同像素点，以生成所述目标样本贴图；
其中，所述各个初始生成子网络分别进行独立训练，在所述各个初始生成子网络均训练完成的情况下，得到所述目标生成网络。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过如下方式训练各个所述初始生成子网络：
对初始样本贴图执行所述特征提取操作，得到第一样本特征图像；
对所述第一样本特征图像执行卷积操作，得到第二样本特征图像；
将所述第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度，其中，所述残差密集度是所述初始生成子网络的损失函数；
在所述残差密集度满足预设损失条件的情况下，生成所述目标生成子网络。
9.根据权利要求8所述的方法，其特征在于，所述将所述第二样本特征图像输入至少一个残差密集块，确定至少一个残差密集度，包括：
确定所述第二样本特征图像中各个像素与周围像素的能量聚集程度；
根据各个像素对应的所述能量聚集程度确定所述各个像素需要进行调节的权重值；
根据所述各个像素对应的权重值确定所述残差密集度。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括以下至少之一：
获取第一性能参数，其中，所述第一性能参数用于表示所述目标应用加载所述初始贴图时所产生的资源开销；在所述目标性能参数与所述第一性能参数的差值小于或等于第一预设阈值的情况下，确定所述目标性能参数满足所述预设条件；
获取目标性能参数阈值，其中，所述目标性能参数阈值用于表示所述目标应用加载贴图时所允许产生的资源开销最大值；在所述目标性能参数与所述目标性能参数阈值的差值小于或等于第二预设阈值的情况下，确定所述目标性能参数满足所述预设条件。
11.一种贴图处理装置，其特征在于，包括：
获取模块，用于获取待处理的初始贴图，其中，所述初始贴图是目标应用需要加载的贴图；
生成模块，用于根据所述初始贴图生成不同尺度的多个特征图像，其中，所述多个特征图像中每个特征图像保留了不同尺度的高频信息；
融合模块，用于对所述多个特征图像进行融合，生成目标贴图，其中，所述目标贴图的分辨率与所述初始贴图的分辨率相同；
替换模块，用于在目标性能参数满足预设条件的情况下，将初始贴图替换为所述目标贴图，其中，所述目标性能参数用于表示所述目标应用加载所述目标贴图时所产生的资源开销。
12.根据权利要求11所述的装置，其特征在于，所述装置用于通过如下方式根据所述初始贴图生成不同尺度的多个特征图像：
对所述初始贴图执行特征提取操作，得到初始特征图像；
将所述初始特征图像输入预训练的目标生成网络，生成不同尺度的多个特征图像，其中，所述目标生成网络是对待训练的初始生成网络进行训练得到的网络，所述目标生成网络包括不同层级的多个生成子网络，所述不同层级与所述不同尺度一一对应，每个生成子网络中的目标生成器的数量不同，所述目标生成器用于根据输入特征图像，输出提升了分辨率的特征图像。
13.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序可被终端设备或计算机运行时执行所述权利要求1至10任一项中所述的方法。
14.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至10任一项中所述方法的步骤。
15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至10任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211365530.7A CN115409755B (zh) | 2022-11-03 | 2022-11-03 | 贴图处理方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211365530.7A CN115409755B (zh) | 2022-11-03 | 2022-11-03 | 贴图处理方法和装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115409755A true CN115409755A (zh) | 2022-11-29 |
| CN115409755B CN115409755B (zh) | 2023-03-03 |
Family
ID=84169166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211365530.7A Active CN115409755B (zh) | 2022-11-03 | 2022-11-03 | 贴图处理方法和装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115409755B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953330A (zh) * | 2023-03-13 | 2023-04-11 | 腾讯科技（深圳）有限公司 | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 |
| CN116071478A (zh) * | 2023-04-06 | 2023-05-05 | 腾讯科技（深圳）有限公司 | 图像重建模型的训练方法和虚拟场景渲染方法 |
| CN117475066A (zh) * | 2023-12-28 | 2024-01-30 | 苏州元脑智能科技有限公司 | 材质贴图处理方法、装置、电子设备及存储介质 |
| CN117689773A (zh) * | 2024-01-31 | 2024-03-12 | 合肥中科类脑智能技术有限公司 | 贴图方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136783A (zh) * | 2013-03-28 | 2013-06-05 | 北京水晶石数字科技股份有限公司 | 一种面向海量三维模型调度的贴图优化方法 |
| WO2020197239A1 (ko) * | 2019-03-25 | 2020-10-01 | 한국과학기술원 | 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치 |
| CN113066013A (zh) * | 2021-05-18 | 2021-07-02 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| CN114202481A (zh) * | 2021-12-13 | 2022-03-18 | 贵州大学 | 一种基于图像高频信息融合的多尺度特征去雾网络及方法 |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| WO2022161319A1 (zh) * | 2021-01-26 | 2022-08-04 | 腾讯科技（深圳）有限公司 | 一种阴影贴图的处理方法、装置、设备及计算机可读存储介质、程序产品 |
-
2022
- 2022-11-03 CN CN202211365530.7A patent/CN115409755B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136783A (zh) * | 2013-03-28 | 2013-06-05 | 北京水晶石数字科技股份有限公司 | 一种面向海量三维模型调度的贴图优化方法 |
| WO2020197239A1 (ko) * | 2019-03-25 | 2020-10-01 | 한국과학기술원 | 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치 |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| WO2022161319A1 (zh) * | 2021-01-26 | 2022-08-04 | 腾讯科技（深圳）有限公司 | 一种阴影贴图的处理方法、装置、设备及计算机可读存储介质、程序产品 |
| CN113066013A (zh) * | 2021-05-18 | 2021-07-02 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| CN114202481A (zh) * | 2021-12-13 | 2022-03-18 | 贵州大学 | 一种基于图像高频信息融合的多尺度特征去雾网络及方法 |
Non-Patent Citations (1)
| Title |
|---|
| HOWOON YOON ET AL.: "Multi-Scale Attention-Guided Non-Local Network for HDR Image Reconstruction", 《SENSORS》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953330A (zh) * | 2023-03-13 | 2023-04-11 | 腾讯科技（深圳）有限公司 | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 |
| CN116071478A (zh) * | 2023-04-06 | 2023-05-05 | 腾讯科技（深圳）有限公司 | 图像重建模型的训练方法和虚拟场景渲染方法 |
| CN116071478B (zh) * | 2023-04-06 | 2023-06-30 | 腾讯科技（深圳）有限公司 | 图像重建模型的训练方法和虚拟场景渲染方法 |
| CN117475066A (zh) * | 2023-12-28 | 2024-01-30 | 苏州元脑智能科技有限公司 | 材质贴图处理方法、装置、电子设备及存储介质 |
| CN117475066B (zh) * | 2023-12-28 | 2024-03-15 | 苏州元脑智能科技有限公司 | 材质贴图处理方法、装置、电子设备及存储介质 |
| CN117689773A (zh) * | 2024-01-31 | 2024-03-12 | 合肥中科类脑智能技术有限公司 | 贴图方法、装置、电子设备和存储介质 |
| CN117689773B (zh) * | 2024-01-31 | 2024-04-30 | 合肥中科类脑智能技术有限公司 | 贴图方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115409755B (zh) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115409755B (zh) | 贴图处理方法和装置、存储介质及电子设备 | |
| CN108205803B (zh) | 图像处理方法、神经网络模型的训练方法及装置 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| WO2022022154A1 (zh) | 脸部图像处理方法、装置、设备及存储介质 | |
| CN111915487A (zh) | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 | |
| CN113838176A (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| CN110827201A (zh) | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 | |
| CN110490203B (zh) | 图像分割方法及装置、电子设备和计算机可读存储介质 | |
| CN110427799A (zh) | 基于生成对抗网络的人手深度图像数据增强方法 | |
| CN114511576B (zh) | 尺度自适应特征增强深度神经网络的图像分割方法与系统 | |
| CN111080655A (zh) | 图像分割及其模型训练方法、装置、介质及电子设备 | |
| CN112215101A (zh) | 一种基于注意力机制的三维目标识别方法及系统 | |
| CN110136075A (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
| CN117635418B (zh) | 生成对抗网络的训练方法、双向图像风格转换方法和装置 | |
| CN113763268A (zh) | 人脸图像盲修复方法及系统 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN114359269A (zh) | 基于神经网络的虚拟食品盒缺陷生成方法及系统 | |
| CN115375548A (zh) | 一种超分辨率的遥感图像生成方法、系统、设备和介质 | |
| CN108986210B (zh) | 三维场景重建的方法和设备 | |
| CN111967478B (zh) | 一种基于权重翻转的特征图重构方法、系统、存储介质及终端 | |
| CN117557708A (zh) | 图像生成方法、装置、存储介质及计算机设备 | |
| Huang et al. | Single image super-resolution reconstruction of enhanced loss function with multi-gpu training | |
| CN116740485A (zh) | 病变检测模型的训练方法和装置、电子设备及存储介质 | |
| CN115311152A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN114863422A (zh) | 一种检测食品加工的模型训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |