CN116152093A - 贴图精度提升方法、装置、设备及存储介质 - Google Patents

贴图精度提升方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116152093A
CN116152093A CN202310014222.8A CN202310014222A CN116152093A CN 116152093 A CN116152093 A CN 116152093A CN 202310014222 A CN202310014222 A CN 202310014222A CN 116152093 A CN116152093 A CN 116152093A
Authority
CN
China
Prior art keywords
mapping
image
super
resolution
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310014222.8A
Other languages
English (en)
Inventor
刘岑
彭云波
谷统伟
朱红梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202310014222.8A priority Critical patent/CN116152093A/zh
Publication of CN116152093A publication Critical patent/CN116152093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种贴图精度提升方法、装置、设备及存储介质，其中，该方法包括：选择游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和第二贴图的超分辨率参数；对第二贴图进行图像增强处理、去噪处理，得到图像增强参数和去噪参数；根据超分辨率、图像增强参数和去噪参数对游戏文件中的其他游戏贴图进行精度提升处理。本方式中，通过利用神经网络解决了放大图片后图像细节失真模糊的问题，并利用锐化、细节增强和去噪，再次提升图像的清晰度，并且处理一张贴图，即可获取参数批量处理整个游戏内其他贴图。

Description

贴图精度提升方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种贴图精度提升方法、装置、设备及存储介质。
背景技术
在游戏项目开发和运营过程中，经常面临升级已有贴图资源的需求，例如运营时间较长的游戏，现有的游戏资源受限于当时制作的流程或设备，资源的分辨率和纹理清晰度都无法满足现有的设备显示效果，存在图像分辨率过小，资源纹理模糊的情况，又例如部分市场反响较好的手游会有移植到PC或者主机端的需求，但是已有资源是按照手游规格来制作的，无法达到PC和主机端的高清显示需求，需要将现有资源升级为高精度的版本，现有技术对游戏贴图的图像提升精度处理方式是通过人工去对每张贴图资源进行处理，例如1.使用PS或者其他软件将贴图资源放大到预期的目标分辨率，或者动调整贴图的锐化数值，去噪效果，这样修改起来十分的费时费力，且所能达到的精度效果往往也无法满足需求。
发明内容
本发明的主要目的在于解决现有的游戏贴图精度提升效果差的技术问题。
本发明第一方面提供了一种贴图精度提升方法，方法包括：获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。
本发明第二方面提供了一种贴图精度提升装置，包括：贴图获取模块，用于获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；超分辨率重建模块，用于将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；图像增强模块，用于对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；去噪模块，用于对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；批量处理模块，用于根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。
本发明第三方面提供了一种贴图精度提升装置，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述贴图精度提升设备执行上述的贴图精度提升方法的步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的贴图精度提升方法的步骤。
上述贴图精度提升方法、装置、设备及存储介质，通过获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。本方式中，通过利用神经网络解决了放大图片后图像细节失真模糊的问题，并利用锐化、细节增强和去噪，再次提升图像的清晰度，并且处理一张贴图，即可获取参数批量处理整个游戏内其他贴图。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例中贴图精度提升方法的第一个实施例示意图；
图2为本发明实施例中贴图精度提升装置的一个实施例示意图；
图3为本发明实施例中贴图精度提升装置的另一个实施例示意图；
图4为本发明实施例中贴图精度提升设备的一个实施例示意图。
具体实施方式
本发明实施例提供一种贴图精度提升方法、装置、设备及存储介质，通过获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。本方式中，通过利用神经网络解决了放大图片后图像细节失真模糊的问题，并利用锐化、细节增强和去噪，再次提升图像的清晰度，并且处理一张贴图，即可获取参数批量处理整个游戏内其他贴图。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中贴图精度提升方法的第一个实施例包括：
101、获取待精度提升的游戏文件，并选择游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；
可以理解的是，本发明的执行主体可以为贴图精度提升装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
在实际应用中，存在需要进行精度提升的游戏，例如运营时间较长的游戏，现有的游戏资源受限于当时制作的流程或设备，资源的分辨率和纹理清晰度都无法满足现有的设备显示效果，或者手游会有移植到PC或者主机端的需求，但是已有资源是按照手游规格来制作的，无法达到PC和主机端的高清显示需求，需要将现有资源升级为高精度的版本，将这些存在精度提升需求的游戏文件作为待精度提升的游戏文件，并在其中选择任意一张游戏贴图进行图像预处理。
在本实施例中，所述图像预处理主要为去噪、上采样等预处理，目的是清楚原始图像中各种噪声等无用的信息，改进图像的质量，增强兴趣的有用信息的可检测性。从而使得后面的模型处理得以简化，并提高其可靠性。
102、将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和第二贴图的超分辨率参数；
在本实施例中，所述超分辨率网络模型包括卷积神经网络和多个残差密集模块，所述将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到和所述第二贴图的超分辨率参数包括：将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过所述卷积神经网络对输入的第一贴图进行特征提取，得到所述第一贴图的图像特征；通过所述残差密集模块根据预设的非线性函数将所述图像特征进行非线性特征映射，得到所述第一贴图的高维特征映射图；将所述第一贴图和所述高维特征映射图进行叠加处理，得到第二贴图，并识别第二贴图的超分辨率参数。
具体的，通过组合卷积神经网络以及多个残差模块，搭建超分辨率网络模型，通过超分辨率网络模型中的卷积神经网络对输入其中的游戏贴图进行特征提取，然后通过残差密集模块来充分利用低分辨率图像空间中的所有分层特征，具体来说残差密集模块中包含密集联通层和带带有局部残差学习的局部特征融合，一个残差密集模块的输出可以直接访问下一个的残差密集模块的各层，从而使状态连续传递。同时在低分辨率图像特征经过残差密集模块时，模块中每个卷积层都可以访问后续所有的连续层，传递需要保留的信息，从而更好的拟合网络中的非线性函数以获得更高的重建精度，得到信息更准确的高分辨率贴图。
进一步的，所述残差卷积密集模块包括卷积层和连续层；所述通过所述残差密集模块根据预设的非线性函数将所述图像特征进行非线性特征映射，得到所述第一贴图的高维特征映射图包括：通过多个残差密集模块中的第一残差密集模块对输入的图像特征进行处理，其中，所述第一残差密集模块中的卷积层在处理所述图像特征时，会对后续其他残差密集模块进行访问；通过多个残差密集模块中除所述第一残差密集模块之外的残差密集模块对上一残差密集模块的输出进行处理，并在处理过程中访问下一残差密集模块的各层，实现对所述非线性函数的拟合；根据拟合后的非线性函数将所述多个残差密集模块中最后一个残差密集模块的输出进行非线性特征映射，得到所述第一贴图的高维特征映射图。
在本实施例中，在所述将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数之前还包括：获取初始化的超分辨率网络模型以及包含训练图像的训练集，其中所述训练图像为基于历史游戏文件中的游戏贴图；将所述训练集中的训练图像输入所述初始化的超分辨率网络模型中，通过所述初始化的超分辨率网络模型对训练图像进行处理的，得到所述训练图像的处理后图像；通过所述初始化的超分辨率网络模型提取所述处理后图像的图像特征以及预设的高清图像的图像特征，并根据理后图像的图像特征以及预设的高清图像的图像特征计算预设的感知损失函数，得到损失函数值；判断所述损失值是否大于预设损失阈值；若是，则根据所述损失函数对所述初始化的超分辨率网络模型进行反向传播，调整所述初始化的超分辨率网络模型的网络参数，并重新将所述训练集中的训练图像输入所述初始化的超分辨率网络模型；若否，则网络训练结束，得到超分辨率网络模型。
具体的，在进行模型训练的过程中，在在超分辨率网络中融入了感知损失函数，来提升恢复出的贴图的真实感。感知损失是利用卷积神经网络提取出的特征，通过比较生成图片经过卷积神经网络后的特征和目标图片经过卷积神经网络后的特征的差别，通过网络训练中依靠感知损失的约束，使生成的贴图内高层信息(内容和全局结构)更加接近。在网络训练的过程中，采用不同的自建的数据集进行混合训练，得到不同的网络模型结果进行插值融合，从而提升贴图重建的细节辨识度，获得更高分辨率的贴图。
在本实施例中，定义
Figure BDA0004039468540000051
表示一个已经训练好的卷积神经网络，通过比较重建图像经过/>
Figure BDA0004039468540000052
提取的特征值与原始的高清图像经过/>
Figure BDA0004039468540000053
提取的特征值，使得重建图像与原始高清图像在感知层更加相似。我们使用ImageNet图像和VGG-19训练一个感知特征提取网络。φj表示特征提取额网络的第j层提取的特征，我们提取感知特征时取VGG-19最后一层的特征，即j＝19感知损失函数定义如下：
Figure BDA0004039468540000061
其中对L表示感知损失函数，n表示参与训练的样本个数；X表示训练集中第i张图片在通过网络得到的高分别率图像，Y表示第i张图片对应的高分辨率图像标签。
进一步的，在所述重新将所述训练集中的训练图像输入所述初始化的超分辨率网络模型之前，还包括：对所述训练图像进行剪切处理，得到所述训练图像的多个图像切片；将所述图像切片按照预设比例粘贴至对应的处理后图像的对应位置，得到拼接图像；将所述拼接图像与对应的训练图像进行替换，对所述训练集进行更新。
具体的，在模型训练过程中，采用剪切混合增强训练，即在训练的过程中，将低分辨率贴图，也就是未进行超分辨率重建的游戏贴图中某个部分剪切粘贴到对应的高分辨率贴图也就是处理后图像的相应位置，随机比例安排混合图像中高分和低分部分的比重，可以让整个网络更关注从贴图中提取的抽象信息，而忽略低阶图像的像素相对空间关联，可以解决整个低分辨率贴图无差别得进行超分，从而导致有时重建的贴图出现过度锐化的失真。
103、对第二贴图进行图像增强处理，得到第三贴图和第三贴图的图像增强参数；
在本实施例中，所述图像增强处理包括图像锐化处理和图像细节增强处理；所述对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数包括：对所述第二贴图进行图像锐化处理，得到图像锐化处理后的第二贴图和锐化参数；对图像锐化处理后的第二贴图进行图像细节增强处理，得到第三贴图和图像细节增强参数；将所述锐化参数和所述图像细节增强参数作为所述第三贴图的图像增强参数。
进一步的，所述对所述第二贴图进行图像锐化处理，得到图像锐化处理后的第二贴图和锐化参数包括：对所述第二贴图进行自适应识别，将所述第二贴图划分为平坦区、细节区和强细节区；对所述平坦区进行强度锐化处理，对所述细节区进行轻度锐化处理，对所述强细节区不做锐化处理，得到图像锐化处理后的第二贴图和锐化参数。
进一步的，在所述对所述平坦区进行强度锐化处理，对所述细节区进行轻度锐化处理，对所述强细节区不做锐化处理，得到图像锐化处理后的第二贴图和锐化参数之后，还包括：对图像锐化处理后的第二贴图中的各像素点基于像素点周围的局部对比度，对对应的像素的颜色进行调整。
具体的，采用自适应的锐化增强，具体来说就是将图像自适应地分为平坦区、细节区和强细节区，对平坦区做锐化，对强细节区少做锐化，可以避免图像被过度锐化。这样可以丰富贴图资源的细节，优化图像画质，具体处理方式通过在有较高对比度的低分辨率区域进行锐化，并使用像素点附近的局部对比度对颜色进行调整，以消除因为抗锯齿、图像拉伸等操作造成的细节模糊。
进一步的，所述对图像锐化处理后的第二贴图进行图像细节增强处理，得到第三贴图和图像细节增强参数包括：提取图像锐化处理后的第二贴图的图像纹理细节信息；对所述图像纹理细节信息进行锐化处理，得到第三贴图和图像细节增强参数。
具体的，细节增强是通过增强图像的高频部分的内容，对图像的纹理细节信息进行增强，可以极大地提升视觉效果，其中的高频信息可以理解为贴图中的细节信息，可以通过超分辨率网络模型中的卷积神经网络提取。
104、对第三贴图进行去噪处理，得到第四贴图和第四贴图的去噪参数；
在本实施例中，所述对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数包括：通过预设的去噪模型对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数。
进一步的，所述去噪模型包括第一特征提取层、第二特征提取层和特征转换层；所述通过预设的去噪模型对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数包括：通过所述去噪模型中的第一特征提取层对所述第三贴图进行特征提取，得到所述第三贴图的图像特征；通过所述第二特征提取层的多尺度残差块采用并行卷积流提取所述图像特征的多尺度特征；通过所述特征转换层将所述多尺度特征从特征域转换至信号域，得到第四贴图和所述第四贴图的去噪参数。
具体的，在去噪过程中主要采用基于深度学习的一种网络结构对图像噪声进行去除。通过去噪声贴图经过并行的多分辨率卷积流，提取语义上更加丰富的特征，利用跨多分辨率的信息交换，对来自多个流的特征基于注意力机制进行聚合。同时网络中的对偶注意单元用于捕获空间和通道的维度的上下文信息，更好的维护图像中的高频信息，获得更高质量的去噪图像，在网络中的具体要素包含A.并行的多分辨率卷积流和空间和通道注意力机制，其中，A.并行的多分辨率卷积流，用于提取多尺度特征，并且跨多分辨率流的信息交换。在去噪网络中设计了多尺度残差模块，通过保持高分辨率表示而生成空间精确的输出，同时从低分辨率接收丰富的上下文信息，多尺度残差模块包括并行连接的3个卷积流。它允许跨并行卷积流进行信息交换，以便在低分辨率特征的帮助下合并高分辨率特征，空间和通道注意力机制来捕获上下文信息，采用基于注意力的多尺度特征融合。具体来说，利用对偶注意力单元用来提取卷积流中的特征，其中包括空间和通道注意力机制两部分组成。当在网络中给定一个特征图，使用全局平均池化对全局上下文进行编码，之后利用非线性激活函数得到空间和通道注意力分支的输出。
105、根据超分辨率、图像增强参数和去噪参数对游戏文件中的其他游戏贴图进行精度提升处理。
在本实施例中，通过获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。本方式中，通过利用神经网络解决了放大图片后图像细节失真模糊的问题，并利用锐化、细节增强和去噪，再次提升图像的清晰度，并且处理一张贴图，即可获取参数批量处理整个游戏内其他贴图。
上面对本发明实施例中贴图精度提升方法进行了描述，下面对本发明实施例中贴图精度提升装置进行描述，请参阅图2，本发明实施例中贴图精度提升装置一个实施例包括：
贴图获取模块201，用于获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；
超分辨率重建模块202，用于将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；
图像增强模块203，用于对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；
去噪模块204，用于对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；
批量处理模块205，用于根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。
本发明实施例中，所述贴图精度提升装置运行上述贴图精度提升方法，所述贴图精度提升装置通过获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。本方式中，通过利用神经网络解决了放大图片后图像细节失真模糊的问题，并利用锐化、细节增强和去噪，再次提升图像的清晰度，并且处理一张贴图，即可获取参数批量处理整个游戏内其他贴图。
请参阅图3，本发明实施例中贴图精度提升装置的第二个实施例包括：
贴图获取模块201，用于获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；
超分辨率重建模块202，用于将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；
图像增强模块203，用于对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；
去噪模块204，用于对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；
批量处理模块205，用于根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。
在本实施例中，所述超分辨率网络模型包括卷积神经网络和多个残差密集模块，所述超分辨率重建模块202包括：
特征提取单元2021，用于将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过所述卷积神经网络对输入的第一贴图进行特征提取，得到所述第一贴图的图像特征；
特征映射单元2022，用于通过所述残差密集模块根据预设的非线性函数将所述图像特征进行非线性特征映射，得到所述第一贴图的高维特征映射图；
叠加单元2023，用于将所述第一贴图和所述高维特征映射图进行叠加处理，得到第二贴图，并识别第二贴图的超分辨率参数。
在本实施例中，所述残差卷积密集模块包括卷积层和连续层；所述特征映射模块2022具体用于：
通过多个残差密集模块中的第一残差密集模块对输入的图像特征进行处理，其中，所述第一残差密集模块中的卷积层在处理所述图像特征时，会对后续其他残差密集模块进行访问；
通过多个残差密集模块中除所述第一残差密集模块之外的残差密集模块对上一残差密集模块的输出进行处理，并在处理过程中访问下一残差密集模块的各层，实现对所述非线性函数的拟合；
根据拟合后的非线性函数将所述多个残差密集模块中最后一个残差密集模块的输出进行非线性特征映射，得到所述第一贴图的高维特征映射图。
在本实施例中，所述贴图精度提升装置还包括模型训练模块206，所述模型训练模块206具体用于：
获取初始化的超分辨率网络模型以及包含训练图像的训练集，其中所述训练图像为基于历史游戏文件中的游戏贴图；
将所述训练集中的训练图像输入所述初始化的超分辨率网络模型中，通过所述初始化的超分辨率网络模型对训练图像进行处理的，得到所述训练图像的处理后图像；
通过所述初始化的超分辨率网络模型提取所述处理后图像的图像特征以及预设的高清图像的图像特征，并根据理后图像的图像特征以及预设的高清图像的图像特征计算预设的感知损失函数，得到损失函数值；
判断所述损失值是否大于预设损失阈值；
若是，则根据所述损失函数对所述初始化的超分辨率网络模型进行反向传播，调整所述初始化的超分辨率网络模型的网络参数，并重新将所述训练集中的训练图像输入所述初始化的超分辨率网络模型；
若否，则网络训练结束，得到超分辨率网络模型。
在本实施例中，所述贴图精度提升装置还包括训练集更新模块207，所述训练集更新模块207具体用于：
对所述训练图像进行剪切处理，得到所述训练图像的多个图像切片；
将所述图像切片按照预设比例粘贴至对应的处理后图像的对应位置，得到拼接图像；
将所述拼接图像与对应的训练图像进行替换，对所述训练集进行更新。
在本实施例中，所述图像增强处理包括图像锐化处理和图像细节增强处理；所述图像增强模块203包括：
锐化处理单元2031，对所述第二贴图进行图像锐化处理，得到图像锐化处理后的第二贴图和锐化参数；
细节增强单元2032，用于对图像锐化处理后的第二贴图进行图像细节增强处理，得到第三贴图和图像细节增强参数；
将所述锐化参数和所述图像细节增强参数作为所述第三贴图的图像增强参数。
在本实施例中，所述锐化处理单元2031具体用于：
对所述第二贴图进行自适应识别，将所述第二贴图划分为平坦区、细节区和强细节区；
对所述平坦区进行强度锐化处理，对所述细节区进行轻度锐化处理，对所述强细节区不做锐化处理，得到图像锐化处理后的第二贴图和锐化参数。
在本实施例中，所述锐化处理单元2031具体还用于：
对图像锐化处理后的第二贴图中的各像素点基于像素点周围的局部对比度，对对应的像素的颜色进行调整。
在本实施例中，所述细节增强单元2032具体用于：
提取图像锐化处理后的第二贴图的图像纹理细节信息；
对所述图像纹理细节信息进行锐化处理，得到第三贴图和图像细节增强参数。
在本实施例中，所述去噪模块204具体用于：
通过预设的去噪模型对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数。
在本实施例中，所述去噪模型包括第一特征提取层、第二特征提取层和特征转换层；所述去噪模块204具体用于：
通过所述去噪模型中的第一特征提取层对所述第三贴图进行特征提取，得到所述第三贴图的图像特征；
通过所述第二特征提取层的多尺度残差块采用并行卷积流提取所述图像特征的多尺度特征；
通过所述特征转换层将所述多尺度特征从特征域转换至信号域，得到第四贴图和所述第四贴图的去噪参数。
本实施例在上一实施例的基础上，详细描述了各个模块的具体功能以及部分模块的单元构成，通过获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。本方式中，通过利用神经网络解决了放大图片后图像细节失真模糊的问题，并利用锐化、细节增强和去噪，再次提升图像的清晰度，并且处理一张贴图，即可获取参数批量处理整个游戏内其他贴图。
上面图2和图3从模块化功能实体的角度对本发明实施例中的中贴图精度提升装置进行详细描述，下面从硬件处理的角度对本发明实施例中贴图精度提升设备进行详细描述。
图4是本发明实施例提供的一种贴图精度提升设备的结构示意图，该贴图精度提升设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对贴图精度提升设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在贴图精度提升设备400上执行存储介质430中的一系列指令操作，以实现上述贴图精度提升方法的步骤。
贴图精度提升设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的贴图精度提升设备结构并不构成对本发明提供的贴图精度提升设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述贴图精度提升方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种贴图精度提升方法，其特征在于，所述贴图精度提升方法包括：
获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；
将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；
对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；
对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；
根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。
2.根据权利要求1所述的贴图精度提升方法，其特征在于，所述超分辨率网络模型包括卷积神经网络和多个残差密集模块，所述将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到和所述第二贴图的超分辨率参数包括：
将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过所述卷积神经网络对输入的第一贴图进行特征提取，得到所述第一贴图的图像特征；
通过所述残差密集模块根据预设的非线性函数将所述图像特征进行非线性特征映射，得到所述第一贴图的高维特征映射图；
将所述第一贴图和所述高维特征映射图进行叠加处理，得到第二贴图，并识别第二贴图的超分辨率参数。
3.根据权利要求2所述的贴图精度提升方法，其特征在于，所述残差卷积密集模块包括卷积层和连续层；
所述通过所述残差密集模块根据预设的非线性函数将所述图像特征进行非线性特征映射，得到所述第一贴图的高维特征映射图包括：
通过多个残差密集模块中的第一残差密集模块对输入的图像特征进行处理，其中，所述第一残差密集模块中的卷积层在处理所述图像特征时，会对后续其他残差密集模块进行访问；
通过多个残差密集模块中除所述第一残差密集模块之外的残差密集模块对上一残差密集模块的输出进行处理，并在处理过程中访问下一残差密集模块的各层，实现对所述非线性函数的拟合；
根据拟合后的非线性函数将所述多个残差密集模块中最后一个残差密集模块的输出进行非线性特征映射，得到所述第一贴图的高维特征映射图。
4.根据权利要求3所述的贴图精度提升方法，其特征在于，在所述将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数之前还包括：
获取初始化的超分辨率网络模型以及包含训练图像的训练集，其中所述训练图像为基于历史游戏文件中的游戏贴图；
将所述训练集中的训练图像输入所述初始化的超分辨率网络模型中，通过所述初始化的超分辨率网络模型对训练图像进行处理的，得到所述训练图像的处理后图像；
通过所述初始化的超分辨率网络模型提取所述处理后图像的图像特征以及预设的高清图像的图像特征，并根据理后图像的图像特征以及预设的高清图像的图像特征计算预设的感知损失函数，得到损失函数值；
判断所述损失值是否大于预设损失阈值；
若是，则根据所述损失函数对所述初始化的超分辨率网络模型进行反向传播，调整所述初始化的超分辨率网络模型的网络参数，并重新将所述训练集中的训练图像输入所述初始化的超分辨率网络模型；
若否，则网络训练结束，得到超分辨率网络模型。
5.根据权利要求4所述的贴图精度提升方法，其特征在于，在所述重新将所述训练集中的训练图像输入所述初始化的超分辨率网络模型之前，还包括：
对所述训练图像进行剪切处理，得到所述训练图像的多个图像切片；
将所述图像切片按照预设比例粘贴至对应的处理后图像的对应位置，得到拼接图像；
将所述拼接图像与对应的训练图像进行替换，对所述训练集进行更新。
6.根据权利要求1所述的贴图精度提升方法，其特征在于，所述图像增强处理包括图像锐化处理和图像细节增强处理；所述对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数包括：
对所述第二贴图进行图像锐化处理，得到图像锐化处理后的第二贴图和锐化参数；
对图像锐化处理后的第二贴图进行图像细节增强处理，得到第三贴图和图像细节增强参数；
将所述锐化参数和所述图像细节增强参数作为所述第三贴图的图像增强参数。
7.根据权利要求6所述的贴图精度提升方法，其特征在于，所述对所述第二贴图进行图像锐化处理，得到图像锐化处理后的第二贴图和锐化参数包括：
对所述第二贴图进行自适应识别，将所述第二贴图划分为平坦区、细节区和强细节区；
对所述平坦区进行强度锐化处理，对所述细节区进行轻度锐化处理，对所述强细节区不做锐化处理，得到图像锐化处理后的第二贴图和锐化参数。
8.根据权利要求7所述的贴图精度提升方法，其特征在于，在所述对所述平坦区进行强度锐化处理，对所述细节区进行轻度锐化处理，对所述强细节区不做锐化处理，得到图像锐化处理后的第二贴图和锐化参数之后，还包括：
对图像锐化处理后的第二贴图中的各像素点基于像素点周围的局部对比度，对对应的像素的颜色进行调整。
9.根据权利要求6所述的贴图精度提升方法，其特征在于，所述对图像锐化处理后的第二贴图进行图像细节增强处理，得到第三贴图和图像细节增强参数包括：
提取图像锐化处理后的第二贴图的图像纹理细节信息；
对所述图像纹理细节信息进行锐化处理，得到第三贴图和图像细节增强参数。
10.根据权利要求1-9中任一项所述的贴图精度提升方法，其特征在于，所述对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数包括：
通过预设的去噪模型对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数。
11.根据权利要求10所述的贴图精度提升方法，其特征在于，所述去噪模型包括第一特征提取层、第二特征提取层和特征转换层；
所述通过预设的去噪模型对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数包括：
通过所述去噪模型中的第一特征提取层对所述第三贴图进行特征提取，得到所述第三贴图的图像特征；
通过所述第二特征提取层的多尺度残差块采用并行卷积流提取所述图像特征的多尺度特征；
通过所述特征转换层将所述多尺度特征从特征域转换至信号域，得到第四贴图和所述第四贴图的去噪参数。
12.一种贴图精度提升装置，其特征在于，所述贴图精度提升装置包括：
贴图获取模块，用于获取待精度提升的游戏文件，并选择所述游戏文件中的任意一张游戏贴图作为第一贴图进行图像预处理；
超分辨率重建模块，用于将图像预处理后的第一贴图输入预设的超分辨率网络模型中，通过超分辨率网络模型对输入的第一贴图进行超分辨率重建，得到第二贴图和所述第二贴图的超分辨率参数；
图像增强模块，用于对所述第二贴图进行图像增强处理，得到第三贴图和所述第三贴图的图像增强参数；
去噪模块，用于对所述第三贴图进行去噪处理，得到第四贴图和所述第四贴图的去噪参数；
批量处理模块，用于根据所述超分辨率、所述图像增强参数和所述去噪参数对所述游戏文件中的其他游戏贴图进行精度提升处理。
13.一种贴图精度提升设备，其特征在于，所述贴图精度提升设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述贴图精度提升设备执行如权利要求1-11中任意一项所述的贴图精度提升方法的步骤。
14.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-11中任意一项所述贴图精度提升方法的步骤。
CN202310014222.8A 2023-01-05 2023-01-05 贴图精度提升方法、装置、设备及存储介质 Pending CN116152093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310014222.8A CN116152093A (zh) 2023-01-05 2023-01-05 贴图精度提升方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310014222.8A CN116152093A (zh) 2023-01-05 2023-01-05 贴图精度提升方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116152093A true CN116152093A (zh) 2023-05-23

Family

ID=86359433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310014222.8A Pending CN116152093A (zh) 2023-01-05 2023-01-05 贴图精度提升方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116152093A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372301A (zh) * 2023-09-27 2024-01-09 深圳市梦作坊科技有限公司 基于多模耦合技术的游戏图像处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372301A (zh) * 2023-09-27 2024-01-09 深圳市梦作坊科技有限公司 基于多模耦合技术的游戏图像处理方法

Similar Documents

Publication Publication Date Title
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
CN112308763A (zh) 利用具有双流编码器架构的神经网络来生成合成数字图像
CN114022785A (zh) 一种遥感影像语义分割方法、系统、设备及存储介质
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
US20220138500A1 (en) Unsupervised super-resolution training data construction
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
Xiao et al. Single image dehazing based on learning of haze layers
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN113936011A (zh) 基于注意力机制的ct影像肺叶图像分割系统
Kim et al. Pynet-ca: enhanced pynet with channel attention for end-to-end mobile image signal processing
CN110599455A (zh) 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN116152093A (zh) 贴图精度提升方法、装置、设备及存储介质
CN114757854B (zh) 基于多光谱分析的夜视图像质量提升方法、装置、设备
Li et al. Wavelet u-net for medical image segmentation
Cui et al. Exploring resolution and degradation clues as self-supervised signal for low quality object detection
Karthikeyan et al. Energy based denoising convolutional neural network for image enhancement
Ngo et al. Automating a dehazing system by self-calibrating on haze conditions
CN113361537A (zh) 基于通道注意力的图像语义分割方法及装置
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
Dong et al. Deep Unpaired Blind Image Super-Resolution Using Self-supervised Learning and Exemplar Distillation
Wang et al. A multi-scale attentive recurrent network for image dehazing
CN116205802A (zh) 图像去噪方法、装置、存储介质及电子设备
DE102022120117A1 (de) On-Device erfolgendes Detektieren von Digitalobjekten und Generieren von Objektmasken
CN111915623B (zh) 一种使用门控和自适应注意力的图像分割方法和装置
Huang et al. Adaptive-Attention Completing Network for Remote Sensing Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination