CN115953330B - 虚拟场景图像的纹理优化方法、装置、设备和存储介质 - Google Patents
虚拟场景图像的纹理优化方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN115953330B CN115953330B CN202310234867.2A CN202310234867A CN115953330B CN 115953330 B CN115953330 B CN 115953330B CN 202310234867 A CN202310234867 A CN 202310234867A CN 115953330 B CN115953330 B CN 115953330B
- Authority
- CN
- China
- Prior art keywords
- texture
- virtual scene
- scene image
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 125
- 230000007547 defect Effects 0.000 claims abstract description 172
- 230000009466 transformation Effects 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000004590 computer program Methods 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims description 115
- 238000009877 rendering Methods 0.000 claims description 90
- 239000011159 matrix material Substances 0.000 claims description 66
- 230000000694 effects Effects 0.000 claims description 64
- 238000013507 mapping Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 42
- 238000005516 engineering process Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 238000013210 evaluation model Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种虚拟场景图像的纹理优化方法、装置、计算机设备、存储介质和计算机程序产品，可应用于人工智能领域，所述方法包括：对虚拟场景图像进行图像变换，得到傅里叶特征；依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息；根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。采用本方法能够提高对虚拟场景图像的纹理优化的效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种虚拟场景图像的纹理优化方法、装置、设备和存储介质。
背景技术
随着计算机技术和图形学技术的发展，虚拟场景图像成为一种颇受关注的图像呈现方式，在游戏、电影、建筑等领域有着广泛的应用。为了获得较高的图像质量以提升虚拟场景图像的真实感，传统方案往往通过对虚拟场景图像对应纹理的整体进行无差别优化处理，以提高对虚拟场景图像的纹理渲染效果。
然而，这种方法往往需要消耗大量的硬件资源，并且需要较长的处理时间，导致对虚拟场景图像的纹理优化的效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高纹理渲染质量的虚拟场景图像的纹理优化方法、装置、设备和存储介质。
第一方面，本申请提供了一种虚拟场景图像的纹理优化方法。所述方法包括：
对虚拟场景图像进行图像变换，得到傅里叶特征；
依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；
通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息；
根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
第二方面，本申请还提供了一种虚拟场景图像的纹理优化装置。所述装置包括：
图像变换模块，用于对虚拟场景图像进行图像变换，得到傅里叶特征；
纹理提取模块，用于依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；
纹理预测模块，用于通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息；
纹理更新模块，用于根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
在一个实施例中，所述装置还包括：
图像获取模块，用于获取原始虚拟场景图像；
图像分块模块，用于对所述原始虚拟场景图像进行分块处理，得到候选虚拟场景图像；
渲染评估模块，用于对所述候选虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；
图像选取模块，用于从所述候选虚拟场景图像中，基于所述渲染评估结果选取所述虚拟场景图像。
在一个实施例中，所述装置还包括：
变换矩阵获取模块，用于获取傅里叶空间和图像空间之间的纹理坐标变换矩阵；
所述纹理预测模块，还用于：
将所述纹理坐标变换矩阵和所述虚拟场景图像的缺陷纹理信息输入预训练的纹理预测模型，以使所述预训练的纹理预测模型基于所述纹理坐标变换矩阵对所述缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息。
在一个实施例中，所述变换矩阵获取模块，还用于：
确定所述虚拟场景图像中的原始缺陷纹理信息；所述原始缺陷纹理信息是所述虚拟场景图像对应的图像空间中的纹理表达；
确定所述原始缺陷纹理信息和所述缺陷纹理信息之间的映射关系；所述缺陷纹理信息是傅里叶空间中的纹理表达；
基于所述映射关系生成所述傅里叶空间和所述图像空间之间的纹理坐标变换矩阵。
在一个实施例中，所述变换矩阵获取模块，还用于：
基于所述原始缺陷纹理信息确定第一纹理网格；
基于所述缺陷纹理信息确定第二纹理网格；
确定用于将所述第一纹理网格映射到所述第二纹理网格的映射关系。
在一个实施例中，所述纹理预测模块，还用于：
基于所述坐标变换矩阵确定所述图像空间中各像素点的像素形状特征；
基于所述各像素点的像素形状特征对所述缺陷纹理信息进行纹理处理，得到预测纹理信息。
在一个实施例中，所述纹理更新模块，还用于：
对所述虚拟场景图像中的缺陷纹理信息进行删除，得到插值图像；
基于所述插值图像对所述预测纹理信息所表征的纹理进行插值处理，得到优化后虚拟场景图像。
在一个实施例中，所述图像获取模块，还用于获取样本虚拟场景图像；
所述纹理提取模块，还用于从所述样本虚拟场景图像中提取出样本缺陷纹理信息；
所述纹理预测模块，还用于通过纹理预测模型对所述样本虚拟场景图像的样本缺陷纹理信息进行纹理处理，得到样本预测纹理信息；
所述装置还包括：损失值确定模块，用于基于所述样本预测纹理信息和所述样本虚拟场景图像，确定损失值；
参数优化模块，用于基于所述损失值对所述纹理预测模型的参数进行优化，直至满足收敛条件，得到预训练的纹理预测模型。
在一个实施例中，所述图像获取模块，还用于：
获取傅里叶空间的原始样本虚拟场景图像；
对所述原始样本虚拟场景图像进行逆傅里叶变换，得到样本虚拟场景图像；
所述损失值确定模块，还用于：
基于所述样本预测纹理信息和所述傅里叶空间的原始样本虚拟场景图像，确定损失值。
在一个实施例中，所述损失值确定模块，还用于：
基于所述样本预测纹理信息对所述样本虚拟场景图像进行更新，得到优化后样本虚拟场景图像；
基于所述优化后样本虚拟场景图像确定第一纹理弯曲度；
基于所述傅里叶空间的原始样本虚拟场景图像确定第二纹理弯曲度；
根据所述第一纹理弯曲度和所述第二纹理弯曲度，确定损失值。
在一个实施例中，所述装置还包括优化结果确定模块，用于：
对所述虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；
对所述优化后虚拟场景图像进行渲染效果评估，得到优化后渲染评估结果；
基于所述渲染评估结果和所述优化后渲染评估结果，确定对所述虚拟场景图像的纹理优化效果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对虚拟场景图像进行图像变换，得到傅里叶特征；
依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；
通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息；
根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对虚拟场景图像进行图像变换，得到傅里叶特征；
依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；
通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息；
根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
对虚拟场景图像进行图像变换，得到傅里叶特征；
依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；
通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息；
根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
上述虚拟场景图像的纹理优化方法、装置、计算机设备、存储介质和计算机程序产品，在对虚拟场景图像进行图像变换，得到傅里叶特征之后，依据傅里叶特征仅提取出虚拟场景图像的缺陷纹理信息，从而可以仅对提取出的缺陷纹理信息进行优化处理以实现对虚拟场景图像的纹理优化，提高了对虚拟场景图像的纹理优化的效率；并且，对缺陷纹理信息进行优化处理时，先通过预训练的纹理预测模型准确预测出对应的纹理信息（即预测纹理信息），利用预测纹理信息对虚拟场景图像的缺陷纹理信息进行更新，从而有效地提高了对虚拟场景图像的纹理优化的效率。
附图说明
图1为一个实施例中虚拟场景图像的纹理优化方法的应用环境图；
图2为一个实施例中虚拟场景图像的纹理优化方法的流程示意图；
图3为一个实施例中虚拟场景图像获取步骤的流程示意图；
图4为一个实施例中纹理网格坐标变换的示意图；
图5为一个实施例中预测纹理信息确定步骤的流程示意图；
图6为一个实施例中模型训练步骤的流程示意图；
图7为另一个实施例中虚拟场景图像的纹理优化方法的流程示意图；
图8为另一个实施例中虚拟场景图像的纹理优化方法的应用场景示意图；
图9为另一个实施例中虚拟场景图像的纹理优化方法的数据流向示意图；
图10为另一个实施例中模型训练步骤的应用场景示意图；
图11为另一个实施例中模型训练步骤的数据流向示意图；
图12为一个实施例中虚拟场景图像的纹理优化装置的结构框图；
图13为另一个实施例中虚拟场景图像的纹理优化装置的结构框图；
图14为一个实施例中计算机设备的内部结构图；
图15为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的虚拟场景图像的纹理优化方法，涉及人工智能的机器学习、计算机视觉等技术，其中：
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的虚拟场景图像的纹理优化方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。该虚拟场景图像的纹理优化方法可由终端102执行，或者由终端102和服务器104协同执行。在一些实施例中，该虚拟场景图像的纹理优化方法由终端102执行，对虚拟场景图像进行图像变换，得到傅里叶特征；依据傅里叶特征提取出虚拟场景图像的缺陷纹理信息；通过预训练的纹理预测模型对虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息；根据预测纹理信息对虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种虚拟场景图像的纹理优化方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
S202，对虚拟场景图像进行图像变换，得到傅里叶特征。
其中，虚拟场景图像可以是通过计算机程序创建或模拟的图像，该图像中的场景可以三维场景，这些场景可以是静态的，也可以是动态的。
虚拟场景图像是待优化的图像，可以是从原始虚拟场景图像所提取的至少一部分区域内的图像，具体可以是原始虚拟场景图像中纹理渲染效果差的图像区域。纹理渲染效果差是指虚拟场景图像中纹理显示不清晰，色彩不真实，表面不光滑等情况，比如弯曲纹理显示不清晰，色彩不真实，表面不光滑，这些情况会影响虚拟场景的真实感，使得场景不真实。为了提高虚拟场景的真实感，可以采取本申请所提供的虚拟场景图像的纹理优化方法对纹理进行优化，提高纹理渲染效果。
纹理是指图像的表面特征，包括图像中的规律、重复性、对称性、纹理方向等信息，具体可包括纹理方向、纹理强度、纹理颜色和纹理细节等信息，其中，纹理方向是指图像中的纹理可以有不同的方向，如垂直、水平等，纹理强度是指图像中纹理的强度可以有所不同，如清糊等，纹理颜色是指图像中的纹理颜色也可能不同，如黑白、彩色等，纹理细节是指图像中的纹理细节可以有所不同，如粗糙、细腻等。
图像变换可以是傅里叶变换，傅里叶变换是数学中一种频域分析方法，通过将一个时域信号转换为频域信号来表示信号的频率成分，它是一种重要的数学工具，在许多领域都有广泛的应用，如信号处理、图像处理、通信、计算机图形学等，傅里叶变换的基本思想是通过一个复数序列（即一个点的时域信号）的系数，将其表示为一个频域分析，用来描述信号的频率特征，这个转换是通过一个复数的傅里叶级数来实现的。
具体的，终端在得到虚拟场景图像之后，可以获取预设的傅里叶变换算法，基于预设的傅里叶变换算法对虚拟场景图像进行图像变换，得到傅里叶变换结果，傅里叶结果即虚拟场景图像在傅里叶空间中的表达，将该傅里叶变换结果确定为傅里叶特征，从而便于后续快速提取虚拟场景图像的缺陷纹理信息，以对缺陷纹理信息进行优化，减少了计算复杂度，提高了纹理优化的效率。
其中，傅里叶特征是指虚拟场景图像的频域特征，具体可以包括频率谱、幅度谱、相位谱等信息，频率谱是指图像中各个频率分量的出现频率以及它们的能量大小，通常用于描述虚拟场景图像中的高频和低频分量，幅度谱是指虚拟场景图像中各个频率分量的振幅大小，通常用于描述虚拟场景图像中各个频率分量的贡献大小，即描述了虚拟场景图像的明暗变化，相位谱是指虚拟场景图像中各个频率分量的相位信息，通常用于描述虚拟场景图像中各个频率分量的相对位置，即描述了图像中各个频率分量的空间布局信息，窗体顶端
这些特征对于图像分析和处理具有重要的作用。
在一个实施例中，所采用的预设的傅里叶变换算法如下式所示：
上式中，
为傅里叶变换结果，也可以称为傅里叶特征，即虚拟场景图像在频谱域中的值，频谱域简称频域，对应的坐标空间可称为傅里叶空间，u和v分别表示频谱坐标的横纵坐标，以（u，v）表示二维的频谱坐标，
的绝对值为幅度，
为虚拟场景图像中像素点（x,y）的灰度值，M和N分别是虚拟场景图像的宽和高，以M×N表示虚拟场景图像的大小，e表示自然对数的底数，j表示虚数单位，它的实数部分为0，虚数部分为1，1/MN是归一化因子。根据这个公式，可以计算出虚拟场景图像在频谱域中的每一个点的值，即
，以这个值作为每个像素点在频谱域中的权重，就可以得到虚拟场景图像在频谱域中的信息，它们具有图像的纹理特征信息。
S204，依据傅里叶特征提取出虚拟场景图像的缺陷纹理信息。
可以理解的是，图像的纹理信息存在于傅里叶特征的特定频率部分，因此可以从傅里叶特征中提取出该特定频率部分，从而得到虚拟场景图像的缺陷纹理信息。例如，高频部分的信息对应着虚拟场景图像中的细节、纹理等高频特征，低频部分的信息对应着虚拟场景图像中的整体、背景等低频特征。
具体的，终端在得到虚拟场景图像的傅里叶特征之后，获取预设的频率阈值，并基于该频率阈值从傅里叶特征中提取出达到该频率阈值的高频部分，高频部分即虚拟场景图像中的纹理信息在频域的表达，提取出傅里叶特征的高频部分即提取出虚拟场景图像的纹理信息，该纹理信息是有缺陷的，因此也可以称为虚拟场景图像的缺陷纹理信息，提取出缺陷纹理信息后可以针对缺陷纹理信息后进行进一步的优化，从而提高虚拟场景图像的质量。
在一个实施例中，终端可以使用预设的高通滤波器从傅里叶特征提取出虚拟场景图像的缺陷纹理信息，其中预设的高通滤波器可以是Sobel、Laplacian、Canny等，使用高通滤波器高效地过滤掉虚拟场景图像中的低频分量，将重点放在图像的高频部分，即图像中的细节信息和纹理信息，进而更好地捕捉图像中的缺陷纹理信息。
S206，通过预训练的纹理预测模型对虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息。
其中，纹理预测模型通常会使用一些深度学习算法，如卷积神经网络(CNN)、循环神经网络(RNN)等，该纹理预测模型可以学习图像中缺陷区域的纹理特征，并将这些特征应用到新的图像中，从而生成类似于缺陷区域的优化后纹理。
在一个实施例中，终端在提取出虚拟场景图像的缺陷纹理信息之后，将所提取出的缺陷纹理信息输入预训练的纹理预测模型，通过该预训练的纹理预测模型对虚拟场景图像的缺陷纹理信息进行纹理预测，得到预测纹理信息，该预测纹理信息包含了纹理高频分量，通过预训练的纹理预测模型对缺陷纹理信息进行纹理处理，有助于更好地还原缺陷部分的细节纹理信息，从而提高了虚拟场景图像的真实性和准确性，同时，使用预训练的纹理预测模型对缺陷纹理信息进行纹理处理，还可以自动化地识别和预测纹理信息，提高了工作效率，降低了人工干预的成本和错误率。
S208，根据预测纹理信息对虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
具体的，终端在得到预测纹理信息之后，可以将预测纹理信息与虚拟场景图像进行融合，得到融合后的虚拟场景图像，该融合后的虚拟场景图像即为优化后虚拟场景图像。
在一个实施例中，终端在得到优化后的虚拟场景图像之后，还可以将原始虚拟场景图像中的虚拟场景图像所在区域替换为该优化后虚拟场景图像，实现对的整体原始虚拟场景图像的优化，从而提高了虚拟场景图像的视觉质量和真实感。
上述实施例中，终端在对虚拟场景图像进行图像变换，得到傅里叶特征之后，依据傅里叶特征仅提取出虚拟场景图像的缺陷纹理信息，从而可以仅对提取出的缺陷纹理信息进行优化处理以实现对虚拟场景图像的纹理优化，提高了对虚拟场景图像的纹理优化的效率；并且，对缺陷纹理信息进行优化处理时，先通过预训练的纹理预测模型准确预测出对应的纹理信息（即预测纹理信息），利用预测纹理信息对虚拟场景图像的缺陷纹理信息进行更新，从而有效地提高了对虚拟场景图像的纹理优化的效率。
在一个实施例中，如图3所示，上述虚拟场景图像的纹理优化还包括以下步骤：
S302，获取原始虚拟场景图像。
其中，原始虚拟场景图像是指已经进行纹理渲染后的图像，且在进行纹理渲染时采用的是传统的纹理渲染技术，因此会导致原始虚拟场景图像中有些纹理的渲染效果不好，需要对渲染效果不好的这部分纹理进行优化。
S304，对原始虚拟场景图像进行分块处理，得到候选虚拟场景图像。
其中，分块处理在图像处理中通常用于将一张大图分割成若干个小区域，以便对每个小区域进行单独的处理或分析。候选虚拟场景图像即为原始虚拟场景图像中的一个区域。
具体的，终端在得到原始虚拟场景图像之后，可以获取预设图块尺寸，并根据预设图块尺寸对原始虚拟场景图像进行分块处理，得到多个预设图块尺寸大小的候选虚拟场景图像，从而可以分别对原始虚拟场景图像中的不同候选虚拟场景图像进行纹理渲染效果评估，进而仅对有缺陷的虚拟场景图像进行优化，避免了对无需优化的虚拟场景图像也进行优化，提高了对原始虚拟场景图像的缺陷纹理的优化效率。
在一个实施例中，终端还可以以卷积的方式对原始虚拟场景图像进行分块处理，具体可以包括以下步骤：获取预先设定的窗口，然后将该窗口从原始虚拟场景图像的左上角开始、按照预设步长逐个像素滑动，对每个窗口内的像素进行卷积操作，得到该窗口内的候选虚拟场景图像，接着，将窗口向右或向下移动一个步长，重复上述操作，直到将整张原始虚拟场景图像覆盖完毕，得到各个虚拟场景图像，卷积运算可以在短时间内对原始虚拟场景图像进行分块，处理速度快，卷积处理可以通过调整卷积核的大小和步长来控制分块的大小和位置，从而使得整个过程具有较高的稳定性和可重复性。
其中，在进行卷积操作时所使用的卷积核的大小可以分块的大小，即卷积核的大小等于预设图块尺寸。
S306，对候选虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果。
其中，纹理渲染效果评估是指对渲染出的原始虚拟场景图像中，各个候选虚拟场景图像的纹理质量进行评估。
需要说明的是，本申请实施例中纹理渲染效果评估包括纹理清晰度评估、纹理饱和度评估、纹理平滑度评估、纹理色彩评估和纹理匹配度评估中的至少一种，其中，纹理清晰度评估具体评估虚拟场景图像中的纹理是否清晰、细节是否丰富；纹理饱和度评估具体评估虚拟场景图像中的纹理是否足够饱满；纹理平滑度评估具体评估虚拟场景图像中的纹理是否平滑自然；纹理色彩评估具体评估虚拟场景图像中的纹理的色彩是否鲜艳丰富，与实际场景是否相符；纹理匹配度评估具体评估虚拟场景图像中的纹理与实际场景中的纹理是否匹配。
具体的，终端在得到各个候选虚拟场景图像之后，还可以获取预训练的纹理评估模型，将候选虚拟场景图像输入预训练的纹理评估模型，通过预训练的纹理评估模型，对候选虚拟场景图像的纹理从纹理清晰度评估、纹理饱和度评估、纹理平滑度评估、纹理色彩评估和纹理匹配度评估中的至少一个评估维度进行评估，得到相应维度的评估得分，并基于各维度的评估得分，确定纹理评分，该纹理评分即为渲染评估结果。使用预训练的纹理评估模型对候选虚拟场景图像进行评估，可以快速、准确地评估候选图像的纹理质量，从而选择出纹理渲染效果差的虚拟场景图像以进行优化，避免了对无需优化的虚拟场景图像也进行优化，提高了对原始虚拟场景图像的缺陷纹理的优化效率。
S308，从候选虚拟场景图像中，基于渲染评估结果选取虚拟场景图像。
在一个实施例中，终端在得到各个候选虚拟场景图像的渲染评估结果之后，根据渲染评估结果对候选虚拟场景图像进行排序，得到排序结果，并根据排序结果从候选虚拟场景图像中选取所要优化的虚拟场景图像。通过对候选虚拟场景图像进行渲染效果排序，可以快速地筛选出纹理渲染效果较差的候选虚拟场景图像，并将优化的重点放在这些候选虚拟场景图像上，从而提高了对原始虚拟场景图像的优化效率和效果。
其中，排序可以是按照纹理评分从低到高进行排序，纹理评分越高说明纹理渲染效果越好，纹理评分越低，说明纹理渲染效果越差，需要对纹理渲染效较差的候选虚拟场景图像进行纹理优化，具体可以将排序达到排序阈值的候选虚拟场景图像确定为所要优化的虚拟场景图像，比如将排名前三的候选虚拟场景图像确定为所要优化的虚拟场景图像。
在一个实施例中，终端在得到各个候选虚拟场景图像的渲染评估结果之后，根据渲染评估结果确定达到评估分数阈值的目标候选虚拟场景图像，并将目标候选虚拟场景图像确定为所要优化的虚拟场景图像，从而渲染评估结果低于评分阈值的情况下，终端无需对相应的候选虚拟场景图像进行优化，避免了不必要的计算，从而减少了计算量，提高了对原始虚拟场景图像的优化效率和效果。
例如，将纹理评分低于评估分数阈值的目标候选虚拟场景图像确定为所要优化的虚拟场景图像。
上述实施例中，终端通过对原始虚拟场景图像进行分块处理，并对分块所得的各个候选虚拟场景图像进行纹理渲染效果评估，从而可以选取出纹理渲染效果差的虚拟场景图像以进行优化，使得仅对原始虚拟场景图像中渲染效果较差的区域进行优化，避免对无需优化的其他区域也进行优化，减少了计算量，从而提高了对原始虚拟场景图像的纹理优化效率。
在一个实施例中，上述虚拟场景图像的纹理优化方法还包括以下步骤：获取傅里叶空间和图像空间之间的纹理坐标变换矩阵，终端通过预训练的纹理预测模型对虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息的过程包括以下步骤：将纹理坐标变换矩阵和虚拟场景图像的缺陷纹理信息输入预训练的纹理预测模型，以使预训练的纹理预测模型基于纹理坐标变换矩阵对缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息。本实施例中，通过获取纹理坐标变换矩阵可以用来将傅里叶空间中的虚拟场景图像的纹理信息映射到真实的图像空间中，从而实现更加真实的纹理呈现效果，预训练的纹理预测模型可以通过学习大量数据集中的纹理信息，对虚拟场景图像的缺陷纹理信息进行高效准确的纹理处理，得到包含纹理高频分量的预测纹理信息，使得优化后虚拟场景图像的纹理呈现更加真实、细腻，从而提高了对虚拟场景图像的纹理优化的效率和效果。
其中，纹理坐标变换矩阵是傅里叶空间和图像空间之间的变换关系，具体可以是雅可比矩阵，雅可比矩阵（Jacobian matrix）是一个方阵，其中每个元素是一个函数的偏导数，图像空间即虚拟场景图像的原始坐标空间，也可以称为或者颜色空间，傅里叶空间对应于傅里叶频域，颜色空间对应于颜色域，颜色域指的是在颜色空间中定义的颜色范围，即包含了所有可见颜色的空间，颜色空间是指用数字表示颜色的一种方式，通常使用三个坐标轴来描述三种原色在不同强度下的组合，比较常见的颜色空间包括RGB、CMYK、LAB等，在计算机图形学中，颜色域通常使用RGB颜色空间来表示图像中的颜色。
具体的，终端在获取到虚拟场景图像的缺陷纹理信息之后，在傅里叶空间中和图像空间中分别确定缺陷纹理信息，通过将图像空间中缺陷纹理信息映射到傅里叶空间中的缺陷纹理信息，来确定傅里叶空间和图像空间之间的纹理坐标变换矩阵，并将坐标变换矩阵和虚拟场景图像在傅里叶空间中的缺陷纹理信息输入到预训练的纹理预测模型，以使预训练的纹理预测模型基于坐标变换矩阵对缺陷纹理信息进行预测，得到出包含纹理高频分量的预测纹理信息，使得优化后虚拟场景图像的纹理呈现更加真实、细腻，从而提高了对虚拟场景图像的纹理优化的效率和效果。
在一个实施例中，终端获取傅里叶空间和图像空间之间的纹理坐标变换矩阵的过程包括以下步骤：确定虚拟场景图像中的原始缺陷纹理信息；确定原始缺陷纹理信息和缺陷纹理信息之间的映射关系；基于映射关系生成傅里叶空间和图像空间之间的纹理坐标变换矩阵，从而可以基于所生成的纹理坐标变换矩阵，将傅里叶空间中的虚拟场景图像的纹理信息映射到真实的图像空间中，从而实现更加真实的纹理呈现效果，提高了对虚拟场景图像的纹理优化的效率和效果。
其中，原始缺陷纹理信息是虚拟场景图像对应的图像空间中的纹理表达；缺陷纹理信息是虚拟场景图像在傅里叶空间中的纹理表达。
具体的，终端在获取到虚拟场景图像的缺陷纹理信息之后，在傅里叶空间中和图像空间中分别确定纹理网格，纹理网格也可称为采样点网格，通过将图像空间中纹理网格映射到傅里叶空间中的纹理网格，来确定傅里叶空间和图像空间之间的纹理坐标变换矩阵，从而可以基于所生成的纹理坐标变换矩阵，将傅里叶空间中的虚拟场景图像的纹理信息映射到真实的图像空间中，从而实现更加真实的纹理呈现效果，提高了对虚拟场景图像的纹理优化的效率和效果。
在一个实施例中，终端确定所述原始缺陷纹理信息和所述缺陷纹理信息之间的映射关系的步骤具体包括以下过程：基于原始缺陷纹理信息确定第一纹理网格；基于缺陷纹理信息确定第二纹理网格；确定用于将第一纹理网格映射到第二纹理网格的映射关系，从而可以帮助将原始缺陷纹理信息和缺陷纹理信息之间进行有效的对齐和匹配，这种对齐和匹配可以在纹理处理过程中生成更高质量的预测纹理信息。
具体的，终端在得到原始缺陷纹理信息和缺陷纹理信息之后，确定原始纹理信息中的第一纹理网格，以及对应缺陷纹理信息中的第二纹理网格，并基于第一纹理网格上的每个采样点分别映射到第二纹理网格上的采样点，从而得到第一纹理网格到第二纹理网格的映射矩阵，该映射矩阵即为原始坐标空间到傅里叶频域的纹理坐标变换矩阵，从而可以帮助将原始缺陷纹理信息和缺陷纹理信息之间进行有效的对齐和匹配，这种对齐和匹配可以在纹理处理过程中生成更高质量的预测纹理信息。
其中，第一纹理网格和第二纹理网格均为二维的采样点网格，采样点网格是指在图像上均匀分布的点阵，用于离散化图像空间，并在图像上进行采样和计算。
例如，可以采用下式确定图像空间到傅里叶空间的纹理坐标变换矩阵：
上式中，
为图像空间中的以X点为中心的局部纹理网格，
为图像空间中X点的局部纹理网格上的就近点，
为
相对于X的偏移量，f为变换函数，如傅里叶变换，Y点为傅里叶变换后的傅里叶空间中的与X点对应的坐标点，即X点经过傅里叶变换后到Y点，
为傅里叶变换后在傅里叶空间中的以Y点为中心的局部纹理网格，
是X点对应的傅里叶变换的雅可比矩阵。
如图4所示，左侧为图像空间中的纹理网格，其中A0、B0、C0、D0、F0、G0、H0和I0为点X的局部纹理网格
上的就近点，右侧为傅里叶空间中的纹理网格，对点X的局部纹理网格
进行傅里叶变换后，得到傅里叶空间中点Y的局部纹理网格
，其中A1、B1、C1、D1、F1、G1、H1和I1分别与A0、B0、C0、D0、F0、G0、H0和I0对应。
在一个实施例中，如图5所示，终端基于纹理坐标变换矩阵对缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息的过程具体包括以下步骤：
S502，基于坐标变换矩阵确定图像空间中各像素点的像素形状特征。
具体的，针对傅里叶空间中的任意一个点，还可以基于纹理坐标变换矩阵，确定傅里叶空间到图像空间的纹理坐标逆变换矩阵和对应的数值张量，基于纹理坐标逆变换矩阵和对应的数值张量，确定该点对应于图像空间中像素点的像素形状特征，通过将傅里叶空间中的纹理特征映射回到图像空间中的像素点，从而可以用图像空间中的像素形状特征来描述傅里叶空间中的纹理特征，可以更直观地观察和分析纹理特征，方便对虚拟场景图像进行优化和改进。
其中，可以采用下式确定各个像素点的像素形状特征：
其中，
为点Y映射到图像空间后对应像素点的像素形状特征，
为一个12维向量
，前4维
表示像素的方向，后8维
表示像素的曲率，
表示f的逆函数，也就是将纹理坐标映射回图像空间的函数，即傅里叶逆变换，
表示傅里叶逆变换在点Y处的数值雅可比矩阵，即傅里叶空间到图像空间的纹理坐标逆变换矩阵，
表示傅里叶逆变换在点Y处的数值张量，数值张量描述了在图像空间中像素点的弯曲程度。
参考图4，具体实现中，可以对查询点Y与其八个最近点A1、B1、C1、D1、F1、G1、H1和I1的差值，进而基于差值计算数值导数，就数值导数确定数值雅可比矩阵
和数值张量
，进而得到点Y的对应于图像空间中像素点的像素形状特征
。
S504，基于各像素点的像素形状特征对缺陷纹理信息进行纹理处理，得到预测纹理信息。
具体的，终端通过纹理预测模型对缺陷纹理信息进行纹理预测，得到预测值，并基于各像素点的像素形状特征对预测值进行处理得到预测纹理信息，基于像素形状特征对预测值进行处理，可以更好地保持图像的整体结构和连续性，使得纹理预测结果更加自然、真实，从而提高了纹理处理的准确性和稳定性。
其中，预测值为傅里叶空间中的修正后纹理表达，预测纹理信息为图像空间中的修正后纹理表达。
在一个实施例中，终端可以基于预测值、各像素点的像素形状特征和形状估计函数，对预测值进行处理得到预测纹理信息，其中形状估计函数如下式所示：
以上公式是一个神经网络模型的表达式，也可以称为形状估计函数，表示在输入点Y处，模型通过神经网络的计算得到预测值
，
和
分别表示神经网络的权重和偏置，f为从图像空间映射到傅里叶空间的函数，即傅里叶变换，
表示纹理网格的J个采样点中的第j个采样点的坐标，
表示第j个采样点的权重，用于加权不同采样点的输出结果，
是从傅里叶空间映射回图像空间的函数，即傅里叶逆变换，
为点Y映射到图像空间后对应像素点的像素形状特征。
为点Y对应图像空间中点X处的纹理表达，即预测纹理信息，
为点Y处的相位值，通过将
与
进行点积运算，即可得到预测纹理信息在傅里叶空间的形状表达
。
上述实施例中，终端通过预训练的纹理预测模型基于坐标变换矩阵确定图像空间中各像素点的像素形状特征，可以更准确地捕捉到纹理特征，使得纹理处理更加精细和高效，同时，基于各像素点的像素形状特征进行纹理处理，能够更好地适应不同的纹理样式和场景特征，提高了纹理处理的效果和准确性，因此，提高了对虚拟场景图像的纹理优化的效率和效果。
在一个实施例中，终端根据预测纹理信息对虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像的过程包括以下步骤：对虚拟场景图像中的缺陷纹理信息进行删除，得到插值图像；基于插值图像对预测纹理信息所表征的纹理进行插值处理，得到优化后虚拟场景图像，因此基于插值图像进行插值处理可以更好地保留原有的图像信息，使得优化后的虚拟场景图像更加真实自然，提高了虚拟场景图像的质量。
其中，插值处理是指将预测纹理图像与插值图像进行比较，对预测纹理图像中缺失的部分进行填补，预测纹理图像中缺失的部分可以是背景部分，也可以是纹理细节部分。
具体的，终端可以对虚拟场景图像进行傅里叶变换，得到傅里叶特征，并对傅里叶特征中表达纹理的高频部分进行滤波（即对表达纹理的高频部分进行删除），得到滤波后傅里叶特征，对滤波后傅里叶特征进行傅里叶逆变换，实现对虚拟场景图像中的缺陷纹理信息进行删除，得到插值图像，并基于预测纹理信息生成预测纹理图像，基于插值图像对预测纹理图像对预测纹理图像中缺失的部分进行填补，得到优化后虚拟场景图像，使得优化后虚拟场景图像更加完整且纹理效果更加真实，提高了对虚拟场景图像的优化效果。
例如，优化后虚拟图像也可以采用下式进行表示：
其中，
表示优化后虚拟图像，
表示插值图像，
表示预测纹理信息。
在一个实施例中，如图6所示，上述虚拟场景图像的纹理优化方法还包括对纹理预测模型进行训练的过程，该过程具体包括以下步骤：
S602，获取样本虚拟场景图像。
其中，样本虚拟场景图像是用于对纹理预测模型进行训练的样本图像，具体可以是从原始样本虚拟场景图像所提取的至少一部分区域，样本虚拟场景图像可以是通过计算机程序创建或模拟的图像，该图像中的场景可以三维场景，这些场景可以是静态的，也可以是动态的。
具体的，终端可以从海量数据中获取原始样本虚拟场景图像，并获取预设图块尺寸，并根据预设图块尺寸对原始样本虚拟场景图像进行分块处理，得到多个预设图块尺寸大小的样本虚拟场景图像。其中，分块处理可以是以卷积的方式对原始样本虚拟场景图像进行分块处理。通过分块处理可以获得较多的用于模型训练的样本，使用大量的样本对图像进行训练，从而可以提高训练好的纹理预测模型的预测结果的准确性。
S604，从样本虚拟场景图像中提取出样本缺陷纹理信息。
具体的，终端在得到样本虚拟场景图像之后，可以对样本虚拟场景图像进行图像变换，得到样本傅里叶特征，并从样本傅里叶特征中提取出样本缺陷纹理信息，有助于构建纹理预测模型和优化纹理预测模型的算法，从而更好地实现对缺陷纹理信息的优化，提高对虚拟场景图像的纹理优化效果。
在一个实施例中，图像变换为傅里叶变换，终端在得到样本虚拟场景图像之后，获取预设的傅里叶变换算法，基于预设的傅里叶变换算法对样本虚拟场景图像进行图像变换，得到傅里叶变换结果，并将该傅里叶变换结果确定为样本傅里叶特征，获取预设的频率阈值，并基于该频率阈值从样本傅里叶特征中提取出达到该频率阈值的频率部分，该频率部分对应样虚拟场景图像的纹理信息，也可以称为样本虚拟场景图像的缺陷纹理信息。对样本虚拟场景图像进行图像变换得到傅里叶特征，可以将图像信息从空间域转换到频率域，更好地提取出纹理特征信息，以便基于所提取的纹理特征信息对纹理预测模型进行训练。
S606，通过纹理预测模型对样本虚拟场景图像的样本缺陷纹理信息进行纹理处理，得到样本预测纹理信息。
具体的，终端在提取出样本虚拟场景图像的缺陷纹理信息之后，可以确定纹理坐标变换矩阵，基于坐标变换矩阵确定图像空间中各像素点的像素形状特征，以使纹理预测模型对样本缺陷纹理进行纹理预测得到预测值，并基于预测值、纹理坐标变换矩阵和形状估计函数确定样本预测纹理信息，通过确定纹理坐标变换矩阵和像素形状特征，可以更加准确地对缺陷纹理信息进行处理，从而提高了最终训练出的纹理预测模型的准确性和可靠性。
S608，基于样本预测纹理信息和样本虚拟场景图像，确定损失值。
其中，损失值用于表征样本预测纹理信息和样本虚拟场景图像中的原始纹理信息之间的误差，
具体的，终端在得到样本预测纹理信息之后，还可以获取样本虚拟场景图像对应的原始纹理信息，基于样本预测纹理信息和样本虚拟场景图像的原始纹理信息确定损失值，基于损失值可以更好的衡量样本预测纹理信息与原始纹理之间的差异程度，从而评估模型的预测准确性，此外还可以帮助优化模型，使其训练好的纹理预测模型能够更准确地预测纹理信息，从而提高对虚拟场景图像的纹理优化效果。
S610，基于损失值对纹理预测模型的参数进行优化，直至满足收敛条件，得到预训练的纹理预测模型。
其中，纹理预测模型的参数包括权重参数和偏置参数。
具体的，终端在得到损失值之后，基于损失值或训练轮次确定纹理预测模型是否满足收敛条件，在未满足收敛条件时，对纹理预测模型的参数进行调整，得到调整后纹理预测模型，并使用样本虚拟场景图像继续对调整后纹理预测模型进行训练，基于损失值或训练轮次确定纹理预测模型是否满足收敛条件，得到预训练的纹理预测模型，通过以上方法反复迭代调整纹理预测模型的参数，可以使其不断逼近理论最优解，从而提高了训练好的纹理预测模型的准确性和可靠性。
上述实施例中，终端通过使用纹理预测模型对样本虚拟场景图像进行纹理处理，生成样本预测纹理信息与实际缺陷纹理信息之间的损失值，基于损失值来训练和优化纹理预测模型的参数，使纹理预测模型能够更准确地预测纹理信息，从而后续再使用训练好的纹理预测模型对虚拟场景图像进行纹理优化时，提高纹理优化的效果，并且还减少了纹理优化过程中人工干预的需求，提高了纹理优化的优化效率和准确性。
在一个实施例中，终端获取样本虚拟场景图像的过程包括以下步骤：获取傅里叶空间的原始样本虚拟场景图像；对原始样本虚拟场景图像进行逆傅里叶变换，得到样本虚拟场景图像；终端基于样本预测纹理信息和样本虚拟场景图像，确定损失值的过程包括以下步骤：基于样本预测纹理信息和傅里叶空间的原始样本虚拟场景图像，确定损失值，通过对傅里叶空间的原始样本虚拟场景图像进行逆傅里叶变换，得到样本虚拟场景图像，进而可以基于样本虚拟图像确定样本预测纹理信息，使得可以直接基于样本预测纹理信息和傅里叶空间的原始样本虚拟场景图像直接确定损失值，提高了损失值确定效率和损失值的准确率，进而提高了模型训练的速度，基于该损失值可以在训练过程中指导纹理预测模型学习更准确的纹理特征，并提高纹理预测模型的预测结果的准确性。
其中，傅里叶空间的原始样本虚拟场景图像是指原始样本虚拟场景图像是傅里叶空间中的图像表达。样本虚拟场景图像也可称为样本虚拟场景图块，其为图像空间中原始样本虚拟场景图像的至少一部分。
具体的，终端在获取到傅里叶空间的原始样本虚拟场景图像之后，对该原始样本虚拟场景图像进行逆傅里叶变换，得到图像空间中的原始样本虚拟场景图像，并对图像空间中的原始样本虚拟场景图像进行分块处理，得到各个样本虚拟场景图块，并通过纹理预测模型对所述样本虚拟场景图块的样本缺陷纹理信息进行纹理处理，得到样本预测纹理信息，并从傅里叶空间的原始样本虚拟场景图像中获取样本虚拟场景图块所对应的傅里叶空间的样本虚拟场景图块，确定傅里叶空间的样本虚拟场景图块所对应的样本纹理信息，基于样本预测纹理信息和样本纹理信息确定损失值，基于损失值可以更好的衡量样本预测纹理信息与原始纹理之间的差异程度，从而评估模型的预测准确性，此外还可以帮助优化模型，使其训练好的纹理预测模型能够更准确地预测纹理信息，从而提高对虚拟场景图像的纹理优化效果。
在一个实施例中，终端基于样本预测纹理信息和傅里叶空间的原始样本虚拟场景图像，确定损失值的过程包括以下步骤：基于样本预测纹理信息对样本虚拟场景图像进行更新，得到优化后样本虚拟场景图像；基于优化后样本虚拟场景图像确定第一纹理弯曲度；基于傅里叶空间的原始样本虚拟场景图像确定第二纹理弯曲度；根据第一纹理弯曲度和第二纹理弯曲度，确定损失值，提高了损失值确定效率和损失值的准确率，进而提高了模型训练的速度，基于该损失值可以在训练过程中指导纹理预测模型学习更准确的纹理特征，并提高纹理预测模型的预测结果的准确性。
其中，样本虚拟场景图像也可称为样本虚拟场景图块。
具体的，终端在得到样本预测纹理信息之后，可以将样本预测纹理信息与样本虚拟场景图块进行融合，得到融合后的样本虚拟场景图块，该融合后的样本虚拟场景图块即为优化后样本虚拟场景图块，并将优化后样本虚拟场景图块的纹理弯曲度确定为第一纹理弯曲度，确定傅里叶空间的原始样本虚拟场景图像中的样本虚拟场景图块，将傅里叶空间中的样本虚拟场景图块的纹理弯曲度确定为第二纹理弯曲度，确定第一纹理弯曲度和第二纹理弯曲度之间的差异，基于所确定的差异确定损失值，提高了损失值确定效率和损失值的准确率，进而提高了模型训练的速度，基于该损失值可以在训练过程中指导纹理预测模型学习更准确的纹理特征，并提高纹理预测模型的预测结果的准确性。
例如，损失值可基于下式进行确定：
其中，
为损失值，
为基于优化后样本虚拟场景图像确定第一纹理弯曲度，即预测的纹理弯曲度，
为基于傅里叶空间的原始样本虚拟场景图像中的原始样本虚拟场景图块所确定第二纹理弯曲度，即原始纹理弯曲度。
在一个实施例中，上述虚拟场景图像的纹理优化还包括优化结果评估的过程，该过程具体包括以下步骤：对虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；对优化后虚拟场景图像进行纹理渲染效果评估，得到优化后渲染评估结果；基于渲染评估结果和优化后渲染评估结果，确定对虚拟场景图像的纹理优化效果。从而可以客观地评估本申请虚拟场景图像的纹理优化方法的纹理优化效果，从而确保所得到的优化结果是真正能够提高图像质量的，此外，这种评估方式还能够为进一步的优化提供指导，即通过对评估结果的分析和比较，发现优化中存在的问题和不足，从而进一步改进优化方法和算法，因此，这种评估方式能够提高纹理优化的效果和可靠性。
其中，纹理渲染效果评估包括纹理清晰度评估、纹理饱和度评估、纹理平滑度评估、纹理色彩评估和纹理匹配度评估中的至少一种。
具体的，虚拟图像是基于原始纹理渲染所得到的图像，终端在获取到虚拟场景图像后，可直接获取预训练的纹理评估模型，将虚拟场景图像输入预训练的纹理评估模型，通过预训练的纹理评估模型，对虚拟场景图像的纹理从纹理清晰度评估、纹理饱和度评估、纹理平滑度评估、纹理色彩评估和纹理匹配度评估中的至少一个评估维度进行评估，得到相应维度的评估得分，并基于各维度的评估得分，确定第一纹理评分，该纹理评分即为渲染评估结果；优化后虚拟场景图像是基于预测纹理渲染所得到的图像，在得到优化后虚拟场景图像后，将优化后虚拟场景图像输入预训练的纹理评估模型，通过预训练的纹理评估模型，对优化后虚拟场景图像的纹理从纹理清晰度评估、纹理饱和度评估、纹理平滑度评估、纹理色彩评估和纹理匹配度评估中的至少一个评估维度进行评估，得到相应维度的评估得分，并基于各维度的评估得分，确定第二纹理评分，该纹理评分即为优化后渲染评估结果；并将渲染评估结果和优化后渲染评估结果进行对比，若第二纹理评分高于第一纹理评分，则确定虚拟场景图像的纹理有优化，并基于二纹理评分与第一纹理评分之间的差值，确定优化程度，可以理解的是，差值越大，优化效果越好。从而可以客观地评估本申请虚拟场景图像的纹理优化方法的纹理优化效果，从而确保所得到的优化结果是真正能够提高图像质量的，此外，这种评估方式还能够为进一步的优化提供指导，即通过对评估结果的分析和比较，发现优化中存在的问题和不足，从而进一步改进优化方法和算法，因此，这种评估方式能够提高纹理优化的效果和可靠性。
在一个实施例中，终端在对虚拟场景图像进行优化的过程中，即执行步骤S202至S208的过程中，还可以实时记录终端设备执行各步骤时的性能消耗，得到性能消耗记录，并基于性能消耗记录确定总性能消耗，获取传统纹理优化方法的传统性能消耗，基于所确定的总性能消耗和传统性能消耗，确定在对虚拟场景图像进行优化过程中的性能改善结果。通过实时记录终端设备在对虚拟场景图像进行优化的过程中的性能消耗，可以帮助了解各个步骤的性能表现，以及哪些步骤的性能消耗较高；基于这些记录，可以进行性能分析和优化，以提高整个优化过程的效率和速度；同时，将总能性能消耗与传统纹理优化方法的性能消耗进行对比，可以更准确地评估本申请虚拟场景图像的纹理优化方法的优越性和可行性，从而可以更好地了解和改进虚拟场景图像的纹理优化方法，提高算法的性能和实用性。
例如，若总性能消耗低于传统性能消耗，则确定在对虚拟场景图像进行优化过程中的降低了性能消耗，即性能改善结果为有改善，若总性能消耗不低于传统性能消耗，则确定对虚拟场景图像进行优化过程中未降低性能消耗，则确定性能改善结果为无改善。
在一个实施例中，终端还可以对虚拟场景图像的纹理优化效果和优化过程中的性能改善结果，并基于纹理优化效果和性能改善结果确定综合优化结果，以便开发人员可基于综合优化结果确定以上虚拟场景图像的纹理优化方法的改善方向。
例如，当综合优化结果中，纹理优化改善较大，但性能改善结果为无改善时，开发人员后续可以把工作主要放在如何提升性能上；当综合优化结果中，纹理优化改善不大，但性能提升较大时，开发人员后续可以把工作放在如何提升优化效果上。
在一个实施例中，如图7所示，还提供了一种虚拟场景图像的纹理优化方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
S702，获取原始虚拟场景图像。
S704，对原始虚拟场景图像进行分块处理，得到候选虚拟场景图块。
S706，对候选虚拟场景图块进行纹理渲染效果评估，得到渲染评估结果。
S708，从候选虚拟场景图块中，基于渲染评估结果选取虚拟场景图块。
S710，对虚拟场景图块进行图像变换，得到傅里叶特征。
S712，依据傅里叶特征提取出虚拟场景图块的缺陷纹理信息；缺陷纹理信息是傅里叶空间中的纹理表达。
S714，确定虚拟场景图块中的原始缺陷纹理信息；原始缺陷纹理信息是虚拟场景图块对应的图像空间中的纹理表达。
S716，基于原始缺陷纹理信息确定第一纹理网格。
S718，基于缺陷纹理信息确定第二纹理网格。
S720，确定用于将第一纹理网格映射到第二纹理网格的映射关系。
S722，基于映射关系生成傅里叶空间和图像空间之间的纹理坐标变换矩阵。
S724，将纹理坐标变换矩阵和虚拟场景图像的缺陷纹理信息输入预训练的纹理预测模型，以使预训练的纹理预测模型基于坐标变换矩阵确定图像空间中各像素点的像素形状特征；基于各像素点的像素形状特征对缺陷纹理信息进行纹理处理，得到预测纹理信息。
S726，对虚拟场景图像中的缺陷纹理信息进行删除，得到插值图像。
S728，基于插值图像对预测纹理信息所表征的纹理进行插值处理，得到优化后虚拟场景图像。
本申请还提供一种应用场景，该应用场景为游戏应用场景，在游戏应用场景中应用上述虚拟场景图像的纹理优化方法来对HOK的纹理资源进行优化，HOK为一种游戏应用，参考图8，该虚拟场景图像的纹理优化方法包括以下步骤：获取游戏单帧图像，使用调试（debug）工具从游戏单帧图像中提取纹理信息，即纹理导出，得到游戏单帧图像的纹理信息，通过预训练的纹理预测模型对游戏单帧图像的纹理信息进行纹理处理，得到预测纹理信息，并根据预测纹理信息替换掉游戏单帧图像的原始纹理信息，重新使用调试工具基于预测纹理信息对游戏单帧图像进行渲染，得到优化后游戏单帧图像。此外在优化过程中记录性能消耗，并获取传统优化方案的性能消耗，基于将优化后单帧图像和原始的游戏单帧图像进行对比，以及将优化过程中的性能消耗与传统优化方案的性能消耗进行对比，综合确定该虚拟场景图像的纹理优化方法在纹理优化和性能提升方法是否有提升。
在游戏纹理中，高频分量是主要信息，因此通过本申请的方案可以丰富高频分量，能够充分丰富纹理表达，通过对游戏中不合理的纹理表达进行重新计算输出即可得到超分辨率纹理，最后进行尺度恢复，就可以得到更丰富的纹理表达。
本申请还提供一种应用场景，该应用场景应用上述虚拟场景图像的纹理优化方法，参考图9，该虚拟场景图像的纹理优化方法包括以下步骤：
1、虚拟场景图像获取
获取虚拟场景图像Iin：
，X为虚拟场景图像的输入坐标空间，即图像空间，该图像空间为三维空间，用于表示图像的颜色值和强度。
2、傅里叶特征获取
对拟场景图像进行傅里叶，得到傅里叶特征，该傅里叶特征是虚拟场景图像在傅里叶空间中的表示。其中，傅里叶特征包括频率特征和幅度特征。
3、缺陷纹理信息提取
具体的，可以从傅里叶特征的频率特征中提取出特定频率部分，得到虚拟场景图像的缺陷纹理信息。
4、预测值确定
对缺陷纹理信息进行纹理预测，得到预测值
。
其中，纹理预测的过程即为丰富高频部分的过程，因此可将该过程视为对缺陷纹理信息进行插值处理，得到预测值，具体可以使用
进行插值，在对频率部分进行插值处理的同时，也对幅度部分进行插值处理。
5、纹理坐标变换矩阵确定
具体的，确定虚拟场景图像中的原始缺陷纹理信息；原始缺陷纹理信息是虚拟场景图像对应的图像空间中的纹理表达；基于局部纹理网格确定坐标变换矩阵
、
和数值张量
。
参考公式（2），基于局部纹理网格确定坐标变换矩阵具体可以基于原始缺陷纹理信息确定第一纹理网格；基于缺陷纹理信息确定第二纹理网格；缺陷纹理信息是傅里叶空间中的纹理表达；确定用于将第一纹理网格映射到第二纹理网格的映射关系，基于映射关系生成傅里叶空间和图像空间之间的纹理坐标变换矩阵
。
6、纹理信息预测
参考公式（3），基于坐标变换矩阵确定图像空间中各像素点的像素形状特征
，对预测值
进行形状相位估计，具体处理过程可参考公式（3），得到预测纹理信息
。
7、图像优化
基于虚拟场景图像生成插值图像
，参考公式（4）对预测纹理信息
进行插值处理，得到优化后虚拟场景图像
，对应输出坐标空间为Y，
，即该输出坐标空间为三维空间，用于表示图像的颜色值和强度。
其中，以上步骤2至步骤6可通过预训练的纹理预测模型进行实现，对应于图9中的虚线框内的部分。
此外，该应用场景中虚拟场景图像的纹理优化方法还包括纹理预测模型的训练过程，参考图10和图11，该纹理预测模型的训练过程具体包括以下步骤：
1、原始样本虚拟场景图像获取
获取傅里叶空间中的原始样本虚拟场景图像。
2、第一弯曲度确定
对所述原始样本虚拟场景图像进行逆傅里叶变换，得到原始样本虚拟场景图像，并对原始样本虚拟场景图像进行分块，得到M个样本虚拟场景图块，分别对M个样本虚拟场景图块进行傅里叶变换、纹理信息提取、纹理预测等处理，得到预测纹理信息，基于M个预测纹理信息分别确定M个第一弯曲度。
3、第二弯曲度确定
对傅里叶空间中的原始样本虚拟场景图像进行分块，得到M个傅里叶空间中的样本虚拟场景图块，分别基于M个傅里叶空间中的样本虚拟场景图块的纹理信息确定出M个第二弯曲度。
4、损失值确定
参考公式（6），基于M个第一弯曲度和对应M个第二弯曲度，确定出M个损失值Loss。
5、模型参数优化
在模型训练时，每次确定出损失值之后基于该损失值对纹理优化模型的参数进行调整，并采用下一个或下一组样本虚拟场景图块对调整后的纹理优化模型继续训练，直至满足收敛条件，得到训练好的纹理优化模型。
其中，图10中
表示从傅里叶空间中的原始样本虚拟场景图像中提取第m个样本虚拟场景图块。
以上虚拟场景图像的纹理优化方法，构建并训练纹理预测模型，在训练时，针对任意坐标变换下的图像，均偏向于学习图像的高频分量，从而得到预训练的纹理预测模型，在对图像的纹理进行优化时，通过考虑输入图像的傅里叶特征和坐标变换的空间变化特性，结合纹理预测模型输出的预测值，以及形状相关的相位估计，确定预测纹理信息，即形式化预测值，从而实现对图像纹理的优化，在得到高质量图像的同时还无需利用较多的计算资源，提高了纹理优化性能。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的虚拟场景图像的纹理优化方法的虚拟场景图像的纹理优化装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个虚拟场景图像的纹理优化装置实施例中的具体限定可以参见上文中对于虚拟场景图像的纹理优化方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种虚拟场景图像的纹理优化装置，包括：图像变换模块1202、纹理提取模块1204、纹理预测模块1206和纹理更新模块1208，其中：
图像变换模块1202，用于对虚拟场景图像进行图像变换，得到傅里叶特征。
纹理提取模块1204，用于依据傅里叶特征提取出虚拟场景图像的缺陷纹理信息。
纹理预测模块1206，用于通过预训练的纹理预测模型对虚拟场景图像的缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息。
纹理更新模块1208，用于根据预测纹理信息对虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
上述实施例中，在对虚拟场景图像进行图像变换，得到傅里叶特征之后，依据傅里叶特征仅提取出虚拟场景图像的缺陷纹理信息，从而可以仅对提取出的缺陷纹理信息进行优化处理以实现对虚拟场景图像的纹理优化，提高了对虚拟场景图像的纹理优化的效率；并且，对缺陷纹理信息进行优化处理时，先通过预训练的纹理预测模型准确预测出对应的纹理信息（即预测纹理信息），利用预测纹理信息对虚拟场景图像的缺陷纹理信息进行更新，从而有效地提高了对虚拟场景图像的纹理优化的效率。
在一个实施例中，如图13所示，装置还包括：
图像获取模块1210，用于获取原始虚拟场景图像。
图像分块模块1212，用于对原始虚拟场景图像进行分块处理，得到候选虚拟场景图像。
渲染评估模块1214，用于对候选虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果。
图像选取模块1216，用于从候选虚拟场景图像中，基于渲染评估结果选取虚拟场景图像。
在一个实施例中，如图13所示，装置还包括：
变换矩阵获取模块1218，用于获取傅里叶空间和图像空间之间的纹理坐标变换矩阵。
纹理预测模块1206，还用于：将纹理坐标变换矩阵和虚拟场景图像的缺陷纹理信息输入预训练的纹理预测模型，以使预训练的纹理预测模型基于纹理坐标变换矩阵对缺陷纹理信息进行纹理处理，得到包含纹理高频分量的预测纹理信息。
在一个实施例中，变换矩阵获取模块1218，还用于：确定虚拟场景图像中的原始缺陷纹理信息；原始缺陷纹理信息是虚拟场景图像对应的图像空间中的纹理表达；确定原始缺陷纹理信息和缺陷纹理信息之间的映射关系；缺陷纹理信息是傅里叶空间中的纹理表达；基于映射关系生成傅里叶空间和图像空间之间的纹理坐标变换矩阵。
在一个实施例中，变换矩阵获取模块1218，还用于：基于原始缺陷纹理信息确定第一纹理网格；基于缺陷纹理信息确定第二纹理网格；确定用于将第一纹理网格映射到第二纹理网格的映射关系。
在一个实施例中，纹理预测模块1206，还用于：基于坐标变换矩阵确定图像空间中各像素点的像素形状特征；基于各像素点的像素形状特征对缺陷纹理信息进行纹理处理，得到预测纹理信息。
在一个实施例中，纹理更新模块1208，还用于：对虚拟场景图像中的缺陷纹理信息进行删除，得到插值图像；基于插值图像对预测纹理信息所表征的纹理进行插值处理，得到优化后虚拟场景图像。
在一个实施例中，图像获取模块1210，还用于获取样本虚拟场景图像；纹理提取模块1204，还用于从样本虚拟场景图像中提取出样本缺陷纹理信息；纹理预测模块1206，还用于通过纹理预测模型对样本虚拟场景图像的样本缺陷纹理信息进行纹理处理，得到样本预测纹理信息；如图13所示，该装置还包括：损失值确定模块1220，用于基于样本预测纹理信息和样本虚拟场景图像，确定损失值；参数优化模块1222，用于基于损失值对纹理预测模型的参数进行优化，直至满足收敛条件，得到预训练的纹理预测模型。
在一个实施例中，图像获取模块1210，还用于：获取傅里叶空间的原始样本虚拟场景图像；对原始样本虚拟场景图像进行逆傅里叶变换，得到样本虚拟场景图像；损失值确定模块1220，还用于：基于样本预测纹理信息和傅里叶空间的原始样本虚拟场景图像，确定损失值。
在一个实施例中，损失值确定模块1220，还用于：基于样本预测纹理信息对样本虚拟场景图像进行更新，得到优化后样本虚拟场景图像；基于优化后样本虚拟场景图像确定第一纹理弯曲度；基于傅里叶空间的原始样本虚拟场景图像确定第二纹理弯曲度；根据第一纹理弯曲度和第二纹理弯曲度，确定损失值。
在一个实施例中，如图13所示，该装置还包括：优化结果确定模块1224，用于对虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；对优化后虚拟场景图像进行纹理渲染效果评估，得到优化后渲染评估结果；基于渲染评估结果和优化后渲染评估结果，确定对虚拟场景图像的纹理优化效果。
上述虚拟场景图像的纹理优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虚拟场景图像的纹理优化方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种虚拟场景图像的纹理优化方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (23)
1.一种虚拟场景图像的纹理优化方法，其特征在于，所述方法包括：
对虚拟场景图像进行图像变换，得到傅里叶特征；
依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；
获取傅里叶空间和图像空间之间的纹理坐标变换矩阵；
通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理预测得到预测值，基于所述坐标变换矩阵确定所述图像空间中各像素点的像素形状特征，基于所述各像素点的像素形状特征和形状估计函数对所述预测值进行处理，得到包含纹理高频分量的预测纹理信息；
根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取原始虚拟场景图像；
对所述原始虚拟场景图像进行分块处理，得到候选虚拟场景图像；
对所述候选虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；
从所述候选虚拟场景图像中，基于所述渲染评估结果选取所述虚拟场景图像。
3.根据权利要求2所述的方法，其特征在于，所述从所述候选虚拟场景图像中，基于所述渲染评估结果选取所述虚拟场景图像，包括：
基于所述渲染评估结果对所述候选虚拟场景图像进行排序，得到排序结果；
根据所述排序结果从所述候选虚拟场景图像中选取所述虚拟场景图像。
4.根据权利要求1所述的方法，其特征在于，所述获取傅里叶空间和图像空间之间的纹理坐标变换矩阵包括：
确定所述虚拟场景图像中的原始缺陷纹理信息；所述原始缺陷纹理信息是所述虚拟场景图像对应的图像空间中的纹理表达；
确定所述原始缺陷纹理信息和所述缺陷纹理信息之间的映射关系；所述缺陷纹理信息是傅里叶空间中的纹理表达；
基于所述映射关系生成所述傅里叶空间和所述图像空间之间的纹理坐标变换矩阵。
5.根据权利要求4所述的方法，其特征在于，所述确定所述原始缺陷纹理信息和所述缺陷纹理信息之间的映射关系，包括：
基于所述原始缺陷纹理信息确定第一纹理网格；
基于所述缺陷纹理信息确定第二纹理网格；
确定用于将所述第一纹理网格映射到所述第二纹理网格的映射关系。
6.根据权利要求1所述的方法，其特征在于，所述根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像，包括：
对所述虚拟场景图像中的缺陷纹理信息进行删除，得到插值图像；
基于所述插值图像对所述预测纹理信息所表征的纹理进行插值处理，得到优化后虚拟场景图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取样本虚拟场景图像；
从所述样本虚拟场景图像中提取出样本缺陷纹理信息；
通过纹理预测模型对所述样本虚拟场景图像的样本缺陷纹理信息进行纹理处理，得到样本预测纹理信息；
基于所述样本预测纹理信息和所述样本虚拟场景图像，确定损失值；
基于所述损失值对所述纹理预测模型的参数进行优化，直至满足收敛条件，得到预训练的纹理预测模型。
8.根据权利要求7所述的方法，其特征在于，所述获取样本虚拟场景图像，包括：
获取傅里叶空间的原始样本虚拟场景图像；
对所述原始样本虚拟场景图像进行逆傅里叶变换，得到样本虚拟场景图像；
所述基于所述样本预测纹理信息和所述样本虚拟场景图像，确定损失值，包括：
基于所述样本预测纹理信息和所述傅里叶空间的原始样本虚拟场景图像，确定损失值。
9.根据权利要求8所述的方法，其特征在于，所述基于所述样本预测纹理信息和所述傅里叶表达的原始样本虚拟场景图像，确定损失值，包括：
基于所述样本预测纹理信息对所述样本虚拟场景图像进行更新，得到优化后样本虚拟场景图像；
基于所述优化后样本虚拟场景图像确定第一纹理弯曲度；
基于所述傅里叶空间的原始样本虚拟场景图像确定第二纹理弯曲度；
根据所述第一纹理弯曲度和所述第二纹理弯曲度，确定损失值。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；
对所述优化后虚拟场景图像进行渲染效果评估，得到优化后渲染评估结果；
基于所述渲染评估结果和所述优化后渲染评估结果，确定对所述虚拟场景图像的纹理优化效果。
11.一种虚拟场景图像的纹理优化装置，其特征在于，所述装置包括：
图像变换模块，用于对虚拟场景图像进行图像变换，得到傅里叶特征；
纹理提取模块，用于依据所述傅里叶特征提取出所述虚拟场景图像的缺陷纹理信息；
变换矩阵获取模块，用于获取傅里叶空间和图像空间之间的纹理坐标变换矩阵；
纹理预测模块，用于通过预训练的纹理预测模型对所述虚拟场景图像的缺陷纹理信息进行纹理预测得到预测值，基于所述坐标变换矩阵确定所述图像空间中各像素点的像素形状特征，基于所述各像素点的像素形状特征和形状估计函数对所述预测值进行处理，得到包含纹理高频分量的预测纹理信息；
纹理更新模块，用于根据所述预测纹理信息对所述虚拟场景图像的缺陷纹理信息进行更新，得到优化后虚拟场景图像。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
图像获取模块，用于获取原始虚拟场景图像；
图像分块模块，用于对所述原始虚拟场景图像进行分块处理，得到候选虚拟场景图像；
渲染评估模块，用于对所述候选虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；
图像选取模块，用于从所述候选虚拟场景图像中，基于所述渲染评估结果选取所述虚拟场景图像。
13.根据权利要求12所述的装置，其特征在于，所述图像选取模块，还用于：
基于所述渲染评估结果对所述候选虚拟场景图像进行排序，得到排序结果；
根据所述排序结果从所述候选虚拟场景图像中选取所述虚拟场景图像。
14.根据权利要求11所述的装置，其特征在于，所述变换矩阵获取模块，还用于：
确定所述虚拟场景图像中的原始缺陷纹理信息；所述原始缺陷纹理信息是所述虚拟场景图像对应的图像空间中的纹理表达；
确定所述原始缺陷纹理信息和所述缺陷纹理信息之间的映射关系；所述缺陷纹理信息是傅里叶空间中的纹理表达；
基于所述映射关系生成所述傅里叶空间和所述图像空间之间的纹理坐标变换矩阵。
15.根据权利要求14所述的装置，其特征在于，所述变换矩阵获取模块，还用于：
基于所述原始缺陷纹理信息确定第一纹理网格；
基于所述缺陷纹理信息确定第二纹理网格；
确定用于将所述第一纹理网格映射到所述第二纹理网格的映射关系。
16.根据权利要求11所述的装置，其特征在于，所述纹理更新模块，还用于：
对所述虚拟场景图像中的缺陷纹理信息进行删除，得到插值图像；
基于所述插值图像对所述预测纹理信息所表征的纹理进行插值处理，得到优化后虚拟场景图像。
17.根据权利要求11所述的装置，其特征在于，图像获取模块，还用于获取样本虚拟场景图像；
纹理提取模块，还用于从所述样本虚拟场景图像中提取出样本缺陷纹理信息；
纹理预测模块，还用于通过纹理预测模型对所述样本虚拟场景图像的样本缺陷纹理信息进行纹理处理，得到样本预测纹理信息；
所述装置还包括损失值确定模块，用于基于所述样本预测纹理信息和所述样本虚拟场景图像，确定损失值；
参数优化模块，用于基于所述损失值对所述纹理预测模型的参数进行优化，直至满足收敛条件，得到预训练的纹理预测模型。
18.根据权利要求17所述的装置，其特征在于，所述图像获取模块，还用于：
获取傅里叶空间的原始样本虚拟场景图像；
对所述原始样本虚拟场景图像进行逆傅里叶变换，得到样本虚拟场景图像；
所述损失值确定模块，还用于：
基于所述样本预测纹理信息和所述傅里叶空间的原始样本虚拟场景图像，确定损失值。
19.根据权利要求18所述的装置，其特征在于，所述损失值确定模块，还用于：
基于所述样本预测纹理信息对所述样本虚拟场景图像进行更新，得到优化后样本虚拟场景图像；
基于所述优化后样本虚拟场景图像确定第一纹理弯曲度；
基于所述傅里叶空间的原始样本虚拟场景图像确定第二纹理弯曲度；
根据所述第一纹理弯曲度和所述第二纹理弯曲度，确定损失值。
20.根据权利要求11所述的装置，其特征在于，所述装置还包括优化结果确定模块，用于：
对所述虚拟场景图像进行纹理渲染效果评估，得到渲染评估结果；
对所述优化后虚拟场景图像进行渲染效果评估，得到优化后渲染评估结果；
基于所述渲染评估结果和所述优化后渲染评估结果，确定对所述虚拟场景图像的纹理优化效果。
21.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
23.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310234867.2A CN115953330B (zh) | 2023-03-13 | 2023-03-13 | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310234867.2A CN115953330B (zh) | 2023-03-13 | 2023-03-13 | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115953330A CN115953330A (zh) | 2023-04-11 |
| CN115953330B true CN115953330B (zh) | 2023-05-26 |
Family
ID=85886532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310234867.2A Active CN115953330B (zh) | 2023-03-13 | 2023-03-13 | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953330B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117074291B (zh) * | 2023-10-17 | 2024-01-02 | 西南交通大学 | 一种非接触式纹理摩擦预测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666919A (zh) * | 2020-06-24 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 一种对象识别方法、装置、计算机设备和存储介质 |
| CN115239861A (zh) * | 2021-04-23 | 2022-10-25 | 广州视源电子科技股份有限公司 | 人脸数据增强方法、装置、计算机设备和存储介质 |
| CN115731326A (zh) * | 2021-08-30 | 2023-03-03 | Oppo广东移动通信有限公司 | 虚拟角色生成方法及装置、计算机可读介质和电子设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7072503B2 (en) * | 1999-05-04 | 2006-07-04 | Speedline Technologies, Inc. | Systems and methods for detecting defects in printed solder paste |
| DE102007030781A1 (de) * | 2006-10-11 | 2008-04-17 | Gta Geoinformatik Gmbh | Verfahren zur Texturierung virtueller dreidimensionaler Objekte |
| WO2020047177A1 (en) * | 2018-08-28 | 2020-03-05 | Essenlix Corporation | Assay accuracy improvement |
| CN109409335B (zh) * | 2018-11-30 | 2023-01-20 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| CN112132781A (zh) * | 2020-08-19 | 2020-12-25 | 扬州哈工科创机器人研究院有限公司 | 一种纹理缺陷检测方法及装置 |
| CN113706440A (zh) * | 2021-03-12 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN115131256A (zh) * | 2021-03-24 | 2022-09-30 | 华为技术有限公司 | 图像处理模型、图像处理模型的训练方法及装置 |
| US20220392025A1 (en) * | 2021-06-04 | 2022-12-08 | Adobe Inc. | Restoring degraded digital images through a deep learning framework |
| CN113269858B (zh) * | 2021-07-19 | 2021-11-30 | 腾讯科技（深圳）有限公司 | 虚拟场景渲染方法、装置、计算机设备和存储介质 |
| CN114359228A (zh) * | 2022-01-06 | 2022-04-15 | 深圳思谋信息科技有限公司 | 物体表面缺陷检测方法、装置、计算机设备和存储介质 |
| CN114998149A (zh) * | 2022-06-16 | 2022-09-02 | 北京有竹居网络技术有限公司 | 图像修复模型的训练方法及图像修复方法、装置及设备 |
| CN115409755B (zh) * | 2022-11-03 | 2023-03-03 | 腾讯科技（深圳）有限公司 | 贴图处理方法和装置、存储介质及电子设备 |
| CN115713585B (zh) * | 2023-01-05 | 2023-05-02 | 腾讯科技（深圳）有限公司 | 纹理图像重建方法、装置、计算机设备和存储介质 |
-
2023
- 2023-03-13 CN CN202310234867.2A patent/CN115953330B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666919A (zh) * | 2020-06-24 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 一种对象识别方法、装置、计算机设备和存储介质 |
| CN115239861A (zh) * | 2021-04-23 | 2022-10-25 | 广州视源电子科技股份有限公司 | 人脸数据增强方法、装置、计算机设备和存储介质 |
| CN115731326A (zh) * | 2021-08-30 | 2023-03-03 | Oppo广东移动通信有限公司 | 虚拟角色生成方法及装置、计算机可读介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115953330A (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
| CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
| CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| CN111369681A (zh) | 三维模型的重构方法、装置、设备及存储介质 | |
| CN107729948A (zh) | 图像处理方法及装置、计算机产品和存储介质 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN111563408B (zh) | 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法 | |
| CN112884668A (zh) | 基于多尺度的轻量级低光图像增强方法 | |
| CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
| CN117788957B (zh) | 一种基于深度学习的资质图像分类方法及系统 | |
| CN116012626B (zh) | 建筑立面图像的素材匹配方法、装置、设备和存储介质 | |
| CN118096922A (zh) | 一种基于风格迁移和遥感影像生成地图的方法 | |
| CN117456128A (zh) | 三维重建方法、装置、设备及存储介质 | |
| Han | Texture Image Compression Algorithm Based on Self‐Organizing Neural Network | |
| CN110866866B (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
| CN112508847A (zh) | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 | |
| CN117252988A (zh) | 图像数据的处理方法、设备及计算机可读存储介质 | |
| CN115713585B (zh) | 纹理图像重建方法、装置、计算机设备和存储介质 | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
| CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
| CN114792349B (zh) | 基于半监督生成对抗网络的遥感影像转换地图迁移方法 | |
| CN116977265A (zh) | 缺陷检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN116258923A (zh) | 图像识别模型训练方法、装置、计算机设备和存储介质 | |
| CN116977195A (zh) | 复原模型的调整方法、装置、设备及存储介质 | |
| CN116229130A (zh) | 模糊图像的类型识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40083957 Country of ref document: HK |