CN116870468A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116870468A
CN116870468A CN202310881673.1A CN202310881673A CN116870468A CN 116870468 A CN116870468 A CN 116870468A CN 202310881673 A CN202310881673 A CN 202310881673A CN 116870468 A CN116870468 A CN 116870468A
Authority
CN
China
Prior art keywords
image
target
sample
target scene
parameter information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310881673.1A
Other languages
English (en)
Inventor
曹露艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202310881673.1A priority Critical patent/CN116870468A/zh
Publication of CN116870468A publication Critical patent/CN116870468A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取目标场景图像及与目标场景图像对应的目标图像参数信息，目标图像参数信息包括目标场景图像的图像深度信息及与目标场景图像对应的相机参数信息；将目标场景图像以及目标图像参数信息输入至目标神经网络模型，对目标场景图像进行处理，得到处理后的目标场景图像；目标神经网络模型基于样本数据集合进行训练得到，样本数据集合中的任一样本数据包括：样本图像、样本图像对应的图像深度信息以及与样本图像对应的相机参数信息；样本图像与目标场景图像针对同一目标场景；显示处理后的目标场景图像。本申请实施例，可以在提升图像画面质量的同时降低计算与带宽的开销。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
随着计算机技术的不断发展，网络游戏已经成为市场的主流，人们在体验游戏的同时，对游戏的视觉效果也提出了更高的要求。相关技术中，为了提升游戏画面的质量，通常采用各种后处理技术来提高游戏场景的真实感和视觉冲击力。例如，可以采用屏幕空间环境光遮蔽(Screen Space Ambient Occlusion，SSAO)、屏幕空间全局光照(Screen SpaceGlobal Illumination，SSGI)以及时域抗锯齿(Temporal Anti-Aliasing，TAA)等技术来对游戏画面进行后处理。
然而，该等技术虽然能够提升游戏画面的质量，但通常需要对游戏场景进行多次渲染传递，导致计算和带宽的开销的提升，进而提升了对设备性能的要求。
发明内容
本公开实施例至少提供一种图像处理方法、装置、电子设备及存储介质，可以在提升图像画面质量的同时降低计算与带宽的开销。
本公开实施例提供了一种图像处理方法，包括：
获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息，所述目标场景图像基于目标场景对应的场景数据渲染生成，所述目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息；
将所述目标场景图像以及所述目标图像参数信息输入至预先训练好的目标神经网络模型，以对所述目标场景图像进行处理，得到处理后的目标场景图像；其中，所述目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景；
显示所述处理后的目标场景图像。
本公开实施例中，采用预选训练好的目标神经网络模型对目标图像进行处理，可以减少处理过程中多次渲染传递的开销，进而可以降低对设备的渲染性能的要求，提高了该图像处理方法的适用性。此外，训练过程中所采用的样本数据包括样本图像、所述样本图像对应的图像深度信息以及所述样本图像对应的相机参数信息，如此，可以提升模型训练的精度，有助于提升采用该目标神经网络模型对目标场景图像进行处理的效果。
在一种可能的实施方式中，所述样本数据集合还包括图像处理参数信息，所述目标图像参数信息还包括所述图像处理参数信息，所述图像处理参数信息由用户设定。
本公开实施例中，在模型迭代训练过程中，将图像处理参数信息也输入至神经网络模型进行同步训练，因此，在模型应用阶段，基于该图像处理参数信息，可以进一步提升对目标场景图像的处理效果，此外，还可以避免用户手动调整处理参数的过程。
在一种可能的实施方式中，所述目标场景图像为目标游戏的场景图像，所述获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息之前，所述方法还包括：
将所述预先训练好的目标神经网络模型集成到游戏引擎中。
本公开实施例中，将所述预先训练好的目标神经网络模型集成到游戏引擎中，可以有助于提升该目标神经网络模型在实时渲染环境中的图像处理性能。
在一种可能的实施方式中，所述目标神经网络模型包括编码器以及多个解码器，其中，所述编码器用于对所述目标样本图像进行特征提取，不同的解码器对应不同的处理任务。
本公开实施例中，可在对目标场景图像进行特征提取后，通过不同的解码器实现各种处理效果，进而有助于提升目标神经网络模型对目标场景图像的处理效果。
在一种可能的实施方式中，所述样本数据集合通过以下步骤得到：
控制虚拟相机在目标场景中移动，并获取所述目标场景中的虚拟相机的相机参数信息；
基于所述相机参数信息对所述目标场景进行渲染生成相应的样本图像，以及确定与所述样本图像对应的图像深度信息；
基于所述相机参数信息、与所述相机参数信息对应的样本图像、与所述样本图像对应的图像深度信息，生成所述样本数据，并基于各个样本数据生成所述样本数据集合。
本公开实施例中，通过控制虚拟相机在目标场景中移动，以模拟各种可能的玩家位置，然后根据各个位置的虚拟相机的相机参数(如镜头方向和视场角)渲染生成相应的样本图像，并确定与该样本图像对应的相机参数信息及图像深度信息，进而生成样本数据，如此，可以提升样本数据的多样性。
在一种可能的实施方式中，所述基于各个样本数据生成所述样本数据集合，包括：
对任一样本数据进行预处理，得到预处理后的样本数据，并基于各个预处理后的样本数据，生成所述样本数据集合。
这样，通过对样本数据进行预处理，可以提升样本数据集的丰富性，进而有助于提升模型训练的精度。
在一种可能的实施方式中，所述目标神经网网络模型通过以下步骤训练得到：
从所述样本数据集合中确定子样本数据集，并将所述子样本数据集输入至所述待训练的神经网络模型，得到与所述子样本数据集对应的模型输出图像；
基于预设的损失函数，确定所述模型输出图像与目标样本标签之间的目标损失，并基于所述目标损失对所述神经网络模型进行参数调整；所述目标样本标签为与所述子样本数据集中的样本图像对应的处理后的目标图像；
重复上述训练迭代步骤，直到训练结果符合预设要求，得到所述目标神经网络模型。
本公开实施例中，通过样本数据集合对待训练的神经网络模型进行迭代训练，并基于预设的损失函数来对神经网络模型的参数进行调整，可以提升模型的训练精度。
本公开实施例提供了一种图像处理装置，包括：
数据获取模块，用于获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息，所述目标场景图像基于目标场景对应的场景数据渲染生成，所述目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息；
图像处理模块，用于将所述目标场景图像以及所述目标图像参数信息输入至预先训练好的目标神经网络模型，以对所述目标场景图像进行处理，得到处理后的目标场景图像；其中，所述目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景；
图像显示模块，用于显示所述处理后的目标场景图像。
在一种可能的实施方式中，所述样本数据集合还包括图像处理参数信息，所述目标图像参数信息还包括所述图像处理参数信息，所述图像处理参数信息由用户设定。
在一种可能的实施方式中，所述目标场景图像为目标游戏的场景图像，所述装置还包括：
模型集成模块，用于将所述预先训练好的目标神经网络模型集成到游戏引擎中。
在一种可能的实施方式中，所述目标神经网络模型包括编码器以及多个解码器，其中，所述编码器用于对所述目标样本图像进行特征提取，不同的解码器对应不同的处理任务。
在一种可能的实施方式中，所述装置还包括样本生成模块，所述样本生成模块用于：
控制虚拟相机在目标场景中移动，并获取所述目标场景中的虚拟相机的相机参数信息；
基于所述相机参数信息对所述目标场景进行渲染生成相应的样本图像，以及确定与所述样本图像对应的图像深度信息；
基于所述相机参数信息、与所述相机参数信息对应的样本图像、与所述样本图像对应的图像深度信息，生成所述样本数据，并基于各个样本数据生成所述样本数据集合。
在一种可能的实施方式中，所述样本生成模块具体用于：
对任一样本数据进行预处理，得到预处理后的样本数据，并基于各个预处理后的样本数据，生成所述样本数据集合。
在一种可能的实施方式中，所述装置还包括模型训练模块，所述模型训练模块用于：
从所述样本数据集合中确定子样本数据集，并将所述子样本数据集输入至所述待训练的神经网络模型，得到与所述子样本数据集对应的模型输出图像；
基于预设的损失函数，确定所述模型输出图像与目标样本标签之间的目标损失，并基于所述目标损失对所述神经网络模型进行参数调整；所述目标样本标签为与所述子样本数据集中的样本图像对应的处理后的目标图像；
重复上述训练迭代步骤，直到训练结果符合预设要求，得到所述目标神经网络模型。
本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一可能的实施方式中所述的图像处理方法。
本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一可能的实施方式中所述的图像处理方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开一些实施例所提供的一种图像处理方法的流程图；
图2示出了本公开一些实施例所提供的图像深度信息的示意图；
图3示出了本公开一些实施例所提供的图像处理过程的示意图；
图4示出了本公开另一些实施例所提供的图像处理过程的示意图；
图5示出了本公开一些实施例所提供的模型训练方法的流程图；
图6示出了本公开一些实施例所提供的图像处理装置的结构示意图；
图7示出了本公开另一些实施例所提供的图像处理装置的结构示意图；
图8示出了本公开一些实施例所提供的电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
另外，可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
其中，随着机器学习技术的发展，机器学习技术在多个领域展开了广泛的研究和应用，本申请实施例提供的技术方案涉及到机器学习技术在计算机视觉技术领域的应用。具体地，涉及到一种图像处理方法。
经研究发现，相关技术中，为了提升游戏画面的质量，通常采用各种后处理技术(如SSAO、SSGI、TAA)来提高游戏场景的真实感和视觉冲击力。然而，该等技术虽然能够提升游戏画面的质量，但通常需要对游戏场景进行多次渲染传递，导致计算和带宽的开销的提升，进而提升了对设备性能的要求。
基于上述研究，本公开实施例提供一种图像处理方法，首先获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息，所述目标场景图像基于目标场景对应的场景数据渲染生成，所述目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息；然后将所述目标场景图像以及所述目标图像参数信息输入至预先训练好的目标神经网络模型，对所述目标场景图像进行处理，得到处理后的目标场景图像；所述目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景；最后显示所述处理后的目标场景图像。
本公开实施例中，采用预选训练好的目标神经网络模型对目标图像进行处理，可以减少图像处理过程中多次渲染传递的开销，进而可以降低对设备的渲染性能的要求，提高了该图像处理方法的适用性。此外，训练过程中所采用的样本数据包括样本图像、所述样本图像对应的图像深度信息以及所述样本图像对应的相机参数信息，如此，可以提升模型训练的精度，有助于提升采用该目标神经网络模型对目标场景图像进行处理的效果。
为便于对本实施例进行理解，首先对本公开实施例所提供的图像处理方法的执行主体进行详细介绍。本公开实施例所提供的图像处理方法的执行主体为电子设备。该电子设备可以包括终端设备或者服务器。其中，该终端设备还可以为移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。其他实施方式中，该图像处理方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面结合附图对本申请实施例所提供的图像处理方法进行详细说明。参见图1所示，为本公开实施例提供的一种图像处理方法的流程图，该图像处理方法包括以下S101～S103：
S101，获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息，所述目标场景图像基于目标场景对应的场景数据渲染生成，所述目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息。
示例性地，目标场景是指虚拟场景，该虚拟场景是指计算机通过数字通讯技术勾勒出的数字化场景，包括二维虚拟场景和三维虚拟场景，可以用虚拟化技术手段来真实模拟出现世界的各种物质形态、空间关系等信息。其中，三维虚拟场景能够更加美观地展示物体对象的形态，同时也能更加直观地展示虚拟现实世界。例如，三维虚拟场景下的物体对象可以包括地形、房屋、树木、人物等中的至少一种。
对于虚拟场景，可以通过计算机三维图形显示，可以在屏幕上展示三维的仿真环境，虚拟场景中的所有目标对象都可以通过三维场景数据描述。例如，可以把三维场景数据加载到三维场景中，以展示出三维的仿真环境。其中，三维场景数据可以包括模型数据、纹理数据、光照数据、地形数据、栅格体数据等中的至少一种。
本公开实施例中，虚拟场景为用于供玩家控制目标对象完成游戏逻辑的场景，该虚拟场景可以是对真实世界的仿真环境，或者是半仿真半虚构的虚拟环境，或者是纯虚构的虚拟环境。虚拟环境可以为天空、陆地、海洋等，其中，该陆地包括沙漠、城市等环境元素。
示例性地，目标对象可以为虚拟场景中的虚拟对象，虚拟对象是指虚拟场景中的事物，虚拟对象包括但不限于是虚拟的人物、动物、植物、家具或建筑物等中的至少一种。本公开实施例中，目标对象为虚拟场景中可被控制的动态对象。
其中，该目标场景图像为基于目标场景对应的场景数据渲染后生成，且该目标场景图像为未经后处理的图像。其中，在计算机图形中，渲染是指将三维场景中的物体模型，按照设定好的环境、材质、光照及渲染参数，二维投影成数字图像的过程。
除了获取目标场景图像之外，还需要获取与该目标场景图像对应的目标图像参数信息，其中，该目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息。
示例性地，如图2所示，该图像深度信息可以通过与该目标场景图像(图2中所示)对应的深度图表示。在3D计算机图形中，深度图(Depth Map)是包含与视点的场景对象的表面的距离有关的图像或图像通道。其中，深度图类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和深度图像是配准的，因而像素点之间具有一对一的对应关系。
示例性地，与所述目标场景图像对应的相机参数信息包括该目标场景中的虚拟相机的位置信息、朝向信息以及视场角(Field of View，FOV)等，也即，该相机参数信息用于反映捕获所述目标场景图像时对应的虚拟相机在目标场景中的位置、朝向及视场角。
S102，将所述目标场景图像以及所述目标图像参数信息输入至预先训练好的目标神经网络模型，以对所述目标场景图像进行处理，得到处理后的目标场景图像；其中，所述目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景。
示例性地，参见图3所示，在获取到上述的目标场景图像以及与所述目标场景图像对应的目标图像参数信息，可以将该目标场景图像以及与所述目标场景图像对应的目标图像参数信息输入至该预先训练好的目标神经网络模型，以对该目标场景图像进行处理，得到处理后的目标场景图像。
其中，该目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景。也即，可以预先针对目标场景训练对应的目标神经网络模型，用于对该目标场景的画面图像进行处理，且由于训练样本数据包括样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息，进而可以结合多种因素对图像进行处理，有利于提升目标神经网络模型的处理的效果。
可选地，所述样本数据集合还包括图像处理参数信息，所述图像处理参数信息由用户设定，也即，在模型迭代训练前，设定好图像处理参数信息，并将设定好的图像处理参数信息也输入至神经网络模型进行同步训练，在训练结束后根据训练结果确定是否使用该图像处理参数信息，若训练结果不符合预设要求，则可以重新设定图像处理参数信息后重新对模型进行训练。
因此，在该实施例中，参见图4所示，在模型应用阶段，所述目标图像参数信息还包括所述图像处理参数信息，因此，通过将图像处理参数信息一并输入至该目标神经网络模型，可以进一步提升对目标场景图像的处理效果，此外，还可以避免用户手动调整参数的过程。
示例性地，该图像处理参数信息也可以称为美术参数信息，该图像处理参数信息包括以下至少一种：
TAA静态合并速率(Static Merge Rate)、TAA静态邻域约束(Static NeighborClamp)、TAA动态合并速率(Dynamic Merge Rate)、TAA动态邻域约束(Dynamic NeighborClamp)、鲁棒对比适应性锐化启用(RCAS Enable)、RCAS Sharpness(RCAS锐化强度)、双三次插值启用(Bicubic Enable)、静态抖动幅度(Static Jitter Scale)、环境光遮蔽幂及环境光遮蔽缩放等。
S103，显示所述处理后的目标场景图像。
示例性地，在经过目标神经网络模型对目标场景图像进行处理后，可以将该处理后的目标场景图像进行展示，在一些实施例中，通过目标神经网络模型对目标场景图像进行经处理后的图像没有锯齿以及角落处可以体现出环境光遮蔽(AO)效果，如此，可以提示用户的视觉体验。
在一些可能的实施例中，该基于目标神经网络模型对目标场景进行处理的方法，应用于实施渲染环境中，该目标场景图像可以为目标游戏的场景图像，该图像处理方法可以应用于对游戏画面的处理，因此，在得到训练好的目标神经网络模型后，需要将预先训练好的目标神经网络模型集成到游戏引擎中，如此，可以有助于提升该目标神经网络模型在实时渲染环境中的图像处理性能。
也即，本公开实施例中，目标场景图像为游戏视频的单帧图像，因此，本公开实施例中的图像处理方法实际上是对图像处理，但外在表现是对游戏显示的场景视频的处理。
在另一些可能的实施例中，该目标神经网络模型包括编码器以及多个解码器，其中，所述编码器用于对所述目标样本图像进行特征提取，不同的解码器对应不同的处理任务。这样，可在对目标场景图像进行特征提取后，通过不同的解码器实现各种处理效果，进而有助于提升目标神经网络模型对目标场景图像的处理效果。
下面对该目标神经网络模型的训练过程进行详细介绍。参见图5所示，为，为本公开实施例提供的一种模型训练方法的流程图，该图像处理方法包括以下S501～S503：
S501，从所述样本数据集合中确定子样本数据集，并将所述子样本数据集输入至所述待训练的神经网络模型，得到与所述子样本数据集对应的模型输出图像。
示例性地，该待训练的神经网络模型可以为不同架构的多任务神经网络，比如，该待训练的神经网络模型可以是U-Net神经网络，也可以是深度残差网络(Deep residualnetwork，ResNet)，在此不做具体限定。
可以理解，在模型训练过程中，将样本数据输入至待训练的神经网络模型后，即可得到模型预测的模型输出图像。
需要说明的是，在模型训练过程中，针对每个样本图像，还需要确定与该样本图像对应的样本标签，进而可以基于样本数据以及样本标签对神经网络模型进行有监督训练。
在一些实施方式中，可以采用前述的各种后处理算法对样本图像进行处理，得到处理后的目标图像，并将该处理后的目标图像作为该样本图像的样本标签。这样，由于该样本图像的样本标签是基于预设的后处理算法得到的，进而可以提升样本标签的图像效果，进而有助于提升训练好的目标神经网络模型的训练精度。
在一些可能的实施方式中，可以通过以下步骤(1)～(3)得到所述样本数据集合：
(1)控制虚拟相机在目标场景中移动，并获取所述目标场景中的虚拟相机的相机参数信息；
(2)基于所述相机参数信息生成相应的样本图像以及确定与所述样本图像对应的图像深度信息；
(3)基于所述相机参数信息、与所述相机参数信息对应的样本图像、与所述样本图像对应的图像深度信息，生成所述样本数据，并基于各个样本数据生成所述样本数据集合。
具体地，针对目标游戏，可以控制虚拟相机在目标场景中移动，以模拟各种可能的玩家位置，然后根据各个位置的虚拟相机的镜头方向和光照条件渲染生成相应的样本图像，并确定与该样本图像对应的相机参数信息及图像深度信息，进而生成样本数据。
可选地，在基于各个样本数据生成所述样本数据集合时，可以包括：
对任一样本数据进行预处理，得到预处理后的样本数据，并基于各个预处理后的样本数据，生成所述样本数据集合。
其中，预处理可以包括图像归一化、扩充和切分等。
这样，通过对各个样本数据进行预处理后生成样本数据集合，可以提升样本数据集合内样本数据的丰富性，有利于提升模型的训练精度。
S502，基于预设的损失函数，确定所述模型输出图像与目标样本标签之间的目标损失，并基于所述目标损失对所述神经网络模型进行参数调整；所述目标样本标签为与所述子样本数据集中的样本图像对应的处理后的目标图像。
示例性地，该预设的损失函数可以为均方误差(Mean Square Error，MSE)损失函数、感知损失(Perceptual Loss，PL)和结构相似性指数(Structural Similarity，SSIM)损失函数，此处不做具体限定。
S503，重复上述训练迭代步骤，直到训练结果符合预设要求，得到所述目标神经网络模型。
示例性地，该训练结果符合预设要求包括训练次数达到预设次数，或者预设的损失函数的损失值达到预设阈值，具体不做限定，可以根据实际情况而确定。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图6所示，为本公开实施例提供的一种图像处理装置600的示意图，所述装置包括：
数据获取模块601，用于获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息，所述目标场景图像基于目标场景对应的场景数据渲染生成，所述目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息；
图像处理模块602，用于将所述目标场景图像以及所述目标图像参数信息输入至预先训练好的目标神经网络模型，以对所述目标场景图像进行处理，得到处理后的目标场景图像；其中，所述目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景；
图像显示模块603，用于显示所述处理后的目标场景图像。
在一种可能的实施方式中，所述样本数据集合还包括图像处理参数信息，所述目标图像参数信息还包括所述图像处理参数信息，所述图像处理参数信息由用户设定。
参见图7所示，在一种可能的实施方式中，所述目标场景图像为目标游戏的场景图像，所述装置还包括：
模型集成模块604，用于将所述预先训练好的目标神经网络模型集成到游戏引擎中。
在一种可能的实施方式中，所述目标神经网络模型包括编码器以及多个解码器，其中，所述编码器用于对所述目标样本图像进行特征提取，不同的解码器对应不同的处理任务。
在一种可能的实施方式中，所述装置还包括样本生成模块605，所述样本生成模块605用于：
控制虚拟相机在目标场景中移动，并获取所述目标场景中的虚拟相机的相机参数信息；
基于所述相机参数信息对所述目标场景进行渲染生成相应的样本图像，以及确定与所述样本图像对应的图像深度信息；
基于所述相机参数信息、与所述相机参数信息对应的样本图像、与所述样本图像对应的图像深度信息，生成所述样本数据，并基于各个样本数据生成所述样本数据集合。
在一种可能的实施方式中，所述样本生成模块605具体用于：
对任一样本数据进行预处理，得到预处理后的样本数据，并基于各个预处理后的样本数据，生成所述样本数据集合。
在一种可能的实施方式中，所述装置还包括模型训练模块606，所述模型训练模块606用于：
从所述样本数据集合中确定子样本数据集，并将所述子样本数据集输入至所述待训练的神经网络模型，得到与所述子样本数据集对应的模型输出图像；
基于预设的损失函数，确定所述模型输出图像与目标样本标签之间的目标损失，并基于所述目标损失对所述神经网络模型进行参数调整；所述目标样本标签为与所述子样本数据集中的样本图像对应的处理后的目标图像；
重复上述训练迭代步骤，直到训练结果符合预设要求，得到所述目标神经网络模型。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备800的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换。
本申请实施例中，存储器802具体用于存储执行本申请方案的应用程序代码，并由处理器801来控制执行。也即，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801执行存储器802中存储的应用程序代码，进而执行前述任一实施例中所述的方法。
其中，存储器802可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器801可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息，所述目标场景图像基于目标场景对应的场景数据渲染生成，所述目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息；
将所述目标场景图像以及所述目标图像参数信息输入至预先训练好的目标神经网络模型，以对所述目标场景图像进行处理，得到处理后的目标场景图像；其中，所述目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景；
显示所述处理后的目标场景图像。
2.根据权利要求1所述的方法，其特征在于，所述样本数据集合还包括图像处理参数信息，所述目标图像参数信息还包括所述图像处理参数信息，所述图像处理参数信息由用户设定。
3.根据权利要求1所述的方法，其特征在于，所述目标场景图像为目标游戏的场景图像，所述获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息之前，所述方法还包括：
将所述预先训练好的目标神经网络模型集成到游戏引擎中。
4.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型包括编码器以及多个解码器，其中，所述编码器用于对所述目标样本图像进行特征提取，不同的解码器对应不同的处理任务。
5.根据权利要求1所述的方法，其特征在于，所述样本数据集合通过以下步骤得到：
控制虚拟相机在目标场景中移动，并获取所述虚拟相机的相机参数信息；
基于所述相机参数信息对所述目标场景进行渲染生成相应的样本图像，以及确定与所述样本图像对应的图像深度信息；
基于所述相机参数信息、与所述相机参数信息对应的样本图像、与所述样本图像对应的图像深度信息，生成所述样本数据，并基于各个样本数据生成所述样本数据集合。
6.根据权利要求5所述的方法，其特征在于，所述基于各个样本数据生成所述样本数据集合，包括：
对任一样本数据进行预处理，得到预处理后的样本数据，并基于各个预处理后的样本数据，生成所述样本数据集合。
7.根据权利要求1-6任一所述的方法，其特征在于，所述目标神经网网络模型通过以下步骤训练得到：
从所述样本数据集合中确定子样本数据集，并将所述子样本数据集输入至所述待训练的神经网络模型，得到与所述子样本数据集对应的模型输出图像；
基于预设的损失函数，确定所述模型输出图像与目标样本标签之间的目标损失，并基于所述目标损失对所述神经网络模型进行参数调整；所述目标样本标签为与所述子样本数据集中的样本图像对应的处理后的目标图像；
重复上述训练迭代步骤，直到训练结果符合预设要求，得到所述目标神经网络模型。
8.一种图像处理装置，其特征在于，包括：
数据获取模块，用于获取目标场景图像以及与所述目标场景图像对应的目标图像参数信息，所述目标场景图像基于目标场景对应的场景数据渲染生成，所述目标图像参数信息包括所述目标场景图像的图像深度信息以及与所述目标场景图像对应的相机参数信息；
图像处理模块，用于将所述目标场景图像以及所述目标图像参数信息输入至预先训练好的目标神经网络模型，以对所述目标场景图像进行处理，得到处理后的目标场景图像；其中，所述目标神经网络模型基于样本数据集合进行训练得到，所述样本数据集合中的任一样本数据包括：样本图像、所述样本图像对应的图像深度信息以及与所述样本图像对应的相机参数信息；所述样本图像与所述目标场景图像针对同一目标场景；
图像显示模块，用于显示所述处理后的目标场景图像。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-7任一所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-7任一所述的图像处理方法。
CN202310881673.1A 2023-07-18 2023-07-18 图像处理方法、装置、电子设备及存储介质 Pending CN116870468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310881673.1A CN116870468A (zh) 2023-07-18 2023-07-18 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310881673.1A CN116870468A (zh) 2023-07-18 2023-07-18 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116870468A true CN116870468A (zh) 2023-10-13

Family

ID=88269490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310881673.1A Pending CN116870468A (zh) 2023-07-18 2023-07-18 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116870468A (zh)

Similar Documents

Publication Publication Date Title
CN115100339B (zh) 图像生成方法、装置、电子设备和存储介质
CN113838176A (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN113269858A (zh) 虚拟场景渲染方法、装置、计算机设备和存储介质
US20230281913A1 (en) Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments
CN109979013B (zh) 三维人脸贴图方法及终端设备
CN111199573B (zh) 一种基于增强现实的虚实互反射方法、装置、介质及设备
CN112085835A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN110458924A (zh) 一种三维脸部模型建立方法、装置和电子设备
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN112184873A (zh) 分形图形创建方法、装置、电子设备和存储介质
CN116704103A (zh) 一种图像渲染方法、装置、设备、存储介质及程序产品
CN117557714A (zh) 三维重建方法、电子设备及可读存储介质
CN116228962A (zh) 大场景神经视图合成
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN111754431A (zh) 一种图像区域替换方法、装置、设备及存储介质
CN114170290A (zh) 图像的处理方法及相关设备
CN117315211A (zh) 数字人合成及其模型训练方法、装置、设备及存储介质
Pintore et al. Instant automatic emptying of panoramic indoor scenes
WO2024148898A1 (zh) 图像降噪方法、装置、计算机设备和存储介质
CN116091871B (zh) 一种针对目标检测模型的物理对抗样本生成方法及装置
CN117372607A (zh) 一种三维模型的生成方法、装置及电子设备
CN111866492A (zh) 基于头戴显示设备的图像处理方法、装置及设备
CN116870468A (zh) 图像处理方法、装置、电子设备及存储介质
Li et al. DGNR: Density-Guided Neural Point Rendering of Large Driving Scenes
RU2757563C1 (ru) Способ визуализации 3d портрета человека с измененным освещением и вычислительное устройство для него

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination