CN114648604A - 一种图像渲染方法、电子设备、存储介质及程序产品 - Google Patents

一种图像渲染方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114648604A
CN114648604A CN202210190169.2A CN202210190169A CN114648604A CN 114648604 A CN114648604 A CN 114648604A CN 202210190169 A CN202210190169 A CN 202210190169A CN 114648604 A CN114648604 A CN 114648604A
Authority
CN
China
Prior art keywords
image
rendering
rendering image
initial
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210190169.2A
Other languages
English (en)
Inventor
黄哲威
黄艾琳
胡晨
周舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202210190169.2A priority Critical patent/CN114648604A/zh
Publication of CN114648604A publication Critical patent/CN114648604A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像渲染方法、电子设备、存储介质及程序产品，涉及数字图像处理技术领域，旨在快速渲染出高质量的图像。所述方法包括：获取第一渲染程度的初始渲染图像；获取所述初始渲染图像所对应的参考渲染图像，所述参考渲染图像为与所述初始渲染图像之间存在关联关系的图像，所述参考渲染图像为第二渲染程度的渲染图像，所述第二渲染程度高于所述第一渲染程度；利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像。

Description

一种图像渲染方法、电子设备、存储介质及程序产品
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像渲染方法、电子设备、存储介质及程序产品。
背景技术
图像渲染是利用三维数据，渲染出二维图像的过程。相关技术中，渲染质量高的图像渲染方法，如光线追踪等方法，存在渲染速度慢、需要花费大量的时间的问题；而渲染速度快的图像渲染方法，例如栅格化渲染等方法，生成的图像渲染质量较差。
因此，如何快速渲染出渲染质量高的图像，是一种急需解决的技术问题。
发明内容
鉴于上述问题，本发明实施例提供了一种图像渲染方法、电子设备、存储介质及程序产品，以便克服上述问题或者至少部分地解决上述问题。
本发明实施例的第一方面，提供了一种图像渲染方法，所述方法包括：
获取第一渲染程度的初始渲染图像；
获取所述初始渲染图像所对应的参考渲染图像，所述参考渲染图像为与所述初始渲染图像之间存在关联关系的图像，所述参考渲染图像为第二渲染程度的渲染图像，所述第二渲染程度高于所述第一渲染程度；
利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像。
可选地，所述参考渲染图像与所述初始渲染图像来自同一视频中的多个连续视频帧；
所述获取第一渲染程度的初始渲染图像，包括：
获取所述多个连续视频帧中第一数量个视频帧所对应的第一渲染程度的初始渲染图像；
所述获取所述初始渲染图像所对应的参考渲染图像，包括：
获取所述多个连续视频帧中第二数量个视频帧所对应的第二渲染程度的渲染图像，作为所述参考渲染图像；其中，所述第一数量和所述第二数量的和值等于所述多个连续视频帧的帧数。
可选地，所述参考渲染图像与所述初始渲染图像来自于描述相同场景和/或相同对象的多张图像；
所述获取第一渲染程度的初始渲染图像，包括：
获取所述多张图像中第三数量个图像所对应的第一渲染程度的初始渲染图像；
所述获取所述初始渲染图像所对应的参考渲染图像，包括：
获取所述多张图像中第四数量个图像所对应的第二渲染程度的渲染图像，作为所述参考渲染图像；其中，所述第三数量和所述第四数量的和值等于所述多个图像的张数。
可选地，利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像，包括：
对所述参考渲染图像与所述初始渲染图像进行光流分析，确定所述初始渲染图像与所述参考渲染图像中具有匹配关系的像素点对以及匹配置信度；
将所述初始渲染图像中的像素点，和所述参考渲染图像中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到所述目标渲染图像。
可选地，通过图像处理模型利用所述参考渲染图像对所述初始渲染图像进行纹理迁移处理得到所述目标渲染图像；所述图像处理模型的训练步骤包括：
获得多个训练样本组，每个所述训练样本组包括：粗糙渲染图像样本、与所述粗糙渲染图像样本之间存在关联关系的参考渲染图像样本、以及与所述粗糙渲染图像样本对应的标准渲染图像样本，其中，所述标准渲染图像样本的渲染程度和所述参考渲染图像样本的渲染程度都高于所述粗糙渲染图像样本的渲染程度；
分别将各个训练样本组中的粗糙渲染图像样本和参考渲染图像样本输入第一模型，通过所述第一模型基于所述参考渲染图像样本对所述粗糙渲染图像样本进行纹理迁移处理，得到精细渲染图像样本；
根据所述精细渲染图像样本与所述标准渲染图像样本之间的像素值差异和图像特征差异，以及所述像素值差异和所述图像特征差异各自的权重，得到第一损失值；
根据所述第一损失值，对所述第一模型的模型参数进行更新，得到所述图像处理模型。
可选地，通过所述第一模型基于所述参考渲染图像样本对所述粗糙渲染图像样本进行纹理迁移处理，得到精细渲染图像样本，包括：
按照光流分析的精细度由低到高的次序，在多种精细度下对所述粗糙渲染图像样本与所述参考渲染图像样本进行多次光流分析，得到所述粗糙渲染图像样本与所述参考渲染图像样本中具有匹配关系的像素点对以及匹配置信度，将所述粗糙渲染图像样本中的像素点，和所述参考渲染图像样本中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到所述精细渲染图像样本，其中，除第一次光流分析外的每次光流分析是结合上一次光流分析的结果进行的。
可选地，所述粗糙渲染图像样本通过如下过程获得：
获取标准渲染图像；
提取所述标准渲染图像的图像特征；
对所述标准渲染图像的图像特征进行丢弃，得到所述标准渲染图像的剩余图像特征；
对所述剩余图像特征进行图像渲染，生成所述粗糙渲染图像样本。
本发明实施例的第二方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现如本申请实施例公开的所述的图像渲染方法。
本发明实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像渲染方法。
本发明实施例的第四方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像渲染方法。
本发明实施例包括以下优点：
本实施例中，可以获取第一渲染程度的初始渲染图像；获取所述初始渲染图像所对应的参考渲染图像，所述参考渲染图像为与所述初始渲染图像之间存在关联关系的图像，所述参考渲染图像为第二渲染程度的渲染图像，所述第二渲染程度高于所述第一渲染程度；利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像。如此，因为初始渲染图像的第一渲染程度不高，因此可以快速获取到初始渲染图像；利用渲染程度高于第一渲染程度的参考渲染图像对初始渲染图像进行纹理迁移，可以使初始渲染图像的渲染程度快速接近或达到参考渲染图像的渲染程度，从而快速得到渲染程度高、质量高的目标渲染图像。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种图像渲染方法的步骤流程图；
图2是本发明实施例中一个光流分析模块的结构示意图；
图3是本发明实施例中多个光流分析模块之间的连接示意图；
图4是本申请实施例中第二模型的结构示意图；
图5是本发明实施例中两种模型联合训练的示意图；
图6是本发明实施例中一种图像渲染装置的结构示意图；
图7是本申请实施例中一种电子设备的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防控、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
为解决相关技术中的利用光线追踪的方法进行图像渲染耗费的时间长的技术问题，申请人提出：先快速渲染出质量不高的初始渲染图像，然后对初始渲染图像进行处理，得到质量较好的目标渲染图像，以节约渲染出高质量的目标渲染图像的时间。
参照图1所示，示出了本申请实施例中一种图像渲染方法的步骤流程图，如图1所示，该图像渲染方法可以用于计算机、手机、平板电脑、服务器等电子设备中，该图像渲染方法包括以下步骤：
步骤S11：获取第一渲染程度的初始渲染图像；
步骤S12：获取所述初始渲染图像所对应的参考渲染图像，所述参考渲染图像为与所述初始渲染图像之间存在关联关系的图像，所述参考渲染图像为第二渲染程度的渲染图像，所述第二渲染程度高于所述第一渲染程度；
步骤S13：利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像。
初始渲染图像是根据三维数据进行了初步渲染、渲染程度为第一渲染程度的图像。渲染程度越高，图像质量越好。得到初始渲染图像的方法可以参照相关技术中根据三维数据快速渲染出质量不高的图像的方法，因为放弃了质量，所以可以快速实现初始渲染图像的渲染。
参考渲染图像与初始渲染图像之间存在关联关系，其中，存在关联关系的图像是指在时间或空间上具有关联关系的图像，例如视频片段中相连的多个视频帧，或描述相同物体、相同场景的多个图像等。参考渲染图像的第二渲染程度高于第一渲染程度，可以是根据三维数据渲染出来的效果真实、质量好的图像，或者直接对初始渲染图像描述的图像内容进行拍摄得到的高质量图像，本申请对获取参考渲染图像的方法不作限制。
因为参考渲染图像与初始渲染图像之间存在关联关系，因此可以利用参考渲染图像对初始渲染图像进行纹理迁移处理，得到目标渲染图像。目标渲染图像的渲染程度高于初始渲染图像，且与参考渲染图像的渲染程度接近或持平，是渲染质量高的图像。
纹理迁移是指将一张图像中的像素点，迁移到另一张图中与该像素点描述相同内容的像素点。例如，初始渲染图像中一个像素点的图像内容描述了三角形的一个顶点，参考渲染图像的一个像素点也描述了该三角形的该顶点，则可以将参考渲染图像中的该像素点，迁移到初始渲染图像中的描述该顶点的像素点。因为参考渲染图像的渲染程度高、渲染质量好，因此，迁移了参考渲染图像的像素点后的初始渲染图像的渲染程度也会提高、质量也会变好。
因为纹理迁移的操作比较简单，因此相对于直接渲染得到渲染质量高的图像，进行纹理迁移可以快速得到与直接渲染得到渲染质量高的图像渲染的渲染程度接近或持平的目标渲染图像。
采用本申请实施例的技术方案，因为初始渲染图像的第一渲染程度不高，因此可以快速获取到初始渲染图像；利用渲染程度高于第一渲染程度的参考渲染图像对初始渲染图像进行纹理迁移，可以使初始渲染图像的渲染程度快速接近或达到参考渲染图像的渲染程度，从而快速得到渲染程度高、质量高的目标渲染图像。
可以理解的是，相比于初始渲染图像，目标渲染图像的质量显著提高，因此，本发明实施例所述的图像渲染方法也适用于对低质量图像进行处理以得到高质量的图像。在对低质量的图像进行处理时，初始渲染图像为低质量图像，例如分辨率低、存在伪影、含有噪点以及区块效应等的图像。参考渲染图像为与初始渲染图像存在关联关系的高质量图像；通过对低质量图像以及该低质量图像对应的参考渲染图像进行纹理迁移，可以得到高质量图像。
可选地，因为同一视频中的多个连续视频帧是在时间上存在关联关系，通常描述的内容也具有关联关系。因此，参考渲染图像与初始渲染图像可以是来自同一视频中的多个连续视频帧。可以将多个连续视频帧中第一数量个第一渲染程度的视频帧作为初始渲染图像，将多个连续视频帧中第二数量个第二渲染程度的视频帧作为参考渲染图像；其中，第一数量和第二数量的和值等于多个连续视频帧的帧数。
可选地，参考渲染图像与初始渲染图像还可以是来自于描述相同场景和/或相同对象的多张图像；可以将多张图像中第三数量个第一渲染程度的图像作为初始渲染图像，将多张图像中第四数量个第二渲染程度的图像作为参考渲染图像；其中，第三数量和第四数量的和值等于多张图像的张数。
可选地，在上述技术方案的基础上，利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像，包括以下步骤：对初始渲染图像与参考渲染图像进行光流分析，确定初始渲染图像与所述参考渲染图像中具有匹配关系的像素点对以及匹配置信度；将所述初始渲染图像中的像素点，和所述参考渲染图像中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到所述目标渲染图像。
因为参考渲染图像和初始渲染图像之间存在关联关系，因此，可以对参考渲染图像和初始渲染图像进行光流分析，以确定初始渲染图像与参考渲染图像中具有匹配关系的像素点对以及匹配置信度。可以通过后文公开的图像处理模型实现对初始渲染图像与参考渲染图像进行的光流分析，或者通过光流法实现对初始渲染图像与参考渲染图像进行的光流分析。
初始渲染图像与参考渲染图像中具有匹配关系的像素点是指：初始渲染图像中的一个像素点与参考渲染图像中的一个像素点描述的内容相同。可以利用光流图来表示初始渲染图像与参考渲染图像中具有匹配关系的像素点。也可以用坐标描述具有匹配关系的像素点，例如，初始渲染图像中的一个像素点携带坐标(2,3)可以表征：该像素点在平移(2,3)后对应的像素点的位置为第一位置，该像素点与参考渲染图像中第一位置的像素点有匹配关系。
匹配置信度是指初始渲染图像中的一个像素点与参考渲染图像中的一个像素点描述的内容相同的概率。匹配置信度是针对每一个像素点都具有一个匹配置信度，因此可以利用光流图的掩码图来表征匹配置信度，掩码图中的数值的取值范围为0到1。
在确定初始渲染图像与参考渲染图像中具有匹配关系的像素点对以及匹配置信度之后，可以将存在匹配关系的初始渲染图像中的像素点，和与该像素点匹配的参考像素点按照匹配置信度进行合成，得到最终渲染图像。其中，按照匹配置信度进行合成可以是进行合成时参考像素点的权重或透明度。合成可以是将参考渲染图像中的第一像素点复制到初始渲染图像中与该第一像素点具有匹配关系的第二像素点中，复制的方法为backwardwarping(反向扭曲)；也可以是将第一像素点和第二像素点进行融合。
可选地，初始渲染图像的参考渲染图像可以具有多张，参考渲染图像的数量越多，得到的目标渲染图像质量越高。具体地：以初始渲染图像和每张参考渲染图像为一对，对每对图像进行光流分析并得到该对图像中像素点之间的匹配关系和匹配置信度，然后将初始渲染图像中的存在匹配关系的像素点，和与该像素点匹配的各个参考渲染图像中的像素点按照各自对应的匹配置信度进行合成，得到目标渲染图像。
可选地，在上述实施例的基础上，可以通过图像处理模型实现图像渲染方法。将初始渲染图像和参考渲染图像输入图像处理模型，图像处理模型对初始渲染图像和参考渲染图像进行纹理迁移，得到目标渲染图像。
为了训练得到图像处理模型，需要获取多个训练样本组，利用多个训练样本组训练第一模型，以得到图像处理模型。
每个训练样本组包括粗糙渲染图像样本、与粗糙渲染图像样本之间存在关联关系的参考渲染图像样本、以及与粗糙渲染图像样本对应的标准渲染图像样本。其中，粗糙渲染图像样本可以是低质量的图像样本，或者是根据三维数据进行了简单的渲染得到的低质量的图像样本；与粗糙渲染图像样本的图像内容相关联的参考渲染图像样本可以是根据三维数据渲染出来的效果真实、质量好的图像样本，或者直接对粗糙渲染图像样本的图像内容进行拍摄得到的高质量图像；与粗糙渲染图像样本对应的标准渲染图像样本可以是粗糙渲染图像样本经过精细渲染得到的高质量图像样本。标准渲染图像样本的渲染程度和参考渲染图像样本的渲染程度都高于粗糙渲染图像样本的渲染程度。
可选地，因为标准渲染图像样本和粗糙渲染图像样本之间描述的是完全相同的物品，具有相同的图像内容，二者只存在渲染程度之分。因此，也可以是先获取标准渲染图像样本以及与标准渲染图像样本的图像内容相关联的参考渲染图像样本，例如同时渲染出多张连续的、高质量的视频图像，然后抽取其中一张视频图像作为标准渲染图像样本，将剩余视频图像作为参考渲染图像样本；接着，对标准渲染图像样本进行降低质量处理，从而获取与标准渲染图像样本对应的粗糙渲染图像样本。
在获取了多个训练样本组之后，将多个训练样本组中的粗糙渲染图像样本和参考渲染图像样本输入第一模型，第一模型对粗糙渲染图像样本与参考渲染图像样本进行纹理迁移处理，得到精细渲染图像样本。其中，第一模型进行纹理迁移处理的具体方法可以参照前文实施例所述的图像渲染方法中的技术手段。
为了保证模型输出的精细渲染图像样本能够尽可能地和标准渲染图像样本的渲染程度持平，因此可以根据精细渲染图像样本与标准渲染图像样本之间的差异，对第一模型的模型参数进行更新，得到图像处理模型。
可选地，根据精细渲染图像样本与标准渲染图像样本之间的差异，对第一模型的模型参数进行更新，得到图像处理模型，可以包括如下步骤：根据精细渲染图像样本与标准渲染图像样本之间的像素值差异和图像特征差异，以及像素值差异和图像特征差异各自的权重，得到第一损失值；根据第一损失值，对第一模型的模型参数进行更新，得到图像处理模型。
具体地，第一损失值可以通过如下公式计算得到：
L1＝(1-α)∑l|Φl(Iresyn)-Φl(IGT)|1+α|Iresyn-IGT|1
其中，L1表示第一损失值，α表示预设权重，Φl代表提取1-l层图像特征，|x|1表示对x中的每个像素点进行运算，Iresyn表示精细渲染图像样本，IGT表示标准渲染图像样本。
可选地，在上述技术方案的基础上，可以在模型中设置多个光流分析模块对粗糙渲染图像样本与参考渲染图像样本进行光流分析，以提高模型进行光流分析的准确度。
考虑到光流分析的精细度符合低到高的次序，可以设置多个光流分析模块为沙漏型。先在低精细度下的光流分析模块中计算图像之间粗略的光流，然后在下一低精细度较高的光流分析模块中计算图像之间细致的光流。如此，有利于先捕捉大的位移，然后不断对光流分析的结果进行细化。这样有助于粗糙渲染图像样本和参考渲染图像样本之间存在较大位移时，依然可以保持较好的泛化性。
具体地，按照光流分析的精细度由低到高的次序，在多种精细度下对粗糙渲染图像样本与参考渲染图像样本进行多次光流分析，得到粗糙渲染图像样本与参考渲染图像样本中具有匹配关系的像素点对以及匹配置信度，将粗糙渲染图像样本中的像素点，和参考渲染图像样本中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到精细渲染图像样本，其中，除第一次光流分析外的每次光流分析是结合上一次光流分析的结果进行的。
图2示出了一个光流分析模块的结构示意图，其中，光流分析模块包括仿射变换单元、拼接单元、下采样单元、卷积单元、反卷积单元和上采样单元。仿射变换单元用于接收前面的光流分析模块得到的上一光流分析结果(匹配信息)，以及粗糙渲染图像样本和参考渲染图像样本，并输出相较上一光流分析结果更加细致的当前中间光流分析结果；可以理解的是，若当前光流分析模块为第一个光流分析模块，则其仿射变换单元的输入不包括前面的光流分析模块得到的上一光流分析结果。拼接单元用于将上一光流分析结果、粗糙渲染图像样本和参考渲染图像样本，以及仿射变换单元输出的更加细致的当前中间光流分析结果进行拼接。下采样单元用于控制光流分析的精细度的大小。卷积单元中可以包括多个卷积层。因为光流分析模块中的光流分析的精细度是逐渐提升的，因此当前光流分析模块可以得到的当前中间光流分析结果可以填补上一光流分析结果与最终光流分析结果之间的差距。因此，将拼接单元的输出经过下采样单元、卷积单元、反卷积单元和上采样单元进行处理后，可以得到上一光流分析结果与最终光流分析结果之间的残差。
在光流分析模块输出上一光流分析结果与最终光流分析结果之间的残差之后，将该残差和上一光流分析结果进行相加处理，并将相加结果作为下一光流分析模块的一个输入。
图3示出了多个光流分析模块之间的连接示意图，其中，每个光流分析模块以粗糙渲染图像样本和参考渲染图像样本作为输入，并对粗糙渲染图像样本和参考渲染图像样本进行光流分析。此外，在除第一个光流分析模块外的每个光流分析模块，还将上一光流分析模块输出的结果作为输入，以实现光流分析的细化。具体地，将上一光流分析模块输出的结果和当前光流分析模块输出的结果(残差)进行相加，作为下一光流分析模块的一个输入。
可以理解的是，图像处理模型和第一模型拥有相似的结构，但图像处理模型无需计算损失值。
采用本申请实施例的技术方案，可以通过图像处理模块实现对初始渲染图像的快速处理，以得到最终渲染图像，进一步提升了获取最终渲染图像的效率，节约了时间。
可选地，在上述技术方案的基础上，用于训练第一模型得到图像处理模型的粗糙渲染图像样本可以是根据标准渲染图像生成的。获取标准渲染图像；提取标准渲染图像的图像特征；随机对标准渲染图像的图像特征进行部分丢弃，得到标准渲染图像的剩余图像特征；对剩余图像特征进行图像渲染，生成粗糙渲染图像样本。
可选地，在上述技术方案的基础上，可以是利用粗糙渲染模型对标准渲染图像进行处理生成粗糙渲染图像样本，将标准渲染图像样本输入粗糙渲染模型，得到粗糙渲染模型输出的粗糙渲染图像样本。其中，粗糙渲染图像样本是以参考渲染图像样本为训练样本，对第二模型进行训练得到的。粗糙渲染模型的训练过程至少包括以下步骤：
获得多个参考渲染图像样本为粗糙渲染模型的训练样本，其中，参考熏染图像样本是质量较高、渲染质量高的图像；将多个参考渲染图像样本输入第二模型，得到第二模型输出的多个参考渲染图像样本各自对应的预测渲染图像样本，其中，预测渲染图像样本是质量较差的图像样本，例如分辨率低、存在伪影、含有噪点以及区块效应等的图像样本；根据每个参考渲染图像样本与对应的预测渲染图像样本之间的像素点差异，建立第二损失值，根据第二损失值对第二模型的模型参数进行更新，得到粗糙渲染模型。预测渲染图像样本和参考渲染图像样本之间描述的是完全相同的物品，具有相同的图像内容，二者只存在质量高低之分。
其中，第二损失值可以通过如下公式计算得到：
L2＝|Isyn-IGT1|1
其中，L2表示第二损失值，|x|1表示对x中的每个像素点进行运算，Isyn表示预测渲染图像样本，IGT1表示参考渲染图像样本。
图4示出了第二模型的结构示意图，其中，第二模型包括多个特征提取模块、全连接模块、正则化模块和图像生成模块，多个特征提取模块用于提取参考渲染图像样本的多层特征，正则化模块用于随机丢弃部分图像特征，图像生成模块用于根据剩余的图像特征生成预测渲染图像样本。可以理解的是，训练好的粗糙渲染模型具有和第二模型类似的结构，但粗糙渲染模型中无需生成第二损失值。
因为正则化模块用于随机丢弃部分图像特征，因此只要用于训练的参考渲染图像样本数量足够多，则生成的多个预测渲染图像样本中必然会包括分辨率低、存在伪影、含有噪点以及区块效应等多种图像样本。相应地，将多个标准渲染图像样本输入训练好的粗糙渲染模型中，生成的多个粗糙渲染图像样本中也必然会包括各种不同情况(分辨率低、存在伪影、含有噪点以及区块效应等)导致的低质量的图像样本。因此，利用粗糙渲染图像样本作为图像处理模型的训练样本，训练得到的图像处理模型能够根据具有各种不同情况(分辨率低、存在伪影、含有噪点以及区块效应等)的初始渲染图像，生成高质量的最终渲染图像样本。
可选地，在上述技术方案的基础上，还可以同时对第一模型和第二模型进行训练，以得到训练好的图像处理模型和粗糙渲染模型。图5示出了两种模型联合训练的示意图。其中，将图像内容相关联且高质量的两张图像(A和B)中的任一图像A作为第二模型的输入，第二模型对图像A进行降质后输出图像A1。因为图像A和图像B互为参考渲染图像，且图像A和图像A1具有相同的图像内容，二者只是质量高低不同，因此，图像B也是图像A1的参考渲染图像。将图像B和图像A1输入第一模型，得到第一模型对图像B和图像A1进行光流分析得到匹配信息，并根据匹配信息对A1进行调整后得到的高质量的图像A2。根据图像A1和图像A之间的差异建立第二损失值对第二模型进行训练，以及根据图像A2和图像A之间的差异建立第一损失值对第一模型进行训练。如此，可以通过训练得到图像处理模型和粗糙渲染模型。其中，图像B的数量可以具有多张，以得到更好的训练效果。
可以理解的是，在对初始渲染图像进行调整时，只需要使用图像处理模型，而无需使用粗糙渲染模型，粗糙渲染模型和图像处理模型都可以单独使用。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图6是本发明实施例的一种图像渲染装置的结构示意图，如图6所示，该图像渲染装置，包括初始图像获取模块、参考图像获取模块和纹理迁移模块，其中：
初始图像获取模块，用于获取第一渲染程度的初始渲染图像；
参考图像获取模块，用于获取所述初始渲染图像所对应的参考渲染图像，所述参考渲染图像为与所述初始渲染图像之间存在关联关系的图像，所述参考渲染图像为第二渲染程度的渲染图像，所述第二渲染程度高于所述第一渲染程度；
纹理迁移模块，用于利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像。
可选地，所述参考渲染图像与所述初始渲染图像来自同一视频中的多个连续视频帧；
所述初始图像获取模块包括：
第一初始图像获取单元，用于获取所述多个连续视频帧中第一数量个视频帧所对应的第一渲染程度的初始渲染图像；
所述参考图像获取模块包括：
第一参考图像获取单元，用于获取所述多个连续视频帧中第二数量个视频帧所对应的第二渲染程度的渲染图像，作为所述参考渲染图像；其中，所述第一数量和所述第二数量的和值等于所述多个连续视频帧的帧数。
可选地，所述参考渲染图像与所述初始渲染图像来自于描述相同场景和/或相同对象的多张图像；
所述初始图像获取模块包括：
第二初始图像获取单元，用于获取所述多张图像中第三数量个图像所对应的第一渲染程度的初始渲染图像；
所述参考图像获取模块包括：
第二参考图像获取单元，用于获取所述多张图像中第四数量个图像所对应的第二渲染程度的渲染图像，作为所述参考渲染图像；其中，所述第三数量和所述第四数量的和值等于所述多个图像的张数。
可选地，所述纹理迁移模块包括：
光流分析单元，用于对所述参考渲染图像与所述初始渲染图像进行光流分析，确定所述初始渲染图像与所述参考渲染图像中具有匹配关系的像素点对以及匹配置信度；
合成单元，用于将所述初始渲染图像中的像素点，和所述参考渲染图像中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到所述目标渲染图像。
可选地，通过图像处理模型利用所述参考渲染图像对所述初始渲染图像进行纹理迁移处理得到所述目标渲染图像；所述图像处理模型的训练步骤包括：
获得多个训练样本组，每个所述训练样本组包括：粗糙渲染图像样本、与所述粗糙渲染图像样本之间存在关联关系的参考渲染图像样本、以及与所述粗糙渲染图像样本对应的标准渲染图像样本，其中，所述标准渲染图像样本的渲染程度和所述参考渲染图像样本的渲染程度都高于所述粗糙渲染图像样本的渲染程度；
分别将各个训练样本组中的粗糙渲染图像样本和参考渲染图像样本输入第一模型，通过所述第一模型基于所述参考渲染图像样本对所述粗糙渲染图像样本进行纹理迁移处理，得到精细渲染图像样本；
根据所述精细渲染图像样本与所述标准渲染图像样本之间的像素值差异和图像特征差异，以及所述像素值差异和所述图像特征差异各自的权重，得到第一损失值；
根据所述第一损失值，对所述第一模型的模型参数进行更新，得到所述图像处理模型。
可选地，通过所述第一模型基于所述参考渲染图像样本对所述粗糙渲染图像样本进行纹理迁移处理，得到精细渲染图像样本，包括：
按照光流分析的精细度由低到高的次序，在多种精细度下对所述粗糙渲染图像样本与所述参考渲染图像样本进行多次光流分析，得到所述粗糙渲染图像样本与所述参考渲染图像样本中具有匹配关系的像素点对以及匹配置信度，将所述粗糙渲染图像样本中的像素点，和所述参考渲染图像样本中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到所述精细渲染图像样本，其中，除第一次光流分析外的每次光流分析是结合上一次光流分析的结果进行的。
可选地，获得所述粗糙渲染图像样本，包括：
获取标准渲染图像；
提取所述标准渲染图像的图像特征；
对所述标准渲染图像的图像特征进行丢弃，得到所述标准渲染图像的剩余图像特征；
对所述剩余图像特征进行图像渲染，生成所述粗糙渲染图像样本。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本发明实施例还提供了一种电子设备，参照图7，图7是本申请实施例提出的电子设备的示意图。如图7所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，进而实现本申请实施例公开的图像渲染方法中的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像渲染方法。
本发明实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像渲染方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像渲染方法、电子设备、存储介质及程序产品，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像渲染方法，其特征在于，包括：
获取第一渲染程度的初始渲染图像；
获取所述初始渲染图像所对应的参考渲染图像，所述参考渲染图像为与所述初始渲染图像之间存在关联关系的图像，所述参考渲染图像为第二渲染程度的渲染图像，所述第二渲染程度高于所述第一渲染程度；
利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像。
2.根据权利要求1所述的方法，其特征在于，所述参考渲染图像与所述初始渲染图像来自同一视频中的多个连续视频帧；
所述获取第一渲染程度的初始渲染图像，包括：
获取所述多个连续视频帧中第一数量个视频帧所对应的第一渲染程度的初始渲染图像；
所述获取所述初始渲染图像所对应的参考渲染图像，包括：
获取所述多个连续视频帧中第二数量个视频帧所对应的第二渲染程度的渲染图像，作为所述参考渲染图像；其中，所述第一数量和所述第二数量的和值等于所述多个连续视频帧的帧数。
3.根据权利要求1所述的方法，其特征在于，所述参考渲染图像与所述初始渲染图像来自于描述相同场景和/或相同对象的多张图像；
所述获取第一渲染程度的初始渲染图像，包括：
获取所述多张图像中第三数量个图像所对应的第一渲染程度的初始渲染图像；
所述获取所述初始渲染图像所对应的参考渲染图像，包括：
获取所述多张图像中第四数量个图像所对应的第二渲染程度的渲染图像，作为所述参考渲染图像；其中，所述第三数量和所述第四数量的和值等于所述多个图像的张数。
4.根据权利要求1-3任一所述的方法，其特征在于，利用所述参考渲染图像，对所述初始渲染图像进行纹理迁移处理，得到目标渲染图像，包括：
对所述参考渲染图像与所述初始渲染图像进行光流分析，确定所述初始渲染图像与所述参考渲染图像中具有匹配关系的像素点对以及匹配置信度；
将所述初始渲染图像中的像素点，和所述参考渲染图像中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到所述目标渲染图像。
5.根据权利要求1-4任一所述的方法，其特征在于，通过图像处理模型利用所述参考渲染图像对所述初始渲染图像进行纹理迁移处理得到所述目标渲染图像；所述图像处理模型的训练步骤包括：
获得多个训练样本组，每个所述训练样本组包括：粗糙渲染图像样本、与所述粗糙渲染图像样本之间存在关联关系的参考渲染图像样本、以及与所述粗糙渲染图像样本对应的标准渲染图像样本，其中，所述标准渲染图像样本的渲染程度和所述参考渲染图像样本的渲染程度都高于所述粗糙渲染图像样本的渲染程度；
分别将各个训练样本组中的粗糙渲染图像样本和参考渲染图像样本输入第一模型，通过所述第一模型基于所述参考渲染图像样本对所述粗糙渲染图像样本进行纹理迁移处理，得到精细渲染图像样本；
根据所述精细渲染图像样本与所述标准渲染图像样本之间的像素值差异和图像特征差异，以及所述像素值差异和所述图像特征差异各自的权重，得到第一损失值；
根据所述第一损失值，对所述第一模型的模型参数进行更新，得到所述图像处理模型。
6.根据权利要求5所述的方法，其特征在于，通过所述第一模型基于所述参考渲染图像样本对所述粗糙渲染图像样本进行纹理迁移处理，得到精细渲染图像样本，包括：
按照光流分析的精细度由低到高的次序，在多种精细度下对所述粗糙渲染图像样本与所述参考渲染图像样本进行多次光流分析，得到所述粗糙渲染图像样本与所述参考渲染图像样本中具有匹配关系的像素点对以及匹配置信度，将所述粗糙渲染图像样本中的像素点，和所述参考渲染图像样本中与该像素点具有匹配关系的像素点，按照匹配置信度进行合成，得到所述精细渲染图像样本，其中，除第一次光流分析外的每次光流分析是结合上一次光流分析的结果进行的。
7.根据权利要求5所述的方法，其特征在于，所述粗糙渲染图像样本通过如下过程获得：
获取标准渲染图像；
提取所述标准渲染图像的图像特征；
对所述标准渲染图像的图像特征进行丢弃，得到所述标准渲染图像的剩余图像特征；
对所述剩余图像特征进行图像渲染，生成所述粗糙渲染图像样本。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7中任一项所述的图像渲染方法。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至7中任一项所述的图像渲染方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至7中任一项所述的图像渲染方法。
CN202210190169.2A 2022-02-28 2022-02-28 一种图像渲染方法、电子设备、存储介质及程序产品 Pending CN114648604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210190169.2A CN114648604A (zh) 2022-02-28 2022-02-28 一种图像渲染方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210190169.2A CN114648604A (zh) 2022-02-28 2022-02-28 一种图像渲染方法、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN114648604A true CN114648604A (zh) 2022-06-21

Family

ID=81992805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210190169.2A Pending CN114648604A (zh) 2022-02-28 2022-02-28 一种图像渲染方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN114648604A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546154A (zh) * 2022-10-11 2022-12-30 数坤(北京)网络科技股份有限公司 图像处理方法、装置、计算设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546154A (zh) * 2022-10-11 2022-12-30 数坤(北京)网络科技股份有限公司 图像处理方法、装置、计算设备及存储介质
CN115546154B (zh) * 2022-10-11 2024-02-06 数坤科技股份有限公司 图像处理方法、装置、计算设备及存储介质

Similar Documents

Publication Publication Date Title
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN112132770A (zh) 图像修复的方法、装置、计算机可读介质及电子设备
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN114677330A (zh) 一种图像处理方法、电子设备及存储介质
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品
CN116797505A (zh) 图像融合方法、电子设备及存储介质
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN116342776A (zh) 三维场景解耦方法、电子设备及存储介质
CN115620403A (zh) 活体检测方法、电子设备及存储介质
CN114898447A (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN114119678A (zh) 光流估计方法、计算机程序产品、存储介质及电子设备
CN114708143A (zh) 一种hdr图像生成方法、设备、产品及介质
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN114581316A (zh) 图像重建方法、电子设备、存储介质及程序产品
CN110490950B (zh) 图像样本生成方法、装置、计算机设备和存储介质
CN113537359A (zh) 训练数据的生成方法及装置、计算机可读介质和电子设备
Shen et al. Depth assisted portrait video background blurring
CN116977235A (zh) 图像融合方法、电子设备及存储介质
CN115049956A (zh) 深度视频增强方法、电子设备及存储介质
Zhang et al. Low Light Video Enhancement Based on Temporal-Spatial Complementary Feature
CN115564662A (zh) 图像重建方法、电子设备、存储介质及计算机程序产品
CN115631296A (zh) 一种3d目标检测方法、计算机程序产品及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination