CN115243025A - 三维渲染方法、装置、终端设备以及存储介质 - Google Patents

三维渲染方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN115243025A
CN115243025A CN202211146902.7A CN202211146902A CN115243025A CN 115243025 A CN115243025 A CN 115243025A CN 202211146902 A CN202211146902 A CN 202211146902A CN 115243025 A CN115243025 A CN 115243025A
Authority
CN
China
Prior art keywords
training
rendered
dimensional
rendering
dimensional rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211146902.7A
Other languages
English (en)
Other versions
CN115243025B (zh
Inventor
陈涛涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mingyuan Cloud Technology Co Ltd
Original Assignee
Shenzhen Mingyuan Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mingyuan Cloud Technology Co Ltd filed Critical Shenzhen Mingyuan Cloud Technology Co Ltd
Priority to CN202211146902.7A priority Critical patent/CN115243025B/zh
Publication of CN115243025A publication Critical patent/CN115243025A/zh
Application granted granted Critical
Publication of CN115243025B publication Critical patent/CN115243025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种三维渲染方法、装置、终端设备以及存储介质，其三维渲染方法包括：获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。本申请解决了三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。

Description

三维渲染方法、装置、终端设备以及存储介质
技术领域
本申请涉及图像渲染技术领域，尤其涉及一种三维渲染方法、装置、终端设备以及存储介质。
背景技术
无论是对于城市建设与宣传，还是对于社区和楼栋的展示，三维渲染都是其视觉体验的核心环节。一方面三维渲染对实时性要求非常高，要求要在人的反应时间内完成场景渲染，才能给用户流畅的体验；而另一方面，三维渲染的计算量非常大，以一个复杂场景来说，单个帧的渲染时间可能就需要超过一天的时间，这为落地带来了巨大的挑战。三维渲染的难点在于，对于同一个场景，不同观察角度看到的效果是不一样的。对于动态场景来说，情况会更加复杂，每个观察角度和每个时间点所看到的效果都是不一样的。因此，采用预先将各个角度各个时间点所计算好的成像结果直接存储起来的做法是不现实的。为了能在短时间内计算出某个观察角度的某个时间点看到的效果，目前主流的优化方式是采用并行计算，用性能强大的GPU，以大量的单元并行运算，缩短渲染所需的时间。然而这种方法对硬件的要求过高，而且很快就到达瓶颈。
因此，有必要提出一种节省硬件算力的三维渲染方案。
发明内容
本申请的主要目的在于提供一种三维渲染方法、装置、终端设备以及存储介质，旨在解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。
为实现上述目的，本申请提供一种三维渲染方法，所述三维渲染方法包括：
获取待渲染的观察属性信息；
将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；
根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。
可选地，所述待渲染的观察属性信息包括待渲染的观察角度、待渲染的时间点和待渲染的立体点坐标，所述获取待渲染的观察属性信息的步骤包括：
获取与待渲染场景相对的主视角所在位置；
根据所述主视角所在位置计算得到所述待渲染的观察角度；
将所述待渲染场景的开始时间设置为初始时间点；
基于所述初始时间点对增加的每一帧进行计时，得到所述待渲染的时间点；
根据所述主视角所在位置，计算得到主视角内的像素点所对应的所述待渲染的立体点坐标。
可选地，所述获取待渲染的观察属性信息的步骤之前，还包括：
训练所述三维渲染网络模型，其中，所述三维渲染网络模型采用神经辐射场的方法来构建。
可选地，所述训练所述三维渲染网络模型的步骤包括：
获取训练用的渲染图片和对应的训练用的观察属性信息，其中，所述训练用的观察属性信息包括训练用的观察角度、训练用的时间点以及训练用的立体点坐标；
将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度；
根据所述训练用的三维颜色和所述训练用的体积密度生成训练用的成像结果；
将所述训练用的成像结果和所述训练用的渲染图片进行比对，得到损失参数；
通过梯度下降法对所述三维渲染网络模型的权重进行更新；并返回执行步骤：将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度；
以此循环，进行权重迭代，直到所述三维渲染网络模型收敛，终止训练，得到所述训练好的三维渲染网络模型。
可选地，所述获取训练用的渲染图片和对应的训练用的观察属性信息的步骤包括：
获取训练用的场景；
根据选定的训练用的观察角度对所述训练用的场景进行常规渲染，得到训练用的渲染场景；
对所述训练用的渲染场景进行图片逐帧切分，得到所述训练用的渲染图片；
根据所述训练用的渲染图片，获取所述训练用的观察角度和所述训练用的时间点；
选取所述训练用的渲染图片内的像素点，计算得到所述像素点对应的所述训练用的立体点坐标。
可选地，所述根据所述训练用的三维颜色和所述训练用的体积密度生成训练用的成像结果的步骤包括：
将所述训练用的三维颜色和所述训练用的体积密度输入至预先构建的光学模型中进行渲染，得到所述训练用的成像结果。
可选地，所述将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度的步骤之前，还包括：
对所述三维渲染网络模型的权重进行初始化处理，具体包括：
对所述权重的初始化通过正态分布的方式进行随机抽样并赋值。
本申请实施例还提出一种三维渲染装置，所述三维渲染装置包括：
信息获取模块，用于获取待渲染的观察属性信息；
渲染模块，用于将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；
成像模块，用于根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。
本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维渲染程序，所述三维渲染程序被所述处理器执行时实现如上所述的三维渲染方法的步骤。
本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有三维渲染程序，所述三维渲染程序被处理器执行时实现如上所述的三维渲染方法的步骤。
本申请实施例提出的三维渲染方法、装置、终端设备以及存储介质，通过获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。基于本申请方案，采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
附图说明
图1为本申请三维渲染装置所属终端设备的功能模块示意图；
图2为本申请三维渲染方法第一示例性实施例的流程示意图；
图3为本申请三维渲染方法第二示例性实施例的流程示意图；
图4为本申请三维渲染方法第三示例性实施例的流程示意图；
图5为本申请三维渲染方法实施例涉及的三维渲染网络模型的一种训练流程示意图；
图6为本申请实施例中获取训练用的渲染图片和对应的训练用的观察属性信息的具体流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：通过训练得到三维渲染网络模型；获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。基于本申请方案，采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
具体地，参照图1，图1为本申请三维渲染装置所属终端设备的功能模块示意图。该三维渲染装置可以为独立于终端设备的、能够进行三维渲染、网络模型训练的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该三维渲染装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及三维渲染程序，三维渲染装置可以将获取的待渲染的观察属性信息，通过预先训练好的三维渲染网络模型计算得到的待渲染的三维颜色和待渲染的体积密度，根据所述待渲染的三维颜色和所述待渲染的体积密度生成的三维渲染成像结果，获取到的与待渲染场景相对的主视角所在位置，根据所述主视角位置计算得到的待渲染的观察角度，基于所述初始时间点对增加的每一帧进行计时得到的待渲染的时间点，通过计算得到的主视角内的像素点所对应的待渲染的立体点坐标，以及获取到的训练用的场景，获取到的训练用的渲染图片和对应的训练用的观察属性信息，通过三维渲染网络模型计算得到的训练用的三维颜色和训练用的体积密度，根据所述训练用的三维颜色和所述训练用的体积密度生成的训练用的成像结果，将所述训练用的成像结果和所述训练用的渲染图片进行比对得到的损失参数等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的三维渲染程序被处理器执行时实现以下步骤：
获取待渲染的观察属性信息；
将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；
根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。
进一步地，存储器130中的三维渲染程序被处理器执行时还实现以下步骤：
获取与待渲染场景相对的主视角所在位置；
根据所述主视角所在位置计算得到所述待渲染的观察角度；
将所述待渲染场景的开始时间设置为初始时间点；
基于所述初始时间点对增加的每一帧进行计时，得到所述待渲染的时间点；
根据所述主视角所在位置，计算得到主视角内的像素点所对应的所述待渲染的立体点坐标。
进一步地，存储器130中的三维渲染程序被处理器执行时还实现以下步骤：
训练所述三维渲染网络模型，其中，所述三维渲染网络模型采用神经辐射场的方法来构建。
进一步地，存储器130中的三维渲染程序被处理器执行时还实现以下步骤：
获取训练用的渲染图片和对应的训练用的观察属性信息，其中，所述训练用的观察属性信息包括训练用的观察角度、训练用的时间点以及训练用的立体点坐标；
将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度；
根据所述训练用的三维颜色和所述训练用的体积密度生成训练用的成像结果；
将所述训练用的成像结果和所述训练用的渲染图片进行比对，得到损失参数；
通过梯度下降法对所述三维渲染网络模型的权重进行更新；并返回执行步骤：将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度；
以此循环，进行权重迭代，直到所述三维渲染网络模型收敛，终止训练，得到所述训练好的三维渲染网络模型。
进一步地，存储器130中的三维渲染程序被处理器执行时还实现以下步骤：
获取训练用的场景；
根据选定的训练用的观察角度对所述训练用的场景进行常规渲染，得到训练用的渲染场景；
对所述训练用的渲染场景进行图片逐帧切分，得到所述训练用的渲染图片；
根据所述训练用的渲染图片，获取所述训练用的观察角度和所述训练用的时间点；
选取所述训练用的渲染图片内的像素点，计算得到所述像素点对应的所述训练用的立体点坐标。
进一步地，存储器130中的三维渲染程序被处理器执行时还实现以下步骤：
将所述训练用的三维颜色和所述训练用的体积密度输入至预先构建的光学模型中进行渲染，得到所述训练用的成像结果。
进一步地，存储器130中的三维渲染程序被处理器执行时还实现以下步骤：
对所述三维渲染网络模型的权重进行初始化处理，具体包括：
对所述权重的初始化通过正态分布的方式进行随机抽样并赋值。
本实施例通过上述方案，具体获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。基于本申请方案，采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
基于上述终端设备架构但不限于上述架构，提出本申请方法实施例。
参照图2，图2为本申请三维渲染方法第一示例性实施例的流程示意图。本实施例方法的执行主体可以是一种三维渲染装置，也可以是一种三维渲染终端设备或服务器，本实施例以三维渲染装置进行举例，该三维渲染装置可以集成在具有数据处理功能的智能手机、平板电脑等终端设备上。本实施例所述三维渲染方法包括：
步骤S11，获取待渲染的观察属性信息。
具体地，获取待渲染的观察属性信息，其中，所述观察属性信息是指与待渲染场景的观察相关的属性信息，用于描述第三方在观察待渲染场景时的状态，所述观察属性信息可以包括但不限于待渲染场景的观察时间、观察地点和观察状态等。在在线渲染阶段，根据实际使用场景获取当前待渲染的观察属性信息。
步骤S12，将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度。
具体地，在获取到待渲染的观察属性信息后，将所述观察属性信息输入至预先训练好的三维渲染网络模型中，其中，所述三维渲染网络模型基于构建的模型算法，将输入的待渲染的观察属性信息生成待渲染的观察结果并输出。通过所述训练好的三维渲染网络模型计算所述待渲染的观察属性信息，得到待渲染的观察结果，其中，所述待渲染的观察结果包括待渲染的三维颜色和待渲染的体积密度。
步骤S13，根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。
具体地，根据三维渲染网络模型输出的待渲染的三维颜色和待渲染的体积密度进行渲染，生成三维渲染成像结果。
相比于现有技术，本实施例方案通过采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
本实施例通过上述方案，具体通过获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。
参照图3，图3为本申请三维渲染方法第二示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，所述待渲染的观察属性信息包括待渲染的观察角度、待渲染的时间点和待渲染的立体点坐标，步骤S11，获取待渲染的观察属性信息可以包括：
步骤S111，获取与待渲染场景相对的主视角所在位置。具体地，以待渲染场景为基准，获取与待渲染场景相对的主视角所在位置。
步骤S112，根据所述主视角所在位置计算得到所述待渲染的观察角度。
具体地，根据所述主视角所在位置，计算得到所述待渲染场景与所述主视角所在位置形成的待渲染的观察角度。
步骤S113，将所述待渲染场景的开始时间设置为初始时间点；
步骤S114，基于所述初始时间点对增加的每一帧进行计时，得到所述待渲染的时间点。
具体地，将所述待渲染场景的开始时间设置为初始时间点；按照所述待渲染场景的帧数，基于所述初始时间点对增加的每一帧进行计时，得到待渲染场景的待渲染的时间点。
举个例子，对于一个待渲染的爆炸场景，若主视角一直在横向移动，则待渲染的观察角度可由场景相对的主视角所在位置计算得到；将所述爆炸场景的开始时间设置为初始时间点，初始时间点为1，则对于往后增加的每一帧，按照每一帧增加1的方式进行计时，得到待渲染爆炸场景的待渲染时间点。
步骤S115，根据所述主视角所在位置，计算得到主视角内的像素点所对应的所述待渲染的立体点坐标。
具体地，根据获得的所述主视角所在位置，针对主视角内的像素点，计算得到所述像素点在待渲染的观察角度上经过的立体点坐标，即，计算得到所述像素点所对应的待渲染的立体点坐标。
本实施例通过上述方案，具体通过获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。基于本申请方案，采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
参照图4，图4为本申请三维渲染方法第三示例性实施例的流程示意图。基于上述图3所示的实施例，在本实施例中，在获取待渲染的观察属性信息的步骤之前，所述三维渲染方法还包括：
步骤S10，训练所述三维渲染网络模型，其中，所述三维渲染网络模型采用扩展的神经辐射场的方法来构建，所述三维渲染网络模型的网络结构可以为全连接神经网络。本实施例以步骤S10在步骤S11之前实施，在其他实施例中，步骤S10也可以在步骤S11与步骤S12之间实施。
相比上述图3所示的实施例，本实施例还包括训练三维渲染网络模型的方案。参照图5，图5为本申请三维渲染方法实施例涉及的三维渲染网络模型的一种训练流程示意图。具体地，训练所述三维渲染网络模型的步骤可以包括：
步骤S101，获取训练用的渲染图片和对应的训练用的观察属性信息，其中，所述训练用的观察属性信息包括训练用的观察角度、训练用的时间点以及训练用的立体点坐标。
具体地，获取预先采集到的训练用的渲染图片，以及与所述渲染图片对应的训练用的观察属性信息，其中，所述训练用的观察属性信息包括训练用的观察角度、训练用的时间点以及训练用的立体点坐标。
进一步地，参照图6，图6为本申请实施例中获取训练用的渲染图片和对应的训练用的观察属性信息的具体流程示意图。步骤S101，获取训练用的渲染图片和对应的训练用的观察属性信息可以包括：
步骤S1011，获取训练用的场景。
具体地，获取训练用的场景，其中，所述场景可以是静态场景，也可以是动态场景，如动图或者视频。在本实施例中，采用难度更大的动态场景做渲染，并假设所述训练用的场景的长度为N帧。
步骤S1012，根据选定的训练用的观察角度对所述训练用的场景进行常规渲染，得到训练用的渲染场景。
具体地，对于所述训练用的场景，选定不同的观察角度作为训练用的观察角度；基于选定的所述训练用的观察角度对所述训练用的场景进行常规渲染，得到训练用的渲染场景，其中，得到的所述训练用的渲染场景为与每个观察角度所对应的连续的多帧图片。在本实施例中，可以假设任意选定8个不同的观察角度作为训练用的观察角度。
步骤S1013，对所述训练用的渲染场景进行图片逐帧切分，得到所述训练用的渲染图片。
具体地，对获取到的所述训练用的渲染场景，即，训练用的连续的多帧图片进行图片逐帧切分，得到训练用的渲染图片。
步骤S1014，根据所述训练用的渲染图片，获取所述训练用的观察角度和所述训练用的时间点。
具体地，根据得到的所述训练用的渲染图片，获取与之对应的训练用的观察角度和训练用的时间点。其中，所述训练用的观察角度通过获取上述步骤S1012中选定的观察角度得到；所述训练用的时间点通过将所述训练用的渲染场景的开始时间设为初始时间点，基于初始时间点对往后增加的每一帧进行逐帧计时得到。其中，在三维空间中需要有两个自由度才能唯一确定一个观察角度，因此，每个观察角度需要用两个变量（α，β）来表示。因此，在对所述训练用的渲染场景进行图片逐帧切分后，获得的训练用的观察角度、训练用的时间点和训练用的渲染图片可以按照如下表一的方式进行数据对应：
Figure 761464DEST_PATH_IMAGE001
表一：训练用的观察角度、训练用的时间点和训练用的渲染图片对应表
步骤S1015，选取所述训练用的渲染图片内的像素点，计算得到所述像素点对应的所述训练用的立体点坐标。
具体地，基于所述训练用的渲染图片，选取所述图片内的像素点，计算得到所述像素点在训练用的观察角度上经过的立体点坐标，即，计算得到所述像素点所对应的训练用的立体点坐标。一般地，采用随机抽取的方式对所述训练用的渲染图片进行随机抽取，记录对应的训练用的观察角度和训练用的时间点，然后随机在所述图片上选取一批像素点，一般像素点的数量可以为16或者32，基于选取的像素点，逐个计算该像素点在所述训练用的观察角度上经过的立体点坐标。
本实施例通过上述步骤，得到8N张训练用的渲染图片，以及与其对应的训练用的观察角度、训练用的时间点以及训练用的立体点坐标。
步骤S102，将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度。
具体地，将获取到的所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至构建的三维渲染网络模型中进行计算，得到并输出训练用的三维颜色和训练用的体积密度。在本实施例中，训练所述三维渲染网络模型的输入为三维立体点坐标、二维观察角度和一维时间点，输出为三维颜色和一维体积密度，因此，其输入层至少为六维，输出层为四维，这里设置的隐藏层的数量为四个，分别为64维、256维、256维和64维。因此，本实施例设计了以下公式来进行计算，如公式1所示：
Figure 156674DEST_PATH_IMAGE002
（1）
其中，输入（x，y，z）为训练用的立体点坐标的三维变量，（θ，φ）为训练用的观察角度的二维变量，t为训练用的时间点；输出（R，G，B）为训练用的三维颜色，σ为训练用的体积密度。
步骤S103，根据所述训练用的三维颜色和所述训练用的体积密度生成训练用的成像结果。
具体地，根据三维渲染网络模型输出的训练用的三维颜色和训练用的体积密度进行渲染，生成训练用的成像结果。更为具体地，在本实施例中，根据所述训练用的三维颜色和所述训练用的体积密度生成训练用的成像结果的步骤可以包括：
将所述训练用的三维颜色和所述训练用的体积密度输入至预先构建的光学模型中进行渲染，得到所述训练用的成像结果。
具体地，将输出的四维数据，即，所述训练用的三维颜色和所述训练用的体积密度输入至预先构建的光学模型中进行计算，通过光学模型中包含的渲染公式进行渲染，得到所述训练用的成像结果，其中，所述渲染公式如下公式2和3所示：
Figure 908729DEST_PATH_IMAGE003
（2）
Figure 731192DEST_PATH_IMAGE004
（3）
其中，C为表示R、G、B三种颜色形成的向量，是指在整个观察角度上最终观察到的颜色结果。
r函数为观察角度，是指从摄像机指向被观察物的方向，也可表示为摄像机射线。
变量x和s为积分变量，表示向量的大小，是r函数的参数，其中xn为远界，xf为近界。
T（x）表示从xn到x的光线的累积通过率，即，光线从xn传播到x不击中任何其他粒子的概率。
σ函数表示体积密度，模型假设为击中粒子的概率，取值为0~1，其中，0表示没有东西击中，也即永远没有辐射。
c函数表示当前被积分点的三维颜色，因此需要观察角度r和相对原点的偏移d来唯一确定被积分点的位置。
通过上述渲染公式对输出的训练用的三维颜色和训练用的体积密度进行渲染，可以渲染出选取的所述像素点在所述训练用的观察角度下的训练用的成像结果。
基于选取的所述训练用的渲染图片，将所述图片上的所有像素点都通过所述光学模型进行迭代渲染，可以生成与选取的训练用的渲染图片所对应的训练用的成像结果。
步骤S104，将所述训练用的成像结果和所述训练用的渲染图片进行比对，得到损失参数。
具体地，将得到的所述训练用的成像结果，与对应的所述训练用的渲染图片进行比对，得到损失参数。
步骤S105，通过梯度下降法对所述三维渲染网络模型的权重进行更新；并返回执行步骤：将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度；
步骤S106，以此循环，进行权重迭代，直到所述三维渲染网络模型收敛，终止训练，得到所述训练好的三维渲染网络模型。
具体地，通过梯度下降法最小化损失参数，将结果回传至所述三维渲染网络模型中进行权重的更新，并返回执行步骤：将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度。
以此循环，重复上述步骤进行权重迭代，直到所述三维渲染网络模型收敛，终止训练，并得到所述训练好的三维渲染网络模型。
此外，为保证训练效果，对于步骤S1015中采用随机抽取的方式对所述训练用的渲染图片进行随机抽取时，应保证每张渲染图片的抽取次数不少于32次。
本实施例方案，由于单个像素的非并行渲染约在毫秒级，因此对于常见的游戏用GPU，对整个观察平面的成像可以在人的反应时间内完成，满足了三维渲染的实时性。
本实施例通过上述方法，具体通过训练所述三维渲染网络模型；获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。基于本申请方案，采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
进一步地，在上述方案中，在步骤S102，将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度之前，还可以包括：对所述三维渲染网络模型的权重进行初始化处理，具体包括：
对所述权重的初始化通过正态分布的方式进行随机抽样并赋值。
具体地，对于所述三维渲染网络模型的权重，通过正态分布的方式进行随机抽样并赋值，以此进行权重的初始化处理。
通过正态分布的方式进行随机抽样并赋值，可以避免因权重初始化为相同的随机数或初始化为零而导致的对称性问题，实现更快的模型收敛。
本实施例通过上述方案，具体通过训练所述三维渲染网络模型；获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。基于本申请方案，采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
此外，本申请实施例还提出一种三维渲染装置，所述三维渲染装置包括：
信息获取模块，用于获取待渲染的观察属性信息；
渲染模块，用于将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；
成像模块，用于根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。
本实施例实现三维渲染的原理及实施过程，请参照上述各实施例，在此不再一一赘述。
此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维渲染程序，所述三维渲染程序被所述处理器执行时实现如上所述的三维渲染方法的步骤。
由于本三维渲染程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有三维渲染程序，所述三维渲染程序被处理器执行时实现如上所述的三维渲染方法的步骤。
由于本三维渲染程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本申请实施例提出的三维渲染方法、装置、终端设备以及存储介质，通过获取待渲染的观察属性信息；将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。通过训练后的三维渲染网络模型对三维渲染结果进行预测，可以解决三维渲染依赖硬件并行的优化且容易达到瓶颈的问题，大幅节省算力，提升三维渲染的实时效率。基于本申请方案，采用神经网络对渲染结果进行预测，在牺牲少量的渲染准确度的情况下，可大幅节省硬件算力，实现实时性渲染。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种三维渲染方法，其特征在于，所述三维渲染方法包括：
获取待渲染的观察属性信息；
将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；
根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。
2.根据权利要求1所述的三维渲染方法，其特征在于，所述待渲染的观察属性信息包括待渲染的观察角度、待渲染的时间点和待渲染的立体点坐标，所述获取待渲染的观察属性信息的步骤包括：
获取与待渲染场景相对的主视角所在位置；
根据所述主视角所在位置计算得到所述待渲染的观察角度；
将所述待渲染场景的开始时间设置为初始时间点；
基于所述初始时间点对增加的每一帧进行计时，得到所述待渲染的时间点；
根据所述主视角所在位置，计算得到主视角内的像素点所对应的所述待渲染的立体点坐标。
3.根据权利要求2所述的三维渲染方法，其特征在于，获取待渲染的观察属性信息的步骤之前，还包括：
训练所述三维渲染网络模型，其中，所述三维渲染网络模型采用神经辐射场的方法来构建。
4.根据权利要求3所述的三维渲染方法，其特征在于，所述训练所述三维渲染网络模型的步骤包括：
获取训练用的渲染图片和对应的训练用的观察属性信息，其中，所述训练用的观察属性信息包括训练用的观察角度、训练用的时间点以及训练用的立体点坐标；
将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度；
根据所述训练用的三维颜色和所述训练用的体积密度生成训练用的成像结果；
将所述训练用的成像结果和所述训练用的渲染图片进行比对，得到损失参数；
通过梯度下降法对所述三维渲染网络模型的权重进行更新；并返回执行步骤：将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度；
以此循环，进行权重迭代，直到所述三维渲染网络模型收敛，终止训练，得到所述训练好的三维渲染网络模型。
5.根据权利要求4所述的三维渲染方法，其特征在于，所述获取训练用的渲染图片和对应的训练用的观察属性信息的步骤包括：
获取训练用的场景；
根据选定的训练用的观察角度对所述训练用的场景进行常规渲染，得到训练用的渲染场景；
对所述训练用的渲染场景进行图片逐帧切分，得到所述训练用的渲染图片；
根据所述训练用的渲染图片，获取所述训练用的观察角度和所述训练用的时间点；
选取所述训练用的渲染图片内的像素点，计算得到所述像素点对应的所述训练用的立体点坐标。
6.根据权利要求5所述的三维渲染方法，其特征在于，所述根据所述训练用的三维颜色和所述训练用的体积密度生成训练用的成像结果的步骤包括：
将所述训练用的三维颜色和所述训练用的体积密度输入至预先构建的光学模型中进行渲染，得到所述训练用的成像结果。
7.根据权利要求6所述的三维渲染方法，其特征在于，所述将所述训练用的观察角度、所述训练用的时间点以及所述训练用的立体点坐标输入至三维渲染网络模型中，计算并输出训练用的三维颜色和训练用的体积密度的步骤之前，还包括：
对所述三维渲染网络模型的权重进行初始化处理，具体包括：
对所述权重的初始化通过正态分布的方式进行随机抽样并赋值。
8.一种三维渲染装置，其特征在于，所述三维渲染装置包括：
信息获取模块，用于获取待渲染的观察属性信息；
渲染模块，用于将所述待渲染的观察属性信息输入至预先训练好的三维渲染网络模型中，计算得到待渲染的三维颜色和待渲染的体积密度；
成像模块，用于根据所述待渲染的三维颜色和所述待渲染的体积密度生成三维渲染成像结果。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维渲染程序，所述三维渲染程序被所述处理器执行时实现如权利要求1-7中任一项所述的三维渲染方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有三维渲染程序，所述三维渲染程序被处理器执行时实现如权利要求1-7中任一项所述的三维渲染方法的步骤。
CN202211146902.7A 2022-09-21 2022-09-21 三维渲染方法、装置、终端设备以及存储介质 Active CN115243025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211146902.7A CN115243025B (zh) 2022-09-21 2022-09-21 三维渲染方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211146902.7A CN115243025B (zh) 2022-09-21 2022-09-21 三维渲染方法、装置、终端设备以及存储介质

Publications (2)

Publication Number Publication Date
CN115243025A true CN115243025A (zh) 2022-10-25
CN115243025B CN115243025B (zh) 2023-01-24

Family

ID=83680365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211146902.7A Active CN115243025B (zh) 2022-09-21 2022-09-21 三维渲染方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN115243025B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888689A (zh) * 2021-11-05 2022-01-04 上海壁仞智能科技有限公司 图像渲染模型训练、图像渲染方法及装置
CN114119839A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维模型重建与图像生成方法、设备以及存储介质
CN114119849A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维场景渲染方法、设备以及存储介质
CN114758081A (zh) * 2022-06-15 2022-07-15 之江实验室 基于神经辐射场的行人重识别三维数据集构建方法和装置
CN114820945A (zh) * 2022-05-07 2022-07-29 北京影数科技有限公司 基于稀疏采样的环拍图像到任意视点图像生成方法及系统
CN114898028A (zh) * 2022-04-29 2022-08-12 厦门大学 基于点云的场景重建兼渲染的方法、存储介质和电子设备
US20220309741A1 (en) * 2021-03-24 2022-09-29 Sony Interactive Entertainment Inc. Image rendering method and apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220309741A1 (en) * 2021-03-24 2022-09-29 Sony Interactive Entertainment Inc. Image rendering method and apparatus
CN113888689A (zh) * 2021-11-05 2022-01-04 上海壁仞智能科技有限公司 图像渲染模型训练、图像渲染方法及装置
CN114119839A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维模型重建与图像生成方法、设备以及存储介质
CN114119849A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维场景渲染方法、设备以及存储介质
CN114898028A (zh) * 2022-04-29 2022-08-12 厦门大学 基于点云的场景重建兼渲染的方法、存储介质和电子设备
CN114820945A (zh) * 2022-05-07 2022-07-29 北京影数科技有限公司 基于稀疏采样的环拍图像到任意视点图像生成方法及系统
CN114758081A (zh) * 2022-06-15 2022-07-15 之江实验室 基于神经辐射场的行人重识别三维数据集构建方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
常远 等: "《基于神经辐射场的视点合成算法综述》", 《图学学报》 *

Also Published As

Publication number Publication date
CN115243025B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN109961507B (zh) 一种人脸图像生成方法、装置、设备及存储介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
JP7026222B2 (ja) 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
CN114863037B (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
JP2022522564A (ja) 画像処理方法及びその装置、コンピュータ機器並びにコンピュータプログラム
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
US12112418B2 (en) Volumetric capture and mesh-tracking based machine learning 4D face/body deformation training
CN115239857B (zh) 图像生成方法以及电子设备
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
CN117274501B (zh) 一种可驱动数字人建模方法、装置、设备及介质
IL299465A (en) An object recognition neural network for predicting a missing visual information center
CN115953533A (zh) 三维人体重建方法及装置
CN115100707A (zh) 模型的训练方法、视频信息生成方法、设备以及存储介质
KR20230098313A (ko) 안면 재구성 방법, 장치, 컴퓨터 기기 및 저장 매체
CN116091871B (zh) 一种针对目标检测模型的物理对抗样本生成方法及装置
CN115243025B (zh) 三维渲染方法、装置、终端设备以及存储介质
CN114118367B (zh) 增量式神经辐射场构建的方法及设备
CN117422797A (zh) 表情特征的提取方法、装置、设备及计算机可读存储介质
CN113222178A (zh) 模型训练方法、用户界面的生成方法、装置及存储介质
US20240290021A1 (en) Avatar control
CN117788656B (zh) 视频生成方法、装置及设备
CN117671538A (zh) 一种第一人称视角无人机视频显著性预测方法及系统
CN117689800A (zh) 风格化图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant