CN115731336A - 图像渲染方法、图像渲染模型生成方法及相关装置 - Google Patents

图像渲染方法、图像渲染模型生成方法及相关装置 Download PDF

Info

Publication number
CN115731336A
CN115731336A CN202310018529.5A CN202310018529A CN115731336A CN 115731336 A CN115731336 A CN 115731336A CN 202310018529 A CN202310018529 A CN 202310018529A CN 115731336 A CN115731336 A CN 115731336A
Authority
CN
China
Prior art keywords
rendered
view
geometric
given
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310018529.5A
Other languages
English (en)
Other versions
CN115731336B (zh
Inventor
李昱
曹成坤
周天松
周昌印
余飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Gaishi Technology Co ltd
International Digital Economy Academy IDEA
Original Assignee
Hangzhou Gaishi Technology Co ltd
International Digital Economy Academy IDEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Gaishi Technology Co ltd, International Digital Economy Academy IDEA filed Critical Hangzhou Gaishi Technology Co ltd
Priority to CN202310018529.5A priority Critical patent/CN115731336B/zh
Publication of CN115731336A publication Critical patent/CN115731336A/zh
Application granted granted Critical
Publication of CN115731336B publication Critical patent/CN115731336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)

Abstract

本发明公开了一种图像渲染方法、图像渲染模型生成方法及相关装置,通过将构建的目标场景的待渲染视角的3D空间体的每个体素点,投影至各给定视图的几何特征图,以生成各体素点的几何融合特征向量;根据每个体素点的几何融合特征向量,构建待渲染视角的几何特征体;基于几何强度体,对待渲染视角对应的发射光线进行采样,得到若干采样点;将各采样点分别投影至各给定视图对应的纹理特征图,以生成各采样点的纹理融合特征向量;根据各纹理融合特征向量对每个发射光线进行积分,得到每个发射光线的光线特征,以基于光线特征渲染出待渲染视角对应的目标图像。通过上述方案,可以在稀疏视角下实现高效率高质量的新视角图像渲染。

Description

图像渲染方法、图像渲染模型生成方法及相关装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像渲染方法、图像渲染模型生成方法及相关装置。
背景技术
新视角合成技术是计算机视觉及计算机图像学的一个重要研究课题,目前广泛应用于数字和娱乐行业,从电影制作到游戏,再到蓬勃发展的虚拟现实和增强现实应用。所谓的新视角合成,就是给定一系列相机或者单个可移动的相机拍摄出的一个三维场景的一组图片,由这些图片来合成新视点下的这个三维场景的图片,相当于有个虚拟相机在新视点下拍摄的这个三维场景的图片一样。
目前,图像渲染技术在新视角合成的重要技术手段。目前用于新视角合成的图像渲染技术主要分为两类:基于图像的渲染技术;基于神经辐射场的渲染技术。
首先,基于图像的渲染技术需要输入稠密的多视角图像对三维场景进行3D重建,严重依赖于稠密的多视角图像以及对三维场景的3D重建质量,需要较大的硬件成本并且一旦三维场景的3D重建结果有较大缺陷,相应的渲染出的新视角图像也会出现严重的失真。
其次,基于神经辐射场的渲染技术,虽然能够通过大规模的训练学习出三维场景的几何先验,从而仅需要较为稀疏的多视角图像作为输入即可渲染出新视角图像。然而,基于神经辐射场的渲染技术需要利用体渲染技术渲染图像,计算量极大,图像渲染的时间开销较大,需要较长的时间才能渲染出新视角图像,限制了基于神经辐射场的渲染技术在新视角合成方面的应用。
基于此,如何在稀疏视角下完成高效率、高质量的新视角图像合成,成为亟需解决的技术问题。
发明内容
本发明的主要目的在于提供一种图像渲染方法、图像渲染模型生成方法,旨在解决现有技术中利用稀疏视角进行新视角图像合成时渲染速度慢、渲染质量差的问题。
为了实现上述目的,本发明实施例提供了一种图像渲染方法,所述方法包括:
获取目标场景的给定视图,并生成各所述给定视图的几何特征图和纹理特征图;其中,给定视图与给定视角一一对应;
将构建的所述目标场景的待渲染视角的3D空间体的每个体素点,投影至各所述给定视角的所述几何特征图,以生成各所述体素点的几何融合特征向量;
根据每个所述体素点的所述几何融合特征向量,构建所述待渲染视角的几何特征体;
基于所述几何特征体,对所述待渲染视角对应的发射光线进行采样,得到若干采样点;
将各所述采样点分别投影至各所述给定视角对应的所述纹理特征图,以生成各所述采样点的纹理融合特征向量;
根据各所述纹理融合特征向量对每个所述发射光线进行积分,得到每个所述发射光线的光线特征,以基于所述光线特征渲染出所述待渲染视角对应的目标图像。
可选地,在将构建的所述待渲染视角的3D空间体的每个体素点,投影至各所述给定视角对应的所述几何特征图之前,所述方法还包括:
确定所述待渲染视角对应的虚拟相机的相机参数;
通过平面扫描算法,根据所述虚拟相机的相机参数在预设近平面和预设远平面之间,构建所述待渲染视角的3D空间体;
其中,所述待渲染视角的3D空间体包括多个体素点。
可选地,所述将构建的所述待渲染视角的3D空间体的每个体素点,投影至各所述给定视角的所述几何特征图,以生成各所述体素点的几何融合特征向量,具体包括:
将所述3D空间体的每个所述体素点分别投影至各所述给定视角的几何特征图,确定各所述体素点在各所述几何特征图中的几何特征向量;
对所述体素点分别在各所述几何特征图中的几何特征向量求平均值,将所述平均值作为所述体素点的所述几何融合特征向量。
可选地,所述基于所述几何特征体,对所述待渲染视角对应的发射光线进行采样,得到若干采样点,具体包括:
根据预设3D卷积网络,对所述几何特征体进行特征提取,得到每个所述体素点的密度值,以构建所述几何特征体的几何密度体;其中,每个所述体素点的密度值表示所述体素点位于目标物体表面的概率;
通过所述几何密度体,对所述待渲染视角对应的发射光线进行重要性采样,得到若干采样点。
可选地,所述将各所述采样点分别投影至各所述给定视角对应的所述纹理特征图,以生成各所述采样点的纹理融合特征向量,具体包括:
将各所述采样点分别投影至各所述给定视角的所述纹理特征图,得到各所述采样点在各所述纹理特征图中的第一特征向量;以及
将各所述采样点分别投影至各所述给定视角的所述给定视图,得到各所述采样点在各所述给定视图中的第二特征向量;
将所述采样点同一所述给定视角的所述第一特征向量和所述第二特征向量进行拼接,得到所述采样点在所述给定视角的纹理特征向量;
将所述采样点在各所述给定视角的所述纹理特征向量进行多视角融合,得到所述采样点的纹理融合特征向量。
可选地,所述将所述采样点在各所述给定视角的所述纹理特征向量进行多视角融合,得到所述采样点的纹理融合特征向量,具体包括:
分别计算所述待渲染视角与各所述给定视角的夹角余弦值;
将各所述夹角余弦值与0值中的最大值作为权重值;
通过所述权重值,将所述采样点在各所述给定视角的纹理特征向量进行加权平均,得到所述采样点的纹理融合特征向量。
可选地,靠近所述几何特征体表面的采样点数量,大于远离所述几何特征体表面的采样点数量。
为了实现上述目的,本发明实施例还提供了一种图像渲染模型生成方法,所述方法包括:
获取目标场景的训练样本;其中,所述训练样本包括:多个给定视角的给定视角的给定视图,待渲染视角的视角参数以及真实视图;
其中,所述待渲染视角的真实视图为通过如上所述的图像渲染方法得到的;
将所述训练样本的所述多个给定视图与所述待渲染视角的视角参数输入预训练模型,以得到所述待渲染视角的渲染图像;其中,所述预训练模型为预训练神经辐射场网络;
根据所述待渲染视角的渲染图像和所述真实视图对所述预训练模型进行模型参数修正,以得到所述目标场景的图像渲染模型;
所述目标场景的图像渲染模型用于根据输入的多个给定图像以及待渲染视角的视角参数,渲染出所述目标场景中所述待渲染视角的目标图像。
为了实现上述目的,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或多个程序,所述一个或多个程序可被一个或多个处理器执行,以实现如上所述的图像渲染方法中的步骤,或者如上所述的图像渲染模型生成方法中的步骤。
为了实现上述目的,本发明实施例还提供了一种终端,所述终端包括:存储器和处理器;所述存储器存储有可被所述处理器执行的计算机可读程序;所述处理器执行所述计算机可读程序时实现如上所述的图像渲染方法中的步骤,或者如上所述的图像渲染模型生成方法中的步骤。
本发明通过将待渲染视角的3D空间体的每个体素点分别投影至各给定视图的几何特征图,以得到各体素点的几何融合特征向量;再根据各体素点的几何融合特征向量,构建待渲染视角的几何特征体;并基于几何特征体对待渲染视角对应的发射光线进行采样,得到若干采样点;再将各采样点分别投影至各给定视角的纹理特征图,以生成各采样点的纹理融合特征向量;并基于纹理融合特征向量对发射光线进行积分,得到各光线的光线特征,以基于光线特征渲染出待渲染视角对应的目标图像。上述方案,从几何路和纹理路两路确定各光线的采样点的纹理融合特征向量,以确定各光线的光线特征从而渲染出待渲染视角的目标图像,实现了稀疏视角下实现高质量、高效率的新视角图像合成。
附图说明
图1为本发明实施例提供的图像渲染方法的流程图;
图2为本发明实施例提供的图像渲染方法的示意图;
图3为本发明实施例提供的步骤S102的流程图;
图4为本发明实施例提供的步骤S106的流程图;
图5为本发明实施例提供的图像渲染模型生成方法的流程图;
图6为本发明实施例提供的渲染速度对比图;
图7为本发明实施例提供的渲染质量对比图;
图8为本发明实施例提供的终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
目前图像渲染作为新视角合成的重要技术手段,主要分为两类:传统的基于图像的渲染技术、基于神经辐射场的渲染技术。
对于传统的基于图像的渲染技术,主要是利用输入的多视点图像对目标场景进行显式3D重建,从而获得目标场景的几何信息(例如深度图、点云、三角网格等),然后利用重建的几何信息,将多个输入视角的图像映射到需要渲染的新视角,最终将映射至新视角的多张图像用一定的方法合并,最终得到新视角下的目标图像。可见,传统的基于图像的渲染技术严重依赖于对目标场景的3D重建质量,而为了提高目标场景的3D重建质量就需要稠密的多视点图像,而获取稠密的多视点图像一方面难以实现,另一方面即使实现也需要花费巨大的硬件成本。
而基于神经辐射场(Neural Radiance Field,NeRF)的渲染技术,能够通过大规模的训练学习出目标场景的NeRF模型,经过大规模训练的NeRF模型仅需要较为稀疏的视角图像作为输入即可实现新视角的渲染。但是,由于神经辐射场需要利用体渲染技术渲染图像,计算量极大,因此渲染图像的时间开销更大。
基于此,本发明提供了一种图像渲染方法、图像渲染模型生成方法及相关装置,能够在稀疏视角下快速渲染出高质量的新视角图像。
本发明实施例提供了一种图像渲染方法,用于渲染出新视角的目标图像。如图1所示,本发明实施例提供的图像渲染方法至少可以包括以下步骤:
S101,获取目标场景的给定视角的给定视图,并生成各给定视图的几何特征图和纹理特征图。
在发明实施例中,目标场景是3D场景,目标场景的给定视角的给定视图是指不同的给定视角下目标场景对应的二维图像。其中,给定视角和给定视图是一一对应的,目标场景中的每个给定视角都有一个给定视图。
在本发明实施例中,可以将给定视图
Figure 605633DEST_PATH_IMAGE001
分别输入几何编码器和纹理编码器,从而得到各给定视图的几何特征图
Figure 53932DEST_PATH_IMAGE002
和纹理特征图
Figure 99248DEST_PATH_IMAGE003
。其中,N表示给定视角的数量。
如图2所示,给定视角即为图2中的四个输入视角,每个给定视角对应有一个给定视图,将各给定视图分别输入几何编码器和纹理编码器,即可分别得到各给定视图的几何特征图和纹理特征图。
本发明实施例提供的几何编码器和纹理编码器均可以是2D卷积神经网络。
S102,构建该目标场景的待渲染视角对应的3D空间体。
如图3所示,步骤S102至少可以通过以下步骤实现:
S301,确定待渲染视角对应的虚拟相机的相机参数。
其中,虚拟相机的相机参数包括:相机内参、相机外参。
S302,通过平面扫描算法,根据虚拟相机的相机参数在预设近平面和预设远平面之间,构建待渲染视角对应的3D空间体。
其中,待渲染视角的3D空间体包括多个体素点P,其中
Figure 900982DEST_PATH_IMAGE004
Figure 246513DEST_PATH_IMAGE005
表示3D空间体的体素点集合。
在本发明实施例中,根据给定的待渲染视角的相机参数,通过平面扫描算法,在给定的预设近平面和预设远平面之间,构造待渲染视角对应的离散的3D空间体。
S103,将待渲染视角的3D空间体的每个体素点,投影至各给定视角的几何特征图,以生成各体素点的几何融合特征向量。
具体地,将3D空间体的每个体素点分别投影至各给定视角的几何特征图,确定各体素点在各几何特征图中的几何特征向量。然后,对体素点在各几何特征图中的几何特征向量进行取平均值,并该平均值作为该体素点的几何融合特征向量。
进一步的,根据给定视角的相机参数和待渲染视角的相机参数,将各体素点P投影至各个给定视角的几何特征图中,确定各体素点在各几何特征图中的投影点,再在被投影的几何特征图上进行双线性采样,从而得到在给定视角下的几何特征向量
Figure 475500DEST_PATH_IMAGE006
,即:
Figure 8112DEST_PATH_IMAGE007
随后,对于每个体素点在各给定视角下的几何特征向量进行平均计算,将得到的平均值作为该体素点的几何融合特征向量
Figure 613537DEST_PATH_IMAGE008
,其中,
Figure 813574DEST_PATH_IMAGE009
为向量的维数。故,通过上述实施例即可得到各体素点的几何融合特征向量。
S104,根据每个体素点的几何融合特征向量,构建待渲染视角的几何特征体。
由上述可知,待渲染视角的3D空间体中的每个体素点P都具有一个几何融合特征向量,从而可以得到待渲染视角的几何特征体
Figure 213463DEST_PATH_IMAGE010
,其中H,W,D分别为几何特征体
Figure 233372DEST_PATH_IMAGE011
的长、宽与深度,如图2所示。
S105,基于该几何特征体,对待渲染视角对应的发射光线进行采样,得到若干采样点。
其中,待渲染视角对应的发射光线是指待渲染视角对应的虚拟相机从其相机光心发射的光线。
在本发明实施例中,靠近几何特征体表面的采样点数量大于远离几何特征体表面的采样点数量,从而使得在几何特征体表面的采样点更加密集,而在远离几何特征体表面的采样点稀疏。
进一步地,可以先通过预设3D卷积网络,对几何特征体进行特征提取,得到每个所述体素点的密度值,以构建所述几何特征体的几何密度体;其中,每个所述体素点的密度值表示所述体素点位于目标物体表面的概率;再通过几何密度体,对待渲染视角的虚拟相机光心发射的光线进行重要性采样,得到若干采样点。
也就是说,在本发明实施例中可以根据预设3D卷积网络对几何特征体进行特征提取,得到相应的几何密度体,几何密度体中包含了目标场景的3D信息。通过几何密度体,对待渲染视角对应的发射光线进行重要性采样,得到若干采样点。同时,靠近几何密度体表面的采样点数量大于远离几何密度体表面的采样点数量。
在本发明实施例中,使用3D卷积网络从几何特征体预测几何密度体,所预测的几何密度体包含了场景的几何信息。通过几何密度体,对待渲染视角的每个像素的发射光线进行重要性采样得到若干采样点。与NeRF中先进行平均采样,基于平均采样的结果再进行重要性采样相比,直接进行重要性采样能够减少计算量,降低图像渲染的时间开销。
S106,将各采样点分别投影至各给定视角的纹理特征图,以生成各采样点的纹理融合特征向量。
如图4所示,步骤S106至少可以通过以下步骤实现:
S401,将各采样点分别投影至各给定视角的纹理特征图,得到各采样点在各纹理特征图中的第一特征向量。
对于每个采样点
Figure 642487DEST_PATH_IMAGE012
,可以根据待渲染视角的相机参数和给定视角的相机参数,将其投影至各给定视角的纹理特征图,以确定各采样点在各纹理特征图中的投影点,再在被投影的纹理特征图上进行双线性采样,从而得到在给定视角下的第一特征向量
Figure 697031DEST_PATH_IMAGE013
,即:
Figure 392455DEST_PATH_IMAGE014
S402,将各采样点分别投影至各给定视角的给定视图,得到各采样点在各给定视图中的第二特征向量。
同样的,对于每个采样点
Figure 40605DEST_PATH_IMAGE012
,可以根据待渲染视角的相机参数和给定视角的相机参数,将其投影至各给定视角的给定视图,以确定各采样点在各给定视图图中的投影点,再在被投影的纹理特征图上进行双线性采样,从而得到在给定视角下的第二特征向量
Figure 581307DEST_PATH_IMAGE015
,即:
Figure 631303DEST_PATH_IMAGE016
需要说明的是,可以先执行上述步骤S401,再执行步骤S402;或者先执行步骤S402,再执行步骤S401;亦或者,步骤S401和步骤S402同时执行,在本发明实施例中不做具体限定。
S403,将采样点同一给定视角的第一特征向量和第二特征向量进行拼接,得到该采样点的纹理特征向量。
在发明实施例中,将第一特征向量
Figure 497628DEST_PATH_IMAGE013
与第二特征向量
Figure 492129DEST_PATH_IMAGE015
进行拼接,得到各采样点的纹理特征向量
Figure 977468DEST_PATH_IMAGE017
S404,将采样点在各给定视角的纹理特征向量进行多视角融合,得到采样点的纹理融合特征向量。
具体地,可以先分别计算待渲染视角与各给定视角的夹角余弦值;并将夹角余弦值中的最大值作为权重值;再通过该权重值,将各采样点在各给定视角的纹理特征向量进行加权平均,得到该采样点的纹理融合特征向量(如图2所示),即:
Figure 6604DEST_PATH_IMAGE018
Figure 184775DEST_PATH_IMAGE019
其中,
Figure 666572DEST_PATH_IMAGE020
为待渲染视角
Figure 690023DEST_PATH_IMAGE021
与给定视角
Figure 573665DEST_PATH_IMAGE022
之间夹角的余弦值;
Figure 922738DEST_PATH_IMAGE023
为各余弦值与0值间的最大值作为权重值,
Figure 626252DEST_PATH_IMAGE024
为权重值之和。
将第一特征向量
Figure 578027DEST_PATH_IMAGE013
与第二特征向量
Figure 457122DEST_PATH_IMAGE015
进行拼接后得到的特征向量,作为采样点的纹理特征向量,可以使得各采样点的纹理特征向量更加精确,从而进一步提高图像渲染的质量。
S107,根据各纹理融合特征向量对每个发射光线进行积分,得到每个发射光线的光线特征。
在得到各采样点的纹理融合特征向量后,在纹理特征空间中根据纹理融合特征向量对每个发射光线进行积分,得到相应的光线特征:
Figure 836151DEST_PATH_IMAGE025
Figure 167906DEST_PATH_IMAGE026
Figure 923372DEST_PATH_IMAGE027
其中,
Figure 391394DEST_PATH_IMAGE028
表示相邻的第i+1个采样点和第i个采样点之间的距离;
Figure 941324DEST_PATH_IMAGE029
表示采样点的透明度;
Figure 885009DEST_PATH_IMAGE030
表示采样点的几何密度值,几何密度值表示体素点位于物体表面的概率。
S108,基于每个发射光线的光线特征,渲染出待渲染视角对应的目标图像。
在本发明实施例中,可以通过多层感知机(Multi-Layer Perception,MLP)将光线特征映射为颜色值:
Figure 319533DEST_PATH_IMAGE031
。然后通过颜色值即可渲染出待渲染视角对应的目标图像。
本发明实施例提供的图像渲染方法,将待渲染视角的3D空间体的每个体素点分别投影至各给定视角的几何特征图,以得到各体素点的几何融合特征向量,从而根据各体素点的几何融合特征向量,构建待渲染视角的几何特征体,然后基于几何特征体对待渲染视角对应的发射光线进行重要性采样,得到若干采样点,并将各采样点分别投影至各给定视角的纹理特征图,以生成各采样点的纹理融合特征向量,从而基于纹理融合特征向量对发射光线进行积分,以得到各光线的光线特征,从而基于光线特征渲染出待渲染视角对应的目标图像。该方案从几何路和纹理路两路确定各光线的采样点的纹理融合特征向量,以确定各光线的光线特征,在通过稀疏视角进行图像渲染的过程中,由于几何场与纹理场的分离处理策略,极大地减小了几何场的计算开销,因此在保证图像渲染质量的基础上能够快速地渲染出待渲染视角的目标图像。
基于上述图像渲染方法,本发明实施例还提供了一种图像渲染模型生成方法,如图5所示,本发明的图像渲染模型生成方法至少包括以下步骤:
S501,获取目标场景的训练样本。
其中,训练样本包括:多个给定视角的给定视图、待渲染视角的视角参数以及真实视图。并且,待渲染视角的原始视图为通过上述图像渲染方法得到。
在本发明实施例中,可以采用4个视图,每个视图的视角各不相同,选取任意3个视图作为给定视图,1个作为待渲染视角,组成上述训练样本。
S502,将训练样本的多个给定视角的给定视图与待渲染视角的视角参数输入预训练模型,以得到待渲染视角的渲染图像。
其中,预训练模型为预训练神经辐射场网络。
在本发明实施例中,可以采用公开数据集THuman2.0中的数据集对神经辐射场网络进行训练,得到预训练模型。
S503,根据待渲染视角的渲染图像和真实视图,对预训练模型进行模型参数修正,以得到目标场景的图像渲染模型。
其中,目标场景的图像渲染模型用于根据目标场景的多个给定视角的给定视图以及待渲染视角的视角参数,渲染出目标场景中待渲染视角的目标图像。
本发明实施例提供的图像渲染模型相较于其他现有图像渲染模型(例如:D-NeRF、PixelNeRF、MVSNeR、IBRNet),其渲染速度更快、渲染质量更高。
以渲染一张分辨率为1024x768的图像为例,如图6所示,本发明仅需2.9秒即可完成渲染,而其他现有渲染方法短则需要十几秒,长则需要四十多秒,本方案至少将渲染效率提升了6倍。并且,经过实验证明,本发明提供的图像渲染模型大小为12.8M,在极大提升渲染速度的同时保持了一个较小的模型。
如图7所示,在THuman2.0数据集中进行测试,采用峰值信噪比(Peak signal-to-noise ratio,PSNR)、相似结构性(structural similarity index,SSIM)、学习感知图像块相似度(learned perceptual image patch similarity,LPIPS)作为评价指标。其中,PSNR、SSIM值越高代表渲染质量越高,LPIPS值越低代表渲染质量越高。如图7所示,本发明提供的图像渲染模型的渲染质量更高。
基于上述图像渲染方法及图像渲染模型生成方法,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述实施例所述的图像渲染方法中的步骤,或者图像渲染模型生成方法中的步骤。
基于上述图像渲染方法及图像渲染模型生成方法,本发明还提供了一种终端,如图8所示,其包括至少一个处理器(processor)80;显示屏81;以及存储器(memory)82,还可以包括通信接口(Communications Interface)83和总线84。其中,处理器80、显示屏81、存储器82和通信接口83可以通过总线84完成相互间的通信。显示屏81设置为显示初始设置模式中预设的用户引导界面。通信接口83可以传输信息。处理器80可以调用存储器82中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器82中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器82作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器80通过运行存储在存储器82中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器82可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器82可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于终端和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的终端和介质与方法是一一对应的,因此,终端和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述终端和介质的有益技术效果。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的计算机可读存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像渲染方法,其特征在于,所述方法包括:
获取目标场景的给定视图,并生成各所述给定视图的几何特征图和纹理特征图;其中,给定视图与给定视角一一对应;
将构建的所述目标场景的待渲染视角的3D空间体的每个体素点,投影至各所述给定视角的所述几何特征图,以生成各所述体素点的几何融合特征向量;
根据每个所述体素点的所述几何融合特征向量,构建所述待渲染视角的几何特征体;
基于所述几何特征体,对所述待渲染视角对应的发射光线进行采样,得到若干采样点;
将各所述采样点分别投影至各所述给定视角对应的所述纹理特征图,以生成各所述采样点的纹理融合特征向量;
根据各所述纹理融合特征向量对每个所述发射光线进行积分,得到每个所述发射光线的光线特征,以基于所述光线特征渲染出所述待渲染视角对应的目标图像。
2.根据权利要求1所述的图像渲染方法,其特征在于,在将构建的所述待渲染视角的3D空间体的每个体素点,投影至各所述给定视角对应的所述几何特征图之前,所述方法还包括:
确定所述待渲染视角对应的虚拟相机的相机参数;
通过平面扫描算法,根据所述虚拟相机的相机参数在预设近平面和预设远平面之间,构建所述待渲染视角的3D空间体;
其中,所述待渲染视角的3D空间体包括多个体素点。
3.根据权利要求1所述的图像渲染方法,其特征在于,所述将构建的所述待渲染视角的3D空间体的每个体素点,投影至各所述给定视角的所述几何特征图,以生成各所述体素点的几何融合特征向量,具体包括:
将所述3D空间体的每个所述体素点分别投影至各所述给定视角的几何特征图,确定各所述体素点在各所述几何特征图中的几何特征向量;
对所述体素点分别在各所述几何特征图中的几何特征向量求平均值,将所述平均值作为所述体素点的所述几何融合特征向量。
4.根据权利要求1所述的图像渲染方法,其特征在于,所述基于所述几何特征体,对所述待渲染视角对应的发射光线进行采样,得到若干采样点,具体包括:
根据预设3D卷积网络,对所述几何特征体进行特征提取,得到每个所述体素点的密度值,以构建所述几何特征体的几何密度体;
其中,每个所述体素点的密度值表示所述体素点位于目标物体表面的概率;
通过所述几何密度体,对所述待渲染视角对应的发射光线进行重要性采样,得到若干采样点。
5.根据权利要求1所述的图像渲染方法,其特征在于,所述将各所述采样点分别投影至各所述给定视角对应的所述纹理特征图,以生成各所述采样点的纹理融合特征向量,具体包括:
将各所述采样点分别投影至各所述给定视角的所述纹理特征图,得到各所述采样点在各所述纹理特征图中的第一特征向量;以及
将各所述采样点分别投影至各所述给定视角的所述给定视图,得到各所述采样点在各所述给定视图中的第二特征向量;
将所述采样点同一所述给定视角的所述第一特征向量和所述第二特征向量进行拼接,得到所述采样点在所述给定视角的纹理特征向量;
将所述采样点在各所述给定视角的所述纹理特征向量进行多视角融合,得到所述采样点的纹理融合特征向量。
6.根据权利要求5所述的图像渲染方法,其特征在于,所述将所述采样点在各所述给定视角的所述纹理特征向量进行多视角融合,得到所述采样点的纹理融合特征向量,具体包括:
分别计算所述待渲染视角与各所述给定视角的夹角余弦值;
将各所述夹角余弦值与0值中的最大值作为权重值;
通过所述权重值,将所述采样点在各所述给定视角的纹理特征向量进行加权平均,得到所述采样点的纹理融合特征向量。
7.根据权利要求1所述的图像渲染方法,其特征在于,靠近所述几何特征体表面的采样点数量,大于远离所述几何特征体表面的采样点数量。
8.一种图像渲染模型生成方法,其特征在于,所述方法包括:
获取目标场景的训练样本;其中,所述训练样本包括:多个给定视角的给定视角的给定视图,待渲染视角的视角参数以及真实视图;
其中,所述待渲染视角的真实视图为通过如权利要求1-7任一项所述的图像渲染方法得到的;
将所述训练样本的所述多个给定视图与所述待渲染视角的视角参数输入预训练模型,以得到所述待渲染视角的渲染图像;其中,所述预训练模型为预训练神经辐射场网络;
根据所述待渲染视角的渲染图像和所述真实视图对所述预训练模型进行模型参数修正,以得到所述目标场景的图像渲染模型;
所述目标场景的图像渲染模型用于根据输入的多个给定图像以及待渲染视角的视角参数,渲染出所述目标场景中所述待渲染视角的目标图像。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或多个程序,所述一个或多个程序可被一个或多个处理器执行,以实现如权利要求1-7任意一项所述的图像渲染方法中的步骤,或者如权利要求8所述的图像渲染模型生成方法中的步骤。
10.一种终端,其特征在于,所述终端包括:存储器和处理器;所述存储器存储有可被所述处理器执行的计算机可读程序;所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的图像渲染方法中的步骤,或者如权利要求8所述的图像渲染模型生成方法中的步骤。
CN202310018529.5A 2023-01-06 2023-01-06 图像渲染方法、图像渲染模型生成方法及相关装置 Active CN115731336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310018529.5A CN115731336B (zh) 2023-01-06 2023-01-06 图像渲染方法、图像渲染模型生成方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310018529.5A CN115731336B (zh) 2023-01-06 2023-01-06 图像渲染方法、图像渲染模型生成方法及相关装置

Publications (2)

Publication Number Publication Date
CN115731336A true CN115731336A (zh) 2023-03-03
CN115731336B CN115731336B (zh) 2023-05-16

Family

ID=85301929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310018529.5A Active CN115731336B (zh) 2023-01-06 2023-01-06 图像渲染方法、图像渲染模型生成方法及相关装置

Country Status (1)

Country Link
CN (1) CN115731336B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129058A (zh) * 2023-04-13 2023-05-16 图林科技(深圳)有限公司 一种基于人工智能的云端展会三维建模与渲染方法
CN117058049A (zh) * 2023-05-04 2023-11-14 广州图语信息科技有限公司 新视角图像合成方法、合成模型训练方法及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259351A1 (en) * 2010-12-09 2013-10-03 Koninklijke Philips Electronics N.V. Volumetric rendering of image data
US20140225887A1 (en) * 2013-02-11 2014-08-14 EchoPixel, Inc. Graphical system with enhanced stereopsis
CN112465955A (zh) * 2020-12-10 2021-03-09 浙江大学 一种动态人体三维重建和视角合成方法
US20210082185A1 (en) * 2019-09-13 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for rendering a visual scene
US20210312698A1 (en) * 2020-04-02 2021-10-07 Adobe Inc. Utilizing voxel feature transformations for deep novel view synthesis
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN113888689A (zh) * 2021-11-05 2022-01-04 上海壁仞智能科技有限公司 图像渲染模型训练、图像渲染方法及装置
CN114241113A (zh) * 2021-11-26 2022-03-25 浙江大学 一种基于深度引导采样的高效神经辐射场渲染方法
US20220148250A1 (en) * 2020-11-11 2022-05-12 Sony Interactive Entertainment Inc. Image rendering method and apparatus
WO2022111400A1 (zh) * 2020-11-27 2022-06-02 华为技术有限公司 多光源场景渲染的光源采样权重确定方法及相关设备
CN114972617A (zh) * 2022-06-22 2022-08-30 北京大学 一种基于可导渲染的场景光照与反射建模方法
CN114998515A (zh) * 2022-05-19 2022-09-02 大连理工大学 一种基于多视角图像的3d人体自监督重建方法
CN115170741A (zh) * 2022-07-22 2022-10-11 北京航空航天大学 一种稀疏视角输入下的快速辐射场重建方法
CN115457192A (zh) * 2022-07-29 2022-12-09 浙江工业大学 基于自集成模块的nerf新视角合成模型的实现方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259351A1 (en) * 2010-12-09 2013-10-03 Koninklijke Philips Electronics N.V. Volumetric rendering of image data
US20140225887A1 (en) * 2013-02-11 2014-08-14 EchoPixel, Inc. Graphical system with enhanced stereopsis
US20210082185A1 (en) * 2019-09-13 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for rendering a visual scene
US20210312698A1 (en) * 2020-04-02 2021-10-07 Adobe Inc. Utilizing voxel feature transformations for deep novel view synthesis
US20220148250A1 (en) * 2020-11-11 2022-05-12 Sony Interactive Entertainment Inc. Image rendering method and apparatus
WO2022111400A1 (zh) * 2020-11-27 2022-06-02 华为技术有限公司 多光源场景渲染的光源采样权重确定方法及相关设备
CN112465955A (zh) * 2020-12-10 2021-03-09 浙江大学 一种动态人体三维重建和视角合成方法
WO2022121220A1 (zh) * 2020-12-10 2022-06-16 浙江大学 一种动态人体三维重建和视角合成方法
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN113888689A (zh) * 2021-11-05 2022-01-04 上海壁仞智能科技有限公司 图像渲染模型训练、图像渲染方法及装置
CN114241113A (zh) * 2021-11-26 2022-03-25 浙江大学 一种基于深度引导采样的高效神经辐射场渲染方法
CN114998515A (zh) * 2022-05-19 2022-09-02 大连理工大学 一种基于多视角图像的3d人体自监督重建方法
CN114972617A (zh) * 2022-06-22 2022-08-30 北京大学 一种基于可导渲染的场景光照与反射建模方法
CN115170741A (zh) * 2022-07-22 2022-10-11 北京航空航天大学 一种稀疏视角输入下的快速辐射场重建方法
CN115457192A (zh) * 2022-07-29 2022-12-09 浙江工业大学 基于自集成模块的nerf新视角合成模型的实现方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129058A (zh) * 2023-04-13 2023-05-16 图林科技(深圳)有限公司 一种基于人工智能的云端展会三维建模与渲染方法
CN117058049A (zh) * 2023-05-04 2023-11-14 广州图语信息科技有限公司 新视角图像合成方法、合成模型训练方法及存储介质
CN117058049B (zh) * 2023-05-04 2024-01-09 广州图语信息科技有限公司 新视角图像合成方法、合成模型训练方法及存储介质

Also Published As

Publication number Publication date
CN115731336B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Wang et al. Nerf-sr: High quality neural radiance fields using supersampling
CN115731336B (zh) 图像渲染方法、图像渲染模型生成方法及相关装置
US8860712B2 (en) System and method for processing video images
JP4052331B2 (ja) 仮想視点画像生成方法及び3次元画像表示方法並びに装置
JP5011168B2 (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN114049420B (zh) 一种模型训练方法、图像渲染方法、装置和电子设备
WO2023093824A1 (zh) 点云质量评价方法、设备和存储介质
CN115409931A (zh) 一种基于图像与点云数据融合的三维重建方法
CN113840127A (zh) 一种卫星视频影像获取水域自动掩膜处理dsm的方法
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
Huang et al. Performance enhanced elemental array generation for integral image display using pixel fusion
CN117115047A (zh) 一种图像增强方法、装置、设备及存储介质
CN115147577A (zh) Vr场景生成方法、装置、设备及存储介质
US9118902B1 (en) Stereoscopic conversion
Yan et al. Stereoscopic image generation from light field with disparity scaling and super-resolution
Srinivasan Scene Representations for View Synthesis with Deep Learning
CN117061720B (zh) 基于单目图像及深度图像渲染的立体图像对生成方法
JPH1139506A (ja) 任意視点画像生成装置
Yu et al. ImmersiveNeRF: Hybrid Radiance Fields for Unbounded Immersive Light Field Reconstruction
CN112634139B (zh) 光场超分辨成像方法、装置及设备
CN115953544B (zh) 一种三维重建方法、装置、电子设备及可读存储介质
CN116258759B (zh) 一种立体匹配方法、装置和设备
CN116503536B (zh) 一种基于场景分层的光场渲染方法
Han et al. Learning residual color for novel view synthesis
Chen et al. Surface Consistent Light Field Extrapolation Over Stratified Disparity And Spatial Granularities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant