CN114863038A - 基于显式几何形变的实时动态自由视角合成方法及装置 - Google Patents

基于显式几何形变的实时动态自由视角合成方法及装置 Download PDF

Info

Publication number
CN114863038A
CN114863038A CN202210792906.6A CN202210792906A CN114863038A CN 114863038 A CN114863038 A CN 114863038A CN 202210792906 A CN202210792906 A CN 202210792906A CN 114863038 A CN114863038 A CN 114863038A
Authority
CN
China
Prior art keywords
coordinate system
real
explicit
radiation field
reference coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210792906.6A
Other languages
English (en)
Other versions
CN114863038B (zh
Inventor
徐震
孙佳明
鲍虎军
周晓巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xiangyan Technology Co ltd
Original Assignee
Hangzhou Xiangyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiangyan Technology Co ltd filed Critical Hangzhou Xiangyan Technology Co ltd
Priority to CN202210792906.6A priority Critical patent/CN114863038B/zh
Publication of CN114863038A publication Critical patent/CN114863038A/zh
Application granted granted Critical
Publication of CN114863038B publication Critical patent/CN114863038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于显式几何形变的实时动态场景自由视角合成方法及装置，在预处理阶段，获得基准坐标系下的神经辐射场与对应显式几何表示；同时提取实时辐射场和显式几何形变，在运行阶段，首先将显式几何从基准坐标系映射到世界坐标系下，获得从基准坐标系到世界坐标系的矩阵变换关系，并通过相机投影将世界坐标系下的显示几何映射到屏幕空间，对于有投影的所有像素点，根据投影矩阵与变换矩阵的逆，逆映射到基准坐标系下，并根据视角获得少量需要查询实时辐射场的坐标，查询后通过体渲染获得每个像素点的颜色值。本发明在实时获得自由视角合成的同时能够很好的控制储存空间与内存开销，并能够高质量的将实时辐射场拓展到动态场景。

Description

基于显式几何形变的实时动态自由视角合成方法及装置
技术领域
本发明属于计算机视觉领域，尤其涉及一种基于显式几何形变的实时动态自由视角合成方法及装置。
背景技术
自由视角合成（即动态场景的自由视角合成）在增强现实、虚拟现实领域及体育转播和远程会议上有着众多实际应用场景。近年来元宇宙概念的兴起，实时动态场景下的自由视角合成技术成为连接人体感官与真实虚拟场景的桥梁。
静态场景的自由视角合成的目的是：给定一系列同一场景不同视角下的图像，获取该场景在任意新视角（即新的相机位姿）下的图像。动态场景的自由视角合成解决的是给定同一动态场景在不同视角下的图像（例如足球场上运动的球员、视频会议中进行演讲的汇报人、或草坪上玩耍的猫），获取该场景在任意新视角以及场景中物体任意新动作下的图像。而实时动态场景自由视角合成便是要求输入新视角与新动作后即时获得上述图像。
现有解决自由视角合成问题的方法可以分为基于基图片绘制和基于场景重建两类。基于基图片的方法可以获得较好的自由视角图像质量，但其视角与时序连续性受到基图片数量限制。基于场景重建方法通过三维重建技术获得场景集合并通过图形学渲染得到新视角下的图像，但此类方法往往只能处理静态场景的自由视角合成，且其真实感依赖于渲染管线。
神经辐射场是近年来兴起的通过体渲染对场景的颜色与几何进行隐式重建的方法，这类方法将静态场景表达为3维坐标点与2维视角方向的5维函数（用神经网络拟合获得），通过对屏幕采样射线进行体渲染获得自由视角合成结果，能够生成具有真实感且视角连续的新视角合成结果，但受网络查询效率与体渲染的限制，其运行时速度很慢且无法处理动态环境。
为了提高神经辐射场的运行时速度，有方法提出通过离散并缓存神经辐射场，并通过数据压缩与投影方法提高神经辐射场的运行时速度，达到实时静态场景的真实感自由视角合成，但该类方法往往有很大的储存开销与内存开销，无法应用于动态场景。
为了将神经辐射场应用于动态场景的自由视角合成，还有一类方法提出使用神经形变场或动态神经辐射场对动态场景进行恢复与自由视角合成，但这类方法的运行时速度仍受限于体渲染的大量采样与神经网络的时间开销，且由于神经形变场的可延伸性较弱，此类方法一般不能处理场景中原本不存在的新动作。
发明内容
本发明针对现有技术的不足，提供一种基于显式几何形变的实时动态自由视角合成方法及装置，本发明方法基于显式几何（例如三角网格模型等显式表面模型）的形变场（即不同坐标系下的矩阵变换关系），将有效神经辐射场采样点映射到基准场景坐标系，同时采用离散化与缓存方法加速基准神经辐射场渲染效率。
本发明的目的是通过以下技术方案实现的：
根据本发明的第一方面，提供一种基于显式几何形变的实时动态自由视角合成方法，该方法包括预处理阶段和运行阶段；
(1)预处理阶段，包括：
(1.1)给定动态场景的多视角视频，重建出基准坐标系下的神经辐射场与对应显式几何表示；
(1.2)根据基准坐标系下的神经辐射场，提取动态场景对应的基准坐标系下的实时辐射场；提取基准坐标系下显示几何和动态场景对应的形变场；
(2)运行阶段，包括：
(2.1)将显式几何从基准坐标系映射到世界坐标系下，获得从基准坐标系到世界坐标系的变换关系，并通过投影将世界坐标系下的显示几何映射到屏幕空间；
(2.2)对于有投影的所有像素点，根据投影矩阵与变换矩阵的逆，逆映射到基准坐标系下，并根据视角信息获得需要查询实时辐射场的坐标，查询后通过体渲染获得每个像素点的颜色值。
进一步地，步骤(1.1)中，所述神经辐射场的输入为三维空间点位置以及二维观察方向，输出为三维空间点的颜色以及空间点透明度。
进一步地，步骤(1.1)中，在重建基准坐标系下的神经辐射场的过程中，引入对神经辐射场几何部分的相似性约束，使得空间中邻近点的基准坐标系法向、世界坐标系法向以及位移场空间运动速度相近。
进一步地，步骤(1.1)中，神经辐射场的颜色坐标多层感知机的输入为基准坐标系下的观察方向。
进一步地，步骤(1.2)中，提取实时辐射场的过程中，过滤距离显式几何超过设定距离阈值的网格点，将实时辐射场中八叉树同一叶子节点下不同三维空间位置的采样点均用于该叶子节点的球谐函数投影。
进一步地，步骤(1.2)中，利用参数化梯度下降算法结合位移场的连续性，优化获得显式几何位移场的逆，基于自动梯度求解算法进行求解初始化。
进一步地，步骤(2.1)中，利用顶点着色器并行应用显式几何形变场，并进行投影变换，以获得从基准坐标系到屏幕空间的变换关系。
进一步地，步骤(2.1)中，对于人体数据，利用顶点着色器并行应用线性骨骼蒙皮动画的正向算法的变换关系，获得从形变坐标系到世界坐标系的变换关系。
进一步地，步骤(2.2)中，利用渲染过程以及形变过程的变换关系的逆，通过片段着色器并行地将体渲染所需的采样点以及射线映射到基准坐标系，采样基准坐标系下实时辐射场，利用片段着色器并行运行体渲染算法。
根据本发明的第二方面，提供一种基于显式几何形变的实时动态自由视角合成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述基于显式几何形变的实时动态自由视角合成方法。
本发明的有益效果是：
由于本发明方法基于显式几何的形变场进行动态场景与抽象基准场景的映射，可以完成任意动作下的新视角合成，包括场景中原本不存在的动作。
由于运行时渲染的所有步骤都可通过GPU并行加速进行，本发明方法可以达成实时动态场景的自由视角合成。
本发明提出的方法无需对不同动作进行缓存与离散化，在实时获得自由视角视频的同时能很好的控制储存空间与内存开销，能很好的将实时辐射场拓展到动态场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的整体流程示意图。
图2是本发明实施例的动态神经辐射场重建流程示意图。
图3是本发明实施例的形变场与实时辐射场提取流程示意图。
图4是本发明实施例的动态神经辐射场实时渲染流程示意图。
图5为本发明实施例提供的基于显式几何形变的实时动态自由视角合成装置结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明提供一种基于显式几何形变的实时动态自由视角合成方法，主要包含两个阶段和四个技术流程，其中流程（1.1）、（1.2）离线运行，流程（2.1）、（2.2）实时运行。本发明方法可以在任意能够通过显式几何形变控制的场景下运行，下述为在动态人体自由视角合成下的实施方式。
一、预处理阶段：
（1.1）动态神经辐射场重建
对于给定动态场景的多视角视频，重建出基准坐标系下的神经辐射场及其对应的显式几何表示（“对应”的含义是：显式几何表示和神经辐射场在基准坐标系下是对齐的）。对于方法中描述的人体的例子，假设有同步的多视角视频及其对应的人体位姿估计和前景蒙版（mask）作为输入。
动态场景神经辐射场重建流程如图2所示。神经辐射场通过坐标多层感知机（多层 感知机MLP）将静态场景表达为一个连续的体表示，对三维空间中的任意一点，坐标多层感 知机的输入为空间点位置x以及二维观察方向d，输出该点的颜色以及体密度。本发明将动 态场景表达为由空间点透明度坐标多层感知机F o 和颜色坐标多层感知机F c 构成的基准静态 神经辐射场，以及输入为时间编码θ的形变场T i （对于人体，时间编码θ为人体位姿特征
Figure 68447DEST_PATH_IMAGE001
）；Peng等人
Figure 188850DEST_PATH_IMAGE002
将形变场表达为一个基于线 性人体参数化模型SMPL和人体骨骼蒙皮动画的粗糙运动形变场，以及可优化的蒙皮权重 场，本发明将蒙皮权重场替换为可优化的位移场，以获得更优的重建效果，同时，将体密度 变换为空间点透明度o可以很好的简化体渲染过程，同时为后续我们从位移场中提取显式 几何的形变打下了基石。
具体而言，对于视频的每一帧
Figure 562063DEST_PATH_IMAGE003
，N为视频总帧数，将第i帧对应的几何F o 定义为：
Figure 426113DEST_PATH_IMAGE004
其中
Figure 83229DEST_PATH_IMAGE005
表示以空间点x和时间编码θ为输入的形变场，
Figure 374533DEST_PATH_IMAGE006
分别为第i帧空间点x处的空间点透明度和高维几何特征向量；
基准坐标系下的颜色坐标多层感知机F c 的输入为几何的法向
Figure 235041DEST_PATH_IMAGE007
，高维几何特 征向量
Figure 902783DEST_PATH_IMAGE008
，基准观察方向
Figure 915869DEST_PATH_IMAGE009
，以及时间编码θ，输出为空间点的颜色
Figure 378075DEST_PATH_IMAGE010
。其中 的法向
Figure 725879DEST_PATH_IMAGE011
通过对空间点x求导获得，而高维几何特征向量
Figure 931733DEST_PATH_IMAGE012
是F o 的输出，
Figure 297861DEST_PATH_IMAGE013
为T i 的 旋转部分。
Figure 196547DEST_PATH_IMAGE014
为了在重建过程中考虑到动态场景中空间点辐射度随着时间发生的变化，本发明 设计了一个时间编码提取模块P。具体而言，在人体的例子上，本发明通过一个短小的一维 卷积层配合全连接层整合了当前时间戳及其前两帧的
Figure 297227DEST_PATH_IMAGE015
下的位姿参数。选取 前两帧的原因是位移对于时间的二次导数是加速度，可以更好的处理动态场景中的运动信 号。
在人体数据上本发明利用人体骨骼蒙皮动画来处理粗糙的人体运动。具体而言， 给定某一帧i下SMPL三角形网格各个顶点上对于K个（本实施例中K取24）关节点的人体蒙皮 权重，本发明将世界坐标系下空间中任意一点x对应的骨骼
Figure 775613DEST_PATH_IMAGE016
的蒙皮权重
Figure 763292DEST_PATH_IMAGE017
定义为距离其最近的M个（本实施例中M取16）顶点的蒙皮权重的加权平均
Figure 567299DEST_PATH_IMAGE018
，其中权重
Figure 155276DEST_PATH_IMAGE019
定义为第m个顶点到该空间点x的距离的倒数，该 权重
Figure 437352DEST_PATH_IMAGE019
在被应用于计算蒙皮权重前会首先被正则化到和为一；
Figure 778073DEST_PATH_IMAGE020
为给定的第m个顶 点对于骨骼k的人体蒙皮权重。
接着，本发明利用线性骨骼蒙皮动画的正向算法（LBS）获得从形变坐标系到世界 坐标系下的映射关系，并通过此映射关系的逆将世界坐标系空间点x映射到形变坐标系空 间点
Figure 18561DEST_PATH_IMAGE021
。
Figure 828254DEST_PATH_IMAGE022
其中
Figure 179601DEST_PATH_IMAGE023
和
Figure 876293DEST_PATH_IMAGE024
分别为形变坐标系及世界坐标系下空间点的齐次坐标，
Figure 553262DEST_PATH_IMAGE025
为第i帧下 骨骼k的变换（transform）。获得形变坐标系下空间点后，本发明使用一个基于坐标多层感 知机的位移场
Figure 319093DEST_PATH_IMAGE026
处理线性骨骼蒙皮动画的正向算法无法处理的高频小型形变
Figure 208551DEST_PATH_IMAGE027
：
Figure 523864DEST_PATH_IMAGE028
，其中的
Figure 371734DEST_PATH_IMAGE029
为人体位姿特征，将形变坐标系空间点
Figure 624861DEST_PATH_IMAGE030
映射到基 准坐标系。在重建过程时的动态形变场被定义为：
Figure 583590DEST_PATH_IMAGE031
其中
Figure 723715DEST_PATH_IMAGE032
表示基准坐标系下的空间点坐标；
本发明在将三维空间坐标点以及二维观察方向输入坐标多层感知机之前利用位 置编码投影到更高维的坐标系下。对于需要渲染视点下的任意一个像素，本发明定义一条 从相机中心点
Figure 476907DEST_PATH_IMAGE033
到世界坐标系下像素坐标的连线，并在其上均匀采样N个（本实施例中N取 64）点，将该连线所在的射线定义为r。在实际实现过程中，本发明将采样点限制在人体位姿 所定义的包围盒中。神经辐射场使用体渲染算法的离散近似进行渲染像素值的可微运算， 数学意义上其体渲染算法是一种透明度合成算法：
Figure 482910DEST_PATH_IMAGE034
其中
Figure 245329DEST_PATH_IMAGE035
和
Figure 895753DEST_PATH_IMAGE036
分别代表相应采样点处的空间点透明度和颜色；
通过优化每一帧i下对应像素的射线r经过上述体渲染算法渲染出的颜色
Figure 951607DEST_PATH_IMAGE037
和 实际图片颜色值
Figure 179326DEST_PATH_IMAGE038
的差距
Figure 479857DEST_PATH_IMAGE039
，可以获得一个动态场景的神经辐射场表示。
Figure 860154DEST_PATH_IMAGE040
其中
Figure 955149DEST_PATH_IMAGE041
表示前景蒙版中的像素点。在优化过程中，为了获得高质量的显式几何，以 及高质量的位移场表达，本发明进一步加入对基准坐标系神经辐射场几何部分的相似性约 束
Figure 811109DEST_PATH_IMAGE042
：
Figure 774386DEST_PATH_IMAGE043
其中S为所有空间点透明度在一定阈值内的接近表面的点，实际实现中阈值选取
Figure 242145DEST_PATH_IMAGE044
。
Figure 773621DEST_PATH_IMAGE045
表示一个一定范围内随机的三维扰动，实际实现中选取0.02作为随机扰动 的最大值。计算该相似性约束时使用到的基准坐标系法向
Figure 851298DEST_PATH_IMAGE046
、世界坐标系法向
Figure 618266DEST_PATH_IMAGE047
， 以及位移场空间运动速度
Figure 97789DEST_PATH_IMAGE048
可以通过对空间点x求导获得：
Figure 409953DEST_PATH_IMAGE049
（1.2）实时辐射场转换与显式几何提取
通过任何现有加速结构处理上一步骤中提取出的基准坐标系下的神经辐射场，可以获得该动态场景对应的可高效查询的实时辐射场。本发明中，获得动态场景的神经辐射场F o ，F c 后，在Yu等人[plenoctree: https://alexyu.net/plenoctrees/]的工作的基础上将基准坐标系下的神经辐射场转换为实时辐射场。形变场与实时辐射场的提取流程如图3所示。
Yu等人将神经辐射场中的几何部分F o 用八叉树实时实现，并将二维观察方向d输 入的颜色函数用球谐函数投影实时实现。具体而言，当获得某空间点的透明度o及球谐函数 系数后，该点的随观察方向d变换的颜色值
Figure 833981DEST_PATH_IMAGE050
可以通过插值球谐函数的基获得；
给定空间中任意一点
Figure 280006DEST_PATH_IMAGE051
的实数表示，利用八叉树实时获 得空间中颜色值的过程如下：
(1)获得当前层级level下的子节点的索引index以及整数表示
Figure 614035DEST_PATH_IMAGE052
，根 据该索引index便可以获得下一层级next的体素的信息存储指针
Figure 595635DEST_PATH_IMAGE053
，并获取 下一层级next的八叉树信息
Figure 647905DEST_PATH_IMAGE054
；
Figure 491096DEST_PATH_IMAGE055
(2)将当前层级level的坐标转换为下一层级next的坐标，并重复上述过程直至到达叶子节点；
Figure 945211DEST_PATH_IMAGE056
由于该八叉树结构对空间中每一点的查询没有依赖关系，且能够将查询空间点的 时间复杂度控制在
Figure 599177DEST_PATH_IMAGE057
级别，其中n为体素空间的分辨率，可以实现对静态场景神经辐 射场的实时渲染。本发明将神经辐射场表示的空间中点x的空间点透明度
Figure 138743DEST_PATH_IMAGE058
以及该点 颜色
Figure 785625DEST_PATH_IMAGE059
投影到对应的八叉树结构以及球谐函数上。其具体实现过程为：
(1)根据八叉树最深层的分辨率构建一个假想的稠密三维格点，格点数记为
Figure 94247DEST_PATH_IMAGE060
，对 格点中任意一点都采样神经辐射场的几何部分F o ；
(2)根据一个预先设定好的阈值（在本实施例中使用
Figure 417650DEST_PATH_IMAGE061
）过滤阈值之外的 格点；
(3)根据过滤后的格点初步构建八叉树；
(4)对八叉树的任意一个叶子节点采样
Figure 178932DEST_PATH_IMAGE062
个三维空间点，对每个三维空间点采样
Figure 629505DEST_PATH_IMAGE063
个观察方向用以进行球谐函数投影，获得该空间点的球谐函数系数，投影过程通过函数 点乘的离散版本实现：
Figure 792633DEST_PATH_IMAGE064
其中
Figure 788402DEST_PATH_IMAGE065
表示第l层第m个球谐函数系数，
Figure 302560DEST_PATH_IMAGE066
指整个可观察球面，
Figure 556824DEST_PATH_IMAGE067
表示第i个观察 方向，
Figure 574459DEST_PATH_IMAGE068
表示步骤（1.1）中的颜色部分，即F c 输出的空间点颜色。
(5)对每一个格点中的空间点透明度o以及球谐函数系数
Figure 239664DEST_PATH_IMAGE069
。Yu等人提出的球谐 函数投影过程总计需要
Figure 975539DEST_PATH_IMAGE070
次神经网络查询，且在构建八叉树阶段需要稠密 的查询三维网格点上的空间点透明度值，使用能获得合理的投影结果的参数（
Figure 767914DEST_PATH_IMAGE071
）约需要4小时。
在本发明方法中，为了加速实时辐射场的提取速度，我们提出，(1)通过显式几何先验过滤稠密网格点采样，(2)将同一叶子节点下不同三维空间位置的采样点都用于上述球谐函数投影。这样的操作可以让稠密网格查询时间减半，并将球谐函数系数投影过程压缩至15分钟。
具体而言，本发明利用KNN算法计算空间点到显式几何的距离（在实际实现中使用SMPL三角形网格以简化管线），并将高于一定阈值（本实施例中阈值取0.1米）的格点提前过滤。同时，本发明将球谐函数投影算法更改为：
Figure 640055DEST_PATH_IMAGE072
这种投影方式使得使用远小于Yu等人提出的参数的设置，即设置为
Figure 508785DEST_PATH_IMAGE073
就能获得更为高质量的球谐函数投影。在这种参数组合下，我们能够在 将投影时间降低为1/16的同时将有效的球谐函数投影数目提高到原来的4倍。类似Peng等 人的工作，本发明使用移动立方体Marching Cubes算法将空间点透明度场转换为显式三角 形网格。
显示几何上每个顶点的蒙皮权重可以方便的通过步骤（1.1）中的蒙皮权重提取方法得到。为了实现线性骨骼蒙皮动画的正向算法在图形处理器上的实时运算，本发明将获得的蒙皮权重从K维（对应了SMPL定义的K个（24）人体骨骼）降维到4，以进一步压缩所需数据量和计算要求。具体而言，本发明会选取显式几何上任意顶点上蒙皮权重最大的4个骨骼的权重，将这4个权重归一化到和为一，并存储对应的骨骼索引。
接着，为了高效的获取显式几何的形变场，本发明提出了一种基于三角形网格优 化以及参数化梯度下降的三维坐标多层感知机求逆算法。在步骤（1.1）中介绍了通过坐标 多层感知机表达的位移场
Figure 731956DEST_PATH_IMAGE074
。值得注意的是，该位移场表达的是从形变坐 标系到基准坐标系的映射，而由于本发明期望在渲染过程中保持显式几何的拓扑结构不变 以保持高效的渲染性能，需要得到从基准坐标系到形变坐标系的映射，即逆位移场
Figure 62443DEST_PATH_IMAGE075
，
Figure 54670DEST_PATH_IMAGE076
表示对
Figure 327258DEST_PATH_IMAGE077
求逆，对位移场求逆是一个没有直接解的问题，因此 本发明采用优化算法来获取每一帧基准坐标系顶点
Figure 772145DEST_PATH_IMAGE078
对应的形变坐标系顶点
Figure 906323DEST_PATH_IMAGE079
，即将使 用移动立方体Marching Cubes算法得到的显式三角形网格顶点
Figure 18636DEST_PATH_IMAGE080
变换到形变坐标系；本 发明的优化变量是
Figure 698010DEST_PATH_IMAGE079
，优化目标
Figure 895773DEST_PATH_IMAGE081
定义为：
Figure 568063DEST_PATH_IMAGE082
其中
Figure 800461DEST_PATH_IMAGE083
为显示几何上的所有顶点；
为了保证优化的平滑度，本发明使用Nicolet等[https://bnicolet.com/ publications/Nicolet2021Large.html]提出的参数化梯度下降将优化目标利用三角形网 格的拉普拉斯矩阵进行平滑参数化；同时，由于逆位移场
Figure 883693DEST_PATH_IMAGE084
在人体位姿 变化下是连续变化的，本发明采取了连续优化的策略，即，获得第一帧的逆位移场
Figure 834331DEST_PATH_IMAGE085
后，本 发明以此为下一帧位移场的优化初始值。为了使得优化更为稳定和鲁棒，本发明提出了一 种基于自动梯度求解的初始化方法，对于基准坐标系顶点
Figure 44733DEST_PATH_IMAGE086
，将其初始形变坐标系坐标
Figure 866058DEST_PATH_IMAGE087
进行如下设置：
Figure 152814DEST_PATH_IMAGE088
其中
Figure 59590DEST_PATH_IMAGE089
是将
Figure 73683DEST_PATH_IMAGE090
看作一个完整函数找到的表面点位置，接着， 利用步骤（1.1）中提到的相似性约束
Figure 15094DEST_PATH_IMAGE091
，在原始基准坐标系
Figure 705707DEST_PATH_IMAGE092
下去除位移场，获得近似 的形变坐标系顶点
Figure 99779DEST_PATH_IMAGE093
。值得注意的是，本发明提出的从基准坐标系到形变坐标系的形变提 取方法可以用于人体之外的一般动态场景的形变场提取，例如基于nerfies[https:// nerfies.github.io/]的方法实现的动态神经辐射场的形变场提取。
二、运行阶段：
动态神经辐射场的实时渲染流程如图4所示。
（2.1）显式几何的实时动作映射
在本节将介绍本发明的核心：实时渲染动态场景神经辐射场的方法。在步骤（1.1）与步骤（1.2）中提到的，动态神经辐射场与其对应的显式几何以及形变场提取方法都是为了更高效，更高质量的完成对动态神经辐射场的实时渲染。
在运行时，通过任意现有的实时驱动方法将基准坐标系下的显式几何（基准坐标 系顶点集合用
Figure 917562DEST_PATH_IMAGE094
表示）映射到形变坐标系（形变坐标系顶点集合用
Figure 713480DEST_PATH_IMAGE095
表示），并从形变坐 标系映射到世界坐标系（世界坐标系顶点集合用
Figure 342039DEST_PATH_IMAGE096
表示）。在人体的动态场景中，使用混合 形状（即，用显式几何的位移场表达的形变场）完成从
Figure 488986DEST_PATH_IMAGE094
到
Figure 720248DEST_PATH_IMAGE095
的映射（该混合形状算法可 以用于一般形变场（一般动态场景神经辐射场的实时渲染）），通过线性骨骼蒙皮动画的正 向算法以及运动树完成从
Figure 495305DEST_PATH_IMAGE095
到
Figure 419399DEST_PATH_IMAGE096
的映射。本发明将分别用
Figure 161965DEST_PATH_IMAGE097
、
Figure 196917DEST_PATH_IMAGE098
以及
Figure 826482DEST_PATH_IMAGE099
表达三个显式三角形网格顶点集合中的某一个具体顶点。具体而言，利用步骤 （1.2）中获得的逆位移场
Figure 921476DEST_PATH_IMAGE100
通过图形处理器的并行渲染管线并行应用到
Figure 652803DEST_PATH_IMAGE101
上：
Figure 225867DEST_PATH_IMAGE102
其中
Figure 975517DEST_PATH_IMAGE103
表示将
Figure 241413DEST_PATH_IMAGE104
并行应用到
Figure 958571DEST_PATH_IMAGE105
中的每一个三维点上所表达的三维位移集 合。在实际实现中，可通过OpenGL提供的顶点着色器完成这一并行的加法运算。
接着，对于形变坐标系中的任意一个顶点
Figure 335326DEST_PATH_IMAGE106
，使用步骤（1.1）中提到的线性骨骼蒙 皮动画的正向算法完成这一过程。具体而言，将步骤（1.2）中获得的任意顶点的蒙皮权重应 用到线性骨骼蒙皮动画的正向算法中，获得世界坐标系下的顶点位置x：
Figure 939483DEST_PATH_IMAGE107
其中
Figure 376280DEST_PATH_IMAGE108
和
Figure 816620DEST_PATH_IMAGE109
分别表示
Figure 731487DEST_PATH_IMAGE110
以及
Figure 721308DEST_PATH_IMAGE111
中顶点的齐次坐标。将应用线性骨骼蒙皮动画变 换的矩阵
Figure 329007DEST_PATH_IMAGE112
提取成集合
Figure 755178DEST_PATH_IMAGE113
，上述运算便可以被并行表达为：
Figure 208156DEST_PATH_IMAGE114
对应的，
Figure 52484DEST_PATH_IMAGE115
代表了从位姿坐标系到世界坐标系的变换关系，其中包括全局的 旋转
Figure 831084DEST_PATH_IMAGE116
与平移
Figure 246016DEST_PATH_IMAGE117
。位姿坐标系代指应用线性骨骼蒙皮动画的正向算法的运动树 部分后，应用全局变换前的坐标系。
类似对形变场加法运算的并行处理，本发明同样使用OpenGL的顶点着色器并行运 行上述计算。在步骤（1.2）中，本发明将蒙皮权重
Figure 33844DEST_PATH_IMAGE118
从K维压缩到了4维度（以方便将蒙 皮权重直接存储到顶点着色器的一个属性中作为输入（一个顶点着色器属性的最高维度为 RGBA：4维）），在实际读取蒙皮权重时需要进行对应的逆索引：
Figure 201520DEST_PATH_IMAGE119
其中
Figure 151021DEST_PATH_IMAGE120
为蒙皮权重索引，
Figure 286205DEST_PATH_IMAGE121
为通过
Figure 612144DEST_PATH_IMAGE122
索引得到的蒙皮权重 值，
Figure 40852DEST_PATH_IMAGE123
为通过
Figure 285888DEST_PATH_IMAGE124
索引得到的线性骨骼蒙皮动画变换的矩阵。
当获得了显式几何在世界坐标系下的顶点
Figure 409833DEST_PATH_IMAGE125
，便可对顶点应用相机投影矩阵
Figure 539463DEST_PATH_IMAGE126
获得顶点在相机坐标系下的位置
Figure 557098DEST_PATH_IMAGE127
，其中V会将空间点变换到以相机为原点的观察 坐标系，
Figure 238615DEST_PATH_IMAGE128
会将观察坐标系下的点投影到进行了正则化的相机坐标系，接着运行由图形处 理器硬件并行加速的栅格化处理。具体而言，在顶点着色器中并行的对所有
Figure 974490DEST_PATH_IMAGE129
进行如 下运算：
Figure 750554DEST_PATH_IMAGE130
此后，片段着色器将根据相机坐标系顶点位置
Figure 153853DEST_PATH_IMAGE131
以及顶点间连接关系
Figure 740692DEST_PATH_IMAGE132
，进行面 片在相机坐标系下的属性与空间位置插值，进而通过屏幕空间变换
Figure 963863DEST_PATH_IMAGE133
映射到对应 的像素点集合
Figure 310662DEST_PATH_IMAGE134
上。根据连接关系
Figure 302889DEST_PATH_IMAGE132
，每个屏幕像素点对应某一面片中的一个坐标，该坐标 可以与面片的顶点位置配合进行重心坐标插值。
Figure 60629DEST_PATH_IMAGE135
上述
Figure 771096DEST_PATH_IMAGE134
表示在显式几何
Figure 154542DEST_PATH_IMAGE136
上有映射的屏幕空间像素点集合（进行栅格化后有面片 映射的），
Figure 1275DEST_PATH_IMAGE137
表示重心坐标插值运算。
（2.2）像素颜色值的逆向查询
为了将世界坐标系下的体渲染方程映射到基准坐标系，本发明新颖的提出利用上 述渲染过程以及形变的变换关系的逆（往往通过矩阵表示），将体渲染所需采样的点以及射 线实时、准确地映射到基准坐标系。具体而言，对于屏幕空间中有显式几何对应的每一个像 素点
Figure 336442DEST_PATH_IMAGE138
，本发明构建如下的映射关系以描述像素点
Figure 393259DEST_PATH_IMAGE139
从屏幕空间到基准坐标系的映射 关系。
Figure 206495DEST_PATH_IMAGE140
其中
Figure 48680DEST_PATH_IMAGE141
表示重心坐标插值运算，
Figure 23589DEST_PATH_IMAGE142
表示显式三角形网格顶点之间的 连接关系，
Figure 833282DEST_PATH_IMAGE143
表示将
Figure 184629DEST_PATH_IMAGE144
并行应用到
Figure 379856DEST_PATH_IMAGE145
中的每一个三维点上所表达的三维位移集合，
Figure 525666DEST_PATH_IMAGE146
以及
Figure 557076DEST_PATH_IMAGE147
分别表示屏幕空间变换
Figure 712114DEST_PATH_IMAGE148
，相机 坐标系变换
Figure 263312DEST_PATH_IMAGE149
，观察坐标系变换
Figure 845603DEST_PATH_IMAGE150
，世界坐标系变换
Figure 364309DEST_PATH_IMAGE151
，骨骼蒙皮变换
Figure 57459DEST_PATH_IMAGE152
的逆变换，可 以方便的通过矩阵求逆得到。
在实际实现中，由于屏幕空间的每一个像素点都进行过步骤（2.1）中提到的各个 正向变换，其对应的三角形网格面片上三个顶点的世界坐标系空间点，基准坐标系空间点 可以直接通过读取步骤（2.1）的输入得到。由于OpenGL在将顶点着色器的输出转换为片段 着色器的输入时，会自动根据
Figure 492857DEST_PATH_IMAGE153
和
Figure 246050DEST_PATH_IMAGE154
进行重心坐标插值
Figure 986472DEST_PATH_IMAGE155
，只需要将像素点
Figure 483313DEST_PATH_IMAGE156
对应的三个顶点坐标
Figure 9103DEST_PATH_IMAGE157
作为顶点着色器的输出，便可自动在片段着色器中 获得需要的进行过重心坐标插值
Figure 198776DEST_PATH_IMAGE158
后的基准坐标系三维空间点位置。
获得像素对应的基准坐标系空间点后，运行实时动态场景体渲染的另一要求便是将观察方向（即体渲染射线方向）从世界坐标系转换到基准坐标系，使得片段着色器能够运行体渲染算法。为了重复利用各个逆变换以提高效率，本发明将射线方向变换表达为相机中心点从世界坐标系到基准坐标系的变换关系。具体而言：
Figure 426495DEST_PATH_IMAGE159
其中
Figure 727026DEST_PATH_IMAGE160
为基准坐标系下的相机中心点位置，
Figure 231957DEST_PATH_IMAGE161
是
Figure 724291DEST_PATH_IMAGE162
维度 均为0，但
Figure 314672DEST_PATH_IMAGE163
为1的相机中心点齐次坐标，即观察坐标系的原点。
Figure 277949DEST_PATH_IMAGE164
，
Figure 168545DEST_PATH_IMAGE165
以及
Figure 309807DEST_PATH_IMAGE166
的 含义与上述对像素点应用逆变换时的含义相同。类似的，本发明利用OpenGL的特性直接进 行对
Figure 387485DEST_PATH_IMAGE160
的重心坐标插值。
获得基准坐标系下的相机中心点位置
Figure 888873DEST_PATH_IMAGE160
，三维空间点位置
Figure 368396DEST_PATH_IMAGE167
后，便可获得每个像 素点对应的基准坐标系下的观察方向
Figure 179095DEST_PATH_IMAGE168
，这一观察方向用于接下来产生基于观察方向的不 同渲染效果（这种效果往往由光线反射造成，指的是三维空间中某点从不同方向观察会呈 现出不同的颜色值）。
Figure 9648DEST_PATH_IMAGE169
其中
Figure 190093DEST_PATH_IMAGE170
表示将观察方向归一化为长度为1的向量。
获得每个像素点对应的基准坐标系空间点
Figure 179915DEST_PATH_IMAGE171
以及观察方向
Figure 787614DEST_PATH_IMAGE172
后，本发明按照如 下流程进行步骤（1.2）中获得的基准坐标系下实时辐射场的实时渲染。
1.首先，通过
Figure 449670DEST_PATH_IMAGE173
和
Figure 433807DEST_PATH_IMAGE174
计算得到的基准坐标系观察方向
Figure 12556DEST_PATH_IMAGE175
确定射线方向与位置。
2.接着，根据观察方向和射线原点位置（即基准坐标系下显示几何三维空间点位 置
Figure 791156DEST_PATH_IMAGE174
），本发明按照预先设定好的采样范围在实际显式几何一定范围内进行采样，本发明 使用
Figure 439044DEST_PATH_IMAGE176
表示某个像素点对应的射线上的某个采样点，使用
Figure 226871DEST_PATH_IMAGE177
表示对应的观察 方向，获得射线r，在本发明中将射线深度范围限制在
Figure 394547DEST_PATH_IMAGE178
。
3.由于本发明通过片段着色器以及OpenGL并行实现体渲染算法，每个片段着色器的实例仅仅需要处理一条射线r的颜色渲染，分配对应渲染射线到图形处理器硬件的过程由OpenGL及图形处理器驱动实现。
4.接着，利用步骤（1.2）中
Figure 609628DEST_PATH_IMAGE179
级别速度采样实时八叉树的算法获得对应每 一个球谐函数系数
Figure 636490DEST_PATH_IMAGE180
以及空间点透明度
Figure 572216DEST_PATH_IMAGE181
。
5.对于每一个采样点
Figure 266503DEST_PATH_IMAGE182
与观察方向
Figure 245960DEST_PATH_IMAGE183
，获得球谐函数系数
Figure 760118DEST_PATH_IMAGE180
后可以通过球谐 函数投影算法获得对应采样点的颜色
Figure 998070DEST_PATH_IMAGE184
，通过步骤（1.1）中介绍的体渲染方程获得像 素的最终颜色。
对于上述的体渲染过程，本发明在利用离散积分、八叉树以及球谐函数投影的基础上进一步做出如下优化：
1.提前结束渲染，当射线上的累积空间点透明度达到一定阈值时，停止从该点到相机射线上最远点的空间点透明度累积。
2.通过几何缩小渲染范围，将渲染整个动态神经辐射场所需的采样点集中在显式几何附近，这可以将采样点数量减少一个数量级。
本发明提出方法的具体实现形式为一套实时辐射场重建管线，与一个运行于PC或手机等电子设备的渲染程序。
其中步骤（1.1）中描述的重建过程可基于任何现有重建方法；步骤（1.2）中的实时加速过程也可基于任意现有神经辐射场加速方法。若有直接从动态场景多视角视频中恢复实时辐射场与对应显式几何的算法，本发明中描述的步骤（1.1）和步骤（1.2）可以合并为一，直接获得基准坐标系下场景的实时辐射场与显示几何表示。步骤（2.1）中描述的驱动方法可以是任意显式几何（例如三角形网格）的形变驱动方法（例如线性骨骼蒙皮动画、关键帧位移、混合形状或形变向量场等）。
与前述基于显式几何形变的实时动态自由视角合成方法的实施例相对应，本发明还提供了基于显式几何形变的实时动态自由视角合成装置的实施例。
参见图5，本发明实施例提供的基于显式几何形变的实时动态自由视角合成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于显式几何形变的实时动态自由视角合成方法。
本发明基于显式几何形变的实时动态自由视角合成装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明基于显式几何形变的实时动态自由视角合成装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于显式几何形变的实时动态自由视角合成方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种基于显式几何形变的实时动态自由视角合成方法，其特征在于，包括预处理阶段和运行阶段；
(1)预处理阶段，包括：
(1.1)给定动态场景的多视角视频，重建出基准坐标系下的神经辐射场与对应显式几何表示；
(1.2)根据基准坐标系下的神经辐射场，提取动态场景对应的基准坐标系下的实时辐射场；提取基准坐标系下显示几何和动态场景对应的形变场；
(2)运行阶段，包括：
(2.1)将显式几何从基准坐标系映射到世界坐标系下，获得从基准坐标系到世界坐标系的变换关系，并通过投影将世界坐标系下的显示几何映射到屏幕空间；
(2.2)对于有投影的所有像素点，根据投影矩阵与变换矩阵的逆，逆映射到基准坐标系下，并根据视角信息获得需要查询实时辐射场的坐标，查询后通过体渲染获得每个像素点的颜色值。
2.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.1)中，所述神经辐射场的输入为三维空间点位置以及二维观察方向，输出为三维空间点的颜色以及空间点透明度。
3.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.1)中，在重建基准坐标系下的神经辐射场的过程中，引入对神经辐射场几何部分的相似性约束，使得空间中邻近点的基准坐标系法向、世界坐标系法向以及位移场空间运动速度相近。
4.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.1)中，神经辐射场的颜色坐标多层感知机的输入为基准坐标系下的观察方向。
5.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.2)中，提取实时辐射场的过程中，过滤距离显式几何超过设定距离阈值的网格点，将实时辐射场中八叉树同一叶子节点下不同三维空间位置的采样点均用于该叶子节点的球谐函数投影。
6.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(1.2)中，利用参数化梯度下降算法结合位移场的连续性，优化获得显式几何位移场的逆，基于自动梯度求解算法进行求解初始化。
7.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(2.1)中，利用顶点着色器并行应用显式几何形变场，并进行投影变换，以获得从基准坐标系到屏幕空间的变换关系。
8.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(2.1)中，对于人体数据，利用顶点着色器并行应用线性骨骼蒙皮动画的正向算法的变换关系，获得从形变坐标系到世界坐标系的变换关系。
9.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法，其特征在于，步骤(2.2)中，利用渲染过程以及形变过程的变换关系的逆，通过片段着色器并行地将体渲染所需的采样点以及射线映射到基准坐标系，采样基准坐标系下实时辐射场，利用片段着色器并行运行体渲染算法。
10.一种基于显式几何形变的实时动态自由视角合成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-9中任一项所述的基于显式几何形变的实时动态自由视角合成方法。
CN202210792906.6A 2022-07-07 2022-07-07 基于显式几何形变的实时动态自由视角合成方法及装置 Active CN114863038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210792906.6A CN114863038B (zh) 2022-07-07 2022-07-07 基于显式几何形变的实时动态自由视角合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210792906.6A CN114863038B (zh) 2022-07-07 2022-07-07 基于显式几何形变的实时动态自由视角合成方法及装置

Publications (2)

Publication Number Publication Date
CN114863038A true CN114863038A (zh) 2022-08-05
CN114863038B CN114863038B (zh) 2022-11-01

Family

ID=82625626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210792906.6A Active CN114863038B (zh) 2022-07-07 2022-07-07 基于显式几何形变的实时动态自由视角合成方法及装置

Country Status (1)

Country Link
CN (1) CN114863038B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115951784A (zh) * 2023-03-08 2023-04-11 南京理工大学 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
CN116385666A (zh) * 2023-06-02 2023-07-04 杭州倚澜科技有限公司 基于反馈式循环神经网络的人体模型重定向方法及装置
CN116597097A (zh) * 2023-07-14 2023-08-15 深圳元戎启行科技有限公司 用于自动驾驶的三维场景重建方法、电子设备和存储介质
CN116805354A (zh) * 2023-08-23 2023-09-26 山东黄河三角洲国家级自然保护区管理委员会 一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置
CN117422804A (zh) * 2023-10-24 2024-01-19 中国科学院空天信息创新研究院 一种大规模城市街区三维场景渲染与目标精细空间定位方法
WO2024055211A1 (zh) * 2022-09-14 2024-03-21 北京原创力科技有限公司 基于NeRF多景层结合的三维视频重建方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161827A1 (en) * 2007-12-23 2009-06-25 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
CN103543830A (zh) * 2013-10-28 2014-01-29 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
CN109523622A (zh) * 2018-11-15 2019-03-26 奥本未来(北京)科技有限责任公司 一种非结构化的光场渲染方法
CN112465955A (zh) * 2020-12-10 2021-03-09 浙江大学 一种动态人体三维重建和视角合成方法
CN113129352A (zh) * 2021-04-30 2021-07-16 清华大学 一种稀疏光场重建方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161827A1 (en) * 2007-12-23 2009-06-25 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
CN103543830A (zh) * 2013-10-28 2014-01-29 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
CN109523622A (zh) * 2018-11-15 2019-03-26 奥本未来(北京)科技有限责任公司 一种非结构化的光场渲染方法
CN112465955A (zh) * 2020-12-10 2021-03-09 浙江大学 一种动态人体三维重建和视角合成方法
WO2022121220A1 (zh) * 2020-12-10 2022-06-16 浙江大学 一种动态人体三维重建和视角合成方法
CN113129352A (zh) * 2021-04-30 2021-07-16 清华大学 一种稀疏光场重建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONG LI等: "Geometric distortion correction for echo planar images using nonrigid registration with spatially varying scale", 《MAGNETIC RESONANCE IMAGING》 *
高艺等: "高度场八叉树的体特征表达算法", 《计算机工程与应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055211A1 (zh) * 2022-09-14 2024-03-21 北京原创力科技有限公司 基于NeRF多景层结合的三维视频重建方法及系统
CN115951784A (zh) * 2023-03-08 2023-04-11 南京理工大学 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
CN115951784B (zh) * 2023-03-08 2023-05-12 南京理工大学 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
CN116385666A (zh) * 2023-06-02 2023-07-04 杭州倚澜科技有限公司 基于反馈式循环神经网络的人体模型重定向方法及装置
CN116385666B (zh) * 2023-06-02 2024-02-27 杭州倚澜科技有限公司 基于反馈式循环神经网络的人体模型重定向方法及装置
CN116597097A (zh) * 2023-07-14 2023-08-15 深圳元戎启行科技有限公司 用于自动驾驶的三维场景重建方法、电子设备和存储介质
CN116597097B (zh) * 2023-07-14 2023-12-22 深圳元戎启行科技有限公司 用于自动驾驶的三维场景重建方法、电子设备和存储介质
CN116805354A (zh) * 2023-08-23 2023-09-26 山东黄河三角洲国家级自然保护区管理委员会 一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置
CN116805354B (zh) * 2023-08-23 2023-12-29 中国林业科学研究院森林生态环境与自然保护研究所(国家林业和草原局世界自然遗产保护研究中心) 一种基于神经辐射场的珍稀鸟类三维模型重构方法与装置
CN117422804A (zh) * 2023-10-24 2024-01-19 中国科学院空天信息创新研究院 一种大规模城市街区三维场景渲染与目标精细空间定位方法

Also Published As

Publication number Publication date
CN114863038B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN114863038B (zh) 基于显式几何形变的实时动态自由视角合成方法及装置
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
Alatan et al. Scene representation technologies for 3DTV—A survey
CN115100339A (zh) 图像生成方法、装置、电子设备和存储介质
US11373358B2 (en) Ray tracing hardware acceleration for supporting motion blur and moving/deforming geometry
Li et al. Read: Large-scale neural scene rendering for autonomous driving
CN107358645B (zh) 产品三维模型重建方法及其系统
US11887256B2 (en) Deferred neural rendering for view extrapolation
US11704853B2 (en) Techniques for feature-based neural rendering
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
US20220375152A1 (en) Method for Efficiently Computing and Specifying Level Sets for Use in Computer Simulations, Computer Graphics and Other Purposes
CN116109757A (zh) 基于内蕴坐标的哈希编码的动态三维人体渲染合成方法
CN115205463A (zh) 基于多球面场景表达的新视角图像生成方法、装置和设备
CN115797561A (zh) 三维重建方法、设备及可读存储介质
WO2022198684A1 (en) Methods and systems for training quantized neural radiance field
CN116134491A (zh) 用于面部表情、身体姿态形态和衣服表演捕捉的使用隐式可微分渲染器的多视图神经人体预测
Rabby et al. Beyondpixels: A comprehensive review of the evolution of neural radiance fields
Gu et al. Ue4-nerf: Neural radiance field for real-time rendering of large-scale scene
Maxim et al. A survey on the current state of the art on deep learning 3D reconstruction
CN115953476A (zh) 基于可泛化神经辐射场的人体自由视角合成方法
CN115375839A (zh) 一种基于深度学习的多视角头发建模方法及系统
Li et al. Point-based neural scene rendering for street views
Kolhatkar et al. Real-time virtual viewpoint generation on the GPU for scene navigation
CN116168137B (zh) 一种基于神经辐射场的新视角合成方法、装置及存储器
Rochette et al. Human pose manipulation and novel view synthesis using differentiable rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant