CN114429538A - 交互式编辑神经辐射场几何的方法 - Google Patents

交互式编辑神经辐射场几何的方法 Download PDF

Info

Publication number
CN114429538A
CN114429538A CN202210340649.2A CN202210340649A CN114429538A CN 114429538 A CN114429538 A CN 114429538A CN 202210340649 A CN202210340649 A CN 202210340649A CN 114429538 A CN114429538 A CN 114429538A
Authority
CN
China
Prior art keywords
representation
mesh
radiation field
tetrahedral
triangular mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210340649.2A
Other languages
English (en)
Other versions
CN114429538B (zh
Inventor
高林
袁宇杰
孙阳天
马岳文
贾荣飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Computing Technology Innovation Research Institute
Original Assignee
Zhongke Computing Technology Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Computing Technology Innovation Research Institute filed Critical Zhongke Computing Technology Innovation Research Institute
Priority to CN202210340649.2A priority Critical patent/CN114429538B/zh
Publication of CN114429538A publication Critical patent/CN114429538A/zh
Application granted granted Critical
Publication of CN114429538B publication Critical patent/CN114429538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种交互式编辑神经辐射场几何的方法，为：利用物体对象的多视角图像训练神经辐射场网络，建立神经辐射场表示；从物体对象的神经辐射场表示提取显式的三角网格表示；基于三角网格表示生成包裹三角网格表示的四面体网格表示；将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示；在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体，将四面体网格表示变换为变形后四面体网格表示；利用变形前后四面体网格表示的对应关系，得到变形前后四面体四个顶点的位移；通过对四面体四个顶点的位移进行重心插值，得到光线采样点的位移；基于光线采样点的位移对光线进行弯曲，渲染生成神经辐射场图像。

Description

交互式编辑神经辐射场几何的方法
技术领域
本发明涉及一种交互式编辑神经辐射场几何的方法。适用于计算机图形学以及深度学习领域。
背景技术
新视角合成技术是计算机视觉和计算机图形学中一个被广泛研究的课题。神经辐射场是目前解决新视角合成问题的一个有力工具，它使用全连接网络（MLP）隐式建模场景的几何和外观。然而，作为一种隐式建模方法，神经辐射场网络很难让用户交互式地编辑或修改场景对象，但这对于显式表示相对容易。网格表示作为一种常用的显式表示，常用于模型建模和渲染。目前有很多关于网格变形或编辑的研究工作。然而，想要获取真实场景的精确显式表示非常困难。从一组稀疏的图像中，可以使用一些多视图立体（MVS）方法重建场景的点云或网格表示，但质量通常很差。在新视角下渲染重建的表示将导致不真实的结果。因此，基于神经辐射场等隐式表示的新视角合成能力，进一步研究如何编辑隐式表征已成为一个新的探索方向。
现有的一些针对神经辐射场进行编辑的方法无法让用户对场景的几何进行交互式变形，局限于颜色编辑，模型部件删除或模型整体的旋转和平移。例如，Steven Liu等人的“Editing conditional radiance fields”是第一个提出对隐式神经辐射场进行编辑的工作。他们在一组同类别的合成模型上训练网络，并引入形状代码和颜色代码，分别表示不同模型的几何形状和外观。用户选择所需的颜色，并在给定视图的图像上绘制一些粗略的涂鸦，来指定应更改的内容。然后，根据原始图像和编辑图像之间的差异，通过更新网络将局部编辑传播到隐式的三维表示。这项工作仅限于颜色修改或去除模型的某些部分，无法对几何形状进行实质性的修改，例如几何变形。另一项工作，Bangbang Yang等人的“Learning object-compositional neural radiance field for editable scenerendering”提出学习一个解耦的神经辐射场，将物体和背景分开建模。因此，它可以复制、移动或旋转对象来实现可编辑的场景渲染。但是，它也不支持物体对象的几何变形。同时，还有一些工作考虑使用神经辐射场建模动态场景，然而，它们要么只能对人体进行编辑，要么只能从录制的视频中学习已有的运动信息，无法执行进一步的编辑。
发明内容
本发明要解决的技术问题是：针对上述存在的问题，提供一种交互式编辑神经辐射场几何的方法。
本发明所采用的技术方案是：一种交互式编辑神经辐射场几何的方法，其特征在于：
利用物体对象的多视角图像训练神经辐射场网络，建立物体对象的神经辐射场表示；
从物体对象的神经辐射场表示提取显式的三角网格表示S；基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T；
以用户对三角网格表示S上三角网格顶点的几何编辑为约束，将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’；
在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体，并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’；
利用四面体网格表示T和变形后四面体网格表示T’的对应关系，得到变形前后四面体四个顶点的位移；
通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值，得到光线采样点的位移；
基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像。
所述基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T，包括：
设置包围三角网格表示S的笼状网格，对笼状网格及其内部空间进行四面体化，生成包裹三角网格表示S的四面体网格表示T。
所述笼状网格通过在法线方向从三角网格表示S表面偏移一定距离以扩大三角形网格来实现。
所述偏移的距离为多视角图像对应相机位置到物体对象中心的平均距离的5%。
所述以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’，包括：
变形前、后三角网格顶点相对于其对应四面体四个顶点的重心坐标保持不变。
采用ARAP变形方法，通过最小化ARAP能量获得变形后四面体网格表示T’。
所述基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像，包括：
将光线采样点的位移与该光线采样点的输入坐标相加结合该光线采样点的射线方向用变形前神经辐射场表示预测该光线采样点的体积密度和颜色。
一种交互式编辑神经辐射场几何的装置，其特征在于，包括：
网络训练模块，用于利用物体对象的多视角图像训练神经辐射场网络，建立物体对象的神经辐射场表示；
网格表示生成模块，用于从物体对象的神经辐射场表示提取显式的三角网格表示S；基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T；
网格变形模块Ⅰ，用于以用户对三角网格表示S上三角网格顶点的几何编辑为约束，将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’；
网格变形模块Ⅱ，用于在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体，并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’；
顶点位移获取模块，用于利用四面体网格表示T和变形后四面体网格表示T’的对应关系，得到变形前后四面体四个顶点的位移；
采样点位移获取模块，用于通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值，得到光线采样点的位移；
图像渲染生成模块，用于基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像。
一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述交互式编辑神经辐射场几何的方法的步骤。
一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述交互式编辑神经辐射场几何的方法的步骤。
本发明的有益效果是：本发明从物体对象的神经辐射场表示提取三角网格表示，供用户进行几何编辑，从三角网格表示建立四面体网格表示，并将用户在三角网格表示上的编辑传播到四面体网格表示上，将几何表面的变形传播到空间的离散变形场；对光线采样点所在四面体网格顶点的位移进行插值得到光线采样点的位移，完成从离散变形场到连续变形场的传播，通过弯曲光线完成对编辑后的场景的多视角渲染。本发明提出的变形编辑神经辐射场几何内容的方法能让用户方便地变形编辑神经辐射场的场景几何，并能够从任意视角对编辑后的场景进行观看。
附图说明
图1为实施例的流程框图。
图2为实施例中构建变形场的过程示意图。
图3为实施例在两个合成场景下的编辑结果。
图4为实施例中对同一物体对象进行不同编辑的编辑结果。
图5为实施例在四组场景上的编辑结果。
图6为实施例与基准方法的比较。
图7为实施例与传统网格渲染管线的比较。
具体实施方式
如图1所示，本实施例为一种交互式编辑神经辐射场几何的方法，用户首先拍摄物体的多视角图像，然后训练一个神经辐射场网络；从神经辐射场网络中提取显式的三角网格表示，用户对三角网格表示进行编辑，利用用户编辑对体渲染时空间中投射的光线进行弯曲，实现对渲染结果的修改，使渲染结果符合用户的编辑，具体的实施方式包括如下步骤：
S1、利用物体对象的多视角图像训练神经辐射场网络，建立物体对象的神经辐射场表示。
本实施例首先需要用户拍摄物体对象的多视角图像，并通过多视角图像神经辐射场网络建立该物体对象的神经辐射场表示。神经辐射场网络（NeRF）使用多层感知器 (MLP)网络从一组稀疏图像中对场景的几何形状和外观进行建模。相机的内参和姿态参数需要给定（若未给定，可以通过SfM方法或者SLAM方法，例如COLMAP程序进行估计）。利用给定的相机参数（包括内参和姿态参数），可以将图像像素从图像坐标系转换到世界坐标系下，将相机位置与其相连可生成指向场景的光线。
NeRF在光线上采样获得采样点
Figure 976895DEST_PATH_IMAGE001
，并使用体渲染方法来获得每条光线对应的图像像素的颜色。将每个采样点的空间坐标
Figure DEST_PATH_IMAGE002
和射线方向
Figure 425193DEST_PATH_IMAGE003
会经过位置编码
Figure DEST_PATH_IMAGE004
，然后输入到全连接网络（MLP）预测体积密度
Figure 736089DEST_PATH_IMAGE005
和颜色值
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
其中
Figure DEST_PATH_IMAGE008
表示网络权重。预测的体积密度
Figure 204067DEST_PATH_IMAGE005
可以解释为光线终止于该采样点的可微概率，通过离散积分可以计算出光线
Figure 284019DEST_PATH_IMAGE009
对应的图像像素的颜色
Figure DEST_PATH_IMAGE010
，
Figure 637640DEST_PATH_IMAGE011
Figure DEST_PATH_IMAGE012
其中，
Figure 186564DEST_PATH_IMAGE013
表示相邻采样点之间的距离。网络训练由 RGB 损失函数
Figure DEST_PATH_IMAGE014
监督，其公式为：
Figure 182202DEST_PATH_IMAGE015
其中R是分批训练中一个批次的光线集，
Figure DEST_PATH_IMAGE016
是光线
Figure 382239DEST_PATH_IMAGE017
对应像素点的真实颜色。
为了获得令人满意的三角网格表示，本发明采用了“NeuS: Learning NeuralImplicit Surfaces by Volume Rendering for Multi-view Reconstruction”中提出的改进版神经辐射场网络重建网格。该方法采用无偏差的体渲染方式来学习几何作为神经符号距离函数（SDF）表示。从 SDF 的零等值面集合中提取的网格表示将作为用户的编辑对象，允许用户直观地编辑场景内容。
本实施例中网络训练方法为自适应的矩估计方法（ADAM），训练次数为8000次，学习率从0.001开始，并随着迭代次数逐渐衰减。每次训练都将数据进行随机排序。
S2、从物体对象的神经辐射场表示提取显式的三角网格表示S；基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T。
本实施例使用行进立方体方法直接从神经辐射场表示中提取显式的三角网格表示。
本实施例中基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T，包括：
从提取的三角网格表示S开始，设置包围三角网格表示S的笼状网格。本例中笼状网格通过在法线方向上从网格表面偏移一定距离以扩大三角形网格来实现。本实施例中将偏移距离的默认值设置为不同视角下相机位置到物体中心的平均距离的 5%。笼状网格的内部空间可以看作是用于表征场景的“有效空间”，因为场景的真实几何表面附近的区域都被这个笼状网格所包围。在编辑具有多个对象的较大场景时，此设计还确保其他未被编辑的对象不受影响。
为了获得“有效空间”的四面体网格表示
Figure DEST_PATH_IMAGE018
，本实施例使用四面体化方法“Tetrahedral Meshing in the Wild” 对笼状网格及其内部空间进行四面体化，生成包裹三角网格表示S的四面体网格表示T。
S3、获取用户对三角网格表示S上三角网格顶点的几何编辑，并以用户对三角网格表示S上三角网格顶点的几何编辑为约束，将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’。
本实施例提出使用经典的尽可能刚性（as-rigid-as-possible，ARAP）变形方法让用户能够交互式地变形编辑三角网格表示（也可以使用其他任何网格变形方法，包括基于骨架和基于盒子的变形编辑方法）。记
Figure 657494DEST_PATH_IMAGE019
表示与三角网格表示S上顶点
Figure DEST_PATH_IMAGE020
相邻的顶点的集合，记
Figure 942982DEST_PATH_IMAGE021
为顶点
Figure 945573DEST_PATH_IMAGE020
在三角网格表示S上的位置。用户三角网格表示S上选取一个顶点作为控制点，并对控制点施加几何编辑（如拖动控制点位置）；对控制点施加编辑后，三角网格表示S将在用户编辑作为约束条件下变换为具有相同顶点和连通关系但有不同顶点位置
Figure DEST_PATH_IMAGE022
的变形后三角网格表示
Figure 116DEST_PATH_IMAGE023
。
ARAP 变形能量是衡量整个网格的刚性程度，是每个变形单元的变形能量之和。每个变形单元包括顶点
Figure 695540DEST_PATH_IMAGE020
及其1邻域。变形能量如下式，
Figure DEST_PATH_IMAGE024
其中，
Figure 484635DEST_PATH_IMAGE025
是余切权重；
Figure DEST_PATH_IMAGE026
和
Figure 290917DEST_PATH_IMAGE027
是与网格边
Figure DEST_PATH_IMAGE028
相对的角度；
Figure 465547DEST_PATH_IMAGE029
是需要预先指定的单元权重（一般地，将
Figure 66292DEST_PATH_IMAGE029
设置为1）；
Figure DEST_PATH_IMAGE030
是顶点
Figure 77105DEST_PATH_IMAGE020
处的局部旋转。
变形后三角网格表示
Figure 421499DEST_PATH_IMAGE023
通过最小化ARAP能量获得，可通过交替优化局部旋转
Figure 185055DEST_PATH_IMAGE030
和变形后的顶点位置
Figure 487861DEST_PATH_IMAGE022
来求解（具体优化过程可参考论文“As-Rigid-As-Possiblesurface modeling”）。
S4、在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体，并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’。
本实施例利用变形前后三角形网格顶点的位移来驱动四面体网格表示
Figure 704078DEST_PATH_IMAGE018
的变形，将表面变形传递给四面体网格。本例使用 ARAP 变形方法在三角形网格表示变形的约束下对四面体网格表示
Figure 852163DEST_PATH_IMAGE018
进行变形，通过在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体，建立三角网格顶点与该四面体的对应关系，并计算其相对于其所在四面体四个顶点的重心坐标；以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’，变形前后三角网格顶点相对于其对应四面体的四个顶点的重心坐标保持不变，这一过程进而可以形式化如下的优化问题：
Figure 470226DEST_PATH_IMAGE031
其中
Figure DEST_PATH_IMAGE032
是重心坐标权值构成的矩阵；t’为变形后四面体网格表示T’上四面体的顶点。这个优化问题可以通过拉格朗日乘子法转化为线性方程组求解。
重心坐标描述的是四面体中某个点与四面体四个顶点之间的关系，这个关系在变形前后是不变的，改变的是顶点的位置，所以变形后的四面体的四个顶点的位置乘上重心坐标后，能够得到顶点v’的位置（顶点v’位于该四面体内，且是三角网格的顶点）。
本实施例采用如下方法计算四面体中某个点的重心坐标，考虑具有顶点
Figure 694665DEST_PATH_IMAGE033
（i=1,2,3,4）的一个四面体，以及四面体内某个点q(x,y,z)，则q的重心坐标
Figure DEST_PATH_IMAGE034
可以计算为：
Figure 663758DEST_PATH_IMAGE035
其中，行列式
Figure DEST_PATH_IMAGE036
利用如下方法计算：
Figure 615534DEST_PATH_IMAGE037
Figure DEST_PATH_IMAGE038
可以通过将
Figure 619262DEST_PATH_IMAGE036
的第i行换成q的坐标来获得，比如
Figure 749023DEST_PATH_IMAGE039
可以计算为：
Figure DEST_PATH_IMAGE040
计算得到的
Figure 205412DEST_PATH_IMAGE034
构成重心权值矩阵
Figure 695299DEST_PATH_IMAGE032
，同时可以用于判断点q是否在四面体内。点q位于四面体内，当且仅当
Figure DEST_PATH_IMAGE041
。
S5、利用四面体网格表示T和变形后四面体网格表示T’上顶点的一一对应关系，得到变形前后四面体四个顶点的位移。
S6、通过在变形后四面体网格表示T’上对光线采样点对应四面体四个顶点的位移进行重心插值，得到采样点相对于原来“有效空间”的位移
Figure DEST_PATH_IMAGE042
。
S7、基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像。
将光线采样点的位移
Figure 819113DEST_PATH_IMAGE042
与该光线采样点的输入坐标p相加结合该光线采样点的射线方向用变形前神经辐射场表示预测该光线采样点的体积密度和颜色。
Figure 119775DEST_PATH_IMAGE043
根据步骤S1中的体渲染公式，沿射线方向求得的采样点体积密度和颜色可用于计算相应的像素颜色。需要注意的是，不在四面体网格表示
Figure DEST_PATH_IMAGE044
内的采样点没有位移值，即四面体网格外的部分光线不会弯曲。构建变形场过程如图2所示。
为了验证本发明的效果，发明人在多个合成场景和真实场景下进行了各种仿真实验。
图3展示了本实施例方法在两个合成场景下的编辑结果。为了进行更好的比较，同时展示了编辑前的场景在相同视角下的渲染结果。第一组结果（前两行）是一个乐高推土机模型。用户可以编辑推土机使其放下铲子，实现了复杂合成数据的编辑。第二组结果（后两行）是一个椅子模型。用户可以拉伸椅子的背部和腿部，这表明本发明可以编辑物体的局部组成部件。
图4展示了本实施例方法在真实拍摄的长颈鹿毛绒玩具上的编辑结果。在这个真实物体上，使用本发明方法可以进行不同编辑。用户可以编辑长颈鹿使其具有不同姿态，或者缩放局部区域，这证明了本发明方法的可用性。
图5展示了来自真实拍摄的另外四组场景上的编辑结果，这说明本发明的方法可以应用于不同的对象。第一组例子中，小恐龙玩偶的翅膀被变形展开，这可以进一步实现从不同视角观看龙扇动翅膀的动画。第二组例子是对一个马的雕像进行变形，可以改变马头的朝向并抬起马的前蹄。第三组例子是一个笔记本电脑，可以旋转笔记本屏幕使其位于不同的角度。第四组例子是一个真实捕捉的椅子，本发明的方法可以使其四条腿弯曲，呈现不同的设计风格，同时延展椅子的靠背，使其坐上去会更加舒适。这些结果表明，本发明的方法能够根据用户的编辑对静态神经辐射场内的几何进行变形。
图6展示了本实施例方法与基准方法的比较。比较的基准方法采用一种简单的方法来建立提取的三角网格与连续体空间之间的对应关系。我们不再构造四面体网格并将其用作代理，而是直接在提取的三角网格表面上寻找采样点的最近点，并使用最近点的位移作为采样点的位移。从图中可以看出，基准方法可能会导致不连续性，因此生成的渲染结果具有明显的瑕疵，而本发明的方法采用两步变形传递，结果在视觉上更令人满意，具有优势。
图7展示了本实施例方法与传统的网格渲染管线比较。需要注意的是，虽然本发明的方法使用了显式的三角网格表示进行交互编辑，但在网格重建方面具有一定的容错性，并且重建的三角网格不需要是完美的。这是因为网格仅用作中间表示，最终图像仍然是通过体渲染获得的。网格模型直接渲染需要高质量的网格，网格上的所有瑕疵都将出现在渲染图像中。如图所示，重建的乐高网格模型质量较差，所以网格直接渲染的结果并不理想，而本发明的方法仍然可以进行编辑，并且在体渲染的帮助下，仍然可以获得理想的结果。
通过上述仿真实验的结果可以看出，本实施例提出的交互式编辑神经辐射场几何的方法，能够支持用户自由给定控制，对隐式建模的几何进行高效编辑，同时保证理想的编辑后的新视角图像合成结果，相比已有方法具有更高的实用价值。
本实施例还提供一种交互式编辑神经辐射场几何的装置，包括网络训练模块、网格表示生成模块、网格变形模块Ⅰ、网格变形模块Ⅱ、顶点位移获取模块、采样点位移获取模块和图像渲染生成模块。
本例中网络训练模块用于利用物体对象的多视角图像训练神经辐射场网络，建立物体对象的神经辐射场表示；网格表示生成模块用于从物体对象的神经辐射场表示提取显式的三角网格表示S；基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T；网格变形模块Ⅰ用于以用户对三角网格表示S上三角网格顶点的几何编辑为约束，将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’；网格变形模块Ⅱ用于在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体，并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’；顶点位移获取模块用于利用四面体网格表示T和变形后四面体网格表示T’的对应关系，得到变形前后四面体四个顶点的位移；采样点位移获取模块用于通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值，得到光线采样点的位移；图像渲染生成模块用于基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像。
本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中交互式编辑神经辐射场几何的方法的步骤。
本实施例还提供一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中交互式编辑神经辐射场几何的方法的步骤。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种交互式编辑神经辐射场几何的方法，其特征在于：
利用物体对象的多视角图像训练神经辐射场网络，建立物体对象的神经辐射场表示；
从物体对象的神经辐射场表示提取显式的三角网格表示S；基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T；
以用户对三角网格表示S上三角网格顶点的几何编辑为约束，将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’；
在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体，并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’；
利用四面体网格表示T和变形后四面体网格表示T’的对应关系，得到变形前后四面体四个顶点的位移；
通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值，得到光线采样点的位移；
基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像。
2.根据权利要求1所述的交互式编辑神经辐射场几何的方法，其特征在于，所述基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T，包括：
设置包围三角网格表示S的笼状网格，对笼状网格及其内部空间进行四面体化，生成包裹三角网格表示S的四面体网格表示T。
3.根据权利要求2所述的交互式编辑神经辐射场几何的方法，其特征在于：所述笼状网格通过在法线方向从三角网格表示S表面偏移一定距离以扩大三角形网格来实现。
4.根据权利要求3所述的交互式编辑神经辐射场几何的方法，其特征在于：所述偏移的距离为多视角图像对应相机位置到物体对象中心的平均距离的5%。
5.根据权利要求1所述的交互式编辑神经辐射场几何的方法，其特征在于，所述以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’，包括：
变形前、后三角网格顶点相对于其对应四面体四个顶点的重心坐标保持不变。
6.根据权利要求5所述的交互式编辑神经辐射场几何的方法，其特征在于：采用ARAP变形方法，通过最小化ARAP能量获得变形后四面体网格表示T’。
7.根据权利要求1所述的交互式编辑神经辐射场几何的方法，其特征在于，所述基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像，包括：
将光线采样点的位移与该光线采样点的输入坐标相加结合该光线采样点的射线方向用变形前神经辐射场表示预测该光线采样点的体积密度和颜色。
8.一种交互式编辑神经辐射场几何的装置，其特征在于，包括：
网络训练模块，用于利用物体对象的多视角图像训练神经辐射场网络，建立物体对象的神经辐射场表示；
网格表示生成模块，用于从物体对象的神经辐射场表示提取显式的三角网格表示S；基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T；
网格变形模块Ⅰ，用于以用户对三角网格表示S上三角网格顶点的几何编辑为约束，将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’；
网格变形模块Ⅱ，用于在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体，并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束，将四面体网格表示T变换为变形后四面体网格表示T’；
顶点位移获取模块，用于利用四面体网格表示T和变形后四面体网格表示T’的对应关系，得到变形前后四面体四个顶点的位移；
采样点位移获取模块，用于通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值，得到光线采样点的位移；
图像渲染生成模块，用于基于光线采样点的位移对光线进行弯曲，渲染生成经几何编辑的神经辐射场图像。
9.一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1~7任意一项所述交互式编辑神经辐射场几何的方法的步骤。
10.一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1~7任意一项所述交互式编辑神经辐射场几何的方法的步骤。
CN202210340649.2A 2022-04-02 2022-04-02 交互式编辑神经辐射场几何的方法 Active CN114429538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210340649.2A CN114429538B (zh) 2022-04-02 2022-04-02 交互式编辑神经辐射场几何的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210340649.2A CN114429538B (zh) 2022-04-02 2022-04-02 交互式编辑神经辐射场几何的方法

Publications (2)

Publication Number Publication Date
CN114429538A true CN114429538A (zh) 2022-05-03
CN114429538B CN114429538B (zh) 2022-07-12

Family

ID=81314297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210340649.2A Active CN114429538B (zh) 2022-04-02 2022-04-02 交互式编辑神经辐射场几何的方法

Country Status (1)

Country Link
CN (1) CN114429538B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663603A (zh) * 2022-05-24 2022-06-24 成都索贝数码科技股份有限公司 一种基于神经辐射场的静态对象三维网格模型生成方法
CN116958453A (zh) * 2023-09-20 2023-10-27 成都索贝数码科技股份有限公司 基于神经辐射场的三维模型重建方法、设备和介质
CN117953137A (zh) * 2024-03-27 2024-04-30 哈尔滨工业大学（威海） 一种基于动态表面反射场的人体重光照方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717493A (zh) * 2018-05-21 2018-10-30 杭州电子科技大学 一种面向结构化四边网格生成的二维区域自动分解方法
DE102021002798A1 (de) * 2021-05-26 2021-07-15 Daimler Ag Verfahren zur kamerabasierten Umgebungserfassung
CN113538664A (zh) * 2021-07-14 2021-10-22 清华大学 车辆去光照三维重建方法、装置、电子设备和存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
US20210390761A1 (en) * 2020-06-15 2021-12-16 Microsoft Technology Licensing, Llc Computing images of dynamic scenes
CN114004941A (zh) * 2022-01-04 2022-02-01 苏州浪潮智能科技有限公司 一种基于神经辐射场的室内场景三维重建系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717493A (zh) * 2018-05-21 2018-10-30 杭州电子科技大学 一种面向结构化四边网格生成的二维区域自动分解方法
US20210390761A1 (en) * 2020-06-15 2021-12-16 Microsoft Technology Licensing, Llc Computing images of dynamic scenes
DE102021002798A1 (de) * 2021-05-26 2021-07-15 Daimler Ag Verfahren zur kamerabasierten Umgebungserfassung
CN113538664A (zh) * 2021-07-14 2021-10-22 清华大学 车辆去光照三维重建方法、装置、电子设备和存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN114004941A (zh) * 2022-01-04 2022-02-01 苏州浪潮智能科技有限公司 一种基于神经辐射场的室内场景三维重建系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZIYU WANG等: "MirrorNeRF: One-shot Neural Portrait Radiance Field from Multi-mirror Catadioptric Imaging", 《2021 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY (ICCP)》 *
张治国等: "基于频带特性的小波神经网络天线辐射场建模", 《计算机仿真》 *
谢长记等: "基于Delaunay三角化方法的三维辐射场可视化研究", 《核动力工程》 *
赵勇等: "基于四面体控制网格的模型变形算法", 《计算机辅助设计与图形学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663603A (zh) * 2022-05-24 2022-06-24 成都索贝数码科技股份有限公司 一种基于神经辐射场的静态对象三维网格模型生成方法
CN116958453A (zh) * 2023-09-20 2023-10-27 成都索贝数码科技股份有限公司 基于神经辐射场的三维模型重建方法、设备和介质
CN116958453B (zh) * 2023-09-20 2023-12-08 成都索贝数码科技股份有限公司 基于神经辐射场的三维模型重建方法、设备和介质
CN117953137A (zh) * 2024-03-27 2024-04-30 哈尔滨工业大学（威海） 一种基于动态表面反射场的人体重光照方法

Also Published As

Publication number Publication date
CN114429538B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114429538B (zh) 交互式编辑神经辐射场几何的方法
CN109147048B (zh) 一种利用单张彩色图的三维网格重建方法
CN112396703B (zh) 一种单图像三维点云模型重建方法
Min et al. Interactive generation of human animation with deformable motion models
Kähler et al. Geometry-based muscle modeling for facial animation
US20220262073A1 (en) Fast and deep facial deformations
US9378589B2 (en) Apparatus and method for generating digital clone
Dvorožňák et al. Monster mash: a single-view approach to casual 3D modeling and animation
US20040227760A1 (en) Statistical dynamic collisions method and apparatus
Shen et al. Deepsketchhair: Deep sketch-based 3d hair modeling
Cong Art-directed muscle simulation for high-end facial animation
Clarke et al. Automatic generation of 3D caricatures based on artistic deformation styles
CN115951784B (zh) 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
Zheng et al. Editablenerf: Editing topologically varying neural radiance fields by key points
CN111127658A (zh) 一种基于点云重建三角网格曲面的保特征曲面重建方法
Yuan et al. Interactive nerf geometry editing with shape priors
CN116934936A (zh) 一种三维场景风格迁移方法、装置、设备及存储介质
Cetinaslan et al. Sketching manipulators for localized blendshape editing
Liu et al. Neural impostor: Editing neural radiance fields with explicit shape manipulation
CN115937374B (zh) 一种数字人体建模方法、装置、设备及介质
Tejera et al. Animation control of surface motion capture
Stoll et al. A volumetric approach to interactive shape editing
CN115457171A (zh) 一种采用基表情空间变换的高效表情迁移方法
Li et al. Animating cartoon faces by multi‐view drawings
Adams et al. Meshless shape and motion design for multiple deformable objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant