CN114429538B - 交互式编辑神经辐射场几何的方法 - Google Patents
交互式编辑神经辐射场几何的方法 Download PDFInfo
- Publication number
- CN114429538B CN114429538B CN202210340649.2A CN202210340649A CN114429538B CN 114429538 B CN114429538 B CN 114429538B CN 202210340649 A CN202210340649 A CN 202210340649A CN 114429538 B CN114429538 B CN 114429538B
- Authority
- CN
- China
- Prior art keywords
- representation
- mesh representation
- radiation field
- triangular mesh
- tetrahedral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明涉及一种交互式编辑神经辐射场几何的方法,为:利用物体对象的多视角图像训练神经辐射场网络,建立神经辐射场表示;从物体对象的神经辐射场表示提取显式的三角网格表示;基于三角网格表示生成包裹三角网格表示的四面体网格表示;将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示;在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体,将四面体网格表示变换为变形后四面体网格表示;利用变形前后四面体网格表示的对应关系,得到变形前后四面体四个顶点的位移;通过对四面体四个顶点的位移进行重心插值,得到光线采样点的位移;基于光线采样点的位移对光线进行弯曲,渲染生成神经辐射场图像。
Description
技术领域
本发明涉及一种交互式编辑神经辐射场几何的方法。适用于计算机图形学以及深度学习领域。
背景技术
新视角合成技术是计算机视觉和计算机图形学中一个被广泛研究的课题。神经辐射场是目前解决新视角合成问题的一个有力工具,它使用全连接网络(MLP)隐式建模场景的几何和外观。然而,作为一种隐式建模方法,神经辐射场网络很难让用户交互式地编辑或修改场景对象,但这对于显式表示相对容易。网格表示作为一种常用的显式表示,常用于模型建模和渲染。目前有很多关于网格变形或编辑的研究工作。然而,想要获取真实场景的精确显式表示非常困难。从一组稀疏的图像中,可以使用一些多视图立体(MVS)方法重建场景的点云或网格表示,但质量通常很差。在新视角下渲染重建的表示将导致不真实的结果。因此,基于神经辐射场等隐式表示的新视角合成能力,进一步研究如何编辑隐式表征已成为一个新的探索方向。
现有的一些针对神经辐射场进行编辑的方法无法让用户对场景的几何进行交互式变形,局限于颜色编辑,模型部件删除或模型整体的旋转和平移。例如,Steven Liu等人的“Editing conditional radiance fields”是第一个提出对隐式神经辐射场进行编辑的工作。他们在一组同类别的合成模型上训练网络,并引入形状代码和颜色代码,分别表示不同模型的几何形状和外观。用户选择所需的颜色,并在给定视图的图像上绘制一些粗略的涂鸦,来指定应更改的内容。然后,根据原始图像和编辑图像之间的差异,通过更新网络将局部编辑传播到隐式的三维表示。这项工作仅限于颜色修改或去除模型的某些部分,无法对几何形状进行实质性的修改,例如几何变形。另一项工作,Bangbang Yang等人的“Learning object-compositional neural radiance field for editable scenerendering”提出学习一个解耦的神经辐射场,将物体和背景分开建模。因此,它可以复制、移动或旋转对象来实现可编辑的场景渲染。但是,它也不支持物体对象的几何变形。同时,还有一些工作考虑使用神经辐射场建模动态场景,然而,它们要么只能对人体进行编辑,要么只能从录制的视频中学习已有的运动信息,无法执行进一步的编辑。
发明内容
本发明要解决的技术问题是:针对上述存在的问题,提供一种交互式编辑神经辐射场几何的方法。
本发明所采用的技术方案是:一种交互式编辑神经辐射场几何的方法,其特征在于:
利用物体对象的多视角图像训练神经辐射场网络,建立物体对象的神经辐射场表示;
从物体对象的神经辐射场表示提取显式的三角网格表示S;基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T;
以用户对三角网格表示S上三角网格顶点的几何编辑为约束,将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’;
在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体,并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’;
利用四面体网格表示T和变形后四面体网格表示T’的对应关系,得到变形前后四面体四个顶点的位移;
通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值,得到光线采样点的位移;
基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像。
所述基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T,包括:
设置包围三角网格表示S的笼状网格,对笼状网格及其内部空间进行四面体化,生成包裹三角网格表示S的四面体网格表示T。
所述笼状网格通过在法线方向从三角网格表示S表面偏移一定距离以扩大三角形网格来实现。
所述偏移的距离为多视角图像对应相机位置到物体对象中心的平均距离的5%。
所述以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’,包括:
变形前、后三角网格顶点相对于其对应四面体四个顶点的重心坐标保持不变。
采用ARAP变形方法,通过最小化ARAP能量获得变形后四面体网格表示T’。
所述基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像,包括:
将光线采样点的位移与该光线采样点的输入坐标相加结合该光线采样点的射线方向用变形前神经辐射场表示预测该光线采样点的体积密度和颜色。
一种交互式编辑神经辐射场几何的装置,其特征在于,包括:
网络训练模块,用于利用物体对象的多视角图像训练神经辐射场网络,建立物体对象的神经辐射场表示;
网格表示生成模块,用于从物体对象的神经辐射场表示提取显式的三角网格表示S;基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T;
网格变形模块Ⅰ,用于以用户对三角网格表示S上三角网格顶点的几何编辑为约束,将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’;
网格变形模块Ⅱ,用于在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体,并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’;
顶点位移获取模块,用于利用四面体网格表示T和变形后四面体网格表示T’的对应关系,得到变形前后四面体四个顶点的位移;
采样点位移获取模块,用于通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值,得到光线采样点的位移;
图像渲染生成模块,用于基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像。
一种存储介质,其上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现所述交互式编辑神经辐射场几何的方法的步骤。
一种计算机设备,具有存储器和处理器,存储器上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现所述交互式编辑神经辐射场几何的方法的步骤。
本发明的有益效果是:本发明从物体对象的神经辐射场表示提取三角网格表示,供用户进行几何编辑,从三角网格表示建立四面体网格表示,并将用户在三角网格表示上的编辑传播到四面体网格表示上,将几何表面的变形传播到空间的离散变形场;对光线采样点所在四面体网格顶点的位移进行插值得到光线采样点的位移,完成从离散变形场到连续变形场的传播,通过弯曲光线完成对编辑后的场景的多视角渲染。本发明提出的变形编辑神经辐射场几何内容的方法能让用户方便地变形编辑神经辐射场的场景几何,并能够从任意视角对编辑后的场景进行观看。
附图说明
图1为实施例的流程框图。
图2为实施例中构建变形场的过程示意图。
图3为实施例在两个合成场景下的编辑结果。
图4为实施例中对同一物体对象进行不同编辑的编辑结果。
图5为实施例在四组场景上的编辑结果。
图6为实施例与基准方法的比较。
图7为实施例与传统网格渲染管线的比较。
具体实施方式
如图1所示,本实施例为一种交互式编辑神经辐射场几何的方法,用户首先拍摄物体的多视角图像,然后训练一个神经辐射场网络;从神经辐射场网络中提取显式的三角网格表示,用户对三角网格表示进行编辑,利用用户编辑对体渲染时空间中投射的光线进行弯曲,实现对渲染结果的修改,使渲染结果符合用户的编辑,具体的实施方式包括如下步骤:
S1、利用物体对象的多视角图像训练神经辐射场网络,建立物体对象的神经辐射场表示。
本实施例首先需要用户拍摄物体对象的多视角图像,并通过多视角图像神经辐射场网络建立该物体对象的神经辐射场表示。神经辐射场网络(NeRF)使用多层感知器 (MLP)网络从一组稀疏图像中对场景的几何形状和外观进行建模。相机的内参和姿态参数需要给定(若未给定,可以通过SfM方法或者SLAM方法,例如COLMAP程序进行估计)。利用给定的相机参数(包括内参和姿态参数),可以将图像像素从图像坐标系转换到世界坐标系下,将相机位置与其相连可生成指向场景的光线。
为了获得令人满意的三角网格表示,本发明采用了“NeuS: Learning NeuralImplicit Surfaces by Volume Rendering for Multi-view Reconstruction”中提出的改进版神经辐射场网络重建网格。该方法采用无偏差的体渲染方式来学习几何作为神经符号距离函数(SDF)表示。从 SDF 的零等值面集合中提取的网格表示将作为用户的编辑对象,允许用户直观地编辑场景内容。
本实施例中网络训练方法为自适应的矩估计方法(ADAM),训练次数为8000次,学习率从0.001开始,并随着迭代次数逐渐衰减。每次训练都将数据进行随机排序。
S2、从物体对象的神经辐射场表示提取显式的三角网格表示S;基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T。
本实施例使用行进立方体方法直接从神经辐射场表示中提取显式的三角网格表示。
本实施例中基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T,包括:
从提取的三角网格表示S开始,设置包围三角网格表示S的笼状网格。本例中笼状网格通过在法线方向上从网格表面偏移一定距离以扩大三角形网格来实现。本实施例中将偏移距离的默认值设置为不同视角下相机位置到物体中心的平均距离的 5%。笼状网格的内部空间可以看作是用于表征场景的“有效空间”,因为场景的真实几何表面附近的区域都被这个笼状网格所包围。在编辑具有多个对象的较大场景时,此设计还确保其他未被编辑的对象不受影响。
为了获得“有效空间”的四面体网格表示,本实施例使用四面体化方法“Tetrahedral Meshing in the Wild” 对笼状网格及其内部空间进行四面体化,生成包裹三角网格表示S的四面体网格表示T。
S3、获取用户对三角网格表示S上三角网格顶点的几何编辑,并以用户对三角网格表示S上三角网格顶点的几何编辑为约束,将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’。
本实施例提出使用经典的尽可能刚性(as-rigid-as-possible,ARAP)变形方法让用户能够交互式地变形编辑三角网格表示(也可以使用其他任何网格变形方法,包括基于骨架和基于盒子的变形编辑方法)。记表示与三角网格表示S上顶点相邻的顶点的集合,记为顶点在三角网格表示S上的位置。用户三角网格表示S上选取一个顶点作为控制点,并对控制点施加几何编辑(如拖动控制点位置);对控制点施加编辑后,三角网格表示S将在用户编辑作为约束条件下变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示。
S4、在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体,并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’。
本实施例利用变形前后三角形网格顶点的位移来驱动四面体网格表示的变形,将表面变形传递给四面体网格。本例使用 ARAP 变形方法在三角形网格表示变形的约束下对四面体网格表示进行变形,通过在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体,建立三角网格顶点与该四面体的对应关系,并计算其相对于其所在四面体四个顶点的重心坐标;以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’,变形前后三角网格顶点相对于其对应四面体的四个顶点的重心坐标保持不变,这一过程进而可以形式化如下的优化问题:
重心坐标描述的是四面体中某个点与四面体四个顶点之间的关系,这个关系在变形前后是不变的,改变的是顶点的位置,所以变形后的四面体的四个顶点的位置乘上重心坐标后,能够得到顶点v’的位置(顶点v’位于该四面体内,且是三角网格的顶点)。
S5、利用四面体网格表示T和变形后四面体网格表示T’上顶点的一一对应关系,得到变形前后四面体四个顶点的位移。
S7、基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像。
根据步骤S1中的体渲染公式,沿射线方向求得的采样点体积密度和颜色可用于计算相应的像素颜色。需要注意的是,不在四面体网格表示内的采样点没有位移值,即四面体网格外的部分光线不会弯曲。构建变形场过程如图2所示。
为了验证本发明的效果,发明人在多个合成场景和真实场景下进行了各种仿真实验。
图3展示了本实施例方法在两个合成场景下的编辑结果。为了进行更好的比较,同时展示了编辑前的场景在相同视角下的渲染结果。第一组结果(前两行)是一个乐高推土机模型。用户可以编辑推土机使其放下铲子,实现了复杂合成数据的编辑。第二组结果(后两行)是一个椅子模型。用户可以拉伸椅子的背部和腿部,这表明本发明可以编辑物体的局部组成部件。
图4展示了本实施例方法在真实拍摄的长颈鹿毛绒玩具上的编辑结果。在这个真实物体上,使用本发明方法可以进行不同编辑。用户可以编辑长颈鹿使其具有不同姿态,或者缩放局部区域,这证明了本发明方法的可用性。
图5展示了来自真实拍摄的另外四组场景上的编辑结果,这说明本发明的方法可以应用于不同的对象。第一组例子中,小恐龙玩偶的翅膀被变形展开,这可以进一步实现从不同视角观看龙扇动翅膀的动画。第二组例子是对一个马的雕像进行变形,可以改变马头的朝向并抬起马的前蹄。第三组例子是一个笔记本电脑,可以旋转笔记本屏幕使其位于不同的角度。第四组例子是一个真实捕捉的椅子,本发明的方法可以使其四条腿弯曲,呈现不同的设计风格,同时延展椅子的靠背,使其坐上去会更加舒适。这些结果表明,本发明的方法能够根据用户的编辑对静态神经辐射场内的几何进行变形。
图6展示了本实施例方法与基准方法的比较。比较的基准方法采用一种简单的方法来建立提取的三角网格与连续体空间之间的对应关系。我们不再构造四面体网格并将其用作代理,而是直接在提取的三角网格表面上寻找采样点的最近点,并使用最近点的位移作为采样点的位移。从图中可以看出,基准方法可能会导致不连续性,因此生成的渲染结果具有明显的瑕疵,而本发明的方法采用两步变形传递,结果在视觉上更令人满意,具有优势。
图7展示了本实施例方法与传统的网格渲染管线比较。需要注意的是,虽然本发明的方法使用了显式的三角网格表示进行交互编辑,但在网格重建方面具有一定的容错性,并且重建的三角网格不需要是完美的。这是因为网格仅用作中间表示,最终图像仍然是通过体渲染获得的。网格模型直接渲染需要高质量的网格,网格上的所有瑕疵都将出现在渲染图像中。如图所示,重建的乐高网格模型质量较差,所以网格直接渲染的结果并不理想,而本发明的方法仍然可以进行编辑,并且在体渲染的帮助下,仍然可以获得理想的结果。
通过上述仿真实验的结果可以看出,本实施例提出的交互式编辑神经辐射场几何的方法,能够支持用户自由给定控制,对隐式建模的几何进行高效编辑,同时保证理想的编辑后的新视角图像合成结果,相比已有方法具有更高的实用价值。
本实施例还提供一种交互式编辑神经辐射场几何的装置,包括网络训练模块、网格表示生成模块、网格变形模块Ⅰ、网格变形模块Ⅱ、顶点位移获取模块、采样点位移获取模块和图像渲染生成模块。
本例中网络训练模块用于利用物体对象的多视角图像训练神经辐射场网络,建立物体对象的神经辐射场表示;网格表示生成模块用于从物体对象的神经辐射场表示提取显式的三角网格表示S;基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T;网格变形模块Ⅰ用于以用户对三角网格表示S上三角网格顶点的几何编辑为约束,将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’;网格变形模块Ⅱ用于在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体,并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’;顶点位移获取模块用于利用四面体网格表示T和变形后四面体网格表示T’的对应关系,得到变形前后四面体四个顶点的位移;采样点位移获取模块用于通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值,得到光线采样点的位移;图像渲染生成模块用于基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像。
本实施例还提供一种存储介质,其上存储有能被处理器执行的计算机程序,该计算机程序被执行时实现本例中交互式编辑神经辐射场几何的方法的步骤。
本实施例还提供一种计算机设备,具有存储器和处理器,存储器上存储有能被处理器执行的计算机程序,该计算机程序被执行时实现本例中交互式编辑神经辐射场几何的方法的步骤。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变形,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (9)
1.一种交互式编辑神经辐射场几何的方法,其特征在于:
利用物体对象的多视角图像训练神经辐射场网络,建立物体对象的神经辐射场表示;
从物体对象的神经辐射场表示提取显式的三角网格表示S;基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T;
以用户对三角网格表示S上三角网格顶点的几何编辑为约束,将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’;
在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体,并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’;
利用四面体网格表示T和变形后四面体网格表示T’的对应关系,得到变形前后四面体四个顶点的位移;
通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值,得到光线采样点的位移;
基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像;
所述基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像,包括:
将光线采样点的位移与该光线采样点的输入坐标相加结合该光线采样点的射线方向用变形前神经辐射场表示预测该光线采样点的体积密度和颜色;沿射线方向求得的采样点体积密度和颜色可用于计算相应的像素颜色。
2.根据权利要求1所述的交互式编辑神经辐射场几何的方法,其特征在于,所述基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T,包括:
设置包围三角网格表示S的笼状网格,对笼状网格及其内部空间进行四面体化,生成包裹三角网格表示S的四面体网格表示T。
3.根据权利要求2所述的交互式编辑神经辐射场几何的方法,其特征在于:所述笼状网格通过在法线方向从三角网格表示S表面偏移一定距离以扩大三角形网格来实现。
4.根据权利要求3所述的交互式编辑神经辐射场几何的方法,其特征在于:所述偏移的距离为多视角图像对应相机位置到物体对象中心的平均距离的5%。
5.根据权利要求1所述的交互式编辑神经辐射场几何的方法,其特征在于,所述以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’,包括:
变形前、后三角网格顶点相对于其对应四面体四个顶点的重心坐标保持不变。
6.根据权利要求5所述的交互式编辑神经辐射场几何的方法,其特征在于:采用ARAP变形方法,通过最小化ARAP能量获得变形后四面体网格表示T’。
7.一种交互式编辑神经辐射场几何的装置,其特征在于,包括:
网络训练模块,用于利用物体对象的多视角图像训练神经辐射场网络,建立物体对象的神经辐射场表示;
网格表示生成模块,用于从物体对象的神经辐射场表示提取显式的三角网格表示S;基于三角网格表示S生成包裹三角网格表示S的四面体网格表示T;
网格变形模块Ⅰ,用于以用户对三角网格表示S上三角网格顶点的几何编辑为约束,将三角网格表示S变换为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示S’;
网格变形模块Ⅱ,用于在四面体网格表示T上查找三角网格表示S上每个三角网格顶点所在的四面体,并以四面体对应三角网格顶点在变形后三角网格表示S’上的位置为约束,将四面体网格表示T变换为变形后四面体网格表示T’;
顶点位移获取模块,用于利用四面体网格表示T和变形后四面体网格表示T’的对应关系,得到变形前后四面体四个顶点的位移;
采样点位移获取模块,用于通过对光线采样点在变形后四面体网格表示T’上对应四面体四个顶点的位移进行重心插值,得到光线采样点的位移;
图像渲染生成模块,用于基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像;
所述基于光线采样点的位移对光线进行弯曲,渲染生成经几何编辑的神经辐射场图像,包括:
将光线采样点的位移与该光线采样点的输入坐标相加结合该光线采样点的射线方向用变形前神经辐射场表示预测该光线采样点的体积密度和颜色;沿射线方向求得的采样点体积密度和颜色可用于计算相应的像素颜色。
8.一种存储介质,其上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现权利要求1~6任意一项所述交互式编辑神经辐射场几何的方法的步骤。
9.一种计算机设备,具有存储器和处理器,存储器上存储有能被处理器执行的计算机程序,其特征在于:所述计算机程序被执行时实现权利要求1~6任意一项所述交互式编辑神经辐射场几何的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210340649.2A CN114429538B (zh) | 2022-04-02 | 2022-04-02 | 交互式编辑神经辐射场几何的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210340649.2A CN114429538B (zh) | 2022-04-02 | 2022-04-02 | 交互式编辑神经辐射场几何的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114429538A CN114429538A (zh) | 2022-05-03 |
CN114429538B true CN114429538B (zh) | 2022-07-12 |
Family
ID=81314297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210340649.2A Active CN114429538B (zh) | 2022-04-02 | 2022-04-02 | 交互式编辑神经辐射场几何的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114429538B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114663603B (zh) * | 2022-05-24 | 2022-09-02 | 成都索贝数码科技股份有限公司 | 一种基于神经辐射场的静态对象三维网格模型生成方法 |
CN116958453B (zh) * | 2023-09-20 | 2023-12-08 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
CN117953137B (zh) * | 2024-03-27 | 2024-06-14 | 哈尔滨工业大学(威海) | 一种基于动态表面反射场的人体重光照方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706714A (zh) * | 2021-09-03 | 2021-11-26 | 中科计算技术创新研究院 | 基于深度图像和神经辐射场的新视角合成方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108717493B (zh) * | 2018-05-21 | 2022-03-01 | 杭州电子科技大学 | 一种面向结构化四边网格生成的二维区域自动分解方法 |
GB202009058D0 (en) * | 2020-06-15 | 2020-07-29 | Microsoft Technology Licensing Llc | Computing images of dynamic scenes |
DE102021002798A1 (de) * | 2021-05-26 | 2021-07-15 | Daimler Ag | Verfahren zur kamerabasierten Umgebungserfassung |
CN113538664B (zh) * | 2021-07-14 | 2022-12-13 | 清华大学 | 车辆去光照三维重建方法、装置、电子设备和存储介质 |
CN114004941B (zh) * | 2022-01-04 | 2022-08-16 | 苏州浪潮智能科技有限公司 | 一种基于神经辐射场的室内场景三维重建系统及方法 |
-
2022
- 2022-04-02 CN CN202210340649.2A patent/CN114429538B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706714A (zh) * | 2021-09-03 | 2021-11-26 | 中科计算技术创新研究院 | 基于深度图像和神经辐射场的新视角合成方法 |
Non-Patent Citations (2)
Title |
---|
基于四面体控制网格的模型变形算法;赵勇等;《计算机辅助设计与图形学学报》;20080915(第09期);全文 * |
基于频带特性的小波神经网络天线辐射场建模;张治国等;《计算机仿真》;20180715(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114429538A (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114429538B (zh) | 交互式编辑神经辐射场几何的方法 | |
CN109147048B (zh) | 一种利用单张彩色图的三维网格重建方法 | |
Min et al. | Interactive generation of human animation with deformable motion models | |
US11875458B2 (en) | Fast and deep facial deformations | |
US7515155B2 (en) | Statistical dynamic modeling method and apparatus | |
Dvorožňák et al. | Monster mash: a single-view approach to casual 3D modeling and animation | |
US7307633B2 (en) | Statistical dynamic collisions method and apparatus utilizing skin collision points to create a skin collision response | |
Shen et al. | Deepsketchhair: Deep sketch-based 3d hair modeling | |
Cong | Art-directed muscle simulation for high-end facial animation | |
Clarke et al. | Automatic generation of 3D caricatures based on artistic deformation styles | |
CN111583408B (zh) | 基于手绘草图的人体三维建模系统 | |
Zheng et al. | Editablenerf: Editing topologically varying neural radiance fields by key points | |
CN111127658A (zh) | 一种基于点云重建三角网格曲面的保特征曲面重建方法 | |
CN116934936A (zh) | 一种三维场景风格迁移方法、装置、设备及存储介质 | |
Yuan et al. | Interactive nerf geometry editing with shape priors | |
Cetinaslan et al. | Sketching manipulators for localized blendshape editing | |
Liu et al. | Neural impostor: Editing neural radiance fields with explicit shape manipulation | |
Tejera et al. | Animation control of surface motion capture | |
Li et al. | Animating cartoon faces by multi‐view drawings | |
CN109801367B (zh) | 一种基于压缩流形模式的网格模型特征编辑方法 | |
Kang et al. | Neural style transfer for 3D meshes | |
Xie et al. | DragD3D: Vertex-based Editing for Realistic Mesh Deformations using 2D Diffusion Priors | |
US11354878B2 (en) | Method of computing simulated surfaces for animation generation and other purposes | |
JP4358752B2 (ja) | 統計力学的衝突の方法と装置 | |
US20230196702A1 (en) | Object Deformation with Bindings and Deformers Interpolated from Key Poses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |