CN115100382A - 一种基于混合表征的神经表面重建系统及方法 - Google Patents

一种基于混合表征的神经表面重建系统及方法 Download PDF

Info

Publication number
CN115100382A
CN115100382A CN202210847217.0A CN202210847217A CN115100382A CN 115100382 A CN115100382 A CN 115100382A CN 202210847217 A CN202210847217 A CN 202210847217A CN 115100382 A CN115100382 A CN 115100382A
Authority
CN
China
Prior art keywords
grid
color
information
point
surface reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210847217.0A
Other languages
English (en)
Other versions
CN115100382B (zh
Inventor
吴桐
王佳琦
潘新钢
徐旭东
刘子纬
林达华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202210847217.0A priority Critical patent/CN115100382B/zh
Priority claimed from CN202210847217.0A external-priority patent/CN115100382B/zh
Publication of CN115100382A publication Critical patent/CN115100382A/zh
Application granted granted Critical
Publication of CN115100382B publication Critical patent/CN115100382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种基于混合表征的神经表面重建系统，其包括三个模块。其中第一模块用于提供第一空间网格以存储几何信息，第二模块用于提供第二空间网格以存储色彩特征信息，第三模块则用于提供两个多层感知机，两个多层感知机以残差形式连接，用于根据几何信息、色彩特征信息以及输入图片视角，确定待重建结构中各点在不同视角的颜色信息。

Description

一种基于混合表征的神经表面重建系统及方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于混合表征的神经表面重建系统及方法。
背景技术
基于多视角图片获得场景的表面信息或者新视角下的观察结果是一个具有广泛应用前景的任务，而神经辐射场(Neural Radiance Field,NeRF)是近年来实现这一目标的常见技术范式。具体来说，NeRF是利用多层感知机(Multi-Layer Perception,MLP)结构建模场景的几何(geometry)和颜色(color)，并且将任意点坐标和观察视角输入网络，即可获得该点的密度(density)和色彩(color)预测。通过对一条观察射线上的色彩做基于密度分布的积分，即可获得该射线最终的渲染颜色。这种神经辐射场的表达在上述任务上展示了优秀的重建和渲染性能，然而，大参数量多层感知机的训练也引入了高昂的运算代价。
发明内容
针对现有技术中的部分或全部问题，本发明一方面提供一种基于混合表征的神经表面重建系统，包括：
第一模块，用于提供第一空间网格以存储几何信息；
第二模块，用于提供第二空间网格以存储色彩特征信息；以及
第三模块，用于提供两个多层感知机，所述两个多层感知机以残差形式连接，用于根据所述几何信息、色彩特征信息以及输入图片视角，确定待重建结构中各点在不同视角的颜色信息。
进一步地，所述几何信息包括有向距离场值。
进一步地，所述待重建结构中各点的有向距离场值通过三线性插值获得。
进一步地，所述第二空间网格中任一格点存储的色彩特征信息包括一个一维的颜色特征向量，所述待重建结构中各点的颜色特征向量的值由三线性插值获得。
基于如前所述的系统，本发明另一方面提供一种神经表面重建方法，包括：
将输入的多视角图片中的前景物体所在空间归一化到单位球中；
获取所述单位球中各点的几何信息，并存储至第一空间网格中；
将各点的色彩特征信息存储至第二空间网格；以及
将所述几何信息与色彩特征信息归并排列，并依次输入多层感知机，获得各个点在相应输入角度观察下的颜色。
进一步地，所述方法还包括：
使用高斯核对第一空间网格的各个格点做卷积；以及
对卷积后的格点使用三线性插值，以获得空间中任意点的有向距离场值。
进一步地，所述方法还包括：
计算损失函数，对所述第一空间网格进行优化。
进一步地，所述损失函数包括基于总变差的损失函数。
进一步地，所述损失函数包括平滑约束损失函数，所述平滑约束损失函数的计算包括：
计算第一空间网格的各个格点的三维导数格点；
用高斯平滑对所述三维导数格点进行卷积滤波，以获得平滑导数格点；以及
计算所述三维导数格点与平滑导数格点的L2距离并求和，得到导数上的平滑约束损失函数。
进一步地，所述方法还包括：对所述第二空间网格进行优化，包括：
计算优化后的第一空间网格中各点的多层级几何特征、以及第二空间网格中各点的网格特征；
将所述优化后的第一空间网格中各点的方位、坐标以及多层级几何特征向量输入至第一多层感知机，得到第一输出值，并进一步渲染得到第一输出颜色值；
将所述第二空间网格中各点的方位、坐标、有向距离场的法向量、网格特征以及第一输出颜色信息出入至第二多层感知机，得到第二输出值；以及
将所述第一输出值与第二输出值进行求和，并进一步渲染得到第二输出颜色值。
进一步地，所述方法还包括：
基于颜色真值，计算所述第一输出颜色值与第二输出颜色值与颜色真值的L2损失函数，以优化所述第一输出颜色值与第二输出颜色值。
进一步地，计算优化后的第一空间网格中各个格点的多层级几何特征包括：
对所述优化后的第一空间网格以预设间距进行采样，并将采样得到的有向距离场值和离散导数值连接起来，得到多层级的几何向量。
本发明提供的一种基于混合表征的神经表面重建系统及方法，利用显隐式混合结构表征三维空间。具体而言，所述系统采用了空间网格存储有向距离场(Signed DistanceField,SDF)和色彩特征信息，使得几何和颜色信息仅存在于局部，无需全局共享，大大减少了训练时间。此外，为了处理颜色的视角特异性，引入了更浅的多层感知机做后续信息处理，参数量少，不会引入过多计算消耗。所述神经表面重建系统摆脱了单一多层感知机导致的天然连续性，且网格化结构得以更好地表征高频信号，提升了重建和渲染的精度。此外，所述方法采用了两阶段优化算法，因此能够在保证大致结构合理的基础上增添纹理细节。在训练中采用了藕合颜色网络，能够融合低频信号和高频信号，进而可以兼顾几何重建和新视角渲染两种任务需求。所述方法采用了基于几何网格设计的特征向量，即多层级几何信息特征，因此还能够在优化中有效引入局部信息共享，提升训练速度和稳定性。
附图说明
为进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出本发明一个实施例的一种基于混合表征的神经表面重建系统的结构示意图；以及
图2示出本发明一个实施例的一种基于混合表征的神经表面重建方法的流程示意图。
具体实施方式
以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构或操作以免模糊本发明的发明点。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本发明的实施例的全面理解。然而，本发明并不限于这些特定细节。
在本发明中，模块既可以用硬件来实现、比如专用集成电路、FPGA等，也可以用软件模块来实现、例如机器可执行指令的集合。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
需要说明的是，本发明的实施例以特定顺序对方法步骤进行描述，然而这只是为了阐述该具体实施例，而不是限定各步骤的先后顺序。相反，在本发明的不同实施例中，可根据实际需求的调节来调整各步骤的先后顺序。
为解决现有技术中训练时间长和重建过平滑的缺陷，本发明提供一种基于混合表征的神经表面重建系统及方法，其基于多视角图片实现高效率、高精度3D重建的技术方案。整体而言，所述系统及方法是通过对一条观察射线上的色彩做基于有向距离场(SignedDistance Field,SDF)分布的积分，以获得该射线最终的渲染颜色C(r)：
Figure BDA0003753295020000041
其中，ci表示射线上点i的颜色值，Tiαi表示该点积分权重，其中Ti表示所述射线上点i的透明度：
Figure BDA0003753295020000042
αi计算如下，其中ti表示所述采样序号，p(ti)表示该点的坐标，以及f(p(ti))表示该点的SDF值：
Figure BDA0003753295020000051
图片上任一点与相机连线都对应于一条射线，分别将各射线的渲染颜色求出，即可获得整个图片的渲染结果。基于已知的多视角图片，渲染结果与原始图片的差值可以作为系统学习的L2重建损失函数，通过常见优化器即可对系统进行训练。
在此基础上，本发明进一步地利用显隐式混合结构表征三维空间，其中显式结构是指空间网格结构，其用于存储有向距离场(Signed Distance Field,SDF)和色彩特征信息，隐式结构则指更浅的多层感知机，其用于做后续信息处理，以实现高效率和高精度效果。在训练过程中，采用两阶段优化算法，保证大致结构合理的基础上增添纹理细节。本发明还设计了耦合颜色网络，将低频信号和高频信号融合，以兼顾几何重建和新视角渲染两种任务需求。此外，本发明中采用了基于几何网格设计的特征向量，使得在优化中有效引入了局部信息共享，提升了训练速度和稳定性。最后，本发明引入了三种基于平滑先验的计算策略，以稳定训练。
下面结合实施例附图，对本发明的方案做进一步描述。
图1示出本发明一个实施例的一种基于混合表征的神经表面重建系统的结构示意图。如图1所示，一种基于混合表征的神经表面重建系统，包括三个模块，所述三个模块分别用于提供第一空间网格101、第二空间网格102、以及第一多层感知机103与第二多层感知机104。
所述第一空间网格101用于存储几何信息。在本发明的一个实施例中，所述几何信息是指待重建结构中各点的SDF值，所述SDF值为正，则表明该点在表面外部，为负则表示该点在表面内部，以及若等于0则表示该点位于待重建结构的表面上。在本发明的一个实施例中，空间中任一点的SDF值均由三线性插值获得。
所述第二空间网格102用于存储色彩特征信息。具体而言，所述第二空间网格中任一格点存储的色彩特征信息包括一个指定长度的一维向量特征值，所述空间中任一点的色彩特征值由三线性插值获得。在本发明的一个实施例中，所述一维向量特征值的长度为12。
所述第一多层感知机103以及第二多层感知机104用于根据所述几何信息、色彩特征信息以及输入图片视角，获取空间中各点在不同输入角度观察下的颜色。如图1所示，所述第一多层感知机103以及第二多层感知机104以残差形式连接，其中所述第一多层感知机103输入为空间中各点的坐标信息、观测视角以及根据所述第一空间网格101中存储的几何信息所得到的多层几何特征；以及所述第二多层感知机104的输入为空间中各点的坐标信息、观测视角、所述第一多层感知机103的输出值、以及所述第二空间网格102存储的色彩特征信息。
图2示出本发明一个实施例的一种基于混合表征的神经表面重建方法的流程示意图。如图2所示，一种基于混合表征的神经表面重建方法，包括：
首先，在步骤201，系统初始化。从输入的多视角图片获取几何信息及色彩特征信息，并分别存储至第一空间网格及第二空间网格中。在本发明的一个实施例中，所述几何信息的获取包括：
将输入的多视角图片中的前景物体所在空间归一化到单位球中，在本发明的一个实施例中，采用半径为0.5的球作为所述第一空间网格的初始化，具体而言，是在所述第一空间网格的每个格点存储该点在有向距离场中的值，在本发明的一个实施例中，空间中任一点的SDF值均由三线性插值获得。
所述第二空间网格的每个格点则存储一个指定长度的一维向量特征值，类似的，空间中任一点的颜色特征值也由三线性插值获得；以及
接下来，在步骤202，表面重建。将所述第一空间网格及第二空间网格中存储的几何信息与色彩特征信息归并排列，并输入多层感知机，以获得各个点在相应输入角度观察下的颜色，最终完成表面重建或者渲染。
在实际使用所述神经表面重建系统进行重建或渲染任务前，还需进行步骤203，系统训练，对所述神经表面重建系统进行训练，受益于空间网格的结构，使得几何和色彩信息仅存在于局部，无需全局共享，大大减少了训练时间。
在本发明的一个实施例中，采用了两阶段训练法对所述神经表面重建系统进行训练，使得其能够迅速收敛并优化出更为精密的几何细节。
所述两阶段训练法包括两个阶段：粗略形状优化以及精密结构优化。其中，基于如前所述的步骤201中得到的系统结构以及本申请所采用的重建方法的原理，通过合理设计损失函数，可以进行粗略形状优化，然后采用粗略形状优化得到的优化后的第一空间网格作为精密结构优化的初始值，并充值所述第二空间网格中存储的参数。
在本发明的实施例中，在粗略形状优化中采用了多种基于平滑先验的计算策略，以稳定训练，并获得更加合理的粗略形状。
例如，为了使相邻格子共享信息，协同优化，进而可以获取空间中任意位置的有向距离场值，在本发明的一个实施例中，首先使用高斯核对第一空间网格的各个格点做卷积，然后对卷积后的格点使用三线性插值，以获得空间中任意点的SDF值。通过卷积引入了局部信息共享，有利于稳定优化过程。
又例如，在本发明的又一个实施例中，还在原始损失函数基础上加入了新的损失函数，以对所述第一空间网格进行优化。其中，所述新的损失函数包括基于总变差(TotalVariation,TV)的损失函数，和/或平滑约束损失函数。
所述基于总变差(Total Variation,TV)的损失函数
Figure BDA0003753295020000071
是基于空间中几何变化连续性原理设计，对SDF计算加入TV约束，即根据所述第一空间网格V中各格点的SDF值计算损失函数：
Figure BDA0003753295020000072
其中，d表示网格中的第d个值，以及D表示所述d可取值的全范围。
而对于所述第一空间网格而言，对于任一指定的格点，所述平滑约束损失函数的计算包括：
离散地计算所述格点的三维导数格点；
用高斯平滑对所述三维导数格点进行卷积滤波，以获得平滑导数格点；以及
计算所述三维导数格点与平滑导数格点的L2距离并求和，得到导数上的平滑约束损失函数。
所述精密结构优化使用粗略形状优化后的第一空间网格作为初始化，并重置第二空间网格各格点中存储的色彩特征信息。所述精密结构优化中引入了耦合颜色网络和多层级几何特征的设计。
所述耦合颜色网络是指通过所述两个残差形式连接的多层感知机实现颜色耦合，所述两个多层感知机的输入信号除了共同的位置信息pi和方位信息vi外，还分别包括了多层级几何特征fi geo和网格特征fi grid，同时，二者的输出信号均可通过相应的损失函数进行颜色真值监督。其中，所述损失函数例如可采用如前所述的基于总变差(Total Variation,TV)的损失函数，和/或平滑约束损失函数。
所述多层级几何特征fi geo通过如下方法构造得到：
对经粗略形状优化后的第一空间网格以指定间距，例如0.5格点的间距进行采样；以及
将采样得到SDF值和离散导数值连接起来，以获得多层级的几何特征向量。
空间中任一点i的网格特征fi grid即指该点的色彩特征信息，其可采用与如前所述的获取SDF值的方法，根据所述第二空间网格中所存储的色彩信息特征进行三线性插值获得。
基于此，所述精密结构优化包括：
计算经粗略形状优化后的第一空间网格中各点的多层级几何特征、以及第二空间网格中各点的网格特征；
将位置信息pi和方位信息vi以及多层级几何特征向量fi geo输入至第一多层感知机，得到第一输出值
Figure BDA0003753295020000081
将位置信息pi和方位信息vi、有向距离场的法向量ni、网格特征fi grid以及第一输出值
Figure BDA0003753295020000082
出入至第二多层感知机，得到第二输出值；以及
将所述第一输出值与第二输出值进行求和，并进一步渲染得到输出颜色值C(r)，至此完成色彩重建或渲染任务，得到最终的重建和渲染结果。
为了建立颜色与几何之间的对应关系，以更好地重建几何，在本发明的一个实施例中，还可将所述第一输出值
Figure BDA0003753295020000083
进一步渲染得到第一输出颜色值C0(r)，并采用如前所述的基于总变差(Total Variation,TV)的损失函数，和/或平滑约束损失函数，基于颜色真值
Figure BDA0003753295020000084
对所述第一输出颜色值C0(r)进行颜色真值监督。
类似的，在本发明的又一个实施例中，也可采用如前所述的基于总变差(TotalVariation,TV)的损失函数，和/或平滑约束损失函数，基于颜色真值
Figure BDA0003753295020000085
对所述输出颜色值C(r)进行颜色真值监督，以输出更高清的颜色纹理。
经在公开数据集上实验和模拟，本发明实施例中的系统及方法的训练速度相较于现有技术增长了十倍，且能够稳定快速地训练和收敛，同时从二维多视角图片中恢复出精细的三维几何信息，在公开数据集上的三维重建精度和二维渲染精度均已超过现有技术。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (12)

1.一种基于混合表征的神经表面重建系统，其特征在于，包括：
第一模块，被配置为提供第一空间网格，所述第一空间网格被配置为存储几何信息；
第二模块，被配置为提供第二空间网格，所述第二空间网格被配置为存储色彩特征信息；以及
第三模块，其被配置为提供两个多层感知机，所述多层感知机以残差形式连接，且被配置为根据所述几何信息、色彩特征信息以及输入图片视角，确定待重建结构中各点在不同视角的颜色信息。
2.如权利要求1所述的神经表面重建系统，其特征在于，所述几何信息包括有向距离场值。
3.如权利要求2所述的神经表面重建系统，其特征在于，所述待重建结构中各点的有向距离场值基于所述第一空间网格中的值，通过三线性插值获得。
4.如权利要求1所述的神经表面重建系统，其特征在于，所述第二空间网格的每个格点存储的色彩特征信息包括一个一维的颜色特征向量，所述待重建结构中各点的颜色特征向量的值基于颜色特征向量，通过三线性插值获得。
5.一种基于混合表征的神经表面重建方法，其特征在于，包括步骤：
将输入的多视角图片中的前景物体所在空间归一化到单位球中；
获取所述单位球中各点的几何信息，并存储至第一空间网格中；
将各点的色彩特征信息存储至第二空间网格；以及
将所述几何信息与色彩特征信息归并排列，并依次输入多层感知机，获得各个点在相应输入角度观察下的颜色。
6.如权利要求5所述的神经表面重建方法，其特征在于，还包括：
使用高斯核对所述第一空间网格的格点做卷积；以及
对卷积后的格点使用三线性插值，以获得空间中任意点的有向距离场值。
7.如权利要求5所述的神经表面重建方法，其特征在于，还包括：
计算损失函数，对所述第一空间网格进行优化。
8.如权利要求7所述的神经表面重建方法，其特征在于，所述损失函数包括基于总变差的损失函数。
9.如权利要求7所述的神经表面重建方法，其特征在于，所述损失函数包括平滑约束损失函数，且第一空间网格中任一格点的平滑约束损失函数的计算包括：
计算所述格点的三维导数格点；
用高斯平滑对所述三维导数格点进行卷积滤波，以获得平滑导数格点；以及
计算所述三维导数格点与平滑导数格点的L2距离并求和，得到导数上的平滑约束损失函数。
10.如权利要求7所述的神经表面重建方法，其特征在于，还包括：对所述第二空间网格进行优化，包括：
计算优化后的第一空间网格中各点的多层级几何特征、以及第二空间网格中各点的网格特征；
将所述优化后的第一空间网格中各点的方位、坐标以及多层级几何特征向量输入至第一多层感知机，得到第一输出值，并进一步渲染得到第一输出颜色值；
将所述第二空间网格中各点的方位、坐标、有向距离场的法向量、网格特征以及第一输出颜色信息出入至第二多层感知机，得到第二输出值；以及
将所述第一输出值与第二输出值进行求和，并进一步渲染得到第二输出颜色值。
11.如权利要求10所述的神经表面重建方法，其特征在于，还包括：
基于颜色真值，计算所述第一输出颜色值与第二输出颜色值与颜色真值的L2损失函数，以优化所述第一输出颜色值与第二输出颜色值。
12.如权利要求10所述的神经表面重建方法，其特征在于，计算优化后的第一空间网格中各个格点的多层级几何特征包括：
对所述优化后的第一空间网格以预设间距进行采样，并将采样得到的有向距离场值和离散导数值连接起来，得到多层级的几何向量。
CN202210847217.0A 2022-07-19 一种基于混合表征的神经表面重建系统及方法 Active CN115100382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210847217.0A CN115100382B (zh) 2022-07-19 一种基于混合表征的神经表面重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210847217.0A CN115100382B (zh) 2022-07-19 一种基于混合表征的神经表面重建系统及方法

Publications (2)

Publication Number Publication Date
CN115100382A true CN115100382A (zh) 2022-09-23
CN115100382B CN115100382B (zh) 2024-05-31

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410135A (zh) * 2022-11-01 2022-11-29 中国民航大学 自主式搬运的航空行李特征感知重构方法、系统及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093205A (zh) * 2017-03-15 2017-08-25 北京航空航天大学 一种基于无人机图像的三维空间建筑物窗户检测重建方法
CN113112592A (zh) * 2021-04-19 2021-07-13 浙江大学 一种可驱动的隐式三维人体表示方法
CN114549267A (zh) * 2021-12-31 2022-05-27 南京信息工程大学 一种多特征聚类的零水印方法
CN114663502A (zh) * 2020-12-08 2022-06-24 北京三星通信技术研究有限公司 物体姿态估计、图像处理方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093205A (zh) * 2017-03-15 2017-08-25 北京航空航天大学 一种基于无人机图像的三维空间建筑物窗户检测重建方法
CN114663502A (zh) * 2020-12-08 2022-06-24 北京三星通信技术研究有限公司 物体姿态估计、图像处理方法及相关设备
CN113112592A (zh) * 2021-04-19 2021-07-13 浙江大学 一种可驱动的隐式三维人体表示方法
CN114549267A (zh) * 2021-12-31 2022-05-27 南京信息工程大学 一种多特征聚类的零水印方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410135A (zh) * 2022-11-01 2022-11-29 中国民航大学 自主式搬运的航空行李特征感知重构方法、系统及其应用

Similar Documents

Publication Publication Date Title
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
Zhang et al. Differentiable point-based radiance fields for efficient view synthesis
CN106780590B (zh) 一种深度图的获取方法及系统
CN113096234B (zh) 利用多张彩色图片生成三维网格模型的方法及装置
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN111652966A (zh) 一种基于无人机多视角的三维重建方法及装置
CN106856012B (zh) 一种实时大规模场景三维扫描建模方法及系统
Zhang et al. Critical regularizations for neural surface reconstruction in the wild
CN116958453B (zh) 基于神经辐射场的三维模型重建方法、设备和介质
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN116402942A (zh) 一种融合多尺度图像特征的大规模建筑物三维重建方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN116993826A (zh) 一种基于局部空间聚合神经辐射场的场景新视图生成方法
CN115511708A (zh) 基于不确定性感知特征传输的深度图超分辨率方法及系统
CN115546371A (zh) 点云优化方法、系统、电子设备及存储介质
CN115546442A (zh) 基于感知一致损失的多视图立体匹配重建方法及系统
Wang et al. Improved surface reconstruction using high-frequency details
CN117115359A (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置
Chen et al. Recovering fine details for neural implicit surface reconstruction
CN115100382A (zh) 一种基于混合表征的神经表面重建系统及方法
CN115100382B (zh) 一种基于混合表征的神经表面重建系统及方法
CN116310228A (zh) 一种针对遥感场景的表面重建与新视图合成方法
CN110675381A (zh) 一种基于串行结构网络的本征图像分解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant