CN117934727B - 镜面物体的三维重建方法、装置、设备和存储介质 - Google Patents
镜面物体的三维重建方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117934727B CN117934727B CN202410323261.0A CN202410323261A CN117934727B CN 117934727 B CN117934727 B CN 117934727B CN 202410323261 A CN202410323261 A CN 202410323261A CN 117934727 B CN117934727 B CN 117934727B
- Authority
- CN
- China
- Prior art keywords
- mirror
- camera
- image
- scene
- dimensional reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002050 diffraction method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种镜面物体的三维重建方法、装置、设备和存储介质，方法包括：采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；根据所述RGB图像，确定相机位姿；根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；根据所述镜面几何点云，重建得到镜面三维模型。本发明可高效简便地对镜面物体进行三维重建。
Description
技术领域
本发明涉及计算机视觉及图形学技术领域，尤其涉及一种镜面物体的三维重建方法、装置、设备和存储介质。
背景技术
近年来，三维重建技术作为计算机视觉及图形学结合领域的重要任务之一，得到广泛的关注和研究。传统三维重建方法根据重建过程中的几何表示分为体素、点云、曲面网格、隐式四类。根据输入的二维图像分为单视图和多视图两类，采用学习的端到端重建算法则根据网络架构和训练机制进行具体细分，在科学研究及工程实践中有较多的应用。
镜面物体的三维重建一直以来被认为是很有挑战性的问题。传统重建算法建立在对于物体表面的漫反射属性上，因为镜面物体与光线之间的存在复杂的反射和折射关系等光学效应，导致传统重建算法在透明及非漫反射物体上不再适用。从数据采集系统的角度来看，将导致传统的扫描设备如激光扫描仪、结构光系统、激光雷达、深度相机等并不能有效地获取到物体表面的信息。
由于镜面物体内部材质分布可能存在的高度不一致性，至今尚未有统一的重建方法，有些方法采用侵入式的方法对镜面物体进行三维重建，但此种方法有可能损伤到物体的表面结构。采用条纹衍射法对于玻璃等透明物体重建的效果相对较好，但是往往系统复杂难以使用，且作业环境较为苛刻。此外，采用X恢复形状，反向渲染技术、断层摄影技术和直接光线测量等方法，这些方法大部分都集中在分析镜面物体及光线之间相互作用，考虑结合物理定律恢复物体的三维几何结构。而这些方法通常也只针对小型物品进行三维重建，大大限制了其使用场景。
综上所述，现有的方法大多数在受控的环境中进行，且模型重建往往离不开较为复杂的数据采集和环境构建系统，因此，如何高效简便地重建镜面物体成为有待解决的问题。
发明内容
本发明所要解决的技术问题是：一种镜面物体的三维重建方法、装置、设备和存储介质，可高效简便地对镜面物体进行三维重建。
第一方面，本发明提供了一种镜面物体的三维重建方法，包括：
采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；
根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
根据所述RGB图像，确定相机位姿；
根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
根据所述镜面几何点云，重建得到镜面三维模型。
第二方面，本发明还提供了一种镜面物体的三维重建装置，包括：
采集模块，用于采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；
提取模块，用于根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
确定模块，用于根据所述RGB图像，确定相机位姿；
第一重建模块，用于根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
第二重建模块，用于根据所述镜面几何点云，重建得到镜面三维模型。
第三方面，本发明还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的镜面物体的三维重建方法。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面提供的镜面物体的三维重建方法。
本发明的有益效果在于：通过采集彩色图像并在重建模型隐式场景表达的基础上，进一步采集得到几何的点云描述，进而进行三维重建得到三维模型。与现有受控环境下的重建方法相比，本发明的重建条件要求较少，且模型重建不需要较为复杂的数据采集和环境构建系统，可高效简便地对镜面物体进行三维重建，耗时较少，且表达效果较好。
附图说明
图1为本发明提供的一种镜面物体的三维重建方法的流程图；
图2为本发明提供的一种镜面物体的三维重建装置的结构示意图；
图3为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子计算机程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一信息为第二信息，且类似地，可将第二信息称为第一信息。第一信息和第二信息两者都是信息，但其不是同一信息。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
如图1所示，一种镜面物体的三维重建方法，包括：
S1：采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；
S2：根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
S3：根据所述RGB图像，确定相机位姿；
S4：根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
S5：根据所述镜面几何点云，重建得到镜面三维模型。
从上述描述可知，通过采集彩色图像并在重建模型隐式场景表达的基础上，进一步采集得到几何的点云描述，进而进行三维重建得到三维模型，可高效简便地对镜面物体进行三维重建，耗时较少，且表达效果较好。
在一个可选的实施例中，所述镜面位置掩膜提取网络模型包括特征提取网络、关系上下文对比局部模块、解码器模块、边缘检测和融合模块以及细化模块；
所述特征提取网络用于根据输入的RGB图像，提取不同尺度的特征图；
所述关系上下文对比局部模块用于根据所述特征图，得到对应的关系上下文特征；
所述解码器模块用于对所述关系上下文特征进行解码，得到镜像图；
所述边缘检测和融合模块用于根据所述不同尺度的特征图以及所述关系上下文特征，提取镜像边缘，得到边界图；
所述细化模块用于根据不同尺度的特征图对应的镜像图以及所述边界图，得到细化镜像特征，并根据所述细化镜像特征，得到掩膜图像。
在一个可选的实施例中，所述关系上下文对比局部模块具体用于：
根据一特征图，通过全局特征提取器提取全局特征，通过局部特征提取器提取局部特征，通过上下文特征提取器提取上下文特征；
根据所述全局特征，通过关系特征提取器提取全局关系特征；
将所述局部特征减去所述上下文特征，得到上下文对比图；
将所述上下文对比图与所述全局关系特征相乘，得到所述一特征图对应的关系上下文特征。
在一个可选的实施例中，所述步骤S3具体为：
根据所述RGB图像，通过增量式SfM算法确定相机位姿。
在一个可选的实施例中，所述三维重建网络表示为f（x,y,z,θ,φ）→（c,σ），其中，（x,y,z）表示相机观测点的坐标，（θ,φ）表示观测方向，c表示所述相机观测点对应所述观测方向的估计颜色，σ表示所述相机观测点的体密度值；
所述镜面场景包括透射场景和反射场景，相机观测点对应所述观测方向的颜色的计算公式为
，
，
，
，
其中，表示相机光线r=o+td对应的颜色，o=（x,y,z）表示相机观测点的坐标，d=（θ,φ）表示观测方向，t∈[tn,tf]，tn和tf分别为预设的近端边界和远端边界，σt和ct分别表示透射场景的密度和辐射率，σr和cr分别表示反射场景的密度和辐射率，Ti表示相机光线r从近端边界tn到第i个采样点ti的累计透明度，k表示相机光线r上采样点的总数量，σi表示相机光线r上第i个采样点的体密度值，ci表示相机光线r上第i个采样点的颜色，δi=ti+1-ti，表示相机光线r上相邻两个采样点之间的距离，β表示衰减系数，σi t表示透射场第i个采样点的体密度值，αi为待学习参数，表示相机光线r上第i个采样点的反射分数。
从上述描述可知，通过将场景分解为透射场景和反射场景，可以更好地处理包含反射的场景。
在一个可选的实施例中，通过深度平滑先验和双向深度一致性先验，将镜面场景分解为透射场景和反射场景；
所述三维重建网络的损失函数为
，
其中，Lpm表示最小化光度损失，Ld表示深度平滑损失，Lbdc表示双向深度一致性损失，λd和λbdc表示预设的权重。
从上述描述可知，将场景分解为透射分量和反射分量是一个欠约束问题，存在无限数量的解和坏的局部最小值，因此，利用两个几何先验，即深度平滑先验和双向深度一致性先验，来指导场景的分解。
在一个可选的实施例中，所述步骤S5具体为：
根据所述镜面几何点云，通过泊松重建算法，重建得到镜面三维模型，并对所述镜面三维模型进行补全和修复。
如图2所示，本发明还提供了一种镜面物体的三维重建装置，包括：
采集模块201，用于采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；
提取模块202，用于根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
确定模块203，用于根据所述RGB图像，确定相机位姿；
第一重建模块204，用于根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
第二重建模块205，用于根据所述镜面几何点云，重建得到镜面三维模型。
如图3所示，本发明还提供了一种电子设备，所述电子设备包括：
一个或多个处理器301；
存储装置302，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器301执行，使得所述一个或多个处理器301实现如上所述的镜面物体的三维重建方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的镜面物体的三维重建方法。
实施例一
请参照图1，本发明的实施例一为：一种镜面物体的三维重建方法，可应用于移动端设备，可高效简便地对镜面物体进行三维重建。
如图1所示，包括如下步骤：
S1：采集RGB图像；即移动端通过图像采集设备（RGB相机）采集n张彩色RGB图像，n≥2，并且，采集的图像中至少包括同一镜面物体的不同视角的图像。
S2：根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像。其中，掩膜图像中的掩膜区域为镜面位置区域，即掩膜图像中镜面位置的像素点的像素值为1，其他位置的像素点的像素值为0。
本实施例中，采用渐进式镜像检测方法来提取带有镜面位置的掩膜图像。具体地，镜面位置掩膜提取网络模型包括特征提取网络、关系上下文对比局部模块（RCCL）、解码器模块（Decoder）、边缘检测和融合模块（EDF）以及细化模块（Refinement）。其中，关系上下文对比局部模块（RCCL）和解码器模块（Decoder）的数量与特征提取网络输出的特征图的数量对应。
其中，特征提取网络用于根据输入的RGB图像，提取多尺度图像特征，即得到不同尺度的特征图。本实施例中，特征提取网络采用ResNeXt，可以有效减少特征提取时的计算复杂度并且提升运算精度。
关系上下文对比局部模块（RCCL）目的是提取关系上下文对比特征，不仅考虑上下文对比信息，还考虑上下文对比度和上下文相似性之间的关系。本实施例中，考虑上下文相似性的原因是镜子的内容有时可能与镜子外部的内容相似，例如，一面镜子在一面白色墙的前面，同时反射另一面白色墙。
进一步地，关系上下文对比局部模块（RCCL）包括全局关系模块（GR）和上下文对比局部模块（CCL），全局关系模块（GR）包括全局特征提取器（GFE）和关系特征提取器（RFE），上下文对比局部模块（CCL）包括局部特征提取器（LFE）和上下文特征提取器（CFE）。
本实施例中，假设输入关系上下文对比局部模块的数据为图像特征fin，使用全局特征提取器（GFE）提取全局特征fG，使用局部特征提取器（LFE）提取局部特征fL，使用上下文特征提取器（CFE）提取上下文特征fC。
全局关系模块（GR）中的关系特征提取器（RFE）将全局特征fG作为输入以提取全局关系特征fGR。具体地，对于全局特征fG中的每个像素点xi，关系特征提取器（RFE）计算其关系分数R，计算公式为：
其中，xk表示xi的对应像素点，ρ( )表示线性变换。对应像素点xk指出了真实的物体及其镜像反射可能存在空间相似关系。为了在搜索阶段完全覆盖像素点xi的所有可能的对应像素点以及减少冗余计算，本实施例以像素点xi为起点，将沿着其八个方向（即右侧、左侧、顶部、底部、左上方、右上方、左下方和右下方）的所有像素点作为其对应的像素点xk。通过减少对应像素点的数量，以实现高效的镜像检测。
也就是说，全局关系特征fGR通过如下函数式计算得到：
其中，zi表示全局关系特征fGR中与全局特征fG中的像素点xi对应的像素点，S（）表示sigmoid函数，γj表示可学习的因子，Dj表示以像素点xi为起点，沿着第j个方向获取的对应像素点的索引的集合，j=1,2,……,8，即列举了像素点xi周围的八个方向上的像素点，以获得其空间对应关系。
上下文对比局部模块（CCL）通过从局部特征fL中减去上下文特征fC，来提取上下文对比图，从而可以提取潜在的镜像区域。然后将上下文对比图与全局关系特征fGR相乘，以形成最终的关系上下文特征fRC。
本实施例中，全局特征提取器（GFE）是一个具有批量归一化的1×1卷积层。局部特征提取器（LFE）是一个3×3卷积层，具有1个步幅，1个膨胀率和1个填充。上下文特征提取器（CFE）类似于局部特征提取器，但具有不同的膨胀率和填充。将最高级别RCCL到最低级别RCCL的膨胀率分别设置为2、4、8和8。
在关系上下文对比局部模块（RCCL）之后使用的解码器模块（Decoder）由一个1×1卷积层和一个上采样层组成，以输出中间镜像映射。
通过与不同尺度特征图一一对应的关系上下文对比局部模块（RCCL）和解码器模块（Decoder），使得不同尺度的特征图均可得到一个对应的中间镜像映射。
边缘检测和融合模块（EDF）的目的是提取多尺度镜像边缘特征，以产生一个边界图。为了监督边缘检测和融合模块（EDF），需要有真实值边缘。本实施例中，使用Canny边缘检测从数据集中的真实掩膜中提取镜像边缘，以生成真实边缘图。低层边缘提取由三层卷积层组成，分别包括256、128和64个滤波器层，核大小为3×3，填充大小为1。高级边缘提取器由一个卷积层组成，包括核大小为1×1的512个滤波器。融合层和预测层均为核大小为1×1的卷积层。
为了将预测的边界图与多尺度镜像图联合以形成输出镜像图，通过细化模块，参照边界图学习融合多尺度镜像图。细化模块由两个卷积层组成，内核大小为3×3，具有1个填充并且使用了批量归一化。本实施例中，首先将多尺度镜像映射与边界图作为细化模块的输入特征，以获得细化镜像特征。然后，将细化镜像特征馈送到内核大小为1×1的卷积层，以获得最终的镜像映射。
进一步地，使用Lovasz-Softmax损失来监督多尺度镜像映射的训练。本实施例中，使用二进制交叉熵（BCE）损失来监督边界图的提取，即损失函数为：
其中，S表示中间镜像映射的总数量，Ls表示第s个中间镜像映射与镜像映射真实值之间的Lovasz-hinge损失；Lb表示二进制交叉熵（BCE）损失；Lf表示最终输出镜像映射与镜像映射真实值之间的Lovasz-hinge损失；ws、wb、wf表示预设的权重平衡因子，本实施例中，ws=1，wb=5，wf=2。
S3：根据所述RGB图像，确定相机位姿。
本实施例中，采用增量式SfM（Structure from Motion，运动结构恢复）算法恢复相机位姿。
具体地，首先建立与第一相机（即输入SfM算法的首张RGB图像所摄相机位姿）坐标系一致的世界坐标系，即相机原点、x轴、y轴与相机中心，第一平面的x轴y轴重合，其z轴垂直指向第一相机坐标系的成像平面，并对RGB图像进行特征提取，本实施例中使用稳健的SIFT算法实现。
然后使用特征点匹配特征点并进行迭代细化小初匹配误差。具体地，使用提取的特征点描述子进行匹配，匹配完成后，还需要使用对极几何关系对每个匹配图像对里的匹配点对进行精化，因为通常会存在很多误匹配点对。恢复相机位姿首先需要初始化，即寻找一对初始的匹配图像对，初始图像对之间的匹配点数量越多，通常可以获得更为鲁棒和精确的结果，而如果匹配点数量较为稀疏，则重建速度会更快，因为BA（Bundle Adjustment）求解的问题较小。选定匹配对后，利用对极几何关系分解获得两张图像的位姿，然后三角化生成三维点。接下来，每次往系统中增加一张新的图像，通过PnP（Perspective-n-Point）估计它的位姿，然后三角化生成新的三维点，之后进行BA优化，BA过程中滤除外点。直至所有图像都被加入系统中，最终获取的相机位姿P将由相机内部参数及外部参数描述，即P=K[Rt]，其中，K表示相机内部参数，由αx、αy、px和py组成，其中，αx、αy表示相机焦距，px、py表示相机原点的平移尺寸。[R t]表示相机外部参数，由3×3的旋转矩阵R和3×1的平移向量t确定，旋转矩阵R由三个角度参数决定，分别为绕x、y、z轴旋转的旋转角度εx、εy、εz。K和R的表达式如下：
S4：根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并通过相机观测方向法向量采样得到镜面几何点云。
本实施例中，使用改进的神经辐射场方法进行视图合成和点云提取，NeRF（NeuralRadiance Fields，神经辐射场）方法将场景表示为连续的体积场，其中在观看方向d∈R2下的任意三维位置x∈R3处的密度σ∈R和辐射率c∈R3由多层感知器（MLP，MultilayerPerceptron）建模（其中，R、R2、R3分别表示一维、二维、三维实数集），其输入为五维位置向量（x,y,z,θ,φ），可根据相机位姿P获得，输出为输入相机观测点的密度以及观测RGB颜色，具体可以表示为f（x,y,z,θ,φ）→（c,σ），其中，o=（x,y,z）表示相机观测点坐标，d=（θ,φ）表示观测方向角度，c表示观测方向获得的RGB颜色值，σ表示该空间颜色点的体密度值。
在绘制像素时，多层感知器（MLP）首先计算从相机光线r=o+td（即以相机o为原点发出的方向d的射线）中采样的点，以获得它们的密度和辐射亮度，然后通过使用正交近似的体绘制方程来估计颜色（r），具体公式如下：
其中，以σ、c为条件，T以σ为条件。其中，/>表示相机观测点对应该观测方向的颜色，即从相机发出的射线r中采样得到的离散近似颜色值，k表示从射线r上采样得到的采样点的总数量，δi表示射线r上相邻采样点之间的距离，Ti表示射线r从tn到ti的累计透明度，tn表示采样射线的近端边界，ti表示第i个采样点对应的位置。将一个像素点对颜色/>的累计贡献表示为它的权重ω，其计算公式如下：
采用最小化光度损失进行优化，损失函数为：
其中，C表示射线积分得到的期望颜色值，为上述离散采样得到的颜色估计值。
NeRF通过将观看方向d作为网络输入来对视图相关效应进行建模。直接将NeRF应用于具有严重反射的场景导致包含场景的透射部分和反射部分的混合几何，其中前者被建模为半透明以获得正确的视图重建。为了更好地处理包含反射的场景本实例将场景分解为透射NeRF和反射NeRF。
透射场具有密度σt和辐射率ct，反射场具有密度σr和辐射率cr。针对每个三维位置学习反射分数参数α（由透射分支预测），以测量物体在不同材料中的反射特性。为了沿着射线r绘制像素，首先分别渲染两个场以得到和/>，其中，/>的表达式如下：
即反射的颜色衰减β，并与透射的颜色相加，以获得最终的像素颜色。
对应于像素的反射分数β基于透射部分的几何形状经由体渲染来累积，其计算公式如下：
将场景分解为透射分量和反射分量是一个欠约束问题，存在无限数量的解和坏的局部最小值，其可以在训练图像上产生视觉上令人愉悦的渲染结果，但是不能将反射辐射场与透射辐射场分开。人类能够正确识别反射的虚拟图像，因为人类知道真实世界的几何形状。因此，本实施例利用两个几何先验，即深度平滑先验和双向深度一致性（BDC）先验，来指导场景的分解。最终提取的优化损失函数如下：
其中，Lpm表示最小化光度损失，λd和λbdc表示预设的权重，Ld表示先验知识的正则化项，即透射分量的深度图应该是局部平滑的，其计算公式如下：
其中，t*(p)和t*(q)表示等式中定义的像素p,q处的近似深度可以通过上述体渲染方程沿着射线计算终止边界来估计。p表示所有图像中的像素点，N(p)表示像素点p的8个连通邻点的集合，C表示图像颜色，即期望颜色值，τ表示超参数；ω(p,q)表示衰减因子，用于基于颜色梯度重新加权约束，因为深度不连续性通常伴随着突然的颜色变化；C(p)和C(q)分别表示像素点p、q处的估计颜色值。通过这种方式，Ld是边缘保留的，并且仅在小区域上工作，从而在大多数情况下避免过度平滑。
本实施例提出的双向深度一致性先验（BDC）定义为：
其中，的含义同t*；/>表示沿着射线r方向定义的反向深度，作为从射线r的反方向观察体积的预期终止点，其计算公式为：
这种正则化对沿着射线的密度分布构成限制，迫使其是单峰的并且具有小的方差。本实施例利用一个交互式设置，将镜面反射区域作为图像掩码作为监督，1和0分别表示反射和非反射区域。其损失用于促进预测的反射分数图β和用户提供的掩膜之间的一致性，计算公式如下：
其中，表示反射分数值的估计值，β(p)表示用户提供的二进制掩膜在像素点p处的值。在这种额外监督的帮助下，能够成功地在几种具有挑战性的情况下隔离反射分量。
本实施例通过采样得到点云点集，采样方式通过模型管道（即训练模型的pipeline）的采样射线及深度值t*获取，并且过滤掉不透明度即体密度值小于0.5的点，点云的生成方式为工程化实现，本实施例采用开源Open3D生成点云。
S5：根据所述镜面几何点云，重建得到镜面三维模型，并对所述镜面三维模型进行补全和修复。
本实施例中，主要采用泊松（Poisson）重建算法，对镜面几何点云构建mesh模型，再对模型进行修补。
具体地，本步骤包括如下步骤：
S501：构造八叉树O；对求解空间（即镜面几何点云）做网格剖分，剖分单元是小正方体，最大深度为D。
S502：设置函数空间；对八叉树的每个节点设置空间函数F，所有节点函数F的线性和可以表示向量场V，基函数F采用了盒滤波的n维卷积。
S503：创建向量场；均匀采样的情况下，假设划分的块是常量，通过向量场V逼近指示函数的梯度。
S504：求解泊松方程；利用多重网格法求解泊松方程，得到每个基函数对应的系数，代入某点坐标，得到空间中某点的隐函数解。
S505：提取等面值；为得到重构表面，需要选择阈值获得等值面；先估计采样点的位置，然后用其平均值进行等值面提取，用Marching Cubes算法得到等值面。
其中，Marching Cube算法的过程为：将三维离散规则数据场分层读入，扫描两层切面，逐个构造体素，每个体素中的8个角点取自相邻的两层，通过比较立方体的八个角点的密度值和等值面常数，获得体素的索引，利用索引查找表格，确定体素交点的连接顺序，利用棱边顶点的密度值，通过线性插值得到等值面与棱边的交点坐标，用中心差分法计算立方体每个顶点的单位向量。插值计算三角面片顶点的法线，输出三角面片的顶点坐标和顶点法线，得到重建的mesh模型。
S506：根据八叉树网格点生成边缘符号。
对于模型修复，通过构造记录边缘的八叉树网格将输入模型转换成体积形式且与输入模型相交。八叉树可以随着多边形从输入模型中读取而递增地构建。具体地，对于每个要处理的多边形，该实例递归地沿着八叉树向下走，在必要时扩展节点，直到定位与多边形相交的树的底层的所有叶单元。然后，在这些叶单元中识别与多边形相交的单元边缘，并将其标记为相交边缘。尽管相交边缘足以用于符号生成的目的，但是额外的信息（例如，精确的交点和三角形法线）可以记录在每个相交边缘上，以便更好地进行表面重建。为了避免重复，每个叶单元仅保持其三个原始边缘上的额外信息，并将其所有边的交集属性存储在12位掩码中以用于快速查询。给定扫描转换的网格，接下来需要确定网格点处的符号，使得每个相交边缘表现出符号变化。将扫描转换网格上的原始相交边集表示为E，本实施例的目标是获得具有一致符号配置的相交边的修改集E。
本实施例可按照如下步骤生成符号：
1、检测封闭边界：是闭循环bi的集合。事实上，由于S上的一个顶点被包含该顶点的每个四边形上的两条边共享，因此S上的每个顶点都被偶数个边界边共享。因此，/>是一个欧拉图，可以划分成不相交的圈bi。
2、生成边界补丁：对于每个边界圈bi，该实例构造一个补丁Pi，。设！是对称差分算子，注意到/>。因此，取每个Pi和S之间的对称差会产生一个修补曲面/>，使得/>。
3、生成符号：修补的对偶曲面对应于原始网格上的一组新的相交边/>，其中可以生成一致的符号。
S507：通过轮廓绘制在符号网格上重建闭合曲面。
在每个网格点处确定符号之后，可以使用轮廓算法来构造分离具有相反符号的网格点的闭合表面。如果在扫描转换期间将交点的位置存储在边缘上，则可以使用原始轮廓绘制Marching Cubes算法。如果法线除了它们的位置之外还附加到交点，可以使用DualContouring来再现原始模型中的尖锐特征，重建最终修复表面。在任何一种情况下，轮廓表面上的多边形都不会自相交，并且可以始终定向为面向外部体积。
本实施例针对于具有非漫反射表面的物体恢复三维几何及建模补全，重建范围较大，实现成本低，且表达效果较好。
实施例二
请参照图2，本发明的实施例二为：一种镜面物体的三维重建装置，可执行本发明实施例一所提供的镜面物体的三维重建方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件/或硬件实现，具体包括：
采集模块201，用于采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；
提取模块202，用于根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
确定模块203，用于根据所述RGB图像，确定相机位姿；
第一重建模块204，用于根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
第二重建模块205，用于根据所述镜面几何点云，重建得到镜面三维模型。
在一个可选的实施方式中，所述确定模块203具体用于根据所述RGB图像，通过增量式SfM算法确定相机位姿。
在一个可选的实施方式中，所述第二重建模块205具体用于根据所述镜面几何点云，通过泊松重建算法，重建得到镜面三维模型，并对所述镜面三维模型进行补全和修复。
实施例三
请参照图3，本发明的实施例三为：一种电子设备，所述电子设备包括：
一个或多个处理器301；
存储装置302，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器301执行，使得所述一个或多个处理器301实现如上所述的镜面物体的三维重建方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
实施例四
本发明的实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的镜面物体的三维重建方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
综上所述，本发明提供的一种镜面物体的三维重建方法、装置、设备和存储介质，通过采集彩色图像并在重建模型隐式场景表达的基础上，进一步采集得到几何的点云描述，进而进行三维重建得到三维模型。与现有受控环境下的重建方法相比，本发明的重建条件要求较少，且模型重建不需要较为复杂的数据采集和环境构建系统，可高效简便地对镜面物体进行三维重建，耗时较少，且表达效果较好。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种镜面物体的三维重建方法，其特征在于，包括：
采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；
根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
根据所述RGB图像，确定相机位姿；
根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
根据所述镜面几何点云，重建得到镜面三维模型；
所述三维重建网络表示为f（x,y,z,θ,φ）→（c,σ），其中，（x,y,z）表示相机观测点的坐标，（θ,φ）表示观测方向，c表示所述相机观测点对应所述观测方向的估计颜色，σ表示所述相机观测点的体密度值；
所述镜面场景包括透射场景和反射场景，相机观测点对应所述观测方向的颜色的计算公式为
其中，表示相机光线r=o+td对应的颜色，o=（x,y,z）表示相机观测点的坐标，d=（θ,φ）表示观测方向，t∈[tn,tf]，tn和tf分别为预设的近端边界和远端边界，σt和ct分别表示透射场景的密度和辐射率，σr和cr分别表示反射场景的密度和辐射率，Ti表示相机光线r从近端边界tn到第i个采样点ti的累计透明度，k表示相机光线r上采样点的总数量，σi表示相机光线r上第i个采样点的体密度值，ci表示相机光线r上第i个采样点的颜色，δi=ti+1-ti，表示相机光线r上相邻两个采样点之间的距离，β表示衰减系数，σi t表示透射场第i个采样点的体密度值，αi为待学习参数，表示相机光线r上第i个采样点的反射分数;
通过深度平滑先验和双向深度一致性先验，将镜面场景分解为透射场景和反射场景；
所述三维重建网络的损失函数为
其中，Lpm表示最小化光度损失，Ld表示深度平滑损失，Lbdc表示双向深度一致性损失，λd和λbdc表示预设的权重；表示近似深度，/>表示沿着相机光线r方向定义的反向深度。
2.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述镜面位置掩膜提取网络模型包括特征提取网络、关系上下文对比局部模块、解码器模块、边缘检测和融合模块以及细化模块；
所述特征提取网络用于根据输入的RGB图像，提取不同尺度的特征图；
所述关系上下文对比局部模块用于根据所述特征图，得到对应的关系上下文特征；
所述解码器模块用于对所述关系上下文特征进行解码，得到镜像图；
所述边缘检测和融合模块用于根据所述不同尺度的特征图以及所述关系上下文特征，提取镜像边缘，得到边界图；
所述细化模块用于根据不同尺度的特征图对应的镜像图以及所述边界图，得到细化镜像特征，并根据所述细化镜像特征，得到掩膜图像。
3.根据权利要求2所述的镜面物体的三维重建方法，其特征在于，所述关系上下文对比局部模块具体用于：
根据一特征图，通过全局特征提取器提取全局特征，通过局部特征提取器提取局部特征，通过上下文特征提取器提取上下文特征；
根据所述全局特征，通过关系特征提取器提取全局关系特征；
将所述局部特征减去所述上下文特征，得到上下文对比图；
将所述上下文对比图与所述全局关系特征相乘，得到所述一特征图对应的关系上下文特征。
4.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述根据所述RGB图像，确定相机位姿，具体为：
根据所述RGB图像，通过增量式SfM算法确定相机位姿。
5.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述根据所述镜面几何点云，重建得到镜面三维模型，具体为：
根据所述镜面几何点云，通过泊松重建算法，重建得到镜面三维模型，并对所述镜面三维模型进行补全和修复。
6.一种镜面物体的三维重建装置，其特征在于，包括：
采集模块，用于采集若干张RGB图像，所述若干张RGB图像中包括同一镜面物体的多视角图像；
提取模块，用于根据所述RGB图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
确定模块，用于根据所述RGB图像，确定相机位姿；
第一重建模块，用于根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
第二重建模块，用于根据所述镜面几何点云，重建得到镜面三维模型；
所述三维重建网络表示为f（x,y,z,θ,φ）→（c,σ），其中，（x,y,z）表示相机观测点的坐标，（θ,φ）表示观测方向，c表示所述相机观测点对应所述观测方向的估计颜色，σ表示所述相机观测点的体密度值；
所述镜面场景包括透射场景和反射场景，相机观测点对应所述观测方向的颜色的计算公式为
其中，表示相机光线r=o+td对应的颜色，o=（x,y,z）表示相机观测点的坐标，d=（θ,φ）表示观测方向，t∈[tn,tf]，tn和tf分别为预设的近端边界和远端边界，σt和ct分别表示透射场景的密度和辐射率，σr和cr分别表示反射场景的密度和辐射率，Ti表示相机光线r从近端边界tn到第i个采样点ti的累计透明度，k表示相机光线r上采样点的总数量，σi表示相机光线r上第i个采样点的体密度值，ci表示相机光线r上第i个采样点的颜色，δi=ti+1-ti，表示相机光线r上相邻两个采样点之间的距离，β表示衰减系数，σi t表示透射场第i个采样点的体密度值，αi为待学习参数，表示相机光线r上第i个采样点的反射分数;
通过深度平滑先验和双向深度一致性先验，将镜面场景分解为透射场景和反射场景；
所述三维重建网络的损失函数为
其中，Lpm表示最小化光度损失，Ld表示深度平滑损失，Lbdc表示双向深度一致性损失，λd和λbdc表示预设的权重；表示近似深度，/>表示沿着相机光线r方向定义的反向深度。
7.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的镜面物体的三维重建方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的镜面物体的三维重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410323261.0A CN117934727B (zh) | 2024-03-21 | 2024-03-21 | 镜面物体的三维重建方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410323261.0A CN117934727B (zh) | 2024-03-21 | 2024-03-21 | 镜面物体的三维重建方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934727A CN117934727A (zh) | 2024-04-26 |
| CN117934727B true CN117934727B (zh) | 2024-06-14 |
Family
ID=90752209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410323261.0A Active CN117934727B (zh) | 2024-03-21 | 2024-03-21 | 镜面物体的三维重建方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934727B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3139341A1 (en) * | 2015-09-02 | 2017-03-08 | Thomson Licensing | Methods, systems and apparatus for specular highlight reconstruction |
| US20220019852A1 (en) * | 2020-07-14 | 2022-01-20 | Vicarious Fpc, Inc. | Method and system for generating training data |
| JP2023549821A (ja) * | 2020-11-16 | 2023-11-29 | グーグル エルエルシー | 変形可能なニューラル放射輝度場 |
| US20230154101A1 (en) * | 2021-11-16 | 2023-05-18 | Disney Enterprises, Inc. | Techniques for multi-view neural object modeling |
| CN114255313B (zh) * | 2022-02-28 | 2022-05-24 | 深圳星坊科技有限公司 | 镜面物体三维重建方法、装置、计算机设备和存储介质 |
| CN116051740A (zh) * | 2023-01-04 | 2023-05-02 | 华南理工大学 | 一种基于神经辐射场的室外无界场景三维重建方法及系统 |
| CN115880443B (zh) * | 2023-02-28 | 2023-06-06 | 武汉大学 | 一种透明物体隐式表面重建方法及设备 |
| CN117274349A (zh) * | 2023-09-22 | 2023-12-22 | 南开大学 | 基于rgb-d相机一致性深度预测的透明物体重建方法及系统 |
-
2024
- 2024-03-21 CN CN202410323261.0A patent/CN117934727B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 基于光照一致性的虚实融合算法研究;张艾嘉;中国博士学位论文全文数据库信息科技辑;20230115;I138-170 * |
| 透明刚体非侵入式三维重建技术研究进展;潘智辉等;激光与光电子学进展;20230311;1-9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117934727A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Delanoy et al. | 3d sketching using multi-view deep volumetric prediction | |
| Hiep et al. | Towards high-resolution large-scale multi-view stereo | |
| Zhang et al. | Image engineering | |
| Chauve et al. | Robust piecewise-planar 3D reconstruction and completion from large-scale unstructured point data | |
| EP1694821B1 (en) | Probable reconstruction of surfaces in occluded regions by computed symmetry | |
| Seitz et al. | A comparison and evaluation of multi-view stereo reconstruction algorithms | |
| Newcombe et al. | Live dense reconstruction with a single moving camera | |
| Lafarge et al. | A hybrid multiview stereo algorithm for modeling urban scenes | |
| CN115100339A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| Qin et al. | Aura 3D textures | |
| US11394945B2 (en) | System and method for performing 3D imaging of an object | |
| Liu et al. | High-quality textured 3D shape reconstruction with cascaded fully convolutional networks | |
| Calakli et al. | High resolution surface reconstruction from multi-view aerial imagery | |
| Kim et al. | Block world reconstruction from spherical stereo image pairs | |
| Mittal | Neural radiance fields: Past, present, and future | |
| Rothermel | Development of a SGM-based multi-view reconstruction framework for aerial imagery | |
| US8948498B1 (en) | Systems and methods to transform a colored point cloud to a 3D textured mesh | |
| Bullinger et al. | 3D Surface Reconstruction From Multi-Date Satellite Images | |
| Breckon et al. | Three-dimensional surface relief completion via nonparametric techniques | |
| CN117934727B (zh) | 镜面物体的三维重建方法、装置、设备和存储介质 | |
| Lin et al. | A-SATMVSNet: An attention-aware multi-view stereo matching network based on satellite imagery | |
| Chen et al. | Manipulating, deforming and animating sampled object representations | |
| Sahebdivani et al. | Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings | |
| Huang et al. | Examplar-based shape from shading | |
| Lyra et al. | Development of an efficient 3D reconstruction solution from permissive open-source code |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |