CN115880443B - 一种透明物体隐式表面重建方法及设备 - Google Patents

一种透明物体隐式表面重建方法及设备 Download PDF

Info

Publication number
CN115880443B
CN115880443B CN202310177622.0A CN202310177622A CN115880443B CN 115880443 B CN115880443 B CN 115880443B CN 202310177622 A CN202310177622 A CN 202310177622A CN 115880443 B CN115880443 B CN 115880443B
Authority
CN
China
Prior art keywords
camera
transparent object
light
model
refraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310177622.0A
Other languages
English (en)
Other versions
CN115880443A (zh
Inventor
肖春霞
李宗成
罗飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202310177622.0A priority Critical patent/CN115880443B/zh
Publication of CN115880443A publication Critical patent/CN115880443A/zh
Application granted granted Critical
Publication of CN115880443B publication Critical patent/CN115880443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Generation (AREA)

Abstract

本发明提供了一种透明物体隐式表面重建方法及设备。通过特定的数据采集装置，采用棋盘格标定板标定整个数据采集装置；在黑暗环境下，拍摄图像，基于拍摄图像获得每个视角下相机光线和背景显示器上像素的对应关系。采用多层感知机表示透明物体的三维模型；提出体绘制模拟折射路径的方法建立相机产生的出射光线与背景屏幕像素的联系；通过最小化采集的真实的背景显示器像素和生成的背景显示器像素的位置差异，同时保证轮廓一致性，迭代优化MLP表示的透明物体三维模型；最后，提出自适应的光线采样策略和动态的位置编码加快模型训练速度和提高透明物体三维模型重建质量。

Description

一种透明物体隐式表面重建方法及设备
技术领域
本发明属于三维重建领域，尤其涉及到多层感知机表示三维模型、体绘制、相机标定和透明物体重建。具体地指一种透明物体隐式表面重建方法及设备。
背景技术
重建透明物体的表面几何形状是一个长期存在的挑战性问题。为了完成这项艰巨的任务，以往工作主要使用了特殊的硬件设置，包括偏振设备，层析成像设备，移动点光源，光场探测器设备和转盘。根据涉及的反射或折射次数可以对光路三角测量问题进行分类。一些研究人员主要关注单次折射，如：薄透明物体或液体的重建。多视图的对应关系或者透明物体的初始模型能够减少了对应关系中深度和表面法线之间的歧义。因此，通过对传统的环境抠图设备的扩展，研究人员通过多视图的光线和光线对应关系，光线和像素的对应关系对透明物体的初始模型迭代优化，重建透明物体的完整形状。同样也可以通过光线和块的对应关系解决了透明物体在自然光照条件下的显着外观变化。除了折射光线路径先验之外，还可以引入了偏振信息来重建透明物体的完整模型。
最近，已经提出了基于学习的方法来利用编码器-解码器架构来估计透明对象的深度和法线图。此外，通过基于物理特性的法向量预测网络和PointNet++的点云优化网络重建透明物体完整模型。这种方法将透明物体重建分为法线的估计和透明物体初始三维模型优化的二个过程，除此之外，基于预测的法向量先验知识优化初始三维模型造成重建结果的过度平滑。在现有技术中，缺乏一种端到端，处理不同透明物体不同深度区域细节区域的重建，采用隐式表示的透明物体三维模型的重建方法。
发明内容
本发明就是为了克服上述不足，提供了一种基于体绘制模拟折射路径的透明物体隐式表面重建的方法及设备，重建出高质量的透明物体三维模型。
本发明公开的一种基于体绘制模拟折射路径的透明物体隐式表面重建的方法，包括以下步骤：
步骤S1：数据采集，采集透明物体图像若干；
步骤S2：数据处理，获取数据采集过程每个视角的相机内外参，通过空间雕刻算法获得透明物体的初始模型，计算出对应的包围盒，通过包围盒将模型放缩到单位球内；
步骤S3：自适应光线采样，前一定训练批次在整体图像空间中进行光线的随机采样，生成基于MPL（多层感知机）表示的透明物体大致三维模型，然后通过透明物体基于MPL的三维模型生成每个视角下的误差图，根据误差图进行光线的重要性采样；其中，所述训练批次的一批次代表随机选择一张图像，进行一次模型的优化；
步骤S4：动态位置编码，根据训练批次的大小生成对应掩码，通过掩码控制位每个训练批次的位置编码的频率大小；
步骤S5：体绘制过程，对于采样的像素生成对应的相机光线，通过常规的体绘制的过程获得相机光线和透明物体前表面的交点和法向量，计算出第一次折射光线的方向；
步骤S6：体绘制模拟折射路径，沿着第一次折射光线的方法寻找每条光线在模型外的虚拟相机中心点，沿着第一次折射光线的反方向计算出相机光线和透明物体后表面的交点和法向量；
步骤S7：采用折射损失、轮廓损失和正则化项不断迭代优化MLP表示的透明物体的三维模型。
基于同一发明构思，本方案还公开了一种数据采集设备。需要转动台，二个相机，一个电脑。所述转动台位于电脑显示屏和第一拍摄装置之间；第一拍摄装置平视电脑显示屏；第二拍摄装置斜视转动装置，电脑屏幕作为唯一光源。优选地，本发明的拍摄装置为相机。
基于同一发明构思，本方案还公开了一种基于数据采集设备的数据采集方法，具体过程如下：
先进行整个采集装置的标定过程，建立转动台到相机1之间的变换矩阵，然后进行相机1和电脑显示屏的标定，标定算法采用张定有相机标定算法，标定协助设备采用棋盘格；首先将棋盘格标定板放到转动台中央，此时将转动台按照恒定的角度
Figure SMS_1
进行旋转，/>
Figure SMS_2
最大
Figure SMS_3
，每旋转一次，相机2拍摄一次，最后总共拍摄/>
Figure SMS_4
张图像；
随后将标定板倾斜放置，使得在相机1和相机2的视角下均能清晰完整的看到棋盘格，二个相机各拍摄一张图像，采用张定有相机标定算法，通过相机1和转动台之间相机外参的转换关系，获得对应的外参矩阵；
然后，将透明物体放置转动装置中央，转动装置每隔
Figure SMS_5
旋转一次，此时只采用相机1拍摄图像，相机1在每个视角采集22张图像，对应22张格雷码背景图案，11 个带垂直条纹的图像和11 个带水平条纹的图像；
最后，取下透明物体，电脑屏幕显示棋盘格，相机1拍摄电脑屏幕显示的棋盘格，最终相机2拍摄的图像总数
Figure SMS_6
，相机1拍摄图像总数/>
Figure SMS_7
。
基于同一发明构思，本发明提出一种基于体绘制模拟折射路径的透明物体隐式表面重建系统，其包括数据采集单元，体绘制模拟折射路径单元，自适应光线采样单元，动态位置编码单元和损失计算单元。
数据采集单元。采集透明物体图像若干。
体绘制模拟折射路径单元。相机光线
Figure SMS_9
与透明物体的前表面在点/>
Figure SMS_10
处相交。法线/>
Figure SMS_11
和交点/>
Figure SMS_13
分别通过体绘制公式计算得到。第一次的折射光线/>
Figure SMS_14
被表面折射，同时遵循Snell定律。二次反弹折射射线/>
Figure SMS_15
需要进一步的光线追踪。沿着第一次的折射光线/>
Figure SMS_16
的方向，为每一个与模型前表面有交点的光线找到一个在物体外的一个虚拟相机的中心/>
Figure SMS_8
，然后执行一次与第一次折射光线相反的体绘制过程，在这个过程中通过体绘制公式，计算出第二次交点和法向量。根据二次交点的法向量，利用Snell定律，模拟穿过透明物体的折射光路，计算出第二次折射光线的方向/>
Figure SMS_12
。
自适应光线采样单元。通过体绘制重建3D 模型需要在每个图像空间中进行随机采样。然而，对广阔空间的不必要采样导致重建时间长。直观上，误差最大的区域需要高的采样频率和高概率为模型的细节区域。因此，需要在误差较大的区域采样更多的光线。使用等值面提取算法将基于MLP表示转换成网格表示的透明物体的三维模型。然后通过表面渲染的方法来获得每个视角下的误差图。误差图每个像素值大小代表对应的折射损失。对误差图中大于一定阈值的像素点进行采样。除此之外，在整个图像空间中，也进行像素点的随机采样，目的是维持整个模型的整体结构。
动态位置编码单元。位置编码是能够合成高保真度视图的关键，它将输入3D 坐标
Figure SMS_17
映射到更高维度。同时它也将每个点的梯度放大/>
Figure SMS_18
，使得预测和有效更新变得有些困难，因为每个点的梯度是互不相干的。因此，我们采用了一种动态位置编码的方法，核心思想是在优化过程中对不同频率的位置编码应用一个平滑的掩码，作用类似低通滤波器，使得在不同的训练批次下，拥有不同频数的位置编码。
损失计算单元。损失计算单元主要用三种损失，分别是折射损失：保证光线-像素一致性；轮廓损失：保证渲染的轮廓图和采集的轮廓图的一致性；正则化项：有利于模型表面光滑自然，避免糟糕的解集。在训练过程的前10K的批次中，不添加折射损失。
基于同一发明构思，本发明还公开了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现基于体绘制模拟折射路径的透明物体隐式表面重建方法。
通过本发明的透明物体三维重建算法，经过数据采集设备进行数据采集，和后续的数据预处理的过程，重建出高质量透明物体的三维模型，其主要优点有以下：
1、一种新型的采用光线-像素的一致性关系重建透明物体神经隐式表面的系统。
2、采用体渲染方法模型光线穿过透明物体的折射路径，能处理不同透明物体表面不同深度区域细节的重建。
3、自适应光线采样使得光线采样集中于透明物体的细节区域，加快神经网络的训练和透明物体表面细节重建速度。
4、自适应位置编码控制模型表面的平滑度，提高透明物体三维模型重建质量。
5、本发明在稀疏视角下，如：四个视角，可重建出透明物体高质量的三维模型。
附图说明
图1为本发明提出的基于体绘制模拟折射路径的透明物体隐式表面重建方法的过程示意图。
图2为体绘制过程图。
图3为光线与像素的对应关系。
图4为体渲染模拟光线穿过透明物体的折射路径图。
具体实施方式
为进一步了解本发明的内容，使本发明的目的、技术方案及优点更加清晰明了，以下结合附图和实施例对本发明进行详细说明。
本发明提供了一种基于体绘制模拟折射路径的透明物体隐式表面重建的方法。通过特定的数据采集装置，采用棋盘格标定板标定整个数据采集装置；在黑暗环境下，拍摄图像，基于拍摄图像获得每个视角下相机光线和背景显示器上像素的对应关系。采用MLP表示透明物体的三维模型；提出体绘制模拟折射路径的方法建立相机产生的出射光线与背景屏幕像素的联系；通过最小化采集的真实的背景显示器像素和生成的背景显示器像素的位置差异，同时保证轮廓一致性，迭代优化MLP表示的透明物体三维模型；最后，提出自适应的光线采样策略和动态的位置编码加快模型训练速度和提高透明物体三维模型重建质量。在真实和虚拟数据集上验证提出的方法，结果表明此方法可以重建更准确和真实的透明物体的三维模型。如附图1所示，其步骤主要如下：
步骤S1：数据采集，为了得到更好的三维重建模型，本方案设计了一种数据采集设备，包括电脑，两个拍摄装置，转动台，标定板。为避免环境光的影响，整个采集过程在黑暗环境下进行，电脑屏幕作为唯一光源，依次显示格雷码图案。格雷编码背景是11 个带垂直条纹的图像和11 个带水平条纹的图像的集合。两个拍摄装置均采用相机，转动台放在电脑显示屏和相机1之间，转动台距离屏幕和相机1不宜过远，距离5-15厘米左右；相机1平视电脑显示屏；相机2斜视转动装置，保证转动装置必须在相机2视角范围内。先进行整个采集装置的标定过程，建立转动台到相机1之间的变换矩阵，然后进行相机1和电脑显示屏的标定。标定算法采用张定有相机标定算法，标定协助设备采用棋盘格。首先将棋盘格标定板放到转动台中央，此时将转动台按照恒定的角度
Figure SMS_19
进行旋转，/>
Figure SMS_20
最大/>
Figure SMS_21
，每旋转一次，相机2拍摄一次，最后总共拍摄/>
Figure SMS_22
张图像。随后将标定板倾斜放置，使得在相机1和相机2的视角下均能清晰完整的看到棋盘格，二个相机各拍摄一张图像。采用张定有相机标定算法，通过相机1和转动台之间相机外参的转换关系，获得对应的外参矩阵。然后，将透明物体放置转动装置中央，转动装置每隔/>
Figure SMS_23
旋转一次，此时只采用相机1拍摄图像，相机1在每个视角采集22张图像，对应22张格雷码背景图案，11 个带垂直条纹的图像和11 个带水平条纹的图像。最后，取下透明物体，电脑屏幕显示棋盘格，相机1拍摄电脑屏幕显示的棋盘格。最终相机2拍摄的图像总数/>
Figure SMS_24
，相机1拍摄图像总数/>
Figure SMS_25
。
步骤S2：对于拍摄的图像进行处理。通过每个视角下拍摄的22张格雷码背景的图案，获得对应的光线-像素的对应关系和每个视角下的轮廓图，光线-像素的对应关系如附图3所示。通过相机内外参，和每个视角下的轮廓图，通过空间雕刻算法，获得透明物体的初始模型，此时的透明物体的初始模型不参与后续的模型重建过程，它主要用于计算出它在三维空间中包围盒。通过包围盒得到将模型放缩到单位球的放缩矩阵，从而对每个视角下的相机外参矩阵和光线-像素的对应关系进行放缩处理。
步骤S3：自适应光线采样过程。为了提高模型重建的质量，首先需要获得MLP表示的透明物体的初始模型。一批次代表的是随机选择一张图像，进行一次模型的优化。因此，本发明在前10K训练批次在整体图像空间中进行像素的随机采样，此时采样的像素数目总共
Figure SMS_26
同时损失只有轮廓损失和正则项。在10K批次的情况下，本发明就可以生成比较好的初始模型。随后，基于生成的初始模型生成每个视角下的自适应的光线采样图。生成每个视角下的自适应光线采样图的过程是：采用等值面提取算法将MLP表示的三维模型转换成网格表示，使用Optix库进行相机发射的光线和模型交点的计算，这个计算过程进行二次，获得每条光线的折射路径，计算出折射损失。将损失的大小作为每个视角下的误差图，在前百分之二十的折射误差空间中进行重要性像素随机采样，此时重要性像素采样数目/>
Figure SMS_27
。在后续的训练批次中(>10K)，采样的像素数目一共是/>
Figure SMS_28
。
步骤S4：动态位置编码。根据训练批次的大小生成对应掩码二进制位，通过掩码二进制位控制每个训练批次的位置编码的频率大小。其计算过程如下公式所示：
Figure SMS_29
其中
Figure SMS_30
代表的是3D点，/>
Figure SMS_31
代表的是位置编码的频数，/>
Figure SMS_32
代表的是与优化进度成正比的参数，/>
Figure SMS_33
就是位置编码的掩码，其公式为：
Figure SMS_34
其中
Figure SMS_35
的取值/>
Figure SMS_36
，从原始的3D点/>
Figure SMS_37
输入开始，逐渐激活更高频段的编码，直到启用全位置编码(/>
Figure SMS_38
)。
步骤S5：体绘制过程。采样的像素生成对应的相机光线
Figure SMS_39
。沿射线采样/>
Figure SMS_40
个3D点/>
Figure SMS_41
，其中/>
Figure SMS_42
是距离相机起点的长度，如附图2所示。空间位置/>
Figure SMS_43
的SDF值估计为/>
Figure SMS_44
，其中g是表示透明物体三维模型的MLP网络，输入是3D点，输出是SDF值。因此，离散的不透明度/>
Figure SMS_45
表示为：
Figure SMS_46
其中
Figure SMS_47
表示的是S型函数，/>
Figure SMS_48
,/>
Figure SMS_49
是要学习的参数。因此，光线与模型交点和法向量，和光线是否与模型有交点表示为：
Figure SMS_50
Figure SMS_51
其中
Figure SMS_52
表示透明度，即光线到达i处时，光强还剩下百分之多少，换句话就是这条光线上百分之多少没有碰撞到粒子,/>
Figure SMS_53
是隐函数g在/>
Figure SMS_54
的导数，是通过pytorch自动计算的导数，/>
Figure SMS_55
是光线于模型的交点法向量，/>
Figure SMS_56
是光线于模型的交点。
步骤S6：体绘制模拟折射路径。通过体积渲染恢复光线穿过物体的折射光线路径，如附图4所示。这条路径有两次折射，一次在进入透明物体时，一次在离开透明物体时。此外，不考虑了在采集过程中观察到的一些额外光线路径，即涉及超过两次折射和全内反射的光线路径。步骤S5的方法可以计算出任意光线与模型的交点和法向量，因此模型和相机光线的第一次交点
Figure SMS_57
和法向量/>
Figure SMS_58
经过步骤S5计算出。第一次折射光线的方向/>
Figure SMS_59
应用Snell定律计算出来。随后沿着第一次折射光线的方向寻找每条光线在模型外的虚拟相机中心点/>
Figure SMS_60
，此时的相机光线变为虚拟相机光线/>
Figure SMS_61
。最后沿着第一次折射光线的反方向计算出相机光线和透明物体后表面的第二次交点/>
Figure SMS_62
和法向量/>
Figure SMS_63
。通过计算出的第一次交点和第二次交点的法向量，可以模拟出光线在透明物体内部的传播路径。第二次和第一次折射光线的方向计算如下：
Figure SMS_64
Figure SMS_65
其中
Figure SMS_66
表示Snell定律，/>
Figure SMS_67
和/>
Figure SMS_68
分别表示空气和透明物体的折射率。
步骤S7：采用折射损失、轮廓损失和正则化项不断迭代优化MLP表示的透明物体的三维模型。其损失函数表示为：
Figure SMS_69
其中
Figure SMS_70
、/>
Figure SMS_71
和/>
Figure SMS_72
为各项损失的权重，设置为0.0001，0.1，0.1，保证折射损失和轮廓损失的大小基本上一致。其中折射损失，轮廓损失和正则化项分别为：
Figure SMS_73
其中
Figure SMS_74
是采集到电脑屏幕的像素点，/>
Figure SMS_75
是归一化函数，/>
Figure SMS_76
是判断二个向量差异性的函数，这边使用的/>
Figure SMS_77
和/>
Figure SMS_78
每个元素差值的平方和。
Figure SMS_79
其中
Figure SMS_80
是预测轮廓图的值，/>
Figure SMS_81
真实轮廓图的值，/>
Figure SMS_82
是二元交叉熵损失。
Figure SMS_83
其中
Figure SMS_84
表示一个批次采样多少根光线；/>
Figure SMS_85
表示一条光线上采样多少个点；/>
Figure SMS_86
表示MLP网络/>
Figure SMS_87
在3D点/>
Figure SMS_88
的梯度。
重建的过程从一个球体开始迭代优化，故在训练的前10K个批次中，不会添加折射损失，是为了获得透明物体的初始模型，然后通过折射损失进行细节的重建。整体训练过程提高了重建模型质量。通过不断迭代优化的过程，使得第二次折射光线的方向和通过采集到电脑显示屏像素点计算的真实第二次折射光线方向一致，重建高质量透明物体的三维模型。
本发明提出了一种新型透明物体重建方法，这是一种端到端的方法，可以从每个视图的轮廓图和光线-像素对应关系中恢复出高质量的透明物体的三维模型。其核心思想是采用MLP表示透明物体的三维模型，通过体绘制模拟通过透明物体的折射光线路径，通过最小化采集的真实的背景显示器像素和生成的背景显示器像素，保证轮廓一致性，迭代优化MLP表示的透明物体三维模型；最后，提出自适应的光线采样策略和动态的位置编码加快模型训练速度和提高透明物体三维模型重建质量。实验表明，所提出的方法能够重建出准确完整的模型。

Claims (10)

1.一种透明物体隐式表面重建方法，其特征在于包括以下步骤：
步骤S1：数据采集，采集透明物体图像若干；
步骤S2：数据处理，获取数据采集过程每个视角的相机内外参，通过空间雕刻算法获得透明物体的初始模型，计算出对应的包围盒，通过包围盒将模型放缩到单位球内；
步骤S3：自适应光线采样，将一定训练批次在整体图像空间中进行光线的随机采样，生成基于多层感知机MLP表示的透明物体三维模型，然后通过透明物体基于MLP的三维模型生成每个视角下的误差图，根据误差图进行光线的重要性采样；其中，所述训练批次的一批次代表随机选择一张图像，进行一次模型的优化；
步骤S4：动态位置编码，根据训练批次的大小生成对应掩码，通过掩码控制每个训练批次的位置编码的频率大小；
步骤S5：体绘制过程，对于采样的像素生成对应的相机光线，通过常规的体绘制的过程获得相机光线和透明物体前表面的交点和法向量，计算出第一次折射光线的方向；
步骤S6：体绘制模拟折射路径，沿着第一次折射光线的方向寻找每条光线在模型外的虚拟相机中心点，沿着第一次折射光线的反方向计算出相机光线和透明物体后表面的交点和法向量；
步骤S7：采用折射损失、轮廓损失和正则化项不断迭代优化MLP表示的透明物体的三维模型。
2.根据权利要求1所述的透明物体隐式表面重建方法，其特征在于：
所述步骤S3的具体过程为：首先获得基于MLP表示的透明物体的初始模型，在前10K训练批次在整体图像空间中进行像素的随机采样，损失只有轮廓损失和正则项；随后，基于生成的初始模型生成每个视角下的自适应的光线采样图；生成每个视角下的自适应光线采样图的过程为：
采用等值面提取算法将MLP表示的三维模型转换成网格表示，使用Optix库进行相机发射的光线和模型交点的计算，该计算过程进行二次，获得每条光线的折射路径，计算出折射损失，将损失的大小作为每个视角下的误差图，在前百分之二十的折射误差空间中进行重要性像素随机采样。
3.根据权利要求1所述的透明物体隐式表面重建方法，其特征在于：
所述步骤S4的具体过程为：根据训练批次的大小生成对应掩码，通过掩码二进制位控制每个训练批次的位置编码的频率大小，其计算过程如下公式所示：
Figure QLYQS_1
其中
Figure QLYQS_2
代表的是3D点，/>
Figure QLYQS_3
代表的是位置编码的频数，/>
Figure QLYQS_4
代表的是与优化进度成正比的参数，/>
Figure QLYQS_5
就是位置编码的掩码，其公式为：
Figure QLYQS_6
其中
Figure QLYQS_7
的取值/>
Figure QLYQS_8
，从原始的3D点/>
Figure QLYQS_9
输入开始，逐渐激活更高频段的编码，直到启用全位置编码，即/>
Figure QLYQS_10
。
4.根据权利要求1所述的透明物体隐式表面重建方法，其特征在于：
所述步骤S5的具体过程：采样的像素生成对应的相机光线
Figure QLYQS_11
，沿射线采样/>
Figure QLYQS_12
个3D点
Figure QLYQS_13
，其中/>
Figure QLYQS_14
是距离相机起点的长度；空间位置/>
Figure QLYQS_15
的SDF值估计为/>
Figure QLYQS_16
，其中g是表示透明物体三维模型的MLP网络，输入是3D点，输出是SDF值，因此，离散的不透明度/>
Figure QLYQS_17
表示为：
Figure QLYQS_18
其中
Figure QLYQS_19
表示的是S型函数，/>
Figure QLYQS_20
,/>
Figure QLYQS_21
是要学习的参数，因此，光线与模型交点和法向量，和光线是否与模型有交点表示为：
Figure QLYQS_22
Figure QLYQS_23
其中
Figure QLYQS_24
表示透明度，即光线到达i处时，光强还剩下百分之多少，
Figure QLYQS_25
是隐函数g在/>
Figure QLYQS_26
的导数，是通过pytorch自动计算的导数，/>
Figure QLYQS_27
是光线与模型的交点法向量，/>
Figure QLYQS_28
是光线与模型的交点。
5.根据权利要求1所述的透明物体隐式表面重建方法，其特征在于：
所述步骤S6的具体过程：假设光线与模型只发生二次折射，第一次折射光线的方向
Figure QLYQS_29
应用Snell定律计算出来，随后沿着第一次折射光线的方向寻找每条光线在模型外的虚拟相机中心点/>
Figure QLYQS_30
，此时的相机光线变为虚拟相机光线/>
Figure QLYQS_31
，最后沿着第一次折射光线的反方向计算出相机光线和透明物体后表面的第二次交点/>
Figure QLYQS_32
和法向量/>
Figure QLYQS_33
，通过计算出的第一次交点和第二次交点的法向量，模拟出光线在透明物体内部的传播路径，第二次和第一次折射光线的方向计算如下：
Figure QLYQS_34
Figure QLYQS_35
其中
Figure QLYQS_36
表示Snell定律，/>
Figure QLYQS_37
和/>
Figure QLYQS_38
分别表示空气和透明物体的折射率，模型和相机光线的第一次交点/>
Figure QLYQS_39
和法向量/>
Figure QLYQS_40
。
6.根据权利要求1所述的透明物体隐式表面重建方法，其特征在于：
所述步骤S7的具体过程：采用折射损失、轮廓损失和正则化项不断迭代优化MLP表示的透明物体的三维模型，其损失函数表示为：
Figure QLYQS_41
其中
Figure QLYQS_42
、/>
Figure QLYQS_43
和/>
Figure QLYQS_44
为各项损失的权重，保证折射损失和轮廓损失的大小一致，其中折射损失，轮廓损失和正则化项分别为：
Figure QLYQS_45
其中
Figure QLYQS_46
是采集到电脑屏幕的像素点，/>
Figure QLYQS_47
是归一化函数，/>
Figure QLYQS_48
是判断二个向量差异性的函数，这边使用的/>
Figure QLYQS_49
和/>
Figure QLYQS_50
每个元素差值的平方和，/>
Figure QLYQS_51
为光线在透明物体内部第二次折射的方向；
Figure QLYQS_52
其中
Figure QLYQS_53
是预测轮廓图的值，/>
Figure QLYQS_54
真实轮廓图的值，/>
Figure QLYQS_55
是二元交叉熵损失；
Figure QLYQS_56
其中
Figure QLYQS_57
表示一个批次采样多少根光线；/>
Figure QLYQS_58
表示一条光线上采样多少个点；/>
Figure QLYQS_59
表示MLP网络/>
Figure QLYQS_60
在3D点/>
Figure QLYQS_61
的梯度。
7.一种数据采集设备，其特征在于：该设备用于权利要求1-6任一项所述方法中的数据采集，该设备包括电脑，二个相机，转动台，标定板，所述转动台位于电脑显示屏和第一相机之间；第一相机平视电脑显示屏；第二相机斜视转动装置，电脑屏幕作为唯一光源。
8.一种基于权利要求7的数据采集设备的数据采集方法，其特征在于：
先进行整个采集装置的标定过程，建立转动台到第一相机之间的变换矩阵，然后进行第一相机和电脑显示屏的标定，标定算法采用张定有相机标定算法，标定协助设备采用棋盘格；首先将棋盘格标定板放到转动台中央，此时将转动台按照恒定的角度
Figure QLYQS_62
进行旋转，/>
Figure QLYQS_63
最大/>
Figure QLYQS_64
，每旋转一次，第二相机拍摄一次，最后总共拍摄/>
Figure QLYQS_65
张图像；
随后将标定板倾斜放置，使得在第一相机和第二相机的视角下均能清晰完整的看到棋盘格，二个相机各拍摄一张图像，采用张定有相机标定算法，通过第一相机和转动台之间相机外参的转换关系，获得对应的外参矩阵；
然后，将透明物体放置转动装置中央，转动装置每隔
Figure QLYQS_66
旋转一次，此时只采用第一相机拍摄图像，第一相机在每个视角采集22张图像，对应22张格雷码背景图案，11 个带垂直条纹的图像和 11 个带水平条纹的图像；
最后，取下透明物体，电脑屏幕显示棋盘格，第一相机拍摄电脑屏幕显示的棋盘格，最终第二相机拍摄的图像总数
Figure QLYQS_67
，第一相机拍摄图像总数/>
Figure QLYQS_68
。
9.一种透明物体隐式表面重建系统，其特征在于，包括：
数据采集单元，采集透明物体图像若干；
数据处理单元，获取数据采集过程每个视角的相机内外参，通过空间雕刻算法获得透明物体的初始模型，计算出对应的包围盒，通过包围盒将模型放缩到单位球内；
自适应光线采样单元，将一定训练批次在整体图像空间中进行光线的随机采样，生成基于多层感知机MLP表示的透明物体大致三维模型，然后通过透明物体基于MLP的三维模型生成每个视角下的误差图，根据误差图进行光线的重要性采样；其中，所述训练批次的一批次代表随机选择一张图像，进行一次模型的优化；
动态位置编码单元，根据训练批次的大小生成对应掩码，通过掩码控制位每个训练批次的位置编码的频率大小；
体绘制过程单元，对于采样的像素生成对应的相机光线，通过常规的体绘制的过程获得相机光线和透明物体前表面的交点和法向量，计算出第一次折射光线的方向；
体绘制模拟折射路径单元，沿着第一次折射光线的方法寻找每条光线在模型外的虚拟相机中心点，沿着第一次折射光线的反方向计算出相机光线和透明物体后表面的交点和法向量；
损失计算单元，采用折射损失、轮廓损失和正则化项不断迭代优化MLP表示的透明物体的三维模型。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
CN202310177622.0A 2023-02-28 2023-02-28 一种透明物体隐式表面重建方法及设备 Active CN115880443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310177622.0A CN115880443B (zh) 2023-02-28 2023-02-28 一种透明物体隐式表面重建方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310177622.0A CN115880443B (zh) 2023-02-28 2023-02-28 一种透明物体隐式表面重建方法及设备

Publications (2)

Publication Number Publication Date
CN115880443A CN115880443A (zh) 2023-03-31
CN115880443B true CN115880443B (zh) 2023-06-06

Family

ID=85761694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310177622.0A Active CN115880443B (zh) 2023-02-28 2023-02-28 一种透明物体隐式表面重建方法及设备

Country Status (1)

Country Link
CN (1) CN115880443B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079080B (zh) * 2023-10-11 2024-01-30 青岛美迪康数字工程有限公司 冠脉cta智能分割模型的训练优化方法、装置和设备
CN117173343B (zh) * 2023-11-03 2024-02-23 北京渲光科技有限公司 一种基于神经辐射场的重新照明方法及系统
CN117689747B (zh) * 2023-11-23 2024-09-17 杭州图科智能信息科技有限公司 一种基于点云引导的多视图神经隐式表面重建方法
CN117934727B (zh) * 2024-03-21 2024-06-14 中国科学技术大学 镜面物体的三维重建方法、装置、设备和存储介质
CN118097036B (zh) * 2024-04-25 2024-07-12 武汉大学 一种适用于含有透光材料的物体点云重建系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240148B (zh) * 2017-04-11 2020-09-11 中国人民解放军国防科学技术大学 基于背景纹影技术的透明物体三维表面重建方法和装置
CN107454378A (zh) * 2017-07-05 2017-12-08 上海珩灵智能科技有限公司 一种物体的三维拍摄系统及其拍摄方法
US11734892B2 (en) * 2018-07-26 2023-08-22 Shenzhen University Methods for three-dimensional reconstruction of transparent object, computer devices and storage mediums
CN109118531A (zh) * 2018-07-26 2019-01-01 深圳大学 透明物体的三维重建方法、装置、计算机设备及存储介质
CN112348956B (zh) * 2020-10-12 2023-07-14 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质
CN113888694B (zh) * 2021-09-08 2024-10-01 武汉大学 一种基于sdf场可微渲染的透明物体重建的方法及系统
CN115170741A (zh) * 2022-07-22 2022-10-11 北京航空航天大学 一种稀疏视角输入下的快速辐射场重建方法

Also Published As

Publication number Publication date
CN115880443A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN115880443B (zh) 一种透明物体隐式表面重建方法及设备
US10665011B1 (en) Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
Egan et al. Frequency analysis and sheared filtering for shadow light fields of complex occluders
CN103530907B (zh) 基于图像的复杂三维模型绘制方法
CN108509887A (zh) 一种获取环境光照信息方法、装置和电子设备
Bemana et al. Eikonal fields for refractive novel-view synthesis
US8670606B2 (en) System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency
CN117333637B (zh) 三维场景的建模及渲染方法、装置及设备
WO2024148732A1 (zh) 一种可重光照的人体隐式模型的重建方法和装置
CN114332355A (zh) 一种基于深度学习的弱光多视图几何重建方法
GB2586157A (en) System and method for performing 3D imaging of an object
Liao et al. Indoor scene reconstruction using near-light photometric stereo
Zheng et al. Learning visibility field for detailed 3d human reconstruction and relighting
CN117456128A (zh) 三维重建方法、装置、设备及存储介质
US11410378B1 (en) Image processing for generating three-dimensional shape and spatially-varying reflectance of the object using a deep neural network
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
WO2021151380A1 (en) Method for rendering virtual object based on illumination estimation, method for training neural network, and related products
CN111882659B (zh) 一种融合人体脚型规律和可视外壳的高精度人体脚型重建方法
CN113888694A (zh) 一种基于sdf场可微渲染的透明物体重建的方法及系统
Sun et al. SOL-NeRF: Sunlight modeling for outdoor scene decomposition and relighting
CN109166176B (zh) 三维人脸图像的生成方法与装置
Breckon et al. Three-dimensional surface relief completion via nonparametric techniques
Dai et al. Interactive mixed reality rendering on holographic pyramid
CN116029919A (zh) 一种压缩三维光场显示的智能优化方法
Ye et al. A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant