CN106952341A - 一种基于视觉的水下场景三维点云重建方法及其系统 - Google Patents

一种基于视觉的水下场景三维点云重建方法及其系统 Download PDF

Info

Publication number
CN106952341A
CN106952341A CN201710185969.4A CN201710185969A CN106952341A CN 106952341 A CN106952341 A CN 106952341A CN 201710185969 A CN201710185969 A CN 201710185969A CN 106952341 A CN106952341 A CN 106952341A
Authority
CN
China
Prior art keywords
underwater
camera
dimensional
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710185969.4A
Other languages
English (en)
Other versions
CN106952341B (zh
Inventor
康来
吴玲达
老松杨
魏迎梅
蒋杰
白亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710185969.4A priority Critical patent/CN106952341B/zh
Publication of CN106952341A publication Critical patent/CN106952341A/zh
Application granted granted Critical
Publication of CN106952341B publication Critical patent/CN106952341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉的水下场景三维点云重建方法及其系统。该方法包括以下步骤:首先,架设基于视觉的水下场景三维点云重建系统;其次,采集图像数据并进行预处理;再次,确定旋转四元数适应度计算方法;然后,采用改进差分进化算法计算最佳旋转四元数;最后,进行场景重建和优化。本发明基于视觉的水下场景三维点云重建系统主要包括两个水下照相机、水下LED光源、电源线和数据线、计算机系统构成、固定装置等部分。本发明提出的基于视觉的水下三维重建方法和系统无需在水下设置任何辅助标定部件,与已有基于外部定标物的水下三维重建系统相比操作更加便捷,与已有不采用外部定标物的方法相比具有速度快、收敛性好的优势。

Description

一种基于视觉的水下场景三维点云重建方法及其系统
技术领域
本发明属于电子信息学科学领域,特指一种基于视觉的水下场景三维点云重建方法及其系统。
背景技术
水下可见光成像和三维重建在生物观察、机器人导航、海底可视化等领域具有广泛的应用。典型的水下成像系统中相机通常被放置在具有透明平面玻璃窗口的防水外壳中。由于光线在不同介质中的传播速度不同,因此水下成像过程中光线会在玻璃窗口上发生折射弯曲现象,导致水下图像产生明显的折射变形。研究表明水下折射变形呈现高度非线性且变形大小依赖于场景点的深度,因此水下图像成像过程不能采用传统的透视相机模型来描述。
早期的水下三维重建方法直接忽略折射变形,或者采用焦距调节、镜头径向畸变近似方法来补偿折射变形。这类方法本质上采用透视相机模型模型来描述水下成像过程,T.Treibitz等在其论文(T.Treibitz,Y.Y.Schechner,H.Singh,Flat refractivegeometry,in:CVPR,2008)中指出这种单视点(single viewpoint,SVP)相机模型会导致较大的相机标定误差。为了更好的补偿折射变形,近年来学者提出采用折射相机模型对折射现象进行显式建模,目前折射相机模型标定和基于折射相机的三维重建方法仍然备受关注,基于图像的三维重建中的许多关键方法仍然并不成熟。
大多数已有基于折射相机模型的三维重建方法的局限性在于,这些方法需要采用标定板或者需要辅助硬件设备实现水下成像系统标定。比如:A.Agrawal等在其论文(A.Agrawal,S.Ramalingam,Y.Taguchi,V.Chari,A theory of multi-layer flatrefractive geometry,in:CVPR,2012)中提出的水下标定方法需要借助维度已知的平面棋盘格水下标定板实现相机和折射交界面的估计。Y.Chang等在其论文(Y.Chang,T.Chen,Multi-view 3d reconstruction for scenes under the refractive plane with knownvertical direction,in:ICCV,2011)中提出的水下相机标定方法需要借助惯性测量单元(inertial measurement unit,IMU)提供相机的旋转角数据。T.Yau等提出的方法(T.Yau,M.Gong,Y.-H.Yang,Underwater camera calibration using wavelengthtriangulation,in:CVPR,2013)则需要采用一种包含122个LED灯的特殊定制标定设备实现水下相机标定。
另一类更加灵活的基于折射相机模型的水下三维标定和重建方法是不需要附加标定物的方法。比如:A.Sedlazeck等在其论文(A.Sedlazeck,R.Koch,Calibration ofhousing parameters for underwater stereo-camera rigs,in:BMVC,2011)中提出的方法采用集束优化标定包含两个相机的水下成像系统,该方法的局限性在于其运行效率较低,运行时间通常需要达到小时级别。康来等提出的方法(L.Kang,L.Wu,Y.-H.Yang,Two-view underwater structure and motion for cameras under flat refractiveinterfaces,in:ECCV,2012)采用全局优化方法实现水下相机标定,其缺点在于需要手动选取稀疏匹配特征点集,因此降低了方法执行的自动化程度。
综上所述,已有基于视觉的水下三维重建方法分为三类。第一类是简单的忽略折射变形或采用近似模型进行补偿,这类方法容易导致较大的标定误差;第二类是需要借助水下标定板或特殊标定设备实现水下相机标定,这类方法增加人工操作难度;第三类方法依靠集束优化或全局优化实现标定,其缺点在于运行效率低或自动化程度低。
发明内容:
针对上述现有技术存在的问题,本发明提出一种基于视觉的水下场景三维点云重建方法及其系统。本发明方法基于简化的折射相机模型,采用局部优化和全局优化相结合的方式实现自动化相机标定和水下场景三维点云重建,且本发明方法无需水下标定板和其他标定设备。
为解决上述技术问题,本发明的技术方案是:
本发明提供了一种基于视觉的水下场景三维点云重建系统,包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成,所述两个水下照相的内部参数均已知,两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体,两个水下照相机的主光轴之间的夹角介于0°~30°之间,所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源,两个水下照相机与计算机系统连接,计算机系统用于控制两个水下照相机同步对待重建物体拍摄,完成图像数据同步采集、图像重建和重建结果展示。
本发明所采用的水下照相机由一个内部参数已知的照相机以及一个防水外壳构成,照相机设置在防水外壳内部。具体地,照相机通过其相机基座固定在防水外壳内部空间的底端,防水外壳的前端面上安装有平面透明玻璃窗口,照相机主光轴方向与平面透明玻璃窗口所在平面垂直,照相机透过平面透明玻璃窗口对待重建物体拍摄。
本发明中所采用的水下LED光源有两个以上,其中至少有两个水下LED光源分布在待重建物体的左右两侧。
本发明还提供了一种基于视觉的水下场景三维点云重建方法,包括以下步骤:
S1、构建基于视觉的水下场景三维点云重建系统;
基于视觉的水下场景三维点云重建系统,包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成。所述两个水下照相的内部参数均已知,两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体。两个水下照相机的主光轴之间的夹角介于0°~30°之间。所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源。两个水下照相机与计算机系统连接,计算机系统用于控制两个水下照相机同步对待重建物体拍摄,完成图像数据同步采集、图像重建和重建结果展示。其中,水下照相机由一个内部参数已知的照相机以及一个防水外壳构成,照相机通过其相机基座固定在防水外壳内部空间的底端,防水外壳的前端面上安装有平面透明玻璃窗口,照相机主光轴方向与平面透明玻璃窗口所在平面垂直,照相机透过平面透明玻璃窗口对待重建物体拍摄。
S2、图像数据采集和预处理
S2.1采用S1中构建的基于视觉的水下场景三维点云重建系统拍摄获取包括待重建物体的水下场景的两幅图像。
S2.2已知两水下照相机的内部参数,根据水下照相机的内部参数对S2.1中获取的两幅图像进行变形矫正移除图像径向变形,记径向矫正后的图像为
S2.3利用仿射不变性图像局部特征提取和匹配方法(该方法可以参见文献DavidG.Lowe,″Distinctive image features from scale-invariant keypoints,″International Journal of Computer Vision,60,2(2004),pp.91-110.)计算的特征点匹配结果,然后根据距离比测试值按照由小到大的顺序对匹配结果排序,选取排名靠前N位的图像特征点匹配对(j={1,2,…,N})。其中,u1(j)=(u1(j),v1(j))T为图像中的特征点坐标,u2(j)=(u2(j),v2(j))T为图像中与u1(j)对应的特征点坐标,N为不小于64的整数,N越大后续标定过程耗时越长、标定结果也越精确。
S2.4构建水下图像采集系统标定参数集合
S={{P1},{P2},{n1},{n2},{D1},{D2}}。其中,P1=K1[I|0]为第一个水下照相机的3×4维投影矩阵,P2=K2[R|(t;1)]为第二个水下照相机的3×4维投影矩阵;n1=(0;0;1)为第一个水下照相机的平面透明玻璃窗口所在平面的法向量,n2=R-1(0;0;1)为第二个水下照相机的平面透明玻璃窗口所在平面的法向量,两个水下照相机其平面透明玻璃窗口所在平面的点法式平面方程分别为n1U+D1=0和n2U+D2=0,其中:U表示三维空间点坐标;R为两个相机的3×3维相对旋转矩阵,t为第二个相机与第一个相机的3维相对平移列向量,K1和K2分别为第一个相机和第二个相机的3×3维内部标定矩阵,D1和D2为平面方程中的参数,由平面与原点之间的距离以及平面的法向量共同确定。
S3、确定旋转四元数适应度计算方法
对于任意给定的单位四元数q=(w,x,y,z)T且||q||2=1,按照如下步骤计算其适应度:
S3.1根据单位四元数与旋转矩阵的转换关系,计算q对应的旋转矩阵Rm(q);计算公式如下:
S3.2构建如下全局优化问题Q:
其中,P1=K1[I|0],P2=K2[Rm(q)|(t;1)],n1=(0;0;1),Uj均为3维未知列向量,指的是三维点在相机投影矩阵为Pi的相机中的投影的齐次坐标的第三个分量,εj为松弛变量,[Pi]3表示相机投影矩阵Pi的第三行行向量;符号“·”表示向量点积,常系数λ的取值范围是1.5~3.0。ri(j)中j={1,2,…,N},ri(j)的定义如下:
其中,κ为水的折射系数,且
d(P,U,u)的定义如下:
其中:符号[·]k表示矩阵的第k行向量;d(P,U,u)是三个自变量的函数,P,U,u分别为三个自变量的类型,即第一个自变量为相机矩阵,第二个自变量为三维点坐标,第三个自变量为二维图像点坐标,Piui(j)为三个自变量取值。采用凸优化算法(convexoptimization)求解上述优化问题计算未知向量
的最优解。
S3.3构建如下局部非线性优化问题:
其中,E为目标函数的代号,
d′(Pi,ni,Di,Uj,ui(j))取值按如下方式确定:如果εj>0,则d′(Pi,ni,Di,Uj,ui(j))=λ。否则,根据现有折射相机模型中的前向投影计算方法(参见文献:A.Agrawal,S.Ramalingam,Y.Taguchi,V.Chari,A theory of multi-layer flat refractivegeometry,in:CVPR,2012)计算前向投影误差d′(Pi,ni,Di,Uj,ui(j))。然后,根据S3.2中凸优化问题Q的解X对参数集合Y={S,{U1},{U2},…,{UN}}进行初始化,并采用LM算法求解上述局部非线性优化问题对Y进行优化求精;记优化后的成像系统标定参数集合并输出单位四元数q的适应度值f(q)=minE。
S4采用改进的差分进化算法计算最佳旋转四元数,算法中各参数的设置准则如下:种群个数Np不小于30,最大进化代数Gmax不小于50。每个个体的变量个数为4,对应于1个单位四元数。变异尺度FW∈[0,1],交叉率CR∈[0,1];进化终止条件为达到最大进化代数或者最佳适应度收敛。
本发明采用的差分进化算法中,每个个体对应一个单位四元数。个体的适应度值采用步骤三中所述方法计算,适应度值越小表示适应度更优。
S4.1初始化;每个个体对应的四元数q=(w,x,y,z)T进行随机初始化。
S4.2变异操作
给定三个被选中的个体编号r0,r1,r2,其中r0≠r1≠r2且1≤r0,r1,r2≤Np,Np为种群个体数量,变异单位四元数按如下公式计算:
其中,表示的共轭四元数,FW为变异尺度,η根据等式确定,“*”表示四元数乘法。
S4.3交叉操作
为了确保个体对应的4个变量构成单位四元数,对交叉后的试验向量即四元数进行归一化处理(即将四元数的每个分量都乘以一个相同的尺度因子,确保各分量的平方和为1)。
S4.4适应度计算
采用S3.3中的局部非线性优化方法获得邻域范围内所有单位四元数的最佳适应度值,适应度值越小表示适应度更优,最佳适应度值指的是当前群体中所有个体适应度的最小值。
算法执行完毕后,记最优个体对应的旋转四元数为q*,最终成像系统标定参数集合为
S5场景重建及其优化
S5.1利用已有的图像稠密匹配方法(参见文献C.Liu.Beyond Pixels:ExploringNew Representations and Applications for Motion Analysis.DoctoralThesis.Massachusetts Institute of Technology.May 2009.)计算图像与图像之间的像素对应关系。
S5.2对于每个像素对应其中u为图像中的图像点,v为图像中的图像点,利用折射相机的后向投影计算方法(参见文献:Chang,Y.,Chen,T.:Multi-view 3dreconstruction for scenes under the refractive plane with known verticaldirection.In:ICCV(2011)),结合成像系统标定参数集合S*分别计算u和v对应的三维场景光线;然后,计算上述两条光线的公共垂直线段的中点,并将该中点的三维坐标作为对应的场景点三维坐标初始值U。
S5.3对于每个场景点三维坐标初始值U,利用局部非线性优化方法对其初始三维坐标求精,优化过程的目标函数为:
其中,表示图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口,与图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口的归一化互相关系数;其中,m的取值范围是5~10个像素,U在各图像上的投影点的计算基于前向投影方法(参见文献Chang,Y.,Chen,T.:Multi-view 3d reconstruction for scenesunder the refractive plane with known vertical direction.In:ICCV(2011)),其中成像系统标定参数集合为S*
S5.4将所有经过优化的三维点融合为三维点云,并利用点云处理工具过滤孤立点和剔除细小点云片段,获得最终稠密三维重建结果。
已有水下场景三维重建方法要么需要借助水下标定板、方向感知设备或者特殊标定装置,要么需要通过耗时的局部优化实现水下相机和防水外壳玻璃窗口的标定,要么需要手动挑选图像稀疏特征点匹配集进行全局优化。
本发明提出的基于视觉的水下三维重建方法和系统采用局部优化和全局优化相结合的方式实现水下成像系统标定。本发明基于简化的折射相机模型,在无需任何附加水下标识物或特殊标定设备的条件下,利用计算机视觉方法根据两幅水下图像对水下照相机及其防水外壳的玻璃窗口自动进行标定,显式的补偿光线折射对图像三维重建的不利影响,在此基础上计算水下场景的三维点云结构。与已有基于外部定标物的水下三维重建系统相比操作更加便捷,与已有不采用外部定标物的方法相比具有速度快、收敛性好的优势。
附图说明:
图1是本发明一种基于视觉的水下场景三维点云重建方法的流程图;
图2是本发明一种基于视觉的水下场景三维点云重建系统的结构示意图;
图3是本发明一种水下照相机的结构示意图;
图4是本发明三维点云重建系统成像原理示意图;
图5是本发明采用非线性局部优化方法搜索最佳旋转四元数的过程图;
图6是本发明采用非线性局部优化方法搜索最佳旋转四元数的收敛图
图7是本发明实施例部分测试水下图像样张。其中图7(a)对应的照相机主光轴方向与玻璃窗口所在平面近似垂直,图7(b)对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°,图7(c)为图7(a)和图7(b)叠加的结果。
图8为采用不同方法的水下点云重建结果示例;其中图8(a)、8(b)、8(c)、8(d)为不进行折射补偿的重建模型从不同角度观察的结果,图8(e)、8(f)、8(g)、8(h)为本发明方法的测试结果。
图9为采用本发明方法在不同测试数据上的测试结果示例。其中,图9(a)、9(b)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为5°,图9(c)、9(d)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为10°,图9(e)、9(f)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°。
具体实施方式:
结合附图对本发明做进一步详细说明。
本发明提供了一种基于视觉的水下场景三维点云重建方法及其系统。
如图1所示,本发明一种基于视觉的水下场景三维点云重建方法包含如下五个步骤:架设基于视觉的水下场景三维点云重建系统;采集图像数据并进行预处理;确定旋转四元数适应度计算方法;采用改进差分进化算法计算最佳旋转四元数;以及场景重建和优化。
第一步,架设基于视觉的水下场景三维点云重建系统。
本发明基于视觉的水下场景三维点云重建系统结构示意图如图2所示。系统由两个水下照相机(即1#水下照相机1和2#水下照相机2)、两个水下LED光源(1#水下LED光源3和2#水下LED光源4)、计算机系统(包括计算机5和显示器6)、固定装置7构成。水下照相机(1和2)和待重建物体8均置于水面9以下。所述两个水下照相的内部参数均已知,两个水下照相机均由固定装置7固定支撑且两个水下照相机均朝向待重建物体8安装以确保两个水下照相机能够同时拍摄到待重建物体8,两个水下照相机的主光轴之间的夹角介于0°~30°之间。所述待重建物体8的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源,本实施例中两个水下LED光源分布在待重建物体的左右两侧。两个水下照相机与计算机系统连接,计算机系统用于控制两个水下照相机同步对待重建物体拍摄,完成图像数据同步采集、图像重建和重建结果展示。
参照图3,本实施例中的水下照相机由一个内部参数已知的照相机10以及一个防水外壳12构成,照相机10通过其相机基座13固定在防水外壳12内部空间的底端,防水外壳12的前端面上安装有平面透明玻璃窗口11,照相机主光轴方向与平面透明玻璃窗口11所在平面垂直,照相机10透过平面透明玻璃窗口11对待重建物体拍摄。平面透明玻璃窗口在确保防水外壳在水下不至破损的条件下尽可能减少其玻璃厚度。两个水下照相机均朝向待重建水下场景安装,两个相机的主光轴之间的夹角介于0°~30°。
第二步,图像数据采集和预处理
1)数据采集需要采用上述系统拍摄获取待重建水下场景两幅图像,然后进行后续的数据预处理操作。
2)已知两水下照相机的内部参数,根据相机的内部参数对获取的两幅图像进行变形矫正移除图像径向变形,记径向矫正后的图像为图像径向变形矫正采用HartleyR和Zisserman A(参考文献:Hartley R,Zisserman A.Multiple view geometry incomputer vision[M].2nd ed.Cambridge University Press,2004:189-193)提出的方法;
3)利用仿射不变性图像局部特征提取和匹配方法(该方法可以参见文献DavidG.Lowe,″Distinctive image features from scale-invariant keypoints,″International Journal of Computer Vision,60,2(2004),pp.91-110.)计算的特征点匹配结果,然后根据距离比测试值按照由小到大的顺序对匹配结果排序,选取排名靠前N位的图像特征点匹配对(j={1,2,…,N})。其中,u1(j)=(u1(j),v1(j))T为图像中的特征点坐标,u2(j)=(u2(j),v2(j))T为图像中与ul(j)对应的特征点坐标。N为不小于64的整数,N越大后续标定过程耗时越长、标定结果也越精确。本实施例中,N取64。
4)构建水下图像采集系统标定参数集合S={{P1},{P2},{n1},{n2},{D1},{D2}}。其中,其中,P1=K1[I|0]为第一个相机的3×4维投影矩阵,P2=K2[R|(t;1)]为第二个相机的3×4维投影矩阵;n1=(0;0;1)为第一个水下相机玻璃窗口所在平面的法向量,n2=R-1(0;0;1)为第二个水下相机玻璃窗口所在平面的法向量,两个水下相机玻璃窗口所在平面的点法式平面方程分别为n1U+D1=0和n2U+D2=0(U表示三维空间点坐标);R为两个相机的3×3维相对旋转矩阵,t为第二个相机与第一个相机的3维相对平移列向量,K1和K2分别为第一个相机和第二个相机的3×3维内部标定矩阵。水下图像采集系统成像过程几何模型示意图如图4所示。
第三步,确定旋转四元数适应度计算方法
对于任意给定单位四元数q=(w,x,y,z)T(||q||2=1),适应度值的计算方法包含如下四步:
1)根据单位四元数与旋转矩阵的转换关系,按照如下公式计算q对应的旋转矩阵:
2)构建如下全局优化问题Q:
其中,P1=K1[I|0],P2=K2[Rm(q)|(t;1)],n1=(0;0;1),Uj均为3维未知列向量。符号“·”表示向量点积,常系数λ的取值范围是1.5~3.0。ri(j)(j={1,2,…,N})的定义如下:
其中,κ为水(或者其他透明液体)的折射系数,且
d(P,U,u)的定义如下:
符号[·]k表示矩阵的第k行向量。采用凸优化(convex optimization)算法求解上述优化问题计算未知向量
的最优解。
3)构建如下局部非线性优化问题:
其中,d′(Pi,ni,Di,Uj,ui(j))取值按如下方式确定:如果εj>0,则d′(Pi,ni,Di,Uj,ui (j))=λ;否则,根据现有折射相机模型中的前向投影(forward projection)计算方法(参见A.Agrawal,S.Ramalingam,Y.Taguchi,V.Chari,A theory of multi-layer flatrefractive geometry,in:CVPR,2012)计算前向投影误差d′(Pi,ni,Di,Uj,ui(j))。然后,根据凸优化问题Q的解X对参数集合Y={S,{U1},{U2},…,{UN}}进行初始化,并采用LM算法求解上述局部非线性优化问题对Y进行优化求精。记优化后的成像系统标定参数集合并输出单位四元数q的适应度值f(q)=min E。
第四步,采用改进差分进化算法计算最佳旋转四元数
本发明采用的差分进化算法中,每个个体对应一个单位四元数。个体的适应度值采用步骤三中所述方法计算,适应度值越小表示适应度更优。
1)初始化。每个个体对应的四元数q=(w,x,y,z)T均按照如下方式初始化:
其中,参数α、β、γ为取值范围介于0~2π之间的随机数;
2)变异操作。给定三个被选中的个体编号r0,r1,r2(r0≠r1≠r2且1≤r0,r1,r2≤Np,Np为种群个体数量),变异单位四元数按如下公式计算:
其中,表示的共轭四元数,FW为变异尺度,η根据等式确定,“*”表示四元数乘法;
3)交叉操作。为了确保个体对应的4个变量构成单位四元数,对交叉后的试验向量进行归一化处理;
4)适应度计算。采用S3.3中的局部非线性优化方法获得邻域范围内所有单位四元数的最佳适应度值。适应度值越小表示适应度更优,最佳适应度值指的是当前群体中所有个体适应度的最小值。
上述改进差分进化算法各参数的设置准则如下:种群个数Np取30,最大进化代数Gmax取40,每个个体的变量个数为4,对应于1个单位四元数。变异尺度FW∈[0,1],交叉率CR∈[0,1]。进化终止条件为达到最大进化代数或者最佳适应度收敛。
改进差分进化算法执行完毕后,记最优个体对应的旋转四元数为q*,最终成像系统标定参数集合为
根据上述改进进化优化方法搜索最佳旋转四元数的一个示例过程如图5所示,该图对适应度值与四元数y、w切面的关系进行了可视化。从图中可以看出,上述搜索过程通过结合非线性局部数值优化和全局进化迭代优化,将最佳四元数搜索问题转换为了在离散极值点之间的比较和搜索过程。图6为本发明改进化优化方法搜索最佳旋转四元数的收敛图示例,统计数据基于50次独立运行,所有运行实例均在20次迭代左右开始逐渐收敛。
第五步,场景重建及其优化
场景三维稠密点云重建和优化包含如下四个步骤。
1)利用已有图像稠密匹配方法计算图像与图像之间的像素对应关系;
2)对于每个像素对应(其中u为中的图像点,v为中的图像点),利用折射相机的后向投影(back projection)计算方法(参见Chang,Y.,Chen.T.:Multi-view 3dreconstruction for scenes under the refractive plane with known verticaldirection.In:ICCV(2011)),结合成像系统标定参数集合S*分别计算u和v对应的三维场景光线。然后,计算上述两条光线的公共垂直线段的中点,并将该点的三维坐标作为对应的场景点三维坐标初始值U;
3)对于每个场景点三维坐标初始值U,利用局部非线性优化方法对其初始三维坐标求精,优化过程的目标函数为:
其中,表示图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口,与图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口的归一化互相关系数(normalized cross correlation,NCC)。其中,m的取值范围是5~10个像素,U在各图像上的投影点的计算基于前向投影(forward projection)方法(参见A.Agrawal,S.Ramalingam,Y.Taguchi,V.Chari,A theory of multi-layer flatrefractive geometry,in:CVPR,2012),其中成像系统标定参数集合为S*
4)将所有经过优化的三维点融合为三维点云,并利用MeshLab等点云处理工具过滤孤立点和剔除细小点云片段,获得最终稠密三维重建结果。
图7展示了部分测试水下图像样张。其中图7(a)对应的照相机主光轴方向与玻璃窗口所在平面近似垂直,图7(b)对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°,图7(c)为图7(a)和图7(b)叠加的结果。从图中可以清楚的观察到折射变形现象。
图8为采用不同方法的水下点云重建结果示例。该示例采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面近似垂直。其中,图8(a)、8(b)、8(c)、8(d)为不进行折射补偿的重建模型从不同角度观察的结果,图8(e)、8(f)、8(g)、8(h)为本发明方法的测试结果。通过将重建模型与参考模型对齐比较可以看出,若不进行折射补偿折射变形,基于图像的三维重建会产生明显变形,而本发明方法能有效提升水下三维重建质量。
图9为采用本发明方法在不同测试数据上的测试结果示例。其中,图9(a)、9(b)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为5°,图9(c)、9(d)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为10°,图9(e)、9(f)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°。从图中可以看出(比如:线框标识的部位),随着主光轴与玻璃窗口所在平面法向量夹角增加,本发明重建质量略有下降。因此,实际使用过程中,应尽量相机主光轴与玻璃窗口所在平面应尽可能保持垂直。
以上实施例仅起到解释本发明技术方案的作用,本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此,仅对上述实施例中具体的公式及算法进行简单替换,但其实质内容仍与本发明所述方法相一致的技术方案,均应属于本发明的保护范围。

Claims (6)

1.一种基于视觉的水下场景三维点云重建系统,其特征在于:包括置于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成,所述两个水下照相的内部参数均已知,两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体,两个水下照相机的主光轴之间的夹角介于0°~30°之间,所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源,两个水下照相机与计算机系统连接,计算机系统用于控制两个水下照相机同步对待重建物体拍摄,完成图像数据同步采集、图像重建和重建结果展示。
2.根据权利要求1所述的一种基于视觉的水下场景三维点云重建系统,其特征在于:水下照相机由一个内部参数已知的照相机以及一个防水外壳构成,照相机设置在防水外壳内部。
3.根据权利要求2所述的一种基于视觉的水下场景三维点云重建系统,其特征在于:照相机通过其相机基座固定在防水外壳内部空间的底端,防水外壳的前端面上安装有平面透明玻璃窗口,照相机主光轴方向与平面透明玻璃窗口所在平面垂直,照相机透过平面透明玻璃窗口对待重建物体拍摄。
4.根据权利要求1所述的一种基于视觉的水下场景三维点云重建系统,其特征在于:水下LED光源有两个以上,其中至少有两个水下LED光源分布在待重建物体的左右两侧。
5.一种基于视觉的水下场景三维点云重建方法,其特征在于,包括以下步骤:
S1、构建基于视觉的水下场景三维点云重建系统;
基于视觉的水下场景三维点云重建系统,包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成,所述两个水下照相的内部参数均已知,两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体,两个水下照相机的主光轴之间的夹角介于0°~30°之间,所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源,两个水下照相机与计算机系统连接,计算机系统用于控制两个水下照相机同步对待重建物体拍摄,完成图像数据同步采集、图像重建和重建结果展示;其中,水下照相机由一个内部参数已知的照相机以及一个防水外壳构成,照相机通过其相机基座固定在防水外壳内部空间的底端,防水外壳的前端面上安装有平面透明玻璃窗口,照相机主光轴方向与平面透明玻璃窗口所在平面垂直,照相机透过平面透明玻璃窗口对待重建物体拍摄;
S2、图像数据采集和预处理
S2.1采用S1中构建的基于视觉的水下场景三维点云重建系统拍摄获取包括待重建物体的水下场景的两幅图像;
S2.2已知两水下照相机的内部参数,根据水下照相机的内部参数对S2.1中获取的两幅图像进行变形矫正移除图像径向变形,记径向矫正后的图像为
S2.3利用仿射不变性图像局部特征提取和匹配方法计算的特征点匹配结果,然后根据距离比测试值按照由小到大的顺序对匹配结果排序,选取排名靠前N位的图像特征点匹配对其中,u1(j)=(u1(j),v1(j))T为图像中的特征点坐标,u2(j)=(u2(j),v2(j))T为图像I2中与u1(j)对应的特征点坐标,N为不小于64的整数,N越大后续标定过程耗时越长、标定结果也越精确;
S2.4构建水下图像采集系统标定参数集合S={{P1},{P2},{n1},{n2},{D1},{D2}};其中,P1=K1[I|0]为第一个水下照相机的3×4维投影矩阵,P2=K2[R|(t;1)]为第二个水下照相机的3×4维投影矩阵;n1=(0;0;1)为第一个水下照相机的平面透明玻璃窗口所在平面的法向量,n2=R-1(0;0;1)为第二个水下照相机的平面透明玻璃窗口所在平面的法向量,两个水下照相机其平面透明玻璃窗口所在平面的点法式平面方程分别为n1U+D1=0和n2U+D2=0,其中:U表示三维空间点坐标;R为两个相机的3×3维相对旋转矩阵,t为第二个相机与第一个相机的3维相对平移列向量,K1和K2分别为第一个相机和第二个相机的3×3维内部标定矩阵,D1和D2为平面方程中的参数,由平面与原点之间的距离以及平面的法向量共同确定;
S3、确定旋转四元数适应度计算方法
对于任意给定的单位四元数q=(w,x,y,z)T且||q||2=1,按照如下步骤计算其适应度:
S3.1根据单位四元数与旋转矩阵的转换关系,计算q对应的旋转矩阵Rm(q);计算公式如下:
R m ( q ) = 1 - 2 y 2 - 2 z 2 2 x y - 2 w z 2 x z + 2 w y 2 x y + 2 w z 1 - 2 x 2 - 2 z 2 2 y z - 2 w x 2 x z - 2 w y 2 y z + 2 w x 1 - 2 x 2 - 2 y 2
S3.2构建如下全局优化问题Q:
m i n Σ j = 1 N ϵ j
s . t . d ( P i , U π i ( j ) , u i ( j ) ) [ P i ] 3 ( U π i ( j ) ; 1 ) ≤ λ [ P i ] 3 ( U π i ( j ) ; 1 ) + ϵ j ,
n i · U π i ( j ) + D i = 0 ,
U j = U π i ( j ) + w i ( j ) r i ( j ) ,
[ P i ] 3 ( U π i ( j ) ; 1 ) > 0 ,
∀ i = 1 , 2 ; ∀ j = 1 , 2 , ... , N .
其中,P1=K1[I|0],P2=K2[Rm(q)|(t;1)],n1=(0;0;1),Uj均为3维未知列向量,指的是三维点在相机投影矩阵为P的相机中的投影的齐次坐标的第三个分量,εj为松弛变量,[Pi]3表示相机投影矩阵Pi的第三行行向量;符号“·”表示向量点积,常系数λ的取值范围是1.5~3.0;ri(j)中j={1,2,…,N}ri(j)的定义如下:
r i ( j ) = s i ( j ) κ | | s i ( j ) | | 2 - ( n i κ · s i ( j ) | | s i ( j ) | | 2 - 1 - 1 κ 2 + ( n i κ · s i ( j ) | | s i ( j ) | | 2 ) 2 ) n i
其中,κ为水的折射系数,且
s 1 ( j ) = K 1 - 1 ( u 1 ( j ) ; 1 ) s 2 ( j ) = K 2 - 1 R m - 1 ( q ) ( u 2 ( j ) ; 1 )
d(P,U,u)的定义如下:
d ( P , U , u ) = | | ( [ P U ] 1 [ P U ] 3 , [ P U ] 2 [ P U ] 3 ) T - u | | 2
其中:符号[·]k表示矩阵的第k行向量;d(P,U,u)是三个自变量的函数,P,U,u分别为三个自变量的类型,即第一个自变量为相机矩阵,第二个自变量为三维点坐标,第三个自变量为二维图像点坐标,为三个自变量取值;
采用凸优化算法求解上述优化问题计算未知向量
X = ( U 1 ; U 2 ; ... ; U N , U π 1 ( 1 ) , U π 1 ( 2 ) ; ... ; U π 2 ( N ) ; t ; w 1 ( 1 ) ; w 1 ( 2 ) ; ... ; w 2 ( N ) ; D 1 ; D 2 ; ϵ 1 ; ϵ 2 ; ... ; ϵ N )
的最优解;
S3.3构建如下局部非线性优化问题:
argmin Y E = argmin Y Σ i = 1 2 Σ j = 1 N [ d ′ ( P i , n i , D i , U j , u i ( j ) ) ] 2
其中,d′(Pi,ni,Di,Uj,ui(j))取值按如下方式确定:如果εj>0,则d′(Pi,ni,Di,Uj,ui(j))=λ;否则,根据折射相机模型中的前向投影计算方法计算前向投影误差d′(Pi,ni,Di,Uj,ui (j));然后,根据S3.2中凸优化问题Q的解X对参数集合Y={S,{U1},{U2},…,{UN}}进行初始化,并采用LM算法求解上述局部非线性优化问题对Y进行优化求精;记优化后的成像系统标定参数集合并输出单位四元数q的适应度值f(q)=min E;
S4采用改进的差分进化算法计算最佳旋转四元数,算法中各参数的设置准则如下:种群个数Np不小于30,最大进化代数Gmax不小于50;每个个体的变量个数为4,对应于1个单位四元数;变异尺度FW∈[0,1],交叉率CR∈[0,1];进化终止条件为达到最大进化代数或者最佳适应度收敛;
S4.1初始化;每个个体对应的四元数q=(w,x,y,z)T进行随机初始化;
S4.2变异操作
给定三个被选中的个体编号r0,r1,r2,其中r0≠r1≠r2且1≤r0,r1,r2≤Np,Np为种群个体数量,变异单位四元数按如下公式计算:
s i n [ ( 1 - F W ) η ] q r 0 + s i n ( F W · η ) ( q r 0 * q ‾ r 2 * q r 1 ) s i n η
其中,表示的共轭四元数,FW为变异尺度,η根据等式确定,“*”表示四元数乘法;
S4.3交叉操作
为了确保个体对应的4个变量构成单位四元数,对交叉后的试验向量即四元数进行归一化处理;
S4.4适应度计算
采用S3.3中的局部非线性优化方法获得邻域范围内所有单位四元数的最佳适应度值,适应度值越小表示适应度更优,最佳适应度值指的是当前群体中所有个体适应度的最小值;
算法执行完毕后,记最优个体对应的旋转四元数为q*,最终成像系统标定参数集合为
S5场景重建及其优化
S5.1利用图像稠密匹配方法计算图像与图像之间的像素对应关系;
S5.2对于每个像素对应其中u为图像中的图像点,v为图像中的图像点,利用折射相机的后向投影计算方法,结合成像系统标定参数集合s*分别计算u和v对应的三维场景光线;然后,计算上述两条光线的公共垂直线段的中点,并将该中点的三维坐标作为对应的场景点三维坐标初始值U;
S5.3对于每个场景点三维坐标初始值U,利用局部非线性优化方法对其初始三维坐标求精,优化过程的目标函数为:
其中,表示图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口,与图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口的归一化互相关系数;其中,m的取值范围是5~10个像素,U在各图像上的投影点的计算基于前向投影方法,其中成像系统标定参数集合为S*
S5.4将所有经过优化的三维点融合为三维点云,并利用点云处理工具过滤孤立点和剔除细小点云片段,获得最终稠密三维重建结果。
6.根据权利要求5所述的基于视觉的水下场景三维点云重建方法,其特征在于,S4.1中,每个个体对应的四元数q=(w,x,y,z)T均按照如下方式初始化:
w = c o s α x = s i n α s i n β c o s γ y = s i n α s i n β s i n γ z = s i n α c o s β
其中,参数α、β、γ为取值范围介于0~2π之间的随机数。
CN201710185969.4A 2017-03-27 2017-03-27 一种基于视觉的水下场景三维点云重建方法及其系统 Active CN106952341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710185969.4A CN106952341B (zh) 2017-03-27 2017-03-27 一种基于视觉的水下场景三维点云重建方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710185969.4A CN106952341B (zh) 2017-03-27 2017-03-27 一种基于视觉的水下场景三维点云重建方法及其系统

Publications (2)

Publication Number Publication Date
CN106952341A true CN106952341A (zh) 2017-07-14
CN106952341B CN106952341B (zh) 2020-03-31

Family

ID=59472424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710185969.4A Active CN106952341B (zh) 2017-03-27 2017-03-27 一种基于视觉的水下场景三维点云重建方法及其系统

Country Status (1)

Country Link
CN (1) CN106952341B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446597A (zh) * 2018-02-14 2018-08-24 天目爱视(北京)科技有限公司 一种基于可见光相机的生物特征3d数据采集方法及装置
CN109741403A (zh) * 2018-12-29 2019-05-10 重庆邮电大学 一种基于全局线性的相机平移标定方法
CN110111413A (zh) * 2019-04-08 2019-08-09 西安电子科技大学 一种基于水陆共存场景的稀疏点云三维模型建立方法
CN110533702A (zh) * 2019-08-12 2019-12-03 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
CN111006610A (zh) * 2019-12-13 2020-04-14 中国科学院光电技术研究所 一种基于结构光三维测量的水下三维测量数据校正方法
CN112304311A (zh) * 2019-07-29 2021-02-02 南京理工大学 用于slam过程的基于差分进化算法进行ba问题求解的方法
CN112995639A (zh) * 2021-02-05 2021-06-18 中国科学院沈阳自动化研究所 一种水下目标精细三维感知方法
CN112991402A (zh) * 2021-03-19 2021-06-18 西北大学 一种基于改进差分进化算法的文物点云配准方法及系统
CN115797460A (zh) * 2022-10-10 2023-03-14 哈尔滨工程大学 一种水下双目标定方法
CN116935139A (zh) * 2023-08-07 2023-10-24 江南大学 一种基于图像重建的河水污染监测方法和系统
CN118097036A (zh) * 2024-04-25 2024-05-28 武汉大学 一种适用于含有透光材料的物体点云重建系统及方法
US12022052B2 (en) 2020-08-25 2024-06-25 Samsung Electronics Co., Ltd. Method and apparatus for 3D reconstruction of planes perpendicular to ground

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
CN105225271A (zh) * 2015-11-09 2016-01-06 浙江海洋学院 一种水域浮游生物的远程实时图像采集与三维重建系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
CN105225271A (zh) * 2015-11-09 2016-01-06 浙江海洋学院 一种水域浮游生物的远程实时图像采集与三维重建系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LAI KANG ET AL.: ""Two-View underwater structure and motion for cameras under flat refractive interfaces"", 《ECCV 12 PROCEEDINGS OF THE 12TH EUROPEAN CONFERENCE ON COMPUTER VISION》 *
YAO-JEN CHANG ET AL.: ""Multi-View 3D Reconstruction for Scenes under the Refractive Plane with Known Vertical Direction"", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
康来: ""基于图像点特征的三维重建方法研究"", 《中国博士学位论文全文数据库 信息科技辑》 *
王玲玲: ""基于双目立体视觉的水下三维重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446597B (zh) * 2018-02-14 2019-06-25 天目爱视(北京)科技有限公司 一种基于可见光相机的生物特征3d数据采集方法及装置
CN108446597A (zh) * 2018-02-14 2018-08-24 天目爱视(北京)科技有限公司 一种基于可见光相机的生物特征3d数据采集方法及装置
CN109741403B (zh) * 2018-12-29 2023-04-07 重庆邮电大学 一种基于全局线性的相机平移标定方法
CN109741403A (zh) * 2018-12-29 2019-05-10 重庆邮电大学 一种基于全局线性的相机平移标定方法
CN110111413A (zh) * 2019-04-08 2019-08-09 西安电子科技大学 一种基于水陆共存场景的稀疏点云三维模型建立方法
CN112304311B (zh) * 2019-07-29 2023-08-22 南京理工大学 用于slam过程的基于差分进化算法进行ba问题求解的方法
CN112304311A (zh) * 2019-07-29 2021-02-02 南京理工大学 用于slam过程的基于差分进化算法进行ba问题求解的方法
CN110533702B (zh) * 2019-08-12 2023-04-18 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
CN110533702A (zh) * 2019-08-12 2019-12-03 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
CN111006610B (zh) * 2019-12-13 2022-03-29 中国科学院光电技术研究所 一种基于结构光三维测量的水下三维测量数据校正方法
CN111006610A (zh) * 2019-12-13 2020-04-14 中国科学院光电技术研究所 一种基于结构光三维测量的水下三维测量数据校正方法
US12022052B2 (en) 2020-08-25 2024-06-25 Samsung Electronics Co., Ltd. Method and apparatus for 3D reconstruction of planes perpendicular to ground
CN112995639A (zh) * 2021-02-05 2021-06-18 中国科学院沈阳自动化研究所 一种水下目标精细三维感知方法
CN112991402A (zh) * 2021-03-19 2021-06-18 西北大学 一种基于改进差分进化算法的文物点云配准方法及系统
CN112991402B (zh) * 2021-03-19 2023-06-13 西北大学 一种基于改进差分进化算法的文物点云配准方法及系统
CN115797460A (zh) * 2022-10-10 2023-03-14 哈尔滨工程大学 一种水下双目标定方法
CN116935139A (zh) * 2023-08-07 2023-10-24 江南大学 一种基于图像重建的河水污染监测方法和系统
CN118097036A (zh) * 2024-04-25 2024-05-28 武汉大学 一种适用于含有透光材料的物体点云重建系统及方法

Also Published As

Publication number Publication date
CN106952341B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN106952341B (zh) 一种基于视觉的水下场景三维点云重建方法及其系统
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
Eder et al. Pano popups: Indoor 3d reconstruction with a plane-aware network
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
Pollefeys Visual 3D Modeling from Images.
Kawahara et al. A pixel-wise varifocal camera model for efficient forward projection and linear extrinsic calibration of underwater cameras with flat housings
da Silveira et al. 3d scene geometry estimation from 360 imagery: A survey
CN117036612A (zh) 一种基于神经辐射场的三维重建方法
CN110517309A (zh) 一种基于卷积神经网络的单目深度信息获取方法
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
Mihajlovic et al. Deepsurfels: Learning online appearance fusion
Cao et al. Accurate 3-D reconstruction under IoT environments and its applications to augmented reality
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
CN117274493A (zh) 一种融合深度估计的神经隐式表面重建方法及装置
Chen et al. A closed-form solution to single underwater camera calibration using triple wavelength dispersion and its application to single camera 3D reconstruction
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
US20240290007A1 (en) Method and device with image generation based on neural scene representation
CN113808273A (zh) 一种船行波数值模拟的无序式增量稀疏点云重构方法
CN107256563B (zh) 基于差异液位图像序列的水下三维重建系统及其方法
Neumann et al. Eyes from eyes: analysis of camera design using plenoptic video geometry
CN117834839A (zh) 基于移动终端的多视角3d智能成像测量系统
Gava et al. Dense scene reconstruction from spherical light fields
Yao et al. Matching wide-baseline stereo images with weak texture using the perspective invariant local feature transformer
CN116503553A (zh) 一种基于双目视觉和扩散模型的三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant