CN113284251B - 一种自适应视角的级联网络三维重建方法及系统 - Google Patents

一种自适应视角的级联网络三维重建方法及系统 Download PDF

Info

Publication number
CN113284251B
CN113284251B CN202110652493.7A CN202110652493A CN113284251B CN 113284251 B CN113284251 B CN 113284251B CN 202110652493 A CN202110652493 A CN 202110652493A CN 113284251 B CN113284251 B CN 113284251B
Authority
CN
China
Prior art keywords
reconstruction
network
point cloud
depth
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110652493.7A
Other languages
English (en)
Other versions
CN113284251A (zh
Inventor
王好谦
刘智方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110652493.7A priority Critical patent/CN113284251B/zh
Publication of CN113284251A publication Critical patent/CN113284251A/zh
Application granted granted Critical
Publication of CN113284251B publication Critical patent/CN113284251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种自适应视角的级联网络三维重建方法及系统,所述重建方法主要包括系统初始化,摄像组合体自动采集一到多组不同视角图像进行初始重建,由初始重建的点云和已视角拓展集合,估计加入后对重建完整性提升最有帮助的视角,控制摄像组合体进行拍摄,加入已有图像集合,与邻近图像集结合进行深度估计,估计结果转化为点云后加入现有候选点云集,重复此步骤直至满足要求,最后基于点云的点间距离和统计特性进行滤波和抑制。所述方法主要用于对静物的三维点云进行稠密重建,旨在平衡重建完整性和计算、存储成本之间的矛盾,同时避免在重建过程中对高价值、难以移动的物体造成损害。

Description

一种自适应视角的级联网络三维重建方法及系统
技术领域
本发明涉及计算机视觉技术领域,特别是一种自适应视角的级联网络三维重建方法及系统。
背景技术
三维重建(3Dreconstruction)是指利用二维投影恢复物体或场景三维信息的技术,是在计算机虚拟世界中重现客观物理世界的关键技术。
按传感器是否主动向被测物体发出信号,三维重建方法可分为主动式和被动式,主动式方法使用编码结构光、飞行时间(ToF)等原理进行重建,虽整体性能上略优,但目前设备价格仍较为昂贵,使用场景也有较大限制;被动式三维重建对硬件要求较低,使用普通相机采集到的RGB图像即可进行重建,主要基于较为成熟的视觉几何知识,但由于环境干扰等因素一直在技术上具有较大挑战性。被动式三维重建技术根据使用的视角(图片)数量又可分为单目重建、双目重建和多视角重建。单目重建对先验知识的要求较高,重建的不确定性较大、精度较差,这是由于由二维投影恢复三维信息这一任务本身为欠定问题,在单目情况下有无穷多解,理论基础上即存在缺陷;双目重建和多视角重建(Multi-ViewStereo)引入了大量的冗余信息,通过特征匹配和三角测量在理论上可以精确获得二维点对对应的三维点坐标,因此,可以获得较完整且精确的重建结果。此外,虽在一些文章中被归为单目重建方法,SFM(structure-from-motion)利用单目相机的移动获取多视角下的物体或场景图像,实现了对相机位姿和目标三维信息的同时恢复,另一些方法直接使用带有深度信息的RGB-D图像作为输入,但进行物体和场景的完整重建仍需采集和处理多视角图像。
深度学习方法随着近年算力的大幅提升和一批优秀网络结构的提出,为计算机视觉领域的各类问题提供了一个新的处理思路,特别是2012年以来,AlexNet的问世使得各种卷积神经网络架构广泛应用于分类、检测和分割等任务中,不断取得突破性的进展。深层卷积神经网络在各类计算机视觉任务上的成功,某种程度上证明了深度学习方法在三维重建中应用的可行性,同时研究人员也期望可以借助深度学习方法提升重建精度和完整性,因此基于深度学习的三维重建近年来逐渐成为研究热点之一。
当前三维重建技术虽方法众多,且在深度学习算法的辅助下准确率和完整性大大提升,但目前仍有一些常见问题:其一,对光照敏感,当不同角度的光照变化较大时,难以获得可靠且密集的对应点匹配;其二,重建耗时长、存储成本高,多视角的重建方法虽然因可获得更丰富的信息,重建结果较好,但同时大量的信息对算法的时间和空间效率提出了更高的要求。
发明内容
为了解决光照会对三维重建产生较大影响,多视角重建耗时长、存储成本高的技术问题,本发明提出一种自适应视角的级联网络三维重建方法及系统。
为此,本发明提出的自适应视角的级联网络三维重建方法具体包括如下步骤:
S1,系统初始化,通过摄像组合体采集一组或多组图像对,通过解算获得初始视角,将所得图像输入深度级联三维重建网络,给出多组深度图,以所述深度图为依据将主视图投影到三维空间中,获取初始点云候选;
S2,基于由所述步骤S1已提取的所述初始视角和所述初始点云候选进行视角拓展,估计得出不完整、不确定重建区域,对每个未拓展视角,控制摄像组合体拍摄一组图像对,对不完整、不确定区域,控制摄像组合体获取三组该区域的图像,进行深度图重建和深度图融合,拓展及优化点云,所述步骤S2重复多次以满足完整性和精确性要求;
S3,基于点云的点间距离和统计特性进行滤波和抑制,点云候选经过处理后生成最终重建点云结果。
进一步地,在所述步骤S1中,所述系统初始化具体包括确定世界坐标系原点,使得摄像组合体的传感器误差归零,标定高清相机,目标和所述摄像组合体位置初始化。
进一步地,在所述步骤S1中,所述通过解算获得初始视角具体包括依据所述摄像组合体上各高精度传感器给出的位置信号,结合拍摄间运动关系,解算相机位姿,作为初始视角。
进一步地,在所述步骤S1中,由深度图获取点云的具体方式为:取主视角及其深度图,将二维点坐标与深度一起,结合所述高清相机与世界坐标系间关系,求解当前二维点在三维世界坐标系下位置,即可获得当前视角下的物体表面部分点云。
进一步地,在所述步骤S2中,基于所述初始视角和所述初始点云候选进行视角拓展具体包括使用图神经网络将点云的颜色信息经过多层感知机处理后和位置拼接进行编码作为图初始节点,以位置点积为近邻判定标准,排除切割目标的点对连接后,生成图边,使用自注意力机制得出边上传递的信息并经一个多层感知机后对初始节点进行更新,网络迭代多次后输出衡量节点邻域点丰富程度和法线预测的编码,选取其中丰富度最小的一个或多个进行视角拓展。
进一步地,在所述步骤S2中,初始高清相机位置在人工初始化后估计出的球壳上,使用随机策略在球壳上生成三维点,直到所述三维点满足与已拓展高清相机位置间的距离约束或超出随机生成次数约束,以实现多样性的视角拓展。
进一步地,在所述步骤S2中,所述估计得出不完整、不确定重建区域具体包括由区域完整性评价指标和区域不确定性估计得出不完整、不确定重建区域。
进一步地,在所述步骤S2中,所述进行深度图重建和深度图融合具体包括依据相机间位置关系获取近邻视图,选取满足阈值要求的所述近邻视图与新拓展视图一同输入所述深度级联三维重建网络获得深度图。
进一步地,在所述步骤S3中,基于点云的点间距离和统计特性进行抑制具体包括将某一位置邻域内颜色位置编码相近的点云进行合并,并记录合并点云个数,由局部点间方向叉乘的平均值估计物体表面法线方向,在该方向上进行非极大值抑制,排除合并点数少的点。
进一步地,在所述步骤S3中,基于点云的点间距离和统计特性进行滤波具体包括使用三维腐蚀操作剔除离群点,进行噪声滤波。
进一步地,所述深度级联三维重建网络的工作过程为通过图像去光照网络对图像去光照后,使用特征图增强网络对图像进行特征增强,增强后的各视角特征图映射到主视角视锥上构建特征体,使用遮挡优化网络排除遮挡干扰,生成当前尺寸代价体,对代价体进行滤除噪声并解码,获得深度概率体,在当前层给出多个深度预测标签,所述深度级联三维重建网络在当前层深度预测标签周围一个小深度范围内以更小的深度标签间隔重复进行同样的操作,最终解码给出像素点深度。
为此,本发明提出的自适应视角的级联网络三维重建系统包括摄像组合体、信号传输线路、存储器和处理器,所述存储器上存储有程序,所述程序在被所述处理器运行时能够实现上述自适应视角的级联网络三维重建方法。
进一步地,所述摄像组合体由可拆卸滑轨、滑轨平台车、六轴机械臂、一对相对位置可调的高清相机、控制器、高精度位置传感器和信号传输装置组成,所述相对位置可调的高清相机固连在所述机械臂的工作端。
相比于现有技术,本发明具有如下有益效果:
重建全程包括图像采集过程均无需人工干预,移动设备使相机中包括重建目标后,只需设定重建性能要求,系统即可进行自动捕获目标、点云初始化、选取增量视角、拓展优化点云的全流程操作,避免在重建已相当完整的位置引入更多冗余信息,在不损失重建准确性和完整性的前提下,减轻了计算负担,减少了人工拍摄数据所需的人员负担和成本压力,减少了重建时间、空间成本,实现了流程全自动的三维点云重建。
在本发明的一些实施例中,还具有如下有益效果:
深度级联三维重建网络对光照和遮挡进行显式的估计,降低了重建对光照的敏感性,排除光照和遮挡影响,显著地提高了深度学习技术在多视角三维重建中的鲁棒性,并且采用级联的思路对深度标签进行分类而非回归,减少了单次估计成本。
附图说明
图1是自适应视角的级联网络三维重建方法的流程图;
图2是点云评估的示意图;
图3是深度级联三维重建网络的结构图;
图4是加权方差代价体生成和聚合方法的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
本发明实施例中的自适应视角的级联网络三维重建系统包括摄像组合体、信号传输线路、存储器、处理器以及保存在存储器上可用处理器快速进行重建的程序。摄像组合体由可拆卸滑轨、滑轨平台车、六轴机械臂、一对相对位置可调的高清相机、控制器、高精度位置传感器和信号传输装置组成,相对位置可调的高清相机固连在机械臂的工作端。由于神经网络的规模较大,对处理器和存储器的要求较高,使用了带有高性能显卡的移动工作站对数据进行存储和处理。可选地,为方便摄像组合体的移动,可以去除滑轨而使用带锁紧装置的平板车搭载升降平台和机械臂组合。
如图1所示,基于上述系统的自适应视角的级联网络三维重建方法具体包括:
S1,系统初始化,通过摄像组合体采集一组或多组不同视角图像对,通过解算获得初始视角,将所得图像输入深度级联三维重建网络,给出1到k组深度图,以所述深度图为依据将主视图投影到三维空间中,获取初始点云候选。系统初始化具体包括确定世界坐标系原点,使得摄像组合体的传感器误差归零,标定高清相机(为简便起见,相机的参数可以是经过精细标定的固定值),目标和摄像组合体位置初始化,设定重建目标、重建完整性等指标要求,目标和摄像组合体位置初始化具体包括将摄像组合体组装或移动到目标周围,使之可以在目标外球面上各处采集图像而不违反机械和运动约束条件,为避免机械臂任意部位触碰目标,在初始化时将估计一个不可进入区域,即目标外围的一个较大的虚拟球壳,后续过程中因重建逐渐完整,球壳大小随之减小,以保证对小目标的重建精度。通过解算获得初始视角具体包括依据摄像组合体上各高精度传感器给出的位置信号,结合拍摄间运动关系,解算相机位姿,作为初始视角。由深度图获取点云的具体方式为:取主视角及其深度图,将二维点坐标与深度一起,结合高清相机与世界坐标系间关系,求解当前二维点在三维世界坐标系下位置,即可获得当前视角下的物体表面部分点云。
S2,如附图2所示,基于由步骤S1已提取的初始视角和初始点云候选进行视角拓展,估计得出不完整、不确定重建区域,对每个未拓展视角,控制摄像组合体拍摄一组图像对,对不完整、不确定区域,控制摄像组合体获取三组该区域的图像,进行深度图重建和深度图融合,拓展及优化点云,S2重复多次以满足完整性和精确性要求。基于初始视角和初始点云候选进行视角拓展具体包括使用图神经网络将点云的颜色信息经过多层感知机处理后和位置拼接进行编码作为图初始节点,以位置点积为近邻判定标准,排除切割目标的点对连接后,生成图边,使用自注意力机制得出边上传递的信息并经一个多层感知机后对初始节点进行更新,网络迭代L次后输出衡量节点邻域点丰富程度和法线预测的编码,选取其中丰富度最小的一个或多个进行视角拓展,对于重建完整性提升最有帮助,神经网络的训练数据由已知点云随机去除部分位置生成,由于点云已知,故可根据缺失点云的局部法线方向获取视角数据作为训练监督。估计得出不完整、不确定重建区域具体包括由区域完整性评价指标和区域不确定性估计得出不完整、不确定重建区域。进行深度图重建和深度图融合具体包括依据相机间位置关系获取近邻视图,选取满足阈值要求的近邻视图与新拓展视图一同输入上述深度级联三维重建网络获得深度图。由已拓展视角估计所需未拓展视角的方法为:由相机外参数矩阵计算已有相机位置,此时可将相机视作带有方向的点云,由于初始相机位置在人工初始化后估计出的球壳上,为实现多样性的视角选择,使用随机策略在球壳上生成三维点,直到该三维点满足与已拓展相机位置间的距离约束或超出随机生成次数约束。由于若想获得物体的完整重建,视角应至少可以从目标外球壳上以较密集的间隔对物体进行观察,为此,每次视角选取时将利用已有点云结合机械臂的位置约束,估计未拓展的视角,即物体没有被观测到的阴面,进而选取拓展视角。为了实现对重建完整性确定性区域的自动提取,使用图神经网络对已有点云的区域密集程度、点间关系进行评估,得出未完整重建区域的世界坐标系下中心点位置及其平面法向量,进而选取拓展视角。
S3,基于点云的点间距离和统计特性进行滤波和抑制,点云候选经过处理后生成最终重建点云结果,可进一步用于生成面片和贴图、渲染。点云非极大值抑制包括将某一位置邻域内颜色位置编码相近的点云进行合并,并记录合并点云个数,由局部点间方向叉乘的平均值估计物体表面法线方向,在该方向上进行非极大值抑制,排除合并点数少的点。点云滤波包括使用三维腐蚀操作剔除离群点,进行噪声滤波。
自适应视角的级联网络三维重建系统中存储器存储的程序在被处理器运行时能够实现上述重建方法。
上述方法中提及的深度级联三维重建网络每次对多张临近视图进行处理,输出参考视图下深度图,深度级联三维重建网络包括输入图像去光照影响网络、用于遮挡排除的代价权重估计网络和级联代价估计网络,遮挡情况的显式优化由视图逐像素权重表示,若当前像素点无法观测到三维物体上某点,在计算三维信息时将其纳入考量是不合理的,遮挡优化网络是级联网络生成代价体时的一个分支,使用U-Net估计遮挡点,并尽可能减小该点在代价体计算时的贡献,深度级联三维重建网络分训练和预测两阶段。如图3所示,深度级联三维重建网络有k层,在对图像去光照后使用U-Net对图像进行特征增强,增强后的各视角特征图映射到主视角视锥上构建特征体,使用遮挡优化网络排除遮挡干扰,生成当前尺寸代价体,代价体使用U-Net滤除噪声并解码为深度概率体,从而在当前层给出D个深度预测标签,网络在当前层深度预测标签周围一个小深度范围内以更小的深度标签间隔重复进行上述操作,最终解码给出的像素点深度,深度级联三维重建网络的构造过程如下:
1)选择图像去光照网络:图像去光照网络由一个降升采样次数均为2的U-Net改造而来,具体的,U-Net编码器部分的输出使用径向基激活函数处理后再输入解码器,中心和尺度因子可学习,以使得隐层表示可以学得光照模式和物体表面间的关系,图像去光照网络的训练过程中使用在单一点光源照射下的物体各视角图片作为训练数据,定义光源法线方向与视图中心物体的表面法线一致时为直射视图,其余情况为侧面光照,使用径向基网络对光照显式建模,使得输入某视角侧光照视图时,可以给出当前视角在点光源直射下的预测。
2)选择特征图增强网络:定义U-Net的一次卷积+降采样过程为FD(·),一次卷积+上采样过程为FU(·),本网络使用的特征增强U-Net结构为:
Figure BDA0003112204910000061
式中k可选定,一般使用三次或四次降采样,输出的各尺寸特征图
Figure BDA0003112204910000062
分别用于各级代价体生成和深度图生成过程。
3)进行单应性映射:由相机位姿估计得到的R,T,根据单应性映射公式可以取得对照视图在参考视角视锥下深度d上的投影:
Figure BDA0003112204910000063
分别将K-1个对照视图映射到参考视角视锥各深度平面上,对
Figure BDA0003112204910000064
深度范围为Di,得到K个特征体。
4)权重估计和代价体聚合:在一些网络中,密集匹配的代价体由基于方差的代价函数构成,但该方法忽视了不同视角下各像素点的拍摄质量和遮挡影响,因此,如附图4所示,本发明提出了一种近似注意力机制的加权方差代价体生成和聚合方法,对步骤2)所得的特征体,分别于参考视图特征体逐点求取平方代价,使用权重估计网络分支对生成的平方代价体进行处理,输入大小为(H×W×D)的对照视图代价体Ci时,权重估计网络输出为大小(H×W)的可信度图Bi,再对K-1个参考视角下的可信度图间逐像素进行softmax处理,即得大小为(H×W×K-1)的最终权重体W,若表示逐像素相乘为·,则有最终代价体为:
Figure BDA0003112204910000071
这里需要指出,上述特征体F,代价体C均有k个不同尺寸,对应k个不同大小特征图,在级联深度估计网络中用于不同分辨率下的级联重建,具体的,权重估计分支首先将原始代价体输入采用可变形卷积的二维UNet中,以排除生成代价体时的部分干扰,输出同尺存中间代价体。
5)使用级联深度估计网络进行级联深度估计:级联深度估计网络的基本结构如附图,为带有残差结构的三维UNet,针对步骤4)中给出的不同尺寸代价体,使用3D-UNet进行分类操作,在网络训练和测试时,由最小尺寸特征体开始,使用3D-UNet处理输入代价体,逐层经softmax操作后输出当前参考视角下的深度概率图P,在最大概率深度周边选取固定大小邻域作为下一级联层的深度范围,并赋予深度标签0~Di+1,重复进行步骤2)、步骤3)操作,生成下一层的代价体,同时由于在多视角融合时需要给出当前像素点的可信度,每层深度概率图被记录并在最终层逐像素在深度方向上计算信息熵作为可信度评价指标,此时网络输出为长度k的编码,k为网络级联层数,此时对任意像素点,若di为i层输出深度,最终输出深度为:
Figure BDA0003112204910000072
这里需要指出,深度标签范围Di的选定与图像尺寸、重建目标大小等要素相关,需要视实际情况精细调整,各层深度标签范围可以不同,但一般情况下可以使用常数,即
Figure BDA0003112204910000073
6)网络训练:网络在DTU数据集上进行端到端的训练,首先使用泊松表面重建将DTU数据集中给出的三维点云标签转化为各视角下深度图,之后将参考视图和N-1张对照视图输入网络,网络使用交叉熵损失函数在各层进行梯度反向传播以分别训练各分辨率预测网络。
上述图像去光照网络、特征图增强网络和级联深度估计网络均使用ReLU线性整流激活函数,使用与U-Net、3D-UNet一致的基础结构块,损失函数为逐像素交叉熵损失函数。
需要指出,上述特性属于网络超参数,调整时可能促进或降低网络性能,但仅对其进行变化的实施例仍属于本专利的讨论范围。
在三维重建过程中,应尽可能排除重建目标周边背景干扰,采用绿幕或其他纯色幕布都可以提升重建整体性能。不排除背景干扰时,由于对每张视图都需要首先进行目标分割,重建过程耗时将大大增加。
本发明提出的视角自适应三维重建方法包括系统初始化,通过摄像组合体采集一组或多组不同视角图像对进行初始重建,由初始重建的点云和已拓展视角集合,估计加入后对重建完整性提升最有帮助的视角,控制摄像组合体进行拍摄,加入已有图像集合,与邻近图像集结合进行深度估计,估计结果转化为点云后加入现有候选点云集,重复此步骤直至满足要求,基于点云的点间距离和统计特性进行滤波和抑制,候选点云集经过处理后生成最终重建点云结果。
本发明提出的视角自适应三维重建方法无需移动重建对象,而是使用可移动的摄像组合体实现对重建对象的多视角摄影,满足了近乎任意视角的拍摄需求,同时自动选择视角的方法避免了在重建已相当完整的位置引入更多冗余信息,减轻了计算负担,减少了人工拍摄数据所需的人员负担和成本压力。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (13)

1.一种自适应视角的级联网络三维重建方法,其特征在于,包括如下步骤:
步骤S1,系统初始化,通过摄像组合体采集一组或多组图像对,通过解算获得初始视角,将所得图像输入深度级联三维重建网络,给出多组深度图,以所述深度图为依据将主视图投影到三维空间中,获取初始点云候选;
步骤S2,基于由所述步骤S1已提取的所述初始视角和所述初始点云候选进行视角拓展,估计得出不完整、不确定重建区域,对每个未拓展视角,控制摄像组合体拍摄一组图像对,对不完整、不确定区域,控制摄像组合体获取三组该区域的图像,进行深度图重建和深度图融合,拓展及优化点云,将拓展后的视角作为更新后的初始视角、将优化点云作为更新后的初始点云候选,然后所述步骤S2基于初始视角和初始点云候选重复多次,每次重复后对点云和视角进行评估,估计是否需要增加视角信息,估计最佳新增视角位置,直到重建结果满足完整性要求;
步骤S3,基于点云的点间距离和统计特性进行滤波和抑制,点云候选经过处理后生成最终重建点云结果。
2.根据权利要求1所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S1中,所述系统初始化具体包括确定世界坐标系原点,使得摄像组合体的传感器误差归零,标定高清相机,对目标和所述摄像组合体位置进行初始化。
3.根据权利要求1所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S1中,所述通过解算获得初始视角具体包括依据所述摄像组合体上各高精度传感器给出的位置信号,结合拍摄间运动关系,解算相机位姿,作为初始视角。
4.根据权利要求2所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S1中,由深度图获取点云的具体方式为:取主视角及其深度图,将二维点坐标与深度一起,结合所述高清相机与世界坐标系间关系,求解当前二维点在三维世界坐标系下位置,能够获得当前视角下的物体表面部分点云。
5.根据权利要求1所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S2中,基于所述初始视角和所述初始点云候选进行视角拓展具体包括使用图神经网络将点云的颜色信息经过多层感知机处理后和位置拼接进行编码作为图初始节点,以位置点积为近邻判定标准,排除切割目标的点对连接后,生成图边,使用自注意力机制得出边上传递的信息并经一个多层感知机后对初始节点进行更新,网络迭代多次后输出衡量节点邻域点丰富程度和法线预测的编码,选取其中丰富度最小的一个或多个进行视角拓展。
6.根据权利要求1所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S2中,初始高清相机位置在人工初始化后估计出的球壳上,使用随机策略在球壳上生成三维点,直到所述三维点满足与已拓展高清相机位置间的距离约束或超出随机生成次数约束,以实现多样性的视角拓展。
7.根据权利要求1所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S2中,所述估计得出不完整、不确定重建区域具体包括由区域完整性评价指标和区域不确定性估计得出不完整、不确定重建区域。
8.根据权利要求1所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S2中,所述进行深度图重建和深度图融合具体包括依据相机间位置关系获取近邻视图,选取满足阈值要求的所述近邻视图与新拓展视图一同输入所述深度级联三维重建网络获得深度图。
9.根据权利要求5所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S3中,基于点云的点间距离和统计特性进行抑制具体包括将某一位置邻域内颜色位置编码相近的点云进行合并,并记录合并点云个数,由局部点间方向叉乘的平均值估计物体表面法线方向,在该方向上进行非极大值抑制,排除合并点数少的点。
10.根据权利要求1所述的自适应视角的级联网络三维重建方法,其特征在于,在所述步骤S3中,基于点云的点间距离和统计特性进行滤波具体包括使用三维腐蚀操作剔除离群点,进行噪声滤波。
11.根据权利要求1-10中任一项所述的自适应视角的级联网络三维重建方法,其特征在于,所述深度级联三维重建网络的工作过程为通过图像去光照网络对图像去光照后,使用特征图增强网络对图像进行特征增强,增强后的各视角特征图映射到主视角视锥上构建特征体,使用遮挡优化网络排除遮挡干扰,生成当前尺寸代价体,对代价体进行滤除噪声并解码,获得深度概率体,在当前层给出多个深度预测标签,所述深度级联三维重建网络在当前层深度预测标签周围一个小深度范围内以更小的深度标签间隔重复进行同样的操作,最终解码给出像素点深度。
12.一种自适应视角的级联网络三维重建系统,其特征在于,包括摄像组合体、信号传输线路、存储器和处理器,所述存储器上存储有程序,所述程序在被所述处理器运行时能够实现如权利要求1-11中任一项所述的自适应视角的级联网络三维重建方法。
13.根据权利要求12所述的自适应视角的级联网络三维重建系统,其特征在于,所述摄像组合体由可拆卸滑轨、滑轨平台车、六轴机械臂、一对相对位置可调的高清相机、控制器、高精度位置传感器和信号传输装置组成,所述相对位置可调的高清相机固连在所述机械臂的工作端。
CN202110652493.7A 2021-06-11 2021-06-11 一种自适应视角的级联网络三维重建方法及系统 Active CN113284251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110652493.7A CN113284251B (zh) 2021-06-11 2021-06-11 一种自适应视角的级联网络三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110652493.7A CN113284251B (zh) 2021-06-11 2021-06-11 一种自适应视角的级联网络三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN113284251A CN113284251A (zh) 2021-08-20
CN113284251B true CN113284251B (zh) 2022-06-03

Family

ID=77284291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110652493.7A Active CN113284251B (zh) 2021-06-11 2021-06-11 一种自适应视角的级联网络三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN113284251B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332755B (zh) * 2021-12-06 2023-07-25 南京瀚元科技有限公司 一种基于双目三维建模的发电焚烧炉监控方法
CN114630096B (zh) * 2022-01-05 2023-10-27 深圳技术大学 Tof相机点云的稠密化方法、装置、设备及可读存储介质
CN116129059B (zh) * 2023-04-17 2023-07-07 深圳市资福医疗技术有限公司 一种三维点云集生成及强化方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383342A (zh) * 2017-01-13 2019-10-25 交互数字Vc控股公司 用于沉浸式视频格式的方法,装置和流
CN111161364A (zh) * 2019-12-24 2020-05-15 东南大学 一种针对单视角深度图的实时形状补全和姿态估计方法
CN111652966A (zh) * 2020-05-11 2020-09-11 北京航空航天大学 一种基于无人机多视角的三维重建方法及装置
CN111882668A (zh) * 2020-07-30 2020-11-03 清华大学 一种多视角立体对象重建方法与系统
WO2020259682A1 (zh) * 2019-06-28 2020-12-30 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
WO2021077720A1 (zh) * 2019-10-25 2021-04-29 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
US10074160B2 (en) * 2016-09-30 2018-09-11 Disney Enterprises, Inc. Point cloud noise and outlier removal for image-based 3D reconstruction
US10867430B2 (en) * 2018-11-19 2020-12-15 Intel Corporation Method and system of 3D reconstruction with volume-based filtering for image processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383342A (zh) * 2017-01-13 2019-10-25 交互数字Vc控股公司 用于沉浸式视频格式的方法,装置和流
WO2020259682A1 (zh) * 2019-06-28 2020-12-30 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
WO2021077720A1 (zh) * 2019-10-25 2021-04-29 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN111161364A (zh) * 2019-12-24 2020-05-15 东南大学 一种针对单视角深度图的实时形状补全和姿态估计方法
CN111652966A (zh) * 2020-05-11 2020-09-11 北京航空航天大学 一种基于无人机多视角的三维重建方法及装置
CN111882668A (zh) * 2020-07-30 2020-11-03 清华大学 一种多视角立体对象重建方法与系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
D Martinec et al.3D reconstruction by fitting low-rank matrices with missing data.《2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR"05)》.2005,第198-205页. *
H Wang et al.Towards Efficient 3D Point Cloud Scene Completion via Novel Depth View Synthesis.《2020 25th International Conference on Pattern Recognition (ICPR)》.2021,第5573-5580页. *
Song L et al.Bridging the gap between 2D and 3D contexts in CT volume for liver and tumor segmentation.《IEEE Journal of Biomedical and Health Informatics》.2021,第3450-3459页. *
孟影.多视角动态三维重建技术研究与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2015,第I138-483页. *
王毅恒.多视角三维重建中高精度标定方法的研究与应用.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,第I138-2797页. *
肖铭杰.基于深度学习的单视图三维点云重建方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2021,第I138-1625页. *

Also Published As

Publication number Publication date
CN113284251A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN113284251B (zh) 一种自适应视角的级联网络三维重建方法及系统
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN110070025B (zh) 基于单目图像的三维目标检测系统及方法
CN114782691A (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN113962858B (zh) 一种多视角深度获取方法
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN111861880A (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
CN112085849A (zh) 基于航拍视频流的实时迭代三维建模方法、系统及可读介质
CN112270694B (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
CN111612825A (zh) 基于光流与多尺度上下文的图像序列运动遮挡检测方法
CN115376024A (zh) 一种输电线路电力配件语义分割方法
CN116468769A (zh) 一种基于图像的深度信息估计方法
Basak et al. Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
CN115115685A (zh) 一种基于自注意力神经网络的单目图像深度估计算法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN115861384B (zh) 基于生成对抗和注意力机制的光流估计方法及系统
CN112115786A (zh) 基于注意力U-net的单目视觉里程计方法
CN116109778A (zh) 基于深度学习的人脸三维重建方法、计算机设备与介质
CN114708315A (zh) 一种基于深度虚拟对应点生成的点云配准方法及系统
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant