CN114359509A - 一种基于深度学习的多视图自然场景重建方法 - Google Patents
一种基于深度学习的多视图自然场景重建方法 Download PDFInfo
- Publication number
- CN114359509A CN114359509A CN202111470312.5A CN202111470312A CN114359509A CN 114359509 A CN114359509 A CN 114359509A CN 202111470312 A CN202111470312 A CN 202111470312A CN 114359509 A CN114359509 A CN 114359509A
- Authority
- CN
- China
- Prior art keywords
- image
- view
- feature
- depth
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 229910052739 hydrogen Inorganic materials 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
一种基于深度学习的多视图自然场景重建方法,包括以下步骤:根据相机在不同角度拍摄的场景图片序列,首先对所有场景图像进行预处理,计算每幅图像的相机参数;根据提出的基于光度一致性度量图像相似度方法和视图选择算法,将其分为参考图像与源图像并在视图间进行支持域特征匹配。在卷积网络提取特征时根据匹配视图结果,构建图像特征金字塔;将所有原始图像以及参数文件经过改进的多视图立体重建神经网络,得到参考图像深度图,并在此深度图的基础之上融合成三维点云;运用表面重建算法生成场景网格模型,完成三维场景的重建工作。提高了基于图像的三维场景重建效率,实现特征图像块在跨视图中映射,使得提取的特征更加完善。
Description
技术领域
本发明涉及实景建模技术领域,具体涉及一种基于深度学习的多视图自然场景重建方法。
背景技术
近年来,自然图像三维场景重建技术受到越来越多的重视,相关研究人员对计算机视觉领域中的三维场景重建产生了浓厚的兴趣。同时随着全球民用无人机产业如火如荼的发展,面向工业方面的无人机踏勘,环境资源部门、水利部门、规划部门设计机构等利用无人机能快速完成踏勘任务,降低劳动强度,提高勘测效率。通过无人机踏勘获取的图像数据信息进行三维重建,就能让踏勘获取到更多的细节信息,同时对地形、地势、山川、河流的走势和树木的分布情况会有更清晰的了解和认识。在日常生活中,三维重建技术逐渐应用于各大行业,比如:医学三维重建,从二维平面图片向立体三维成像发展,医务工作者能更好的研究人体相关生理、病理信息,将提取到的这些信息转换为相应的治疗方案,在确定治疗方式上起到毋庸置疑的重要性,从而提高了治愈的可能性,对人类的健康发挥了举足轻重的作用。在关于城市建模中,通过三维重建技术,对未来城市形态进行预演,并且能够根据实际规划成果进行修改,从而使得城市规划方案更加具有科学性。
基于图像的立体化三维重建,能够帮助人类提取更多视觉之外的广义信息。比如恢复残缺的重要古文物原貌,帮助考古学者探索更深层次的人类文明。而又随着人工智能、机器学习等科研技术的飞速发展和广泛应用,虚拟现实技术(VirtualReality)、增强现实技术(Augmented Reality)、自动驾驶技术等新型科学技术产业在日常生活中随处可见。随着智能工厂、智慧城市的不断涌现,人工智能逐渐成为目前推动国内科学技术发展的中坚力量。将机器学习技术应用到计算机视觉领域中的三维场景重建之上,将简化三维场景重建的步骤、提高重建的效率、精度和完整度。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习的多视图自然场景重建方法,将跨视图的图像块特征映射融合到改进的神经网络中,最后输出参考图像的深度图,在估算深度时,还进行了视图选择的步骤,进一步提高了深度图的精确度和重建三维场景的细节信息。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于深度学习的多视图自然场景重建方法,方法包括:
Step1、根据相机在不同角度拍摄的场景图片序列,对所有场景图像进行预处理,计算每幅图像的相机参数;
Step2、根据光度一致性度量图像相似度方法和视图选择算法,将图像序列分为参考图像与源图像并在视图间进行支持域特征匹配;
Step3、利用卷积网络提取视图特征,并根据匹配视图结果,构建图像特征金字塔;
Step4、将所有原始图像以及参数文件代入多视图立体重建神经网络IMVSNet,即Improved-Multi-View Stereo Net,得到参考图像深度图,并在此深度图的基础之上融合成三维点云;
Step5、运用表面重建算法生成场景网格模型,完成三维场景的重建工作。
上述的Step2中,图像相似度方法选择的支持域大小为15×15,选择场景图像中完整的标准设定颜色的建筑作为参考区域,例如通过场景图像中完整的红色建筑作为参考区域计算支持域的像素对在相邻图像中的相似性,以此判断两幅图像的相似程度,并通过能量公式区分当前视图与参考视图的相似性。
上述的能量公式为:
上述的Step2中,视图选择算法方法为:
定义:P、图像视图中的像素点,初始采样8个像素点,分别为最靠近中心点4个像素与最远四个像素;N、图像视图的数量;M、图像块映射代价;t、迭代次数;T、图像块映射边界值;
输入:随机选择的8个像素点;
算法:1)计算初始点与N-1个视图的映射代价Mij,记做代价矩阵M;
2)表示图像块映射迭代的边界值τ1;
3)代价矩阵每一列映射代价值mij最多只能有两个大于τ;
4)设置匹配置信度C(Mij);
5)为选定视图设置选择权重w;
约束:光度一致性;
输出:最适合的若干映射实体图;
结合光度一致性约束和图像块与视图间匹配代价在视图中寻找匹配度最高的若干视图;并且选择大小为15×15的支持域,选择重建的自然场景是DTU数据集上的49张建筑物图片,定位匹配场景中的设定颜色建筑作为特征块在图像中进行映射匹配。
上述的Step3中,神经网络特征提取匹配从N张输入图像中提取深度特征F进行密集匹配,特征提取采用八个二维的CNN神经网络卷积层,在第三层和第六层的步长设置为2,将特征塔划分为3个不同的尺度,在每个相同的尺度内,再应用两个卷积层以提取更高级别的图像表示,第1个至第7个卷积层后面都紧接着一个归一化层和修正线性单元,第8个卷积层后面无其他结构,参数在所有的特征塔之间共享,供神经网络进行学习,通过不同步长的卷积层之后,输出为N张32通道的特征图,与原始输入图像相比,每个维度空间的尺寸都缩小4倍。
上述的Step4中,立体化重建中使用在参考相机视锥上构建代价体将I1作为参考图像,{Ii}N i=2表示源图像,{Ki,Ri,Ti}N i=1表示与特征图相对应的相机内部参数矩阵、旋转矩阵、平移矩阵;
提取的特征图都需要糅合到参考相机的不同前端平行面中,因此会形成N个特征体深度d处从变形特征FVi(d)到Fi的坐标映射由平面变换f′~Hi(d)·f,其中~表示在深度d出第ith个特征图和参考特征图之间的投影相等性和Hi(d)的单一映射性。假设n1为参考相机的主轴,单一性映射由3×3的矩阵表示为:
其中,Hi(d)是从第i个特征图变换到参考图像在深度为d时的单应性变换矩阵,{Ki,Ri,Ti}N i=1表示与特征图相对应的相机内部参数矩阵、旋转矩阵、平移矩阵分别为对应特征图的相机内参,旋转和平移,参考图像对应的单应性变换矩阵,n为参考图像光轴的法向量;
上述的代价体采用多视图相似性度量的基于方差的代价体:
令W、H、D、F代表输入特征图像的宽度、高度、深度样本数和通道数,则:
图像图整体的大小表示为:
代价矩阵定义的映射公式表示为:
从概率量P中检索深度图D的最直接简单的方法是逐个像素选取,但是argmax操作无法产生子像素估计,并且由于其不可区分性而无法通过反向传播进行训练。上述的Step4中深度图采取沿着深度方向计算期望值,即加权的概率,所有概率假设的总和为Dep:
其中,dmin、dmax分别表示最小和最大深度采样值,d表示采样深度值,Pro(d)表示每个像素在采样深度为d时的概率。
上述的Step4中神经网络训练的损失函数,使用地表真实情况,即ground truth的深度图和网络估算输出的深度图之间的平均绝对差作为训练损失,所述的深度图损失函数定义为:
其中Pvalid表示真实地面像素集合,d(p)表示真的地面像素点p的深度值,di(p)表示初始深度估计值,使用地表真实情况的深度图和网络估算输出的深度图之间的平均绝对差作为训练损失。
本发明提供的一种基于深度学习的多视图自然场景重建方法,通过多视图之间的特征匹配,以及选取最优的视图进行匹配。通过像素与不同视图的匹配代价,来选择与当前参考图像匹配度最高的若干视图。采用交替迭代的选择参考视图与匹配视图,促使每一幅图像都能找到相似度高的图像,提高最后参考图像深度图精度。
其带来的有益效果有:跨图像映射特征支持域时,根据图像中存在的能量公式,结合相机不同视角下拍摄图像时的光度一致性因素,随机选择像素点和初始化像素所在平面,利用视差和相邻像素间的传播代价进行传播,完成了多视图之间的图像块映射。端对端的网络相较于传统的图像图形学方法而言,省略了繁琐的计算过程。神经网络训练所需的相机参数,根据转换程序提取相应的格式,每幅图像和各自的参数文件对应。并且将相机参数编码为可微分的单一性映射,在相机视锥平面上构建代价体,从而将二维特征提取和三维代价归一化网络联系起来。为了测试本文算法的鲁棒性与稳定性,最终也完成了相应的场景的创建工作。
附图说明
下面结合附图和实施例对本发明作进一步说明:
图1、本发明整体流程图;
图2、特征块映射;
图3、特征提取的网络结构图(MSFNet);
图4、本发明深度结果图
图5、本发明重建点云图
图6、本发明点云重建效果;
图7、鲁棒性测试场景重建结果图。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚,以下内容将结合根据本发明提供的附图,对本发明具体技术方案进行系统、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-图7中所示,一种基于深度学习的多视图自然场景重建方法,方法包括:
Step1、根据相机在不同角度拍摄的场景图片序列,对所有场景图像进行预处理,计算每幅图像的相机参数;
Step2、根据光度一致性度量图像相似度方法和视图选择算法,将图像序列分为参考图像与源图像并在视图间进行支持域特征匹配;
Step3、利用卷积网络提取视图特征,并根据匹配视图结果,构建图像特征金字塔;
Step4、将所有原始图像以及参数文件代入多视图立体重建神经网络IMVSNet,即Improved-Multi-View Stereo Net,得到参考图像深度图,并在此深度图的基础之上融合成三维点云;
Step5、运用表面重建算法生成场景网格模型,完成三维场景的重建工作。
上述的Step2中,图像相似度方法选择的支持域大小为15×15,选择场景图像中完整的标准设定颜色的建筑作为参考区域,例如通过场景图像中完整的红色建筑作为参考区域计算支持域的像素对在相邻图像中的相似性,以此判断两幅图像的相似程度,并通过能量公式区分当前视图与参考视图的相似性。
上述的能量公式为:
上述的Step2中,视图选择算法方法为:
定义:P、图像视图中的像素点,初始采样8个像素点,分别为最靠近中心点4个像素与最远四个像素;N、图像视图的数量;M、图像块映射代价;t、迭代次数;T、图像块映射边界值;
输入:随机选择的8个像素点;
算法:1)计算初始点与N-1个视图的映射代价Mij,记做代价矩阵M;
2)表示图像块映射迭代的边界值τ1;
3)代价矩阵每一列映射代价值mij最多只能有两个大于τ;
4)设置匹配置信度C(Mij);
5)为选定视图设置选择权重w;
约束:光度一致性;
输出:最适合的若干映射实体图;
结合光度一致性约束和图像块与视图间匹配代价在视图中寻找匹配度最高的若干视图;选择重建的自然场景是DTU数据集上的49张建筑物图片,定位匹配场景中的设定颜色建筑作为特征块在图像中进行映射匹配。通过计算支持域的像素对在相邻图像中的相似性,来判断两幅图像的相似程度,在不同的视图中进行支持域图像块映射。通过选出确定的视图与参考视图之间的特征准确定位,然后运用多层卷积进行图像特征的提取,将能更好的构建代价体,根据视图选择结果,可以明显看到视图选择算法的优越性,根据选择出的视图可以在每一幅图像中进行较好的映射。
上述的Step3中,神经网络特征提取匹配从N张输入图像中提取深度特征F进行密集匹配,特征提取采用八个二维的CNN神经网络卷积层,在第三层和第六层的步长设置为2,将特征塔划分为3个不同的尺度,在每个相同的尺度内,再应用两个卷积层以提取更高级别的图像表示,第1个至第7个卷积层后面都紧接着一个归一化层batch-normalization和修正线性单元ReLU,第8个卷积层后面无其他结构,似于场景的匹配任务一般,参数在所有的特征塔之间共享,供神经网络进行学习,通过不同步长的卷积层之后,输出为N张32通道的特征图,与原始输入图像相比,每个维度空间的尺寸都缩小4倍,尽管在特征提取步骤以后缩小了图像帧的尺寸,但是每个剩余像素的原始相邻信息已经被编码到32通道像素的描述符中,这样能有效防止因密集匹配而丢失有用的邻里信息。
上述的Step4中,立体化重建中使用在参考相机视锥上构建代价体将I1作为参考图像,{Ii}N i=2表示源图像,{Ki,Ri,Ti}N i=1表示与特征图相对应的相机内部参数矩阵、旋转矩阵、平移矩阵;
提取的特征图都需要糅合到参考相机的不同前端平行面中,因此会形成N个特征体深度d处从变形特征FVi(d)到Fi的坐标映射由平面变换f′~Hi(d)·f,其中~表示在深度d出第ith个特征图和参考特征图之间的投影相等性和Hi(d)的单一映射性。假设n1为参考相机的主轴,单一性映射由3×3的矩阵表示为:
其中,Hi(d)是从第i个特征图变换到参考图像在深度为d时的单应性变换矩阵,{Ki,Ri,Ti}N i=1表示与特征图相对应的相机内部参数矩阵、旋转矩阵、平移矩阵分别为对应特征图的相机内参,旋转和平移,参考图像对应的单应性变换矩阵,n为参考图像光轴的法向量;
不考虑损失函数,参考特征图F1的单一映射性本身为3×3的单位矩阵,单一性映射的过程中微分双线性插值用于从特征图除了一点:可微分双线性插值用于从特征图{FVi}Ni=1,而不是图像上采样像素点;作为连接二维特征提取和三维正则化网络的核心步骤,单一性映射变形操作以可区分的方式实现,从而可以进行端对端的深度图估算训练。
上述的代价体采用多视图相似性度量的基于方差的代价体:
令W、H、D、F代表输入特征图像的宽度、高度、深度样本数和通道数,则:
图像图整体的大小表示为:
代价矩阵定义的映射公式表示为:
上述的Step4中深度图采取沿着深度方向计算期望值,即加权的概率,所有概率假设的总和为:
其中,dmin、dmax分别表示最小和最大深度采样值,d表示采样深度值,Pro(d)表示每个像素在采样深度为d时的概率。
沿着深度方向的概率分布可以反映深度估计的质量,多尺度3D CNN具有将概率归一化为单一模态分布的强大能力,但是对于那些错误匹配的像素,它们的概率分布是分散的,不能集中到一个峰值。
上述的Step4中神经网络训练的损失函数,使用地表真实情况,即ground truth的深度图和网络估算输出的深度图之间的平均绝对差作为训练损失,所述的深度图损失函数定义为:
其中Pvalid表示真实地面像素集合,d(p)表示真的地面像素点p的深度值,di(p)表示初始深度估计值,使用地表真实情况的深度图和网络估算输出的深度图之间的平均绝对差作为训练损失。
Claims (9)
1.一种基于深度学习的多视图自然场景重建方法,其特征在于,方法包括:
Step1、根据相机在不同角度拍摄的场景图片序列,对所有场景图像进行预处理,计算每幅图像的相机参数;
Step2、根据光度一致性度量图像相似度方法和视图选择算法,将图像序列分为参考图像与源图像并在视图间进行支持域特征匹配;
Step3、利用卷积网络提取视图特征,并根据匹配视图结果,构建图像特征金字塔;
Step4、将所有原始图像以及参数文件代入多视图立体重建神经网络IMVSNet,得到参考图像深度图,并在此深度图的基础之上融合成三维点云;
Step5、运用表面重建算法生成场景网格模型,完成三维场景的重建工作。
2.根据权利要求1所述的一种基于深度学习的多视图自然场景重建方法,其特征在于,所述的Step2中,图像相似度方法选择的支持域大小为15×15,选择场景图像中完整的标准设定颜色的建筑作为参考区域,计算支持域的像素对在相邻图像中的相似性,以此判断两幅图像的相似程度,并通过能量公式区分当前视图与参考视图的相似性。
4.根据权利要求2所述的一种基于深度学习的多视图自然场景重建方法,其特征在于,所述的Step2中,视图选择算法方法为:
定义:P、图像视图中的像素点,初始采样8个像素点,分别为最靠近中心点4个像素与最远四个像素;N、图像视图的数量;M、图像块映射代价;t、迭代次数;T、图像块映射边界值;
输入:随机选择的8个像素点;
算法:1)计算初始点与N-1个视图的映射代价Mij,记做代价矩阵M;
2)表示图像块映射迭代的边界值τ1;
3)代价矩阵每一列映射代价值mij最多只能有两个大于τ;
4)设置匹配置信度C(Mij);
5)为选定视图设置选择权重w;
约束:光度一致性;
输出:最适合的若干映射实体图;
结合光度一致性约束和图像块与视图间匹配代价在视图中寻找匹配度最高的若干视图;并且选择大小为15×15的支持域,定位匹配场景中的设定颜色建筑作为特征块在多张图像中进行映射匹配。
5.根据权利要求4所述的一种基于深度学习的多视图自然场景重建方法,其特征在于,所述的Step3中,神经网络特征提取匹配从N张输入图像中提取深度特征F进行密集匹配,特征提取采用八个二维的CNN神经网络卷积层,在第三层和第六层的步长设置为2,将特征塔划分为3个不同的尺度,在每个相同的尺度内,再应用两个卷积层以提取更高级别的图像表示,第1个至第7个卷积层后面都紧接着一个归一化层和修正线性单元,第8个卷积层后面无其他结构,参数在所有的特征塔之间共享,供神经网络进行学习,通过不同步长的卷积层之后,输出为N张32通道的特征图,与原始输入图像相比,每个维度空间的尺寸都缩小4倍。
6.根据权利要求5所述的一种基于深度学习的多视图自然场景重建方法,其特征在于,所述的Step4中,立体化重建中使用在参考相机视锥上构建代价体将I1作为参考图像,{Ii}N i=2表示源图像,{Ki,Ri,Ti}N i=1表示与特征图相对应的相机内部参数矩阵、旋转矩阵、平移矩阵;
提取的特征图都需要糅合到参考相机的不同前端平行面中,因此会形成N个特征体深度d处从变形特征FVi(d)到Fi的坐标映射由平面变换f′~Hi(d)·f,其中~表示在深度d出第ith个特征图和参考特征图之间的投影相等性和Hi(d)的单一映射性。假设n1为参考相机的主轴,单一性映射由3×3的矩阵表示为:
其中,Hi(d)是从第i个特征图变换到参考图像在深度为d时的单应性变换矩阵,{Ki,Ri,Ti}N i=1表示与特征图相对应的相机内部参数矩阵、旋转矩阵、平移矩阵分别为对应特征图的相机内参,旋转和平移,参考图像对应的单应性变换矩阵,n为参考图像光轴的法向量;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111470312.5A CN114359509B (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的多视图自然场景重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111470312.5A CN114359509B (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的多视图自然场景重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114359509A true CN114359509A (zh) | 2022-04-15 |
CN114359509B CN114359509B (zh) | 2024-07-09 |
Family
ID=81096768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111470312.5A Active CN114359509B (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的多视图自然场景重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114359509B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820739A (zh) * | 2022-07-01 | 2022-07-29 | 浙江工商大学 | 一种面向多光谱相机的图像快速配准方法及装置 |
CN114926753A (zh) * | 2022-06-16 | 2022-08-19 | 无锡慧眼人工智能科技有限公司 | 一种海量图像条件下的快速目标场景信息提取方法 |
CN116091712A (zh) * | 2023-04-12 | 2023-05-09 | 安徽大学 | 一种面向计算资源受限设备的多视图立体重建方法与系统 |
CN116258817A (zh) * | 2023-02-16 | 2023-06-13 | 浙江大学 | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统 |
CN117011357A (zh) * | 2023-08-07 | 2023-11-07 | 武汉大学 | 基于3d运动流和法线图约束的人体深度估计方法及系统 |
CN117456114A (zh) * | 2023-12-26 | 2024-01-26 | 北京智汇云舟科技有限公司 | 基于多视图的三维图像重建方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
CN112734915A (zh) * | 2021-01-19 | 2021-04-30 | 北京工业大学 | 一种基于深度学习的多视角立体视觉三维场景重建方法 |
-
2021
- 2021-12-03 CN CN202111470312.5A patent/CN114359509B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
CN112734915A (zh) * | 2021-01-19 | 2021-04-30 | 北京工业大学 | 一种基于深度学习的多视角立体视觉三维场景重建方法 |
Non-Patent Citations (1)
Title |
---|
段晓芳;滕树勤;: "高层住宅场景可视化三维真实性建模仿真", 计算机仿真, no. 09, 15 September 2017 (2017-09-15) * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926753A (zh) * | 2022-06-16 | 2022-08-19 | 无锡慧眼人工智能科技有限公司 | 一种海量图像条件下的快速目标场景信息提取方法 |
CN114926753B (zh) * | 2022-06-16 | 2023-10-13 | 无锡慧眼人工智能科技有限公司 | 一种海量图像条件下的快速目标场景信息提取方法 |
CN114820739A (zh) * | 2022-07-01 | 2022-07-29 | 浙江工商大学 | 一种面向多光谱相机的图像快速配准方法及装置 |
CN114820739B (zh) * | 2022-07-01 | 2022-10-11 | 浙江工商大学 | 一种面向多光谱相机的图像快速配准方法及装置 |
CN116258817A (zh) * | 2023-02-16 | 2023-06-13 | 浙江大学 | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统 |
CN116258817B (zh) * | 2023-02-16 | 2024-01-30 | 浙江大学 | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统 |
CN116091712A (zh) * | 2023-04-12 | 2023-05-09 | 安徽大学 | 一种面向计算资源受限设备的多视图立体重建方法与系统 |
CN116091712B (zh) * | 2023-04-12 | 2023-06-27 | 安徽大学 | 一种面向计算资源受限设备的多视图立体重建方法与系统 |
CN117011357A (zh) * | 2023-08-07 | 2023-11-07 | 武汉大学 | 基于3d运动流和法线图约束的人体深度估计方法及系统 |
CN117456114A (zh) * | 2023-12-26 | 2024-01-26 | 北京智汇云舟科技有限公司 | 基于多视图的三维图像重建方法及系统 |
CN117456114B (zh) * | 2023-12-26 | 2024-04-30 | 北京智汇云舟科技有限公司 | 基于多视图的三维图像重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114359509B (zh) | 2024-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
CN114359509B (zh) | 一种基于深度学习的多视图自然场景重建方法 | |
CN108416840B (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
CN113345082B (zh) | 一种特征金字塔多视图三维重建方法和系统 | |
CN108876814B (zh) | 一种生成姿态流图像的方法 | |
CN110570522B (zh) | 一种多视图三维重建方法 | |
CN110197505B (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
Won et al. | End-to-end learning for omnidirectional stereo matching with uncertainty prior | |
CN113256699B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111105451B (zh) | 一种克服遮挡效应的驾驶场景双目深度估计方法 | |
CN115330935A (zh) | 一种基于深度学习的三维重建方法及系统 | |
CN115423938B (zh) | 一种基于语义识别的三维模型重建方法及系统 | |
CN114119884A (zh) | 一种基于高分七号卫星影像的建筑物lod1模型构建方法 | |
CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
CN116468769A (zh) | 一种基于图像的深度信息估计方法 | |
CN117745932A (zh) | 一种基于深度融合约束的神经隐式曲面重建方法 | |
CN115482268A (zh) | 一种基于散斑匹配网络的高精度三维形貌测量方法与系统 | |
CN115984349A (zh) | 一种基于中心像素梯度融合和全局代价聚合的深度立体匹配算法 | |
CN108171790A (zh) | 一种基于字典学习的目标重建方法 | |
CN104796624A (zh) | 一种光场编辑传播方法 | |
CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
CN116433904A (zh) | 一种基于形状感知和像素卷积的跨模态rgb-d语义分割方法 | |
CN114663600A (zh) | 一种基于自编码器的点云重建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |