CN114998522A - 多视连续光场影像室内场景稠密点云准确提取方法及系统 - Google Patents
多视连续光场影像室内场景稠密点云准确提取方法及系统 Download PDFInfo
- Publication number
- CN114998522A CN114998522A CN202210675988.6A CN202210675988A CN114998522A CN 114998522 A CN114998522 A CN 114998522A CN 202210675988 A CN202210675988 A CN 202210675988A CN 114998522 A CN114998522 A CN 114998522A
- Authority
- CN
- China
- Prior art keywords
- light field
- key frame
- images
- coordinate system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,且公开了多视连续光场影像室内场景稠密点云准确提取方法及系统,本申请针对多视连续光场影像进行整体三维重建,且引入分区和关键帧的理念,设计从局部到整体的递阶式三维重建框架,以快速实现局部精细化重建和整体优化。同时,针对同一分区内光场影像或者不同分区的关键帧,提出由稀疏到稠密的三维重建策略,准确计算光场影像的位姿,实现整体三维重建。
Description
技术领域
本发明涉及图像处理技术领域,具体为多视连续光场影像室内场景稠密点云准确提取方法及系统。
背景技术
光场相机视野较小,重建室内场景时需要多次拍摄。一方面,由于每张光场影像都包含大数据量的多视角信息,同时处理所有光场影像速度很慢,且容易出现重建不稳定,甚至重建失败;另一方面,多视光场影像间存在多维几何信息,包括每张光场影像的多视角信息、从每张光场影像中提取的深度信息以及不同视光场影像间的几何约束关系,为室内三维重建提供了更丰富的数据源。但是,目前还没有针对利用多视连续光场影像进行室内稠密三维重建,进一步提取场景密集点云的算法。
发明内容
本发明主要是提供多视连续光场影像室内场景稠密点云准确提取方法及系统。
为了解决上述技术问题,本发明采用如下技术方案:
多视连续光场影像室内场景稠密点云准确提取方法,包括:
基于光场影像之间的关联度进行分区处理,并输出关键帧影像;
对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿;
基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿;
基于所有关键帧影像在整体坐标系下的关键帧影像位姿,将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下,实现整体稠密三维重建。
进一步,所述基于光场影像之间的关联度进行分区处理,并输出关键帧影像,包括:
采集光场影像,取第一张光场影像的坐标系为所有光场影像的整体坐标系,并确定为关键帧影像;
按照光场影像采集顺序,计算新获取的光场影像与所述第一张光场影像的关联度得分,并将所述关联度得分与预设得分阈值进行对比;
若低于预设得分阈值,则取所述新获取的光场影像的前一帧影像为关键帧影像;
将两个所述关键帧影像内的光场影像设为一个分区;
对于新获取的影像,重复执行分区,输出所有关键帧影像。
进一步,所述对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿,包括:
取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系;
基于每张光场影像提取特征点,并将光场影像两两进行特征匹配和匹配过滤,得到不同光场影像间的正确匹配;
对分区内的所有光场影像执行光束法平差,获取到分区内所有光场影像在对应局部坐标系下的初始位姿;
进一步进行稠密优化,提高初始位姿估计精度,完成分区内稠密三维重建,并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步,所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿,包括;
基于关键帧影像中提取的特征点,对所有关键帧影像两两进行特征匹配和匹配过滤,得到不同关键帧影像间的正确匹配;
基于关键帧影像间的匹配进行光束法平差,得到所有关键帧影像在整体坐标系下的关键帧影像位姿;
进一步进行稠密优化,提高所有关键帧影像位姿的估计精度,并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
多视连续光场影像室内场景稠密点云准确提取系统,包括:
分区模块,用于基于光场影像之间的关联度进行分区处理,并输出关键帧影像;
初始位姿获取模块,用于对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿;
关键帧影像位姿获取模块,用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿;
分区融合模块,用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿,将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下,实现整体稠密三维重建。
进一步,所述分区模块,包括:
首关键帧影像定义子模块,用于采集光场影像,取第一张光场影像的坐标系为所有光场影像的整体坐标系,并确定为关键帧影像;
得分对比子模块,用于按照光场影像采集顺序,计算新获取的光场影像与所述第一张光场影像的关联度得分,并将所述关联度得分与预设得分阈值进行对比;
次关键帧影像定义子模块,用于若低于预设得分阈值,则取所述新获取的光场影像的前一帧影像为关键帧影像;
分区定义子模块,用于将两个所述关键帧影像内的光场影像设为一个分区;
重复执行子模块,用于对于新获取的影像,重复执行分区,输出所有关键帧影像。
进一步,所述初始位姿获取模块,包括:
局部坐标系确定子模块,用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系;
局部匹配子模块,用于基于每张光场影像提取特征点,并将光场影像两两进行特征匹配和匹配过滤,得到不同光场影像间的正确匹配;
初始位姿获取子模块,用于对分区内的所有光场影像执行光束法平差,获取到分区内所有光场影像在对应局部坐标系下的初始位姿;
局部优化子模块,用于进一步进行稠密优化,提高初始位姿估计精度,完成分区内稠密三维重建,并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步,所述关键帧影像位姿获取模块,包括:
整体匹配子模块,用于基于关键帧影像中提取的特征点,对所有关键帧影像两两进行特征匹配和匹配过滤,得到不同关键帧影像间的正确匹配;
关键帧影像位姿获取子模块,用于基于关键帧影像间的匹配进行光束法平差,得到所有关键帧影像在整体坐标系下的关键帧影像位姿;
整体优化子模块,用于进一步进行稠密优化,提高所有关键帧影像位姿的估计精度,并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
有益效果:本申请针对多视连续光场影像进行整体三维重建,且引入分区和关键帧的理念,设计从局部到整体的递阶式三维重建框架,以快速实现局部精细化重建和整体优化。同时,针对同一分区内光场影像或者不同分区的关键帧,提出由稀疏到稠密的三维重建策略,准确计算光场影像的位姿,实现整体三维重建。
附图说明
图1为本发明的多视连续光场影像室内场景稠密点云准确提取方法流程图;
图2为本发明S1的流程图;
图3为本发明S2的流程图;
图4为本发明S3的流程图;
图5为本发明的多视连续光场影像室内场景稠密点云准确提取系统框图;
图6为递阶式三维重建框架图;
具体实施方式
以下将结合实施例对本发明涉及的多视连续光场影像室内场景稠密点云准确提取方法及系统技术方案进一步详细说明。
如图1所示,本实施例的多视连续光场影像室内场景稠密点云准确提取方法,其特征在于,包括:S1~S4;
S1、基于光场影像之间的关联度进行分区处理,并输出关键帧影像;
S2、对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿;
S3、基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿;
S4、基于所有关键帧影像在整体坐标系下的关键帧影像位姿,将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下,实现整体稠密三维重建。
其中,关键帧影像是指对应关键帧的光场影像。
本申请针对多视连续光场影像进行整体三维重建,且引入分区和关键帧的理念,设计从局部到整体的递阶式三维重建框架,以快速实现局部精细化重建和整体优化。同时,针对同一分区内光场影像或者不同分区的关键帧,提出由稀疏到稠密的三维重建策略,准确计算关键帧影像位姿和所有分区内光场影像的初始位姿,实现整体三维重建。
进一步,如图2所示,步骤S1中所述基于光场影像之间的关联度进行分区处理,并输出关键帧影像,包括:
S11、采集光场影像,取第一张光场影像的坐标系为所有光场影像的整体坐标系,并确定为关键帧影像;
S12、按照光场影像采集顺序,计算新获取的光场影像与所述第一张光场影像的关联度得分,并将所述关联度得分与预设得分阈值进行对比;
S13、若低于预设得分阈值,则取所述新获取的光场影像的前一帧影像为关键帧影像;
S14、将两个所述关键帧影像内的光场影像设为一个分区;
S15、对于新获取的影像,重复执行分区,输出所有关键帧影像。
其中,光场影像之间的关联度得分按照影像间匹配点对的数目和分布进行计算。首先统计光场影像间匹配点对的数量,其次统计所有匹配点对的最大外接矩形面积占整张影像幅面积大小的比值为。同时,考虑匹配点对的数量与面积比值各自的权重,则光场影像之间的关联度得分。
进一步,如图3所示,步骤S2中所述对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿,包括:
S21、取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系;
S22、基于每张光场影像提取特征点,并将光场影像两两进行特征匹配和匹配过滤,得到不同光场影像间的正确匹配;
S23、对分区内的所有光场影像执行光束法平差,获取到分区内所有光场影像在对应局部坐标系下的初始位姿;
S24、进一步进行稠密优化,提高初始位姿估计精度,完成分区内稠密三维重建,并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步,如图4所示,步骤S3中所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿,包括;
S31、基于关键帧影像中提取的特征点,对所有关键帧影像两两进行特征匹配和匹配过滤,得到不同关键帧影像间的正确匹配;
S32、基于关键帧影像间的匹配进行光束法平差,得到所有关键帧影像在整体坐标系下的关键帧影像位姿;
S33、进一步进行稠密优化,提高所有关键帧影像位姿的估计精度,并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
其中,每张光场影像提取特征点,并将光场影像两两进行特征匹配和匹配过滤是从光场影像的特点出发,改进传统SIFT算法,提取深度、空间分布均匀的特征点并进行有效匹配。首先,对光场影像进行重聚焦,提取个深度下的影像,在影像上构建高斯差分金字塔,并在个尺度和个深度下检测特征点。其次,为保证特征点的空间分布均匀,在每个尺度光场影像上划分格网,根据格网内信息选择保留的特征点。然后,采用与SIFT算子类似的方法构建特征描述子,不同于SIFT的是,特征描述子是在特定深度下构建,提高特征适应不同深度干扰的同时降低遮挡的影响。最后,根据特征描述子之间的最短欧式距离完成特征点初始匹配;
采用一种双向的验证策略剔除初始匹配中存在的错误匹配。设一对光场影像和的中心视角影像为和,估计的深度图为和。对于影像和上的一对匹配点对,利用其周围匹配点对计算两幅影像局部区域的刚体变换。利用将变换至影像上得,同时利用逆矩阵将变换至影像上得,计算和、和分别在对应影像上的深度值、和法线和局部影像的相似性偏差。由相关系数法求得,为了降低影像形变引起的误差,直接将一副影像上的窗口影像变换仿射变换至计算过程满足以下条件的匹配被视为正确匹配;
其中,光场影像的稀疏三维重建,从光场影像中提取深度、空间均分布合理的特征点,进行匹配并过滤掉错误匹配,利用保留的正确匹配计算稀疏匹配能量项。最小化空间点与其在所有不同帧影像之间的对应投影位置,可用下面公式表示为:
其中,稀疏三维重建完成后,利用稠密优化进一步提高位姿估计精度,并实现稠密三维重建。为充分利用光场影像和以及评估中心视角影像和的深度图和,首先基于两幅中心视角影像和及其深度图和之间的几何关系构建能量项。其次,如图7所示,左侧和右侧分别为光场影像和在视角和下的子孔径影像,像素点、、、对应于同一物方点。利用同一光场影像中非中心视角影像与中心视角影像在不同光场影像间视差变化的相互关系进行匹配约束,构建能量项;通过综合利用中心视角影像和非中心视角影像的几何约束关系,构建如下式的能量函数:
其中,完成位姿估计后,将所有光场影像上的特征,根据分区重建过程中计算得到的与对应分区内关键帧影像(也就是参考影像)的位姿参数,全部转换至关键帧进行特征融合,与关键帧影像一起进行全局优化。
其中,重建过程中参数的求解是非线性的,当初始值落入非线性求解的可优化范围内时,可以更快地收敛,得到可靠的结果。因此,本申请采用稀疏三维重建提供初始位姿的初值和稠密优化相结合的方式,构建如下式的总体能量函数,实现由粗到细的逐级重建。
如图5所示,多视连续光场影像室内场景稠密点云准确提取系统,包括:
分区模块51,用于基于光场影像之间的关联度进行分区处理,并输出关键帧影像;
初始位姿获取模块52,用于对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿;
关键帧影像位姿获取模块53,用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿;
分区融合模块54,用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿,将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下,实现整体稠密三维重建。
进一步,所述分区模块51,包括:
首关键帧影像定义子模块511,用于采集光场影像,取第一张光场影像的坐标系为所有光场影像的整体坐标系,并确定为关键帧影像;
得分对比子模块512,用于按照光场影像采集顺序,计算新获取的光场影像与所述第一张光场影像的关联度得分,并将所述关联度得分与预设得分阈值进行对比;
次关键帧影像定义子模块513,用于若低于预设得分阈值,则取所述新获取的光场影像的前一帧影像为关键帧影像;
分区定义子模块514,用于将两个所述关键帧影像内的光场影像设为一个分区;
重复执行子模块515,用于对于新获取的影像,重复执行分区,输出所有关键帧影像。
进一步,所述初始位姿获取模块52,包括:
局部坐标系确定子模块521,用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系;
局部匹配子模块522,用于基于每张光场影像提取特征点,并将光场影像两两进行特征匹配和匹配过滤,得到不同光场影像间的正确匹配;
初始位姿获取子模块523,用于对分区内的所有光场影像执行光束法平差,获取到分区内所有光场影像在对应局部坐标系下的初始位姿;
局部优化子模块524,用于进一步进行稠密优化,提高初始位姿估计精度,完成分区内稠密三维重建,并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步,所述关键帧影像位姿获取模块53,包括:
整体匹配子模块531,用于基于关键帧影像中提取的特征点,对所有关键帧影像两两进行特征匹配和匹配过滤,得到不同关键帧影像间的正确匹配;
关键帧影像位姿获取子模块532,用于基于关键帧影像间的匹配进行光束法平差,得到所有关键帧影像在整体坐标系下的关键帧影像位姿;
整体优化子模块533,用于进一步进行稠密优化,提高所有关键帧影像位姿的估计精度,并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.多视连续光场影像室内场景稠密点云准确提取方法,其特征在于,包括:
基于光场影像之间的关联度进行分区处理,并输出关键帧影像;
对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿;
基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿;
基于所有关键帧影像在整体坐标系下的关键帧影像位姿,将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下,实现整体稠密三维重建。
2.根据权利要求1的方法,其特征在于,所述基于光场影像之间的关联度进行分区处理,并输出关键帧影像,包括:
采集光场影像,取第一张光场影像的坐标系为所有光场影像的整体坐标系,并确定为关键帧影像;
按照光场影像采集顺序,计算新获取的光场影像与所述第一张光场影像的关联度得分,并将所述关联度得分与预设得分阈值进行对比;
若低于预设得分阈值,则取所述新获取的光场影像的前一帧影像为关键帧影像;
将两个所述关键帧影像内的光场影像设为一个分区;
对于新获取的影像,重复执行分区,输出所有关键帧影像。
3.根据权利要求1的方法,其特征在于,所述对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿,包括:
取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系;
基于每张光场影像提取特征点,并将光场影像两两进行特征匹配和匹配过滤,得到不同光场影像间的正确匹配;
对分区内的所有光场影像执行光束法平差,获取到分区内所有光场影像在对应局部坐标系下的初始位姿;
进一步进行稠密优化,提高初始位姿估计精度,完成分区内稠密三维重建,并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
4.根据权利要求1的方法,其特征在于,所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿,包括;
基于关键帧影像中提取的特征点,对所有关键帧影像两两进行特征匹配和匹配过滤,得到不同关键帧影像间的正确匹配;
基于关键帧影像间的匹配进行光束法平差,得到所有关键帧影像在整体坐标系下的关键帧影像位姿;
进一步进行稠密优化,提高所有关键帧影像位姿的估计精度,并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
5.多视连续光场影像室内场景稠密点云准确提取系统,其特征在于,包括:
分区模块,用于基于光场影像之间的关联度进行分区处理,并输出关键帧影像;
初始位姿获取模块,用于对每个分区内光场影像进行分区内稠密三维重建,获取分区内所有光场影像在对应局部坐标系下的初始位姿;
关键帧影像位姿获取模块,用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计,获取所有关键帧影像在整体坐标系下的关键帧影像位姿;
分区融合模块,用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿,将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下,实现整体稠密三维重建。
6.根据权利要求5所述的系统,其特征在于,所述分区模块,包括:
首关键帧影像定义子模块,用于采集光场影像,取第一张光场影像的坐标系为所有光场影像的整体坐标系,并确定为关键帧影像;
得分对比子模块,用于按照光场影像采集顺序,计算新获取的光场影像与所述第一张光场影像的关联度得分,并将所述关联度得分与预设得分阈值进行对比;
次关键帧影像定义子模块,用于若低于预设得分阈值,则取所述新获取的光场影像的前一帧影像为关键帧影像;
分区定义子模块,用于将两个所述关键帧影像内的光场影像设为一个分区;
重复执行子模块,用于对于新获取的影像,重复执行分区,输出所有关键帧影像。
7.根据权利要求5所述的系统,其特征在于,所述初始位姿获取模块,包括:
局部坐标系确定子模块,用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系;
局部匹配子模块,用于基于每张光场影像提取特征点,并将光场影像两两进行特征匹配和匹配过滤,得到不同光场影像间的正确匹配;
初始位姿获取子模块,用于对分区内的所有光场影像执行光束法平差,获取到分区内所有光场影像在对应局部坐标系下的初始位姿;
局部优化子模块,用于进一步进行稠密优化,提高初始位姿估计精度,完成分区内稠密三维重建,并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
8.根据权利要求5所述的系统,其特征在于,所述关键帧影像位姿获取模块,包括:
整体匹配子模块,用于基于关键帧影像中提取的特征点,对所有关键帧影像两两进行特征匹配和匹配过滤,得到不同关键帧影像间的正确匹配;
关键帧影像位姿获取子模块,用于基于关键帧影像间的匹配进行光束法平差,得到所有关键帧影像在整体坐标系下的关键帧影像位姿;
整体优化子模块,用于进一步进行稠密优化,提高所有关键帧影像位姿的估计精度,并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210675988.6A CN114998522B (zh) | 2022-06-15 | 2022-06-15 | 多视连续光场影像室内场景稠密点云准确提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210675988.6A CN114998522B (zh) | 2022-06-15 | 2022-06-15 | 多视连续光场影像室内场景稠密点云准确提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998522A true CN114998522A (zh) | 2022-09-02 |
CN114998522B CN114998522B (zh) | 2023-05-23 |
Family
ID=83035960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210675988.6A Active CN114998522B (zh) | 2022-06-15 | 2022-06-15 | 多视连续光场影像室内场景稠密点云准确提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998522B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953600A (zh) * | 2023-03-08 | 2023-04-11 | 中国测绘科学研究院 | 基于多方向滤波通道特征的多模态影像匹配方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6498607B1 (en) * | 1999-01-29 | 2002-12-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating graphical object represented as surface elements |
WO2017166594A1 (zh) * | 2016-03-31 | 2017-10-05 | 百度在线网络技术(北京)有限公司 | 一种室内地图构建方法、装置和存储介质 |
CN107392845A (zh) * | 2017-07-31 | 2017-11-24 | 芜湖微云机器人有限公司 | 一种3d点云成像及定位的方法 |
US20190116372A1 (en) * | 2017-10-16 | 2019-04-18 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Compressing, Representing and Processing Point Clouds |
CN110335316A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
-
2022
- 2022-06-15 CN CN202210675988.6A patent/CN114998522B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6498607B1 (en) * | 1999-01-29 | 2002-12-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating graphical object represented as surface elements |
WO2017166594A1 (zh) * | 2016-03-31 | 2017-10-05 | 百度在线网络技术(北京)有限公司 | 一种室内地图构建方法、装置和存储介质 |
CN107392845A (zh) * | 2017-07-31 | 2017-11-24 | 芜湖微云机器人有限公司 | 一种3d点云成像及定位的方法 |
US20190116372A1 (en) * | 2017-10-16 | 2019-04-18 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Compressing, Representing and Processing Point Clouds |
CN110335316A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
Non-Patent Citations (2)
Title |
---|
李迎松: "计算机视觉三维重建的几何基础:坐标系与关键矩阵(基础矩阵、本质矩阵、单应矩阵)", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/159194599》 * |
许彪 等: "分区优化混合SfM方法", 《测绘学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953600A (zh) * | 2023-03-08 | 2023-04-11 | 中国测绘科学研究院 | 基于多方向滤波通道特征的多模态影像匹配方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114998522B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110310320B (zh) | 一种双目视觉匹配代价聚合优化方法 | |
CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
CN104867135B (zh) | 一种基于指导图像引导的高精度立体匹配方法 | |
WO2018000752A1 (zh) | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
CN109308719B (zh) | 一种基于三维卷积的双目视差估计方法 | |
CN102651135B (zh) | 一种基于优化方向采样的自然图像抠图方法 | |
CN103310421B (zh) | 针对高清图像对的快速立体匹配方法及视差图获取方法 | |
CN110992263B (zh) | 一种图像拼接方法及系统 | |
CN105528785A (zh) | 一种双目视觉图像立体匹配方法 | |
CN108460792B (zh) | 一种基于图像分割的高效聚焦立体匹配方法 | |
CN113256698B (zh) | 一种具有深度预测的单目3d重建方法 | |
CN104240229B (zh) | 一种红外双目相机自适应极线校正方法 | |
CN111028281A (zh) | 基于光场双目系统的深度信息的计算方法及装置 | |
CN113838191A (zh) | 一种基于注意力机制和单目多视角的三维重建方法 | |
CN111914913B (zh) | 一种新型立体匹配优化方法 | |
CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
CN110956601B (zh) | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 | |
CN114998522A (zh) | 多视连续光场影像室内场景稠密点云准确提取方法及系统 | |
CN103489183B (zh) | 一种基于边缘分割和种子点的局部立体匹配方法 | |
CN115375745A (zh) | 基于偏振微透镜光场影像视差角的绝对深度测量方法 | |
WO2018133027A1 (zh) | 基于灰度约束的三维数字散斑的整像素搜索方法及装置 | |
CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
CN117496205A (zh) | 一种基于ITHM-Net的异源景像匹配方法 | |
CN111368882B (zh) | 一种基于简化独立成分分析和局部相似性的立体匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |