CN114998522B - 多视连续光场影像室内场景稠密点云准确提取方法及系统 - Google Patents

多视连续光场影像室内场景稠密点云准确提取方法及系统 Download PDF

Info

Publication number
CN114998522B
CN114998522B CN202210675988.6A CN202210675988A CN114998522B CN 114998522 B CN114998522 B CN 114998522B CN 202210675988 A CN202210675988 A CN 202210675988A CN 114998522 B CN114998522 B CN 114998522B
Authority
CN
China
Prior art keywords
light field
key frame
images
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210675988.6A
Other languages
English (en)
Other versions
CN114998522A (zh
Inventor
刘玉轩
孙钰珊
许彪
艾海滨
莫凡
王保前
韩晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of Surveying and Mapping
Original Assignee
Chinese Academy of Surveying and Mapping
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy of Surveying and Mapping filed Critical Chinese Academy of Surveying and Mapping
Priority to CN202210675988.6A priority Critical patent/CN114998522B/zh
Publication of CN114998522A publication Critical patent/CN114998522A/zh
Application granted granted Critical
Publication of CN114998522B publication Critical patent/CN114998522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，且公开了多视连续光场影像室内场景稠密点云准确提取方法及系统，本申请针对多视连续光场影像进行整体三维重建，且引入分区和关键帧的理念，设计从局部到整体的递阶式三维重建框架，以快速实现局部精细化重建和整体优化。同时，针对同一分区内光场影像或者不同分区的关键帧，提出由稀疏到稠密的三维重建策略，准确计算光场影像的位姿，实现整体三维重建。

Description

多视连续光场影像室内场景稠密点云准确提取方法及系统
技术领域
本发明涉及图像处理技术领域，具体为多视连续光场影像室内场景稠密点云准确提取方法及系统。
背景技术
光场相机视野较小，重建室内场景时需要多次拍摄。一方面，由于每张光场影像都包含大数据量的多视角信息，同时处理所有光场影像速度很慢，且容易出现重建不稳定，甚至重建失败；另一方面，多视光场影像间存在多维几何信息，包括每张光场影像的多视角信息、从每张光场影像中提取的深度信息以及不同视光场影像间的几何约束关系，为室内三维重建提供了更丰富的数据源。但是，目前还没有针对利用多视连续光场影像进行室内稠密三维重建，进一步提取场景密集点云的算法。
发明内容
本发明主要是提供多视连续光场影像室内场景稠密点云准确提取方法及系统。
为了解决上述技术问题，本发明采用如下技术方案：
多视连续光场影像室内场景稠密点云准确提取方法，包括：
基于光场影像之间的关联度进行分区处理，并输出关键帧影像；
对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；
基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；
基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
进一步，所述基于光场影像之间的关联度进行分区处理，并输出关键帧影像，包括：
采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；
按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；
若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；
将两个所述关键帧影像内的光场影像设为一个分区；
对于新获取的影像，重复执行分区，输出所有关键帧影像。
进一步，所述对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿，包括：
取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；
基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；
对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；
进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步，所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿，包括；
基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；
基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；
进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
多视连续光场影像室内场景稠密点云准确提取系统，包括：
分区模块，用于基于光场影像之间的关联度进行分区处理，并输出关键帧影像；
初始位姿获取模块，用于对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；
关键帧影像位姿获取模块，用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；
分区融合模块，用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
进一步，所述分区模块，包括：
首关键帧影像定义子模块，用于采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；
得分对比子模块，用于按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；
次关键帧影像定义子模块，用于若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；
分区定义子模块，用于将两个所述关键帧影像内的光场影像设为一个分区；
重复执行子模块，用于对于新获取的影像，重复执行分区，输出所有关键帧影像。
进一步，所述初始位姿获取模块，包括：
局部坐标系确定子模块，用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；
局部匹配子模块，用于基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；
初始位姿获取子模块，用于对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；
局部优化子模块，用于进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步，所述关键帧影像位姿获取模块，包括：
整体匹配子模块，用于基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；
关键帧影像位姿获取子模块，用于基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；
整体优化子模块，用于进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
有益效果：本申请针对多视连续光场影像进行整体三维重建，且引入分区和关键帧的理念，设计从局部到整体的递阶式三维重建框架，以快速实现局部精细化重建和整体优化。同时，针对同一分区内光场影像或者不同分区的关键帧，提出由稀疏到稠密的三维重建策略，准确计算光场影像的位姿，实现整体三维重建。
附图说明
图1为本发明的多视连续光场影像室内场景稠密点云准确提取方法流程图；
图2为本发明S1的流程图；
图3为本发明S2的流程图；
图4为本发明S3的流程图；
图5为本发明的多视连续光场影像室内场景稠密点云准确提取系统框图；
图6为递阶式三维重建框架图；
图7为同一空间点在不同视角光场影像
Figure DEST_PATH_IMAGE001
和/>
Figure 143187DEST_PATH_IMAGE002
投影位置变化示意图。
具体实施方式
以下将结合实施例对本发明涉及的多视连续光场影像室内场景稠密点云准确提取方法及系统技术方案进一步详细说明。
如图1所示，本实施例的多视连续光场影像室内场景稠密点云准确提取方法，其特征在于，包括：S1~S4；
S1、基于光场影像之间的关联度进行分区处理，并输出关键帧影像；
S2、对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；
S3、基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；
S4、基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
其中，关键帧影像是指对应关键帧的光场影像。
本申请针对多视连续光场影像进行整体三维重建，且引入分区和关键帧的理念，设计从局部到整体的递阶式三维重建框架，以快速实现局部精细化重建和整体优化。同时，针对同一分区内光场影像或者不同分区的关键帧，提出由稀疏到稠密的三维重建策略，准确计算关键帧影像位姿和所有分区内光场影像的初始位姿，实现整体三维重建。
进一步，如图2所示，步骤S1中所述基于光场影像之间的关联度进行分区处理，并输出关键帧影像，包括：
S11、采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；
S12、按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；
S13、若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；
S14、将两个所述关键帧影像内的光场影像设为一个分区；
S15、对于新获取的影像，重复执行分区，输出所有关键帧影像。
其中，光场影像之间的关联度得分按照影像间匹配点对的数目和分布进行计算。首先统计光场影像间匹配点对的数量
Figure DEST_PATH_IMAGE003
，其次统计所有匹配点对的最大外接矩形面积占整张影像幅面积大小的比值为/>
Figure 465715DEST_PATH_IMAGE004
。同时，考虑匹配点对的数量与面积比值各自的权重，则光场影像之间的关联度得分/>
Figure DEST_PATH_IMAGE005
。
Figure 858650DEST_PATH_IMAGE006
式中，左右影像构成的
Figure DEST_PATH_IMAGE007
和/>
Figure 240696DEST_PATH_IMAGE008
为权重赋值。
进一步，如图3所示，步骤S2中所述对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿，包括：
S21、取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；
S22、基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；
S23、对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；
S24、进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步，如图4所示，步骤S3中所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿，包括；
S31、基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；
S32、基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；
S33、进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
其中，每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤是从光场影像的特点出发，改进传统SIFT算法，提取深度、空间分布均匀的特征点并进行有效匹配。首先，对光场影像进行重聚焦，提取
Figure DEST_PATH_IMAGE009
个深度下的影像/>
Figure 495223DEST_PATH_IMAGE010
，在影像/>
Figure 124787DEST_PATH_IMAGE010
上构建高斯差分金字塔/>
Figure DEST_PATH_IMAGE011
，并在/>
Figure 911127DEST_PATH_IMAGE012
个尺度/>
Figure DEST_PATH_IMAGE013
和/>
Figure 235929DEST_PATH_IMAGE009
个深度/>
Figure 949939DEST_PATH_IMAGE014
下检测特征点。其次，为保证特征点的空间分布均匀，在每个尺度光场影像上划分格网，根据格网内信息选择保留的特征点。然后，采用与SIFT算子类似的方法构建特征描述子，不同于SIFT的是，特征描述子是在特定深度下构建，提高特征适应不同深度干扰的同时降低遮挡的影响。最后，根据特征描述子之间的最短欧式距离完成特征点初始匹配；
采用一种双向的验证策略剔除初始匹配中存在的错误匹配。设一对光场影像
Figure 650654DEST_PATH_IMAGE001
和/>
Figure 526337DEST_PATH_IMAGE002
的中心视角影像为/>
Figure DEST_PATH_IMAGE015
和/>
Figure 823588DEST_PATH_IMAGE016
，估计的深度图为/>
Figure DEST_PATH_IMAGE017
和/>
Figure 722713DEST_PATH_IMAGE018
。对于影像/>
Figure 77602DEST_PATH_IMAGE015
和/>
Figure 124186DEST_PATH_IMAGE016
上的一对匹配点对/>
Figure DEST_PATH_IMAGE019
，利用其周围匹配点对计算两幅影像局部区域的刚体变换/>
Figure 892422DEST_PATH_IMAGE020
。利用
Figure 742042DEST_PATH_IMAGE020
将/>
Figure DEST_PATH_IMAGE021
变换至影像/>
Figure 561224DEST_PATH_IMAGE016
上得/>
Figure 44289DEST_PATH_IMAGE022
，同时利用/>
Figure 506013DEST_PATH_IMAGE020
逆矩阵将/>
Figure DEST_PATH_IMAGE023
变换至影像/>
Figure 693412DEST_PATH_IMAGE015
上得/>
Figure 757314DEST_PATH_IMAGE024
,计算/>
Figure 394969DEST_PATH_IMAGE021
和/>
Figure 278743DEST_PATH_IMAGE022
、/>
Figure 407848DEST_PATH_IMAGE023
和/>
Figure 309945DEST_PATH_IMAGE024
分别在对应影像上的深度值/>
Figure DEST_PATH_IMAGE025
、和法线/>
Figure 665971DEST_PATH_IMAGE026
和局部影像的相似性偏差。由相关系数法求得，为了降低影像形变引起的误差，直接将一副影像上的窗口影像变换仿射变换至计算过程满足以下条件的匹配被视为正确匹配；
Figure DEST_PATH_IMAGE028A
Figure DEST_PATH_IMAGE030A
式中，
Figure DEST_PATH_IMAGE031
、/>
Figure 411659DEST_PATH_IMAGE032
、/>
Figure DEST_PATH_IMAGE033
、/>
Figure 612965DEST_PATH_IMAGE034
分别为/>
Figure 635147DEST_PATH_IMAGE021
、/>
Figure 99758DEST_PATH_IMAGE022
、/>
Figure 207391DEST_PATH_IMAGE023
、/>
Figure 150070DEST_PATH_IMAGE024
的深度值，/>
Figure DEST_PATH_IMAGE035
、/>
Figure 102458DEST_PATH_IMAGE036
、/>
Figure DEST_PATH_IMAGE037
、/>
Figure 65866DEST_PATH_IMAGE038
分别为/>
Figure 145949DEST_PATH_IMAGE021
、/>
Figure 938324DEST_PATH_IMAGE022
、/>
Figure 154673DEST_PATH_IMAGE023
、/>
Figure 475933DEST_PATH_IMAGE024
的法线，/>
Figure DEST_PATH_IMAGE039
和/>
Figure 842979DEST_PATH_IMAGE040
分别是深度和法线相似性的偏差阈值。
其中，光场影像的稀疏三维重建，从光场影像中提取深度、空间均分布合理的特征点，进行匹配并过滤掉错误匹配，利用保留的正确匹配计算稀疏匹配能量项
Figure DEST_PATH_IMAGE041
。
Figure 455357DEST_PATH_IMAGE042
最小化空间点与其在所有不同帧影像之间的对应投影位置，可用下面公式表示为：
Figure DEST_PATH_IMAGE043
/>
式中，
Figure 588530DEST_PATH_IMAGE044
为影像个数，/>
Figure DEST_PATH_IMAGE045
为第/>
Figure 893740DEST_PATH_IMAGE046
张光场影像的位姿，/>
Figure DEST_PATH_IMAGE047
为第/>
Figure 476644DEST_PATH_IMAGE046
张影像上的第
Figure 79663DEST_PATH_IMAGE048
个特征，/>
Figure DEST_PATH_IMAGE049
为第/>
Figure 598500DEST_PATH_IMAGE050
张光场影像的位姿，/>
Figure DEST_PATH_IMAGE051
为第/>
Figure 90924DEST_PATH_IMAGE052
张影像上的第/>
Figure DEST_PATH_IMAGE053
个特征；/>
Figure 217581DEST_PATH_IMAGE054
为第/>
Figure 358712DEST_PATH_IMAGE046
和/>
Figure 669739DEST_PATH_IMAGE050
张光场影像间的所有匹配点对；
其中，稀疏三维重建完成后，利用稠密优化进一步提高位姿估计精度，并实现稠密三维重建。为充分利用光场影像
Figure DEST_PATH_IMAGE055
和/>
Figure 51173DEST_PATH_IMAGE056
以及评估中心视角影像/>
Figure 329708DEST_PATH_IMAGE015
和/>
Figure 25262DEST_PATH_IMAGE016
的深度图/>
Figure 440063DEST_PATH_IMAGE017
和
Figure 192731DEST_PATH_IMAGE018
，首先基于两幅中心视角影像/>
Figure 692982DEST_PATH_IMAGE015
和/>
Figure 926649DEST_PATH_IMAGE016
及其深度图/>
Figure 461535DEST_PATH_IMAGE017
和/>
Figure 122455DEST_PATH_IMAGE018
之间的几何关系构建能量项/>
Figure DEST_PATH_IMAGE057
。其次，如图7所示，左侧和右侧分别为光场影像/>
Figure 923052DEST_PATH_IMAGE055
和/>
Figure 209677DEST_PATH_IMAGE056
在视角
Figure 352732DEST_PATH_IMAGE058
和/>
Figure DEST_PATH_IMAGE059
下的子孔径影像，像素点/>
Figure 246870DEST_PATH_IMAGE060
、/>
Figure DEST_PATH_IMAGE061
、/>
Figure 534763DEST_PATH_IMAGE062
、/>
Figure DEST_PATH_IMAGE063
对应于同一物方点/>
Figure 906969DEST_PATH_IMAGE064
。利用同一光场影像中非中心视角影像与中心视角影像在不同光场影像间视差变化的相互关系进行匹配约束，构建能量项/>
Figure DEST_PATH_IMAGE065
；通过综合利用中心视角影像和非中心视角影像的几何约束关系，构建如下式的能量函数：
Figure 695409DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE067
总体稠密优化能量项。
其中，完成位姿估计后，将所有光场影像上的特征，根据分区重建过程中计算得到的与对应分区内关键帧影像（也就是参考影像）的位姿参数，全部转换至关键帧进行特征融合，与关键帧影像一起进行全局优化。
其中，重建过程中参数的求解是非线性的，当初始值落入非线性求解的可优化范围内时，可以更快地收敛，得到可靠的结果。因此，本申请采用稀疏三维重建提供初始位姿的初值和稠密优化相结合的方式，构建如下式的总体能量函数
Figure 9716DEST_PATH_IMAGE068
，实现由粗到细的逐级重建。
Figure DEST_PATH_IMAGE069
式中，
Figure 519326DEST_PATH_IMAGE070
和/>
Figure DEST_PATH_IMAGE071
分别为稀疏匹配能量项和稠密优化能量项的权重，可人为设置。通过最小化以上总体能量函数，求得影像准确位姿参数，同时完成稠密三维重建，得到场景的三维点云。
如图5所示，多视连续光场影像室内场景稠密点云准确提取系统，包括：
分区模块51，用于基于光场影像之间的关联度进行分区处理，并输出关键帧影像；
初始位姿获取模块52，用于对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；
关键帧影像位姿获取模块53，用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；
分区融合模块54，用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建。
进一步，所述分区模块51，包括：
首关键帧影像定义子模块511，用于采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；
得分对比子模块512，用于按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；
次关键帧影像定义子模块513，用于若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；
分区定义子模块514，用于将两个所述关键帧影像内的光场影像设为一个分区；
重复执行子模块515，用于对于新获取的影像，重复执行分区，输出所有关键帧影像。
进一步，所述初始位姿获取模块52，包括：
局部坐标系确定子模块521，用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；
局部匹配子模块522，用于基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；
初始位姿获取子模块523，用于对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；
局部优化子模块524，用于进一步进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
进一步，所述关键帧影像位姿获取模块53，包括：
整体匹配子模块531，用于基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；
关键帧影像位姿获取子模块532，用于基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；
整体优化子模块533，用于进一步进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.多视连续光场影像室内场景稠密点云准确提取方法，其特征在于，包括：
基于光场影像之间的关联度进行分区处理，并输出关键帧影像；
对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；
基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；
基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建；
其中，基于光场影像之间的关联度进行分区处理，并输出关键帧影像包括：
采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；
按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；
若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；
将两个所述关键帧影像内的光场影像设为一个分区；
对于新获取的影像，重复执行分区，输出所有关键帧影像。
2.根据权利要求1的方法，其特征在于，所述对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿，包括：
取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；
基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；
对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；
进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
3.根据权利要求1的方法，其特征在于，所述基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿，包括；
基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；
基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；
进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
4.多视连续光场影像室内场景稠密点云准确提取系统，其特征在于，包括：
分区模块，用于基于光场影像之间的关联度进行分区处理，并输出关键帧影像；
初始位姿获取模块，用于对每个分区内光场影像进行分区内稠密三维重建，获取分区内所有光场影像在对应局部坐标系下的初始位姿；
关键帧影像位姿获取模块，用于基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计，获取所有关键帧影像在整体坐标系下的关键帧影像位姿；
分区融合模块，用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿，将所有分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下，实现整体稠密三维重建；
其中，分区模块包括：首关键帧影像定义子模块，用于采集光场影像，取第一张光场影像的坐标系为所有光场影像的整体坐标系，并确定为关键帧影像；
得分对比子模块，用于按照光场影像采集顺序，计算新获取的光场影像与所述第一张光场影像的关联度得分，并将所述关联度得分与预设得分阈值进行对比；
次关键帧影像定义子模块，用于若低于预设得分阈值，则取所述新获取的光场影像的前一帧影像为关键帧影像；
分区定义子模块，用于将两个所述关键帧影像内的光场影像设为一个分区；
重复执行子模块，用于对于新获取的影像，重复执行分区，输出所有关键帧影像。
5.根据权利要求4所述的系统，其特征在于，所述初始位姿获取模块，包括：
局部坐标系确定子模块，用于取每个分区的第一张光场影像所在坐标系为该分区的局部坐标系；
局部匹配子模块，用于基于每张光场影像提取特征点，并将光场影像两两进行特征匹配和匹配过滤，得到不同光场影像间的正确匹配；
初始位姿获取子模块，用于对分区内的所有光场影像执行光束法平差，获取到分区内所有光场影像在对应局部坐标系下的初始位姿；
局部优化子模块，用于进行稠密优化，提高初始位姿估计精度，完成分区内稠密三维重建，并输出优化后的分区内所有光场影像在局部坐标系下的初始位姿。
6.根据权利要求4所述的系统，其特征在于，所述关键帧影像位姿获取模块，包括：
整体匹配子模块，用于基于关键帧影像中提取的特征点，对所有关键帧影像两两进行特征匹配和匹配过滤，得到不同关键帧影像间的正确匹配；
关键帧影像位姿获取子模块，用于基于关键帧影像间的匹配进行光束法平差，得到所有关键帧影像在整体坐标系下的关键帧影像位姿；
整体优化子模块，用于进行稠密优化，提高所有关键帧影像位姿的估计精度，并输出优化后的所有关键帧影像在整体坐标系下的关键帧影像位姿。
CN202210675988.6A 2022-06-15 2022-06-15 多视连续光场影像室内场景稠密点云准确提取方法及系统 Active CN114998522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210675988.6A CN114998522B (zh) 2022-06-15 2022-06-15 多视连续光场影像室内场景稠密点云准确提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210675988.6A CN114998522B (zh) 2022-06-15 2022-06-15 多视连续光场影像室内场景稠密点云准确提取方法及系统

Publications (2)

Publication Number Publication Date
CN114998522A CN114998522A (zh) 2022-09-02
CN114998522B true CN114998522B (zh) 2023-05-23

Family

ID=83035960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210675988.6A Active CN114998522B (zh) 2022-06-15 2022-06-15 多视连续光场影像室内场景稠密点云准确提取方法及系统

Country Status (1)

Country Link
CN (1) CN114998522B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953600B (zh) * 2023-03-08 2023-07-21 中国测绘科学研究院 基于多方向滤波通道特征的多模态影像匹配方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498607B1 (en) * 1999-01-29 2002-12-24 Mitsubishi Electric Research Laboratories, Inc. Method for generating graphical object represented as surface elements
CN105702151B (zh) * 2016-03-31 2019-06-11 百度在线网络技术（北京）有限公司 一种室内地图构建方法及装置
CN107392845A (zh) * 2017-07-31 2017-11-24 芜湖微云机器人有限公司 一种3d点云成像及定位的方法
US20190116372A1 (en) * 2017-10-16 2019-04-18 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Compressing, Representing and Processing Point Clouds

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备

Also Published As

Publication number Publication date
CN114998522A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN104104937B (zh) 图像处理装置以及图像处理方法
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN107481279B (zh) 一种单目视频深度图计算方法
CN102651135B (zh) 一种基于优化方向采样的自然图像抠图方法
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN109064505B (zh) 一种基于滑动窗口张量提取的深度估计方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN108460792B (zh) 一种基于图像分割的高效聚焦立体匹配方法
CN102436660A (zh) 3d相机图像自动校正方法及装置
CN114998522B (zh) 多视连续光场影像室内场景稠密点云准确提取方法及系统
CN111402311A (zh) 一种基于知识蒸馏的轻量级立体视差估计方法
CN106600632A (zh) 一种改进匹配代价聚合的立体匹配算法
CN104182968A (zh) 宽基线多阵列光学探测系统模糊动目标分割方法
CN113313147A (zh) 一种基于深度语义对齐网络模型的图像匹配方法
CN112329726A (zh) 人脸识别方法及装置
CN103489183B (zh) 一种基于边缘分割和种子点的局部立体匹配方法
WO2018133027A1 (zh) 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN107909611A (zh) 一种利用微分几何理论提取空间曲线曲率特征的方法
CN106971176A (zh) 基于稀疏表示的红外人体目标跟踪方法
CN111368882B (zh) 一种基于简化独立成分分析和局部相似性的立体匹配方法
CN117132737A (zh) 一种三维建筑模型构建方法、系统及设备
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN108062765A (zh) 双目图像处理方法、成像装置及电子设备
CN112700504B (zh) 一种多视角远心相机的视差测量方法
CN106980601A (zh) 基于三目极线约束的基础矩阵高精度求解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant