CN116883588A - 一种大场景下的三维点云快速稠密重建方法及系统 - Google Patents

一种大场景下的三维点云快速稠密重建方法及系统 Download PDF

Info

Publication number
CN116883588A
CN116883588A CN202310720747.3A CN202310720747A CN116883588A CN 116883588 A CN116883588 A CN 116883588A CN 202310720747 A CN202310720747 A CN 202310720747A CN 116883588 A CN116883588 A CN 116883588A
Authority
CN
China
Prior art keywords
point cloud
image
reconstruction
sparse
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310720747.3A
Other languages
English (en)
Inventor
刘小燕
尹雨枫
张子超
李桑澜
何伟平
周宇
李冠辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310720747.3A priority Critical patent/CN116883588A/zh
Publication of CN116883588A publication Critical patent/CN116883588A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种大场景下的三维点云快速稠密重建方法及系统，该方法包括如下步骤：获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对连续图像进行关键帧提取，获得关键帧图像序列，针对关键帧图像序列进行稀疏重建，并获取每张图像的相机位姿、2D关键点、3D稀疏点对跟踪图像进行视角选择，根据点云稀疏重建生成的稀疏点云和视角选择的结果使用基于光度特征和平面特征的方法估计每张图像的参数信息，然后使用快速的融合方法对点云进行稠密重建，最后再对稠密点云进行尺度恢复和坐标转换。本发明提高了大场景环境下稠密重建的速度和质量，增加了小目标物体表面的细节特征，为大场景环境的准确感知提供了有效的技术支持。

Description

一种大场景下的三维点云快速稠密重建方法及系统
技术领域
本发明涉及到计算机视觉和三维图像处理技术领域，具体涉及到一种大场景下的三维点云快速稠密重建方法及系统。
背景技术
近年来，深度学习技术在二维图像处理的各种任务中大放异彩，在各种数据集中的准确度远超传统方法的结果。随着三维视觉与三维结构数据的需求越来越大，研究人员开始将深度学习技术应用于3D视觉技术中。三维重建问题作为经典的计算机视觉问题，因此将其与神经网络进行结合从而获取更高精度的重建结果成为广泛研究的问题。
三维重建的最终目的是恢复目标场景的三维结构，基于图像序列的三维重建是获取三维结构的主要手段之一。三维重建技术采用二维图像序列作为输入，通过一系列复杂的处理重建出二维图像所描述场景的三维信息，该方法可以看作是照相的逆过程，其成本相对较低，只需要普通的摄像机即可，操作简单、携带方便，基于图像序列的特征点匹配与多视图立体重建是计算机视觉技术中的研究基础和重点。
但是现有的三维重建方法在高空视角下和大场景下存在以下问题：重建的点云存在尺度丢失，无法反应物体真实的大小；三维重建时间长；重建图像中弱纹理区域存在点云缺失，物体表面对细节特征的描述少；对重建地形中弱纹理区域保真度较低。
发明内容
鉴于现有技术的上述不足，本发明提供一种大场景下的三维点云快速稠密重建方法及系统，有效解决大场景下点云重建时间长和弱纹理区域点云缺失的问题。
第一方面，本发明提供一种大场景下的三维点云快速稠密重建方法，所述方法包括如下步骤：
S1、获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
S2、针对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
S3、根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
S4、根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
S5、针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
作为优选的，所述步骤S1中采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列包括：
S11、选取所述连续图像中的某一帧图像，提取相邻帧作为待评估帧,采用图像分块颜色特征计算相邻两帧之间的相似度Cs；
S12、若所述相似度Cs<0.43则将所述相邻帧保存在关键帧组内，否则采用LBP_max纹理特征全局统计分类计算相邻两帧之间的全局纹理相似度D1、D2和D3；
S13、若所述全局纹理相似度D1>4.61、D2>10、D3>14.8，则所述相邻帧保存在关键帧组内，否则采用LBP_max纹理特征局部统计分类计算相邻两帧之间的局部纹理相似度P1、P2和P3；
S14、若所述局部纹理相似度P1>72、P2>69、P3>58,则将所述相邻帧保存在关键帧组内，否则将所述相邻帧归类为冗余图像；
S15、对所述关键帧组内的图像采用一定间隔margin方法按顺序抽取图像，将关键帧图像数量控制在40帧以内，获得关键帧图像序列。
作为优选的，所述步骤S2具体包括：
S21、采用深度神经网络SuperPoint提取所述关键帧图像序列中每张图像均匀分布的特征点和描述子，然后使用特征点匹配网络SuperGlue根据所述特征点和描述子进行匹配，得到图像间的特征匹配关系；
S22、根据所述图像间的特征匹配关系，选择匹配度最高的一组图像估计相机的初始位姿和变换矩阵，并根据三角测量的原理重建出第一个稀疏点云，对所述稀疏点云进行捆绑调整优化；
S23、对剩余图像序列重复步骤S22的操作进行点云稀疏重建，得到每张图像的相机位姿、2D关键点和3D稀疏点。
作为优选的，所述步骤S3具体包括：
根据所述每张图像的相机位姿、2D关键点和3D稀疏点计算每张图像与对应跟踪图像之间的得分，选择得分最高的前N张跟踪图像作为每张图像的资源图像。
作为优选的，所述步骤S4具体包括：
S41、根据每张图像和对应的资源图像的光度一致性特征生成初始地图，并根据相机内参计算每张图像中每个像素点的初始深度、初始法线和初始匹配代价；
S42、根据所述初始匹配代价选择局部匹配代价最小的像素点进行三角剖分，计算每个三角形对应的三个坐标点所在平面的特征，并将平面特征赋予满足深度条件的像素点；
S43、根据每个像素点的光度特征和平面特征生成新的地图，并根据相机内参更新每张图像中每个像素点的初始深度、初始法线和初始匹配代价，生成用于稠密重建的深度信息、法线信息、匹配代价；
S44、根据光度特征和空间几何特征对每张图像的深度信息采用GPU加速进行重投影计算；
S45、根据所述重投影计算结果比较每张图像像素点的匹配代价，将满足匹配代价参数阈值和空间点距离阈值的像素点进行视角标记；
S46、根据相机内参和相机位置采用变换矩阵将标记的像素点转换为空间坐标点，再根据每张图像的位置将生成的空间坐标点转换到初始相机坐标系下，得到稠密重建结果。
作为优选的，所述步骤S5中针对稠密重建生成的稠密点云进行尺度恢复具体包括：
S51、对所述稠密重建生成的稠密点云进行点云随机降采样，并选择1/5的点作为采样保留点；
S52、对所述采样保留点使用平面拟合算法提取地面所在平面，计算坐标原点到所述地面所在平面之间的距离Pz；
S53、确定一个标定物体，并给定标定物体真实的长Tl、宽Tw、高Th和相机与地面之间的真实距离H；
S54、根据标定物体在点云中的长Pl、宽Pw、高Ph计算点云在X、Y、Z三个方向上的尺度参数kx、ky、kz,其中：
kx＝Tl÷Pl
ky＝Tw÷Pw
kz＝Th÷Ph
S55、采用公式依次恢复稠密点云中每个点的坐标，所述公式如下：
其中，x，y，z分别代表图像点的在相机坐标系中的横坐标，纵坐标和竖坐标。
作为优选的，所述步骤S5中坐标转换包括：
根据关键帧序列图像中第一帧图像的相机参数对相机位置进行变换，然后用稠密重建点云的坐标减去相机坐标实现坐标系的原点的变换，最后再将相机坐标系下的点云转换到用于点云显示的设备坐标系。
第二方面，本发明提供一种大场景下的三维点云快速稠密重建系统，所述系统包括：
图像获取及关键帧提取单元，用于获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
点云稀疏重建单元，用于对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
视角选择单元，用于根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
点云稠密重建单元，用于根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
尺度恢复及坐标转换单元，用于针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面所述大场景下的三维点云快速稠密重建方法的步骤。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面所述大场景下的三维点云快速稠密重建方法的步骤。
本发明提供的一种大场景下的三维点云快速稠密重建方法通过稀疏重建的结果计算图像的视角得分，选择得分较高的图像进行稠密重建，解决了大场景下点云重建时间长和弱纹理区域点云缺失的问题，提高了大场景环境下稠密重建的速度，增加了小目标物体表面的细节特征；同时提高了稠密重建的质量，得到一个高精度、高密集、高质量的环境模型，为大场景环境的准确感知提供了有效的技术支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的大场景下的三维点云快速稠密重建方法流程图；
图2是本发明实施例中一种冗余图像筛查方法流程图；
图3是本发明实施例中点云稀疏重建的结果示意图；
图4是本发明实施例中点云稠密重建的结果示意图；
图5是本发明实施例提供的大场景下的三维点云快速稠密重建系统结构图；
图6是本发明实施例中一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案作进一步清楚、完整地描述。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
现有的三维重建方法在高空视角下和大场景下存在以下问题：重建的点云存在尺度丢失，无法反应物体真实的大小；三维重建时间长；重建图像中弱纹理区域存在点云缺失，物体表面对细节特征的描述少；对重建地形中弱纹理区域保真度较低。
本发明实施例提供一种大场景下的三维点云快速稠密重建方法，有效解决大场景下点云重建时间长和弱纹理区域点云缺失的问题。
本发明实施例选取无人机搭载单目相机航拍待测场景的连续图像作为数据来源，相机的分辨率为2048x1536，将单目相机采集到的连续图像作为输入进行三维重建生成稠密点云，图1是本发明实施例提供的大场景下的三维点云快速稠密重建方法流程图，如图1所示，该方法具体包括：
步骤S1、获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
首先获取相机拍摄的待测场景的连续图像，然后采用一种冗余图像筛查方法选择清晰、完整且有效的关键帧图像序列，图2是本发明实施例中一种冗余图像筛查方法流程图，如图2所示，该方法具体包括：
选取所述连续图像中的某一帧图像，提取相邻帧作为待评估帧，根据图像分块颜色特征匹配分类，将图像RGB通道转为HSI通道，仅提取S通道图像获取1517维特征向量，再获取标准化向量S，其中：
上式中，i∈[1,2,...,1517]，u和σ分别为向量C的所有分量的均值和方差，Ci表示颜色特征向量的第i个分量，Si表示标准正态化的颜色特征向量的第i个分量；
相邻两帧之间的颜色特征向量相似度采用余弦角来衡量，其公式如下:
两帧图像之间越相似，θ值越小，Cs值越大。
若相似度Cs<0.43则将所述相邻帧保存在关键帧组内，否则LBP_max纹理特征全局统计分类计算相邻两帧之间的全局纹理相似度D1、D2和D3，具体包括：
构建三层金字塔从不同层次提取H通道的图像对其纹理进行分析，得到相邻两帧的全局纹理特征向量[Y1,Y2,Y3]和[Y1’,Y2’,Y3’]，再使用加权曼哈顿距离计算相邻两帧之间的全局纹理相似度D1、D2和D3。
若全局纹理相似度D1>4.61、D2>10、D3>14.8，则将相邻帧保存在关键帧组内，否则采用LBP_max纹理特征局部统计分类计算相邻两帧之间的局部纹理相似度P1、P2和P3，具体包括：
比较全局纹理特征向量特征向量[Y1,Y2,Y3]和[Y1’,Y2’,Y3’]相同位置的纹理特征，若纹理特征相同则统计值加一，再根据每层局部特征的统计结果计算三层金字塔的局部纹理相似度P1、P2和P3。
若所述局部纹理相似度P1>72、P2>69、P3>58,则将所述相邻帧保存在关键帧组内，否则将所述相邻帧归类为冗余图像。
本发明实施例采用的冗余图像筛查方法设计级联分类流程，样本在前一级被判断关键帧，将不再进行下一级特征提取和分类，从而能加快判别分类关键帧和冗余帧。
对获取的关键帧，采用一定间隔margin按顺序抽取图像，将图像数量控制在40帧以内。
步骤S2、针对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
首先选用深度神经网络SuperPoint从每张图像中提取均匀分布的特征点和描述子，然后使用特征点匹配网络SuperGlue对检测到的特征点进行匹配，得到图像间的特征匹配关系。
深度神经网络SuperPoint是一种自监督的深度学习特征点提取算法，它具备良好的图像理解能力和特征点描述能力，并且在GPU上的运算速度远超传统的特征提取算法，特征点匹配网络SuperGlue是适配于SuperPoint的基于注意力GNN的匹配网络，它利用注意力机制模拟了人类进行图像匹配的过程。
然后根据所述图像间的特征匹配关系，选择匹配度最高的一组图像估计相机的初始位姿和变换矩阵，并根据三角测量的原理重建出第一个稀疏点云，对所述稀疏点云进行捆绑调整优化，图3是本发明实施例中点云稀疏重建的结果示意图。
最后对剩余的每一张图像进行稀疏点云重建和捆绑调整优化，并保存每张图像的相机位姿、2D关键点和3D稀疏点。
步骤S3、根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
首先根据每张图像的相机位姿、2D关键点、3D稀疏点计算每张图像与跟踪图像之间的得分，具体计算过程为：
依次从3D稀疏点中提取一个3D点p，并获取该p点的所有跟踪图像；
然后遍历所有跟踪图像，计算当前图像k与其余跟踪图像j之间的总得分：
上式中，p为图像k与图像j的公共三维坐标点，θkj为视图k和j共同的轨迹点与基线两端之间的夹角，其计算公式如下：
θkj(p)＝(180/π)arccos((ck-p)·(cj-p))
上式中，ck为图像k的位置点,cj为图像j的位置点。
同时采用一个分段高斯函数g(θ)来计算当前图像k与其余跟踪图像j之间的得分，其表达式为：
上式中，θ0，σ1，σ2均为常数项，其中θ0＝5°，σ1＝1，σ2＝10。
最后直到所有3D稀疏点被处理完得到一个所有视角图像的得分表，并根据得分排序选择得分最高的前N张图像作为当前图像k的资源图像。
S4、根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价具体如下：
首先根据每张图像k和对应的资源图像j的光度特征生成一个初始地图，并由相机内参计算每张图像中每个像素点的初始深度D(r,c)、初始法线N(r,c)和初始匹配代价V(r,c)。
然后根据初始匹配代价选择局部匹配代价最小的像素点进行三角剖分，随后根据三角计算的结果计算每个三角形对应的三个坐标点所在平面的特征，并将该平面特征赋予该三角形平面内满足深度条件的像素点。
最后根据每个像素点的光度特征和平面特征生成一个新的地图，并根据相机内参更新每张图像中每个像素点的初始深度、初始法线和初始匹配代价，生成用于稠密重建的深度信息、法线信息、匹配代价。
采用快速融合方法进行稀疏点云的快速稠密重建具体如下：
首先根据光度特征和空间几何特征对每张图像的深度信息进行重投影计算。
然后通过比较每张图像像素点的匹配代价，对满足匹配代价阈值的当前像素点对应的空间点p1；同时计算该空间点在资源图像中的像素位置和对应的深度值，再根据该深度值计算资源图像中该像素点的空间点p2，并对两个空间点距离小于阈值的像素点进行视角标记，将每张图像中未标记的像素点确定未异常点。
再根据相机内参、相机位置采用变换矩阵：
将标记的像素点转换为空间坐标点，通过对变换矩阵的变换可得到图像点(u,v)的世界坐标点(x,y,z)为：
上式中，dc为像素(u,v)的深度值，K为相机内参，R为旋转矩阵，T为当前图像相机的位置。
最后根据每张图像的位置将生成的空间坐标点转换到初始相机坐标系下，得到稠密重建结果，图4是本发明实施例中点云稠密重建的结果示意图。
S5、针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
首先对生成的稠密点云进行点云随机降采样，并选择1/5的点作为采样保留点，减少尺度恢复阶段的用时；
接下来使用平面拟合算法对保留的点云进行平面拟合，获取地面所在平面的法线计算坐标原点到地面平面之间的距离/>
然后确定一个标定物体，并给定标定物体真实的长Tl、宽Tw、高Th和相机与地面之间的真实距离H，并根据标定物体在点云中的长Pl、宽Pw、高Ph计算点云在X、Y、Z三个方向上的尺度参数kx、ky、kz，其中：
最后采用公式依次恢复稠密点云中每个点的坐标，所述公式如下：
其中，x，y，z分别代表图像点的在相机坐标系中的横坐标，纵坐标和竖坐标。
最后使用坐标转换方法将稠密点云转换到无人机航拍环境所在的坐标系下，准确的测量地面各个物体到无人机之间的距离信息，具体包括：
首先根据序列图像中第一帧图像的相机参数对相机位置进行变换，然后用稠密重建点云的坐标减去相机坐标实现坐标系的原点的变换，最后再根据无人机运动中的控制参数将相机坐标系下的点云转换到用于点云显示的设备坐标系。
基于上述实施例中的大场景下的三维点云快速稠密重建方法，本发明实施例第二方面提供一种大场景下的三维点云快速稠密重建系统，图5是本发明实施例提供的大场景下的三维点云快速稠密重建系统结构图，如图5所示，该系统包括：
图像获取及关键帧提取单元510，用于获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
点云稀疏重建单元520，用于对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
视角选择单元530，用于根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
点云稠密重建单元540，用于根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
尺度恢复及坐标转换单元550，用于针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
基于相同的构思，本发明实施例还提供了一种电子设备，图6是本发明实施例中一种电子设备的结构示意图，如图6所示，该设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如上述各实施例所述大场景下的三维点云快速稠密重建方法的步骤，例如包括：
步骤S1、获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
步骤S2、针对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
步骤S3、根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
步骤S4、根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
步骤S5、针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
其中，处理器610可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
存储器630可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述大场景下的三维点云快速稠密重建方法的步骤，例如包括：
步骤S1、获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
步骤S2、针对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
步骤S3、根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
步骤S4、根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
步骤S5、针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明提供的一种大场景下的三维点云快速稠密重建方法从连续图像中提取关键图像序列进行稀疏重建，并获取每张图像的相机位姿、2D关键点、3D稀疏点对跟踪图像进行视角选择，使用基于光度特征和平面特征的方法估计每张图像的参数信息，然后使用快速的融合方法对点云进行稠密重建，最后再对稠密点云进行尺度恢复和坐标转换。本发明提供的方法通过稀疏重建的结果计算图像的视角得分，选择得分较高的图像进行稠密重建，解决了大场景下点云重建时间长和弱纹理区域点云缺失的问题，提高了大场景环境下稠密重建的速度，增加了小目标物体表面的细节特征；同时提高了稠密重建的质量，得到一个高精度、高密集、高质量的环境模型，为大场景环境的准确感知提供了有效的技术支持，具有重要的理论意义和工程应用价值。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种大场景下的三维点云快速稠密重建方法，其特征在于，所述方法包括如下步骤：
S1、获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
S2、针对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
S3、根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
S4、根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
S5、针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
2.根据权利要求1所述的大场景下的三维点云快速稠密重建方法，其特征在于，所述步骤S1中采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列包括：
S11、选取所述连续图像中的某一帧图像，提取相邻帧作为待评估帧,采用图像分块颜色特征计算相邻两帧之间的相似度Cs；
S12、若所述相似度Cs<0.43则将所述相邻帧保存在关键帧组内，否则采用LBP_max纹理特征全局统计分类计算相邻两帧之间的全局纹理相似度D1、D2和D3；
S13、若所述全局纹理相似度D1>4.61、D2>10、D3>14.8，则所述相邻帧保存在关键帧组内，否则采用LBP_max纹理特征局部统计分类计算相邻两帧之间的局部纹理相似度P1、P2和P3；
S14、若所述局部纹理相似度P1>72、P2>69、P3>58,则将所述相邻帧保存在关键帧组内，否则将所述相邻帧归类为冗余图像；
S15、对所述关键帧组内的图像采用一定间隔margin方法按顺序抽取图像，将关键帧图像数量控制在40帧以内，获得关键帧图像序列。
3.根据权利要求1所述的大场景下的三维点云快速稠密重建方法，其特征在于，所述步骤S2具体包括：
S21、采用深度神经网络SuperPoint提取所述关键帧图像序列中每张图像均匀分布的特征点和描述子，然后使用特征点匹配网络SuperGlue根据所述特征点和描述子进行匹配，得到图像间的特征匹配关系；
S22、根据所述图像间的特征匹配关系，选择匹配度最高的一组图像估计相机的初始位姿和变换矩阵，并根据三角测量的原理重建出第一个稀疏点云，对所述稀疏点云进行捆绑调整优化；
S23、对剩余图像序列重复步骤S22的操作进行点云稀疏重建，得到每张图像的相机位姿、2D关键点和3D稀疏点。
4.根据权利要求3所述的大场景下的三维点云快速稠密重建方法，其特征在于，所述步骤S3具体包括：
根据所述每张图像的相机位姿、2D关键点和3D稀疏点计算每张图像与对应跟踪图像之间的得分，选择得分最高的前N张跟踪图像作为每张图像的资源图像。
5.根据权利要求1所述的大场景下的三维点云快速稠密重建方法，其特征在于，所述步骤S4具体包括：
S41、根据每张图像和对应的资源图像的光度一致性特征生成初始地图，并根据相机内参计算每张图像中每个像素点的初始深度、初始法线和初始匹配代价；
S42、根据所述初始匹配代价选择局部匹配代价最小的像素点进行三角剖分，计算每个三角形对应的三个坐标点所在平面的特征，并将平面特征赋予满足深度条件的像素点；
S43、根据每个像素点的光度特征和平面特征生成新的地图，并根据相机内参更新每张图像中每个像素点的初始深度、初始法线和初始匹配代价，生成用于稠密重建的深度信息、法线信息、匹配代价；
S44、根据光度特征和空间几何特征对每张图像的深度信息采用GPU加速进行重投影计算；
S45、根据所述重投影计算结果比较每张图像像素点的匹配代价，将满足匹配代价参数阈值和空间点距离阈值的像素点进行视角标记；
S46、根据相机内参和相机位置采用变换矩阵将标记的像素点转换为空间坐标点，再根据每张图像的位置将生成的空间坐标点转换到初始相机坐标系下，得到稠密重建结果。
6.根据权利要求1所述的大场景下的三维点云快速稠密重建方法，其特征在于，所述步骤S5中针对稠密重建生成的稠密点云进行尺度恢复具体包括：
S51、对所述稠密重建生成的稠密点云进行点云随机降采样，并选择1/5的点作为采样保留点；
S52、对所述采样保留点使用平面拟合算法提取地面所在平面，计算坐标原点到所述地面所在平面之间的距离Pz；
S53、确定一个标定物体，并给定标定物体真实的长Tl、宽Tw、高Th和相机与地面之间的真实距离H；
S54、根据标定物体在点云中的长Pl、宽Pw、高Ph计算点云在X、Y、Z三个方向上的尺度参数kx、ky、kz，其中：
kx＝Tl÷Pl
ky＝Tw÷Pw
kz＝Th÷Ph
S55、采用公式依次恢复稠密点云中每个点的坐标，所述公式如下：
其中，x，y，z分别代表图像点的在相机坐标系中的横坐标，纵坐标和竖坐标。
7.根据权利要求1所述的大场景下的三维点云快速稠密重建方法，其特征在于，所述步骤S5中坐标转换包括：
根据关键帧序列图像中第一帧图像的相机参数对相机位置进行变换，然后用稠密重建点云的坐标减去相机坐标实现坐标系的原点的变换，最后再将相机坐标系下的点云转换到用于点云显示的设备坐标系。
8.一种大场景下的三维点云快速稠密重建系统，其特征在于，所述系统包括：
图像获取及关键帧提取单元，用于获取相机拍摄的待测场景的连续图像，并采用冗余图像筛查方法对所述连续图像进行关键帧提取，获得关键帧图像序列；
点云稀疏重建单元，用于对所述关键帧图像序列进行特征点提取与匹配，获得匹配特征点，采用SFM算法对匹配特征点进行点云稀疏重建；
视角选择单元，用于根据所述点云稀疏重建的结果对所述关键帧图像序列中每张图像的跟踪图像进行视角选择，得到每张图像的资源图像；
点云稠密重建单元，用于根据所述点云稀疏重建生成的稀疏点云和视角选择的结果采用基于光度特征和平面特征的方法计算每张图像中像素的深度信息、法线信息和匹配代价，采用快速融合方法进行稀疏点云的快速稠密重建；
尺度恢复及坐标转换单元，用于针对稠密重建生成的稠密点云进行尺度恢复和坐标转换，输出三维点云快速稠密重建结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述大场景下的三维点云快速稠密重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述大场景下的三维点云快速稠密重建方法的步骤。
CN202310720747.3A 2023-06-16 2023-06-16 一种大场景下的三维点云快速稠密重建方法及系统 Pending CN116883588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310720747.3A CN116883588A (zh) 2023-06-16 2023-06-16 一种大场景下的三维点云快速稠密重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310720747.3A CN116883588A (zh) 2023-06-16 2023-06-16 一种大场景下的三维点云快速稠密重建方法及系统

Publications (1)

Publication Number Publication Date
CN116883588A true CN116883588A (zh) 2023-10-13

Family

ID=88257694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310720747.3A Pending CN116883588A (zh) 2023-06-16 2023-06-16 一种大场景下的三维点云快速稠密重建方法及系统

Country Status (1)

Country Link
CN (1) CN116883588A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115362A (zh) * 2023-10-20 2023-11-24 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法
CN117274512A (zh) * 2023-11-23 2023-12-22 岭南现代农业科学与技术广东省实验室河源分中心 植物多视角图像的处理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115362A (zh) * 2023-10-20 2023-11-24 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法
CN117115362B (zh) * 2023-10-20 2024-04-26 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法
CN117274512A (zh) * 2023-11-23 2023-12-22 岭南现代农业科学与技术广东省实验室河源分中心 植物多视角图像的处理方法及系统
CN117274512B (zh) * 2023-11-23 2024-04-26 岭南现代农业科学与技术广东省实验室河源分中心 植物多视角图像的处理方法及系统

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
JP7417555B2 (ja) 人体ポーズ分析システム及び方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
US20180012411A1 (en) Augmented Reality Methods and Devices
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
JP2019514123A (ja) 地理的領域におけるコンテナ内に格納された量の遠隔決定
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN108010123B (zh) 一种保留拓扑信息的三维点云获取方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN108564120B (zh) 基于深度神经网络的特征点提取方法
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN111815665A (zh) 基于深度信息与尺度感知信息的单张图像人群计数方法
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN110930384A (zh) 基于密度信息的人群计数方法、装置、设备以及介质
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN113435367A (zh) 社交距离评估方法、装置及存储介质
CN112115786A (zh) 基于注意力U-net的单目视觉里程计方法
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination