CN110163915A - 一种多rgb-d传感器的空间三维扫描方法及装置 - Google Patents

一种多rgb-d传感器的空间三维扫描方法及装置 Download PDF

Info

Publication number
CN110163915A
CN110163915A CN201910281532.XA CN201910281532A CN110163915A CN 110163915 A CN110163915 A CN 110163915A CN 201910281532 A CN201910281532 A CN 201910281532A CN 110163915 A CN110163915 A CN 110163915A
Authority
CN
China
Prior art keywords
sensor
rgb
dimensional
characteristic matching
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910281532.XA
Other languages
English (en)
Other versions
CN110163915B (zh
Inventor
汤圣君
李游
李晓明
黄正东
王伟玺
贺彪
赵志刚
郭仁忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910281532.XA priority Critical patent/CN110163915B/zh
Publication of CN110163915A publication Critical patent/CN110163915A/zh
Application granted granted Critical
Publication of CN110163915B publication Critical patent/CN110163915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明提供的一种多RGB‑D传感器的空间三维扫描方法及装置，通过选取多个RGB‑D传感器搭建多RGB‑D传感器测图系统；所述多RGB‑D传感器测图系统获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB‑D传感器姿态更新方程，利用所述多RGB‑D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，并优化传感器轨迹；通过闭环检测与全局优化解决了多RGB‑D传感器SLAM的关键难点，提高了鲁棒性；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。

Description

一种多RGB-D传感器的空间三维扫描方法及装置
技术领域
本发明涉及计算机视觉领域，尤其涉及的是一种多RGB-D传感器的空间三维扫描方法及装置。
背景技术
目前，在视觉领域中，单一传感器的视觉SLAM扩展到多传感器协同SLAM是提升传感器追踪鲁棒性的重要技术手段，在多RGB-D传感器联合SLAM方面，提出采用双Kinect2联合的方式来实现室内三维测图，研究结果表明，双RGB-D传感器联合测图可有效提升传感器追踪精度，并可获取更精细的室内三维信息，但是目前的多RGB-D传感器系统存在问题，首先忽略了SLAM累积误差，其次该双RGB-D传感器测图系统未集成闭环检测方案，且忽略了传感器同步不准确造成的误差累积问题。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明提供了一种多RGB-D传感器的空间三维扫描方法及装置，旨在构建多RGB-D传感器联合测图系统，探究混合多视角下二三维视觉特征与三维几何特征的传感器姿态更新模型构建方法，突破多RGB-D传感器SLAM关键技术难点，力争破解传统单RGB-D传感器SLAM技术低鲁棒性困境。
本发明的技术方案如下：
一种多RGB-D传感器的空间三维扫描方法，所述方法包括以下步骤：
A、选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；
B、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
C、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
D、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
可选的，所述步骤A还包括：
A1、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图系统的参数。
可选的，所述无重叠视角多RGB-D传感器测图系统外方位半自动校正方法包括：
预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；
根据所述多RGB-D传感器测图系统中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；
所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；
根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将所述三维控制点集转换到各RGB-D传感器坐标系下实现校正。
可选的，所述特征匹配点包括二三维视觉特征匹配点以及三维几何特征匹配点。
可选的，所述步骤B包括：
B1、提取所述图像数据帧序列的关键帧；
B2、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；
B3、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；
B4、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
可选的，所述步骤C中根据所述传感器轨迹建立回环概率模型的步骤包括：
C11、采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；
C12、采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；
C13、对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
可选的，所述步骤C中所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：
C21、构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；
所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。
一种多RGB-D传感器的空间三维扫描装置，包括：由多个RGB-D传感器搭建的多RGB-D传感器测图系统和与所述RGB-D测图系统相连接的数据处理系统；
所述多RGB-D传感器测图系统，用于获取图像数据帧序列；
所述数据处理系统包括：获取传感器轨迹模块、优化传感器轨迹模块、三维点云或Octomap多尺度地图生成模块；
所述获取传感器轨迹模块，用于获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
所述优化传感器轨迹模块，用于根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
所述三维点云或Octomap多尺度地图生成模块，用于联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
可选的，所述获取传感器轨迹模块包括多RGB-D传感器姿态更新单元；
所述多RGB-D传感器姿态更新单元，用于提取所述图像数据帧序列的关键帧；通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
可选的，所述优化传感器轨迹模块包括回环概率模型构建单元；
所述回环概率模型构建单元，用于采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
本发明提供的一种多RGB-D传感器的空间三维扫描方法及装置，所述方法包括：选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图，解决了多RGB-D传感器SLAM的关键难点，提高了鲁棒性。
附图说明
图1为本发明所述多RGB-D传感器的空间三维扫描方法的步骤流程图；
图2为本发明所述无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法示意图；
图3为本发明所述多RGB-D传感器测图系统的姿态更新的示意图；
图4为本发明所述建立回环概率模型的方法步骤流程图；
图5是本发明一个实施例的步骤流程图；
图6是本发明所述多RGB-D传感器的空间三维扫描装置的结构框图。
具体实施方式
本发明提供一种多RGB-D传感器的空间三维扫描方法及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种多RGB-D传感器的空间三维扫描方法，请参阅图1，所述方法包括以下步骤：
S1、选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；
综合分析多种RGB-D传感器测距机制(结构光、TOF)、可视角度、量测范围及便携性等特性，选取适当的设备组合和配置方式搭建多RGB-D传感器测图系统，在一个多RGB-D传感器测图系统中可以有n个RGB-D传感器。
可选的，所述步骤S1还包括：
S11、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图系统的参数。
针对所述多RGB-D传感器测图系统，分别从视觉与深度传感器内外方位校正、重叠视角的多RGB-D传感器测图系统外方位半自动校正方法以及深度传感器测量误差校正三个方面完成多RGB-D传感器测图系统参数获取及误差校正。
具体的，所述无重叠视角多RGB-D传感器测图系统外方位半自动校正方法包括：
预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；
根据所述多RGB-D传感器测图系统中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；
所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；
根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将所述三维控制点集转换到各RGB-D传感器坐标系下实现校正。
在一个多RGB-D传感器测图系统中，RGB-D传感器之间的信号干扰是重要考虑因素，当不同的传感器采用相同或者相近波段进行深度测量时，相互之间容易造成信号干扰，降低传感器测图精度。因此本发明采用了多视角无重叠方式构建多RGB-D传感器测图系统，提出了无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法，参照图2，具体描述如下：
a、根据多RGB-D传感器测图系统中的传感器布局，在传感器C1,C2,C3…Cn视角及测量范围内的三维结构上附着棋盘图案，所有棋盘角点三维坐标采用全站仪提前获取，获取的棋盘角点三维点集为 记全站仪所在坐标系为WK；
b、传感器C1,C2,C3…Cn同步采集单帧图像，自动提取对应棋盘角点，并将所述棋盘角点映射到深度图像中获取对应的三维点集，记作
c、根据最小二乘原理，全站仪坐标系WK与传感器C1坐标系WC1之间的坐标变换关系T1可以通过最小化方程获取，见公式(1)
根据全站仪坐标系WK与传感器C1坐标系WC1之间的坐标变换关系T1，可以将所有全站仪获取的棋盘角点三维点集PK转换到WC1坐标系下，将转换后的棋盘角点三维点集记为公式(2)示出了全站仪获取的棋盘角点三维点集PK与WC1坐标系的变换关系T1 *；
其中A为1～n的集合。
e、根据最小二乘原理，获取传感器Ci提取的三维点集与经过坐标变换后的棋盘角点三维点集之间的相对变换，由于PK′所在坐标系与Wc1一致，如公式(3)所示经过适合的矩阵变换即可计算出传感器Ci与传感器C1间的相对变换关系Ti1，Ti1 *表示是通过最小二乘法获取的Ci与传感器C1间的相对变换关系。
为保证计算结果的准确性，一方面需保证单帧校正数据中包含足够的控制点，且具有丰富的几何特征，另一方面将采用不同传感器作为基准传感器，获取最优变换。
S2、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；请参阅图3。
与传统的单RGB-D传感器仅采用两帧数据帧用于姿态更新不同，多RGB-D传感器测图系统的姿态更新涉及到多视角观测值融合问题。
多视角观测值融合的传感器追踪包含关键帧检测方法和多维多视角观测值混合优化的姿态更新算法两部分内容。两者相辅相成，前者可为传感器追踪提供可靠、高质量的数据帧，关键帧检测将采用图像模糊度、数据帧基线以及特征点匹配率进行约束；多维多视角观测值混合优化的姿态更新算法将采用局部最小二乘平差的方式最小化相邻关键帧间多维视觉匹配点与几何匹配点混合重投影误差，实现传感器姿态更新。
具体的，请参阅图3(a)，多RGB-D传感器可从多个视角获取图像观测值，在不同位置下，潜在的图像观测值不仅仅存在于同一传感器相邻数据帧中，同时可能存在于不同传感器相邻数据帧中。
具体的，所述特征匹配点包括二三维视觉特征匹配点以及三维几何特征匹配点。
请参阅图3(b)，为了实现多RGB-D传感器测图系统的姿态更新，本发明拟采用多维多视角观测值混合优化的姿态更新算法；其核心思想是在传感器数据帧高精度同步的基础上，获取相邻数据帧集合内所有的视觉图像二三维特征匹配点以及三维集合特征匹配点，将所有的特征点统一到Wc1坐标系统，构建多RGB-D传感器姿态更新方程。
具体的，所述步骤S2包括：
S21、提取所述图像数据帧序列的关键帧；
S22、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；进而根据观测值深度信息的有效性划分为2D观测值、2D-3D观测值与3D观测值；
S23、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；
S24、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
具体的，多维多视角观测值混合优化的姿态更新代价函数可由公式(4)表示：
其中，KL为相邻关键帧集合，为所有视觉图像关键帧中获取的二维视觉特征匹配点集，为视觉图像关键帧中获取的三维视觉特征匹配点集，后者可从深度图像中获取到有效的深度值；L代表传感器序号，可从1～n的数值。D为深度关键帧获取的三维几何特征匹配点集。Obj为Tukey biweight目标函数，用以增强算法的鲁棒性。
分别为二维视觉特征匹配点和三维视觉特征匹配点的重投影误差，可由公式(5)和公式(6)得到：
为特征点量测噪声，σL2，L3为重投影误差标准差，为几何特征匹配点深度误差，和σD分别对应于几何匹配点深度量测噪声以及误差标准差，i,j也代表传感器序号，可从1～n的数值。最后通过最小化迭代优化关键帧姿态和三维视觉特征匹配点集中的三维坐标以及几何特征匹配点深度值，由公式(7)可得到传感器C1的姿态更新eu1：
由于其它传感器与C1存在固定不变的相对变换关系，因此可获取同样的姿态更新eu1，更新后的传感器姿态可表示为公式(8)：
Eci′＝Ti1·eu1·Ec1 (8)
S3、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
基于投票策略的回环检测方案本质是将当前位置下获取的RGB-D传感器的数据帧集合，与其他关键数据帧进行比较，判断是否回到经过的位置。值得注意的是，本发明涉及的回环检测与单个RGB-D传感器回环检测方法相比存在以下特点：
多RGB-D传感器带来更大数据量，采用纯迭代搜索方式需要耗费大量的时间和空间，因此采用多级检索的方式降低回环搜索复杂度。
多RGB-D传感器测量同一时间产生多帧数据，多个数据帧同一时刻回环检测结果不一致，融合多次检测建立回环概率模型，确定是否闭环。
具体的，本发明采用基于投票策略的回环检测策略，采用基于词袋模型和运动度量联合搜索方法，请参阅图4，该方法分为一级检索，二级检索和回环概率确定三个部分。
具体的，所述步骤S3中根据所述传感器轨迹建立回环概率模型的步骤包括：
S311、采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；
一级检索是采用运动度量的方式，其核心在于比较帧与帧之间的位置和朝向是否在一定阈值内。位置上，先对传感器不同时间的位置建立KDTree索引，对当前关键帧位置进行最邻近查询，获取所在邻近范围内的关键数据帧；其次采用角度度量也就是数据帧的朝向进一步筛选出候选关键帧。
S312、采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；
二级检索是采用特征词袋模型，在一级检索的基础上很大程度的降低了回环的搜索范围，因此采用特征词袋模型进行二级检索，将候选关键帧与当前关键帧采用词袋模型进行闭环检测，获取闭环概率。
S313、对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
考虑到同一时刻多个传感器数据帧在一级和二级检索中都可能检测到闭环，且检测回环得到的概率不一定相同，因此需要对多次检测结果进行归一化，构建多次检测结果的回环概率模型。
具体的，所述步骤S3中所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：
S321、构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；
所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。
全局实时平差网构建用于降低传感器追踪误差累积，包括回环运动矩阵优化、全局平差网构建、运动模型自由度定权、实时平差四个部分。
S4、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
首先基于possion算法构建室内三角网模型，联合图像数据帧序列与传感器轨迹实现三角网纹理映射；其次基于Octomap算法优化三维点云结构，构建Octomap多尺度地图，供机器人或无人机等三维空间导航。最终进行多RGB-D传感器测图系统软硬件适配集成。
为了更清楚的理解本发明提供的一种多RGB-D传感器的空间三维扫描方法，参阅图5。
K1、搭建多RGB-D传感器测图系统，并对其参数进行校正；
校正具体有视觉与深度传感器内外方位校正、无重叠视角的多RGB-D外方位半自动校正和深度传感器测量误差校正；
K2、构建多RGB-D传感器姿态更新方程，实现传感器追踪；
首先提取关键帧，采用混合要素约束的关键帧检测方法，通过图像模糊检测，基线约束，特种点约束对关键帧进行约束；
其次采用多维多视角观测值联合姿态更新算法，通过数据帧实时高精度同步，二三维特征点分类匹配点提取，多视角观测值索引构建，局部重投影误差最小二乘优化构建多RGB-D传感器姿态更新方程，实现传感器追踪，得到传感器轨迹。
K3、建立回环概率模型，优化传感器轨迹；
通过基于词袋模型回环索引构建和运动度量下的回环索引构建，建立基于投票策略的回环概率模型，基于建立的回环概率模型对传感器轨迹进行全局实时平差与轨迹优化，包括，回环运动矩阵优化、全局平差网构建、回环约束自由度定权和实时平差，得到优化后的传感器轨迹。
K4、室内三角网重构与Octomap生成；
根据优化后的传感器轨迹联合图像数据帧序列，重构室内三角网模型，三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图，可供机器人或无人机等三维空间导航。最终进行多RGB-D传感器测图系统软硬件适配集成。
基于上述方法实施例，本发明还提供一种多RGB-D传感器的空间三维扫描装置，
一种多RGB-D传感器的空间三维扫描装置，请参阅图6，包括：由多个RGB-D传感器搭建的多RGB-D传感器测图系统10和与所述RGB-D测图系统相连接的数据处理系统20；
所述多RGB-D传感器测图系统10，用于获取图像数据帧序列；
所述数据处理系统20包括：获取传感器轨迹模块201、优化传感器轨迹模块202、三维点云或Octomap多尺度地图生成模块203；
所述获取传感器轨迹模块201，用于获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
所述优化传感器轨迹模块202，用于根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
所述三维点云或Octomap多尺度地图生成模块203，用于联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
可选的，所述获取传感器轨迹模块201包括多RGB-D传感器姿态更新单元；
所述多RGB-D传感器姿态更新单元，用于提取所述图像数据帧序列的关键帧；通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
可选的，所述优化传感器轨迹模块202包括回环概率模型构建单元；
所述回环概率模型构建单元，用于采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
综上所述，本发明提供的一种多RGB-D传感器的空间三维扫描方法及装置，所述方法包括：选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图，解决了多RGB-D传感器SLAM的关键难点，提高了鲁棒性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种多RGB-D传感器的空间三维扫描方法，其特征在于，所述方法包括以下步骤：
A、选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；
B、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
C、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
D、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
2.根据权利要求1所述的方法，其特征在于，所述步骤A还包括：
A1、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图系统的参数。
3.根据权利要求2所述的方法，其特征在于，所述无重叠视角多RGB-D传感器测图系统外方位半自动校正方法包括：
预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；
根据所述多RGB-D传感器测图系统中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；
所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；
根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将所述三维控制点集转换到各RGB-D传感器坐标系下实现校正。
4.根据权利要求1所述的方法，其特征在于，所述特征匹配点包括二三维视觉特征匹配点以及三维几何特征匹配点。
5.根据权利要求1所述的方法，其特征在于，所述步骤B包括：
B1、提取所述图像数据帧序列的关键帧；
B2、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；
B3、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；
B4、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
6.根据权利要求1所述的方法，其特征在于，所述步骤C中根据所述传感器轨迹建立回环概率模型的步骤包括：
C11、采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；
C12、采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；
C13、对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
7.根据权利要求1所述的方法，其特征在于，所述步骤C中所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：
C21、构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；
所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。
8.一种多RGB-D传感器的空间三维扫描装置，其特征在于，包括：由多个RGB-D传感器搭建的多RGB-D传感器测图系统和与所述RGB-D测图系统相连接的数据处理系统；
所述多RGB-D传感器测图系统，用于获取图像数据帧序列；
所述数据处理系统包括：获取传感器轨迹模块、优化传感器轨迹模块、三维点云或Octomap多尺度地图生成模块；
所述获取传感器轨迹模块，用于获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
所述优化传感器轨迹模块，用于根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
所述三维点云或Octomap多尺度地图生成模块，用于联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
9.根据权利要求8所述的装置，其特征在于，所述获取传感器轨迹模块包括多RGB-D传感器姿态更新单元；
所述多RGB-D传感器姿态更新单元，用于提取所述图像数据帧序列的关键帧；通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
10.根据权利要求8所述的装置，其特征在于，所述优化传感器轨迹模块包括回环概率模型构建单元；
所述回环概率模型构建单元，用于采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
CN201910281532.XA 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置 Active CN110163915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910281532.XA CN110163915B (zh) 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910281532.XA CN110163915B (zh) 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置

Publications (2)

Publication Number Publication Date
CN110163915A true CN110163915A (zh) 2019-08-23
CN110163915B CN110163915B (zh) 2021-07-13

Family

ID=67639163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910281532.XA Active CN110163915B (zh) 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置

Country Status (1)

Country Link
CN (1) CN110163915B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN113447014A (zh) * 2021-08-30 2021-09-28 深圳市大道智创科技有限公司 室内移动机器人、建图方法、定位方法以及建图定位装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170084075A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing Reflectance parameter estimation in real scenes using an rgb-d sequence
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法
CN108958232A (zh) * 2017-12-07 2018-12-07 炬大科技有限公司 一种基于深度视觉的移动扫地机器人slam装置及算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360245B (zh) * 2018-10-26 2021-07-06 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170084075A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing Reflectance parameter estimation in real scenes using an rgb-d sequence
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN108958232A (zh) * 2017-12-07 2018-12-07 炬大科技有限公司 一种基于深度视觉的移动扫地机器人slam装置及算法
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LI Y 等: "Multiple RGB-D sensor-based 3-D reconstruction and localization of indoor environment for mini MAV", 《COMPUTERS & ELECTRICAL ENGINEERING》 *
SHAOWU YANG 等: "Visual SLAM using Multiple RGB-D Cameras", 《IEEE CONFERENCE ON ROBOTICS AND BIOMIMETICS》 *
张米令: "室内移动机器人RGB-D SLAM算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
汤圣君: "多视图像增强的RGB-D室内高精度三维测图方法", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN113447014A (zh) * 2021-08-30 2021-09-28 深圳市大道智创科技有限公司 室内移动机器人、建图方法、定位方法以及建图定位装置

Also Published As

Publication number Publication date
CN110163915B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN112014857B (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
Chen et al. 3D global mapping of large-scale unstructured orchard integrating eye-in-hand stereo vision and SLAM
CN109974712A (zh) 一种基于图优化的变电站巡检机器人建图方法
CN103512579B (zh) 一种基于热红外摄像机和激光测距仪的地图构建方法
CN104567708B (zh) 基于主动式全景视觉的隧道全断面高速动态健康检测装置与方法
CN101916437B (zh) 一种基于多视觉信息的目标定位方法和系统
CN103733227B (zh) 三维对象建模拟合与跟踪
CN110009739A (zh) 移动摄像机的数字视网膜的运动特征的提取与编码方法
CN109029277A (zh) 一种隧道形变监测系统及方法
CN104657981B (zh) 一种移动机器人运动中三维激光测距数据动态补偿方法
CN105913410A (zh) 一种基于机器视觉的远距离运动物体高度测量的装置与方法
CN102986372A (zh) 基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法
CN103119611A (zh) 基于图像的定位的方法和设备
CN105395196B (zh) Eeg或meg电极在脑mr图像中的定位装置和方法
Roncella et al. Photogrammetry for geological applications: automatic retrieval of discontinuity orientation in rock slopes
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN111060924A (zh) 一种slam与目标跟踪方法
CN110363707A (zh) 一种基于约束物虚拟特征的多视三维点云拼接方法
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN110120093A (zh) 一种多元特征混合优化的rgb-d室内三维测图方法及系统
US20230236280A1 (en) Method and system for positioning indoor autonomous mobile robot
CN107369181A (zh) 基于双处理器结构的点云数据采集及处理方法
CN114638909A (zh) 基于激光slam和视觉融合的变电站语义地图构建方法
CN110766785A (zh) 一种地下管道实时定位与三维重建装置及方法
CN106447698B (zh) 一种基于距离传感器的多行人跟踪方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant