CN106887037B - 一种基于gpu和深度相机的室内三维重建方法 - Google Patents

一种基于gpu和深度相机的室内三维重建方法 Download PDF

Info

Publication number
CN106887037B
CN106887037B CN201710050462.8A CN201710050462A CN106887037B CN 106887037 B CN106887037 B CN 106887037B CN 201710050462 A CN201710050462 A CN 201710050462A CN 106887037 B CN106887037 B CN 106887037B
Authority
CN
China
Prior art keywords
mobile platform
intelligent mobile
camera
gpu
enabling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710050462.8A
Other languages
English (en)
Other versions
CN106887037A (zh
Inventor
时岭
高勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Blue Core Technology Co Ltd
Original Assignee
Hangzhou Blue Core Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Blue Core Technology Co Ltd filed Critical Hangzhou Blue Core Technology Co Ltd
Priority to CN201710050462.8A priority Critical patent/CN106887037B/zh
Publication of CN106887037A publication Critical patent/CN106887037A/zh
Application granted granted Critical
Publication of CN106887037B publication Critical patent/CN106887037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于GPU和深度相机的室内三维重建方法，该方法包括如下步骤：(1)摄像机和智能移动平台双轮的标定；(2)数据采集；(3)关键帧选取；(4)基于GPU的地图生成；(6)地图优化；本发明利用深度相机和平台的双轮里程计信息获取数据，并对相机进行定位，并采用GPU加速的方法，在较快的速度下，完成室内场景的三位重建的过程。并且，地图准确，成本简单，噪声较少。同时具有通用的接口，容易进行扩展和可视化。

Description

一种基于GPU和深度相机的室内三维重建方法
技术领域
本发明涉及计算机视觉、三维重建、GPU及人工智能技术领域，尤其涉及一种基于GPU和深度相机的室内三维重建方法。
背景技术
三维场景重建技术包括激光扫描仪重建、计算机视觉方法重建等技术。其中，激光扫描技术可以比较准确地扫描出三维物体的结构，但其更加适用于单个物体的重建，并且激光扫描仪价格相对昂贵。在计算机视觉技术领域，重建的方法主要是SfM(Structurefrom Motion)，其难点在于对多视角图像进行特征点匹配、对特征点进行三角化的过程。然而SfM对于较大的场景容易出现偏移的现象，且计算复杂，计算量较大。随着深度相机，如微软的Kinect和ASUSXtion的推出，深度信息得到了各个领域的广泛应用，并在实践中有着良好的效果。而GPU(Graphics Processing Unit，图形处理器)在并行计算和深度学习、人工智能等领域有广泛的应用。利用深度相机获取场景信息，结合室内智能移动平台的里程计技术进行3D的场景拼接，可以快速得到室内3D模型。
发明内容
本发明的目的是提供一种基于GPU和深度相机的室内三维重建方法。
本发明解决技术问题所采用的技术方案如下：一种基于GPU和深度相机的室内三维重建方法，包括如下步骤：
步骤1：摄像机和智能移动平台双轮的标定
将深度相机安装在智能移动平台上，智能移动平台的底部安装有两个由电机驱动的驱动轮和一个万向轮，电机上安装有编码器；
深度相机的标定方法采用的是OpenCV提供的ChessBoard方法，相机模型采用标准的针孔模型；
智能移动平台双轮的标定是对平台的驱动轮半径和两个驱动轮之间的距离进行误差消除，具体标定如下：通过控制智能移动平台沿直线运动一段距离，将该段距离除以2π和驱动轮转过的圈数的乘积，即可到得驱动轮的半径；之后控制智能移动平台沿圆周运动，根据驱动轮的半径和平台双轮转过的距离差，结合转过的圈数，可以获得两个驱动轮之间的距离；
步骤2：数据采集
利用深度相机采集彩色图片Ci和深度数据Di，利用编码器获取当前驱动轮的信息ODi，其中，i＝1,2…n；
步骤3：对室内智能移动平台的运动轨迹进行定位
根据步骤2采集的数据，利用驱动轮的双轮信息ODi来获得里程计信息，即智能移动平台的位置信息；
步骤4：关键帧选取
首先选定智能移动平台的初始位置为第一帧，设定3个参数：Pmax_f,Pmin_d,Ploop_c，分别表示关键帧选取过程中需要的相邻两关键帧的最大帧数、相邻两关键帧的最小距离和最小的闭环数量，其中闭环表示智能移动平台重复走到之前到过的位置；关键帧的选择参照SLAM方法选取关键帧的方式；关键帧中相机采集的图像的集合须覆盖要重建的场景区域。
步骤5：基于GPU的地图生成
根据选取的关键帧和其轨迹构成的闭环，结合GPU并行算法进行场景拼接，生成三维稠密点云地图；
步骤6：地图优化
对步骤5中生成的三维稠密点云地图采用采用BA(Bundle Adjustment)方法和结合关键帧构成的闭环，对三维稠密点云进行矫正优化。
进一步的，所述智能移动平台的位置信息可由航迹推演的方式获取，具体如下：令z轴为垂直于智能移动平台运动平面的坐标轴，姿态信息为绕z轴旋转的变量，二维平面运动只有三个自由度，智能移动平台通过设定的采样频率获取运动轨迹(x,y,θ)，(x,y)为二维平面上的位置，选择初始时智能移动平台前进方向为x方向，θ表示两个相邻时刻的朝向角的变化量。
本发明的有益效果如下：本发明利用深度相机和里程计信息获取数据，并对相机进行精确定位，并采用GPU加速的方法，在较快的速度下，完成室内场景的三位重建的过程。并且，地图准确，成本简单，噪声较少。同时具有通用的接口，容易进行扩展和可视化。
附图说明
图1是智能移动平台轨迹关键帧示意图，图中P0-P10表示智能移动平台的位置和姿态；
图2是本发明方法流程图；
图3是本发明智能移动平台在两个相邻时刻的位置和姿态示意图；
图4是本发明室内场景三维重建结果示意图；
图5是本发明室内场景三维重建结优化结果和八叉树表示示意图。
具体实施方式
下面结合实施例和附图对本发明做进一步的说明。
如图1所示，本发明的技术方案是一种基于GPU和深度相机的室内三维重建方法，包括如下步骤：
步骤1：摄像机和智能移动平台双轮的标定
将深度相机安装在智能移动平台上，智能移动平台的底部安装有两个由电机驱动的驱动轮和一个万向轮，电机上安装有编码器；本发明采用的是深度相机，可选择微软Kinect或ASUS Xtion。数据采集之前，需要对相机和智能移动平台双轮进行标定。深度相机的标定方法采用的是OpenCV提供的ChessBoard方法,相机模型为标准的针孔模型,摄像机的模型假设没有畸变，可用如下矩阵表示：
式中，u、v为相机平面坐标轴，(cu,cv)是相机像平面中心坐标，(fu,fv)是相机的焦距；色彩相机的中心和深度传感器的中心距离为10cm。
智能移动平台双轮的标定是对其驱动轮半径和两个驱动轮之间的测量距离进行误差消除，具体方法如下：1、驱动轮半径标定，通过控制智能移动平台沿直线运动一段距离，将该段距离除以2π和驱动轮转过的圈数的乘积，即可到得驱动轮半径的半径。2、双轮距离标定，控制平台沿圆周运动，根据驱动轮的半径和平台双轮转过的距离差，结合双轮转过的圈数，获得两个驱动轮之间的距离。
步骤2：彩色图片和深度信息获取
在此步骤中，采集的数据包括两部分内容，一是利用深度相机采集彩色图片Ci和深度数据Di，二是利用智能移动平台轮子信息获取当前里程计信息ODi。其中，i＝1,2…n，为相机采集的每一帧的信息。图片Ci为彩色图片，分为RGB三个通道；里程计信息ODi包含当前相机的位置和姿态信息，由读取的双轮编码器信息计算获得。智能移动平台的移动方式由人工控制，保证采集的数据覆盖需要重建的场景。同时，为保证重建的准确性，使智能移动平台的运动轨迹形成多个闭环，其轨迹如图2所示。
步骤3：室内智能移动平台的运动轨迹进行定位
本发明利用智能移动平台双轮编码器信息来获得运动轨迹，从而得到里程计信息。移动平台的位置信息可由航迹推演的方式获取。在室内平面场景中，位置信息可假设Z轴的坐标为0，姿态信息也只有沿着Z轴旋转的变量，可简化为只有三个自由度。于是智能移动平台在近似的二维平面空间运动，具体的参数可用(x,y,θ)来表示，(x,y)为二维平面上的位置，选择初始时智能移动平台前进方向为x方向，θ表示两个相邻时刻的朝向角的变化量。
如图3所示，vl和vr分别表示当前左右轮的转速，用ω表示当前智能移动平台的角速度。图3为智能移动平台在两个相邻时刻的位置和姿态示意图，θ表示两个相邻时刻的朝向角的变化量，变量Δl表示左轮比右轮多移动的距离，d表示左右两轮直接的间距，r表示智能移动平台圆弧运动的半径。
智能移动平台的速度和角速度可由如下公式推导：
在室内智能移动平台角度和位移都很小的情况下，角速度可由如下公式得出：
同时可以推出智能移动平台的转弯半径：
智能移动平台和摄像机的行驶轨迹可以通过对当前的角速度和线速度进行积分得到，实际操作中，对采集的数据进行采样累加。在二维平面内的运动，可以在智能移动平台上加入惯性模块(IMU)进行矫正。
步骤4：关键帧选取
深度相机的图像采集速度都在30fps左右。对于一个简单的室内环境中，一个循环的信息往往有数百甚至数千张彩色图片。关键帧的选择参照SLAM方法选取关键帧的方式。首先选择智能移动平台的初始位置为第一帧。其次设定如下3个参数：Pmax_f,Pmin_d,Ploop_c，分别表示关键帧选取过程中需要的相邻两关键帧的最大帧数、相邻两关键帧的最小距离和最小的闭环数量，其中闭环表示智能移动平台重复走到之前到过的位置和姿态，如图2所示。关键帧的选取保证智能移动平台获取到稀疏的位置和姿态。这些位置中采集的图像的集合须覆盖要重建的场景区域。
步骤5：基于GPU的地图生成
根据选取的关键帧和其轨迹构成的闭环，结合GPU并行算法进行场景拼接，生成三维稠密点云地图；根据选取的关键帧，如图2所示，关键帧的轨迹构成几个闭环。相邻两帧图像的拼接根据PCL的方法结合智能移动平台的姿态进行拼接，生产三维稠密点云地图。
步骤6：地图优化
由步骤5生成的三维稠密点云地图为空间3D点云地图，由于噪声等原因，地图存在一定误差。本发明在PCL拼接的过程中采用其自带的优化模块，同时采用BA(BundleAdjustment)方法，结合关键帧构成的闭环，对3D点云进行矫正，减少噪声，如图4、图5所示。

Claims (2)

1.一种基于GPU和深度相机的室内三维重建方法，其特征在于，包括如下步骤：
步骤1：摄像机和智能移动平台双轮的标定
将深度相机安装在智能移动平台上，智能移动平台的底部安装有两个由电机驱动的驱动轮和一个万向轮，电机上安装有编码器；
深度相机的标定方法采用的是OpenCV提供的ChessBoard方法，相机模型采用标准的针孔模型；
智能移动平台双轮的标定是对平台的驱动轮半径和两个驱动轮之间的距离进行误差消除，具体标定如下：通过控制智能移动平台沿直线运动一段距离，将该段距离除以2π和驱动轮转过的圈数的乘积，即可到得驱动轮的半径；之后控制智能移动平台沿圆周运动，根据驱动轮的半径和平台双轮转过的距离差，结合转过的圈数，可以获得两个驱动轮之间的距离；
步骤2：数据采集
利用深度相机采集彩色图片Ci和深度数据Di，利用编码器获取当前驱动轮的信息ODi，其中，i＝1，2…n；
步骤3：对室内智能移动平台的运动轨迹进行定位
根据步骤2采集的数据，利用驱动轮的双轮信息ODi来获得里程计信息，即智能移动平台的位置信息；
步骤4：关键帧选取
首先选定智能移动平台的初始位置为第一帧，设定3个参数：PmaX_f，Pmin_d，Ploop_c，分别表示关键帧选取过程中需要的相邻两关键帧的最大帧数、相邻两关键帧的最小距离和最小的闭环数量，其中闭环表示智能移动平台重复走到之前到过的位置；关键帧的选择参照SLAM方法选取关键帧的方式；关键帧中相机采集的图像的集合须覆盖要重建的场景区域；
步骤5：基于GPU的地图生成
根据选取的关键帧和其轨迹构成的闭环，结合GPU并行算法进行场景拼接，生成三维稠密点云地图；
步骤6：地图优化
对步骤5中生成的三维稠密点云地图采用BA方法和结合关键帧构成的闭环，对三维稠密点云进行矫正优化。
2.根据权利要求1所述的基于GPU和深度相机的室内三维重建方法，其特征在于，所述智能移动平台的位置信息可由航迹推演的方式获取，具体如下：令z轴为垂直于智能移动平台运动平面的坐标轴，姿态信息为绕z轴旋转的变量，二维平面运动只有三个自由度，智能移动平台通过设定的采样频率获取运动轨迹(x，y，θ)，(x，y)为二维平面上的位置，选择初始时智能移动平台前进方向为x方向，θ表示两个相邻时刻的朝向角的变化量。
CN201710050462.8A 2017-01-23 2017-01-23 一种基于gpu和深度相机的室内三维重建方法 Active CN106887037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710050462.8A CN106887037B (zh) 2017-01-23 2017-01-23 一种基于gpu和深度相机的室内三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710050462.8A CN106887037B (zh) 2017-01-23 2017-01-23 一种基于gpu和深度相机的室内三维重建方法

Publications (2)

Publication Number Publication Date
CN106887037A CN106887037A (zh) 2017-06-23
CN106887037B true CN106887037B (zh) 2019-12-17

Family

ID=59175928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710050462.8A Active CN106887037B (zh) 2017-01-23 2017-01-23 一种基于gpu和深度相机的室内三维重建方法

Country Status (1)

Country Link
CN (1) CN106887037B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389677B (zh) * 2017-08-02 2022-10-18 珊口（上海）智能科技有限公司 房屋三维实景地图的实时构建方法、系统、装置及存储介质
CN107741234B (zh) * 2017-10-11 2021-10-19 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
CN108537876B (zh) * 2018-03-05 2020-10-16 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备及存储介质
CN108898630B (zh) * 2018-06-27 2020-12-15 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109035303B (zh) * 2018-08-03 2021-06-08 百度在线网络技术（北京）有限公司 Slam系统相机跟踪方法及装置、计算机可读存储介质
CN110120093A (zh) * 2019-03-25 2019-08-13 深圳大学 一种多元特征混合优化的rgb-d室内三维测图方法及系统
CN110189399B (zh) * 2019-04-26 2021-04-27 浙江大学 一种室内三维布局重建的方法及系统
CN110428461B (zh) * 2019-07-30 2022-07-05 清华大学 结合深度学习的单目slam方法及装置
CN113110409B (zh) * 2019-12-25 2024-06-25 北京极智嘉科技股份有限公司 一种自驱动机器人和参数标定的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021017B (zh) * 2012-12-04 2015-05-20 上海交通大学 基于gpu加速的三维场景重建方法
CN105938619A (zh) * 2016-04-11 2016-09-14 中国矿业大学 一种融合RGB和Depth信息的视觉里程计实现方法
CN105976402A (zh) * 2016-05-26 2016-09-28 同济大学 一种单目视觉里程计的真实尺度获取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454806B2 (en) * 2014-01-21 2016-09-27 Nvidia Corporation Efficient approximate-nearest-neighbor (ANN) search for high-quality collaborative filtering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021017B (zh) * 2012-12-04 2015-05-20 上海交通大学 基于gpu加速的三维场景重建方法
CN105938619A (zh) * 2016-04-11 2016-09-14 中国矿业大学 一种融合RGB和Depth信息的视觉里程计实现方法
CN105976402A (zh) * 2016-05-26 2016-09-28 同济大学 一种单目视觉里程计的真实尺度获取方法

Also Published As

Publication number Publication date
CN106887037A (zh) 2017-06-23

Similar Documents

Publication Publication Date Title
CN106887037B (zh) 一种基于gpu和深度相机的室内三维重建方法
CN107945220B (zh) 一种基于双目视觉的重建方法
CN110163968B (zh) Rgbd相机大型三维场景构建方法及系统
US10733761B2 (en) Sensor calibration
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
CN111914715B (zh) 一种基于仿生视觉的智能车目标实时检测与定位方法
CN104318561B (zh) 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN112567201A (zh) 距离测量方法以及设备
CN109191504A (zh) 一种无人机目标跟踪方法
CN109579843A (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN110163963B (zh) 一种基于slam的建图装置和建图方法
Clipp et al. Robust 6dof motion estimation for non-overlapping, multi-camera systems
CN106447705B (zh) 应用于室内场景虚拟现实直播的多目立体视觉系统及方法
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
KR20130030208A (ko) 에고모션 추정 시스템 및 방법
CN105606092B (zh) 一种室内机器人定位方法及系统
CN107767424A (zh) 多相机系统的标定方法、多相机系统及终端设备
CN108364304A (zh) 一种用于单目机载目标检测的系统和方法
CN109900274B (zh) 一种图像匹配方法及系统
CN108496201A (zh) 图像处理方法和设备
CN113240813A (zh) 三维点云信息确定方法及装置
CN104469170A (zh) 双目摄像装置、图像处理方法及装置
Vidal et al. Hybrid, frame and event based visual inertial odometry for robust, autonomous navigation of quadrotors
Herau et al. MOISST: Multimodal Optimization of Implicit Scene for SpatioTemporal Calibration
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170623

Assignee: Hangzhou Jintou Finance Leasing Co.,Ltd.

Assignor: HANGZHOU LANXIN TECHNOLOGY CO.,LTD.

Contract record no.: X2023980031743

Denomination of invention: An indoor 3D reconstruction method based on GPU and depth camera

Granted publication date: 20191217

License type: Exclusive License

Record date: 20230202

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An indoor 3D reconstruction method based on GPU and depth camera

Effective date of registration: 20230207

Granted publication date: 20191217

Pledgee: Hangzhou Jintou Finance Leasing Co.,Ltd.

Pledgor: HANGZHOU LANXIN TECHNOLOGY CO.,LTD.

Registration number: Y2023110000056

PE01 Entry into force of the registration of the contract for pledge of patent right
EC01 Cancellation of recordation of patent licensing contract

Assignee: Hangzhou Jintou Finance Leasing Co.,Ltd.

Assignor: HANGZHOU LANXIN TECHNOLOGY CO.,LTD.

Contract record no.: X2023980031743

Date of cancellation: 20240402

EC01 Cancellation of recordation of patent licensing contract
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20191217

Pledgee: Hangzhou Jintou Finance Leasing Co.,Ltd.

Pledgor: HANGZHOU LANXIN TECHNOLOGY CO.,LTD.

Registration number: Y2023110000056

PC01 Cancellation of the registration of the contract for pledge of patent right