CN112258633A - 一种基于slam技术的场景高精度重建方法及装置 - Google Patents
一种基于slam技术的场景高精度重建方法及装置 Download PDFInfo
- Publication number
- CN112258633A CN112258633A CN202011143676.8A CN202011143676A CN112258633A CN 112258633 A CN112258633 A CN 112258633A CN 202011143676 A CN202011143676 A CN 202011143676A CN 112258633 A CN112258633 A CN 112258633A
- Authority
- CN
- China
- Prior art keywords
- rgb
- depth
- camera sensor
- depth camera
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- FPIGOBKNDYAZTP-UHFFFAOYSA-N 1,2-epoxy-3-(4-nitrophenoxy)propane Chemical compound C1=CC([N+](=O)[O-])=CC=C1OCC1OC1 FPIGOBKNDYAZTP-UHFFFAOYSA-N 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于SLAM技术的场景高精度重建方法与装置。通过深度相机传感器实时获取不同视角下场景的RGB图片，并确定与所述RGB图片对应的深度图片；通过客户终端接收所述RGB图片和深度图片，并对所述RGB图片和深度图片进行处理，生成可视化数据；基于UDP通信，将所述可视化数据发送至服务器终端，并通过SLAM算法和三维显示引擎进行场景三维重建。
Description
技术领域
本发明SLAM、三维建模技术领域，特别涉及一种基于SLAM技术的场景高精度重建方法及装置。
背景技术
目前，SLAM(simultaneous localization and mapping),也称为CML(ConcurrentMapping and Localization),即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图(a consistent map)是指不受障碍行进到房间可进入的每个角落。近几年，随着AR/VR技术的快速发展及场景落地，SLAM技术逐渐成为了新的研究热点，尤其在自动驾驶、智慧城市等领域均具有广阔的市场前景，但传统的SLAM技术具有效率低、精度低、鲁棒性低等缺点，距离应用在消费电子领域仍然存在一定距离，故针对具体场景需要开发适应性的定制化SLAM技术平台逐渐成为各领域新的研究目标。
发明内容
本发明提供一种基于SLAM技术的场景高精度重建方法及装置，鉴于上述现有技术的不足之处，本发明可实现对纹理特征较少的复杂场景进行高精度的三维重建，且本发明利用无线的方式，对于满足了一些刑侦现场复原、危险区域重建等场景下的需求。
一种基于SLAM技术的场景高精度重建方法，其特征在于，包括：
通过深度相机传感器实时获取不同视角下场景的RGB图片，并确定与所述RGB图片对应的深度图片；
通过客户终端接收所述RGB图片和深度图片，并对所述RGB图片和深度图片进行处理，生成可视化数据；
基于UDP通信，将所述可视化数据发送至服务器终端，并通过SLAM算法和三维显示引擎进行场景三维重建。
作为本发明的一种实施例，所述方法还包括：
对所述深度相机传感器的核心参数进行标定；其中，
所述核心参数包括内参和外参；
所述深度相机传感器包括结构光发射器、RGB摄像头和深度相机组成，所述结构光发射器与所述RGB摄像头和深度相机电连接，所述RGB摄像头安装于所述深度相机的镜头处。
作为本发明的一种实施例，所述对所述深度相机传感器的核心参数进行标定，包括如下步骤：
步骤1：获取Kinect的深度图像；
步骤2：获取RGB摄像头的图像；
步骤3：根据所述RGB摄像头的图像，将所述深度图像中的每一个像素附加对应的RGB颜色，确定深度图；
步骤4：将附加RGB颜色后的深度图像代入已知尺寸的标定板黑白方格，并在所述标定板黑白方格上标定所述核心参数。
作为本发明的一种实施例，所述将所述深度图像中的每一个像素附加对应的RGB颜色，包括以下步骤：
步骤S1：根据所述深度图形，构造三维向量坐标Pir＝(x，y，z)；其中，
x表示像素的横坐标，y表示像素的纵坐标，z表示像素的深度值；
步骤S2：通过下式(1)将所述三维向量坐标与所述深度相机传感器内参矩阵的逆相乘，确定所述深度相机传感器的空间点坐标：
其中，Hir表示深度相机传感器的内参矩阵；Hir -1表示深度相机传感器的内参矩阵；Pir表示深度相机传感器的空间点坐标；
步骤S3：通过下式(2)将所述深度相机传感器的空间点坐标通过旋转平移变换，确定RGB摄像头的空间坐标点；
Prgb＝RPir+T (2)
其中，Prgb表示RGB摄像头的空间坐标点；R表示旋转矩阵；T表示平移向量；
步骤S4：获取所述RGB摄像头的内参矩阵，并通过所述RGB摄像头的内参矩阵对RGB摄像头的空间坐标点进行投影，通过下式(3)确定RGB摄像头的三维向量坐标：
prgb＝Hrgb*Prgb (3)
其中，Hrgb表示RGB摄像头的内参矩阵；
步骤S5：根据所述RGB摄像头的三维向量坐标，获取RGB摄像头的三维向量坐标的像素坐标，并根据所述像素坐标的颜色对所述深度图像中的每一个像素附加对应的RGB颜色；其中，
所述像素坐标为RGB摄像头的三维向量坐标的横坐标和纵坐标。
作为本发明的一种实施例，所述步骤4还包括：
预设标定板黑白方格，并确定所述标定板黑白方格的尺寸信息；
根据所述尺寸信息，确定深度相机传感器的镜头到标定物的真实距离；
获取深度相机传感器的内部参数，并通过下式(4)将所述深度相机传感器的镜头到标定物的真实距离代入相机模型方程，确定核心参数：
其中，
表示标定板黑白方格主点的横坐标；
表示标定板黑白方格主点的纵坐标。
作为本发明的一种实施例，所述方法还包括：
通过最小二乘法对所述深度相机传感器的误差进行计算，确定所述深度相机传感器的损失函数：
其中，E表示损失函数；yi表示深度相机传感器的第i个像素点的观测值；
表示深度相机传感器的理论值；i＝1，2，3，……n；n表示深度相机传感器的像素点的总数。
作为本发明的一种实施例，所述通过SLAM算法和三维显示引擎进行场景三维重建，包括：
获取所述可视化数据中的图像，并提取ORB特征；
根据所述ORB特征，对所述可视化数据中的图像进行初始化位姿，并估算所述可视化数据图像中的图像姿态，通过估算的图像姿态重建局部地图，并跟踪所述局部地图，确定重建后局部地图的关键帧；其中，
当跟踪所述局部地图失败时，还通过重定位确定候选关键帧，并基于ransac和EPNP估计位姿，并更新所述局部地图的关键帧，生成全局地图；
根据所述关键帧，通过局部捆集调整对所述全局地图中的关键帧进行筛选，并去除多余关键帧；
基于闭环探测和闭环校正对所述全局地图进行优化；其中，
所述闭环探测包括通过WOB探测所述全局地图，并将探测后的地图通过Sim3算法进行相似变换；
所述闭环校正包括闭环融合和Essential Graph图优化；
将优化后的全局地图通过导入三维显示引擎，进行场景三维重建。
一种基于SLAM技术的场景高精度重建装置，其特征在于，包括：
深度相机传感器：用于实时获取不同视角下场景的RGB图片，并确定与所述RGB图片对应的深度图片；
客户终端：用于接收所述RGB图片和深度图片，并对所述RGB图片和深度图片进行处理，生成可视化数据；
服务器终端：用于基于UDP通信，接收所述可视化数据，并通过SLAM算法和三维显示引擎进行场景三维重建。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于SLAM技术的场景高精度重建方法的方法流程图；
图2为本发明实施例中一种基于SLAM技术的场景高精度重建装置的装置组成图；
图3为本发明实施例中一种基于SLAM技术的场景高精度重建方法的方法流程图；
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明公开了一种基于SLAM技术的场景高精度重建方法与装置，本发明的重建装置包括：深度相机传感器、客户端电脑、服务器电脑。所述深度相机传感器即可采集彩色图像也可采集深度图像，其与客户端电脑连接主要功能为收集图像数据；所述客户端电脑接收来自所述深度相机传感器的图像，利用局域网及UDP通信协议进行数据传输，由于所述深度相机传感器与所述客户端电脑可便携、离线扫描，故其优选配备220V移动电源一套；所述服务器电脑与所述客户端电脑进行即时通信，服务器电脑将接收到的图像信息传输给上位机软件进行图像处理、点云获取等操作，以最终实现在线、高精度、分离式地场景三维重建。
如附图1所示，本发明为一种基于SLAM技术的场景高精度重建方法，包括：
通过深度相机传感器实时获取不同视角下场景的RGB图片，并确定与所述RGB图片对应的深度图片；
通过客户终端接收所述RGB图片和深度图片，并对所述RGB图片和深度图片进行处理，生成可视化数据；
基于UDP通信，将所述可视化数据发送至服务器终端，并通过SLAM算法和三维显示引擎进行场景三维重建。
上述技术方案的原理在于：本发明通过深度相机传感器获取不同视角下的场景RGB图片和对应的深度图片，本发明时一种对于人工智能技术的应用，因此通过在不同视角下获得的大量场景图片作为场景三维重建的素材，提供了材料基础。本发明的深度相机传感器由一个结构光发射器、一个深度相机、一个RBG摄像头组合而成。本发明的深度相机传感器不仅可以通过人工手持的方式进行扫描重建，还可以通过与机械臂、AGV小车等可固定运动轨迹的高精度机械设备相结合，更进一步提高场景重建的速率与精度。本发明通过深度相机传感器获得的场景RGB图片和对应的深度图片通过客户端终端的处理，得到可以直接呈现的数据，客户端终端会通过预设的软件算法对场景RGB图片和对应的深度图片进行处理，实现数据的直接呈现，可视化数据时本发明中数据呈现的一种方式。服务器终端和客户终端通过UDP通信，实时获取客户终端处理后的可以直接呈现的数据，通过三维显示引擎和SLAM算法将客户端的数据进行渲染、呈现，实现三维重建。
上述技术方案的有益效果在于：本发明可实现对纹理特征较少的复杂场景进行高精度的三维重建，且本发明利用无线的方式，满足了一些刑侦现场复原、危险区域重建等场景下的需求。
作为本发明的一种实施例，所述方法还包括：
对所述深度相机传感器的核心参数进行标定；其中，
所述核心参数包括内参和外参；
所述深度相机传感器包括结构光发射器、RGB摄像头和深度相机组成，所述结构光发射器与所述RGB摄像头和深度相机电连接，所述RGB摄像头安装于所述深度相机的镜头处。
上述技术方案的原理在于，在进行扫描重建前，需要对深度相机传感器的内参及外参等核心参数进行标定，本发明在结构上，由一个结构光发射器、一个深度相机、一个RBG摄像头组合而成，构造简单，而且容易组成高精确度的重建装置，方便用户进行构造，而且便于对组成器件进行更换。
作为本发明的一种实施例，所述对所述深度相机传感器的核心参数进行标定，包括如下步骤：
步骤1：获取Kinect的深度图像；
步骤2：获取RGB摄像头的图像；
步骤3：根据所述RGB摄像头的图像，将所述深度图像中的每一个像素附加对应的RGB颜色，确定深度图；
步骤4：将附加RGB颜色后的深度图像代入已知尺寸的标定板黑白方格，并在所述标定板黑白方格上标定所述核心参数。
上述技术方案的原理和有益效果在于：Kinect是一种体感的周边外设，属于一种体感摄影机，容易拍摄到深度图像，而RGB摄像头是一种红、绿和蓝三种颜色通道的图像。深度图像中没有附加的颜色，因此通过RGB摄像头拍出的图像可以为深度图像附上颜色，从而更加容易具象化。本发明在进行标定核心参数时，是通过结构光发射器发射的光线，呈现在标定板黑白方格上，然后根据相机镜头和标定物在标定板黑白方格上的真实距离，确定最终的核心参数。通过本发明得到的核心参数，因为通过双图像和颜色附加的参数标定，不仅使得核心参数较为正确，而且，直接通过本发明简单的装置就能够测得比较精确的核心参数。
作为本发明的一种实施例，所述将所述深度图像中的每一个像素附加对应的RGB颜色，包括以下步骤：
步骤S1：根据所述深度图形，构造三维向量坐标Pir＝(x，y，z)；其中，
x表示像素的横坐标，y表示像素的纵坐标，z表示像素的深度值；
步骤S2：通过下式(1)将所述三维向量坐标与所述深度相机传感器内参矩阵的逆相乘，确定所述深度相机传感器的空间点坐标：
其中，Hir表示深度相机传感器的内参矩阵；Hir -1表示深度相机传感器的内参矩阵；Pir表示深度相机传感器的空间点坐标；
步骤S3：通过下式(2)将所述深度相机传感器的空间点坐标通过旋转平移变换，确定RGB摄像头的空间坐标点；
Prgb＝RPir+T (2)
其中，Prgb表示RGB摄像头的空间坐标点；R表示旋转矩阵；T表示平移向量；
步骤S4：获取所述RGB摄像头的内参矩阵，并通过所述RGB摄像头的内参矩阵对RGB摄像头的空间坐标点进行投影，通过下式(3)确定RGB摄像头的三维向量坐标：
prgb＝Hrgb*Prgb (3)
其中，Hrgb表示RGB摄像头的内参矩阵；
步骤S5：根据所述RGB摄像头的三维向量坐标，获取RGB摄像头的三维向量坐标的像素坐标，并根据所述像素坐标的颜色对所述深度图像中的每一个像素附加对应的RGB颜色；其中，
所述像素坐标为RGB摄像头的三维向量坐标的横坐标和纵坐标。
上述技术方案的原理和有益效果在于：本发明在对深度图像附上颜色时，因为本发明时一种基于深度计算的摄像机传感器，因此，在进行附上颜色时，要通过深度图像的特征，确定RGB摄像头下图像得到特征，然后基于RGB摄像头下图像对深度图像进行附加颜色。Pir＝(x，y，z)表示三维向量坐标系下的像素点的坐标，在本发明中通过三维向量坐标与所述深度相机传感器内参矩阵的逆相乘得到空间坐标(三维向量坐标系下的空间坐标)，因为摄像机符合小孔成像模型，因此空间坐标的确定较为简单，然后通过计算同一像素点在RGB摄像头下的空间坐标，RGB摄像头下的空间坐标通过旋转平移变换确定RGB摄像头的坐标，然后基于RGB摄像头的图像的坐标，确定像素的颜色，并作为深度图像对应像素的颜色。
作为本发明的一种实施例，如附图3所示，所述步骤4还包括：
预设标定板黑白方格，并确定所述标定板黑白方格的尺寸信息；
根据所述尺寸信息，确定深度相机传感器的镜头到标定物的真实距离；
获取深度相机传感器的内部参数，并通过下式(4)将所述深度相机传感器的镜头到标定物的真实距离代入相机模型方程，确定核心参数：
其中，
表示标定板黑白方格主点的横坐标；
表示标定板黑白方格主点的纵坐标。
作为本发明的一种实施例，所述方法还包括：
通过最小二乘法对所述深度相机传感器的误差进行计算，确定所述深度相机传感器的损失函数：
其中，E表示损失函数；yi表示深度相机传感器的第i个像素点的观测值；
表示深度相机传感器的理论值；i＝1，2，3，……n；n表示深度相机传感器的像素点的总数。
上述技术方案的原理和有益效果在于：为了评估内参的正确性，本发明利用最小二乘法的思想，，计算出使计算误差最小的相机参数最终实现高精度的相机参数标定，以提高重建精度。本发明求解未知参数时，通过让理论值与观测值之差(即误差，或者说残差)的平方和达到最小，观测值yi就是我们的多组样本，理论值
就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数E，我们的目标是得到使目标函数最小化时候的参数。
作为本发明的一种实施例，所述通过SLAM算法和三维显示引擎进行场景三维重建，包括：
获取所述可视化数据中的图像，并提取ORB特征；
根据所述ORB特征，对所述可视化数据中的图像进行初始化位姿，并估算所述可视化数据图像中的图像姿态，通过估算的图像姿态重建局部地图，并跟踪所述局部地图，确定重建后局部地图的关键帧；其中，
当跟踪所述局部地图失败时，还通过重定位确定候选关键帧，并基于ransac和EPNP估计位姿，并更新所述局部地图的关键帧，生成全局地图；
根据所述关键帧，通过局部捆集调整对所述全局地图中的关键帧进行筛选，并去除多余关键帧；
基于闭环探测和闭环校正对所述全局地图进行优化；其中，
所述闭环探测包括通过WOB探测所述全局地图，并将探测后的地图通过Sim3算法进行相似变换；
所述闭环校正包括闭环融合和Essential Graph图优化；
将优化后的全局地图通过导入三维显示引擎，进行场景三维重建。
上述技术方案的原理在于：本名在扫描重建时，要通过SLAM算法将所采集到的图像进行处理，得到场景对应的点云信息经过4个步骤：跟踪(Tracking)、建图(Mapping)、重定位(Relocalization)、闭环检测(Loop closing)由于本发明是基于特征点的SLAM系统，故其能够实时计算出相机的轨线，并生成场景的三维重建结果。
具体的4个步骤如下：
跟踪(Tracking)、
这一部分主要工作是从图像中提取ORB特征，根据上一帧进行姿态估计，或者进行通过全局重定位初始化位姿，然后跟踪已经重建的局部地图，优化位姿，再根据一些规则确定新的关键帧。
建图(Mapping)
这一部分主要完成局部地图构建。包括对关键帧的插入，验证最近生成的地图点并进行筛选，然后生成新的地图点，使用局部捆集调整(Local BA)，最后再对插入的关键帧进行筛选，去除多余的关键帧。
重定位(Relocalization)
当跟踪失败的时候，系统会启动重定位。找出一些候选关键帧，对每个候选关键帧，用ransac和EPNP估计位姿，然后更新当前帧的地图点匹配，然后优化位姿，如果内点较少，则通过投影的方式对之前未匹配的点进行匹配，再进行优化求解，直到有足够的内点支持，重定位完成
闭环检测(Loop closing)
这一部分主要分为两个过程，分别是闭环探测和闭环校正。闭环检测先使用WOB进行探测，然后通过Sim3算法计算相似变换。闭环校正，主要是闭环融合和Essential Graph的图优化。
一种基于SLAM技术的场景高精度重建装置，如附图2所示，本发明包括：
深度相机传感器：用于实时获取不同视角下场景的RGB图片，并确定与所述RGB图片对应的深度图片；
客户终端：用于接收所述RGB图片和深度图片，并对所述RGB图片和深度图片进行处理，生成可视化数据；
服务器终端：用于基于UDP通信，接收所述可视化数据，并通过SLAM算法和三维显示引擎进行场景三维重建。
本发明的有益效果和原理在于：本发明包括三个组成部分，深度相机传感器，所述传感器主要功能为实时获取不同视角下的场景RGB图片和对应的深度图片，所述深度相机由一个结构光发射器、一个深度相机、一个RBG摄像头组合而成。同时，所述相机不仅可以通过人工手持的方式进行扫描重建，还可以通过与机械臂、AGV小车等可固定运动轨迹的高精度机械设备相结合，更进一步提高场景重建的速率与精度。客户端电脑：所述客户端电脑主要功能为接收深度相机传输过来的RGB图片和深度图片，并运行本软件的核心算法，利用核心算法处理图片，以得到可直接呈现的数据。服务器电脑：所述服务期电脑主要功能为与客户端电脑进行UDP通信，实时获取客户端电脑处理后的数据信息，并利用三维显示引擎将客户端的数据进行渲染、呈现。
本发明还在关键帧的选取上采用了多去少补的算法思维，若在短时间内判定相邻视角下采集了较多的图像，即相机停止移动或移动幅度较小，则通过判断两幅图像的像素协方差矩阵，得到相邻图像的相似度较高，则去除掉相似帧，若相机运动幅度太大，且相机位姿并未丢失时，此时算法将启动插补策略，即首先将运动幅度相差较大的两帧进行特征点匹配，由于相似特征点可能太少，导致位姿估计误差较大，若将此帧图像与上述所有关键帧图像进行综合比对，得到多组相符合的关键帧，此时，以该帧与不同关键帧之间的距离作为标准，以综合得到准确的位姿评估数据，保证局部误差的最小化。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于SLAM技术的场景高精度重建方法，其特征在于，包括：
通过深度相机传感器实时获取不同视角下场景的RGB图片，并确定与所述RGB图片对应的深度图片；
通过客户终端接收所述RGB图片和深度图片，并对所述RGB图片和深度图片进行处理，生成可视化数据；
基于UDP通信，将所述可视化数据发送至服务器终端，并通过SLAM算法和三维显示引擎进行场景三维重建。
2.根据权利要求1所述的一种基于SLAM技术的场景高精度重建装置，其特征在于，所述方法还包括：
对所述深度相机传感器的核心参数进行标定；其中，
所述核心参数包括内参和外参；
所述深度相机传感器包括结构光发射器、RGB摄像头和深度相机组成，所述结构光发射器与所述RGB摄像头和深度相机电连接，所述RGB摄像头安装于所述深度相机的镜头处。
3.根据权利要求2所述的一种基于SLAM技术的场景高精度重建装置，其特征在于，所述对所述深度相机传感器的核心参数进行标定，包括如下步骤：
步骤1：获取Kinect的深度图像；
步骤2：获取RGB摄像头的图像；
步骤3：根据所述RGB摄像头的图像，将所述深度图像中的每一个像素附加对应的RGB颜色，确定深度图；
步骤4：将附加RGB颜色后的深度图像代入已知尺寸的标定板黑白方格，并在所述标定板黑白方格上标定所述核心参数。
4.根据权利要求3所述的一种基于SLAM技术的场景高精度重建装置，其特征在于，所述将所述深度图像中的每一个像素附加对应的RGB颜色，包括以下步骤：
步骤S1：根据所述深度图形，构造三维向量坐标Pir＝(x，y，z)；其中，
x表示像素的横坐标，y表示像素的纵坐标，z表示像素的深度值；
步骤S2：通过下式(1)将所述三维向量坐标与所述深度相机传感器内参矩阵的逆相乘，确定所述深度相机传感器的空间点坐标：
其中，Hir表示深度相机传感器的内参矩阵；Hir -1表示深度相机传感器的内参矩阵；Pir表示深度相机传感器的空间点坐标；
步骤S3：通过下式(2)将所述深度相机传感器的空间点坐标通过旋转平移变换，确定RGB摄像头的空间坐标点；
Prgb＝RPir+T (2)
其中，Prgb表示RGB摄像头的空间坐标点；R表示旋转矩阵；T表示平移向量；
步骤S4：获取所述RGB摄像头的内参矩阵，并通过所述RGB摄像头的内参矩阵对RGB摄像头的空间坐标点进行投影，通过下式(3)确定RGB摄像头的三维向量坐标：
prgb＝Hrgb*Prgb (3)
其中，Hrgb表示RGB摄像头的内参矩阵；
步骤S5：根据所述RGB摄像头的三维向量坐标，获取RGB摄像头的三维向量坐标的像素坐标，并根据所述像素坐标的颜色对所述深度图像中的每一个像素附加对应的RGB颜色；其中，
所述像素坐标为RGB摄像头的三维向量坐标的横坐标和纵坐标。
5.根据权利要求3所述的一种基于SLAM技术的场景高精度重建装置，其特征在于，所述步骤4还包括：
预设标定板黑白方格，并确定所述标定板黑白方格的尺寸信息；
根据所述尺寸信息，确定深度相机传感器的镜头到标定物的真实距离；
获取深度相机传感器的内部参数，并通过下式(4)将所述深度相机传感器的镜头到标定物的真实距离代入相机模型方程，确定核心参数：
其中，
表示标定板黑白方格主点的横坐标；
表示标定板黑白方格主点的纵坐标。
6.根据权利要求2所述的一种基于SLAM技术的场景高精度重建装置，其特征在于，所述方法还包括：
通过最小二乘法对所述深度相机传感器的误差进行计算，确定所述深度相机传感器的损失函数：
其中，E表示损失函数；yi表示深度相机传感器的第i个像素点的观测值；
表示深度相机传感器的理论值；i＝1，2，3，……n；n表示深度相机传感器的像素点的总数。
7.根据权利要求1所述的一种基于SLAM技术的场景高精度重建装置，其特征在于，所述通过SLAM算法和三维显示引擎进行场景三维重建，包括：
获取所述可视化数据中的图像，并提取ORB特征；
根据所述ORB特征，对所述可视化数据中的图像进行初始化位姿，并估算所述可视化数据图像中的图像姿态，通过估算的图像姿态重建局部地图，并跟踪所述局部地图，确定重建后局部地图的关键帧；其中，
当跟踪所述局部地图失败时，还通过重定位确定候选关键帧，并基于ransac和EPNP估计位姿，并更新所述局部地图的关键帧，生成全局地图；
根据所述关键帧，通过局部捆集调整对所述全局地图中的关键帧进行筛选，并去除多余关键帧；
基于闭环探测和闭环校正对所述全局地图进行优化；其中，
所述闭环探测包括通过WOB探测所述全局地图，并将探测后的地图通过Sim3算法进行相似变换；
所述闭环校正包括闭环融合和EssentialGraph图优化；
将优化后的全局地图通过导入三维显示引擎，进行场景三维重建。
8.一种基于SLAM技术的场景高精度重建装置，其特征在于，包括：
深度相机传感器：用于实时获取不同视角下场景的RGB图片，并确定与所述RGB图片对应的深度图片；
客户终端：用于接收所述RGB图片和深度图片，并对所述RGB图片和深度图片进行处理，生成可视化数据；
服务器终端：用于基于UDP通信，接收所述可视化数据，并通过SLAM算法和三维显示引擎进行场景三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011143676.8A CN112258633B (zh) | 2020-10-23 | 2020-10-23 | 一种基于slam技术的场景高精度重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011143676.8A CN112258633B (zh) | 2020-10-23 | 2020-10-23 | 一种基于slam技术的场景高精度重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258633A true CN112258633A (zh) | 2021-01-22 |
| CN112258633B CN112258633B (zh) | 2023-02-28 |
Family
ID=74264879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011143676.8A Active CN112258633B (zh) | 2020-10-23 | 2020-10-23 | 一种基于slam技术的场景高精度重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258633B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034672A (zh) * | 2021-03-23 | 2021-06-25 | 广东电网有限责任公司 | 故障现场信息存储方法及装置 |
| CN114111635A (zh) * | 2021-11-15 | 2022-03-01 | 华中科技大学鄂州工业技术研究院 | 一种物体测量方法、系统以及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548519A (zh) * | 2016-11-04 | 2017-03-29 | 上海玄彩美科网络科技有限公司 | 基于orb‑slam和深度相机的真实感的增强现实方法 |
| CN106570904A (zh) * | 2016-10-25 | 2017-04-19 | 大连理工大学 | 一种基于Xtion摄像头的多目标相对位姿识别方法 |
| US20170161901A1 (en) * | 2015-12-08 | 2017-06-08 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Hybrid Simultaneous Localization and Mapping of 2D and 3D Data Acquired by Sensors from a 3D Scene |
| CN108564616A (zh) * | 2018-03-15 | 2018-09-21 | 中国科学院自动化研究所 | 快速鲁棒的rgb-d室内三维场景重建方法 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN111080659A (zh) * | 2019-12-19 | 2020-04-28 | 哈尔滨工业大学 | 一种基于视觉信息的环境语义感知方法 |
-
2020
- 2020-10-23 CN CN202011143676.8A patent/CN112258633B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170161901A1 (en) * | 2015-12-08 | 2017-06-08 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Hybrid Simultaneous Localization and Mapping of 2D and 3D Data Acquired by Sensors from a 3D Scene |
| CN106570904A (zh) * | 2016-10-25 | 2017-04-19 | 大连理工大学 | 一种基于Xtion摄像头的多目标相对位姿识别方法 |
| CN106548519A (zh) * | 2016-11-04 | 2017-03-29 | 上海玄彩美科网络科技有限公司 | 基于orb‑slam和深度相机的真实感的增强现实方法 |
| CN108564616A (zh) * | 2018-03-15 | 2018-09-21 | 中国科学院自动化研究所 | 快速鲁棒的rgb-d室内三维场景重建方法 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN111080659A (zh) * | 2019-12-19 | 2020-04-28 | 哈尔滨工业大学 | 一种基于视觉信息的环境语义感知方法 |
Non-Patent Citations (2)
| Title |
|---|
| 潘铁博: "基于RGB-D的视觉SLAM关键技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 高家红等: "磁共振成像发展综述", 《中国科学》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034672A (zh) * | 2021-03-23 | 2021-06-25 | 广东电网有限责任公司 | 故障现场信息存储方法及装置 |
| CN114111635A (zh) * | 2021-11-15 | 2022-03-01 | 华中科技大学鄂州工业技术研究院 | 一种物体测量方法、系统以及计算机可读存储介质 |
| CN114111635B (zh) * | 2021-11-15 | 2024-05-14 | 华中科技大学鄂州工业技术研究院 | 一种物体测量方法、系统以及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258633B (zh) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106066173B (zh) | 提供3d点云的方法和系统及存储介质 | |
| CN110146099B (zh) | 一种基于深度学习的同步定位与地图构建方法 | |
| CN107194991B (zh) | 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法 | |
| CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| Zou et al. | A method of stereo vision matching based on OpenCV | |
| CN112258633B (zh) | 一种基于slam技术的场景高精度重建方法及装置 | |
| JP2004127239A (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| JP2011238222A (ja) | 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 | |
| CN112233187B (zh) | 一种方便稳定的rgbd相机外参数标定方法 | |
| CN107154014A (zh) | 一种实时彩色及深度全景图像拼接方法 | |
| US11989827B2 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
| CN113450416B (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
| CN111637834A (zh) | 一种三维数据测量装置及方法 | |
| CN113096179A (zh) | 一种基于视觉定位的扫地机器人覆盖率检测方法 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| CN112308776B (zh) | 解决遮挡与错误映射的影像序列与点云数据融合的方法 | |
| CN113920191A (zh) | 一种基于深度相机的6d数据集构建方法 | |
| CN111654626B (zh) | 一种包含深度信息的高分辨率相机 | |
| CN112419427A (zh) | 用于提高飞行时间相机精度的方法 | |
| CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 | |
| CN114820811A (zh) | 一种基于运动球体的同步相机的基础矩阵求解及标定方法 | |
| CN111982071B (zh) | 一种基于tof相机的3d扫描方法及系统 | |
| Agrawal et al. | RWU3D: Real World ToF and Stereo Dataset with High Quality Ground Truth |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |