CN107507235B - 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 - Google Patents

一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 Download PDF

Info

Publication number
CN107507235B
CN107507235B CN201710775729.XA CN201710775729A CN107507235B CN 107507235 B CN107507235 B CN 107507235B CN 201710775729 A CN201710775729 A CN 201710775729A CN 107507235 B CN107507235 B CN 107507235B
Authority
CN
China
Prior art keywords
depth
camera
color
points
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710775729.XA
Other languages
English (en)
Other versions
CN107507235A (zh
Inventor
宋希彬
秦学英
钟凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710775729.XA priority Critical patent/CN107507235B/zh
Publication of CN107507235A publication Critical patent/CN107507235A/zh
Application granted granted Critical
Publication of CN107507235B publication Critical patent/CN107507235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于RGB‑D设备采集的彩色图像和深度图像的配准方法，使用规则镂空的校正板，利用校正板提供的规则性约束，提取彩色图像和深度图像角点，并且利用深度角点对深度相机的偏移模型建模。彩色角点和深度角点分别用来获取彩色相机和深度相机的相机内参以及两个相机之间的相对位置关系。最终，结合偏移模型及相机内参和相对位置关系精确的配准RGB‑D设备采集的彩色图像和深度图像。所得结果可作为输入数据应用于更高级的计算机视觉、增强现实任务中。

Description

一种基于RGB-D设备采集的彩色图像和深度图像的配准方法
技术领域
本发明涉及一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，属于计算机视觉技术领域。
背景技术
RGB-D设备采集的彩色图像和深度图像配准是计算机视觉中的一个基础和重要问题，配准需要确定RGB-D设备中彩色相机和深度相机的相机内参和畸变参数、两者的相对位置关系以及深度相机的偏移模型。准确地配准RGB-D设备采集的彩色深度图像可以有效的辅助其他应用，如增强现实、机器人导航、三维重建、SLAM等。
目前，RGB-D设备的配准主要分为三类：一类是利用RGB-D设备的制造商提供的缺省参数配准彩色和深度图像，如Kinect等；第二类是基于角点提取的方法计算配准参数；第三类是利用角点共面的特性提供约束，计算配准参数。
第一类方法中，有些RGB-D设备，如Kinect等，提供了缺省的校正参数，这些参数存储于其设备的内存中，可以实时的配准RGB-D设备采集的场景彩色和深度信息。第二类方法中，很多方法使用基于角点提取的策略配准RGB-D设备采集的彩色和深度信息。为了配准RGB-D设备，传统的方法首先提取彩色和深度角点，然后分别计算彩色相机和深度相机的相机内参及形变参数，然后再计算两相机之间的相对位置关系。在提取角点过程中，传统方法使用黑白棋盘格。然而，现有算法无法在深度图像中准确地提取传统黑白棋盘格中的角点，因此，很多辅助设备也经常被用来提取彩色和深度角点，如木制校正板等。另外，有些方法利用深度图像恢复场景三维信息，然后在三维信息中寻找三维角点与彩色角点的对应关系，然而由于噪声的影响，这种方法提取的三维角点精度不高；第三类方法中，利用角点共面特性提供的约束来计算配准参数，这类方法可以避免深度图像中的角点提取过程，一定程度上提升了配准的精度，但是这类方法往往时间复杂度较高，稳定性不够，求解难度较大。
以上三种方法都存在不同的问题：第一类中，由于生产过程中的误差等问题，缺省的配准参数在配准单个RGB-D设备时准确度不足；第二类方法中，由于RGB-D设备普遍存在噪声，因此无法准确的提取深度角点，这严重影响了配准的精度；第三类方法往往复杂度较高，求解难度大，稳定性不够。另外，上述三种方法均没有对深度相机中存在的偏移进行建模，这也导致上述几类方法的精度不够。
中国专利文献CN104616284A公开了一种彩色深度相机的彩色图像到深度图像的像素级对准方法。它包括步骤1)确定红外图像和深度图像之间的偏移量量，2)分别标定红外相机和彩色相机的内部参数，3)标定红外相机和彩色相机之间的相对姿势，4)标定深度相机模型的参数，5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度；但是，在该专利中，1、红外相机采集的深度图像包含严重的噪声，在此基础上提取的深度角点准确度较低，因此，以此角点为基础标定的深度相机参数准确度不够。2、该专利并未发现深度相机中存在的偏移，这也导致该专利对准的彩色和深度图像精度不高。
发明内容
针对现有技术的不足，本发明提供了一种基于RGB-D设备采集的彩色图像和深度图像的配准方法；
本发明的目的是配准RGB-D设备采集的彩色图像和深度图像，获取RGB-D设备的彩色相机和深度相机的相机内参及形变参数、两相机的相对位置关系及深度相机的偏移模型参数。
本发明使用规则镂空的校正板，首先，利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，其中深度图像角点包括深度理论角点和深度实际角点。其次，利用彩色图像角点和深度理论角点分别求解彩色相机内参Kc、畸变参数Dc以及深度相机内参Kd。第三，以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，并利用Levenberg-Marquardt最小二乘算法优化求解彩色相机和深度相机之间的相对位置关系(R,t)；同时，根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色和深度图像对，使用相同的方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模。最终，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
本发明使用规则镂空的校正板提取深度图像中的角点，该校正板镂空区域的规则排列可以提供有效的约束，准确提取深度图像中的角点，因此，可以准确地标定深度相机的参数；另外，本发明对深度相机的偏移模型建模，偏移模型可以进一步提升彩色图像和深度图像的配准精度。通过本发明所得定位结果具有很高的精度，通过不同的数据集的比较发现，本发明配准RGB-D设备采集彩色和深度图像对的平均误差控制在2个像素以内。
术语解释：
1、相机内参，相机内参K是3×3的矩阵，其用来描述在相机坐标系下的三维点P到相机平面的二维点p的投影关系，p＝KP，其形式为
Figure BDA0001395868590000021
其中[fu,fv]T为相机在二维平面的焦距，[u,v]T为相机成像平面的主点。
2、畸变参数，相机的畸变是指由于相机物镜系统设计、制作、装配所引起的像点偏离其理想位置的点位误差，本发明使用D＝{f1,f2,f3,f4}表示相机的畸变参数。
3、角点，通常被定义为两条边的交点，更严格的说，角点的局部邻域应该具有两个不同区域的不同方向的边界。
4、单应性矩阵(homography)，单应性矩阵H是一个3×3的矩阵，其表示一个平面Q到另一个平面Q′’的投影关系，表达式为：Q＝HQ′。
5、单应性逆矩阵，是指单应性矩阵H的逆。
6、正视视角，在本申请中是指观测三维物体时，视线与三维物体的z轴(深度方向)平行的视角。
7、相机坐标系，是以光轴与图像平面的交点为图像坐标系的原点所构成的直角坐标系。相机坐标系(观察坐标系)相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。
本发明的技术方案为：
一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，所述RGB-D设备包括一组彩色相机、深度相机对，包括步骤如下：
(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；
(2)利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，利用深度理论角点求解深度相机内参Kd；
(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机在三维空间中的位置关系(R,t)；R为3×3的矩阵，表示彩色相机和深度相机之间的旋转关系，t为3×1的矩阵，表示彩色相机和深度相机之间的平移关系；
根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用步骤(1)所述方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模；偏移模型F包括F的量值||F||及F的角度ψ(F)，量值||F||包括系统偏移的量值||FS||和随机偏移的量值||Fγ||，||F||＝||FS||+||Fγ||；
(4)获取参数模型θ，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
根据本发明优选的，所述步骤(1)，包括步骤如下：
a、使用规则镂空的校正板，所述校正板设有m×n个镂空区域，m、n均为整数，m≥5，n≥5，即：校正板上，每行有m个镂空区域，每列有n个镂空区域；使用RGB-D设备在任意视角和任意距离拍摄该校正板，获取若干组原始的包含完整校正板的彩色图像和深度图像对；
b、对步骤a获取的原始的包含完整校正板的彩色图像，采用角点检测算法提取彩色图像角点；
c、对步骤a获取的原始的包含完整校正板的深度图像，提取每个镂空区域，并计算每个镂空区域的中心点，共获取m*n个镂空区域的中心点；每个镂空区域的中心点对应4个深度理论角点和4个深度实际角点，深度理论角点和深度实际角点一一对应，且数量均为4*m*n个；
d、根据步骤c获取的m*n个镂空区域的中心点，在正视视角下存在与m*n个镂空区域的中心点一一对应的m*n个虚拟中心点，所述虚拟中心点不受噪声影响，且规则排列；同时，在正视视角下存在与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，所述虚拟角点不受噪声影响，且规则排列；
e、根据步骤c获取的镂空区域的中心点与步骤d中存在的虚拟中心点，计算单应性矩阵；
f、根据步骤e计算得到的单应性矩阵，对单应性矩阵求逆，得到单应性逆矩阵；
g、利用步骤f生成的单应性逆矩阵将步骤d生成的每个虚拟角点映射回深度图像空间，得到深度图像中镂空校正板的理论角点，即深度理论角点；
h、把步骤g得到的每个镂空区域的4个深度理论角点依次连接，形成网格，将网格的四条网格线分别平移至包含完整校正板的每条噪声边界的中心线位置，形成新网格，每个新网格的角点即为深度实际角点。
根据本发明优选的，所述镂空区域为正方形，在所述校正板上，每一行中，若干个镂空区域等间距排列，间距为镂空区域的边长；每一列中，若干个镂空区域等间距排列，间距为镂空区域的边长。利用该规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点。
根据本发明优选的，所述步骤e，计算单应性矩阵，包括步骤如下：
假设
Figure BDA0001395868590000041
Figure BDA0001395868590000042
是指任一镂空区域的中心点在三维空间的坐标；
Figure BDA0001395868590000043
Figure BDA0001395868590000044
是指任一镂空区域的中心点对应的虚拟中心点在三维空间的坐标；计算单应性矩阵H，如式(Ⅰ)所示：
Figure BDA0001395868590000051
设定
Figure BDA0001395868590000052
则H通过式(Ⅱ)估计：
Figure BDA0001395868590000053
通过最小二乘法求解单应性矩阵H。
根据本发明优选的，所述步骤g，包括步骤如下：
假设
Figure BDA0001395868590000054
Figure BDA0001395868590000055
为与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，则深度理论角点
Figure BDA0001395868590000056
H-1是指单应性矩阵H的逆矩阵。
根据本发明优选的，所述步骤b中，采用Harris角点检测算法提取彩色图像角点。
根据本发明优选的，所述步骤(2)中，通过Zhengyou Zhang相机标定算法，利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc。
根据本发明优选的，所述步骤(2)中，通过Zhengyou Zhang相机标定算法，利用深度理论角点求解深度相机内参Kd。
根据本发明优选的，所述步骤(3)中，以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机之间的相对位置关系(R,t)，包括步骤如下：
根据深度相机内参Kd以及采集的深度图像的深度理论角点
Figure BDA0001395868590000057
还原深度相机坐标系下的三维空间点Xd，如式(Ⅲ)所示：
Figure BDA0001395868590000058
式(Ⅲ)中，
Figure BDA0001395868590000059
为深度相机内参Kd的逆矩阵；
深度相机坐标系下的三维空间点Xd和与其对应的彩色相机坐标系下的三维空间点Xc的映射关系如式(Ⅳ)所示：
Xc＝RXd+t (Ⅳ)
式(Ⅳ)中，R是旋转矩阵，表示深度相机与彩色相机之间的旋转关系，t是平移矩阵，表示深度相机与彩色相机之间的平移关系；
在不考虑畸变的情况下，彩色相机坐标系下的三维空间点Xc到彩色图像像素点pc的投影如式(Ⅴ)所示：
pc＝KcXc (Ⅴ)
由此建立深度图像的深度理论角点
Figure BDA0001395868590000061
到彩色图像像素点pc的映射，该映射关系采用最小二乘算法求解。
根据本发明优选的，所述RGB-D设备的型号为Kinect Xbox360或Kinect forWindows。
根据本发明优选的，所述步骤(3)中，根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用相同的方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模，包括步骤如下：
A、RGB-D设备正对规则镂空校正板，即穿过规则镂空校正板并与规则镂空校正板垂直的轴的方向与所述RGB-D设备的拍摄方向平行；在RGB-D设备的有效探测距离内，等间距选取若干个点，在每个点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含完整规则镂空校正板的彩色图像和深度图像对；
B、采用上述步骤c至步骤i的方法提取深度理论角点和深度实际角点；
C、利用三维B-spline函数对RGB-D设备中的深度相机的偏移模型F建模，包括步骤如下：
a、偏移模型F的系统偏移的量值||FS||用如下B-spline函数表示，如式(Ⅵ)所示：
Figure BDA0001395868590000062
式(Ⅵ)中，将深度图像平面均分成M×N的网格，例如，假设深度图像平面大小为W×H，每个网格的大小为(W/M)×(H/N)；
L表示将深度相机的有效测试距离等间隔的分为L段；由此将RGB-D设备的探测空间三维体分为M×N×L个小的三维体，将这些小的三维体称为体素；
fpqk是指式(VI)中每个网格的角点的权重参数；
uB、vB、zB为每个体素中的像素点[uB,vB]T及对应的深度zB；
Figure BDA0001395868590000063
为一阶分段函数，其表示如下：当p≤uB≤p+1时，
Figure BDA0001395868590000064
当p+1≤uB≤p+2时，
Figure BDA0001395868590000065
否则，
Figure BDA0001395868590000066
Figure BDA0001395868590000067
为一阶分段函数，其表示如下：当q≤vB≤q+1时，
Figure BDA0001395868590000068
当q+1≤vB≤q+2时，
Figure BDA0001395868590000071
否则，
Figure BDA0001395868590000072
Figure BDA0001395868590000073
为分段式二阶函数，其表示如下：当k≤zB≤k+1时，
Figure BDA0001395868590000074
当k+1≤zB≤k+2时，
Figure BDA0001395868590000075
当k+2≤zB≤k+3时，
Figure BDA0001395868590000076
否则，
Figure BDA0001395868590000077
此过程将RGB-D设备的有效深度探测范围分为M×N×L个三维体素，合理的选择M，N和L可以使分段B-spline函数模拟连续函数。
在得到系统偏移量值||Fs||后，随机偏移量值||Fγ||＝||F||-||Fs||。上述步骤A-B的过程中，本发明可获取不同深度上的深度理论角点和深度实际角点的点集，深度实际角点与对应的深度理论角点之间的差值即为两角点对应的偏移。通过步骤A-B的操作，本发明可获取不同深度上大量的偏移采样。通过这些偏移采样，本发明可估计||Fs||，在得到||FS||后，本发明可根据偏移采样及对应的||FS||，得到||Fγ||。
b、偏移模型F的角度ψ(F)与其周围的像素有关。对于需估计偏移的深度图像像素点pd，选取一个以pd为中心的窗口，在窗口范围内的像素被分为两个区域：像素值均高于窗口范围内平均像素值的区域即高像素值区域，以及像素值均低于窗口范围内平均像素值的区域即低像素值区域，假设vb为高像素值区域的中心，vf为低像素值区域的中心，vb到vf的方向模拟像素的偏移方向，因此ψ(F)的表示如式(Ⅶ)所示：
ψ(F)＝tan-1(yf-yb,xf-xb) (Ⅶ)
式(Ⅶ)中，vf＝[xf,yf]T，vb＝[xb,yb]T。
本发明的有益效果为：
1、本发明利用规则镂空校正板及单应性矩阵约束，可以有效消除RGB-D设备中包含的噪声对角点提取过程精度的影响，有效精确的提取深度图像中的角点，从而使深度相机内参标定过程及彩色和深度相机相对位置关系求解过程更加准确。
2、现有技术中，深度相机存在偏移，本申请对此偏移建立模型，并应用模型处理原始采集的深度图像，再进行彩色和深度图像配准，从而使配准精度更高。
3、在对深度相机偏移的建模过程中，本申请使用三维B-spline函数，以将RGB-D设备的深度探测空间分为M×N×L个三维体素的方式表示偏移模型的非线性关系，消除了固定公式表达偏移模型的非线性表达上限，从而使该非线性表达更加准确。
附图说明
图1为本发明基于RGB-D设备采集的彩色图像和深度图像的配准方法的流程框图；
图2为本发明规则镂空的校正板的示意图；
图3为本发明单应性逆矩阵将每个虚拟角点映射回深度图像空间的示意图；
图4为本发明镂空区域的区域模拟图；
图5(a)为RGB-D设备采集的第一组彩色图像示意图；
图5(b)为应用本发明的方法对图5(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；
图5(c)为将图5(b)配准后的深度图像与彩色图像合并后的结果示意图；
图5(d)为将图5(b)配准后的深度图像三维点云显示的结果示意图。
图6(a)为RGB-D设备采集的第二组彩色图像示意图；
图6(b)为应用本发明的方法对图6(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；
图6(c)为将图6(b)配准后的深度图像与彩色图像合并后的结果示意图；
图6(d)为将图6(b)配准后的深度图像三维点云显示的结果示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例
一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，如图1所示，RGB-D设备(Kinect for Windows)包括一组彩色相机、深度相机对，包括步骤如下：
(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；包括步骤如下：
a、使用规则镂空的校正板，所述校正板设有m×n个镂空区域，m、n均为整数，m≥5，n≥5，即：校正板上，每行有m个镂空区域，每列有n个镂空区域；镂空区域为正方形，在校正板上，每一行中，m个镂空区域等间距排列，间距为镂空区域的边长；每一列中，n个镂空区域等间距排列，间距为镂空区域的边长，如图2所示。利用该规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点。
使用RGB-D设备在任意视角和任意距离拍摄该校正板，获取若干组原始的包含完整校正板的彩色图像和深度图像对；
b、对步骤a获取的原始的包含完整校正板的彩色图像，采用Harris角点检测算法提取彩色图像角点；
c、对步骤a获取的原始的包含完整校正板的深度图像，提取每个镂空区域，并计算每个镂空区域的中心点，共获取m*n个镂空区域的中心点；每个镂空区域的中心点对应4个深度理论角点和4个深度实际角点，深度理论角点和深度实际角点一一对应，且数量均为4*m*n个；
d、根据步骤c获取的m*n个镂空区域的中心点，在正视视角下存在与m*n个镂空区域的中心点一一对应的m*n个虚拟中心点，所述虚拟中心点不受噪声影响，且规则排列；同时，在正视视角下存在与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，所述虚拟角点不受噪声影响，且规则排列；
e、根据步骤c获取的镂空区域的中心点与步骤d中存在的虚拟中心点，计算单应性矩阵：假设
Figure BDA0001395868590000091
Figure BDA0001395868590000092
是指任一镂空区域的中心点在三维空间的坐标；
Figure BDA0001395868590000093
Figure BDA0001395868590000094
是指任一镂空区域的中心点对应的虚拟中心点在三维空间的坐标；计算单应性矩阵H，如式(Ⅰ)所示：
Figure BDA0001395868590000095
设定
Figure BDA0001395868590000096
则H通过式(Ⅱ)估计：
Figure BDA0001395868590000097
通过最小二乘法求解单应性矩阵H。
f、根据步骤e计算得到的单应性矩阵，对单应性矩阵H求逆，得到单应性逆矩阵H-1：
g、利用步骤f生成的单应性逆矩阵将步骤d生成的每个虚拟角点映射回深度图像空间，如图3所示，图3中，(a)为RGB-D设备采集的深度图像，(b)为正视视角下的虚拟中心点(黑色点)和虚拟角点(灰色点)，得到深度图像中镂空校正板的理论角点，即深度理论角点：假设
Figure BDA0001395868590000098
Figure BDA0001395868590000099
为与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，则深度理论角点
Figure BDA00013958685900000910
H-1是指单应性矩阵H的逆矩阵。
h、把步骤g得到的每个镂空区域的4个深度理论角点依次连接，形成网格，将网格的四条网格线分别平移至包含完整校正板的每条噪声边界的中心线位置，形成新网格，每个新网格的角点即为深度实际角点。镂空区域的区域模拟图如图4所示，图4中，黑色区域为校正板区域，灰色区域为镂空区域；由图可知每个镂空区域受到严重噪声影响，每个镂空区域边界为受噪声影响的曲线，pd1、pd2、pd3、pd4为深度实际角点，
Figure BDA0001395868590000101
为深度理论角点，箭头表示深度相机偏移F；
(2)通过Zhengyou Zhang相机标定算法，利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，通过Zhengyou Zhang相机标定算法，利用深度理论角点求解深度相机内参Kd；
(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机在三维空间中的位置关系(R,t)；R为3×3的矩阵，表示彩色相机和深度相机之间的旋转关系，t为3×1的矩阵，表示彩色相机和深度相机之间的平移关系；包括步骤如下：
根据深度相机内参Kd以及采集的深度图像的深度理论角点
Figure BDA0001395868590000102
还原深度相机坐标系下的三维空间点Xd，如式(Ⅲ)所示：
Figure BDA0001395868590000103
式(Ⅲ)中，
Figure BDA0001395868590000104
为深度相机内参Kd的逆矩阵；
深度相机坐标系下的三维空间点Xd和与其对应的彩色相机坐标系下的三维空间点Xc的映射关系如式(Ⅳ)所示：
Xc＝RXd+t (Ⅳ)
式(Ⅳ)中，R是旋转矩阵，表示深度相机与彩色相机之间的旋转关系，t是平移矩阵，表示深度相机与彩色相机之间的平移关系；
在不考虑畸变的情况下，彩色相机坐标系下的三维空间点Xc到彩色图像像素点pc的投影如式(Ⅴ)所示：
pc＝KcXc (Ⅴ)
由此建立深度图像的深度理论角点
Figure BDA0001395868590000105
到彩色图像像素点pc的映射，该映射关系采用最小二乘算法求解。
根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用步骤(1)所述方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模；偏移模型F包括F的量值||F||及F的角度ψ(F)，量值||F||包括系统偏移的量值||FS||和随机偏移的量值||Fγ||，||F||＝||FS||+||Fγ||；包括步骤如下：
A、RGB-D设备正对规则镂空校正板，即穿过规则镂空校正板并与规则镂空校正板垂直的轴的方向与所述RGB-D设备的拍摄方向平行；在RGB-D设备的有效探测距离内，等间距选取若干个点，在每个点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含完整规则镂空校正板的彩色图像和深度图像对；
B、采用上述步骤c至步骤i的方法提取深度理论角点和深度实际角点；
C、利用三维B-spline函数对RGB-D设备中的深度相机的偏移模型F建模，包括步骤如下：
a、偏移模型F的系统偏移的量值||FS||用如下B-spline函数表示，如式(Ⅵ)所示：
Figure BDA0001395868590000111
式(Ⅵ)中，将深度图像平面均分成M×N的网格，例如，假设深度图像平面大小为W×H，每个网格的大小为(W/M)×(H/N)；
L表示将深度相机的有效测试距离等间隔的分为L段；由此将RGB-D设备的探测空间三维体分为M×N×L个小的三维体，将这些小的三维体称为体素；
fpqk是指式(VI)中每个网格的角点的权重参数；
uB、vB、zB为每个体素中的像素点[uB,vB]T及对应的深度zB；
Figure BDA0001395868590000112
为一阶分段函数，其表示如下：当p≤uB≤p+1时，
Figure BDA0001395868590000113
当p+1≤uB≤p+2时，
Figure BDA0001395868590000114
否则，
Figure BDA0001395868590000115
Figure BDA0001395868590000116
为一阶分段函数，其表示如下：当q≤vB≤q+1时，
Figure BDA0001395868590000117
当q+1≤vB≤q+2时，
Figure BDA0001395868590000118
否则，
Figure BDA0001395868590000119
Figure BDA00013958685900001110
为分段式二阶函数，其表示如下：当k≤zB≤k+1时，
Figure BDA00013958685900001111
当k+1≤zB≤k+2时，
Figure BDA00013958685900001112
当k+2≤zB≤k+3时，
Figure BDA00013958685900001113
否则，
Figure BDA00013958685900001114
此过程将RGB-D设备的有效深度探测范围分为M×N×L个三维体素，合理的选择M，N和L可以使分段B-spline函数模拟连续函数。
在得到系统偏移量值||FS||后，随机偏移量值||Fγ||＝||F||-||FS||。上述步骤A-B的过程中，本发明可获取不同深度上的深度理论角点和深度实际角点的点集，深度实际角点与对应的深度理论角点之间的差值即为两角点对应的偏移。通过步骤A-B的操作，本发明可获取不同深度上大量的偏移采样。通过这些偏移采样，本发明可估计||FS||，在得到||Fs||后，本发明可根据偏移采样及对应的||Fs||，得到||Fγ||。
b、偏移模型F的角度ψ(F)与其周围的像素有关。对于需估计偏移的深度图像像素点pd，选取一个以pd为中心的窗口，在窗口范围内的像素被分为两个区域：像素值均高于窗口范围内平均像素值的区域即高像素值区域，以及像素值均低于窗口范围内平均像素值的区域即低像素值区域，假设vb为高像素值区域的中心，vf为低像素值区域的中心，vb到vf的方向模拟像素的偏移方向，因此ψ(F)的表示如式(Ⅶ)所示：
ψ(F)＝tan-1(yf-yb,xf-xb) (Ⅶ)
式(Ⅶ)中，vf＝[xf,yf]T，vb＝[xb,yb]T。
(4)获取参数模型θ，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
图5(a)为RGB-D设备采集的第一组彩色图像示意图；图5(b)为应用本发明的方法对图5(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；图5(c)为将图5(b)配准后的深度图像与彩色图像合并后的结果示意图；图5(d)为将图5(b)配准后的深度图像三维点云显示的结果示意图。
图6(a)为RGB-D设备采集的第二组彩色图像示意图；图6(b)为应用本发明的方法对图6(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；图6(c)为将图6(b)配准后的深度图像与彩色图像合并后的结果示意图；图6(d)为将图6(b)配准后的深度图像三维点云显示的结果示意图。
根据图5(a)-图5(d)及图6(a)-图6(d)的结果可以发现，本发明可以高精度配准RGB-D设备采集的彩色和深度图像。现有技术，如背景技术中提及的中国专利文献CN104616284A，由于RGB-D设备深度相机包含的噪声的影响，不能准确的提取RGB-D设备采集的深度图像中的角点，进而影响标定深度相机的精度，从而影响RGB-D设备采集的彩色图像和深度图像的配准精度。另外，现有技术并没有对深度相机中存在的偏移进行有效处理，这也严重影响了彩色和深度图像的配准精度。上述问题在本发明中得到了有效解决。本发明使用规则镂空校正板提供的有效约束，可以准确的提取深度图像中的角点，进而获得准确的深度相机标定参数及准确的彩色和深度图像配准结果。同时，本发明对深度相机中存在的偏移进行了有效建模，可以提升彩色图像和深度图像的配准精度。

Claims (9)

1.一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，所述RGB-D设备包括一组彩色相机、深度相机对，其特征在于，包括步骤如下：
(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；
(2)利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，利用深度理论角点求解深度相机内参Kd；
(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机在三维空间中的位置关系(R,t)；R为3×3的矩阵，表示彩色相机和深度相机之间的旋转关系，t为3×1的矩阵，表示彩色相机和深度相机之间的平移关系；
根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用步骤(1)中的相同方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模；偏移模型F包括F的量值||F||及F的角度ψ(F)，量值||F||包括系统偏移的量值||FS||和随机偏移的量值||Fγ||，||F||＝||FS||+||Fγ||；
所述步骤(3)中，根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模，包括步骤如下：
A、RGB-D设备正对规则镂空校正板，即穿过规则镂空校正板并与规则镂空校正板垂直的轴的方向与所述RGB-D设备的拍摄方向平行；在RGB-D设备的有效探测距离内，等间距选取若干个点，在每个点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含完整规则镂空校正板的彩色图像和深度图像对；
B、提取深度理论角点和深度实际角点；
C、利用三维B-spline函数对RGB-D设备中的深度相机的偏移模型F建模，包括步骤如下：
a、偏移模型F的系统偏移的量值||FS||用如下B-spline函数表示，如式(Ⅵ)所示：
Figure FDA0002638166140000021
式(Ⅵ)中，将深度图像平面均分成M×N的网格；
L表示将深度相机的有效测试距离等间隔的分为L段；由此将RGB-D设备的探测空间三维体分为M×N×L个小的三维体，将这些小的三维体称为体素；
fpqk是指式(VI)中每个网格的角点的权重参数；
uB、vB、zB为每个体素中的像素点[uB,vB]T及对应的深度zB；
Figure FDA0002638166140000022
为一阶分段函数，其表示如下：当p≤uB≤p+1时，
Figure FDA0002638166140000023
当p+1≤uB≤p+2时，
Figure FDA0002638166140000024
否则，
Figure FDA0002638166140000025
Figure FDA0002638166140000026
为一阶分段函数，其表示如下：当q≤vB≤q+1时，当q+1≤vB≤q+2时，
Figure FDA0002638166140000028
否则，
Figure FDA0002638166140000029
Figure FDA00026381661400000210
为分段式二阶函数，其表示如下：当k≤zB≤k+1时，
Figure FDA00026381661400000211
当k+1≤zB≤k+2时，
Figure FDA00026381661400000212
当k+2≤zB≤k+3时，
Figure FDA00026381661400000213
否则，
Figure FDA00026381661400000214
在得到系统偏移量值||FS||后，随机偏移量值||Fγ||＝||F||-||FS||；
b、对于需估计偏移的深度图像像素点pd，选取一个以pd为中心的窗口，在窗口范围内的像素被分为两个区域：像素值均高于窗口范围内平均像素值的区域即高像素值区域，以及像素值均低于窗口范围内平均像素值的区域即低像素值区域，假设vb为高像素值区域的中心，vf为低像素值区域的中心，vb到vf的方向模拟像素的偏移方向，因此ψ(F)的表示如式(VII)所示：
ψ(F)＝tan-1(yf-yb,xf-xb) (VII)
式(VII)中，vf＝[xf,yf]T，vb＝[xb,yb]T；
(4)获取参数模型θ，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
2.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(1)，包括步骤如下：
a、使用规则镂空的校正板，所述校正板设有m×n个镂空区域，m、n均为整数，m≥5，n≥5，即：校正板上，每行有m个镂空区域，每列有n个镂空区域；使用RGB-D设备在任意视角和任意距离拍摄该校正板，获取若干组原始的包含完整校正板的彩色图像和深度图像对；
b、对步骤(1)中的步骤a获取的原始的包含完整校正板的彩色图像，采用角点检测算法提取彩色图像角点；
c、对步骤(1)中的步骤a获取的原始的包含完整校正板的深度图像，提取每个镂空区域，并计算每个镂空区域的中心点，共获取m*n个镂空区域的中心点；每个镂空区域的中心点对应4个深度理论角点和4个深度实际角点，深度理论角点和深度实际角点一一对应，且数量均为4*m*n个；
d、根据步骤c获取的m*n个镂空区域的中心点，在正视视角下存在与m*n个镂空区域的中心点一一对应的m*n个虚拟中心点，所述虚拟中心点不受噪声影响，且规则排列；同时，在正视视角下存在与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，所述虚拟角点不受噪声影响，且规则排列；
e、根据步骤c获取的镂空区域的中心点与步骤d中存在的虚拟中心点，计算单应性矩阵；
f、根据步骤e计算得到的单应性矩阵，对单应性矩阵求逆，得到单应性逆矩阵；
g、利用步骤f生成的单应性逆矩阵将步骤d生成的每个虚拟角点映射回深度图像空间，得到深度图像中镂空校正板的理论角点，即深度理论角点；
h、把步骤g得到的每个镂空区域的4个深度理论角点依次连接，形成网格，将网格的四条网格线分别平移至包含完整校正板的每条噪声边界的中心线位置，形成新网格，每个新网格的角点即为深度实际角点。
3.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述镂空区域为正方形，在所述校正板上，每一行中，若干个镂空区域等间距排列，间距为镂空区域的边长；每一列中，若干个镂空区域等间距排列，间距为镂空区域的边长。
4.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤e，计算单应性矩阵H，包括步骤如下：
假设
Figure FDA0002638166140000031
Figure FDA0002638166140000032
是指任一镂空区域的中心点在三维空间的坐标；
Figure FDA0002638166140000033
Figure FDA0002638166140000034
是指任一镂空区域的中心点对应的虚拟中心点在三维空间的坐标；计算单应性矩阵H，如式(Ⅰ)所示：
Figure FDA0002638166140000035
设定
Figure FDA0002638166140000041
则H通过式(Ⅱ)估计：
Figure FDA0002638166140000042
通过最小二乘法求解单应性矩阵H。
5.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤g，包括步骤如下：
假设
Figure FDA0002638166140000043
Figure FDA0002638166140000044
为与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，则深度理论角点
Figure FDA0002638166140000045
H-1是指单应性矩阵H的逆矩阵。
6.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，步骤(1)中的步骤b中，采用Harris角点检测算法提取彩色图像角点。
7.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(2)中，通过Zhengyou Zhang相机标定算法，利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc；通过Zhengyou Zhang相机标定算法，利用深度理论角点求解深度相机内参Kd。
8.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(3)中，以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机之间的相对位置关系(R,t)，包括步骤如下：
根据深度相机内参Kd以及采集的深度图像的深度理论角点
Figure FDA0002638166140000046
还原深度相机坐标系下的三维空间点Xd，如式(Ⅲ)所示：
Figure FDA0002638166140000047
式(Ⅲ)中，
Figure FDA0002638166140000048
为深度相机内参Kd的逆矩阵；
深度相机坐标系下的三维空间点Xd和与其对应的彩色相机坐标系下的三维空间点Xc的映射关系如式(IV)所示：
Xc＝RXd+t (IV)
式(IV)中，R是旋转矩阵，表示深度相机与彩色相机之间的旋转关系，t是平移矩阵，表示深度相机与彩色相机之间的平移关系；
在不考虑畸变的情况下，彩色相机坐标系下的三维空间点Xc到彩色图像像素点pc的投影如式(Ⅴ)所示：
pc＝KcXc (Ⅴ)
由此建立深度图像的深度理论角点
Figure FDA0002638166140000051
到彩色图像像素点pc的映射关系，该映射关系采用最小二乘算法求解。
9.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述RGB-D设备的型号为Kinect Xbox360或Kinect for Windows。
CN201710775729.XA 2017-08-31 2017-08-31 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 Active CN107507235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710775729.XA CN107507235B (zh) 2017-08-31 2017-08-31 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710775729.XA CN107507235B (zh) 2017-08-31 2017-08-31 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法

Publications (2)

Publication Number Publication Date
CN107507235A CN107507235A (zh) 2017-12-22
CN107507235B true CN107507235B (zh) 2020-11-10

Family

ID=60693333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710775729.XA Active CN107507235B (zh) 2017-08-31 2017-08-31 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法

Country Status (1)

Country Link
CN (1) CN107507235B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978929B (zh) * 2017-12-28 2021-04-23 舜宇光学（浙江）研究院有限公司 深度信息摄像模组的rgb-d图像合成优化系统及其方法
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
CN109352646B (zh) * 2018-09-30 2023-01-06 泰安康平纳机械有限公司 纱线自动装卸方法及系统
CN109492639A (zh) * 2018-11-12 2019-03-19 北京拓疆者智能科技有限公司 装载位置三维坐标获取方法、系统及图像识别设备
CN109934873B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 标注图像获取方法、装置及设备
CN110163915B (zh) * 2019-04-09 2021-07-13 深圳大学 一种多rgb-d传感器的空间三维扫描方法及装置
CN112150372B (zh) * 2019-06-28 2024-02-02 深圳创想未来机器人有限公司 一种深度图矫正方法、深度图矫正装置和机器人
CN111179340A (zh) * 2019-12-30 2020-05-19 苏宁云计算有限公司 一种物体的定位方法、装置及计算机系统
CN111784757B (zh) * 2020-06-30 2024-01-23 北京百度网讯科技有限公司 深度估计模型的训练方法、深度估计方法、装置及设备
CN112434543B (zh) * 2020-11-24 2022-02-01 山东大学 一种针对畸变彩色直接部件标记的图像重构方法及系统
CN112509023B (zh) * 2020-12-11 2022-11-22 国网浙江省电力有限公司衢州供电公司 一种多源相机系统及rgbd配准方法
CN112734862A (zh) * 2021-02-10 2021-04-30 北京华捷艾米科技有限公司 深度图像的处理方法、装置、计算机可读介质以及设备
CN113034681B (zh) * 2021-04-07 2022-05-03 清华大学 空间平面关系约束的三维重建方法及装置
CN113256611B (zh) * 2021-06-21 2021-12-24 浙江光珀智能科技有限公司 一种rgb-d配准精度测试方法及设备
CN115797426B (zh) * 2023-02-13 2023-05-12 合肥的卢深视科技有限公司 图像对齐方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
EP2993490A1 (en) * 2014-09-08 2016-03-09 Kabushiki Kaisha TOPCON Operating device, operating system, operating method, and program therefor
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
EP2993490A1 (en) * 2014-09-08 2016-03-09 Kabushiki Kaisha TOPCON Operating device, operating system, operating method, and program therefor
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高分辨率三维点云目标识别技术研究;汪汉云;《中国博士学位论文全文数据库》;20170215(第2期);全文 *

Also Published As

Publication number Publication date
CN107507235A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107507235B (zh) 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
CN108717712B (zh) 一种基于地平面假设的视觉惯导slam方法
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
CN109559355B (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
WO2018209968A1 (zh) 摄像机标定方法及系统
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN109064516B (zh) 一种基于绝对二次曲线像的相机自标定方法
CN112132906B (zh) 一种深度相机与可见光相机之间的外参标定方法及系统
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN102609941A (zh) 基于ToF深度相机的三维注册方法
JP2009042162A (ja) キャリブレーション装置及びその方法
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN109974618B (zh) 多传感器视觉测量系统的全局标定方法
CN113744351A (zh) 基于多介质折射成像的水下结构光测量标定方法及系统
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN113450416B (zh) 一种应用于三目相机立体标定的tcsc方法
Song et al. Modeling deviations of rgb-d cameras for accurate depth map and color image registration
CN115201883A (zh) 一种运动目标视频定位测速系统及方法
CN110763306A (zh) 一种基于单目视觉的液位测量系统及方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
Fan et al. High-precision external parameter calibration method for camera and LiDAR based on a calibration device
CN111145266B (zh) 一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant