CN107564067A

CN107564067A - 一种适用于Kinect的标定方法

Info

Publication number: CN107564067A
Application number: CN201710705039.7A
Authority: CN
Inventors: 刘宝林; 李恒宇; 丁长权; 周思跃; 罗均
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2017-08-17
Filing date: 2017-08-17
Publication date: 2018-01-09

Abstract

本发明涉及一种适用于Kinect的标定方法，包括以下步骤：（1）从彩色图像中提取棋盘角点，标定相机的内参；（2）获取3D对应点集；（3）基于3D对应点集进行姿态估计；（4）3D转换。该方法适用于RGB和深度相机，硬件成本低，操作部署简单，且所需要准备的图像帧数少，标定精度高，标定速度快，操作简单。

Description

一种适用于Kinect的标定方法

技术领域

本发明涉及图像处理领域，具体涉及一种适用于Kinect的标定方法。

背景技术

三维重建时计算机视觉重点研究方法之一，三维重建技术在机器人视觉、工业制造、工程建筑、动漫、文物保护、服装展示等领域得到广泛应用。一个完整的三维重建过程可分为图像获取、相机标定、特征提取、图像对应点匹配、三维重建和后处理等六个部分。相机标定不仅估算出相机本身固有的几何结构参数，还对图像间相对坐标的变换参数进行估算，相机标定的精度对三维坐标点的精度和空间物体三维重构后的相似度有直接的影响。目前，相机的标定方法可以归为传统标定、自标定和基于主动视觉的标定。传统的相机标定方法精度高，速度慢，自标定方法适用在要求较高的标定速度或需要实时标定的场合。

目前文献中主要提到的方法有：直接线性变换方法(DLT变换)，径向一致约束法(RAC)，棋盘标定法，基于遗传算法的标定方法。其中使用最多的是张正友的棋盘标定，要求准确的提取棋盘的角度，通常适用于传统的RGB相机。还有一定的局限性，由于2D棋盘只提供2D信息，为了进行3D姿态估计，通常需要非线性最优化。与此同时，为了标定相机，通常需要准备几十帧的数据。

发明内容

本发明针对现有技术的不足，提出一种适用于Kinect的标定方法。该方法硬件成本低，操作部署简单，所需帧数少，标定精度高。

为达到上述目的，本发明采用如下技术方案：

一种适用于Kinect的标定方法，包括以下步骤：

步骤一，从彩色图像中提取棋盘角点，标定相机的内参；

步骤二，获取3D对应点集；

步骤三，基于3D对应点集进行姿态估计；

步骤四，3D转换。

所述步骤一中，提取棋盘角点，标定相机的内参的具体步骤是：

1)获取十几张不同角度标定棋盘的图片，检测棋盘的角点，得到每个角点的坐标；

2)分别定义图片中，世界坐标系下的角点坐标，一般x、y为等间距，z为0；

3)开始标定，得到相机的内参。

所述步骤3)的具体步骤为：相机的成像模型表示为：

sm＝A[R t]M

其中m的其次坐标表示图像平面的像素坐标(u，v，1)，M的齐次坐标表示世界坐标系的坐标点(X，Y，Z，1)，R表示旋转矩阵、t表示平移矩阵、s表示尺度因子，A表示摄像机的内参数，具体表达式如下：

其中α＝f/dx，β＝f/dy，dx和dy分别为每个像素在图像平面x轴和y轴方向上的物理尺寸大小，γ代表像素点在x，y方向上的偏差，μ₀，v₀表示在像素坐标系下图像坐标系原点的坐标；

由于标定物是平面，把世界坐标系构造在的Z＝0平面上，所以对公式进行变换：

其中r₁，r₂，r₃是三个旋转向量，H＝A[r₁ r₂ t]，把矩阵写成三个列向量的形式：

H＝[h₁ h₂ h₃]

其中H是一个三3*3的矩阵，将公式变换得到：

[h₁ h₂ h₃]＝λA[r₁ r₂ t]

其中λ是尺寸因子，由于r₁，r₂是旋转向量，r₁，r₂正交，r₁r₂＝0，|r₁|＝|r₂|＝1，得到下面两个公式：

h₁ ^TA^-TA^-1h₂＝0

h₁ ^TA^-TA^-1h₁＝h₂ ^TA^-TA^-1h₂

根据步骤2)得到的角点信息，解出h₁，h₂，然后根据上述两个公式，就解出内参α，β，μ₀，v₀，γ。

所述步骤二中，获取3D对应点集的具体步骤是：

1)获取深度图像的中心点，中心点的公式为：

C_x＝w/2

C_y＝h/2

上述式子中C_x，C_y表示深度图像的下x，y轴坐标，w，h表示深度图像的宽度和高度；

2)彩色图像网格化；

3)对每一个深度像素点，找到深度像素点对应的彩色像素点，并确定相对坐标；

4)将RGB图像中提取的角点数据对应到3D坐标。

所述步骤三中，根据步骤二中得到的3D对应点集，对相机A和相机B的姿态进行估计，将相机A的坐标转换到相机B的坐标，公式如下：

上述式子中分别代表相机A和相机B中的3D对应点集对，表示点到的旋转矩阵，R_AB，t_AB为从KinectA坐标转换到KinectB坐标的旋转矩阵和平移向量。

所述步骤四中获取标定板的角点的真实世界坐标以后，使用标定好的旋转矩阵和平移向量将坐标系的点转换到另一个坐标系；假设是Kinect A中的一个点，将之转换到Kinect B所需要的公式如下：

合并旋转矩阵和平移向量：

将每一个点放入一个4×n_A的矩阵：

则转换点表示为：P_A′＝T_ABP_A，将转换后的点去掉最后一行表示为

与现有技术相比，本发明的有益效果为：

本方法适用于RGB和深度相机，硬件成本低，操作部署简单，且所需要准备的图像帧数少，标定精度高，标定速度快，操作简单。

附图说明

图1为本发明方法的流程图。

图2为系统硬件示意图。

具体实施方式

下面结合附图，对本发明的具体实施例做进一步的说明。

如图1和图2所示，一种适用于Kinect的标定方法，包括以下步骤：

步骤一，从彩色图像中提取棋盘角点，标定相机的内参；

步骤二，获取3D对应点集；

步骤三，基于3D对应点集进行姿态估计；

步骤四，3D转换。

3)开始标定，得到相机的内参。

所述步骤3)的具体步骤为：相机的成像模型表示为：

sm＝A[R t]M

H＝[h₁ h₂ h₃]

其中H是一个三3*3的矩阵，将公式变换得到：

[h₁ h₂ h₃]＝λA[r₁ r₂ t]

h₁ ^TA^-TA^-1h₂＝0

h₁ ^TA^-TA^-1h₁＝h₂ ^TA^-TA^-1h₂

根据步骤2)得到的角点信息，解出h₁，h₂，然后根据上述两个公式，就解出内参α，β，μ₀，u₀，γ。

所述步骤二中，获取3D对应点集的具体步骤是：

1)获取深度图像的中心点，中心点的公式为：

C_x＝w/2

C_y＝h/2

2)彩色图像网格化；

4)将RGB图像中提取的角点数据对应到3D坐标。

合并旋转矩阵和平移向量：

将每一个点放入一个4×n_A的矩阵：

实施例：

下面以实例来说明本发明公开的一种适用于Kinect的标定方法。通过选定一个Kinect作为参考设备，相机按照图2位置安装，将左面的Kinect作为参考。然后将所有的点云转换到同一个坐标系。最终的点云可以被标定为：

P_back′＝T_BLP_backP_right′＝T_RLP_right表示将点集转换到左面Kinect坐标系，为左面Kinect的点，为转换后的右面和背面Kinect的点去掉最后一行，P_back′，P_right′为背面和右边Kinect的转换点，T_BL，P_back，T_RL，P_right分别为各自的合并后的旋转平移矩阵和点的矩阵。

Claims

1.一种适用于Kinect的标定方法，其特征在于，包括以下步骤：

步骤一，从彩色图像中提取棋盘角点，标定相机的内参；

步骤二，获取3D对应点集；

步骤三，基于3D对应点集进行姿态估计；

步骤四，3D转换。

2.根据权利要求1所述的一种适用于Kinect的标定方法，其特征在于，所述步骤一中，提取棋盘角点，标定相机的内参的具体步骤是：

3)开始标定，得到相机的内参。

3.根据权利要求2所述的一种适用于Kinect的标定方法，其特征在于，所述步骤3)的具体步骤为：相机的成像模型表示为：

sm＝A[R t]M

<mrow> <mi>A</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>&alpha;</mi> </mtd> <mtd> <mi>&gamma;</mi> </mtd> <mtd> <msub> <mi>&mu;</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mi>&beta;</mi> </mtd> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>

H＝[h₁ h₂ h₃]

其中H是一个三3*3的矩阵，将公式变换得到：

[h₁ h₂ h₃]＝λA[r₁ r₂ t]

h₁ ^TA^-TA^-1h₂＝0

h₁ ^TA^-TA^-1h₁＝h₂ ^TA^-TA^-1h₂

4.根据权利要求1所述的一种适用于Kinect的标定方法，其特征在于，所述步骤二中，获取3D对应点集的具体步骤是：

1)获取深度图像的中心点，中心点的公式为：

C_x＝w/2

C_y＝h/2

2)彩色图像网格化；

4)将RGB图像中提取的角点数据对应到3D坐标。

5.根据权利要求1所述的一种适用于Kinect的标定方法，其特征在于，所述步骤三中，根据步骤二中得到的3D对应点集，对相机A和相机B的姿态进行估计，将相机A的坐标转换到相机B的坐标，公式如下：

<mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>t</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <mi>argmin</mi> <munderover> <mo>&Sigma;</mo> <mi>i</mi> <mi>n</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <msubsup> <mi>ABP</mi> <mi>A</mi> <mi>i</mi> </msubsup> </mrow> </msub> <mo>+</mo> <msub> <mi>t</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mo>-</mo> <msubsup> <mi>P</mi> <mi>B</mi> <mi>i</mi> </msubsup> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

6.根据权利要求1所述的一种适用于Kinect的标定方法，其特征在于，所述步骤四中获取标定板的角点的真实世界坐标以后，使用标定好的旋转矩阵和平移向量将坐标系的点转换到另一个坐标系；假设是Kinect A中的一个点，将之转换到Kinect B所需要的公式如下：

<mrow> <msubsup> <mi>P</mi> <msup> <mi>A</mi> <mo>&prime;</mo> </msup> <mi>i</mi> </msubsup> <mo>=</mo> <msub> <mi>R</mi> <mrow> <msubsup> <mi>ABP</mi> <mi>A</mi> <mi>i</mi> </msubsup> </mrow> </msub> <mo>+</mo> <msub> <mi>t</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> </mrow>

合并旋转矩阵和平移向量：

将每一个点放入一个4×n_A的矩阵：