CN102914295A

CN102914295A - 基于计算机视觉立方体标定的三维测量方法

Info

Publication number: CN102914295A
Application number: CN2012103523651A
Authority: CN
Inventors: 张林剑; 姚远; 詹航敏; 黄小虎; 车雨芳
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2012-09-21
Filing date: 2012-09-21
Publication date: 2013-02-06

Abstract

本发明公开一种基于计算机视觉立方体标定的三维测量方法。该方法包括以下几个步骤：制作一个立方体，并且表面贴有黑白标记模板（大黑白方框与三个小黑方块的组合图案）；通过标定板标定来获取摄像机内参；然后提取图像对，通过对标定立方体进行计算求得摄像机的外参，完成摄像机的标定。再对获取图像对进行特征点识别，匹配，最后计算出关键点的三维坐标及其恢复实际长度。采用本发明的三维测量方法，操作简单，成本低廉，能够实时的获取测量结果，扩大了三维测量的应用范围。

Description

基于计算机视觉立方体标定的三维测量方法

技术领域

本发明涉及计算机视觉领域，一种以立方体为标定模板的基于计算机视觉立方体标定三维测量方法。

背景技术

计算机视觉要达到的最终目的是实现对于三维景物的理解，即实现人类视觉系统的某些功能。计算机立体视觉研究的目的是利用二维投影图像恢复三维景物。

在测量领域，尽管存在成熟的商业设备，但其标定系统复杂，需要精心地设计标定环境，且整个系统价格昂贵；更为关键的是，为保证精度，基于视觉的测量系统常常采用独立的高像素的单反相机作为图像获取设装备，这使得图像采集和测量两个过程必须分开完成，无法实时地得到测量结果。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于计算机视觉立方体标定的三维测量方法，该三维测量方法适用于多种场合，操作简单，并且具有很高的精度。

为达到上述目的，本发明的构思是：采用的标定物是一个50*50*50mm³的标定立方体，并且自带夹持装置。首先对摄像机进行标定，得到摄像机的内外参数；再对获取的图像对进行特征点识别，匹配，最后计算出关键点的三维坐标及其恢复实际长度。

根据上述发明构思，本发明采用如下的技术方案：一种基于计算机视觉立方体标定的三维测量。其特征在于，操作步骤如下：

1. 首先制作立方体。本发明的立方体尺寸为50*50*50mm³且带有夹持装置，表面贴有黑白标记模板（大黑白方框与三个小黑方块的组合图案）；

2. 利用点阵图形模板来标定摄像机内参数，然后利用标定立方体标定摄像机外参及采集图像对；

3. 然后利用SIFT方法对获得的图像对进行特征点识别，利用Flann进行特征点的匹配；

4. 最后计算出关键点的三维坐标，恢复实际长度。

本发明与现有的技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：本方法只需表面贴有黑白标记模板的立方体，就能得到随着摄像机位置变动而引起改变的外参，操作简单，减小了人工干预带来的误差，提高了标定精度，扩大了标定范围；并且无需高精度的单反相机，降低的测量的经济成本；最重要的是能够实时的获取高精度的测量结果。该发明适用于计算机视觉中的摄像机标定，工件测量，工业设计等领域。

附图说明

图1为标定立方体及其夹持装置等轴图。

图2为标定立方体的各个方向的等轴图。

图3为本发明的基于计算机视觉立方体标定的三维测量方法的流程图。

图4为摄像机内参标定板。中心点到相邻中心点的距离为40mm，点阵数为4

6。

图5为立体视觉的对极几何。

图6为理想测量系统物理模型。

图7为理想测量系统几何模型。

具体实施方式

本发明的实施例结合附图详述如下：

实施例一：

参见图1和图3，本基于计算机视觉立方体标定的三维测量方法，其特征在于，包括以下步骤：

1) 利用表面贴有黑白标记——大黑白方框与三个小黑方块的组合图案的立方体自带夹持装置，作为标定物；

2) 利用点阵图形模板来标定摄像机内参数，然后利用标定立方体标定摄像机外参及采集图像对；

3) 对获取的图像对利用SIFT方法进行特征点识别，匹配；

4) 最后计算出关键点的三维坐标，恢复实际长度。

实施例二：

本实施例与实施例一基本相同，特别之处在于：

1) 所述黑白标记为一套模板，并且各不相同。

2) 所述立方体标定物及其自带的夹持装置为50*50*50mm³，夹持装置可以在0到50mm之间自由滑动固定。

3) 所述摄像机标定分为两个独立部分，内参与外参的标定。提取多幅图像，利用图像坐标系，世界坐标系及其图像坐标系之间的关系得到投影矩阵，将投影矩证进行QR分解得出摄像机的内外参数。

4) 所述以标定立方体任意一个黑白标记模板中心为三维坐标原点来求出摄像机拍摄图片时的转移矩证，利用转移矩证来恢复关键点的三维坐标。

实施例三：

本发明的基本思想是：以表面贴有黑白标记模板的立方体为标定物，移动摄像机，使其一直处于摄像机视场区域内，从不同的角度拍摄两幅图片，即可完成摄像机的标定。标定后利用SIFT方法对进行特征点识别，利用Flann进行特征点的匹配，计算出关键点的三维坐标，最后恢复实际长度。

下面结合具体的实施和附图对本发明做进一步的详细说明。

图1为本实施例的标定立方体及其夹持装置。其中1-1为标定立方体装置，表面贴有黑白标记模板，如图2所示，其中立方体四面都贴有黑白标记模板，另外两面为槽口，方便于夹持装置的安装于卸载。1-2为夹持装置的导轨，1-3为夹持装置的定位滑块，可以在导轨上任意滑动；1-2和1-3一起用于对标定立方体的固定。

图3为本实施例的摄像机标定法的流程图。如图所示，本实施例包含以下步骤：

步骤3-1：制作一个图1所示的立方体，四面贴有黑白标记模板。

其中立方体尺寸为50*50*50mm³，黑白标记模板必须事先通过模式匹配的工具包训练成功，保证摄像头能够任意角度正确地识别，并且按顺序编号模板1，2，3，4。

步骤3-2：利用点阵图形模板来标定摄像机内参数，然后进行图像采集，利用标定立方体标定摄像机外参。

摄像机标定是为了建立三维世界坐标与二维图像坐标之间的一种对应关系。本实施例采用一个摄像机进行图像采集。点阵图标定板规格如图4所示，中心点到相邻中心点的距离为40mm，点阵数为4

6。

本实施例的标定方法需要摄像机从不同的角度拍摄点阵图形标定板的多幅图像标定摄像机内参A，即为得到焦距f，成像原点(u₀，v₀)。然后摄像机平移，使得标定立方体与测量物同时在摄像机视域内，获取一幅图像；然后平移摄像机，获取另一位置的图像。利用两次的位置关系即可获得摄像机的两个外参[R₁ t₁]和[R₂ t₂]。

摄像机为针孔模型，则空间点P（X_w，Y_w，Z_w）与图像点p（u，v）之间的映射关系为：

Figure 2012103523651100002DEST_PATH_IMAGE003

（公式1）

其中，

Figure 2012103523651100002DEST_PATH_IMAGE005

为摄像机的内参，dx，dy为每一像素在x轴和y轴方向上的物理尺寸，(u₀，v₀)为以像素为单位的图像中心点的坐标，f为摄像机的焦距，f_x=f/d_x，f_y=f/d_y。[R t]为摄像机外参，令

Figure 2012103523651100002DEST_PATH_IMAGE007

，

Figure 2012103523651100002DEST_PATH_IMAGE009

，则上式可写为：

，其中

为投影矩阵，它是标定板上的点和其像点之间的映射。在已知空间点和其对象点后，可根据最小二乘方程，采用Levenberg-Marquardt算法求解得到H矩阵，将投影矩阵H利用QR分解分解出摄像机内参A，和外参[R t]。

得到摄像头的[R₁ t₁]和[R₂ t₂]后，即可完成摄像机姿态估计：摄像头拍摄第一幅图像1时，此时摄像头在以标定立方体上任意一个黑白标记模板(假设为模板1)中心为原点的转移矩阵为[R₁ t₁]；拍摄另一幅图像2，利用同样的方法得到此时摄像头在以任意一个黑白标记模板(假设为模板2)中心为原点的转移矩阵[R₂ t₂]。由于两转移矩证的坐标系不同，此时必须将两矩阵转换到同一坐标系下：将两个黑白标记模板中心之间的转移矩证M₁₂乘以转移矩阵[R₂ t₂]得到

，即

（此时

，根据两模板之间的位置关系求得，由于各个模板中心的不同，M的值也各不相同），即将两个转移矩阵换算到以模板1为中心的坐标系中，即完成摄像机姿态估计[R₁ t₁]与

。

步骤3-3：利用SIFT方法对进行特征点识别，再利用Flann进行特征点的匹配。

利用SIFT方法对两张图片进行特征点的提取（如果特征不明显，则进行手动提取），然后利用Flann方法对同一空间景物在不同视点下投影图像中像素间的对应关系来匹配拍摄得到图像对的三维点。两幅图像中对应点匹配后得到视差图，从视差图可以看出立体匹配的效果。

步骤3-4：最后计算出关键点的三维坐标，恢复实际长度。

本实施例利用单目摄像机的运动模型模拟出立体视觉模型，立体视觉的基本几何原理是对极几何，如图5，即将两个针孔模型和一些新的被成为极点的兴趣点结合起来。每台摄像机都有独立的投影中心，分别为O_l和O_r，以及相应的投影平面∏_l和∏_r。物理坐标系中点P在每个投影平面上的投影点，分别记为p_l和 p_r，新感兴趣的点叫极点。由实际点P和两个极e_l和e_r点确定的平面叫极面，线p_le_l和p_re_r称为极线。

三维计算就是利用公式1的数学模型，只要对摄像机进行定标获取内外参，及对图像进行特征提取与匹配，就可以解出空间点的三维坐标。

由步骤3-2和步骤3-3，摄像机已标定，假设它们的投影方程分别为M₁和M₂；空间点P在摄像机的两个图像点已从两个图像中分别检测出来，即已知P_l与Pr为空间同一点P的对应点。根据公式1，可以建立以下方程：

联立两方程，即可求得P点的三维空间坐标（X，Y，Z）。

本实施例通过标定立方体的实际长度恢复待测物体的实际长度。如图6，利用同样的方法得到A，B，C，D的三维坐标点，即可得到欧氏距离L_AB，L_CD。如图7，利用关系式

通过S_AB=50mm（S_AB为标定立方体的边长）恢复S_CD。此发明三维测量系统即完成。

如果测量物体过于庞大，以至于摄像机在能分辨范围内不能完全获取测量物体的图像，则可以增加标定立方体的数目（其中表面黑白标记各不相同）。依据同样的原理，只需知道标定立方体之间的位置关系，求得测量点与标定立方体中的位置关系，通过坐标的转换即可将所有三维坐标转换到同一坐标系下，即可恢复实际长度。

上面结合附图对本实施例进行了说明，但本发明不限于上述实施例，还可以根据本发明的目的作出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合、简化，均应为等效的置换方式，都属于本发明的保护范围。

Claims

1.一种基于计算机视觉立方体标定的三维测量方法，其特征在于，包括以下步骤：

1）利用表面贴有黑白标记——大黑白方框与三个小黑方块的组合图案的立方体自带夹持装置，作为标定物；

2）利用点阵图形模板来标定摄像机内参数，然后利用标定立方体标定摄像机外参及采集图像对；

3）对获取的图像对利用SIFT方法进行特征点识别，匹配；

4）最后计算出关键点的三维坐标，恢复实际长度。

2.根据权利要求1所述的基于计算机视觉立方体标定的三维测量方法，其特征在于，所述黑白标记为一套模板，并且各不相同。

3.根据权利要求1所述的基于计算机视觉立方体标定的三维测量方法，其特征在于，所述立方体标定物及其自带的夹持装置为50*50*50mm³，夹持装置可以在0到50mm之间自由滑动固定。

4.根据权利要求1所述的基于计算机视觉立方体标定的三维测量方法，其特征在于，所述摄像机标定分为两个独立部分，内参与外参的标定；提取多幅图像，利用图像坐标系，世界坐标系及其图像坐标系之间的关系得到投影矩阵，将投影矩证进行QR分解得出摄像机的内外参数。

5.跟据权利要求1所述的基于计算机视觉立方体标定的三维测量方法，其特征在于，所述以标定立方体任意一个黑白标记模板中心为三维坐标原点来求出摄像机拍摄图片时的转移矩证，利用转移矩证来恢复关键点的三维坐标。