CN105957096A - 一种用于三维数字图像相关的相机外参标定方法 - Google Patents

Abstract

本发明公开了一种用于三维数字图像相关的相机外参标定方法，包括以下步骤：标定两个相机内参；根据实验要求安装两个相机，使得被测区域成像于两个相机之中；在被测试样表面制备散斑或直接使用被测试样表面的自然纹理作为位置信息载体；通过同步采集装置使得两个相机同步采集一幅试样图像；基于数字图像相关技术对两个相机图像中的子区进行匹配；根据两个相机图像中子区匹配的结果及之前标定的相机内参，标定相机之间的相对外参并确定平移向量的尺度信息。本发明具有操作简单、实用性强等优点，可实现三维数字图像相关中相机外参的标定和全场三维变形测量。

Description

一种用于三维数字图像相关的相机外参标定方法

技术领域

本发明涉及非接触三维变形测量领域，特别涉及一种用于三维数字图像相关的相机外参标定方法。

背景技术

三维数字图像相关法是一种非接触式的光学全场测量方法。它结合了数字图像相关法和计算机视觉原理，可以准确测量物体表面的三维形貌和变形。相比于光测力学中其他几种基于干涉原理的测量方法，它具有诸多优势，如设备简单、无需隔震、量程大、测量范围可控等。目前，三维数字图像相关技术被广泛应用于科学与工程领域。

使用三维数字图像相关技术进行全场变形测量，相机标定是保证测量精度的关键步骤。现有的相机标定方法，需要使用一块特制的标定板(如棋盘等)，通过左右相机同时拍摄标定板的姿态来标定相机之前的相对外参。该方法不仅操作繁杂，而且对于大面积的实际工程测量几乎不能实施。

发明内容

技术问题：本发明提供一种无需标定板即可完成三维数字图像相关中左右相机外参标定，并且操作简单、易于实施的用于三维数字图像相关的相机外参标定方法。

技术方案：本发明的用于三维数字图像相关的相机外参标定方法，包括以下步骤：

1)预先对两个相机内部参数进行标定，包括：主点位置(u₀，v₀)，镜头焦距f，像元尺寸(S_x，S_y)以及镜头畸变参数矩阵D_i，所述主点位置为镜头的光轴与靶面交点的像素坐标，所述镜头畸变参数矩阵包括6阶径向畸变参数K₁、K₂、K₃、K₄、K₅、K₆和2阶切向畸变参数P₁、P₂；

2)将两个相机安装在被测区域两侧，使得被测区域成像于两个相机之中；

3)在被测试样表面制备随机的散斑图案，将制备的散斑图案用做位置信息载体，或者在试样表面存在随机性好的自然纹理时，将所述随机性好的自然纹理用做位置信息载体；

4)通过同步采集装置使得两个相机同时采集一幅试样表面图像，并获取所述试样表面图像的位置信息载体；

5)基于数字图像相关技术，对步骤4)中两个相机采集的试样表面图像的位置信息载体进行数字图像相关匹配，匹配的点数不少于5个；

6)根据步骤5)中数字图像相关匹配的结果及步骤1)中标定的相机内部参数，计算相机之间的相对外部参数，并使用步骤4)中两个相机采集的试样表面图像中已知尺寸的物件来确定相对外部参数中平移向量的尺度信息。

进一步的，本发明方法中，步骤6)中，采用相对定向算法中的五点法计算相机之间的相对外部参数，具体流程为：

a)根据匹配点与相机光心连线的共面特性，对每个匹配点构建一个共面方程，得到一个联立的方程组；

b)对于步骤a)中联立的方程组，使用非线性优化算法优化求解得到相对外部参数；

c)利用步骤b)中求得的相对外部参数，计算两个已知距离点之间的距离，根据求得的距离与已知的距离来计算相对外部参数中平移向量的尺度信息；

d)依据步骤c)中求得的尺度信息，对相对外部参数中的平移向量进行修正。

进一步的，本发明方法中，步骤1)中，采用平面标定方法对两个相机内部参数进行标定。

进一步的，本发明方法中，步骤3)中，采用喷漆喷涂或数字散斑转印的方法制备随机的散斑图案。

进一步的，本发明方法中，步骤3)中，根据相机采集到的试样表面图像的局部灰度梯度来判断试样表面自然纹理的随机性：如图像中所有局部灰度梯度均达到预设的判断阈值，该试样表面即存在随机性好的自然纹理，所述试样表面图像的局部灰度梯度根据下式确定：

${\mathrm{\δ}}_x=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{f}_x{\left(x_{ij}\right)}^2$

${\mathrm{\δ}}_y=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{f}_y{\left(x_{ij}\right)}^2$

其中，δ_x和δ_y分别为子区在x方向和y方向的灰度梯度，i和j分别为子区中像素点的横向坐标和纵向坐标，M和N分别为像素值表示的子区的宽度和高度；f_x和f_y分别为像素点x_ij在x方向和y方向的灰度导数。

进一步的，本发明方法中，步骤5)中采用反向组合高斯-牛顿算法进行数字图像相关匹配。

本发明方法利用试样表面的随机散斑特征标定相机之间的相对位置关系，采用被测试样表面随机散斑信息标定相机之间的相对位置关系，无需使用标定板，有利于三维数字图像相关测量方法在大面积实际工程测量中的实施。

有益效果：本发明与现有技术相比，具有以下优点：

传统的三维数字图像相关中需要使用标定板来完成左右相机之间相对外部参数的标定，在大面积的实际工程测量中难以实现。本发明与传统标定方法相比，无需标定板即可完成三维数字图像相关测量系统中左右相机之间外参的标定，可以节省制作大型标定板的成本；同时，利用左右相机采集的散斑图像完成相机之间外参的标定，具有实时标定的功能，可用于相机之间相对位置的矫正；在实验现场无需繁琐的标定过程，因此非常适合于大视场测量与实际工程测量。

附图说明

图1为发明方法流程图。

图2为相机内参标定示意图。

图3为双目视觉测量示意图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。

本发明的用于三维数字图像相关的相机外参标定方法，包括以下步骤：

1)将相机与定焦镜头固定，使其相对位置保持不变，来确保相机的内部参数在后面的标定过程中不会发生改变；

2)在实验室中预先对两个相机内部参数进行标定，标定方法为平面标定法，如图2所示，至少需要在三个不同位置记录标定板图像。标定参数包括：主点位置(u₀，v₀)，镜头焦距f，像元尺寸(S_x，S_y)以及镜头畸变参数矩阵D_i，其中主点位置为镜头的光轴与靶面交点的像素坐标，所述镜头畸变参数矩阵一般包括6阶径向畸变参数K₁、K₂、K₃、K₄、K₅、K₆和2阶切向畸变数P₁、P₂；

3)在实验现场根据测量视场及工作距离的要求安装两个相机，调整相机观测位置及观测角度，使得被测区域完整的成像于两个相机之中；

4)在被测试样表面制备随机的散斑图案，可以使用喷漆或数字散斑转印的方法来制备随机散斑图案。若试样表面存在随机性好的自然纹理，也可以将自然纹理用做位置信息载体。为了判断试样表面是否存在随机性好的自然纹理，可以使用安装好的相机采集一张试样的图像，根据以下公式计算图像中子区的灰度梯度：

${\mathrm{\δ}}_x=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{f}_x{\left(x_{ij}\right)}^2$

${\mathrm{\δ}}_y=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{f}_y{\left(x_{ij}\right)}^2$

其中，δ_x和δ_y分别为子区在x方向和y方向的灰度梯度，i和j分别为子区中像素点的横向坐标和纵向坐标，M和N分别为像素值表示的子区的宽度和高度；f_x和f_y分别为像素点x_ij在x方向和y方向的灰度导数。只有当每一块子区的灰度梯度都大于设定的阈值，才能判定其表面存在随机性好的自然纹理。

5)将相机设置成硬同步模式，通过信号触发器发射同步信号使得两个相机同时采集一幅试样图像；

6)对步骤(5)中采集的图像划分子区，子区的形状采用正方形。基于二维数字图像相关技术，对左右图像中划分的子区进行数字图像相关匹配，数字图像相关匹配中的匹配算法选用反向组合高斯牛顿算法，数字图像相关匹配的形函数选用二阶形函数，匹配过程中至少需要5个子区被匹配上。

7)根据匹配点与相机光心连线的共面特性，如图3所示，对每个匹配点构件一个共面方程：

其中O₁、O₂分别为左右相机的光心，A₁、A₂分别为左右图像中匹配子区的中心点。若右相机坐标系相对于左相机坐标系的平移向量和旋转向量分别为T＝(t_x，t_y，t_z)^T和r＝(n_x，n_y，n_z)^T，那么则有

其中下标L和R分别代表左右相机，R为旋转矩阵，可由旋转向量通过罗德里格斯变换得到，(x₁y₁)为A₁在左相机坐标系中的坐标，(x₂y₂)为A₂在右相机坐标系中的坐标，其满足

$\left\{\begin{array}{c}{x}_1=(u_1-u_{0L})\frac{1}{S_{xL}}\\ y_1=(v_1-v_{0L})\frac{1}{S_{yL}}\end{array}\right.$

$\left\{\begin{array}{c}{x}_2=(u_2-u_{0R})\frac{1}{S_{xR}}\\ y_2=(v_2-v_{0R})\frac{1}{S_{yR}}\end{array}\right.$

由此可知，对于物体上匹配的点A，可定义下式

F＝t_x(Y₁Z₁-Y₂Z₂)+t_y(X₂Z₁-X₁Z₂)+t_z(X₁Y₂-X₂Y₁)

那么如果物体上共n个点被匹配上，可得

${(n_x,n_y,n_z,t_x,t_y,t_z)}_{opt}=\arg min\underset{i=1}{\overset{n}{\Σ}}{\left(F_i\right)}^2$

根据上式，通过非线性优化算法即可计算得到平移向量和旋转向量。在实际计算中，如果相机是横向布置的，则将平移向量归一化为(1，t_y/t_x，t_z/t_x)^T。同样地，如果相机是纵向布置的，则将平移向量归一化为(t_x/t_y，1，t_z/t_y)^T，归一化之后共有5个参数需要计算。

使用非线性优化算法计算得到平移向量和旋转向量之后，需要对平移向量中的尺度信息进行标定。针对计算得到的相对外参，选取图像中已知欧式距离d₁的两点进行三维重构，根据三维重构的结果可以计算得到两点之间的欧式距离d₂，那么尺度信息的系数则为d₁/d₂。将系数d₁/d₂与之前得到的平移向量相乘即可得到校正后的平移向量。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (6)

1.一种用于三维数字图像相关的相机外参标定方法，其特征在于，该方法包括以下步骤：

1)预先对两个相机内部参数进行标定，包括：主点位置(u₀，v₀)，镜头焦距f，像元尺寸(S_x，S_y)以及镜头畸变参数矩阵D_i，所述主点位置为镜头的光轴与靶面交点的像素坐标，所述镜头畸变参数矩阵包括6阶径向畸变参数K₁、K₂、K₃、K₄、K₅、K₆和2阶切向畸变参数P₁、P₂；

2)将两个相机安装在被测区域两侧，使得被测区域成像于两个相机之中；

3)在被测试样表面制备随机的散斑图案，将制备的散斑图案用做位置信息载体，或者在试样表面存在随机性好的自然纹理时，将所述随机性好的自然纹理用做位置信息载体；

4)通过同步采集装置使得两个相机同时采集一幅试样表面图像，并获取所述试样表面图像的位置信息载体；

5)基于数字图像相关技术，对步骤4)中两个相机采集的试样表面图像的位置信息载体进行数字图像相关匹配，匹配的点数不少于5个；

6)根据步骤5)中数字图像相关匹配的结果及步骤1)中标定的相机内部参数，计算相机之间的相对外部参数，并使用步骤4)中两个相机采集的试样表面图像中已知尺寸的物件来确定相对外部参数中平移向量的尺度信息。

2.根据权利要求1所述的用于三维数字图像相关的相机外参标定方法，其特征在于，所述步骤6)中，采用相对定向算法中的五点法计算相机之间的相对外部参数，具体流程为：

a)根据匹配点与相机光心连线的共面特性，对每个匹配点构建一个共面方程，得到一个联立的方程组；

b)对于步骤a)中联立的方程组，使用非线性优化算法优化求解得到相对外部参数；

c)利用步骤b)中求得的相对外部参数，计算两个已知距离点之间的距离，根据求得的距离与已知的距离来计算相对外部参数中平移向量的尺度信息；

d)依据步骤c)中求得的尺度信息，对相对外部参数中的平移向量进行修正。

3.根据权利要求1所述的用于三维数字图像相关的相机外参标定方法，其特征在于，所述步骤1)中，采用平面标定方法对两个相机内部参数进行标定。

4.根据权利要求1、2或3所述的用于三维数字图像相关的相机外参标定方法，其特征在于，所述步骤3)中，采用喷漆喷涂或数字散斑转印的方法制备随机的散斑图案。

5.根据权利要求1、2或3所述的用于三维数字图像相关的相机外参标定方法，其特征在于，所述步骤3)中，根据相机采集到的试样表面图像的局部灰度梯度来判断试样表面自然纹理的随机性：如图像中所有局部灰度梯度均达到预设的判断阈值，该试样表面即存在随机性好的自然纹理，所述试样表面图像的局部灰度梯度根据下式确定：

${\mathrm{\δ}}_x=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{f}_x{\left(x_{ij}\right)}^2$

${\mathrm{\δ}}_y=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{f}_y{\left(x_{ij}\right)}^2$

其中，δ_x和δ_y分别为子区在x方向和y方向的灰度梯度，i和j分别为子区中像素点的横向坐标和纵向坐标，M和N分别为像素值表示的子区的宽度和高度；f_x和f_y分别为像素点x_ij在x方向和y方向的灰度导数。

6.根据权利要求1、2或3所述的用于三维数字图像相关的相机外参标定方法，其特征在于，所述步骤5)中采用反向组合高斯-牛顿算法进行数字图像相关匹配。