CN107230234A

CN107230234A - 一种基于三线结构光的相机平面标定方法

Info

Publication number: CN107230234A
Application number: CN201710317687.5A
Authority: CN
Inventors: 吴芳; 茅健; 罗翔勇; 张淑杰; 范红平; 秦伟; 李情
Original assignee: Shanghai University of Engineering Science
Current assignee: Shanghai University of Engineering Science
Priority date: 2017-05-08
Filing date: 2017-05-08
Publication date: 2017-10-03

Abstract

本发明涉及一种基于三线结构光的相机平面标定方法，所述方法包括下列步骤：建立三线结构光标定平台，并在三线结构光标定平台内对棋盘格标定模板进行拍摄；对拍摄的图像进行Harris角点检测，得到相机的畸变模型；根据BP神经网络对相机的畸变模型进行坐标变换，得到在世界坐标系下校正后的相机模型；根据张正友平面标定法对校正后的相机模型进行标定。与现有技术相比，本发明具有标定精度高、标定速度快、易于操作以及实现简单等优点。

Description

一种基于三线结构光的相机平面标定方法

技术领域

本发明涉及相机标定领域，尤其是涉及一种基于三线结构光的相机平面标定方法。

背景技术

相机标定技术是线结构光三维测量的关键技术之一。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。传统上相机的标定方法，无法得到精确的相机畸变模型，标定精度低，难以完全消除相机的畸变误差。因此，需要一种针对相机畸变问题的相机标定方法。

发明内容

本发明的目的是针对上述问题提供一种基于三线结构光的相机平面标定方法。

本发明的目的可以通过以下技术方案来实现：

一种基于三线结构光的相机平面标定方法，所述方法包括下列步骤：

1)建立三线结构光标定平台，并在三线结构光标定平台内对棋盘格标定模板进行拍摄；

2)对步骤1)中拍摄的图像进行Harris角点检测，得到相机的畸变模型；

3)根据BP神经网络对相机的畸变模型进行坐标变换，得到在世界坐标系下校正后的相机模型；

4)根据张正友平面标定法对步骤3)中校正后的相机模型进行标定。

所述三线结构光标定平台包括：

结构光发生组件，用于为棋盘格标定模板的拍摄提供三线结构光；

可调拍摄组件，用于拍摄棋盘格标定模板；

底座，用于防止棋盘格标定模板，并支撑结构光发生组件和可调拍摄组件。

所述结构光发生组件包括：

结构光发生器，用于产生三线结构光；

结构光发生器调节器，用于调节结构光发生器的高度和旋转角度，包括第一立柱、夹具和第一调节固定座，所述第一立柱固定于底座上，所述第一调节固定座安装于第一立柱上，所述夹具设置于第一调节固定座上并与结构光发生器连接。

所述可调拍摄组件包括：

相机，用于对棋盘格标定模板进行拍摄；

相机调节器，用于实现相机的多自由度调节，包括第二立柱、滑动光轴、第二调节固定座、微调升降台、相机固定架和夹相机顶块，所述第二立柱固定于底座上，所述第二调节固定座安装于第二立柱上，所述滑动光轴设置于第二调节固定座上并与相机通过相机固定架连接，所述微调升降台通过夹相机顶块固定于相机上；

上位机，与相机连接，用于接收相机拍摄的图像。

所述步骤3)具体为：

31)将步骤2)中得到的相机的畸变模型在像素坐标系下的二维坐标作为BP神经网络的输入层数据；

32)建立三层BP神经网络，依次进行前向计算和反向计算来实现BP神经网络的自适应学习；

33)对计算过程中的权值进行修正，得到在世界坐标系下校正后的相机模型。

所述BP神经网络的自适应学习的学习率具体为：

其中，η为学习率，a为减量因子，b为增量因子，n为迭代次数，E为误差函数。

所述对计算过程中的权值进行修正包括对隐含层与输出层之间的权值进行修正和对隐含层与输入层之间的权值进行修正。

所述对隐含层与输出层之间的权值进行修正具体为：

其中，Δv_lj为隐含层与输出层之间的权值的调整量，n为迭代次数，η为学习率，E为误差函数，α为动量因子。

所述对隐含层与输入层之间的权值进行修正具体为：

其中，Δw_ji为隐含层与输入层之间的权值的调整量，n为迭代次数，η为学习率，E为误差函数，α为动量因子。

所述在世界坐标系下校正后的相机模型在Z_w维度中的值为0。

与现有技术相比，本发明具有以下有益效果：

(1)通过引入BP神经网络，来实现相机模型在像素坐标系和世界坐标系之间的坐标变换，利用BP神经网络强大的自适应学习能力，在坐标变换的过程中，实现相机模型的畸变校正，提高了后续在对相机平面标定过程中标定的准确性。

(2)利用自行建立的三线结构光标定平台对棋盘格标定模板进行拍摄，该标定平台将结构光发生组件和可调拍摄组件固定在同一底座上，免去了在拍摄过程中需要人工拿着结构光发生器和相机对棋盘格进行拍摄，减轻了工作量的同时也减少了人为干扰。

(3)结构光发生组件除了包含结构光发生器，还包含结构光发生调节器，可以对结构光发生器的高度和旋转角度进行灵活调节，保证了可以提供符合工作人员需求的结构光，使用灵活的同时也增强了标定的准确度。

(4)可调拍摄组件除了相机以外还设有相机调节器，通过滑动光轴和调节固定座的配合实现相机的多自由度调节，而且设有微调升降台，可以对相机的拍摄角度进行进一步微调，使得可以最大程度的拍摄符合工作人员预期的图像，为提高后续标定的准确度做出准备。

(5)利用BP神经网络进行自适应学习，由于BP神经网络具有动态的进行网络学习、取得合理地学习率、网络的收敛速度加快以及防止网络振荡的产生等优点，因而最大程度的减小了相机模型的畸变程度，提高标定的准确性。

(6)在世界坐标系下校正后的相机模型在Z_w维度中的值为0，即将三维坐标降低为二维坐标，这种方法既可以提高标定速度，也不会影响标定精度。

附图说明

图1为本发明的方法流程图；

图2为三线结构光标定平台的结构示意图；

其中，1为棋盘格标定模板，2为结构光发生器，3为夹具，4为调节固定座，5为立柱，6为相机。7为滑动光轴，8为微调升降台，9为相机固定架，10为夹相机顶块，11为镜头。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供的是一种基于三线结构光的相机平面标定方法，具体包括下列步骤：

s1)建立三线结构光标定平台，并在三线结构光标定平台内对棋盘格标定模板1进行拍摄；

s2)对步骤s1)中拍摄的图像进行Harris角点检测，得到相机的畸变模型；

s3)根据BP神经网络对相机的畸变模型进行坐标变换，得到在世界坐标系下校正后的相机模型；

s4)根据张正友平面标定法对步骤s3)中校正后的相机模型进行标定。

下面对上述步骤进行具体描述：

三线结构光标定平台结构特点：

图2中，该标定平台主要包括相机6、镜头11、图像采集卡、结构光发生器2、夹具3、立柱5、夹相机顶块10等，其中相机固定架9与相机6连接固定，固定架为多自由度可调节高度的机械部分。结构光发生器2与电源插座连接以提供光源，其固定方式为可调节高度且可旋转角度。标定板放置在底座上待测。结构光发生器2可以通过调节固定座4进行上下调整以及结构光方向的调整。相机6可以通过调节固定座4进行上下调整，通过滑动光轴7进行左右的调整以及相机6方向的调整，通过微调升降台8进行相机6位置的微调。本实施例中采用的棋盘格标定模板1为8×11黑白方块，其方块大小为30×30mm，材料为许多黑白交错的正方形格子组成的薄板，板子表面平整光滑，相机6中可以采集到棋盘格标定模板1的全部图像，最终能够实现将三线结构光相机平面的标定。

标定原理：

先利用Harris角点检测方法提取特征点坐标，并选用了BP神经网络来校正工业相机的畸变模型，以提高标定算法的优化速度和标定精度；最后采用张正友的平面标定法对校正后的摄像机模型进行标定实验。采用BP神经网络校正摄像机畸变模型，设图像像素坐标为(u,v)、世界坐标为(X_w,Y_w,Z_w)。

该BP算法包括以下两个重要的过程。正向传播过程：输入信号从输入层传向中间隐含层，再由隐含层传向输出层。反向传播过程：当输出层得不到期望的输出时，则转入反向传播过程，将误差信号沿正向传播的通路反向返回。

BP神经网络结构的设计如下：

神经网络结构的设计是一个重要环节，主要包括输入层数据的设计、学习率的确定、增量因子、减量因子、动量因子、动量项权值的设计。它们的具体说明如下：

输入层数据：图像像素坐标；

输出层数据：经网络学习后输出(X_w,Y_w)的二维坐标；

学习率η：采用的学习率η自适应调整公式如下：

式中，a为减量因子，b为增量因子，E为误差函数。

本实施例中，各参数的取值为：减量因子：a＝0.9；增量因子：b＝1.1；动量因子：α＝0.8；

动量项的权值：附加动量项的权值调整公式如下式所示：

式中Δv_lj(j＝1，2，...；l＝1，2，...)隐含层与输出层间权值的调整量，Δw_ji(i＝1，2...；j＝1，2，...)隐含层与输入层间权值的调整量，α为动量因子，0＜α＜1，带有α的那一项为动量项，取值为0.8，n为迭代次数。

通过学习二维与三维之间的坐标关系，利用创建的神经网络可以得出二维图像像素坐标与三维世界坐标之间的关系。考虑到设计的网络是为了实现从图像坐标到三维坐标之间的映射，即从图像像素坐标(u,v)到(X_w,Y_w,Z_w)的映射关系，同时采用基于平面共面点的方法来进行标定，也就是令三维坐标中的Z_w＝0把三维降低为二维，这样既可以提高运行速度，又不影响精度。该网络设计具有以下优点：动态的进行网络学习；取得合理地学习率；网络的收敛速度加快；防止网络振荡的产生。

张正友法是一种介于传统标定法和自标定法之间的一种标定方法，该方法操作简便，精度高，成本低，速度快，是标定方法中的不二选择。该标定方法需要对标定板进行不同空间角度的抓拍图像，设O_w-X_wY_wZ_w为世界坐标系，O_c-X_cY_cZ_c为相机坐标系，标定板在平Z_w＝0面上，过程为：相机内参数的标定利用MATLAB的相机标定工具箱进行相机的标定，将得到矩阵A；计算相机外部参数。保持结构光发生器2和相机不动，拿下待测物体，计算工作台相对相机的外部参数。获得的相机外参数矩阵。由于图像已经进行了畸变校正，所以不用考虑摄像机畸变，则可以得到单应性矩阵、相机的内部参数以及世界坐标系、相机坐标系之间的关系，如下式所示：

上中的各个字母的含义如下：

H即为单应性矩阵；A中元素为摄像机机的内部参数；s＝Z_c即相机坐标系的第三个数值；T为从世界坐标系到相机坐标系的平移矩阵；r₁、r₂、r₃为从世界坐标系到相机坐标系的旋转矩阵R的列向量；f为相机的焦距，θ为坐标轴x_i与y_i之间的实际夹角，k,l为感光芯片像素的实际大小，x_i0,y_i0为图像的平面中心。

Claims

1.一种基于三线结构光的相机平面标定方法，其特征在于，所述方法包括下列步骤：

2.根据权利要求1所述的基于三线结构光的相机平面标定方法，其特征在于，所述三线结构光标定平台包括：

可调拍摄组件，用于拍摄棋盘格标定模板；

3.根据权利要求2所述的基于三线结构光的相机平面标定方法，其特征在于，所述结构光发生组件包括：

结构光发生器，用于产生三线结构光；

4.根据权利要求2所述的基于三线结构光的相机平面标定方法，其特征在于，所述可调拍摄组件包括：

相机，用于对棋盘格标定模板进行拍摄；

上位机，与相机连接，用于接收相机拍摄的图像。

5.根据权利要求1所述的基于三线结构光的相机平面标定方法，其特征在于，所述步骤3)具体为：

6.根据权利要求5所述的基于三线结构光的相机平面标定方法，其特征在于，所述BP神经网络的自适应学习的学习率具体为：

7.根据权利要求5所述的基于三线结构光的相机平面标定方法，其特征在于，所述对计算过程中的权值进行修正包括对隐含层与输出层之间的权值进行修正和对隐含层与输入层之间的权值进行修正。

8.根据权利要求7所述的基于三线结构光的相机平面标定方法，其特征在于，所述对隐含层与输出层之间的权值进行修正具体为：

<mrow> <msub> <mi>&Delta;v</mi> <mrow> <mi>l</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mi>&eta;</mi> <mfrac> <mrow> <mo>&part;</mo> <mi>E</mi> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>v</mi> <mrow> <mi>l</mi> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> <mo>+</mo> <msub> <mi>&alpha;&Delta;v</mi> <mrow> <mi>l</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

9.根据权利要求7所述的基于三线结构光的相机平面标定方法，其特征在于，所述对隐含层与输入层之间的权值进行修正具体为：

<mrow> <msub> <mi>&Delta;w</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mi>&eta;</mi> <mfrac> <mrow> <mo>&part;</mo> <mi>E</mi> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>w</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> </msub> </mrow> </mfrac> <mo>+</mo> <msub> <mi>&alpha;&Delta;w</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

10.根据权利要求1所述的基于三线结构光的相机平面标定方法，其特征在于，所述在世界坐标系下校正后的相机模型在Z_w维度中的值为0。