CN106127789A - 结合神经网络与虚拟靶标的立体视觉标定方法 - Google Patents

Abstract

本发明公开了一种结合神经网络与虚拟靶标的立体视觉标定方法，包括以下步骤：S1、利用单角点靶标构建立体虚拟靶标，在构建过程中获取角点图像并记录角点的世界三维坐标；S2、提取角点在图像中的像素坐标；S3、利用神经网络对角点的像素坐标与世界三维坐标进行训练；S4、将测试样本输入训练神经网络进行三维重建，计算重建误差；S5、改变神经网络的隐层节点数，使误差最小。本发明方法一方面利用单角点棋盘格构建范围可控的立体虚拟靶标，解决了大型靶标制作加工困难的问题；另一方面利用神经网络对像机进行标定，不需要建立复杂的非线性畸变模型，标定精度明显高于线性标定的方法。本发明切实可行、简单易操作并且精度高。

Description

结合神经网络与虚拟靶标的立体视觉标定方法

技术领域

本发明属于机器视觉领域，具体涉及大视场摄影测量中的双目标定方法。

背景技术

摄影测量技术因其非接触、高精度以及测量点不限等优良特性受到广泛青睐。尤其是近年来，像机成像材料及加工工艺的发展，更为此项技术在大尺寸工业结构上的广泛应用提供了可能。

摄影测量技术主要面临的是测量精度问题，大视场双目标定主要困难在于：1、由于像机非线性畸变存在，传统的标定往往需要建立复杂的像机模型，一定程度上增加了标定的繁琐性和困难度；2、大视场高精度标定需要相应的大尺寸标定板，而大尺寸标定板无论是在制作、加工还是运输上都有一定的困难。所以，目前的双目标定一般针对近距离小视野标定。

发明内容

本发明的目的在于避免现有技术中的不足而提供一种结合神经网络与虚拟靶标的立体视觉标定方法，以解决大型靶标制作加工困难、像机非线性畸变以及标定模型复杂的问题。

本发明的目的通过以下技术方案实现：

结合神经网络与虚拟靶标的立体视觉标定方法，包括以下步骤：

S1、利用单角点靶标构建立体虚拟靶标，在构建过程中获取角点图像并记录角点的世界三维坐标；

S2、提取角点在图像中的像素坐标；

S3、利用神经网络对角点的像素坐标与世界三维坐标进行训练；

S4、将测试样本输入训练神经网络进行三维重建，计算重建误差；

S5、改变神经网络的隐层节点数，使误差最小。

其中，在步骤S1中，构建立体虚拟靶标的具体步骤如下：

第一步，选定一个正对像机的竖直平面；

第二步，将单角点棋盘格放置在该竖直平面的一定位置处并且获取其图像；

第三步，把单角点棋盘格移动到该竖直平面的下一设定位置并且获取其图像；

第四步，依次进行该竖直平面上每个位置处图像的获取，所有单角点靶标图像重叠为一个平面虚拟靶标；

第五步，选定下一个正对像机的竖直平面，进行第二步至第四步的操作，得到该平面虚拟靶标；

第六步，重复第五步，得到若干个平面虚拟靶标；

第七步，依次根据该若干个平面虚拟靶标建立立体虚拟靶标。

其中，在步骤S2中，用matlab对每一幅图像进行提取，并把结果导出到excel表格。

其中，在步骤S3中，将角点在左右像机中的像素坐标(u_l,v_l)、(u_r,v_r)作为网络的输入，角点的世界三维坐标(X_w,Y_w,Z_w)作为网络的输出，进行神经网络的训练。

其中，所述神经网络采用三层BP神经网络，设输入层有m个节点，输出层有n个节点，隐层有l个节点，输入向量为[x₁,x₂,x₃……x_m]，w_ji为隐层节点与输入层节点的连接权值，则隐层节点的输入和输出为：

${\mathrm{NET}}_j=\underset{i=1}{\overset{n}{\Σ}}(x_i*w_{ji})---\left(1\right)$

O_j＝f₁(NET_j) (2)

隐层节点的作用函数f₁选取tansig型变换函数，设输出层节点k与隐层节点j的连接权值为w_kj，输出层节点的作用函数f₂选用purelin变换函数，则输出层节点k的输出为：

$y_k=f_2\left(\underset{j=1}{\overset{l}{\Σ}}\right(w_{kj}*O_j\left)\right)---\left(3\right)$

误差函数采用均方误差函数，对所有样本，总误差为：

$E=\frac{1}{2}\underset{p=1}{\overset{n}{\Σ}}\underset{k=1}{\overset{m}{\Σ}}{(y_{kp}-{\hat{y}}_{kp})}^2---\left(4\right).$

其中，设输入层有4个节点，输出层有3个节点。

其中，在步骤S4中，采用重建值与真实值的距离差在整个标定平面所占的比例作为相对误差值，公式如下：

$D=\sqrt{{(x-x_r)}^2+{(y-y_r)}^2+{(z-z_r)}^2}---\left(5\right)$

$Error=D/\sqrt{X^2+Y^2}---\left(6\right)$

式(5)中，(x，y，z)表示通过神经网络重建点的坐标，(xr，yr，zr)表示时间点的坐标；式(6)中，(X，Y)表示测试样本点的空间范围，D表示真实点与重建点的距离，Error是重建值与真实值的距离差在整个标定平面所占的比例，表示相对误差值。

本发明提出的结合神经网络与虚拟靶标的立体视觉标定方法，该方法一方面利用单角点棋盘格构建范围可控的立体虚拟靶标，单角点棋盘格易于制作加工，棋盘格角点所确定的像素坐标精确，并且构建的虚拟靶标范围可控，满足大视场像机标定中高精度、大尺寸靶标的要求，从而解决了大型靶标制作加工困难的问题；另一方面利用神经网络对像机进行标定，神经网络具有强大的非线性映射能力，通过训练能够作为复杂数学模型的虚表达，满足大视场像机标定中像机模型非线性映射的要求，这样不需要建立复杂的非线性畸变模型，实验表明，在虚拟靶标范围为560mm×400mm×600mm的大视场下双像机标定相对误差为0.92％，标定精度明显高于线性标定的方法，对双目像机的标定研究有一定的参考意义。本发明切实可行、简单易操作并且精度高。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是单角点棋盘格构成的单角点靶标示意图。

图2是构建虚拟靶标的示意图。

图3是角点提取的matlab界面。

图4是神经网络拓扑结构图。

图5是重建空间点效果图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

本发明使用的设备主要包括：美国Brown&Sharpe公司Global系列三坐标测量机一台，其测量范围为：700mm×1000mm×660mm；广州精谱徕公司G1GD05C型号的像机两台，该产品分辨率为640x480，帧率130fps；单角点靶标一个；三脚架两个；PC机一台以及千兆网GIGE接口数据线两条等。为对比分析本发明方法的性能，采用目前广泛使用的线性标定方法(DLT)作为对比实验。

本发明的具体实施步骤如下：

S1、构建规模为560mm×400mm×600mm的立体虚拟靶标并采集图像，并记录角点的世界三维坐标。具体的，图1所示为激光打印机打印的单角点棋盘格，将单角点棋盘格粘贴在三坐标测量机探头上。第一步，选定一个正对像机的竖直平面；第二步，将单角点棋盘格放置在该竖直平面左上角位置处并且获取其图像；第三步，把单角点棋盘格在该竖直平面水平向右移动140mm处并且获取其图像；第四步，如图2所示，按照水平距离为140mm，竖直距离为100mm的方式拍摄5×5个角点位置，得到一个平面虚拟靶标；第五步，将单角点棋盘格在下一个距离100mm的竖直平面进行第二步至第四步同样的操作，得到第二个平面虚拟靶标；第六步，重复第五步，共得到七个平面虚拟靶标；第七步，根据该七个平面虚拟靶标依次进行立体虚拟靶标的建立。

S2，角点提取。如图3和表1所示，用matlab对每一幅图像进行提取，并把结果导出到excel表格。其中表1是角点提取的部分数值结果，图3是单幅图像角点提取的matlab界面展示。

表1：部分角点提取的数值结果

u	v
		3.9389479e+02	2.4437789e+02
1.4188527e+03	2.8432709e+02
		2.4037173e+03	3.4376227e+02
3.5892353e+02	9.8164220e+02
		1.3941623e+03	1.0220714e+03

S3，神经网络的训练。将角点在左右像机中的像素坐标(u_l,v_l)、(u_r,v_r)作为网络的输入，角点的世界三维坐标(X_w,Y_w,Z_w)作为网络的输出，进行神经网络的训练。

本发明采用的是BP(Back Propagation)神经网络，其模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)，是一种多层前馈网络，其结构如图4所示。BP神经网络的工作原理是：依据样本的实际输出和理论输出误差，按照最速下降法不断对网络的阈值和权值从输出层开始逐层反向调整，最终使网络的误差平方和最小。根据Kolmogorov定理和BP定理可知一个三层的BP神经网络理论上可以逼近任何函数。

在双目视觉标定中，空间标志点的空间坐标和点在左右相机成像平面的像素坐标是一种非线性映射关系。将标志点在左右两个像机上的像素坐标(u_l,v_l)、(u_r,v_r)作为网络的输入，把标志点在世界坐标系中的三维坐标(X_w,Y_w,Z_w)作为网络的输出，故网络的输入为4个节点，输出为3个节点。对应的，在本实施例中，输入层有4个节点，输出层有3个节点，则隐层节点的输入和输出为：

${\mathrm{NET}}_j=\underset{i=1}{\overset{n}{\Σ}}(x_i*w_{ji})---\left(1\right)$

O_j＝f₁(NET_j) (2)

隐层节点的作用函数f₁选取tansig型变换函数，设输出层节点k与隐层节点j的连接权值为w_kj，输出层节点的作用函数f₂选用purelin变换函数，则输出层节点k的输出为：

$y_k=f_2\left(\underset{j=1}{\overset{l}{\Σ}}\right(w_{kj}*O_j\left)\right)---\left(3\right)$

误差函数采用均方误差函数，对所有样本，总误差为：

$E=\frac{1}{2}\underset{p=1}{\overset{3}{\Σ}}\underset{k=1}{\overset{4}{\Σ}}{(y_{kp}-{\hat{y}}_{kp})}^2---\left(4\right).$

S4，将测试样本输入训练神经网络进行三维重建，计算重建误差。单纯的重建值与真实值的距离差不能准确的权衡标定误差，故本发明采用重建值与真实值的距离差在整个标定平面所占的比例作为相对误差值。

公式如下：

$D=\sqrt{{(x-x_r)}^2+{(y-y_r)}^2+{(z-z_r)}^2}---\left(5\right)$

$Error=D/\sqrt{X^2+Y^2}---\left(6\right)$

式(5)中(x，y，z)表示通过神经网络重建点的坐标，(xr，yr，zr)表示时间点的坐标，式(6)中(X，Y)表示测试样本点的空间范围，本发明中的测试样本范围是200mm×280mm。D表示真实点与重建点的距离，单位是mm；Error是重建值与真实值的距离差在整个标定平面所占的比例，表示相对误差值，重建结果如图5所示。

S5，调节隐层节点数，使相对误差最小。调整结果如表2所示，结果表明，隐层阶段数对网络训练的精度及步数都有一定的影响。在本实施例中，设定隐层节点数为13最合适。

表2：隐层节点数对实验结果的影响

与传统线性标定方法的对比，实验结果如表3所示：本发明提出的标定方法明显由于线性标定方法。

表3：与线性标定方法对比结果

方法	线性标定方法	本发明标定方法
			标定误差	2.45％	0.92％

总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (7)

1.一种结合神经网络与虚拟靶标的立体视觉标定方法，其特征在于，包括以下步骤：

S1、利用单角点靶标构建立体虚拟靶标，在构建过程中获取角点图像并记录角点的世界三维坐标；

S2、提取角点在图像中的像素坐标；

S3、利用神经网络对角点的像素坐标与世界三维坐标进行训练；

S4、将测试样本输入训练神经网络进行三维重建，计算重建误差；

S5、改变神经网络的隐层节点数，使误差最小。

2.根据权利要求1所述的结合神经网络与虚拟靶标的立体视觉标定方法，其特征在于，在步骤S1中，构建立体虚拟靶标的具体步骤如下：

第一步，选定一个正对像机的竖直平面；

第二步，将单角点棋盘格放置在该竖直平面的一定位置处并且获取其图像；

第三步，把单角点棋盘格移动到该竖直平面的下一设定位置并且获取其图像；

第四步，依次进行该竖直平面上每个位置处图像的获取，所有单角点靶标图像重叠为一个平面虚拟靶标；

第五步，选定下一个正对像机的竖直平面，进行第二步至第四步的操作，得到该平面虚拟靶标；

第六步，重复第五步，得到若干个平面虚拟靶标；

第七步，依次根据该若干个平面虚拟靶标建立立体虚拟靶标。

3.根据权利要求2所述的结合神经网络与虚拟靶标的立体视觉标定方法，其特征在于，在步骤S2中，用matlab对每一幅图像进行提取，并把结果导出到excel表格。

4.根据权利要求3所述的结合神经网络与虚拟靶标的立体视觉标定方法，其特征在于，在步骤S3中，将角点在左右像机中的像素坐标(u_l,v_l)、(u_r,v_r)作为网络的输入，角点的世界三维坐标(X_w,Y_w,Z_w)作为网络的输出，进行神经网络的训练。

5.根据权利要求4所述的结合神经网络与虚拟靶标的立体视觉标定方法，其特征在于，所述神经网络采用三层BP神经网络，设输入层有m个节点，输出层有n个节点，隐层有l个节点，输入向量为[x₁,x₂,x₃......x_m]，w_ji为隐层节点与输入层节点的连接权值，则隐层节点的输入和输出为：

${\mathrm{NET}}_j=\underset{i=1}{\overset{n}{\Σ}}(x_i*w_{ji})---\left(1\right)$

O_j＝f₁(NET_j)(2)

隐层节点的作用函数f₁选取tansig型变换函数，设输出层节点k与隐层节点j的连接权值为w_kj，输出层节点的作用函数f₂选用purelin变换函数，则输出层节点k的输出为：

$y_k=f_2\left(\underset{j=1}{\overset{l}{\Σ}}\right(w_{kj}*O_j\left)\right)---\left(3\right)$

误差函数采用均方误差函数，对所有样本，总误差为：

$E=\frac{1}{2}\underset{p=1}{\overset{n}{\Σ}}\underset{k=1}{\overset{m}{\Σ}}{(y_{kp}-{\hat{y}}_{kp})}^2---\left(4\right).$

6.根据权利要求5所述的结合神经网络与虚拟靶标的立体视觉标定方法，其特征在于，设输入层有4个节点，输出层有3个节点。

7.根据权利要求1至6中任一项所述的结合神经网络与虚拟靶标的立体视觉标定方法，其特征在于，在步骤S4中，采用重建值与真实值的距离差在整个标定平面所占的比例作为相对误差值，公式如下：

$D=\sqrt{{(x-x_r)}^2+{(y-y_r)}^2+{(z-z_r)}^2}---\left(5\right)$

$Error=D/\sqrt{X^2+Y^2}---\left(6\right)$

式(5)中，(x，y，z)表示通过神经网络重建点的坐标，(xr，yr，zr)表示时间点的坐标；式(6)中，(X，Y)表示测试样本点的空间范围，D表示真实点与重建点的距离，Error是重建值与真实值的距离差在整个标定平面所占的比例，表示相对误差值。