CN105571518A - 基于折射图像偏差的三维信息视觉测量方法 - Google Patents

Abstract

本发明基于折射图像偏差的三维信息视觉测量方法属于计算机视觉测量技术领域，涉及一种基于折射图像偏差的三维信息视觉测量方法。测量方法采用单摄像机先拍摄一张图像A1，然后，将已知折射率的玻璃板以任意角度放入相机前，再利用摄像机拍摄一张图像A2，利用两张图像的偏差量，完成被测物体空间三维信息的测量。此方法只需单一摄像机搭配厚度已知的平行玻璃板，不需要辅助激光以及辅助投影仪，也不需要已知图像中的先验知识，即可对于图像内的特征进行三维信息的重建，降低了测量成本、增加了测量效率。实现了单目相机对于全视场内的快速测量。

Description

基于折射图像偏差的三维信息视觉测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于折射图像偏差的三维信息视觉测量方法。

背景技术

视觉测量技术在航空、航天、军工、航海导航等各个领域都有着极为广泛的应用。视觉测量具有非接触、环境适应性强等优点，通过相机拍摄的图片即可快速测量空间物体的三维坐标。而现在的单目视觉测量常常需要激光、投影仪等光学辅助设备，完成空间信息的测量，导致测量过程繁琐、测量效率低等缺点。北京工业大学的李秀智等人申请的发明专利CN105184857A，“基于点结构光测距的单目视觉重建中尺度因子确定方法”提出在单目视觉重建引入结构光主动视觉实现欧式三维重建。该方法从结构光出发，提出一种以点结构光为辅助的单目视觉欧式三维重建方法，包括光斑质心中心定位、加入RANSAC排异的空间直线拟合、求取空间三维点坐标。然而，该方法在测量过程中需要反复调整棋盘靶标的位置多次，在每一位置还需要拍摄一张不打结构光的照片和一张打结构光的照片，并且要求激光器和相机的空间位置不能发生变化，相对较麻烦复杂，稳定性难以保证。中国科学院光电技术研究所的赵汝进等人申请的发明专利CN104864851A，“一种基于矩形周长和面积加权约束的单目视觉位姿测量方法”中提出的测量方法：利用4个特征点构造了矩形，并利用矩形目标在位姿变化过程中其周长和面积保持不变的几何特征建立了加权误差约束关系，再对矩形面积和周长误差约束转换为对目标位姿的约束，误差约束关系构造了迭代解算位姿方法。该测量方法不能实现在任意被测物表面布置4个特征点构造矩形，因此测量范围十分有限；其次在构造特征矩形的过程中，矩形的几何精度难以保证，矩形的形状尺寸误差会对测量结果产生较大的影响，导致测量结果较不稳定。

上述发明主要研究基于图像的空间三维信息测量等问题，并取得了很多重要成果，但其单目视觉大多都辅助激光或者投影仪投影特征光条进行测量，测量效率低，测量过程较为繁琐。

发明内容

本发明要克服现有单目测量的缺陷，发明一种基于折射图像偏差的三维信息视觉测量方法，降低了单目测量的成本、简化了测量流程并且提高了测量速度。将传统的基于激光投影或者基于空间先验知识的单目视觉测量方法，改变为无需先验知识，只通过平行光学玻璃进行辅助的单目视觉测量方法，提高了测量效率并且降低了成本，实现了单目相机对于全视场内的快速测量。

本发明所采用的技术方案是一种基于折射图像偏差的三维信息视觉测量方法，采用单摄像机先拍摄一张图像A1，然后将已知折射率的玻璃板以任意角度放入相机前，再利用摄像机拍摄一张图像A2，利用两张图像的偏差量，完成被测物体空间三维信息的测量；测量方法的具体步骤如下：

第一步进行单摄像机的标定

测量方法采用单摄像机相对固定的方式，以精密加工的靶标板对摄像机进行标定的方法；以张正友等人提出的基于2维平面靶标的摄像机标定方法为基础，并针对测量过程中相对距离高精度的测量要求，实现单目系统在较大视场下的高精度标定，单摄像机模型如下所示：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{C}_x& 0& u_0\\ 0& C_y& v_0\\ 0& 0& 1\end{array}\right]\[\begin{array}{cc}R& T\end{array}\]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=MQ\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$

其中，(u₀,v₀)为图像的主点坐标，(C_x,C_y)为横纵方向的等效焦距，R，T分别为摄像机坐标系相对于世界坐标系的旋转和平移矩阵，(X_w,Y_w,Z_w)为控制点在世界坐标系下的坐标，M为相机内参数矩阵，Q为相机外参数矩阵，(u,v)为控制点在摄像机平面上的像素坐标，Z_c为比例因子；

第二步标记点特征的提取

采用梯度重心法分别提取A1、A2图像上的特征，首先采用高斯一阶微分算子对图像进行卷积操作，以获得图像在各点的梯度，则对于标志图案所在子区域的梯度重心点坐标的求取方法如下：

$C=\underset{i=-h}{\overset{h}{\Σ}}\underset{j=-w}{\overset{w}{\Σ}}\[\left|G(i,j)\right|\·P(i,j)\]/\underset{i=-h}{\overset{h}{\Σ}}\underset{j=-w}{\overset{w}{\Σ}}\left|G(i,j)\right|---\left(2\right)$

其中，C为应用梯度重心法所提取的标记点中心像素坐标值，(i,j)为标记点坐标，|G(i,j)|为(i,j)点的梯度幅值，w，h分别为目标图像的宽和高，P(i,j)为(i,j)点的图像坐标；

第三步三维信息求解

由于添加的玻璃板是平行板，所以通过以下方程求解平行玻璃板的法向量n；

n(v0×b)＝0(3)

其中，n为平行玻璃板的法向量，v0是图像上标记点坐标的空间方向矢量，b是同一特征点添加平行玻璃板前后的偏差矢量；

在无平行板遮挡前，通过小孔成像模型得到公式(4)，

$\frac{v_0{P}^{\left(3\right)}}{f}=P---\left(4\right)$

在平行板遮挡后，通过多折射模型得到公式(5)，

$P=-\frac{P^{\left(3\right)}{v}_0}{{v_0}^{T}n}-\frac{d_1(v_1-v_0)}{{v_1}^{T}n}---\left(5\right)$

公式(4、5)中：P为空间一点在摄像机坐标下的三维坐标，P⁽³⁾为P的第三列，f为摄像机焦距，d₁为玻璃板厚度，v₀为靠近镜头端的光路的方向向量，v₁光路在玻璃板中的方向向量；

通过公式(4)和公式(5)的连立求解出P⁽³⁾，从而求解出P。

本发明的有益效果是此方法只需单一摄像机搭配厚度已知的平行玻璃板，不需要辅助激光以及辅助投影仪，也不需要已知图像中的先验知识，即可对于图像内的特征进行三维信息的重建，降低了测量成本、增加了测量效率。

附图说明

图1所示为基于折射图像偏差的三维信息视觉测量装置模型图。其中：1—摄像机，2—平行板玻璃，3—被测空间点。

图2基于折射图像偏差的三维信息视觉测量方法的流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。附图1为基于折射图像偏差的三维信息视觉测量装置模型图。本装置通过摄像机拍摄光学玻璃遮挡前后的两张图片，进行空间物体三维坐标的准确测量。

其测量装置的安装方式如下：采用带有广角镜头的摄像机拍摄物体图像，摄像机型号为FASTCAMUX50，分辨率：1248*1024，帧频：保证分辨率1024*1024情况下最多可达2000fps。广角镜头型号为AF-S17-35mmf/2.8DIF-ED参数如下所示，镜头焦距：f＝17-35，APS焦距：25.5-52.5，最大光圈：F2.8，最小光圈：F22，镜头重量：745g，镜头尺寸：82.5×106。拍摄条件如下：图片像素为1248×1024，视场约为600mm×600mm。

首先通过图形工作站控制摄像机进行拍摄图像A1，然后利用玻璃板2对相机进行遮挡，再利用图形工作站控制摄像机进行拍摄图像A2。

附图2是基于折射图像偏差的三维信息视觉测量流程图，测量方法的具体步骤如下：

第一步进行摄像机的标定

测量方法采用摄像机相对固定的方式，以精密加工的靶标板对摄像机进行标定的方法。该方法以张正友等人提出的基于2D平面靶标的摄像机标定方法为基础，并针对测量过程中相对距离高精度的测量要求，以单目测量系统空间点的重建精度作为目标函数。并采用Longguet-Higgins提出的归一化8点算法计算得到基本矩阵，高速摄像机的内参数M，外参数Q＝[RT]如表1所示：

表1摄像机参数标定结果

采用张氏标定方法求取相机的内外参数，再加上以单目测量系统空间点的重建精度作为目标函数对内外参数进行整体优化，进一步提高较大视场下标记参数的可信度。

第二步标记点特征的提取

采用上述提到的梯度重心法分别提取平行玻璃板2遮挡前后图像A1、A2上标记点的像素坐标值，分别为X₁＝(250.23,618.34)、X₂＝(253.12,619.54)。

第三步三维信息的求解

任取A1、A2图像上两个点的像素坐标X₁、X₂，通过下式计算：n(v0×b)＝0,n＝(1.32,1.56,1),然后取X₁，X₂继续计算三维坐标，P＝(320.21,70.74,1023.15)。

该测量方法降低了单目测量的成本，简化了测量流程并且提高了测量速度。将传统的基于激光投影或者基于空间先验知识的单目视觉测量方法，改变为无需先验知识，只通过平行光学玻璃进行辅助的单目视觉测量方法，提高了测量效率并且降低了成本。

Claims (1)

1.一种基于折射图像偏差的三维信息视觉测量方法，采用单摄像机先拍摄一张图像A1，然后将已知折射率的玻璃板以任意角度放入相机前，再利用摄像机拍摄一张图像A2，利用两张图像的偏差量，完成被测物体空间三维信息的测量；测量方法的具体步骤如下：

第一步进行单摄像机的标定

测量方法采用单摄像机相对固定的方式，以精密加工的靶标板对摄像机进行标定的方法；以张正友等人提出的基于2维平面靶标的摄像机标定方法为基础，并针对测量过程中相对距离高精度的测量要求，实现单目系统在较大视场下的高精度标定，单摄像机模型如下所示：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{C}_x& 0& u_0\\ 0& C_y& v_0\\ 0& 0& 1\end{array}\right]\[\begin{array}{cc}R& T\end{array}\]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=MQ\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$

其中，Z_c为比例因子，(u₀,v₀)为图像的主点坐标，(C_x,C_y)为横纵方向的等效焦距，R，T分别为摄像机坐标系相对于世界坐标系的旋转和平移矩阵，(X_w,Y_w,Z_w)为控制点在世界坐标系下的坐标，M为相机内参数矩阵，Q为相机外参数矩阵，(u,v)为控制点在摄像机平面上的像素坐标；

第二步标记点特征的提取

采用梯度重心法分别提取A1、A2图像上的特征，首先采用高斯一阶微分算子对图像进行卷积操作，以获得图像在各点的梯度，则对于标志图案所在子区域的梯度重心点坐标的求取方法如下：

$C=\underset{i=-h}{\overset{h}{\Σ}}\underset{j=-w}{\overset{w}{\Σ}}\[\left|G(i,j)\right|\·P(i,j)\]/\underset{i=-h}{\overset{h}{\Σ}}\underset{j=-w}{\overset{w}{\Σ}}\left|G(i,j)\right|---\left(2\right)$

其中，C为应用梯度重心法所提取的标记点中心像素坐标值，(i,j)为标记点坐标，|G(i,j)|为(i,j)点的梯度幅值，w，h分别为目标图像的宽和高，P(i,j)为(i,j)点的图像坐标；

第三步三维信息求解

由于添加的玻璃板是平行板，所以通过以下方程求解平行玻璃板的法向量n；

n(v0×b)＝0(3)

其中，n为平行玻璃板的法向量，v0是图像上标记点坐标的空间方向矢量，b是同一特征点添加平行玻璃板前后的偏差矢量；

在无平行板遮挡前，通过小孔成像模型得到公式(4)，

$\frac{v_0{P}^{\left(3\right)}}{f}=P---\left(4\right)$

在平行板遮挡后，通过多折射模型得到公式(5)，

$P=-\frac{P^{\left(3\right)}{v}_0}{{v_0}^{T}n}-\frac{d_1(v_1-v_0)}{{v_1}^{T}n}---\left(5\right)$

公式(4、5)中：P为空间一点在摄像机坐标下的三维坐标，P⁽³⁾为P的第三列，f为摄像机焦距，d₁为玻璃板厚度，v₀为靠近镜头端的光路的方向向量，v₁光路在玻璃板中的方向向量，n为平行玻璃板的法向量；

通过公式(4)和公式(5)的连立求解出P⁽³⁾，进而求解出P。