CN1987345B - 一种单目立体视觉传感器 - Google Patents

Abstract

本发明涉及一种单目立体视觉传感器，其特点是，包括分别由一个四锥棱镜和一组反射镜组合而成的光学成像系统、分别由一台摄像机和四组反射镜组合构成的四锥棱镜单目立体视觉传感器系统；它可同时在摄像机的上下左右像平面上获得同一被测物在不同方向上的二维图像以实现三目匹配，从而降低搜索空间，实现视觉的在线控制。本发明结合基于几何不变量的三目立体视觉匹配算法，特别适用于工作空间相对较小的并联机器人末端操作器的位姿检测和在线控制。

Description

一种单目立体视觉传感器 

技术领域

本发明涉及图像传感技术和三维视觉匹配技术领域，特别是一种用于检测运动物体信息的基于单目立体视觉的传感器。 

背景技术

在此之前，已公开了许多有关立体视觉传感器的专利。在这些专利文献中，相当一部分是以产生立体视觉效果为目的。例如，87215166“空间立体视觉装置”和03102373“利用平面镜构成立体图像的观看装置”，都不适用于视觉的在线检测。还有一部分是用于三维信息检测的，例如：授予中国科学院沈阳自动化研究所的专利99223712公开的“可车载的全方位视觉传感器”，采用半球面反射镜来实现全方位景象观察；授予日本发那科株式会社的中国专利200510087365公开的“机器人系统中再校准三维视觉传感器的方法和设备”，通过机器人以一个或更多的相对位置关系安置视觉传感器和测量目标获取机器人和测量目标的位置信息；授予中国科学院沈阳自动化研究所的专利200520088911公开的“全向立体视觉成像装置”；授予天津大学的专利200410072699公开的“双目立体结构多功能视觉传感器等众多立体视觉传感器”以及发表在2006年4月传感技术学报的“单目立体视觉传感器的优化设计及精度分析”。 

以上所公开的专利文献，均具有一个共同的特点，即都是利用双目立体视觉进行匹配，其计算搜索工作量大，很难用于视觉控制；还有的是利用三个或更多视觉传感器，因而，不仅增加了检测系统的成本，更增加了系统控制的复杂性。 

发明内容

本发明的目的是克服现有技术的不足，提供一种基于四锥棱镜和反射镜组合的单目立体视觉传感器，同时结合一种基于几何不变量的三目立体视觉匹配算法，特别适用于工作空间相对较小的并联机器人末端操作器的位姿检测和在线控制。 

本发明的创新点是采用四锥棱镜和反射镜组合组成光学成像系统，利用一台摄像机和四组反射镜的组合构成四锥棱镜单目立体视觉传感器系统，它可以同时在摄像机的上下左右像平面上获得同一被测物在不同方向上的二维图像以实现三目匹配，从而有效地降低搜索空间，实现视觉在线控制。 

基于四锥棱镜传感器的上述特点，将其应用于六自由度冗余输入并联机器人运动平台的视觉伺服控制，能够满足其高速度和高精度的测量要求。 

为了实现上述目的，本发明采用了如下技术方案： 

一种单目立体视觉传感器，其实质性特点在于，它包括分别由一个四锥棱镜和一组反射镜组合而成的光学成像系统、分别由一台摄像机和四组反射镜组合构成的四锥棱镜单目立体视觉传感器系统；它可同时在摄像机的上下左右像平面上获得同一被测物在不同方向上的二维图像以实现三目匹配，从而降低搜索空间，实现视觉的在线控制，结合并联机器人末端操作器位姿，进行双目匹配和三目匹配交替进行，可以在四幅图像中动态选择最佳匹配。。 

上述的单目立体视觉传感器，其中，所述四锥棱镜的任意三个反射镜均可以构成三目立体视觉系统，且其成像面呈三角形配置，其中一个为参考反射镜，获取的图像称为参考图像。 

上述的单目立体视觉传感器，其中，所述四锥棱镜组合单目立体视觉传感器在进行图像融合时产生多种类似于双目和三目立体视觉组合，其中，第一种组合是关于中心点对称的相对两组反射镜，左右两片镜面的交线与摄像头光轴正交；第二种组合分别是两两相邻的四组反射镜，第三种组合分别是三三相邻的四组反射镜；前两种组合形成双目立体视觉，后一种组合构成三目立体视觉。 

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果： 

①避免了双目或多目视觉传感器中摄像机之间非严格同步造成的测量误差，因此可以采用高速度摄影机跟踪快速运动物体的瞬间变化； 

②采用反射镜实现光路折叠，可以使摄像机与反射镜之间的距离远远小于多目视觉中多台摄像机之间的距离，提高系统集成度； 

③反射镜的位置安装精度比多台摄像机的安装精度高，容易实现； 

④采用四组反射棱镜组合增大了有效视场，可以实现大型装备复杂运动的视觉 检测； 

⑤采用“单目”，降低了对图像采集卡和计算机图像处理系统的要求，具备很高的性价比； 

⑥可以实现三目匹配，从而有效降低搜索空间； 

⑦提出了基于几何不变量的三目匹配算法，可以提高匹配速度，实现视觉在线控制。 

附图说明

通过以下实例并结合其附图的描述，可以进一步理解其发明的目的、具体结构特征和优点。附图中， 

图1是本发明三目视觉匹配图； 

图2是本发明的三目立体视觉匹配算法框图； 

图3是本发明的单目立体视觉传感器原理结构示意图，其中， 

a.四锥棱镜组合单目立体视觉传感器原理图， 

b.相对一组反射镜单目立体视觉传感器结构图； 

(1)传感器系统中结构参数定义： 

f：透镜焦距； 

β：摄像机透视中心对CCD像面的张角； 

γ：两组反射镜之间的夹角； 

α：不相邻反射镜M₁、M₃，M₂、M₄之间的夹角； 

h₁：摄像机与反射镜组M₁、M₂、M₃和M₄间的垂直距离； 

h₂：四组反射镜M_i和P_i之间的交点与四锥棱镜顶点间的距离； 

h：空间坐标平面xoy距离反射镜与四锥棱镜顶点的距离。 

(2)考虑光路分解后对应的“双目”立体视觉系统中的结构参数定义： 

θ：光轴虚像与z轴之间的夹角； 

h₀：有效视场相对于四锥棱镜顶点的最近距离； 

Δh：有效视场的深度。 

图4是本发明的单目立体视觉传感器有效视场的几何关系示意图； 

图5、6是本发明的单目立体视觉传感器测量精度仿真结果图； 

图7是本发明的单目立体视觉传感器应用于六个自由度冗余输入并联机器人视觉控制示意图。 

具体实施方式

参见图1～3，本发明涉及的单目立体视觉传感器的工作原理：由于四锥棱镜组合单目立体视觉传感器在进行图像融合时，会产生多种类似于双目和三目立体视觉组合：第一种组合是关于中心点对称的相对两组反射镜，左右两片镜面的交线与摄像头光轴正交；第二种组合分别是两两相邻的四组反射镜，第三种组合分别是三三相邻的四组反射镜。前两种组合形成双目立体视觉，后一种组合构成三目立体视觉。因此，它不仅能够获取常规的双目立体视觉信息，而且，可以获取三目立体视觉信息。 

根据双目立体视觉原理，首先建立了第一种和第二种双目立体匹配的数学模型，然后建立第三种三组相邻的反射镜构成的三目视觉系统的匹配数学模型，并通过两个数学模型分析测量精度、有效视场与传感器参数的关系，为传感器参数的选取提供依据。 

四棱镜组合单目立体视觉传感器双目匹配数学模型 

传感器的透视成像数学模型是由它的结构参数决定的，模型的系数因子一般由一个或多个结构参数组合表示。在图3中，假设O′_i在(x，y，z)坐标系中的位置分别用O′₁(s，0，0)、O′₂(0，s，0)、O′₃(-s，0，0)和O′₄(0，-s，0)表示。定义中间变量d₀＝|O_iO′_i|。 

1)根据映射构成的三角几何关系和图1中显示的几何关系，可以得到系统结构参数与定义变量的关系：d₀＝(h+h₁)/cosθ，s＝(h-h₀)tanθ 

2)根据透视成像结构，得坐标系(X_i，Y_i)与坐标系(x′_i，y′_i，z′_i)之间的关系： 

X_i＝-W_ix′_i，Y_i＝-W_iy′_i，(1) 

其中，W_i＝f/(d₀-z′_j) 

3)根据图3给出的几何关系，可以计算出坐标(x′_j，y′_j，z′_j)与空间坐标系(x，y，z)之间的关系： 

$\left(\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ z_1^{\′}\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}\\ 0& 1& 0\\ -\sin & 0& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x-s\\ y\\ z\end{array}\right)---\left(2\right)$

$\left(\begin{array}{c}{x}_2^{\′}\\ y_2^{\′}\\ z_2^{\′}\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y+s\\ z\end{array}\right)---\left(3\right)$

$\left(\begin{array}{c}{x}_3^{\′}\\ y_3^{\′}\\ z_3^{\′}\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\θ}& 0& -\sin \mathrm{\θ}\\ 0& 1& 0\\ \sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x+s\\ y\\ z\end{array}\right)---\left(4\right)$

$\left(\begin{array}{c}{x}_4^{\′}\\ y_4^{\′}\\ z_4^{\′}\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y-s\\ z\end{array}\right)---\left(5\right)$

将(1)-(5)式综合，可以得到像平面坐标与被测对象的空间位置之间的关系： 

1.相邻组单目反射镜 

可以利用式(1)、(2)和(3)求解得到像平面坐标与空间坐标系之间的关系： 

$x=\frac{X_2(({\mathrm{sY}}_1-{\mathrm{fd}}_0)\sin \mathrm{\θ}-d_0{Y}_1{\sin }^2\mathrm{\θ}+\mathrm{fs})}{f\cos \mathrm{\θ}(X_2\cos \mathrm{\θ}-X_1)+(f^2+X_2{Y}_1+X_1{X}_2\cos \mathrm{\θ})\sin \mathrm{\θ}}---\left(6\right)$

$y=\frac{Y_1(({\mathrm{sX}}_2+{\mathrm{fd}}_0)\sin \mathrm{\θ}-d_0{X}_2{\sin }^2\mathrm{\θ}-\mathrm{fs})}{f\cos \mathrm{\θ}(X_2\cos \mathrm{\θ}-X_1)+(f^2+X_2{Y}_1+X_1{X}_2\cos \mathrm{\θ})\sin \mathrm{\θ}}---\left(7\right)$

$z=\frac{(X_1\sin \mathrm{\θ}+f\cos \mathrm{\θ})(d_0{X}_2+\mathrm{fs})+X_2\sin \mathrm{\θ}\cos \mathrm{\θ}(d_0{Y}_1-\mathrm{fs})-s{X}_1{X}_2{\sin }^2\mathrm{\θ}-{\mathrm{fd}}_0{X}_1}{f\cos \mathrm{\θ}(X_2\cos \mathrm{\θ}-X_1)+(f^2+X_2{Y}_1+X_1{X}_2\cos \mathrm{\θ})\sin \mathrm{\θ}}---\left(8\right)$

容易证明，由于相邻组反射镜的对称性，利用式(1)、(2)和(5)；式(1)、(3)和(4)以及式(1)、(4)和(5)可以得到类似的匹配结果表达式，在这里不一一列出；但是由于每一组反射镜的有效视场不完全相同，因此其匹配结果揭示了被测对象不同的部位，从而四锥棱镜单目立体视觉传感器有效地扩大了有效视场。 

2.相对组单目反射镜 

可以利用式(1)、(2)和(4)求解得到像平面坐标与空间坐标系的关系： 

$x=\frac{(X_1+X_3)({\mathrm{fd}}_0\sin \mathrm{\θ}-\mathrm{fs})}{f\cos 2\mathrm{\θ}(X_1-X_3)-(f^2+X_1{X}_3)\sin 2\mathrm{\θ}}---\left(9\right)$

$y=\frac{{2Y}_1{Y}_3\sin \mathrm{\θ}}{f(Y_1-Y_3)}x$ 或 $y=\frac{Y_1(-2s{X}_3\sin \mathrm{\θ}-{\mathrm{fd}}_0\sin 2\mathrm{\θ}+{2d}_0{X}_3{\sin }^2\mathrm{\θ}+\mathrm{sf}\cos \mathrm{\θ})}{f\cos 2\mathrm{\θ}(X_1-X_3)-(f^2+X_1{X}_3)\sin 2\mathrm{\θ}}---\left(10\right)$

$z=\frac{f(s\sin 2\mathrm{\θ}-d_0\cos \mathrm{\θ})(X_1-X_3)+2X_1{X}_3(d_0-s\sin \mathrm{\θ})\sin \mathrm{\θ}+{2f}^{2}s{\cos }^2\mathrm{\θ}}{f\cos 2\mathrm{\θ}(X_3-X_1)+(f^2+X_1{X}_3)\sin 2\mathrm{\θ}}---\left(11\right)$

同样，利用式(1)、(3)和(5)可以得到类似的结果。传感器的结构关系理论上决定了被测对象在像面上的成像质量，因此，通过分析成像机理和传感器数学模型，可以使得传感器的相关参数得到优化。 

四棱镜组合单目立体视觉传感器三目匹配数学模型 

如图1所示，在双目视觉匹配过程中，由于所选特征点的模糊性会产生匹配错误，利用四锥棱镜的特有结构，很容易在所获得的四幅图像中选择进行三目视觉匹配，从而增加了匹配信息与匹配的约束条件，去掉一些错误匹配，提高匹配精度和匹配速度。 

四锥棱镜的任意三个反射镜都可以构成三目立体视觉系统，这三个反射镜成像面呈三角形配置，其中一个为参考反射镜，获取的图像称为参考图像，用REF表示，其它两个反射镜获取的图像分别用IMG1和IMG2表示，如图4所示。 

图4中分别给出了4个反射镜成像的光学中心O_i在(x，y，z)坐标系的坐标： 

O₁＝[h₁ sin2γ+2lcos²(α-γ)，0，h+h₁]^T，O₂＝[0，h₁ sin2γ+2lcos²(α-γ)，h+h₁]^T，O₃＝[-h₁ sin2γ-2lcos²(α-γ)，0，h+h₁]^T，O₄＝[0，-h₁ sin2γ-2lcos²(α-γ)，h+h₁]^T

设k_ij为像面i上相对于像面j的外极斜率x_oij、y_oij和z_oij为摄像机i的光学中心在像面j上的坐标；f_i为摄像机i的有效焦距；R_ij为摄像机i到摄像机j的坐标转换旋转矩阵；T_ij为平移矩阵，i，j＝1，2，3，4。 

建立3个摄像机的坐标系分别为O_i(x_i，y_i，z_i)，它们之间的相互转换关系为： 

$\left[\begin{array}{c}{x}_j\\ y_j\\ z_j\end{array}\right]=R_{\mathrm{ij}}\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right]+T_{\mathrm{ij}}---\left(12\right)$

其中，R_ij＝{r_ijk}为3×3矩阵k＝1，...，9，T_ij＝[t_ij1，t_ij2，t_ij3]^T，并且这些参数可以通过传感器结构参数获得。上述参数均由摄像机的标定过程得出。如图3a、b所示，假设点P₁的坐标为P₁(x₁，y₁，z₁)，由外极线原理可以得到外极线L₁₂在像面F₂上的方程为：x₁＝t，y₁＝k₁₂t，z₁＝f₁，将它转换到坐标系O₂(x₂，y₂，z₂)中，可得： 

$\left[\begin{array}{c}{x}_{12}\\ y_{12}\\ z_{12}\end{array}\right]=R_{12}\left[\begin{array}{c}1\\ k_{12}\\ 0\end{array}\right]=\left[\begin{array}{c}{x}_{121}+k_{12}{r}_{122}\\ x_{124}+k_{12}{r}_{125}\\ x_{127}+k_{12}{r}_{128}\end{array}\right]---\left(13\right)$

光学中心O₁在坐标系O₂(x₂，y₂，z₂)中的向量表达为 

$\left[\begin{array}{c}{x}_{o12}\\ y_{o12}\\ z_{o12}\end{array}\right]=T_{12}=\left[\begin{array}{c}{t}_{12x}\\ t_{12y}\\ t_{12z}\end{array}\right]---\left(14\right)$

用上述两个向量可以得到由光学中心O₁和外极线L₁₂构成的平面方程为： 

Ax₂+By₂+Cz₂＝0    (15) 

其中，A＝y₁₂z_c12-z₁₂y_c12，B＝-x₁₂z_c12+z₁₂x_c12，C＝x₁₂y_c12-y₁₂x_c12。 

利用上述关系，可以在像面F₂上，z₂＝f₂，得到外极线L₁₂的斜率为： 

$k_{21}=-\frac{t_{12z}(r_{124}+k_{12}{r}_{125})-t_{12y}(r_{127}+k_{12}{r}_{128})}{t_{12x}(r_{127}+k_{12}{r}_{128})-t_{12z}(r_{121}+k_{12}{r}_{122})}---\left(16\right)$

同理得： 

$k_{31}=-\frac{t_{13z}(r_{134}+k_{13}{r}_{135})-t_{13y}(r_{137}+k_{13}{r}_{138})}{t_{13x}(r_{137}+k_{13}{r}_{138})-t_{13z}(r_{131}+k_{13}{r}_{132})}---\left(17\right)$

$k_{32}=-\frac{t_{23z}(r_{234}+k_{23}{r}_{235})-t_{23y}(r_{237}+k_{23}{r}_{238})}{t_{13x}(r_{137}+k_{13}{r}_{138})-t_{23z}(r_{231}+k_{23}{r}_{232})}---\left(18\right)$

因此分别得到了3幅图像中的直线斜率转换关系。由外极线L₁₂过点P₁和外极点E₁₂，E₁₂在像面F₁上，故其坐标为： 

$(\frac{t_{21x}}{t_{21z}}{f}_1,\frac{t_{21y}}{t_{21y}}{f}_1,f_1)---\left(19\right)$

又已知P₁点坐标为P₁(x₁，y₁，z₁)，利用两点式可求得外极线L₁₂的斜率为： 

$k_{12}=\frac{t_{21z}{y}_1-t_{21x}{f}_1}{t_{21z}{x}_1-t_{21x}{f}_1}---\left(20\right)$

根据上式推导斜率转换关系，可得另外两幅图像中外极线的斜率，同样由点斜式可知其直线方程。求出上述的直线方程，根据上述匹配步骤，即完成立体匹配。 

在上述匹配过程中，对于斜率k₂₁，k₃₁，k₃₂的表达式中，可以根据李代数理论提取Klein和Killing意义上的不变量，从而避免重复计算，提高匹配速度。 

作为优选的技术方案： 

这种基于单目立体视觉传感器，在双目视觉匹配过程中，由于所选特征点的模糊性会产生匹配错误，利用四锥棱镜的特有结构，其任意三个反射镜都可以构成三目立体视觉系统，这3个反射镜成像面呈三角形配置，其中一个为参考反射镜，获取的图像称为参考图像，很容易在所获得的四幅图像中选择进行三目视觉匹配，从而增加了匹配信息与匹配的约束条件，去掉一些错误匹配，提高匹配精度和匹配速度，因此首先进行三目立体视觉匹配，利用三三相邻的四组三目视觉匹配，其匹配区域能够完全覆盖有效视场的中心区域。有效视场的边缘区域可以利用第一种组合的双目立体匹配完成。当被测对象都成像在有效视场的中心区域时，可以免去双目立体匹配的过程。通过对单目立体视觉传感器参数进行设计，使被测对象完全位于中心有效视场是可能的。 

由于采用了四锥棱镜结构，成像面的中心区域被分割成为四个部分，因此使得获得的图片存在一定的畸变，因此我们提出了基于几何不变量的图像校正算法。其主要 思想为：由于被检测对象是经过平面反射镜、四锥棱镜两次反射最后成像在摄像机成像面上，其几何结构不会由于成像角度的改变而发生变化，因此可以利用所获得的图像进行上述成像系统的反变换，即可得到校正后的图像，该图像等价于在四个平面反射镜所在位置所获得的图像，因此有效地校正了由于四锥棱镜结构引起的图像畸变，保证了测量和三目匹配精度。 

利用李代数理论对上述系统进行数学建模，可以提取出成像变换过程中的几何不变量，从而避免了在图像变换和反变换过程中反复的矩阵计算，达到在线视觉控制的目的。 

参照附图2～7，由于本发明设计的传感器尤其适用于近距离、高速度和高精度测量的场合，将其实际应用于六自由度八冗余输入并联机器人中，能够满足系统的测量要求。根据该并联机器人的工作空间和测量精度的要求对单目四锥棱镜立体视觉传感器进行参数优化设计，可以实现并联机器人工作空间和传感器中心有效视场的高度匹配，从而实现三目配准，减少了搜索空间，可以实现机器人的视觉伺服控制。该传感器在固定反射镜M_i的位置和反射镜之间夹角γ的情形下，只需要水平移动反射镜P₁，P₂的距离h₂和垂直移动摄像机的距离h₁，就可以达到调节有效视场的远近和纵横向宽度的目的，经理论研究表明：传感器的测量精度与它本身的结构参数和被测对象的相对位置有关，通过优化设计传感器和调整被测对象的位置可以显著提高测量精度。 

该单目立体视觉传感器能够取代双目立体视觉传感器在许多场合下进行高速度、高精度近距离测量。 

虽然以其优选的形式公开了本发明，但对于本领域的普通技术人员来说，在不偏离由权利要求书提出的本发明的构思和范围的条件下，还可以进行许多改进。 

Claims (2)

1.一种单目立体视觉传感器，其特征在于，包括分别由一个四锥棱镜和一组反射镜组合而成的光学成像系统、分别由一台摄像机和四组反射镜组合构成的四锥棱镜单目立体视觉传感器系统；同时在摄像机的上下左右像平面上获得同一被测物在不同方向上的二维图像以实现三目匹配，从而降低搜索空间；同时能在四幅图像中选择三幅图像进行立体匹配，以避免图像的奇异位姿，实现并联机器人的视觉伺服控制。

2.根据权利要求1所述的单目立体视觉传感器，其特征在于，所述四锥棱镜组合单目立体视觉传感器在进行图像融合时产生多种类似于双目和三目立体视觉组合，其中，第一种组合是关于中心点对称的相对两组反射镜，左右两片镜面的交线与摄像头光轴正交；第二种组合分别是两两相邻的四组反射镜，第三种组合分别是三三相邻的四组反射镜；前两种组合形成双目立体视觉，后一种组合构成三目立体视觉。

Images