CN103093479B - 一种基于双目视觉的目标定位方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的目标定位方法。现有的双目视觉定位算法对硬件要求比较高，且在低成本双目视觉系统上难以实现较高的定位精度。本发明主要包括以下几个方面：（1）利用H-S直方图反向投影，在左图像上获取精度较高的目标特征点；（2）SURF算法实现兴趣点检测与描述以及目标模板图像与左右图像中兴趣点的匹配；（3）在上述关键技术基础上，采用一种结合空间兴趣点筛选、间接立体匹配的特征点寻找方法，实现在右图像目标特征点提取。本算法在构建的低成本双目系统上能够实现很高的定位精度。

Description

一种基于双目视觉的目标定位方法

技术领域

本发明属于机器视觉技术领域，是一种基于双目视觉的目标定位方法。

背景技术

机器人视觉系统模拟了人类视觉的感知功能，具有探测范围宽、目标信息完整等优势，它是移动机器人智能化关键技术之一。双目立体视觉技术是仿照人类双目感知距离的方法，实现对三维信息的感知，在实现上采用基于三角测量的方法，利用两个摄像头对同一景物从不同位置成像，从而从视差中恢复距离信息，是机器人视觉研究的一个重要分支。对于大部分自主移动机器人来说，双目视觉已成为其基本组成部分。由于结构简单、数据采集方便迅速、属于非接触式测量以及可以应用于各种复杂恶劣的环境中，双目视觉被广泛应用于三维检测、机器人导航、医学成像等领域，具有广泛的应用性。

发明内容

本发明针对双目视觉定位中由低成本硬件系统及双目安装所造成的结构误差等问题，根据双目视觉深度测量的特点，提出了一种基于双目视觉的目标定位方法。

一种基于双目视觉的目标定位方法包括如下步骤：

步骤一：输入大小为k×l的彩色左图像，目标模板图像大小为k₁×l₁，k₁≤k，l₁≤l，令变量o=k₁，p=l₁，x=y=0。对目标模板图像的颜色、饱和度概率建模，将目标模板图像转化为H-S直方图，并归一化处理。

步骤二：从输入图像的左上角(x,y)开始，切割一块(x,y)至(k₁,l₁)的临时图像，生成临时图像的H-S直方图，并归一化处理。

步骤三：将临时图像的H-S直方图和目标模板图像的H-S直方图按式（2）进行相关性对比，对比结果记为C(H₁,H₂)。

$C(H_1,H_2)=\frac{\underset{i}{\mathrm{\Σ}}{H^{\′}}_1\left(i\right)\·{H^{\′}}_2\left(i\right)}{\sqrt{\underset{i}{\mathrm{\Σ}}{{H^{\′}}_1}^2\left(i\right)\·{{H^{\′}}_2}^2\left(i\right)}}---\left(2\right)$

其中，k取值1和2，i=j=1,2,3,…,N，N为直方图中区间的个数，H_k(i)为第k个直方图中第i个区间上的值。

步骤四：将直方图对比结果C(H₁,H₂)作为反向投影图像(x,y)处的像素值。

步骤五：令y=y+1，l₁=l₁+1，当l₁≤l时，返回步骤二，即按竖直方向切割输入图像。

步骤六：当l₁>l时，令y=0，k₁=o，l₁=p，x=x+1，k₁=k₁+1，返回步骤二，即一列一列地向右推移切割输入图像。

步骤七：重复步骤二至步骤六，当k₁>k时结束，即切割输入图像直至其右下角。

步骤八：兴趣点检测：使用不同尺寸的盒形滤波器对原图像滤波来构建图像金字塔，在不同的尺度空间用Hessian矩阵求极值，然后在其3×3×3的立体领域内进行非极大值抑制，将比上下尺度各9个以及本尺度邻域8个共计26个邻域值都大或都小的极值点作为候选兴趣点，再在尺度空间和图像空间进行插值运算，得到稳定的兴趣点位置及其所在的尺度值。

步骤九：兴趣点描述：对以每一个兴趣点为圆心，半径为6s的邻域内的点分别计算x、y方向上边长为4s的Haar小波响应，s为兴趣点所在的尺度值，然后以兴趣点为中心对响应值进行高斯函数加权，最后采用60°的滑动扇形窗口，计算该扇形处于每个角度时窗口内响应之和，并记录窗口环绕一周所形成的每一个矢量，选择最长矢量的方向作为该兴趣点的主方向。

选定兴趣点主方向后，以兴趣点为中心，按主方向选取边长为20s的正方形区域，将该区域划分为4×4共计16个正方形子区域，对每一个子区域按5s×5s的大小取样，分别计算相对于主方向的水平、垂直方向的Haar小波响应，同时为响应值赋予不同的高斯权重，以增强对几何变形及定位误差的鲁棒性；然后对每个子区域的响应和响应的绝对值求和得到一个四维向量v=(Σd_x,Σ|d_x|,Σd_y,Σ|d_y|)，d_x、d_y分为水平和垂直方向的Haar小波响应，|d_x|、|d_y|分为水平和垂直方向的Haar小波响应的绝对值。对每一个兴趣点，将16个正方形子区域的向量组合起来便形成64维SURF描述子向量，归一化后使描述算子对光照具有一定的鲁棒性。

步骤十：利用SURF算法，将于左图像提取的目标模板与左右图像进行匹配，获得兴趣点对集合I_l和I_r。

步骤十一：搜索两个兴趣点对集合，在左右两幅图像中寻找与模板图像具有相同匹配点的兴趣点，然后依次将左右图像中这些兴趣点存放在集合S_l和S_r中，集合中元素个数分别有m和n个。

步骤十二：由于存在标定误差，经立体校正后，左右图像中仍然可能存在微小的畸变以及行不对齐，因此兴趣点筛选公式如下:

|v_1i-v_2i|≤δ      (3)

其中，i=1,2,3,…,n，δ为筛选阈值，v_1i、v_2i分别表示集合S_l、S_r中第i个元素的纵坐标，即已知左图上的兴趣点(u_1i,v_1i)与右图上的兴趣点(u_2i,v_2i)，若两个兴趣点所在的极线间的距离小于等于δ个像素，则称该匹配点为有效匹配点。将左右图像中的有效匹配点分别存入集合S_lw和S_rw中，此时两个集合元素个数相等，都为w个。

步骤十三：由上述匹配点筛选方法获得的有效匹配点集合S_lw和S_rw中对应的兴趣点对，可以较好地保证对应于目标实物中的相同位置，具有良好的空间位置一致性，由式（4）实现间接匹配：

$\left\{\begin{array}{c}{\stackrel{\‾}{u}}_2=\frac{1}{w}\underset{i=1}{\overset{w}{\mathrm{\Σ}}}({\stackrel{\‾}{u}}_1-u_{1i}+u_{2i})\\ {\stackrel{\‾}{v}}_2={\stackrel{\‾}{v}}_1\end{array}\right.---\left(4\right)$

其中，为左图像特征点坐标，为间接匹配得到的右图像中特征点坐标,u_1i、u_2i分别为左右图像上的兴趣点的横坐标，i=1,2,3,…,w，w为有效匹配点个数。

步骤十四：由三角测量原理可得到空间场景点的三维坐标：

$\left\{\begin{array}{c}X=\frac{b(u_1-u_0)}{u_1-u_2}\\ Y=\frac{b(v_1-v_0)}{u_1-u_2}\\ Z=\frac{\mathrm{bf}}{u_1-u_2}\end{array}\right.---\left(5\right)$

其中，b为基线距离，f为两摄像头焦距，(u₁,v₁)、(u₂,v₂)为空间点在左右成像平面的图像坐标，即上述步骤中的特征点坐标，(u₀,v₀)为主点偏置坐标；X,Y,Z分别为目标在摄像头坐标系下的三维坐标。

有益效果：本发明利用H-S直方图反向投影来寻找特征点，使得提取的特征点具有很高的精度，然后再基于SURF算法采用一种结合空间兴趣点筛选、间接立体匹配的特征点寻找方法，实现立体匹配，从而大大减少了只使用H-S直方图反向投影实现立体匹配所消耗的时间，且本方法在构建的低成本双目系统上能够实现很高的定位精度。

附图说明

图1为双目视觉平行光模型；

图2为算法流程图；

图3为H-S直方图反向投影。

具体实施方式：

如图2所示，图中左边虚线框为H-S直方图反向投影获取左图目标特征点部分，右边虚线框部分为SURF算法实现兴趣点检测与匹配。一种基于双目视觉的目标定位方法，包括以下步骤：

步骤一：如图3所示，输入大小为k×l的彩色左图像，目标模板图像大小为k₁×l₁，k₁≤k，l₁≤l，令变量o=k₁，p=l₁，x=y=0。对目标模板图像的颜色、饱和度概率建模，将目标模板图像转化为H-S直方图，并归一化处理。

步骤二：从输入图像的左上角(x,y)开始，切割一块(x,y)至(k₁,l₁)的临时图像，生成临时图像的H-S直方图，并归一化处理。

步骤三：将临时图像的H-S直方图和目标模板图像的H-S直方图按式（2）进行相关性对比，对比结果记为C(H₁,H₂)。

$C(H_1,H_2)=\frac{\underset{i}{\mathrm{\Σ}}{H^{\′}}_1\left(i\right)\·{H^{\′}}_2\left(i\right)}{\sqrt{\underset{i}{\mathrm{\Σ}}{{H^{\′}}_1}^2\left(i\right)\·{{H^{\′}}_2}^2\left(i\right)}}---\left(2\right)$

其中，k取值1和2，i=j=1,2,3,…,N，N为直方图中区间的个数，H_k(i)为第k个直方图中第i个区间上的值。

步骤四：将直方图对比结果C(H₁,H₂)作为反向投影图像(x,y)处的像素值。

步骤五：令y=y+1，l₁=l₁+1，当l₁≤l时，返回步骤二，即按竖直方向切割输入图像。

步骤六：当l₁>l时，令y=0，k₁=o，l₁=p，x=x+1，k₁=k₁+1，返回步骤二，即一列一列地向右推移切割输入图像。

步骤七：重复步骤二至步骤六，当k₁>k时结束，即切割输入图像直至其右下角。

步骤八：兴趣点检测：使用不同尺寸的盒形滤波器对原图像滤波来构建图像金字塔，在不同的尺度空间用Hessian矩阵求极值，然后在其3×3×3的立体领域内进行非极大值抑制，将比上下尺度各9个以及本尺度邻域8个共计26个邻域值都大或都小的极值点作为候选兴趣点，再在尺度空间和图像空间进行插值运算，得到稳定的兴趣点位置及其所在的尺度值。

步骤九：兴趣点描述：对以每一个兴趣点为圆心，半径为6s的邻域内的点分别计算x、y方向上边长为4s的Haar小波响应，s为兴趣点所在的尺度值，然后以兴趣点为中心对响应值进行高斯函数加权，最后采用60°的滑动扇形窗口，计算该扇形处于每个角度时窗口内响应之和，并记录窗口环绕一周所形成的每一个矢量，选择最长矢量的方向作为该兴趣点的主方向。

选定兴趣点主方向后，以兴趣点为中心，按主方向选取边长为20s的正方形区域，将该区域划分为4×4共计16个正方形子区域，对每一个子区域按5s×5s的大小取样，分别计算相对于主方向的水平、垂直方向的Haar小波响应，同时为响应值赋予不同的高斯权重，以增强对几何变形及定位误差的鲁棒性；然后对每个子区域的响应和响应的绝对值求和得到一个四维向量v=(Σd_x,Σ|d_x|,Σd_y,Σ|d_y|)，d_x、d_y分为水平和垂直方向的Haar小波响应，|d_x|、|d_y|分为水平和垂直方向的Haar小波响应的绝对值。对每一个兴趣点，将16个正方形子区域的向量组合起来便形成64维SURF描述子向量，归一化后使描述算子对光照具有一定的鲁棒性。

步骤十：利用SURF算法，将于左图像提取的目标模板与左右图像进行匹配，获得兴趣点对集合I_l和I_r。

步骤十一：搜索两个兴趣点对集合，在左右两幅图像中寻找与模板图像具有相同匹配点的兴趣点，然后依次将左右图像中这些兴趣点存放在集合S_l和S_r中，集合中元素个数分别有m和n个。

步骤十二：由于存在标定误差，经立体校正后，左右图像中仍然可能存在微小的畸变以及行不对齐，因此兴趣点筛选公式如下:

|v_1i-v_2i|≤δ      (3)

其中，i=1,2,3,…,n，δ为筛选阈值，v_1i、v_2i分别表示集合S_l、S_r中第i个元素的纵坐标，即已知左图上的兴趣点(u_1i,v_1i)与右图上的兴趣点(u_2i,v_2i)，若两个兴趣点所在的极线间的距离小于等于δ个像素，则称该匹配点为有效匹配点。将左右图像中的有效匹配点分别存入集合S_lw和S_rw中，此时两个集合元素个数相等，都为w个。

步骤十三：由上述匹配点筛选方法获得的有效匹配点集合S_lw和S_rw中对应的兴趣点对，可以较好地保证对应于目标实物中的相同位置，具有良好的空间位置一致性，由式（4）实现间接匹配：

$\left\{\begin{array}{c}{\stackrel{\‾}{u}}_2=\frac{1}{w}\underset{i=1}{\overset{w}{\mathrm{\Σ}}}({\stackrel{\‾}{u}}_1-u_{1i}+u_{2i})\\ {\stackrel{\‾}{v}}_2={\stackrel{\‾}{v}}_1\end{array}\right.---\left(4\right)$

其中，为左图像特征点坐标，为间接匹配得到的右图像中特征点坐标,u_1i、u_2i分别为左右图像上的兴趣点的横坐标，i=1,2,3,…,w，w为有效匹配点个数。

步骤十四：由三角测量原理可得到空间场景点的三维坐标：如图1所示：

$\left\{\begin{array}{c}X=\frac{b(u_1-u_0)}{u_1-u_2}\\ Y=\frac{b(v_1-v_0)}{u_1-u_2}\\ Z=\frac{\mathrm{bf}}{u_1-u_2}\end{array}\right.---\left(5\right)$

其中，b为基线距离，f为两摄像头焦距，(u₁,v₁)、(u₂,v₂)为空间点在左右成像平面的图像坐标，即上述步骤中的特征点坐标，(u₀,v₀)为主点偏置坐标；X,Y,Z分别为目标在摄像头坐标系下的三维坐标。

Claims (1)

1.一种基于双目视觉的目标定位方法，其特征在于该方法包括如下步骤：

步骤一：输入大小为k×l的彩色左图像，目标模板图像大小为k₁×l₁，k₁≤k，l₁≤l，令变量o＝k₁，p＝l₁，x＝y＝0；对目标模板图像的颜色、饱和度概率建模，将目标模板图像转化为H-S直方图，并归一化处理；

步骤二：从输入图像的左上角(x,y)开始，切割一块(x,y)至(k₁,l₁)的临时图像，生成临时图像的H-S直方图，并归一化处理；

步骤三：将临时图像的H-S直方图和目标模板图像的H-S直方图按式(2)进行相关性对比，对比结果记为C(H₁,H₂)；

$C\left(H_1,H_2\right)=\frac{\underset{i}{\overset{N}{\mathrm{\Σ}}}{H^{\′}}_1\left(i\right)\·{H^{\′}}_2\left(i\right)}{\sqrt{\underset{i}{\overset{N}{\mathrm{\Σ}}}{H}^{\′}{{}_1}^2\left(i\right)\·H^{\′}{{}_2}^2\left(i\right)}}---\left(2\right)$

其中，k取值1和2，i＝j＝1,2,3,…,N，N为直方图中区间的个数，H_k(i)为第k个直方图中第i个区间上的值；

步骤四：将直方图对比结果C(H₁,H₂)作为反向投影图像(x,y)处的像素值；

步骤五：令y＝y+1，l₁＝l₁+1，当l₁≤l时，返回步骤二，即按竖直方向切割输入图像；

步骤六：当l₁＞l时，令y＝0，k₁＝o，l₁＝p，x＝x+1，k₁＝k₁+1，返回步骤二，即一列一列地向右推移切割输入图像；

步骤七：重复步骤二至步骤六，当k₁>k时结束，即切割输入图像直至其右下角；

步骤八：兴趣点检测：使用不同尺寸的盒形滤波器对原图像滤波来构建图像金字塔，在不同的尺度空间用Hessian矩阵求极值，然后在其3×3×3的立体邻域内进行非极大值抑制，将比上下尺度各9个以及本尺度邻域8个共计26个邻域值都大或都小的极值点作为候选兴趣点，再在尺度空间和图像空间进行插值运算，得到稳定的兴趣点位置及其所在的尺度值；

步骤九：兴趣点描述：对以每一个兴趣点为圆心，半径为6s的邻域内的点分别计算x、y方向上边长为4s的Haar小波响应，s为兴趣点所在的尺度值，然后以兴趣点为中心对响应值进行高斯函数加权，最后采用60°的滑动扇形窗口，计算该扇形处于每个角度时窗口内响应之和，并记录窗口环绕一周所形成的每一个矢量，选择最长矢量的方向作为该兴趣点的主方向；

选定兴趣点主方向后，以兴趣点为中心，按主方向选取边长为20s的正方形区域，将该区域划分为4×4共计16个正方形子区域，对每一个子区域按5s×5s的大小取样，分别计算相对于主方向的水平、垂直方向的Haar小波响应，同时为响应值赋予不同的高斯权重，以增强对几何变形及定位误差的鲁棒性；然后对每个子区域的响应和响应的绝对值求和得到一个四维向量v＝(Σd_x,Σ|d_x|,Σd_y,Σ|d_y|)，d_x、d_y分别为水平和垂直方向的Haar小波响应_，|d_x|、|d_y|分别为水平和垂直方向的Haar小波响应的绝对值；对每一个兴趣点，将16个正方形子区域的向量组合起来便形成64维SURF描述子向量，归一化后使描述算子对光照具有一定的鲁棒性；

步骤十：利用SURF算法，将于左图像提取的目标模板与左右图像进行匹配，获得兴趣点对集合I_l和I_r；

步骤十一：搜索两个兴趣点对集合，在左右两幅图像中寻找与模板图像具有相同匹配点的兴趣点，然后依次将左右图像中这些兴趣点存放在集合S_l和S_r中，集合中元素个数分别有m和n个；

步骤十二：由于存在标定误差，经立体校正后，左右图像中仍然可能存在微小的畸变以及行不对齐，因此兴趣点筛选公式如下:

|v_1i-v_2i|≤δ            (3)

其中，i＝1,2,3,…,n，δ为筛选阈值，v_1i、v_2i分别表示集合S_l、S_r中第i个元素的纵坐标，即已知左图上的兴趣点(u_1i,v_1i)与右图上的兴趣点(u_2i,v_2i)，若两个兴趣点所在的极线间的距离小于等于δ个像素，则称该兴趣点为有效匹配点；将左右图像中的有效匹配点分别存入集合S_lw和S_rw中，此时两个集合元素个数相等，都为w个；

步骤十三：由上述匹配点筛选方法获得的有效匹配点集合S_lw和S_rw中对应的兴趣点对，可以较好地保证对应于目标实物中的相同位置，具有良好的空间位置一致性，由式(4)实现间接匹配：

$\left\{\begin{array}{c}{\stackrel{\‾}{u}}_2=\frac{1}{w}\underset{i=1}{\overset{W}{\Σ}}({\stackrel{\‾}{u}}_1-u_{1i}+u_{2i})\\ {\stackrel{\‾}{v}}_2={\stackrel{\‾}{v}}_1\end{array}\right.---\left(4\right)$

其中，为左图像特征点坐标，为间接匹配得到的右图像中特征点坐标,u_1i、u_2i分别为左右图像上的兴趣点的横坐标，i＝1,2,3,…,w，w为有效匹配点个数；

步骤十四：由三角测量原理可得到空间场景点的三维坐标：

$\left\{\begin{array}{c}X=\frac{b\left(u_1-u_0\right)}{u_1-u_2}\\ Y=\frac{b\left(v_1-v_0\right)}{u_1-u_2}\\ Z=\frac{bf}{u_1-u_2}\end{array}\right.---\left(5\right)$

其中，b为基线距离，f为两摄像头焦距，(u₁,v₁)为空间点在左成像平面的图像坐标，即上述步骤中的特征点坐标，u₂为空间点在右成像平面的图像的横坐标，(u₀,v₀)为主点偏置坐标；X,Y,Z分别为目标在摄像头坐标系下的三维坐标。