CN102036094A - 一种基于数字分数延时技术的立体匹配方法 - Google Patents

Abstract

本发明涉及一种基于数字分数延时技术的立体匹配方法，其具体的做法是：首先，将得到的左右视图通过校正算法校正并转换为灰度图，然后将转换后的图像中需要测距的目标物体通过分割的方法将其分割出，接下来将左右视图中的目标分别在垂直方向作投影以转换为一维信号，从而将图像的立体匹配转化为相应一维信号的延时检测。然后，通过全局的匹配，使误差最小化，得到整像素的视差。随后，利用数字分数延时器的方法，求得亚像素级的视差。最终，通过双目视觉的方法求得目标物体的深度。本方法可以应用于对较远目标的深度求取，例如远距离的建筑物、桥梁等等。

Description

一种基于数字分数延时技术的立体匹配方法

技术领域

本发明涉及一种立体匹配方法，特别涉及一种基于数字分数延时技术的立体匹配算法。

背景技术

立体视觉技术是三维深度信息获取的关键技术之一，在野外环境中快速、准确地识别建筑物信息，确定目标建筑物的准确地理位置，要求立体视觉定位系统的匹配算法应具有较高的准确性和实时性。然而双目立体匹配一直是三维场景结构信息获取的研究热点之一，其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像点，从而计算出视差并获得三维信息。特别是20世纪80年代，美国麻省理工学院的Marr提出了一种视觉计算理论并应用在双目匹配上，使两张有视差的平面图产生具有深度的立体图形，从而奠定了双目立体视觉发展的理论基础。相比其他类的立体视觉方法，双目立体视觉直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。

立体匹配是双目立体视觉中最关系、困难的一步。立体匹配是寻求同一空间景物在不同视点下投影图像像素间的一一对应关系。与普通的图像模板匹配不同，立体匹配是在两幅存在视点差异，几何、灰度畸变和噪声干扰的图像间进行的，不存在任何的标准模板，这无疑是十分困难的，更何况立体匹配还要求得到像素间的一一对应匹配。

目前，立体匹配的研究基本上分为两个方向：一是从理解人类视觉的立体融合机制出发，试图建立一种通用的人类双眼视觉计算模型；二是从实际应用和要求出发，建立实用的立体视觉系统。

在目前的立体视觉研究中，绝大多数都是针对各自的应用目的和要求，以建立实用的立体视觉系统为目的。立体匹配实质上是在基元相似性的条件下，运用匹配准则的最佳搜索问题，许多数学中的最优化技术都可应用于立体匹配。根据匹配基元的不同，现有的立体匹配方法可分为如下三类：区域匹配，特征匹配以及相位匹配。

区域匹配算法常以邻域窗的灰度为匹配基元，以相关程度作为判别依据，可以得到较稠密的视差图。区域匹配算法的一个突出缺点是，对无纹理区域常常由于相关函数变化的锐度不够以及难于保留深度不连续特性，不能取得精确的匹配结果。特征匹配只能得到稀疏视差图，要得到稠密视差需附加较为复杂的插值过程，因此常规的特征算法往往难以达到预期效果。对于目标的深度变化相对于其对于摄像系统的距离可以忽略不计，即目标物体较远时，纹理信息相对较少，特征并不明显时，得到的视差误差较大。针对这种情况，提出了本发明。

发明内容

本发明的主要目的在于解决需测距目标的深度变化相对于其对于摄像系统的距离可以忽略不计，可以将目标看成是处于同一深度平面上，即整体目标的深度一致的场景下目标物体的深度求取，且对深度的精度要求较高的情况。

为此，本发明提出一种基于数字分数延时技术的亚像素级立体匹配方法，本方法利用双目摄像机的灰度图，将图像转换为一维信号，根据数字分数延时技术，估计两个一维信号间的延时量，来实现亚像素精度的立体匹配，从而求取目标物体的深度信息。本方法可以应用于对较远目标的深度求取，例如远距离的建筑物、桥梁等等。

本发明提出的基于数字分数延时技术的立体匹配方法，包括如下步骤：首先，将得到的左右视图通过校正算法校正，并转换为灰度图；然后，将转换后的图像中需要测距的目标物体分割出；将从左右视图转换成的灰度图中分割出来的目标分别在垂直方向作投影转换，以生成一维信号；通过全局匹配这两个一维信号，以得到整像素的视差；利用数字分数延时技术，求得亚像素级的视差；最后，通过双目立体视觉方法求得目标物体的深度。

上述步骤具体为：首先，通过双目相机得到左右视图；通过RAC(径向排列约束)两步校正法对左右视图进行校正，得到校正后的图像，并将所述校正后的图像转换为灰度图；最后，将需要测距的目标分割出来，并将需要测距的目标之外的图像部分置为黑色，即取值为0。

在得到校正后灰度图像后，将左右视图中的目标在垂直方向上的像素灰度值分别累加，以得到左一维信号left[n]和右一维信号right[n]，n为大于零的自然数。

所述整像素的视差Δn通过如下方法获得：当|E[Δn]＝∑|nght[n+Δn]-left[n]|最小时，Δn为即为整像素的视差。

获得整像素视差后，将右一维信号平移整像素视差Δn  得到信号right[n+Δn]，将左一维信号left[n]通过响应函数为

的数字分数延时器，然后通过梯度下降法最小化E[Δt]＝∑|left[n]*h_d[n]-right[n+Δn]|，求得亚像素视差Δt。

所述目标物体的深度值通过如下方法获得：将整像素视差Δn与亚像素视差Δt相加，得到两个视图的视差d，根据双目立体视觉的公式z＝f*(1+D/d)，其中D为基线距离，d为视差，f为焦距，即可求得目标物体最后所需的深度值z。

本发明的优点是：

1、本方法将二维的图像信号转换为一维信号，利用数字延时器的原理，通过对左右两个一维信号的匹配来求取左右视图的视差，通过对采样间隔的变化来改变匹配的精度。因此本方法可以做到亚像素级的匹配，可以得到较高的精度。

2、本发明中的方法实现简单，并且能够获得精度较高的深度信息。

附图说明

图1为本发明的一种基于数字分数延时器的亚像素级立体匹配方法实施例的总流程图；

图2a、图2b为相机拍摄的一些原始图像，其中，图2a为左视图，图2b是右视图；

图3a、图3b为图像校正后的一些结果图，其中，图3a为左视图，图3b是右视图；

图4a、图4b为需要测距的目标的一些结果图，其中，图4a为左视图，图4b是右视图；

图5a、图5b为视图转化为一维信号的结果图，其中，图5a为左视图一维信号图，图5b是右视图一维信号图。

具体实施方式

下面，结合附图和具体实施例对本发明作进一步说明。

本实例中用到的摄像机可采用可见光摄像机或红外摄像。

如图1所示为整体方法的流程图，首先从相机得到左右视图的彩色图片如图2所示，分别为左视图与右视图，通过方法描述中的校正方法，将左右视图校正为同一平面同一高度的两幅灰度图，如图3所示。通过分割的方法，将需要测距的目标的大致位置分割出来，实例中需要测距的目标为位于白色柜子上的纸箱，并将图像其余部分置为黑色(即灰度值为0)，如图4所示。以上为图像的预处理阶段，下面即为匹配方法的具体操作过程。

首先对于只剩目标的图像，即图4，进行垂直方向的投影，具体将垂直方向的像素值全部相加形成一个一维信号，由于目标物体所占图像的面积有限，因此一维信号中有一部分信号强度为0，只有包含目标物体的一部分才有信号量，因此计算信号的起始点以及结束点，用于后面计算两个视图的整像素视差，如图5所示为投影后的一维信号。得到两个一维信号以及其起始地址，根据公式E[Δn]＝∑|right[n+Δn]-left[n]|，当E[Δn]最小时，即求得整像素的视差Δn。当求得整像素的视差后，将右一维信号平移整像素视差Δn得到信号right[n+Δn]，将左一维信号left[n]通过延时系统，其响应函数为

得到一个新的信号left[n]*h_d[n]，然后根据梯度下降法最小化E[Δt]＝∑|left[n]*h_d[n]-right[n+Δn]|，得到需要的亚像素视差Δt。

然后，将整像素视差Δn与亚像素视差Δt相加，得到两个视图的视差d，根据双目立体视觉的公式z＝f*(1+D/d)，其中D为基线距离，d为视差，f为焦距。至此，由公式即可求得z即目标物体最后所需的深度值，整个匹配方法结束。

总之，本方法步骤为：

1、预处理过程，主要是对图像进行校正。由于相机放置的原因，使得左右相机的光轴会在一定程度上相互有偏移，因此需要通过校正消除图像的水平畸变。本方法使用的是RAC(径向排列约束)两步校正法。

2、整像素匹配过程

首先将校正后的左右视图转换为灰度图，然后将需要测距的目标分割出来，本方法的主要应用对象为测距目标的深度变化相对于其对于摄像系统的距离可以忽略不计，可以将目标看成是处于同一深度平面上。将目标分割出以后，将二维的图像数据在垂直方向投影，转换成一个一维的信号，可以表示为left[n]，right[n]，利用全局匹配，即最小化

E[Δn]＝∑|right[n+Δn]-left[n]|

得到的Δn即为所求的整像素视差。对于整像素视差来说，一个像素的偏移会造成巨大的深度误差，因此在此基础上本方法设计了一个亚像素级的匹配，即下述的基于数字延时技术的亚像素级匹配。

3、基于数字延时技术的亚像素级匹配

前一步中我们已经得到整像素的视差，但是为了提高精度，我们必须求得两视图间的亚像素视差，我们可以把一个信号看作是另一个信号通过一个数字分数延时器而产生的，从而这个延时量即为我们所求的亚像素视差。根据这个原理，设左右信号分别为x₀[n]，y₀[n]，将x₀[n]通过延时器得到一个延时信号y₀[n]，且y[n]＝h_d[n]*x₀[n]，其中h_d[n]为延时器的响应函数，如下所示：

其中ω_s为采样频率，T为采样周期，Δt为延时量。因此只要通过最小化E＝∑(y[n]-y₀[n])²，即能求得最佳延时量Δt，也即求得亚像素的视差。为了获得最佳匹配，寻找Δt使得误差函数E最小，使E对Δt求导得到：

$\frac{\∂E}{\∂\mathrm{\Δt}}=2\mathrm{\Σ}\left(y\right[n]-y_0[n\left]\right)\frac{\∂y\left[n\right]}{\∂\mathrm{\Δt}}$

将y[n]代入可得：

$\frac{\∂y\left[n\right]}{\∂\mathrm{\Δt}}=\frac{\∂\mathrm{\Σ}{h}_d\left[k\right]x_0[k-n]}{\∂\mathrm{\Δt}}=\mathrm{\Σ}\frac{\∂h_d\left[k\right]}{\∂\mathrm{\Δt}}\·x_0[k-n]$

综上，可以通过梯度下降法，从而得到最佳匹配时的Δt，即匹配的视差，从而根据双目立体视觉的原理，求得目标物体的位置，从而实现本方法的功能。

Claims (7)

1.一种基于数字分数延时技术的立体匹配方法，其特征在于包括如下步骤：首先，将得到的左右视图通过校正算法校正，并转换为灰度图；然后，将转换后的图像中需要测距的目标物体分割出；将从左右视图转换成的灰度图中分割出来的目标分别在垂直方向作投影转换，以生成一维信号；通过全局匹配这两个一维信号，以得到整像素的视差；利用数字分数延时技术，在整像素的视差的基础上，求得亚像素级的视差；最后，通过双目立体视觉方法求得目标物体的深度。

2.如权利要求1所述的基于数字分数延时技术的立体匹配方法，其特征在于，首先，通过双目相机得到左右视图；通过RAC(径向排列约束)两步校正法对左右视图进行校正，得到校正后的图像，并将所述校正后的图像转换为灰度图；最后，将需要测距的目标分割出来，并将需要测距的目标之外的图像部分置为黑色，即取值为0。

3.如权利要求2所述的基于数字分数延时器的立体匹配方法，其特征在于，在得到校正后灰度图像后，将左右视图中的目标在垂直方向上的像素灰度值分别累加，以得到左一维信号left[n]和右一维信号right[n]，n为大于零的自然数。

4.如权利要求3所述的基于数字分数延时器的立体匹配方法，其特征在于，当E[Δn]＝∑|right[n+Δn]-left[n]|最小时，能求得整像素的视差Δn。

5.如权利要求1和4中任一项所述的基于数字分数延时技术的立体匹配方法，其特征在于，获得整像素视差后，将右一维信号平移整像素视差Δn得到信号right[n+Δn]，将左一维信号left[n]通过响应函数为

的数字分数延时器，然后通过最小化E[Δt]＝∑|left[n]*h_d[n]-right[n+Δn]|，求得亚像素视差Δt。

6.如权利要求5所述的基于数字分数延时技术的立体匹配方法，其特征在于，采用梯度下降法最小化E[Δt]＝∑|left[n]*h_d[n]-right[n+Δn]|。

7.如权利要求1、4、5、6中任一项所述的基于数字分数延时技术的立体匹配方法，其特征在于：所述目标物体的深度值通过如下方法获得：将整像素视差Δn与亚像素视差Δt相加，得到两个视图的视差d，再根据双目立体视觉的公式z＝f*(1+D/d)，其中D为基线距离，d为视差，f为焦距，即可求得目标物体最后所需的深度值z。

Images