CN106447661A - 一种深度图快速生成方法 - Google Patents

Abstract

本发明提出一种深度图像快速生成方法，首先利用Shi‑Tomasi算法求解得到立体图像对的匹配特征点，并根据匹配特征点估算区域匹配的视差搜索范围，减少不必要的搜索操作。然后利视差搜索范围进行区域匹配，计算出各像素点视差。最后根据求出的视差计算出各像素点的深度，得到深度图。本发明所提出方法较传统的基于区域匹配的深度图像生成方法在图像生成速度和准确度上都有明显提高。

Description

一种深度图快速生成方法

技术领域

本发明涉及计算机视觉领域，特指一种深度图快速生成方法。

背景技术

双目立体视觉是计算机视觉领域的一个重要分支，能够模仿人的双眼处理客观场景。随着立体视频技术的不断发展，图像处理技术、通信技术以及编码技术的不断进步，立体视频迎来了发展的契机。

近年来，图像显示技术的飞跃以及计算机芯片处理能力的大幅提高，使我们能在普通的显示器上观看逼真的立体视频；通信信道的带宽增加以及通信速度的加快，为信息量巨大的立体视频提供了技术支持。立体视频编码技术的提高是非常重要的。

在传统的平行双目立体影像成像系统中，需要传送左视图和右视图来生成立体图像，该方法原理简单，但是传输效率低，且传输所需的带宽较大。

而基于深度图像绘制的立体成像系统只需要传输任意一副图像(左视图或右视图)及相应的深度图像即可，通过深度图像分析恢复出另外一副图像(右视图或左视图)，实现三维重建。因为深度图的信息量通常比普通视图的信息量少很多，所以基于深度信息的立体成像系统可以大大的节省传输带宽。深度图像在机器人视觉领域、自动导航、工业零件的自动监测和自动装配等领域有着广泛应用。

深度用于表示场景中各点相对于摄像机的距离，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离。深度图是指以物体纵向深度值代替灰度图像的灰度级形成的图像。

目前，国内外的深度图像获取方法主要有两种，一种是以激光雷达深度成像、坐标测量机法、摩尔条纹法、结构光法为代表的主动获取技术，另一种是以立体视觉技术为代表的被动式获取技术。被动式获取技术中，平行双目立体视觉深度图像获取方法因为具有成本低、效率高、灵活性强等特点，得到了广泛的应用。立体匹配是平行双目立体获取深度图像的关键，但是现在用得较多的基于特征点的立体匹配方法只能获取到稀疏的深度图，而基于区域的立体匹配方法匹配精度不高，计算效率低。

发明内容

针对传统深度图生成方法中的不足，本发明提出了一种深度图快速生成方法。基于平行双目立体视觉模型，利用具有水平视差的左视图和右视图计算深度图，并在深度图像生成的关键部分，即立体匹配部分提出了一种Shi-Tomasi特征点匹配与区域匹配相结合的立体匹配方法，减少区域匹配的搜索范围，提高匹配的速度及精度，该方法提高了深度图生成的速度。

本发明采用的技术方案是：

一种深度图快速生成方法，包括以下步骤：

S1对待匹配立体图像对的左右图像分别进行Shi-Tomasi特征提取，得到图像中的Shi-Tomasi特征点；

S2把S1中左图像和右图像获取的Shi-Tomasi特征点进行双向匹配，得到相互匹配的特征点对，并求出匹配特征点对的最大视差和最小视差，估计出区域匹配的视差搜索范围；

S3把归一化互相关函数作为区域匹配的相关测度函数，利用S2中求取的视差搜索范围作为图像区域匹配的匹配范围，计算图像对之间的匹配像素点对；

S4计算S3中匹配像素点对之间的视差信息，得到立体图像对稠密的视差信息。

S5根据S4中获得的视差信息并结合摄相机的内外参数计算出深度信息，得到深度图。

在步骤S1中，判断像素点是否为Shi-Tomasi特征点的方法为：

设待匹配立体图像对的左右图像在点p处的灰度为I(x,y)，p点的坐标为(x,y)，以p点为中心建立一个n·n的窗口Ω，w(x,y)为窗口函数，将窗口平移[Δx,Δy]，则灰度变化E[Δx,Δy]为：

对于微小的平移即Δx、Δy趋近于0，将I(x+Δx,y+Δy)进行泰勒展开并忽略二阶及以上项，带入式(1)，可得：

其中，I_x、I_y分别表示图像灰度在x和y方向的偏导数，将(2)写成矩阵的形式有：

其中M为2×2的矩阵：

对于像素点p(x,y)，计算求得M的两个特征值为λ₁、λ₂，若M的两个特征值中较小的一个大于给定阈值，即λ₁≥λ₂且λ₂≥k·λ_2max，那么点p(x,y)为Shi-Tomasi特征点，其中λ_2max是待匹配立体图像中的各像素点求取的两个特征值中所有较小特征值中的最大特征值，k为预设的一个系数。

步骤S2中，区域匹配的视差搜索范围的估计方法为：

1)将待匹配立体图像对的左图像作为基准图，依次选择特征点P_l作为候选点，利用Shi-Tomasi算法对P_l在待匹配立体图像对的右图像中寻找待匹配点P_i(i＝1,2,...,s)；

2)当检测点P_l与P_i(i＝1,2,...,s)满足单调性、单一性以及外极线约束时，以两个特征点为中心分别建立7×7像素大小的邻域窗口，利用相关测度函数中的归一化互相关函数对窗口内的灰度值进行互相关计算，若(2m+1)为邻域窗口的长度，(2n+1)为邻域窗口的宽度，I(u,v)为左图像上像素点，d为视差，则归一化互相关函数公式为：

其中

3)比较候选点P_l与匹配点P_i(i＝1,2,...,s)的所有互相关计算结果，与特征点P_l具有最大互相关系数的右图像中的点即为与之相匹配的特征点P_r，若P_l与P_r相匹配，则表示为(P_l，P_r)；

4)继续取左图像中的下一个候选点，重复步骤1)-3)，直到为左图像中的所有特征点都在右图像中为其找到了对应点，则组成一个由(P_l，P_r)为元素构成的匹配点集Set1；

5)将左右两幅图像互换即将待匹配立体图像对的右图像作为基准图，对于右图像中的所有特征点，采用1)-4)相同的方法，为其在左图像中找到相应的匹配点，组成匹配点集Set2；

6)综合比较两个匹配点集，对于Set1和Set2中都有的元素，认为它们是互相匹配的特征点对，对于只存在于Set1或者Set2中的元素，则将其抛弃；

7)通过步骤1)-6)的计算，得到左右图像相互匹配的特征点对，并计算这些相互匹配特征点对的水平坐标之差的绝对值，得出特征点对之间的视差，取最大视差记为d_max，最小视差记为d_min，得到区域匹配的视差搜索范围为[d_max,d_min]。

本发明中，步骤S3的方法为：选定左图像上的像素点Q(x,y)，以Q(x,y)点为中心选取一个子窗口作为参考窗口，窗口大小为7×7像素大小，在右图像上以和左图像中Q(x,y)点相同坐标的Q′(x,y)点建立同样大小的窗口作为目标窗口，以视差搜索空间[-d_max,-d_min]和[d_max,d_min]范围内的像素点为目标窗口中心点，移动目标窗口，用归一化互相关函数将参考窗口与目标窗口进行比较，相似性最大的两个窗口即为匹配窗口，两窗口中心的像素点即为相互匹配的像素点对。

本发明中，步骤S4的方法为：

在平行双目立体视觉模型中，左摄像机与右摄像机的参数一致，两摄像机光轴平行且垂直于基线，构成一共极结构，两摄像机拍摄的左图像和右图像只有水平视差，设b为基线即两个摄像机的投影中心连线距离，f为相机焦距。

当两摄像机在同一时刻拍摄空间物体的同一特征点P(x,y,z)时，两摄像机分别获取到该特征点P(x,y,z)的图像，特征点P(x,y,z)在左图像和右图像上的图像坐标分别为p(x_l,y_l,z_l),p(x_r,y_r,z_r)，由三角几何关系有：

又因为视差d为：

d＝x_l-x_r (6)

由式(5)和式(6)可以计算出特征点P在相机坐标系下的三维坐标为：

由于特征点P的深度即为P点相对于摄像机的距离即P点到两摄像机投影中心连线的垂直距离，于是可以得到P点的深度值为式(7)中的Z；根据视差d，基线b和相机焦距f就可以求出深度值Z，把对应像素点的像素值用深度值Z表示，就能得到深度图。

综上所述，本发明提出的一种深度图快速生成方法中，采用特征与区域相结合的立体匹配算法对双目立体图像对进行立体匹配。先用特征匹配估算出区域匹配的视差搜索范围，然后利用估算出的视差搜索范围对图像进行立体匹配，得到稠密视差信息。本发明基于Shi-Tomasi特征匹配与区域匹配相结合的匹配方法能有效减少区域匹配时的匹配搜索点，从而减少计算量，降低匹配搜索时间，提高匹配速度，加快立体图像对的视差信息获取效率，快速获取到深度信息，生成深度图。

附图说明

图1是平行双目立体视觉系统的原理图；

图2为本发明一种深度图快速生成方法流程图；

图3区域匹配视差搜索范围估计流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

本发明提出的一种深度图快速生成方法是以平行双目立体视觉模型为基础的。平行双目立体视觉系统模型如图1所示，图中b为基线，即两个摄像机的投影中心连线距离，f为相机焦距。横向平行配置的双目立体视觉模型是一种简单实用的视觉模型，成像模型与人眼视觉模型相似，左右图像的极线在同一条水平线上，故立体匹配时左右两幅图像的匹配像素点对在同一水平线上，这样减小了匹配点搜索范围，大大降低了匹配的计算量。

参照图2，为本发明一种深度图快速生成方法的流程图，具体的实现过程如下：

S1，对待匹配立体图像对的左右图像分别进行Shi-Tomasi特征提取，得到图像中的Shi-Tomasi特征点。

判断像素点是否为Shi-Tomasi特征点的具体方法为：设待匹配立体图像对的左右图像在点p处的灰度为I(x,y)，p点的坐标为(x,y)，以p点为中心建立一个n·n的窗口Ω，w(x,y)为窗口函数，将窗口平移[Δx,Δy]，则灰度变化E[Δx,Δy]为：

对于微小的平移即Δx、Δy趋近于0，将I(x+Δx,y+Δy)进行泰勒展开并忽略二阶及以上项，带入(1)式可得：

其中，I_x、I_y分别表示图像灰度在x和y方向的偏导数，将(2)写成矩阵的形式有：

其中M为2×2的矩阵：

对于像素点p(x,y)，计算求得M的两个特征值为λ₁、λ₂，若M的两个特征值中较小的一个大于给定阈值，即λ₁≥λ₂且λ₂≥k·λ_2max，那么点p(x,y)为Shi-Tomasi特征点，其中λ_2max是待匹配立体图像中的各像素点求取的两个特征值中所有较小特征值中的最大特征值，k为一个系数，其取值根据具体情况确定。

S2，对左图像和右图像获取的Shi-Tomasi特征点进行双向匹配，得到相互匹配的特征点对，并求出匹配特征点对的最大视差和最小视差，估计出区域匹配的视差搜索范围。区域匹配的视差搜索范围估计流程图如图3所示，其具体步骤为：

1)将待匹配立体图像对的左图像作为基准图，依次选择特征点P_l作为候选点，利用Shi-Tomasi算法对P_l在待匹配立体图像对的右图像中寻找待匹配点P_i(i＝1,2,...,s)；

2)当检测点P_l与P_i(i＝1,2,...,s)满足单调性、单一性以及外极线约束时，以两个特征点为中心分别建立7×7像素大小的邻域窗口，利用相关测度函数中的归一化互相关函数对窗口内的灰度值进行互相关计算，若(2m+1)为邻域窗口的长度，(2n+1)为邻域窗口的宽度，I(u,v)为左图像上像素点，d为视差，则归一化互相关函数公式为：

其中

3)比较候选点P_l与匹配点P_i(i＝1,2,...,s)的所有互相关计算结果，与特征点P_l具有最大互相关系数的右图像中的点即为与之相匹配的特征点P_r，若P_l与P_r相匹配，则表示为(P_l，P_r)；

4)继续取左图像中的下一个候选点，重复步骤1)-3)，直到为左图像中的所有特征点都在右图像中为其找到了对应点，则组成一个由(P_l，P_r)为元素构成的匹配点集Set1；

5)将左右两幅图像互换即将待匹配立体图像对的右图像作为基准图，对于右图像中的所有特征点，采用1)-4)相同的方法，为其在左图像中找到相应的匹配点，组成匹配点集Set2；

6)综合比较两个匹配点集，对于Set1和Set2中都有的元素，认为它们是互相匹配的特征点对，对于只存在于Set1或者Set2中的元素，则将其抛弃；

7)通过步骤1)-6)的计算，得到左右图像相互匹配的特征点对，并计算这些相互匹配特征点对的水平坐标之差的绝对值，得出特征点对之间的视差，取最大视差记为d_max，最小视差记为d_min，得到区域匹配的视差搜索范围为[d_max,d_min]。

S3利用S2中求得的视差搜索空间作为图像区域匹配的匹配范围，对立体图像对进行区域匹配，获得稠密的匹配像素点对，具体步骤为：

选定左图像上的像素点Q(x,y)，以Q(x,y)点为中心选取一个子窗口作为参考窗口，参考窗口大小为7×7像素大小，在右图像上以和左图像中Q(x,y)点相同坐标的Q′(x,y)点建立同样大小的窗口作为目标窗口，以视差搜索空间[-d_max,-d_min]和[d_max,d_min]范围内的像素点为目标窗口中心点，移动目标窗口，用归一化互相关函数将参考窗口与目标窗口进行比较，相似性最大的两个窗口即为匹配窗口，两窗口中心的像素点即为相互匹配的像素点对。

S4，计算匹配像素点对之间的视差信息，得到立体图像对稠密的视差信息，根据计算的视差信息并结合摄像机的内外参数计算出深度信息，得到深度图。

如图1所示的平行双目立体视觉模型中，左摄像机与右摄像机的参数一致，两摄像机光轴平行且垂直于基线，构成一共极结构，两摄像机拍摄的左视图和右视图只有水平视差，图中b为基线，即两个摄像机的投影中心连线距离，f为相机焦距。当两摄像机在同一时刻拍摄空间物体的同一特征点P(x,y,z)时，两摄像机分别获取到该特征点P(x,y,z)的图像，特征点P(x,y,z)在左视图和右视图上的图像坐标分别为p(x_l,y_l,z_l),p(x_r,y_r,z_r)，由三角几何关系有：

又因为视差d为：

d＝x_l-x_r (6)

由式(5)和式(6)可以计算出特征点P在相机坐标系下的三维坐标为：

由于特征点P的“深度”即为P点相对于摄像机的距离(即P点到两摄像机投影中心连线的垂直距离)，于是可以得到P点的深度值为式(7)中的Z。根据视差d，基线b和相机焦距f就可以求出深度值Z，把对应像素点的像素值用深度值Z表示，得到深度图。

Claims (5)

1.一种深度图快速生成方法，其特征在于，包括以下步骤：

S1对待匹配立体图像对的左右图像分别进行Shi-Tomasi特征提取，得到图像中的Shi-Tomasi特征点；

S2把S1中左图像和右图像获取的Shi-Tomasi特征点进行双向匹配，得到相互匹配的特征点对，并求出匹配特征点对的最大视差和最小视差，估计出区域匹配的视差搜索范围；

S3把归一化互相关函数作为区域匹配的相关测度函数，利用S2中求取的视差搜索范围作为图像区域匹配的匹配范围，计算图像对之间的匹配像素点对；

S4计算S3中匹配像素点对之间的视差信息，得到立体图像对稠密的视差信息；

S5根据S4中获得的视差信息并结合摄相机的内外参数计算出深度信息，得到深度图。

2.根据权利要求1所述的深度图快速生成方法，其特征在于，步骤S1中，判断像素点是否为Shi-Tomasi特征点的方法为：

设待匹配立体图像对的左右图像在点p处的灰度为I(x,y)，p点的坐标为(x,y)，以p点为中心建立一个n·n的窗口Ω，w(x,y)为窗口函数，将窗口平移[Δx,Δy]，则灰度变化E[Δx,Δy]为：

$E\[\mathrm{\Δ}x,\mathrm{\Δ}y\]=\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}w(x,y){\[I(x+\mathrm{\Δ}x,y+\mathrm{\Δ}y)-I(x,y)\]}^2---\left(1\right)$

对于微小的平移即Δx、Δy趋近于0，将I(x+Δx,y+Δy)进行泰勒展开并忽略二阶及以上项，带入式(1)，可得：

$E\[\mathrm{\Δ}x,\mathrm{\Δ}y\]={\mathrm{\Δx}}^2\underset{(x,y)\∈\mathrm{\Ω}}{\Σ}w(x,y)I_x^2+2\mathrm{\Δ}x\mathrm{\Δ}y\underset{(x,y)\∈\mathrm{\Ω}}{\Σ}w(x,y)I_x{I}_y+{\mathrm{\Δy}}^2\underset{(x,y)\∈\mathrm{\Ω}}{\Σ}w(x,y)I_y^2---\left(2\right)$

其中，I_x、I_y分别表示图像灰度在x和y方向的偏导数，将(2)写成矩阵的形式有：

$E(\mathrm{\Δ}x,\mathrm{\Δ}y)=\[\mathrm{\Δ}x,\mathrm{\Δ}y\]M\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]---\left(3\right)$

其中M为2×2的矩阵：

$M=\left[\begin{array}{cc}\underset{\left(x,y\right)\∈\mathrm{\Ω}}{\mathrm{\Σ}}w\left(x,y\right)I_x^2& \underset{\left(x,y\right)\∈\mathrm{\Ω}}{\mathrm{\Σ}}w\left(x,y\right)I_x{I}_y\\ \underset{\left(x,y\right)\∈\mathrm{\Ω}}{\mathrm{\Σ}}w\left(x,y\right)I_x{I}_y& \underset{\left(x,y\right)\∈\mathrm{\Ω}}{\mathrm{\Σ}}w\left(x,y\right)I_y^2\end{array}\right]---\left(4\right)$

对于像素点p(x,y)，计算求得M的两个特征值为λ₁、λ₂，若M的两个特征值中较小的一个大于给定阈值，即λ₁≥λ₂且λ₂≥k·λ_2max，那么点p(x,y)为Shi-Tomasi特征点，其中λ_2max是待匹配立体图像中的各像素点求取的两个特征值中所有较小特征值中的最大特征值，k为预设的一个系数。

3.根据权利要求1或2所述的深度图快速生成方法，其特征在于，步骤S2中，区域匹配的视差搜索范围的估计方法为：

1)将待匹配立体图像对的左图像作为基准图，依次选择特征点P_l作为候选点，利用Shi-Tomasi算法对P_l在待匹配立体图像对的右图像中寻找待匹配点P_i(i＝1,2,...,s)；

2)当检测点P_l与P_i(i＝1,2,...,s)满足单调性、单一性以及外极线约束时，以两个特征点为中心分别建立7×7像素大小的邻域窗口，利用相关测度函数中的归一化互相关函数对窗口内的灰度值进行互相关计算，若(2m+1)为邻域窗口的长度，(2n+1)为邻域窗口的宽度，I(u,v)为左图像上像素点，d为视差，则归一化互相关函数公式为：

$NCC=\frac{\underset{i=-m}{\overset{m}{\Σ}}\underset{j=-n}{\overset{n}{\Σ}}\[I_L(u+i,v+j)-\stackrel{\‾}{I_L(u,v)}\]\[I_R(u+i+d,v+j)-\stackrel{\‾}{I_R(u+d,v)}\]}{\sqrt{\underset{i=-m}{\overset{m}{\Σ}}\underset{j=-n}{\overset{n}{\Σ}}{\[I_L(u+i,v+j)-\stackrel{\‾}{I_L(u,v)}\]}^2{\[I_R(u+i+d,v+j)-\stackrel{\‾}{I_R(u+d,v)}\]}^2}},$

其中

3)比较候选点P_l与匹配点P_i(i＝1,2,...,s)的所有互相关计算结果，与特征点P_l具有最大互相关系数的右图像中的点即为与之相匹配的特征点P_r，若P_l与P_r相匹配，则表示为(P_l，P_r)；

4)继续取左图像中的下一个候选点，重复步骤1)-3)，直到为左图像中的所有特征点都在右图像中为其找到了对应点，则组成一个由(P_l，P_r)为元素构成的匹配点集Set1；

5)将左右两幅图像互换即将待匹配立体图像对的右图像作为基准图，对于右图像中的所有特征点，采用1)-4)相同的方法，为其在左图像中找到相应的匹配点，组成匹配点集Set2；

6)综合比较两个匹配点集，对于Set1和Set2中都有的元素，认为它们是互相匹配的特征点对，对于只存在于Set1或者Set2中的元素，则将其抛弃；

7)通过步骤1)-6)的计算，得到左右图像相互匹配的特征点对，并计算这些相互匹配特征点对的水平坐标之差的绝对值，得出特征点对之间的视差，取最大视差记为d_max，最小视差记为d_min，得到区域匹配的视差搜索范围为[d_max,d_min]。

4.根据权利要求3所述的深度图快速生成方法，其特征在于，步骤S3的方法为：选定左图像上的像素点Q(x,y)，以Q(x,y)点为中心选取一个子窗口作为参考窗口，窗口大小为7×7像素大小，在右图像上以和左图像中Q(x,y)点相同坐标的Q′(x,y)点建立同样大小的窗口作为目标窗口，以视差搜索空间[-d_max,-d_min]和[d_max,d_min]范围内的像素点为目标窗口中心点，移动目标窗口，用归一化互相关函数将参考窗口与目标窗口进行比较，相似性最大的两个窗口即为匹配窗口，两窗口中心的像素点即为相互匹配的像素点对。

5.根据权利要求4所述的深度图快速生成方法，其特征在于，步骤S4的方法为：

在平行双目立体视觉模型中，左摄像机与右摄像机的参数一致，两摄像机光轴平行且垂直于基线，构成一共极结构，两摄像机拍摄的左图像和右图像只有水平视差，设b为基线即两个摄像机的投影中心连线距离，f为相机焦距；

当两摄像机在同一时刻拍摄空间物体的同一特征点P(x,y,z)时，两摄像机分别获取到该特征点P(x,y,z)的图像，特征点P(x,y,z)在左图像和右图像上的图像坐标分别为p(x_l,y_l,z_l),p(x_r,y_r,z_r)，由三角几何关系有：

$\left\{\begin{array}{c}{x}_l=f\frac{X}{Z}\\ x_r=f\frac{(X-b)}{Z}\\ y_l=y_r=f\frac{Y}{Z}\end{array}\right.---\left(5\right)$

又因为视差d为：

d＝x_l-x_r (6)

由式(5)和式(6)可以计算出特征点P在相机坐标系下的三维坐标为：

$\left\{\begin{array}{c}X=\frac{{\mathrm{bx}}_l}{d}=\frac{b(x_r+d)}{d}\\ Y=\frac{{\mathrm{by}}_l}{d}=\frac{{\mathrm{by}}_r}{d}\\ Z=\frac{bf}{d}\end{array}\right.---\left(7\right)$

由于特征点P的深度即为P点相对于摄像机的距离即P点到两摄像机投影中心连线的垂直距离，于是可以得到P点的深度值为式(7)中的Z；根据视差d，基线b和相机焦距f就可以求出深度值Z，把对应像素点的像素值用深度值Z表示，就能得到深度图。