CN109631829A - 一种自适应快速匹配的双目测距方法 - Google Patents

Abstract

本发明公开了一种自适应快速匹配的双目测距方法，包括以下步骤：首先利用双目相机采集待测目标的双目图像；之后从双目图像中自适应截取模板图像和搜索图像；接着采用分层筛选策略在搜索图像中快速匹配模板图像，获取像素级匹配坐标；然后将像素级匹配坐标周围区域内的像素点作为拟合点，对拟合点进行二次曲面拟合，求取曲面拟合函数的最大值，获得像素级匹配坐标对应的亚像素级匹配坐标；最后根据亚像素级匹配坐标和模板图像坐标求取视差，之后根据三角测量法求取被测目标的距离，完成测距。本发明通过自适应提取模板图像、限定搜索图像边界优化搜索范围、采用分层筛选策略提高搜索效率等提高了图像匹配精度，进而提高了测距精度。

Description

一种自适应快速匹配的双目测距方法

技术领域

本发明属于远距离被动测距技术领域，特别是一种自适应快速匹配的双目测距方法。

背景技术

现有的侦察指示系统大多采用激光测距，激光测距属于主动测距方式，需要主动发射激光，远距离测距中常用的脉冲法就是测量从激光发射到接收的传播时间来确定目标的距离。这种主动测距方式的致命缺点是隐蔽性差，容易暴露自身，尽管可以采用人眼不可见波段的激光，但是对方仍然能够通过光电探测器予以侦测并反制。

被动测距方式是通过探测物体本身的光辐射来分析进而确定物体的距离，优点是隐蔽性好，不容易被敌方发现而暴露自身。双目测距方法是被动测距方式中比较成熟的一种，它是仿照人类利用双目感知距离的一种光学测距方法，具有非接触性被动测量、简单可靠的特点。

图像匹配是双目测距中最关键的环节，图像匹配的精度、速度极大地影响了测距精度和测距系统的实时性。在实际应用中，现有的诸多图像匹配算法存在着如下问题：匹配效率有待提高以满足系统的实时性；匹配结果受环境、光照等变化的影响大；对非规则形状对象的匹配尚不适应；受复杂背景的干扰等。

发明内容

本发明所解决的技术问题在于提供一种兼顾实时性和测距精度的应用要求的远距离的被动测距方法。

实现本发明目的的技术解决方案为：一种自适应快速匹配的双目测距方法，包括以下步骤：

步骤1、利用双目相机采集待测目标的双目图像；

步骤2、从双目图像中自适应截取模板图像和搜索图像；

步骤3、采用分层筛选策略在搜索图像中快速匹配模板图像，获取像素级匹配坐标；

步骤4、将像素级匹配坐标周围区域内的像素点作为拟合点，对所述拟合点进行二次曲面拟合，求取曲面拟合函数的最大值，获得像素级匹配坐标对应的亚像素级匹配坐标；

步骤5、根据亚像素级匹配坐标和模板图像坐标求取视差，之后根据三角测量法求取被测目标的距离，完成测距。

本发明与现有技术相比，其显著优点：1)本发明通过自适应地提取图像中心区域有明显特征的模板图像，且在提取过程中筛选出线性结构点，能够滤除模板噪声点对特征判别的影响，提高了匹配的准确性，在模板包含足够特征时不再扩大模板尺寸，减少了匹配运算量；2)通过极线约束、顺序约束、测距范围约束限定搜索图像边界，针对远距离测距优化了搜索范围，减少了搜索象素点数，降低了搜索次数；3)本发明采用分层筛选策略提高了搜索效率，能够在确保精度不降低的同时快速匹配出目标图像；4)本发明通过目标图像的亚像素级匹配，提高了测距精度。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明自适应快速匹配的双目测距方法的流程图。

图2是本发明中自适应截取模板图像和搜索图像的流程图。

图3是本发明中的快速匹配算法的流程图。

图4是本发明双目测距的三角测量原理示意图。

图5是本发明实施例中自适应截取模板图像的流程图。

图6是本发明实施例中的搜索图像区域截取示意图。

图7是本发明实施例中的待测目标的图像和测距结果；其中图(a)为待测目标1的示意图，图(b)为待测目标1测距结果示意图，图(c)为待测目标2的示意图，图(d)为待测目标2测距结果示意图，图(e)为待测目标3的示意图，图(f)为待测目标3测距结果示意图。

具体实施方式

结合图1，本发明一种自适应快速匹配的双目测距方法，包括以下步骤：

步骤1、利用双目相机采集待测目标的双目图像。

步骤2、从双目图像中自适应截取模板图像和搜索图像。

进一步地，结合图2，步骤2从双目图像中自适应截取模板图像和搜索图像，具体为：

步骤2-1、在双目图像中的其中一幅图像I_l中初步截取模板图像T，T∈I_l；

假设双目图像的大小为W×H，初步截取的模板图像T的大小为w×h，其位于图像I_l的中心区域，则T为：

T＝I_l(x_tl:x_tr,y_tu:y_td)

其中，

式中，x_tl、x_tr、y_tu、y_td分别为模板图像T在原图像I_l中截取的左边界坐标、右边界坐标、上边界坐标、下边界坐标；

步骤2-2、获取模板图像中特征点的个数k；

步骤2-3、判断k与阈值K_min的大小关系，若k≥K_min，则执行步骤2-4；反之以像素级为单位扩大模板图像，并获取模板图像扩大部分特征点的个数Δk，更新k＝k+Δk，并重复本步骤；

步骤2-4、在双目图像中的另一幅图像I_r中截取搜索图像S，

S＝I_r(x_sl:x_sr,y_su:y_sd)

其中，

y_su＝y_tu-Δh

y_sd＝y_td+Δh

x_sl＝x_tl

式中，x_sl、x_sr、y_su、y_sd分别为搜索图像S在原图像I_r中截取的左边界坐标、右边界坐标、上边界坐标、下边界坐标，Δh为搜索图像与模板图像的下边界之差，也为模板图像与搜索图像的下边界之差，B为双目相机的基线距离，f为相机的焦距，d_min为双目测距系统的最小测距距离，p为双目相机的像元尺寸。

进一步地，步骤2-2获取模板图像中线性结构点的个数k，具体为：

假设特征点的个数k的初始值为0，

(1)对模板图像上的每个像素点都建立Hessian矩阵；

(2)获取每个Hessian矩阵的两个特征值λ₁、λ₂；

(3)假设λ₁≤λ₂，当|λ|₁＞＞|λ₂|或|λ₂|＞＞|λ|₁时，该Hessian矩阵对应的像素点即为特征点，则k＝k+1；

重复上述(3)遍历模板图像上每个像素点对应的Hessian矩阵，即获取模板图像中特征点的个数k。

进一步地，步骤2-3以像素级为单位扩大模板图像，具体为：

以w＝w+Δw'、h＝h+Δh'扩大模板图像，w、h各自的两个边界均对称分别增加像素数其中Δw′、Δh'分别为模板图像宽度、高度增加的像素级单位的数量。

步骤3、采用分层筛选策略在搜索图像中快速匹配模板图像，获取像素级匹配坐标。

进一步地，结合图3，步骤3采用分层筛选策略在搜索图像中快速匹配模板图像，获取像素级匹配坐标，具体为：

假设搜索图像的大小为M×N，模板图像的大小为m×n；

步骤3-1、获取搜索图像中的某个像素点(x,y)对应的搜索子图S_x,y，S_x,y为搜索图像中以该像素点(x,y)为左上角坐标、大小等于模板图像大小的区域，从左至右、从上至下逐像素遍历搜索图像，由此获得P个搜索子图，其中x、y的取值范围为：

0≤x≤M-m，0≤y≤N-n；

S_x,y、P分别为：

S_x,y＝S(x:x+m-1,y:y+n-1)，P＝(M-m+1)(N-n+1)；

步骤3-2、利用绝对误差和算法(SAD法)求取模板图像和每个搜索子图之间的相似度C_SAD(x,y)，并根据每个搜索子图对应的相似度C_SAD(x,y)与阈值C_min的大小关系，获取搜索子图候选集C(x,y)：

C(x,y)＝{(x,y)|C_SAD(x,y)≤C_min,0≤x≤M-m,0≤y≤N-n,(x,y)∈S}

其中，相似度C_SAD(x,y)为：

式中，S(i,j)为搜索图像S中坐标(i,j)处的像素灰度值，T(i-x,j-y)为模板图像T中坐标(i-x,j-y)处的像素灰度值；

步骤3-3、利用归一化积相关算法(NCC法)求取所述候选集C(x,y)中每个搜索子图与模板图像的相似度C_NCC(x,y)，其中相似度最大的搜索子图对应的左上角坐标(x,y)即为最佳的像素级匹配坐标(x₀,y₀)，即C_NCC(x₀,y₀)＝max{C_NCC(x,y),(x,y)∈C}；

其中，C_NCC(x,y)为：

式中，为搜索子图的平均灰度值，为模板图像的平均灰度值。

步骤4、将像素级匹配坐标周围区域内的像素点作为拟合点，对所述拟合点进行二次曲面拟合，求取曲面拟合函数的最大值，获得像素级匹配坐标对应的亚像素级匹配坐标。

进一步地，步骤4将像素级匹配坐标周围区域内的像素点作为拟合点，对拟合点进行二次曲面拟合，求取曲面拟合函数的最大值，获得像素级匹配坐标对应的亚像素级匹配坐标，具体为：

步骤4-1、以像素级匹配坐标(x₀,y₀)为中心，选取其周围的矩形区域内的像素点作为拟合点；

步骤4-2、利用归一化积相关算法求取每个拟合点对应的搜索子图与模板图像的相似度C_NCC(x,y)，并代入到二元二次多项式拟合的互相关函数：

利用最小二乘法求得系数a_ij，之后求取所述二元二次多项式拟合的互相关函数的最大值即为亚像素级匹配坐标(x′₀,y′₀)：

进一步地，步骤4-1中矩形区域为方形n'×n'区域，n'为正整数。

步骤5、根据亚像素级匹配坐标和模板图像坐标求取视差，之后根据三角测量法如图4所示求取被测目标的距离，完成测距。

进一步地，步骤5根据亚像素级匹配坐标和模板坐标求取视差，之后根据三角测量法求取被测目标的距离，具体为：

步骤5-1、根据亚像素级匹配坐标(x′₀,y′₀)和模板图像坐标求取视差Δl为：

Δl＝p·(x_r-x_l)

其中，

x_r＝x′₀，x_l＝x_tl

式中，p为双目相机的像元尺寸，x_l为模板图像左上角坐标，x_r为亚像素级匹配坐标；

步骤5-2、求取被测目标的距离d为：

式中，B是双目相机的基线距离，f为相机的焦距。

下面结合实施例对本发明作进一步详细的说明。

实施例

本发明实施例中对距离为100m-1000m的三个目标进行测距，如图7所示，三个目标为图中的矩形框内区域。本实施例中以激光测距仪的测距结果作为真实距离为参考。

利用双目相机采集待测目标的双目图像，本实施例中采集了三个待测目标的双目图像的大小均为1920×1080。结合图5、6，在左图中自适应截取了特征点数为18、大小为10×10的模板图像，接着根据极线约束、顺序约束、测距范围约束限定的搜索范围，在右图中截取了大小为65×20的搜索图像，然后采用分层筛选策略在搜索图像中快速匹配到最佳的像素级匹配图像，运用二次曲面拟合的方法求得匹配图像的亚像素级坐标，最后基于三角测量法计算出每个目标的被测距离。本实施例中测得的三个目标的实际距离、测量的距离和误差如下表1所示：

表1三个目标测距的结果及误差分析

目标	像素差	亚像素距离	真实距离	误差
					1	53	102.664	107	4.052％
2	11	493.243	521	5.328％
					3	6	922.763	896	2.987％

由上可知，针对远距离测距，本发明的方法测距精度很高。

本发明自适应截取的模板图像和搜索图像相较于双目图像来说尺寸很小，极大地减少了匹配运算量，排除了大量相似度高但不在搜索范围内的伪匹配点的干扰，提升了匹配效率，在保证模板特征明显的情况下，匹配准确度并无降低，为双目测距系统的实时性奠定了基础；其次，采用分层筛选策略进行快速匹配，不仅加速了匹配图像的锁定，而且对匹配精度的影响不大，进一步提升了系统实时性。

综上所述，本发明通过自适应提取模板图像、限定搜索图像边界优化搜索范围、采用分层筛选策略提高搜索效率等提高了图像匹配精度，进而提高了测距精度。

Claims (8)

1.一种自适应快速匹配的双目测距方法，其特征在于，包括以下步骤：

步骤1、利用双目相机采集待测目标的双目图像；

步骤2、从双目图像中自适应截取模板图像和搜索图像；

步骤3、采用分层筛选策略在搜索图像中快速匹配模板图像，获取像素级匹配坐标；

步骤4、将像素级匹配坐标周围区域内的像素点作为拟合点，对所述拟合点进行二次曲面拟合，求取曲面拟合函数的最大值，获得像素级匹配坐标对应的亚像素级匹配坐标；

步骤5、根据亚像素级匹配坐标和模板图像坐标求取视差，之后根据三角测量法求取被测目标的距离，完成测距。

2.根据权利要求1所述的自适应快速匹配的双目测距方法，其特征在于，步骤2所述从双目图像中自适应截取模板图像和搜索图像，具体为：

步骤2-1、在双目图像中的其中一幅图像I_l中初步截取模板图像T，T∈I_l；

假设双目图像的大小为W×H，初步截取的模板图像T的大小为w×h，其位于图像I_l的中心区域，则T为：

T＝I_l(x_tl:x_tr,y_tu:y_td)

其中，

式中，x_tl、x_tr、y_tu、y_td分别为模板图像T在原图像I_l中截取的左边界坐标、右边界坐标、上边界坐标、下边界坐标；

步骤2-2、获取模板图像中特征点的个数k；

步骤2-3、判断k与阈值K_min的大小关系，若k≥K_min，则执行步骤2-4；反之以像素级为单位扩大模板图像，并获取模板图像扩大部分特征点的个数Δk，更新k＝k+Δk，并重复本步骤；

步骤2-4、在双目图像中的另一幅图像I_r中截取搜索图像S，

S＝I_r(x_sl:x_sr,y_su:y_sd)

其中，

y_su＝y_tu-Δh

y_sd＝y_td+Δh

x_sl＝x_tl

式中，x_sl、x_sr、y_su、y_sd分别为搜索图像S在原图像I_r中截取的左边界坐标、右边界坐标、上边界坐标、下边界坐标，Δh为搜索图像与模板图像的下边界之差，也为模板图像与搜索图像的下边界之差，B为双目相机的基线距离，f为相机的焦距，d_min为双目测距系统的最小测距距离，p为双目相机的像元尺寸。

3.根据权利要求1或2所述的自适应快速匹配的双目测距方法，其特征在于，步骤2-2所述获取模板图像中特征点的个数k，具体为：

假设特征点的个数k的初始值为0，

(1)对模板图像上的每个像素点都建立Hessian矩阵；

(2)获取每个Hessian矩阵的两个特征值λ₁、λ₂；

(3)假设λ₁≤λ₂，当|λ₁|＞＞|λ₂|或|λ₂|＞＞|λ₁|时，该Hessian矩阵对应的像素点即为特征点，则k＝k+1；

重复上述(3)遍历模板图像上每个像素点对应的Hessian矩阵，即获取模板图像中特征点的个数k。

4.根据权利要求3所述的自适应快速匹配的双目测距方法，其特征在于，步骤2-3所述以像素级为单位扩大模板图像，具体为：

以w＝w+Δw'、h＝h+Δh'扩大模板图像，w、h各自的两个边界均对称分别增加像素数其中Δw′、Δh'分别为模板图像宽度、高度增加的像素级单位的数量。

5.根据权利要求4所述的自适应快速匹配的双目测距方法，其特征在于，步骤3所述采用分层筛选策略在搜索图像中快速匹配模板图像，获取像素级匹配坐标，具体为：

假设搜索图像的大小为M×N，模板图像的大小为m×n；

步骤3-1、获取搜索图像中的某个像素点(x,y)对应的搜索子图S_x,y，S_x,y为搜索图像中以该像素点(x,y)为左上角坐标、大小等于模板图像大小的区域，从左至右、从上至下逐像素遍历搜索图像，由此获得P个搜索子图，其中x、y的取值范围为：

0≤x≤M-m，0≤y≤N-n；

S_x,y、P分别为：

S_x,y＝S(x:x+m-1,y:y+n-1)，P＝(M-m+1)(N-n+1)；

步骤3-2、利用绝对误差和算法求取模板图像和每个搜索子图之间的相似度C_SAD(x,y)，并根据每个搜索子图对应的相似度C_SAD(x,y)与阈值C_min的大小关系，获取搜索子图候选集C(x,y)：

C(x,y)＝{(x,y)|C_SAD(x,y)≤C_min,0≤x≤M-m,0≤y≤N-n,(x,y)∈S}

其中，相似度C_SAD(x,y)为：

式中，S(i,j)为搜索图像S中坐标(i,j)处的像素灰度值，T(i-x,j-y)为模板图像T中坐标(i-x,j-y)处的像素灰度值；

步骤3-3、利用归一化积相关算法求取所述候选集C(x,y)中每个搜索子图与模板图像的相似度C_NCC(x,y)，其中相似度最大的搜索子图对应的左上角坐标(x,y)即为最佳的像素级匹配坐标(x₀,y₀)，即C_NCC(x₀,y₀)＝max{C_NCC(x,y),(x,y)∈C}；

其中，C_NCC(x,y)为：

式中，为搜索子图的平均灰度值，为模板图像的平均灰度值。

6.根据权利要求5所述的自适应快速匹配的双目测距方法，其特征在于，步骤4所述将像素级匹配坐标周围区域内的像素点作为拟合点，对拟合点进行二次曲面拟合，求取曲面拟合函数的最大值，获得像素级匹配坐标对应的亚像素级匹配坐标，具体为：

步骤4-1、以像素级匹配坐标(x₀,y₀)为中心，选取其周围的矩形区域内的像素点作为拟合点；

步骤4-2、利用归一化积相关算法求取每个拟合点对应的搜索子图与模板图像的相似度C_NCC(x,y)，并代入到二元二次多项式拟合的互相关函数：

利用最小二乘法求得系数a_ij，之后求取所述二元二次多项式拟合的互相关函数的最大值即为亚像素级匹配坐标(x′₀,y′₀)：

7.根据权利要求6所述的自适应快速匹配的双目测距方法，其特征在于，步骤4-1所述矩形区域为方形n'×n'区域，n'为正整数。

8.根据权利要求6所述的自适应快速匹配的双目测距方法，其特征在于，步骤5所述根据亚像素级匹配坐标和模板坐标求取视差，之后根据三角测量法求取被测目标的距离，具体为：

步骤5-1、根据亚像素级匹配坐标(x′₀,y′₀)和模板图像坐标求取视差Δl为：

Δl＝p·(x_r-x_l)

其中，

x_r＝x′₀，x_l＝x_tl

式中，p为双目相机的像元尺寸，x_l为模板图像左上角坐标，x_r为亚像素级匹配坐标；

步骤5-2、求取被测目标的距离d为：

式中，B是双目相机的基线距离，f为相机的焦距。