CN101710423B

CN101710423B - 一种立体图像的匹配搜索方法

Info

Publication number: CN101710423B
Application number: CN2009102311771A
Authority: CN
Inventors: 魏楠楠; 刘韶; 刘微; 王晓曼; 李月高
Original assignee: Qingdao Hisense Network Technology Co Ltd
Current assignee: Hisense Network Technology Co Ltd; Qingdao Hisense Network Technology Co Ltd
Priority date: 2009-12-07
Filing date: 2009-12-07
Publication date: 2012-01-04
Anticipated expiration: 2029-12-07
Also published as: CN101710423A

Abstract

本发明公开了一种立体图像的匹配搜索方法，包括对匹配点的搜索长度进行动态调整的过程；所述过程对匹配点的匹配误差的趋势进行判断，若呈增大趋势，则结束对当前参考点的匹配过程。本发明通过判断匹配误差的变化趋势来确定是否继续执行匹配过程，从而实现了搜索长度的动态调整。通过缩小搜索范围，使得不必要的匹配运算尽可能减少，不仅提高了匹配精度和匹配效率，而且使得遮挡部分匹配不准的问题得以改善。

Description

一种立体图像的匹配搜索方法

技术领域

本发明属于图像处理技术领域，具体地说，是涉及一种对立体图像对中的匹配点进行搜索的方法。

背景技术

在采用立体摄像机拍摄立体图像时，由于传感器的缺陷或者环境的变化，往往会使得所拍摄的立体图像对(即左目图像和右目图像)存在严重的灰度失真和几何畸变，从而大大增加了立体图像匹配的难度。

常规的匹配算法为了保证在任何情况下结果的正确性，总是取一个最大的视差值d作为搜索长度，对于参考图像的每一个点都需要在待匹配图像上做长度为d的搜索，这样会有大量的时间浪费在非匹配点上，造成系统资源的浪费以及匹配效率的降低。

发明内容

本发明的目的在于提供一种立体图像的匹配搜索方法，通过对匹配点的搜索长度进行动态调整，以缩小搜索范围，提高匹配效率。

为解决上述技术问题，本发明采用以下技术方案予以实现：

一种立体图像的匹配搜索方法，包括对匹配点的搜索长度进行动态调整的过程；所述过程对匹配点的匹配误差的趋势进行判断，若呈增大趋势，则结束对当前参考点的匹配过程。

当前参考点的匹配过程若由于匹配误差呈增大趋势而结束时，则将当前参考点记为已匹配点，然后转入对下一参考点进行匹配的过程。

进一步的，在所述匹配搜索方法中，首先以视差值d作为搜索长度确定待匹配图像中的搜索起始点和终止点，然后从起始点开始顺序提取各匹配点与参考图像中的参考点进行匹配运算，若计算出的匹配误差大于设定阈值，则启动所述的搜索长度动态调整过程。

其中，所述设定阈值为经验值，可以根据所选用的双目摄像机的特性具体确定。

又进一步的，在对当前参考点进行匹配的过程中，如果在至少连续5轮的匹配运算中，计算出的匹配误差均大于设定阈值，且匹配误差呈增大趋势，则结束对当前参考点的匹配过程。

再进一步的，在所述搜索长度动态调整过程中，若匹配误差呈减小趋势或持平(即前后两次记录的匹配误差相等)，则首先判断是否到达搜索终止点，若未到达，则提取下一个匹配点与当前参考点进行匹配运算；否则，结束对当前参考点的匹配过程，将当前参考点记为已匹配点。

当所述搜索长度动态调整过程被第n次启动时，n为大于1的自然数，则首先记录本轮的匹配误差，然后，将本轮的匹配误差与所述搜索长度动态调整过程被第n-1次启动时记录的匹配误差进行比较，以判断是增大趋势还是减小趋势；若为增大趋势，且两次启动是连续的两轮匹配过程，则保留已记录的匹配误差，作为后续趋势判断的依据；否则，只保留本轮的匹配误差即可；若为减小趋势或两轮匹配误差相等，则只保留本轮的匹配误差，作为后续趋势判断的依据。

更进一步的，若通过匹配运算计算出的匹配误差小于设定阈值，则将本轮计算出的匹配误差err与最小匹配误差min_err进行比较，若err＜min_err，则将当前匹配点的坐标记为b，并将min_err置为err，进入下一轮匹配过程；否则，直接进入下一轮匹配过程；所述min_err在对每一个参考点进行匹配过程开始前，先被置为初始设定值。

其中，所述b在对每一个参考点进行匹配过程开始前，先被置成初始坐标值；在当前参考点的匹配过程结束时，判断b的值是否为初始坐标值，若是，则认为待匹配图像中没有当前参考点的匹配点；否则，将待匹配图像中b的坐标值所对应的点认为是当前参考点的匹配点，并记为已匹配点。

为了缩小后续参考点的匹配搜索长度，若所述当前参考点在待匹配图像中找到已匹配点，即形成匹配点对，则在对下一个参考点进行匹配过程时，当前参考点在待匹配图像中的搜索起始点到所述已匹配点之间的点被视为匹配过的点，不再参与所述下一个参考点的匹配过程。

与现有技术相比，本发明的优点和积极效果是：本发明通过判断匹配误差的变化趋势来确定是否继续执行匹配过程，从而实现了搜索长度的动态调整。通过缩小搜索范围，使得不必要的匹配运算尽可能减少，不仅提高了匹配精度和匹配效率，而且使得遮挡部分匹配不准的问题得以改善。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1是通过双目摄像机拍摄的一对立体图像对；

图2是立体图像对中匹配点对的匹配过程示意图；

图3是本发明所提出的立体图像匹配搜索方法的一种实施例的程序流程框图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细地描述。

本发明的立体图像匹配搜索方法的提出是基于立体匹配的三个约束条件：(1)外极线约束，指矫正后两幅图中对应的外极线共线，并平行于图像的水平轴；(2)唯一性约束，指立体图像对中，一幅图像中的一个点最多只能匹配另一幅图像中的一个点；(3)顺序约束，指两幅图像中各点的出现位置是顺序一致的。

首先解释一下匹配点对，匹配点对是指在立体图像对中，左、右两幅图像中具有相同图像内容的像素点。根据外极线约束准则，他们不但具有相同的图像内容，而且具有相同的纵坐标。如图1所示，(a)、(b)分别为利用同一台双目立体摄像机拍摄的左目图像和右目图像。其中，左目图像(a)中箭头所指的像素点与右目图像(b)中箭头所指的像素点即是一对匹配点，它们具有相同的图像内容。

下面以左目图像I_L为参考图像，右目图像I_R为待匹配图像，通过一个具体的实施例来对本发明所提出的立体图像匹配搜索方法进行具体说明。

实施例一，首先阐述一下本实施例所提出的立体图像匹配搜索方法的原理。

如图2所示，左图I_L、右图I_R为利用同一台立体摄像机拍摄的左目图像和右目图像，假设它们的外极线已矫正对齐。假设两幅图像中的四个点A、B、A’、B’在同一条外极线上，A、B是左图I_L中相邻的点；A’、B’是右图I_R中相邻的点，并且A和A’是一对匹配点对，两点间的视差值为d，即d为匹配点对的横坐标之差。根据A点的坐标(i，j)，可以得到B点的坐标(i+1，j)；A’点的坐标(i-d，j)；B’的坐标(i-d+1，j)。B定义为参考点。

本实施例的立体图像匹配搜索方法沿外极线方向，从左至右依次取左图I_L上的点与右图I_R上的点进行匹配。

已知A和A’是一对匹配点对，根据顺序约束，出现在左图A点右边的点也应该出现在右图A’点的右边，这样一来，A’点以及A’点左边的点都排除在搜索范围之外了。

根据连续性约束，如果A和A’匹配，那么紧跟其后的B、B’也是一对匹配点对的可能性很大。但是，由于存在遮挡、几何畸变等问题，B点有可能在右图中找不到匹配点或者匹配点在B’的右侧。因此，确定搜索的起始点为B’(i-d+1，j)，终止点为B”(i+1，j)，即B”点跟B点的视差值为0。

在从点B’到B”的搜索过程中，如果没找到匹配点就将B记为已匹配点，而B’被视为未匹配点，出现这种情况有可能是B点的匹配点在右图中被遮挡。在从B’到B”的搜索过程中，如果找到匹配点对，则把该匹配点记为C，并将B和C都记为已匹配点，把B’到C之间的点都视为匹配过的点。出现这种情况有可能是B’到C之间的点在左图中被遮挡。匹配过的点不再参与以后的匹配，而未匹配点仍在搜索范围内。

在第一轮匹配过程中，如果左图中的参考点B与右图中的搜索起始点B’的匹配误差大于设定阈值(此设定阈值为经验值，根据当前所选用的双目立体摄像机的特性通过实验结果统计得出，不同的双目立体摄像机所配置的设置阈值也应不同)，那么触发对匹配误差的趋势判断，并对当前一轮的匹配误差进行记录；然后，启动第二轮匹配过程，即将右图中B’点的右相邻点与参考点B进行匹配运算，若匹配误差仍大于设定阈值，则继续触发对匹配误差的趋势判断；如果在至少连续5轮的匹配过程中，匹配误差均大于设定阈值，且呈增大的趋势，那么就停止对本参考点B的匹配搜索过程(由此可以看出：搜索长度被缩短了)，将B点记为已匹配点，而B’被视为未匹配点；然后，启动对下一个参考点的匹配过程，即左图中B点的右相邻点。如果匹配误差没有增大的趋势，那么保留当前一轮的匹配误差作为后续趋势判断的依据，然后继续对本参考点B的匹配搜索过程。

下面结合图3对本实施例的立体图像匹配搜索流程的具体步骤进行详细阐述：

S201、读取左右图中纵坐标相同的两个已知匹配点对A(i，j)、A’(k，j)；

本实施例是以左目图像为参考图像，右目图像为待匹配图像为例设计的匹配搜索流程，此时k＝i-d；若以右目图像为参考图像，左目图像为待匹配图像，则将右图的已匹配点记为A(i，j)，左图的已匹配点记为A’(k，j)，此时k＝i+d；

S202、对各变量赋初始值；

在本实施例中，程序所用到的变量主要包括：

1、视差值d，根据经验选取一个最大的视差值对其赋值；

2、设定阈值REF，结合选择的双目立体摄像机，根据实验结果统计得出并赋值；

3、最小匹配误差min_err，按照经验赋一个较大的初始设定值；

4、初始坐标值b，比如(0，0)等不可能与实际匹配点坐标相冲突的值；

S203、沿外极线方向，读取左图中已匹配点的下一个点B(i+1，j)的像素值，记为参考点，则搜索范围为右图的B’(k+1，j)到B”(i+1，j)；其中，B’为搜索过程的起始点位置，B”为终止点位置；

这里需要说明的是：若以右目图像为参考图像，左目图像为待匹配图像，则在程序设计时，应读取右图中A点的下一个点B(i+1，j)，记为参考点，则搜索范围为左图的B’(k+1，j)到B”(i+1，j)；此时，k＝i+d，B’为搜索过程的起始点位置，B”为终止点位置；

S204、读取搜索起始点B’，记为当前匹配点；

S205、将当前匹配点的像素值和参考点B的像素值代入匹配算法公式，计算匹配误差err；

在本实施例中，所述匹配算法公式可以是SAD匹配算法、SSDA匹配算法、NCC匹配算法或者金字塔分层搜索算法等目前图像处理技术领域惯用的匹配算法，本实施例对此不进行具体限制；

S206、判断err是否小于设定阈值REF，若是，则执行步骤S207；否则，启动搜索长度的动态调整过程，即执行步骤S208；

S207、将err与min_err作比较，若err＜min_err，则min_err＝err，并将当前匹配点的坐标赋予b，转入步骤S209；否则，直接转入步骤S209；

S208、记录匹配误差err，并与已记录的各轮匹配误差作趋势判断；若判断为减小趋势或持平，则只保留当前一轮的匹配误差err，并转入步骤S209；若判断为增大趋势，且在所述增大趋势中包含有至少连续的5个匹配误差记录，所述的连续5个匹配误差记录由连续的5轮匹配运算产生，则结束对当前参考点的匹配过程，将当前参考点B记为已匹配点，转入步骤S210；否则，执行步骤S209；

S209、判断搜索是否结束，即判断是否到达搜索终止点B”；若未到达，则读取右图中的下一匹配点记为当前匹配点，返回步骤S205；否则，执行下一步；

在这里，如果是以右目图像为参考图像，左目图像为待匹配图像，则在程序设计时，该步骤在判断出到达搜索终止点B”时，应读取左图中的下一匹配点记为当前匹配点，返回步骤S205；

S210、判断b是否为初始坐标值，若是，则将B记为已匹配点，B’、B”视为未匹配点；否则，将B和b的坐标值所对应的点C记为已匹配点。

上述流程是对参考图像中的一个点的匹配所搜过程，若对后续各点依次进行匹配搜索，可返回步骤S202重复执行。需要注意的是：在重复执行时，将B的坐标修改为下一参考点的坐标，即B(i+2，j)，搜索范围从B’(k+2，j)到B”(i+2，j)。此时，在上一参考点的匹配搜索过程中，若找到匹配点对，即找到已匹配点C，则k等于C点的横坐标加1，即将B’到C之间的点视为匹配过的点，不再参与后续匹配；若未找到与参考点相匹配的点，则k＝i-d。

本发明通过对搜索匹配点的方法加以改进，缩小了搜索范围，提高了匹配效率，改善了遮挡部分匹配不准的问题，可以广泛适用于智能交通等客流监测系统中。

应当指出的是，以上所述仅是本发明的一种优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种立体图像的匹配搜索方法，其特征在于：包括对匹配点的搜索长度进行动态调整的过程；所述过程首先以视差值d作为搜索长度确定待匹配图像中的搜索起始点和终止点，然后从起始点开始顺序提取各匹配点与参考图像中的参考点进行匹配运算，若计算出的匹配误差大于设定阈值，则启动所述的搜索长度动态调整过程；在对当前参考点进行匹配的过程中，如果在至少连续5轮的匹配运算中，计算出的匹配误差均大于设定阈值，且匹配误差呈增大趋势，则结束对当前参考点的匹配过程。

2.根据权利要求1所述的立体图像的匹配搜索方法，其特征在于：当前参考点的匹配过程若由于匹配误差呈增大趋势而结束时，则将当前参考点记为已匹配点，然后转入对下一参考点进行匹配的过程。

3.根据权利要求1所述的立体图像的匹配搜索方法，其特征在于：在所述搜索长度动态调整过程中，若匹配误差呈减小趋势或持平，则首先判断是否到达搜索终止点，若未到达，则提取下一个匹配点与当前参考点进行匹配运算；否则，结束对当前参考点的匹配过程，将当前参考点记为已匹配点。

4.根据权利要求1所述的立体图像的匹配搜索方法，其特征在于：当所述搜索长度动态调整过程被第n次启动时，n为大于1的自然数，则首先记录本轮的匹配误差，然后，将本轮的匹配误差与所述搜索长度动态调整过程被第n-1次启动时记录的匹配误差进行比较，以判断是增大趋势还是减小趋势；若不是增大趋势，则只保留本轮的匹配误差，作为后续趋势判断的依据。

5.根据权利要求1所述的立体图像的匹配搜索方法，其特征在于：若通过匹配运算计算出的匹配误差小于设定阈值，则将本轮计算出的匹配误差err与最小匹配误差min_err进行比较，若err＜min_err，则将当前匹配点的坐标记为b，并将min_err置为err，进入下一轮匹配过程；否则，直接进入下一轮匹配过程；所述min_err在对每一个参考点进行匹配过程开始前，先被置为初始设定值。

6.根据权利要求5所述的立体图像的匹配搜索方法，其特征在于：所述b在对每一个参考点进行匹配过程开始前，先被置成初始坐标值；在当前参考点的匹配过程结束时，判断b的值是否为初始坐标值，若是，则认为待匹配图像中没有当前参考点的匹配点；否则，将待匹配图像中b的坐标值所对应的点认为是当前参考点的匹配点，并记为已匹配点。

7.根据权利要求6所述的立体图像的匹配搜索方法，其特征在于：若所述当前参考点在待匹配图像中找到已匹配点，则在对下一个参考点进行匹配过程时，当前参考点在待匹配图像中的搜索起始点到所述已匹配点之间的点被视为匹配过的点，不再参与所述下一个参考点的匹配过程。

8.根据权利要求5所述的立体图像的匹配搜索方法，其特征在于：所述设定阈值为经验值，根据所选用的双目摄像机的特性确定。