CN117975067A - 基于图像空间信息的高精度图像立体匹配方法 - Google Patents

Abstract

本发明涉及一种基于图像空间信息的高精度图像立体匹配方法，属于图像处理技术领域。包括：求取目标图像与待匹配图像之间的空间几何约束关系；在目标图像上确定目标点，并以求取的图像空间几何约束关系求取目标点的几何约束点，并以几何约束点在待匹配图像上建立搜索框，在搜索框内部进行初次立体匹配以获取初次匹配点；建立匹配点准确性判据，判定初次匹配点的正确性，去除伪匹配点，获取正确的匹配点。优点在于：通过图像空间几何约束关系快速定位搜索框的位置，极大提高了图像立体匹配的速度，建立的匹配点准确性判据，极大提高了图像立体匹配的精度。在实际工况下具备很强的适应性，对相机拍摄角度，光照强度，曝光等具备很强的抗干扰性。

Description

基于图像空间信息的高精度图像立体匹配方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于图像空间信息的高精度图像立体匹配方法。

背景技术

图像立体匹配技术被广泛用于双目视觉或伪双目视觉中，其主要目的在于识别与匹配空间一相同点在不同相机或同一相机在不同角度拍摄得到的不同图像上的像素坐标。空间上的同一点在不同图像上的高精度立体匹配是双目视觉或伪双目视觉实现空间目标三维重建或实时跟踪的核心。

常见的图像立体匹配方法主要分为两种，一种是通过图像的一些显著性和不变性的点特征、线特征、边缘特征等特征的图像特征匹配方法；另外一种是直接利用图像的灰度信息与空间信息的图像模板匹配方法。先检测特征后进行立体匹配是图像特征匹配方法的两个必要步骤，该方法对具有显著特征的图像的立体匹配具有很高的适用性，但由于图像的显著特征是少量的，所以该方法很难有效地在全局图像内实现单个像素点或亚像素点的高精度立体匹配。图像模板匹配方法是在目标图像中寻找与给定模板最相似的二维同构区域，进而实现立体匹配。由于给定模板可以在目标图像中随意自主选择且给定模板的中心可以是单个像素点或亚像素点，因此图像模板匹配方法在理论上可以在全局图像内实现单个像素点或亚像素点的高精度立体匹配。常见的图像模板匹配方法有归一化互相关算法(NCC)、平均绝对差算法(MAD)、序贯相似性检测算法(SSDA)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)等。然而这些方法严重依赖于目标图像的纯净度，其立体匹配的精度特别容易受到相机拍摄角度、光照强度、曝光等干扰，很难具备较高的鲁棒性。

总结：为在全局图像内实现单个像素点或亚像素点的高精度立体匹配，必须对传统的图像立体匹配算法进行改进，继而获取一种具备高鲁棒性可用于实际情况下的高精度图像立体匹配技术。

发明内容

本发明的目的在于提供一种基于图像空间信息的高精度图像立体匹配方法，解决了传统图像立体匹配方式的匹配速度低、匹配精度低的技术问题。本发明极其适用于双目视觉与伪双目视觉领域，比如空间目标识别、空间物体三维重建、目标实时跟踪等，本发明基于图像空间几何约束关系初步定位出立体匹配搜索框的位置，利用归一化互相关算法在搜索框内初步进行立体匹配，后利用图像空间上下文信息校准匹配点。

本发明的上述目的通过以下技术方案实现：

基于图像空间信息的高精度图像立体匹配方法的主要思想为：求取目标图像与待匹配图像之间的空间几何约束关系；在目标图像上选取目标点，并以求取的图像空间几何约束关系求取目标点的几何约束点，并以几何约束点在待匹配图像上建立搜索框，在搜索框内部进行初次立体匹配以获取初次匹配点；建立匹配点准确性判据，判定初次匹配点的正确性，去除伪匹配点，获取正确的匹配点；创新性地利用图像空间几何约束关系快速定位搜索框的位置，极大提高了图像立体匹配的速度，创新性地建立匹配点准确性判据，极大提高了图像立体匹配的精度。本发明包括三大模块，即图像空间几何约束关系求取、初次立体匹配、匹配点准确性判定。

S1、图像空间几何约束关系求取：

不同相机或同一相机在不同位姿不同角度下拍摄的同一物体的多个图像内的像素点坐标一定存在某种空间几何约束关系，即待匹配图像可以被视为目标图像空间旋转及空间平移的结果。

在目标图像上分散选取6个像素点，通过归一化互相关算法在待匹配图像上对该6个像素点进行立体匹配，定位出该6个像素点的匹配点，以该6对点建立图像空间几何约束关系。

图像空间几何约束关系被建立为：

其中：

式中：

：目标点k ¹在目标图像上的像素坐标；

：目标点k ¹在待匹配图像上的几何约束点的像素坐标；

：在目标图像上分散选取的6个像素点的坐标；

：通过归一化互相关算法在待匹配图像上对分散选取的6个像素点进行立体匹配得到的6个匹配点的坐标。

S2、初次立体匹配：

S2.1、在目标图像中确定目标点k ¹；

S2.2、通过图像空间几何约束关系计算出目标点k ¹在待匹配图像中的几何约束点；

S2.3、在待匹配图像中以几何约束点为中心建立矩形搜索框；

S2.4、基于归一化互相关算法在搜索框内对目标点k ¹进行初次立体匹配，定位k ¹的初次匹配点k ^*；

归一化互相关算法表述为：

式中：

S _{i, j} (s, t)：搜索框内大小为M×N的二维同构区域；

T(s, t)：目标图像内以目标点k ¹为中心的大小为M×N的模板区域；

：S _{i, j} (s, t)内的平均像素值；

：T(s, t)的平均像素值；

M，N，s，t，i，j：整数；

R(i, j)：相关性系数，当R(i, j)最接近1时，认为当下搜索的二维同构区域为模板区域的立体匹配区域，其立体匹配区域的中心点为目标点k ¹的初次匹配点k ^*。

S3、匹配点准确性判定：

基于空间几何约束关系初步进行立体匹配的方式，并非是高精度立体匹配的充分必要条件，这是因为该步骤仅仅是将搜索框的位置局限到待匹配图像的局部。

为此本发明提出了基于图像空间上下文信息的匹配点准确性判据：

式中：

：目标点k ¹的坐标；

：目标点通过图像几何约束关系及归一化互相关算法在搜索框内匹配到的初次匹配点k ^*的坐标；

，/>：目标点k ¹相邻的左侧及上侧两点的坐标；

，/>：通过步骤S1与S2对/>，进行立体匹配得到的正确的匹配点的坐标；

：匹配点准确性判据，≤1.414；

如果初次匹配点k ^*满足匹配点准确性判据，则认为k ^*为k ¹的正确匹配点，否则认为点与点/>之间的最邻近的点k ²为k ¹的正确匹配点，k ²的坐标由与点/>获取，即为/>。

本发明的有益效果在于：

1、本发明的基于图像空间信息的高精度图像立体匹配方法，由于目标点的选取可以是单个像素点或亚像素点，所以能够有效地在全局图像内实现单个像素点或亚像素点的高精度立体匹配，特别适合于双目视觉与伪双目视觉的图像点云立体匹配场合。

2、通过图像空间几何约束关系快速定位搜索框的位置，极大提高了图像立体匹配的速度，建立的匹配点准确性判据，极大提高了图像立体匹配的精度。在实际工况下具备很强的适应性，对相机拍摄角度，光照强度，曝光等具备很强的抗干扰性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的求取图像空间几何约束关系的原理图；

图2为本发明的建立的匹配点准确性判定模型图；

图3为传统的图像模板匹配方法对钢铁板材的图像立体匹配效果图；

图4为本发明的基于图像空间信息的高精度图像立体匹配方法对钢铁板材的图像立体匹配效果图。

图5为传统的图像模板匹配方法对记事本的图像立体匹配效果图；

图6为本发明的基于图像空间信息的高精度图像立体匹配方法对记事本的图像立体匹配效果图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1及图2所示，本发明的基于图像空间信息的高精度图像立体匹配方法，极其适用于双目视觉与伪双目视觉领域，比如空间目标识别、空间物体三维重建、目标实时跟踪等，本发明基于图像空间几何约束关系初步定位出立体匹配搜索框的位置，利用归一化互相关算法在搜索框内初步进行立体匹配，后利用图像空间上下文信息校准匹配点。

本发明的基于图像空间信息的高精度图像立体匹配方法的主要思想为：求取目标图像与待匹配图像之间的空间几何约束关系；在目标图像上选取目标点，并以求取的图像空间几何约束关系求取目标点的几何约束点，并以几何约束点在待匹配图像上建立搜索框，在搜索框内部进行初次立体匹配以获取初次匹配点；建立匹配点准确性判据，判定初次匹配点的正确性，去除伪匹配点，获取正确的匹配点。

所述的基于图像空间信息的高精度图像立体匹配方法，创新性地利用图像空间几何约束关系快速定位搜索框的位置，极大提高了图像立体匹配的速度，创新性地建立匹配点准确性判据，极大提高了图像立体匹配的精度。

参见图1至图6所示，本发明的基于图像空间信息的高精度图像立体匹配方法，包括以下三大模块，即图像空间几何约束关系求取、初次立体匹配、匹配点准确性判定。

S1、图像空间几何约束关系求取：

不同相机或同一相机在不同位姿不同角度下拍摄的同一物体的多个图像内的像素点坐标一定存在某种空间几何约束关系，即待匹配图像可以被视为目标图像空间旋转及空间平移的结果。

在目标图像上分散选取6个像素点，通过归一化互相关算法在待匹配图像上对该6个像素点进行立体匹配，定位出该6个像素点的匹配点，以该6对点建立图像空间几何约束关系。

图像空间几何约束关系被建立为：

其中：

式中：

：目标点k ¹在目标图像上的像素坐标；

：目标点k ¹在待匹配图像上的几何约束点的像素坐标；

：在目标图像上分散选取的6个像素点的坐标；

：通过归一化互相关算法在待匹配图像上对分散选取的6个像素点进行立体匹配得到的6个匹配点的坐标。

S2、初次立体匹配：

S2.1、在目标图像中确定目标点k ¹；

S2.2、通过图像空间几何约束关系计算出目标点k ¹在待匹配图像中的几何约束点；

S2.3、在待匹配图像中以几何约束点为中心建立矩形搜索框；

S2.4、基于归一化互相关算法在搜索框内对目标点k ¹进行初次立体匹配，定位k ¹的初次匹配点k ^*；

归一化互相关算法表述为：

式中：

S _{i, j} (s, t)：搜索框内大小为M×N的二维同构区域；

T(s, t)：目标图像内以目标点k ¹为中心的大小为M×N的模板区域；

：S _{i, j} (s, t)内的平均像素值；

：T(s, t)的平均像素值；

M，N，s，t，i，j：整数；

R(i, j)：相关性系数，当R(i, j)最接近1时，认为当下搜索的二维同构区域为模板区域的立体匹配区域，其立体匹配区域的中心点为目标点k ¹的初次匹配点k ^*。

S3、匹配点准确性判定：

基于空间几何约束关系初步进行立体匹配的方式，并非是高精度立体匹配的充分必要条件，这是因为该步骤仅仅是将搜索框的位置局限到待匹配图像的局部。

为此本发明提出了基于图像空间上下文信息的匹配点准确性判据：

式中：

：目标点k ¹的坐标；

：目标点通过图像几何约束关系及归一化互相关算法在搜索框内匹配到的初次匹配点k ^*的坐标；

，/>：目标点k ¹相邻的左侧及上侧两点的坐标；

，/>：通过步骤S1与S2对/>，进行立体匹配得到的正确的匹配点的坐标；

：匹配点准确性判据，≤1.414；

如果初次匹配点k ^*满足匹配点准确性判据，则认为k ^*为k ¹的正确匹配点，否则认为点与点/>之间的最邻近的点k ²为k ¹的正确匹配点，k ²的坐标由与点/>获取，即为/>。

参见图3传统的图像模板匹配方法对钢铁板材的图像立体匹配效果图所示，在左侧目标图像全局内随机选取了150个单个像素点，并在右侧待匹配图像对其进行了立体匹配，可以看出图中存在大量的错误匹配点，匹配精度仅为86.667%。

参见图4基于图像空间信息的高精度图像立体匹配方法对钢铁板材的图像立体匹配效果图所示，在左侧目标图像全局内随机选取了150个单个像素点，并在右侧待匹配图像对其进行了立体匹配，可以看出图中不存在错误的匹配点，匹配精度为100%。

参见图5传统的图像模板匹配方法对记事本的图像立体匹配效果图所示，在左侧目标图像全局内随机选取了150个单个像素点，并在右侧待匹配图像对其进行了立体匹配，可以看出图中存在大量的错误匹配点，匹配精度仅为87%。

参见图6基于图像空间信息的高精度图像立体匹配方法对记事本的图像立体匹配效果图所示，在左侧目标图像全局内随机选取了150个单个像素点，并在右侧待匹配图像对其进行了立体匹配，可以看出图中不存在错误的匹配点，匹配精度为100%。

参见图4与图6所示，可以得出，相比于传统的图像模板匹配方法，本发明利用图像空间几何约束关系与待匹配点准确性判据这两个过程，使得匹配正确精度达到100%，在实际工况下具备很高的适应性。

以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像空间信息的高精度图像立体匹配方法，其特征在于：求取目标图像与待匹配图像之间的空间几何约束关系；在目标图像上选取目标点，并以求取的图像空间几何约束关系求取目标点的几何约束点，并以几何约束点在待匹配图像上建立搜索框，在搜索框内部进行初次立体匹配以获取初次匹配点；建立匹配点准确性判据，判定初次匹配点的正确性，去除伪匹配点，获取正确的匹配点；利用图像空间几何约束关系快速定位搜索框的位置，提高图像立体匹配的速度；建立匹配点准确性判据，提高图像立体匹配的精度；包括以下步骤：

S1、图像空间几何约束关系求取；

S2、初次立体匹配；

S3、匹配点准确性判定。

2.根据权利要求1所述的基于图像空间信息的高精度图像立体匹配方法，其特征在于：步骤S1所述的图像空间几何约束关系求取，具体是：

在目标图像上分散选取6个像素点，通过归一化互相关算法在待匹配图像上对该6个像素点进行立体匹配，定位出该6个像素点的匹配点，以该6对点建立图像空间几何约束关系；

图像空间几何约束关系被建立为：

其中：

式中：

：目标点k ¹在目标图像上的像素坐标；

：目标点k ¹在待匹配图像上的几何约束点的像素坐标；

：在目标图像上分散选取的6个像素点的坐标；

：通过归一化互相关算法在待匹配图像上对分散选取的6个像素点进行立体匹配得到的6个匹配点的坐标。

3.根据权利要求1所述的基于图像空间信息的高精度图像立体匹配方法，其特征在于：步骤S2所述的初次立体匹配，具体是：

S2.1、在目标图像中确定目标点k ¹；

S2.2、通过图像空间几何约束关系计算出目标点k ¹在待匹配图像中的几何约束点；

S2.3、在待匹配图像中以几何约束点为中心建立矩形搜索框；

S2.4、基于归一化互相关算法在搜索框内对目标点k ¹进行初次立体匹配，定位k ¹的初次匹配点k ^*；

归一化互相关算法表述为：

式中：

S _{i, j} (s, t)：搜索框内大小为M×N的二维同构区域；

T(s, t)：目标图像内以目标点k ¹为中心的大小为M×N的模板区域；

：S _{i, j} (s, t)内的平均像素值；

：T(s, t)的平均像素值；

M，N，s，t，i，j：整数；

R(i, j)：相关性系数，当R(i, j)最接近1时，认为当下搜索的二维同构区域为模板区域的立体匹配区域，其立体匹配区域的中心点为目标点k ¹的初次匹配点k ^*。

4.根据权利要求1所述的基于图像空间信息的高精度图像立体匹配方法，其特征在于：步骤S3所述的匹配点准确性判定，具体是：

基于图像空间上下文信息的匹配点准确性判据为：

式中：

：目标点k ¹的坐标；

：目标点通过图像几何约束关系及归一化互相关算法在搜索框内匹配到的初次匹配点k ^*的坐标；

，/>：目标点k ¹相邻的左侧及上侧两点的坐标；

，/>：通过步骤S1与S2对/> ， 进行立体匹配得到的正确的匹配点的坐标；

：匹配点准确性判据，≤1.414；

如果初次匹配点k ^*满足匹配点准确性判据，则认为k ^*为k ¹的正确匹配点，否则认为点 与点/>之间的最邻近的点k ²为k ¹的正确匹配点，k ²的坐标由与点 />获取，即为 /> 。