CN114358148A - 一种基于surf特征匹配的图像快速去遮挡方法 - Google Patents

Abstract

本发明公开了一种基于SURF特征匹配的图像快速去遮挡方法，属于计算机视觉领域。其包括以下步骤：输入遮挡图像；构造Hessian矩阵；构造高斯金字塔尺度空间；初步确定特征点位置；精确定位极值点；确定特征点的主方向；构造SURF特征点描述算子；图像配准；图像融合。本发明可以有效减小图像去遮挡的运算时间，为计算机视觉的应用提供了一种既精准又高效的图像去除遮挡的方法，达到了预期的效果。

Description

一种基于SURF特征匹配的图像快速去遮挡方法

技术领域

本发明属于计算机视觉领域，特别是指一种基于SURF特征匹配的图像快速去遮挡方法。

背景技术

近年来，随着计算机视觉技术的不断发展，去除图像遮挡任务是目前计算机视觉领域中一项十分重要的任务，并成为许多计算机视觉任务的基础。

然而，目前存在的图像去遮挡算法大多都是基于深度学习的方法，这种需要很多前期的工作，比如图像预处理和模型训练。而且算法对设备的要求较高，无法满足实时性，所以在小型轻量级设备中并不适用，也无法执行对实时性要求较高的任务。

发明内容

为了解决现有技术中的问题，本发明提出了一种基于SURF特征匹配的图像快速去遮挡方法。该方法可实现二维图像快速去除遮挡。

本发明采用的技术方案为：

一种基于SURF特征匹配的图像快速去遮挡方法，包括以下步骤：

步骤1，建立图像库，图像库中包括所有可能被遮挡的物体的完整图像；

步骤2，对于含有被遮挡物体的图像I，提取图像I中的SURF特征；

步骤3，将图像I的SURF特征与图像库中各图像的SURF特征进行匹配，得到图像I的匹配图像；

步骤4，将图像I与其匹配图像转换到同一坐标系下，完成两幅图像之间的配准；

步骤5，根据图像配准结果将两幅图像进行融合，输出去除遮挡物之后的图像I。

进一步的，步骤2的具体方式为：

步骤201，构造Hessian矩阵的判别式；

对于图像I(x,y)，其Hessian矩阵为：

x,y表示图像中的像素点；

Hessian矩阵的判别式为：

对图像进行高斯滤波，滤波后的Hessian矩阵为：

其中，(x,y)为像素位置，σ为尺度因子，L(x,y,σ)＝G(σ)*I(x,y)代表图像的高斯尺度空间；

采用盒式滤波器D替代高斯滤波器L，在L_xy上乘以一个加权系数0.9以平衡使用盒式滤波器近似所带来的误差，则Hessian矩阵的判别式为：

det(H)＝D_xxD_yy-(0.9×D_xy)²；

步骤202，构造高斯金字塔尺度空间；

构建金字塔时保证图像尺寸不变，不同组间图像的尺寸均一致，不同组间使用的盒式滤波器的模板尺寸逐渐增大，同一组不同层图像使用相同尺寸的滤波器，但是滤波器的尺度空间因子逐渐增大；

步骤203，利用非极大值抑制初步确定特征点位置；

将经过Hessian矩阵处理过的每个像素点的近似响应值与其三维邻域中的26个点进行大小比较，如果像素点的近似响应值是这26个点中的最大值或最小值，则保留下来，作为初步的特征点；

步骤204，精确定位极值点；

采用三维线性插值法得到亚像素级的特征点，同时去掉近似响应值小于阈值的点；

步骤205，使用Harr小波变换确定特征点的主方向；

统计特征点邻域内的Harr小波特征，选取以特征点为圆心，以6σ为半径的圆形区域为邻域，对圆形区域做进一步划分，考虑以特征点为中心，张角为60°的扇形区域内的所有响应值，并以0.2的弧度旋转扇形区域，通过统计扇形区域内的Harr小波响应值来确定主方向；

步骤206，构造SURF特征点描述子；

提取特征点周围4×4个矩形区域块，所取得的矩形区域块的方向是沿着特征点的主方向；矩形区域块中的每个子区域统计25个像素点水平方向和垂直方向的Harr小波特征，该Harr小波特征为水平方向值之和、垂直方向值之和、水平方向值绝对值之和以及垂直方向绝对值之和4个方向，此处水平和垂直方向都是相对主方向而言的；把4个方向的值作为每个子区域的特征向量，得到4×4×4＝64维向量作为SURF特征的描述子。

进一步的，步骤3中，通过计算两个特征点间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好；此外，加入Hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表着两个特征点具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度方向是相反的，即使欧氏距离为0，也直接剔除。

进一步的，步骤4中，通过变换矩阵T将两幅图像转换到同一坐标系下，完成两幅图像之间的配准，转换方式如下：

其中，变换矩阵T通过SURF匹配点对计算。

本发明的有益效果在于：

1、本发明在SURF(Speededup RobustFeatures，加速鲁棒特征)特征点提取与匹配的基础上，实现了一种二维图像快速去遮挡的方法，通过SURF特征匹配、图像配准与图像融合，减小图像去遮挡的运算时间，为计算机视觉的应用提供了一种既精准又高效的图像去除遮挡的方法。

2、本发明可解决室内外环境中快速还原二维图像中被遮挡部分的问题，具有良好的应用前景。

附图说明

图1为本发明方法的流程图。

图2为去除遮挡前后图像对比，其中，图a)为去遮挡前图像，图b)为去遮挡后图像。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于SURF特征匹配的图像快速去遮挡方法，该方法首先建立包括所有可能被遮挡的物体的完整图像的图像库，之后执行如图1所示的如下步骤：

步骤1：构造Hessian矩阵；

SURF算法利用像素点的Hessian矩阵行列式来近似图像原来的像素值，以此生成圆图像针对该Hessian矩阵的特征响应图像，后续将在特征响应图像中进行进一步的特征点定位。对于一幅图像I(x,y)，其Hessian矩阵如下式所示：

Hessian矩阵的行列式如下式所示：

在构建Hessian矩阵前需要对图像进行高斯滤波，公式为经过滤波后的Hessian矩阵表达式。

其中，(x,y)为像素位置，σ为尺度因子，L(x,y,σ)＝G(σ)*I(x,y)代表图像的高斯尺度空间，是由图像和不同的高斯卷积得到。

Hessian矩阵判别式中的L(x,y,σ)是原始图像的高斯卷积，由于高斯核服从正态分布，从中心点往外，系数越来越小，为了提高运算速度，SURF算法使用了盒式滤波器D来替代高斯滤波器L，所以在L_xy上乘了一个加权系数0.9，目的是为了平衡因使用盒式滤波器近似所带来的误差，则H矩阵判别式可表示为：

det(H)＝D_xxD_yy-(0.9×D_xy)²

其中，0.9为权重系数，被用来平衡近似带来的误差。

步骤2：构造高斯金字塔尺度空间；

SURF算法构建金字塔时保证图像尺寸不变，通过改变高斯滤波器的尺度的间接方法来处理图像。不同组间图像的尺寸都是一致的，不同的是不同组间使用的盒式滤波器的模板尺寸逐渐增大，同一组不同层图像使用相同尺寸的滤波器，但是滤波器的尺度空间因子逐渐增大。

步骤3：利用非极大值抑制初步确定特征点位置；

将经过Hessian矩阵处理过的每个像素点的近似响应值与其三维邻域的26个点进行大小比较，如果它是这26个点中的最大值或最小值，则保留下来，作为初步的特征点。

步骤4：精确定位极值点；

采用三维线性插值法得到亚像素级的特征点，同时去掉近似响应值小于一定阈值的点。

步骤5：使用Harr小波变换确定特征点的主方向；

在SURF中，统计特征点邻域内的Harr小波特征。选取以特征点为圆心，以6σ为半径的圆形区域为邻域。而为了获得主方向信息，需要对圆形区域进一步划分，考虑以特征点为中心，张角为60°的扇形区域内的所有响应值，并以0.2的弧度旋转扇形区域。通过统计扇形区域内的Harr小波响应值来确定主方向。

步骤6：构造SURF特征点描述算子。

SURF算法中，提取特征点周围4×4个矩形区域块，所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素点水平方向和垂直方向的Harr小波特征，这里的水平和垂直方向都是相对主方向而言的。该Harr小波特征为水平方向值之和、垂直方向值之和、水平方向值绝对值之和以及垂直方向绝对之和4个方向。把这4个值作为每个子块区域的特征向量，所以一共有4×4×4＝64维向量作为SURF特征的描述子。

步骤7：SURF特征匹配；

通过计算两个特征点间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好。SURF加入了Hessian矩阵迹(矩阵特征值的和)的判断，如果两个特征点的矩阵迹正负号相同，代表着两个特征点具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度方向是相反的，即使欧氏距离为0，也直接剔除。

步骤8：图像配准；

图像配准就是通过变换矩阵T将两幅图像转换到同一坐标系下，如下式所示：

通过SURF匹配点对可以计算变换矩阵T。进而可以将两幅图像完成配准，转换到同一个图像坐标系下。

步骤9：图像融合；

根据图像配准结果将两幅图像进行融合，输出去除遮挡物之后的二维图像。

本方法能够有效处理在室内外环境下的获取的图像，完成图像快速去遮挡的功能。图2中图b)为去遮挡后图像，可以看出，本方法可以有效去除图像中遮挡物体。

本方法的运算时间均值为0.27s，可以看出，本方法可以有效减小图像去遮挡的运算时间，为计算机视觉的应用提供一种既精准又高效的图像去除遮挡的方法，达到了预期的效果。

总之，本发明主要针对二维图像的部分景物受到遮挡的场景，其通过构建Hessian矩阵和高斯金字塔尺度空间，确定特征点的位置和主方向，然后构建SURF特征点描述算子，根据特征点和描述算子进行特征匹配，最后根据特征匹配点对进行图像配准和图像融合，完成图像去遮挡。本发明可减小图像去遮挡的耗时，具有较高的实时性。

以上对本发明所提出的一种基于SURF特征匹配的图像快速去遮挡方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于SURF特征匹配的图像快速去遮挡方法，其特征在于，包括以下步骤：

步骤1，建立图像库，图像库中包括所有可能被遮挡的物体的完整图像；

步骤2，对于含有被遮挡物体的图像I，提取图像I中的SURF特征；

步骤3，将图像I的SURF特征与图像库中各图像的SURF特征进行匹配，得到图像I的匹配图像；

步骤4，将图像I与其匹配图像转换到同一坐标系下，完成两幅图像之间的配准；

步骤5，根据图像配准结果将两幅图像进行融合，输出去除遮挡物之后的图像I。

2.根据权利要求1所述的一种基于SURF特征匹配的图像快速去遮挡方法，其特征在于，步骤2的具体方式为：

步骤201，构造Hessian矩阵的判别式；

对于图像I(x,y)，其Hessian矩阵为：

x,y表示图像中的像素点；

Hessian矩阵的判别式为：

对图像进行高斯滤波，滤波后的Hessian矩阵为：

其中，(x,y)为像素位置，σ为尺度因子，L(x,y,σ)＝G(σ)*I(x,y)代表图像的高斯尺度空间；

采用盒式滤波器D替代高斯滤波器L，在L_xy上乘以一个加权系数0.9以平衡使用盒式滤波器近似所带来的误差，则Hessian矩阵的判别式为：

det(H)＝D_xxD_yy-(0.9×D_xy)²；

步骤202，构造高斯金字塔尺度空间；

构建金字塔时保证图像尺寸不变，不同组间图像的尺寸均一致，不同组间使用的盒式滤波器的模板尺寸逐渐增大，同一组不同层图像使用相同尺寸的滤波器，但是滤波器的尺度空间因子逐渐增大；

步骤203，利用非极大值抑制初步确定特征点位置；

将经过Hessian矩阵处理过的每个像素点的近似响应值与其三维邻域中的26个点进行大小比较，如果像素点的近似响应值是这26个点中的最大值或最小值，则保留下来，作为初步的特征点；

步骤204，精确定位极值点；

采用三维线性插值法得到亚像素级的特征点，同时去掉近似响应值小于阈值的点；

步骤205，使用Harr小波变换确定特征点的主方向；

统计特征点邻域内的Harr小波特征，选取以特征点为圆心，以6σ为半径的圆形区域为邻域，对圆形区域做进一步划分，考虑以特征点为中心，张角为60°的扇形区域内的所有响应值，并以0.2的弧度旋转扇形区域，通过统计扇形区域内的Harr小波响应值来确定主方向；

步骤206，构造SURF特征点描述子；

提取特征点周围4×4个矩形区域块，所取得的矩形区域块的方向是沿着特征点的主方向；矩形区域块中的每个子区域统计25个像素点水平方向和垂直方向的Harr小波特征，该Harr小波特征为水平方向值之和、垂直方向值之和、水平方向值绝对值之和以及垂直方向绝对值之和4个方向，此处水平和垂直方向都是相对主方向而言的；把4个方向的值作为每个子区域的特征向量，得到4×4×4＝64维向量作为SURF特征的描述子。

3.根据权利要求1所述的一种基于SURF特征匹配的图像快速去遮挡方法，其特征在于，步骤3中，通过计算两个特征点间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好；此外，加入Hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表着两个特征点具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度方向是相反的，即使欧氏距离为0，也直接剔除。

4.根据权利要求1所述的一种基于SURF特征匹配的图像快速去遮挡方法，其特征在于，步骤4中，通过变换矩阵T将两幅图像转换到同一坐标系下，完成两幅图像之间的配准，转换方式如下：

其中，变换矩阵T通过SURF匹配点对计算。

Images