CN110135438A - 一种基于梯度幅值预运算的改进surf算法 - Google Patents

一种基于梯度幅值预运算的改进surf算法 Download PDF

Info

Publication number
CN110135438A
CN110135438A CN201910384347.3A CN201910384347A CN110135438A CN 110135438 A CN110135438 A CN 110135438A CN 201910384347 A CN201910384347 A CN 201910384347A CN 110135438 A CN110135438 A CN 110135438A
Authority
CN
China
Prior art keywords
image
point
feature
gradient magnitude
hessian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910384347.3A
Other languages
English (en)
Other versions
CN110135438B (zh
Inventor
魏延辉
杨鹏飞
郑志
田晨光
刘静
马博也
牛家乐
贺佳林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910384347.3A priority Critical patent/CN110135438B/zh
Publication of CN110135438A publication Critical patent/CN110135438A/zh
Application granted granted Critical
Publication of CN110135438B publication Critical patent/CN110135438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于梯度幅值预运算的改进SURF算法，属于水下目标图像识别领域，以传统的SURF算法为基础，通过积分图查找的方式来代替复杂的高斯计算，在图像的边缘化和锐点中存在描述图像的极值特征和高频噪声，引入图像信噪比衡量指标，用以突出有效特征或者其分量。在SURF算法构建Hessian矩阵时，在Hessian之前加入具有平滑的梯度幅值计算方法，有效改善现有SURF算法的效果。本发明解决了传统SURF算法的特征点数目少和特征点不均匀的难题，具有特征点提取精度高，有更好的噪声抑制力的优点，可引入水下三维重建中，可有效的提高水下目标三维重建的精度与质量，为水下机器人进行水下观测和作业提供有力的支撑。

Description

一种基于梯度幅值预运算的改进SURF算法
技术领域
本发明属于水下目标图像识别领域，具体涉及一种基于梯度幅值预运算的改进SURF算法。
背景技术
近些年来随着科学技术的进步，人们开始进一步的对海洋水下资源进行探测于开发。水下机器人技术得以迅速发展，有力的推动了人类对水下空间探索的进程，基于仿生信息的水下的视觉系统研究也随之进一步被推进。水下视觉测量系统具有信息承载量大，易于设计加工和非直接接触性测量等优点成为诸多水下设备的关键组成部分。其中在机器人水下自主航行、海底探测和海下设备维护等相关领域，基于视觉的水下定位识别技术的发展具有重要的研究意义和价值。
在诸多的特征点描述算子中，SURF特征描述子是一种稳健的描述算法，对图像进行特征描述的时候，计算每个特征点的矢量，使得SURF运算对旋转结果不变特点，这个特性使得SURF应用在特征描述具有意义。提到SURF描述算法都会想到SIFT算法，SURF算法是在SIFT算法上进行的改进，SURF继承了SIFT的尺度和旋转的良好特性，并进行了改进提速，具体的改进和原理将在接下来进行讲述。对于序列帧图像，平移层存在，利用SURF在矩阵内积空间下计算对任意的旋转其计算函数结果不变的特性，同时其还具有平移不变性，可以有效的通过SURF来描述具有旋转和平移特性的序列帧图像中的特征点。
但传统的SURF算法存在以下几个缺点：针对光线不足、图像模糊的情况,提取图像的纹理特征较困难。SURF描述在计算特征点的时候是通过Hessian矩阵求二阶偏导数求得的，这个过程使得图像的高频噪声被引入，这些噪声会造成SURF最后计算结误匹配，使得无效匹配对结果产生影响。SURF算法在特征点提取时，会有特征点计算数量少，有效值少的问题。
本发明解决了传统SURF算法的特征点数目少和特征点不均匀的难题，具有特征点提取精度高，有更好的噪声抑制力的优点，可引入水下三维重建中，可有效的提高三维重建的精度与质量。
发明内容
本发明的目的在于提供解决了传统SURF算法的特征点数目少和特征点不均匀的难题，具有特征点提取精度高，有更好的噪声抑制力的一种基于水下目标的图像梯度幅值预运算的改进SURF算法。
本发明的目的通过如下技术方案来实现:
一种基于梯度幅值预运算的改进SURF算法，包含以下步骤:
(1)构建Hessian矩阵，局部曲率计算，采用Hessian矩阵进行区域描述求取二阶导数，得到图像中稳定的特征点，对每一个特征点进行Hessian运算：在Hessian之前加入具有平滑的梯度幅值计算方法，构建变尺度的Box-Filter/盒式滤波，将运算转化为积分图查找方式，快速的得到H阵的元素值，当经过Hessian判别为局部的极值点时，将该点设定为当前的一个亮度核心点；
(2)尺度空间构建，SURF的尺度空间由O组L层组成，同一组间图像尺寸一样，相邻图像间采用相同的尺度，采用变尺度滤波盒，调整高斯滤波系数同时将滤波盒尺度逐渐的增大；
(3)图像特征点定位，将步骤(1)求得的亮度核心点与二维多尺度空间下图像相邻像素点进行比较匹配，通过层间的判别可以得出位置信息，通过拟定的筛选规则，滤除出错或者能量影响因子比较小的关键点，得到特征点；
(4)主特征方向计算，建立以特征点为中心，中心弧度为θ的扇形，然后统计扇形内部的Harr描述值，以一定步长旋转扇形区域，对区域内小波特征不断的累积，将得到幅值进行矢量运算，并将取值最大的累积方向作为主特征方向；
(5)生成特征点描述子，选取特征点周围4*4块区域，在每个小块的特征方向计算上改用主特征方向，其中24个邻域块中使用小波求取对水平和垂直方向以及两者的绝对值四个方向参量，将这几个参量作为块域向量计算；
(6)特征点匹配，通过Hessian矩阵轨迹判别项，剔除非运动轨迹的伪特征点，计算特征点间的欧式距离求取匹配可信度。
步骤(1)所述的积分图查找的方式具体实现过程如下：
(1.1)积分图I(x,y)的计算方法为：
其中，I(x,y)表示积分图，i(i,j)表示原始图像；
(1.2)求取x和y方向互相垂直方向上的harr小波分量，根据小波分量的大小设定为20S×20S，其中S为Hessian计算的特征尺度结果；
(1.3)求取描述结果，对dx和dy方向进行高斯加权，对特征点邻域的24个像素求和，得到一个子区域的描述子向量v＝(∑dx,∑dy,∑|dx|,∑|dy|)，筛选去除亮度变化点。
上述步骤包括通过高斯构建多尺度空间中的非极大值抑制，其具体步骤为：
(2.1)引入图像信噪比衡量指标衡量在图像的边缘化和锐点中存在描述图像的极值特征和高频噪声，突出有效特征或者其分量，信噪比(SNR)公式如下：
其中，f(x)为高斯滤波器，σ为高斯滤波器的方差，其作用域为(-ω,+ω)，G(-x)为返回的滤波结果；
(2.2)对得到的稳定的特征点进行定位，定位最佳点为靠近特征分布：
其中，f′(x)与G′(-x)代表滤波器的片微分，Location是最终定位的衡量指标；
(2.3)特征检测算子在零交叉点处的期望距离d(f′)应满足f″(x)，其计算式为：
(2.4)经典滤波函数表达式：
fs(x,y)＝f(x,y)*G(x,y)
其中，f(x,y)为图像输入，G(x,y)为高斯滤波函数，fs(x,y)为经过滤波处理后的结果，具体的实现过程是通过3×3窗口卷积模板对图像进行x和y方向平移移动来完成，通过建立(0,0)周围(x,y)的分布，这里设定σ2＝0.64，将坐标点值和高斯函数矩阵进行运算，计算得到标准权重矩阵；
(2.5)利用步骤(2.4)获得的标准权重矩阵对图像的每一个像素的邻域内进行卷积运算，每进行完一个点的卷积运算就进行沿x和y方向进行一次一定步长的移动；
(2.6)极值的引入分析，将图像转化为低维灰度图，然后采用3×3滤波块对x和y方向求偏导数，其中梯度幅值满足：
梯度方向满足：
(2.7)局部非极大值抑制过程，将处理方向选取为(0°,-45°,90°,45°)四个方向，任意一点周围都在上述方向的梯度和幅值进行“非极值过滤”,即如果该防线值为小值则去除。
所述的具有平滑的梯度幅值计算方法为Prewitt算子，实现的过程是：
(3.1)通过膨胀-腐蚀的形态学方法抑制噪声，通过水平方向和垂直方向的两个卷积模板与图像进行卷积求得相应的水平和垂直特征：
其中，Gx为垂直方向的计算公式，Gy为水平方向的计算公式；
(3.2)梯度幅值计算可以由Gx和Gy之和求得：
PM＝|Gx|+|Gy|
经过G-A计算可得图像的梯度幅值和梯度方向。
本发明的有益效果为：本发明解决了传统SURF算法的特征点数目少和特征点不均匀的难题，具有计算速度快、提取精度高的优点。
(1)针对光线不足、图像模糊的情况,可以有效的显著图像的纹理特征,使得该方法可以获得更多的匹配特征。
(2)该方法计算得出的特征对分布更加均匀,进而可以得到更加精准的重建结果,相比传统视觉匹配算法有显著的优势。
(3)该方法具有特征点提取精度高，有更好的噪声抑制力的优点，可引入水下三维重建中，可有效的提高三维重建的精度与质量。
附图说明
图1为SURF算法实现流程示意图；
图2为构建尺度空间示意图；
图3为特征点定位示意图；
图4为特征主方向示意图；
图5为生成特征描述子示意图；
图6为Harr响应模型示意图；
图7为高斯滤波器权值矩阵示意图；
图8为高斯卷积过程示意图；
图9为图像角边分布示意图；
图10为图像梯度分布示意图；
图11为梯度幅值非极值抑制示意图；
图12为试验结果图表；
图13a为传统SURF算法特征点匹配效果图，图13b是改进后的SURF算法特征点匹配效果图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
具体实施例一：
步骤1：构建Hessian矩阵，局部曲率计算。
构建Hessian矩阵是SURF算法的开始也是核心运算，构建Hessian矩阵的目的是为了生成图像稳定的边缘点，为特征提取做好基础。构建的方式为矩阵的二阶偏导数的求取矩阵，这里应用于图像运算是对其进行扩展形式，将变量入扩展为对多元函数的偏导求取。Hessian可以很好的描述图像区域内的曲率变化特征，借此可以对其生成描述。在图像金子塔的构建过程中，SIFT(Scale invariant feature transform)在这里与SURF产生了不同，前者采用DOG的处理图像获得相关特征，后者采用Hessian矩阵进行区域描述，其核心思想是求取二阶导数Dxx,Dxy,Dyy以完成最终的描述，经过这样的运算，可以得到图像中稳定的“突出点”，并为下文的特征提取提供依据，其运算过程需要对每一个特征点的周围都进行Hessian运算，期间需要进行对这些结果进行判别具体过程如下：
首先为了构建尺度不变性，需要构建不同尺度的滤波，通常这里选择二阶高斯滤波器在减少噪声的同时，通过不调节尺度大小完成了尺度的描述，同时经典的高斯滤波器受到方差影响由期望点向外扩散并慢慢降低这里会产生大量的计算，SURF在这里进行了改进，将其转化为Box-Filter(盒式滤波)，将运算转化为积分图查找的方式，快速的得到H阵的元素值Lxx,Lxy,Lyy。然后当经过Hessian判别为局部的极值点时候，则该点设定为当前的一个亮度核心点。据此成为关键点的候选位置。从Box-Filter部分可知，这样运算求得的是Hessian运算的近似值，还要在Dxy乘一个权值系数λ，以减少误差，通常λ取值为(0.85,0.92)。
Hessian计算是一种对梯度变化敏感的算法，能够良好的对图像的梯度进行描述，如果在Hessian之前加入具有平滑的梯度幅值计算方法，将十分的有效改善现有SURF算法的效果。
步骤2：尺度空间构建
同SIFT一样，SURF的尺度空间也是由O组L层组成，不同的是，SIFT中下一组图像的尺寸是上一组的一半，同一组间图像尺寸一样，但是SURF算法中将采样结构进行了改进将相邻图像间采用相同的尺度，但是采用了变尺度滤波盒，在尽可能的不影响结果的情况下，调整高斯滤波系数同时将滤波盒尺度逐渐的增大，这样做大大的降低了运算的复杂度，增加了SURF的运算效率。
步骤3：图像特征点定位
SURF特征点定位过程同SIFT算法，过程为在多尺度构建的基础上将第一步求得的Hessian结果与二维多尺度空间下图像相邻24像素点进行比较匹配，通过层间的判别可以得出粗略的关键的位置信息，在通过拟定的筛选规则，对出错或者能量影响因子比较小的关键点滤除，得到稳定特征点。
步骤4：主特征方向计算
SURF算法在主方向计算上不同于以往的SIFT算法，删除了统计梯度特征图的方法改用了使用Harr小波描述，计算速度上没有明显的提升但是在精度上Harr能够更好的描述，具体Harr描述方法将在下节中讲解。主要的方法为：首先建立以特征点为中心，中心弧度为60°的扇形，然后统计扇形内部的Harr描述值并统计，最后以一定步长旋转扇形区域，对区域内小波特征不断的累积，最后将得到幅值进行矢量运算，并将取值最大的累积作为主方向。
步骤5：生成特征点描述子
特征描述子将上述的运算表达最终转化为一种可以量化易于描述的形式，通常是一个多维的矩阵。SURF沿用SIFT的思虑。选取特征点周围4*4块区域，在每个小块的特征方向计算上改用主特征方向。其中24个邻域块中使用小波求取对水平和垂直方向以及两者的绝对值四个方向参量。并把这几个参量作为块域向量，经过综合计算，其最终的向量维度相对SIFT降低了一半，省去了大量的运算。
步骤6：特征点匹配
特征点匹配是通过特征来建立图像之间关系的最终手段，起计算方法为通过计算特征点间的欧式距离来求取，距离越小说明所描述的特征点的匹配可信度越高。SURF中在距离计算之前加入了通过Hessian矩阵轨迹判别项，将非运动轨迹的伪特征点进行剔除，匹配完成。
步骤1中简述了SURF采用积分图的方式，通过积分图的查找的方式来代替复杂的高斯计算。具体的实现过程如下：
(1)积分图I(x,y)的计算方法为：
其中，I(x,y)表示积分图，i(i,j)表示原始图像。
(2)求取x和y方向互相垂直方向上的harr小波分量，根据小波分量的大小设定为20S×20S，其中S为Hessian计算的特征尺度结果。
(3)求取描述结果。首先要进行对dx和dy方向进行高斯加权，通过特征点邻域的24个像素进行求和，并得到一个子区域的描述子向量v＝(∑dx,∑dy,∑|dx|,∑|dy|),然后进行筛选，去除个别特别亮度变化点，避免图像间由于亮度变化产生误差。
提到的各种优化和影响效果中比较关键的一个环节是是通过高斯构建多尺度空间中的非极大值抑制。在图像的边缘化和锐点中存在描述图像的极值特征和高频噪声，为了衡量两者的关系需要引入图像信噪比衡量指标，用以突出有效特征或者其分量，信噪比(SNR)公式如下：
其中，f(x)为高斯滤波器，σ为高斯滤波器的方差，其作用域为(-ω,+ω)，G(-x)为返回的滤波结果。接下来需要对得到的“优质”特征进行定位，定位最佳点为靠近特征分布：
其中，f′(x)与G′(-x)代表滤波器的片微分，Location是最终定位的衡量指标，越高代表定位的精度越理想。单边响应要遵循单一锐化特征的多个响应应尽可能的小。特征检测算子在零交叉点处的期望距离d(f′)应满足f″(x)，其计算式为：
这里采用的是降采样处理，之前采集的太多无效特征采用信息降维，对于图像处理系统，无效特征点比例太大，则会影响后续的特征运算和拼接等速度。经典滤波函数表达式：
fs(x,y)＝f(x,y)*G(x,y)
其中，f(x,y)为图像输入，G(x,y)为高斯滤波函数，fs(x,y)为经过滤波处理后的结果。具体的实现过程是通过3×3窗口卷积模板对图像进行x和y方向平移移动来完成的，通过建立(0,0)周围(x,y)的分布，这里设定σ2＝0.64，则参照公式将坐标点值和高斯函数矩阵进行运算，可以计算得到标准权重矩阵。
接下来利用上面获得的标准权重矩阵对图像的每一个像素的邻域内进行卷积运算，每进行完一个点的卷积运算就进行沿x和y方向进行一次一定步长的移动。
(1)极值的引入分析：
在分析图像时，首先将图像转化为低维灰度图，然后采用3×3滤波块对x和y方向进行求偏导数操作。其中梯度幅值满足：
梯度方向满足：
(2)局部非极大值抑制过程：
由于图像小区域内是矩阵，最小单位为矩形所以将处理方向选取为(0°,-45°,90°,45°)四个方向，任意一点周围都在上述方向的梯度和幅值进行“非极值过滤”,即如果该防线值为小值则去除，为了更加形象的描述一般采用3×3区域进行分析。
基于梯度幅值(Gradient and Amplitude)改进的SURF算法的在匹配中的应用，可以有效的改进SURF算法的特征点计算数量少，计算结果质量不高，有效点少的问题。SURF描述在计算特征点的时候是通过Hessian矩阵求二阶偏导数求得的，这个过程使得图像的高频噪声被引入，这些噪声会造成SURF最后计算结误匹配，使得无效匹配对结果产生影响。同时，Hessian计算是一种对梯度变化敏感的算法，能够良好的对图像的梯度进行描述，如果在Hessian之前加入具有平滑的梯度幅值计算方法，将十分的有效改善现有SURF算法的效果。
Prewitt算子是一种对图像的梯度幅值计算方法，该算子是通过一阶微分运算实现的，正常图片在经过灰度化之后，一些图像“尖锐”的边缘区域会存在极值，并且该算子对噪声具有一定的平滑作用。实现的过程是通过水平方向和垂直方向的两个卷积模板与图像进行卷积并求得相应的水平和垂直特征。在进行运算之前需要通过膨胀-腐蚀的形态学方法来抑制噪声对提取梯度特征的影响。
其中，Gx为垂直方向的计算公式，Gy为水平方向的计算公式。
为了简化计算，梯度幅值计算可以由Gx和Gy之和求得。
PM＝|Gx|+|Gy|
经过G-A计算可得图像的梯度幅值和梯度方向，这两个参数，对下一步的特征计算起到十分关键的作用，是特征描述子所描述的主要组成部分。该算子还具有计算简单速度快，对灰度渐变和噪声较多的图像处理较好的特点，所以能够很好的抑制后期特征提取中噪声的不利影响。计算图像的梯度变化来为接下来特征提取提供充足有效的特征数量。
对Prewitt同类其他卷积核相关计算模板算法的思路结合SURF进行改进实验，通过对20张不同类型的水下图片进行试验取均值以及传统SURF结果与优化改进后SURF结果对比可得如下结论:针对于光线不足、图像模糊的情况,可以有效的显著图像的纹理特征,使得该方法可以获得更多的匹配特征，不仅如此,该方法计算得出的特征对分布更加均匀,进而可以得到更加精准的重建结果,相比传统视觉匹配算法有显著的优势。
具体实施例二：
实施1，结合附图1，SURF算法的实现流程主要由以下六个部分组成：构建Hessian矩阵及曲率计算、尺度空间的构建、图像特征点定位、主特征方向计算、生成特征描述子和特征匹配。
实施2，结合附图2有以下两个步骤：
步骤1：构建Hessian矩阵，局部曲率计算。
构建Hessian矩阵是SURF算法的开始也是核心运算，构建Hessian矩阵的目的是为了生成图像稳定的边缘点，为特征提取做好基础。构建的方式为矩阵的二阶偏导数的求取矩阵，这里应用于图像运算是对其进行扩展形式，将变量扩展为对多元函数的偏导求取。Hessian可以很好的描述图像区域内的曲率变化特征，借此可以对其生成描述。在图像金子塔的构建过程中，SIFT在这里与SURF产生了不同，前者采用DOG的处理图像获得相关特征，后者采用Hessian矩阵进行区域描述，其核心思想是求取二阶导数Dxx,Dxy,Dyy以完成最终的描述，经过这样的运算，可以得到图像中稳定的“突出点”，并为下文的特征提取提供依据，其运算过程需要对每一个特征点的周围都进行Hessian运算，期间需要进行对这些结果进行判别具体过程如下：
首先为了构建尺度不变性，需要构建不同尺度的滤波，通常这里选择二阶高斯滤波器在减少噪声的同时，通过不调节尺度大小完成了尺度的描述，同时经典的高斯滤波器受到方差影响由期望点向外扩散并慢慢降低这里会产生大量的计算，SURF在这里进行了改进，将其转化为Box-Filter，将运算转化为积分图查找的方式，快速的得到H阵的元素值Lxx,Lxy,Lyy。然后当经过Hessian判别为局部的极值点时候，则该点设定为当前的一个亮度核心点。据此成为关键点的候选位置。从Box-Filter部分可知，这样运算求得的是Hessian运算的近似值，还要在Dxy乘一个权值系数λ，以减少误差，通常λ取值为(0.85,0.92)。
步骤2：尺度空间构建
同SIFT一样，SURF的尺度空间也是由O组L层组成，不同的是，SIFT中下一组图像的尺寸是上一组的一半，同一组间图像尺寸一样，但是SURF算法中将采样结构进行了改进，将相邻图像间采用相同的尺度，但是采用了变尺度滤波盒，在尽可能的不影响结果的情况下，调整高斯滤波系数同时将滤波盒尺度逐渐的增大，这样做大大的降低了运算的复杂度，增加了SURF算法的运算效率。
实施3，结合附图3图像特征点定位方法为：SURF特征点定位过程同SIFT算法，过程为在多尺度构建的基础上将第一步求得的Hessian结果与二维多尺度空间下图像相邻24像素点进行比较匹配，通过层间的判别可以得出粗略的关键的位置信息，在通过拟定的筛选规则，对出错或者能量影响因子比较小的关键点滤除，得到稳定特征点。
实施4，结合附图4主特征方向计算方法为：SURF算法在主方向计算上不同于以往的SIFT算法，删除了统计梯度特征图的方法改用了使用Harr小波描述，计算速度上没有明显的提升但是在精度上Harr能够更好的描述，具体Harr描述方法将在下节中讲解。主要的方法为：首先建立以特征点为中心，中心弧度为60°的扇形，然后统计扇形内部的Harr描述值并统计，最后以一定步长旋转扇形区域，对区域内小波特征不断的累积，最后将的到幅值进行矢量运算，并将取值最大的累积作为主方向。
实施5，结合附图5生成特征点描述子的过程为：
步骤1：特征描述子将上述的运算表达最终转化为一种可以量化易于描述的形式，通常是一个多维的矩阵。SURF沿用SIFT的思虑。选取特征点周围4*4块区域，在每个小块的特征方向计算上改用主特征方向。其中24个邻域块中使用小波求取对水平和垂直方向以及两者的绝对值四个方向参量。并把这几个参量作为块域向量，经过综合计算，其最终的向量维度相对SIFT降低了一半，省去了大量的运算。
步骤2：特征点匹配是通过特征来建立图像之间关系的最终手段，起计算方法为通过计算特征点间的欧式距离来求取，距离越小说明所描述的特征点的匹配可信度越高。SURF中在距离计算之前加入了通过Hessian矩阵轨迹判别项，将非运动轨迹的伪特征点进行剔除，匹配完成。
实施6，结合附图6、附图7、附图8、附图9、附图10、附图11，基于改进的SURF得匹配算法有如下步骤：
之前简述了SURF采用积分图的方式，通过积分图的查找的方式来代替复杂的高斯计算。具体的过程如下：
步骤1：Harr小波描述
(1)积分图I(x,y)的计算方法为：
其中，I(x,y)表示积分图，i(i,j)表示原始图像。
(2)求取x和y方向互相垂直方向上的harr小波分量，根据小波分量的大小设定为20S×20S，其中S为Hessian计算的特征尺度结果。小波魔板的形式如图6所示，其中黑色和白色分别代表正负量。
(3)求取描述结果。首先要进行对dx和dy方向进行高斯加权，通过特征点邻域的24个像素进行求和，并得到一个子区域的描述子向量v＝(∑dx,∑dy,∑|dx|,∑|dy|),然后进行筛选，去除个别特别亮度变化点，避免图像间由于亮度变化产生误差。
步骤2，高斯滤波非极值抑制
上述中提到的各种优化和影响效果中比较关键的一个环节是是通过高斯构建多尺度空间中的非极大值抑制。在图像的边缘化和锐点中存在描述图像的极值特征和高频噪声，为了衡量两者的关系需要引入图像信噪比衡量指标，用以突出有效特征或者其分量，信噪比(SNR)公式如下：
其中，f(x)为高斯滤波器，σ为高斯滤波器的方差，其作用域为(-ω,+ω)，G(-x)为返回的滤波结果。接下来需要对得到的“优质”特征进行定位，定位最佳点为靠近特征分布：
其中，f′(x)与G′(-x)代表滤波器的片微分，Location是最终定位的衡量指标，越高代表定位的精度越理想。单边响应要遵循单一锐化特征的多个响应应尽可能的小，。特征检测算子在零交叉点处的期望距离d(f′)应满足f″(x)，其计算式为：
这里采用的是降采样处理，之前采集的太多无效特征采用信息降维，对于图像处理系统，无效特征点比例太大，则会影响后续的特征运算和拼接等速度。经典滤波函数表达式：
fs(x,y)＝f(x,y)*G(x,y)
其中，f(x,y)为图像输入，G(x,y)为高斯滤波函数，fs(x,y)为经过滤波处理后的结果。具体的实现过程是通过3×3窗口卷积模板对图像进行x和y方向平移移动来完成的，通过建立(0,0)周围(x,y)的分布，这里设定σ2＝0.64，将坐标点值和高斯函数矩阵进行运算，可以计算得到标准权重矩阵，具体实现可以参照图7所示。
接下来利用上面获得的标准权重矩阵对图像的每一个像素的邻域内进行卷积运算，每进行完一个点的卷积运算就进行沿x和y方向进行一次一定步长的移动。整个过程如图8所示。
(1)极值的引入分析：
在分析图像时，首先将图像转化为低维灰度图，然后采用3×3滤波块对x和y方向进行求偏导数操作。为了简化这里简化为9个像素区域进行演示，如图9所示，其中黄色虚线框内的为进行的x和y方向的偏导数。其中梯度幅值满足：
梯度方向满足：
该点出的幅值和梯度方向如图10所示。
(2)局部非极大值抑制过程：
由于图像小区域内是矩阵，最小单位为矩形所以将处理方向选取为(0°,-45°,90°,45°)四个方向，任意一点周围都在上述方向的梯度和幅值进行“非极值过滤”,即如果该防线值为小值则去除，为了更加形象的描述这里采用3×3区域进行分析，过程如图11所示。
实施7，结合附图12、附图13，基于G-A计算的改进SURF算法具体实现过程如下所示：
基于梯度幅值(Gradient and Amplitude)改进的SURF算法的在匹配中的应用，可以有效的改进SURF算法的特征点计算数量少，计算结果质量不高，有效点少的问题。SURF描述在计算特征点的时候是通过Hessian矩阵求二阶偏导数求得的，这个过程使得图像的高频噪声被引入，这些噪声会造成SURF最后计算结误匹配，使得无效匹配对结果产生影响。同时，Hessian计算是一种对梯度变化敏感的算法，能够良好的对图像的梯度进行描述，如果在Hessian之前加入具有平滑的梯度幅值计算方法，将十分的有效改善现有SURF算法的效果。
Prewitt算子是一种对图像的梯度幅值计算方法，该算子是通过一阶微分运算实现的，正常图片在经过灰度化之后，一些图像“尖锐”的边缘区域会存在极值，并且该算子对噪声具有一定的平滑作用。实现的过程是通过水平方向和垂直方向的两个卷积模板与图像进行卷积并求得相应的水平和垂直特征。在进行运算之前需要通过膨胀-腐蚀的形态学方法来抑制噪声对提取梯度特征的影响。
其中，Gx为垂直方向的计算公式，Gy为水平方向的计算公式。
为了简化计算，梯度幅值计算可以由Gx和Gy之和求得。
PM＝|Gx|+|Gy|
经过G-A计算可得图像的梯度幅值和梯度方向，这两个参数，对下一步的特征计算起到十分关键的作用，是特征描述子所描述的主要组成部分。该算子还具有计算简单速度快，对灰度渐变和噪声较多的图像处理较好的特点，所以能够很好的抑制后期特征提取中噪声的不利影响。计算图像的梯度变化来为接下来特征提取提供充足有效的特征数量。
对Prewitt同类其他卷积核相关计算模板算法的思路结合SURF进行改进进行实验，通过对20张不同类型的水下图片进行试验取均值得实验表格如图12所示。
传统SURF结果与优化改进后SURF结果对比如图13a和图13b所示。通过对比应用传统和改进型SURF算法获得结果可得如下结论:结合Prewitt线不足、图像模糊的情况,可以有效的显著图像的纹理特征,使得该方法可以获得更多的匹配特征，不仅如此,该方法计算得出的特征对分布更加均匀,进而可以得到更加精准的重建结果,相比传统视觉匹配算法有显著的优势。
综上，本发明涉及水下目标图像识别领域，公开了一种基于梯度幅值预运算的改进SURF算法。本发明以传统的SURF算法为基础，通过积分图查找的方式来代替复杂的高斯计算，在图像的边缘化和锐点中存在描述图像的极值特征和高频噪声，为了衡量两者的关系需要引入图像信噪比衡量指标，用以突出有效特征或者其分量。在SURF算法构建Hessian矩阵时，Hessian计算是一种对梯度变化敏感的算法，能够良好的对图像的梯度进行描述，在Hessian之前加入具有平滑的梯度幅值计算方法，将有效改善现有SURF算法的效果。本发明解决了传统SURF算法的特征点数目少和特征点不均匀的难题，具有特征点提取精度高，有更好的噪声抑制力的优点，可引入水下三维重建中，可有效的提高水下目标三维重建的精度与质量，为水下机器人进行水下观测和作业提供有力的支撑。

Claims (4)

1.一种基于梯度幅值预运算的改进SURF算法，其特征在于，包含以下步骤:
(1)构建Hessian矩阵，局部曲率计算，采用Hessian矩阵进行区域描述求取二阶导数，得到图像中稳定的特征点，对每一个特征点进行Hessian运算：在Hessian之前加入具有平滑的梯度幅值计算方法，构建变尺度的Box-Filter/盒式滤波，将运算转化为积分图查找方式，快速的得到H阵的元素值，当经过Hessian判别为局部的极值点时，将该点设定为当前的一个亮度核心点；
(2)尺度空间构建，SURF的尺度空间由O组L层组成，同一组间图像尺寸一样，相邻图像间采用相同的尺度，采用变尺度滤波盒，调整高斯滤波系数同时将滤波盒尺度逐渐的增大；
(3)图像特征点定位，将步骤(1)求得的亮度核心点与二维多尺度空间下图像相邻像素点进行比较匹配，通过层间的判别可以得出位置信息，通过拟定的筛选规则，滤除出错或者能量影响因子比较小的关键点，得到特征点；
(4)主特征方向计算，建立以特征点为中心，中心弧度为θ的扇形，然后统计扇形内部的Harr描述值，以一定步长旋转扇形区域，对区域内小波特征不断的累积，将得到幅值进行矢量运算，并将取值最大的累积方向作为主特征方向；
(5)生成特征点描述子，选取特征点周围4*4块区域，在每个小块的特征方向计算上改用主特征方向，其中24个邻域块中使用小波求取对水平和垂直方向以及两者的绝对值四个方向参量，将这几个参量作为块域向量计算；
(6)特征点匹配，通过Hessian矩阵轨迹判别项，剔除非运动轨迹的伪特征点，计算特征点间的欧式距离求取匹配可信度。
2.根据权利要求1所述的一种基于梯度幅值预运算的改进SURF算法，其特征在于：
步骤(1)所述的积分图查找的方式具体实现过程如下：
(1.1)积分图I(x,y)的计算方法为：
其中，I(x,y)表示积分图，i(i,j)表示原始图像；
(1.2)求取x和y方向互相垂直方向上的harr小波分量，根据小波分量的大小设定为20S×20S，其中S为Hessian计算的特征尺度结果；
(1.3)求取描述结果，对dx和dy方向进行高斯加权，对特征点邻域的24个像素求和，得到一个子区域的描述子向量v＝(∑dx,∑dy,∑dx,∑dy)，筛选去除亮度变化点。
3.根据权利要求2所述的一种基于梯度幅值预运算的改进SURF算法，其特征在于：
上述步骤包括通过高斯构建多尺度空间中的非极大值抑制，其具体步骤为：
(2.1)引入图像信噪比衡量指标衡量在图像的边缘化和锐点中存在描述图像的极值特征和高频噪声，突出有效特征或者其分量，信噪比(SNR)公式如下：
其中，f(x)为高斯滤波器，σ为高斯滤波器的方差，其作用域为(-ω,+ω)，G(-x)为返回的滤波结果；
(2.2)对得到的稳定的特征点进行定位，定位最佳点为靠近特征分布：
其中，f′(x)与G′(-x)代表滤波器的片微分，Location是最终定位的衡量指标；
(2.3)特征检测算子在零交叉点处的期望距离d(f′)应满足f″(x)，其计算式为：
(2.4)经典滤波函数表达式：
fs(x,y)＝f(x,y)*G(x,y)
其中，f(x,y)为图像输入，G(x,y)为高斯滤波函数，fs(x,y)为经过滤波处理后的结果，具体的实现过程是通过3×3窗口卷积模板对图像进行x和y方向平移移动来完成，通过建立(0,0)周围(x,y)的分布，这里设定σ2＝0.64，将坐标点值和高斯函数矩阵进行运算，计算得到标准权重矩阵；
(2.5)利用步骤(2.4)获得的标准权重矩阵对图像的每一个像素的邻域内进行卷积运算，每进行完一个点的卷积运算就进行沿x和y方向进行一次一定步长的移动；
(2.6)极值的引入分析，将图像转化为低维灰度图，然后采用3×3滤波块对x和y方向求偏导数，其中梯度幅值满足：
梯度方向满足：
(2.7)局部非极大值抑制过程，将处理方向选取为(0°,-45°,90°,45°)四个方向，任意一点周围都在上述方向的梯度和幅值进行“非极值过滤”,即如果该防线值为小值则去除。
4.根据权利要求3所述的一种基于梯度幅值预运算的改进SURF算法，其特征在于：
所述的具有平滑的梯度幅值计算方法为Prewitt算子，实现的过程是：
(3.1)通过膨胀-腐蚀的形态学方法抑制噪声，通过水平方向和垂直方向的两个卷积模板与图像进行卷积求得相应的水平和垂直特征：
其中，Gx为垂直方向的计算公式，Gy为水平方向的计算公式；
(3.2)梯度幅值计算可以由Gx和Gy之和求得：
PM＝|Gx|+|Gy|
经过G-A计算可得图像的梯度幅值和梯度方向。
CN201910384347.3A 2019-05-09 2019-05-09 一种基于梯度幅值预运算的改进surf算法 Active CN110135438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910384347.3A CN110135438B (zh) 2019-05-09 2019-05-09 一种基于梯度幅值预运算的改进surf算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910384347.3A CN110135438B (zh) 2019-05-09 2019-05-09 一种基于梯度幅值预运算的改进surf算法

Publications (2)

Publication Number Publication Date
CN110135438A true CN110135438A (zh) 2019-08-16
CN110135438B CN110135438B (zh) 2022-09-27

Family

ID=67576996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910384347.3A Active CN110135438B (zh) 2019-05-09 2019-05-09 一种基于梯度幅值预运算的改进surf算法

Country Status (1)

Country Link
CN (1) CN110135438B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533711A (zh) * 2019-09-04 2019-12-03 云南电网有限责任公司带电作业分公司 一种基于加速稳健特征的高效大尺度立体匹配算法
CN110907132A (zh) * 2019-12-13 2020-03-24 中国人民解放军军事科学院国防科技创新研究院 一种波向探测方法、系统、设备、介质
CN112967319A (zh) * 2021-03-31 2021-06-15 交通运输部天津水运工程科学研究所 一种基于特征点识别的块体运动实时检测方法
CN113095286A (zh) * 2021-04-30 2021-07-09 汪知礼 一种大数据图像处理算法及系统
CN113538205A (zh) * 2021-07-19 2021-10-22 吉林大学 基于surf算法的特征点检测方法和装置
CN114820613A (zh) * 2022-06-29 2022-07-29 深圳市瑞亿科技电子有限公司 一种smt贴片加工用来料测量及定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1850270A1 (en) * 2006-04-28 2007-10-31 Toyota Motor Europe NV Robust interest point detector and descriptor
CN102865859A (zh) * 2012-09-21 2013-01-09 西北工业大学 一种基于surf特征的航空序列图像位置估计方法
CN109727239A (zh) * 2018-12-27 2019-05-07 北京航天福道高技术股份有限公司 基于surf特征对巡检图与基准图的配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1850270A1 (en) * 2006-04-28 2007-10-31 Toyota Motor Europe NV Robust interest point detector and descriptor
CN102865859A (zh) * 2012-09-21 2013-01-09 西北工业大学 一种基于surf特征的航空序列图像位置估计方法
CN109727239A (zh) * 2018-12-27 2019-05-07 北京航天福道高技术股份有限公司 基于surf特征对巡检图与基准图的配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张二磊等: "一种改进的SURF彩色遥感图像配准算法", 《液晶与显示》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533711A (zh) * 2019-09-04 2019-12-03 云南电网有限责任公司带电作业分公司 一种基于加速稳健特征的高效大尺度立体匹配算法
CN110907132A (zh) * 2019-12-13 2020-03-24 中国人民解放军军事科学院国防科技创新研究院 一种波向探测方法、系统、设备、介质
CN112967319A (zh) * 2021-03-31 2021-06-15 交通运输部天津水运工程科学研究所 一种基于特征点识别的块体运动实时检测方法
CN113095286A (zh) * 2021-04-30 2021-07-09 汪知礼 一种大数据图像处理算法及系统
CN113538205A (zh) * 2021-07-19 2021-10-22 吉林大学 基于surf算法的特征点检测方法和装置
CN113538205B (zh) * 2021-07-19 2023-02-14 吉林大学 基于surf算法的特征点检测方法和装置
CN114820613A (zh) * 2022-06-29 2022-07-29 深圳市瑞亿科技电子有限公司 一种smt贴片加工用来料测量及定位方法

Also Published As

Publication number Publication date
CN110135438B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110135438A (zh) 一种基于梯度幅值预运算的改进surf算法
Zhang et al. Noise adaptation generative adversarial network for medical image analysis
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN110837768B (zh) 一种面向珍稀动物保护的在线检测与识别方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN110147721A (zh) 一种三维人脸识别方法、模型训练方法和装置
CN108830818A (zh) 一种快速多聚焦图像融合方法
CN106447640B (zh) 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置
CN107506795A (zh) 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法
Wang et al. Polarization image fusion algorithm using NSCT and CNN
CN110766657B (zh) 一种激光干扰图像质量评价方法
CN111383759A (zh) 一种肺炎自动诊断系统
CN109255293B (zh) 基于计算机视觉的模特走秀台步评价方法
CN108038467B (zh) 一种镜像图与粗细层次结合的稀疏人脸识别方法
Qiao Application of Gabor image recognition technology in intelligent clothing design
CN113052866A (zh) 基于局部二值拟合模型的超声图像舌轮廓提取方法
CN109377498A (zh) 基于循环神经网络的交互式抠图方法
CN113221660A (zh) 一种基于特征融合的跨年龄人脸识别方法
CN108257148A (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
Jertec et al. On using pointnet architecture for human body segmentation
Li et al. Siamese visual tracking with deep features and robust feature fusion
Ouyang et al. Research on DENOISINg of cryo-em images based on deep learning
Lv et al. Multi-style unsupervised image synthesis using generative adversarial nets
Wu et al. A color edge extraction method on color image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant