CN111784634B - 一种基于Harris-CPDA的角点检测方法 - Google Patents

Abstract

本发明涉及一种基于Harris‑CPDA的角点检测方法，该算法通过结合角点灰度特征分析与类曲度检测特征点的优势，提高了相应特征点的检测定位精度与检测成功率，同时兼顾了检测时间效率。同时，与各自原算法相比，Harris‑CPDA算法在相同时间内，可提供更为精准的特征点，在实际应用场景中对特征点检测的精度提升具有较大的作用，并实现传统检测与深度学习的图像检测的新融合。

Description

一种基于Harris-CPDA的角点检测方法

技术领域

本发明属于工业化自动检测领域，涉及特征角点检测计算方法，特别涉及一种基于Harris-CPDA的角点检测方法。

背景技术

在工业自动化检测中，特征点检测被广泛应用于目标检测、目标定位、图像配准、图像拼接中，该技术减少人为手动调整，同时能准确反应被检测物体图像的重要的特征信息。目前针对提取角点的方式不同可以分为两大类。

1、基于图像灰度变化检测角点。Harris算法是由Harris和Stephens提出，针对更早期的Moravec算法的优秀改进型，而针对Harris需人为多次调整阈值的弊端，又提出非极大抑制方式处理。针对Harris算法采用非极大抑制时采用双阈值的方式对不同阈值下的角点进行比对；周龙萍提出通过二次非极大值抑制，在第一次取极大值点之后，在其基础上再次选取，相当于选取第二大灰度变化值保留稍大局部里的相应度最大的点；而张见双提出将原图像分割成无重叠子区域，针对每个单独子区域设定单独阈值，根据子图对比度大小从而自适应阈值。

2、基于类曲率角点检测方式。最初由Ronsenfeld和Johnston提出支持域的余弦相似度估计曲率，并在之后提出RJ73算法，用平均K—consine代替原有算法，并且提出曲线上的某一点不能被赋予正确的支撑域大小；此时Mokhtarian和Suomela提出基于曲率尺度空间(Curvature Scale Space，简称CSS)的角点检测计算方法，该算法是在局部上进行检测角点，再从上至下的高尺度逐渐向低尺度追踪角点的位置，在不同尺度下进行搜索；为了弥补尺度因子与阈值选取问题，Awrangjeb和Lu提出点到弦距离累加和技术(Chord-to-PointDistanceAccumulation，简称CPDA)。

Zhang等人于2014年ECCV上提出在基于图像细粒度上的分类识别实验，将整体图像根据细粒度分类算法，在不同区域进行微小的特征分析。

基于这一思想，本专利申请提出结合改进的Harris-CPDA算法生成关键点区域，从而进行图像角点检测。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Harris-CPDA的角点检测方法，该算法通过结合角点灰度特征分析与类曲度检测特征点的优势，提高了相应特征点的检测定位精度与检测成功率，同时兼顾了检测时间效率。同时，与各自原算法相比，Harris-CPDA算法在相同时间内，可提供更为精准的特征点，在实际应用场景中对特征点检测的精度提升具有较大的作用，并实现传统检测与深度学习的图像检测的新融合。

本发明解决其技术问题是通过以下技术方案实现的：

一种基于Harris-CPDA的角点检测方法，其特征在于：所述方法的步骤为：

S1、通过角点响应函数计算每个像素的响应值，获得初次筛选下的局部最大值点，记录相应坐标及编号；

S2、针对所有局部最大值点根据从大到小的顺序进行排序，相同的值依据初次筛选下记录的编号进行排序；

S3、根据最小抑制半径r逐渐缩小半径，对已有排序后的局部最大值点进行二次筛选，得到非最大抑制下的二次筛选候选角点；

S4、使用Canny边缘检测算子得到图像边缘，填充曲线边缘缝隙，检测出T型角点，加入第二次筛选的候选点中；

S5、将二次筛选候选角点与T型角点通过曲度乘积公式计算曲率及自适应曲度阈值进行比较并去除圆角点，得到三次筛选候选角点；

S6、将三次筛选候选角点通过动态区域比对进行角度阈值比较，并删除错误角点，同时对欧式距离小于25像素的近邻T型角点进行删除，得到最终的粗定位特征区域；

S7、将上述粗定位特征区域作为网络的输入端，在当前像素区域进行局部的特征学习，经过多粒度的网络得到融合特征。

本发明的优点和有益效果为：

1、本发明基于Harris-CPDA的角点检测方法，通过结合角点灰度特征分析与类曲度检测特征点的优势，提高了相应特征点的检测定位精度与检测成功率，同时兼顾了检测时间效率。

2、本发明基于Harris-CPDA的角点检测方法，与各自原算法相比在相同时间内，可提供更为精准的特征点，在实际应用场景中对特征点检测的精度提升具有较大的作用，并实现传统检测与深度学习的图像检测的新融合。

3、本发明基于Harris-CPDA的角点检测方法，在保证较多的正确角点检测的前提下，能够减少单一位置重复的特征描述，相比于Harris算法与CPDA算法在检测精度方面有了较大的提升；而通过传统方法针对图像进行粗定位，与图像细粒度的结合，使图像在多尺度与监督学习方向上的微小特征的定位有进一步的提升，这种融合提升特征的表达能力。

附图说明

图1为动态角点区域示意图；

图2为同粒度下的粗定位；

图3为算法测试实验用图；

图4为整体检测效果展示图；

图5为局部检测效果展示图；

图6为本发明与Part-basedR-CNNs的效果对比图。

具体实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于Harris-CPDA的角点检测方法，其特征在于：所述方法的步骤为：

S1、通过角点响应函数计算每个像素的响应值，获得初次筛选下的局部最大值点，记录相应坐标及编号；

角点相应函数计算公式为：

R＝Det(M)-KTrace²(M) (1)

其中：Det(M)为矩阵M的行列式；

M为2*2的矩阵，可由图像的导数求得：

窗口函数为：

K通常取经验值0.04～0.06；

Trace(M)为矩阵M的迹，通过角点相应函数值与选取的阈值T进行比对得到角点，即为：

S2、针对所有局部最大值点根据从大到小的顺序进行排序，相同的值依据初次筛选下记录的编号进行排序；

为保证准确性该抑制最大值的c＝0.9倍大于抑制半径内的所有值时被添加进待选角点中，当得到足够数量角点时停止。

当一个局部最大值R(x,y)i为角点时，应满足：

最小抑制半径为：

S3、根据最小抑制半径r逐渐缩小半径，对已有排序后的局部最大值点进行二次筛选，得到非最大抑制下的二次筛选候选角点；

S4、使用Canny边缘检测算子得到图像边缘，填充曲线边缘缝隙，检测出T型角点，加入第二次筛选的候选点中；

S5、将二次筛选候选角点与T型角点通过曲度乘积公式计算曲率及自适应曲度阈值进行比较并去除圆角点，得到三次筛选候选角点；

曲度乘积公式为：

自适应曲度阈值公式为：

如果局部最大曲率值的绝对值小于公式的阈值，则被舍弃；其中C表示系数，

当C设置为1时，说明没有角点被舍弃，为一个标准三角形角点；

当C设置为2时，得到的是呈凸型的角点，为一个大曲度的圆角点；

当C设置为1到2之间时，表示获取为圆角点，介于平滑与标准三角形角点之间；

其中K用来表示局部曲率的平均值，L1与L2为局部大小。

S6、将三次筛选候选角点通过动态区域比对进行角度阈值比较，并删除错误角点，同时对欧式距离小于25像素的近邻T型角点进行删除，得到最终的粗定位特征区域；

自适应曲度阈值公式可知，L1到L2区域为动态角点区域(region ofsupport)，其定义为从一图像中的邻域局部曲率极小值到下一个从候选点到两端严格减少的曲率。动态角点区域针对局部细节检测精度有较大的提升，在鲁棒性上有较大的提升空间。非动态的弦长，针对不同跨度时可能会对最后角点结果造成漏检与重复的效果，见图1。

其中曲线上存在5个不同曲率的标记点，在不同曲率下检出的效果不相同。当ROS设定过小时，每个标记点都会被认作角点；而当动态角点区域设定过大时，所有标记可能会被遗漏。需要动态设定检索区域范围的值，当检测标记点2的时候，应当选取标记点1到标记点3之间的区域，检测标记点3的时候应当选取标记点2到标记点4之间的区域，而不选取标记点1到标记点5之间的区域，从而造成漏检。通过这种动态角点区域选定，可以有效的找到角点位置。

经分析当∠C_i在160度与200度之间会从候选点中排除。

S7、将上述粗定位特征区域作为网络的输入端，在当前像素区域进行局部的特征学习，经过多粒度的网络得到融合特征。

实验结果及性能评价

算法实验采用Windows XP系统，处理器为Intel(R)Core(TM)i5，2.60GHz，可用内存为3.26GB。

本专利基于Harris-CPDA的角点检测方法与典型Harris算法、非极大抑制下的Harris算法、CPDA算法进行实验结果与性能评价。典型的Harris算法与CPDA算法在不同的阈值区间下检测效果各不相同，所以通过设置三种不同的阈值区间[0，20]、[20，50]、[50，80]与本专利申请进行实验比对。检测工件选择单个工件，对单个工件不同种类与多种类工件混合进行对照实验。

1、检测性能评估

角点检测的评估，使用角点数一致性(consistence ofcorner numbers，CCN)指标，

其中：CCN数值越大，表明角点检测效果越好。基于该公式提出三种不同点的检测效果，正确检测、误检测、漏检测。其中N_t为变换后检测角点数目，N_c为原始图像检测角点数目。而人为选取特征点并不具有客观性，所以在CCN基础上提出平均重复率(averagerepeatability)与定位误差(localization error)：

其中N_m为图形变换前后都存在的特征点，(x_oi,y_oi)和(x_ti,y_ti)为变换图像与原图像相应角点的坐标位置，相差三个像素以内为匹配的特征点。

2、多阈值实验分析

如图3所示，选取单一不同种与多种模型混合情况进行实验。

依据公式10～12提出，在准确角点范围内，合格率是指在检出角点中有效角点所占实际角点的比例，漏检率是指未检测出来角点的比例，误检率是指多余的干扰点与重复点的比例。

通过实验分析，由其不同阈值下的数据如表1所示。可以直观发现，Harris算法在阈值为[0.2，0.5]区间内效果最佳，中间阈值强度在合格率方面介于其他两种阈值中间，漏检率与误检率也处在中间，相对其他两种阈值强度较为均衡。所以确定Harris算法在该区间与本专利算法进行比对。同样CPDA算法在canny算法边缘检测中选取阈值范围在[0.2，0.5]这个范围取得较好的结果，其数据如表2所示。

表1 Harris算法多阈值分析表(百分比)

表2 CPDA算法多阈值分析表(百分比)

3、传统算法对比结果

通过图4可知，(a)、(e)、(h)可以看出，Harris算法检测出来点的数量很多，但相应存在很多误检与漏检的特征点；而图4(b)(f)(i)CPDA算法在曲率确定上带有模糊性，大曲率与小曲率是否划定为特征点为漏检的主要原因；本文算法完善了Harris与CPDA算法的缺陷，在特征点检测上有良好效果。

从局部图5来看，图5(b)(c)相应的Harris算法检测伪角点仍旧过多，其基于灰度在灰度变化区域敏感，容易认定为角点；图5(d)(e)基于曲率的CPDA算法在工件内部的特征点检测并不敏锐；图5(f)本为提出的算法检测特征点准确，同时在工件内部检测表现良好。

Harris算法在检测方面，倾向于大而全，在角点检测数量上较多，非常全面，细节上也会采用较多角点去表示，因为数量较多所以存在较少的漏检角点，但同时带来的是一个特征用多个重复角点表述；典型的CPDA算法针对边界检测效果相对于Harris算法较好，但其多受限于边界的阈值效果，对于工件的内部细节特征找的不够详细，同时也受限于检测步长，跨度大小不能适应性调整也是局限了多尺度下的角点检测，在圆角点的区分还是相对模糊。

通过表3与表4分析可以看出本文算法在保证检测角点正确数量的同时，针对Harris系算法在CCN计算下合格率上有7％的提升，漏检率提升30％，误检率方面也有50％以上的提升，在CCN计算上的准确率上更有40％的提高，定位误差减少了0.3个像素；针对CPDA算法来看有小幅提升，着重在特征点的漏检率方面有了40％以上的提升，误检率上30％的提升并降低了特点的定位误差。

通过表5可以看出比Harris系算法时间提升0.8s，比CPDA算法花费时间小幅降低。在改善相应的缺陷同时，在时效上比Harris系算法与CPDA算法有了较大的提升。

表3角点CCN检测数据对比表

表4角点检测重复率与定位误差数据对比表

表5算法运行时间(以图4为例)

4、多粒度下的实验对比结果

为方便观察，选取图3(a)中的轴类零件及相应自标定数据集，经过校正之后原图像通过本文提出的改进Harris-CPDA算法生成一个特征点的粗定位，针对不同的关注度得到不同细粒度下的特征信息，相比于强监督学习，减少人为标注同时提高准确度。

由图2可以看出，在整体中包含不同粒度下包含了不同层次的图像信息，在不同的定位下提取不同粒度的特征信息最终合并生成多粒度特征。

通过细粒度图像分类思想可以看出无论是在人工标注图像关键区域的强监督学习下，还是通过注意力机制的弱监督学习下，都是通过定位分类进行细小特征差分化分析。本专利提出的算法实现粗定位实现感兴趣区域的描述，针对该区域形成8*8的图像邻域，在全局中通过区域中的局部特征进行特征点定位分析，这有利于多尺度图像及细微差距特征的图像分类与识别。

本文选取与Part-based R-CNNs进行对比性实验，针对这种强监督学习可以分为两部分定位与识别，其在大规模数据集中有良好的表现，而在工业上数据集较少，两者选取自标定数据集进行测试。

从图6(a)(c)可以看出Part-based R-CNNs算法存在框选错误，光线及角度的改变对其判定产生一定的干扰，致使误差；相比于本文提出的算法，图6(b)(d)与深度学习有很好的结合性，对于不同场景下的检测，有较强的鲁棒性。

定位上来说Part-based R-CNNs的Selective Search会在一张图片生成较多的候选区域，会产生大量的无关区域，增加了运行时间，同时定位的准确程度是建立在多候选区域之上，与本专利提出算法相比并不理想，通过表6与表7可以看出，相比于有Boundingbox的基础上，定位的准确性上提升了16％左右。针对于分类在准确性上也有近5％的提升。为了展示分类效果选取环类工件，展示定位效果以轴类零件展示，如图6，针对环型工件区分内外环分类定位，对于轴类工件以特征区域及整体进行分类定位。

表6与Part-based R-CNNs定位数据对比表

表7与Part-based R-CNNs分类数据对比表

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (1)

1.一种基于Harris-CPDA的角点检测方法，其特征在于：所述方法的步骤为：

S1、通过角点响应函数计算每个像素的响应值，获得初次筛选下的局部最大值点，记录相应坐标及编号；

S2、针对所有局部最大值点根据从大到小的顺序进行排序，相同的值依据初次筛选下记录的编号进行排序；

S3、根据最小抑制半径r逐渐缩小半径，对已有排序后的局部最大值点进行二次筛选，得到非最大抑制下的二次筛选候选角点；

S4、使用Canny边缘检测算子得到图像边缘，填充曲线边缘缝隙，检测出T型角点，加入第二次筛选的候选点中；

S5、将二次筛选候选角点与T型角点通过曲度乘积公式计算曲率及自适应曲度阈值进行比较并去除圆角点，得到三次筛选候选角点；

S6、将三次筛选候选角点通过动态区域比对进行角度阈值比较，并删除错误角点，同时对欧式距离小于25像素的近邻T型角点进行删除，得到最终的粗定位特征区域；

S7、将上述粗定位特征区域作为网络的输入端，在当前像素区域进行局部的特征学习，经过多粒度的网络得到融合特征。