CN107507208A

CN107507208A - 一种基于轮廓上曲率估计的图像特征点提取方法

Info

Publication number: CN107507208A
Application number: CN201710566275.5A
Authority: CN
Inventors: 史再峰; 王晶波; 庞科; 曹清洁; 张洪汝; 许泽昊
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-07-12
Filing date: 2017-07-12
Publication date: 2017-12-22
Anticipated expiration: 2037-07-12
Also published as: CN107507208B

Abstract

本发明公开了一种基于轮廓上曲率估计的图像特征点提取方法，包括第一阶段的图像中曲线的提取和曲线形状的标记、第二阶段的曲率估计和T型特征点标记，第一阶段更包括边缘检测、曲线提取、曲线状态、曲线滤波；第二阶段更包括T型特征点检测、曲线边界处理、曲线内部点曲率估计和曲线端点曲率估计；第二阶段更包括非极大值抑制、T型点和端点优化和获得最终的特征点集。以及第三阶段的特征点的检测。与现有技术相比，因为曲线的弯曲度能够直接反映在邻域内的角度上，因而本方法具有很好的定位准确性，而且本发明不需要采用多个不同邻域尺度进行进一步的处理，计算上更加简单，处理速度更快。

Description

一种基于轮廓上曲率估计的图像特征点提取方法

技术领域

本发明涉及图像处理和视频处理领域，属于特征提取范畴，尤其涉及通过估计图像轮廓上的曲率进行特征点检测的方法。

背景技术

图像特征是指图像中包含的具有可重复性和区别性的有意义的信息，而且能够对亮度、色彩变化、几何变换、噪声等因素有较好的稳定性。作为一种重要的图像底层特征，特征点通常是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。特征点检测算法广泛被用于计算器视觉、模式识别和全景拼接的特征提取步骤中，通常分为三种：1、基于灰度的检测方法，2、基于轮廓的检测方法，3、基于机器学习的检测方法。其中，以Harris算法为基础的基于灰度的特征点检测方法，需要对整幅图像进行梯度卷积操作，然后计算每个邻域内梯度的自相关矩阵，最后选择在水平和垂直两个方向上均具有较大特征值的像素为特征点，然而这类算法对几何变换的鲁棒性一般；基于轮廓的检测方法通常是检测图像边缘上曲率极值，因此具有较好的仿射不变性。

近年来，研究者们提出了很多基于轮廓的特征点检测方法，如CSS(curvaturescale space)，ARCSS(Affine resilient curvature scale space)和CPDA(chord topoint distance accumulation)等算法，其中CPDA是目前性能最好的基于轮廓的特征点检测算法之一。CPDA算法主要分为三步：第1步、边缘提取和链码表示；第2步、采用点到弦的距离累加估计曲率；第3步、提取曲率极值点作为特征点。其中第2步是最关键的一步，曲率估计算法的好坏很大程度上决定了第3步提取特征点的准确性，CPDA估计曲率的具体过程如图1所示，当前像素P5在曲线上长度为L＝5的邻域内，则有四个这样的邻域，连接每个邻域的两个端点作弦，得到C1、C2、C3和C4，由P5向每条弦作垂线，计算的得到d1、d2、d3、d4并进行累加，最终得到单个邻域长度的曲率估计值h，图中L＝5只是示例，邻域的长度L取决于实际经验，CPDA算法为了得到更加稳定的曲率估计，实际上采用了L1＝10，L2＝20，L3＝30的三个邻域长度，将每个邻域长度下的h1、h2、h3归一化，然后相乘得到最终的曲率估计值。这种方法不需要直接计算曲率，通过简单的运算就可以估计曲率的变化，而且采用累加的方式能有效的改善噪声和纹理的影响，最后相乘的方式进一步放大曲率极值。但是CPDA曲率估计方法有一些缺陷：1、CPDA的曲率估计值不能很好的反映实际的曲率与曲线陡峭度之间的关系，对于相同的弯曲度的曲线，当L3＝30的时候，点到弦的距离h3远大于L1＝10的h1，虽然进行了归一化操作，但是仍然无法得到较为稳定的值。2、采用相乘的方式同样会放大一些噪声处的曲率估计值，使得一些实际的特征点被噪声掩盖。

发明内容

为了克服现有技术的不足，本发明提出了一种新型的特征点检测方法，法采用了邻域内平均角度余弦来度量曲率的变化，

一种基于轮廓上曲率估计的图像特征点提取方法，包括第一阶段的图像中曲线的提取和曲线形状的标记、第二阶段的曲率估计和T型特征点标记以及第三阶段的特征点的检测，该方法包括以下步骤：

第一阶段的图像中曲线的提取和曲线形状的标记，具体包括以下步骤：

步骤201、进行图像边缘检测，具体操作包括：Canny检测算法采用了滞后阈值策略提取出图像中单像素宽度的边缘；从候选边缘点中检测和连接出最终的边缘；双阈值法首先选取高阈值T2和低阈值T1，然后开始扫描图像，对候选边缘图像中标记为候选边缘点的任一像素点进行检测，若像素点梯度幅值高于高阈值T2，则认为该点一定是边缘点；若像素点梯度幅值低于低阈值T1l，则认为该点一定不是边缘点；而对于梯度幅值处于两个阈值之间的像素点,则将其看作疑似边缘点，再进一步依据边缘的连通性对其进行判断，若该像素点的邻接像素中有边缘点，则认为该点也为边缘点，否则，认为该点为非边缘点；设定阈值T2＝0.5，T1＝0.1；

步骤202、进行曲线提取，采用Freeman链码从边缘开始，对每个像素的八个邻域内搜索，提取出连续的曲线，如果曲线的长度小于参数w，则舍弃，仅保留那些长度大于w的曲线；w与图像大小的关系如公式(1)所示

其中，X和Y分别表示图像的长和宽；

步骤203、标记曲线状态，判断曲线状态的依据是阈值D1，如果每条曲线的端点之间的距离小于参数D1，则标记该曲线为“Loop”型，反之则为“Line”型，设定

步骤204、进行曲线滤波，对每条曲线进行高斯滤波操作，即用一个模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，本流程中滤波尺度因子大小为σ，以免曲线被过度平滑，设定σ＝2.0；

第二阶段的曲率估计和T型特征点标记，具体包括以下步骤：

步骤205、T型特征点检测，判断每条曲线上每个点与另一条曲线的端点之间的欧氏距离，如果小于阈值D1，则认为曲线上该点为一个T型特征点，将其标记并记录所在位置坐标；

步骤206、曲线边界处理，对每条曲线两端进行边界扩展，扩展边界大小与估计曲率时采用的邻域大小L的具体值相等；

步骤207、曲线内部点曲率估计，具体计算步骤为：P₁到P_n表示该曲线上n个像素，对于当前要计算的像素P_k，当邻域大小为L的时候，第一个邻域为曲线上从像素P_k-L+1到P_K+1的部分，第二个邻域为从像素P_k-L+2到P_K+2的部分，依此类推第i个邻域从像素P_k-L+i到P_K+i的部分，计算每个邻域内的角度余弦，如公式(2)所示：

其中，1≤k≤n 1≤i≤L-1，r_k,i表示第i个邻域内的夹角，即像素P_k与像素P_k-L+i到P_K+i形成的夹角；(x_k,y_k)、(x_k-L+i,y_k-L+i)和(x_k+i,y_k+i)分别表示当前像素处的坐标、邻域左端点的坐标和右端点的坐标；然后将所有邻域内计算得到的余弦值进行累加并求这些余弦的平均值，如公式(3)所示：

其中，C(k)表示曲率的估计值；

步骤208、曲线端点曲率估计，对于每条曲线上的两端L个像素，由于边界扩展的影响，采用累加方式会使估计的曲率值不准确，因此只采用公式(2)取当前点为中心点的那个邻域进行曲率估计；

第三阶段、特征点的检测，具体包括以下步骤：

步骤209、进行非极大值抑制：采用非极大值抑制操作检测特征点，即如果某个像素处的估计曲率值C(k)大于阈值T3，则认为是一个候选特征点；

步骤210、进行T型点和端点优化：对步骤205中标记的T型特征点和每个曲线上的端点进一步处理，计算与步骤209得到的每个候选特征点之间的欧式距离，如果大于阈值D2，则认为该T型点或端点是一个特征点；采用的，即如果当前T型点或端点10个像素范围内没有候选特征点，则认为该T型点或端点为一个特征点；

步骤211、获得最终的特征点集：最终的特征点集合由步骤209得到的候选特征点和步骤210得到的特征点组成。

与现有技术相比，因为曲线的弯曲度能够直接反映在邻域内的角度上，因而本方法具有很好的定位准确性，而且本发明不需要采用多个不同邻域尺度进行进一步的处理，计算上更加简单，处理速度更快。

附图说明

图1为利用CPDA算法估计曲率过程中当前点在不同邻域表示的示意图；

图2为本发明提出的一种基于轮廓上曲率估计的图像特征点提取方法流程图；

图3为本发明特征点检测过程中采用的曲率估计方法的放大效果示意图；

图4为曲线状态标记时端点间距离阈值的示意图。

具体实施方式

下面将结合附图对本发明的实施方式作进一步的详细描述。

提出了一种基于轮廓邻域内平均余弦估计曲率，然后进行特征点提取的方法，如图2所示，

如图2所示，本发明的一种基于轮廓上曲率估计的图像特征点提取方法整体流程，该流程主要包括三个阶段，即图像中曲线的提取和曲线形状的标记、曲率估计和T型特征点标记以及特征点检测。

第一阶段：图像中曲线的提取和曲线形状的标记，具体包括以下步骤：

步骤201、进行图像边缘检测：采用Canny算法提取图像中的边缘，有两个阈值T1和T2，T2为高阈值，T1为低阈值，算法的具体操作包括：Canny检测算法采用了滞后阈值策略提取出图像中单像素宽度的边缘；从候选边缘点中检测和连接出最终的边缘；双阈值法首先选取高阈值T2和低阈值T1，然后开始扫描图像，对候选边缘图像中标记为候选边缘点的任一像素点进行检测，若像素点梯度幅值高于高阈值T2，则认为该点一定是边缘点；若像素点梯度幅值低于低阈值T1，则认为该点一定不是边缘点；而对于梯度幅值处于两个阈值之间的像素点,则将其看作疑似边缘点，再进一步依据边缘的连通性对其进行判断，若该像素点的邻接像素中有边缘点，则认为该点也为边缘点，否则，认为该点为非边缘点；本发明中采用T1＝0.5，T2＝0.1，这样的边缘检测过程具有很好的边界保持效果；

步骤202、进行曲线提取：采用Freeman链码从边缘开始，对每个像素的八个邻域内搜索，提取出连续的曲线，如果曲线的长度小于参数w，则舍弃，仅保留那些长度大于w的曲线；w与图像大小的关系如公式(1)所示

其中，X和Y分别表示图像的长和宽；

步骤203、标记曲线状态：判断曲线状态的依据是阈值D1，如果每条曲线的端点之间的距离小于参数D1，则标记该曲线为“Loop”型，反之则为“Line”型。D1越小状态判断越准确，但太小反而会使得部分端点上的特征点丢失；如图4所示，在本发明中认为曲线的两个端点在3*3邻域以内，则曲线为闭合的，状态标记为“Loop”；反之则曲线为非闭合的，状态标记为“Line”。因此，

步骤204、进行曲线滤波：对每条曲线进行高斯滤波操作，即用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，本流程中滤波尺度因子大小为σ。阈值σ对曲线的形状有较大影响，σ越大高斯滤波器的平滑作用就越明显，使得曲线变的越平坦，σ越小，噪声越不易被滤除，因此选用一个合适的σ非常重要，本发明提出的估计曲率的方法对噪声稳定，因此采用较小的σ以免曲线被过度平滑，本发明采用σ＝2.0；

第二阶段：曲率估计和T型特征点标记，具体包括以下步骤：

步骤205、T型特征点检测：判断T型特征点的时候采用与203一致的阈值D1，因为T型特征点由两条曲线相交形成，无法直接通过每条曲线上曲率计算检测到，所以需要预先提取出来，判断每条曲线上每个点与另一条曲线的端点之间的欧氏距离，如果小于阈值D1，则认为曲线上该点为一个T型特征点，将其标记并记录所在位置坐标；

步骤206、曲线边界处理：对每条曲线两端进行边界扩展，扩展边界大小与估计曲率时采用的邻域大小L的具体值相等；

步骤207、曲线内部点曲率估计：采用如图3所示的方法，根据平均余弦估计每个像素点处的曲率，图中每个黑色方块表示一个像素，曲率估计的具体计算步骤为：P₁到P_n表示该曲线上n个像素，对于当前要计算的像素P_k，当邻域大小为L的时候，第一个邻域为曲线上从像素P_k-L+1到P_K+1的部分，第二个邻域为从像素P_k-L+2到P_K+2的部分，依此类推第i个邻域从像素P_k-L+i到P_K+i的部分，计算每个邻域内的角度余弦，如公式(2)所示：

其中，1≤k≤n 1≤i≤L-1，r_k,i表示第i个邻域内的夹角，即像素P_k与像素P_k-L+i到P_K+i形成的夹角。(x_k,y_k),(x_k-L+i,y_k-L+i),(x_k+i,y_k+i)分别表示当前像素处的坐标，邻域左端点的坐标和右端点的坐标。然后将所有邻域内计算得到的余弦值进行累加并求这些余弦的平均值，如公式(3)所示：

其中，C(k)表示曲率的估计值。

步骤208、对于每条曲线上的两端L个像素，由于边界扩展的影响，采用累加方式会使估计的曲率值不准确，因此只采用公式(1)取当前点为中心点的那个邻域进行曲率估计；

第三阶段、特征点的检测，具体包括以下步骤：

步骤210、进行T型点和端点优化：对步骤205中标记的T型特征点和每个曲线上的端点进一步处理，计算与步骤209得到的每个候选特征点之间的欧式距离，如果大于阈值D2，则认为该T型点或端点是一个特征点；采用的即如果当前T型点或端点10个像素范围内没有候选特征点，则认为该T型点或端点为一个特征点；

上述的步骤207中曲率估计时采用的最优邻域长度L和步骤209中判断特征点采用的阈值T3需要通过具体实验判定最优值，一个特征点检测算法的好坏，需要根据具体的应用来判断，因此对原图像和受到仿射变换以及噪声污染的图像分别进行特征点提取，然后采用图像配准的方法，找到两幅图中匹配的特征点对，计算两幅图像间的定位误差和平均重复率，如公式(4)和(5)所示：

其中，AR表示平均重复率，N_o表示原始图像中检测出的特征点总数，N_t表示受到仿射变换或者噪声污染的图像中检测出的特征点总数，N_r表示两幅图像匹配到的特征点对数；

LE表示定位误差，(x_oi,y_oi)和(x_ti,y_ti)分别表示匹配的每对特征点的在原图像和变换图像中的坐标。AR越大表示该算法重复性越好，LE越小表示该算法定位越准确。

采用统计平均的方式更能体现出结果的稳定性，因此采用20幅图像组成的测试数据集。因为L太大会检测不到曲线上某些特征点，所以实验中L应该取值[6,30]，间隔为1。根据公式(3)中T3的范围为[-1,1]，因为角度越大余弦越小，设定曲线上小于150度的像素为特征点，所以实验中可以采用T3的范围为-0.96到-0.7，以0.01为间隔。对于每个T3和L的取值，计算20幅测试图的AR和LE然后求得平均值，最后找出使AR最大、LE最小的那一组T3和L。

本发明具有的优点分析如下：

第一，本发明主要贡献是在分析已有的基于轮廓的特征点提取方法的不足的基础上，提出了一种定位更准确、速度更快的特征点提取方法，该方法能广泛用于机器视觉、3维重建和全景拼接等领域中。

第二，相比CPDA等传统的基于轮廓的特征点检测方法，本发明采用更稳定的方法估计曲线上的曲率，该方法能够有效的描述曲率与角度、弦长之间的关系。

第三，本发明简化了特征点提取的步骤，在非极大值抑制之后不需要多余的优化操作，提取出来的特征点一致性好，对几何变换和噪声稳定。

Claims

1.一种基于轮廓上曲率估计的图像特征点提取方法，包括第一阶段的图像中曲线的提取和曲线形状的标记、第二阶段的曲率估计和T型特征点标记以及第三阶段的特征点的检测，其特征在于，该方法包括以下步骤：

步骤(201)、进行图像边缘检测，具体操作包括：Canny检测算法采用了滞后阈值策略提取出图像中单像素宽度的边缘；从候选边缘点中检测和连接出最终的边缘；双阈值法首先选取高阈值T2和低阈值T1，然后开始扫描图像，对候选边缘图像中标记为候选边缘点的任一像素点进行检测，若像素点梯度幅值高于高阈值T2，则认为该点一定是边缘点；若像素点梯度幅值低于低阈值T1，则认为该点一定不是边缘点；而对于梯度幅值处于两个阈值之间的像素点,则将其看作疑似边缘点，再进一步依据边缘的连通性对其进行判断，若该像素点的邻接像素中有边缘点，则认为该点也为边缘点，否则，认为该点为非边缘点；设定阈值T2＝0.5，T1＝0.1；

步骤(202)、进行曲线提取，采用Freeman链码从边缘开始，对每个像素的八个邻域内搜索，提取出连续的曲线，如果曲线的长度小于参数w，则舍弃，仅保留那些长度大于w的曲线；w与图像大小的关系如公式(1)所示

其中，X和Y分别表示图像的长和宽；

步骤(203)、标记曲线状态，判断曲线状态的依据是阈值D1，如果每条曲线的端点之间的距离小于参数D1，则标记该曲线为“Loop”型，反之则为“Line”型，设定

步骤(204)、进行曲线滤波，对每条曲线进行高斯滤波操作，即用一个模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，本流程中滤波尺度因子大小为σ，以免曲线被过度平滑，设定σ＝2.0；

第二阶段的曲率估计和T型特征点标记，具体包括以下步骤：

步骤(205)、T型特征点检测，判断每条曲线上每个点与另一条曲线的端点之间的欧氏距离，如果小于阈值D1，则认为曲线上该点为一个T型特征点，将其标记并记录所在位置坐标；

步骤(206)、曲线边界处理，对每条曲线两端进行边界扩展，扩展边界大小与估计曲率时采用的邻域大小L的具体值相等；

步骤(207)、曲线内部点曲率估计，具体计算步骤为：P₁到P_n表示该曲线上n个像素，对于当前要计算的像素P_k，当邻域大小为L的时候，第一个邻域为曲线上从像素P_k-L+1到P_K+1的部分，第二个邻域为从像素P_k-L+2到P_K+2的部分，依此类推第i个邻域从像素P_k-L+i到P_K+i的部分，计算每个邻域内的角度余弦，如公式(2)所示：

<mrow> <mi>C</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>cos</mi> <mi> </mi> <msub> <mi>r</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> </mrow> <mi>L</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

其中，C(k)表示曲率的估计值；

步骤(208)、曲线端点曲率估计，对于每条曲线上的两端L个像素，由于边界扩展的影响，采用累加方式会使估计的曲率值不准确，因此只采用公式(2)取当前点为中心点的那个邻域进行曲率估计；

第三阶段、特征点的检测，具体包括以下步骤：

步骤(209)、进行非极大值抑制：采用非极大值抑制操作检测特征点，即如果某个像素处的估计曲率值C(k)大于阈值T3，则认为是一个候选特征点；

步骤(210)、进行T型点和端点优化：对步骤(205)中标记的T型特征点和每个曲线上的端点进一步处理，计算与步骤(209)得到的每个候选特征点之间的欧式距离，如果大于阈值D2，则认为该T型点或端点是一个特征点；采用的即如果当前T型点或端点10个像素范围内没有候选特征点，则认为该T型点或端点为一个特征点；

步骤(211)、获得最终的特征点集：最终的特征点集合由步骤(209)得到的候选特征点和步骤(210)得到的特征点组成。