CN105787912A - 一种基于分类的阶跃型边缘亚像素定位方法 - Google Patents

Abstract

本发明公开了一种数字图像阶跃型边缘的亚像素定位方法，这种方法在对图像进行像素级边缘提取的基础上，针对不同类型的阶跃边缘分别采用不同的亚像素计算方法定位边缘的亚像素位置。由于视觉测量中一般通过光照技术使得前景和背景有显著差异，形成的图像边缘一般均为阶跃型边缘，因此这种定位方法特别适用于非接触式视觉测量领域。相比传统的边缘亚像素定位方法，其定位算法更加鲁邦稳定，在保障测量精度的前提下可有效提升测量速度。

Description

一种基于分类的阶跃型边缘亚像素定位方法

技术领域

本发明属于图像处理和视觉测量技术领域，特别涉及了图像边缘的亚像素定位方法。

背景技术

图像边缘是现实世界中不同物体在图像上投影的边界和分割线，它存在于目标与背景、目标与目标、区域与区域、基元与基元等图像元素之间，它描述了物体在空间中所占范围的轮廓，是在图像上将背景与目标、不同目标进行二维分割的基础；因此边缘是物体在图像上非常重要的特征，在图像处理、基于图像的物体识别等方面意义重大。而在视觉测量领域，边缘是被测量物体在空间所占三维范围在二维图像上的反映，其定位准确性对测量物体的几何尺寸具有决定性影响。因此对于视觉测量领域，边缘定位准确与否对测量精度有至关重要的影响。边缘的两侧的颜色灰度差异显著，其在灰度空间表现为由灰度变化的不连续性，存在多种不同的形态。根据灰度不连续变化的形态，边缘类型分为三类：跃阶边缘、屋顶边缘、凸缘型，参见图1。

有的文献仅分为跃阶边缘和屋顶边缘，因为凸缘可看做跃阶边缘的一个特例。跃阶边缘说明两个物体在图像上是相互重叠遮挡或完全连接在一起的，且这两个物体的灰度值是有较大差异的，在灰度曲线上表现为跃阶函数的形态，因此称为跃阶边缘。这种边缘是存在最为广泛的边缘，往往目标与背景、重叠目标与目标之间存在的都是跃阶边缘。而屋顶边缘多表现在有渐变形态的物体之间，例如水波、人工纹理等。凸缘边缘是一种较为特殊的情况，存在于有单一像素空隙的目标之间，例如我们在白纸上画一条很细的黑线，其边缘特性就表现为凸缘特性。

不同的边缘类型有不同的特征，若灰度变化率在某一点的n阶导数是一个δ函数，则可认为此灰度变化率在这个点是n阶不连续的。例如跃阶边缘一阶不连续，而屋顶形边缘二阶不连续。因此传统的边缘检测方法都是基于微分技术，构造某个邻域内的边缘检测方法来实现。常用的传统的边界提取的算法有:Roberts，Sobel，Perwitt，LOG和Canny。

边缘的锐利程度是由图像在灰度上的梯度决定。梯度的模给出了边缘强度，梯度的方向给出了边缘的方向；而最简单方法是利用图像的垂直和水平差分来逼近梯度算子。因此，Roberts以垂直和水平差分计算近似的梯度的模，并设置阈值，如果模大于阈值则可判定为边缘。Roberts方法在水平方向和垂直方向效果较好，缺点是定位比较粗糙，对噪声较敏感。

Sobel边缘检测方法也是一种计算梯度值的近似算法，它不是仅仅计算垂直和水平差分来近似梯度，而是在一个方形的邻域计算梯度值，但强化了垂直和水平方向差分的权重。这种方式的得到的梯度更为精确和鲁棒，尤其可避免在像素之间的内插点上计算梯度。Prewitt方法和Sobel方法的不同就在于，它对垂直和水平方向没有特殊对待，其各个方向上的差分计算是同等对待的。上述三种方法完全基于差分计算，但是差分计算对噪声非常敏感，并且对图像中的噪声信号也可能出现伪边缘，这使得边缘定位的鲁棒性相当不好。而如果先对图像进行滤波处理，又可能将一些边缘平滑掉，从而影响边缘定位的准确性。

LOG算子即拉普拉斯-高斯算子（LaplacianofGaussian）。这种方法将高斯滤波和拉普拉斯边缘检测结合在一起，LOG方法采用高斯函数作为平滑滤波器对噪声进行抑制，平滑了噪声对边缘定位精度的影响，同时孤立的噪声点和较小的结构组织将被滤除。由于平滑会导致边缘的延展，因此LOG方法以二维拉普拉斯函数作为二阶导数计算公式，边缘检测判据是二阶导数零交叉点并对应一阶导数的较大峰值；这使得LOG方法只将具有局部梯度最大值的点判断为边缘点。同时考虑到作为二阶导数近似的二维拉普拉斯函数是一种无方向算子．为了避免检测出非显著边缘，LOG选择一阶导数大于某一阈值的零交叉点作为边缘点。总而言之，LOG方法用高斯滤波器完成平滑处理，以边缘转换成零交叉点实现边缘增强，通过检测零交叉点并与阈值比较来实现对边缘检测和定位，其利用了拉普拉斯函数的线性内插特性，实现亚像素水平的边缘定位。LOG算法的优点是各向同性，可检测出绝大部分边缘，特别是其可实现亚像素级别的边缘定位，但也容易丢失图像中一部分重要信息。

边缘提取的基本问题是解决边缘增强与噪声滤除之间的矛盾，由于图像边缘和噪声在频率空间均表现出高频特性。上面几种边缘检测方法在实际使用中的效果不尽如人意难，其根本原因在于实际图像都是有噪声的。在这种情况下直接采用上述方法均可能检测出噪声引起的伪边缘点。解决这一问题的办法是先对信号进行平滑滤波以滤除噪声；然后再对平滑后的图像利用上述边缘检测方法检测出边缘点。Canny运用严格的数学方法对此问题进行了分析，推导出由指数函数线性组合形式的最佳边缘提取算子网。Canny方法采用一个准高斯函数作平滑运算，它能在噪声抑制和边缘检测之间取得较好的平衡；它采用了“非极大值抑制”和形态学连接操作。对比前述方法，它提取的边缘最为完整，且边缘连续性好，效果优于其他算法。但是Canny算子的计算量最大，算法设计复杂。

虽然随着工业相机分辨率的提升，测量精度不断得到提升，但仍然远远不能满足实际生产过程中的测量精度要求。例如国标公差标准IT6的精度是常用机械制造精度，其相对精度（允许误差/测量长度）要求可达到万分之一。像素级的测量精度很难满足IT6的要求。传统边缘检测和定位方法的一般只达到像素级，虽然LOG方法可实现一定的亚像素定位，但由于其设计的主要目的在于解决噪声和边缘的过平滑和欠平滑问题，其亚像素精度并不高，特别是容易受到噪声干扰。因此需要单独发展亚像素级的边缘定位方法，以适应产业测量精度的需求。

现实场景中的物体看描述为一个色彩/灰度的分布曲面，而数字图像提供的是离散化的色彩/灰度信息，根据光学成像原理其理想过程为对色彩/灰度分布曲面的积分采样。具体参见图2。

图2左图真实图像的边缘，可以看到边缘是其上侧和下侧之间无粗细的一条直线。但在成像时，由于像素是一个方形的感应区域，其收集射入此区域的光子实现对真实图像的数字化采样过程。观察图2右图，边缘上下侧的灰度值没有发生变化，但是边缘横穿过边缘像素，因此边缘像素采集到了部分灰度A和灰度B的光子，从而使得其灰度值C介于A和B之间。

亚像素定位即根据灰度A、B、C三者的关系定位出实际边缘处于边缘像素内部的某个位置，从而实现亚像素定位。即亚像素边缘定位是根据数字图像的积分采样信息推出色彩/灰度分布曲面函数，然后据此实现对边缘的亚像素定位。因此，亚像素定位的基础在于根据采样信息估计色彩/灰度分布曲面分界点的位置。

亚像素边缘检测算法是在边缘检测算法的基础上发展起来的，一般需要先用经典边缘检测算法找出像素等级精度的边缘点位置，然后使用周围像素点的灰度值作为判断的补充信息，利用插值、拟合、统计矩等方法，使边缘定位于亚像素级别的位置。线性插值和分段线性插值是最为直接的方法，它具有计算简便、收敛性强、测量重复性性好、易于有计算机实现等优点,但它却不能保证整条曲线的光滑性和连续性。而样条(spline)插值方法采用光滑函数拟合曲面，可实现较好的连续性和光滑性。KJensen和DAnatassious提出的非线性插值方法，具有和样条插值性能相似的光滑性和连续性。Huecke用局部像素灰度拟合灰度曲面参数方程的方法达到亚像素级的边缘定位，国内的贺忠海等人以曲线拟合方法提取边缘，赵爱明将二次曲线拟合方法用于亚像素边缘提取，年伍卫平等提出了移动最小二乘三次曲面拟合方法，其具有抗噪声能力强，稳定性好等特点，检测效果较好，尚雅层等人提出梯度方向Gauss曲线拟合算法，利用Gauss函数对像素的梯度值进行拟合。

Tabatabai于1984年提出了灰度矩亚像素边缘检测方法，它利用前三阶灰度矩来对边缘进行亚像素定位，首次将统计技术用于亚像素定位。该方法以7×7模板构成的单位圆内的45个像素作为输入。Englander基于Whittaker定理对图像进行重新抽样提出了一种亚像素的检测方法，我国的章毓晋等提出了采用切线方向信息来检测亚像素边缘。此外，还有Zernike矩、Legendre矩等亚像素边缘定位方法。

在视觉测量领域，一般通过对光照的控制，使得被测量物体和背景存在显著的区分，同时属于一个目标的颜色和亮度会相当一致，如此方可更好的从环境中将被测量物体提取出来。例如通过从被测量物体背面进行光源照射，使得背景呈现出高亮度特征；而被测量物体遮挡了光照，在图像上呈现出较低甚至全黑的图像特征。这种情况下，边缘表现出非常明显的跃阶特性。同时视觉测量领域主要待测量的物体为人造物体，其边缘形式多为直线、圆弧、三角、直角等规则图形。

本发明公开的方法主要面向视觉测量领域，因此主要针对跃阶边缘的亚像素定位进行说明，相关方法考虑了规则图形的相关特性。而针对此领域的研究成果和已公开知识产权涉及较少。

发明内容

为了解决上述背景技术提出的技术问题，本发明充分考虑了跃阶边缘和规则图形的特性，提出了一种分类处理的、适用于视觉测量领域的边缘亚像素定位方法，可提升边缘定位精度和计算速度，为视觉测量提供更好的测量方法。

具体技术方案为：（1）读取图像

视觉测量系统包含工业相机，它负责实时采集被测量物体的图像。根据工业相机提供的接口实时读取图像数据到内存空间，为后面步骤的处理提供数据资源。此步骤需考虑采集和传输的实时性，确保及时的获得图像，不要产生丢帧和信息丢失现象。

（2）图像格式转换

采集的被测量物体图像一般为彩色图像，其存在三个颜色通道：红绿蓝（RGB），需要将三个颜色通道转化为单一颜色通道的灰度图，本发明采用通用的彩色图像灰度化方法。其计算公式如下：

灰度值=0.30×R（红色）+0.59×G（绿色）+0.11×B（蓝色）。

（3）对矩阵进行像素级边缘定位

相比亚像素边缘定位算法，像素级边缘定位算法虽然定位精度不足，但在抗噪鲁棒性、计算速度和效率上有显著优势。因此当前边缘亚像素定位方法均首先使用边缘像素定位方法，确定图像中那些像素属于边缘像素，然后再针对某个边缘像素进行数据处理，实现在边缘在此像素内的位置估计，从而实现边缘亚像素定位。这种思路下，不需要将亚像素方法应用于所有像素，可大大提升计算速度。在这个阶段，本发明提出了一种基于曲率流的边缘像素识别方法，用于识别边缘像素。

（4）角点像素定位

角点是边缘上的特殊点，它往往位于多条边缘的交叉处，以及边缘的端点、断点等。其在曲率结构上的特殊性，使得对其进行亚像素定位时要采用特殊方法；因此需要将边缘中的角点提取出来单独进行处理。本发明采用传统的Harris角点检测方法，检测出图像中所有的角点。这些角点中有些并不属于边缘，可能是孤立点、噪声点等；因此本发明依据角点与边缘的关系，确定某个角点是否属于边缘像素。

（5）基于曲率的边缘分类

除了角点像素，边缘上的其他像素与其相邻边缘存在曲率变化的不同。这种曲率变化反映了一个边缘像素与其相邻边缘像素的位置关系，从而影响了亚像素定位方法的采用。因此，本发明将边缘像素分为三类：角点边缘像素、低曲率边缘像素、高曲率边缘像素，其中角点边缘像素又分为：端点型、交点型，它们可根据角点所在边缘的数量进行区分。在所有边缘像素中标记了角点边缘像素之后，根据设置的曲率阈值判定剩余边缘像素，那些属于低曲率边缘像素，那些属于高曲率边缘像素。

（6）边缘亚像素定位

在识别出低曲率、高曲率、“端点”型角点、“交点”型角点等五类边缘像素的基础上，分别对它们采取不同的亚像素定位方法，实现边缘的亚像素定位。

附图说明

图1是边缘的类型；

图2是边缘像素的形成原理；

图3是本发明的曲率流计算和调整示意图方法；

图4是本发明的总体流程图；

图5是边缘形状近似示意图；

图6是实际边缘跨越像素位置与灰度之间关系

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

（1）曲率流计算

一个像素与周围像素的差异可用梯度来描述，梯度指向增长或减少最快的方向，梯度的长度是梯度方向的灰度变化率。可以说梯度是一个像素与周围所有像素综合统计之后的结果。而一个像素与某一个方向上相邻像素的差异可称为曲率，多个方向的差异构成了所谓的曲率流。曲率流可将一个像素与周围所有像素的差异完全保留下来，然后基于这些信息进行图像处理。

同一个被测量物体在不同的成像条件下，其灰度分布空间并不相同。虽然可通过外部光源实现可控的光照条件。但是随着时间推移，光源老化等问题不可避免，为此需要考虑测量物体图像在不同条件下的标准化，以排除光照变化的影响。本发明中考虑到可控光源条件下，光照即使随着时间发生变化，其变化也呈现等比线性变化的特性。因此基于直方图的图像灰度拉伸可实现对光照变化的标准化。由此，我们引入一个调节因子，此调节因子为图像灰度直方图的拉伸参数，从而将图像拉伸和曲率流结合在一起进行。

原始曲率调整计算方法如下：

设定标准图像灰度最大值a和灰度最小值b；

统计图像的灰度直方图；

去除直方图中像素值数量最少的几个灰度值，使得剩下灰度值数量达到整体数量的95%

统计剩下直方图中灰度值最大c和最小的值d；

调节因子为K和S，其中，；

则每个正曲率值为：调整后曲率值=K×原曲率值+S；

每个负曲率充值为：调整后曲率值=K×原曲率值-S；

本发明采用了八方向曲率流计算方式，若去拉伸因子为K=2，S=5；则相关曲率值计算和调整可参见图3。

（2）边缘像素识别

图2中右图是图像中像素值分布图，中间水平方向的三个像素是一条边缘的一部分。可以发现边缘在曲率流上的特性由强到弱如下：

最大曲率值方向的曲率远远大于最小曲率值方向的曲率；

三个相邻像素的曲率流基本类似；

最大和最小曲率流方向基本正交。

基于上述特征本发明提出了边缘识别的算法如下：

1计算最大曲率值方向和最小曲率值方向的曲率值的比，如果低于阈值可认为不是边缘；

2判断最大曲率值方向和最小曲率值方向是否正交，如果不正交可认为不是边缘；

3计算当前像素邻域内所有像素的曲率流是否相似，相似函数为计算量个像素曲率流的内积，通过设置阈值可判定；由于在前期对图像进行了拉伸，此时图像均处于标准状态，阈值可在调试后设定为固定值；

4如果在当前像素邻域内没有其他像素的曲率流与其相似，可判定为不是边缘；

5如果邻域内存在与当前像素的曲率流像素的像素，但是它们均不与当前像素连通，那么当前像素也不是边缘；

6完全达到上述步骤要求的像素可判定为边缘点。

边缘一般呈细长线状分布，边缘像素总是和其他边缘像素相连通；而噪声一般呈孤立点方式出现在图像中；采用这种边缘检测算法可有效的排除噪声点和孤立点，如果与其他边缘检测算法结合进行多重验证和判断，效果更佳。这种方法内含了滤波处理，能有效平滑噪声。

（3）边缘像素分类

经过上述边缘像素识别过程，使得任一个边缘像素都不是孤立的点，而是和其他多个边缘像素相连通，并形成了细长线状图形。线条最主要的特征是曲率，因此本发明依据曲率对边缘像素进行分类：

角点：无曲率，需单独处理；

低曲率边缘：曲率较小，跨越此像素的实际边缘可假设为一条直线；

高曲率边缘：曲率较大，跨越此像素的实际边缘可假设为两折线。

本发明首先基于传统的Harris角点提取方法获得整幅图像所有的角点，然后将获取的角点与边缘进行关系分析，确定此角点是否为边缘像素，具体如下：

1.当前角点属于边缘像素，则它属于角点边缘像素；

2.当前角点与边缘像素相连通，则它属于角点边缘像素；

3.其他情况的角点均不属于角点边缘像素。

在标记了角点边缘像素后，对其它已识别出的边缘像素通过曲率进行分类。曲率计算依据每个边缘像素在其所在边缘的角度变化获取。通过设置阈值判断此像素属于高曲率边缘像素还是低曲率边缘像素。

（4）低曲率边缘直线拟合与高曲率边缘两折线拟合

角点边缘像素有其特殊性，本发明先处理非角点的边缘像素。实际边缘跨越一个像素有多种形态，视觉测量领域中被测物体一般为人造物体，其边缘具有规则的图形；且在视觉测量中会对成像条件进行控制，使得图像对比度较为强烈、边缘比较容易提取；因此，获得的像素级边缘与实际边缘在形状轮廓上高度相似。因此本发明利用这种形状上的相似性来估计跨越像素的边缘形态，并利用直线近似拟合低曲率边缘，利用两折线近似拟合高曲率边缘，参见图5。

对低曲率边缘像素，其跨越边缘的直线拟合方法是直接计算边缘曲线在此像素上的切线来确定。对高曲率边缘像素，采用两折线来拟合，两条折线的方向是计算边缘在此像素两侧的切线来获取。

但拟合出的边缘形态具体在像素内的位置需要一个参照，本发明以边缘拟合曲线的平移来处理这个问题。由于拟合的边缘曲线要与实际曲线相平行才能保证定位的准确性，因此对低曲率边缘像素以其切线的垂直方向为平移方向。而对于高曲率边缘像素，平移方向为此像素的梯度方向。

本发明对高曲率边缘使用两折线拟合而不是直线拟合，是为了提高亚像素边缘定位的精度。实际上为了进一步提高定位精度，可采用多折线方法对边缘形态进行更精确的拟合。但这种方法需要的计算资源更多，可在实际使用中斟酌采用。

（5）低曲率边缘和高曲率边缘亚像素定位

根据数字成像中像素灰度值的积分采样原理，可知边缘像素的灰度值是由边缘两侧不同物体灰度的射入光子数量和能量融合得出的，其中光子的能量与射入面积正相关，而能量即边缘两侧像素灰度值，参见图6。

图6中，折线1和折线2是相互平行的，它们只是跨越像素的位置不同。则四边形A-B1-C1-D1围成的面积是s1，它射入的一部分光子与射入右侧物体像素的光子相同；其余部分射入的光子为左侧物体像素对应的光子；这两类光子的能量分别为灰度值a和b，边缘像素的灰度值如下：

边缘像素灰度值=[a×S1+b×(S-S1)]/S

图6中右图五边形A-E-B2-C2-D2围成的面积与A-B1-C1-D1围成的面积不同，这意味着射入的两类光子数量不同，从而产生了不同的灰度值。根据上述公式，在已知像素灰度值、边缘两侧物体的灰度值a和b的条件下，可求出面积比S1/S；在此基础上，根据边缘的形态，即可估计实际边缘跨越边缘像素的具体位置。因此，只要获取了边缘跨越像素的形态，以及边缘像素及其两侧不同物体的灰度值，即可实现边缘的亚像素定位。

（6）非角点边缘亚像素平滑

剔除了角点的边缘应当为光滑曲线；同时视觉测量领域中被测物体一般为人造物体，其边缘具有规则的图形。因此可根据被测物体的规则图形边缘特性对这些边缘的亚像素定位点进行拟合和平滑处理，可得到更为精确的亚像素边缘定位。此步骤也可跳过直接执行后面步骤，但一般情况下定位精度会稍逊。

（7）角点边缘亚像素定位

角点边缘像素分为两类：

端点：其是某一条边缘的端点

交点：其是多条边缘的交汇点

“端点”型角点相当少见，一般出现的情况是一个线形物体的直径在图像上所占宽度不足一个像素的宽度，这类边缘在视觉测量领域更加少见。此类角点只与一个边缘像素相连通，周围其它像素均不为边缘像素。本发明采用“临近拷贝方法”，即设与其相连通边缘像素为A，其亚像素边缘在像素内的坐标为（a,b），则此角点的位置在此“端点”型角点像素内的坐标为（a,b）。中拷贝方法在概率上的平均精度为0.5的像素。

绝大部分角点为“交点”型角点，在所有非角点边缘像素已获得亚像素级别定位的基础上，可通过相邻的亚像素边缘求交点的方法,即可获得亚像素级角点位置。如果已执行了步骤（6），则可直接获得边缘曲线，并构造函数。交点计算方法如下：

1.确定此角点所占据的多条边缘

2.在此角点的邻域内选择属于同一边缘的多个边缘像素，以样条函数曲线拟合此边缘

3.重复步骤2，将所有相关边缘拟合为多条曲线，设有n条边缘曲线

4.将所有边缘曲线两两组合构成n(n-1)/2对曲线对

5.计算每个曲线对的交点，共有n(n-1)/2个交点

6.当只有两条边缘曲线，则计算出的交点即为此角点的亚像素位置

7.对此n(n-1)/2个交点的位置坐标进行加权平均获得交点位置的估计

估计出的交点位置即为此角点的亚像素位置。

Claims (5)

1.将图像标准化与曲率计算相结合的方法：由于在视觉测量系统的光照条件随时间推移必然发生变化，因此需要对图像进行标准化处理，以排除光照条件变化对图像的影响，从而可确保相关参数和阈值设置的稳定性，由于在视觉测量系统内光照条件可控，其变化性呈现一种线性等比趋势；因此可采用线性图像拉伸的方法实现图像标准化，本发明利用线性拉伸参数K和S对原始曲率流的调整实现等价处理，将图像标准化与曲率流计算合并在一起进行，其特征在于：是否采用线性方法进行曲率值的调整。

2.基于曲率流的边缘识别方法：本发明绕开传统的边缘检测算法，利用曲率流描述像素的特征，并根据一个像素与其邻域像素的曲率特征来识别此像素是否为边缘像素，其判别标准包括：最大曲率值方向的曲率是否远大于最小曲率值方向的曲率，最大和最小曲率流方向是否正交，是否存在与当前像素相邻、且曲率流相似的像素，其特征在于：是否基于前述三个标准进行边缘判定。

3.边缘像素分类处理方法：本发明将边缘像素分为低曲率边缘像素、高曲率边缘像素、“端点”型角点边缘像素、“交点”型角点边缘像素，并针对它们不同的特性，设计不同的亚像素定位方法，其特征在于：五类边缘像素的分类判别方法是否与本发明类似，并分别采用针对性方法对边缘进行亚像素定位。

4.高曲率边缘两折线拟合方法：以两折线近似拟合高曲率边缘，其相似度高于直线拟合，而计算复杂度增加不多，为较高精度的亚像素边缘定位提供了基础，其特征在于：用两折线拟合高曲率边缘的形态，以垂直于梯度方向的平移作为两折线围成面积的参数来估计边缘的位置。

5.“交点”型角点边缘的亚像素定位：本发明以交点所占据的多条边缘进行交点定位，可快速实现“交点”型角点边缘的亚像素定位，其特征在于：将多条边缘的交点通过加权平均等方法估计出唯一交点的位置。