CN113962967B - 一种基于马克劳林定理约束的物体拍摄图像椭圆检测算法 - Google Patents

Abstract

一种基于马克劳林定理约束的物体拍摄图像椭圆检测算法，它包括：步骤1：采集包含有椭圆元素的目标图像，对图像进行边缘检测，得到每个边缘像素点的位置信息和梯度相位信息，将梯度方向一致的像素点集合连接在一起构成椭圆弧段，将所有的椭圆弧段进行划分、分类；步骤2：对划分后得到的各个圆弧段进行筛选，舍弃不满足尺寸约束和弓弦比约束条件的弧段；步骤3：从由步骤2获取的椭圆弧段中任选若干个来自不同分类的圆弧构成圆弧组合，按照几何约束判别条件来进行筛选，判断该圆弧组合是否保留或者剔除掉等步骤。本发明的目的是为了解决现有椭圆检测算法存在非椭圆目标的错误检测，拟合椭圆轮廓与实际椭圆轮廓不完全重合以及椭圆检测时间过长的技术问题。

Description

一种基于马克劳林定理约束的物体拍摄图像椭圆检测算法

技术领域

本发明属于图像处理技术领域，尤其涉及一种物体拍摄图像椭圆检测算法。

背景技术

在机器视觉和模式识别领域中，图像中椭圆的检测是一个基础性的任务，近年来在很多领域都发挥着重要作用，例如基于实心圆特征的相机标定，自动驾驶中的信号灯检测，PCB工业自动化生产线上的圆形焊盘，圆形器件检测等。

现有的图像椭圆检测算法主要分为两类，一类是经典的霍夫检测法，霍夫椭圆检测的基本原理是将图像空间中的曲线转变为参数空间中的点，从而利用统计特性来解决检测的问题。例如，Cakir在“Combining feature-based and model-based approaches forrobust ellipse detection”一文中提出结合使用特征模型与霍夫变换的方法，首先检测出弧段等低层次特征，同时为每个弧段指定一片搜索区域，然后在各自的搜索区域中施加基于霍夫变换的投票聚类算法找到候选椭圆，最终根据投票结果和设定的阈值来选择出最佳拟合椭圆。另一类方法是边缘链接法，边缘链接法的基本思想是从图像的二值边缘图中以离散的像素点为基础提取出弧段，再在拟合弧段的基础上根据一些几何性质来检测椭圆。Prasad在“Edge curvature and convexity based ellipse detection method”中提出结合曲率和凹凸性等性质先分割出平滑的椭圆弧段，然后构造出弧段的搜索区域，在搜索区域中使用关系评价机制来量化弧段之间的相关性，组合出属于同一个椭圆的弧段从而拟合出候选椭圆；Fornaciari在“A fast and effective ellipse detector forembedded vision applications”中提出将边缘点直接连接成弧段并划分到四个区域，使用椭圆一组弦的中心线和椭圆中心的关系来判断三个圆弧能否组合到一起，并使用基于投票的参数空间分解方法来估计出椭圆的几何参数；Qi沿用了Fornaciari方法的基本思路，在“A fast ellipse detector using projective invariant pruning”中提出引入关于直线和弧段特征数的概念。使用基于直线的特征数来消除大量的无效直线段，使用基于弧段的特征数来快速过滤掉不属于同一个椭圆的弧段组合，从而减少椭圆候选对象的数量；吴晨睿在《基于梯度分类的复杂背景椭圆快速检测方法》中提出了基于多边形辨识的检测方法，该方法利用椭圆内包多边形为凸多边形的特点对椭圆弧段进行聚合。

发明内容

本发明的目的是为了解决现有椭圆检测算法存在非椭圆目标的错误检测，拟合椭圆轮廓与实际椭圆轮廓不完全重合以及椭圆检测时间过长的技术问题。

一种基于马克劳林定理约束的物体拍摄图像椭圆检测算法，它包括以下步骤：

步骤1：使用相机采集包含有椭圆元素的目标图像，对图像进行高斯滤波和边缘检测，得到每个边缘像素点的位置信息和梯度相位信息，将梯度方向一致的像素点集合连接在一起构成椭圆弧段，将所有的椭圆弧段进行划分、分类；

步骤2：对划分后得到的各个椭圆弧段进行筛选，舍弃不满足尺寸约束和弓弦比约束条件的椭圆弧段；

步骤3：从由步骤2获取的椭圆弧段中任选若干个来自不同分类的圆弧构成圆弧组合，按照相对位置约束判别条件来进行筛选，判断该圆弧组合是否保留或者剔除掉；

步骤4：针对保留下来的圆弧组合采用马克劳林定理几何约束进行判别，以确定是否可以进行接下来的拟合步骤；

步骤5：经过步骤4的判别后，针对保留下来的圆弧组合采用圆心距离约束，若可进行椭圆的拟合，则执行拟合操作；

步骤6：每一个拟合椭圆进行准确性判别和可靠度的判别，评估拟合椭圆的正误。将满足拟合椭圆过滤条件的保留，不满足的作为误检测去除；

步骤7：进行聚类操作，过滤掉拟合得到的重复椭圆，对属于同一拟合椭圆的所有椭圆弧段进行再拟合操作；

通过以上步骤进行所获得的图像中椭圆的检测。

在步骤1中，根据椭圆弧段的中间点和左右端点之间连线的相对位置关系，采用如下公式将所有的椭圆弧段τ划分为四大类：

式中，

表示椭圆弧段中每一个边缘点的梯度相位大小，M是每条椭圆弧段处于中间位置的像素点，

是连接椭圆弧段左右端点的连线。

在步骤2中，

对步骤1划分后得到的各个椭圆弧段进行筛选，若存在某一条不满足以下两个条件之一的圆弧段，则将该弧段舍弃；

(I)如果椭圆弧段上像素点的总个数小于阈值Th_length；

(II)在椭圆弧段上找到某一个点p使该点到连线

的距离最长，该距离与连线

的长度之比记为弓弦比，当弓弦比的数值小于阈值Th_ratio时。

在步骤3中，从步骤2划分的椭圆弧段中任选三个来自不同分类的圆弧构成一个圆弧组合，记为(τ_i,τ_j,τ_k)圆弧组合，其中τ_j为处于圆弧组合中间位置的弧段，τ_i为逆时针方向所遇到的第一个弧段，τ_k为顺时针方向所遇到的第一个弧段；

在步骤4中具体为：

(4.1)在步骤4.1中，选取椭圆弧端τ_j的中点记为A，选取椭圆弧端τ_i的中点记为B，选取τ_k的右四分之一端点记为C，左四分之一端点记为D；

(4.2)分别计算椭圆弧段在A点和B点的切线方程，使两切线相交，记它们的交点为E；分别计算椭圆弧段在C点和D点的切线方程，使两切线相交，记它们的交点记为F；分别连接直线AC和BD，记它们的交点为P；分别连接直线AD和BC，记它们的中点为Q，按照马克劳林定理，EFPQ四点应当共线，

(4.3)在这四点中任意选择三点来计算其共线程度。分别连接中间位置点和左右两端点，计算两条连线所成的夹角与180°之间差值的绝对值，选取其中最大的记为maxAngle。如果maxAngle<Th_Mac，其中Th_Mac是马克劳林定理的偏差阈值，则可以进行接下来的拟合步骤。

在步骤5中，针对步骤4中保留下来的圆弧组合采用圆心距离约束进行判别，首先在圆弧组合中任选两个椭圆弧段进行椭圆拟合，得到拟合参数，包括中心坐标(x,y)，长短半轴(a,b)和倾斜角度θ；然后判断这三组中心点之间的间距是否都小于阈值maxCenterDist，对于不同图片而言，maxCenterDist的设定和具体的图片大小相关，关联一个新的约束因子Th_dist，其中maxCenterDist＝图片对角线长×Th_dist。

在步骤7中，针对步骤6保留下来的拟合椭圆进行聚类操作，过滤掉拟合得到的重复椭圆，采用MeanShift聚类方法，通过对椭圆的中心坐标(x,y)，长短半轴(a,b)和倾斜角度θ进行级联式的聚类，获得属于同一真实椭圆上的所有拟合椭圆，此时将所有重复拟合椭圆的所有椭圆弧段进行再一次的拟合操作以获得更加精确的椭圆拟合参数。

与现有技术相比，本发明具有如下技术效果：

1)本发明通过引入基于马克劳林定理的几何约束条件，降低了椭圆拟合计算量，同时又有效保证了参与椭圆聚合的椭圆弧段集合的准确性。同时也通过引入后处理等措施来有效提高图像椭圆检测精度和效率；

2)综合使用多种几何性质约束，例如尺寸约束，弓弦比约束，相对位置约束，圆心距离约束和基于马克劳林定理的几何约束，这些约束条件不仅有效地去除了大量干扰椭圆弧段，降低了椭圆拟合计算量，同时又能保证参与椭圆聚合的椭圆弧段集合的准确性，从而有效地降低了错误椭圆检测现象的出现。这些措施使得图像椭圆检测的精度和效率得到了有效提升；

3)对于通过初步拟合步骤得到的椭圆集合，综合使用多种后处理措施来合并同一椭圆的多重拟合结果和过滤掉错误检测椭圆。例如基于满足椭圆方程的边缘点数的契合度和椭圆弧在拟合椭圆长短轴上投影长度的可靠度来评估拟合椭圆的准确性；采用MeanShift方法对拟合椭圆的几何参数进行层次化聚类，找到属于同一个目标椭圆的所有聚合椭圆弧，最后对这些椭圆弧段进行二次拟合从而进一步提高椭圆检测结果的精度。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1是本发明的流程图；

图2和图3是将圆弧进一步划分的示意图；

图4是理想情况下的马克劳林定理示意图；

图5是图像椭圆检测效果示意图。

具体实施方式

一种基于马克劳林定理约束的物体拍摄图像椭圆检测算法，它包括以下步骤：

步骤1：使用相机采集包含有椭圆元素的目标图像，具体实施是从与圆形特征物体表面不平行的倾斜角度来拍摄物体的图像。首先明确图像坐标系，选取目标图像左上角的像素点作为原点，水平向右为横轴正方向，竖直向下为纵轴正方向，构造出一个平面直角坐标系。

使用Canny边缘检测算法对图像进行边缘检测，得到每个边缘像素点的位置信息和根据Canny边缘检测算法中Sobel算子部分计算出的梯度相位信息。之后采用八邻域深度优先搜索方法将梯度方向一致的像素点集合连接在一起，构成椭圆弧段。

之后如图2和图3所示，根据椭圆弧段的中间点和左右端点之间连线的相对位置关系，采用如下公式将所有的椭圆弧段τ划分为四大类：

式中，

表示椭圆弧段中每一个边缘点的梯度相位大小，M是每条椭圆弧段处于中间位置的像素点，

是连接椭圆弧段左右端点的连线，即通过椭圆弧段的中间点M在连线

的上下位置关系，从而判断椭圆弧段的凹凸性。

步骤2：对步骤1划分后得到的各个椭圆弧段进行筛选，过滤掉不满足尺寸约束和距离比约束条件的椭圆弧段，若存在某一条不满足以下两个条件之一的圆弧段，则将该弧段舍弃；

(I)如果圆弧段上像素点的个数小于阈值Th_length；

(II)在圆弧段上找到某一个点p使该点到连线

的距离最长，该距离与连线

的长度之比记为弓弦比，当弓弦比的数值小于阈值Th_ratio时；

步骤3：从四类椭圆弧段集合中任意选择三个椭圆弧段进行有效性判断和聚合。为了提高椭圆检测的召回率，防止因为某一个椭圆弧段的缺失而导致椭圆检测失效，从步骤1划分的椭圆弧段中任意选择三个来自不同分类的椭圆弧段构成一个圆弧组合，按照相对位置约束判别条件来进行筛选，判断该圆弧组合是否保留或者剔除掉。以(τ_I,τ_II,τ_III)圆弧组合为例，椭圆弧段τ_I的左端点的横向坐标L_I.x应当位于弧段τ_II的右端点的横向坐标R_II.x右侧，弧段τ_II的左端点的纵向坐标L_II.y应当位于弧段τ_III左端点的纵向坐标L_III.y的上侧，它们之间的像素偏差应在1个像素的距离以上；

如表1所示，列举出了不同椭圆弧段象限组合各自应当满足的相对位置约束条件。如果圆弧组合能够满足表中所列的条件，则将该圆弧组合保留，参与后续的处理流程；如果圆弧组合不能满足表中的所列条件，则表示该组合是无效组合，将其剔除。

表1椭圆弧段组合的相对位置约束条件

步骤4：针对步骤3保留下来的圆弧组合采用马克劳林定理几何约束进行判别，如图4所示，以(τ_I,τ_II,τ_III)圆弧组合为例，选取弧端τ_II的中点记为A，选取弧端τ_III的中点记为B，选取τ_I的右四分之一端点记为C，左四分之一端点记为D，分别计算圆弧段在A点和B点的切线方程，它们的交点为E，计算圆弧段在C点和D点的切线方程，它们的交点记为F，分别连接AC和BD的交点记为P，分别连接AD和BC的中点记为Q，根据马克劳林定理，EFPQ四点应当共线，在这四点中任意选择三点来计算共线程度，计算中点和左右两端点连线之间的夹角与180°的差值绝对值，选取其中最大的夹角，记为maxAngle，如果maxAngle<Th_Mac，其中Th_Mac是马克劳林定理的偏差阈值，则可以进行接下来的拟合步骤。

步骤5：针对步骤4中保留下来的圆弧组合采用圆心距离约束进行判别，首先在圆弧组合中任选两个不同类别的椭圆弧段进行椭圆拟合。可采用直接最小二乘法进行拟合，并得到拟合参数，包括中心坐标(x,y)，长短半轴(a,b)和倾斜角度θ。

然后判断这三组中心点之间的间距是否都小于阈值maxCenterDist，对于不同图片而言，maxCenterDist的设定和具体的图片大小相关，需要关联一个新的约束因子Th_dist，maxCenterDist＝图片对角线长×Th_dist；

步骤6：对每一个拟合椭圆进行准确性判别和可靠度的判别，设定契合度参数σ来评估参与拟合椭圆的圆弧段组合的边缘像素点和拟合椭圆方程之间的对应程度，采用如下公式计算契合度参数σ，

其中，N(*)表示某一轮廓中的边缘像素点个数，β是满足约束条件像素位置距离拟合椭圆方程之间的几何距离小于0.1个像素的像素点集，其中。如果椭圆契合度σ＞Th_score，其中Th_score是设定的契合度阈值，则满足拟合椭圆的过滤条件，保留进行后续步骤，否则作为误检测去除；

针对保留下来的拟合椭圆再进行可靠度的判别，评估构成拟合椭圆的三个椭圆弧段在整个椭圆周长中所占的比例。将每一条椭圆弧段投影到拟合椭圆的长轴方向和短轴方向上，分别获得投影长度maj和min，将参加拟合计算的3个弧段的长短轴投影长度加总获得总长度Len，采用如下公式计算可靠度参数

其中，a和b分别表示拟合椭圆的长半轴和短半轴，如果ρ＞Th_reliability，其中Th_reliability是设定的可靠度阈值，则满足拟合椭圆的过滤条件，保留进行后续的步骤，否则作为误检测去除。

步骤7：针对步骤6保留下来的拟合椭圆进行聚类操作，过滤掉拟合得到的重复椭圆，采用MeanShift聚类方法，通过对椭圆的中心坐标(x,y)，长短半轴(a,b)和倾斜角度θ进行级联式的聚类，获得属于同一真实椭圆上的所有拟合椭圆。此时将所有重复拟合椭圆的所有椭圆弧段进行再一次的拟合操作以获得更加精确的椭圆拟合参数，由于大量的错误椭圆已经被过滤掉，所以本步骤不会对算法的总体运行时间造成影响。

为了验证本方法的有效性，图5给出了本发明方法和Fornaciari方法与Qi方法在真实图像上的检测效果实例对比。其中第一列是相机采集的原图像，第二列是Fornaciari检测方法的效果展示，第三列是Qi检测方法的效果展示，第四列是本发明所提出方法的效果展示。由该图可知，本方法的检测效果相比于原有方法能更加精准的拟合椭圆边缘，减少了拟合椭圆的边缘和实际图像椭圆之间的偏差，避免了同一边缘拟合出多个椭圆的现象。

Claims (6)

1.一种基于马克劳林定理约束的物体拍摄图像椭圆检测算法，其特征在于，它包括以下步骤：

步骤1：采集包含有椭圆元素的目标图像，对图像进行边缘检测，得到每个边缘像素点的位置信息和梯度相位信息，将梯度方向一致的像素点集合连接在一起构成椭圆弧段，将所有的椭圆弧段进行划分、分类；

步骤2：对划分后得到的各个椭圆弧段进行判别和筛选，舍弃不满足尺寸约束和弓弦比约束条件的椭圆弧段；

步骤3：从由步骤2获取的椭圆弧段中任选若干个来自不同分类的圆弧构成圆弧组合，按照相对位置约束判别条件来进行筛选，判断该圆弧组合是否保留或者剔除掉；

步骤4：针对保留下来的圆弧组合采用马克劳林定理几何约束进行判别，以确定是否可以进行接下来的拟合步骤；

步骤5：经过步骤4的判别后，针对保留下来的圆弧组合采用圆心距离约束进行判别，若可进行椭圆的拟合，则执行拟合操作；

步骤6：每一个拟合椭圆进行准确性判别和可靠度的判别，评估拟合椭圆的正误，将满足拟合椭圆过滤条件的保留，不满足的作为误检测去除；

步骤7：进行聚类操作，过滤掉拟合得到的重复椭圆，对属于同一拟合椭圆的所有椭圆弧段进行再拟合操作；

通过以上步骤进行所获得的图像中椭圆的检测。

2.根据权利要求1所述的算法，其特征在于，在步骤1中，根据椭圆弧段的中间点和左右端点之间连线的相对位置关系，采用如下公式将所有的椭圆弧段τ划分为四大类：

式中，

表示椭圆弧段中每一个边缘点的梯度相位大小，M是每条椭圆弧段处于中间位置的像素点，

是连接椭圆弧段左右端点的连线。

3.根据权利要求1所述的算法，其特征在于，在步骤2中，

对步骤1划分后得到的各个椭圆弧段进行筛选，若存在某一条不满足以下两个条件之一的椭圆弧段，则将该椭圆弧段舍弃；

(I)如果椭圆弧段上像素点的个数小于阈值Th_length；

(II)在椭圆弧段上找到某一个点p使该点到连线

的距离最长，该距离与连线

的长度之比记为弓弦比，当弓弦比的数值小于阈值Th_ratio时。

4.根据权利要求1所述的算法，其特征在于，

在步骤3中，从步骤2划分的椭圆弧段中任选三个来自不同分类的弧段构成一个圆弧组合，记为(τ_i,τ_j,τ_k)圆弧组合，其中τ_j为处于圆弧组合中间位置的弧段，τ_i为逆时针方向所遇到的第一个弧段，τ_k为顺时针方向所遇到的第一个弧段；

所述步骤4包括以下步骤：

步骤(1)选取椭圆弧端τ_j的中点记为A，选取椭圆弧端τ_i的中点记为B，选取τ_k的右四分之一端点记为C，左四分之一端点记为D；

步骤(2)分别计算椭圆弧段在A点和B点的切线方程，使两切线相交，记它们的交点为E；分别计算椭圆弧段在C点和D点的切线方程，使两切线相交，记它们的交点记为F；分别连接直线AC和BD，记它们的交点为P；分别连接直线AD和BC，记它们的中点为Q，EFPQ四点应当共线；

步骤(3)在这四点中任意选择三点来计算其共线程度，分别连接中间位置点和左右两端点，计算两条连线所成的夹角与180°之间差值的绝对值，选取其中最大的记为maxAngle，如果maxAngle<Th_Mac，其中Th_Mac是马克劳林定理的偏差阈值，则可以进行接下来的拟合步骤。

5.根据权利要求1所述的算法，其特征在于，在步骤5中，针对步骤4中保留下来的圆弧组合采用圆心距离约束进行判别，首先在圆弧组合中任选两个椭圆弧段进行椭圆拟合，得到拟合参数，包括椭圆中心坐标(x,y)，长短半轴(a,b)和倾斜角度θ；然后判断这三组中心点之间的间距是否都小于阈值maxCenterDist，对于不同图片而言，maxCenterDist的设定和具体的图片大小相关，关联一个新的约束因子Th_dist，maxCenterDist＝图片对角线长×Th_dist。

6.根据权利要求1所述的算法，其特征在于，在步骤7中，针对步骤6保留下来的拟合椭圆进行聚类操作，过滤掉拟合得到的重复椭圆，采用MeanShift聚类方法，通过对椭圆的中心坐标(x,t)，长短半轴(a,b)和倾斜角度θ进行级联式的聚类，获得属于同一真实椭圆上的所有拟合椭圆，此时再将所有重复拟合椭圆的所有椭圆弧段进行再一次的椭圆参数拟合操作以获得更加精确的参数结果。

Images