CN114283157A - 一种基于椭圆拟合的椭圆形物体分割方法 - Google Patents

Abstract

本发明公开了一种基于椭圆拟合的椭圆形物体分割方法，该方法通过提取图像RGB梯度值中G分量值的最大连通区域得到图像中目标区域的对象，再使用RGB超绿分割算法去除图片中背景因素的干扰，并利用顶帽变换方法去除非目标区域；结合基于距离变换和全局阈值的快速径向对称法来提取椭圆形对象的中心点；利用凹点检测和轮廓估计的方法来分割出椭圆形对象的边缘部分；最后利用基于最小二乘的椭圆拟合算法对重叠对象的被遮挡部分进行补全；该方法保证了重叠目标边缘点的准确提取；避免出现图像中因RGB色彩梯度值相近导致的对象边缘提取不完整，分割效果不理想的问题；解决了在相机视角下的二维图像中无法获取部分重叠椭圆形目标的完整轮廓问题。

Description

一种基于椭圆拟合的椭圆形物体分割方法

技术领域

本发明涉及图像分割技术领域，具体是一种基于椭圆拟合的椭圆形物体分割方法。

背景技术

机器视觉是当前人工智能的热点研究课题。在机器视觉研究中，基于图像进行物体的分割和参数计算是其中的一个关键问题。图像中的物体检测和分割在现实中也有很多应用，比如医疗诊断、工业零件质量检测、水果分拣等。

已有研究者围绕图像中的物体检测和分割开展了大量研究。从背景图像中分割出目标对象的常用方法有：边缘检测法、阈值分割法和形态学分割法。此外，有研究者利用改进的分水岭分割算法来提取图像中的表层叶片，具体做法是先对原始图像使用RGB三通道梯度熵来提取图像中的颜色梯度，并依次计算局部方向上的梯度直方图内的矩阵方差，利用确定的阈值进行筛选后实现梯度重建，之后根据图像灰度值梯度利用分水岭变换实现对图像中不同物体的分割。近年来，随着深度学习技术的发展，部分研究者提出利用Mask R-CNN等算法框架来对不规则进行分割，这些方法一般是先收集大量目标对象的图像数据后进行人工处理，手动标定出图像中需要分割的目标，再将预处理后的数据放进自己搭建或改进的模型中训练，直至模型收敛，使得训练出的模型能够对图片中的目标对象进行预测分割。针对椭圆形对象，刘鑫磊等人以椭圆形植物叶片为例，提出利用贪婪算法寻找叶片重叠边缘，再利用凸包补缺算法得到叶片的完整边缘，实现重叠椭圆形叶片下层被遮挡部分的补全。

在现有的重叠物体分割方法中，一个缺点是不能很好的将图像中RGB色彩梯度值相近的物体边缘提取出来，导致物体分割结果达不到预期效果；另一个缺点是无法对被遮挡物体的缺失部分进行补全，导致后续对目标对象的计算结果不准确。使用深度学习方法对重叠物体进行分割时，不仅会出现上述两个问题，还会因为需要预先对数据集进行人工标注，导致人工成本耗费过大等问题的出现。利用凸包补缺算法对重叠物体被遮挡部分进行补全时，考虑到会出现图像中物体重叠处的边缘点会出现偏离，导致该算法无法保证此类物体缺失部分的正确预测。

发明内容

本发明的目的在于克服现有技术的不足，而提供一种基于椭圆拟合的椭圆形物体分割方法，该方法通过提取图像RGB梯度值中G分量值的最大连通区域得到图像中目标区域的对象，再使用RGB超绿分割算法去除图片中背景因素的干扰，并利用顶帽变换方法去除非目标区域；结合基于距离变换和全局阈值的快速径向对称法来提取椭圆形对象的中心点；利用凹点检测和轮廓估计的方法来分割出椭圆形对象的边缘部分；最后利用基于最小二乘的椭圆拟合算法对重叠对象的被遮挡部分进行补全。

实现本发明目的的技术方案是：

一种基于椭圆拟合的椭圆形物体检测方法，包括如下步骤：

S1、图像获取：

采用图像采集设备从目标物体上方垂直于物体的角度采集图像，然后利用图像处理软件将需要分割的目标区域截取出来，并将图片格式转换成JPG图像格式；

S2、图像预处理：

S2-1、最大连通区域提取：由于截取后的图像中重叠目标总是集中分布在图像中的一块区域内，因此在整个图像的RGB组成中，仅提取G分量面积的最大值，将其余绿色分块的像素值变为0；

S2-2、超绿分割算法：基于步骤S2-1所得到的图像，设图像中有i个像素点，S_i为各像素点的像素值，R、G、B分别为图像中红、绿、蓝三种颜色的通量值；通过调整不同光照条件下的图像饱和度，利用Matlab中最大类间方差计算方法graythresh确定阈值T，根据：

当图像中目标区域叶片的灰度化因子小于等于阈值T时，对应位置的标记图像像素值等于255，反之则等于0，去除图像中非绿色部分和将图像二值化处理；

S2-3、顶帽变换：在步骤S2-2所得到的二值图像中，提取的目标区域包含目标对象及其附属部分，利用灰度级图像g的开操作去除附属部分(非目标区域)，避免后续的图像处理工作出现偏差；

S3、提取目标对象中心点：

使用快速径向对称法提取椭圆形物体的中心点，快速径向对称法是一种为了突出图像梯度的局部特征提取技术，逐一检测与目标区域边缘像素点有着特定距离的点，筛选出符合要求的中心点；

给定范围距离值i∈[R_min,R_max]，对于图像目标区域内任意一点的像素值，利用快速径向对称法确定像素正负影响因子p⁺、p^-，以及方向投影图像O_i与幅度投影图像M_i：表达式如下：

在区域i∈[R_min,R_max]中构造方向和幅度图像时，对称径向S_i取决于O_i、M_i和二维高斯A：

其中k是不同半径上对O_i和M_i进行归一化过程的径向限制参数，α则是该过程中的缩放因子，

定义为：

设S为在区域i∈[R_min,R_max]中，通过兴趣对称的完整快速径向对称法所确定的平均值：

根据得到的平均值S检测出椭圆形目标对称区域位置的质心，以此提取目标对象的中心点；

S4、提取目标对象边缘：

S4-1、利用遍历的方法对目标对象重叠部分的边缘进行凹点检测，给定一半径为r的圆形模板，该圆内的总像素点数为P，将该模板遍历重叠目标的边缘点，将每个边缘点计算圆形模板内与重叠区域相重叠的像素点个数记为A，根据下述公式(8)判断第j个点E_j是否为凹点，

其中t为判断边缘点E_j是否为凹点的阈值参数；

S4-2、边缘特征提取：根据步骤S4-1中对凹点的判断公式所得到的凹点集E＝{e₁,e₂,...,e_m}和步骤S3中得到的中心点集S＝{s₁,s₂,...,s_n}，将边缘特征提取函数f(e_k,s_l)定义为：

其中λ为权重，距离函数dis(e_k,s_l)计算从凹点e_k到最近的中心点s_l的距离l，发散函数div(e_k,s_l)计算e_k到s_l直线方向与该处渐变方向的差，根据下述公式(10)估算：

利用函数f(e_k,s_l)将拥有不同中心点的目标边缘分别表示出来；

S5、预测目标对象轮廓：

在获得目标对象的边缘轮廓之后，利用可见区域的目标部分以椭圆形对象的形式建模，通过基于最小二乘的椭圆拟合方法，推测目标对象被遮挡部分的边缘；对于椭圆方程,给定一个的点(x，y)，参数向量a＝[a₀ a₁ a₂ a₃ a₄ a₅]，其二阶多项式代数距离的目标函数d(a,(x,y))表示为：

d(a,(x,y))＝a₀x²+a₁xy+a₂y²+a₃y+a₄y+a₅ (11)

对于所有点集{(x_i,y_i)|i＝1,2,...,n}的目标代价函数

所构成的线性回归矩阵D表示为：

根据圆弧拟合算法，约束矩阵C表示为：

根据拉格朗日乘子法，给定拉格朗日乘数λ和微分：

D^TDa+2λCa＝0 (14)

根据最小化问题求解方程组：

D^TDa＝λCa (15)

a^TCa＝-1

根据解出满足(15)方程条件的所有特征解来对椭圆进行拟合，从而预测重叠椭圆形目标被遮挡部分的缺失边缘。

本发明提供的一种基于椭圆拟合的椭圆形物体分割方法，该方法基于中心点检测、边缘提取和椭圆拟合等方案对重叠椭圆物体进行分割，用户可以通过该方法分割目标对象后计算单个目标的面积、方位角等参数。与现有技术相比，本发明具有以下优点：

(1)在对目标边缘进行提取时，结合凹点检测法和轮廓估计方案保证重叠目标边缘点的准确提取。

(2)在对目标对象进行分割时，避免出现图像中因RGB色彩梯度值相近导致的对象边缘提取不完整，分割效果不理想的问题。

(3)通过椭圆拟合方法对重叠目标的缺失部分进行预测，解决了在相机视角下的二维图像中无法获取部分重叠椭圆形目标的完整轮廓问题。

(4)与基于深度学习的对象分割算法相比，在保证分割效果和准确度的前提下，节约了人工成本。

附图说明

图1为本发明一种基于椭圆拟合的椭圆形物体分割方法的流程图；

图2为图像预处理的示意图；

图3为快速径向对称法提得取到的植物叶片中心点的示意图；

图4为凹点检测和边缘提取得到的植物叶片轮廓的示意图；

图5为拟合得到的重叠椭圆形植物叶片完整轮廓的示意图。

具体实施方式

下面以椭圆形植物叶片为例，结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。

实施例：

如图1所示，一种基于椭圆拟合的椭圆形物体分割方法，包括如下步骤：

S1、图像获取：

用户采用数码相机、手机或其他从植物上方垂直于叶片的角度采集植物叶片图像，然后利用图像处理软件将需要分割的叶片区域截取出来，并将图片格式转换成JPG图像格式；

S2、图像预处理，预处理后的图像如图2所示：

S2-1、最大连通区域提取：由于截取后的图像中植物叶片总是集中分布在图像中的一块区域内，因此在整个图像的RGB组成中，仅提取植物叶片G分量面积的最大值，将其余绿色分块的像素值变为0；

S2-2、超绿分割算法：基于步骤S2-1所得到的图像，设图像中有i个像素点，S_i为各像素点的像素值，R、G、B分别为图像中红、绿、蓝三种颜色的通量值；通过调整不同光照条件下植物叶片图像的饱和度，利用Matlab中最大类间方差计算方法graythresh确定阈值T，根据：

当图像中目标区域叶片的灰度化因子小于等于阈值T时，对应位置的标记图像像素值等于255，反之则等于0，去除图像中非绿色部分和将图像二值化处理；

S2-3、顶帽变换：在步骤S2-2所得到的二值图像中，提取的目标区域包含植物叶片及其叶柄部分，利用灰度级图像g的开操作去除叶柄，避免后续的图像处理工作出现偏差；

S3、提取植物叶片中心点：

使用快速径向对称法提取椭圆形植物叶片的中心点，快速径向对称法是一种为了突出图像梯度的局部特征提取技术，逐一检测与目标区域植物叶片边缘像素点有着特定距离的点，筛选出符合要求的中心点；

给定范围距离值i∈[R_min,R_max]，对于图像目标区域内任意一点的像素值，利用快速径向对称法确定像素正负影响因子p⁺、p^-，以及方向投影图像O_i与幅度投影图像M_i：表达式如下：

在区域i∈[R_min,R_max]中构造方向和幅度图像时，对称径向S_i取决于O_i、M_i和二维高斯A：

其中k是不同半径上对O_i和M_i进行归一化过程的径向限制参数，α则是该过程中的缩放因子，

定义为：

设S为在区域i∈[R_min,R_max]中，通过兴趣对称的完整快速径向对称法所确定的平均值：

根据得到的平均值S检测出椭圆形植物叶片对称区域位置的质心，以此提取植物叶片的中心点，提取到的植物叶片中心点如图3所示；

S4、提取植物叶片边缘：

S4-1、利用遍历的方法对植物叶片重叠部分的边缘进行凹点检测，给定一半径为r的圆形模板，该圆内的总像素点数为P，将该模板遍历重叠叶片的边缘点，将每个边缘点计算圆形模板内与重叠植物叶片区域相重叠的像素点个数记为A，根据下述公式(8)判断第j个点E_j是否为凹点，

其中t为判断边缘点E_j是否为凹点的阈值参数；

S4-2、边缘特征提取：根据步骤S4-1中对凹点的判断公式所得到的凹点集E＝{e₁,e₂,...,e_m}和步骤S3中得到的中心点集S＝{s₁,s₂,...,s_n}，将边缘特征提取函数f(e_k,s_l)定义为：

其中λ为权重，距离函数dis(e_k,s_l)计算从凹点e_k到最近的中心点s_l的距离l，发散函数div(e_k,s_l)计算e_k到s_l直线方向与该处渐变方向的差，根据下述公式(10)估算：

利用函数f(e_k,s_l)将拥有不同中心点的植物叶片边缘分别表示出来；

通过凹点检测和边缘提取得到的植物叶片轮廓如图4所示；

S5、植物叶片被遮挡部分轮廓预测：

在获得叶片边缘轮廓之后，利用可见区域的植物叶片部分以椭圆形对象的形式建模，通过基于最小二乘的椭圆拟合方法，推测重叠叶片的缺失部分；对于椭圆方程,给定一个的点(x，y)，参数向量a＝[a₀ a₁ a₂ a₃ a₄ a₅]，其二阶多项式代数距离的目标函数d(a,(x,y))表示为：

d(a,(x,y))＝a₀x²+a₁xy+a₂y²+a₃y+a₄y+a₅ (11)

对于所有点集{(x_i,y_i)|i＝1,2,...,n}的目标代价函数

所构成的线性回归矩阵D表示为：

根据圆弧拟合算法，约束矩阵C表示为：

根据拉格朗日乘子法，给定拉格朗日乘数λ和微分：

D^TDa+2λCa＝0 (14)

根据最小化问题求解方程组：

D^TDa＝λCa (15)

a^TCa＝-1

根据解出满足(15)方程条件的所有特征解来对椭圆进行拟合，从而预测重叠椭圆叶片被遮挡部分的缺失边缘；通过椭圆拟合得到的植物叶片完整轮廓如图5所示。

Claims (1)

1.一种基于椭圆拟合的椭圆形物体检测方法，其特征在于，包括如下步骤：

S1、图像获取：

采用图像采集设备从目标物体上方垂直于物体的角度采集图像，然后利用图像处理软件将需要分割的目标区域截取出来，并将图片格式转换成JPG图像格式；

S2、图像预处理：

S2-1、最大连通区域提取：由于截取后的图像中重叠目标总是集中分布在图像中的一块区域内，因此在整个图像的RGB组成中，仅提取G分量面积的最大值，将其余绿色分块的像素值变为0；

S2-2、超绿分割算法：基于步骤S2-1所得到的图像，设图像中有i个像素点，S_i为各像素点的像素值，R、G、B分别为图像中红、绿、蓝三种颜色的通量值；通过调整不同光照条件下的图像饱和度，利用Matlab中最大类间方差计算方法graythresh确定阈值T，根据：

当图像中目标区域叶片的灰度化因子小于等于阈值T时，对应位置的标记图像像素值等于255，反之则等于0，去除图像中非绿色部分和将图像二值化处理；

S2-3、顶帽变换：在步骤S2-2所得到的二值图像中，提取的目标区域包含目标对象及其附属部分，利用灰度级图像g的开操作去除附属部分(非目标区域)，避免后续的图像处理工作出现偏差；

S3、提取目标对象中心点：

使用快速径向对称法提取椭圆形物体的中心点，快速径向对称法是一种为了突出图像梯度的局部特征提取技术，逐一检测与目标区域边缘像素点有着特定距离的点，筛选出符合要求的中心点；

给定范围距离值i∈[R_min,R_max]，对于图像目标区域内任意一点的像素值，利用快速径向对称法确定像素正负影响因子p⁺、p^-，以及方向投影图像O_i与幅度投影图像M_i：表达式如下：

在区域i∈[R_min,R_max]中构造方向和幅度图像时，对称径向S_i取决于O_i、M_i和二维高斯A：

其中k是不同半径上对O_i和M_i进行归一化过程的径向限制参数，α则是该过程中的缩放因子，

定义为：

设S为在区域i∈[R_min,R_max]中，通过兴趣对称的完整快速径向对称法所确定的平均值：

根据得到的平均值S检测出椭圆形目标对称区域位置的质心，以此提取目标对象的中心点；

S4、提取目标对象边缘：

S4-1、利用遍历的方法对目标对象重叠部分的边缘进行凹点检测，给定一半径为r的圆形模板，该圆内的总像素点数为P，将该模板遍历重叠目标的边缘点，将每个边缘点计算圆形模板内与重叠区域相重叠的像素点个数记为A，根据下述公式(8)判断第j个点E_j是否为凹点，

其中t为判断边缘点E_j是否为凹点的阈值参数；

S4-2、边缘特征提取：根据步骤S4-1中对凹点的判断公式所得到的凹点集E＝{e₁,e₂,...,e_m}和步骤S3中得到的中心点集S＝{s₁,s₂,...,s_n}，将边缘特征提取函数f(e_k,s_l)定义为：

其中λ为权重，距离函数dis(e_k,s_l)计算从凹点e_k到最近的中心点s_l的距离l，发散函数div(e_k,s_l)计算e_k到s_l直线方向与该处渐变方向的差，根据下述公式(10)估算：

利用函数f(e_k,s_l)将拥有不同中心点的目标边缘分别表示出来；

S5、预测目标对象轮廓：

在获得目标对象的边缘轮廓之后，利用可见区域的目标部分以椭圆形对象的形式建模，通过基于最小二乘的椭圆拟合方法，推测目标对象被遮挡部分的边缘；对于椭圆方程,给定一个的点(x，y)，参数向量a＝[a₀ a₁ a₂ a₃ a₄ a₅]，其二阶多项式代数距离的目标函数d(a,(x,y))表示为：

d(a,(x,y))＝a₀x²+a₁xy+a₂y²+a₃y+a₄y+a₅ (11)

对于所有点集{(x_i,y_i)|i＝1,2,...,n}的目标代价函数

所构成的线性回归矩阵D表示为：

根据圆弧拟合算法，约束矩阵C表示为：

根据拉格朗日乘子法，给定拉格朗日乘数λ和微分：

D^TDa+2λCa＝0 (14)

根据最小化问题求解方程组：

根据解出满足(15)方程条件的所有特征解来对椭圆进行拟合，从而预测重叠椭圆形目标被遮挡部分的缺失边缘。

Images