CN109800619B - 成熟期柑橘果实图像识别方法 - Google Patents

Abstract

本发明公开了一种成熟期柑橘果实图像识别方法，包括步骤：采集图像并裁切；将裁切后的图像转化为黑白二值图像并去除黑色孔洞及白色伪目标黑色化处理；对检测到的果实轮廓宽度单像素化，读取标记区果实轮廓坐标，得到果实轮廓坐标矩阵；形成按顺时针方向排列的柑橘果实轮廓坐标集；找出不同果实轮廓的交点，形成柑橘果实轮廓交点集；选出各连通区域内无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段；曲线拟合，舍弃伪果实目标并去除过度拟合曲线；计算曲线参数。本发明对采图角度不敏感，保证了被遮挡果实区域轮廓提取的准确性，满足了果实轮廓还原时同时检测圆形果实与椭圆形果实的要求，能同时检测部分遮挡及无遮挡的果实。

Description

成熟期柑橘果实图像识别方法

技术领域

本发明特别涉及一种成熟期柑橘果实图像识别方法。

背景技术

树上果实的实时在线识别是果实采收机器人的核心技术之一，也是果实信息化管理的基础性问题，被遮挡果实的快速识别就是这些问题中首先要攻克的难点问题。

树上果实机器识别主要包括未被遮挡的果实区域轮廓段提取、果实轮廓的还原、果实位置与大小参数计算3个环节，以往的方法在轮廓提取环节上受光照条件及图像采集角度影响较大，同时存在果实轮廓还原时单一性质曲线的局限。

发明内容

本发明的目的在于，针对上述现有技术的不足，提供一种成熟期柑橘果实图像识别方法，对于顺光、逆光、侧光等采图角度不敏感，保证了被遮挡果实区域轮廓提取的准确性，满足了果实轮廓还原时同时检测圆形果实与椭圆形果实的要求，能同时检测部分遮挡及无遮挡的柑橘果实。

为解决上述技术问题，本发明所采用的技术方案是：

一种成熟期柑橘果实图像识别方法，其特点在于包括以下步骤：

步骤A：采集树上柑橘果实图像，并对采集到的柑橘果实图像进行t×t像素大小的图像裁切；

步骤B：

B1.建立γ＝0.5R-0.42G-0.81B的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，对γ色差分量图进行灰度转换，并通过自动阈值法转化为黑白二值图像；

B2.利用白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，同时将黑白二值图像中的白色果实伪目标黑色化背景处理；

步骤C：通过Canny算子检测经过步骤B2得到的黑白二值图像，统计各连通区域像素数，对像素数小于50的独立的边界轮廓黑色化处理，对检测到的果实轮廓宽度单像素化，标记单像素化后的果实轮廓图像，读取各标记区果实轮廓坐标，得到柑橘果实轮廓坐标矩阵；

步骤D：以柑橘果实轮廓坐标矩阵的第1点为始点，按顺时针方向在柑橘果实轮廓坐标矩阵中找出距该始点距离最小的点作为第2点，依次搜寻，至柑橘果实轮廓坐标矩阵最后一点结束，形成按顺时针方向排列的柑橘果实轮廓坐标集；

步骤E：在各连通区域内遍历柑橘果实轮廓坐标集，找出不同果实轮廓的交点，形成柑橘果实轮廓交点集；

步骤F：根据柑橘果实轮廓交点集选出各连通区域内无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段；

步骤G：对步骤F中选出的无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段进行最小二乘拟合，舍弃大小超正常果实0.3～1.7倍的伪果实目标；同时，对于大小与中心点均在5个像素内的多条过度拟合曲线，仅保留其中任一条；

步骤H：计算步骤G中保留下来的二次曲线各连通区域内圆形轮廓曲线的中心坐标和半径大小；计算步骤G中保留下来的二次曲线各连通区域内椭圆形轮廓曲线的中心坐标、长轴大小和短轴大小。

作为一种优选方式，所述步骤E中，不同轮廓的交点满足以下条件：对某连通区域的边界轮廓上的点，若中间若干点处倾斜角为0°或90°，且首尾倾斜角分别为(45°，135°)或(135°，45°)，则该中间若干点对应的首尾点为不同轮廓的交点。

作为一种优选方式，所述步骤F包括：

步骤F1：在任一个连通区域内，任取相邻的两个轮廓交点A₁和A₂，假定点A₁和A₂间的轮廓段是中心为M₀(x₀，y₀)的椭圆弧，椭圆弧的中点为B(x，y)，C₁、C₂为A₁B和A₂B的中点，解方程组

求得x₀和y₀，计算

上述方程组中，

步骤F2：在轮廓曲线段A₁A₂上随机取3个点(x_(i)，y_(i))，i＝1，2，3，计算椭圆率

其中

若|E_i|≤0.15，则步骤F1中点A₁和A₂间的轮廓段为椭圆弧的假设成立，进入步骤F3；若|E_i|＞0.15，则步骤F1中点A₁和A₂间的轮廓段为椭圆弧的假设不成立，返回步骤F1；

步骤F3：在轮廓曲线上取下一个轮廓交点A₃(x_j，y_j)，计算椭圆率

其中

若|E_j|≤0.15，则轮廓曲线段A₂A₃与轮廓曲线段A₁A₂属于同一个椭圆弧；再在轮廓曲线上取下一个轮廓交点(x_j+1，y_j+1)，并判断(x_j+1，y_j+1)与前一轮廓交点之间的轮廓曲线段与轮廓曲线段A₁A₂是否属于同一个椭圆弧，直到该连通区域最后一个交点；

步骤F4：返回步骤F1，对所有的连通区域循环执行步骤F1～步骤F3。

作为一种优选方式，所述步骤A中，对采集到的柑橘果实图像进行1024×1024像素大小的图像裁切。

作为一种优选方式，所述步骤B2中，对黑白二值图像中像素数小于500的果实伪目标黑色化背景处理。

作为一种优选方式，所述步骤H中，设待拟合的圆形及椭圆形曲线方程为

p(1)x²+p(2)xy+p(3)y²+p(4)x+p(5)y+1＝0，式中，

p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数，对未被遮挡的柑橘果实轮廓段依据最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。

与现有技术相比，本发明所用γ＝0.50R-0.42G-0.81B色差模型的分量图受光照条件影响小，对于顺光、逆光、侧光等采图角度不敏感；利用两点处倾斜角分别为45°、135°或135°、45°且两点间倾斜角为0°或90°的交点固有特征，能准确找出果实间或果实与枝叶间的轮廓交点，保证了被遮挡果实区域轮廓提取的准确性；依据椭圆上任意一条不平行于对称轴的弦所在直线的斜率与该弦中点和椭圆中心的连线的斜率之积为定值的椭圆几何性质，精确筛选出无遮挡的柑橘果实完整轮廓及部分遮挡的柑橘果实中未被遮挡的轮廓椭圆弧段；依据筛选结果，进行二次曲线拟合，满足了果实轮廓还原时同时检测圆形果实与椭圆形果实的要求，能同时检测部分遮挡及无遮挡的柑橘果实。

附图说明

图1为柑橘果实裁切图像。

图2为γ色差分量图。

图3为黑白二值图像。

图4为运用白色填充法去除黑色孔洞后的图像。

图5为对白色伪目标黑色化背景处理后的图像。

图6为Canny算子检测到的果实轮廓图像。

图7为对图6去除独立的细小边界轮廓后的图像。

图8为单像素化果实轮廓图。

图9为轮廓交点提取示意图。

图10为轮廓段遴选示意图。

图11为图像识别结果示意图。

具体实施方式

如图1所示，本发明的一实施例包括

步骤A：采集树上柑橘果实图像，并对采集到的柑橘果实图像进行1024×1024像素大小的图像裁切。

为实现柑橘果实目标实时在线识别，步骤A具体包括：对原始成熟期挂果柑橘树图像按从左上角至右下角的顺序进行裁切窗口覆盖，窗口控制在1024×1024像素大小以下，产生若干幅裁切图像，图1为一裁切图像示例。设f(x,y)为裁切后的某一幅柑橘树图像，F(x',y')为原始采集到的成熟期柑橘树图像，x'与x分别为裁切前后柑橘树图像的行坐标，y'与y分别为裁切前后柑橘树图像的列坐标，x′₁与y′₁分别为裁切的行与列的始点，x′₂与y′₂分别为裁切的行与列的终点，x′₂-x′₁＝y′₂-y′₁≤1023。

f(x,y)＝F(x',y'),x∈[x′₁,x′₂],y∈[y′₁,y′₂] (1)

步骤B：

B1.建立γ＝0.5R-0.42G-0.81B的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，减少光照条件与采图角度的影响，得到如图2所示的γ色差分量图。对γ色差分量图进行灰度转换，并通过式(2)中的自动阈值法转化为黑白二值图像，如图3所示。式(2)中，f₁(x,y)为f(x,y)的黑白二值图像，T为自动阈值。

B2.由于黑白二值图像中的白色果实目标中存在杂散分布的黑色孔洞，运用式(3)中的白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，以保证果实区域的完整性，如图4所示。式(3)中，f₂(x,y)为白色填充后的图像，δ为黑色孔洞，ω为白色区域。

同时，由于果实目标区域外杂散分布的白色孔洞像素数通常在500以内，通过式(4)对于黑白二值图像中零散分布像素数小于500的白色果实伪目标黑色化背景处理，即将像素数小于500的非连通区域灰度值置与柑橘果实背景相同的0值，如图5所示，式(4)中，f₃(x,y)为零散伪目标处理后的图像，s为伪目标白色像素数。通过此方法，与成熟柑橘果实表皮色泽接近的枯叶、小石子等伪目标皆处理成了黑色背景，以白色反映出的果实目标区域最大限度地保留下来，形成了柑橘果实目标二值图。

至此，果实区域及果实区域外的背景处理到位，形成了完整的柑橘果实目标黑白二值图像。

步骤C：通过Canny算子检测经过步骤B2得到的黑白二值图像，得到如图6所示的果实轮廓图像。统计图6中各连通区域像素数，对像素数小于50的独立的细小边界轮廓黑色化处理，得到图7中的图像。对图7中的检测到的果实轮廓宽度单像素化，标记单像素化后的果实轮廓图像，得到如图8所示的轮廓单像素化图像，读取各标记区果实轮廓坐标，得到柑橘果实轮廓坐标矩阵f₄(x,y)。

步骤D：柑橘果实轮廓坐标矩阵f₄(x,y)按行或列的大小顺序排列，这种情形不利于轮廓上点的特征分析与计算，为此将柑橘果实轮廓坐标矩阵f₄(x,y)按顺时钟方向重新排列。以柑橘果实轮廓坐标矩阵f₄(x,y)的第1点为始点，按顺时针方向在柑橘果实轮廓坐标矩阵中找出距该始点距离最小的点作为第2点，在除第1、2点外的其它点中找出距离第2点最近的点作为第3点，依次搜寻，至柑橘果实轮廓坐标矩阵最后一点结束，形成按顺时针方向排列的柑橘果实轮廓坐标集f₅(x,y)。

步骤E：过边界轮廓上相邻点的直线倾斜角仅为0°、45°、90°或135°四种情形，若中间若干点处的倾斜角为0°或90°，且首尾倾斜角分别为(45°，135°)或(135°，45°)，则中间若干点的首尾点为不同轮廓的交点。在各连通区域内遍历柑橘果实轮廓坐标集，查找符合上述特征的点，得到柑橘果实、枝叶彼此间不同轮廓的交点，形成柑橘果实轮廓交点集。根据这一特征进行轮廓交点的检测，检测程序简单、速度快。图9为轮廓交点提取的一个实例。

步骤F：根据柑橘果实轮廓交点集选出各连通区域内无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段。

轮廓段遴选过程要解决两个问题，一是相邻两轮廓交点间的曲线段隶属于同一果实，还是不同果实的问题；二是各曲线段是可进行拟合的椭圆弧，还是不能用于拟合的直线及其他非规则曲线的问题。

为解决以上问题，引入椭圆的一几何性质：椭圆上任意一条不平行于对称轴的弦所在直线的斜率与该弦中点和椭圆中心的连线的斜率之积为定值。

具体地，步骤F包括：

步骤F1：在任一个连通区域内(如第一连通区域内)，任取相邻的两个轮廓交点A₁和A₂，假定点A₁和A₂间的轮廓段是中心为M₀(x₀，y₀)的椭圆弧，椭圆弧的中点为B(x，y)，C₁、C₂为A₁B和A₂B的中点。图10为轮廓段遴选示意图。依据上述椭圆几何性质，建立下列方程组：

求得x₀和y₀，从而确定中心点M₀(x₀，y₀)，计算

上述方程组(5)中，

y)为椭圆弧A₁A₂像素点数的取整。

步骤F2：在轮廓曲线段A₁A₂上随机取3个点(x_(i)，y_(i))，i＝1，2，3，计算椭圆率

其中

若|E_i|≤0.15，则步骤F1中点A₁和A₂间的轮廓段为椭圆弧的假设成立，进入步骤F3；若|E_i|＞0.15，则步骤F1中点A₁和A₂间的轮廓段为椭圆弧的假设不成立，返回步骤F1；

步骤F3：在轮廓曲线上取下一个轮廓交点A₃(x_j，y_j)，计算椭圆率

其中

若|E_j|≤0.15，则轮廓曲线段A₂A₃与轮廓曲线段A₁A₂属于同一个椭圆弧；再在轮廓曲线上取下一个轮廓交点(x_j+1，y_j+1)，并判断(x_j+1，y_j+1)与前一轮廓交点之间的轮廓曲线段与轮廓曲线段A₁A₂是否属于同一个椭圆弧，直到该连通区域最后一个交点结束。

步骤F4：返回步骤F1，对所有的连通区域循环执行步骤F1～步骤F3。

通过以上步骤，各连通区域内无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段被遴选出来。

步骤G：对步骤F中选出的无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段进行最小二乘拟合，舍弃大小超正常果实0.3～1.7倍的伪果实目标；同时，对于大小与中心点均在5个像素内的多条过度拟合曲线，仅保留其中任一条，实现被遮挡区域果实轮廓的还原；

步骤H：计算步骤G中保留下来的二次曲线各连通区域内圆形轮廓曲线的中心坐标和半径大小；计算步骤G中保留下来的二次曲线各连通区域内椭圆形轮廓曲线的中心坐标、长轴大小和短轴大小，精确到1个像素单位，完成被部分遮挡果实图像的机器识别。

所述步骤H中，设待拟合的圆形及椭圆形曲线方程为

p(1)x²+p(2)xy+p(3)y²+p(4)x+p(5)y+1＝0， (6)

式(6)中，p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数。对未被遮挡的柑橘果实轮廓段依据最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。

图11示出了识别结果图，在当前图像坐标系中，以像素数为单位，Ⅰ果中心点坐标为(150，180)，长短轴分别为60与47；Ⅱ果中心点坐标为(207，136)，长短轴分别为65与56；Ⅲ果中心点坐标为(167，438)，长短轴分别为74与52；Ⅳ果中心点坐标为(263，71)，长短轴分别为52与40；Ⅴ果中心点坐标为(231，333)，长短轴分别为21与13；Ⅵ果中心点坐标为(414，285)，长短轴分别为74与53。

上面结合附图对本发明的实施进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是局限性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (5)

1.一种成熟期柑橘果实图像识别方法，其特征在于，包括以下步骤：

步骤A：采集树上柑橘果实图像，并对采集到的柑橘果实图像进行t×t像素大小的图像裁切；

步骤B：

B1.建立γ＝0.5R-0.42G-0.81B的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，对γ色差分量图进行灰度转换，并通过自动阈值法转化为黑白二值图像；

B2.利用白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，同时将黑白二值图像中的白色果实伪目标黑色化背景处理；

步骤C：通过Canny算子检测经过步骤B2得到的黑白二值图像，统计各连通区域像素数，对像素数小于50的独立的边界轮廓黑色化处理，对检测到的果实轮廓宽度单像素化，标记单像素化后的果实轮廓图像，读取各标记区果实轮廓坐标，得到柑橘果实轮廓坐标矩阵；

步骤D：以柑橘果实轮廓坐标矩阵的第1点为始点，按顺时针方向在柑橘果实轮廓坐标矩阵中找出距该始点距离最小的点作为第2点，依次搜寻，至柑橘果实轮廓坐标矩阵最后一点结束，形成按顺时针方向排列的柑橘果实轮廓坐标集；

步骤E：在各连通区域内遍历柑橘果实轮廓坐标集，找出不同果实轮廓的交点，形成柑橘果实轮廓交点集；

步骤F：根据柑橘果实轮廓交点集选出各连通区域内无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段；

所述步骤F包括：

步骤F1：在任一个连通区域内，任取相邻的两个轮廓交点A₁和A₂，假定点A₁和A₂间的轮廓段是中心为M₀(x₀，y₀)的椭圆弧，椭圆弧的中点为B(x，y)，C₁、C₂为A₁B和A₂B的中点，解方程组

求得x₀和y₀，计算

上述方程组中，

步骤F2：在轮廓曲线段A₁A₂上随机取3个点(x_(i)，y_(i))，i＝1，2，3，计算椭圆率

其中

若|E_i|≤0.15，则步骤F1中点A₁和A₂间的轮廓段为椭圆弧的假设成立，进入步骤F3；若|E_i|＞0.15，则步骤F1中点A₁和A₂间的轮廓段为椭圆弧的假设不成立，返回步骤F1；

步骤F3：在轮廓曲线上取下一个轮廓交点A₃(x_j，y_j)，计算椭圆率

其中

若|E_j|≤0.15，则轮廓曲线段A₂A₃与轮廓曲线段A₁A₂属于同一个椭圆弧；再在轮廓曲线上取下一个轮廓交点(x_j+1，y_j+1)，并判断(x_j+1，y_j+1)与前一轮廓交点之间的轮廓曲线段与轮廓曲线段A₁A₂是否属于同一个椭圆弧，直到该连通区域最后一个交点；

步骤F4：返回步骤F1，对所有的连通区域循环执行步骤F1～步骤F3；

步骤G：对步骤F中选出的无遮挡的柑橘果实轮廓、部分遮挡的柑橘果实轮廓中未被遮挡的椭圆弧段进行最小二乘拟合，舍弃大小超正常果实0.3～1.7倍的伪果实目标；同时，对于大小与中心点均在5个像素内的多条过度拟合曲线，仅保留其中任一条；

步骤H：计算步骤G中保留下来的二次曲线各连通区域内圆形轮廓曲线的中心坐标和半径大小；计算步骤G中保留下来的二次曲线各连通区域内椭圆形轮廓曲线的中心坐标、长轴大小和短轴大小。

2.如权利要求1所述的成熟期柑橘果实图像识别方法，其特征在于，所述步骤E中，不同轮廓的交点满足以下条件：对某连通区域的边界轮廓上的点，若中间若干点处倾斜角为0°或90°，且首尾倾斜角分别为(45°，135°)或(135°，45°)，则该中间若干点对应的首尾点为不同轮廓的交点。

3.如权利要求1或2所述的成熟期柑橘果实图像识别方法，其特征在于，所述步骤A中，对采集到的柑橘果实图像进行1024×1024像素大小的图像裁切。

4.如权利要求1或2所述的成熟期柑橘果实图像识别方法，其特征在于，所述步骤B2中，对黑白二值图像中像素数小于500的果实伪目标黑色化背景处理。

5.如权利要求1或2所述的成熟期柑橘果实图像识别方法，其特征在于，所述步骤H中，设待拟合的圆形及椭圆形曲线方程为

p(1)x²+p(2)xy+p(3)y²+p(4)x+p(5)y+1＝0，式中，

p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数，对未被遮挡的柑橘果实轮廓段依据最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。

Images