CN103336946A - 一种基于双目立体视觉的成簇状番茄识别方法 - Google Patents

Abstract

本发明公开了一种基于双目立体视觉的成簇状番茄识别方法。双目立体相机获取成簇番茄立体图像对；对立体图像对进行图像分割，提取番茄待识别番茄簇边界；多果匹配；立体匹配；三角测距获得深度图；使用8邻域众数滤波法实现深度图去噪；对深度图用迭代Otsu法实现成簇类型识别；对粘连区域，直接对待识别番茄簇边界使用边缘曲率分析的识别方法；对重叠区域，分割出最前番茄区域后，重新进行区域标记等操作，提取出番茄重叠区域深度图边缘后对待识别番茄簇边界进行分割，再使用边缘曲率分析的识别方法；根据番茄区域深度均值识别出最前番茄。应用本发明可实现对不同类型的成簇番茄使用不同的识别方法，及重叠比例较高情况下的成簇番茄识别。

Description

一种基于双目立体视觉的成簇状番茄识别方法

技术领域

本发明涉及成簇状番茄识别方法，尤其是涉及一种基于双目立体视觉的成簇状番茄识别方法。

背景技术

果蔬采摘机器人是实现自动化采摘作业的一种解决方案，果实识别是果蔬采摘机器人实现果实采摘的前提。

成簇状番茄指呈相互接触生长状态的多个番茄。番茄在自然生长状态下，成簇状现象非常普遍，如某温室中的番茄，87.5%是成簇状生长。成簇番茄的几类常见生长状态如图1所示。定义番茄重叠率为番茄簇中，某个番茄被其他番茄遮挡的面积与该番茄总面积的比例。根据番茄重叠率，定义两类成簇状番茄。图1中第一行的2类重叠比例小，为粘连类型；第二行和第三行的5类为重叠比例大，为重叠类型。番茄相互接触后，由于番茄颜色相近，所以较难实现图像中番茄之间的分离，易将多个番茄误识别为同一个番茄，造成番茄大小及位置信息提取错误，最终无法实现番茄的自动采摘。

目前成簇状果实自动识别系统基本采用图像接收装置和图像分析处理系统组成的机器视觉系统。应用的成簇状果实自动识别方法是通过图像分割，识别出成簇状果实区域后，再根据果实轮廓的形状特征，实现成簇状果实的自动识别。所使用的方法主要包括：分水岭算法（周天娟等.基于数学形态学的相接触草莓果实的分割方法及比较研究,农业工程学报.2007,23(9):164-168），基于Hough变换的识别算法（姚立健等.广义Hough变换在遮挡图像识别中的应用,农业工程学报.2008,24(12):97-101）及基于果实边缘几何形状的识别算法(项荣等.基于边缘曲率分析的重叠番茄识别,农业机械学报.2012,43(3):157-162)等。分水岭算法常用于粘连区域分离，但较易出现过分割或欠分割的情况；基于Hough变换的识别方法，运用形状建模的思想，通过预先建立的形状模型实现成簇状果实的识别，具有较强的抗干扰能力，但其时间成本相对较高；基于果实边缘几何形状的识别方法，常见用于类圆形成簇状果实的识别。通过提取无遮挡的果实边缘点，求解相应的圆回归方程，实现成簇状果实的识别。该方法依赖于无遮挡边缘的长度，若无遮挡边缘信息不足，较易产生误识别。上述方法均是基于二维图像信息实现成簇状果实的识别，当成簇状果实的边缘信息较丰富时，能较好地实现成簇状果实的识别。当果实重叠比例较大导致边缘形状信息不足时，由于深度信息缺失，使用该类方法实现成簇状果实的识别仍存在较大困难。另外，上述方法均未对成簇状果实的类型加以区别，对所有成簇状果实采用单一方法，因此其对不同类型成簇状果实识别的适应性能均不够理想。

发明内容

本发明的目的在于提供一种基于双目立体视觉的成簇状番茄识别方法，可实现成簇状番茄类型的识别，并根据成簇状番茄的类型，采用不同识别方法实现不同类型成簇状番茄的识别。

本发明采用的技术方案是：

本发明包括如下步骤：

1.1）番茄图像分割：用基于分段阈值图像分割及光斑识别的室外番茄识别方法实现番茄图像分割；计算各番茄区域的最小外接矩及其形心坐标；从二值图像中直接提取待识别番茄簇的边界；

1.2）多果匹配：以双目立体图像的右图像为匹配基准，根据右图像中的各番茄区域形心坐标和左图像中各番茄区域的形心坐标间的水平和垂直极线约束条件，实现右图像中各番茄区域与左图像中各番茄区域间的匹配；

1.3）视差图像获取：通过对右图像中番茄区域的各像素点逐点运用区域立体匹配方法，在左图像匹配的番茄区域中寻找匹配的像素，获得右图像番茄区域中各像素的视差后，获取番茄区域视差图；

1.4）深度图获取：根据步骤1.3获得的视差图，运用三角测距原理获得番茄区域深度图，定义番茄表面一点到双目立体相机的右相机光心平面的垂直距离为该点的深度，以右图像中番茄区域内各像素对应的深度值作为深度图；

1.5）使用8邻域众数滤波法对深度图去噪：获得深度图后，遍历深度图中番茄区域的每个像素p_i的8邻域，统计p_i的8邻域内深度值在番茄可能的最近距离至最远距离范围内的番茄像素pt的个数num，若num小于3，则该p_i的深度值为0；否则找到该p_i的8邻域内所有pt的深度最大值max和深度最小值min，根据该p_i的8邻域内各pt的深度值与max，min的差值，将该p_i的8邻域内所有的pt分为两类，将各pt归入其深度值与max，min的差值较小所对应的那一类，并分别统计两类中的pt个数，将pt个数多的那一类中的所有pt的深度均值作为该p_i的深度值；若两类中的pt个数相同，则将该p_i的8邻域内所有pt的深度均值作为该p_i的深度值；

1.6）用深度图迭代Otsu法进行成簇区域的成簇类型识别：迭代过程如下：用深度图Otsu法自动获取深度图的分割阈值D_kmax；将番茄区域深度值小于D_kmax的像素分割为番茄前区域F，番茄区域深度值大于等于D_kmax的像素分割为番茄后区域B；分别计算前后区域面积A_F、A_B，前后区域的深度均值D_F和D_B，用式（1）计算前后区域深度均值差C；判断C是否大于40mm；若C大于40mm，则判断A_F，A_B是否同时大于等于面积阈值T；若是，则去除B，设置重叠区域标识overlappingflag为1，且用深度图分割阈值Threshold保存D_kmax；若A_F小于T，则把F作为背景去除；若A_B小于T，或A_F大于等于T，则将B作为背景去除；对保留的区域重复上述步骤；若C小于40mm，则结束迭代过程；迭代过程结束后，若重叠区域标识overlappingflag为1，则该成簇番茄区域识别为重叠区域，转到步骤1.8；否则该成簇番茄区域识别为粘连区域，执行步骤1.7；

C=D_B-D_F            （1）

1.7）粘连番茄区域识别：运用项荣等提出的基于边缘曲率分析的成簇番茄识别方法对步骤1.1得到的番茄区域待识别番茄簇边界进行识别，识别出待识别番茄簇边界所对应的各个番茄的回归圆后转到步骤1.9；

1.8）重叠区域识别：使用步骤1.6得到的深度图分割阈值Threshold，对重叠区域的深度图进行阈值分割，实现重叠番茄区域深度图的图像分割；对重叠区域深度图分割结果进行开运算，8邻域区域标记及小区域去除；根据重叠区域深度图中各像素的区域标记，将区域标记发生突变的像素所形成的边界作为重叠区域的深度图边缘，且区域标记相同的深度图边缘点组成重叠区域内的某个番茄区域的深度图边缘；遍历步骤1.1得到的待识别蕃茄簇边界上的所有边缘点e1，若e1的5×5邻域内存在深度图边缘的边缘点e2，则将该边缘点e1的区域标记改为其5×5邻域内离其最近的边缘点e2的区域标记；遍历完成后，待识别番茄簇边界按照各边缘点的区域标记被分割成与该重叠区域内番茄个数相对应的若干段；最后对待识别番茄簇边界经分割后得到的各段边缘分别使用步骤1.7中的基于边缘曲率分析的成簇番茄识别方法实现重叠区域中各番茄的识别；

1.9）首先被采摘的番茄的识别：对各回归圆内的所有番茄像素的三维坐标取均值作为该回归圆对应的番茄的三维坐标；将深度均值最小的那个回归圆对应的番茄作为首先被采摘的对象。

所述步骤1.5中，8邻域众数滤波法，，获得深度图后，遍历深度图中番茄区域的每个像素p_i的8邻域；统计p_i的8邻域内深度值在番茄可能的最近距离至最远距离范围内的番茄像素pt的个数num，若num小于3，则该p_i的深度值为0；否则找到该p_i的8邻域内所有pt的深度最大值max和深度最小值min；比较该p_i的8邻域内各pt的深度值与max，min的差值，如果该p_i的8邻域内的某pt的深度值与max的差值比该pt的深度值与min的差值小，则将该pt的深度值累加到sum_max中，同时将num_max自增1，否则，将该pt的深度值累加到sum_min中，同时将num_min自增1；对该p_i的8邻域内所有pt均执行上述操作后，比较num_max和num_min的大小，若num_max等于num_min，取（sum_min+sum_max）/（num_min+num_max）作为该p_i的深度值，若num_max大于num_min，则将sum_max/num_max的值作为该p_i的深度值，否则将sum_min/num_min作为该p_i的深度值。

所述步骤1.6中深度图迭代Otsu法，包含如下步骤：

3.1）用深度图Otsu法获取深度图分割阈值D_kmax；

3.2）将番茄区域深度值小于D_kmax的像素分割为番茄前区域F，番茄区域深度值大于等于D_kmax的像素分割为番茄后区域B；

3.3）计算前后区域面积A_F，A_B，前后区域的深度均值D_F，D_B，及前后区域深度均值差C；判断C是否大于40mm；

3.4）若C大于40mm，则判断A_F，A_B是否同时大于等于面积阈值T；

3.5）若是，则去除B，设置重叠区域标识overlappingflag为1，且用Threshold保存D_kmax；

3.6）若A_F小于T，则把F作为背景去除；

3.7）若A_B小于T，或A_F大于等于T，则将B作为背景去除；

3.8）对上述处理后保留的区域重复上述步骤；

3.9）若步骤3.3后，C小于40mm，则结束深度图迭代Otsu过程。

所述步骤3.1中深度图Otsu法，计算番茄区域的深度最小值D_min，深度最大值D_max；从D_min到D_max选取不同的深度阈值D_k，根据式（2）分别计算σ² _C值；取σ² _C值最大时对应的D_kmax为深度图分割阈值；

${\mathrm{\σ}}_C^2=m_T{m}_B{({\mathrm{\μ}}_T-{\mathrm{\μ}}_B)}^2---\left(2\right)$

其中，σ² _C为类间方差，m_T为成簇番茄前区域类质量，如式（3）；m_B为成簇番茄后区域类质量，如式（4）；μ_T为成簇番茄前区域类质量矩，如式（5）；μ_B为成簇番茄后区域类质量矩，如式（6）：

$m_T=\underset{i=1000(D_{\min }-D_{\min })+1}{\overset{1000(D_k-D_{\min })+1}{\mathrm{\Σ}}}{P}_i---\left(3\right)$

其中，P_i为深度值对应的频数

$m_B=\underset{i=1000(D_k-D_{\min })+2}{\overset{1000(D_{\max }-D_{\min })+1}{\mathrm{\Σ}}}{P}_i---\left(4\right)$

${\mathrm{\μ}}_T=\underset{i=1000(D_{\min }-D_{\min })+1}{\overset{1000(D_k-D_{\min })+1}{\mathrm{\Σ}}}i{P}_i/m_T---\left(5\right)$

${\mathrm{\μ}}_B=\underset{i=1000(D_k-D_{\min })+2}{\overset{1000(D_{\max }-D_{\min })+1}{\mathrm{\Σ}}}i{P}_i/m_B---\left(6\right).$

所述步骤1.6成簇类型识别，经深度图迭代Otsu法后，若前后区域面积A_F，A_B同时大于等于面积阈值T且前后区域深度均值差C大于40mm，即重叠区域标识overlappingflag为1，则该成簇番茄区域识别为重叠区域；否则该成簇番茄区域识别为粘连区域。

所述步骤1.8重叠区域识别包含如下步骤：

6.1）重叠区域深度图分割：使用步骤1.6后得到的深度图分割阈值Threshold，对重叠区域深度图进行阈值分割，实现重叠番茄区域的深度图分割；

6.2）重叠区域深度图分割结果的区域标记；对步骤6.1后得到的重叠区域深度图分割结果进行开运算，8邻域区域标记及小区域去除；

6.3）重叠区域深度图边缘提取：根据重叠区域深度图中各像素的区域标记，将区域标记发生突变的像素所形成的边界作为重叠区域的深度图边缘，且区域标记相同的深度图边缘点组成重叠区域内的某个番茄区域的深度图边缘；

6.4）基于重叠区域深度图边缘对待识别番茄簇边界进行分割：遍历步骤1.1得到的待识别番茄簇边界上的所有边缘点e1，若e1的5×5邻域内存在重叠区域深度图边缘的边缘点e2，则将该边缘点e1的区域标记改为其5×5邻域内离其最近的边缘点e2的区域标记；遍历完成后，待识别番茄簇边界按照各边缘点的区域标记被分割成与该重叠区域内番茄个数相对应的若干段；

6.5）重叠番茄识别：最后对步骤6.4后得到的各段番茄区域边缘，分别使用基于边缘曲率分析的成簇番茄识别方法实现重叠区域中各番茄的识别。

项荣等基于边缘曲率分析的成簇番茄识别方法的具体实现如下：

a.对待识别番茄簇边界上的所有边缘点按逆时针方向排序；

b.逐点计算各边缘点的曲率值，如式（7）：

$H=\frac{{\mathrm{\θ}}_2-{\mathrm{\θ}}_1}{(2v+1)}---\left(7\right)$

其中，H为当前采样点的曲率；v为采样间隔，本研究中设为5；θ₁为当前点到前一点连线与x轴夹角，θ₂为后一点到当前点连线与x轴夹角，θ₁及θ₂的计算如式（8）：

其中，(x₂，y₂)为后采样点的坐标；(x₁，y₁)为前采样点的坐标。

c.将曲率值异常的边缘点去除，即不符合以下6条边缘点准则中的任意一条的边缘点。

6条边缘点识别准则如下：

边缘点识别准则1：边缘点曲率值在[c_min，c_max]范围之内；

边缘点识别准则2：边缘点的曲率梯度值小于c_t；

边缘点识别准则3：边缘点的曲率梯度累加和小于c_tsum；

边缘点识别准则4：连续满足准则1-准则3的边缘点的点数大于等于t_p个点；

边缘点识别准则5：若两正常边缘线段间的伪边缘点数小于f_p，则将这两段边缘连同中间的伪边缘点都作为一条正常边缘看待；

边缘点识别准则6：线段长度应大于等于轮廓上边缘点总数的1/n。

d.对剩余的边缘点使用圆回归的方法实现粘连区域中各番茄的识别。回归圆的一般方程如式（9），回归圆系数计算如式(10)所示。运用高斯消元法，可求得式(10)中的各个系数，从而求得圆的回归方程。

x²+y²+bx+cy+d＝0(9)

其中，x、y为圆上点的横纵坐标；b、c、d为方程的系数。

$\left[\begin{array}{ccc}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i^2& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i{y}_i& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i\\ \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i{y}_i& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i^2& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i\\ \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i& N\end{array}\right]\left[\begin{array}{c}b\\ c\\ d\end{array}\right]=\left[\begin{array}{c}-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i^2+y_i^2)x_i\\ -\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i^2+y_i^2)y_i\\ -\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i^2+y_i^2)\end{array}\right]---\left(10\right)$

其中，x_i、y_i为番茄边缘点的横纵坐标，N为边缘点个数。

本发明具有的有益效果是：

本发明克服了重叠比例高的成簇番茄较难识别的问题，及单一成簇状番茄识别方法对不同类型成簇番茄识别效果不理想的问题，可以实现成簇状番茄类型的识别，并对不同类型的成簇状番茄使用不同识别方法，融合深度信息的识别方法还可以实现重叠比例较高的成簇状番茄的识别。

附图说明

图1是成簇番茄类型示意图。

图2是成簇番茄识别系统示意图。

图3是成簇番茄识别流程图。

图4是边缘分割示意图。

图5是深度图去噪示意图。

图6是深度图迭代Otsu流程图。

图7是边缘曲率计算示意图。

图中：1、番茄，2、双目立体相机，3、电源，4、1394图像采集卡，5、计算机，6、成簇番茄识别软件。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

如图2示意了成簇番茄识别系统的一个具体实施例。包括双目立体相机2，1394图像采集卡，计算机，成簇状番茄识别软件。其中，双目立体相机包含2个彩色Sony ICX204CCD，最大分辨率为1024×768，透镜焦距为6mm；计算机为Lenovo R400笔记本电脑，内存3G，CPU为Intel Core Duo T6570，带WIN7操作系统；图像采集卡型号为MOGE1394，带电源适配器（无220V电源时，也可使用蓄电池对相机供电）。使用1394连接线将双目立体相机与1394图像采集卡相连，1394图像采集卡通过7合1读卡器接口安装在笔记本电脑上。

成簇番茄识别的具体实现如下：

双目立体相机2中的彩色CCD接收到番茄1的一对光学图像对后，将其转换为一对电子图像对输出；双目立体相机2输出的这对电子图像对输入到1394图像采集卡；1394图像采集卡将模拟图像信号转换为数字图像信号后输入到成簇状番茄识别软件；成簇状番茄识别软件实现成簇状番茄的识别。

如图3所示，成簇状番茄识别软件中成簇状番茄识别方法的具体实现如下：

①图像分割：用基于分段阈值图像分割及光斑识别的室外番茄识别方法实现番茄图像分割；计算各番茄区域的最小外接矩及其形心坐标；从二值图像中直接提取待识别番茄簇的边界，如图4中的边缘ABCD；

②多果匹配：以双目立体图像的右图像为匹配基准，根据右图像中的各番茄区域形心坐标和左图像中各番茄区域的形心坐标间的水平和垂直极线约束条件，实现右图像中各番茄区域与左图像中各番茄区域间的匹配；

③视差图像获取：通过对右图像中番茄区域的各像素点逐点运用区域立体匹配方法，在左图像匹配的番茄区域中寻找匹配的像素，获得右图像番茄区域中各像素的视差后，获取番茄区域视差图；

④深度图获取：根据步骤③获得的视差图，运用三角测距原理获得番茄区域深度图，定义番茄表面一点到双目立体相机的右相机光心平面的垂直距离为该点的深度，以右图像中番茄区域内各像素对应的深度值作为深度图；

⑤使用8邻域众数滤波法对深度图去噪：获得深度图后，遍历深度图中番茄区域的每个像素p_i的8邻域，统计p_i的8邻域内深度值在200mm至1200mm范围内的番茄像素pt的个数num，若num小于3，则该p_i的深度值为0；否则找到该p_i的8邻域内所有pt的深度最大值max和深度最小值min，比较该p_i的8邻域内各pt的深度值与max，min的差值，如果该p_i的8邻域内的某pt的深度值与max的差值比该pt的深度值与min的差值小，则将该pt的深度值累加到sum_max中，同时将num_max自增1，否则，将该pt的深度值累加到sum_min中，同时将num_min自增1。对该p_i的8邻域内所有pt均执行上述操作后，比较num_max和num_min的大小，若num_max等于num_min，取（sum_min+sum_max）/（num_min+num_max）作为该p_i的深度值，若num_max大于num_min，则将sum_max/num_max的值作为该p_i的深度值，否则将sum_min/num_min作为该p_i的深度值。如在图5的左图中，经比较及统计后，可得max=343，min=301，num_max=1，num_min=8。因为num_min大于num_max，所以将sum_min/num_min=307作为该8邻域中心像素的深度值，如图5的右图；

⑥用深度图迭代Otsu法进行成簇区域的成簇类型识别：迭代过程如图6所示，计算番茄区域的深度最小值D_min，深度最大值D_max，从D_min到D_max选取不同的深度阈值D_k，根据式（1）分别计算σ² _C值，取σ² _C值最大时对应的D_kmax为深度图分割阈值；将番茄区域深度值小于D_kmax的像素分割为番茄前区域F，番茄区域深度值大于等于D_kmax的像素分割为番茄后区域B。如图1，第一行的这2类为粘连区域，前区域是某个番茄的前部，后区域是同一番茄的后部。第二行和第三行的这5类为重叠区域，前区域指位于重叠区域前部的番茄，后区域指位于重叠区域后部的番茄。其中，第二行的后两类是三层重叠，可能前区域包括最前面的番茄和中间的番茄，后区域仅包括最后面的那个番茄，也可能前区域仅包括最前面的番茄，而后区域包括中间的番茄和最后面的番茄。第三行的右边这一类，前区域中有2个番茄，因此其中任何一个均有可能是该区域内位于最前面的那个番茄；计算前后区域面积A_F，A_B，前后区域的深度均值D_F、D_B，用式（6）计算前后区域深度均值差C；判断C是否大于40mm；若C大于40mm，则判断A_F，A_B是否同时大于等于面积阈值T；若是，则去除B，设置重叠区域标识overlappingflag为1，且用Threshold保存D_kmax；若A_F小于T，则把F作为背景去除；若A_B小于T，或A_F大于等于T，则将B作为背景去除；对保留的区域重复上述步骤。若C小于40mm，则结束迭代过程；迭代过程结束后，若重叠区域标识overlappingflag为1，则该成簇番茄区域识别为重叠区域，转到步骤⑧；否则该成簇番茄区域识别为粘连区域，执行步骤⑦；

${\mathrm{\σ}}_C^2=m_T{m}_B{({\mathrm{\μ}}_T-{\mathrm{\μ}}_B)}^2---\left(1\right)$

其中，σ² _C为类间方差，m_T为成簇番茄前区域类质量，如式（2）；m_B为成簇番茄后区域类质量，如式（3）；μ_T为成簇番茄前区域类质量矩，如式（4）；μ_B为成簇番茄后区域类质量矩，如式（5）：

$m_T=\underset{i=1000(D_{\min }-D_{\min })+1}{\overset{1000(D_k-D_{\min })+1}{\mathrm{\Σ}}}{P}_i---\left(2\right)$

其中，P_i为深度值对应的频数。

$m_B=\underset{i=1000(D_k-D_{\min })+2}{\overset{1000(D_{\max }-D_{\min })+1}{\mathrm{\Σ}}}{P}_i---\left(3\right)$

${\mathrm{\μ}}_T=\underset{i=1000(D_{\min }-D_{\min })+1}{\overset{1000(D_k-D_{\min })+1}{\mathrm{\Σ}}}i{P}_i/m_T---\left(4\right)$

${\mathrm{\μ}}_B=\underset{i=1000(D_k-D_{\min })+2}{\overset{1000(D_{\max }-D_{\min })+1}{\mathrm{\Σ}}}i{P}_i/m_B---\left(5\right)$

C=D_B-D_F          （6）

⑦粘连番茄区域识别：运用项荣等提出的基于边缘曲率分析的成簇番茄识别方法对步骤①得到的番茄区域待识别番茄簇边界（ABCD）进行识别，识别出待识别番茄簇边界（ABCD）所对应的各个番茄的回归圆后转到步骤⑨。基于边缘曲率分析的成簇番茄识别方法的具体实现如下：

a.对待识别番茄簇边界（ABCD）上的所有边缘点按逆时针方向排序；

b.逐点计算各边缘点的曲率值，如式（7）：

$H=\frac{{\mathrm{\θ}}_2-{\mathrm{\θ}}_1}{(2v+1)}---\left(7\right)$

其中，H为当前采样点的曲率；v为采样间隔，本研究中设为5；θ₁为当前点到前一点连线与x轴夹角，θ₂为后一点到当前点连线与x轴夹角，如图7所示。θ₁及θ₂的计算如式（8）：

其中，(x₂，y₂)为后采样点的坐标；(x₁，y₁)为前采样点的坐标。

c.将曲率值异常的边缘点去除，即将不符合以下6条边缘点准则中的任意一条的边缘点去除。

6条边缘点识别准则如下：

边缘点识别准则1：边缘点曲率值在[c_min，c_max]范围之内；

边缘点识别准则2：边缘点的曲率梯度值小于c_t；

边缘点识别准则3：边缘点的曲率梯度累加和小于c_tsum；

边缘点识别准则4：连续满足准则1-准则3的边缘点的点数大于等于t_p个点；

边缘点识别准则5：若两正常边缘线段间的伪边缘点数小于f_p，则将这两段边缘连同中间的伪边缘点都作为一条正常边缘看待；

边缘点识别准则6：线段长度应大于等于轮廓上边缘点总数的1/n。

其中，c_min为-0.15，c_max为0，c_t为0.8，c_tsum为0.8，t_p为2，f_p为2，n为26。

d.对剩余的边缘点使用圆回归的方法实现粘连区域中各番茄的识别。圆回归的具体实现如下：圆的一般方程如式(9)所示。各边缘点与回归圆上相应点的偏差如式（10）所示。运用最小二乘原理，使各点偏差平方和最小，如式（11）。利用式（12）对各系数求偏导，当满足式（13）时，可求得圆回归方程的各个系数，如式(14)所示。运用高斯消元法，可求得式(14)中的各个系数，从而求得圆的回归方程。

x²+y²+bx+cy+d＝0(9)

其中，x、y为圆上点的横纵坐标；b、c、d为方程的系数。

E_i＝x_i ²+y_i ²+bx_i+cy_i+d(10)

其中，E_i为边缘点与对应回归圆上点的偏差；x_i、y_i为番茄边缘点的横纵坐标。

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i^2+y_i^2+{\mathrm{bx}}_i+{\mathrm{cy}}_i+d)}^2---\left(11\right)$

其中，N为边缘点个数。

$\left\{\begin{array}{c}\frac{\∂\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i^2}{\∂b}=2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i(x_i^2+y_i^2+{\mathrm{bx}}_i+{\mathrm{cy}}_i+d)\\ \frac{\∂\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i^2}{\∂c}=2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i(x_i^2+y_i^2+{\mathrm{bx}}_i+{\mathrm{cy}}_i+d)\\ \frac{\∂\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i^2}{\∂d}=2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i^2+y_i^2+{\mathrm{bx}}_i+{\mathrm{cy}}_i+d)\end{array}\right.---\left(12\right)$

$\frac{\∂\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i^2}{\∂b}=\frac{\∂\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i^2}{\∂c}=\frac{\∂\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i^2}{\∂d}=0---\left(13\right)$

$\left[\begin{array}{ccc}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i^2& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i{y}_i& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i\\ \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i{y}_i& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i^2& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i\\ \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i& \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i& N\end{array}\right]\left[\begin{array}{c}b\\ c\\ d\end{array}\right]=\left[\begin{array}{c}-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i^2+y_i^2)x_i\\ -\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i^2+y_i^2)y_i\\ -\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i^2+y_i^2)\end{array}\right]---\left(14\right)$

⑧重叠区域识别：使用步骤⑥后得到的深度分割阈值Threshold，对重叠区域的深度图进行阈值分割，实现重叠番茄区域的深度图的图像分割；对重叠区域深度图分割结果进行开运算，8邻域区域标记及小区域去除；根据重叠区域深度图中各像素的区域标记，将区域标记发生突变的像素所形成的边界作为重叠区域的深度图边缘，且区域标记相同的深度图边缘点组成重叠区域内的某个番茄区域的深度图边缘。如图4所示，从经区域标记后的重叠区域深度图中提取的重叠区域深度图边缘为EFG和EGH；遍历步骤①得到的待识别番茄簇边界（ABCD）上的所有边缘点e1，若e1的5×5邻域内存在重叠区域深度图边缘（EFG）和（EGH）的边缘点e2，则将该边缘点e1的区域标记改为其5×5邻域内离其最近的边缘点e2的区域标记，即ABC的区域标记2改为EFG的区域标记2，ACD的区域标记2改为EGH的区域标记3；遍历完成后，待识别番茄簇边界（ABCD）按照各边缘点的区域标记被分割成与该重叠区域内番茄个数相对应的2段，ABC和ACD；最后对待识别番茄簇边界（ABCD）分割后得到的2段番茄区域边缘（ABC）和（ACD），分别使用步骤⑦中的基于边缘曲率分析的成簇番茄识别方法实现重叠区域中各番茄的识别；

⑨首先被采摘的番茄的识别：对各回归圆内的所有番茄像素的三维坐标取均值作为该回归圆对应的番茄的三维坐标；将深度均值最小的那个回归圆对应的番茄作为首先采摘的对象。

经测试，该方法可对不同类型的成簇番茄使用不同的识别方法。该识别方法的平均执行时间500ms，即该识别方法的实时性能可满足采摘机器人视觉系统的工作要求。

Claims (6)

1.一种基于双目立体视觉的成簇状番茄识别方法，其特征在于，包括如下步骤：

1.1）番茄图像分割：用基于分段阈值图像分割及光斑识别的室外番茄识别方法实现番茄图像分割；计算各番茄区域的最小外接矩及其形心坐标；从二值图像中直接提取待识别番茄簇的边界；

1.2）多果匹配：以双目立体图像的右图像为匹配基准，根据右图像中的各番茄区域形心坐标和左图像中各番茄区域的形心坐标间的水平和垂直极线约束条件，实现右图像中各番茄区域与左图像中各番茄区域间的匹配；

1.3）视差图像获取：通过对右图像中番茄区域的各像素点逐点运用区域立体匹配方法，在左图像匹配的番茄区域中寻找匹配的像素，获得右图像番茄区域中各像素的视差后，获取番茄区域视差图；

1.4）深度图获取：根据步骤1.3获得的视差图，运用三角测距原理获得番茄区域深度图，定义番茄表面一点到双目立体相机的右相机光心平面的垂直距离为该点的深度，以右图像中番茄区域内各像素对应的深度值作为深度图；

1.5）使用8邻域众数滤波法对深度图去噪：获得深度图后，遍历深度图中番茄区域的每个像素p_i的8邻域，统计p_i的8邻域内深度值在番茄可能的最近距离至最远距离范围内的番茄像素pt的个数num，若num小于3，则该p_i的深度值为0；否则找到该p_i的8邻域内所有pt的深度最大值max和深度最小值min，根据该p_i的8邻域内各pt的深度值与max，min的差值，将该p_i的8邻域内所有的pt分为两类，将各pt归入其深度值与max，min的差值较小所对应的那一类，并分别统计两类中的pt个数，将pt个数多的那一类中的所有pt的深度均值作为该p_i的深度值；若两类中的pt个数相同，则将该p_i的8邻域内所有pt的深度均值作为该p_i的深度值；

1.6）用深度图迭代Otsu法进行成簇区域的成簇类型识别：迭代过程如下：用深度图Otsu法自动获取深度图的分割阈值D_kmax；将番茄区域深度值小于D_kmax的像素分割为番茄前区域F，番茄区域深度值大于等于D_kmax的像素分割为番茄后区域B；分别计算前后区域面积A_F、A_B，前后区域的深度均值D_F和D_B，用式（1）计算前后区域深度均值差C；判断C是否大于40mm；若C大于40mm，则判断A_F，A_B是否同时大于等于面积阈值T；若是，则去除B，设置重叠区域标识overlappingflag为1，且用深度图分割阈值Threshold保存D_kmax；若A_F小于T，则把F作为背景去除；若A_B小于T，或A_F大于等于T，则将B作为背景去除；对保留的区域重复上述步骤；若C小于40mm，则结束迭代过程；迭代过程结束后，若重叠区域标识overlappingflag为1，则该成簇番茄区域识别为重叠区域，转到步骤1.8；否则该成簇番茄区域识别为粘连区域，执行步骤1.7；

C=D_B-D_F            （1）

1.7）粘连番茄区域识别：运用项荣等提出的基于边缘曲率分析的成簇番茄识别方法对步骤1.1得到的番茄区域待识别番茄簇边界进行识别，识别出待识别番茄簇边界所对应的各个番茄的回归圆后转到步骤1.9；

1.8）重叠区域识别：使用步骤1.6得到的深度图分割阈值Threshold，对重叠区域的深度图进行阈值分割，实现重叠番茄区域深度图的图像分割；对重叠区域深度图分割结果进行开运算，8邻域区域标记及小区域去除；根据重叠区域深度图中各像素的区域标记，将区域标记发生突变的像素所形成的边界作为重叠区域的深度图边缘，且区域标记相同的深度图边缘点组成重叠区域内的某个番茄区域的深度图边缘；遍历步骤1.1得到的待识别蕃茄簇边界上的所有边缘点e1，若e1的5×5邻域内存在深度图边缘的边缘点e2，则将该边缘点e1的区域标记改为其5×5邻域内离其最近的边缘点e2的区域标记；遍历完成后，待识别番茄簇边界按照各边缘点的区域标记被分割成与该重叠区域内番茄个数相对应的若干段；最后对待识别番茄簇边界经分割后得到的各段边缘分别使用步骤1.7中的基于边缘曲率分析的成簇番茄识别方法实现重叠区域中各番茄的识别；

1.9）首先被采摘的番茄的识别：对各回归圆内的所有番茄像素的三维坐标取均值作为该回归圆对应的番茄的三维坐标；将深度均值最小的那个回归圆对应的番茄作为首先被采摘的对象。

2.根据权利要求1所述的一种基于双目立体视觉的成簇状番茄识别方法，其特征在于：所述步骤1.5中，8邻域众数滤波法，获得深度图后，遍历深度图中番茄区域的每个像素p_i的8邻域；统计p_i的8邻域内深度值在番茄可能的最近距离至最远距离范围内的番茄像素pt的个数num，若num小于3，则该p_i的深度值为0；否则找到该p_i的8邻域内所有pt的深度最大值max和深度最小值min；比较该p_i的8邻域内各pt的深度值与max，min的差值，如果该p_i的8邻域内的某pt的深度值与max的差值比该pt的深度值与min的差值小，则将该pt的深度值累加到sum_max中，同时将num_max自增1，否则，将该pt的深度值累加到sum_min中，同时将num_min自增1；对该p_i的8邻域内所有pt均执行上述操作后，比较num_max和num_min的大小，若num_max等于num_min，取（sum_min+sum_max）/（num_min+num_max）作为该p_i的深度值，若num_max大于num_min，则将sum_max/num_max的值作为该p_i的深度值，否则将sum_min/num_min作为该p_i的深度值。

3.根据权利要求1所述的一种基于双目立体视觉的成簇状番茄识别方法，其特征在于：所述步骤1.6中深度图迭代Otsu法，其特征在于包含如下步骤：

3.1）用深度图Otsu法获取深度图分割阈值D_kmax；

3.2）将番茄区域深度值小于D_kmax的像素分割为番茄前区域F，番茄区域深度值大于等于D_kmax的像素分割为番茄后区域B；

3.3）计算前后区域面积A_F，A_B，前后区域的深度均值D_F，D_B，及前后区域深度均值差C；判断C是否大于40mm；

3.4）若C大于40mm，则判断A_F，A_B是否同时大于等于面积阈值T；

3.5）若是，则去除B，设置重叠区域标识overlappingflag为1，且用Threshold保存D_kmax；

3.6）若A_F小于T，则把F作为背景去除；

3.7）若A_B小于T，或A_F大于等于T，则将B作为背景去除；

3.8）对上述处理后保留的区域重复上述步骤；

3.9）若步骤3.3后，C小于40mm，则结束深度图迭代Otsu过程。

4.根据权利要求3所述的一种基于双目立体视觉的成簇状番茄识别方法，其特征在于：所述步骤3.1中深度图Otsu法，计算番茄区域的深度最小值D_min，深度最大值D_max；从D_min到D_max选取不同的深度阈值D_k，根据式（2）分别计算σ² _C值；取σ² _C值最大时对应的D_kmax为深度图分割阈值；

${\mathrm{\σ}}_C^2=m_T{m}_B{({\mathrm{\μ}}_T-{\mathrm{\μ}}_B)}^2---\left(2\right)$

其中，σ² _C为类间方差，m_T为成簇番茄前区域类质量，如式（3）；m_B为成簇番茄后区域类质量，如式（4）；μ_T为成簇番茄前区域类质量矩，如式（5）；μ_B为成簇番茄后区域类质量矩，如式（6）：

$m_T=\underset{i=1000(D_{\min }-D_{\min })+1}{\overset{1000(D_k-D_{\min })+1}{\mathrm{\Σ}}}{P}_i---\left(3\right)$

其中，P_i为深度值对应的频数

$m_B=\underset{i=1000(D_k-D_{\min })+2}{\overset{1000(D_{\max }-D_{\min })+1}{\mathrm{\Σ}}}{P}_i---\left(4\right)$

${\mathrm{\μ}}_T=\underset{i=1000(D_{\min }-D_{\min })+1}{\overset{1000(D_k-D_{\min })+1}{\mathrm{\Σ}}}i{P}_i/m_T---\left(5\right)$

${\mathrm{\μ}}_B=\underset{i=1000(D_k-D_{\min })+2}{\overset{1000(D_{\max }-D_{\min })+1}{\mathrm{\Σ}}}i{P}_i/m_B---\left(6\right).$

5.根据权利要求1所述的一种基于双目立体视觉的成簇状番茄识别方法，其特征在于：所述步骤1.6成簇类型识别，经深度图迭代Otsu法后，若前后区域面积A_F，A_B同时大于等于面积阈值T且前后区域深度均值差C大于40mm，即重叠区域标识overlappingflag为1，则该成簇番茄区域识别为重叠区域；否则该成簇番茄区域识别为粘连区域。

6.根据权利要求1所述的一种基于双目立体视觉的成簇状番茄识别方法，其特征在于：所述步骤1.8重叠区域识别包含如下步骤：

6.1）重叠区域深度图分割：使用步骤1.6后得到的深度图分割阈值Threshold，对重叠区域深度图进行阈值分割，实现重叠番茄区域的深度图分割；

6.2）重叠区域深度图分割结果的区域标记；对步骤6.1后得到的重叠区域深度图分割结果进行开运算，8邻域区域标记及小区域去除；

6.3）重叠区域深度图边缘提取：根据重叠区域深度图中各像素的区域标记，将区域标记发生突变的像素所形成的边界作为重叠区域的深度图边缘，且区域标记相同的深度图边缘点组成重叠区域内的某个番茄区域的深度图边缘；

6.4）基于重叠区域深度图边缘对待识别番茄簇边界进行分割：遍历步骤1.1得到的待识别番茄簇边界上的所有边缘点e1，若e1的5×5邻域内存在重叠区域深度图边缘的边缘点e2，则将该边缘点e1的区域标记改为其5×5邻域内离其最近的边缘点e2的区域标记；遍历完成后，待识别番茄簇边界按照各边缘点的区域标记被分割成与该重叠区域内番茄个数相对应的若干段；

6.5）重叠番茄识别：最后对步骤6.4后得到的各段番茄区域边缘，分别使用基于边ssss析的成簇番茄识别方法实现重叠区域中各番茄的识别。

Images