CN106647633A - 一种基于图像分割的槟榔切割控制方法 - Google Patents

Abstract

本发明公开了一种基于图像分割的槟榔切割控制方法，包括如下步骤：1)系统启动初始化；2)夹取槟榔送至切割平台上；3)旋转槟榔至不同角度，分别进行图像采集；4)对采集到的图像进行二值化处理得到最佳切割面；5)再次对槟榔进行图像采集；6)对采集到的图像，采用GrabCut图像分割算法进行分割，提取槟榔轮廓，计算其需要旋转的角度及偏移量；7)根据计算结果，对槟榔进行调整；8)对调整好的槟榔进行切割。本发明实现了槟榔的全自动切割，操作简单，废品率低，大大提高了工作效率。

Description

一种基于图像分割的槟榔切割控制方法

技术领域

本发明涉及图像分割对槟榔加工控制技术领域，更具体地涉及一种基于图像分割的槟榔切割控制方法。

背景技术

随着槟榔产业的迅猛发展，提高槟榔生产加工效率，降低槟榔生产加工的成本，实现槟榔的全自动智能化加工已成为槟榔生产行业的迫切需求。在槟榔的生产加工中，目前主要由手工完成，因此，对槟榔切割的控制主要采用粗略地手动调整。采用这种方法控制槟榔的切割，安全性不是很高，且也难以保证卫生条件，且工作效率也较低。为了提高工作效率以及保证在槟榔切割过程中的安全性和卫生条件，也可采用非智能化的控制方法来控制槟榔的切割：通过筛状筛选工具将大小不一的槟榔筛选出来，让其通过相应大小的垂直管道，当槟榔在垂直管道下落于所预定的模具中进行切割。但是采用非智能化控制的方法来控制槟榔的切割存在以下缺点：(1)槟榔是非规则目标，因此无法对槟榔的形状进行判断，使得对槟榔进行切割所选择的切割面不一定是最佳切割面；(2)虽然槟榔的切割效率得到了极大的提高，但是切割的废品率高，约为20％-30％；(3)切割完成后无法保证槟榔的规则摆放，不利于对槟榔进行下一步自动化加工。

为了解决上述问题，经过长期研究，研制了一种全自动智能化的槟榔加工制作设备，为此本发明公开了一种基于图像分割的槟榔切割控制方法。

发明内容

为解决上述现有技术存在的问题，本发明的目的在于提供一种全自动槟榔加工设备及其加工方法，实现对槟榔的全自动智能化加工，操作简单，且大大提高了工作的效率。

根据本申请的一个方面，提供一种全自动槟榔加工设备，该设备包括：

相连的第一机架和第二机架，第一机架上设有进料机构、取料机构、第一传输机构和第一夹取机构，其中取料机构与进料机构相连，第一传输机构位于取料机构的下游位置，第一夹取机构设置在第一传输机构上，第二机架上设有第二传输机构、第二夹取机构、第三夹取机构、切割平台、图像采集机构和切割机构，其中第二夹取机构、第三夹取机构及切割平台均设置在第二传输机构上，第二夹取机构设置在切割平台的一侧(例如左侧)，第三夹取机构设置在切割平台的另一侧(例如右侧)，图像采集机构与切割机构分别设置在切割平台的上方。

在本发明中，取料机构包括第一主动链轮、第一从动链轮及第一链条，第一传输机构包括第二主动链轮、第二从动链轮及第二链条，第二传输机构包括第三主动链轮、第三从动链轮及第三链条，所述各链条绕覆于主、从动链轮上，并通过机架上的齿轮与机架相连接。

优选的是，在第一链条、第二链条及第三链条上根据机架上齿轮的大小将链条用隔片分隔成若干部分。

作为优选，隔片的中间部分开有一个小口，利于夹取槟榔。

在本发明中，上述设备还包括：连接取料机构的第一链条与第一传输机构的第二链条的挡板。

在本发明中，上述设备还包括：设置在取料机构的第一链条上的第一检测机构。

在本发明中，上述设备还包括：设置在第一传输机构的第二链条上的第二检测机构。

优选的是，上述设备还包括：设置在第二机架上，位于切割机构下游的去核机构。

作为优选，去核机构包括去核爪、控制去核爪升降的气缸及控制去核爪抓取、释放槟榔核的气缸。

优选的是，上述设备还包括：设置在第二机架上，位于去核机构下游的点料机构。

作为优选，点料机构包括点料器、控制挤压料的气缸及驱动点料机构升降的气缸。

在本发明中，进料机构为斗状，在进料机构的底部开有一个与第一链条相近大小的口。

在本发明中，上述设备还包括：设置在第二机架上的第一步进电机，第一步进电机与第二夹取机构连接并控制第二夹取机构的旋转。

在本发明中，上述设备还包括：设置在第二机架上的第二步进电机与第三步进电机，第二步进电机与第三步进电机均与切割平台连接，第二步进电机调节切割平台水平方向左右移动，第三步进电机调节切割平台水平方向旋转角度。

优选的是，第二步进电机通过滑台与切割平台连接，第三步进电机通过齿轮与切割平台连接。

在本发明中，第一夹取机构、第二夹取机构及第三夹取机构均包括夹具和控制夹具进退、升降、夹放的气缸。

在本发明中，切割机构包括刀片和控制刀片进行切割的气缸。

在本发明中，在进料机构的底部开有一个与取料机构的链条相近大小的口，是为保证取料机构自由穿过的同时又可以避免槟榔掉出。

在本发明中，所述“在第一链条、第二链条及第三链条上方根据机架上齿轮的大小将链条用隔片分隔成若干部分”，是指在链条的上方根据齿轮大小将链条用隔片分隔成若干小格。通过电磁阀控制使气缸运动来控制齿轮的运动，气缸运动一次，齿轮转动一格，相应链条运动一格，因此每夹取一个槟榔气缸运动一次，链条前进一格。在链条的运动过程中，从进料机构中带出的槟榔刚好位于两隔片之间，并且隔片的中间部分开有一个小口有利于夹取槟榔。

根据本申请的另一个方面，提供了一种使用上述全自动槟榔加工设备的基于图像分割的槟榔切割控制方法，包括以下步骤：

1)系统启动初始化；

2)夹取槟榔：将槟榔夹起送至切割平台上；

3)控制夹住槟榔的夹取机构旋转，图像采集机构分别获取槟榔旋转不同角度所拍摄的槟榔图像；

4)对3)中采集到的图像通过Ostu自动阈值法进行二值阈值化处理，得到前景和背景分别为黑色和白色像素的二值图像，计算获取每一角度的槟榔轮廓弯曲度，弯曲度大于阈值时，则将槟榔轮廓弯曲度最大的图像所对应槟榔的凹面定为切割面；否则，计算槟榔轮廓内部的像素数量，以黑色像素数量最多的图像即目标面积最大的槟榔图像对应角度的槟榔面作为切割面；

5)再次对槟榔进行图像采集；

6)对5)中采集到的槟榔图像，应用GrabCut图像分割算法进行分割，提取槟榔轮廓，计算所提取的槟榔轮廓需要旋转的角度及偏移量；

7)根据6)中计算出的旋转角度及偏移量，调整槟榔的水平位置偏移量，调整槟榔的角度偏移量；

8)当调整好槟榔的角度及位置后，切割机构对槟榔进行切割。

在本发明中，上述步骤3)所述的槟榔旋转不同角度，其中旋转角度任意(0°～360°之间，不包括0°与360°)，旋转次数≥3次。

优选的是，旋转3次，每次旋转2π/3弧度，得到3个不同角度的槟榔图像。

在本发明中，步骤4)中所述的Ostu自动阈值法为Ostu最大类间方差法。

在本发明中，步骤6)中所述的GrabCut图像分割算法是一种能量最小化迭代优化算法，构建能量函数为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

α为不透明度，α∈[0,1]，0为背景，1为目标前景；k为向量k＝{k₁,...,k_n,...,k_N}作为每个像素的独立高斯模型参数，θ为图像前景与背景的灰度直方函数，θ＝{h(z,α),a＝0,1}；Z为灰度值数组，z＝(z₁,…,z_n,…,z_N)。

在本发明中，所述高斯概率密度模型为：

通过高斯概率密度模型得到该像素分别属于目标和背景的概率，从而区分目标和背景。

在本发明中，步骤6)中计算槟榔的旋转角度和偏移量的方法为：提取得到的槟榔轮廓图像的R、G、B颜色分量值，利用如下公式计算灰度值gray,其中R、G、B分别为红绿蓝三基色分量值：

gray＝R*0.3+G*0.59+B*0.11

通过上面公式将彩色图像变为灰度图像，在该图像中，前景为灰度图像，背景为纯黑色部分，通过对竖直y方向遍历图像像素点，即遇到像素点值不为0时，该像素点即为槟榔蒂的端点坐标，从而得出槟榔蒂的两个端点坐标，计算槟榔的旋转角度和偏移量。

在本发明中，槟榔旋转角度的计算过程具体为：

①在灰度图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴；

②如果两个端点分别坐标为(x₁,y₁)与(x₂,y₂)，则旋转角度为θ＝arctan[(y₁-y₂)/(x₁-x₂)]，θ>0时逆时针旋转，θ<0顺时针旋转。

在本发明中，槟榔偏移量的计算过程具体为：

偏移量为l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量，其中k代表槟榔图像中单位像素所代表实际物体中的长度，即：

在本发明中，步骤4)所述的槟榔轮廓弯曲度的计算过程具体为：

以图像的左上角为原点，水平为x轴，竖直为y轴，建立x0y平面直角坐标系，弯曲的闭合实线为槟榔的轮廓，点E、F分别为槟榔的两个端点，

(1)由点E、F可以求得直线EF的方程和点E、F之间的距离d_EF；

(2)将槟榔的轮廓线进行抽稀处理，求得槟榔的中心线为曲线EMF；

(3)求曲线EMF上每一个点到直线EF的距离d，并求最大距离d_max；

(4)求最大距离d_max和点E、F之间的距离d_EF的比值ξ；

槟榔轮廓弯曲度和比值ξ成正比关系，即ξ最大表示槟榔轮廓弯曲度最大，从而槟榔轮廓弯曲度可用比值ξ的大小衡量。

在本发明中，整个控制过程采用多线程(例如双线程)同步控制方法，实现并行控制。即在第一机架上检测第一链条与第二链条的格子中有无槟榔采用线程a，针对第二机架上切割平台的操作采用线程b。其中线程a和线程b采用事件对象进行同步，具体为：

线程a中的事件对象设置为：当第一夹取机构从第二链条上夹取到槟榔时，将事件对象g_EventThreadOne设置为无信号状态，事件对象g_EventThreadTwo设置为有信号状态，同时等待事件对象g_EventThreadOne的请求；

线程b中的事件对象设置为：线程b的开始为等待事件对象g_EventThreadTwo的请求，当槟榔切割完成时，将事件对象g_EventThreadOne设置为有信号状态，事件对象g_EventThreadTwo设置为无信号状态。

在本发明中，槟榔切割完成后，切割好的槟榔被送至去核区，去核机构通过气缸控制去核爪夹取槟榔的核完成去核，去完核的槟榔被送至点料区，点料机构通过控制气缸挤压点料器中的料，将料点入槟榔中，槟榔加工完成。

在本发明中，所述“系统启动初始化”具体实现过程为：

(1)当系统启动时，系统自动进入初始化模式；

(2)CPU不断向分布式采集模块发出检测信号采集指令，实时接收分布式采集模块返回的采集信号，同时CPU向分布式采集模块发送指令初始化各夹取机构；

(3)如果CPU接收的采集信号并非初始位置信号，CPU向电机控制器发送指令控制电机旋转，使机械装置的位置发生改变，跳转到(2)重复上述操作；否则，初始化完成。

在本发明中，初始化的顺序为：首先对切割平台上夹取槟榔的各夹取机构初始化，再对切割平台的角度拖板进行初始化，最后对切割平台水平方向的位移拖板进行初始化。

在本发明中，所述“槟榔蒂轴”是指沿槟榔蒂两端连线形成的旋转轴，图像采集机构分别获取旋转轴旋转不同角度所拍摄的槟榔图像。

在本发明中，所述“槟榔旋转不同角度”是指根据采集槟榔图像的次数进行确定，同时设定每次旋转的角度，比如进行3次图像采集，设定每次旋转30°，第一次采集完后旋转30°进行第二次采集，第二次采集完后旋转30°进行第3次采集，因为每旋转一次拍摄到的图像对应槟榔的不同面，3次采集中哪一次采集到的图像是槟榔的最佳切割面，就将槟榔逆转回哪一次采集的面。

在本发明中，“前景”是指槟榔本身。“目标面积大小”是指槟榔本身面积大小。

在本发明中，通过二值化处理得到的图像，由于原图中背景颜色较白，因此二值图像得到的大部分为白色像素点，而槟榔的颜色较黑，因此二值图像得到的大部分是黑色像素点，而在每次拍照过程中背景是不会发生变化的，只有拍到的槟榔面的不同，因此可以通过黑色像素点的数量来确定槟榔面积的大小。

在本发明中，步骤5)所述的再次对槟榔进行图像采集，即图5变为图7，是由于步骤4)选取槟榔切割面后，对槟榔进行了旋转，同时夹住槟榔的夹取机构也会旋转，夹取机构并不一定如图5所示，有可能夹取机构处于槟榔的上方，此时对槟榔进行切割，刀片就会切到夹取机构上，于是进行步骤5)，同时这一步采集到的图像用于判断槟榔水平位置的偏移程度和角度的偏移程度。

在本发明中，所述的Ostu自动阈值法采用的是日本学者Ostu(N Otsu.Athreshold selection method from gray-level histogram[J].IEEE Trans on SMC,1979,9:62-69.)提出的最大类间方差法。

在本发明中，计算灰度值gray的公式gray＝R*0.3+G*0.59+B*0.11为常用的彩色图像转灰度图像的公式，其参数是通过实验验证得到，以便更好地将前景与背景区分开来。

在本发明中，Ostu自动阈值法进行二值阈值化处理的过程为：

(1)将采集到的彩色图像转换成灰度图像；

(2)求出(1)中灰度图像的最小灰度值和最大灰度值，分别记为g_min和g_max，令初始阈值为：

(3)根据(2)中计算得到的T₀将灰度图像分割成前景和背景，分别求出两者的平均灰度值A_f和A_b：

其中，g表示灰度值，h(g)表示图像中灰度值为g的像素的数量。

(4)求出(3)中A_f和A_b的平均灰度值：

如果求得T_k＝T_k-1，则T_k为所需求的阈值，否则，转至(3)继续迭代。

按上式得到的的T_k为灰度图像的阈值对图像进行二值化，从而将图像分割成前景和背景，前景用黑色表示，背景用白色表示。

在本发明中，槟榔的最佳切割面采用的是弯曲程度优先的判别方法，步骤4)中的阈值表示槟榔轮廓的弯曲程度。当弯曲度大于阈值时，则只要从弯曲程度最大的面进行切割，无需对面积进行比较，否则，再进行面积比较。至于弯曲度的阈值设定是通过对不同形状的槟榔进行弯曲度测量总结出的经验值。在本发明中，阈值为0-1，优选阈值为0.1-0.9，更优选阈值为0.4-0.8。当阈值为“0”时表示没有弯曲；当阈值为“1”时表示弯曲口的距离等于弯曲的深度。阈值越大，表示弯曲程度越大；阈值越小，表示弯曲程度越小。

在本发明中，GrabCut图像分割算法，采用基于高阶条件随机场，在能量函数中引入一项定义在图像割的集合上的高阶CRFs势函数。其能量函数的形式为：

V是表示所有像素的集合，ε是连接像素i,j∈V的所有边的集合，S是图像所有割的集合。函数ψ_i(x_i)是单个像素的数据项其具体的表述形式为：

ψ_i(x_i)＝θ_Tψ_T(x_i)+θ_colψ_col(x_i)+θ_lψ_l(x_i)

θ_T、θ_col、θ_l是参数权值分别表示纹理、颜色和位置的信息。

相邻像素对项ψ_ij(x_i,x_j)的表述形式为：

函数g(i,j)是基于不同相邻像素的颜色的一条边的特征。它通常被定义为：

g(i,j)＝θ_p+θ_vexp(-θ_β||I_i-I_j||²)

I_i和I_j分别表示像素i和j的颜色向量。θ_p、θ_v、θ_β是模型参数通过训练数据学习得到

引入的高阶CRFs势函数ψ_c(x_c)的形式为：

c是一个团，|c|是c中变量的数量，L是所有标签的集合，n_k(x_c)是在c中标签为k的变量的数量，同时，γ_k、θ_k、γ_max是势函数的参数满足约束：

Q被称为势函数的截断参数，满足约束条件2Q＜|c|。

通过采用最大流/最小割算法对采集的图像求解上述能量模型的最小能量值从而得到分割目标和背景的割。

与现有技术相比，本发明所具有的有益效果为：

1、本发明采用两机架的结构与多线程同步控制方法使取料和切割并行进行，可以充分保证切割完成后能迅速的进入下一次操作，无需等待检测有无槟榔，从而缩短整个操作过程的时间，极大的提高了加工的效率。

2、本发明设计结构合理，全过程采用自动形式，操作简单，废品率低，且极大地提高了工作效率。

附图说明

图1为本发明全自动槟榔加工设备的主视图

图2为本发明全自动槟榔加工设备的俯视图

图3为本发明基于图像分割的槟榔切割控制方法的原理图

图4为本发明基于图像分割的槟榔切割控制方法的整体流程图

图5为切割平台第一次固定槟榔示意图

图6为槟榔轮廓的弯曲度计算关系图

图7为切割平台第二次固定槟榔示意图

图8为槟榔旋转角度示意图

图9为槟榔偏移量示意图

图10为检测有无槟榔的线程a控制流程图

图11为槟榔切割操作的线程b控制流程图

附图标记：A1：第一机架；1：进料机构；2：取料机构；201：第一主动链轮；202：第一从动链轮；203：第一链条；3：第一传输机构；301：第二主动链轮；302：第二从动链轮；303：第二链条；4：第一夹取机构；A2：第二机架；5：第二传输机构；6：第二夹取机构；7：第三夹取机构；8：切割平台；9：图像采集机构；10：切割机构；11：挡板；12：第一检测机构；13：第二检测机构；14：去核机构；15：点料机构；16：第一步进电机；17：第二步进电机；18：第三步进电机；19：滑台；20：齿轮；

E、F：槟榔两个端点；曲线EMF：槟榔中心线；d：曲线EMF上的点到直线EF的距离；θ：旋转角度；P₁、P₂：槟榔两个端点；y_m：槟榔蒂连线中点纵坐标；y_img：槟榔图像中点基线；l：偏移量。

具体实施方式

根据本申请的一个方面，提供一种全自动槟榔加工设备，该设备包括：

相连的第一机架A1和第二机架A2，第一机架A1上设有进料机构1、取料机构2、第一传输机构3和第一夹取机构4，其中取料机构2与进料机构1相连，第一传输机构3位于取料机构2的下游位置，第一夹取机构4设置在第一传输机构3上，第二机架A2上设有第二传输机构5、第二夹取机构6、第三夹取机构7、切割平台8、图像采集机构9和切割机构10，其中第二夹取机构6、第三夹取机构7及切割平台8均设置在第二传输机构5上，第二夹取机构6设置在切割平台8的一侧(例如左侧)，第三夹取机构7设置在切割平台8的另一侧(例如右侧)，图像采集机构9与切割机构10分别设置在切割平台8的上方。

在本发明中，取料机构2包括第一主动链轮201、第一从动链轮202及第一链条203，第一传输机构3包括第二主动链轮301、第二从动链轮302及第二链条303，第二传输机构5包括第三主动链轮、第三从动链轮及第三链条，所述各链条绕覆于主、从动链轮上，并通过机架上的齿轮与机架相连接。

优选的是，在第一链条203、第二链条303及第三链条上根据机架上齿轮的大小将链条用隔片分隔成若干部分。

作为优选，隔片的中间部分开有一个小口，利于夹取槟榔。

在本发明中，上述设备还包括：连接取料机构2的第一链条203与第一传输机构3的第二链条303的挡板11。

在本发明中，上述设备还包括：设置在取料机构2的第一链条203上的第一检测机构12。

在本发明中，上述设备还包括：设置在第一传输机构3的第二链条303上的第二检测机构13。

优选的是，上述设备还包括：设置在第二机架A2上，位于切割机构10下游的去核机构14。

作为优选，去核机构14包括去核爪、控制去核爪升降的气缸及控制去核爪抓取、释放槟榔核的气缸。

优选的是，上述设备还包括：设置在第二机架A2上，位于去核机构14下游的点料机构15。

作为优选，点料机构15包括点料器、控制挤压料的气缸及驱动点料机构升降的气缸。

在本发明中，进料机构1为斗状，在进料机构1的底部开有一个与第一链条203相近大小的口。

在本发明中，上述设备还包括：设置在第二机架A2上的第一步进电机16，第一步进电机16与第二夹取机构6连接并控制第二夹取机构6的旋转。

在本发明中，上述设备还包括：设置在第二机架A2上的第二步进电机17与第三步进电机18，第二步进电机17与第三步进电机18均与切割平台8连接，第二步进电机17调节切割平台8水平方向左右移动，第三步进电机18调节切割平台8水平方向旋转角度。

优选的是，第二步进电机17通过滑台19与切割平台8连接，第三步进电机18通过齿轮20与切割平台8连接。

在本发明中，第一夹取机构4、第二夹取机构6及第三夹取机构7均包括夹具和控制夹具进退、升降、夹放的气缸。

在本发明中，切割机构10包括刀片和控制刀片进行切割的气缸。

根据本申请的另一个方面，提供了一种使用上述全自动槟榔加工设备的基于图像分割的槟榔切割控制方法，包括以下步骤：

1)系统启动初始化；

2)夹取槟榔：将槟榔夹起送至切割平台8上；

3)控制夹住槟榔的夹取机构旋转，图像采集机构9分别获取槟榔旋转不同角度所拍摄的槟榔图像；

4)对3)中采集到的图像通过Ostu自动阈值法进行二值阈值化处理，得到前景和背景分别为黑色和白色像素的二值图像，计算获取每一角度的槟榔轮廓弯曲度，弯曲度大于阈值时，则将槟榔轮廓弯曲度最大的图像所对应槟榔的凹面定为切割面；否则，计算槟榔轮廓内部的像素数量，以黑色像素数量最多的图像即目标面积最大的槟榔图像对应角度的槟榔面作为切割面；

5)再次对槟榔进行图像采集；

6)对5)中采集到的槟榔图像，应用GrabCut图像分割算法进行分割，提取槟榔轮廓，计算所提取的槟榔轮廓需要旋转的角度及偏移量；

7)根据6)中计算出的旋转角度及偏移量，调整槟榔的水平位置偏移量，调整槟榔的角度偏移量；

8)当调整好槟榔的角度及位置后，切割机构10对槟榔进行切割。

在本发明中，步骤4)中的阈值表示槟榔轮廓的弯曲程度，阈值为0-1，优选阈值为0.1-0.9，更优选阈值为0.4-0.8。当阈值为“0”时表示没有弯曲；当阈值为“1”时表示弯曲口的距离等于弯曲的深度。阈值越大，表示弯曲程度越大；阈值越小，表示弯曲程度越小。

在本发明中，上述步骤3)所述的槟榔旋转不同角度，其中旋转角度任意(0°～360°之间，不包括0°与360°)，旋转次数≥3次。

优选的是，旋转3次，每次旋转2π/3弧度，得到3个不同角度的槟榔图像。

在本发明中，步骤4)中所述的Ostu自动阈值法为Ostu最大类间方差法。

在本发明中，步骤6)中所述的GrabCut图像分割算法是一种能量最小化迭代优化算法，构建能量函数为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

α为不透明度，α∈[0,1]，0为背景，1为目标前景；k为向量k＝{k₁,...,k_n,...,k_N}作为每个像素的独立高斯模型参数，θ为图像前景与背景的灰度直方函数，θ＝{h(z,α),a＝0,1}；Z为灰度值数组，z＝(z₁,…,z_n,…,z_N)。

在本发明中，所述高斯概率密度模型为：

通过高斯概率密度模型得到该像素分别属于目标和背景的概率，从而区分目标和背景。

在本发明中，步骤6)中计算槟榔的旋转角度和偏移量的方法为：提取得到的槟榔轮廓图像的R、G、B颜色分量值，利用如下公式计算灰度值gray,其中R、G、B分别为红绿蓝三基色分量值：

gray＝R*0.3+G*0.59+B*0.11

通过上面公式将彩色图像变为灰度图像，在该图像中，前景为灰度图像，背景为纯黑色部分，通过对竖直y方向遍历图像像素点，即遇到像素点值不为0时，该像素点即为槟榔蒂的端点坐标，从而得出槟榔蒂的两个端点坐标，计算槟榔的旋转角度和偏移量。

在本发明中，槟榔旋转角度的计算过程具体为：

①在灰度图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴；

②如果两个端点分别坐标为(x₁,y₁)与(x₂,y₂)，则旋转角度为θ＝arctan[(y₁-y₂)/(x₁-x₂)]，θ>0时逆时针旋转，θ<0顺时针旋转。

在本发明中，槟榔偏移量的计算过程具体为：

偏移量为l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量，其中k代表槟榔图像中单位像素所代表实际物体中的长度，即：

在本发明中，步骤4)所述的槟榔轮廓弯曲度的计算过程具体为：

以图像的左上角为原点，水平为x轴，竖直为y轴，建立x0y平面直角坐标系，弯曲的闭合实线为槟榔的轮廓，点E、F分别为槟榔的两个端点，

(1)由点E、F可以求得直线EF的方程和点E、F之间的距离d_EF；

(2)将槟榔的轮廓线进行抽稀处理，求得槟榔的中心线为曲线EMF；

(3)求曲线EMF上每一个点到直线EF的距离d，并求最大距离d_max；

(4)求最大距离d_max和点E、F之间的距离d_EF的比值ξ；

槟榔轮廓弯曲度和比值ξ成正比关系，即ξ最大表示槟榔轮廓弯曲度最大，从而槟榔轮廓弯曲度可用比值ξ的大小衡量。

在本发明中，整个控制过程采用多线程(例如双线程)同步控制方法，实现并行控制。即在第一机架A1上检测第一链条203与第二链条303的格子中有无槟榔采用线程a，针对第二机架A2上切割平台8的操作采用线程b。其中线程a和线程b采用事件对象进行同步，具体为：

线程a中的事件对象设置为：当第一夹取机构4从第二链条303上夹取到槟榔时，将事件对象g_EventThreadOne设置为无信号状态，事件对象g_EventThreadTwo设置为有信号状态，同时等待事件对象g_EventThreadOne的请求；

线程b中的事件对象设置为：线程b的开始为等待事件对象g_EventThreadTwo的请求，当槟榔切割完成时，将事件对象g_EventThreadOne设置为有信号状态，事件对象g_EventThreadTwo设置为无信号状态。

实施例1

如图1和图2所示，一种全自动槟榔加工设备，包括相连的第一机架A1和第二机架A2，第一机架A1上设有进料机构1、取料机构2、第一传输机构3和第一夹取机构4，其中取料机构2与进料机构1相连，第一传输机构3位于取料机构2的下游位置，第一夹取机构4设置在第一传输机构3上，第二机架A2上设有第二传输机构5、第二夹取机构6、第三夹取机构7、切割平台8、图像采集机构9和切割机构10，其中第二夹取机构6、第三夹取机构7及切割平台8均设置在第二传输机构5上，第二夹取机构6设置在切割平台8的左侧，第三夹取机构7设置在切割平台8的右侧，图像采集机构9与切割机构10分别设置在切割平台8的上方。其中取料机构2包括第一主动链轮201、第一从动链轮202及第一链条203，第一传输机构3包括第二主动链轮301、第二从动链轮302及第二链条303，第二传输机构5包括第三主动链轮、第三从动链轮及第三链条，所述各链条绕覆于主、从动链轮上，并通过机架上的齿轮与机架相连接。在第一链条203、第二链条303及第三链条上根据机架上的齿轮大小将链条用隔片分隔成若干部分。隔片的中间部分开有一个小口，利于夹取槟榔。进料机构1为斗状，在进料机构1的底部开有一个与第一链条203相近大小的口。该设备还包括设置在第二机架A2上的第一步进电机16、第二步进电机17与第三步进电机18，第一步进电机16与第二夹取机构6连接并控制第二夹取机构6的旋转，第二步进电机17与第三步进电机18分别通过滑台19与齿轮20和切割平台8连接，第二步进电机17调节切割平台8水平方向左右移动，第三步进电机18调节切割平台8水平方向旋转角度。该设备的第一夹取机构4、第二夹取机构6及第三夹取机构7均包括夹具和控制夹具进退、升降、夹放的气缸。切割机构10包括刀片和控制刀片进行切割的气缸。

实施例2

重复实施例1，该设备还包括连接取料机构2的第一链条203与第一传输机构3的第二链条303的挡板11。

实施例3

重复实施例2，该设备还包括设置在取料机构2的第一链条203上的第一检测机构12，设置在第一传输机构3的第二链条303上的第二检测机构13。

实施例4

重复实施3，该设备还包括设置在第二机架A2上，位于切割机构10下游的去核机构14。及设置在第二机架A2上，位于去核机构14下游的点料机构15。其中去核机构14包括去核爪、控制去核爪升降的气缸及控制去核爪抓取、释放槟榔核的气缸。点料机构15包括点料器、控制挤压料的气缸及驱动点料机构升降的气缸。

实施例5

如图3和图4所示，一种基于基于图像分割的槟榔切割控制方法，包含以下步骤：

1)系统启动初始化；

2)夹取槟榔：将槟榔夹起送至切割平台8上；

3)控制夹住槟榔的夹取机构旋转，旋转3次，每次旋转2π/3弧度，摄像头分别获取该槟榔三次拍摄的槟榔图像；

4)对3)中采集到的图像通过Ostu自动阈值法进行二值阈值化处理，得到前景和背景分别为黑色和白色像素的二值图像，计算获取每一角度的槟榔轮廓弯曲度，弯曲度大于阈值0.3时，则将槟榔轮廓弯曲度最大的图像所对应槟榔的凹面定为切割面；否则，计算槟榔轮廓内部的像素数量，以黑色像素数量最多的图像即目标面积最大的槟榔图像对应角度的槟榔面作为切割面；

如图6，槟榔轮廓弯曲度的计算过程为：

以图像的左上角为原点，水平为x轴，竖直为y轴，建立x0y平面直角坐标系，弯曲的闭合实线为槟榔的轮廓，点E、F分别为槟榔的两个端点，

(1)由点E、F可以求得直线EF的方程和点E、F之间的距离d_EF；

(2)将槟榔的轮廓线进行抽稀处理，求得槟榔的中心线为曲线EMF；

(3)求曲线EMF上每一个点到直线EF的距离d，并求最大距离d_max；

(4)求最大距离d_max和点E、F之间的距离d_EF的比值ξ；

槟榔轮廓弯曲度和比值ξ成正比关系，则槟榔轮廓弯曲度可用比值ξ的大小衡量。

5)再次对槟榔进行图像采集；

6)对5)中采集到的槟榔图像，应用GrabCut图像分割算法进行分割，提取槟榔轮廓，计算所提取的槟榔轮廓需要旋转的角度及偏移量；

如图8，槟榔旋转角度的计算过程具体为：

①在灰度图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴；

②如果两个端点分别坐标为(x₁,y₁)与(x₂,y₂)，则旋转角度为θ＝arctan[(y₁-y₂)/(x₁-x₂)]，θ>0时逆时针旋转，θ<0顺时针旋转。

如图9，槟榔偏移量的计算过程具体为：

偏移量为l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量，其中k代表槟榔图像中单位像素所代表实际物体中的长度，即：

7)根据6)中计算出的旋转角度及偏移量，调整槟榔的水平位置偏移量，调整槟榔的角度偏移量；

8)当调整好槟榔的角度及位置后，切割机构10对槟榔进行切割。

实施例6

重复实施例5，只是如图10和图11，整个控制过程采用双线程同步控制方法，实现并行控制，即在第一机架A1上检测第一链条203与第二链条303的格子中有无槟榔采用线程a，针对第二机架A2上切割平台8的操作采用线程b。线程a和线程b采用事件对象进行同步，具体为：

线程a中的事件对象设置为：当第一夹取机构4从第二链条303上夹取到槟榔时，将事件对象g_EventThreadOne设置为无信号状态，事件对象g_EventThreadTwo设置为有信号状态，同时等待事件对象g_EventThreadOne的请求；

线程b中的事件对象设置为：线程b的开始为等待事件对象g_EventThreadTwo的请求，当槟榔切割完成时，将事件对象g_EventThreadOne设置为有信号状态，事件对象g_EventThreadTwo设置为无信号状态。

实施例7

重复实施例5，只是阈值为0.7。

Claims (10)

1.一种基于图像分割的槟榔切割控制方法，包括以下步骤：

1)系统启动初始化；

2)夹取槟榔：将槟榔夹起送至切割平台(8)上；

3)控制夹住槟榔的夹取机构旋转，图像采集机构(9)分别获取槟榔旋转不同角度所拍摄的槟榔图像；

4)对3)中采集到的图像通过Ostu自动阈值法进行二值阈值化处理，得到前景和背景分别为黑色和白色像素的二值图像，计算获取每一角度的槟榔轮廓弯曲度，弯曲度大于阈值时，则将槟榔轮廓弯曲度最大的图像所对应槟榔的凹面定为切割面；否则，计算槟榔轮廓内部的像素数量，以黑色像素数量最多的图像即目标面积最大的槟榔图像对应角度的槟榔面作为切割面；

5)再次对槟榔进行图像采集；

6)对5)中采集到的槟榔图像，应用GrabCut图像分割算法进行分割，提取槟榔轮廓，计算所提取的槟榔轮廓需要旋转的角度及偏移量；

7)根据6)中计算出的旋转角度及偏移量，调整槟榔的水平位置偏移量，调整槟榔的角度偏移量；

8)当调整好槟榔的角度及位置后，切割机构(10)对槟榔进行切割。

2.根据权利要求1所述的槟榔切割控制方法，其中步骤3)所述的槟榔旋转不同角度，其中旋转角度任意(0°～360°之间，不包括0°与360°)，旋转次数≥3次，优选的是，旋转3次，每次旋转2π/3弧度，得到3个不同角度的槟榔图像。

3.根据权利要求1或2所述的槟榔切割控制方法，其特征在于：步骤4)中所述的Ostu自动阈值法为Ostu最大类间方差法。

4.根据权利要求1-3中任一项所述的槟榔切割控制方法，其特征在于：步骤6)中所述的GrabCut图像分割算法是一种能量最小化迭代优化算法，构建能量函数为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

α为不透明度，α∈[0,1]，0为背景，1为目标前景；k为向量k＝{k₁,...,k_n,...,k_N}作为每个像素的独立高斯模型参数，θ为图像前景与背景的灰度直方函数，θ＝{h(z,α),a＝0,1}；Z为灰度值数组，z＝(z₁,…,z_n,…,z_N)。

5.根据权利要求4所述的槟榔切割控制方法，其特征在于：所述高斯概率密度模型为：

$\begin{array}{c}D\left({\mathrm{\&alpha;}}_n,k_n,\mathrm{\&theta;},z_n\right)=-\log \mathrm{\&pi;}\left({\mathrm{\&alpha;}}_n,k_n\right)+\frac{1}{2}\log \det \left({\mathrm{\&alpha;}}_n,k_n\right)+\\ \frac{1}{2}{\&lsqb;z-\mathrm{\&mu;}\left({\mathrm{\&alpha;}}_n,k_n\right)\&rsqb;}^T\mathrm{\&Sigma;}\left({\mathrm{\&alpha;}}_n,k_n\right)\&lsqb;z-\mathrm{\&mu;}\left({\mathrm{\&alpha;}}_n,k_n\right)\&rsqb;\end{array}$

通过高斯概率密度模型得到该像素分别属于目标和背景的概率，从而区分目标和背景。

6.根据权利要求1-5中任一项所述的槟榔切割控制方法，其特征在于：步骤6)中计算槟榔的旋转角度和偏移量的方法为：提取得到的槟榔轮廓图像的R、G、B颜色分量值，利用如下公式计算灰度值gray,其中R、G、B分别为红绿蓝三基色分量值：

gray＝R*0.3+G*0.59+B*0.11

通过上面公式将彩色图像变为灰度图像，在该图像中，前景为灰度图像，背景为纯黑色部分，通过对竖直y方向遍历图像像素点，即遇到像素点值不为0时，该像素点即为槟榔蒂的端点坐标，从而得出槟榔蒂的两个端点坐标，计算槟榔的旋转角度和偏移量。

7.根据权利要求6所述的槟榔切割控制方法，其特征在于：槟榔旋转角度的计算过程具体为：

①在灰度图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴；

②如果两个端点分别坐标为(x₁,y₁)与(x₂,y₂)，则旋转角度为θ＝arctan[(y₁-y₂)/(x₁-x₂)]，θ>0时逆时针旋转，θ<0顺时针旋转。

8.根据权利要求6或7所述的槟榔切割控制方法，其特征在于：槟榔偏移量的计算过程具体为：

偏移量为l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量，其中k代表槟榔图像中单位像素所代表实际物体中的长度，即：

9.根据权利要求1-8中任一项所述的槟榔切割控制方法，其中步骤4)所述的槟榔轮廓弯曲度的计算过程具体为：

以图像的左上角为原点，水平为x轴，竖直为y轴，建立x0y平面直角坐标系，弯曲的闭合实线为槟榔的轮廓，点E、F分别为槟榔的两个端点，

(1)由点E、F可以求得直线EF的方程和点E、F之间的距离d_EF；

(2)将槟榔的轮廓线进行抽稀处理，求得槟榔的中心线为曲线EMF；

(3)求曲线EMF上每一个点到直线EF的距离d，并求最大距离d_max；

(4)求最大距离d_max和点E、F之间的距离d_EF的比值ξ；

槟榔轮廓弯曲度和比值ξ成正比关系，即ξ最大表示槟榔轮廓弯曲度最大，从而槟榔轮廓弯曲度可用比值ξ的大小衡量。

10.根据权利要求1-9中任一项所述的槟榔切割控制方法，其中整个控制过程采用多线程(例如双线程)同步控制方法，实现并行控制，即在第一机架(A1)上检测第一链条(203)与第二链条(303)的格子中有无槟榔采用线程a，针对第二机架(A2)上切割平台(8)的操作采用线程b；其中线程a和线程b采用事件对象进行同步，具体为：

线程a中的事件对象设置为：当第一夹取机构(4)从第二链条(303)上夹取到槟榔时，将事件对象g_EventThreadOne设置为无信号状态，事件对象g_EventThreadTwo设置为有信号状态，同时等待事件对象g_EventThreadOne的请求；

线程b中的事件对象设置为：线程b的开始为等待事件对象g_EventThreadTwo的请求，当槟榔切割完成时，将事件对象g_EventThreadOne设置为有信号状态，事件对象g_EventThreadTwo设置为无信号状态。