CN109821763B - 一种基于机器视觉的水果分拣系统及其图像识别方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的水果分拣系统及其图像识别方法，属于机器视觉和机械设计与控制的技术领域，系统装置包括图像采集装置、传送装置、机器人支撑架、delta机器人、气动夹具；图像采集装置设于传送装置上方，delta机器人通过机器人支撑架设于图像采集装置后方，气动夹具与delta机器人相连，各部分互相配合，采集图像信息并上传到计算机分析运算，得到缺陷水果的位置坐标。最后计算机控制delta机器人带动气动夹具夹取水果，放到相应的传送带，完成分拣过程，识别准确效率高。

Description

一种基于机器视觉的水果分拣系统及其图像识别方法

技术领域

本发明涉及一种基于机器视觉的水果分拣系统及其图像识别方法，属于机器视觉和机械设计与控制的技术领域。

背景技术

我国是典型的农业大国，农作物产量以及水果的产量在逐年递增。长期以来，我国都是依赖人工进行水果分拣，这就导致了水果分拣的成本高、效率低、分拣标准也千差万别，最终会导致水果价格偏高，水果质量难以满足消费者的需求等问题，在一定程度上制约了我们农业经济的发展。近几年来，机器视觉以及机器人技术发展较为成熟，在工业领域的应用越来越广泛，在农业领域同样能发挥它的价值，所以本发明提出了将两种在工业领域应用较为成熟的技术结合后应用在农业领域的方案，希望它能够解决水果分拣中存在的问题，并带来一定的社会效益。

发明内容

针对现有技术的不足，本发明提供一种基于机器视觉的水果分拣系统及其图像识别方法本发明的技术方案如下：

一种基于机器视觉的水果分拣系统，包括图像采集装置、传送装置、机器人支撑架、delta机器人、气动夹具；图像采集装置设于传送装置上方，delta机器人通过机器人支撑架设于图像采集装置后方，气动夹具与delta机器人相连；

所述图像采集装置包括框架，框架跨设于传送装置上方，框架四周设有挡板，挡板内侧设有光电传感器、CCD相机，光电传感器与CCD相机均与控制系统相连；

所述的delta机器人包括固定平台，固定平台上设有伺服电机，伺服电机输出轴与大臂相连，大臂通过两自由度连接件与小臂相连，小臂通过两自由度连接件与末端执行器相连；通过伺服电机的转动便可以控制末端执行器在空间中运动；

所述气动夹具包括气动夹具底座和气动杆，气动夹具底座与末端执行器的末端执行器底座相连，气动夹具底座通过转动轴与夹具大臂相连，夹具大臂底部通过传动螺栓与抓手相连，夹具大臂中部通过转动轴与夹具小臂相连，夹具大臂、夹具小臂、抓手的数量均为两个，两个夹具小臂通过转动轴与连接臂相连，气动杆一端与连接臂相连，气动杆另一端贯穿气动夹具底座和末端执行器底座。通过气动杆的伸缩，便可以实现夹具的夹取动作。

各部分互相配合，在控制系统及软件系统的支持下完成分拣水果的具体操作：水果在传送带上先经过图像采集装置，传感器感应到水果后上报控制器，控制器控制工业相机进行拍照。然后将采集到的图像上传到计算机分析运算，得到缺陷水果的位置坐标。最后计算机控制delta机器人带动气动夹具夹取水果，放到相应的传送带，完成分拣过程。

根据本发明优选的，所述图像采集装置还包括照明灯，所述照明灯、CCD相机均通过固体胶粘结于挡板内侧。

进一步优选的，所述框架为立体矩形框架，所述CCD相机设于矩形框架顶部挡板的内侧，照明灯设在两侧挡板内侧，光电传感器设在设于框架上。

进一步优选的，所述传送装置传送方向两侧的挡板从框架顶部延伸至传送装置下方。遮光板采用不透光的黑色亚克力板，左右板延伸到传送带底部，前后到传动带上表面的距离要保证水果能够通过，此设计的优点在于大大减小了外部光线对图像采集的干扰。

根据本发明优选的，所述传送装置包括主传动轴、从动轴、轴承、传送带，传送带两端设有主传动轴和从动轴，主传动轴和从动轴均通过轴承连接在轴承支撑上。

根据本发明优选的，所述伺服电机通过电机基座固定设在固定平台上，所述伺服电机的数量为三个，三个伺服电机在水平方向上按圆周相互间隔120°分布。

进一步优选的，大臂通过两自由度连接件与小臂相连，所述两自由度连接件包括大连接件、小连接件、大传动轴、轴承，大连接件一端通过大传动轴与大臂相连，大传动轴与大臂之间设有轴承，大连接件另一端内设有轴承，轴承内通过轴承连接销与小连接件相连，小连接件通过臂连接销与小臂相连；

小臂通过两自由度连接件与末端执行器相连，所述两自由度连接件包括大连接件、小连接件、大传动轴、轴承，大连接件一端通过大传动轴与小臂相连，大传动轴与小臂之间设有轴承，大连接件另一端内设有轴承，轴承内通过轴承连接销与小连接件相连，小连接件通过臂连接销与末端执行器相连。

进一步优选的，所述大臂的数量为三个，所述小臂的数量为六个，每个大臂末端两侧各通过两自由度连接件与小臂相连。

根据本发明优选的，所述气动夹具的抓手相对一侧设有弧形垫片。适合水果轮廓的圆弧状橡胶垫片，可保证能够牢固的抓取水果，与夹具相配合的气动系统设置一个合适的压力值，以保证夹具产生合适的夹取水果的力，同时避免对水果造成机械硬伤。

一种基于机器视觉的水果分拣系统的图像识别的方法，包括以下步骤：

(1)将水果置于传送装置，光电传感器感应到有水果进入后上报控制系统，控制系统控制CCD相机拍照，将采集到的图像信息上传至计算机分析运算；

(2)将收到的图像进行图像处理，图像处理包括直方图均衡化、中值平滑、高斯平滑、边缘检测，得到具有水果轮廓的二值图，利用膨胀算法增大二值图中白色缺陷区域的面积，

通过直方图均衡化，图像的灰度直方图更加均匀，像素将占有更多的灰度级，处理后的图像的对比度提高，图像质量改善；中值滤波在降噪时引起的模糊较低、中值平滑后可有效消除了图像的椒盐噪声，避免线性平滑滤波在处理像素邻域内的噪声点时，噪声会影响该点像素值的计算；在中值平滑的基础上再进行高斯平滑，以增强图像的有效信息，避免平均平滑对邻域内的像素取相同的权重、会造成图像模糊；通过边缘检测得到具有水果轮廓的二值图；图像的边缘是图像的最基本特征，是指灰度值有较大变化的地方。边缘检测可以大大减少数据量，并且去除无效信息，提取出图像的有效信息。利用膨胀算法做形态学处理，以提高水果识别的正确率，应该扩大正常水果和缺陷水果之间的差异。

本步骤中可用OpenCV机器视觉开源库给提供的方法直接调用进行图像处理。

(3)霍夫圆检测，采用基于梯度的霍夫圆检测方法，得到图像中所有水果的质心位置坐标以及水果的半径大小；

(4)缺陷识别，由步骤(3)已经得出了水果所在位置的圆心及半径，根据圆心和半径构建每个圆的外接正方形，得到该正方形总的像素点数并设为总面积，得到在该正方形内像素值为255的点数个数并设为缺陷面积，用缺陷面积除以总面积得到缺陷比率，设置比率阈值，通过该阈值便可以识别出有缺陷的水果及无缺陷水果的坐标位置；选择正方形而不选择圆形的原因是这样可以提高算法的运行效率；

(5)控制系统控制delta机器人带动气动夹具行进至该缺陷水果的上方，并拾取该缺陷水果至指定位置。

本发明的有益效果在于：

1、本发明采用气动夹具作为水果的夹取装置，比吸盘式夹具能够承受更大的重量，夹取更大直径的水果，提高了适用范围，通过气动的方式实现抓取和放下动作，delta机器人作为空间移动装置属于并联结构，能够高速拾取，效率高。

2、本发明的图像识别方法采用Python语言结合OpenCV开源库开发，巧妙的将OpenCV提供的方法和自己的方法融合在一起，对单个图像进行一系列的图像处理最终得到二值化图像，并设置阈值进行识别，相比于直接对比相似图像，本方法可高效简便的完成了图像识别的任务，且正确率高，便于二次开发。

3、本发明分拣系统对五部分硬件装置进行模块化设计，构思巧妙，结构简单，安装使用方便，其分拣方法简单易行，操作方便，分拣结果准确率高，对于水果分拣设备的设计制作具有重要的指导意义。

附图说明

图1为本发明基于机器视觉的水果分拣系统总体结构示意图；

图2为本发明中气动夹具的结构示意图；

图3为本发明中图像采集装置的结构示意图；

图4为本发明中delta机器人的结构示意图；

图5为delta机器人上大臂与小臂之间通过两自由度连接件连接的结构示意图；

图6.1为本发明步骤(1)中采集的原始的图像信息；

图6.2为本发明步骤(2)中直方图均衡化后的图像信息；

图6.3为本发明步骤(2)中中值平滑、高斯平滑后的图像信息；

图6.4为本发明步骤(2)中边缘检测后得到具有水果轮廓的二值图；

图6.5为本发明步骤(2)中利用膨胀算法增大白色缺陷区域后的图像信息；

图6.6为本发明步骤(3)和(4)中霍夫圆检测和缺陷识别后得到的图像信息；

图7.1为本发明识别正常水果和缺陷水果时未进行膨胀算法的比率图；

图7.2为本发明识别正常水果和缺陷水果时进行了膨胀算法的比率图；

其中：1、图像采集装置，2、传送装置，3、机器人支撑架，4、delta机器人，5、气动夹具，6、气动夹具底座，7、转动轴，8、夹具大臂，9、夹具小臂，10、末端执行器底座，11、固定夹片，12、气动杆，13、连接臂，14、抓手，15、固定平台，16、伺服电机，17、电机基座，18、紧定螺钉，19大臂，20、小臂，21末端执行器，22、轴承，23、轴承连接销，24、大连接件，25、大传动轴，26、轴承，27、小连接件，28、臂连接销。

具体实施方式

下面通过实施例并结合附图对本发明做进一步说明，但不限于此。

实施例1：

一种基于机器视觉的水果分拣系统，包括图像采集装置1、传送装置2、机器人支撑架3、delta机器人4、气动夹具5；图像采集装置1设于传送装置2上方，delta机器人4通过机器人支撑架3设于图像采集装置1后方，气动夹具5与delta机器人4相连，如图1所示。

所述图像采集装置1包括框架，框架跨设于传送装置2上方，框架四周设有挡板，挡板内侧设有光电传感器、CCD相机，光电传感器与CCD相机均与控制系统相连。

所述的delta机器人4包括固定平台15，固定平台15上设有伺服电机16，伺服电机16输出轴与大臂19相连，大臂19通过两自由度连接件与小臂20相连，小臂20通过两自由度连接件与末端执行器21相连；通过伺服电机的转动便可以控制末端执行器在空间中运动。

所述气动夹具5包括气动夹具底座6和气动杆12，气动夹具底座6与末端执行器21的末端执行器底座10相连，气动夹具底座6通过转动轴7与夹具大臂8相连，夹具大臂8底部通过传动螺栓与抓手14相连，夹具大臂8中部通过转动轴与夹具小臂9相连，夹具大臂8、夹具小臂9、抓手14的数量均为两个，两个夹具小臂9通过转动轴与连接臂13相连，气动杆12一端与连接臂13相连，气动杆12另一端贯穿气动夹具底座6和末端执行器底座10。通过气动杆的伸缩，便可以实现夹具的夹取动作。

各部分互相配合，在控制系统及软件系统的支持下完成分拣水果的具体操作：水果在传送带上先经过图像采集装置，传感器感应到水果后上报控制器，控制器控制工业相机进行拍照。然后将采集到的图像上传到计算机分析运算，得到缺陷水果的位置坐标。最后计算机控制delta机器人带动气动夹具夹取水果，放到相应的传送带，完成分拣过程。

实施例2：

一种基于机器视觉的水果分拣系统，其结构如实施例1所述，所不同的是，所述图像采集装置还包括照明灯，所述照明灯、CCD相机均通过固体胶粘结于挡板内侧。

实施例3：

一种基于机器视觉的水果分拣系统，其结构如实施例2所述，所不同的是，所述框架为立体矩形框架，所述CCD相机设于矩形框架顶部挡板的内侧，照明灯设在两侧挡板内侧，光电传感器设在设于框架上。

实施例4：

一种基于机器视觉的水果分拣系统，其结构如实施例3所述，所不同的是，所述传送装置传送方向两侧的挡板从框架顶部延伸至传送装置下方。遮光板采用不透光的黑色亚克力板，左右板延伸到传送带底部，前后到传动带上表面的距离要保证水果能够通过，此设计的优点在于大大减小了外部光线对图像采集的干扰。

实施例5：

一种基于机器视觉的水果分拣系统，其结构如实施例1所述，所不同的是，所述传送装置包括主传动轴、从动轴、轴承、传送带，传送带两端设有主传动轴和从动轴，主传动轴和从动轴均通过轴承连接在轴承支撑上。

实施例6：

一种基于机器视觉的水果分拣系统，其结构如实施例1所述，所不同的是，所述伺服电机16通过电机基座17固定设在固定平台15上，所述伺服电机的数量为三个，三个伺服电机在水平方向上按圆周相互间隔120°分布，如图4所示。

实施例7：

一种基于机器视觉的水果分拣系统，其结构如实施例6所述，所不同的是，大臂通过两自由度连接件与小臂相连，所述两自由度连接件包括大连接件24、小连接件27、大传动轴25、轴承，大连接件24一端通过大传动轴25与大臂19相连，大传动轴25与大臂19之间设有轴承26，大连接件24另一端内设有轴承22，轴承22内通过轴承连接销23与小连接件27相连，小连接件27通过臂连接销28与小臂20相连，如图5所示。

小臂也通过两自由度连接件与末端执行器相连，所述两自由度连接件包括大连接件、小连接件、大传动轴、轴承，大连接件一端通过大传动轴与小臂相连，大传动轴与小臂之间设有轴承，大连接件另一端内设有轴承，轴承内通过轴承连接销与小连接件相连，小连接件通过臂连接销与末端执行器相连。

实施例8：

一种基于机器视觉的水果分拣系统，其结构如实施例7所述，所不同的是，所述大臂的数量为三个，所述小臂的数量为六个，每个大臂末端两侧各通过两自由度连接件与小臂相连，如图4所示。

实施例9：

一种基于机器视觉的水果分拣系统，其结构如实施例1所述，所不同的是，所述气动夹具的抓手相对一侧设有弧形垫片。适合水果轮廓的圆弧状橡胶垫片，可保证能够牢固的抓取水果，与夹具相配合的气动系统设置一个合适的压力值，以保证夹具产生合适的夹取水果的力，同时避免对水果造成机械硬伤。

实施例10：

一种基于机器视觉的水果分拣系统的图像识别的方法，包括以下步骤：

(1)将水果置于传送装置，光电传感器感应到有水果进入后上报控制系统，控制系统控制CCD相机拍照，将采集到的图像信息上传至计算机分析运算；

(2)将收到的图像进行图像处理，图像处理包括直方图均衡化、中值平滑、高斯平滑、边缘检测，得到具有水果轮廓的二值图，利用膨胀算法增大二值图中白色缺陷区域的面积，

通过直方图均衡化，图像的灰度直方图更加均匀，像素将占有更多的灰度级，处理后的图像的对比度提高，图像质量改善；中值滤波在降噪时引起的模糊较低、中值平滑后可有效消除了图像的椒盐噪声，避免线性平滑滤波在处理像素邻域内的噪声点时，噪声会影响该点像素值的计算；在中值平滑的基础上再进行高斯平滑，以增强图像的有效信息，避免平均平滑对邻域内的像素取相同的权重、会造成图像模糊，由图6.3可知，经过中值平滑、高斯平滑后得到有效信息占比更高。通过边缘检测得到具有水果轮廓的二值图，如图6.4；图像的边缘是图像的最基本特征，是指灰度值有较大变化的地方。边缘检测可以大大减少数据量，并且去除无效信息，提取出图像的有效信息。利用膨胀算法做形态学处理，以提高水果识别的正确率，应该扩大正常水果和缺陷水果之间的差异，如图6.5所示。

本步骤中可用OpenCV机器视觉开源库给提供的方法直接调用进行图像处理。

(3)霍夫圆检测，采用基于梯度的霍夫圆检测方法，得到图像中所有水果的质心位置坐标以及水果的半径大小；

(4)缺陷识别，由步骤(3)已经得出了水果所在位置的圆心及半径，根据圆心和半径构建每个圆的外接正方形，得到该正方形总的像素点数并设为总面积，得到在该正方形内像素值为255的点数个数并设为缺陷面积，用缺陷面积除以总面积得到缺陷比率，设置比率阈值，通过该阈值便可以识别出有缺陷的水果及无缺陷水果的坐标位置，如图6.6所示，图6.6和图6.5的区别在于图6.6在缺陷水果处标出了一个圆，以表示此时已经知道了该缺陷水果的圆心和半径；由图6.1-6.6所示明显可以看出，有缺陷的水果要比正常水果的比率高很多，所以经过多次试验后得出一个比较合理的阈值即可分辨出正常水果和缺陷水果，最终该阈值取0.1。由7.1和7.2可知，经过步骤(2)的膨胀算法放大后可进一步提高正常水果和缺陷水果之间的差异度，从而提高分拣的正确率。

(5)控制系统控制delta机器人带动气动夹具行进至该缺陷水果的上方，并拾取该缺陷水果至指定位置。

程序示例：

Claims (9)

1.一种基于机器视觉的水果分拣系统的图像识别的方法，所述基于机器视觉的水果分拣系统包括图像采集装置、传送装置、机器人支撑架、delta机器人、气动夹具；图像采集装置设于传送装置上方，delta机器人通过机器人支撑架设于图像采集装置后方，气动夹具与delta机器人相连；

所述图像采集装置包括框架，框架跨设于传送装置上方，框架四周设有挡板，挡板内侧设有光电传感器、CCD相机，光电传感器与CCD相机均与控制系统相连；

所述的delta机器人包括固定平台，固定平台上设有伺服电机，伺服电机输出轴与大臂相连，大臂通过两自由度连接件与小臂相连，小臂通过两自由度连接件与末端执行器相连；

所述气动夹具包括气动夹具底座和气动杆，气动夹具底座与末端执行器的末端执行器底座相连，气动夹具底座通过转动轴与夹具大臂相连，夹具大臂底部通过传动螺栓与抓手相连，夹具大臂中部通过转动轴与夹具小臂相连，夹具大臂、夹具小臂、抓手的数量均为两个，两个夹具小臂通过转动轴与连接臂相连，气动杆一端与连接臂相连，气动杆另一端贯穿气动夹具底座和末端执行器底座；

方法包括以下步骤：

（1）将水果置于传送装置，光电传感器感应到有水果进入后上报控制系统，控制系统控制CCD相机拍照，将采集到的图像信息上传至计算机分析运算；

（2）将收到的图像进行图像处理，图像处理包括直方图均衡化、中值平滑、高斯平滑、边缘检测，得到具有水果轮廓的二值图，利用膨胀算法增大二值图中白色缺陷区域的面积，

（3）霍夫圆检测，采用基于梯度的霍夫圆检测方法，得到图像中所有水果的质心位置坐标以及水果的半径大小；

（4）缺陷识别，由步骤（3）已经得出了水果所在位置的圆心及半径，根据圆心和半径构建每个圆的外接正方形，得到该正方形总的像素点数并设为总面积，得到在该正方形内像素值为255的点数个数并设为缺陷面积，用缺陷面积除以总面积得到缺陷比率，设置比率阈值，通过该阈值便可以识别出有缺陷的水果及无缺陷水果的坐标位置；

（5）控制系统控制delta机器人带动气动夹具行进至该缺陷水果的上方，并拾取该缺陷水果至指定位置。

2.根据权利要求1所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，所述图像采集装置还包括照明灯，所述照明灯、CCD相机均通过固体胶粘结于挡板内侧。

3.根据权利要求2所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，所述框架为立体矩形框架，所述CCD相机设于矩形框架顶部挡板的内侧，照明灯设在两侧挡板内侧，光电传感器设在设于框架上。

4.根据权利要求3所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，所述传送装置传送方向两侧的挡板从框架顶部延伸至传送装置下方。

5.根据权利要求1所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，所述传送装置包括主传动轴、从动轴、轴承、传送带，传送带两端设有主传动轴和从动轴，主传动轴和从动轴均通过轴承连接在轴承支撑上。

6.根据权利要求1所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，所述伺服电机通过电机基座固定设在固定平台上，所述伺服电机的数量为三个，三个伺服电机在水平方向上按圆周相互间隔120°分布。

7.根据权利要求6所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，大臂通过两自由度连接件与小臂相连，所述两自由度连接件包括大连接件、小连接件、大传动轴、轴承，大连接件一端通过大传动轴与大臂相连，大传动轴与大臂之间设有轴承，大连接件另一端内设有轴承，轴承内通过轴承连接销与小连接件相连，小连接件通过臂连接销与小臂相连；

小臂通过两自由度连接件与末端执行器相连，所述两自由度连接件包括大连接件、小连接件、大传动轴、轴承，大连接件一端通过大传动轴与小臂相连，大传动轴与小臂之间设有轴承，大连接件另一端内设有轴承，轴承内通过轴承连接销与小连接件相连，小连接件通过臂连接销与末端执行器相连。

8.根据权利要求7所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，所述大臂的数量为三个，所述小臂的数量为六个，每个大臂末端两侧各通过两自由度连接件与小臂相连。

9.根据权利要求1所述的基于机器视觉的水果分拣系统的图像识别的方法，其特征在于，所述气动夹具的抓手相对一侧设有弧形垫片。

Images