CN105203543B - 基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的整箱红提葡萄果粒大小自动分级装置及其方法，涉及群体水果分级技术领域。本方法是：①对待测的整箱红提葡萄进行编号并放置传送带上；②依次把整箱红提葡萄送入密封箱中进行图像采集，同时得到近红外图像和彩色图像；③对近红外图像和彩色图像进行图像处理：读取图像；对图像进行预处理；图像融合；边缘提取；葡萄果粒图像分割；去除小面积处理；椭圆拟合；提取参数；对椭圆进行筛选；建立分级模型并检验。本发明利用机器视觉技术，能够完成整箱红提葡萄的自动分级；分级标准统一，分级正确率高；利用图像处理技术实现了无损检测，且检测速度快；用机器视觉技术对群体性物体实现大小无损检测，具有广阔的应用前景。

Description

基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法

技术领域

本发明涉及群体水果分级技术领域，尤其涉及一种基于机器视觉的整箱红提葡萄果粒大小自动分级装置及其方法。本发明主要是利用工业相机采集红提葡萄图像，通过一系列的图像处理方法，提取红提葡萄果粒的大小参数，根据果粒的大小建立模型并检验进行分级，为红提葡萄的自动分级提供一种无损快速的方法。

背景技术

目前，红提葡萄果粒大小的分级主要是依靠人工来实现的，通过剪切表面的几颗果粒，用游标卡尺测量其果粒最大轴向直径作为果粒的直径，根据所测的几颗果粒的直径来判断整箱红提果粒的等级。针对红提葡萄果粒大小分级时，必须遵循15%的降级原则；换言之，若被检测红提葡萄果粒的二级果偏多，但当被检测红提葡萄果粒中的三级果占比超过15％，那么被检测红提葡萄果粒降为三级果。人工分级时，选取样本有限，最大轴向直径不好把握，另外人工分级工作繁琐、效率低且具有破坏性。

机器视觉在产品分级领域应用广泛，比如苹果、梨、鸡蛋等方面的应用。国内研究主要是以苹果、柑橘、鸡蛋等形状规则且容易分离的单个物体作为研究对象。而对于类似红提葡萄这种不易分离、形状大小不一、结构紧凑的对象研究甚少。

用机器视觉来检测物体大小的研究众多。熊利荣等通过对单粒花生的像素点进行提取和计算，实现了单粒花生大小的分类【熊利荣、任奕林、肖任勤，基于机器视觉的花生大小检验,湖北农业科学[J]，2007，46(3)】；陈红等提出了一种曲线结构特征分析的分选方法，设计了一种基于机器视觉的花菇分选系统【陈红、夏青、左亭等，基于机器视觉的花菇分选技术，农业机械学报[J]，2014，45（1）】；邓海霞在基于机器视觉的群体禽蛋大小检测方法研究中先求得禽蛋的质心，再求质心到边缘点的最大值作为禽蛋的长轴，最小值作为禽蛋的短轴【邓海霞，基于机器视觉的群体禽蛋大小检测方法研究[D]华中农业大学，2006】。虽然机器视觉对物体大小检测的研究众多，但主要是针对容易分割或者以单个形体出现的物体进行检测分级，对于成串状的红提葡萄等物体研究极少。

利用机器视觉对红提葡萄果粒大小研究主要是针对整串的红提葡萄。例如，陈英、廖涛等人使用投影面积法和果轴方向投影曲线计算葡萄整串的大小和形状参数，进而实现对葡萄的品质分级，对颜色分级的准确率高达90%，对大小形状的分级准确率则达到了88.3%【陈英、廖涛、林初靠等，基于机器视觉的葡萄检测分级系统，农业机械学报[J].2010，41（3）】。王巧华等发明了一种基于机器视觉的红提葡萄自动分级装置对整串红提葡萄进行检测，通过计算红提葡萄的曲率角和突变点等方法提取红提葡萄果粒的大小特征，分级正确率为85%【王巧华、丁幼春、罗俊、许堃瑞、李敏，基于机器视觉的红提葡萄自动分级装置及其方法[P]，中国专利：CN102680414A，2012-09-19】。

经检索，目前国内尚未发现有关整箱红提葡萄果粒大小自动分级技术及分选设备应用于生产实际。

发明内容

本发明的目的就在于克服现有技术存在的问题，提供一种基于机器视觉的整箱红提葡萄果粒大小自动分级装置及其方法。

本发明的目的是这样实现的：

本发明利用机器视觉，通过特定的处理算法，对整箱红提葡萄果粒进行分割，再利用椭圆拟合等算法提取红提葡萄果粒的大小参数，进而实现了整箱红提葡萄果粒的大小分级；本发明从图像采集到图像处理再到果粒分级过程中全部是自动化，且分级标准统一，分级速度快，准确率高，具有重要应用意义。

本发明主要针对整箱红提葡萄果粒大小进行分析，与其他现有的研究不同的是，本发明针对整箱的红提葡萄进行研究，而并非针对单串红提葡萄。本发明中，主要完成以下几项工作：

1、搭建图像采集装置，采集整箱红提葡萄图像，主要包括红提葡萄的选择，

相机的选择，光源的选择，采集图像等；

2、采用合适的图像处理方法，对采集的图像进行处理，提取红提葡萄果粒

的特征参数：

这部分是最为关键的环节，主要有三个步骤，第一是图像预处理，选择合适的算法去除红提葡萄果梗；第二是分割葡萄果粒，本发明采用图像分割将红提葡萄果粒分割出来；第三是参数提取与换算，本发明利用椭圆拟合对红提葡萄果粒进行拟合，提取红提葡萄果粒大小的参数，同时通过合适的换算算法，得到红提葡萄果粒的直径大小。

3、建立红提葡萄果粒大小自动分级模型，并加以检验。

本发明的重点与难点在于如何去除果梗以及如何从整箱红提葡萄图像中获取红提葡萄果粒大小的参数。要实现的目的是通过机器视觉及图像处理技术提取有效参数，建立整箱红提葡萄大小分级分级模型，实现对整箱红提葡萄的快速无损检测及分级。

具体地说，本发明的技术方案如下：

一、基于机器视觉的整箱红提葡萄果粒大小自动分级装置（简称装置）

本装置的工作对象是红提葡萄；

设置有显示屏、主机、工业相机、环形光源、密封箱、水果箱和传送带；

其位置和连接关系是：

在密封箱底部开设通道及安装传送带，在传送带上摆放水果箱，红提葡萄放置于水果箱中；

在密封箱的上部中间开设一个圆孔，在圆孔周围内置有环形光源，在圆孔处安装有工业相机，工业相机对准红提葡萄采集信息；

工业相机与主机相连，实时更新相机信息。

二、基于机器视觉的整箱红提葡萄果粒大小自动分级方法（简称方法）

本方法包括下列步骤：

①对待测的整箱红提葡萄进行编号并放置传送带上；

②依次把整箱红提葡萄送入密封箱中进行图像采集，同时得到彩色图像和近红外图像；

③对彩色图像和近红外图像进行图像处理；

A、将彩色图像转为HSV图像（H代表色调，S代表饱和度，V代表亮度），选择合适的阈值进行处理，得到去除果梗后的图像，再将其转化为二值化图像；

B、对近红外图像进行增强处理，得到轮廓清晰的灰度图像；

C、将增强后近红外图像与去除果梗的二值化图像相乘，得到去除果梗后的灰度图像；

D、对去除果梗后的灰度图像进行边缘检测；

E、分割红提葡萄果粒的边缘；

F、对红提葡萄果粒的边缘进行去除小面积处理；

G、采用椭圆拟合对去除小面积处理后的红提葡萄果粒的边缘进行椭圆拟合；

H、提取参数，对红提葡萄果粒进行分级。

本发明的工作原理是：

将整箱红提葡萄放置在传送带上，通过传送带送入到密封箱底部，接通电源开关，开启环形光源，在显示屏中打开图像采集软件，调整工业相机参数，控制工业相机采集整箱红提葡萄的图像；图像处理软件通过上述方法开始处理整箱红提葡萄图像，快速判别整箱红提葡萄的等级，从而实现整箱红提葡萄果粒大小的自动检测。

本发明具有以下优点和积极效果：

①利用机器视觉技术，能够完成整箱红提葡萄的自动分级；

②分级标准统一，分级正确率高；

③利用图像处理技术实现了无损检测，且检测速度快；

④用机器视觉技术对群体性物体实现大小无损检测，具有广阔的应用前景。

附图说明

图1是本装置的结构示意图，

图中：

0—红提葡萄；

1—显示屏；

2—主机；

3—工业相机；

4—环形光源；

5—密封箱；

6—水果箱；

7—传送带

图2是图像处理软件的工作流程图。

具体实施方式

下面结合附图和实施例详细说明：

一、装置

1、总体

如图1，本装置的工作对象是红提葡萄0；

设置有显示屏1、主机2、工业相机3、环形光源4、密封箱5、水果箱6和传送带7；

其位置和连接关系是：

在密封箱5底部开设通道及安装传送带7，在传送带7上摆放水果箱6，红提葡萄0放置于水果箱6中；

在密封箱5的上部中间开设一个圆孔，在圆孔周围内置有环形光源4，在圆孔处安装有工业相机3，工业相机3对准红提葡萄0采集信息；

工业相机3与主机2相连，实时更新相机信息。

2、功能块

1）显示屏1

显示屏是一种通用外购件，如选用长城的LED显示屏。

2）主机2

主机2是一种通用外购件,如选用CPU Intel Core i5-3210M 2.50GHz/内存8G，Windows 7 64位系统；

内嵌有采集卡及图像处理软件。

如图2，所述的图像处理软件的工作流程是：

①读取图像-201；

②对图像进行预处理-202

通过对彩色图像进行HSV化、阈值分割和二值化处理，得到去除果梗的二值化图像；同时处理近红外图像，对近红外图像进行增强处理，得到轮廓更加清晰的近红外图像；

③图像融合-203

将去除果梗的二值化图像与增强后的近红外图像相融合，得到去除果梗且边缘得到增强的灰度图像；

④边缘提取-204

采用Canny算子对图像融合的图像进行边缘检测，得到红提葡萄边缘；

⑤葡萄果粒图像分割-205

对灰度图像进行分水岭分割处理，提取红提葡萄果粒的中心位置，根据红提葡萄果粒的中心位置对红提葡萄边缘进行分割，得到单颗粒红提葡萄果粒边缘；

⑥去除小面积处理-206

对红提葡萄果粒的边缘进行去除小面积处理；

⑦椭圆拟合-207

对去除小面积处理后的红提葡萄果粒的边缘进行椭圆拟合-207；

⑧提取参数-208

提取椭圆的长轴Ra、短轴Rb和离心率e=Ra/Rb；

⑨对椭圆进行筛选-209

当离心率e≥0.75时，保留该椭圆，当e<0.75，舍去该椭圆；

⑩建立分级模型并检验-210

计算所有红提葡萄果粒大小，建立分级模型并检验。

3）工业相机3

工业相机3是一种通用外购件，如选用JAI公司的2-CCD相机；

其功能是采集红提葡萄0的图像数据。

4）环形光源4

环形光源4由环形日光灯和近红外光源构成，均是通用外购件，如选用科朗公司生产的环形日光灯和OPT生产的近红外光源；

其功能是为红提葡萄0提供光源。

5）密封箱5

密封箱大小为：长×宽×高=500mm×500mm×1000mm。

6）水果箱6

水果箱6是一种通用箱，如葡萄水果箱，用来容装红提葡萄。

7）传送带

传送带是一种通用件，根据实际情况安装合适的传送带，其作用是用来传送水果箱。

3、检测结果

本实验的试验样品为新疆红提葡萄，共计38箱，均采购于华中农业大学中百超市，通过上述的整箱红提葡萄果粒大小分级装置及其方法对38箱红提葡萄进行测试，其中正确分级35箱，分级准确率为92.1%。

Claims (1)

1.一种基于机器视觉的整箱红提葡萄果粒大小自动分级方法，装置包括工作对象是红提葡萄(0)；

设置显示屏(1)、主机(2)、工业相机(3)、环形光源(4)、密封箱(5)、水果箱(6)和传送带(7)；

其位置和连接关系是：

在密封箱(5)底部开设通道及安装传送带(7)，在传送带(7)上摆放水果箱(6)，红提葡萄(0)放置于水果箱(6)中；

在密封箱(5)的上部中间开设一个圆孔，在圆孔周围内置有环形光源(4)，在圆孔处安装有工业相机(3)，工业相机(3)对准红提葡萄0采集信息；

工业相机(3)与主机(2)相连，实时更新相机信息；

所述的主机(2)内嵌有采集卡及图像处理软件，其工作流程是：

①读取图像(201)；

②对图像进行预处理(202)

通过对彩色图像进行HSV化、阈值分割和二值化处理，得到去除果梗的二值化图像；同时处理近红外图像，对近红外图像进行增强处理，得到轮廓更加清晰的近红外图像；

③图像融合(203)

将去除果梗的二值化图像与增强后的近红外图像相融合，得到去除果梗且边缘得到增强的灰度图像；

④边缘提取(204)

采用Canny算子对图像融合的图像进行边缘检测，得到红提葡萄边缘；

⑤葡萄果粒图像分割(205)

对灰度图像进行分水岭分割处理，提取红提葡萄果粒的中心位置，根据红提葡萄果粒的中心位置对红提葡萄边缘进行分割，得到单颗粒红提葡萄果粒边缘；

⑥去除小面积处理(206)

对红提葡萄果粒的边缘进行去除小面积处理；

⑦椭圆拟合(207)

对去除小面积处理后的红提葡萄果粒的边缘进行椭圆拟合；

⑧提取参数(208)

提取椭圆的长轴Ra、短轴Rb和离心率e＝Ra/Rb；

⑨对椭圆进行筛选(209)

当离心率e≥0.75时，保留该椭圆，当e<0.75，舍去该椭圆；

⑩建立分级模型并检验(210)

计算所有红提葡萄果粒大小，建立分级模型并检验；

其特征在于包括下列步骤：

①对待测的整箱红提葡萄进行编号并放置传送带上；

②依次把整箱红提葡萄送入密封箱中进行图像采集，同时得到彩色图像和近红外图像；

③对彩色图像和近红外图像进行图像处理；

A、将彩色图像转为HSV图像，选择合适的阈值进行处理，得到去除果梗后的图像，再将其转化为二值化图像；

B、对近红外图像进行增强处理，得到轮廓清晰的灰度图像；

C、将增强后近红外图像与去除果梗的二值化图像相乘，得到去除果梗后的灰度图像；

D、对去除果梗后的灰度图像进行边缘检测；

E、分割红提葡萄果粒的边缘；

F、对红提葡萄果粒的边缘进行去除小面积处理；

G、采用椭圆拟合对去除小面积处理后的红提葡萄果粒的边缘进行椭圆拟合；

H、提取参数，对红提葡萄果粒进行分级。