CN109615635A - 基于图像识别对草莓进行品质分拣的方法及装置 - Google Patents

Abstract

本发明公开了一种基于图像识别对草莓进行品质分拣的方法及装置，通过图像采集装置采集流水线上草莓图像，对草莓图像进行处理得到草莓边缘图像，根据草莓边缘图像获得草莓图像中心点坐标，计算草莓边缘每个像素点到中心点的距离均值及距离方差，通过判断距离均值是否满足大小阈值进行草莓大小分拣，通过判断距离方差是否满足畸形阈值进行草莓畸形分拣。本发明基于图像识别技术，无需学习，通过品质衡量标准阈值即可进行畸形外观等草莓品质判断，并据此进行分拣。本发明还可综合多种品质特征对草莓品质进行分拣。

Description

基于图像识别对草莓进行品质分拣的方法及装置

技术领域

本发明涉及水果分拣的技术领域，尤其涉及一种基于图像识别对草莓进行品质分拣的方法及装置。

背景技术

草莓(Strawberry)属蔷薇科，多年生草本植物，又叫洋莓，原产于南美洲，中国各地及欧洲等地广为栽培。虽然我国是草莓生产与消费的大国，但由于产后处理水平较低，导致产品在市场售卖的附加值降低。而经过商品化处理的草莓可减少草莓采后损伤，很好的保持水果的新鲜程度，并能美化草莓，提高消费者的购买欲，提高草莓的市场附加值。水果的商品化处理的第一步就是对采摘后的水果修整加工，分类分级。因此对进入市场流通前的草莓分级处理，有利于后期对草莓的商品处理，有利于提高果农的经济效益。

基于机器视觉技术的分类器是目前比较先进的对水果进行分拣的技术。基于机器视觉的草莓分类方法，是使用相机对草莓进行拍照，通过分析图像处理的草莓，面积计算，以及各种直径等参数，就可以完成一个草莓大小、颜色、水果表面缺陷和损伤方面的质量检测，然后控制相应的分类器，对草莓品质分类。该方法与水果没有直接接触，检测过程是非破坏性的；且最大的优点是工作效率高，可严格遵守分类标准分级。

CN106372635A公开了“一种基于机器视觉的草莓外形品质判别方法”，该专利申请对草莓外形的判断采用支持向量机模式分类法，该方法需要先用大量样本对分类参数进行学习，不仅信息处理量大，且若要改变分类标准需要重新进行参数匹配的学习。而且该方法虽然可以进行草莓外形品质判别，但是却不能对草莓形状是否畸形进行判断，而畸形外观是影响草莓品质的重要因素之一，因此该方法具有一定的限制性。

CN201721470584.4公开了“一种基于3D打印和图像识别的流水线水果分拣机器人”，该案件仅仅公开了可以通过图像识别模块单元对水果的色泽、表面光滑度等参数进行识别分析，判断出流水线上水果的质量优劣。但是并未公开具体的识别方法。

发明内容

本发明所要解决的技术问题在于提供一种基于图像识别对草莓进行品质分拣的方法，其基于图像识别技术，无需学习，通过品质衡量标准阈值即可进行畸形外观等草莓品质判断，并据此进行分拣。

本发明所要解决的另一技术问题在于可以根据多个品质特征，对草莓进行分级分拣的方法。

本发明所要解决的再一技术问题在于提供一种基于图像识别对草莓进行品质分拣的装置。

为解决上述技术问题，本发明的技术解决方案是：

一种基于图像识别对草莓进行品质分拣的方法，通过图像采集装置采集流水线上草莓图像，对草莓图像进行处理得到草莓边缘图像，根据草莓边缘图像获得草莓图像中心点坐标，计算草莓边缘每个像素点到中心点的距离均值及距离方差，通过判断距离均值是否满足大小阈值进行草莓大小分拣，通过判断距离方差是否满足畸形阈值进行草莓畸形分拣。

优选地，进一步根据图像采集装置采集的草莓图像提取草莓颜色特征RGB值，通过判断颜色特征RGB值是否满足颜色阈值进行草莓成熟度分拣。

优选地，进一步对草莓每个品质特征分别赋予分类权重，并对每个品质特征分别评分，以此计算草莓的品质综合评价分，进行草莓综合品质分拣。

一种基于图像识别对草莓进行品质分拣的装置，其特征在于：包括图像采集装置、控制器和机械手；

所述的图像采集装置用于采集草莓图像；

所述的控制器包括：

图像预处理器，用于接收来自图像采集模块的草莓图像，并对图像进行处理获得草莓的边缘图像；

草莓特征参数运算器，根据草莓的边缘图像获得草莓图像中心点坐标，并计算草莓边缘每个像素点到中心点的距离均值及距离方差；

草莓品质判断器，根据草莓特征参数运算器的输出结果，判断是否满足预先设定的品质标准阈值获得草莓分拣结果；

控制模块，根据草莓品质判断器的分拣结果，生成控制信号控制机械手动作；

所述的机械手用于执行控制模块的控制信号，抓取草莓放置到指定区域。

优选地，所述的图像采集装置包括摄像头模块和颜色传感器模块。

优选地，所述的图像采集装置安装在所述的机械手上方。

优选地，所述控制器进一步包括颜色特征提取器，用于接收来自图像采集模块的草莓图像或者来自图像采集装置的颜色传感器模块的草莓颜色图像，提取草莓的颜色特征RGB值；同时，草莓品质判断器也进一步根据该颜色特征提取器的输出结果，判断是否满足预先设定的品质标准阈值获得草莓分拣结果。

上述装置的控制方法包括如下步骤：

第一步，启动装置，机械手复位；

第二步，控制器发出控制信号给机械手，控制机械手带动其上图像采集装置移动到流水线上的草莓上方；

第三步，图像采集装置开始工作，对流水线上的草莓进行图像采集；

第四步，对草莓图像进行处理，获得草莓边缘图像或者草莓颜色特征RGB值；

第五步，根据草莓边缘图像获得草莓图像中心点坐标，并计算草莓中心点到边界的距离均值u和距离方差S；

第六步，根据距离均值u和距离方差S分别与草莓大小阈值和草莓畸形阈值进行比对或者比较，或者根据草莓颜色特征RGB值与草莓颜色阈值进行比对或者比较，进行草莓各品质特征的分拣；

第七步，根据分拣结果，生成控制信号并向机械手发送该信号，控制机械手夹取指定草莓并放置指定位置，动作结束后，发送复位信号使得机械臂复位，准备下一次的拍摄。

优选地，所述控制器进一步包括草莓品质评分器，其根据草莓判断器获得的草莓各品质特征评价分以及预先设定的各品质特征分类权重，获得草莓品质综合评价分；而控制模块根据该草莓品质综合评分，生成控制信号控制机械手动作。

上述装置的控制方法包括如下步骤：

第一步，启动装置，机械手复位；

第二步，控制器发出控制信号给机械手，控制机械手带动其上图像采集装置移动到流水线上的草莓上方；

第三步，图像采集装置开始工作，对流水线上的草莓进行图像采集；

第四步，对草莓图像进行处理，获得草莓边缘图像或者草莓颜色特征RGB值；

第五步，根据草莓边缘图像获得草莓图像中心点坐标，并计算草莓中心点到边界的距离均值u和距离方差S；

第六步，根据距离均值u、距离方差S或颜色特征RGB值与相应的草莓大小阈值、草莓畸形阈值或草莓颜色阈值进行比较，获得草莓各品质特征评价分，再根据预先设定的各品质特征分类权重计算草莓品质综合评分，从而进行草莓的品质分拣；

第七步，根据分拣结果，生成控制信号并向机械手发送该信号，控制机械手夹取指定草莓并放置指定位置，动作结束后，发送复位信号使得机械臂复位，准备下一次的拍摄。

采用上述方案后，本发明具有如下优点：

1.本发明通过采集的草莓图像，可用Canny算法检测出草莓边缘，确定中心点后，通过计算边缘到中心点的距离以及距离方差，判断草莓是否存在畸形外观，并根据方差值评价草莓的畸形程度，作为分拣的标准之一。

2.本发明通过采集的草莓图像获取草莓的大小、形状或者颜色等各种品质特征，之后通过品质标准阈值作为草莓分类标准，无需学习，且阈值可根据用户要求进行修改，从而可随时修改分类标准。

3.本发明可以分别对不同品质特征进行评分，并对各品质特征分别赋予可调的分类权重，然后通过一定算法计算草莓品质综合评分，以此作为草莓分拣的标准，从而可综合多种品质特征对草莓品质进行分拣。

附图说明

图1是本发明所述方法的流程图；

图2是本发明所述装置的结构关系图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详述。

本发明所揭示的是一种基于图像识别对草莓进行品质分拣的方法，可配合图1所示，通过图像采集装置采集流水线上草莓图像，对草莓图像进行处理得到草莓边缘图像，根据草莓边缘图像获得草莓图像中心点坐标，计算草莓边缘每个像素点到中心点的距离均值及距离方差，通过判断距离均值是否满足大小阈值进行草莓大小分拣，通过判断距离方差是否满足畸形阈值进行草莓畸形分拣。

具体的，可以通过下列公式进行计算：

D²＝(X_i-X_o)²+(Y_i-Y_o)² 式1

其中：Xo、Yo为草莓图像中心点；

Xi、Yi为草莓图像边界点；

D、u、S分别为中心点到边界的距离、距离均值和距离方差。

当草莓边缘到中心点的距离均值超过大小阈值时，判断草莓大小符合要求，之后进行后续的分拣作业。该大小阈值为预先设置，并可以通过品质设置模块进行的设置。另外，该大小阈值越大，表示草莓越大，因此可以设置多个大小阈值，以便进行不同大小草莓的分拣。

同样的，当草莓边缘到中心点的距离方差超过畸形阈值时，判断草莓畸形符合要求(即不属于畸形草莓)，之后进行后续的分拣作业。该畸形阈值也为预先设置，并同样可以通过品质设置模块进行的设置。另外，该畸形阈值越小畸形判断越严格，即越容易记为畸形。同样地，也可以设置多个畸形阈值，以便进行不同畸形程度的草莓分拣。

除了通过草莓大小及草莓畸形程度对草莓进行分拣以外，本发明还可以进一步通过草莓颜色进行草莓成熟度分拣。具体为：通过对草莓图像进行处理获得草莓颜色特征RGB值，判断颜色特征RGB值是否满足颜色阈值进行草莓成熟度分拣。由于草莓各处颜色不同，还可能包括绿色叶子，因此可以通过先去除绿色区域，之后对其余区域的颜色RGB值与颜色阈值进行比较分析，从而进行草莓成熟度分拣。具体的比较分析可以采用多种算法：例如计算区域内颜色RGB值均值之后与颜色阈值比较，以此进行判断；或者比较区域内每个像素点的颜色RGB值是否满足颜色阈值，之后统计符合要求的像素点数量，通过符合要求像素点数量比例进行判断。同样的，颜色阈值为预先设置的，并可以通过品质设置模块进行的设置。此外，颜色阈值越大表示越鲜红、越成熟，可以通过设置多个颜色阈值，以便进行不同成熟度的草莓分拣。

对于颜色特征的提取，可以采用摄像头拍摄的草莓图像进行处理之后获得草莓的颜色特征，但是这样将增加图像处理的时间。为此，也可以通过设置颜色传感器，由颜色传感器识别草莓的颜色特征。该颜色传感器可以集成在图像采集装置中，即所述的图像采集装置集成有摄像头模块及颜色传感器模块，摄像头模块用于拍摄草莓的图像，颜色传感器模块用于识别草莓的颜色特征。

此外，本发明对草莓品质的分拣分类，还可以同时考量草莓的多个品质特征。即对上述三个品质特征(草莓的大小，畸形形状和颜色)分别赋予可调的分类权重，对三个特征分别评分并计算综合分数，作为草莓分类的标准，从而进行分拣。具体的可以采用如下公式：

其中，α_i为草莓的大小、形状和颜色三个特征分别对应的分类权重，该分类权重事先设定，并可以通过品质设置模块进行设定；T_i为待检测草莓在上述三个特征上分别得到的评价分，该评价分可通过上述方法获得的每个草莓实际品质特征值与品质衡量标准阈值的比值得到，即大小特征评价分为距离均值u与大小阈值的比值，畸形形状特征评价分为距离方差S与畸形阈值的比值，颜色特征评价分为颜色RGB值与颜色阈值的比值等等；m为草莓特征数，如果用来评价等级的品质特征有大小、形状和颜色三个，则m为3，如果仅有大小、形状两个则m为2等等；Score为待检测草莓的品质综合评价分，根据该综合评价分可以将草莓分为A、B、C等多个品质级别。

如图2所示，本发明还揭示了一种基于图像识别对草莓进行品质分拣的装置，该装置包括图像采集装置、控制器和机械手。其中：

所述的图像采集装置用于采集草莓图像。为了更方便清晰的采集到草莓的图像，可以将该图像采集装置安装在所述的机械手上方，可以随着的机械手移动到流水线的草莓上方进行草莓图像的采集。且该图像采集装置可以包括用于采集草莓图像的摄像头模块以及用于采集草莓颜色信息的颜色传感器模块。

所述的控制器包括：

图像预处理器，用于接收来自图像采集模块的草莓图像，并对图像进行处理获得草莓的边缘图像。

草莓特征参数运算器，根据草莓的边缘图像获得草莓图像中心点坐标，并计算草莓边缘每个像素点到中心点的距离均值及距离方差，公式可采用式1、式2和式3。

颜色特征提取器，用于接收来自图像采集模块的草莓图像或者来自图像采集装置的颜色传感器模块的草莓颜色图像，提取草莓的颜色特征RGB值。

草莓品质判断器，根据草莓特征参数运算器或者颜色特征提取器的输出结果，判断是否满足预先设定的品质标准阈值(包括大小阈值、畸形阈值或颜色阈值)获得草莓分拣结果。具体的，将所述的输出结果与品质标准阈值进行比对，当大于阈值时，判断草莓满足该品质要求，并输出分拣结果；或者将所述的输出结果与品质标准阈值进行比较，计算两者的比值，获得相应品质特征的评价分，根据评价分判断草莓的等级，并输出分拣结果。

草莓品质评分器，根据草莓判断器获得的草莓各品质特征评价分以及预先设定的各品质特征分类权重，获得草莓品质综合评价分，可以采用公式4进行草莓品质综合评分；该模块并非必要设置。

控制模块，根据草莓品质判断器的分拣结果或者草莓品质评价器的草莓品质综合评分，生成控制信号控制机械手动作。

还可以进一步包括参数设置模块，对阈值或者分类权重进行设定。

所述的机械手用于执行控制模块的控制信号，抓取草莓放置到指定区域。

所述的草莓品质分拣装置的具体控制方法包括如下步骤：

第一步，启动装置，机械手复位；

第二步，控制器发出控制信号给机械手，控制机械手带动其上图像采集装置移动到流水线上的草莓上方；

第三步，图像采集装置开始工作，对流水线上的草莓进行图像采集；

第四步，对草莓图像进行处理，获得草莓边缘图像或者草莓颜色特征RGB值；

第五步，根据草莓边缘图像获得草莓图像中心点坐标，并根据式1、式2和式3计算草莓中心点到边界的距离均值u和距离方差S；

第六步，根据距离均值u和距离方差S分别与草莓大小阈值和草莓畸形阈值进行比对或者比较，或者根据草莓颜色特征RGB值与草莓颜色阈值进行比对或者比较，进行草莓各品质特征的分拣；进一步的，还可以根据距离均值u、距离方差S或颜色特征RGB值与相应的草莓大小阈值、草莓畸形阈值或草莓颜色阈值进行比较，获得草莓各品质特征评价分，再根据公式4计算草莓品质综合评分，从而进行草莓的品质分拣；

第七步，根据分拣结果，生成控制信号并向机械手发送该信号，控制机械手夹取指定草莓并放置指定位置，动作结束后，发送复位信号使得机械臂复位，准备下一次的拍摄。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。

Claims (10)

1.一种基于图像识别对草莓进行品质分拣的方法，其特征在于：通过图像采集装置采集流水线上草莓图像，对草莓图像进行处理得到草莓边缘图像，根据草莓边缘图像获得草莓图像中心点坐标，计算草莓边缘每个像素点到中心点的距离均值及距离方差，通过判断距离均值是否满足大小阈值进行草莓大小分拣，通过判断距离方差是否满足畸形阈值进行草莓畸形分拣。

2.根据权利要求1所述的基于图像识别对草莓进行品质分拣的方法，其特征在于：进一步根据图像采集装置采集的草莓图像提取草莓颜色特征RGB值，通过判断颜色特征RGB值是否满足颜色阈值进行草莓成熟度分拣。

3.根据权利要求1所述的基于图像识别对草莓进行品质分拣的方法，其特征在于进一步的：对草莓每个品质特征分别赋予分类权重，并对每个品质特征分别评分，以此计算草莓的品质综合评价分，进行草莓综合品质分拣。

4.一种基于图像识别对草莓进行品质分拣的装置，其特征在于：包括图像采集装置、控制器和机械手；

所述的图像采集装置用于采集草莓图像；

所述的控制器包括：

图像预处理器，用于接收来自图像采集模块的草莓图像，并对图像进行处理获得草莓的边缘图像；

草莓特征参数运算器，根据草莓的边缘图像获得草莓图像中心点坐标，并计算草莓边缘每个像素点到中心点的距离均值及距离方差；

草莓品质判断器，根据草莓特征参数运算器的输出结果，判断是否满足预先设定的品质标准阈值获得草莓分拣结果；

控制模块，根据草莓品质判断器的分拣结果，生成控制信号控制机械手动作；

所述的机械手用于执行控制模块的控制信号，抓取草莓放置到指定区域。

5.根据权利要求4所述的基于图像识别对草莓进行品质分拣的装置，其特征在于：所述的图像采集装置包括摄像头模块和颜色传感器模块。

6.根据权利要求4所述的基于图像识别对草莓进行品质分拣的装置，其特征在于：所述的图像采集装置安装在所述的机械手上方。

7.根据权利要求4所述的基于图像识别对草莓进行品质分拣的装置，其特征在于：所述控制器进一步包括颜色特征提取器，用于接收来自图像采集模块的草莓图像或者来自图像采集装置的颜色传感器模块的草莓颜色图像，提取草莓的颜色特征RGB值；同时，草莓品质判断器也进一步根据该颜色特征提取器的输出结果，判断是否满足预先设定的品质标准阈值获得草莓分拣结果。

8.根据权利要求4-7任一所述的基于图像识别对草莓进行品质分拣的装置，其特征在于：所述控制器进一步包括草莓品质评分器，其根据草莓判断器获得的草莓各品质特征评价分以及预先设定的各品质特征分类权重，获得草莓品质综合评价分；而控制模块根据该草莓品质综合评分，生成控制信号控制机械手动作。

9.根据权利要求7所述的基于图像识别对草莓进行品质分拣的装置的控制方法，其特征在于包括如下步骤：

第一步，启动装置，机械手复位；

第二步，控制器发出控制信号给机械手，控制机械手带动其上图像采集装置移动到流水线上的草莓上方；

第三步，图像采集装置开始工作，对流水线上的草莓进行图像采集；

第四步，对草莓图像进行处理，获得草莓边缘图像或者草莓颜色特征RGB值；

第五步，根据草莓边缘图像获得草莓图像中心点坐标，并计算草莓中心点到边界的距离均值u和距离方差S；

第六步，根据距离均值u和距离方差S分别与草莓大小阈值和草莓畸形阈值进行比对或者比较，或者根据草莓颜色特征RGB值与草莓颜色阈值进行比对或者比较，进行草莓各品质特征的分拣；

第七步，根据分拣结果，生成控制信号并向机械手发送该信号，控制机械手夹取指定草莓并放置指定位置，动作结束后，发送复位信号使得机械臂复位，准备下一次的拍摄。

10.根据权利要求8所述的基于图像识别对草莓进行品质分拣的装置的控制方法，其特征在于包括如下步骤：

第一步，启动装置，机械手复位；

第二步，控制器发出控制信号给机械手，控制机械手带动其上图像采集装置移动到流水线上的草莓上方；

第三步，图像采集装置开始工作，对流水线上的草莓进行图像采集；

第四步，对草莓图像进行处理，获得草莓边缘图像或者草莓颜色特征RGB值；

第五步，根据草莓边缘图像获得草莓图像中心点坐标，并计算草莓中心点到边界的距离均值u和距离方差S；

第六步，根据距离均值u、距离方差S或颜色特征RGB值与相应的草莓大小阈值、草莓畸形阈值或草莓颜色阈值进行比较，获得草莓各品质特征评价分，再根据预先设定的各品质特征分类权重计算草莓品质综合评分，从而进行草莓的品质分拣；

第七步，根据分拣结果，生成控制信号并向机械手发送该信号，控制机械手夹取指定草莓并放置指定位置，动作结束后，发送复位信号使得机械臂复位，准备下一次的拍摄。