CN112775032A - 一种水果分拣方法、装置及柔性机器人 - Google Patents

Abstract

本发明实施例涉及机器人技术领域，特别涉及一种水果分拣方法、装置及柔性机器人，该方法包括：获取待分拣水果的待测图片后，将所述待测图片分割出待测水果图像，计算待测水果与各等级水果的分块单点HSV累计差，计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。这种方式不仅可以实现智能化评定水果等级，并完成最终分拣，还可以提升效率和速度，有利于水果的保鲜。

Description

一种水果分拣方法、装置及柔性机器人

技术领域

本发明实施例涉及机器人技术领域，特别是涉及一种水果分拣方法、装置及柔性机器人。

背景技术

水果市场核心竞争力取决于水果种植品质和水果产后处理两大因素。其中，我国种植的水果品质已经与国际先进水平相当，但在产后处理技术上，仍落后于国际先进水平。这导致水果的附加价值没有得到很好的保证。比如优质的水果，由于产后技术落后，没有很好被识别，最终混在三流的水果中，以低廉的价格出售，其价值没有得到应有的提升和发挥，造成水果市场核心竞争力的削弱。

常见的水果产后流水线，包括上线、清洗、打蜡、烘干、分拣和打包几道工序。其中，水果的分拣技术是水果产后处理的关键技术。优质水果的评价指标，一般包括个体的尺寸、色泽、重量、硬度和糖度等成分的分析，而分拣技术也不在少数。传统的检测方法是依靠人工采用抽样方式的化学检测，不仅过程冗长，且需要破坏样品。现有技术中缺少一种快速准确，并且能够实现机械自动化的水果分拣方法。

发明内容

鉴于上述问题，本发明提供了一种水果分拣方法、装置及柔性机器人，能够识别被抓取水果，根据水果的外形和色泽，自动分选出水果等级。

根据本发明实施例的一个方面，提供了一种水果分拣方法，包括：

设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布；

获取待分拣水果的待测图片；

将所述待测水果图像分成N块子图像，获得所述N块子图像的单点HSV值，根据所述N块子图像的单点HSV值和所述标准单点HSV值计算待测水果与各等级水果的分块单点HSV累计差；

计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。

在一种可选的方式中，所述设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布的步骤具体包括：

获取各等级的标准水果图片；

从所述标准水果图片中分割出只包含水果像素的标准水果图像；

将所述标准水果图像分成N个标准子水果图像，并得到所述N个标准子水果图像对应的标准色泽数据，其中，所述标准色泽数据包括最优HSV分步和所述N个标准子水果图像的标准单点HSV值。

在一种可选的方式中，所述从所述标准水果图片中分割出只包含水果像素的标准水果图像步骤具体包括：

对所述标准水果图片进行图像二值化处理，得到初始标准水果图像；

对所述初始水果图像进行图像掩膜计算得到标准水果图像。

在一种可选的方式中，所述最优HSV分布为：

根据本发明实施例的一个方面，提供了一种水果分拣装置，包括：

设置单元，用于设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布；

获取单元，用于获取待分拣水果的待测图片；

分割单元，用于从所述待测图片中分割出只包含待测水果像素的待测水果图像；

计算单元，用于将所述待测水果图像分成N块子图像，获得所述N块子图像的单点HSV值，根据所述N块子图像的单点HSV值和所述标准单点HSV值计算待测水果与各等级水果的分块单点HSV累计差；

确定单元，用于计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。

在一种可选的方式中，所述设置单元具体包括：获取模块，用于获取各等级的标准水果图片；分割模块，用于从所述标准水果图片中分割出只包含水果像素的标准水果图像；得到模块，用于将所述标准水果图像分成N个标准子水果图像，并得到所述N个标准子水果图像对应的标准色泽数据，其中，所述标准色泽数据包括最优HSV分步和所述N个标准子水果图像的标准单点HSV值。

在一种可选的方式中，所述分割模块包括计算子模块，用于对所述标准水果图片进行图像二值化处理，得到初始标准水果图像；计算子模块，用于对所述初始水果图像进行图像掩膜计算得到标准水果图像。

根据本发明实施例的一个方面，提供了一种柔性机器人，包括：摄像头、气动夹爪和至少一个处理器以及存储器，其中，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

根据本发明实施例的一个方面，提供了一种计算机程序产品，包括：存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的标定方法。

本发明实施例的有益效果是：提供了一种水果分拣方法包括：获取待分拣水果的待测图片后，将所述待测图片分割出待测水果图像，计算待测水果与各等级水果的分块单点HSV累计差，计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。这种方式不仅可以实现智能化评定水果等级，并完成最终分拣，还可以提升效率和速度，有利于水果的保鲜。

附图说明

图1是本发明实施例提供的水果分拣方法的流程示意图；

图2是本发明实施例提供的水果分拣方法中步骤S101的子流程示意图；

图3是本发明实施例提供的一种水果分拣装置的结构示意；

图4是本发明实施例提供的一种柔性机器人的结构示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”、“内”、“外”以及类似的表述只是为了说明的目的。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明在气压驱动多气囊式柔性机器人的基础上，研制一种水果分拣方法，能够识别被抓取水果，根据水果的外形和色泽，自动选取最佳的抓取位置，抓取时自适应水果外形，并分析水果的色泽，给水果品级的划定提供参考。气压驱动多气囊式柔性机器人，包括摄像头、控制器和气动夹爪，摄像头和气动夹爪均与控制器电连接。摄像头用于获取水果的图片，气动夹爪用于抓取水果。

请参阅图1，本发明实施例提供一种水果分拣方法，包括但不限于：

S101，设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布。

如图2所示，上述步骤S101具体包括：

S1011，获取各等级的标准水果图片。

具体的，由人工分拣出符合水果的各等级标准的标准水果，由柔性机器人抓取所述标准水果，并由摄像头获取所述标准水果的三视图。

S1012，从所述标准水果图片中分割出只包含水果像素的标准水果图像。

具体的，首先对所述三视图进行图像二值化处理，即，采用otsu算法(也叫最大类间方差法)按所述标准水果图片的灰度特性，将所示标准水果图片分成背景和前景两个部分。背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大。记t为前景与背景的分割阈值，前景点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁。

则图像的总平均灰度为：u＝w₀×u₀+w₁×u₁

前景和背景图象的方差：g＝w₀×(u₀-u)²+w₁×(u₁-u)²＝w₀×w₁×(u₀-u₁)²

在灰度级为256的一张图像中，t的取值为[1,254]，每个t的取值都能够计算出前景图像和背景图象的方差g，在t＝[1,254]中找到方差g取得最大值时对应的阈值t₁，则t₁即为单张图像用于目标分割的最佳阈值。使用上述阈值t₁将前景图像和背景图像分割，前景图像为初始标准水果图像。

对所述初始水果图像进行图像掩膜计算得到标准水果图像。以下是图像掩膜计算方法：

设原图为I，二值化后的初始标准水果图像为I'，图像掩膜后的标准水果图像为G，则图像掩膜的公式为：

S1013，将所述标准水果图像分成N个标准子水果图像，并得到所述N个标准子水果图像对应的标准色泽数据，其中，所述标准色泽数据包括最优HSV分步和所述N个标准子水果图像的标准单点HSV值。

具体的，统计所述水果图像的标准色泽信息，所述标准色泽信息包括色调信息、饱和度信息和明度信息。色调信息H取值范围为0°～360°。饱和度信息S取值范围为0％～100％，饱和度高，颜色则深而艳。明度信息V取值范围为0％(黑)到100％(白)。

根据色调信息H、饱和度信息S和明度信息V，计算出色调信息H、饱和度信息S和明度信息V的最优分布，该最优分布即为标准色泽数据。以下以苹果为例进行说明，按照色泽，可将苹果分为A、B、C、D四个等级。首先，由人工分别挑选出四个等级的苹果若干，提供给机器人进行拍摄。将A级苹果放置在机器人夹爪摄像头视野内，由视觉抓取A级苹果的三视图。通过三视图在做二值化后的图像进行图像掩膜计算，得到只包含苹果像素的图像，即完成苹果实例分割的图像。设A、B、C、D四个等级苹果的标准图片为I_A、I_B、I_C和I_D，分割后的标准图像为GA、GB、GC和GD，分别转化为HSV颜色模式为GA_HSV、GB_HSV、GC_HSV和GD_HSV现需要根据GA_HSV、GB_HSV、GC_HSV和GD_HSV计算最优HSV分布。

假设GA_HSV、GB_HSV、GC_HSV和GD_HSV中苹果的直径均为d，则苹果的大约面积Area≈0.25πd2，考虑理想状态下，苹果的色泽分布均匀，那么每个苹果可以用单点的HSV值(PA_HSV)表示。

例如PA_HSV≈∑(GA_HSV/0.25πd²)，同理得到PB_HSV、PC_HSV和PD_HSV。

计算HSV的累计差：

其中，H的范围是[0,360]，S和V的范围是[0,100]，分别除以360或100进行归一化。DIS_H中设计f，f|PA_H-PB_H|＝min(|PA_H-PB_H|,360-|PA_H-PB_H|)，因为H是一个360°闭合圆。

最终得到HSV的最优分布:

考虑一般情况下，苹果的色泽分布并不均匀，或者用户将色泽不均匀的苹果即注册为一类。那么单点的HSV值是不能用于求取最优HSV分布的，需要将单点扩展为多点。因此将实例分割图像分块，例如分为4*3＝12块，基于每个小块两两计算单点HSV累计差。因此任意两个等级苹果之间的单点HSV累计差将由12*12＝144项组成。

用公式表示为：

DIS_H＝(∑∑(f|PA_H-PB_H|)+∑∑(f|PA_H-PC_H|)+...+∑∑(f|PC_H-PD_H|))/360

DIS_S＝(∑∑(f|PA_S-PB_S|)+∑∑(f|PA_S-PC_S|)+...+∑∑(f|PC_S-PD_S|))/100

DIS_V＝(∑∑(f|PA_V-PB_V|)+∑∑(f|PA_V-PC_V|)+...+∑∑(f|PC_V-PD_V|))/100

最优HSV分布的计算公式不变，最优HSV分布设为H:S:V＝(a,b,c)。

S102，获取待分拣水果的待测图片。

具体的，由柔性机器人抓取所述标准水果，并由摄像头获取所述标准水果的三视图。

S103,从所述待测图片中分割出只包含待测水果像素的待测水果图像。

具体的分割方式已在前面详细阐述，在此不做赘述。

S104,将所述待测水果图像分成N块子图像，获得所述N块子图像的单点HSV值，根据所述N块子图像的单点HSV值和所述标准单点HSV值计算待测水果与各等级水果的分块单点HSV累计差。

具体的，接上述实施例，得到一个待分拣苹果X的实例分割的图像GX，对其进行图像分块4*3后，基于每个小块分别与A、B、C、D四个等级苹果计算单点HSV累计差。

例如，苹果X与A的分块单点HSV累计差：

DIS(X,A)_H＝∑∑(f|PX_H-PA_H|)/360

DIS(X,A)_S＝∑∑(f|PX_S-PA_S|)/100

DIS(X,A)_V＝∑∑(f|PX_V-PA_V|)/100

同理得到苹果X与B、C、D的分块单点HSV累计差。

S105，计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。

具体计算公式如下：

DIS(X,A)_HSV＝a*DIS(X,A)_H+b*DIS(X,A)_S+c*DIS(X,A)_V

DIS(X,B)_HSV＝a*DIS(X,B)_H+b*DIS(X,B)_S+c*DIS(X,B)_V

DIS(X,C)_HSV＝a*DIS(X,C)_H+b*DIS(X,C)_S+c*DIS(X,C)_V

DIS(X,D)_HSV＝a*DIS(X,D)_H+b*DIS(X,D)_S+c*DIS(X,D)_V

找出DIS(X,A)_HSV、DIS(X,B)_HSV、DIS(X,C)_HSV、DIS(X,D)_HSV中的最小值。

若DIS(X,B)_HSV最小，说明苹果X属于B类品级。

S106，根据所示待测水果的等级将所述待测水果转移至对应区域。

实施本发明实施例，柔性机器人中集成水果分拣算法，该水果分拣算法中的对应一种应用程序，当柔性机器人获取待分拣水果的待测图片后，将所述待测图片分割出待测水果图像，计算待测水果与各等级水果的分块单点HSV累计差，计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。这种方式不仅可以实现智能化评定水果等级，并完成最终分拣，还可以提升效率和速度，有利于水果的保鲜。

请参照图3，为本发明实施例提供的一种水果分拣装置100的结构示意图，如图3所示，本发明实施例的水果分拣装置100可以包括：

设置单元10，用于设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布。

具体的所述设置单元10包括：获取模块，用于获取各等级的标准水果图片；分割模块，用于从所述标准水果图片中分割出只包含水果像素的标准水果图像；得到模块，用于将所述标准水果图像分成N个标准子水果图像，并得到所述N个标准子水果图像对应的标准色泽数据，其中，所述标准色泽数据包括最优HSV分步和所述N个标准子水果图像的标准单点HSV值。所述分割模块包括计算子模块，用于对所述标准水果图片进行图像二值化处理，得到初始标准水果图像；计算子模块，用于对所述初始水果图像进行图像掩膜计算得到标准水果图像。

获取单元20，用于获取待分拣水果的待测图片。

分割单元30，用于从所述待测图片中分割出只包含待测水果像素的待测水果图像。

计算单元40，用于将所述待测水果图像分成N块子图像，获得所述N块子图像的单点HSV值，根据所述N块子图像的单点HSV值和所述标准单点HSV值计算待测水果与各等级水果的分块单点HSV累计差。

确定单元50，用于计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。

请参照图4，为本发明实施例提供的一种柔性机器人的结构示意图，如图4所示，所述柔性机器人1000可以包括：摄像头、气动夹爪和至少一个处理器1001，例如CPU，至少一个通信接口1003，存储器1004，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。通信接口1003可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1004可选的还可以是至少一个位于远离前述处理器1001的存储装置。作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块以及程序指令。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的标定方法。

本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的标定方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种水果分拣方法，其特征在于，包括：

设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布；

获取待分拣水果的待测图片；

将所述待测水果图像分成N块子图像，获得所述N块子图像的单点HSV值，根据所述N块子图像的单点HSV值和所述标准单点HSV值计算待测水果与各等级水果的分块单点HSV累计差；

计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。

2.根据权利要求1所述的水果分拣方法，其特征在于，所述设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布的步骤具体包括：

获取各等级的标准水果图片；

从所述标准水果图片中分割出只包含水果像素的标准水果图像；

将所述标准水果图像分成N个标准子水果图像，并得到所述N个标准子水果图像对应的标准色泽数据，其中，所述标准色泽数据包括最优HSV分步和所述N个标准子水果图像的标准单点HSV值。

3.根据权利要求2所述的水果分拣方法，其特征在于，所述从所述标准水果图片中分割出只包含水果像素的标准水果图像步骤具体包括：

对所述标准水果图片进行图像二值化处理，得到初始标准水果图像；

对所述初始水果图像进行图像掩膜计算得到标准水果图像。

4.根据权利要求1所述的水果分拣方法，其特征在于，所述最优HSV分布为：

5.一种水果分拣装置，其特征在于，包括：

设置单元，用于设置水果的各等级对应的标准色泽数据，其中，所述标准色泽数据包括所述各等级水果的标准单点HSV值和最优HSV分布；

获取单元，用于获取待分拣水果的待测图片；

分割单元，用于从所述待测图片中分割出只包含待测水果像素的待测水果图像；

计算单元，用于将所述待测水果图像分成N块子图像，获得所述N块子图像的单点HSV值，根据所述N块子图像的单点HSV值和所述标准单点HSV值计算待测水果与各等级水果的分块单点HSV累计差；

确定单元，用于计算所述待测水果与各等级水果的总差值，选取所述总差值中的最小值，确定所述最小值对应的水果等级为所述待测水果的等级。

6.根据权利要求5所述的水果分拣装置，其特征在于，所述设置单元具体包括：获取模块，用于获取各等级的标准水果图片；分割模块，用于从所述标准水果图片中分割出只包含水果像素的标准水果图像；得到模块，用于将所述标准水果图像分成N个标准子水果图像，并得到所述N个标准子水果图像对应的标准色泽数据，其中，所述标准色泽数据包括最优HSV分步和所述N个标准子水果图像的标准单点HSV值。

7.根据权利要求6所述的水果分拣装置，其特征在于，所述分割模块包括计算子模块，用于对所述标准水果图片进行图像二值化处理，得到初始标准水果图像；计算子模块，用于对所述初始水果图像进行图像掩膜计算得到标准水果图像。

8.一种柔性机器人，其特征在于，包括摄像头、气动夹爪和至少一个处理器以及存储器，其中，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

Images