CN113145473A - 一种水果智能分拣系统及方法 - Google Patents
一种水果智能分拣系统及方法 Download PDFInfo
- Publication number
- CN113145473A CN113145473A CN202110195218.7A CN202110195218A CN113145473A CN 113145473 A CN113145473 A CN 113145473A CN 202110195218 A CN202110195218 A CN 202110195218A CN 113145473 A CN113145473 A CN 113145473A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- target
- color
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000001788 irregular Effects 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000003709 image segmentation Methods 0.000 claims description 26
- 238000003708 edge detection Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000009966 trimming Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 241000227653 Lycopersicon Species 0.000 description 6
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 244000288157 Passiflora edulis Species 0.000 description 1
- 235000000370 Passiflora edulis Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/3412—Sorting according to other particular properties according to a code applied to the object which indicates a property of the object, e.g. quality class, contents or incorrect indication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种水果智能分拣系统及方法，所述系统包括：视觉控制单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，对光学图像进行处理，获取目标对象的识别信息和位置信息，并将识别的目标对象的识别信息和位置信息提供给目标信息数据库；运动控制模块，用于读取目标信息数据库的目标信息，对目标物体进行定位，根据目标信息判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于分辨功能的水果智能分拣系统及方法。
背景技术
目前，食用的水果大多是从果园批量采摘，然后通过人工按大小、成熟度分为不同的等级，这种通过人工分拣的方式费时，费力，并且不同人的判断标准不一致。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种水果智能分拣系统及方法，以提高水果智能分拣的效率。
为达上述目的，本发明提出一种水果智能分拣系统，包括：
视觉控制单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，对光学图像进行处理，获取目标对象的识别信息和位置信息，并将识别的目标对象的识别信息和位置信息提供给目标信息数据库；
运动控制模块，用于读取目标信息数据库的目标信息，对目标物体进行定位，根据目标信息判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
优选地，所述视觉控制单元进一步包括：
传送带位置监测模块，用于读取传送带位置，于判断传送带到达预定位置时，启动视频采集模块以采集光学图像；
视频采集模块，用于采集传送带上的移动目标对象及其不规则背景的光学图像；
图像预处理模块，用于对采集的图像进行框架修剪、色彩分离、平滑去噪预处理；
图像颜色识别模块，用于对预处理后的图像进行颜色辨识；
图像分割模块，对颜色识别后的图像进行图像分割，提取出图像中目标强相关的部分，得到二值图像；
特征提取模块，用于对图像分割后的二值化图像进行特征提取，获取图像颜色特征、边缘特征、面积特征以及形心特征，并存入到所述目标信息数据库。
优选地，所述图像颜色识别模块依据颜色空间分析及颜色相似性度量实现颜色辨识。
优选地，所述颜色相似性度量通过计算目标图像感兴趣区域与各个颜色模板之间的颜色距离对比实现。
优选地，所述图像分割模块采用阈值化分割算法实现对颜色识别后的图像的图像分割。
优选地，所述特征提取模块包括：
边缘特征提取模块，用于对得到的二值化图像利用边缘检测算子进行边缘检测，得到图像中目标物体的边缘；
面积提取模块，用于对该二值化图像，根据目标物体边界所包围的像素数计算得到目标物体的面积特征；
形心坐标提取模块，用于计算目标物体形心的像素坐标，从而对目标物体进行定位。
优选地，于所述运动控制模块中，利用自适应神经模糊推理系统实现目标物体的定位。
为达到上述目的，本发明还提供一种水果智能分拣方法，包括如下步骤：
步骤S1，利用视频采集模块采集传送带上的移动目标对象及其不规则背景的光学图像，对光学图像进行处理，获取目标对象的识别信息和位置信息，并将识别的目标对象的识别信息和位置信息提供给目标信息数据库；
步骤S2，读取目标信息数据库的目标信息，对目标物体进行定位，根据目标信息判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
优选地，步骤S1进一步包括：
步骤S100，判断传送带到达预定位置时，启动视频采集模块以采集光学图像；
步骤S101，采集传送带上的移动目标对象及其不规则背景的光学图像；
步骤S102，对采集的图像进行框架修剪、色彩分离、平滑去噪预处理；
步骤S103，对预处理后的图像进行颜色辨识；
步骤S104，对颜色识别后的图像进行图像分割，提取出图像中目标强相关的部分，得到二值图像；
步骤S105，对图像分割后的二值化图像进行特征提取，获取图像颜色特征、边缘特征、面积特征以及形心特征，并存入到所述目标信息数据库。
优选地，步骤S105进一步包括：
步骤S105a，对得到的二值化图像利用边缘检测算子进行边缘检测，得到图像中目标物体的边缘；
步骤S105b，对该二值化图像，根据目标物体边界所包围的像素数计算得到目标物体的面积特征；
步骤S105c，计算所述目标物体形心的像素坐标，从而对所述目标物体进行定位。
与现有技术相比，本发明一种水果智能分拣系统及方法通过视觉控制模块采用放置在传送带上方的照相机捕获图像，对图像进行识别处理获得目标对象特征，同时将目标对象的识别信息和位置信息提供给目标信息数据库，最后通过运动控制模块根据目标信息数据库的信息实现目标水果的分拣，实现了水果分拣的智能化，提高了水果分拣的效率。
附图说明
图1为本发明一种水果智能分拣系统的系统架构图；
图2为本发明具体实施例中边缘检测的过程图；
图3为本发明一种水果智能分拣方法的步骤流程图；
图4为本发明具体实施例中视觉处理流程图；
图5为本发明实施例中水果智能分拣系统工作流程图；
图6为本发明实施例中系统平台硬件架构图；
图7为本发明实施例中小孔成像模型图；
图8为本发明实施例中坐标转换流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种水果智能分拣系统的系统架构图。如图1所示，本发明一种水果智能分拣系统，包括：
视觉控制单元10，用于采集传送带上的移动目标对象及其不规则背景的光学图像，对光学图像进行处理，获取目标对象的识别信息和位置信息，并将识别的目标对象的识别信息和位置信息提供给目标信息数据库。在本发明中，获取目标对象的识别信息和位置信息包括颜色特征、边缘特征、面积特征以及形心特征。
在本发明具体实施例中，视觉控制单元10进一步包括：
传送带位置监测模块101，用于读取传送带位置，于判断传送带到达预定位置时，启动视频采集模块102以采集光学图像。
在本发明中，传送带主要是用来放置需要分拣的物体，视频采集模块102 设置于传送带上方，当监测到传送带到达预定位置时，启动传送带上方的视频图像采集模块采集光学图像，在传送带旁边临近机械手处设置物体储存箱，以便机械手抓取到的物体放置在该物体储存箱中。
视频采集模块102，用于采集传送带上的移动目标对象及其不规则背景的光学图像。在本发明具体实施例中，图像采集模块102采用放置在传送带上方的高分辨率照相机捕获图像，视频图像采集模块101包括高分辨率照相机、支架和光源，照相机用来拍摄传送带上的物体以捕获视频图像，光源采用荧光灯，辅助摄像机以获得更加清晰的视频图像，其固定在传送带的两侧，支架是用来支撑照相机和固定光源的，并且，本发明中采用的支架均为带刻度的可调节高度的支架，这样便可根据需要调节照相机和光源的高度和角度。较佳地，测量成像室内的光强度可由一个单独的光强度控制器控制，光强度保持不随电源电压的变化以及灯丝特性的变化和周围环境的变化而变化，在此不予赘述。
图像预处理模块103，用于对采集的图像进行框架修剪、色彩分离、平滑去噪等预处理。图像预处理指对处于最低抽象层次的图像上所进行的操作，具有提高图像质量和降低噪声等处理功能。
图像颜色识别模块104，用于对预处理后的图像进行颜色辨识。
在图像处理和机器视觉领域，颜色特征是应用最为广泛、最重要的低层视觉特征。颜色特征识别例如主色识别、基于颜色的目标检测等作为基础操作，在图像识别过程中起着重要作用。对于本发明，果实的颜色便被作为成熟度判别的依据。在本发明具体实施例中，图像颜色识别模块104主要依据颜色空间分析及颜色相似性度量实现颜色辨识。
一、颜色空间分析
(1)RGB颜色空间RGB
模型是数字图像处理中最常用、最基本的颜色模型。在工业生产中，采集到的彩色图像一般均以RGB模式存储。因为人眼有三种分别感受红光、绿光、蓝光的椎体感受器，因此在RGB颜色空间，任意颜色可以表示为红(R)、绿 (G)、蓝B)三原色不同分量的加权混合，RGB颜色空间又称为可加性混合颜色空间。
RGB空间虽然常用且表示直观，但存在以下几方面的不足：
①RGB三分量之间具有很强的相关性，不适用于对三个分量进行独立运算，且确定某一特定颜色是否存在较为困难。
②RGB空间的三分量均与亮度密切相关，即亮度改变，三分量均随之相应改变。
③RGB颜色空间是感知非均匀的，欧式(Euclidean)距离不能准确度量颜色之间的差异性。
(2)HCL颜色空间
为了克服RGB颜色空间的不足，本发明采用感知更加均匀的HCL颜色空间，其中H代表色调(hue)，C代表饱和度(chroma)，L代表颜色的亮度(luminance)，在HCL颜色模型中，亮度L定义为RGB三分量最大值与最小值的线性组合。
其中，
与HCL空间中的亮度L类似，饱和度C定义为C＝Q.Cn，具体计算如式
色调H的定义如式:
颜色相似性度量主要通过颜色距离对比实现：距离准则表明当且仅当两颜色间的距离值与人类视觉感知的颜色差值相近时，相似度量才是正确的。
基于现有的颜色模型，许多距离测量已被提出，如欧式距离△E、类欧式距离△94△E、圆柱距离△DCYL以及基于柱体模型的距离度量△DHCL，本发明采用的是基于柱体模型的距离度量△DHCL，其计算公式为：
其中，AL为亮度由椎体空间向柱体空间转化的线性常量，AL＝1.4456； ACH为距离调节参数，ACH＝△H+0.16，将平滑之后的特征区域由RGB空间转换至感知更加均匀的HCL颜色空间。
计算目标图像感兴趣区域与各个颜色模板之间的颜色距离，距离越小相似度越高，目标图像所属的类别为距离最小的颜色模板代表的类。
图像分割模块105，对颜色识别后的图像进行图像分割，提取出图像中目标强相关的部分，得到二值图像。
图像分割是从图像处理到图像分析的中间环节，它也是非常重要的一步。在图像处理过程中，有时并不需要对整个图像进行操作，只需对其中感兴趣的部分处理即可。这些感兴趣的部分称为目标或前景(其他部分称为背景)，他们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析目标，需要将这些有关区域分离提取出来，对目标进行进一步利用。图像分割的目的就是提取出图像中某些感兴趣的部分或者说与目标强相关的部分。对于该系统，以西红柿为例，只需要提取出图片中西红柿部分，以方便后期进行特征提取。由于现有技术中已有很多图像分割技术，在此不予赘述。
目前对于图像分割的方法有很多种，概括起来可以概括为3大类：基于阈值的分割、基于边缘的分割和基于区域的分割。其中基于阈值的分割是发展最早且最简单的分割方法，计算速度也非常快。而基于边缘的和基于区域的分割结果会因采用的算法不同给出不同的结果，通常是将这两种分割方法结合使用，实现起来比较麻烦。
本发明采用的是阈值化分割方法。阈值化是输入图像f到输出(分割后) 二值图像g的变换：
其中T是阈值，对于物体的图像元素g(i，j)＝1，对于背景的图像元素g(i， j)＝0,(反之亦然)。阈值之后得到的图像为二值图像。分割的成功与否相当大程度上取决于阈值的选择。
阈值化分割算法则主要有以下两步：
(1)确定阈值，本发明的阈值可通过实验取得。
(2)将分割阈值与像素值进行比较以划分像素。
特征提取模块106，用于对图像分割后的二值化图像进行特征提取，获取图像边缘特征、面积特征以及形心特征，并存入到目标信息数据库。
具体地，特征提取模块106包括：
边缘特征提取模块，用于对得到的二值化图像利用边缘检测算子进行边缘检测，得到图像中目标物体的边缘。
图像的特征大体可以分为两类：视觉特征和统计特征。其中统计特征是通过人为自定义的，是通过某些简单变换可以得到的特征。而视觉特征是最自然的特征，也是人可以通过视觉直观感受的到一类特征。比如一个物体的轮廓、亮度，甚至是纹理等。边缘是指基元与基元、物与物、物与背景之间的分界线，对于一幅图像，最基本的特征就是边缘。所以图像边缘是图像处理过程中需要提取的重要特征之一。
边缘是赋给单个像素的性质，它既有“幅值(强度)”，又有“方向”。物体的边缘检测实际上就是提取目标物体与背景的交接线，该交接线非常明显的特征就是其灰度值变化很急剧。图像的灰度分布梯度可以来反映这种急剧的变化，所以可以对局部图像的函数进行微分来提取边缘。本发明边缘检测的过程如图2所示。
在本发明具体实施例中，边缘特征的提取选用凯西边缘检测算子，它是一种比较新颖且具有良好检测性能的边缘检测算子。而且，凯西边缘检测算子可以在不抬高噪声的情况下实现边缘检测。凯西算子首先需要对图像进行平滑，平滑图像利用的是二维高斯函数的一阶导数。
如果设图像坐标为(x,y)，二维高斯函数为G(x,y)，原始图像为I(x,y),新的图像灰度值为IG(x,y)，则二维高斯函数为：
图像卷积为：
其中，σ表示尺度参数，σ越大，说明平滑去噪的范围越大；反之，图像平滑去噪
范围越小。图像的梯度幅值M以及梯度方向σ用一阶偏导的有限差分来计算。在点(i,j)处求偏导数：
最后选取幅值变化比较大的点，生成零碎的边缘，然后采用双阈值算法检测出所有生成的零碎边缘，并将他们依次连接起来便提取得到了目标物体的边缘特征。
面积提取模块，用于对该二值化图像，根据目标物体边界所包围的像素数计算得到目标物体的面积特征。
最简单的且最自然的区域属性就是目标对象的面积，它可以由目标对象边界所包围的像素数计算得到。
设图像中目标区域的长为M，宽为N，像素值(0或1)用B(i,j),来表示，i,j分别是指像素横、纵坐标。经过上述处理后的图像为二值图像，对于二值图像，目标对象面积可由下式计算得到：
形心坐标提取模块，用于计算目标物体形心的像素坐标，从而对目标物体进行定位。
本发明要实现在传送带上对水果智能分拣，需要对识别出来的水果进行定位，一般采用形心坐标来描述水果的位置信息，这样可以方便机械手臂对目标对象的抓取。目标物体形心的像素坐标可表示为：
其中，u，v都以图像左上角的顶点为坐标起始点。
运动控制模块20，用于读取目标信息数据库的目标信息，对目标物体进行定位，判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
在本发明具体实施例中，将适应神经模糊推理系统(ANFIS)应用到物体定位中，利用ANFIS对模糊逻辑控制器中隶属函数的输入和输出参数进行调整，采用混合学习算法进行训练。具体地，以像素坐标作为输入，实际坐标作为期望输出，像素坐标的转换坐标作为样本输入的实际输出，利用ANFIS的五层神经网络对模糊逻辑控制器中隶属函数的输入和输出参数进行调整，采用最小二乘算法对隶属函数的线性输出参数进行调整，采用梯度下降法对隶属函数的非线性输入参数调整。在训练阶段，像素坐标作为样本输入，实际坐标作为期望输出，将其按照一定的格式组合成ANFIS算法的训练数据，并按照一定的误差准则调整相应的参数，从而使误差降到最小。本发明通过将自适应神经模糊推理系统应用到定位中，将提高定位物体坐标的准确性。
图3为本发明一种水果智能分拣方法的步骤流程图。如图3所示，本发明一种水果智能分拣方法，包括如下步骤：
步骤S1，利用视频采集模块采集传送带上的移动目标对象及其不规则背景的光学图像，对光学图像进行处理，获取目标对象的识别信息和位置信息，并将识别的目标对象的识别信息和位置信息提供给目标信息数据库。在本发明中，获取目标对象的识别信息和位置信息包括颜色特征、边缘特征、面积特征以及形心特征。
在本发明具体实施例中，如图4所示，步骤S1进一步包括：
步骤S100，读取传送带位置，于判断传送带到达预定位置时，启动视频采集模块以采集光学图像。
在本发明中，传送带主要是用来放置需要分拣的物体，视频采集模块设置于传送带上方，当监测到传送带到达预定位置时，启动传送带上方的视频图像采集模块采集光学图像，在传送带旁边临近机械手处设置物体储存箱，以便机械手抓取到的物体放置在该物体储存箱中。
步骤S101，利用视频采集模块采集传送带上的移动目标对象及其不规则背景的光学图像。在本发明具体实施例中，视频采集模块采用放置在传送带上方的高分辨率照相机捕获图像，视频图像采集模块包括高分辨率照相机、支架和光源，照相机用来拍摄传送带上的物体以捕获视频图像，光源采用荧光灯，辅助摄像机以获得更加清晰的视频图像，其固定在传送带的两侧，支架是用来支撑照相机和固定光源的，并且，本发明中采用的支架均为带刻度的可调节高度的支架，这样便可根据需要调节照相机和光源的高度和角度。较佳地，测量成像室内的光强度可由一个单独的光强度控制器控制，光强度保持不随电源电压的变化以及灯丝特性的变化和周围环境的变化而变化，在此不予赘述。
步骤S102，对采集的图像进行框架修剪、色彩分离、平滑去噪等预处理。图像预处理指对处于最低抽象层次的图像上所进行的操作，具有提高图像质量和降低噪声等处理功能。
步骤S103，对预处理后的图像进行颜色辨识。
在图像处理和机器视觉领域，颜色特征是应用最为广泛、最重要的低层视觉特征。颜色特征识别例如主色识别、基于颜色的目标检测等作为基础操作，在图像识别过程中起着重要作用。对于本发明，果实的颜色便被作为成熟度判别的依据。
一、颜色空间分析
(1)RGB颜色空间RGB
模型是数字图像处理中最常用、最基本的颜色模型。在工业生产中，采集到的彩色图像一般均以RGB模式存储。因为人眼有三种分别感受红光、绿光、蓝光的椎体感受器，因此在RGB颜色空间，任意颜色可以表示为红(R)、绿 (G)、蓝B)三原色不同分量的加权混合，RGB颜色空间又称为可加性混合颜色空间。
RGB空间虽然常用且表示直观，但存在以下几方面的不足：
①RGB三分量之间具有很强的相关性，不适用于对三个分量进行独立运算，且确定某一特定颜色是否存在较为困难。
②RGB空间的三分量均与亮度密切相关，即亮度改变，三分量均随之相应改变。
③RGB颜色空间是感知非均匀的，欧式(Euclidean)距离不能准确度量颜色之间的差异性。
(2)HCL颜色空间
为了克服RGB颜色空间的不足，本发明采用感知更加均匀的HCL颜色空间，其中H代表色调(hue)，C代表饱和度(chroma)，L代表颜色的亮度(luminance)在HCL颜色模型中，亮度L定义为RGB三分量最大值与最小值的线性组合。
其中，
与HCL空间中的亮度L类似，饱和度C定义为C＝Q.Cn，具体计算如式
色调H的定义如式:
步骤S104，对颜色识别后的图像进行图像分割，提取出图像中目标强相关的部分，得到二值图像。
目前对于图像分割的方法有很多种，概括起来可以概括为3大类：基于阈值的分割、基于边缘的分割和基于区域的分割。其中基于阈值的分割是发展最早且最简单的分割方法，计算速度也非常快。而基于边缘的和基于区域的分割结果会因采用的算法不同给出不同的结果，通常是将这两种分割方法结合使用，实现起来比较麻烦。
本发明采用的是阈值化分割方法。阈值化是输入图像f到输出(分割后) 而知图像g的变换：
其中T是阈值，对于物体的图像元素g(i，j)＝1，对于背景的图像元素g(i， j)＝0,(反之亦然)。阈值之后得到的图像为二值图像。分割的成功与否相当大程度上取决于阈值的选择。
阈值化分割算法则主要有以下两步：
(1)确定阈值，本发明的阈值可通过实验取得。
(2)将分割阈值与像素值进行比较以划分像素。
步骤S105，对图像分割后的二值化图像进行特征提取，获取图像颜色特征、边缘特征、面积特征以及形心特征。其中特征提取包括图像的颜色、边缘、面积和形心。
具体地，步骤S105进一步包括：
步骤S105a，对得到的二值化图像利用边缘检测算子进行边缘检测，得到图像中目标物体的边缘。
图像的特征大体可以分为两类：视觉特征和统计特征。其中统计特征是通过人为自定义的，是通过某些简单变换可以得到的特征。而视觉特征是最自然的特征，也是人可以通过视觉直观感受的到一类特征。比如一个物体的轮廓、亮度，甚至是纹理等。边缘是指基元与基元、物与物、物与背景之间的分界线，对于一幅图像，最基本的特征就是边缘。所以图像边缘是图像处理过程中需要提取的重要特征之一。
边缘是赋给单个像素的性质，它既有“幅值(强度)”，又有“方向”。物体的边缘检测实际上就是提取目标物体与背景的交接线，该交接线非常明显的特征就是其灰度值变化很急剧。图像的灰度分布梯度可以来反映这种急剧的变化，所以可以对局部图像的函数进行微分来提取边缘。边缘检测的过程如图8 所示。
在本发明具体实施例中，边缘特征的提取选用凯西边缘检测算子，它是一种比较新颖且具有良好检测性能的边缘检测算子。而且，凯西边缘检测算子可以在不抬高噪声的情况下实现边缘检测。凯西算子首先需要对图像进行平滑，平滑图像利用的是二维高斯函数的一阶导数。
如果设图像坐标为(x,y)，二维高斯函数为G(x,y)，原始图像为I(x,y),新的图像灰度值为IG(x,y)，则二维高斯函数为：
图像卷积为：
其中，σ表示尺度参数，σ越大，说明平滑去噪的范围越大；反之，图像平滑去噪
范围越小。图像的梯度幅值M以及梯度方向σ用一阶偏导的有限差分来计算。在点(i,j)处求偏导数：
最后选取幅值变化比较大的点，生成零碎的边缘，然后采用双阈值算法检测出所有生成的零碎边缘，并将他们依次连接起来便提取得到了目标物体的边缘特征。
步骤S105b，对该二值化图像，根据目标物体边界所包围的像素数计算得到目标物体的面积特征。
最简单的且最自然的区域属性就是目标对象的面积，它可以由目标对象边界所包围的像素数计算得到。
设图像中目标区域的长为M，宽为N，像素值(0或1)用B(i,j),来表示，i,j分别是指像素横、纵坐标。经过上述处理后的图像为二值图像，对于二值图像，目标对象面积可由下式计算得到：
步骤S105c，计算目标物体形心的像素坐标，从而对目标物体进行定位。
本发明要实现在传送带上对水果智能分拣，需要对识别出来的水果进行定位，一般采用形心坐标来描述水果的位置信息，这样可以方便机械手臂对目标对象的抓取。目标物体形心的像素坐标可表示为：
其中，u，v都以图像左上角的顶点为坐标起始点。
步骤S2，读取目标信息数据库的目标信息，根据目标信息判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
实施例
在本实施例中，整个系统可以分为两大模块：视觉控制模块和运动控制模块。其中视觉控制模块为本发明的主要研究内容，包括图像采集、图像处理、特征提取以及坐标定位。其中图像处理包括框架修剪、色彩分离、平滑去噪预处理和图像分割初级处理。特征提取包括图像的颜色、边缘、面积和形心。对于运动控制模块，本发明仅对规划传送带速度和目标抓取位置计算进行了研究，对于电机轨迹计算未做研究。具体工作流程如图5所示，视觉控制模块主要是包括图像采集、图像预处理、图像颜色辨识、图像分割、特征提取以及坐标定位。识别的项目主要包括图像的颜色、边缘、面积和形心坐标来识别水果的颜色进行成熟度分类；最后与运动控制模块相结合，实现水果的分拣，提高了分拣效率和分拣质量。运动控制模块主要是分拣系统通过采用放置在传送带上方的照相机捕获图像，利用软件执行算法识别对象特征，同时将对象的识别信息和位置信息提供给数据库，通过计算图像面积进行大小分类；读取目标信息数据库的目标信息，通过计算目标物体的形心坐标进行位置定位以规划传送带速度进行分拣，根据目标信息判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
在本实施例中，本发明之系统平台硬件主要包括：光源、摄像机、图像采集卡、伺服电机，如图6所示。图像采集的扫描周期为250ms，该时间段用于处理程序，为了提高图像的质量，摄像机的位置非常重要，将摄像机放置在使得摄像机的视野足够宽并且在操作期间不妨碍执行器操作的位置。
本发明中，首先分析扫描时间、视场大小和传送带速度之间的关系。在许多传统应用中，甚至没有考虑这种关系，但在高性能的应用中，在设置系统之前必须考虑这个问题。根据传送带的速度和扫描时间确定最小视场。从应用程序中看到每个对象标识符至少被扫描2次。传送带速度和扫描时间小于或等于视场的50％。在图像采集中，为了提高图像的质量，摄像机的位置非常重要，将摄像机放置在使得摄像机的视野足够宽并且在操作期间不妨碍执行器操作的位置。
通过实验获得的图像处理程序执行时间约为250ms，所以选择帧率为 25fps。执行图像处理程序的时间大约是250ms。在1秒内，程序执行图像处理 4次。为了确保没有错误，传送带每秒行进的距离不得超过摄像机在Y方向拍摄长度的4倍，根据相机接收到的长度Y，可以确定最大传送速度。在实验视频中，相机在Y方向下接收长度应该是0.4m，则最大传输速度： Vmax＝4×0.4＝1.6m/s。
为了检验分拣系统识别的准确性和定位的精确度，本实施例以西红柿和百香果为例进行实验。
以西红柿为例的实验结果分析：
(1)西红柿识别结果
视觉控制单元的视觉处理结果如下：
(a)像素坐标：(418,452)，像素面积：64173，颜色：绿色；
(b)像素坐标：(365,533)，像素面积：63495，颜色：绿色；
(c)像素坐标：(516,441)，像素面积：74315，颜色：绿色；
(d)像素坐标：(464,429)，像素面积：53726，颜色：红色；
(e)像素坐标：(406,470)，像素面积：54624，颜色：红色；
(f)像素坐标：(534，412)，像素面积：50843，颜色：红色。
(2)坐标计算
小孔成像模型如图7所示，该坐标系是以相机镜头的中心建立的坐标系统。 O-XY为像平面坐标系，它是在摄像机内所形成的像平面坐标系统，以光轴与图像平面的交点为原点，以平行于像元的行和列为x轴和y轴。
因为目标图像的信息是由计算机存放的，所以要将像平面的坐标系转换到计算机图像坐标系统中，目的是最终建立世界坐标系与计算机坐标系之间的对应关系，由于各种坐标系的转换已是现有成熟技术，如图8所示，在此不予赘述。
西红柿像素坐标，转换坐标，实际坐标和偏差如下表所示：
实验结果表明，本发明识别结果准确，能达到实际需求。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (10)
1.一种水果智能分拣系统，包括：
视觉控制单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，对光学图像进行处理，获取目标对象的识别信息和位置信息，并将识别的目标对象的识别信息和位置信息提供给目标信息数据库；
运动控制模块，用于读取目标信息数据库的目标信息，对目标物体进行定位，根据目标信息判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
2.如权利要求1所述的一种水果智能分拣系统，其特征在于，所述视觉控制单元进一步包括：
传送带位置监测模块，用于读取传送带位置，于判断传送带到达预定位置时，启动视频采集模块以采集光学图像；
视频采集模块，用于采集传送带上的移动目标对象及其不规则背景的光学图像；
图像预处理模块，用于对采集的图像进行框架修剪、色彩分离、平滑去噪预处理；
图像颜色识别模块，用于对预处理后的图像进行颜色辨识；
图像分割模块，对颜色识别后的图像进行图像分割，提取出图像中目标强相关的部分，得到二值图像；
特征提取模块，用于对图像分割后的二值化图像进行特征提取，获取图像颜色特征、边缘特征、面积特征以及形心特征，并存入到所述目标信息数据库。
3.如权利要求2所述的一种水果智能分拣系统，其特征在于：所述图像颜色识别模块依据颜色空间分析及颜色相似性度量实现颜色辨识。
4.如权利要求3所述的一种水果智能分拣系统，其特征在于：所述颜色相似性度量通过计算目标图像感兴趣区域与各个颜色模板之间的颜色距离对比实现。
5.如权利要求4所述的一种水果智能分拣系统，其特征在于：所述图像分割模块采用阈值化分割算法实现对颜色识别后的图像的图像分割。
6.如权利要求4所述的一种水果智能分拣系统，其特征在于，所述特征提取模块包括：
边缘特征提取模块，用于对得到的二值化图像利用边缘检测算子进行边缘检测，得到图像中目标物体的边缘；
面积提取模块，用于对该二值化图像，根据目标物体边界所包围的像素数计算得到目标物体的面积特征；
形心坐标提取模块，用于计算目标物体形心的像素坐标，从而对目标物体进行定位。
7.如权利要求6所述的一种水果智能分拣系统，其特征在于：于所述运动控制模块中，利用自适应神经模糊推理系统实现目标物体的定位。
8.一种水果智能分拣方法，包括如下步骤：
步骤S1，利用视频采集模块采集传送带上的移动目标对象及其不规则背景的光学图像，对光学图像进行处理，获取目标对象的识别信息和位置信息，并将识别的目标对象的识别信息和位置信息提供给目标信息数据库；
步骤S2，读取目标信息数据库的目标信息，对目标物体进行定位，根据目标信息判断目标物体是否到达预定位置，当判断目标物体到达预定位置时，计算目标抓取位置，根据计算出的目标抓取位置实现水果智能分拣。
9.如权利要求8所述的一种水果智能分拣方法，其特征在于，步骤S1进一步包括：
步骤S100，判断传送带到达预定位置时，启动视频采集模块以采集光学图像；
步骤S101，采集传送带上的移动目标对象及其不规则背景的光学图像；
步骤S102，对采集的图像进行框架修剪、色彩分离、平滑去噪预处理；
步骤S103，对预处理后的图像进行颜色辨识；
步骤S104，对颜色识别后的图像进行图像分割，提取出图像中目标强相关的部分，得到二值图像；
步骤S105，对图像分割后的二值化图像进行特征提取，获取图像颜色特征、边缘特征、面积特征以及形心特征，并存入到所述目标信息数据库。
10.如权利要求9所述的一种水果智能分拣方法，其特征在于，步骤S105进一步包括：
步骤S105a，对得到的二值化图像利用边缘检测算子进行边缘检测，得到图像中目标物体的边缘；
步骤S105b，对该二值化图像，根据目标物体边界所包围的像素数计算得到目标物体的面积特征；
步骤S105c，计算所述目标物体形心的像素坐标，从而对所述目标物体进行定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110195218.7A CN113145473A (zh) | 2021-02-20 | 2021-02-20 | 一种水果智能分拣系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110195218.7A CN113145473A (zh) | 2021-02-20 | 2021-02-20 | 一种水果智能分拣系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113145473A true CN113145473A (zh) | 2021-07-23 |
Family
ID=76883447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110195218.7A Pending CN113145473A (zh) | 2021-02-20 | 2021-02-20 | 一种水果智能分拣系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113145473A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643287A (zh) * | 2021-10-13 | 2021-11-12 | 深圳市巨力方视觉技术有限公司 | 水果的分拣方法、装置和计算机可读存储介质 |
| CN114782367A (zh) * | 2022-04-24 | 2022-07-22 | 广东天太机器人有限公司 | 一种机械臂的控制系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106000904A (zh) * | 2016-05-26 | 2016-10-12 | 北京新长征天高智机科技有限公司 | 一种生活垃圾自动分拣系统 |
| WO2016175234A1 (ja) * | 2015-04-27 | 2016-11-03 | ヤンマー株式会社 | 色画像処理方法、色画像処理プログラム、物体認識方法及び装置 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣系统 |
| CN109615635A (zh) * | 2018-12-06 | 2019-04-12 | 厦门理工学院 | 基于图像识别对草莓进行品质分拣的方法及装置 |
| CN110170456A (zh) * | 2019-04-30 | 2019-08-27 | 南京邮电大学 | 基于图像处理的水果分拣装置 |
| CN110223350A (zh) * | 2019-05-23 | 2019-09-10 | 汕头大学 | 一种基于双目视觉的积木自动分拣方法及系统 |
| CN111242057A (zh) * | 2020-01-16 | 2020-06-05 | 南京理工大学 | 产品分拣系统、方法、计算机设备和存储介质 |
| CN111421539A (zh) * | 2020-04-01 | 2020-07-17 | 电子科技大学 | 一种基于计算机视觉的工业零件智能识别与分拣系统 |
| CN111823223A (zh) * | 2019-08-19 | 2020-10-27 | 北京伟景智能科技有限公司 | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 |
-
2021
- 2021-02-20 CN CN202110195218.7A patent/CN113145473A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016175234A1 (ja) * | 2015-04-27 | 2016-11-03 | ヤンマー株式会社 | 色画像処理方法、色画像処理プログラム、物体認識方法及び装置 |
| CN106000904A (zh) * | 2016-05-26 | 2016-10-12 | 北京新长征天高智机科技有限公司 | 一种生活垃圾自动分拣系统 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣系统 |
| CN109615635A (zh) * | 2018-12-06 | 2019-04-12 | 厦门理工学院 | 基于图像识别对草莓进行品质分拣的方法及装置 |
| CN110170456A (zh) * | 2019-04-30 | 2019-08-27 | 南京邮电大学 | 基于图像处理的水果分拣装置 |
| CN110223350A (zh) * | 2019-05-23 | 2019-09-10 | 汕头大学 | 一种基于双目视觉的积木自动分拣方法及系统 |
| CN111823223A (zh) * | 2019-08-19 | 2020-10-27 | 北京伟景智能科技有限公司 | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 |
| CN111242057A (zh) * | 2020-01-16 | 2020-06-05 | 南京理工大学 | 产品分拣系统、方法、计算机设备和存储介质 |
| CN111421539A (zh) * | 2020-04-01 | 2020-07-17 | 电子科技大学 | 一种基于计算机视觉的工业零件智能识别与分拣系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李凤丽: "基于机器视觉的水果识别与定位技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643287A (zh) * | 2021-10-13 | 2021-11-12 | 深圳市巨力方视觉技术有限公司 | 水果的分拣方法、装置和计算机可读存储介质 |
| CN114782367A (zh) * | 2022-04-24 | 2022-07-22 | 广东天太机器人有限公司 | 一种机械臂的控制系统及方法 |
| CN114782367B (zh) * | 2022-04-24 | 2022-12-20 | 广东天太机器人有限公司 | 一种机械臂的控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106127780B (zh) | 一种曲面表面缺陷自动检测方法及其装置 | |
| CN107804514B (zh) | 一种基于图像识别的牙刷分拣方法 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| Sahu et al. | Identification and classification of mango fruits using image processing | |
| CN111739003B (zh) | 一种用于外观检测的机器视觉方法 | |
| CN113240626A (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN108416814B (zh) | 一种菠萝头部的快速定位与识别方法及系统 | |
| CN207238542U (zh) | 一种基于机器视觉的篾片缺陷在线检测系统 | |
| CN113145473A (zh) | 一种水果智能分拣系统及方法 | |
| CN114235837A (zh) | 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备 | |
| CN113608378A (zh) | 一种基于lcd制程的全自动缺陷检测方法和系统 | |
| CN113319013A (zh) | 一种基于机器视觉的苹果智能分拣的方法 | |
| CN114119591A (zh) | 一种显示屏画面质量检测方法 | |
| CN111161295A (zh) | 一种菜品图像背景剥离方法 | |
| CN115512134A (zh) | 快件堆积异常预警方法、装置、设备及存储介质 | |
| CN113610185B (zh) | 基于主色调识别的木材色选方法 | |
| CN113518182B (zh) | 一种基于树莓派的黄瓜表型特征测量方法 | |
| CN102680488B (zh) | 一种基于pca的块状农产品在线识别装置及方法 | |
| CN109596620A (zh) | 基于机器视觉的产品表面形状缺陷检测方法和系统 | |
| CN116563276B (zh) | 一种化纤长丝在线缺陷检测方法及检测系统 | |
| CN116308435B (zh) | 一种基于智能溯源秤的农产品精准化识别方法及系统 | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| CN111353432A (zh) | 一种基于卷积神经网络的金银花药材快速净选方法及系统 | |
| CN116106319A (zh) | 一种合成革瑕疵自动化检测方法及系统 | |
| CN109685002A (zh) | 一种数据集采集方法、系统以及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |