CN109220226A - 果实自动识别分类及采摘的果园智能化系统 - Google Patents

Abstract

本发明公开了一种果实自动识别、分类及采摘的智能化系统。该系统包括对果实的识别，不同品种的分类和采摘的三个任务，主要工作如下，首先采用工业摄像机，实时拍摄区域内图像。对图像进行预处理，使用边缘轮廓提取等方法，识别图像内果实，将果实特征部分分离出来。其次通过神经网络对图片进行判断，确定果实种类。然后通过颜色识别方法判别果实成熟度。最后将果实信息如位置、种类和成熟度发送采摘设备，设备根据信息自动进行分析完成采摘任务。本发明提供了智能辅助果实采摘系统，对果实进行分类，判别成熟度等方法来采摘。该发明节省了人力资源，提升了工作效率，对农业发展具有重大意义，有很高的推广前景。图1是系统流程图。

Description

果实自动识别分类及采摘的果园智能化系统

技术领域

本发明涉及农业中果实识别、采摘的技术领域，特别设计了果实自动识别分类及采摘的果园智能化系统。在果实识别的过程中运用了传感器技术、计算机技术等结合。在果实分类的过程中运用了数字图像处理技术、神经网络技术进行分类判断。在果实采摘的过程中运用了智能控制技术、网络传输等技术。系统技术说明如图1。整体系统使用了多技术的融合，提高了系统运行的效率和准确度，提升了多学科交叉的应用能力，增强了系统的鲁棒性和自适应性。经过多种技术的相互结合，也弥补了各个方法之间的不足，扬长避短，使识别能力和采摘系统的性能达到最优化。

背景技术

随着社会的繁荣发展，我国农业科技的进步探索，逐渐研制出各种提高果实产量的方法，已经远远满足了人们的需求。但是随着农产品产量迅速的增加，又面临着一个新问题，果园的工作量剧增，工作者的数量已经远远达不到农业产出的要求，导致工作效率降低，增大了果农的工作量，导致内部不平衡。而准确的定位并识别果实，对果实信息进行获取是果园内智能作业的重要部分。

目前在果园技术的相关领域，水果的采摘作业主要靠人力完成，工作员工劳动量大，工作效率低，消耗成本高，是一件费时费力的工作。虽有部分采摘技术和识别技术得以应用，但普遍存在应用单一性，识别率低以及非智能性等相关问题。

因此，为了解决果园内部工作量的增加，果农的工作效率达不到产出的标准，有必要提出一种水果果实自动识别、分类以及采摘的果园智能化系统来缓解果农的压力，可对不同种类果实分别进行采摘，有望解放果农，使果农无需在这种单一的工作上耗费精力。同时也提升了工作效率，使处理环节与产出量相对应，有助于在农业领域上进一步的发展。

发明内容

本发明的目的是发明了果实自动识别分类及采摘的果园智能化系统，辅助甚至可代替果农的寻找采摘果实的工作，解决果园内果实采摘跟不上水果产出的进度，提高了果园内的工作效率，缓解了果农的工作量。

为实现上述目的，本发明采用如下技术方案：

（1）本发明的果实获取方法，采用了工业摄像机获取图像，包括样本采集、信息定位分析、数据传递。所述方法包括采集果实图像、确定图像内像素点在实际环境中的距离、图像信息打包、信息传输等步骤。

（2）本发明的分离果实方法，先对图像进行预处理，去除图像内杂物的干扰，使图像整体明了，容易辨别。分析图像信息，如图像颜色分布规律等，采用数字图像处理中的相应算法，对图像进行增强处理。对颜色信息进行分析，采用融合色差信息和归一化颜色模型的分割技术，将图像中的果实与背景分离，便于下一步的操作。

（3）确定果实种类，将分割出的果实图像进行分析，判断果实的品种。首先分析果实的外观形状，判断果实所属的大类别；接下来根据果实颜色进行区分，分析果实的颜色，在大类别中筛选出与其相符合的水果种类；最后，通过计算机神经网络来进行训练，得到最终的果实品种。

（4）判断果实成熟度，上一步骤中已经确定了果实类别，在这里使用图像处理技术，对图像像素点RGB通道进行分析，据得到的颜色分析图谱，结合已测量出的果实大小，可判别该果实是否成熟。若成熟，确定果实可以采摘，将可采摘信息通过计算机网络发送给采摘设备；若不成熟，则发送不可采摘指令。

（5）采摘设备通过计算机网络接受采摘指令，计算机控制系统分析收到的采摘指令，对指令进行判断，采摘设备开始工作，摘取果实或者进行下一个目标。包括计算机网络通信模块、计算机控制模块等，分别于主机相连，统一进行调度。各模块关联说明如图2。

有益效果

本发明中的水果自动化识别采摘的智能系统，功能突出，可同时解决多种需求，如判断水果种类，辨别水果成熟度以及最后的采摘环节，整体过程连贯，具有一体化流水线的工作特征，操作方便简洁。系统抗干扰能力强，具有可持续工作的优势，可日夜连续进行操作，节省了果农的时间，为果农减轻了负担，提高了果园内的工作效率，避免因为产量过大导致采摘进度跟不上等问题。

附图说明

图1是系统流程图；图2是系统技术说明图；图3是各模块关联说明图；

具体实施方式

下面对本发明的实施操作进行详细说明，本发明的实施在以本发明技术方案为前提下进行实施，以下为给出的详细的实施方案和具体的操作过程，但本发明的保护范围不限于下述的实施方法：

（1）对果园内的果实进行图像采集。

（2）对采集的图像进行处理，将果实与背景分离。

（3）判断果实的种类。

（4）判断果实的成熟度。

（5）确定是否采摘果实。

1、果实自动识别分类及采摘的果园智能化系统，所述的“（1）对果园内的果实进行图像采集”：本发明中果实图像采集环节，主要由图像拍摄部分和信息传递部分组成。其中图像拍摄部分是用工业摄像机对果园内的环境进行实时拍摄，同时调整好摄像机安置的方位，高度，角度。并且结合当时自然环境，合理的设置摄像机的焦距、光圈以及感光度等必要参数，保证取样的真实性和完整性。信息传递部分是在成功完成拍摄的条件下，将拍摄好的图像传递到处理设备上，传递方式为计算机网络通信，其准确性高，不易丢失数据。

2、果实自动识别分类及采摘的果园智能化系统，所述的“（2）对采集的图像进行处理，将果实与背景分离”：分析采集的图像信息，提取图像中的RGB色彩信息，构造RGB色彩图谱并保存，留作后续使用。对采集的图像进行增强处理，提高图像的对比度。对图像进行干扰过滤，处理掉图像内的干扰画面，如枝干、树叶等杂物。接下来使用彩色图像分割技术，将图像内的果实与背景分离，提取单一的果实图像，方便以后的处理。

3、果实自动识别分类及采摘的果园智能化系统，所述的“（3）判断果实的种类”：对上一步骤中提取出来的果实图像进行分析，确定果实的种类并保存。首先根据果实的形状进行分类，在水果种类中，形态的区别较大且好区分，因此针对果实的形态，先排除不可能的品种；接下来分析果实的颜色信息，颜色信息已在上述过程中分析完成，已生成颜色特征图谱并保存，可直接拿来使用，节省了工作步骤。这里只需在筛选出剩下的品种中进行对比判断，提高了工作效率；最后，使用卷积神经网络对图像进行训练，得到最终的果实种类。将果实种类进行保存，因同一片区域，果实种类相同，所以在下次的采摘任务中可直接使用，可不必每次都判断果实种类。

4、果实自动识别分类及采摘的果园智能化系统，所述的“（4）判断果实的成熟度”：目前已经确定了果实的种类，但仍需判断果实的成熟度来决定是否对该果实进行采摘。因为果实的成熟度与果实的外观颜色有较大的关联，所以在这里根据果实的外观颜色来判别果实是否成熟。根据果实图像内像素点的RGB各通道信息，分析果实的颜色特征图谱，并结合果实外观大小来确定果实是否成熟。若果实成熟，则发送采摘信息，并将此次果实图像分析的信息进行保存；若果实为成熟，则开始下一流程。

5、果实自动识别分类及采摘的果园智能化系统，所述的“（5）确定是否采摘果实”：采摘设备接收采摘指令，所用技术为计算机网络通信技术。根据采摘指令来调节采摘设备，使设备按照果实种类的特点和果实在实际环境下的距离来设置采摘设备。若指令为果实可采摘，则根据果实高度调节采摘设备的高度，方向。根据果实的大小来调节采摘部位的大小，根据果实种类来控制采摘力度，并保留设备的设置，因为同一片区域或同一棵树，果实种类大概率的情况下是相同的，所以部分设备的设置可以保持不变。这样调高了节省了处理时间，提高了采摘效率。

以上所述仅为本发明的实例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.果实自动识别分类及采摘的果园智能化系统，其特征在于，包括以下流程：

（1）工业摄像机实时采集区域内图像

（2）对图片进行预处理，分离出果实

（3）确定果实种类

（4）判断果实成熟情况

（5）根据果实信息判断该果实是否为采摘对象，采摘设备采取相应措施。

2.根据权利要求1所述的果实自动识别分类及采摘的果园智能化系统，其特征是：所述“（1）工业摄像机实时采集区域内图像”：所述将摄像机放置在采摘设备上方，移动到果实生长的位置，调节摄像机的角度以及方向，使有效区域能够被摄像机更好的捕捉，对有效区域进行拍摄，并截取部分图像，通过超声波测量不同方位的距离，建立坐标系，计算出图像坐标点上每一个像素点在自然状态下对应的实际距离，将采集的信息传递到计算机，传输方式采用网络通信的方法，方便快捷，准确率高。

3.根据权利要求1所述的果实自动识别分类及采摘的果园智能化系统，其特征是：所述“（2）对图片进行预处理，分离出果实”：未处理的图片存在很多干扰，包括树枝，树叶等，需要对图片进行预处理，分离出果实，分析图片的颜色值分布，将每个颜色出现的次数统计，去除多余像素点，对图像干扰进行处理，处理图像的曝光度，使用拉普拉斯算子的方法处理图像增强，提高图像的对比度，更有利于对图像中的果实进行分割，根据上文分析的颜色信息结果，结合轮廓片段，对果实进行分割，采用一种融合色差信息和归一化颜色模型的分割技术，该分割技术准确率较高，处理速度较快，适合用于此环境下对图片进行果实分离，保存分割后的果实图像，留为接下来进行使用。

4.根据权利要求1所述的果实自动识别分类及采摘的果园智能化系统，其特征是：所述“（3）确定果实种类”：首先提取果实的大小和形状等形体特征，如正圆形，椭圆形，蔟状等不同的形状，进行一次模糊的归类，排除大部分不可能成立的，留下在该特征中区分不大的品种；再根据果实的颜色特征，这里使用在所述“（2）对图片进行预处理，分离出果实”处理环节中保留的颜色值信息，在剩下的可能存在的水果类别中进行比对，排除掉另一部分不对应的品种，接下来采用注意力模型方法，通过注意力特征图谱结合CNN特征谱，对图片进行训练，最终确定图片种类。

5.根据权利要求1所述的果实自动识别分类及采摘的果园智能化系统，其特征是：所述“（4）判别果实成熟情况”：在所述“（3）确定果实种类”中，已经确定了水果的品种，但是并不清楚果实是否成熟，所以无法判断是否启动设备将果实采摘，因为成熟的果实在形态大小等方面可能与未成熟果实差距不大，但是在颜色方面的有较大的差别，所以在这里设置自适应阈值，根据颜色进行区分，判定果实成熟度，决定是否采摘该对象。

6.根据权利要求1所述的果实自动识别分类及采摘的果园智能化系统，其特征是：所述“（5）根据果实信息判断该果实是否为采摘对象，采摘设备采取相应措施”通过以上步骤的处理，已经确定的原始图像中是否有果实，辨别了果实的品种，确定了果实的成熟度，将对象的信息进行处理和分析，决定是否对该果实进行采摘。