CN111687069A - 一种基于卷积神经网络算法的智能山核桃壳仁分选机 - Google Patents

一种基于卷积神经网络算法的智能山核桃壳仁分选机 Download PDF

Info

Publication number
CN111687069A
CN111687069A CN202010483858.3A CN202010483858A CN111687069A CN 111687069 A CN111687069 A CN 111687069A CN 202010483858 A CN202010483858 A CN 202010483858A CN 111687069 A CN111687069 A CN 111687069A
Authority
CN
China
Prior art keywords
air
target
algorithm
image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010483858.3A
Other languages
English (en)
Other versions
CN111687069B (zh
Inventor
罗坤
曹成茂
吴正敏
王成武
李琼
孙燕
秦宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202010483858.3A priority Critical patent/CN111687069B/zh
Publication of CN111687069A publication Critical patent/CN111687069A/zh
Application granted granted Critical
Publication of CN111687069B publication Critical patent/CN111687069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/363—Sorting apparatus characterised by the means used for distribution by means of air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0081—Sorting of food items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明涉及一种基于卷积神经网络算法的智能山核桃壳仁分选机，包括有喂料装置、振动筛、机架、气吹式分选装置、配电柜、输送装置、气吸式分选装置、遮光板、辅助光源以及图像采集系统；还包括有工业相机、下位机、上位机、数据处理系统、深度学习理论的目标识别算法、区域连通域分割理论定位算法、气吸式控制系统、气吹式控制系统。设计中采用基于区域连通域分割理论定位每帧图像中的多个物料目标，核桃物料之间不易缠绕，区域连通域分割较为明显。上位机通过串口通信将所选目标的质心坐标发送给控制器ARDUINO核心控制器，控制快速执行装置到达实际坐标系位置并精准控制吸取器吸走所识别的目标物。开发高速气吹式执行装置，满足各种需求。

Description

一种基于卷积神经网络算法的智能山核桃壳仁分选机
技术领域
本发明涉及一种山核桃壳仁分选机，更确切的说是涉及采用卷积神经网络的多工况的智能山核桃壳仁分选机。
背景技术
山核桃是最有经济价值和营养丰富的坚果之一，具有良好的抗氧化活性。山核桃坚果的内壁有2个大的分区和6-9个小分区，内部结构复杂，沟壑纵横。复杂的山核桃的结构特征导致了食用的不便。近年来，机械破壳通常用于山核桃的生产过程中。在这个过程中需要突破的关键问题可以归结为低损伤破壳及破壳完成后的破碎壳、核仁和壳仁未分物料的高识别率分选。
坚果壳破壳后物料的有效分离一直是坚果加工领域的重要课题。常使用风选分离和色选分离。现有利用不变特征和有监督的自组织映射算法从破碎物料中分离核桃肉的方法，该方法对核桃肉和壳的分离非常有效，然而现有的分离方法中使用染色剂成分对核桃仁有一定的污染，并没有考虑壳仁未分离的物料处理。破壳后山核桃坚果中仍含有未分离的个体，如果无法有效分离，就会造成浪费资源。此外，基于传统机器学习算法的壳仁未分离物料识别率较低，分选结果低于70％。目前主流分选方法存在特征提取单一且需要额外工艺对物料进行处理，识别率不高且增加成本。
卷积神经网络在坚果物料分类中的应用是相对较新，深度学习不仅可以提高识别准确率，还可以降低特征提取的复杂性。图像区域选择方法可以选择区域的有效和最佳组合，其表现出比没有图像区域选择的方法更好的识别精度，并且检测各种尺寸、背景、角度、位置和图像的多级和多个目标条件。
发明内容
本发明的目的在于提供了一款可用于山核桃壳仁分选的智能分选机。提出了一种基于区域分割的快速目标定位算法，并采用卷积神经网络来避免特征提取的复杂过程，通过卷积过程获得的目标特征可以更全面地反映目标本身的特征，从而有效地分离物料并提高未分离个体的识别精度。并通过与下位机建立高速通信，采用快速反应的Delta并联机械臂和气吹式两套分选装置满足多种工况要求，实现分选执行装置的快速反应，保证整机执行精度在±1mm、整体准确度≥95％。
本发明使通过如下技术方案来实现的：
一种基于卷积神经网络算法的智能山核桃壳仁分选机，所述智能山核桃壳仁分选机包括有喂料装置、振动筛、机架、气吹式分选装置、配电柜、输送装置、气吸式分选装置、遮光板、辅助光源以及图像采集系统；所述智能山核桃壳仁分选机还包括有工业相机、下位机、上位机、数据处理系统、深度学习理论的目标识别算法、区域连通域分割理论定位算法、气吸式控制系统、气吹式控制系统；所述工业相机位于分选机正上方，所述辅助光源配合工业相机且均匀分布于工业相机四周，所述上位机用于搭载图像处理程序与实时采集动态图像信息进行数据处理；所述工业相机通过数据线连接到上位机，采用标定板网格标定虚拟坐标系与实际坐标系的比例关系，从而确定实际物料信息；所述辅助光源采用多角度与多点补光，消除物料阴影对物料图像采集的干扰，并且光源的色彩可以调节适应不同环境光线的影响；所述数据处理系统是基于深度学习理论的目标识别算法与多目标下小目标的定位算法而形成的处理系统；所述气吹式控制系统由下位机接收上位机指令程序实现控制气吹式分选装置，所述气吸式控制系统由下位机接收上位机指令程序实现控制气吸式分选装置；所述工业相机、辅助光源、上位机、气吸式分选装置、气吸式控制系统、输送装置、气吹式控制系统、气吹式分选装置、喂料装置均与所述数据处理系统连接，其中，气吸式控制系统与气吹式控制系统分别独立与数据处理系统通信。
优选的，所述深度学习理论的目标识别算法主要包括有：
卷积层1(Cov1)：该层输入图像大小为32×32×3的RGB图像,第一个卷积层过滤器的尺寸为32×32×3，深度为32，使用全0填充，步长为1个像素；该层共有5×5×3×32+32＝2432个参数；
池化层Pool1：这一层的输入为上一层的输出，上层输出为32×32×32的节点矩阵，使用全0填充，本层过滤器的尺寸为3×3，步长为2像素；
卷积层Cov2：上一层的输出为16×16×32的节点矩阵，这一卷积层过滤器的尺寸为5×5×32，深度为64，使用全0填充，本层共有5×5×32×64+64＝51264个参数；
池化层Pool2：上层输出为16×16×64的节点矩阵，本层过滤器的尺寸为3×3，步长为2像素，使用全0填充；全连接第一层输出节点为384个，全连接第二层输出节点为192个，全连接第三层输出节点根据数据集类别数量设置。
优选的，所述目标在线定位与识别算法是基于区域分割和卷积神经网络方法实现，所述基于区域分割和卷积神经网络的目标在线定位与识别方法主要包括：1)图像灰度处理、2)滤波处理、3)二值化处理、4)区域连通域标记、5)目标定位、6)多目标同时识别。
优选的，所述目标在线定位采用目标图像质心定位更为准确，通过连通域搜索对各目标进行标记，利用边界条件找到目标在原始图像中的位置，得到目标原始图像信息，同时利用边界条件即最小外接矩形框得到该目标的二值图像g，用i和j表示分别表示平面图像的x轴和y轴方向，m和n分别为i和j方向像素的数量，为像素点处的灰度值，则该目标的质心位置坐标表示为：
Figure BDA0002518195110000041
其中x，y分别表示目标图像的质心横、纵坐标，根据这一公式可以计算所有目标图像的质心坐标，并按一定顺序存储，在识别后，根据结果对相应目标进行索引。
优选的，所述多目标同时识别，需要将所有目标图像制作成图像数据集，并重塑数据格式，以满足Tensorflow框架的要求，才能对所有目标同时识别，然后得到每个目标的识别结果，由于需要知道目标所在位置，所以此时还需根据各目标索引号给出相应的质心坐标位置。为了实现快速在线识别定位，在进行新样本测试开始时，先把之前训练好的模型加载进来，一直等待测试，每帧图像上的多个目标分割后依此存储，同时送入加载好的模型进行识别，这样就可以有效提高算法的识别速度。
优选的，所述喂料装置包括有分割栅、步进电机、分料斗、集料斗和导料板，所有部件固定于振动筛之上，在振动筛的作用下各部件均可振动使其上物料顺畅的滑下；所述步进电机带动分料斗往复左右旋转使物料均匀落入分格栅，分格栅之间的间隔为20mm，分格栅的数量和步进电机的旋转速度决定分选通道数和分选效率；所述分格栅通过板与集料斗连接，将喂料装置整体固定于振动筛之上，调节振动筛的振动频率即可调节喂料装置的振动频率，从而保证集料斗内的物料均匀的滑落进分料斗；所述集料斗里面的物料随着振动进入分料斗，分料斗后端处于集料斗出料口正下方，随着电机旋转一直处于正下方，分料斗倾斜向下使物料在振动与重力作用下沿直线依次落下进入分格栅通道内，再进行导料板上，导料板选用波纹板，辅助物料成直线运动；所述步进电机采用42步进电机通过联轴器与分料斗连接，步进电机固定于分格栅之上；振动筛优选采用直线振动筛并且频率可以无极调节，喂料装置固定于振动筛之上，集料斗在振动作用下使物料成直线落到旋转分料斗之上，步进电机和分料斗在振动筛的作用下保持同样的频率振动使物料顺畅通过，在旋转的分料斗与分割栅的共同配合下使每个通道的物料粒粒分明成直线进入导料板之上。导料板选用波纹板，辅助物料成直线运动。
优选的，所述气吹式分选装置包括有电源、气管、高压气泵、单片机、废料回收区、物料输送装置、第一区间位喷气阀、第二区间位喷气阀、第三区间位喷气阀；所述图像采集系统采集到帧图像经过算法处理分为三段区间分别对应三个区间位喷气阀，待物料达到指定区间，控制系统发出指令喷出高压气体将待处理物料吹入收集区；高压气泵通过气管给电磁喷气阀供气，单片机控制电磁喷气阀工作使气路到达待处理物料一侧，气体高速喷出使待处理物料进入收集区，电源为单片机与电磁喷气阀提供电源。
优选的，所述输送装置包括有输送带、无极调节器、电机与传动机构，输送带表面进行漫反射粗糙处理减少光源对相机所拍摄物料的干扰，提高识别准确率。无极调节器通过控制系统的程序控制，根据上位机性能匹配与之相对应的速度。电机通过无极调节器控制，其与传动机构的选型均满足低振动的要求，减少对相机的干扰；输送装置的上方安装有气吸式分选装置；所述气吸式分选装置包括有物料输送装置、吸气机构、收集罩和Delta并联机械臂，其中，Delta并联机械臂包括有静平台、主动与从动臂和动平台所述吸气机构包括有离心风机、吸气管、吸气阀、阻料网和可密封口，阻料网和可密封口的下部连接收集罩，在识别算法和运动控制算法的配合下Delta并联机械臂可以吸取运动的物料，使物料持续输送拾取也可同步进行。
优选的，所述气吸式控制系统由其内部的ARDUINO开发板作为下位机与上位机建立通信，同时根据上位机的信息作出相应指令控制Delta并联机械臂与离心风机工作；气吸式分选装置通过ARDUINO控制程序接收上位机位置信息控制Delta并联机械臂快速到达指定位置，此时控制程序驱动气阀实现气路的通断来实现吸取待处理物料，同时控制Delta并联机械臂实现物料动态跟随；其中离心风机也是由ARDUINO控制程序调速控制，针对不同物料匹配不同风速来防止误吸其周围物料。
优选的，所述气吹式控制系统由期内部的ARDUINO开发板作搭载模块，为下位机与上位机建立高速通信通道，可以控制三个区间位电磁喷气阀快速动作，依据上位机指令不同使不同位置电磁喷气阀工作。
本发明的有益效果：本发明的智能山核桃壳仁分选机基于区域分割的快速目标定位算法，并采用卷积神经网络来避免特征提取的复杂过程，通过卷积过程获得的目标特征可以更全面地反映目标本身的特征，从而有效地分离物料并提高未分离个体的识别精度。并通过与下位机建立高速通信，采用快速反应的Delta并联机械臂和气吹式/气吸式两套分选分离装置满足多种工况要求，实现分选执行装置的快速反应，保证整机执行精度在±1mm、整体准确度≥95％；采用ARDUINO作为核心控制器，控制快速执行装置到达实际坐标系位置并精准控制吸取器吸走所识别的目标物。并开发高速气吹式分选执行装置，满足各种工况的作业需求。
附图说明
图1是本发明智能山核桃壳仁分选机整体结构示意图。
图2是本发明智能山核桃壳仁分选机的喂料机构结构示意图。
图3是本发明智能山核桃壳仁分选机的气吹式结构示意图。
图4是本发明智能山核桃壳仁分选机的气吸式结构示意图。
图5是本发明智能山核桃壳仁分选机的整机工作流程示意图。
图6是本发明智能山核桃壳仁分选机的多目标同时识别原理图。
图7是本发明智能山核桃壳仁分选机的目标定位算法流程与图像处理过程显示图。
图中：1、喂料装置；2、振动筛；3、机架；4、气吹式分选装置；5、配电柜；6、输送装置；7、气吸式分选装置；8、遮光板；9、辅助光源；10、图像采集系统；11、分割栅；12、步进电机；13、分料斗；14、集料斗；41、废料回收区；42、物料输送装置；43、第一区间位喷气阀；44、第二区间位喷气阀；45、第三区间位喷气阀；71、物料输送装置；72、吸气机构；73、收集罩；74、并联机械臂；741、静平台；742、主动与从动臂；743动平台。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，一种基于卷积神经网络算法的智能山核桃壳仁分选机，所述智能山核桃壳仁分选机包括有喂料装置1、振动筛2、机架3、气吹式分选装置4、配电柜5、输送装置6、气吸式分选装置7、遮光板8、辅助光源9以及图像采集系统10；所述智能山核桃壳仁分选机还包括有工业相机、下位机、上位机、数据处理系统、深度学习理论的目标识别算法、区域连通域分割理论定位算法、气吸式控制系统、气吹式控制系统。
更进一步地，所述工业相机位于分选机正上方，所述辅助光源9配合工业相机且均匀分布于工业相机四周，所述上位机用于搭载图像处理程序与实时采集动态图像信息进行数据处理；所述工业相机通过数据线连接到上位机，采用标定板网格标定虚拟坐标系与实际坐标系的比例关系，从而确定实际物料信息。
更进一步地，所述数据处理系统是基于深度学习理论的目标识别算法与多目标下小目标的定位算法而形成的处理系统；所述气吹式控制系统由下位机接收上位机指令程序实现控制气吹式分选装置4，所述气吸式控制系统由下位机接收上位机指令程序实现控制气吸式分选装置7；所述工业相机、辅助光源、上位机、气吸式分选装置、气吸式控制系统、输送装置、气吹式控制系统、气吹式分选装置、喂料装置均与所述数据处理系统连接，其中，气吸式控制系统与气吹式控制系统分别独立与数据处理系统通信。
更进一步地，所述深度学习理论的目标识别算法主要包括有：
卷积层1(Cov1)：该层输入图像大小为32×32×3的RGB图像,第一个卷积层过滤器的尺寸为32×32×3，深度为32，使用全0填充，步长为1个像素；该层共有5×5×3×32+32＝2432个参数；
池化层Pool1：这一层的输入为上一层的输出，上层输出为32×32×32的节点矩阵，使用全0填充，本层过滤器的尺寸为3×3，步长为2像素；
卷积层Cov2：上一层的输出为16×16×32的节点矩阵，这一卷积层过滤器的尺寸为5×5×32，深度为64，使用全0填充，本层共有5×5×32×64+64＝51264个参数；
池化层Pool2：上层输出为16×16×64的节点矩阵，本层过滤器的尺寸为3×3，步长为2像素，使用全0填充；全连接第一层输出节点为384个，全连接第二层输出节点为192个，全连接第三层输出节点根据数据集类别数量设置。
更进一步地，所述目标在线定位与识别算法是基于区域分割和卷积神经网络方法实现，所述基于区域分割和卷积神经网络的目标在线定位与识别方法主要包括：1)图像灰度处理、2)滤波处理、3)二值化处理、4)区域连通域标记、5)目标定位、6)多目标同时识别。
更进一步地，所述目标在线定位采用目标图像质心定位更为准确，通过连通域搜索对各目标进行标记，利用边界条件找到目标在原始图像中的位置，得到目标原始图像信息，同时利用边界条件即最小外接矩形框得到该目标的二值图像g，用i和j表示分别表示平面图像的x轴和y轴方向，m和n分别为i和j方向像素的数量，为像素点处的灰度值，则该目标的质心位置坐标表示为：
Figure BDA0002518195110000101
其中x，y分别表示目标图像的质心横、纵坐标，根据这一公式可以计算所有目标图像的质心坐标，并按一定顺序存储，在识别后，根据结果对相应目标进行索引。
更进一步地，所述多目标同时识别，需要将所有目标图像制作成图像数据集，并重塑数据格式，以满足Tensorflow框架的要求，才能对所有目标同时识别，然后得到每个目标的识别结果，由于需要知道目标所在位置，所以此时还需根据各目标索引号给出相应的质心坐标位置。为了实现快速在线识别定位，在进行新样本测试开始时，先把之前训练好的模型加载进来，一直等待测试，每帧图像上的多个目标分割后依此存储，同时送入加载好的模型进行识别，这样就可以有效提高算法的识别速度。
更进一步地，所述输送装置6的输送带经过特殊处理，表面经过打磨处理与重新喷漆处理使表面不会反光干扰摄像机图像采集，其颜色采用深蓝色可以根据物料特征不同更换不同颜色输送带。
更进一步地，所述辅助光源9选用多光点发散式条带光源分布于摄像区域两边其中两边尾部光源向下弯曲，光线从多角度投射到物料与输送带表面消除物料的阴影，通过控制器可以改变光源颜色，在不同外部光线环境下选取不同颜色光源。
如图2所示，所述喂料装置1包括有分割栅11、步进电机12、分料斗13、集料斗14和导料板，所有部件固定于振动筛2之上，在振动筛2的作用下各部件均可振动使其上物料顺畅的滑下，步进电机12带动分料斗13往复左右旋转使物料均匀落入分格栅11，分格栅11的数量与步进电机12旋转速度均可调节式山核桃破壳物料呈现条带状且每粒之间的间隔均匀，分格栅11数量决定分选通道数和分选效率。
更进一步地，所述分格栅11通过板与集料斗14连接，将喂料装置1整体固定于振动筛2之上，集料斗14里面的物料随着振动进入分料斗13，分格栅11之间的间隔为20mm，分料斗13后端处于集料斗14出料口正下方，随着步进电机12旋转一直处于正下方，分料斗13倾斜向下使物料在振动与重力作用下沿直线依次落下进入分格栅11的通道内，再进行导料板上，导料板选用波纹板，辅助物料成直线运动，所述步进电机12采用42步进电机通过联轴器与分料斗13连接，步进电机12固定于分格栅11之上。
如图3所示，为气吹式分选装置4由废料回收区41、物料输送装置42、第一区间位喷气阀43、第二区间位喷气阀44、第三区间位喷气阀45组成，物料成直线沿着输送方向前进，图像采集系统10采集到帧图像经过算法处理分为三段区间分别对应三个区间位喷气阀，待物料达到指定区间，控制系统发出指令喷出高压气体将待处理物料吹入收集区；所述气吹式控制系统由其内部的ARDUINO开发板作搭载模块，为下位机与上位机建立高速通信通道，可以控制三个电磁喷气阀快速动作，依据上位机指令不同使不同位置电磁喷气阀工作；气阀采用高频电磁喷气阀，高速的气吹式控制系统与上位机通信使得气吹式控制系统0.03s内完成一次识别与执行作业。
如图4所示，气吸式分选装置7包括有物料输送装置71、吸气机构72、收集罩73和Delta并联机械臂74，其中，Delta并联机械臂74包括有静平台741、主动与从动臂742和动平台743，所述吸气机构72包括有离心风机、吸气管、吸气阀、阻料网和可密封口，阻料网和可密封口的下部连接收集罩73，在识别算法和运动控制算法的配合下Delta并联机械臂74可以吸取运动的物料，使物料持续输送拾取也可同步进行；多通道物料呈直线沿输送方向运动，同时控制系统接收上位机位置信息经过算法处理控制Delta并联机械臂74与吸气机构72共同作用吸取待处理物料进入收集罩73内。
所述吸气管固定于动平台743中心随动平台743一同运动且吸气管的风管口始终垂直向下，尾部与离心风机相连，离心风机固定于机器底部，离心风机形成负压待风管口到达物料上方将物料吸入风管内部，在收集罩73内部设置落料装置在装置内部设置阻料网和可密封口使物料经过风管到达收集罩73内，落料装置与离心风机之间设有风管使气体排出。
所述气吸式控制系统由其内部的ARDUINO开发板作为下位机与上位机建立通信，同时根据上位机的信息作出相应指令控制Delta并联机械臂74与离心风机工作；气吸式分选装置通过ARDUINO控制程序接收上位机位置信息控制Delta并联机械臂74快速到达指定位置，此时控制程序驱动吸气阀实现气路的通断来实现吸取待处理物料，同时控制Delta并联机械臂74实现物料动态跟随；其中离心风机也是由ARDUINO控制程序调速控制，针对不同物料匹配不同风速来防止误吸其周围物料。
如图5所示，为两种分选方式的实际执行过程，物料经可调间距给料机送至输送带之后进入图像采集区域，摄像器材采集到图像经过目标分割与定位算法和特征提取与目标分类算法等算法操作之后得到物料位置信息，两种执行机构得到位置信息之后执行相应操作将废料排入废料区，其余送入产品区。
如图6所示，工业相机采集到帧图像后经过区域分割循环得到每粒物料图片保存后等待检测模型，模型加载后将图片导入进行测试分类，得到待执行物料位置信息后送至下位机。
如图7所示，山核桃破碎后物料体积较小，大小不一，采用区域选择性搜索和区域提名等方法耗时较多且效果不佳，但核桃物料之间不易缠绕，区域连通域分割较为明显。故在多目标条件下，选择了基于形态特征形成的连通域进行分割定位。主要步骤包括：1)对原始图像进行降噪处理；2)提取蓝色平面对图像进行灰度处理；3)采用最大类间方差法(OSTU)进行二值化处理；4)得到区域连通域整列；5)返回1)中降噪后的原始图形，得到分割后的各个目标图像。如图5b所示，分割后的目标落在最小外接矩的矩形框内，经过识别模型判定后，给出符合要求物料在原始图像相对于左上角坐标原点的质心位置。
在本发明中，本发明的智能山核桃壳仁分选机基于区域分割的快速目标定位算法，并采用卷积神经网络来避免特征提取的复杂过程，通过卷积过程获得的目标特征可以更全面地反映目标本身的特征，从而有效地分离物料并提高未分离个体的识别精度。并通过与下位机建立高速通信，采用快速反应的Delta并联机械臂和气吹/吸式两套分选分离装置满足多种工况要求，实现分选执行装置的快速反应，保证整机执行精度在±1mm、整体准确度≥95％；采用ARDUINO作为核心控制器，控制快速执行装置到达实际坐标系位置并精准控制吸取器吸走所识别的目标物。并开发高速气吹式执行装置，满足各种工况的作业需求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述智能山核桃壳仁分选机包括有喂料装置(1)、振动筛(2)、机架(3)、气吹式分选装置(4)、配电柜(5)、输送装置(6)、气吸式分选装置(7)、遮光板(8)、辅助光源(9)以及图像采集系统(10)；所述智能山核桃壳仁分选机还包括有工业相机、下位机、上位机、数据处理系统、深度学习理论的目标识别算法、区域连通域分割理论定位算法、气吸式控制系统、气吹式控制系统；
所述工业相机位于分选机正上方，所述辅助光源(9)配合工业相机且均匀分布于工业相机四周，所述上位机用于搭载图像处理程序与实时采集动态图像信息进行数据处理；所述工业相机通过数据线连接到上位机，采用标定板网格标定虚拟坐标系与实际坐标系的比例关系，从而确定实际物料信息；所述辅助光源(9)采用多角度与多点补光，消除物料阴影对物料图像采集的干扰，并且光源的色彩可以调节适应不同环境光线的影响；
所述数据处理系统是基于深度学习理论的目标识别算法与多目标下小目标的定位算法而形成的处理系统；所述气吹式控制系统由下位机接收上位机指令程序实现控制气吹式分选装置(4)，所述气吸式控制系统由下位机接收上位机指令程序实现控制气吸式分选装置(7)；所述工业相机、辅助光源、上位机、气吸式分选装置、气吸式控制系统、输送装置、气吹式控制系统、气吹式分选装置、喂料装置均与所述数据处理系统连接，其中，气吸式控制系统与气吹式控制系统分别独立与数据处理系统通信。
2.根据权利要求1所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述深度学习理论的目标识别算法主要包括有：
卷积层1(Cov1)：该层输入图像大小为32×32×3的RGB图像,第一个卷积层过滤器的尺寸为32×32×3，深度为32，使用全0填充，步长为1个像素；该层共有5×5×3×32+32＝2432个参数；
池化层Pool1：这一层的输入为上一层的输出，上层输出为32×32×32的节点矩阵，使用全0填充，本层过滤器的尺寸为3×3，步长为2像素；
卷积层Cov2：上一层的输出为16×16×32的节点矩阵，这一卷积层过滤器的尺寸为5×5×32，深度为64，使用全0填充，本层共有5×5×32×64+64＝51264个参数；
池化层Pool2：上层输出为16×16×64的节点矩阵，本层过滤器的尺寸为3×3，步长为2像素，使用全0填充；全连接第一层输出节点为384个，全连接第二层输出节点为192个，全连接第三层输出节点根据数据集类别数量设置。
3.根据权利要求1所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述目标在线定位与识别算法是基于区域分割和卷积神经网络方法实现，所述基于区域分割和卷积神经网络的目标在线定位与识别方法主要包括：1)图像灰度处理、2)滤波处理、3)二值化处理、4)区域连通域标记、5)目标定位、6)多目标同时识别。
4.根据权利要求3所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述目标在线定位采用目标图像质心定位更为准确，通过连通域搜索对各目标进行标记，利用边界条件找到目标在原始图像中的位置，得到目标原始图像信息，同时利用边界条件即最小外接矩形框得到该目标的二值图像g，用i和j表示分别表示平面图像的x轴和y轴方向，m和n分别为i和j方向像素的数量，为像素点处的灰度值，则该目标的质心位置坐标表示为：
Figure FDA0002518195100000031
其中x，y分别表示目标图像的质心横、纵坐标，根据这一公式可以计算所有目标图像的质心坐标，并按一定顺序存储，在识别后，根据结果对相应目标进行索引。
5.根据权利要求3所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述多目标同时识别，需要将所有目标图像制作成图像数据集，并重塑数据格式，以满足Tensorflow框架的要求，才能对所有目标同时识别，然后得到每个目标的识别结果，由于需要知道目标所在位置，所以此时还需根据各目标索引号给出相应的质心坐标位置。为了实现快速在线识别定位，在进行新样本测试开始时，先把之前训练好的模型加载进来，一直等待测试，每帧图像上的多个目标分割后依此存储，同时送入加载好的模型进行识别，这样就可以有效提高算法的识别速度。
6.根据权利要求1所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述喂料装置(1)包括有分割栅(11)、步进电机(12)、分料斗(13)、集料斗(14)和导料板，所有部件固定于振动筛(2)之上，在振动筛(2)的作用下各部件均可振动使其上物料顺畅的滑下；
所述步进电机(12)带动分料斗(13)往复左右旋转使物料均匀落入分格栅(11)，分格栅(11)之间的间隔为20mm，分格栅(11)的数量和步进电机(12)的旋转速度决定分选通道数和分选效率；
所述分格栅(11)通过板与集料斗(14)连接，将喂料装置(1)整体固定于振动筛(2)之上，调节振动筛(2)的振动频率即可调节喂料装置(1)的振动频率，从而保证集料斗(14)内的物料均匀的滑落进分料斗(13)；
所述集料斗(14)里面的物料随着振动进入分料斗(13)，分料斗(13)后端处于集料斗(14)出料口正下方，随着电机旋转一直处于正下方，分料斗(13)倾斜向下使物料在振动与重力作用下沿直线依次落下进入分格栅(11)通道内，再进行导料板上，导料板选用波纹板，辅助物料成直线运动；
所述步进电机(12)采用42步进电机通过联轴器与分料斗(13)连接，步进电机(12)固定于分格栅(11)之上，步进电机(12)和分料斗(13)在振动筛(2)的作用下保持同样的频率振动使物料顺畅通过。
7.根据权利要求1所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述气吹式分选装置(4)包括有电源、气管、高压气泵、单片机、废料回收区(41)、物料输送装置(42)、第一区间位喷气阀(43)、第二区间位喷气阀(44)、第三区间位喷气阀(45)；
所述图像采集系统(10)采集到帧图像经过算法处理分为三段区间分别对应三个区间位喷气阀，待物料达到指定区间，控制系统发出指令喷出高压气体将待处理物料吹入收集区。
8.根据权利要求1所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述输送装置(6)包括有输送带、无极调节器、电机与传动机构；输送装置(6)的上方安装有气吸式分选装置(7)；
所述气吸式分选装置(7)包括有物料输送装置(71)、吸气机构(72)、收集罩(73)和Delta并联机械臂(74)，其中Delta并联机械臂(74)包括有静平台(741)、主动与从动臂(742)和动平台(743)，在识别算法和运动控制算法的配合下Delta并联机械臂(74)可以吸取运动的物料，使物料持续输送拾取也可同步进行；
所述吸气机构(72)包括有离心风机、吸气管、吸气阀、阻料网和可密封口，阻料网和可密封口的下部连接收集罩(73)。
9.根据权利要求1所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述气吸式控制系统由其内部的ARDUINO开发板作为下位机与上位机建立通信，同时根据上位机的信息作出相应指令控制Delta并联机械臂(74)与离心风机工作；气吸式分选装置(7)通过ARDUINO控制程序接收上位机位置信息控制Delta并联机械臂(74)快速到达指定位置，此时控制程序驱动吸气阀实现气路的通断来实现吸取待处理物料，同时控制Delta并联机械臂实现物料动态跟随；其中离心风机也是由ARDUINO控制程序调速控制，针对不同物料匹配不同风速来防止误吸其周围物料。
10.根据权利要求1所述的一种基于卷积神经网络算法的智能山核桃壳仁分选机，其特征在于：所述气吹式控制系统由其内部的ARDUINO开发板作搭载模块，为下位机与上位机建立高速通信通道，可以控制三个区间位电磁喷气阀高速动作，依据上位机指令不同使不同位置电磁喷气阀工作。
CN202010483858.3A 2020-06-01 2020-06-01 一种基于卷积神经网络算法的智能山核桃壳仁分选机 Active CN111687069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010483858.3A CN111687069B (zh) 2020-06-01 2020-06-01 一种基于卷积神经网络算法的智能山核桃壳仁分选机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010483858.3A CN111687069B (zh) 2020-06-01 2020-06-01 一种基于卷积神经网络算法的智能山核桃壳仁分选机

Publications (2)

Publication Number Publication Date
CN111687069A true CN111687069A (zh) 2020-09-22
CN111687069B CN111687069B (zh) 2023-02-28

Family

ID=72479124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010483858.3A Active CN111687069B (zh) 2020-06-01 2020-06-01 一种基于卷积神经网络算法的智能山核桃壳仁分选机

Country Status (1)

Country Link
CN (1) CN111687069B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112474431A (zh) * 2020-11-29 2021-03-12 龚海燕 一种具有色选剔除机构的输送设备及其实施方法
CN112775968A (zh) * 2020-12-30 2021-05-11 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法、装置、拾取设备及存储介质
CN113390834A (zh) * 2021-06-23 2021-09-14 长江师范学院 一种基于视觉识别的脆李成熟度检测方法
CN113390833A (zh) * 2021-06-23 2021-09-14 长江师范学院 基于多重检测方式的脆李成熟度判断方法
CN113655054A (zh) * 2021-08-02 2021-11-16 浙江农林大学 基于nx变形设计的坚果异物智能监测系统的设计方法
CN114375639A (zh) * 2022-01-14 2022-04-22 龙岩市农业科学研究所 一种甘薯种子自动破壳系统
WO2022117109A1 (zh) * 2020-12-04 2022-06-09 湖州霍里思特智能科技有限公司 矿产分选机和矿产分选方法
CN115069579A (zh) * 2022-06-21 2022-09-20 北京林业大学 一种撞击声辨别霉变核桃的分选装置
SE2130289A1 (en) * 2021-10-26 2023-04-27 Mp Zenrobotics Oy Waste Sorting Robot
CN116679781A (zh) * 2023-08-03 2023-09-01 镇江矽佳测试技术有限公司 一种智能化分选机测试区域环境管控系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07275802A (ja) * 1994-04-07 1995-10-24 Daiki Alum Kogyosho:Kk 破砕スクラップの選別方法とその装置
CN201064774Y (zh) * 2007-07-21 2008-05-28 新疆农业大学 核桃壳仁分选机
FR2966369A1 (fr) * 2010-10-20 2012-04-27 Jean Baptiste Vye Dispositif de detection et de tri d'objets sur tapis convoyeur
CN107953339A (zh) * 2018-01-12 2018-04-24 河北省科学院应用数学研究所 一种具有柔顺结构的玻璃瓶分拣并联机器人
CN108993923A (zh) * 2018-06-13 2018-12-14 芜湖众维教研仪器研发有限责任公司 一种螃蟹分选系统及其控制方法
CN109215015A (zh) * 2018-07-24 2019-01-15 北京工业大学 一种基于卷积神经网络的蚕茧在线视觉检测方法
CN109754362A (zh) * 2018-12-24 2019-05-14 哈尔滨工程大学 一种用可旋转的边界框标注海参目标检测结果的方法
CN110681610A (zh) * 2019-10-30 2020-01-14 唐小青 基于卷积神经网络与深度学习的视觉识别分选物料系统
CN110992322A (zh) * 2019-11-25 2020-04-10 创新奇智(青岛)科技有限公司 基于卷积神经网络的贴片掩膜检测系统及检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07275802A (ja) * 1994-04-07 1995-10-24 Daiki Alum Kogyosho:Kk 破砕スクラップの選別方法とその装置
CN201064774Y (zh) * 2007-07-21 2008-05-28 新疆农业大学 核桃壳仁分选机
FR2966369A1 (fr) * 2010-10-20 2012-04-27 Jean Baptiste Vye Dispositif de detection et de tri d'objets sur tapis convoyeur
CN107953339A (zh) * 2018-01-12 2018-04-24 河北省科学院应用数学研究所 一种具有柔顺结构的玻璃瓶分拣并联机器人
CN108993923A (zh) * 2018-06-13 2018-12-14 芜湖众维教研仪器研发有限责任公司 一种螃蟹分选系统及其控制方法
CN109215015A (zh) * 2018-07-24 2019-01-15 北京工业大学 一种基于卷积神经网络的蚕茧在线视觉检测方法
CN109754362A (zh) * 2018-12-24 2019-05-14 哈尔滨工程大学 一种用可旋转的边界框标注海参目标检测结果的方法
CN110681610A (zh) * 2019-10-30 2020-01-14 唐小青 基于卷积神经网络与深度学习的视觉识别分选物料系统
CN110992322A (zh) * 2019-11-25 2020-04-10 创新奇智(青岛)科技有限公司 基于卷积神经网络的贴片掩膜检测系统及检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112474431A (zh) * 2020-11-29 2021-03-12 龚海燕 一种具有色选剔除机构的输送设备及其实施方法
WO2022117109A1 (zh) * 2020-12-04 2022-06-09 湖州霍里思特智能科技有限公司 矿产分选机和矿产分选方法
CN112775968A (zh) * 2020-12-30 2021-05-11 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法、装置、拾取设备及存储介质
CN113390834A (zh) * 2021-06-23 2021-09-14 长江师范学院 一种基于视觉识别的脆李成熟度检测方法
CN113390833A (zh) * 2021-06-23 2021-09-14 长江师范学院 基于多重检测方式的脆李成熟度判断方法
CN113655054A (zh) * 2021-08-02 2021-11-16 浙江农林大学 基于nx变形设计的坚果异物智能监测系统的设计方法
CN113655054B (zh) * 2021-08-02 2024-04-26 浙江农林大学 基于nx变形设计的坚果异物智能监测系统的设计方法
SE2130289A1 (en) * 2021-10-26 2023-04-27 Mp Zenrobotics Oy Waste Sorting Robot
CN114375639A (zh) * 2022-01-14 2022-04-22 龙岩市农业科学研究所 一种甘薯种子自动破壳系统
CN115069579A (zh) * 2022-06-21 2022-09-20 北京林业大学 一种撞击声辨别霉变核桃的分选装置
CN116679781A (zh) * 2023-08-03 2023-09-01 镇江矽佳测试技术有限公司 一种智能化分选机测试区域环境管控系统
CN116679781B (zh) * 2023-08-03 2023-10-20 镇江矽佳测试技术有限公司 一种智能化分选机测试区域环境管控系统

Also Published As

Publication number Publication date
CN111687069B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN111687069B (zh) 一种基于卷积神经网络算法的智能山核桃壳仁分选机
CN103984928B (zh) 基于景深图像的手指手势识别方法
CN106733701B (zh) 马铃薯多级联合智能缺陷检测系统及检测方法
Li et al. Green apple recognition method based on the combination of texture and shape features
CN107486415A (zh) 基于机器视觉的篾片缺陷在线检测系统及检测方法
CN106845408A (zh) 一种复杂环境下的街道垃圾识别方法
CN110270512B (zh) 一种冬枣智能分拣装置
CN1485616A (zh) 禽蛋品质无损自动检测分级设备及方法
CN110956099B (zh) 一种动态手势指令识别方法
CN107679579A (zh) 基于深度学习的红枣品质分选方法
CN113313692B (zh) 一种基于航拍可见光图像的香蕉幼株自动识别与计数方法
CN104070016A (zh) 一种小颗粒农业物料质量实时检测与分级装置及方法
CN109089992A (zh) 一种基于机器视觉的鱼类新鲜度的分类方法及系统
CN112990103A (zh) 一种基于机器视觉的串采二次定位方法
CN114359199A (zh) 一种基于深度学习的鱼类计数方法、装置、设备和介质
CN112233107A (zh) 基于图像处理技术的葵花籽品级分类方法
CN106900601B (zh) 一种快速精准识别对虾图像虾头点与虾尾点的方法
Raj et al. Fruit Classification Comparison Based on CNN and YOLO
CN115719451A (zh) 一种软枣猕猴桃成熟度检测方法及系统
Karadağ et al. Non-destructive robotic sorting of cracked pistachio using deep learning
CN208098653U (zh) 一种籽棉残膜分选装置
CN206314576U (zh) 一种基于视觉的烟草异物剔除装置
CN105195442A (zh) 一种基于机器视觉的淡水鱼新鲜度分级系统及方法
CN117115506A (zh) 一种基于hsv阈值分割的玉米籽粒破碎识别方法及分选装置
Zhao et al. Precise selection and visualization of maize kernels based on electromagnetic vibration and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant