CN110000116A - 一种基于深度学习的自由落体果蔬分选方法及系统 - Google Patents

Abstract

一种基于深度学习的自由落体果蔬分选方法和系统，属于果蔬分选领域。电气控制箱安装于设备外壳外侧，显示触控装置安装于设备外壳的前侧，畚斗倾斜安装于进料口下方，直振器安装于畚斗底部，溜槽与畚斗相接，理料帘设置于溜槽上方，光电传感器安装溜槽下方，第一喷嘴阵列与高频电磁阀阵列连接，第二喷嘴阵列与高频电磁阀阵列连接，第二落料板设置于第一、二喷嘴阵列之间的对侧，第一、二图像采集箱安装在机架内前后两端，两个彩色线扫相机安装于第一、二图像采集箱内，第一光源箱和第一光源背景箱互呈角度位于溜槽右侧，第二光源箱和第二光源背景箱互呈角度位于溜槽左侧。本发明能大大提高检测果蔬的速度，具有分选功能，剔除精度高，维护成本低。

Description

一种基于深度学习的自由落体果蔬分选方法及系统

技术领域

本发明属于果蔬分选领域，具体涉及一种基于深度学习的自由落体果蔬分选方法及系统。

背景技术

现阶段果蔬分选行业，主要依靠人工拣选，自动化水平低、效率低、人力资源成本开销大。对于枸杞等小颗粒物体，采用色选技术，通过颜色检查缺陷，目前已成熟广泛应用。但对于干红枣、西红柿等品种，涉及品相判定及复杂的缺陷而非单纯颜色大小辨识，依然停留在人工拣选阶段。

在检测算法方面，目前果蔬分选普遍采用常规图像处理算法，主要通过颜色、边缘检测等技术来实现对不同种类果蔬的颜色大小及明显缺陷的检测。在涉及果蔬表面纹理，品相等等主观性较强的检测项目，则难以实现检测。

在检测机构方面，目前基于常规视觉算法果蔬分选设备，由于检测算法运行速度条件限制，普遍采用履带式分选系统，因此无法检测背面区域、检测速度慢、设备复杂、维护成本高。

在分选机构方面，对比目前常规自由落体分选系统采用单排气嘴喷气分选机构，分选结果只能分成两类。检测物体较小，采用区域检测算法，剔除精度较差。

发明内容

本发明的目的是为了解决上述技术问题，提供了一种基于深度学习的自由落体果蔬分选方法及系统。

本发明通过机器视觉技术，采用深度神经网络算法对果蔬品相进行判定；通过嵌入式技术，采用FPGA控制器驱动气动分选装置进行高速分选。

本发明为实现上述目的，采取的技术方案如下：

一种基于深度学习的自由落体果蔬分选系统，其特征在于，包括：进料漏斗、电气控制箱、显示触控装置、多块快拆防护板、第一图像采集箱、两个彩色线扫相机、第一光源箱、第一光源背景箱、光电传感器、高频电磁阀阵列、第一落料阻挡帘、两个喷嘴阵列、第一落料板、第二落料板、喷气挡板、第三落料阻挡帘、第二落料阻挡帘、第二光源背景箱、第二光源箱、第二图像采集箱、机架、减震弹簧、直振器、畚斗、理料帘、溜槽；所述两个喷嘴阵列分别是第一喷嘴阵列和第二喷嘴阵列，所述第一喷嘴阵列和第二喷嘴阵列均包括多个喷嘴控制单元；

多块快拆防护板安装于机架外围，由机架和多块快拆防护板组成一个立方体设备外壳，所述设备外壳的上端有一进料口；所述电气控制箱安装于所述设备外壳的外侧壁上，所述显示触控装置安装于所述设备外壳的前侧面上；所述进料漏斗安装于所述进料口处；

所述畚斗倾斜安装于所述进料口下方；所述直振器安装于所述畚斗的底部；所述减震弹簧的两端分别连接所述直振器的底部和机架上；所述溜槽安装于机架内，且所述溜槽的前端与所述畚斗的后端相接；所述理料帘安装于机架内，且竖直设置于所述溜槽的上方；所述光电传感器安装于机架内，且设置于所述溜槽的下方；所述电气控制箱接收所述光电传感器发出的电信号，并对电信号处理后发给所述高频电磁阀阵列；高频电磁阀阵列安装于机架内；所述第一喷嘴阵列设置于所述溜槽的下方，通过第一气路与所述高频电磁阀阵列连接，所述第一气路穿过第一阀板，第一阀板安装在机架上；所述第二喷嘴阵列设置于所述第一喷嘴阵列的下方，通过第二气路与所述高频电磁阀阵列连接，第二气路穿过第二阀板，第二阀板安装在机架上；喷气挡板安装于机架内，且位于所述第一喷嘴阵列的对侧；第二落料板安装于机架内，且设置于第一喷嘴阵列和第二喷嘴阵列之间的对侧，并位于所述喷气挡板的下方，第二落料板的左端向下倾斜设置；第三落料阻挡帘安装于所述喷气挡板的下部；第一落料板安装于机架内，且位于所述第二落料板的下方，所述第一落料板由下凹板和直板构成，下凹板位于直板的右侧，下凹板向右倾斜设置，直板向左下方倾斜设置，下凹板的左端与直板的右端相连，由第二落料板、下凹板和直板组成三通道集料装置，所述第二落料阻挡帘安装于所述第二落料板的下表面，并位于所述第一落料板的左侧；所述第一落料阻挡帘安装于机架内，且位于所述第一落料板的右侧；第一图像采集箱和第二图像采集箱分别安装在机架内前后两端；两个彩色线扫相机分别安装于所述第一图像采集箱和所述第二图像采集箱内；所述第一光源箱和所述第一光源背景箱互呈角度安装于机架内且位于所述溜槽的右侧；所述第二光源箱和所述第二光源背景箱互呈角度安装于机架内且位于所述溜槽的左侧，所述高频电磁阀阵列的进气口处安装有气源压力传感器。

一种基于深度学习的自由落体果蔬分选方法，包括如下步骤：

S101两个彩色线扫相机扫描自由落体运动状态物体，并生成彩色BAYER图像；

S102两个X86视觉控制器通过GigE总线采集彩色BAYER图像片段；

S103两个X86视觉控制器将彩色BAYER图像片段存入图像缓冲层等待调用；

S104两个X86视觉控制器判断彩色BAYER图像片段是否满足图像识别处理条件，如果是则进入步骤S105；否则返回步骤S101；

S105两个X86视觉控制器将彩色BAYER图像片段转化为RGB处理区域后进入步骤S106，同时执行步骤S110；

S106两个X86视觉控制器在将RGB处理区域进行灰度处理；

S107两个X86视觉控制器将经过灰度处理后的图像片段进行高斯模糊处理；

S108两个X86视觉控制器寻找经高斯模糊处理过的图像片段的闭合边界；

S109两个X86视觉控制器通过边界划分待识别物料区域；

S110两个X86视觉控制器载入预训练神经网络，公式如下：

此处z(u,v)即为神经网络中的每个节点的卷积函数，输入端为n个红枣训练图像(神经元匹配识别目标)用于分类的k种特征向量(每个图像的像素矩阵群)，基于卷积神经网络设计了多个卷积层和池化层交叠的方式进行神经网络构建，并通过预训练神经网络进行辨识获得相应评价参数；

S111两个X86视觉控制器通过参数比对进行瑕疵判断，如果满足分拣条件则进入步骤S112；否则返回步骤S101；

S112两个X86视觉控制器发送UDP命令给FPGA控制器；

S113FPGA控制器内部的CPU模块接收UDP命令，并进行UDP命令的解析及任务处理；

S114FPGA控制器将UDP命令传输至FPGA控制器内的AXI总线；

S115FIFO模块对AXI总线中的UDP命令存储及缓冲；

S116物料触发光电传感器，光电传感器生成信号，并传输信号至喷嘴控制单元；

S117喷嘴控制单元收到光电传感器生成的信号后，运算处理UDP命令；

S118运算结果输出至驱动高频电磁阀，返回步骤S101。

本发明的技术效果：

(1)本发明应用深度学习算法，解决常规机器视觉算法无法解决品相、纹理等高度非线性图像识别问题；识别速度快，分类识别时间低于10ms，远高于常规视觉瑕疵检测程序速度，从而提高果蔬加工效率。

(2)本发明采用透镜式LED照射光源(是指物料LED光源)，提高单位面积的光照强度，达到对物料的高速曝光；同时可降低LED光源的功率，提高LED光源可靠性，降低能耗；通过LED(是指物料LED光源)光照强度的程序化控制(通过计算机控制)，针对不同的分选物调节光照强度值，更进一步提高能源利用率。通过4台光源模组(即第一光源箱、第一光源背景箱、第二光源箱、第二光源背景箱)，解决检测物料表面出现阴影导致误判等问题。

(3)本发明采用自由落体分选方式，通过两台彩色线扫相机对物料前后两面进行检测，提高物料检测准确率；照射光源与图像采集装置(是指两个彩色线扫相机)分离，将图像采集装置(是指两个彩色线扫相机)远离落料区域，避免采集窗口(即两个光学保护窗)污染概率，同时也解决光源远距离放置衰减大，背景板(是指第一光源背景箱和第二光源背景箱)尺寸长等问题。

(4)本发明采用双排气嘴喷射剔除装置(是指第一喷嘴阵列和第二喷嘴阵列)，三通道集料装置可进行三类分选(当第一喷嘴阵列喷气时，对应的物料被喷至第二集料板上，当第二喷嘴阵列喷气时，对应的物料被喷至直板上，当第一喷嘴阵列和第二喷嘴阵列都不喷气时，物料从溜槽落入凹板上)，满足厂家对不同物料类别细分处理应用要求。

(5)本发明采用FPGA设计专用传感驱动控制电路(见图10)，采用片内并行处理方式，对每个通道的执行机构相互独立进行处理。避免常规PLC或单片机系统处理出现轮询排队等待机制。提高执行系统(是指第一喷嘴阵列和第二喷嘴阵列)的响应特性。通过光电传感器定位掉落中的物料，同时获得该物料的类别信息，并将定位信息和类别信息反馈给FPGA控制器，提高高速状态下物料精确剔除。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于深度学习的自由落体果蔬分选系统的设备外部示意图；

图2是本发明一种基于深度学习的自由落体果蔬分选系统的设备内部示意图；

图3是本发明一种基于深度学习的自由落体果蔬分选方法及系统的电控系统架构图；

图4是本发明一种基于深度学习的自由落体果蔬分选系统的透镜式LED光源结构图；

图5是本发明一种基于深度学习的自由落体果蔬分选方法的视觉识别程序框图；

图6是本发明一种基于深度学习的自由落体果蔬分选系统的专用FPGA控制器软件架构图；

图7是图2的A处局部放大图；

图8是图2的B处局部放大图；

图9是图2的C处局部放大图；

图10是本发明基于深度学习的自由落体果蔬分选方法的流程框图；

图11是神经网络内部结构及训练过程框图。

其中：1-进料漏斗，2-电气控制箱、3-显示触控装置(人机操作界面)、4-快拆防护板、5-图像采集箱、6-彩色线扫相机、7-光学保护窗、8-第一光源箱、9-第一光源背景箱、10-光电传感器、11-高频电磁阀阵列、12-第一落料阻挡帘、13-第一喷嘴阵列、14-第二喷嘴阵列、15-第一落料板、16-第二落料板、17-喷气挡板、18-第三落料阻挡帘、19-第二落料阻挡帘、20-第二光源背景箱、21-第二光源箱、22-第二图像采集箱、23-机架、24-减震弹簧、25-直振器、26-挡料板、27-畚斗、28-物料、29-理料帘、30-溜槽，31-背景LED灯板，32-导光板安装支架，33-导光系统遮光板，34-导光板，35-透明防护板，36-物料灯非球面透镜，37-物料灯系统遮光板，38-物料灯透镜安装支架，39-物料灯柱面透镜，40-物料LED灯板，41-铝合金散热灯管，42-散热风扇。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

具体实施方式一：参照图1、图2、图7-图9所示，本实施方式披露了一种基于深度学习的自由落体果蔬分选系统，包括：进料漏斗1、电气控制箱2、显示触控装置3、多块快拆防护板4、第一图像采集箱5、两个彩色线扫相机6、第一光源箱8、第一光源背景箱9、光电传感器10、高频电磁阀阵列11、第一落料阻挡帘12、两个喷嘴阵列、第一落料板15、第二落料板16、喷气挡板17、第三落料阻挡帘18、第二落料阻挡帘19、第二光源背景箱20、第二光源箱21、第二图像采集箱22、机架23、减震弹簧24、直振器25、畚斗27、理料帘29、溜槽30；所述两个喷嘴阵列分别是第一喷嘴阵列13和第二喷嘴阵列14，所述第一喷嘴阵列13和第二喷嘴阵列14均包括多个喷嘴控制单元；

多块快拆防护板4安装于机架23外围，由机架23和多块快拆防护板4组成一个立方体设备外壳(机架23用于作为其他部件安装的载体，多块快拆防护板4用于减少外部的光线对所述多块快拆防护板4内部的干扰)，所述设备外壳的上端有一进料口(用于作为其他部件安装的载体)；所述电气控制箱2安装于所述设备外壳的外侧壁上，所述显示触控装置3安装于所述设备外壳的前侧面上(用于操作人员对本系统进行操作)；所述进料漏斗1安装于所述进料口处(用于接收物料28)；

所述畚斗27倾斜安装于所述进料口下方(用于梳理物料28的前进运动姿态)；所述直振器25安装于所述畚斗27的底部(用于为所述畚斗27提供直线振动动力源)；所述减震弹簧24的两端分别连接所述直振器25的底部和机架23上(用于将所述直振器25的振动传导至机架23上)；所述溜槽30安装于机架23内，且所述溜槽30的前端与所述畚斗27的后端相接(所述溜槽30用于物料28的稳定下滑)；所述理料帘29安装于机架23内，且竖直设置于所述溜槽30的上方(用于梳理所述物料28在下落过程中不堆积)；所述光电传感器10安装于机架23内，且设置于所述溜槽30的下方(用于当所述光电传感器10检测到物料28时生成电信号并发送给电气控制箱2)；所述电气控制箱2接收所述光电传感器10发出的电信号，并对电信号处理后发给所述高频电磁阀阵列11；高频电磁阀阵列11安装于机架23内(用于接收所述电气控制箱2处理后的电信号，并根据所述处理后的电信号控制气路通断)；所述第一喷嘴阵列13设置于所述溜槽30的下方，通过第一气路与所述高频电磁阀阵列11连接，所述第一气路穿过第一阀板，第一阀板安装在机架23上(用于接受所述高频电磁阀阵列11的控制，对物料28进行喷气剔除)；所述第二喷嘴阵列14设置于所述第一喷嘴阵列13的下方，通过第二气路与所述高频电磁阀阵列11连接，第二气路穿过第二阀板，第二阀板安装在机架23上(用于接受所述高频电磁阀阵列11的控制，对物料28进行喷气剔除)；喷气挡板17安装于机架23内，且位于所述第一喷嘴阵列13的对侧(用于为所述光电传感器10遮光，同时阻止所述第一喷嘴阵列13和所述第二喷嘴阵列14喷气时导致的灰尘扩散)；第二落料板16安装于机架23内，且设置于第一喷嘴阵列13和第二喷嘴阵列14之间的对侧，并位于所述喷气挡板17的下方(用于承接物料28并令其平稳下滑)，第二落料板16的左端向下倾斜设置；第三落料阻挡帘18安装于所述喷气挡板17的下部(用于保证物料28在第二落料板16的左端平滑滚落)；第一落料板15安装于机架23内，且位于所述第二落料板16的下方，所述第一落料板15由下凹板和直板构成，下凹板位于直板的右侧，下凹板向右倾斜设置，直板向左下方倾斜设置，下凹板的左端与直板的右端相连，由第二落料板16、下凹板和直板组成三通道集料装置，所述第二落料阻挡帘19安装于所述第二落料板16的下表面，并位于所述第一落料板15的左侧(用于约束物料28在第一落料板15左侧的掉落范围)；所述第一落料阻挡帘12安装于机架23内，且位于所述第一落料板15的右侧(用于约束物料28在第一落料板15右侧的掉落范围)；第一图像采集箱5和第二图像采集箱22分别安装在机架23内前后两端(第一图像采集箱5和第二图像采集箱22最好与水平面之间设有锐角，用于防水防尘防遮光)；两个彩色线扫相机6分别安装于所述第一图像采集箱5和所述第二图像采集箱22内(用于接收物料28正反两面图像信息)；所述第一光源箱8和所述第一光源背景箱9互呈角度安装于机架23内且位于所述溜槽30的右侧(用于为所述第一图像采集箱5采集物料28时提供无暗影照明)；所述第二光源箱21和所述第二光源背景箱20互呈角度安装于机架23，且位于所述溜槽30的左侧(用于为所述第二图像采集箱22采集物料28时提供无暗影照明)，所述高频电磁阀阵列11的进气口处安装有气源压力传感器。气源压力传感器用于检测供气压力。

本实施方式中，物料28通过进料漏斗1的收集被导入到畚斗27上，挡料板26保证物料28在畚斗27的出料端为单层平铺放置状态，而畚斗27的表面设计有沟槽，沟槽用于梳理物料28的前进运动姿态；畚斗27的底部安装直振器25，用于为畚斗27提供直线振动动力源；减震弹簧24用于减弱直振器25，将振动传导到机架23。

理料帘29，用于梳理溜槽30上的物料28，保证物料28下落过程中不堆积；溜槽30表面同样覆盖了数道直线沟槽通道，用于方便物料28下滑至相应第一喷嘴阵列13和第二喷嘴阵列14处进行导向。

物料28下滑出溜槽30后，经过第一图像采集箱5和第二图像采集箱22的视野进行图像采集后，下落至光电传感器10，光电传感器10检测到信号后通过电信号传导至电气控制箱2内部的驱动控制板，所述驱动控制板经过信息处理再输出电信号给高频电磁阀阵列11控制气路通断，高频电磁阀阵列11通过第一阀板及第一气路与第一喷嘴阵列13和第二喷嘴阵列14连接，进而控制第一喷嘴阵列13和第二喷嘴阵列14喷射气体剔除物料28；喷气挡板17用于为光电传感器10提供遮光，同时阻止喷气导致灰尘扩散。

经过第一喷嘴阵列13剔除的物料28，下落至第二落料板16，第三落料阻挡帘18固定于喷气挡板17下部，保证物料28在第二落料板16后端平滑滚落。

经过第二喷嘴阵列14剔除的物料28，下落至第一落料板15和第二落料板16的后部，第二落料阻挡帘19安装于第一落料板15和第二落料板16后部，约束物料28在第一落料板15和第二落料板16后部掉落范围。

未经过第一喷嘴阵列13、第二喷嘴阵列14剔除的物料28，下落至第一落料板15和第二落料板前部，第一落料阻挡帘12安装于第一落料板15和第二落料板16前部，约束物料28在第一落料板15和第二落料板16前部掉落范围。

机架23外表面安装快拆防护板4，用于提供稳定的光照条件，减少外部光线对内部检测干扰；快拆防护板4采用三角锁快速固定，便于拆卸清洁及内部调试。

机架23一外侧壁上安装电气控制箱2，机架23前部安装显示触控装置3(人机操作界面)用于人员操作。

具体实施方式二：如图2及图7所示，本实施方式是对具体实施方式一作出的进一步说明，所述基于深度学习的自由落体果蔬分选系统还包括两个光学保护窗7，所述两个光学保护窗7分别安装在所述第一图像采集箱5和第二图像采集箱22的左侧面和右侧面。两个光学保护窗7用于保护镜头。

具体实施方式三：如图2及图7所示，本实施方式是对具体实施方式二作出的进一步说明，所述两个光学保护窗7均采用石英玻璃制成。

具体实施方式四：如图2、图8所示，本实施方式是对具体实施方式一作出的进一步说明，所述畚斗27和所述溜槽30的表面均喷涂有特氟龙涂层。可防止物料28表面携带的糖分及杂质长时间累积污染畚斗27，具有易清洁性；溜槽30表面喷涂特氟龙涂层，提供低摩檫力减少物料滚动，同时保证易清洁性。

具体实施方式五：如图2、图4所示，本实施方式是对具体实施方式一作出的进一步说明，所述第一光源背景箱9和所述第二光源背景箱20中均包括：背景LED灯板31、两个导光板安装支架32、导光系统遮光板33、导光板34、透明防护板35、物料灯非球面透镜36、物料灯系统遮光板37、两个物料灯透镜安装支架38、物料灯柱面透镜39、物料LED灯板40、两个铝合金散热灯管41、四个散热风扇42和钣金外壳43，其中，

所述背景LED灯板31固定于其中一个所述铝合金散热灯管41上(并通过硅胶进行导热)，所述导光板34及所述导光系统遮光板33安装于所述两个导光板安装支架32上(采用遮光板避免光线散射及干扰)，所述两个导光板安装支架32分别安装于该其中一个铝合金散热灯管41的两端，所述物料LED灯板40固定于另一个所述铝合金散热灯管41上(并通过硅胶进行导热)，所述物料灯非球面透镜36、所述物料灯系统遮光板37及所述物料灯柱面透镜39安装于所述两个物料灯透镜安装支架38上(采用遮光板避免光线散射及干扰，两个透镜按要求的距离精确放置，保证光线汇聚效率最高)，另一个所述铝合金散热灯管41的两端各安装有一个所述物料灯透镜安装支架38，每个铝合金散热灯管41的两端各安装有一个散热风扇42，所述透明防护板35安装于所述钣金外壳43的端口上(保证透光、隔离灰尘污染)，散热风扇42、铝合金散热灯管41、物料LED灯板40、物料灯系统遮光板37、物料灯透镜安装支架38、物料灯柱面透镜39、物料灯非球面透镜36、背景LED灯板31、导光板安装支架32、导光系统遮光板33、导光板34均设置在钣金外壳43内。

物料灯非球面透镜36、物料灯系统遮光板37及物料灯柱面透镜39和导光板34采用遮光板避免光线散射及干扰，物料灯非球面透镜36和物料灯柱面透镜39按距离精确放置，保证光线汇聚效率最高汇聚在物料28上；透明防护板35安装在钣金外壳43上，保证透光、隔离灰尘污染。

具体实施方式六：如图2、图3所示，本实施方式是对具体实施方式一或五作出的进一步说明，所述电气控制箱2的控制过程是：

两个彩色线扫相机6分别通过GigE总线将各自采集到的图像传输至X86视觉控制器一和X86视觉控制器二，所述X86视觉控制器一和X86视觉控制器二分别通过以太网总线与以太网交换机进行通讯，具体通讯信息为高频电磁阀阵列11启动信息；

FPGA控制器通过以太网总线与所述以太网交换机进行通讯，具体通讯信息为高频电磁阀阵列11启动信息，多路光电传感器将物料28落料到位时触发的光电信号输入给所述FPGA控制器，FPGA控制器输出信号给驱动控制板，所述驱动控制板输出驱动信号给多路高频电磁阀阵列11；

X86视觉控制器一通过VGA总线将显示信息传递到显示触控装置3(触摸显示器)，所述触摸显示器通过USB将触摸位置信号输入至X86视觉控制器一，X86视觉控制器一通过RS232/RS485总线与PLC进行双向传输通讯；具体通讯信息为整机及零部件启动关闭信号、工作状态信号指示、光源光照强度调整等；

PLC输出模拟量信号给LED光源驱动器一和LED光源驱动器二，所述LED光源驱动器一驱动物料LED灯板(用于照射物料28)，LED光源驱动器二驱动背景LED灯板(提供光源背景)，PLC输出开关量信号给直振控制器，所述直振控制器输出电流给直振器25调节振动频率及幅度，气源压力传感器输入开关量信号至PLC，开关输入开关量信号至PLC，PLC输出开关量信号驱动指示灯点亮或熄灭。

具体的，X86视觉控制器一和X86视觉控制器二将UDP命令发送至FPGA，具体由其中的FPGA内嵌式CPU中的UDP命令接受任务处理模块来接收，UDP命令接受任务处理模块将UDP命令发送至AXI总线，AXI总线将每次UDP命令发送到指定通道的FIFO，在本实施方式中，共有四个通道，每次UDP命令发送的数据参数为：电磁阀延迟启动时间D、电磁阀启动持续时间R、延迟误差滞回值E、启动延迟F值传递至FIFO模块；

FIFO模块对AXI总线传输的多组数据流进行缓冲存储，每个单个时钟周期输出一组数据参数：高频电磁阀延迟启动时间D、高频电磁阀启动持续时间R、延迟误差滞回值E、启动延迟F值至喷嘴控制单元。

喷嘴控制单元收到单组数据参数后，在延迟F±E时间区间内，收到光电信号输入触发，延迟启动时间D区间后启动高频电磁阀，持续时间R。

具体实施方式七：如图5、图6、图10所示，本实施方式披露了一种利用具体实施方式六所述的系统实现基于深度学习的自由落体果蔬分选方法，所述方法步骤是：

S101两个彩色线扫相机扫描自由落体运动状态物体，并生成彩色BAYER图像；

S102两个X86视觉控制器通过GigE总线采集彩色BAYER图像片段；

S103两个X86视觉控制器将彩色BAYER图像片段存入图像缓冲层等待调用；

S104两个X86视觉控制器判断彩色BAYER图像片段是否满足图像识别处理条件，如果是则进入步骤S105；否则返回步骤S101；

S105两个X86视觉控制器将彩色BAYER图像片段转化为RGB处理区域后进入步骤S106，同时执行步骤S110；

S106两个X86视觉控制器在将RGB处理区域进行灰度处理；

S107两个X86视觉控制器将经过灰度处理后的图像片段进行高斯模糊处理；

S108两个X86视觉控制器寻找经高斯模糊处理过的图像片段的闭合边界；

S109两个X86视觉控制器通过边界划分待识别物料区域；

S110两个X86视觉控制器载入预训练神经网络，其公式如下：

此处z(u,v)即为神经网络中的每个节点的卷积函数，输入端为n个红枣训练图像(神经元匹配识别目标)用于分类的k种特征向量(每个图像的像素矩阵群)，基于卷积神经网络设计了多个卷积层和池化层交叠的方式进行神经网络构建，并通过预训练神经网络进行辨识获得相应评价参数；

具体的神经网络内部结构及训练过程如图11所示：其中损失函数y’代表实际结果分布系数，y代表神经网络输出结果分布系数，p为每个识别图像的辨识得分；同时在卷积神经网络处理过程中，对各层间的参数拟合过程进行多次迭代，并异化不同卷积层的卷积核个数及大小，卷积层I为32个5×5核，卷积层II和III为64个5×5核，并在各全连接层间参数拟合时设置了优化器，其动态衰减率为β＝min{β,1+num_updates/10+num_updates}；

图11中，输入层为收集到的原始训练图像转化成的特征值矩阵，经过卷积层和池化层的反复迭代训练出卷积和池化后的参数矩阵，并进入全连接层进行深度学习，从而得出整个神经网络结构的参数，依据损失函数决定是否进入下一轮迭代，如果需要则依据优化器调整参数，否则形成输出层系数。

S111两个X86视觉控制器通过参数比对进行瑕疵判断，如果满足分拣条件则进入步骤S112；否则返回步骤S101；

S112两个X86视觉控制器发送UDP命令给FPGA控制器；

S113FPGA控制器内部的CPU模块接收UDP命令，并进行UDP命令的解析及任务处理；

S114FPGA控制器将UDP命令传输至FPGA控制器内的AXI总线；

S115FIFO模块对AXI总线中的UDP命令存储及缓冲；

S116物料触发光电传感器，光电传感器生成信号，并传输信号至喷嘴控制单元；

S117喷嘴控制单元收到光电传感器生成的信号后，运算处理UDP命令(根据UDP是否剔除指令及喷嘴阵列选择进行计算；若UDP剔除指令使能，选择第一喷嘴阵列，则延时D1后输出；若UDP剔除指令使能，选择第二喷嘴阵列，则延时D2后输出；若UDP剔除指令不使能，则不进行输出)；

S118运算结果输出至驱动高频电磁阀，返回步骤S101。

上述方法中，S101～S112步骤为视觉执行程序；S113～S119步骤为FPGA控制分拣程序。

本发明还具有的技术效果是：

(1)本发明增加了通用程序模型，采用深度学习算法，通过前期对人工分选的产品样本进行学习训练，形成与人类相近的主观评判标准的算法程序，

通过预训练程序对果蔬进行识别；

(2)将LED光源(是指物料LED光源)通过复合透镜(是指物料灯柱面透镜39和物料灯非球面透镜36)把大部分光照能量聚焦在图像传感器(是指彩色线扫相机6)狭小的探测区域。采用可编程恒电流驱动器(为驱动LED光源的电源)对LED光源功率进行程序调节。

(3)在高级视觉检测应用领域，采用自由落体分选技术，分离式光学照射系统(是指透镜式LED光源模组)，布置两台彩色线扫相机，对识别物进行双面检测；

(4)采用双排气嘴喷射剔除装置(是指第一喷嘴阵列和第二喷嘴阵列)，三通道集料装置，可进行三类识别分选，满足厂家对不同物料类别细分处理应用要求。

(5)专用高速驱动控制板，采用基于FPGA架构控制电路(如图6)，通过FPGA片内定制化逻辑，结合光电传感器及高频电磁阀，实现物料在高速自由落体状态下精确定位及剔除。

Claims (7)

1.一种基于深度学习的自由落体果蔬分选系统，其特征在于，包括：进料漏斗(1)、电气控制箱(2)、显示触控装置(3)、多块快拆防护板(4)、第一图像采集箱(5)、两个彩色线扫相机(6)、第一光源箱(8)、第一光源背景箱(9)、光电传感器(10)、高频电磁阀阵列(11)、第一落料阻挡帘(12)、两个喷嘴阵列、第一落料板(15)、第二落料板(16)、喷气挡板(17)、第三落料阻挡帘(18)、第二落料阻挡帘(19)、第二光源背景箱(20)、第二光源箱(21)、第二图像采集箱(22)、机架(23)、减震弹簧(24)、直振器(25)、畚斗(27)、理料帘(29)、溜槽(30)；所述两个喷嘴阵列分别是第一喷嘴阵列(13)和第二喷嘴阵列(14)，所述第一喷嘴阵列(13)和第二喷嘴阵列(14)均包括多个喷嘴控制单元；

多块快拆防护板(4)安装于机架(23)外围，由机架(23)和多块快拆防护板(4)组成一个立方体设备外壳，所述设备外壳的上端有一进料口；所述电气控制箱(2)安装于所述设备外壳的外侧壁上，所述显示触控装置(3)安装于所述设备外壳的前侧面上；所述进料漏斗(1)安装于所述进料口处；

所述畚斗(27)倾斜安装于所述进料口下方；所述直振器(25)安装于所述畚斗(27)的底部；所述减震弹簧(24)的两端分别连接所述直振器(25)的底部和机架(23)上；所述溜槽(30)安装于机架(23)内，且所述溜槽(30)的前端与所述畚斗(27)的后端相接；所述理料帘(29)安装于机架(23)内，且竖直设置于所述溜槽(30)的上方；所述光电传感器(10)安装于机架(23)内，且设置于所述溜槽(30)的下方；所述电气控制箱(2)接收所述光电传感器(10)发出的电信号，并对电信号处理后发给所述高频电磁阀阵列(11)；高频电磁阀阵列(11)安装于机架(23)内；所述第一喷嘴阵列(13)设置于所述溜槽(30)的下方，通过第一气路与所述高频电磁阀阵列(11)连接，所述第一气路穿过第一阀板，第一阀板安装在机架(23)上；所述第二喷嘴阵列(14)设置于所述第一喷嘴阵列(13)的下方，通过第二气路与所述高频电磁阀阵列(11)连接，第二气路穿过第二阀板，第二阀板安装在机架(23)上；喷气挡板(17)安装于机架(23)内，且位于所述第一喷嘴阵列(13)的对侧；第二落料板(16)安装于机架(23)内，且设置于第一喷嘴阵列(13)和第二喷嘴阵列(14)之间的对侧，并位于所述喷气挡板(17)的下方，第二落料板(16)的左端向下倾斜设置；第三落料阻挡帘(18)安装于所述喷气挡板(17)的下部；第一落料板(15)安装于机架(23)内，且位于所述第二落料板(16)的下方，所述第一落料板(15)由下凹板和直板构成，下凹板位于直板的右侧，下凹板向右倾斜设置，直板向左下方倾斜设置，下凹板的左端与直板的右端相连，由第二落料板(16)、下凹板和直板组成三通道集料装置，所述第二落料阻挡帘(19)安装于所述第二落料板(16)的下表面，并位于所述第一落料板(15)的左侧；所述第一落料阻挡帘(12)安装于机架(23)内，且位于所述第一落料板(15)的右侧；第一图像采集箱(5)和第二图像采集箱(22)分别安装在机架(23)内前后两端；两个彩色线扫相机(6)分别安装于所述第一图像采集箱(5)和所述第二图像采集箱(22)内；所述第一光源箱(8)和所述第一光源背景箱(9)互呈角度安装于机架(23)内且位于所述溜槽(30)的右侧；所述第二光源箱(21)和所述第二光源背景箱(20)互呈角度安装于机架(23)内且位于所述溜槽(30)的左侧，所述高频电磁阀阵列(11)的进气口处安装有气源压力传感器。

2.根据权利要求1所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述基于深度学习的自由落体果蔬分选系统还包括两个光学保护窗(7)，所述两个光学保护窗(7)分别安装在所述第一图像采集箱(5)和第二图像采集箱(22)的左侧面和右侧面。

3.根据权利要求2所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述两个光学保护窗(7)均采用石英玻璃制成。

4.根据权利要求1所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述畚斗(27)和所述溜槽(30)的表面均喷涂有特氟龙涂层。

5.根据权利要求1所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述第一光源背景箱(9)和所述第二光源背景箱(20)中均包括：背景LED灯板(31)、两个导光板安装支架(32)、导光系统遮光板(33)、导光板(34)、透明防护板(35)、物料灯非球面透镜(36)、物料灯系统遮光板(37)、两个物料灯透镜安装支架(38)、物料灯柱面透镜(39)、物料LED灯板(40)、两个铝合金散热灯管(41)、四个散热风扇(42)和钣金外壳(43)，其中，

所述背景LED灯板(31)固定于其中一个所述铝合金散热灯管(41)上，所述导光板(34)及所述导光系统遮光板(33)安装于所述两个导光板安装支架(32)上，所述两个导光板安装支架(32)分别安装于该其中一个铝合金散热灯管(41)的两端，所述物料LED灯板(40)固定于另一个所述铝合金散热灯管(41)上，所述物料灯非球面透镜(36)、所述物料灯系统遮光板(37)及所述物料灯柱面透镜(39)安装于所述两个物料灯透镜安装支架(38)上，另一个所述铝合金散热灯管(41)的两端各安装有一个所述物料灯透镜安装支架(38)，每个铝合金散热灯管(41)的两端各安装有一个散热风扇(42)，所述透明防护板(35)安装于所述钣金外壳(43)的端口上，散热风扇(42)、铝合金散热灯管(41)、物料LED灯板(40)、物料灯系统遮光板(37)、物料灯透镜安装支架(38)、物料灯柱面透镜(39)、物料灯非球面透镜(36)、背景LED灯板(31)、导光板安装支架(32)、导光系统遮光板(33)、导光板(34)均设置在钣金外壳(43)内。

6.根据权利要求1或5所述的一种基于深度学习的自由落体果蔬分选系统，其特征在于，所述电气控制箱2的控制过程是：

两个彩色线扫相机(6)分别通过GigE总线将各自采集到的图像传输至X86视觉控制器一和X86视觉控制器二，所述X86视觉控制器一和X86视觉控制器二分别通过以太网总线与以太网交换机进行通讯，具体通讯信息为高频电磁阀阵列11启动信息；

FPGA控制器通过以太网总线与所述以太网交换机进行通讯，具体通讯信息为高频电磁阀阵列11启动信息，多路光电传感器将物料28落料到位时触发的光电信号输入给所述FPGA控制器，FPGA控制器输出信号给驱动控制板，所述驱动控制板输出驱动信号给多路高频电磁阀阵列11；

X86视觉控制器一通过VGA总线将显示信息传递到显示触控装置3(触摸显示器)，所述触摸显示器通过USB将触摸位置信号输入至X86视觉控制器一，X86视觉控制器一通过RS232/RS485总线与PLC进行双向传输通讯；

PLC输出模拟量信号给LED光源驱动器一和LED光源驱动器二，所述LED光源驱动器一驱动物料LED灯板，LED光源驱动器二驱动背景LED灯板，PLC输出开关量信号给直振控制器，所述直振控制器输出电流给直振器25调节振动频率及幅度，气源压力传感器输入开关量信号至PLC，开关输入开关量信号至PLC，PLC输出开关量信号驱动指示灯点亮或熄灭。

7.一种利用权利要求6的分选系统实现基于深度学习的自由落体果蔬分选方法，其特征在于，包括如下步骤：

S101两个彩色线扫相机扫描自由落体运动状态物体，并生成彩色BAYER图像；

S102两个X86视觉控制器通过GigE总线采集彩色BAYER图像片段；

S103两个X86视觉控制器将彩色BAYER图像片段存入图像缓冲层等待调用；

S104两个X86视觉控制器判断彩色BAYER图像片段是否满足图像识别处理条件，如果是则进入步骤S105；否则返回步骤S101；

S105两个X86视觉控制器将彩色BAYER图像片段转化为RGB处理区域后进入步骤S106，同时执行步骤S110；

S106两个X86视觉控制器在将RGB处理区域进行灰度处理；

S107两个X86视觉控制器将经过灰度处理后的图像片段进行高斯模糊处理；

S108两个X86视觉控制器寻找经高斯模糊处理过的图像片段的闭合边界；

S109两个X86视觉控制器通过边界划分待识别物料区域；

S110两个X86视觉控制器载入预训练神经网络，公式如下：

此处z(u,v)即为神经网络中的每个节点的卷积函数，输入端为n个红枣训练图像(神经元匹配识别目标)用于分类的k种特征向量(每个图像的像素矩阵群)，基于卷积神经网络设计了多个卷积层和池化层交叠的方式进行神经网络构建，并通过预训练神经网络进行辨识获得相应评价参数；

S111两个X86视觉控制器通过参数比对进行瑕疵判断，如果满足分拣条件则进入步骤S112；否则返回步骤S101；

S112两个X86视觉控制器发送UDP命令给FPGA控制器；

S113FPGA控制器内部的CPU模块接收UDP命令，并进行UDP命令的解析及任务处理；

S114FPGA控制器将UDP命令传输至FPGA控制器内的AXI总线；

S115FIFO模块对AXI总线中的UDP命令存储及缓冲；

S116物料触发光电传感器，光电传感器生成信号，并传输信号至喷嘴控制单元；

S117喷嘴控制单元收到光电传感器生成的信号后，运算处理UDP命令；

S118运算结果输出至驱动高频电磁阀，返回步骤S101。