CN113128578A - 一种花生优良种子筛选系统及其筛选方法 - Google Patents

一种花生优良种子筛选系统及其筛选方法 Download PDF

Info

Publication number
CN113128578A
CN113128578A CN202110377219.3A CN202110377219A CN113128578A CN 113128578 A CN113128578 A CN 113128578A CN 202110377219 A CN202110377219 A CN 202110377219A CN 113128578 A CN113128578 A CN 113128578A
Authority
CN
China
Prior art keywords
peanut
seed
thread
screening
roller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110377219.3A
Other languages
English (en)
Other versions
CN113128578B (zh
Inventor
员玉良
孙祥宸
王东伟
王家胜
徐鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Agricultural University
Original Assignee
Qingdao Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Agricultural University filed Critical Qingdao Agricultural University
Priority to CN202110377219.3A priority Critical patent/CN113128578B/zh
Publication of CN113128578A publication Critical patent/CN113128578A/zh
Application granted granted Critical
Publication of CN113128578B publication Critical patent/CN113128578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/363—Sorting apparatus characterised by the means used for distribution by means of air
    • B07C5/365—Sorting apparatus characterised by the means used for distribution by means of air using a single separation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种花生优良种子筛选系统及其筛选方法，所述筛选系统包括振动排种器、电机、传送皮带、摄像头、气动喷头和种子收集仓等，在两组组摄像头之间设置翻转装置，以全方位抓取花生种子立体截面图像，经过分析处理后，通过气动喷头将劣质花生吹入劣质种子收集仓内，而优质花生种子则进入优质种子收集仓。所述筛选方法采用嵌入式神经网络，构建并训练神经网络分类模型，并结合多线程事件处理对花生种子进行筛选，实现“测‑采‑吹”时序的有效配合，结合气动喷头筛选劣质花生，实现快速分拣，有效提高系统自主性、稳定性，能够精确检测每个花生的所有表皮，不再需要人工识别和分拣，受主观因素影响小，且识别速度快精度高。

Description

一种花生优良种子筛选系统及其筛选方法
技术领域
本发明涉及花生种子筛选领域，具体涉及一种花生优良种子筛选系统及其筛选方法。
背景技术
种子对农业生产的重要性不言而喻。为了增加花生生产的丰收率和提高其种植效率，有必要准确、快速地对不同花生品种、干瘪程度、大小、有无褶皱、是否破损进行分拣。
现有技术中，多有对种子筛选的技术方案，如授权公告号为【CN 110802023 B】的发明专利公开一种农作物种子精选方法，采用倾角调节装置能够实现作业过程中筛面倾角的动态调节，利于物料筛分和筛面残留物的有效清除；申请公布号为【CN 110575973 A】的发明专利公开一种农作物种子品质检测与筛选系统，其根据基于卷积神经网络构建的种子识别模型对接收的种子图像进行种子识别和分类，并输出控制信号至漏料控制电机和机械抓手。
但是现有技术中，种子筛选系统比较复杂，且鲜有专门针对花生的筛选方案，现存的花生种子筛选系统能智能识别静态的花生种子，虽存在CCD/CMOS装置，但是造价高昂，超出大多数企业的购买能力，且在识别和分拣效率上也存在一定的缺陷；为此，亟待提出一种结构设计简单、成本低廉且分拣效率高的新的技术方案，实现对花生种子的快速筛选。
发明内容
本发明为解决现有技术中存在的缺陷，提出一种花生优良种子筛选系统及方法，适用于各类花生种子的快速识别，节约人力物力，且可靠性高、自动化程度高。
本发明是采用以下的技术方案实现的：一种花生优良种子筛选系统，包括支架、振动排种器、传送皮带、主控箱和触摸显示屏，传送皮带设置在支架上，还包括气动喷头、劣质种子收集仓和优良种子收集仓；
所述振动排种器与主控箱电连接，设置在传送皮带的一端，优良种子收集仓设置在传送皮带的另一端，传送皮带的中间设置有翻转装置，以实现对所传送的花生种子的翻转，气动喷头和劣质种子收集仓相对设置在传送皮带的两侧，传送皮带的上方还设置有红外传感器、第一组摄像头、第二组摄像头，第一组摄像头、第二组摄像头位于翻转装置的两侧。
进一步的，所述翻转装置包括第一滚轮、第二滚轮和第三滚轮，传送皮带环绕在该三个滚轮上，第一滚轮设置在传送皮带的前端，第三滚轮设置在传送皮带的尾端，第二滚轮设置在第一滚轮和第三滚轮之间，且第二滚轮的高度高于第一滚轮和第三滚轮的高度，第三滚轮通过传动链条与一电机相连，所述电机与主控箱相连。
进一步的，所述振动排种器的出口处设置有排种刷，所述排种刷呈喇叭口状设置在振动排种器的出口，花生种子通过振动排种器，经排种刷后均匀单行输送到传送皮带上。
本发明另外还提出一种花生优良种子筛选方法，包括以下步骤：
步骤D1：采集高速运动下的花生种子的视频帧作为训练数据集；
步骤D2：对所述训练数据集进行预处理：
步骤D21：将采集的训练数据集中的每张图像的大小统一缩放为(224，224)格式大小，并将图像的每一个像素值乘以1/255，使每一个数值都处于0～1之间，获得预处理后的图像数据集；
步骤D22：采用随机旋转、逆时针方向裁剪、水平偏移的数据增强方法扩充训练数据集，得到预处理后的训练数据；
步骤D3：建立神经网络分类模型并针对花生种子筛选进行优化，将步骤D2预处理后的训练数据集输入到神经网络分类模型中进行分类训练，得到训练后的神经网络分类模型；
步骤D4：基于TensorFlow Lite解释器在嵌入式Linux设备上运行训练后的神经网络分类模型，并通过TensorFlow Lite转换器实现模型优化；
步骤D5：以摄像头实时采集的花生种子视频帧数据作为输入，基于多线程事件处理，进行TFLite神经网络推理，输出分类结果，完成花生种子筛选。
进一步的，所述步骤D1中，对采集的花生种子的原始图像进行标注类标签，将标注后的花生种子的原始图像分为训练集和数据集；
对花生种子原始图像标注类标签，所述类标签包括优良、破损和干瘪三种，将优良花生种子图像、破损花生种子图像和干瘪花生种子图像分别放入三个文件夹，采用one-hot编码方式，将优良花生种子图像所在文件夹编码为0，破损花生种子图像所在文件夹编码为1，干瘪花生种子图像所在文件夹编码为2。
进一步的，所述步骤D3中所构建的神经网络分类模型采用改进轻量型卷积神经网络s-mobilenetv1，并对网络的深度参数d、宽度参数w和分辨率参数r进行融合调节：
首先对神经网络进行网格搜索，得到网络深度、宽度和分辨率维度之间的比例系数，并应用该比例系数扩大基线网格；
然后调节深度参数d、宽度参数w和分辨率参数r对应值达到模型的最优泛化效果：
Figure BDA0003011353880000021
其中，S为s-mobilenetv1分类网络，X为输入，i表示结构相同卷积层的序号，共s个，Fi为基础网络的层数，Li为网络长度，Ci为网络宽度，Hi、Wi表示分辨率，
Figure BDA0003011353880000022
对应的表示其估计值。
进一步的，所述步骤D3中，在进行网格搜索时，限制深度参数d、宽度参数w和分辨率参数r的底值为1，优化后得到的深度参数d、宽度参数w和分辨率参数r的对应值分别为d＝1.4、w＝1.2、r＝1.3。
进一步的，所述步骤D3中，在改进轻量型卷积神经网络s-mobilenetv1中，采用dropout方法与全连接层的输入端连接，将卷积层中的dropout值预设为0.5，所述全连接层中采用sigmoid激活函数，输出层采用softmax分类器得到输入的视频帧图像所对应的花生种子分类结果。
进一步的，所述步骤D4中，通过TensorFlow Lite转换器将tensorflow模型转换为压缩平面缓冲区，得到压缩的.tflite文件，将其加载到嵌入式设备中，并通过将32位浮点数转换为8位整数进行量化实现模型的优化。
进一步的，所述步骤D5中，采用多线程事件处理对花生种子进行筛选，使用Python3多线程模块，创建一个队列，所述队列包括线程Ⅰ、线程Ⅱ、线程Ⅲ、线程Ⅳ、线程Ⅴ、线程Ⅵ和线程Ⅶ，具体的：
所述线程Ⅰ通过RTSP协议从视频流中读取每一帧，放入队列中，线程Ⅱ从队列中将线程Ⅰ中读取的每一帧图片取出，放入队列中，若线程Ⅰ发现队列有未被线程Ⅱ读取的图片，说明线程Ⅱ的读取速度跟不上线程Ⅰ，则线程Ⅰ主动删除队列中未被读取的图片，更换新图片；
所述线程Ⅱ读取到的视频流，继续放入队列中，线程Ⅲ将视频流进行解码处理，并经过预处理设置图片输出大小，创建Gstreamer组件进行图像选择将没处理的图像进行丢弃；
所述线程Ⅳ将处理后的图像进行批量管理，作为模型的输入；
所述线程Ⅴ对线程Ⅳ的图像通过TFlite神经网络推理；
所述线程Ⅵ根据输出推理结果进行判断，根据不同分类结果筛选设备做出相应的筛选动作；
所述线程Ⅶ将输出结果显示在屏幕上，保存处理结果日志。
与现有技术相比，本发明的优点和积极效果在于：
本方案设置有两组摄像头分翻滚装置，实现花生种子的完整表皮特征信息采集，采用多参数融合调节，在模型参数和计算量满足限制条件下最大化网络准确率；结合红外传感器检测，去除终端服务器目标检测算法，提高识别速度；并且使用多线程事件处理对花生种子进行筛选，解决多摄像头输入有延时卡顿、读取速度低于视频流的输出速度的问题，实现“测-采-吹”时序的有效配合，结合气动喷头筛选劣质花生，实现快速分拣，有效提高系统自主性、稳定性。
附图说明
图1为本发明实施例1花生优良种子筛选系统的原理框图；
图2为本发明实施例1花生优良种子筛选系统的结构示意图；
图3为图2中振动排种器结构原理示意图；
图4为图2中所述排种刷的局部放大结构示意图；
图5为图2中所述气动喷头的局部放大结构示意图；
图6为本发明实施例2所述筛选方法的流程示意图；
图7为本发明实施例2所述多线程事件处理流图；
其中：1、振动排种器；2、主体支架；3、第一组摄像头；4、劣质种子收集仓；5、第二组摄像头；6、优良种子收集仓；7、第三滚轮；8、传动链条；9、电机；10、气动喷头；11、主控箱；12、传送皮带；13、第二滚轮；14、触摸显示屏；15、红外传感器；16、排种刷；17、花生；18、送种轨道；19、板弹簧；20、衔铁；21、电磁铁；22、底座；23、减震橡胶垫。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。
实施例1、一种花生优良种子筛选系统，如图2所示，包括振动排种器1、传送皮带12、气动喷头10、劣质种子收集仓4和优良种子收集仓6；传送皮带12设置在支架上，支架上还设置有主控箱11和触摸显示屏14，振动排种器1设置在传送皮带12的一端，优良种子收集仓6设置在传送皮带12的另一端，气动喷头10和劣质种子收集仓4相对设置在传送皮带12的两侧，传送皮带12的上方还设置有两组摄像头；
传送皮带12环绕在三个滚轮上(第一滚轮、第二滚轮13和第三滚轮7)，第一滚轮设置在传送皮带12的前端，第三滚轮7设置在传送皮带12的尾端(所述的尾端和前端以花生17传送方向为准，定义振动排种器端为前端)，第二滚轮13设置在第一滚轮和第三滚轮7之间，且第二滚轮的高度高于第一滚轮和第三滚轮7的高度，两组摄像头(第一组摄像头3和第二组摄像头5)设置在第二滚轮13的左右两侧，比如，本实施例中，第一组摄像头3安装在距轨道前端30cm处，第二组摄像头5位于第一组摄像头3后30cm处；第三滚轮7通过传动链条8与电机9相连，第三滚轮7通过电机9控制转动，第三滚轮7通过传送皮带12带动第一滚轮和第二滚轮13，通过第二滚轮13与第一滚轮和第三滚轮7的高度差实现花生的翻转(因为存在一定的坡度，花生会在重力作用下翻转)，两组摄像头的抓拍实现对花生种子翻面前后的四组照片对花生进行全方位检测。
本实施例中，为了保证待筛选花生种子在传送皮带12上单队列传输，在振动排种器1的出口处设置有排种刷16，花生种子通过振动排种器1后均匀单行输送到传送皮带12上。
如图3所示，为本发明实施例花生优良种子筛选系统的振动排种器1的结构原理示意图，所述振动排种器为圆盘式电磁振动送料装置，由驱动装置和振动盘组成，本实施例以最下端振动盘为例进行介绍，首先，给振动盘接入220V的交流电，交流电通过半波整流器后，电压直接输入到电磁铁21上的线圈中，此时电磁铁21会产生磁性，带动衔铁20高频往复移动。同时，在有倾斜角的板弹簧19作用下，斜面送夹轨道18会高频往复移动，花生种子17会受到惯性力和摩擦力，从而使花生在轨道上向前输送，振动排种器1的底部设置有底座22，底座22上设置有减震橡胶垫23。
如图2和图4所示，第一组摄像头3和第二组摄像头5通过安装支架安装在传送皮带12上，安装支架上设置有2*5cm条形安装槽位，摄像头成45°夹角，安装于传送皮带中心线正上方40cm处，第二组摄像头安装方式同第一组摄像头，每组摄像头包括两个摄像头，相对安装在传送皮带12的两侧，所述安装支架的高度可调，且在安装支架上设置有红外传感器15，以感应花生是否经过，触发摄像头进行拍照，红外传感器15外侧带有螺纹，通过两个自锁螺母固定在安装支架上。如图5所示，所述气动喷头10通过电磁阀与高压气泵相连，气动喷头10为万向竹节管，可调节多个角度。
本实施例所述花生种子的筛选原理为：
花生种子由振动排种器均匀排出，当花生种子经过并触发红外传感器时，终端服务器命令第一组摄像头采集视频流并进行处理决策，当种子经过第二滚轮后翻面，种子到达第二组摄像头时再次触发红外传感器，若第一次决策为优良种子，终端服务器再次命令高速摄像头采集视频流并进行处理决策。若第一次识别为坏种则不命令摄像头采集视频流。第一次检测为劣质种子或第二次检测为劣质种子都将开启气动喷头将种子吹入劣质种子收集仓，若两次检测都为优良种子将被传送至传送皮带末端，进入优良种子收集仓，实现花生优良种子的智能化与自动化筛选，并生成筛选报告显示到触摸显示屏上。
实施例2，基于实施例1所提出的花生优良种子筛选系统，本实施例提出一种基于轻量型神经网络的花生优良种子筛选方法，通过将花生图片输入神经网络提取特征值进行比对，得到花生识别的结果、配合振动排种器、传送皮带、气动喷头实现对不同花生品种、干瘪程度、大小、有无褶皱、是否破损的分拣，具体的，如图6所示，包括以下步骤：
步骤D1：采集高速运动下的花生种子的视频帧作为训练数据集；
步骤D2：对所述训练数据进行预处理；
步骤D3：建立神经网络分类模型并针对花生种子筛选进行优化，将步骤D2预处理后的训练数据集输入到神经网络分类模型中进行分类训练，得到训练后的神经网络分类模型；
步骤D4：使用TensorFlow Lite解释器在嵌入式Linux设备上运行训练后的神经网络分类模型，并通过TensorFlow Lite转换器实现模型优化。
步骤D5：以摄像头实时采集的花生种子视频帧数据作为输入，多线程事件处理，进行TFLite神经网络推理，输出分类结果，完成相应筛选动作，将筛选结果输出到显示屏并保存处理结果日志，实现花生优良种子的自动化筛选。
具体的，在步骤D1中，采用高速摄像头固定于传送皮带不同方位进行视频数据采集，分别抓取花生种子四个截面原始图像，实现花生种子全方位检测，以保证采集花生种子的完整立体图像，实现准确、高质量的筛选。
对花生种子的原始图像进行标注类标签，将标注后的花生种子的原始图像按照4：1的比例分为训练集和数据集。对花生种子原始图像进行人工标注类标签，类标签为优良、破损和干瘪，将优良花生种子图像、破损花生种子图像和干瘪花生种子图像分别放入三个文件夹，采用one-hot编码方式，将优良花生种子图像所在文件夹编码为0，破损花生种子图像所在文件夹编码为1，干瘪花生种子图像所在文件夹编码为2。
步骤D2中，对所述训练数据进行预处理具体通过以下方式：
步骤D21：步骤D1采集的训练数据集中的每张图像的大小统一缩放为(224,224)的大小，并将图像的每一个像素值乘以1/255，使每一个数值都处于0～1之间，获得预处理后的图像数据集；
步骤D22：采用随机旋转15°、45°、90°、逆时针方向裁剪、水平偏移的数据增强方法扩充训练数据，得到完成预处理的训练数据。
步骤D3中，本实施例构建改进轻量型卷积神经网络s-mobilenetv1，通过优化网络宽度、网络深度和网络分辨率减少模型参数量和计算量，单独对分类网络的3个维度(宽度、深度、分辨率)可提升模型效果，上限也相对明显，准确度达到80％后提升空间较小，因此本实施例对网络的深度参数(d)、宽度参数(w)和分辨率参数(r)进行融合调节，在模型参数和计算量满足限制条件下最大化网络准确率，具体如表1所示：
表1 s-mobilenetv1神经网络结构
Figure BDA0003011353880000061
Figure BDA0003011353880000071
在对深度参数(d)、宽度参数(w)和分辨率参数(r)融合调节时，具体采用以下方式：
首先对mobilenetv1进行网格搜索，得到各维度之间的比例系数，应用该系数扩大基线网格，达到对花生种子筛选的期望模型大小，有效提高图像集精度；其中，所述网格搜索，限制各参数的底值为1，减少网格搜索时的计算量，方便计算每秒浮点运算次数。所述每秒浮点运算次数取决于d、w、r的改变，其改变值随倍数增长，d增加两倍每秒浮点运算次数也增加两倍，w、r则会改变输入输出通道的数量，w、r增加两倍，每秒浮点运算次数增加4倍，通过改变d、w、r对应值达到模型的最优泛化效果。
在进行最优泛化效果的计算时，通过model scaling算法进行计算，d、w、r分别为待优化参数，S为s-mobilenetv1分类网络，X为输入，Fi为基础网络的层数，Li为结构第i层中的重复数量，计算公式如下所示：
Figure BDA0003011353880000072
其中，i表示结构相同卷积层的序号，共s个，Ci为网络宽度，Hi、Wi表示分辨率，
Figure BDA0003011353880000073
对应的表示Fi、Li、Ci、Hi、Wi的估计值。
针对花生种子筛选模型，本实施例中，通过计算，s-mobilenetv1分类网络中待优化参数d＝1.4、w＝1.2、r＝1.3可达到分类模型的最佳泛化效果。
另外，所述改进轻量型卷积神经网络s-mobilenetv1中使用dropout方法与全连接层的输入端连接，将卷积层中的dropout值预设为0.5，降低神经网络的过拟合现象，所述全连接层中使用sigmoid激活函数，输出层使用softmax分类器得到输入的视频帧图像所对应的花生种子分类结果。
所述步骤D4中，使用TensorFlow Lite解释器在嵌入式Linux设备上使用训练后的神经网络分类模型，通过TensorFlow Lite转换器将TensorFlow模型转换为高效形式以供解释器使用，并引入优化以减小二进制文件的大小和提高性能。在PC端训练好模型之后，使用TensorFlow Lite转换器将tensorflow模型转换为压缩平面缓冲区，将得到压缩的.tflite文件加载到嵌入式设备Raspberry Pi 4b中，并通过将32位浮点数转换为更高效的8位整数进行量化实现模型的优化。
所述步骤D5中，为解决多摄像头输入有延时卡顿、读取速度低于视频流的输出速度问题，使用多线程事件处理对花生种子进行筛选，开启七个线程分别负责处理一件事情，并输出到队列中，传给下一线程，主线程负责管理所有线程，如图7所示：
所述解决延时卡顿问题，使用Python3多线程模块，创建一个队列，线程Ⅰ通过RTSP协议从视频流中读取每一帧，放入队列中，线程Ⅱ从队列中将线程Ⅰ中读取的每一帧图片取出，放入队列中，若线程Ⅰ发现队列有未被线程Ⅱ读取的图片，则线程Ⅰ主动删除队列中未被读取的图片，更换新图片，保证线程Ⅱ始终读取的最新的画面，降低延时；
所述线程Ⅱ读取到的视频流，继续放入队列中，线程Ⅲ将视频流进行解码处理，并经过预处理设置图片输出大小，创建Gstreamer组件进行图像选择将没处理的图像进行丢弃，有效解决逐帧处理的问题，增快线程运行速度；
所述线程Ⅳ将处理后的图像进行批量管理，作为模型的输入；
所述线程Ⅴ对线程Ⅳ的图像通过TFlite神经网络推理；
所述线程Ⅵ根据输出推理结果进行判断，根据不同分类结果筛选设备做出相应的筛选动作；
所述线程Ⅶ将输出结果显示在屏幕上，保存处理结果日志；
所述主线程负责管理所有线程，实现“测-采-吹”时序的有效配合，有效提高系统自主性、稳定性。
为了进一步验证本方案方法的有效性，本实施例对ZT-15号花生种子进行破损、干瘪测试：具体测试时，共采集数据集1612张，其中：破损花生种子506张，优良花生种子869张，干瘪花生种子237张。按照数据集4：1的比例共选取322张测试集进行模型预测，测试结果显示模型预测准确度高达99.0683％。并随机抽取270粒花生种子(195粒优良花生种子，45粒破损花生种子，30粒干瘪花生种子)进行识别准确率及识别速度测试，测试结果如表2所示：
Figure BDA0003011353880000081
Figure BDA0003011353880000091
可见本发明方案能够实现各类花生种子的快速识别，平均1s筛选8.3粒花生种子，并且保证识别精度，有效节约人力物力，可靠性高、自动化程度高。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种花生优良种子筛选系统，包括支架、振动排种器(1)、传送皮带(12)、主控箱(11)和触摸显示屏(14)，传送皮带(12)设置在支架上，其特征在于，还包括气动喷头(10)、劣质种子收集仓(4)和优良种子收集仓(6)；
所述振动排种器(1)与主控箱(11)电连接，设置在传送皮带(12)的一端，优良种子收集仓(6)设置在传送皮带(12)的另一端，传送皮带(12)的中间设置有翻转装置，以实现对所传送的花生种子的翻转，气动喷头(10)和劣质种子收集仓(4)相对设置在传送皮带(12)的两侧，传送皮带(12)的上方还设置有红外传感器(15)、第一组摄像头(3)、第二组摄像头(5)，第一组摄像头(3)、第二组摄像头(5)位于翻转装置的两侧。
2.根据权利要求1所述的花生优良种子筛选系统，其特征在于：所述翻转装置包括第一滚轮、第二滚轮(13)和第三滚轮(7)，传送皮带(12)环绕在该三个滚轮上，第一滚轮设置在传送皮带(12)的前端，第三滚轮(7)设置在传送皮带(12)的尾端，第二滚轮(13)设置在第一滚轮和第三滚轮(7)之间，且第二滚轮的高度高于第一滚轮和第三滚轮(7)的高度，第三滚轮(7)通过传动链条(8)与一电机(9)相连，所述电机(9)与主控箱(11)相连。
3.根据权利要求1所述的花生优良种子筛选系统，其特征在于：所述振动排种器(1)的出口处设置有排种刷(16)，所述排种刷(16)呈喇叭口状设置在振动排种器的出口，花生种子通过振动排种器(1)，经排种刷(16)后均匀单行输送到传送皮带(12)上。
4.一种花生优良种子筛选方法，其特征在于，包括以下步骤：
步骤D1：采集高速运动下的花生种子的视频帧作为训练数据集；
步骤D2：对所述训练数据集进行预处理：
步骤D21：将采集的训练数据集中的每张图像的大小统一缩放为(224，224)格式大小，并将图像的每一个像素值乘以1/255，使每一个数值都处于0～1之间，获得预处理后的图像数据集；
步骤D22：采用随机旋转、逆时针方向裁剪、水平偏移的数据增强方法扩充训练数据集，得到预处理后的训练数据；
步骤D3：建立神经网络分类模型并针对花生种子筛选进行优化，将步骤D2预处理后的训练数据集输入到神经网络分类模型中进行分类训练，得到训练后的神经网络分类模型；
步骤D4：基于TensorFlowLite解释器在嵌入式Linux设备上运行训练后的神经网络分类模型，并通过TensorFlowLite转换器实现模型优化；
步骤D5：以摄像头实时采集的花生种子视频帧数据作为输入，基于多线程事件处理，进行TFLite神经网络推理，输出分类结果，完成花生种子筛选。
5.根据权利要求8所述的花生优良种子筛选方法，其特征在于：所述步骤D1中，对采集的花生种子的原始图像进行标注类标签，将标注后的花生种子的原始图像分为训练集和数据集；
对花生种子原始图像标注类标签，所述类标签包括优良、破损和干瘪三种，将优良花生种子图像、破损花生种子图像和干瘪花生种子图像分别放入三个文件夹，采用one-hot编码方式，将优良花生种子图像所在文件夹编码为0，破损花生种子图像所在文件夹编码为1，干瘪花生种子图像所在文件夹编码为2。
6.根据权利要求4所述的花生优良种子筛选方法，其特征在于：所述步骤D3中所构建的神经网络分类模型采用改进轻量型卷积神经网络s-mobilenetv1，并对网络的深度参数d、宽度参数w和分辨率参数r进行融合调节：
首先对神经网络进行网格搜索，得到网络深度、宽度和分辨率维度之间的比例系数，并应用该比例系数扩大基线网格；
然后调节深度参数d、宽度参数w和分辨率参数r对应值达到模型的最优泛化效果：
Figure FDA0003011353870000021
其中，S为s-mobilenetv1分类网络，X为输入，i表示结构相同卷积层的序号，共s个，Fi为基础网络的层数，Li为网络长度，Ci为网络宽度，Hi、Wi表示分辨率，
Figure FDA0003011353870000022
对应的表示其估计值。
7.根据权利要求6所述的花生优良种子筛选方法，其特征在于：所述步骤D3中，在进行网格搜索时，限制深度参数d、宽度参数w和分辨率参数r的底值为1，优化后得到的深度参数d、宽度参数w和分辨率参数r的对应值分别为d＝1.4、w＝1.2、r＝1.3。
8.根据权利要求6所述的花生优良种子筛选方法，其特征在于：所述步骤D3中，在改进轻量型卷积神经网络s-mobilenetv1中，采用dropout方法与全连接层的输入端连接，将卷积层中的dropout值预设为0.5，所述全连接层中采用sigmoid激活函数，输出层采用softmax分类器得到输入的视频帧图像所对应的花生种子分类结果。
9.根据权利要求6所述的花生优良种子筛选方法，其特征在于：所述步骤D4中，通过TensorFlowLite转换器将tensorflow模型转换为压缩平面缓冲区，得到压缩的.tflite文件，将其加载到嵌入式设备中，并通过将32位浮点数转换为8位整数进行量化实现模型的优化。
10.根据权利要求4所述的花生优良种子筛选方法，其特征在于：所述步骤D5中，采用多线程事件处理对花生种子进行筛选，使用Python3多线程模块，创建一个队列，所述队列包括线程Ⅰ、线程Ⅱ、线程Ⅲ、线程Ⅳ、线程Ⅴ、线程Ⅵ和线程Ⅶ，具体的：
所述线程Ⅰ通过RTSP协议从视频流中读取每一帧，放入队列中，线程Ⅱ从队列中将线程Ⅰ中读取的每一帧图片取出，放入队列中，若线程Ⅰ发现队列有未被线程Ⅱ读取的图片，说明线程Ⅱ的读取速度跟不上线程Ⅰ，则线程Ⅰ主动删除队列中未被读取的图片，更换新图片；
所述线程Ⅱ读取到的视频流，继续放入队列中，线程Ⅲ将视频流进行解码处理，并经过预处理设置图片输出大小，创建Gstreamer组件进行图像选择将没处理的图像进行丢弃；
所述线程Ⅳ将处理后的图像进行批量管理，作为模型的输入；
所述线程Ⅴ对线程Ⅳ的图像通过TFlite神经网络推理；
所述线程Ⅵ根据输出推理结果进行判断，根据不同分类结果筛选设备做出相应的筛选动作；
所述线程Ⅶ将输出结果显示在屏幕上，保存处理结果日志。
CN202110377219.3A 2021-04-08 2021-04-08 一种花生优良种子筛选方法 Active CN113128578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377219.3A CN113128578B (zh) 2021-04-08 2021-04-08 一种花生优良种子筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377219.3A CN113128578B (zh) 2021-04-08 2021-04-08 一种花生优良种子筛选方法

Publications (2)

Publication Number Publication Date
CN113128578A true CN113128578A (zh) 2021-07-16
CN113128578B CN113128578B (zh) 2022-07-19

Family

ID=76775286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377219.3A Active CN113128578B (zh) 2021-04-08 2021-04-08 一种花生优良种子筛选方法

Country Status (1)

Country Link
CN (1) CN113128578B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820322A (zh) * 2021-10-20 2021-12-21 河北农业大学 一种用于种子外观品质的检测装置及方法
CN114937077A (zh) * 2022-04-22 2022-08-23 南通荣华包装材料有限公司 一种花生种子筛选方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104084379A (zh) * 2014-06-04 2014-10-08 中国农业大学 一种玉米种子图像精选装置及其使用方法
CN106896111A (zh) * 2017-03-28 2017-06-27 华南农业大学 一种基于机器视觉的马铃薯外部品质智能检测系统
AU2018102037A4 (en) * 2018-12-09 2019-01-17 Ge, Jiahao Mr A method of recognition of vehicle type based on deep learning
CN111582401A (zh) * 2020-05-15 2020-08-25 中原工学院 一种基于双分支卷积神经网络的向日葵种子分选方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104084379A (zh) * 2014-06-04 2014-10-08 中国农业大学 一种玉米种子图像精选装置及其使用方法
CN106896111A (zh) * 2017-03-28 2017-06-27 华南农业大学 一种基于机器视觉的马铃薯外部品质智能检测系统
AU2018102037A4 (en) * 2018-12-09 2019-01-17 Ge, Jiahao Mr A method of recognition of vehicle type based on deep learning
CN111582401A (zh) * 2020-05-15 2020-08-25 中原工学院 一种基于双分支卷积神经网络的向日葵种子分选方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820322A (zh) * 2021-10-20 2021-12-21 河北农业大学 一种用于种子外观品质的检测装置及方法
CN113820322B (zh) * 2021-10-20 2023-12-26 河北农业大学 一种用于种子外观品质的检测装置及方法
CN114937077A (zh) * 2022-04-22 2022-08-23 南通荣华包装材料有限公司 一种花生种子筛选方法

Also Published As

Publication number Publication date
CN113128578B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN113128578B (zh) 一种花生优良种子筛选方法
CN109794437B (zh) 基于计算机视觉的智能分拣系统
CN106238342B (zh) 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法
CN202984135U (zh) 一种马铃薯智能分选装置
CN206139527U (zh) 全景视觉马铃薯分选和缺陷检测装置
CN100569389C (zh) 一种穗状水果分级装置
CN111862028B (zh) 基于深度相机和深度学习的木材缺陷检测分选装置及方法
CN107185858B (zh) 一种果品检测分级系统和方法
CN111215342A (zh) 工业垃圾分类分拣系统
CN110711721B (zh) 一种识别运输装置、物料识别运输方法及工业机器人
CN201150919Y (zh) 基于视觉识别的颗粒物料分选分级装置
CN103434830A (zh) 适用于小型农产品智能分选机的多通道输送装置及方法
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
WO1991004803A1 (en) Classifying and sorting of objects
CN109261527A (zh) 一种咖啡豆分级机及分级方法
CN110651815A (zh) 基于视频图像感知的自动分鱼系统及装置
CN111438072A (zh) 一种称重产品分拣设备
CN215613350U (zh) 一种花生种子品质筛选装置
CN208513101U (zh) 一种双面视觉检测芒果分级装置
CN206153160U (zh) 一种类球形农产品输送分级装置
CN204685517U (zh) 一种冬枣分选装置
CN113245222A (zh) 一种三七异物视觉实时检测分拣系统及分拣方法
CN209550027U (zh) 基于计算机视觉的一次性纸尿裤智能分拣系统
CN217250743U (zh) 一种羽毛检测分拣设备
CN209271938U (zh) 一种红枣挑选机的改进装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant