CN113996545A - 一种基于计算机视觉的三七主根快速分选生产线 - Google Patents
一种基于计算机视觉的三七主根快速分选生产线 Download PDFInfo
- Publication number
- CN113996545A CN113996545A CN202111393186.8A CN202111393186A CN113996545A CN 113996545 A CN113996545 A CN 113996545A CN 202111393186 A CN202111393186 A CN 202111393186A CN 113996545 A CN113996545 A CN 113996545A
- Authority
- CN
- China
- Prior art keywords
- conveying device
- pseudo
- computer vision
- panax notoginseng
- ginseng
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000003143 Panax notoginseng Nutrition 0.000 title claims abstract description 84
- 241000180649 Panax notoginseng Species 0.000 title claims abstract description 84
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 16
- 235000003181 Panax pseudoginseng Nutrition 0.000 claims abstract description 88
- 244000131316 Panax pseudoginseng Species 0.000 claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 73
- 230000007246 mechanism Effects 0.000 claims abstract description 45
- 239000012535 impurity Substances 0.000 claims abstract description 23
- 210000001503 joint Anatomy 0.000 claims abstract description 4
- 239000000463 material Substances 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000007599 discharging Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 8
- 238000005303 weighing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Sorting Of Articles (AREA)
Abstract
本发明公开了一种基于计算机视觉的三七主根快速分选生产线，属于农产品检测分级技术领域，包括除杂上料装置、计算机视觉检测机构、分拣机构、输送装置、控制系统，输送装置对接安装在除杂上料装置末端，计算机视觉检测机构安装在输送装置的机架上，分拣机构安装在输送装置的机架上，处于计算机视觉检测机构后方，控制系统安装在输送装置的机架上；控制系统与计算机视觉检测机构、分拣机构及输送装置电连接；能够去除三七主根中的杂质；能够实现将三七主根离散化，其等间隔交错的斗槽排列，保证了三七无重叠、等间距快速上料；视觉检测机构能够快速提取和识别三七图像特征，进而快速判断三七等级，并分拣。
Description
技术领域
本发明属于农产品检测分级技术领域，具体涉及一种基于计算机视觉的三七主根快速分选生产线。
背景技术
三七作为一种名贵的中药材，主根呈圆锥形或圆柱型，颜色为黄色，有众多褶皱和支根痕，周围有瘤状突起。目前市场上以“头数”(每 500g三七的个数)来评判其经济价值，头数越小(个体越大)，其经济价值越高。目前，三七主根的分级方式有人工分选和机械称重分选两种，人工分级，劳动强度大、分级效率低，还容易造成错分、漏分；机械称重分选因三七易粘连，不易离散化，故多采用人工上料，其分选速度慢，长时间工作称重传感器稳定性得不到保证；同时，随着三七种植面积及产量的不断增加，对三七分选效率要求越来越高。所以，研制一种基于计算机视觉检测的三七主根快速分级生产线，以实现三七主根等间隔快速自动上料、视觉快速精准识别分级就显得尤为重要。
发明内容
为了克服背景技术中三七主根人工分级，劳动强度大、分级效率低，还容易造成错分、漏分；机械称重分选因三七易粘连，不易离散化，故多采用人工上料，其分选速度慢，长时间工作称重传感器稳定性得不到保证的问题；本发明提供一种基于计算机视觉的三七主根快速分选生产线，实现了三七主根离散化，自动快速等间隔上料，解决了三七自动上料困难的难题；采用视觉分级算法快速精准识别判断三七等级，能够达到5个每秒，解决了三七分选效率低的问题，实现了三七分选的快速、高效的要求，满足了三七分选产业发展的要求。
为实现上述目的，本发明是通过如下技术方案实现的：一种基于计算机视觉的三七主根快速分选生产线主要包括：除杂上料装置、计算机视觉检测机构、分拣机构、输送装置、控制系统，所述的输送装置对接安装在除杂上料装置末端，计算机视觉检测机构安装在输送装置的机架上，处于输送装置前段位置，分拣机构安装在输送装置的机架上，处于计算机视觉检测机构后方，控制系统安装在输送装置的机架上；所述的控制系统与计算机视觉检测机构、分拣机构及输送装置电连接；
所述的分拣机构包括第一光电传感器、限位安装板、气动系统、电磁阀、分拣导料口、出料导料口，所述的第一光电传感器通过限位安装板安装在输送装置的机架上，输送装置一侧的机架上通过限位安装板均匀安装有电磁阀，输送装置另一侧的机架上安装有分别与电磁阀一一对应的分拣导料口，气动系统安装在输送装置的机架上，通过气路管道分别与电磁阀连接，电磁阀上设有正对分拣导料口的气嘴，出料导料口安装在输送装置末端；所述的控制系统分别与第一光电传感器和各电磁阀电连接。
所述的计算机视觉检测机构包括第二光电传感器、暗室、立杆、 CCD工业相机，所述的第二光电传感器安装在输送装置的机架上，暗室通过立杆安装在输送装置上方，暗室底部开口，CCD工业相机安装在暗室内。
所述的暗室内安装有为CCD工业相机拍照补光的环形无影光源，环形无影光源与控制系统电连接。
所述的除杂上料装置包括料仓、设备支架、横向输送带、辊轮组、收纳箱、上料输送带、斗槽，所述的横向输送带安装在设备支架上，料仓安装在设备支架上，料仓落料口处于横向输送带前端的上方，辊轮组安装在设备支架上、处于横向输送带末端，所述的辊轮组包括4 至8根辊轴，沿三七输送方向辊轴间距依次增大；收纳箱安装在设备支架上，处于辊轮组下方，所述的收纳箱包括杂物收纳箱、大头数收纳箱、待上料箱，随辊轴间距依次增大方向依次为杂物收纳箱、大头数收纳箱、待上料箱，待上料箱处于辊轮组末端；上料输送带倾斜安装，顶端安装在设备支架上、底端安装在待上料箱内，斗槽均匀安装在上料输送带带面上；上料输送带与控制系统电连接。
所述的所述的斗槽双排等间距交错安装在上料输送带带面上；所述的斗槽由半圆锥体镂空结构构成。
所述的控制系统包括工控机、显示器、按钮控制板，所述的工控机与显示器电连接，通过显示器显示人机交互界面，所述的工控机通过ADAM控制模块分别与第二光电传感器、CCD工业相机、按钮控制板、第一光电传感器、气动系统、电磁阀电连接；工控机通过电机驱动板分别与输送装置、上料输送带电连接；所述的按钮控制板上设有急停开关、气动系统气泵开关、光源控制器开关、工控机开关。
采用Python的多线程技术，设置系统运行主线程、追踪线程和分级线程；设计基于改进型YOLO v3的三七主根深度学习目标检测识别过程作为系统的分级线程；所述的一种基于改进型YOLO v3的三七主根深度学习目标检测方法，包含以下步骤：
S1:通过训练好的基于改进型YOLO v3深度学习目标检测的三七主根分级识别模型，在线检测输送带上的三七主根，输出图片中的类别信息和位置坐标信息，具体步骤为：
S11:通过计算机视觉检测机构采集输送带上的不同姿态、不同等级的三七主根图像信息，制作三七主根图像数据集。
S12：对三七主根图像数据集进行图像增强和扩充，扩大样本的数据量和多样性，提高系统模型识别的鲁棒性；
S13：利用图像标注软件labelImg对按照VOC的数据格式三七主根数据集进行标注，框选出各图中的三七主根和标记其等级名称，保存成XML文件的格式，之后按照9：1的比例对数据集划分训练集和测试集。
S14:搭建基于深度学习改进型YOLO v3目标检测算法的三七主根识别网络，以Darknet-53体系结构作为基本网络体系结构，采用13 ×13、26×26、52×52这3个不同尺度的特征图来进行目标检测，将低分辨率的特征图上采样后与高分辨率的特征图进行拼接，并使用 DenseNet代替分辨率较低的原始传输层，以增强特征传播，促进特征重用和融合，大大减少参数数量，形成YOLOv3_dense三七主根目标检测网络，同时通过多尺度预测来检测目标的类别和位置信息。
S15:采用多项指标对模型的性能进行评估，具体指标包括交并比IoU、平均值F1、平均精度均值mAP、准确率P和召回率R，计算公式如下所示。其具体实现是在训练过程中每代完成后在验证集上对模型进行评估，计算F1、mAP、P和R这4个指标，将这些数据保存至日志文件中，并使用Tensorboard软件对训练过程进行实时的监控。
P＝TP/(TP+FP)*100％ (1)
R＝TP/(TP+FN)*100％ (2)
F1＝2PR/(P+R) (3)
式中：Tp为真正样本数量，Fp为假样本数量，N为检测样本类别数量，FN为假负样本数量。
S16:通过评价指标筛选出最优的三七主根分级模型，进行在线快速检测，输出图像的类别和位置信息，同时将图像的像素坐标转化为实际物理坐标，转化关系如下所示：
其中(u0，v0)为图像平面的中心点坐标，dx，dy分别为x、y 轴上的一个像素点的大小，f为相机的焦距，R为旋转正交变换矩阵， T为平移变化矩，[Xw,Yw,Zw]表示相机坐标。[u,v,1]表示归一化后的图像物理坐标，这里的Zc为深度信息。
S2:根据三七主根深度学习目标检测分选方法设计三七主根在线检测分级设备的人机交互界面，实现设备各个部分的实时状态显示与调控，实现相机模式与深度学习模型的选择，提高设备的可扩展性，便于实现其他农产品检测与分级的迁移应用。
本发明有益效果：
本发明能够去除三七主根中的杂质，而且可分离出几何尺寸较小、经济价值较低的三七主根，极大的提高了三七主根的分选效率和稳定性；能够实现将三七主根离散化，其等间隔交错的斗槽排列，保证了三七无重叠、等间距快速上料，可达到每秒5-10个，满足后续视觉检测速度的要求；视觉检测机构能够快速采集三七图片，其视觉识别，能够快速提取和识别三七图像特征，进而快速判断三七等级，实现每秒5-6个分选，大大的提高了三七分选的效率，实现了三七分选的快速、高效的要求，满足了三七分选产业发展的要求。
附图说明
图1是本发明立体结构示意图。
图2是本发明分拣机构、输送装置立体结构示意图。
图3是本发明计算机视觉检测机构、输送装置立体结构示意图。
图4是图3无暗室结构示意图。
图5是本发明除杂上料装置立体结构示意图。
图6是本发明控制流程图。
图7是本发明控制电路图。
图8是本发明基于改进型YOLOV3_dense的三七主根分级模型网络结构图。
图9是本发明软件设计控制流程图。
图中：1、上料除杂装置，2、计算机视觉检测机构，3、分拣机构，4、输送装置，5、控制系统，11、料仓，12、设备支架， 13、横向输送带，14、辊轮组，15、收纳箱，151、杂物收纳箱，152、大头数收纳箱，153、待上料箱，16、上料输送带，17、斗槽，21、第一光电传感，22、暗室，23、立杆，24，CCD工业相机，25、环形无影光源，31、第二光电传感器，32、限位安装板， 33、气动系统，34、电磁阀，35、分拣导料口，36、出料导料口， 51、工控机，52、显示器，53、按钮控制板。
具体实施方式
为了使本发明的目的、技术方案和有益效果更加清楚，下面将结合附图，对本发明的优选实施例进行详细的说明，以方便技术人员理解。
本发明公开了一种基于计算机视觉的三七主根快速分选生产线，所述的一种基于计算机视觉的三七主根快速分选生产线主要包括除杂上料装置1、计算机视觉检测机构2、分拣机构3、输送装置4、控制系统5，所述的输送装置4对接安装在除杂上料装置1末端，计算机视觉检测机构2安装在输送装置4的机架上，处于输送装置4前段位置，分拣机构3安装在输送装置4的机架上，处于计算机视觉检测机构2后方，控制系统5安装在输送装置4的机架上；所述的控制系统5与计算机视觉检测机构2、分拣机构3及输送装置4电连接；三七经除杂上料装置1剔除杂物并分散上料到输送装置4上，在输送装置4上输送至计算机视觉检测机构2，快速采集三七图片，其视觉识别，能够快速提取和识别三七图像特征，进而快速判断三七等级，并由分拣机构3进行分拣分类。
所述的分拣机构3包括第一光电传感器31、限位安装板32、气动系统33、电磁阀34、分拣导料口35、出料导料口36，所述的第一光电传感器31通过限位安装板32安装在输送装置4的机架上，通过第一光电传感器31检测进入分拣区域的三七主根，触发电磁阀34相应电磁阀进行分拣；输送装置4一侧的机架上通过限位安装板32均匀安装有电磁阀34，输送装置4另一侧的机架上安装有分别与电磁阀34一一对应的分拣导料口35，气动系统33安装在输送装置4的机架上，通过气路管道分别与电磁阀34连接，电磁阀34上设有正对分拣导料口35的气嘴，出料导料口36安装在输送装置4末端；所述的控制系统5分别与第一光电传感器31和各电磁阀34电连接；通过计算机视觉检测机构2对三七进行拍照识别检测，快速提取和识别三七图像特征，进而快速判断三七等级，第一光电传感器31检测进入分拣模块的三七，触发分拣计时进行有序分拣；待三七经过相应等级的电磁阀34与分拣导料口35间时，相应的电磁阀34打开，将三七吹到相应的分拣导料口35内；本发明能够去除三七主根中的杂质，而且可分离出几何尺寸较小、经济价值较低的三七主根，极大的提高了三七主根的分选效率和稳定性；能够实现将三七主根离散化，其等间隔交错的斗槽排列，保证了三七无重叠、等间距快速上料，可达到每秒5-10个，满足后续视觉检测速度的要求；视觉检测机构能够快速采集三七图片，其视觉识别，能够快速提取和识别三七图像特征，进而快速判断三七等级，实现每秒5-6个分选，大大的提高了三七分选的效率，实现了三七分选的快速、高效的要求，满足了三七分选产业发展的要求。
所述的计算机视觉检测机构2包括第二光电传感器21、暗室22、立杆23、CCD工业相机24，所述的第二光电传感器21安装在输送装置4的机架上，通过第二光电传感器21检测进入视觉检测的三七主根触发CCD工业相机24进行拍照识别检测；暗室22通过立杆23安装在输送装置4上方，暗室22底部开口，供CCD工业相机24拍照检测，CCD工业相机24安装在暗室22内；所述的暗室22内安装有为CCD工业相机24拍照补光的环形无影光源25，环形无影光源25 与控制系统5电连接；暗室22能够避免外界干扰光源，保证拍照检测的准确性。
所述的除杂上料装置1包括料仓11、设备支架12、横向输送带 13、辊轮组14、收纳箱15、上料输送带16、斗槽17，所述的横向输送带13安装在设备支架12上，料仓11安装在设备支架12上，料仓 11落料口处于横向输送带13前端的上方，辊轮组14安装在设备支架12上、处于横向输送带13末端，所述的辊轮组14包括4-8根辊轴，沿三七输送方向辊轴间距依次增大；通过辊轮组14驱动翻滚三七，使三七细根与块根分离；三七在经过辊轮组14时，泥土等杂物通过辊轴间距掉落，经济价值较低的大头数三七在辊轮组14中后部从辊轴间距掉落，经济价值较高的小头数三七从辊轮组14末端输出，实现三七的除杂和分选；收纳箱15安装在设备支架12上，处于辊轮组14下方，所述的收纳箱15包括杂物收纳箱151、大头数收纳箱152、待上料箱153，随辊轴间距依次增大方向依次为杂物收纳箱151、大头数收纳箱152、待上料箱153，分别接住下落的杂物、大头数三七和小头数三七；待上料箱153处于辊轮组14末端；上料输送带16 倾斜安装，顶端安装在设备支架12上、底端安装在待上料箱153内，斗槽17均匀安装在上料输送带16带面上；上料输送带16与控制系统5电连接；能够对三七进行除杂，快速高效，采用凹槽上料结构，仅容纳单个三七，保证了三七无重叠，实现了三七主根离散化，自动快速等间隔上料，满足了后续进行三七视觉和称重分选的快速、高效性等要求，解决了三七自动上料困难的难题，降低了人工劳动强度。
所述的所述的斗槽17双排等间距交错安装在上料输送带16带面上；所述的斗槽17由半圆锥体镂空结构构成；每次上料仅容纳单个三七，从而使三七主根离散化，实现均匀等间隔快速上料，上料速度达到每秒5-10个。
所述的控制系统5包括工控机51、显示器52、按钮控制板53，所述的工控机51与显示器52电连接，通过显示器52显示人机交互界面，所述的工控机51通过ADAM控制模块分别与第二光电传感器 21、CCD工业相机24、按钮控制板53、第一光电传感器31、气动系统33、电磁阀34电连接；工控机51通过电机驱动板分别与输送装置4、上料输送带16电连接；所述的按钮控制板53上设有急停开关、气动系统气泵开关、光源控制器开关、工控机开关。
采用Python的多线程技术，设置系统运行主线程、追踪线程和分级线程，第一光电传感器21实时触发相机24采集图片，将实时采集处理图片、判断是否有新物料作为系统主线程；设计基于改进型 YOLO v3的三七主根深度学习目标检测识别过程作为系统的分级线程，实现三七在线检测的实时拍照、等级判断和位置信息；追踪线程负责调用分级线程，接收预测等级及位置信息，根据输送带运行速度计算延时时间，判断三七是否到达分级位置，同时将分级信号通过工控机 51的串口通讯Modbus RTU协议发送到控制模块中驱动气动电磁阀34 进行分级，使得相机24实时采集图片、分级模型实时处理、下位机实时驱动分级口气吹电磁阀34的程序并发执行，实时跟踪输动带上的三七主根状态，解决处理信号与分级信号不同步和精准分级难以实现的问题；通过人机交互交互界面选择当前的三七的深度学习分选模型，设置下位机的运行状态；三七主根在输送带上运行触发第一光电传感器21，启动相机24取流，运行设备系统的主线程和追踪线程，主线程判断当前取流图像是否存在完整三七物体，判断是否启动分级线程；分级线程运行训练好的基于改进型YOLO v3深度学习目标检测的三七主根分级识别模型进行在线检测判断三七主根的等级和位置信息；追踪线程接收分级线程的预测等级结果及位置信息，同时根据传送带运行速度计算延时时间，判断三七是否到达分级位置；分级时将分级信号通过工控机51的串口通讯Modbus RTU协议发送到控制模块中，驱动气动电磁阀34动作进行分级。
所述的一种基于改进型YOLO v3的三七主根深度学习目标检测方法，包含以下步骤：
S1:通过训练好的基于改进型YOLO v3深度学习目标检测的三七主根分级识别模型，在线检测输送带上的三七主根，输出图片中的类别信息和位置坐标信息，具体步骤为：
S11:通过计算机视觉检测机构2采集输送带上的不同姿态、不同等级的三七主根图像信息，制作三七主根图像数据集，采集的三七等级为15头，20头，30头，40头和60头，各等级的图像分别为1000 张，共5000张图片制作三七图像数据集。
S12：对三七主根图像数据集进行图像增强和扩充，扩大样本的数据量和多样性，提高系统模型识别的鲁棒性；所述的图像增强和扩充为通过调整图像的亮度、对比度、饱和度、加入噪声，以及随机旋转、翻转、裁剪等对三七图像进行增强和扩充，将三七主根的各等级的图像数据集共增强扩充到15000张；
S13：利用图像标注软件labelImg对按照VOC的数据格式三七主根数据集进行标注，框选出各图中的三七主根和标记其等级名称，保存成XML文件的格式，之后按照9：1的比例对数据集划分训练集和测试集。
S14:搭建基于深度学习改进型YOLO v3目标检测算法的三七主根识别网络，以Darknet-53体系结构作为基本网络体系结构，采用13 ×13、26×26、52×52这3个不同尺度的特征图来进行目标检测，将低分辨率的特征图上采样后与高分辨率的特征图进行拼接，并使用 DenseNet代替分辨率较低的原始传输层，以增强特征传播，促进特征重用和融合，大大减少参数数量，形成YOLOv3_dense三七主根目标检测网络，同时通过多尺度预测来检测目标的类别和位置信息；所述的DenseNet网络旨在更有效的利用特征信息，利用卷积和下采样，在训练神经网络时减少了特征映射，同时以前馈模式将每个层连接到其他层中，接收前面卷积和池化层的所有特征映射，并将接收后的特征进行拼接处理，减轻梯度消失，增强特征传播，促进特征重用，大大的减少了参数的数量。
S15:采用多项指标对模型的性能进行评估，具体指标包括交并比 IoU、平均值F1、平均精度均值mAP、准确率P和召回率R，计算公式如下所示。其具体实现是在训练过程中每代完成后在验证集上对模型进行评估，计算F1、mAP、P和R这4个指标，将这些数据保存至日志文件中，并使用Tensorboard软件对训练过程进行实时的监控。
P＝TP/(TP+FP)*100％ (1)
R＝TP/(TP+FN)*100％ (2)
F1＝2PR/(P+R) (3)
式中：Tp为真正样本数量，Fp为假样本数量，N为检测样本类别数量，FN为假负样本数量。
S16:通过评价指标筛选出最优的三七主根分级模型，进行在线快速检测，输出图像的类别和位置信息，同时将图像的像素坐标转化为实际物理坐标，转化关系如下所示：
其中(u0，v0)为图像平面的中心点坐标，dx，dy分别为x、y 轴上的一个像素点的大小，f为相机的焦距，R为旋转正交变换矩阵， T为平移变化矩，[Xw,Yw,Zw]表示相机坐标。[u,v,1]表示归一化后的图像物理坐标，这里的Zc为深度信息。
S2:根据三七主根深度学习目标检测分选方法设计三七主根在线检测分级设备的人机交互界面，实现设备各个部分的实时状态显示与调控，实现相机模式与深度学习模型的选择，提高设备的可扩展性，便于实现其他农产品检测与分级的迁移应用。
所述的一种基于深度学习目标检测算法的三七主根分选方法，根据三七主根在线检测系统的需求设计人机交互GUI界面，该界面包括六种功能，一是用户登录功能：包括用户登录、用户注册、用户密码界面，二是相机参数设置功能：包含相机选择、相机触发、设置曝光时间、增益、帧率等，三是下位机参数设置功能：包含设置下位机串口、波特率等，四是模型选择功能：可查找和选择不同的分级模型，五是显示设备当前状态、运行日志功能：实时显示相机24、光源25、气动电磁阀34当前工作状态，六是历史记录下载功能：将运行数据实时保存成Excel文档，以供工作人员下载分析。
在本实施方式中，所述的三七主根从料斗11中落下，经过横向输送带13输送到锟轮组14中进行大头数和泥土等杂质的除杂，除杂后通过上料输送带16进行快速有序等间隔的上料，经过落料导向轨整体的排列在视觉检测输送带上触发第一光电传感器21，进行视觉检测，同时运行设备系统的主线程和追踪线程，主线程判断当前取流图像是否存在完整三七物体，判断是否启动分级线程；分级线程运行训练好的基于改进型YOLO v3深度学习目标检测的三七主根分级识别模型进行在线检测判断三七主根的等级和位置信息；追踪线程接收分级线程的预测等级结果及位置信息，同时根据传送带运行速度计算延时时间，判断三七是否到达分级位置；分级时将分级信号通过工控机51的串口通讯Modbus RTU协议发送到控制模块中，驱动气动电磁阀34动作进行分级。识别过程中均可在人机交互界面上实时显示当前检测三七的原始图片、等级判断图片、下位机各设备的状态等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (15)
1.一种基于计算机视觉的三七主根快速分选生产线，其特征在于：所述的基于计算机视觉的三七主根快速分选生产线包括除杂上料装置（1）、计算机视觉检测机构（2）、分拣机构（3）、输送装置（4）、控制系统（5），所述的输送装置（4）对接安装在除杂上料装置（1）末端，计算机视觉检测机构（2）安装在输送装置（4）的机架上，处于输送装置（4）前段位置，分拣机构（3）安装在输送装置（4）的机架上，处于计算机视觉检测机构（2）后方，控制系统（5）安装在输送装置（4）的机架上；所述的控制系统（5）与计算机视觉检测机构（2）、分拣机构（3）及输送装置（4）电连接；
所述的分拣机构（3）包括第一光电传感器（31）、限位安装板（32）、气动系统（33）、电磁阀（34）、分拣导料口（35）、出料导料口（36），所述的第一光电传感器（31）通过限位安装板（32）安装在输送装置（4）的机架上，输送装置（4）一侧的机架上通过限位安装板（32）均匀安装有电磁阀（34），输送装置（4）另一侧的机架上安装有分别与电磁阀（34）一一对应的分拣导料口（35），气动系统（33）安装在输送装置（4）的机架上，通过气路管道分别与电磁阀（34）连接，电磁阀（34）上设有正对分拣导料口（35）的气嘴，出料导料口（36）安装在输送装置（4）末端；所述的控制系统（5）分别与第一光电传感器（31）和各电磁阀（34）电连接。
2.如权利要求1所述的一种基于计算机视觉的三七主根快速分选生产线，其特征在于：所述的计算机视觉检测机构（2）包括第二光电传感器（21）、CCD工业相机（24），所述的第二光电传感器（21）安装在输送装置（4）的机架上，CCD工业相机（24）安装在输送装置（4）的机架上，处于输送装置（4）的上方。
3.如权利要求2所述的一种基于计算机视觉的三七主根快速分选生产线，其特征在于：所述的计算机视觉检测机构（2）还包括暗室（22）、立杆（23），暗室（22）通过立杆（23）安装在输送装置（4）上方，暗室（22）底部开口，所述的CCD工业相机（24）安装在暗室（22）内，暗室（22）内安装有为CCD工业相机（24）拍照补光的环形无影光源（25），环形无影光源（25）与控制系统（5）电连接。
4.如权利要求1、2、3任意一条所述的一种基于计算机视觉的三七主根快速分选生产线，其特征在于：所述的除杂上料装置（1）包括料仓（11）、设备支架（12）、横向输送带（13）、辊轮组（14）、收纳箱（15）、上料输送带（16）、斗槽（17），所述的横向输送带（13）安装在设备支架（12）上，料仓（11）安装在设备支架（12）上，料仓（11）落料口处于横向输送带（13）前端的上方，辊轮组（14）安装在设备支架（12）上、处于横向输送带（13）末端，所述的辊轮组（14）包括4-8根辊轴，沿三七输送方向辊轴间距依次增大；收纳箱（15）安装在设备支架（12）上，处于辊轮组（14）下方，所述的收纳箱（15）包括杂物收纳箱（151）、大头数收纳箱（152）、待上料箱（153），随辊轴间距依次增大方向依次为杂物收纳箱（151）、大头数收纳箱（152）、待上料箱（153），待上料箱（153）处于辊轮组（14）末端；上料输送带（16）倾斜安装，顶端安装在设备支架（12）上、底端安装在待上料箱（153）内，斗槽（17）均匀安装在上料输送带（16）带面上；上料输送带（16）与控制系统（5）电连接。
5.如权利要求4所述的一种基于计算机视觉的三七主根快速分选生产线，其特征在于：所述的所述的斗槽（17）双排等间距交错安装在上料输送带（16）带面上；所述的斗槽（17）由半圆锥体镂空结构构成。
6.如权利要求5所述的一种基于计算机视觉的三七主根快速分选生产线，其特征在于：所述的控制系统（5）包括工控机（51）、显示器（52）、按钮控制板（53），所述的工控机（51）与显示器（52）电连接，通过显示器（52）显示人机交互界面，所述的工控机（51）通过ADAM控制模块分别与第二光电传感器（21）、CCD工业相机（24）、按钮控制板（53）、第一光电传感器（31）、气动系统（33）、电磁阀（34）电连接；工控机（51）通过电机驱动板分别与输送装置（4）、上料输送带（16）电连接；所述的按钮控制板（53）上设有急停开关、气动系统气泵开关、光源控制器开关、工控机开关。
7.如权利要求6所述的一种基于计算机视觉的三七主根快速分选生产线，其特征在于采用Python的多线程技术，设置系统运行主线程、追踪线程和分级线程；设计基于改进型YOLO v3的三七主根深度学习目标检测识别过程作为系统的分级线程；所述的一种基于改进型YOLO v3的三七主根深度学习目标检测方法，包含以下步骤：
S1:通过训练好的基于改进型YOLO v3深度学习目标检测的三七主根分级识别模型，在线检测输送带上的三七主根，输出图片中的类别信息和位置坐标信息，具体步骤为：
S11:通过计算机视觉检测机构（2）采集输送带上的不同姿态、不同等级的三七主根图像信息，制作三七主根图像数据集。
8.S12：对三七主根图像数据集进行图像增强和扩充，扩大样本的数据量和多样性，提高系统模型识别的鲁棒性；
S13：利用图像标注软件labelImg对按照VOC的数据格式三七主根数据集进行标注，框选出各图中的三七主根和标记其等级名称，保存成XML文件的格式，之后按照9：1的比例对数据集划分训练集和测试集。
9.S14:搭建基于深度学习改进型YOLO v3目标检测算法的三七主根识别网络，以Darknet-53体系结构作为基本网络体系结构，采用13×13、26×26、52×52这3个不同尺度的特征图来进行目标检测，将低分辨率的特征图上采样后与高分辨率的特征图进行拼接，并使用DenseNet代替分辨率较低的原始传输层，以增强特征传播，促进特征重用和融合，大大减少参数数量，形成YOLOv3_dense三七主根目标检测网络，同时通过多尺度预测来检测目标的类别和位置信息。
10.S15:采用多项指标对模型的性能进行评估，具体指标包括交并比IoU、平均值F1、平均精度均值mAP、准确率P和召回率R，计算公式如下所示。
11.其具体实现是在训练过程中每代完成后在验证集上对模型进行评估，计算F1、mAP、P和R这4个指标，将这些数据保存至日志文件中，并使用Tensorboard软件对训练过程进行实时的监控。
12.
（1）
式中：
为真正样本数量，
为假样本数量，
为检测样本类别数量，
为假负样本数量。
13.S16:通过评价指标筛选出最优的三七主根分级模型，进行在线快速检测，输出图像的类别和位置信息，同时将图像的像素坐标转化为实际物理坐标，转化关系如下所示：
其中（u0，v0）为图像平面的中心点坐标，dx，dy分别为x、y轴上的一个像素点的大小，f为相机的焦距，R为旋转正交变换矩阵，T为平移变化矩，[Xw,Yw,Zw]表示相机坐标。
14.[u,v,1]表示归一化后的图像物理坐标，这里的Zc为深度信息。
15.S2:根据三七主根深度学习目标检测分选方法设计三七主根在线检测分级设备的人机交互界面，实现设备各个部分的实时状态显示与调控，实现相机模式与深度学习模型的选择，提高设备的可扩展性，便于实现其他农产品检测与分级的迁移应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111393186.8A CN113996545A (zh) | 2021-11-23 | 2021-11-23 | 一种基于计算机视觉的三七主根快速分选生产线 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111393186.8A CN113996545A (zh) | 2021-11-23 | 2021-11-23 | 一种基于计算机视觉的三七主根快速分选生产线 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113996545A true CN113996545A (zh) | 2022-02-01 |
Family
ID=79929960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111393186.8A Pending CN113996545A (zh) | 2021-11-23 | 2021-11-23 | 一种基于计算机视觉的三七主根快速分选生产线 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113996545A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114682525A (zh) * | 2022-03-05 | 2022-07-01 | 徐州工业职业技术学院 | 不良品检测智能分拣系统 |
| CN114950969A (zh) * | 2022-06-13 | 2022-08-30 | 昆明理工大学 | 一种三七主根与茎基的实时视觉识别分拣系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205496068U (zh) * | 2016-01-18 | 2016-08-24 | 成都大学 | 三七自动分级装置 |
| CN206229716U (zh) * | 2016-11-30 | 2017-06-09 | 扬州大学 | 一种基于计算机视觉技术的苹果外观品质自动分级装置 |
| CN107470119A (zh) * | 2017-07-18 | 2017-12-15 | 昆明理工大学 | 一种三七分级机 |
| CN111804599A (zh) * | 2020-07-20 | 2020-10-23 | 张家港龙翔机电设备有限公司 | 物流包裹的自动分拣派送系统 |
| CN112170233A (zh) * | 2020-09-01 | 2021-01-05 | 燕山大学 | 基于深度学习的小型零件分拣方法及其分拣系统 |
| CN213499335U (zh) * | 2020-06-24 | 2021-06-22 | 文山康雄鲜七修剪技术开发有限公司 | 新鲜三七根修自动剪装置 |
| CN113245222A (zh) * | 2021-06-21 | 2021-08-13 | 昆明理工大学 | 一种三七异物视觉实时检测分拣系统及分拣方法 |
| WO2021161341A1 (en) * | 2020-02-14 | 2021-08-19 | Occipital Technologies Private Limited | System for modular multi-grade sorting and a method thereof |
| CN214417031U (zh) * | 2020-12-26 | 2021-10-19 | 昆明理工大学 | 一种基于机器视觉的三七主根检测分级分拣装置 |
-
2021
- 2021-11-23 CN CN202111393186.8A patent/CN113996545A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205496068U (zh) * | 2016-01-18 | 2016-08-24 | 成都大学 | 三七自动分级装置 |
| CN206229716U (zh) * | 2016-11-30 | 2017-06-09 | 扬州大学 | 一种基于计算机视觉技术的苹果外观品质自动分级装置 |
| CN107470119A (zh) * | 2017-07-18 | 2017-12-15 | 昆明理工大学 | 一种三七分级机 |
| WO2021161341A1 (en) * | 2020-02-14 | 2021-08-19 | Occipital Technologies Private Limited | System for modular multi-grade sorting and a method thereof |
| CN213499335U (zh) * | 2020-06-24 | 2021-06-22 | 文山康雄鲜七修剪技术开发有限公司 | 新鲜三七根修自动剪装置 |
| CN111804599A (zh) * | 2020-07-20 | 2020-10-23 | 张家港龙翔机电设备有限公司 | 物流包裹的自动分拣派送系统 |
| CN112170233A (zh) * | 2020-09-01 | 2021-01-05 | 燕山大学 | 基于深度学习的小型零件分拣方法及其分拣系统 |
| CN214417031U (zh) * | 2020-12-26 | 2021-10-19 | 昆明理工大学 | 一种基于机器视觉的三七主根检测分级分拣装置 |
| CN113245222A (zh) * | 2021-06-21 | 2021-08-13 | 昆明理工大学 | 一种三七异物视觉实时检测分拣系统及分拣方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高福成等, 中国轻工业出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114682525A (zh) * | 2022-03-05 | 2022-07-01 | 徐州工业职业技术学院 | 不良品检测智能分拣系统 |
| CN114950969A (zh) * | 2022-06-13 | 2022-08-30 | 昆明理工大学 | 一种三七主根与茎基的实时视觉识别分拣系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN206139527U (zh) | 全景视觉马铃薯分选和缺陷检测装置 | |
| CN106238342B (zh) | 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法 | |
| CN109724984B (zh) | 一种基于深度学习算法的缺陷检测识别装置和方法 | |
| CN113996545A (zh) | 一种基于计算机视觉的三七主根快速分选生产线 | |
| CN106733701B (zh) | 马铃薯多级联合智能缺陷检测系统及检测方法 | |
| CN1329132C (zh) | 基于三个摄像系统在线水果品质检测分级的装置与方法 | |
| CN105388162B (zh) | 基于机器视觉的原料硅片表面划痕检测方法 | |
| CN110390691A (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
| CN108280856A (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
| CN202974886U (zh) | 一种机器视觉罐身卷封缺陷检测系统 | |
| CN108229665A (zh) | 一种以深度卷积神经网络为基础的零件分拣系统 | |
| CN111709935B (zh) | 一种用于地面运动皮带上实时煤矸石定位识别方法 | |
| CN106952258A (zh) | 一种基于梯度方向直方图的瓶口缺陷检测方法 | |
| CN110743818A (zh) | 基于视觉及深度学习的垃圾分选系统、垃圾分选方法 | |
| CN106706653A (zh) | 一种高速宽型板材检测方法 | |
| CN107894431A (zh) | 一种基于机器视觉的两节式胶囊药板质检装置及方法 | |
| WO2019114380A1 (zh) | 木板识别及木板识别的机器学习方法、装置及电子设备 | |
| CN107084992A (zh) | 一种基于机器视觉的胶囊检测方法及系统 | |
| CN206981462U (zh) | 基于三维视觉的冲压件表面缺陷检测装置 | |
| CN106442553A (zh) | 一种铜环柱面喷码检测识别装置及方法 | |
| CN104056790A (zh) | 一种马铃薯智能分选方法与装置 | |
| CN110490842A (zh) | 一种基于深度学习的带钢表面缺陷检测方法 | |
| CN106370667A (zh) | 一种玉米籽粒品质视觉检测装置及方法 | |
| CN106203455A (zh) | 基于机器视觉的物料排正装置及圆柱形物料特征属性的识别方法 | |
| CN102615053A (zh) | 柔版机添加质检剔次装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |