CN114950969B - 一种三七主根与茎基的实时视觉识别分拣系统及方法 - Google Patents

一种三七主根与茎基的实时视觉识别分拣系统及方法 Download PDF

Info

Publication number
CN114950969B
CN114950969B CN202210665308.2A CN202210665308A CN114950969B CN 114950969 B CN114950969 B CN 114950969B CN 202210665308 A CN202210665308 A CN 202210665308A CN 114950969 B CN114950969 B CN 114950969B
Authority
CN
China
Prior art keywords
stem
sorting
track
module
stem base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210665308.2A
Other languages
English (en)
Other versions
CN114950969A (zh
Inventor
王森
邢开哲
陈明方
伞红军
陈中平
李茂�
祝阳
柴尚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202210665308.2A priority Critical patent/CN114950969B/zh
Publication of CN114950969A publication Critical patent/CN114950969A/zh
Application granted granted Critical
Publication of CN114950969B publication Critical patent/CN114950969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07B—SEPARATING SOLIDS FROM SOLIDS BY SIEVING, SCREENING, SIFTING OR BY USING GAS CURRENTS; SEPARATING BY OTHER DRY METHODS APPLICABLE TO BULK MATERIAL, e.g. LOOSE ARTICLES FIT TO BE HANDLED LIKE BULK MATERIAL
    • B07B15/00—Combinations of apparatus for separating solids from solids by dry methods applicable to bulk material, e.g. loose articles fit to be handled like bulk material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07B—SEPARATING SOLIDS FROM SOLIDS BY SIEVING, SCREENING, SIFTING OR BY USING GAS CURRENTS; SEPARATING BY OTHER DRY METHODS APPLICABLE TO BULK MATERIAL, e.g. LOOSE ARTICLES FIT TO BE HANDLED LIKE BULK MATERIAL
    • B07B1/00—Sieving, screening, sifting, or sorting solid materials using networks, gratings, grids, or the like
    • B07B1/28—Moving screens not otherwise provided for, e.g. swinging, reciprocating, rocking, tilting or wobbling screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/20—Reduction of greenhouse gas [GHG] emissions in agriculture, e.g. CO2
    • Y02P60/21—Dinitrogen oxide [N2O], e.g. using aquaponics, hydroponics or efficiency measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明公开了一种三七主根与茎基的实时视觉识别分拣系统及方法，分拣系统至少包括1条工作线，每条工作线包括筛选分流模块、传送带模块、视频采集模块、分拣模块、控制器；本发明通过多条工作线的筛选分流模块由小到大的将三七主根和茎基根据其体型分级，在将每个级别的三七分别依次留有间隔的排布到传送带模块上，进一步由视频采集模块进行视频数据采集，最后通过控制器输出的茎基识别信息驱动分拣模块将茎基分离，实现了三七主根与茎基的全自动化分拣；本发明有效解决了三七主根与茎基的分拣完全依赖于人工而导致分拣准确度与分拣效率低下的不足，有效降低了工人的劳动强度，同时还可提高分拣准效率和准确率。

Description

一种三七主根与茎基的实时视觉识别分拣系统及方法
技术领域
本发明涉及一种三七主根与茎基的实时视觉识别分拣系统及方法，属于农业产品视觉识别、机构设计与自动分拣技术领域。
背景技术
中药材三七的收获时节集中且不易长期储存，所以在三七收获高峰期对自动化加工有急切需求。三七的主要药用成分皂苷主要集中在主根和茎基，但因主根和茎基的制药流程不同，需要在制药前将主根与茎基进行分离。若在加工时，主根与茎基过量混合，则会导致原料腐烂、所含皂苷成分下降以及重金属超标，极大影响产品的质量与药效。然而三七形态复杂，且主根与茎基在形态结构与表面纹理上都非常相似，导致因长期运送三七而沾满泥土的传送带上难以被辨别区分。因此，分拣精度是否达标是三七产品后续医药深加工的基本前提和保障。现阶段，三七主根与茎基的分拣完全依靠工人通过肉眼判断完成，这不仅导致分拣效率较低，工人还会因身心和视觉的疲劳，以及分拣标准不统一而产生较大的主观性人为差异，不仅导致分拣准确率较低，还有害工人健康。因此有必要研究一种三七主根与茎基的实时视觉识别分拣系统及分拣方法。
发明内容
本发明提供了一种三七主根与茎基的实时视觉识别分拣系统，通过该系统提供了基于视觉实时追踪识别的三七分拣平台，并进一步提供了一种三七主根与茎基的实时视觉识别分拣方法，以用于对三七的主根和茎基进行分拣。
本发明的技术方案是：一种三七主根与茎基的实时视觉识别分拣系统，所述分拣系统至少包括1条工作线，每条工作线包括筛选分流模块1、传送带模块2、视频采集模块3、分拣模块4、控制器；所述筛选分流模块1，用于将三七的主根和茎基按照大小进行筛分，将筛选好的主根和茎基以多个输入通道输送至传送带模块2对应传输通道上；所述传送带模块2，用于以多个传输通道运输已筛选好的三七主根和茎基；所述视频采集模块3，用于对传送带模块2上的三七主根和茎基进行连续拍摄来获取待检测视频数据；所述控制器，用于依据视频采集模块3所获取的视频数据，输出识别信息；依据识别信息驱动分拣模块4；所述分拣模块4，用于对传送带模块2上的三七主根和茎基进行分离。
所述筛选分流模块1，用于通过第一动力源10驱动带动安装在筛体5上的筛板6将三七的主根和茎基按照大小进行筛分输送至收集板12处；筛体5上设有导流口，用于导流三七物料至收集框18；收集板12靠近传送带模块2一侧设有多个输入通道；输入通道与传送带模块2的连通处设有海绵套13；通过第二动力源19驱动海绵套13转动带动输入通道上的三七物料依次有间隔的输送至传送带模块2对应的传输通道上。
所述分拣模块4包括机架Ⅳ37、主根收集板38、主根收集框39、支撑杆40、茎基收集板41、茎基收集框42、间隔板II43、轴套44、支撑板II45、分拣隔挡机构46；其中，同轴安装的轴套44、支撑杆40互不干涉，间隔板II43等间隔安装在轴套44上，分拣隔挡机构46固定在支撑板II45上，并以支撑杆40的轴线为基准并排的安装在间隔板II43之间，茎基收集板41安装在分拣隔挡机构后方，主根收集板38安装在分拣隔挡机构前方，茎基收集框42放在茎基收集板41下方，主根收集框39放在主根收集板38下方。
所述分拣隔挡机构46包括直线式伺服电缸47、挡板48、推头49、推杆套50、推杆51、杠杆连接器52、弯角连接53；其中，直线式伺服电缸47固定在支撑板II45上，推头49安装在直线式伺服电缸47的推轴上，套在推杆51一端的推杆套50与推头49连接，推杆51另一端安装杠杆连接器52，通过弯角连接板53连接杠杆连接器52和挡板48。
一种三七主根与茎基的实时视觉识别分拣方法，包括：
步骤1、构建三七主根与茎基的图像数据集，并将其分为训练集与验证集；
步骤2、调用深度学习检测模型，使用训练集训练模型，得到多个权重参数文件；
步骤3、利用验证集对所得权重参数文件进行测试，筛选出最优权重参数文件，并生成冻结模型；
步骤4、将冻结模型与多目标检测算法串联，构建识别算法；
步骤5、开启所有工作线的筛选分流模块1、传送带模块2、视频采集模块3、分拣模块4和控制器；
步骤6、多条工作线的筛选分流模块1将三七物料按照其体型由小到大的筛选分流，此过程为串行；再分别将每条工作线上的三七物料通过筛选分流模块1以多个输入通道输送至对应传送带模块2上进行后续步骤，后续步骤均为并行；
步骤7、每条工作线中，视频采集模块3采集传送带模块2上三七运动时的视频数据，并通过数据传输线传输给控制器；
步骤8、每条工作线中，控制器接收到视频数据后通过识别算法进行对视频进行识别；
步骤9、每条工作线中，控制器识别到三七茎基后输出识别信号以驱动分拣执模块4将茎基导流分离到茎基收集框42中，以此循环步骤6～步骤9直至完成分拣。
所述步骤8，包括：
步骤8.1、冻结模型对视频采集模块3所拍摄的视频进行实时地逐帧检测，并实时地逐帧输出在每帧画面中所检测到的茎基的边界框和置信度信息；
步骤8.2、多目标追踪算法根据已存在轨迹，更新卡已存在轨迹的尔曼滤波器并预测当前帧中茎基的边界框信息；
步骤8.3、多目标追踪算法接收当前帧中的茎基检测信息，根据预设的置信度上界和置信度下界将其分为高分检测与低分检测；
步骤8.4、将步骤8.3中的高、低分检测与步骤8.2中依据已存在轨迹预测的边界框进行级联匹配；
步骤8.5、将步骤8.4中未匹配的轨迹中的状态为“已确认”的轨迹状态更新为“丢失”，未匹配的轨迹中状态为“新”的轨迹则删除，并分别判断所有“丢失”状态的轨迹是否满足移除条件，若满足则删除该轨迹；未匹配的轨迹是指当前帧中未与任何高分检测或低分检测相匹配的轨迹；
步骤8.6、利用当前帧未匹配的高分检测生成新的轨迹，其状态定义为“新”，并初始化这些新生成轨迹的卡尔曼滤波器；将当前帧未匹配的低分检测删除；
步骤8.7、判断步骤8.4中匹配成功的轨迹是否满足确认条件，若满足则将轨迹的状态变为“已确认”，并将其边界框信息和被确认时的时间作为识别信息输出；匹配成功的轨迹是指当前帧中与任意高分检测或低分检测相匹配的轨迹；
步骤8.8、更新当前帧中未被删除的茎基轨迹的卡尔曼滤波器；
步骤8.9、将当前帧中未被删除的轨迹作为下一轮循环的已存在轨迹，循环执行步骤8.2～8.9。
所述步骤8.4，具体如下：
步骤8.4.1、计算步骤8.2中轨迹预测的边界框与步骤8.3中的高分检测的边界框之间面积的交集与并集之比的矩阵，并通过匈牙利算法进行一对一的匹配；
步骤8.4.2、计算步骤8.4.1中未与高分检测匹配的轨迹预测的边界框与步骤8.3中的低分检测的边界框之间面积的交集与并集的矩阵，并通过匈牙利算法进行一对一的匹配。
所述步骤8.5中的移除条件具体为：当多目标追踪算法每接收一帧的茎基检测信息并完成级联匹配后，提取出每个状态为“丢失”的茎基轨迹的边界框信息，分别判断每个状态为“丢失”的茎基轨迹的中心点坐标是否超出图像的采集范围，再判断“丢失”状态的茎基轨迹处于“丢失”状态的连续累加次数是否大于等于tset，若两个条件满足其中之一则视为满足移除条件，将该轨迹移除；反之则不满足；表达公式为：
Figure BDA0003691469110000031
Figure BDA0003691469110000041
其中，
Figure BDA0003691469110000042
表示第k个“丢失”茎基轨迹的移除条件，如果取值为True，表示移除，取值为False，表示不移除；
Figure BDA0003691469110000043
表示第k个“丢失”轨迹经过归一化后的中心点坐标，tloss表示该轨迹连续处于“丢失”状态的连续累加次数，x表示中心点坐标的X轴值，y表示中心点坐标的Y轴值，Wimg表示图像的宽度，Himg表示图像的高度；tset表示累加次数判断阈值。
所述步骤8.7中的确认条件具体为：设定累加次数统计参数δ和置信度阈值参数θhold，当多目标追踪算法每接收一帧的茎基检测信息后，分别将每个状态为“新”的茎基轨迹所对应的当前置信度值进行累加，连续累加次数达到δ次时，若累加置信度阈值为δ×θhold以上，则满足条件，输出识别信息且将轨迹状态更新为“已确认”；若小于δ×θhold，则不满足条件，且将累加计数和累加值清零；表达公式为：
Figure BDA0003691469110000044
其中，
Figure BDA0003691469110000045
表示第j个“新”茎基轨迹的确认条件，如果取值为True，表示满足条件，取值为False，表示不满足条件；
Figure BDA0003691469110000046
表示第j个“新”茎基轨迹所对应的第i次置信度值。
所述步骤9具体如下：控制器得到的每个三七茎基识别信号至少包括：茎基的中心坐标、茎基的宽高信息、信号输出的时间；控制器根据茎基的中心坐标和信号输出的时间计算出茎基距离到达传送带20末端下落的间隔时间Td，以及所落分拣隔挡机构的编号，再根据茎基的宽高信息计算出分拣隔挡机构应该开启的时间To，计算公式为：
Figure BDA0003691469110000047
Figure BDA0003691469110000048
Figure BDA0003691469110000049
其中，Wimg为视频采集模块3采集图像的宽度，x为茎基的中心坐标的X轴值，y为茎基的中心坐标的Y轴值，h、w为茎基的宽高，Wimg、x、y、h、w的单位均为像素，S为视频采集模块3的实际采集范围的对角线长度与采集图像范围的对角线长度的数值比，D为视频采集模块3采集的边界到传送带20末端的距离，VC为传送带20的运输线速度，d为传送带模块2中间隔板的间隔距离；计算完后由控制器计时，当达到Td时，分拣隔挡机构开启To后关闭，使茎基落到分拣隔挡机构后方的茎基收集板41，从而实现主根和茎基的分离。
本发明的有益效果是：本发明通过多条工作线的筛选分流模块由小到大的将三七主根和茎基根据其体型分级，在将每个级别的三七分别依次留有间隔的排布到传送带模块上，进一步由视频采集模块进行视频数据采集，最后通过控制器输出的茎基识别信息驱动分拣模块将茎基分离，实现了三七主根与茎基的全自动化分拣；本发明有效解决了三七主根与茎基的分拣完全依赖于人工而导致分拣准确度与分拣效率低下的不足，控制器所用的识别方法利用基于深度学习的检测方法对视频图像进行分析，再用多目标追踪算法来聚合与筛选检测结果，然后自动输出识别分拣信息，再接着与分拣执行机构相结合，自动的将三七主根和茎基分开，有效降低了工人的劳动强度，同时还可提高分拣准效率和准确率，从而使三七分拣质量大副提升，也可避免因主根与茎基混合而导致的原料腐烂以及重金属超标的问题。
附图说明
图1是本发明的流程图；
图2是一张含有三七主根和茎基的图像；
图3是构建三七主根与茎基图像数据集的流程图；
图4是软件LabelImg标注出三七茎基的图；
图5是模型训练及生成冻结模型流程图；
图6是深度学习检测模型YOLOx的模型结构图；
图7是深度学习检测模型YOLOx所含子模块的结构图；
图8是实时检测效果图；
图9是识别算法流程图；
图10是多目标追踪算法流程图；
图11是级联匹配流程图；
图12是识别算法效果和识别信息示意图；
图13是茎基的分拣仿真示意图；
图14是系统装配图；
图15是筛选分流模块的左斜视图；
图16是筛选分流模块的正视图；
图17是筛选分流模块的右斜视图；
图18是筛选分流模块的收集板与传送带模块的衔接局部图；
图19是传送带模块左斜视图；
图20是传送带模块正视图；
图21是视频采集模块总体结构图；
图22是视频采集模块局部放大图；
图23是分拣模块左斜视图；
图24是分拣模块右斜视图；
图25是分拣模块内部结构图；
图26是分拣隔挡机构左斜视图；
图27是分拣隔挡机构后斜视图；
图28是分拣模块关闭状态示意图；
图29是分拣模块开启状态示意图；
图中各标号为：1-筛选分流模块、2-传送带模块、3-视频采集模块、4-分拣模块、5-筛体、6-筛板、7-弹簧架、8-机架I、9-支撑平台、10-第一动力源、11-凸轮、12-收集板、13-海绵套、14-大皮带轮、15-小皮带轮、16-皮带Ⅰ、17-转轴、18-收集框、19-第二动力源、20-传送带、21-机架II、22-间隔板I、23-支撑板I、24-皮带轴、25-第三动力源、26-皮带Ⅱ、27-皮带轮、28-机架III、29-光源、30-伺服电机Ⅰ、31-伺服电机Ⅱ、32-丝杆Ⅰ、33-丝杆Ⅱ、34-滑块Ⅰ、35-滑块Ⅱ、36-工业相机、37-机架Ⅳ、38-主根收集板、39-主根收集框、40-支撑杆、41-茎基收集板、42-茎基收集框、43-间隔板II、44-轴套、45-支撑板II、46-分拣隔挡机构、47-直线式伺服电缸、48-挡板、49-推头、50-推杆套、51-推杆、52-杠杆连接器、53-弯角连接。
具体实施方式
下面结合附图和实施例，对发明做进一步的说明，但本发明的内容并不限于所述范围。
实施例1：如图14-29所示，一种三七主根与茎基的实时视觉识别分拣系统，所述分拣系统至少包括1条工作线，每条工作线包括筛选分流模块1、传送带模块2、视频采集模块3、分拣模块4、控制器；所述筛选分流模块1，用于将三七的主根和茎基按照大小进行筛分，将筛选好的主根和茎基以多个输入通道输送至传送带模块2对应传输通道上；所述传送带模块2，用于以多个传输通道运输已筛选好的三七主根和茎基；所述视频采集模块3，用于对传送带模块2上的三七主根和茎基进行连续拍摄来获取待检测视频数据；所述控制器可以为电脑，用于依据视频采集模块3所获取的视频数据，输出识别信息；依据识别信息驱动分拣模块4；所述分拣模块4，用于对传送带模块2上的三七主根和茎基进行分离。
可选地，所述筛选分流模块1，用于通过第一动力源10驱动带动安装在筛体5上的筛板6将三七的主根和茎基按照大小进行筛分输送至收集板12处；筛体5上设有导流口，用于导流三七物料至收集框18；收集板12靠近传送带模块2一侧设有多个输入通道；输入通道与传送带模块2的连通处设有海绵套13；通过第二动力源19驱动海绵套13转动带动输入通道上的三七物料依次有间隔的输送至传送带模块2对应的传输通道上；其中，一条输入通道对应一条传输通道，两者相通。
可选地，所述筛选分流模块1包括筛体5、筛板6、弹簧架7、机架I8、支撑平台9、第一动力源10、第二动力源19、凸轮11、收集板12、海绵套13、大皮带轮14、小皮带轮15、皮带I16、转轴17、收集框18；其中，机架I8用于安装转轴17的轴承座、支撑平台9，呈倾斜布置的筛板6安装在筛体5上，筛体5上设有导流口，用于导流三七物料至收集框18(导流口可以随筛板6作业过程中同步打开，也可以筛分结束后打开；通过导流口可以将不符合当前筛选分流尺寸的三七主根和茎基收集到收集框18，以进行下一流程的筛选分流)；弹簧架7安装在筛体5和支撑平台9上用于缓冲振动筛回落时的振动，海绵套13安装在转轴17上且与位于筛板6下方的收集板12之间存在间隙(间隙小于该工作线上筛选的三七主根和茎基的大小，主根和茎基通过海绵套的转动带动运送至传送带模块2)，收集板12、第一动力源10、第二动力源19安装在支撑平台9上，第一动力源10的输出轴上安装的小皮带轮15通过皮带I16带动一个大皮带轮14转动，通过大皮带轮14转动带动凸轮11转动，凸轮11旋转带动筛板6随筛体5振动；第二动力源19的输出轴上安装的小皮带轮15通过皮带I16带动另一个安装在转轴17上的大皮带轮14转动，进而带动转轴17上安装的海绵套13旋转。可选地，第一、二动力源采用电机。
所述支撑平台9沿输送方向设有三组台面，基于筛体5呈对称布置，位于中间的一组台面用于固定轴承座，与轴承座作孔轴配合的轴上安装通过第一动力源10驱动的大皮带轮14、凸轮11，支撑平台9另外两组台面的上部安装弹簧架7。所述收集板12包括底板、两侧板和分隔板，底板沿传送带模块2输送方向的两侧设有侧板；底板由倾斜板、水平板构成，水平板靠近传送带模块2一侧，且水平板通过分隔板分成多条输入通道，作为传送带模块2的输送入口，通过海绵套13转动，使收集板12上的三七主根和茎基依次前后留有间隔的落到传送带模块2上；对于不符合当前筛选分流尺寸的三七则通过导流口收集到收集框18以进行下一流程的筛选分流。其中，海绵套13的转动方向由收集板12向传送带模块2方向旋转。
可选地，所述海绵套13的角速度满足：
Figure BDA0003691469110000071
其中，ωT为海绵套13的角速度，RT为海绵套13的半径，VC为传送带20的线速度。海绵套13基于该约束条件下进行转动，使其具备擒纵的功能，能够使紧挨在一起的三七落到传送带20上时有一定的时间差，从而将其隔开距离，进而提高分拣模块4的分拣精度。
可选地，所述传送带模块2包括传送带20、机架II21、间隔板I22、支撑板I23、皮带轴24、第三动力源25、皮带Ⅱ26、皮带轮27；其中，支撑板I23安装在机架II21上，第三动力源25固定在支撑板I23上，第三动力源25的输出轴上安装的皮带轮27通过皮带Ⅱ26、皮带轴24上的皮带轮带动皮带轴24旋转，通过皮带轴24旋转带动传送带20运动，间隔板I22安装在机架II21上，通过间隔板I22将传送带20分成多条传输通道，且间隔板I22与传送带20的工作面留有间隙(通过间隔板I的设计，能有效地将来自筛选分流模块1的三七通过多个输送通道同步输送，以方便最终的分拣模块4将主根和茎基分离，间隔板I在每条工作线上的安装间隔距离不同)。可选地，第三动力源采用电机。
可选地，所述视频采集模块3包括机架III28、光源29、横向丝杆滑块机构、纵向丝杆滑块机构、工业相机36；其中，横向丝杆滑块机构安装在机架III28上，纵向丝杆滑块机构安装在横向杆滑块机构的滑块Ⅰ34上，工业相机36和光源29安装在纵向丝杆滑块机构的滑块Ⅱ35上，工业相机36数据线连接控制器，通过横向丝杆滑块机构、纵向丝杆滑块机构带动工业相机36和光源29共同移动，从而能够在准备阶段对视频采集的视距和范围进行调整，以保证在实际工作中，视频采集模块3能够采集到符合采集范围要求且画面清晰的视频数据。
所述横向丝杆滑块机构包括伺服电机Ⅰ30、丝杆Ⅰ32、滑块Ⅰ34，所述纵向丝杆滑块机构包括伺服电机Ⅱ31、丝杆Ⅱ33、滑块Ⅱ35；横向丝杆滑块机构、纵向丝杆滑块机构结构关系相同，以横向丝杆滑块机构为例：伺服电机Ⅰ30驱动丝杆Ⅰ32旋转，带动丝杆Ⅰ32上安装的滑块Ⅰ34进行直线运动。
可选地，所述分拣模块4包括机架Ⅳ37、主根收集板38、主根收集框39、支撑杆40、茎基收集板41、茎基收集框42、间隔板II43、轴套44、支撑板II45、分拣隔挡机构46；其中，同轴安装的轴套44、支撑杆40互不干涉(所述轴套44采用两半式设计，安装在支撑杆外周，轴套44两端与轴承座固定)，间隔板II43等间隔安装在轴套44上，分拣隔挡机构46固定在支撑板II45上且分拣隔挡机构46的数量与传送带模块2传输通道数量相同，并以支撑杆40的轴线为基准并排的安装在间隔板II43之间，茎基收集板41安装在分拣隔挡机构后方，茎基收集板41通过角接固定在支撑板II45上，主根收集板38固定在安装在支撑杆40的轴承座上，主根收集板38安装在分拣隔挡机构前方，茎基收集框42放在茎基收集板41下方用于收集已分离的茎基，主根收集框39放在主根收集板38下方用于收集已分离的主根。
可选地，所述分拣隔挡机构46包括直线式伺服电缸47、挡板48、推头49、推杆套50、推杆51、杠杆连接器52、弯角连接53；其中，直线式伺服电缸47固定在支撑板II45上，推头49安装在直线式伺服电缸47的推轴上，套在推杆51一端的推杆套50与推头49连接，推杆51另一端安装杠杆连接器52，通过弯角连接板53连接杠杆连接器52和挡板48。每条工作线上挡板48的宽度不同，直线式伺服电缸47并排固定在支撑板II45上，其最大行程为20mm，直线式伺服电缸47在默认状态时，分拣隔挡机构46为关闭状态，直线式伺服电缸47通电时，电缸向前推动推头49和推杆套50，从而带动推杆51、杠杆连接器52、弯角连接板53和挡板48旋转，此时分拣隔挡机构46为开启状态，两个状态之间的夹角为15°，断电后分拣隔挡机构46复位为关闭状态。
可选地，所述筛板6的筛孔尺寸、收集板12末端分隔板的间隔距离、海绵套13的厚度(海绵套为圆柱形，海绵套13的厚度即对应的圆柱形的高)、间隔板I22的安装间距、间隔板II43的安装间距、分拣隔挡机构中挡板48的宽度，在同一工作线中的尺寸设计相同，而在不同的工作线中则是根据每条工作线所筛选分流的三七体型等级分别进行设计的。根据实际作业经验，三七体型一般可以分为五个级别，用于设计五种工作线，五个等级分别为：0cm＜第一等级≤3cm、3cm＜第二等级≤4cm、4cm＜第三等级≤5cm、5cm＜第四等级≤6cm、6cm＜第五等级≤7cm，共计五个级别；作业过程中，也可以根据需要进行调整。如，可以设计五条工作线，先筛选第一等级的三七，而后串行依次筛选下一等级。
如图1-29所示，根据本发明实施例的另一方面，提供了一种三七主根与茎基的实时视觉识别分拣方法，包括：
步骤1、构建三七主根与茎基的图像数据集，并将其分为训练集与验证集；
步骤2、调用深度学习检测模型，使用训练集训练模型，得到多个权重参数文件；
步骤3、利用验证集对所得权重参数文件进行测试，筛选出最优权重参数文件，并生成冻结模型；
步骤4、将冻结模型与多目标检测算法串联，构建识别算法；
步骤5、开启所有工作线的筛选分流模块1、传送带模块2、视频采集模块3、分拣模块4和控制器；
步骤6、多条工作线的筛选分流模块1将三七物料按照其体型由小到大的筛选分流，此过程为串行；再分别将每条工作线上的三七物料通过筛选分流模块1以多个输入通道输送至对应传送带模块2上进行后续步骤，后续步骤均为并行；其中，三七物料包括三七主根和三七茎基；
步骤7、每条工作线中，视频采集模块3采集传送带模块2上三七运动时的视频数据，并通过数据传输线传输给控制器；
步骤8、每条工作线中，控制器接收到视频数据后通过识别算法进行对视频进行识别；
步骤9、每条工作线中，控制器识别到三七茎基后输出识别信号以驱动分拣执模块4将茎基导流分离到茎基收集框42中，以此循环步骤6～步骤9直至完成分拣。
可选地，所述步骤1具体如下，如图3所示：
步骤1.1、收集以传送带为背景的含有三七主根和茎基的图像；
步骤1.2、利用LabelImg标注软件对图像中的茎基进行标注，标注包括：目标的位置坐标信息和目标的类别信息；
步骤1.3、将标注完的所有三七标注信息统一进行数据格式转换；
步骤1.4、将标注转换后的结果按照8:2的比例随机分为训练集和验证集。
可选地，所述步骤2具体如下：
步骤2.1、调用深度学习检测模型YOLOx，根据检测的类别数量修改模型的输出维度；
步骤2.2、正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括学习率、抽取图片数、迭代次数、权重衰减系数、主干网络解冻迭代数，其余超参数为默认值；
步骤2.3、调用训练集和配置文件对深度学习检测模型进行训练；根据配置文件的超参数，随机抽取训练集中多张图片放入深度模型网络模型中进行训练，对模型权重参数进行更新，直到历遍整个训练集则完成一次迭代，同时保存一个权重参数，如此循环本步骤直至到达迭代次数，得到多个权重参数文件。
可选地，所述步骤3具体如下：
步骤3.1、将步骤2所得权重参数文件依次载入深度学习检测模型，调用验证集对各个载入了不同权重参数文件的模型进行性能评估，筛选得到最优权重参数文件；
步骤3.2、将最优权重参数文件载入深度学习检测模型，生成冻结模型。
可选地，所述步骤8，包括：
步骤8.1、冻结模型对视频采集模块3所拍摄的视频进行实时地逐帧检测，并实时地逐帧输出在每帧画面中所检测到的茎基的边界框和置信度信息；
步骤8.2、多目标追踪算法根据已存在轨迹，更新卡已存在轨迹的尔曼滤波器并预测当前帧中茎基的边界框信息；
步骤8.3、多目标追踪算法接收当前帧中的茎基检测信息，根据预设的置信度上界和置信度下界将其分为高分检测与低分检测；
步骤8.4、将步骤8.3中的高、低分检测与步骤8.2中依据已存在轨迹预测的边界框进行级联匹配；
步骤8.5、将步骤8.4中未匹配的轨迹中的状态为“已确认”的轨迹状态更新为“丢失”，未匹配的轨迹中状态为“新”的轨迹则删除，并分别判断所有“丢失”状态的轨迹是否满足移除条件，若满足则删除该轨迹；未匹配的轨迹是指当前帧中未与任何高分检测或低分检测相匹配的轨迹；
步骤8.6、利用当前帧未匹配的高分检测生成新的轨迹，其状态定义为“新”，并初始化这些新生成轨迹的卡尔曼滤波器；将当前帧未匹配的低分检测删除；
步骤8.7、判断步骤8.4中匹配成功的轨迹是否满足确认条件，若满足则将轨迹的状态变为“已确认”，并将其边界框信息和被确认时的时间作为识别信息输出；匹配成功的轨迹是指当前帧中与任意高分检测或低分检测相匹配的轨迹；
步骤8.8、更新当前帧中未被删除的茎基轨迹的卡尔曼滤波器；
步骤8.9、将当前帧中未被删除的轨迹作为下一轮循环的已存在轨迹，循环执行步骤8.2～8.9。
可选地，所述步骤8.4，具体如下：
步骤8.4.1、计算步骤8.2中轨迹预测的边界框与步骤8.3中的高分检测的边界框之间面积的交集与并集之比的矩阵(IOU矩阵)，并通过匈牙利算法进行一对一的匹配；
步骤8.4.2、计算步骤8.4.1中未与高分检测匹配的轨迹预测的边界框与步骤8.3中的低分检测的边界框之间面积的交集与并集(IOU)的矩阵，并通过匈牙利算法进行一对一的匹配。
可选地，所述步骤8.5中的移除条件具体为：
当多目标追踪算法每接收一帧的茎基检测信息并完成级联匹配后，提取出每个状态为“丢失”的茎基轨迹的边界框信息，分别判断每个状态为“丢失”的茎基轨迹的中心点坐标是否超出图像的采集范围，再判断“丢失”状态的茎基轨迹处于“丢失”状态的连续累加次数是否大于等于tset，若两个条件满足其中之一则视为满足移除条件，将该轨迹移除；反之则不满足。其表达公式为：
Figure BDA0003691469110000111
Figure BDA0003691469110000112
其中，
Figure BDA0003691469110000113
表示第k个“丢失”茎基轨迹的移除条件，如果取值为True，表示移除，取值为False，表示不移除；
Figure BDA0003691469110000114
表示第k个“丢失”轨迹经过归一化后的中心点坐标，tloss表示该轨迹连续处于“丢失”状态的连续累加次数，x表示中心点坐标的X轴值，y表示中心点坐标的Y轴值，Wimg表示图像的宽度，Himg表示图像的高度；tset表示累加次数判断阈值；该公式保证了未离开图像视野的目标不会先被移除后又被重新检测为新目标；
可选地，所述步骤8.7中的确认条件具体为：
设定累加次数统计参数δ和置信度阈值参数θhold，当多目标追踪算法每接收一帧的茎基检测信息后，分别将每个状态为“新”的茎基轨迹所对应的当前置信度值进行累加，连续累加次数达到δ次时，若累加置信度阈值为δ×θhold以上，则满足条件，输出识别信息且将轨迹状态更新为“已确认”；若小于δ×θhold，则不满足条件，且将累加计数和累加值清零；表达公式为：
Figure BDA0003691469110000121
其中，
Figure BDA0003691469110000122
表示第j个“新”茎基轨迹的确认条件，如果取值为True，表示满足条件，取值为False，表示不满足条件；
Figure BDA0003691469110000123
表示第j个“新”茎基轨迹所对应的第i次置信度值。该公式保证了每个目标都只会在状态由“新”转变为“已确认”时被输出识别信息一次，从而避免了同一目标的信息被多次输出的情况。
可选地，所述步骤9具体如下：控制器得到的每个三七茎基识别信号包括：信号输出的帧、茎基的目标ID、茎基的中心坐标、茎基的宽高信息、识别的置信度、信号输出的时间；控制器根据茎基的中心坐标和信号输出的时间计算出茎基距离到达传送带20末端下落的间隔时间Td，以及所落分拣隔挡机构的编号，再根据茎基的宽高信息计算出分拣隔挡机构应该开启的时间To，其余信息用于可视化展示及查验，计算公式为：
Figure BDA0003691469110000124
Figure BDA0003691469110000125
Figure BDA0003691469110000126
其中，Wimg为视频采集模块3采集图像的宽度，x为茎基的中心坐标的X轴值，y为茎基的中心坐标的Y轴值，h、w为茎基的宽高，Wimg、x、y、h、w的单位均为像素，S为视频采集模块3的实际采集范围的对角线长度(单位为m)与采集图像范围的对角线长度(单位为像素)的数值比，D为视频采集模块3采集的边界到传送带20末端的距离(m)(边界为靠近传送带末端的边界，如图12中所示为右边界)，VC为传送带20的运输线速度(m/s)，d为传送带模块2中间隔板的间隔距离(m)；计算完后由控制器计时，当达到Td时，分拣隔挡机构开启To后关闭，使茎基落到分拣隔挡机构后方的茎基收集板41，从而实现主根和茎基的分离。
实施例2：结合实验数据，本发明给出可选地具体实施方式如下：
给出步骤1的具体实施过程，流程如图3所示：
步骤1.1、收集以传送带为背景的含有三七主根和茎基的图像共1000张，如图2所示，展示了其中1张含有三七主根和茎基的图像；
步骤1.2、利用LabelImg标注软件对1000张含有三七主根和茎基的图像中的茎基进行标注，标注包括：目标的位置坐标信息和目标的类别信息，其中目标的中心位置坐标以中心点坐标[x，y]和宽高信息[w，h]表示，目标的类别信息为茎基，标注效果如图4所示；
步骤1.3、将标注完的所有三七异物标注信息统一进行数据格式转换；即利用python脚本将标签文件从XML格式转换为COCO追踪数据集的格式，使其能够被用于后续深度学习模型的训练和验证；
步骤1.4、将标注转换后的结果按照8∶2的比例随机分为训练集和验证集，并分别放入相应的文件夹，构建成三七主根和茎基的数据集。
进一步地，给出步骤2到3的具体实施过程，流程如图5所示：
步骤2.1、调用深度学习检测模型YOLOx，根据检测的类别数量，修改模型Heads部分，Reshape输出数据的维度，具体修改为5+类别数，本实例中为6。YOLOx的模型结构如图6所示，其子模块结构如图7所示；模型首先将输入图像重整为[640，640，3]的大小，然后经过Backbone部分得到三张不同尺度的特征图，其大小分别为：[80，80，256]、[40，40，512]和[20，20，1024]，不同尺度代表不同大小的特征信息，然后将三张特征图分别经过Neck部分得到三个尺度不变的细化特征图，在将其作为Heads部分的输入，最终由Heads输出得到检测信息，将检测信息与原图叠加后可得到可视化结果，其可视化结果如图8所示，图8中展示了3张图像的可视化结果；
步骤2.2、正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括学习率、抽取图片数、迭代次数、权重衰减系数，其余超参数为默认值；在本实例中，学习率为0.001、抽取图片数为8、迭代次数为1000、权重衰减系数0.01、主干网络解冻迭代数为400，其余超参数为默认值，训练平台为搭载Ubuntu18.04的台式电脑，其GPU为GeForce RTX3080ti，CPU为Intel i5-11600k，内存为32Gb。
步骤2.3、调用训练集和配置文件在深度学习网络框架Pytorch中对深度学习检测模型进行训练；根据配置文件的超参数，首先冻结模型Backbone部分的参数，再依次随机抽取训练集中的8张图片放入深度模型网络模型中进行训练，对模型其他部分的权重参数进行更新，直到历遍整个训练集则完成一次迭代，同时保存一个权重参数文件，如此循环达到400次时，将Backbone部分的参数解冻，在继续迭代更新整个模型的全部权重参数，直至1000次时停止。所述权重更新，具体为：使用随机初始化的权重参数进行卷积神经网络的前向传播计算并得到的一组中间参数，再使用该中间参数进行反向传播得到一组新的权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；
步骤3.1、将步骤2所得权重参数文件依次载入深度学习检测模型，调用验证集对各个载入了不同权重参数文件的模型进行性能评估，评估标准主要通过模型的检测速度、漏检率、误检率和准确率、召回率和平均精度进行评估，综合筛选得到最优权重参数文件；
步骤3.2、将最优权重参数文件载入深度学习检测模型，生成冻结模型，该模型作为最终用于检测的模型，可被后续所有工作线共同调用。
步骤4、将冻结模型与多目标检测算法串联，构建识别算法；
进一步地，步骤5的具体实施过程为：开启所有工作线的筛选分流模块1、传送带模块2、视频采集模块3、分拣模块4和控制器。筛选分流模块1振动频率为3Hz，其中的海绵套13转速为1rad/s，传送带模块2运输线速度为0.08m/s。视频采集模块3中工业相机36开启的初始参数包括图片的速度30FPS/s、像素大小1080p和进光量最大，工业相机36为Basler彩色相机，视频采集模块3中还需开启光源29，光源29为LED光源，用于提高待分拣三七的亮度，克服环境光干扰，保证图像采集时的亮度，形成最有利于图像处理的成像效果。
进一步地，步骤6的具体实施过程可以为：将三七依次置于用于分拣五个级别的三七主根和茎基工作线中的筛选分流模块1，根据三七体型从小到大的分为五个级别，此过程为串行，再分别并行的进行后续工作流程；由振动筛筛出的三七落到收集收集板12后由慢速转动的海绵套13将其留有间隔的依次排布到传送带模块2上。
在本实例中，采用的传送带20速度为0.08m/s，海绵套13半径为0.07m，海绵套角速速为1rad/s。
进一步地，步骤7的具体实施过程为：视频采集模块3采集传送带模块2上的三七运动视频数据，并通过数据传输线传输给控制器；在本实例中采集与传输速度均为30FPS，传输视频为1080p大小。
进一步地，步骤8的识别算法为步骤4所得算法，算法流程如图9所示，包括冻结模型和多目标追踪算法，其中多目标追踪算法的流程图如图10所示，该步骤的具体实施过程为：
步骤8.1、冻结模型对视频采集模块3所拍摄的视频进行实时地逐帧检测，并实时地逐帧输出在每帧画面中所检测到的茎基的边界框[x，y，w，h]和置信度信息score；
步骤8.2、多目标追踪算法ByterTrack根据已存在轨迹，更新已存在轨迹的卡尔曼滤波器并预测当前帧中茎基的边界框信息[x′，y′，w′，h′]。
步骤8.3、多目标追踪算法接收当前帧中的茎基检测信息，根据预设的置信度上界和置信度下界将其按照置信度信息score分为高分检测与低分检测；本实例中，置信度上界为0.75，下界为0.45，高分检测的置信度范围为[1，0.75]，低分检测的置信度范围为(0.75，0.45]。
步骤8.4、将步骤8.3中的高、低分检测与步骤8.2中茎基轨迹预测的边界框进行级联匹配，流程如图11所示，具体步骤如下：
步骤8.4.1、计算步骤8.2中茎基轨迹预测的边界框[x′，y′，w′，h′]与步骤8.3中的高分检测的边界框[x，y，w，h]之间面积的交集与并集之比的矩阵(IOU矩阵)，并通过匈牙利算法进行一对一的匹配，本实例中匈牙利算法的匹配阈值为0.6，即IOU值小于0.6则代表不匹配；
步骤8.4.2、计算步骤8.4.1中未与高分检测匹配的轨迹预测的边界框与步骤8.3中的低分检测的边界框之间面积的IOU矩阵，并通过匈牙利算法进行一对一的匹配，具体过程与步骤8.4.1相同；
步骤8.5、将步骤8.4中未匹配轨迹中的“已确认”状态轨迹的状态更新为“丢失”，未匹配的轨迹中状态为“新”的轨迹则删除，并判断所有“丢失”状态的轨迹是否满足移除条件，若满足则删除该轨迹；未匹配的轨迹包括是指当前帧中未与任何高分检测或低分检测相匹配的轨迹；其中移除条件具体为：
当追踪算法每接收一帧的茎基检测信息并完成级联匹配后，提取出每个状态为“丢失”的茎基轨迹的位置信息，分别判断每个状态为“丢失”的茎基轨迹的中心点坐标是否超出图像的采集范围，再判断“丢失”状态的茎基轨迹处于“丢失”状态的连续累加次数是否大于等于120，若两个条件满足其中之一则视为满足移除条件，将该轨迹移除；反之则不满足。其表达公式为：
Figure BDA0003691469110000151
Figure BDA0003691469110000152
其中，
Figure BDA0003691469110000153
表示第k个“丢失”茎基轨迹的移除条件，
Figure BDA0003691469110000154
该“丢失”轨迹经过归一化后的中心点坐标，tloss表示该轨迹连续处于“丢失”状态的连续累加次数，x表示中心点坐标的X值，y表示中心点坐标的Y值，Wimg表示图像的宽度，Himg表示图像的高度。该公式保证了未离开图像视野的目标不会先被移除后又被重新检测为新目标；
步骤8.6、利用当前帧未匹配的高分检测生成新的轨迹，其状态定义为“新”，并初始化这些新生成轨迹的卡尔曼滤波器，具体为创建一个初始的卡尔曼滤波器，然后将未匹配的高分检测输入该卡尔曼滤波器，更新卡尔曼滤波器的参数，最后为其创建一个状态参数并定义为“新”；将当前帧未匹配的低分检测删除；
步骤8.7、判断步骤8.4中匹配成功的轨迹是否满足确认条件，若满足则将轨迹的状态变为“已确认”，并将其位置信息和被确认时的时间作为识别信息输出，匹配成功的轨迹是指当前帧中与任意高分检测或低分检测相匹配的轨迹；其中确认条件具体为：
设定参数δ和参数θhold，当追踪算法每接收一帧的茎基检测信息后，分别将每个状态为“新”的茎基轨迹所对应的当前置信度值进行累加，连续累加次数达到δ次时，若累加值大于δ×θhold则满足条件，输出识别信息且将轨迹状态更新为“已确认”；若小于δ×θhold则不满足条件，且将累加计数和累加值清零，其表达公式如实施例中上述描述；本实例中参数δ设定为6，参数θhold则设定为0.7，满足确认条件的轨迹将会被提取输出帧数、目标ID、目标中心坐标[x，y]、目标宽高[w，h]、置信度以及输出时间作为识别信息输出，识别信息的示意图以及其对应的可视化结果如图12所示；
步骤8.8、更新当前帧中未被删除的茎基轨迹的卡尔曼滤波器，其更新方法为卡尔曼滤波器的默认更新方式；
步骤8.9、将当前帧中未被删除的轨迹作为下一轮循环的已存在轨迹，循环执行步骤8.2～8.9。
进一步地，步骤9的具体实施过程为：控制器得到的每个三七茎基识别信号包括：信号输出的帧、茎基的目标ID、茎基的中心坐标、茎基的宽高信息、识别的置信度、信号输出的时间；控制器根据茎基的中心坐标和信号输出的时间计算出茎基距离到达传送带20末端下落的间隔时间Td，以及会落在的第i个分拣隔挡机构46上，再根据茎基的宽高信息计算出分拣隔挡机构46应该开启的时间To，其余信息用于可视化展示及查验，计算公式如实施例中上述描述；如图13中所示，本实例的边界为右边界；本实例中，Wimg＝1080，S＝0.244/1080＝0.000226，D＝0.47，VC＝0.08m/s，d则在不同工作线上距离不同，分别从小到大为0.03m、0.04m、0.05m、0.06m、0.07m；计算完后由控制器计时，当达到Td时，分拣隔挡机构46开启To后关闭，使茎基落到分拣隔挡机构46后方的茎基收集板41，从而实现主根和茎基的分离，分拣仿真示意图如图13所示；
最后在每条工作线上都循环执行步骤6至9，直至完成所有的三七主根和茎基的分拣。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种三七主根与茎基的实时视觉识别分拣方法，其特征在于：包括：
步骤1、构建三七主根与茎基的图像数据集，并将其分为训练集与验证集；
步骤2、调用深度学习检测模型，使用训练集训练模型，得到多个权重参数文件；
步骤3、利用验证集对所得权重参数文件进行测试，筛选出最优权重参数文件，并生成冻结模型；
步骤4、将冻结模型与多目标检测算法串联，构建识别算法；
步骤5、开启所有工作线的筛选分流模块(1)、传送带模块(2)、视频采集模块(3)、分拣模块(4)和控制器；
步骤6、多条工作线的筛选分流模块(1)将三七物料按照其体型由小到大的筛选分流，此过程为串行；再分别将每条工作线上的三七物料通过筛选分流模块(1)以多个输入通道输送至对应传送带模块(2)上进行后续步骤，后续步骤均为并行；
步骤7、每条工作线中，视频采集模块(3)采集传送带模块(2)上三七运动时的视频数据，并通过数据传输线传输给控制器；
步骤8、每条工作线中，控制器接收到视频数据后通过识别算法进行对视频进行识别；
步骤9、每条工作线中，控制器识别到三七茎基后输出识别信号以驱动分拣执模块(4)将茎基导流分离到茎基收集框(42)中，以此循环步骤6～步骤9直至完成分拣；
所述步骤8，包括：
步骤8.1、冻结模型对视频采集模块(3)所拍摄的视频进行实时地逐帧检测，并实时地逐帧输出在每帧画面中所检测到的茎基的边界框和置信度信息；
步骤8.2、多目标追踪算法根据已存在轨迹，更新卡已存在轨迹的尔曼滤波器并预测当前帧中茎基的边界框信息；
步骤8.3、多目标追踪算法接收当前帧中的茎基检测信息，根据预设的置信度上界和置信度下界将其分为高分检测与低分检测；
步骤8.4、将步骤8.3中的高、低分检测与步骤8.2中依据已存在轨迹预测的边界框进行级联匹配；
步骤8.5、将步骤8.4中未匹配的轨迹中的状态为“已确认”的轨迹状态更新为“丢失”，未匹配的轨迹中状态为“新”的轨迹则删除，并分别判断所有“丢失”状态的轨迹是否满足移除条件，若满足则删除该轨迹；未匹配的轨迹是指当前帧中未与任何高分检测或低分检测相匹配的轨迹；
步骤8.6、利用当前帧未匹配的高分检测生成新的轨迹，其状态定义为“新”，并初始化这些新生成轨迹的卡尔曼滤波器；将当前帧未匹配的低分检测删除；
步骤8.7、判断步骤8.4中匹配成功的轨迹是否满足确认条件，若满足则将轨迹的状态变为“已确认”，并将其边界框信息和被确认时的时间作为识别信息输出；匹配成功的轨迹是指当前帧中与任意高分检测或低分检测相匹配的轨迹；
步骤8.8、更新当前帧中未被删除的茎基轨迹的卡尔曼滤波器；
步骤8.9、将当前帧中未被删除的轨迹作为下一轮循环的已存在轨迹，循环执行步骤8.2～8.9。
2.根据权利要求1所述的三七主根与茎基的实时视觉识别分拣方法，其特征在于：所述步骤8.4，具体如下：
步骤8.4.1、计算步骤8.2中轨迹预测的边界框与步骤8.3中的高分检测的边界框之间面积的交集与并集之比的矩阵，并通过匈牙利算法进行一对一的匹配；
步骤8.4.2、计算步骤8.4.1中未与高分检测匹配的轨迹预测的边界框与步骤8.3中的低分检测的边界框之间面积的交集与并集的矩阵，并通过匈牙利算法进行一对一的匹配。
3.根据权利要求1所述的三七主根与茎基的实时视觉识别分拣方法，其特征在于：所述步骤8.5中的移除条件具体为：当多目标追踪算法每接收一帧的茎基检测信息并完成级联匹配后，提取出每个状态为“丢失”的茎基轨迹的边界框信息，分别判断每个状态为“丢失”的茎基轨迹的中心点坐标是否超出图像的采集范围，再判断“丢失”状态的茎基轨迹处于“丢失”状态的连续累加次数是否大于等于tset，若两个条件满足其中之一则视为满足移除条件，将该轨迹移除；反之则不满足；表达公式为：
Figure FDA0004066637620000021
Figure FDA0004066637620000022
其中，
Figure FDA0004066637620000023
表示第k个“丢失”茎基轨迹的移除条件，如果取值为True，表示移除，取值为False，表示不移除；
Figure FDA0004066637620000024
表示第k个“丢失”轨迹经过归一化后的中心点坐标，tloss表示该轨迹连续处于“丢失”状态的连续累加次数，x表示中心点坐标的X轴值，y表示中心点坐标的Y轴值，Wimg表示图像的宽度，Himg表示图像的高度；tset表示累加次数判断阈值。
4.根据权利要求1所述的三七主根与茎基的实时视觉识别分拣方法，其特征在于：所述步骤8.7中的确认条件具体为：设定累加次数统计参数δ和置信度阈值参数θhold，当多目标追踪算法每接收一帧的茎基检测信息后，分别将每个状态为“新”的茎基轨迹所对应的当前置信度值进行累加，连续累加次数达到δ次时，若累加置信度阈值为δ×θhold以上，则满足条件，输出识别信息且将轨迹状态更新为“已确认”；若小于δ×θhold，则不满足条件，且将累加计数和累加值清零；表达公式为：
Figure FDA0004066637620000031
其中，
Figure FDA0004066637620000032
表示第j个“新”茎基轨迹的确认条件，如果取值为True，表示满足条件，取值为False，表示不满足条件；
Figure FDA0004066637620000033
表示第j个“新”茎基轨迹所对应的第i次置信度值。
5.根据权利要求1所述的三七主根与茎基的实时视觉识别分拣方法，其特征在于：所述步骤9具体如下：控制器得到的每个三七茎基识别信号至少包括：茎基的中心坐标、茎基的宽高信息、信号输出的时间；控制器根据茎基的中心坐标和信号输出的时间计算出茎基距离到达传送带(20)末端下落的间隔时间Td，以及所落分拣隔挡机构的编号，再根据茎基的宽高信息计算出分拣隔挡机构应该开启的时间To，计算公式为：
Figure FDA0004066637620000034
Figure FDA0004066637620000035
Figure FDA0004066637620000036
其中，Wimg为视频采集模块(3)采集图像的宽度，x为茎基的中心坐标的X轴值，y为茎基的中心坐标的Y轴值，h、w为茎基的宽高，Wimg、x、y、h、w的单位均为像素，S为视频采集模块(3)的实际采集范围的对角线长度与采集图像范围的对角线长度的数值比，D为视频采集模块(3)采集的边界到传送带(20)末端的距离，VC为传送带(20)的运输线速度，d为传送带模块(2)中间隔板的间隔距离；计算完后由控制器计时，当达到Td时，分拣隔挡机构开启To后关闭，使茎基落到分拣隔挡机构后方的茎基收集板(41)，从而实现主根和茎基的分离。
6.一种采用权利要求1所述三七主根与茎基的实时视觉识别分拣方法的三七主根与茎基的实时视觉识别分拣系统，其特征在于：所述分拣系统至少包括1条工作线，每条工作线包括筛选分流模块(1)、传送带模块(2)、视频采集模块(3)、分拣模块(4)、控制器；
所述筛选分流模块(1)，用于将三七的主根和茎基按照大小进行筛分，将筛选好的主根和茎基以多个输入通道输送至传送带模块(2)对应传输通道上；
所述传送带模块(2)，用于以多个传输通道运输已筛选好的三七主根和茎基；
所述视频采集模块(3)，用于对传送带模块(2)上的三七主根和茎基进行连续拍摄来获取待检测视频数据；
所述控制器，用于依据视频采集模块(3)所获取的视频数据，输出识别信息；依据识别信息驱动分拣模块(4)；
所述分拣模块(4)，用于对传送带模块(2)上的三七主根和茎基进行分离。
7.根据权利要求6所述的三七主根与茎基的实时视觉识别分拣系统，其特征在于：所述筛选分流模块(1)，用于通过第一动力源(10)驱动带动安装在筛体(5)上的筛板(6)将三七的主根和茎基按照大小进行筛分输送至收集板(12)处；筛体(5)上设有导流口，用于导流三七物料至收集框(18)；收集板(12)靠近传送带模块(2)一侧设有多个输入通道；输入通道与传送带模块(2)的连通处设有海绵套(13)；通过第二动力源(19)驱动海绵套(13)转动带动输入通道上的三七物料依次有间隔的输送至传送带模块(2)对应的传输通道上。
8.根据权利要求6所述的三七主根与茎基的实时视觉识别分拣系统，其特征在于：所述分拣模块(4)包括机架Ⅳ(37)、主根收集板(38)、主根收集框(39)、支撑杆(40)、茎基收集板(41)、茎基收集框(42)、间隔板II(43)、轴套(44)、支撑板II(45)、分拣隔挡机构(46)；其中，同轴安装的轴套(44)、支撑杆(40)互不干涉，间隔板II(43)等间隔安装在轴套(44)上，分拣隔挡机构(46)固定在支撑板II(45)上，并以支撑杆(40)的轴线为基准并排的安装在间隔板II(43)之间，茎基收集板(41)安装在分拣隔挡机构后方，主根收集板(38)安装在分拣隔挡机构前方，茎基收集框(42)放在茎基收集板(41)下方，主根收集框(39)放在主根收集板(38)下方。
9.根据权利要求8所述的三七主根与茎基的实时视觉识别分拣系统，其特征在于：所述分拣隔挡机构(46)包括直线式伺服电缸(47)、挡板(48)、推头(49)、推杆套(50)、推杆(51)、杠杆连接器(52)、弯角连接板(53)；其中，直线式伺服电缸(47)固定在支撑板II(45)上，推头(49)安装在直线式伺服电缸(47)的推轴上，套在推杆(51)一端的推杆套(50)与推头(49)连接，推杆(51)另一端安装杠杆连接器(52)，通过弯角连接板(53)连接杠杆连接器(52)和挡板(48)。
CN202210665308.2A 2022-06-13 2022-06-13 一种三七主根与茎基的实时视觉识别分拣系统及方法 Active CN114950969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210665308.2A CN114950969B (zh) 2022-06-13 2022-06-13 一种三七主根与茎基的实时视觉识别分拣系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210665308.2A CN114950969B (zh) 2022-06-13 2022-06-13 一种三七主根与茎基的实时视觉识别分拣系统及方法

Publications (2)

Publication Number Publication Date
CN114950969A CN114950969A (zh) 2022-08-30
CN114950969B true CN114950969B (zh) 2023-03-21

Family

ID=82961745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210665308.2A Active CN114950969B (zh) 2022-06-13 2022-06-13 一种三七主根与茎基的实时视觉识别分拣系统及方法

Country Status (1)

Country Link
CN (1) CN114950969B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630217B (zh) * 2023-06-15 2024-05-10 昆明理工大学 一种低损伤三七主根的互作感知式进挖方法
CN117443741B (zh) * 2023-12-22 2024-03-12 成都工业职业技术学院 一种快递智能分拣装置及其分拣方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6679188B1 (ja) * 2018-10-19 2020-04-15 株式会社御池鐵工所 廃棄物選別装置及び廃棄物選別方法
CN213943972U (zh) * 2020-11-03 2021-08-13 宇康铭源中药材科技(北京)有限公司 一种中药材红外智能自动在线分拣装置
CN214417031U (zh) * 2020-12-26 2021-10-19 昆明理工大学 一种基于机器视觉的三七主根检测分级分拣装置
CN113245222B (zh) * 2021-06-21 2022-06-07 昆明理工大学 一种三七异物视觉实时检测分拣系统及分拣方法
CN114029250B (zh) * 2021-10-27 2022-11-18 因格(苏州)智能技术有限公司 物品分拣方法与系统
CN113996545A (zh) * 2021-11-23 2022-02-01 昆明理工大学 一种基于计算机视觉的三七主根快速分选生产线
CN114289332A (zh) * 2022-01-20 2022-04-08 湖南视比特机器人有限公司 工件分拣的视觉识别与定位方法、装置及分拣系统

Also Published As

Publication number Publication date
CN114950969A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114950969B (zh) 一种三七主根与茎基的实时视觉识别分拣系统及方法
CN104084379B (zh) 一种玉米种子图像精选装置及其使用方法
CN103801520B (zh) 虾的自动精选分级方法与装置
CN206139527U (zh) 全景视觉马铃薯分选和缺陷检测装置
CN103639124B (zh) 一种分拣系统
CN103323455A (zh) 基于反射、透视和显微图像的烟叶分级方法
CN1329132C (zh) 基于三个摄像系统在线水果品质检测分级的装置与方法
CN104483320B (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
CN110070008A (zh) 一种采用无人机图像的桥梁病害识别方法
CN106370667A (zh) 一种玉米籽粒品质视觉检测装置及方法
CN109030504B (zh) 基于虚实成像相结合的全景马铃薯缺陷检测装置及方法
CN110125021A (zh) 一种蚕茧自动分选装置
CN113145492A (zh) 一种用于梨外观品质视觉分级方法及分级生产线
CN114494696A (zh) 一种多尺度煤矸图像快速检测的方法、系统及装置
CN114354637A (zh) 基于机器视觉和x射线的水果品质综合分级方法和装置
CN104298993B (zh) 一种适用于轨道沿线复杂场景下的杆号定位和识别方法
CN113245222B (zh) 一种三七异物视觉实时检测分拣系统及分拣方法
CN112950602B (zh) 基于深度相机与机器学习的糖果缺陷检测装置及分类方法
CN105195438B (zh) 基于图像识别的嵌入式自动珍珠分拣器及分拣方法
CN106067020A (zh) 实时场景下快速获取有效图像的系统和方法
CN109507204A (zh) 一种基于弯曲度检测的鸡胸肉木质化分级方法及其装置
CN206139529U (zh) 透明滚轴机构
CN111805541A (zh) 一种基于深度学习的中药饮片净选装置及净选方法
CN205074251U (zh) 基于图像识别的嵌入式珍珠分拣器
CN115770734B (zh) 一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant