CN113245222B - 一种三七异物视觉实时检测分拣系统及分拣方法 - Google Patents
一种三七异物视觉实时检测分拣系统及分拣方法 Download PDFInfo
- Publication number
- CN113245222B CN113245222B CN202110686315.6A CN202110686315A CN113245222B CN 113245222 B CN113245222 B CN 113245222B CN 202110686315 A CN202110686315 A CN 202110686315A CN 113245222 B CN113245222 B CN 113245222B
- Authority
- CN
- China
- Prior art keywords
- pseudo
- ginseng
- foreign matters
- belt
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 30
- 238000011897 real-time detection Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 16
- 235000003143 Panax notoginseng Nutrition 0.000 title claims description 32
- 241000180649 Panax notoginseng Species 0.000 title claims description 32
- 235000003181 Panax pseudoginseng Nutrition 0.000 claims abstract description 79
- 244000131316 Panax pseudoginseng Species 0.000 claims abstract description 79
- 238000012216 screening Methods 0.000 claims abstract description 40
- 230000008014 freezing Effects 0.000 claims abstract description 15
- 238000007710 freezing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 31
- 238000013135 deep learning Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005498 polishing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004140 cleaning Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004927 clay Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000010298 pulverizing process Methods 0.000 description 1
- 239000001397 quillaja saponaria molina bark Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229930182490 saponin Natural products 0.000 description 1
- 150000007949 saponins Chemical class 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07B—SEPARATING SOLIDS FROM SOLIDS BY SIEVING, SCREENING, SIFTING OR BY USING GAS CURRENTS; SEPARATING BY OTHER DRY METHODS APPLICABLE TO BULK MATERIAL, e.g. LOOSE ARTICLES FIT TO BE HANDLED LIKE BULK MATERIAL
- B07B1/00—Sieving, screening, sifting, or sorting solid materials using networks, gratings, grids, or the like
- B07B1/28—Moving screens not otherwise provided for, e.g. swinging, reciprocating, rocking, tilting or wobbling screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Processing (AREA)
- Sorting Of Articles (AREA)
Abstract
本发明公开了一种三七异物视觉实时检测分拣系统分拣方法，本发明通过振动筛选机构进行初筛，从而适当减轻后续模块的工作量，通过视觉分拣模块可以有效地用于采集传送模块传送的经初筛的三七，再进一步地控制器通过调用冻结模型可以进一步用于识别异物，并进一步根据识别结果驱动机械抓手动作实现分拣，通过本发明公开的系统及方法，有效解决了现阶段的三七处理自动化流水线作业中，三七清洗质量完全是靠工作人员进行抽样检测导致存在遗留异物三七的不足，本发明方法利用深度学习方法进行分析，自动输出识别分拣结果，结合视觉分拣模块，自动剔除不合格的产品，有效降低了工人的劳动强度，同时还可以提高分拣准确率。
Description
技术领域
本发明涉及一种三七异物视觉实时检测分拣系统及分拣方法，属于农业产品视觉识别与分拣技术领域。
背景技术
在三七相关产品生产高峰期，三七生产处理厂每日需处理大量三七原材料。较为完善的三七处理自动化流水线主要包括清洗、烘烤、切片或者制粉。而在清洗流程中，由于三七形状与表面纹理复杂，其主根上会经常夹杂一些难以去除的泥沙和石块等异物。因此，清洗质量是否达标是三七产品后续医药深加工的基本前提和保障。在现阶段的三七处理自动化流水线作业中，三七清洗质量完全是靠工作人员进行人工目视方式的异物抽样检测，这就导致了三七清洗质量检测方法存在着诸多局限。三七的清洗时间过短，其表面附着的异物难以洗净；工业传送带速度过快或者工作人员检测时间过长，都会导致检测质量下降，因此有必要研究一种三七分拣的系统及方法。
发明内容
本发明提供了一种三七异物视觉实时检测分拣系统，通过该系统提供了三七基于视觉实时检测的三七分拣平台，并进一步提供了一种三七异物视觉实时检测分拣方法，通过该方法可以有效地用于分拣存在异物的三七。
本发明的技术方案是：一种三七异物视觉实时检测分拣系统，包括振动筛选机构1、视觉分拣模块2、传送模块3、控制器；其中振动筛选机构1用于对三七进行振动及初筛，传送模块3用于传送经初筛后的三七，视觉分拣模块2用于对传送模块3上的物体进行拍照及根据控制器的驱动进行三七分拣。
所述振动筛选机构1包括筛子4、顶框5、凸轮6、小齿轮7、大齿轮8、电机机架9、电机10、机架I；其中电机10安装在电机机架9上，电机机架9固定在机架I上，电机10输出轴驱动位于筛子4一侧的大齿轮8转动，大齿轮8与位于大齿轮8上方的小齿轮7啮合，下齿轮7的转动带动凸轮6转动，顶框5固定在筛子4一侧用于提供凸轮6转动空间，筛子4通过两侧的支架与弹簧连接安装在机架I上，且筛子4的筛面呈倾斜布置，通过凸轮6转动带动顶框5及筛子4共同上下振动对三七进行初筛。
所述视觉分拣模块2包括机架II11、纵向线性模组12、横向线性模组13、竖向线性模组14、机械抓手15、工业相机16、光源、红外传感器；其中机架II11固定在地面上，两组纵向线性模组12固定在机架II11上方，横向线性模组13固定在两组纵向线性模组12的滑块上，竖向线性模组14位于两组纵向线性模组12之间且固定横向线性模组13的滑块上，机械抓手15固定在竖向线性模组14的滑块上，工业相机16安装在机架II11上用于拍摄传送模块3中传送带22处的图像，光源用于打光，红外传感器用于感应传送带22上是否有物体通过。
所述传送模块3包括机架III、电机支撑板17、电机I18、皮带19、皮带轮20、皮带轴21、传送带22；其中电机支撑板17固定在机架III上，电机I18固定在电机支撑板17上，电机I18驱动第一个皮带轮20转动，第一个皮带轮20通过皮带19带动第二个皮带轮20及安装第二个皮带轮20的第一根皮带轴21转动，两根皮带轴21通过传送带22连接，通过皮带轴21带动传送带22运动。
一种三七异物视觉实时检测分拣方法，所述方法的具体步骤如下：
Step1、构建三七异物图像数据集；
Step2、搭建深度学习网络模型，并采用图像数据集中的训练集训练模型，获得权重参数；
Step3、输入图像数据集中的验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；并利用最优权重参数生成冻结模型；
Step4、开启工业相机16并设置初始参数；
Step5、红外传感器感应到物体通过，触发工业相机16采集三七图像，控制器对接收的工业相机16传来的三七图像进行预处理，调用冻结模型对预处理过的三七图像进行异物实时检测，根据目标实时检测的结果，判断是否存在异物，如果存在异物，则驱动机械抓手15进行抓取实现分拣。
所述Step1具体如下：
Step1.1、将收集的所有含有异物的三七图像随机分类成训练集图像和验证集图像；
Step1.2、利用LabelImg标注软件对训练集图像和验证集图像的锚框异物进行标注；其中，标注包括：目标信息中心位置的横、纵坐标，边界框的长、宽大小和异物类别；
Step1.3、将标注完的所有三七异物标注信息统一进行类型转换；
Step1.4、将标注转换后的结果分别放入对应的训练集图像文件夹和验证集图像文件夹中，共同构成由训练集和验证集组成的三七异物图像数据集。
所述Step2具体如下：
Step2.1、利用Faster-Rcnn检测算法、残差网络和跨阶段局部网络构建深度学习网络模型；所述残差网络和跨阶段局部网络构成深度学习模型网络模型的主干网络；
Step2.2、正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括学习率、抽取图片数、迭代次数、权重衰减系数，其余超参数为默认值；
Step2.3、调用训练集和配置文件在深度学习网络框架TensorFlow中对深度学习网络模型进行训练；根据配置文件的超参数，依次随机抽取训练集中的多张图片放入深度模型网络模型中进行训练，对模型权重参数进行更新，达到设定迭代次数权重参数更新结束生成最后的权重参数。
所述Step3具体如下：
Step3.1、输入验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；
Step3.2、利用Python将最优权重参数生成冻结模型。
所述Step5具体如下：
Step5.1、生产线上的三七经过振动筛选机构1初筛到达传送带22；
Step5.2、传送带22上的三七触发红外传感器，红外传感器传输信号至控制器，控制器根据设置的延时时间驱动工业相机16对待拍摄区域进行拍摄以采集待分拣三七的图像信息；
Step5.3、控制器对工业相机16实时抓取的三七图像进行双线性插值、锐化处理；
Step5.4、调用冻结模型对预处理过的三七图像的进行异物实时检测，根据目标实时检测的结果，判断是否存在异物：
若不存在异物，控制器控制振动筛选机构1、传送带22和工业相机16继续工作，执行Step5.1；
若存在异物，控制器控制筛选机构1、传送带22和工业相机16停止工作；实时检测会生成每个异物的边界框，根据边界框的数量和坐标位置信息得到当前图像内所有三七表面异物的数量和实时坐标位置；控制器根据异物的数量和实时坐标位置驱动纵向线性模组12、横向线性模组13、竖向线性模组14带动机械抓手15逐个抓取表面含有异物的三七，直至所有表面含有异物的三七抓取完成为止；机械抓手15复位，等待触发下一次抓取命令。
本发明的有益效果是：本发明通过振动筛选机构进行初筛，从而适当减轻后续模块的工作量，通过视觉分拣模块可以有效地用于采集传送模块传送的经初筛的三七，再进一步地控制器通过调用冻结模型可以进一步用于识别异物，并进一步根据识别结果驱动机械抓手动作实现分拣，通过本发明公开的系统及方法，有效解决了现阶段的三七处理自动化流水线作业中，三七清洗质量完全是靠工作人员进行抽样检测导致存在遗留异物三七的不足，本发明方法利用深度学习方法进行分析，自动输出识别分拣结果，结合视觉分拣模块，自动剔除不合格的产品，有效降低了工人的劳动强度，同时还可以提高分拣准确率，从而使三七检测质量大大提升，也可避免长时间清洗导致三七内部有效成分皂苷流失的不足。
附图说明
图1为本发明的流程图；
图2为一张三七异物图；
图3为构建三七异物图像数据集的流程图；
图4为软件LabelImg标注三七异物图；
图5为深度网络模型CSP-ResNet-50骨干网络模型图；
图6为模型训练及生成冻结模型流程图
图7为深度学习网络模型图；
图8为经预处理后三七异物图；
图9为实时检测效果图；
图10为系统装配图；
图11为振动筛选机构结构图；
图12为振动筛选机构左视图；
图13为振动筛选机构侧视图；
图14为视觉分拣模块结构图；
图15为传送模块结构图；
图16为传送模块局部图；
图中各标号为：1-振动筛选机构、2-视觉分拣模块、3-传送模块、4-筛子、5-顶框、6-凸轮、7-小齿轮、8-大齿轮、9-电机机架、10-电机、11-机架II、12-纵向线性模组、13-横向线性模组、14-竖向线性模组、15-机械抓手、16-工业相机、17-电机支撑板、18-电机I、19-皮带、20-皮带轮、21-皮带轴、22-传送带。
具体实施方式
实施例1：如图10-16所示，一种三七异物视觉实时检测分拣系统，包括振动筛选机构1、视觉分拣模块2、传送模块3、控制器；其中振动筛选机构1用于对三七进行振动及初筛，传送模块3用于传送经初筛后的三七，视觉分拣模块2用于对传送模块3上的物体进行拍照及根据控制器的驱动进行三七分拣。
进一步地，可以设置所述振动筛选机构1包括筛子4、顶框5、凸轮6、小齿轮7、大齿轮8、电机机架9、电机10、机架I；其中电机10通过螺钉安装在电机机架9上，电机机架9固定在机架I上，电机10输出轴驱动位于筛子4一侧的大齿轮8转动(大齿轮8经轴承和电机10输出轴连接)，大齿轮8与位于大齿轮8上方的小齿轮7啮合，下齿轮7的转动带动凸轮6转动(可以设计齿轮7与凸轮6安装在同一传动轴上，且与传动轴之间采用过盈配合，齿轮7与凸轮6之间用套筒固定隔开)，顶框5固定在筛子4一侧用于提供凸轮6转动空间，筛子4通过两侧的四个支架与弹簧连接安装在机架I上，且筛子4的筛面呈倾斜布置，通过凸轮6转动带动顶框5及筛子4共同上下振动对三七进行初筛。可以设置位于尾部的弹簧通过伸缩机构安装在机架I上以用于调整筛子4的筛面的倾斜度，设计凸轮6的短轴与顶框5的上下两边相切。
进一步地，可以设置所述视觉分拣模块2包括机架II11、纵向线性模组12、横向线性模组13、竖向线性模组14、机械抓手15、工业相机16、光源、红外传感器；其中机架II11固定在地面上，两组纵向线性模组12通过T形螺母固定在机架II11上方，横向线性模组13通过螺钉固定在两组纵向线性模组12的滑块上，竖向线性模组14位于两组纵向线性模组12之间且通过螺钉固定横向线性模组13的滑块上，机械抓手15固定在竖向线性模组14的滑块上，工业相机16安装在机架II11上用于拍摄传送模块3中传送带22处的图像(工业相机16的拍摄区域为机械抓手15能抓取的传送带22区域)，光源用于打光，红外传感器用于感应传送带22上是否有物体通过。当传送带22上输送的三七经过安装在传送带22两侧的红外传感器时，触发红外传感器传输信号至控制器，控制器根据设置的延时时间驱动工业相机16对待拍摄区域进行拍摄，并将采集的图片传至控制器。其中，控制器可以是上位机。
进一步地，可以设置所述视觉分拣模块2还包括显示屏用于与控制器进行交互显示工业相机16采集的图片信息，还可以进一步用于显示识别结果，机架II上放置回收桶用于收集机械抓手15抓取的三七。
进一步地，可以设置所述传送模块3包括机架III、电机支撑板17、电机I18、皮带19、皮带轮20、皮带轴21、传送带22；其中电机支撑板17固定在机架III上，电机I18通过螺钉固定在电机支撑板17上，电机I18驱动第一个皮带轮20转动，第一个皮带轮20通过皮带19带动第二个皮带轮20及安装第二个皮带轮20的第一根皮带轴21转动，两根皮带轴21通过传送带22连接，通过皮带轴21带动传送带22运动一个皮带轮20与电机I18固定连接，另一个皮带轮20安装在一根皮带轴21上，每根皮带轴21通过两个轴承固定在两端的轴承座上，两个皮带轮21通过皮带19连接，传送带22固定在两个皮带轴21上。
如图1-9所示，一种三七异物视觉实时检测分拣方法，所述方法的具体步骤如下：
Step1、构建三七异物图像数据集；
Step2、搭建深度学习网络模型，并采用图像数据集中的训练集训练模型，获得权重参数；
Step3、输入图像数据集中的验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；并利用最优权重参数生成冻结模型；
Step4、开启工业相机16并设置初始参数；初始参数包括采集图片的速度、像素大小；
Step5、红外传感器感应到物体通过，触发工业相机16采集三七图像，控制器对接收的工业相机16传来的三七图像进行预处理，调用冻结模型对预处理过的三七图像进行异物实时检测，根据目标实时检测的结果，判断是否存在异物，如果存在异物，则驱动机械抓手15进行抓取实现分拣。
进一步地，给出如下实施过程：
Step1.1、将收集的300幅含有异物的三七图像按9：1比例随机分类成训练集图像和验证集图像；
Step1.2、利用LabelImg标注软件对训练集图像和验证集图像的锚框异物进行标注；其中，标注包括：目标信息中心位置的横、纵坐标，边界框的长、宽大小和异物类别；在标注时需要确定三七异物的类别，将其分为stone和clay共两类，如附图4所示为利用LabelImg标注工具的三七异物锚框图；
Step1.3、将标注完的所有三七异物标注信息统一进行类型转换；即利用python脚本将标签文件从XML格式转换为TFrecord格式；通过格式转换，使得数据更好地适应后续步骤的深度学习；
Step1.4、将标注转换后的结果分别放入对应的训练集图像文件夹和验证集图像文件夹中，共同构成由训练集和验证集组成的三七异物图像数据集。
Step2.1、利用Faster-Rcnn检测算法、残差网络和跨阶段局部网络构建深度学习网络模型；所述残差网络和跨阶段局部网络构成深度学习模型网络模型的主干网络，增强了卷积神经网络的学习能力，减少计算，有利于工业落地；以Faster-Rcnn检测算法与CSP_Resnet_50为主干网络构成深度学习网络模型为例：其中CSP代表跨阶段局部网络，Resnet代表残差网络，50代表残差网络卷积层数共50层，CSP_Resnet_50主干网络主要由四种不同尺度的跨阶段残差块组成。参见附图5，跨阶段残差网络将残差块输出的特征图通道分为相同的两个部分，分为通道一和通道二，其中通道一保持不变，通道二将通过残差模块进一步提取卷积的特征，通过转换层将通道二得到的特征和通道一的特征融合，得到的特征图传入下个跨阶段残差模块，直至四个跨阶段残差模块提取特征完。所述跨阶段残差模块中的残差模块由数个相同的残差单元组成。从第一尺度到第四尺度，每个跨阶段残差模块中的残差模块分别包含3、4、6、3个残差单元。其中，所述跨阶段局部网络具体为：跨阶段局部网络将特征图通道分为两个部分，即分割梯度来使梯度通过不同网络路径传播，使得卷积神经网络的计算量下降；通过一个跨阶段层级将这两个部分融合起来，即将不同的梯度信息融合，增强卷积神经网络的学习能力。
Step2.2、参见附图6，正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括学习率、抽取图片数、迭代次数、权重衰减系数，其余超参数为默认值；在本实施例中学习率为0.0001、抽取图片数为8、迭代次数为20000、权重衰减系数为0.0005，其余超参数均为默认值。实验设备为台式机GPU为NVIDIA GeForce GTX 2080s，内存为16g，CPU为Intel酷睿i5；
Step2.3、调用训练集和配置文件在深度学习网络框架TensorFlow中对深度学习网络模型进行训练；根据配置文件的超参数，依次随机抽取训练集中的8张图片放入深度模型网络模型中进行训练，对模型权重参数进行更新，达到设定迭代次数20000时权重参数更新结束生成最后的权重参数；所述权重更新，具体为：使用随机初始化的权重参数进行卷积神经网络的前向传播计算并得到的一组中间参数，再使用该中间参数进行反向传播得到一组新的权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；
Step3.1、输入验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；其中，性能定量评估所用的验证集为三七异物图像数据集中的验证集，评估可通过平均精度、帧率、漏检率、错检率和准确率进行判断；
Step3.2、利用Python将最优权重参数生成冻结模型；
参见附图7，其中CSP-ResNet-50主干网络用于提取三七异物图像特征，提取候选框用于预测边界框和异物类别与感兴趣区域结合实现目标检测。
Step4、开启工业相机16并设置初始参数；包括采集图片的速度、像素大小和内存空间。具体为，工业相机开启到关闭的时间为1000毫秒，每秒采集5张大小为2590×1942的JPG图像，图像采集卡内存空间为5000Mb。工业相机为Basler彩色相机，分辨率2.3MP，帧率为51fps；工业相机镜头为Basler Standard C口镜头，最大像圈为1英寸，带有8.0mm定焦距，光圈范围F1.4-F16，标准分辨率为200万像素；光源为LED光源，用于提高待分拣三七的亮度，克服环境光干扰，保证图像采集时的亮度，形成最有利于图像处理的成像效果。针对每个特定的应用场景，可通过控制器调节光源的强度。
Step5.1、生产线上的三七经过振动筛选机构1初筛到达传送带22；如果振动筛选机构1、传送带22和工业相机16处于工作状态下，没有物体经过，则等待物体通过后触发红外传感器；
Step5.2、传送带22上的三七触发红外传感器，红外传感器传输信号至控制器，控制器根据设置的延时时间驱动工业相机16对待拍摄区域进行拍摄以采集待分拣三七的图像信息。
Step5.3、控制器对工业相机16实时抓取的三七图像进行双线性插值、锐化处理；在本实施例中将工业相机采集照片的大小为2590x1942使用双线性插值将图像大小变为1295x971，在不影响后续异物识别的同时还有利于提高异物三七的检测速度；并对工业相机实时抓取的三七图像进行锐化，增加对比度，增强三七异物边缘信息，有利于区分三七异物中stone、clay和背景，提高检测精度；处理完得到的图片如图8所示；
Step5.4、调用冻结模型对预处理过的三七图像的进行异物实时检测，根据目标实时检测的结果，判断是否存在异物：
若不存在异物，控制器控制振动筛选机构1、传送带22和工业相机16继续工作，执行Step5.1；
若存在异物，如附图9所示异物stone、clay，控制器控制筛选机构1、传送带22和工业相机16停止工作；实时检测会生成每个异物的边界框，根据边界框的数量和坐标位置信息得到当前图像内所有三七表面异物的数量和实时坐标位置；控制器根据异物的数量和实时坐标位置驱动纵向线性模组12、横向线性模组13、竖向线性模组14带动机械抓手15逐个抓取表面含有异物的三七至回收桶，直至所有表面含有异物的三七抓取完成为止；机械抓手15复位，等待触发下一次抓取命令。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (8)
1.一种三七异物视觉实时检测分拣方法，其特征在于：所述方法的具体步骤如下：
Step1、构建三七异物图像数据集；
Step2、搭建深度学习网络模型，并采用图像数据集中的训练集训练模型，获得权重参数；
Step3、输入图像数据集中的验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；并利用最优权重参数生成冻结模型；
Step4、开启工业相机（16）并设置初始参数；
Step5、红外传感器感应到物体通过，触发工业相机（16）采集三七图像，控制器对接收的工业相机（16）传来的三七图像进行预处理，调用冻结模型对预处理过的三七图像进行异物实时检测，根据目标实时检测的结果，判断是否存在异物，如果存在异物，则驱动机械抓手（15）进行抓取实现分拣；
所述Step2具体如下：
Step2.1、利用Faster-Rcnn检测算法、残差网络和跨阶段局部网络构建深度学习网络模型；所述残差网络和跨阶段局部网络构成深度学习模型网络模型的主干网络；
Step2.2、正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括学习率、抽取图片数、迭代次数、权重衰减系数，其余超参数为默认值；
Step2.3、调用训练集和配置文件在深度学习网络框架TensorFlow中对深度学习网络模型进行训练；根据配置文件的超参数，依次随机抽取训练集中的多张图片放入深度模型网络模型中进行训练，对模型权重参数进行更新，达到设定迭代次数权重参数更新结束生成最后的权重参数。
2.根据权利要求1所述的三七异物视觉实时检测分拣方法，其特征在于：所述Step1具体如下：
Step1.1、将收集的所有含有异物的三七图像随机分类成训练集图像和验证集图像；
Step1.2、利用LabelImg标注软件对训练集图像和验证集图像的锚框异物进行标注；其中，标注包括：目标信息中心位置的横、纵坐标，边界框的长、宽大小和异物类别；
Step1.3、将标注完的所有三七异物标注信息统一进行类型转换；
Step1.4、将标注转换后的结果分别放入对应的训练集图像文件夹和验证集图像文件夹中，共同构成由训练集和验证集组成的三七异物图像数据集。
3.根据权利要求1所述的三七异物视觉实时检测分拣方法，其特征在于：所述Step3具体如下：
Step3.1、输入验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；
Step3.2、利用Python将最优权重参数生成冻结模型。
4.根据权利要求1所述的三七异物视觉实时检测分拣方法，其特征在于：所述Step5具体如下：
Step5.1、生产线上的三七经过振动筛选机构（1）初筛到达传送带（22）；
Step5.2、传送带（22）上的三七触发红外传感器，红外传感器传输信号至控制器，控制器根据设置的延时时间驱动工业相机（16）对待拍摄区域进行拍摄以采集待分拣三七的图像信息；
Step5.3、控制器对工业相机（16）实时抓取的三七图像进行双线性插值、锐化处理；
Step5.4、调用冻结模型对预处理过的三七图像的进行异物实时检测，根据目标实时检测的结果，判断是否存在异物：
若不存在异物，控制器控制振动筛选机构（1）、传送带（22）和工业相机（16）继续工作，执行Step5.1；
若存在异物，控制器控制筛选机构（1）、传送带（22）和工业相机（16）停止工作；实时检测会生成每个异物的边界框，根据边界框的数量和坐标位置信息得到当前图像内所有三七表面异物的数量和实时坐标位置；控制器根据异物的数量和实时坐标位置驱动纵向线性模组（12）、横向线性模组（13）、竖向线性模组（14）带动机械抓手（15）逐个抓取表面含有异物的三七，直至所有表面含有异物的三七抓取完成为止；机械抓手（15）复位，等待触发下一次抓取命令。
5.一种采用权利要求1所述方法的三七异物视觉实时检测分拣系统，其特征在于：包括振动筛选机构（1）、视觉分拣模块（2）、传送模块（3）、控制器；其中振动筛选机构（1）用于对三七进行振动及初筛，传送模块（3）用于传送经初筛后的三七，视觉分拣模块（2）用于对传送模块（3）上的物体进行拍照及根据控制器的驱动进行三七分拣。
6.根据权利要求5所述的三七异物视觉实时检测分拣系统，其特征在于：所述振动筛选机构（1）包括筛子（4）、顶框（5）、凸轮（6）、小齿轮（7）、大齿轮（8）、电机机架（9）、电机（10）、机架I；其中电机（10）安装在电机机架（9）上，电机机架（9）固定在机架I上，电机（10）输出轴驱动位于筛子（4）一侧的大齿轮（8）转动，大齿轮（8）与位于大齿轮（8）上方的小齿轮（7）啮合，小齿轮（7）的转动带动凸轮（6）转动，顶框（5）固定在筛子（4）一侧用于提供凸轮（6）转动空间，筛子（4）通过两侧的支架与弹簧连接安装在机架I上，且筛子（4）的筛面呈倾斜布置，通过凸轮（6）转动带动顶框（5）及筛子（4）共同上下振动对三七进行初筛。
7.根据权利要求5所述的三七异物视觉实时检测分拣系统，其特征在于：所述视觉分拣模块（2）包括机架II（11）、纵向线性模组（12）、横向线性模组（13）、竖向线性模组（14）、机械抓手（15）、工业相机（16）、光源、红外传感器；其中机架II（11）固定在地面上，两组纵向线性模组（12）固定在机架II（11）上方，横向线性模组（13）固定在两组纵向线性模组（12）的滑块上，竖向线性模组（14）位于两组纵向线性模组（12）之间且固定横向线性模组（13）的滑块上，机械抓手（15）固定在竖向线性模组（14）的滑块上，工业相机（16）安装在机架II（11）上用于拍摄传送模块（3）中传送带（22）处的图像，光源用于打光，红外传感器用于感应传送带（22）上是否有物体通过。
8.根据权利要求5所述的三七异物视觉实时检测分拣系统，其特征在于：所述传送模块（3）包括机架III、电机支撑板（17）、电机I（18）、皮带（19）、皮带轮（20）、皮带轴（21）、传送带（22）；其中电机支撑板（17）固定在机架III上，电机I（18）固定在电机支撑板（17）上，电机I（18）驱动第一个皮带轮（20）转动，第一个皮带轮（20）通过皮带（19）带动第二个皮带轮（20）及安装第二个皮带轮（20）的第一根皮带轴（21）转动，两根皮带轴（21）通过传送带（22）连接，通过皮带轴（21）带动传送带（22）运动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110686315.6A CN113245222B (zh) | 2021-06-21 | 2021-06-21 | 一种三七异物视觉实时检测分拣系统及分拣方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110686315.6A CN113245222B (zh) | 2021-06-21 | 2021-06-21 | 一种三七异物视觉实时检测分拣系统及分拣方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113245222A CN113245222A (zh) | 2021-08-13 |
| CN113245222B true CN113245222B (zh) | 2022-06-07 |
Family
ID=77189150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110686315.6A Active CN113245222B (zh) | 2021-06-21 | 2021-06-21 | 一种三七异物视觉实时检测分拣系统及分拣方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113245222B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113996545A (zh) * | 2021-11-23 | 2022-02-01 | 昆明理工大学 | 一种基于计算机视觉的三七主根快速分选生产线 |
| CN114950969B (zh) * | 2022-06-13 | 2023-03-21 | 昆明理工大学 | 一种三七主根与茎基的实时视觉识别分拣系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101341815B1 (ko) * | 2012-12-04 | 2014-01-06 | 대한민국 | 초분광 영상처리를 이용한 종자 선별 장치 |
| CN205436281U (zh) * | 2016-03-11 | 2016-08-10 | 杭州胜日机械制造有限公司 | 一种药材的振动筛选机 |
| CN107051898A (zh) * | 2017-04-27 | 2017-08-18 | 昆明理工大学 | 一种三七种苗分级机 |
| CN110877019A (zh) * | 2018-09-05 | 2020-03-13 | 西门子（中国）有限公司 | 中药材去杂质装置及方法 |
| CN109499919A (zh) * | 2018-11-30 | 2019-03-22 | 天津中医药大学 | 一种基于机器视觉中药药材自动筛选装置 |
-
2021
- 2021-06-21 CN CN202110686315.6A patent/CN113245222B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113245222A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109115785B (zh) | 一种铸件打磨质量检测方法、装置及其使用方法 | |
| CN113245222B (zh) | 一种三七异物视觉实时检测分拣系统及分拣方法 | |
| CN109724984B (zh) | 一种基于深度学习算法的缺陷检测识别装置和方法 | |
| CN103913468B (zh) | 生产线上大尺寸lcd玻璃基板的多视觉缺陷检测设备及方法 | |
| CN206139527U (zh) | 全景视觉马铃薯分选和缺陷检测装置 | |
| CN104483320B (zh) | 工业脱硝催化剂的数字化缺陷检测装置与检测方法 | |
| CN108287010B (zh) | 一种螃蟹多指标分级装置与方法 | |
| CN107944504B (zh) | 木板识别及木板识别的机器学习方法、装置及电子设备 | |
| CN110276386A (zh) | 一种基于机器视觉的苹果分级方法及系统 | |
| CN205253585U (zh) | 一种镜片瑕疵精密检测系统 | |
| CN110779937A (zh) | 一种铸件产品内部缺陷智能检测装置 | |
| CN105203543B (zh) | 基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法 | |
| CN111805541B (zh) | 一种基于深度学习的中药饮片净选装置及净选方法 | |
| CN106238342A (zh) | 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法 | |
| CN113145492A (zh) | 一种用于梨外观品质视觉分级方法及分级生产线 | |
| CN112893159B (zh) | 一种基于图像识别的煤矸石分拣方法 | |
| CN1485616A (zh) | 禽蛋品质无损自动检测分级设备及方法 | |
| CN105009731B (zh) | 玉米考种方法及其系统 | |
| CN106370667A (zh) | 一种玉米籽粒品质视觉检测装置及方法 | |
| CN114354637A (zh) | 基于机器视觉和x射线的水果品质综合分级方法和装置 | |
| WO2024178996A1 (zh) | 一种基于可见光和x射线串联的煤矸分离方法及其装置 | |
| CN210071686U (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN106290379A (zh) | 基于面扫描相机的钢轨表面缺陷检测装置及方法 | |
| CN116363505A (zh) | 一种基于采摘机器人视觉系统的目标采摘方法 | |
| CN207222383U (zh) | 木板分拣系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210813 Assignee: Luliang canlin Agricultural Development Co.,Ltd. Assignor: Kunming University of Science and Technology Contract record no.: X2024980014074 Denomination of invention: A real-time visual detection and sorting system and method for Sanqi foreign objects Granted publication date: 20220607 License type: Open License Record date: 20240909 |
|
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210813 Assignee: Xuanwei Hengyan Planting and Breeding Cooperative Assignor: Kunming University of Science and Technology Contract record no.: X2024980016874 Denomination of invention: A real-time visual detection and sorting system and method for Sanqi foreign objects Granted publication date: 20220607 License type: Open License Record date: 20240929 |