CN115144406B - 一种全方位在线工业视觉检测及筛选的装置及方法 - Google Patents

一种全方位在线工业视觉检测及筛选的装置及方法 Download PDF

Info

Publication number
CN115144406B
CN115144406B CN202211087939.7A CN202211087939A CN115144406B CN 115144406 B CN115144406 B CN 115144406B CN 202211087939 A CN202211087939 A CN 202211087939A CN 115144406 B CN115144406 B CN 115144406B
Authority
CN
China
Prior art keywords
rejecting
medicine
falling channel
visual
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211087939.7A
Other languages
English (en)
Other versions
CN115144406A (zh
Inventor
姜德伟
陈骏
靳宝
黎业演
葛鑫
崔涯
郑祖亮
郑盛学
郭景贵
余锦煜
陈鉴浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingxin Intelligent Technology Guangzhou Co ltd
Pharmapack Technologies Corp
Original Assignee
Jingxin Intelligent Technology Guangzhou Co ltd
Pharmapack Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingxin Intelligent Technology Guangzhou Co ltd, Pharmapack Technologies Corp filed Critical Jingxin Intelligent Technology Guangzhou Co ltd
Priority to CN202211087939.7A priority Critical patent/CN115144406B/zh
Publication of CN115144406A publication Critical patent/CN115144406A/zh
Application granted granted Critical
Publication of CN115144406B publication Critical patent/CN115144406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Textile Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

一种全方位在线工业视觉检测及筛选的装置及方法，包括如下步骤：对YOLOv5s网络模型进行改进得到改进的YOLOv5s网络模型，进行模型训练，得到药粒缺陷检测模块和计数模块，建立视觉AI检测系统；通过前后两台视觉相机同时采集下落通道中药粒两面的照片，将照片回传至视觉AI检测系统进行缺陷检测和计数，料门机构和剔除机构根据接收的信息启闭料门和剔除缺陷药粒；对YOLOv5s网络模型的改进涉及SE注意力模块的嵌入和meta‑ACON激活函数的引入。本发明通过药粒下落过程中相对两面的图像，可提高缺陷检测的准确率，并做到对药粒逐粒检测，降低误检率，且网络模型识别准确率高，适应性强，并可不断优化。

Description

一种全方位在线工业视觉检测及筛选的装置及方法
技术领域
本发明涉及自动化数粒筛选技术领域，尤其涉及一种全方位在线工业视觉检测及筛选的装置及方法。
背景技术
药片、药丸、胶囊等粒状产品往往需要准确计数，同时也需对不合格品进行剔除。现有数粒计数和剔除的方式常见的有称重剔除、图像识别剔除等。称重剔除主要是对最小包装进行称重，通过称重重量与预设值相比较来判断合格与否，该种方法往往是整包剔除，剔除的无损品较多，且无法做到逐粒检测，单靠称重无法保证里面缺陷颗粒的存在，造成准确率低，效率也相对较低。现有的图像识别剔除主要是通过拍摄到的单面图像，采用现有工业图像识别分析系统进行识别，通常使用的是工业相机，工业相机本身体积较大，只能安装在振动盘上方，对振动盘上的药粒进行缺陷检测，这种检测方式只能检测药粒向上的一面，无法检测另外一面。而针对一些小型化数粒设备，工业相机难以满足要求，且工业相机价格昂贵，一般设备难以普及使用。
发明内容
本发明的目的是克服上述现有技术的缺点，提供一种可在药粒下落过程中通过进行双面拍摄，并以此同时进行缺陷检测、计数和剔除的全方位在线工业视觉检测及筛选的方法，以及实现该方法的装置。
本发明是通过以下技术方案来实现的：
一种全方位在线工业视觉检测及筛选的方法，包括如下步骤：
对YOLOv5s网络模型进行改进得到改进的YOLOv5s网络模型，收集正常药粒图片和缺陷药粒图片对改进的YOLOv5模型进行模型训练，得到最佳权重数据。
将最佳权重数据加载到改进的YOLOv5s网络模型中，建立药粒缺陷检测模块和计数模块，基于药粒缺陷检测模块和计数模块建立视觉AI检测系统。
在药粒下落通道的前后各部署一台视觉相机，在药粒从振动盘掉落到包装瓶的过程中，通过两台视觉相机同时采集下落通道中药粒两面的照片，将照片回传至视觉AI检测系统。前后两台视觉相机在同一个同步信号下工作，且其安装位置高度一致，同一时刻拍到的药粒即在照片的同一高度，对应同一药粒相对的两个面的照片。
视觉AI检测系统根据对照片进行缺陷检测和计数，并将计数信息实时传送至料门机构，将缺陷检测结果传送至剔除机构。同一药粒两张图片中只要一张识别为缺陷，则该药粒即为缺陷药粒。
料门机构根据接收的计数信息关闭料门，灌装完成，继续下一空瓶的灌装。料门机构收到的计数等于每瓶预装数量时，料门机构关闭通道并进行灌装。
剔除机构根据接收的缺陷信息剔除下落通道中存在缺陷的药粒。
进一步地，对YOLOv5s网络模型进行改进的方法为：在YOLOv5s网络模型的主干网络的每个残差分支的末尾嵌入SE注意力模块，使模型关注于药粒的区域，同时起到结合全局信息的作用；将模型中所有的激活函数SiLU改为meta-ACON，能让模型动态学习非线性转换，增强模型的泛化能力和鲁棒性。
进一步地，所述YOLOv5s为4.0及以上版本。对改进的YOLOv5模型进行模型训练是在视觉AI训练平台上进行训练，视觉AI训练平台并对药品缺陷进行持续的学习并优化同步到在线的视觉AI检测系统。视觉AI训练平台可为搭载有NVIDIA GeForce RTX3090、系统为Ubuntu20.04的计算机主机的Pycharm集成开发软件平台。
进一步地，正常药粒图片和缺陷药粒图片的收集和处理方法为：拍摄一定数量的待识别药粒类别的正常药粒照片和缺陷药粒照片形成数据集，对数据集中按正常和缺陷进行标定，并按照一定的比例随机将数据集划分为训练集和验证集。
进一步地，对改进的YOLOv5模型进行模型训练涉及以下方法：
数据增强，在输入端采用包括旋转、平移、缩放、裁剪、翻转、HSV增强、mosaic增强的技术手段，扩充数据集，提升模型的鲁棒性；
模型训练中，采用包括超参数进化、热身训练、学习率衰减、混合精度训练的方法，提升模型的训练效果和训练速度；初始学习率为0.01，迭代次数为150epoch；
对药粒缺陷识别进行持续的学习并优化同步至在线的视觉AI检测系统中。
为实现精准剔除，进一步地，下落通道中上下两颗药粒间隔开来，所述剔除机构剔除动作的持续时间（从剔除板开始动作到剔除板回到原位）小于任何上下两颗药粒的时间间隔，这样可保证一次只剔除一颗不合格药粒，而不会误剔除其它合格药粒。
一种全方位在线工业视觉检测及筛选的装置，用于实现上述全方位在线工业视觉检测及筛选的方法，包括振动盘、下落通道、视觉相机、剔除机构、料门机构和视觉AI检测系统，所述振动盘设置在所述下落通道的上方，用于使药粒逐粒掉落入所述下落通道中；两台所述的视觉相机分别设置在所述下落通道相对的两侧面上，用于对下落通道中药粒的两面进行拍摄；所述剔除机构设置在下落通道中且位于所述视觉相机的下方，用于根据指令剔除检测有缺陷的药粒；所述料门机构设置在下落通道的末端，用于根据指令打开或关闭料门；所述视觉AI检测系统分别与所述视觉相机、剔除机构和料门机构相连，用于根据视觉相机传输的实时图片进行计数和缺陷药粒的识别，并将计数结果信息和缺陷药粒识别信息分别传输给料门机构和剔除机构。
进一步地，所述剔除机构包括剔除驱动组件、剔除板、剔除滑道和剔除收料箱，所述剔除板可转动设置在下落通道的一侧侧面上，其自由端可绕其固定端转动，所述剔除滑道的进料口设置在下落通道上与剔除板相对的另一侧面上，所述剔除收料箱设置在剔除滑道的出料口处；所述剔除驱动组件与所述剔除板驱动连接以驱动剔除板转动，使剔除板的自由端伸入下落通道中与所述剔除滑道衔接，缺陷药粒沿着剔除板滑入剔除滑道中，最终进入剔除收料箱中。
进一步地，所述剔除驱动组件包括固定座、剔除气缸和连接臂，所述固定座设置在所述下落通道靠近所述剔除板的一侧，所述连接臂呈弯曲状，连接臂的中部通过转轴可转动安装在所述固定座上，所述剔除气缸的一端亦可转动安装在所述固定座上，所述剔除气缸的另一端与连接臂的一端铰接，所述剔除板的固定端固定在连接臂的另一端上，剔除气缸的伸缩带动连接臂及剔除板绕转轴转动，使剔除板的自由端伸入下落通道中与所述剔除滑道衔接。
进一步地，所述剔除驱动组件包括固定座、伺服电机、传动轮和从动轮，所述固定座设置在所述下落通道靠近所述剔除板的一侧，所述伺服电机固定在固定座上，所述从动轮通过转轴可转动安装在所述固定座上，所述伺服电机与所述传动轮传动连接，所述传动轮与所述从动轮传动连接，所述剔除板的固定端固定在所述从动轮上，伺服电机的转动带动从动轮传及剔除板绕转轴转动，使剔除板的自由端伸入下落通道中与所述剔除滑道衔接。
进一步地，所述视觉AI检测系统包括药粒缺陷检测模块和计数模块，所述药粒缺陷检测模块是基于改进的YOLOv5s网络模型进行模型训练后得到的；
改进的YOLOv5s网络模型的获得方法为：在YOLOv5s网络模型的主干网络的每个残差分支的末尾嵌入SE注意力模块，使模型关注于药粒的区域，同时起到结合全局信息的作用；将模型中所有的激活函数SiLU改为meta-ACON，能让模型动态学习非线性转换，增强模型的泛化能力和鲁棒性。
本发明通过使药粒逐粒进入下落通道中，并在下落通道中设置两台视觉相机，同时获取药粒下落过程中相对两面的图像，可提高缺陷检测的准确率，并做到对药粒逐粒检测，降低误检率；通过视觉AI检测系统同时得到药粒的缺陷信息和计数信息，一个系统实现了计数与缺陷检测两个功能；在药粒包装过程中同时进行计数和缺陷剔除，不影响产品包装的进行；对YOLOv5s网络模型进行改进后再用于药粒的缺陷识别，进一步提高了识别的准确性，并避免光线等因素对检测的影响；当药品更换时，无需重新编程，只需要进行模型训练就可满足生产要求，适应性强，应用性广，而且对生产漏检的缺陷药品可以再次进行训练，逐步降低漏检率；剔除机构通过气缸带动剔除板转动来剔除物料，结构简单，易于实现，且不影响合格物料的下落。
附图说明
图1为本发明全方位在线工业视觉检测及筛选的装置的工作原理图。
图2为本发明全方位在线工业视觉检测及筛选的装置的部分结构剖视示意图。
图3为本发明全方位在线工业视觉检测及筛选的装置中剔除机构的部分结构示意图。
图4为本发明全方位在线工业视觉检测及筛选的装置中另一剔除机构的部分结构示意图。
附图标记：1-振动盘；2-下落通道；3-视觉相机；4-剔除机构；5-料门机构；40-固定座；41-剔除板；42-剔除滑道；43-剔除收料箱；44-剔除气缸；45-连接臂；46-转轴；47-伺服电机；48-传动轮；49-从动轮。
具体实施方式
一种全方位在线工业视觉检测及筛选的装置，如图1、图2所示，用于实现上述新型药品筛选数粒方法，包括振动盘1、下落通道2、视觉相机3、剔除机构4、料门机构5和视觉AI检测系统，所述振动盘1设置在所述下落通道2的上方，用于使药粒逐粒掉落入所述下落通道2中；两台所述的视觉相机3分别设置在所述下落通道2相对的两侧面上，用于对下落通道2中药粒的两面进行拍摄；所述剔除机构4设置在下落通道2中且位于所述视觉相机3的下方，用于根据指令剔除检测有缺陷的药粒；所述料门机构5设置在下落通道2的末端，用于根据指令打开或关闭料门；所述视觉AI检测系统分别与所述视觉相机3、剔除机构4和料门机构5相连，用于根据视觉相机3传输的实时图片进行计数和缺陷药粒的识别，并将计数结果信息和缺陷药粒识别信息分别传输给料门机构5和剔除机构4。
剔除机构4可采用现有的结构或形式，如吹气、敲击等形式，作为其中一种实施方式，本实施例中，如图2所示，所述剔除机构4包括剔除驱动组件、剔除板41、剔除滑道42和剔除收料箱43，所述剔除板41可转动设置在下落通道2的一侧侧面上，其自由端可绕其固定端转动，所述剔除滑道42的进料口设置在下落通道2上与剔除板41相对的另一侧面上，所述剔除收料箱43设置在剔除滑道42的出料口处；所述剔除驱动组件与所述剔除板41驱动连接以驱动剔除板41转动，使剔除板41的自由端伸入下落通道2中与所述剔除滑道42衔接，缺陷药粒沿着剔除板41滑入剔除滑道42中，最终进入剔除收料箱43中。
剔除驱动组件可为多种结构和实现形式，作为其中一种实施方式，如图3，所述剔除驱动组件包括固定座40、剔除气缸44和连接臂45，所述固定座40设置在所述下落通道2靠近所述剔除板41的一侧，所述连接臂45呈弯曲状，连接臂45的中部通过转轴46可转动安装在所述固定座40上，所述剔除气缸44的一端亦可转动安装在所述固定座40上，所述剔除气缸44的另一端与连接臂45的一端铰接，所述剔除板41的固定端固定在连接臂45的另一端上，剔除气缸44的伸缩带动连接臂45及剔除板41绕转轴46转动，使剔除板41的自由端伸入下落通道2中与所述剔除滑道42衔接。
作为其中另一种实施方式，如图4，所述剔除驱动组件包括固定座40、伺服电机47、传动轮48和从动轮49，所述固定座40设置在所述下落通道2靠近所述剔除板41的一侧，所述伺服电机47固定在固定座40上，所述从动轮49通过转轴46可转动安装在所述固定座40上，所述伺服电机47与所述传动轮48传动连接，所述传动轮48与所述从动轮49传动连接，传动轮48与从动轮49可通过锥齿轮组的形式传动连接，所述剔除板41的固定端固定在所述从动轮49上，伺服电机47的转动带动从动轮49传及剔除板41绕转轴46转动，使剔除板41的自由端伸入下落通道2中与所述剔除滑道42衔接。驱动电机具有更快的响应速度，且定位准确。
所述视觉AI检测系统包括药粒缺陷检测模块和计数模块，所述药粒缺陷检测模块是基于改进的YOLOv5s网络模型进行模型训练后得到的。
改进的YOLOv5s网络模型的获得方法为：在YOLOv5s网络模型的主干网络的每个残差分支的末尾嵌入SE注意力模块，使模型关注于药粒的区域，同时起到结合全局信息的作用，每个残差模块可含有一个卷积层。将模型中所有的激活函数SiLU改为meta-ACON，能让模型动态学习非线性转换，增强模型的泛化能力和鲁棒性。
一种全方位在线工业视觉检测及筛选的方法，采用上述全方位在线工业视觉检测及筛选的装置，包括如下步骤：
对YOLOv5s网络模型进行改进得到改进的YOLOv5s网络模型，收集正常药粒图片和缺陷药粒图片对改进的YOLOv5模型进行模型训练，得到最佳权重数据。为提高训练的效果，训练的图片中可只含有一颗缺陷药粒或正常药粒。
将最佳权重数据加载到改进的YOLOv5s网络模型中，建立药粒缺陷检测模块和计数模块，基于药粒缺陷检测模块和计数模块建立视觉AI检测系统。
在药粒下落通道的前后各部署一台视觉相机，开启药粒振动盘，使得药粒逐一下落，在药粒从振动盘掉落到包装瓶的过程中，通过两台视觉相机高速拍照，同时采集下落通道中药粒两面的照片，将照片回传至视觉AI检测系统。前后两台视觉相机在同一个同步信号下工作，且其安装位置高度一致，同一时刻拍到的药粒即在照片的同一高度，对应同一药粒相对的两个面的照片。视觉相机一张照片中拍摄一颗药。
视觉AI检测系统根据对照片进行缺陷检测和计数，并将计数信息实时传送至料门机构，将缺陷检测结果传送至剔除机构。同一药粒两张图片中只要一张识别为缺陷，则该药粒即为缺陷药粒。一张照片对应一颗药粒，减去剔除的不合格药粒，累积的颗粒数即得到计数信息。
料门机构根据接收的计数信息关闭料门，灌装完成，继续下一空瓶的灌装。料门机构收到的计数等于每瓶预装数量时，料门机构关闭通道，整瓶包装传送出去，并传送空瓶入内继续进行灌装。剔除机构根据接收的缺陷信息剔除下落通道中存在缺陷的药粒。
本实施例中，对YOLOv5s网络模型进行改进的方法为：在YOLOv5s网络模型的主干网络的每个残差分支的末尾嵌入SE注意力模块，使模型关注于药粒的区域，同时起到结合全局信息的作用；将模型中所有的激活函数SiLU改为meta-ACON，能让模型动态学习非线性转换，增强模型的泛化能力和鲁棒性。所述YOLOv5s为4.0及以上版本。
本实施例中，正常药粒图片和缺陷药粒图片的收集和处理方法为：拍摄一定数量的待识别药粒类别的正常药粒照片和缺陷药粒照片形成数据集，对数据集中按正常和缺陷进行标定，并按照一定的比例随机将数据集划分为训练集和验证集。如按照1:1的比例供拍摄5000张正常药粒和缺陷药粒照片，标定后最终按8：2的比例随机划分为训练集和验证集。
本实施例中，对改进的YOLOv5模型进行模型训练具体涉及以下方法：
数据增强，在输入端采用包括旋转、平移、缩放、裁剪、翻转、HSV增强、mosaic增强的技术手段，扩充数据集，提升模型的鲁棒性。旋转，随机逆时针或顺时钟旋转0-10度；平移，随机向左或向右平移10%的图像宽度的像素；缩放，随机以0.5-1的比例进行缩放；裁剪，随机以0.8-1的比例对图片进行随机裁剪；翻转，以0.5的概率进行左右翻转；HSV增强，以0.015、0.7、0.4的变化比例进行HSV增强。
模型训练中，采用包括超参数进化、热身训练、学习率衰减、混合精度训练的方法，提升模型的训练效果和训练速度。初始学习率可设定为0.01，迭代次数为150epoch。
对药粒缺陷识别进行持续的学习并优化同步至在线的视觉AI检测系统中。对改进的YOLOv5模型进行模型训练是在视觉AI训练平台上进行训练，视觉AI训练平台并对药品缺陷进行持续的学习并优化同步到在线的视觉AI检测系统。视觉AI训练平台可为搭载有NVIDIA GeForce RTX3090，系统为Ubuntu20.04的计算机主机的Pycharm集成开发软件平台。当生产线上更换包装新的药物品种时，为提高识别的准确率，需收集相应的药粒照片重新进行模型训练，训练全自动化，训练时间4-5h即可。
为实现精准剔除，下落通道中上下两颗药粒间隔开来，所述剔除机构剔除动作的持续时间（从剔除板开始转动到剔除板回到原位）小于任何上下两颗药粒的时间间隔，这样可保证一次只剔除一颗不合格药粒，而不会误剔除其它合格药粒。
上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (8)

1.一种全方位在线工业视觉检测及筛选的方法，其特征在于，包括如下步骤：
对YOLOv5s网络模型进行改进得到改进的YOLOv5s网络模型，分别收集正常药粒图片和缺陷药粒图片对改进的YOLOv5模型进行模型训练，得到最佳权重数据；
对YOLOv5s网络模型进行改进的方法为：在YOLOv5s网络模型的主干网络的每个残差分支的末尾嵌入SE注意力模块，使模型关注于药粒的区域，同时起到结合全局信息的作用；将模型中所有的激活函数SiLU改为meta-ACON，以增强模型的泛化能力和鲁棒性；
将最佳权重数据加载到改进的YOLOv5s网络模型中，建立药粒缺陷检测模块和计数模块，基于药粒缺陷检测模块和计数模块建立视觉AI检测系统；
在药粒包装的下落通道的前后各部署一台视觉相机，通过两台视觉相机同时采集下落通道中药粒两面的照片，将照片回传至视觉AI检测系统；
视觉AI检测系统根据对照片进行缺陷检测和计数，并将计数信息实时传送至料门机构，将缺陷检测结果传送至剔除机构；
料门机构根据接收的计数信息关闭料门，灌装完成，继续下一空瓶的灌装；
剔除机构根据接收的缺陷信息剔除下落通道中存在缺陷的药粒。
2.根据权利要求1所述的一种全方位在线工业视觉检测及筛选的方法，其特征在于，所述YOLOv5s为4.0以上版本；对改进的YOLOv5模型进行模型训练是在视觉AI训练平台上进行训练，视觉AI训练平台并对药品缺陷进行持续的学习并优化同步到在线的视觉AI检测系统；视觉AI训练平台为搭载有NVIDIA GeForce RTX3090、系统为Ubuntu20.04的计算机主机的Pycharm集成开发软件平台。
3.根据权利要求1所述的一种全方位在线工业视觉检测及筛选的方法，其特征在于，正常药粒图片和缺陷药粒图片的收集和处理方法为：
拍摄一定数量的待识别药粒类别的正常药粒照片和缺陷药粒照片形成数据集，对数据集中按正常和缺陷进行标定，并按照一定的比例随机将数据集划分为训练集和验证集；
对改进的YOLOv5模型进行模型训练的方法为：
数据增强，在输入端采用包括旋转、平移、缩放、裁剪、翻转、HSV增强和mosaic增强的技术手段，扩充数据集，提升模型的鲁棒性；
模型训练中，采用包括超参数进化、热身训练、学习率衰减和混合精度训练的方法，提升模型的训练效果和训练速度；初始学习率为0.01，迭代次数为150epoch；
对药粒缺陷识别进行持续的学习并优化同步至在线的视觉AI检测系统中。
4.根据权利要求1所述的一种全方位在线工业视觉检测及筛选的方法，其特征在于，下落通道中上下两颗药粒间隔开来，所述剔除机构剔除动作的持续时间小于任何上下两颗药粒的时间间隔。
5.一种全方位在线工业视觉检测及筛选的装置，用于实现如权利要求1至4任一项所述的全方位在线工业视觉检测及筛选的方法，其特征在于，包括振动盘、下落通道、视觉相机、剔除机构、料门机构和视觉AI检测系统，所述振动盘设置在所述下落通道的上方，用于使药粒逐粒掉落入所述下落通道中；两台所述的视觉相机分别设置在所述下落通道相对的两侧面上，用于对下落通道中药粒的两面进行拍摄；所述剔除机构设置在下落通道中且位于所述视觉相机的下方，用于根据指令剔除检测有缺陷的药粒；所述料门机构设置在下落通道的末端，用于根据指令打开或关闭料门；所述视觉AI检测系统分别与所述视觉相机、剔除机构和料门机构相连，用于根据视觉相机传输的实时图片进行计数和缺陷药粒的识别，并将计数结果信息和缺陷药粒识别信息分别传输给料门机构和剔除机构。
6.根据权利要求5所述的一种全方位在线工业视觉检测及筛选的装置，其特征在于，所述剔除机构包括剔除驱动组件、剔除板、剔除滑道和剔除收料箱，所述剔除板可转动设置在下落通道的一侧侧面上，其自由端可绕其固定端转动，所述剔除滑道的进料口设置在下落通道上与剔除板相对的另一侧面上，所述剔除收料箱与剔除滑道的出料口相衔接；所述剔除驱动组件与所述剔除板驱动连接以驱动剔除板转动，使剔除板的自由端伸入下落通道中与所述剔除滑道衔接，缺陷药粒沿着剔除板滑入剔除滑道中，最终进入剔除收料箱中。
7.根据权利要求6所述的一种全方位在线工业视觉检测及筛选的装置，其特征在于，所述剔除驱动组件包括固定座、剔除气缸和连接臂，所述固定座设置在所述下落通道靠近所述剔除板的一侧，所述连接臂呈弯曲状，连接臂的中部通过转轴可转动安装在所述固定座上，所述剔除气缸的一端亦可转动安装在所述固定座上，所述剔除气缸的另一端与连接臂的一端铰接，所述剔除板的固定端固定在连接臂的另一端上，剔除气缸的伸缩带动连接臂及剔除板绕转轴转动，使剔除板的自由端伸入下落通道中与所述剔除滑道衔接。
8.根据权利要求6所述的一种全方位在线工业视觉检测及筛选的装置，其特征在于，所述剔除驱动组件包括固定座、伺服电机、传动轮和从动轮，所述固定座设置在所述下落通道靠近所述剔除板的一侧，所述伺服电机固定在固定座上，所述从动轮通过转轴可转动安装在所述固定座上，所述伺服电机与所述传动轮传动连接，所述传动轮与所述从动轮传动连接，所述剔除板的固定端固定在所述从动轮上，伺服电机的转动带动从动轮传及剔除板绕转轴转动，使剔除板的自由端伸入下落通道中与所述剔除滑道衔接。
CN202211087939.7A 2022-09-07 2022-09-07 一种全方位在线工业视觉检测及筛选的装置及方法 Active CN115144406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211087939.7A CN115144406B (zh) 2022-09-07 2022-09-07 一种全方位在线工业视觉检测及筛选的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211087939.7A CN115144406B (zh) 2022-09-07 2022-09-07 一种全方位在线工业视觉检测及筛选的装置及方法

Publications (2)

Publication Number Publication Date
CN115144406A CN115144406A (zh) 2022-10-04
CN115144406B true CN115144406B (zh) 2022-11-11

Family

ID=83415808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211087939.7A Active CN115144406B (zh) 2022-09-07 2022-09-07 一种全方位在线工业视觉检测及筛选的装置及方法

Country Status (1)

Country Link
CN (1) CN115144406B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117030740B (zh) * 2023-10-08 2023-12-15 四川蜀旺新能源股份有限公司 一种用于光伏板表面缺陷监测系统及方法
CN117557545B (zh) * 2023-12-05 2024-07-02 广州珐玛珈智能设备股份有限公司 一种360度传送带快速缺陷检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154729U (ja) * 2009-08-10 2009-10-22 寳鉱科技有限公司 顆粒状薬物の検査データ取り込みシステム
CN206778968U (zh) * 2017-05-24 2017-12-22 赵亮 一种含胶囊的泡罩胶囊板的检测及剔除机
CN210497309U (zh) * 2019-07-15 2020-05-12 苏州市职业大学 一种基于机器视觉的胶囊缺陷检测系统
CN114022420A (zh) * 2021-10-21 2022-02-08 河北工业大学 一种自动识别光伏电池el组件缺陷的检测方法
CN217017491U (zh) * 2022-03-14 2022-07-22 青岛库德维森机器人技术有限公司 一种用于药粒的视觉分选装置
CN114820486A (zh) * 2022-04-15 2022-07-29 陕西科技大学 基于改进YOLOv5s的印刷电路板缺陷检测方法
CN114972789A (zh) * 2022-05-27 2022-08-30 无锡沃格自动化科技股份有限公司 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154729U (ja) * 2009-08-10 2009-10-22 寳鉱科技有限公司 顆粒状薬物の検査データ取り込みシステム
CN206778968U (zh) * 2017-05-24 2017-12-22 赵亮 一种含胶囊的泡罩胶囊板的检测及剔除机
CN210497309U (zh) * 2019-07-15 2020-05-12 苏州市职业大学 一种基于机器视觉的胶囊缺陷检测系统
CN114022420A (zh) * 2021-10-21 2022-02-08 河北工业大学 一种自动识别光伏电池el组件缺陷的检测方法
CN217017491U (zh) * 2022-03-14 2022-07-22 青岛库德维森机器人技术有限公司 一种用于药粒的视觉分选装置
CN114820486A (zh) * 2022-04-15 2022-07-29 陕西科技大学 基于改进YOLOv5s的印刷电路板缺陷检测方法
CN114972789A (zh) * 2022-05-27 2022-08-30 无锡沃格自动化科技股份有限公司 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质

Also Published As

Publication number Publication date
CN115144406A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN115144406B (zh) 一种全方位在线工业视觉检测及筛选的装置及方法
CN106733701B (zh) 马铃薯多级联合智能缺陷检测系统及检测方法
CN104634790A (zh) 一种胶囊检测方法及高速全自动检测装置
CN103090804B (zh) 成品磁环图像自动检测系统及检测方法
CN103170459B (zh) 镜片瑕疵检测系统
CN104668199A (zh) 基于机器视觉和生物散斑的水果自动分级装置
KR102147470B1 (ko) 비전검사장치
CN202383081U (zh) 一种瓶盖质量在线检测装置
JPH01249181A (ja) チップ部品自動外観選別機における部品仕分け方法
CN202974886U (zh) 一种机器视觉罐身卷封缺陷检测系统
JPH10500060A (ja) 錠剤容器を連続的に充填するため自動的に錠剤を供給し、検査し、分岐させるシステムおよび方法
CN108655021B (zh) 一种基于机器视觉的玉米种子在线破损识别分类装置
CN1603013A (zh) 基于三个摄像系统在线水果品质检测分级的装置与方法
CN109975318A (zh) 一种塑料瓶外观缺陷检测方法及设备
CN109433641A (zh) 基于机器视觉的片剂胶囊灌装遗漏智能检测方法
CN106628475A (zh) 一种基于机器视觉的镜面成像瓶盖表面贴标检测系统及方法
CN111185398A (zh) 真空采血管在线全方位智能检测系统及检测方法
CN106353336A (zh) 一种镜片镀膜自动检测系统
CN109211921A (zh) 一种精密五金件检测装置
Wan Kernel handling performance of an automatic grain quality inspection system
CN106694389A (zh) 分选机及其工作方法
CN114252452A (zh) 一种小型回转体外观缺陷和轮廓尺寸在线检测装置及方法
CN102713580A (zh) 外观检查装置
CN211839084U (zh) 一种真空采血管在线全方位智能检测系统
CN117225728A (zh) 一种工件的表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant