CN109433641B - 基于机器视觉的片剂胶囊灌装遗漏智能检测方法 - Google Patents

基于机器视觉的片剂胶囊灌装遗漏智能检测方法 Download PDF

Info

Publication number
CN109433641B
CN109433641B CN201811155354.8A CN201811155354A CN109433641B CN 109433641 B CN109433641 B CN 109433641B CN 201811155354 A CN201811155354 A CN 201811155354A CN 109433641 B CN109433641 B CN 109433641B
Authority
CN
China
Prior art keywords
tablet
time
filling
funnel
capsule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811155354.8A
Other languages
English (en)
Other versions
CN109433641A (zh
Inventor
张堃
姜朋朋
华亮
吴建国
张培建
王震
付君红
李子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN201811155354.8A priority Critical patent/CN109433641B/zh
Publication of CN109433641A publication Critical patent/CN109433641A/zh
Application granted granted Critical
Publication of CN109433641B publication Critical patent/CN109433641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/3404—Sorting according to other particular properties according to properties of containers or receptacles, e.g. rigidity, leaks, fill-level
    • B07C5/3408—Sorting according to other particular properties according to properties of containers or receptacles, e.g. rigidity, leaks, fill-level for bottles, jars or other glassware

Abstract

本发明公开了一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，包括如下步骤：把两台高速工业相机分别附加到灌装自动化生产线瓶包装传送带的右侧与漏斗上方；漏斗上方相机实时对片剂胶囊灌装进行视频记录，通过对连续视频帧进行块匹配定位片剂胶囊。对定位的片剂胶囊进行位移矢量的实时监测，当位移矢量大于某一定值时定义为出现灌装断层。针对断层现象我们采用SVM预测模型，在断层出现时基于断层出现时间、断层处片剂胶囊的位移和角度特征，预测出片剂胶囊离开漏斗的具体时间。以此判断出有断层情况下是否能在规定时间内完成合格灌装。

Description

基于机器视觉的片剂胶囊灌装遗漏智能检测方法
技术领域
本发明涉及一种机器视觉智能检测方法，具体涉及一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法。
背景技术
目前，国内各行各业对采用机器视觉的工业自动化、智能化技术的需求开始广泛出现。如在药品、保健品行业的瓶包装流水线上，供瓶、灌装、干燥剂填入、锁盖、铝箔封口、贴标等工序都需要通过机器视觉技术在线检测，并且绝大部分工序已经采用了机器视觉技术。但是在灌装阶段，目前的机器视觉技术仅用于数粒，针对灌装遗漏问题，尚无解决方案。灌装遗漏问题是指大量药品或者保健品同时灌装时，可能会存在有少量药品或者保健品在灌装漏斗里打转，没有在规定时间内落入瓶子里，导致瓶中未装满药品或者保健品。如果增加灌装时间则会降低流水线效率。因此迫切需要一种自动检测系统对这类灌装不合格的情况进行在线检测并及时剔除。机器视觉技术具有非接触，检测速度快，准确率高，检测结果客观可靠的特点，再配合合适的检测算法可以迅速准确地检测药品或者保健品在规定的时间内是否落入瓶内。
发明内容
发明目的：本发明的目的是为了解决现有技术中的不足，提供一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，该方法不仅能够实现高质量遗漏检测，而且检测速度快，检测效率高。
技术方案：本发明所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，包括如下步骤：
(1)把高速工业相机附加到灌装自动化生产线瓶包装传送带的一侧，抓拍出感兴趣区域即无片剂胶囊的合格图像，读入所述工业计算机内存中；
(2)将另一台高速工业相机附加到漏斗上方，对片剂胶囊实时下落情况进行记录，同步传输到工业计算机中；
(3)对步骤(1)中读入工业计算机内存中的感兴趣区域即无片剂胶囊的合格图像进行灰度化处理；
(4)对步骤(2)中传输到工业计算机中的视频数据进行处理，将每一帧视频数据与视频记录的第一帧进行差分计算，差分结果ΔP>X(ΔP为两帧数据差值，X为差值阈值)时为漏斗中出现片剂胶囊，将此帧作为片剂胶囊灌入漏斗的起始帧；
(5)对步骤(4)中片剂胶囊灌入起始帧以后的视频数据进行块分割，将每一帧数据分割成Na等份的块；所谓块即每帧完整图像切割成均匀大小的图像小块。对图像建立坐标系，即每一个帧块可以准确找到相对应坐标，将每个块进行像素灰度值累加计算，像素和p<p0的块即为不含有片剂胶囊的块，P0为经验阈值；
(6)对步骤(5)中分割的视频帧块进行块匹配，从起始帧开始取连续两帧进行块匹配，首先顺序遍历两帧中的所有的块，计算两帧之间所对应的块之间绝对误差和SAD值的大小，SAD值<T时视为两个块有相应联系即块相匹配，T为经验阈值；
(7)对步骤(6)中建立联系的两个块分别与步骤(5)中的无片剂胶囊参考块差分计算，即能得出块中片剂胶囊轮廓大概范围，对差分计算后的结果即离散的数个特征点，随机选取一个特征点标记作为轮廓标记的初始点，循环标记操作并满足点与点之间的矢量距离为Na个像素灰度值，直至遍历差分运算结果；
(8)工业相机被传感器触发后，经过目标下落模型计算的延迟时间Δt后按下工业相机对片剂胶囊下落进行抓拍，把获得图像读入所述工业计算机的内存中；
(9)对步骤(7)中标记的点进行连线，反映在当前帧中即形成光流场，利用轮廓点形成的光流场相较单一块匹配形成的光流场更能准确直观的表现出移动物体的运动趋势与位移矢量；
(10)对步骤(9)中构建的光流场，计算片剂胶囊位移矢量；建立空间坐标系，对两帧中相关联的块中标记点进行距离计算，即为片剂胶囊在单帧时间内位移距离；
(11)对步骤(8)中读入工业计算机内存中的图像进行灰度化处理，同时将此灰度图与步骤(3)中的标准模板灰度图进行差分运算；
(12)对步骤(10)中的片剂胶囊位移矢量与所设阈值Δl相比较，判断是否有灌装断层现象出现，记此时为t4；
(13)对步骤(12)中出现的断层现象转步骤(16)；
(14)把步骤(11)的图像进行腐蚀处理，取出大面积差值，同时进行边缘化处理；
(15)对步骤(14)的图像进行膨胀处理，计算图像内像素点的个数，与事先设定的阈值比较，判断Δt时间内是否有目标存在；若比阈值小则不存在则转步骤(8)等待下一次的抓拍；若比阈值大，则认为是不合格瓶子，转步骤(23)；
(16)对步骤(13)产生断层后的片剂胶囊通过实时压缩感知进行位置追踪，即在出现断层后的第一粒片剂胶囊进行追踪初始化，对初始位置进行标定、输出矩形框中心坐标(x0,y0)，并记此初始状态下目标位移量为零，偏转角度为零；
(17)对步骤(16)出现断层后的视频帧数据通过随机稀疏矩阵R降维，再通过贝叶斯分类器分类进行片剂目标追踪，对于输出的断层后首颗片剂胶囊目标位置和远离目标中心的位置采集正样本和负样本，来更新分类器；对于视频的下一帧处理时，在上一帧跟踪到的目标位置的周围采样n1个扫描窗口，通过同样的稀疏测量矩阵对其降维，提取特征，然后用上一帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了目标跟踪，输出目标窗口中心点坐标信息(xi,yi)。其位移矢量
Figure GDA0002609316830000031
偏转角度
Figure GDA0002609316830000032
(18)使用SVM模型进行时间预测，给定训练样本集
Figure GDA0002609316830000033
(Xi为输入向量，Ri为相应输出值，N为样本数，n为输入向量维数)，所用线性回归函数为：
Figure GDA0002609316830000034
C为所设计的函数模型中的斜率参数，b为保证函数精度的偏置参数；
αi,αi *为对偶参数；K(Xi,X)为核函数；采用高斯函数作为核函数即有
Figure GDA0002609316830000035
其中δ2为高斯核函数的宽度函数，它定义了从输入空间到高维特征空间的非线性映射；为了消除指标之间的量纲影响，需要对数据进行归一化处理即为：x*＝1/(1+x)，x为输入值。经过此种数据处理后时间、偏转角度、位移长度均在同一数量级中；
(19)决定片剂胶囊的到达漏斗底部时间主要参数为出现断层时间t4偏转角度α和位移长度L，则在某一位置下参数向量为X(i)＝[t4(i),α(i),L(i)]T，对应到达漏斗底圆时间为R(i)。则可构成一对样本(X(i),R(i))，通过收集不同位置下的样本对，形成样本集{(X(i),R(i))}；
(20)建立预测模型使用NA对样本数据，其中N1对作为训练样本，剩余N2作为检验样本，防止产生过学习或欠学习现象；评价预测模型的性能采用统计量平均相对误差
Figure GDA0002609316830000036
估计值为
Figure GDA0002609316830000037
N1对训练样本通过ΔMRE值修订模型参数δ,C，整合参数使ΔMRE值最小，完成SVM预测模型训练；
(21)通过训练好的SVM模型拟合出出现断层后时间、片剂偏转角度、位移长度与对应落入漏斗底部圆时间之间的复杂关系，从而根据给出的偏移角度、位移长度预测出断层现象后片剂离开漏斗的时间t5；
(22)对步骤(21)中训练好的模型带入断层后出现时间t4，以及断层后第一片片剂胶囊的偏转角度和位移长度预测出断层出现后片剂胶囊离开漏斗时间t5，计算t4+t5与单瓶停留灌装时间t6大小关系从而得出是否能够正确灌装；
(23)灌装遗漏检测处理系统向剔除单元输出剔除控制信号，启动工件剔除单元，打开电磁阀，剔除不合格的药瓶，完成对不合格药瓶的剔除后，转步骤(8)继续下一次的抓拍。
进一步的，步骤(8)中的延迟时间Δt取值为
Figure GDA0002609316830000041
其中
Figure GDA0002609316830000042
Figure GDA0002609316830000043
式中T1，T2，T3指100颗片剂胶囊在灌装漏斗斜面三条路径下灌装完毕的时间；N指灌装标准颗数；t1，t2，t3指片单颗剂胶囊从开始灌装到接触瓶底的时间。
进一步的，步骤(12)中阈值Δl为：(图像长度×25％)。
进一步的，步骤(15)中的阈值范围计算为：(图像抓拍图像尺寸/实际目标面积)×漏斗口面积×(35％-55％)。
进一步的，步骤(23)中的灌装遗漏检测处理系统包括光电传感单元、成像系统、漏斗、工业计算机以及剔除单元。
进一步的，所述光电传感单元包括光电传感器发射端和光电传感器接收端，分别安装于药瓶传送带上方两侧，用于检测片剂胶囊是否到位，以便产生脉冲信号输送到工业计算机，工业计算机发出指令触发工业相机拍照。
进一步的，所述成像系统与工业计算机的图像信号输入端相连，包括专用光源和两台高速工业相机；所述专用光源为其中一台高速工业相机拍照时提供照明；其中一台高速工业相机的镜头通过所述光源的中间取景，拍照后获得的图像输送到工业计算机内存。
进一步的，另一台高速工业相机固定在漏斗正上方，通过工业相机连续触发模式对药品下落过程进行实时记录。
进一步的，所述剔除单元与工业计算机相连，并接受工业计算机的控制；所述剔除单元包括剔除控制装置、机械臂、不合格药瓶收集箱；所述机械臂和不合格药瓶收集箱均受控于所述剔除单元中的剔除控制装置。
有益效果：本发明所述的一种机器视觉智能检测方法，通过对灌装片剂胶囊下落多种情况进行分析和建立模型，在保证了高生产率的同时得到最优的开门延迟时间，抓拍出合格的图像,可普遍适用于药品、保健品行业使用。
附图说明
图1为本发明系统中灌装漏斗出现第一颗片剂胶囊图；
图2为本发明将实时获取的图像进行块分割；
图3为本发明连续两帧分割块后之间的联系图；
图4为本发明间隔时间分析中的理想漏斗建模的图；
图5为本发明的方法所理想化螺旋线仿真立体视图；
图6为本发明的方法所理想化螺旋线仿真俯视图；
图7为本发明的方法所用的实际漏斗示意图；
图8为本发明的方法近似实际螺旋下降轨迹仿真立体视图；
图9为本发明的方法近似实际螺旋下降轨迹仿真俯视图；
图10为本发明的方法模拟实际片剂胶囊下降仿真图；
图11为本发明的方法所采集到的边缘化效果图；
图12为本发明的方法所采集到的膨胀效果图；
图13为本发明的方法所采集到的面积筛选图；
图14为本发明的方法所产生的光流示意图；
图15为本发明的方法所涉及到的断层示意图；
图16为本发明的方法所产生的光流场图；
图17为本发明出现断层情况，预测片剂胶囊时间图；
图18为本发明中通过预测时间计算出药品滑出漏斗具体位置示意图；
图19为本发明的灌装遗漏检测处理系统结构示意图；
图20为本发明间隔时间分析中的目标下落路径图；
图21为本发明间隔时间分析中的三种路径模型图；
图22为本发明中在断层出现后首颗片剂胶囊周围采样图；
图23为本发明总体流程图。
具体实施方式
下面结合具体实施例和附图对本发明的技术方案作进一步详细说明。
本发明通过在原有灌装漏斗底部安置一个透明的延长漏斗，将工业相机对准延长漏斗构造一个机器视觉检测工位，同时利用专用光源对下方待检测感兴趣区域(透明漏斗)进行环境补光，采集感兴趣区域的图像信息，将所采集的图像信息传送到图像处理系统，处理系统对所述感兴趣区域进行图像处理后输出控制信号，判断瓶子是否灌满，同时驱动剔除装置单元动作，剔除未灌满的瓶子。
同时在漏斗上部构造一个机器视觉检测工位，利用工业相机自带的拍摄视频的方式对漏斗全局影像进行记录。
一般片剂胶囊下落时会成流状下落到药瓶中，但在下落中片剂胶囊姿态的改变会出现流状断层的情况。出现断层后位于底部照相机很大机率不能检测到感兴趣区域存在片剂胶囊，但是灌装并没有合格。因此所造成的漏检率高达12％，所以我们在漏斗上方安装一个高速工业相机对实时灌装情况进行监测。监测采用视频的形式，视频能够实时反应灌装的情况对断层情况能够及时体现。对视频构建光流能够显示片剂胶囊的矢量位移信息，能够最大程度的反映出片剂胶囊之间的位置改变。识别出断层情况出现后，通过实时压缩感知预测出断层后的片剂胶囊下落位置，再通过帧率等固有信息我们可以得出断层延时时间。
具体的，本发明的灌装遗漏机器视觉智能检测方法，该方法包括智能检测流程，其具体步骤包括如下：
(1)把高速工业相机附加到灌装自动化生产线瓶包装传送带的右侧，抓拍出感兴趣区域即无片剂胶囊的合格图像，读入所述工业计算机内存中。
(2)将另一台高速工业相机附加到漏斗上方，对片剂胶囊实时下落情况进行记录，同步传输到工业计算机中。
(3)对步骤(1)中读入工业计算机内存中的感兴趣区域即无片剂胶囊的合格图像进行灰度化处理；
(4)对步骤(2)中传输到工业计算机中的视频数据进行处理，将每一帧视频数据与视频开始记录的第一帧进行像素差分计算，差分结果ΔP>15时为漏斗中出现片剂胶囊。将此帧作为片剂胶囊灌入漏斗的起始帧，如图1所示；
(5)对步骤(4)中片剂胶囊灌入起始帧以后的视频数据进行块分割，如图2所示，将每一帧数据分割成16等份的块。将每个块进行像素灰度值累加计算，像素灰度值合P<21的块即为不含有片剂胶囊的块；
(6)对步骤(5)中分割的视频帧块进行块匹配，从起始帧开始取连续两帧进行块匹配。首先顺序遍历两帧中的所有的块，计算两帧之间所有块之间绝对误差和SAD值<0.03，时视为两个块有相应联系即块相匹配，如图3所示；
(7)对步骤(6)中建立联系的两个块分别与步骤(5)中的无片剂胶囊参考块差分计算，即能得出块中片剂胶囊轮廓大概范围，对差分计算后的结果即离散的数个特征点，随机选取一个特征点标记作为轮廓标记的初始点，点与点之间的距离为2个像素灰度值。
(8)工业相机被传感器触发后，经过目标下落模型计算的延迟时间Δt＝28ms后按下工业相机对感兴趣区域片剂胶囊下落进行抓拍，把获得图像读入所述工业计算机的内存中。
(9)对步骤(7)中标记的点进行连线，反映在当前帧中即形成光流场，示意图如图14所示。利用轮廓点形成的光流场相较单一块匹配形成的光流场更能准确直观的表现出移动物体的运动趋势与位移矢量。
(10)对步骤(9)中构建的光流场如图16所示，计算片剂胶囊位移矢量；如图4所示建立空间坐标系，对两帧中相关联的块中标记点进行距离计算，即为片剂胶囊在单帧时间内位移距离。
(11)对步骤(8)中读入工业计算机内存中的图像进行灰度处理，同时将此灰度图与步骤(3)中的标准模板灰度图进行差分运算。
(12)对步骤(10)中的片剂胶囊位移矢量与所设阈值Δl＝1.5相比较，判断是否有灌装断层现象出现，若出现断层记此时为t4。(断层指灌装片剂胶囊时有片剂脱离灌装流，形成灌装流的断层如图15)；
(13)对步骤(12)中出现的断层现象转步骤(16)，如图17所示。
(14)把步骤(11)的图像进行腐蚀处理，取出大面积差值，同时进行边缘化处理，如图11所示。
(15)对步骤(14)的图像进行膨胀处理，如图12所示，计算图像内像素点的个数，与事先设定的阈值比较，判断Δt＝28ms时间内是否有目标存在；所采集到的面积筛选图如图13所示。若比阈值小则不存在则转步骤(8)等待下一次的抓拍。若比阈值大，则认为是不合格瓶子，转步骤(23)；
(16)对步骤(13)产生断层后的片剂胶囊通过实时压缩感知进行位置追踪，即在出现断层后的第一粒片剂胶囊进行追踪初始化，对初始位置进行标定、输出矩形框左上角坐标(x0,y0)，并记此初始状态下目标位移量为零，偏转角度为零，如图22所示。
(17)对步骤(16)出现断层后的视频帧数据通过随机稀疏矩阵
Figure GDA0002609316830000081
降维，再通过贝叶斯分类器分类进行片剂目标追踪，对于输出的断层后首颗片剂胶囊目标位置和远离目标中心的位置采集正样本和负样本，来更新分类器；下一帧时，在上一帧跟踪到的目标位置的周围采样16个扫描窗口，通过同样的稀疏测量矩阵对其降维，提取特征，然后用上一帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了目标跟踪，输出目标窗口在最左上点坐标信息(xi,yi)。其位移矢量
Figure GDA0002609316830000082
偏转角度
Figure GDA0002609316830000083
(18)使用SVM模型进行时间预测，给定训练样本集
Figure GDA0002609316830000084
NA＝1800，所用线性回归函数为
Figure GDA0002609316830000085
C＝0.08,b＝1.67
αi,αi *为对偶参数；K(Xi,X)为核函数；采用高斯函数作为核函数即有
Figure GDA0002609316830000086
其中δ2为高斯核函数的宽度参数，它定义了从输入空间到高维特征空间的非线性映射。为了消除指标之间的量纲影响，需要对数据进行归一化处理即为：x*＝1/(1+x)，x为输入值。经过此种数据处理后时间、偏转角度、位移长度均在同一数量级中。
(19)决定片剂胶囊的到达漏斗底部时间主要参数为出现断层时间t4偏转角度α和位移长度L，则在某一位置下参数向量为X(i)＝[t4(i),α(i),L(i)]T，对应到达漏斗底圆时间为R(i)。则可构成一对样本(X(i),R(i))，通过收集不同位置下的样本对，形成样本集{(X(i),R(i))}；
(20)建立预测模型使用1800对样本数据，其中900对作为训练样本，剩余900对作为检验样本，防止产生过学习或欠学习现象。评价预测模型的性能采用统计量平均相对误差
Figure GDA0002609316830000087
估计值为
Figure GDA0002609316830000088
900对训练样本通过ΔMRE值修订模型参数δ,C其结果为C＝0.04，δ＝0.97。整合参数使ΔMRE值最小，完成SVM预测模型训练，其参数更新为C＝0.08，δ＝0.99。
(21)通过训练好的SVM模型拟合出出现断层后时间、片剂偏转角度、位移长度与对应落入漏斗底部圆时间之间的复杂关系，从而根据给出的偏移角度、位移长度预测出断层现象后片剂胶囊离开漏斗的时间t5；
(22)对步骤(21)中训练好的模型带入断层后出现时间t4，以及断层后第一片片剂胶囊的偏转角度和位移长度预测出断层出现后片剂胶囊完成灌装时间t5，计算t4+t5与单瓶灌装时间t6大小关系从而得出是否能够正确灌装；
(23)灌装遗漏检测处理系统向剔除单元输出剔除控制信号，启动工件剔除单元，打开电磁阀，剔除不合格的药瓶，完成对不合格药瓶的剔除后，转步骤(8)继续下一次的抓拍。本次发明总体流程图如图23所示。
上述步骤(8)设定好的延迟时间Δt＝28ms的取得的具体计算为：基于机器视觉的灌装遗漏检测系统设计主要的目的就是判断在空瓶经传送带到达漏斗下口处停留的这一段时间内，灌装的目标是否全部掉入瓶子中。目标通过大量实验发现，目标下落大致可以分为三条路线，如图20所示。
为了得到时间T的数学表达式，进而进行了目标下落时间测试。大致思想是从100颗片剂胶囊为一组分别在三条路径上进行时间测量，同时也测量了单个的片剂胶囊下落时间，具体数据如下表。
表1片剂胶囊下落时间
线路 1 2 3
100颗总时间(s) T<sub>1</sub> T<sub>2</sub> T<sub>3</sub>
1颗时间(s) t<sub>1</sub> t<sub>2</sub> t<sub>3</sub>
根据实际的下落过程，发现1号和2号下落路径就是普通的做初速度为零的匀加速直线运动，此外，片剂胶囊在3号路线上下落的时候，会在漏斗底端约h cm的时候会不沿着原有直线下落，而是会有一个打转的过程，这个过程在1/4周到一周不等。
由图20所示，目标滑落的途径有三种，一般单个片剂胶囊质量较轻，下落的时候与漏斗之间的摩擦力较小，同时考虑到我们所测量的是下落时间而不是其他因素，因此忽略目标的摩擦力。以图4方式建立坐标系。
图20中的1号路径，根据目标在斜面的下滑的运动方程可以得出式：
Figure GDA0002609316830000101
a1＝gsinθ
Figure GDA0002609316830000102
(L1为目标在路径1所下滑距离，t1为片剂胶囊在路径1下下滑时间，a1为目标沿平面的加速度，g为重力加速度，θ为斜面与水平面夹角)。
图20中的2号路径，根据物体自由落体运动方程可以得出式：
Figure GDA0002609316830000103
Figure GDA0002609316830000104
(L2为目标在路径2下垂直下降距离，t2为目标在路径2下垂直下降时间，g为重力加速度)。
图20中的3号路径，根据物体斜面下落运动方程是不可以得出3号路径的，原因在于通过大量的目标下落实验得出当目标从3号路径下落时，它不是按照想象中直接斜面下落，而是在离漏斗口约两厘米处绕着漏斗壁旋转1/4圈到1圈下落，这样会影响片剂胶囊的时间。因此还需要对这部分进行计算。由于目标在漏斗内部贴壁下滑，我们假定在最后2cm处目标下滑的斜率不变也即加速度不变，同样认定无摩擦。
根据观察，片剂胶囊在路径3中做类螺旋下降运动，如图21所示。忽略漏斗表面与片剂胶囊之间的摩擦力，以及其他各种能量损耗，我们可以近似认为在标准漏斗(漏斗上口与下口均为圆形且左右完全对称)里做螺旋下降运动。螺旋下降运动在不计摩擦力的情况下可理解为水平方向的匀速圆周运动与竖直方向的匀加速运动。其运动轨迹是标准螺旋线，所以我们可以以漏斗两边延长线的交点为坐标原点如图4所示，反向表示出该运动轨迹的数学方程。其公式为：
Figure GDA0002609316830000105
Figure GDA0002609316830000106
Figure GDA0002609316830000107
如图5匀加速螺旋下降运动，图6为匀加速螺旋下降运动轨迹俯视图(图像均为matlab软件仿真)。
在本申请中使用非标准漏斗，由于漏斗非对称性，片剂胶囊在三号路径下的运动轨迹相比标准螺旋轨迹，在水平方向上产生了一定的改变。所以针对这种改变，我们可以改变上述运动轨迹方程。其公式：
Figure GDA0002609316830000108
Figure GDA0002609316830000111
Figure GDA0002609316830000112
上式中A，B，C，D为幅值参数根据不同漏斗模型可以计算出的实际值，w为频率参数，α、β为初相位参数，V0为片剂胶囊开始做圆周运动的初始速，通过以上的变形公式可在matlab上得到图7和图8仿真图。图9所示为其近似实际螺旋下降轨迹仿真俯视图。其使用matlab模拟实际片剂胶囊下降仿真图如图10所示。
总结上述三条片剂胶囊下落路径的长度，由于投放片剂胶囊的数量不确定，要想确立一个在任意颗数下较为准确的时间判断方式还需做进一步的分析。在表1中可以看到对于每一个目标三种下落方式所需要的时间。目标下落到瓶子中是有一个过程的，例如100颗目标下落一共需要T1秒，第一颗目标从漏斗上端到下端时间为t1秒，那么用100颗下落的时间减去一颗下落的时间除以100这就代表每隔一个Δt就会有一颗目标掉落到目标中，因此可以得到一个通式：
Figure GDA0002609316830000113
(N为标准罐装的目标数)。
多次试验，结果得到下表所示。
表2测量时间
方式 1 2 3
时间(s) T<sub>r1</sub> T<sub>r2</sub> T<sub>r3</sub>
通过大量实践我们把时间定在
Figure GDA0002609316830000114
秒(取平均值)。这样既提高了生产速度又提高了生产质量，从而达到效益最高的目的。
上述步骤(3)的灰度化处理(具体参考论文“基于色差模型的彩色图像灰度化算法研究“)
上述步骤(4)的块匹配光流场(具体参考论文“基于块匹配的光流计算方法研究”)
上述步骤(10)的腐蚀处理(具体方法参考专利“CN105787911A“)
上述步骤(10)的边缘化处理(具体方法参考论文“机器视觉图像中目标识别及处理方法研究”)
上述步骤(11)的膨胀处理(具体方法参考专利“CN105787911A)
下面结合具体的片剂胶囊的灌装遗漏检测对本发明的技术方案作进一步详细说明：
如图19所示本发明的灌装遗漏检测处理系统结构示意图，包括光电传感单元、成像系统、漏斗、工业计算机以及剔除单元，图中101、102、103分别为瓶子、瓶子传送带和传送带的方向指示。
漏斗包括原始漏斗601和新增的透明漏斗602，所述光电传感单元包括光电传感器发射端201，分别安装于药瓶传送带上方两侧，用于检测片剂胶囊是否到位，以便产生脉冲信号输送到工业计算机401，工业计算机发出指令触发工业相机302拍照；所述成像系统与工业计算机的图像信号输入端相连，包括专用光源301和工业相机302,303；所述专用光源为所述工业相机拍照时提供照明；所述工业相机302的镜头通过所述光源301的中间取景，拍照后获得的图像输送到工业计算机内存；所述工业相机303的镜头通过连续录像功能对漏斗中实时灌装情况进行实时监控，传输给工业计算机。
所述剔除单元与工业计算机相连，并接受工业计算机401的控制；所述剔除单元包括剔除控制装置501、机械臂502，503，504、不合格药瓶收集箱505；所述机械臂和不合格药瓶收集箱505均受控于所述剔除单元中的剔除控制装置。
具体的检测方法如下：
(1)获取标准图像：把高速工业相机302附加到灌装自动化生产线瓶包装传送带的右侧，提前拍摄感兴趣区域(透明漏斗602)里无片剂胶囊的合格图像，读入所述工业计算机401的内存中；
(2)获取实时灌装视频：把高速工业相机303附加到自动化灌装上部，实时对漏斗灌装情况进行记录；
(3)对步骤(1)中工业相机302输入工业计算机401内存中的感兴趣区域无片剂胶囊的合格图像进行灰度化处理；
(4)对步骤(2)中工业相机303传输到工业相机的视频数据进行处理，将每一帧视频数据与视频开始记录的第一帧进行差分计算，差分结果ΔP>15时为漏斗中出现片剂胶囊。将此帧作为片剂胶囊灌入漏斗的起始帧；
(5)对步骤(4)中片剂胶囊灌入起始帧以后的视频数据进行块分割，将每一帧数据分割成16等份的块。将每个块进行像素灰度值累加计算，像素灰度值合P<21的块即为不含有片剂胶囊的块；
(6)对步骤(5)中分割的视频帧块进行块匹配，从起始帧开始取连续两帧进行块匹配。首先顺序遍历两帧中的所有的块，计算两帧之间所有块之间绝对误差和SAD值<0.03，时视为两个块有相应联系即块相匹配；
(7)对步骤(6)中建立联系的两个块分别与步骤(5)中的无片剂胶囊参考块差分计算，即能得出块中片剂胶囊轮廓大概范围，对差分计算后的结果进行随机标记，第一个标记点作为轮廓标记的初始点，点与点之间的距离为2个像素灰度值；
(8)当工业相机302被相机传感器202触发后，经过目标下落模型计算的延迟时间Δt后对兴趣区域片剂胶囊下落进行拍摄，把得到图像读入所述工业计算机401的内存中；
(9)对步骤(7)中标记的点进行连线，反映在当前帧中即形成光流场。利用轮廓点形成的光流场相较单一块匹配形成的光流场更能准确直观的表现出移动物体的运动趋势与位移矢量；
(10)对步骤(9)中构建的光流场，计算片剂胶囊位移矢量。对两帧中相关联的块中标记点进行距离计算，即为片剂胶囊在单帧时间内位移距离；
(11)对步骤(8)中读入工业计算机内存中的图像进行灰度处理，同时将此灰度图与步骤(3)中的标准模板灰度图进行差分运算；
(12)对步骤(10)中的片剂胶囊位移矢量与所设阈值Δl相比较，判断是否有灌装断层现象出现。若出现断层现象记此时为t4。(断层指灌装片剂胶囊时有片剂脱离灌装流，形成灌装流的断层如图16)；
(13)对步骤(12)中出现的断层现象转步骤(16)；
(14)把步骤(11)的图像进行腐蚀处理，取出大面积差值，同时进行边缘化处理；
(15)对步骤(14)的图像进行膨胀处理，计算图像内像素点的个数，与事先设定的阈值比较，判断Δt＝28ms时间内是否有目标存在；若比阈值小则不存在则转步骤(8)等待下一次的抓拍。若比阈值大，则认为是不合格瓶子，转步骤(23)；
(16)对步骤(13)产生断层后的片剂胶囊通过实时压缩感知进行位置追踪，即在出现断层后的第一粒片剂胶囊进行追踪初始化，对初始位置进行标定、输出矩形框左上角坐标(x0,y0)，并记此初始状态下目标位移量为零，偏转角度为零；
(17)对步骤(16)出现断层后的视频帧数据通过随机稀疏矩阵
Figure GDA0002609316830000131
降维，再通过贝叶斯分类器分类进行片剂目标追踪，对于输出的断层后首颗片剂胶囊目标位置和远离目标中心的位置采集正样本和负样本，来更新分类器；下一帧时，在上一帧跟踪到的目标位置的周围采样16个扫描窗口，通过同样的稀疏测量矩阵对其降维，提取特征，然后用上一帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了目标跟踪，输出目标窗口在最左上点坐标信息(xi,yi)。其位移矢量
Figure GDA0002609316830000141
偏转角度
Figure GDA0002609316830000142
(18)使用SVM模型进行时间预测，给定训练样本集
Figure GDA0002609316830000143
NA＝1800,所用线性回归函数为
Figure GDA0002609316830000144
C＝0.08,b＝1.67。
αi,αi*为对偶参数；K(Xi,X)为核函数；采用高斯函数作为核函数即有
Figure GDA0002609316830000145
其中δ2为高斯核函数的宽度参数，它定义了从输入空间到高维特征空间的非线性映射。为了消除指标之间的量纲影响，需要对数据进行归一化处理即为：x*＝1/(1+x)，x为输入值。经过此种数据处理后时间、偏转角度、位移长度均在同一数量级中；
(19)决定片剂胶囊的到达漏斗底部时间主要参数为出现断层时间t4偏转角度α和位移长度L，则在某一位置下参数向量为X(i)＝[t4(i),α(i),L(i)]T，对应到达漏斗底圆时间为R(i)。则可构成一对样本(X(i),R(i))，通过收集不同位置下的样本对，形成样本集{(X(i),R(i))}；
(20)建立预测模型使用1800对样本数据，其中900对作为训练样本，剩余900对作为检验样本，防止产生过学习或欠学习现象。评价预测模型的性能采用统计量平均相对误差
Figure GDA0002609316830000146
式中，
Figure GDA0002609316830000147
的估计值。900对训练样本通过ΔMRE值修订模型参数δ,C其结果为C＝0.04，δ＝0.97，相对误差为0.12。整合参数使ΔMRE值最小，完成SVM预测模型训练，其参数更新为C＝0.08，δ＝0.99，相对误差为0.01；
(21)通过训练好的SVM模型拟合出出现断层后时间、片剂偏转角度、位移长度与对应落入漏斗底部圆时间之间的复杂关系，从而根据给出的偏移角度、位移长度预测出断层现象后片剂胶囊离开漏斗的时间t5；
(22)对步骤(21)中训练好的模型带入断层后出现时间t4，以及断层后第一片片剂胶囊的偏转角度和位移长度预测出断层出现后片剂胶囊离开漏斗时间t5，计算t4+t5与单瓶灌装时间t6大小关系从而得出是否能够正确灌装；
(23)驱动药瓶剔除单元：工业计算机401向剔除单元输出剔除控制信号，启动工件剔除单元，打开机械臂，剔除不合格的药瓶，完成对不合格药瓶的剔除后，转步骤(10)继续下一次的抓拍。
上述步骤(8)设定好的延迟时间Δt具体计算如下：片剂胶囊下落大致可以分为三条路线，如图20所示。为了得到时间T的数学表达式，进而进行了片剂胶囊下落的时间测试。大致思想是：100颗片剂胶囊为一组分别在三条路径上进行时间测量，同时也测量了单个片剂胶囊下落的时间。具体数据如下表。
表3片剂胶囊下落时间
线路 1 2 3
100颗总时间(s) 3.44 4.3 3.5
1颗时间(s) 0.0187 0.032 0.022
根据实际的下落过程，我们可以发现1号和2号下落路径就是普通的做初速度为零的匀加速直线运动，通过实验发现，片剂胶囊在3号路线上下落的时候，会在漏斗底端约2cm的时候会不沿着原有直线下落，而是会有一个打转的过程，这个过程为1/4周到一周不等。
根据测量得出：
θ＝80°
Figure GDA0002609316830000151
L1＝18.8cm L2＝17.2cm L3＝21.3cm g＝9.8m/s2
我们对100颗片剂胶囊下落做了多次实验，最终得到下表。
表4测量时间
方式 1 2 3
时间(s) 3.41 4.1 3.36
对于100颗片剂胶囊的包装来讲，通过大量实践我们把时间定在0.362秒(取平均值)。这样既提高了生产速度又提高了生产质量，从而达到效益最高的目的。
均上所述均为片剂成紧密流状下落情况，事实上片剂胶囊在漏斗中出现不同程度的流状分离情况。这些情况对底部照相机判断在规定时间内完成合格灌装结果造成严重影响。
首先顶端相机实时拍摄片剂胶囊下落视频，视频数据被输送到工业计算机进行快速处理。计算机抽取视频中每一帧信息，通过差分计算连续两帧之间的像素差。因为照相机的机位固定，项目所设光源固定，所以在不出现片剂胶囊的时候连续两帧中像素灰度值差应小于15。即像素灰度值差大于15时认为首颗待灌装片剂胶囊到达漏斗，根据此概念我们可以确定首颗片剂胶囊的位置信息。本次专利所用相机帧率为90fps/s，根据帧率信息我们可以轻松确定首颗片剂胶囊进入漏斗的时间信息。
与其他光流方法相比，基于块匹配的光流计算方法是光流算法中最为快速的一类方法。因块匹配算法速度快等优点，块匹配算法被广泛使用在视频编码及物体运动检测等方面。块匹配光流算法原理在处理运动物体的检测问题时，将图像分割成不同小块，通过匹配计算的方式获取小块在另一幅图像中的最相似块，并通过这两个块的相对位置确定块的运动矢量，这种思想就是块匹配光流场算法的原理。
块匹配光流场算法的基本方法是将上部照相机拍摄视频的每一帧分成16个互不重叠的块，并认为块内所有像素的位移矢量是一致的。分割视频帧后，帧图像块会出现含有片剂胶囊与不含片剂胶囊两类。含有片剂胶囊的块像素灰度值远远大于不含有片剂胶囊的块，所以根据这一特性设置阈值f0＝21区分含片剂胶囊块与不含片剂胶囊块。因为整个漏斗除了片剂胶囊在运动其他各部分没有移动，在工业照相机拍摄下能够将漏斗壁细节记录清楚，所以块与块之间能够容易的分辨。
然后对于当前帧中的某块，采用绝对误差和准则(SAD)进行搜索。以前一帧图像左下块作为参考帧，在当前帧顺序取分割好的块进行匹配。分别计算参考帧块与当前帧块中的R通道中像素和的差值SAD,当参考块与当前块像素灰度值<21,SAD计算值<0.03时可视作参考帧块与当前帧选取块之间存在对应关系，即形成光流。针对含有片剂胶囊的块通过与不含有片剂胶囊的块进行差分计算，即可得到片剂胶囊轮廓信息。本次专利中通过差分计算的方法标记图像块中的片剂胶囊轮廓信息，通过标记点形成光流场。相较直接通过块匹配形成光流场的方法，本专利中所设计方法在最小化计算量的条件下形成能更加准确描述运动信息的光流场。
每帧中光流场出现后，对光流信息进行统计。当位移长度Δl>0.5cm时即可认为出现片剂胶囊流的断层现象，即对出现位置进行标记。
再通过实时压缩跟踪算法对此刻片剂胶囊进行位置跟踪，通过SVM预测算法预测断层延时后否能规定时间内完成药瓶灌装。
实时压缩跟踪算法主要利用满足压缩感知的RIP条件的随机测量矩阵对多尺度的图像进行降维，然后通过朴实贝叶斯分类器对特征进行分类从而预测目标位置。
通过矩阵R(3×2)将上部工业相机所拍摄的标准RGB X(3维)图像投影到低维空间v(2维)表示为：v＝RX(n<<m)。
实验证明s＝3时矩阵是非常稀疏的，因为矩阵中1-1/3＝2/3的概率都是0，故减少了2/3的计算量，专利中设定s＝m/3,m为压缩信号x的维度，这样对于R中的每一行只需要计算c＝s(c小于等于4)个元素，所以矩阵的计算复杂度变为O(cn)。同时保存矩阵时只需要考虑非零元素，故空间复杂度也减少很多。在本次专利中使用的随机稀疏测量矩阵：
Figure GDA0002609316830000171
本次专利设计中将上部相机拍摄到的原始图像投影到一个随机选取的合适的高维度的子空间中，能够以高概率保留两点之间的距离关系，标准RGB X图像可压缩的信号,我们就能以最小误差从低维的v中高概率的重构出高维的X。
通过随机测量测量矩阵我们把上部相机所拍摄的标准RGB图像投影到二维空间，大大减少了计算量，加快处理时间。
在块匹配中选取像素灰度值发生变化的块周围3×3区域作为候选区域，使用上述的压缩矩阵进行特征压缩提取。最后通过朴素贝叶斯分类器H(v)进行前景目标和背景目标分离，选取区域中H(v)值最大的作为当前帧跟踪到的目标。v是独立分布的，通过朴素贝叶斯分类器建模。
Figure GDA0002609316830000172
Figure GDA0002609316830000173
对这四个参数进行建模，每一帧更新分类器即更新上面四个参数
Figure GDA0002609316830000174
Figure GDA0002609316830000175
其中，y＝0表示负样本，y＝1表示正样本，两个类先验概率相等p(y＝1)＝p(y＝0)＝0.5,通过每一帧对分类器参数进行迭代更新，同时将确定的目标周围16大小范围作为预测目标运动范围，在下一帧时，在上一帧跟踪到的目标位置的周围采样16个扫描窗口，通过同样的稀疏测量矩阵对其降维，提取特征，然后用上一帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口。这样就实现了目标跟，输出目标在图像帧中的坐标信息。
SVM模型进行位置预测，给定训练样本集
Figure GDA0002609316830000181
(Xi为输入向量，Yi为相应输出值，N为样本数，n为输入向量维数)，所用线性回归函数为
Figure GDA0002609316830000182
αi,αi *为对偶参数；K(Xi,X)为核函数；采用高斯函数作为核函数即有
Figure GDA0002609316830000183
其中δ2为高斯核函数的宽度函数，它定义了从输入空间到高维特征空间的非线性映射。
决定片剂胶囊的位置主要参数为偏转角度α，断层出现时间t4和位移长度L，则在某一位置下参数向量为X(i)＝[t4(i),α(i),L(i)]T，对应片剂离开漏斗时间为R(x,y)则可构成一对样本(X(i),R(i))。通过收集不同位置下的样本对，形成样本集{(X(i),R(i))}。建立预测模型使用NA对样本数据，其中N1对作为训练样本，剩余N2作为检验样本，防止产生过学习或欠学习现象。评价预测模型的性能采用统计量平均相对误差
Figure GDA0002609316830000184
式中，
Figure GDA0002609316830000185
的估计值。N1对训练样本训练，通过ΔMRE值修订模型参数δ,C。整合参数使ΔMRE值最小，完成SVM预测模型训练。通过训练好的SVM模型拟合出出现断层后片剂偏转角度、位移长度与对应位置之间的复杂关系，从而根据给出的偏移角度、位移长度预测出未来数帧里片剂胶囊出现的位置。
训练好的模型带入断层后出现的第一片片剂胶囊的偏转角度和位移长度预测出片剂落入瓶底的时间，即片剂胶囊位置位于中心圆内视为落入瓶底，如图18所示，此时所用时间t5为此次断层延时时间。通过对出现断层现象后预测片剂落入瓶底时间，我们能够准确判断是否能够灌装合格。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：包括如下步骤：
(1)把高速工业相机附加到灌装自动化生产线瓶包装传送带的一侧，抓拍出感兴趣区域即无片剂胶囊的合格图像，读入工业计算机内存中；
(2)将另一台高速工业相机附加到漏斗上方，对片剂胶囊实时下落情况进行记录，同步传输到工业计算机中；
(3)对步骤(1)中读入工业计算机内存中的感兴趣区域即无片剂胶囊的合格图像进行灰度化处理；
(4)对步骤(2)中传输到工业计算机中的视频数据进行处理，将每一帧视频数据与视频开始记录的第一帧进行差分计算，差分结果△P>X(△P为两帧数据差值，X为差值阈值)时为漏斗中出现片剂胶囊，将此帧作为片剂胶囊灌入漏斗的起始帧；
(5)对步骤(4)中片剂胶囊灌入起始帧以后的视频数据进行块分割，将每一帧数据分割成Na等份的块；所谓块即每帧完整图像切割成均匀大小的图像小块；对图像建立坐标系，即每一个帧块可以准确找到相应坐标对应，将每个块进行像素灰度值累加计算，像素灰度值合P<P0的块即为不含有片剂胶囊的块，P0为经验阈值；
(6)对步骤(5)中分割的视频帧块进行块匹配，从起始帧开始取连续两帧进行块匹配，首先顺序遍历两帧中的所有的块，计算两帧之间所有块之间绝对误差和SAD值的大小，SAD值<T时视为两个块有相应联系即块相匹配，T为经验阈值；
(7)对步骤(6)中建立联系的两个块分别与步骤(5)中的无片剂胶囊参考块差分计算，即能得出块中片剂胶囊轮廓范围，对差分计算后的结果即离散的数个特征点，随机选取一个特征点标记作为轮廓标记的初始点，循环标记操作并满足特征点与特征点之间的矢量距离为Na个像素灰度值，直至遍历差分运算结果；
(8)传感器触发后工业相机拍照，经过目标下落模型计算的延迟时间△t后按下工业相机对感兴趣区域片剂胶囊下落进行抓拍，把获得图像读入所述工业计算机的内存中；
(9)对步骤(7)中标记的点进行连线，反映在当前帧中即形成光流场，利用轮廓点形成的光流场相较单一块匹配形成的光流场更能准确直观的表现出移动物体的运动趋势与位移矢量；
(10)对步骤(9)中构建的光流场，计算片剂胶囊位移矢量；建立空间坐标系，对两帧中相关联的块中标记点进行距离计算，即为片剂胶囊在单帧时间内位移距离；
(11)对步骤(8)中读入工业计算机内存中的图像进行灰度化处理，同时将此灰度图与步骤(3)中的标准模板灰度图进行差分运算；
(12)对步骤(10)中的片剂胶囊位移矢量与所设阈值△l相比较，判断是否有灌装断层现象出现，记此时为t4；
(13)对步骤(12)中出现的断层现象转步骤(16)；
(14)把步骤(11)的图像进行腐蚀处理，取出大面积差值，同时进行边缘化处理；
(15)对步骤(14)的图像进行膨胀处理，计算图像内像素点的个数，与事先设定的阈值比较，判断△t时间内是否有目标存在；若比阈值小则不存在则转步骤(8)等待下一次的抓拍；若比阈值大，则认为是不合格瓶子，转步骤(23)；
(16)对步骤(13)产生断层后的片剂胶囊通过实时压缩感知进行位置追踪，即在出现断层后的第一粒片剂胶囊进行追踪初始化，对初始位置进行标定、输出矩形框中心坐标(x0,y0)，并记此初始状态下目标位移量为零，偏转角度为零；
(17)对步骤(16)出现断层后的视频帧数据通过随机稀疏矩阵R降维，再通过贝叶斯分类器分类进行片剂目标追踪，对于输出的断层后首颗片剂胶囊目标位置和远离目标中心的位置采集正样本和负样本，来更新分类器；对于下一帧图像，在上一帧跟踪到的目标位置的周围采样n1个扫描窗口，通过同样的稀疏测量矩阵对其降维，提取特征，然后用上一帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了目标跟踪，输出目标窗口中心点坐标信息(xi,yi)；其位移矢量
Figure FDA0002609316820000021
偏转角度
Figure FDA0002609316820000022
(18)使用SVM模型进行时间预测，给定训练样本集
Figure FDA0002609316820000023
(Xi为输入向量，Ri为相应输出值，N为样本数，n为输入向量维数)，所用线性回归函数为：
Figure FDA0002609316820000024
C为所设计的函数模型中的斜率参数，b为保证函数精度的偏置参数；
αi,αi *为对偶参数；K(Xi,X)为核函数；采用高斯函数作为核函数即有
Figure FDA0002609316820000025
其中δ2为高斯核函数的宽度函数，它定义了从输入空间到高维特征空间的非线性映射；为了消除指标之间的量纲影响，需要对数据进行归一化处理即为：x*＝1/(1+x)，x为输入值；经过此种数据处理后时间、偏转角度、位移长度均在同一数量级中；
(19)决定片剂胶囊的到达漏斗底部时间主要参数为出现断层时间t4、偏转角度α和位移长度L，则在某一位置下参数向量为X(i)＝[t4(i),α(i),L(i)]T，对应到达漏斗底圆时间为R(i)；则可构成一对样本(X(i),R(i))，通过收集不同位置下的样本对，形成样本集{(X(i),R(i))}；
(20)建立预测模型使用NA对样本数据，其中N1对作为训练样本，剩余N2作为检验样本，防止产生过学习或欠学习现象；评价预测模型的性能采用统计量平均相对误差
Figure FDA0002609316820000031
估计值为
Figure FDA0002609316820000032
通过△MRE值修订模型参数δ,C，整合参数使△MRE值最小，完成SVM预测模型训练；
(21)通过训练好的SVM模型拟合出出现断层后时间、片剂偏转角度、位移长度与对应落入漏斗底部圆时间之间的复杂关系，从而根据给出的偏移角度、位移长度预测出断层现象后片剂离开漏斗的时间t5；
(22)对步骤(21)中训练好的模型带入断层后出现时间t4，以及断层后第一片片剂胶囊的偏转角度和位移长度预测出断层出现后片剂胶囊离开漏斗时间t5，计算t4+t5与单瓶停留灌装时间t6大小关系从而得出是否能够正确灌装；
(23)灌装遗漏检测处理系统向剔除单元输出剔除控制信号，启动工件剔除单元，打开电磁阀，剔除不合格的药瓶，完成对不合格药瓶的剔除后，转步骤(8)继续下一次的抓拍。
2.根据权利要求1所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：步骤(8)中的延迟时间△t取值为
Figure FDA0002609316820000033
其中
Figure FDA0002609316820000034
Figure FDA0002609316820000035
式中T1，T2，T3指100颗片剂胶囊在灌装漏斗斜面三条路径下灌装完毕的时间；N指灌装标准颗数；t1，t2，t3指片单颗剂胶囊从开始灌装到接触瓶底的时间。
3.根据权利要求1所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：步骤(12)中阈值△l为：(图像长度×25％)。
4.根据权利要求1所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：步骤(15)中的阈值范围计算为：(图像抓拍图像尺寸/实际目标面积)×漏斗口面积×(35％-55％)。
5.根据权利要求1所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：步骤(23)中的灌装遗漏检测处理系统包括光电传感单元、成像系统、漏斗、工业计算机以及剔除单元。
6.根据权利要求5所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：所述光电传感单元包括光电传感器发射端和光电传感器接收端，分别安装于药瓶传送带上方两侧，用于检测片剂胶囊是否到位，以便产生脉冲信号输送到工业计算机，工业计算机发出指令触发工业相机拍照。
7.根据权利要求5所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：所述成像系统与工业计算机的图像信号输入端相连，包括专用光源和两台高速工业相机；所述专用光源为其中一台高速工业相机拍照时提供照明；其中一台高速工业相机的镜头通过所述光源的中间取景，拍照后获得的图像输送到工业计算机内存。
8.根据权利要求7所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：另一台高速工业相机固定在漏斗正上方，通过工业相机连续触发模式对药品下落过程进行实时记录。
9.根据权利要求8所述的一种基于机器视觉的片剂胶囊灌装遗漏智能检测方法，其特征在于：所述剔除单元与工业计算机相连，并接受工业计算机的控制；所述剔除单元包括剔除控制装置、机械臂、不合格药瓶收集箱；所述机械臂和不合格药瓶收集箱均受控于所述剔除单元中的剔除控制装置。
CN201811155354.8A 2018-09-30 2018-09-30 基于机器视觉的片剂胶囊灌装遗漏智能检测方法 Active CN109433641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811155354.8A CN109433641B (zh) 2018-09-30 2018-09-30 基于机器视觉的片剂胶囊灌装遗漏智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811155354.8A CN109433641B (zh) 2018-09-30 2018-09-30 基于机器视觉的片剂胶囊灌装遗漏智能检测方法

Publications (2)

Publication Number Publication Date
CN109433641A CN109433641A (zh) 2019-03-08
CN109433641B true CN109433641B (zh) 2021-03-16

Family

ID=65546082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811155354.8A Active CN109433641B (zh) 2018-09-30 2018-09-30 基于机器视觉的片剂胶囊灌装遗漏智能检测方法

Country Status (1)

Country Link
CN (1) CN109433641B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032946B (zh) * 2019-03-21 2021-02-12 西安交通大学 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法
CN111179301B (zh) * 2019-12-23 2023-06-30 北京中广上洋科技股份有限公司 一种基于计算机视频的运动趋势分析方法
CN111398308B (zh) * 2020-03-27 2023-01-17 上海健康医学院 一种片剂、胶囊铝塑泡罩包装质量自动检测方法及系统
CN112991381B (zh) * 2021-03-15 2022-08-02 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN117141783B (zh) * 2023-10-24 2023-12-26 南京比逊弥特智能科技有限公司 静态精准称重系统及方法
CN117132655B (zh) * 2023-10-25 2024-01-26 江苏金旺智能科技有限公司 基于机器视觉的灌装桶口位置测量方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005016124A1 (de) * 2005-04-08 2006-10-12 Robert Bosch Gmbh Sensorvorrichtung einer Verpackungsmaschine
CN100556559C (zh) * 2006-10-13 2009-11-04 江苏大学 基于计算机视觉的软胶囊质量在线检测的装置与方法
CN104523435A (zh) * 2014-12-23 2015-04-22 安徽科鸣三维科技有限公司 一种基于机器视觉的胶囊灌装系统
CN104523436A (zh) * 2014-12-23 2015-04-22 安徽科鸣三维科技有限公司 一种机器视觉胶囊自动灌装检测方法
JP6641239B2 (ja) * 2016-06-27 2020-02-05 株式会社ユニテック 計数充填装置および計数充填方法
CN206810710U (zh) * 2017-04-13 2017-12-29 南通大学 一种基于机器视觉的香烟爆珠滤棒检测装置
CN107944444B (zh) * 2017-11-21 2020-07-28 北京化工大学 一种瓶装液体异物检测方法及系统

Also Published As

Publication number Publication date
CN109433641A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109433641B (zh) 基于机器视觉的片剂胶囊灌装遗漏智能检测方法
Wang et al. Machine vision intelligence for product defect inspection based on deep learning and Hough transform
US9833815B2 (en) Conveying system, plant for sorting bulk goods having a conveying system of this type, and transport method
EP4343711A1 (en) A material handling method, apparatus, and system for identification of a region-of-interest
CN107657244B (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN108229561B (zh) 一种基于深度学习的颗粒产品缺陷检测方法
JP7118042B2 (ja) 距離判定システム、コンピュータ実装方法、及び、コンピュータ・プログラム製品
US20210012524A1 (en) Learning dataset creation method and device
CN111242108B (zh) 基于目标检测的皮带转载点堵煤识别方法
EP1766364B1 (en) Method and apparatus for visual detection and inspection of objects
CN107084992B (zh) 一种基于机器视觉的胶囊检测方法及系统
WO2011158885A1 (en) Position/orientation measurement apparatus, processing method therefor, and non-transitory computer-readable storage medium
Garfo et al. Defect detection on 3d print products and in concrete structures using image processing and convolution neural network
CN210071686U (zh) 基于正交双目机器视觉的水果分级装置
EP3376433A1 (en) Image processing apparatus, image processing method, and image processing program
CN105976396A (zh) 用于视频图像识别在传送带上运动物体的方法
CN108364306B (zh) 一种高速周期运动的视觉实时检测方法
US20210302529A1 (en) Determining Imperfections in an Imaging Camera for Determining the Orientation of Objects in Space
CN105844282B (zh) 一种运用线扫描相机检测喷油嘴O-Ring缺陷的方法
van der Mark et al. Stereo based obstacle detection with uncertainty in rough terrain
CN115147332A (zh) 一种基于机器视觉的传送带货品智能监控方法及系统
CN115601686B (zh) 物品交付确认的方法、装置和系统
CN107742383B (zh) 基于光面成像的自动结算系统及结算方法
EP4194108A1 (en) Small-grain agricultural product color selection method combining area scan and line scan photoelectric features
Frank et al. Stereo-vision for autonomous industrial inspection robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190308

Assignee: Hangzhou lanque technology partnership (L.P.)

Assignor: NANTONG University

Contract record no.: X2021980012590

Denomination of invention: Intelligent detection method of tablet and capsule filling omission based on machine vision

Granted publication date: 20210316

License type: Common License

Record date: 20211119