CN101859378A - 高速医药生产线上的药液质量视觉检测方法 - Google Patents

高速医药生产线上的药液质量视觉检测方法 Download PDF

Info

Publication number
CN101859378A
CN101859378A CN 201010198005 CN201010198005A CN101859378A CN 101859378 A CN101859378 A CN 101859378A CN 201010198005 CN201010198005 CN 201010198005 CN 201010198005 A CN201010198005 A CN 201010198005A CN 101859378 A CN101859378 A CN 101859378A
Authority
CN
China
Prior art keywords
image
target
foreign matter
value
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010198005
Other languages
English (en)
Other versions
CN101859378B (zh
Inventor
王耀南
杨双
周博文
张辉
葛继
陈铁建
熊路
马波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN2010101980051A priority Critical patent/CN101859378B/zh
Publication of CN101859378A publication Critical patent/CN101859378A/zh
Application granted granted Critical
Publication of CN101859378B publication Critical patent/CN101859378B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种高速医药生产线上的药液质量视觉检测方法,其特征在于,包括以下步骤:步骤1:图像获取;对预先高速旋转后的药液在瓶子停止状态下获取5幅连续序列图像,所拍摄的图像为灰度图像;步骤2:图像初步去噪;采用基于特征点的偏移量还原背景的方法去除瓶壁的动态干扰;步骤3:目标检测:通过差分方法以及基于阈值分割方法去除静态干扰;步骤4:目标识别:根据目标的运动轨迹连续与否判断该目标是否为异物,并记录该异物;步骤5:目标判断:根据所记录的异物的大小是否超出规定的范围判断该异物是否为可见异物。该方法检测精度高,检测速度快。

Description

高速医药生产线上的药液质量视觉检测方法
技术领域
本发明属于机器视觉检测技术领域,涉及一种高速医药生产线上的药液质量视觉检测方法。
技术背景
为规范和维护我国的医药市场,保证医药质量,我国国家药典对医药的质量检测提出了严格的要求,其中的一个重要部分是对可见异物的检测。药典规定,针对可见异物的检测有灯检法和光散射法两种方法。一股药液采用灯检法,少数采用光散射法。灯检法为“除去容器标签,擦净容器外壁,轻轻旋转和翻转容器使药液中存在的可见异物悬浮(注意不使药液产生气泡)…分别在黑色和白色背景下,手持供试品颈部使药液轻轻翻转,用目检视”。
目前我国的大部分企业都停留在人工检测的方法上,一条生产线上配有多名工人检测产品,而长时间的工作使得人眼疲劳,可能导致误检、漏检,使产品存在着极大的安全隐患。目前国内的全自动灯检机基本上靠进口国外产品,除了昂贵的价格外,而且由于国外的产品规格和标准与国内不同,使得国外进口的全自动灯检机不能准确有效的检测出药液中的可见异物,不能满足我国的市场和产品需求。因此,研发出适合我国产品标准和规格的全自动灯检机势在必行。全自动灯检机是指完全脱离人工检测,利用机器视觉或光电传感器的方法,在有机械装置带动溶液旋转后并停止,由视觉系统代替人眼进行检测并作出判断进行分拣。全自动灯检机一方面可以大大的节省企业经济成本和人力成本,为国家创造更大的经济效益和价值,同时更重要的是可以保证检测的重复性和可靠性,不会产生疲劳效应,并且实现在线检测,从而在保证产品质的同时也保证了产品的产量。
但是,与一股情况下的目标检测和识别不同,由于全自动灯检机高速度高精度的要求以及特殊的检测对象,使得高速医药生产线上的药液质量视觉检测方法面临着以下主要技术难题:
(1)图像干扰因素多。由于全自动灯检机的高速性要求,在高速状态下,机械处于快速运动状态,使得在拍摄图像时,药品瓶子并不完全处于静止状态,而往往是拍摄时仍然在慢速移动,造成拍摄的图像会有偏差,而药液中的异物一股数量较少,个体也比较小,通常只占有图像上几个或十几个像素大小,因此拍摄时瓶子的运动使一股的检测方法容易受干扰因素的影响。
(2)药液中的异物数量、形状、大小以及重量等信息都不固定,没有比较明显的纹理信息可以利用,增加了检测难度。在异物随溶液运动过程中,由于自身的翻转等因素使得表现在图像上的异物的形状和大小均处于时刻变化的状态,因此在目标识别过程中不能用一股的固定搜索窗的方法;而各个不同的杂质在不同的位置由于浮力的原因,其运动速度和运动状态等都会各不相同,因此无法在保证检测速度的同时对其建立精确地估计模型。
(3)检测速度和精度要求。由于全自动灯检机的速度要求,而一股的目标检测和识别方法不能同时满足在线高速度和高精度的要求。
发明内容
本发明所要解决的技术问题是提出一种高速医药生产线上的药液质量视觉检测方法,该方法检测精度高,检测速度快。
本发明的技术解决方案如下:
一种高速医药生产线上的药液质量视觉检测方法,其特征在于,包括以下步骤:
步骤1:图像获取;对预先高速旋转后的药液在瓶子停止状态下获取5幅连续序列图像,所拍摄的图像为灰度图像;
步骤2:图像初步去噪;采用基于特征点的偏移量还原背景的方法去除瓶壁的动态干扰;
步骤3:目标检测:通过差分方法以及基于阈值分割方法去除静态干扰;
步骤4:目标识别:根据目标的运动轨迹连续与否判断该目标是否为异物,并记录该异物;
步骤5:目标判断:根据所记录的异物的大小是否超出规定的范围判断该异物是否为可见异物;
所述的步骤2的具体步骤为:
①求取每个可能的偏移量:选取表现为大面积连续亮色的瓶壁上文字作为特征点,将特征点的范围限定在文字区域,再判断像点灰度值是否满足f(i,j)>252,其中(i,j)在当前像素点的3*3邻域内;再判断f(x+k,y)=f(x,y),其中k表示前后两幅图像中,f(x,y)表示当前像素点(x,y)的灰度值,当前像素点(x,y)的可能移动距离K的取值范围为1<k<80,搜索整个文字区域,检索符合判断条件的特征点,从而获得大小为k的特征点偏移量所出现的频数的数组v(k);
②计算各个可能偏移量的出现频率,即:
P k = v ( k ) / Σ k = 1 k = 80 v ( k ) ,
并选取对应于最大Pk值的k值为最终的偏移量,保存为r;
③背景还原:利用所计算出的r值,将第二幅图往回水平平移r个像素点,使其背景和第一幅图相同,而因为平移而留下的图像中的空白部分用黑色填充。
步骤3中目标检测的具体流程为:
①对初步去噪后的当前帧图像fi(x,y)与第一帧图像f1(x,y)进行差分处理得到一次差分图像di(x,y),即
di(x,y)=fi(x,y)-f1(x,y);
②概率阈值分割:利用图像的概率直方图,通过概率加权进行多次迭代求出最后的最佳分割阈值,再基于该最佳分割阈值去除干扰,包括以下步骤:
步骤a:求取图像的概率分布:
pk(i)=k(i)/(m*n);
式中k(i)表示像素值为i的像素点个数(0<i<255),
Figure GDA0000022247390000032
pk(i)表示像素值为i的像素点所出现的概率,m和n分别代表图像的高和宽;
步骤b:利用概率值pl(i),迭代求取最佳阈值:设置初始阈值为t=0;
步骤c:按此阈值t进行图像分割,得到两部分,一部分其灰度值均高于阈值t,此部分的灰度值进行累加,求得灰度值总和s1,含有n1个像素点,其灰度平均值为u1;另一部分其灰度值均低于阈值t,此部分的灰度值进行累加,求得灰度值总和s2,含有n2个像素点,其灰度平均值为u2:
u1=s1/n1;
u2=s2/n2;
取新的阈值为
t2=(0.6*u1+0.4*u2)/2;
步骤d:比较t与t2的差值,若其差值大于0.1,则将t2赋值给t,返回步骤c继续执行;当其差值小于0.1时,即停止迭代,所求取的阈值作为最终的最佳阈值;
③采用该最佳阈值进行图像分割;
④对分割后的图像进行二次差分,此时可以去掉在第一次差分和概率阈值分割中遗留的静态干扰点,同时保留异物图像信息。
所述步骤4中目标识别的具体步骤为:
①搜寻并标记图像中的可疑目标,以每个目标的质心位置代表此可疑目标的位置,记录每个可疑目标的位置信息aik和面积信息Sik,i表示第i幅图,k表示第k个可疑目标;
②目标匹配:包括以下步骤:
步骤a:自适应搜索区域确定:采用可随异物大小而变化的自适应搜索区域,其搜索半径为:
Rik=max(10,2Sik)
其中Rik表示第i帧图像中第k个目标在下一帧中的搜寻半径;
步骤b:目标特征匹配:在记录了前一帧中的异物面积和位置之后,在此位置附近半径为Rik的区域内搜索可疑目标,并记录所搜索到的可疑目标的面积信息,当搜索半径Rik<5时,设定面积发生变化的幅度范围ΔSik<2;当搜索半径Rik>5时,设定面积发生变化的幅度范围ΔSik<20,搜索到的满足面积变化幅度要求的可疑目标即确定为异物。
有益效果:
与现有技术相比,本发明的优点在于:
(1)检测和识别速度快,保证生产线的速度要求。本发明充分考虑生产线的实际情况,采用先初步去噪,再进行检测跟踪的方法,而在检测执行过程中同时达到去除干扰的目的,压缩了检测识别和去噪的过程,而不同于一股的检测方法,进行了繁杂的去噪工作才进行检测,因而保证产品的生产线速度。
(2)检测精度高。因为药液中的异物通常较小,在图像上通常只有几个像素,不同于一股的红外目标识别或者其他运动目标检测,因此如何有效地区分图像上的干扰和异物,是一个难点。而本发明巧妙地在初步去噪,去除大干扰点之后,将差分和概率阈值分割相结合,采用前后两次差分,中间进行概率阈值分割的方法,很好的去除了图像上的静态和动态干扰,解决了这个问题。
(3)本发明由于采用自适应的搜索区域从而进一步保证检测速度和检测精度。因为在拍摄过程中异物在不停地无规则运动,造成在图像上其形状和面积都有可能不规律的变化,因此,若采用固定区域的搜索,可能导致目标丢失或者增加不必要的运行时间。而本发明采用与异物当前位置和面积以及上一次位置和面积相关的自适应搜索区域,可以大大提高检测精度并保证检测速度。
附图说明
图1为本发明的总体流程示意图。
图2为拍摄的连续序列图像中的3幅图像(a,第一幅,b,第二幅,c,第三幅)。
图3为检测方法中的运动目标检测块流程示意图。
图4为初步去噪后首次差分所得到的图像。
图5为采用的加权概率迭代法求取阈值的流程图。
图6为经过运动目标检测后所得到的图像。
图7为最终标记出所判定的目标后的图像。
标号说明:1-异物,2-瓶壁干扰点,3-干扰点。
具体实施方式
以下将结合图和具体实施过程对本发明做进一步详细说明。
实施例1
本实例的步骤如下:
(1)图像获取:对预先高速旋转后的药液在瓶子停止状态下获取5幅连续序列图像,每两幅图之间的时间间隔约为10ms,这个时间间隔可以保证满足生产线速度的同时,在连续两幅图像之间不会造成异物图像重叠,同时异物的移动距离不会太大,从而进一步保证后续检测算法的检测精度;同时由于生产线速度的要求,所拍摄的图像为灰度图像,减少处理数据量和处理时间。
(2)图像初步去噪:由于各方面原因,会造成在对药液拍摄图像时有可能药液容器即药瓶仍在运动,这样就会对检测造成很大的干扰,因此本发明采用凭借瓶子的多个特征点来求取多个可能的偏移量,并计算其概率,最后选择出现的概率最大的偏移量作为最终值,并记录为rec,即表示当前图像中的容器要运动rec的距离才能到达所计算的后续某幅图像中的容器位置;之后,以此rec量为基础,通过图像对比,再将后续图像中的容器即装药液的瓶子平移到当前图像上瓶子的位置,去除瓶壁的动态干扰,以此保证后续检测的精度。
(3)目标检测:在此步骤中,将图像中的目标检测与去噪工作合并在一起进行,既可以提高检测速度,而且可以达到更好的去噪效果,为之后的目标识别奠定基础。主要包括三个方面:①.对初步去噪后的连续图像进行第一次差分,以此初步分离出运动目标和背景。②.概率阈值分割。因为在图像上,异物多表现为或大或小的不规则亮点,而背景为全黑色,而分割的主要目的是分割出背景,因此在此步骤中,利用图像的概率直方图,通过概率加权进行多次迭代后求出最后的最佳分割阈值,进行分割去除干扰。③.对分割后的图像进行第二次差分,此时可以去掉在第一次差分和概率阈值分割中遗留的静态干扰点,同时保留异物信息。
(4)目标识别:因所获取的图像为灰度图像,无颜色信息可以利用,也无形状等纹理特征,因此必须充分利用目标现有信息,即目标的灰度信息和在图像上的位置信息进行识别。由于在图像中,异物的运动轨迹是连续的,方向是唯一的,而经过步骤(2)和步骤(3)处理后的残留噪声,其运动轨迹是无序的,随机的或者静止的,因此在此步骤中通过记录每幅图像中可疑目标的位置信息,并与后续图像进行对比,排除部分虚假目标。再进一步的根据并记录所跟踪的各个异物的面积信息,计算自适应的搜索区域,在其附近进一步搜索可疑目标并排除其余虚假目标。其中由于系统的实时性要求,在本发明中以搜寻到的各个可疑目标的像素点数分别作为其面积特征;
(5)目标判断:根据国家药典规定,超过50um大小的异物均为可见异物,而药液中不得有任何可见异物。可见主要是根据异物大小进行产品质量的判断。因此在目标识别之后,根据步骤(4)中所记录的异物的大小并比较得出最大值,判断其是否超出范围,若超出则目标必然为可见异物,需给plc发送相应信号进行剔除;否则表示目标不是可见异物,无需剔除。最后记录相关统计信息,为下一次检测提供参考数据。
具体说明如下:
如图1所示,本发明的高速医药生产线上的药液质量视觉检测方法的具体操作流程为:
1、图像获取:在此步骤中,需要衡量生产线速度与检测精度的要求,一方面所获取的图像帧数越少越能保证速度,另一方面,所获取的图像帧数越多越能保证检测精度。因此经过多次试验,最终调节获取图像的时间间隔为10ms,总共获取10幅图像时,可以保证满足生产线速度的同时,也不会在连续两幅图像之间造成异物图像重叠或者异物的移动距离太大,从而进一步保证后续检测算法的检测精度。
由于生产线速度的要求,而药液中的异物如玻屑、纤维等均无色彩表现,而从颜色信息上也很难识别出异物,因此所拍摄的图像为灰度图像,以减小处理的数据量,保证速度要求同时也不会丢掉异物信息,如图2为获取的连续序列图像中的3幅图像。
2、图像初步去噪:由于各种原因,在拍摄时瓶子偶尔会有平移,并非理想的静止状态,而一股的基于平移不变量的去噪方法计算复杂,消耗时间,不能满足检测的高速度要求。因此为保证检测精度,本发明采用下述步骤将背景还原。
此步骤包括:
1)求取每个可能的平移量:由于图像的背景为黑色,因此选取瓶壁上的文字作为特征点,其像素值均为较大值。由于此处的运动仅为单方向的运动,因此可以统计特征点在两幅图中的位置偏移来计算。即判断条件为3个:
①xmin<x<xmax;ymin<y<ymax;
②f(x,y)>252;其中(x,y)在当前像素点的3*3邻域内;
③f(x+k,y)=f(x,y);
上述条件中的前两个条件用于保证是所求取的点是特征点,其中xmin和xmax以及ymin和ymax分别表示在考虑位置偏移的情况下,文字区域的特征点表现在图像上的最左和最右的坐标值以及最上和最下的坐标值,考虑到系统的实时性要求,因此xmin、xmax、ymin、ymax的值均为经逾千次试验后得出的经验值。第三个条件中k表示前后两幅图像中,当前像素点的可能移动距离,其范围为1<k<80。在满足上述三个条件的情况下,表示k所出现的频数的数组v(k)也相应增加。如此一直循环,直至处理完所选区域内的最后一个像素点。
2)计算各个可能偏移量的出现频率,即:
P k = v ( k ) / Σ k = 1 k = 80 v ( k ) - - - ( 1 )
并选取对应于最大Pk值的k值为最终的偏移量,保存为rec。
3)背景还原:利用所计算出的rec值,将第二幅图往回平移rec个像素点,使其背景和第一幅图相同,而因为平移而留下的图像中的空白部分用黑色填充,此区域因没有异物存在(因瓶子不在此区域),因此不会影响检测结果。如此,对后续图像进行同样的计算处理。处理后,在不同的图像中相同的位置表示的就是相同的背景信息,可以大大提高后续处理精度,从而提高检测精度。
3、目标检测:在此步骤中,将图像的目标检测与去噪工作合并在一起进行,一方面可以提高检测速度,另一方面可以达到更好的分离异物与干扰的效果,为之后的目标识别奠定基础。如图3所示,为检测流程,主要包括三个步骤:
1)对初步去噪后的当前帧图像fi(x,y)与第一帧图像f1(x,y)进行差分处理得到一次差分图像di(x,y),即
di(x,y)=fi(x,y)-f1(x,y)
可以看出,上式中并未对结果图像取绝对值,因为取绝对值的状态下虽然会引入目标点图像,但会引入更多的干扰,增加处理复杂度,而如上式所示,由于异物在图像中表现为亮色(如图2所示),而背景均为黑色,因此差分之后异物信息仍然会得到保留,而可能在初步去噪中未去除的静态干扰在经过差分之后会被大大削弱,如图4所示。
2)概率阈值分割。流程如图5所示。因为在图像上,异物表现为或大或小的不规则亮点,只占图像的一小部分,而背景为黑色,分割的主要目的是分割出背景,因此在此步骤中,利用图像的概率直方图,通过概率加权进行多次迭代求出最后的最佳分割阈值,进行分割去除干扰。主要有以下步骤:
①.求取图像的概率分布,并储存。即:
k ( i ) = ( Σ f ( x , y ) = i i = 0 255 f ( x , y ) ) / i ,
概率为:
pk(i)=k(i)/(m*n);
上式中k(i)表示像素值为i的像素点个数(0<i<255),pk(i)表示像素值为i的像素点所出现的概率。
②.利用上述概率值,迭代求取最佳阈值。设置初始阈值为t=0,按此阈值进行图像分割,得到两部分,一部分其灰度值均高于阈值t,记为s1,含有n1个像素点,其灰度平均值为u1,另一部分其灰度值均低于阈值t,记为s2,含有n2个像素点,其灰度平均值为u2。有
u1=s1/n1;
u2=s2/n2;
利用加权规则,由于图像大部分为背景且为黑色,而小部分异物和干扰点为亮点,因此将s1部分比重加大,而s2部分比重调小,这样更容易均衡图像,并更容易获取不带干扰点的背景。因此,新的阈值为
t2=(0.6*u1+0.4*u2)/2
③.比较t与t2的差值,若其差值大于0.1,则将t2赋值给t,返回继续执行;当其差值小于0.1时,即停止迭代,所求取得阈值记为最终的最佳阈值。
3)采用2)中所求取的最佳阈值进行图像分割。
4)对分割后的图像进行第二次差分,此时可以去掉在第一次差分和概率阈值分割中遗留的静态干扰点,同时保留异物信息,因此可以大大提高后续的检测精度,经过此步骤处理后的图像如图6所示。。
4、目标识别:因所获取的图像为灰度图像,无颜色信息可以利用,而在拍摄过程中,药液中异物会随着药液的运动而运动,从而使得其不停地朝某个固定方向做无规则运动。因此,检测目标并无形状等纹理特征;而由于干扰点和异物在单幅图像上都表现为较小的亮点,因此也不能应用直方图信息进行识别。综合以上种种原因,必须充分利用目标的灰度信息和在图像上的位置信息进行识别。另外,由于所拍摄的图像中,异物是连续运动的,因此其面积是连续变化的,因此面积信息也是一个可利用信息。由于在图像中,异物的运动轨迹是连续的,方向是唯一的,而残留噪声的轨迹是无序的,随机的或者静止的,因此在本发明中通过记录每幅图像中可疑目标的位置信息,并与后续图像进行对比,排除部分虚假目标。再进一步的记录并根据所跟踪的各个异物的面积信息,在其附近进一步搜索可疑目标并排除其余虚假目标,具体包括:
1)搜寻并标记图像中的可疑目标,以每个目标的质心位置代表此可疑目标的位置,记录每个可疑目标的位置信息aik(表示第i幅图中的第k个可疑目标的位置信息)和面积信息Sik,由于系统的实时性要求,在本发明中以搜寻到的各个可疑目标的像素点数分别作为其面积特征;
2)目标匹配:主要包括以下步骤:
①.自适应搜索区域确定:由于在所拍摄的连续图像中,异物是连续运动的,因此后一帧图像中的目标应该在前一帧图像中的目标位置附近。我们可以缩小搜索范围,即在上一帧图中此目标的一定大小的邻域内搜索。因为大的运动目标(如玻屑)一股质量较重,运动速度较快,表现在图像上即为前后两帧其位置相差较远;而较小的目标其质量一股较轻,因此运动速度慢,表现在图像上,即为前后两帧中,其位置距离较近(由于前面图像获取部分的间隔时间的选取,使得即便位置相距较近,也不会重叠)。因此,本发明中采用可随异物大小而变化的自适应搜索区域,其半径为:
Rik=max(10,2Sik)
其中Rik表示第i帧图像中第k个目标在下一帧中的搜寻半径,取值为10和2Sik中的最大值。
多次试验中发现,通常只有两到三个像素大小的比较小的异物,其运动距离不止是其面积的两倍,而可能超出2Sik,但据试验,其范围不超过10个像素,因此设置搜索半径为10和2Sik中的最大值。
本发明中选取与可疑目标面积成正比的自适应搜索区域,可以动态调整,从而减少一部分程序运行时间,从而提高检测速度。
②.目标特征匹配:在搜索区域确定之后,首先根据异物的大小进行搜索。如前所述,因为所拍摄的图像是连续的,因此,异物面积在相邻各幅图像中是连续变化的。根据此规则,在记录了前一帧中的异物面积和位置之后,在此位置附近半径为Rik的区域内搜索可疑目标,并记录所搜索到的可疑目标的面积信息。此时的面积变化的概率是和运动距离相关的,运动距离越远,其形状越有可能发生变化,进而导致图像上目标的面积发生变化,因此设置当搜索半径Rik<5时,认为面积发生变化的幅度范围ΔSik<2;而当搜索半径Rik>5时,认为面积发生变化的幅度范围ΔSik<20;其中2、5和20的选取都是针对各种不同的异物类型经过多次试验后所确定的经验数值。
如此,利用搜索半径和面积信息的约束,可以保证在经过上述的图像初步去噪和目标检测后,搜索到唯一目标。
5、目标判断:因为本发明的主要目的是利用机器视觉技术代替人工对药液中的可见异物进行检测,以确保药品质量。根据国家药典规定,超过50um大小的异物均为可见异物,而药液中不得有任何可见异物。可见主要是根据异物大小进行产品质量的判断。因此在目标识别之后,根据上述步骤中所记录的异物的大小的最大值是否超出范围,做出产品是否合格的判断,并记录相关统计信息,为下一次检测提供参考数据。如图7所示,图中将利用上述检测方法识别出的异物分别标记出来,每个形状代表了所识别出的每个目标,图中的圆圈所在位置为上一幅图中此目标所出现的位置,三角形表示在当前图像中所识别出的此目标的位置,由图中可以看出,应用上述检测方法可以对药液内的异物进行精确跟踪,而对于非异物的干扰点也可以很好的辨别,未在跟踪之列。

Claims (3)

1.一种高速医药生产线上的药液质量视觉检测方法,其特征在于,包括以下步骤:
步骤1:图像获取;对预先高速旋转后的药液在瓶子停止状态下获取5幅连续序列图像,所拍摄的图像为灰度图像;
步骤2:图像初步去噪;采用基于特征点的偏移量还原背景的方法去除瓶壁的动态干扰;
步骤3:目标检测:通过差分方法以及基于阈值分割方法去除静态干扰;
步骤4:目标识别:根据目标的运动轨迹连续与否判断该目标是否为异物,并记录该异物;
步骤5:目标判断:根据所记录的异物的大小是否超出规定的范围判断该异物是否为可见异物;
所述的步骤2的具体步骤为:
①求取每个可能的偏移量:选取表现为大面积连续亮色的瓶壁上文字作为特征点,将特征点的范围限定在文字区域,再判断像点灰度值是否满足f(i,j)>252,其中(i,j)在当前像素点的3*3邻域内;再判断f(x+k,y)=f(x,y),其中k表示前后两幅图像中,f(x,y)表示当前像素点(x,y)的灰度值,当前像素点(x,y)的可能移动距离K的取值范围为1<k<80,搜索整个文字区域,检索符合判断条件的特征点,从而获得大小为k的特征点偏移量所出现的频数的数组v(k);
②计算各个可能偏移量的出现频率,即:
P k = v ( k ) / Σ k = 1 k = 80 v ( k ) ,
并选取对应于最大Pk值的k值为最终的偏移量,保存为r;
③背景还原:利用所计算出的r值,将第二幅图往回水平平移r个像素点,使其背景和第一幅图相同,而因为平移而留下的图像中的空白部分用黑色填充。
2.根据权利要求1所述的高速医药生产线上的药液质量视觉检测方法,其特征在于,步骤3中目标检测的具体流程为:
①对初步去噪后的当前帧图像fi(x,y)与第一帧图像f1(x,y)进行差分处理得到一次差分图像di(x,y),即
di(x,y)=fi(x,y)-f1(x,y);
②概率阈值分割:利用图像的概率直方图,通过概率加权进行多次迭代求出最后的最佳分割阈值,再基于该最佳分割阈值去除干扰,包括以下步骤:
步骤a:求取图像的概率分布:
pk(i)=k(i)/(m*n);
式中k(i)表示像素值为i的像素点个数(0<i<255),
Figure FDA0000022247380000021
pk(i)表示像素值为i的像素点所出现的概率,m和n分别代表图像的高和宽;
步骤b:利用概率值pk(i),迭代求取最佳阈值:设置初始阈值为t=0;
步骤c:按此阈值t进行图像分割,得到两部分,一部分其灰度值均高于阈值t,此部分的灰度值进行累加,求得灰度值总和记为s1,含有n1个像素点,其灰度平均值为u1;另一部分其灰度值均低于阈值t,此部分的灰度值进行累加,求得灰度值总和记为s2,含有n2个像素点,其灰度平均值为u2:
u1=s1/n1;
u2=s2/n2;
取新的阈值为
t2=(0.6*u1+0.4*u2)/2;
步骤d:比较t与t2的差值,若其差值大于0.1,则将t2赋值给t,返回步骤c继续执行;当其差值小于0.1时,即停止迭代,所求取的阈值作为最终的最佳阈值;
③采用该最佳阈值进行图像分割;
④对分割后的图像进行二次差分,此时可以去掉在第一次差分和概率阈值分割中遗留的静态干扰点,同时保留异物图像信息。
3.根据权利要求1或2所述的高速医药生产线上的药液质量视觉检测方法,其特征在于,所述步骤4中目标识别的具体步骤为:
①搜寻并标记图像中的可疑目标,以每个目标的质心位置代表此可疑目标的位置,记录每个可疑目标的位置信息aik和面积信息Sik,i表示第i幅图,k表示第k个可疑目标;
②目标匹配:包括以下步骤:
步骤a:自适应搜索区域确定:采用可随异物大小而变化的自适应搜索区域,其搜索半径为:
Rik=max(10,2Sik)
其中Rik表示第i帧图像中第k个目标在下一帧中的搜寻半径;
步骤b:目标特征匹配:在记录了前一帧中的异物面积和位置之后,在此位置附近半径为Rik的区域内搜索可疑目标,并记录所搜索到的可疑目标的面积信息,当搜索半径Rik<5时,设定面积发生变化的幅度范围ΔSik<2;当搜索半径Rik>5时,设定面积发生变化的幅度范围ΔSik<20,搜索到的满足面积变化幅度要求的可疑目标即确定为异物。
CN2010101980051A 2010-06-11 2010-06-11 高速医药生产线上的药液质量视觉检测方法 Expired - Fee Related CN101859378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101980051A CN101859378B (zh) 2010-06-11 2010-06-11 高速医药生产线上的药液质量视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101980051A CN101859378B (zh) 2010-06-11 2010-06-11 高速医药生产线上的药液质量视觉检测方法

Publications (2)

Publication Number Publication Date
CN101859378A true CN101859378A (zh) 2010-10-13
CN101859378B CN101859378B (zh) 2012-09-12

Family

ID=42945276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101980051A Expired - Fee Related CN101859378B (zh) 2010-06-11 2010-06-11 高速医药生产线上的药液质量视觉检测方法

Country Status (1)

Country Link
CN (1) CN101859378B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102519984A (zh) * 2011-11-16 2012-06-27 湖南大学 药液异物的抗振动机器视觉检测方法
CN103226814A (zh) * 2013-04-02 2013-07-31 湖南大学 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法
CN106022347A (zh) * 2016-05-31 2016-10-12 长沙理工大学 一种改进的药液异物图像局部特征匹配方法
CN107680079A (zh) * 2017-09-04 2018-02-09 湖南大学 一种医用药剂中可见异物的高速并行视觉检测方法
CN109738433A (zh) * 2018-11-30 2019-05-10 西北大学 基于图像处理的水油分层混合液含水率检测方法及装置
CN110246156A (zh) * 2019-05-30 2019-09-17 中国科学院长春光学精密机械与物理研究所 一种异物的识别方法、识别系统及终端设备
CN110706262A (zh) * 2019-10-09 2020-01-17 上海思岚科技有限公司 图像处理方法、装置、设备及存储介质
CN110892272A (zh) * 2017-07-31 2020-03-17 株式会社日立高新技术 装置、试料的状态的判别方法以及分析系统
CN112053377A (zh) * 2020-08-28 2020-12-08 常州码库数据科技有限公司 一种药物合成过程控制方法及系统
CN112362674A (zh) * 2020-11-13 2021-02-12 四川科伦药业股份有限公司 一种基于人工智能视觉技术的输液袋异物识别方法及检测方法
CN113284116A (zh) * 2021-05-28 2021-08-20 荆门汇易佳信息科技有限公司 实时图像解析的红酒半成品运动检测系统
CN114261590A (zh) * 2022-01-19 2022-04-01 佛山果硕智能科技有限公司 一种啤酒罐装后动态气泡分析的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252980B1 (en) * 1993-11-24 2001-06-26 Nira Schwartz Additional dynamic fluid level and bubble inspection for quality and process control
JP2004354100A (ja) * 2003-05-27 2004-12-16 Matsushita Electric Works Ltd 容器内液体中の異物検出方法及びその装置
WO2006011803A2 (en) * 2004-07-30 2006-02-02 Eagle Vision Systems B.V. Apparatus and method for checking of containers
EP1857806A2 (en) * 2006-05-15 2007-11-21 OMRON Corporation, a corporation of Japan Device, method and program for detecting impurities in a fluid
JP2007304030A (ja) * 2006-05-15 2007-11-22 Hitachi Plant Technologies Ltd 容器内異物検出装置
CN101354359A (zh) * 2008-09-04 2009-01-28 湖南大学 药液内运动可见异物的检测跟踪与识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252980B1 (en) * 1993-11-24 2001-06-26 Nira Schwartz Additional dynamic fluid level and bubble inspection for quality and process control
JP2004354100A (ja) * 2003-05-27 2004-12-16 Matsushita Electric Works Ltd 容器内液体中の異物検出方法及びその装置
WO2006011803A2 (en) * 2004-07-30 2006-02-02 Eagle Vision Systems B.V. Apparatus and method for checking of containers
EP1857806A2 (en) * 2006-05-15 2007-11-21 OMRON Corporation, a corporation of Japan Device, method and program for detecting impurities in a fluid
JP2007304030A (ja) * 2006-05-15 2007-11-22 Hitachi Plant Technologies Ltd 容器内異物検出装置
CN101354359A (zh) * 2008-09-04 2009-01-28 湖南大学 药液内运动可见异物的检测跟踪与识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《仪器仪表学报》 20080331 杨福刚 等 基于机器视觉的全自动灯检机关键技术研究 第562-566页 1-3 第29卷, 第3期 2 *
《光电子 激光》 20090630 段中兴 等 基于时空运动信息的药液异物自适应分割算法 第779-783页 1-3 第20卷, 第6期 2 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102519984A (zh) * 2011-11-16 2012-06-27 湖南大学 药液异物的抗振动机器视觉检测方法
CN102519984B (zh) * 2011-11-16 2013-06-19 湖南大学 药液异物的抗振动机器视觉检测方法
CN103226814A (zh) * 2013-04-02 2013-07-31 湖南大学 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法
CN103226814B (zh) * 2013-04-02 2015-09-30 湖南大学 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法
CN106022347A (zh) * 2016-05-31 2016-10-12 长沙理工大学 一种改进的药液异物图像局部特征匹配方法
CN106022347B (zh) * 2016-05-31 2019-06-18 长沙理工大学 一种改进的药液异物图像局部特征匹配方法
CN110892272B (zh) * 2017-07-31 2023-09-26 株式会社日立高新技术 装置、试料的状态的判别方法以及分析系统
CN110892272A (zh) * 2017-07-31 2020-03-17 株式会社日立高新技术 装置、试料的状态的判别方法以及分析系统
CN107680079B (zh) * 2017-09-04 2019-10-29 湖南大学 一种医用药剂中可见异物的高速并行视觉检测方法
CN107680079A (zh) * 2017-09-04 2018-02-09 湖南大学 一种医用药剂中可见异物的高速并行视觉检测方法
CN109738433B (zh) * 2018-11-30 2021-03-26 西北大学 基于图像处理的水油分层混合液含水率检测方法及装置
CN109738433A (zh) * 2018-11-30 2019-05-10 西北大学 基于图像处理的水油分层混合液含水率检测方法及装置
CN110246156A (zh) * 2019-05-30 2019-09-17 中国科学院长春光学精密机械与物理研究所 一种异物的识别方法、识别系统及终端设备
CN110246156B (zh) * 2019-05-30 2021-09-17 中国科学院长春光学精密机械与物理研究所 一种异物的识别方法、识别系统及终端设备
CN110706262A (zh) * 2019-10-09 2020-01-17 上海思岚科技有限公司 图像处理方法、装置、设备及存储介质
CN110706262B (zh) * 2019-10-09 2023-06-02 上海思岚科技有限公司 图像处理方法、装置、设备及存储介质
CN112053377A (zh) * 2020-08-28 2020-12-08 常州码库数据科技有限公司 一种药物合成过程控制方法及系统
CN112362674A (zh) * 2020-11-13 2021-02-12 四川科伦药业股份有限公司 一种基于人工智能视觉技术的输液袋异物识别方法及检测方法
WO2022100145A1 (zh) * 2020-11-13 2022-05-19 四川科伦药业股份有限公司 一种基于人工智能视觉技术的输液袋异物识别方法及检测方法
CN113284116A (zh) * 2021-05-28 2021-08-20 荆门汇易佳信息科技有限公司 实时图像解析的红酒半成品运动检测系统
CN114261590A (zh) * 2022-01-19 2022-04-01 佛山果硕智能科技有限公司 一种啤酒罐装后动态气泡分析的方法及装置
CN114261590B (zh) * 2022-01-19 2023-09-22 佛山果硕智能科技有限公司 一种啤酒罐装后动态气泡分析的方法及装置

Also Published As

Publication number Publication date
CN101859378B (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN101859378B (zh) 高速医药生产线上的药液质量视觉检测方法
US11310467B2 (en) Object inspection system and method for inspecting an object
CN102162797B (zh) 玻璃瓶瓶口破损和瓶底污物检测算法
CN105403147B (zh) 一种基于嵌入式的瓶胚检测系统和检测方法
JP4254347B2 (ja) 容器内液体中の異物検出方法及びその装置
CN108896574B (zh) 一种基于机器视觉的瓶装白酒杂质检测方法及系统
CN100491904C (zh) 饮料瓶口视觉定位方法
CN103593670A (zh) 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN104835166A (zh) 基于机器视觉检测平台的液体药瓶异物检测方法
Yunardi Contour-based object detection in Automatic Sorting System for a parcel boxes
CN114445707A (zh) 瓶装水标签缺陷智能化视觉精细检测方法
CN104700423A (zh) 一种瓶盖检测方法和装置
CN113192061B (zh) Led封装外观检测图像的提取方法、装置、电子设备和存储介质
CN103258218A (zh) 蒙版检测框架生成方法、装置、缺陷检测方法及装置
CN103942792B (zh) 医药检测机器人中基于序列图像时域特征的杂质检测方法
Wu et al. Steel bars counting and splitting method based on machine vision
CN105973903B (zh) 一种口服液瓶盖检测方法
CN115494074A (zh) 用于连铸板坯表面缺陷的在线检测方法
CN113160154B (zh) 一种基于机器视觉的五星脚喷漆缺陷的检测方法及系统
CN116777912B (zh) 乳玻瓶瓶身标签褶皱的识别方法、系统、设备和存储介质
Xu et al. Non-Contact Extensometer Deformation Detection via Deep Learning and Edge Feature Analysis
Wang et al. Research on Target Detection Algorithm Based on NAO Robot
CN104881859A (zh) 基于多维识别技术的3d机器视觉系统
Wang et al. Surface Defect Detection of Sanitary Ceramic Product Utilizing High-resolution Image on Two Different Scales
Park et al. Automated surface inspection system for black resin coated steel

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Wang Yaonan

Inventor after: Ma Bo

Inventor after: Yang Shuang

Inventor after: Mao Jianxu

Inventor after: Zhou Bowen

Inventor after: Liu Caiping

Inventor after: Zhang Hui

Inventor after: Ge Ji

Inventor after: Chen Tiejian

Inventor after: Xiong Lu

Inventor before: Wang Yaonan

Inventor before: Yang Shuang

Inventor before: Zhou Bowen

Inventor before: Zhang Hui

Inventor before: Ge Ji

Inventor before: Chen Tiejian

Inventor before: Xiong Lu

Inventor before: Ma Bo

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: WANG YAONAN YANG SHUANG ZHOU BOWEN ZHANG HUI GE JI CHEN TIEJIAN XIONG LU MA BO TO: WANG YAONAN YANG SHUANG MAO JIANXU ZHOU BOWEN LIU CAIPING ZHANG HUI GE JI CHEN TIEJIAN XIONG LU MA BO

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120912

CF01 Termination of patent right due to non-payment of annual fee