CN109360195A - 一种瓶装溶液中异物颗粒的视觉检测方法 - Google Patents
一种瓶装溶液中异物颗粒的视觉检测方法 Download PDFInfo
- Publication number
- CN109360195A CN109360195A CN201811143085.3A CN201811143085A CN109360195A CN 109360195 A CN109360195 A CN 109360195A CN 201811143085 A CN201811143085 A CN 201811143085A CN 109360195 A CN109360195 A CN 109360195A
- Authority
- CN
- China
- Prior art keywords
- image
- foreign object
- images
- sequence
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 239000002245 particle Substances 0.000 title claims abstract description 20
- 238000004806 packaging method and process Methods 0.000 title abstract 3
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000021615 conjugation Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract 3
- 239000003814 drug Substances 0.000 description 27
- 239000007788 liquid Substances 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000003708 ampul Substances 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920002120 photoresistant polymer Polymers 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种瓶装溶液中异物颗粒的视觉检测方法，包括：S1：连续采集瓶装溶液运动的T帧序列图像；S2：对采集到的序列图像进行亚像素精度配准得到配准后的序列图像；S3：提取得到的每帧序列图像中的ROI有效检测区域子图像并分别进行图像增强处理得到每帧序列图像的增强图像；S4：基于每帧序列图像对应的增强图像分别计算出每相邻两帧增强图像之间的差分图像，再对每个差分图像进行灰度阈值分割得到新图像；S5：提取每个新图像中的轮廓区域，并基于轮廓区域的尺寸特征鉴别轮廓区域是否为异物目标；S6：识别异物目标是否是气泡干扰。上述方法在识别出异物目标的基础上还实现了是否是气泡的鉴别，提高了异物检测结果的可靠性。
Description
技术领域
本发明属于工业检测和机器视觉技术检测领域，具体涉及一种瓶装溶液中异物颗粒的视觉检测方法。
背景技术
瓶装溶液中在灌装生产过程中容易混入异物，尤其是医用瓶装药液在灌装生产过程中可能会混入纤维、橡胶屑、毛发、玻璃屑等异物。异物检测的难点是目标种类繁多且纹理特征不足；干扰因素多，药液中的悬浮颗粒、瓶壁干扰，气泡、环境光照、随机噪声等都会影响检测结果；检测速度要求高，通常溶液流水线生产现场要求能实现异物微粒的高速在线实时检测。
现有的异物检测方法主要包括人工检测、机器视觉检测、光阻法。人工检测方法存在劳动强度大、效率低、误检率较高等缺点。光阻法原理简单、数据量少，但难以检测瓶壁干扰。
基于机器视觉的异物目标检测方法具有精度高、速度快等优势，目前已成为研究与实际应用中的主流方法。现有的基于机器视觉的方法如CN 104835166 A《基于机器视觉检测平台的液体药瓶异物检测方法》是对图像进行预处理并设置ROI，通过模块匹配与帧差法实现异物检测，如CN102519984A《药液异物的抗振动机器视觉检测方法》采用基于爬山搜索的相位相关法进行匹配预处理，但是仅根据异物面积来区分正次品；上述两者现有方法均不能对气泡的干扰进行排除，导致得到的异物检测结果可能是气泡而非真实颗粒异物，精度不够，实用性不强。
发明内容
本发明的目的是提供一种瓶装溶液中异物颗粒的视觉检测方法，其属于基于机器视觉的异物目标检测方法，其不单单实现了异物识别，还实现了对气泡干扰进行排除。
一种瓶装溶液中异物颗粒的视觉检测方法，包括如下步骤：
S1：连续采集瓶装溶液运动的T帧序列图像，其中，T为正整数；
S2：对采集到的序列图像进行亚像素精度配准得到配准后的T帧序列图像；
S3：提取步骤S2中得到的每帧序列图像中的ROI有效检测区域子图像并分别进行图像增强处理得到每帧序列图像的增强图像；
S4：基于每帧序列图像对应的增强图像分别计算出每相邻两帧增强图像之间的差分图像，再对每个差分图像进行灰度阈值分割得到新图像；
S5：提取每个新图像中的轮廓区域，并基于轮廓区域的尺寸特征鉴别轮廓区域是否为异物目标；
S6：识别异物目标是否是气泡干扰；
其中，S6的执行过程如下：
首先，获取每两个相邻新图像中异物目标的匹配关系，并基于所述匹配关系提取属于同一组匹配路径上的异物目标在各个新图像中的像素坐标；最后，分别串接同一匹配路径上的异物目标在各个新图像中的像素坐标得到轨迹曲线，并基于轨迹曲线是否平滑和形心纵坐标的变化趋势判定对应匹配路径上异物目标是否为气泡干扰；
其中，轨迹曲线平滑且形心纵坐标依次变大时，对应匹配路径上异物目标不是气泡干扰，否则，则是气泡干扰。
本发明一方面通过研究发现异物目标不是气泡干扰时，其运动规则是轨迹曲线是平滑且形心纵坐标依次变化；若是气泡，则无相关规律，因此，本发明首先获取相邻图像中异物目标的匹配关系，进而生成匹配路径以及得到轨迹曲线，再通过研究发现的上述规律来鉴别异物目标是否为气泡干扰，提高了异物检测结果的可靠性。
另一方面，本发明采集到T帧序列图像之后，并未直接进行特征采集处理，而是对采集到的序列图像进行亚像素精度配准得到配准后的T帧序列图像，最大程度降低了机械抖动的影响，提高了后续图像处理结果的可靠性。
进一步优选，步骤S6中获取任意两个相邻新图像中异物目标的匹配关系时，均执行如下步骤：
A：计算两个相邻新图像中每个异物目标的恒定特征值；
所述恒定特征包括周期面积比、宽高比和紧凑度；
B：计算所述两个相邻新图像中一个新图像中每个异物目标与另一个新图像中每个异物目标的恒定特征值之间的距离，并基于计算出的距离分别识别新图像中每个异物目标在另一个新图像中的匹配点；
其中，异物目标在另一个新图像中的匹配点为：与另一个相邻新图像中所有异物目标分别计算得到的距离中距离最小的异物目标。进一步优选，所述周长面积比、宽高比和紧凑度的计算公式如下：
λ1＝L/S
λ2＝W/H
λ3＝S/R
式中，λ1为周长面积比，L为边界像素数，S为异物目标的面积，且等于对应轮廓区域内像素点个数；λ2为宽高比，W为最小外接矩形宽度，H为最小外界矩形高度；λ3为紧凑度，R为最小外接矩形内像素点个数，其中R＝W×H。
进一步优选，两个相邻新图像中两个异物目标的恒定特征值之间的距离的计算公式如下：
式中，D为第k-1、第k个新图像中两个异物目标的恒定特征值之间的距离，λ1(k-1)、λ2(k-1)、λ3(k-1)分别为第k-1个新图像中一个异物目标的周长面积比、宽高比、紧凑度；λ1(k)、λ2(k)、λ3(k)分别为第k个新图像中一个异物目标的周长面积比、宽高比、紧凑度。
进一步优选，步骤S5的执行过程如下：
S51：采用用OpenCV提供的findContours()函数查找每个新图像中的轮廓区域；
S52：计算每个轮廓区域的面积和宽高比；
S53：基于预设的异物识别面积阈值以及异物识别宽高比阈值分别识别每个轮廓区域是否是异物目标；
其中，若轮廓区域的面积在预设的异物识别面积阈值内，且宽高比在预设的异物识别宽高比阈值，所述轮廓区域为异物目标并保留所述轮廓区域；否则，所述轮廓区域不是异物目标并丢弃所述轮廓区域。
进一步优选，步骤S2包括如下步骤：
S21：第一帧序列图像保持不变，再分别计算除第一帧外的每帧序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量；
S22：基于计算出的亚像素偏移量在水平、垂直方向上进行平移得到对应配准后的序列图像。
进一步优选，S21中除第一帧外的序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量的获取过程均如下：
a：计算相邻两帧序列图像的傅里叶变换；
b：基于步骤a计算出的傅里叶变换结果计算出互功率谱，互功率谱如下所示：
式中，H(u,v)为互功率谱，Fk-1(u,v)为第k-1帧序列图像的傅里叶变换结果，为第k帧序列图像的傅里叶变换结果Fk(u,v)的共轭；
c：对步骤b得到的互功率谱进行傅里叶逆变换得到脉冲函数；
d：计算脉冲函数峰值点对应的x列坐标、y行坐标；
其中，x列坐标、y行坐标分别为当前相邻两帧序列图像中第k帧序列图像相较于第k-1帧序列图像在水平、垂直方向上的亚像素偏移量。
进一步优选，步骤S3中提取每帧序列图像中的ROI有效检测区域子图像时，均执行如下步骤：
S31：对序列图像进行边缘检测，获得瓶身边缘点图像；
S32：分别从瓶身边缘点图像的最左边、最右边对瓶身边缘点图像中的第N/2行进行搜索找到左边的第一个边缘点、右边的第一个边缘点，N为序列图像的总行数；
S33：分别从瓶身边缘点图像的最上沿、最下沿对瓶身边缘点图像中的第M/2列进行搜索找到上侧的第一个边缘点、下侧的第一个边缘点，M为序列图像的总列数；
S34：根据步骤S32和步骤S33找到的左边、右边、上侧、下侧的第一个边缘点确定序列图像中的ROI有效检测区域子图像；
所述ROI有效检测区域子图像的宽度和高度分别为：|xr-xl|、|yb-yt|，其中，xl、xr、yt、yb分别左边、右边、上侧、下侧的第一个边缘点的坐标，以及左上角顶点坐标为：(xl，yt)。
本发明通过设定感兴趣检测区域，即ROI有效检测区域子图像可以提高序列图像处理的速度。
进一步优选，步骤S3中对序列图像的ROI有效检测区域子图像进行图像增强具体为形态学滤波增强，对每个序列图像的执行均过程如下：
S35：对序列图像的ROI有效检测区域子图像进行Top-Hat变换获得灰度峰值特征图像Itemp1；
S36：对序列图像的ROI有效检测区域子图像进行Black-Hat变换获得灰度谷值特征图像Itemp2；
S37：将灰度峰值特征图像Itemp1与序列图像的ROI有效检测区域子图像中相同位置对应像素值相加得到叠加图像Itemp3；
S38：将叠加图像Itemp3与灰度谷值特征图像Itemp2中相同位置对应像素值相减得到增强图像。
本发明通过形态学操作，增强了异物特征，加大了其与背景之间的区分度。
进一步优选，步骤S4中对每个差分图像进行灰度阈值分割时使用的分割阈值的计算过程如下：
首先，计算差分图像的灰度均值：
其中，Gavg为差分图像的灰度均值，M`为差分图像的列数，N`为差分图像的行数，f(i,j)为差分图像在第i行第j列的像素值；
其次，基于差分图像的灰度均值计算出差分图像的分割阈值，公式如下：T0＝α×Gavg+β
其中，T0为分割阈值，α、β为两个经验系数。
本发明通过上述分割阈值对差分图像进行二值化分割。
有益效果
1、本发明通过控制高速工业相机获取多张序列图片后，对图像进行处理并识别出图像中的异物目标，再获取相邻图像中异物目标的匹配关系，进而生成匹配路径以及得到轨迹曲线，再通过研究发现“异物目标不是气泡干扰时，其运动规则是轨迹曲线是平滑且形心纵坐标依次变化；若是气泡，则无相关规律”的规律来鉴别异物目标是否为气泡干扰，提高了异物检测结果的可靠性。尤其是相较于现有的基于机器视觉的异物目标检测方法，本发明提供了一种全新的手段来排除气泡干扰，解决了现有技术中异物检测结果可能是气泡而非真实颗粒异物，精度不够的缺陷。本发明具有检测精度高、速度快等优势，可实现异物微粒的在线实时检测。
2、本发明采集到序列图像后，采用亚像素精度配准方法对图像进行处理，最大程度降低了机械抖动的影响，进而提高了后续结果的可靠性。
3、本发明通过设定感兴趣检测区域(ROI有效检测区域子图像)，提高了序列图像处理的速度。
4、本发明通过形态学操作，增强了异物特征，加大了其与背景之间的区分度。同时通过帧差法得到可见异物特征明显的图像。
附图说明
图1为本发明中硬件组成框图；
图2为本发明的一种瓶装溶液中异物颗粒的视觉检测方法的流程图。
其中，附图标记的进一步说明如下：
1-待测药瓶，2-蓝色LED背光光源，3-高速工业相机，4-工控机。
具体实施方式
下面将结合实施例对本发明做进一步的说明。
本发明提供的一种瓶装溶液中异物颗粒的视觉检测方法可以实现瓶装溶液中异物颗粒的检测识别以及是否为气泡干扰的识别，本实施例中，将以药瓶为例进行说明，但是本发明并不限制于药瓶，如酒类液体检测也是可适用的。
如图1所示，本发明实施例使用待测药瓶置于高速旋转装置上，高速工业相机一边正对待测药瓶用于拍摄待测药瓶，同时，高速工业相机与工控机通信连接，蓝色LED背光光源投射到待测药瓶上。首先使用传送带将待检药瓶送入转盘检验区，通过高速旋转装置的电机带动瓶体自身高速旋转，然后通过刹车制动装置使得药瓶停止自身旋转，此时，瓶内目标异物跟随药液将继续旋转，再通过硬件触发方式控制高速工业相机一次性连续捕获12张药瓶图像，其中，高速工业相机通过机械摆臂运动装置与当前待检药瓶保持同步运动(当前待检测药瓶在转盘上的运动)，使得相机与药瓶保持相对静止状态来跟踪拍摄药瓶中异物微粒的运动过程。
本发明实施例中，使用包含和不包含异物颗粒的2ml安剖药瓶各200个。使用东莞奥普特FL130130-B-V1.0蓝色LED光源。使用FLIR(原Point Grey)的GS3-U3-51S5C-C型500万像素工业相机，最大帧速为75FPS(2448x2048)，带USB3.0接口，像元尺寸为3.45um。
如图2所示，本发明提供的一种瓶装溶液中异物颗粒的视觉检测方法，包括如下步骤：
S1：连续采集药瓶药液运动的T帧序列图像，其中，T为正整数。本实施例中T为12。具体执行过程如下：
S11：将传送带上待检药瓶送入检验区，通过电机带动瓶体高速旋转，然后通过刹车制动装置使得被药瓶停止旋转，此时，瓶内目标异物跟随药液仍将继续旋转。
S12：打开LED背光光源投射到待检药瓶上；
S13：高速工业相机通过机械摆臂运动装置与当前待检药瓶保持同步运动，并连续采集运动过程中的T帧药瓶序列图像I1,I2…IT。
S2：对采集到的序列图像进行亚像素精度配准得到配准后的T帧序列图像。具体的执行过程如下：
S21：第一帧序列图像保持不变，再分别计算除第一帧外的每帧序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量；
S22：基于计算出的亚像素偏移量在水平、垂直方向上进行平移得到对应配准后的序列图像。
其中，S21中除第一帧外的序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量的获取过程均如下：
a：计算相邻两帧序列图像的傅里叶变换；
对图像Ik-1、Ik，设其大小为M×N，计算其傅里叶变换如下:
其中，Fk-1(u,v)、Fk(u,v)分别为第k-1帧，第k帧序列图像，M为序列图像的总列数，N为图像的总行数，x为列坐标值，且x＝[0,1,...,M-1]；y为行坐标值，且y＝[0,1,...,N-1]，Ik-1(x,y)、Ik(x,y)分别代表第k-1帧，第k帧序列图像中(x,y)处的像素值，u为图像进行傅里叶变换后对应的列坐标值，v为图像进行傅里叶变换后对应的行坐标值。
b：基于步骤a计算出的傅里叶变换结果计算出互功率谱，互功率谱如下所示：
式中，H(u,v)为互功率谱，Fk-1(u,v)为第k-1帧序列图像的傅里叶变换结果，为第k帧序列图像的傅里叶变换结果Fk(u,v)的共轭；
c：对步骤b得到的互功率谱进行傅里叶逆变换得到脉冲函数；
d：计算脉冲函数峰值点对应的x列坐标x0、y行坐标y0；
其中，x列坐标x0、y行坐标y0分别为当前相邻两帧序列图像中第k帧序列图像相较于第k-1帧序列图像在水平、垂直方向上的亚像素偏移量。
其中，第k帧序列图像平移后得到的配准后的图像应当理解，本发明所有的配准计算均是基于两个相邻的序列图像，且是后一帧的序列图像相较于前一帧的序列图像进行平移，因此第一个序列图像不需要平移处理；此外，针对任意相邻两帧序列图像进行亚像素偏移量计算时，均是基于原始序列图像来处理，例如第3帧序列图像相较于第2帧序列图像的亚像素平移量的计算是基于第2帧的原始序列图像来计算的，而非配准后的第2帧序列图像。
S3：提取步骤S2中得到的每帧序列图像中的ROI有效检测区域子图像并分别进行图像增强处理得到每帧序列图像的增强图像。
其中，步骤S3中提取每帧序列图像中的ROI有效检测区域子图像时，均执行如下步骤(以下流程以第k-1帧序列图像为例)：
S31：对序列图像进行Canny边缘检测，获得瓶身边缘点图像
S32：分别从瓶身边缘点图像的最左边、最右边对瓶身边缘点图像中的第N/2行进行搜索找到左边的第一个边缘点xl、右边的第一个边缘点xr；
S33：分别从瓶身边缘点图像的最上沿、最下沿对瓶身边缘点图像中的第M/2列进行搜索找到上侧的第一个边缘点yt、下侧的第一个边缘点yb；
S34：根据步骤S32和步骤S33找到的左边、右边、上侧、下侧的第一个边缘点确定序列图像中的ROI有效检测区域子图像；
所述ROI有效检测区域子图像的宽度和高度分别为：|xr-xl|、|yb-yt|，其中，xl、xr、yt、yb分别左边、右边、上侧、下侧的第一个边缘点的坐标，以及左上角顶点坐标为：(xl，yt)。
本发明实施例中，将药瓶置于拍摄范围中间，使得药瓶位于序列图像中间位置，通过检测瓶身左右和上下边缘区域的方法设定有效检测区域，加快后续图像处理的速度。
其中，步骤S3中对序列图像的ROI有效检测区域子图像进行图像增强具体为形态学滤波增强，对每个序列图像的执行均过程如下(以下流程以第k-1帧序列图像为例)：
S35：对序列图像的ROI有效检测区域子图像进行Top-Hat变换获得灰度峰值特征图像Itemp1；灰度峰值特征图像Itemp1代表图像的灰度峰值特征。
S36：对序列图像的ROI有效检测区域子图像进行Black-Hat变换获得灰度谷值特征图像Itemp2；灰度谷值特征图像Itemp2代表图像的灰度谷值特征。
S37：将灰度峰值特征图像Itemp1与序列图像的ROI有效检测区域子图像中相同位置对应像素值相加得到叠加图像Itemp3；
S38：将叠加图像Itemp3与灰度谷值特征图像Itemp2中相同位置对应像素值相减得到增强图像
本发明实施例中，采用形态学滤波的方法对图像进行增强，其中Top-Hat和Black-Hat变换均采用结构元素为7×7的矩形模板。
S4：基于每帧序列图像对应的增强图像分别计算出每相邻两帧增强图像之间的差分图像，再对每个差分图像进行灰度阈值分割得到新图像。
以第k-1帧、第k帧序列图像的差分图像Idiff为例说明差分图像的获取方式如下：
对每个差分图像进行灰度阈值分割时使用的分割阈值的计算过程如下：
首先，计算差分图像的灰度均值：
其中，Gavg为差分图像的灰度均值，M`为差分图像的列数，N`为差分图像的行数，f(i,j)为差分图像在第i行第j列的像素值；
其次，基于差分图像的灰度均值计算出差分图像的分割阈值，公式如下：T0＝α×Gavg+β
其中，T0为分割阈值，α、β为两个经验系数。本实施例中，α＝0.8，β＝30。
其中，对差分图像采用计算出的分割阈值T0进行二值化处理得到图像Ithresh。
S5：提取每个新图像中的轮廓区域，并基于轮廓区域的尺寸特征鉴别轮廓区域是否为异物目标。
其中，步骤S5的执行过程如下：
S51：采用用OpenCV提供的findContours()函数查找每个新图像中的轮廓区域；
S52：计算每个轮廓区域的面积S和宽高比r；
S53：基于预设的异物识别面积阈值以及异物识别宽高比阈值分别识别每个轮廓区域是否是异物目标；
其中，若轮廓区域的面积在预设的异物识别面积阈值内，且宽高比在预设的异物识别宽高比阈值，所述轮廓区域为异物目标并保留所述轮廓区域；否则，所述轮廓区域不是异物目标并丢弃所述轮廓区域。即若且保留该轮廓区域，否则丢弃。其中，和和的具体取值根据经验确定，本发明实施例中，通过查找轮廓区域初步提取异物目标，其中取
初步检测出异物目标后，保存每个异物的对应索引号，不同索引号表示不同的异物目标。
S6：识别异物目标是否是气泡干扰。其中，S6的执行过程如下：
首先，获取每两个相邻新图像中异物目标的匹配关系。依次获取每两个相邻新图像中异物目标的匹配关系，每次均执行如下步骤A-B：
A：计算两个相邻新图像中每个异物目标的恒定特征值；
所述恒定特征包括周期面积比、宽高比和紧凑度，其计算公式如下：
λ1＝L/S、λ2＝W/H、λ3＝S/R
B：计算所述两个相邻新图像中一个新图像中每个异物目标与另一个新图像中每个异物目标的恒定特征值之间的距离，并基于计算出的距离分别识别新图像中每个异物目标在另一个新图像中的匹配点。其中，异物目标在另一个新图像中的匹配点为：与另一个相邻新图像中所有异物目标分别计算得到的距离中距离最小的异物目标。距离的计算公式如下：
然后，基于所述匹配关系提取属于同一组匹配路径上的异物目标在各个新图像中的像素坐标。基于上述步骤A-B可以得到每两个相邻新图像中异物目标的匹配关系，对于匹配成功的点，分别记录其在各帧中的像素坐标。
最后，分别串接同一匹配路径上的异物目标在各个新图像中的像素坐标得到轨迹曲线，并基于轨迹曲线是否平滑和形心纵坐标的变化趋势判定对应匹配路径上异物目标是否为气泡干扰。
以左上角为坐标原点，将上述匹配点连接成异物的运动轨迹。若该轨迹曲线平滑且形心纵坐标依次变大，则认定为存在异物，并向系统发出信号。否则，认定为气泡干扰。本发明实施例中,提取连续帧间异物的不变特征，并根据异物运动轨迹来区分异物和气泡。其中，轨迹曲线是否平滑是通过平滑度等表示平滑的参数来鉴定的，例如通过鉴定平滑参数是否在阈值范围来判断轨迹曲线是否平滑，其具体是根据实验以及经验值来定，本发明对此不进行具体的限定。
综上所述，本发明通过控制高速工业相机获取多张序列图片后，采用亚像素精度配准方法对药瓶图像，最大程度降低了机械抖动的影响，通过设定感兴趣检测区域，提高了序列图像处理的速度。通过形态学操作，增强了异物特征，加大了其与背景之间的区分度。通过帧差法得到可见异物特征明显的图像，并基于经验法进行阈值分割。提取连通区域轮廓信息，计算可见异物的面积和宽高比大小，若其超过阈值范围则直接将其判为可见异物。若大小在阈值范围内，则提取连续帧间的不变特征，并拟合出可见异物运动轨迹，进一步确认异物特征，排除了气泡干扰。并具有检测精度高、速度快等优势，可实现异物微粒的在线实时检测。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。
Claims (10)
1.一种瓶装溶液中异物颗粒的视觉检测方法，其特征在于：包括如下步骤：
S1：连续采集瓶装溶液运动的T帧序列图像，其中，T为正整数；
S2：对采集到的序列图像进行亚像素精度配准得到配准后的T帧序列图像；
S3：提取步骤S2中得到的每帧序列图像中的ROI有效检测区域子图像并分别进行图像增强处理得到每帧序列图像的增强图像；
S4：基于每帧序列图像对应的增强图像分别计算出每相邻两帧增强图像之间的差分图像，再对每个差分图像进行灰度阈值分割得到新图像；
S5：提取每个新图像中的轮廓区域，并基于轮廓区域的尺寸特征鉴别轮廓区域是否为异物目标；
S6：识别异物目标是否是气泡干扰；
其中，S6的执行过程如下：
首先，获取每两个相邻新图像中异物目标的匹配关系，并基于所述匹配关系提取属于同一组匹配路径上的异物目标在各个新图像中的像素坐标；最后，分别串接同一匹配路径上的异物目标在各个新图像中的像素坐标得到轨迹曲线，并基于轨迹曲线是否平滑和形心纵坐标的变化趋势判定对应匹配路径上异物目标是否为气泡干扰；
其中，轨迹曲线平滑且形心纵坐标依次变大时，对应匹配路径上异物目标不是气泡干扰，否则，则是气泡干扰。
2.根据权利要求1所述的方法，其特征在于：步骤S6中获取任意两个相邻新图像中异物目标的匹配关系时，均执行如下步骤：
A：计算两个相邻新图像中每个异物目标的恒定特征值；
所述恒定特征包括周期面积比、宽高比和紧凑度；
B：计算所述两个相邻新图像中一个新图像中每个异物目标与另一个新图像中每个异物目标的恒定特征值之间的距离，并基于计算出的距离分别识别新图像中每个异物目标在另一个新图像中的匹配点；
其中，异物目标在另一个新图像中的匹配点为：与另一个相邻新图像中所有异物目标分别计算得到的距离中距离最小的异物目标。
3.根据权利要求2所述的方法，其特征在于：所述周长面积比、宽高比和紧凑度的计算公式如下：
λ1＝L/S
λ2＝W/H
λ3＝S/R
式中，λ1为周长面积比，L为边界像素数，S为异物目标的面积，且等于对应轮廓区域内像素点个数；λ2为宽高比，W为最小外接矩形宽度，H为最小外界矩形高度；λ3为紧凑度，R为最小外接矩形内像素点个数，其中R＝W×H。
4.根据权利要求2所述的方法，其特征在于：两个相邻新图像中两个异物目标的恒定特征值之间的距离的计算公式如下：
式中，D为第k-1、第k个新图像中两个异物目标的恒定特征值之间的距离，λ1(k-1)、λ2(k-1)、λ3(k-1)分别为第k-1个新图像中一个异物目标的周长面积比、宽高比、紧凑度；λ1(k)、λ2(k)、λ3(k)分别为第k个新图像中一个异物目标的周长面积比、宽高比、紧凑度。
5.根据权利要求1所述的方法，其特征在于：步骤S5的执行过程如下：
S51：采用用OpenCV提供的findContours()函数查找每个新图像中的轮廓区域；
S52：计算每个轮廓区域的面积和宽高比；
S53：基于预设的异物识别面积阈值以及异物识别宽高比阈值分别识别每个轮廓区域是否是异物目标；
其中，若轮廓区域的面积在预设的异物识别面积阈值内，且宽高比在预设的异物识别宽高比阈值，所述轮廓区域为异物目标并保留所述轮廓区域；否则，所述轮廓区域不是异物目标并丢弃所述轮廓区域。
6.根据权利要求1所述的方法，其特征在于：步骤S2包括如下步骤：
S21：第一帧序列图像保持不变，再分别计算除第一帧外的每帧序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量；
S22：基于计算出的亚像素偏移量在水平、垂直方向上进行平移得到对应配准后的序列图像。
7.根据权利要求6所述的方法，其特征在于：S21中除第一帧外的序列图像相较于相邻前一帧序列图像在水平和垂直方向上的亚像素偏移量的获取过程均如下：
a：计算相邻两帧序列图像的傅里叶变换；
b：基于步骤a计算出的傅里叶变换结果计算出互功率谱，互功率谱如下所示：
式中，H(u,v)为互功率谱，Fk-1(u,v)为第k-1帧序列图像的傅里叶变换结果，为第k帧序列图像的傅里叶变换结果Fk(u,v)的共轭；
c：对步骤b得到的互功率谱进行傅里叶逆变换得到脉冲函数；
d：计算脉冲函数峰值点对应的x列坐标、y行坐标；
其中，x列坐标、y行坐标分别为当前相邻两帧序列图像中第k帧序列图像相较于第k-1帧序列图像在水平、垂直方向上的亚像素偏移量。
8.根据权利要求1所示的方法，其特征在于：步骤S3中提取每帧序列图像中的ROI有效检测区域子图像时，均执行如下步骤：
S31：对序列图像进行边缘检测，获得瓶身边缘点图像；
S32：分别从瓶身边缘点图像的最左边、最右边对瓶身边缘点图像中的第N/2行进行搜索找到左边的第一个边缘点、右边的第一个边缘点，N为序列图像的总行数；
S33：分别从瓶身边缘点图像的最上沿、最下沿对瓶身边缘点图像中的第M/2列进行搜索找到上侧的第一个边缘点、下侧的第一个边缘点，M为序列图像的总列数；
S34：根据步骤S32和步骤S33找到的左边、右边、上侧、下侧的第一个边缘点确定序列图像中的ROI有效检测区域子图像；
所述ROI有效检测区域子图像的宽度和高度分别为：|xr-xl|、|yb-yt|，其中，xl、xr、yt、yb分别左边、右边、上侧、下侧的第一个边缘点的坐标，以及左上角顶点坐标为：(xl，yt)。
9.根据权利要求1所述的方法，其特征在于：步骤S3中对序列图像的ROI有效检测区域子图像进行图像增强具体为形态学滤波增强，对每个序列图像的执行均过程如下：
S35：对序列图像的ROI有效检测区域子图像进行Top-Hat变换获得灰度峰值特征图像Itemp1；
S36：对序列图像的ROI有效检测区域子图像进行Black-Hat变换获得灰度谷值特征图像Itemp2；
S37：将灰度峰值特征图像Itemp1与序列图像的ROI有效检测区域子图像中相同位置对应像素值相加得到叠加图像Itemp3；
S38：将叠加图像Itemp3与灰度谷值特征图像Itemp2中相同位置对应像素值相减得到增强图像。
10.根据权利要求1所述的方法，其特征在于：步骤S4中对每个差分图像进行灰度阈值分割时使用的分割阈值的计算过程如下：
首先，计算差分图像的灰度均值：
其中，Gavg为差分图像的灰度均值，M`为差分图像的列数，N`为差分图像的行数，f(i,j)为差分图像在第i行第j列的像素值；
其次，基于差分图像的灰度均值计算出差分图像的分割阈值，公式如下：
T0＝α×Gavg+β
其中，T0为分割阈值，α、β为两个经验系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811143085.3A CN109360195A (zh) | 2018-09-28 | 2018-09-28 | 一种瓶装溶液中异物颗粒的视觉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811143085.3A CN109360195A (zh) | 2018-09-28 | 2018-09-28 | 一种瓶装溶液中异物颗粒的视觉检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109360195A true CN109360195A (zh) | 2019-02-19 |
Family
ID=65347944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811143085.3A Pending CN109360195A (zh) | 2018-09-28 | 2018-09-28 | 一种瓶装溶液中异物颗粒的视觉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360195A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047063A (zh) * | 2019-03-21 | 2019-07-23 | 深圳市燕麦科技股份有限公司 | 一种物料掉落的检测方法、装置、设备及存储介质 |
| CN110070523A (zh) * | 2019-04-02 | 2019-07-30 | 广州大学 | 一种用于瓶底的异物检测方法 |
| CN110246156A (zh) * | 2019-05-30 | 2019-09-17 | 中国科学院长春光学精密机械与物理研究所 | 一种异物的识别方法、识别系统及终端设备 |
| CN110389090A (zh) * | 2019-08-06 | 2019-10-29 | 哈尔滨工业大学 | 一种大口径反射镜表面颗粒污染物亚像素尺寸标定方法 |
| CN111062257A (zh) * | 2019-11-21 | 2020-04-24 | 四川极智朗润科技有限公司 | 一种基于形态学和运动学特征的微小目标识别方法 |
| CN111415378A (zh) * | 2020-02-27 | 2020-07-14 | 湖南大学 | 用于汽车玻璃检测的图像配准方法及汽车玻璃检测方法 |
| CN111579466A (zh) * | 2020-05-25 | 2020-08-25 | 上海师范大学 | 一种家用型精子检测装置和检测方法 |
| CN116823835A (zh) * | 2023-08-30 | 2023-09-29 | 山东省永星食品饮料有限公司 | 基于机器视觉的瓶装水杂质检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354100A (ja) * | 2003-05-27 | 2004-12-16 | Matsushita Electric Works Ltd | 容器内液体中の異物検出方法及びその装置 |
| CN101354359A (zh) * | 2008-09-04 | 2009-01-28 | 湖南大学 | 药液内运动可见异物的检测跟踪与识别方法 |
| CN101819164A (zh) * | 2010-05-14 | 2010-09-01 | 山东大学 | 一种饮料灌装后杂质检测装置及方法 |
| CN102519984A (zh) * | 2011-11-16 | 2012-06-27 | 湖南大学 | 药液异物的抗振动机器视觉检测方法 |
| CN103226814A (zh) * | 2013-04-02 | 2013-07-31 | 湖南大学 | 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法 |
| CN104835166A (zh) * | 2015-05-13 | 2015-08-12 | 山东大学 | 基于机器视觉检测平台的液体药瓶异物检测方法 |
| CN106373140A (zh) * | 2016-08-31 | 2017-02-01 | 杭州沃朴物联科技有限公司 | 一种基于单目视觉的透明及半透明液体杂质检测方法 |
| CN108520260A (zh) * | 2018-04-11 | 2018-09-11 | 中南大学 | 瓶装口服液中可见异物的识别方法 |
-
2018
- 2018-09-28 CN CN201811143085.3A patent/CN109360195A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354100A (ja) * | 2003-05-27 | 2004-12-16 | Matsushita Electric Works Ltd | 容器内液体中の異物検出方法及びその装置 |
| CN101354359A (zh) * | 2008-09-04 | 2009-01-28 | 湖南大学 | 药液内运动可见异物的检测跟踪与识别方法 |
| CN101819164A (zh) * | 2010-05-14 | 2010-09-01 | 山东大学 | 一种饮料灌装后杂质检测装置及方法 |
| CN102519984A (zh) * | 2011-11-16 | 2012-06-27 | 湖南大学 | 药液异物的抗振动机器视觉检测方法 |
| CN103226814A (zh) * | 2013-04-02 | 2013-07-31 | 湖南大学 | 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法 |
| CN104835166A (zh) * | 2015-05-13 | 2015-08-12 | 山东大学 | 基于机器视觉检测平台的液体药瓶异物检测方法 |
| CN106373140A (zh) * | 2016-08-31 | 2017-02-01 | 杭州沃朴物联科技有限公司 | 一种基于单目视觉的透明及半透明液体杂质检测方法 |
| CN108520260A (zh) * | 2018-04-11 | 2018-09-11 | 中南大学 | 瓶装口服液中可见异物的识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陆玲等: "《图像目标分割方法》", 30 November 2016 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047063A (zh) * | 2019-03-21 | 2019-07-23 | 深圳市燕麦科技股份有限公司 | 一种物料掉落的检测方法、装置、设备及存储介质 |
| CN110047063B (zh) * | 2019-03-21 | 2023-05-16 | 深圳市燕麦科技股份有限公司 | 一种物料掉落的检测方法、装置、设备及存储介质 |
| CN110070523A (zh) * | 2019-04-02 | 2019-07-30 | 广州大学 | 一种用于瓶底的异物检测方法 |
| CN110246156B (zh) * | 2019-05-30 | 2021-09-17 | 中国科学院长春光学精密机械与物理研究所 | 一种异物的识别方法、识别系统及终端设备 |
| CN110246156A (zh) * | 2019-05-30 | 2019-09-17 | 中国科学院长春光学精密机械与物理研究所 | 一种异物的识别方法、识别系统及终端设备 |
| CN110389090A (zh) * | 2019-08-06 | 2019-10-29 | 哈尔滨工业大学 | 一种大口径反射镜表面颗粒污染物亚像素尺寸标定方法 |
| CN110389090B (zh) * | 2019-08-06 | 2022-03-11 | 哈尔滨工业大学 | 一种大口径反射镜表面颗粒污染物亚像素尺寸标定方法 |
| CN111062257A (zh) * | 2019-11-21 | 2020-04-24 | 四川极智朗润科技有限公司 | 一种基于形态学和运动学特征的微小目标识别方法 |
| CN111415378A (zh) * | 2020-02-27 | 2020-07-14 | 湖南大学 | 用于汽车玻璃检测的图像配准方法及汽车玻璃检测方法 |
| CN111415378B (zh) * | 2020-02-27 | 2023-11-24 | 湖南大学 | 用于汽车玻璃检测的图像配准方法及汽车玻璃检测方法 |
| CN111579466A (zh) * | 2020-05-25 | 2020-08-25 | 上海师范大学 | 一种家用型精子检测装置和检测方法 |
| CN116823835A (zh) * | 2023-08-30 | 2023-09-29 | 山东省永星食品饮料有限公司 | 基于机器视觉的瓶装水杂质检测方法 |
| CN116823835B (zh) * | 2023-08-30 | 2023-11-10 | 山东省永星食品饮料有限公司 | 基于机器视觉的瓶装水杂质检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360195A (zh) | 一种瓶装溶液中异物颗粒的视觉检测方法 | |
| CN109816644B (zh) | 一种基于多角度光源影像的轴承缺陷自动检测系统 | |
| CN104408460B (zh) | 一种车道线检测及跟踪检测方法 | |
| CN101633356B (zh) | 检测行人的系统及方法 | |
| CN112508826A (zh) | 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法 | |
| CN108896574B (zh) | 一种基于机器视觉的瓶装白酒杂质检测方法及系统 | |
| CN109284674A (zh) | 一种确定车道线的方法及装置 | |
| CN103093198B (zh) | 一种人群密度监测方法及装置 | |
| CN105973904B (zh) | 一种基于图像背景概率图的食用油杂质检测方法 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN113487538B (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
| CN112016482B (zh) | 一种判别虚假人脸的方法、装置及计算机设备 | |
| Wang et al. | Intelligent injection liquid particle inspection machine based on two-dimensional Tsallis Entropy with modified pulse-coupled neural networks | |
| CN112991374A (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
| CN108520260A (zh) | 瓶装口服液中可见异物的识别方法 | |
| CN107818583A (zh) | 十字中心检测方法及装置 | |
| CN109978916B (zh) | 基于灰度图像特征匹配的Vibe运动目标检测方法 | |
| Koodtalang et al. | Glass bottle bottom inspection based on image processing and deep learning | |
| CN117649589A (zh) | 一种基于改进YOLO-V5s模型的LNG卸料臂目标识别方法 | |
| CN116500052A (zh) | 一种食用油杂质视觉检测系统及其使用方法 | |
| CN113505629A (zh) | 一种基于轻量网络的智能仓储物件识别装置 | |
| CN113145473A (zh) | 一种水果智能分拣系统及方法 | |
| CN209606340U (zh) | 透明药瓶底部积料缺陷检测系统 | |
| CN116898351A (zh) | 脏污检测装置、方法及机器人 | |
| Wang et al. | Deep learning-based human activity analysis for aerial images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190219 |