CN102879404A - 工业结构化场景中医用胶囊缺陷自动检测的系统 - Google Patents

Abstract

本发明属于视频分析技术领域，具体为一种工业结构化场景中医用胶囊缺陷自动检测的系统。该系统包括：三个分别安装在胶囊传送滚轴两侧和正上方的摄像头，两个安装在胶囊传送滚轴两侧的LED光源，一台计算机；所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块、样本训练模块、图像分析模块以及通讯模块；系统工作时图像分析模块对胶囊图像进行检测，并通过通讯模块将检测结果传输给硬件，使其能剔除不合格胶囊；本发明综合不同图像处理方法性能差异，形成一套能够同时满足时间和准确率要求的算法，可在有限的计算资源下，保证较高的准确率，并实时的进行分析，以满足工业生产中的实际需要。

Description

工业结构化场景中医用胶囊缺陷自动检测的系统

技术领域

本发明属于视频分析技术领域，具体涉及基于视频的工业化场景下医用胶囊的缺陷检测系统。

背景技术

随着科技进步及劳动力成本的提高，工业界对于自动化智能化的生产工具的需求不断增长，重复枯燥的胶囊缺陷检测工作可以交由智能软件控制的机器来完成，大大降低了企业对于劳动力的需求。同时，设计合理的自动化机械完全能以高精度、长时间地进行结构化场景中的重复工作，相比于人力优势明显，保证标准化产品的质量，减少人为失误造成的损失。

为了达到全自动化且高效率的系统目标，就要求分析和控制系统的实时性。单一传统图像处理方法用于高清图像时的性能往往不高，而图像分析是整个系统的关键部分。

发明内容

本发明的目的在于提供一种能够在工业结构化场景中准确检测胶囊是否合格，并可实时快速地给出分析结果的系统。

本发明综合多种图像分析技术，将不同方法有机结合，对输入的高清图像进行分析，进行胶囊的缺陷检测。

本发明提供的工业结构化场景中医用胶囊缺陷自动检测系统，包括：

一个安装在胶囊传送滚轴正上方、俯视胶囊的摄像头1，用于拍摄被测胶囊侧面的图像，并将拍摄图像实时传入计算机；

两个分别安装在胶囊传送滚轴两侧、与胶囊垂直中心对齐的摄像头2，用于拍摄被测胶囊两端的图像，并将拍摄图像实时传入计算机；

两个分别安装在胶囊传送滚轴两侧的条形LED直流光源3，为胶囊检测提供较为固定的光照环境；

一台计算机，用于对实时传入的拍摄图像进行视频分析，并实现与硬件环境的同步通信；

一硬件模块，包括光电触发器、PLC逻辑控制器、气枪；光电触发器用于胶囊进入检测范围时的触发信号，PLC逻辑控制器实现从计算机接收信息并同步，气枪用于将不合格胶囊进行排除；

所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块4、样本训练模块5，为胶囊样本进行训练，为用户提供友好的界面，软件界面还提供实时检测数据以及历史统计数据；处理软件系统还包括图像分析模块6、通讯模块7；系统工作时图像分析模块对传入的胶囊图像进行检测，判断起是否合格，并通过通讯模块将检测结果传输给硬件模块8。

本发明中，系统在投入自动运行前要进行标准胶囊的训练，以适应不同种类的胶囊及不同的光线环境。具体来说，先让标准的胶囊通过摄像头，从获取的图像中提取胶囊的轮廓、切口、光照环境等特征性信息并进行保存。训练过程中不需要额外的设备，只需要将标准胶囊放入后，在系统的软件界面中完成。完成上述训练工作后，系统就可以开始运行了。

摄像头获得的视频信息通过千兆网卡传输至计算机，摄像头驱动软件将数据经图像格式转换写入计算机内存中，图像分析模块6对内存中的图像数据进行分析，确定目标胶囊是否合格，分析结果通过通讯模块7传输触发信号至硬件模块8，决定硬件模块8是否剔除目标胶囊。

所述图像分析模块6包括如下子模块：侧面检测模块61、两端检测模块62，其中：

侧面检测模块61，用于位于正上方的摄像头1对于胶囊的侧面进行检测，以确定胶囊侧面是否存在缺陷；

两端检测模块62，用于位于两侧的摄像头2对于胶囊的两端进行检测，以确定胶囊的两端是否存在缺陷。

上述侧面检测模块61，包括：侧面部分前景分割模块611、侧面部分轮廓检测模块612、侧面部分切口检测模块613、侧面部分缺陷点检测模块614；先通过侧面部分前景分割模块611从传入的图像中提取出胶囊的部分，再分别对胶囊侧面的轮廓、切口、缺陷点进行检测。

上述两端检测模块62，包括：两端部分前景分割模块621、两端部分轮廓检测模块622、两端部分缺陷点检测模块623；先通过两端部分前景分割模块621从传入的图像中提取出胶囊的部分，再分别对胶囊两端的轮廓、缺陷点进行检测。

上述侧面部分前景分割模块611，通过对无胶囊的场景进行训练，采用二值化方法提取出有胶囊的部分；

上述侧面部分轮廓检测模块612，通过对胶囊外形轮廓信息提取特征，与标准胶囊的训练结果相比较来确定是否有轮廓缺陷；

上述侧面部分切口检测模块613，通过边缘检测方法获得切口处的平整度信息，与设定的阈值要求进行比较判别；

上述侧面部分缺陷点检测模块614，通过模板匹配方法与标准胶囊样本进行比较以确定是否有缺陷；

上述两端部分前景分割模块621，利用较为固定的反光特征确定胶囊的位置信息，并通过边缘检测确定胶囊的大小信息；

上述两端部分轮廓检测模块，通过训练标准胶囊样本，提取弧形轮廓特征，以此进行检测；

上述两端部分缺陷点检测模块，将检测目标按照到中心距离及角度分为很多区域，分别根据样本中对应区域的亮度阈值进行判别。

本发明中，所述的样本训练模块5在软件辅助下，完成对标准胶囊的特征提取和保存。

本发明中，所述的图像分析模块6采用线程级流水线技术实现速度的优化。

本发明中，每个胶囊将每转动120度进行一次拍摄，对于每个胶囊将处理3次以保证整个表面的覆盖率。

本发明中，所述的摄像头1、摄像头2需要达到40像素/毫米的分辨率，视频每秒25帧以上的彩色摄像头，拍摄角度固定，并使用LED光源照明设备保证光照环境相对固定。

本发明中，所述的通讯模块7通过采用同步触发技术与硬件模块8进行数据传输。

本发明中，检测胶囊侧面的视频信号采用1800*1200的分辨率，检测胶囊两端的视频信号采用800*400的分辨率，图像中均包含3个胶囊，达到了40像素/毫米的分辨率，处理帧频在22fps以上，辅助照明设备可用条形LED直流光源3。

本发明的优点：

系统搭建较为简单；软件使用方便，除训练少量样本外均为自动运行；在计算资源有限的情况下，完成实时高精度图像处理；适用于结构化工业生产环境，节省了人力及物力；同时降低了人工检测带来的误检率，对于检测结果保证较高的准确率。

附图说明

图1是本发明的系统结构图。

图2是本发明的图像分析模块分解详图。

图3是本发明的控制设计示意图。

图4是本发明装置搭建示意图俯视图。

图5是本发明装置搭建示意图侧视图。

图中标号：0为胶囊传送滚轴；1为检测胶囊侧面所用的摄像头，安装在传送滚轴的正上方，实时拍摄经过检测区域的胶囊图像；2为检测胶囊两端所用的摄像头，安装在传送滚轴的两侧，实时拍摄经过检测区域的胶囊图像；3为条形LED直流光源，安装在传送滚轴的两侧、摄像头2的上方，用于对拍摄图像进行补光；4为软件界面启动模块，辅助完成胶囊样本的训练，并显示实时检测数据以及历史统计数据；5为样本训练模块，用于对标准胶囊进行特征提取和保存，以备检测中使用；6为图像分析模块，实现对胶囊是否合格的判别；7为通讯模块，实现将检测结果传输给硬件模块；8为硬件模块，实现将不合格的胶囊进行排除。61为侧面检测模块，62为两端检测模块，611为侧面部分前景分割模块，612为侧面部分轮廓检测模块，613为侧面部分切口检测模块，614为侧面部分缺陷点检测模块，621两端部分前景分割模块，622两端部分轮廓检测模块，623两端部分缺陷点检测模块。

具体实施方式

以下是根据图1-图3给出的本发明的较好的实施方案，并予以详细说明，便于更好地理解本发明而非用来限制本发明的使用范围。

如图1所示为一个胶囊检测系统的硬件组成结构，首先由安装在传送滚轴上方的摄像头1以及两侧的摄像头2采集实时画面，图像由网线传至计算机，在系统启动之前，需要先完成标准胶囊的训练任务。系统启动后，由图像分析模块6进行分析后通过通讯模块7将胶囊检测的结果传输给硬件模块8，由硬件模块将不合格的胶囊进行排除。随着传送滚轴的滚动，胶囊逐个进入画面并在接下来的连续三帧中被处理三次，这样，整个过程可以持续快速地进行。

在系统自动运行之前，要进行必要的样本训练过程。

首先，整个系统包括照明、摄像头、传送滚轴都固定好，将图像采集到计算机中，在计算机中有相应的软件界面4，通过软件可以方便地完成系统的训练，训练时将2组各3个标准的胶囊放置在检测区域，2组胶囊的两端朝向须相反，分别拍摄得到2张图像后进行训练。样本训练模块5将保存这些标准胶囊的特征信息。训练完成后，可选择启动自动运行，每当有胶囊进入检测区域时，光电触发器会给出一个触发信号通过信号转换传输到计算机，计算机就会调用图像分析模块6，即如图1所示不断循环直至程序结束。

本发明的主要工作集中在图像分析模块6中，是完成快速胶囊自动检测的核心模块，其功能图如图2所示。

图像分析模块6主要分为两个部分，侧面检测模块61和两端检测模块62，这两个部分相对独立，对同一个胶囊的不同部分进行检测以判断其是否合格，所以这两部分在实现时采用流水线并行处理。下面将详细说明各模块内部实现方法。

侧面检测模块61，接收到胶囊的侧面图像后，先通过前景分割模块611对输入图像进行前景分割，由于背景为颜色较为单一的传送滚轴，很容易在学习背景的情况下利用二值化找到胶囊的区域。

确定胶囊的区域后将分别进行轮廓、切口和缺陷点的检测，轮廓检测612主要是针对胶囊两头的弧形是否完整，在训练样本时记录弧形上每个点相对中心的坐标，依次作为特征，由于图像分辨率相对训练场景时固定的，在检测时同样提取目标胶囊的该特征进行比对，即可判断弧形是否完整。切口检测613主要是针对曝露在外面的套口是否平整，首先采用边缘检测算法，并找出经过边缘检测算子计算后值最大的点作为切口的参考点，再考虑这些点组成的线是否平整，是否平整可通过设定一片区域，如果这些点的浮动不超过这片区域则为大致平整。缺陷点检测614主要是对胶囊中间的区域进行检测，排除一些有小洞或者污渍的胶囊，由于胶囊表面会有一些不规则的反光，可以先与训练的样本进行比对，如果相差较大的点组成的区域呈现0.1毫米以上的块状则判断为缺陷点。

两端检测模块62，接收到胶囊的两端图像后，先通过前景分割模块621对输入图像进行前景分割，这里由于背景可能包含另一边的LED光源，学习背景的方法不是很理想，而胶囊上有固定的反光特征，在胶囊的中间区域有摄像头这一侧光源产生的条形反光，在胶囊的上面边缘区域有摄像头另一侧光源产生的弧形反光，这两块反光区域虽然会随着不同胶囊有一些变化，但总体形状特征仍十分明显，这里采用以此为特征进行胶囊定位的方法，当找到上述两个反光区域，并在同一水平位置上是就确定为一个胶囊。

当确定了胶囊位置后就要对其进行轮廓和缺陷点的检测，轮廓检测622方法和侧面检测时类似，由于每个胶囊将检测3次，所以每次只需检测上面一半的轮廓即可覆盖全部，而那部分轮廓与上面提到的反光正好重叠，即只要检测那个反光的形状是否与样本匹配即可。缺陷点检测623由于灯光是在摄像头的上方，胶囊的两端区域也会呈现出上亮下暗的特点，所以这里对圆形的胶囊端面进行划分，按照不同的到中心距离以及角度划分成很多小的区域，通过训练样本得到每一个小的区域亮度的取值范围，即可作为检测时是否有缺陷点的标准。

以上即完成了图像分析模块6的实现，分析部分将得出一个结果表示胶囊是否合格，该结果将通过通讯模块7传输给硬件模块8。

硬件模块8的构造如图3所示，首先当有胶囊到达触发位置时，光电触发器会给出一个触发信号，经过转换后分别道道计算机端和PLC逻辑控制端，然后计算机利用图像分析模块6得出胶囊是否合格的结果，并将其传输给PLC，PLC再控制气枪将不合格的胶囊进行排除。其中通讯模块7负责了各硬件与计算机之间的通讯，并实现了同步，即保证了计算机中所处理的胶囊与之后排除的是同一个胶囊。

对于上述所有操作，将利用线程级流水线技术实现并行操作。整个操作被分为采像、处理、发送、PLC控制4个部分，当每个胶囊在被处理时可以执行其他胶囊的采像、发送和硬件部分的任务，而在处理的内部又对图像分析模块6中的各个子模块进行并行处理，很有效的降低了程序的执行时间。

实施例

目的：于工业场景下，对医用胶囊进行自动的检测，将检测结果发送至硬件模块，用于排除不合格的胶囊。

安装在传送滚轴正上方以及两侧的高清摄像头，与两侧摄像头同方向的两个条形LED直流光源进行补光，图像被实时传入一台计算机进行视频分析，具体环境搭建如图4和图5所示。

摄像头拍摄的图像需要达到40像素/毫米的分辨率，通过千兆网线连接到计算机，以帧频约22fps速度将彩色图像传到计算机，计算机中软件以图像进行实时的处理。

软件界面使用C#基于.Net架构编写，运行在Windows XP及以上系统中。计算机使用CPU为i7 870主频约为2.9GHz。图像处理模块为独立软件库，使用动态链接库（DLL）封装,算法充分发挥多核优势，利用OpenMP对代码进行了优化以保证算法可以稳定实时运行。

对于实际检测时，运行速度达到22fps以上，缺陷检测精度达到0.1mm。

Claims (7)

1. 一种工业结构化场景中医用胶囊缺陷自动检测的系统，它包括：

一个安装在胶囊传送滚轴正上方、俯视胶囊的摄像头，用于拍摄被测胶囊侧面的图像，并将拍摄图像实时传入计算机；

两个分别安装在胶囊传送滚轴两侧、与胶囊垂直中心对齐的摄像头，用于拍摄被测胶囊两端的图像，并将拍摄图像实时传入计算机；

两个分别安装在胶囊传送滚轴两侧的LED光源，为胶囊检测提供较为固定的光照环境；

一台计算机，用于对实时传入的拍摄图像进行视频分析，并实现与硬件环境的同步通信；

一个硬件模块，包括光电触发器、PLC逻辑控制器、气枪；光电触发器用于胶囊进入检测范围时的触发信号，PLC逻辑控制器实现从计算机接收信息并同步，气枪用于将不合格胶囊进行排除；

所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块、样本训练模块，为胶囊样本进行训练，为用户提供友好的界面，软件界面还提供实时检测数据以及历史统计数据；处理软件系统还包括图像分析模块、通讯模块；系统工作时图像分析模块对传入的胶囊图像进行检测，判断起是否合格，并通过通讯模块将检测结果传输给硬件模块；

所述图像分析模块包括如下子模块：侧面检测模块、两端检测模块，其中：

侧面检测模块包括如下子模块：侧面部分前景分割模块、侧面部分轮廓检测模块、侧面部分切口检测模块、侧面部分缺陷点检测模块；

两端检测模块包括如下子模块：两端部分前景分割模块、两端部分轮廓检测模块、两端部分缺陷点检测模块；

所述前景分割模块，用于在传入图像中提取出胶囊的信息；

所述轮廓检测模块、切口检测模块、缺陷点检测模块，用于满足各类缺陷胶囊的检测。

2. 根据权利要求1所述的工业结构化场景中医用胶囊缺陷自动检测的系统，其特征在于：

所述侧面部分前景分割模块，通过对无胶囊的场景进行训练，采用二值化方法提取出有胶囊的部分；

所述侧面部分轮廓检测模块，通过训练标准胶囊样本，提取外形轮廓特征数据，对测试目标进行检测；

所述侧面部分切口检测模块，通过边缘检测方法获取切口部分的平整信息进行判别；

所述侧面部分缺陷点检测模块，采用模板匹配利用训练样本的数据进行相关区域的匹配；

所述两端部分前景分割模块，利用较为固定的反光特征确定胶囊的位置信息，并通过边缘检测确定胶囊的大小信息；

所述两端部分轮廓检测模块，通过训练标准胶囊样本，提取弧形轮廓特征，以此进行检测；

所述两端部分缺陷点检测模块，将检测目标按照到中心距离及角度分为很多区域，分别根据样本中对应区域的亮度阈值进行判别。

3. 根据权利要求1所述的工业结构化场景中医用胶囊缺陷自动检测的系统，其特征在于：所述的样本训练模块在软件辅助下完成对标准胶囊的特征提取和保存。

4. 根据权利要求1所述的工业结构化场景中医用胶囊缺陷自动检测的系统，其特征在于：所述的图像分析模块以及通讯模块在软件辅助下采用线程级流水线技术实现速度的优化。

5. 根据权利要求1所述的工业结构化场景中医用胶囊缺陷自动检测的系统，其特征在于：每个胶囊将每转动120度进行一次拍摄，对于每个胶囊将处理3次以保证整个表面的覆盖率。

6. 根据权利要求1所述的工业结构化场景中医用胶囊缺陷自动检测的系统，其特征在于：所述的摄像头采用分辨率为400万像素以上、视频每秒25帧以上的彩色摄像头。

7. 根据权利要求1所述的工业结构化场景中医用胶囊缺陷自动检测的系统，其特征在于：所述的通讯模块采用同步触发技术与硬件模块相联系。

Images