CN102169093A - 基于图形处理器的多工位机器视觉成像检测方法及系统 - Google Patents

Abstract

一种基于图形处理器的多工位机器视觉成像检测方法及系统，该方法为：在每一个检测工位设置一个成像设备，通过工业计算机控制一个以上的图像I/O接口将每个图像I/O接口所连接的成像设备获取的图像传输到工业计算机内存中；所述工业计算机将上述图像传输到GPU计算模块中，由GPU计算模块对各个检测工位获取的图像进行实时处理，并将计算结果传输到工业计算机中。该系统包括工业计算机、一个以上的GPU计算模块、一个以上的图像I/O接口、一个以上的成像系统、多工位位置检测装置、整机时序控制器、剔出控制器以及剔出装置。本发明具有结构简单紧凑、成本低廉、集成度高、稳定性和可靠性好、通用性好等优点。

Description

基于图形处理器的多工位机器视觉成像检测方法及系统

技术领域

本发明主要涉及到自动化生产线上产品机器视觉质量检测控制技术领域，特指一种应用于高速自动化生产线上多工位机器视觉质量检测的高速实时图像处理方法及检测系统。

背景技术

目前，在高速自动化生产线上，通常要对某一种产品进行多工位质量检测。多个工位质量检测可以对更多的参数进行检测，如液体产品质量检测中在不同工位对不同类型异物进行检测、液体液位检测、外观质量检测等；同时，多工位检测可以提高质量检测的准确率，如在多个工位对检测对象多次检测可提高不合格产品检测的准确率。

在高速自动化生产线机器视觉质量检测设备中，经常采用的体系结构是由一台工业计算机对一个工位的图像输入信号进行处理，工业计算机根据处理结果控制剔出机构对合格产品和不合格产品进行分离。

采用这种体系结构是由于在高速自动化生产线产品质量检测过程中，成像设备产生大量图像信息，单台工业计算机无法满足多工位图像输入I/O带宽、实时图像计算的需求。在多工位机器视觉检测设备中，通常在每一工位放置一台工业计算机对该工位输入的图像进行采集和处理。当前所采用的体系结构造成了多工位质量检测系统的几个难题：

1、造成了机器视觉设备复杂化、大型化。多个工位需要多台计算机，增加了机器视觉检测设备体积以及成本；

2、造成了多个工位检测难以同步。由于各个计算机独立工作，检测系统需要对多个检测过程同步，由于单台计算机检测时间难以控制，当前体系结构增加了各工位实时同步的难度，难以实现对同一产品多个工位的稳定、可靠检测；

3、难以实现整机协调控制。检测结果是对各个工位检测结果的综合，当前采用的系统结构增加了各个工位检测计算机的通信成本，增加了整机的协调控制的难度。

由于上述问题，当前高速自动化生产线机器视觉检测设备大多局限于单个工位的检测；多工位检测系统及其复杂，并且稳定性差；多工位机器视觉质量检测系统依旧是当前机器视觉检测设备一个悬而未决的技术难题。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种结构简单紧凑、成本低廉、集成度高、稳定性和可靠性好、通用性好的基于图形处理器的多工位机器视觉成像检测方法及系统。

为解决上述技术问题，本发明采用以下技术方案：

一种基于图形处理器的多工位机器视觉成像检测方法，其特征在于：在每一个检测工位设置一个成像设备，通过工业计算机控制一个以上的图像I/O接口将每个图像I/O接口所连接的成像设备所获取的图像传输到工业计算机内存中；所述工业计算机将上述图像传输到GPU计算模块中，由GPU计算模块对各个检测工位获取的图像进行实时处理，并将计算结果传输到工业计算机中。

作为本发明的进一步改进：

所述GPU计算模块将每一个检测工位的检测算法转化为一系列相连的计算方法，上一计算方法的输出作为下一计算方法的输入；在每一个计算方法中，采用运算核心处理图像的一个图像块，各图像块的处理以线程阵列的形式在GPU计算模块内并行运行。

所述GPU计算模块按照顺序对各个检测工位的图像进行质量检测，在每一时刻只对一个检测过程的一个计算方法进行执行，各个检测工位的检测结果传输到工业计算机内存中，工业计算机通过逻辑计算给出质量判断结果。

所述GPU计算模块对图像进行处理时采用不规则区域检测方法、或规则区域检测方法、或帧间检测方法、或上述三种方法中任意两种或三种的组合。

所述不规则区域检测方法中，首先对获取的图像进行并行预处理，即采用GPU计算模块对图像的多个图像块同时进行预处理，然后通过定位和分割方法确定检测区域，得出检测区域信息；针对获取的不规则检测区域，首先进行规则化，即根据区域信息对原图像进行插值，保证并行图像块计算及在后续处理过程中结果的正确性；对规则化后的图像进行分块，对每一个图像块采用区域检测方法进行处理；根据处理结果和区域信息对检测区域的处理结果进行统计，作为检测结果输出。

所述规则区域检测方法中，首先同样采用并行预处理方法对获取的图像进行预处理，然后对事先确定的检测区域进行标定以及分块；对分块后的检测区域采用区域检测方法进行处理；对处理结果进行区域特征提取，并作为检测结果输出。

所述帧间检测方法中，对计算采用的多幅图像首先采用并行预处理方法进行预处理，然后对多幅图像进行间隔插值并且分块，采用相同的分块方法对多幅图像进行分块；对分块后的图像进行并行帧间计算；对处理后的结果进行后处理；最后对后处理后的结果进行特征计算，计算结果作为检测结果输出。

本发明进一步提供一种基于图形处理器的多工位机器视觉成像检测系统，其特征在于：包括工业计算机、一个以上的GPU计算模块、一个以上的图像I/O接口、一个以上的成像系统、多工位位置检测装置、整机时序控制器、剔出控制器以及剔出装置，所述GPU计算模块和一个以上的图像I/O接口安装在工业计算机中，每个成像系统分别对应一个检测工位并通过图像I/O接口与工业计算机相连，所述工业计算机通过剔出控制器与剔出装置相连，所述工业计算机将各个成像系统采集到的图像传输到GPU计算模块中，由GPU计算模块对各个检测工位获取的图像进行实时处理，并将计算结果传输到工业计算机中，所述工业计算机根据计算结果输出控制信号至剔出控制器。

与现有技术相比，本发明的优点在于：

1、本发明体积小、集成度高、成本低；多个工位检测只需要一台工业计算机与若干个GPU计算模块，降低了成本；

2、本发明可提高检测精度，可以通过使用更复杂的检测算法来提高检测系统的精度；

3、本发明稳定性好、可靠性高、减少了对于各个工位同步和通信的要求，降低了系统复杂性，提高了系统稳定性和可靠性；

4、本发明扩展性好，增加检测工位只需根据GPU的计算能力及IO带宽需求增加GPU计算模块及图像输入I/O模块；

5、本发明易于实现网络化、智能化、自主化；每一个工控机对应一个完整的检测系统，可以自主工作，并可以与其他设备形成测控网络，实现高度自动化生产；

6、本发明通用性好，其提出的实时图像处理方法可广泛应用于其他领域，如视觉传感器网络监控、智能交通等。

附图说明

图1是本发明检测方法的流程示意图；

图2是本发明检测系统的框架原理示意图；

图3是本发明中采用GPU的实时图像处理方法运算模型原理示意图；

图4是本发明中采用GPU的实时图像处理方法执行过程示意图；

图5是本发明中GPU多工位图像处理方法原理示意图；

图6是本发明中采用GPU的不规则区域机器视觉产品质量检测方法的原理示意图；

图7是本发明中采用运算核心的并行图像处理方法的原理示意图；

图8是本发明中不规则区域规则化、分块及并行检测方法的原理示意图；

图9是本发明中采用GPU的规则区域机器视觉产品质量检测方法的原理示意图；

图10是本发明中规则区域分块及并行处理方法的原理示意图；

图11是本发明中采用GPU的机器视觉序列图像检测方法的原理示意图；

图12是本发明中多幅图像插值、分块及并行帧间运算方法的原理示意图；

图13是本发明检测系统在具体实施例中的结构原理示意图；

图14是本发明中多工位实时机器视觉检质量检测系统实物示意图；

图15是本发明进行多工位安瓿注射针剂溶液机器视觉质量检测系统的框架示意图；

图16是本发明进行多工位安瓿注射针剂溶液机器视觉质量检测方法的原理示意图。

图例说明

11、PCI-EX插槽；601、检测对象；602、产品输入传送带；603、进瓶装置；604、液位检测工位；605、外观检测工位；606、黑色异物检测工位；607、白色异物检测工位；608、出瓶装置；609、检测转盘；610、剔出装置；611、合格产品；612、不合格产品；613、合格品传送带；614、不合格品传送带；615、液位检测工位位置检测装置；616、外观检测工位位置检测装置；617、黑色异物检测工位位置检测装置；618、白色异物检测工位位置检测装置；619、剔出工位位置检测装置。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

图形处理器(Graphic Processing Unit)，简称GPU，是一种针对图形图像进行大规模并行处理的处理器，通常作为通用处理器的从属设备，对图形、图像进行实时处理和显示。在GPU中，存在多个多核处理器，在每一个多核处理器中又包含多个处理单元，每个处理单元可以同时运行多个线程，这种大规模并行结构非常适合实时图像处理，并且具有数百吉字节每秒的通信带宽、数千亿次的计算能力。本发明在传统机器视觉检测设备的基础上增加若干个GPU模块，利用GPU的大规模图形图像处理能力对高速自动化生产线上多工位机器视觉质量检测设备获取的多工位图像进行并行处理，同时针对机器视觉质量检测设备中最常用的单帧检测方法包括不规则区域检测和规则区域检测方法以及多帧检测方法的计算过程进行并行化，以满足系统实时性需求，解决当前多工位机器视觉质量检测系统存在的多个难题。

如图1所示，为本发明检测方法的流程示意图。在检测过程中，分别在多个检测工位对检测对象成像，获取的图像由图像I/O接口读入到工业计算机内存中，工业计算机再将内存中的图像传输到GPU中，整个图像处理过程全部在GPU中执行。各个工位检测算法根据GPU的计算模型并行化，并且在GPU中顺序执行，即上一个工位检测过程结束后进行下一工位的检测过程。对某一检测对象的质量检测结果根据各工位对该检测对象检测结果及检测标准进行产品质量判断，给出该检测对象的质量判断结果。本发明对机器视觉检测算法中最常用的不规则区域(检测区域不规则图形)检测方法、规则区域(检测区域规则图形)检测方法及帧间检测方法(采用多帧图像进行质量检测)采用GPU进行并行化。在不规则区域检测方法中，首先对获取的图像进行并行预处理，即采用GPU对图像的多个图像块同时进行预处理，如中值滤波等以提高图像信噪比；然后通过定位和分割方法确定检测区域，得出检测区域信息。针对获取的不规则检测区域，首先进行规则化，即根据区域信息对原图像进行插值，保证并行图像块计算及在后续处理过程中结果的正确性；对规则化后的图像进行分块，对每一个图像块采用区域检测方法进行处理；根据处理结果和区域信息对检测区域的处理结果进行统计，作为检测结果输出。在规则区域检测方法中，首先同样采用并行预处理方法对获取的图像进行预处理；然后对事先确定的检测区域进行标定以及分块；对分块后的检测区域采用区域检测方法进行处理，如灰度统计方法等；对处理结果进行区域特征提取，如对求取的统计信息求取极值点位置，并作为检测结果输出。在帧间检测方法中，对计算采用的多幅图像首先采用并行预处理方法进行预处理；然后对多幅图像进行间隔插值并且分块，采用相同的分块方法对多幅图像进行分块；对分块后的图像进行并行帧间计算，如帧间差分、能量累积等方法；对处理后的结果进行后处理，如阈值计算等，最后对后处理后的结果进行特征计算，如灰度叠加等方法，计算结果作为检测结果输出。某一工位的检测算法根据实际需要可以是上述三种方法中的一种，也可以是对上述三种方法的组合，如在一个复杂的工位检测过程中可能同时用到三种方法。

如图2所示，为本发明检测系统的框架结构示意图。该检测系统包括多个成像设备、多个图像I/O接口、工业计算机和GPU计算模块。多个成像设备在图像I/O接口的控制下在多个工位对观测对象进行成像，图像I/O接口控制成像设备的成像时刻、曝光时间、焦距等。成像设备可采用多种类型相机，在本实施例中采用工业CCD相机。根据不同成像设备对通信系统的要求，图像I/O接口采用多种通信方式，包括千兆网、专用图像采集总线等。工业计算机控制图像I/O接口设备将成像设备获取的图像传输到工业计算机内存中，然后传输到GPU的全局存储器中。在实时图像处理过程中，全局存储器中的图像分割成多个图像块传输到各个处理单元的局部存储器，处理单元对局部存储器中的图像块进行计算，计算结果存储到全局存储器中。经过多个步骤的图像处理过程，得到多个工位的质量检测结果，质量检测结果由GPU传输到工业计算机中。

如图3、图4和图5所示，为本发明中采用的GPU并行图像处理运算模型。在GPU运算模型中，如图3所示，整个图像处理过程根据图像处理步骤由相连的图像处理方法构成，每一个计算方法对应一个图像处理步骤，如预处理、区域定位、区域分割、区域检测、后处理等过程，上一个图像处理方法的结果作为下一计算过程的输入。如图4所示，在每一个计算方法的执行过程中，输入图像被分为多个大小相同的模块，散布到GPU的各个处理单元中进行处理，每一个处理单元运行相同的运算核心，保证在同一个计算方法中，所有处理单元所需时间计算相同。每一个计算方法的计算结果存储在全局内存中，形成完整的二维图像。在进行下一个计算方法前，插入线程同步，保证上一计算过程在下一计算过程开始前结束，最后一个计算方法的结果即为检测结果。在多工位程序执行过程中，为了减少冲突、提高程序执行效率，在同一时刻只对一个工位获取的图像进行处理，即所有处理单元在同一时刻执行同一个计算方法，如图5所示，在时刻T，GPU的所有硬件资源都用来对A工位检测过程中的计算方法M进行执行，执行过程表现为多个线程在多个多核处理器中并行运行。每一个工位的检测过程由一系列相连的计算方法构成，每一个计算过程开始时从工业计算机中加载该工位获取的图像；同一检测过程的多个检测方法顺序在在GPU中顺序执行，其对应的运算核心顺序加载到GPU的多核处理器中执行；最后一个计算方法的计算结果作为检测结果由GPU传输到工业计算机中。

如图6、图7和图8所示，为本发明采用GPU的不规则区域机器视觉产品质量检测方法。它由并行图像预处理、并行检测区域定位与分割、不规则区域规整化及分块、并行区域检测和区域检测结果统计构成，在检测方法的每一个步骤中，都采用GPU对其进行并行化。对于容易实现并行化的计算过程，如图像预处理、区域定位与分割等过程、区域检测结果统计等过程都可以通过运算核心的并行处理方法并行化。对于难以实现并行化的计算过程，即不规则区域检测，首先通过不规则区域规则化过程将不规则检测区域规则化，然后采用运算核心的并行处理方法实现并行处理。

采用运算核心的并行图像处理方法实现过程中，首先设计与处理方法对应的运算核心，然后采用GPU的多个处理核心对图像分割成的多个图像块采用相同的运算核心同时处理。本实施例中，选择Telsa C1060作为GPU计算单元，可以满足10个以下检测工位实时质量检测的需求。其具体实现过程如下：

1)图像分块

将原图像分割为多个图像块，图像块的大小根据图像处理方法和GPU的参数进行确定。如在图7中，对图像进行3×3滤波，可将图像分为4×4的图像块，在计算过程中，GPU对多个4×4图像块同时进行处理，如线程thread(0，0)对图像块(N+1，M+1)～(N+4，M+4)进行处理，线程thread(0，1)对图像块(N+5，M+5)～(N+8，M+8)进行处理，同时由于采用3×3模板，传出到GPU共享存储器中的图像块为6×6，即线程1对应的图像块为(N，M)～(N+5，M+5)。

2)图像处理运算核心设计

根据所采用的算法设计运算核心，运算核心的设计根据所采用的图像处理方法对一个图像块中的像素进行某种操作。运算核心在计算过程中表现为线程(thread)，线程的集合构成块(block)，块中的每一个线程都有自己的线程标号threadid，每一个块也有自己的块标号blockid，对于二维图像来说，其线程标号、块标号都是二维的，具有x和y两个分量。在计算内核中，GPU通过线程标号threadid、块标号blockid来对像素进行访问。以检测均匀区域异物检测所采用的动态阈值方法来对本发明的采用运算核的并行图像处理方法进行说明。

动态阈值方法计算过程如下：

①对区域进行二项式滤波；

②对原图像和滤波平滑后的图像进行相减；

③若像素差值大于阈值，则认为存在杂质；

针对这个计算过程，采用GPU的并行处理方法如下：

5×5二项式滤波器，其内核为：

$\frac{1}{256}\left(\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right)$

计算内核通过blockid的iy，ix对图像块进行访问，通常图像在共享存储器中以一维数据存在，如图像块第一像素为Tex[ix+iy*width]，其中width为图像宽度，图像块起始点位置为

int iy＝blockDim.y*blockIdx.y+threadIdx.y；

int ix＝blockDim.x*blockIdx.x+threadIdx.x；

二项式滤波器计算内核如下：

out1[ix+(iy+2)*width+2]＝Tex[ix+iy*width]+(Tex[ix+iy*width+1]+Tex[ix+iy*width+3]+Tex[ix+(iy+1)*width]+Tex[ix+(iy+1)*width+4]+Tex[ix+(iy+3)*width]+Tex[ix+(iy+3)*width+4]+Tex[ix+(iy+4)*width+1]+Tex[ix+(iy+4)*width+3])＞＞2+(Tex[ix+iy*width+2]+Tex[ix+(iy+2)*width]+Tex[ix+(iy+2)*width+4]+Tex[ix+(iy+4)*width+2]×6+(Tex[ix+(iy+1)*width+1]+Tex[ix+(iy+1)*width+3]+Tex[ix+(iy+3)*width+1]+Tex[ix+(iy+3)*width+3])＞＞4+(Tex[ix+(iy+1)*width+2]+Tex[ix+(iy+2)*width+1]+Tex[ix+(iy+2)*width+3]+Tex[ix+(iy+3)*width+2])×24+Tex[ix+(iy+2)*width+2]×36

原图像与平滑后的图像求绝对值，其计数内核为：

out2[i+y*width]＝abs(Tex[i+y*width]-out1[i+y*width])

绝对值图像与阈值相比较，统计大于阈值的像素点数，其内核为：

If(out2[i+y*width]＞T)Num++；Num代表大于阈值的像素点数。

3)工业计算机主程序通过调用运算核心及对GPU进行配置实现并行实时图像处理过程。运算核心调用

Kernel1＜＜＜nblock，blocksize＞＞＞

其中Kernel1代表计算内核，nblock表示所采用的计算块的个数，blocksize表示在一个计算块中的线程维数，计算块和计算块的设计根据图像的大小和所采用图像块进行确定，保证能够对图像的所有区域进行处理。

在不规则区域规则化过程中，根据区域信息和原图像信息对原图像进行插值，对规则化后的原图像然后再将图像分块，采用运算核心的并行图像处理方法进行并行计算。规则化过程实现如下：

在经过区域分割处理后获得的不规则区域包含两种信息，一种是某个像素是否属于区域的信息，即区域的范围；另一个是该像素的像素值。不规则区域规则化过程根据区域信息，对区域检测中需要用到但不在区域中的像素进行插值，即用计算得到的新像素值代替原来像素值，以保证检测算法的准确性。经常采用的插值方法是最邻近法，用最邻近的像素值作为插值点的像素值。如在图8中，以运算核心半径为1、图像块大小为4、采用最邻近插值方法为例，插值要保证区域中每个像素的8邻域都具有像素值，如对于P(M+2，N+2)插值，其结果为

P(M+2，N+2)＝P(M+2，N+3)

对于规则化后的区域，即可以通过图像分块并采用运算核心的并行图像处理方法进行并行计算，如分块大小为4×4，则图像块P(M，N)～P(M+3，N+3)成为一个图像块，采用运算核的并行图像处理方法在线程thread(0，0)中采用运算核心进行运算，其他图像块如P(M+4，N+4)～P(M+7，N+7)作为另一个图像块在线程thread(0，1)中采用相同的运算核心与线程thread(0，0)同时进行计算。

在对不规则区域检测完成后，根据区域信息保留区域中的像素值，并且对区域检测结果进行统计，如进行灰度叠加，作为检测结果输出。

如图9和图10所示，为本发明采用GPU的规则区域机器视觉产品质量检测方法，它有并行图像预处理方法、检测区域标定与分块、并行区域检测和区域检测结果统计构成，在该方法中，图像预处理、检测区域标定与分块、区域检测结果统计都采用在采用运算核的并行图像处理方法进行并行计算。检测方法只对标定的检测区域进行处理，首先将检测区域根据检测算法划分为多个检测模块，然后采用运算核的并行图像处理方法进行并行计算。规则区域机器视觉产品质量检测方法适应于特殊形状的区域，一般是规则形状如矩形。应用该方法的区域检测方法一般对区域的某一特征进行统计，如长度方向投影、圆环分块统计等，获得一维数组，通过计算一维数组的特征，获得图像的某种信息，如边缘等。

如图10所示，在并行区域检测方法中，首先将检测区域根据检测算法划分为多个检测模块，然后采用运算核的并行图像处理方法进行并行计算。以矩形检测区域为例，如检测区域为斜矩形，则首先对该矩形进行坐标变换，将其转化为标准的矩形块。对矩形检测区域划分为多个图像块，并且采用运算核对多个图像块同时在GPU中以线程的形式并行执行。如对检测区域进行垂直方向投影，其运算核心为

$\mathrm{Out}\left(M\right)=\underset{n=M}{\overset{n=M+p}{\mathrm{\Σ}}}P(M,n)$

区域运算得到一维数组，对区域检测结果进行特征提取，如一种常用的边缘定位方法对计算得到的一维数组用差分法或求二阶导的方法进行计算，得到正向变化最大值和负向变化最大值，并把其对应位置作为区域中的边缘。

如图11和图12所示，为采用GPU的机器视觉序列图像检测方法，它由并行图像预处理方法、多幅图像插值分块方法、并行帧间计算、结果后处理及特征计算环节构成，并行图像预处理方法采用运算核的并行图像处理方法对多个图像块同时进行计算。如图12所示，在多幅图像分块方法中，对相邻帧图像进行间隔插值，将所有图像插入到同一图像中，如在图像差分过程中，对两帧图像第K帧与第K+1帧进行插值，插值结果为图像P，则

P(M，2N)＝K(M，N)  P(M，2N+1)＝K+1(M，N)

并且对图像进行分块，保证不同帧同一位置像素分割到同一个图像块中，即图像块的列数必须为检测采用图像幅数的整数倍。在并行帧间运算中，采用运算核对分块后的图像相邻列按照一定规则进行并行运算，即对相邻帧如差分法中，其计算内核为

R(M，N)＝P(M，2N)-P(M，2N+1)

对并行帧运算后的图像进行后处理步骤，如阈值运算、区域检测等。对后运算的结果进行特征计算，如灰度特征计算，并且根据计算得到的特征作为检测结果输出。

如图13和图14所示，为本发明采用GPU的多工位机器视觉质量检测体系结构。它包括工业计算机、一个以上GPU计算模块、一个以上图像I/O接口、一个以上成像系统、多工位位置检测装置、整机时序控制器、时序控制装置、剔出控制器和剔出装置。该GPU计算模块、剔出控制器、图像I/O接口、整机时序控制器与工业计算机相连。当检测对象达到某一工位时，位置检测装置产生触发信号，整机时序控制装置接受各个工位的触发信号，并根据触发信号和整机结构对检测对象编号，并且根据工业计算机中检测系统参数设置控制整机的运行时序；工业计算机根据触发信号控制图像I/O接口，打开光源和触发成像系统，成像系统对检测对象成像，图像I/O接口将获取的图像读入到工业计算机中；GPU计算模块对各个检测工位获取的图像进行实时处理，并将计算结果传输到工业计算机中；工业计算机根据整机时序控制器对检测对象的编号以及剔出工位的位置检测信号，控制剔出控制器对于不合格产品进行剔出。

如图14所示，为本发明的实时多工位机器视觉质量检测系统实物图。在工业计算机主板上有多个PCI-EX插槽11，GPU计算模块、图像I/O接口、剔出控制器、整机控制器等作为PCI设备插在PCI-EX插槽11上，通过PCI-EX总线实现与工业计算机的高速通信。

如图15和图16所示，为本发明应用于多工位安瓿注射针剂溶液机器视觉质量检测时的示意图。安瓿注射针剂溶液机器视觉质量检测系统根据安瓿注射针剂溶液质量规范，对检测对象601进行四个工位检测，即黑色异物检测工位606，对安瓿注射针剂溶液内中包含的可见黑色异物如毛发、纤维进行检测；白色异物检测工位607，对白色可见异物如玻屑进行检测；液位检测工位604对安瓿注射针剂溶液液位进行检测；外观检测工位605对安瓿注射针剂瓶颈部位黑点质进行检测。可见异物机器视觉质量检测系统由产品输入传送带602、进瓶装置603、检测转盘609、液位检测工位604、外观检测工位605、黑色异物检测工位606、白色异物检测装置607、出瓶装置608、剔出装置610、合格品传送带613、不合格产品传送带614、液位检测工位位置检测装置615、外观检测工位位置检测装置616、黑色异物检测工位位置检测装置617、白色异物检测工位位置检测装置618、剔出工位位置检测装置619以及实时多工位机器视觉质量检测系统构成。检测对象601由产品输入传送带602输送到进瓶装置603，进瓶装置603将检测对象输入到检测转盘609中，在检测转盘转动过程中，各工位位置检测装置(615～618)产生触发信号，实时多工位机器视觉质量检测系统的时序控制装置接受触发信号，并且控制液位检测工位604、外观检测工位605、黑色异物检测工位606、白色异物检测工位607的成像系统对检测对象成像，实时多工位机器视觉质量检测系统将各工位获取的图像读入，采用GPU进行实时处理，对产品的质量进行判断。检测转盘609带动检测对象601运动到出瓶装置608，在出瓶装置608处，产品进入合格品传送带613上，当产品到达剔出工位位置检测装置619处时产生触发信号，实时多工位机器视觉质量检测系统根据检测结果和剔出工位位置检测装置619处产生触发信号控制剔出装置610将不合格产品612剔出到不合格产品传送带614上输出，合格品611停留在合格品传送带613上输出。在本实施例中，选用千兆网工业摄像机，选择千兆网卡作为图像I/O接口，其具有很高的通信带宽，具有使用简单的特点；GPU采用Telsa C1060，能够满足4个工位20帧/秒的实时图像机器视觉质量检测需求。

如图16所示，在该检测方法中，液位检测过程、外观检测过程、黑色异物检测过程、白色异物检测工位的检测算法顺次在GPU中执行。

在液位检测过程中，采用两个规则区域的检测方法。首先在液位检测工位获取检测对象的图像，然后对事先确定的液位检测区域采用规则区域检测方法进行检测，得到液位位置；然后采用规则区域检测方法对瓶底区域进行检测，得出瓶底位置；最后将两个位置相减，即得到液位高度；在两个规则区域检测方法中，对区域的检测过程在GPU中并行执行。

液位检测过程结束后即开始外观检测过程，在该过程中，采用瓶颈规则区域的检测方法。首先在外观检测工位获取检测对象的图像，然后采用规则区域检测方法对安瓿注射针剂瓶颈检测区域进行检测，包括区域定位、区域检测、特征提取，最终得到外观检测结果。

外观检测完成之后，开始黑色异物检测过程与白色异物检测过程，二者检测方法相同，均采用帧间差分的检测方法。不同的是成像方式，即白色异物检测采用底光源给光，黑色异物检测采用背光源给光。两个工位都采用旋转急停检测方案，即首先对检测对象高速旋转一定时间，然后急停，对静止后的检测对象连续成像。检测方法通过对连续帧图像进行差分来获取检测对象中的运动信息。黑色异物检测过程采用机器视觉图像序列检测方法进行检测，实现过程如下：首先对所用到的两幅图像采用中值滤波方法进行去噪，然后对两幅图像用帧间差分进行处理，然后采用阈值方法对帧间差分的结果进行阈值化，然后在阈值化后的图像中统计大于阈值的像素个数，若像素格式大于检测标准，则认为不合格。

每一计算过程结束，将处理结果传输到工业计算机中，工业计算机对不同工位检测结果进行逻辑运算，若有一个工位检测结果为不合格，则该产品不合格，并且控制剔出控制器对检测对象进行分类。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种基于图形处理器的多工位机器视觉成像检测方法，其特征在于：在每一个检测工位设置一个成像设备，通过工业计算机控制一个以上的图像I/O接口将每个图像I/O接口所连接的成像设备获取的图像传输到工业计算机内存中；所述工业计算机将上述图像传输到GPU计算模块中，由GPU计算模块对各个检测工位获取的图像进行实时处理，并将计算结果传输到工业计算机中。

2.根据权利要求1所述的基于图形处理器的多工位机器视觉成像检测方法，其特征在于：所述GPU计算模块将每一个检测工位的检测算法转化为一系列相连的计算方法，上一计算方法的输出作为下一计算方法的输入；在每一个计算方法中，采用运算核心处理图像的一个图像块，各图像块的处理以线程阵列的形式在GPU计算模块内并行运行。

3.根据权利要求2所述的基于图形处理器的多工位机器视觉成像检测方法，其特征在于：所述GPU计算模块按照顺序对各个检测工位的图像进行质量检测，在每一时刻只对一个检测过程的一个计算方法进行执行，各个检测工位的检测结果传输到工业计算机内存中，工业计算机通过逻辑计算给出质量判断结果。

4.根据权利要求1或2或3所述的基于图形处理器的多工位机器视觉成像检测方法，其特征在于：所述GPU计算模块对图像进行处理时采用不规则区域检测方法、或规则区域检测方法、或帧间检测方法、或上述三种方法中任意两种或三种的组合。

5.根据权利要求4所述的基于图形处理器的多工位机器视觉成像检测方法，其特征在于：所述不规则区域检测方法中，首先对获取的图像进行并行预处理，即采用GPU计算模块对图像的多个图像块同时进行预处理，然后通过定位和分割方法确定检测区域，得出检测区域信息；针对获取的不规则检测区域，首先进行规则化，即根据区域信息对原图像进行插值，保证并行图像块计算及在后续处理过程中结果的正确性；对规则化后的图像进行分块，对每一个图像块采用区域检测方法进行处理；根据处理结果和区域信息对检测区域的处理结果进行统计，作为检测结果输出。

6.根据权利要求4所述的基于图形处理器的多工位机器视觉成像检测方法，其特征在于：所述规则区域检测方法中，首先同样采用并行预处理方法对获取的图像进行预处理，然后对事先确定的检测区域进行标定以及分块；对分块后的检测区域采用区域检测方法进行处理；对处理结果进行区域特征提取，并作为检测结果输出。

7.根据权利要求4所述的基于图形处理器的多工位机器视觉成像检测方法，其特征在于：所述帧间检测方法中，对计算采用的多幅图像首先采用并行预处理方法进行预处理，然后对多幅图像进行间隔插值并且分块，对分块后的图像进行并行帧间计算；对并行帧间运算后的结果进行后处理；最后对后处理后的结果进行特征计算，计算结果作为检测结果输出。

8.一种基于图形处理器的多工位机器视觉成像检测系统，其特征在于：包括工业计算机、一个以上的GPU计算模块、一个以上的图像I/O接口、一个以上的成像系统、多工位位置检测装置、整机时序控制器、剔出控制器以及剔出装置，所述GPU计算模块和一个以上的图像I/O接口安装在工业计算机中，每个成像系统分别对应一个检测工位并通过图像I/O接口与工业计算机相连，所述工业计算机通过剔出控制器与剔出装置相连，所述工业计算机将各个成像系统采集到的图像传输到GPU计算模块中，由GPU计算模块对各个检测工位获取的图像进行实时处理，并将计算结果传输到工业计算机中，所述工业计算机根据计算结果输出控制信号至剔出控制器。

Images