CN107024480A - 一种立体图像采集装置 - Google Patents

Abstract

本发明公开了一种立体图像采集装置，包括依次连接的CCD相机、图像预处理模块、图像分割模块、特征抽取模块、数据预处理模块、神经网络学习模块以及神经网络检测模块；本发明的一种立体图像采集装置，使用CCD相机获取产品的图像，使用控制器对产品的图像进行处理，其中处理的过程可以提高产品质量检测效率。

Description

一种立体图像采集装置

技术领域

本发明涉及自动化机械设备技术领域，更具体的说是涉及一种立体图像采集装置。

背景技术

现代工业中，许多产品(如电子与器件、五金器件零部件等)的生产在自动线上完成，各生产环节都涉及到产品的质量检测，一些企业投入大量人力，采用肉眼检测的方式来控制产品质量，但由于一些人为因素，产品质量难以保证。为提高检测效率和保证产品质量，采用机器视觉技术代替人的视觉进行产品质量的自动检测是解决问题的有效方法。

机器视觉由于可快速获取大量信息，且易于同设计信息和控制信息进行集成，因此在现代制造生产过程中，机器视觉被广泛的用于质量检测、生产控制等。相对于人眼视觉，机器视觉具有很大的优势和发展前景，因此近年来机器视觉得以迅速发展，其广泛应用于医疗、工业、农业、军事、交通等各个领域。

在我国，直到90年代中后期机器视觉技术才逐渐被人们认识和了解，目前，用在制造业中机器视觉仍存在产品质量检测效率低下的问题，因此难以推广。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种立体图像采集装置，使用CCD相机获取产品的图像，使用控制器对产品的图像进行处理，其中处理的过程可以提高产品质量检测效率。

为实现上述目的，本发明提供了如下技术方案：

一种立体图像采集装置，包括依次连接的CCD相机、图像预处理模块、图像分割模块、特征抽取模块、数据预处理模块、神经网络学习模块以及神经网络检测模块；

所述CCD相机用于获取产品的原始图像，并发送至所述图像预处理模块；

所述图像预处理模块用于对所述CCD相机获取到的原始图像进行灰度级修正处理和噪声平滑处理，并发送至所述图像分割模块；

所述图像分割模块用于对修正、平滑处理后的图像进行分割，并发送至所述特征抽取模块；

所述特征抽取模块用于对分割后的图像的灰度进行度量，产生相应的特征向量，并发送至所述数据预处理模块；

所述数据预处理模块用于将特征向量归一化到0至1之间，并输入至所述神经网络学习模块；

所述神经网络学习模块用于根据原始图像获取归一化后的特征向量，并生成相应的输入网络模式；

所述神经网络检测模块用于对输入网络模式进行识别和分类，以区分合格产品和不合格产品。

作为一种可实施方式，还包括伺服机械手；所述伺服机械手连接所述数据预处理模块，用于接收归一化到0至1之间后的特征向量；所述伺服机械手还连接所述CCD相机，用于根据接收到的特征向量控制所述CCD相机的拍摄角度。

作为一种可实施方式，所述图像分割模块用于根据阈值分割法对修正、平滑处理后的图像进行分割；其中，图像分割模块先根据修正、平滑处理后的图像选取相应的灰度级阈值，再将修正、平滑处理后的图像中的每个像素灰度和灰度级阈值进行比较，并在像素灰度高于阈值时分配以最大灰度，在像素灰度低于阈值时分配以最小灰度，从而形成相应的二值图像，实现图像分割。

作为一种可实施方式，所述特征抽取模块用于从二值图像和原始图像中抽取相关于灰度信息的特征，并生成相应的矩形区域，然后从矩形区域中提取背景光亮度值和矩形区域光斑的大小，产生相应的特征向量，并发送至所述数据预处理模块。

作为一种可实施方式，所述数据预处理模块用于根据S函数将特征向量归一化到0至1之间，并输入至所述神经网络学习模块；其中，S函数为f(x)＝1/(1+e^-x)。

作为一种可实施方式，所述神经网络学习模块用于根据原始图像获取归一化后的特征向量确定BP神经网络的最佳结构，其中，确定BP神经网络的最佳结构的方式为依次确定输入层节点数、输出层节点数以及隐含层节点数；

所述神经网络学习模块还用于根据确定的输入层节点数、输出层节点数以及隐含层节点数生成相应的输入网络模式。

作为一种可实施方式，在所述BP神经网络的最佳结构中，特征向量为4维，输入层节点数为4个，隐含层节点数估算方法为

其中，N_H为最佳隐含层节点数；N_I为输入层节点数；N_O为输出层节点数；N_P为训练样本数。

作为一种可实施方式，在所述BP神经网络的最佳结构中，还根据反向传播法来产生新的权值和阈值，所述反向传播法为：

ΔW(k+1)＝(1-mc)·α+mc·ΔW(k)；

Δθ(k+1)＝(1-mc)·d+mc·Δθ(k)；

其中，ΔW为新的权值，Δθ为新的阈值，α、d分别为系数，k为训练次数，mc为动量因子。

本发明相比于现有技术的有益效果在于：

本发明提供了一种立体图像采集装置，包括依次连接的CCD相机、所述控制器包括依次连接的图像预处理模块、图像分割模块、特征抽取模块、数据预处理模块、神经网络学习模块以及神经网络检测模块；其中，CCD相机受控于机械手，可以从各个角度获取产品的图像，图像预处理模块采用对环境光强差异下的灰度级修正以及噪声平滑处理，提高图像的灰度对比度，实现检测图像与模板图像的匹配；图像分割模块采用了阈值分割技术，通过对系统定义感兴趣区域AOI进行局部动态阈值分割，使质量检测区域更具有针对性；特征抽取模块通过产品质量缺陷种类定义相应算法提取图像特征向量，提高产品质量检测效率。

附图说明

图1为本发明提供的立体图像采集装置的框图。

图中：100、CCD相机；200、图像预处理模块；300、图像分割模块；400、特征抽取模块；500、数据预处理模块；600、神经网络学习模块；700、神经网络检测模块；800、伺服机械手。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

参照图1，本发明提供了一种立体图像采集装置，其包括依次连接的CCD相机100、图像预处理模块200、图像分割模块300、特征抽取模块400、数据预处理模块500、神经网络学习模块600以及神经网络检测模块700；其还包括伺服机械手800。

其中，CCD相机100用于获取产品的原始图像，并发送至图像预处理模块200；图像预处理模块200用于对CCD相机100获取到的原始图像进行灰度级修正处理和噪声平滑处理，并发送至图像分割模块300；图像分割模块300用于对修正、平滑处理后的图像进行分割，并发送至特征抽取模块400；特征抽取模块400用于对分割后的图像的灰度进行度量，产生相应的特征向量，并发送至数据预处理模块500；数据预处理模块500用于将特征向量归一化到0至1之间，并输入至神经网络学习模块600；神经网络学习模块600用于根据原始图像获取归一化后的特征向量，并生成相应的输入网络模式；神经网络检测模块700用于对输入网络模式进行识别和分类，以区分合格产品和不合格产品。这里，图像预处理模块200采用对环境光强差异下的灰度级修正以及噪声平滑处理，提高图像的灰度对比度，实现检测图像与模板图像的匹配；图像分割模块300采用了阈值分割技术，通过对系统定义感兴趣区域AOI进行局部动态阈值分割，使质量检测区域更具有针对性；特征抽取模块400通过产品质量缺陷种类定义相应算法提取图像特征向量，提高产品质量检测效率。

另外，根据归一化到0至1之间后的特征向量，可以判断出CCD相机100的当前拍摄角度，因此可以连接伺服机械手800和数据预处理模块500，使伺服机械手800可以在更靠前的模块中获取相关的拍摄角度的信息，来调整CCD相机100的拍摄角度。

以下，对图像预处理模块200、图像分割模块300、特征抽取模块400、数据预处理模块500、神经网络学习模块600以及神经网络检测模块700逐个进行说明。

本发明提供的立体图像采集装置，采用的图像预处理灰度级修正、平滑噪声的方法对图像进行预处理。这一过程由图像预处理模块200实现。

本发明提供的立体图像采集装置，采用阈值分割法对图像进行分割，首先根据被检测产品的特征选取一个适当的灰度级门限(阈值)，然后将产品图像中的每个像素灰度和它进行比较，超过门限的重新分配以最大灰度(255)，低于门限的分配以最小灰度(0)，这样就能组成一个新的二值图像，并成功地把对象从背景中显露出来。这一过程由图像分割模块300实现。

本发明提供的立体图像采集装置，在图像分割的基础上对图像灰度信息进行度量，产生一组特征，把这些特征组合在一起，就形成了特征向量，被检产品图像的二值图及原图包含的信息量通常很大，不能直接将其提供给BP神经网络来检测判断，因此必须从二值图及原图中抽取一些特征，系统定义将包含质量问题可能出现的范围的矩形区域称为感兴趣区域AOI(area ofinterest，AOI)，提取背景光亮度值，AOI光斑的大小，AOI中的最大灰度值和AOI中光斑离背景光的距离4个特征构成BP神经网络的输入特征向量。这一过程由特征抽取模块400实现。

本发明提供的立体图像采集装置，特征提取模块获取的数据采用S函数f(x)＝1/(1+e^-x)进行归一化到0至1之间，以便输入神经网络处理。这一过程由数据预处理模块500实现。

本发明提供的立体图像采集装置，产品质量缺陷种类较多、真缺陷与假缺陷不易区别。因此特征选取需根据具体要求而定。如在玻璃生产中质检人员根据缺陷的种类和产品需要，常常将玻璃块(产品)分成两个阶段进行检查。第一个阶段是对单个玻璃缺陷的检测，其目标是发现玻璃的缺陷，包括：气泡、夹杂、光畸变、粘锡、划伤、线道。第二个阶段是在第一阶段检测的基础上对整块玻璃分级。因此单个缺陷的检测是分类分级的基础。质检员对单个缺陷的大小十分关注，通常以长径来表示。对气泡而言即为最大的轴向距离，对不规则的夹杂而言即为核心缺陷曲边上两点间的最大距离，而对线性缺陷则指线长度。检测时必须将长径计算出来。软件的神经网络学习首先要确定BP神经网络的最佳结构。其中，输入层节点数取决于输入特征向量的维数，本系统中输入特征向量为4维，所输入层节点数为4个。输出层节点数一般可等于模式类别数，也可用输出结点的编码表示各模式类别。由于产品的质量问题类型一般只有两种：合格与不合格。因此，可确定输出层单元数为1，其输出为0时表示产品合格，输出为1时表示产品不合格。隐含层节点数目一般与问题的要求、输入输出单元的多少及训练样本数都有直接的关系，本系统采用隐含层节点数估算方法为：

其中，N_H为最佳隐含层节点数；N_I为输入层节点数；N_O为输出层节点数；N_P为训练样本数。

本系统采用附加动量法，在每一个权值和阈值的变化上加上一项正比于前次变化量的值，并根据反向传播法来产生新的权值和阈值，可以避免BP神经网络在学习过程中陷于局部极小值，加快学习速度。

ΔW(k+1)＝(1-mc)·α+mc·ΔW(k)；

Δθ(k+1)＝(1-mc)·d+mc·Δθ(k)；

其中，k为训练次数；mc为动量因子，一般取0.95左右。

在给定精度要求MSE≤104下，BP神经网络对选取的28个样本经过503次学习收敛后，将得到的权值和阈值写入文件保存起来，这是网络的学习结果。

系统通过对被检测产品的图像进行处理来获取特征向量，此向量作为输入网络的新模式。这一过程由神经网络学习模块600实现。

本发明提供的立体图像采集装置，神经网络检测就是通过调用BP神经网络的学习结果来对输入网络的新模式进行识别和分类，即对产品图像特征进行检测，并输出检测结果，最后由执行机对被检测玻璃瓶作相应处理。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种立体图像采集装置，其特征在于，包括依次连接的CCD相机(100)、图像预处理模块(200)、图像分割模块(300)、特征抽取模块(400)、数据预处理模块(500)、神经网络学习模块(600)以及神经网络检测模块(700)；

所述CCD相机(100)用于获取产品的原始图像，并发送至所述图像预处理模块(200)；

所述图像预处理模块(200)用于对所述CCD相机(100)获取到的原始图像进行灰度级修正处理和噪声平滑处理，并发送至所述图像分割模块(300)；

所述图像分割模块(300)用于对修正、平滑处理后的图像进行分割，并发送至所述特征抽取模块(400)；

所述特征抽取模块(400)用于对分割后的图像的灰度进行度量，产生相应的特征向量，并发送至所述数据预处理模块(500)；

所述数据预处理模块(500)用于将特征向量归一化到0至1之间，并输入至所述神经网络学习模块(600)；

所述神经网络学习模块(600)用于根据原始图像获取归一化后的特征向量，并生成相应的输入网络模式；

所述神经网络检测模块(700)用于对输入网络模式进行识别和分类，以区分合格产品和不合格产品。

2.根据权利要求1所述的立体图像采集装置，其特征在于，还包括伺服机械手(800)；所述伺服机械手(800)连接所述数据预处理模块(500)，用于接收归一化到0至1之间后的特征向量；所述伺服机械手(800)还连接所述CCD相机(100)，用于根据接收到的特征向量控制所述CCD相机(100)的拍摄角度。

3.根据权利要求1所述的立体图像采集装置，其特征在于，所述图像分割模块(300)用于根据阈值分割法对修正、平滑处理后的图像进行分割；其中，图像分割模块(300)先根据修正、平滑处理后的图像选取相应的灰度级阈值，再将修正、平滑处理后的图像中的每个像素灰度和灰度级阈值进行比较，并在像素灰度高于阈值时分配以最大灰度，在像素灰度低于阈值时分配以最小灰度，从而形成相应的二值图像，实现图像分割。

4.根据权利要求3所述的基于检测产品特性的图像处理与检测系统，其特征在于，所述特征抽取模块(400)用于从二值图像和原始图像中抽取相关于灰度信息的特征，并生成相应的矩形区域，然后从矩形区域中提取背景光亮度值和矩形区域光斑的大小，产生相应的特征向量，并发送至所述数据预处理模块(500)。

5.根据权利要求1至4中任一项所述的基于检测产品特性的图像处理与检测系统，其特征在于，所述数据预处理模块(500)用于根据S函数将特征向量归一化到0至1之间，并输入至所述神经网络学习模块(600)；其中，S函数为f(x)＝1/(1+e^-x)。

6.根据权利要求1至4中任一项所述的基于检测产品特性的图像处理与检测系统，其特征在于，所述神经网络学习模块(600)用于根据原始图像获取归一化后的特征向量确定BP神经网络的最佳结构，其中，确定BP神经网络的最佳结构的方式为依次确定输入层节点数、输出层节点数以及隐含层节点数；

所述神经网络学习模块(600)还用于根据确定的输入层节点数、输出层节点数以及隐含层节点数生成相应的输入网络模式。

7.根据权利要求6所述的基于检测产品特性的图像处理与检测系统，其特征在于，在所述BP神经网络的最佳结构中，特征向量为4维，输入层节点数为4个，隐含层节点数估算方法为

其中，N_H为最佳隐含层节点数；N_I为输入层节点数；N_O为输出层节点数；N_P为训练样本数。

8.根据权利要求6所述的基于检测产品特性的图像处理与检测系统，其特征在于，在所述BP神经网络的最佳结构中，还根据反向传播法来产生新的权值和阈值，所述反向传播法为：

ΔW(k+1)＝(1-mc)·α+mc·ΔW(k)；

Δθ(k+1)＝(1-mc)·d+mc·Δθ(k)；

其中，ΔW为新的权值，Δθ为新的阈值，α、d分别为系数，k为训练次数，mc为动量因子。