CN105701476A - 一种基于机器视觉的生产线产品自动化识别系统及方法 - Google Patents

Abstract

一种基于机器视觉的生产线产品自动化识别系统，涉及工业生产线产品自动化分拣领域，可解决现有生产线产品自动化识别技术准确率较低的技术问题。包括机器视觉识别算法模块、软件交互界面、系统通信模块和图像采集模块；其中，机器视觉识别算法模块负责将待识别产品图像，与已知类别产品图像进行对比识别，提供待识别产品所属类别信息；软件交互界面用于实时视频显示，算法运行结果展示，以及算法运行参数控制实现；系统通信模块负责利用光电传感器信号来控制工业相机采集图像，以及算法结果的信号输出；图像采集模块负责控制图像采集环境，并进行产品图像采集。本发明操作简单，学习成本低，且准确率和稳定性较高。

Description

一种基于机器视觉的生产线产品自动化识别系统及方法

技术领域

本发明涉及工业生产线产品自动化分拣领域，特别涉及一种基于机器视觉的生产线产品自动化识别系统。

背景技术

随着人力成本的上升，工业生产线的自动化程度受到越来越多的重视。工业生产流水线产品的人工分拣过程，效率低下，自动化分拣系统可以极大的提高产品分拣效率，同时保持极高的分拣准确率。高分拣准确率依赖于生产流水线上产品的识别系统，现阶段产品的识别技术，存在基于标签和机器视觉两种技术。

基于标签技术包括条形码识别和RFID电子标签技术，RFID电子标签技术由于成本等问题，并未广泛普及。条形码识别技术对于产品的外包装有一定的要求，平坦且有刚性的外包装有利于条形码的正确识别，而一些袋装产品，由于表面的皱褶、形变等，会导致条形码识别失败，同时，在现实环境中，也存在着大量生产流水线产品，并不适合在外包装张贴利于识别的条形码标签。

基于机器视觉技术无需对产品添加额外标签，依据产品包装外观，对产品进行识别，适合包装外观纹理丰富的产品，特别是袋装产品。市场上比较有代表性的产品，如欧姆龙的图像处理系统FH系列，利用图像中的形状检索来识别产品。需要用户手工注册产品图像中的具有辨识性的形状轮廓，通过在待检测产品图像中检索对应轮廓，来识别产品类型。产品识别的准确率依赖于用户所选择的产品中形状轮廓的辨识性，对用户操作要求高，并且对于外界光照变化和产品外包装形变敏感，识别准确率低。

发明内容

本发明的目的是克服现有生产线产品自动化识别技术中的不足，提出一种准确率和稳定性较高的基于机器视觉的生产线产品自动化识别系统。

为实现上述目的，本发明采用了以下技术方案：

一种基于机器视觉的生产线产品自动化识别系统，包括机器视觉识别算法模块、软件交互界面、系统通信模块和图像采集模块；其中：

机器视觉识别算法模块负责将待识别产品图像，与已知类别产品图像进行对比识别，提供待识别产品所属类别信息；

软件交互界面用于实时视频显示，算法运行结果展示，以及算法运行参数控制实现；

系统通信模块负责利用光电传感器信号来控制工业相机采集图像，以及算法结果的信号输出；

图像采集模块负责控制图像采集环境，并进行产品图像采集。

进一步的，所述图像采集模块包括工业相机、光源和环境光屏蔽箱，其中，工业相机提供生产线实时视频信息，并根据触发信号，进行产品图像采集；光源负责箱体内补光；环境光屏蔽箱负责屏蔽环境光照干扰，保证箱体内光照度恒定。

进一步的，所述机器视觉识别算法模块包括训练和识别两个过程，训练过程利用用户选定的已知类别的产品图像，每种类别产品只需一幅图像用于算法模块训练，训练后生成训练集；识别过程是待测产品图像与训练集对比识别的过程。

进一步的，所述软件交互界面包含产品类别库管理，以产品图像的形式展示相应产品，用户点击产品对应图像，即可实现对训练集产品类别的增删。

进一步的，所述系统通信模块负责收集生产流水线产品通过时所产生的光电传感器信号到软件端，并且负责工业相机采集控制信号和算法模块识别结果信号的输出。

一种基于机器视觉的生产线产品自动化识别方法，包括以下步骤：

步骤1)图像采集

通过图像采集模块来采集产品图像，生产流水线上的产品在通过环境光屏蔽箱体下方时，光电传感器触发，系统通信模块收到触发信号，控制工业相机采集产品图像；所采集到的产品图像添加到产品类别库，作为对应产品训练图像；

步骤2)图像预处理

工业相机得到的产品原始图像帧，首先根据用户设置的ROI(RegionofInterest)区域对图像进行裁剪，得到产品图像，然后利用双线性插值统一缩放产品图像到算法内部处理尺寸，并转换为单通道灰度图像；

步骤3)图像关键区域检测和特征向量生成

机器视觉算法模块自动检测产品图像中显著的关键区域，并控制关键区域的数量和分布，保证关键区域检测的效率，以及检出的重复性；算法依次生成关键区域的特征向量；

步骤4)图像匹配

算法模块运行状态下，光电传感器触发所采集到的待识别产品图像所生成的测试集特征向量与所有已知类别产品所生成的训练集特征向量分别进行匹配，计算特征向量之间的欧氏距离，以最小欧氏距离的特征向量为匹配对，并利用随机取样一致算法去除错误匹配点，以训练集中最多匹配点数对应的类别为待识别产品类别。

进一步的，步骤3)还包括：算法模块首先通过FAST(FeaturesfromAcceleratedSegmentTest)算法检测产品图像中角点作为候选关键点；候选关键点I(i,j)在周围像素集C＝{I(i,j-3),I(i+1,j-3),I(i+2,j-2),I(i+3,j-1),I(i+3,j),I(i+3,j+1),I(i+2,j+2),I(i+1,j+3),I(i,j+3),I(i-1,j+3),I(i-2,j+2),I(i-3,j+1),I(i-3,j),I(i-3,j-1),I(i-2,j-2),I(i-1,j-3)}存在不少于N个连续像素灰度值满足：

|I(x,y)-I(i,j)|>tI(x,y)∈C(1)

候选关键点响应值为：

R(i,j)＝∑|I(x,y)-I(i,j)|(2)

其中，I(x,y)属于候选关键点周围像素集C中满足公式(1)的连续像素子集；候选关键点通过5x5区域的非极大值抑制(Non-maximalSuppression)过滤不稳定点，并将剩余候选关键点中依据公式(2)的响应值进行排序，保留前500个响应值高的候选关键点作为最终关键点，以此来平衡算法的稳定性和效率；

算法模块提取关键点周围32x32区域图像作为关键区域，并依据公式(3)、(4)分别计算关键区域内像素的梯度幅值和方向，并统计区域内的梯度直方图，作为关键区域特征向量；

$m(x,y)=\sqrt{{\left(I\right(x+1,y)-I(x-1,y\left)\right)}^2+{\left(I\right(x,y+1)-I(x,y-1\left)\right)}^2}---\left(3\right)$

θ(x,y)＝tan^-1((I(x,y+1)-I(x,y-1))/(I(x+1,y)-I(x-1,y)))(4)。

相对于现有技术，本发明的有益效果是：

其一，算法模块训练过程，一种产品类别的训练只需要提供对应的一幅产品图像，无需用户提供其它产品相关的先验知识，用户可以通过软件交互界面轻易完成。

其二，关键区域检测可以自动的检测出产品图像中显著性的关键区域，并通过控制关键区域的数量和分布，保证关键区域检测的效率，以及检出的重复性。关键区域特征向量具有旋转不变的特性，并在一定程度上对产品图像光照变化和透视变换具有鲁棒性，特征向量的以上特性，可以保证产品在不同角度朝向，以及外包装皱褶形变情况下图像的稳定匹配识别。

其三，所述机器视觉识别算法模块中的特征向量匹配阶段，采用快速近似最近邻查找算法，并采用随机采样一致算法去除错误匹配，保证特征向量的匹配效率和稳定性。

其四，软件交互界面包含产品类别库管理，用户只需选取配置生产线注册类别，即可启动算法自动进入训练和识别过程，操作简单，学习成本低。

附图说明

图1是本发明的逻辑结构框图；

图2为机器视觉算法模块示意图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示，本发明公开了一种基于机器视觉的生产线产品自动化识别系统，包括机器视觉识别算法模块、软件交互界面、系统通信模块和图像采集模块；

机器视觉识别算法模块负责将待识别产品图像，与已知类别产品图像进行对比识别，提供待识别产品所属类别信息；

软件交互界面用于实时视频显示，算法运行结果展示，以及算法运行参数控制实现；

系统通信模块负责利用光电传感器信号来控制工业相机采集图像，以及算法结果信号输出；

图像采集模块负责控制图像采集环境，并进行产品图像采集。

具体的操作过程如下：

(1)用户通过软件交互界面工业相机触发得到的产品图像，或手工控制工业相机抓拍产品图像，来注册产品到类别库；通过点击界面类别库中产品，选取机器视觉算法模块训练产品类型即当前生产流水线需要识别产品类型；点击界面“开始”按钮，算法模块自动读取用户选取产品类型对应得训练图像，生成训练集，机器视觉算法模块开始运行。

(2)生产流水线上的产品在通过环境光屏蔽箱体下方时，光电传感器触发，系统通信模块收到触发信号，控制工业相机采集待识别产品原始图像帧。

(3)产品原始图像帧首先要根据用户设置的感兴趣区域对图像进行裁剪，得到产品图像，然后利用双线性插值统一缩放产品图像到算法统一尺寸，并转化为单通道灰度图像。

(4)机器视觉算法模块自动检测产品图像中的关键区域，并控制关键区域的数量和分布范围，算法依次生成关键区域的特征向量，如图2所示。

(5)测试集特征向量与训练集所有产品类别特征向量分别进行匹配，计算特征向量之间的欧氏距离，以最小欧氏距离的特征向量为匹配对，并利用随机取样一致算法去除错误匹配点，以训练集中最多匹配点数对应的类别为带匹配产品类别。

(6)系统通信模块负责把算法模块对待识别产品的识别结果即产品类别，发送给执行单元，执行单元负责依据产品的类别信息，对产品进行分拣、码垛和剔除等操作。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

Claims (7)

1.一种基于机器视觉的生产线产品自动化识别系统，其特征在于：包括机器视觉识别算法模块、软件交互界面、系统通信模块和图像采集模块；其中：

机器视觉识别算法模块用于将待识别产品图像，与已知类别产品图像进行对比识别，提供待识别产品所属类别信息；

软件交互界面用于实时视频显示，算法运行结果展示，以及算法运行参数控制实现；

系统通信模块负责利用光电传感器信号来控制工业相机采集图像，以及算法结果的信号输出；

图像采集模块负责控制图像采集环境，并进行产品图像采集。

2.根据权利要求1所述的基于机器视觉的生产线产品自动化识别系统，其特征在于：所述图像采集模块包括工业相机、光源和环境光屏蔽箱，其中，

工业相机提供生产线实时视频信息，并根据触发信号，进行产品图像采集；

光源负责箱体内补光；

环境光屏蔽箱负责屏蔽环境光照干扰，保证箱体内光照度恒定。

3.根据权利要求2所述的基于机器视觉的生产线产品自动化识别系统，其特征在于：所述机器视觉识别算法模块包括训练和识别两个过程，训练过程利用用户选定的已知类别的产品图像，每种类别产品只需一幅图像用于算法模块训练，训练后生成训练集；识别过程是待测产品图像与训练集对比识别的过程。

4.根据权利要求3所述的基于机器视觉的生产线产品自动化识别系统，其特征在于：所述软件交互界面包含产品类别库管理，以产品图像的形式展示相应产品，用户点击产品对应图像，即可实现对训练集产品类别的增删。

5.根据权利要求4所述的基于机器视觉的生产线产品自动化识别系统，其特征在于：所述系统通信模块负责收集生产流水线产品通过时所产生的光电传感器信号到软件端，并且负责工业相机采集控制信号和算法模块识别结果信号的输出。

6.根据权利要求2-5任一项所述的基于机器视觉的生产线产品自动化识别系统的识别方法，其特征在于：包括如下步骤：

步骤1)图像采集

通过图像采集模块来采集产品图像，生产流水线上的产品在通过环境光屏蔽箱体下方时，光电传感器触发，系统通信模块收到触发信号，控制工业相机采集产品图像；所采集到的产品图像添加到产品类别库，作为对应产品训练图像。

步骤2)图像预处理

工业相机得到的产品原始图像帧，首先根据用户设置的ROI区域对图像进行裁剪，得到产品图像，然后利用双线性插值统一缩放产品图像到算法内部处理尺寸，并转换为单通道灰度图像；

步骤3)图像关键区域检测和特征向量生成

机器视觉算法模块自动检测产品图像中显著的关键区域，并控制关键区域的数量和分布，保证关键区域检测的效率，以及检出的重复性；算法依次生成关键区域的特征向量；

步骤4)图像匹配

算法模块运行状态下，光电传感器触发所采集到的待识别产品图像所生成的测试集特征向量与所有已知类别产品所生成的训练集特征向量分别进行匹配，计算特征向量之间的欧氏距离，以最小欧氏距离的特征向量为匹配对，并利用随机取样一致算法去除错误匹配点，以训练集中最多匹配点数对应的类别为待识别产品类别。

7.根据权利要求6所述的基于机器视觉的生产线产品自动化识别系统的识别方法，其特征在于：所述步骤3)还包括：

算法模块首先通过FAST算法检测产品图像中角点作为候选关键点；候选关键点I(i,j)在周围像素集C＝{I(i,j-3),I(i+1,j-3),I(i+2,j-2),I(i+3,j-1),I(i+3,j),I(i+3,j+1),I(i+2,j+2),I(i+1,j+3),I(i,j+3),I(i-1,j+3),I(i-2,j+2),I(i-3,j+1),I(i-3,j),I(i-3,j-1),I(i-2,j-2),I(i-1,j-3)}存在不少于N个连续像素灰度值满足：

|I(x,y)-I(i,j)|>tI(x,y)∈C(1)

候选关键点响应值为：

R(i,j)＝∑|I(x,y)-I(i,j)|(2)

其中，I(x,y)属于候选关键点周围像素集C中满足公式(1)的连续像素子集；候选关键点通过5x5区域的非极大值抑制过滤不稳定点，并将剩余候选关键点中依据公式(2)的响应值进行排序，保留前500个响应值高的候选关键点作为最终关键点，以此来平衡算法的稳定性和效率；

算法模块提取关键点周围32x32区域图像作为关键区域，并依据公式(3)、(4)分别计算关键区域内像素的梯度幅值和方向，并统计区域内的梯度直方图，作为关键区域特征向量；

$m(x,y)=\sqrt{{\left(I\right(x+1,y)-I(x-1,y\left)\right)}^2+{\left(I\right(x,y+1)-I(x,y-1\left)\right)}^2}---\left(3\right)$

θ(x,y)＝tan^-1((I(x,y+1)-I(x,y-1))/(I(x+1,y)-I(x-1,y)))(4)。