CN111189837A - 一种烟支外观在线检测方法及其装置 - Google Patents

Abstract

本发明涉及烟支外观检测，尤其是一种烟支外观在线检测方法及其装置，包括如下步骤：S1：分别采集卷烟机相应位置上烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像；S2：将采集到的图像传输给图像处理器进行如下处理：S3：当步骤2)中的图像经图像处理器处理后判定好品或坏品，当判定为坏品时图像处理器发出信号给剔除控制器，剔除控制器动作，将坏品烟支剔除；本发明使用的深度学习模型能对缺陷准确分类，可为生产商提供信息排除机械故障和改进生产方案。

Description

一种烟支外观在线检测方法及其装置

技术领域

本发明涉及烟支外观检测，尤其是一种烟支外观在线检测方法及其装置。

背景技术

1.现有基于机器视觉技术的烟支外观在线检测系统均使用面阵CCD相机，采集的烟支端面图像为二维平面信息，无法实现端面空腔深度(三维信息)缺陷检测的问题，且现有检测系统只能实现圆周面或者端面的缺陷检测，存在功能单一的缺点。

2.现有的基于机器视觉技术的烟支外观在线检测系统对于飞沫的排除方法只能减少飞沫干扰，并不能识别出飞沫并排除干扰。现有的排除飞沫干扰的方法是在光学模组安装拍摄角度不同的两个相机，采集烟支同一个圆周面的两幅图像，对比两幅图像缺陷位置来排除飞沫干扰。但当飞沫处于两个相机视场重叠位置时，飞沫会同时出现在两个图像上从而引起误判。

3.现有基于机器视觉技术的烟支外观在线检测系统使用图像对比算法检测缺陷存在不足，由于每根烟支处于滚轮的角度位置不同，采集图像带有logo或花纹等图案的位置也会变化，使用比对算法检测带有图案的烟支容易引起误判，所以现有的比对算法不能实现带有图案烟支区域的缺陷检测。

发明内容

本发明为了解决上述技术问题是：提供一种烟支外观在线检测方法及其装置。

本发明解决其技术问题所采用的技术方案是：一种烟支外观在线检测方法，包括如下步骤：

S1：通过安装在卷烟机周围的若干相机组件，分别采集卷烟机相应位置上烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像；

S2：相机组件的输出端与图像处理控制模组的输入端电连接，相机组件将采集到的烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像，分别传输给图像处理控制模组进行如下处理：

烟嘴端面空腔的三维信息图像：通过三维信息图像检测烟嘴空腔深度，判定其为好品或坏品；

烟嘴端面外观图像：通过无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷图像比对，判定其为好品或坏品；

烟支圆周面外观图像：通过圆周面无缺陷图像、飞沫干扰图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷图像比对，判定其为好品或坏品；

S3：当S2中任意一项判定其为坏品时，图像处理控制模组中的图像处理服务器发出信号给采集剔除控制器，采集剔除控制器动作，将坏品烟支剔除；图像处理服务器和显示器电连接，当采集剔除控制器动作时，图像处理服务器向显示器发送坏品信息，并在显示器上显示。

进一步的，所述S2中烟嘴端面空腔的三维信息图像为轮廓图或点云图。

进一步的，所述轮廓图用于检测烟嘴端面空腔深度的方法如下：

①以完整且无深度缺陷的烟嘴端面空腔轮廓作为模板；

②将采集到的烟嘴端面空腔轮廓图与模板轮廓图匹配，用于定位空腔底部轮廓和顶部轮廓；

③如果匹配失败，则将烟支判断为坏品进行剔除；如果匹配成功，则计算空腔顶部轮廓平均值和空腔底部轮廓平均值，用顶部轮廓平均值减去底部轮廓平均值得到深度值；

④设定合格深度范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围则判定为坏品；

所述点云图用于检测烟嘴端面空腔深度的方法如下：

Ⅰ：以完整且无深度缺陷的烟嘴端面空腔点云图作为模板；

Ⅱ：使用模板匹配算法对采集的烟嘴端面空腔点云图进行定位；

Ⅲ：如果定位失败，则将烟支判断为缺陷品进行剔除；如果定位成功，则计算空腔顶部的灰度平均值和空腔底部灰度平均值，计算灰度差值并乘以对应的系数得到深度值；

Ⅳ：设定深度合格范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围内则判定为坏品。

进一步的，所述S2中烟嘴端面外观图像采用深度学习模型对烟嘴端面外观进行缺陷检测，具体方法如下：

ⅰ：对烟嘴端面外观图像进行图像预处理和图像校正；

ⅱ：根据校正后的图像划分感兴趣区域；

ⅲ：利用感兴趣区域样本集建立模型数据集；

ⅳ：通过模型数据集，建立并优化深度学习算法模型；

ⅴ：利用深度学习模型对烟支图像进行缺陷检测。

进一步的，所述ⅰ中对烟嘴端面外观图像进行图像预处理和图像校正，方法如下：

1)对相机组件采集到的图像进行直方图均衡化处理；

2)对1)处理后的图像进行中值滤波处理；

3)对2)处理后的图像进行阈值分割和边缘拟合，得到烟嘴端面外圆轮廓；

4)对外圆轮廓进行椭圆拟合得到圆心；

5)根据4)的圆心坐标进行仿射变换，校正图像位置。

进一步的，所述ⅱ中根据校正后的图像划分感兴趣区域，以无缺陷图像的半径和对外圆轮廓进行椭圆拟合得到的圆心，生成圆形区域作为感兴趣区域ROI。

进一步的，所述ⅲ中利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中ROI的样本集包含无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像。

进一步的，所述ⅳ中深度学习算法模型为VGG16，将ROI的样本集带入模型进行训练，VGG16模型的训练过程如下：

a)、：从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果；

b)：计算相应的实际输出结果Op；在此阶段信息从输入层经过，逐级的变换传送到输出层，这个过程也是网络在完成训练后正常运行时执行的过程，在此过程中，网络执行的是计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，其中，Fn为第n层网络的计算函数，W(n)是第n层的权值矩阵；

c)：计算实际输出Op与相应的理想输出Yp的差；

d)：按极小化误差的方法反向传播调整权值矩阵。

进一步的，所述ⅴ中进行的缺陷检测，具体为将机组件实时采集到的烟支图像带入ⅳ的深度学习模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

进一步的，所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接。

进一步的，所述图像处理控制模组在图像处理过程中具有如下步骤：

步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像采集卡，图像采集卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；

步骤2：图像处理：图像处理服务器处理4个相机组件图像得出判别结果；

步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；

如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

一种烟支外观在线检测装置，包括卷烟机、相机组件和图像处理控制模组，相机组件数量为四组分别设置在卷烟机外侧，且相机镜头对准卷烟机，图像处理控制模组与相机组件电连接，所述相机组件包括用于采集卷烟机相应位置上烟嘴端面空腔三维信息图像的第一相机组件、用于采集卷烟机相应位置上烟嘴端面外观图像的第二相机组件，以及用于采集卷烟机相应位置上烟支圆周面外观图像的第三相机组件和第四相机组件；

所述第一相机组件为三角测量型3D相机，3D相机的发射激光与接收激光的角度为10°-30°锐角，3D相机发射的激光线与滚轮上烟支的运动方向成90°，3D相机发射的激光线扫描范围为烟嘴空腔边界到空腔中心；

所述第二相机组件由高速面阵CCD相机、镜头、反射镜和环形光源组成，相机镜头通过反射镜对烟嘴端面进行成像得到烟嘴图像，环形光源设置在烟嘴端面与反射镜之间，用于补充环境光；

第三相机组件和第四相机组件分别采集烟支的一面图像，两个相机组件采集到的图像交集包含一个烟支的完整圆周面；

所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接，编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像卡，图像采集卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；图像处理服务器处理4个相机组件图像得出判别结果，并将结果发送给图像处理控制模，如果图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；如果图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

本发明的有益效果是，本发明的一种烟支外观在线检测方法及其装置，针对现有烟支外观检测系统无法实现端面空腔深度(三维信息)缺陷检测的问题和检测功能单一的缺点。本发明使用三角测量型3D相机和三维信息图像检测烟嘴空腔深度的方法实现了烟嘴空腔深度在线检测，保障了成品烟入口感觉一致性。本发明实现烟支空腔深度、端面、圆周面的多指标外观缺陷检测。

针对现有的基于机器视觉技术的烟支外观在线检测系统对于飞沫的排除方法需要用多个相机采集两种图像或者一个相机采集两种图像，利用比对算法减少飞沫干扰。本发明使用相机组件采集一次图像，基于人工智能算法精确识别飞沫，识别率95％以上。本发明不仅降低了图像采集的要求，还提高的检测精确度。

针对现有烟支外观在线检测系统比对算法不能实现带有图案烟支区域的缺陷检测，本发明将烟支图像分为烟嘴段、LOGO段、烟身段，以三段不同图案区域基于深度学习模型建模，能实现LOGO段破损、油污、夹沫等外观缺陷检测。本发明能实现复杂图案烟支的外观缺陷检测。

此外，本发明使用的深度学习模型能对缺陷准确分类，可为生产商提供信息排除机械故障和改进生产方案。

附图说明

图1是本发明的原理框图；

图2是本发明四个相机组件安装位置示意图；

图3是本发明第二相机组件结构示意图；

图中：1：第一相机组件、2：第二相机组件、3：第三相机组件、4：第四相机组件、5：传送鼓轮、6：掉头鼓轮、2-1：相机、2-2：镜头、2-3：反光镜、2-4：环形光源、2-5：被检测烟支。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

一种烟支外观在线检测装置，包括卷烟机、相机组件和图像处理控制模组，相机组件数量为四组分别设置在卷烟机外侧，且相机镜头对准卷烟机，图像处理控制模组与相机组件电连接，所述相机组件包括用于采集卷烟机相应位置上烟嘴端面空腔三维信息图像的第一相机组件、用于采集卷烟机相应位置上烟嘴端面外观图像的第二相机组件，以及用于采集卷烟机相应位置上烟支圆周面外观图像的第三相机组件和第四相机组件；

所述第一相机组件为三角测量型3D相机，3D相机的发射激光与接收激光的角度为10°-30°锐角，3D相机发射的激光线与滚轮上烟支的运动方向成90°，3D相机发射的激光线扫描范围为烟嘴空腔边界到空腔中心；

所述第二相机组件由高速面阵CCD相机、镜头、反射镜和环形光源组成，相机镜头通过反射镜对烟嘴端面进行成像得到烟嘴图像，环形光源设置在烟嘴端面与反射镜之间，用于补充环境光；

第三相机组件和第四相机组件分别采集烟支的一面图像，两个相机组件采集到的图像交集包含一个烟支的完整圆周面；

所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接，编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像采集卡，图像采集卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；图像处理服务器处理4个相机组件图像得出判别结果，并将结果发送给图像处理控制模，如果图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；如果图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

一种烟支外观在线检测方法，包括如下步骤：

S1：通过安装在卷烟机周围的若干相机组件，分别采集卷烟机相应位置上烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像；

S2：相机组件的输出端与图像处理控制模组的输入端电连接，相机组件将采集到的烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像，分别传输给图像处理控制模组进行如下处理：

烟嘴端面空腔的三维信息图像：通过三维信息图像检测烟嘴空腔深度，判定其为好品或坏品；

烟嘴端面外观图像：通过无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷图像比对，判定其为好品或坏品；

烟支圆周面外观图像：通过圆周面无缺陷图像、飞沫干扰图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷图像比对，判定其为好品或坏品；

S3：当S2中任意一项判定其为坏品时，图像处理控制模组中的图像处理服务器发出信号给采集剔除控制器，采集剔除控制器动作，将坏品烟支剔除；图像处理服务器和显示器电连接，当采集剔除控制器动作时，图像处理服务器向显示器发送坏品信息，并在显示器上显示。

进一步的，所述S2中烟嘴端面空腔的三维信息图像为轮廓图或点云图。

进一步的，所述轮廓图用于检测烟嘴端面空腔深度的方法如下：

①：以完整且无深度缺陷的烟嘴端面空腔轮廓作为模板；

②：将采集到的烟嘴端面空腔轮廓图与模板轮廓图匹配，用于定位空腔底部轮廓和顶部轮廓；

③：如果匹配失败，则将烟支判断为坏品进行剔除；如果匹配成功，则计算空腔顶部轮廓平均值和空腔底部轮廓平均值，用顶部轮廓平均值减去底部轮廓平均值得到深度值；

④：设定合格深度范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围则判定为坏品；

所述点云图用于检测烟嘴端面空腔深度的方法如下：

Ⅰ：以完整且无深度缺陷的烟嘴端面空腔点云图作为模板；

Ⅱ：使用模板匹配算法对采集的烟嘴端面空腔点云图进行定位；

Ⅲ：如果定位失败，则将烟支判断为缺陷品进行剔除；如果定位成功，则计算空腔顶部的灰度平均值和空腔底部灰度平均值，计算灰度差值并乘以对应的系数得到深度值；

Ⅳ：设定深度合格范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围内则判定为坏品。

进一步的，所述S2中烟嘴端面外观图像采用深度学习模型对烟嘴端面外观进行缺陷检测，具体方法如下：

ⅰ：对烟嘴端面外观图像进行图像预处理和图像校正；

ⅱ：根据校正后的图像划分感兴趣区域；

ⅲ：利用感兴趣区域样本集建立模型数据集；

ⅳ：通过模型数据集，建立并优化深度学习算法模型；

ⅴ：利用深度学习模型对烟支图像进行缺陷检测。

进一步的，所述ⅰ中对烟嘴端面外观图像进行图像预处理和图像校正，方法如下：

1)：对相机组件采集到的图像进行直方图均衡化处理；

2)：对1)处理后的图像进行中值滤波处理；

3)：对2)处理后的图像进行阈值分割和边缘拟合，得到烟嘴端面外圆轮廓；

4)：对外圆轮廓进行椭圆拟合得到圆心；

5)：根据4)的圆心坐标进行仿射变换，校正图像位置。

进一步的，所述ⅱ中根据校正后的图像划分感兴趣区域，以无缺陷图像的半径和对外圆轮廓进行椭圆拟合得到的圆心，生成圆形区域作为感兴趣区域ROI。

进一步的，所述ⅲ中利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中ROI的样本集包含无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像。

进一步的，所述ⅳ中深度学习算法模型为VGG16，将ROI的样本集带入模型进行训练，VGG16模型的训练过程如下：

一：从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果；

二：计算相应的实际输出结果Op；在此阶段信息从输入层经过，逐级的变换传送到输出层，这个过程也是网络在完成训练后正常运行时执行的过程，在此过程中，网络执行的是计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，其中，Fn为第n层网络的计算函数，W(n)是第n层的权值矩阵；

三：计算实际输出Op与相应的理想输出Yp的差；

四：按极小化误差的方法反向传播调整权值矩阵。

进一步的，所述ⅴ中进行的缺陷检测，具体为将机组件实时采集到的烟支图像带入ⅳ的深度学习模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

进一步的，所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接。

进一步的，所述图像处理控制模组在图像处理过程中具有如下步骤：

步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像卡，图像卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；

步骤2：图像处理：图像处理服务器处理4个相机组件图像得出判别结果；

步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；

如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

实施例1

本实施例针对现有烟支外观在线检测系统比对算法不能实现带有图案烟支区域的缺陷检测，和对于飞沫的排除方法只能减少飞沫干扰，并不能识别出飞沫并排除干扰的问题，具体方法如下：

S1：第三相机组件采集圆周面无缺陷图像、飞沫图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像各1000张，共5000张，按4:1的比例分成训练集和预测集；

S2：利用阈值分割算法分离背景得到烟支图像，再通过模板匹配对烟支图像校正处理，保证烟支处在每张图像的相同位置和方向；

S3：将每张图像分成三段，分别为烟嘴段、LOGO段、烟身段，对应有三个检测区ROI1、ROI2、ROI3；

S4：在Caffe平台下建立GoogLeNet模型，以训练集ROI1为样本带入GoogLeNet模型进行训练，以5种图像类别作为模型输出结果；训练后的图像用测试集图像ROI1测试模型分级效果，将分级错误ROI1重新带入模型训练，直到模型对5种类别的综合识别率达到95％以上，完成模型1；

S5：在Caffe平台下建立GoogLeNet模型，以训练集ROI2为样本带入GoogLeNet模型进行训练，以5种图像类别作为模型输出结果；训练后的图像用测试集图像ROI2测试模型分级效果，将分级错误ROI2重新带入模型训练，直到模型对5种类别的综合识别率达到95％以上，完成模型2；

S6：在Caffe平台下建立GoogLeNet模型，以训练集ROI3为样本带入GoogLeNet模型进行训练，以5种图像类别作为模型输出结果；训练后的图像用测试集图像ROI3测试模型分级效果，将分级错误ROI3重新带入模型训练，直到模型对5种类别的综合识别率达到95％以上，完成模型3；

S7：第四相机组件采集烟嘴圆周面图像，重复S1-S6步骤，建立烟嘴段、LOGO段、烟身段对应的模型4、模型5、模型6；

S8：如果模型1-6的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

实施例2

本实施例是一种采用深度学习模型对烟嘴端面外观进行缺陷检测的替代方案，具体实施方法如下：

S1：采集端面无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像各1000张，共6000张，按4:1的比例分成训练集和预测集；

S2：利用阈值分割算法分离背景得到烟嘴图像，并计算烟嘴图像的圆心位置，进一步确定需要检测的烟嘴感兴趣区域(Region of interesting,ROI)；

S3：在Caffe平台下建立GoogLeNet模型，将训练集6类图像的ROI带入GoogLeNet模型进行训练，以6种图像类别作为模型的输出结果；

S4：训练后的图像用测试集图像ROI测试模型分级效果，将分级错误的ROI重新带入模型训练，直到模型对6类图像的综合识别率达到95％以上，完成模型。

以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims (12)

1.一种烟支外观在线检测方法，其特征在于：包括如下步骤：

S1：通过安装在卷烟机周围的若干相机组件，分别采集卷烟机相应位置上烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像；

S2：相机组件的输出端与图像处理控制模组的输入端电连接，相机组件将采集到的烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像，分别传输给图像处理控制模组进行如下处理：

烟嘴端面空腔的三维信息图像：通过三维信息图像检测烟嘴空腔深度，判定其为好品或坏品；

烟嘴端面外观图像：通过深度学习模型区分无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷，判定其为好品或坏品；

烟支圆周面外观图像：通过深度学习模型区分圆周面无缺陷图像、飞沫干扰图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷图像比对，判定其为好品或坏品；

S3：当S2中任意一项判定其为坏品时，图像处理控制模组中的图像处理服务器发出信号给采集剔除控制器，采集剔除控制器动作，将坏品烟支剔除；图像处理服务器和显示器电连接，当采集剔除控制器动作时，图像处理服务器向显示器发送坏品信息，并在显示器上显示。

2.如权利要求1所述的一种烟支外观在线检测方法，其特征在于：所述S2中烟嘴端面空腔的三维信息图像为轮廓图或点云图。

3.如权利要求2所述的一种烟支外观在线检测方法，其特征在于：所述轮廓图用于检测烟嘴端面空腔深度的方法如下：

①以完整且无深度缺陷的烟嘴端面空腔轮廓作为模板；

②将采集到的烟嘴端面空腔轮廓图与模板轮廓图匹配，用于定位空腔底部轮廓和顶部轮廓；

③如果匹配失败，则将烟支判断为坏品进行剔除；如果匹配成功，则计算空腔顶部轮廓平均值和空腔底部轮廓平均值，用顶部轮廓平均值减去底部轮廓平均值得到深度值；

④设定合格深度范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围则判定为坏品；

所述点云图用于检测烟嘴端面空腔深度的方法如下：

Ⅰ：以完整且无深度缺陷的烟嘴端面空腔点云图作为模板；

Ⅱ：使用模板匹配算法对采集的烟嘴端面空腔点云图进行定位；

Ⅲ：如果定位失败，则将烟支判断为缺陷品进行剔除；如果定位成功，则计算空腔顶部的灰度平均值和空腔底部灰度平均值，计算灰度差值并乘以对应的系数得到深度值；

Ⅳ：设定深度合格范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围内则判定为坏品。

4.如权利要求1所述的一种烟支外观在线检测方法，其特征在于：所述S2中烟嘴端面外观图像采用深度学习模型对烟嘴端面外观进行缺陷检测，具体方法如下：

ⅰ：对烟嘴端面外观图像进行图像预处理和图像校正；

ⅱ：根据校正后的图像划分感兴趣区域；

ⅲ：利用感兴趣区域样本集建立模型数据集；

ⅳ：通过模型数据集，建立并优化深度学习算法模型；

ⅴ：利用深度学习模型对烟支图像进行缺陷检测。

5.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅰ中对烟嘴端面外观图像进行图像预处理和图像校正，方法如下：

1)对相机组件采集到的图像进行直方图均衡化处理；

2)对1)处理后的图像进行中值滤波处理；

3)对2)处理后的图像进行阈值分割和边缘拟合，得到烟嘴端面外圆轮廓；

4)对外圆轮廓进行椭圆拟合得到圆心；

5)根据4)的圆心坐标进行仿射变换，校正图像位置。

6.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅱ中根据校正后的图像划分感兴趣区域，以无缺陷图像的半径和对外圆轮廓进行椭圆拟合得到的圆心，生成圆形区域作为感兴趣区域ROI。

7.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅲ中利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中ROI的样本集包含无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像。

8.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅳ中深度学习算法模型为VGG16，将ROI的样本集带入模型进行训练，VGG16模型的训练过程如下：

a)从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果；

b)计算相应的实际输出结果Op；在此阶段信息从输入层经过，逐级的变换传送到输出层，这个过程也是网络在完成训练后正常运行时执行的过程，在此过程中，网络执行的是计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，其中，Fn为第n层网络的计算函数，W(n)是第n层的权值矩阵；

c)计算实际输出Op与相应的理想输出Yp的差；

d)按极小化误差的方法反向传播调整权值矩阵。

9.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅴ中进行的缺陷检测，具体为将机组件实时采集到的烟支图像带入ⅳ的深度学习模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习算法模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

10.如权利要求1所述的一种烟支外观在线检测方法，其特征在于：所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接。

11.如权利要求1或10所述的一种烟支外观在线检测方法，其特征在于：所述图像处理控制模组在图像处理过程中具有如下步骤：

步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像采集卡，图像采集卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；

步骤2：图像处理：图像处理服务器处理4个相机组件图像得出判别结果；

步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；

如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

12.一种烟支外观在线检测装置，其特征在于：包括卷烟机、相机组件和图像处理控制模组，相机组件数量为四组分别设置在卷烟机外侧，且相机镜头对准卷烟机，图像处理控制模组与相机组件电连接，所述相机组件包括用于采集卷烟机相应位置上烟嘴端面空腔三维信息图像的第一相机组件、用于采集卷烟机相应位置上烟嘴端面外观图像的第二相机组件，以及用于采集卷烟机相应位置上烟支圆周面外观图像的第三相机组件和第四相机组件；

所述第一相机组件为三角测量型3D相机，3D相机的发射激光与接收激光的角度为10°-30°锐角，3D相机发射的激光线与滚轮上烟支的运动方向成90°，3D相机发射的激光线扫描范围为烟嘴空腔边界到空腔中心；

所述第二相机组件由高速面阵CCD相机、镜头、反射镜和环形光源组成，相机镜头通过反射镜对烟嘴端面进行成像得到烟嘴图像，环形光源设置在烟嘴端面与反射镜之间，用于补充环境光；

第三相机组件和第四相机组件分别采集烟支的一面图像，两个相机组件采集到的图像交集包含一个烟支的完整圆周面；

所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接，编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像采集卡，图像采集卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；图像处理服务器处理4个相机组件图像得出判别结果，并将结果发送给图像处理控制模，如果图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；如果图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

Images