CN109241983A - 一种图像处理与神经网络结合的条烟图像识别方法 - Google Patents

Abstract

本发明公开了一种图像处理与神经网络结合的条烟图像识别方法。机器视觉技术领域，提出了一种基于神经网络的条烟图像识别方法。本发明可用于烟草局自动流水线上对条烟的统计、分类与分拣。通过数字图像处理技术和神经网络相结合，首先目的条烟与背景分割，通过仿射变换将条烟标准化；通过建立HSV通道直方图模板对待识别条烟进行粗匹配；同时训练深度神经网络对匹配度低的目标进行识别，具有较高的准确率和鲁棒性。

Description

一种图像处理与神经网络结合的条烟图像识别方法

技术领域

本发明属于机器视觉技术领域，提出了一种基于神经网络的条烟图像识别方法。本发明可用于烟草局自动流水线上对条烟的统计、分类与分拣。

背景技术

条烟分拣是卷烟配送体系中的一个十分关键的环节，传统的条烟分拣流水线采用人工

分拣的方式，以条烟传送为纽带，将分拣作业划分为若干道工序，由依次排列在两侧的分

拣工人完成。这种方式具有明显的缺点：需要工人多、分拣效率低、分拣结果受工人状态

影响等，一旦发生错误工人必须停机查找，但由于生产量巨大，查找十分困难，会进一步

降低分拣效率。

采用自动化技术不仅可以把人从繁重、枯燥、重复性高的体力劳动、部分脑力劳动以及恶劣、危险的工作环境中解放出来，而且可以确保工作的准确度和完成速度，极大地提高劳动生产率。近些年，条烟分拣的自动、半自动化分拣线开始出现，在这些产线中，条烟的自动分类是技术指标中最为关键的一点，分类识别的准确性直接影响了自动化方案的可行性。

国内学者对条烟图像的识别分类进行了一些尝试，孙东、明军等针对烟条图像特征提取问题，对灰度图像采用傅里叶变换，通过图像能量谱的分布特性，提出了能量特征，综合反应图像的颜色、纹理、形状等特点，并验证了特征的旋转和平移不变性，但是该系统采用线阵相机，传送带带来的速度波动会造成图像局部拉伸或压缩，从而影响识别结果，还需在成像系统和图像特征表达方式上做出改进；涂勇涛、张莹等提出了一种基于AGAST角点域的特征描述方法，并使用极端学习机进行训练和识别，具有较高的识别率，但该方法对图像质量要求很高，需要搭建大型穹顶光源加同轴光源组成复杂的光学系统。

近年来，卷积神经网络(CNN)在图像识别分类领域得到了广泛应用。CNN是神经网络中的一种，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。在二维图像处理上有众多优势，如网络能自行抽取图像特征包括颜色、纹理、形状及图像的拓扑结构；在处理二维图像问题上，特别是识别位移、缩放及其它形式扭曲不变性的应用上具有良好的鲁棒性和运算效率等，这对于提高条烟识别的正确率和速度，增加鲁棒性方面有很大的帮助。

发明内容

为了解决传统识别方式速度慢、准确度低、鲁棒性低的缺点，本发明提供一种数字图像处理技术与神经网络相结合的条烟图像自动识别方法。

本发明采用的技术方案如下：

本发明技术方案为一种图像处理与神经网络结合的条烟图像识别方法，该方法包括：

步骤1：获取流水线线上的条烟图像，对图像进行二值化，将条烟图像与传送带背景分割；

步骤2：根据条烟的形状特征，分割出条烟目标区域并旋转矫正，得到标准化条烟图像；

步骤3：根据颜色特征建立数据库，根据颜色匹配度对条烟图像进行粗定位；

步骤3-1：将标准化条烟图像由RGB转到HSV空间，对H空间和S空间的颜色直方图进行统计，将颜色直方图进行归一化处理；

步骤3-2：将归一化后的H空间和S空间的颜色直方图与数据库中的对应的直方图进行匹配，使用Bhattacharyya距离进行直方图匹配，计算得到相似度；所述数据库中的直方图为事先建立的所有品种条烟的标准化图像采用步骤3-1相同的方法处理后得到的数据；

步骤3-3：将步骤3-2中H通道和S通道的直方图计算得到的相似度进行加权求和，若加权得分最大的一个且大于等于设定的阈值，则认为匹配成功；若加权求和后最大的得分小于设定的阈值这认为匹配不成功，继续步骤4；

步骤4：建立深度学习的神经网络，对该深度学习神经网络进行训练，采用训练好的深度学习神经网络对步骤3种为匹配成功的条烟图像进行最终的识别。

进一步的，所述步骤1中，将获取的图像进行灰度化，使用9*9结构元进行开运算，使用自适应阈值对灰度图像进行二值化，分割目的区域与背景区域。

进一步的，步骤2的具体步骤为：

步骤2-1：对步骤1中获取的二值图像进行形态学操作，使用开运算断开粘连，检测所有轮廓，根据条烟区域面积大小，筛选掉面积小于阈值的轮廓；根据条烟长宽比例，筛选掉轮廓最小外接矩形长宽比大于最大阈值或小于最小阈值的轮廓，最终得到目标区域轮廓；

步骤2-2：根据步骤2-1中获取的目标区域轮廓的最小外接矩形获得矩形长边与水平方向的夹角，以矩形中心为旋转中心，通过仿射变换旋转图像，使得条烟图像区域标准化；

步骤2-3：对步骤2-2所得到的旋转后图像进行裁剪，得到标准化的条烟图像。

进一步的，所述步骤4的具体方法为：

步骤4-1：构建六层的深度学习神经网络，该网络包括：一个输入层、两个卷积层、两个池化层、一个输出层；对输入图像进行尺寸处理，处理为232*74，采用均方误差的方式计算损失函数，结合梯度下降法调整神经网络各层参数；

步骤4-2：初始化卷积核，并将所有偏置初始化为0，激活函数采用ReLU；

步骤4-3：确定权重衰减系数，使用梯度下降法更新权重，完成网络模型训练；

步骤4-4：采用训练好的深度学习神经网络对步骤3中未匹配成功的条烟图像进行进一步的识别，得到最终得识别结果。

本发明一种图像处理与神经网络结合的条烟图像识别方法，首先目的条烟与背景分割，通过仿射变换将条烟标准化；通过建立HSV通道直方图模板对待识别条烟进行粗匹配；同时训练深度神经网络对匹配度低的目标进行识别，具有计算量效，实时性高，高准确率和高鲁棒性地优点。

附图说明

图1是条烟识别算法流程图。

图2是相机采集到的条烟正面图像。

图3是使用开运算滤波并二值化分割后的图像。

图4是裁剪之后标准化的条烟图像。

具体实施方式

下面结合附图与具体实例，对本发明中条烟图像识别方法进行详细说明：

步骤1：提取到清晰的条烟图像，如图2所示。将图像灰度化，并截取粗略ROI，一个400*900的矩形区域。使用9*9结构元进行开运算，使用自适应阈值对图像二值化，结果如图3所示。

步骤2：对步骤1中获取的二值图像进行形态学操作，使用开运算断开粘连，检测所有轮廓，根据条烟区域面积大小，筛选掉面积过小的轮廓，根据条烟长宽比例，筛选掉轮廓最小外接矩形长宽比过大或过小的轮廓，最终得到目标区域轮廓。

步骤3：根据步骤2中获取的轮廓的最小外接矩形获得矩形长边与水平方向的夹角，以矩形中心为旋转中心，通过仿射变换旋转图像，使得条烟图像标准化。

步骤4：对步骤3所得到的旋转后图像进行裁剪，得到标准化的条烟图像，结果如图4所示。

步骤5：将标准化的图像由RGB转到HSV空间，对H空间和S空间的颜色直方图进行统计，将颜色直方图归一化为50*60的矩阵，将条烟品牌信息与直方图矩阵存入数据库。

步骤6：将标准化的待识别条烟图像HSV直方图与数据库中的直方图进行匹配，使用Bhattacharyya距离进行直方图比较。

步骤7：将步骤6中H通道和S通道的直方图比较得分加权求和，若加权得分大于某一阈值，则认为匹配度成功，可能匹配出多个图像。

步骤8：将所有样本图片中相同品牌型号的条烟图像划分编号并分成训练集和验证集，将图片缩放成预设范围像素格式。

步骤9：构建深度学习网络模型，使用训练集训练网络，获得识别模型，使用识别模型识别步骤7中匹配度不足的图像，得到结果。

其中，步骤9的具体步骤为：

步骤9-1：构建CNN模型，这里以六层模型为例，该网络包括：一个输入层、两个卷积层、两个池化层、一个输出层。输入为步骤8中缩放后的图像，这里以232*74为例，采用均方误差的方式计算损失函数，结合梯度下降法调整神经网络各层参数。

步骤9-2：初始化卷积核，并将所有偏置初始化为0，激活函数采用ReLU。

步骤9-3：确定权重衰减系数，使用梯度下降法更新权重，完成网络模型训练。将步骤7中匹配度不足的样本作为输入使用训练好的网络进行分类。

Claims (4)

1.一种图像处理与神经网络结合的条烟图像识别方法，该方法包括：

步骤1：获取流水线线上的条烟图像，对图像进行二值化，将条烟图像与传送带背景分割；

步骤2：根据条烟的形状特征，分割出条烟目标区域并旋转矫正，得到标准化条烟图像；

步骤3：根据颜色特征建立数据库，根据颜色匹配度对条烟图像进行粗定位；

步骤3-1：将标准化条烟图像由RGB转到HSV空间，对H空间和S空间的颜色直方图进行统计，将颜色直方图进行归一化处理；

步骤3-2：将归一化后的H空间和S空间的颜色直方图与数据库中的对应的直方图进行匹配，使用Bhattacharyya距离进行直方图匹配，计算得到相似度；所述数据库中的直方图为事先建立的所有品种条烟的标准化图像采用步骤3-1相同的方法处理后得到的数据；

步骤3-3：将步骤3-2中H通道和S通道的直方图计算得到的相似度进行加权求和，若加权得分最大的一个且大于等于设定的阈值，则认为匹配成功；若加权求和后最大的得分小于设定的阈值这认为匹配不成功，继续步骤4；

步骤4：建立深度学习的神经网络，对该深度学习神经网络进行训练，采用训练好的深度学习神经网络对步骤3种为匹配成功的条烟图像进行最终的识别。

2.如权利要求1所述的一种图像处理与神经网络结合的条烟图像识别方法，其特征在于所述步骤1中，将获取的图像进行灰度化，使用9*9结构元进行开运算，使用自适应阈值对灰度图像进行二值化，分割目的区域与背景区域。

3.如权利要求1所述的一种图像处理与神经网络结合的条烟图像识别方法，其特征在于步骤2的具体步骤为：

步骤2-1：对步骤1中获取的二值图像进行形态学操作，使用开运算断开粘连，检测所有轮廓，根据条烟区域面积大小，筛选掉面积小于阈值的轮廓；根据条烟长宽比例，筛选掉轮廓最小外接矩形长宽比大于最大阈值或小于最小阈值的轮廓，最终得到目标区域轮廓；

步骤2-2：根据步骤2-1中获取的目标区域轮廓的最小外接矩形获得矩形长边与水平方向的夹角，以矩形中心为旋转中心，通过仿射变换旋转图像，使得条烟图像区域标准化；

步骤2-3：对步骤2-2所得到的旋转后图像进行裁剪，得到标准化的条烟图像。

4.如权利要求1所述的一种图像处理与神经网络结合的条烟图像识别方法，其特征在于所述步骤4的具体方法为：

步骤4-1：构建六层的深度学习神经网络，该网络包括：一个输入层、两个卷积层、两个池化层、一个输出层；对输入图像进行尺寸处理，处理为232*74，采用均方误差的方式计算损失函数，结合梯度下降法调整神经网络各层参数；

步骤4-2：初始化卷积核，并将所有偏置初始化为0，激活函数采用ReLU；

步骤4-3：确定权重衰减系数，使用梯度下降法更新权重，完成网络模型训练；

步骤4-4：采用训练好的深度学习神经网络对步骤3中未匹配成功的条烟图像进行进一步的识别，得到最终得识别结果。