CN111307805B - 一种基于视觉特征融合的打叶质量检测装置及检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉特征融合的打叶质量检测装置及检测方法，涉及烟草加工中的物料检测技术领域，包括铺料装置、摊铺机、第一摄像头、第一照明装置、第二摄像头、第二照明装置、接料装置、机架和控制柜；摊铺机位于铺料装置下方；第一摄像头和第一照明装置位于摊铺机上方；第二摄像头和第二照明装置位于摊铺机下方；接料装置位于摊铺机出口下方；铺料装置、摊铺机、第一摄像头、第一照明装置、第二摄像头和第二照明装置集成安装在机架上；控制柜上设置有电控装置和上位机。通过本发明的实施，能提高烟叶和烟梗检测中图像的识别精度，提高检测效率，减少对原材料的消耗。

Description

一种基于视觉特征融合的打叶质量检测装置及检测方法

技术领域

本发明涉及烟草加工中的物料检测技术领域，尤其涉及一种基于视觉特征融合的打叶质量检测装置及检测方法。

背景技术

近年来，消费者对卷烟产品质量日益关注，这对打叶复烤提出了更高的质量要求。合理的叶片结构是提高卷烟产品质量的关键，控制大片率、提高中片率、降低叶中含梗率，已经成为了目前卷烟生产对片烟结构的新要求。

烟草打叶复烤工艺中的打叶工序的首要任务是通过专用设备将每一片烟叶的叶片和烟梗分离，其中叶片部分分离成面积大小不等的片烟，烟梗部分分离成长短不同的烟梗段，以满足后续的分类加工要求。根据烟草行业标准YC/T146-2010《烟叶打叶复烤工艺规范》，打叶质量的主要指标有叶片结构、叶中含梗率、长梗率、梗中含叶率，这四项指标均为重量占比的取样检测，通过不同的专用机械设备并借助人工计算出结果。这些指标的检测过程都费时费力，而且指标较为单一，仅有一个指标即重量占比。叶中含梗率的检测为了使叶片和其中的烟梗彻底分离，将叶片全部打碎，属于破坏性检测，造成大量的烟叶损耗。

近年来，随着机器视觉技术的飞速发展，在烟草行业，开始研究无损检测方法来取缔传统的破坏性检测方法，降低检测过程中原料浪费的情况，从而降低成本。于是，各种基于图像法的检测手段不断出现。

申请号201110213062.7的中国发明专利公开了一种基于组合光透视的叶中含梗及含梗率视觉识别检测方法，通过分置于烟叶两侧的组合光源和CCD相机获取烟叶的透视图像，然后根据图像特征设计图像处理算法识别烟梗和叶片、提取叶片和烟梗的形状尺寸并计算叶中含梗率。申请号为201210475963.8的中国发明专利公开了一种基于主动加热的叶中含梗红外成像检测方法，利用烟叶的热辐射现象，通过对烟叶主动加热使叶片和烟梗产生温差，运用红外热成像仪采集图像并运用图像处理算法将叶片和烟梗识别出来，计算出烟叶的含梗率。申请号为201310069611.7的中国发明专利公开了一种基于高速气流离散的叶中含梗及打叶参数检测剔除方法，烟叶的离散主要通过高速气流，其获取透视图像的方式与201110213062.7一致，通过分析获得的烟叶透视图像，对纹理特征进行提取，采用二叉树精确地区分出叶片和烟梗，将含烟梗的烟叶剔除，同时计算烟叶面积，进而获得大中片率、小片率和叶中含梗率等打叶参数。

以上三种方法均需要在同一幅图像中区分叶片和烟梗，误差较大。在计算叶中含梗率的过程中，还需要烟梗和叶片的密度数据，由于不同品种、等级、产地、含水率的烟叶其叶片和烟梗的密度均不同，目前行业内尚无此类数据，这些方法用于计算叶中含梗率时缺乏可操作性。

申请号为201410302230.3的中国发明专利公开了一种基于高光谱的叶含梗检测装置，重点对装置的结构及组成进行了描述，对高光谱未作进一步说明，也未提及如何区分叶片和烟梗以及叶中含梗率的计算方法。

申请号为201410061575.4的中国发明专利公开了一种基于双光谱技术的打叶去梗质量检测装置及检测方法。申请号为201420078131.7的中国发明专利公开了一种烟叶含梗率测定装置，通过X射线装置获取烟梗的透视图像进而得到烟梗的面积或体积，烟梗质量的获得有三种方法：一是用事先测量计算得到的烟梗面积密度乘以通过图像获取的烟梗面积获得；二是用事先测量计算得到的烟梗体积密度乘以通过图像获取的烟梗体积获得；三是根据烟梗的厚度与X射线穿透性之间的相关性获得。

申请号为201711368697.8的中国发明专利公开了一种基于双光谱技术的打叶去梗质量检测装置及检测方法，申请号为201721774700.1的中国实用新型专利公开了一种基于双光谱技术的打叶去梗质量检测装置，采用可见光和X射线成像技术及相应的图像算法分别得到烟叶面积和烟梗面积、烟梗长度，避免了在同一幅图像中分割叶、梗时的问题，可提升图像的检测识别精度。

以上两种方法，由于使用的X射线存在放射性，对人体有伤害，对片烟结构也会造成伤害；所用方法的效率不够高，检测精度也有限。

因此，本领域的技术人员致力于开发一种基于视觉特征融合的打叶质量检测装置，采用深度学习方法，以图像处理为核心检测叶片结构，解决现有设备检测耗时长、原料损耗大、检测数据反馈不及时、测试存在辐射危害以及检测精度有限的问题。

发明内容

有鉴于现有技术上的缺陷，本发明所要解决的技术问题是如何提供一种设计合理，实用性强且可以有效解决检测耗时长、原料损耗大、检测数据反馈不及时、测试存在辐射危害以及检测精度有限等问题的检测装置及检测方法。

为实现上述目的，本发明提供了一种基于视觉特征融合的打叶质量检测装置，包括铺料装置、摊铺机、第一摄像头、第一照明装置、第二摄像头、第二照明装置、接料装置、机架和控制柜；所述摊铺机位于所述铺料装置下方；所述第一摄像头和所述第一照明装置位于所述摊铺机上方；所述第二摄像头和所述第二照明装置位于所述摊铺机下方；所述接料装置位于所述摊铺机出口下方；所述机架四周设置有门罩；所述铺料装置、所述摊铺机、所述第一摄像头、所述第一照明装置、所述第二摄像头和所述第二照明装置集成安装在所述机架上；所述控制柜上设置有电控装置和上位机。

进一步地，所述铺料装置设置有主体皮带机、称重传感器模块和限料辊；所述限料辊位于所述主体皮带机的出料口；所述主体皮带机和所述限料辊分别采用电机驱动；所述称重传感器模块设置四套，安装在所述主体皮带机的左右侧与所述机架之间。

进一步地，还包括轨道式称重系统，所述轨道式称重系统包含一个称重接线盒、一个称重仪表和四套所述称重传感器模块；所述称重接线盒设置在所述机架上，所述称重仪表设置在所述控制柜上；所述控制柜上还安装有显示器、键盘鼠标抽屉及各种控制按钮和隔离开关。

进一步地，所述摊铺机上安装有摊铺机面板，所述摊铺机面板是透明面板。

进一步地，所述第一摄像头和所述第二摄像头是可见光摄像头，所述第一摄像头和所述第二摄像头以所述摊铺机面板为对称面对称布置；所述第一摄像头与所述第二摄像头分时工作。

进一步地，所述第一照明装置为所述第一摄像头提供光源，与所述第一摄像头同时工作；所述第二照明装置为所述第二摄像头提供光源，与所述第二摄像头同时工作。

进一步地，将烟叶位置分为不重叠、两片重叠、多片重叠和单片对折四种情形，烟叶类型分为叶片、碎末、叶梗三种类型。

进一步地，在所述上位机中设置数据库，所述数据库包括12种烟叶样本，每种样本各取300张图片，图片数量总计3600张。

本发明提供了一种基于视觉特征融合的打叶质量检测方法，所述检测方法包括：

a、铺料称重：用于叶片结构时，在打叶去梗后的叶片汇总输送带上取样3000±300g，用于长梗率时，在打叶去梗后的烟梗汇总输送带上取样1000～1500g；根据在线或离线使用情况，通过上游设备使烟叶样品均匀铺满在所述铺料装置上，确保铺料阶段，片烟重叠率小于2％，然后设备以静态称重方式自动获取取样品质量；

b、均匀喂料：通过所述控制柜启动所述检测装置，使物料依次通过所述铺料装置、所述摊铺机、所述第一摄像头、所述第二摄像头和所述接料装置；

c、采集图像：(1)一次成像：仅使用所述第一摄像头及所述第一照明装置配合采集物料图像；(2)二次成像：仅使用所述第二摄像头及所述第二照明装置配合采集物料图像；

d、图像处理：采集到的物料原始图像与所述数据库匹配后，通过图像算法得到每一片烟叶和每一根烟梗的面积、长度、宽度和周长，通过计算得到叶片结构、长梗率。

进一步地，所述检测方法中，叶片结构和长梗率的计算过程如下：

a、叶片结构：根据图像算法得到的每一片烟叶的面积大小S_i，结合行业分类标准，将样品烟叶分类并计算样品烟叶的总面积S，即可得到叶片结构：

P_i＝S_i/S×100％；

b、长梗率：根据图像算法得到的每一根烟梗的长度大小，结合行业分类标准，统计出烟梗长度大于20mm的烟梗的面积总和S_l以及所有烟梗样品的面积总和，即可得到长梗率：

X＝S_l/S×100％。

本发明至少具有如下有益技术效果：

1、本发明提供的基于视觉特征融合的打叶质量检测装置，采用上、下摄像头分别成像，能有效识别片烟的重叠问题，可提升图像的检测识别精度。

2、本发明提供的基于视觉特征融合的打叶质量检测装置，利用高清摄像头进行成像，设备简单，易于安装和操作，无辐射危险，不会对原材料造成损耗。

3、本发明提供的基于视觉特征融合的打叶质量检测装置，利用深度学习的方法进行图像处理，提高了检测效率。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的基于视觉特征融合的打叶质量检测装置示意图；

图2是本发明的一个较佳实施例的基于视觉特征融合的打叶质量检测装置及检测方法的分类器算法流程图；

图3是本发明的一个较佳实施例的基于视觉特征融合的打叶质量检测装置及检测方法的检测方法流程图；

其中，11-铺料装置，111-主体皮带机，112-称重传感器模块，113-限料辊，12-摊铺机，121-摊铺机面板，13-第一摄像头，14-第一照明装置，15-第二摄像头，16-第二照明装置，17-接料装置，18-控制柜，181-显示器，182-键盘鼠标抽屉，183-控制按钮，184-隔离开关，19-称重接线盒，20-称重仪表。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本实施例公开了一种基于视觉特征融合的打叶质量检测装置，包括铺料装置11、摊铺机12、第一摄像头13、第二摄像头15、第一照明装置14、第二照明装置16、接料装置17、机柜(图中未示出)和控制柜18。摊铺机12位于铺料装置11下方，第一摄像头13和第一照明装置14位于摊铺机12上方，第二摄像头15和第二照明装置16位于摊铺机12下方，接料装置17位于摊铺机12出口下方。铺料装置11、摊铺机12、第一摄像头13、第二摄像头15、第一照明装置14和第二照明装置16集成安装在机架上。

铺料装置11安装有主体皮带机111、称重传感器模块112和限料辊113，限料辊113位于主体皮带机111的出料口，主体皮带机111和限料辊113分别采用电机驱动，称重传感器模块112设置四套，安装在主体皮带机111的左右侧与机架之间。四套称重传感器模块112与重接线盒19、称重仪表20构成轨道式称重系统；称重接线盒19设置在机架上，称重仪表20设置在控制柜18上。铺料装置11和轨道式称重系统用于烟叶检测中的铺料称重。

摊铺机12优选地采用簧板式振动运输机或激振式振动运输机，摊铺机12上安装有用于放置烟叶的摊铺机面板121，摊铺机面板121是透明材料，便于第二摄像头5采集图像。

第一摄像头13和第二摄像头15是可见光摄像头，以摊铺机面板121为对称面对称布置；第一照明装置14配合第一摄像头13工作，第二照明装置16配合第二摄像头15工作；第一摄像头13和第二摄像头15分时工作，在摊铺机12上的物料经过第一摄像头13和第二摄像头15时采集物料图像。

控制柜18上安装有电控装置和上位机，同时安装有显示器181、键盘鼠标抽屉182以及各种控制按钮183和隔离开关184，用于控制设备的运行并实现与控制系统的通信，在检测过程中采集图像、处理图像、分析数据、计算结果等。

上位机上设置有烟叶图片数据库和图像算法，利用深度学习方法对第一摄像头13和第二摄像头15获得的图像进行处理。采集的烟叶图像与数据库进行匹配，判断是否存在重叠现象；然后通过图像算法得到每一片烟叶和每一根烟梗的面积、长度、宽度和周长。

图2所示为本发明的分类器算法流程图，包括以下步骤：

a、片烟结构图像数据库采集：将片烟结构图片分成不同类别，包括叶片、碎末、叶梗三种不同片烟结构，不重叠、两片重叠、多片重叠和单片对折四种不同相对位置，共计12类，每种类型各取300张图片，将图片分别存入带标签名的文件夹中，图片数量总计3600张；

b、提取图像卷积神经网络(CNN)特征：先对图像进行归一化处理，然后将训练集数据作为输入馈送至建立的包含5层卷积层的CNN网络进行训练，训练收敛之后得到模型权重参数，输入新的数据并以此提取深度网络模型中的softmax分类层前的全连接层作为图像的深度特征；

c、分类器设计：采用支持向量机为分类器，选取的核函数为sigmoid核函数：k(x,y)＝tanh(ax^T+c)，并求取训练集中所有图像的融合特征对支持向量机进行训练，得到适合于训练样本的分类器。

d、折交叉验证：将样本集各类样本按照9:1比例随机抽取构成训练集和验证集两组，针对训练集，按照上述过程对获得对应的深度网络、融合特征和分类器，并在验证集上测试分类器效果。重复10次上述随机试验，综合评价算法性能，最终确定各阶段的最优参数。

图3所示是本发明的检测方法流程图，检测基本步骤如下：

a、铺料称重：用于叶片结构时，在打叶去梗后的叶片汇总输送带上取样3000±300g，用于长梗率时，在打叶去梗后的烟梗汇总输送带上取样1000～1500g；根据在线或离线使用情况，通过上游设备使烟叶样品均匀铺满在铺料装置1上，确保铺料阶段，片烟重叠率小于2％，然后设备以静态称重方式自动获取取样品质量；

b、均匀喂料：通过控制柜18启动检测装置，使物料依次通过铺料装置11、摊铺机12、第一摄像头13、第二摄像头15和接料装置17；

c、采集图像：(1)一次成像：仅使用第一摄像头13及第一照明装置14配合采集物料图像；(2)二次成像：仅使用第二摄像头15及第二照明装置16配合采集物料图像；

d、图像处理：获取叶片上下表面的图像后与数据库进行图像匹配，分别归属于不重叠、两片重叠、多片重叠和单片对折四种类型；将图像送入构建的深度网络进行分类，获得分类结果，根据像素大小区分大叶、中叶、小叶，以及长梗、短梗。获得整张图片的片烟统计结果。统计各图结果，获得该次取样的最终统计结果，得到每一片烟叶和每一根烟梗的面积、长度、宽度和周长。

本实施例中，使用图像处理获得统计结果后，叶片结构和长梗率的计算过程如下：

a、叶片结构：根据图像算法得到的每一片烟叶的面积大小S_i，结合行业分类标准，将样品烟叶分类并计算样品烟叶的总面积S，即可得到叶片结构：

P_i＝S_i/S×100％；

b、长梗率：根据图像算法得到的每一根烟梗的长度大小，结合行业分类标准，统计出烟梗长度大于20mm的烟梗的面积总和S_l以及所有烟梗样品的面积总和，即可得到长梗率：

X＝S_l/S×100％。

本发明的设备简单，易于安装和操作，无辐射危险，节约原材料，提高了检测效率。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于视觉特征融合的打叶质量检测装置，其特征在于，包括铺料装置、摊铺机、第一摄像头、第一照明装置、第二摄像头、第二照明装置、接料装置、机架和控制柜；所述摊铺机位于所述铺料装置下方；所述第一摄像头和所述第一照明装置位于所述摊铺机上方；所述第二摄像头和所述第二照明装置位于所述摊铺机下方；所述接料装置位于所述摊铺机出口下方；所述机架四周设置有门罩；所述铺料装置、所述摊铺机、所述第一摄像头、所述第一照明装置、所述第二摄像头和所述第二照明装置集成安装在所述机架上；所述控制柜上设置有电控装置和上位机；

所述摊铺机上安装有摊铺机面板，所述摊铺机面板是透明面板；

所述第一摄像头和所述第二摄像头是可见光摄像头，所述第一摄像头和所述第二摄像头以所述摊铺机面板为对称面对称布置；所述第一摄像头与所述第二摄像头分时工作；

所述上位机上设置有烟叶图片数据库和图像算法，并被配置为：利用深度学习方法对所述第一摄像头和所述第二摄像头获得的图像进行处理，通过将所述图像与所述数据库进行匹配，判断是否存在重叠现象，并通过所述图像算法得到每一片烟叶和每一根烟梗的面积、长度、宽度和周长；

其中，所述图像算法被配置为：将片烟结构图片分成不同类别，包括叶片、碎末、叶梗三种不同的片烟结构，不重叠、两片重叠、多片重叠和单片对折四种不同的相对位置，共计12个类型，每个类型各取300张图片并将所述图片存入带标签名的文件夹中；通过对图像进行归一化处理，然后将训练集作为输入馈送至建立的包含5层卷积层的CNN网络进行训练，训练收敛之后得到模型权重参数，输入新的数据并以此提取深度网络模型中的softmax分层前的全链接层作为所述图像的深度特征；采用支持向量机作为分类器，求取所述训练集中所有图像的融合特征对所述支持向量机进行训练，得到适合于训练样本的分类器；将样本集各类样本按照9：1比例随机抽取构成训练集和验证集两组，针对所述训练集，按照所述CNN网络获得对应的深度网络、融合特征和分类器，并在所述验证集上测试所述分类器的效果；对所述第一摄像头和所述第二摄像头获得所述图像送入所述CNN网络进行分类，获得分类结果；根据像素大小区分大叶、中叶、小叶，以及长梗、短梗；获得整张图片的片烟统计结果；统计各图结果，获得最终统计结果，得到所述每一片烟叶和每一根烟梗的所述面积、长度、宽度和周长。

2.如权利要求1所述的基于视觉特征融合的打叶质量检测装置，其特征在于，所述铺料装置设置有主体皮带机、称重传感器模块和限料辊；所述限料辊位于所述主体皮带机的出料口；所述主体皮带机和所述限料辊分别采用电机驱动；所述称重传感器模块设置四套，安装在所述主体皮带机的左右侧与所述机架之间。

3.如权利要求2所述的基于视觉特征融合的打叶质量检测装置，其特征在于，还包括轨道式称重系统，所述轨道式称重系统包含一个称重接线盒、一个称重仪表和四套所述称重传感器模块；所述称重接线盒设置在所述机架上，所述称重仪表设置在所述控制柜上；所述控制柜上还安装有显示器、键盘鼠标抽屉及各种控制按钮和隔离开关。

4.如权利要求1所述的基于视觉特征融合的打叶质量检测装置，其特征在于，所述第一照明装置为所述第一摄像头提供光源，与所述第一摄像头同时工作；所述第二照明装置为所述第二摄像头提供光源，与所述第二摄像头同时工作。

5.一种根据权利要求1～4任一权项所述的基于视觉特征融合的打叶质量检测装置的检测方法，其特征在于，所述方法包括以下动作：

a、铺料称重：用于叶片结构时，在打叶去梗后的叶片汇总输送带上取样3000±300g，用于长梗率时，在打叶去梗后的烟梗汇总输送带上取样1000～1500g；根据在线或离线使用情况，通过上游设备使烟叶样品均匀铺满在所述铺料装置上，确保铺料阶段，片烟重叠率小于2％，然后设备以静态称重方式自动获取样品质量；

b、均匀喂料：通过所述控制柜启动所述检测装置，使物料依次通过所述铺料装置、所述摊铺机、所述第一摄像头、所述第二摄像头和所述接料装置；

c、采集图像：(1)一次成像：仅使用所述第一摄像头及所述第一照明装置配合采集物料图像；(2)二次成像：仅使用所述第二摄像头及所述第二照明装置配合采集物料图像；

d、图像处理：采集到的物料原始图像与所述数据库匹配后，通过图像算法得到每一片烟叶和每一根烟梗的面积、长度、宽度和周长，通过计算得到叶片结构、长梗率。

6.如权利要求5所述的基于视觉特征融合的打叶质量检测装置的检测方法，其特征在于，所述叶片结构和长梗率的计算过程如下：

a、叶片结构：根据图像算法得到的每一片烟叶的面积大小S_i，结合行业分类标准，将样品烟叶分类并计算样品烟叶的总面积S，即可得到叶片结构：

P_i＝S_i/S×100％；

b、长梗率：根据图像算法得到的每一根烟梗的长度大小，结合行业分类标准，统计出烟梗长度大于20mm的烟梗的面积总和S_l以及所有烟梗样品的面积总和，即可得到长梗率：

X＝S_l/S×100％。