CN114521664B - 一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置 - Google Patents

Abstract

本发明公开了一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置，系统包括烟叶传送模块、控制通信模块、图像获取模块、图像处理模块和烟叶分级模块；装置包括传送带、传感器、图像采集箱、烟叶放置区域。系统运行时，控制通信模块控制多模态成像设备和传送带系统联合工作，采集烟叶多模态图像数据，多模态图像数据包括烟叶的背光图像、可见光图像以及近红外高光谱图像；图像处理模块在烟叶多模态图像数据中提取烟叶区域，同时拼接烟叶背光图像，并将背光图像、可见光图像与高光谱图像进行配准；烟叶分级模块利用深度神经网络提取烟叶多模态图像数据中的深度特征，并基于深度特征分析对当前烟叶的进行预测分级。

Description

一种基于多模态图像数据和深度神经网络的自动烟叶分级系 统及装置

技术领域

本发明涉及计算机视觉与烟叶自动化分级，属于烟叶分级领域，具体涉及一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置。

背景技术

烟叶分级是烟草行业在收购烟草时的一项基础性工作，由于烟叶品质各异，未分级的烟叶优劣混用，其必然会造成使用价值的降低，造成资源浪费，极大降低经济效益。只有经过合理的分级，在针对不同级别的烟叶采用科学的配方，才能生产出针对不同消费者要求的卷烟。因此，分级的目的是把不同质量的烟叶分开，使每个等级、每把烟叶具有相对一致的品质，在烟草收购阶段具有重大意义。

长期以来，烟叶分级方法大多采用人工分级的方法，是根据一定的烟叶分级因素，采用眼看、手摸、鼻闻等方式进行烟叶等级划分的过程。烟叶分级的最终目的是界定出烟叶等级的内外在品质。目前，我国的烟叶分级多采用人工方法，过多依靠分级人员主观感觉与个人判断，存在耗时长、标准不够统一的局限性。通过新技术提升烟叶分级的精确性、客观性和可靠性，已成为烟草生产企业的迫切需求。

发明专利CN110893399公开了基于视觉识别的智能烟叶分级分拣设备及分拣方法，所述系统包括图像采集结构、传送结构、分拣结构以及控制器利用图像采集结构采集烟叶图像，导入控制器内做分级分析，根据分级结果运用分拣结构将待测烟叶分拣，全自动闭环完成分级及分拣。该发明仅依靠视觉识别，虽然自动化程度高，但分级的结果还有很大的提升空间。

发明专利CN204989004公开了一种烟草分级系统，所述系统包括依光谱仪、颜色识别模块和烟叶分级模块，光谱仪获取待测烟叶的光谱信息，颜色识别模块根据待测烟叶的光谱信息从光谱-颜色数据库中选取其对应的颜色信息；烟叶分级模块根据待测烟叶的颜色信息对其进行分级。该发明所构建的颜色数据库并没有深度挖掘数据信息，因而分级的效果可以在此基础上再做提升。

发明内容

针对上述现有技术中存在的问题，本发明提供一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置。

一种基于多模态图像数据和深度神经网络的自动烟叶分级系统，包括烟叶传送模块、控制通信模块、图像获取模块、图像处理模块和烟叶分级模块；所述的控制通信模块用于与其他各模块之间进行通信，并通过控制烟叶传送模块从而控制烟叶的运行状态；所述的图像获取模块用于获取烟叶多模态图像数据，所述烟叶多模态图像数据包括通过多模态成像设备获得的烟叶背光图像、可见光图像以及近红外高光谱图像；所述的图像处理模块用于对烟叶多模态图像数据进行处理，具体为：对烟叶背光图进行拼接，从烟叶的背光图像、可见光图像以及近红外高光谱图像中提取烟叶区域，对提取的三种烟叶区域图像进行图像配准；所述的烟叶分级模块利用深度神经网络处理多模态图像数据，并预测当前烟叶的分级，将结果反馈给控制通信模块；所述通信控制模块对烟叶传送模块发出指令，从而控制烟叶传送模块将烟叶运输至对应等级的烟叶放置区域。所述多模态成像设备由三台相机组成，包含背光图像采集相机、可见光图像采集相机以及近红外高光谱相机，其中背光图像采集相机和可见光图像采集相机固定于图像采集箱顶部预置位置，近红外高光谱相机固定于电控滑台上，用于扫描成像获取近红外高光谱图像数据。

本发明还提供一种基于多模态图像数据和深度神经网络的自动烟叶分级装置，该装置采用上述的基于多模态图像数据和深度神经网络的自动烟叶分级系统控制，包括传送带、传感器、图像采集箱、烟叶放置区域；所述的传送带用于传送烟叶；所述的传感器设于传送带一侧，用于监测烟叶的位置；所述的图像采集箱设于传送带上；所述的图像采集箱内设有由三台相机构成的多模态成像设备，用于在烟叶运动至相应位置时获取包括烟叶背光图像、可见光图像以及近红外高光谱图像的烟叶多模态图像数据；所述的烟叶放置区域根据烟叶等级分为多个区域，所述传送带根据烟叶分级结果将烟叶传送至对应等级的区域；

用于获取烟叶背光图像的相机的光源为背光光源，背光光源位于传送带的特制空间内；所述的特制空间是由三个附加的滚轴形成的凹陷，背光光源设于所述凹陷内，其光照方向自下而上，凹陷上方放置有透明板，多模态成像设备在烟叶运动至透明板上时采集烟叶背光图像；

用于获取可见光图像以及近红外高光谱图像的相机的光源为宽光谱光源，宽光谱光源设于图像采集箱内，其光照方向自上向下；所述宽光谱光源的光谱范围包括可见光波段以及近红外波段。

采用上述装置对烟叶进行分级的具体步骤如下：

步骤1：烟叶在传送带上运行，触发传感器，控制通信模块接收到触发信号；

步骤2：控制通信模块根据烟触发信号发送指令给图像获取模块，所述图像获取模块控制图像采集箱内的多模态成像设备获取烟叶多模态图像数据，包括烟叶的背光图像、可见光图像以及近红外高光谱图像；

步骤3：图像获取模块将获取的多模态图像数据输入图像处理模块进行如下实时处理：

3.1烟叶背光图拼接；

3.2在烟叶多模态图像数据中提取烟叶区域；

3.3烟叶背光图像，可见光图像以及高光谱图像配准；

步骤4：烟叶分级模块利用深度神经网络处理多模态图像数据，并预测当前烟叶的分级，将结果反馈控制通信模块；

步骤5：控制通信模块根据分级预测结果控制传送带将烟叶运输至对应烟叶放置区域。

本发明的有益效果为：

通过视觉/光谱信息与人工智能相结合的方式来构建烟叶分级系统，有利于节省人力和物力，能够形成烟叶分级的客观标准，提升烟叶分级正确性和效率，可在一定程度上减少人工分级过程中由主观差异造成对烟叶质量的差异性判断。本发明的系统及装置可对烟叶分级工作起到指导和改进性作用，有利于烟草行业的技术水平，提升烟草行业规范，产生较高的社会经济价值。

附图说明

图1为本发明实施例的烟叶分级系统。

图2为本发明实施例的烟叶分级模块。

图3为本实施例的传送带背光部分结构图。

图4为本实施例的烟叶区域提取图。

图5为本实施例的系统操作界面图。

具体实施方式

以下结合具体实施例和附图进一步说明。

一种基于多模态图像数据和深度神经网络的自动烟叶分级装置，包括传送带、传感器、图像采集箱、烟叶放置区域；所述的传送带用于传送烟叶；所述的传感器设于传送带一侧，用于监测烟叶的位置；所述的图像采集箱设于传送带上；所述的图像采集箱内设有由三台相机构成的多模态成像设备，用于在烟叶运动至相应位置时获取包括烟叶背光图像、可见光图像以及近红外高光谱图像的烟叶多模态图像数据；所述的烟叶放置区域根据烟叶等级分为多个区域，所述传送带根据烟叶分级结果将烟叶传送至对应等级的区域；

用于获取烟叶背光图像的相机的光源为背光光源，背光光源位于传送带的特制空间内；所述的特制空间是由三个附加的滚轴形成的凹陷，背光光源设于所述凹陷内，背光光源上表面和传送带运动平面重合，其光照方向自下而上，凹陷上方放置有透明板，多模态成像设备在烟叶运动至透明板上时采集烟叶背光图像；

用于获取可见光图像以及近红外高光谱图像的相机的光源为宽光谱光源，宽光谱光源设于图像采集箱内，其光照方向自上向下；所述宽光谱光源的光谱范围包括可见光波段以及近红外波段(700-2500nm)。

如图3所示，传送带采用由伺服电机驱动的机械传送带，可快速调整运动状态以确保数据及时采集。

图像采集箱用于隔绝外部自然光的干扰，其内部分为两个空间，分别对应背光光源和宽光谱光源所在区域，这两个空间不存在互相干扰，且烟叶可随着传送带在箱体内自由前进。

采用本发明的基于多模态图像数据和深度神经网络的自动烟叶分级系统对烟叶进行分级的方法为：

(1)进行烟叶多模态图像数据采集。

系统人工交互界面启动时，依次检测系统电源、控制通信模块、可见光图像采集相机、近红外高光谱相机、背光图像采集相机与计算机是否连接成功，成功后打开界面；若出现连接异常弹出对话框要求检查连接后重新启动。

控制通信模块在接收到传感器触发信号后，立即控制烟叶背光图像采集相机以固定的时间间隔t采集烟叶的背光图像n_b张，记为：

其中

代表第i部分的烟叶背光图像，每张图像有一定的重叠，将其拼接起来可形成完整的烟叶图像；

同时控制通信模块控制机械传送带延迟t_d秒后暂停，将烟叶运送至预设成像区域；

当烟叶到达指定预设成像区域时，控制通信模块控制可见光图像采集相机采集一帧烟叶的可见光图像I_v；

同时控制移动滑台和近红外高光谱相机对静止烟叶进行扫描成像获取烟叶的近红外高光谱图像I_N。

(2)利用图像处理模块对采集的多模态图像数据进行处理。

(2-1)根据采集的背光图像，按顺序从

中提取相邻的背光图像

和

进行拼接。

首先对图像进行预处理，将采集的RGB图像

和

转换为灰度图I_i和I_i+1；

由于烟叶在水平方向的偏移以及旋转的角度很小，故主要考虑在机械传送带前进方向的偏移，用I_i的下h行和I_i+1的上h行部分可计算出对应的相似度similarity(h)，其中相似度的表示如下：

其中W和H分别代表图像的宽度和高度。通过遍历h的取值可得到使相似度similarity(h)最大的h，记I_i和I_i+1对应的偏移值为h_i，最终得到

共(n_b-1)个偏移值；

基于计算所得的偏移值对背光图依次拼接：

和

根据h₁拼接得到

和

根据h₂拼接得到

依此类推，最终

和

根据

拼接得到

同时，在拼接过程中使用加权融合的方式消除图像不均匀性，具体的，

和

根据h_i拼接的结果表达式

如下：

其中H_1～i代表图像

的高度，H_i+1代表图像

的高度。

(2-2)根据系统实时提取多模态数据中的烟叶区域，为确保分割实时性，采用先验知识和简单图像操作进行分割。

通常情况下，可见光相机获取的图像分为RGB三个通道，但是由于在烟叶的可见光光图像I_v中，烟叶区域与背景区域的差异在RGB三通道中表现的并不明显，反而在YCbCr空间中，该差异具有显著的表现。

因此，将烟叶可见光图像I_v由RGB空间转换到YCbCr空间，取其中的Cr通道图像I_v-Cr，根据预设的阈值分割出对应烟叶区域的掩膜。

其中μ_v和η_v是事先通过统计Cr通道像素值强度分布所得的阈值。

实际情况下，可以根据情况灵活选择统计样本的数量，样本数量越多，所得阈值越精确。

利用同样的方法，将拼接完成的烟叶背光图像

由RGB空间转换到YCbCr空间，取其中的Cr通道图像

根据预设的阈值分割出对应烟叶区域的掩膜M_B；

利用同样的方法，选取近红外高光谱数据中第C个通道图像

根据预设的阈值分割出对应烟叶区域的掩膜M_N；

为了从多模态图像数据中提取对表达和描绘烟叶级别最相关的图像分量，使后续的识别工作能够抓住烟叶最为本质的形状特征，因此对掩膜M_V、M_B以及M_N做形态学处理。取其中最大闭环区域为烟叶区域，消除烟叶碎屑引起的噪声，同时使用膨胀操作进一步优化烟叶掩膜形态。

膨胀就是求局部最大值的操作，就是将图像(或图像的一部分区域)与核进行卷积。

核可以是任何的形状和大小，它拥有一个单独定义出来的参考点，我们称其为锚点。在本实例中，核为一个小的中间带有参考点的实心圆盘，形态学膨胀的数学表达式如下：

其中element为结构元，(x,y)为锚点的位置，x′和y′为结构元值为1的像素相对锚点的位置偏移，src表示原图，dst表示结果图。

(2-3)利用所求掩膜对多模态图像进行实时配准，具体内容如下：

首先，对掩膜M_B和M_N进行缩放，得

和

其中β_B和β_N为事先通过标定所得的缩放系数；

由于在

和M_V配准的配准过程中，烟叶在传送带表面运动，故在多模态图像数据中旋转、仿射变换幅度很小，主要考虑平移变换，通过遍历得到平移变换中两个方向的偏差值：

由于掩膜内每个元素都为逻辑值，在计算中使用逻辑与进行加速；

同时对

和M_V采用同样的方法计算得(Δx_N,Δy_N)；

其次，根据标定的缩放系数以及计算的偏差值，对背光图像和近红外高光谱图像进行对应的缩放平移处理，得到对齐的烟叶多模态图像数据{I′_B,I_v,I′_N}。

(3)将对齐的烟叶多模态图像数据{I′_B,I_v,I′_N}与烟叶区域掩膜点对点相乘用于提取烟叶区域{I^B,I^V,I^N}，并将其输入深度神经网络；所述深度神经网络包括背光特征提取器、可见光特征提取器以及近红外特征提取器，分别用于提取烟叶背光图像、可见光图像和近红外高光谱图像的深度特征；

将烟叶背光图像I^B输入神经网络架构，背光特征提取器提取和叶片厚度、叶脉分布相关的深度特征f^B；

将烟叶可见光图像I^V输入神经网络架构，可见光特征提取器提取和可见光波段反射率、颜色、纹理结构相关的深度特征f^V；

将烟叶近红外高光谱图像I^N输入神经网络架构，近红外特征提取器提取和烟叶化学成分相关的特征f^N，以及生成烟叶内重要化学成分烟碱、总糖等的分布图可用于机器或人为分析；

将特征{f^B,f^V,f^N}融合得f^All，将其输入神经网络。

神经网络包含输入层、隐藏层、输出层，其中，输入层神经元数量与联合特征提取模块输出的联合特征向量长度相等，输出层神经元数量与烟叶类别数量相等，隐藏层神经元数量根据经验设置。

分级判断的计算过程可表达为：

P＝softmax(b⁽²⁾+w⁽²⁾·Swish(b⁽¹⁾+w⁽¹⁾·f_t))

其中，P表示分级判断过程输出的预测概率向量，b⁽¹⁾，b⁽²⁾表示神经网络偏置参数，w⁽¹⁾，w⁽²⁾表示神经网络权重参数，softmax(·)表示softmax函数，Swish(·)表示Swish激活函数，即：

神经网络输出的预测概率向量P＝[p₁,p₂,…,p_N]^T，其中p_i代表当前烟叶为第i类烟叶的概率，N表示烟叶分级类别数量。

选取概率最大的种类作为最终的预测分级，然后将分级结果传送给控制通信模块，可得到烟叶预测类别label，表示为：

label＝argmax_{i∈{1,2,…,N}}p_i。

Claims (6)

1.一种基于多模态图像数据和深度神经网络的自动烟叶分级系统，其特征在于，包括烟叶传送模块、控制通信模块、图像获取模块、图像处理模块和烟叶分级模块；所述的控制通信模块用于与其他各模块之间进行通信，并通过控制烟叶传送模块从而控制烟叶的运行状态；所述的图像获取模块用于获取烟叶多模态图像数据，所述烟叶多模态图像数据包括通过多模态成像设备获得的烟叶背光图像、可见光图像以及近红外高光谱图像；所述的图像处理模块用于对烟叶多模态图像数据进行处理，具体为：首先对烟叶背光图进行拼接，然后从烟叶的背光图像、可见光图像以及近红外高光谱图像中提取烟叶区域，最后对提取的三种烟叶区域图像进行图像配准；所述的烟叶分级模块利用深度神经网络处理多模态图像数据，并预测当前烟叶的分级，将结果反馈给控制通信模块；所述通信控制模块对烟叶传送模块发出指令，从而控制烟叶传送模块将烟叶运输至对应等级的烟叶放置区域；

所述的多模态成像设备由三台相机组成，包含背光图像采集相机、可见光图像采集相机以及近红外高光谱相机，其中背光图像采集相机和可见光图像采集相机固定于预设位置，近红外高光谱相机固定于电控滑台上，用于扫描成像获取近红外高光谱图像数据；

所述的控制通信模块在烟叶运行至背光图像采集相机下方时，控制烟叶背光图像采集相机以固定的时间间隔t采集烟叶的背光图像n_b张，记为

其中

代表第i部分的烟叶背光图像；所述的控制通信模块控制烟叶传送模块从而使烟叶运行至可见光图像采集相机以及近红外高光谱相机下方，并控制可见光图像采集相机采集一帧烟叶的可见光图像，控制移动滑台带动近红外高光谱相机对静止烟叶进行扫描成像获取烟叶的近红外高光谱图像；

所述的对烟叶背光图进行拼接的方法为，按顺序从

中提取相邻的背光图像

和

进行拼接，具体步骤如下：

a.图像预处理，将RGB图像

和

转换为灰度图I_i和I_i+1；

b.考虑烟叶在传送方向的偏移，用I_i的下h行像素和I_i+1的上h行像素部分可计算出对应的相似度similarity(h)，通过计算得到具有最大相似度的偏移值h_i，最终得到

共(n_b-1)个偏移值；

c.基于计算所得的偏移值依次拼接，

和

根据h₁拼接得到

和

根据h₂拼接得到

依此类推，最终

和

根据

拼接得到

同时，在拼接过程中使用加权融合的方式消除图像不均匀性。

2.根据权利要求1所述的基于多模态图像数据和深度神经网络的自动烟叶分级系统，其特征在于，所述的从烟叶的背光图像、可见光图像以及近红外高光谱图像中提取烟叶区域，具体包括以下步骤：

a.将烟叶可见光图像I_v由RGB空间转换到YCbCr空间，取其中的Cr通道图像I_v-Cr，根据预设的阈值分割出对应烟叶区域的掩膜M_V

其中μ_v和η_v是事先通过统计Cr通道像素值强度分布所得的阈值；i和j分别为该通道像素值的某i行与某j列；

b.利用同样的方法，将拼接完成的烟叶背光图像由RGB空间转换到YCbCr空间，取其中的Cr通道图像，根据预设的阈值分割出对应烟叶区域的掩膜M_B；

c.利用同样的方法，选取近红外高光谱图像中第C个通道图像

根据预设的阈值分割出对应烟叶区域的掩膜M_N；

d.对M_V、M_B以及M_N做形态学处理，取其中最大闭环区域作为烟叶区域，消除烟叶碎屑引起的噪声，同时使用膨胀操作进一步优化烟叶掩膜形态。

3.根据权利要求2所述的基于多模态图像数据和深度神经网络的自动烟叶分级系统，其特征在于，所述的对提取的三种烟叶区域图像进行图像配准，具体步骤如下：

a.对M_B和M_B进行缩放，得

和

其中β_B和β_N为事先通过标定所得的缩放系数；

b.对

和M_V进行配准，考虑平移变换，通过遍历得到平移变换中两个方向的偏差值

由于掩膜内每个元素都为逻辑值，在计算中使用逻辑与进行加速；

c.对

和M_V采用同样的方法计算得(Δx_N,Δy_N)；

d.根据标定的缩放系数以及计算的偏差值，对背光图像和近红外高光谱图像进行对应的缩放平移处理，最终得到对齐的烟叶多模态图像数据{I′_B,I_v,I′_N}。

4.根据权利要求3所述的基于多模态图像数据和深度神经网络的自动烟叶分级系统，其特征在于，所述的烟叶分级模块利用深度神经网络处理多模态图像数据，并预测当前烟叶的分级，具体包括如下步骤：

a.对齐的烟叶多模态图像数据{I′_B,I_v,I′_N}与烟叶区域掩膜点对点相乘用于提取烟叶区域{I^B,I^V,I^N}，将{I^B,I^V,I^N}输入深度卷积神经网络；所述深度神经网络包括背光特征提取器、可见光特征提取器以及近红外特征提取器，分别用于提取烟叶背光图像、可见光图像和近红外高光谱图像的深度特征；

b.将背光图像I^B输入深度神经网络，背光特征提取器提取和叶片厚度、叶脉分布相关的深度特征f^B；

c.将可见光图像I^V输入深度神经网络，可见光特征提取器提取和烟叶表面可见光波段反射率、颜色、纹理结构相关的深度特征f^V；

d.将近红外高光谱图像I^N输入深度神经网络，近红外特征提取器提取和烟叶化学成分相关的特征f^N，以及生成烟叶内烟碱、总糖的分布图；

e.将特征{f^B,f^V,f^N}融合得f^All，并用softmax计算烟叶属于不同种类的概率，选取概率最大的种类作为最终的预测分级，然后将分级结果传送给控制通信模块。

5.一种基于多模态图像数据和深度神经网络的自动烟叶分级装置，其特征在于，采用如权利要求1-4任一项所述的基于多模态图像数据和深度神经网络的自动烟叶分级系统控制，所述装置包括传送带、传感器、图像采集箱、烟叶放置区域；所述的传送带用于传送烟叶；所述的传感器设于传送带一侧，用于监测烟叶的位置；所述的图像采集箱设于传送带上；所述的图像采集箱内设有由三台相机构成的多模态成像设备，用于在烟叶运动至相应位置时获取包括烟叶背光图像、可见光图像以及近红外高光谱图像的烟叶多模态图像数据；所述的烟叶放置区域根据烟叶等级分为多个区域，所述传送带根据烟叶分级结果将烟叶传送至对应等级的区域；

用于获取烟叶背光图像的相机的光源为背光光源，背光光源位于传送带的特制空间内；所述的特制空间是由三个附加的滚轴形成的凹陷，背光光源设于所述凹陷内，其光照方向自下而上，凹陷上方放置有透明板，多模态成像设备在烟叶运动至透明板上时采集烟叶背光图像；

用于获取可见光图像以及近红外高光谱图像的相机的光源为宽光谱光源，宽光谱光源设于图像采集箱内，其光照方向自上向下；所述宽光谱光源的光谱范围包括可见光波段以及近红外波段。

6.根据权利要求5所述的基于多模态图像数据和深度神经网络的自动烟叶分级装置，其特征在于，所述的图像采集箱隔绝外部自然光的干扰，其内部分为两个空间，分别为背光光源照射区域以及宽光谱光源照射区域，两个空间互不干扰，且烟叶可随传送带在图像采集箱内运动。

Images