CN102590211B - 利用光谱和图像特征进行烟叶分级的方法 - Google Patents

Abstract

一种利用光谱和图像特征进行烟叶分级方法，它包括以下步骤：①实时获取待测烟叶的图像信息和光谱信息；②分别对获取的图像信息和光谱信息进行预处理并提取图像特征和光谱特征，然后分别对图像特征和光谱特征进行归一化处理，进而分别对归一化后的图像特征和光谱特征进行自适应提取有用特征；③对有用图像特征和光谱特征进行融合；④对融合后的特征进行分组、分色和分级。采用上述技术方案的本发明，能做大限度的做到无损分级、能准确的划分烟叶等级，确保收购的各方利益不受损失。

Description

利用光谱和图像特征进行烟叶分级的方法

技术领域

本发明涉及一种对烟叶进行分组(分部位)、分色和分级的方法。

背景技术

由于烟叶中C-H，N-H和O-H等含氢基团对红外光有吸收，所以烟叶红外吸收光谱含有与烟草化学成分相关联的信息。近年来，不少科研工作者利用红外和近红外光谱对烟叶进行理化分析、化学成分的定性定量研究及识别。很多文献运用光谱分析法测定烟草化学成分，其中河南农业大学，靳志伟老师发表的《烟叶的光谱特征及品质检测技术研究》中讨论了不同地区、不同级别烟叶在可见光区域的量化吸收特征以及各吸收特征与烟叶地域性、烟叶部位之间的关系。研究表明：烟叶的光谱吸收特征与烟叶产地和部位之间的确存在着相关性。还有些文献则利用红外和近红外光谱对烤烟烟叶产地、部位及对烤烟叶片成熟度进行识别研究，但还未见利用光谱对烟叶分级识别的具体研究。以上文献在获取烟叶光谱时，大多将烟叶粉碎成粉末，然后压制成薄片作为样本。显然，这种破坏烟叶的方法不适合用于烟叶收购时的等级分类。

目前，我国的烟叶分级还处于专业人员眼观手摸的人工分级阶段，并依靠经验和分级标准进行分级，具有一定的主观性和模糊性，且费时费力。对于烟叶智能分级，大多数研究集中在运用计算机视觉技术与色度学理论进行探索和尝试，主要研究包括利用烟叶图像的颜色、形状及纹理等特征进行分级或分组识别。这些特征很难包含烟叶的内部结构，与烟叶等级紧密相关的油分和成熟度等特征也难以从图像中提取出来。此外，基于图像特征的烟叶分级在对烟叶图像提取众多特征时计算量比较大，无法满足实时的要求。

农机化研究中发表的《基于径向基网络的烟叶光谱分级》中，仅仅提出了利用光谱技术对烟叶分级进行检测，这种方法只基于光谱特征的分析，故不能包含烟叶形状特征，也很难准确显示烟叶破损度和叶片结构等与烟叶等级密切相关的特征，因此限制了正确进行烟叶等级分类的精度。

发明内容

本发明的目的是提供一种利用光谱分析和图像处理双技术，并联合人工神经网络对烟叶进行智能化、无损分组、分色和分级的方法。

为实现上述目的，本发明采用以下技术方案：

本发明包括以下步骤：

①实时获取待测烟叶的图像信息和光谱信息；

②分别对获取的图像信息和光谱信息进行预处理并提取图像特征和光谱特征，然后分别对图像特征和光谱特征进行归一化处理，进而分别对归一化后的图像特征和光谱特征进行自适应提取有用特征；

③对有用图像特征和光谱特征进行融合；

④对融合后的特征进行分组、分色和分级。

在所述的步骤①中，利用CCD或数码相机进行图像信息采集，利用近红外光谱仪进行光谱信息采集。

在所述的步骤②中，对图像信息的预处理包括去除图像噪声和压缩图像信息；图像信息预处理方法包括边缘增强、小波分析、主成份分析、独立成分分析、形态学中的一种或几种；所述的图像特征包括几何特征、颜色特征和内在特征中的一种或几种；对图像特征进行归一化处理是指：将所有图像特征值限制在0～1或-1～1之间；对图像特征提取有用特征是指：利用自适应删减方法或自适应删减和人工神经网络联合方法对特征进行自适应筛选，依据分组、分色和分级结果从已提取的特征中筛选与分组、分色和分级密切相关的特征。

在所述的步骤②中，对光谱信息的预处理包括消除基线漂移、去除光谱噪声和压缩光谱信息；光谱信息预处理方法包括减最小值、减平均值、差分输入、小波分析、主成份分析、独立成分分析、一阶微分处理、二阶微分处理、中值滤波和自适应删减算法的任意一种方法或几种方法的组合；对光谱特征进行归一化处理是指：将所有光谱特征值限制在0～1或-1～1之间；对光谱特征提取有用特征是指：利用自适应删减或自适应删减和人工神经网络联合方法，依据分组、分色和分级结果从光谱特征中筛选与分组、分色和分级密切的相关特征。

在所述的步骤③中，采用人工神经网络方法或距离最近方法进行图像特征和光谱特征的融合。

在所述的步骤③中，采取硬件方法进行特征融合；所述的硬件方法包括一个光源设备，所述光源设备中的光源波长为自适应提取光谱特征所提取的最有用波长，这个光源不仅仅用于采集光谱信息而且用于图像采集，及将图像和光谱的光源合并；或者在所述的光源设备中利用白光作为图像采集光源和可见光光谱光源，而发热多的红外只作为光谱光源，利用不同的光电转换器件获取图像和光谱信息；所述光源设备中的图像和光谱信息采集为同时采集，或者为级联采集。

在所述的步骤④中，利用人工神经网络、遗传算法、最近距离算法、聚类算法、粗集算法等中的一种或几种对融合后的特征进行分组、分色和分级。

在所述的步骤④之前，先采用人工神经网络对融合后的特征进行删减，然后再对融合后的特征进行分组、分色和分级。

采用上述技术方案的本发明，能做大限度的做到无损分级、能准确的划分烟叶等级，确保收购的各方利益不受损失。

1、分析数据：确定用于烟叶智能等级分类的光谱类型(吸收谱、反射谱等)、光谱范围；确定能够正确分级、分色、分部位的光谱的最大分辨间隔。同时分析图像数据，以获得图像特征。此两种数据可独力同时获取，与只采用两种的任一种分析方法所用时间相同，能最大限度的节省时间和提高分级速度。

2、数据预处理：通过研究提取图像、特征光谱的预处理方法，对两类数据分别提出一种最有效的预处理方法。拟采用的方法有采用减最小值、减平均值、差分输入、小波分析、主成份分析、独立成分分析、一阶微分处理、二阶微分处理、中值滤波、边缘增强、小波分析、主成份分析、独立成分分析、形态学和自适应删减算法等预处理方法以及他们的各种改进方法，利用一种或几种联合对光谱和图像数据进行预处理。

3、提出基于特征光谱和图像特征的烟叶智能分级的算法和模型。算法模型要致力于提高分组分色分级速度和正确识别率(吻合率)。

4、采用或部分采用神经网络的方法，以提高系统的推广泛化能力。

附图说明

图1为本发明的原理框图。

图2为本发明中某一C2L等级烟叶的原始红外光谱图。

图3为图2所对应的一次压缩光谱图。

图4为图3所对应的二次压缩光谱图。

图5为图4所对应的三次压缩光谱图。

图6为本发明中的支持向量机网络图。

具体实施方式

实施例1

本实施例中，光谱、图像联合人工神经网络进行烟叶分级的方法，包括以下步骤：

①实时获取待测烟叶的图像信息和光谱信息。本实施例中利用图像采集卡和CCD或数码相机完成图像信息采集，存储于计算机，上述的图像信息指的是CCD或数码相机采集的烟叶图像，烟叶为整片烟叶；且采集的烟叶图像既可以同时利用烟叶的透射和反射两种图像，或者也可以仅利用透射图像。需要指出的是，本实施例中可以利用图像采集卡的二次开发功能，实时控制采集的图像信息并存储于计算机，便于实时识别分组(分部位)、分色和分级和再次学习。并且，本实施例中利用现有的近红外光谱仪进行光谱信息采集，其采集范围可以为320-3200nm或其中任意部分，另外也可参考现有光度分光计或光谱仪结构，并改进现有光度计样品室不宜固定烟叶样品、比较小等缺点。

②分别对获取的图像信息和光谱信息进行预处理并提取图像特征和光谱特征，然后分别对图像特征和光谱特征进行归一化处理。其中，对图像信息的预处理可以由软件或者根据采用的方法设计硬件完成，图像预处理包括去除图像噪声和压缩图像信息；采用的方法有边缘增强、小波分析、主成份分析、形态学或傅里叶变换中的任意一种方法或几种方法的组合。需要说明的是，上述边缘增强、小波分析、主成份分析、形态学和傅里叶变换均为本领域普通技术人员所熟知的技术，在图像处理时，可仅仅采用一种方法，也可以采用多种方法的组合。如可把图像中的噪声看做随机白噪声，就可以认为噪声表现高频，因此可以通过傅立叶变换FFT将信号从时域变换到频域，在频域中滤去高频部分，再做逆变换，从而去掉噪声；假设函数为f(t)，则其傅里叶变换公式：其逆变换公式为：小波变换不仅可以去噪，而且可以对图像进行压缩，最后针对压缩后的图像进行颜色、几何等特征提取。小波分析是信号处理领域中一种强有力的工具。它能够从信号中提取许多有用信息，是各种信号处理方法的统一处理框架。假设函数为f(t)，则其小波变换公式为：其中a称为尺度因子，b称为平移因子，ψ(t)称为母小波。逆变换或重构公式为：其中a称为尺度因子，b称为平移因子，ψ(t)称为母小波小波，C_ψ为容许小波，小波变换的实质是采用不同的尺度和窗口进行频域变换，其其压缩过程为：首先选择一个母函数，本实例中，采用DB6小波作为母小波，然后对图像特征作为函数进行小波变换，变换后的数据分为高频和低频两部分，高频反应噪声和信号的细节，低频是信号的主要成分，所以可以忽略高频部分，从而达到数据压缩的目的。当然如果高频部分忽略太多，就会丢失信号的细节太多，所以忽略的高频部分应该适当。

其中图像特征的提取包括：颜色特征，外观几何特征和内在特征。利用蓝红比、绿红比，色调，色度等表示颜色特征，利用面积、周长、残损率、圆度、长度、宽度、脉络长度和宽度、纹理特征表示几何特征，内在特征主要是烟叶的疏密度、厚度和含油量等，颜色特征和外观几何特征可利用反射图像提取。由于各特征量纲不同大小差别很大，要对所有特征进行归一化处理；同时这么多特征中有些特征间相互有关联，比如面积、周长、长度和宽度以及圆度相互间有关联，所以同时都用来作为特征进行分组、分色、分级并不合适，而且分组、分色和分级的主要影响特征也有所差别，所以我们提出利用自删减算法或自适应人工神经网络方法从所有影响烟叶级别的图像特征中选取取对烟叶分组、分色和分级起主要作用的特征，以提高正确吻合率和实时自动吻合速度。首先设计BP或RLS人工神经网络拓扑结构用于对烟叶进行分色或分组或分级，将所有特征作为人工神经网络的输入，并利用学习样本训练网络直到收敛；然后对中间层进行删减以提高网络的推广性和分级速度，删减时，应先提出用于自适应删减的判断准则，判断准则反应中间层与输出层之间神经元的互连权重对网络识别结果的重要性，根据判断准则对权重的重要性进行排队，然后根据分组或分色或分级误差，对中间层神经元进行删减；最后对输入层神经元进行删减，即对输入特征(图像或光谱)进行自适应删减，方法原理上与中间层神经元的删减相同。关键是判断准则的提出，如果判断准则仅仅是针对单一的互连权重提出，那么删减的是某些不重要的互连权重，而不一定能删减某个中间层或输入层神经元特征，如果想要删减一个输入特征，那么提出的判断准则要与所有与这个输入神经元相关的互连权重都有关才可以，一个特征对应神经网络模型的一个输入神经元，自适应删减输入神经元相当于自适应筛选对分级(分组、分色)更有用的特征，自适应筛选得判断准则的选择依据特征对正确分级(分组、分色)的贡献大小，比如设共有特征N个，某个特征假设为第i个特征，它对正确分级(分组、分色)的影响由它与神经网络模型的第一隐藏层各神经元的互连权重有关，假设第一隐藏层有M个神经元，第i个特征对应得第i个输入神经元与第一隐藏层的第j个神经元得互连权重为w_ij，是否删除第i个特征的判断准则与所有w_ij的大小，比如选择或者或者等，其中q_ii为误差的协方差矩阵的第i个对角元素，将所有N个E_i从小到大排队，删除与最小的E相对应得输入神经元，利用删除后得模型进行分级(分色、分部位)，和为删除的模型比较，正确分级(分色、分部位)率的下降满足所希望得值，则删除保留，如果不满足，不删除，依次进行下一个删除，删除直到正确分级率(分色、分部位)不满足时停止；或者计算E_i，并排队形成E(k)后，从最小的方向求K＝1，2，...N，表示删除特征的能量占总能量的比，根据经验选择合适的能量比值α，假设K＞L时，EE_L≥α，而EE_L-1＜α，则删除与小的L-1项E相对应得特征(神经元)，完成特征得筛选；由于输出不止一个神经元，所以中间层神经元的删减方法类似与输入层特征得删减。

对光谱信息的预处理包括消除基线漂移、去除光谱噪声和压缩光谱信息；光谱信息预处理方法包括减最小值、减平均值、差分输入、小波分析、主成份分析、独立成分分析、一阶微分处理、二阶微分处理、中值滤波和自适应删减算法的任意一种方法或几种方法的组合，上述的方法均为本领域普通技术人员所熟知的技术，在光谱处理时可仅采用一种方法，也可同时采用几种方法。以减最小值法为例说明，它就是将采集到一个样本光谱信息数据的最小值选取出来，其余数据都减去这个最小值。减最小值的作用是消除由于采集设备带来的基线漂移。采用其中一种方法，如减最小值，然后对光谱进行压缩，压缩方法有小波变换、改进小波变换、主成分分析和独立成分分析等等。其中改进小波变换如自适应小波变换，即在经典一维离散小波变换的基础上，对小波压缩方法进行了改进，以达到压缩数据和保留特征峰的目的。更进一步的，预处理时还可以联合小波和主成分分析方法，进一步压缩数据，提取主要成分。这样提取的光谱特征虽然都是烟叶的特征，但是不一定都对烟叶分组和分级都有较大的影响，因此有些特征在识别时应该剔除，我们提出利用自删减算法或自适应人工神经网络方法从所有影响烟叶级别的光谱特征中选取对烟叶分组或分级起主要作用的特征，以提高正确吻合率和实时自动吻合速度。③对归一化之后的图像特征和光谱特征进行融合；在本实施例中，采用人工神经网络进行图像特征和光谱特征的融合。

光谱特征可以很好地反映烟叶的厚度、结构疏密度、含油度和颜色特征，但是缺失了面积周长和残损率等外在几何特征。而如果烟叶的厚度、疏密度和含油度不能很好的被表示，那么就需要同时利用图像特征和光谱特征对烟叶进行分组、分色和分级，因此需要对两种不同性质的特征进行融合，对于采用人工神经网络进行分组、分色和分级来说，两种特征的融合，是重新设计人工神经网络拓扑结构，将两种特征联合起来共同作为神经网络输入，联合的过程中遇到的问题主要是不同特征在数值上可能差别很大，会影响神经网络进行分级的正确率，对所有特征进行归一化处理，使得输入特征值在0～1或者-1～1之间，归一化的时候最好是不同样本的同一特征进行，而不是在同一样本的不同特征之间进行，使得分色、部位或分级吻合率最好。这是一种软件上的融合。

④利用人工神经网络对融合后的特征进行分组、分色或分级。其中，人工神经网络包括BP、RLS、RBF、SVM等等。需要说明的是，可以利用人工神经网络方法同时对所有级别进行分级，也可以利用人工神经网路对烟叶分别进行分组、分色，然后再进行分级。同时对所有级别分级速度快，但是因为级别多可能不容易得到高的分级吻合率，串行的先进行分色分部位然后分级，速度略慢，由于把复杂问题分成3个部分解决，容易得到好的分级吻合率。

具体过程为：初步选择BP、RLS两种前馈网络加上自适应删减算法进行有用特征提取，并进行分组、分色和分级。首先采集相当数量烟叶的图像和光谱数据，然后作为这两种模型的初始输入，利用标准等级烟叶的特征训练这两个模型，训练好后，利用自删减算法并依据输出误差对中间层和输入特征进行删减，除去没有用或者影响不大的特征，留下来的特征被认为是对分组、分色或分级有比较大影响的特征。存储留下来特征在原来输入模式中的位置，以用来对测试模式进行有用特征提取。

利用这些特征对中间层删减后BP和RLS模型进行再次训练，得到最佳的互连权重，并对测试样本进行分组、分色或分级预测，如果正确识别率低，获取更多的烟叶数据，增加训练模式，继续训练网络，直到网络的正确识别率达到要求或者不再提高。

根据自删减结果对烟叶进行特征选取，并利用这些特征采用RBF和SVM等神经网络模型、最近邻距离等进行分组、分色；也可联合这些方法的某两种或更多以提高正确分色、分组和分级率。需要说明的是，最近邻距离包括欧氏、马氏、K聚类，加权欧氏(马氏)距离等等，均为本领域普通技术人员所熟知的技术。

实例：以基于光谱特征提取的烟叶两级分级为例说明上述方法的可行。

实验用某一C2L和X3F等级烟叶做了研究，在850-3200nm光谱范围内对C2L等级的烟叶，X3F等级的烟叶获取其红外吸收光谱。选用DB6小波对样本原始红外光谱数据进行自适应小波压缩。再利用变换后的数据对烟叶进行分级识别。实验采用支持向量机网络建立识别模型。采用高斯径向基函数为核函数。支持向量机网络：SVM神经网络是建立在统计学习理论基础上的另一种前馈型神经网络。其核心思想是：通过选择适当的核函数将原始输入空间换成高维空间，然后在这个高维空间中寻找最优分类面。高斯径向基函数：形式为其中x_c为核函数中心，σ为函数的宽度参数，控制了函数的径向作用范围。给出支持向量机模型图(其中X＝x_i，i＝1，2，....n为输入，为拉格朗日系数，K()为核函数，y为输出)。

图2-图5给出某一C2L的光谱图以及对他们进行三次小波变换压缩后的数据，其它烟叶的光谱分解结果相同，不再给出。图中横坐标表示红外光谱波段的数据个数。纵坐标表示烟叶在对应波长的相对吸收强度。

光谱波段的数据个数。纵坐标表示烟叶在对应波长的相对吸收强度。

表1给出C2L和X3F原始光谱数据分别经过四次小波变换压缩后与原始数据的标准差。

表1

从图2--5和表1综合权衡，实验中选取第二次压缩后的数据作为后面分级识别模型的输入数据。

对SVM网络进行训练，然后利用训练后的网络对学习样本和测试样本进行烟叶分级识别。实验结果表明：学习样本的正确识别率为100％，测试样本的正确识别率达到93.10％。

此例是关于烟叶的两级分级，应用推广到40级分级还有待进一步深究，但此种方法是证明完全可行的。

实施例2

在步骤③中，采取硬件分析方法进行特征融合。硬件实现法是指：它包括一个光源设备，光源设备中的光源波长为自适应提取光谱特征所提取的最有用波长，这个光源不仅仅用于采集光谱信息而且用于图像采集、及将图像和光谱的光源合并；或者在所述的光源设备中利用白光作为图像采集光源和可见光光谱光源，而发热多的红外光谱只作为光谱光源，利用不同的光电转换器件获取图像和光谱信息。

需要说明的是，上述光源设备中的图像和光谱信息采集为同时采集，或者为级联采集。

其他技术特征与实施例1相同。

Claims (2)

1.一种利用光谱和图像特征进行烟叶分级的方法，其特征在于，它包括以下步骤：

①实时获取待测烟叶的图像信息和光谱信息；

②分别对获取的图像信息和光谱信息进行预处理并提取图像特征和光谱特征，然后分别对图像特征和光谱特征进行归一化处理，进而分别对归一化后的图像特征和光谱特征进行自适应提取有用特征；在所述的步骤②中，对图像信息的预处理包括去除图像噪声和压缩图像信息；图像信息预处理方法包括边缘增强、小波分析、主成份分析、独立成分分析、形态学中的一种或几种；所述的图像特征包括几何特征、颜色特征和内在特征中的一种或几种；对图像特征进行归一化处理是指：将所有图像特征值限制在0~1或-1~1之间；对图像特征提取有用特征是指：利用自适应删减方法或自适应删减和人工神经网络联合方法对特征进行自适应筛选，依据分组、分色和分级结果从已提取的特征中筛选与分组、分色和分级密切相关的特征；在所述的步骤②中，对光谱信息的预处理包括消除基线漂移、去除光谱噪声和压缩光谱信息；光谱信息预处理方法包括减最小值、减平均值、差分输入、小波分析、主成份分析、独立成分分析、一阶微分处理、二阶微分处理、中值滤波和自适应删减算法的任意一种方法或几种方法的组合；对光谱特征进行归一化处理是指：将所有光谱特征值限制在0~1或-1~1之间；对光谱特征提取有用特征是指：利用自适应删减或自适应删减和人工神经网络联合方法，依据分组、分色和分级结果从光谱特征中筛选与分组、分色和分级密切的相关特征；

③采用人工神经网络方法或距离最近方法进行图像特征和光谱特征的融合；或者采取硬件方法进行特征融合；所述的硬件方法包括一个光源设备，所述光源设备中的光源波长为自适应提取光谱特征所提取的最有用波长，这个光源不仅仅用于采集光谱信息而且用于图像采集，及将图像和光谱的光源合并；或者在所述的光源设备中利用白光作为图像采集光源和可见光光谱光源，而发热多的红外只作为光谱光源，利用不同的光电转换器件获取图像和光谱信息；所述光源设备中的图像和光谱信息采集为同时采集，或者为级联采集；

④先采用人工神经网络对融合后的特征进行删减，再利用人工神经网络、遗传算法、最近距离算法、聚类算法、粗集算法中的一种或几种对融合后的特征进行分组、分色和分级。

2.根据权利要求1所述的利用光谱和图像特征进行烟叶分级的方法，其特征在于：在所述的步骤①中，利用CCD或数码相机进行图像信息采集，利用近红外光谱仪进行光谱信息采集。