CN110705655A - 一种基于光谱和机器视觉耦合的烟叶分类方法 - Google Patents

一种基于光谱和机器视觉耦合的烟叶分类方法 Download PDF

Info

Publication number
CN110705655A
CN110705655A CN201911071652.3A CN201911071652A CN110705655A CN 110705655 A CN110705655 A CN 110705655A CN 201911071652 A CN201911071652 A CN 201911071652A CN 110705655 A CN110705655 A CN 110705655A
Authority
CN
China
Prior art keywords
image
tobacco leaf
classification
spectrum
tobacco
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911071652.3A
Other languages
English (en)
Inventor
陈颐
何聪莲
尹志超
巩江世琪
任可
苏家恩
胡彬彬
赵高坤
邹聪明
姜永雷
董香娥
杨雪彪
王亚辉
汪华国
李文标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Academy of Tobacco Agricultural Sciences
Original Assignee
Yunnan Academy of Tobacco Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Academy of Tobacco Agricultural Sciences filed Critical Yunnan Academy of Tobacco Agricultural Sciences
Priority to CN201911071652.3A priority Critical patent/CN110705655A/zh
Publication of CN110705655A publication Critical patent/CN110705655A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacture Of Tobacco Products (AREA)

Abstract

本发明公开一种基于光谱和机器视觉耦合的烟叶分类方法，包括通过近红外光谱仪和摄像机采集烟叶的近红外光谱值及图像；将采集图像去除背景并降噪，计算烟叶近红外光谱点的平均值并消除烟叶颗粒分布不均对平均值的影响；提取图像特征；对图像特征和近红外光谱降维处理得到主要特征；将主要特征进行融合并采用归一化方法处理；创建分级模型并将样本分为训练集和验证集，对模型进行训练和分类以构建模型；将经融合的预分类烟叶特征导入分类模型进行判别以输出成熟度判定结果；分拣装置或工作人员根据输出的成熟度判定结果，将烟叶分类。本发明能够自动识别和判定烟叶成熟度及并指导或控制分类收集，具有分级准确、自动化程度高、不易损坏烟叶的特点。

Description

一种基于光谱和机器视觉耦合的烟叶分类方法
技术领域
本发明属于烟草技术领域，具体涉及一种分级准确、自动化程度高、不易损坏烟叶的基于光谱和机器视觉耦合的烟叶分类方法。
背景技术
“中国之有烟叶栽种，早在汉朝以前。”我国是世界烟叶生产第一大国，烟草是我国的重要经济作物。烟农采摘鲜烟叶，需要根据烟叶在植株的不同部位，以及根据鲜烟叶不同成熟度、不同大小、含水量、淀粉含量和蛋白质含量等进行分级，把相同等级的烟叶成束绑在烟竿和烟绳上，叶小或含水量低的稍密编，叶大、含水量高的略稀编，然后将成束不同等级的鲜烟叶放置在烤房不同位置，以避免烟叶在烘烤过程中水分排出速率不同，造成褐色烟叶。传统的人工手动对鲜烟叶分类的步骤较为繁琐，只能靠烟农或经专业培训的分拣人员完成，人工分级不仅资源耗费多、劳动强度大、效率低，而且人员容易受到环境条件、情绪、经验的丰缺程度等因素的影响，难以保证将烟叶分拣到特定的级别，分拣质量和精度也相对较低。此外，人工分级过程中很容易对鲜烟叶造成损伤，都会很大程度降低了烟叶的品质，从而减低烟叶经济价值。
随着机器视觉技术的进步，图像处理技术可达到对不同大小和颜色的图片进行识别的处理能力。另外，随着近红外技术在植株研究方面的进展，也有利用近红外离线检测烟叶化学成分，而且经多年的模型建立和维护，近红外检测值和实际值偏差小于3%，满足了企业离线检测的要求。因此，目前也有将机器视觉或近红外技术与自动化现结合，从某一方面实现烟叶的自动分级，但由于对烟叶分类考核指标单一，难以提高分级的精度。也有将机器视觉和近红外技术结合自动化，试图从烟叶大小、色泽及化学成分等多方面考量，以达到计算机智能控制的效果，从而提高烟叶分类精度和分级质量。但为了保证机器视觉的准确性，往往需要配套设置专用的光源及遮光罩来保证拍摄图像颜色的稳定性，一般还配套设置独立的光电探测器等辅助传感器来确定烟叶的位置，从而保证拍照时烟叶在镜头内的正确位置，不仅结构复杂、环境适应性弱，而且辅助准备时间长、数据量大、易损坏烟叶。
发明内容
本发明的目的在于提供一种分级准确、自动化程度高、不易损坏烟叶的基于光谱和机器视觉耦合的烟叶分类方法。
本发明的目的是这样实现的：包括烟叶图像及光谱采集、预处理、图像特征提取、主成分降维、数据融合、构建分级模型、分级判定、分级收集，具体包括：
A、烟叶图像及光谱采集：通过近红外光谱仪采集同一烟叶上多个点的近红外光谱值和通过摄像机采集同一烟叶的图像；
B、预处理：将采集的图像去除背景，然后将去除背景的图像降噪处理，计算同一烟叶所采集的所有近红外光谱点的平均值，然后消除烟叶颗粒分布不均匀对近红外光谱平均值的影响；
C、图像特征提取：提取降噪后图像的红体均值
Figure DEST_PATH_IMAGE001
、绿体均值
Figure DEST_PATH_IMAGE002
、蓝体均值
Figure DEST_PATH_IMAGE003
及对应的标准差、
Figure DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE006
，提取图像的色调均值
Figure DEST_PATH_IMAGE007
、饱和度均值
Figure DEST_PATH_IMAGE008
、明度均值及对应的标准差
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE012
，提取图像的平均灰度级m、标准差J、平滑度R、三阶矩
Figure DEST_PATH_IMAGE013
、一致性U和熵e，将前述各数值作为图像的特征；
D、主成分降维：采用主成分分析方法对图像特征和近红外光谱进行降维处理，得到烟叶图像及光谱的主要特征；
E、数据融合：将降维处理后得到的烟叶图像及光谱的主要特征进行特征层面融合，并对融合后的数据采用归一化方法处理；
F、构建分级模型：采用ELM（Extreme learning machine）方法对归一化的样本数据构建分类判别模型，使用10折交互验证法优化分类判别模型需要的隐层神经元数，将B步骤处理后的烟叶样本划分为训练集和验证集，使用训练集对分类判别模型进行独立训练，建立数据和类的关系，再用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别，最后将分类判别模型的输出分为未熟、适熟及过熟3类，完成分类模型的构建；
G、分级判定：将经融合的预分类烟叶特征导入F步骤建立的分类模型中进行判别，输出烟叶对应的成熟度判定结果；
H、分级收集：自动分拣装置或工作人员根据G步骤输出的烟叶成熟度判定结果，将对应烟叶放入不同的收集框中，完成烟叶的分类。
本发明的有益效果：
1、本发明通过构建分级模型，以训练集和验证集来提高模型对烟叶分级的准确度，结合摄像机和近红外光谱仪采集烟叶图像及光谱信号，分级模型能够综合考虑烟叶的大小、颜色及淀粉含量、蛋白质含量等特征，从而精确地判别出烟叶的等级，有效提高烟叶分类的准确性和效率，避免了传统人工判断鲜烟叶成熟度准确性低的难题，为建立智能化烟叶烘烤提供部分技术支持。
2、本发明通过前期对烟叶图像及光谱的采集，并依次经预处理、图像特征提取、主成分降维、数据融合的过程，能够消除环境自然光照变化和烟叶表面结构差异对后期分级判断的不利影响，而且多步骤的前置处理也能够减低后期分级判读的运算速度，从而提高分级的响应能力，达到高效率分类的目的。
3、本发明能够自动判断分级，并能指示工作人员或控制分拣模块将烟叶根据等级准确的分类集中，避免了传统人工在对鲜烟叶挑拣分类时易损伤烟叶的问题，不仅提高了烟叶的分拣质量和烟叶的完整度，而且也降低了烟叶分类及收集过程中的劳动强度。
附图说明
图1为本发明之烟叶分类方法流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变更或改进，均属于本发明的保护范围。
如图1所示，本发明包括烟叶图像及光谱采集、预处理、图像特征提取、主成分降维、数据融合、构建分级模型、分级判定、分级收集，具体包括：
A、烟叶图像及光谱采集：通过近红外光谱仪采集同一烟叶上多个点的近红外光谱值和通过摄像机采集同一烟叶的图像；
B、预处理：将采集的图像去除背景，然后将去除背景的图像降噪处理，计算同一烟叶所采集的所有近红外光谱点的平均值，然后消除烟叶颗粒分布不均匀对近红外光谱平均值的影响；
C、图像特征提取：提取降噪后图像的红体均值
Figure 611248DEST_PATH_IMAGE001
、绿体均值
Figure 793968DEST_PATH_IMAGE002
、蓝体均值
Figure 652334DEST_PATH_IMAGE003
及对应的标准差
Figure 516384DEST_PATH_IMAGE004
、
Figure 596336DEST_PATH_IMAGE005
、
Figure 746694DEST_PATH_IMAGE006
，提取图像的色调均值、饱和度均值、明度均值及对应的标准差
Figure 452034DEST_PATH_IMAGE010
、、
Figure 412217DEST_PATH_IMAGE012
，提取图像的平均灰度级m、标准差J、平滑度R、三阶矩
Figure 529077DEST_PATH_IMAGE013
、一致性U和熵e，将前述各数值作为图像的特征；
D、主成分降维：采用主成分分析方法对图像特征和近红外光谱进行降维处理，得到烟叶图像及光谱的主要特征；
E、数据融合：将降维处理后得到的烟叶图像及光谱的主要特征进行特征层面融合，并对融合后的数据采用归一化方法处理；
F、构建分级模型：采用ELM（Extreme learning machine）方法对归一化的样本数据构建分类判别模型，使用10折交互验证法优化分类判别模型需要的隐层神经元数，将B步骤处理后的烟叶样本划分为训练集和验证集，使用训练集对分类判别模型进行独立训练，建立数据和类的关系，再用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别，最后将分类判别模型的输出分为未熟、适熟及过熟3类，完成分类模型的构建；
G、分级判定：将经融合的预分类烟叶特征导入F步骤建立的分类模型中进行判别，输出烟叶对应的成熟度判定结果；
H、分级收集：自动分拣装置或工作人员根据G步骤输出的烟叶成熟度判定结果，将对应烟叶放入不同的收集框中，完成烟叶的分类。
所述A步骤中近红外光谱仪扫描烟叶时避开主脉并在主脉两侧各取3～12个点，每个点测量3次取平均值作为该点的近红外光谱值。
所述B步骤中的图像去除背景是使用matlab软件去除所采集图像中无关的背景；图像去噪处理是先将采集的彩色图像转换为灰度图像，然后采用WT（小波变换）技术对烟叶图像进行滤波处理，将图像数据转换到小波域，相应的图像信息作为小波系数，将振幅小于阈值的小波系数删除，可视为删除了图像中的噪声。
所述B步骤中采用Savitzky-Golay平滑法对近红外光谱平均值进行平滑处理，平滑窗口为13，然后应用MSC（Multiplicative scatter correction）算法对平滑处理后的近红外光谱平均值进行处理，以消除烟叶颗粒分布不均匀的影响；对于创建分类模型的烟叶样品，经消除颗粒分布不均匀影响的近红外光谱平均值，将处理后的样本通过Kennard-Stone样本划分方法划分为训练集和验证集。
所述C步骤中直接提取降噪后图像的红体均值
Figure 162184DEST_PATH_IMAGE001
、绿体均值
Figure 669389DEST_PATH_IMAGE002
、蓝体均值
Figure 23141DEST_PATH_IMAGE003
及对应的标准差
Figure 932191DEST_PATH_IMAGE004
、、
Figure 793017DEST_PATH_IMAGE006
作为图像的基本特征；将降噪后图像由RGB模式转换为HSV模式，提取转换后图像对应的色调均值、饱和度均值
Figure 838650DEST_PATH_IMAGE008
、明度均值
Figure 875876DEST_PATH_IMAGE009
及对应的标准差
Figure 394889DEST_PATH_IMAGE010
、、作为图像的颜色特征；将降噪后图像由RGB模式转换为灰度模式，然后利用图像统计矩方法从灰度图像中提取平均灰度级m、标准差J、平滑度R、三阶矩
Figure 634744DEST_PATH_IMAGE013
、一致性U和熵e作为图像的纹理特征。
所述D步骤中主成分降维步骤如下：
Step1：利用预先收集的样本集建立原始数据矩阵X={X 1 ,X 2 ,…,X p }；
Step2：为消除量纲影响，原始数据标准化处理得到标准化矩阵D：
Figure DEST_PATH_IMAGE014
， (i=1, 2,…, n; j=1,2,…,p)，
其中：
Figure DEST_PATH_IMAGE015
，i为第i个样本，j为第j个主成分；
Figure DEST_PATH_IMAGE016
，得到标准化矩阵D；
Step3：对标准化矩阵D计算样本相关系数矩阵R：
Figure DEST_PATH_IMAGE017
，
其中，
Figure DEST_PATH_IMAGE018
， (i, j=1,2,…,p)；
Step4：求出 特征值以及每个特征值对应的向量：
Figure DEST_PATH_IMAGE020
，
其中：I p 为特征向量，得p个特征值λ1>λ2>…>λ p ；
Step5：计算主成分贡献率和累计贡献率，根据每维特征贡献率大小，选取贡献率排在前面的特征：
贡献率：
Figure DEST_PATH_IMAGE021
，(i=1, 2,…, p)，
累积贡献率：
Figure DEST_PATH_IMAGE022
，(i=1, 2,…, p)，
其中：k为特征数；
Step6：将标准化后的指标变量转换为主成分U ij ：
Figure DEST_PATH_IMAGE023
， (j=1, 2, …, p)，
其中：T为属性空间。
所述E步骤的数据归一化处理，是将所有数据转换到0和1之间，函数形式如下：
X=(X k -X min )/(X max -X min )，
其中：X k 为原始数据，X min 为数据序列中的最小值，X max 为序列中的最大值。
所述F步骤的ELM方法中，具有L个隐层神经元的标准SLFNs与激励函数组合的数学模型为：
Figure DEST_PATH_IMAGE024
，对于给定的训练集
Figure DEST_PATH_IMAGE025
，激励函数g(x)，隐层神经元个数L，ELM的核心算法步骤如下：
输入：训练样本集
Figure 728471DEST_PATH_IMAGE025
，隐层神经元个数和激励函数g(x)；
（1）任意给定输入权重a i 和隐层偏置b i ，i=1,2,…,N；
（2）计算隐层输出矩阵H；
（3）计算输出权重β：；
其中：x i =(x i1 ,x i2 ,…x in ) T ∈R n 表示样本集中的数据本身；t i =(t i1 ,t i2 ,…t im ) T ∈R m ，代表样本的标签数据；a j = [a j1 , a j2 ,L , a jn ] ∈R n 为随机生成的第j个隐层神经元与输入神经元的连接权重，即输入权重；b j ∈R（j=1,2,K,L）表示随机生成的第j个隐层神经元学习参数，即神经元偏置；β j =[β j1 ,β j2 ,L, β jm ] T ∈R m 表示第j个隐层神经元与输出神经元的连接权重及输出权重；a j ∙x i 表示a j 和x i 的内积；T为期望输出矩阵；H†为H的Moore-Penrose广义逆，H † =H T (HH T ) -1 。
实施例：
如图1，启动设备，摄像机、近红外光谱仪、输送模块、分拣模块及计算机（控制模块）自检，自检通过后，计算机控制摄像机或摄像机自动拍摄标准白板的图像，识别图像中的标准白板的白平衡与预设的实际白平衡值比较，完成白平衡校正。
S110：按未熟、适熟及过熟3类各挑选45片烟叶作为样本，然后按烟叶不同成熟度由专业评审人员评审结果和理化分析结果来确定，评审和理化分析严格按照国家标准指定的各项指标执行，将这些样本作为标准样本建立标准数据库。分别依次将上述烟叶整齐铺在输送模块的传送带上，每片烟叶间隔约0.15m，烟叶随传送带移动到摄像机的镜头下并被实时拍摄，拍摄图像传送到计算机，计算机中的控制模块自动检测到烟叶进入，控制摄像机抓拍到烟叶全景图像并导入计算机；然后烟叶继续随传送带移动到近红外光谱仪的探头下，计算机中的控制模块控制近红外光谱仪在烟叶的视线范围内避开主脉，在主脉左右两侧各取6个点扫描以获取包括淀粉含量、蛋白质含量等化学成分，每个点测量3次取平均值，所有点的平均值作为该烟叶的代表光谱，然后将将烟叶6个点的光谱平均值导入计算机。
S150：将采收的烟叶分别依次整齐铺在传送带上，每片烟叶间隔约0.15m，烟叶随传送带移动到全局自动曝光摄像机的镜头下并被实时拍摄，拍摄图像传送到计算机，计算机中的控制模块自动检测到烟叶进入，控制摄像机抓拍到烟叶全景图像并导入计算机；然后烟叶继续随传送带移动到近红外光谱仪的探头下，计算机中的控制模块控制近红外光谱仪在烟叶的视线范围内避开主脉，在主脉左右两侧各取6个点扫描以获取包括淀粉含量、蛋白质含量等化学成分，每个点测量3次取平均值，所有点的平均值作为该烟叶的代表光谱，然后将将烟叶6个点的光谱平均值导入计算机。
S200：将S110或S150采集的图像使用matlab软件去除无关的背景，然后将去除背景的彩色图像转换为灰度图像，然后采用WT（小波变换）技术对烟叶图像滤波处理转换到小波域，相应的图像信息作为小波系数，将振幅小于阈值的小波系数删除，从而可视为删除了图像中的噪声；同时，计算同一烟叶所采集的6个近红外光谱点的平均值，然后采用Savitzky-Golay平滑法对近红外光谱平均值进行平滑处理，平滑窗口为13，然后应用MSC算法对平滑处理后的近红外光谱平均值进行处理，以消除烟叶颗粒分布不均匀的影响。
S300：提取降噪后图像的红体均值
Figure DEST_PATH_IMAGE028
、绿体均值
Figure DEST_PATH_IMAGE029
、蓝体均值
Figure DEST_PATH_IMAGE030
及对应的标准差
Figure DEST_PATH_IMAGE031
、
Figure DEST_PATH_IMAGE032
、作为图像的基本特征；为使颜色模式比较符合人眼的习惯，将降噪后图像由RGB模式转换为HSV模式，提取转换后图像对应的色调均值
Figure DEST_PATH_IMAGE034
、饱和度均值
Figure DEST_PATH_IMAGE035
、明度均值及对应的标准差
Figure DEST_PATH_IMAGE037
、
Figure DEST_PATH_IMAGE038
、
Figure DEST_PATH_IMAGE039
作为图像的颜色特征；为了获得不同成熟等级烟叶纹理变化的特征信息，将降噪后图像由RGB模式转换为灰度模式，然后利用图像统计矩方法从灰度图像中提取平均灰度级m、标准差J、平滑度R、三阶矩
Figure DEST_PATH_IMAGE040
、一致性U和熵e作为图像的纹理特征，即从每个烟叶图像中提取18个特征变量。
S400：采用主成分分析法对所提取的图像特征和近红外光谱特征进行主成分降维，得到烟叶图像和光谱的主要特征；主成分分析算法具体步骤如下：
Step1：利用预先收集的样本集建立原始数据矩阵X={X 1 ,X 2 ,…,X p }；
Step2：为消除量纲影响，原始数据标准化处理得到标准化矩阵D：
Figure DEST_PATH_IMAGE041
， (i=1, 2,…, n; j=1,2,…,p)，
其中：
Figure DEST_PATH_IMAGE042
，i为第i个样本，j为第j个主成分；
Figure DEST_PATH_IMAGE043
，得到标准化矩阵D；
Step3：对标准化矩阵D计算样本相关系数矩阵R：
Figure DEST_PATH_IMAGE044
，
其中，
Figure DEST_PATH_IMAGE045
， (i, j=1,2,…,p)；
Step4：求出
Figure DEST_PATH_IMAGE046
特征值以及每个特征值对应的向量：
Figure DEST_PATH_IMAGE047
，
其中：I p 为特征向量，得p个特征值λ1>λ2>…>λ p ；
Step5：计算主成分贡献率和累计贡献率，根据每维特征贡献率大小，选取贡献率排在前面的特征：
贡献率：
Figure DEST_PATH_IMAGE048
，(i=1, 2,…, p)，
累积贡献率：
Figure DEST_PATH_IMAGE049
，(i=1, 2,…, p)，
其中：k为特征数；
Step6：将标准化后的指标变量转换为主成分U ij ：
Figure DEST_PATH_IMAGE050
， (j=1, 2, …, p)，
其中：T为属性空间。
表1 图片特征得分最高的6个主成分贡献率
Figure DEST_PATH_IMAGE051
表2 近红外光谱得分最高的7个主成分贡献率
S500：将降维处理后得到的烟叶图像及光谱的主要特征进行特征层面融合，并对融合后的数据采用归一化方法处理；其中数据归一化处理，是将所有数据转换到0和1之间，函数形式如下：
X=(X k -X min )/(X max -X min )，
其中：X k 为原始数据，X min 为数据序列中的最小值，X max 为序列中的最大值。
采用ELM（Extreme learning machine）方法对归一化的样本数据构建分类判别模型，使用10折交互验证法（10-fold Cross Validation）优化分类判别模型需要的隐层神经元数，将B步骤处理后的烟叶样本划分为训练集和验证集，使用训练集对分类判别模型进行独立训练，建立数据和类的关系，再用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别，最后将分类判别模型的输出分为未熟、适熟及过熟3类，完成分类模型的构建。
S600：采用ELM方法对归一化的样本数据构建分类判别模型，使用10折交互验证法优化分类判别模型需要的隐层神经元数，其中未熟、适熟、过熟的烟叶分类判别模型的隐层神经元数分别选择14、11和19；将S200步骤处理后的各45片烟叶样本通过Kennard-Stone样本划分方法划分为训练集和验证集，使用训练集对分类判别模型进行独立训练，建立数据和类的关系，再用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别，最后将分类判别模型的输出分为未熟、适熟及过熟3类，完成分类模型的构建；
一般而言，具有L个隐层神经元的标准SLFNs与激励函数组合的数学模型为：
Figure DEST_PATH_IMAGE053
，对于给定的训练集
Figure DEST_PATH_IMAGE054
，激励函数g(x)，隐层神经元个数L，ELM的核心算法步骤如下：
输入：训练样本集
Figure 244028DEST_PATH_IMAGE054
，隐层神经元个数L和激励函数g(x)；
（1）任意给定输入权重a i 和隐层偏置b i ，i=1,2,…,N；
（2）计算隐层输出矩阵H；
（3）计算输出权重β：
Figure 982177DEST_PATH_IMAGE027
；
其中：x i =(x i1 ,x i2 ,…x in ) T ∈R n 表示样本集中的数据本身；t i =(t i1 ,t i2 ,…t im ) T ∈R m ，代表样本的标签数据；a j = [a j1 , a j2 ,L , a jn ] ∈R n 为随机生成的第j个隐层神经元与输入神经元的连接权重，即输入权重；b j ∈R（j=1,2,K,L）表示随机生成的第j个隐层神经元学习参数，即神经元偏置；β j =[β j1 ,β j2 ,L, β jm ] T ∈R m 表示第j个隐层神经元与输出神经元的连接权重及输出权重；a j ∙x i 表示a j 和x i 的内积；T为期望输出矩阵；H†为H的Moore-Penrose广义逆，H † =H T (HH T ) -1 。
将构建的分类判别模型在隐层神经元数分别选择14、11和19的最优参数下运行1000次，用结果和频率来衡量其稳定性，如表3所示，融合模型较图像特征模型和近红外光谱模型的预测分类正确率都有一定的提高。
表3 分类判别融合模型分类准确率（%）
S700：将S150采集并经融合的预分类烟叶的特征导入S600步骤建立的分类模型中进行判别，输出烟叶对应的成熟度判定结果。
S800：自动分拣装置的计算机根据G步骤输出的烟叶成熟度判定结果控制分拣模块动作，将对应烟叶分流至相应烟叶成熟度的收集筐内，完成烟叶的成熟度分类。

Claims (8)

1.一种基于光谱和机器视觉耦合的烟叶分类方法，其特征在于包括烟叶图像及光谱采集、预处理、图像特征提取、主成分降维、数据融合、构建分级模型、分级判定、分级收集，具体包括：
A、烟叶图像及光谱采集：通过近红外光谱仪采集同一烟叶上多个点的近红外光谱值和通过摄像机采集同一烟叶的图像；
B、预处理：将采集的图像去除背景，然后将去除背景的图像降噪处理，计算同一烟叶所采集的所有近红外光谱点的平均值，然后消除烟叶颗粒分布不均匀对近红外光谱平均值的影响；
C、图像特征提取：提取降噪后图像的红体均值
Figure 525739DEST_PATH_IMAGE001
、绿体均值、蓝体均值
Figure 126537DEST_PATH_IMAGE003
及对应的标准差
Figure 983635DEST_PATH_IMAGE004
、、，提取图像的色调均值、饱和度均值
Figure 832325DEST_PATH_IMAGE008
、明度均值及对应的标准差
Figure 282209DEST_PATH_IMAGE010
、、
Figure 482563DEST_PATH_IMAGE012
，提取图像的平均灰度级m、标准差J、平滑度R、三阶矩、一致性U和熵e，将前述各数值作为图像的特征；
D、主成分降维：采用主成分分析方法对图像特征和近红外光谱进行降维处理，得到烟叶图像及光谱的主要特征；
E、数据融合：将降维处理后得到的烟叶图像及光谱的主要特征进行特征层面融合，并对融合后的数据采用归一化方法处理；
F、构建分级模型：采用ELM方法对归一化的样本数据构建分类判别模型，使用10折交互验证法优化分类判别模型需要的隐层神经元数，将B步骤处理后的烟叶样本划分为训练集和验证集，使用训练集对分类判别模型进行独立训练，建立数据和类的关系，再用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别，最后将分类判别模型的输出分为未熟、适熟及过熟3类，完成分类模型的构建；
G、分级判定：将经融合的预分类烟叶特征导入F步骤建立的分类模型中进行判别，输出烟叶对应的成熟度判定结果；
H、分级收集：自动分拣装置或工作人员根据G步骤输出的烟叶成熟度判定结果，将对应烟叶放入不同的收集框中，完成烟叶的分类。
2.根据权利要求1所述基于光谱和机器视觉耦合的烟叶分类方法，其特征在于所述A步骤中近红外光谱仪扫描烟叶时避开主脉并在主脉两侧各取3～12个点，每个点测量3次取平均值作为该点的近红外光谱值。
3.根据权利要求1所述基于光谱和机器视觉耦合的烟叶分类方法，其特征在于所述B步骤中的图像去除背景是使用matlab软件去除所采集图像中无关的背景；图像去噪处理是先将采集的彩色图像转换为灰度图像，然后采用WT技术对烟叶图像进行滤波处理，将图像数据转换到小波域，相应的图像信息作为小波系数，将振幅小于阈值的小波系数删除，可视为删除了图像中的噪声。
4.根据权利要求1所述基于光谱和机器视觉耦合的烟叶分类方法，其特征在于所述B步骤中采用Savitzky-Golay平滑法对近红外光谱平均值进行平滑处理，平滑窗口为13，然后应用MSC算法对平滑处理后的近红外光谱平均值进行处理，以消除烟叶颗粒分布不均匀的影响；对于创建分类模型的烟叶样品，经消除颗粒分布不均匀影响的近红外光谱平均值，将处理后的样本通过Kennard-Stone样本划分方法划分为训练集和验证集。
5.根据权利要求1所述基于光谱和机器视觉耦合的烟叶分类方法，其特征在于所述C步骤中直接提取降噪后图像的红体均值
Figure 472702DEST_PATH_IMAGE001
、绿体均值
Figure 961452DEST_PATH_IMAGE002
、蓝体均值
Figure 964043DEST_PATH_IMAGE003
及对应的标准差
Figure 487429DEST_PATH_IMAGE004
、
Figure 464743DEST_PATH_IMAGE005
、
Figure 706369DEST_PATH_IMAGE006
作为图像的基本特征；将降噪后图像由RGB模式转换为HSV模式，提取转换后图像对应的色调均值
Figure 247071DEST_PATH_IMAGE007
、饱和度均值
Figure 687280DEST_PATH_IMAGE008
、明度均值
Figure 288025DEST_PATH_IMAGE009
及对应的标准差
Figure 751368DEST_PATH_IMAGE010
、
Figure 95762DEST_PATH_IMAGE011
、
Figure 406788DEST_PATH_IMAGE012
作为图像的颜色特征；将降噪后图像由RGB模式转换为灰度模式，然后利用图像统计矩方法从灰度图像中提取平均灰度级m、标准差J、平滑度R、三阶矩
Figure 912856DEST_PATH_IMAGE013
、一致性U和熵e作为图像的纹理特征。
6.根据权利要求1所述基于光谱和机器视觉耦合的烟叶分类方法，其特征在于所述D步骤中主成分降维步骤如下：
Step1：利用预先收集的样本集建立原始数据矩阵X={X 1 ,X 2 ,…,X p }；
Step2：为消除量纲影响，原始数据标准化处理得到标准化矩阵D：
Figure 129074DEST_PATH_IMAGE014
， (i=1, 2,…, n; j=1,2,…,p)，
其中：
Figure 11579DEST_PATH_IMAGE015
，i为第i个样本，j为第j个主成分；
Figure 426380DEST_PATH_IMAGE016
，得到标准化矩阵D；
Step3：对标准化矩阵D计算样本相关系数矩阵R：
Figure 103349DEST_PATH_IMAGE017
，
其中，
Figure 541283DEST_PATH_IMAGE018
， (i, j=1,2,…,p)；
Step4：求出
Figure 37599DEST_PATH_IMAGE019
特征值以及每个特征值对应的向量：
Figure 244590DEST_PATH_IMAGE020
，
其中：I p 为特征向量，得p个特征值λ1>λ2>…>λ p ；
Step5：计算主成分贡献率和累计贡献率，根据每维特征贡献率大小，选取贡献率排在前面的特征：
贡献率：，(i=1, 2,…, p)，
累积贡献率：
Figure 283270DEST_PATH_IMAGE022
，(i=1, 2,…, p)，
其中：k为特征数；
Step6：将标准化后的指标变量转换为主成分U ij ：
Figure 569895DEST_PATH_IMAGE023
， (j=1, 2, …, p)，
其中：T为属性空间。
7.根据权利要求1所述基于光谱和机器视觉耦合的烟叶分类方法，其特征在于所述E步骤的数据归一化处理，是将所有数据转换到0和1之间，函数形式如下：
X=(X k -X min )/(X max -X min )，
其中：X k 为原始数据，X min 为数据序列中的最小值，X max 为序列中的最大值。
8.根据权利要求1至7任意一项所述基于光谱和机器视觉耦合的烟叶分类方法，其特征在于所述F步骤的ELM方法中，具有L个隐层神经元的标准SLFNs与激励函数组合的数学模型为：
Figure 896971DEST_PATH_IMAGE024
，对于给定的训练集，激励函数g(x)，隐层神经元个数L，ELM的核心算法步骤如下：
输入：训练样本集
Figure 328269DEST_PATH_IMAGE025
，隐层神经元个数L和激励函数g(x)；
（1）任意给定输入权重a i 和隐层偏置b i ，i=1,2,…,N；
（2）计算隐层输出矩阵H；
（3）计算输出权重β：
Figure 169317DEST_PATH_IMAGE026
；
其中：x i =(x i1 ,x i2 ,…x in ) T ∈R n 表示样本集中的数据本身；t i =(t i1 ,t i2 ,…t im ) T ∈R m ，代表样本的标签数据；a j = [a j1 , a j2 ,L , a jn ] ∈R n 为随机生成的第j个隐层神经元与输入神经元的连接权重，即输入权重；b j ∈R（j=1,2,K,L）表示随机生成的第j个隐层神经元学习参数，即神经元偏置；β j =[β j1 ,β j2 ,L, β jm ] T ∈R m 表示第j个隐层神经元与输出神经元的连接权重及输出权重；a j ∙x i 表示a j 和x i 的内积；T为期望输出矩阵；H†为H的Moore-Penrose广义逆，H † =H T (HH T ) -1 。
CN201911071652.3A 2019-11-05 2019-11-05 一种基于光谱和机器视觉耦合的烟叶分类方法 Pending CN110705655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911071652.3A CN110705655A (zh) 2019-11-05 2019-11-05 一种基于光谱和机器视觉耦合的烟叶分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911071652.3A CN110705655A (zh) 2019-11-05 2019-11-05 一种基于光谱和机器视觉耦合的烟叶分类方法

Publications (1)

Publication Number Publication Date
CN110705655A true CN110705655A (zh) 2020-01-17

Family

ID=69205076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911071652.3A Pending CN110705655A (zh) 2019-11-05 2019-11-05 一种基于光谱和机器视觉耦合的烟叶分类方法

Country Status (1)

Country Link
CN (1) CN110705655A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111398214A (zh) * 2020-04-30 2020-07-10 南京佳和牙科技术有限公司 基于机器视觉与近红外光谱相结合的齿科产品材质识别方法
CN111539920A (zh) * 2020-04-16 2020-08-14 泸州老窖酿酒有限责任公司 一种白酒酿造过程中糟醅质量的自动检测方法
CN112529838A (zh) * 2020-11-05 2021-03-19 云南省烟草农业科学研究院 一种基于图像处理技术的烟叶成熟度在线判别方法
CN112949704A (zh) * 2021-02-24 2021-06-11 北京优创新港科技股份有限公司 一种基于图像分析的烟叶成熟度状态识别方法及装置
CN113210264A (zh) * 2021-05-19 2021-08-06 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113919690A (zh) * 2021-10-09 2022-01-11 四川农业大学 一种烟叶田间成熟状态评价方法和应用
CN113989176A (zh) * 2020-07-10 2022-01-28 福建省烟草公司龙岩市公司 一种烟草鲜叶成熟度判定模型的构建方法
CN114018863A (zh) * 2021-11-03 2022-02-08 杭州电子科技大学 基于近红外光谱和对比学习的烟叶部位判别方法及装置
CN114521664A (zh) * 2022-01-13 2022-05-24 浙江大学 一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置
CN117054372A (zh) * 2023-08-15 2023-11-14 广东省农业科学院茶叶研究所 基于nirs与cv的茶叶品质等级检测方法和系统
CN117788960A (zh) * 2024-02-27 2024-03-29 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种基于双模型的烟叶返青判定方法、介质及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012063241A1 (en) * 2010-11-11 2012-05-18 Avi Buzaglo Yoresh System and method for detection of minefields
CN102589470A (zh) * 2012-02-14 2012-07-18 大闽食品（漳州）有限公司 一种基于模糊神经网络的茶叶外观品质的量化方法
CN103543107A (zh) * 2013-10-21 2014-01-29 梁洪波 基于机器视觉和高光谱技术的烟叶智能分级系统和方法
CN106156797A (zh) * 2016-07-08 2016-11-23 常熟理工学院 一种柴油机颗粒物排放危害的评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012063241A1 (en) * 2010-11-11 2012-05-18 Avi Buzaglo Yoresh System and method for detection of minefields
CN102589470A (zh) * 2012-02-14 2012-07-18 大闽食品（漳州）有限公司 一种基于模糊神经网络的茶叶外观品质的量化方法
CN103543107A (zh) * 2013-10-21 2014-01-29 梁洪波 基于机器视觉和高光谱技术的烟叶智能分级系统和方法
CN106156797A (zh) * 2016-07-08 2016-11-23 常熟理工学院 一种柴油机颗粒物排放危害的评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宾俊: "广义灰色体系和无损分析技术在烟叶生产加工过程中的应用", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅰ辑》 *
曹萌萌: "气候变暖背景下黑龙江省水稻种植适宜性区划", 《中国优秀博硕士学位论文全文数据库(硕士)农业科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539920A (zh) * 2020-04-16 2020-08-14 泸州老窖酿酒有限责任公司 一种白酒酿造过程中糟醅质量的自动检测方法
CN111539920B (zh) * 2020-04-16 2022-03-15 泸州老窖酿酒有限责任公司 一种白酒酿造过程中糟醅质量的自动检测方法
CN111398214A (zh) * 2020-04-30 2020-07-10 南京佳和牙科技术有限公司 基于机器视觉与近红外光谱相结合的齿科产品材质识别方法
CN113989176B (zh) * 2020-07-10 2024-05-31 福建省烟草公司龙岩市公司 一种烟草鲜叶成熟度判定模型的构建方法
CN113989176A (zh) * 2020-07-10 2022-01-28 福建省烟草公司龙岩市公司 一种烟草鲜叶成熟度判定模型的构建方法
CN112529838A (zh) * 2020-11-05 2021-03-19 云南省烟草农业科学研究院 一种基于图像处理技术的烟叶成熟度在线判别方法
CN112949704A (zh) * 2021-02-24 2021-06-11 北京优创新港科技股份有限公司 一种基于图像分析的烟叶成熟度状态识别方法及装置
CN113919442A (zh) * 2021-02-24 2022-01-11 北京优创新港科技股份有限公司 一种基于卷积神经网络烟叶成熟度状态识别模型
CN113210264A (zh) * 2021-05-19 2021-08-06 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113210264B (zh) * 2021-05-19 2023-09-05 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113919690B (zh) * 2021-10-09 2023-08-29 四川农业大学 一种烟叶田间成熟状态评价方法和应用
CN113919690A (zh) * 2021-10-09 2022-01-11 四川农业大学 一种烟叶田间成熟状态评价方法和应用
CN114018863B (zh) * 2021-11-03 2023-07-28 杭州电子科技大学 基于近红外光谱和对比学习的烟叶部位判别方法及装置
CN114018863A (zh) * 2021-11-03 2022-02-08 杭州电子科技大学 基于近红外光谱和对比学习的烟叶部位判别方法及装置
CN114521664A (zh) * 2022-01-13 2022-05-24 浙江大学 一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置
CN117054372A (zh) * 2023-08-15 2023-11-14 广东省农业科学院茶叶研究所 基于nirs与cv的茶叶品质等级检测方法和系统
CN117054372B (zh) * 2023-08-15 2024-04-05 广东省农业科学院茶叶研究所 基于nirs与cv的茶叶品质等级检测方法和系统
CN117788960A (zh) * 2024-02-27 2024-03-29 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种基于双模型的烟叶返青判定方法、介质及系统
CN117788960B (zh) * 2024-02-27 2024-05-17 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种基于双模型的烟叶返青判定方法、介质及系统

Similar Documents

Publication Publication Date Title
CN110705655A (zh) 一种基于光谱和机器视觉耦合的烟叶分类方法
CN113989279B (zh) 基于人工智能及图像处理的塑料薄膜质量检测方法
CN109269951B (zh) 基于图像的浮选尾煤灰分、浓度、粗颗粒含量检测方法
CN104198324B (zh) 基于计算机视觉的烟丝中叶丝比例测定方法
CN109308697A (zh) 一种基于机器学习算法的树叶病害识别方法
CN110479636B (zh) 基于神经网络自动分拣烟叶的方法及装置
CN110736709A (zh) 一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法
CN108287010A (zh) 一种螃蟹多指标分级装置与方法
CN103543107B (zh) 基于机器视觉和高光谱技术的烟叶智能分级系统和方法
AU2020103260A4 (en) Rice blast grading system and method
Patki et al. Cotton leaf disease detection & classification using multi SVM
Pandey et al. Non-destructive quality grading of mango (Mangifera Indica L) based on CIELab colour model and size
CN104198325A (zh) 基于计算机视觉的烟丝中梗丝比例测定方法
CN111199192A (zh) 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
Raut et al. Assessment of fruit maturity using digital image processing
Guoxiang et al. Image segmentation algorithm for greenhouse cucumber canopy under various natural lighting conditions
CN112858311A (zh) 一种基于机器视觉技术的稻米表型监测系统及方法
Ji et al. Apple color automatic grading method based on machine vision
CN110111263B (zh) 一种基于图像处理的烤烟种植指导系统
CN109829496B (zh) 一种物理测量分类方法及设备
CN115170862A (zh) 一种基于机器视觉的鲜烟部位识别方法
CN114521664B (zh) 一种基于多模态图像数据和深度神经网络的自动烟叶分级系统及装置
CN114766706B (zh) 一种烟叶除杂与定级方法
CN113283378B (zh) 一种基于梯形区域归一化像素差异特征的猪脸检测方法
Narendra et al. An intelligent system for identification of Indian Lentil types using Artificial Neural Network (BPNN)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication