CN112818827A - 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法 - Google Patents

基于图像识别的烟叶烘烤过程中阶段控温点的判断方法 Download PDF

Info

Publication number
CN112818827A
CN112818827A CN202110121641.2A CN202110121641A CN112818827A CN 112818827 A CN112818827 A CN 112818827A CN 202110121641 A CN202110121641 A CN 202110121641A CN 112818827 A CN112818827 A CN 112818827A
Authority
CN
China
Prior art keywords
tobacco leaf
image
temperature control
control point
tobacco
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110121641.2A
Other languages
English (en)
Other versions
CN112818827B (zh
Inventor
韦克苏
涂永高
王丰
姜均
武圣江
李德仑
张灵
蓝海波
汤继中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Institute of Tobacco Science
Original Assignee
Guizhou Institute of Tobacco Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Institute of Tobacco Science filed Critical Guizhou Institute of Tobacco Science
Priority to CN202110121641.2A priority Critical patent/CN112818827B/zh
Publication of CN112818827A publication Critical patent/CN112818827A/zh
Application granted granted Critical
Publication of CN112818827B publication Critical patent/CN112818827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的烟叶烘烤过程中阶段控温点的判断方法，其中，所述方法包括：获取烘烤的烟叶图像；对所述烟叶图像进行预处理，得预处理图像；将所述预处理图像输入到烟叶烘烤阶段控温点识别模型中，判断烘烤烟叶是否处于阶段控温点。本发明通过提取出烟叶颜色特征、主脉颜色特征、烟叶纹理特征和面积比特征等烟叶的主要特征，并与CNN卷积特征共同建立烟叶烘烤阶段控温点识别模型，以此预测烟叶的烘烤阶段控温点，进而可为烟叶的智能化烘烤提供依据。

Description

基于图像识别的烟叶烘烤过程中阶段控温点的判断方法
技术领域
本发明涉及一种基于图像识别的烟叶烘烤过程中阶段控温点的判断方法，属于烟叶烘烤技术领域。
背景技术
烟叶烘烤是烟草生产工艺中的一个重要步骤，目的是促进烟叶变黄和烘干。烘烤工艺一般将烟叶烘烤分为变黄期、定色期、干筋期三个阶段，每个阶段又细分为若干小阶段。在烘烤过程中，烘烤工程师通过观察来调整烤房内部的温湿度，使其严格按照烘烤工艺规程，以保证烟叶烘烤质量。然而通过各个烘烤工程师的经验来识别各阶段的控温点的方法，存在操控难度大，费时费力，需要人员多，烘烤质量参差不齐的问题。
发明内容
基于上述，本发明提供一种基于图像识别的烟叶烘烤过程中阶段控温点的判断方法，可以自动识别出烘烤烟叶的各阶段控温点，以克服现有技术的不足。
本发明的技术方案是：基于图像识别的烟叶烘烤过程中阶段控温点的判断方法，其中，所述方法包括：
获取烘烤的烟叶图像；
对所述烟叶图像进行预处理，得预处理图像；
将所述预处理图像输入到烟叶烘烤阶段控温点识别模型中，判断烘烤烟叶是否处于阶段控温点。
可选的，所述烟叶烘烤阶段控温点识别模型的训练方法为：
获取训练烟叶图像，所述训练烟叶图像为烘烤过程中不同阶段控温点对应的烟叶图像；
从所述训练烟叶图像中提取烟叶特征，获得烟叶主要特征向量和CNN卷积特征向量；
将所述烟叶主要特征向量和CNN卷积特征向量拼接成一个图像特征向量；
将所述图像特征向量输入到分类器中，由所述分类器按照对应阶段控温点进行分类。
可选的，所述烟叶主要特征向量至少包括烟叶颜色、主脉颜色、烟叶纹理和面积比特征。
可选的，所述烟叶颜色特征的提取方法为：
将所述预处理图像由RGB空间转换为HSV空间；
计算所述RGB空间和所述HSV空间中的每个通道的平均值，得R1，G1，B1，H1，S1，V1六个值，作为整体的烟叶颜色特征值。
可选的，所述主脉烟叶特征的提取方法为：
对所述预处理图像进行分割处理，得茎部图像；
将所述茎部图像由RGB空间转换为HSV空间；
计算烟叶主筋脉在所述RGB空间和所述HSV空间中各通道的平均值，得R2，G2，B2，H2，S2，V2六个值，作为主脉颜色特征值。
可选的，所述烟叶纹理特征的提取方法为：采用灰度共生矩阵算法提取烟叶的纹理特征值，所述纹理特征值包括对比度、熵、自相关和能量。
可选的，所述烟叶面积比特征值的提取方法为：
计算烟叶当前烘烤时刻的烟叶面积值，为当前烟叶面积值；
计算烟叶初始烘烤时刻的烟叶面积值，为初始烟叶面积值；
计算当前烟叶面积值与初始烟叶面积值的比值，即为烟叶面积比特征值。
可选的，所述CNN卷积特征向量的提取方法为：根据预训的卷积神经网络的各卷积层参数，提取所述预处理图像的述CNN卷积特征；其中，所述预训的卷积神经网络的各卷积层参数的获取方法为：
获取训练烟叶图像，所述训练烟叶图像为烘烤过程中不同阶段控温点对应的烟叶图像；
以所述烟叶图像对应阶段控温点的类别作为训练的标签，对卷积神经网络进行预训；
预训完成后，提取卷积神经网络的各卷积层参数，作为CNN自动提取特征。
可选的，所述预处理包括以下步骤：
对所述烟叶图像进行图像去噪，得去噪图像；
对所述去噪图像进行颜色校正，得校正图像；
对所述校正图像进行前景细化，得细化图像；
对所述细化图像进行前景分割，得前景图像。
可选的，根据烟叶烘烤工艺曲线，所述阶段控温点包括变黄初期控温点，变黄前期控温点，变黄中期控温点，变黄后期控温点，定色前期控温点，定色中期控温点，定色后期控温点，干筋前期控温点，干筋中期控温点和干筋后期控温点。
本发明的有益效果是：本发明通过提取出烟叶颜色特征、主脉颜色特征、烟叶纹理特征和面积比特征等烟叶的主要特征，并与CNN卷积特征共同建立烟叶烘烤阶段控温点识别模型，以此预测烟叶的烘烤阶段控温点，进而为烟叶的智能化烘烤提供依据。本发明可有效解决传统烘烤方法存在的，通过各个烘烤工程师的经验来识别烘烤阶段控温点存在的操控难度大，费时费力，需要人员多，烘烤质量参差不齐的问题。
附图说明
图1为本发明实施例的方法流程图；
图2为卷积神经网络结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
请参阅图1，本发明实施例基于图像识别的烟叶烘烤过程中阶段控温点的判断方法，其中，所述方法包括：
S1获取烘烤的烟叶图像；
在烟叶烘烤过程中，可通过摄像头拍摄烟叶的烘烤图像。具体地，可每隔半分钟、一分钟等采集一次烟叶图像。在采集到烟叶图像后，可将该烟叶图像传输到烟叶烘烤智能终端。
烟叶烘烤智能终端是烟叶烘烤设备的控制中心，在烟叶烘烤智能终端内可输入烟叶烘烤工艺曲线，使烟叶的烘烤按照烟叶烘烤工艺曲线进行。具体地，在烟叶烘烤过程中，烟叶烘烤智能终端可通过干湿球检测到烤房内的实际温湿度，可通过加热设备控制烤房的加热，通过排湿设备例如排湿窗控制烤房的排湿。
S2对所述烟叶图像进行预处理，得预处理图像；
在图像分析中，图像质量的好坏直接影响识别算法的设计与效果的精度，因此在图像分析(特征提取和识别等)前，需要进行预处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。针对烟叶烘烤的现场条件和采集到的真实图片数据，本实施例提出包含图像去噪、颜色校正、前景细化、前景分割为主要步骤的图像预处理方案。
具体地，图像预处理包括以下步骤：
S21对所述烟叶图像进行图像去噪，得去噪图像。
图像去噪是指减少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。常用的图像去噪算法包括均值滤波，中值滤波，高斯滤波。本实施例根据采集图片的实际情况，使用中值滤波算法去除烟叶图像中的椒盐噪声，取得了更清晰的图片。
S22对所述去噪图像进行颜色校正，得校正图像；
烤房的成像环境受到灯光和摄像头等因素的影响而不尽相同，同样的烟叶在不同的烤房中会出现不同的色彩，并与肉眼所见产生明显区别。为防止色彩失真给图像识别带来的影响，每个烤房在使用前使用标准色卡颜色校正软件进行颜色校正并得到校正参数。再使用校正参数对烟叶图像的颜色进行校正。
S23对所述校正图像进行前景细化，得细化图像；
前景细化，即前景区域细化主要针对提取的有效区域进行精细化分割，排除有效区域内的不必要的干扰信息，例如一些曝光过度的信息等。本实施例中首先对各通道像素值进行差值计算和统计，滤除一些曝光过度的像素，然后借LBP算法和VIBE的算法思想，在邻域统计像素值和像素差值，并依据自动阈值分割，滤除统计结果中的极值点，最后在对应的二值图像中对各个Blob进行单独分析，滤除小区域和干扰区域。
S24对所述细化图像进行前景分割，得前景图像。
将图片中烟叶存在的关键区域定义为前景区域，在前景区域的基础上提取特征可排除背景的干扰，提高算法的鲁棒性。本实施例使用k-means聚类算法对图像像素进行聚类，以聚类后像素个数最多的类别作为前景图所属的类别，根据多个聚类中心的差别动态确定像素分割阀值，利用分割阀值对原图像素进行分割即得到前景图片。
S3将所述预处理图像输入到烟叶烘烤阶段控温点识别模型中，判断烘烤烟叶是否处于阶段控温点。
根据烟叶烘烤工艺曲线，阶段控温点包括变黄初期控温点，变黄前期控温点，变黄中期控温点，变黄后期控温点，定色前期控温点，定色中期控温点，定色后期控温点，干筋前期控温点，干筋中期控温点和干筋后期控温点。在一个示例中，阶段控温点分别对应变黄初期33度，变黄前期38度，变黄中期40度，变黄后期42度，定色前期45度，定色中期48度，定色后期51度，干筋前期54度，干筋中期60度，干筋后期68度。
在将预处理后的烟叶图像输入到烟叶烘烤阶段控温点识别模型后，烟叶烘烤阶段控温点识别模型可识别出烟叶图像是否处于上述各阶段控温点处。如果模型识别出烟叶图像未达到该阶段控温点，则仍按当前阶段的工艺进行烘烤。如果达到该阶段控温点，则控制烘烤设备按照下一阶段设定的烟叶烘烤工艺曲线进行烘烤，例如升温设定，湿度排放等。
烟叶烘烤阶段控温点识别模型的训练方法为：
1、获取训练烟叶图像，所述训练烟叶图像为烘烤过程中不同阶段控温点对应的烟叶图像；
具体而言，在构建模型时，首先采集到同类烟叶在不同阶段控温点对应的烟叶图像，并对烟叶图像进行预处理，图像预处理方式如前所述，此处不再赘述。
2、从所述训练烟叶图像中提取烟叶特征，获得烟叶主要特征向量和CNN卷积特征向量；
图像特征提取是图像分类的基础，好的特征对不同的分类类别应该具有较大的区分度，这样分类器才能更准确的划分特征空间，提高分类的精度。特征提取方法灵活多变，不存在固定模式。本实施例中，根据项目特点，结合使用人工提取特征和CNN自动提取的特征进行分类，其中，人工提取特征基于人的先验知识，具有很强的针对性，不过一般较为初级，具有较弱的图像语义信息，而CNN自动提取特征则可弥补手动提取特征的语义信息缺乏的问题，两者结合可以为分类器提供丰富的特征，并且能够在相对较少的训练烟叶图像中获得较好的训练结果，极大的提高了训练的效率和准确性。
在烘烤试验中，申请人发现烟叶颜色特征、主脉颜色特征、烟叶纹理特征和形状特征(面积比)等能够很好的体现烟叶所处的烘烤阶段。因此，本实施例中烟叶主要特征向量包括烟叶颜色、主脉颜色、烟叶纹理和面积比特征。下面对这几种特征的选取进行详细说明。
在烤烟过程中烟叶整体颜色由青变黄，可以提取烟叶的整体色彩值作为识别的一个主要特征。具体而言，前景图各个通道的RGB均值可以作为前景图颜色的特征值，同时考虑到不同颜色空间对颜色有不同层次的表示能力，将原图由RGB空间转换为HSV空间并计算HSV空间中的每个通道的平均值，将计算得到的R，G，B，H，S，V六个值作为前景图的整体颜色特征值。
可选的，烟叶颜色特征值的提取方法为：将预处理图像由RGB空间转换为HSV空间；计算RGB空间和HSV空间中的每个通道的平均值，得R1，G1，B1，H1，S1，V1六个值，作为整体的烟叶颜色特征值。
在烤烟过程中烟叶主脉部分的颜色也一直在变化(由青变白再变褐)，可以提取烟叶局部位置的色彩值作为识别的一个主要特征。对预处理操作后的每张图片使用图像语义分割技术分割得到茎部图像，然后使用与烟叶颜色特征值相同的方法提取主脉烟叶特征。
可选的，主脉烟叶特征值的提取方法为：对预处理图像进行分割处理，得茎部图像；将茎部图像由RGB空间转换为HSV空间；计算烟叶主筋脉在RGB空间和HSV空间中各通道的平均值，得R2，G2，B2，H2，S2，V2六个值，作为主脉颜色特征值。
在烟叶烘烤过程中，叶面由于脱水卷曲导致叶面纹理也在不断变化。开始烘烤时烟叶叶片光滑舒展，烟叶中的皱褶较少，烘烤时间越长，叶片卷曲越厉害，叶片中的皱褶也越来越多。上述变化过程可使用纹理特征来描述，纹理特征提取方式多样，本实施例采用灰度共生矩阵算法提取烟叶的纹理特征值，该纹理特征值包括对比度、熵、自相关和能量。下面对灰度共生矩阵进行介绍说明：
存在某种空间关系的像素间联合分布称为灰度共生矩阵，记为Pδ，灰度级为L，则Pδ是一个L×L的矩阵。某元素Pδ(i，j)空间位置关系为δ＝(Dx，Dy)，选取水平方向，即δ＝0。在灰度共生矩阵上可以计算描述纹理特征的多个参数。
对比度：反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰。按下式可计算目标图像的对比度。
Figure BDA0002922220460000071
熵：图像包含的信息量，反映图像纹理复杂程度，其值越大，纹理越复杂。按下式可计算目标图像的熵。
Figure BDA0002922220460000072
自相关：反应了图像纹理的一致性，当矩阵元素值均匀相等时，相关值就大。按下式可计算目标图像的自相关。
Figure BDA0002922220460000073
能量：灰度共生矩阵元素值的平方和，反映了图像纹理的粗细程度，其值越大，纹理越粗。按下式可计算目标图像的能量。
Figure BDA0002922220460000074
在烘烤过程中，叶片中的水分逐渐流失，烟叶整体体积不断减小至稳定。当前烟叶前景的面积与初始时刻前景的面积比值可以表述烟叶的失水情况和皱褶程度。本实施例中，烟叶面积比特征值的提取方法为：计算烟叶当前烘烤时刻的烟叶面积值，为当前烟叶面积值；计算烟叶初始烘烤时刻的烟叶面积值，为初始烟叶面积值；计算当前烟叶面积值与初始烟叶面积值的比值，即为烟叶面积比特征值。
以下是申请人证明上述几个特征可用的验证试验。
在试验初期，采用模拟烤房采集了三批可用数据，其中每批数据包含700张烟叶图，共计2100张烟叶图像。将上述2100张图片按其实际温度数值划分为10个种类，这10个种类就对应了最终分类的10个类别，分别对应变黄初期33度，变黄前期38度，变黄中期40度，变黄后期42度，定色前期45度，定色中期48度，定色后期51度，干筋前期54度，干筋中期60度，干筋后期68度。按10％的比例从分类完成后的每批数据中的每个类别内随机抽取图片，每个批次将得到70张图，将三批次得到的共计210张图作为算法的测试集，使用相同方法得到的剩余每批次630张图，共计1890张图片作为算法的训练集。后文中所有提到的训练集和测试集都是指这里介绍的训练集和测试集。
2.1、关于烟叶颜色特征的测试
使用图像预处理算法对训练集和测试集中的所有图片进行处理，得到预处理操作后的训练集和测试集；训练集和测试集中的所有图片都使用RGB颜色空间，将所有训练集中的图片按照所属类别计算得到该类别下所有烟叶图片的RGB总均值，在得到的RGB总均值的基础上使用RGB颜色空间到HSV颜色空间的转换公式计算得到训练集图片在HSV颜色空间中HSV的总均值，将上述计算的得到的R1、G1、B1、H1、S1、V1总均值作为烟叶图片各类别的整体颜色特征向量。得到烟叶整体颜色特征如下表所示。
表1烟叶整体颜色特征
整体颜色特征 R1 G1 B1 H1 S1 V1
变黄(33度) 28.98559 137.6638 124.4221 33.68539 211.0334 140.683
变黄(38度) 38.57855 140.9432 141.5237 29.62675 212.5255 146.98
变黄(40度) 78.55272 155.6312 167.4217 26.26303 148.1976 168.1518
变黄(42度) 107.3094 154.2366 154.3205 32.4003 96.32923 157.6146
定色(45度) 106.5534 148.5321 151.1236 31.14159 93.39858 153.5185
定色(48度) 104.6428 145.0961 149.0159 30.37808 95.19472 150.9826
定色(51度) 103.4023 146.3611 151.2007 29.61248 99.35446 152.8581
干筋(54度) 102.2867 146.7036 151.5612 29.418 101.4612 153.1209
干筋(60度) 102.0156 146.9476 151.9219 29.22505 102.0616 153.2709
干筋(68度) 95.815 141.6778 148.2334 28.22364 109.2188 149.2211
由表1可知，变黄(33度)～变黄(40度)阶段，RGB和HSV颜色空间数值都有较明显变化。而变黄(42度)～干筋(68度)阶段，RGB和HSV颜色空间数值趋于稳定。因此，整体颜色可以作为区分变黄(33度)～变黄(40度)阶段的重要特征。
2.2、关于主脉颜色特征的测试
对预处理操作后的训练集中每张图片使用图像语义分割技术分割得到茎部图像，所有得到的茎部图像构成了茎部图像训练集，然后使用与计算整体颜色特征相同的方法计算茎部图像训练集上不同温度阶段对应的R、G、B、H、S、V总均值作为各类别的局部颜色特征向量。得到主脉颜色特征如下表所示。
表2主脉颜色特征
局部颜色特征 R2 G2 B2 H2 S2 V2
变黄(33度) 105.93025 154.492 136.6434 35.12191 97.3493 154.7116
变黄(38度) 104.33102 150.4674 142.0018 32.68671 93.7153 151.8783
变黄(40度) 108.145 156.4141 153.3125 32.9744 91.05542 160.7706
变黄(42度) 116.8869 154.2861 138.2176 38.59089 87.30432 155.7851
定色(45度) 140.2987 167.4704 152.1403 53.1951 52.93957 168.6926
定色(48度) 142.2516 168.5237 156.8918 49.38877 49.23513 169.7507
定色(51度) 139.4277 169.2676 160.1516 45.20694 53.06079 170.7832
干筋(54度) 128.7576 159.7216 153.4286 41.24326 58.02462 161.6962
干筋(60度) 108.4789 132.7844 134.1655 34.86294 60.69841 137.4458
干筋(68度) 97.17059 122.5966 127.7227 30.35075 70.78837 129.7092
由表2可知，变黄(33度)～变黄(42度)阶段，RGB和HSV颜色空间数值变化较小；定色(45度)～干筋(68度)阶段，RGB和HSV颜色空间颜色数值变化较明显，这与实际烤烟中定色干筋阶段时筋部颜色由青变白再变褐相对应，所以主脉颜色可当做区分定色(45度)～干筋(68度)阶段的重要特征。
2.3、关于烟叶纹理特征的测试
采用经典的灰度共生矩阵算法提取烟叶的纹理特征。对所有训练数据中的图片使用灰度共生矩阵算法提取描述纹理的四个特征值(对比度、熵、自相关、能量)，然后按烟叶所属类别计算每个类别下四个纹理特征值的均值，该均值作为每个类别的纹理特征值。得到各类别的纹理特征值如下表所示。
表3烟叶纹理特征
纹理特征 对比度 熵 自相关 能量
变黄(33度) 206.3257 0.52571 0.978172 0.276371
变黄(38度) 196.8447 0.548987 0.980541 0.301387
变黄(40度) 292.8271 0.554157 0.978043 0.307091
变黄(42度) 389.8453 0.571097 0.970676 0.326153
定色(45度) 479.0291 0.587229 0.961538 0.344838
定色(48度) 478.6207 0.596423 0.960032 0.355721
定色(51度) 518.8765 0.603517 0.957393 0.364233
干筋(54度) 579.3423 0.603531 0.952479 0.36425
干筋(60度) 562.2234 0.604345 0.954216 0.365233
干筋(68度) 570.8792 0.612327 0.950415 0.374945
由表3可知，变黄(33度)～干筋(68度)，纹理的各个特征值都存在明显变化，纹理特征可作为区分烤烟所有阶段的特征。
2.4、关于面积比特征的测试
由于面积比值的计算与每个烤烟批次的初始图像有关，因此将训练集中的数据按批次划分并分别计算每批次数据的前景面积比值得到不同批次烟叶的形状特征，然后再按照烟叶所属状态阶段统计训练数据中同阶段的数据其面积比值的取值范围。最终计算得到形状特征数据如下表所示。
表4面积比特征
Figure BDA0002922220460000101
Figure BDA0002922220460000111
由表4可得烟叶在变黄(42度)～定色(45度)时面积比值将趋于稳定(0.76～0.74)，变黄(42度)前的各阶段则一直变化，所以可以使用面积比值来作为识别变黄(33度)～变黄(42度)阶段的特征。
通过上述试验测试发现，由烟叶颜色特征、主脉颜色特征、烟叶纹理特征和面积比特征可以识别烟叶的不同烘烤阶段的控温点，并且各特征在各阶段控温点的值均有明显不同。因此，将这些特征合在一起能够准确快速的识别出各阶段控温点。
CNN卷积特征向量的提取方法为：根据预训的卷积神经网络的各卷积层参数，提取所述预处理图像的述CNN卷积特征；其中，所述预训的卷积神经网络的各卷积层参数的获取方法为：获取训练烟叶图像，所述训练烟叶图像为烘烤过程中不同阶段控温点对应的烟叶图像；以所述烟叶图像对应阶段控温点的类别作为训练的标签，对卷积神经网络进行预训；预训完成后，提取卷积神经网络的各卷积层参数，作为CNN自动提取特征。
卷积神经网络(CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。其仿造生物的视知觉机制构建，具有强大的特征提取能力，近年来极大的推动计算机视觉的发展；卷积神经网络经典结构如图2所示，前四层为卷积层，后三层为全连接层，使用图片数据对卷积神经网络进行监督训练，网络中的卷积层将学会自动提取视觉特征。
在训练时，先将训练烟叶图像按比例缩放到256*256的大小，每次输入卷积神经网络时，从图片中随机裁剪出224*224的区域，卷积神经网络模型采用经典的resnet18架构，将训练集中的所有图片作为卷积网络的输入，以图片所属类别作为训练的标签对网络进行预训练，网络误差稳定时，预训练完成；预训练完成后，提取resnet18网络的卷积层参数用以提取图片特征，即CNN卷积特征。
3、将所述烟叶主要特征向量和CNN卷积特征向量拼接成一个图像特征向量；
4、将所述图像特征向量输入到分类器中，由所述分类器按照对应阶段控温点进行分类。
在特征提取完成后，即可用特征数据对分类器进行训练，分类器一旦完成训练即可对新输入的烟叶图片做出分类判断。根据烤烟项目特点，分类器的输入即为特征提取中详细介绍的5种特征(烟叶颜色特征，主脉颜色特征，面积比特征，纹理特征，CNN卷积特征)，分类器的输出则对应于烟叶烘烤的10个温度类别。
具体而言，取整体和局部颜色特征的R、G、B、H、S、V值，纹理特征的对比度、熵、自相关、能量值，面积比特征，共17个特征作为手动提取特征的特征向量；取CNN卷积层输出作为自动提取特征的特征向量；将两个特征向量拼接成一个特征向量作为BPNN分类器的输入，以变黄～干筋的十个阶段控温点作为分类器的输出。
本实施例中采用BPNN分类器，其训练过程如下。
设计BPNN分类器模型为三层结构，分别为输入层，隐藏层，输出层；隐含层的单元数按下式计算。
Figure BDA0002922220460000121
式中h、m、n依次为隐含层、输入层、输出层单元数，a为1～10之间的调节常数。经过反复多次训练，发现当a为2时，网络收敛最快，效果最好。
对训练集中每张图片进行特征提取，得到训练特征集，使用BPNN分类器模型在训练特征集上进行5次训练，每次训练中网络收敛时迭代步数和均方误差如下表所示。
表5训练方差
模型序号 迭代步数 均方误差
1 120 0.00021
2 112 0.00014
3 135 0.00023
4 128 0.00017
5 142 0.00015
对于同炕的烟叶，申请人采用常规烘烤工艺，在烘烤过程中同时采用三种处理方式来识别不同烘烤阶段的控温点，其中，处理一为烘烤工程师观察识别，处理二为本发明判断方法，处理三为纯粹采用CNN卷积特征向量构建的模型来识别。在获得不同处理方式得到的触发阶段控温点的烟叶图像后，统计各烟叶图像的准确率，结果见表6。
表6试验结果对比
Figure BDA0002922220460000131
备注：处理二和处理三构建的模型，是采用相同烟叶数量训练的模型，本实施例中训练模型的数量在500左右。
从表6中可看出，在识别各阶段控温点方面，烘烤工程师的总平均正确率为97.4％，本发明判断方法(处理二)的总平均正确率为80.4％，纯粹采用CNN卷积特征向量构建的模型(处理三)的总平均正确率为25.8％，本发明判断方法的正确率远高于纯粹采用CNN卷积特征向量构建的模型的识别正确率。并且，随着测试数量的增加，处理2会越来越优化，结果准确率会越来越高，而处理3虽然也会越来越高，但其对数据的需要是巨大的，小规模烟叶图像的增加对其结果影响不是很明显。
本发明通过提取出烟叶颜色特征、主脉颜色特征、烟叶纹理特征和面积比特征等烟叶的主要特征，并与CNN卷积特征共同建立烟叶烘烤阶段控温点识别模型，以此预测烟叶的烘烤阶段控温点，进而为烟叶的智能化烘烤提供依据。并且，在训练烟叶数量较少的情况下，采用本发明能够极大的提高阶段控温点的预测正确率。当训练样本更多的情况下，本发明能够进一步的提高预测准确性。本发明可有效解决传统烘烤方法存在的，通过各个烘烤工程师的经验来识别烘烤阶段控温点存在的操控难度大，费时费力，需要人员多，烘烤质量参差不齐的问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.基于图像识别的烟叶烘烤过程中阶段控温点的判断方法，其中，所述方法包括：
获取烘烤的烟叶图像；
对所述烟叶图像进行预处理，得预处理图像；
将所述预处理图像输入到烟叶烘烤阶段控温点识别模型中，判断烘烤烟叶是否处于阶段控温点。
2.根据权利要求1所述的判断方法，其中，所述烟叶烘烤阶段控温点识别模型的训练方法为：
获取训练烟叶图像，所述训练烟叶图像为烘烤过程中不同阶段控温点对应的烟叶图像；
从所述训练烟叶图像中提取烟叶特征，获得烟叶主要特征向量和CNN卷积特征向量；
将所述烟叶主要特征向量和CNN卷积特征向量拼接成一个图像特征向量；
将所述图像特征向量输入到分类器中，由所述分类器按照对应阶段控温点进行分类。
3.根据权利要求2所述的判断方法，其中，所述烟叶主要特征向量至少包括烟叶颜色、主脉颜色、烟叶纹理和面积比特征。
4.根据权利要求3所述的判断方法，其中，所述烟叶颜色特征的提取方法为：将所述预处理图像由RGB空间转换为HSV空间；
计算所述RGB空间和所述HSV空间中的每个通道的平均值，得R1，G1，B1，H1，S1，V1六个值，作为整体的烟叶颜色特征值。
5.根据权利要求3所述的判断方法，其中，所述主脉烟叶特征的提取方法为：对所述预处理图像进行分割处理，得茎部图像；
将所述茎部图像由RGB空间转换为HSV空间；
计算烟叶主筋脉在所述RGB空间和所述HSV空间中各通道的平均值，得R2，G2，B2，H2，S2，V2六个值，作为主脉颜色特征值。
6.根据权利要求3所述的判断方法，其中，所述烟叶纹理特征的提取方法为：采用灰度共生矩阵算法提取烟叶的纹理特征值，所述纹理特征值包括对比度、熵、自相关和能量。
7.根据权利要求3所述的判断方法，其中，所述烟叶面积比特征值的提取方法为：
计算烟叶当前烘烤时刻的烟叶面积值，为当前烟叶面积值；
计算烟叶初始烘烤时刻的烟叶面积值，为初始烟叶面积值；
计算当前烟叶面积值与初始烟叶面积值的比值，即为烟叶面积比特征值。
8.根据权利要求2所述的判断方法，其中，所述CNN卷积特征向量的提取方法为：根据预训的卷积神经网络的各卷积层参数，提取所述预处理图像的述CNN卷积特征；其中，所述预训的卷积神经网络的各卷积层参数的获取方法为：
获取训练烟叶图像，所述训练烟叶图像为烘烤过程中不同阶段控温点对应的烟叶图像；
以所述烟叶图像对应阶段控温点的类别作为训练的标签，对卷积神经网络进行预训；
预训完成后，提取卷积神经网络的各卷积层参数，作为CNN自动提取特征。
9.根据权利要求1所述的判断方法，其中，所述预处理包括以下步骤：
对所述烟叶图像进行图像去噪，得去噪图像；
对所述去噪图像进行颜色校正，得校正图像；
对所述校正图像进行前景细化，得细化图像；
对所述细化图像进行前景分割，得前景图像。
10.根据权利要求1所述的判断方法，其中，根据烟叶烘烤工艺曲线，所述阶段控温点包括变黄初期控温点，变黄前期控温点，变黄中期控温点，变黄后期控温点，定色前期控温点，定色中期控温点，定色后期控温点，干筋前期控温点，干筋中期控温点和干筋后期控温点。
CN202110121641.2A 2021-01-28 2021-01-28 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法 Active CN112818827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110121641.2A CN112818827B (zh) 2021-01-28 2021-01-28 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110121641.2A CN112818827B (zh) 2021-01-28 2021-01-28 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法

Publications (2)

Publication Number Publication Date
CN112818827A true CN112818827A (zh) 2021-05-18
CN112818827B CN112818827B (zh) 2024-03-08

Family

ID=75859925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110121641.2A Active CN112818827B (zh) 2021-01-28 2021-01-28 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法

Country Status (1)

Country Link
CN (1) CN112818827B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114002977A (zh) * 2021-10-22 2022-02-01 珠海格力电器股份有限公司 烟草烘干机组的控制方法、装置、电子设备及存储介质
CN114913100A (zh) * 2022-05-16 2022-08-16 中国烟草总公司四川省公司 一种基于图像分析的烟叶烘烤程度检测方法
CN114931230A (zh) * 2022-05-13 2022-08-23 中国烟草总公司郑州烟草研究院 一种烟叶烘烤过程工艺执行指标分析表征方法
CN115067529A (zh) * 2022-07-28 2022-09-20 青岛海尔空调器有限总公司 烤烟设备以及烟草烘烤方法
CN115462550A (zh) * 2022-10-24 2022-12-13 西昌学院 烟叶烘烤控制方法、装置、电子设备及可读存储介质
CN116627040A (zh) * 2023-05-23 2023-08-22 滁州市伟博电气有限公司 烘干器控制系统及其方法
CN117373016A (zh) * 2023-10-20 2024-01-09 农芯(南京)智慧农业研究院有限公司 烟叶烘烤状态判别方法、装置、设备及存储介质
CN117457101A (zh) * 2023-12-22 2024-01-26 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烘烤烟叶含水量预测方法、介质及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147613A (zh) * 2011-04-12 2011-08-10 黄继红 一种对烟叶复烤机水分、温度的模型预测控制方法及系统
WO2014115028A1 (pt) * 2013-01-24 2014-07-31 Souza Cruz S.A. Galpão para a cura ao ar e secagem de tabaco e para o desenvolvimento e produção de mudas
CN110432529A (zh) * 2019-06-20 2019-11-12 云南省烟草农业科学研究院 一种基于移栽期-施肥量与降雨量的烤烟科学烘烤方法
CN111079784A (zh) * 2019-11-11 2020-04-28 河南农业大学 基于卷积神经网络的烘烤过程中烤烟烘烤阶段识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147613A (zh) * 2011-04-12 2011-08-10 黄继红 一种对烟叶复烤机水分、温度的模型预测控制方法及系统
WO2014115028A1 (pt) * 2013-01-24 2014-07-31 Souza Cruz S.A. Galpão para a cura ao ar e secagem de tabaco e para o desenvolvimento e produção de mudas
CN110432529A (zh) * 2019-06-20 2019-11-12 云南省烟草农业科学研究院 一种基于移栽期-施肥量与降雨量的烤烟科学烘烤方法
CN111079784A (zh) * 2019-11-11 2020-04-28 河南农业大学 基于卷积神经网络的烘烤过程中烤烟烘烤阶段识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘兆魁, 吴建胜: "神经网络 - 模糊控制器在烟叶烘烤中的应用", 农业机械学报, no. 02 *
吴娟;: "基于图像特征和GA-SVM的烤烟烘烤阶段识别研究", 西南师范大学学报(自然科学版), no. 09 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114002977A (zh) * 2021-10-22 2022-02-01 珠海格力电器股份有限公司 烟草烘干机组的控制方法、装置、电子设备及存储介质
CN114002977B (zh) * 2021-10-22 2023-12-08 珠海格力电器股份有限公司 烟草烘干机组的控制方法、装置、电子设备及存储介质
CN114931230A (zh) * 2022-05-13 2022-08-23 中国烟草总公司郑州烟草研究院 一种烟叶烘烤过程工艺执行指标分析表征方法
CN114931230B (zh) * 2022-05-13 2023-10-27 中国烟草总公司郑州烟草研究院 一种烟叶烘烤过程工艺执行指标分析表征方法
CN114913100B (zh) * 2022-05-16 2023-09-15 中国烟草总公司四川省公司 一种基于图像分析的烟叶烘烤程度检测方法
CN114913100A (zh) * 2022-05-16 2022-08-16 中国烟草总公司四川省公司 一种基于图像分析的烟叶烘烤程度检测方法
CN115067529A (zh) * 2022-07-28 2022-09-20 青岛海尔空调器有限总公司 烤烟设备以及烟草烘烤方法
CN115462550A (zh) * 2022-10-24 2022-12-13 西昌学院 烟叶烘烤控制方法、装置、电子设备及可读存储介质
CN116627040A (zh) * 2023-05-23 2023-08-22 滁州市伟博电气有限公司 烘干器控制系统及其方法
CN116627040B (zh) * 2023-05-23 2024-04-02 滁州市伟博电气有限公司 烘干器控制系统及其方法
CN117373016A (zh) * 2023-10-20 2024-01-09 农芯(南京)智慧农业研究院有限公司 烟叶烘烤状态判别方法、装置、设备及存储介质
CN117373016B (zh) * 2023-10-20 2024-04-30 农芯(南京)智慧农业研究院有限公司 烟叶烘烤状态判别方法、装置、设备及存储介质
CN117457101A (zh) * 2023-12-22 2024-01-26 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烘烤烟叶含水量预测方法、介质及系统
CN117457101B (zh) * 2023-12-22 2024-03-26 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烘烤烟叶含水量预测方法、介质及系统

Also Published As

Publication number Publication date
CN112818827B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN112818827B (zh) 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法
CN109614996B (zh) 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN107133616B (zh) 一种基于深度学习的无分割字符定位与识别方法
CN111860533B (zh) 图像的识别方法及装置、存储介质和电子装置
CN112949663B (zh) 基于图像识别的烟叶烘烤控制系统和方法
CN107480649B (zh) 一种基于全卷积神经网络的指纹汗孔提取方法
CN108734138B (zh) 一种基于集成学习的黑色素瘤皮肤病图像分类方法
CN108256482B (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN110084149B (zh) 一种基于难样本四元组动态边界损失函数的人脸验证方法
CN109740721B (zh) 麦穗计数方法及装置
CN111027464A (zh) 对卷积神经网络和序特征编码联合优化的虹膜识别方法
CN115994907B (zh) 用于食品检测机构综合信息的智能处理系统及方法
CN105678245A (zh) 一种基于哈尔特征的靶位识别方法
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN114693685A (zh) 无监督的缺陷检测模型的训练方法、缺陷检测方法
CN111027570B (zh) 一种基于细胞神经网络的图像多尺度特征提取方法
CN113011487A (zh) 一种基于联合学习与知识迁移的开放集图像分类方法
CN107358635B (zh) 一种基于模糊相似性的彩色形态学图像处理方法
CN111091580B (zh) 一种基于改进ResNet-UNet网络的立木图像分割方法
CN110136098B (zh) 一种基于深度学习的线缆顺序检测方法
CN115239943A (zh) 图像矫正模型的训练方法及切片图像的色彩矫正方法
CN112949385B (zh) 一种基于光视觉的水面目标检测与识别方法
CN108805918B (zh) 基于dcae结构的病理图像染色不变性低维表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant