CN112163527A - 一种基于融合模型的烟叶烘烤状态识别方法、装置和系统 - Google Patents
一种基于融合模型的烟叶烘烤状态识别方法、装置和系统 Download PDFInfo
- Publication number
- CN112163527A CN112163527A CN202011056569.1A CN202011056569A CN112163527A CN 112163527 A CN112163527 A CN 112163527A CN 202011056569 A CN202011056569 A CN 202011056569A CN 112163527 A CN112163527 A CN 112163527A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- tobacco leaf
- layer
- tobacco
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000208125 Nicotiana Species 0.000 title claims abstract description 185
- 235000002637 Nicotiana tabacum Nutrition 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000004927 fusion Effects 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004383 yellowing Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 5
- 238000000889 atomisation Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011425 standardization method Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 108010068370 Glutens Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 235000021312 gluten Nutrition 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于融合模型的烟叶烘烤状态识别方法、装置和系统，属于烟叶烘烤技术领域，所述方法包括：以预设采集周期采集烘烤过程中烟叶及烤房的原始数据集；将从烟叶图像中提取的特征值转为结构化数据，将结构化数据与原始数据集结合成初始数据集；基于初始数据集中的特征数据获取第一特征集合，对烟叶状态进行编码得到烟叶状态编码；利用第一特征集合和烟叶状态编码训练XGBoost模型、LSTM模型以及BP神经网络模型得到第一层模型，再利用第一特征集合和第一层模型的输出结果训练第二层的XGBoost模型得到融合模型；将实时获取的特征集合输入融合模型得到烟叶识别结果。本申请提高了烟叶烘烤状态识别准确率和识别效率，且无需人工识别，节约了人力成本。
Description
技术领域
本发明属于烟叶烘烤技术领域，更具体地，涉及一种基于融合模型的烟叶烘烤状态识别方法、装置和系统。
背景技术
烟草是我国主要经济作物之一，具有很高的经济效益，但是目前我国烤烟状态判断及工艺调整仍以人工为主，存在劳动强度大、工作效率低、人工成本高等问题。
随着计算机技术的发展，采用计算机技术代替人工对烟叶的状态进行识别已成为趋势。理论上来说，烟叶烘烤过程中烟叶的面积、颜色、纹理、失水量以及一些化学物质的含量等变化明显，可以作为模型的输入特征，但是由于密集化烤房环境复杂，很难实时获取烟叶的面积以及化学物质的含量，只有颜色、纹理和失水量等特征较容易提取，使得模型可用特征变少。
因此，现有技术中对烟叶状态的识别准确率较低。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于融合模型的烟叶烘烤状态识别方法、装置和系统，其目的在于提高对烟叶状态的识别准确率，由此解决由人工识别成本高及计算模型识别准确率低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于融合模型的烟叶烘烤状态识别方法，包括：
S1：在烟叶烘烤过程中，以预设采集周期采集烟叶及烤房的原始数据集，原始数据集包括：烟叶图像、温度湿度数据及失水量数据；
S2：将从烟叶图像中提取的RGB、HSV和纹理特征值转为结构化数据，将结构化数据与原始数据集结合构成初始数据集；
S3：基于初始数据集中的特征数据获取第一特征集合，对烟叶图像中烟叶状态进行数字编码得到烟叶状态编码；
S4：根据两层Stacking模型融合方法，将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，分别对XGBoost模型、LSTM模型以及BP神经网络模型进行训练，得到第一层基分类器；
S5：将第一特征集合作为第二层模型输入数据，将第一层基分类器输出的三个结果组合成的第二特征集合作为第二层模型识别结果，训练作为第二层元分类器的XGBoost模型，以得到融合模型；
S6：将实时采集的原始数据集对应的特征集合输入融合模型，得到烟叶识别结果。
在其中一个实施例中，S1具体包括：
S101：在烟叶烘烤过程中，以预设采集周期采集烟叶的原始图像、温度湿度数据和失水量数据；
S102：使用中值滤波非线性平滑算法和暗通道去雾算法对原始图像进行预处理得到烟叶图像；
S103：将烟叶图像、温度湿度数据和失水量数据传输至云平台数据库，以构成原始数据集。
在其中一个实施例中，S102具体包括：
S1021：采用中值滤波非线性平滑算法选取原始图像中待处理像素点相邻的预设数目个像素，将预设数目个像素的灰度值中值作为待处理像素点的像素值，以进行图像降噪得到第一图像；
S1022：利用暗通道去雾算法消除第一图像因雾气造成的画面雾化现象，以进行图像色彩修正得到第二图像；
S1023：将第二图像按照统一格式保存为烟叶图像至指定文件夹中备用。
在其中一个实施例中，S3具体包括：
S301：对初始数据集进行特征选择获取初始特征集合；
S302：对初始特征集合中的特征数据进行缺失值处理、异常值处理及数据标准化得到第一特征集合；
S303：对烟叶图像中烟叶状态进行数字编码，烟叶状态包括初变黄、变黄、变黄凋萎、变筋、干片和干筋。
在其中一个实施例中，S302具体包括：
S3021：当初始特征集合中存在第一数据少量缺失特征值时，利用少量缺失特征值前后相邻特征值的均值进行插补填充；当初始特征集合中存在第二数据大量缺失特征值时，直接删除第二数据；
S3022：利用箱型图法对缺失值处理后的初始特征集合进行异常值识别，并利用异常值前后数据的函数关系修正异常值；
S3023：利用Z-Score标准化方法对异常值处理后的初始特征集合进行数据标准化处理得到第一特征集合。
在其中一个实施例中，S4具体包括：
S401：将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，对XGBoost模型进行训练，并根据重要程度使用网格搜索方法自动调节XGBoost模型的模型参数，将XGBoost模型训练后得到的第一新训练集状态编码记为A1；
S402：将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，对LSTM模型进行训练，并根据试错法确定最优时间步长、隐含层层数和每层神经元数量；将LSTM模型训练后得到的第二新训练集状态编码记为A2；
S403：将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，对BP神经网络模型进行训练，并根据Kol-mogorov定理确定最佳隐含层节点数和网络拓扑结构参数；将BP神经网络模型训练后得到的第三新训练集状态编码记为A3。
在其中一个实施例中，S5具体包括：
S501：将第一特征集合作为第二层模型输入数据；
S501：将第一新训练集A1、第二新训练集A2和第三新训练集A3作为XGBoost模型的识别结果，使用网格搜索方法自动调节模型参数，得到融合模型。
按照本发明的另一方面，提供了一种基于融合模型的烟叶烘烤状态识别装置，包括：
数据采集模块，用于在烟叶烘烤过程中，以预设采集周期采集烟叶及烤房的原始数据集，原始数据集包括：烟叶图像、温度湿度数据及失水量数据；
数据转化模块，用于将从烟叶图像中提取的RGB、HSV和纹理特征值转为结构化数据，将结构化数据与原始数据集结合构成初始数据集；
特征提取模块，用于基于初始数据集中的特征数据获取第一特征集合，对烟叶图像中烟叶状态进行数字编码得到烟叶状态编码；
第一训练模块，用于将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，分别对XGBoost模型、LSTM模型以及BP神经网络模型进行训练，得到第一层基分类器；
第二训练模块，用于将第一特征集合作为第二层模型输入数据，将第一层基分类器输出三个结果组合成的第二特征集合作为第二层模型识别结果，训练作为第二层元分类器的XGBoost模型，以得到融合模型；
状态识别模块，用于将实时采集的原始数据集对应的特征集合输入融合模型，得到烟叶识别结果。
按照本发明的另一方面，提供了一种基于融合模型的烟叶烘烤状态识别系统，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现所述方法的步骤。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述的方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本申请基于所述初始数据集中的特征数据获取第一特征集合，对所述烟叶图像中烟叶状态进行数字编码得到烟叶状态编码；然后先利用第一特征集合和所述烟叶状态编码训练XGBoost模型、LSTM模型以及BP神经网络模型得到第一层模型，再利用第一特征集合和第一层模型的输出结果训练第二层对应的XGBoost模型得到融合模型；将实时采集的原始数据集对应的特征集合输入所述融合模型能够得到烟叶识别结果。本申请使用模型融合技术训练的融合模型，利用融合模型进行烟叶烘烤状态识别可以实时识别烟叶状态，提高了识别准确率和识别效率，同时降低了烘烤人员的工作强度、节约人力成本。
2、本申请中从所述烟叶图像中提取的RGB、HSV和纹理特征值转为结构化数据，将所述结构化数据与所述原始数据集结合构成初始数据集，能够提升融合模型的训练效率。
附图说明
图1为本申请一实施例中基于融合模型的烟叶烘烤状态识别方法的流程图；
图2为本申请一实施例中融合模型训练过程对应的示意图；
图3为本申请一实施例中绿色分量与时间的关系图；
图4为本申请一实施例中红色分量与时间的关系图；
图5为本申请一实施例中色调分量与时间的关系图；
图6为本申请一实施例中纹理对比度与时间的关系图；
图7为本申请一实施例中纹理同质性与时间的关系图；
图8为本申请一实施例中基于融合模型的烟叶烘烤状态识别装置的结构示意图；
图9为本申请一实施例中基于融合模型的烟叶烘烤状态识别系统的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1为本申请一实施例中基于融合模型的烟叶烘烤状态识别方法的流程图，如图1和图2所示，基于融合模型的烟叶烘烤状态识别方法包括：步骤S1至步骤S6。
S1：在烟叶烘烤过程中，以预设采集周期采集烟叶及烤房的原始数据集，原始数据集包括：烟叶图像、温度湿度数据及失水量数据。
具体的，在烟叶烘烤过程中，以预设采集周期采集烟叶图像、干湿球温度数据、重量传感器获取的失水量数据。然后通过网络上传到云平台数据库，构成模型训练的原始数据集。另外，可以使用中值滤波非线性平滑算法和暗通道去雾算法对最初采集到的原始图像进行预处理得到高图像质量的烟叶图像。其中，预设采集周期如10分钟、12分钟、15分钟、18分钟或20分钟等，此处列举数值仅用于举例说明，不做具体限定。
在其中一个实施例中，S102具体包括：S1021：采用中值滤波非线性平滑算法选取原始图像中待处理像素点相邻的预设数目个像素，将预设数目个像素的灰度值中值作为待处理像素点的像素值，以进行图像降噪得到第一图像。S1022：利用暗通道去雾算法消除第一图像因雾气造成的画面雾化现象，以对进行图像色彩修正得到第二图像。S1023：将第二图像按照统一格式保存为烟叶图像至指定文件夹中备用。
具体的，采用中值滤波非线性平滑算法对原始图像进行去噪处理，选取原始图像中待处理像素点附近的N*N个像素值，将这些像素点的灰度值中值作为待处理像素点的像素值，得到第一图像。其中，N＝3、4或5，此处不做限定，优选N＝3。然后，对去噪处理后的第一图像进行色彩修正得到第二图像，举例来说，暗通道最小值滤波半径r取5，采用暗通道去雾算法消除因雾气造成的画面雾化现象。将经过去噪处理和色彩修正的第二图像作为烟叶图像，统一命名保存至指定文件夹中备用。
S2：将从烟叶图像中提取的RGB、HSV和纹理特征值转为结构化数据，将结构化数据与原始数据集结合构成初始数据集。
具体的，获取步骤S1处理后的烟叶图像，从中分别提取RGB、HSV和纹理特征值，将RGB、HSV和纹理特征值各自对应的非结构化数据转为结构化数据，并将结构化数据与干湿球温度数据、失水量数据一起构成初始数据集。其中，提取特征值的具体步骤为：
S201、提取烟叶图像的RGB颜色特征值如下：烘烤过程中，烟叶会由绿色逐渐转变为黄褐色，框选烟叶图像中指定区域，计算区域中图像的RGB颜色分量，作为烟叶烘烤状态判断特征之一。具体来说，就是计算出区域图像中R(红)、G(绿)、B(蓝)三种颜色分量的数值，并将三种颜色分量的数值进行归一化处理，以消除亮度对三种颜色分量的影响。在烟叶烘烤过程中，提取出同一批烟叶不同状态下的烟叶图像中的RGB颜色特征值，以时间为自变量保存RGB颜色特征值至烟叶烘烤信息数据库，并绘制出颜色分量与时间的函数图像，以此判断三种颜色分量随时间变化关系。如图3和图4所示，本实施例的不同时刻烟叶图像中红色分量整体上随时间而单调上升，绿色分量整体上随时间而单调下降。
S202、提取烟叶图像的HSV颜色特征值。H(色调)、S(饱和度)、V(明度)能从用户的视觉角度呈现出颜色的色彩、鲜艳和明暗，辅助烤房工作人员调整烘烤工艺。对步骤S201中获取的RGB颜色分量进行RGB-HSV公式运算，将RGB颜色分量值转换成HSV颜色分量值，以时间为自变量将HSV颜色分量值保存至烟叶烘烤信息数据库，并绘制HSV颜色分量值与时间的函数图像。如图5所示，本实施例的不同时刻烟叶图像中色调分量整体上随时间而单调下降。
S203、提取烟叶图像的纹理特征值。纹理特征反映出烟叶在烘烤过程中的形态变化，可以作为分析烟叶烘烤状态的特征之一。本实施例利用灰度共生矩阵计算出不同状态下烟叶图像的纹理能量(Energy)、纹理熵(Entropy)、纹理对比度(Contrast)和纹理同质性(Homogeneity)，以时间为自变量保存至烟叶烘烤信息数据库。如图6和图7，本实施例的不同时刻烟叶图像中纹理对比度总体上与时间成正相关，纹理同质性总体上与时间负相关。
S204、将提取的RGB、HSV和纹理特征值与原始数据集中的干湿球温度和失水量数据结合，构成初始数据集。
S3：基于初始数据集中的特征数据获取第一特征集合，对烟叶图像中烟叶状态进行数字编码得到烟叶状态编码。具体的，对初始数据集中的数据进行特征选择，获取初始特征集合；对初始特征集合中的数据进行缺失值、异常值的处理后，进行标准化操作得到第一特征集合，并对烟叶图像中烟叶所处状态进行数字编码，将数字编码存入数据库中。其中，将烟叶烘烤过程分为六个状态，包括：初变黄、变黄、变黄凋萎、变筋、干片和干筋。对烟叶图像进行状态标注，分别对应数字0-5，存入数据库中。
在其中一个实施例中，S3具体包括：S301：对初始数据集进行特征选择，提取烟叶烘烤信息数据库中的R颜色分量、G颜色分量、H颜色分量、纹理对比度、纹理同质性、干湿球温度和失水量数据，得到初始特征集合。S302：对初始特征集合中的特征数据进行缺失值处理、异常值处理及数据标准化得到第一特征集合。S303：对烟叶图像中烟叶状态进行数字编码，烟叶状态包括初变黄、变黄、变黄凋萎、变筋、干片和干筋。
具体的，获取步骤S301中初始特征集合中的数据，进行数据预处理操作，提高数据的质量。具体方法为：缺失值处理、异常值处理和数据标准化处理。另外，将本实施例中的烟叶烘烤过程分为六个状态：初变黄、变黄、变黄凋萎、变筋、干片和干筋。烟叶图像进行六个状态标注，分别对应数字0-5，依据烟叶图像与编码数据的对应关系保存至数据库中。
在其中一个实施例中，S302具体包括：S3021：当初始特征集合中存在第一数据少量缺失特征值时，利用少量缺失特征值前后相邻特征值的均值进行插补填充。当初始特征集合中存在第二数据大量缺失特征值时，直接删除第二数据。S3022：利用箱型图法对缺失值处理后的初始特征集合进行异常值识别，并利用异常值前后数据的函数关系修正异常值。S3023：利用Z-Score标准化方法对异常值处理后的初始特征集合进行数据标准化处理得到第一特征集合。
具体地，S3021、缺失值处理：对初始数据集中的少量缺失特征值使用前后数据均值插补法填充，对初始数据集中缺失大量有效特征值的数据则直接删除。S3022、异常值处理：获取步骤S3021处理后的数据，使用箱型图法进行异常值识别，根据前后数据的函数关系修正异常值。S3023、数据标准化：获取步骤S3022处理后的数据，使用Z-Score标准化方法标准化数据。
S4：将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，分别对XGBoost模型、LSTM模型以及BP神经网络模型进行训练，得到第一层基分类器。
具体的，根据两层Stacking模型融合方法，将第一特征集合作为第一层模型输入数据，将烘烤状态数字编码作为第一层模型识别结果，分别使用XGBoost算法、LSTM算法以及BP神经网络算法对特征集合进行建模，训练后得到第一层基分类器。
在其中一个实施例中，S4具体包括：S401：将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，对XGBoost模型进行训练，并根据重要程度使用网格搜索方法自动调节XGBoost模型的模型参数，将XGBoost模型训练后得到的第一新训练集状态编码记为A1。S402：将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，对LSTM模型进行训练，并根据试错法确定最优时间步长、隐含层层数和每层神经元数量。将LSTM模型训练后得到的第二新训练集状态编码记为A2。S403：将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，对BP神经网络模型进行训练，并根据Kol-mogorov定理确定最佳隐含层节点数和网络拓扑结构参数。将BP神经网络模型训练后得到的第三新训练集状态编码记为A3。
举例来说，第一层模型的训练操作如下：
将步骤S3中的第一特征集合和对应的烟叶状态编码按照8：2的比例分成训练集数据和测试集数据。将训练集数据进行5折不重复拆分，将其中4折作为训练数据，剩余1折作为测试数据，对模型进行训练，得到剩余1折的烘烤状态数字编码组，记为a1。使用训练好的模型对测试集数据进行识别，得到测试集数据的烘烤状态数字编码组，记为b1。将此操作进行5次，可得到训练集的烘烤状态数字编码组a1、a2……a5共5个，测试集的烘烤状态数字编码组b1、b2……b5共5个。将a1、a2……a5结合，记作A，用来更新训练集的初始数字编码，将b1、b2……b5各部分对应数据取平均值，记作B，用来更新测试集的初始数字编码。
按照上述操作，对三个模型进行训练，步骤如下：
S401、对XGBoost模型进行训练，根据重要程度使用网格搜索方法自动调节模型参数。由XGBoost模型训练后得到的新训练集状态编码记为A1、新测试集状态编码记为B1。
S402、对LSTM模型进行训练，根据试错法确定最优时间步长为3，隐含层层数为3，每层神经元数量分别为64、32、32。使用EarlyStopping方法和dropout正则化方法防止训练过程过拟合。由LSTM模型训练后得到的新训练集状态编码记为A2、新测试集状态编码记为B2。
S403、对BP神经网络模型进行训练，根据Kol-mogorov定理，确定最佳隐含层节点数为13，网络拓扑结构为7-13-1。网络隐含层神经元传递函数采用S型正切函数tansig，输出层采用线性传递函数purelin，网络训练函数为trainbr。由BP神经网络模型训练后得到的新训练集状态编码记为A3、新测试集状态编码记为B3。
S5：将第一特征集合作为第二层模型输入数据，将第一层基分类器输出三个结果组合成的第二特征集合作为第二层模型识别结果，训练作为第二层元分类器的XGBoost模型，以得到融合模型。
具体的，将三个模型进行融合后使用XGBoost模型作为第二层的元分类器，将特征集合作为模型输入数据，将第一层训练的三个模型的输出组合成新特征作为第二层模型的识别结果，经过训练后得到第二层元分类器。
在其中一个实施例中，S5具体包括：S501：将第一特征集合作为第二层模型输入数据。S501：将第一新训练集A1、第二新训练集A2和第三新训练集A3作为XGBoost模型的识别结果，使用网格搜索方法自动调节模型参数，得到融合模型。
具体的，将XGBoost模型作为Stacking融合模型的第二层元分类器，获取步骤S3中的第一特征集合，作为XGBoost模型的输入数据，获取步骤S401、步骤S42和步骤S43的三个训练集状态编码A1、A2和A3，作为XGBoost模型的识别结果，使用网格搜索方法自动调节模型参数，完成Stacking融合模型的训练得到融合模型。采用步骤S5得到的Stacking融合模型对测试集数据进行识别并输出，正确率可以达到95％以上。这表明，以烟叶烘烤过程中提取到的特征为依据，采用本发明的融合模型进行烟叶烘烤状态识别，可以提高识别准确率和识别效率，降低烘烤人员的工作强度。
S6：将实时采集的原始数据集对应的特征集合输入融合模型，得到烟叶识别结果。
具体的，将实时采集到的、经过处理的第一特征集合输入到训练好的融合模型中能够得到识别结果，据此调整烘烤工艺，实现远程、智能、精准烘烤。也即将经过步骤S1、步骤S2和步骤S3实时处理的待检测的第一特征集合输入步骤S5得到的Stacking融合模型，得到识别结果，并输出待检测烟叶所处的烘烤状态，以此调整烘烤工艺，实现远程、智能、精准烘烤。
本申请的另一方面，还提供一种融合模型的烟叶烘烤状态识别装置，如图8所示，烟叶烘烤状态识别装置包括：数据采集模块、数据转化模块、特征提取模块、第一训练模块、第二训练模块和状态识别模块。其中，数据采集模块，用于在烟叶烘烤过程中，以预设采集周期采集烟叶及烤房的原始数据集，原始数据集包括：烟叶图像、温度湿度数据及失水量数据。数据转化模块，用于将从烟叶图像中提取的RGB、HSV和纹理特征值转为结构化数据，将结构化数据与原始数据集结合构成初始数据集。特征提取模块，用于基于初始数据集中的特征数据获取第一特征集合，对烟叶图像中烟叶状态进行数字编码得到烟叶状态编码。第一训练模块，用于将第一特征集合作为第一层模型输入数据，将烟叶状态编码作为第一层模型识别结果，分别对XGBoost模型、LSTM模型以及BP神经网络模型进行训练，得到第一层基分类器。第二训练模块，用于将第一特征集合作为第二层模型输入数据，将第一层基分类器输出三个结果组合成的第二特征集合作为第二层模型识别结果，训练作为第二层元分类器的XGBoost模型，以得到融合模型。状态识别模块，用于将实时采集的原始数据集对应的特征集合输入融合模型，得到烟叶识别结果。
上述基于融合模型的烟叶烘烤状态识别装置中各个模块的划分仅用于举例说明，在其他实施例中，可将基于融合模型的烟叶烘烤状态识别装置按照需要划分为不同的模块，以完成上述基于融合模型的烟叶烘烤状态识别装置的全部或部分功能。
关于基于融合模型的烟叶烘烤状态识别装置的具体限定可以参见上文中对于基于融合模型的烟叶烘烤状态识别方法的限定，在此不再赘述。上述基于融合模型的烟叶烘烤状态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图9为一个实施例中基于融合模型的烟叶烘烤状态识别系统的内部结构示意图。如图9所示，该基于融合模型的烟叶烘烤状态识别系统包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个基于融合模型的烟叶烘烤状态识别系统的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种基于融合模型的烟叶烘烤状态识别方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的基于融合模型的烟叶烘烤状态识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在基于融合模型的烟叶烘烤状态识别系统的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行基于融合模型的烟叶烘烤状态识别方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行基于融合模型的烟叶烘烤状态识别方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于融合模型的烟叶烘烤状态识别方法，其特征在于，包括：
S1：在烟叶烘烤过程中，以预设采集周期采集烟叶及烤房的原始数据集，所述原始数据集包括：烟叶图像、温度湿度数据及失水量数据；
S2：将从所述烟叶图像中提取的RGB、HSV和纹理特征值转为结构化数据，将所述结构化数据与所述原始数据集结合构成初始数据集；
S3：基于所述初始数据集中的特征数据获取第一特征集合，对所述烟叶图像中烟叶状态进行数字编码得到烟叶状态编码；
S4：根据两层Stacking模型融合方法，将所述第一特征集合作为第一层模型输入数据，将所述烟叶状态编码作为第一层模型识别结果，分别对XGBoost模型、LSTM模型以及BP神经网络模型进行训练，得到第一层基分类器；
S5：将所述第一特征集合作为第二层模型输入数据，将所述第一层基分类器输出的三个结果组合成的第二特征集合作为第二层模型识别结果，训练作为第二层元分类器的所述XGBoost模型，以得到融合模型；
S6：将实时采集的原始数据集对应的特征集合输入所述融合模型，得到烟叶识别结果。
2.如权利要求1所述的基于融合模型的烟叶烘烤状态识别方法，其特征在于，所述S1具体包括：
S101：在烟叶烘烤过程中，以预设采集周期采集烟叶的原始图像、所述温度湿度数据和所述失水量数据；
S102：使用中值滤波非线性平滑算法和暗通道去雾算法对所述原始图像进行预处理得到所述烟叶图像；
S103：将所述烟叶图像、所述温度湿度数据和所述失水量数据传输至云平台数据库，以构成所述原始数据集。
3.如权利要求2所述的基于融合模型的烟叶烘烤状态识别方法，其特征在于，所述S102具体包括：
S1021：采用中值滤波非线性平滑算法选取所述原始图像中待处理像素点相邻的预设数目个像素，将所述预设数目个像素的灰度值中值作为所述待处理像素点的像素值，以进行图像降噪得到第一图像；
S1022：利用暗通道去雾算法消除所述第一图像因雾气造成的画面雾化现象，以对图像进行色彩修正得到第二图像；
S1023：将所述第二图像按照统一格式保存为所述烟叶图像至指定文件夹中备用。
4.如权利要求1所述的基于融合模型的烟叶烘烤状态识别方法，其特征在于，所述S3具体包括：
S301：对所述初始数据集进行特征选择获取初始特征集合；
S302：对所述初始特征集合中的特征数据进行缺失值处理、异常值处理及数据标准化得到所述第一特征集合；
S303：对所述烟叶图像中烟叶状态进行数字编码，所述烟叶状态包括初变黄、变黄、变黄凋萎、变筋、干片和干筋。
5.如权利要求4所述的基于融合模型的烟叶烘烤状态识别方法，其特征在于，所述S302具体包括：
S3021：当所述初始特征集合中存在第一数据少量缺失特征值时，利用所述少量缺失特征值前后相邻特征值的均值进行插补填充；当所述初始特征集合中存在第二数据大量缺失特征值时，直接删除所述第二数据；
S3022：利用箱型图法对缺失值处理后的初始特征集合进行异常值识别，并利用所述异常值前后数据的函数关系修正所述异常值；
S3023：利用Z-Score标准化方法对异常值处理后的初始特征集合进行数据标准化处理得到所述第一特征集合。
6.如权利要求1-5任一项所述的基于融合模型的烟叶烘烤状态识别方法，其特征在于，所述S4具体包括：
S401：将所述第一特征集合作为第一层模型输入数据，将所述烟叶状态编码作为第一层模型识别结果，对所述XGBoost模型进行训练，并根据重要程度使用网格搜索方法自动调节所述XGBoost模型的模型参数，将所述XGBoost模型训练后得到的第一新训练集状态编码记为A1；
S402：将所述第一特征集合作为第一层模型输入数据，将所述烟叶状态编码作为第一层模型识别结果，对所述LSTM模型进行训练，并根据试错法确定最优时间步长、隐含层层数和每层神经元数量；将所述LSTM模型训练后得到的第二新训练集状态编码记为A2；
S403：将所述第一特征集合作为第一层模型输入数据，将所述烟叶状态编码作为第一层模型识别结果，对所述BP神经网络模型进行训练，并根据Kol-mogorov定理确定最佳隐含层节点数和网络拓扑结构参数；将所述BP神经网络模型训练后得到的第三新训练集状态编码记为A3。
7.如权利要求6所述的基于融合模型的烟叶烘烤状态识别方法，其特征在于，所述S5具体包括：
S501：将所述第一特征集合作为第二层模型输入数据；
S502：将所述第一新训练集A1、所述第二新训练集A2和所述第三新训练集A3作为所述XGBoost模型的识别结果，使用网格搜索方法自动调节模型参数，得到所述融合模型。
8.一种融合模型的烟叶烘烤状态识别装置，其特征在于，包括：
数据采集模块，用于在烟叶烘烤过程中，以预设采集周期采集烟叶及烤房的原始数据集，所述原始数据集包括：烟叶图像、温度湿度数据及失水量数据；
数据转化模块，用于将从所述烟叶图像中提取的特征值转为结构化数据，将所述结构化数据与所述原始数据集结合构成初始数据集；
特征提取模块，用于基于所述初始数据集中的特征数据获取第一特征集合，对所述烟叶图像中烟叶状态进行数字编码得到烟叶状态编码；
第一训练模块，用于将所述第一特征集合作为第一层模型输入数据，将所述烟叶状态编码作为第一层模型识别结果，分别对XGBoost模型、LSTM模型以及BP神经网络模型进行训练，得到第一层基分类器；
第二训练模块，用于将所述第一特征集合作为第二层模型输入数据，将所述第一层基分类器输出三个结果组合成的第二特征集合作为第二层模型识别结果，训练作为第二层元分类器的所述XGBoost模型，以得到融合模型；
状态识别模块，用于将实时采集的原始数据集对应的特征集合输入所述融合模型，得到烟叶识别结果。
9.一种基于融合模型的烟叶烘烤状态识别系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011056569.1A CN112163527B (zh) | 2020-09-29 | 2020-09-29 | 一种基于融合模型的烟叶烘烤状态识别方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011056569.1A CN112163527B (zh) | 2020-09-29 | 2020-09-29 | 一种基于融合模型的烟叶烘烤状态识别方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112163527A true CN112163527A (zh) | 2021-01-01 |
| CN112163527B CN112163527B (zh) | 2022-06-14 |
Family
ID=73862166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011056569.1A Active CN112163527B (zh) | 2020-09-29 | 2020-09-29 | 一种基于融合模型的烟叶烘烤状态识别方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163527B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926648A (zh) * | 2021-02-24 | 2021-06-08 | 北京优创新港科技股份有限公司 | 一种烟叶烘烤过程中烟叶尖部异常的检测方法及装置 |
| CN112949704A (zh) * | 2021-02-24 | 2021-06-11 | 北京优创新港科技股份有限公司 | 一种基于图像分析的烟叶成熟度状态识别方法及装置 |
| CN113080500A (zh) * | 2021-04-01 | 2021-07-09 | 深圳九章聚源人工智能科技有限公司 | 一种基于神经网络的烟叶烘烤方法、系统及其相关组件 |
| CN113100468A (zh) * | 2021-03-01 | 2021-07-13 | 湖北省烟草科学研究院 | 烟叶调制工艺转火机器判断方法、系统、存储器及处理器 |
| CN115896817A (zh) * | 2023-03-08 | 2023-04-04 | 福建德尔科技股份有限公司 | 氟氮混合气的生产方法及其系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214592A (zh) * | 2018-10-17 | 2019-01-15 | 北京工商大学 | 一种多模型融合的深度学习的空气质量预测方法 |
| CN109948668A (zh) * | 2019-03-01 | 2019-06-28 | 成都新希望金融信息有限公司 | 一种多模型融合方法 |
| CN111274860A (zh) * | 2019-11-08 | 2020-06-12 | 杭州安脉盛智能技术有限公司 | 一种基于机器视觉的在线自动烟叶等级分选的识别方法 |
-
2020
- 2020-09-29 CN CN202011056569.1A patent/CN112163527B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214592A (zh) * | 2018-10-17 | 2019-01-15 | 北京工商大学 | 一种多模型融合的深度学习的空气质量预测方法 |
| CN109948668A (zh) * | 2019-03-01 | 2019-06-28 | 成都新希望金融信息有限公司 | 一种多模型融合方法 |
| CN111274860A (zh) * | 2019-11-08 | 2020-06-12 | 杭州安脉盛智能技术有限公司 | 一种基于机器视觉的在线自动烟叶等级分选的识别方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926648A (zh) * | 2021-02-24 | 2021-06-08 | 北京优创新港科技股份有限公司 | 一种烟叶烘烤过程中烟叶尖部异常的检测方法及装置 |
| CN112949704A (zh) * | 2021-02-24 | 2021-06-11 | 北京优创新港科技股份有限公司 | 一种基于图像分析的烟叶成熟度状态识别方法及装置 |
| CN112926648B (zh) * | 2021-02-24 | 2021-11-16 | 北京优创新港科技股份有限公司 | 一种烟叶烘烤过程中烟叶尖部异常的检测方法及装置 |
| CN113919443A (zh) * | 2021-02-24 | 2022-01-11 | 北京优创新港科技股份有限公司 | 一种基于图像分析烟叶成熟度状态概率计算方法 |
| CN113919443B (zh) * | 2021-02-24 | 2022-04-12 | 北京优创新港科技股份有限公司 | 一种基于图像分析烟叶成熟度状态概率计算方法 |
| CN113100468A (zh) * | 2021-03-01 | 2021-07-13 | 湖北省烟草科学研究院 | 烟叶调制工艺转火机器判断方法、系统、存储器及处理器 |
| CN113100468B (zh) * | 2021-03-01 | 2022-08-16 | 湖北省烟草科学研究院 | 烟叶调制工艺转火机器判断方法、系统、存储器及处理器 |
| CN113080500A (zh) * | 2021-04-01 | 2021-07-09 | 深圳九章聚源人工智能科技有限公司 | 一种基于神经网络的烟叶烘烤方法、系统及其相关组件 |
| CN115896817A (zh) * | 2023-03-08 | 2023-04-04 | 福建德尔科技股份有限公司 | 氟氮混合气的生产方法及其系统 |
| CN115896817B (zh) * | 2023-03-08 | 2023-05-19 | 福建德尔科技股份有限公司 | 氟氮混合气的生产方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112163527B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163527B (zh) | 一种基于融合模型的烟叶烘烤状态识别方法、装置和系统 | |
| CN109740721B (zh) | 麦穗计数方法及装置 | |
| CN110751019B (zh) | 基于深度学习的高分辨率影像农作物自动提取方法及装置 | |
| CN111274860A (zh) | 一种基于机器视觉的在线自动烟叶等级分选的识别方法 | |
| CN113040034B (zh) | 一种节水灌溉控制系统及控制方法 | |
| CN109063737A (zh) | 图像处理方法、装置、存储介质及移动终端 | |
| CN113919442B (zh) | 一种基于卷积神经网络烟叶成熟度状态识别方法 | |
| CN107622236B (zh) | 基于蜂群与梯度提升决策树算法农作物病害诊断预警方法 | |
| Pandiyan et al. | Heterogeneous internet of things organization predictive analysis platform for apple leaf diseases recognition | |
| CN114359697A (zh) | 一种基于增量学习的雪茄烟烟叶晾制工艺阶段识别方法 | |
| CN113080500B (zh) | 一种基于神经网络的烟叶烘烤方法、系统及其相关组件 | |
| CN110648020A (zh) | 一种温室作物需水量预测方法及装置 | |
| CN114331979A (zh) | 一种烟叶烘烤的智能决策方法和系统 | |
| CN114998695A (zh) | 一种提高图像识别速度的方法及系统 | |
| CN113469248A (zh) | 基于神经网络的农业培育控制方法、装置、系统及介质 | |
| CN114997463A (zh) | 一种基于模型融合的烤烟工艺阶段预测方法及系统 | |
| CN112926648B (zh) | 一种烟叶烘烤过程中烟叶尖部异常的检测方法及装置 | |
| WO2020050973A9 (en) | Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input | |
| CN107103029A (zh) | 一种用于机器人的图像数据处理方法 | |
| CN115565168A (zh) | 一种基于注意力机制残差胶囊网络的甘蔗病害识别方法 | |
| Sumathi | Insect detection in rice crop using Google code lab | |
| CN113066030B (zh) | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 | |
| CN111319206B (zh) | 注塑成型系统中参数优化方法和装置 | |
| Vasanthi | Crop growth monitoring and leaf area index estimation using wireless sensor network and CNN | |
| CN109948657A (zh) | 基于可见光图像的枯死树木识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |