CN110807760B - 一种烟叶分级方法及系统 - Google Patents

一种烟叶分级方法及系统 Download PDF

Info

Publication number
CN110807760B
CN110807760B CN201910870129.0A CN201910870129A CN110807760B CN 110807760 B CN110807760 B CN 110807760B CN 201910870129 A CN201910870129 A CN 201910870129A CN 110807760 B CN110807760 B CN 110807760B
Authority
CN
China
Prior art keywords
tobacco leaf
year
current
historical
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910870129.0A
Other languages
English (en)
Other versions
CN110807760A (zh
Inventor
鲁梦瑶
陈天恩
姜舒文
王聪
陈栋
翟久朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center for Information Technology in Agriculture
Original Assignee
Beijing Research Center for Information Technology in Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center for Information Technology in Agriculture filed Critical Beijing Research Center for Information Technology in Agriculture
Priority to CN201910870129.0A priority Critical patent/CN110807760B/zh
Publication of CN110807760A publication Critical patent/CN110807760A/zh
Application granted granted Critical
Publication of CN110807760B publication Critical patent/CN110807760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manufacture Of Tobacco Products (AREA)

Abstract

本发明实施例提供一种烟叶分级方法及系统，该方法包括：获取目标地区对应的当年待测烟叶样本的图像；将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级。训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，由大量带有等级标签的历史烟叶图像和少量带有等级标签的当年烟叶图像训练得到。本发明实施例提供一种烟叶分级方法及系统，通过本方法，仅需少量带有标签的当年烟叶样本，即可高效、准确的实现当年烟叶分级模型的构建，实现当年烟叶的准确分级，同时本发明实施例为不同年份的烟叶分级模型更新与调整提供一种新的方法。

Description

一种烟叶分级方法及系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种烟叶分级方法及系统。
背景技术
烟叶的生长易受外界环境的影响，同一产区不同年份光照、温度、降水等环境因素的差异，以及烟叶栽培、烘烤技术、管理水平的差异，一定程度上影响着烟叶质量，导致不同年份间烟叶质量存在一定的差异。这种差异体现在不同年份间烟叶的等级纯度、成熟度差异较大。
在烟叶分级工作中，这种因年份产生的烟叶品质差异不可忽视。每年分级季前，分级专家会根据当年烟叶实际生长及采收状态，制订该年度的烟叶收购标样，用于指导分级和收购工作，各烟叶收购站会按照标样烟叶组织分级人员进行培训。例如，烟叶分级制样时，该年度某等级中长势较好的烟叶可以进入上一个等级，即在国标的基础上根据该年度烟叶实际长势，适当放宽烟叶收购标准。
人工分级是目前烟叶分级的主要方式，其结果易受分级人员主观认识的影响，无法保证烟叶分级的准确性和一致性，导致工农商各方在对接时极易产生冲突，且人工分级速率慢、效率低、成本高。
针对当年烟叶人工分级工作中存在的问题，烟叶智能化分级受到农业信息化工作者的重视，越来越多的智能化检测如光谱技术、机器视觉技术等也被用于烟叶分级的研究中，主要是采用RGB图像结合深度学习算法对烟叶进行在线分级的方法，可参考专利一种基于深度学习算法的烟叶在线分级方法，该方法仿照国标分级流程，首先通过背景Mask后的烟叶图像结合卷积神经网络进行正反面识别，再对正面烟叶进行正组、青烟、杂烟的三分类，最后采用GoogleNet模型进行正组烟的等级划分。该方法能够快速、无损、在线的实现青烟、杂烟的剔除，划分正组等级。
该方案科学合理、流程清晰，然而由于不同年份间烟叶品质有所差异、分级细则有所微调，前一年训练的模型无法良好的适应下一年的分级任务，因此每年需根据专家制样对烟叶等级模型进行更新。卷积神经网络能够从训练数据中自动学习与目标任务相符的特征，但是训练模型需要数量庞大的带标注数据，采集和标注这些烟叶图像需要大量的成本和时间；另一方面，重新训练模型和网络调参也需要消耗大量的时间。然而，每年烟叶分级季，短时庞大的工作量不允许耗时耗力去搜集大量标注样本，导致现有的分级方案无法满足烟叶分级季的实际需求。
因此，亟需一种新的烟叶分级方法。
发明内容
针对上述问题，本发明实施例提供一种烟叶分级方法及系统。
第一方面，本发明实施例提供一种烟叶分级方法，包括：
获取目标地区对应的当年待测烟叶样本的图像；
将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
优选地，当年烟叶分级模型由特征提取器和第一分类器两部分组成。
优选地，所述历史烟叶分级模型由卷积神经网络和第二分类器组成，所述第二分类器位于所述卷积神经网络之后，所述卷积神经网络为ResNet-50网络，所述第二分类器为Large-MarginSoftmax。
优选地，所述特征提取器由卷积神经网络和适应层组成，其中，所述卷积神经网络的结构与所述历史烟叶分级模型的卷积神经网络结构一致，所述适应层的位置通过计算所述卷积神经网络中每一卷积层中历史烟叶样本图像的特征和当年烟叶样本图像的特征之间的最大偏差距离得到，所述适应层的位置为最大偏差距离最小的卷积层所在的位置，所述适应层中包含预设个数神经元，所述预设个数使得最大偏差距离最小。
优选地，训练后的分类器为SVM分类器、Softmax分类器和Large-Margin Softmax分类器中的一种。
优选地，所述最大平均偏差通过如下公式获得：
Figure BDA0002202544040000031
其中，XS表示提取到的历史烟叶样本图像的特征，XT表示提取到的当年烟叶样本图像的特征，φ表示映射函数。
优选地，所述特征提取器训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，具体通过如下公式获得：
L＝LC(XL,y)+λMMD2(XS,XT)，
其中，L表示所述特征提取器训练时的损失函数，LC(XL,y)表示所述历史烟叶分类误差，MMD(XS,XT)表示所述最大平均偏差，λ表示预设参数。
优选地，所述卷积神经网络为ResNet-50网络，所述分类器为Large-MarginSoftmax。
第二方面，本发明实施例提供一种烟叶分级系统，包括：
获取模块，用于获取目标地区对应的当年待测烟叶样本的图像；
分级模块，用于将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面提供的一种所述烟叶分级方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面提供的一种所述烟叶分级方法的步骤。
本发明实施例提供一种烟叶分级方法及系统，结合不同年份烟叶品质波动与分级细则的微调，并充分考虑现有智能化烟叶分级方法的优缺点，仅需少量带有标签的当年烟叶样本，即可高效、准确的实现当年烟叶分级模型的构建，实现当年烟叶的准确分级，同时本发明实施例为不同年份的烟叶分级模型更新与调整提供一种新的方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种烟叶分级方法的流程图；
图2为本发明实施例中构建当年烟叶分级模型的流程图；
图3为本发明实施例提供的一种烟叶分级系统的结构示意图；
图4为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种烟叶分级方法的流程图，如图1所示，该方法包括：
S1，获取目标地区对应的当年待测烟叶样本的图像；
S2，将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
具体地，当需要对目标地区当年生产的烟叶进行分级时，首先搜集该地区当年生产的烟叶，将这些烟叶作为待检测烟叶样本，由于烟叶的外观特征信息主要体现在正面，因此，本发明实施例中采集烟叶正面彩色图像，将烟叶正面彩色图像作为待测烟叶样本的图像。
为了对待测烟叶样本的分级更加精确，本发明实施例还对待测烟叶样本图像进行预处理，具体为：采用边缘检测技术实现图像前景和背景的分割，提取烟叶部分，将图像背景置为黑色，同时缩放图像至预设尺寸，本发明实施例中的预设尺寸为224*224。
然后将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，由于当年烟叶分级模型是基于深度学习的神经网络模型，因此，可以得到待测烟叶样本的等级。
具体地，本发明实施例中训练后的当年烟叶分级模型可以根据如下方式获得：
获取目标地区的历史烟叶分级模型，该历史烟叶分级模型也是基于深度学习的神经网络模型，由于气候、土壤等生态环境的年际间变化，不同年份的烟叶质量、产量都有所差异，导致当年的烟叶分级细则会与往年的有所不同，因此，如果继续使用往年的历史烟叶分级模型来对当年的待测烟叶样本进行分级的话，得到的结果可能无法满足当年实际烟叶分级工作的要求，所以需要根据当年不同等级烟叶的标样，构建当年烟叶分级模型。
具体地，在训练当年烟叶分级模型时，深度学习模型没有大量的当年烟叶作为训练样本，为了保证模型的分级结果，本发明实施例借用搜集到的历史大量烟叶样本和少量的当年烟叶样本训练模型的特征提取器，通过该特征提取器提取到的历史烟叶样本的特征可以满足分类任务，同时历史烟叶样本的特征与当年烟叶样本的特征差异最小化，即该特征提取器提取到的当年烟叶样本的特征可以满足烟叶分级任务，再利用提取到的当年烟叶样本的特征，结合当年烟叶真实等级训练分类器。
在对当年烟叶分级模型进行训练时，具体过程如下：
对于每个历史烟叶样本，由于烟叶的外观特征信息主要体现在正面，将历史烟叶的正面彩色图像作为历史烟叶样本的图像。
本发明实施例还对历史烟叶样本图像进行预处理，具体为：采用边缘检测技术实现图像前景和背景的分割，提取烟叶部分，将图像背景置为黑色，同时缩放图像至预设尺寸，本发明实施例中的预设尺寸为224*224。
按照同样的方法对每个当年烟叶样本进行处理，得到每个当年烟叶样本的图像。
训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器。
在训练时，利用每个历史烟叶样本的图像、每个历史烟叶样本的真实等级和每个当年烟叶样本的图像训练特征提取网络；利用上述训练后的特征提取器提取每个当年烟叶样本的特征；利用每个当年烟叶样本的特征和每个当年烟叶样本的真实等级训练第一分类器；训练得到的特征提取器和第一分类器即构成当年烟叶分级模型。
需要说明的是，由于训练是基于大量样本数据的，为了提高训练速度和效率，本发明实施例中，所述特征提取网络训练时的初始权重通过迁移训练后的历史烟叶分级模型中对应的权重得到，如此，只需要对特征提取器的权值进行微调，该方法可以加快当年烟叶分级模型的收敛速度，可以提高训练速度和效率，并且由于该特征提取器可以提取历史烟叶和当年烟叶的公共特征，保证了当年烟叶分级模型的分级准确率。
还需要说明的是，考虑当年烟叶与历史烟叶的差异，首先需要缩小当年烟叶图像与历史烟叶图像之间的特征分布差异，设计公共特征提取器，实现历史和当年烟叶图像特征提取的自适应，该特征提取器提取到的历史烟叶特征可良好的完成历史烟叶分级任务，同时又保证历史烟叶特征又与当年烟叶特征差异最小化，即提取到的当年烟叶特征可满足一般的分级任务。因此，本发明实施例中训练特征提取器时的损失函数中包含历史烟叶特征与当年烟叶特征之间的最大平均偏差。
综上，本发明实施例提供一种烟叶分级方法，结合不同年份烟叶品质波动与分级细则的微调，并充分考虑现有智能化烟叶分级方法的优缺点，仅需少量带有标签的当年烟叶样本，即可高效、准确的实现当年烟叶分级模型的构建，实现当年烟叶的准确分级，同时本发明实施例为不同年份的烟叶分级模型更新与调整提供一种新的方法。
具体地，训练后的第一分类器为SVM分类器、Softmax分类器和Large-MarginSoftmax分类器中的一种。
SVM(SupportVectorMachine，简称SVM)中文含义为支持向量机，是机器学习领域一种常见的判别算法，通常被应用于模式识别、分类等问题中。
Softmax分类器常被应用于深度学习的分类任务中，在处理多分类问题时，softmax函数将上一级神经元的输出映射为相对概率，最大概率对应的类别即为输出类别。
Large-MarginSoftmax分类器在softmax分类器的基础之上进行改进，通过调节参数m控制类别之间的差距；在应用时，通过加大训练时的样本类间距离，使得分类结果更为准确。
具体地，本发明实施例历史烟叶通过如下方式获得：
搜集目标地区历史年份大量带有专家标注的不同等级历史烟叶样本。由于烟叶的外观特征信息主要体现在正面，因此本发明中采集烟叶正面RGB图像。如某地区烟叶涉及10个等级，每个等级采集2000张图像，数据总量为10×2000＝20000张。并对图像进行预处理
具体地，本发明实施例中当年烟叶通过如下方式获得：
专家根据目标地区当年烟叶采收状态、品质、成熟度、烘烤情况、产量等多重因素，制定该年度不同等级烟叶标样。组织分级人员根据当年年度专家制定的标样，搜集少量烟叶样本，并进行等级标注。如某地区当年烟叶涉及10个等级，每个等级200个样本，数据总量为10×200＝2000采集当年烟叶正面RGB图像。并对图像进行预处理。
具体的预处理方法如下所述：
首先对采用边缘检测技术实现图像前景与背景的分割，提取烟叶部分，将图像背景置为黑色，同时缩放图像至224×224。
在上述实施例的基础上，优选地，所述历史烟叶分级模型由卷积神经网络和第二分类器组成。
基于深度学习的图像分类任务，一般采取两种处理方式，一是采用迁移学习的方法，将待分类数据集直接送入在数据集上预训练好的分类模型中，改变最后的全连接层或者对整个网络参数进行迁移学习，得到特定分类任务模型；二是针对分类任务与数据集特点，设计特征提取与分类器，利用数据集重新训练整个模型。
烟叶分级是对部位、外观等级、颜色的综合考虑，烟叶部位间形状特征差异较为明显，颜色(柠檬黄、橘黄、红棕等)特征也便于分辨，但是外观等级(1～4)需要考虑因素较多，等级间差异较小，特征属性无法量化，是烟叶分级任务的难点。
综合上述分析，直接运用迁移学习的方法，将模型在开源数据集如ImageNet上提取到的特征用在烟叶分级上，无法提取烟叶等级间的高级特征，并不合适。通过实验论证，采用基于迁移学习的方式对烟叶进行了分级，准确率仅为66.7％，无法良好的完成烟叶分级任务。因此，本发明实施例中自行设计了一款历史烟叶分级模型。该历史烟叶分级模型由卷积神经网络和第二分类器组成。
本发明实施例中设计的基于深度学习的历史烟叶分级模型，以每个历史烟叶样本图像的特征为输入，每个历史烟叶样本的等级信息为输出，采用卷积神经网络进行烟叶特征的提取，建立特征、等级的映射关系。
为了验证本发明实施例中历史烟叶分级模型的准确率，需要先对历史烟叶分级模型进行训练，然后测试训练后的历史烟叶分级模型的分级准确率。
将预处理后的历史烟叶数据集中的图像以3:1:1的比例随机划分为训练接、验证集和测试集，以训练集中历史烟叶样本图像为历史烟叶分级模型的输入，历史烟叶样本的实际等级为输出，对本发明实施例中设计的历史烟叶分级模型进行训练，部分细节如下所示：
(1)、采用Xavier权值初始化方式。
(2)、将图像像素进行批量归一化操作，使其服从正态分布。
(3)、优化器，选取Adam优化器，能够自适应学习率，提高训练速度。
(4)、训练中采用EarlyStopping方法，避免训练过程的过拟合现象，每训练1轮计算一次验证集损失值，当验证集损失函数值连续3次下降时，保存前一次参数作为模型最终参数。
按照上述方法对历史烟叶分级模型进行训练，可以得到训练后的历史烟叶分级模型，将训练后的历史烟叶分级模型用于测试集的烟叶图像分类，输出烟叶等级。实验采集了某地区12个等级的烟叶图像共25000张，训练集、验证集、测试集各15000张、5000张、5000张，该模型在测试集上的判别准确率为86.13％，可接受相邻等级误判的准确率为93.18％，该历史烟叶分级模型在烟叶分类任务上表现良好，说明本发明实施例中设计的历史烟叶分级模型符合要求。
具体地，本发明实施例中，历史烟叶分级模型中的卷积神经网络为ResNet-50网络，采用ResNet-50网络进行特征提取，ResNet-50网络由49个卷积层和1个全连接层构成，其中设计的残差模块，解决了网络加深导致的梯度消失和模型退化等问题，允许训练更深层次的网络。残差模块的思想是在网络中加入直连通道，将输入与卷积后的输出直接相加，达到充分训练底层网络的效果。
并且，历史烟叶分级模型中的第二分类器为Large-Marginsoftmax。该第二分类器连接在ResNet-50网络之后，相对于softmax分类器来说，该第二分类器对应的损失函数可以引导模型学到类间距离最大、类内距离最小的特征，适用于等级内差异大、等级间差异小的烟叶分级任务。Large-Marginsoftmax的损失函数可表示为：
Figure BDA0002202544040000111
其中，
Figure BDA0002202544040000112
可以表示为：
Figure BDA0002202544040000113
m是可设定的正整数，m值越大学习的难度也越大，分类能力越强。
在上述实施例的基础上，优选地，所述当年烟叶分级模型的特征提取器由卷积神经网络和适应层组成，其中，所述适应层的位置通过计算所述卷积神经网络中每一卷积层中所述历史烟叶特征和所述当年烟叶特征之间的最大偏差距离得到，所述适应层的位置为最大偏差距离最小的卷积层所在的位置，所述适应层中包含预设个数神经元，所述预设个数使得最大偏差距离最小。
具体地，本发明实施例中，当年烟叶分级模型中特征提取器是由卷积神经网络和适应层组成，适应层的位置通过如下方式确定：
计算卷积神经网络中每个卷积层中历史烟叶特征和所述当年烟叶特征之间的最大偏差距离，将最大偏差距离最小的那个卷积层所在的位置作为适应层的位置。
适应层中包含神经元的个数通过如下方式确定：
利用穷举法，依次改变适应层中包含的神经元个数，并且不同神经元个数时历史烟叶特征与当年烟叶特征之间的最大偏差距离，将最大偏差距离最小时所包含的神经元个数作为适应层中神经元的个数。
为了缩小历史烟叶和当年烟叶的特征差异，寻找同一公共空间，使得特征提取符合。
在卷积神经网络后添加适应层，通过适应层的输出计算历史烟叶和当年烟叶特征之间的最大平均偏差(MaximumMeanDiscrepancy，简称MMD)，衡量特征之间的距离。
在上述实施例的基础上，优选地，所述最大平均偏差通过如下公式获得：
Figure BDA0002202544040000121
其中，XS表示所述提取到的历史烟叶特征，XT表示所述提取到的当年烟叶特征，φ表示映射函数。在上述实施例的基础上，优选地，所述特征提取器训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，具体通过如下公式获得：
L＝LC(XL,y)+λMMD2(XS,XT)，
其中，L表示所述特征提取器训练时的损失函数，LC(XL,y)表示所述历史烟叶分类误差，MMD(XS,XT)表示所述最大平均偏差，λ表示预设参数。
具体地，λ表示预设参数，其具体取值可以根据实际情况进行确定，用来改变损失函数中域偏差的强度。
图2为本发明实施例中构建当年烟叶分级模型的流程图，如图2所示，该流程的步骤如下：
Step1，训练历史烟叶样本分级模型。模型包括特征提取层和第二分类器，训练时通过预测等级与实际等级的分类误差来实现整个网络的参数更新，得到历史烟叶分级模型。
Step2，训练特征提取器。
(1)该网络输入为历史样本图像、历史烟叶样本实际等级、当年烟叶样本图像；
(2)设计特征提取器，包括特征提取层和适应层(其中特征提取层的结构设置和初始化参数均迁移step1中训练得到的)，用于提取历史和当年烟叶图像的特征；
(3)提取到的历史烟叶特征，通过第二分类器得到历史烟叶预测等级；计算历史烟叶预测等级与真实等级之间的分类误差；
(4)计算(2)中提取到的历史、当年烟叶特征的最大平均偏差；
(5)该网络的整体误差函数为(3)中分类误差与(4)中最大平均偏差的组合；
(6)网络训练时，通过最小化(5)中网络整体误差函数，实现整个网络的参数更新。
(7)由此方法训练得到的公共特征提取器，提取到的历史烟叶图像特征符合分类任务，同时又缩小了历史烟叶与当年烟叶的特征差异。提取到的当年烟叶特征符合分类任务。
Step3，训练当年烟叶分级模型中的第一分类器。
网络输入为当年烟叶样本的图像、当年烟叶样本的实际等级；利用step2中训练的公共特征提取器提取当年烟叶样本图像的特征；提取到的图像特征，结合当年烟叶分级模型中的第一分类器，预测烟叶等级；训练网络时，通过最小化预测等级与真实等级之间的分类误差，实现第一分类器的参数更新。
综上所述，step2中公共特征提取器与step3中当年烟叶分级模型中的第一分类器，共同构成烟叶分级模型。
上述为当年烟叶分级模型在实际操作过程中的构建流程，得到训练后的当年烟叶分级模型。
当年烟叶分级任务中，将待测烟叶样本图像输入训练后的当年烟叶分级模型，得到待测烟叶样本等级，实现烟叶分级。
图3为本发明实施例提供的一种烟叶分级系统的结构示意图，该系统包括获取模块301和分级模块302，其中：
获取模块301用于获取目标地区对应的当年待测烟叶样本的图像；
分级模块302用于将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
本系统实施例的具体执行过程与上述方法实施例的具体执行过程相同，详情请参考上述方法实施例，本系统实施例在此不再赘述。
图4为本发明实施例提供的一种电子设备的实体结构示意图，如图4所示，该服务器可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：
获取目标地区对应的当年待测烟叶样本的图像；
将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
获取目标地区对应的当年待测烟叶样本的图像；
将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种烟叶分级方法，其特征在于，包括：
获取目标地区对应的当年待测烟叶样本的图像；
将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
2.根据权利要求1所述方法，其特征在于，当年烟叶分级模型由特征提取器和第一分类器两部分组成。
3.根据权利要求1所述方法，其特征在于，所述历史烟叶分级模型由卷积神经网络和第二分类器组成，所述第二分类器位于所述卷积神经网络之后，所述卷积神经网络为ResNet-50网络，所述第二分类器为Large-Margin Softmax。
4.根据权利要求1所述方法，其特征在于，所述特征提取网络由卷积神经网络和适应层组成，其中，所述卷积神经网络的结构与所述历史烟叶分级模型的卷积神经网络结构一致，所述适应层的位置通过计算所述卷积神经网络中每一卷积层中历史烟叶样本图像的特征和当年烟叶样本图像的特征之间的最大偏差距离得到，所述适应层的位置为最大偏差距离最小的卷积层所在的位置，所述适应层中包含预设个数神经元，所述预设个数使得最大偏差距离最小。
5.根据权利要求1所述方法，其特征在于，训练后的第一分类器为SVM分类器、Softmax分类器和Large-Margin Softmax分类器中的一种。
6.根据权利要求1所述方法，其特征在于，所述最大平均偏差通过如下公式获得：
Figure FDA0002202544030000021
其中，XS表示提取到的历史烟叶样本图像的特征，XT表示提取到的当年烟叶样本图像的特征，φ表示映射函数。
7.根据权利要求1所述方法，其特征在于，所述特征提取器训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，具体通过如下公式获得：
L＝LC(XL,y)+λMMD2(XS,XT)，
其中，L表示所述特征提取器训练时的损失函数，LC(XL,y)表示所述历史烟叶分类误差，MMD(XS,XT)表示所述最大平均偏差，λ表示预设参数。
8.一种烟叶分级系统，其特征在于，包括：
获取模块，用于获取目标地区对应的当年待测烟叶样本的图像；
分级模块，用于将待测烟叶样本的图像输入到训练后的当年烟叶分级模型中，预测所述待测烟叶样本的等级，训练后的当年烟叶分级模型包括训练后的特征提取器和训练后的第一分类器，训练后的特征提取器由历史烟叶样本的图像、历史烟叶样本的真实等级和当年烟叶样本的图像对特征提取网络训练得到，所述特征提取网络训练时的损失函数根据历史烟叶分类误差、历史烟叶特征和当年烟叶特征之间的最大平均偏差得到，训练时所述特征提取网络的初始权重通过迁移历史烟叶分级模型的权重得到，所述历史烟叶分级模型由历史烟叶样本训练得到，训练后的第一分类器由当年烟叶样本图像的特征和当年烟叶样本的真实等级训练得到，其中所述当年烟叶样本图像的特征通过训练后的特征提取器得到。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述烟叶分级方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述烟叶分级方法的步骤。
CN201910870129.0A 2019-09-16 2019-09-16 一种烟叶分级方法及系统 Active CN110807760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910870129.0A CN110807760B (zh) 2019-09-16 2019-09-16 一种烟叶分级方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910870129.0A CN110807760B (zh) 2019-09-16 2019-09-16 一种烟叶分级方法及系统

Publications (2)

Publication Number Publication Date
CN110807760A CN110807760A (zh) 2020-02-18
CN110807760B true CN110807760B (zh) 2022-04-08

Family

ID=69487526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910870129.0A Active CN110807760B (zh) 2019-09-16 2019-09-16 一种烟叶分级方法及系统

Country Status (1)

Country Link
CN (1) CN110807760B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601418B (zh) * 2020-05-25 2022-11-22 博彦多彩数据科技有限公司 色温调节方法、装置、存储介质和处理器
CN111915580A (zh) * 2020-07-27 2020-11-10 深圳市识农智能科技有限公司 烟叶分级方法、系统、终端设备及存储介质
CN113919443B (zh) * 2021-02-24 2022-04-12 北京优创新港科技股份有限公司 一种基于图像分析烟叶成熟度状态概率计算方法
CN113516617B (zh) * 2021-04-02 2023-05-05 云南省烟草质量监督检测站 一种基于机器视觉和ai深度学习的烤烟等级识别建模方法
CN112966789A (zh) * 2021-04-22 2021-06-15 广东中烟工业有限责任公司 一种烟叶成熟度识别方法、装置及设备
CN113222062A (zh) * 2021-05-31 2021-08-06 中国烟草总公司郑州烟草研究院 烟叶分类的方法、装置和计算机可读取介质
CN113469233B (zh) * 2021-06-23 2024-05-07 临沂大学 基于深度学习的烟叶自动定级方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326899A (zh) * 2016-08-18 2017-01-11 郑州大学 一种基于高光谱图像和深度学习算法的烟叶分级方法
CN108805867A (zh) * 2018-05-25 2018-11-13 北京百度网讯科技有限公司 用于输出烟叶等级信息的方法和装置
CN109523526B (zh) * 2018-11-08 2021-10-22 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
CN109784424B (zh) * 2019-03-26 2021-02-09 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置

Also Published As

Publication number Publication date
CN110807760A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807760B (zh) 一种烟叶分级方法及系统
Zhou et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN109523018B (zh) 一种基于深度迁移学习的图片分类方法
CN107977671A (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN106446942A (zh) 基于增量学习的农作物病害识别方法
CN106971160A (zh) 基于深度卷积神经网络和病害图像的冬枣病害识别方法
CN110479636B (zh) 基于神经网络自动分拣烟叶的方法及装置
CN108564115A (zh) 基于全卷积gan的半监督极化sar地物分类方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN109543723B (zh) 一种鲁棒的图像聚类方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN103886342A (zh) 基于光谱和邻域信息字典学习的高光谱图像分类方法
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN110097060A (zh) 一种面向树干图像的开集识别方法
CN109903053B (zh) 一种基于传感器数据进行行为识别的反欺诈方法
CN109886146B (zh) 基于机器视觉检测的洪灾信息遥感智能采集方法及设备
Yu et al. Recognition method of soybean leaf diseases using residual neural network based on transfer learning
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN115376008A (zh) 病虫害识别方法、装置、电子设备和存储介质
CN114399661A (zh) 一种实例感知主干网络训练方法
Balasubramaniyan et al. Color contour texture based peanut classification using deep spread spectral features classification model for assortment identification
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN113011487B (zh) 一种基于联合学习与知识迁移的开放集图像分类方法
Ji et al. Apple color automatic grading method based on machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant