CN116245855B - 作物品种鉴定方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种作物品种鉴定方法、装置、设备及存储介质，所述方法包括：将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；使用KL散度进行候选区域判别性排序，选择Top‑k个具有判别性的k个候选区域；使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。本申请使用FPN检测叶片图像的多尺度局部特征，采用RPN生成若干局部候选区域，通过排序网络筛选局部区域的判别性，最后通过特征拼接实现作物栽培品种的准确鉴定，提升了品种鉴定的自动化与准确性。

Description

作物品种鉴定方法、装置、设备及存储介质

技术领域

本发明涉及品种鉴定技术领域，尤其涉及到一种作物品种鉴定方法、装置、设备及存储介质。

背景技术

栽培品种鉴定通常是植物引种或改良计划的第一步，品种鉴定在作物品种的评估、筛选繁殖和品种授权中起着至关重要的作用，一个快速、准确、有效的栽培品种鉴定方法对现代农业具有重要意义。现有在农业界实际应用的栽培品种鉴定方法以传统方法为主，传统品种鉴定方法主要通过分析植物的形态特征和DNA分子片段对植物品种鉴定，这类方法具有鉴定周期长，成本高，鉴定条件苛刻，对植株具有入侵性等局限性。叶片相比于其它植物器官拥有更为显著的特征，通常拥有明显的颜色、形状、叶脉和纹理特征，是提高品种鉴定效率的良好研究对象。已有研究从多方面证明植物叶片图像可以用于植物物种(Species)的区分，然而植物叶片是否可以用于品种(Cultivar)分类，还是一个少有研究的具有挑战性的问题。与采用叶片图像对物种进行分类不同，品种分类的叶片图像特征模式更难获取，如图1中a)来自Swedish数据集的6个不同种类植物叶片所示，植物物种间具有显然不相同的图像特征，如形状，色彩和轮廓，仅凭视觉差异可以轻松对这些物种进行区分。而对于同一种物种的不同品种，则难以凭借视觉差异对这些品种进行区分，同一个物种的不同品种的叶片图像几乎共享所有的几何形状和色彩信息，如图1中b)所示，来自6个不同品种的樱桃叶片视觉上具有很高的相似性，即使是专门从事樱桃研究的专家也很难根据叶片图像将这些樱桃的品种进行区分。

随着机器学习(Machine Learning)的发展，研究人员开始使用机器学习方法来描述植物叶片的特征，以此进行植物物种或栽培品种分类，主要是一些手工特征定义的方法。手工提取特征的方法通常通过定义特征描述算子描述植物叶片的形状、叶脉和纹理特征，在描述植物物种间差异的应用中取得了良好的效果，但在描述同一物种品种间微小差异时效果不佳。随着深度学习(Deep Learning)的快速发展，使得用深度学习方法提取叶片图像特征进行品种分类成为了可能。深度神经网络具备自动特征工程能力，以大量训练数据迭代训练生成的深度神经网络可以学习到具有代表性的抽象特征，研究表明，以卷积、池化、激活函数堆叠而成的深度卷积神经网络方法在植物物种分类的任务中取得了卓越的效果。

2、现在技术方案：

1)传统方法：形态描述符鉴定法使用株高、茎宽、叶宽、叶长、叶长宽比、花冠长度、花冠宽度、花冠长度、花冠长宽比、花药长度、果实重量、果实长度、果实直径、果实长宽比等植物形态特征作为形态学描述符，通过选定形态学描述符，在植物生长的整个生命周期收集和比较这些形态描述符之间的差异，并采用记录的方式生成栽培品种鉴定图谱，可有效鉴定植物品种。另一种是实验室鉴定方法，在专用实验室中使用化学试剂和专业设备对作物叶片或者其组织进行处理的实验室鉴定方法，主要有高光谱鉴定技术和DNA分子标定技术。高光谱鉴定技术一般使用能够充分表达叶片样本内部的物理结构和化学信息的叶片高光谱图像作为研究对象进行植物品种鉴定，通过使用高光谱成像仪采集叶片高光谱图像，并使用掩膜提取图像的光谱特征，对光谱进行降维，最后分析光谱特征的波长可以对植物品种进行鉴定。

2)机器学习方法：

在基于手工特征的品种鉴定方法中，火元莲等人采用图像二值化和灰度化的方法对叶片图像进行处理，提取得到叶片的形状特征参数、灰度共生矩阵、不变矩特征等组成26维特征向量，在此基础上使用极限学习机(ELM)算法对特征向量进行分类，他们的实验在公开数据集Flavia上对13个植物种类进行分类，测试集准确率达到了98％。Wang B等人提出了多尺度拱高(MARCH)法，该方法从叶片的每个轮廓点提取不同弦跨度的分层拱高特征以提供紧凑的多尺度叶片形状描述算子，在四个公开的数据集Swedish、Flavia、ICL、ImageCLEF上进行了实验，实现了更高的分类效率和分类速度。Mouine S等人提出了三角形表示法作为叶片形状描述算子，通过定义四种多尺度三角形使得模型鲁棒性得到提高，在叶片出现平移、旋转、缩放和部分遮挡的情况时仍能有效提取叶片的形状特征。梅星宇等人提出了一种叶片复频域纹理特征描述算法，首先通过对叶片图像进行灰度处理，中值滤波，去噪，然后对分块后的每块叶片图像计算多频域局部二元模式(LBP)和局部向位量化(LPQ)，最后通过特征融合并使用KNN分类算法进行分类，在公开数据集Flavia上去的了96％的准确率。

在基于自动特征提取的深度学习品种鉴定方法中，目前已经有深度学习集成分类算法、全卷积神经网络、反卷积网络(DN)、微调DCNN、优化CNN-Softmax等成果相继提出用于叶片图像分类任务。在具体工作中，Grinblat G L等人使用深度神经网络对大豆叶片的叶脉模式特征进行识别，实验对大豆、红豆、白豆三种豆科植物进行分类取得了成功。Zhang C等人提出了一个9层卷积神经网络，在网络中添加了局部响应归一化(LRN)以提高模型的泛化能力，上述研究初步证明了深度卷积神经网络在叶片分类中的可行性。Nasiri A等人使用微调VGG16网络从葡萄叶片的高光谱图像中提取高级光谱特征，在6个葡萄栽培品种的识别中取得了92.72％的准确性。他们的方法比传统的基于人工特征的方法更加准确和高效。Wei Tan J等人提出了一种新颖的神经网络D-leaf，将多个预训练的模型和微调的AlexNet相结合用于叶片叶形、叶脉特征提取，将所得特征分别使用SVM、KNN、CNN等分类器进行分类，验证了联合模型对叶脉特征提取的有效性。Tavakoli H等人提出了一种判别性卷积神经网络，用加法角度边际损失和大边际余弦损失替换了Softmax层和交叉熵损失函数，使得分类网络更具判别能力。Zhang Y等人提出了一种MFCIS方法，该方法使用Xception网络来提取樱桃叶的特征，通过额外增加叶片的纹理叶脉等人工特征，过对88个樱桃栽培品种进行分类，获得了83.5％的准确率。

传统鉴定方法存在的缺点：实验室品种鉴定方法的性能在很大程度上受到实验环境和实验设备的影响，通常鉴定成本较高并，目前农业界使用的品种鉴定方法还是以形态描述符鉴定方法为主。而形态描述符的收集需要贯穿植物生长的整个生命周期，一旦在途中出现差错，研究者需要再次对植物进行播种并再次进行收集，导致了形态描述符方法的鉴定周期更长。更重要的是，该方法的鉴定性能通常与描述符的选择密切相关，栽培品种鉴定中使用什么样的描述符是由检验员主观决定的，检验员的经验和先验知识储备直接决定了作物栽培品种鉴定的准确性，对于一些叶片外观几乎一致的近似品种，行业专家也难以做出鉴定，故形态描述符栽培品种鉴定还存在一定的局限性，准确性受检验人员的主观性影响较大。

机器学习方法存在的缺点：在基于手工特征的品种鉴定方法中，对于不同种类的植物叶片，叶片具有独特的形状、纹理、和色彩特征，对于不同种类的植物叶片需要设计不同的特征描述算子，导致人工定义特征进行品种分类的方式人工成本依然较高，自动化程度较低。另外，特征描述算子的好坏很大程度上仍旧取决于研究人员的主观判断，研究人员的主观性会影响鉴定模型的准确率，这并没有解决传统方法中的主观性局限。自动特征提取的品种鉴定方法解决了传统方法和手工特征方法所存在的成本高、周期长等问题，但该类方法仍然存在一定局限，基于深度学习的自动特征提取过程仍然沿用单一过程的方式，即使用卷积核扫描叶子图像，提取图像的整体视觉信息，包括纹理、颜色、形状等。这种策略忽略了一个事实，即鉴别性的特征只包含在叶子图像的局部，全局特征不会提供足够的信息来支持识别过程。此外，大多数现有的基于深度学习的方法利用了计算机视觉领域广泛采用的架构，如VGG16，而没有考虑基于叶子图像的植物栽培品种识别的特殊性。这些方法忽略了网络结构对栽培品种识别的影响，强调通过优化损失函数来实现更好的性能。基于深度学习的模型通过对损失函数进行直接优化使得模型侧重于捕捉叶子图像的全局特征，而在实际应用过程中，同一个植物的需要进行分类的品种是成百上千种，已有自动特征提取的植物品种鉴定工作的分类数量大多为几种和几十种，一旦将其分类品种的数量增加，其性能与实际应用的要求仍有距离，仍有很大的改进空间。

发明内容

本发明的主要目的在于提供一种作物品种鉴定方法、装置、设备及存储介质，旨在解决目前传统品种鉴定方法鉴定成本较高且鉴定等待时间漫长，鉴定准确率因检验员的水平差异而具有主观性，以及现有基于机器学习的品种鉴定方法中存在的自动化程度不够高，基于深度学习方法中准确率较低等问题。

为实现上述目的，本发明提供一种作物品种鉴定方法，所述方法包括以下步骤：

将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；

使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域；

使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

可选的，FPN网络具有：自上而下的途径和自下而上的途径，且自下而上的路径和自上而下的路径的特征图通过元素相加的方式进行合并。

可选的，生成多个候选区域步骤中，采用缩放运算符为每个滑动窗口中心的锚点生成多个局部区域R＝ηS×θS，得到N个候选区域组成的候选区域集合其中η和θ是缩放比例。

可选的，使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域步骤，具体包括：

利用One-hot编码子模块将栽培品种信息转换为二进制向量l向量中有且只有一个元素为1，表示每一张叶片图像真实的栽培品种信息；K是所识别的栽培品种的数量；

将候选区域输入特征提取子模块进行特征提取，获得候选区域CR_i的特征向量

根据每个局部候选区域的可判别性对候选区域集CR＝{CR_i|i∈[1，N]}进行排序，选择Top-k个具有判别性的k个候选区域。

可选的，所述候选区域集CR_i的判别性的表达式，具体为：

表示局部候选区域CR_i对作物品种分类的有用性，/>表示局部候选区域CR_i的信息量，α代表有用性对信息量的相对重要性，/>为第j哥局部区域的特征向量表达。

可选的，全连接层神经网络训练的损失函数的表达式，

具体为：

L＝μL₁+βL₂+γL₃

其中，L₁为候选区域检测损失，L₂为判别性区域提出损失，L₃为品种栽培品种分类损失，超参数μ、β、γ是三部分损失的权重。

可选的，对于局部候选区域检测损失L₁，给定一个叶片图像的候选区域集CR＝{CR_i|i∈[1，N]}和该栽培品种的真实One-hot编码向量l，信息量排序IR(CR_i)和有用性UR(CR_i)排序定义为：

其中，S(·，·)是相似性函数，是特征提取模块f_θ中全连接层的输出；

判别性局部区域检测损失函数L₁的具体定义如下：

对于判别性区域提出损失L₂，定义为：

其中，f_θ(·)表示特征提取网络；

对于品种栽培品种分类损失L₃，定义为：

其中，M为测试样本数，P是批尺寸，y_i为当前栽培品种的真实标签，g_θ(x)为叶片图像x_i的栽培品种分类结果，g_θ(·)为栽培品种识分类模块。

此外，为了实现上述目的，本发明还提供了一种作物品种鉴定装置，所述作物品种鉴定装置包括：

第一生成模块，用于将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；

第二生成模块，用于使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

选择模块，用于使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域；

分类模块，用于使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

此外，为了实现上述目的，本发明还提供了一种作物品种鉴定设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的作物品种鉴定程序，所述作物品种鉴定程序被所述处理器执行时实现上述的作物品种鉴定方法的步骤。

此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有作物品种鉴定程序，所述作物品种鉴定程序被处理器执行时实现上述的作物品种鉴定方法的步骤。

本发明实施例提出的一种作物品种鉴定方法、装置、设备及存储介质，所述方法包括：将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域；使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。本申请使用FPN检测叶片图像的多尺度局部特征，采用RPN生成若干局部候选区域，通过排序网络筛选局部区域的判别性，最后通过全连接网络进行特征拼接实现作物栽培品种的准确鉴定，提升了品种鉴定的自动化与准确性。

附图说明

图1为不同种类和品种间叶片比较图；

图2为本发明实施例方案涉及的硬件运行环境的装置结构示意图；

图3为本发明作物品种鉴定方法实施例的流程示意图；

图4为本发明局部候选区域检测的示意图；

图5为本发明判别性区域提案网络结构图；

图6为本发明栽培品种分类网络结构图；

图7为本发明实施例中一种作物品种鉴定装置的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图2所示，图2是本发明实施例方案涉及的硬件运行环境的装置结构示意图。

如图1所示，该装置可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图2中示出的装置的结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图2所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及作物品种鉴定程序。

在图2所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的作物品种鉴定程序，并执行以下操作：

将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；

使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域；

使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

本发明应用于装置的具体实施例与下述应用作物品种鉴定方法的各实施例基本相同，在此不作赘述。

本发明实施例提供了一种作物品种鉴定方法，参照图3，图3为本发明作物品种鉴定方法实施例的流程示意图。

本实施例中，所述作物品种鉴定方法包括以下步骤：

步骤S100，将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；

步骤S200，使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

步骤S300，使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域；

步骤S400，使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

本实施例提供了一种作物品种鉴定方法，通过使用FPN检测叶片图像的多尺度局部特征，采用RPN生成若干局部候选区域，通过排序网络筛选局部区域的判别性，最后通过全连接网络进行特征拼接实现作物栽培品种的准确鉴定，提升了品种鉴定的自动化与准确性。

为了更清楚的解释本申请，下面提供本申请在实际应用中的具体实例。

为了缓解传统品种鉴定方法鉴定成本较高且鉴定等待时间漫长，鉴定准确率因检验员的水平差异而具有主观性等这些缺点，同时也为了改进基于机器学习的品种鉴定方法中存在的自动化程度不够高，基于深度学习方法中准确率较低等问题，本实施例在本方法中以作物的叶片图像作为研究对象，旨在提出一种端到端的全自动化的高效品种鉴定方法。与现有的大多数方法不同，本方法侧重于利用局部特征来提高基于计算机视觉的作物栽培品种鉴定的性能，并认为鉴别性局部特征与局部特征周围的像素不同，含有更多的栽培品种分类的鉴别性信息。本方法以叶片图像作为输入，使用特征金字塔网络(FPN)检测叶片图像的多尺度局部特征，根据检测到的多尺度特征采用特征提案网络(RPN)生成若干局部候选区域，再基于KL-devergence设计新颖的排序网络筛选局部区域的判别性，最后通过全连接网络拼接叶片全局特征和判别性局部特征实现作物栽培品种的准确鉴定。

S1:使用FPN生成多尺度特征图。

如图4所示，叶片图像经过多层卷积神经网络后的特征图输入FPN网络，FPN有两条途径：自下而上的途径和自上而下的途径。自下而上的途径是FPN的前馈计算。随着自下而上路径的上升，靠近输出层的特征图包含更多的语义信息，如叶片的纹理和脉络，它对检测大尺度的候选区域是有效的。离输入层较近的特征图则有更高的分辨率和更丰富的位置和颜色信息，但语义特征并不如离输出层较近的特征图那样显著。自上而下的途径扩大了分辨率较高的特征图的大小，同时FPN通过横向连接将来自自下而上途径和自上而下途径中相同空间大小的特征图融合起来。融合后的特征图对检测小尺度的候选区域很有效。更具体地说，在这里采用上采样可以扩大具有更高分辨率的特征图的尺寸，1×1卷积被用来减少来自自下而上路径的特征图的通道维度。然后，自下而上的路径和自上而下的路径的特征图通过元素相加的方式进行合并。

S2:使用RPN在多尺度特征图上生成多个候选区域。

在S1输出的每个特征图上使用滑动窗口来检测当前窗口下的局部区域是否包含判别信息。滑动窗口的中心被称为锚点。采用缩放运算符为每个锚点生成多个局部区域R＝ηS×θS，其中η和θ是缩放比例。如图4所示，在对滑动窗口R＝S×S，S≤min{W，H}使用了缩放运算符η和θ后，得到了三种不同大小的局部区域。由于使用滑动窗口生成局部区域的过程会产生许多重叠的区域，增加信息冗余，所以发放使用非极大值抑制(NMS)从许多的重叠区域中选择若干个信息冗余较少的局部区域，具体采用交并比(loU)函数计算两个候选框的交集和并集之比。两个边界框的并集是一个较大的区域，而两个候选框的交集就是重叠的部分，是一个较小的区域，那么交并比就是候选框交集的大小比上候选框并集的大小，通过设定阈值来排除交并比大于当前阈值(重合度过高)的候选框。IoU的定义如下，其中A是当前候选框，B是其余待判定候选框。

最后，得到N个候选区域组成的局部候选区域集合

S3:使用KL-devergence进行局部候选区域判别性排序，选择Top-k个具有判别性的k个候选区域。

在这一个步骤，如图5所示，本实施例设计了一个排序网络来评估上一节检测到的每个局部区域对于品种鉴定分类的贡献度，这里称为判别性。这一部分的输出是局部候选区域集CR＝{CR_i|i∈[1，N]}判别性的从大到小的排名。本实施例认为任何具备鉴别性的区域CR_i都必须满足两个要求：信息量和有用性。信息量是指CR_i中包含的信息在其他局部区域内无法获得。有用性是指CR_i中包含的信息能够提高作物栽培品种分类的准确性。

(1)One-hot编码子模块将栽培品种信息转换为二进制向量l向量中有且只有一个元素为1，表示每一张叶片图像真实的栽培品种信息。K是所识别的栽培品种的数量。

(2)特征提取子模块f_θ是一个参数为θ的深度神经网络，它以局部候选区域为输入，通过深度神经网络特征提取，输入全连接层进行特征整流，为全连接层输出，为局部候选区域CR_i的特征向量。由于/>可以代表潜在栽培品的概率分布，l和/>之间的向量相似性被用来评价每个局部候选区域的有用性，/>和/>之间的相似性被用来评价CR_i对CR_j的信息量。两个向量/>之间的相似性由KL(Kullbacka Leibler)散度定义。

这里使用KL散度有两个重要原因：a)KL散度将相似性定义为v_i和v_j之间对数差的期望值，相当于衡量v_i来近似v_j时的信息损失。b)KL散度是熵的一个特例，它可以评估局部候选区域集的不确定性。不确定性越强的局部候选区域，其中包含的信息就越多。

(3)根据每个局部候选区域的可判别性对候选区域集CR＝{CR_i|i∈[1，N]}进行排序。具体地说，给定一个栽培品种的One-hot编码l，候选区域CR_i的判别性可定义如下：

表示局部候选区域CR_i对作物品种分类的有用性。/>表示局部候选区域CR_i的信息量。α代表有用性对信息量的相对重要性。根据判别能力D(·)，可以得到候选区域{CR_i|i∈[1，k]}的排名，top-k个判别能力强的局部候选区域{CR_i|i∈[1，k]}是鉴别性区域提案子模块的输出。

S4:使用全连接网络对特征进行拼接，Softmax进行品种分类。

使用全连接层神经网络(FCNN)g_θ(x)∈{0，1}^K对叶片图像的全局特征和具有判别性的局部特征进行特征拼接，并输出品种分类结果。其中θ是FCNN的可学习参数，x是FCNN的输入。如图6所示基于特征提取模块f_θ，将整个叶片图像的特征作为全局特征，将top-k个具有判别性的局部区域{CR_i|i∈[1，k]}的输出作为局部特征。全局特征和局部特征的拼接作为g_θ(x)的输入。FCNNg_θ(x)的输出是栽培品种的分类结果。

S5:品种鉴定模型训练。

(1)损失函数设计：损失函数L包含三个部分：局部候选区域检测损失L₁、判别性区域提出损失L₂和品种栽培品种分类损失L₃，其中超参数μ、β、γ是三部分损失的权重，反映了三种不同损失对整体损失的相对重要性。

L＝μL₁+βL₂+γL₃

1)判别性局部区域检测损失：如果一个局部区域包含特定栽培品种独有的特征信息，其相应的特征向量应该与该特定栽培品种有相类似的One-hot编码模式，同时top-k个局部区域集合的信息性排序和有用性排序也应该是一致的。本方法提出了判别性局部区域检测损失函数来优化筛选候选局部区域，使得筛选出来的局部区域信息量排序和有用性排序趋于一致。具体来说，给定一个叶片图像的局部候选区域集CR＝{CR_i|i∈[1，N]}和该栽培品种的真实One-hot编码向量l，信息量排序IR(CR_i)和有用性UR(CR_i)排序定义为：

其中，S(·，·)是相似性函数，是特征提取模块f_θ中全连接层的输出。

判别性局部区域检测损失函数L₁的具体定义如下：

|IR(CR_i)-UR(CR_i)|量化了信息量排序和有用性排序对第i个候选区域CR_i的一致性。当IR(CR_i)、UR(CR_i)这两个排序的结果完全相同时，它取得极小值，当两个集合的排序完全不同时，它取得极大值。损失函数将对信息量排名和有用性排名不一致的局部候选区域进行惩罚。最后，整个候选区域集合{CR_i|i∈[1，N]}的排名会收敛到信息量排序IR(CR_i)和有用性UR(CR_i)相同的顺序。

2)局部区域提案损失，损失函数L₂来量化由判别性局部区域定位模块产生的top-k个具有判别性局部区域{CR_i|i∈[1，k]}与原始叶片图像之间的近似程度。近似程度越高，表明CR_i中包含的特征与原始叶片图像x中包含的特征越接近。损失函数L₂的定义如下：

其中f_θ(·)表示特征提取网络。

3)栽培品种分类损失，栽培品种分类损失函数L₃采用交叉熵的形式定义，定义如下：

其中，M为测试样本数，P是批尺寸，y_i为当前栽培品种的真实标签，g_θ(x)为叶片图像x_i的栽培品种分类结果，g_θ(·)为栽培品种识分类模块。

(2)具体实施细节：在模型训练过程中，特征提取网络选择ResNet50，每张叶片图像的大小被调整为448×448像素。一些超参数设置如下：局部候选区域的数量N被设置为6，判别局部区域的数量k设置为4，以及初始学习率lr设置为0.001。同时本方法采用权重衰减率为1e-4的随机梯度下降算法(SGD)来优化的LRPNet的可学习参数。非极大值抑制算法(NMS)的IoU阈值设定为0.75，重叠高于0.75的局部区域将被认定为信息冗余，被排除在候选区域外。损失函数的权重μ、β、γ被设置为1。特征金字塔网络中(FPN)中三个层次的特征图的大小分别设置为{14×14，7×7，4×4}。豆数据集均按照训练集、验证集、测试集划分为6:3:1的比例。实验使用Anaconda 3-5.2管理实验的软件环境依赖，编程环境选择Python3.6，深度学习框架选择Pytorch 1.10。实验的CPU为Intel Xeon Silver 4214，服务器内存为128G，同时采用两块显存为24G的NVIDIA GeForce RTX 3090 GPU进行GPU运算加速。

本实施例提供的一种作物品种鉴定方法，通过自适应局部判别性特征提取：区别与对图像进行特征标定和特征和定义特征描述算子的半自动化局部特征提取工作，本方法不需要人工处理标注和人工特征定义，可根据输入数据特点自动地捕获植物叶片中的不同种属间具有判别性的局部区域。本实施例提供的一种作物品种鉴定方法，具有高性能高效率：与传统方法和手工定义特征的鉴定方法相比，鉴定高效率，鉴定具有无侵入性，模型仅需要一张叶片图像作为输入就能够得到品种分类结果，适用于大田环境。模型具有较高的准确率，同时相比于同类相关方法的鉴别准确率提升了6.7个百分点。

本实施例相比于现有技术MFCIS，具有比MFCIS更高的品种鉴定准确率；区别于MFCIS添加人工定义局部特征的半自动鉴定方法，本方法是一个端到端的全自动鉴定方法；相比于MFCIS，本方法泛化性强，不针对特定的种属开发，可以广泛地应用于不同植物种类的品种鉴定，同时模型可良好适用于同一物种的不同生长周期品种鉴定。

参照图7，图7为本发明作物品种鉴定装置实施例的结构框图。

如图7所示，本发明实施例提出的作物品种鉴定装置包括：

第一生成模块301，用于将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；

第二生成模块302，用于使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

选择模块303，用于使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域；

分类模块304，用于使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

本发明作物品种鉴定装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

此外，本发明还提出一种作物品种鉴定设备，其特征在于，所述作物品种鉴定设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的作物品种鉴定程序，其中：所述作物品种鉴定程序被所述处理器执行时实现本发明各个实施例所述的作物品种鉴定方法。

本申请作物品种鉴定设备的具体实施方式与上述作物品种鉴定方法各实施例基本相同，在此不再赘述。

此外，本发明还提出一种可读存储介质，所述可读存储介质包括计算机可读存储介质，其上存储有作物品种鉴定程序。所述可读存储介质可以是图2的终端中的存储器1005，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述可读存储介质包括若干指令用以使得一台具有处理器的作物品种鉴定设备执行本发明各个实施例所述的作物品种鉴定方法。

本申请可读存储介质中作物品种鉴定程序的具体实施方式与上述作物品种鉴定方法各实施例基本相同，在此不再赘述。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种作物品种鉴定方法，其特征在于，所述方法包括以下步骤：

将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；

使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域，所述判别性的表达式，具体为：

D(CR_i)表示候选区域CR_i的判别性，为相似性函数，表示局部候选区域CR_i对作物品种分类的有用性，具体为：l和/>之间的向量相似性，/>表示局部候选区域CR_i的信息量；α代表有用性对信息量的相对重要性，/>为局部候选区域j的特征向量表达；N为候选区域的数量，l为利用One-hot编码子模块将栽培品种信息转换为二进制向量l∈R^K，l向量中有且只有一个元素为1，表示每一张叶片图像真实的栽培品种信息；K是所识别的栽培品种的数量；

使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

2.如权利要求1所述的作物品种鉴定方法，其特征在于，FPN网络具有：自上而下的途径和自下而上的途径，且自下而上的路径和自上而下的路径的特征图通过元素相加的方式进行合并。

3.如权利要求2所述的作物品种鉴定方法，其特征在于，生成多个候选区域步骤中，采用缩放运算符为每个滑动窗口中心的锚点生成多个局部区域R＝ηS×θS，得到N个候选区域组成的候选区域集合其中η和θ是缩放比例。

4.如权利要求3所述的作物品种鉴定方法，其特征在于，使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域步骤，具体包括：

利用One-hot编码子模块将栽培品种信息转换为二进制向量l向量中有且只有一个元素为1，表示每一张叶片图像真实的栽培品种信息；K是所识别的栽培品种的数量；

将候选区域输入特征提取子模块进行特征提取，获得候选区域CR_i的特征向量

根据每个局部候选区域的可判别性对候选区域集CR＝{CR_i|i∈[1,N]}进行排序，选择Top-k个具有判别性的k个候选区域。

5.如权利要求4所述的作物品种鉴定方法，其特征在于，全连接层神经网络训练的损失函数的表达式，具体为：

L＝μL₁+βL₂+γL₃

其中，L₁为候选区域检测损失，L₂为判别性区域提出损失，L₃为栽培品种分类损失，超参数μ、β、γ是三部分损失的权重。

6.如权利要求5所述的作物品种鉴定方法，其特征在于，对于局部候选区域检测损失L₁，给定一个叶片图像的候选区域集CR＝{CR_i|i∈[1,N]}和候选区域集对应栽培品种的真实One-hot编码向量l，信息量排序IR(CR_i)和有用性UR(CR_i)排序定义为：

其中，S(·,·)是相似性函数，是特征提取模块f_θ中全连接层的输出；

判别性局部区域检测损失函数L₁的具体定义如下：

对于判别性区域提出损失L₂，定义为：

其中，f_θ(·)表示特征提取模块，θ为全连接层神经网络的可学习参数；

对于品种栽培品种分类损失L₃，定义为：

其中，M为测试样本数，P是批尺寸，y_a为当前栽培品种的真实标签，g_θ(x_a)为叶片图像x_a的栽培品种分类结果，g_θ(·)为栽培品种识分类模块。

7.一种作物品种鉴定装置，其特征在于，所述作物品种鉴定装置包括：

第一生成模块，用于将叶片图像经过多层卷积神经网络后获得的特征图输入FPN网络，生成多尺度特征图；

第二生成模块，用于使用滑动窗口来检测每个特征图在当前窗口下的局部区域是否包含判别信息，生成多个候选区域；

选择模块，用于使用KL散度进行候选区域判别性排序，选择Top-k个具有判别性的k个候选区域，所述判别性的表达式，具体为：

D(CR_i)表示候选区域CR_i的判别性，为相似性函数，表示局部候选区域CR_i对作物品种分类的有用性，具体为：l和/>之间的向量相似性，/>表示局部候选区域CR_i的信息量；α代表有用性对信息量的相对重要性，/>为局部候选区域j的特征向量表达；N为候选区域的数量，l为利用One-hot编码子模块将栽培品种信息转换为二进制向量l∈R^K，l向量中有且只有一个元素为1，表示每一张叶片图像真实的栽培品种信息；K是所识别的栽培品种的数量；

分类模块，用于使用全连接层神经网络对叶片图像的全局特征和具有判别性的k个候选特征进行特征拼接，训练并输出获得品种分类结果。

8.一种作物品种鉴定设备，其特征在于，所述作物品种鉴定设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的作物品种鉴定程序，所述作物品种鉴定程序被所述处理器执行时实现如权利要求1至6中任一项所述的作物品种鉴定方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有作物品种鉴定程序，所述作物品种鉴定程序被处理器执行时实现如权利要求1至6中任一项所述的作物品种鉴定方法的步骤。