CN115862004A - 一种玉米果穗表面缺陷检测方法及装置 - Google Patents

Abstract

本发明公开了一种玉米果穗表面缺陷检测方法及装置。该检测方法包括以下步骤：采集玉米果穗外观信息；生成玉米果穗展开图像；玉米果穗展开图像的数据扩增，得到更多展开图像数据；玉米果穗分类数据平衡；建立玉米果穗缺陷检测架构；将训练样本输入建立的检测架构生成玉米果穗缺陷检测模型。本发明的检测装置能采集玉米果穗表面缺陷的全方位玉米图像，并获得玉米果穗外观信息展开图像；本发明的检测方法具有精度高、鲁棒性强、适应性好的优点，采用深度学习的方式进行检测，提高了检测的精度与效率，采用语义分割深度学习神经网络检测模型，是一种深度网络结构的自学习检测算法，因而能够很好的从训练数据中学习到有效的识别特征，提高检测的准确率。

Description

一种玉米果穗表面缺陷检测方法及装置

技术领域

本发明属于农产品视觉检测技术领域，具体涉及一种玉米果穗表面缺陷检测方法及装置，尤其涉及一种基于语义分割网络模型的玉米果穗表面霉变、缺粒检测方法及装置。

背景技术

玉米是世界上主要的粮食作物之一，20世纪以来，我国玉米产量迅速增加。根据国家统计局数据，玉米产量2021年前三季度同比增长31.2％。玉米除了作为主要的粮食作物外，也是重要的饲料和工业原材料，据不完全统计，与玉米有关的深加工产品达到200种以上，因此，玉米的品质直接影响国民粮食安全与经济繁荣。

玉米独特的生理特性，例如胚部较大、呼吸作用强，玉米果穗在生长期间受雨水、土壤、风力作用下易受真菌感染导致霉变，同样，在运输与存储期间，玉米果穗晾晒不足与大量堆积都可能导致玉米果穗霉变。由于玉米基因影响，会产生秃头现象，受虫害影响，存在玉米籽粒缺失现象。

选育抗虫抗病玉米品种一直是玉米育种的重要目标之一，在玉米育种相关领域研究中，将不同玉米品种生长过程中接种不同种类的霉菌，测量相应玉米品种的果穗在天然霉菌影响下抗霉变与缺粒情况对研究种质资源具有重要的意义，而在玉米果穗上精确定位霉变与缺粒区域将为科研人员分析不同品种的虫害与病害情况、培育高抗虫抗病的玉米品种研究提供科学依据。因此，准确检测玉米果穗外部缺粒与霉变是实现玉米果穗表型分析过程中的重要过程。不同品种的玉米果穗外观表现如形状、颜色、籽粒大小、穗轴颜色等存在较大差异，同时霉变与缺粒后的玉米果穗表现各异，如果穗异常、掉粒、褐色籽粒、白色霉变，黑色霉变、绿色霉变。这些情况的存在都导致玉米果穗表面霉变缺陷的精确检测成为了一个非常困难的问题。

传统的玉米果穗缺陷检测方法主要为感官鉴定，其特点是速度慢、消耗较多的人力和财力，易受主观因素的影响。基于传统图像处理的玉米果穗缺陷检测方法，对于不同品种、不同缺陷程度以及存在机械损伤影响的玉米果穗并不能达到理想的检测效果，因此迫切需要提出一种更高效的检测方法。

发明内容

本发明的目的是提供一种基于语义分割的玉米果穗表面缺陷检测方法，用以检测玉米果穗是否存在霉变与缺粒，且精确定位霉变与缺粒位置，为培育优质种质资源和果穗外部品质检测提供依据。

本发明的技术方案是一种玉米果穗表面缺陷检测方法，包括以下步骤：

步骤1：采集玉米果穗外观信息；

步骤2：生成玉米果穗展开图像；

步骤3：玉米果穗展开图像的数据扩增，得到更多展开图像数据；

步骤4：玉米果穗分类数据平衡；

步骤5：建立玉米果穗缺陷检测架构；

步骤6：将训练样本输入建立的检测架构生成玉米果穗缺陷检测模型。

实现所述步骤1的采集玉米果穗外观信息的方法为：

使用玉米果穗表面缺陷检测装置，该装置包括暗箱、旋转装置、顶针、照明装置、图像采集装置和控制装置，旋转装置、顶针、照明装置和图像采集装置设置在采集暗箱中，控制装置对旋转装置、照明装置和图像采集装置进行控制；

采集玉米果穗外观信息时，玉米果穗竖立摆放，其尾部固定在顶针上，顶针与旋转装置相连，控制装置控制旋转装置与图像采集装置同步触发，玉米果穗开始旋转时图像采集装置对玉米果穗外观信息进行视频信息采集，当玉米果穗旋转一周并回到初始位置时，玉米果穗停止旋转，图像采集装置停止采集，获得玉米果穗旋转一周的完整视频，实现玉米果穗外观信息的采集。

实现所述步骤2的生成玉米果穗展开图像的方法为：

对玉米果穗旋转一周的视频中的每一帧图像采用滤波算法去除噪声，采用阈值分割方法生成二值图像，黑色区域为背景所在区域，白色区域为玉米果穗所在区域；通过质心法计算玉米果穗形心所在位置，保留以形心为中心的最窄外接矩形区域，提取玉米果穗动态视频中每一帧玉米果穗以形心为中心的最窄外接矩形区域的像素，并按照时间序列进行拼接，形成完整的玉米果穗展开图像；

上述最窄外接矩形区域宽度的计算方式为：对相机内玉米果穗图片进行标定，得到真实空间的1mm对应图像空间的f个像素，在二值图像中绘制宽(水平方向为宽)与图像底边平行的玉米果穗最窄外接矩形，玉米果穗在图片中的像素高度为(h×f)与像素直径为(d×f)，根据公式：周长l＝π×d×f，周长即为玉米果穗展开后图像的像素宽度，相机硬件的采集帧率为m帧每秒，玉米果穗旋转一周所用时间t秒，则最窄外接矩形区域的宽为

最窄外接矩形区域的高度为二值图像的像素高度。

实现所述步骤3的玉米果穗展开图像的数据扩增的方法为：

在步骤2中生成的玉米果穗展开图像的基础上进行玉米果穗展开图像扩增，将玉米果穗展开图像的宽度(水平方向为宽度)进行n等分，将其前k份组成图像一，将剩余(n-k)份组成图像二，将图像二与图像一交换位置形成新的图像，其中k<n，根据实际需要，改变n与k的具体数值，实现玉米果穗展开图像的数据扩增。

实现所述步骤4的玉米果穗分类数据平衡的方法为：

根据玉米果穗实际情况，玉米果穗中健康区域与缺陷区域的大小存在较大的差异，健康区域占据玉米果穗展开图像的绝大部分，而缺陷区域占据图像的小部分，首先进行缺陷区域的人为分割，确定缺陷所在区域的最小外接矩形，保存含有缺陷的最小外接矩形图像区域，形成玉米果穗缺陷区域数据库，计算健康玉米果穗健康区域与缺陷区域的尺寸，以缺陷区域小于健康区域为原则，随机从缺陷数据库中挑选缺陷区域图片，并覆盖健康玉米籽粒区域，增加缺陷玉米籽粒区域占比，从而实现玉米果穗展开图片数据中健康样本区域与缺陷样本区域各占30％-70％，同时，为了保证玉米健康区域与缺陷区域边界无缝衔接，采用微调方法进行边界处理；

所采用的微调方法是针对玉米果穗缺陷区域与健康区域边界的图像处理方法，其微调方法为：

a.明暗调整：待覆盖区域覆盖前R、G、B三通道像素均值为标准值1，覆盖后区域R、G、B三通道均值为标准值2，待覆盖区域向外扩展形成宽为20个像素的封闭圆环，在圆环内以线性过渡方式进行亮度拟合调整；

b.玉米籽粒边界调整，玉米籽粒在切割的过程中存在籽粒不完整的情况，将不完整的玉米籽粒进行去除；

c.边界模糊处理，对过渡区域进行高斯模糊，以实现玉米籽粒健康区域与缺陷区域较好的过渡。

实现所述步骤5的建立玉米果穗缺陷检测架构的方法为：

该检测架构包含主干特征提取网络、加强特征提取网络和预测网络；

所述主干特征提取网络：主要由卷积层与最大池化层组成，在此过程中将分别进行m次卷积与下采样操作，其中3≤m≤5；

所述加强特征提取网络：利用主干特征提取网络获得的m个初步有效特征层，在加强特征网络中对m个有效特征层进行特征融合，特征融合的方式为对特征层进行上采样并且进行堆叠；其中，主干特征提取网络下采样与加强特征提取网路上采样选用同样的尺寸；

所述预测网络：预测网络的输入为加强特征提取网络的输出，预测网络输入的多通道图像通过卷积操作将其通道修改为图像的类别个数，采用尺寸为1×1的卷积核，保证不同类别的特征概率标记图与原图的尺寸一致，特征概率标记图中标记图像中每个像素为某一类别的的概率，确定像素在所有分类中分类概率值，将不同图层中概率值进行比较，以分类概率最大值对应的标记类别为实际类别。

实现所述步骤6的将训练样本输入建立的检测架构生成玉米果穗缺陷检测模型的方法为：

所有参数调节以数据扩增和数据平衡后的图片作为检测模型的训练样本，输入建立的玉米果穗缺陷检测架构，生成果穗缺陷检测模型；预测网络参数调节是固定中间特征提取层与特征融合层的参数，以玉米果穗展开图片作为优化样本对预测网络的参数进行优化；

模型预训练与模型微调，模型预训练以数据扩增和数据平衡后的图片作为模型的预训练样本，进行模型所有参数的确定；模型微调以真实玉米果穗展开图像作为训练样本，对模型的预测网络部参数进行优化；在这两个过程中，语义分割网络对各训练图片进行多层卷积操作，获得训练过程中的多层特征图，其中，将所提取得到的特征图像在最后一层进行融合获得特征融合概率图，并确定每个像素实际分类，迭代更新语义分割网络模型，以获得玉米果穗缺陷检测语义分割网络模型参数；

其中：迭代更新语义分割网络模型的过程包括：比较特征融合概率图与groundtruth图像，获得各训练图片与ground truth图片的比较误差结果，调整并优化网络模型的参数，其中，ground truth图像为包含玉米果穗中每一个像素点缺陷类别标签的图片；

所述语义分割模型优选以VGG16为主干特征提取网络的Unet深度学习网络，保存缺陷检测模型，该模型可以实现对玉米果穗展开图像进行检测。

一种玉米果穗表面缺陷检测装置，

所述装置包括暗箱、旋转装置、顶针、控制装置、图像采集装置和照明装置，旋转装置、顶针、照明装置和图像采集装置设置在采集暗箱中，顶针与旋转装置相连，控制装置对旋转装置、照明装置和图像采集装置进行控制；

所述图像采集装置包括：

外部信息获取模块：以相机方式获得玉米果穗外观全部信息，以视频形式进行存储；

展开图片生成模块：用于从视频流中生成玉米果穗展开图像；

图像增强与平衡模块：用于展开图片数据增强与霉变区域扩增；

模型生成与检测模块：用于深度学习网络模型的训练与生成，检测参数的确定；检测模块通过多层卷积操作，提取玉米果穗的特征图，并根据特征图进行上采样获得概率分布图，由概率分布图进行概率标记。

本发明所提供的一种玉米果穗表面缺陷检测方法及装置具有以下优点：

与现有技术相比，本发明使用玉米果穗表面缺陷检测装置进行全方位玉米图像采集，并获得玉米果穗外观信息展开图像；本发明具有精度高、鲁棒性强、适应性好等优点，将人工从机械式的裸眼检查工作中解放，采用深度学习的方式进行检测，大大提高了检测的精度与效率，采用语义分割深度学习神经网络检测模型是一种深度网络结构的自学习检测算法，因而能够很好的从训练集中学习到有效的识别方式，大大提高了检测的准确率。

附图说明

图1为一种玉米果穗表面缺陷检测装置

图2为玉米果穗的数据扩增方法示意图

图3为玉米果穗的霉变区域检测前后效果对比示意图

附图中的标号说明：

1.暗箱、2.旋转装置、3.顶针、4.控制装置、5.图像采集装置、6.相机、7.照明装置

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

实施例

本实施例所述的一种玉米果穗表面缺陷检测方法及装置中的有关附图见图1到图3所示。

本实施例所述的一种玉米果穗表面缺陷检测方法，包含以下步骤：

步骤1：采集玉米果穗外观信息

使用玉米果穗表面缺陷检测装置，如图1所示，该装置包括暗箱1、旋转装置2、顶针3、控制装置4、图像采集装置5和照明装置7，旋转装置2、顶针3、照明装置7和图像采集装置5设置在采集暗箱1中，控制装置4对旋转装置2、照明装置7和图像采集装置5进行控制；

暗箱1内壁采用黑色漫反射材质，以减少光照饱和，保证采集背景统一。玉米果穗前方为图像采集装置5的相机6，后方为暗箱1内壁，相机6与图像采集装置5和控制装置4连接，采集到的玉米果穗的视频直接传输到图像采集装置5并实时处理。照明装置7由2个条形LED照明光源组成，与相机6位于同一水平高度且等距离分布在相机6的两侧，保证玉米果穗受光均匀。

采集玉米果穗外观信息时，玉米果穗竖立摆放，其尾部固定在锥形顶针3上，顶针3与旋转装置2相连，采用51单片机作为控制装置4，控制装置4控制旋转装置2与图像采集装置5同步触发，玉米果穗开始旋转时图像采集装置5对玉米果穗外观信息进行视频信息采集，当玉米果穗旋转一周并回到初始位置时，玉米果穗停止旋转，图像采集装置5停止采集，获得玉米果穗旋转一周的完整视频，实现玉米果穗外观信息的采集。

步骤2：生成玉米果穗展开图像；

对玉米果穗旋转一周的视频中的每一帧图像采用中值滤波去除噪声，玉米果穗与黑色背景形成较为明显对比，设定阈值为80，采用阈值分割方法生成二值图像，黑色区域为背景所在区域，白色区域为玉米果穗所在区域。在二值图像中通过质心法计算玉米果穗形心所在位置。通过固定相机6与玉米果穗的距离，经测量得到真实空间单位距离1mm对应图像空间的5个像素；绘制二值区域中白色像素(玉米果穗所在区域)的外接矩形(外接矩形的底边与图像的底边平行)，该外接矩形的宽(400个像素)表示玉米果穗的直径，外接矩形的高(700个像素)表示玉米果穗的高，玉米果穗在实际空间的宽和高分别是400/5＝80mm，700/5＝140mm。玉米果穗的周长为400×π＝1256个像素，相机6的采集帧率为30帧/秒，玉米果穗旋转一圈的时间为8s，则玉米果穗旋转一周的视频中共保存30×8＝240帧图片，每一帧中保存1256/240＝5个像素宽度，保留每一帧以玉米果穗形心为中心的最窄外接矩形(最窄外接矩形的宽为5个像素，高为玉米果穗的700个像素)，并按照时间序列进行拼接，形成完整的玉米果穗二值展开图像。

步骤3：玉米果穗展开图像的数据扩增，得到更多展开图像数据；

如图2所示，在步骤2中生成的玉米果穗展开图像的基础上进行玉米果穗展开图像扩增，将玉米果穗展开图像的宽度(水平方向)进行8等分，分别取前1、2、3、4、5、6、7份组成图像一，将剩余7、6、5、4、3、2、1份组成图像二，将图像二与图像一交换位置形成新的图像，实现玉米果穗展开图像的数据扩增。该数据扩增方法能够保证玉米果穗外部信息完整连续，且符合实际情况中从不同位置开始采集的情况。

步骤4：玉米果穗分类数据平衡；

根据玉米果穗实际情况，玉米果穗中健康区域与缺陷区域的大小存在较大的差异，经测量大部分展开图像中健康区域约占85％以上，而缺陷部分仅占15％，首先进行缺陷区域的人为分割，确定缺陷所在区域的最小外接矩形，保存含有缺陷的最小外接矩形图像区域，形成玉米果穗缺陷区域数据库。在玉米果穗展开图像中，分别计算健康玉米果穗健康区域与缺陷区域的尺寸，以缺陷区域小于健康区域为原则，随机从缺陷数据库中挑选缺陷区域图片，并覆盖健康玉米籽粒区域，增加缺陷玉米籽粒区域占比，从而实现玉米果穗展开图片数据中健康样本区域与缺陷样本区域各约占50％，同时，为了保证玉米健康区域与缺陷区域边界无缝衔接，采用微调方法进行边界处理；

所采用的微调方法是针对玉米果穗缺陷区域与健康区域边界的图像处理方法，其微调方法为：

a.明暗调整：待覆盖区域覆盖前R、G、B三通道像素均值(200，160，130)为标准值1，覆盖后区域R、G、B三通道均值(160，140，100)为标准值2，待覆盖区域向外扩展形成宽为20个像素的环形区域，在环形区域以线性过渡方式进行亮度拟合调整；以R通道为例，分别设置环形像素为(200，198，196……，164，162，160)进行过渡。

b.玉米籽粒边界调整，玉米籽粒在切割的过程中存在籽粒不完整的情况，将不完整的玉米籽粒进行去除；

c.边界模糊处理，对过渡区域进行高斯模糊，以实现玉米籽粒健康区域与缺陷区域较好的过渡。

步骤5：建立玉米果穗缺陷检测架构；

该检测架构包含主干特征提取网络、加强特征提取网络和预测网络；

所述主干特征提取网络：主要由卷积层与最大池化层组成，在此过程中进行4次卷积与下采样操作，图片的输入尺寸为800×800，卷积操作进行特征提取，但不改变图像尺寸，每次卷积后进行最大池化(下采样)操作，降低图像尺寸，四次处理后，图像的尺寸分别为(402×402，100×100，33×33，10×10)。

所述加强特征提取网络：利用主干特征提取网络获得的4个初步有效特征层，在加强特征网络中对4个有效特征层进行特征融合，特征融合的方式为对特征层进行上采样并且进行堆叠；其中，主干特征提取网络下采样与加强特征提取网路上采样选用同样的尺寸；首先对10×10的图层进行上采样形成30×30的图像，并与主干特征网络30×30的图像进行融合，依次类推形成与输入尺寸同样大小的800×800的尺寸。

所述预测网络：预测网络的输入为加强特征提取网络的输出，预测网络输入的多通道图像通过卷积操作将其通道修改为图像的类别个数，采用尺寸为1×1的卷积核，保证不同类别的特征概率标记图与原图的尺寸一致，在本案例中，分别需要区别背景区域、玉米果穗健康区域、玉米果穗霉变区域、玉米果穗缺粒区域四类，特征概率标记图中共四个图层，四个图层分别表示四个类别的概率分布图。例如在像素为(100，200)位置出四个图层的概率分别为0.99，0.01，0.02，0.01，表示该像素为背景的概率为0.99，为玉米果穗健康区域的概率为0.01，为玉米果穗霉变区域的概率为0.02，为玉米果穗缺粒区域的概率为0.01，分别将4个图层中概率值进行比较，以分类概率最大值对应的标记类别为实际类别，则认为像素(100，200)处为背景区域。

步骤6：将训练样本输入建立的检测架构生成玉米果穗缺陷检测模型；

步骤5中建立的缺陷检测架构为不含有具体参数的框架，要根据具体的数据类型确定出参数情况，该过程可以称为检测模型构建。首先进行框架内所有参数的调整，再根据迁移模型的要求，继续调整预测网络的参数，分别成为模型预训练和模型微调。实现这两个过程中，预训练以数据扩增和数据平衡后的图片作为检测模型的训练样本，输入建立的玉米果穗缺陷检测架构，确定模型架构中所有参数的数值，生成玉米果穗缺陷检测模型；模型微调是进行预测网络参数调节，固定主干特征提取网络与加强特征提取网络的参数，以原始玉米果穗展开图片作为训练样本对预测网络的参数进行优化，多次迭代更新语义分割网络模型，以获得玉米果穗缺陷检测语义分割网络模型参数；

其中：迭代更新语义分割网络模型的过程包括：比较特征融合概率图与groundtruth图像，获得各训练图片与ground truth图片的比较误差结果，调整并优化网络模型的参数，其中，ground truth图像为包含玉米果穗中每一个像素点缺陷类别标签的图片；

所述语义分割模型优选以VGG16为主干特征提取网络的Unet深度学习网络，保存缺陷检测模型，该模型可以实现对玉米果穗展开图像进行检测。该模型检测玉米果穗展开图像后得到的霉变区域检测前后效果对比示意图如图3所示。

一种玉米果穗表面缺陷检测装置，如图1所示：

所述装置包括暗箱、旋转装置、顶针、控制装置、图像采集装置和照明装置，旋转装置、顶针、照明装置和图像采集装置设置在采集暗箱中，顶针与旋转装置相连，控制装置对旋转装置、照明装置和图像采集装置进行控制；

所述图像采集装置包括：

外部信息获取模块：以相机方式获得玉米果穗外观全部信息，以视频形式进行存储；

展开图片生成模块：用于从视频流中生成玉米果穗展开图像；

图像增强与平衡模块：用于展开图片数据增强与霉变区域扩增；

模型生成与检测模块：用于深度学习网络模型的训练与生成，检测参数的确定；检测模块通过多层卷积操作，提取玉米果穗的特征图，并根据特征图进行上采样获得概率分布图，由概率分布图进行概率标记。

本实施例所述的一种玉米果穗表面缺陷检测方法的一个具体实施方式举例如下：

0.样本选择与采集

试验样本玉米2021年5月于四川省成都市种植，9月收获。种植50个玉米品种，每个玉米品种含20颗植株，在玉米吐丝期间采用花丝通道注射法接种混合菌种，菌种包含禾谷镰孢菌、拟轮枝镰孢菌和黄曲霉菌。因各个玉米品种抗病性不同，对不同菌种的敏感程度不同，成熟后霉变玉米果穗呈现不同的性状，取去皮后玉米果穗为数据采集样本。

按籽粒类型可分为：马齿型、半马齿型、硬粒型；按籽粒颜色可分为：白色玉米，黄色玉米和混合玉米；按霉变情况可分为：健康籽粒、单籽粒霉变与连片霉变；霉变区域为较明显的区域，包含不规则的霉变区域。玉米果穗霉变区域涵盖不同状态的霉变形式，包含黑色霉变、白色霉变、粉色霉变、红色霉变与绿色霉变等。同时考虑到玉米性状的多样性，存在秃头玉米、机械损伤缺粒玉米果穗以及表面虫蚀玉米果穗。暴露在外部的玉米果穗穗轴含白色穗轴与紫红色穗轴。选择50个玉米品种作为玉米果穗训练样本，玉米果穗长度约在100mm-220mm之间，取距离尾部50mm处的圆周进行玉米直径测量，玉米直径约在50mm-63mm之间。将玉米果穗放置于玉米果穗表面缺陷检测装置中，依次采集玉米果穗视频。采集每个玉米品种20个玉米果穗旋转视频，其中15个玉米果穗样本照片作为训练集，剩余5个玉米果穗作为测试集，则共750个玉米果穗构建表面霉变检测训练数据集，保证玉米果穗检测模型具有较好的检测效果。

1.采集玉米果穗外观信息；

参见图1，使用玉米果穗表面缺陷检测装置，采集玉米果穗外观信息时，玉米果穗尾部固定在锥形顶针3上，顶针3与旋转装置2相连，控制装置4控制旋转装置2与图像采集装置5同步触发，玉米果穗开始旋转时图像采集装置5对玉米果穗外观信息进行视频信息采集，当玉米果穗旋转一周并回到初始位置时，玉米果穗停止旋转，图像采集装置5停止采集，获得玉米果穗旋转一周的完整视频，实现玉米果穗外观信息的采集。

搭建机器视觉检测平台即玉米果穗表面缺陷检测装置，采集玉米果穗旋转视频。其中，玉米果穗表面缺陷检测装置由采集暗箱1、旋转装置2、顶针3、控制装置4、图像采集装置5和照明装置7组成。暗箱1内壁采用黑色漫反射材质，减少光照饱和，保证采集背景统一；图像采集装置5包括相机6，数据传输线，供电线和开关电源；照明装置7为LED均质光源；控制装置4为以Arduino控制板为核心的关键器件；旋转装置2包括电机，电机控制器等；图像采集装置5包括以工控机为核心的处理平台。

Arduino控制板通过输出信号控制电机旋转360度，在玉米果穗旋转0度到360度的过程，控制装置4触发相机6采集玉米果穗视频，电机停止旋转，相机6停止采集。玉米果穗前方为相机6，后方为暗箱内壁，相机6输出信号与图像采集装置5直接连接，采集到的玉米果穗视频直接传输到图像采集装置5并处理。电机输出轴与锥形顶针3通过联轴器相连，顶针3长度约为5厘米，玉米果穗尾部固定在锥形顶针3上，随电机旋转轴一起旋转。LED光源由2个条形光源组成，与工业相机6位于同一水平高度且等距离分布在工业相机6的两侧，保证玉米果穗受光均匀。

2.生成玉米果穗展开图像；

设定电机旋转一周时间为6s，视频采集帧率为30fps，获得视频尺寸为960×1280，提取视频流中的每一帧图片，共计180帧图片，选择RGB颜色空间模型，进行通道分离，提取G通道灰度图像，由于玉米果穗与黑色背景具有较为明显的差异，采用定阈值分割，阈值采用50，将灰度图像转化为二值图像，二值图像中有较多噪声和孔洞，开运算与闭运算进行小区域噪点去除，滤波核大小与图片大小相关，960*1280大小的图片选择(12*12)大小的圆形结构体作为处理单元，获得以玉米果穗所在区域为白色，背景所在区域为黑的二值图像。为了保证滤波具有较好效果，利用联通区域计数算法获得图像中所有白色区域，轮廓范围最大的区域为玉米果穗区域，并提取其所在外轮廓，并计算其形心，形心(centrold_x,centroid_y)计算公式：

area为玉米果穗轮廓所有像素点，(x_i,y_i)为轮廓上的每个像素点具体坐标。将生成的二值图像应用于原图，获取只有玉米果穗的每一帧图像，计算每幅图像的形心，并求其均值。获得的玉米果穗轮廓实际宽和高的像素值分别为379与1040，计算获得玉米展开后的宽为379×π＝1190，则每幅图像提取以形心为中心，宽度为1190/180(180帧图像)＝6.6个像素，取整后为7个像素宽度，则取以形心为中心点，左右各取3个列像素区域为玉米果穗最窄外接矩形，将这些列像素数据按照时间序列进行拼接，形成完整的玉米果穗展开图像。

3.数据标记与玉米果穗展开图像的数据扩增，得到更多展开图像数据；

根据农业专家建议与缺陷特征，进行背景区域、健康区域、霉变区域、缺粒区域人工标注。利用labelme数据标注软件对原始图像进行像素级别标注，霉变像素被标注为(255，0，0)，缺粒与穗轴区域被标注为(0，255，0)，健康区域被标注为(0，0，255)，背景区域为(0，0，0)。选择多边形框人工标定出玉米果穗霉变区域、穗轴区域、健康区域和背景区域，并将多边形框的坐标存入json文件中，由json文件转化为png图片，霉变区域标记为红色，穗轴区域标记为绿色，健康籽粒标记为蓝色，背景区域标记为黑色，将标记后的图像以7:3的比例随机划分为训练集与测试集；

如图2所示，将展开的玉米果穗图像沿着宽度方向划分为十等分，并分别取前一份，两份······前九份并与剩余图像进行交换位置。实现图像的十倍扩增。

霉变特征：正常籽粒多为黄白色，籽粒饱满，霉变果穗顶部或中部变色，并出现粉红色、蓝绿色、黑灰色、暗褐色或黄褐色霉层。

将预处理后的玉米果穗图片在一定角度范围内旋转，移位，翻转，缩放，图像模糊，亮度调整，将数据量扩展为5000张。

翻转：对图片进行水平和垂直翻转

旋转：顺时针与逆时针旋转，旋转范围在0-10度之间。

等比缩放：图像可以向外或者向内缩放，向外缩放时，最终尺寸将大于原始尺寸，并将扩展后的图像进行裁剪成原始图片大小。向内缩放会缩小图像大小，保留缩放后的图像。

移位：移位只涉及沿X或Y方向移动图像。

高斯噪声：当神经网络试图学习无用的高频特征时，通常会发生过度拟合，适量增加噪声可以增强学习能力。本次增加的噪声包含高斯噪声和胡椒噪声。

4.标签数据平衡即玉米果穗分类数据平衡；

玉米果穗中健康区域与缺陷区域存在数据分布不均衡的情况，健康区域占据玉米籽粒的大部分，而缺陷部分在玉米果穗全展开图中较少，甚至无缺陷区域。首先进行缺陷区域的人为分割，确定缺陷所在区域的最小外接矩形，并在边界尽可能保存完整的籽粒。保存含有缺陷的最小外接矩形区域，形成玉米果穗缺陷区域数据库，计算健康玉米果穗区域与缺陷区域的尺寸，以缺陷区域小于健康区域为原则，从缺陷数据库中随机挑选缺陷图片，并覆盖健康玉米籽粒区域，从而实现玉米果穗全展开图片数据中健康样本与缺陷样本的平衡，同时，为了保证玉米健康区域与缺陷区域边界无缝衔接，采用微调方法进行边界处理。

所采用的微调方法是针对玉米果穗缺陷区域与健康区域边界的图像处理方法：

a.明暗调整，明暗调整的方式为：以待覆盖健康区域为标准亮度，以健康区域R、G、B三通道均值为标准亮度值，缺陷区域外边界20像素为待调整区域，计算三通道均值为待调整亮度值，在待调整区域以线性过度进行亮度拟合调整。

b.玉米籽粒边界调整。玉米籽粒在切割的过程中存在籽粒不完整的情况，将不完整的玉米籽粒去除。

c.不完整玉米籽粒边界模糊处理，对过渡区域进行高斯模糊，以实现玉米籽粒健康区域与缺陷区域较好的过渡。

5.建立玉米果穗缺陷检测架构；

该检测模型主要包含主干特征提取网络、加强特征提取网络，预测网络。

根据目标分类的复杂性确定本次模型的具体参数，主干特征提取网络：选用VGG16作为主干。主要特征由卷积层组成，每个层后面跟着一个矫正线性单元(ReLU)和一个用于降采样的最大池化层。每次池化操作(下采样)后，图像数据变为原来数据尺寸的一半。

加强特征提取网络：利用主干特征提取网络获得的3个初步有效特征层，在加强特征网络中对3个有效特征层进行特征融合，特征融合的方式：对特征层进行上采样并且进行堆叠。其中，主干特征提取网络下采样与加强特征提取网路上采样选用同样的尺寸。包括特征图的上采样层、编码阶段对应的特征图的连接层和两个卷积层，每个卷积层后面跟着一个ReLU。在最后一层，使用卷积层将每个特征向量映射到所需的类数量。在本研究中，U-Net的编码部分进行简化，解码部分也进行了相应的简化。4个上采样部分减少到3个。由于提取的抽象特征较少，在解码阶段不需要多余的卷积层来生成抽象特征层。因此，我们将上采样后的两个连续卷积层减少为一个。同时，将输入层和最终卷积层进行拼接，以提高图像细节分割的准确性。

预测网络：预测网络的输入为加强特征提取网络的输出，预测网络输入的多通道图像通过卷积操作将其通道修改为图像的类别个数，采用尺寸为1×1的卷积核，保证不同类别的特征概率标记图与原图的尺寸一致，特征概率标记图中标记图像中每个像素为某一类别的的概率，确定像素在所有分类中分类概率值，将不同图层中概率值进行比较，以分类概率最大值对应的标记类别为实际类别。

6.将训练样本输入建立的检测架构生成玉米果穗缺陷检测模型；

一种玉米果穗缺陷检测的语义分割的模型生成方法：模型预训练与模型微调。模型预训练以数据扩增和数据平衡后的图片作为模型的预训练样本，进行模型所有参数的确定。模型微调以真实玉米果穗全展开图像作为训练样本，对模型的预测网络部分参数进行优化。在两个过程中，语义分割网络对各训练图片进行多次卷积操作，获得训练过程中的多层特征图，其中，提取得到的特征图像在最后一层进行融合获得特征融合概率图，并确定每个像素实际分类，迭代更新语义分割网络模型，以获得玉米果穗缺陷检测语义分割网络模型参数。

其中：迭代更新语义分割网络模型的过程包括：比较特征融合概率图与groundtruth图像，获得各训练图片与ground truth图片的比较误差结果，调整并优化网络模型的参数，其中，ground truth图像为包含玉米果穗中每一个像素点缺陷类别标签的图片；

选取约8000张玉米果穗缺陷图片，其中覆盖轻度霉变(霉变面积约占5％-15％)、中度霉变(霉变面积约占15％-40％)、重度霉变(霉变面积约占40％-70％)以及严重霉变(霉变面积约占70％以上)。

图像数据集标注：使用labelme标记软件，使用多边形框人工标记出玉米果穗霉变区域并将多边形框的坐标存入json文件中，由json文件转化为png图片，霉变区域标记为红色，穗轴区域标记为绿色，健康籽粒标记为蓝色，背景区域标记为黑色，将标记后的图像以9：1的比例随机划分为训练集与测试集；

图像调整：将图像等比缩放为704*528大小的图像，再填入像素704×704的空白图像中，空白图像颜色使用(128，128，128)的灰色图像填充；

设置参数：训练10000次，使用adam优化器对网络参数进行优化，一次训练所选取的样本数为2，先验框anchor box大小设置为9，即设置"epochs＝10000"，"optimizer＝adam"，"batch_size＝2"；

训练模型：所述语义分割模型为U-net深度学习网络检测模型，将划分出的训练集输入U-net语义分割网络，使用GPU加速训练模型；

对预处理后的图像实时进行霉变区域、缺粒区域的检测识别，得到果穗是否存在霉变区域、缺粒区域，霉变与缺粒区域精确定位，并输出检测结果。

测试模型：待所述模型训练结束后，利用训练集对训练模型进行测试，训练模型训练集中的玉米果穗霉变面积识别率不低于95％，则将当前训练模型作为U-net深度学习神经网络检测模型，若未达到95％，则将当前训练模型作为待训练的U-net深度学习神经网络检测模型，继续循环迭代次数，直至所述训练集中的玉米果穗霉变区域识别率不低于95％的U-net深度学习神经网络检测模型。

具体实施例中，所述先验框anchor box大小通过k-means聚类算法设置，随机选取9个玉米果穗霉变区域作为聚类中心，计算各对象中心点与各聚类中心之间的距离，并取每个对象中心点与各聚类中心之间距离的最小值，根据此最小值将该对象划分给最近的聚类中心，更新每个聚类中心为当前聚类中心的点的均值，重复上述过程，直至所有的聚类中心不再发生变化。

硬件环境是Intel Core i5-10400F CPU,16GB内存，NVIDIAGeForce GTX 1650。软件环境为Windows 10,CUDA 10.1,Python 3.6,Pytorch1.10。使用迁移学习来减少被标记样本的数量。训练过程分为两个阶段：预训练阶段和微调阶段。在预训练阶段，利用预训练集中的合成图像对网络进行训练。Adam优化器被用来优化网络。学习速率设置为1×10^-3。损失函数为稀疏分类交叉熵。训练批量大小设置为4，epoch设置为100。在训练过程中，记录预训练集和验证集的损失值和像素精度。每次跌代后对学习率进行微调，以上一个迭代周期学习率的0.92设置为新的学习率。

玉米果穗表面霉变区域检测方法性能测试

选取20张未用于构建U-net模型的玉米果穗图片，这些图片包含不同的穗轴颜色、不同的霉变程度、不同的果穗形态，由交并比(IOU)定义为“预测的边框”和“真实的边框”的交集和并集的比值，其取值范围是0到1，反映的是“预测区域”和“真实区域”的一致性，包含玉米果穗霉变像素、穗轴像素、健康果穗区域和背景像素，IOU的值越接近1表示分割结果的性能越好。准确度表示的是算法分割结果中为正例的样本中有多少是真正的正样本，召回率表示的是原样本中的正例有多少被预测正确，在本研究中即是原始图像中的所有霉变像素、健康像素、穗轴像素有多少被准确地分割出来。

其中：TP(True Positive):真实为0，预测也为0；FN(False Negative):真实为0，预测为1；FP(False Positive):真实为1，预测为0；TN(True Negative):真实为1，预测为1。

表一显示了该算法对20张测试图片的性能。从表中可以看出，本发明提出的算法对于全部测试样本的平均交并比(mIOU)为0.96，平均精度为0.93，平均召回率为0.90。

表一算法对20张测试图片的分割结果评估

该模型检测玉米果穗展开图像后得到的霉变区域检测前后效果对比示意图如图3所示。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种玉米果穗表面缺陷检测方法，其特征是：包括以下步骤：

步骤1：采集玉米果穗外观信息；

步骤2：生成玉米果穗展开图像；

步骤3：玉米果穗展开图像的数据扩增，得到更多展开图像数据；

步骤4：玉米果穗分类数据平衡；

步骤5：建立玉米果穗缺陷检测架构；

步骤6：将训练样本输入建立的检测架构生成玉米果穗缺陷检测模型。

2.根据权利要求1所述的一种玉米果穗表面缺陷检测方法，其特征是：实现所述步骤1的采集玉米果穗外观信息的方法为：

使用玉米果穗表面缺陷检测装置，该装置包括暗箱、旋转装置、顶针、照明装置、图像采集装置和控制装置，旋转装置、顶针、照明装置和图像采集装置设置在采集暗箱中，控制装置对旋转装置、照明装置和图像采集装置进行控制；

采集玉米果穗外观信息时，玉米果穗竖立摆放，其尾部固定在顶针上，顶针与旋转装置相连，控制装置控制旋转装置与图像采集装置同步触发，玉米果穗开始旋转时图像采集装置对玉米果穗外观信息进行视频信息采集，当玉米果穗旋转一周并回到初始位置时，玉米果穗停止旋转，图像采集装置停止采集，获得玉米果穗旋转一周的完整视频，实现玉米果穗外观信息的采集。

3.根据权利要求1所述的一种玉米果穗表面缺陷检测方法，其特征是：实现所述步骤2的生成玉米果穗展开图像的方法为：

对玉米果穗旋转一周的视频中的每一帧图像采用滤波算法去除噪声，采用阈值分割方法生成二值图像，黑色区域为背景所在区域，白色区域为玉米果穗所在区域；通过质心法计算玉米果穗形心所在位置，保留以形心为中心的最窄外接矩形区域，提取玉米果穗动态视频中每一帧玉米果穗以形心为中心的最窄外接矩形区域的像素，并按照时间序列进行拼接，形成完整的玉米果穗展开图像；

上述最窄外接矩形区域宽度的计算方式为：对相机内玉米果穗图片进行标定，得到真实空间的1mm对应图像空间的f个像素，在二值图像中绘制宽(水平方向为宽)与图像底边平行的玉米果穗最窄外接矩形，玉米果穗在图片中的像素高度为(h×f)与像素直径为(d×f)，根据公式：周长l＝π×d×f，周长即为玉米果穗展开后图像的像素宽度，相机硬件的采集帧率为m帧每秒，玉米果穗旋转一周所用时间t秒，则最窄外接矩形区域的宽为

最窄外接矩形区域的高度为二值图像的像素高度。

4.根据权利要求1所述的一种玉米果穗表面缺陷检测方法，其特征是：实现所述步骤3的玉米果穗展开图像的数据扩增的方法为：

在步骤2中生成的玉米果穗展开图像的基础上进行玉米果穗展开图像扩增，将玉米果穗展开图像的宽度(水平方向为宽度)进行n等分，将其前k份组成图像一，将剩余(n-k)份组成图像二，将图像二与图像一交换位置形成新的图像，其中k<n，根据实际需要，改变n与k的具体数值，实现玉米果穗展开图像的数据扩增。

5.根据权利要求1所述的一种玉米果穗表面缺陷检测方法，其特征是：实现所述步骤4的玉米果穗分类数据平衡的方法为：

根据玉米果穗实际情况，玉米果穗中健康区域与缺陷区域的大小存在较大的差异，健康区域占据玉米果穗展开图像的绝大部分，而缺陷区域占据图像的小部分，首先进行缺陷区域的人为分割，确定缺陷所在区域的最小外接矩形，保存含有缺陷的最小外接矩形图像区域，形成玉米果穗缺陷区域数据库，计算健康玉米果穗健康区域与缺陷区域的尺寸，以缺陷区域小于健康区域为原则，随机从缺陷数据库中挑选缺陷区域图片，并覆盖健康玉米籽粒区域，增加缺陷玉米籽粒区域占比，从而实现玉米果穗展开图片数据中健康样本区域与缺陷样本区域各占30％-70％，同时，为了保证玉米健康区域与缺陷区域边界无缝衔接，采用微调方法进行边界处理；

所采用的微调方法是针对玉米果穗缺陷区域与健康区域边界的图像处理方法，其微调方法为：

a.明暗调整：待覆盖区域覆盖前R、G、B三通道像素均值为标准值1，覆盖后区域R、G、B三通道均值为标准值2，待覆盖区域向外扩展形成宽为20个像素的封闭圆环，在圆环内以线性过渡方式进行亮度拟合调整；

b.玉米籽粒边界调整，玉米籽粒在切割的过程中存在籽粒不完整的情况，将不完整的玉米籽粒进行去除；

c.边界模糊处理，对过渡区域进行高斯模糊，以实现玉米籽粒健康区域与缺陷区域较好的过渡。

6.根据权利要求1所述的一种玉米果穗表面缺陷检测方法，其特征是：实现所述步骤5的建立玉米果穗缺陷检测架构的方法为：

该检测架构包含主干特征提取网络、加强特征提取网络和预测网络；

所述主干特征提取网络：主要由卷积层与最大池化层组成，在此过程中将分别进行m次卷积与下采样操作，其中3≤m≤5；

所述加强特征提取网络：利用主干特征提取网络获得的m个初步有效特征层，在加强特征网络中对m个有效特征层进行特征融合，特征融合的方式为对特征层进行上采样并且进行堆叠；其中，主干特征提取网络下采样与加强特征提取网路上采样选用同样的尺寸；

所述预测网络：预测网络的输入为加强特征提取网络的输出，预测网络输入的多通道图像通过卷积操作将其通道修改为图像的类别个数，采用尺寸为1×1的卷积核，保证不同类别的特征概率标记图与原图的尺寸一致，特征概率标记图中标记图像中每个像素为某一类别的的概率，确定像素在所有分类中分类概率值，将不同图层中概率值进行比较，以分类概率最大值对应的标记类别为实际类别。

7.根据权利要求1所述的一种玉米果穗表面缺陷检测方法，其特征是：实现所述步骤6的将训练样本输入建立的检测架构生成玉米果穗缺陷检测模型的方法为：

所有参数调节以数据扩增和数据平衡后的图片作为检测模型的训练样本，输入建立的玉米果穗缺陷检测架构，生成果穗缺陷检测模型；预测网络参数调节是固定中间特征提取层与特征融合层的参数，以玉米果穗展开图片作为优化样本对预测网络的参数进行优化；

模型预训练与模型微调，模型预训练以数据扩增和数据平衡后的图片作为模型的预训练样本，进行模型所有参数的确定；模型微调以真实玉米果穗展开图像作为训练样本，对模型的预测网络部参数进行优化；在这两个过程中，语义分割网络对各训练图片进行多层卷积操作，获得训练过程中的多层特征图，其中，将所提取得到的特征图像在最后一层进行融合获得特征融合概率图，并确定每个像素实际分类，迭代更新语义分割网络模型，以获得玉米果穗缺陷检测语义分割网络模型参数；

其中：迭代更新语义分割网络模型的过程包括：比较特征融合概率图与ground truth图像，获得各训练图片与ground truth图片的比较误差结果，调整并优化网络模型的参数，其中，ground truth图像为包含玉米果穗中每一个像素点缺陷类别标签的图片；

所述语义分割模型优选以VGG16为主干特征提取网络的Unet深度学习网络，保存缺陷检测模型，该模型可以实现对玉米果穗展开图像进行检测。

8.一种实现权利要求1所述的一种玉米果穗表面缺陷检测方法的一种玉米果穗表面缺陷检测装置，其特征是：

所述装置包括暗箱、旋转装置、顶针、控制装置、图像采集装置和照明装置，旋转装置、顶针、照明装置和图像采集装置设置在采集暗箱中，顶针与旋转装置相连，控制装置对旋转装置、照明装置和图像采集装置进行控制；

所述图像采集装置包括：

外部信息获取模块：以相机方式获得玉米果穗外观全部信息，以视频形式进行存储；

展开图片生成模块：用于从视频流中生成玉米果穗展开图像；

图像增强与平衡模块：用于展开图片数据增强与霉变区域扩增；

模型生成与检测模块：用于深度学习网络模型的训练与生成，检测参数的确定；检测模块通过多层卷积操作，提取玉米果穗的特征图，并根据特征图进行上采样获得概率分布图，由概率分布图进行概率标记。

Images