CN117237736A - 一种基于机器视觉和深度学习的大曲质量检测方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉和深度学习的大曲质量检测方法，包括：采集大曲样本图像生成初始图像样本；对初始图像样本进行图像增强处理；利用深度卷积对抗网络DCGAN根据初始图像样本生成仿真大曲缺陷图像；对大曲样本图像按形状、裂缝数量和颜色进行标注分类；分别建立Deeplabv3+、YOLOv5和ResNet50三种深度学习模型，根据标注分类后的第一大曲样本图像数据集和仿真大曲缺陷图像数据集进行Deeplabv3+、YOLOv5和ResNet50三个深度学习模型的训练和测试，建立大曲视觉信息与大曲质量的对应关系；将待测大曲图像输入至训练完成的深度学习模型中对大曲质量进行评价。采用大曲图像进行大曲质量检测，克服了人工感官评定法检测大曲品质耗时长、受主观意识影响的缺点。

Description

一种基于机器视觉和深度学习的大曲质量检测方法

技术领域

本发明涉及大曲质量检测技术领域，具体而言，涉及一种基于机器视觉和深度学习的大曲质量检测方法。

背景技术

大曲用于酿酒过程中糖化、发酵和生香，其质量的好坏直接影响白酒的质量好坏。一块标准大曲应该四角整齐、松紧一致、无缺边掉角；其颜色为灰白色，带微黄无异色，且上霉均匀无裂口。目前，国内酿酒行业判定大曲质量多以人工感官指标评分为主，该检测方式主要依靠人工经验，不具客观性，容易受到主观影响，导致判定结果不科学可靠。因此，现迫切需要一种科学可靠的外观质量检测方法来筛选出品质一致的高质量大曲。

公开号为CN115436531A的中国发明专利公开了一种基于大曲非挥发性物质鉴别大曲质量的方法，其采用色谱分离技术获取大曲样品中的非挥发性物质，对大曲非挥发性物质变量指标进行筛选与优化，采用随机森林算法中变量重要性度量对大曲非挥发性物质变量进行优化筛选，获取对大曲质量分类贡献大的物质组成变量，构建大曲质量等级鉴别的判别模型，确定判别准则，对建模样品进行回判，以验证判别效果，将待测大曲样品按照获取的大曲非挥发性物质信息并输入上述构建的判别模型中，输出待测大曲样品的质量分类。该专利所描述的检测大曲质量的方法使用了破坏性的样本检测方式，这意味着一旦进行检测，样本就无法再次使用。此外，如果要检测大量的样本，将会导致资源的浪费。此外，这种方法需要通过反复试验和比较来找到最佳模型。这就要求研究者具备一定的数据处理知识，因此增加了研究者的工作量和研究时间。这种试错的过程可能会耗费大量的时间和精力。并且专利所述的大曲质量检测方法不能实现快速在线检测。

公开号为CN103293264A的中国发明专利公开了一种鉴别大曲质量的方法，其应用顶空固相微萃取技术与气相色谱-质谱联用技术分析大曲风味成分，并结合判别分析方法进行数据分析实现大曲质量的鉴别。该发明优化了顶空固相微萃取进样方法，获得分析大曲风味物质的最佳条件。该专利所描述的检测大曲质量的方法仍使用了破坏性的样本检测方式，如果要检测大量的样本，将会导致资源的浪费；并且也无法实现快速检测大曲质量。

发明内容

本发明旨在至少解决现有技术中存在检测过程需要破坏大曲样品形成资源浪费，难以实现大曲样品的快速检测的技术问题之一。

为此，本发明提供了一种基于机器视觉和深度学习的大曲质量检测方法。

本发明提供了一种基于机器视觉和深度学习的大曲质量检测方法，包括：

采集大曲样本图像生成初始图像样本；

对初始图像样本进行图像增强处理增加大曲图像样本数量并生成第一大曲样本图像数据集；

搭建深度卷积对抗网络DCGAN，利用深度卷积对抗网络DCGAN根据初始图像样本生成仿真大曲缺陷图像从而形成仿真大曲缺陷图像数据集；

对第一大曲样本图像数据集和仿真大曲缺陷图像数据集中的大曲样本图像按形状、裂缝数量和颜色进行标注分类；

分别建立Deeplabv3+、YOLOv5和ResNet50三种深度学习模型，其中，Deeplabv3+深度学习模型用于提取大曲形状的视觉信息并预测大曲形状对应的缺陷等级；YOLOv5深度学习模型用于提取大曲裂缝数量的视觉信息并预测大曲裂缝数量对应的缺陷等级；ResNet50深度学习模型用于提取大曲颜色的视觉信息并预测大曲颜色对应的缺陷等级；

根据标注分类后的第一大曲样本图像数据集和仿真大曲缺陷图像数据集进行Deeplabv3+、YOLOv5和ResNet50三个深度学习模型的训练和测试，建立大曲视觉信息与大曲质量的对应关系；

将待测大曲图像输入至训练完成的深度学习模型中对大曲质量进行评价。

根据本发明上述技术方案的基于机器视觉和深度学习的大曲质量检测方法，还可以具有以下附加技术特征：

在上述技术方案中，所述对初始图像样本进行图像增强处理包括亮度调整、图像旋转、图像翻转、图像缩放中的至少一种。

在上述技术方案中，所述仿真大曲缺陷图像数据集分为形状缺陷数据集、裂缝缺陷数据集和颜色缺陷数据集。

在上述技术方案中，还包括：

对第一大曲样本图像数据集和裂缝缺陷数据集中的大曲样本图像进行灰度化处理；

对灰度化后的大曲样本图像以中心剪裁为四张相同大小的图像作为大曲裂缝信息样本数据集。

在上述技术方案中，所述对第一大曲样本图像数据集和仿真大曲缺陷图像数据集中的大曲样本图像按形状、裂缝数量和颜色进行标注分类包括：

采用图像标注软件Labelme对大曲样本图像中大曲的形状进行标注，分别对正常形状大曲、变形大曲、缺角大曲标注为zc、bx、qj，并生成相应Json格式文件；

采用图像标注软件LabelImg对大曲样本图像中大曲的裂缝进行标注，对大曲样本图像中大曲的裂缝标注为lk，生成相应Xml格式文件；

将不同颜色类别的样本图像放入不同文件夹从而对大曲样本图像中大曲的颜色进行标注，分别对大曲表面黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％的样本数据标注为CS、HS、ZS。

在上述技术方案中，所述Deeplabv3+深度学习模型包括编码器和解码器；

在编码器部分，采用MobileNetv2网络作为主干特征提取网络，将提取到的特征由ASPP结构进行加强特征提取，并进行合并，利用一个1×1卷积对合并特征信息进行通道压缩，获取到高级特征语义信息；

在解码器部分，首先对主干特征提取网络提取到的浅层特征进行1×1卷积，同时，深层特征使用双线性插值进行上采样；然后与具有相同分辨率的编码器的相应特征图进行堆叠；最后，再使用3×3的卷积和双线性插值的上采样输出得到特征图；

将第一大曲样本图像数据集和形状缺陷数据集按照8：2比例随机划分作为所述Deeplabv3+深度学习模型的训练集和测试集。

在上述技术方案中，所述YOLOv5深度学习模型采用FPN结构和PANet结构进行多尺度检测；

所述YOLOv5深度学习模型在FPN结构中添加上采样层，产生一个160×160的检测特征图，然后再与主干网络中的P2输出端进行堆叠；同时在PANet结构中将特征进行下采样；从而得到4种尺度不同的特征图，其中160×160用于检测小尺寸的物体；

对大曲裂缝信息样本数据集进行随机划分并分别作为YOLOv5深度学习模型的训练集和测试集。

在上述技术方案中，所述ResNet50深度学习模型包含50个卷积层，所述卷积层通过残差块连接在一起；在网络的最后一层，ResNet-50使用全局平均池化层来将每个特征图的空间维度降为1x1，将特征图转换为一个特征向量，然后通过全连接层进行分类任务；

将第一大曲样本图像数据集和颜色缺陷数据集按照8：2比例随机划分作为所述Deeplabv3+深度学习模型的训练街和测试集。

在上述技术方案中，所述大曲视觉信息与大曲质量的对应关系包括：

大曲形状按照正常大曲、变形大曲、缺角大曲类别分成A、B、C三个等级；

大曲裂缝按照无裂缝、有裂缝但小于3个裂缝、大于3个裂缝类别分成A、B、C三个等级；

大曲颜色按照黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％类别分成A、B、C三个等级。

在上述技术方案中，所述对大曲质量进行评价包括：

综合待测大曲图像的形状、裂缝、颜色评级对大曲等级进行评价。

综上所述，由于采用了上述技术特征，本发明的有益效果是：

本发明采用大曲图像进行大曲质量检测，该检测方法操作简单，不具有破坏性和污染性，克服了人工感官评定法检测大曲品质耗时长、受主观意识影响等缺点。

本发明综合了三种深度学习模型，即Deeplabv3+、YOLOv5、ResNet50模型；三种不同的深度学习模型各自专注于提取大曲形状、大曲裂缝和大曲颜色信息，这种针对性的策略极大地提升了信息提取的准确性和精度。通过这种方式，每个模型在特定领域中能够更有效地捕捉和分析数据中的关键细节。而这种针对性的选择性也确保了每个模型能够获得更多的相关信息，从而更好地满足大曲视觉信息提取的需求。因此，这种差别化的信息提取策略不仅提高了深度学习模型的整体性能，也为大曲视觉信息提取任务的处理提供了更加灵活和有针对性的解决方案。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法的流程图。

图2a是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲三种摆放角度采集样图之一；

图2b是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲三种摆放角度采集样图之二；

图2c是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲三种摆放角度采集样图之三；

图3是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中DCGAN模型生成器结构图；

图4是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中DCGAN模型判别器结构图；

图5a是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中DCGAN模型epoch0的仿真图；

图5b是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中DCGAN模型epoch500的仿真图；

图5c是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中DCGAN模型epoch1000的仿真图；

图6是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲图像灰度化后的效果图；

图7是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中轻量级Deeplabv3+算法模型的总体框架图；

图8是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中YOLOv5算法模型的总体框架图；

图9是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中ResNet50算法模型的总体框架图；

图10a是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中正常大曲的大曲形状检测实际测试效果对比图；

图10b是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中变形大曲的大曲形状检测实际测试效果对比图；

图10c是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中缺角大曲的大曲形状检测实际测试效果对比图；

图11是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲实例分割效果图；

图12是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲裂缝检测实际测试效果图；

图13a是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲表面黑色占比小于20％的实际测试效果图；

图13b是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲表面黑色占比20％至50％的实际测试效果图；

图13c是本发明一个实施例的基于机器视觉和深度学习的大曲质量检测方法中大曲表面黑色占比大于50％的实际测试效果图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其它不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图13来描述根据本发明一些实施例提供的基于机器视觉和深度学习的大曲质量检测方法。

本申请的一些实施例提供了一种基于机器视觉和深度学习的大曲质量检测方法。

如图1所示，基于机器视觉和深度学习的大曲质量检测方法包括以下步骤：

采集大曲样本图像生成初始图像样本；其中，可利用工业相机采集系统采集大曲样本的图像并保存。

对初始图像样本进行图像增强处理增加大曲图像样本数量并生成第一大曲样本图像数据集；在一些实施例中，所述对初始图像样本进行图像增强处理包括亮度调整、图像旋转、图像翻转、图像缩放中的一种或多种。

因为深度学习的特性决定了其对大规模数据的需求量巨大，然而经过上述传统图像增强处理后的缺陷图像依旧太少，因此搭建深度卷积对抗网络DCGAN(DeepConvolutional Generative Adversarial Networks)，利用深度卷积对抗网络DCGAN根据初始图像样本生成仿真大曲缺陷图像从而形成仿真大曲缺陷图像数据集；具体地，所述仿真大曲缺陷图像数据集分为形状缺陷数据集、裂缝缺陷数据集和颜色缺陷数据集。

对第一大曲样本图像数据集和仿真大曲缺陷图像数据集中的大曲样本图像按形状、裂缝数量和颜色进行标注分类；在一些实施例中，其中形状标注分类为：正常大曲、变形大曲、缺角大曲；裂缝标注为:将大曲裂缝标注；颜色标注分类为：大曲表面黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％。在一个具体实施例中，采用图像标注软件Labelme对大曲样本图像中大曲的形状进行标注，分别对正常形状大曲、变形大曲、缺角大曲标注为zc、bx、qj，并生成相应Json格式文件；采用图像标注软件LabelImg对大曲样本图像中大曲的裂缝进行标注，对大曲样本图像中大曲的裂缝标注为lk，生成相应Xml格式文件；将不同颜色类别的样本图像放入不同文件夹从而对大曲样本图像中大曲的颜色进行标注，分别对大曲表面黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％的样本数据标注为CS、HS、ZS。

然后，分别建立Deeplabv3+、YOLOv5和ResNet50三种深度学习模型，其中，Deeplabv3+深度学习模型用于提取大曲形状的视觉信息并预测大曲形状对应的缺陷等级；YOLOv5深度学习模型用于提取大曲裂缝数量的视觉信息并预测大曲裂缝数量对应的缺陷等级；ResNet50深度学习模型用于提取大曲颜色的视觉信息并预测大曲颜色对应的缺陷等级。

在一个实施例中，所述Deeplabv3+深度学习模型包括编码器和解码器；在编码器部分，为了在运算资源有限和内存受限的工业计算机中也可以进行训练和使用Deeplabv3+模型，将所述Deeplabv3+深度学习模型原有的主干特征提取网络Xception网络替换成MobileNetv2网络，使Deeplabv3+在保持较高准确性的同时，具有较低的计算和内存消耗。本模型使用了空洞卷积来增加感受野，同时减少了分辨率的损失，空洞卷积允许网络在感受野内更广泛地捕获大曲的边缘信息；同时还引入多尺度特征融合模块，以融合不同尺度的特征图，这有同样助于网络更好地捕获大曲边缘信息，这是因为大曲边缘形状变化多，其边缘通常具有不同的尺度；带有空间金字塔池化(ASPP)的空洞卷积，ASPP模块允许网络同时考虑不同大小的感受野，并且ASPP模块使用多个并行的卷积核，每个卷积核具有不同的空洞率，以捕获不同尺度的大曲边缘特征信息；本模型还包括解码器部分，用于恢复分割图像的空间分辨率，这有助于更精确地定位大曲边缘信息。本模型在通过使用空洞卷积、多尺度特征融合、ASPP模块和解码器等技术，使网络能够在不同尺度上捕获丰富的大曲形状信息，并准确地提取大曲图像中的边缘信息。

在一个实施例中，为了提高所述YOLOv5深度学习模型的检测小目标能力，本发明对原始模型增加小目标检测层，将Neck网络进行加深，具体地在FPN结构中添加一个上采样层，产生一个160×160的检测特征图，然后再与主干网络中的P2输出端进行堆叠。同时在PAN结构中将特征进行下采样，以增强小尺寸特征图的表达能力。最后得到4种尺度不同的特征图(160×160，80×80，40×40，20×20)，其中160×160用于检测小尺寸的物体。本模型采用了单一的神经网络架构，将大曲裂缝检测问题视为了一种回归问题，同时预测大曲裂缝的位置(边界框)；由于大曲裂缝大小变化多，而小的裂缝更难以检测到，故本模型在添加小目标检测层之后可以通过处理更多尺度的特征图来检测不同大小的大曲裂缝，特别是不容易检测到的微小裂缝；同时在生成的多个边界框重，使用非极大值抑制来排除高度重叠的框，以提高大曲裂缝检测的准确性，和减少重复检测大曲裂缝的情况。

在一个实施例中，为了更好地提取大曲图像样本的颜色信息及颜色缺陷分类，所述ResNet50深度学习模型引入了残差块，每个残差块包含了一种特殊的连接方式，即残差连接。ResNet50包含50个卷积层，这些层通过残差块连接在一起。在网络的最后一层，ResNet-50使用全局平均池化层来将每个特征图的空间维度降为1x1。这个操作将特征图转换为一个特征向量，然后通过全连接层进行分类任务，从而实现大曲颜色信息提取及缺陷分类任务。本模型利用一系列卷积层提取输入的大曲图像的颜色分布信息，在这些卷积层中，颜色信息会被编码为一种抽象特征表示；并且本模型有多个残差块，每个残差块都有多个卷积层，这种深层次结构也能允许网络提取大曲颜色信息特征，同时深层次的卷积层允许网络获取全局图像上下文信息，更加有助于提取大曲颜色信息的空间分布和关联；综上，本模型可以很好地从大曲图像中提取颜色信息，这些颜色信息以更高级的形式存在，而不是原始的RGB像素值；并且大曲颜色分类任务与其他任务有一定的差异，本模型通过微调来适应大曲颜色分类的任务。在微调中，将预训练的ResNet-50模型加载进来，然后替换最后一层全连接层，将其输出维度设置为大曲颜色类别数量，然后输入大曲颜色分类数据集进行训练。

根据标注分类后的第一大曲样本图像数据集和仿真大曲缺陷图像数据集进行Deeplabv3+、YOLOv5和ResNet50三个深度学习模型的训练；训练到一定程度后，将测试集中的大曲样本图像输入三种深度学习模型中进行提取视觉信息并预测缺陷等级，根据标注结果再对模型输出结果进行评价，判断模型是否有效。

建立大曲视觉信息与大曲质量的对应关系；具体地，所述大曲视觉信息与大曲质量的对应关系包括：

大曲形状按照正常大曲、变形大曲、缺角大曲类别分成A、B、C三个等级；大曲裂缝按照无裂缝、有裂缝但小于3个裂缝、大于3个裂缝类别分成A、B、C三个等级；大曲颜色按照黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％类别分成A、B、C三个等级。

完成模型训练后，将待测大曲图像输入至训练完成的深度学习模型中，提取大曲视觉信息，综合大曲形状、裂缝和颜色信息及对应关系对大曲质量进行评价。

本发明的一个具体实施例提出了一种基于机器视觉和深度学习的大曲质量检测方法，包括以下步骤：

1.大曲样本的制备。

按每块大曲3.6kg，共200块大曲，准备720kg小麦。然后按照制曲工艺：润粮、粉碎、拌料、压曲步骤进行制备大曲，其中润粮用水量为大曲质量的5％(40℃热水)，即36kg；粉碎步骤中，粉碎度为过20目筛的细粉重约占总重的33％；拌料步骤中加水量为小麦重量的23％，即165.6kg；然后利用压曲机进行压制大曲。将压好的大曲置于曲房之中进行发酵28天，最后共获得200块大曲样本。

2.大曲样本图像的获取。

采用实验室中的工业相机采集系统获取大曲样本图像。该系统主要由工业相机(MER2-503-36U3C)(其分辨率为2448*2048、采集帧率为36、传感器型号为Sony 2/3"IMX264Global shutter CMOS、数据接口为USB3)，环形光源，相机支架和配备专用处理软件(Daheng Galaxy Viewer(x64))的计算机组成。采集大曲样本图像600张，其中，每块大曲三种摆放角度进行拍摄，如图2a、图2b、图2c所示。按照不同视觉信息类别进行划分后得到以下大曲图像信息：按形状划分，正常大曲408张、变形大曲165张、缺角大曲27张；按裂缝划分，无裂缝为135张、裂缝数小于3个为150张、裂缝数大于3个为315张；按颜色划分，黑色占比小于20％为459张、黑色占比20％至50％为108张、黑色占比大于50％为33张。将上述大曲图像信息作为初始图像样本。

3.对初始图像样本进行数据增强。

为了增加大曲图像样本数量，选择用传统数据增强方式对大曲图像数据增强4倍。其方式包括对大曲图像进行亮度调整(增亮)、图像旋转(顺时针45°)、图像翻转(左右对称翻转)、图像缩放(缩小20％)。数据增强后，大曲图像增至2400张，形成第一大曲样本图像数据集。

4.对大曲缺陷图像进行数据增强。

为了增加大曲缺陷图像的样本数量，搭建并利用深度卷积对抗网络(DeepConvolutional Generative Adversarial Networks，DCGAN)生成仿真大曲缺陷图像来进行数据增强。DCGAN在计算机视觉领域有广泛应用，可以用于生成逼真的图像样本。其通过如图3所示的训练生成器和如图4所示的判别器之间的对抗过程来提高生成图像的质量。通过这种对抗性的训练过程，DCGAN可以逐渐改进生成图像的质量，使其更加逼真。DCGAN具体地参数设置为：图片通道数为3，每一批次训练数为64，随机噪声为100，生成器的特征大小为64，判别器的特征大小为64，总训练次数为1000次，学习率为0.0001。图5分别是训练过程中的epoch0(迭代0次)，epoch500(迭代500次)，epoch1000(迭代1000次)的对比分析，可以看出经过对DCGAN模型进行多次迭代，明显观察到生成的图像质量显著提升，其真实性和清晰度也显著增强。最终得到的仿真大曲缺陷图像数据集，包含了6000张图片，又分为形状缺陷数据集、裂缝缺陷数据集和颜色缺陷数据集，其中形状缺陷数据集包括1000张变形大曲，1000张缺角大曲；裂缝缺陷数据集包括1000张裂缝数小于3个的大曲、1000张裂缝数大于3个的大曲；颜色缺陷数据集包括1000张黑色占比20％至50％的大曲、1000张黑色占比大于50％的大曲。

5.对大曲图像进行预处理。

利用计算机视觉和图像处理技术对步骤3中第一大曲样本图像数据集的大曲图像样本和步骤4中裂缝缺陷数据集的大曲图像样本进行灰度化处理。灰度化后的效果图如图6所示。为了增加大曲裂缝缺陷的识别精度，继续对灰度化后的大曲图像样本进行剪裁，其具体操作是将一张图像以中心剪裁为四张相同大小的图像。以增加大曲裂缝信息检测的图像数量和在一定程度上可放大大曲的裂缝特征。最终获取到17600(2400*4+2000*4)张灰度值图像，将其作为大曲裂缝信息样本数据集。

6.对处理后的大曲图像进行标注。

本实施例的形状检测样本数据采用图像标注软件Labelme进行标注，分别对正常形状大曲、变形大曲、缺角大曲标注为zc、bx、qj，并生成相应Json格式文件；然后再将大曲裂缝检测样本数据采用图像标注软件LabelImg进行标注，并对图像样本中的大曲裂缝标注为lk，生成相应Xml格式文件；最后将大曲颜色检测样本数据采用将不同颜色类别的样本图像放入不同文件夹进行标注，分别对大曲表面黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％的样本数据标注为CS、HS、ZS。

7.建立Deeplabv3+、YOLOv5、ResNet50三种深度学习模型并输入大曲图像进行训练。

本实施例所搭建的轻量级Deeplabv3+算法模型的总体框架如图7所示。Deeplabv3+的原理是通过骨干网络提取特征，采用空洞卷积、多尺度特征融合、ASPP模块等技术来捕获多尺度和上下文信息，最终使用解码器和分割头生成图像的语义分割结果。这使得Deeplabv3+在各种图像语义分割任务中表现出色。本实施例的Deeplabv3+由编码器-解码器两部分组成，在编码器部分，将原有的主干特征提取网络Xception网络替换成了轻量级的MobileNetv2网络并进行4次特征提取；将提取到的特征由ASPP结构进行加强特征提取，并进行合并，以此来获取丰富的图像特征信息；最后，利用一个1×1卷积对合并特征信息进行通道压缩，获取到高级特征语义信息。在解码器部分，首先对主干特征提取网络提取到的浅层特征进行1×1卷积，同时，深层特征使用双线性插值进行4倍上采样。然后与具有相同分辨率的编码器的相应特征图进行堆叠。最后，再使用3×3的卷积和双线性插值的4倍上采样输出得到特征图。训练时参数设置为：优化器选择随机梯度下降(sgd)优化器，模型最大学习率设置为0.007，最小学习率为0.00007，输入图片大小设置为512×512，下采样倍数设置为8，设置训练样本时的一批样本数量batch＝16，最大学习次数为3000次。训练样本数据和测试样本数据为第一大曲样本图像数据集中的2400张大曲样本图像和形状缺陷数据集中的2000张大曲形状缺陷仿真图像按照8：2比例随机划分。完成设置后进行训练和测试。

本实施例所搭建的增加小目标检测层的YOLOv5模型由输入端、Backone、Neck、输出端几部分组成，其总体框架如图8所示。YOLOv5的原理在于使用深度卷积神经网络结构来从输入图像中提取特征，并通过检测头预测目标框的位置和类别概率。它通过使用FPN、PANet等结构来提高多尺度检测性能，以实现高效而准确的目标检测。本实施例将Neck网络进行加深，由此来产生更大尺度的特征图。具体地在FPN结构中添加一个上采样层，产生一个160×160的检测特征图，然后再与主干网络中的P2输出端进行堆叠。同时在PANet结构中将特征进行下采样，以增强小尺寸特征图的表达能力。最后得到4种尺度不同的特征图(160×160，80×80，40×40，20×20)，其中160×160用于检测小尺寸的物体。训练时参数设置为：训练样本时的一批样本数量为16，权重衰减正则项为0.0005，动量参数为0.937，最大学习率为0.001，最小学习率为0.00001，输入图片大小设置为640×640，优化器选择随机梯度下降(sgd)优化器，学习下降方式选择cos，每100个epoch保存一次权值，一共训练3000个epoch。训练样本数据和测试样本数据为大曲裂缝信息样本数据集中的17600张大曲裂缝样本数据按照8：2进行随机划分。完成设置后进行训练和测试。

本实施例搭建的ResNet50算法模型总体框架如图9所示。ResNet-50的原理通过引入残差块和残差连接，解决了深度神经网络的训练问题，使得可以构建非常深的网络结构，从而提高了图像识别和分类等计算机视觉任务的性能。本发明的ResNet50引入了残差块，每个残差块包含了一种特殊的连接方式，即残差连接。这种连接方式将输入跳过一个或多个卷积层，直接与后续的层相加。这使得网络能够更容易地捕捉到大曲颜色数据的细微变化。残差块由两个卷积层组成，每个卷积层之间有一个恒等映射(Identity Mapping)，即将输入直接添加到输出。ResNet-50包含50个卷积层，这些层通过残差块连接在一起。在网络的最后一层，ResNet-50使用全局平均池化层来将每个特征图的空间维度降为1x1。这个操作将特征图转换为一个特征向量，然后通过全连接层进行分类任务。训练时参数设置为：训练样本时的一批样本数量为16，学习率为0.01，每100个epoch保存一次权值，一共训练3000个epoch。训练样本数据和测试样本数据为第一大曲样本图像数据集中的2400张大曲样本图像和颜色缺陷数据集中的2000张大曲颜色缺陷仿真图像按照8：2随机划分。完成设置后进行训练和测试。

大曲形状检测测试：样本训练结束后，利用最佳模型对测试样本进行检测验证，具体实验测试结果如下表所示。

由上表可知，Deeplabv3+模型对正常形状大曲的识别分类率为100％，对变形大曲的识别分类率为96％，对缺角大曲识别分类率为100％。实际测试识别效果如图10a～c所示，其中图10a为正常大曲，语义分割之后的掩码图为白色；其中图10b为变形大曲，语义分割之后的掩码图为深灰色；图10c为缺角大曲，语义分割之后的掩码图为浅灰色。然后再将掩码图实例分割出来：首先读取原图和掩码图，并创建彩色掩码图，设置背景为白色；获取掩码图中非0像素对应的原图像素，再赋值给刚刚创建的彩色掩码图，获取掩码区域的边界框，最后剪裁原图掩码区域得到实例分割效果图11,这样做可以更方便地进行后续研究和分析。

大曲裂缝检测测试：样本训练结束后，利用最佳模型对测试样本进行检测验证，具体实验测试结果如下表所示。

由上表可知，有无大曲裂缝的识别率为100％，并且由图12可知本模型在识别出裂缝的基础上，对大曲裂缝具有较高的检测精度，均在97％以上，该模型的成功应用，为大曲裂缝识别和检测领域的研究提供了一种新的思路和方法。

大曲颜色检测测试：样本训练结束后，利用最佳模型对测试样本进行检测验证，具体实验测试结果如下表所示。

由上表可知，ResNet50网络模型对大曲表面黑色占比小于20％的大曲识别分类率为98％，对黑色占比20％-50％的大曲识别分类率为92％，对黑色占比大于50％的大曲识别分类率为100％。实际测试识别效果如图13a～c所示，图13a、图13b、图13c分别为大曲表面黑色占比小于20％、20％至50％、大于50％的实际测试效果图。发现本发明ResNet50模型对大曲颜色样本检测精度均在97％以上，可为大曲颜色识别和检测提供一种新的指导方法。

8.建立大曲视觉信息与大曲质量的对应关系。

步骤7中的大曲缺陷等级，具体为：大曲形状按照正常大曲、变形大曲、缺角大曲类别分成A、B、C三个等级；大曲裂缝缺陷按照无裂缝、有裂缝但小于3个裂缝、大于3个裂缝类别分成A、B、C三个等级；大曲颜色按照大曲整体颜色中黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％类别分成A、B、C三个等级。综合分析大曲形状、裂缝及颜色等级可以得到以下大曲分级，见下表。

9.综合大曲形状、裂缝和颜色信息及对应关系，输入一张大曲图像对大曲质量进行评价。

在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉和深度学习的大曲质量检测方法，其特征在于，包括：

采集大曲样本图像生成初始图像样本；

对初始图像样本进行图像增强处理增加大曲图像样本数量并生成第一大曲样本图像数据集；

搭建深度卷积对抗网络DCGAN，利用深度卷积对抗网络DCGAN根据初始图像样本生成仿真大曲缺陷图像从而形成仿真大曲缺陷图像数据集；

对第一大曲样本图像数据集和仿真大曲缺陷图像数据集中的大曲样本图像按形状、裂缝数量和颜色进行标注分类；

分别建立Deeplabv3+、YOLOv5和ResNet50三种深度学习模型，其中，Deeplabv3+深度学习模型用于提取大曲形状的视觉信息并预测大曲形状对应的缺陷等级；YOLOv5深度学习模型用于提取大曲裂缝数量的视觉信息并预测大曲裂缝数量对应的缺陷等级；ResNet50深度学习模型用于提取大曲颜色的视觉信息并预测大曲颜色对应的缺陷等级；

根据标注分类后的第一大曲样本图像数据集和仿真大曲缺陷图像数据集进行Deeplabv3+、YOLOv5和ResNet50三个深度学习模型的训练和测试，建立大曲视觉信息与大曲质量的对应关系；

将待测大曲图像输入至训练完成的深度学习模型中对大曲质量进行评价。

2.根据权利要求1所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述对初始图像样本进行图像增强处理包括亮度调整、图像旋转、图像翻转、图像缩放中的至少一种。

3.根据权利要求1所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述仿真大曲缺陷图像数据集分为形状缺陷数据集、裂缝缺陷数据集和颜色缺陷数据集。

4.根据权利要求3所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，还包括：

对第一大曲样本图像数据集和裂缝缺陷数据集中的大曲样本图像进行灰度化处理；

对灰度化后的大曲样本图像以中心剪裁为四张相同大小的图像作为大曲裂缝信息样本数据集。

5.根据权利要求1所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述对第一大曲样本图像数据集和仿真大曲缺陷图像数据集中的大曲样本图像按形状、裂缝数量和颜色进行标注分类包括：

采用图像标注软件Labelme对大曲样本图像中大曲的形状进行标注，分别对正常形状大曲、变形大曲、缺角大曲标注为zc、bx、qj，并生成相应Json格式文件；

采用图像标注软件LabelImg对大曲样本图像中大曲的裂缝进行标注，对大曲样本图像中大曲的裂缝标注为lk，生成相应Xml格式文件；

将不同颜色类别的样本图像放入不同文件夹从而对大曲样本图像中大曲的颜色进行标注，分别对大曲表面黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％的样本数据标注为CS、HS、ZS。

6.根据权利要求3所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述Deeplabv3+深度学习模型包括编码器和解码器；

在编码器部分，采用MobileNetv2网络作为主干特征提取网络，将提取到的特征由ASPP结构进行加强特征提取，并进行合并，利用一个1×1卷积对合并特征信息进行通道压缩，获取到高级特征语义信息；

在解码器部分，首先对主干特征提取网络提取到的浅层特征进行1×1卷积，同时，深层特征使用双线性插值进行上采样；然后与具有相同分辨率的编码器的相应特征图进行堆叠；最后，再使用3×3的卷积和双线性插值的上采样输出得到特征图；

将第一大曲样本图像数据集和形状缺陷数据集按照8：2比例随机划分作为所述Deeplabv3+深度学习模型的训练集和测试集。

7.根据权利要求4所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述YOLOv5深度学习模型采用FPN结构和PANet结构进行多尺度检测；

所述YOLOv5深度学习模型在FPN结构中添加上采样层，产生一个160×160的检测特征图，然后再与主干网络中的P2输出端进行堆叠；同时在PANet结构中将特征进行下采样；从而得到4种尺度不同的特征图，其中160×160用于检测小尺寸的物体；

对大曲裂缝信息样本数据集进行随机划分并分别作为YOLOv5深度学习模型的训练集和测试集。

8.根据权利要求3所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述ResNet50深度学习模型包含50个卷积层，所述卷积层通过残差块连接在一起；在网络的最后一层，ResNet-50使用全局平均池化层来将每个特征图的空间维度降为1x1，将特征图转换为一个特征向量，然后通过全连接层进行分类任务；

将第一大曲样本图像数据集和颜色缺陷数据集按照8：2比例随机划分作为所述Deeplabv3+深度学习模型的训练街和测试集。

9.根据权利要求1所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述大曲视觉信息与大曲质量的对应关系包括：

大曲形状按照正常大曲、变形大曲、缺角大曲类别分成A、B、C三个等级；

大曲裂缝按照无裂缝、有裂缝但小于3个裂缝、大于3个裂缝类别分成A、B、C三个等级；

大曲颜色按照黑色占比小于20％、黑色占比20％至50％、黑色占比大于50％类别分成A、B、C三个等级。

10.根据权利要求1所述的基于机器视觉和深度学习的大曲质量检测方法，其特征在于，所述对大曲质量进行评价包括：

综合待测大曲图像的形状、裂缝、颜色评级对大曲等级进行评价。