CN117611828B - 一种基于高光谱图像分割技术的非烟杂物检测方法 - Google Patents

一种基于高光谱图像分割技术的非烟杂物检测方法 Download PDF

Info

Publication number
CN117611828B
CN117611828B CN202410082853.8A CN202410082853A CN117611828B CN 117611828 B CN117611828 B CN 117611828B CN 202410082853 A CN202410082853 A CN 202410082853A CN 117611828 B CN117611828 B CN 117611828B
Authority
CN
China
Prior art keywords
image
hyperspectral
net
image segmentation
smoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410082853.8A
Other languages
English (en)
Other versions
CN117611828A (zh
Inventor
李金伟
李瑞东
唐林瑞泽
赵敏
徐元飞
史帅凯
李强
李仁刚
陈捷
李健龙
卢瑾
朱毓航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Leaf Tobacco Redrying Co ltd
Original Assignee
Yunnan Leaf Tobacco Redrying Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Leaf Tobacco Redrying Co ltd filed Critical Yunnan Leaf Tobacco Redrying Co ltd
Priority to CN202410082853.8A priority Critical patent/CN117611828B/zh
Publication of CN117611828A publication Critical patent/CN117611828A/zh
Application granted granted Critical
Publication of CN117611828B publication Critical patent/CN117611828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于烟叶复烤过程中碎烟回收的异物检测方法领域，具体提出一种基于深度学习的高光谱烟草杂质检测方法，包括：S1：数据采集及预处理；S2：构建非烟杂物数据集，划分训练集和测试集；S3：构建基于U‑Net的图像分割网络；S4：用S2所述训练集对S3得到的图像分割网络进行并行训练：S5：构建基于U‑Net的并行计算图像分割网络；S6：使用S2所述测试集对S5所述并行计算图像分割网络进行测试并评估分割结果。本发明基于U‑Net框架逐步提取多尺度判别特征并进行融合，使用多个独立的图像分割网络并行处理高光谱图像数据。与其他检测方法相比所提出的分割模型具有优越的非烟异物检测性能的同时设计通道选择策略去除冗余信息大大提高了检测速度。

Description

一种基于高光谱图像分割技术的非烟杂物检测方法
技术领域
本发明属于烟叶复烤过程中碎烟回收的异物检测技术领域，具体涉及一种基于高光谱图像分割技术的非烟杂物检测方法。
背景技术
在卷烟产品的生产过程中，烟草纯净度直接影响卷烟产品质量，因此对烟草物料的精选除杂处理是卷烟产品质量管控的关键环节，也是烟草加工领域关注的重点。烟叶作为卷烟制品的主要原料，在采收、初烤、包装运输、复烤、醇化、制丝等过程中，会不可避免地混入非烟草杂质。烟叶复烤加工过程中如金属、石子等杂物的混入会造成生产设备的损坏，塑料、羽毛等杂质燃烧产生的有害物质会严重影响香烟的口感和人体健康。在生产过程中，金属杂质可以通过金属探测器识别，轻杂质通常通过风选机检测。但是如黄纸、塑料等类似烟草的杂质难以去除。气相色谱-质谱联用技术和固相微萃取技术是检测烟草等杂质密度和颜色的两种有效方法，但它们依赖于样品的内部化学成分，可能对样品造成损害，且设备昂贵。目前，烟草生产流水线主要是通过手工挑选这些杂质，费时费力，效率很低。
计算机视觉技术可以通过形状、纹理、颜色、尺寸等信息进行目标识别，是解决杂质检测难题的一个新趋势。如有工作通过训练YOLOv7架构来识别烟草杂质。采用迁移学习策略缓解数据集的局限性。但这项工作的观测数据没有完全模拟生产场景，且矩形边界检测算法可能会错误地去除烟草样本。另外，传统的相机传感器很难识别颜色和质地相同但化学性质不同的物体。高光谱成像技术能够同时捕捉到空间信息和高分辨率的光谱特征，现已广泛应用于工业场景。高光谱图像提供了丰富的光谱信息，使我们能够探测到颜色和质地相同但化学性质不同的物体。但是现有的基于高光谱图像的非烟杂物检测技术仍然采用传统方法，其存在检测速度慢、检测率低和误检率高的问题。因此，研究一种新的高光谱图像非烟杂物检测方法具有重要意义。
发明内容
针对烟叶复烤过程中碎烟回收的非烟杂物检测任务采用传统方法检测速度慢、检测率低和误检率高的问题，本发明提供了一种基于高光谱图像分割技术的非烟杂物检测方法，该方法将高光谱图像技术与烟叶杂物检测融合，通过数据预处理、数据集构建、分割网络搭建解决了使用常规RGB相机难以检出与烟叶颜色相近的非烟杂物以及传统方法检测速度慢、检测率低和误检率高的难题。
技术方案
一种基于高光谱图像分割技术的非烟杂物检测方法，包括依次进行的以下步骤：
S1数据采集及预处理：
（1）将从生产线收集的各种杂物与碎烟充分混合，并摊薄置于传送带上，模拟实际生产场景；
（2）使用高光谱相机，预先采集黑帧和白帧/>的高光谱数据，其中/>为/>的3维矩阵，h、w和c分别表示图像的长、宽和通道数；
（3）使用高光谱相机，对传送带上待检样本进行高光谱数据采集，得到高光谱数据；
（4）使用高光谱相机采集N张空间分辨率为2048×2048的高光谱图像，，I 1 表示第一张高光谱图像，I 2 表示第2张高光谱图像，I N 表示第N张高光谱图像，对采集到的高光谱图像数据进行黑白校正：
（1）
得到校正的高光谱图像数据，/>；其中，/>表示校正后的第一张高光谱图像，/>表示校正后的第2张高光谱图像，/>表示校正后的第N张高光谱图像；
（5）对校正后的高光谱图像数据进行最大最小值归一化：
（5）
得到取值区间为的归一化数据/>，其中/>是归一化后的第一张高光谱图像；/>是归一化后的第二张高光谱图像；/>是归一化后的第N张高光谱图像；
S2、构建非烟杂物数据集：
（1）对每一张高光谱图像进行人工图像分割标注，并对标注图像进行二值化处理，有杂物区域像素值置为1，其他区域像素值置为0，将标注图像保存为.png格式文件；
（2）设置随机种子，使用大小为512×512的窗口对预处理后的N张高光谱图像及其对应的标签图像进行10次随机裁剪，获得10×N张空间分辨率为512×512的高光谱图像及其对应的标签图像；
（3）为了减少光谱冗余度及计算量，需对通道进行特征选择，即每张高光谱图像选取固定的100个通道，并沿着光谱维将100个通道平均分为10组，每一组通道取一次平均值得到10张融合后的单通道图像；丢弃最后一个通道，每间隔两个通道合并一次，形成3张三通道图像/>，其中/>，/>，；
（4）在10×N组数据中，每组数据都包含3张三通道图像和1张标签图像；
（5）设置随机种子，将10×N组数据随机选取70%设为训练集，30%设为测试集；
S3、构建基于U-Net的图像分割网络：
（1）构建用于光谱信息融合及空间纹理信息提取的U-Net模块，其包含下采样编码器、上采样解码器和跨层连接部分；
（2）构建用于辅助训练U-Net编码器的判别器模块，其输出的是当前包含非烟杂物的概率；
S4、用训练集数据对基于U-Net的图像分割网络进行并行训练：
（1）分别针对判别器模块和U-Net模块设计损失函数；
（2）将每一组训练集数据中的3张三通道图像分别送入3个独立的基于U-Net的图像分割网络并共用每一组的标注图像进行有监督并行训练；
S5、构建基于U-Net的并行计算图像分割网络：
（1）将3个已经训练好的基于U-Net的图像分割网络中的判别器模块丢弃，仅保留U-Net模块；
（2）构建用于融合分割结果的融合模块；
（3）基于U-Net的并行计算图像分割网络由3个独立的U-Net模块和一个融合模块组成；
S6、使用测试数据对基于U-Net的并行计算图像分割网络进行测试：
（1）将每一组测试数据中的3张三通道图像分别送入3个独立的U-Net模块，并将3个分割结果送入融合模块，得到最终的分割结果；
（2）使用相应的评价指标对分割结果进行评测。
有益效果
与现有的其他非烟杂物光学检测方法相比，本发明提出了一种基于高光谱图像分割技术的非烟杂物检测方法首先，在S1步骤，本方法合理构建了数据集，充分模拟了烟叶复烤环节中的碎烟回收场景，克服了现有方法所使用数据集构造过于简单的问题，便于模型的训练、测试以及后期部署； S2：构建非烟杂物数据集：对S1归一化后的高光谱图像进行图像分割并标注，并进行随机剪裁，再通过对高光谱图像中的通道进行特征选择并进行通道融合得到三通道图像和对应的标签图像；最后将所述三通道图像和对应的标签图像随机分配为训练集和测试集；该步骤通过引入了高光谱信息，本方法能够有效地检测出与烟叶颜色相近的非烟杂物，这是使用常规RGB相机难以实现的；同时设计了一种通道特征选择方式以减少光谱冗余度及计算量，同时3个独立的图像分割网络，具备并行处理高光谱图像数据的能力，从而大幅提高了检测速度，克服了现有基于高光谱的非烟杂物检测方法检测速度慢的问题；S3：构建基于U-Net的图像分割网络：构建用于光谱信息融合及空间纹理信息提取的U-Net模块，所述U-Net模块包含下采样的编码器、上采样的解码器和跨层连接部分；构建用于辅助训练U-Net编码器的判别器模块；S4：用S2中所述训练集数据对基于U-Net的图像分割网络进行并行训练：S5：构建基于U-Net的并行计算图像分割网络：所述并行计算图像分割网络由3个独立的U-Net模块和一个融合模块组成；S6：使用S2得到的测试集对S5构建的基于U-Net的并行计算图像分割网络进行测试并用图像分割的评价指标评估分割结果。本发明对于烟叶复烤过程中碎烟回收的非烟杂物检测任务，将深度学习技术和高光谱成像技术相结合的方法，相比于传统方法，其不需要手工设计特征，进一步提升了非烟杂物检测的准确率，降低了误检率，可拓展性强。其次，本发明具备一定拓展性，不局限于烟叶复烤过程中碎烟回收的非烟杂物检测任务，可应用于大多数物料分选任务。
附图说明
图1为本发明的总体流程图；
图2为本发明训练阶段基于U-Net的图像分割网络；
图3为本发明测试阶段基于U-Net的并行计算图像分割网络；
图4为本发明测试数据的高光谱非烟图像分割结果。
具体实施方式
下面将结合附图对本发明的实施方案进行详细说明
实施例1
S1、数据采集及预处理：
（1）将从生产线收集的25种杂物分别与碎烟充分混合，并将物料摊薄置于传送带上，模拟实际生产场景；
（2）使用波段为380nm~1000nm的128通道高光谱相机，预先采集黑帧和白帧/>的高光谱数据，其中/>为/>的3维矩阵；h=2048，w=2048，c=128，其中h、w和c分别表示图像的长、宽和通道数；
（3）使用上述高光谱相机，对传送带上待检样本进行高光谱数据采集，得到高光谱图像数据，其中h=2048，w=2048，c=128；
（4）使用上述高光谱相机采集154张空间分辨率为2048×2048的128通道高光谱图像， I 1 表示第一张光谱图像，I 2 表示第2张光谱图像，I 154 表示第154张光谱图像，对采集到的高光谱图像数据进行黑白校正：，确保每张高光谱图像至少包含一种非烟杂物；对采集到的高光谱图像数据进行黑白校正：
（1）
得到校正数据，/>，其中，/>表示校正后的第一张高光谱图像，表示校正后的第2张高光谱图像，/>表示校正后的第154张高光谱图像；
（5）对校正后的高光谱图像数据进行最大最小值归一化：
（5）
得到取值区间为的归一化数据/>，其中/>是归一化后的第一张高光谱图像；/>是归一化后的第二张高光谱图像；/>是归一化后的第154张高光谱图像；
S2：构建非烟杂物数据集：
（1）对每一张高光谱图像进行人工图像分割标注，并对标注图像进行二值化处理，有杂物区域像素值置为1，其他区域像素值置为0，将标注图像保存为.png格式文件；
（2）使用python设置随机种子42，使用大小为512×512的窗口对预处理后的154张高光谱图像及其对应的标签图像进行10次随机裁剪，获得1540张空间分辨率为512×512的高光谱图像及其对应的标签图像；
（3）为了减少光谱冗余度及计算量，需对通道进行特征选择，即每张高光谱图像选取固定的100个通道，并沿着光谱维将100个通道平均分为10组，每一组通道取一次平均值得到10张融合后的单通道图像；丢弃最后一个通道，每间隔两个通道合并一次，形成3张三通道图像/>，其中/>，/>，；
（4）在1540组数据中，每组数据都包含3张三通道图像和1张标签图像；
（5）使用python设置随机种子42，将1540组数据随机选取70%设为训练集，30%设为测试集；
S3、构建基于U-Net的图像分割网络：
（1）构建用于光谱信息融合及空间纹理信息提取的U-Net模块，参见图2，其包含下采样的编码器、上采样的解码器和跨层连接部分；下采样编码器为经过ImageNet预训练的VGG-16网络，其丢弃了VGG-16的全连接层部分，其结构是从输入到第5个最大池化层，依次为：输入图像→第一个卷积层→第二个卷积层→第一个最大池化层→第三个卷积层→第四个卷积层→第二个最大池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三方最大池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个最大池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个最大池化层；上采样解码器结构是从第一个转置卷积层到输出图像，依次为：第一个转置卷积层→第二个转置卷积层→第一个批归一化层→第一个特征合并层→第十四个卷积层→第二个批归一化层→第三个转置卷积层→第三个批归一化层→第二个特征合并层→第十五个卷积层→第四个批归一化层→第四个转置卷积层→第五个批归一化层→第三个特征合并层→第十六个卷积层→第六个批归一化层→第五个转置卷积层→第七个批归一化层→第四个特征合并层→第十七个卷积层→第八个批归一化层→第十八个卷积层→Sigmoid层→输出图像；跨层连接的功能是连接下采样编码器和上采样解码器的中间特征，达到充分利用多尺度特征的目的，其结构包括：连接第二个卷积层和第七个批归一化层的输出、连接第四个卷积层和第五个批归一化层的输出、连接第七个卷积层和第三个批归一化层的输出、连接第十个卷积层和第一个批归一化层的输出；
U-Net模块的各层参数如下：
将第一个和第二个卷积层的特征映射图的总数设置为64，二维卷积核的尺寸设置为3×3，激活函数为ReLU，滑窗步长设置为1；
将第三个和第四个卷积层的特征映射图的总数设置为128，二维卷积核的尺寸设置为3×3，激活函数为ReLU，滑窗步长设置为1；
将第五个、第六个和第七个卷积层的特征映射图的总数设置为256，二维卷积核的尺寸设置为3×3，激活函数为ReLU，滑窗步长设置为1；
将第八个、第九个和第十个卷积层的特征映射图的总数设置为512，二维卷积核的尺寸设置为3×3，激活函数为ReLU，滑窗步长设置为1；
将第十一个、第十二个和第十三个卷积层的特征映射图的总数设置为512，二维卷积核的尺寸设置为3×3，激活函数为ReLU，滑窗步长设置为1；
将第十四个卷积层的特征映射图的总数设置为256，二维卷积核的尺寸设置为3×3，滑窗步长设置为1；
将第十五个卷积层的特征映射图的总数设置为128，二维卷积核的尺寸设置为3×3，滑窗步长设置为1；
将第十六个卷积层的特征映射图的总数设置为64，二维卷积核的尺寸设置为3×3，滑窗步长设置为1；
将第十七个卷积层的特征映射图的总数设置为32，二维卷积核的尺寸设置为3×3，滑窗步长设置为1；
将第十八个卷积层的特征映射图的总数设置为1，二维卷积核的尺寸设置为1×1，滑窗步长设置为1；
将所有最大池化层的特征映射图尺寸设置为2×2，滑窗步长设置为2；
将第一个和第二个转置卷积层的特征映射图的总数设置为512，二维转置卷积核的尺寸设置为2×2，滑窗步长设置为2；
将第三个转置卷积层的特征映射图的总数设置为256，二维转置卷积核的尺寸设置为2×2，滑窗步长设置为2；
将第四个转置卷积层的特征映射图的总数设置为128，二维转置卷积核的尺寸设置为2×2，滑窗步长设置为2；
将第五个转置卷积层的特征映射图的总数设置为64，二维转置卷积核的尺寸设置为2×2，滑窗步长设置为2；
将第一个批归一化层的批次设置为512，激活函数为ReLU；
将第二个和第三个批归一化层的批次设置为256，激活函数为ReLU；
将第四个和第五个批归一化层的批次设置为128，激活函数为ReLU；
将第六个和第七个批归一化层的批次设置为64，激活函数为ReLU；
将第八个批归一化层的批次设置为32，激活函数为ReLU；
将U-Net模块中Sigmoid层输出的阈值为0.5，当Sigmoid层输出的值大于或等于0.5时，值置为1，当Sigmoid层输出的值小于0.5时，值置为0；
（2）构建用于辅助训练U-Net编码器的判别器模块，参见图2，其结构依次为：第一个全连接层→第一个节点随机丢弃层→第二个全连接层→第二个节点随机丢弃层→第三个全连接层→Sigmoid层；
判别模块的各层参数如下：
将第一个全连接层的特征映射总数设置为1024；
将第二个全连接层的特征映射总数设置为128；
将第三个全连接层的特征映射总数设置为1；
将第一个和第二个节点随机丢弃层的丢弃概率均设置为0.5；
S4、用训练集数据对基于U-Net的图像分割网络进行并行训练：
（1）分别针对判别器模块和U-Net模块设计损失函数；判别器输出的是当前图片包含非烟杂物的概率，其对应的损失函数为：
（2）
其中，IGT是标签值，图像包含杂物则置为1，否则置为0；是判别器模块的输出，它的取值范围是/>，表示当前图片包含杂物的概率，训练过程中最小化该损失函数的目的是提高编码器提取特征的能力，降低网络预测的误检率；U-Net模块的输出是一张单通道的二值化图像，其中预测有杂物区域的像素值为1，其它区域像素值为0，其对应的损失函数为：
（3）
其中，y是标签图像，是U-Net模块的输出；训练阶段使用联合损失函数为：
（4）
其中和/>是两个超参数，在本实施例中设置为/>=0.6和/>=0.4，优化目标是最小化L；
（2）将每一组训练集数据中的3张三通道图像分别送入3个独立的基于U-Net的图像分割网络并共用每一组的标注图像进行有监督并行训练；
S5、构建基于U-Net的并行计算图像分割网络：
（1）将3个已经训练好的基于U-Net的图像分割网络中的判别器模块丢弃，仅保留U-Net模块；3个U-Net模块的输出分别表示为D1、D2、D3；
（2）构建用于融合分割结果的融合模块，其输出为（6）；
（3）基于U-Net的并行计算图像分割网络由3个独立的U-Net模块和一个融合模块组成，参见图3；
S6、使用测试数据对基于U-Net的并行计算图像分割网络进行测试：
（1）将每一组测试数据中的3张三通道图像分别送入3个独立的U-Net模块，并将3个分割结果送入融合模块，得到最终的分割结果；
（2）使用相应的评价指标对分割结果进行评测，包括平均准确率（averageprecision，AP ）、误检率（average precision，FPR）、平均交并比（mean intersectionover union，mIOU）：
（7）
（8）
（9）
其中N=462，表示测试集中的标签图像数量；是指第i次测试，将该图像中有杂物区域正确预测为1的像素个数；/>是指第i次测试，将该图像中无杂物区域正确预测为0的像素个数；/>是指第i次测试，将该图像中无杂物区域错误预测为1的像素个数；/>是指第i次测试，将该图像中有杂物区域错误预测为0的像素个数；
为了更加客观地评测非烟杂物的检测率，本发明定义了一种评价指标，切片检测率（patches detection rate，pDR）:
（10）
每次测试时，将分割结果及其对应标签图像等份切割为M张n×n的小图像；表示大于0则取值为1；/>表示在第p个小图像中，将该图像中有杂物区域正确预测为1的像素个数；/>表示在第p个小图像中，将该图像中无杂物区域正确预测为0的像素个数；该评价指标模拟了实际物理剔除过程中的剔除率，即每个n×n的像素区域对应一个高压喷气阀，只要该区域检测到杂物，就会触发高压喷气阀将该区域的所有样本打出。
实施例2
基于高光谱图像分割技术的非烟杂物检测方法同实施例1的S1至S6步骤，整体流程参见图1。
表1是本发明所构造的数据集中涉及到的非烟杂物种类：
仿真条件：
本发明仿真实验的硬件平台为AMD EPYC 7402 24-Core Processor，内存为258G；训练阶段使用了4张NVIDIA 3090Ti显卡；cuda版本为11.3；本发明使用的编程语言为python 3.10，深度神经网络基于pytorch 1.12.1进行搭建、训练和测试。
仿真内容与结果：
表2是本发明的仿真实验中的优化器选择、学习率设置、数据批量（batch size）设置、迭代轮数（epoch）设置：
表3是本方法与几种传统方法在AP、FPR、mIOU三个评价指标上的性能比较，包括基于主成分分析的逻辑回归方法（PCA + Logistic regression，PLR）、线性判别分析方法（linear discriminant analysis，LDA）、支持向量机方法（support vector machine，SVM），各方法的分割检测示例参见图4：
表3中分别列出了本发明与现有传统方法在非烟杂物分割检测任务中的性能表现，包括的AP、FPR、mIOU三个指标。从表3可见本发明方法相较于最优的传统方法，在AP指标上提升了25.8%，在FPR指标上降低了26.37%，在mIOU指标上提升了48.1%，均优于现有传统方法。
表4是使用AP、FPR、mIOU、pDR对本发明方法的测评，对于pDR设置裁剪的窗口大小为n×n=2×2；其中分别测试了仅使用训练好的U-Net模块1的分割结果D1、仅使用训练好的U-Net模块2的分割结果D2、仅使用训练好的U-Net模块3的分割结果D3、基于U-Net的并行计算图像分割网络的分割结果D：
表4分别列出了本发明方法的各模块以及经模块融合后在AP、FPR、mIOU和pDR四个指标上的性能表现。从表4和图4可见，不同通道对于检测不同杂物以及同一杂物不同区域方面具有不同的作用。虽然经过模块融合的FPR略有所升高，但仅升高了1.08%，在可接受范围内。而通过融合模块，网络在pDR指标上得到了显著的提升，整体上提高了5.5%。这表明本发明设计的基于U-Net的并行计算图像分割网络在非烟杂物分割检测任务上表现出较好的性能。
表5分别列出了本发明方法中3个U-Net模块和基于U-Net的并行计算图像分割网络在测试数据集上的运行时间：
从表5可见本发明具备实时处理图像的能力，克服了现有基于高光谱的非烟杂物检测方法检测速度慢的问题。
综上所述，本发明设计了一种基于高光谱图像分割技术的非烟杂物检测方法，具体应用于烟叶复烤过程中碎烟回收的异物检测任务。其主要解决使用常规RGB相机难以检出与烟叶颜色相近的非烟杂物以及传统方法检测速度慢、检测率低和误检率高的难题。具体S如下：（1）高光谱图像数据采集及预处理；（2）数据集构建；（3）构建基于U-Net的图像分割网络；（4）利用训练集数据训练基于U-Net的图像分割网络；（5）构建基于U-Net的并行计算图像分割网络；（6）利用基于U-Net的并行计算图像分割网络进行非烟杂物检测；（7）输出分割检测结果。本发明合理构建了数据集，充分模拟了烟叶复烤环节中的碎烟回收场景，克服了现有方法所使用数据集构造过于简单的问题，便于模型的训练、测试以及后期部署；本发明设计了一种通道特征选择方式以减少光谱冗余度及计算量，同时3个独立的图像分割网络，具备并行处理高光谱图像数据的能力，从而大幅提高了检测速度，克服了现有基于高光谱的非烟杂物检测方法检测速度慢的问题；对于烟叶复烤过程中碎烟回收的非烟杂物检测任务，本发明是首个将深度学习技术和高光谱成像技术相结合的方法，相比于传统方法，其不需要手工设计特征，进一步提升了非烟杂物检测的准确率，降低了误检率，可拓展性强。
上述实施例仅是为了清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引伸出的显而易见的变化或变动，仍处于本发明的范围之内。

Claims (10)

1.一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于，包括如下步骤：
S1：数据采集及预处理：使用高光谱相机采集杂物和碎烟的高光谱图像并进行最大最小值归一化；
S2：构建非烟杂物数据集：对S1归一化后的高光谱图像进行图像分割并标注，并进行随机剪裁，再通过对高光谱图像中的通道进行特征选择并进行通道融合得到三通道图像和对应的标签图像；最后将所述三通道图像和对应的标签图像随机分配为训练集和测试集；
S3：构建基于U-Net的图像分割网络：构建用于光谱信息融合及空间纹理信息提取的U-Net模块，所述U-Net模块包含下采样的编码器、上采样的解码器和跨层连接部分；构建用于辅助训练U-Net编码器的判别器模块；
S4：用S2中所述训练集数据对基于U-Net的图像分割网络进行并行训练：
S5：构建基于U-Net的并行计算图像分割网络：所述并行计算图像分割网络由3个独立的U-Net模块和一个融合模块组成；
S51：将3个已经训练好的基于U-Net的图像分割网络中的判别器模块丢弃，仅保留U-Net模块，所述每个U-Net模块处理S2图像中的一个通道；
S52:构建用于融合分割结果的融合模块，所述融合模块将多个通道的信息合并，产生最终的分割结果；
S6：测试并评估结果：使用S2得到的测试集对S5构建的基于U-Net的并行计算图像分割网络进行测试并用图像分割的评价指标评估分割结果；
S61：将测试集中每一组测试数据中的3张三通道图像分别送入3个独立的U-Net模块得到分割结果，再将3个分割结果送入融合模块，得到最终的分割结果；
S62：利用图像分割的评价指标对分割结果进行评测。
2.根据权利要求1所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于， S1采集杂物和碎烟的高光谱图像的步骤为：
S11：将从生产线收集的各种杂物与碎烟充分混合，并摊薄置于传送带上，模拟实际生产场景；
S12：使用高光谱相机，预先采集黑帧 和白帧/>的高光谱数据/>其中，/>为/>的3维矩阵；h、w和c分别表示图像的长、宽和通道数；
S13：对采集到的高光谱数据进行黑白校正得到校正后的高光谱图像；
黑白校正的公式为：
（1）
其中，为图像的黑帧数据和/>为图像的白帧数据，I为高光谱数据，/>为/>的3维矩阵；h、w和c分别表示图像的长、宽和通道数。
3.根据权利要求1所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于， S2构建非烟杂物数据集的步骤为：
S21：对每一张高光谱图像进行人工图像分割标注，并对标注图像进行二值化处理，有杂物区域像素值置为1，其他区域像素值置为0，将标注图像保存为.png格式文件；
S22：设置随机种子，使用大小为512×512的窗口对预处理后的N张高光谱图像及其对应的标签图像进行10次随机裁剪，获得10×N张空间分辨率为512×512的高光谱图像及其对应的标签图像；
S23：对S22处理后的高光谱图像中的通道进行特征选择，每张高光谱图像选取固定的100个通道，并沿着光谱维将100个通道平均分为10组，每一组通道取一次平均值得到10张融合后的单通道图像；丢弃最后一个通道，每间隔两个通道合并一次，形成3张三通道图像；
S24：在10×N组数据中，每组数据都包含3张三通道图像和1张标签图像；
S25：设置随机种子，将S24中的10×N组数据随机分为训练集和测试集。
4.根据权利要求1所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于， S3使用基于U-Net框架逐步提取多尺度判别特征并进行融合。
5.根据权利要求1所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于， S3中下采样的编码器为经过ImageNet预训练的VGG-16网络、上采样的解码器结构是从第一个转置卷积层到输出图像；所述跨层连接部分连接下采样编码器和上采样解码器的中间特征。
6.根据权利要求1所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于， S4中进行所述并行训练的步骤为：
S41：分别针对判别器模块和U-Net模块设计损失函数并得到训练阶段使用的联合损失函数；
S42：将每一组训练集数据中的3张三通道图像分别送入3个独立的基于U-Net的图像分割网络并共用每一组的标注图像进行有监督并行训练。
7.根据权利要求6所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于，所述判别器模块对应的损失函数为：
（2）
其中，IGT是标签值，图像包含杂物则置为1，否则置为0；是判别器模块的输出，它的取值范围是/>，表示当前图片包含杂物的概率。
8.根据权利要求6所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于，所述U-Net模块对应的损失函数为：
（3）
其中，y是标签图像，是U-Net模块的输出。
9.根据权利要求6所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于，训练阶段使用联合损失函数为：
（4）
其中和/>是两个超参数；/>表示U-Net模块对应的损失函数；/>表示所述判别器模块对应的损失函数；优化目标是最小化L。
10.根据权利要求1或9所述的一种基于高光谱图像分割技术的非烟杂物检测方法，其特征在于， S62中所述图像分割的评价指标包括：平均准确率指标，误检率指标，平均交并比指标。
CN202410082853.8A 2024-01-19 2024-01-19 一种基于高光谱图像分割技术的非烟杂物检测方法 Active CN117611828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410082853.8A CN117611828B (zh) 2024-01-19 2024-01-19 一种基于高光谱图像分割技术的非烟杂物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410082853.8A CN117611828B (zh) 2024-01-19 2024-01-19 一种基于高光谱图像分割技术的非烟杂物检测方法

Publications (2)

Publication Number Publication Date
CN117611828A CN117611828A (zh) 2024-02-27
CN117611828B true CN117611828B (zh) 2024-05-24

Family

ID=89951997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410082853.8A Active CN117611828B (zh) 2024-01-19 2024-01-19 一种基于高光谱图像分割技术的非烟杂物检测方法

Country Status (1)

Country Link
CN (1) CN117611828B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法
CN110542658A (zh) * 2019-09-10 2019-12-06 中国烟草总公司郑州烟草研究院 一种基于高光谱成像技术的烟草非烟物质分类方法
CN110910413A (zh) * 2019-11-28 2020-03-24 中国人民解放军战略支援部队航天工程大学 一种基于U-Net的ISAR图像分割方法
CN113221943A (zh) * 2021-04-01 2021-08-06 中国科学技术大学先进技术研究院 一种柴油车黑烟图像识别方法、系统及存储介质
CN113533220A (zh) * 2021-07-25 2021-10-22 吉林大学 一种基于高光谱成像技术的煤炭种类识别方法
CN114266786A (zh) * 2021-12-21 2022-04-01 北京工业大学 基于生成对抗网络的胃病变分割方法及系统
KR102416714B1 (ko) * 2022-03-10 2022-07-05 서울대학교 산학협력단 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN116075831A (zh) * 2020-08-18 2023-05-05 安捷伦科技有限公司 用于深度学习图像分析和虚拟染色的生物样本的组织染色和连续成像
CN116740119A (zh) * 2023-06-09 2023-09-12 河海大学 一种基于深度学习的烟叶图像活动轮廓分割方法
CN116849612A (zh) * 2023-07-07 2023-10-10 广东省新黄埔中医药联合创新研究院 一种多光谱舌象图像采集分析系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023004032A1 (en) * 2021-07-22 2023-01-26 Cape Analytics, Inc. System and method for occlusion correction
US20240013531A1 (en) * 2022-06-14 2024-01-11 University Of South Florida Automatic detection of sea floating objects from satellite imagery

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法
CN110542658A (zh) * 2019-09-10 2019-12-06 中国烟草总公司郑州烟草研究院 一种基于高光谱成像技术的烟草非烟物质分类方法
CN110910413A (zh) * 2019-11-28 2020-03-24 中国人民解放军战略支援部队航天工程大学 一种基于U-Net的ISAR图像分割方法
CN116075831A (zh) * 2020-08-18 2023-05-05 安捷伦科技有限公司 用于深度学习图像分析和虚拟染色的生物样本的组织染色和连续成像
CN113221943A (zh) * 2021-04-01 2021-08-06 中国科学技术大学先进技术研究院 一种柴油车黑烟图像识别方法、系统及存储介质
CN113533220A (zh) * 2021-07-25 2021-10-22 吉林大学 一种基于高光谱成像技术的煤炭种类识别方法
CN114266786A (zh) * 2021-12-21 2022-04-01 北京工业大学 基于生成对抗网络的胃病变分割方法及系统
KR102416714B1 (ko) * 2022-03-10 2022-07-05 서울대학교 산학협력단 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN116740119A (zh) * 2023-06-09 2023-09-12 河海大学 一种基于深度学习的烟叶图像活动轮廓分割方法
CN116849612A (zh) * 2023-07-07 2023-10-10 广东省新黄埔中医药联合创新研究院 一种多光谱舌象图像采集分析系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Complex Habitats Deconstruction and Low Altitude Remote Sensing Recognition of Tobacco Cultivation on Karst Mountainous";Youyan Huang等;《Preprints.org》;20240116;第1-19页 *
"Online small-object anti-fringe sorting of tobacco stem impurities based on hyperspectral superpixels";Zhenye Li等;《ELSEVIER》;20230628;第1-13页 *
"Tobacco Impurities Detection with Deep Image Segmentation Method on Hyperspectral Imaging";Linruize Tang等;《IEEE》;20240129;第1-5页 *
"基于机器学习的烟叶品质特征提取与应用研究";郭文孟等;《万方》;20230901;第1-84页 *
"高光谱成像技术在烟叶和杂物分类中的应用";张龙等;《烟草科技》;20200831;第72-78页 *

Also Published As

Publication number Publication date
CN117611828A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
Pang et al. Improved crop row detection with deep neural network for early-season maize stand count in UAV imagery
Petrellis A smart phone image processing application for plant disease diagnosis
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN113657294B (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
CN108090447A (zh) 双分支深层结构下的高光谱图像分类方法及装置
Ninomiya High-throughput field crop phenotyping: current status and challenges
Yang et al. Automatic detection of multi-type defects on potatoes using multispectral imaging combined with a deep learning model
Ji et al. In-field automatic detection of maize tassels using computer vision
Tang et al. Apple bruise grading using piecewise nonlinear curve fitting for hyperspectral imaging data
CN110555395A (zh) 一种油菜冠层氮素含量等级分类评估方法
CN110827273A (zh) 一种基于区域卷积神经网络的茶叶病害检测方法
CN108898156A (zh) 一种基于高光谱图像的绿色青椒识别方法
CN111340019A (zh) 基于Faster R-CNN的粮仓害虫检测方法
CN114841961A (zh) 基于图像增强和改进YOLOv5的小麦赤霉病检测方法
CN114202643A (zh) 基于多传感融合的苹果叶部病害识别终端及方法
Olenskyj et al. End-to-end deep learning for directly estimating grape yield from ground-based imagery
CN114965346A (zh) 基于深度学习和高光谱成像技术的猕猴桃品质检测方法
CN117611828B (zh) 一种基于高光谱图像分割技术的非烟杂物检测方法
CN116091940B (zh) 一种基于高分辨率卫星遥感影像的作物分类和识别方法
Zhu et al. Detection of fungal infection in apple using hyperspectral transformation of RGB images with kernel regression
CN116385717A (zh) 叶面病害识别方法、装置、电子设备、存储介质及产品
Liu et al. Learning an optical filter for green pepper automatic picking in agriculture
Yang et al. Immature Yuzu citrus detection based on DSSD network with image tiling approach
CN115100533A (zh) 荔枝成熟度识别模型的训练及使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant