CN115128033A - 烟叶检测方法、装置和系统、存储介质 - Google Patents

烟叶检测方法、装置和系统、存储介质 Download PDF

Info

Publication number
CN115128033A
CN115128033A CN202210778908.XA CN202210778908A CN115128033A CN 115128033 A CN115128033 A CN 115128033A CN 202210778908 A CN202210778908 A CN 202210778908A CN 115128033 A CN115128033 A CN 115128033A
Authority
CN
China
Prior art keywords
tobacco leaf
tobacco
image
detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210778908.XA
Other languages
English (en)
Inventor
郭峰
罗旻晖
李楠
吴国忠
陈谐飞
陈佳旭
邓铠彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Tobacco Industry Co Ltd
Original Assignee
Xiamen Tobacco Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Tobacco Industry Co Ltd filed Critical Xiamen Tobacco Industry Co Ltd
Priority to CN202210778908.XA priority Critical patent/CN115128033A/zh
Publication of CN115128033A publication Critical patent/CN115128033A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Immunology (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)

Abstract

本公开涉及一种烟叶检测方法、装置和系统、存储介质。该烟叶检测方法包括：获取烟叶样本，其中，烟叶样本包括近红外光谱仪采集的同一烟叶上多个点的近红外光谱值、和相机采集的同一烟叶的图像；对烟叶样本进行标定；提取烟叶样本图像特征值；建立烟叶检测模型；实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶，其中，异常烟叶包括霉变烟叶和含杂物烟叶中的至少一种。本公开可以基于光谱加机器视觉检测能够对霉变烟叶进行表面检测，由此可以实现对烟叶霉变的快速检测。

Description

烟叶检测方法、装置和系统、存储介质
技术领域
本公开涉及烟叶检测领域，特别涉及一种烟叶检测方法、装置和系统、存储介质。
背景技术
烟叶作为一种特殊的叶用植物，烟叶霉变是烟叶受霉菌污染的结果。霉菌广泛存在于自然界的空气中，以及烟叶、烟丝上。烟叶中的霉菌只要碰到适宜它生长繁殖的温湿度条件，就会加快生长和繁殖速度，造成烟叶霉变,并迅速蔓延。当烟叶霉变时，霉菌摄取烟叶中的营养物质,破坏其组织结构，分解烟叶的成分,并释放出难闻的气体，致使烟叶彻底失去了使用价值,给卷烟工业企业造成不可挽回的经济损失。同时，从卷烟安全性考虑，霉菌代谢产物中黄曲霉素等霉菌毒素具有极强的致癌性，对人类健康产生危害。
发明内容
发明人通过研究发现：相关技术对烟草霉变的检验主要是通过感官检验、感官评吸法以及微生物计数法。由于原料供给方在较长的储存时间内，不能保证未解包的原料内在质量是否发生霉变。烟叶质量直接影响成品烟质量，在制丝过程中，霉变烟叶如果没有被准确剔除而流入下游工序，会严重影响卷烟成品质量，给消费者带来不良体验。
鉴于以上技术问题中的至少一项，本公开提供了一种烟叶检测方法、装置和系统、存储介质，可以实现对烟包中霉变和异物的检测，可以保证产品质量。
根据本公开的一个方面，提供一种烟叶检测方法，包括：
获取烟叶样本，其中，烟叶样本包括近红外光谱仪采集的同一烟叶上多个点的近红外光谱值、和相机采集的同一烟叶的图像；
对烟叶样本进行标定；
提取烟叶样本图像特征值；
建立烟叶检测模型；
实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶，其中，异常烟叶包括霉变烟叶和含杂物烟叶中的至少一种。
在本公开的一些实施例中，所述对烟叶样本进行标定包括：
将烟叶样本标定为正常烟叶和异常烟叶。
在本公开的一些实施例中，所述获取烟叶样本包括：
通过近红外光谱仪采集同一烟叶上多个点的近红外光谱值；
通过相机采集同一烟叶的图像；
将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；
对有效烟丝图像进行增强处理,增强霉变或杂物目标特征，得到烟丝增强图像。
在本公开的一些实施例中，所述提取烟叶样本图像特征值包括：
将从各烟叶样本的基础光谱信息中筛选出各烟叶样本对霉变或含杂物判别影响大于预定值的特征波长；
对图像特征和近红外光谱进行降维处理得到烟叶特征；
将烟叶特征进行融合并采用归一化方法进行处理。
在本公开的一些实施例中，所述建立烟叶检测模型包括：
创建烟叶检测模型并将烟叶样本分为训练集和验证集，对烟叶检测模型进行训练和分类以构建烟叶检测模型；
将经融合的预分类烟叶特征导入烟叶检测模型进行判别以输出判断结果。
在本公开的一些实施例中，所述建立烟叶检测模型包括：
对归一化的样本数据构建分类判别模型；
使用交互验证法优化分类判别模型的多层神经元数；
将处理后的烟叶样本划分为训练集和验证集；
使用训练集对分类判别模型进行独立训练，建立数据和类的关系；
使用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别；
将分类判别模型的输出分为正常烟叶和异常烟叶，完成烟叶检测模型的构建；
将经融合的预分类烟叶特征导入建立的烟叶检测模型中进行判别，输出烟叶是否发生正常的判断结果。
在本公开的一些实施例中，所述实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶包括：
对实时在线检测的烟叶样本进行近红外光谱采集和图像特征提取；
使用通过训练后的烟叶检测模型预测所述烟叶样本的异常情况；
根据模型预测值实现对实时在线生成过程中的烟叶进行异常判断。
在本公开的一些实施例中，所述建立烟叶检测模型包括：
采用规则检测模型基于规则进行异常初步检测，其中，异常包括霉变和含杂物中的至少一种；
基于初步检测结果，采用深度学习模型进一步检测判断烟叶是否存在异常；
根据规则检测结果与深度学习模型结果，综合判断是否存在烟叶异常。
在本公开的一些实施例中，所述采用规则检测模型基于规则进行异常初步检测包括：
将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；
根据烟叶异常图像的表现特点，设计图像分割规则；
采用图像分割将烟叶图像阵列分解成多个互不交叠的区域，其中，每一个区域内部的某种特性或特征相同或接近，而不同区域间的图像特征则有明显差别；
获取图像分割后的烟叶图像，根据烟叶形状判断烟叶是否发生异常。
在本公开的一些实施例中，所述采用深度学习模型进一步检测判断烟叶是否存在异常包括：
采用深度学习图像分类模型和深度学习语义分割模型中的至少一种判断烟叶是否存在异常。
在本公开的一些实施例中，所述采用深度学习图像分类模型判断烟叶是否存在异常包括：
在训练阶段，对原始图像进行切片；
对每个小片图片进行打标分类之后，输入深度学习图像分类模型进行训练；
在检测阶段，对实时图像切片，基于训练后的深度学习图像分类模型对实时图像切片后小片进行分类判断。
在本公开的一些实施例中，所述采用深度学习语义分割模型判断烟叶是否存在异常包括：
将烟叶图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，得到一幅具有逐像素语义标注的分割图像；
基于深度学习语义分割模型对实时图像每个像素进行分类判断。
根据本公开的另一方面，提供一种烟叶检测装置，包括：
烟叶样本获取模块，用于获取烟叶样本；
烟叶样本标定模块，用于对烟叶样本进行标定；
图像特征提取模块，用于提取烟叶样本图像特征值；
检测模型建立模块，用于建立烟叶检测模型；
烟叶检测模块，用于实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶。
在本公开的一些实施例中，所述烟叶检测装置用于执行实现如上述任一实施例所述方法的操作。
根据本公开的另一方面，提供一种烟叶检测装置，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述烟叶检测装置执行实现如上述任一实施例所述方法的操作。
根据本公开的另一方面，提供一种烟叶检测系统，包括烟叶检测机构和如上述任一实施例所述的烟叶检测装置。
在本公开的一些实施例中，烟叶检测机构包括光源、相机、近红外光谱仪，其中：
近红外光谱仪，用于采集同一烟叶上多个点的近红外光谱值；
相机，用于采集同一烟叶的图像；
烟叶检测装置，用于获取近红外光谱仪采集的近红外光谱值和相机采集的图像，并根据近红外光谱仪采集的近红外光谱值和相机采集的图像，判断当前烟叶是否为异常烟叶。
根据本公开的另一方面，提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的方法。
本公开可以基于光谱加机器视觉检测能够对霉变烟叶进行表面检测，由此可以实现对烟叶霉变的快速检测。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开烟叶检测系统一些实施例的示意图。
图2是本公开一些实施例中烟包上、下、前、后、左、右6个面进行检测的示意图。
图3是本公开一些实施例中烟叶检测机构内部结构的示意图。
图4是本公开一些实施例中烟叶检测机构光学器件的示意图。
图5为本公开烟叶检测方法一些实施例的示意图。
图6为本公开烟叶检测方法另一些实施例的示意图。
图7为本公开烟叶检测方法又一些实施例的示意图。
图8为本公开烟叶检测装置一些实施例的示意图。
图9为本公开烟叶检测装置另一些实施例的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人通过研究发现：相关技术制丝生产过程中通过人工检测的方式效率低、漏检测风险高。相关技术人工检测的方式存在两点问题：一是如果需要对烟包六个面进行霉变和杂物检测至少需要3个工位完成，人力消耗大；二是人工长时间工作容易造成视觉疲劳，增大对小面积霉变或杂物的漏检测风险。
鉴于以上技术问题中的至少一项，本公开提供了一种烟叶检测方法、装置和系统、存储介质，下面通过具体实施例对本公开进行说明。
图1为本公开烟叶检测系统一些实施例的示意图。如图1所示，本公开烟叶检测系统可以包括烟叶检测机构100和烟叶检测装置200，其中，烟叶检测机构100可以包括光源110、相机120、近红外光谱仪130，其中：
近红外光谱仪130，用于采集同一烟叶上多个点的近红外光谱值。
相机120，用于采集同一烟叶的图像。
烟叶检测装置200，用于获取近红外光谱仪130采集的近红外光谱值和相机120采集的图像，并根据近红外光谱仪130采集的近红外光谱值和相机120采集的图像，判断当前烟叶是否为异常烟叶。
在本公开的一些实施例中，烟叶检测装置200，可以用于获取烟叶样本，其中，烟叶样本包括近红外光谱仪130采集的同一烟叶上多个点的近红外光谱值、和相机120采集的同一烟叶的图像；对烟叶样本进行标定；提取烟叶样本图像特征值；建立烟叶检测模型；实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶，其中，异常烟叶包括霉变烟叶和含杂物烟叶中的至少一种。
在本公开的一些实施例中，本公开的检测目标为正常烟叶和霉变烟叶在特定区间光谱下的波段反射率差异，寻得对比度较好的波段图像，定制对应波段的带通滤波片阻断干扰频率进行辅助成像，可清晰分辨出霉变烟叶。
在本公开的一些实施例中，本公开选在300nm-800nm波段光照下，对比霉变物质(霉菌)和烟叶对光的吸收率曲线，取得对比度较好(吸收反射差异最大)的波段范围。
在本公开的一些实施例中，定制该波段的带通滤波片阻断干扰频率进行辅助成像，滤波片安装在CCD(Charge-coupled Device，电荷耦合元件)或镜头前。
在本公开的另一些实施例中，也可通过定制光源可实现，效果一致。
在本公开的另一些实施例中，在制丝生产线叶片段解包前后安装检测工位/场景，加装机器视觉相机及近红外光谱仪，构建在复杂环境条件下的光谱图像采集系统，通过300nm-800nm波段近红外光谱仪采集同一烟叶上多个点的近红外光谱值和通过摄像机采集同一烟叶的图像。由于正常烟叶和霉变烟叶在光谱下的波段反射率差异，本公开可以寻得对比度较好的波段图像，定制对应波段的带通滤波片阻断干扰频率进行辅助成像，可清晰分辨出霉变烟叶。
图2是本公开一些实施例中烟包上、下、前、后、左、右6个面进行检测的示意图。本公开要求对烟包上、下、前、后、左、右6个面进行检测，需分别进行拍摄成像。如图2所示，设计分为3个工位，都位于叶片解包输送机上，由于叶片解包输送机运行速度较慢，都有到位检测光电管控制启停。拍照过程并不会因为烟包抖动造成拖影、模糊，所以不需要叶片解包输送机做过多时长停留配合。
(1)在烟包进入翻转机之前进料穿梭车工位，此时机器人己完成上表面纸、塑料袋拆除工作，该工位安装1个相机，在烟包上方，拍摄为烟包上表面。
(2)待烟包翻转完成并且底部包装被拆除后进入出料穿梭车工位，该工位安装2个相机，分别设置在出料穿梭车工位左、右两侧，拍摄分别为烟包左、右两面。
(3)在烟包转向进入切片工序前，在切片前接料输送机工位，该工位安装3个相机，分别在接料输送机左、右、上，由于烟包已转向并已翻转，所以拍摄分别为烟包前、后、下三面；
(4)结合三个工位完成6个面拍摄之后进行图像处理操作，在烟包进入切片工序前完成数据的采集、处理、分析识别及结果输出。
本公开测试过程中，需要根据现场实际情况，对烟包做不同光源、不同角度的成像测试，由于目标物尺寸较大，景深限制导致单相机对三个面一起成像效果不佳，不能保证视野内目标物所有位置的精度，侧面远端不能清晰成像，这种成像效果下算法无法对小面积霉变或杂物进行识别。
为了保证清晰成像，本公开选择对目标物长方形烟包每个表面单独正面拍摄，在不妨碍目标物运动的前提下，最终选择3个工位完成对6个面的成像，分别位于拆除上表面包装后横向移动时、拆除所有包装后横行移动时和进入切边前纵向移动时，工位如图2所示。
本公开方案在测试环境下采用特定光源可对大于1mm的霉变烟叶情况清晰成像，为算法检出提供了必要条件。如需更高精度的检测，该方法可通过提高相机像素即可解决。
图3是本公开一些实施例中烟叶检测机构内部结构的示意图。图4是本公开一些实施例中烟叶检测机构光学器件的示意图。如图3和图4所示，本公开烟叶检测机构包括光源、光源固定支架、背光源、2D相机、镜头、2D相机固定支架。图3和图4为图1中第二工位，即，待烟包翻转完成并且底部包装被拆除后进入出料穿梭车工位，该工位安装2个相机，分别设置在出料穿梭车工位左、右两侧，拍摄分别为烟包左、右两面。
在本公开的一些实施例中，烟叶检测装置200还可以用于对缺陷图像进行分类存储，方便追溯。
在本公开的一些实施例中，烟叶检测装置200还可以用于将图像处理结果进行实时展示，霉变烟叶图像发出报警。
在本公开的一些实施例中，烟叶检测装置200还可以用于根据烟叶霉变检测结果，系统报警或发送异常信号给控制系统，以便控制系统将根据收到的信号，向输送线设备发出控制指令将穿梭车移动至人工检查工位及产生报警提示，避免不合格烟包进入下道工序。
本公开上述实施例在产线合适的地方加装机器检测。本公开上述实施例在不对其他工序造成影响的前提下对该工序进行优化提升，主要表现为两个方面：一是节约人力成本，本公开上述实施例研究成果可代替人工目检，降低人力成本；二是本公开上述实施例可以提高霉变和杂物的检出效率、降低漏检测风险，从而提高烟丝质量。
图5为本公开烟叶检测方法一些实施例的示意图。优选的，本实施例可由本公开烟叶检测装置或本公开烟叶检测系统执行。该方法可以包括步骤51-步骤55中的至少一个步骤，其中：
步骤51，获取烟叶样本，其中，烟叶样本包括近红外光谱仪130采集的同一烟叶上多个点的近红外光谱值、和相机120采集的同一烟叶的图像。
在本公开的一些实施例中，步骤51可以包括：通过近红外光谱仪130采集同一烟叶上多个点的近红外光谱值；通过相机120采集同一烟叶的图像；将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；对有效烟丝图像进行增强处理,增强霉变或杂物目标特征，得到烟丝增强图像。
在本公开的一些实施例中，步骤51可以包括：霉变烟叶样本的采集。
在本公开的一些实施例中，霉变烟叶检测机构主要由光源、相机、近红外光谱仪构成,光源照射烟包表面上，相机采集烟叶图像传输到图像处理机构，图像处理机构处理图像数据。
在本公开的一些实施例中，步骤51可以包括：通过300nm-800nm波段近红外光谱仪采集同一烟叶上多个点的近红外光谱值和通过摄像机采集同一烟叶的图像；将采集到的烟丝图像进行预处理，得到有效烟丝图像，对有效烟丝图像进行增强处理,得到烟丝增强图像。
步骤52，对烟叶样本进行标定。
在本公开的一些实施例中，步骤52可以包括：将烟叶样本标定为正常烟叶和异常烟叶。
在本公开的一些实施例中，步骤52可以包括：霉变烟叶样本的标定。
在本公开的一些实施例中，步骤52可以包括：通过近红外光谱分析仪分别采集各个样本的近红外光谱，作为各烟叶样本的基础光谱信息，该光谱能够反映霉变烟叶的整体化学信息；近红外光谱仪和摄像机采集烟叶的近红外光谱值及图像；将采集图像去除背景并降噪，计算烟叶近红外光谱点的平均值并消除烟叶颗粒分布不均对平均值的影响。
步骤53，提取烟叶样本图像特征值。
在本公开的一些实施例中，步骤53可以包括：将从各烟叶样本的基础光谱信息中筛选出各烟叶样本对霉变或含杂物判别影响大于预定值的特征波长；对图像特征和近红外光谱进行降维处理得到烟叶特征；将烟叶特征进行融合并采用归一化方法进行处理。
在本公开的一些实施例中，步骤53可以包括：首先进行原始光谱的特征波长提取：应用优劣比值法从各烟叶样本的基础光谱信息中筛选出各烟叶样本对霉变判别贡献大的特征波长；然后对图像特征和近红外光谱降维处理得到主要特征；将主要特征进行融合并采用归一化方法处理；创建分级模型并将样本分为训练集和验证集，对模型进行训练和分类以构建模型；将经融合的预分类烟叶特征导入分类模型进行判别以输出判定结果。
步骤54，建立烟叶检测模型。
在本公开的一些实施例中，步骤54可以包括：创建烟叶检测模型并将烟叶样本分为训练集和验证集，对烟叶检测模型进行训练和分类以构建烟叶检测模型；将经融合的预分类烟叶特征导入烟叶检测模型进行判别以输出判断结果。
在本公开的一些实施例中，步骤54可以包括：对归一化的样本数据构建分类判别模型；使用交互验证法优化分类判别模型的多层神经元数；将处理后的烟叶样本划分为训练集和验证集；使用训练集对分类判别模型进行独立训练，建立数据和类的关系；使用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别；将分类判别模型的输出分为正常烟叶和异常烟叶，完成烟叶检测模型的构建；将经融合的预分类烟叶特征导入建立的烟叶检测模型中进行判别，输出烟叶是否发生正常的判断结果。
在本公开的一些实施例中，步骤54可以包括：采用ELM(Extreme LearningMachine,极限学习机)方法对归一化的样本数据构建分类判别模型，使用交互验证法优化分类判别模型需要的多层神经元数，将处理后的烟叶样本划分为训练集和验证集，使用训练集对分类判别模型进行独立训练，建立数据和类的关系，再用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别，最后将分类判别模型的输出分为正常烟叶和霉变烟叶两类，完成分类模型的构建；将经融合的预分类烟叶特征导入建立的分类模型中进行判别，输出烟叶是否发生霉变判定结果。
在本公开的一些实施例中，步骤54可以包括：进行光谱技术和机器视觉融合并采用归一化方法处理；创建分级模型并将样本分为训练集和验证集，对模型进行训练和分类以构建模型；将经融合的预分类烟叶特征导入分类模型进行判别以输出判定结果；工作人员根据输出的判定结果，识别烟叶是否发生霉变。
步骤55，实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶，其中，异常烟叶包括霉变烟叶和含杂物烟叶中的至少一种。
在本公开的一些实施例中，步骤55可以包括：对实时在线检测的烟叶样本进行近红外光谱采集和图像特征提取；使用通过训练后的烟叶检测模型预测所述烟叶样本的异常情况；根据模型预测值实现对实时在线生成过程中的烟叶进行异常判断。
在本公开的一些实施例中，步骤55可以包括：对实时在线检测的烟叶样本进行近红外光谱采集和图像特征提取，再用通过有效性验证的模型预测该烟叶样本的霉变情况，根据模型预测值实现对实时在线生成过程中的烟叶进行霉变的判定。
在本公开的一些实施例中，步骤55可以包括：对实时在线检测的烟叶样本进行近红外光谱采集和图像特征提取，再用通过有效性验证的模型预测该烟叶样本的霉变情况,根据模型预测值实现对实时在线生成过程中的烟叶进行霉变的判定。本公开通过3个工位结合合理设计，可实现对烟包上、下、前、后、左、右、6个面霉变情况检测。
测试结果表明，本公开判别准确率可达95.8％。应用本公开方法可实现烟叶霉变初期的快速、准确预测，消除霉变的质量隐患，保证产品质量、提高生产线的智能实时在线自动检测技术水平。
本公开的目的是提供一种基于光谱加机器视觉能够对霉变烟叶的表面检测方法，以解决现有条件下烟叶霉变检测时间长，难以对烟叶霉变情况进行有效剔除的技术问题。
本公开在烟包解包后的输送机工位上增加光谱加机器视觉检测装置，可对大于1mm的霉变烟叶进行检出。
图6为本公开烟叶检测方法另一些实施例的示意图。优选的，本实施例可由本公开烟叶检测装置或本公开烟叶检测系统执行。该方法可以包括步骤61-步骤68中的至少一个步骤，其中：
步骤61，进行外包装切割。
步骤62，拆除烟包外包装。
在本公开的一些实施例中，步骤62可以包括：在烟包进入翻转机之前进料穿梭车工位，此时机器人己完成上表面纸箱、塑料袋拆除工作。
步骤63，采用CCD拍摄烟包表面。
在本公开的一些实施例中，步骤63可以包括：将高清相机采集的烟包各表面图像保存到霉变及杂物样品库。
步骤64，将CCD拍摄的烟包表面发送到霉变或杂物识别系统。
在本公开的一些实施例中，步骤64可以包括：通过与信息交互系统高一级原料配方信息化系统进行交互，调度算法，对图像进行缺陷检测、标记；对缺陷图像进行分类存储，方便追溯。
步骤65，霉变或杂物识别系统判断当前烟包是否存在异常。若当前烟包存在异常，则执行步骤67；否则，若当前烟包不存在异常，则执行步骤66。
步骤66，进入下一个工序。
步骤67，根据烟叶霉变检测结果，系统报警或发送异常信号给控制系统，控制系统将根据收到的信号，向输送线设备发出控制指令。
步骤68，将穿梭车移动至人工检查工位及产生报警提示，避免不合格烟包进入下道工序。
本公开上述实施例可以对图像处理结果进行实时展示，针对霉变烟叶图像发出报警。
本公开上述实施例基于机器视觉的在线烟包霉变与杂物检测方法，可以通过机器视觉和光谱技术检测烟包图像，智能检出烟包霉变与杂物并实时报警，从而降低了人工操作强度，提高了检测效率，降低了质量控制风险。
本公开上述实施例建立了离线人工智能识别模型，以解包后的烟包图像为研究对象，研究并实现霉变与杂物的准确检出算法，训练霉变及杂物检测模型用于在线部署。此外，本公开上述实施例通过不断累积的霉变、杂物图像，更新模型，提高了识别准确性。
本公开上述实施例可以实现实时在线检测，基于离线训练模型对霉变烟叶及杂物进行实时检测。本公开上述实施例开发了高效的实时检测功能，将霉变及杂物实时检测结果实时输出，出现霉变烟叶第一时间进行报警。同时，本公开上述实施例积累图像数据库，为进一步优化检测模型提供了数据基础。
图7为本公开烟叶检测方法又一些实施例的示意图。优选的，本实施例可由本公开烟叶检测装置或本公开烟叶检测系统执行。该方法可以包括步骤71-步骤78中的至少一个步骤，其中：
步骤71，通过图像采集获取烟叶样本，其中，烟叶样本包括近红外光谱仪130采集的同一烟叶上多个点的近红外光谱值、和相机120采集的同一烟叶的图像。
在本公开的一些实施例中，步骤71可以包括：在采集到烟叶高分辨率图像后，系统首先对烟叶图像进行预处理，降低图像噪声，增强霉变或杂物目标特征。因烟叶霉变特征不明显，形态与烟包较为接近，可能对传统算法造成一些干扰，本公开算法模型使用了级联检测结构，包括规则检测和深度学习模型检测两部分内容。
步骤72，采用规则检测模型基于规则进行异常初步检测，其中，异常包括霉变和含杂物中的至少一种。
在本公开的一些实施例中，步骤72可以包括：将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；根据烟叶异常图像的表现特点，设计图像分割规则；采用图像分割将烟叶图像阵列分解成多个互不交叠的区域，其中，每一个区域内部的某种特性或特征相同或接近，而不同区域间的图像特征则有明显差别；获取图像分割后的烟叶图像，根据烟叶形状判断烟叶是否发生异常。
本公开基于规则的表面缺陷检测技术，主要是根据烟叶霉变建立特定的检测规则，这是工业机器视觉检测常用的检测方法，一般包含图像预处理、图像分割及形状特征选择三个步骤。
在本公开的一些实施例中，现场采集的烟叶图像通常包含噪声，图像预处理主要目的是减少噪声，改善图像的质量，使之更适合人眼的观察或机器的处理。
在本公开的一些实施例中，图像分割是为了把烟叶图像阵列分解成若干个互不交叠的区域，每一个区域内部的某种特性或特征相同或接近，而不同区域间的图像特征则有明显差别。
在本公开的一些实施例中，算法根据烟叶霉变图像的表现特点，设计图像分割规则，从而获取到分割后的烟叶图像，最终根据烟叶霉变的形状判定是否霉变。
步骤73，根据烟叶形状判断烟叶是否发生异常。在烟叶异常的情况下，执行步骤74；否则，在烟叶正常的情况下，执行步骤75。
步骤74，模型检测结束，报警并保存异常烟叶图片(例如霉变或含杂物烟叶图片)。
步骤75，基于初步检测结果，执行深度学习检测。
步骤76，采用深度学习模型进一步检测判断烟叶是否存在异常。在烟叶异常的情况下，执行步骤77；否则，在烟叶正常的情况下，执行步骤78。
在本公开的一些实施例中，步骤76中，所述采用深度学习模型进一步检测判断烟叶是否存在异常的步骤可以包括：采用深度学习图像分类模型和深度学习语义分割模型中的至少一种判断烟叶是否存在异常。
本公开上述实施例采用深度学习模型检测烟叶霉变。图像中烟叶霉变特征不明显，使用深度学习图像分类模型不能达到预期的检测标准，语义分割则表现出色。
在本公开的一些实施例中，图像分类与语义分割是在算法中使用的两种深度学习方法，语义分割由于需要对每个像素进行分类，相对速度较低，但也可以满足现场节拍要求。随着样本的丰富，图像分类在霉变检测方面的表现也会有较好的提升。
在本公开的一些实施例中，所述采用深度学习图像分类模型判断烟叶是否存在异常的步骤可以包括：在训练阶段，对原始图像进行切片；对每个小片图片进行打标分类之后，输入深度学习图像分类模型进行训练；在检测阶段，对实时图像切片，基于训练后的深度学习图像分类模型对实时图像切片后小片进行分类判断。
在本公开的一些实施例中，本公开深度学习图像分类模型分为训练和检测两个阶段。在训练阶段，首先对原图图片切片，对原始图像切片为64*64(根据分类网络调整)，然后对每个小片图片进行打标分类(正常、霉变)之后输入模型进行训练，输出分类检测模型。在检测阶段，对实时图像切片，基于训练模型对实时图像切片后小片进行分类判断。
在本公开的一些实施例中，所述采用深度学习语义分割模型判断烟叶是否存在异常可以包括：将烟叶图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，得到一幅具有逐像素语义标注的分割图像；基于深度学习语义分割模型对实时图像每个像素进行分类判断。
在本公开的一些实施例中，本公开深度学习语义分割模型分为训练和检测两个阶段。在训练阶段，由于霉变表现形式小且分散，人工打标难度大且准确率低，所以先对原图使用传统算法处理得出标签图。在检测阶段，基于训练模型对实时图像每个像素进行分类判断。
在本公开的一些实施例中，本公开语义分割训练阶段打标方式有两种：一是人工打标；二是使用传统算法得出初始标签图，再通过人工修正得到最终清洗后的打标数据。
在本公开的一些实施例中，本公开语义分割结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。
在本公开的一些实施例中，语义分割算法包括：基于全卷积的对称语义分割模型、基于全卷积的扩张卷积语义分割模型、基于全卷积的残差网络语义分割模型和基于全卷积的GAN(Generative Adversarial Networks，生成式对抗网络)语义分割模型。
由于烟叶霉变特征比较分散且面积较小，本公开选用语义分割深度学习模型检测主要使用基于全卷积的对称语义分割模型，逐个像素识别烟叶霉变特征，满足霉变特征的像素准确打标训练，实时检测时逐像素识别检出霉变区域。
步骤77，模型检测结束，报警并保存异常烟叶图片(例如霉变或含杂物烟叶图片)。
步骤78，检测下一帧的烟叶图像。
发明人在实验中发现，本公开使用图像分类方法检测杂物已经达到比较理想的效果，但烟叶霉变特征不明显；所以使用图像分类方式并没有达到预期的检测标准，但对于烟叶霉变特征，使用语义分割则表现出色，达到比较理想的效果。
本公开上述实施例语义分割由于需要对每个像素进行分类，相对速度较低，但也可以满足现场节拍要求，具体选择需要更多的样本支撑，随着样本的丰富，图像分类在霉变检测方面的表现也会有较大的提升。
本公开上述实施例的方法所建立的模型能够快速、准确的对霉变初期的烟叶进行预测。与相关技术相比，本公开上述实施例的样本无需复杂的前处理、检测速度快、操作简单方便、预测准确率高。
图8为本公开烟叶检测装置一些实施例的示意图。如图8所示，本公开烟叶检测装置200可以包括烟叶样本获取模块210、烟叶样本标定模块220、图像特征提取模块230、检测模型建立模块240和烟叶检测模块250，其中：
烟叶样本获取模块210，用于获取烟叶样本。
在本公开的一些实施例中，烟叶样本获取模块210，可以用于通过近红外光谱仪130采集同一烟叶上多个点的近红外光谱值；通过相机120采集同一烟叶的图像；将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；对有效烟丝图像进行增强处理,增强霉变或杂物目标特征，得到烟丝增强图像。
烟叶样本标定模块220，用于对烟叶样本进行标定。
在本公开的一些实施例中，烟叶样本标定模块220，可以用于将烟叶样本标定为正常烟叶和异常烟叶。
图像特征提取模块230，用于提取烟叶样本图像特征值。
在本公开的一些实施例中，图像特征提取模块230，可以用于将从各烟叶样本的基础光谱信息中筛选出各烟叶样本对霉变或含杂物判别影响大于预定值的特征波长；对图像特征和近红外光谱进行降维处理得到烟叶特征；将烟叶特征进行融合并采用归一化方法进行处理。
检测模型建立模块240，用于建立烟叶检测模型。
在本公开的一些实施例中，检测模型建立模块240，可以用于创建烟叶检测模型并将烟叶样本分为训练集和验证集，对烟叶检测模型进行训练和分类以构建烟叶检测模型；将经融合的预分类烟叶特征导入烟叶检测模型进行判别以输出判断结果。
在本公开的一些实施例中，检测模型建立模块240，可以用于对归一化的样本数据构建分类判别模型；使用交互验证法优化分类判别模型的多层神经元数；将处理后的烟叶样本划分为训练集和验证集；使用训练集对分类判别模型进行独立训练，建立数据和类的关系；使用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别；将分类判别模型的输出分为正常烟叶和异常烟叶，完成烟叶检测模型的构建；将经融合的预分类烟叶特征导入建立的烟叶检测模型中进行判别，输出烟叶是否发生正常的判断结果。
烟叶检测模块250，用于实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶。
在本公开的一些实施例中，烟叶检测模块250为实时在线检测模块。
在本公开的一些实施例中，烟叶检测模块250，可以用于对实时在线检测的烟叶样本进行近红外光谱采集和图像特征提取；使用通过训练后的烟叶检测模型预测所述烟叶样本的异常情况；根据模型预测值实现对实时在线生成过程中的烟叶进行异常判断。
在本公开的一些实施例中，烟叶检测模块250，可以用于采用规则检测模型基于规则进行异常初步检测，其中，异常包括霉变和含杂物中的至少一种；基于初步检测结果，采用深度学习模型进一步检测判断烟叶是否存在异常；根据规则检测结果与深度学习模型结果，综合判断是否存在烟叶异常。
在本公开的一些实施例中，烟叶检测模块250在采用规则检测模型基于规则进行异常初步检测的情况下，可以用于将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；根据烟叶异常图像的表现特点，设计图像分割规则；采用图像分割将烟叶图像阵列分解成多个互不交叠的区域，其中，每一个区域内部的某种特性或特征相同或接近，而不同区域间的图像特征则有明显差别；获取图像分割后的烟叶图像，根据烟叶形状判断烟叶是否发生异常。
在本公开的一些实施例中，烟叶检测模块250在采用深度学习模型进一步检测判断烟叶是否存在异常的情况下，可以用于采用深度学习图像分类模型和深度学习语义分割模型中的至少一种判断烟叶是否存在异常。
在本公开的一些实施例中，烟叶检测模块250在采用深度学习图像分类模型判断烟叶是否存在异常的情况下，可以用于在训练阶段，对原始图像进行切片；对每个小片图片进行打标分类之后，输入深度学习图像分类模型进行训练；在检测阶段，对实时图像切片，基于训练后的深度学习图像分类模型对实时图像切片后小片进行分类判断。
在本公开的一些实施例中，烟叶检测模块250在采采用深度学习语义分割模型判断烟叶是否存在异常的情况下，可以用于将烟叶图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，得到一幅具有逐像素语义标注的分割图像；基于深度学习语义分割模型对实时图像每个像素进行分类判断。
在本公开的一些实施例中，所述烟叶检测装置可以用于执行实现如上述任一实施例(例如图5-图7任一实施例)所述方法的操作。
本公开上述实施例烟叶检测装置，是一种基于机器视觉的在线烟包霉变与杂物检测装置，可以通过机器视觉和光谱技术检测烟包图像，智能检出烟包霉变与杂物并实时报警，从而降低了人工操作强度，提高了检测效率，降低了质量控制风险。
图9为本公开烟叶检测装置另一些实施例的结构示意图。如图9所示，烟叶检测装置包括存储器91和处理器92。
存储器91用于存储指令，处理器92耦合到存储器91，处理器92被配置为基于存储器存储的指令执行实现上述实施例涉及的方法。
如图9所示，该烟叶检测装置还包括通信接口93，用于与其它设备进行信息交互。同时，该烟叶检测装置还包括总线94，处理器92、通信接口93、以及存储器91通过总线94完成相互间的通信。
存储器91可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器91也可以是存储器阵列。存储器91还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器92可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
本公开上述实施例方法所建立的模型能够快速、准确的对霉变初期的烟叶进行预测。与相关技术相比，本公开上述实施例的样本无需复杂的前处理、检测速度快、操作简单方便、预测准确率高。
根据本公开的另一方面，提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图5-图7任一实施例)所述的方法。
本公开上述实施例涉及烟叶霉变识别技术领域，具体为一种基于光谱加机器视觉的霉变烟叶表面检测方法、装置和系统、存储介质。
本公开上述实施例的检测装置及方法解决了制丝在生产过程中依赖人工检测烟叶霉变效率低、漏检测风险高的问题。通过3个工位结合的合理设计，可实现对烟包上、下、前、后、左、右、6个面霉变情况检测，从而有效的提高了烟草在制品的纯净度控制要求，保证了整批次烟叶的加工质量。
本公开上述实施例提供一种基于光谱加机器视觉的霉变烟叶六面表面检测方法，解决的问题是现有技术存在烟叶霉变鉴定操作步骤繁琐、复杂的技术问题。本公开上述实施例可以通过实时在线检测的烟叶图像，进行近红外光谱采集和图像特征提取，再用通过有效性验证的模型预测该烟叶样本的霉变情况,根据模型预测值对实时在线生成过程中的烟叶进行霉变的判定，消除霉变及杂物的质量隐患，保证产品质量、提高生产线的智能实时在线自动检测技术水平。
本公开上述实施例中多种参数可根据实际情况调节，适用于多场景的烟叶霉变光谱加机器视觉检测装置和系统，具有广泛的推广性和通用性。
本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在上面所描述的烟叶检测装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种非瞬时性计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (17)

1.一种烟叶检测方法，其特征在于，包括：
获取烟叶样本，其中，烟叶样本包括近红外光谱仪采集的同一烟叶上多个点的近红外光谱值、和相机采集的同一烟叶的图像；
对烟叶样本进行标定；
提取烟叶样本图像特征值；
建立烟叶检测模型；
实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶，其中，异常烟叶包括霉变烟叶和含杂物烟叶中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述对烟叶样本进行标定包括：
将烟叶样本标定为正常烟叶和异常烟叶。
3.根据权利要求1或2所述的方法，其特征在于，所述获取烟叶样本包括：
通过近红外光谱仪采集同一烟叶上多个点的近红外光谱值；
通过相机采集同一烟叶的图像；
将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；
对有效烟丝图像进行增强处理,增强霉变或杂物目标特征，得到烟丝增强图像。
4.根据权利要求1或2所述的方法，其特征在于，所述提取烟叶样本图像特征值包括：
将从各烟叶样本的基础光谱信息中筛选出各烟叶样本对霉变或含杂物判别影响大于预定值的特征波长；
对图像特征和近红外光谱进行降维处理得到烟叶特征；
将烟叶特征进行融合并采用归一化方法进行处理。
5.根据权利要求4所述的方法，其特征在于，所述建立烟叶检测模型包括：
创建烟叶检测模型并将烟叶样本分为训练集和验证集，对烟叶检测模型进行训练和分类以构建烟叶检测模型；
将经融合的预分类烟叶特征导入烟叶检测模型进行判别以输出判断结果。
6.根据权利要求4所述的方法，其特征在于，所述建立烟叶检测模型包括：
对归一化的样本数据构建分类判别模型；
使用交互验证法优化分类判别模型的多层神经元数；
将处理后的烟叶样本划分为训练集和验证集；
使用训练集对分类判别模型进行独立训练，建立数据和类的关系；
使用分类判别模型对验证集进行分类，汇总分类结果，输出被分最多的类别；
将分类判别模型的输出分为正常烟叶和异常烟叶，完成烟叶检测模型的构建；
将经融合的预分类烟叶特征导入建立的烟叶检测模型中进行判别，输出烟叶是否发生正常的判断结果。
7.根据权利要求1或2所述的方法，其特征在于，所述实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶包括：
对实时在线检测的烟叶样本进行近红外光谱采集和图像特征提取；
使用通过训练后的烟叶检测模型预测所述烟叶样本的异常情况；
根据模型预测值实现对实时在线生成过程中的烟叶进行异常判断。
8.根据权利要求1或2所述的方法，其特征在于，所述建立烟叶检测模型包括：
采用规则检测模型基于规则进行异常初步检测，其中，异常包括霉变和含杂物中的至少一种；
基于初步检测结果，采用深度学习模型进一步检测判断烟叶是否存在异常；
根据规则检测结果与深度学习模型结果，综合判断是否存在烟叶异常。
9.根据权利要求8所述的方法，其特征在于，所述采用规则检测模型基于规则进行异常初步检测包括：
将采集到的烟丝图像进行预处理，降低图像噪声，得到有效烟丝图像；
根据烟叶异常图像的表现特点，设计图像分割规则；
采用图像分割将烟叶图像阵列分解成多个互不交叠的区域，其中，每一个区域内部的某种特性或特征相同或接近，而不同区域间的图像特征则有明显差别；
获取图像分割后的烟叶图像，根据烟叶形状判断烟叶是否发生异常。
10.根据权利要求8所述的方法，其特征在于，所述采用深度学习模型进一步检测判断烟叶是否存在异常包括：
采用深度学习图像分类模型和深度学习语义分割模型中的至少一种判断烟叶是否存在异常。
11.根据权利要求10所述的方法，其特征在于，所述采用深度学习图像分类模型判断烟叶是否存在异常包括：
在训练阶段，对原始图像进行切片；
对每个小片图片进行打标分类之后，输入深度学习图像分类模型进行训练；
在检测阶段，对实时图像切片，基于训练后的深度学习图像分类模型对实时图像切片后小片进行分类判断。
12.根据权利要求10所述的方法，其特征在于，所述采用深度学习语义分割模型判断烟叶是否存在异常包括：
将烟叶图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，得到一幅具有逐像素语义标注的分割图像；
基于深度学习语义分割模型对实时图像每个像素进行分类判断。
13.一种烟叶检测装置，其特征在于，包括：
烟叶样本获取模块，用于获取烟叶样本；
烟叶样本标定模块，用于对烟叶样本进行标定；
图像特征提取模块，用于提取烟叶样本图像特征值；
检测模型建立模块，用于建立烟叶检测模型；
烟叶检测模块，用于实时获取烟叶图像，将烟叶图像输入烟叶检测模型，判断当前烟叶是否为异常烟叶。
14.根据权利要求13所述的烟叶检测装置，其特征在于，所述烟叶检测装置用于执行实现如权利要求1-12中任一项所述方法的操作。
15.一种烟叶检测装置，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述烟叶检测装置执行实现如权利要求1-12中任一项所述方法的操作。
16.一种烟叶检测系统，其特征在于，包括烟叶检测机构和如权利要求13-15中任一项所述的烟叶检测装置，其中：
烟叶检测机构包括光源、相机、近红外光谱仪，其中：
近红外光谱仪，用于采集同一烟叶上多个点的近红外光谱值；
相机，用于采集同一烟叶的图像；
烟叶检测装置，用于获取近红外光谱仪采集的近红外光谱值和相机采集的图像，并根据近红外光谱仪采集的近红外光谱值和相机采集的图像，判断当前烟叶是否为异常烟叶。
17.一种非瞬时性计算机可读存储介质，其特征在于，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-12中任一项所述的方法。
CN202210778908.XA 2022-07-04 2022-07-04 烟叶检测方法、装置和系统、存储介质 Pending CN115128033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210778908.XA CN115128033A (zh) 2022-07-04 2022-07-04 烟叶检测方法、装置和系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210778908.XA CN115128033A (zh) 2022-07-04 2022-07-04 烟叶检测方法、装置和系统、存储介质

Publications (1)

Publication Number Publication Date
CN115128033A true CN115128033A (zh) 2022-09-30

Family

ID=83382904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210778908.XA Pending CN115128033A (zh) 2022-07-04 2022-07-04 烟叶检测方法、装置和系统、存储介质

Country Status (1)

Country Link
CN (1) CN115128033A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810125A (zh) * 2022-12-09 2023-03-17 北京远舢智能科技有限公司 一种基于彩色光谱的烟叶检测方法、装置、设备及介质
CN116912162A (zh) * 2023-04-25 2023-10-20 东莞市华视智能科技有限公司 一种基于计算机视觉深度学习的烟叶杂色提取方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810125A (zh) * 2022-12-09 2023-03-17 北京远舢智能科技有限公司 一种基于彩色光谱的烟叶检测方法、装置、设备及介质
CN116912162A (zh) * 2023-04-25 2023-10-20 东莞市华视智能科技有限公司 一种基于计算机视觉深度学习的烟叶杂色提取方法

Similar Documents

Publication Publication Date Title
CN115128033A (zh) 烟叶检测方法、装置和系统、存储介质
WO2018071189A1 (en) A method and system of detecting foreign material within an agricultural product stream
US11946806B2 (en) On-line oil and foreign matter detection system and method employing hyperspectral imaging
EP3801934B1 (en) Process and system for in-line inspection of product stream for detection of foreign objects
Rokunuzzaman et al. Development of a low cost machine vision system for sorting of tomatoes.
Zareiforoush et al. Design, development and performance evaluation of an automatic control system for rice whitening machine based on computer vision and fuzzy logic
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
Chao et al. High throughput spectral imaging system for wholesomeness inspection of chicken
US20230023641A1 (en) Automated detection of chemical component of moving object
CN105092579A (zh) 一种芒果品质无损检测设备
WO2015164471A1 (en) Shrimp processing system and methods
Carolina et al. Classification of oranges by maturity, using image processing techniques
CN112789492A (zh) 用于检测包装内部的气体的真空包装产品检验
Thong et al. Mango classification system uses image processing technology and artificial intelligence
CN114441444A (zh) 一种基于多波段复用的融合分选方法
Alfatni et al. Colour feature extraction techniques for real time system of oil palm fresh fruit bunch maturity grading
US20090185165A1 (en) Method of inspecting food and inspection apparatus implementing the same
Thong et al. Mango sorting mechanical system combines image processing
CN111307805A (zh) 一种基于视觉特征融合的打叶质量检测装置及检测方法
Thinh et al. Sorting and classification of mangoes based on artificial intelligence
JP7248316B2 (ja) 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
CN112766141A (zh) 一种烟草卷包设备异物检测方法及系统
CN116681644B (zh) 基于变分贝叶斯推理的烟支外观缺陷检测方法
JP7097642B1 (ja) 食品検査システム、食品検査学習装置および食品検査方法
CN212159588U (zh) 一种基于双摄像头的打叶质量检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination