CN116229454A - 基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法 - Google Patents
基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法 Download PDFInfo
- Publication number
- CN116229454A CN116229454A CN202310025704.3A CN202310025704A CN116229454A CN 116229454 A CN116229454 A CN 116229454A CN 202310025704 A CN202310025704 A CN 202310025704A CN 116229454 A CN116229454 A CN 116229454A
- Authority
- CN
- China
- Prior art keywords
- image
- apple
- fungus infection
- hsi
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000031888 Mycoses Diseases 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005215 recombination Methods 0.000 title claims abstract description 16
- 230000006798 recombination Effects 0.000 title claims abstract description 16
- 244000081841 Malus domestica Species 0.000 title 1
- 241000220225 Malus Species 0.000 claims abstract description 103
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 241000233866 Fungi Species 0.000 claims abstract description 17
- 238000013145 classification model Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000003595 spectral effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 229910052736 halogen Inorganic materials 0.000 claims description 3
- 150000002367 halogens Chemical class 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 241000894007 species Species 0.000 claims 8
- 238000001514 detection method Methods 0.000 abstract description 8
- 235000021016 apples Nutrition 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002965 ELISA Methods 0.000 description 1
- 206010017533 Fungal infection Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000002290 gas chromatography-mass spectrometry Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003752 polymerase chain reaction Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多类型图像和U‑Net重组数据集的苹果真菌侵染种类鉴定方法，包括通过图像采集装置获取苹果样本的HSI图像，得到去噪后的HSI图像；转换成伪RGB图像；扩充数据集，训练U‑Net语义分割模型；得到第二二值图；将第二二值图与去噪后的HSI图像结合，提取真菌感染区域的光谱特征，选择出特征波长和对应的单色图像；将伪RGB图像和单色图像输入到VGG16卷积神经网络中，得到融合特征；将伪RGB图像和单色图像的融合特征输入到分类模型中，分类模型输出苹果真菌侵染种类。本发明充分调优U‑Net语义分割模型，准确分割出苹果真菌侵染的腐烂区域；特征更加多样，可以有效地鉴别真菌种类；实现了自动、无损化的检测，节约时间和人力成本。
Description
技术领域
本发明涉及苹果真菌侵染检测技术领域，尤其是一种基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法。
背景技术
苹果在采收、运输和贮藏过程中及其容易受到真菌的感染，致使苹果腐烂，造成巨大的采后损失，对真菌的种类进行鉴别，并制定针对性的预防和解决策略，有助于提升苹果品质与保障食品安全。
高光谱成像HSI由于光谱信息丰富在果品检测中优势明显，目前传统的人工果品检测方法需要大量的人力和物力，时间成本高而且准确率低；生物化学检测方式，例如气相色谱-质谱法、酶联免疫分析、聚合酶链反应等，虽然准确率有所提高，但是实验步骤操作复杂；图谱检测方式目前大多是单独采用高光谱的特征波长或者RGB图像作为数据来源。高光谱的特征波长描述了单一波段的窄带信息但是不具有图像的二维特征，RGB图像则表达的是宽带信息，但是难以感知目标物的内部变化，分析精度可能受到限制。
发明内容
本发明的目的在于提供一种能够分割真菌感染苹果的腐烂区域，并鉴别出受侵染的真菌种类的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法。
为实现上述目的，本发明采用了以下技术方案：一种基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，该方法包括下列顺序的步骤：
(1)通过图像采集装置获取苹果样本的HSI图像，并对HSI图像进行黑白版校正，去除其噪声，得到去噪后的HSI图像；
(2)利用CIE 1931颜色匹配函数，将去噪后的HSI图像转换成伪RGB图像，伪RGB图像组成数据集；
(3)扩充数据集，用扩充后的数据集训练U-Net语义分割模型，得到训练好的U-Net语义分割模型；
(4)将训练好的U-Net语义分割模型分割伪RGB图像的真菌感染区域，得到的分割结果是以不同颜色标注的标签，然后把标签二值化，去噪，得到第二二值图；
(5)将第二二值图与去噪后的HSI图像结合，提取真菌感染区域的光谱特征，选择出特征波长和对应的单色图像；
(6)将伪RGB图像和单色图像输入到VGG16卷积神经网络中，获取伪RGB图像和单色图像的卷积网络特征，再把伪RGB图像和单色图像的卷积网络特征融合得到融合特征；
(7)构建分类模型，将伪RGB图像和单色图像的融合特征输入到分类模型中，分类模型输出苹果真菌侵染种类，实现苹果真菌侵染种类的鉴别。
在步骤(1)中，所述图像采集装置包括暗箱，暗箱的顶部的中心位置处安装用于捕获HSI图像的高光谱成像仪，暗箱的底板上安装用于控制苹果样本和高光谱成像仪之间距离的升降平台，升降平台的上端设置用于放置苹果样本的置物台，暗箱顶部四个边角处分别对应安装4个卤素灯用于提供光源，计算机与高光谱成像仪有线连接，计算机上加载SRANL710软件。
在步骤(1)中，所述对HSI图像进行黑白版校正，校正公式如下：
其中，I是去噪后的HSI图像，Io是苹果样本的HSI图像，Iw为白板上的参考图像，Id为用不透明罩遮住高光谱仪镜头后得到的黑板参考图像。
在步骤(2)中，所述CIE 1931颜色匹配函数的公式如下：
其中，
均为颜色匹配函数，是对观测器色度响应的数值描述，为给定的固定值；L(λ)为HSI图像的光谱反射率，X、Y和Z是颜色的三刺激值；得到三刺激值后再经过矩阵变换得到所有像素点的R、G、B三个通道：
R、G、B三个通道叠加在一起即得到伪RGB图像。
在步骤(3)中，所述扩充数据集是指：把被真菌侵染苹果的腐烂区域用开源图像标注工具LabelMe分割出来，即在苹果的腐烂区域的边缘不断的取点，最终这些点连成一个闭合区域，在LabelMe中将苹果的腐烂区域设成绿色，苹果的正常区域设成红色，得到一张有颜色的标签图像，再提取有颜色的标签图像的G通道的图像，得到第一二值图，在第一二值图中，苹果的腐烂区域是白色，除苹果的腐烂区域外的其他区域为黑色，苹果的腐烂区域的像素值为1，其他区域的像素值为0；将第一二值图与其对应的真菌侵染的苹果图像相乘，得到一张只有苹果的腐烂区域的病斑图像，再将第一二值图进行取反操作，得到取反二值图，在取反二值图中，苹果的腐烂区域是黑色，除腐烂区域外的其他区域为白色，苹果的腐烂区域的像素值为0，其他区域的像素值为1；将取反二值图与正常苹果图像相乘，再与病斑图像相加，实现图像拼接，得到扩充后的数据集。
所述步骤(4)具体是指：将伪RGB图像输入到训练好的U-Net语义分割模型中，得到的分割结果是以不同颜色标注的标签，苹果的腐烂区域为绿色，苹果的正常区域为红色，苹果之外的背景为白色，然后提取单通道图像把标签二值化，采用膨胀和腐蚀的形态学操作去除微小的噪点，得到第二二值图，苹果的腐烂区域和苹果之外的背景变为白色，苹果的正常区域为黑色。
所述步骤(5)具体是指：将第二二值图与去噪后的HSI图像相乘，自动获取真菌感染区域的光谱特征，并用变量选择算法的随机蛙跳选出特征波长，提取出特征波长所对应的单色图像。
所述步骤(6)具体是指：使用VGG16卷积神经网络提取图像的卷积网络特征，并使用数据集ImageNet进行预训练，分别将伪RGB图像和单色图像输入到训练好的VGG16卷积神经网络中，VGG16卷积神经网络由13个卷积层、5个池化层和3个全连接层组成，最后一个卷积层输出图像的卷积网络特征，以一维向量的形式输出，得到伪RGB图像的卷积网络特征和单色图像的卷积网络特征，再把伪RGB图像的卷积网络特征和单色图像的卷积网络特征融合得到融合特征。
所述步骤(7)具体是指：所述分类模型采用SVM支持向量机，将伪RGB图像、单色图像和二者的融合特征输入SVM支持向量机，SVM支持向量机输出苹果真菌侵染种类，实现苹果真菌侵染种类的鉴别。
由上述技术方案可知，本发明的有益效果为：第一，本发明通过对现有数据集的重组，实现数据集扩充的效果，充分调优U-Net语义分割模型，可以准确分割出苹果真菌侵染的腐烂区域；第二，本发明利用伪RGB图像和特征波长对应的单色图像可以充分结合宽带和窄带的信息，特征更加多样，可以有效地鉴别真菌种类；第三，本发明实现了自动、无损化的检测，节约时间和人力成本。
附图说明
图1是本发明的方法流程图；
图2是数据集扩充流程图；
图3是真菌感染区域分割流程图；
图4是本发明中图像采集装置的结构示意图。
具体实施方式
如图1所示，一种基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，该方法包括下列顺序的步骤：
(1)通过图像采集装置获取苹果样本的HSI图像，并对HSI图像进行黑白版校正，去除其噪声，得到去噪后的HSI图像；
(2)利用CIE 1931颜色匹配函数，将去噪后的HSI图像转换成伪RGB图像，伪RGB图像组成数据集；
(3)扩充数据集，用扩充后的数据集训练U-Net语义分割模型，得到训练好的U-Net语义分割模型；
(4)将训练好的U-Net语义分割模型分割伪RGB图像的真菌感染区域，得到的分割结果是以不同颜色标注的标签，然后把标签二值化，去噪，得到第二二值图；
(5)将第二二值图与去噪后的HSI图像结合，提取真菌感染区域的光谱特征，选择出特征波长和对应的单色图像；
(6)将伪RGB图像和单色图像输入到VGG16卷积神经网络中，获取伪RGB图像和单色图像的卷积网络特征，再把伪RGB图像和单色图像的卷积网络特征融合得到融合特征；
(7)构建分类模型，将伪RGB图像和单色图像的融合特征输入到分类模型中，分类模型输出苹果真菌侵染种类，实现苹果真菌侵染种类的鉴别。
在步骤(1)中，如图4所示，所述图像采集装置包括暗箱2，暗箱2的顶部的中心位置处安装用于捕获HSI图像的高光谱成像仪1，暗箱2的底板上安装用于控制苹果样本和高光谱成像仪1之间距离的升降平台5，升降平台5的上端设置用于放置苹果样本的置物台4，暗箱2顶部四个边角处分别对应安装4个卤素灯6用于提供光源，计算机3与高光谱成像仪1有线连接，计算机3上加载SRANL710软件。
在步骤(1)中，所述对HSI图像进行黑白版校正，校正公式如下：
其中，I是去噪后的HSI图像，Io是苹果样本的HSI图像，Iw为白板上的参考图像，Id为用不透明罩遮住高光谱仪镜头后得到的黑板参考图像，不透明罩是一个小盖子可以完全遮住镜头，类似于相机的镜头盖。
在步骤(2)中，所述CIE 1931颜色匹配函数的公式如下：
其中，
均为颜色匹配函数，是对观测器色度响应的数值描述，为给定的固定值；L(λ)为HSI图像的光谱反射率，X、Y和Z是颜色的三刺激值；得到三刺激值后再经过矩阵变换得到所有像素点的R、G、B三个通道：
R、G、B三个通道叠加在一起即得到伪RGB图像。λ是离散的，λ的范围是HSI图像的光谱范围，即λ∈[374,1031]，这样，此处的关于X、Y、Z的积分公式转化为离散和运算。
如图2所示，在步骤(3)中，所述扩充数据集是指：把被真菌侵染苹果的腐烂区域用开源图像标注工具LabelMe分割出来，即在苹果的腐烂区域的边缘不断的取点，最终这些点连成一个闭合区域，在LabelMe中将苹果的腐烂区域设成绿色，苹果的正常区域设成红色，得到一张有颜色的标签图像，再提取有颜色的标签图像的G通道的图像，得到第一二值图，在第一二值图中，苹果的腐烂区域是白色，除苹果的腐烂区域外的其他区域为黑色，苹果的腐烂区域的像素值为1，其他区域的像素值为0；将第一二值图与其对应的真菌侵染的苹果图像相乘，得到一张只有苹果的腐烂区域的病斑图像，再将第一二值图进行取反操作，得到取反二值图，在取反二值图中，苹果的腐烂区域是黑色，除腐烂区域外的其他区域为白色，苹果的腐烂区域的像素值为0，其他区域的像素值为1；将取反二值图与正常苹果图像相乘，再与病斑图像相加，实现图像拼接，得到扩充后的数据集。假设有20个腐烂苹果和10个正常苹果，那就可以扩充到20*10＝200个样本。
如图3所示，所述步骤(4)具体是指：将伪RGB图像输入到训练好的U-Net语义分割模型中，得到的分割结果是以不同颜色标注的标签，苹果的腐烂区域为绿色，苹果的正常区域为红色，苹果之外的背景为白色，然后提取单通道图像把标签二值化，采用膨胀和腐蚀的形态学操作去除微小的噪点，得到第二二值图，苹果的腐烂区域和苹果之外的背景变为白色，苹果的正常区域为黑色。
U-Net语义分割模型是个开源的经典语义分割网络，需要大量的数据用来训练该网络，所以做了数据扩充的操作。数据扩充后的数据集做为U-Net语义分割模型的训练集，训练的标签就是上述用LabelMe制作的标签，保存训练好的模型，再拿真菌侵染的苹果样本输入该模型进行测试，输出的就是分割好的标签，以不同颜色标出。
所述步骤(5)具体是指：将第二二值图与去噪后的HSI图像相乘，自动获取真菌感染区域的光谱特征，并用变量选择算法的随机蛙跳选出特征波长，提取出特征波长所对应的单色图像。
随机蛙跳具体分为三个步骤：(1)随机初始化包含Q个变量的变量子集V0；(2)基于V0提出包含Q*个变量的候选变量子集V*，将具有一定概率的V*接受为V1，用V1替换V0。此步骤循环进行，直到完成N次迭代；(3)最后计算每个变量的选择概率，该概率可用作变量重要性的度量，根据变量的重要性排序选出要选择的变量。高光谱图像HSI可以看做一个260个通道的图像，即有260个波段，另外HSI每个通道的图像每个像素点上还包含一个光谱值，即光谱特征。
所述步骤(6)具体是指：使用VGG16卷积神经网络提取图像的卷积网络特征，并使用数据集ImageNet进行预训练，分别将伪RGB图像和单色图像输入到训练好的VGG16卷积神经网络中，VGG16卷积神经网络由13个卷积层、5个池化层和3个全连接层组成，最后一个卷积层输出图像的卷积网络特征，以一维向量的形式输出，得到伪RGB图像的卷积网络特征和单色图像的卷积网络特征，再把伪RGB图像的卷积网络特征和单色图像的卷积网络特征融合得到融合特征。
所述步骤(7)具体是指：所述分类模型采用SVM支持向量机，将伪RGB图像、单色图像和二者的融合特征输入SVM支持向量机，SVM支持向量机输出苹果真菌侵染种类，实现苹果真菌侵染种类的鉴别。
综上所述，本发明通过对现有数据集的重组，实现数据集扩充的效果，充分调优U-Net语义分割模型，可以准确分割出苹果真菌侵染的腐烂区域；本发明利用伪RGB图像和特征波长对应的单色图像可以充分结合宽带和窄带的信息，特征更加多样，可以有效地鉴别真菌种类；本发明实现了自动、无损化的检测，节约时间和人力成本。
Claims (9)
1.一种基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：该方法包括下列顺序的步骤：
(1)通过图像采集装置获取苹果样本的HSI图像，并对HSI图像进行黑白版校正，去除其噪声，得到去噪后的HSI图像；
(2)利用CIE 1931颜色匹配函数，将去噪后的HSI图像转换成伪RGB图像，伪RGB图像组成数据集；
(3)扩充数据集，用扩充后的数据集训练U-Net语义分割模型，得到训练好的U-Net语义分割模型；
(4)将训练好的U-Net语义分割模型分割伪RGB图像的真菌感染区域，得到的分割结果是以不同颜色标注的标签，然后把标签二值化，去噪，得到第二二值图；
(5)将第二二值图与去噪后的HSI图像结合，提取真菌感染区域的光谱特征，选择出特征波长和对应的单色图像；
(6)将伪RGB图像和单色图像输入到VGG16卷积神经网络中，获取伪RGB图像和单色图像的卷积网络特征，再把伪RGB图像和单色图像的卷积网络特征融合得到融合特征；
(7)构建分类模型，将伪RGB图像和单色图像的融合特征输入到分类模型中，分类模型输出苹果真菌侵染种类，实现苹果真菌侵染种类的鉴别。
2.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：在步骤(1)中，所述图像采集装置包括暗箱，暗箱的顶部的中心位置处安装用于捕获HSI图像的高光谱成像仪，暗箱的底板上安装用于控制苹果样本和高光谱成像仪之间距离的升降平台，升降平台的上端设置用于放置苹果样本的置物台，暗箱顶部四个边角处分别对应安装4个卤素灯用于提供光源，计算机与高光谱成像仪有线连接，计算机上加载SRANL710软件。
3.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：在步骤(1)中，所述对HSI图像进行黑白版校正，校正公式如下：
其中，I是去噪后的HSI图像，Io是苹果样本的HSI图像，Iw为白板上的参考图像，Id为用不透明罩遮住高光谱仪镜头后得到的黑板参考图像。
4.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：在步骤(2)中，所述CIE 1931颜色匹配函数的公式如下：
其中，
均为颜色匹配函数，是对观测器色度响应的数值描述，为给定的固定值；L(λ)为HSI图像的光谱反射率，X、Y和Z是颜色的三刺激值；得到三刺激值后再经过矩阵变换得到所有像素点的R、G、B三个通道：
R、G、B三个通道叠加在一起即得到伪RGB图像。
5.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：在步骤(3)中，所述扩充数据集是指：把被真菌侵染苹果的腐烂区域用开源图像标注工具LabelMe分割出来，即在苹果的腐烂区域的边缘不断的取点，最终这些点连成一个闭合区域，在LabelMe中将苹果的腐烂区域设成绿色，苹果的正常区域设成红色，得到一张有颜色的标签图像，再提取有颜色的标签图像的G通道的图像，得到第一二值图，在第一二值图中，苹果的腐烂区域是白色，除苹果的腐烂区域外的其他区域为黑色，苹果的腐烂区域的像素值为1，其他区域的像素值为0；将第一二值图与其对应的真菌侵染的苹果图像相乘，得到一张只有苹果的腐烂区域的病斑图像，再将第一二值图进行取反操作，得到取反二值图，在取反二值图中，苹果的腐烂区域是黑色，除腐烂区域外的其他区域为白色，苹果的腐烂区域的像素值为0，其他区域的像素值为1；将取反二值图与正常苹果图像相乘，再与病斑图像相加，实现图像拼接，得到扩充后的数据集。
6.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：所述步骤(4)具体是指：将伪RGB图像输入到训练好的U-Net语义分割模型中，得到的分割结果是以不同颜色标注的标签，苹果的腐烂区域为绿色，苹果的正常区域为红色，苹果之外的背景为白色，然后提取单通道图像把标签二值化，采用膨胀和腐蚀的形态学操作去除微小的噪点，得到第二二值图，苹果的腐烂区域和苹果之外的背景变为白色，苹果的正常区域为黑色。
7.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：所述步骤(5)具体是指：将第二二值图与去噪后的HSI图像相乘，自动获取真菌感染区域的光谱特征，并用变量选择算法的随机蛙跳选出特征波长，提取出特征波长所对应的单色图像。
8.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：所述步骤(6)具体是指：使用VGG16卷积神经网络提取图像的卷积网络特征，并使用数据集ImageNet进行预训练，分别将伪RGB图像和单色图像输入到训练好的VGG16卷积神经网络中，VGG16卷积神经网络由13个卷积层、5个池化层和3个全连接层组成，最后一个卷积层输出图像的卷积网络特征，以一维向量的形式输出，得到伪RGB图像的卷积网络特征和单色图像的卷积网络特征，再把伪RGB图像的卷积网络特征和单色图像的卷积网络特征融合得到融合特征。
9.根据权利要求1所述的基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法，其特征在于：所述步骤(7)具体是指：所述分类模型采用SVM支持向量机，将伪RGB图像、单色图像和二者的融合特征输入SVM支持向量机，SVM支持向量机输出苹果真菌侵染种类，实现苹果真菌侵染种类的鉴别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310025704.3A CN116229454A (zh) | 2023-01-09 | 2023-01-09 | 基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310025704.3A CN116229454A (zh) | 2023-01-09 | 2023-01-09 | 基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229454A true CN116229454A (zh) | 2023-06-06 |
Family
ID=86581770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310025704.3A Pending CN116229454A (zh) | 2023-01-09 | 2023-01-09 | 基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229454A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117607063A (zh) * | 2024-01-24 | 2024-02-27 | 中国科学院地理科学与资源研究所 | 一种基于无人机的森林垂直结构参数测量系统和方法 |
-
2023
- 2023-01-09 CN CN202310025704.3A patent/CN116229454A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117607063A (zh) * | 2024-01-24 | 2024-02-27 | 中国科学院地理科学与资源研究所 | 一种基于无人机的森林垂直结构参数测量系统和方法 |
| CN117607063B (zh) * | 2024-01-24 | 2024-04-19 | 中国科学院地理科学与资源研究所 | 一种基于无人机的森林垂直结构参数测量系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230017425A1 (en) | System and method for determining damage on crops | |
| TWI467515B (zh) | 掃描文件之彩色捨去 | |
| Jonckheere et al. | Assessment of automatic gap fraction estimation of forests from digital hemispherical photography | |
| JP4857287B2 (ja) | 画像内の照明光を識別する方法、システム、ならびにコンピュータプログラムを記録した記録媒体 | |
| Sun et al. | A method for rapid identification of rice origin by hyperspectral imaging technology | |
| US7639874B2 (en) | Methods for discriminating moving objects in motion image sequences | |
| RU2581567C2 (ru) | Система и способ для сжатия сигнала цифрового изображения с использованием истинных изображений | |
| US20220198634A1 (en) | Method for selecting a light source for illuminating defects, electronic device, and non-transitory storage medium | |
| EP2638508B1 (en) | System and method for identifying complex tokens in an image | |
| US9270866B2 (en) | Apparatus and method for automated self-training of white balance by electronic cameras | |
| WO2018002841A1 (en) | An apparatus for detecting damaged fruit and vegetable products | |
| US20130114911A1 (en) | Post processing for improved generation of intrinsic images | |
| CN116229454A (zh) | 基于多类型图像和U-Net重组数据集的苹果真菌侵染种类鉴定方法 | |
| Serouart et al. | SegVeg: Segmenting RGB images into green and senescent vegetation by combining deep and shallow methods | |
| Al-Mashhadani et al. | Autonomous ripeness detection using image processing for an agricultural robotic system | |
| US8428352B1 (en) | Post processing for improved generation of intrinsic images | |
| US8437545B1 (en) | System and method for digital image signal compression using intrinsic images | |
| JP5860970B2 (ja) | 固有画像の生成を改良するための後処理 | |
| Patil et al. | An advanced method for chilli plant disease detection using image processing | |
| Leiva et al. | ScabyNet, a user-friendly application for detecting common scab in potato tubers using deep learning and morphological traits | |
| US8655099B2 (en) | Relationship maintenance in an image process | |
| Kusnandar et al. | A Novel Method for Optimizing Color Selection Using the Hadamard Product Technique | |
| US20140050399A1 (en) | Log-chromaticity clustering pipeline for use in an image process | |
| Pace et al. | Automatic procedure to contactless and non-destructive quality evaluation of fruits and vegetables through a computer vision system | |
| Abdalla et al. | Color Consistency of UAV Imagery using Multi-Channel CNN-based Image-to-Image Regression and Residual Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |