CN115661653A

CN115661653A - 一种基于脱色方法的农作物高光谱图像可视化检测方法

Info

Publication number: CN115661653A
Application number: CN202211355270.5A
Authority: CN
Inventors: 朱恭钦; 郑守国; 徐青山; 余力; 邱梦情; 王海燕
Original assignee: Anhui Institute Of Industrial Technology Innovation; Luan Institute of Anhui Institute of Industrial Technology Innovation
Current assignee: Anhui Institute Of Industrial Technology Innovation; Luan Institute of Anhui Institute of Industrial Technology Innovation
Priority date: 2022-11-01
Filing date: 2022-11-01
Publication date: 2023-01-31

Abstract

本发明提供一种基于脱色方法的农作物高光谱图像可视化检测方法，涉及农产品图像处理技术领域，包括如下检测步骤，采集来自光谱相机的高光谱图像，将获得的多维高光谱图像，划分为相邻高光谱波段的高光谱子集，在每个子集中采用平均法融合，得到高光谱波段，将得到的高光谱波段划分为大小相等的子集，将S3处理后的图像进行脱色处理，得到单波段图像，形成可视化图像，将得到的可视化图像输入到分类模型中，实现农作物的检测，采用深度法提取了图像内容信息和结构信息，并自动选择合适的灰度进行脱色，在可视化时可以兼顾到原始图像的局部和全局中的显著性对比度信息，尽可能的还原了图像的真实色彩且尽可能的保存了图像的空间信息和光谱特征。

Description

一种基于脱色方法的农作物高光谱图像可视化检测方法

技术领域

本发明涉及农产品图像处理技术领域，具体为一种基于脱色方法的农作物高光谱图像可视化检测方法。

背景技术

高光谱成像将传统的成像与光谱技术相结合来同步获取物体的空间和光谱信息，其图像的每个像素都涵盖整个光谱范围的波长。这些图像的信息可以准确反映不同地物类别之间的属性差异，实现地物的精准提取和识别。然而，如何显示包含数百个光谱波段的高光谱图像是一个具有挑战性的问题，因为现有的计算机显示器是为显示包含一个或三个波段的图像而设计的。为了解决这一问题，常用的做法是将原始高光谱图像映射到红、绿、蓝(RGB)通道中进行可视化，通常称为高光谱图像可视化。在过去的几年中，许多可视化方法已经被开发出来，可以主要分为两大类，即基于变换的方法和基于波段选择的方法。

基于光谱降维的方法的主要思想是在高光谱图像的光谱维度上进行降维，最终得到三个新的波段用于可视化高光谱图像。基于光谱降维的方法又主要可划分为四种：基于变换的方法、基于加权的方法、基于优化的方法和基于深度学习的方法。基于变换的方法通常选择得到的三个重要特征作为高光谱图像可视化的RGB通道，如主成分分析(PCA)、独立主成分分析等。基于加权的方法用于输入图像波段的线性组合生成融合后的图像，如颜色匹配函数和基于双边滤波的方法等。基于优化的方法是根据特定的优化准则来建立目标函数。而基于深度学习的方法是设计相应的网络结构来实现有效的光谱数据降维。

基于波段选择的方法主要思想是从原始的高光谱图像中选择三个最优波段作为高光谱图像可视化的RGB通道。然而，基于波段选择的方法存在两个主要的局限性。其中主要难点的是如何选择三个最不相关的、包含大量互补信息的波段。此外，由于波段选择涉及优化过程，这类方法往往存在计算复杂度高的问题。

图像脱色是计算机视觉领域的另一个具有挑战性的问题，也就是彩色图像灰度化，它旨在将彩色图像三通道颜色值映射到单通道灰度值。图像脱色处理的一般的目标是利用灰度的有限范围来尽可能多地保留颜色信息，以保持再现色彩的原始特征和比较突出的特点，使得得到的灰度图像更加符合人类视觉的感知。传统的脱色算法通常是采用颜色空间进行直接映射，提取图像的亮度通道值作为灰度值得到灰度图，但这会导致彩色图像中像素点颜色的对比度信息和结构会信息严重丢失。因此，近年来，许多脱色方法被研究来解决这个问题。按照计算像素对邻域的范围区分，可以大致分为局部灰度化方法和全局灰度化方法两类，局部灰度化方法主要考虑了彩色图像中独立像素或相邻像素，通常依靠局部色度边缘进行增强；全局灰度化方法则是同时保持局部颜色和全局颜色的对比度信息。

问题一，针对高光谱可视化方法而言：基于光谱降维的方法能够较好地保留高光谱图像的空间信息和结构特征，却难以解决可视化图像的色彩失真问题。基于波段选择的方法能够得到色彩自然的可视化图像，却通常不足以呈现丰富的信息。

问题二，针对图像脱色的方法而言：局部灰度化方法能够有效地保持原彩色图像的局部对比度，但是往往会导致边界扭曲，甚至产生原图像不存在的边界等信息。局部灰度化方法利用局部颜色边界增强灰度图的对比度，原彩色图像中颜色不同的像素点会根据图像边界或梯度等信息映射为不同的灰度值，相比传统常值映射的灰度化方法，可以区分局部等亮度颜色不同的像素点，弱化局部颜色在灰度化过程中信息的丢失问题。全局灰度化就是保持每个像素点与其他所有像素点之间的颜色对比,这样可以充分保持原图像的整体对比度。但是所有像素点之间的对比度的保持在颜色比较丰富的图像中可能会造成灰度图像中的相邻像素之间的对比度被压缩,以至于灰度结果相邻区域无法被区分，即灰度化后可能无法保存原始图像的局部特征。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于脱色方法的农作物高光谱图像可视化检测方法，在尽可能保持可视化图像贴近自然，即还原真实色彩的同时，保存图像的空间信息与光谱特征。此外，针对生成的可视化图像，结合相应的分类模型，实现农作物的快速、无损和精准的检测。

1、解决了基于光谱降维的方法可视化图像的色彩失真问题，基于波段选择的方法不足以呈现丰富的信息的问题。

2、解决了局部灰度化方法导致边界扭曲，甚至产生原图像不存在的边界等信息的问题，以及全局灰度化所有像素点之间的对比度的保持在颜色比较丰富的图像中可能会造成灰度图像中的相邻像素之间的对比度被压缩,以至于灰度结果相邻区域无法被区分，即灰度化后可能无法保存原始图像的局部特征的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于脱色方法的农作物高光谱图像可视化检测方法，包括如下检测步骤：

S1、采集来自光谱相机的高光谱图像，将获得的多维高光谱图像，划分为相邻高光谱波段的高光谱子集；

S2、在每个子集中采用平均法融合，得到高光谱波段；

S3、将得到的高光谱波段划分为大小相等的子集；

S4、将S3处理后的图像进行脱色处理，得到单波段图像，形成可视化图像；

S5、将得到的可视化图像输入到分类模型中，实现农作物的检测。

优选的，所述每个子集都有相邻且不重复的波段。

优选的，所述的步骤S4中，包括如下步骤：

S41、对单通道的噪声图像进行优化，使其与三通道的彩色图像在网络层次中的表示距离最小；

S42、定义一个感知损失函数，用来测量彩色和灰色图像之间的低级和高级感知差异，获取感知特征；

S43、所述感知特征由包含16层卷积层和5层池化层的VGG-19网络获取；

S44、所述S43中的VGG-19网络中的每层都设有一个线性滤波器和一个非线性激活函数，分别对应于密集感知和稀疏感知。

优选的，所述VGG-19网络中的参数通过训练获取。

优选的，所述网络为神经网络，且神经网络的高层感知层和低层感知层的算法权重范围为0-1，且高层感知层和低层感知层权重相互独立。

优选的，所述步骤S4的图像脱色处理算法还包括DHV-GcsDecolor或DHV-SPDecolor中的任意一种。

(一)有益效果

本发明提供了一种基于脱色方法的农作物高光谱图像可视化检测方法，具备以下有益效果：

1、本发明基于VGG19网络模型的脱色方法用于高光谱图像可视化的本质，是基于人的视觉感知，采用深度法提取了图像内容信息和结构信息，并自动选择合适的灰度进行脱色，在可视化时可以兼顾到原始图像的局部和全局中的显著性对比度信息，尽可能的还原了图像的真实色彩且尽可能的保存了图像的空间信息和光谱特征，解决了局部灰度处理边界特征以及全局灰度处理局部特征不明确的问题。

2、本发明方案结合分类模型识别农作物的类别，得到的可视化图像可直接作为输入，相比原始的高光谱图像输入，不仅信息得到了尽可能的保存，还大大降低了数据的维度，分类识别的速度大大提升，解决了色彩失真和信息丰富度的问题。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明的基于VGG19卷积神经网络的脱色方法流程示意图。

图3为本发明实施例中实验验证所用到的高光谱图像数据集示意图。

图4为本发明实施例方法和现有方法的可视化结果对比。

图5为本发明实施例方法和现有方法的可视化结果结合SVM的分类识别结果对比；

图6为本发明三种典型的高光谱图像可视化方法在Salinas数据集上的客观性能指标；

图7为本发明三种典型的高光谱图像可视化方法在Salinas数据集上生成的可视化图像结合SVM的各农作物识别精度。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1所示，本发明的目的在于提供一种基于脱色方法的农作物高光谱可视化检测方法，获得的可视化图像更接近真实的色彩，保存了图像空间信息和光谱细节更多，并基于可视化的图像，实现了农作物的快速、无损和精准检测。

为了实现以上的目的，本发明采用的技术方案为：一种基于脱色方法的农作物高光谱可视化检测方法，包括如下的步骤：

S1、针对来自不同高光谱相机的高光谱图像，将获得的N维高光谱图像I划分为相邻高光谱波段的9个高光谱子集；其中得到的第k∈(1,2,..9)个光谱子集H^k的函数表达式为：

S2、由于相邻的波段之间具有很强的相关性，在每个子集中采用基于平均的方法来进行融合，得到9个高光谱波段，融合得到的第k个高光谱波段P^k的函数表达式为：

上式中的

代表第k个子集的第n个波段，N_k代表第n个子集的波段总数，

S3、将降维得到的9个高光谱波段P^k划分为三组大小相等的子集C_i,其中i∈(1,2,3)，每个子集都有相邻且不重复的波段，看作一张伪彩色图像，

S4、将三幅伪彩色图像进行脱色算法进行处理，得到三幅单波段图像，分别视为R、G和B三个通道，形成最终的可视化图像D，

D_i＝DECO(C_i)

上式中的D_i＝(P^3i-2,P^3i-1,P³ⁱ)表示由三个相邻波段组成的第i个伪彩色图像，DECO代表脱色算法，

S5、将得到的可视化图像输入到分类模型当中实现农作物的检测。

实施例二：

如图2所示，本实施例中的步骤S4中采用VGG-19卷积神经网络模型实现的，包括如下步骤：

S42、定义一个感知损失函数，用来测量彩色和灰色图像之间的低级和高级感知差异；

S43、感知特征由包含16层卷积层和5层池化层的VGG-19网络提供；S44、该网络中的每层都设有一个线性滤波器(Conv)和一个非线性激活函数(ReLU)，分别对应于密集感知和稀疏感知，其中密集感知描述的是高阶认知的卷积输出，稀疏感知描述了特征选择的卷积输入，

对于图像脱色处理，计算了VGG19神经网络的低层感知层(第1层)和高层感知层(第2、4、8、16层)的特征重构损失，这里的高层感知层可以根据需求设置不同的层次，此外，低层感知和高层感知可以分别设置权重系数，以使得网络关注不同层次的特征，例如本实施例中的底层感知层权重为1，高层感知层随着网络层数的加深，权重由1减至0.25。

其中的感知损失的目的是希望彩色图像和灰度图像具有相似的感知表征，该脱色方法的目的是利用图像的深度特征来最小化灰度图像和彩色图像之间的感知损失，该脱色方法在处理过程中兼顾了原始图像的局部和全局中的显著性对比度信息。

本实施例中的VGG19卷积神经网络中的参数大部分都是通过网络训练得来，因此针对不同高光谱仪器在不同场景下获得的高光谱图像进行可视化检测时，不需要改变网络的结构，仅需改变少许参数，具有很强的普适性和鲁棒性。

实施例三：

如图3-4所示，为了对本实施例的基于脱色的农作物高光谱图像可视化检测方法进行验证，本实施例中利用AVIRIS传感器于美国加利福尼亚州的Salinas山谷拍摄得到高光谱图像进行验证实验，该数据集图像包含204个波段，空间尺寸为512×217,共包含111104个像素，其中56975个像素是背景像素，可用于分类的像素有54129个，这些像素总共有16个类别，包括休耕地(Fallow)、芹菜(Celery)、玉米(Corn)等，在实际过程中，将Salinas数据集中每个类别的10％的数据数据作为训练集，90％的数据作为测试集，并对比了4种典型的高光谱图像可视化方法，其中可视化图像的评价指标有4种，分别是信息熵(Entropy)、分形维数(CFD)，其中信息熵代表图像信息保存程度的度量，即图像所包含的平均信息量的多少,嫡值越大则所含信息量越多，分形维数是用来评估可视化图像的复杂性，值越大则越好，展示了三种典型的高光谱可视化方法PCA、DHV-GcsDecolor、DHV-SPDecolor和本实施例提出的方法在Salinas数据集上可视化结果的对比，图4(A)为PCA方法选取前三个主成分可视化的结果图，图4(B)是基于GcsDecolor脱色方法的可视化结果图，图4(C)是基于SPDecolor方法的可视化结果图，图4(D)为本实例提出的方法(DHV-VGG19)可视化的结果图，从图像中可以看出，本实例提出的方法更贴近人类的视觉感知，更符合真实的色彩。

实施例四：

图6展示了三种典型的成像方法PCA、DHV-GcsDecolor(DHV-1)、DHV-SPDecolor(DHV-2)和本实施例提出的方法(DHV-VGG19,DHV-3)在Salinas数据集上成像实验的客观评价指标，最好的数值结果被标黑。

从图6中可以看出，本实施例方法(DHV-3)的所有客观评价指标都优于其他方法，这是因为本实施例方法将(DHV-3)在可视化过程中依靠第一层卷积层感知了图像的边缘信息，依靠2、4、8和16共四层高层的卷积层感知了图像的显著性信息，在可视化过程中兼顾保存了图像的局部信息和全局信息，尽可能的保存了图像的空间和光谱细节，生成的图像更贴近人类视觉。

图7展示了三种典型的高光谱可视化方法和本实例提出的方法在Salinas数据集上得到的可视化图像结合支持向量机(SVM)机器学习模型对农作物的识别结果，其中的识别精度评价指标共有4种，分别是总体分类精度OA、各个类别分类精度CA、平均分类精度AA和Kappa系数，值越大代表分类识别的精度越高。

从图6中可以看出，本实施例方法(DHV-3)在SVM模型中针对农作物的各个类别分类精度CA大多都优于或与其他方法几乎持平，而总体分类精度OA、平均分类精度AA和Kappa系数都超过90，优于其余方法，总体的分类效果较为理想，这是因为本实例方法相比其余方法，保留了高光谱图像更多的特征可辨性和空间细节，因此在高光谱图像的可视化和农作物分类精度方面都具有最佳的整体性能，需要说明的是，这里的分类模型只是简单的应用的SVM模型，可以通过设计或引入更优的分类模型以实现更精准的分类识别。

图5展示了三种典型的高光谱可视化方法PCA、DHV-1、DHV-2和本实施例提出的方法在Salinas数据集上得到的可视化图像结合SVM模型的农作物分类识别图，图5(A)为基于PCA可视化图像的农作物分类识别图，图5(B)是基于GcsDecolor脱色方法的可视化图像的农作物分类识别图，图5(C)是基于SPDecolor方法的可视化图像的农作物分类识别图，图5(D)为本实例提出的方法可视化图像的农作物分类识别图，从图像中可以看出，本实例提出的方法整体农作物分类精度最佳。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于脱色方法的农作物高光谱图像可视化检测方法，其特征在于：包括如下检测步骤：

S2、在每个子集中采用平均法融合，得到高光谱波段；

S3、将得到的高光谱波段划分为大小相等的子集；

2.根据权利要求1所述的一种基于脱色方法的农作物高光谱图像可视化检测方法，其特征在于：所述每个子集都有相邻且不重复的波段。

3.根据权利要求1所述的一种基于脱色方法的农作物高光谱图像可视化检测方法，其特征在于：所述的步骤S4中，包括如下步骤：

4.根据权利要求3所述的一种基于脱色方法的农作物高光谱图像可视化检测方法，其特征在于：所述VGG-19网络中的参数通过训练获取。

5.根据权利要求3所述的一种基于脱色方法的农作物高光谱图像可视化检测方法，其特征在于：所述网络为神经网络，且神经网络的高层感知层和低层感知层的算法权重范围为0-1，且高层感知层和低层感知层权重相互独立。

6.根据权利要求1所述的一种基于脱色方法的农作物高光谱图像可视化检测方法，其特征在于：所述步骤S4的图像脱色处理算法还包括DHV-GcsDecolor或DHV-SPDecolor中的任意一种。