CN112801853B - 基于napc的高光谱图像特征提取的并行加速方法 - Google Patents

Abstract

本发明公开了一种基于NAPC的高光谱图像特征提取的并行加速方法。其步骤为：S1：输入高光谱原始图像数据，通过padding改变尺寸来达到后续计算空间优化；S2：初始化后，搭建核函数完成噪声估计，调用SGEMMS库计算协方差矩阵，并利用cusolver对噪声协方差矩阵进行第一次SVD变换；S3：用SVD分解结果计算调整后的观测矩阵，对其进行第二次SVD变换；S4：利用提出的新的选取规则自适应确定降维数K值，并根据K值裁剪得到调整矩阵，继续计算得到最终的变换矩阵与降维后的数据。关闭整套函数调用，释放空间。计算结果显示并行部署的特征提取效果在分类准确性上保持很高的水准，并在计算开销上与OpenCV和PyTorch的实现相比有很大的加速比，满足更高的实时性要求。

Description

基于NAPC的高光谱图像特征提取的并行加速方法

技术领域

本发明主要涉及到高光谱图像特征提取的并行化及实时性，特指一种基于NAPC的高光谱图像并行加速方法。

背景技术

高光谱成像技术在紫外、可见光、红外等电磁波谱范围内以纳米级的光谱分辨率，对待测地物表面连续的多达数百个光谱波段上同时成像，即同步获取地物的光谱信息与空间分布信息。高光谱图像是一个二维图形空间和一维光谱的图像立方体，同时描述了目标分布的二维空间图像信息和目标光谱特征的一维光谱信息，实现“图谱合一”。每个像元是由数百个窄波段的光谱信息构成的完整而连续的光谱曲线，具有相同连续光谱曲线的一组像元表示同种地物，不同的光谱曲线表示不同的地物类别的空间分布。相对于可见光和多光谱相机，高光谱成像光谱仪可以获取更加丰富的地物光谱信息，待测地物更加细微的光谱属性得到反映,广泛应用于遥感、军事、农业、医学、环境监测等诸多领域。

有效的特征提取成为关键。为了提高高光谱数据的应用效率，首先需要进行数据降维。数据降维是高光谱图像处理和应用的首要研究方向之一，主要是以简化和优化图像特征为目的，利用低维数据来有效地表达高维数据的信息，同时也压缩了数据量，更有利于信息的高精度快速提取。另外，由于传感器仪器的误差和其他环境因素的影响，高光谱图像获取的信息不可避免的会包含部分噪声，使得获取的高光谱图像信息存在一定程度的“失真”。为了解决上述问题，进行高光谱图像的数据降维同时，简化和优化高光谱图像特征，还要抑制噪声，最大程度地保留图像有效信息。

光谱特征主要包括线性的特征提取方法和非线性的特征提取方法。常见的线性特征提取方法有主成分分析(Principal Components Analysis，PCA)、独立分量分析(Independent Component Analysis，ICA)、最大噪声分数变换(Maximum Noise Fraction，MNF)和线性判别分析方法(Linear Discriminant Analysis，LDA)等。常见的非线性降维方法则以基于流形学习、图论和核变换的非线性特征提取方法为主。

噪声适应主成分分析方法(noise adaptive principal component algorithm,NAPC)首先对数据噪声进行估计，得到噪声协方差矩阵，用于分离和调节数据中的噪声，去除数据噪声的相关性，并对噪声进行归一化处理，得到方差为1且不相关的噪声数据；然后，分别对噪声数据和信号数据进行PCA变换，并求PCA变换后数据的信噪比；最后，由大到小排列信噪比，得到数据的各主成分信息。PCA是根据方差大小来获取主成分信息，而NAPC是由信噪比大小来确定主成分信息，减少了噪声的影响，是MNF的一种变化形式，达到相同的目的的另外一种计算形式，即在完成特征降维的同时进行降噪处理，是一种常用的有效的特征提取方法。对比文件CN103500343A提出基于MNF变换结合扩展属性滤波的高光谱影像分类方法，该方法通过MNF在降噪的同时，能够有效地降低高光谱数据的维数。在此基础上，将降维后的光谱信息和EAP滤波所得的纹理信息组合，再利用K-type SVM降低计算代价同时又和RBF核具有相似的性能的特点，从而提高了高光谱遥感影像的分类精度。对比文件CN106897668A提供了一种基于遥感影像的草地退化程度自动提取方法，利用MNF进行波段优选，降低了数据处理量，提高提取效率，基本消除椒盐效应，能对草地退化信息进行有效提取，达到了理想的提取精度。

但是近些年来实时性要求的应用逐渐变多或者实时处理与响应成为任务的主要矛盾，例如高光谱图像设备的高性能计算和在轨处理(无人机的巡航普查等)，高光谱图像带的数量使得这些特征提取算法通常也很耗时，在特征提取的过程进行加速也是重要的研究方向。然而包括上述的专利提供的方法，虽均在算法层面提高一定的准确率或者在利用层面展开新的拓展，却没有对其实时性指标进行评估。特征提取算法涉及大量的矩阵运算，并且高光谱本身的多波段数据量大等特点，使得本身的特征提取过程具有相当的时间开销。那么在保证特征提取效果不受影响的前提下，在此过程进行并行加速优化，是重要的研究内容。

本发明根据高光谱图像的特点及NAPC算法的计算流程，针对性的对并行环节进行部署，做到计算效率最大，数据传输尽量少，利用多种优化手段，使得加速比达到最高。

发明内容

本发明要解决的技术问题是提出一种灵活有效的高光谱特征提取方法，即基于NAPC算法，在保证特征提取的效果的同时，利用GPU对其进行并行部署，并优化并行效果，达到最大的加速效果，满足实时性要求。

为解决上述技术问题，本发明采用以下技术方案：

基于NAPC的高光谱图像特征提取的并行加速方法，图1示出了本发明计算流程图。其具体步骤为：

S1：输入高光谱原始图像数据，将三维数据块按像素点展开，形成原图像的二维矩阵，并初始化设备句柄，即创造CPU(host)与GPU(device)相关指针变量，为中间矩阵运算开辟内存，同时初始化CUDA相关句柄变量，例如CUDA库函数，时间函数等；根据高光谱图像数据的特点，将空间维度与光谱维度的值padding到16的倍数，并根据padding后的维度数对device进行空间开辟，并且保留padding后的参数，以使得空间不但能完全储存高光谱数据量，还能按照CUDA每个SM的硬件计算特点，达到最高的计算效率；

S2：将高光谱二维矩阵数据从host传递到device，通过原始数据对高光谱进行噪声估计，且构建过程在device端进行；根据高光谱数据特点组织线程完成噪声估计核函数的构建，使计算效率达到最高，线程组织形式如图2所示；调用SGEMMS库并计算原始数据与噪声数据的协方差矩阵，并利用cusolver对噪声协方差矩阵进行第一次SVD变换；

S3：在device端利用SVD分解结果计算噪声白化矩阵，然后利用白化矩阵计算调整后观测矩阵；对调整后观测矩阵进行第二次SVD变换，再次利用cusolver库函数，此时根据库函数指针将计算结果由device传递到host；

S4：根据选取规则自适应确定降维数K值，其中选取规则以特征分解的特征值及其梯度作为约束条件；首先，将所有奇异值放入向量V＝[σ₁,σ₂,…,σ_r]，按降序排列，σ_k代表第k奇异值，r≥k≥1；然后计算奇异值向量V的梯度向量G，记作[g₁,g₂,…,g_r],g_k代表第k梯度值，r≥k≥1；然后，在找到第一个σ_k同时满足以下选择规则：

并根据K值裁剪得到调整矩阵并从host传递到device，然后根据裁剪后的数据与第一次SVD分解结果得到噪声白化矩阵，继续计算最终的变换矩阵与降维后的数据，将最终结果从device传递到host；最后关闭整套函数调用，释放空间；

S5：将计算结果采用SVM进行分类测试，同时导出时间函数的计算值。

与现有技术相比，本发明的优点在于：

1、在NAPC分类精度不变的情况下，大幅提高特征提取的效率。

2、选取规则可以自适应根据不同数据集选取K值，能够做到满足高水平分类精度的同时将数据维度降到最低。

3、同其他并行方案不同，本并行方案针对高光谱数据的特点与算法的计算步骤，针对部署整套的并行计算流程，从数据输入到计算结果导出，同时包含了GPU端的特征提取部分。

4、利用reduction，padding，shared memory，Device memory reused等针对性地进行优化，以获取最大的加速效果。

附图说明

图1是本发明计算流程图；

图2是本发明奇异值分解结果矩阵裁剪示意图。

具体实施方式

基于NAPC的高光谱图像特征提取的并行加速方法，图1示出了本发明计算流程图。其具体步骤为：

S1：输入高光谱原始图像数据，将三维数据块按像素点展开，形成原图像的二维矩阵，并初始化设备句柄，即创造CPU(host)与GPU(device)相关指针变量，为中间矩阵运算开辟内存，同时初始化CUDA相关句柄变量，例如CUDA库函数，时间函数等；根据高光谱图像数据的特点，将空间维度与光谱维度的值padding到16的倍数，并根据padding后的维度数对device进行空间开辟，并且保留padding后的参数，以使得空间不但能完全储存高光谱数据量，还能按照CUDA每个SM的硬件计算特点，达到最高的计算效率；

S2：将高光谱二维矩阵数据从host传递到device，通过原始数据对高光谱进行噪声估计，且构建过程在device端进行；根据高光谱数据特点组织线程完成噪声估计核函数的构建，使计算效率达到最高，线程组织形式如图2所示；调用SGEMMS库并计算原始数据与噪声数据的协方差矩阵，并利用cusolver对噪声协方差矩阵进行第一次SVD变换；

S3：在device端利用SVD分解结果计算噪声白化矩阵，然后利用白化矩阵计算调整后观测矩阵；对调整后观测矩阵进行第二次SVD变换，再次利用cusolver库函数，此时根据库函数指针将计算结果由device传递到host；

S4：根据选取规则自适应确定降维数K值，其中选取规则以特征分解的特征值及其梯度作为约束条件；首先，将所有奇异值放入向量V＝[σ₁,σ₂,…,σ_r]，按降序排列，σ_k代表第k奇异值，r≥k≥1；然后计算奇异值向量V的梯度向量G，记作[g₁,g₂,…,g_r],g_k代表第k梯度值，r≥k≥1；然后，在找到第一个σ_k同时满足以下选择规则：

并根据K值裁剪得到调整矩阵并从host传递到device，然后根据裁剪后的数据与第一次SVD分解结果得到噪声白化矩阵，继续计算最终的变换矩阵与降维后的数据，将最终结果从device传递到host；最后关闭整套函数调用，释放空间；

S5：将计算结果采用SVM进行分类测试，同时导出时间函数的计算值。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (1)

1.基于NAPC的高光谱图像特征提取的并行加速方法，其特征在于，具体步骤为：

S1：输入高光谱原始图像数据，将三维数据块按像素点展开，形成原图像的二维矩阵，并初始化设备句柄，即创造CPU host与GPU device相关指针变量，为中间矩阵运算开辟内存，同时初始化CUDA相关句柄变量；根据高光谱图像数据的特点，将空间维度与光谱维度的值padding到16的倍数，并根据padding后的维度数对device进行空间开辟，并且保留padding后的参数，以使得空间不但能完全储存高光谱数据量，还能按照CUDA每个SM的硬件计算特点，达到最高的计算效率；

S2：将高光谱二维矩阵数据从host传递到device，通过原始数据对高光谱进行噪声估计，且构建过程在device端进行；根据高光谱数据特点组织线程完成噪声估计核函数的构建，使计算效率达到最高；调用SGEMMS库并计算原始数据与噪声数据的协方差矩阵，并利用cusolver对噪声协方差矩阵进行第一次SVD变换；

S3：在device端利用SVD分解结果计算噪声白化矩阵，然后利用白化矩阵计算调整后观测矩阵；对调整后观测矩阵进行第二次SVD变换，再次利用cusolver库函数，此时根据库函数指针将计算结果由device传递到host；

S4：根据选取规则自适应确定降维数K值，其中选取规则以特征分解的特征值及其梯度作为约束条件；首先，将所有奇异值放入向量V＝[σ₁,σ₂,…,σ_r]，按降序排列，σ_k代表第k奇异值，r≥k≥1；然后计算奇异值向量V的梯度向量G，记作[g₁,g₂,…,g_r],g_k代表第k梯度值，r≥k≥1；然后，在找到第一个σ_k同时满足以下选择规则：

并根据K值裁剪得到调整矩阵并从host传递到device，然后根据裁剪后的数据与第一次SVD分解结果得到噪声白化矩阵，继续计算最终的变换矩阵与降维后的数据，将最终结果从device传递到host；最后关闭整套函数调用，释放空间；

S5：将计算结果采用SVM进行分类测试，同时导出时间函数的计算值。

Images