CN113420640B - 红树林高光谱图像分类方法、装置、电子设备及存储介质 - Google Patents
红树林高光谱图像分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113420640B CN113420640B CN202110685359.7A CN202110685359A CN113420640B CN 113420640 B CN113420640 B CN 113420640B CN 202110685359 A CN202110685359 A CN 202110685359A CN 113420640 B CN113420640 B CN 113420640B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- hyperspectral
- gradient histogram
- mangrove
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种红树林高光谱图像分类方法、装置、电子设备及存储介质，通过对红树林植被的高光谱图像的像元的三维局部立方体邻域进行三维梯度直方图特征的提取，然后将提取到的特征输入至空谱孪生网络中计算相似度，通过空谱孪生网络可以准确地对高光谱图像中的空谱信息进行识别，从而实现精准的分类，提升了基于空谱特征对高光谱图像进行分类的准确率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种红树林高光谱图像分类方法、装置、电子设备及存储介质。
背景技术
高光谱图像借助于其可达纳米级别的分辨率，可以检测出目标区域从紫外、可见光到近红外和中红外区域的数百个连续波段的光谱信息，并且将成像技术与光谱技术成功结合在了一起，从而形成了以像素为单位的包含着目标区域空间结构以及光谱信息的独特的三维高光谱图像立方体数据结构。由于能够提供地物的空间信息和光谱信息，高光谱图像目前已经成为红树林监测方面的一项重要数据来源。
然而，目前使用高光谱图像对红树林植被进行监控主要由两个权值共享的子网络衡量两个输入间的相似度来实现。但是这种方式仅是简单的提取高光谱像元中单个维度上的空谱特征，并未充分考虑到红树林高光谱像元中光谱信息相似的特性以及空间维度上的空谱特征，导致提取的空谱特征并不准确，使得最后的分类准确率较低。
发明内容
本发明的主要目的在于解决现有技术中对红树林的高光谱图像的分类精准率较低的技术问题。
本发明第一方面提供了一种红树林高光谱图像分类方法，所述红树林高光谱图像分类方法包括：
获取红树林植被的高光图谱图像，并提取所述高光谱图像中待识别区域的高光谱像元；
根据所述高光谱像元构造对应的三维局部立方体邻域；
利用三维梯度直方图特征算法，提取所述三维局部立方体邻域中的特征描述子，得到局部空谱特征，其中所述局部空谱特征为由至少一个三维梯度直方图特征组成的三维梯度直方图特征序列；
基于所述三维梯度直方图特征序列构建样本数据对，并将所述样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度；
根据所述空谱特征相似度对所述高光谱图像进行分类。
可选的，在本发明第一方面的第一种实现方式中，所述根据所述高光谱像元构造对应的三维局部立方体邻域包括：
计算所述高光谱像元的空域信息和光谱域信息；
根据所述空域信息和光谱域信息确定所述高光谱像元的波段大小；
根据所述波段大小，构造所述高光谱像元的三维局部立方体邻域。
可选的，在本发明第一方面的第二种实现方式中，所述利用三维梯度直方图特征算法，提取所述三维局部立方体邻域中的特征描述子，得到局部空谱特征包括：
提取所述三维局部立方体邻域的三维平面信息；
利用三维梯度直方图特征算法，提取所述三维平面信息中三个平面的每个像素点的梯度直方图特征描述子；
根据从三个平面提取到的各像素点的所述梯度直方图特征描述子进行连接，得到局部空谱特征。
可选的，在本发明第一方面的第三种实现方式中，所述利用三维梯度直方图特征算法，提取所述三维平面信息中三个平面的每个像素点的梯度直方图特征描述子包括：
计算所述三维平面信息中三个平面上的所有像素点的梯度大小和方向；
基于各平面的所述梯度大小和方向，设置平面对应的梯度直方图中块的尺寸和直方图的大小；
根据各平面的所述块的尺寸和直方图的大小，确定各平面的梯度直方图特征描述子。
可选的，在本发明第一方面的第四种实现方式中，所述根据从三个平面提取的各像素点的所述梯度直方图特征描述子进行连接，得到局部空谱特征包括：
将三个平面中的所有梯度直方图特征描述子，按照相同像素点进行分类，并将分类号的同像素点的梯度直方图特征描述子进行连接，得到每个像素点的三维梯度直方图特征；
计算所述高光谱图像中待识别区域的步长，以及各像素点的三维梯度直方图特征之间的相关度；
根据所述步长和所述相关度，生成得到所述高光谱像元的局部空谱特征。
可选的，在本发明第一方面的第五种实现方式中，所述基于所述三维梯度直方图特征序列构建样本数据对，并将所述样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度包括：
将所述三维梯度直方图特征序列中的每个三维梯度直方图特征分别与预设的同类基准样本和异类基准样本进行组合，生成至少一个样本数据对，其中每个样本数据对包括一个正样本和一个反样本；
将所述正样本和反样本同时输入至空谱孪生网络中计算所述正样本和反样本之间的相似度，得到空谱特征相似度。
可选的，在本发明第一方面的第六种实现方式中，所述空谱孪生网络包括一维卷积层和对比损失函数层，所述将所述正样本和反样本同时输入至空谱孪生网络中计算所述正样本和反样本之间的相似度，得到空谱特征相似度包括：
将所述正样本和反样本同时输入至所述一维卷积层中，通过所述一维卷积层对所述正样本和反样本进行卷积计算，得到对应的特征向量；
将所述特征向量输入至所述对比损失函数层进行距离计算，得到各三维梯度直方图特征的欧氏距离值；
根据各三维梯度直方图特征的欧氏距离值计算空谱特征相似度。
本发明第二方面提供了一种红树林高光谱图像分类装置，所述红树林高光谱图像分类装置包括：
第一提取模块，用于获取红树林植被的高光图谱图像，并提取所述高光谱图像中待识别区域的高光谱像元；
邻域构建模块，用于根据所述高光谱像元构造对应的三维局部立方体邻域；
第二提取模块，用于利用三维梯度直方图特征算法，提取所述三维局部立方体邻域中的特征描述子，得到局部空谱特征，其中所述局部空谱特征为由至少一个三维梯度直方图特征组成的三维梯度直方图特征序列；
相似度计算模块，用于基于所述三维梯度直方图特征序列构建样本数据对，并将所述样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度；
分类模块，用于根据所述空谱特征相似度对所述高光谱图像进行分类。
可选的，在本发明第二方面的第一种实现方式中，所述邻域构建模块包括：
计算单元，用于计算所述高光谱像元的空域信息和光谱域信息；
确定单元，用于根据所述空域信息和光谱域信息确定所述高光谱像元的波段大小；
构建单元，用于根据所述波段大小，构造所述高光谱像元的三维局部立方体邻域。
可选的，在本发明第二方面的第二种实现方式中，所述第二提取模块包括：
平面提取单元，用于提取所述三维局部立方体邻域的三维平面信息；
描述子提取单元，用于利用三维梯度直方图特征算法，提取所述三维平面信息中三个平面的每个像素点的梯度直方图特征描述子；
连接单元，用于根据从三个平面提取到的各像素点的所述梯度直方图特征描述子进行连接，得到局部空谱特征。
可选的，在本发明第二方面的第三种实现方式中，所述描述子提取单元具体用于：
计算所述三维平面信息中三个平面上的所有像素点的梯度大小和方向；
基于各平面的所述梯度大小和方向，设置平面对应的梯度直方图中块的尺寸和直方图的大小；
根据各平面的所述块的尺寸和直方图的大小，确定各平面的梯度直方图特征描述子。
可选的，在本发明第二方面的第四种实现方式中，所述连接单元具体用于：
将三个平面中的所有梯度直方图特征描述子，按照相同像素点进行分类，并将分类号的同像素点的梯度直方图特征描述子进行连接，得到每个像素点的三维梯度直方图特征；
计算所述高光谱图像中待识别区域的步长，以及各像素点的三维梯度直方图特征之间的相关度；
根据所述步长和所述相关度，生成得到所述高光谱像元的局部空谱特征。
可选的，在本发明第二方面的第五种实现方式中，所述相似度计算模块包括：
样本生成单元，用于将所述三维梯度直方图特征序列中的每个三维梯度直方图特征分别与预设的同类基准样本和异类基准样本进行组合，生成至少一个样本数据对，其中每个样本数据对包括一个正样本和一个反样本；
相似度计算单元，用于将所述正样本和反样本同时输入至空谱孪生网络中计算所述正样本和反样本之间的相似度，得到空谱特征相似度。
可选的，在本发明第二方面的第六种实现方式中，所述空谱孪生网络包括一维卷积层和对比损失函数层，所述相似度计算单元具体用于：
将所述正样本和反样本同时输入至所述一维卷积层中，通过所述一维卷积层对所述正样本和反样本进行卷积计算，得到对应的特征向量；
将所述特征向量输入至所述对比损失函数层进行距离计算，得到各三维梯度直方图特征的欧氏距离值；
根据各三维梯度直方图特征的欧氏距离值计算空谱特征相似度。
本发明第三方面提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面提供的红树林高光谱图像分类方法中的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的红树林高光谱图像分类方法中的各个步骤。
本发明的技术方案中，通过提取红树林植被的高光谱图像的高光谱像元，并构造高光谱像元的三维局部立方体邻域，利用三维梯度直方图特征算法提取三维局部立方体邻域中的特征描述子，基于特征描述子得到局部空谱特征，该局部空谱特征是三维梯度直方图特征序列，根据三维梯度直方图特征序列构建样本数据对，并将样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度，基于空谱特征相似度对高光谱图像进行分类。由于上述对红树林植被的高光谱图像的像元的三维局部立方体邻域进行三维梯度直方图特征的提取，然后将提取到的特征输入至空谱孪生网络中计算相似度，通过空谱孪生网络可以准确地对高光谱图像中的空谱信息进行识别，从而实现精准的分类，提升了基于空谱特征对高光谱图像进行分类的准确率。
附图说明
图1为本发明实施例中提取三维梯度直方图特征的示意图；
图2为本发明实施例中空谱孪生网络的结构图；
图3为本发明中红树林高光谱图像分类方法的第一个实施例示意图；
图4为本发明中红树林高光谱图像分类方法的第二个实施例示意图；
图5为本发明中红树林高光谱图像分类装置的一个实施例示意图；
图6为本发明中红树林高光谱图像分类装置的另一个实施例示意图；
图7为本发明中电子设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于新的空谱孪生网络对红树林高光谱图像进行分类的方法，具体是通过引入一种改进的3D-HOG特征描述算法，实现了红树林高光谱图像的空谱特征的提取，同时提出了一种基于1D-CNN的空谱孪生网络的架构，有效地实现了对红树林植被的空谱特征之间相似性的分析，相似性的分析具体是采用距离度量的方式计算，最终实现有效分类、，从而有效提升高光谱图像的分类准确率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中，红树林高光谱图像为
，其中，x和y表示红树林高光谱图像的空域坐标，z表示红树林高光谱图像的第z个波段，可见，波段数为λ的高光谱像元为/>
，其中λ表示红树林高光谱图像的波段数。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1-3所示，本发明实施例中红树林高光谱图像分类方法的第一个实施例包括：
101、获取红树林植被的高光图谱图像，并提取高光谱图像中待识别区域的高光谱像元；
该步骤中，该高光谱图像具体是通过高光谱成像仪拍摄红树林植被得到，由于高光谱成像仪在拍摄时是存在成像间隔的，而高光谱图像可以理解为是通过多个间隔拍摄的成像合成的图像，对此，在提取高光谱像元时，具体是基于成像时的间隔来逐一提取，由于成像时的相邻波段之间的图像相关度较高，因此，提取后得到的高光谱像元还包括对高光谱像元进行排序，得到高光谱像元的序列。
102、根据高光谱像元构造对应的三维局部立方体邻域；
在该步骤中，在构造三维局部立方体邻域时，是基于红树林的高光谱像元中的空域信息和光谱域信息进行构建，具体的，首先计算所述高光谱像元的空域信息和光谱域信息；然后根据所述空域信息和光谱域信息确定所述高光谱像元的波段大小；最后根据所述波段大小，构造所述高光谱像元的三维局部立方体邻域。
在实际应用中，首先基于红树林的高光谱像元构建三个平面，基于三个平面得到三维坐标，提取高光谱像元中待识别区域的像素点，并结合三维坐标将各像素点构建出对应的三维局部立方体邻域，可选的，在提取到像素点后，根据像素点的坐标信息按照平面进行归类排序，从而组成对应的三维局部立方体邻域。
103、利用三维梯度直方图特征算法，提取三维局部立方体邻域中的特征描述子，得到由至少一个三维梯度直方图特征组成的局部空谱特征；
该步骤中，所述局部空谱特征可以理解为是由至少一个三维梯度直方图特征组成的三维梯度直方图特征序列，利用三维梯度直方图特征算法（3D-HOG算法）对三维局部立方体邻域从三个方向维度进行描述子的提取，然后将各方向维度上提取到的描述子进行连接处理，得到局部空谱特征。在实际应用中，在得到局部空谱特征之前，首先需要将各维度上的描述子进行连接，得到每个维度上三维梯度直方图特征，然后将各维度上的三维梯度直方图特征进行关联和排序，得到局部空谱特征。
在实际应用中，高光谱像元有多各三维的像素点做组成，每个像素点在提取空谱特征时，是以单个平面的空谱特征提取的方式来实现，在提取到每个平面的空谱特征后，将三个不同维度的空谱特征进行连接，得到像素点的空谱特征，例如x-y平面
的梯度直方图特征提取具体是通过计算/>
所有像素点的梯度大小和方向，并设置相应的细胞单元大小，块的尺寸和直方图的大小，可最终得到该平面的梯度直方图特征/>
，同理，可计算得到x-z平面和y-z平面的梯度直方图特征/>
和/>
。则在第k个波段像素点的3D-HOG特征可表示为：/>
。
由于红树林高光谱图像通常具有上百个波段，各个波段间的相关度较大，为了得到更为精炼的3D-HOG特征描述子，我们将以一定的步长间隔来提取像元的局部空谱特征。设步长为S，则像元
的3D-HOG特征描述子的最终表达形式为如下：
104、基于三维梯度直方图特征序列构建样本数据对，并将样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度；
在本实施例中，该空谱孪生网络是基于一维卷积1D-CNN的孪生网络架构，该孪生网络架构可同时接收两个不同样本的输入，并对样本特征的相似度进行度量，以实现对样本的分类。
在实际应用中，该孪生网络架构为预先利用红树林高光谱图像的小样本训练得到，在训练的过程中具体是通过构造不同的正负样本对来计算相应的对比损失(Contrastive Loss)，从而学习到有效的网络参数。而在对样本职啊的相似度进行计算时，是通过在网络中引进了距离计算架构来实现，具体是计算特征之间的欧式距离来实现。
在本实施例中，该空谱孪生网络的结构如图2所示，该网络包括Conv1D层、Spatial_Dropout1D层、MaxPooling1D层、Flatten层和Dens层，其中， Conv1D为一维卷积层，Spatial_Dropout1D属于Dropout层，主要用于防止过拟合，MaxPooling1D为最大池化层，Flatten为展平层， Dense则为全连接层，将提取得到的高光谱像元的3D-HOG特征输入到该网络中，通过该网络进行相似度的计算，得到特征之间的相似度，即是空谱特征相似度。
105、根据空谱特征相似度对高光谱图像进行分类。
在该步骤中，该空谱特征相似度即是空间距离度量，具体为欧式距离，在对高光谱图像进行分类时，具体是通过计算特征之间的欧式距离来实现图像的检索和匹配，从而实现对高光谱图像的分类，除了欧式距离之外，还可以是马氏距离等距离度量，基于计算到的距离实现对高光图谱进行分类。
本发明实施例中，在高光谱图像的三维梯度直方图特性的基础上，将三个梯度直方图特征输入至一维卷积的孪生网络中进行相似度的计算，以得到能够更为有效表示像元的空谱特征，基于3D-HOG特征对红树林高光图像的空间域和光谱域的局部信息进行描述，以实现对红树林高光谱图像空谱域信息的联合提取，提高了空谱特征的提取准确度，最后计算提取到的特征的相似度对高光谱图像进行分类，从而大大提升了高光谱图像分类的实际准确率。
请参阅图4，本发明实施例中红树林高光谱图像分类方法的第二个实施例包括：
201、提取红树林植被的高光谱图像中待识别区域的高光谱像元，并基于高光谱像元构造对应的三维局部立方体邻域；
该步骤中，在构造三维局部立方体邻域时，具体通过对高光谱像元中的每个像素点，构造其相应的三维局部立方体邻域，并取其邻域内的三个平面(x-y平面，x-z平面，y-z平面)，基于三个平面进行三维局部立方体邻域的构造方法具体如下：
定义红树林高光谱图像为
，/>
和/>
表示红树林高光谱图像的空域坐标，
表示红树林高光谱图像的第z个波段。设红树林高光谱图像的像元为/>
，其中λ表示红树林高光谱图像的波段数。为了提取该像元在第k个波段的像素点的局部空谱特征，可构造其在第k个波段处的大小为/>
的局部空谱邻域，取其邻域内的三个平面分别为x-y平面/>
， x-z平面/>
和y-z平面/>
。
设
为红树林高光谱图像元中第k个像素点，对于x-y平面/>
，其梯度计算公式如下：
其中
表示像素点/>
的像素值，/>
表示平面/>
内的像素点/>
的y轴方向梯度，/>
表示平面/>
内的像素点/>
的x轴方向梯度。
和/>
分别为/>
平面中每一个像素点/>
的梯度大小和方向。
同理，x-z平面
和y-z平面/>
的邻域构造与x-y平面/>
的构造方式形同，这里不再重复赘述，在完成三个平面的邻域构造后，将三个平面的邻域合并，得到高光谱像元对应的三维局部立方体邻域。
202、提取三维局部立方体邻域的三维平面信息；
该步骤中，该三维平面信息具体指的是以三维坐标系统的坐标轴所在的平面作为三维局部立方体邻域的平面，即是x-y平面，x-z平面，y-z平面。
203、利用三维梯度直方图特征算法，提取三维平面信息中三个平面的每个像素点的梯度直方图特征描述子；
在本实施例中，该三维梯度直方图特征算法指的是基于传统的梯度直方图特征算法提出的一种改进的可以同时提取三个维度上的梯度直方图特征进行连接形成空谱特征的算法，具体是利用3D-HOG特征对红树林高光图像的空间域和光谱域的局部信息进行描述，以实现对红树林高光谱图像空谱域信息的联合提取。
在实际应用中，利用该三维梯度直方图特征算法分别对每个平面进行梯度直方图特征的提取，对于x-y平面
的梯度直方图特征提取，首先对x-y平面/>
中的每个像素点进行特征的提取，具体实现过程如下：
计算所述三维平面信息中三个平面上的所有像素点的梯度大小和方向；
基于各平面的所述梯度大小和方向，设置平面对应的梯度直方图中块的尺寸和直方图的大小；
根据各平面的所述块的尺寸和直方图的大小，确定各平面的梯度直方图特征描述子。
即是通过计算
所有像素点的梯度大小和方向，并设置相应的细胞单元大小，块的尺寸和直方图的大小，可最终得到该平面的梯度直方图特征/>
，同理，可计算得到x-z平面和y-z平面的梯度直方图特征/>
和/>
。
204、根据从三个平面提取到的各像素点的梯度直方图特征描述子进行连接，得到局部空谱特征；
该步骤中，具体是将三个平面中的所有梯度直方图特征描述子，按照相同像素点进行分类，并将分类号的同像素点的梯度直方图特征描述子进行连接，得到每个像素点的三维梯度直方图特征；
计算所述高光谱图像中待识别区域的步长，以及各像素点的三维梯度直方图特征之间的相关度；
根据所述步长和所述相关度，生成得到所述高光谱像元的局部空谱特征。
在实际应用中，各平面中得到的梯度直方图特征描述子通过空谱孪生网络中的展平层和全连接层进行处理后，输出是维度为128的特征向量。将该特征向量输入到对比损失函数层进行距离度量的计算，并基于计算到的距离度量预测出对应的相似度。
205、将三维梯度直方图特征序列中的每个三维梯度直方图特征分别与预设的同类基准样本和异类基准样本进行组合，生成至少一个样本数据对；
该步骤中，每个样本数据对包括一个正样本和一个反样本；
具体的，设
为输入到空谱孪生网络的一个样本数据对。在构造正数据对时，取普通样本数据与同类的基准样本构成正样本对，构造反数据对时，取普通样本数据与异类的基准样本构成反样本对，与此同时还需要输入该样本对的相应的类别标签。设带有类别标签的3D-HOG特征向量集表示为/>
，则与/>
相对应的类别标签为/>
，其中N为样本类别的个数。设/>
为样本对/>
的标签，则其有以下表达式：
因此，样本对中的样本来自于同一个类别，则设定该标签为1，相反的，如果样本对中的样本来自于同一个类别，设定该标签为0。
206、将样本数据对中的正样本和反样本同时输入至空谱孪生网络中计算正样本和反样本之间的相似度，得到空谱特征相似度。
在本实施例中，所述空谱孪生网络包括一维卷积层和对比损失函数层，该步骤具体实现为：
将所述正样本和反样本同时输入至所述一维卷积层中，通过所述一维卷积层对所述正样本和反样本进行卷积计算，得到对应的特征向量；
将所述特征向量输入至所述对比损失函数层进行距离计算，得到各三维梯度直方图特征的欧氏距离值；
根据各三维梯度直方图特征的欧氏距离值计算空谱特征相似度。
在实际应用 中，该空谱孪生网络中的对比损失函数可表示为如下：
最终可以看出，当两样本来自于同一类别时，得出的损失值
会依据/>
的增大而相应变大，而在两样本来自于不同类别时，得出的损失值/>
会依据/>
的减小而相应变大。
207、根据空谱特征相似度对所述高光谱图像进行分类。
该步骤中，在根据空谱特征相似度对红树林植被进行分类时，首先获取每个类别的基准样本的数据值，然后分别与待测样本构成样本对输入到已经训练好的空谱孪生网络中进行空间距离的预测，设待测样本与所有基准样本的一组预测距离值为
，通过计算/>
来选取距离值最小的一组判定为最优组，而最优组中的基准样本的类别也将被指定为待测样本的类别。
本发明实施例中，通过对红树林植被的高光谱图像的像元的三维局部立方体邻域进行三维梯度直方图特征的提取，然后将提取到的特征输入至空谱孪生网络中计算相似度，通过空谱孪生网络可以准确地对高光谱图像中的空谱信息进行识别，基于3D-HOG特征的空谱孪生网络取得了最高的分类精度，从而提升了对高光谱图像分类准确率。
上面对本发明实施例中红树林高光谱图像分类方法进行了描述，下面对本发明实施例中红树林高光谱图像分类装置进行描述，请参阅图5，本发明实施例中红树林高光谱图像分类装置一个实施例包括：
第一提取模块501，用于获取红树林植被的高光图谱图像，并提取所述高光谱图像中待识别区域的高光谱像元；
邻域构建模块502，用于根据所述高光谱像元构造对应的三维局部立方体邻域；
第二提取模块503，用于利用三维梯度直方图特征算法，提取所述三维局部立方体邻域中的特征描述子，得到局部空谱特征，其中所述局部空谱特征为由至少一个三维梯度直方图特征组成的三维梯度直方图特征序列；
相似度计算模块504，用于基于所述三维梯度直方图特征序列构建样本数据对，并将所述样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度；
分类模块505，用于根据所述空谱特征相似度对所述高光谱图像进行分类。
本实施例提供的装置在上述3D-HOG特征矢量的基础上，提出了一种基于一维卷积(1D-CNN)的空谱孪生网络结构，用于实现红树林高光谱图像的空谱特征的分类。本文针对红树林高光谱图像样本数据少的特点，利用孪生网络构造大量的数据对用于训练，并通过距离度量的方式计算两个样本的相似度，最终实现有效分类
进一步地，请参阅图6，图6为红树林高光谱图像分类装置各个模块的细化示意图，所述邻域构建模块502包括：
计算单元5021，用于计算所述高光谱像元的空域信息和光谱域信息；
确定单元5022，用于根据所述空域信息和光谱域信息确定所述高光谱像元的波段大小；
构建单元5023，用于根据所述波段大小，构造所述高光谱像元的三维局部立方体邻域。
在本发明的一些实施例，所述第二提取模块503包括：
平面提取单元5031，用于提取所述三维局部立方体邻域的三维平面信息；
描述子提取单元5032，用于利用三维梯度直方图特征算法，提取所述三维平面信息中三个平面的每个像素点的梯度直方图特征描述子；
连接单元5033，用于根据从三个平面提取到的各像素点的所述梯度直方图特征描述子进行连接，得到局部空谱特征。
在本发明的一些实施例，所述描述子提取单元5032具体用于：
计算所述三维平面信息中三个平面上的所有像素点的梯度大小和方向；
基于各平面的所述梯度大小和方向，设置平面对应的梯度直方图中块的尺寸和直方图的大小；
根据各平面的所述块的尺寸和直方图的大小，确定各平面的梯度直方图特征描述子。
在本发明的一些实施例，所述连接单元5033具体用于：
将三个平面中的所有梯度直方图特征描述子，按照相同像素点进行分类，并将分类号的同像素点的梯度直方图特征描述子进行连接，得到每个像素点的三维梯度直方图特征；
计算所述高光谱图像中待识别区域的步长，以及各像素点的三维梯度直方图特征之间的相关度；
根据所述步长和所述相关度，生成得到所述高光谱像元的局部空谱特征。
在本发明的一些实施例，所述相似度计算模块504包括：
样本生成单元5041，用于将所述三维梯度直方图特征序列中的每个三维梯度直方图特征分别与预设的同类基准样本和异类基准样本进行组合，生成至少一个样本数据对，其中每个样本数据对包括一个正样本和一个反样本；
相似度计算单元5042，用于将所述正样本和反样本同时输入至空谱孪生网络中计算所述正样本和反样本之间的相似度，得到空谱特征相似度。
在本发明的一些实施例，所述空谱孪生网络包括一维卷积层和对比损失函数层，所述相似度计算单元5042具体用于：
将所述正样本和反样本同时输入至所述一维卷积层中，通过所述一维卷积层对所述正样本和反样本进行卷积计算，得到对应的特征向量；
将所述特征向量输入至所述对比损失函数层进行距离计算，得到各三维梯度直方图特征的欧氏距离值；
根据各三维梯度直方图特征的欧氏距离值计算空谱特征相似度。
本发明实施例中，通过提取红树林植被的高光谱图像的高光谱像元，并构造高光谱像元的三维局部立方体邻域，利用三维梯度直方图特征算法提取三维局部立方体邻域中的特征描述子，基于特征描述子得到局部空谱特征，该局部空谱特征是三维梯度直方图特征序列，根据三维梯度直方图特征序列构建样本数据对，并将样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度，基于空谱特征相似度对高光谱图像进行分类。由于上述对红树林植被的高光谱图像的像元的三维局部立方体邻域进行三维梯度直方图特征的提取，然后将提取到的特征输入至空谱孪生网络中计算相似度，通过空谱孪生网络可以准确地对高光谱图像中的空谱信息进行识别，从而实现精准的分类，提升了基于空谱特征对高光谱图像进行分类的准确率。
上面图5和图6从模块化功能实体的角度对本发明实施例中的红树林高光谱图像分类装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。
图7是本发明实施例提供了一种电子设备的结构示意图，该电子设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessingunits，CPU）710（例如，一个或一个以上处理器）和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730（例如一个或一个以上海量存储设备）。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对电子设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在电子设备700上执行存储介质730中的一系列指令操作。在实际应用中，该应用程序733可以被分割成第一提取模块501、邻域构建模块502、第二提取模块503、相似度计算模块504和分类模块505(虚拟装置中的模块)的功能。
电子设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如：WindowsServe，MacOSX，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的电子设备结构还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令或计算机程序，当所述指令或计算机程序被运行时，使得计算机执行上述实施例提供的红树林高光谱图像分类方法的各个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-onlymemory，ROM）、随机存取存储器（randomaccessmemory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种红树林高光谱图像分类方法，其特征在于，所述红树林高光谱图像分类方法包括：
获取红树林植被的高光图谱图像，并提取所述高光谱图像中待识别区域的高光谱像元；
根据所述高光谱像元构造对应的三维局部立方体邻域；
利用三维梯度直方图特征算法，提取所述三维局部立方体邻域中的特征描述子，得到局部空谱特征，其中所述局部空谱特征为由至少一个三维梯度直方图特征组成的三维梯度直方图特征序列；
基于所述三维梯度直方图特征序列构建样本数据对，并将所述样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度；
根据所述空谱特征相似度对所述高光谱图像进行分类。
2.根据权利要求1所述的红树林高光谱图像分类方法，其特征在于，所述根据所述高光谱像元构造对应的三维局部立方体邻域包括：
计算所述高光谱像元的空域信息和光谱域信息；
根据所述空域信息和光谱域信息确定所述高光谱像元的波段大小；
根据所述波段大小，构造所述高光谱像元的三维局部立方体邻域。
3.根据权利要求1所述的红树林高光谱图像分类方法，其特征在于，所述利用三维梯度直方图特征算法，提取所述三维局部立方体邻域中的特征描述子，得到局部空谱特征包括：
提取所述三维局部立方体邻域的三维平面信息；
利用三维梯度直方图特征算法，提取所述三维平面信息中三个平面的每个像素点的梯度直方图特征描述子；
根据从三个平面提取到的各像素点的所述梯度直方图特征描述子进行连接，得到局部空谱特征。
4.根据权利要求3所述的红树林高光谱图像分类方法，其特征在于，所述利用三维梯度直方图特征算法，提取所述三维平面信息中三个平面的每个像素点的梯度直方图特征描述子包括：
计算所述三维平面信息中三个平面上的所有像素点的梯度大小和方向；
基于各平面的所述梯度大小和方向，设置平面对应的梯度直方图中块的尺寸和直方图的大小；
根据各平面的所述块的尺寸和直方图的大小，确定各平面的梯度直方图特征描述子。
5.根据权利要求4所述的红树林高光谱图像分类方法，其特征在于，所述根据从三个平面提取的各像素点的所述梯度直方图特征描述子进行连接，得到局部空谱特征包括：
将三个平面中的所有梯度直方图特征描述子，按照相同像素点进行分类，并将分类号的同像素点的梯度直方图特征描述子进行连接，得到每个像素点的三维梯度直方图特征；
计算所述高光谱图像中待识别区域的步长，以及各像素点的三维梯度直方图特征之间的相关度；
根据所述步长和所述相关度，生成得到所述高光谱像元的局部空谱特征。
6.根据权利要求1-5中任一项所述的红树林高光谱图像分类方法，其特征在于，所述基于所述三维梯度直方图特征序列构建样本数据对，并将所述样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度包括：
将所述三维梯度直方图特征序列中的每个三维梯度直方图特征分别与预设的同类基准样本和异类基准样本进行组合，生成至少一个样本数据对，其中每个样本数据对包括一个正样本和一个反样本；
将所述正样本和反样本同时输入至空谱孪生网络中计算所述正样本和反样本之间的相似度，得到空谱特征相似度。
7.根据权利要求6所述的红树林高光谱图像分类方法，其特征在于，所述空谱孪生网络包括一维卷积层和对比损失函数层，所述将所述正样本和反样本同时输入至空谱孪生网络中计算所述正样本和反样本之间的相似度，得到空谱特征相似度包括：
将所述正样本和反样本同时输入至所述一维卷积层中，通过所述一维卷积层对所述正样本和反样本进行卷积计算，得到对应的特征向量；
将所述特征向量输入至所述对比损失函数层进行距离计算，得到各三维梯度直方图特征的欧氏距离值；
根据各三维梯度直方图特征的欧氏距离值计算空谱特征相似度。
8.一种红树林高光谱图像分类装置，其特征在于，所述红树林高光谱图像分类装置包括：
第一提取模块，用于获取红树林植被的高光图谱图像，并提取所述高光谱图像中待识别区域的高光谱像元；
邻域构建模块，用于根据所述高光谱像元构造对应的三维局部立方体邻域；
第二提取模块，用于利用三维梯度直方图特征算法，提取所述三维局部立方体邻域中的特征描述子，得到局部空谱特征，其中所述局部空谱特征为由至少一个三维梯度直方图特征组成的三维梯度直方图特征序列；
相似度计算模块，用于基于所述三维梯度直方图特征序列构建样本数据对，并将所述样本数据对输入至空谱孪生网络中进行相似度的计算，得到空谱特征相似度；
分类模块，用于根据所述空谱特征相似度对所述高光谱图像进行分类。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的红树林高光谱图像分类方法中的各个步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的红树林高光谱图像分类方法中的各个步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110685359.7A CN113420640B (zh) | 2021-06-21 | 2021-06-21 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
| PCT/CN2021/138814 WO2022267388A1 (zh) | 2021-06-21 | 2021-12-16 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110685359.7A CN113420640B (zh) | 2021-06-21 | 2021-06-21 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113420640A CN113420640A (zh) | 2021-09-21 |
| CN113420640B true CN113420640B (zh) | 2023-06-20 |
Family
ID=77789490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110685359.7A Active CN113420640B (zh) | 2021-06-21 | 2021-06-21 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113420640B (zh) |
| WO (1) | WO2022267388A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420640B (zh) * | 2021-06-21 | 2023-06-20 | 深圳大学 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
| CN116310459B (zh) * | 2023-03-28 | 2024-01-19 | 中国地质大学（武汉） | 基于多视图空谱联合的高光谱图像子空间聚类方法 |
| CN116503669A (zh) * | 2023-05-22 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 轻量化层间多尺度密集网络的高光谱遥感图像分类方法 |
| CN116595208B (zh) * | 2023-07-17 | 2023-10-13 | 云南大学 | 高光谱图像的分类方法、装置及电子设备 |
| CN117275080B (zh) * | 2023-11-22 | 2024-07-16 | 涅生科技(广州)股份有限公司 | 基于计算机视觉的眼部状态识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022355A (zh) * | 2016-05-09 | 2016-10-12 | 西北工业大学 | 基于3dcnn的高光谱图像空谱联合分类方法 |
| WO2019047248A1 (zh) * | 2017-09-07 | 2019-03-14 | 深圳大学 | 高光谱遥感图像的特征提取方法及装置 |
| CN110163293A (zh) * | 2019-05-28 | 2019-08-23 | 武汉轻工大学 | 基于深度学习的红肉分类方法、装置、设备及存储介质 |
| CN111368896A (zh) * | 2020-02-28 | 2020-07-03 | 南京信息工程大学 | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 |
| CN112990316A (zh) * | 2021-03-18 | 2021-06-18 | 浪潮云信息技术股份公司 | 基于多显著性特征融合的高光谱遥感图像分类方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420640B (zh) * | 2021-06-21 | 2023-06-20 | 深圳大学 | 红树林高光谱图像分类方法、装置、电子设备及存储介质 |
-
2021
- 2021-06-21 CN CN202110685359.7A patent/CN113420640B/zh active Active
- 2021-12-16 WO PCT/CN2021/138814 patent/WO2022267388A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022355A (zh) * | 2016-05-09 | 2016-10-12 | 西北工业大学 | 基于3dcnn的高光谱图像空谱联合分类方法 |
| WO2019047248A1 (zh) * | 2017-09-07 | 2019-03-14 | 深圳大学 | 高光谱遥感图像的特征提取方法及装置 |
| CN110163293A (zh) * | 2019-05-28 | 2019-08-23 | 武汉轻工大学 | 基于深度学习的红肉分类方法、装置、设备及存储介质 |
| CN111368896A (zh) * | 2020-02-28 | 2020-07-03 | 南京信息工程大学 | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 |
| CN112990316A (zh) * | 2021-03-18 | 2021-06-18 | 浪潮云信息技术股份公司 | 基于多显著性特征融合的高光谱遥感图像分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113420640A (zh) | 2021-09-21 |
| WO2022267388A1 (zh) | 2022-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113420640B (zh) | 红树林高光谱图像分类方法、装置、电子设备及存储介质 | |
| Wang et al. | Pest24: A large-scale very small object data set of agricultural pests for multi-target detection | |
| He et al. | Application of deep learning in integrated pest management: a real‐time system for detection and diagnosis of oilseed rape pests | |
| Paulus et al. | Surface feature based classification of plant organs from 3D laserscanned point clouds for plant phenotyping | |
| Reddy et al. | Analysis of classification algorithms for plant leaf disease detection | |
| CN109165540B (zh) | 一种基于先验候选框选择策略的行人搜索方法和装置 | |
| WO2014151035A1 (en) | Computer-based method and system of dynamic category object recognition | |
| CN113052185A (zh) | 一种基于Faster R-CNN的小样本目标检测方法 | |
| US20130135301A1 (en) | Efficient scale-space extraction and description of interest points | |
| CN104376575B (zh) | 一种基于多摄像头监控的行人计数方法和装置 | |
| CN107145831B (zh) | 基于矢量概率扩散和马尔科夫随机场高光谱影像分类方法 | |
| CN112633297A (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
| CN112288761A (zh) | 一种异常发热的电力设备检测方法、装置和可读存储介质 | |
| CN116229189B (zh) | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 | |
| WO2017129115A1 (en) | Orientation-based subject-matching in images | |
| CN106295710B (zh) | 基于非几何约束的图像局部特征匹配方法、装置及终端 | |
| CN105447869B (zh) | 基于粒子群优化算法的摄像机自标定方法及装置 | |
| CN111898418A (zh) | 一种基于t-tiny-yolo网络的人体异常行为检测方法 | |
| JP2017129990A (ja) | 画像認識装置、画像認識方法、及び画像認識プログラム | |
| Fang et al. | A real-time anti-distractor infrared UAV tracker with channel feature refinement module | |
| CN105825215B (zh) | 一种基于局部近邻嵌入核函数的仪表定位方法及使用载体 | |
| Mitra et al. | A smart agriculture framework to automatically track the spread of plant diseases using mask region-based convolutional neural network | |
| KR101821770B1 (ko) | 특징 추출을 위한 기법들 | |
| JP2019021100A (ja) | 画像探索装置、商品認識装置および画像探索プログラム | |
| Samanta et al. | Spatial-resolution independent object detection framework for aerial imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |