CN117809193B - 一种无人机高光谱影像与地物高光谱数据融合方法 - Google Patents
一种无人机高光谱影像与地物高光谱数据融合方法 Download PDFInfo
- Publication number
- CN117809193B CN117809193B CN202410235594.8A CN202410235594A CN117809193B CN 117809193 B CN117809193 B CN 117809193B CN 202410235594 A CN202410235594 A CN 202410235594A CN 117809193 B CN117809193 B CN 117809193B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- hyperspectral
- unmanned aerial
- ground object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 9
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000001228 spectrum Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims description 29
- 230000003595 spectral effect Effects 0.000 claims description 19
- 239000000523 sample Substances 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000011158 quantitative evaluation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 19
- 235000011613 Pinus brutia Nutrition 0.000 description 19
- 241000018646 Pinus brutia Species 0.000 description 19
- 238000003860 storage Methods 0.000 description 16
- 230000004913 activation Effects 0.000 description 6
- 238000001994 activation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000243771 Bursaphelenchus xylophilus Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101100333320 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) end-3 gene Proteins 0.000 description 1
- 235000011609 Pinus massoniana Nutrition 0.000 description 1
- 241000018650 Pinus massoniana Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明属于数字图像处理技术领域，具体涉及一种无人机高光谱影像与地物高光谱数据融合方法及系统，通过结合先进的高光谱数据处理技术和图像融合算法，克服了现有技术的局限性，旨在整合无人机高光谱影像和地物高光谱数据的优势，提高融合后数据的一致性、准确性和有效性，针对不同数据源的高光谱数据的预处理技术，结合先进的图像融合算法和光谱数据处理技术，实现多尺度分析和特征提取方法的优化融合，从而有效解决现有技术中数据格式不兼容、精度差异和信息损失等问题，为高光谱图像的获取和分析提供了更全面、更准确的技术支持。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种无人机高光谱影像与地物高光谱数据融合方法。
背景技术
光谱成像技术基于电磁波谱的吸收、反射和辐射原理，能够对地表物体的光谱特征进行高分辨率的记录和分析，其工作原理是在数百至数千个连续的波段内采集地物反射或辐射的光谱信息，涵盖可见光、近红外、红外和热红外等波段。相比于传统的多光谱遥感技术，高光谱成像技术能够提供更为细致、更为精确的地物光谱特征，有助于对地表物体进行更准确的分类、识别和定量分析。高光谱成像技术已被广泛应用于土地利用、环境监测、农业管理、林业资源调查以及地质勘探等方面。然而，无人机高光谱影像和地物高光谱数据的融合是当前研究和实际应用中的一个富有挑战性的问题。
传统的数据融合方法往往面临着多方面的挑战。一方面，不同数据源（比如来自不同传感器或载荷的数据）的格式和空间分辨率不同，导致数据融合时的差异性；另一方面，现有融合方法忽略地物属性特征和无人机影像数据的空间分布，难以完全表达地物的高光谱特征。此外，数据融合过程中的信息丢失和噪声引入也限制融合后数据的精度和可信度。
针对这些问题，研究人员尝试采用多尺度分析、数据预处理和增强技术、特征提取等先进技术，以改善数据融合的精度和准确性。然而，目前仍缺乏一种完全解决高光谱数据格式兼容性、精度差异性和地物特征融合等问题的全面性方法。
发明内容
本发明的目的在于提供一种无人机高光谱影像与地物高光谱数据融合方法，通过结合先进的高光谱数据处理技术和图像融合算法，整合无人机高光谱影像和地物高光谱数据的优势，提高融合后数据的一致性、准确性和有效性，为高光谱图像的获取和分析提供更全面、更准确的技术支持，克服现有技术的局限性，以解决上述背景技术中提出的问题。
为实现上述目的，本发明采用了如下技术方案：一种无人机高光谱影像与地物高光谱数据融合方法，包括：使用无人机获取高光谱影像数据、从地面或其他数据源获取地物高光谱数据，对两种数据进行预处理，获取预处理数据；采用图像融合算法对所述预处理数据进行融合，再利用光谱数据处理技术对融合后的数据进行处理，获取融合影像；采用综合评价方法，对所述融合影像进行定量和定性评价，进行评估融合影像质量；对融合后的数据进行多尺度分析，探索地物在不同尺度上的特征表现，以获取更全面的信息，并运用特征提取方法，从融合数据中提取地物特征和光谱信息。
优选的，所述从地面或其他数据源获取地物高光谱数据，包括：以便携式地物光谱仪获取目标地物高光谱数据，数据清洗剔除异常后，筛选出合适的目标地物层高光谱数据。
优选的，所述便携式地物光谱仪采用25°视场角光纤探头采集目标地物光谱数据，采样数据每个点的光谱数据不少于10次。
优选的，所述使用无人机获取高光谱影像数据，包括：以低空无人机航空器搭载高光谱成像仪获取目标地物层高光谱影像。
优选的，所述低空无人机航空器采用推扫式成像，空间视场角为26.5°。
优选的，所述采用图像融合算法对所述预处理数据进行融合，包括：对所述预处理数据执行小波变换，提取高光谱影像的高频特征，通过将高光谱数据降维后，采用深度学习模型如CNN等执行样本训练、模型优化、数据模拟操作后，生成新的高频特征；将新生成的高频特征与小波变换提取的低频特征进行融合，以生成新融合影像。
优选的，所述利用光谱数据处理技术对融合后的数据进行处理，获取融合影像，包括：光谱滤波：采用Savitzky-Golay方法，处理融合后的新融合影像；光谱分解：使用主成分分析方法，筛选出新融合影像的主成分分量后获得融合影像。
优选的，所述采用综合评价方法，对所述融合影像进行定量和定性评价，包括：采
用加权平均综合评价法，根据定性和定量评价指标所占比重的不同设置不同的指标权重,
设定量指标权重占0.8，定性指标权重占0.2，评价公式为；式中，S为影像融
合质量综合评价数值，wi为各评价指标权重，gi为各指标的归一化无量纲数值。
优选的，所述采用加权平均综合评价法，包括：
选择标准差、偏差系数作为定性指标因子，各计算公式为：
标准差，式中，表示影像的标准
差，p(i,j)表示在图像(i,j)处的灰度值，m和n为影像的行列数；
相关系数，式中，C(p,q)表示
影像p和q的相关性，p(i,j)和q(i,j)为原始高光谱影像和融合影像在(i,j)处的灰度值，e(p)
和e(q)为原始高光谱影像和融合影像的平均灰度值；
选择相关系数、信息熵、均值、偏差系数作为定量评价指标因子，各计算公式为：
信息熵：，式中，K表示某波段的信息熵，pi为i灰度值的像元数
占总像元数比，n表示影像灰度级数；
均值：，式中，e(p)表示影像p的灰度值，P(i,j)表示在图像
(i,j)处的灰度值，m和n为影像的行列数；
偏差系数：，式中，D表示偏差系数，p(i,j)和q(i,j)为原
始高光谱影像和融合影像在(i,j)处的灰度值，m和n为影像的行列数。
另一方面，本发明提出一种无人机高光谱影像与地物高光谱数据融合系统，包括：
数据采集与预处理模块，用于使用无人机获取高光谱影像数据、从地面或其他数据源获取地物高光谱数据，对两种数据进行预处理，获取预处理数据；
影像融合模块，用于采用图像融合算法对所述预处理数据进行融合，再利用光谱数据处理技术对融合后的数据进行处理，获取融合影像；
评价模块，用于采用综合评价方法，对所述融合影像进行定量和定性评价，进行评估融合影像质量；
分析与特征提取模块，用于对融合后的数据进行多尺度分析，探索地物在不同尺度上的特征表现，以获取更全面的信息，并运用特征提取方法，从融合数据中提取地物特征和光谱信息。
本发明的技术效果和优点：本发明提出的一种无人机高光谱影像与地物高光谱数据融合方法，与现有技术相比，具有以下优点：
本发明通过结合先进的高光谱数据处理技术和图像融合算法，克服了现有技术的局限性，旨在整合无人机高光谱影像和地物高光谱数据的优势，提高融合后数据的一致性、准确性和有效性，针对不同数据源的高光谱数据的预处理技术，结合先进的图像融合算法和光谱数据处理技术，实现多尺度分析和特征提取方法的优化融合，从而有效解决现有技术中数据格式不兼容、精度差异和信息损失等问题，为高光谱图像的获取和分析提供了更全面、更准确的技术支持，为高光谱图像的获取和分析提供更全面、更准确的技术支持，可应用于地理信息系统、环境监测、农业科学和资源管理等领域，为相关领域提供了更高分辨率和更准确的高光谱数据融合方案，为地球科学研究和资源管理提供了新的技术手段。
附图说明
图1为本发明数据采集与预处理的流程图；
图2为本发明数据融合的流程图；
图3为本发明特征提取流程图；
图4为本发明一种无人机高光谱影像与地物高光谱数据融合方法的流程图；
图5为本发明一种无人机高光谱影像与地物高光谱数据融合系统的模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1-图4所示的一种无人机高光谱影像与地物高光谱数据融合方法，包括以下步骤：一、数据采集与预处理；以便携式地物光谱仪获取目标地物（本实施例以松树为目标物）高光谱数据，数据清洗剔除异常后，筛选出合适的松树冠层高光谱数据；以低空无人机航空器搭载高光谱成像仪获取松树冠层高光谱影像；对两种不同来源的高光谱数据进行预处理，以便后续融合处理。二、图像融合与数据处理；运用开发或选择的图像融合算法，将无人机获取的高光谱影像数据与地物高光谱数据进行融合；利用光谱数据处理技术，对融合后的数据进行处理，确保数据的一致性和高质量性。三、融合效果评价；采用综合定性或定量评价方法，对融合后的数据进行评价。四、特征提取和分析；对融合后的数据进行多尺度分析，探索地物在不同尺度上的特征表现，以获取更全面的信息；运用特征提取方法，从融合数据中提取地物特征和光谱信息，以便进行后续的分类、识别或分析。
无人机高光谱影像与地物高光谱数据融合方法，旨在整合无人机高光谱影像和地物高光谱数据的优势，提高融合后数据的一致性、准确性和有效性，为相关领域提供更高分辨率和更准确的高光谱数据。下面将结合具体实施例进行详细说明。
在本发明实施例中以区域为丘陵林区，周边为农田，马尾松为林区主要建群种为例进行说明。
（1）基于附图1，进行数据采集及预处理操作。
1）地物高光谱数据采集：地物高光谱数据获取，以便携式地物光谱仪从地面或其他适当的数据源获取地物高光谱数据，并确保数据源的质量和光谱信息的完整性。
自6月上旬至8月下旬，于林区采用北斗定位设备精准选择9块25m*25m样地，每隔7天采集样地内3m*3m小区的松树冠层光谱数据，并记录松树外观状态等。
便携式地物光谱仪为ASD FieldSpec3，谱段为350nm-2500nm，光谱分辨率为3nm@700nm,10nm@1000nm和1400nm，采用25°视场角光纤探头采集地物光谱数据。
观测时段规定地方时11:30~13:30，以确保足够的太阳高度角；
气象要求为：地面能见度不小于10km；太阳周围90o立体角范围内淡积云量应小于2 %，无卷云和浓积云等；风力应小于3级；
采样数据每个点的光谱数据不少于10次；
按照覆盖完整松树冠层为要求，设松树冠层覆盖面为半径1m，则采用公式（其中，H为光谱仪探头离冠层的高度；L为地物目标的探测宽度；为光纤
探头视场角度）计算可得光纤探头离松树冠层的高度为4.5m；
采用悬架进行测定，一个小区内的松树样本测定使用参考板进行一次标定。
2）无人机高光谱数据采集：基于附图1，以低空无人机搭载成像高光谱仪获取松树冠层高光谱影像，确保数据获取的准确性和高分辨率。
6月上旬至8月下旬，正值松树生长的主要阶段，气温高，利用无人机平台获取松树冠层数据。本实施例无人机遥感平台包括：六旋翼无人机、飞行控制系统、巡谱HSG-1P机载高光谱成像仪、地面控制系统、数据处理系统、微型便携式计算机ThinkPad P1Gen4。其中六旋翼无人机为大疆M300RTK版，续航时间为30分钟；巡谱HSG-1P机载高光谱成像仪，采用推扫式成像，光谱范围为400-1000nm,光谱分辨率为3.5nm，空间视场角为26.5°，焦距为25mm。
无人机遥感作业当天晴朗无云，风速小于3级，航速4m/s，航高50m,航向重叠度75%，旁向重叠度75%。按照规定采集架次起飞前，均用出厂经标定的参考板进行标定；采集数据后，利用自带的OptStudio 软件进行数据预处理工作。
3）数据预处理：对两种不同来源的高光谱数据进行预处理，包括去除噪音、校准传感器差异、格式转换等，以便后续融合处理。
光谱数据预处理，采用Savitzky-Golay方法，多项式设置为5阶，对松树冠层的光谱数据进行去噪平滑处理，消除高频噪声影响。地物高光谱数据的采集原则是覆盖一颗松树冠层，则可知地物高光谱反射率数据的地面范围为直径2m的圆，采用圆内接正方形的边长作为反射率数据的地面分辨率，可知地面分辨率为2 m。
获取研究区松树冠层高光谱数据集，经OptStudio、ENVI等软件处理后，获取地面分辨率为0.05m的高光谱影像，对影像进行Savitzky-Golay平滑处理后，获得标准预处理无人机高光谱数据。
采用ENVI软件对地物高光谱反射率数据与无人机高光谱数据进行几何对齐，使其处于同一坐标投影下，几何无明显偏移。
地面高光谱反射率数据和无人机高光谱数据在地面分辨率上存在较大的差异，分别为2 m和0.05 m。因此，如果直接进行融合，将会引起较大的几何、光谱偏差，从而影响数据的精度和可用性。为解决这一问题，需要借助中间基础数据进行相应的融合同化。中间基础数据是指在卫星和无人机数据融合过程中使用的共同参考框架，包括地面控制点、数字高程模型、地物分类等信息，本发明使用天地图1m正射影像作为基准。通过将卫星和无人机数据分别与中间基础数据进行对齐和匹配，可以有效地解决数据融合中的几何、光谱差异问题，实现数据的精度提升和有效利用。预处理后，本发明获取经重采样生成的0.5m无人机高光谱影像，相对定位精度<1 m。
（2）基于附图2，进行图像融合与数据处理。
1）融合算法应用： 运用开发或选择的图像融合算法，将无人机获取的高光谱影像数据与地物高光谱数据进行融合。
本发明采用深度学习模型与不同尺度的小波变换结合的方法进行无人机高光谱数据与地面高光谱反射率数据的融合，其中深度学习算法擅长学习图像中的特征，小波变换擅长多尺度分析，以获得更丰富和更具代表性的特征表示。
首先执行小波变换，以提取高光谱影像的高频特征，通过将高光谱数据降维后，采用深度学习模型如CNN等执行样本训练、模型优化、数据模拟等操作后，生成新的高频特征，将新生成的高频特征与小波变换提取的低频特征进行融合，以生成新的融合影像。
相关操作在MATLAB中实现，参考代码如下：
%无人机高光谱数据 image1 和地面高光谱反射率数据 image2 需要融合
% 小波变换
[cA1, cH1, cV1, cD1] = dwt2(image1, 'p1');
[cA2, cH2, cV2, cD2] = dwt2(image2, 'p1');
% 提取高频特征
high_freq_features1 = [cH1(:); cV1(:); cD1(:)];%数据降维
high_freq_features2 = [cH2(:); cV2(:); cD2(:)];
% 深度学习模型设计
layers = [
imageInputLayer([length(high_freq_features1) * 2, 1, 1]) % 输入层，输入大小为两幅图像的高频特征的连接
fullyConnectedLayer(128) % 全连接层
reluLayer % ReLU激活函数层
fullyConnectedLayer(64) % 全连接层
reluLayer % ReLU激活函数层
fullyConnectedLayer(length(high_freq_features1)) % 输出层
regressionLayer % 回归层
];
% 将两幅图像的高频特征连接作为深度学习模型的输入数据
input_data = [high_freq_features1', high_freq_features2'];
% 设置训练参数
miniBatchSize = 256; % mini-batch 大小
maxEpochs = 35; % 最大迭代次数
initialLearnRate = 0.001; % 初始学习率
learnRateDropFactor = 0.1; % 学习率衰减因子
learnRateDropPeriod = 5; % 学习率衰减周期
% 定义训练选项
options = trainingOptions('adam',
'MiniBatchSize', miniBatchSize,
'MaxEpochs', maxEpochs,
'InitialLearnRate', initialLearnRate,
'Shuffle', 'every-epoch',
'Verbose', true);
% 模型训练
net = trainNetwork(input_data, labels, layers, options);
% 使用训练好的模型对新数据进行预测
predicted_high_freq_features = predict(net, input_data);
% 将融合后的高频特征与低频部分进行重构
fused_image = idwt2(approximation1, predicted_high_freq_features(1:numel(horizontal1)),predicted_high_freq_features(numel(horizontal1)+1:numel(horizontal1)+numel(vertical1)),predicted_high_freq_features(numel(horizontal1)+numel(vertical1)+1:end), 'p1');
% 显示融合后的图像
imshow(fused_image, [])。
2）光谱数据处理：利用光谱数据处理技术，对融合后的数据进行处理，确保数据的一致性和高质量性，包括光谱信息的整合和优化。
①光谱滤波：采用Savitzky-Golay方法，多项式设置为5阶，处理融合后的无人机-地面高光谱影像。
②光谱分解：使用主成分分析方法，筛选出前64的主成分分量（波段）。
相关操作在MATLAB中实现，参考代码如下：
% 假设 hyperspectral_data 是包含高光谱数据的矩阵，其大小为 [1, 768]
% 对数据进行主成分分析，提取前64个主成分
num_components = 64; % 要提取的主成分数量
% 对高光谱数据进行主成分分析
[coefficients, ~, ~, ~, explained] = pca(hyperspectral_data);
% 提取前 num_components 个主成分
top_components = coefficients(:, 1:num_components);
% 打印前64个主成分的方差解释率
disp('前64个主成分的方差解释率：');
disp(explained(1:num_components));
% 保存前64个主成分
% save('top_components.mat', 'top_components')。
（3）融合效果评价：
影像融合质量评价采用加权平均综合评价法，根据定性和定量评价指标所占比重
的不同设置不同的指标权重,本发明设定量指标权重占0.8，定性指标权重占0.2，评价公式
为（S为影像融合质量综合评价数值，wi为各评价指标权重，gi为各指标的归一
化无量纲数值）。
1）选择标准差、偏差系数作为定性指标因子，各计算公式为：
①标准差（表示影像的标准差，
p(i,j)表示在图像(i,j)处的灰度值，m和n为影像的行列数）；
②相关系数（C(p,q)表示影
像p和q的相关性，p(i,j)和q(i,j)为原始高光谱影像和融合影像在(i,j)处的灰度值，e(p)和e
(q)为原始高光谱影像和融合影像的平均灰度值）；
2）选择相关系数、信息熵、均值、偏差系数作为定量评价指标因子，各计算公式为：
①信息熵：（K表示某波段的信息熵，pi为i灰度值的像元数占总
像元数比，n表示影像灰度级数）；
②均值：（e(p)表示影像p的灰度值，P(i,j)表示在图像(i,j)
处的灰度值，m和n为影像的行列数）；
③偏差系数：（D表示偏差系数，p(i,j)和q(i,j)为原始
高光谱影像和融合影像在(i,j)处的灰度值，m和n为影像的行列数）；
3）利用计算好融合后质量最佳的单波段数据组合成新的高光谱影像。
（4）基于附图3，进行特征提取和分析。
1）多尺度分析：对融合后的数据采用深度学习方法进行多尺度分析，探索松树在不同尺度上的特征表现，以获取更全面的信息。具体参照如下代码：
% 输入融合后的高光谱影像数据 f_hyperspectral_image
% 构建深度学习网络结构
layers = [
imageInputLayer([size(f_hyperspectral_image, 1), size(f_hyperspectral_image, 2), size(f_hyperspectral_image, 3)]) % 输入层，假设融合后的数据是三维的（宽度、高度、波段）
convolution2dLayer(3, 64, 'Padding', 'same') % 卷积层
reluLayer % ReLU激活函数层
maxPooling2dLayer(2, 'Stride', 2) % 最大池化层
convolution2dLayer(3, 128, 'Padding', 'same') % 卷积层
reluLayer % ReLU激活函数层
fullyConnectedLayer(256) % 全连接层
reluLayer % ReLU激活函数层
fullyConnectedLayer(num_classes) % 输出层（num_classes 表示类别数）
softmaxLayer % Softmax层
classificationLayer % 分类层
];
% 设置训练参数
miniBatchSize = 128; % mini-batch 大小
maxEpochs = 20; % 最大迭代次数
initialLearnRate = 0.001; % 初始学习率
% 定义训练选项
options = trainingOptions('adam',
'MiniBatchSize', miniBatchSize,
'MaxEpochs', maxEpochs,
'InitialLearnRate', initialLearnRate,
'Shuffle', 'every-epoch',
'Verbose', true);
% 模型训练
net = trainNetwork(f_hyperspectral_image, labels, layers, options); %labels 表示对应的标签
% 使用训练好的模型对新数据进行预测
predicted_labels = classify(net, new_data); % new_data 是新的数据需要进行分类。
2）特征提取：运用特征提取方法，从融合数据中提取松材线虫病松树几何纹理特征和光谱信息，以便进行后续的分类、识别或分析。参照如下代码：
%输入融合后的高光谱影像数据 f_hyperspectral_image
% 载入预训练的 PML-1模型
net = PML-1;
% 修改网络结构
layers = net.Layers;
layers = layers(1:end-3);
% 新建修改后的网络
new_net = assembleNetwork(layers);
% 数据增强
imageAugmenter = imageDataAugmenter(
'RandRotation',[-10 10],
'RandXTranslation',[-10 10],
'RandYTranslation',[-10 10],
'RandXScale',[0.8 1.2],
'RandYScale',[0.8 1.2]);
augmentedImageDatastore = augmentedImageDatastore([224 224], f_hyperspectral_image, 'DataAugmentation',imageAugmenter);
% 设置微调参数
miniBatchSize = 32; % mini-batch 大小
maxEpochs = 18; % 最大迭代次数
initialLearnRate = 1e-4; % 初始学习率
% 定义微调训练选项
options = trainingOptions('adam',
'MiniBatchSize', miniBatchSize,
'MaxEpochs', maxEpochs,
'InitialLearnRate', initialLearnRate,
'Shuffle', 'every-epoch',
'Verbose', true);
% 微调模型
new_net = trainNetwork(augmentedImageDatastore, layers, options);
% 提取不同层级的特征
layer_names = {'relu1_1', 'relu2_1', 'relu3_1'}; % 选择不同层级的名称
features = cell(numel(layer_names), 1);
for i = 1:numel(layer_names)
features{i} = activations(new_net, f_hyperspectral_image, layer_names{i});
end
3）精度评估
本发明采用混淆矩阵进行精度评估，在MATLAB中执行如下代码：
% 假设 trueLs 是正确的松材线虫松树样本数，prediLs 是分类器预测染病松树数
% 计算混淆矩阵
C = confusionmat(trueLs, prediLs);
% 显示混淆矩阵
figure;
confusionchart(C); % 可视化混淆矩阵。
本实施例中针对不同数据源的高光谱数据的预处理技术，结合先进的图像融合算法和光谱数据处理技术，实现多尺度分析和特征提取方法的优化融合，从而有效解决现有技术中数据格式不兼容、精度差异和信息损失等问题，为高光谱图像的获取和分析提供了更全面、更准确的技术支持。
通过结合先进的高光谱数据处理技术和图像融合算法，克服了现有技术的局限性，旨在整合无人机高光谱影像和地物高光谱数据的优势，提高融合后数据的一致性、准确性和有效性，针对不同数据源的高光谱数据的预处理技术，结合先进的图像融合算法和光谱数据处理技术，实现多尺度分析和特征提取方法的优化融合，从而有效解决现有技术中数据格式不兼容、精度差异和信息损失等问题，为高光谱图像的获取和分析提供了更全面、更准确的技术支持，可应用于地理信息系统、环境监测、农业科学和资源管理等领域，为相关领域提供了更高分辨率和更准确的高光谱数据融合方案，为地球科学研究和资源管理提供了新的技术手段。
另一方面，如图5所示的，本实施例中提出一种无人机高光谱影像与地物高光谱数据融合系统，包括：数据采集与预处理模块、影像融合模块、评价模块以及分析与特征提取模块。
示例性地，数据采集与预处理模块用于使用无人机获取高光谱影像数据、从地面或其他数据源获取地物高光谱数据，对两种数据进行预处理，获取预处理数据；
示例性地，影像融合模块用于采用图像融合算法对所述预处理数据进行融合，再利用光谱数据处理技术对融合后的数据进行处理，获取融合影像；
示例性地，评价模块用于采用综合评价方法，对所述融合影像进行定量和定性评价，进行评估融合影像质量；
示例性地，分析与特征提取模块用于对融合后的数据进行多尺度分析，探索地物在不同尺度上的特征表现，以获取更全面的信息，并运用特征提取方法，从融合数据中提取地物特征和光谱信息。
另外，对于上述的数据采集与预处理模块、影像融合模块、评价模块以及分析与特征提取模块还用于实现上述的无人机高光谱影像与地物高光谱数据融合方法的其他步骤。
此外，本发明还提供了一种终端设备，在本实施例中涉及的无人机高光谱影像与地物高光谱数据融合方法主要应用于终端设备中，该终端设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
具体的，终端设备可以包括处理器（例如CPU），通信总线，用户接口，网络接口，存储器。其中，通信总线用于实现这些组件之间的连接通信；用户接口可以包括显示屏（Display）、输入单元比如键盘（Keyboard）；网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口）；存储器可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器，存储器可选的还可以是独立于前述处理器的存储装置。
其中，存储器中存储可读存储介质，可读存储介质中存储数据融合程序，处理器可以调用存储器中存储的数据融合程序，并执行本发明实施例提供的无人机高光谱影像与地物高光谱数据融合方法。
可以理解的，可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，包括：
使用无人机获取高光谱影像数据、从地面或其他数据源获取地物高光谱数据，对两种数据进行预处理，获取预处理数据；
采用图像融合算法对所述预处理数据进行融合，再利用光谱数据处理技术对融合后的数据进行处理，获取融合影像，包括：对所述预处理数据执行小波变换，提取高光谱影像的高频特征，通过将高光谱数据降维后，采用深度学习模型执行样本训练、模型优化、数据模拟操作后，生成新的高频特征；将新生成的高频特征与小波变换提取的低频特征进行融合，以生成新融合影像；
采用综合评价方法，对所述融合影像进行定量和定性评价，进行评估融合影像质量；
对融合后的数据进行多尺度分析，探索地物在不同尺度上的特征表现，以获取更全面的信息，并运用特征提取方法，从融合数据中提取地物特征和光谱信息。
2.根据权利要求1所述的一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，所述从地面或其他数据源获取地物高光谱数据，包括：
以便携式地物光谱仪获取目标地物高光谱数据，数据清洗剔除异常后，筛选出目标地物层高光谱数据。
3.根据权利要求2所述的一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，所述便携式地物光谱仪采用25°视场角光纤探头采集目标地物光谱数据，采样数据每个点的光谱数据不少于10次。
4.根据权利要求1所述的一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，所述使用无人机获取高光谱影像数据，包括：
以低空无人机航空器搭载高光谱成像仪获取目标地物层高光谱影像。
5.根据权利要求4所述的一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，所述低空无人机航空器采用推扫式成像，空间视场角为26.5°。
6.根据权利要求5所述的一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，所述利用光谱数据处理技术对融合后的数据进行处理，获取融合影像，包括：
光谱滤波：采用Savitzky-Golay方法，处理融合后的新融合影像；
光谱分解：使用主成分分析方法，筛选出新融合影像的主成分分量后获得融合影像。
7.根据权利要求6所述的一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，所述采用综合评价方法，对所述融合影像进行定量和定性评价，包括：
采用加权平均综合评价法，根据定性和定量评价指标所占比重的不同设置不同的指标权重,设定量指标权重占0.8，定性指标权重占0.2，评价公式为；
式中，S为影像融合质量综合评价数值，wi为各评价指标权重，gi为各指标的归一化无量纲数值。
8.根据权利要求7所述的一种无人机高光谱影像与地物高光谱数据融合方法，其特征在于，所述采用加权平均综合评价法，包括：
选择标准差、偏差系数作为定性指标因子，各计算公式为：
标准差，式中，/>表示影像的标准差，p(i,j)表示在图像(i,j)处的灰度值，m和n为影像的行列数；
相关系数，式中，C(p,q)表示影像p和q的相关性，p(i,j)和q(i,j)为原始高光谱影像和融合影像在(i,j)处的灰度值，e(p)和e(q)为原始高光谱影像和融合影像的平均灰度值；
选择相关系数、信息熵、均值、偏差系数作为定量评价指标因子，各计算公式为：
信息熵：，式中，K表示某波段的信息熵，pi为i灰度值的像元数占总像元数比，n表示影像灰度级数；
均值：，式中，e(p)表示影像p的灰度值，P(i,j)表示在图像(i,j)处的灰度值，m和n为影像的行列数；
偏差系数：，式中，D表示偏差系数，p(i,j)和q(i,j)为原始高光谱影像和融合影像在(i,j)处的灰度值，m和n为影像的行列数。
9.一种无人机高光谱影像与地物高光谱数据融合系统，其特征在于，包括：
数据采集与预处理模块，用于使用无人机获取高光谱影像数据、从地面或其他数据源获取地物高光谱数据，对两种数据进行预处理，获取预处理数据；
影像融合模块，用于采用图像融合算法对所述预处理数据进行融合，再利用光谱数据处理技术对融合后的数据进行处理，获取融合影像，包括：对所述预处理数据执行小波变换，提取高光谱影像的高频特征，通过将高光谱数据降维后，采用深度学习模型执行样本训练、模型优化、数据模拟操作后，生成新的高频特征；将新生成的高频特征与小波变换提取的低频特征进行融合，以生成新融合影像；
评价模块，用于采用综合评价方法，对所述融合影像进行定量和定性评价，进行评估融合影像质量；
分析与特征提取模块，用于对融合后的数据进行多尺度分析，探索地物在不同尺度上的特征表现，以获取更全面的信息，并运用特征提取方法，从融合数据中提取地物特征和光谱信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410235594.8A CN117809193B (zh) | 2024-03-01 | 2024-03-01 | 一种无人机高光谱影像与地物高光谱数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410235594.8A CN117809193B (zh) | 2024-03-01 | 2024-03-01 | 一种无人机高光谱影像与地物高光谱数据融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117809193A CN117809193A (zh) | 2024-04-02 |
| CN117809193B true CN117809193B (zh) | 2024-05-17 |
Family
ID=90432459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410235594.8A Active CN117809193B (zh) | 2024-03-01 | 2024-03-01 | 一种无人机高光谱影像与地物高光谱数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117809193B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101928391B1 (ko) * | 2017-07-17 | 2018-12-12 | 서울시립대학교 산학협력단 | 다중분광 영상과 레이더 영상의 융합방법 및 장치 |
| WO2020000271A1 (zh) * | 2018-06-27 | 2020-01-02 | 深圳大学 | 一种基于无人机的数据处理的方法及装置 |
| CN112101271A (zh) * | 2020-09-23 | 2020-12-18 | 台州学院 | 一种高光谱遥感影像分类方法及装置 |
| CN112163458A (zh) * | 2020-09-04 | 2021-01-01 | 江苏东晟辉科技开发有限公司 | 基于CASI高光谱与机载LiDAR融合的地物分类方法 |
| CN112668420A (zh) * | 2020-12-18 | 2021-04-16 | 武汉大学 | 一种基于非负风险估计的高光谱和LiDAR融合入侵树种探测方法 |
| CN113222836A (zh) * | 2021-04-25 | 2021-08-06 | 自然资源部国土卫星遥感应用中心 | 一种高光谱与多光谱遥感信息融合方法及系统 |
| WO2022109945A1 (zh) * | 2020-11-26 | 2022-06-02 | 深圳大学 | 基于尺度自适应滤波的高光谱和LiDAR联合分类方法 |
| WO2023240857A1 (zh) * | 2022-06-13 | 2023-12-21 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
-
2024
- 2024-03-01 CN CN202410235594.8A patent/CN117809193B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101928391B1 (ko) * | 2017-07-17 | 2018-12-12 | 서울시립대학교 산학협력단 | 다중분광 영상과 레이더 영상의 융합방법 및 장치 |
| WO2020000271A1 (zh) * | 2018-06-27 | 2020-01-02 | 深圳大学 | 一种基于无人机的数据处理的方法及装置 |
| CN112163458A (zh) * | 2020-09-04 | 2021-01-01 | 江苏东晟辉科技开发有限公司 | 基于CASI高光谱与机载LiDAR融合的地物分类方法 |
| CN112101271A (zh) * | 2020-09-23 | 2020-12-18 | 台州学院 | 一种高光谱遥感影像分类方法及装置 |
| WO2022109945A1 (zh) * | 2020-11-26 | 2022-06-02 | 深圳大学 | 基于尺度自适应滤波的高光谱和LiDAR联合分类方法 |
| CN112668420A (zh) * | 2020-12-18 | 2021-04-16 | 武汉大学 | 一种基于非负风险估计的高光谱和LiDAR融合入侵树种探测方法 |
| CN113222836A (zh) * | 2021-04-25 | 2021-08-06 | 自然资源部国土卫星遥感应用中心 | 一种高光谱与多光谱遥感信息融合方法及系统 |
| WO2023240857A1 (zh) * | 2022-06-13 | 2023-12-21 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Non-Patent Citations (3)
| Title |
|---|
| 基于小波分析的Hyperion影像地物分类波段宽度;房秀凤;谭炳香;杜华强;王怀警;李太兴;;南京林业大学学报(自然科学版);20180915(05);全文 * |
| 胡博 ; 汪西原 ; .用于耕地信息提取的多光谱与全色遥感影像融合方法研究.宁夏工程技术.2016,(04),7-11. * |
| 蒋彤 ; 安如 ; 邢菲 ; 王本林 ; 琚锋 ; .基于光谱梯度角的改进SREM融合方法.亚热带资源与环境学报.2020,(03),77-86. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117809193A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lehnert et al. | Hyperspectral data analysis in R: The hsdar package | |
| G. Poley et al. | A systematic review of the factors influencing the estimation of vegetation aboveground biomass using unmanned aerial systems | |
| Goulas et al. | Gross primary production of a wheat canopy relates stronger to far red than to red solar-induced chlorophyll fluorescence | |
| Julitta et al. | Comparison of sun-induced chlorophyll fluorescence estimates obtained from four portable field spectroradiometers | |
| Zheng et al. | Retrieving leaf area index (LAI) using remote sensing: theories, methods and sensors | |
| CN110046415A (zh) | 一种时空精细化的土壤有机质含量遥感动态反演方法 | |
| Nichol et al. | Diurnal and seasonal solar induced chlorophyll fluorescence and photosynthesis in a boreal scots pine canopy | |
| Houborg et al. | Adapting a regularized canopy reflectance model (REGFLEC) for the retrieval challenges of dryland agricultural systems | |
| Shafri et al. | Detection of stressed oil palms from an airborne sensor using optimized spectral indices | |
| CN115372282B (zh) | 一种基于无人机高光谱影像的农田土壤含水量监测方法 | |
| CN116580318B (zh) | 作物覆盖区域的土壤养分反演方法、装置、设备及介质 | |
| CN108898070A (zh) | 一种基于无人机平台的高光谱遥感提取薇甘菊装置及方法 | |
| CN103278467A (zh) | 一种植物叶片氮素丰缺快速无损高准确率的鉴别方法 | |
| Chen et al. | Estimating deciduous broadleaf forest gross primary productivity by remote sensing data using a random forest regression model | |
| Jilge et al. | Detecting unknown artificial urban surface materials based on spectral dissimilarity analysis | |
| Vasudeva et al. | Mapping spatial variability of foliar nitrogen and carbon in Indian tropical moist deciduous sal (Shorea robusta) forest using machine learning algorithms and Sentinel-2 data | |
| John et al. | Detecting montane flowering phenology with CubeSat imagery | |
| Gao et al. | Evapotranspiration partitioning assessment using a machine-learning-based leaf area index and the two-source energy balance model with sUAV information | |
| Zhang et al. | Drone-acquired data reveal the importance of forest canopy structure in predicting tree diversity | |
| Yadav et al. | Tree crown segmentation and species classification in a wet eucalypt forest from airborne hyperspectral and LiDAR data | |
| Lu et al. | Combining multi-source remotely sensed data and a process-based model for forest aboveground biomass updating | |
| Huang et al. | Juvenile tree classification based on hyperspectral image acquired from an unmanned aerial vehicle | |
| Bottai et al. | Application of a single-tree identification algorithm to LiDAR data for the simulation of stem volume current annual increment | |
| Srivastava et al. | Feature-Based Image Retrieval (FBIR) system for satellite image quality assessment using big data analytical technique | |
| CN117809193B (zh) | 一种无人机高光谱影像与地物高光谱数据融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |