CN112991186B - 一种无人机大视场高光谱图像生成方法及系统 - Google Patents
一种无人机大视场高光谱图像生成方法及系统 Download PDFInfo
- Publication number
- CN112991186B CN112991186B CN202110459829.8A CN202110459829A CN112991186B CN 112991186 B CN112991186 B CN 112991186B CN 202110459829 A CN202110459829 A CN 202110459829A CN 112991186 B CN112991186 B CN 112991186B
- Authority
- CN
- China
- Prior art keywords
- hyperspectral image
- hyperspectral
- spliced
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001228 spectrum Methods 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 125000004432 carbon atom Chemical group C* 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000009958 sewing Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无人机大视场高光谱图像生成方法及系统，本发明方法包括针对输入无人机采集得到的参考高光谱图像与待拼接高光谱图像，将待拼接高光谱图像逐波段变换到参考高光谱图像的同一坐标系下，确定参考高光谱图像、待拼接高光谱图像的重叠区域；利用重叠区域对待拼接高光谱图像的各个波段进行光谱一致化校正；计算参考高光谱图像、待拼接高光谱图像的重叠区域的最佳缝合线，采用权重金字塔图像融合策略，基于最佳缝合线对高光谱图像逐波段融合，获得最终的无缝拼接的大视场高光谱图像。本发明能够在相邻高光谱条带图像重叠率较低的实际场景下准确地完成无缝拼接，生成大视场高光谱图像，并且有效消除光谱不一致的问题。
Description
技术领域
本发明涉及图像处理技术，具体涉及一种无人机大视场高光谱图像生成方法及系统。
背景技术
高光谱图像是一种特殊的多波段图像，每一种地物在高光谱图像中都有其独特的光谱曲线，利用这一特性，高光谱图像已经成功地应用于矿物制图和作物指数估计等各类应用。在大多数情况下，高光谱图像是由高光谱成像仪的卫星获得的。然而，遥感卫星是在云层上方拍摄的，因此卫星高光谱图像中大多数通道容易受到云层的干扰，且这类干扰很难被消除。此外，空间分辨率低、重访周期长等固有特性使得遥感卫星难以获得高质量、多时相的高光谱数据，这些问题严重制约了高光谱图像的应用。
近年来，成像光谱仪的硬件发展迅速，其系统结构变得越来越轻，成本也逐渐降低。随着无人机技术的成熟，将成像光谱仪与无人机集成用于获取高光谱数据成为一个新兴研究领域。与传统的卫星和航空遥感成像相比，无人机可以更灵活地获取空间分辨率更高的高光谱图像。但无人机视角固定、飞行高度低，导致单次数据采集的地面覆盖范围有限，因此，需要将多个小视场高光谱图像进行拼接，生成大视场高光谱图像，以有效覆盖研究区域。
现有的无人机大视场高光谱图像生成方法一般可以分为三类:基于地理信息的方法、基于图像处理的方法以及上述两种方法的结合。当无人机不依赖地面实时动态差分(RTK)系统时，容易受到外界环境的干扰，定位不准确，导致根据记录的地理坐标直接拼接精度较低。因此，通常采用基于地理信息的拼接方法作为预处理步骤，然后采用基于图像的拼接方法来优化。但由于双向反射分布函数(BRDF)效应，同一地区不同无人机高光谱图像的辐射值会有显著差异。源图像的直接拼接会导致拼接结果的光谱不一致，对后续应用产生不利影响。此外，为了提高效率，在无人机采集高光谱数据时，通常将重叠率设置在50%以下，增加了基于图像配准的拼接算法的难度。因此，亟需一种针对无人机高光谱图像的大视场高光谱图像准确无缝生成方法。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种无人机大视场高光谱图像生成方法及系统，本发明能够在相邻高光谱条带图像重叠率较低的实际场景下准确地完成无缝拼接，生成大视场高光谱图像，并且有效消除光谱不一致的问题。
为了解决上述技术问题，本发明采用的技术方案为：
一种无人机大视场高光谱图像生成方法，包括：
1）针对输入无人机采集得到的参考高光谱图像与待拼接高光谱图像，通过预设的参考高光谱图像与待拼接高光谱图像之间的变换矩阵，将待拼接高光谱图像逐波段变换到参考高光谱图像的同一坐标系下，确定参考高光谱图像、待拼接高光谱图像的重叠区域；
2）利用重叠区域对待拼接高光谱图像的各个波段进行光谱一致化校正；
3）计算参考高光谱图像、待拼接高光谱图像的重叠区域的最佳缝合线，采用权重金字塔图像融合策略，基于最佳缝合线对高光谱图像逐波段融合，获得最终的无缝拼接的大视场高光谱图像。
可选地，步骤1）之前还包括获取参考高光谱图像与待拼接高光谱图像之间的变换矩阵的步骤：
S1）针对无人机采集得到的参考高光谱图像样本与待拼接高光谱图像样本，分别提取指定特征波段的特征波段图像中的特征点；
S2）遍历待拼接高光谱图像样本中的特征点，找到在参考高光谱图像样本中匹配的特征点，得到参考高光谱图像与待拼接高光谱图像之间的初始特征点匹配关系；
S3）针对参考高光谱图像与待拼接高光谱图像之间的初始特征点匹配关系，消除错误的特征点匹配关系，得到最终的特征点坐标对应关系；
S4）根据最终的特征点坐标对应关系，得到预设的参考高光谱图像与待拼接高光谱图像之间的变换矩阵。
可选地，步骤S1）中指定特征波段为波长与730纳米的差值小于预设阈值的波段。
可选地，步骤S2）中在参考高光谱图像样本中匹配的特征点是指欧氏距离最小的特征点。
可选地，步骤S3）中消除错误的特征点匹配关系的步骤包括：首先采用随机抽样一致算法RANSAC初步消除错误的特征点匹配关系，然后利用匹配点坐标对应的光谱曲线，计算光谱信息散度SID，进一步消除错误的特征点匹配关系，从而得到最终的特征点坐标对应关系。
可选地，步骤2）包括：基于参考高光谱图像、待拼接高光谱图像的重叠区域根据下式计算待拼接高光谱图像的各个波段的校正参数；
上式中，k i 表示待拼接高光谱图像的第i个波段的校正参数，P为待拼接高光谱图像的像素个数，T 1 j 为参考高光谱图像第j个波段的待拼接高光谱图像重叠区域像素值保持不变、其他区域置0操作后获得的图像，T 2 j 为待拼接高光谱图像第j个波段的待拼接高光谱图像重叠区域像素值保持不变、其他区域置0操作后获得的图像，C为待拼接高光谱图像的波段数；针对待拼接高光谱图像的每一个波段的波段图像乘以对应波段的校正参数，从而得到待拼接高光谱图像完成光谱一致化校正后的结果。
可选地，步骤3）中计算参考高光谱图像、待拼接高光谱图像的重叠区域的最佳缝合线包括：
3.1）根据下式计算缝合线所经过像素点所包含的信息量E(l)；
上式中，E(l)为最佳缝合线所经过像素点所包含的信息量，l p 为重叠区域O中的像素点p的标签，l q 为与重叠区域O中的像素点p相邻的4邻域N中的像素点的标签，D p (l p )表示参考高光谱图像与重叠区域O、待拼接高光谱图像与重叠区域O的交点，S p,q (l p ,l q )表示将标签l p ,l q 分配给一对像素的成本；
3.2）根据缝合线所经过像素点所包含的信息量E(l)通过最小化能量函数获得最佳缝合线。
可选地，步骤3）中基于最佳缝合线对高光谱图像逐波段融合的函数表达式为：
上式中，ST表示最终的高光谱拼接结果图像，recon表示金字塔重建操作，M为金字塔的层数，G n seam 为缝合线图I seam 生成的高斯金字塔，L n 1 为待拼接高光谱图像生成的拉普拉斯金字塔，L n 2 为参考高光谱图像生成的拉普拉斯金字塔。
此外，本发明还提供一种无人机大视场高光谱图像生成系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述无人机大视场高光谱图像生成方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述无人机大视场高光谱图像生成方法的计算机程序。
和现有技术相比，本发明具有下述优点：
对比现有的技术，本发明有以下几个主要优点：
1）接稳定性高。本发明结合光谱信息，对图像坐标点匹配关系进行筛查，减少了错误匹配，保证低重叠率场景下的高光谱图像的拼接稳定性。
2）拼接结果的空间一致性好。本发明利用缝合线拼接方法有效消除了重叠区域的信息不一致，因此拼接结果在空间一致性方面具有明显的优势。
3）拼接结果的光谱一致性好。本发明与传统方法相比，引入了基于重叠区域的光谱校正，保证了拼接结果的光谱一致性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1 为本发明实施例方法的基本流程示意图。
图2 为本发明实施例中无人机获取的待拼接高光谱图像。
图3 为本发明实施例方法的拼接结果。
图4 为本发明实施例方法拼接结果中典型地物植被的光谱曲线。
图5 为本发明实施例方法拼接结果中典型地物道路的光谱曲线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合流程图与实施例，对本发明实施例中的技术方案进行详尽的说明与描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例无人机大视场高光谱图像生成方法包括：
1）针对输入无人机采集得到的参考高光谱图像与待拼接高光谱图像，通过预设的参考高光谱图像与待拼接高光谱图像之间的变换矩阵，将待拼接高光谱图像逐波段变换到参考高光谱图像的同一坐标系下，确定参考高光谱图像、待拼接高光谱图像的重叠区域；
2）利用重叠区域对待拼接高光谱图像的各个波段进行光谱一致化校正；
3）计算参考高光谱图像、待拼接高光谱图像的重叠区域的最佳缝合线，采用权重金字塔图像融合策略，基于最佳缝合线对高光谱图像逐波段融合，获得最终的无缝拼接的大视场高光谱图像。
需要说明的是，参考高光谱图像与待拼接高光谱图像之间的变换矩阵可根据需要采用预先设定，也可以根据需要采用测量前预先计算。作为一种可选的实施方式，本实施例步骤1）之前还包括获取参考高光谱图像与待拼接高光谱图像之间的变换矩阵的步骤：
S1）针对无人机采集得到的参考高光谱图像样本与待拼接高光谱图像样本，分别提取指定特征波段的特征波段图像中的特征点；
S2）遍历待拼接高光谱图像样本中的特征点，找到在参考高光谱图像样本中匹配的特征点，得到参考高光谱图像与待拼接高光谱图像之间的初始特征点匹配关系；
S3）针对参考高光谱图像与待拼接高光谱图像之间的初始特征点匹配关系，消除错误的特征点匹配关系，得到最终的特征点坐标对应关系；
S4）根据最终的特征点坐标对应关系，得到预设的参考高光谱图像与待拼接高光谱图像之间的变换矩阵。
高光谱图像通常包含上百个波段，为了减小计算代价，可以选取具有代表性的特征波段代替原始高光谱图像进行变换矩阵估计等计算步骤。因此，步骤S1）中采用了提取指定特征波段的特征波段图像中的特征点的做法以减小计算代价。作为一种可选的实施方式，本实施例步骤S1）中指定特征波段为波长与730纳米的差值小于预设阈值的波段。具体地，本实施例中使用的无人机高光谱成像仪获取的高光谱图像有270个波段，光谱范围是400-1000纳米，依据上述规则最后特征波段选取的是第173波段。
步骤S1）提取指定特征波段的特征波段图像中的特征点可根据需要选择所需的特征点提取算法，包括SURF算法、SIFT算法等。例如本实施例中采用了SURF算法。SURF（Speeded Up Robust Features）算法即加速稳健特征算法。SURF算法是对SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)的一种改进，相比于SIFT算法，主要提升了特征点的求取速度。由于SURF算法提取图像的特征点为现有方法，本实施例中不涉及对SURF算法的改进，故其实现原理和细节在此不再详述。
作为一种可选的实施方式，本实施例步骤S2）中在参考高光谱图像样本中匹配的特征点是指欧氏距离最小的特征点。具体的，对待拼接图像中每一个特征点，遍历参考图像的特征点，寻找其欧氏距离最小的特征点，重复操作，直至所有的特征点都找到其对应的特征点。欧氏距离为现有的特征关联度计算方法，本实施例中不涉及对欧氏距离计算方式的改进，故其实现原理和细节在此不再详述。
由于在特征点匹配计算过程中将会不可避免的产生错误匹配对，错误匹配点对的存在将影响变换矩阵的计算结果，从而可能对后续的图像变换精度造成影响。因此，本实施例步骤S3）中采用了消除错误的特征点匹配关系来解决上述技术问题。消除错误的特征点匹配关系可根据需要采用现有算法。作为一种可选的实施方式，本实施例步骤S3）中消除错误的特征点匹配关系的步骤包括：首先采用随机抽样一致算法RANSAC（Random SampleConsensus）初步消除错误的特征点匹配关系，然后利用匹配点坐标对应的光谱曲线，计算光谱信息散度SID（Spectral Information Divergence），进一步消除错误的特征点匹配关系，从而得到最终的特征点坐标对应关系。
其中，随机抽样一致算法RANSAC（简称RANSAC算法）为现有算法，RANSAC算法的核心在于将特征点划分为“内点”和“外点”。在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符合最优参数模型的特征点，被定义为“外点”。RANSAC算法在应用于错误匹配特征点消除任务时，是通过寻找一个最佳的单应矩阵，使得满足该矩阵的特征点个数最多，从而达到消除错误匹配对的目的。具体的，首先随机从特征点匹配对中随机抽出四对特征点样本并保证这些特征点样本之间不共线，然后利用这四对特征点样本数据计算出变换矩阵（最优参数模型），最后利用这个变换矩阵（最优参数模型）测试所有剩余的匹配点数据，计算满足这个变换矩阵的样本数和投影误差（代价函数）。通过重复以上操作，寻找最优矩阵，最优矩阵对应的代价函数最小。其中，代价函数的表达式如下式所示：
上式中，n表示特征点匹配对的总数，(x′,y′)表示特征点匹配对中待拼接图像中特征点的坐标，(x,y)表示特征点匹配对中参考图像中特征点的坐标，h 11～h 33为参考高光谱图像与待拼接高光谱图像之间的变换矩阵H中的元素。以上的操作总结来说，即通过随机抽样求解得到一个变换矩阵（最优参数模型），然后验证其他的点是否符合该变换矩阵，然后符合的特征点成为“内点”，不符合的特征点成为“外点”。下次依然从“新的内点集合”中抽取点构造新的矩阵，重新计算误差。最后误差最小，特征点数最多的模型就是最终的模型，不符合该模型的匹配点即为误匹配点，从而被剔除。
高光谱图像是三维的数据块，其中的每一个坐标点在不同波段的像素值，从光谱维度来看，可以绘制成一条关于光谱波段和光谱值之间的曲线，称为光谱曲线。计算光谱信息散度SID（Spectral Information Divergence）的函数表达式为：
上式中，p i 和q i 分别代表第i个波段中匹配坐标点的像素值，C是高光谱图像的波段总数。利用匹配点坐标对应的光谱曲线，计算光谱信息散度SID（Spectral InformationDivergence），进一步消除错误的特征点匹配关系是指：通过设置阈值λ，光谱信息散度SID大于阈值λ的匹配点即为误匹配点，将被剔除。作为一种具体的实施方式，本实施例中阈值λ取值为所有光谱信息散度SID的平均值。
步骤S4）用于根据最终的特征点坐标对应关系，得到预设的参考高光谱图像与待拼接高光谱图像之间的变换矩阵H。针对坐标对应关系构建变换矩阵作为输入高光谱图像的变换矩阵的方法如下：若(x 1, y 1,1)T表示参考特征图像中的像素点坐标，(x 2, y 2,1)T是待拼接图像中的像素点坐标，为了涵盖平移等图像变换，引入齐次坐标，在原有的二维坐标(x,y)的基础上，增广一个维度为(x,y,1)，通过下式计算得到的h 11～h 33构成的变换矩阵H，可以将待拼接高光谱图像变换到参考高光谱图像的同一坐标系下。
在得到参考高光谱图像与待拼接高光谱图像之间的变换矩阵以后H，即可将待拼接高光谱图像逐波段变换到参考高光谱图像的同一坐标系下，确定参考高光谱图像、待拼接高光谱图像的重叠区域，本实施例中标记为O。
然而，由于各种干扰，输入的原始高光谱图像中的同种地物光谱是有差异的，如果直接进行拼接，其结果将会有明显的边缘效应，降低拼接结果图像的质量，同时也将影响后续的分析和处理。因此，步骤2）中利用重叠区域对待拼接高光谱图像的各个波段进行光谱一致化校正，具体的，采用了基于本质图像原理的辐射校正方法，其函数表达式如下式所示：
上式中，I n 表示高光谱图像的第n波段，高光谱图像的第n波段I n 可以分解为本质部分R n 和光照部分S。因此，基于重叠区域O可计算待拼接高光谱图像的各个波段的校正参数。本实施例中，步骤2）包括：基于参考高光谱图像、待拼接高光谱图像的重叠区域根据下式计算待拼接高光谱图像的各个波段的校正参数；
上式中，k i 表示待拼接高光谱图像的第i个波段的校正参数，P为待拼接高光谱图像的像素个数，T 1 j 为参考高光谱图像第j个波段的待拼接高光谱图像重叠区域像素值保持不变、其他区域置0操作后获得的图像，T 2 j 为待拼接高光谱图像第j个波段的待拼接高光谱图像重叠区域像素值保持不变、其他区域置0操作后获得的图像，C为待拼接高光谱图像的波段数；针对待拼接高光谱图像的每一个波段的波段图像乘以对应波段的校正参数，从而得到待拼接高光谱图像完成光谱一致化校正后的结果。针对待拼接高光谱图像I 2的每一个波段的波段图像乘以对应波段的校正参数可表示为KI 2，其中K为待拼接高光谱图像所有波段的校正参数。
本实施例中，图像T 1 j 和T 2 j 表达式的为：
上式中，T表示图像T 1 j 或者T 2 j ，I k 为参考高光谱图像I1或者待拼接高光谱图像I2，O为参考高光谱图像I1和待拼接高光谱图像I2重叠区域的掩膜图像（重叠区域的像素值为1，其余区域的像素值为0）。
由于参考高光谱图像和待拼接高光谱图像的获取时间不同步，因此在重叠区可能存在信息不一致。步骤3）采用缝合线拼接法对信息不一致进行消除，具体的，估计一条最佳缝合线，将重叠区域分为两个部分，一部分指定为待拼接图像，另一部分指定为参考图像。步骤3）中计算参考高光谱图像、待拼接高光谱图像的重叠区域的最佳缝合线包括：
3.1）根据下式计算缝合线所经过像素点所包含的信息量E(l)；
上式中，E(l)为最佳缝合线所经过像素点所包含的信息量，l p 为重叠区域O中的像素点p的标签，l q 为与重叠区域O中的像素点p相邻的4邻域N中的像素点的标签，D p (l p )表示参考高光谱图像与重叠区域O、待拼接高光谱图像与重叠区域O的交点，S p,q (l p ,l q )表示将标签l p ,l q 分配给一对像素的成本；记标签l p 和l q 的通式为l，l∈{0,1}，l为0代表重叠区域中的点被指定为待拼接图像，l为1代表重叠区域中的点被指定为参考图像。标签1和0的分界线被称为缝合线，缝合线将重叠区域O一分为二，同时获得了一个二值图像，称为缝合线图I seam 。
数据项D p (l p ) 将缝合线的端点固定为两个公共边界，表示参考高光谱图像与重叠区域O、待拼接高光谱图像与重叠区域O的交点，其函数表达式为：
上式中，D p (1)为像素点p的标签为1的数据项，D p (0)为像素点p的标签为0的数据项，μ是为像素分配标签的惩罚项，目的是消除错误标签带来的负面影响，p为像素点坐标，
为参考高光谱图像与重叠区域O的交集，
为待拼接高光谱图像与重叠区域O的交集。
S p,q (l p ,l q )为平滑项，用于表示将标签l p ,l q 分配给一对像素的成本，其函数表达式为：
上式中，I d 为参考图像与待配准图像同一像素点中像素值的欧几里得距离。
3.2）根据缝合线所经过像素点所包含的信息量E(l)通过最小化能量函数获得最佳缝合线。
为了去除拼缝效应，得到更自然的拼接结果，步骤3）采用加权拉普拉斯金字塔来融合待拼接的图像。具体地，本实施例步骤3）中基于最佳缝合线对高光谱图像逐波段融合的函数表达式为：
上式中，ST表示最终的高光谱拼接结果图像，recon表示金字塔重建操作，M为金字塔的层数，G n seam 为缝合线图I seam 生成的高斯金字塔，L n 1 为待拼接高光谱图像生成的拉普拉斯金字塔，L n 2 为参考高光谱图像生成的拉普拉斯金字塔。对于每一个波段的参考图像和待拼接图像，构建拉普拉斯图像金字塔，为计算缝合线后的重叠区域构造高斯图像金字塔，执行上述计算即可获得每一个波段的拼接结果图像。最终，将每一个波段的拼接结果全部叠加在一起，构成了最后的无人机高光谱拼接图像。
图2 和图3分别是无人机高光谱成像仪获取的高光谱原始条带图像以及实施例方法的拼接结果，图4和图5分别为两种典型地物（植被、道路）的光谱曲线图。参见图2、图3、图4和图5可知，本实施例无人机大视场高光谱图像生成方法能够实现真实场景下无人机高光谱图像的准确无缝拼接，同时可以保证拼接结果的光谱一致性。
综上所述，本实施例无人机大视场高光谱图像生成方法包括输入一组高光谱图像，包含参考图像和待拼接图像；选取特征波段，获取待拼接高光谱图像的特征波段图像，提取特征波段图像的特征点；遍历待拼接图像的特征点，获取参考图像中匹配的特征点，得到初始匹配关系；结合光谱信息，消除初始匹配点对中的错误匹配点对，获得最终特征点坐标对应关系；利用坐标对应关系构建变换矩阵作为输入高光谱图像的变换矩阵，将输入的高光谱图像逐波段变换到同一坐标系；利用高光谱图像的重叠区域进行光谱一致化校正；计算高光谱图像重叠区域的最佳缝合线，采用权重金字塔图像融合策略，对高光谱图像逐波段融合，获得最终的无缝拼接的大视场高光谱图像。本实施例提供的无人机大视场高光谱图像生成方法，获得的拼接结果保证了空间、光谱一致性，适用于真实场景下采集重叠率较低的无人机高光谱成像仪图像拼接。
此外，本实施例还提供一种无人机大视场高光谱图像生成系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述无人机大视场高光谱图像生成方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述无人机大视场高光谱图像生成方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种无人机大视场高光谱图像生成方法，其特征在于，包括：
1）针对输入无人机采集得到的参考高光谱图像与待拼接高光谱图像，通过预设的参考高光谱图像与待拼接高光谱图像之间的变换矩阵，将待拼接高光谱图像逐波段变换到参考高光谱图像的同一坐标系下，确定参考高光谱图像、待拼接高光谱图像的重叠区域；
2）利用重叠区域对待拼接高光谱图像的各个波段进行光谱一致化校正；
3）计算参考高光谱图像、待拼接高光谱图像的重叠区域的最佳缝合线，采用权重金字塔图像融合策略，基于最佳缝合线对高光谱图像逐波段融合，获得最终的无缝拼接的大视场高光谱图像；
步骤2）包括：基于参考高光谱图像、待拼接高光谱图像的重叠区域根据下式计算待拼接高光谱图像的各个波段的校正参数；
上式中，k i 表示待拼接高光谱图像的第i个波段的校正参数，P为待拼接高光谱图像的像素个数，T 1 j 为参考高光谱图像第j个波段的待拼接高光谱图像重叠区域像素值保持不变、其他区域置0操作后获得的图像，T 2 j 为待拼接高光谱图像第j个波段的待拼接高光谱图像重叠区域像素值保持不变、其他区域置0操作后获得的图像，C为待拼接高光谱图像的波段数；针对待拼接高光谱图像的每一个波段的波段图像乘以对应波段的校正参数，从而得到待拼接高光谱图像完成光谱一致化校正后的结果；
步骤3）中计算参考高光谱图像、待拼接高光谱图像的重叠区域的最佳缝合线包括：
3.1）根据下式计算缝合线所经过像素点所包含的信息量E(l)；
上式中，E(l)为最佳缝合线所经过像素点所包含的信息量，l p 为重叠区域O中的像素点p的标签，l q 为与重叠区域O中的像素点p相邻的4邻域N中的像素点的标签，D p (l p )表示参考高光谱图像与重叠区域O、待拼接高光谱图像与重叠区域O的交点，S p,q (l p ,l q )表示将标签l p ,l q 分配给一对像素的成本；
3.2）根据缝合线所经过像素点所包含的信息量E(l)通过最小化能量函数获得最佳缝合线。
2.根据权利要求1所述的无人机大视场高光谱图像生成方法，其特征在于，步骤1）之前还包括获取参考高光谱图像与待拼接高光谱图像之间的变换矩阵的步骤：
S1）针对无人机采集得到的参考高光谱图像样本与待拼接高光谱图像样本，分别提取指定特征波段的特征波段图像中的特征点；
S2）遍历待拼接高光谱图像样本中的特征点，找到在参考高光谱图像样本中匹配的特征点，得到参考高光谱图像与待拼接高光谱图像之间的初始特征点匹配关系；
S3）针对参考高光谱图像与待拼接高光谱图像之间的初始特征点匹配关系，消除错误的特征点匹配关系，得到最终的特征点坐标对应关系；
S4）根据最终的特征点坐标对应关系，得到预设的参考高光谱图像与待拼接高光谱图像之间的变换矩阵。
3.根据权利要求2所述的无人机大视场高光谱图像生成方法，其特征在于，步骤S1）中指定特征波段为波长与730纳米的差值小于预设阈值的波段。
4.根据权利要求2所述的无人机大视场高光谱图像生成方法，其特征在于，步骤S2）中在参考高光谱图像样本中匹配的特征点是指欧氏距离最小的特征点。
5.根据权利要求2所述的无人机大视场高光谱图像生成方法，其特征在于，步骤S3）中消除错误的特征点匹配关系的步骤包括：首先采用随机抽样一致算法RANSAC初步消除错误的特征点匹配关系，然后利用匹配点坐标对应的光谱曲线，计算光谱信息散度SID，进一步消除错误的特征点匹配关系，从而得到最终的特征点坐标对应关系。
6.根据权利要求1所述的无人机大视场高光谱图像生成方法，其特征在于，步骤3）中基于最佳缝合线对高光谱图像逐波段融合的函数表达式为：
上式中，ST表示最终的高光谱拼接结果图像，recon表示金字塔重建操作，M为金字塔的层数，G n seam 为缝合线图I seam 生成的高斯金字塔，L n 1 为待拼接高光谱图像生成的拉普拉斯金字塔，L n 2 为参考高光谱图像生成的拉普拉斯金字塔。
7.一种无人机大视场高光谱图像生成系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～6中任意一项所述无人机大视场高光谱图像生成方法的步骤。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～6中任意一项所述无人机大视场高光谱图像生成方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110459829.8A CN112991186B (zh) | 2021-04-27 | 2021-04-27 | 一种无人机大视场高光谱图像生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110459829.8A CN112991186B (zh) | 2021-04-27 | 2021-04-27 | 一种无人机大视场高光谱图像生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991186A CN112991186A (zh) | 2021-06-18 |
| CN112991186B true CN112991186B (zh) | 2021-07-27 |
Family
ID=76340322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110459829.8A Active CN112991186B (zh) | 2021-04-27 | 2021-04-27 | 一种无人机大视场高光谱图像生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991186B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071241B (zh) * | 2023-03-07 | 2023-06-16 | 武汉大学 | 基于最优拼缝线与图割模型求解的高光谱图像拼接方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105842183A (zh) * | 2016-03-17 | 2016-08-10 | 东北大学 | 一种基于共识选择技术的红外光谱建模方法 |
| CN109961399A (zh) * | 2019-03-15 | 2019-07-02 | 西安电子科技大学 | 基于图像距离变换的最佳缝合线搜寻方法 |
| CN112163995A (zh) * | 2020-09-07 | 2021-01-01 | 中山大学 | 一种超大航拍条带图像的拼接生成方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120007979A1 (en) * | 2008-04-16 | 2012-01-12 | Elbit Systems Ltd. Advanced Technology Center | Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions |
| CN101951487B (zh) * | 2010-08-19 | 2012-06-27 | 深圳大学 | 一种全景图像融合方法、系统及图像处理设备 |
| CN107274380B (zh) * | 2017-07-07 | 2019-10-11 | 北京大学 | 一种无人机多光谱影像快速拼接方法 |
| CN108734685B (zh) * | 2018-05-10 | 2022-06-03 | 中国矿业大学(北京) | 一种无人机载高光谱线阵列遥感影像的拼接方法 |
| US20200084357A1 (en) * | 2018-08-22 | 2020-03-12 | Moshe Salhov | Adaptive spectral and hyperspectral imaging |
| CN110211046B (zh) * | 2019-06-03 | 2023-07-14 | 重庆邮电大学 | 一种基于生成对抗网络的遥感图像融合方法、系统和终端 |
| CN111553841B (zh) * | 2020-04-21 | 2023-04-07 | 东南大学 | 一种基于最佳缝合线更新的实时视频拼接方法 |
| CN111369487B (zh) * | 2020-05-26 | 2020-09-18 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
| CN111583121A (zh) * | 2020-05-27 | 2020-08-25 | 河南理工大学 | 一种针对植被的无人机高光谱影像拼接方法 |
-
2021
- 2021-04-27 CN CN202110459829.8A patent/CN112991186B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105842183A (zh) * | 2016-03-17 | 2016-08-10 | 东北大学 | 一种基于共识选择技术的红外光谱建模方法 |
| CN109961399A (zh) * | 2019-03-15 | 2019-07-02 | 西安电子科技大学 | 基于图像距离变换的最佳缝合线搜寻方法 |
| CN112163995A (zh) * | 2020-09-07 | 2021-01-01 | 中山大学 | 一种超大航拍条带图像的拼接生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991186A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ji et al. | Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set | |
| Liu et al. | Deep convolutional neural network training enrichment using multi-view object-based analysis of Unmanned Aerial systems imagery for wetlands classification | |
| Enomoto et al. | Filmy cloud removal on satellite imagery with multispectral conditional generative adversarial nets | |
| Khoshelham et al. | Performance evaluation of automated approaches to building detection in multi-source aerial data | |
| López et al. | A framework for registering UAV-based imagery for crop-tracking in Precision Agriculture | |
| Bunting et al. | A multi-resolution area-based technique for automatic multi-modal image registration | |
| KR102053582B1 (ko) | 딥러닝 기반 영상패턴학습을 이용한 토지피복 분류 방법 | |
| CN108230376B (zh) | 遥感图像处理方法、装置和电子设备 | |
| Hafner et al. | Unsupervised domain adaptation for global urban extraction using Sentinel-1 SAR and Sentinel-2 MSI data | |
| CN103822616A (zh) | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 | |
| Li et al. | A study on automatic UAV image mosaic method for paroxysmal disaster | |
| Polewski et al. | Instance segmentation of fallen trees in aerial color infrared imagery using active multi-contour evolution with fully convolutional network-based intensity priors | |
| CN111275616B (zh) | 低空航拍图像拼接方法和装置 | |
| CN112991186B (zh) | 一种无人机大视场高光谱图像生成方法及系统 | |
| Cournet et al. | Ground truth generation and disparity estimation for optical satellite imagery | |
| Zhao et al. | CNN, RNN, or ViT? An evaluation of different deep learning architectures for spatio-temporal representation of sentinel time series | |
| Misra et al. | SPRINT: Spectra Preserving Radiance Image Fusion Technique using holistic deep edge spatial attention and Minnaert guided Bayesian probabilistic model | |
| Usman Rafique et al. | Weakly supervised fusion of multiple overhead images | |
| Tian | 3D change detection from high and very high resolution satellite stereo imagery | |
| Abdel-Wahab et al. | Efficient reconstruction of large unordered image datasets for high accuracy photogrammetric applications | |
| CN113516059B (zh) | 固体废弃物的识别方法、装置、电子设备及存储介质 | |
| Rout et al. | S2a: Wasserstein gan with spatio-spectral laplacian attention for multi-spectral band synthesis | |
| Liu et al. | An improved APAP algorithm via line segment correction for UAV multispectral image stitching | |
| Sefercik et al. | Optimizing the Achievable Information Content Extraction from WorldView-4 Stereo Imagery | |
| Tawade et al. | Remote sensing image fusion using machine learning and deep learning: a systematic review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230906 Address after: No. 217 Fenglin Third Road, Yuelu District, Changsha City, Hunan Province, 410221 Patentee after: HUNAN AEROSPACE YUANWANG SCIENCE & TECHNOLOGY Co.,Ltd. Address before: Yuelu District City, Hunan province 410082 Changsha Lushan Road No. 1 Patentee before: HUNAN University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240529 Address after: Yuelu District City, Hunan province 410082 Changsha Lushan Road No. 1 Patentee after: HUNAN University Country or region after: China Address before: No. 217 Fenglin Third Road, Yuelu District, Changsha City, Hunan Province, 410221 Patentee before: HUNAN AEROSPACE YUANWANG SCIENCE & TECHNOLOGY Co.,Ltd. Country or region before: China |