CN109118429B - 一种中波红外-可见光多光谱影像快速生成方法 - Google Patents
一种中波红外-可见光多光谱影像快速生成方法 Download PDFInfo
- Publication number
- CN109118429B CN109118429B CN201810869663.5A CN201810869663A CN109118429B CN 109118429 B CN109118429 B CN 109118429B CN 201810869663 A CN201810869663 A CN 201810869663A CN 109118429 B CN109118429 B CN 109118429B
- Authority
- CN
- China
- Prior art keywords
- image
- wave infrared
- visible light
- images
- medium wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000003702 image correction Methods 0.000 claims abstract description 12
- 230000000903 blocking effect Effects 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 6
- 238000010408 sweeping Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000011524 similarity measure Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000002585 base Substances 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- ZFMRLFXUPVQYAU-UHFFFAOYSA-N sodium 5-[[4-[4-[(7-amino-1-hydroxy-3-sulfonaphthalen-2-yl)diazenyl]phenyl]phenyl]diazenyl]-2-hydroxybenzoic acid Chemical compound C1=CC(=CC=C1C2=CC=C(C=C2)N=NC3=C(C=C4C=CC(=CC4=C3O)N)S(=O)(=O)O)N=NC5=CC(=C(C=C5)O)C(=O)O.[Na+] ZFMRLFXUPVQYAU-UHFFFAOYSA-N 0.000 description 1
- 239000005437 stratosphere Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于中波红外‑可见光多光谱影像快速生成方法，首先，对中波红外影像利用基于倾斜影像纠正的逼进投影变换拼接过程进行快速拼接；快速拼接完成后，以可见光正射影像为基准，对快速拼接后的中波红外影像进行精化配准，快速生成中波红外‑可见光多光谱影像；所述基于倾斜影像纠正的逼进投影变换拼接过程，实现方式为，首先针对中外红影像进行倾斜角纠正，解决在摆扫过程中由于视角的不断变化造成的图像变形；然后进行SIFT特征提取与匹配，利用RANSAC去除误匹配，计算全局单应矩阵，最后分块计算MDLT中的权矩阵并对每一个分块做相应的单应矩阵变换，实现获取大场景的中波红外影像。
Description
技术领域
本发明涉及中波红外-可见光多光谱影像快速生成方法，属于遥感测绘领域。
背景技术
中波红外波段(3μm～5μm)是远距离探测的大气窗口，具有独特的成像优势，可以解决低能见度及夜晚情况下遥感影像获取难题，同时可以用于检测地面高温目标，因此被广泛用于军事、遥感、计算机视觉以及灾害应急响应等领域。中波红外与可见光成像技术从不同侧面反映了地物的辐射信息，中波红外可以弥补和提升可见光波段影像的目标识别和特征提取能力，改善地物分类和影像解译精度，并且中波红外的低能见度突破和夜间成像能力可以拓展遥感监测的应用范围与条件。但是由于中波红外相机面幅较小，国内市场最大面阵中波红外相机仅有640*512大小，难以单独使用中波红外相机快速的生成高分辨率的中波红外正射影像。
当前，中波红外和可见光皆采用垂直下视成像，然后分别处理生成各个波段的正射影像，最后组合成中波红外-可见光多光谱影像，所述中波红外-可见光多光谱影像包括可见光3个波段和中红外1个波段。但是，小面阵的中波红外相机的垂直拍摄方式限制了中波红外影像的采集效率，因此本发明提出采用摆扫方式采集中波红外影像，大大的提高了中波红外影像的获取效率。但是，中波红外相机摆扫成像方式对影像的后续处理提出了新的挑战，当前的摄影测量软件无法处理小面阵的摆扫影像，处理难点在于难以通过空中三角测量获得中波红外高精度的内外参数。
因此，目前本领域需要一种大场景的中波红外-可见光多光谱影像的快速生成方法。
发明内容
本发明的目的在于克服现有技术中缺点，即中波红外和可见光皆采用垂直下视成像，小面阵中波红外相机的垂直拍摄方式限制中波红外影像的采集效率，只适用于小范围的场景的多光谱影像生成。本发明针对现有技术采集效率有限的缺点，从小面阵影像的成像特点出发，以影像拼接和配准为关键技术，采用摆扫方式采集中波红外影像，大大的提高了中波红外影像的获取效率。由于摆扫成像生成方法，涉及到大场景中波红外影像快速拼接和中波红外-可见光精确配准两个使得中波红外影像之间具有大仿射变形，并且降低了航带内的两个相邻摆扫周期的中波红外的影像重叠度，增加了中波红外影像处理的难度，处理难点在于中波红外的空中三角测量，无法得到中波红外影像的精确内外参数。因此本发明通过规避中波红外的空中三角测量处理，以影像拼接和配准为技术基础，发明了一种中波红外-可见光多光谱影像快速技术点。要实现以上特点，本发明需要克服的技术难点如下：
1)中波红外影像的快速拼接。中红外航空遥感成像系统采用面阵相机摆扫方案，扩大视场提高效率。传统拼接算法以一个单应性矩阵对齐图像，会因为视差问题往往会出现鬼影、模糊等现象，适合没有视差或极小视差的场景。
2)图像或数据类别差异大(如光学与SAR影像)、波段差异大(如可见光与中波红外影像)等情况下的影像高精度、自动配准技术的实现。由于不同传感器的成像机理不同，获取影像的时间、角度、环境也不同，多模态影像的配准研究领域中还存在着很多的困难。
3)配准精度无法达到像素级。传统的遥感影像配准工作量大、自动化程度低。一般的基于灰度的配准方法(如相关函数)无法成功实现配准。基于特征的配准方法也面临着特征重复性探测和模态不变特征描述两方面的挑战。基于统计依赖性的区域配准方法适用于多模态影像配准但配准精度无法达到像素级，且均未顾及影像的梯度信息。
本发明提供一种基于中波红外-可见光多光谱影像快速生成方法，所述中波红外影像通过中红外相机摆扫成像的方式获取，首先，对中波红外影像利用基于倾斜影像纠正的逼进投影变换拼接过程进行快速拼接；快速拼接完成后，以可见光正射影像为基准，对快速拼接后的中波红外影像进行精化配准，快速生成中波红外-可见光多光谱影像；
所述基于倾斜影像纠正的逼进投影变换拼接过程，实现方式为，首先针对中波红外影像进行倾斜角纠正，解决在摆扫过程中由于视角的不断变化造成的图像变形；然后进行SIFT特征提取与匹配，利用RANSAC去除误匹配，计算全局单应矩阵，最后分块计算MDLT中的权矩阵并对每一个分块做相应的单应矩阵变换，实现获取大场景的中波红外影像。
而且，对中波红外影像进行倾斜角纠正，实现方式为，
根据飞行设计的航高和POS系统提供的影像外参数，通过共线条件方程将影像4个顶点投影到地面，获取投影四边形；
求得投影四边形的矩形凸包，将矩形凸包看作一个像平面，根据垂直影像的地面分辨率划分凸包格网，并计算投影四边形的4个顶点在凸包格网中的坐标；
根据4个投影四边形的顶点在凸包中的坐标与顶点在原始影像中的坐标，计算凸包平面和影像平面的单应矩阵H，根据单应矩阵H采用反解法微分纠正将影像重采样到矩形凸包上。
而且，对快速拼接后的中波红外影像进行精化配准采用顾及灰度和梯度信息的多模态影像配准方式，顾及灰度和梯度信息的多模态影像配准方式综合马尔科夫随机场和B样条插值策略，通过最小化关于灰度和梯度信息的能量函数来估计最佳变换。
因此，本发明的关键点是：
1)对中波红外影像进行基于倾斜影像纠正的逼近投影变换拼接算法实现快速拼接；
2)在快速拼接的基础上，充分利用多模态影像的图像信息进行相似性测量，同时考虑了灰度及梯度统计信息；
3)有效地利用可见光正射影像，利用配准快速生成中波红外波段的多光谱图像。
本发明的特点是：
1)本发明以可见光正射影像为基准，中波红外采用摆扫成像方式，提高了中波红外的采集效率；采用中波红外影像快速拼接和精化配准方案，规避了摆扫中波红外的空中三角测量难题，大大提高了大场景的中波红外-可见光多光谱影像生成速度。
2)本发明充分考虑中波红外摆扫成像的特点，研究了一种基于倾斜影像纠正的逼近投影变换拼接算法，能减弱因为这种不同角度拍摄而造成的几何变形并且能有效克服鬼影、模糊等现象。
3)在基于倾斜影像纠正的逼近投影变换拼接算法基础上，本发明的配准模型同时考虑了多模态影像的灰度及梯度统计信息。多模态影像的地物边缘属于几何特征，具有一定的相似性和不变性，梯度信息能很好地表示影像的边缘特征，从而使影像配准结果更加准确；同时优化了空间加权函数。能较好地完成中波红外-可见光影像的精化配准，且配准精度达到像素级。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明实施例的中波红外影像拼接流程图
图3为本发明实施例的多模态影像配准流程图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
本发明了一种中波红外-可见光多光谱影像快速生成方法，且满足空间精度的要求。以可见光正射影像为基准，对快速拼接后的中波红外影像进行精化配准，快速生成中波红外-可见光多光谱影像。充分利用多模态影像的图像信息进行相似性测量，并采用基于马尔科夫随机场(MRF)的非参数化配准模型，配准变换满足微分同胚保持影像的拓扑结构。模型上同时考虑了灰度及梯度统计信息，求解方法上对值空间进行离散化，提高收敛速度。
参见图1，本发明实施例对中波红外影像利用基于倾斜影像纠正的逼进投影变换拼接算法进行快速拼接；以可见光正射影像为基准，对快速拼接后的中波红外影像进行精化配准，快速生成中波红外-可见光多光谱影像。
本发明的顾及灰度和梯度信息的多模态影像配准算法是马尔科夫随机场(MRF)和B样条插值策略的综合。算法的整体框架是马尔可夫随机场(MRF)模型，通过最小化能量函数来估计最佳变换。
本发明的中波红外影像快速拼接方法是基于倾斜影像纠正的逼进投影变换图像拼接算法。本发明实施例的中波红外-可见光多光谱影像快速生成方法，具体实现过程如下：
步骤1，将中波红外影像划分不同航带；
步骤2，对中波红外影像进行基于倾斜影像纠正的逼近投影变换拼接算法实现快速拼接；
参见图2，实施例的基于倾斜影像纠正的逼近投影变换拼接算法，包括以下子步骤，
步骤2.1，首先进行倾斜角纠正；
中波红外影像通过中红外相机摆扫成像的方式获取，成像过程中，摆扫式扫描的方向垂直于飞行路径。在摆扫过程中，由于视角的不断变化，传感器的成像方式会造成图像变形，倾斜影像整体仿射纠正就是为了减弱因为这种不同角度拍摄而造成的几何变形。这里需要提供影像的POS外参数与飞行航高，通过行航高估算近似的地面高。具体步骤如下：
a)根据飞行设计的航高和POS系统提供的影像外参数，通过共线条件方程将影像4个顶点投影到地面，获取投影四边形；
式中，X,Y为地面坐标，Xs,Ys,Zs为外方位线元素初值，a1,a2…,c3为旋转矩阵元素，f为焦距，x,y为像主点为原点的像平面坐标，
为平均高程面。
b)求得投影四边形的矩形凸包，将这个矩形凸包看作一个像平面，根据垂直影像的地面分辨率划分凸包格网，并计算投影四边形的4个顶点在凸包格网中的坐标。
c)根据4个投影四边形的顶点在凸包中的坐标与顶点在原始影像中的坐标计算凸包平面和影像平面的单应矩阵H，根据单应矩阵H采用反解法微分纠正将影像重采样到矩形凸包上。
步骤2.2，SIFT特征提取与匹配，经过以上仿射纠正后，SIFT(Scale-invariantfeature transform，尺度不变特征变换)算法可以很好的在纠正后的影像完成特征提取与匹配；
步骤2.3，再利用RANSAC(随机抽样一致算法)去除误匹配；
步骤2.4，计算全局单应矩阵并映射，包括通过匹配点对计算全局的单应矩阵，提取拼接后整幅图尺寸，使用全局单应矩阵将源影像映射到目标影像中去；
步骤2.5，最后分块计算移动直线线性变换(Moving Direct LinearTransformation,MDLT)中的权矩阵并对每一个分块做单应矩阵的变换，实现获取大场景的中波红外影像。
实施例中，将源图像I分割成单元网格(C1×C2为网格尺寸)。对于每个单元格，将中心坐标选为x*，并使用相同的单应矩阵H*对同一单元格内的所有像素进行变形；每个像素x*距离第i个匹配点xi之间的几何距离正相关，权重
定义为：
为了避免过于接近0导致误差，进行规格化操作，用一个极小值γ补偿权重，取γ∈[0,1]。大于40％的单元格中只有少数的权重值不同于γ。定义权矩阵Wγ＝γI，I为单位矩阵。V为WγA的右奇异向量，令特征值分解：
为基本解。其中，D为对角矩阵，设通过步骤2.2和步骤2.3后得到N对匹配点对，此处i＝1,2,…,N，A为N对匹配点对求解线性关系的系数矩阵。真权矩阵
与Wγ区别在于存在少数权重ωi不为γ的地方，且均分布在对角线上，由此得：
其中，数值
向量rk为矩阵A的第k行，矩阵A共有2N×9行，向量
用特征方程对角化公式(3)中间的矩阵：
将(4)代入(3)中，可得：
其中，
是奇异值分解右侧的矩阵，可利用矩阵
的柯西结构高效计算获得。因此可得到单应矩阵的估计，用此对每一个单元格做单应矩阵的变换。有关文献：ZaragozaJ,Chin T J,Brown M S,et al.As-Projective-As-Possible Image Stitching withMoving DLT[C]//Computer Vision and Pattern Recognition.IEEE,2013:2339-2346.
步骤3，将分航带的中波红外影像拼接结果进行合并拼接；
步骤4，将快速拼接后的中波红外影像和可见光正射影像进行精化配准。根据马尔可夫随机模型将源影像进行网格划分形成均匀控制点网格；利用灰度和梯度信息进行代价计算；通过最优化解算(Fast PD算法)得到控制网格节点的位移量(标签)。有关文献:闫利,王紫琦,叶志云.顾及灰度和梯度信息的多模态影像配准算法[J].测绘学报,2018(1):71-81.实施例的精化配准算法具体操作步骤如下：
MRF是概率模型，其可以由图G＝(υ,ε)表示，其中υ和ε分别表示图的顶点和边。在图像配准的具体情况下，MRF模型定义如下：节点p∈υ(具有空间位置xp)对应于均匀B样条网格中的控制点，q为相邻节点。对于每个节点，存在一组离散标签；离散标签的集合L对应于解空间的量化，表示允许的离散位移量。标签集L的基数为4n+1，由沿x，y轴和对角线均匀采样n个标签加上原点构建L＝{l1,…l4n+1}；随机变量对应于控制点的位移量；优化的能量函数由两个项组成：数据代价项Dp(lp)，采用块匹配对源影像及其梯度影像进行相似性测度；正则代价项Ppq(lp,lq)，引入变形场平滑约束的先验知识。图像配准的目标是为每个控制网格节点分配一个最佳标签l，使得以下能量函数最小化：
式中，lp为节点p的标签，lq为节点q的标签，υ和ε分别表示图G的顶点和边，λ是一个标量值，用于权衡正则项的影响。
将影像进行网格划分形成均匀控制点网格G：[1，K]×[1，L](K和L显著小于图像尺寸；控制点之间的距离为δ)，利用多模态影像的灰度及梯度信息根据MRF模型进行均匀控制网格节点的代价计算。对于数据代价项Dp(lp)，采用块匹配进行相似性测度，即以每个控制网格节点为中心的分块及其梯度影像来进行相似性度量：
其中，Up(lp)表示灰度影像的代价计算，Gp(lp)表示梯度影像的代价计算。
表示控制点p周围的加权块函数。
表示标签为lp的位移量。IS,GS表示原影像及其梯度影像，IT,GT表示目标影像及其梯度影像。ω表示梯度统计信息权重，随着迭代次数的增加而减小。
正态分布显然是理想的权重分布模型。将中心点p作为原点，而其余点x基于它们在曲线上的位置来测量。正态分布的密度函数由高斯函数表示：
其中b是高斯函数的宽度参数，可用于控制径向范围。在空间上越接近控制点的像素点，其影响越大。||·||表示欧几里德范数。
实施例采用形态学梯度提取多模态影像的梯度信息。可以检测图像边缘，提取特征信息，在配准时明显减少相似性测度的计算，同时改善局部极值问题。
相似性测度ρ可以选用归一化互信息。两张影像的互信息是通过它们的熵以及联合熵，来反映它们之间信息的相互包含程度。信息熵
可以用于块匹配策略的相似性测度计算：
其中，(i,k)为像素坐标，
为相似性测度，影像互信息
可由相应影像的灰度概率分布
计算，
可由相应影像灰度的联合概率分布
计算。
对于正则代价项Ppq(lp,lq)，引入变形场平滑约束的先验知识，即紧密相关的节点p、q应该分配给类似的标签。采用标签之间的向量差异的简单策略，并通过网格距离δ进行归一化：
模型上同时考虑了灰度以及梯度统计信息，同时采用适用于多模态遥感数据集的块匹配策略，优化了空间加权函数，可以局部评估配准图像之间的差异，提高计算效率。求解方法上，对值空间进行离散化，提高收敛速度。
步骤5，再利用B样条插值策略计算每个像素点的位移控制图像变形实施配准；
采用基于网格的B样条的弹性变形模型，可以提供一对一和可逆转换。变形模型的基本思想是通过控制网格节点的位移量运用插值策略来计算图像域的其余像素点的位移量来使底层图像变形：
其中，T(x)为目标影像；dij表示均匀网格控制点的位移；ηij(x)对应于控制点ij(第i行第j列的网格相应控制点)对图像点x的影响的内插或加权函数。图像点距离越近，控制点的影响越大。控制点在图像上均匀分布形成网格，网格间距为δ。插值策略采用均匀三次B样条函数。
步骤6，通过标签更新、网格精化、影像金字塔重复步骤4，步骤5完成迭代过程，逐渐恢复较小位移实现精化配准。参见图3。
步骤7，输出中波红外-可见光多光谱影像。
实施例使用了以下实验配置：三级高斯金字塔，三级变形网格，初始控制点网格间距δ为128像素。其他两个层级的距离分别设置为64和32像素。对于各层金字塔下各级网络，使用5次迭代方案，采用归一化互信息作为相似性测度，形态学梯度保留物体的边缘轮廓，高斯函数作为空间加权方法。标签集的基数为41。在第一次迭代中，采样的最大位移等于0.4×δ，满足微分同胚要求。在以下迭代中，最大采样位移对应于前一次迭代的最大位移的0.67。ω的初始值为1。λ为经验选择，取值在1600左右是稳健的。面片尺寸等于2δ×2δ。
具体实施时，以上流程可采用计算机软件方式实现自动运行流程。
上述实施例流程描述仅为了清楚说明本发明的基本技术方案，但本发明并不仅限于上述实施例；凡是依据本发明的技术实质上实施例所作的任何简单修改、等同变化与修饰，均落入本发明的技术方案的保护范围之内。
Claims (3)
1.一种基于中波红外-可见光多光谱影像快速生成方法，所述中波红外影像通过中红外相机摆扫成像的方式获取，其特征在于：用于中波红外影像的像素级快速拼接配准，首先，对中波红外影像利用基于倾斜影像纠正的逼进投影变换拼接过程进行快速拼接；快速拼接完成后，在快速拼接的基础上，充分利用多模态影像的图像信息进行相似性测量，同时考虑了灰度及梯度统计信息，包括以可见光正射影像为基准，对快速拼接后的中波红外影像进行精化配准，快速生成中波红外-可见光多光谱影像，同时采用适用于多模态遥感数据集的块匹配策略，优化空间加权函数，以局部评估配准图像之间的差异；
所述基于倾斜影像纠正的逼进投影变换拼接过程，实现方式为，首先针对中波红外影像进行倾斜角纠正，解决在摆扫过程中由于视角的不断变化造成的图像变形；然后进行SIFT特征提取与匹配，利用RANSAC去除误匹配，计算全局单应矩阵，最后分块计算MDLT中的权矩阵并对每一个分块做相应的单应矩阵变换，实现获取大场景的中波红外影像。
2.根据权利要求1所述基于中波红外-可见光多光谱影像快速生成方法，其特征在于：对中波红外影像进行倾斜角纠正，实现方式为，
根据飞行设计的航高和POS系统提供的影像外参数，通过共线条件方程将影像4个顶点投影到地面，获取投影四边形；
求得投影四边形的矩形凸包，将矩形凸包看作一个像平面，根据垂直影像的地面分辨率划分凸包格网，并计算投影四边形的4个顶点在凸包格网中的坐标；
根据4个投影四边形的顶点在凸包中的坐标与顶点在原始影像中的坐标，计算凸包平面和影像平面的单应矩阵H，根据单应矩阵H采用反解法微分纠正将影像重采样到矩形凸包上。
3.根据权利要求1或2所述基于中波红外-可见光多光谱影像快速生成方法，其特征在于：对快速拼接后的中波红外影像进行精化配准采用顾及灰度和梯度信息的多模态影像配准方式，顾及灰度和梯度信息的多模态影像配准方式综合马尔科夫随机场和B样条插值策略，通过最小化关于灰度和梯度信息的能量函数来估计最佳变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810869663.5A CN109118429B (zh) | 2018-08-02 | 2018-08-02 | 一种中波红外-可见光多光谱影像快速生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810869663.5A CN109118429B (zh) | 2018-08-02 | 2018-08-02 | 一种中波红外-可见光多光谱影像快速生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109118429A CN109118429A (zh) | 2019-01-01 |
| CN109118429B true CN109118429B (zh) | 2023-04-25 |
Family
ID=64851601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810869663.5A Active CN109118429B (zh) | 2018-08-02 | 2018-08-02 | 一种中波红外-可见光多光谱影像快速生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109118429B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3726458B1 (en) | 2019-04-15 | 2022-03-16 | Tata Consultancy Services Limited | System and a method for stitching images using non-linear optimization and multi-constraint cost function minimization |
| CN110379004B (zh) * | 2019-07-22 | 2021-02-09 | 泰瑞数创科技(北京)有限公司 | 一种对倾斜摄影成果进行地物分类及单体化提取的方法 |
| CN112907493B (zh) * | 2020-12-01 | 2024-07-23 | 航天时代飞鸿技术有限公司 | 无人机蜂群协同侦察下的多源战场图像快速镶嵌融合算法 |
| CN112819868B (zh) * | 2021-02-05 | 2022-03-04 | 哈尔滨工业大学 | 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法 |
| CN113920325B (zh) * | 2021-12-13 | 2022-05-13 | 广州微林软件有限公司 | 一种基于红外图像特征点减少物体识别图像量的方法 |
| CN114897676A (zh) * | 2022-03-25 | 2022-08-12 | 北京瀚景锦河科技有限公司 | 一种无人机遥感多光谱图像拼接方法、设备及介质 |
| CN115393196B (zh) * | 2022-10-25 | 2023-03-24 | 之江实验室 | 一种无人机面阵摆扫的红外多序列影像无缝拼接方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927731A (zh) * | 2014-05-05 | 2014-07-16 | 武汉大学 | 无需pos辅助的低空遥感影像快速自动拼接方法 |
| CN105844587A (zh) * | 2016-03-17 | 2016-08-10 | 河南理工大学 | 一种低空无人机载高光谱遥感影像自动拼接方法 |
| CN106447601A (zh) * | 2016-08-31 | 2017-02-22 | 中国科学院遥感与数字地球研究所 | 一种基于投影‑相似变换的无人机遥感影像拼接方法 |
| CN107563964A (zh) * | 2017-08-22 | 2018-01-09 | 长光卫星技术有限公司 | 大面阵亚米级夜景遥感影像的快速拼接方法 |
-
2018
- 2018-08-02 CN CN201810869663.5A patent/CN109118429B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927731A (zh) * | 2014-05-05 | 2014-07-16 | 武汉大学 | 无需pos辅助的低空遥感影像快速自动拼接方法 |
| CN105844587A (zh) * | 2016-03-17 | 2016-08-10 | 河南理工大学 | 一种低空无人机载高光谱遥感影像自动拼接方法 |
| CN106447601A (zh) * | 2016-08-31 | 2017-02-22 | 中国科学院遥感与数字地球研究所 | 一种基于投影‑相似变换的无人机遥感影像拼接方法 |
| CN107563964A (zh) * | 2017-08-22 | 2018-01-09 | 长光卫星技术有限公司 | 大面阵亚米级夜景遥感影像的快速拼接方法 |
Non-Patent Citations (5)
| Title |
|---|
| A3航摄仪在海岛海岸带测绘中的应用研究;黄瑶，张彩霞，奚歌，姜建;《海洋测绘》;20160925;第2章，图1-3 * |
| An Adaptive Weighted Tensor Completion Method for the Recovery of Remote Sensing Images With Missing Data;M.K.Ng,Q.Yuan,L.Yan and J.Sun;《IEEE Transactions on Geoscience and Remote Sensing》;20170519;全文 * |
| 几何约束条件下的SIFT倾斜影像匹配;闫利，叶志云;《测绘通报》;20160125;第1-2章，图1-6 * |
| 利用A3数码航摄仪进行复杂地形控制点布设的研究;蒋春华;《测绘通报》;20150525;全文 * |
| 顾及灰度和梯度信息的多模态影像配准算法;闫利，王紫琦，叶志云;《测绘学报》;20180115;第1-2章，图1，图4，表1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109118429A (zh) | 2019-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118429B (zh) | 一种中波红外-可见光多光谱影像快速生成方法 | |
| Yang et al. | Multi-temporal remote sensing image registration using deep convolutional features | |
| US10366501B2 (en) | Method and apparatus for performing background image registration | |
| Men et al. | Color point cloud registration with 4D ICP algorithm | |
| Sodhi et al. | In-field segmentation and identification of plant structures using 3D imaging | |
| CN110853075A (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
| Min et al. | Non-rigid infrared and visible image registration by enhanced affine transformation | |
| Pascoe et al. | Robust direct visual localisation using normalised information distance. | |
| CN112419374A (zh) | 一种基于图像配准的无人机定位方法 | |
| CN110807828A (zh) | 一种倾斜摄影三维重建匹配方法 | |
| Xiang et al. | A robust two-stage registration algorithm for large optical and SAR images | |
| Ribera et al. | Estimating phenotypic traits from UAV based RGB imagery | |
| Cao | Applying image registration algorithm combined with CNN model to video image stitching | |
| CN112016478A (zh) | 一种基于多光谱图像融合的复杂场景识别方法及系统 | |
| CN106204507B (zh) | 一种无人机图像拼接方法 | |
| CN111626307A (zh) | 一种基于l-orb算法的植株图像实时拼接方法 | |
| Dalmiya et al. | A survey of registration techniques in remote sensing images | |
| Liu et al. | A general relative radiometric correction method for vignetting and chromatic aberration of multiple CCDs: Take the Chinese series of Gaofen satellite Level-0 images for example | |
| CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
| CN108335320A (zh) | 多源遥感影像的空间配准方法及空间配准系统 | |
| Zhu et al. | Generation of thermal point clouds from uncalibrated thermal infrared image sequences and mobile laser scans | |
| Kang et al. | A robust image matching method based on optimized BaySAC | |
| CN115984592A (zh) | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 | |
| EP4254354A1 (en) | System and method using pyramidal and uniqueness matching priors for identifying correspondences between images | |
| Feng et al. | Registration of multitemporal GF-1 remote sensing images with weighting perspective transformation model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |