CN110766734A - 光学影像与热红外影像的配准方法及设备 - Google Patents

光学影像与热红外影像的配准方法及设备 Download PDF

Info

Publication number
CN110766734A
CN110766734A CN201910753652.5A CN201910753652A CN110766734A CN 110766734 A CN110766734 A CN 110766734A CN 201910753652 A CN201910753652 A CN 201910753652A CN 110766734 A CN110766734 A CN 110766734A
Authority
CN
China
Prior art keywords
thermal infrared
image
optical
infrared image
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910753652.5A
Other languages
English (en)
Inventor
陈富龙
朱海涛
李儒�
邓飚
周伟
徐进勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Satellite Application Center for Ecology and Environment of MEE
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Satellite Application Center for Ecology and Environment of MEE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS, Satellite Application Center for Ecology and Environment of MEE filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201910753652.5A priority Critical patent/CN110766734A/zh
Publication of CN110766734A publication Critical patent/CN110766734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种光学影像与热红外影像的配准方法及设备，获取原始光学影像和原始热红外影像；基于预存的光学影像与热红外影像的像素间一一对应关系，计算热红外影像与光学影像的设定区域互信息值，根据计算结果在设定区域存在最大互信息值的情况下，将设定区域的中心位置设为同名点；基于同名点，计算热红外影像与所述原始光学影像之间的几何变换参数；以及根据计算得到的所述几何变换参数建立配准模型，将所述热红外影像的各像素点带入所述配准模型进行坐标变换，以使热红外影像与所述原始光学影像处于同一坐标系下，以得到光学‑热红外配准影像，避免在温度梯度较小的情况下，热红外影像中边缘信息不清楚，同名点搜索困难，难以完成配准的问题。

Description

光学影像与热红外影像的配准方法及设备
技术领域
本发明涉及遥感数据处理，具体地涉及一种光学影像与热红外影像的配准方法及设备。
背景技术
光学遥感数据是最直观的遥感数据，数据获取量大、信息丰富，是应用最为广泛的遥感数据。但是这类数据使用的光谱波段有限，往往一些地物隐含信息无法直接体现。
热红外遥感是探测远距离外的地物所反射或辐射红外特性差异的信息，以确定地面物体性质、状态和变化规律的遥感技术，通过该技术能够探测到很多“隐藏”的信息。
将光学与热红外数据融合，既能够保留光学数据丰富的纹理细节信息，又能够通过温度(辐射)探测特定差异信息，因此在环保监测、遥感考古等多场景具有了丰富的应用。
无人机搭载热红外传感器能够获取相对空间分辨率高的热红外数据，但受传感器最小可辨温差限制，数据可能出现理论空间分辨率很高，但数据内部纹理信息较弱的情况，这对该数据应用产生严重的影响。解决的策略之一即将高空间分辨率光学数据和热红外数据配准融合。
光学与热红外数据的配准是该策略的关键步骤和技术之一。
应用关键问题
(1)热红外遥感的基本原理：
所有的物质，只要其温度超过绝对零度，就会不断发射红外能量。常温的地表物体发射的红外能量主要在大于3μm的中远红外区，是热辐射。它不仅与物质的表面状态有关，而且是物质内部组成和温度的函数。
热红外遥感就是利用星载或机载传感器收集、记录地物的这种热红外信息，并利用这种热红外信息来识别地物和反演地表参数如温度、湿度和热惯量等。(摘自李小文等，多角度与热红外对地遥感)。
(2)关键问题之一：
无人机获取热红外遥感数据，由于飞行高度和数据空间分辨率的关系 (有效像素数一定的情况下，同一区域，行越高，数据空间分辨率越低)，每一幅数据地面覆盖范围有限，因此开展应用前，绝大数对情况下首先需要对数据进行配准镶嵌，成为一幅具有一定覆盖范围的遥感影像图，在这幅图上才能对整个目标区域有完整综合的反映，所以热红外数据的图像配准作为遥感图像处理重要的步骤，对于后续处理与应用至关重要。
影像配准技术现状
大量的研究与技术工作集中在热红外影像数据的配准中。
影像匹配：影像匹配是指通过一定的匹配算法在两幅或多幅影像之间识别同名点的过程。它的本质就是在两幅影像上寻找同名点或对应特征。所谓同名点指同一目标在两幅影像上分别对应的像素点。
归纳起来，影像配准大体分为两类，即基于区域的配准方法和基于特征的配准方法。也有分为三类的，即把基于区域的配准方法又加以细分。
(1)基于区域的匹配方法
基于区域的配准方法，也叫模板匹配法包括：互信息法、变换域分析法、梯度图像相关法等。
1)基于互信息最大化的配准技术在医学图像配准领域得到成功应用后，被广泛延伸至其它多模态图像的配准问题中，在热红外数据配准中应用较多。
2)基于变换域的配准方法
变换域，如傅立叶变换，将图像由空域变换到频域，通过该变化能够简化运算复杂度，同时图像在变换域中还能获得在空域中很难获得的特征，通过这样的方式，实现特提取完成同名点(特征)提取。
3)基于图像梯度的相关法
直接利用区域像素灰度值进行图像匹配时，灰度信息越丰富，灰度二阶特性就越稳定，越能反映出地物的边缘信息，利用这种稳定的信息，可直接完成特征点(线)的提取，进而完成配准。
(2)基于特征的配准方法
基于特征的配准方法，是分别从两幅影像上抽取共有特征。该方法提取特征分为点特征、线特征、区域特征等。该方法不关注一处的点，而着眼于局部或区域的连续特征，通过大范围的特征实现两幅数据的准确配准，可靠性较高。
这些方法共同都基于影像数据的灰度值，通过相邻面域内灰度值特征实现目标。各类方法就是本质上就是通过不同的算法，放大这种差异，搜索同名点(特征)完成配准。所以影像灰度值是否差是决定这些方法效果的关键因素之一。
在无人机热红外遥感应用中，考虑拍摄过程中的飞行高度，数据空间分辨率达到了分米-厘米级别，此外所搭载的红外传感器对温度差别探测能力也有限，所以一定区域内出现不可探测或区分温度梯度小的可能性大，导致不大基于灰度的方法可能失效。如图1示出的热红外影像，在右下角处可能出现同名点搜索困难。
此外，当热红外影像与光学影像数据匹配时，由于两类数据的空间分辨率差异非常大(选用空间分辨率影像相当数据配准融合于应用意义有限)，同样飞行高度获取的光学影像和热红外影像，一个热红外影像覆盖范围对应光学影像成百上千甚至更多的像素共同覆盖范围(取决于光学相机的有效像素数)，如图2所示。此时同名点搜索困境问题更为严峻。当同名点(控制点)在待匹配影像上分布不均匀时，在几何变化时就会出现影像变形，局部配准效果差的情况，结果甚至无法使用。
发明内容
本发明实施例的目的是提供一种光学影像与热红外影像的配准方法及设备，其中该方法根据光学摄像头与热红外摄像头的镜头之间的位置关系确定热红外影像与光学影像的像素间一一对应关系，以完成光学遥感数据与热红外遥感数据的粗配准，进一步地，再通过设定算法完成精确配准。可以避免在温度梯度较小的情况下，热红外影像中边缘信息不清楚，同名点搜索困难，难以完成配准的问题。
为了实现上述目的，本发明实施例提供一种光学影像与热红外影像的配准方法，该方法包括：
获取原始光学影像和原始热红外影像；
基于预存的光学影像与热红外影像的像素间一一对应关系，计算所述热红外影像与所述光学影像的设定区域互信息值，并根据计算结果在所述设定区域存在最大互信息值的情况下，将所述设定区域的中心位置设为同名点；极端情况下,无法根据图像纹理信息获得互信息极大值时,使用由预存的光学影像与热红外影像的像素间一一对应关系建立同名点关系；
基于所述同名点，计算所述热红外影像与所述光学影像之间的几何变换参数；以及
根据计算得到的所述几何变换参数建立配准模型，将所述热红外影像的各像素点带入所述配准模型进行坐标变换，以使热红外影像与所述光学影像处于同一坐标系下，以得到热红外配准影像。
可选的，确定所述预存的光学影像与热红外影像的像素间一一对应关系的操作步骤包括：
根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系；
根据所述镜头中心与像元电子元件之间的位置关系，确定每个像元在所述坐标系中的坐标位置；以及
根据所确定的每个像元在所述坐标系中的坐标位置，并基于靶标影像中同一位置相对应的像素，确定热红外影像与所述光学影像的像素间一一对应关系。
可选的，在根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系前，该方法还包括：
对所述原始热红外影像进行重采样，以使重采样后的热红外影像的分辨率与所述原始光学影像一致。
可选的，该方法还包括：
判断获取所述光学影像与热红外影像前后及获取过程中光学摄像头与热红外摄像头的镜头中心之间的位置关系是否超出设定范围，其中在未超出设定范围的情况下，采用获取所述光学影像与热红外影像前后光学摄像头与热红外摄像头的镜头中心之间的位置关系的平均值建立所述坐标系。
本发明还提供一种光学影像与热红外影像的配准设备，所述设备包括：
采集单元，用于获取原始光学影像和原始热红外影像；
处理器，用于执行以下操作：
基于预存的光学影像与热红外影像的像素间一一对应关系，计算所述热红外影像与所述光学影像的设定区域互信息值，并根据计算结果在所述设定区域存在最大互信息值的情况下，将所述设定区域的中心位置设为同名点；
基于所述同名点，计算所述热红外影像与所述光学影像之间的几何变换参数；以及
根据计算得到的所述几何变换参数建立配准模型，将所述热红外影像的各像素点带入所述配准模型进行坐标变换，以使热红外影像与所述光学影像处于同一坐标系下，以得到热红外配准影像。
可选的，所述处理器还用于预先确定所述光学影像与热红外影像的像素间一一对应关系，其步骤包括：
根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系；
根据所述镜头中心与像元电子元件之间的位置关系，确定每个像元在所述坐标系中的坐标位置；以及
根据所确定的每个像元在所述坐标系中的坐标位置，并基于靶标影像中同一位置相对应的像素，确定热红外影像与所述光学影像的像素间一一对应关系。
可选的，在根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系前，所述处理器还用于：
对所述原始热红外影像进行重采样，以使重采样后的热红外影像的分辨率与所述原始光学影像一致。
可选的，所述处理器还用于：
判断获取所述光学影像与热红外影像前后及获取过程中光学摄像头与热红外摄像头的镜头中心之间的位置关系是否超出设定范围，其中在未超出设定范围的情况下，采用获取所述光学影像与热红外影像前后光学摄像头与热红外摄像头的镜头中心之间的位置关系的平均值建立所述坐标系。
另一方面，本发明提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述光学影像与热红外影像的配准方法。
通过上述技术方案，基于预存的光学影像与热红外影像的像素间一一对应关系，计算热红外影像与光学影像的设定区域互信息值，并根据计算结果在所述设定区域存在最大互信息值的情况下，将所述设定区域的中心位置设为同名点；基于所述同名点，计算所述热红外影像与所述光学影像之间的几何变换参数；根据计算得到的所述几何变换参数建立配准模型，将所述热红外影像的各像素点带入所述配准模型进行坐标变换，以使热红外影像与所述光学影像处于同一坐标系下，以得到热红外配准影像。可以避免在温度梯度较小的情况下，热红外影像中边缘信息不清楚，同名点搜索困难，难以完成配准的问题。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是现有技术中热红外影像的示意图；
图2是现有技术中不同空间分辨率影像相同覆盖面积对应像素个数示意图；
图3是光学摄像头与热红外摄像头的镜头间位置关系示意图；
图4是本发明实施例提供的一种影像配准流程示意图；
图5是本发明实施例提供的光学与热红外镜头视场范围示意图；
图6是本发明实施例提供的像素对应关系模型与像素点分布示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
光学摄像头(光学传感器)与热红外摄像头(热红外传感器)刚性连接并固定在安装板上，其光学摄像头与热红外摄像头的相对位置关系可测，可以根据预先检测到的光学摄像头与热红外摄像头的镜头之间的位置关系建立坐标系，该坐标系如图3所示，根据测量位置关系建立其数据镜头中心位置坐标的相互映射关系。固定在该安装板上的光学摄像头与热红外摄像头，其镜头的中心与像元电子原件(如CCD感光元件)位置关系确定。通过两摄像头的镜头中心位置坐标其有效像元的排列组合方式推算出每一个像元在该坐标系下的坐标，最终，建立起参考影像与待配准影像的素间对应位置映射关系，具体地，可以通过使用该光学摄像头和热红外摄像头对靶标进行拍摄，依据拍摄影像，再依据靶标位置，确定同一位置对应的像素，考虑到靶标本身的格网大小限制，在建立像素间对应关系时，首先将光学数据重采样，使其空间分辨率将为与热红外数据一致，修正镜头间的位置关系，并完成像素间的一一对应关系。由于光学数据的空间分辨率远高于热红外数据，通过重采样降低了光学数据空间分辨率，实现重采样后的像素与热红外像素对应，如果对应到原光学数据时则会出现1个热红外影像像素对应成百上千个光学像素，这种一对多是一种冗余，对建立像素间关系并无特别积极作用，因此当通过低分辨率建立像素对应关系后，以该像素所对应区域内包含的光学影像中中心点像素作为热红外影像的对应像素。如图2中框中原点所示。当不能绝对对应时，以最邻近像素为对应点。
需要指出的是，这种对应关系是一种粗对应关系，需要通过后续方法(基于互信息同名点匹配)进一步的精化。
基于所述像素间一一对应关系，根据设定算法建立配准模型，并将所述重采样后的热红外影像各像素点带入所述配准模型进行坐标变换，以使重采样后的热红外影像与所述原数光学影像处于同一坐标系下，以得到热红外配准影像。
图4示出了影像配准流程示意图，如图4所示，该影像配准流程可以包括：
S11、获取飞行前刚性连接下光学摄像头与热红外摄像头的镜头之间位置关系并建立位置关系模型；
S12、获取飞行后刚性连接下光学摄像头与热红外摄像头的镜头之间位置关系并建立位置关系模型；
S13、光学摄像头与热红外摄像头位置关系稳定性判定；
S14、根据步骤S13的判定结果，确定位置关系模型的参数值；
S15、获取拍摄的原始光学影像和原始热红外影像，并对热红外影像进行重采样；
S16、同名点搜索确定
S17、基于确定的同名点计算影像几何变换参数；
S18、实现影像配准
针对上述影像配准流程，具体操作方式如下：
针对步骤S11-S13
在飞行器(如无人机)搭载刚性连接并固定在安装板上的光学摄像头与热红外摄像头前往目的地进行拍摄前，预先获取光学摄像头与热红外摄像头的镜头中心之间的位置关系。虽然两摄像头刚性连接，但是由于工艺方法，和现场使用等多种因素，往往不能保证这种刚性连接有多精密，在应用过程中是否会产生变化，因此在完成拍摄后，即飞行器飞行归来后，再一次获取光学摄像头与热红外摄像头的镜头中心之间的位置关系，将飞行前后光学摄像头与热红外摄像头的镜头中心之间的位置关系进行比较，判断比较结果是否超出设定范围。
将步骤S11和步骤S12中分别建立的模型参数进行比较，是否超限，如超限差，则分别与利用飞行过程中拍摄到的靶标建立的位置关系模型参数进行比较，确定是否超限。
针对步骤S14
将步骤S11和步骤S12中分别建立的映射模型参数进行比较，如果未超限差，则选用二者均值作为模型参数，建立像素间一一对应关系。
否则利用飞行过程中同步拍摄靶标影像再次建立位置关系，分别比较其模型参数与步骤S11和步骤S12中的差值，如未超限，则选三者中两者相近的均值作为模型参数，或者与步骤S11或步骤S12中任意一组未超限，选未超限的两组均值作为模型参数值。
当均超限时，放弃本次飞行数据，对设备进行检校。
针对步骤S15
由于热红外影像空间分辨率与光学影像空间分辨率相差较多，因此在配准前先依据光学影像空间分辨率为设定分辨率，对热红外影像进行重采样。这样的重采样并不能增加热红外影像所携带的信息和实际空间分辨率，只是下步骤配准方便所需。
针对步骤S16
基于前步确立的像素间一一确立的位置关系，在设定的缓冲区内(同名点潜在位置区域)依据滑动模板，滑动计算模板内的互信息，最后统计在整个缓冲区内是否存在最大互信息值，若存在，该模板的中心位置作为搜索到的同名点。滑动模板最小值不小于热红外与光学遥感空间分辨率比值的平方。
若不存在互信的最大值，即各处值未出现较大变化，或变化值幅度小，则认为该处互信息法失效，则同名点以原通过像素间一一确立的位置关系确立的点为准。
针对步骤S17
将获得同名点依次代入公式2中，建立方程组，通过最小二乘法求解投影9个变化参数。
针对步骤S18
将步骤S17中求得的参数代入公式2中，建立配准模型，将待配准影像各像素点代入公式2，计算新的坐标位置，并重采样建立热红外配准图像。
实施例
6.1硬件环境搭建
本发明选用FLIR Tau 640长波红外非制冷型热像仪(25mm镜头)和索尼(SONY)DSC-W830数码相机，刚性连接构成硬件部分，同步完成热红外和光学数据获取。
FLIR Tau 640有效像素640*480，每个像素大小为17微米(按正方形计)，长宽约为10.8mm*8.1mm，该设备具有精密精密安装孔该尺寸可精确测量。光学相机ccd大小约为1/2.3英寸，计7.7mm(对角线长度)，长宽约 6.16*4.62mm，垂直拍时，相片尺寸3424*1920像素，外壳尺寸可精确测量。两设备均使用25mm镜头。
两传感器本身尺寸精度足够，为了尽可能的提高安装精度，可按照精确尺寸制作安装板，将传感器按照到该板上，如图2所示。也可先分别为两设备制作精确尺寸安装壳，将对镜头中心的测量转变为对壳和板的测量，降低测量难度，提高测量精度。
将该部件安装到无人机云台上，为了避免飞行震动对图像产生的不良影响，设备通过橡胶减震螺杆与飞机连接。
6.2硬件级像素位置映射关系建立
图5示出了光学与热红外镜头视场范围示意图，如图5所示，由于两类设备视场角不同，同样观测距离，其视场覆盖面积不同。由于选用的光学相机视场角大于热红外设备，所以相同条件下获取的光学影像面积大于热红外设备获取的，而且呈包含状态或绝大多数热红外影像都处于光学影像覆盖范围内。由于两镜头位置差异，所以两镜头中心点对应的像素在影像上的覆盖范围不同。
像素间映射关系建立，受安装工艺、测量精度、ccd估算模型等因素限制，只是一直粗几何关系，建立的这种关系只是缩小计算工作量，提高工作效率之用，避免完全依靠图像灰度信息的弊端。
图6像素对应关系模型与像素点分布示意图，如图6所示，建立像素间映射关系不需建立全部像素间的关系，只需要建立若干均匀分布在图面上点即可，点位分布如图6所示，图中该圆圈分别为两镜头像主点对应像素。
具体技术过程：
(1)选择温度差异大，细节信息丰富的观测目标，如大面积的棋盘墙壁或专业的大面积检校靶标，若寻找这样的目标比较困难则需要获取的光学与热红外影像细节纹理丰富的目标，能够筛选高质量的同名控制点。
(2)使用两设备分别对目标进行观测，获取高对比度影像。
(3)分别在影像上定位像主点(影像中心位置)。
设光学影像R像中心点用O1表示，热红外影像F用O2表示，在热红外影像上寻找O1点覆盖范围的对应点并建立映射关系：
R(O1)～F(O2)
然后依次等步长(等像素间隔)，建立其他点的映射关系：
R(O)～F(O)
目前建立的映射关系是影像上的像元点间的，最后需要将这种关系转换到两个传感器像素上，这相当于是影像上像元位置映射关系的逆变换。建立这种关系后，再次获取影像后，直接可认为具有映射关系的像素是同名点。当然这种关系不是一种严格的映射关系，但是它提供了同名点的位置范围信息，这对后期运算具有意义。
设R’表示光学影像感光器件像素阵列，F’表示热红外影像感光器件像素阵列，O1，O2分别为阵列中心位置：
R’(O1)～R(O1) (3)
其它像素点与对应相应的映射为：
R’(O)～R(O) (4)
F’(O2)～F(O2) (5)
则其它像素点与对应相应的映射为：
F’(O)～F(O) (6)
由于感光阵列像素与影像像元都是呈块状排列，因此这种对应关系就是在影像上找到同名点，在通过影像的中心点定位阵列中心像素点，然后依据像元距离中心点的距离确定位置。
设影像上像元a点，该点对应感光阵列上a’点，距离影像中心O1点距离x个像元；该点在热红外影像上对应aa点，该点对应感光阵列上aa’点，该点距其中心点O2点距离xx个像元，则在阵列上a’点与aa’点的对应关系是：
R(a’)～F(aa‘) (7)
等价于：
R(O1+x)～F(O2+xx) (8)
因此，对其他摄影场景获取的影像，可近似直接认为R(O1+x)点的影像与F(O2+xx)是同名点。这种近似关系缩小了同名的搜索范围，进而限定了互信息的计算范围，使计算量大幅减少。
6.3无人机光学与热红外数据获取
无人机搭载硬件设备，开展任务飞行，获取两类影像。飞行前、飞行后均需对照靶标获取影像，分别获取两类影像。根据靶标数据分别建立硬件级像素位置映射关系。
并按照4.2节中第(3)(4)步骤执行。
6.4基于互信息同名点匹配
(1)热红外影像重采样(空间分辨率以光学影像一致)
以光学影像空间分辨率为设定分辨率，对热红外影像进行重采样。将两类影像空间分辨率统一，以方便互信息计算。
(2)基于互信息同名点搜索确定
基于前步确立的像素间一一确立的位置关系，在设定的缓冲区内(同名点潜在位置区域)依据滑动模板，滑动计算模板内的互信息，最后统计在整个缓冲区内是否存在最大互信息值，若存在，该模板的中心位置作为搜索到的同名点。
滑动模板最小值不小于热红外与光学遥感空间分辨率比值的平方。在本例中，热红外影像与光学影像空间分辨比值约为10，则按光学影像重采样后，滑动模板的长*宽大小不小于100*100像元.
若不存在互信的最大值，即各处值未出现较大变化，或变化值幅度小，则认为该处互信息法失效，则同名点以原通过像素间一一确立的位置关系确立的点为准。
计算互信息：
其中熵H的计算公式：
Figure RE-GDA0002333007550000141
Figure RE-GDA0002333007550000142
Figure RE-GDA0002333007550000143
hi表示图像Y中灰度值为i的像素点总数，N表示图像Y的灰度级数。显然Pi表示灰度i出现的概率，于是很自然的就会想到用直方图来计算。
联合熵的计算公式：
Figure RE-GDA0002333007550000151
则互信息为：
MI(R,F)＝H(R)+H(F)-H(R,F) (13)
熵相关系数(ECC)改进后的表达式如下：
Figure RE-GDA0002333007550000152
在搜索范围(缓冲区)寻找模板与子图之间最大ECC值时模板的中心点作为同名点。
这些都基于matlab编程实现。
(3)基于同名点求取影像几何变换参数(校正)
将获得同名点依次代入公式2中，建立方程组，通过最小二乘法求解投影9个变化参数。
(4)实现影像配准
将(3)中求得的参数代入公式2中，建立配准模型，将待配准影像各像素点代入公式2，计算新的坐标位置，并重采样建立热红外配准图像。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (9)

1.一种光学影像与热红外影像的配准方法，其特征在于，该方法包括：
获取原始光学影像和原始热红外影像；
基于预存的光学影像与热红外影像的像素间一一对应关系，计算热红外影像与光学影像的设定区域互信息值，并根据计算结果在所述设定区域存在最大互信息值的情况下，将所述设定区域的中心位置设为同名点；
基于所述同名点，计算所述热红外影像与所述光学影像之间的几何变换参数；以及
根据计算得到的所述几何变换参数建立配准模型，将所述热红外影像的各像素点带入所述配准模型进行坐标变换，以使热红外影像与所述光学影像处于同一坐标系下，以得到光学-热红外配准影像。
2.根据权利要求1所述的光学影像与热红外影像的配准方法，其特征在于，确定所述预存的光学影像与热红外影像的像素间一一对应关系的操作步骤包括：
根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系；
根据所述镜头中心与像元电子元件之间的位置关系，确定每个像元在所述坐标系中的坐标位置；以及
根据所确定的每个像元在所述坐标系中的坐标位置，并基于靶标影像中同一位置相对应的像素，确定热红外影像与所述光学影像的像素间一一对应关系。
3.根据权利要求2所述的光学影像与热红外影像的配准方法，其特征在于，在根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系前，该方法还包括：
对所述原始热红外影像进行重采样，以使重采样后的热红外影像的分辨率与所述原始光学影像一致。
4.根据权利要求1所述的光学影像与热红外影像的配准方法，其特征在于，该方法还包括：
判断获取所述光学影像与热红外影像前后及获取过程中光学摄像头与热红外摄像头的镜头中心之间的位置关系是否超出设定范围，其中在未超出设定范围的情况下，采用获取所述光学影像与热红外影像前后光学摄像头与热红外摄像头的镜头中心之间的位置关系的平均值建立所述坐标系。
5.一种光学影像与热红外影像的配准设备，其特征在于，所述设备包括：
采集单元，用于获取原始光学影像和原始热红外影像；
处理器，用于执行以下操作：
基于预存的光学影像与热红外影像的像素间一一对应关系，计算所述热红外影像与所述光学影像的设定区域互信息值，并根据计算结果在所述设定区域存在最大互信息值的情况下，将所述设定区域的中心位置设为同名点；
基于所述同名点，计算所述热红外影像与所述光学影像之间的几何变换参数；以及
根据计算得到的所述几何变换参数建立配准模型，将所述热红外影像的各像素点带入所述配准模型进行坐标变换，以使热红外影像与所述光学影像处于同一坐标系下，以得到热红外配准影像。
6.根据权利要求5所述的光学影像与热红外影像的配准设备，其特征在于，所述处理器还用于预先确定所述光学影像与热红外影像的像素间一一对应关系，其步骤包括：
根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系；
根据所述镜头中心与像元电子元件之间的位置关系，确定每个像元在所述坐标系中的坐标位置；以及
根据所确定的每个像元在所述坐标系中的坐标位置，并基于靶标影像中同一位置相对应的像素，确定热红外影像与所述光学影像的像素间一一对应关系。
7.根据权利要求6所述的光学影像与热红外影像的配准设备，其特征在于，在根据预存的光学摄像头与热红外摄像头的镜头中心之间的位置关系建立坐标系前，所述处理器还用于：
对所述原始热红外影像进行重采样，以使重采样后的热红外影像的分辨率与所述原始光学影像一致。
8.根据权利要求5所述的光学影像与热红外影像的配准设备，其特征在于，所述处理器还用于：
判断获取所述光学影像与热红外影像前后及获取过程中光学摄像头与热红外摄像头的镜头中心之间的位置关系是否超出设定范围，其中在未超出设定范围的情况下，采用获取所述光学影像与热红外影像前后光学摄像头与热红外摄像头的镜头中心之间的位置关系的平均值建立所述坐标系。
9.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有指令，所述指令用于使得机器执行所述权利要求1-4任一项所述的光学影像与热红外影像的配准方法。
CN201910753652.5A 2019-08-15 2019-08-15 光学影像与热红外影像的配准方法及设备 Pending CN110766734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910753652.5A CN110766734A (zh) 2019-08-15 2019-08-15 光学影像与热红外影像的配准方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910753652.5A CN110766734A (zh) 2019-08-15 2019-08-15 光学影像与热红外影像的配准方法及设备

Publications (1)

Publication Number Publication Date
CN110766734A true CN110766734A (zh) 2020-02-07

Family

ID=69329127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910753652.5A Pending CN110766734A (zh) 2019-08-15 2019-08-15 光学影像与热红外影像的配准方法及设备

Country Status (1)

Country Link
CN (1) CN110766734A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114441595A (zh) * 2022-02-09 2022-05-06 四川省安全科学技术研究院 一种煤层露头自燃及其影响范围的探测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108335320A (zh) * 2017-01-20 2018-07-27 中电科海洋信息技术研究院有限公司 多源遥感影像的空间配准方法及空间配准系统
CN108830858A (zh) * 2018-06-20 2018-11-16 天津大学 一种基于红外和光学影像双模成像信息的活体菌落计数方法
CN109087339A (zh) * 2018-06-13 2018-12-25 武汉朗视软件有限公司 一种激光扫描点与影像配准方法
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335320A (zh) * 2017-01-20 2018-07-27 中电科海洋信息技术研究院有限公司 多源遥感影像的空间配准方法及空间配准系统
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN109087339A (zh) * 2018-06-13 2018-12-25 武汉朗视软件有限公司 一种激光扫描点与影像配准方法
CN108830858A (zh) * 2018-06-20 2018-11-16 天津大学 一种基于红外和光学影像双模成像信息的活体菌落计数方法
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114441595A (zh) * 2022-02-09 2022-05-06 四川省安全科学技术研究院 一种煤层露头自燃及其影响范围的探测方法
CN114441595B (zh) * 2022-02-09 2022-07-29 四川省安全科学技术研究院 一种煤层露头自燃及其影响范围的探测方法

Similar Documents

Publication Publication Date Title
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN108416791B (zh) 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN105358937B (zh) 大地测绘仪器及其位置数据确定方法、存储介质
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
US20160187130A1 (en) Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device
CN109919975B (zh) 一种基于坐标标定的广域监控运动目标关联方法
US20140132729A1 (en) Method and apparatus for camera-based 3d flaw tracking system
US20100142815A1 (en) Method and apparatus for correcting depth image
CN107589069B (zh) 一种物体碰撞恢复系数的非接触式测量方法
CN105453546A (zh) 图像处理装置、图像处理系统、图像处理方法和计算机程序
US7738087B1 (en) Stereoscopic targeting, tracking and navigation device, system and method
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN111508011A (zh) 一种飞行时间相机的深度数据校准方法
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN111442845A (zh) 基于距离补偿的红外测温方法、装置及计算机存储介质
CN115511878A (zh) 一种边坡地表位移监测方法、装置、介质及设备
CN113658279B (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN108917722B (zh) 植被覆盖度计算方法及装置
CN110766734A (zh) 光学影像与热红外影像的配准方法及设备
CN115937325B (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
Wang et al. Target recognition and localization of mobile robot with monocular PTZ camera
Lari et al. Multi-camera system calibration with built-in relative orientation constraints (part 2) automation, implementation, and experimental results
CN111489397A (zh) 一种成像设备标定方法以及装置
CN110992413A (zh) 机载遥感影像的高精度快速配准方法
JPH11223516A (ja) ３次元画像撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207

RJ01 Rejection of invention patent application after publication