CN113689479B - 一种无人机热红外可见光影像配准的方法 - Google Patents

一种无人机热红外可见光影像配准的方法 Download PDF

Info

Publication number
CN113689479B
CN113689479B CN202110837564.0A CN202110837564A CN113689479B CN 113689479 B CN113689479 B CN 113689479B CN 202110837564 A CN202110837564 A CN 202110837564A CN 113689479 B CN113689479 B CN 113689479B
Authority
CN
China
Prior art keywords
block
layer
atomic
image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110837564.0A
Other languages
English (en)
Other versions
CN113689479A (zh
Inventor
周纪
孟令宣
丁利荣
王子卫
马晋
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110837564.0A priority Critical patent/CN113689479B/zh
Publication of CN113689479A publication Critical patent/CN113689479A/zh
Application granted granted Critical
Publication of CN113689479B publication Critical patent/CN113689479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人机热红外可见光影像配准的方法，属于图像处理技术领域。本发明对预处理后的参考影像和输入影像提取CFOG特征，将参考影像均分为多个互不重叠的原子块，根据参考影像与输入影像之间的最大偏差，确定每个原子块的搜索区域，基于模板匹配在搜索区域获取原子块的相似度图，再通过多层局部最大值聚合得到不同大小的块的金字塔相似度图；在金字塔相似度图中从最高层开始逐层推导当前层的块所对应的最佳匹配位置，获取原子块其同名点，从而得到同名点集合；删除同名点集合中误差超出指定的误差范围的同名点，再基于单应性矩阵来配准参考影像和输入影像。本发明的配准精度高，能够在多种场景中具有高精度的配准表现。

Description

一种无人机热红外可见光影像配准的方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种无人机热红外可见光影像配准的方法。
背景技术
热红外和可见光配准是计算机视觉和遥感领域的重要问题。无人机热红外和可见光配准配准是农作物估产，地表生物量计算，目标检测等任务的重要前期步骤。
由于热红外和可见光影像反应地物的不同信息，热红外反应目标的温度信息，而可见光反应地物的反射率信息，所以热红外和可见光影像的像素值之间没有对应关系，且纹理形状信息有很大差别。现有SIFT(Scale-invariant feature transform),SURF(Speeded Up Robust Features),ORB(Oriented FAST and Rotated BRIEF),RIFT(Radiation-variation Insensitive Feature Transform)，和CFOG(channel featuresof orientated gradients)等特征提取和匹配算法很难在热红外和可见光影像中找到正确的配准点，因而这些方法难以用于热红外和可见光影像配准。
发明内容
本发明的发明目的在于：针对现有无人机多光谱影像配准时配准精度差和成功率差的技术问题，提供一种无人机热红外可见光影像配准的方法。
本发明提供的一种无人机热红外可见光影像配准的方法，包括下列步骤：
步骤1：确定待配准的影像对的参考影像和输入影像，判断参考影像和输入影像的分辨率，若两幅影像具有相同的分辨率和尺寸，则直接执行步骤2；否则进行图像预处理后再执行步骤2，所述图像预处理包括：若分辨率不同，则将两幅影像采样为同样的分辨率，若尺寸不同，则中心裁剪为相同的尺寸；
步骤2：对参考影像和输入影像分别提取方向梯度通道特征(Channel Feature ofOrientated Gradient，CFOG)，得到参考影像的每个像素点的CFOG特征(特征点描述子)，输入影像的每个像素点的CFOG特征；
将参考影像均分为多个互不重叠的方块，得到的每个方块定义为原子块，根据参考影像与输入影像之间的最大偏差，确定每个原子块的搜索区域；
基于每个原子块的CFOG特征在输入影像的搜索区域中做模板匹配，获取原子块的相似度图；
步骤3：对原子块的相似度图通过多层局部最大值聚合，得到不同大小的块的金字塔相似度图；
步骤4：在金字塔相似度图中，通过最大值索引回溯，从最高层开始，逐层推导当前层的块所对应的最佳匹配位置，得到原子块所对应的最佳匹配位置；
步骤5：根据原子块的最佳匹配位置，得到其同名点，从而得到同名点集合；
步骤6：删除同名点集合中误差超出指定的误差范围的同名点，再基于当前的同名点集合计算单应性矩阵来配准参考影像和输入影像。
本发明提供的技术方案至少带来如下有益效果：本发明的配准精度优于现有方法和商业软件，能够在多种场景中具有高精度的配准表现。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为热红外和可见光影像的示意图，图1的(a)、(b)、(c)分别是不同指定的小区域的放大图；
图2为本发明实施例提供的无人机热红外可见光影像配准的方法的处理过程示意图，其中，IPRS表示外点过滤的方法，CPs表示对应点；
图3为本发明实施例提供的无人机热红外可见光影像配准的方法的模板匹配过程的示意图；
图4为本发明实施例提供的无人机热红外可见光影像配准的方法的多层局部最大值聚合的过程的示意图，其中，图4的(a)表示Level 1到Level 4中的矩形框分别表示P1 (20 ，20),P2 (40,40),P3 (80,80)和P4 (160,160)，块大小从Level 1的40×40逐渐增大至Level 4的320×320；(b)表示第n+1级的大块(尺寸为L×L)由第n级的4个子块组成(尺寸为为L/2×L/2)；(c)表示通过多层局部最大值聚合得到的从Level 2到Level 4的相似度图；(d)表示局部最大值聚合的过程。
图5为本发明实施例提供的无人机热红外可见光影像配准的方法的最大值索引回溯的过程的示意图，其中，图5的(a)表示最大值索引回溯可以从最高层开始，逐层推导当前层的块所对应的最佳匹配位置；(b)表示根据原子块的最佳匹配位置，得到其同名点，(c)表示最大值索引回溯的过程。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
当前，无人机热红外相机一般包括两个镜头，分别负责采集热红外数据和可见光数据，如图1所示。由于两个镜头的位置不同，所以热红外影像和可见光影像间是没有配准的。本发明实施例中，将热红外影像作为参考影像，可见光影像朝着热红外影像配准，即可见光影像作为输入影像。
参加图2，本发明实施例提供的无人机热红外可见光影像配准的方法，包括五个部分：预处理，原子块相似度图计算，多层局部最大值聚合，最大值索引回溯和homography估计。其中，原子块相似度图计算是为了得到原子块的相似度图，包括特征提取和模板匹配；多层局部最大值聚合是为了构建金字塔相似度图；最大值索引回溯是为了推导两张影像间的对应点，它利用了金字塔相似度图中每一层的相似度图来推导每个原子块的对应点；homography估计是用于计算影像间的变换模型，包括了外点()排除和homography计算。整个配准过程其步骤如下：
步骤S1，预处理过程：如果热红外图像的分辨率和可见光图像的分辨率不同，则对热红外图像做上采样，使其和可见光图像具有相同的分辨率。如果热红外图像的分辨率和可见光图像的尺寸不同，则通过中心裁剪使得热红外和可见光图像具有相同的尺寸。处理后的热红外图像作为参考影像(记作Image1)，处理后的可见光图像作为输入影像(记作Image2)。
步骤S2，选用方向梯度通道特征(CFOG)作为影像的特征描述算子，对Image1与Image2提取CFOG特征。其中，CFOG特征使用Sobel算子提取图像水平方向梯度(Gh)和垂直方向梯度(Gv)，进而计算图像在各个方向中的梯度Gθ。计算方式如下：
Gθ＝abs(sinθ×Gh+cosθ×Gv) (1)
上式中，θ表示梯度的方向。将每个像素的多个方向的特征做归一化后结合在一起，得到该图的CFOG特征，abs()表示绝对值。
其中，方向θ的数量可调，基于实际场景需求进行设置，例如将方向数量设置为9，即将0-360度均分为9个方向，各方向θ的取值分别设置为：0,40,...,320。则整幅影像的特征记作FH×W×9，其中H,W是影像的长度和宽度，9是方向的个数。
然后，将Image1均分为多个互不重叠的方块(称为原子块)，每个原子块的尺寸相同。根据Image1与Image2之间的最大偏差，确定每个原子块的搜索半径(记作sr)。如图3所示，每个原子块通过其CFOG特征在输入影像的搜索区域中做模板匹配，获取其原子块的相似度图(以相似度作为图像的像素值)。其中，原子块的相似度图具体获取方式包括：
首先使用特征向量的差的平方和来计算原子块与Image2中对应区域的距离(记作dis(x,y))。公式如下：
dis(x,y)＝∑x',y'(Fa(x',y')-Fs(x+x',y+y'))2*Wa(x',y') (2)
其中，Fa()是原子块的CFOG特征，Fs()是搜索区域的CFOG特征，Wa()是原子块的梯度大小。
然后，将原子块在搜索区域中依次滑动，统计该原子块的搜索区域的所有的距离dis(x,y)，记作Gdis,即
Gdis＝{dis(x,y)|x∈[0,Hs),y∈[0,Ws)} (3)
其中，Hs和Ws分别表示原子块相似度图的长和宽，由搜索半径sr决定。
接着，利用Gdis对每个距离dis(x,y)做最大最小值归一化，并用1减去归一化后的距离作为相似度，即
Figure GDA0003421028000000041
其中，min(·)和max(·)分别表示极小和极大值，Image1中的原子块与该原子块在Image2的搜索区域中的特征向量的差距最小的地方具有最大的相似度值为1，差距最大的地方具有最小的相似度值为0。
通过特征提取和模板匹配，可以得到所有原子块的相似度图，记为Level 1的相似度图。Level 1的相似度图的尺寸为(Hp×Wp)×(Hs×Ws),其中(Hp×Wp)是原子块的个数，由图像大小和原子块大小决定，(Hs×Ws)是每个原子块相似度图的尺寸，由搜索半径决定。
步骤S3，原子块的相似度图通过多层局部最大值聚合，从而得到不同大小的块(正方块)的金字塔相似度图，其过程如图4所示。
定义
Figure GDA0003421028000000042
表示Level n的中心为(px,py)的块(patch)，/>
Figure GDA0003421028000000043
表示/>
Figure GDA0003421028000000044
在Image2中的搜索区域，其中n表示金字塔的层序号；定义/>
Figure GDA0003421028000000045
表示/>
Figure GDA0003421028000000046
在位置(sx,sy)的对应区域；Rn表示Level n的所有的相似度图，/>
Figure GDA0003421028000000047
表示/>
Figure GDA0003421028000000048
对应的相似度图，
Figure GDA0003421028000000049
表示/>
Figure GDA00034210280000000410
在(sx,sy)处的相似度图的值，即/>
Figure GDA00034210280000000411
与/>
Figure GDA00034210280000000412
的相似度，N表示金字塔相似度图的层数。
为了避免图像局部形变的影响，原子块的尺寸一般较小，其相似度图分辨力不足。如图4中的(a)所示，为了获得更大的块的相似度图，每增加一个层，就将该层的块的尺寸翻倍。所以，Level n+1的块可以由4个位于Level n的子块组成。如图4中的(b)所示，Level n+1的块的中心坐标与Level n的块的中心坐标的关系为：
Figure GDA0003421028000000051
其中，L是大patch(Level n+1中的块)的边长，(cpxi,cpyi)是位于Level n的子块的中心坐标，(px,py)是Level n+1的块的中心坐标。
如图4中的(c)所示，Level n+1中每个块的相似度图通过聚合其4个子块的相似度图获得，即
Figure GDA0003421028000000052
可以通过/>
Figure GDA0003421028000000053
来得到。其计算公式为：
Figure GDA0003421028000000054
Figure GDA0003421028000000055
其中，
Figure GDA0003421028000000056
表示块/>
Figure GDA0003421028000000057
在像素点(sx,sy)处的相似度图的像素值，/>
Figure GDA0003421028000000058
是/>
Figure GDA0003421028000000059
以(sx,sy)为中心的3×3的邻域。即/>
Figure GDA00034210280000000510
是/>
Figure GDA00034210280000000511
Figure GDA00034210280000000512
的3×3区域内最大值池化的均值。通过局部最大值池化，可以获得更大的patch的相似度图同时避免图像局部形变的影响。通过模板匹配得到R1后，就可以利用上述公式相继向上推导得到R2到Rn。
例如在图4中的(c)中，
Figure GDA00034210280000000513
通过聚合/>
Figure GDA00034210280000000514
得到，通过一层层向上聚合，可以得到/>
Figure GDA00034210280000000515
图4(d)是上述公式的具体示例，/>
Figure GDA00034210280000000516
是
Figure GDA00034210280000000517
最大值的均值，其中/>
Figure GDA00034210280000000518
表示/>
Figure GDA00034210280000000519
以(49,49)为中心的3×3的邻域,最大值为0.874，/>
Figure GDA00034210280000000520
最大值为0.768，
Figure GDA00034210280000000521
最大值为0.807，/>
Figure GDA00034210280000000522
最大值为0.788，/>
Figure GDA00034210280000000523
值为0.809，是0.874，0.768，0.807，和0.788的均值。
步骤S4，在金字塔相似度图中，通过最大值索引回溯，从最高层开始，逐层推导该层的块所对应的最佳匹配位置，从而得到原子块所对应的最佳匹配位置。定义
Figure GDA0003421028000000061
表示/>
Figure GDA0003421028000000062
和/>
Figure GDA0003421028000000063
的对应的得分值为score。如图2和图5中的(a)所示，最大值索引回溯从最高层开始，一层层向下回溯，直到推导出Level 1的原子块的对应。其过程如下：
首先，如图2所示，在金字塔相似度图的最高层中，使用每个相似度图的最大值构建
Figure GDA0003421028000000064
其中(px,py)是/>
Figure GDA0003421028000000065
的中心，(sx,sy)是/>
Figure GDA0003421028000000066
最大值的位置，score是
Figure GDA0003421028000000067
的最大值。从/>
Figure GDA0003421028000000068
开始，逐层依次向下推导，推导公式如下：
Figure GDA0003421028000000069
Figure GDA00034210280000000610
Figure GDA00034210280000000611
其中，(csx,csy)是
Figure GDA00034210280000000612
在(sx,sy)的3×3邻域的最大值索引(max indices)，cscore是score和/>
Figure GDA00034210280000000613
的和。从上述公式中可以看出，可以根据/>
Figure GDA00034210280000000614
推导得到4个子对应/>
Figure GDA00034210280000000615
在回溯过程中，如果多个/>
Figure GDA00034210280000000616
在Level n相等，只保留score最大的继续向下推导来加速运算。
如图5的(c)是最大值索引回溯的具体示例。
Figure GDA00034210280000000617
是最大值索引回溯过程的开始。/>
Figure GDA00034210280000000618
表示/>
Figure GDA00034210280000000619
在(49,89)的位置有最大值0.809。/>
Figure GDA00034210280000000620
可以推导出4个子对应/>
Figure GDA00034210280000000621
以/>
Figure GDA00034210280000000622
为例，其中P3 (80,80)是P4 (160,160)的子块，(50,90)是/>
Figure GDA00034210280000000623
最大值索引，1.683是0.874(即/>
Figure GDA00034210280000000624
)与0.809(即的/>
Figure GDA00034210280000000625
得分)的和。
通过最大值索引回溯，可以得到每个原子块P1 (px,py)的对应
Figure GDA00034210280000000626
最大值索引回溯利用了金字塔相似度图中的每层的相似度图，从而解决了小块的相似度图缺乏分辨力和大块的相似度图定位能力不足的问题。
步骤S5，如图5的(b)所示，根据原子块的对应
Figure GDA0003421028000000071
得到同名点，其公式如下：
px2＝px+sx-sr (11)
py2＝py+sy-sr (12)
其中，(px,py),(px2,py2)是Image1和Image2的对应点对，sr是模板匹配时的搜索半径。
步骤S6，通过全局一致性方法(如IPRS法)剔除其中误差较大的同名点。即通过全局一致性方法迭代的去除外点，直到剩下的所有点的误差都在允许范围内。在每次迭代中，全局一致性方法会使用所有的点计算配准模型并去除误差最大的点。例如，根据所有的点计算homography，然后根据该homography计算每个点的残差，然后排除残差最大的点，不断进行上述过程，直到所有点的残差都在阈值内。其中，所有被排除的点被称为外点。去除外点后，使用剩下的同名点计算单应性矩阵来配准参数影像和输入影像。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种无人机多光谱影像配准的方法，其特征在于，包括下列步骤：
步骤1：确定待配准的影像对的参考影像和输入影像，判断参考影像和输入影像的分辨率，若两幅影像具有相同的分辨率和尺寸，则直接执行步骤2；否则进行图像预处理后再执行步骤2，所述图像预处理包括：若分辨率不同，则将两幅影像采样为同样的分辨率，若尺寸不同，则中心裁剪为相同的尺寸；
步骤2：对参考影像和输入影像分别提取方向梯度通道CFOG特征，得到参考影像的每个像素点的CFOG特征，输入影像的每个像素点的CFOG特征；
将参考影像均分为多个互不重叠的方块，得到的每个方块定义为原子块，根据参考影像与输入影像之间的最大偏差，确定每个原子块的搜索区域；
基于每个原子块的CFOG特征在输入影像的搜索区域中做模板匹配，获取原子块的相似度图；
步骤3：对原子块的相似度图通过多层局部最大值聚合，得到不同大小的块的金字塔相似度图：
定义n表示金字塔相似度图的层序号，金字塔相似度图的每一层表示为Level n；
在金字塔相似度图的相邻层中，位于上一层Leveln+1的每个块
Figure FDA0004180124100000011
由下一层Leveln的对应位置的4个块/>
Figure FDA0004180124100000012
组成，其中，i＝1,2,3,4，且该4个块/>
Figure FDA0004180124100000013
的中心坐标(cpxi,cpyi)与所组成的块/>
Figure FDA0004180124100000014
的中心坐标(px,py)满足：
Figure FDA0004180124100000015
其中，oi表示子块中心与块
Figure FDA0004180124100000016
中心的坐标的偏移，L是块/>
Figure FDA0004180124100000017
的边长；
基于块
Figure FDA0004180124100000018
对应的相似度图/>
Figure FDA0004180124100000019
通过/>
Figure FDA00041801241000000110
和
Figure FDA00041801241000000111
的3×3区域内最大值池化的均值得到块/>
Figure FDA00041801241000000112
对应的相似度图/>
Figure FDA00041801241000000113
步骤4：在金字塔相似度图中，通过最大值索引回溯，从最高层开始逐层推导当前层的块所对应的最佳匹配位置，得到原子块所对应的最佳匹配位置：
定义
Figure FDA00041801241000000114
表示Level n的块/>
Figure FDA00041801241000000115
和由(cx,cy)指定的匹配区域的得分值为score，其中，(px,py)表示块/>
Figure FDA0004180124100000021
的中心，(cx,cy)表示块/>
Figure FDA0004180124100000022
的匹配区域的位置；
确定金字塔相似度图的最顶层的每块的得分值
Figure FDA0004180124100000023
其中N表示金字塔相似度图层数，基于向下回溯的方式，根据金字塔相似度图的上一层的得分值/>
Figure FDA0004180124100000024
逐层获取各层得分值/>
Figure FDA0004180124100000025
Figure FDA0004180124100000026
/>
Figure FDA0004180124100000027
Figure FDA0004180124100000028
其中，
Figure FDA0004180124100000029
表示相似度图/>
Figure FDA00041801241000000210
在像素点(sx+i,sy+j)处的值，(csx,csy)是相似度图/>
Figure FDA00041801241000000211
在像素点(sx,sy)的3×3邻域的最大像素值索引，(cpx,cpy)表示相似度图
Figure FDA00041801241000000212
的中心点；
步骤5：根据原子块的最佳匹配位置，得到其同名点，从而得到同名点集合；
步骤6：删除同名点集合中误差超出指定的误差范围的同名点，再基于当前的同名点集合计算单应性矩阵来配准参考影像和输入影像。
2.如权利要求1所述的方法，其特征在于，步骤2中，获取原子块的相似度图具体为：
基于原子块的搜索区域，计算原子块与输入影像中对应区域的距离dis(x,y)：
dis(x,y)＝∑x',y'(Fa(x',y')-Fs(x+x',y+y'))2*Wa(x',y')
其中，Fa()表示原子块的CFOG特征，Fs()表示原子块的搜索区域的CFOG特征，Wa()表示原子块的梯度大小，x,y表示搜索区域的像素点的横纵坐标，x′,y′表示原子块的像素点的横纵坐标；
统计搜索区域中该原子块的搜索区域的所有距离dis(x,y)得到距离集合Gdis，根据公式
Figure FDA00041801241000000213
得到每个像素点(x,y)的相似度smi(x,y)。
3.如权利要求1所述的方法，其特征在于，在同一层中，若存在多个值相同的
Figure FDA00041801241000000214
只保留一个score最大的/>
Figure FDA00041801241000000215
4.如权利要求1至3任一项所述的方法，其特征在于，步骤5中，基于原子块所对应的最佳匹配位置(sxbest,sybest)，得到同名点位置(px2,py2)，其中px2＝px+sxbest-sr，px2＝px+sybest-sr，sr表示搜索半径，(px,py)是输入影像的坐标点。
5.如权利要求1所述的方法，其特征在于，步骤6中，采用全局一致性方法迭代的剔除每一次迭代剔除时被确认为外点的同名点。
6.如权利要求1所述的方法，其特征在于，步骤1中，所述参考影像为热红外图像，所述输入影像为可见光图像。
CN202110837564.0A 2021-07-23 2021-07-23 一种无人机热红外可见光影像配准的方法 Active CN113689479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837564.0A CN113689479B (zh) 2021-07-23 2021-07-23 一种无人机热红外可见光影像配准的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837564.0A CN113689479B (zh) 2021-07-23 2021-07-23 一种无人机热红外可见光影像配准的方法

Publications (2)

Publication Number Publication Date
CN113689479A CN113689479A (zh) 2021-11-23
CN113689479B true CN113689479B (zh) 2023-05-23

Family

ID=78577962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837564.0A Active CN113689479B (zh) 2021-07-23 2021-07-23 一种无人机热红外可见光影像配准的方法

Country Status (1)

Country Link
CN (1) CN113689479B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021556A (zh) * 2014-06-13 2014-09-03 西南交通大学 一种基于几何结构相似性的异源遥感影像配准方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061474B2 (en) * 2012-05-04 2018-08-28 Planet Labs, Inc. Overhead image viewing systems and methods
CN112102379B (zh) * 2020-08-28 2022-11-04 电子科技大学 一种无人机多光谱影像配准方法
CN112184785B (zh) * 2020-09-30 2023-03-24 西安电子科技大学 基于mcd度量和vtm的多模态遥感图像配准方法
CN113066015B (zh) * 2021-05-14 2022-06-03 清华大学 一种基于神经网络的多模态遥感影像旋转差异校正方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021556A (zh) * 2014-06-13 2014-09-03 西南交通大学 一种基于几何结构相似性的异源遥感影像配准方法

Also Published As

Publication number Publication date
CN113689479A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
Fan et al. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN107993258B (zh) 一种图像配准方法及装置
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN108765476B (zh) 一种偏振图像配准方法
CN112233181A (zh) 6d位姿识别的方法、装置及计算机存储介质
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
US20210271920A1 (en) Method for grasping texture-less metal parts based on bold image matching
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
CN111161348B (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN116935013B (zh) 基于三维重建的电路板点云大范围拼接方法及系统
CN112017221B (zh) 基于尺度空间的多模态图像配准方法、装置和设备
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
CN112767457A (zh) 一种基于主成分分析的平面点云匹配方法及装置
CN109829502B (zh) 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN113689479B (zh) 一种无人机热红外可见光影像配准的方法
CN117078726A (zh) 一种基于边缘提取的异谱图像配准方法
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN115588033A (zh) 基于结构提取的合成孔径雷达与光学图像配准系统及方法
CN113610906B (zh) 一种基于融合图像引导的多视差图像序列配准方法
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant