CN111507901A - 基于航带gps及尺度不变约束的航拍图像拼接定位方法 - Google Patents

基于航带gps及尺度不变约束的航拍图像拼接定位方法 Download PDF

Info

Publication number
CN111507901A
CN111507901A CN202010293284.3A CN202010293284A CN111507901A CN 111507901 A CN111507901 A CN 111507901A CN 202010293284 A CN202010293284 A CN 202010293284A CN 111507901 A CN111507901 A CN 111507901A
Authority
CN
China
Prior art keywords
image
splicing
matching
aerial
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010293284.3A
Other languages
English (en)
Other versions
CN111507901B (zh
Inventor
杨彬
赵军
李方用
孙冰寒
王慧龙
赵会杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202010293284.3A priority Critical patent/CN111507901B/zh
Publication of CN111507901A publication Critical patent/CN111507901A/zh
Application granted granted Critical
Publication of CN111507901B publication Critical patent/CN111507901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开了一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，属于图形图像转换及图像定标技术领域。其包括待拼接图像预处理，传统特征点提取与描述，通过BF匹配方法和RANSAC方法得到精确的匹配结果，通过尺度不变约束对特征匹配结果计算仿射变换矩阵，通过既有航迹信息对第二条航带拼接进行约束，将GPS融合进全景图中等步骤。本发明利用航带GPS信息和尺度不变约束提高了航带间图像的拼接质量，消除了俯仰角度导致的单航带拼接变形问题，通过第一条航带求得的映射关系约束后续拼接帧像素中心点坐标，提高了多航带的拼接效果，并且还具有较高的GPS定位精度。

Description

基于航带GPS及尺度不变约束的航拍图像拼接定位方法
技术领域
本发明属于图形图像转换及图像定标技术领域，特别是指一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法。
背景技术
无人机(UAV)是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主操作。目前在航拍、农业、植保、快递运输、灾难救援、测绘、电力巡检、救灾等等领域有着极其广泛的应用。
无人机目前最广泛的需求聚焦在拼接与定位，即通过拼接航拍图像得到飞行区域内的图像信息及图中目标的位置信息。
目前对于图像拼接的方法均是图像本身的特征信息；对于定位方法，主要通过图像中心的位置信息，利用分辨率与比例尺计算得到该图中其他各点的位置信息。
对于图像拼接，现有技术适用于单条航带图像的拼接，但多条航带拼接时常出现两条甚至多条航带图像拼接错位的情况；另外，由于无人机作业时产生的俯仰角度，会导致单条航带拼接变形。对于定位，现有技术在每帧图像计算分辨率和比例尺时会出现误差，拼接后图像的整体误差会随拼接过程的持续而逐渐累加，从而导致定位精度严重下降。
发明内容
有鉴于此，本发明提出一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，该方法能够消除俯仰角度导致的单航带图像拼接变形，改善航拍图像中多条航带的拼接效果，提高图像拼接后的定位精度。
为了实现上述目的，本发明采用技术方案为：
一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，包括以下步骤：
(1)提取无人机回传的视频流中的图像帧和拼接帧，对图像帧进行灰度化处理，得到灰度图像；
(2)利用SIFT特征点检测器对每帧灰度图像进行关键点检测，然后采用ORB特征描述子对每个特征点计算其对应的特征描述向量；
(3)基于BF匹配方法和RANSAC方法对同一航带内的前后两帧灰度图像进行匹配，得到前后两帧图像的特征匹配点对；
(4)通过尺度不变约束对特征匹配点对计算仿射变换矩阵，然后依据仿射变换矩阵得到除第一帧图像外每帧图像在航带中的位置，从而对同一航带内的图像进行拼接；
(5)利用前一航带的GPS信息对下一条航带进行拼接约束，结合拼接帧，完成航带间的拼接，得到全景图；
(6)将GPS信息融合进全景图中，完成航拍图像的拼接和定位。
进一步的，所述步骤(3)的具体方式为：
(301)对同一航带内的前后两帧灰度图像进行检测，得到两帧图像的特征点，然后对两帧图像的特征点进行BF匹配，接着再进行交叉匹配，得到粗匹配结果；
(302)利用RANSAC方法对粗匹配结果进行处理，剔除异常匹配点对，获得精确的匹配点对。
进一步的，所述步骤(4)的具体方式为：
(401)利用特征匹配点对计算后一帧图像相对于前一帧图像的初始仿射变换矩阵，然后通过尺度不变约束更新初始仿射变换矩阵的参数，得到最终的仿射变换矩阵；
(402)基于第一帧图像的位置信息，结合步骤(401)得到的最终仿射变换矩阵的参数，计算出航带内第n帧图像相对于第一帧图像的变换矩阵，n≥2，利用该变换矩阵和第一帧图像的位置，计算出除第一帧图像外每帧图像在航带中的位置，并将其更新至航带中，完成同一航带内的图像拼接。
进一步的，所述步骤(5)的具体方式为：
(501)将第一条航带的拼接帧所对应的UTM坐标与全景图中拼接帧的像素中心点坐标作为匹配点对，利用RANSAC方法剔除异常匹配点对，筛选出准确的匹配点对，然后利用筛选后的匹配点对计算单应性矩阵，得到UTM坐标和像素中心位置坐标之间的映射关系；
(502)基于BF匹配方法和RANSAC方法对相邻航带进行匹配，得到相邻两航带的特征匹配点对；然后通过尺度不变约束对相邻两航带的特征匹配点对计算仿射变换矩阵，依据仿射变换矩阵及第一条航带在全景图中的位置，得到其他航带在全景图中的位置；
(503)根据步骤(501)中的映射关系，求得除第一条航带外其他航带中拼接帧所对应的UTM坐标的约束像素点坐标，根据约束像素点标矫正这些航带在全景图中的位置，从而得到最终完成的全景图。
进一步的，所述步骤(6)的具体方式为：
(601)将每一帧图像所对应的UTM坐标与其对应在全景图中的像素中心点位置坐标作为一个匹配对，以第二条航带中的像素中心点位置坐标作为约束像素点坐标，利用RANSAC方法筛选出准确的匹配点对并计算单应性矩阵，得到像素中心位置信息与GPS信息之间的映射关系；
(602)根据步骤(601)中的映射关系，得到全景图中任意像素点所对应的GPS坐标，完成GPS信息融合。
本发明通过采用上述技术方案而取得的有益效果在于：
1、本发明利用航带GPS信息和尺度不变约束提高了航带间图像的拼接质量，消除了俯仰角度导致的单航带拼接变形问题。
2、本发明通过第一条航带求得的映射关系约束后续拼接帧像素中心点坐标，提高了多航带的拼接效果。
3、本发明具有较高的GPS定位精度。
附图说明
图1是现有图像拼接方法所导致的变形情况图。
图2是现有图像拼接方法所导致的错位情况图。
图3是本发明实施例中基于航带GPS及尺度不变约束的拼接效果图。
具体实施方式
下面结合附图对本发明做进一步的说明。
为方便描述本发明内容，这里首先对一些术语进行必要的解释：
BF算法：即暴力匹配(Brute Force)算法，是二维特征点匹配常见算法，BF算法核心思想就是尝试所有可能的匹配，从而使得它总能够找到最佳匹配。针对暴力匹配，可以使用交叉匹配的方法进行优化。即再进行一次匹配，反过来使用被匹配到的点进行匹配，如果匹配到的仍然是第一次匹配的点的话，就认为这是一个正确的匹配。
RANSAC算法：即随机抽样一致性(Random Sample Consensus)算法，其原理是从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数，其基本假设认为数据由“局内点”组成，“局外点”是不能适应该模型的数据，存在一个可以估计模型的参数，使该模型能够解释或者使用于局内点。
透视变换：透视变换的本质是将图像投影到新平面上，其通用公式如下：
Figure BDA0002451216860000031
其中，[x',y',w']为图像变换后的坐标，[u,v,w]为图像变换前的坐标，
Figure BDA0002451216860000032
为推导的透视变换矩阵。
该透视变换矩阵可以分解如下：
Figure BDA0002451216860000041
其中，
Figure BDA0002451216860000042
表示图像线性变换，T2＝[a13 a23]T用于产生图像透视变换，T3＝[a31 a32]表示图像平移。
单应性矩阵：在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射，单应性矩阵便是描述该映射关系的映射矩阵，由透视变换计算得出。
仿射变换：仿射变换是空间直角坐标系的变换，从一个二维坐标变换到另一个二维坐标，仿射变换是一个线性变换，保持了图像的“平行性”和“平直性”。仿射变换的通用公式如下：
Figure BDA0002451216860000043
其中，[x',y',z']为变换后的坐标，[u,v,w]为变换前的坐标，
Figure BDA0002451216860000044
为仿射变换矩阵。
仿射变换矩阵分解如下：
Figure BDA0002451216860000045
其中，
Figure BDA0002451216860000046
表示图像线性变换，该变换包含尺度变换和旋转变换，T2＝[a13 a23]T用于产生图像平移。
求解仿射变换中的6个变量需要有6个方程，也就是3组点。若可用的点数大于3，可以使用最小方差来求解仿射变换矩阵，公式为：
Figure BDA0002451216860000047
带约束的仿射变换：带约束的仿射变换中旋转变换矩阵的对角线元素绝对值相等，其中尺度变换为
Figure BDA0002451216860000048
旋转变换矩阵为
Figure BDA0002451216860000049
带约束的仿射变换矩阵为
Figure BDA00024512168600000410
可见，求解变量只需要4个方程，也就是两组点，若可用点数较多，同样用最小方差来求解矩阵变量。
UTM坐标：UTM(UNIVERSAL TRANSVERSE MERCARTOR GRID SYSTEM，通用横墨卡托格网系统)坐标是一种平面直角坐标，这种坐标格网系统及其所依据的投影已经广泛用于地形图，作为卫星影像和自然资源数据库的参考格网以及要求精确定位的其他应用。因为图像拼接完成后为二维平面图像，因此原有的GPS坐标必须转换为UTM坐标才能适用。
航带：航带是指无人机沿着某一方向飞行完成的轨迹图像。
基于上述概念，下面介绍一个具体的实现方式。
一种基于航带GPS及尺度不变约束的航拍图像拼接与定位方法，包括以下步骤：
1)待拼接图像预处理：对无人机回传的图像进行灰度化操作处理，以便后续特征提取阶段加快计算速度。
2)传统特征点提取与描述：利用SIFT特征点检测器对1)中得到的处理结果进行关键点检测，然后采用ORB特征描述子对每个特征点计算其对应的特征描述向量。
3)特征点匹配：通过优化的BF匹配算法和RANSAC算法得到精确的匹配结果：
3-1)首先进行粗匹配，主要是对2)中前后两帧图像检测得到的两组特征点进行BF匹配，然后再进行交叉匹配以得到粗匹配结果。
3-2)为了使得前后两幅图像融合更加自然，减少错位情况的出现，需要利用RANSAC算法对3-1)中的粗匹配结果再次操作，剔除异常匹配点对，获得精确的匹配点对，得到的匹配点对将用于下面步骤中的确定下一幅图像的位置。
4)尺度不变约束：通过尺度不变约束对特征匹配结果计算仿射变换矩阵，之后依据仿射变换矩阵得到下一幅图像的位置
4-1)利用3-2)中的匹配点对，通过尺度不变约束，计算得到后一帧相对于前一帧图像的仿射变换矩阵H(第二帧相对于第一帧的仿射变换矩阵是H1，依次类推，第n帧图像相对于第n-1帧图像的变换矩阵为Hn-1)。
4-2)由于第一帧的位置确定并且图像易于处理，所以后续拼接帧的位置主要需要由第一帧确定，第n帧相对于第一帧的变换矩阵Hfinal。
4-3)基于第一帧位置信息，结合仿射变换矩阵Hn-1的参数，可计算出第n帧变换矩阵Hfinal(其中Hfinal＝H1*H2*...*Hn-2*Hn-1)，利用该变换矩阵和第一帧的位置，计算出当前拼接帧图像在全景拼接图像中的位置，然后将其更新至全景拼接图像。
5)由于单一航带中拼接误差极小，所以需要先使用步骤3)与步骤4)完成第一条航带的拼接，当拼接完第一条航带后，利用第一条航带GPS信息约束，通过得到航迹信息对第二条航带拼接进行约束，具体步骤如下：
5-1)当前后两帧的GPS差值小于某一阈值时，即可以认为第一条航带完成，之后利用步骤3)与步骤4)得到第一条航带的完整大图，之后将第一条航带拼接帧对应的UTM坐标和全景图中拼接帧的像素中心点坐标作为匹配点对，与3)类似，利用RANSAC算法筛选准确的匹配点对，然后利用该匹配对计算单应性矩阵，得到UTM坐标和像素中心位置坐标之间的映射关系，由于无人机的航速，高度保持稳定，所以这个映射关系适用于全景大图的任意位置。
5-2)之后利用步骤3)与步骤4)得到第二条航带的相对位置，但是为了减小误差避免出现图1的状况，需要进行约束，将第二条航带中拼接帧对应的UTM坐标根据5-1)中的映射关系求得约束像素点坐标，之后根据约束点的像素坐标矫正利用步骤3)与步骤4)得到第二条航带中的相对位置坐标，并以此来更新全景拼接图像。
6)拼接结果中任意点GPS定位：拼接完成后，需要将GPS融合进全景图中，具体步骤如下：
6-1)将拼接结果中的每一帧对应的UTM坐标和其对应在拼接结果中的像素中心点位置坐标作为一个匹配对，其中第二条航带中的像素中心点位置坐标为约束像素点坐标，然后利用RANSAC算法筛选准确的匹配点对并计算单应性矩阵，得到像素中心位置信息与GPS信息之间的映射关系。
6-2)全景图中任意像素点坐标根据6-1)中的映射关系可以得到对应的GPS坐标。
该方法能够消除无人机俯仰角度导致单航带图像拼接变形和错位的问题(如图1和2所示)，改善航拍图像中多条航带的拼接效果，提高图像拼接后的定位精度(效果如图3所示)。
上述方法主要包括图像数据预处理、图像特征提取、图像特征匹配、尺度不变约束、航带GPS约束、全景图任意点GPS定位等六个步骤。具体来说，每个步骤的实现方式如下：
步骤1、待拼接图像数据预处理
1-1、灰度化：将彩色图像的RGB三个分量以不同的权值进行加权平均。按下式对RGB三分量进行加权平均能得到较合理的灰度图像，f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)。
步骤2、传统图像特征点提取与描述
SIFT采用近似高斯差分金字塔进行特征点检测，其特征点具有尺度不变性；ORB二进制描述符通过特征点周围像素点对简单的强度对比直接产生二进制比特串，计算特征点之间的相似距离简单有效，占用内存少。这里利用SIFT特征点检测器进行关键点检测，利用ORB算法计算特征描述符。具体实现分为以下几步：
2-1、构建高斯差分金字塔(DOG)：先利用低通滤波器平滑图像，然后再对平滑图像进行采样,将上一层图像与下一层图像做差，从而获得尺度空间的高斯差分金字塔。
2-2、检测特征点：在高斯差分金字塔中，将每个像素点与其周围(包括上下)的26个像素点进行比较，当其大于或者小于所有相邻点时，即为极值点。初步定位出关键点，再经过滤去除能量弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；
2-3、确定特征点主方向：方向的分配是通过求每个极值点的梯度来实现的，将梯度方向直方图中纵坐标最大的项代表的方向分配给当前关键点作为主方向，若在梯度直方图中存在一个相当于主峰值80％能量的峰值，则将这个方向认为是关键点的辅方向，辅方向的设计可以增强匹配的鲁棒性。
2-4、ORB计算特征描述符：ORB描述子是二进制的特征，由采样点集合可得到N(N-1)/2对采样点对，同时可以得到N(N-1)/2个距离的集合(包含长、短距离子集)，考虑其中短距离子集中的512个短距离点对，进行二进制编码，最终可以得到特征点k的512比特的ORB二进制特征描述符(特征描述向量)。
步骤3、图像特征匹配
通过BF匹配和RANSAC算法得到最终匹配结果：
3-1、ORB描述符是1和0组成的二进制比特串，这里采用汉明距离(异或操作)可以实现其高速的匹配，效率突出。对步骤2中得到的前后帧特征描述向量进行BF匹配得到初始匹配结果。
3-2、RANSAC算法容错能力强，对噪声点和误匹配点鲁棒性强，能够较好地剔除误匹配点对。通过RANSAC算法对步骤3-1中的初始匹配结果剔除异常匹配值，得到获得稳定的、精度高的最佳匹配点对集。
步骤4、尺度不变约束
无人机俯仰角度导致的拼接变形问题，根源在于相同像素的航拍图像上下两侧采集的实际图像信息不对等。若无人机前向仰角飞行，拼接过程会导致单航带拼接越来越宽；若无人机前向俯角飞行，拼接时会导致单航带拼接越来越窄。
4-1、将步骤3-2的最终匹配结果中特征描述向量对应的特征点，通过计算得出前后帧图像对应的仿射变换矩阵Hn-1。
4-2、将仿射变换矩阵
Figure BDA0002451216860000071
中的
Figure BDA0002451216860000072
计算出尺度变换比例，然后将仿射变换矩阵中的线性变换矩阵
Figure BDA0002451216860000073
按照尺度不变约束，更新为
Figure BDA0002451216860000074
从而消除俯仰角度造成的拼接变形问题。
4-3、根据如下公式计算出第n帧相对于第一帧的单应性矩阵Hfinal＝Hn-1*Hn-2*...*H0
4-4、将后一帧的四个角点通过步骤4-3中得到的单应性矩阵Hfinal变换为新坐标更新到全景图对应位置。
步骤5、航带GPS约束
当拼接完第一条航带后，通过第一条航带的GPS信息对第二条航带拼接进行约束，具体步骤如下：
5-1、将第一条航带中拼接帧对应的GPS坐标转换为UTM坐标存入数据容器，记为容器utmData.
5-2、将第一条航带中拼接帧图像的像素中心点坐标存入数据容器，记为容器piexlData.
5-3、将两个容器中对应点作为匹配点对，计算透视变换单应性矩阵，得到容器间的映射关系。
5-4、将第二条航带拼接帧对应的UTM坐标根据步骤5-3中的映射关系求得约束像素点坐标constraintCoori，并依此来更新全景图。
步骤6、拼接结果中任意点GPS定位
拼接完成后，为了提高定位精度，回避了成像的空间几何过程，直接对图像变形进行数学模拟，具体步骤如下：
6-1、将步骤5-1中的utmData容器和piexlData容器均更新为全部点集，其中piexlData中第二条航带像素中心点坐标为constraintCoori.
6-2、将两个容器中对应点作为匹配点对，计算透视变换单应性矩阵，得到容器间的映射关系。
6-3、全景图中任意点的像素点坐标根据步骤6-2中的映射关系可以得到对应的UTM坐标，再转换为GPS坐标。
总之，本发明利用航带GPS信息和尺度不变约束提高了航带间图像的拼接质量，消除了俯仰角度导致的单航带拼接变形问题，通过第一条航带求得的映射关系约束后续拼接帧像素中心点坐标，提高了多航带的拼接效果，并且还具有较高的GPS定位精度。

Claims (5)

1.一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，其特征在于，包括以下步骤：
（1）提取无人机回传的视频流中的图像帧和拼接帧，对图像帧进行灰度化处理，得到灰度图像；
（2）利用SIFT特征点检测器对每帧灰度图像进行关键点检测，然后采用ORB特征描述子对每个特征点计算其对应的特征描述向量；
（3）基于BF匹配方法和RANSAC方法对同一航带内的前后两帧灰度图像进行匹配，得到前后两帧图像的特征匹配点对；
（4）通过尺度不变约束对特征匹配点对计算仿射变换矩阵，然后依据仿射变换矩阵得到除第一帧图像外每帧图像在航带中的位置，从而对同一航带内的图像进行拼接；
（5）利用前一航带的GPS信息对下一条航带进行拼接约束，结合拼接帧，完成航带间的拼接，得到全景图；
（6）将GPS信息融合进全景图中，完成航拍图像的拼接和定位。
2.根据权利要求1所述的一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，其特征在于，所述步骤（3）的具体方式为：
（301）对同一航带内的前后两帧灰度图像进行检测，得到两帧图像的特征点，然后对两帧图像的特征点进行BF匹配，接着再进行交叉匹配，得到粗匹配结果；
（302）利用RANSAC方法对粗匹配结果进行处理，剔除异常匹配点对，获得精确的匹配点对。
3.根据权利要求1所述的一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，其特征在于，所述步骤（4）的具体方式为：
（401）利用特征匹配点对计算后一帧图像相对于前一帧图像的初始仿射变换矩阵，然后通过尺度不变约束更新初始仿射变换矩阵的参数，得到最终的仿射变换矩阵；
（402）基于第一帧图像的位置信息，结合步骤（401）得到的最终仿射变换矩阵的参数，计算出航带内第n帧图像相对于第一帧图像的变换矩阵，n≥2，利用该变换矩阵和第一帧图像的位置，计算出除第一帧图像外每帧图像在航带中的位置，并将其更新至航带中，完成同一航带内的图像拼接。
4.根据权利要求1所述的一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，其特征在于，所述步骤（5）的具体方式为：
（501）将第一条航带的拼接帧所对应的UTM坐标与全景图中拼接帧的像素中心点坐标作为匹配点对，利用RANSAC方法剔除异常匹配点对，筛选出准确的匹配点对，然后利用筛选后的匹配点对计算单应性矩阵，得到UTM坐标和像素中心位置坐标之间的映射关系；
（502）基于BF匹配方法和RANSAC方法对相邻航带进行匹配，得到相邻两航带的特征匹配点对；然后通过尺度不变约束对相邻两航带的特征匹配点对计算仿射变换矩阵，依据仿射变换矩阵及第一条航带在全景图中的位置，得到其他航带在全景图中的位置；
（503）根据步骤（501）中的映射关系，求得除第一条航带外其他航带中拼接帧所对应的UTM坐标的约束像素点坐标，根据约束像素点标矫正这些航带在全景图中的位置，从而得到最终完成的全景图。
5.根据权利要求1所述的一种基于航带GPS及尺度不变约束的航拍图像拼接定位方法，其特征在于，所述步骤（6）的具体方式为：
（601）将每一帧图像所对应的UTM坐标与其对应在全景图中的像素中心点位置坐标作为一个匹配对，以第二条航带中的像素中心点位置坐标作为约束像素点坐标，利用RANSAC方法筛选出准确的匹配点对并计算单应性矩阵，得到像素中心位置信息与GPS信息之间的映射关系；
（602）根据步骤（601）中的映射关系，得到全景图中任意像素点所对应的GPS坐标，完成GPS信息融合。
CN202010293284.3A 2020-04-15 2020-04-15 基于航带gps及尺度不变约束的航拍图像拼接定位方法 Active CN111507901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010293284.3A CN111507901B (zh) 2020-04-15 2020-04-15 基于航带gps及尺度不变约束的航拍图像拼接定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010293284.3A CN111507901B (zh) 2020-04-15 2020-04-15 基于航带gps及尺度不变约束的航拍图像拼接定位方法

Publications (2)

Publication Number Publication Date
CN111507901A true CN111507901A (zh) 2020-08-07
CN111507901B CN111507901B (zh) 2023-08-15

Family

ID=71877604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010293284.3A Active CN111507901B (zh) 2020-04-15 2020-04-15 基于航带gps及尺度不变约束的航拍图像拼接定位方法

Country Status (1)

Country Link
CN (1) CN111507901B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862678A (zh) * 2021-01-26 2021-05-28 中国铁道科学研究院集团有限公司 一种无人机图像拼接方法、装置及存储介质
CN112949736A (zh) * 2021-03-15 2021-06-11 浙江中控技术股份有限公司 一种特征匹配方法及相关设备
CN113256492A (zh) * 2021-05-13 2021-08-13 上海海事大学 一种全景视频拼接方法、电子设备及存储介质
CN113706391A (zh) * 2021-11-01 2021-11-26 成都数联云算科技有限公司 无人机航拍图像实时拼接方法、系统、设备及存储介质
CN115620181A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于墨卡托坐标切片的航拍图像实时拼接方法
CN115965535A (zh) * 2023-03-14 2023-04-14 海豚乐智科技(成都)有限责任公司 基于特征矫正gps信息的航拍图实时拼接方法及系统
CN116883248A (zh) * 2023-09-07 2023-10-13 成都市晶林科技有限公司 一种基于特征点匹配的红外全景图像拼接方法
CN117036666A (zh) * 2023-06-14 2023-11-10 北京自动化控制设备研究所 基于帧间图像拼接的无人机低空定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN109141431A (zh) * 2018-09-07 2019-01-04 北京数字绿土科技有限公司 航带匹配方法、装置、电子设备和可读存储介质
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN110084743A (zh) * 2019-01-25 2019-08-02 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110097498A (zh) * 2019-01-25 2019-08-06 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN109141431A (zh) * 2018-09-07 2019-01-04 北京数字绿土科技有限公司 航带匹配方法、装置、电子设备和可读存储介质
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN110084743A (zh) * 2019-01-25 2019-08-02 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110097498A (zh) * 2019-01-25 2019-08-06 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862678A (zh) * 2021-01-26 2021-05-28 中国铁道科学研究院集团有限公司 一种无人机图像拼接方法、装置及存储介质
CN112949736B (zh) * 2021-03-15 2023-07-21 浙江中控技术股份有限公司 一种特征匹配方法及相关设备
CN112949736A (zh) * 2021-03-15 2021-06-11 浙江中控技术股份有限公司 一种特征匹配方法及相关设备
CN113256492A (zh) * 2021-05-13 2021-08-13 上海海事大学 一种全景视频拼接方法、电子设备及存储介质
CN113256492B (zh) * 2021-05-13 2023-09-12 上海海事大学 一种全景视频拼接方法、电子设备及存储介质
CN113706391A (zh) * 2021-11-01 2021-11-26 成都数联云算科技有限公司 无人机航拍图像实时拼接方法、系统、设备及存储介质
CN115620181A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于墨卡托坐标切片的航拍图像实时拼接方法
CN115965535B (zh) * 2023-03-14 2023-06-30 海豚乐智科技(成都)有限责任公司 基于特征矫正gps信息的航拍图实时拼接方法及系统
CN115965535A (zh) * 2023-03-14 2023-04-14 海豚乐智科技(成都)有限责任公司 基于特征矫正gps信息的航拍图实时拼接方法及系统
CN117036666A (zh) * 2023-06-14 2023-11-10 北京自动化控制设备研究所 基于帧间图像拼接的无人机低空定位方法
CN117036666B (zh) * 2023-06-14 2024-05-07 北京自动化控制设备研究所 基于帧间图像拼接的无人机低空定位方法
CN116883248A (zh) * 2023-09-07 2023-10-13 成都市晶林科技有限公司 一种基于特征点匹配的红外全景图像拼接方法
CN116883248B (zh) * 2023-09-07 2023-11-14 成都市晶林科技有限公司 一种基于特征点匹配的红外全景图像拼接方法

Also Published As

Publication number Publication date
CN111507901B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111507901A (zh) 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN103822616B (zh) 一种图分割与地形起伏约束相结合的遥感影像匹配方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN103115614B (zh) 多源多轨长条带卫星遥感影像联合并行匹配方法
CN111862126A (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
US9654706B2 (en) Method for reducing image fuzzy degree of TDI-CCD camera
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
CN107679537A (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN113222820B (zh) 一种位姿信息辅助的航空遥感图像拼接方法
CN110084743B (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN110516532B (zh) 基于计算机视觉的无人机铁路轨道线路识别方法
CN108961286B (zh) 一种顾及建筑物三维及边缘形状特征的无人机影像分割方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN113313659B (zh) 一种多机协同约束下高精度图像拼接方法
CN113838064A (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN114897676A (zh) 一种无人机遥感多光谱图像拼接方法、设备及介质
CN113295171B (zh) 一种基于单目视觉的旋转刚体航天器姿态估计方法
CN117036666B (zh) 基于帧间图像拼接的无人机低空定位方法
Nguyen et al. Coarse-to-fine registration of airborne LiDAR data and optical imagery on urban scenes
CN115082533B (zh) 一种基于自监督的临近空间遥感图像配准方法
CN115689941A (zh) 一种跨域生成对抗的sar影像补偿方法及计算机可读介质
CN113506374B (zh) 基于gps信息辅助及空间网格划分的点云配准方法
CN115456870A (zh) 基于外参估计的多图像拼接方法
Li et al. Learning dense consistent features for aerial-to-ground structure-from-motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant