CN113592929A - 一种无人机航摄影像实时拼接方法与系统 - Google Patents

一种无人机航摄影像实时拼接方法与系统 Download PDF

Info

Publication number
CN113592929A
CN113592929A CN202110890086.XA CN202110890086A CN113592929A CN 113592929 A CN113592929 A CN 113592929A CN 202110890086 A CN202110890086 A CN 202110890086A CN 113592929 A CN113592929 A CN 113592929A
Authority
CN
China
Prior art keywords
aerial
current
image
images
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110890086.XA
Other languages
English (en)
Other versions
CN113592929B (zh
Inventor
赵红颖
程印乾
沙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youyike Technology Co ltd
Original Assignee
Beijing Youyike Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youyike Technology Co ltd filed Critical Beijing Youyike Technology Co ltd
Priority to CN202110890086.XA priority Critical patent/CN113592929B/zh
Publication of CN113592929A publication Critical patent/CN113592929A/zh
Application granted granted Critical
Publication of CN113592929B publication Critical patent/CN113592929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种无人机航摄影像实时拼接方法与系统，属于图像拼接技术领域。本发明提供的一种无人机航摄影像实时拼接方法，首先根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；对与当前摄站点相关的K个航摄影像进行平面拟合得到基准平面；然后计算K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；最后根据变换矩阵完成对所有航摄影像的拼接。本发明首先找到当前航摄点影像相关的影像，然后利用这些影像来优化匹配，可以实时从正在进行航摄任务的无人机获取航摄影像进行拼接，简化工作流程，达到快速实时拼接的目的。

Description

一种无人机航摄影像实时拼接方法与系统
技术领域
本发明属于图像拼接技术领域，更具体地说，是涉及一种无人机航摄影像实时拼接方法与系统。
背景技术
对于无人机航摄影像，现有的技术大多采用非实时的、整体处理的方法进行拼接，这种方法是在一次航摄任务结束后，将无人机所拍的影像全部导出，无人机所拍摄的影像不带有地理信息，影像间关系通过影像处理的方式得到，然后整体进行拼接，其中每张影像间的相互关系需要大量的运算，这种拼接方法工作流程复杂，自动化程度低。
目前也有一些增量式无人机影像拼接方法，它们通过实时获取影像，以第一张影像为平面基准，将第二张影像抓换到第一张影像的平面，进行贴图，对于后续输入的第t张影像，计算该影像与第t-1张影像的关系，然后再获取第t-1张影像相对于第一张影像的关系，进行运算得到第t张影像相对于第一张影像平面的变换关系，进行贴图。
可见，现有技术方案中，非实时的影像拼接优点在于可以做整体优化，但是他们不能在航摄过程中实时得到拼接影像，只能在航摄任务结束之后，将所有影像获取之后才能得到测区的影像。而现有的实时拼接系统，其缺点在于难以对影像做整体优化，仅仅将当前影像与前一帧影像进行转换关系计算，获得的影像会因为累计误差的存在导致拼接效果越来越差，最终得到的影像观感较差，精度不高。
发明内容
本发明的目的在于提供一种无人机航摄影像实时拼接方法与系统，旨在解决现有影像拼接方法需要得到所有影像后才能拼接，导致拼接速度慢和拼接效果越来越差的问题。
为实现上述目的，本发明采用的技术方案是：一种无人机航摄影像实时拼接方法，包括以下步骤：
步骤1：获取摄站点坐标；
步骤2：无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
步骤3：根据所述摄站点坐标得到与当前摄站点相关的K个航摄影像；
步骤4：对所述K个航摄影像进行平面拟合得到基准平面；
步骤5：计算所述K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
步骤6：对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
步骤7：根据所述变换矩阵完成对所有所述航摄影像的拼接。
优选的，所述步骤3：根据所述摄站点坐标得到与当前摄站点相关的K个航摄影像，包括：
步骤3.1：获取与当前摄站点距离最近的m个摄站点；
步骤3.2：按照拍摄顺序对所述m个摄站点进行排序，得到依次排列的摄站点；
步骤3.3：选取拍摄顺序在当前摄站点之前的k个摄站点，则在k个摄站点所拍摄的航摄影像记为与当前摄站点相关的K个航摄影像。
优选的，所述步骤4：对所述K个航摄影像进行平面拟合得到基准平面，包括：
步骤4.1：利用运动恢复结构获取所述K个航摄影像的点云数据；
步骤4.2：采用随机抽样一致算法对所述点云数据进行拟合得到所述基准平面。
优选的，所述步骤5：计算所述K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵，包括：
步骤5.1：利用尺度不变特征变换算法提取每一个航摄影像的SIFT特征点和特征描述符；
步骤5.2：利用尺度不变特征变换算法提取当前航摄影像的当前SIFT特征点和当前特征描述符；
步骤5.3：根据所述SIFT特征点、所述特征描述符、所述当前SIFT特征点和所述当前特征描述符采用最近邻匹配算法得到每一个航摄影像与当前航摄影像的匹配点对；
步骤5.4：根据所述匹配点对采用随机抽样一致性算法得到每一个航摄影像与当前航摄影像的当前帧转换矩阵。
优选的，所述步骤6：对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵，包括：
步骤6.1：获取每一个航摄影像与当前航摄影像的匹配点对；
步骤6.2：根据所述匹配点对得到每一个航摄影像在所述基准平面的基准坐标和当前航摄影像在所述基准平面的当前基准坐标；
步骤6.3：根据所述基准坐标和所述当前基准坐标利用重投影误差平均值公式计算当前航摄影像与每一个航摄影像的重投影误差值；
步骤6.4：选取最小的重投影误差值所对应的航摄影像，利用矩阵转换公式得到所述当前航摄影像对于基准平面的变换矩阵。
优选的，所述重投影误差平均值公式为：
Figure BDA0003195624810000031
其中，n表示摄站点个数，C2表示集合C中除了图像Ii之外的其他图像的集合，i表示C2中的第i张影像，kp表示影像中的关键点，
Figure BDA0003195624810000032
表示当前帧关键点的x坐标，
Figure BDA0003195624810000033
表示第k张关键点x坐标，
Figure BDA0003195624810000034
表示当前帧关键点的y坐标，
Figure BDA0003195624810000035
表示第k张关键点的y坐标。
优选的，所述矩阵转换公式为：
HT＝HmHTm
其中，HT表示当前航摄影像对于基准平面的变换矩阵，Hm表示影像Im相对于基准点的变换矩阵，HTm表示当前航摄影像相对于最小的重投影误差值所对应的航摄影像的变换矩阵。
本发明还提供了一种无人机航摄影像实时拼接系统，包括：
摄站点坐标获取模块，用于获取摄站点坐标；
航摄影像拍摄模块，用于无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
相关影响获取模块，用于根据所述摄站点坐标得到与当前摄站点相关的K个航摄影像；
平面拟合模块，用于对所述K个航摄影像进行平面拟合得到基准平面；
当前帧转换矩阵计算模块，用于计算所述K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
局部优化模块，用于对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
航摄影像拼接模块，用于根据所述变换矩阵完成对所有所述航摄影像的拼接。
本发明提供的一种无人机航摄影像实时拼接方法与系统的有益效果在于：与现有技术相比，本发明的一种无人机航摄影像实时拼接方法，首先根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；根据摄站点坐标得到与当前摄站点相关的K个航摄影像；对K个航摄影像进行平面拟合得到基准平面；然后计算K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；最后根据变换矩阵完成对所有航摄影像的拼接。本发明首先找到当前航摄点影像相关的影像，然后利用这些影像来优化匹配，可以实时从正在进行航摄任务的无人机获取航摄影像进行拼接，简化工作流程，达到快速实时拼接的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无人机航摄影像实时拼接方法流程图。
图2为本发明实施例提供的无人机航迹规划示意图。
图3为本发明实施例提供的相关帧选取示意图。
图4为本发明实施例提供的航摄影像拼接效果图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的目的在于提供一种无人机航摄影像实时拼接方法与系统，旨在解决现有影像拼接方法需要得到所有影像后才能拼接，导致拼接速度慢和拼接效果越来越差的问题。
请参阅图1，为实现上述目的，本发明采用的技术方案是：一种无人机航摄影像实时拼接方法，包括以下步骤：
S1：获取摄站点坐标；
本发明采用航迹规划系统来获取摄站点坐标，在无人机进行一次航摄任务之前，由航迹规划系统规划出此次航摄任务的摄站点，每个点均表示为该点的经纬度坐标，然后通过经纬度-平面坐标系转换将经纬度转换为笛卡尔坐标系坐标。
S2：无人机根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；
S3：根据摄站点坐标得到与当前摄站点相关的K个航摄影像；
S3具体包括：
S3.1：获取与当前摄站点距离最近的m个摄站点；
S3.2：按照拍摄顺序对m个摄站点进行排序，得到依次排列的摄站点；
S3.3：选取拍摄顺序在当前摄站点之前的k个摄站点，则在k个摄站点所拍摄的航摄影像记为与当前摄站点相关的K个航摄影像。
请参阅图2-3，(图2中，灰度点为摄站点；图3中，黑色点代表的关键帧的相关帧为前面相邻几帧和相邻航带中相近帧)在实际应用中，在获取到此次航摄任务的摄站点坐标后，对每一个摄站点T进行计算，得到这个摄站点的相关摄站点，相关摄站点的获取遵循以下：
a)在所有的n-1个摄站点中，找到与当前摄站点最近的m个摄站点。
b)对m个摄站点排序，选取拍摄顺序在当前帧之前的k个摄站点，这些与摄站点T所拍摄的影像的相关的帧记为KTj(j＝1,2,···，k)。
S4：对K个航摄影像进行平面拟合得到基准平面；
S4具体包括：
S4.1：利用运动恢复结构获取K个航摄影像的点云数据；
S4.2：采用随机抽样一致算法对点云数据进行拟合得到基准平面。
在航摄任务进行时，无人机实时向后端传输图片。将获取的前几张影像，采用SfM(Structure from Motion，运动恢复结构)获取一组点云，因为航摄任务飞行高度普遍较高，所以SfM获取的点云数据近似在一个平面，采用RANSAC(Random Simple Consensus，随机抽样一致算法)算法，从点云数据中拟合出一个平面—基准平面M，点云数据与该平面之间的转换关系为H1,并构建一个关系列表，将H1存入。其中，H1表示第一张影像相对于基准平面的变换方程。
S5：计算K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
S5具体包括：
S5.1：利用尺度不变特征变换算法提取每一个航摄影像的SIFT特征点和特征描述符；
S5.2：利用尺度不变特征变换算法提取当前航摄影像的当前SIFT特征点和当前特征描述符；
S5.3：根据SIFT特征点、特征描述符、当前SIFT特征点和当前特征描述符采用最近邻匹配算法得到每一个航摄影像与当前航摄影像的匹配点对；
S5.4：根据匹配点对采用随机抽样一致性算法得到每一个航摄影像与当前航摄影像的当前帧转换矩阵。
下面结合具体的实施例对S5进行进一步的说明：
对于第二张影像，需要计算第二张影像与第一张影像的变换关系，具体如下：提取两张影像的SIFT(Scale-invariant feature transform，尺度不变特征变换)特征点和特征描述符。
采用最近邻匹配的方法，找到两张影像的匹配点对。
对所有的匹配点对，采用RANSAC算法，寻找两张图像间的单应性变换，对于两张有匹配点对的图像I1和I2而言，其上的同名点(x1,y1)和(x2,y2)有关系：
Figure BDA0003195624810000071
H21就是影像I2到影像I1的平面变换关系。
在获取到两张影像的变换关系后，还需要找到第二张影像和基准平面M的相对关系的变换矩阵H2：
H2＝H1H21
然后按照变换关系，可以将第二张影像变换到基准平面。
对于接下来的每一张关键帧T，在获取影像T之后，提取该张图像所对应的摄站点信息，借助S3的方法，找到与该张图像最近的图像序列C，C是一个包含了所有与当前帧图像重叠的图像序列集合，即K张相关帧(与当前摄站点相关的K个航摄影像)，因为这K张相关帧都是在当前帧之前的影像，所以这K张相关帧与基准平面的关系
Figure BDA0003195624810000081
已经存储在关系列表中，每次取这K张相关帧中的一张Ki(i∈C)，按照S5所表示的方法，计算当前帧与该张(相关帧)的变换矩阵HTi，然后计算一个待定的当前帧转换矩阵
Figure BDA0003195624810000082
其计算方法：
Figure BDA0003195624810000083
此时，得到的变换矩阵其实已经可以代表本张关键帧的相对位置，但是，会导致非常严重的错位，其错位的误差来源于累计误差和特征点的分布误差，所以需要一种局部优化方法来解决这个问题。
在对集合C中的每一个关键帧计算与当前帧的转换矩阵之后，进行局部优化，对于C中的每一张影像的特征(xi,yi)(i∈C),反算其在基准平面的坐标KPi,接着进行局部优化，以图像Ii为例，计算得到集合C中的除了该图像之外的所有影像(表示为集合C2)的与当前帧T匹配的特征点在基准平面的坐标，然后计算重投影误差平均值：
Figure BDA0003195624810000084
得到当前帧与每一张集合C中的影像的与其他影像的重投影误差后，选取具有最小重投影误差的关键帧(假设为Im)在之前已经得到了当前帧T相对于该帧的变换矩阵HTm，接着从关系列表中去除帧Im相对于基准点的变换矩阵Hm，计算：
HT＝HmHTm
得到的即是当前帧对于基准平面的变换矩阵。
这样，就进行了一次局部优化，优化后的变换，最大程度减少了重投影误差，视觉观感较好，空间精度高，对航摄任务中的每一张图像进行带有局部优化的变换关系计算，然后进行贴图，就可以得到完整的摄区影像，如图4所示。
下面对这一过程进行进一步的说明：
S6：对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；
S6具体包括：
S6.1：获取每一个航摄影像与当前航摄影像的匹配点对；
S6.2：根据匹配点对得到每一个航摄影像在基准平面的基准坐标和当前航摄影像在基准平面的当前基准坐标；
S6.3：根据基准坐标和当前基准坐标利用重投影误差平均值公式计算当前航摄影像与每一个航摄影像的重投影误差值；
重投影误差平均值公式为：
Figure BDA0003195624810000091
其中，n表示摄站点个数，C2表示集合C中除了图像Ii之外的其他图像的集合，i表示C2中的第i张影像，kp表示影像中的关键点，
Figure BDA0003195624810000092
表示当前帧关键点的x坐标，
Figure BDA0003195624810000093
表示第k张关键点x坐标，
Figure BDA0003195624810000094
表示当前帧关键点的y坐标，
Figure BDA0003195624810000095
表示第k张关键点的y坐标。
S6.4：选取最小的重投影误差值所对应的航摄影像，利用矩阵转换公式得到当前航摄影像对于基准平面的变换矩阵。
矩阵转换公式为：
HT＝HmHTm
其中，HT表示当前航摄影像对于基准平面的变换矩阵，Hm表示影像Im相对于基准点的变换矩阵，HTm表示当前航摄影像相对于最小的重投影误差值所对应的航摄影像的变换矩阵。
S7：根据变换矩阵完成对所有航摄影像的拼接。
本发明公开了一种无人机航摄影像实时拼接方法，首先根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；根据摄站点坐标得到与当前摄站点相关的K个航摄影像；对K个航摄影像进行平面拟合得到基准平面；然后计算K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；最后根据变换矩阵完成对所有航摄影像的拼接。
本发明具有以下优点：
1.基于航迹规划任务，可以先验地得到航迹中的航摄点，对于每一个航摄点，可以快速找到该航摄点影像相关的影像，然后利用这些影像来优化匹配。
2.采用增量式图像拼接，实时从正在进行航摄任务的无人机获取影像进行拼接，简化工作流程，达到快速实时拼接的目的。
3.采用前些许张影像，利用SfM方法获得三维点云，拟合平面，这个平面是近似于和地面平行的，这样，结合GPS信息，就可以为拼接的全景图像赋予地理信息。
4.采用基于最小化重投影误差的局部优化方法，在增加少许计算量的代价下大大改善了拼接图像质量问题，优化了拼接质量，提升了视觉观感。
本发明还提供了一种无人机航摄影像实时拼接系统，包括：
摄站点坐标获取模块，用于获取摄站点坐标；
航摄影像拍摄模块，用于无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
相关影响获取模块，用于根据所述摄站点坐标得到与当前摄站点相关的K个航摄影像；
平面拟合模块，用于对所述K个航摄影像进行平面拟合得到基准平面；
当前帧转换矩阵计算模块，用于计算所述K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
局部优化模块，用于对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
航摄影像拼接模块，用于根据所述变换矩阵完成对所有所述航摄影像的拼接。
本发明公开了一种无人机航摄影像实时拼接方法，首先根据摄站点坐标依次对摄站点拍摄得到与摄站点相应的航摄影像；根据摄站点坐标得到与当前摄站点相关的K个航摄影像；对K个航摄影像进行平面拟合得到基准平面；然后计算K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；对当前帧转换矩阵进行局部优化得到当前航摄影像对于基准平面的变换矩阵；最后根据变换矩阵完成对所有航摄影像的拼接。本发明首先找到当前航摄点影像相关的影像，然后利用这些影像来优化匹配，可以实时从正在进行航摄任务的无人机获取航摄影像进行拼接，简化工作流程，达到快速实时拼接的目的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种无人机航摄影像实时拼接方法，其特征在于，包括以下步骤：
步骤1：获取摄站点坐标；
步骤2：无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
步骤3：根据所述摄站点坐标得到与当前摄站点相关的K个航摄影像；
步骤4：对所述K个航摄影像进行平面拟合得到基准平面；
步骤5：计算所述K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
步骤6：对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
步骤7：根据所述变换矩阵完成对所有所述航摄影像的拼接。
2.如权利要求1所述的一种无人机航摄影像实时拼接方法，其特征在于，所述步骤3：根据所述摄站点坐标得到与当前摄站点相关的K个航摄影像，包括：
步骤3.1：获取与当前摄站点距离最近的m个摄站点；
步骤3.2：按照拍摄顺序对所述m个摄站点进行排序，得到依次排列的摄站点；
步骤3.3：选取拍摄顺序在当前摄站点之前的k个摄站点，则在k个摄站点所拍摄的航摄影像记为与当前摄站点相关的K个航摄影像。
3.如权利要求1所述的一种无人机航摄影像实时拼接方法，其特征在于，所述步骤4：对所述K个航摄影像进行平面拟合得到基准平面，包括：
步骤4.1：利用运动恢复结构获取所述K个航摄影像的点云数据；
步骤4.2：采用随机抽样一致算法对所述点云数据进行拟合得到所述基准平面。
4.如权利要求1所述的一种无人机航摄影像实时拼接方法，其特征在于，所述步骤5：计算所述K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵，包括：
步骤5.1：利用尺度不变特征变换算法提取每一个航摄影像的SIFT特征点和特征描述符；
步骤5.2：利用尺度不变特征变换算法提取当前航摄影像的当前SIFT特征点和当前特征描述符；
步骤5.3：根据所述SIFT特征点、所述特征描述符、所述当前SIFT特征点和所述当前特征描述符采用最近邻匹配算法得到每一个航摄影像与当前航摄影像的匹配点对；
步骤5.4：根据所述匹配点对采用随机抽样一致性算法得到每一个航摄影像与当前航摄影像的当前帧转换矩阵。
5.如权利要求4所述的一种无人机航摄影像实时拼接方法，其特征在于，所述步骤6：对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵，包括：
步骤6.1：获取每一个航摄影像与当前航摄影像的匹配点对；
步骤6.2：根据所述匹配点对得到每一个航摄影像在所述基准平面的基准坐标和当前航摄影像在所述基准平面的当前基准坐标；
步骤6.3：根据所述基准坐标和所述当前基准坐标利用重投影误差平均值公式计算当前航摄影像与每一个航摄影像的重投影误差值；
步骤6.4：选取最小的重投影误差值所对应的航摄影像，利用矩阵转换公式得到所述当前航摄影像对于基准平面的变换矩阵。
6.如权利要求5所述的一种无人机航摄影像实时拼接方法，其特征在于，所述重投影误差平均值公式为：
Figure FDA0003195624800000021
其中，n表示摄站点个数，C2表示集合C中除了图像Ii之外的其他图像的集合，i表示C2中的第i张影像，kp表示影像中的关键点，
Figure FDA0003195624800000022
表示当前帧关键点的x坐标，
Figure FDA0003195624800000031
表示第k张关键点x坐标，
Figure FDA0003195624800000032
表示当前帧关键点的y坐标，
Figure FDA0003195624800000033
表示第k张关键点的y坐标。
7.如权利要求5所述的一种无人机航摄影像实时拼接方法，其特征在于，所述矩阵转换公式为：
HT＝HmHTm
其中，HT表示当前航摄影像对于基准平面的变换矩阵，Hm表示影像Im相对于基准点的变换矩阵，HTm表示当前航摄影像相对于最小的重投影误差值所对应的航摄影像的变换矩阵。
8.一种无人机航摄影像实时拼接系统，其特征在于，包括：
摄站点坐标获取模块，用于获取摄站点坐标；
航摄影像拍摄模块，用于无人机根据所述摄站点坐标依次对摄站点拍摄得到与所述摄站点相应的航摄影像；
相关影响获取模块，用于根据所述摄站点坐标得到与当前摄站点相关的K个航摄影像；
平面拟合模块，用于对所述K个航摄影像进行平面拟合得到基准平面；
当前帧转换矩阵计算模块，用于计算所述K个航摄影像中的每一个航摄影像与当前航摄影像的当前帧转换矩阵；
局部优化模块，用于对所述当前帧转换矩阵进行局部优化得到所述当前航摄影像对于基准平面的变换矩阵；
航摄影像拼接模块，用于根据所述变换矩阵完成对所有所述航摄影像的拼接。
CN202110890086.XA 2021-08-04 2021-08-04 一种无人机航摄影像实时拼接方法与系统 Active CN113592929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110890086.XA CN113592929B (zh) 2021-08-04 2021-08-04 一种无人机航摄影像实时拼接方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110890086.XA CN113592929B (zh) 2021-08-04 2021-08-04 一种无人机航摄影像实时拼接方法与系统

Publications (2)

Publication Number Publication Date
CN113592929A true CN113592929A (zh) 2021-11-02
CN113592929B CN113592929B (zh) 2024-07-23

Family

ID=78254844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110890086.XA Active CN113592929B (zh) 2021-08-04 2021-08-04 一种无人机航摄影像实时拼接方法与系统

Country Status (1)

Country Link
CN (1) CN113592929B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921776A (zh) * 2018-05-31 2018-11-30 深圳市易飞方达科技有限公司 一种基于无人机的图像拼接方法及装置
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN110648283A (zh) * 2019-11-27 2020-01-03 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921776A (zh) * 2018-05-31 2018-11-30 深圳市易飞方达科技有限公司 一种基于无人机的图像拼接方法及装置
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN110648283A (zh) * 2019-11-27 2020-01-03 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法

Also Published As

Publication number Publication date
CN113592929B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
CN108764048B (zh) 人脸关键点检测方法及装置
CN107564061B (zh) 一种基于图像梯度联合优化的双目视觉里程计算方法
CN110108258B (zh) 一种单目视觉里程计定位方法
CN111968177B (zh) 一种基于固定摄像头视觉的移动机器人定位方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
CN114565863B (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
WO2023005457A1 (zh) 位姿计算方法和装置、电子设备、可读存储介质
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN112652020A (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN115761164A (zh) 逆透视ipm图像生成的方法和装置
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
CN111964665B (zh) 基于车载环视图像的智能车定位方法、系统及存储介质
CN113808269A (zh) 地图生成方法、定位方法、系统及计算机可读存储介质
CN114693782A (zh) 用于确定三维场景模型坐标系和物理坐标系的转换关系的方法及装置
Li et al. Learning dense consistent features for aerial-to-ground structure-from-motion
CN116698012A (zh) 一种基于密集约束和图优化的离线地图构建方法
CN113592929A (zh) 一种无人机航摄影像实时拼接方法与系统
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN102663772A (zh) 一种针对多视频序列的运动推断结构方法
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法
CN117689813B (zh) 一种变电站高精度电力变压器红外三维建模方法及系统
CN118411429B (zh) 一种移动目标轨迹坐标转换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant