CN113706391B - 无人机航拍图像实时拼接方法、系统、设备及存储介质 - Google Patents

无人机航拍图像实时拼接方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113706391B
CN113706391B CN202111280928.6A CN202111280928A CN113706391B CN 113706391 B CN113706391 B CN 113706391B CN 202111280928 A CN202111280928 A CN 202111280928A CN 113706391 B CN113706391 B CN 113706391B
Authority
CN
China
Prior art keywords
aerial image
aerial
camera parameters
current
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111280928.6A
Other languages
English (en)
Other versions
CN113706391A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shulian Cloud Computing Technology Co ltd
Original Assignee
Chengdu Shulian Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shulian Cloud Computing Technology Co ltd filed Critical Chengdu Shulian Cloud Computing Technology Co ltd
Priority to CN202111280928.6A priority Critical patent/CN113706391B/zh
Publication of CN113706391A publication Critical patent/CN113706391A/zh
Application granted granted Critical
Publication of CN113706391B publication Critical patent/CN113706391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本发明公开了一种无人机航拍图像实时拼接方法、系统、设备及存储介质，所述方法包括：实时获取当前的航拍图像及当前的航拍图像的GPS信息；根据GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理；根据匹配结果对当前的航拍图像的相机参数进行标定；根据光束平差法优化航拍图像的相机参数，光束平差法的损失函数包括基于GPS信息的GPS约束项；根据优化后的相机参数对航拍图像进行映射处理；将映射后的航拍图像进行融合拼接处理。本发明还公开了一种无人机航拍图像实时拼接系统、计算机设备及计算机可读存储介质。采用本发明，可利用GPS信息实现无人机航拍图像的实时拼接，减少误差累积，降低计算的复杂度。

Description

无人机航拍图像实时拼接方法、系统、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种无人机航拍图像实时拼接方法、系统、设备及存储介质。
背景技术
无人驾驶飞机简称“无人机（unmanned aerial vehicle，UAV）”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主操作。目前在航拍、农业、植保、快递运输、灾难救援、测绘、电力巡检、救灾等等领域有着极其广泛的应用。
无人机目前最广泛的需求聚焦在拼接与定位，即通过拼接航拍图像得到飞行区域内的图像信息及图中目标的位置信息。
目前对于图像的拼接方法主要采用以下两种：
一、传统的全景图拼接技术。如，论文《Automatic Panoramic Image Stitchingusing Invariant Features》公开了一种全景图像拼接方法，该拼接方法的具体步骤为：提取特征点->特征点匹配->光束平差法->图像融合。但是，该方法在大规模的图像拼接中容易出现误差累积，造成图像的扭曲，且算法中使用的模型不能解决视差问题。
二、主流的无人机航拍拼接技术。如，论文《DenseFusion: Large-Scale OnlineDense Pointcloud and DSM Mapping for UAVs》公开了一种基于无人机的大场景快速二维／三维重建方法，该重建方法的具体步骤为：特征点提取->特征点匹配->光束平差法->生成稠密点云->三维重建->生成正射图。虽然该方法可以降低精度上的损失，但是该方法对稠密点云的生成非常耗时，而且需要的存储空间也相当大。
综上所述，现有的拼接方法均无法在保证精度的同时，降低计算的复杂度，仍无法满足用户的实际需求。
发明内容
本发明所要解决的技术问题在于，提供一种无人机航拍图像实时拼接方法、无人机航拍图像实时拼接系统、计算机设备及计算机可读存储介质，可利用GPS信息实现无人机航拍图像的实时拼接，减少误差累积，降低计算的复杂度。
为了解决上述技术问题，本发明提供了一种无人机航拍图像实时拼接方法，包括：实时获取当前的航拍图像及当前的航拍图像的GPS信息；根据所述GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理；根据匹配结果对当前的航拍图像的相机参数进行标定；根据光束平差法优化航拍图像的相机参数，所述光束平差法的损失函数包括基于所述GPS信息的GPS约束项；根据优化后的相机参数对所述航拍图像进行映射处理；将映射后的航拍图像进行融合拼接处理。因此，本发明利用GPS信息，构造了全新的GPS约束项来约束参数优化过程，可解决在大规模图像拼接中出现的误差累积现象；同时，本发明通过将图像融合算法运用在无人机航拍拼接中，可在实现拼接的同时，避开了计算代价高的重建算法，降低计算的复杂度。
作为上述方案的改进，所述根据GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理的步骤包括：获取当前的航拍图像；根据当前的航拍图像的GPS信息从已拼接的航拍图像中筛选出至少一张候选的航拍图像；将当前的航拍图像分别与每一候选的航拍图像进行特征点提取及特征点匹配，以提取与当前的航拍图像匹配的航拍图像。因此，通过GPS信息筛选出距离该航拍图像最近的几幅航拍图像作为候选图像，可进一步提升特征点匹配的效率。
作为上述方案的改进，所述根据匹配结果对当前的航拍图像的相机参数进行标定的步骤包括：根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数；根据所述相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数，其中，若当前的航拍图像存在一个匹配的航拍图像，则当前的航拍图像对应一组基准相机参数，此时，所述基准相机参数为最终的基准相机参数，若当前的航拍图像存在至少两个匹配的航拍图像，则当前的航拍图像对应至少两组基准相机参数，此时，取所有基准相机参数的平均值作为最终的基准相机参数。从而实现对当前的航拍图像的相机参数进行精准标定，准确性高。
作为上述方案的改进，所述根据光束平差法优化航拍图像的相机参数的步骤包括：采用光束平差法优化当前的航拍图像和/或已拼接的航拍图像的相机参数，所述光束平差法优化的损失函数为：
Figure 547233DEST_PATH_IMAGE001
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。因此，本发明通过在损失函数中增加GPS约束项
Figure 121084DEST_PATH_IMAGE002
，通过约束项权重wgps、向量ti[1:2]、位置坐标Li实现对损失函数的有效约束，可解决在大规模图像拼接中出现的误差累积现象。
作为上述方案的改进，所述根据光束平差法优化航拍图像的相机参数的步骤包括：当已拼接的航拍图像的数量小于预设的基准图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；当已拼接的航拍图像的数量等于或大于所述基准图片数量时，采用光束平差法优化当前的航拍图像的相机参数；所述光束平差法优化的损失函数为：
Figure 473568DEST_PATH_IMAGE001
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。从而通过结合初始化状态及运行状态对相机参数进行分类优化，大大地提升了相机参数的优化精度。
作为上述方案的改进，所述根据光束平差法优化航拍图像的相机参数的步骤包括：当已拼接的航拍图像的数量小于预设的基准图片数量或大于预设的最大图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；当已拼接的航拍图像的数量等于或大于所述基准图片数量，并小于或等于预设的最大图片数量时，采用光束平差法优化当前的航拍图像的相机参数；所述光束平差法优化的损失函数为：
Figure 416116DEST_PATH_IMAGE001
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。本发明进一步考虑了最大图片数量，当拼接的航拍图像超过一定数量时，可以新开一个线程对已有的航拍图像重新进行一次拼接操作，对当前已有的所有航拍图像的相机参数进行优化，从而保证相机参数的优化精度，避免在大规模的图像拼接中容易出现误差累积，造成图像的扭曲。
作为上述方案的改进，所述根据优化后的相机参数对航拍图像进行映射处理的步骤包括：根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像；根据所述正向投影图像，计算所述航拍图像的边界区域；根据所述边界区域对所述正向投影图像进行反向投影，以生成反向投影图像，从而提取更为精准的航拍图像。
作为上述方案的改进，所述将映射后的航拍图像进行融合拼接处理的步骤包括：对映射后的航拍图像进行曝光补偿处理；根据所述曝光补偿后的航拍图像寻找拼接缝；根据拼接缝对所述航拍图像进行多频段融合处理。本发明将曝光补偿、寻找拼接缝及多频段融合等算法运用在无人机航拍拼接中，可以在实现拼接的同时，降低计算的复杂度。
相应地，本发明还提供了一种无人机航拍图像实时拼接系统，其特征在于，包括：获取模块，用于实时获取当前的航拍图像及当前的航拍图像的GPS信息；匹配模块，用于根据所述GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理；标定模块，用于根据匹配结果对当前的航拍图像的相机参数进行标定；优化模块，用于根据光束平差法优化航拍图像的相机参数，所述光束平差法的损失函数包括基于所述GPS信息的GPS约束项；映射模块，用于根据优化后的相机参数对所述航拍图像进行映射处理；拼接模块，用于将映射后的航拍图像进行融合拼接处理。可解决在大规模图像拼接中出现的误差累积现象，还可在实现拼接的同时，避开了计算代价高的重建算法，降低计算的复杂度。
作为上述方案的改进，所述标定模块包括：相对参数计算单元，用于根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数；基准参数计算单元，用于根据所述相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数，其中，若当前的航拍图像存在一个匹配的航拍图像，则当前的航拍图像对应一组基准相机参数，此时，所述基准相机参数为最终的基准相机参数，若当前的航拍图像存在至少两个匹配的航拍图像，则当前的航拍图像对应至少两组基准相机参数，此时，取所有基准相机参数的平均值作为最终的基准相机参数，从而实现对当前的航拍图像的相机参数进行精准标定，准确性高。
作为上述方案的改进，所述优化模块包括：优化单元，用于采用光束平差法优化当前的航拍图像和/或已拼接的航拍图像的相机参数，所述光束平差法优化的损失函数为：
Figure 791734DEST_PATH_IMAGE001
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。可解决在大规模图像拼接中出现的误差累积现象。
作为上述方案的改进，所述映射模块包括：正向投影单元，用于根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像；区域计算单元，用于根据所述正向投影图像，计算所述航拍图像的边界区域；反向投影单元，用于根据所述边界区域对所述正向投影图像进行反向投影，以生成反向投影图像，从而提取更为精准的航拍图像。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述无人机航拍图像实时拼接方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述无人机航拍图像实时拼接方法的步骤。
实施本发明，具有如下有益效果：
本发明利用GPS信息，构造了全新的GPS约束项来约束参数优化过程，可解决在大规模图像拼接中出现的误差累积现象；具体地，所述GPS约束项通过约束项权重wgps、向量ti[1:2]、位置坐标Li实现对损失函数的有效约束，从多角度进行限定，更为全面。
同时，本发明通过将图像融合算法（如，曝光补偿、寻找拼接缝及多频段融合等）运用在无人机航拍拼接中，可在实现拼接的同时，避开了计算代价高的重建算法，降低计算的复杂度。
进一步，本发明结合初始化状态及运行状态对相机参数进行分类优化，大大地提升了相机参数的优化精度；同时，本发明还考虑最大图片数量，避免在大规模的图像拼接中容易出现误差累积，造成图像的扭曲。
附图说明
图1是本发明无人机航拍图像实时拼接方法的第一实施例流程图；
图2是本发明无人机航拍图像实时拼接方法的第二实施例流程图；
图3是本发明无人机航拍图像实时拼接方法的第三实施例流程图；
图4是本发明无人机航拍图像实时拼接方法的第四实施例流程图；
图5是本发明无人机航拍图像实时拼接方法的第一实施例结构示意图；
图6是本发明无人机航拍图像实时拼接方法的第二实施例结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
参见图1，图1显示了本发明无人机航拍图像实时拼接方法的第一实施例流程图，其包括：
S101，实时获取当前的航拍图像及当前的航拍图像的GPS信息。
无人机航拍过程中，实时获取航拍图像及航拍图像对应的GPS信息，并将所述航拍图像及对应的GPS信息发送至处理设备进行处理。
S102，根据GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理。
本发明根据GPS信息及特征提取技术，在已拼接的航拍图像提取出与当前的航拍图像相匹配的航拍图像，进一步提升了匹配的准确度。
S103，根据匹配结果对当前的航拍图像的相机参数进行标定。
需要说明的是，相机参数包括旋转参数及位移参数，通过当前的航拍图像及匹配的航拍图像的相关信息的情况下，可精准地对当前的航拍图像的相机参数进行标定，操作方便。
S104，根据光束平差法优化航拍图像的相机参数，光束平差法的损失函数包括基于GPS信息的GPS约束项。
与现有技术不同的是，本发明的损失函数中引入了GPS约束项，通过GPS信息实现了损失函数的优化，从而有效地解决了大规模图像拼接中的误差累积现象。
S105，根据优化后的相机参数对航拍图像进行映射处理。
S106，将映射后的航拍图像进行融合拼接处理。
因此，本发明利用GPS信息，构造了全新的GPS约束项来约束参数优化过程，可解决在大规模图像拼接中出现的误差累积现象；同时，本发明通过将图像融合算法运用在无人机航拍拼接中，可在实现拼接的同时，避开了计算代价高的重建算法，降低计算的复杂度。
参见图2，图2显示了本发明无人机航拍图像实时拼接方法的第二实施例流程图，其包括：
S201，实时获取当前的航拍图像及当前的航拍图像的GPS信息。
S202，获取当前的航拍图像。
S203，根据当前的航拍图像的GPS信息从已拼接的航拍图像中筛选出至少一张候选的航拍图像。
候选的航拍图像可以为一张或多张。对于新输入的一张航拍图像，可通过GPS信息筛选出距离该航拍图像最近的几幅航拍图像作为候选图像。
S204，将当前的航拍图像分别与每一候选的航拍图像进行特征点提取及特征点匹配，以提取与当前的航拍图像匹配的航拍图像。
具体地，将当前的航拍图像与候选的航拍图像进行特征点提取及特征点匹配以提取匹配的航拍图像的步骤包括：
（1）提取当前的航拍图像与候选的航拍图像的特征点；
提取当前的航拍图像与候选的航拍图像的特征点时，可利用KD-Tree算法加速特征点的提取过程。
（2）根据RANSAC算法从特征点中筛选出内点及外点；
（3）根据贝叶斯概率模型、内点及外点，计算当前的航拍图像与候选的航拍图像间的重叠区域概率；
（4）将重叠区域概率与预设的概率阈值进行比对，判断重叠区域概率是否大于概率阈值，判断为是时，则候选的航拍图像为与当前的航拍图像匹配的航拍图像，判断为否是，则候选的航拍图像不与当前的航拍图像匹配。
需要说明的是，本发明可通过贝叶斯概率模型，计算当前的航拍图像与候选的航拍图像间有（存在）重叠区域的概率；当计算出的概率大于概率阈值时，则候选的航拍图像与当前的航拍图像为一对匹配图像；否则，候选的航拍图像与当前的航拍图像间没有重叠区域。
因此，通过步骤S202-204可将当前的航拍图像与已拼接的航拍图像进行匹配处理，从而提取出匹配的航拍图像。
S205，根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数。
经过步骤S204的匹配处理，可以获得当前的航拍图像In与匹配的航拍图像Ii之间的内点，然后利用对极几何原理，即可计算出两个相机之间的相对相机参数；其中，所述相对相机参数包括相对旋转Rni及相对位移tni。
S206，根据相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数。
具体地，若当前的航拍图像存在一个匹配的航拍图像，则当前的航拍图像对应一组基准相机参数，此时，基准相机参数为最终的基准相机参数；若当前的航拍图像存在至少两个匹配的航拍图像，则当前的航拍图像对应至少两组基准相机参数，此时，取所有基准相机参数的平均值作为最终的基准相机参数。
需要说明的是，基准相机参数包括基准位移参数及基准旋转参数。利用匹配的航拍图像的基准旋转参数Ri、匹配的航拍图像的基准位移参数ti、相对旋转Rni及相对位移tni，可以计算出当前的航拍图像的基准旋转参数Rn及当前的航拍图像的基准位移参数tn。
具体地，取所有基准相机参数的平均值作为最终的基准相机参数的步骤包括：
（1）计算所有基准位移参数的平均值，以生成最终的基准位移参数；
（2）将所有基准旋转参数分别转换为四元数，分别计算所有四元数的平均值，将四元数的平均值转换为最终的基准旋转参数。
也就是说，如果有多个匹配的航拍图像，需分别求出多组基准旋转参数及基准位移参数，其中，对于旋转可采用四元数进行表示后再进行平均处理，对于位移可以直接进行平均处理。
因此，通过步骤S205-206可对当前的航拍图像的相机参数进行精准标定，准确性高。
S207，采用光束平差法优化当前的航拍图像和/或已拼接的航拍图像的相机参数。
具体地，光束平差法优化的损失函数为：
Figure 212351DEST_PATH_IMAGE001
其中：
i,j为航拍图像编号；
k为航拍图像i与航拍图像j的第k对匹配点；
Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标；
wgps为GPS约束项权重；
ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量；
Li为第i个相机的GPS转化的位置坐标。
进一步，Pijk的计算过程如下：
公式（1）：
Figure DEST_PATH_IMAGE003
公式（2）：
Figure 871871DEST_PATH_IMAGE004
公式（3）：
Figure DEST_PATH_IMAGE005
其中：
Pijk为i与j第k个匹配点对在i中的像素坐标；
P’ijk为空间点Pijk在i相机坐标系下的齐次坐标；
z’ijk为Pijk在i相机坐标系下的深度；
zijk为空间点Pijk的深度。
相应地，Pijk与Pjik的计算过程相同，在此不再重复描述。
因此，步骤S207采用累加式SFM（Structure from Motion，运动恢复结构）实现航拍图像的相机参数的优化，准确性高。
S208，根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像。
需要说明的是，根据优化后的相机参数，可对航拍图像中的每个像素(u,v,1 )T，利用步骤S207中的公式（1）、公式（2）、公式（3）进行正向投影。一般情况下，将航拍图像映射到z=1的平面，即得到公式（3）中的(x,y,1)T。
S209，根据正向投影图像，计算航拍图像的边界区域。
对航拍图像的边界进行正向投影后，可以计算出每幅航拍图像的区域以及结果图像的区域。
S210，根据边界区域对正向投影图像进行反向投影，以生成反向投影图像。
通过此区域，可以确定最终图像的大小，以此图像来进行反向投影，经过插值等操作，则可以得到反向投影图像。其中，通过反向投影公式（1）、公式（2）、公式（3）的逆过程，即可在已知(x,y,1)T的情况下，求取(u,v,1)T。
公式（4）：
Figure 923004DEST_PATH_IMAGE006
公式（5）：
Figure 848234DEST_PATH_IMAGE007
也就是说，(x,y)处的像素值等于图像中(u,v)的像素值。
因此，通过步骤S208-210可根据优化后的相机参数对航拍图像进行映射处理。
S211，对映射后的航拍图像进行曝光补偿处理。
S212，根据曝光补偿后的航拍图像寻找拼接缝。
S213，根据拼接缝对航拍图像进行多频段融合处理。
需要说明的是，对每幅航拍图像进行反向投影后，需要进行曝光补偿、寻找拼接缝、多频段融合等步骤，以提高图像拼接的准确度。
因此，通过步骤S211-213可将映射后的航拍图像进行融合拼接处理。
综上，本发明通过在损失函数中增加GPS约束项
Figure 760958DEST_PATH_IMAGE008
，通过约束项权重wgps、向量ti[1:2]、位置坐标Li实现对损失函数的有效约束，可解决在大规模图像拼接中出现的误差累积现象；同时，本发明将曝光补偿、寻找拼接缝及多频段融合等算法运用在无人机航拍拼接中，可以在实现拼接的同时，降低计算的复杂度。
参见图3，图3显示了本发明无人机航拍图像实时拼接方法的第三实施例流程图，其包括：
S301，实时获取当前的航拍图像及当前的航拍图像的GPS信息。
S302，获取当前的航拍图像。
S303，根据当前的航拍图像的GPS信息从已拼接的航拍图像中筛选出至少一张候选的航拍图像。
S304，将当前的航拍图像分别与每一候选的航拍图像进行特征点提取及特征点匹配，以提取与当前的航拍图像匹配的航拍图像。
S305，根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数。
S306，根据相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数。
S307，当已拼接的航拍图像的数量小于预设的基准图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；当已拼接的航拍图像的数量等于或大于基准图片数量时，采用光束平差法优化当前的航拍图像的相机参数。
需要说明的是，本发明存在初始化状态及运行状态。具体地：
初始化状态：预先设定一个数字ninit作为初始化的基准图片数量（即预设的基准图片数量），当已拼接的航拍图像的数量在ninit数目内时，本发明不对相机参数进行固定，即对所有相机参数进行优化。优选地，所述预设的基准图片数量ninit=10。
运行状态：假如当前已经处理了ncomp（ncomp≥ninit）张航拍图像，对于加入的一张航拍图像，用ncomp张中的航拍图像来对新加入的航拍图像进行标定，然后固定ncomp个航拍图像的相机参数，对加入该航拍图像进行光束平差法，寻找该相机最优的相机参数。
因此，步骤S307在初始化状态与运行状态下的运行情况存在区别。如果是初始化状态，则所有航拍图像的相机参数；如果是运行状态，则固定已拼接的航拍图像，只优化新输入的航拍图像。
相应地，在准确的情况下，一对匹配点所对应的物体应该处于世界坐标系下的同一个位置，因此在初始状态下光束平差法优化的损失函数为：
Figure 822455DEST_PATH_IMAGE001
其中：
i,j为航拍图像编号；
k为航拍图像i与航拍图像j的第k对匹配点；
Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标；
wgps为GPS约束项权重；
ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量；
Li为第i个相机的GPS转化的位置坐标。
需要说明的是，计算Li时，先将第i个相机的GPS转换为墨卡托投影坐标；同时，用ceres库，优化损失函数，即可求得优化后得到的相机参数。另外，在运行状态时，可同样优化损失函数，只不过损失函数中的i为新添加的那一张航拍图片。
S308，根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像。
S309，根据正向投影图像，计算航拍图像的边界区域。
S310，根据边界区域对正向投影图像进行反向投影，以生成反向投影图像。
S311，对映射后的航拍图像进行曝光补偿处理。
S312，根据曝光补偿后的航拍图像寻找拼接缝。
S313，根据拼接缝对航拍图像进行多频段融合处理。
需要说明的是，在初始状态下，每添加一张航拍图像，需要对所有航拍图像执行步骤S211-213处理；在运行状态下，只需要将新加入的航拍图像融合入之前的航拍图像。
因此，本发明结合初始化状态及运行状态对相机参数进行分类优化，大大地提升了相机参数的优化精度。
参见图4，图4显示了本发明无人机航拍图像实时拼接方法的第四实施例流程图，其包括：
S401，实时获取当前的航拍图像及当前的航拍图像的GPS信息。
S402，获取当前的航拍图像。
S403，根据当前的航拍图像的GPS信息从已拼接的航拍图像中筛选出至少一张候选的航拍图像。
S404，将当前的航拍图像分别与每一候选的航拍图像进行特征点提取及特征点匹配，以提取与当前的航拍图像匹配的航拍图像。
S405，根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数。
S406，根据相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数。
S407，当已拼接的航拍图像的数量小于预设的基准图片数量或大于预设的最大图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；当已拼接的航拍图像的数量等于或大于基准图片数量，并小于或等于预设的最大图片数量时，采用光束平差法优化当前的航拍图像的相机参数。
相应地，光束平差法优化的损失函数为：
Figure 106805DEST_PATH_IMAGE001
其中；
i,j为航拍图像编号；
k为航拍图像i与航拍图像j的第k对匹配点；
Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标；
wgps为GPS约束项权重；
ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量；
Li为第i个相机的GPS转化的位置坐标。
与图3所示的第三实例例子不同的是，本实施例中还需考虑最大图片数量。需要说明的是，当拼接的航拍图像超过一定数量时，可能会出现扭曲等情况，这是由于误差累积造成的，此时，可以新开一个线程对已有的航拍图像重新进行一次拼接操作，对当前已有的所有航拍图像的相机参数进行优化。
S408，根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像。
S409，根据正向投影图像，计算航拍图像的边界区域。
S410，根据边界区域对正向投影图像进行反向投影，以生成反向投影图像。
S411，对映射后的航拍图像进行曝光补偿处理。
S412，根据曝光补偿后的航拍图像寻找拼接缝。
S413，根据拼接缝对航拍图像进行多频段融合处理。
因此，通过本发明可进一步保证相机参数的优化精度，避免在大规模的图像拼接中容易出现误差累积，造成图像的扭曲。
参见图5，图5显示了本发明无人机航拍图像实时拼接系统100的第一实施例，其包括获取模块1、匹配模块2、标定模块3、优化模块4、映射模块5及拼接模块6，具体地：
获取模块1用于实时获取当前的航拍图像及当前的航拍图像的GPS信息。无人机航拍过程中，实时获取航拍图像及航拍图像对应的GPS信息，并将所述航拍图像及对应的GPS信息发送至获取模块1。
匹配模块2用于根据所述GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理。
标定模块3用于根据匹配结果对当前的航拍图像的相机参数进行标定。需要说明的是，相机参数包括旋转参数及位移参数，通过当前的航拍图像及匹配的航拍图像的相关信息的情况下，可精准地对当前的航拍图像的相机参数进行标定，操作方便。
优化模块4用于根据光束平差法优化航拍图像的相机参数，所述光束平差法的损失函数包括基于所述GPS信息的GPS约束项。与现有技术不同的是，本发明的损失函数中引入了GPS约束项，通过GPS信息实现了损失函数的优化，从而有效地解决了大规模图像拼接中的误差累积现象。
映射模块5用于根据优化后的相机参数对所述航拍图像进行映射处理。
拼接模块6用于将映射后的航拍图像进行融合拼接处理。
进一步，匹配模块2包括筛选单元及提取匹配单元。其中，筛选单元用于根据当前的航拍图像的GPS信息从已拼接的航拍图像中筛选出至少一张候选的航拍图像。其中，提取匹配单元用于将当前的航拍图像分别与每一候选的航拍图像进行特征点提取及特征点匹配，以提取与当前的航拍图像匹配的航拍图像。
具体地，提取匹配单元采样以下方式实现匹配：（1）通过提取当前的航拍图像与候选的航拍图像的特征点；（2）根据RANSAC算法从特征点中筛选出内点及外点；（3）根据贝叶斯概率模型、内点及外点，计算当前的航拍图像与候选的航拍图像间的重叠区域概率；（4）将重叠区域概率与预设的概率阈值进行比对，判断重叠区域概率是否大于概率阈值，判断为是时，则候选的航拍图像为与当前的航拍图像匹配的航拍图像，判断为否是，则候选的航拍图像不与当前的航拍图像匹配
相应地，拼接模块6包括补偿单元、拼接单元及融合单元。其中，补偿单元用于对映射后的航拍图像进行曝光补偿处理；拼接单元用于根据曝光补偿后的航拍图像寻找拼接缝；融合单元用于根据拼接缝对航拍图像进行多频段融合处理。
因此，本发明利用GPS信息，构造了全新的GPS约束项来约束参数优化过程，可解决在大规模图像拼接中出现的误差累积现象；同时，本发明通过将图像融合算法运用在无人机航拍拼接中，可在实现拼接的同时，避开了计算代价高的重建算法，降低计算的复杂度。
参见图6，图6显示了本发明无人机航拍图像实时拼接系统100的第二实施例，与图5所示的第一实施例不同的是，本实施例中所述标定模块3包括相对参数计算单元31及基准参数计算单元32，具体地：
相对参数计算单元31，用于根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数。
基准参数计算单元32，用于根据所述相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数，其中，若当前的航拍图像存在一个匹配的航拍图像，则当前的航拍图像对应一组基准相机参数，此时，所述基准相机参数为最终的基准相机参数，若当前的航拍图像存在至少两个匹配的航拍图像，则当前的航拍图像对应至少两组基准相机参数，此时，取所有基准相机参数的平均值作为最终的基准相机参数。
需要说明的是，可通过计算所有基准位移参数的平均值，以生成最终的基准位移参数；还可将所有基准旋转参数分别转换为四元数，分别计算所有四元数的平均值，再将四元数的平均值转换为最终的基准旋转参数。
进一步，所述优化模块4包括优化单元41，用于采用光束平差法优化当前的航拍图像和/或已拼接的航拍图像的相机参数，所述光束平差法优化的损失函数为：
Figure 457015DEST_PATH_IMAGE009
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。
在考虑初始化状态及运行状态的情况下，当已拼接的航拍图像的数量小于预设的基准图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；当已拼接的航拍图像的数量等于或大于基准图片数量时，采用光束平差法优化当前的航拍图像的相机参数。另外，在考虑最大图片数量的情况下，当已拼接的航拍图像的数量小于预设的基准图片数量或大于预设的最大图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；当已拼接的航拍图像的数量等于或大于基准图片数量，并小于或等于预设的最大图片数量时，采用光束平差法优化当前的航拍图像的相机参数。
因此，通过优化模块4可避免在大规模的图像拼接中容易出现误差累积，造成图像的扭曲。
同时，所述映射模块5包括正向投影单元51、区域计算单元52及反向投影单元53，具体地：
正向投影单元51，用于根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像。
区域计算单元52，用于根据所述正向投影图像，计算所述航拍图像的边界区域。需要说明的是，对航拍图像的边界进行正向投影后，可以计算出每幅航拍图像的区域以及结果图像的区域。
反向投影单元53，用于根据所述边界区域对所述正向投影图像进行反向投影，以生成反向投影图像。通过此区域，可以确定最终图像的大小，以此图像来进行反向投影，经过插值等操作，则可以得到反向投影图像。
因此，本发明通过在损失函数中增加GPS约束项
Figure 485014DEST_PATH_IMAGE010
，通过约束项权重wgps、向量ti[1:2]、位置坐标Li实现对损失函数的有效约束，可解决在大规模图像拼接中出现的误差累积现象。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述无人机航拍图像实时拼接方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述无人机航拍图像实时拼接方法的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种无人机航拍图像实时拼接方法，其特征在于，包括：
实时获取当前的航拍图像及当前的航拍图像的GPS信息；
根据所述GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理；
根据匹配结果对当前的航拍图像的相机参数进行标定；
根据光束平差法优化航拍图像的相机参数，所述光束平差法的损失函数包括基于所述GPS信息的GPS约束项；
根据优化后的相机参数对所述航拍图像进行映射处理；
将映射后的航拍图像进行融合拼接处理；
所述根据匹配结果对当前的航拍图像的相机参数进行标定的步骤包括：
根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数；
根据所述相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数，其中，
若当前的航拍图像存在一个匹配的航拍图像，则当前的航拍图像对应一组基准相机参数，此时，所述基准相机参数为最终的基准相机参数，
若当前的航拍图像存在至少两个匹配的航拍图像，则当前的航拍图像对应至少两组基准相机参数，此时，取所有基准相机参数的平均值作为最终的基准相机参数；
所述根据光束平差法优化航拍图像的相机参数的步骤包括：采用光束平差法优化当前的航拍图像和/或已拼接的航拍图像的相机参数，所述光束平差法优化的损失函数为：
Figure 641622DEST_PATH_IMAGE001
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。
2.如权利要求1所述的无人机航拍图像实时拼接方法，其特征在于，根据所述GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理的步骤包括：
获取当前的航拍图像；
根据当前的航拍图像的GPS信息从已拼接的航拍图像中筛选出至少一张候选的航拍图像；
将当前的航拍图像分别与每一候选的航拍图像进行特征点提取及特征点匹配，以提取与当前的航拍图像匹配的航拍图像。
3.如权利要求1所述的无人机航拍图像实时拼接方法，其特征在于，所述根据光束平差法优化航拍图像的相机参数的步骤包括：
当已拼接的航拍图像的数量小于预设的基准图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；
当已拼接的航拍图像的数量等于或大于所述基准图片数量时，采用光束平差法优化当前的航拍图像的相机参数；
所述光束平差法优化的损失函数为：
Figure 115460DEST_PATH_IMAGE002
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。
4.如权利要求1所述的无人机航拍图像实时拼接方法，其特征在于，所述根据光束平差法优化航拍图像的相机参数的步骤包括：
当已拼接的航拍图像的数量小于预设的基准图片数量或大于预设的最大图片数量时，采用光束平差法优化当前的航拍图像及已拼接的航拍图像的相机参数；
当已拼接的航拍图像的数量等于或大于所述基准图片数量，并小于或等于预设的最大图片数量时，采用光束平差法优化当前的航拍图像的相机参数；
所述光束平差法优化的损失函数为：
Figure 929832DEST_PATH_IMAGE003
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标。
5.如权利要求1所述的无人机航拍图像实时拼接方法，其特征在于，所述根据优化后的相机参数对航拍图像进行映射处理的步骤包括：
根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像；
根据所述正向投影图像，计算所述航拍图像的边界区域；
根据所述边界区域对所述正向投影图像进行反向投影，以生成反向投影图像。
6.如权利要求1所述的无人机航拍图像实时拼接方法，其特征在于，所述将映射后的航拍图像进行融合拼接处理的步骤包括：
对映射后的航拍图像进行曝光补偿处理；
根据所述曝光补偿后的航拍图像寻找拼接缝；
根据拼接缝对所述航拍图像进行多频段融合处理。
7.一种无人机航拍图像实时拼接系统，其特征在于，包括：
获取模块，用于实时获取当前的航拍图像及当前的航拍图像的GPS信息；
匹配模块，用于根据所述GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理；
标定模块，用于根据匹配结果对当前的航拍图像的相机参数进行标定，所述标定模块包括：
相对参数计算单元，用于根据当前的航拍图像与匹配的航拍图像之间的内点及对极几何原理，计算当前的航拍图像与匹配的航拍图像之间的相对相机参数；
基准参数计算单元，用于根据所述相对相机参数、匹配的航拍图像的基准相机参数，计算当前的航拍图像的基准相机参数，其中，若当前的航拍图像存在一个匹配的航拍图像，则当前的航拍图像对应一组基准相机参数，此时，所述基准相机参数为最终的基准相机参数，若当前的航拍图像存在至少两个匹配的航拍图像，则当前的航拍图像对应至少两组基准相机参数，此时，取所有基准相机参数的平均值作为最终的基准相机参数；
优化模块，用于根据光束平差法优化航拍图像的相机参数，所述光束平差法的损失函数包括基于所述GPS信息的GPS约束项，所述优化模块包括：
优化单元，用于采用光束平差法优化当前的航拍图像和/或已拼接的航拍图像的相机参数，所述光束平差法优化的损失函数为：
Figure 549032DEST_PATH_IMAGE004
其中，i,j为航拍图像编号，k为航拍图像i与航拍图像j的第k对匹配点，Pijk,Pjik是用相机参数对像素坐标进行逆变换得到的世界坐标系下的齐次坐标，wgps为GPS约束项权重，ti[1:2]为第i个相机的位移的X坐标及Y坐标构成的向量，Li为第i个相机的GPS转化的位置坐标；
映射模块，用于根据优化后的相机参数对所述航拍图像进行映射处理；
拼接模块，用于将映射后的航拍图像进行融合拼接处理。
8.如权利要求7所述的无人机航拍图像实时拼接系统，其特征在于，所述映射模块包括：
正向投影单元，用于根据优化后的相机参数对相应的航拍图像中的每个像素进行正向投影，以生成正向投影图像；
区域计算单元，用于根据所述正向投影图像，计算所述航拍图像的边界区域；
反向投影单元，用于根据所述边界区域对所述正向投影图像进行反向投影，以生成反向投影图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111280928.6A 2021-11-01 2021-11-01 无人机航拍图像实时拼接方法、系统、设备及存储介质 Active CN113706391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111280928.6A CN113706391B (zh) 2021-11-01 2021-11-01 无人机航拍图像实时拼接方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111280928.6A CN113706391B (zh) 2021-11-01 2021-11-01 无人机航拍图像实时拼接方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113706391A CN113706391A (zh) 2021-11-26
CN113706391B true CN113706391B (zh) 2022-01-18

Family

ID=78647627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111280928.6A Active CN113706391B (zh) 2021-11-01 2021-11-01 无人机航拍图像实时拼接方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113706391B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965535B (zh) * 2023-03-14 2023-06-30 海豚乐智科技(成都)有限责任公司 基于特征矫正gps信息的航拍图实时拼接方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3004565A1 (fr) * 2013-04-12 2014-10-17 Kolor Fusion de plusieurs flux video
CN111161154A (zh) * 2019-12-31 2020-05-15 航天图景（北京）科技有限公司 一种无人机视频实时快速正射拼接系统及其拼接方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法
US10896348B2 (en) * 2019-01-29 2021-01-19 Intel Corporation End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images
CN111862225A (zh) * 2019-04-30 2020-10-30 罗伯特·博世有限公司 图像标定方法、标定系统以及具有该系统的车辆
CN111507901B (zh) * 2020-04-15 2023-08-15 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN112002016B (zh) * 2020-08-28 2024-01-26 中国科学院自动化研究所 基于双目视觉的连续曲面重建方法、系统和装置
CN112085844B (zh) * 2020-09-11 2021-03-05 中国人民解放军军事科学院国防科技创新研究院 面向野外未知环境的无人机影像快速三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3004565A1 (fr) * 2013-04-12 2014-10-17 Kolor Fusion de plusieurs flux video
CN111161154A (zh) * 2019-12-31 2020-05-15 航天图景（北京）科技有限公司 一种无人机视频实时快速正射拼接系统及其拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
航拍序列图像自动拼接技术的研究;余清洲;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20160515(第05期);I138-1091 *

Also Published As

Publication number Publication date
CN113706391A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
WO2019076304A1 (zh) 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN110799921A (zh) 拍摄方法、装置和无人机
CN113436270B (zh) 传感器标定方法及装置、电子设备和存储介质
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和系统
US20220270323A1 (en) Computer Vision Systems and Methods for Supplying Missing Point Data in Point Clouds Derived from Stereoscopic Image Pairs
WO2021195939A1 (zh) 一种双目拍摄装置的外参的标定方法、可移动平台及系统
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
US10154241B2 (en) Depth map based perspective correction in digital photos
CN113706391B (zh) 无人机航拍图像实时拼接方法、系统、设备及存储介质
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN106204507B (zh) 一种无人机图像拼接方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN114616586A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
CN114445583A (zh) 数据处理方法、装置、电子设备及存储介质
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN114638898A (zh) 一种小型飞行目标检测方法和装置
CN109089100B (zh) 一种双目立体视频的合成方法
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
WO2023098737A1 (zh) 三维重建方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant