CN112767245B - 基于多无人机实时视频图像的地图拼接构建的系统及方法 - Google Patents

基于多无人机实时视频图像的地图拼接构建的系统及方法 Download PDF

Info

Publication number
CN112767245B
CN112767245B CN202110004886.7A CN202110004886A CN112767245B CN 112767245 B CN112767245 B CN 112767245B CN 202110004886 A CN202110004886 A CN 202110004886A CN 112767245 B CN112767245 B CN 112767245B
Authority
CN
China
Prior art keywords
image
transformation
map
orthographic
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110004886.7A
Other languages
English (en)
Other versions
CN112767245A (zh
Inventor
尹中义
姜梁
高伟
张文娇
靳子璇
姜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronic Technology Research Institute Of China Aerospace
Aerospace Times Feihong Technology Co ltd
Original Assignee
Electronic Technology Research Institute Of China Aerospace
Aerospace Times Feihong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Technology Research Institute Of China Aerospace, Aerospace Times Feihong Technology Co ltd filed Critical Electronic Technology Research Institute Of China Aerospace
Priority to CN202110004886.7A priority Critical patent/CN112767245B/zh
Publication of CN112767245A publication Critical patent/CN112767245A/zh
Application granted granted Critical
Publication of CN112767245B publication Critical patent/CN112767245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于多无人机实时视频图像的地图拼接构建系统及方法，包括以下步骤：S1：接收多个无人机下传的多路视频图像；S2：计算视频图像帧中若干点位的地理目标定位坐标；S3：实时计算图像至正射影像的单应性变换矩阵；S4：对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；S5：加载单幅正射瓦片，对重叠区域的单幅正射瓦片进行特征点提取、匹配进而进行精配准；S6：对精配准后的单幅正射瓦片进行合并，获取实时场景拼接地图。本发明具有高时效性，可以针对多无人机视频图像进行实时的地图拼接构建，同时保持良好的地图构建精度。

Description

基于多无人机实时视频图像的地图拼接构建的系统及方法
【技术领域】
本发明涉及雷达设计技术领域，尤其涉及一种基于多无人机实时视频图像的地图拼接构建的系统及方法。
【背景技术】
多无人机视频图像地图构建技术，需要着重解决三个问题：首先，多无人机视频图像由于无人机数量的增长造成单个无人机侦察数据下传时带宽受限，从而数据比特率较低，为计算带来难度；其次，多无人机视频图像通常存在不连通性，图像间重叠率低或无重叠是常态，为图像匹配带来了困难；最后，多无人机视频图像地图构建数据量大，对实时性要求较高，这对如何高效的整合多无人机视频图像带来了挑战。
无人机视频图像地图拼接技术，目前来看有两种技术手段，一种是基于图像特征点匹配的图像拼接来构建地图，另一种是基于SFM(Structure From Motion)技术构建场景结构来指导图像的地图映射。
基于图像特征点匹配的拼接构建地图方法，存在累计误差造成的漂移问题，同时在应对多机视频图像时，侦察区域的不连通性使得图像间无特征点，可能造成算法匹配失败；基于SFM技术的图像构建地图方式，在图像质量较高时往往能够获取最佳的地图构建效果，但缺陷同样很明显：SFM技术本身计算实时性较差，同时多无人机侦察图像又受限于数据带宽，图像实时下传质量往往无法满足SFM结构计算，从而造成计算失败。
因此，有必要研究一种基于多无人机实时视频图像的地图拼接构建的系统及方法来应对现有技术的不足，以解决或减轻上述一个或多个问题。
【发明内容】
有鉴于此，针对多无人机视频图像地图拼接构建存在的特点和难点，本发明提供了一种基于多无人机实时视频图像的地图拼接构建的系统及方法，具有高时效性，能够实时构建同时不存在漂移误差的多无人机视频图像地图拼，该方法融合了图像地理目标定位技术、单应性矩阵图像变换、特征点匹配精配准等计算方法，从而可以针对多无人机视频图像进行实时的地图拼接构建，同时保持良好的地图构建精度。
一方面，本发明提供一种基于多无人机实时视频图像的地图拼接构建方法，所述地图拼接构建方法包括以下步骤：
S1：接收多个无人机下传的多路视频图像；
S2：计算视频图像帧中若干点位的地理目标定位坐标；
S3：实时计算图像至正射影像的单应性变换矩阵；
S4：对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；
S5：加载单幅正射瓦片，对重叠区域的单幅正射瓦片进行特征点提取、匹配进而进行精配准；
S6：对精配准后的单幅正射瓦片进行合并，获取实时场景拼接地图。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2具体为通过融合IMU、卫星定位、载荷内参数和载荷外参数进行地理目标定位坐标计算。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4具体为：通过异构加速变换，完成图像像素空间至地图正射图像的变换，获取图像单幅正射瓦片数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中匹配过程为根据瓦片数据的自身定位参数进行粗略瓦片合并。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中精配准为对存在对齐误差的重叠邻域瓦片进行精配准调整，通过对特征点变换矩阵进行指导变换，获取空间地理坐标系下的位置变换，从而得到对应的空间地理坐标系的精配准变换矩阵，完成瓦片的精配准矩阵变换。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中具体为获取图像上点位地理坐标的基础后，构建地理坐标定位参数至视频图像的单应性矩阵映射关系，对图像进行逐像素的变换操作。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中从无人机中接收信息的方法包括但不限于4G通信、5G通信和卫星通信。
如上所述的方面和任一可能的实现方式，进一步提供一种基于多无人机实时视频图像的地图拼接构建系统，所述地图拼接构建系统包括：
信息接收单元，用于接收多个无人机下传的多路视频图像；
坐标计算单元，用于计算视频图像帧中若干点位的地理目标定位坐标；
矩阵变换单元，根据坐标计算单元的结果实时计算图像至正射影像的单应性变换矩阵；
单幅正射瓦片获取单元，对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；
特征点提取单元，加载单幅正射瓦片获取单元中输出的单幅瓦片，对重叠区域的单幅瓦片进行特征点提取；
精准匹配单元，根据特征点提取单元提取的结果进行匹配和精配准；
地图拼接单元，对精配准后的单幅瓦片进行合并，获取实时场景拼接地图。
如上所述的方面和任一可能的实现方式，进一步提供一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行任一项所述的地图拼接构建方法的步骤。
如上所述的方面和任一可能的实现方式，进一步提供一种地图构建装置，包括存储器、处理器和显示器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述显示器显示处理器的运行结果，所述处理器运行所述计算机程序时执行任一项所述的地图拼接构建方法的步骤。
与现有技术相比，本发明可以获得包括以下技术效果：
(1)初始的瓦片地理位置参数计算依赖于飞行器平台IMU、卫星定位、图像载荷内外参数，鲁棒性更高，避免了基于图像特征点累计误差漂移问题和不连通带来的匹配失败问题，单应性变换矩阵解算的成功率较高；
(2)受限于带宽，多无人机多路视频图像难以同时下传，多采用单路视频实时下传或多路视频降帧频下传的方式进行；
(3)本发明能够适应低帧频视频图像数据，相比基于SFM三角化投影地图构建技术，速度得到极大的提高，同时避免了SFM技术低帧频图像数据计算成功率不高的问题。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一个实施例提供的多无人机视频拼接基本计算流程图；
图2是本发明一个实施例提供的地理坐标定位坐标与图像坐标系的对应和单应性矩阵变换关系图；
图3是本发明一个实施例提供的瓦片数据合并过程中的重叠区域特征精确配准和变换图；
图4是本发明一个实施例提供的飞行数据测试数据集图；
图5是本发明一个实施例提供的一大场景的图像拼接构建地图结果(左图)与卫星影像地图(右图)比对。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
本发明提供一种基于多无人机实时视频图像的地图拼接构建方法，所述地图拼接构建方法包括以下步骤：
S1：接收多个无人机下传的多路视频图像；
S2：计算视频图像帧中若干点位的地理目标定位坐标；
S3：实时计算图像至正射影像的单应性变换矩阵；
S4：对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；
S5：加载单幅正射瓦片，对重叠区域的单幅正射瓦片进行特征点提取、匹配进而进行精配准；
S6：对精配准后的单幅正射瓦片进行合并，获取实时场景拼接地图。
所述S2具体为通过融合IMU、卫星定位、载荷内参数和载荷外参数进行地理目标定位坐标计算。
所述S4具体为：通过异构加速变换，完成图像像素空间至地图正射图像的变换，获取图像单幅正射瓦片数据。
所述S5中匹配过程为根据瓦片数据的自身定位参数进行粗略瓦片合并。
所述S5中精配准为对存在对齐误差的重叠邻域瓦片进行精配准调整，通过对特征点变换矩阵进行指导变换，获取空间地理坐标系下的位置变换，从而得到对应的空间地理坐标系的精配准变换矩阵，完成瓦片的精配准矩阵变换。
所述S3中具体为获取图像上点位地理坐标的基础后，构建地理坐标定位参数至视频图像的单应性矩阵映射关系，对图像进行逐像素的变换操作。
所述S1中从无人机中接收信息的方法包括但不限于4G通信、5G通信和卫星通信。
一种基于多无人机实时视频图像的地图拼接构建系统，所述地图拼接构建系统包括：
信息接收单元，用于接收多个无人机下传的多路视频图像；
坐标计算单元，用于计算视频图像帧中若干点位的地理目标定位坐标；
矩阵变换单元，根据坐标计算单元的结果实时计算图像至正射影像的单应性变换矩阵；
单幅正射瓦片获取单元，对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；
特征点提取单元，加载单幅正射瓦片获取单元中输出的单幅瓦片，对重叠区域的单幅瓦片进行特征点提取；
精准匹配单元，根据特征点提取单元提取的结果进行匹配和精配准；
地图拼接单元，对精配准后的单幅瓦片进行合并，获取实时场景拼接地图。
一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行任一项所述的地图拼接构建方法的步骤。
一种地图构建装置，包括存储器、处理器和显示器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述显示器显示处理器的运行结果，所述处理器运行所述计算机程序时执行任一项所述的地图拼接构建方法的步骤。
本发明克服了无人机视频图像地图拼接构建存在的特点和难点，融合了图像地理目标定位技术、单应性矩阵图像变换、特征点匹配精配准等计算方法，从而可以针对多无人机视频图像进行实时的地图拼接构建，同时保持良好的地图构建精度。
本发明所述方法的流程(参见图1、图2)如下：
S1：接收多无人机下传的多路视频图像；
S2：计算视频图像帧中若干点位的地理目标定位坐标，该过程需要融合IMU、卫星定位、载荷内参数和外参数；
S3:实时计算图像至正射影像的单应性变换矩阵；
S4:针对图像进行单应性矩阵变换的硬件加速计算，获取单幅正射瓦片(GeoTif)；
S5:加载上一步骤中输出的单幅瓦片，对重叠区域的瓦片进行特征点提取、匹配进而进行精配准；
S6：精配准后的瓦片进行合并，获取实时场景拼接地图。
本发明中基于图像的地理目标定位技术：
多无人机视频图像地图拼接的GeoTiff数据定位方式基于图像的地理目标定位技术方法，该技术方法融合了飞行器平台、传感器和视频图像载荷内参数和外参数，同时为了获取较为精确的定位，结合数字高程数据(DEM)进行高程误差修正。
计算公式为：
P＝R4R3R2R1ν
R1＝RrRpRy
R2＝RΘReRa
R3＝[R|t]
R4＝f(F,w,h,d)
其中R1为飞机姿态角旋转变换矩阵，R2为载荷姿态角旋转变换矩阵，R3为飞行器模型空间至地理坐标空间变换矩阵，R4为2维图像平面至3维地理空间反投影变换矩阵，ν为载荷初始零位朝向在飞行器空间中的方向向量；Rr、Rp、Ry对应飞行器滚转角旋转矩阵、俯仰角旋转矩阵、航向角旋转矩阵，RΘ、Re、Ra对应载荷传感器相对飞行器平台的滚转角矩阵、高低角矩阵、方位角矩阵，载荷图像传感器内参数F、w、h对应焦距和感应面宽高，d为目标距离值。
本发明中针对图像的硬件加速的单应性矩阵变换：
在获取了图像上一定点位地理坐标的基础上，可以构建地理坐标定位参数至视频图像的单应性矩阵映射关系，该过程涉及到了针对图像逐像素的变换操作，为了满足实时性的变换需求，单应性矩阵变换采用了异构加速的方式，在完成变换的同时极大的降低了图像像素变换操作计算时间。
经过该异构加速(GPU)变换，完成了图像像素空间至地图正射图像的变换，也就获取了该幅图像正射瓦片GeoTiff数据。
已知若干的图像点位图像坐标和对应上一过程的地理目标定位算法得出的对应地理坐标，存在如下关系：
(Px,Py,1)＝H*(px,py,1)
其中Px，Py是空间地理坐标在图像坐标系下的映射，H为单应性变换矩阵，px，py为对应该地理坐标的图像坐标，如图2所示。
在GPU加速逐像素变换中，像素着色器中进行上述逐像素变换，并完成渲染输出瓦片。该数据为下一过程的瓦片合成和匹配的依据。
本发明中特征点匹配精配准：
在获取了多无人机正射瓦片数据的基础上，需要对瓦片进行合并整合。
首先根据瓦片数据的自身定位参数进行粗略的瓦片合并，由于各个瓦片本身都存在一定的误差，该过程整合后的瓦片地图会存在一定的对齐误差，对存在对齐误差的重叠邻域瓦片进行精配准调整，可以有效约束对齐误差，同时这种基于各自瓦片的合并过程，也避免了过分依赖特征点匹配拼接带来的大场景地图拼接漂移误差问题。
如图3所示，各个瓦片合并入整体地图中可能存在一定的重叠区域，由于各个瓦片的顶角坐标已经由上几个过程的地理目标定位和单应性矩阵变换进行了初步的计算和位置约束，因此该过程的计算更多在于尽量降低地图纹理的错位误差，从而生成更优的拼接地图。
一种待匹配瓦片的特征点存在如下公式：
(x1,y1,1)＝T(X1,Y1,1)
T'＝f(T)
其中(x1,y1,1)和(X1,Y1,1)对应待匹配的重叠区域的特征点对，T为图像坐标系下特征点偏移变换矩阵，该特征点变换矩阵指导变换获取空间地理坐标系下的位置变换f，从而得到对应的空间地理坐标系的精配准变换矩阵T'，从而完成瓦片的精配准矩阵变换。
本发明中实验结果比较分析：
参考上述的附图说明，最终根据实际飞行时的多无人机飞行视频数据处理实验结果处理得出了较大场景的地图拼接结果，处理过程满足了多无人机大数据量视频数据的实时处理的要求，同时根据最终地图拼接产品结果点位的定位数据比对分析得出，该方法的多无人机视频图像地图拼接的地图构建误差在15米以内，满足大场景地图拼接构建的需求。
实验中本发明针对一平方公里的区域进行了地图拼接，数据如图4所示，并与基于图像特征匹配的拼接技术和SFM技术(如开源的OpenDroneMap)进行了比对，见表1所示。图5所示完成了实验测试，并采集了点位进行了误差比对。
表1基于图像的拼接地图构建方法实验比较
地图拼接构建方法 结果
本发明 成功，实地采样比对误差小于15米
基于图像特征匹配地图拼接 大场景匹配漂移误差过大
基于SFM技术投影地图构建 SFM结构计算失败，无法进行后续投影拼接建图
以上对本申请实施例所提供的一种基于多无人机实时视频图像的地图拼接构建的系统及方法，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (4)

1.一种基于多无人机实时视频图像的地图拼接构建方法，其特征在于，所述地图拼接构建方法包括以下步骤：S1：接收多个无人机下传的多路视频图像；
S2：计算视频图像帧中若干点位的地理目标定位坐标；
S3：实时计算图像至正射影像的单应性变换矩阵；
S4：对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；
S5：加载单幅正射瓦片，对重叠区域的单幅正射瓦片进行特征点提取、匹配进而进行精配准；
S6：对精配准后的单幅正射瓦片进行合并，获取实时场景拼接地图；
所述S4具体为：通过异构加速变换，完成图像像素空间至地图正射图像的变换，获取图像单幅正射瓦片数据；
所述S5中匹配过程为根据瓦片数据的自身定位参数进行粗略瓦片合并；
所述S5中精配准为对存在对齐误差的重叠邻域瓦片进行精配准调整，通过对特征点变换矩阵进行指导变换，获取空间地理坐标系下的位置变换，从而得到对应的空间地理坐标系的精配准变换矩阵，完成瓦片的精配准矩阵变换；
待匹配瓦片的特征点存在如下公式：
(x1，y1，1)＝T(X1，Y1，1)
T′＝f(T)
其中(x1，y1，1)和(X1，Y1，1)对应待匹配的重叠区域的特征点对，T为图像坐标系下特征点偏移变换矩阵，该特征点变换矩阵指导变换获取空间地理坐标系下的位置变换f，从而得到对应的空间地理坐标系的精配准变换矩阵T，从而完成瓦片的精配准矩阵变换；
所述S3中具体为获取图像上点位地理坐标的基础后，构建地理坐标定位参数至视频图像的单应性矩阵映射关系，对图像进行逐像素的变换操作；
所述S1中从无人机中接收信息的方法包括4G通信、5G通信和卫星通信。
2.一种基于多无人机实时视频图像的地图拼接构建系统，基于上述权利要求1所述的地图拼接构建方法，其特征在于，所述地图拼接构建系统包括：信息接收单元，用于接收多个无人机下传的多路视频图像；
坐标计算单元，用于计算视频图像帧中若干点位的地理目标定位坐标；
矩阵变换单元，根据坐标计算单元的结果实时计算图像至正射影像的单应性变换矩阵；
单幅正射瓦片获取单元，对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；
特征点提取单元，加载单幅正射瓦片获取单元中输出的单幅瓦片，对重叠区域的单幅瓦片进行特征点提取；
精准匹配单元，根据特征点提取单元提取的结果进行匹配和精配准；
地图拼接单元，对精配准后的单幅瓦片进行合并，获取实时场景拼接地图。
3.一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述的地图拼接构建方法的步骤。
4.一种地图构建装置，包括存储器、处理器和显示器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述显示器显示处理器的运行结果，其特征在于，所述处理器运行所述计算机程序时执行权利要求1所述的地图拼接构建方法的步骤。
CN202110004886.7A 2021-01-04 2021-01-04 基于多无人机实时视频图像的地图拼接构建的系统及方法 Active CN112767245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110004886.7A CN112767245B (zh) 2021-01-04 2021-01-04 基于多无人机实时视频图像的地图拼接构建的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004886.7A CN112767245B (zh) 2021-01-04 2021-01-04 基于多无人机实时视频图像的地图拼接构建的系统及方法

Publications (2)

Publication Number Publication Date
CN112767245A CN112767245A (zh) 2021-05-07
CN112767245B true CN112767245B (zh) 2024-03-29

Family

ID=75699141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004886.7A Active CN112767245B (zh) 2021-01-04 2021-01-04 基于多无人机实时视频图像的地图拼接构建的系统及方法

Country Status (1)

Country Link
CN (1) CN112767245B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163139A (zh) * 2021-06-23 2021-07-23 成都飞机工业（集团）有限责任公司 一种高空无人机侦察图像情报实时处理方法
WO2023219559A2 (en) * 2022-05-11 2023-11-16 Grabtaxi Holdings Pte. Ltd. Method, device and system for processing spatial data
CN117036666B (zh) * 2023-06-14 2024-05-07 北京自动化控制设备研究所 基于帧间图像拼接的无人机低空定位方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001512252A (ja) * 1997-08-01 2001-08-21 サーノフ コーポレイション モザイク画像を構成するためのローカル／グローバルマルチフレームアライメントを実行する方法および装置
US6512857B1 (en) * 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
CN102006425A (zh) * 2010-12-13 2011-04-06 交通运输部公路科学研究所 一种基于多摄像机的视频实时拼接方法
CN104574278A (zh) * 2015-02-03 2015-04-29 中国人民解放军国防科学技术大学 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法
WO2016086754A1 (zh) * 2014-12-03 2016-06-09 中国矿业大学 一种大场景视频图像拼接方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
US9990753B1 (en) * 2017-01-11 2018-06-05 Macau University Of Science And Technology Image stitching
CN109658450A (zh) * 2018-12-17 2019-04-19 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
CN110310248A (zh) * 2019-08-27 2019-10-08 成都数之联科技有限公司 一种无人机遥感影像实时拼接方法及系统
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及系统
CN111062866A (zh) * 2019-11-07 2020-04-24 广西科技大学鹿山学院 一种基于变换矩阵的全景图像拼接的方法
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN111800609A (zh) * 2020-06-29 2020-10-20 中国矿业大学 基于多平面多感知缝合线的矿井巷道视频拼接方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITBO20130599A1 (it) * 2013-10-31 2015-05-01 Cefla Coop Metodo e apparato per aumentare il campo di vista in una acquisizione tomografica computerizzata con tecnica cone-beam
CN109064506B (zh) * 2018-07-04 2020-03-13 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质
CA3058602C (en) * 2018-10-11 2023-01-24 Zillow Group, Inc. Automated mapping information generation from inter-connected images

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512857B1 (en) * 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
JP2001512252A (ja) * 1997-08-01 2001-08-21 サーノフ コーポレイション モザイク画像を構成するためのローカル／グローバルマルチフレームアライメントを実行する方法および装置
CN102006425A (zh) * 2010-12-13 2011-04-06 交通运输部公路科学研究所 一种基于多摄像机的视频实时拼接方法
WO2016086754A1 (zh) * 2014-12-03 2016-06-09 中国矿业大学 一种大场景视频图像拼接方法
CN104574278A (zh) * 2015-02-03 2015-04-29 中国人民解放军国防科学技术大学 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
US9990753B1 (en) * 2017-01-11 2018-06-05 Macau University Of Science And Technology Image stitching
CN109658450A (zh) * 2018-12-17 2019-04-19 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及系统
CN110310248A (zh) * 2019-08-27 2019-10-08 成都数之联科技有限公司 一种无人机遥感影像实时拼接方法及系统
CN111062866A (zh) * 2019-11-07 2020-04-24 广西科技大学鹿山学院 一种基于变换矩阵的全景图像拼接的方法
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN111800609A (zh) * 2020-06-29 2020-10-20 中国矿业大学 基于多平面多感知缝合线的矿井巷道视频拼接方法

Also Published As

Publication number Publication date
CN112767245A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112767245B (zh) 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN110648398B (zh) 基于无人机航摄数据的正射影像实时生成方法及系统
CN109631887B (zh) 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
US9530235B2 (en) Aligning panoramic imagery and aerial imagery
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
EP3221844B1 (en) Localising portable apparatus
CN104732577B (zh) 一种基于uav低空航测系统的建筑物纹理提取方法
CN110781903B (zh) 基于网格优化和全局相似性约束的无人机图像拼接方法
EP2423871A1 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
AU2011362799A1 (en) 3D streets
US20090141043A1 (en) Image mosaicing apparatus for mitigating curling effect
JP2012118666A (ja) 三次元地図自動生成装置
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN113793270A (zh) 一种基于无人机姿态信息的航拍图像几何校正方法
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
JP2023505987A (ja) 人間関節を用いた無人航空機上のカメラの校正
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN113566793A (zh) 基于无人机倾斜影像的真正射影像生成方法和装置
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN113034347B (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN117115243B (zh) 一种基于街景图片的建筑群外立面窗户定位方法及装置
JP3863014B2 (ja) 物体検出装置及びその方法
US20190051042A1 (en) Ceiling map building method, ceiling map building device, and ceiling map building program
CN115984592A (zh) 基于SuperPoint+SuperGlue的点线融合特征匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant