CN109035145B - 基于视频帧匹配信息的视频图像自适应拼接方法及装置 - Google Patents

基于视频帧匹配信息的视频图像自适应拼接方法及装置 Download PDF

Info

Publication number
CN109035145B
CN109035145B CN201810876608.9A CN201810876608A CN109035145B CN 109035145 B CN109035145 B CN 109035145B CN 201810876608 A CN201810876608 A CN 201810876608A CN 109035145 B CN109035145 B CN 109035145B
Authority
CN
China
Prior art keywords
image
target image
projection transformation
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810876608.9A
Other languages
English (en)
Other versions
CN109035145A (zh
Inventor
沈伟
李瑞程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xinguangfei Information Technology Co ltd
Original Assignee
Guangzhou Xinguangfei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xinguangfei Information Technology Co ltd filed Critical Guangzhou Xinguangfei Information Technology Co ltd
Priority to CN201810876608.9A priority Critical patent/CN109035145B/zh
Publication of CN109035145A publication Critical patent/CN109035145A/zh
Application granted granted Critical
Publication of CN109035145B publication Critical patent/CN109035145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于视频帧匹配信息的视频图像自适应拼接方法及装置，所述方法包括：从待处理视频中截取目标图像帧；计算目标图像帧的透视投影变换矩阵序列；根据透视投影变换矩阵序列，计算所有目标图像帧的顶点位置的坐标参数；根据所述坐标参数，确定拼接后图像的最小外包围矩形及最大尺寸；根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸，分别创建目标图像画布和空白区域掩码图；基于目标图像画布和空白区域掩码图，以预投影变换矩阵为初始矩阵对所有目标图像帧进行堆叠拼接，得到最终拼接图像。本发明能够有效应对多旋翼无人机成像装置复杂多变的的运动拍摄状态，以实现航拍视频帧匹配信息的视频图像的自适应拼接。

Description

基于视频帧匹配信息的视频图像自适应拼接方法及装置
技术领域
本发明涉及视频图像处理技术领域，尤其涉及基于视频帧匹配信息的视频图像自适应拼接方法及装置。
背景技术
图像拼接技术是将数张具有重叠部分的图像拼成一副大型的无缝高分辨率图像的技术，通过图像拼接，可以增大图像的视场范围。图像拼接与使用大视场角的镜头来增大视场范围的方法相比，具有更小的畸变。
目前，现有技术通常潜在地对待拼接图像做出大量数学假设，诸如如下两个例子：
1.假设待拼接图像的相机空间位置固定不变或相机空间相对位移参数已知，例如使用多个已标定的固定摄像机进行的360度全景图像拼接。
2.假设待拼接图像总是在一个虚拟平面或虚拟球面上，例如卫星遥感图像、固定翼定点航拍遥感图像等。
发明内容
本发明实施例所要解决的技术问题在于，提出基于视频帧匹配信息的视频图像自适应拼接方法及装置，能够在没有运动信息的前提下有效应对多旋翼无人机成像装置复杂多变的运动拍摄状态，以实现航拍视频帧匹配信息的视频图像的自适应拼接。
为解决上述问题，本发明的一个实施例提供一种基于视频帧匹配信息的视频图像自适应拼接方法，适于在计算设备中执行，至少包括如下步骤：
从待处理视频中截取目标图像帧；
计算所述目标图像帧的透视投影变换矩阵序列；
根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数；
根据所述坐标参数，确定拼接后图像的最小外包围矩形、最大尺寸及边界位置；
根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸及边界位置，分别创建临时图像和掩码图像作为目标图像画布和空白区域掩码图；
基于所述目标图像画布和所述空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像。
进一步地，所述从待处理视频中截取目标图像帧，具体为：
从待处理视频中提取图像帧组成图像序列，使用成像装置参数矩阵对所述图像序列的所有图像帧进行鱼眼畸变矫正后，截取图像序列中的所有图像帧的区域图像，得到目标图像帧。
进一步地，所述计算所述目标图像帧的透视投影变换矩阵序列，具体为：
将所有所述目标图像帧进行透视投影变换，获得两两相邻的两个目标图像帧之间对应的透视投影变换矩阵；
根据相邻的两个目标图像帧之间的匹配关系参数，基于常规的图像帧匹配算法，从所述目标图像帧的图像序列中计算出透视投影变换矩阵序列。
进一步地，根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数，具体为：
采用矩阵右乘的计算方法，依次逆向叠加所述透视投影变换矩阵序列中的每一个透视投影变换矩阵，以得到所有所述目标图像帧的顶点位置的坐标参数。
进一步地，基于所述目标图像画布和空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像，具体为：
根据拼接后图像的边界位置计算所述目标图像帧的平移参数，并以预投影变换矩阵的形式存储所述平移参数，并以所述预投影变换矩阵为对参照帧进行初始变换的初始矩阵；
以所述参照帧为参照基准，迭代地右乘累加透视投影变换矩阵建立各个后续目标图像帧相对于参照帧的透视投影变换关系，并将透视投影变换后的后续目标图像帧层层叠加到已放置好参照帧的目标图像画布上，以完成堆叠拼接得到最终拼接图像。
本发明的另一个实施例还提供了一种基于视频帧匹配信息的视频图像自适应拼接装置，包括：
目标图像帧提取模块，用于从待处理视频中截取目标图像帧；
第一计算模块，用于计算所述目标图像帧的透视投影变换矩阵序列；
第二计算模块，用于根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数；
第三计算模块，用于根据所述坐标参数，确定拼接后图像的最小外包围矩形、最大尺寸及边界位置；
目标图像画布创建模块，用于根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸及边界位置，分别创建临时图像和掩码图像作为目标图像画布和空白区域掩码图；
堆叠拼接模块，用于基于所述目标图像画布和所述空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像。
进一步地，目标图像帧提取模块，具体用于从待处理视频中提取图像帧组成图像序列，使用成像装置参数矩阵对所述图像序列的所有图像帧进行鱼眼畸变矫正后，截取图像序列中的所有图像帧的区域图像，得到目标图像帧。
进一步地，第一计算模块，具体用于将所有所述目标图像帧进行透视投影变换，获得两两相邻的两个目标图像帧之间对应的透视投影变换矩阵，然后根据相邻的两个目标图像帧之间的匹配关系参数，基于常规的图像帧匹配算法，从所述目标图像帧的图像序列中计算出透视投影变换矩阵序列。
进一步地，堆叠拼接模块，具体用于根据拼接后图像的边界位置计算所述目标图像帧的平移参数，并以预投影变换矩阵的形式存储所述平移参数，并以所述预投影变换矩阵为对参照帧进行初始变换的初始矩阵，然后以所述参照帧为参照基准，迭代地右乘累加透视投影变换矩阵建立各个后续目标图像帧相对于参照帧的透视投影变换关系，并将透视投影变换后的后续目标图像帧层层叠加到已放置好参照帧的目标图像画布上，以完成堆叠拼接得到最终拼接图像。
本发明的又一实施例还提供了一种基于视频帧匹配信息的视频图像自适应拼接装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于视频帧匹配信息的视频图像自适应拼接方法。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的基于视频帧匹配信息的视频图像自适应拼接方法及装置，所述方法包括：从待处理视频中截取目标图像帧；计算目标图像帧的透视投影变换矩阵序列；根据透视投影变换矩阵序列，计算所有目标图像帧的顶点位置的坐标参数；根据所述坐标参数，确定拼接后图像的最小外包围矩形及最大尺寸；根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸，分别创建目标图像画布和空白区域掩码图；基于目标图像画布和空白区域掩码图，以预投影变换矩阵为初始矩阵对所有目标图像帧进行堆叠拼接，得到最终拼接图像。本发明能够有效应对多旋翼无人机成像装置复杂多变的的运动拍摄状态，以实现航拍视频帧匹配信息的视频图像的自适应拼接。
附图说明
图1是本发明的一个实施例提供的提供的一种基于视频帧匹配信息的视频图像自适应拼接方法的流程示意图；
图2是本发明的一个实施例提供的提供的一种基于视频帧匹配信息的视频图像自适应拼接方法的流程示意图；
图3是本发明的一个实施例中的拼接图像中的互相覆盖的示图；
图4是本发明的一个实施例中的拼接图像中的堆叠情况的示图；
图5是本发明的一个实施例中的最终拼接图像的示图；
图6是本发明的一个实施例中的正射投影的示图；
图7是本发明的另一个实施例提供的提供的一种基于视频帧匹配信息的视频图像自适应拼接装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6。
如图1-2所示，本发明的一个实施例提供的一种基于视频帧匹配信息的视频图像自适应拼接方法，适于在计算设备中执行，至少包括如下步骤：
S101、从待处理视频中截取目标图像帧；
S102、计算所述目标图像帧的透视投影变换矩阵序列；
S103、根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数；
S104、根据所述坐标参数，确定拼接后图像的最小外包围矩形、最大尺寸及边界位置；
S105、根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸及边界位置，分别创建临时图像和掩码图像作为目标图像画布和空白区域掩码图；
S106、基于所述目标图像画布和所述空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像。
在本实施例中，针对无人机航拍河道通常是沿着河流的走向持续地向前飞行或反向飞行，故视频帧在时序与空间上的是相互关联的。本实施例即以已知的帧间前后匹配关系的透视投影变换矩阵，在进行图像拼接之前，先采用帧间前后匹配关系的透视投影变换矩阵对各个拼接帧的矩形顶点预先进行模拟计算，获得各个拼接帧的顶点在拼接后具有一定精度的位置坐标，以此完成自适应地计算结果图的分辨率和大小的操作。利用图像拼接时的堆叠覆盖原理，故意将放大系数最小的视频帧作为参照帧，以此尽可能不降低最终结果图像的分辨率。
对于步骤S101，具体的，从待处理视频中提取图像帧组成图像序列，使用成像装置参数矩阵对所述图像序列的所有图像帧进行鱼眼畸变矫正后，截取图像序列中的所有图像帧的区域图像，得到目标图像帧。
在本实施例中，对于多旋翼无人机航拍的视频，以每10帧或更少的帧数为间隔，抽取视频帧组成图像序列，使用成像装置参数矩阵对该序列的所有图像进行鱼眼畸变矫正，经矫正获取的无边缘图像，截取所有图像下2/3的上1/2部分以去除可能的天空及图像劣化的边缘，将其作为后续处理步骤所用的图像区域。
对于步骤S102，具体的，将所有所述目标图像帧进行透视投影变换，获得两两相邻的两个目标图像帧之间对应的透视投影变换矩阵。根据相邻的两个目标图像帧之间的匹配关系参数，基于常规的图像帧匹配算法，从所述目标图像帧的图像序列中计算出透视投影变换矩阵序列。
在本实施例中，基于常规的图像帧匹配方法，计算视频帧图像序列中两两相邻图像帧之间的匹配关系，获得将前一帧图像变换并匹配到后一帧图像的透视投影变换矩阵序列。为了在拼接时总是将相对于拼接结果分辨率最高的视频帧作为参照帧设定拼接结果图的分辨率和尺寸大小的基准。若航拍时成像装置以向前运动为主，则取航拍视频帧帧序列的最后一帧作为参照帧，反之则取帧序列的第一帧作为参照帧。因要保证透视投影时不出现将物体的高分辨率压缩变小到低分辨率下而导致分辨率降低的情况，在拼接时以(原图分辨率/拼接结果分辨率)最大的一个帧为初始参照帧，而在大多数情况下，多旋翼无人机航拍视频是以向前飞行的空间位置关系进行拍摄，因此拼接从时间顺序上的最末尾一帧开始，不断使用之前的帧来填补未知区域的像素。
对于步骤S103，具体的，采用矩阵右乘的计算方法，依次逆向叠加所述透视投影变换矩阵序列中的每一个透视投影变换矩阵，以得到所有所述目标图像帧的顶点位置的坐标参数。
在本实施例中，使用矩阵乘法叠加右乘透视投影变换矩阵序列，计算并保存每次右乘后对应图像的四个顶点所在的坐标位置参数，求出所有顶点坐标位置的最小外包围矩形，由此即可获得拼接后图像最大的大小尺寸及其边界位置。因拼接后图像一定会超出原始图像范围，故需要计算出恰当的平移参数和新的拼接后图像位置以保证拼接后的图像完全处在目标图像区域中。
对于步骤S104，需要说明的是，为了自动地设定拼接结果图的分辨率和基准大小，本方法采用帧矩形边缘的四个顶点坐标作为基准参照坐标，采用矩阵右乘的计算方法，依次逆向叠加透视投影变换矩阵序列中的每一个透视投影变换矩阵，并将每一步获得的透视投影变换矩阵应用到对应的航拍视频帧的矩形边缘的四个顶点，获得每一个帧变换后的矩形边缘的四个顶点的坐标，并将所有帧地的四个顶点记录下来，从而获得拼接后所有顶点的精确位置并计算其外包围矩形，由此即可获得拼接后图像的最大大小及其四个边界的位置坐标。
对于步骤S105，需要说的是，根据拼接后图像的最大大小计算拼接时所需的画布大小，以此避免拼接过程中浪费存储空间或因存储空间不足导致部分图像丢失或拼接失败。
对于步骤S106，如图3-6所示，具体的，根据拼接后图像的边界位置计算所述目标图像帧的平移参数，并以预投影变换矩阵的形式存储所述平移参数，并以所述预投影变换矩阵为对参照帧进行初始变换的初始矩阵。以所述参照帧为参照基准，迭代地右乘累加透视投影变换矩阵建立各个后续目标图像帧相对于参照帧的透视投影变换关系，并将透视投影变换后的后续目标图像帧层层叠加到已放置好参照帧的目标图像画布上，以完成堆叠拼接得到最终拼接图像。
在实际进行图像堆叠拼接时，因后叠加帧的放大量和形变量总是较大于先前的叠加帧，导致后叠加帧所在区域的最终分辨率会小于先前的叠加帧。因此采取裁剪后叠加帧以保证其不覆盖先前的叠加帧和参照帧亦已填充过的区域，以保持总是使用单位分辨率更高的帧作为图像来源，从而保证最终拼接结果的分辨率最优化。
即在本实施例中，使用拼接后图像的外包围矩形计算出以平移参数为主的预投影变换矩阵，并按照拼接后图像最大的大小尺寸创建临时图像作为目标图像画布，以及掩码图像作为空白区域掩码图。
以预投影变换矩阵为初始矩阵对帧图像序列的参照帧进行透视投影变换后，放置于目标图像画布上，并填充空白区域掩码图中此参照帧进行透视投影变换后的图像的四个顶点围成的四边形所在区域。
在此步骤及后续步骤中对图像使用透视投影变换时，均使用bicubic插值算法及reflect镜像边缘填充来保证拼接后的图像不出现意外色彩的边缘。
对于初始矩阵右乘视频帧帧图像序列，以其最末尾倒数第二帧到最末尾参照帧的透视投影变换矩阵作为后续堆叠计算的堆叠透视投影变换矩阵，使用此堆叠透视投影变换矩阵对倒数第二帧进行透视投影变换，并堆叠在与空白区域掩码图同样大小的临时图像中，将空白区域掩码图与临时图像做位与计算，去除此帧图像之前已经被填充了的区域，再把此临时图像与目标图像画布做位与计算，以便将此临时图像上的内容放置到目标图像画布上，以此帧图像补全在此之前目标图像画布上所空白的区域。
将此次堆叠计算的堆叠透视投影变换矩阵右乘视频帧帧图像序列的倒数第三帧到倒数第二帧的透视投影变换矩阵，并不断重复以上的步骤，直至所有视频帧帧图像序列拼接完毕，获得最终的拼接结果图，即为已经拼接好了的，但尚未进行正射投影变换的原始航拍地图。
本实施例提供的一种基于视频帧匹配信息的视频图像自适应拼接方法，能够有效应对多旋翼无人机成像装置复杂多变的的运动拍摄状态，不依赖多旋翼无人机及其成像装置的飞行数据或姿态参数，并不必刻意限制多旋翼无人机的飞行操控，以实现航拍视频帧匹配信息的视频图像的自适应拼接。
请参阅图7，本发明的另一个实施例还提供了一种基于视频帧匹配信息的视频图像自适应拼接装置，包括：
目标图像帧提取模块201，用于从待处理视频中截取目标图像帧。
具体的，所述目标图像帧提取模块201用于从待处理视频中提取图像帧组成图像序列，使用成像装置参数矩阵对所述图像序列的所有图像帧进行鱼眼畸变矫正后，截取图像序列中的所有图像帧的区域图像，得到目标图像帧。
在本实施例中，对于多旋翼无人机航拍的视频，以每10帧或更少的帧数为间隔，抽取视频帧组成图像序列，使用成像装置参数矩阵对该序列的所有图像进行鱼眼畸变矫正，经矫正获取的无边缘图像，截取所有图像下2/3的上1/2部分以去除可能的天空及图像劣化的边缘，将其作为后续处理步骤所用的图像区域。
第一计算模块202，用于计算所述目标图像帧的透视投影变换矩阵序列。
具体的，所述第一计算模块202，将所有所述目标图像帧进行透视投影变换，获得两两相邻的两个目标图像帧之间对应的透视投影变换矩阵，然后根据相邻的两个目标图像帧之间的匹配关系参数，基于常规的图像帧匹配算法，从所述目标图像帧的图像序列中计算出透视投影变换矩阵序列。
在本实施例中，基于常规的图像帧匹配方法，计算视频帧图像序列中两两相邻图像帧之间的匹配关系，获得将前一帧图像变换并匹配到后一帧图像的透视投影变换矩阵序列。为了在拼接时总是将相对于拼接结果分辨率最高的视频帧作为参照帧设定拼接结果图的分辨率和尺寸大小的基准。若航拍时成像装置以向前运动为主，则取航拍视频帧帧序列的最后一帧作为参照帧，反之则取帧序列的第一帧作为参照帧。因要保证透视投影时不出现将物体的高分辨率压缩变小到低分辨率下而导致分辨率降低的情况，在拼接时以(原图分辨率/拼接结果分辨率)最大的一个帧为初始参照帧，而在大多数情况下，多旋翼无人机航拍视频是以向前飞行的空间位置关系进行拍摄，因此拼接从时间顺序上的最末尾一帧开始，不断使用之前的帧来填补未知区域的像素。
第二计算模块203，用于根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数。
具体的，所述第二计算模块203，用于采用矩阵右乘的计算方法，依次逆向叠加所述透视投影变换矩阵序列中的每一个透视投影变换矩阵，以得到所有所述目标图像帧的顶点位置的坐标参数。
在本实施例中，使用矩阵乘法叠加右乘透视投影变换矩阵序列，计算并保存每次右乘后对应图像的四个顶点所在的坐标位置参数，求出所有顶点坐标位置的最小外包围矩形，由此即可获得拼接后图像最大的大小尺寸及其边界位置。因拼接后图像一定会超出原始图像范围，故需要计算出恰当的平移参数和新的拼接后图像位置以保证拼接后的图像完全处在目标图像区域中。
第三计算模块204，用于根据所述坐标参数，确定拼接后图像的最小外包围矩形、最大尺寸及边界位置。
需要说明的是，为了自动地设定拼接结果图的分辨率和基准大小，本方法采用帧矩形边缘的四个顶点坐标作为基准参照坐标，采用矩阵右乘的计算方法，依次逆向叠加透视投影变换矩阵序列中的每一个透视投影变换矩阵，并将每一步获得的透视投影变换矩阵应用到对应的航拍视频帧的矩形边缘的四个顶点，获得每一个帧变换后的矩形边缘的四个顶点的坐标，并将所有帧地的四个顶点记录下来，从而获得拼接后所有顶点的精确位置并计算其外包围矩形，由此即可获得拼接后图像的最大大小及其四个边界的位置坐标。
目标图像画布创建模块205，用于根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸及边界位置，分别创建临时图像和掩码图像作为目标图像画布和空白区域掩码图。
需要说的是，根据拼接后图像的最大大小计算拼接时所需的画布大小，以此避免拼接过程中浪费存储空间或因存储空间不足导致部分图像丢失或拼接失败。
堆叠拼接模块206，用于基于所述目标图像画布和所述空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像。
如图3-6所示，具体的，所述堆叠拼接模块206，用于根据拼接后图像的边界位置计算所述目标图像帧的平移参数，并以预投影变换矩阵的形式存储所述平移参数，并以所述预投影变换矩阵为对参照帧进行初始变换的初始矩阵。以所述参照帧为参照基准，迭代地右乘累加透视投影变换矩阵建立各个后续目标图像帧相对于参照帧的透视投影变换关系，并将透视投影变换后的后续目标图像帧层层叠加到已放置好参照帧的目标图像画布上，以完成堆叠拼接得到最终拼接图像。
在实际进行图像堆叠拼接时，因后叠加帧的放大量和形变量总是较大于先前的叠加帧，导致后叠加帧所在区域的最终分辨率会小于先前的叠加帧。因此采取裁剪后叠加帧以保证其不覆盖先前的叠加帧和参照帧亦已填充过的区域，以保持总是使用单位分辨率更高的帧作为图像来源，从而保证最终拼接结果的分辨率最优化。
即在本实施例中，使用拼接后图像的外包围矩形计算出以平移参数为主的预投影变换矩阵，并按照拼接后图像最大的大小尺寸创建临时图像作为目标图像画布，以及掩码图像作为空白区域掩码图。
以预投影变换矩阵为初始矩阵对帧图像序列的参照帧进行透视投影变换后，放置于目标图像画布上，并填充空白区域掩码图中此参照帧进行透视投影变换后的图像的四个顶点围成的四边形所在区域。
在此步骤及后续步骤中对图像使用透视投影变换时，均使用bicubic插值算法及reflect镜像边缘填充来保证拼接后的图像不出现意外色彩的边缘。
对于初始矩阵右乘视频帧帧图像序列，以其最末尾倒数第二帧到最末尾参照帧的透视投影变换矩阵作为后续堆叠计算的堆叠透视投影变换矩阵，使用此堆叠透视投影变换矩阵对倒数第二帧进行透视投影变换，并堆叠在与空白区域掩码图同样大小的临时图像中，将空白区域掩码图与临时图像做位与计算，去除此帧图像之前已经被填充了的区域，再把此临时图像与目标图像画布做位与计算，以便将此临时图像上的内容放置到目标图像画布上，以此帧图像补全在此之前目标图像画布上所空白的区域。
将此次堆叠计算的堆叠透视投影变换矩阵右乘视频帧帧图像序列的倒数第三帧到倒数第二帧的透视投影变换矩阵，并不断重复以上的步骤，直至所有视频帧帧图像序列拼接完毕，获得最终的拼接结果图，即为已经拼接好了的，但尚未进行正射投影变换的原始航拍地图。
本实施例提供的一种基于视频帧匹配信息的视频图像自适应拼接装置，能够有效应对多旋翼无人机成像装置复杂多变的的运动拍摄状态，不依赖多旋翼无人机及其成像装置的飞行数据或姿态参数，并不必刻意限制多旋翼无人机的飞行操控，以实现航拍视频帧匹配信息的视频图像的自适应拼接。
本发明的又一实施例还提供了一种基于视频帧匹配信息的视频图像自适应拼接装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于视频帧匹配信息的视频图像自适应拼接方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (10)

1.一种基于视频帧匹配信息的视频图像自适应拼接方法，适于在计算设备中执行，其特征在于，至少包括如下步骤：
从待处理视频中截取目标图像帧；
计算所述目标图像帧的透视投影变换矩阵序列；
根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数；
根据所述坐标参数，确定拼接后图像的最小外包围矩形、最大尺寸及边界位置；
根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸及边界位置，分别创建临时图像和掩码图像作为目标图像画布和空白区域掩码图；
基于所述目标图像画布和所述空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像。
2.根据权利要求1所述的基于视频帧匹配信息的视频图像自适应拼接方法，其特征在于，所述从待处理视频中截取目标图像帧，具体为：
从待处理视频中提取图像帧组成图像序列，使用成像装置参数矩阵对所述图像序列的所有图像帧进行鱼眼畸变矫正后，截取图像序列中的所有图像帧的区域图像，得到目标图像帧。
3.根据权利要求1所述的基于视频帧匹配信息的视频图像自适应拼接方法，其特征在于，所述计算所述目标图像帧的透视投影变换矩阵序列，具体为：
将所有所述目标图像帧进行透视投影变换，获得两两相邻的两个目标图像帧之间对应的透视投影变换矩阵；
根据相邻的两个目标图像帧之间的匹配关系参数，基于常规的图像帧匹配算法，从所述目标图像帧的图像序列中计算出透视投影变换矩阵序列。
4.根据权利要求1所述的基于视频帧匹配信息的视频图像自适应拼接方法，其特征在于，根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数，具体为：
采用矩阵右乘的计算方法，依次逆向叠加所述透视投影变换矩阵序列中的每一个透视投影变换矩阵，以得到所有所述目标图像帧的顶点位置的坐标参数。
5.根据权利要求1所述的基于视频帧匹配信息的视频图像自适应拼接方法，其特征在于，基于所述目标图像画布和空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像，具体为：
根据拼接后图像的边界位置计算所述目标图像帧的平移参数，并以预投影变换矩阵的形式存储所述平移参数，并以所述预投影变换矩阵为对参照帧进行初始变换的初始矩阵；
以所述参照帧为参照基准，迭代地右乘累加透视投影变换矩阵建立各个后续目标图像帧相对于参照帧的透视投影变换关系，并将透视投影变换后的后续目标图像帧层层叠加到已放置好参照帧的目标图像画布上，以完成堆叠拼接得到最终拼接图像。
6.一种基于视频帧匹配信息的视频图像自适应拼接装置，其特征在于，包括：
目标图像帧提取模块，用于从待处理视频中截取目标图像帧；
第一计算模块，用于计算所述目标图像帧的透视投影变换矩阵序列；
第二计算模块，用于根据所述透视投影变换矩阵序列，计算所有所述目标图像帧的顶点位置的坐标参数；
第三计算模块，用于根据所述坐标参数，确定拼接后图像的最小外包围矩形、最大尺寸及边界位置；
目标图像画布创建模块，用于根据所述最小外包围矩形计算预投影变换矩阵，并根据拼接后图像的最大尺寸及边界位置，分别创建临时图像和掩码图像作为目标图像画布和空白区域掩码图；
堆叠拼接模块，用于基于所述目标图像画布和所述空白区域掩码图，以所述预投影变换矩阵为初始矩阵对所有所述目标图像帧进行堆叠拼接，得到最终拼接图像。
7.根据权利要求6所述的基于视频帧匹配信息的视频图像自适应拼接装置，其特征在于，
目标图像帧提取模块，具体用于从待处理视频中提取图像帧组成图像序列，使用成像装置参数矩阵对所述图像序列的所有图像帧进行鱼眼畸变矫正后，截取图像序列中的所有图像帧的区域图像，得到目标图像帧。
8.根据权利要求6所述的基于视频帧匹配信息的视频图像自适应拼接装置，其特征在于，
第一计算模块，具体用于将所有所述目标图像帧进行透视投影变换，获得两两相邻的两个目标图像帧之间对应的透视投影变换矩阵，然后根据相邻的两个目标图像帧之间的匹配关系参数，基于常规的图像帧匹配算法，从所述目标图像帧的图像序列中计算出透视投影变换矩阵序列。
9.根据权利要求6所述的基于视频帧匹配信息的视频图像自适应拼接装置，其特征在于，
堆叠拼接模块，具体用于根据拼接后图像的边界位置计算所述目标图像帧的平移参数，并以预投影变换矩阵的形式存储所述平移参数，并以所述预投影变换矩阵为对参照帧进行初始变换的初始矩阵，然后以所述参照帧为参照基准，迭代地右乘累加透视投影变换矩阵建立各个后续目标图像帧相对于参照帧的透视投影变换关系，并将透视投影变换后的后续目标图像帧层层叠加到已放置好参照帧的目标图像画布上，以完成堆叠拼接得到最终拼接图像。
10.一种基于视频帧匹配信息的视频图像自适应拼接装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于视频帧匹配信息的视频图像自适应拼接方法。
CN201810876608.9A 2018-08-02 2018-08-02 基于视频帧匹配信息的视频图像自适应拼接方法及装置 Active CN109035145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810876608.9A CN109035145B (zh) 2018-08-02 2018-08-02 基于视频帧匹配信息的视频图像自适应拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810876608.9A CN109035145B (zh) 2018-08-02 2018-08-02 基于视频帧匹配信息的视频图像自适应拼接方法及装置

Publications (2)

Publication Number Publication Date
CN109035145A CN109035145A (zh) 2018-12-18
CN109035145B true CN109035145B (zh) 2022-11-18

Family

ID=64648131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810876608.9A Active CN109035145B (zh) 2018-08-02 2018-08-02 基于视频帧匹配信息的视频图像自适应拼接方法及装置

Country Status (1)

Country Link
CN (1) CN109035145B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428363A (zh) * 2019-07-31 2019-11-08 上海扩博智能技术有限公司 基于增强现实的图像拼接方法、系统、设备及存储介质
CN112053350B (zh) * 2020-09-04 2024-03-26 国家卫星气象中心(国家空间天气监测预警中心) 一种感兴趣区域遥感数据拼接裁剪处理方法、装置及计算机设备
CN112308987B (zh) * 2020-11-03 2024-02-02 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
CN112508773B (zh) * 2020-11-20 2024-02-09 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112819694A (zh) * 2021-01-18 2021-05-18 中国工商银行股份有限公司 一种视频图像拼接方法及装置
CN112581371B (zh) * 2021-01-27 2022-03-22 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN113128448B (zh) * 2021-04-29 2024-05-24 平安国际智慧城市科技股份有限公司 基于肢体识别的视频匹配方法、装置、设备及存储介质
CN113139905B (zh) * 2021-04-29 2024-02-13 北京百度网讯科技有限公司 图像拼接方法、装置、设备和介质
CN113573137B (zh) * 2021-07-01 2023-08-08 厦门美图之家科技有限公司 视频画布边界检测方法、系统、终端设备及存储介质
CN114429636B (zh) * 2022-04-06 2022-07-12 中国科学院自动化研究所 图像扫描识别方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5499261B2 (ja) * 2009-07-16 2014-05-21 日本信号株式会社 画像処理装置
CN103997609A (zh) * 2014-06-12 2014-08-20 四川川大智胜软件股份有限公司 基于cuda的多视频实时全景融合拼接方法
CN107197269B (zh) * 2017-07-04 2020-02-21 广东工业大学 一种视频拼接的方法与装置

Also Published As

Publication number Publication date
CN109035145A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109035145B (zh) 基于视频帧匹配信息的视频图像自适应拼接方法及装置
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
EP3163535B1 (en) Wide-area image acquisition method and device
US9262807B2 (en) Method and system for correcting a distorted input image
EP3425587A1 (en) Method and device for generating a panoramic image
CN105469375B (zh) 处理高动态范围全景图的方法和装置
CN110868541B (zh) 视场融合方法及装置、存储介质、终端
US20140375762A1 (en) Information processing apparatus and method, image processing apparatus and method, and program
EP3101623B1 (en) Homography rectification
TWI602154B (zh) 環景影像的拼接方法及其系統
JP7484055B2 (ja) 深度情報付きのパノラマ画像を生成する方法、装置、記憶媒体、電子機器及びコンピュータプログラム
KR101969082B1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
CN111292413A (zh) 图像模型的处理方法及装置、存储介质、电子装置
US10275863B2 (en) Homography rectification
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN112801870A (zh) 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质
CN111292278A (zh) 图像融合方法及装置、存储介质、终端
CN114549666A (zh) 一种基于agv的环视图像拼接标定方法
CN117152218A (zh) 图像配准方法、装置、计算机设备和可读存储介质
CN115086625B (zh) 投影画面的校正方法、装置、系统、校正设备和投影设备
CN116109484A (zh) 前景信息保留的图像拼接方法、装置、设备及存储介质
CN116012227A (zh) 图像处理方法、装置、存储介质及处理器
US11893704B2 (en) Image processing method and device therefor
CN117372247A (zh) 图像处理方法、图像处理装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant