CN110191311A - 一种基于多无人机的实时视频拼接方法 - Google Patents

Abstract

本发明公开了一种基于多无人机的实时视频拼接方法，它包括：步骤1、无人机姿态矫正；利用图像像素坐标系和全局坐标系相互映射关系，在全局坐标系中进行调整；步骤2、图像拍摄；步骤3、图像处理及特征提取；利用无人机机载CPU进行图像处理及特征提取；步骤4、地面站接收处理后图像信息；步骤5、特征匹配区搜索；步骤6、异常值删除；采用改进的随机抽样一致性算法对异常值进行删除；步骤7、视频拼接质量优化；步骤8、拼接视频输出；解决了采用分布式特征提取技术来减少地面站的工作量，利用飞行控制器的提示来提高拼接效率，提高多台无人机拍摄图像的拼接速度，并提高拼接质量，实现多台无人机拍摄图像的实时拼接输出。

Description

一种基于多无人机的实时视频拼接方法

技术领域

本发明属于视频拼接技术，尤其涉及一种基于多无人机的实时 视频拼接方法。

背景技术

商品化无人机技术的普及使得在空中监控目标区域时，可以部署 空中视频监控系统，以实现前所未有的视角；基于无人机的监视系统 有广泛的应用，包括消防、搜救和边界监视。

例如，一架无人机可以部署在丛林大火上空盘旋，通过无线连 接向消防员传送实况视频，让他们从空中的角度来评估情况。然而， 由于机载摄像头的视野有限，因此需要多个无人机同时覆盖一个大的 目标区域进行拍摄；但是多个无人机拍摄的视频信息是分离的，地面 接收站接收到相关视频信息后需要多人同时观察，导致地面站工作人 员工作量大，而且采用多屏观察容易遗漏信息，导致差错率较大。

虽然视频拼接的概念相对简单，但有两个实际的设计挑战。第 一个挑战是图像拼接本身具有很高的计算成本。工业界和学术界现有 的缝合算法都是为了更好的缝合质量而不是更短的缝合时间而设计 的。虽然一些算法可以实现更短的拼接时间，但它们还要求摄像机处 于固定的相对位置，这在我们的操作场景中是不可行的，因为摄像机 安装在移动的直升机上。另一个挑战是现有的图像拼接算法是为静态 图像而非视频而设计的。尽管图像拼接算法生成的单个帧看起来可能 很好，但通过简单地将它们拼接在一起获得的视频通常会出现透视失 真、透视抖动和帧下降。

为了应对这些挑战，本发明开发了一些实用的技术来提高缝合 效率和质量。这些实用的技术都是基于目前多无人机拍摄的特点而进 行设计的。首先，尽管每个无人机的有效载荷有限，但每个机载计算 机都有相当大的计算能力。在视频拼接中，将视频拼接过程分为几个 任务，并将一些预处理卸载到无人机上。这样就可以通过减少地面站 的工作量来提高缝合速度，这在无人机数量众多的情况下是一个潜在 的瓶颈。其次，可以利用无人机姿态和GPS定位等瞬时飞行信息在机 载飞行控制器上的提示，大大提高拼接效率和矫正透视畸变。最后是 图像拼接和光流在长期稳定性和短期平滑性方面具有互补性，采用基于卡尔曼滤波器的状态估计模型可以通过结合光流信息来显著降低 透视抖动。

发明内容

本发明要解决的技术问题是：提供一种基于多无人机的实时视 频拼接方法，以解决现有技术针对多无人机回传的视频信息由于采用 分屏观察存在的地面站工作人员工作量大，而且采用多屏观察容易遗 漏信息，导致差错率较大等技术问题。

本发明的技术方案是：

一种基于多无人机的实时视频拼接方法，它包括：

步骤1、无人机姿态矫正；利用图像像素坐标系和全局坐标系相 互映射关系，在全局坐标系中进行调整；

步骤2、图像拍摄；

步骤3、图像处理及特征提取；利用无人机机载CPU进行图像处 理及特征提取；

步骤4、地面站接收处理后图像信息；

步骤5、特征匹配区搜索；

步骤6、异常值删除；采用改进的随机抽样一致性算法对异常值 进行删除；

步骤7、视频拼接质量优化；

步骤8、拼接视频输出。

步骤1所述无人机姿态矫正的方法包括：

步骤1.1、图像像素映射到全局坐标系：使用矩阵K和B将图像像 素映射到飞行控制器的全局坐标系统中；矩阵B为从相机中心的 全局坐标系映射到以机体中心的全局坐标系时的变换矩阵；

步骤1.2、校正相机倾斜造成的影响：使用矩阵R校正相机倾斜 造成的影响；

式中：θ_r、θ_p、θ_y分别为机体坐标系中翻滚、俯仰和偏航的姿态 角；R为从严格向下的摄像机方向映射到倾斜方向的变换矩阵用 矩阵；

正交校正矩阵M表示为

M＝KBR^-1B^-1K^-1 (2)

令(x,y,1)为原始齐次像素坐标，用矩阵乘法表示校正后对应的像素坐 标(x′,y′,z′)。

[x，y，z，]^T＝M[x y 1]^T (3)

步骤1.3、图像像素映射回像素坐标系：使用矩阵K和B将图像像 素在全局坐标系映射回像素坐标系中。

步骤5所述特征匹配区搜索的方法包括：

步骤5.1、像素坐标位置转换到全局坐标系：将图像像素位置由像素 坐标系转换为全局坐标系，以传感器的中心为原点；

步骤5.1、合并全局坐标系：根据GPS位置的差异合并不同图像映射 的全局坐标系；

步骤5.3、局部区域搜索匹配的特征：在全局坐标系中局部区域进行 匹配特征的搜索。

步骤6所述采用改进的随机抽样一致性算法对异常值进行删除的方 法包括：

步骤6.1、在单个CPU内核执行中计算所有图像对的候选同形图；

步骤6.2、将候选同形图发送到相应的图像对以进行重投影误差计 算和内部掩模生成；

步骤6.3、将所有候选同形图的得分和内部掩码下载到主存储器 中。

本发明有益效果：

本发明采用分布式特征提取技术来减少地面站的工作量，利用飞 行控制器的提示来提高拼接效率，提高多台无人机拍摄图像的拼接速 度，并提高拼接质量，实现多台无人机拍摄图像的实时拼接输出；解 决了采用分布式特征提取技术来减少地面站的工作量，利用飞行控制 器的提示来提高拼接效率，提高多台无人机拍摄图像的拼接速度，并 提高拼接质量，实现多台无人机拍摄图像的实时拼接输出。

附图说明

图1为本发明的一种基于多无人机的实时视频拼接方法流程图；

图2为本发明的无人机姿态矫正过程流程图；

图3为本发明的无人机姿态示意图；

图4为本发明的特征匹配区搜索过程流程图；

图5为本发明的改进的随机抽样一致性算法过程流程图。

具体实施方式

下面结合附图对本发明的实施方式进行详细描述。

本实施实例是通过以下技术方案来实现的，如图1所示，一种基 于多无人机的实时视频拼接方法包括：1、无人机姿态矫正、2、图像 拍摄、3、图像处理及特征提取、4、地面站接收处理后图像信息、5、 特征匹配区搜索、6、异常值删除、7、视频拼接质量优化、8、拼接视频输出。其中无人机姿态矫正利用图像像素坐标系和全局坐标系相 互映射关系，在全局坐标系中进行调整；图像处理及特征提取利用无 人机机载CPU进行；特征匹配区搜索利用像素坐标系与全局坐标系 的对应关系，在全局坐标系一个小的局部区域进行；异常值删除采用 改进的随机抽样一致性算法。

多台无人机进行无人机姿态矫正后，执行图像拍摄过程，多台无 人机拍的图像经过图像处理及特征提取，通过无线方式发送到地面 站，地面站接收处理后图像信息，在地面站CPU上依次执行特征匹 配区搜索、异常值删除、视频拼接质量优化，最终实时的将拼接视频 输出。

其中1无人机姿态矫正过程流程图如图2所示，包括以下步骤：

步骤1：1-1图像像素映射到全局坐标系。使用矩阵K和B将图像像 素映射到飞行控制器的全局坐标系统中；

步骤2：1-2校正相机倾斜造成的影响。使用矩阵R校正相机倾斜造 成的影响；

步骤3：1-3图像像素映射回像素坐标系。使用矩阵K和B将图像像 素在全局坐标系映射回像素坐标系中。

进一步对无人机姿态矫正过程中涉及的矩阵进行说明。

将图像的像素位置(最初以像素坐标表示)转换为以相机为中心的全 局坐标系，其中的变换矩阵就是相机内部矩阵。

从相机中心的全局坐标系映射到以机体中心的全局坐标系，其中的变 换矩阵为矩阵B。

如图3所示，θ_r、θ_p、θ_y分别为机体坐标系中翻滚、俯仰和偏航的姿 态角。从严格向下的摄像机方向映射到倾斜方向的变换矩阵用矩阵R 表示，为

正交校正矩阵M可以表示为

M＝KBR^-1B^-1K^-1 (2)

令(x,y,1)为原始齐次像素坐标。用矩阵乘法表示校正后对应的像素坐 标(x′,y′,z′)。

[x，y′z′]^T＝M[x y 1]^T (3)

其中，特征匹配区搜索过程流程图如图4所示，包括以下步骤：

步骤1：5-1像素坐标位置转换到全局坐标系。将图像像素位置由像 素坐标系转换为全局坐标系，以传感器的中心为原点；

步骤2：5-2合并全局坐标系。根据GPS位置的差异，合并不同图像 映射的全局坐标系；

步骤3：5-3局部区域搜索匹配的特征。在全局坐标系中局部区域进 行匹配特征的搜索。

进一步对5特征匹配区搜索过程进行说明。

设s为像素边代表的米数，W×H为图像分辨率(以像素为单位)，θ_f为相机水平视场的角度，h为四轴飞行器的高度，则有

根据全局坐标系(x_w,y_w,z_w)可以得到

全局坐标系以摄像机传感器的中心作为坐标原点，图像的每个像素都 与地面上的一个点(x_w,y_w)相对应。利用GPS位置的差异，将两个全局 坐标系关联起来，只需要在一个小的局部区域搜索匹配的特征。局部 邻域区域的面积比整体图像要小，可以缩短特征匹配的搜索时间。 其中，改进的随机抽样一致性算法过程流程图如图5所示，包括以下 步骤：

步骤1：6-1图形对的同形图计算。在单个CPU内核执行中计算所有 图像对的候选同形图；

步骤2：6-2重投影误差计算和内部掩模生成。将候选同形图发送到 相应的图像对，以进行重投影误差计算和内部掩模生成；

步骤3：6-3同形图得分和内部掩码下载。将所有候选同形图的得分 和内部掩码下载到主存储器中。

进一步对改进的随机抽样一致性算法进行说明。

随机抽样一致性算法任意选择四个匹配特征来计算一个同形矩阵H， 将这个估计的H应用于所有匹配特征上，重复n次迭代，找到一个具 有最多的入口的特征。在具有挑战性的情况下，如果入口比较低，会 将n设置为较大的值(如n＝500)，以希望四个匹配特性中的至少一 个子集不包含任何异常值。

通过一次对所有图像对执行随机抽样一致性算法来最大化并行性并 最小化IO开销，提高随机抽样一致性算法性能。首先，在单个内核 执行中计算所有图像对的候选同形图。然后将候选的同形图发送到相 应的图像对，以进行重投影误差计算和内部掩模生成。最后，将所有 候选同素词的分数和更高级的掩码下载到主存储器中。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

Claims (4)

1.一种基于多无人机的实时视频拼接方法，它包括：

步骤1、无人机姿态矫正；利用图像像素坐标系和全局坐标系相互映射关系，在全局坐标系中进行调整；

步骤2、图像拍摄；

步骤3、图像处理及特征提取；利用无人机机载CPU进行图像处理及特征提取；

步骤4、地面站接收处理后图像信息；

步骤5、特征匹配区搜索；

步骤6、异常值删除；采用改进的随机抽样一致性算法对异常值进行删除；

步骤7、视频拼接质量优化；

步骤8、拼接视频输出。

2.根据权利要求1所述的一种基于多无人机的实时视频拼接方法，其特征在于：步骤1所述无人机姿态矫正的方法包括：

步骤1.1、图像像素映射到全局坐标系：使用矩阵K和B将图像像素映射到飞行控制器的全局坐标系统中；矩阵B为从相机中心的全局坐标系映射到以机体中心的全局坐标系时的变换矩阵；

步骤1.2、校正相机倾斜造成的影响：使用矩阵R校正相机倾斜造成的影响；

式中：θ_r、θ_p、θ_y分别为机体坐标系中翻滚、俯仰和偏航的姿态角；R为从严格向下的摄像机方向映射到倾斜方向的变换矩阵用矩阵；

正交校正矩阵M表示为

M＝KBR^-1B^-1K^-1 (2)

令(x,y,1)为原始齐次像素坐标，用矩阵乘法表示校正后对应的像素坐标(x′,y′,z′)。

[x′y′z′]^T＝M[x y l]^T (3)

步骤1.3、图像像素映射回像素坐标系：使用矩阵K和B将图像像素在全局坐标系映射回像素坐标系中。

3.根据权利要求1所述的一种基于多无人机的实时视频拼接方法，其特征在于：步骤5所述特征匹配区搜索的方法包括：

步骤5.1、像素坐标位置转换到全局坐标系：将图像像素位置由像素坐标系转换为全局坐标系，以传感器的中心为原点；

步骤5.1、合并全局坐标系：根据GPS位置的差异合并不同图像映射的全局坐标系；

步骤5.3、局部区域搜索匹配的特征：在全局坐标系中局部区域进行匹配特征的搜索。

4.根据权利要求1所述的一种基于多无人机的实时视频拼接方法，其特征在于：步骤6所述采用改进的随机抽样一致性算法对异常值进行删除的方法包括：

步骤6.1、在单个CPU内核执行中计算所有图像对的候选同形图；

步骤6.2、将候选同形图发送到相应的图像对以进行重投影误差计算和内部掩模生成；

步骤6.3、将所有候选同形图的得分和内部掩码下载到主存储器中。