CN105812814A - 一种基于无人机视频的飞参数据可视化编码传输方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种基于无人机视频的飞参数据可视化编码传输方法。包括以下步骤：(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；(S2)对飞参数据进行可视化编码，得到飞参编码图像；(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。将编码后的飞参数据与视频数据一起传送，降低了数据带宽要求，统一了数据形式，减少了硬件要求，较好的满足了在无人机机载处理器上利用飞参数据进行视频处理和飞行控制的需求。

Description

一种基于无人机视频的飞参数据可视化编码传输方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于无人机视频的飞参数据可视化编码传输方法。

背景技术

随着无人机技术的发展，借助无人机进行视频采集的需求领域不断拓展，基于无人机视频进行无人机智能应用逐渐成为相关领域亟待解决的技术问题，具体包括视频压缩、无线传输、视频稳像、几何重建、自动避障等。其中视频稳像、几何重建、自动避障和无人机的飞行姿态紧密相关，将无人机飞参和视频处理技术相结合，有助于提高无人机上视频处理的效率和精度，对提高无人机智能应用水平具有意义。

以视频稳像技术为例，视频稳像方法大体可以分为机械稳像、光学稳像和电子稳像。其中前两者存在设备制造难度大、成本高、体积大等缺点，电子稳像包括基于图像匹配和基于飞参传感器数据两种途径。图像匹配方法需要不断在图像序列中重复搜索像素空间，效率受限，特别是在大角度旋转和抖动时算法效率与稳定性降低，难以满足无人机平台实时计算的应用需求。基于飞参传感器数据的稳像方法通过在无人机平台集成GPS、重力计、加速计等传感器，实时获取无人机的空间位置、俯仰、翻滚和偏航数据，利用飞参数据直接用于稳像计算，也可以用于视频的粗校正，实现前后帧视频的大致配准，配合基于图像匹配的稳像方法，从而大大降低基于图像匹配稳像算法的搜索空间，相对单纯图像匹配方法具有技术优势。飞参数据在无人机视频几何重建、自动避障等视频处理应用方面具有类似的价值。

基于飞参数据传感器的稳像方法的关键是准确和实时获取每一帧图像对应的飞参数据，实现视频帧和飞参数据两个数据序列的匹配，即完成视频帧的稳像时，即时获取每一帧图像准确对应的飞参数据。

大型和商用无人机依托搭载较多和高性能计算、传输、控制硬件设备来完成飞参与视频数据的融合、传输和应用，小型无人机受限于重量、续航电力、成本等因素，需要尽可能压缩各类设备的数量、重量和成本。因此小型无人机机载设备少，计算能力有限，需要一种简单高效的飞参数据处理方法；同时由于机上硬件设备相对简单，机载处理系统芯片接入数据的通道和接入方式受限，而不同视频与各类飞参传感器在数据生成频率、推送模式等存在较大差异，难以准确确定每一帧图像拍摄时刻对应的飞参数据，进而影响基于飞参数据进行视频处理的质量。目前尚无在线处理算法解决此难题。

发明内容

本发明采用将拍摄时刻飞参数据进行可视化编码，合成到视频帧中进行传输的方法，解决了现有技术中无人机视频处理和基于视频的飞行控制中无法精确获取飞参数据的技术问题。具体技术方案如下：

一种基于无人机视频的飞参数据可视化编码传输方法，包括以下步骤。

(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；

(S2)对飞参数据进行可视化编码，得到飞参编码图像；

(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；

(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。

进一步地，所述步骤(S2)具体过程为：

(S21)在收到飞参数据的每一时刻，将飞参数据拆分为一组数据片段，构造双射函数f，对每一个数据片段，将其映射到像素空间，输出由若干个像素色彩值表示的编码块，并对编码块进行顺序编号；

(S22)构建有限个已知确定长宽的空白图像作为编码区，按照编号顺序遍历所有编码块，在编码区上依次排列合并所有编码块，形成飞参编码图像。

进一步地，所述步骤(S3)具体过程为：在视频帧上确定有限个与编码区同样大小的矩形区域作为融合区，依次将每个飞参编码图像首行首列与视频帧上融合区左下角对齐，然后将飞参编码数据与当前帧的图像数据按照对齐位置进行融合，以两幅图像逐像素的叠加运算结果作为新的视频帧图像数据并输出。

进一步地，所述步骤(S4)具体过程为：实时获取新视频帧图像，从视频帧上提取已知长宽的飞参编码图像；按照已知的规定顺序和换行方式，对飞参编码图像分割重组所有编码块，按照双射函数的逆函数f^-1，解码重构所有飞参数据。

采用本发明获得的有益效果：本发明涉及图像与飞参数据融合处理器、飞参数据可视化编码算法、编码与视频图像融合算法、飞参数据解码算法；使用可视化编码方法，对包括多种飞参数据进行编码传输，具体包括：时间、飞行姿态、温压湿风、重力、加速度、光照、噪声。将编码后的飞参数据与视频数据一起传送，降低了数据带宽要求，统一了数据形式，减少了硬件要求，较好的满足了在无人机机载处理器上利用飞参数据进行视频处理和飞行控制的需求。

附图说明

图1是本发明步骤流程示意图；

图2是本发明具体实施例示意图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步说明。

参见图1，本发明的具体步骤的流程图。实施本发明方法之前，对于数据的获取需要进行准备，在无人机机载平台上集成视频、位置与运动传感器。

(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；实施例中，通过在机载处理系统上接入，实时采集的视频和飞参数据。设定无人机视频帧的分辨率为W×H，W、H为正整数，将需要编码输入的飞参数据表示为Data[M]，记为Data，M表示飞参数据的个数。设定可视化编码的颜色空间为用o_v表示为预设颜色值，v取值自然数且1≤v≤C_o，C_o取值为2的正整数幂：C_o∈[2¹，2²，2³，…，2⁸]。如图2(a)所示，M取值为6，需要编码输入的六自由度飞参数据为Data[6]；如图2(f)所示，C_o取值为2。

(S2)对飞参数据进行可视化编码，得到飞参编码图像；

(S21)在收到飞参数据的每一时刻，将飞参数据拆分为一组可单独编码的数据片段，如：单个数组元素Data[r],r∈[1,M]，其二进制长度为Len_r，r为整数。将Data[r]的二进制序列切分为fSize＝Len_r/(log₂C_O)个二进制序列片段BinSeg[fSize]，记为BinSeg。每个片段上的二进制序列长度为log₂C_O。令为二进制位顺序连接符，则从二进制位序列角度有：

$BinSeg\[1\]\⊕BinSeg\[2\]\⊕...\⊕BinSeg\[fSize\]=Data\[r\]$

对BinSeg中每个内存片段BinSeg[j]，j∈[1,fSize]，计算其十进制的值，记为g_j，得到十进制值序列G＝{g₁,g₂,…,g_fSize}。实施例如图2(b)所示。

构造双射函数构造编码块图像P_r＝{p₁,p₂,…,p_fSize}，编码块图像P_r包含的像素个数为fSize个；将颜色值作为编码块P_r上像素p_j的颜色值；遍历BinSeg中的元素BinSeg[j]，直至达到BinSeg结尾，完成单个飞参数据从数值到图像的可视化编码，即：Data[r]→P_r。实施例中，如图2(d)所示。

遍历Data中每个飞参数据Data[r]，r＝[2,M]，重复执行上述步骤，生成所有飞参的编码块集合P＝∪P_r。图2中，对单个数组元素Data[r],r∈[1,6]。

(S22)根据需要编码飞参的数据量，构建有限个已知确定长宽w×h的空白图像作为编码区，按照编号顺序遍历所有编码块，在编码区上依次排列合并所有编码块，形成飞参编码图像。实施例中，具体按照以下操作：

(S221)构建已知长宽为w×h的空白编码图像e_i作为编码区，i∈[1,C_E],C_E为最大可支持编码区的个数，w＜＜W,h＜＜H。即：C_E为6，w×h为8*4(像素)；

(S222)顺序处理每个编码块，对尚未排列入编码图像的编码块P_r，逐行逐列将其像素顺序复制到e_i上，然后写入块结束标志，标记P_r为已排列。

(S223)重复步骤S222，直至e_i上剩余空间不足以排列下一个编码块。

(S224)重复执行步骤S221-S223，直至P中所有编码块都已被排列，记最后生成的编码图像集为实施例中，如图2(e)所示。

(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；记生成的编码图像集为对应的无人机视频数据为I；

(S31)对中每个编码图像，设定其左下角对应于I上的坐标位置pt_i＝(x_i,y_i)，其中x_i∈[0,W-w),y_i∈[0,H-h)，作为E中每个编码图像的起始坐标位置列表

(S32)按照当前视频帧图像分辨率W×H，生成空白图像I_E，将E中每个编码图像按照各自起始坐标位置对齐，并替换I_E上被覆盖区的像素。

(S33)在I与I_E存在重叠的所有像素上，使用以下公式计算颜色值。记a,b为像素对应的行列号，Clr_E_a,b为I_E上的像素颜色，Clr_I_a,b为I上的像素颜色，α为控制参数，一般取0≤α≤0.4。本实施例中，取α＝0。

Clr_a,b＝α×Clr_I_a,b+(1-α)×Clr_E_a,b

(S34)以新的像素值Clr_a,b替换I上原有像素值Clr_I_a,b，生成新图像发送新的帧数据到接收端。

(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。

(S41)在接收端接收图像从图像上的位置开始，依次复制尺寸为W×H的图像记所有图像的集合为

(S42)遍历中的所有编码图像k取值为1,2,…,C_E，k为整数，实施颜色校正具体过程为：遍历子图像上的每个像素pix，计算与中每一种预设颜色的误差，使用误差最小的预设颜色替换pix的颜色。计算pix与o_v的误差dis_v公式为：

${\mathrm{dis}}_v=\sqrt{{(R_{pix}-R_{O_v})}^2+{(G_{pix}-G_{O_v})}^2+{(B_{pix}-B_{O_v})}^2}$

其中pix的色彩组成为(R_pix，G_pix，B_pix)，o_i的色彩组成为

(S43)创建数组记为在实施例中，创建数组

(S43)对待恢复的编码图像令其当前读取位置为首行首列。

(S44)对编码图像从当前读取位置开始，连续读取像素，直至遇到块结束标志，将已读取的像素序列记为fSize为已经读取的像素个数，上每个像素的颜色值为

(S45)对像素序列上的像素值o_j，使用f(G→O)的逆函数 为颜色在O中相同颜色元素的下标号，记数字的二进制表示的后log₂C_O位片段为

(S46)遍历上的所有像素，得到内存片段序列使用对内存片段进行顺序连接，计算连接结果的十进制值，保存至数组中。

(S47)重复步骤(S44)-(S46)，直至读取到末尾，在中依次保存所有获得值。

(S48)遍历中的每个编码图像，执行步骤(S43)-(S47)，直至所有编码图像处理完毕，数组即为恢复的无人机飞参数据。

在此实施例的基础上，当需增加编码新数据时，只需要根据新增数据的个数，增加Data和的相应维度即可，例如增加一个磁场强度数据后，可将二者的维度在原有基础上加1；当需提高可视化编码的信息密度时，在规定的值域内增加C₀的取值；当需要保留视频帧上编码区内原视频部分信息时，在规定的值域内增加α的取值。

应当指出，本发明并不局限于以上特定实施例，本领域技术人员可以在权利要求的保护范围内做出任何变形或改进，均落在本发明的保护范围之内。

Claims (4)

1.一种基于无人机视频的飞参数据可视化编码传输方法，其特征在于，包括以下步骤：

(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；

(S2)对飞参数据进行可视化编码，得到飞参编码图像；

(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；

(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。

2.如权利要求1所述的一种基于无人机视频的飞参数据可视化编码传输方法，其特征在于，所述步骤(S2)具体过程为：

(S21)在收到飞参数据的每一时刻，将飞参数据拆分为一组数据片段，构造双射函数f，对每一个数据片段，将其映射到像素空间，输出由若干个像素色彩值表示的编码块，并对编码块进行顺序编号；

(S22)构建有限个已知确定长宽的空白图像作为编码区，按照编号顺序遍历所有编码块，在编码区上依次排列合并所有编码块，形成飞参编码图像。

3.如权利要求2所述的一种基于无人机视频的飞参数据可视化编码传输方法，其特征在于，所述步骤(S3)具体过程为：在视频帧上确定有限个与编码区同样大小的矩形区域作为融合区，依次将每个飞参编码图像首行首列与视频帧上融合区左下角对齐，然后将飞参编码数据与当前帧的图像数据按照对齐位置进行融合，以两幅图像逐像素的叠加运算结果作为新的视频帧图像数据并输出。

4.如权利要求1所述的一种基于无人机视频的飞参数据可视化编码传输方法，其特征在于，所述步骤(S4)具体过程为：实时获取新视频帧图像，从视频帧上提取已知长宽的飞参编码图像；按照已知的规定顺序和换行方式，对飞参编码图像分割重组所有编码块，按照双射函数的逆函数f^-1，解码重构所有飞参数据。