CN105120232B - 无人机图像监控和传输方法 - Google Patents

Abstract

本发明公开了一种无人机图像监控和传输方法，该方法包括如下步骤：S1.监控计算机启动飞控程序，所述卫星导航单元启动GPS导航程序；S2.高清运动摄像机按照飞控程序的轨迹采集视频图像，视觉计算机对图像进行处理；S3.视频图像无线发射模块，和视频图像接收模块，配合完成图像信号的无线发送和接收；S4.中心站点图像处理模块对接收到的图像信号进行处理，并在显示终端上显示。该方法支持视觉导航、图像识别与避障，将卫星通信网络模式与传统通信模式融合在一起，可解决大容量图像数据的高速交换，并具有较高的安全性。

Description

无人机图像监控和传输方法

技术领域

本发明涉及图像监控和传输领域，具体涉及一种无人机图像监控和传输方法。

背景技术

目前无人机拍摄的视频一般都是通过图像传输设备将视频传输到地面站系统上，然后观察者可以在地面基站上，实时查看无人机拍摄的视频，但是由于图像传输设备和天线的限制，使得地面基站所在的位置与无人机之间的距离必须在一定的范围内，从而导致观察者也必须随着地面基站在此范围内，如果离开了此范围则不能进行实时查看无人机拍摄的视频，对其应用具有非常大的限制。

现有的视频图像的回传，大多数是基于模拟视频信号，图像不清晰，还需要一个称为IOSD的设备，这个设备实际上就将高清摄像机的模拟视频信号与飞行参数进行叠加回传地面，因此虽然飞机上存储的是高清图像，但回传到地面的图像是叠加了飞行状态参数的模拟图像，而人们往往需要实时看到飞机上拍摄的高清数字图像。

无人机视频传输应用实现的关键在于无线传输链路手段。目前的无线传输技术主要有包括以下技术：3G网络(CDMA2000、WCDMA、TD-SCDMA)、4G(TD-LTE和FDD-LTE)网络、无线局域网(WIFI)、卫星、微波等。

卫星和微波技术是无线视频传输的传统手段，且卫星通信技术的最大优点是服务范围广、功能强大、使用灵活，不受地理环境和其它外部环境的影响，尤其是不受外界电磁环境的影响。但这两种技术成本居高不下，其昂贵的初始建造费用和通讯费用常使人望而却步，无法大面积推广。

WIMAX/WIFI等技术构建无线城域网来进行大范围覆盖的视频应用,需要建设方建设大量基站，一方面基站建设成本巨大，非一般用户能够承受；另一方面即使某一单位建成了无线城域网，由于其初始建设费用巨大而不愿与其他用户进行共享，从而对社会资源造成了较大浪费。

移动运营商所建的无线网络(4G、3G)是全社会覆盖的巨型网络，利用运营商建设的现有无线网络传输移动视频图像和声音，有以下显而易见的优势：(1)地理位置广，只要在手机信号能覆盖的位置就能传输视音频；(2)初始投资低，省去了基站建设的建设和维护的高额费用，从全社会角度看可以避免大量单位重复建设基站，从而节省了社会资源；(3)通讯资费便宜，手机链路的通信资费相比卫星等传输方式，资费具有极大的优势，同时通过参加套餐、预存话费等方式还能够大幅降低运营通讯费。

发明内容

本发明提供一种无人机图像监控和传输方法，该方法支持视觉导航、图像识别与避障，将卫星通信网络模式与传统通信模式融合在一起，可解决大容量图像数据的高速交换，并具有较高的安全性。

为了实现上述目的，本发明提供一种无人机图像监控和传输方法，该方法包括如下步骤：

S1.监控计算机启动监控程序，所述卫星导航单元启动GPS导航程序；

S2.高清运动摄像机按照监控程序的轨迹采集视频图像，视觉计算机对图像进行处理；

S3.视频图像无线发射模块，和视频图像接收模块，配合完成图像信号的无线发送和接收；

S4.中心站点图像处理模块对接收到的图像信号进行处理：中心站点图像处理模块的解密装置对于视频文件进行解密后，解码设备对文件进行解码，显示设备进行视频实时显示。

优选的，在步骤S1中，还包括如下导航定位步骤：

监控计算机11对卫星导航单元13传递来的定位数据进行判断：

若定位数据在正常范围内：则监控计算机11将接收到的定位数据存入存储器中；

所述在正常范围的定位数据是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若相邻两个采样点的经度的差值不超过0.0002度，且相邻两个采样点的纬度的差值不超过0.00018度，且相邻两个采样点的高度的差值不超过20米，判定定位数据为正常范围；

若定位数据发生异常：则监控计算机11将存储在存储器中的定位数据调出，按照历史轨迹返回到出发位置；

所述定位数据发生异常是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若经度的差值超过0.0002度，或纬度的差值超过0.00018度，或高度的差值超过20米，则判定定位数据发生异常。

优选的，所述定位数据为无人机在每个时间点的经度信息x、纬度信息y、高度信息z的集合，记为{xt yt zt}；其中，

(x1 y1 z1)为无人机在第1个时间点的经度、纬度、高度信息；

(x2 y2 z2)为无人机在第2个时间点的经度、纬度、高度信息；

以此类推，(xt-1 yt-1 zt-1)为无人机在第t-1个时间点的的经度、纬度、高度信息；(xt yt zt)为无人机在第t个时间点的经度、纬度、高度信息；

相邻两个时间点的间隔取0.5至5.0秒；每个历史定位数据均存储在监控计算机11的存储器中；

将第t个时间点的定位数据与第t-1个时间点的定位数据进行比较：

若xt-xt-1＜0.0002，且yt-yt-1＜0.00018，且zt-zt-1＜20米，

即经度的差值不超过0.0002度，且纬度的差值不超过0.00018度，高度的差值不超过20米时，判定第t个时间点的定位数据属于正常范围，并将该第t个时间点的定位数据存入监控计算机11的存储器；

若xt-xt-1≥0.0002，或yt-yt-1≥0.00018，或zt-zt-1≥20米；即经度的差值、纬度的差值、高度的差值中的任一个超出正常范围，均判定第t个时间点的定位数据发生了异常，也即认为无人机的飞行发生了异常；

由监控计算机11将存储器中的第t-1个时间点的定位数据、第t-2个时间点的定位数据、……第2个时间点的定位数据、第1个时间点的定位数据逐次读取，并控制无人飞行器按照原来的轨迹返回的出发地。

优选的，在步骤S1中，监控程序包括应用级程序、实时任务调度程序和外部中断处理程序、硬件初始化程序、硬件驱动程序、CAN通信协议程序、LAN(TCP/IP)通信协议程序，所述应用级程序与实时任务调度程序和外部中断处理程序连接，所述实时任务调度程序和外部中断处理程序与硬件初始化程序连接，所述硬件初始化程序与硬件驱动程序连接。

优选的，所述应用级程序包括应用层接口程序、电源管理与电量监测程序、飞行指示灯控制程序、安全控制程序、视觉控制程序、航迹控制程序、增稳控制程序、遥控器解码程序、通信处理程序。

优选的，在步骤S2中，可采用如下方法对视频图像进行处理：

S21：获取视频中的一个帧，即获得该帧表示的图像；

S22：按照预定噪声去除规则去除所述图像中的噪声数据；

S23：按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象。

优选的，在步骤S3中，多信道分发系统对信道进行检测，选择最优的信道，优先级依次为：短距离无线传输，移动通信传输，卫星通信传输。

优选的，在步骤S4中，包括如下子步骤：

S41.视频文件分割器对视频文件进行分割；

S42.视频压缩编码器对分割完成的文件进行压缩；

S43.加密装置对压缩完的视频文件进行加密操作。

优选的，在步骤S3中，多信道分发设备选择一个或者多个信道进行视频文件的传输，多信道分发模块同时对信道进行监测，在信道资源发生改变的时候进行合理的信道切换。

优选的，信道切换时，视频文件同时通过两个信道进行传输，待信道传输稳定之后，中心图像处理系统对原始传输源进行屏蔽，此时，多信道分发设备停止该信道传输，保证在信道切换时，监控画面不间断。

本发明具有以下优点和有益效果：(1)支持高清数字图像实时传回地面，满足高清数字传输要求，支持视觉导航、障碍规避和图像目标识别跟踪，满足新技术发展要求；(2)该设备是通过将卫星通信网络模式与传统通信模式融合在一起，只需要一套视频图像采集系统和多信道分发系统设备，就能将两种通信链路捆绑传输音视频信号，使得应急指挥通信宽带成本降低，并且使得使用范围提升。

附图说明

图1示出了本发明的一种无人机图像监控和传输系统的框图。

图2示出了本发明的一种无人机图像监控和传输方法。

具体实施方式

图1是示出了本发明的无人机图像监控和传输系统。该系统包括：安装在无人机内的图像监控装置1和安装在地面中心站的视频传输装置2。

其中，图像监控装置1包括：安装在无人机上的监控计算机11、卫星导航单元13、高清运动摄像机12、视频图像无线发射模块14和视觉计算机15。

所述监控计算机11还嵌入有以太网交换芯片(LANswitch)，所述以太网交换芯片(LANswitch)与监控计算机15(ARM)通过局域网(LAN)连接，

所述视觉计算机15内部有DSP处理器、ARM处理器，运行Linux操作系统，以百兆以太网口与所述监控计算机连接，通过所述监控计算机的以太网交换芯片(LANswitch)所扩展的以太网交换式总线接收高清运动摄像传回的图片，进行图像的分析解算，并与光流传感器、超声波传感器、惯性测量单元数据进行融合，进行视觉导航、障碍规避、图像目标识别跟踪。

所述高清运动摄像机12直接由以太网口与监控计算机11所扩展的以太网交换式总线进行连接，支持多个视频流的转发，通过以太网交换芯片(LANswitch)将高清视频数据传给视觉计算机(DSP+ARM)进行图像计算。

所述视频图像无线发射模块14可兼容多种信号发射模式，包括短距离无线传输，卫星信号发射模式，3G/4G移动信号发射模式等。

所述卫星导航单元13为GPS/北斗接收芯片、磁罗盘、单片机，出CAN总线与监控计算机(ARM)连接，支持GPS和北斗导航定位，支持磁航向计对飞行器姿态的解算，并与惯性测量单元(IMU)进行数据融合，最终由监控计算机11解算飞行器姿态和飞行器位置。

视频传输装置2包括：视频图像接收模块21、多信道分发模块22、中心站点图像处理模块23和显示终端24。所述视频图像接收模块21，经卫星网络或移动通信网络接收所述图像发射模块发射14的图像信号；所述的多信道分发模块22由视频压缩编码器，多信道通信分发设备，通信设备，网关设备组成，所述的通信设备包括有线传输设备，短距离无线通信设备，移动通信设备，卫星通信设备，所述的中心图像处理系统由解码设备，图像显示设备组成。

多信道分发系统通过对于现有信道的检测，寻找最佳信道，视频压缩编码器对视频图像采集系统采集到的视频和图像进行压缩编码，减小文件大小，减小信道压力，通过最佳信道进行视频文件传输，将视频文件就、传输至网络服务器，中心图像处理系统接入internet公网，对视频文件进行实时解码，并且显示在图像显示设备上。

所述多信道分发设备上设置有加密装置，所述的中心站点图像处理系统上设置有解密设备，采用这种设计以后，通过对于数据的加密，从而保证了数据传输过程中的安全性，采用硬件加密和硬件解密设备，使得软件破解难度非常大，即使有人截获了相关的文件，但是由于没有相对应的硬件，也难以进行文件的解密，最大程度的保证了传输文件的安全性。

所述的移动通信设备采用多种网络制式设备，兼容3G和4G网络。采用这种设计以后，国家3G已经基本稳定，4G高速发展，现阶段，是3G和4G共存的一个阶段，两种制式都能满足传输音视频文件的需求，因为其覆盖面和覆盖强度的不同，采用兼容3G和4G的方法是最佳选择，4G的数据传输量比较大，但是覆盖面比较差，适合在具有4G信号的地方进行高质量视频传输，3G覆盖面比较广，但是数据传输量比较小，适合在没有4G信号的地方进行视频传输。

所述的卫星通信设备包括卫星天线，卫星功放，LNB，卫星调制解调器，采用这种设计以后，通过该卫星通信设备，可以实现视频数据通过卫星信号进行传输，提升了设备适用范围。

图2示出了本发明的一种无人机图像监控和传输方法。该方法具体包括如下步骤：

S1.监控计算机启动监控程序，所述卫星导航单元启动GPS导航程序；

S2.高清运动摄像机按照监控程序的轨迹采集视频图像，视觉计算机对图像进行处理；

S3.视频图像无线发射模块，和视频图像接收模块，配合完成图像信号的无线发送和接收；

S4.中心站点图像处理模块对接收到的图像信号进行处理：中心站点图像处理模块的解密装置对于视频文件进行解密后，解码设备对文件进行解码，显示设备进行视频实时显示。

优选的，在步骤S1中，还包括如下导航定位步骤：

监控计算机11对卫星导航单元13传递来的定位数据进行判断：

若定位数据在正常范围内：则监控计算机11将接收到的定位数据存入存储器中；

所述在正常范围的定位数据是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若相邻两个采样点的经度的差值不超过0.0002度，且相邻两个采样点的纬度的差值不超过0.00018度，且相邻两个采样点的高度的差值不超过20米，判定定位数据为正常范围；

若定位数据发生异常：则监控计算机11将存储在存储器中的定位数据调出，按照历史轨迹返回到出发位置；

所述定位数据发生异常是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若经度的差值超过0.0002度，或纬度的差值超过0.00018度，或高度的差值超过20米，则判定定位数据发生异常。

优选的，所述定位数据为无人机在每个时间点的经度信息x、纬度信息y、高度信息z的集合，记为{xt yt zt}；其中，

(x1 y1 z1)为无人机在第1个时间点的经度、纬度、高度信息；

(x2 y2 z2)为无人机在第2个时间点的经度、纬度、高度信息；

以此类推，(xt-1 yt-1 zt-1)为无人机在第t-1个时间点的的经度、纬度、高度信息；(xt yt zt)为无人机在第t个时间点的经度、纬度、高度信息；

相邻两个时间点的间隔取0.5至5.0秒；每个历史定位数据均存储在监控计算机11的存储器中；

将第t个时间点的定位数据与第t-1个时间点的定位数据进行比较：

若xt-xt-1＜0.0002，且yt-yt-1＜0.00018，且zt-zt-1＜20米，

即经度的差值不超过0.0002度，且纬度的差值不超过0.00018度，高度的差值不超过20米时，判定第t个时间点的定位数据属于正常范围，并将该第t个时间点的定位数据存入监控计算机11的存储器；

若xt-xt-1≥0.0002，或yt-yt-1≥0.00018，或zt-zt-1≥20米；即经度的差值、纬度的差值、高度的差值中的任一个超出正常范围，均判定第t个时间点的定位数据发生了异常，也即认为无人机的飞行发生了异常；

由监控计算机11将存储器中的第t-1个时间点的定位数据、第t-2个时间点的定位数据、……第2个时间点的定位数据、第1个时间点的定位数据逐次读取，并控制无人飞行器按照原来的轨迹返回的出发地。

优选的，在步骤S1中，监控程序包括应用级程序、实时任务调度程序和外部中断处理程序、硬件初始化程序、硬件驱动程序、CAN通信协议程序、LAN(TCP/IP)通信协议程序，所述应用级程序与实时任务调度程序和外部中断处理程序连接，所述实时任务调度程序和外部中断处理程序与硬件初始化程序连接，所述硬件初始化程序与硬件驱动程序连接。

优选的，所述应用级程序包括应用层接口程序、电源管理与电量监测程序、飞行指示灯控制程序、安全控制程序、视觉控制程序、航迹控制程序、增稳控制程序、遥控器解码程序、通信处理程序。

优选的，在步骤S2中，可采用如下方法对视频图像进行处理：

S21：获取视频中的一个帧，即获得该帧表示的图像。

S22：按照预定噪声去除规则去除所述图像中的噪声数据。

图像在获取、传输和存储过程中常常会受到各种噪声的干扰和影响而使图像降质。为了得到高质量的数字图像，有必要对图像进行降噪处理，尽可能在保持原始信息完整性的同时，并能够去除信号中无用的信息。

视频图像去噪的最终目的是改善给定的图像，解决实际图像由于噪声干扰而导致图像质量下降的问题。通过去噪技术有效地提高图像质量，增大信噪比，更好的体现原来图像所携带的信息。

目前对图像进行去噪处理的方法基本可分成两类：空间域法和变换域法。前者是在原图像上直接进行数据运算，对像素的灰度值进行处理；常见的空间域图像去噪算法有邻域平均法、中值滤波、低通滤波等。后者是在处理像素点领域有关的空间域上进行运算，对图像进行某种运算，将图像从空间域转换到变换域，再对变换域中的变换系数进行处理，再进行反变换将图像从变换域转换到空间域达到去除图像噪声的目的。其中，傅里叶变换和小波变换是常见的用于图像去噪的变换方法。由于去噪方法是较为成熟的技术，因此本申请实施例可根据实际情况自由选择上述方法，不构成对申请的限制。

鉴于视频监控系统大多是对可动目标对象的监控的特殊性，本申请的一个实施方式中，将不需监控或重点监控的不可动背景与可动前景进行分离，即将获取的监控视频的背景部分作为噪声数据的一部分去除。

S23：按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象。

对图像进行检索的目的是要识别其中的目标对象，首先要提取目标对象的特征，并依据该特征识别对象。因此图像检索的主要问题之一就是图像底层特征的提取。

优选的，在步骤S3中，多信道分发系统对信道进行检测，选择最优的信道，优先级依次为：短距离无线传输，移动通信传输，卫星通信传输。

优选的，在步骤S4中，包括如下子步骤：

S41.视频文件分割器对视频文件进行分割；

S42.视频压缩编码器对分割完成的文件进行压缩；

S43.加密装置对压缩完的视频文件进行加密操作。

优选的，在步骤S3中，多信道分发设备选择一个或者多个信道进行视频文件的传输，多信道分发模块同时对信道进行监测，在信道资源发生改变的时候进行合理的信道切换。

优选的，信道切换时，视频文件同时通过两个信道进行传输，待信道传输稳定之后，中心图像处理系统对原始传输源进行屏蔽，此时，多信道分发设备停止该信道传输，保证在信道切换时，监控画面不间断。

如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (6)

1.一种无人机图像监控和传输方法，该方法包括如下步骤：

S1.监控计算机启动监控程序，卫星导航单元启动GPS导航程序；

S2.高清运动摄像机按照监控程序的轨迹采集视频图像，视觉计算机对图像进行处理；

S3.视频图像无线发射模块，和视频图像接收模块，配合完成图像信号的无线发送和接收；

S4.中心站点图像处理模块对接收到的图像信号进行处理：中心站点图像处理模块的解密装置对于视频文件进行解密后，解码设备对文件进行解码，显示设备进行视频实时显示；

在步骤S1中，还包括如下导航定位步骤：

监控计算机对卫星导航单元传递来的定位数据进行判断：

若定位数据在正常范围内：则监控计算机将接收到的定位数据存入存储器中；

所述在正常范围的定位数据是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若相邻两个采样点的经度的差值不超过0.0002度，且相邻两个采样点的纬度的差值不超过0.00018度，且相邻两个采样点的高度的差值不超过20米，判定定位数据为正常范围；

若定位数据发生异常：则监控计算机将存储在存储器中的定位数据调出，按照历史轨迹返回到出发位置；

所述定位数据发生异常是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若经度的差值超过0.0002度，或纬度的差值超过0.00018度，或高度的差值超过20米，则判定定位数据发生异常；

所述定位数据为无人机在每个时间点的经度信息x、纬度信息y、高度信息z的集合，记为{xt yt zt}；其中，

(x1 y1 z1)为无人机在第1个时间点的经度、纬度、高度信息；

(x2 y2 z2)为无人机在第2个时间点的经度、纬度、高度信息；

以此类推，(xt-1 yt-1 zt-1)为无人机在第t-1个时间点的的经度、纬度、高度信息；(xt yt zt)为无人机在第t个时间点的经度、纬度、高度信息；

相邻两个时间点的间隔取0.5至5.0秒；每个历史定位数据均存储在监控计算机的存储器中；

将第t个时间点的定位数据与第t-1个时间点的定位数据进行比较：

若xt-xt-1＜0.0002，且yt-yt-1＜0.00018，且zt-zt-1＜20米，

即经度的差值不超过0.0002度，且纬度的差值不超过0.00018度，高度的差值不超过20米时，判定第t个时间点的定位数据属于正常范围，并将该第t个时间点的定位数据存入监控计算机的存储器；

若xt-xt-1≥0.0002，或yt-yt-1≥0.00018，或zt-zt-1≥20米；即经度的差值、纬度的差值、高度的差值中的任一个超出正常范围，均判定第t个时间点的定位数据发生了异常，也即认为无人机的飞行发生了异常；

由监控计算机11将存储器中的第t-1个时间点的定位数据、第t-2个时间点的定位数据、……第2个时间点的定位数据、第1个时间点的定位数据逐次读取，并控制无人飞行器按照原来的轨迹返回的出发地；

在步骤S2中，采用如下方法对视频图像进行处理：

S21：获取视频中的一个帧，即获得该帧表示的图像；

S22：按照预定噪声去除规则去除所述图像中的噪声数据；

S23：按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象；

在步骤S3中，多信道分发系统对信道进行检测，选择最优的信道，优先级依次为：短距离无线传输，移动通信传输，卫星通信传输。

2.如权利要求1所述的方法，其特征在于，在步骤S1中，监控程序包括应用级程序、实时任务调度程序和外部中断处理程序、硬件初始化程序、硬件驱动程序、CAN通信协议程序、LAN通信协议程序，所述应用级程序与实时任务调度程序和外部中断处理程序连接，所述实时任务调度程序和外部中断处理程序与硬件初始化程序连接，所述硬件初始化程序与硬件驱动程序连接。

3.如权利要求2所述的方法，其特征在于，所述应用级程序包括应用层接口程序、电源管理与电量监测程序、飞行指示灯控制程序、安全控制程序、视觉控制程序、航迹控制程序、增稳控制程序、遥控器解码程序、通信处理程序。

4.如权利要求3所述的方法，其特征在于，在步骤S4中，包括如下子步骤：

S41.视频文件分割器对视频文件进行分割；

S42.视频压缩编码器对分割完成的文件进行压缩；

S43.加密装置对压缩完的视频文件进行加密操作。

5.如权利要求4所述的方法，其特征在于，在步骤S3中，多信道分发设备选择一个或者多个信道进行视频文件的传输，多信道分发模块同时对信道进行监测，在信道资源发生改变的时候进行合理的信道切换。

6.如权利要求5所述的方法，其特征在于，信道切换时，视频文件同时通过两个信道进行传输，待信道传输稳定之后，中心图像处理系统对原始传输源进行屏蔽，此时，多信道分发设备停止该信道传输，保证在信道切换时，监控画面不间断。