CN105049812B - 一种无人机便携式地面站处理方法及系统 - Google Patents

Abstract

本发明公开了一种无人机便携式地面站处理方法及系统，方法包括如下步骤：地面站接收无人机拍摄并发送的视频；所述地面站检测所述地面站与图像处理中心端之间的通讯链路的传输速率；若所述传输速率小于第一设定传输速率，所述地面站根据所述图像处理中心端发送的图像处理重叠度需求，从所述视频中提取图像，并将所述图像发送给所述图像处理中心端。本发明的无人机便携式地面站处理方法具有影像管理和智能推送功能，可以满足边飞行、边处理、边推送、边分析。

Description

一种无人机便携式地面站处理方法及系统

【技术领域】

本发明涉及一种无人机便携式地面站处理方法及系统。

【背景技术】

无人机可以搭载遥感影像设备，获取地物高清视频影像，并通过图传设备实时传回地面端。地面站是无人机系统的必要组成，主要完成航迹规划、飞行控制、载荷控制、综合显示等功能。

便携式地面站受处理能力的限制，一般只对无人机回传的视频影像进行显示，比如公开号为CN 203117728U的《无人机单兵便携地面控制站系统》专利文献所描述的地面站系统。当遇到有全景拼接、三维重建等图像处理需求时，则需要增加机载或地面站存储模块，通过先拍摄，后处理的方式来完成，先将无人机拍摄的视频影像存储在机载端或者地面站，等拍摄任务执行完后，再结合飞行参数进行图像分析处理工作。公开号为CN103942273A的《一种空中快速响应动态监测系统及其动态监测方法》专利文献中，采用的是机载端大容量存储器，等飞行任务执行完毕后，地面站快速浏览与拼接模块才能执行全景拼接。公开号为CN 103941745 A的《用于无人机输电线路巡检的移动子站及工作方法》专利文献采用的是地面站存储器，等飞行任务执行完后，移动子站结合飞行日志进行图像分析处理，寻找巡检线路缺陷，得到飞行报告，再将飞行报告发送到集中监控子系统。

然而某些应用领域对实时获得图像分析结果的需求非常迫切，比如抢险救灾时刻，时间就是生命。这一方面对图像处理服务端提出了很高的要求，尤其是需要三维快速重建的应用领域，往往需要后台集群并行处理，这使得图像处理服务端规模较大，不能与地面站集成，也不便随无人机作业地点而迁移；另一方面对地面站与图像处理服务端之间的通信链路提出了很高的要求，既要不受地域和距离限制，又要保证高清影像信息的顺畅传输；同时还需要地面站与图像处理服务端之间相互协作，实现任务的分解与并行处理。

【发明内容】

现有技术中，地面站向图像处理中心端发送高清视频时，如果遇到地面站与图像处理中心端之间的通信链路传输速率较低时，图像处理中心端无法实时接收到视频，影响了中心端的处理分析。

为了克服现有技术的不足，本发明提供了一种无人机便携式地面站处理方法，包括如下步骤：

S1，地面站接收无人机拍摄并发送的视频；

S2，所述地面站检测所述地面站与图像处理中心端之间的通讯链路的传输速率；

S3，若所述传输速率小于第一设定传输速率，所述地面站根据所述图像处理中心端发送的图像处理重叠度需求，从所述视频中提取图像，并将所述图像发送给所述图像处理中心端。

在一个实施例中，

在步骤S3中，所述地面站等间隔从所述视频中提取图像，所述图像处理重叠度需求越大，所述间隔越小。

在一个实施例中，

若所述地面站接收到所述图像处理中心端发送的重传指定图像的命令，所述地面站在所述视频中与所述指定图像的相邻位置重新提取替代图像，并将所述替代图像发送给所述图像处理中心端。

在一个实施例中，

步骤S1还包括如下步骤：

所述地面站将所述视频分段存储为多个视频段；

在所述地面站接收到所述图像处理中心端发送的重传指定图像的命令后，所述地面站根据所述指定图像的序号，确定所述指定图像所在的视频段，并在所述指定图像所在的视频段内确定所述指定图像的位置。

在一个实施例中，

在步骤S2中，所述地面站检测获取所述地面站与图像处理中心端之间所有可用的通讯链路，并在所有可用的通讯链路中选择传输速率最大的通讯链路；

在步骤S2和步骤S3之间还包括如下步骤：

若所述传输速率满足实时传输视频，则所述地面站向所述图像处理中心端发送视频。

在一个实施例中，

若所述传输速率小于第二设定传输速率，则所述地面站对所述图像进行降低分辨率处理，并将降低分辨率后的图像发送给所述图像处理中心端。

在一个实施例中，

若某张降低分辨率后的图像无法满足所述图像处理中心端的要求，则所述地面站将未降低分辨率前的图像发送给所述图像处理中心端。

在一个实施例中，

所述地面站可以包括多个不同的通讯模块，当几个并行的图像处理中心端需要无人机传输的视频或图像时，所述地面站可以通过不同的通讯模块发送给对应的图像处理中心端。

本发明还提供了一种无人机便携式地面站处理系统，包括视频采集模块、通讯模块和图像预处理模块；

所述视频采集模块用于接收无人机拍摄并发送的视频；

所述通讯模块用于检测所述地面站与图像处理中心端之间的通讯链路的传输速率；

若所述传输速率小于第一设定传输速率，所述图像预处理模块用于根据所述图像处理中心端发送的图像处理重叠度需求，从所述视频中提取图像，所述通讯模块将所述图像发送给所述图像处理中心端。

本无人机便携式地面站处理方法可以根据地面站与中心端之间通讯链路的传输速率，根据中心端的图像处理重叠度需求，从所述视频中提取图像，并将所述图像发送给所述图像处理中心端。这样，地面站既能够将图片顺利地传输到中心端，中心端也能够完成图像处理分析工作，尽可能地获得拍摄现场的大致情况，从而可以作出合理的处理决定。

本发明的无人机便携式地面站处理方法具有影像管理和智能推送功能，可以满足边飞行、边处理、边推送、边分析。

现有地面站便携式计算机就能满足影像管理与智能推送功能的运算需要，可不额外增加或者升级目前便携式地面站的计算机。

地面站智能判断通讯链路数据传输能力，在通讯链路传输能力足够的情况下，直接发送实时视频至中心端，最大限度发挥中心端图像处理能力；在通讯链路传输能力不够的情况下，自动完成将视频转换为图片的工作，根据传输速率调整图片分辨率，仅向中心端发送图片，不仅分担了图像处理的前期任务，提高了图像分析处理效率，还大大减少了传输数据量，使得现有的移动通信网络就能够胜任，确保通信过程不会卡顿，能够实现实时分析处理。

中心端可以是任意城市任意地点，比如应急办指挥大厅，可以充分利用各种处理中心的能力，满足复杂多样的图像分析处理需求。不需要为了实现集群并行处理配备车载，或者是移动的中心端。

中心端可以根据地面站任务完成情况的实时反馈进行任务调整，地面站及时调整飞行任务，减少飞行作业时间，提升飞行效率。

【附图说明】

图1是本发明一种实施例的无人机、地面站和中心端的系统图；

图2是本发明一种实施例的无人机便携式地面站处理方法流程图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示，一种实施例的无人机、地面站和图像处理中心端(或指挥中心，以下简称中心端)组成的系统图。

无人机可以搭载低空遥感影像设备，拍摄地物高清视频影像，实时向便携式地面站传回高清视频。

地面站随无人机进行野外作业，对无人机进行飞行控制，并实时接收视频。地面站向中心端发送视频或图像，以供中心端进行处理分析。中心端通常是固定地点，比如政府应急指挥中心，地面站与中心端之间不受距离限制。

便携式地面站根据应用领域对图像分析处理的需求，对视频流进行分段存储，分段时长可任意指定，并根据时间、空间信息、飞行参数、拍摄参数等建立目录和检索信息。

如图2所示，一个实施例的无人机便携式地面站处理方法，包括如下步骤：

S1，便携式地面站判断地面站与中心端之间的通讯链路情况。

S2，判断所有可用的通讯链路，例如判断专网、4G、3G、WiFi等通迅网络哪些可用。

S3，选择并切换至可用的传输速率最高的通讯链路。

S4，判断该通讯链路信号传输速率是否满足高清视频实时传输。当通讯链路信号传输速率满足高清视频实时传输需求时，地面站直接将高清视频流实时推送至中心端。中心端接收到视频后，根据任务需求执行图像分析处理工作，比如提取视频帧序列，执行全景拼接、三维重建、目标追踪等，获取无人机作业地点目标地物信息。

如果中心端发现地面站传输的某段视频的质量无法满足图像处理分析，则可以向地面站发送需要无人机重新拍摄该段视频的命令，地面站根据该命令，控制无人机返回对应位置再次拍摄。这样可以避免无人机已经执行完整条拍摄飞行路径后，再次补拍相关位置的视频，从而提高了飞机飞行的效率。

S5，当通讯链路信号传输速率不满足高清视频实时传输需求时(即传输速率小于第一设定传输速率)，地面站自动启动图像预处理程序。如果此时仍传输视频，中心端无法实时看到拍摄现场的情况，而无法第一时间作出相应的处理决定。

中心端根据当前图像分析处理工作的图像处理重叠度需求，向地面站发送图像处理重叠度需求，所谓图像处理重叠度，是指相邻的图像之间的重合度的百分比。例如，在某一个全景拼接任务中，图像处理重叠度不能少于30％，否则，无法完成全景拼接，或者拼接得到的效果较差。同样，三维重建也有一个最低的图像处理重叠度需求。

地面站根据所述图像处理中心端发送的图像处理重叠度需求，从所述视频中提取图像，并将所述图像发送给所述图像处理中心端。中心端接收到这些图像后，即可以完成相对应的图像处理分析工作。这样，地面站既能够将图片顺利地传输到中心端，中心端也能够完成图像处理分析工作，尽可能地获得拍摄现场的大致情况，从而可以作出合理的处理决定。

当无人机的飞行速度一定时，地面站等间隔地从视频中提取图像，则可以获得图像处理重叠度相同的图像序列。而当无人机的飞行速度变化时，地面站要则可能需要调整提取图像之间的间隔，从而保证图像重叠度的需求达到中心端的要求。

中心端在作不同种类的图像处理分析，对图像处理重叠度的要求通常是不同的。当中心端要求的图像处理重叠度越大时，地面站提取图像的间隔越小，反之，如果图像处理重叠度越小，地面站提取图像的间隔越大。

为了进一步提高图像的传输效率和质量，地面站可以提取有效视频帧序列，将视频转化为图像，执行筛选、矫正、压缩等预处理，再将图片发送至中心端。

在某些情况下，无人机在拍摄时，可能会受到某些突然的干扰，例如地面的局部位置反光、某些稀疏的云朵的遮挡等等，导致某些图片(例如恰好是关键位置的图像)不清晰，如果地面站恰好提取到这些不清晰的图像时，从而影响中心端作出合理的处理决定，中心端判断该图像不符合要求时，可以向地面站发送重新传送指定图像的命令。地面站根据该命令，可以在视频中与指定图像相邻位置(例如指定图像的前后设定帧数的图像，如前一帧图像或后一帧图像等，只要替代图像满足图像处理重叠度需求)提取替代图像，并将替代图像发送给图像处理中心端。这样，可以将清晰的图像发送到图像处理中心端，供中心端作出合理的处理决定。

如果经过多次重新传送替代图像后，中心端判断无法从当前无人机拍摄的视频中提取对应位置的满足质量要求的图像，则可以向地面站发送需要无人机重新拍摄该段视频的命令，地面站根据该命令，控制无人机返回对应位置再次拍摄。这样可以避免无人机已经执行完整条拍摄飞行路径后，再次补拍相关位置的视频，从而提高了飞机飞行的效率。

地面站在接收无人机发送的视频的同时，也可以对视频进行存储。地面站可以对视频进行分段存储，得到多个视频段，并对每个视频段进行命名，分段时长可任意指定，并根据时间、空间信息、飞行参数、拍摄参数等建立目录和检索信息。当中心端向地面站发送需要重传指定图像的序号，地面站即可以首先确定指定图像所在的视频段，然后再在该视频段中确定所述指定图像。通过对视频分段存储，可以使检索需要的图像更加迅速。

S6，当通讯链路信号传输速率进一步下降，不能支持当前分辨率的图片传输时(小于第二设定传输速率)，地面站根据瓦片金字塔模型进行信息提取，降低图片分辨率，优先传送分辨率适合当前传输速率的图片给中心端。这样，中心端还是可以尽可能地实时获得现场的情况。

而如果中心端认为某些关键位置的图像在当前的分辨率下无法看清，可以向地面站发送重新传输该指定位置的图像的命令，地面站收到该命令后，向中心端传输该指定图像。地面站可以首先确定指定图像所在的视频段，然后再在该视频段中确定所述指定图像。

地面站动态监测通讯链路的传输速率，一旦传输速率恢复到较高的水平，则可以按照对应的策略进行处理，例如传输没有经过降低分辨率处理的图像，或者传输视频。

地面站可以包括多个不同的通讯模块，当几个并行的图像处理中心端需要地面站传输的视频或图像时，地面站可以通过不同的通讯模块发送给对应的图像处理中心端，例如，可以通过第一种通讯模块将视频或图像发送给第一图像处理中心端，通过第二种通讯模块将视频或图像发送给第二图像处理中心端。选择通讯链路的策略与前面相似，例如当前有N个并行的图像处理中心端需要视频或图像，则地面站选择传输速率排在前N位置的通讯链路，然后通过对应的通讯模块将视频或图像发送给对应的图像处理中心端。

S7，无人机作业完成后，地面站还可以根据中心端指示，补充中心端所需的信息。比如补充提供局部区域更高分辨率图片；将完整视频影像上传中心端；将视频目录和检索信息上传中心端等等。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (9)

1.一种无人机便携式地面站处理方法，其特征是，包括如下步骤：

S1，地面站接收无人机拍摄并发送的视频；根据应用领域对图像分析处理的需求，对视频流进行分段存储，并根据时间、空间信息、飞行参数、拍摄参数建立目录和检索信息；

S2，所述地面站检测所述地面站与图像处理中心端之间的通讯链路的传输速率；

S3，若所述传输速率小于第一设定传输速率，所述地面站根据所述图像处理中心端发送的图像处理重叠度需求，从所述视频中提取图像，并将所述图像发送给所述图像处理中心端；若所述传输速率小于第二设定传输速率，则所述地面站对所述图像进行降低分辨率处理，并将降低分辨率后的图像发送给所述图像处理中心端。

2.如权利要求1所述的无人机便携式地面站处理方法，其特征是，

在步骤S3中，所述地面站等间隔从所述视频中提取图像，所述图像处理重叠度需求越大，所述间隔越小。

3.如权利要求1所述的无人机便携式地面站处理方法，其特征是，

若所述地面站接收到所述图像处理中心端发送的重传指定图像的命令，所述地面站在所述视频中与所述指定图像的相邻位置重新提取替代图像，并将所述替代图像发送给所述图像处理中心端。

4.如权利要求3所述的无人机便携式地面站处理方法，其特征是，

步骤S1还包括如下步骤：

所述地面站将所述视频分段存储为多个视频段；

在所述地面站接收到所述图像处理中心端发送的重传指定图像的命令后，所述地面站根据所述指定图像的序号，确定所述指定图像所在的视频段，并在所述指定图像所在的视频段内确定所述指定图像的位置。

5.如权利要求3所述的无人机便携式地面站处理方法，其特征是，

若所述地面站多次向所述图像处理中心端发送所述指定图像的替代图像后，所述图像处理中心端判断所述无人机当前拍摄的视频无法满足图像处理要求，所述地面站在接收所述图像处理中心端发送的需要所述无人机返回对应位置重新拍摄的命令后，控制所述无人机返回对应位置重新拍摄视频。

6.如权利要求1所述的无人机便携式地面站处理方法，其特征是，

在步骤S2中，所述地面站检测获取所述地面站与图像处理中心端之间所有可用的通讯链路，并在所有可用的通讯链路中选择传输速率最大的通讯链路；

在步骤S2和步骤S3之间还包括如下步骤：

若所述传输速率满足实时传输视频，则所述地面站向所述图像处理中心端发送视频。

7.如权利要求1所述的无人机便携式地面站处理方法，其特征是，

若某张降低分辨率后的图像无法满足所述图像处理中心端的要求，则所述地面站将未降低分辨率前的图像发送给所述图像处理中心端。

8.如权利要求1所述的无人机便携式地面站处理方法，其特征是，

所述地面站可以包括多个不同的通讯模块，当几个并行的图像处理中心端需要无人机传输的视频或图像时，所述地面站可以通过不同的通讯模块发送给对应的图像处理中心端。

9.一种无人机便携式地面站处理系统，其特征是，包括视频采集模块、通讯模块和图像预处理模块；

所述视频采集模块用于接收无人机拍摄并发送的视频；根据应用领域对图像分析处理的需求，对视频流进行分段存储，并根据时间、空间信息、飞行参数、拍摄参数建立目录和检索信息；

所述通讯模块用于检测所述地面站与图像处理中心端之间的通讯链路的传输速率；

若所述传输速率小于第一设定传输速率，所述图像预处理模块用于根据所述图像处理中心端发送的图像处理重叠度需求，从所述视频中提取图像，所述通讯模块将所述图像发送给所述图像处理中心端；若所述传输速率小于第二设定传输速率，则所述图像预处理模块用于对所述图像进行降低分辨率处理，所述通讯模块将降低分辨率后的图像发送给所述图像处理中心端。