CN103942273A - 一种空中快速响应动态监测系统及其动态监测方法 - Google Patents

Abstract

本发明涉及一种空中快速响应动态监测系统及其动态监测方法，该方法搭建一个动态监测系统，在实时监视同时对航拍数据分类标记，从而飞行任务完成后可快速完成兴趣图片的检索、浏览及后处理，包括拼接与目标定位。它将飞行时的数据采集过程和飞行后的数据处理过程通过兴趣标识关联起来，极大地便利了航拍数据的快速检索，同时，通过原始高分辨率图片和尺寸压缩图片的互通策略，即保证了数据精简处理的快速性，又保留了高分辨率细节信息的侦察应用价值。

Description

一种空中快速响应动态监测系统及其动态监测方法

技术领域

本发明属于情报、监视与侦察领域，涉及一种空中快速响应动态监测系统及其动态监测方法。该系统在实时监视同时对航拍数据分类标记，从而飞行任务完成后可快速完成兴趣图片的检索、浏览及后处理，包括拼接与目标定位。

背景技术

在现代局部战争和反恐维稳中，情报、监视与侦察(ISR)系统发挥了越来越重要的作用，它涵盖空间侦察系统、新型无人侦察机、远程预警机系统和防空反导一体化系统等四个方面。无人侦察机相比较卫星侦察系统具备更高的灵活性和机动性，并且可实现更高分辨率对地观测，受到了广泛关注。对无人侦察机拍摄数据的快速处理直接决定了获取信息的有效价值，充分发挥了无人机侦察的快速响应优势，已成为态势感知、快速决策的迫切需求。

目前，无人机侦察数据的快速处理多停留在机载大容量数据存储、地面服务器集群并行处理的软硬件实现等方面，特别是对高分辨率大幅宽的航拍数据，高性能工作站往往成为快速数据处理的必需。即便拥有高性能的服务器集群，单从机载存储器中读取海量数据也是非常耗时的工作，由于数据采集和数据处理两个过程互不相干，完全隔离的处理模式不利于数据的快速检索，要耗费大量时间；但将数据采集和数据处理均放在飞行任务执行时，又大大增加了机载数据快速处理的硬件实现难度，对于无人机严格的功耗要求都提出了极大的挑战。这些均成为制约无人机侦察系统动态监测、快速响应能力的重要因素。

发明内容

本发明解决的技术问题是：克服现有技术的上述不足，提供一种空中快速响应动态监测系统及其动态监测方法，将飞行时的数据采集过程和飞行后的数据处理过程通过兴趣标识关联起来，极大地便利了航拍数据的快速检索，同时通过原始高分辨率图片和尺寸压缩图片的互通策略，既保证了数据精简处理的快速性，又保留了高分辨率细节信息的侦察应用价值。

本发明的技术方案是：一种空中快速响应动态监测系统，包括机载平台和地面基站；机载平台包括搭载云台、机载主控、光学遥感器、数传电台、大容量存储器和图传电台；地面基站包括数传电台、图传电台和地面工作站；光学遥感器安装在搭载云台上，机载主控控制搭载云台旋转对准待监测区域，光学遥感器对待监测区域实时拍摄视频数据，并通过图传电台传送至地面基站；同时机载主控根据预设帧频控制光学遥感器对待监测区域进行高分辨率航拍图片采集，采集得到的图片存储在大容量存储器内；机载主控将航拍图片采集时刻飞行器的位置信息、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号通过数传电台下传至地面基站；地面基站通过图传电台接收视频数据并送至地面工作站，通过数传电台接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并送至地面工作站；所述的地面工作站包括视频显示与标识模块、快速浏览与拼接模块和快速目标定位模块；

视频显示与标识模块接收视频数据并显示，同时视频显示与标识模块接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并写入标识文件；在标识文件中选取兴趣视频数据对应的存储图号并进行标记；

快速浏览与拼接模块按照标识文件中标记的储存图号在大容量存储器中检索出兴趣图片，将检索出的兴趣图片按照预设模式进行拼接；所述的预设模式包括巡航模式和全景模式，其中巡航模式指飞行器以一定的速度向前飞行执行监视，全景模式指飞行器定点悬停执行监视；

快速目标定位模块在拼接好的图片中选取兴趣目标点，在拼接好的图片和待监测区域的卫星影像地图中选取若干同名点，计算获得拼接好的图片到待监测区域的卫星影像地图的映射模型，根据映射模型获得兴趣目标点的地理位置。

一种空中快速响应动态监测系统的动态监测方法，步骤如下：

1）机载主控控制搭载云台旋转对准待监测区域；

2）光学遥感器对待监测区域实时拍摄视频数据，并通过图传电台传送至地面基站；机载主控根据预设帧频控制光学遥感器对待监测区域进行高分辨率航拍图片采集，采集得到的图片存储在大容量存储器内；同时机载主控将航拍图片采集时刻飞行器的位置信息、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号通过数传电台下传至地面基站；

3）地面基站通过图传电台接收视频数据并送至地面工作站，通过数传电台接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并送至地面工作站；

4）地面工作站接收视频数据并显示，同时地面工作站还接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并写入标识文件；在标识文件中选取兴趣视频数据对应的存储图号并进行标记；

5）按照标识文件中标记的储存图号在大容量存储器中检索出兴趣图片，将检索出的兴趣图片按照预设模式进行拼接；所述的预设模式包括巡航模式和全景模式，其中巡航模式是指飞行器以一定的速度向前飞行执行监视，全景模式是指飞行器定点悬停执行监视；

6）在拼接好的图片中选取兴趣目标点，在拼接好的图片和待监测区域的卫星影像地图中选取若干同名点，计算获得拼接好的图片到待监测区域的卫星影像地图的映射模型，根据映射模型获得兴趣目标点的地理位置。

本发明与现有技术相比的有益效果是：

（1）本发明在执行实时动态监测的同时，采用了兴趣标识策略，自动生成标识文件，对航拍图片在大容量存储器中的存储图号进行分类，从而在完成飞行任务之后，从存储硬盘中可以迅速检索到用户所关心的航拍影像数据，节省了在海量图像数据中进行兴趣检索的工作量，更有利于实现快速响应和决策；

（2）本发明在执行飞行任务时，不仅获得下传的视频数据，还以标识文件的形式对兴趣区域进行记录，而且标识文件的生成仅在地面站中进行，并不会上传干预机载设备的工作，比在机载处理器中生成标识文件更安全可靠，还少了通信延迟带来的误差；

（3）本发明为了满足快速响应的要求，将原始航拍图片先经过适当的尺寸压缩，再进行复杂的图像处理操作，如航拍图片拼接、全景拼接等，但为了尽可能利用原始图片的高分辨率，这里采用了一种尺寸压缩图片和原始图片互通的策略，在粗糙的压缩图片处理结果中可以迅速检索到任意一点所对应的原始图片数据，从而完成高分辨率的图像处理任务，如高分辨率原始图片的目标点定位。这种互通策略，可以兼顾图像的快速处理和高分辨率获取，在提升数据处理速度的同时，保有了高分辨率原始数据的处理价值。

附图说明

图1为本发明一种空中快速响应动态监测系统结构示意图；

图2为本发明视频显示与标识模块工作流程图；

图3为标识文件记录单元数据结构示意图；

图4为本发明快速浏览与拼接模块工作流程图；

图5为本发明快速目标定位模块工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述：

本发明提出了一种空中快速响应动态监测系统，系统组成如图1所示为本发明一种空中快速响应动态监测系统结构示意图。系统分成机载平台和地面基站两部分，机载平台除了常规的供电模块、电源管理模块、飞行导航相关模块外，与任务载荷相关的模块包括：搭载云台、机载主控、光学遥感器、数传电台、大容量存储器和图传电台；地面基站与任务载荷相关的模块包括：两个电台分别对应机载平台上的电台；地面工作站是一个综合处理平台，下传的视频、拍摄时的位置与姿态信息、飞行任务结束后的航拍图片均在此平台上进行处理。

光学遥感器安装在搭载云台上，机载主控控制搭载云台旋转对准待监测区域，光学遥感器对待监测区域实时拍摄视频数据，并通过图传电台传送至地面基站；同时机载主控根据预设帧频控制光学遥感器对待监测区域进行高分辨率航拍图片采集，采集得到的图片存储在大容量存储器内；机载主控将航拍图片采集时刻飞行器的位置信息、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号通过数传电台下传至地面基站；地面基站通过图传电台接收视频数据并送至地面工作站，通过数传电台接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并送至地面工作站。

为了实现系统监视的快速响应，根据信息处理实时性及任务目的需求，此平台上有三个模块：视频显示与标识模块、快速浏览与拼接模块、快速目标定位模块。

（一）、视频显示与标识模块

视频显示与标识模块是与飞机飞行同步的实时处理模块，实时显示遥感器拍摄的视频并记录标识，图2为视频显示与标识模块工作流程示意图。红框内灰色区域为模块人工交互界面布局示意图。这里支持两种监视模式，巡航模式和全景模式，前者是指飞行器以一定的速度向前飞行执行监视，后者指飞行器如飞艇或直升机定点悬停执行监视。可以根据实际任务情况，选择单一监视模式，或混合模式。

从图传电台输出的模拟视频信号经过图像采集卡变成数字信号，调用采集卡开发包的函数可以方便的将视频图像显示在界面的视频显示窗口。从数传电台得到的位置、姿态数据以及航拍图片在大容量存储器中的存储图号经串口读入，将实时更新拍摄示意图窗口、视角覆盖窗口、地图显示窗口，以及标识文件写入单元。拍摄示意图窗口实时反映了在三维空间下的拍摄角度。视角覆盖窗口是特别针对全景监视模式定义的，反映了定点拍摄时在空间360度全视角范围内拍摄角度的覆盖情况。它会显示此定点拍摄图片是否足以覆盖全视场角，完成全景图的拼接，如果不满足，哪些视角区域还有空缺，可以人为控制搭载云台对此视角区域进行补拍。地图显示窗口将更新当前位置在地图上的显示。标记文件写入单元记录实时下传的位置、姿态数据、航拍图片在大容量存储器中的存储图号和兴趣模式标识。机载主控在拍摄并存储每帧图片时就把该图片在大容量存储器中的存储图号和GPS位置、POS姿态数据打包为一个单元通过电台下传并写入标识文件，即使无线链路由于某种不明原因中断，也不会出现GPS、POS和图片对不上的情况。图3所示为标识文件记录单元数据结构示意图。

记录单元由左至右依次为：A为兴趣标识位，占1个bit，若为兴趣关注图片标记为1，否则标记为0；B为监视模式标记位，占1个bit，若为全景监视模式时标记为1，若为巡航监视模式时标记为0；C为兴趣标识模式位，可自定义16种兴趣模式，例如行人、车辆、房屋、道路等等；D为GPS位置信息位，分别记录了此帧图片拍摄位置的经纬度信息；E为POS姿态信息位，分别记录了拍摄时三个方向的角度信息；F为航拍图片在大容量存储器中的存储图号。

当用户在视频显示窗口观察到兴趣区时，打开兴趣标识后，标识文件写入的记录单元的A全部置1，当关闭兴趣标识后，此刻之后记录单元的A全部置0。当打开兴趣标识后，会自动弹出兴趣标识模式的选择窗口，可以选择一个或多个感兴趣模式，此刻之后，记录单元的C随之更新。当完成整个飞行任务时，完成写入，自动生成标识文件。

（二）、快速浏览与拼接模块

快速浏览与拼接模块是完成飞行任务后即拿到所有拍摄航拍图片后执行快速浏览和拼接的模块，图4为快速浏览与拼接模块工作流程示意图。红框内灰色区域为模块人工交互界面布局示意图。这里支持两种监视模式下的图像浏览与拼接，分别生成巡航拼接图片类和全景拼接图片类。类里面除了拼接图片外，还包括了生成拼接图的原图在大容量存储器中的存储图号，尺寸压缩比，拼接过程中间处理结果如计算得到的原图之间相对位置关系，各原图四个角点在拼接图上的位置。

完成飞行任务后，读入标识文件，根据记录单元标识位A和B，由它们的时空连续性，将所有的航拍图片按时间顺序分成若干处理群，例如巡航拼接处理群和全景拼接处理群，并将其列在兴趣标记处理群列表中。同时将每个群所在的地理位置显示在地图上，用户可以手动在列表中或地图上选择待处理的群。根据记录单元标识位F可以从硬盘中检索到拍摄的原始图片，并开辟足够的内存空间。为了满足快速响应的要求，原始的高分辨率图片按一定的尺寸比例进行缩小，再进行拼接处理。快速浏览实现缩小图片的缩略图显示，并支持对应原始图片的显示。

拼接过程采用成熟的航拍图片拼接方法和全景图拼接方法分别生成巡航拼接图片类文件和全景拼接图片类文件。由于各图片间的相互位置关系是拼接的中间过程，各图片四个角点在拼接图中的位置也可以求解得到，从而可以确定都是哪些图片确定了拼接图中某个像素。用户选择拼接图片上任意一点，都会显示生成该点的所有相关图片，对某个关心的图片，可以切换到未缩小的原始图片，观察局部细节。

（三）、快速目标定位模块

快速目标定位模块可以对常规图片、拼接后的巡航拼接图片类文件和全景拼接图片类文件进行目标快速定位，图5为快速目标定位模块工作流程示意图。红框内灰色区域为模块人工交互界面布局示意图。整个定位算法基本思路是：通过航拍图片和卫星影像地图的同名点，求解卫星影像与航拍图片间的映射关系，则航拍图片上的任意目标点均可通过映射关系映射到地图上，得到目标所在的地理位置。定位模式选择窗口提供不同的映射模型，如单应阵变换模型、投影变换模型等。

选择了定位模式后，可以选择单张或批量打开待定位的图片（常规图片或巡航拼接图片类文件或全景拼接图片类文件），若批量打开巡航拼接图片类文件和全景拼接图片类文件时，自动在地图上标注上所有兴趣标识点，并更新兴趣标识处理群列表，其过程如快速浏览与拼接模块。用户可以在地图或列表中选择待定位的单张，若按航拍图片在大容量存储器中的存储图号自动检索不到原始图片，会提示用户手工选择原始图片。单张图片会在窗口中显示出来，无论是选择图片上某点作为同名点还是目标点，均可以自动切换到包括该点的原始图片，并在细节展示窗口中进一步选择。可以选择自动/半自动/手工配准方式实现航拍图片和卫星影像的同名点配准。由于同名点和目标点都是基于原始大图数据选择的，充分利用了原始图片高分辨率的特点，所以定位精度不会因为打开的是经过尺寸缩减的拼接图片而有所降低。选择同名点后，就可以解算映射模型，用户指定目标点后，通过定位解算便得到其真实地理坐标，并标记在地图上。

本发明提出了一种空中快速响应动态监测系统的动态监测方法，步骤如下：

1）机载主控控制搭载云台旋转对准待监测区域。

2）光学遥感器对待监测区域实时拍摄视频数据，并通过图传电台传送至地面基站；机载主控根据预设帧频控制光学遥感器对待监测区域进行高分辨率航拍图片采集，采集得到的图片存储在大容量存储器内；同时机载主控将航拍图片采集时刻飞行器的位置信息、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号通过数传电台下传至地面基站。

3）地面基站通过图传电台接收视频数据并送至地面工作站，通过数传电台接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并送至地面工作站。

4）地面工作站接收视频数据并显示，同时地面工作站还接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并写入标识文件；在标识文件中选取兴趣视频数据对应的存储图号并进行标记。

标识文件记录单元由左至右依次为：A为兴趣标识位，占1个bit，若为兴趣关注图片标记为1，否则标记为0；B为监视模式标记位，占1个bit，若为全景监视模式时标记为1，若为巡航监视模式时标记为0；C为兴趣标识模式位，可自定义16种兴趣模式，例如行人、车辆、房屋、道路等等；D为GPS位置信息位，分别记录了此帧图片拍摄位置的经纬度信息；E为POS姿态信息位，分别记录了拍摄时三个方向的角度信息；F为航拍图片在大容量存储器中的存储图号。

当用户通过视频观察到兴趣区时，打开兴趣标识后，记录单元的A全部置1，当关闭兴趣标识后，此刻之后记录单元的A全部置0。当打开兴趣标识后，会自动弹出兴趣标识模式的选择窗口，可以选择一个或多个感兴趣模式，此刻之后，记录单元的C随之更新。当完成整个飞行任务时，完成写入，自动生成标识文件。

5）按照标识文件中标记的储存图号在大容量存储器中检索出兴趣图片，将检索出的兴趣图片按照预设模式进行拼接；所述的预设模式包括巡航模式和全景模式，其中巡航模式是指飞行器以一定的速度向前飞行执行监视，全景模式是指飞行器定点悬停执行监视。

完成飞行任务后，读入标识文件，根据记录单元标识位A和B，由它们的时空连续性，将所有的航拍图片按时间顺序分成若干处理群，例如巡航拼接处理群和全景拼接处理群。选择某待处理的群，根据记录单元标识位F可以从硬盘中检索到拍摄的原始图片，并开辟足够的内存空间。为了满足快速响应的要求，原始的高分辨率图片按一定的尺寸比例进行缩小，再进行拼接处理。快速浏览实现缩小图片的缩略图显示，并支持对应原始图片的显示。

拼接过程采用成熟的航拍图片拼接方法和全景图拼接方法分别生成巡航拼接图片类和全景拼接图片类文件。用户选择拼接图片上任意一点，都会显示生成该点的所有相关图片，对某个关心的图片，可以切换到未缩小的原始图片，观察局部细节。

6）在拼接好的图片中选取兴趣目标点，在拼接好的图片和待监测区域的卫星影像地图中选取若干同名点，计算获得拼接好的图片到待监测区域的卫星影像地图的映射模型，根据映射模型获得兴趣目标点的地理位置。

可以选择单张或批量打开待定位的图片（常规图片或巡航拼接图片类文件或全景拼接图片类文件），单张图片会在窗口中显示出来，无论是选择图片上某点作为同名点还是目标点，均可以自动切换到包括该点的原始图片，并在细节展示窗口中进一步选择。由于同名点和目标点都是基于原始大图数据选择的，充分利用了原始图片高分辨率的特点，所以定位精度不会因为打开的是经过尺寸缩减的拼接图片而有所降低。选择同名点后，就可以解算映射模型，用户指定目标点后，通过定位解算便得到其真实地理坐标。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域技术人员公知技术。

Claims (2)

1.一种空中快速响应动态监测系统，其特征在于：包括机载平台和地面基站；机载平台包括搭载云台、机载主控、光学遥感器、数传电台、大容量存储器和图传电台；地面基站包括数传电台、图传电台和地面工作站；光学遥感器安装在搭载云台上，机载主控控制搭载云台旋转对准待监测区域，光学遥感器对待监测区域实时拍摄视频数据，并通过图传电台传送至地面基站；同时机载主控根据预设帧频控制光学遥感器对待监测区域进行高分辨率航拍图片采集，采集得到的图片存储在大容量存储器内；机载主控将航拍图片采集时刻飞行器的位置信息、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号通过数传电台下传至地面基站；地面基站通过图传电台接收视频数据并送至地面工作站，通过数传电台接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并送至地面工作站；所述的地面工作站包括视频显示与标识模块、快速浏览与拼接模块和快速目标定位模块；

视频显示与标识模块接收视频数据并显示，同时视频显示与标识模块接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并写入标识文件；在标识文件中选取兴趣视频数据对应的存储图号并进行标记；

快速浏览与拼接模块按照标识文件中标记的储存图号在大容量存储器中检索出兴趣图片，将检索出的兴趣图片按照预设模式进行拼接；所述的预设模式包括巡航模式和全景模式，其中巡航模式指飞行器以一定的速度向前飞行执行监视，全景模式指飞行器定点悬停执行监视；

快速目标定位模块在拼接好的图片中选取兴趣目标点，在拼接好的图片和待监测区域的卫星影像地图中选取若干同名点，计算获得拼接好的图片到待监测区域的卫星影像地图的映射模型，根据映射模型获得兴趣目标点的地理位置。

2.一种空中快速响应动态监测系统的动态监测方法，其特征在于步骤如下：

1）机载主控控制搭载云台旋转对准待监测区域；

2）光学遥感器对待监测区域实时拍摄视频数据，并通过图传电台传送至地面基站；机载主控根据预设帧频控制光学遥感器对待监测区域进行高分辨率航拍图片采集，采集得到的图片存储在大容量存储器内；同时机载主控将航拍图片采集时刻飞行器的位置信息、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号通过数传电台下传至地面基站；

3）地面基站通过图传电台接收视频数据并送至地面工作站，通过数传电台接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并送至地面工作站；

4）地面工作站接收视频数据并显示，同时地面工作站还接收航拍图片采集时刻飞行器的位置、搭载云台的状态信息以及航拍图片在大容量存储器中的存储图号并写入标识文件；在标识文件中选取兴趣视频数据对应的存储图号并进行标记；

5）按照标识文件中标记的储存图号在大容量存储器中检索出兴趣图片，将检索出的兴趣图片按照预设模式进行拼接；所述的预设模式包括巡航模式和全景模式，其中巡航模式是指飞行器以一定的速度向前飞行执行监视，全景模式是指飞行器定点悬停执行监视；

6）在拼接好的图片中选取兴趣目标点，在拼接好的图片和待监测区域的卫星影像地图中选取若干同名点，计算获得拼接好的图片到待监测区域的卫星影像地图的映射模型，根据映射模型获得兴趣目标点的地理位置。