CN112218051A

CN112218051A - 一种基于gis的无人机海域监测方法

Info

Publication number: CN112218051A
Application number: CN202011072221.1A
Authority: CN
Inventors: 周圆; 李鹏飞; 赵恩伟; 金明磊
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2020-10-09
Filing date: 2020-10-09
Publication date: 2021-01-12

Abstract

本发明涉及一种基于GIS的无人机海域监测方法，包括如下步骤：在GIS系统上，通过配置文件的形式获得无人机测控有关参数字段；对于特定无人机，接收该无人机实时的视频数据和飞控系统产生与存储的遥测数据；对于视频数据，利用基于灰度投影的方法实现对视频帧的快速运动估计，形成视频运动编码；对于遥测数据，根据遥测数据解析的无人机载荷状态数据和载荷状态数据，以时间为轴进无人机以及载荷的运动模式进行编码，得到遥测运动编码；实现遥测数据与视频数据的同步。

Description

一种基于GIS的无人机海域监测方法

技术领域

本发明属于海域监控领域，具体涉及一种基于GIS的信息可视化系统。

背景技术

地理信息系统(GIS，Geographic Information System)在海域监测和管理中起着重要的作用，海域网的数字化、信息化离不开GIS技术的支撑。

目前,海域无人机监测中各海洋职能部门各自进行海洋无人机监测工作建设，无人机平台、载荷以及各部门数据处理系统、方法的差异，使数据获取、数据处理、数据管理分发和共享难度加大，难以满足当前广泛的海域监测需求，直接限制了无人机海域监视监测业务化体系建设和业务化运行。

基于GIS的无人机实时海域监测数据可视化技术通过对各类海域数据及属性资料等进行可视化管理，实现全国海域无人机作业的动态监测和管理，可以方便观测无人机实时飞行位置、各海域历史数据，获得无人机参数属性、海洋功能区划、用海项目建设现状等关键信息，并可以通过系统进行辅助分析和管理决策，是无人机系统海域监测业务化运行的重要一环，可有效保障业务化应用的管理效能，实现从无人机数据采集、数据传输、数据处理到数据应用的链条式业务流程，是推进全国海域遥感无人机监视监测业务体系建设和系统业务化运行的必然要求。

发明内容

本发明的目的是提供一种基于GIS的无人机海域监测方法，用以方便观测无人机实时飞行位置、各海域历史数据，获得无人机参数属性，实现对多种机型无人机的实时监测。技术方案如下：

一种基于GIS的无人机海域监测方法，包括如下步骤：

1)在GIS系统上，通过配置文件的形式获得无人机测控有关参数字段，完成对多种不同型号无人机遥测协议的兼容。

2)对于特定无人机，解析与其无人机测控有关参数字段，接收该无人机实时的视频数据和飞控系统产生与存储的遥测数据。

3)接收遥测数据后，根据无人机的遥测协议配置项相关信息，在遥测数据中解析出包括偏航角、方位角在内的飞行状态信息，再封装成GIS系统内部标准协议格式，推送至后端软件进行统一解析显示。

4)接收视频数据后，采用流媒体服务器作为无人机视频的实时传输中间件，实时视频数据通过视频转发模块转发到流媒体服务器，同时进行保存，在任务结束后将视频数据归档，视频历史数据存放在历史文件夹中，通过客户端软件可以播放历史视频数据。

5)对于视频数据，利用基于灰度投影的方法实现对视频帧的快速运动估计，形成视频运动编码；对于遥测数据，根据遥测数据解析的无人机载荷状态数据和载荷状态数据，以时间为轴进无人机以及载荷的运动模式进行编码，得到遥测运动编码；

6)对遥测数据的运动编码和视频数据的运动编码进行匹配，利用二项式拟合的方法进行插值处理，实现遥测数据与视频数据的同步；

步骤4)具体为：

a)获取待同步的无人机视频数据和遥测数据；

b)对于遥测数据，根据无人机遥测协议对遥测数据进行解析，得到无人机状态参数；根据载荷遥测协议对载荷的遥测数据进行解析，得到包括载荷的姿态以及焦距在内的状态参数；

c)根据解析得到的无人机状态参数和载荷状态参数，以时间为轴进无人机以及载荷的运动模式进行编码，即将按照时间维度将无人机和载荷的运动划分为上升U、下降D、转弯R、一般飞行F以及载荷运动L阶段；

d)根据无人机及载荷运动以及视频运动的关系，将无人机及载荷运动转换为视频运动模式，即大幅单向运动BS，小幅单向运动SS，大幅震荡运动BV以及小幅震荡SV运动，将无人机及载荷的运动参数转换为遥测运动编码；

e)对于视频数据，通过视频图像数据分析算法对视频数据进行处理，采用灰度投影算法计算视频图像相邻帧之间的相互运动，对整个视频序列进行视频运动幅度和方向的计算；根据视频相邻帧之间的相对运动情况对视频序列进行划分，即对一组连续的视频帧进行运动模式的分类，分为大幅单向运动BS，小幅单向运动SS，大幅震荡运动BV以及小幅震荡SV运动，从而得到基于运动估计的视频运动编码。

步骤6)之后，将同步之后的视频与遥测进行统一展示，可观看视频的播放，并可看到根据遥测解析所得到的飞行航迹，二者同步进行，从而能够直观获得在无人机飞行过程中视频与遥测的同步效果，到达对海域的监测效果。

附图说明

图1基于GIS可视化平台的流程图

图2无人机遥测数据处理流程图

图3标准协议格式示例

图4视频流媒体设备关系图

图5无人机视频数据与遥测数据同步方法流程图

图6无人机运动编码模式图

具体实施方式

下面结合附图和实施例对本发明进一步描述。

(1)无人机遥测数据处理流程图如图2所示。在GIS系统上，对无人机飞行器进行相关参数设置，主要包括当前机型、飞机ID、网络传输地址、端口号等参数。

(2)参数配置完成后，可开始接收实时遥测数据，根据飞机型号匹配对应的配置文件，完成遥测数据解译、存储和转发，解译后的标准数据格式如下所示：

{"PlaneData":[{"FlyingTime":"633.000000","PlaneID":"MD1000","head":"-28437.000000"}]}

{"PlaneData":[{"GPSPrecision":"-0.001600","GPSstar":"12.000000","Latitude":"19.469603","Longitude":"1 08.888290","PlaneID":"MD1000","head":"-28437.000000"}]}

{"PlaneData":[{"DownSpeed":"0.471400","EastEarthSpeed":"2.572900","GPSSpeed":"2.632946","NorthEar thSpeed":"0.559100","PlaneID":"MD1000","WindSpeed":"0.559100","head":"-28437.000000"}]}

{"PlaneData":[{"Pitch":"-19.846119","PlaneID":"MD1000","Roll":"3.087671","Yaw":"69.858476","head":"- 28437.000000"}]}

{"PlaneData":[{"AtmosPreHeight":"112.109001","GPSHeight":"102.042999","PlaneID":"MD1000","Tempreture":"30.520000","head":"-28437.000000"}]}

{"PlaneData":[{"GrubMode":"2.000000","PlaneID":"MD1000","Voltage":"22.890000","head":"-28437.0000 00"}]}

{"PlaneData":[{"BackElecSet":"224.000000","FrontElecSet":"146.000000","LeftElecSet":"184.000000","Pl aneID":"MD1000","RightElecSet":"190.000000","head":"-28437.000000"}]}

{"PlaneData":[{"GPSPrecision":"-0.001600","GPSstar":"12.000000","Latitude":"19.469603","Longitude":"1 08.888298","PlaneID":"MD1000","head":"-28437.000000"}]}

{"PlaneData":[{"DownSpeed":"0.279300","EastEarthSpeed":"2.622100","GPSSpeed":"2.691622","NorthEarthSpeed":"0.607800","PlaneID":"MD1000","WindSpeed":"0.607800","head":"-28437.000000"}]}

{"PlaneData":[{"Pitch":"-18.710516","PlaneID":"MD1000","Roll":"2.907189","Yaw":"70.421693","head":" -28437.000000"}]}

(3)接收遥测数据后，根据该类飞机唯一的类别编码，检索配置文件里对应的该类无人机的遥测协议配置内容，根据配置项相关信息，在无人机遥测数据中解析出飞机的偏航角、方位角等飞行状态信息，以JSON的形式封装成系统内部标准协议格式，推送至GIS系统进行显示，显示示例如图3所示。

(4)视频数据是无人机载荷产生与存储，通过视频模块和同步模块采集、接收载荷产生的视频数据，利用ffmpeg和相应SDK接口将采集视频发布到流媒体服务器SRS，视频流媒体设备关系图如图4所示，同时进行保存，在任务结束后将视频数据归档，视频历史数据存放在历史文件夹中，通过客户端软件可以播放历史视频数据。(ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，可以将RTSP流、TS流转换成RTMP流，并推送到流媒体服务器SRS，通过客户端播放RTMP 流)

(5)视频中的运动现象是由于无人机以及载荷的复合运动造成的。无人机本身的运动对视频造成的影响可以分为五类：平缓飞行、转弯、机身震动、起飞以及降落。载荷的运动主要是由载荷操作人员的控制决定，操作人员的控制一般都会造成载荷视角的大范围的移动，反映在视频上就会造成大幅度向着固定方向的持续的移动。视频运动类型与无人机及载荷运动的关系如表1所示：

表1视频运动类型与无人机及载荷运动的关系

(6)采用运动估计编码方法将无人机视频数据和遥测数据进行同步处理，流程图如图5所示。将相邻视频图像帧分成若干块，找出每个块在相邻图像帧的位置，得出的图像帧间的相对偏移量即是运动矢量，得到运动矢量的过程称为运动估计。步骤如下：

1.获取待同步的无人机视频数据和遥测数据；

2.对于遥测数据，通过遥测数据分析，根据无人机遥测协议对遥测数据进行解析，得到经度、纬度、高度、俯仰、横滚、偏航等无人机状态参数；根据载荷遥测协议对载荷的遥测数据进行解析，得到载荷的姿态以及焦距等状态参数；

根据解析得到的无人机状态参数和载荷状态参数，以时间为轴进无人机以及载荷的运动模式进行编码，即将按照时间维度将无人机的运动划分为上升U、下降D、转弯R、一般飞行F以及载荷运动L阶段，运动编码分布图如图6所示。

根据表1的无人机及载荷运动以及视频运动的关系，将无人机及载荷运动转换为视频运动模式，即大幅单向运动BS，小幅单向运动SS，大幅震荡运动BV以及小幅震荡SV运动，将无人机及载荷的运动参数转换为遥测运动编码。

3.对于视频数据，通过视频图像数据分析算法对视频数据进行处理，采用如下式所示灰度投影算法计算视频图像相邻帧之间的相互运动：

式中，G_k(j)，G_k(i)分别为第k帧图像中第j列和第i行的灰度投影值；G_k(i,j)为(i,j)位置处像素灰度值。

利用灰度投算法对整个视频序列进行视频运动幅度和方向的计算。根据视频相邻帧之间的相对运动情况对视频序列进行划分，即对一组连续的视频帧进行运动模式的分类，分为大幅单向运动BS，小幅单向运动SS，大幅震荡运动BV以及小幅震荡SV运动，从而得到基于运动估计的视频运动编码。

4.将视频和遥测数据的运动编码进行归一化处理。具体实现为对运动编码的纵坐标数值进行归一化，并再将横坐标数据归一化到0至1000内；

5.通过对视频运动编码进行拉伸和平移，再计算与遥测运动编码的符合程度来实现视频运动编码和遥测运动编码的匹配，以视频运动编码为基准，采用二项式拟合公式对遥测运动编码进行插值，从而实现视频和遥测的同步；

第五步，通过GIS可视化系统对无人机进行实时监视，开发飞行监控原型软件，用于实时接收协议转换发送的解析后的遥测数据格式，对飞机的实时位置信息进行监视和定位，并能叠加可见光影像数据处理得到的测区全图以及DEM数据视频实时拼接结果数据，还可以进行旋转缩放等操作以便更仔细地观察最终成果。GIS可视化模块通过实时接收线程，将实时接收的遥测信息解析后，将经度、纬度、高度、姿态角(俯仰角、横滚角、偏航角)等飞机飞行参数传递给三维动态飞机模型，实现对三维飞机姿态的显示。飞行监控软件实时接收经过协议转换解析后的标准遥测数据，完成无人机实时飞行状态和飞行航迹显示，实现对海域的监测。

Claims

1.一种基于GIS的无人机海域监测方法，包括如下步骤：

2)对于特定无人机，解析与其无人机测控有关参数字段，接收该无人机实时的视频数据和飞控系统产生与存储的遥测数据；

3)接收遥测数据后，根据无人机的遥测协议配置项相关信息，在遥测数据中解析出包括偏航角、方位角在内的飞行状态信息，再封装成GIS系统内部标准协议格式，推送至后端软件进行统一解析显示；

4)接收视频数据后，采用流媒体服务器作为无人机视频的实时传输中间件，实时视频数据通过视频转发模块转发到流媒体服务器，同时进行保存，在任务结束后将视频数据归档，视频历史数据存放在历史文件夹中，通过客户端软件可以播放历史视频数据；

6)对遥测数据的运动编码和视频数据的运动编码进行匹配，利用二项式拟合的方法进行插值处理，实现遥测数据与视频数据的同步。

2.根据权利要求1所述的方法，其特征在于，步骤4)具体为：

a)获取待同步的无人机视频数据和遥测数据；

3.根据权利要求1所述的方法，其特征在于，步骤6)之后，将同步之后的视频与遥测进行统一展示，可观看视频的播放，并可看到根据遥测解析所得到的飞行航迹，二者同步进行，从而能够直观获得在无人机飞行过程中视频与遥测的同步效果，到达对海域的监测效果。