CN112218051A - 一种基于gis的无人机海域监测方法 - Google Patents
一种基于gis的无人机海域监测方法 Download PDFInfo
- Publication number
- CN112218051A CN112218051A CN202011072221.1A CN202011072221A CN112218051A CN 112218051 A CN112218051 A CN 112218051A CN 202011072221 A CN202011072221 A CN 202011072221A CN 112218051 A CN112218051 A CN 112218051A
- Authority
- CN
- China
- Prior art keywords
- motion
- unmanned aerial
- aerial vehicle
- video
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于GIS的无人机海域监测方法,包括如下步骤:在GIS系统上,通过配置文件的形式获得无人机测控有关参数字段;对于特定无人机,接收该无人机实时的视频数据和飞控系统产生与存储的遥测数据;对于视频数据,利用基于灰度投影的方法实现对视频帧的快速运动估计,形成视频运动编码;对于遥测数据,根据遥测数据解析的无人机载荷状态数据和载荷状态数据,以时间为轴进无人机以及载荷的运动模式进行编码,得到遥测运动编码;实现遥测数据与视频数据的同步。
Description
技术领域
本发明属于海域监控领域,具体涉及一种基于GIS的信息可视化系统。
背景技术
地理信息系统(GIS,Geographic Information System)在海域监测和管理中起着重要的作用,海域网的数 字化、信息化离不开GIS技术的支撑。
目前,海域无人机监测中各海洋职能部门各自进行海洋无人机监测工作建设,无人机平台、载荷以及各部门数据处理系统、方法的差异,使数据获取、数据处理、数据管理分发和共享难度加大,难以满足当前广泛的海域监测需求,直接限制了无人机海域监视监测业务化体系建设和业务化运行。
基于GIS的无人机实时海域监测数据可视化技术通过对各类海域数据及属性资料等进行可视化管理,实现全国海域无人机作业的动态监测和管理,可以方便观测无人机实时飞行位置、各海域历史数据,获得无人机参数属性、海洋功能区划、用海项目建设现状等关键信息,并可以通过系统进行辅助分析和管理决策,是无人机系统海域监测业务化运行的重要一环,可有效保障业务化应用的管理效能,实现从无人机数据采集、数据传输、数据处理到数据应用的链条式业务流程,是推进全国海域遥感无人机监视监测业务体系建设和系统业务化运行的必然要求。
发明内容
本发明的目的是提供一种基于GIS的无人机海域监测方法,用以方便观测无人机实时飞行位置、各海域历史数据,获得无人机参数属性,实现对多种机型无人机的实时监测。技术方案如下:
一种基于GIS的无人机海域监测方法,包括如下步骤:
1)在GIS系统上,通过配置文件的形式获得无人机测控有关参数字段,完成对多种不同型号无人机遥测协议的兼容。
2)对于特定无人机,解析与其无人机测控有关参数字段,接收该无人机实时的视频数据和飞控系统产生与存储的遥测数据。
3)接收遥测数据后,根据无人机的遥测协议配置项相关信息,在遥测数据中解析出包括偏航角、方位角在内的飞行状态信息,再封装成GIS系统内部标准协议格式,推送至后端软件进行统一解析显示。
4)接收视频数据后,采用流媒体服务器作为无人机视频的实时传输中间件,实时视频数据通过视频转发模块转发到流媒体服务器,同时进行保存,在任务结束后将视频数据归档,视频历史数据存放在历史文件夹中,通过客户端软件可以播放历史视频数据。
5)对于视频数据,利用基于灰度投影的方法实现对视频帧的快速运动估计,形成视频运动编码;对于遥测数据,根据遥测数据解析的无人机载荷状态数据和载荷状态数据,以时间为轴进无人机以及载荷的运动模式进行编码,得到遥测运动编码;
6)对遥测数据的运动编码和视频数据的运动编码进行匹配,利用二项式拟合的方法进行插值处理,实现遥测数据与视频数据的同步;
步骤4)具体为:
a)获取待同步的无人机视频数据和遥测数据;
b)对于遥测数据,根据无人机遥测协议对遥测数据进行解析,得到无人机状态参数;根据载荷遥测协议对载荷的遥测数据进行解析,得到包括载荷的姿态以及焦距在内的状态参数;
c)根据解析得到的无人机状态参数和载荷状态参数,以时间为轴进无人机以及载荷的运动模式进行编码,即将按照时间维度将无人机和载荷的运动划分为上升U、下降D、转弯R、一般飞行F以及载荷运动L阶段;
d)根据无人机及载荷运动以及视频运动的关系,将无人机及载荷运动转换为视频运动模式,即大幅单向运动BS,小幅单向运动SS,大幅震荡运动BV以及小幅震荡SV运动,将无人机及载荷的运动参数转换为遥测运动编码;
e)对于视频数据,通过视频图像数据分析算法对视频数据进行处理,采用灰度投影算法计算视频图像相邻帧之间的相互运动,对整个视频序列进行视频运动幅度和方向的计算;根据视频相邻帧之间的相对运动情况对视频序列进行划分,即对一组连续的视频帧进行运动模式的分类,分为大幅单向运动BS,小幅单向运动SS,大幅震荡运动BV以及小幅震荡SV运动,从而得到基于运动估计的视频运动编码。
步骤6)之后,将同步之后的视频与遥测进行统一展示,可观看视频的播放,并可看到根据遥测解析所得到的飞行航迹,二者同步进行,从而能够直观获得在无人机飞行过程中视频与遥测的同步效果,到达对海域的监测效果。
附图说明
图1基于GIS可视化平台的流程图
图2无人机遥测数据处理流程图
图3标准协议格式示例
图4视频流媒体设备关系图
图5无人机视频数据与遥测数据同步方法流程图
图6无人机运动编码模式图
具体实施方式
下面结合附图和实施例对本发明进一步描述。
(1)无人机遥测数据处理流程图如图2所示。在GIS系统上,对无人机飞行器进行相关参数设置,主要包括当前机型、飞机ID、网络传输地址、端口号等参数。
(2)参数配置完成后,可开始接收实时遥测数据,根据飞机型号匹配对应的配置文件,完成遥测数据解译、存储和转发,解译后的标准数据格式如下所示:
{"PlaneData":[{"FlyingTime":"633.000000","PlaneID":"MD1000","head":"-28437.000000"}]}
{"PlaneData":[{"GPSPrecision":"-0.001600","GPSstar":"12.000000","Latitude":"19.469603","Longitude":"1 08.888290","PlaneID":"MD1000","head":"-28437.000000"}]}
{"PlaneData":[{"DownSpeed":"0.471400","EastEarthSpeed":"2.572900","GPSSpeed":"2.632946","NorthEar thSpeed":"0.559100","PlaneID":"MD1000","WindSpeed":"0.559100","head":"-28437.000000"}]}
{"PlaneData":[{"Pitch":"-19.846119","PlaneID":"MD1000","Roll":"3.087671","Yaw":"69.858476","head":"- 28437.000000"}]}
{"PlaneData":[{"AtmosPreHeight":"112.109001","GPSHeight":"102.042999","PlaneID":"MD1000","Tempreture":"30.520000","head":"-28437.000000"}]}
{"PlaneData":[{"GrubMode":"2.000000","PlaneID":"MD1000","Voltage":"22.890000","head":"-28437.0000 00"}]}
{"PlaneData":[{"BackElecSet":"224.000000","FrontElecSet":"146.000000","LeftElecSet":"184.000000","Pl aneID":"MD1000","RightElecSet":"190.000000","head":"-28437.000000"}]}
{"PlaneData":[{"FlyingTime":"633.000000","PlaneID":"MD1000","head":"-28437.000000"}]}
{"PlaneData":[{"GPSPrecision":"-0.001600","GPSstar":"12.000000","Latitude":"19.469603","Longitude":"1 08.888298","PlaneID":"MD1000","head":"-28437.000000"}]}
{"PlaneData":[{"DownSpeed":"0.279300","EastEarthSpeed":"2.622100","GPSSpeed":"2.691622","NorthEarthSpeed":"0.607800","PlaneID":"MD1000","WindSpeed":"0.607800","head":"-28437.000000"}]}
{"PlaneData":[{"Pitch":"-18.710516","PlaneID":"MD1000","Roll":"2.907189","Yaw":"70.421693","head":" -28437.000000"}]}
(3)接收遥测数据后,根据该类飞机唯一的类别编码,检索配置文件里对应的该类无人机的遥测协议配置内容,根据配置项相关信息,在无人机遥测数据中解析出飞机的偏航角、方位角等飞行状态信息,以JSON的形式封装成系统内部标准协议格式,推送至GIS系统进行显示,显示示例如图3所示。
(4)视频数据是无人机载荷产生与存储,通过视频模块和同步模块采集、接收载荷产生的视频数据,利用ffmpeg和相应SDK接口将采集视频发布到流媒体服务器SRS,视频流媒体设备关系图如图4所示,同时进行保存,在任务结束后将视频数据归档,视频历史数据存放在历史文件夹中,通过客户端软件可以播放历史视频数据。(ffmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序,可以将RTSP流、TS流转换成RTMP流,并推送到流媒体服务器SRS,通过客户端播放RTMP 流)
(5)视频中的运动现象是由于无人机以及载荷的复合运动造成的。无人机本身的运动对视频造成的影响可以分为五类:平缓飞行、转弯、机身震动、起飞以及降落。载荷的运动主要是由载荷操作人员的控制决定,操作人员的控制一般都会造成载荷视角的大范围的移动,反映在视频上就会造成大幅度向着固定方向的持续的移动。视频运动类型与无人机及载荷运动的关系如表1所示:
表1视频运动类型与无人机及载荷运动的关系
(6)采用运动估计编码方法将无人机视频数据和遥测数据进行同步处理,流程图如图5所示。将相邻视频图像帧分成若干块,找出每个块在相邻图像帧的位置,得出的图像帧间的相对偏移量即是运动矢量,得到运动矢量的过程称为运动估计。步骤如下:
1.获取待同步的无人机视频数据和遥测数据;
2.对于遥测数据,通过遥测数据分析,根据无人机遥测协议对遥测数据进行解析,得到经度、纬度、高度、俯仰、横滚、偏航等无人机状态参数;根据载荷遥测协议对载荷的遥测数据进行解析,得到载荷的姿态以及焦距等状态参数;
根据解析得到的无人机状态参数和载荷状态参数,以时间为轴进无人机以及载荷的运动模式进行编码,即将按照时间维度将无人机的运动划分为上升U、下降D、转弯R、一般飞行F以及载荷运动L阶段,运动编码分布图如图6所示。
根据表1的无人机及载荷运动以及视频运动的关系,将无人机及载荷运动转换为视频运动模式,即大幅单向运动BS,小幅单向运动SS,大幅震荡运动BV以及小幅震荡SV运动,将无人机及载荷的运动参数转换为遥测运动编码。
3.对于视频数据,通过视频图像数据分析算法对视频数据进行处理,采用如下式所示灰度投影算法计算视频图像相邻帧之间的相互运动:
式中,Gk(j),Gk(i)分别为第k帧图像中第j列和第i行的灰度投影值;Gk(i,j)为(i,j)位置处像素灰度值。
利用灰度投算法对整个视频序列进行视频运动幅度和方向的计算。根据视频相邻帧之间的相对运动情况对视频序列进行划分,即对一组连续的视频帧进行运动模式的分类,分为大幅单向运动BS,小幅单向运动SS,大幅震荡运动BV以及小幅震荡SV运动,从而得到基于运动估计的视频运动编码。
4.将视频和遥测数据的运动编码进行归一化处理。具体实现为对运动编码的纵坐标数值进行归一化,并再将横坐标数据归一化到0至1000内;
5.通过对视频运动编码进行拉伸和平移,再计算与遥测运动编码的符合程度来实现视频运动编码和遥测运动编码的匹配,以视频运动编码为基准,采用二项式拟合公式对遥测运动编码进行插值,从而实现视频和遥测的同步;
第五步,通过GIS可视化系统对无人机进行实时监视,开发飞行监控原型软件,用于实时接收协议转换发送的解析后的遥测数据格式,对飞机的实时位置信息进行监视和定位,并能叠加可见光影像数据处理得到的测区全图以及DEM数据视频实时拼接结果数据,还可以进行旋转缩放等操作以便更仔细地观察最终成果。GIS可视化模块通过实时接收线程,将实时接收的遥测信息解析后,将经度、纬度、高度、姿态角(俯仰角、横滚角、偏航角)等飞机飞行参数传递给三维动态飞机模型,实现对三维飞机姿态的显示。飞行监控软件实时接收经过协议转换解析后的标准遥测数据,完成无人机实时飞行状态和飞行航迹显示,实现对海域的监测。
Claims (3)
1.一种基于GIS的无人机海域监测方法,包括如下步骤:
1)在GIS系统上,通过配置文件的形式获得无人机测控有关参数字段,完成对多种不同型号无人机遥测协议的兼容。
2)对于特定无人机,解析与其无人机测控有关参数字段,接收该无人机实时的视频数据和飞控系统产生与存储的遥测数据;
3)接收遥测数据后,根据无人机的遥测协议配置项相关信息,在遥测数据中解析出包括偏航角、方位角在内的飞行状态信息,再封装成GIS系统内部标准协议格式,推送至后端软件进行统一解析显示;
4)接收视频数据后,采用流媒体服务器作为无人机视频的实时传输中间件,实时视频数据通过视频转发模块转发到流媒体服务器,同时进行保存,在任务结束后将视频数据归档,视频历史数据存放在历史文件夹中,通过客户端软件可以播放历史视频数据;
5)对于视频数据,利用基于灰度投影的方法实现对视频帧的快速运动估计,形成视频运动编码;对于遥测数据,根据遥测数据解析的无人机载荷状态数据和载荷状态数据,以时间为轴进无人机以及载荷的运动模式进行编码,得到遥测运动编码;
6)对遥测数据的运动编码和视频数据的运动编码进行匹配,利用二项式拟合的方法进行插值处理,实现遥测数据与视频数据的同步。
2.根据权利要求1所述的方法,其特征在于,步骤4)具体为:
a)获取待同步的无人机视频数据和遥测数据;
b)对于遥测数据,根据无人机遥测协议对遥测数据进行解析,得到无人机状态参数;根据载荷遥测协议对载荷的遥测数据进行解析,得到包括载荷的姿态以及焦距在内的状态参数;
c)根据解析得到的无人机状态参数和载荷状态参数,以时间为轴进无人机以及载荷的运动模式进行编码,即将按照时间维度将无人机和载荷的运动划分为上升U、下降D、转弯R、一般飞行F以及载荷运动L阶段;
d)根据无人机及载荷运动以及视频运动的关系,将无人机及载荷运动转换为视频运动模式,即大幅单向运动BS,小幅单向运动SS,大幅震荡运动BV以及小幅震荡SV运动,将无人机及载荷的运动参数转换为遥测运动编码;
e)对于视频数据,通过视频图像数据分析算法对视频数据进行处理,采用灰度投影算法计算视频图像相邻帧之间的相互运动,对整个视频序列进行视频运动幅度和方向的计算;根据视频相邻帧之间的相对运动情况对视频序列进行划分,即对一组连续的视频帧进行运动模式的分类,分为大幅单向运动BS,小幅单向运动SS,大幅震荡运动BV以及小幅震荡SV运动,从而得到基于运动估计的视频运动编码。
3.根据权利要求1所述的方法,其特征在于,步骤6)之后,将同步之后的视频与遥测进行统一展示,可观看视频的播放,并可看到根据遥测解析所得到的飞行航迹,二者同步进行,从而能够直观获得在无人机飞行过程中视频与遥测的同步效果,到达对海域的监测效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011072221.1A CN112218051A (zh) | 2020-10-09 | 2020-10-09 | 一种基于gis的无人机海域监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011072221.1A CN112218051A (zh) | 2020-10-09 | 2020-10-09 | 一种基于gis的无人机海域监测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112218051A true CN112218051A (zh) | 2021-01-12 |
Family
ID=74052928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011072221.1A Pending CN112218051A (zh) | 2020-10-09 | 2020-10-09 | 一种基于gis的无人机海域监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112218051A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023029588A1 (zh) * | 2021-08-30 | 2023-03-09 | 成都纵横自动化技术股份有限公司 | 一种应用于gis的动态视频呈现方法及其系统 |
CN116033200A (zh) * | 2022-12-30 | 2023-04-28 | 北京天兵科技有限公司 | 一种航天遥测的音视频控制数据同步方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110090399A1 (en) * | 2009-10-19 | 2011-04-21 | Intergraph Technologies Company | Data Search, Parser, and Synchronization of Video and Telemetry Data |
CN106231245A (zh) * | 2016-07-21 | 2016-12-14 | 国家海洋技术中心 | 无人机遥测数据通用化实时处理方法及系统 |
CN106326920A (zh) * | 2016-08-16 | 2017-01-11 | 天津航天中为数据系统科技有限公司 | 一种遥测数据和视频图像数据的离线同步方法及装置 |
CN108965303A (zh) * | 2018-07-25 | 2018-12-07 | 中国电子科技集团公司第二十八研究所 | 一种基于Redis的多型无人机统一数据接入与处理系统 |
CN111479086A (zh) * | 2019-01-04 | 2020-07-31 | 西南林业大学 | 无人机智能实时指挥管理系统 |
-
2020
- 2020-10-09 CN CN202011072221.1A patent/CN112218051A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110090399A1 (en) * | 2009-10-19 | 2011-04-21 | Intergraph Technologies Company | Data Search, Parser, and Synchronization of Video and Telemetry Data |
CN106231245A (zh) * | 2016-07-21 | 2016-12-14 | 国家海洋技术中心 | 无人机遥测数据通用化实时处理方法及系统 |
CN106326920A (zh) * | 2016-08-16 | 2017-01-11 | 天津航天中为数据系统科技有限公司 | 一种遥测数据和视频图像数据的离线同步方法及装置 |
CN108965303A (zh) * | 2018-07-25 | 2018-12-07 | 中国电子科技集团公司第二十八研究所 | 一种基于Redis的多型无人机统一数据接入与处理系统 |
CN111479086A (zh) * | 2019-01-04 | 2020-07-31 | 西南林业大学 | 无人机智能实时指挥管理系统 |
Non-Patent Citations (2)
Title |
---|
刘惠等: "无人机通用指控平台设计与实现", 《计算机测量与控制》 * |
赵恩伟等: "基于运动估计的无人机视频与遥测同步方法", 《计算机测量与控制》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023029588A1 (zh) * | 2021-08-30 | 2023-03-09 | 成都纵横自动化技术股份有限公司 | 一种应用于gis的动态视频呈现方法及其系统 |
CN116033200A (zh) * | 2022-12-30 | 2023-04-28 | 北京天兵科技有限公司 | 一种航天遥测的音视频控制数据同步方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113065000B (zh) | 一种基于地理实体的多源异构数据融合方法 | |
CN102668534B (zh) | 视频和遥测数据的数据搜索、解析和同步 | |
CN105847750B (zh) | 基于地理编码的无人机视频影像实时显示的方法及装置 | |
CN107545538B (zh) | 一种基于无人机的全景图像拼接方法及装置 | |
CN109872401B (zh) | 一种无人机视频增强现实实现方法 | |
CN112053446A (zh) | 一种基于三维gis的实时监控视频与三维场景融合方法 | |
CN112581590A (zh) | 一种5g安防救援网联的无人机云边端协同控制方法 | |
CN110335507B (zh) | 基于空管航迹大数据的航班运行态势规律分析方法 | |
CN112218051A (zh) | 一种基于gis的无人机海域监测方法 | |
Hein et al. | Integrated uav-based real-time mapping for security applications | |
CN105812814B (zh) | 一种基于无人机视频的飞参数据可视化编码传输方法 | |
CN111144418B (zh) | 一种铁路轨道区域分割提取的方法 | |
WO2023029551A1 (zh) | 一种基于多无人机的图像拼接方法及其系统 | |
CN111582356B (zh) | 一种目标信息统一表示及关联方法 | |
Nebiker et al. | Cloud-Based geospatial 3D image spaces—A powerful urban model for the smart city | |
Shao et al. | Spatio-temporal-spectral-angular observation model that integrates observations from UAV and mobile mapping vehicle for better urban mapping | |
CN116430403A (zh) | 一种基于低空机载多传感器融合的实时态势感知系统与方法 | |
CN110262529B (zh) | 一种基于卷积神经网络的无人机监控方法及系统 | |
CN114383611A (zh) | 一种移动机器人的多机协同激光slam方法、装置及系统 | |
CN113743515A (zh) | 基于自监督自学习特征点的遥感影像特征匹配方法 | |
CN113326769A (zh) | 高精地图生成方法、装置、设备及存储介质 | |
CN114882139B (zh) | 一种多层级地图的端到端智能生成方法及系统 | |
Kloeker et al. | Framework for quality evaluation of smart roadside infrastructure sensors for automated driving applications | |
CN111294381A (zh) | 一种基于任务规划的异构信息获取与分发方法 | |
CN114120236A (zh) | 对低空目标进行识别定位的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210112 |