CN108769571B - 基于协同计算机系统的无人机视频处理系统 - Google Patents

基于协同计算机系统的无人机视频处理系统 Download PDF

Info

Publication number
CN108769571B
CN108769571B CN201810382530.5A CN201810382530A CN108769571B CN 108769571 B CN108769571 B CN 108769571B CN 201810382530 A CN201810382530 A CN 201810382530A CN 108769571 B CN108769571 B CN 108769571B
Authority
CN
China
Prior art keywords
video
aerial vehicle
unmanned aerial
computer system
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810382530.5A
Other languages
English (en)
Other versions
CN108769571A (zh
Inventor
郑恩辉
汪新露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810382530.5A priority Critical patent/CN108769571B/zh
Publication of CN108769571A publication Critical patent/CN108769571A/zh
Application granted granted Critical
Publication of CN108769571B publication Critical patent/CN108769571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

本发明公开了一种基于协同计算机系统的无人机视频处理系统。增设了协同计算机系统,无人机系统经协同计算机系统后分别与地面站系统、云服务系统通信连接,无人机系统和地面站系统连接通信;协同计算机系统接收飞行作业视频并将视频进行变码率处理后发送到云服务系统,接收飞行参数后将飞行参数融合到编码处理后的飞行作业视频中并发送地面站系统;地面站系统接收协同计算机系统发送过来的飞行作业视频,向自动驾驶仪发送控制信号以改变飞行状态,向协同计算机系统发送控制信号来控制协同计算机系统的飞行参数和飞行作业视频收集。本发明解决了目前无人机巡航监测过程中将会产生海量视频数据,与有限的无线传输带宽和无人机存储空间形成的矛盾问题。

Description

基于协同计算机系统的无人机视频处理系统
技术领域
本发明涉及计算机信息处理技术领域,尤其涉及了一种基于协同计算机系统的无人机视频处理系统。
背景技术
随着无人机技术与微处理器技术的不断发展,人们对视频信息的感官要求逐步提高,无人机航拍监测技术逐渐被应用到国防和民用领域中。无人机在进行监测过程中需要将高清视频数据流实时传输至地面站系统,以便对被监测对象进行检测和评估;同时也需要将视频传输到云服务系统的储存服务,能够有效地保留监测视频,为后期检测评估报告提供基础依据和为后期大数据分析提供海量视频数据。但随着摄像头分辨率与彩色深度的不断增加,无人机巡航监测过程中将会产生海量视频数据,这与有限的无线传输带宽和无人机存储空间形成矛盾;为了解决此类问题,装载在无人机上的协同计算机系统应运而生,该协同计算机系统可以稳定高效地传输实时视频到地面站系统实现监测对象的功能,而且能够通过4G技术实现视频上传至云存储服务平台,从而进一步利用云计算处理能力完成视频图像深层含义分析。基于人机交互控制技术能够控制协同计算机系统有选择性地采集和上传视频。
发明内容
为了解决背景技术中存在的问题,本发明的目的在于提出了一种基于协同计算机系统的无人机视频处理系统,增设了协同计算机系统来完成检测领域需求的高清视频采集和视频的云储存,提高无人机的适应性和扩展性,充分发挥无人机在检测、测绘、勘测等领域的灵活性好和机动性强等特点。
本发明采用的技术方案是:
本发明包括地面站系统、无人机系统和云服务系统,还增设了协同计算机系统,无人机系统和协同计算机系统安装在无人机上,使得无人机系统经协同计算机系统后分别与地面站系统、云服务系统通信连接,无人机系统和地面站系统连接通信;
无人机系统内设有自动驾驶仪,无人机系统采集飞行作业视频并传送到协同计算机系统,同时无人机系统将飞行参数发送到协同计算机系统;
协同计算机系统接收飞行作业视频并将视频进行变码率处理后发送到云服务系统,接收飞行参数后将飞行参数融合到编码处理后的飞行作业视频中并发送到地面站系统;
地面站系统接收协同计算机系统发送过来的融合后的飞行作业视频,向自动驾驶仪发送控制信号以改变无人机的飞行状态,向协同计算机系统发送控制信号来控制协同计算机系统的飞行参数和飞行作业视频收集;
云服务系统存储协同计算机系统发送过来的融合后的飞行作业视频。
所述的无人机系统与协同计算机系统通过串口连接,基于MavLink通信协议实现无人机系统与协同计算机系统之间的飞行参数和飞行控制的数据交互传输。
所述的协同计算机系统通过串口转USB适配器实现与自动驾驶仪的物理连接。
所述的协同计算机系统通过4G模块基于RTSP通信协议将编码视频流发送到云服务系统。
所述的协同计算机系统使用编码正交频分复用技术(COFDM)将融合有飞行状态参数的视频流发送至地面站系统。
所述的协同计算机系统主要由视频编码器、采集模块、无线传输模块和4G模块构成;采集模块的输入端与无人机系统连接,采集模块的输出端与视频编码器连接,视频编码器输出端经无线传输模块和地面站系统通信连接,视频编码器输出端经4G模块和云服务系统通信连接;
所述采集模块用于收集获取无人机系统的实时飞行作业视频和飞行参数,并传送至视频编码器进行变码率编码压缩;
所述视频编码器接收飞行作业视频并进行变码率编码压缩,然后融合入飞行参数;
所述4G模块基于RTSP协议将视频编码器变码率编码压缩处理后的飞行作业视频传输至云服务系统;
所述无线传输模块基于MavLink协议将视频编码器变码率编码压缩处理后且融合有飞行参数的飞行作业视频传输至地面站系统。
所述的地面站系统通过基于MavLink通信协议的数传设备完成与无人机系统通信连接,接收来自无人机系统的飞行参数和控制等数据流的传输;并且通过COFDM双向无线图传设备完成视频流在地面站系统和协同计算机系统之间的传输。
所述的地面站系统基于MavLink通信协议连接控制协同计算机进行视频采集收集,同时连接控制无人机系统内部的自动驾驶仪进行飞行参数收集。
所述的地面站系统实时监控无人机与协同计算机系统在应用场景中运行状态,并控制启动协同计算机系统的飞行作业视频采集与飞行参数收集。
本发明通过无人机系统上的高性能摄像头采集巡检高清视频,使用移动处理器的视频编码器多通道实时编码压缩视频,压缩率更高、编码实时性更好,快速降低视频数据量,减少对无线传输带宽的占用,从而进一步降低了视频延迟,反而可促进提升视频分辨率,借助超距4G技术及近距无线传输技术实现视频流推送到云服务系统与地面站系统。
本发明中,协同计算机系统采集高清视频,采用视频编码器编码压缩高清视频,并将实时编码视频流通过4G技术及COFDM技术以不同码率分别发送到云服务系统与地面站系统,保存高清视频。
本发明涉及的协同计算机系统具有强大并行运算能力、高清视频实时编码、视频传输稳定性高、低功耗、支持Pixhawk飞控系统与丰富外设接口等特点。
协同计算机系统使用多格式视频编码器实时多通道编码视频,编码压缩算法更优、压缩率更高、编码实时性更好,同时集成多种无线传输设备,传输带宽更高,数据传输速率更快、数据传输稳定且质量高,同时也装备了大容量存储空间,使得协同计算机能够很好地满足无人机巡航检测过程中对视频处理、传输、和储存的严格实时、稳定、高效需求。
采用本发明获得的有益效果:
区别于现有技术,本发明增设了协同计算机系统采用先进的移动处理器技术,运行Linux系统能够充分发挥多核CPU和GPU运算性能。
本发明解决了目前无人机巡航监测过程中将会产生海量视频数据,与有限的无线传输带宽和无人机存储空间形成的矛盾技术问题,通过该视频系统能够实时传输720P高清视频,有助于提高目前无人机所传输视频的质量。
附图说明
图1为本发明系统的主体功能结构示意图;
图2为本发明视频处理执行流程示意图;
图3为本发明主体功能结构的通讯连接示意图;
图4为本发明协同计算机系统的构成连接示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
本发明实施例公开了一种无人机的协同计算机系统,提出了一种无人机的视频处理方法,如图1所示,本发明包括地面站系统、无人机系统和云服务系统,还增设了协同计算机系统,无人机系统和协同计算机系统安装在无人机上,使得无人机系统经协同计算机系统后分别与地面站系统、云服务系统通信连接,无人机系统和地面站系统连接通信。
无人机系统内设有自动驾驶仪,无人机系统采集飞行作业视频并传送到协同计算机系统,同时无人机系统将飞行参数发送到协同计算机系统。
协同计算机系统接收飞行作业视频并将视频进行变码率处理后发送到云服务系统,接收飞行参数后将飞行参数融合到编码处理后的飞行作业视频中并发送到地面站系统。
地面站系统接收协同计算机系统发送过来的融合后的飞行作业视频,向自动驾驶仪发送控制信号以改变无人机的飞行状态,向协同计算机系统发送控制信号来控制协同计算机系统的飞行参数和飞行作业视频收集,并且实时检测分析协同计算机系统的采集程序所拍摄的视频,以实现对被检测对象的性能测量。
云服务系统利用对象存储服务存储协同计算机系统发送过来的融合后的飞行作业视频,可进一步用于基于云视频服务实现视频点播功能。
无人机系统与协同计算机系统通过串口连接,基于MavLink通信协议实现无人机系统与协同计算机系统之间的飞行参数和飞行控制的数据交互传输。具体实施中,协同计算机系统与无人机系统有线连接通信,协同计算机系统分别和地面站系统、云服务系统无线连接通信。
协同计算机系统通过串口转USB适配器实现与自动驾驶仪的物理连接,发送飞行控制信号给自动驾驶仪。协同计算机系统能够充分发挥自身多核CPU和GPU的强大运算能力实现视频的实时处理,使用支持多种格式多通道的视频编码器实时编码压缩高清视频,拥有丰富的外设接口进一步扩展系统的功能,具有体积小功耗低特点,满足无人机的运算和能耗需求。
如图3所示,协同计算机系统通过4G模块基于RTSP通信协议将编码视频流发送到云服务系统,同时协同计算机系统使用编码正交频分复用技术(COFDM)将融合有飞行状态参数的视频流发送至地面站系统,地面站系统可通过自身的视频检测系统实时完成被检测对象的缺陷分析或指标测量等任务。
协同计算机系统使用移动处理器的视频编码器多通道实时编码压缩视频,并保存编码前的视频在协同计算机的存储系统中。压缩率更高、编码实时性更好,快速降低视频数据量,减少对无线传输带宽的占用,从而进一步降低了视频延迟,反而又可以促进提升视频分辨率。
如图3所示,协同计算机系统通过4G通信技术将编码视频流推送至云服务器以保存飞行作业视频,为后续对象检测分析提供视频数据,并且采用4G通信技术实现对无人机的控制,相比于现在采用无线数传对无人机控制的方式,控制距离更远,效率更高,更易于实现。
如图4所示,协同计算机系统主要由视频编码器、采集模块、无线传输模块和4G模块构成;采集模块的输入端与无人机系统连接,采集模块的输出端与视频编码器连接,视频编码器输出端经无线传输模块和地面站系统通信连接,视频编码器输出端经4G模块和云服务系统通信连接;
如图2所示,采集模块用于收集获取无人机系统的实时飞行作业视频和飞行参数,并传送至视频编码器进行变码率编码压缩,视频编码器接收飞行作业视频并进行变码率编码压缩减少冗余重复数据,降低传输数据量,提供传输速率和减少视频播放延长,然后融合入飞行参数、
4G模块基于RTSP协议将视频编码器变码率编码压缩处理后的飞行作业视频传输至云服务系统,进一步提供了无人机的传输带宽,有利于提供数据传输速率与降低无人机视频传输延时;
无线传输模块基于MavLink协议将视频编码器变码率编码压缩处理后且融合有飞行参数的飞行作业视频传输至地面站系统。
地面站系统通过基于MavLink通信协议数传设备完成与无人机系统通信连接,接收来自无人机系统的飞行参数和控制等数据流的传输;并且通过COFDM双向无线图传设备完成视频流在地面站系统和协同计算机系统之间的传输,由于传输带宽增大,从而可以提供视频分辨率。
地面站系统基于MavLink通信协议连接控制协同计算机进行视频采集收集,同时连接控制无人机系统内部的自动驾驶仪进行飞行参数收集。
地面站系统实时监控无人机与协同计算机系统在应用场景中运行状态,并控制启动协同计算机系统的飞行作业视频采集与飞行参数收集。
地面站系统通过数传与COFDM双向无线图传设备完成与自动驾驶仪和协同计算机系统的信息交互,增大无线传输带宽和数据传输稳定性,提供视频质量和降低视频延迟,从而可以提高数据流的传输速率,实时行更好。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括本发明的专利保护范围内。

Claims (8)

1.一种基于协同计算机系统的无人机视频处理系统,包括地面站系统、无人机系统和云服务系统,其特征在于:
增设了协同计算机系统,无人机系统和协同计算机系统安装在无人机上,使得无人机系统经协同计算机系统后分别与地面站系统、云服务系统通信连接,无人机系统和地面站系统连接通信;
无人机系统内设有自动驾驶仪,无人机系统采集飞行作业视频并传送到协同计算机系统,同时无人机系统将飞行参数发送到协同计算机系统;
协同计算机系统接收飞行作业视频并将视频进行变码率处理后发送到云服务系统,接收飞行参数后将飞行参数融合到编码处理后的飞行作业视频中并发送到地面站系统;
地面站系统接收协同计算机系统发送过来的融合后的飞行作业视频,向自动驾驶仪发送控制信号以改变无人机的飞行状态,向协同计算机系统发送控制信号来控制协同计算机系统的飞行参数和飞行作业视频收集;
云服务系统存储协同计算机系统发送过来的融合后的飞行作业视频;
所述的协同计算机系统主要由视频编码器、采集模块、无线传输模块和4G模块构成;采集模块的输入端与无人机系统连接,采集模块的输出端与视频编码器连接,视频编码器输出端经无线传输模块和地面站系统通信连接,视频编码器输出端经4G模块和云服务系统通信连接;
所述采集模块用于收集获取无人机系统的实时飞行作业视频和飞行参数,并传送至视频编码器进行变码率编码压缩;
所述视频编码器接收飞行作业视频并进行变码率编码压缩,然后融合入飞行参数;
所述4G模块基于RTSP协议将视频编码器变码率编码压缩处理后的飞行作业视频传输至云服务系统;
所述无线传输模块基于MavLink协议将视频编码器变码率编码压缩处理后且融合有飞行参数的飞行作业视频传输至地面站系统。
2.根据权利要求1所述的一种基于协同计算机系统的无人机视频处理系统,其特征在于:所述的无人机系统与协同计算机系统通过串口连接,基于MavLink通信协议实现无人机系统与协同计算机系统之间的飞行参数和飞行控制的数据交互传输。
3.根据权利要求1所述的一种基于协同计算机系统的无人机视频处理系统,其特征在于:所述的协同计算机系统通过串口转USB适配器实现与自动驾驶仪的物理连接。
4.根据权利要求1所述的一种基于协同计算机系统的无人机视频处理系统,其特征在于:所述的协同计算机系统通过4G模块基于RTSP通信协议将编码视频流发送到云服务系统。
5.根据权利要求1所述的一种基于协同计算机系统的无人机视频处理系统,其特征在于:所述的协同计算机系统使用编码正交频分复用技术(COFDM)将融合有飞行状态参数的视频流发送至地面站系统。
6.根据权利要求1所述的一种基于协同计算机系统的无人机视频处理系统,其特征在于:所述的地面站系统通过数传基于MavLink通信协议与无人机系统通信连接,接收来自无人机系统的飞行参数和控制等数据流的传输;并且通过COFDM双向无线图传完成视频流在地面站系统和协同计算机系统之间的传输。
7.根据权利要求1所述的一种基于协同计算机系统的无人机视频处理系统,其特征在于:所述的地面站系统基于MavLink通信协议连接控制协同计算机进行视频采集收集,同时连接控制无人机系统内部的自动驾驶仪进行飞行参数收集。
8.根据权利要求1所述的一种基于协同计算机系统的无人机视频处理系统,其特征在于:所述的地面站系统实时监控无人机与协同计算机系统在应用场景中运行状态,并控制启动协同计算机系统的飞行作业视频采集与飞行参数收集。
CN201810382530.5A 2018-04-26 2018-04-26 基于协同计算机系统的无人机视频处理系统 Active CN108769571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810382530.5A CN108769571B (zh) 2018-04-26 2018-04-26 基于协同计算机系统的无人机视频处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810382530.5A CN108769571B (zh) 2018-04-26 2018-04-26 基于协同计算机系统的无人机视频处理系统

Publications (2)

Publication Number Publication Date
CN108769571A CN108769571A (zh) 2018-11-06
CN108769571B true CN108769571B (zh) 2024-01-02

Family

ID=64011963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810382530.5A Active CN108769571B (zh) 2018-04-26 2018-04-26 基于协同计算机系统的无人机视频处理系统

Country Status (1)

Country Link
CN (1) CN108769571B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822497B (zh) * 2020-12-01 2024-02-02 青岛大学 基于边缘计算的视频压缩编码处理方法及相关组件
CN113872663A (zh) * 2021-08-20 2021-12-31 上海歌尔泰克机器人有限公司 无人机数据传输方法、装置和系统
CN114326764A (zh) * 2021-11-29 2022-04-12 上海岩易科技有限公司 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204539340U (zh) * 2015-04-18 2015-08-05 江苏三棱科技发展有限公司 基于4g通信标准的无人机视频传输系统
CN204887278U (zh) * 2015-09-15 2015-12-16 成都时代星光科技有限公司 无人机空中自组网图像传输系统
CN105208335A (zh) * 2015-09-22 2015-12-30 成都时代星光科技有限公司 高倍变焦无人机空中高清多维实时侦查传输系统
CN105812814A (zh) * 2016-03-24 2016-07-27 湖南优象科技有限公司 一种基于无人机视频的飞参数据可视化编码传输方法
CN107396426A (zh) * 2016-05-16 2017-11-24 天津航天中为数据系统科技有限公司 用于无人机的机载终端及相应的数据传输系统和传输方法
CN107533792A (zh) * 2015-03-02 2018-01-02 瓦威亚无人机公司 用于在如无人机等远程控制机器与地面站点之间传输命令和视频流的系统
CN107911429A (zh) * 2017-11-04 2018-04-13 南京奇蛙智能科技有限公司 一种基于视频的无人机云端在线交通流量监测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533792A (zh) * 2015-03-02 2018-01-02 瓦威亚无人机公司 用于在如无人机等远程控制机器与地面站点之间传输命令和视频流的系统
CN204539340U (zh) * 2015-04-18 2015-08-05 江苏三棱科技发展有限公司 基于4g通信标准的无人机视频传输系统
CN204887278U (zh) * 2015-09-15 2015-12-16 成都时代星光科技有限公司 无人机空中自组网图像传输系统
CN105208335A (zh) * 2015-09-22 2015-12-30 成都时代星光科技有限公司 高倍变焦无人机空中高清多维实时侦查传输系统
CN105812814A (zh) * 2016-03-24 2016-07-27 湖南优象科技有限公司 一种基于无人机视频的飞参数据可视化编码传输方法
CN107396426A (zh) * 2016-05-16 2017-11-24 天津航天中为数据系统科技有限公司 用于无人机的机载终端及相应的数据传输系统和传输方法
CN107911429A (zh) * 2017-11-04 2018-04-13 南京奇蛙智能科技有限公司 一种基于视频的无人机云端在线交通流量监测方法

Also Published As

Publication number Publication date
CN108769571A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108769571B (zh) 基于协同计算机系统的无人机视频处理系统
CN208905095U (zh) 一种无人机视频采集通讯系统
CN204539340U (zh) 基于4g通信标准的无人机视频传输系统
CN102170554B (zh) 基于电力网的网络摄像装置及网络摄像方法
CN203416351U (zh) 电站厂房视频监控系统
CN101561969A (zh) 事件的视频监控导游及发布方法和系统
CN109345804A (zh) 一种基于移动网络的无人机控制信令和数据传输方法
CN103327070A (zh) 一种基于3g物联网技术的输电线路多状态信息监测系统
CN102523432A (zh) 一种基于3g的智能车载监控系统
CN106254227A (zh) 基于4g车载终端的图像采集传输系统
CN103957423A (zh) 一种基于计算机视觉的视频压缩和重建方法
CN113747191A (zh) 基于无人机的视频直播方法、系统、设备及存储介质
CN204408536U (zh) 无人机飞行器用的大流量图像传输设备
CN103428493A (zh) 轻型化高清视频无线传输系统
CN207869285U (zh) 一种机载光电吊舱超高清视频图像处理系统
CN206042200U (zh) 一种数字高清视频监控系统
CN206162925U (zh) 一种模拟飞行作业生理变化实时记录装置
CN112925242A (zh) 一种无人作业农机智能网联终端系统
CN204231562U (zh) 一种高清视频监控传输系统
CN110278163B (zh) 一种用于无人机机载信息处理与组织传输的方法
CN203734764U (zh) 数字高清视频与模拟标清视频的混合监控系统
CN105721828A (zh) 一种智能网络视频监控系统
CN205921695U (zh) 一种ip信号在同轴线上传输的系统
CN104506652A (zh) 一种实现航空无线通信系统混合业务信息共享传输的系统
CN202334783U (zh) 一种融合了立体声采集和回放功能的视频编码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant