CN114326764A - 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统 - Google Patents
基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统 Download PDFInfo
- Publication number
- CN114326764A CN114326764A CN202111434186.8A CN202111434186A CN114326764A CN 114326764 A CN114326764 A CN 114326764A CN 202111434186 A CN202111434186 A CN 202111434186A CN 114326764 A CN114326764 A CN 114326764A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- position information
- rtmp
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000005540 biological transmission Effects 0.000 title claims abstract description 11
- 239000011521 glass Substances 0.000 claims description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统，该方法采用无人机执行，无人机按照Rtmp协议对拍摄到的视频分Tag打包发送，每个Tag包括若干个NALU结构，所述NALU结构中包括SEI字段。所述无人机持续获取自身的位置信息，将视频转换成NALU结构的过程中，在各NALU结构的SEI字段中添加视频拍摄时所述无人机的位置信息。通过采用该方法，无人机在通过Rtmp协议回传视频的同时还可以实时回传视频拍摄时无人机的实时位置，能够方便无人机巡检集成作业、森林资源实时调查集成作业、配准无人机巡检线路等作用。
Description
技术领域
本发明属于遥感领域，特别涉及一种基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统。
背景技术
目前无人机广泛采用Rtmp协议回传视频，但是现有的Rtmp协议通常只能回传视频数据，无法回传无人机的定位信息以及轨迹。在后期处理过程中，视频数据难以和定位信息同步匹配，增加了无人机在测绘、巡检等领域的应用难度。
发明内容
本发明的目的是提供一种基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统，该方法通过在Rtmp协议的SEI字段写入无人机的位置信息实现了定位信息和视频图像的同步传输。
本发明的技术方案是，一种基于Rtmp传输的智慧林业无人机定点直播方法，采用无人机执行，无人机按照Rtmp协议对原始视频流数据进行H264编码、组织NALU结构并分Tag打包发送，每个Tag包括若干个NALU结构，所述NALU结构中包括SEI字段；
所述无人机持续获取自身的位置信息，将视频转换成NALU结构的过程中，在各NALU结构的SEI字段中添加视频拍摄时所述无人机的位置信息。
本发明的进一步改进在于：所述无人机通过RTK测量的方式获取位置信息。
本发明的进一步改进在于：所述无人机的视频压缩模块在接收到每一帧视频后向定位模块请求当前时刻所述无人机的位置信息；所述定位模块根据所述无人机的飞控模块的姿态和轨迹对GPS模块的定位结果进行插值，得到所述无人机的实时位置信息。
本发明的进一步改进在于：所述无人机还向所述SEI字段中添加视频拍摄时所述无人机的姿态信息。
本发明的进一步改进在于：所述无人机通过无线通信的方式与地面站通信。
本发明还包括一种无人机系统，其包括：
无人机，采用上述基于Rtmp传输的智慧林业无人机定点直播方法；
地面站，用于接收所述无人机的Rtmp推流。
本发明的进一步改进在于：所述地面站包括用于显示无人机位置信息的显示装置。
本发明的进一步改进在于：所述显示装置为VR眼镜。
本发明的有益效果为：无人机在通过Rtmp协议回传视频的同时还可以实时回传视频拍摄时无人机的实时位置，能够方便无人机巡检集成作业、森林资源实时调查集成作业、配准无人机巡检线路等作用。
附图说明
图1是本实施例中NALU结构的数据定义示意图。
具体实施方式
实施例：如图1所示，本实施例提供一种基于Rtmp传输的智慧林业无人机定点直播方法，采用无人机执行，无人机按照Rtmp协议(Real Time Messaging Protocol)对拍摄到的视频分Tag(标签)打包发送，每个Tag包括若干个NALU结构(Network Abstract LayerUnit)，所述NALU结构中包括SEI字段。在拍摄过程中，无人机持续获取自身的位置信息，将视频转换成NALU结构的过程中，在各NALU结构的SEI字段中添加视频拍摄时所述无人机的位置信息。
本实施例中，Tag的Payload中是H264的数据，Avcc格式。图1所示为本实施例中NALU结构的定义。其中，SEI字段(Supplemental enhancement information，附加增强信息字段)的尺寸是47个字节，除去16字节的uuid，剩下31个字节的content。由于content是字符串，所以有结束符"0x00"，剩下有效的30个字符内容经纬度坐标信息采用26个字符足以存储。
在一些实施例中，无人机通过RTK测量的方式获取位置信息。
Rtmp协议传输的视频帧率通常可达30fps，而定位模块的消息订阅频率通常为5Hz，在一些实施例中，对无人机的位置信息依照Rtmp协议的帧率进行插值。具体的，无人机的视频压缩模块在接收到每一帧视频后向定位模块请求当前时刻所述无人机的位置信息；定位模块根据所述无人机的飞控模块的姿态和轨迹对GPS模块的定位结果进行插值，得到所述无人机的实时位置信息。
在一个具体实施例中，无人机还向所述SEI字段中添加视频拍摄时所述无人机的姿态信息。姿态信息从飞控模块中实时获取。
在一些实施例中，无人机通过5G协议与与地面站无线通信。
本发明的实施例还包括一种无人机系统，包括：
无人机，采用上述基于Rtmp传输的智慧林业无人机定点直播方法；
地面站，用于接收无人机的Rtmp推流。地面站包括用于显示无人机位置信息的显示装置。
在一些实施例中，显示装置为VR眼镜。无人机回传的视频为双目摄像头拍摄的双通道视频，SEI字段中包括无人机的实时位置信息以及姿态信息。地面站根据双通道视频进行立体重建，得到立体视频，并根据位置信息以及姿态信息采用卡尔曼滤波轨迹预测算法预测无人机的轨迹，并将立体视频以及无人机的预测轨迹在VR眼镜中进行展示。
在该实施例中，地面站可通过VR眼镜对无人机拍摄的图像进行直观展示，结合轨迹预测结果，便于在通信存在一定延迟的情况下对无人机进行超视距操控。特别是在巡检以及降落过程中，操作人员可根据无人机的轨迹预测结果对无人机的轨迹有直观的预期，可提高超视距控制效率，避免了操控过程中“发出指令-等待图像反馈”的低效循环，降低通信延迟对无人机操控的影响，提高了无人机飞行动作的准确性以及安全性。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于Rtmp传输的智慧林业无人机定点直播方法，采用无人机执行，无人机按照Rtmp协议对拍摄到的视频分Tag打包发送，每个Tag包括若干个NALU结构，所述NALU结构中包括SEI字段，其特征在于：
所述无人机持续获取自身的位置信息，将视频转换成NALU结构的过程中，在各NALU结构的SEI字段中添加视频拍摄时所述无人机的位置信息。
2.根据权利要求1所述的一种基于Rtmp传输的智慧林业无人机定点直播方法，其特征在于：所述无人机通过RTK测量的方式获取位置信息。
3.根据权利要求1所述的一种基于Rtmp传输的智慧林业无人机定点直播方法，其特征在于：所述无人机的视频压缩模块在接收到每一帧视频后向定位模块请求当前时刻所述无人机的位置信息；所述定位模块根据所述无人机的飞控模块的姿态和轨迹对GPS模块的定位结果进行插值，得到所述无人机的实时位置信息。
4.根据权利要求5所述的一种基于Rtmp传输的智慧林业无人机定点直播方法，其特征在于，所述无人机还向所述SEI字段中添加视频拍摄时所述无人机的姿态信息。
5.根据权利要求1所述的一种基于Rtmp传输的智慧林业无人机定点直播方法，其特征在于，所述无人机通过无线通信的方式与地面站通信。
6.一种无人机系统，其特征在于包括：
无人机，采用权利要求1至5任一所述基于Rtmp传输的智慧林业无人机定点直播方法；
地面站，用于接收所述无人机的Rtmp推流。
7.根据权利要求6所述的一种无人机系统，其特征在于，所述地面站包括用于显示无人机位置信息的显示装置。
8.根据权利要求7所述的一种无人机系统，其特征在于，所述显示装置为VR眼镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434186.8A CN114326764A (zh) | 2021-11-29 | 2021-11-29 | 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434186.8A CN114326764A (zh) | 2021-11-29 | 2021-11-29 | 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114326764A true CN114326764A (zh) | 2022-04-12 |
Family
ID=81045757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111434186.8A Pending CN114326764A (zh) | 2021-11-29 | 2021-11-29 | 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114326764A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024109317A1 (zh) * | 2022-11-24 | 2024-05-30 | 亮风台（上海）信息科技有限公司 | 一种传输视频帧及摄像参数信息的方法与设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104980708A (zh) * | 2015-06-30 | 2015-10-14 | 江苏首控制造技术有限公司 | 无人机手持终端远程直播监控系统 |
| JP2015188150A (ja) * | 2014-03-26 | 2015-10-29 | 株式会社衛星ネットワーク | 空撮映像配信システムおよび空撮映像配信方法 |
| CN105812814A (zh) * | 2016-03-24 | 2016-07-27 | 湖南优象科技有限公司 | 一种基于无人机视频的飞参数据可视化编码传输方法 |
| CN105812660A (zh) * | 2016-03-15 | 2016-07-27 | 深圳市至壹科技开发有限公司 | 基于地理位置的视频处理方法 |
| CN105847913A (zh) * | 2016-05-20 | 2016-08-10 | 腾讯科技（深圳）有限公司 | 一种控制视频直播的方法、移动终端及系统 |
| CN106454209A (zh) * | 2015-08-06 | 2017-02-22 | 航天图景（北京）科技有限公司 | 基于时空信息融合技术的无人机应急快反数据链系统及方法 |
| CN108769571A (zh) * | 2018-04-26 | 2018-11-06 | 中国计量大学 | 基于协同计算机系统的无人机视频处理系统 |
| CN208905095U (zh) * | 2018-04-26 | 2019-05-24 | 中国计量大学 | 一种无人机视频采集通讯系统 |
| CN110636255A (zh) * | 2019-08-21 | 2019-12-31 | 西南交通大学 | 一种基于4g网络的无人机图像、视频传输分发系统及方法 |
| CN110866991A (zh) * | 2019-12-11 | 2020-03-06 | 北京工业大学 | 基于无人机航拍的海上巡检监管系统 |
| CN112422927A (zh) * | 2020-12-01 | 2021-02-26 | 深圳高度创新技术有限公司 | 无人机拍摄视频与地图实时结合方法及系统 |
| CN112714281A (zh) * | 2020-12-19 | 2021-04-27 | 西南交通大学 | 一种基于5g网络的无人机机载vr视频采集传输装置 |
| CN112995134A (zh) * | 2021-02-03 | 2021-06-18 | 中南大学 | 一种三维视频流媒体传输方法与可视化方法 |
-
2021
- 2021-11-29 CN CN202111434186.8A patent/CN114326764A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015188150A (ja) * | 2014-03-26 | 2015-10-29 | 株式会社衛星ネットワーク | 空撮映像配信システムおよび空撮映像配信方法 |
| CN104980708A (zh) * | 2015-06-30 | 2015-10-14 | 江苏首控制造技术有限公司 | 无人机手持终端远程直播监控系统 |
| CN106454209A (zh) * | 2015-08-06 | 2017-02-22 | 航天图景（北京）科技有限公司 | 基于时空信息融合技术的无人机应急快反数据链系统及方法 |
| CN105812660A (zh) * | 2016-03-15 | 2016-07-27 | 深圳市至壹科技开发有限公司 | 基于地理位置的视频处理方法 |
| CN105812814A (zh) * | 2016-03-24 | 2016-07-27 | 湖南优象科技有限公司 | 一种基于无人机视频的飞参数据可视化编码传输方法 |
| CN105847913A (zh) * | 2016-05-20 | 2016-08-10 | 腾讯科技（深圳）有限公司 | 一种控制视频直播的方法、移动终端及系统 |
| CN108769571A (zh) * | 2018-04-26 | 2018-11-06 | 中国计量大学 | 基于协同计算机系统的无人机视频处理系统 |
| CN208905095U (zh) * | 2018-04-26 | 2019-05-24 | 中国计量大学 | 一种无人机视频采集通讯系统 |
| CN110636255A (zh) * | 2019-08-21 | 2019-12-31 | 西南交通大学 | 一种基于4g网络的无人机图像、视频传输分发系统及方法 |
| CN110866991A (zh) * | 2019-12-11 | 2020-03-06 | 北京工业大学 | 基于无人机航拍的海上巡检监管系统 |
| CN112422927A (zh) * | 2020-12-01 | 2021-02-26 | 深圳高度创新技术有限公司 | 无人机拍摄视频与地图实时结合方法及系统 |
| CN112714281A (zh) * | 2020-12-19 | 2021-04-27 | 西南交通大学 | 一种基于5g网络的无人机机载vr视频采集传输装置 |
| CN112995134A (zh) * | 2021-02-03 | 2021-06-18 | 中南大学 | 一种三维视频流媒体传输方法与可视化方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024109317A1 (zh) * | 2022-11-24 | 2024-05-30 | 亮风台（上海）信息科技有限公司 | 一种传输视频帧及摄像参数信息的方法与设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3443749B1 (en) | Systems and methods for video processing and display | |
| CN109345804A (zh) | 一种基于移动网络的无人机控制信令和数据传输方法 | |
| Maiouak et al. | Dynamic maps for automated driving and UAV geofencing | |
| CN105120240B (zh) | 高倍变焦无人机空中高清多维实时侦查传输监控装置 | |
| CN103686084A (zh) | 一种用于多无人机协同实时侦察的全景视频监控方法 | |
| CN110866991A (zh) | 基于无人机航拍的海上巡检监管系统 | |
| CN112714281A (zh) | 一种基于5g网络的无人机机载vr视频采集传输装置 | |
| CN105120232B (zh) | 无人机图像监控和传输方法 | |
| CN110636255A (zh) | 一种基于4g网络的无人机图像、视频传输分发系统及方法 | |
| CN105208335B (zh) | 高倍变焦无人机空中高清多维实时侦查传输系统 | |
| CN104071333A (zh) | 一种基于北斗及4g的无人机 | |
| JP2017208802A (ja) | ドローンのビデオを符号化および復号する方法ならびに関連するデバイス | |
| US11523125B2 (en) | Drone video compressor for remote video viewing | |
| CN205510277U (zh) | 一种无人机全景图像传输设备 | |
| CN111880551A (zh) | 一种无人机信号传输方法、系统、设备及存储介质 | |
| CN204761600U (zh) | 无人机手持终端远程直播监控系统 | |
| CN111695541A (zh) | 基于机器视觉的无人机森林防火系统及方法 | |
| EP4398183A1 (en) | Image stitching method and system based on multiple unmanned aerial vehicles | |
| CN114326764A (zh) | 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统 | |
| US20210227102A1 (en) | Systems and methods for synchronizing frame timing between physical layer frame and video frame | |
| CN106394918A (zh) | 一种无人机搭载的全景相机系统及其操作方法 | |
| CN105828043A (zh) | 一种无人机视频远程传输系统 | |
| CN105208336B (zh) | 高倍变焦无人机空中高清多维实时侦查传输方法 | |
| CN204408536U (zh) | 无人机飞行器用的大流量图像传输设备 | |
| KR20240058089A (ko) | Gis에 응용되는 모션 비디오 프레젠테이션 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |