CN110830815A - 一种用于无人机高清ar直播视频显示方法 - Google Patents

一种用于无人机高清ar直播视频显示方法 Download PDF

Info

Publication number
CN110830815A
CN110830815A CN202010016474.0A CN202010016474A CN110830815A CN 110830815 A CN110830815 A CN 110830815A CN 202010016474 A CN202010016474 A CN 202010016474A CN 110830815 A CN110830815 A CN 110830815A
Authority
CN
China
Prior art keywords
data
unmanned aerial
aerial vehicle
definition
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010016474.0A
Other languages
English (en)
Inventor
柯紫云
吴志明
雷涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yi Paint Technology Co Ltd
Original Assignee
Hangzhou Yi Paint Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yi Paint Technology Co Ltd filed Critical Hangzhou Yi Paint Technology Co Ltd
Priority to CN202010016474.0A priority Critical patent/CN110830815A/zh
Publication of CN110830815A publication Critical patent/CN110830815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明无人机航拍技术领域，公开了一种用于无人机高清AR直播视频显示方法，包括如下步骤：（1）准备工作；（2）捕获工作数据；（3）返回数据并处理；（4）叠加三维数据：调用当前位置的静态数据和实时动态数据，渲染虚拟模型场景，并叠加到步骤（3）中虚拟场景的视频画面上；（5）形成画面数据：重复步骤（3）~（4），形成飞行画面数据并进行实时播放，直到飞行完成。本发明通过无人机实时上传视频画面和无人机飞行姿态数据到云端服务器，在地面的播放设备上，通过云端服务器获取这些数据，渲染并叠加虚拟场景到现实场景的视频画面上，从而智能生成无人机AR直播画面，从而实现对真实世界的“增强”，可以智能地高精度叠加相关数据信息。

Description

一种用于无人机高清AR直播视频显示方法
技术领域
本发明无人机航拍技术领域，尤其涉及了一种用于无人机高清AR直播视频显示方法。
背景技术
近年来，随着消费级无人机的普及，普通人也可以用“上帝视角”鸟瞰世界。正因为如此，无人机以十分迅猛的姿态走进了民众的生活。随着5G网络的普及和网络直播的兴起，使得无人机被广泛应用在城市管理、体育比赛、交通出行、应急搜救、农林环保、公共安全、影视等多个领域进行航拍直播，具有非常广阔的应用前景。
但是，目前无人机航拍直播只能播放实时的视频画面，不能在视频画面上实时高精度地叠加数据信息，比如：视频画面里的建筑物的模型信息、城市道路的交通信息、体育赛事的选手信息、应急救援的疏散路线信息等等，从而使得无人机航拍直播的价值大大降低。
发明内容
本发明针对现有技术中精度不高、应用不够全面的缺点，提供了一种用于无人机高清AR直播视频显示方法。
为了解决上述技术问题，本发明通过下述技术方案得以解决。
一种用于无人机高清AR直播视频显示方法，包括如下步骤：
（1）准备工作：地面设备通过无线模块连接无人机，对无人机进行校准并设置无人机起飞点，加载虚拟模型场景；设置虚拟相机的视角范围和焦距，与无人机镜头的视角范围和焦距相同；
（2）捕获工作数据：在无人机实时运行时，无人机实时传播视频画面和无人机飞行姿态数据至云端服务器；
（3）返回数据并处理：地面设备从云端服务器获取实时视频画面和飞行姿态数据，根据获取的数据在虚拟场景中进行相同数据设置；
（4）叠加三维数据：调用当前位置的静态数据和实时动态数据，渲染虚拟模型场景 ，并叠加到步骤（3）中虚拟场景的视频画面上；
（5）形成画面数据：重复步骤（3）~（4），形成飞行画面数据并进行实时播放，直到飞行完成。
作为优选，步骤（1）中，以起飞点的经度、维度和海拔高度数据为原点，并以正东，正北方向为X轴，Y轴，建立虚拟空间直角平面坐标系，加载以无人机为圆心半径为1公里的虚拟模拟场景。
作为优选，步骤（1）中，无线模块为5G网络。
作为优选，步骤（2）中，飞行姿态数据包括无人机的经度、纬度、高度、云台的yaw、pitch、roll角度。
作为优选，步骤（2）中，飞行姿态数据通过H264的SEI自定义信息字段保存在高清视频流内。
作为优选，步骤（3）中，设置过程包括虚拟相机的平面直角坐标系的相对位置值和当前角度值，与无人机姿态数据中的地理位置相对值和当前角度值相同。
作为优选，步骤（4）中，静态数据包括建筑物模型数据、城市道路模型数据、汽车和人的模型数据，实时动态数据包括城市交通数据、目标监护人和应急救援的疏散数据。
作为优选，飞行期间，无人机通过0.01HZ-0.1HZ的频率进行传输数据至云端服务器。
本发明由于采用了以上技术方案，具有显著的技术效果：本发明通过5G网络高带宽低延迟的特点，无人机实时上传视频画面和无人机飞行姿态数据到云端服务器，在地面的播放设备上，通过云端服务器获取这些数据，在虚拟场景中，与现实场景中无人机的物理相机（镜头）完全相同，渲染并叠加虚拟场景到现实场景的视频画面上，从而智能生成无人机AR直播画面，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”，在无人机航拍直播的实时视频画面上，可以智能地高精度叠加相关的数据信息，从而打造了一套应用前景更加广泛的无人机直播AR显示系统。
附图说明
图1是本发明一种用于无人机高清AR直播视频显示方法的运行结构示意图。
图2是本发明一种用于无人机高清AR直播视频显示方法的运行流程示意图。
图3是本发明一种用于无人机高清AR直播视频显示方法中数据处理前无人机内显示的画面。
图4是本发明一种用于无人机高清AR直播视频显示方法中叠加三维数据后显示的画面。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
如图1至图4所示，一种用于无人机高清AR直播视频显示方法，包括如下步骤：
（1）准备工作：地面设备通过无线模块连接无人机，对无人机进行校准并设置无人机起飞点，加载虚拟模型场景；设置虚拟相机的视角范围和焦距，与无人机镜头的视角范围和焦距相同；
（2）捕获工作数据：在无人机实时运行时，无人机实时传播视频画面和无人机飞行姿态数据至云端服务器；
（3）返回数据并处理：地面设备从云端服务器获取实时视频画面和飞行姿态数据，根据获取的数据在虚拟场景中进行相同数据设置；
（4）叠加三维数据：调用当前位置的静态数据和实时动态数据，渲染虚拟模型场景 ，并叠加到步骤（3）中虚拟场景的视频画面上；
（5）形成画面数据：重复步骤（3）~（4），形成飞行画面数据并进行实时播放，直到飞行完成。
步骤（1）中，以起飞点的经度、维度和海拔高度数据为原点，并以正东，正北方向为X轴，Y轴，建立虚拟空间直角平面坐标系，加载以无人机为圆心半径为1公里的虚拟模拟场景。
步骤（1）中，无线模块为5G网络。
步骤（2）中，飞行姿态数据包括无人机的经度、纬度、高度、云台的yaw、pitch、roll角度。
步骤（2）中，飞行姿态数据通过H264的SEI自定义信息字段保存在高清视频流内。
步骤（3）中，设置过程包括虚拟相机的平面直角坐标系的相对位置值和当前角度值，与无人机姿态数据中的地理位置相对值和当前角度值相同。
步骤（4）中，静态数据包括建筑物模型数据、城市道路模型数据、汽车和人的模型数据，实时动态数据包括城市交通数据、目标监护人和应急救援的疏散数据，目标监护人比如正在比赛的选手，对其健康数据进行监测，如实时心电监护，提供报警最大程度上避免猝死等运动意外的发生。
飞行期间，无人机通过0.01HZ-0.1HZ的频率进行传输数据至云端服务器。
本发明通过5G网络高带宽低延迟的特点，无人机实时上传视频画面和无人机飞行姿态数据到云端服务器，在地面的播放设备上，通过云端服务器获取这些数据，在虚拟场景中，与现实场景中无人机的物理相机（镜头）完全相同，渲染并叠加虚拟场景到现实场景的视频画面上，从而智能生成无人机AR直播画面，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”，在无人机航拍直播的实时视频画面上，可以智能地高精度叠加相关的数据信息，从而打造了一套应用前景更加广泛的无人机直播AR显示系统。
实施例2
（1）首先，地面设备通过5G网络连接无人机，对无人机进行校准，无人机起飞点的地理坐标为经度120.002199度，纬度30.286920度，海拔6.0米，转化成高斯平面直角坐标系（3度带）为{x: "3351979.445", y: "500211.564",z: "6.0"},作为虚拟空间的坐标原点{ x:"0.0", y: "0.0",z: "0.0"}，并加载附近1公里的静态模型数据。
（2）然后，根据无人机镜头的视角84度和焦距为24MM，设置虚拟相机的视角为84度和焦距为24MM。
（3）接着，无人机起飞，0.1HZ后返回当前地理坐标为经度120.002197度，纬度30.286923度，海拔6.1米，转化成平面直角坐标系为{x: "3351979.777", y: "500211.371",z: "6.1"}，位置相对值为{ x: "0.332", y: "-0.193",z: "0.1"}，同步设置虚拟相机新的位置为{ x: "0.332", y: "-0.193",z: "0.1"}。根据返回的无人机镜头旋转角度{ yaw: "23.5", pitch: "3.5",roll: "0.0"}，同步设置虚拟相机角度为{ x: "3.5", y: "23.5",z: "0.0"}。
（4）同时，加载实时动态数据，渲染并叠加模型场景到无人机视频画面上。
（5）最后，不断重复上述步骤，形成无人机高清AR直播显示系统。
总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (8)

1.一种用于无人机高清AR直播视频显示方法，其特征在于，包括如下步骤：
（1）准备工作：地面设备通过无线模块连接无人机，对无人机进行校准并设置无人机起飞点，加载虚拟模型场景；设置虚拟相机的视角范围和焦距，与无人机镜头的视角范围和焦距相同；
（2）捕获工作数据：在无人机实时运行时，无人机实时传播视频画面和无人机飞行姿态数据至云端服务器；
（3）返回数据并处理：地面设备从云端服务器获取实时视频画面和飞行姿态数据，根据获取的数据在虚拟场景中进行相同数据设置；
（4）叠加三维数据：调用当前位置的静态数据和实时动态数据，渲染虚拟模型场景 ，并叠加到步骤（3）中虚拟场景的视频画面上；
（5）形成画面数据：重复步骤（3）~（4），形成飞行画面数据并进行实时播放，直到飞行完成。
2.根据权利要求1所述的一种用于无人机高清AR直播视频显示方法，其特征在于：步骤（1）中，以起飞点的经度、维度和海拔高度数据为原点，并以正东，正北方向为X轴，Y轴，建立虚拟空间直角平面坐标系，加载以无人机为圆心半径为1公里的虚拟模拟场景。
3.根据权利要求1所述的一种用于无人机高清AR直播视频显示方法，其特征在于：步骤（1）中，无线模块为5G网络。
4.根据权利要求1所述的一种用于无人机高清AR直播视频显示方法，其特征在于：步骤（2）中，飞行姿态数据包括无人机的经度、纬度、高度、云台的yaw、pitch、roll角度。
5.根据权利要求1所述的一种用于无人机高清AR直播视频显示方法，其特征在于：步骤（2）中，飞行姿态数据通过H264的SEI自定义信息字段保存在高清视频流内。
6.根据权利要求1所述的一种用于无人机高清AR直播视频显示方法，其特征在于：步骤（3）中，设置过程包括虚拟相机的平面直角坐标系的相对位置值和当前角度值，与无人机姿态数据中的地理位置相对值和当前角度值相同。
7.根据权利要求1所述的一种用于无人机高清AR直播视频显示方法，其特征在于：步骤（4）中，静态数据包括建筑物模型数据、城市道路模型数据、汽车和人的模型数据，实时动态数据包括城市交通数据、目标监护人和应急救援的疏散数据。
8.根据权利要求1所述的一种用于无人机高清AR直播视频显示方法，其特征在于：飞行期间，无人机通过0.01HZ-0.1HZ的频率进行传输数据至云端服务器。
CN202010016474.0A 2020-01-08 2020-01-08 一种用于无人机高清ar直播视频显示方法 Pending CN110830815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010016474.0A CN110830815A (zh) 2020-01-08 2020-01-08 一种用于无人机高清ar直播视频显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010016474.0A CN110830815A (zh) 2020-01-08 2020-01-08 一种用于无人机高清ar直播视频显示方法

Publications (1)

Publication Number Publication Date
CN110830815A true CN110830815A (zh) 2020-02-21

Family

ID=69546493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010016474.0A Pending CN110830815A (zh) 2020-01-08 2020-01-08 一种用于无人机高清ar直播视频显示方法

Country Status (1)

Country Link
CN (1) CN110830815A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290124A (zh) * 2020-03-31 2020-06-16 北京塞傲时代信息技术有限公司 基于5g云渲染的vr眼镜
CN111599222A (zh) * 2020-06-11 2020-08-28 浙江商汤科技开发有限公司 一种沙盘展示方法及装置
CN111787339A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种直播预演系统
CN111787337A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种电视直播方案辅助设计方法
CN111787338A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种体育赛事直播方案辅助设计方法
CN112839190A (zh) * 2021-01-22 2021-05-25 九天华纳(北京)科技有限公司 虚拟图像与现实场景同步视频录制或直播的方法
CN116033231A (zh) * 2021-10-27 2023-04-28 海鹰航空通用装备有限责任公司 一种视频直播ar标签叠加方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014117A (en) * 1997-07-03 2000-01-11 Monterey Technologies, Inc. Ambient vision display apparatus and method
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN106454209A (zh) * 2015-08-06 2017-02-22 航天图景（北京）科技有限公司 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN108200415A (zh) * 2018-03-16 2018-06-22 广州成至智能机器科技有限公司 基于增强现实技术的无人机图像画面处理系统及其方法
CN109068098A (zh) * 2018-09-05 2018-12-21 高新兴科技集团股份有限公司 一种用于增强画面显示的无人机视频监控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014117A (en) * 1997-07-03 2000-01-11 Monterey Technologies, Inc. Ambient vision display apparatus and method
CN106454209A (zh) * 2015-08-06 2017-02-22 航天图景（北京）科技有限公司 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN108200415A (zh) * 2018-03-16 2018-06-22 广州成至智能机器科技有限公司 基于增强现实技术的无人机图像画面处理系统及其方法
CN109068098A (zh) * 2018-09-05 2018-12-21 高新兴科技集团股份有限公司 一种用于增强画面显示的无人机视频监控系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787339A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种直播预演系统
CN111787337A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种电视直播方案辅助设计方法
CN111787338A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种体育赛事直播方案辅助设计方法
CN111290124A (zh) * 2020-03-31 2020-06-16 北京塞傲时代信息技术有限公司 基于5g云渲染的vr眼镜
CN111599222A (zh) * 2020-06-11 2020-08-28 浙江商汤科技开发有限公司 一种沙盘展示方法及装置
CN111599222B (zh) * 2020-06-11 2022-07-22 浙江商汤科技开发有限公司 一种沙盘展示方法及装置
CN112839190A (zh) * 2021-01-22 2021-05-25 九天华纳(北京)科技有限公司 虚拟图像与现实场景同步视频录制或直播的方法
CN112839190B (zh) * 2021-01-22 2023-01-31 九天华纳(北京)科技有限公司 虚拟图像与现实场景同步视频录制或直播的方法
CN116033231A (zh) * 2021-10-27 2023-04-28 海鹰航空通用装备有限责任公司 一种视频直播ar标签叠加方法和装置

Similar Documents

Publication Publication Date Title
CN110830815A (zh) 一种用于无人机高清ar直播视频显示方法
US20220230436A1 (en) Automatic determination and monitoring of vehicles on a racetrack with corresponding imagery data for broadcast
US11365014B2 (en) System and method for automated tracking and navigation
CN105700547B (zh) 一种基于导航飞艇的空中立体视频街景系统及实现方法
CN105847750B (zh) 基于地理编码的无人机视频影像实时显示的方法及装置
CN110110641B (zh) 一种流域性洪涝场景的无人机监测方法及系统
CN107367262A (zh) 一种无人机远距离实时定位测绘显示互联式控制方法
EP1288888B1 (en) A method and system for improving situational awareness of command and control units
CN107247458A (zh) 无人机视频图像目标定位系统、定位方法及云台控制方法
CN106454209A (zh) 基于时空信息融合技术的无人机应急快反数据链系统及方法
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
CN108600607A (zh) 一种基于无人机的消防全景信息展示方法
CN111479057B (zh) 基于无人飞行器的图斑智能举证方法
CN104118561B (zh) 一种基于无人机技术的大型濒危野生动物监测的方法
CN106931944A (zh) 一种无人机实时三维地理测绘系统
CN112422927A (zh) 无人机拍摄视频与地图实时结合方法及系统
CN108734655A (zh) 空中多节点实时侦查的方法及系统
CN109068098B (zh) 一种用于增强画面显示的无人机视频监控系统
CN115731100A (zh) 一种基于多无人机的图像拼接方法及其系统
CN112286228A (zh) 无人机三维可视化避障方法及系统
CN112902929A (zh) 一种通过无人机航测的新型测绘方法
US11902499B2 (en) Simulation sighting binoculars, and simulation system and methods
CN113063401A (zh) 一种无人机航测系统
JPH0342399A (ja) 航空機用映像方式およびその使用方法
CN106292335B (zh) 一种沿索道飞行器装置控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication