CN105721862B - 一种无人机航拍视频质量确定方法 - Google Patents
一种无人机航拍视频质量确定方法 Download PDFInfo
- Publication number
- CN105721862B CN105721862B CN201610070380.5A CN201610070380A CN105721862B CN 105721862 B CN105721862 B CN 105721862B CN 201610070380 A CN201610070380 A CN 201610070380A CN 105721862 B CN105721862 B CN 105721862B
- Authority
- CN
- China
- Prior art keywords
- mrow
- video quality
- msub
- video
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 3
- 230000001413 cellular effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Selective Calling Equipment (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种无人机航拍视频质量确定方法。本发明中的无人机搭载的摄像头提供航拍视频并通过流媒体传输技术实时发送到地面接收机。地面接收机接收无人机飞行参数（高度，速度），网络参数（网络时延，丢包率）。地面接收机将计算出的视频质量指数反馈给无人机飞控系统，进一步优化飞行参数，如调整飞行高度和速度以达到最佳视频质量。本发明能够提高无人机航拍应用的质量，提升无人机自主执行任务的能力。无人机飞控系统(自主飞行模式下)根据地面站估算出的视频质量，可以实时调整飞行姿态，达到最佳航拍效果。
Description
技术领域
本发明属于多媒体移动通信技术领域，涉及一种无人机航拍视频质量确定方法。
背景技术
目前主流消费级无人机配备高清摄像头(如720p，1080p)及云台，提供丰富的物联网应用如无人机航拍，精准农业，基础设施检测，安防监控等。无人机航拍视频质量直接影响到这些基于视频的业务性能。
现有无人机航拍方案大多基于2.4GHz或5.8GHz点对点无线传输技术实现实时图传。视频质量主要由一下几个方面决定：1)无人机与地面站的空间距离。距离越大，接收到的无线信号强度越弱，视频质量越差；2)机载和地面接收站配备的收发天线性能。天线增益越大，接收到的视频质量越好；3)空间环境的无线信道干扰。飞行区域内，同频段(如2.4GHzWiFi)的无线信道越密集，无线传输性能越弱，视频质量越差。
流媒体视频传输的质量受到多方面因素的影响，如视频源格式(如比特率，帧率，分辨率，压缩算法)和网络QoS参数(如网络时延，丢包率，带宽)。常用流媒体视频质量评估方法有以下三种：1)客观对比法。对比原始视频和经过网络传输接收到的视频，逐帧比较视频画面质量，如相同的帧像素损失严重或者某些帧丢失，则降低视频评估的质量，常用视频质量标准包括VQM，PSNR，MSE,SSIM等；2)客观预测法。通过比较视频发送端的速率和实际接收的吞吐量进行对比，粗略计算视频丢包率和PSNR值，根据已有PSNR-MOS映射表，预测MOS值(1-5)，MOS取值越高，视频质量越好；3)主观预测法。通过大量用户实际观看接收到的视频来评测视频质量。
为了保证航拍视频的质量，现有解决方案都是在无人机非自主飞行模式下，首先通过地面操作员视觉判断接收到的视频质量，再人工发送飞行参数控制指令，调整无人机飞行姿态。
已有的视频质量客观评估方法需要原始视频源作为参照，或者根据丢包率粗略预测视频受损程度。这些方法都没有考虑无人机航拍业务的特点，如动态变化的飞行速度和飞行高度对视频质量有很大影响。而视频质量主观预测法，需要大量的人力资源作为数据采集基础，无法提供实时视频质量指数，不仅具有滞后性，也无法满足无人机全自主执行任务的需求。
发明内容
本发明针对现有技术的不足，提供了一种无人机航拍视频质量确定方法。
本发明方法的具体步骤是：
无人机搭载的摄像头提供航拍视频并通过流媒体传输技术实时发送到地面接收机。地面接收机接收无人机飞行参数(高度，速度)，网络参数(网络时延，丢包率)。地面接收机将计算出的视频质量指数反馈给无人机飞控系统，进一步优化飞行参数，如调整飞行高度和速度以达到最佳视频质量。无人机与地面接收机之间的通信链路由无线协议提供，如IEEE 802.11，cellular。
本发明要点：通过一元线性回归计算无人机飞行高度和速度对流媒体视频质量的影响程度。
本发明能够提高无人机航拍应用的质量，提升无人机自主执行任务的能力。无人机飞控系统(自主飞行模式下)根据地面站估算出的视频质量，可以实时调整飞行姿态，达到最佳航拍效果。
附图说明
图1为本发明方法示意图。
具体实施方式
以下结合附图对本发明作进一步说明。
图1展示了在地面接收机(地面站侧)侧部署的基于无人机的新型质量评估模型。
模型理论基础：
本发明提出的新型视频质量评估模型在ITU-G.1070定义的视频质量国际标准的基础上加入了无人机的飞行参数特点。公式(1)展示了ITU-G.1070发布的基准视频质量模型，用来预测动态网络环境对流媒体视频传输的影响，输入参数包括视频编解码格式和网络丢包率等。
PplV是丢包率，DPplV是视频质量可靠系数，Icoding代表视频质量系数。Icoding主要由视频比特率和帧率压缩算法决定。但是，已有的标准视频质量模型只考虑了无线信道对视频传输的影响，而在无人机作为移动终端的场景中，视频质量还受到动态变化的飞行参数的影响。
本发明实施步骤如下：
部署基于无人机的流媒体视频质量模型。公式(2)列出基于公式(1)提出的新型视频质量模型。plV是丢包率，DPplV是视频质量可靠系数(同公式(1))。参数Qh和Qs分别代表飞行高度和速度对视频质量影响的程度。假设飞行高度与速度与视频质量呈线性关系，Qh和Qs的计算方法是，通过线性改变飞行高度或速度，记录经网络传输的流媒体视频片段，再由人工主观测试估算(mean opinion score,MOS值)视频质量，得到视频质量数据库。通过将视频质量与高度和速度值分别作一元线性回归，得到回归系数βh和βs，如公式(3)和(4)。则βh和βs分别代表无人机飞行高度与速度对视频质量的影响程度。
Qh＝βh×height (3)
Qs＝βs×speed (4)
视频质量反馈。地面站侧在计算得到基于无人机飞行状态的视频质量后，将视频质量作为参考值反馈给无人机飞控系统。飞控系统进一步调整飞行姿态以达到最优视频传输。例如，如果飞控系统分析结果表明当前速度过快或者飞行高度过高引起视频质量下降，则接下来降低飞行速度或者飞行高度。
本发明首次提出了考虑无人机飞行高度和速度对流媒体航拍视频质量的影响，并在ITU-G 1070国际视频质量评估标准的基础上，设计新型的视频质量模型。
Claims (4)
1.一种无人机航拍视频质量确定方法，其特征在于：
无人机搭载的摄像头提供航拍视频并通过流媒体传输技术实时发送到地面接收机；
地面接收机接收无人机飞行参数，网络参数，计算航拍视频质量Vdrone；
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>d</mi>
<mi>r</mi>
<mi>o</mi>
<mi>n</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>=</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>d</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
</msub>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>Ppl</mi>
<mi>V</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>P</mi>
<mi>p</mi>
<mi>l</mi>
<mi>V</mi>
</mrow>
</msub>
<msub>
<mi>Q</mi>
<mi>h</mi>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>d</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
</msub>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>Ppl</mi>
<mi>V</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>P</mi>
<mi>p</mi>
<mi>l</mi>
<mi>v</mi>
</mrow>
</msub>
<msub>
<mi>Q</mi>
<mi>s</mi>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，Icoding代表视频质量系数，PplV是丢包率，DPplV是视频质量可靠系数，Qh和Qs分别代表飞行高度和速度对视频质量影响的程度；
其中：
Qh的具体确定过程是：通过线性改变飞行高度，记录经网络传输的流媒体视频片段，再由人工主观测试估算视频质量，得到视频质量数据库；通过将视频质量与高度作一元线性回归，得到回归系数βh；
Qs的具体确定过程是：通过线性改变飞行速度，记录经网络传输的流媒体视频片段，再由人工主观测试估算视频质量，得到视频质量数据库；通过将视频质量与速度作一元线性回归，得到回归系数βs。
2.根据权利要求1所述的一种无人机航拍视频质量确定方法，其特征在于：无人机与地面接收机之间的通信链路由无线协议提供，采用IEEE 802.11或cellular。
3.根据权利要求1所述的一种无人机航拍视频质量确定方法，其特征在于：所述的飞行参数包括高度和速度，网络参数包括网络时延，丢包率。
4.根据权利要求1所述的一种无人机航拍视频质量确定方法，其特征在于：无人机的飞控系统接收来自地面接收机计算出的视频质量，通过调整飞行高度和/或速度以达到最佳视频质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610070380.5A CN105721862B (zh) | 2016-02-01 | 2016-02-01 | 一种无人机航拍视频质量确定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610070380.5A CN105721862B (zh) | 2016-02-01 | 2016-02-01 | 一种无人机航拍视频质量确定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105721862A CN105721862A (zh) | 2016-06-29 |
| CN105721862B true CN105721862B (zh) | 2017-11-21 |
Family
ID=56154607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610070380.5A Expired - Fee Related CN105721862B (zh) | 2016-02-01 | 2016-02-01 | 一种无人机航拍视频质量确定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105721862B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018105576A1 (ja) * | 2016-12-05 | 2018-06-14 | Kddi株式会社 | 飛行装置、制御装置、通信制御方法、及び制御方法 |
| WO2018214068A1 (zh) * | 2017-05-24 | 2018-11-29 | 深圳市大疆创新科技有限公司 | 飞行控制方法、设备、机器可读存储介质以及系统 |
| CN107065932B (zh) * | 2017-06-15 | 2020-04-07 | 西安电子科技大学 | 一种灾情探测四旋翼无人机的控制方法 |
| WO2021137764A1 (en) | 2019-12-31 | 2021-07-08 | Quantified Energy Labs Pte. Ltd. | Method, system, and image processing device for capturing and/or processing electroluminescence images, and an aerial vehicle |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945213B (zh) * | 2013-01-22 | 2016-12-28 | 中兴通讯股份有限公司 | 一种视频流质量监测方法及装置 |
| CN103795921A (zh) * | 2014-01-23 | 2014-05-14 | 徐鹏 | 一种自动检测的摄影控制装置 |
| EP3346618B1 (en) * | 2014-02-10 | 2021-09-15 | SZ DJI Technology Co., Ltd. | Adaptive communication mode switching |
| CN204833674U (zh) * | 2015-08-13 | 2015-12-02 | 杭州若联科技有限公司 | 一种无人机控制及多媒体数据传输系统 |
-
2016
- 2016-02-01 CN CN201610070380.5A patent/CN105721862B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN105721862A (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105721862B (zh) | 一种无人机航拍视频质量确定方法 | |
| US20230019669A1 (en) | Systems and methods for enhanced feedback for cascaded federated machine learning | |
| CN105472477B (zh) | 一种数据传输方法、装置及设备 | |
| CN113273211B (zh) | 用于对空间数据进行程序化着色的系统和方法 | |
| US20110221901A1 (en) | Adaptive Scene Rendering and V2X Video/Image Sharing | |
| US20090022218A1 (en) | Method for controlling moving picture encoding using channel information of wireless networks | |
| US9942553B2 (en) | Communication system, method and program | |
| US9813523B2 (en) | Apparatus, method and system of quality of experience indication | |
| Felici-Castell et al. | Adaptive live video streaming on low-cost wireless multihop networks for road traffic surveillance in smart cities | |
| US12192264B2 (en) | Network-based adaptive streaming media parameter adjustment method and an apparatus | |
| CN103686221A (zh) | 一种适应公用无线网络实现音视频流畅播出的方法 | |
| US20150341594A1 (en) | Systems and methods for implementing model-based qoe scheduling | |
| Baltaci et al. | Experimental UAV data traffic modeling and network performance analysis | |
| Stornig et al. | Video Quality and Latency for UAV Teleoperation over LTE: A Study with ns3 | |
| Baltaci et al. | Analyzing real-time video delivery over cellular networks for remote piloting aerial vehicles | |
| Kacianka et al. | Adaptive video streaming for UAV networks | |
| CN107277499B (zh) | 一种视频质量评估方法及装置 | |
| López et al. | Virtualized module for distributed quality assessment applied to video streaming in 5G networks environments | |
| CN104506453B (zh) | 一种面向用户体验质量的码率分配方法 | |
| Naveed et al. | Evaluation of video streaming capacity of UAVs with respect to channel variation in 4G-LTE Surveillance Architecture | |
| CN112584354A (zh) | 基于无人机与无人驾驶车辆之间的通信方法 | |
| US20160373509A1 (en) | APPARATUS AND METHOD FOR REPORTING QoS/QoE IN MOBILE ENVIRONMENT | |
| Kakkavas et al. | Realistic field trial evaluation of a tele-operated support service for remote driving over 5g | |
| Yunus et al. | Optimum parameters for MPEG-4 data over wireless sensor network | |
| US20150215180A1 (en) | Communication system, server apparatus, server apparatus control method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171121 Termination date: 20190201 |