CN110996038A - 一种面向多人互动直播的自适应码率调节方法 - Google Patents
一种面向多人互动直播的自适应码率调节方法 Download PDFInfo
- Publication number
- CN110996038A CN110996038A CN201911135525.5A CN201911135525A CN110996038A CN 110996038 A CN110996038 A CN 110996038A CN 201911135525 A CN201911135525 A CN 201911135525A CN 110996038 A CN110996038 A CN 110996038A
- Authority
- CN
- China
- Prior art keywords
- code rate
- anchor
- frame
- cache
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 title claims description 12
- 230000000737 periodic effect Effects 0.000 claims abstract description 4
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009123 feedback regulation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明一种面向多人互动直播的自适应码率调节方法,包括如下步骤:1)使用非线性规划方法,计算每一对发送端和接收端的目标码率;2)通过缓存反馈调节在线更新目标码率,以消除建模和测量过程中的系统误差;3)基于QoE损失对目标码率进行聚类,得出最终的实际码率。在实际应用中,统计上下行链路带宽的历史数据,进行预测,并统计主播端的接收缓存,之后采用周期性的码率调节策略,等间隔调用所述自适应码率调节方法,输入新统计的数据,根据新的统计数据计算出新的码率作为编码参数输出给编码器,最终形成反馈闭环。本发明通过对多人互动直播场景下主播端的码率合理调节,统筹考虑各种约束条件,最大化主播的用户体验,完成实时的交互。
Description
技术领域
本发明属于流媒体技术领域,特别涉及一种面向多人互动直播的自适应码率调节方法。
背景技术
目前多人视频会议系统以最小化服务提供商的成本和用户延迟为目标,关注转码服务器的选择问题,没有考虑多个用户之间不同的偏好和优先级问题。此外,传统视频会议的用户之间轮流发言,可容忍的延迟在400毫秒左右,而多人互动直播场景中不同主播之间的互动更为频繁,可容忍的延迟在100毫秒左右,传统视频会议的解决方案无法满足需求。
现有直播场景考虑单个视频源发送给大量的观众,而在多对多连麦的场景中会有更多的约束条件需要考虑(如:上下行链路带宽的约束),以及实时交互的需求。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种面向多人互动直播的自适应码率调节方法,通过对多人互动直播场景下主播端的码率合理调节,统筹考虑各种约束条件,最大化主播的用户体验,完成实时的交互。
为了实现上述目的,本发明采用的技术方案是:
一种面向多人互动直播的自适应码率调节方法,包括如下步骤:
1)使用非线性规划方法,计算每一对发送端和接收端的目标码率;
2)通过缓存反馈调节在线更新目标码率,以消除建模和测量过程中的系统误差;
3)基于QoE损失对目标码率进行聚类,得出最终的实际码率。
在实际应用中,统计上下行链路带宽的历史数据,进行预测,并统计主播端的接收缓存,之后采用周期性的码率调节策略,等间隔调用所述自适应码率调节方法,输入新统计的数据,根据新的统计数据计算出新的码率作为编码参数输出给编码器,最终形成反馈闭环。
与现有技术相比,本发明可以在给定上下行链路带宽和主播端缓存信息的前提下,合理地对主播产生的码率做出调节,最大化系统的QoE。
附图说明
图1是自适应码率调节方法流程图。
图2是多人互动直播架构图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
参考图1,本发明一种面向多人互动直播的自适应码率调节方法,其主要步骤如下:
步骤(1),服务器端的自适应码率调节控制器读入各个主播的缓存占用量以及上下行链路的带宽预测值。即,本发明的输入为上下行链路带宽的预测值和主播端的接收缓存。
其中各参数定义为:
(x)+=max{x,0}:从x和0中取最大值;
QoE:Quality of Experience,用户体验,主要包括以下四项:
步骤(3),为了消除建模和测量过程中的系统误差,本发明通过缓存反馈调节在线更新目标码率给定主播开始下载第w帧时的缓存占用量和带宽情况,可以估计当带宽不变时第w+1帧的缓存占用量。然而,在主播实际开始下载第w+1帧时,可以获得真实的缓存占用量。目标值和实际值之间的差异反映了带宽的变化率,并决定了码率调整的幅度。在反馈调节的过程中主要用到了PI控制器,具体步骤如下:
步骤(4)为了解决上行链路的带宽限制和发送端编码能力的限制,本发明对目标码率进行聚类,得出最终的实际码率。本发明定义QoE损失为在码率及相应QoE构成的空间(在这个空间中,度量的指标是QoE距离而非几何距离)内进行K-means聚类,得出使全局QoE损失最小的实际码率值
图2是系统架构图,主要包括三个部分:发送端,服务器端和接收端。在实践中,每个主播既是发送端也是接收端。发送端产生SVC编码的多码率视频流传输到服务器端,服务器端将合适的SVC层发送给相应的接收端,接收端进行缓存、播放。自适应码率调节方案运行在服务器端,综合考虑上下行链路带宽和接收端缓存情况,做出使全局QoE最大的码率决策,并通知发送端,发送端按要求产生相应码率并进行SVC编码。
在实际的应用中,需统计上下行链路带宽的历史数据,进行预测,并统计主播端的接收缓存,之后采用周期性的码率调节策略,等间隔调用上述码率调节方法,输入新统计的数据,根据新的统计数据计算出新的码率作为编码参数输出给编码器即可,最终形成反馈闭环。
综上所述,本发明提出了一个面向多人互动直播的自适应码率调节方案。首先使用非线性规划方案来处理复杂的约束条件,获得每对主播间的目标码率。再根据在线的缓存反馈调整目标码率,以校正预测误差。最后使用基于QoE损失的聚类算法来确定主播的实际码率。该方案统筹考虑了全局的各种限制条件,包括上下行链路带宽和主播的缓存占用量情况,最终输出的实际码率能够最大化主播的用户体验。
Claims (5)
1.一种面向多人互动直播的自适应码率调节方法,其特征在于,包括如下步骤:
1)使用非线性规划方法,计算每一对发送端和接收端的目标码率;
2)通过缓存反馈调节在线更新目标码率,以消除建模和测量过程中的系统误差;
3)基于QoE损失对目标码率进行聚类,得出最终的实际码率。
2.根据权利要求1所述面向多人互动直播的自适应码率调节方法,其特征在于,所述步骤1)中,利用服务器端的自适应码率调节控制器读入各个主播的缓存占用量以及上下行链路的带宽预测值,在计算每一对发送端和接收端的目标码率时,考虑上下行链路以及主播缓存的限制条件以最大化系统QoE,即为:
其中各参数定义为:
QoE:Quality of Experience,用户体验
(x)+=max{x,0}:从x和0中取最大值;
5.根据权利要求1所述面向多人互动直播的自适应码率调节方法,其特征在于,在实际应用中,统计上下行链路带宽的历史数据,进行预测,并统计主播端的接收缓存,之后采用周期性的码率调节策略,等间隔调用所述自适应码率调节方法,输入新统计的数据,根据新的统计数据计算出新的码率作为编码参数输出给编码器,最终形成反馈闭环。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911135525.5A CN110996038B (zh) | 2019-11-19 | 2019-11-19 | 一种面向多人互动直播的自适应码率调节方法 |
PCT/CN2019/120769 WO2021097865A1 (zh) | 2019-11-19 | 2019-11-26 | 面向多人互动直播的自适应码率调节方法 |
US17/424,796 US11470372B2 (en) | 2019-11-19 | 2019-11-26 | Adaptive bitrate adjustment method for multi-user interactive live broadcast |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911135525.5A CN110996038B (zh) | 2019-11-19 | 2019-11-19 | 一种面向多人互动直播的自适应码率调节方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110996038A true CN110996038A (zh) | 2020-04-10 |
CN110996038B CN110996038B (zh) | 2020-11-10 |
Family
ID=70085095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911135525.5A Active CN110996038B (zh) | 2019-11-19 | 2019-11-19 | 一种面向多人互动直播的自适应码率调节方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11470372B2 (zh) |
CN (1) | CN110996038B (zh) |
WO (1) | WO2021097865A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988556A (zh) * | 2020-08-28 | 2020-11-24 | 深圳市融讯视通科技有限公司 | 动态音视频编码传输方法、系统、装置及存储介质 |
CN112188284A (zh) * | 2020-10-23 | 2021-01-05 | 武汉长江通信智联技术有限公司 | 一种基于无线视频监控系统的客户端低延时平滑播放方法 |
CN112565834A (zh) * | 2021-02-24 | 2021-03-26 | 北京创世云科技股份有限公司 | 一种控制输出数据的方法、装置及电子设备 |
CN112751865A (zh) * | 2020-12-31 | 2021-05-04 | 网络通信与安全紫金山实验室 | 一种数据上行优化方法以及装置 |
CN115052172A (zh) * | 2022-06-02 | 2022-09-13 | 北京世纪好未来教育科技有限公司 | 音视频数据传输方法、装置、电子设备和存储介质 |
WO2023109053A1 (zh) * | 2021-12-16 | 2023-06-22 | 北京达佳互联信息技术有限公司 | 用于服务器的带宽分配方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013026945A (ja) * | 2011-07-25 | 2013-02-04 | Digimedia Inc | ネットワーク放送システムおよびその方法。 |
DE102013112234A1 (de) * | 2013-06-28 | 2014-12-31 | Electronics And Telecommunications Research Institute | Verfahren und Vorrichtung zum Ausgleichen der Übertragungsgeschwindigkeit zwischen Datenströmen in einem mit heterogenen Netzen assoziierten Rundfunkdatenstromübertragungssystem |
US20160021376A1 (en) * | 2014-07-17 | 2016-01-21 | The British Academy of Film and Television Arts | Measurement of video quality |
CN105357591A (zh) * | 2015-11-16 | 2016-02-24 | 北京理工大学 | 一种自适应码率视频直播的QoE监控和优化方法 |
CN107509120A (zh) * | 2017-09-15 | 2017-12-22 | 上饶市中科院云计算中心大数据研究院 | 一种基于缓冲区下溢概率估计的流媒体自适应传输方法 |
CN108668146A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 一种调整流媒体码率的方法及设备 |
CN110300315A (zh) * | 2019-07-24 | 2019-10-01 | 北京达佳互联信息技术有限公司 | 一种视频码率确定方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8874712B2 (en) * | 2010-01-20 | 2014-10-28 | Futurewei Technologies, Inc. | System and method for differentiated services in adaptive streaming |
GB201120894D0 (en) * | 2011-12-06 | 2012-01-18 | Global Invacom Ltd | Configuration data transmission system using coaxial and/or fibre optic distribution network |
EP2784996A1 (en) * | 2013-03-27 | 2014-10-01 | British Telecommunications public limited company | Deadline driven content delivery |
CA2962040C (en) * | 2014-09-22 | 2020-07-21 | Arris Enterprises Llc | Video quality of experience based on video quality estimation |
US10097828B2 (en) * | 2014-12-11 | 2018-10-09 | Intel Corporation | Rate control for parallel video encoding |
US10382356B2 (en) * | 2016-10-13 | 2019-08-13 | Nokia Of America Corporation | Scheduling transmissions of adaptive bitrate streaming flows |
CN110139167B (zh) * | 2018-02-09 | 2022-02-25 | 华为技术有限公司 | 数据处理方法以及服务器 |
CN109714631A (zh) * | 2019-02-26 | 2019-05-03 | 华南理工大学 | 一种基于http视频流动态自适应码率选择方法 |
-
2019
- 2019-11-19 CN CN201911135525.5A patent/CN110996038B/zh active Active
- 2019-11-26 US US17/424,796 patent/US11470372B2/en active Active
- 2019-11-26 WO PCT/CN2019/120769 patent/WO2021097865A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013026945A (ja) * | 2011-07-25 | 2013-02-04 | Digimedia Inc | ネットワーク放送システムおよびその方法。 |
DE102013112234A1 (de) * | 2013-06-28 | 2014-12-31 | Electronics And Telecommunications Research Institute | Verfahren und Vorrichtung zum Ausgleichen der Übertragungsgeschwindigkeit zwischen Datenströmen in einem mit heterogenen Netzen assoziierten Rundfunkdatenstromübertragungssystem |
US20160021376A1 (en) * | 2014-07-17 | 2016-01-21 | The British Academy of Film and Television Arts | Measurement of video quality |
CN105357591A (zh) * | 2015-11-16 | 2016-02-24 | 北京理工大学 | 一种自适应码率视频直播的QoE监控和优化方法 |
CN108668146A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 一种调整流媒体码率的方法及设备 |
CN107509120A (zh) * | 2017-09-15 | 2017-12-22 | 上饶市中科院云计算中心大数据研究院 | 一种基于缓冲区下溢概率估计的流媒体自适应传输方法 |
CN110300315A (zh) * | 2019-07-24 | 2019-10-01 | 北京达佳互联信息技术有限公司 | 一种视频码率确定方法、装置、电子设备及存储介质 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988556A (zh) * | 2020-08-28 | 2020-11-24 | 深圳市融讯视通科技有限公司 | 动态音视频编码传输方法、系统、装置及存储介质 |
CN111988556B (zh) * | 2020-08-28 | 2022-04-26 | 深圳市融讯视通科技有限公司 | 动态音视频编码传输方法、系统、装置及存储介质 |
CN112188284A (zh) * | 2020-10-23 | 2021-01-05 | 武汉长江通信智联技术有限公司 | 一种基于无线视频监控系统的客户端低延时平滑播放方法 |
CN112188284B (zh) * | 2020-10-23 | 2022-10-04 | 武汉长江通信智联技术有限公司 | 一种基于无线视频监控系统的客户端低延时平滑播放方法 |
CN112751865A (zh) * | 2020-12-31 | 2021-05-04 | 网络通信与安全紫金山实验室 | 一种数据上行优化方法以及装置 |
CN112565834A (zh) * | 2021-02-24 | 2021-03-26 | 北京创世云科技股份有限公司 | 一种控制输出数据的方法、装置及电子设备 |
CN112565834B (zh) * | 2021-02-24 | 2021-05-11 | 北京创世云科技股份有限公司 | 一种控制输出数据的方法、装置及电子设备 |
WO2023109053A1 (zh) * | 2021-12-16 | 2023-06-22 | 北京达佳互联信息技术有限公司 | 用于服务器的带宽分配方法和装置 |
CN115052172A (zh) * | 2022-06-02 | 2022-09-13 | 北京世纪好未来教育科技有限公司 | 音视频数据传输方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021097865A1 (zh) | 2021-05-27 |
CN110996038B (zh) | 2020-11-10 |
US11470372B2 (en) | 2022-10-11 |
US20220141514A1 (en) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110996038B (zh) | 一种面向多人互动直播的自适应码率调节方法 | |
CN105393516B (zh) | 在自适应流送中用缓冲器和范围约束来进行质量优化的方法、装置及计算机可读存储介质 | |
US9225980B2 (en) | Video quality of sevice management and constrained fidelity constant bit rate video encoding systems and methods | |
KR100987232B1 (ko) | 인코딩 장치 내에서의 레이트 제어 방법 및 시스템 | |
US20140181266A1 (en) | System, streaming media optimizer and methods for use therewith | |
CN109792545B (zh) | 从服务器向客户端装置传送视频内容的方法 | |
US20130304934A1 (en) | Methods and systems for controlling quality of a media session | |
KR20150042191A (ko) | 적응적 비트레이트 스트리밍에서 대역폭 할당을 위한 방법들 및 디바이스들 | |
CN109729437B (zh) | 流媒体自适应传输方法、终端和系统 | |
CN111669617B (zh) | 一种基于智能边缘的直播视频流的传输方法 | |
EP2589223A1 (en) | Video streaming | |
CN103795755B (zh) | 流媒体发送速率控制方法、系统和流媒体服务器 | |
US20170142029A1 (en) | Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium | |
US20230262232A1 (en) | Video coding method and apparatus, computer-readable medium and electronic device | |
US20140115100A1 (en) | Video packet scheduling method for multimedia streaming | |
CN106453270B (zh) | 基于pi控制流媒体的自适应传输算法 | |
Zhang et al. | LAPAS: Latency-aware playback-adaptive streaming | |
US20060136970A1 (en) | Joint bit rate control | |
WO2014066975A1 (en) | Methods and systems for controlling quality of a media session | |
US20230247205A1 (en) | Bandwidth management using dynamic quality factor adjustments | |
CN114900706B (zh) | 基于扩展视频编码的直播视频流传输自适应调度方法 | |
Changuel et al. | Adaptive scalable layer filtering process for video scheduling over wireless networks based on MAC buffer management | |
Yu et al. | An adaptive streaming system for mpeg-4 scalable to lossless audio | |
US8862758B1 (en) | System and method for controlling one or more media stream characteristics | |
CN115695391A (zh) | 一种使用自适应串流技术的流媒体服务器搭建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |