CN112702649A - 一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备 - Google Patents

一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备 Download PDF

Info

Publication number
CN112702649A
CN112702649A CN201911007838.2A CN201911007838A CN112702649A CN 112702649 A CN112702649 A CN 112702649A CN 201911007838 A CN201911007838 A CN 201911007838A CN 112702649 A CN112702649 A CN 112702649A
Authority
CN
China
Prior art keywords
video
frame
time
buffer area
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911007838.2A
Other languages
English (en)
Inventor
胡伟健
吴伟嘉
徐昌伟
侯玉清
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201911007838.2A priority Critical patent/CN112702649A/zh
Publication of CN112702649A publication Critical patent/CN112702649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64761Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769Control signals issued by the network directed to the server or the client directed to the server for rate control

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明具体涉及一种移动端的直播视频领域,本发明的目的是提出一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备,通过在视频播放过程中,将待播放视频数据缓存在视频缓冲区中,根据预定时间段计算此段时间内视频数据接收量,根据计算结果,动态改变视频播放帧率,避免网络抖动造成视频频繁卡顿或延时,在改变帧率过程中,使用平滑处理过度,避免帧率突变造成视频内容跳跃感,对抖动池技术进行优化,重点要解决网络环境不稳定情况下视频流畅播放并减少视频延时情况。

Description

一种移动端的直播视频播放流畅度优化方法、存储介质及电 子设备
技术领域
本发明属于涉及视频直播领域,特别涉及移动端的直播视频领域,具体涉及一种移动端的直播视频播放流畅度优化方法。
背景技术
直播视频播放流畅性是众多用户体验质量影响因素中最重要的影响因素之一。在移动端,受限于设备性能及无线网络稳定性,视频流传输容易出现波动,从而影响视频播放流畅性。为解决这个问题,目前通常解决方案为:
一、在移动端增加视频抖动池技术缓和视频播放卡顿。在视频流数据传输到移动端设备后,移动设备通过开辟环形队列或双队列视频缓冲区,以延时播放的方法,预存储一定时间或一定大小的视频数据。当网络环境不稳定导致视频传输速率出现抖动时,设备通过抖动池获取预存储数据来实现短时间的正常播放,优化用户观看体验;使用抖动池或视频缓冲区技术,本质上是通过视频延时手段来获取短时间内视频流畅播放,在视频长时间播放的情况下,容易出现播放视频延时越来越严重的情况,同时当网络环境恢复正常时,延时数据进入抖动池,此时必须对数据进行丢帧处理,容易出现视频抖动等失真情况。
二、加入可变码率支持方案。在当前网络环境不稳定或网络带宽较差的情况下,通过降低视频码率来减少视频流数据大小以获取流畅视频播放体验。可变码率技术可以在网络环境较差时以获取低码率的视频数据方式来实现视频流畅播放,但低码率视频将影响用户观看体验,同时在码率切换时或多或少会中断视频连续性。
发明内容
针对现有技术的缺点,本发明的目的是提出一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备,通过在视频播放过程中,将待播放视频数据缓存在视频缓冲区中,根据预定时间段计算此段时间内视频数据接收量,根据计算结果,动态改变视频播放帧率,避免网络抖动造成视频频繁卡顿或延时,在改变帧率过程中,使用平滑处理过度,避免帧率突变造成视频内容跳跃感,对抖动池技术进行优化,重点要解决网络环境不稳定情况下视频流畅播放并减少视频延时情况。
为解决上述技术问题,本发明提供了一种移动端的直播视频播放流畅度优化方法,其特征在于,包括如下步骤:
(1)当接收到视频数据时,创建视频缓冲区;
(2)将所述数据存入所述视频缓冲区,对当前网络视频下载速度进行判断,若网络下载速度低于预设速度,则降低播放帧率;若下载速度高于预设速度,则提高播放帧率;
(3)在所述步骤(2)判断帧率变动后,根据视频缓冲区中视频帧数进行帧率计算:当视频缓冲区缓冲视频帧数低于预定值时,通过单调递增函数动态计算视频播放速率获取当前帧在屏幕渲染时间;当视频缓冲区视频帧数高于预定值时,根据当前视频缓冲区中存储视频帧数、预设视频帧存储数及硬件基础绘制时间动态计算当前帧在屏幕渲染时间;通过平滑改变视频帧率达到顺滑改变视频播放速率效果。
优选的,所述视频缓冲区以双队列数据结构实现,所述双队列数据结构包括第一队列和第二队列,所述第一队列用以存储接收数据,所述第二队列用以存储显示数据。
优选的,在所述步骤(2)中所述当前网络视频下载速度进行判断,具体包括同时记录视频帧接收时间,根据视频帧获取时间进行计算获取相邻帧平均间隔时间,并根据计算结果对所述当前网络视频下载速度进行判断。
优选的,若当视频缓冲区视频相邻帧间隔时间大于预设时间值,则判定为视频延迟超过最大延时时间,此时提示系统进入重连机制。
优选的,在所述步骤(3)中,所述单调递增函数为余弦函数,当视频缓冲区缓冲视频帧数低于预定值时,所述当前帧在屏幕渲染时间为取当前视频缓冲区中存储视频帧数与预设视频帧存储数比值的余弦值。
优选的,所述余弦值计算公式为:
Figure BDA0002243278860000031
优选的,在所述步骤(3)中,当视频缓冲区视频帧数高于预定值时,当前帧在屏幕渲染时间为取当前视频缓冲区中存储视频帧数与预设视频帧存储数比值减去硬件基础绘制时间之差。
优选的,所述时间之差计算公式为:
Figure BDA0002243278860000032
上述方法可应用于移动端的视频播放中。
非易失性存储介质,包括一条或多条计算机指令,所述一条或多条计算机指令在执行时实现所述一种移动端的直播视频播放流畅度优化方法方法。
一种电子设备,其特征在于,包括所述的非易失性存储介质。
与现有技术相比,本发明至少具有下述的有益效果或优点:
本发明提供的这种移动端的直播视频播放流畅度优化方法、存储介质及电子设备优化现有视频抖动池播放技术,动态计算视频播放速率,优化视频播放流畅度;采取动态帧率计算技术,使视频帧率改变更顺滑,使用户体验更顺畅;减少视频丢帧处理及码率转换处理,降低视频失真现象。
附图说明
以下将结合附图对本发明做进一步详细说明;
图1是本发明的方法的工作流程图。
图2是本发明的渲染时间与缓冲区帧数关系图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种移动端的直播视频播放流畅度优化方法,如图1所示,包括如下步骤:
(1)当接收到视频数据时,创建视频缓冲区;
(2)将所述数据存入所述缓冲区,同时记录视频帧接收时间,对当前网络视频下载速度进行判断,若网络下载速度低于预设速度,则降低播放帧率;若下载速度高于预设速度,则提高播放帧率;若当视频缓冲区视频相邻帧间隔时间大于预设时间值,则执行步骤(4);
(3)在所述步骤(2)判断帧率变动后,根据视频缓冲区中视频帧数进行帧率计算:当视频缓冲区缓冲视频帧数低于预定值时,通过单调递增函数动态计算视频播放速率,如取余弦函数,取当前视频缓冲区中存储视频帧数与预设视频帧存储数比值的余弦值
Figure BDA0002243278860000051
作为当前帧在屏幕渲染时间;当视频缓冲区视频帧数高于预定值是,取当前视频缓冲区中存储视频帧数与预设视频帧存储数比值减去硬件基础绘制时间之差
Figure BDA0002243278860000052
作为当前帧在屏幕渲染时间;如图2所示,过平滑改变视频帧率达到顺滑改变视频播放速率效果,当缓冲帧数低于预设帧时,平滑降低视频帧率,当缓冲帧数高于预设帧,平滑提高视频帧率;
(4)判定为视频延迟超过最大延时时间,此时提示系统进入重连机制。
所述视频缓冲区以双队列数据结构实现,队列1用以存储接收数据,队列2用以存储显示数据,通过采用双队列数据结构,减少线程操作存在的互斥及竞争操作。
在所述步骤(2)中根据视频帧获取时间进行计算获取相邻帧平均间隔时间,根据计算结果对所述当前网络视频下载速度进行判断。
非易失性存储介质,包括一条或多条计算机指令,所述一条或多条计算机指令在执行时实现所述一种移动端的直播视频播放流畅度优化方法方法。
一种电子设备,其特征在于,包括所述的非易失性存储介质。
综上所述,本发明的这种移动端的直播视频播放流畅度优化方法、存储介质及电子设备优化现有视频抖动池播放技术,动态计算视频播放速率,优化视频播放流畅度;采取动态帧率计算技术,使视频帧率改变更顺滑,使用户体验更顺畅;减少视频丢帧处理及码率转换处理,降低视频失真现象。通过在视频播放过程中,将待播放视频数据缓存在视频缓冲区中,根据预定时间段计算此段时间内视频数据接收量,根据计算结果,动态改变视频播放帧率,避免网络抖动造成视频频繁卡顿或延时,在改变帧率过程中,使用平滑处理过度,避免帧率突变造成视频内容跳跃感,对抖动池技术进行优化,重点要解决网络环境不稳定情况下视频流畅播放并减少视频延时情况。
以上例举仅仅是对本发明的举例说明,并不构成对本发明的保护范围的限制,凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (10)

1.一种移动端的直播视频播放流畅度优化方法,其特征在于,包括如下步骤:
(1)当接收到视频数据时,创建视频缓冲区;
(2)将所述数据存入所述视频缓冲区,对当前网络视频下载速度进行判断,若网络下载速度低于预设速度,则降低播放帧率;若下载速度高于预设速度,则提高播放帧率;
(3)在所述步骤(2)判断帧率变动后,根据视频缓冲区中视频帧数进行帧率计算:当视频缓冲区缓冲视频帧数低于预定值时,通过单调递增函数动态计算视频播放速率获取当前帧在屏幕渲染时间;当视频缓冲区视频帧数高于预定值时,根据当前视频缓冲区中存储视频帧数、预设视频帧存储数及硬件基础绘制时间动态计算当前帧在屏幕渲染时间;通过平滑改变视频帧率达到顺滑改变视频播放速率效果。
2.根据权利要求1所述的方法,其特征在于:所述视频缓冲区以双队列数据结构实现,所述双队列数据结构包括第一队列和第二队列,所述第一队列用以存储接收数据,所述第二队列用以存储显示数据。
3.根据权利要求1所述的方法,其特征在于:在所述步骤(2)中所述当前网络视频下载速度进行判断,具体包括同时记录视频帧接收时间,根据视频帧获取时间进行计算获取相邻帧平均间隔时间,并根据计算结果对所述当前网络视频下载速度进行判断。
4.根据权利要求3所述的方法,其特征在于:若当视频缓冲区视频相邻帧间隔时间大于预设时间值,则判定为视频延迟超过最大延时时间,此时提示系统进入重连机制。
5.根据权利要求1所述的方法,其特征在于:在所述步骤(3)中,所述单调递增函数为余弦函数,当视频缓冲区缓冲视频帧数低于预定值时,所述当前帧在屏幕渲染时间为取当前视频缓冲区中存储的缓冲区帧数与预设视频帧存储数比值的余弦值。
6.根据权利要求5所述的方法,其特征在于:所述余弦值计算公式为:
Figure FDA0002243278850000021
7.根据权利要求1所述的方法,其特征在于:在所述步骤(3)中,当视频缓冲区视频帧数高于预定值时,当前帧在屏幕渲染时间为取当前视频缓冲区中存储的缓冲帧数与预设视频帧存储数比值减去硬件基础绘制时间之差。
8.根据权利要求7所述的方法,其特征在于:所述时间之差计算公式为:
Figure FDA0002243278850000022
9.一种非易失性存储介质,其特征在于,包括一条或多条计算机指令,所述一条或多条计算机指令在执行时实现如权利要求1-8中任一项所述的方法。
10.一种电子设备,其特征在于,包括如权利要求9所述的存储介质。
CN201911007838.2A 2019-10-22 2019-10-22 一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备 Pending CN112702649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911007838.2A CN112702649A (zh) 2019-10-22 2019-10-22 一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911007838.2A CN112702649A (zh) 2019-10-22 2019-10-22 一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN112702649A true CN112702649A (zh) 2021-04-23

Family

ID=75504787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911007838.2A Pending CN112702649A (zh) 2019-10-22 2019-10-22 一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112702649A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271496A (zh) * 2021-07-15 2021-08-17 全时云商务服务股份有限公司 一种网络直播中视频平滑播放方法、系统和可读存储介质
CN113423008A (zh) * 2021-08-20 2021-09-21 北京易真学思教育科技有限公司 视频数据传输方法、装置、电子设备和介质
CN114245197A (zh) * 2022-02-24 2022-03-25 广州市保伦电子有限公司 一种音视频互动低延迟传输方法及后台服务器
CN114979091A (zh) * 2022-07-28 2022-08-30 腾讯科技(深圳)有限公司 一种数据传输的方法、相关装置、设备以及存储介质
CN115866317A (zh) * 2022-11-29 2023-03-28 广州后为科技有限公司 一种适用于网络摄像机的音视频缓存方法和装置
CN116886974A (zh) * 2023-09-07 2023-10-13 海马云(天津)信息技术有限公司 优化终端解码渲染性能的方法和装置
CN117596425A (zh) * 2023-10-24 2024-02-23 书行科技(北京)有限公司 编码帧率的确定方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310820A (zh) * 2012-03-14 2013-09-18 三星电子(中国)研发中心 一种对多媒体播放器进行优化的方法
WO2018161572A1 (zh) * 2017-03-10 2018-09-13 广东欧珀移动通信有限公司 移动终端帧率的控制方法、装置、存储介质及电子设备
WO2018177165A1 (zh) * 2017-03-30 2018-10-04 上海七牛信息技术有限公司 一种网络推流质量的优化方法及优化系统
CN109769140A (zh) * 2018-12-20 2019-05-17 南京杰迈视讯科技有限公司 一种基于流媒体技术的网络视频流畅播放控制方法
CN109963184A (zh) * 2017-12-14 2019-07-02 阿里巴巴集团控股有限公司 一种音视频网络播放的方法、装置以及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310820A (zh) * 2012-03-14 2013-09-18 三星电子(中国)研发中心 一种对多媒体播放器进行优化的方法
WO2018161572A1 (zh) * 2017-03-10 2018-09-13 广东欧珀移动通信有限公司 移动终端帧率的控制方法、装置、存储介质及电子设备
WO2018177165A1 (zh) * 2017-03-30 2018-10-04 上海七牛信息技术有限公司 一种网络推流质量的优化方法及优化系统
CN109963184A (zh) * 2017-12-14 2019-07-02 阿里巴巴集团控股有限公司 一种音视频网络播放的方法、装置以及电子设备
CN109769140A (zh) * 2018-12-20 2019-05-17 南京杰迈视讯科技有限公司 一种基于流媒体技术的网络视频流畅播放控制方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271496A (zh) * 2021-07-15 2021-08-17 全时云商务服务股份有限公司 一种网络直播中视频平滑播放方法、系统和可读存储介质
CN113271496B (zh) * 2021-07-15 2021-10-01 全时云商务服务股份有限公司 一种网络直播中视频平滑播放方法、系统和可读存储介质
CN113423008A (zh) * 2021-08-20 2021-09-21 北京易真学思教育科技有限公司 视频数据传输方法、装置、电子设备和介质
CN114245197A (zh) * 2022-02-24 2022-03-25 广州市保伦电子有限公司 一种音视频互动低延迟传输方法及后台服务器
WO2023159911A1 (zh) * 2022-02-24 2023-08-31 广州市保伦电子有限公司 一种音视频互动低延迟传输方法及后台服务器
CN114979091A (zh) * 2022-07-28 2022-08-30 腾讯科技(深圳)有限公司 一种数据传输的方法、相关装置、设备以及存储介质
CN114979091B (zh) * 2022-07-28 2022-11-11 腾讯科技(深圳)有限公司 一种数据传输的方法、相关装置、设备以及存储介质
CN115866317A (zh) * 2022-11-29 2023-03-28 广州后为科技有限公司 一种适用于网络摄像机的音视频缓存方法和装置
CN115866317B (zh) * 2022-11-29 2023-09-05 广州后为科技有限公司 一种适用于网络摄像机的音视频缓存方法和装置
CN116886974A (zh) * 2023-09-07 2023-10-13 海马云(天津)信息技术有限公司 优化终端解码渲染性能的方法和装置
CN116886974B (zh) * 2023-09-07 2023-12-19 海马云(天津)信息技术有限公司 优化终端解码渲染性能的方法和装置
CN117596425A (zh) * 2023-10-24 2024-02-23 书行科技(北京)有限公司 编码帧率的确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112702649A (zh) 一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备
CN111135569B (zh) 云游戏处理方法、装置、存储介质与电子设备
US8041830B2 (en) Media download method and system based on connection speed
EP2095205B1 (en) Hybrid buffer management
CN107566918B (zh) 一种视频分发场景下的低延时取流秒开方法
CN110769296B (zh) 一种传输时基于本地缓存的视频码率自适应调节方式
US8861372B2 (en) Method and device for fast pushing unicast stream in fast channel change
US20120213272A1 (en) Method and system for adjusting video and audio quality of video stream
CN111225209B (zh) 视频数据推流方法、装置、终端及存储介质
CN105376607A (zh) 一种网络抖动环境下的视频直播方法及装置
CN105142002B (zh) 音/视频直播方法、装置及控制方法、装置
CN110602548B (zh) 一种超高清视频高质量无线传输的方法和系统
US20180007251A1 (en) Method and system for dynamically adjusting a camera setting for a video stream
CN113242436B (zh) 直播数据的处理方法、装置及电子设备
CN105392023A (zh) 一种网络抖动环境下的视频直播方法及装置
US20210400338A1 (en) Systems and methods of video jitter estimation
CN113037697A (zh) 一种视频帧处理方法、装置和电子设备及可读存储介质
US10389785B2 (en) Method for adaptively streaming an audio/visual material
CN106851337B (zh) 视频缓冲控制方法及装置
CN112423074B (zh) 音视频同步处理方法、装置、电子设备及存储介质
US8612552B2 (en) Method for buffering streaming data and a terminal device
KR100556748B1 (ko) 스트리밍 데이터의 동적 버퍼 관리 방법
US8791981B2 (en) Bit rate control apparatus and method thereof
US11343579B2 (en) Intelligent buffering method, device and storage medium of a web video based on a browser
JP2022039452A (ja) 受信端末、配信サーバ、受信方法及び受信プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination