CN110769296A - 一种传输时基于本地缓存的视频码率自适应调节方式 - Google Patents

一种传输时基于本地缓存的视频码率自适应调节方式 Download PDF

Info

Publication number
CN110769296A
CN110769296A CN201911041094.6A CN201911041094A CN110769296A CN 110769296 A CN110769296 A CN 110769296A CN 201911041094 A CN201911041094 A CN 201911041094A CN 110769296 A CN110769296 A CN 110769296A
Authority
CN
China
Prior art keywords
code rate
video
resolution
network
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911041094.6A
Other languages
English (en)
Other versions
CN110769296B (zh
Inventor
黎廷炜
张秀飞
李华松
金国庆
陈尚武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xujian Science And Technology Co Ltd
Original Assignee
Hangzhou Xujian Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xujian Science And Technology Co Ltd filed Critical Hangzhou Xujian Science And Technology Co Ltd
Priority to CN201911041094.6A priority Critical patent/CN110769296B/zh
Publication of CN110769296A publication Critical patent/CN110769296A/zh
Application granted granted Critical
Publication of CN110769296B publication Critical patent/CN110769296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control

Abstract

本发明提供了一种传输时基于本地缓存的视频码率自适应调节方式，通过对发送的视频流的缓存的监测，来预测后续网络吞吐量的大小，并调节后续视频的分辨率和码率来适应网络。在调节视频参数时，视频的码率必须配合对应的分辨率才使解析出来的视频有足够的清晰度；且为了使码率的调节不回太过频繁，在调节时会依据下表进行码率和分辨率的调整，其中320x240是常用智能终端所支持的最低分辨率；本发明采用以上技术方案，通过在视频发送端动态调节视频的分辨率和码率，使得需要发送的视频数据流大小一直保持在网络吞吐量上下的一个小区间波动，从而保证了视频接收端能不间断的流畅观看视频，提高了观看体验。

Description

一种传输时基于本地缓存的视频码率自适应调节方式
技术领域
本发明涉及视频处理技术领域，尤其是涉及一种传输时基于本地缓存的视频码率自适应调节方式。
背景技术
随着移动互联网技术的迅猛发展，特别是以第四代无线蜂窝电话通讯协议(4G网络)为标志带来的巨大带宽，以及智能终端在普通民众间的大范围普及，基于公众移动网络的视频服务正逐渐在互联网的各种业务中扮演着越来越重要的角色。
然而，传统的视频传输机制在很大程度上依赖于公众移动网络的带宽和实时网络状态。当视频拍摄者处于网络覆盖较差或网络不稳定区域时，波动的网络会导致视频传输变慢甚至卡顿，这会大大降低观看方用户的用户体验质量(Quality of Experience，QoE)。为了减少用户观看体验受到网络实时带宽状态的影响，即为了在动态的网络状态下提供较好的用户体验质量，提供一种自适应调节传输方视频分辨率、码率的主动适配网络的调节方式就变得极为重要。
自适应的宗旨是为用户提供更好的用户体验质量。在网络视频业务所谓的用户体验质量主要指两个方面：高视频流畅度、高视频清晰度、较少的视频卡顿。在这些因素中，视频的流畅度受到视频帧率(每秒钟产生的画面帧数量，单位是frame per second，FPS)的影响；而清晰度受到视频的码率(数据传输时单位时间传送的数据位数，单位是bit persecond，bps)及分辨率(图像所包含的像素点数)影响；卡顿则是因为需要传输的视频数据量大于实时的网络吞吐量导致。
通常为了尽量少的传输视频数据量的情况下保证视频的流畅度，视频的帧率会设置在24帧到30帧之间。帧率低于此区间时，视频的流畅度会受到影响，所以在网络波动时，修改帧率意义不大。因此，在更高的分辨率的情况下，使视频的码率尽可能的靠近网络吞吐量，是最大的提高用户体验质量唯一方式。所以，在网络波动时，一个随着网络吞吐量变化的，流畅度和清晰度尽可能高的调节视频数据的方式就是我们所期望提供方案。
发明内容
为了解决传输方因网络状况变化视频上传缓慢导致视频卡顿等问题，提高观看方的用户体验质量，本发明提供了一种传输时基于本地缓存的视频码率自适应调节方式，通过对发送的视频流的缓存的监测，来预测后续网络吞吐量的大小，并调节后续视频的分辨率和码率来适应网络。
在调节视频参数时，视频的码率必须配合对应的分辨率才使解析出来的视频有足够的清晰度；且为了使码率的调节不回太过频繁，在调节时会依据下表进行码率和分辨率的调整，其中320x240是常用智能终端所支持的最低分辨率；
常见码率和分辨率的关系表格如下：
计算公式 320x240 480x360 640x480 1280x720 1920x1080
极低码率 (宽x高x3)/4 60kbps 120kbps 250kbps 500kbps 1mkbps
低码率 (宽x高x3)/2 120kbps 250kbps 500kbps 1mkbps 2mkbps
中码率 (宽x高x3) 250kbps 500kbps 1mkbps 2mkbps 4mkbps
高码率 (宽x高x3)x2 500kbps 1mkbps 2mkbps 4mkbps 8mkbps
极高码率 (宽x高X3)x4 1mkbps 2mkbps 4mkbps 8mkbps 16mkbps
发送的视频时会预先设置一个合适的分辨率(如：分辨率1280x720)并将其码率设置为对应的中码率(如：码率2mkbps)，并申请一个可以缓存10秒数据的内存来缓存编码完成后等待发送的视频数据；每次摄像头返回视频图像数据时，都去检测缓存的视频数据已经占总缓存数据量的百分比，并以此来判断网络是否有变化，是否需要调整分辨率和码率，并标记新的视频图像的帧类型；
当网络发生波动时，会做出以下两种处理方式：
一、网络带宽下降时处理
步骤(1.1)、每次摄像头返回视频图像数据时检测网络变化，如果发现已经缓存的数据大小达到总缓存大小的45％时，则执行步骤(1.2)；如果没有则继续等待下次检测；
步骤(1.2)、开始定时检查缓存大小，并持续4秒；如果在此4秒内缓存增长到总缓存的60％，则执行步骤(1.3)；如果4秒后视频的缓存大小仍然大于总缓存的40％，则执行步骤(1.4)；如果以上两点都不满足则可以判定网络变稳定且带宽回升，关闭定时器并重新执行步骤(1.1)；
步骤(1.3)、缓存快速增长，代表网络变差带宽降低，此时需要同时降低分辨率和码率来尝试适配网络变化，并且还需要清空缓存中未发送的数据，且总缓存量更新为分辨率、码率改变后的缓存量(缓存10秒的数据)；在降低分辨率和码率时，若分辨率大于320x240，则分辨率降低至下一级分辨率，且码率同步降低到对应码率级别(如：分辨率1280x720码率2mkbps降低为分辨率640x480码率1mkbps)；若分辨率正好是320x240，则只需要降低码率级别即可(如：码率120kbps降低为码率60kbps)；在降低分辨率和码率并清空缓存后，定时检查缓存的步骤可以停止，并重新执行步骤(1.1)；
步骤(1.4)、4秒后缓存的视频数据仍然没有有效减少，证明网络存在波动，且带宽的降低没有改善；此时在缓存的处理方面，不需要丢弃所有未发送的数据，而是先判断缓存中有没有未发送的视频帧段(从起始段sps帧、pps帧到p帧结束)，如果有则丢弃掉这些视频帧段，如果没有则不处理；并且总缓存量也需要更新为分辨率、码率改变后的缓存量；而在处理分辨率和码率时则是以缓慢降低的方式来尝试适配网络的变化；如果码率处于当前分辨率的高级别，则降低到对应的低级别(如：分辨率1280x720码率2mkbps降低为分辨率1280x720码率1mkbps)；如果码率处于当前分辨率的最低级别，则分辨率降低一个级别码率不变(码率是下一级别分辨率的低码率)(如：分辨率1280x720码率500kbps降低为分辨率640x480码率500kbps)；调节完成后定时器不变，从步骤(1.2)继续执行；
二、网络带宽上升时处理
步骤(2.1)每次摄像头返回视频图像数据时检测网络变化，如果发现已经缓存的数据大小只占总缓存大小的5％，并且视频的设置不是初始的设置时，则执行步骤(2.2)；其余情况继续等待下次检测；
步骤(2.2)开始定时检查缓存大小，并持续20秒；如果在此20秒内缓存的视频数据量出现大于5％，意味着网络状况平稳或没有变好，此时关闭定时器并重新执行步骤(2.1)；如果在此20秒内缓存的视频数据量仍然不到总缓存的5％，意味着网络带宽上升，网络的状况正在变好，可以调高视频的分辨率或码率以提高视频清晰度，此时执行步骤(2.3)；
步骤(2.3)网络带宽上升，可以缓慢尝试提高分辨率或码率；若当前分辨率不是预设置的分辨率，执行步骤(2.4)；若当前分辨率是预设置的分辨率，则只提高码率等级(如：分辨率1280x720码率1mkbps降低为分辨率1280x720码率2mkbps)并从步骤(2.1)重新执行；
步骤(2.4)当前不是预设置分辨率时，如果码率未达到中码率，则只需要提高码率(如：分辨率640x480码率250kbps降低为分辨率640x480码率500kbps)；如果码率已经达到当前分辨率的中码率，则提高分辨率等级且码率不变(如：分辨率480x360码率500kbps降低为分辨率640x480码率500kbps)；
使用本发明的视频调节方式，在网络波动时，视频发送方可以以不同的分辨率和码率适配网络的吞吐量，以达到在该吞吐量下视频可以达到的最佳分辨率和码率。
1、上面内容中“网络波动”是指“网络带宽波动”；
2、上面内容的“网络波动”主要指是终端在不同环境下或网络线路不稳定导致网络信号强度变化。对于通讯的两端来说表现出来的现象就是网络带宽变化，包括：网络带宽下降、网络带宽回升和网络完全断开。其中，网络完全断开的情况无法通过技术方案优化，故不讨论。
与现有技术相比，本发明具有如下有益效果：
本发明采用以上技术方案，通过在视频发送端动态调节视频的分辨率和码率，使得需要发送的视频数据流大小一直保持在网络吞吐量上下的一个小区间波动，从而保证了视频接收端能不间断的流畅观看视频，提高了观看体验。
相比传统的无变动输出视频的方式，本发明能更灵活的适应网络波动相较频繁的网络环境。在向接收端输出的视频流时，能保证输出的视频更加流畅、不易中断。不断调整的视频码率也使视频接收端收到的视频具有更高的实时性。在相较视频高清程度更加注重视频流畅度和实时性的使用场景，本发明拥有巨大的优势。
附图说明
图1是本发明中网络带宽下降时执行流程示意图；
图2是本发明中网络带宽上升时执行流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～2所示，本发明提供了一种传输时基于本地缓存的视频码率自适应调节方式的具体实施方式，通过对发送的视频流的缓存的监测，来预测后续网络吞吐量的大小，并调节后续视频的分辨率和码率来适应网络。
在调节视频参数时，视频的码率必须配合对应的分辨率才使解析出来的视频有足够的清晰度；且为了使码率的调节不回太过频繁，在调节时会依据下表进行码率和分辨率的调整，其中320x240是常用智能终端所支持的最低分辨率；
常见码率和分辨率的关系表格如下：
计算公式 320x240 480x360 640x480 1280x720 1920x1080
极低码率 (宽x高x3)/4 60kbps 120kbps 250kbps 500kbps 1mkbps
低码率 (宽x高x3)/2 120kbps 250kbps 500kbps 1mkbps 2mkbps
中码率 (宽x高x3) 250kbps 500kbps 1mkbps 2mkbps 4mkbps
高码率 (宽x高x3)x2 500kbps 1mkbps 2mkbps 4mkbps 8mkbps
极高码率 (宽x高X3)x4 1mkbps 2mkbps 4mkbps 8mkbps 16mkbps
发送的视频时会预先设置一个合适的分辨率(如：分辨率1280x720)并将其码率设置为对应的中码率(如：码率2mkbps)，并申请一个可以缓存10秒数据的内存来缓存编码完成后等待发送的视频数据；每次摄像头返回视频图像数据时，都去检测缓存的视频数据已经占总缓存数据量的百分比，并以此来判断网络是否有变化，是否需要调整分辨率和码率，并标记新的视频图像的帧类型；
当网络发生波动时，会做出以下两种处理方式：
一、网络带宽下降时处理
步骤(1.1)、每次摄像头返回视频图像数据时检测网络变化，如果发现已经缓存的数据大小达到总缓存大小的45％时，则执行步骤(1.2)；如果没有则继续等待下次检测；
步骤(1.2)、开始定时检查缓存大小，并持续4秒；如果在此4秒内缓存增长到总缓存的60％，则执行步骤(1.3)；如果4秒后视频的缓存大小仍然大于总缓存的40％，则执行步骤(1.4)；如果以上两点都不满足则可以判定网络变稳定且带宽回升，关闭定时器并重新执行步骤(1.1)；
步骤(1.3)、缓存快速增长，代表网络变差带宽降低，此时需要同时降低分辨率和码率来尝试适配网络变化，并且还需要清空缓存中未发送的数据，且总缓存量更新为分辨率、码率改变后的缓存量(缓存10秒的数据)；在降低分辨率和码率时，若分辨率大于320x240，则分辨率降低至下一级分辨率，且码率同步降低到对应码率级别(如：分辨率1280x720码率2mkbps降低为分辨率640x480码率1mkbps)；若分辨率正好是320x240，则只需要降低码率级别即可(如：码率120kbps降低为码率60kbps)；在降低分辨率和码率并清空缓存后，定时检查缓存的步骤可以停止，并重新执行步骤(1.1)；
步骤(1.4)、4秒后缓存的视频数据仍然没有有效减少，证明网络存在波动，且带宽的降低没有改善；此时在缓存的处理方面，不需要丢弃所有未发送的数据，而是先判断缓存中有没有未发送的视频帧段(从起始段sps帧、pps帧到p帧结束)，如果有则丢弃掉这些视频帧段，如果没有则不处理；并且总缓存量也需要更新为分辨率、码率改变后的缓存量；而在处理分辨率和码率时则是以缓慢降低的方式来尝试适配网络的变化；如果码率处于当前分辨率的高级别，则降低到对应的低级别(如：分辨率1280x720码率2mkbps降低为分辨率1280x720码率1mkbps)；如果码率处于当前分辨率的最低级别，则分辨率降低一个级别码率不变(码率是下一级别分辨率的低码率)(如：分辨率1280x720码率500kbps降低为分辨率640x480码率500kbps)；调节完成后定时器不变，从步骤(1.2)继续执行；
其中，网络带宽下降时执行流程如图1所示。
二、网络带宽上升时处理
步骤(2.1)每次摄像头返回视频图像数据时检测网络变化，如果发现已经缓存的数据大小只占总缓存大小的5％，并且视频的设置不是初始的设置时，则执行步骤(2.2)；其余情况继续等待下次检测；
步骤(2.2)开始定时检查缓存大小，并持续20秒；如果在此20秒内缓存的视频数据量出现大于5％，意味着网络状况平稳或没有变好，此时关闭定时器并重新执行步骤(2.1)；如果在此20秒内缓存的视频数据量仍然不到总缓存的5％，意味着网络带宽上升，网络的状况正在变好，可以调高视频的分辨率或码率以提高视频清晰度，此时执行步骤(2.3)；
步骤(2.3)网络带宽上升，可以缓慢尝试提高分辨率或码率；若当前分辨率不是预设置的分辨率，执行步骤(2.4)；若当前分辨率是预设置的分辨率，则只提高码率等级(如：分辨率1280x720码率1mkbps降低为分辨率1280x720码率2mkbps)并从步骤(2.1)重新执行；
步骤(2.4)当前不是预设置分辨率时，如果码率未达到中码率，则只需要提高码率(如：分辨率640x480码率250kbps降低为分辨率640x480码率500kbps)；如果码率已经达到当前分辨率的中码率，则提高分辨率等级且码率不变(如：分辨率480x360码率500kbps降低为分辨率640x480码率500kbps)；
其中，网络带宽上升时执行流程如图2所示。
使用本发明的视频调节方式，在网络波动时，视频发送方可以以不同的分辨率和码率适配网络的吞吐量，以达到在该吞吐量下视频可以达到的最佳分辨率和码率。
本发明采用以上技术方案，通过在视频发送端动态调节视频的分辨率和码率，使得需要发送的视频数据流大小一直保持在网络吞吐量上下的一个小区间波动，从而保证了视频接收端能不间断的流畅观看视频，提高了观看体验。
相比传统的无变动输出视频的方式，本发明能更灵活的适应网络波动相较频繁的网络环境。在向接收端输出的视频流时，能保证输出的视频更加流畅、不易中断。不断调整的视频码率也使视频接收端收到的视频具有更高的实时性。在相较视频高清程度更加注重视频流畅度和实时性的使用场景，本发明拥有巨大的优势。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想，以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (3)

1.一种传输时基于本地缓存的视频码率自适应调节方式，其特征在于，通过对发送的视频流的缓存的监测，来预测后续网络吞吐量的大小，并调节后续视频的分辨率和码率来适应网络；
在调节视频参数时，视频的码率必须配合对应的分辨率才使解析出来的视频有足够的清晰度；且为了使码率的调节不回太过频繁，在调节时会依据下表进行码率和分辨率的调整；发送的视频时会预先设置一个合适的分辨率并将其码率设置为对应的中码率，并申请一个缓存10秒数据的内存来缓存编码完成后等待发送的视频数据；每次摄像头返回视频图像数据时，都去检测缓存的视频数据已经占总缓存数据量的百分比，并以此来判断网络是否有变化，是否需要调整分辨率和码率，并标记新的视频图像的帧类型。
2.根据权利要求1中所述的一种传输时基于本地缓存的视频码率自适应调节方式，其特征在于，在当网络带宽下降时，进行如下处理方式：
步骤(1.1)、每次摄像头返回视频图像数据时检测网络变化，如果发现已经缓存的数据大小达到总缓存大小的45％时，则执行步骤(1.2)；如果没有则继续等待下次检测；
步骤(1.2)、开始定时检查缓存大小，并持续4秒；如果在此4秒内缓存增长到总缓存的60％，则执行步骤(1.3)；如果4秒后视频的缓存大小仍然大于总缓存的40％，则执行步骤(1.4)；如果以上两点都不满足则判定网络变稳定且带宽回升，关闭定时器并重新执行步骤(1.1)；
步骤(1.3)、缓存快速增长，代表网络变差带宽降低，此时需要同时降低分辨率和码率来尝试适配网络变化，并且还需要清空缓存中未发送的数据，且总缓存量更新为分辨率、码率改变后的缓存量；在降低分辨率和码率时，若分辨率大于320x240，则分辨率降低至下一级分辨率，且码率同步降低到对应码率级别；若分辨率正好是320x240，则只需要降低码率级别即可；在降低分辨率和码率并清空缓存后，定时检查缓存的步骤(1.2)停止，并重新执行步骤(1.1)；
步骤(1.4)、4秒后缓存的视频数据仍然没有有效减少，证明网络存在波动，且带宽的降低没有改善；此时在缓存的处理方面，不需要丢弃所有未发送的数据，而是先判断缓存中有没有未发送的视频帧段，如果有则丢弃掉这些视频帧段，如果没有则不处理；并且总缓存量也需要更新为分辨率、码率改变后的缓存量；而在处理分辨率和码率时则是以缓慢降低的方式来尝试适配网络的变化；如果码率处于当前分辨率的高级别，则降低到对应的低级别；如果码率处于当前分辨率的最低级别，则分辨率降低一个级别、码率不变；调节完成后定时器不变，从步骤(1.2)继续执行。
3.根据权利要求1中所述的一种传输时基于本地缓存的视频码率自适应调节方式，其特征在于，在当网络带宽上升时，进行如下处理方式：
步骤(2.1)、每次摄像头返回视频图像数据时检测网络变化，如果发现已经缓存的数据大小只占总缓存大小的5％，并且视频的设置不是初始的设置时，则执行步骤(2.2)；其余情况继续等待下次检测；
步骤(2.2)、开始定时检查缓存大小，并持续20秒；如果在此20秒内缓存的视频数据量出现大于5％，意味着网络状况平稳或没有变好，此时关闭定时器并重新执行步骤(2.1)；如果在此20秒内缓存的视频数据量仍然不到总缓存的5％，意味着网络带宽上升，网络的状况正在变好，调高视频的分辨率或码率以提高视频清晰度，此时执行步骤(2.3)；
步骤(2.3)、网络带宽上升，缓慢尝试提高分辨率或码率；若当前分辨率不是预设置的分辨率，执行步骤(2.4)；若当前分辨率是预设置的分辨率，则只提高码率等级并从步骤(2.1)重新执行；
步骤(2.4)、当前不是预设置分辨率时，如果码率未达到中码率，则只需要提高码率；如果码率已经达到当前分辨率的中码率，则提高分辨率等级且码率不变。
CN201911041094.6A 2019-10-30 2019-10-30 一种传输时基于本地缓存的视频码率自适应调节方式 Active CN110769296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911041094.6A CN110769296B (zh) 2019-10-30 2019-10-30 一种传输时基于本地缓存的视频码率自适应调节方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911041094.6A CN110769296B (zh) 2019-10-30 2019-10-30 一种传输时基于本地缓存的视频码率自适应调节方式

Publications (2)

Publication Number Publication Date
CN110769296A true CN110769296A (zh) 2020-02-07
CN110769296B CN110769296B (zh) 2021-08-27

Family

ID=69334581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911041094.6A Active CN110769296B (zh) 2019-10-30 2019-10-30 一种传输时基于本地缓存的视频码率自适应调节方式

Country Status (1)

Country Link
CN (1) CN110769296B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464817A (zh) * 2020-03-12 2020-07-28 视联动力信息技术股份有限公司 码率控制方法、装置及可读存储介质
WO2022057789A1 (zh) * 2020-09-17 2022-03-24 上海连尚网络科技有限公司 视频清晰度识别方法、电子设备及存储介质
CN114640886A (zh) * 2022-02-28 2022-06-17 深圳市宏电技术股份有限公司 自适应带宽的音视频传输方法、装置、计算机设备及介质
CN114979726A (zh) * 2022-06-30 2022-08-30 重庆紫光华山智安科技有限公司 码率调整方法、装置、服务器和存储介质
CN115842918A (zh) * 2022-10-28 2023-03-24 金程科技有限公司 一种可变码率的视频流实时转码发送装置与方法
WO2023115414A1 (zh) * 2021-12-22 2023-06-29 深圳Tcl新技术有限公司 数据处理方法、视频播放系统及终端设备和存储介质
CN116916113A (zh) * 2023-09-06 2023-10-20 联通(江苏)产业互联网有限公司 一种基于5g视频客服的数据流平滑处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030074486A1 (en) * 2001-01-19 2003-04-17 Anastasiadis Stergios V. Streaming server
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
CN101771492A (zh) * 2008-12-29 2010-07-07 华为技术有限公司 调整流媒体码率的方法和装置
CN105025249A (zh) * 2014-04-22 2015-11-04 中国移动通信集团江苏有限公司 视频监控数据传输控制方法、装置及视频监控系统
WO2017016491A1 (en) * 2015-07-28 2017-02-02 Huawei Technologies Co., Ltd. Parametric model for video scoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030074486A1 (en) * 2001-01-19 2003-04-17 Anastasiadis Stergios V. Streaming server
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
CN101771492A (zh) * 2008-12-29 2010-07-07 华为技术有限公司 调整流媒体码率的方法和装置
CN105025249A (zh) * 2014-04-22 2015-11-04 中国移动通信集团江苏有限公司 视频监控数据传输控制方法、装置及视频监控系统
WO2017016491A1 (en) * 2015-07-28 2017-02-02 Huawei Technologies Co., Ltd. Parametric model for video scoring

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464817A (zh) * 2020-03-12 2020-07-28 视联动力信息技术股份有限公司 码率控制方法、装置及可读存储介质
WO2022057789A1 (zh) * 2020-09-17 2022-03-24 上海连尚网络科技有限公司 视频清晰度识别方法、电子设备及存储介质
WO2023115414A1 (zh) * 2021-12-22 2023-06-29 深圳Tcl新技术有限公司 数据处理方法、视频播放系统及终端设备和存储介质
CN114640886A (zh) * 2022-02-28 2022-06-17 深圳市宏电技术股份有限公司 自适应带宽的音视频传输方法、装置、计算机设备及介质
CN114640886B (zh) * 2022-02-28 2023-09-15 深圳市宏电技术股份有限公司 自适应带宽的音视频传输方法、装置、计算机设备及介质
CN114979726A (zh) * 2022-06-30 2022-08-30 重庆紫光华山智安科技有限公司 码率调整方法、装置、服务器和存储介质
CN114979726B (zh) * 2022-06-30 2023-09-26 重庆紫光华山智安科技有限公司 码率调整方法、装置、服务器和存储介质
CN115842918A (zh) * 2022-10-28 2023-03-24 金程科技有限公司 一种可变码率的视频流实时转码发送装置与方法
CN116916113A (zh) * 2023-09-06 2023-10-20 联通(江苏)产业互联网有限公司 一种基于5g视频客服的数据流平滑处理方法
CN116916113B (zh) * 2023-09-06 2023-12-22 联通(江苏)产业互联网有限公司 一种基于5g视频客服的数据流平滑处理方法

Also Published As

Publication number Publication date
CN110769296B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110769296B (zh) 一种传输时基于本地缓存的视频码率自适应调节方式
CN108881780B (zh) 视频通话中动态调整清晰度模式的方法、服务器
US10728594B2 (en) Method and apparatus for transmitting data of mobile terminal
CN103916716B (zh) 一种无线网络下视频实时传输的码率平滑方法
US10091528B2 (en) Method and system for scalable video compression and transmission
CN107317795B (zh) 数据包的码率调整方法及装置
CN110290402A (zh) 一种视频码率调整方法、装置、服务器及存储介质
CN105812711B (zh) 视频通话过程中优化图像质量的方法及系统
CN109729437B (zh) 流媒体自适应传输方法、终端和系统
CN107509120A (zh) 一种基于缓冲区下溢概率估计的流媒体自适应传输方法
CN104394484A (zh) 一种无线实时流媒体传输方法
CN110602548B (zh) 一种超高清视频高质量无线传输的方法和系统
KR102534443B1 (ko) 비디오 증강 제어 방법, 장치, 전자 기기 및 저장 매체
US8448213B2 (en) Contents distribution system, contents distribution server, contents reproduction terminal, and contents distribution method
CN105812710A (zh) 视频通话过程中优化图像质量的方法及系统
CN113242436B (zh) 直播数据的处理方法、装置及电子设备
CN112702649A (zh) 一种移动端的直播视频播放流畅度优化方法、存储介质及电子设备
US20020054635A1 (en) Image transmitting method and apparatus and image receiving method and apparatus
US20110067072A1 (en) Method and apparatus for performing MPEG video streaming over bandwidth constrained networks
JP4685372B2 (ja) 移動通信端末機の映像データ処理方法
JP5428702B2 (ja) ストリーム通信システム、サーバ装置及びクライアント装置
US8612552B2 (en) Method for buffering streaming data and a terminal device
CN115883877A (zh) 一种超高清视频流的传输方法及系统
US20100319029A1 (en) Method and apparatus for controlling channel for providing internet protocol television service
CN114513620A (zh) 基于WebRTC弱网环境的视频丢帧补帧传输方法及系统和应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant