CN105847805A - 一种基于滑动窗口的码率控制方法和装置 - Google Patents

一种基于滑动窗口的码率控制方法和装置 Download PDF

Info

Publication number
CN105847805A
CN105847805A CN201610195778.1A CN201610195778A CN105847805A CN 105847805 A CN105847805 A CN 105847805A CN 201610195778 A CN201610195778 A CN 201610195778A CN 105847805 A CN105847805 A CN 105847805A
Authority
CN
China
Prior art keywords
bit rate
parameter
frame
threshold
average complexity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610195778.1A
Other languages
English (en)
Inventor
吕超
魏伟
白茂生
蔡砚刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610195778.1A priority Critical patent/CN105847805A/zh
Publication of CN105847805A publication Critical patent/CN105847805A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于滑动窗口的码率控制方法和装置,通过在待处理的图像帧前后分别设置一定宽度的窗口,通过对比窗口内图像帧的平均比特率与在前全部帧的平均比特率并结合溢出参数,判断是否满足处理条件;在满足处理条件时,使用参照窗口内图像帧的平均帧率和平均复杂度得到的新参数替换现有技术中的溢出参数,来计算量化参数,进一步调整所述图像帧的分辨率。本发明通过设置窗口,判断待处理的图像帧前后一定区间内的图像帧的比特率和复杂度,针对突变的视频场景可以更好地调整图像帧的分辨率,增强视频的表现效果,提高用户观看体验。

Description

一种基于滑动窗口的码率控制方法和装置
技术领域
本发明涉及通信技术领域,特别是指一种基于滑动窗口的码率控制方法和装置。
背景技术
在视频处理技术中,码率控制是一种视频编码的优化算法,用于实现对视频流码流大小的控制。研究视频编码技术的目的,是为了在有限的带宽中传输尽可能清晰的视频。在视频帧中,通常将帧序列中的帧分为I、P、B三种,I是内部编码帧,P是前向预测帧,B是双向内插帧,排成如IBBPBBPBBPBBPBBP...样式,这种连续的帧图片组合即为GOP(画面组,GroupOfPicture),一个GOP中包括1个I帧和一定数量的B帧和P帧。其中I帧为显示视频画面的关键帧,用于描述静态图像,B帧和P帧则通过描述I帧图像中每个像素的变化量形成动态图像。
VBR(Variable Bit Rate,动态比特率)技术是一种较为常用的码率控制技术,在一些VBR技术中,通过一定算法控制I、B、P帧的清晰度,从而达到控制视频码率的目的。例如,当视频图像中运动图像多时,I帧中像素的变化数和变化量较多,所以其后缀的B帧和P帧数据量都较大,导致视频的码率增加,此时为了控制码率,会采取改变GOP长度(增加B帧和P帧,降低I帧出现的频率)以及降低各帧清晰度(例如将I帧的边缘进行模糊处理)的方式来降低整体的码率。
现有的VBR技术可以通过调整局部帧的排列方式和清晰度实现动态控制视频码率,但是对于算法的要求较为精确,否则会出现各种各样的问题。例如,上面介绍了在运动图像多、通过降低各帧清晰度来降低码率时,用于直接调整清晰度的参数是QP(量化参数,Quantizer Parameter),而QP又与在前全部帧的平均比特率和预期比特率(在进行视频编码前预设的一个确定的参照值)的偏移幅度(通常称为溢出参数,overflow)呈正相关,也就是说,在前帧的平均比特率偏移越多,overflow的值越大,QP的值也就越大,对当前帧进行编码时的清晰度也就越低。但这种调整方式存在一个问题,当经历一系列运动图像后,突然切换至静态图像时,QP受限于其计算方式,仍然会取较大的值,这就导致静态图像的清晰度很低,影响了观看效果;或者在相反的场景中,由静态图像突然切换至运动图像时,会导致码率瞬间升高,导致视频编码和传输负载大幅增加,严重影响视频流畅度。
发明内容
有鉴于此,本发明的目的在于提出一种基于滑动窗口的码率控制方法和装置,用以实现通过滑动窗口预测视频内容的突变,根据预测结果控制后续帧的清晰度,以达到在控制视频流码率的情况下尽可能平衡视频清晰度,保证观看效果和视频流畅度。
基于上述目的本发明公开的一种基于滑动窗口的码率控制方法,包括:
在实时转码的过程中,统计全部已编码图像帧的平均比特率,得到第一平均比特率;
在对图像帧进行编码时,计算所述图像帧前N帧的平均比特率,得到第二平均比特率;
使用所述第一平均比特率除以预期比特率得到溢出参数;
判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,且所述溢出参数大于第一参数阈值;
若满足,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数,使用所述量化参数调整所述图像帧的清晰度。
可选的,所述第一比特率阈值的取值范围是[5/4,9/4];所述第一参数阈值的取值范围是[0.9,1.1]。
可选的,方法还包括:
判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第二比特率阈值,且所述溢出参数大于第二参数阈值;所述第二比特率阈值小于所述第一比特率阈值,所述第二参数阈值大于所述第一参数阈值;
若满足,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度;使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,计算所述图像帧的量化参数,所述N与n均为正整数。
可选的,所述第二比特率阈值的取值范围是[1,2];所述第二参数阈值的取值范围是[1.1,1.3]。
可选的,方法还包括:
判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值小于第三比特率阈值,且所述溢出参数大于第三参数阈值;所述第三比特率阈值小于所述第一比特率阈值;
若满足,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度;使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,计算所述图像帧的量化参数,所述N与n均为正整数。
可选的,所述第三比特率阈值的取值范围是[0.6,0.8];所述第三参数阈值的取值范围是[1.1,1.3]。
可选的,所述N的取值范围是[150,500],所述n的取值范围是[15,50],N/n的取值范围是[8,12]。
基于上述目的本发明公开的一种基于滑动窗口的码率控制装置,包括:
比特率单元,用于在实时转码的过程中,统计全部已编码图像帧的平均比特率,得到第一平均比特率;在对图像帧进行编码时,计算所述图像帧前N帧的平均比特率,得到第二平均比特率;使用所述第一平均比特率除以预期比特率得到溢出参数;
第一比较单元,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,且所述溢出参数大于第一参数阈值;
复杂度单元,用于在所述第一比较单元判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
计算单元,用于在所述第一比较单元判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数,使用所述量化参数调整所述图像帧的清晰度。
可选的,所述第一比特率阈值的取值范围是[5/4,9/4];所述第一参数阈值的取值范围是[0.9,1.1]。
可选的,装置还包括:
第二比较单元,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第二比特率阈值,且所述溢出参数大于第二参数阈值;所述第二比特率阈值小于所述第一比特率阈值,所述第二参数阈值大于所述第一参数阈值;
所述复杂度单元还用于在所述第二比较单元判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
所述计算单元还用于在所述第二比较单元判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数。
可选的,所述第二比特率阈值的取值范围是[1,2];所述第二参数阈值的取值范围是[1.1,1.3]。
可选的,装置还包括:
第二比较单元,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值小于第三比特率阈值,且所述溢出参数大于第三参数阈值;所述第三比特率阈值小于所述第一比特率阈值;
所述复杂度单元还用于在所述第三比较单元判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
所述计算单元还用于在所述第三比较单元判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数。
可选的,所述第三比特率阈值的取值范围是[0.6,0.8];所述第三参数阈值的取值范围是[1.1,1.3]。
可选的,所述N的取值范围是[150,500],所述n的取值范围是[15,50],N/n的取值范围是[8,12]。
从上面所述可以看出,本发明公开的一种基于滑动窗口的码率控制方法和装置,通过在待处理的图像帧前后分别设置一定宽度的窗口,通过对比窗口内图像帧的平均比特率与在前全部帧的平均比特率并结合溢出参数,判断是否满足处理条件;在满足处理条件时,使用参照窗口内图像帧的平均帧率和平均复杂度得到的新参数替换现有技术中的溢出参数,来计算量化参数,进一步调整所述图像帧的分辨率。本实施例通过设置窗口,判断待处理的图像帧前后一定区间内的图像帧的比特率和复杂度,针对突变的视频场景可以更好地调整图像帧的分辨率,增强视频的表现效果,提高用户观看体验。
附图说明
图1为本发明提供的一种基于滑动窗口的码率控制方法的实施例的流程示意图;
图2为本发明提供的一种基于滑动窗口的码率控制方法的实施例的应用场景的曲线示意图;
图3为本发明提供的一种基于滑动窗口的码率控制方法的可选实施例地流程示意图;
图4为本发明提供的一种基于滑动窗口的码率控制方法的可选实施例地流程示意图;
图5为本发明提供的一种基于滑动窗口的码率控制方法的实施例的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1为本发明提供的一种基于滑动窗口的码率控制方法的实施例的流程示意图。如图所示,本发明公开的一种基于滑动窗口的码率控制方法的实施例,包括:
S10,在实时转码的过程中,统计全部已编码图像帧的平均比特率,得到第一平均比特率。对于单一视频文件的实时转码过程而言,第一平均比特率即为已编码图像帧的平均比特率;对于视频直播、转播等的实时转码过程而言,由于直播或转播内容也是按照一定时间长度为单位划分视频段执行,所以在直播或转播的场景下,第一平均比特率即为将当前视频段作为独立的视频文件,计算该视频段已编码图像帧的平均比特率。
S11,在对图像帧进行编码时,计算所述图像帧前N帧的平均比特率,得到第二平均比特率。
S12,使用所述第一平均比特率除以预期比特率得到溢出参数。溢出参数用于衡量视频文件已转码部分的平均比特率相对于预期比特率的偏移幅度。溢出参数的数值大于1,说明视频文件已转码部分的平均比特率高于预期比特率,而溢出参数的数值相对于1的偏移值越大,则说明视频文件已转码部分的平均比特率高出预期比特率的幅度越大。
S13,判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,且所述溢出参数大于第一参数阈值。
所述第二平均比特率与所述第一平均比特率的比值,表示所述图像帧前N帧的平均比特率与全部已编码图像帧的平均比特率的比值,其表示的含义是所述图像帧前N帧的比特率处于何种状态。若这一比值大于1,说明前N帧相对于在前帧的比特率处于较高水平;这一比值偏离1的幅度越大,说明前N帧比在前帧高出的比特率越多。所述溢出参数已经说明过,是用于衡量视频文件已转码部分的平均比特率相对于预期比特率的偏移幅度。
本步骤判断的场景为,当视频的总体平均比特率高于预期比特率达到一定程度时,是否同时满足在前N帧的平均比特率也大于在前全部帧的平均比特率达到一定程度。若满足,则此时可以判断量化参数QP的取值较大,参照现有技术,如果出现后续图像帧平均帧率骤降,例如视频由动态图像切换至静态图像,QP受限于其计算方式,仍然会取较大的值,这就导致静态图像的清晰度很低,影响了观看效果。
如果舍弃上述判定条件中的任意一项,得到的结果都是不准确的。例如,舍弃判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,仅判断所述溢出参数是否大于第一参数阈值,则无法有效判定场景突变的情形;又如,舍弃判断所述溢出参数是否大于第一参数阈值,仅判断是否满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,则有可能出现下面的场景:视频开场时持续为静态的低比特率画面,此时依照现有技术计算得到的量化参数数值较小;突然有静态场景切换至高比特率的动态场景,则满足了判定条件,依照本实施例计算量化参数;但实际上,由于在前全部图像帧的平均比特率低于预期比特率,因此即使发生场景切换,在整体的平均比特率不超过预期比特率前,量化参数依旧处于一个较小值,视频图像比较清晰,没有必要采用本实施例的方法确定量化参数。因此,两项判定条件缺一不可。
S14,若满足,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数,使用量化参数调整所述图像帧的清晰度。步骤中的复杂度是一个用于描述图像帧的复杂程度的值,例如当图像帧用于表现动态图像时,其复杂度会高于用于表现静态图像的图像帧;复杂度的具体获取方法属于现有技术,在此不再赘述。
步骤S14中,所述第二平均比特率与所述第一平均比特率的比值与所述溢出参数相比,可以更加精确地表示所述帧前N帧的比特率相对全部在前帧平均比特率的变化趋势,这一比值大于1,说明前N帧的比特率相对在前全部帧的比特率而言处于上升状态,这一比值大于1的幅度越大,说明前N帧的比特率相对在前全部帧的比特率而言上升的幅度越大。
步骤S14中,所述第二平均复杂度与所述第一平均复杂度的比值,则用于表示所述帧后n帧相对于前N帧的复杂度,这一比值大于1,说明后n帧的复杂度高于前N帧的复杂度,也就是说,所述帧正处于一个复杂度上升的帧区间内(例如视频由静态图像转换至动态图像);相反,若这一比值小于1,说明后n帧的复杂度小于前N帧的复杂度,所述帧处于一个复杂度下降的帧区间内(例如视频由动态图像转换至静态图像)。
以计算式来表示步骤S14为:使用替换所述溢出参数,来计算所述图像帧的量化参数。式中bitrate_N表示所述帧前N帧的平均比特率,bitrate_all表示全部已编码图像帧的平均比特率,cmplx_n表示所述帧后n帧的平均复杂度,cmplx_N表示所述帧前N帧的平均复杂度。
通过一个场景对本实施例方法的实现方式进行说明:假设某一帧之前部分帧的比特率较高,该帧之后部分帧的比特率较低,该帧恰好处于比特率由高到低的下降曲线上。则若按照现有技术的方法计算溢出参数,由于所述帧前全部已编码图像帧的平均比特率下降的幅度很小,所以该帧的溢出参数和在前数帧的溢出参数相比,变化量很小,甚至溢出参数还可能会有增加,这就导致量化参数数值依旧维持在一个较大值,使得对该帧及其后续部分帧进行编码时使用的量化系数维持在一个较大值,影响低比特率部分的清晰度。
若采用本实施例提供的方法,首先计算的值,考虑该帧所处的位置,必然为一个较大的值;进一步计算的值,考虑该帧处与高比特率帧和低比特率帧之间,因此必然为一个较小的值;二者相乘,最终得到值小于现有技术中的溢出参数,从而使计算得到的量化参数取得一个较小的值,提升了该帧的清晰度。
继续针对上述场景,讨论现有技术和本申请提供的方法对于视频平均比特率的影响。
图2为本发明提供的一种基于滑动窗口的码率控制方法的实施例的应用场景的曲线示意图。参考图2,不再讨论对某一具体帧的调整,而是考虑使用不同方法得到的实时比特率曲线。图2中a曲线为采用现有技术处理后的实时比特率曲线,b曲线为采用本实施例提供的方法处理后的实时比特率曲线;对比二者可以发现,b曲线较a曲线更为平滑,也就是说本实施提供的方法在控制平均比特率的力度方面低于现有技术,但是得到的图像要远比现有技术处理得到的图像清晰。事实上,实施转码得到的视频的平均比特率由于受到良好的控制,并不会产生非常大的起伏,因此本实施例的方法在这方面并不会对视频整体产生不良影响。所以整体来看,本实施例提供的方法可以在维持平均比特率稳定的前提下,加速视频场景发生切换时清晰度改变的速率,从而增强视频的表现效果,提高用户观看体验。
从上面所述可以看出,本实施例提供的方法通过在待处理的图像帧前后分别设置一定宽度的窗口,通过对比窗口内图像帧的平均比特率与在前全部帧的平均比特率并结合溢出参数,判断是否满足处理条件;在满足处理条件时,使用参照窗口内图像帧的平均帧率和平均复杂度得到的新参数替换现有技术中的溢出参数,来计算量化参数,进一步调整所述图像帧的分辨率。本实施例通过设置窗口,判断待处理的图像帧前后一定区间内的图像帧的比特率和复杂度,针对突变的视频场景可以更好地调整图像帧的分辨率,增强视频的表现效果,提高用户观看体验。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
在可选的实施例中,所述第一比特率阈值的取值范围是[5/4,9/4];所述第一参数阈值的取值范围是[0.9,1.1]。
所述第二平均比特率与所述第一平均比特率的比值,表示所述图像帧前N帧的平均比特率与全部已编码图像帧的平均比特率的比值,其表示的含义是所述图像帧前N帧的比特率处于何种状态。若这一比值大于1,说明前N帧相对于全部在前帧的比特率处于较高水平。而第一比特率阈值正是用于衡量这一“较高水平”高于在前帧的比特率的程度,若第一比特率阈值取值过低,则会导致判定条件过低,无法有效识别前N帧高于全部在前帧的平均比特率的情景;若第一比特率阈值取值过高,则会导致判定条件过高,实践中很难满足判定条件而无法使用本实施例提供的方法进行处理;[5/4,9/4]是通过试验取得的优选取值范围。进一步,所述第一比特率阈值的取值为7/4,同样是通过试验取得的较佳值。
所述溢出参数用于衡量视频文件已转码部分的平均比特率相对于预期比特率的偏移幅度。溢出参数的数值大于1,说明视频文件已转码部分的平均比特率高于预期比特率,而溢出参数的数值相对于1的偏移值越大,则说明视频文件已转码部分的平均比特率高出预期比特率的幅度越大。溢出参数是现有技术中用于计算量化参数,进一步调整图像帧清晰度的直观参数;在判定前N帧相对于全部在前帧的平均比特率处于较高水平后,还需要进一步判定溢出参数是否大于一定数值,从而判定量化参数是否处于较大值,而判定的阈值就是第一参数阈值。所述第一参数阈值不宜过低,否则这一阈值就失去了意义;所述第一参数阈值也不宜过高,否则会导致判定条件过高,实践中很难满足判定条件而无法使用本实施例提供的方法进行处理;通过试验选取所述第一参数阈值的优选取值范围是[0.9,1.1]。较佳的,所述第一参数阈值的取值为1,同样是通过试验取得的较佳值。
图3为本发明提供的一种基于滑动窗口的码率控制方法的可选实施例地流程示意图。如图所示,在可选的实施例中,方法还包括:
S20,判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第二比特率阈值,且所述溢出参数大于第二参数阈值;所述第二比特率阈值小于所述第一比特率阈值,所述第二参数阈值大于所述第一参数阈值。
若满足,执行步骤S14。
所述第二比特率阈值的取值范围是[1,2];所述第二参数阈值的取值范围是[1.1,1.3],所述取值范围均为通过试验取得的较佳值。优选的,所述第二比特率阈值的取值为3/2,所述第二参数阈值的取值为1.2。
本实施例规定了判定执行本实施例步骤的另外一种条件。所述第二比特率阈值小于所述第一比特率阈值,也就是说,同前一实施例相比,在根据本实施例规定的条件进行判断时,满足条件的所述第二平均比特率与所述第一平均比特率的比值可以稍小,体现在具体场景即为在前宽度为N的窗口内图像帧的比特率高出在前全部帧的比特率的幅度稍小;所述第二参数阈值大于所述第一参数阈值,也就是说,同前一实施例相比,在根据本实施例规定的条件进行判断时,满足条件的溢出参数一定要稍大,体现在具体场景即为在前全部帧的平均比特率高出预期比特率的幅度稍大。在上述情境下,同样可以适用本实施例提供的方法。
图4为本发明提供的一种基于滑动窗口的码率控制方法的可选实施例地流程示意图。如图所示,在可选的实施例中,方法还包括:
S30,判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值小于第三比特率阈值,且所述溢出参数大于第三参数阈值;所述第三比特率阈值小于所述第一比特率阈值。
若满足,执行步骤S14。
所述第三比特率阈值的取值范围是[0.6,0.8];所述第三参数阈值的取值范围是[1.1,1.3]。所述取值范围均为通过试验取得的较佳值。优选的,所述第三比特率阈值的取值为0.7,所述第二参数阈值的取值为1.2。
本实施例的判定条件适用于与前述实施例相反的场景。前述实施例均适用于视频由动态图像切换至静态图像的场景,需要通过调整量化参数避免视频图像发生模糊。本实施例则适用于视频由静态图像切换至动态图像的场景,需要通过调整量化参数避免因量化参数变化不及时,导致视频实时比特率骤增影响正常播放过程。
在可选的实施例中,所述N的取值范围是[150,500],所述n的取值范围是[15,50],N/n的取值范围是[8,12]。N的取值决定了对于在前一定数量帧图像状态的判断准确度,N的取值不宜过小,否则结果的随机性过高,无法得到有效的判定结果;N的取值不宜过大,否则无法应用于长度较短的视频,同时得到的结果也不再具有代表性。n的取值决定了对于在后一定数量帧图像状态的判断准确度,n的取值不宜小,否则结果的随机性过高,无法得到有效地判定结果;n的取值不宜过大,否则无法准确地确定一些突变的情况,同时n取值过大时需要提前获取更多的帧图像,也不利于实时转码过程实现。同时,为了保证上述实施例中计算结果和判断结果的准确,N/n的取值范围应当处于[8,12]的区间内,超出这一区间会导致判断结果不具有代表性,同时计算结果不准确的问题。
优选的,N的取值为200,n的取值为20。
图5为本发明提供的一种基于滑动窗口的码率控制方法的实施例的框图。如图所示,本发明公开一种基于滑动窗口的码率控制装置的实施例,包括:
比特率单元40,用于在实时转码的过程中,统计全部已编码图像帧的平均比特率,得到第一平均比特率;在对图像帧进行编码时,计算所述图像帧前N帧的平均比特率,得到第二平均比特率;使用所述第一平均比特率除以预期比特率得到溢出参数。
第一比较单元41,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,且所述溢出参数大于第一参数阈值。
复杂度单元42,用于在所述第一比较单元判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数。
计算单元43,用于在所述第一比较单元判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数,使用所述量化参数调整所述图像帧的清晰度。
从上面所述可以看出,本实施例提供的装置通过在待处理的图像帧前后分别设置一定宽度的窗口,通过比特率单元40计算平均比特率,通过第一比较单元41对比窗口内图像帧的平均比特率与在前全部帧的平均比特率并结合溢出参数,判断是否满足处理条件;在满足处理条件时,通过复杂度单元42计算平均复杂度,通过计算单元43使用参照窗口内图像帧的平均帧率和平均复杂度得到的新参数替换现有技术中的溢出参数,来计算量化参数,进一步调整所述图像帧的分辨率。本实施例通过设置窗口,判断待处理的图像帧前后一定区间内的图像帧的比特率和复杂度,针对突变的视频场景可以更好地调整图像帧的分辨率,增强视频的表现效果,提高用户观看体验。
在可选的实施例中,所述第一比特率阈值的取值范围是[5/4,9/4];所述第一参数阈值的取值范围是[0.9,1.1]。
在可选的实施例中,装置还包括:
第二比较单元44,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第二比特率阈值,且所述溢出参数大于第二参数阈值;所述第二比特率阈值小于所述第一比特率阈值,所述第二参数阈值大于所述第一参数阈值;
所述复杂度单元还用于在所述第二比较单元44判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
所述计算单元还用于在所述第二比较单元44判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数。
在可选的实施例中,所述第二比特率阈值的取值范围是[1,2];所述第二参数阈值的取值范围是[1.1,1.3]。
在可选的实施例中,装置还包括:
第三比较单元45,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值小于第三比特率阈值,且所述溢出参数大于第三参数阈值;所述第三比特率阈值小于所述第一比特率阈值;
所述复杂度单元还用于在所述第三比较单元45判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
所述计算单元还用于在所述第三比较单元45判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数。
在可选的实施例中,所述第三比特率阈值的取值范围是[0.6,0.8];所述第三参数阈值的取值范围是[1.1,1.3]。
在可选的实施例中,所述N的取值范围是[150,500],所述n的取值范围是[15,50],N/n的取值范围是[8,12]。
从上面所述可以看出,本发明公开的一种基于滑动窗口的码率控制方法和装置通过在待处理的图像帧前后分别设置一定宽度的窗口,通过对比窗口内图像帧的平均比特率与在前全部帧的平均比特率并结合溢出参数,判断是否满足处理条件;在满足处理条件时,使用参照窗口内图像帧的平均帧率和平均复杂度得到的新参数替换现有技术中的溢出参数,来计算量化参数,进一步调整所述图像帧的分辨率。本实施例通过设置窗口,判断待处理的图像帧前后一定区间内的图像帧的比特率和复杂度,针对突变的视频场景可以更好地调整图像帧的分辨率,增强视频的表现效果,提高用户观看体验。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于滑动窗口的码率控制方法,其特征在于,包括:
在实时转码的过程中,统计全部已编码图像帧的平均比特率,得到第一平均比特率;
在对图像帧进行编码时,计算所述图像帧前N帧的平均比特率,得到第二平均比特率;
使用所述第一平均比特率除以预期比特率得到溢出参数;
判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,且所述溢出参数大于第一参数阈值;
若满足,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数,使用所述量化参数调整所述图像帧的清晰度。
2.根据权利要求1所述的方法,其特征在于,所述第一比特率阈值的取值范围是[5/4,9/4];所述第一参数阈值的取值范围是[0.9,1.1]。
3.根据权利要求1所述的方法,其特征在于,方法还包括:
判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第二比特率阈值,且所述溢出参数大于第二参数阈值;所述第二比特率阈值小于所述第一比特率阈值,所述第二参数阈值大于所述第一参数阈值;
若满足,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度;使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,计算所述图像帧的量化参数,所述N与n均为正整数。
4.根据权利要求3所述的方法,其特征在于,所述第二比特率阈值的取值范围是[1,2];所述第二参数阈值的取值范围是[1.1,1.3]。
5.根据权利要求1所述的方法,其特征在于,方法还包括:
判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值小于第三比特率阈值,且所述溢出参数大于第三参数阈值;所述第三比特率阈值小于所述第一比特率阈值;
若满足,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度;使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,计算所述图像帧的量化参数,所述N与n均为正整数。
6.根据权利要求5所述的方法,其特征在于,所述第三比特率阈值的取值范围是[0.6,0.8];所述第三参数阈值的取值范围是[1.1,1.3]。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述N的取值范围是[150,500],所述n的取值范围是[15,50],N/n的取值范围是[8,12]。
8.一种基于滑动窗口的码率控制装置,其特征在于,包括:
比特率单元,用于在实时转码的过程中,统计全部已编码图像帧的平均比特率,得到第一平均比特率;在对图像帧进行编码时,计算所述图像帧前N帧的平均比特率,得到第二平均比特率;使用所述第一平均比特率除以预期比特率得到溢出参数;
第一比较单元,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第一比特率阈值,且所述溢出参数大于第一参数阈值;
复杂度单元,用于在所述第一比较单元判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
计算单元,用于在所述第一比较单元判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数,使用所述量化参数调整所述图像帧的清晰度。
9.根据权利要求8所述的装置,其特征在于,所述第一比特率阈值的取值范围是[5/4,9/4];所述第一参数阈值的取值范围是[0.9,1.1]。
10.根据权利要求8所述的装置,其特征在于,装置还包括:
第二比较单元,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值大于第二比特率阈值,且所述溢出参数大于第二参数阈值;所述第二比特率阈值小于所述第一比特率阈值,所述第二参数阈值大于所述第一参数阈值;
所述复杂度单元还用于在所述第二比较单元判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
所述计算单元还用于在所述第二比较单元判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数。
11.根据权利要求10所述的装置,其特征在于,所述第二比特率阈值的取值范围是[1,2];所述第二参数阈值的取值范围是[1.1,1.3]。
12.根据权利要求8所述的装置,其特征在于,装置还包括:
第三比较单元,用于判断是否同时满足所述第二平均比特率与所述第一平均比特率的比值小于第三比特率阈值,且所述溢出参数大于第三参数阈值;所述第三比特率阈值小于所述第一比特率阈值;
所述复杂度单元还用于在所述第三比较单元判定满足条件后,计算所述图像帧前N帧的平均复杂度,得到第一平均复杂度;计算所述图像帧后n帧的平均复杂度,得到第二平均复杂度,所述N与n均为正整数;
所述计算单元还用于在所述第三比较单元判定满足条件后,使用所述第二平均比特率与所述第一平均比特率的比值,乘以所述第二平均复杂度与所述第一平均复杂度的比值得到的结果替换所述溢出参数,来计算所述图像帧的量化参数。
13.根据权利要求12所述的装置,其特征在于,所述第三比特率阈值的取值范围是[0.6,0.8];所述第三参数阈值的取值范围是[1.1,1.3]。
14.根据权利要求8-13任意一项所述的装置,其特征在于,所述N的取值范围是[150,500],所述n的取值范围是[15,50],N/n的取值范围是[8,12]。
CN201610195778.1A 2016-03-30 2016-03-30 一种基于滑动窗口的码率控制方法和装置 Pending CN105847805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610195778.1A CN105847805A (zh) 2016-03-30 2016-03-30 一种基于滑动窗口的码率控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610195778.1A CN105847805A (zh) 2016-03-30 2016-03-30 一种基于滑动窗口的码率控制方法和装置

Publications (1)

Publication Number Publication Date
CN105847805A true CN105847805A (zh) 2016-08-10

Family

ID=56597836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610195778.1A Pending CN105847805A (zh) 2016-03-30 2016-03-30 一种基于滑动窗口的码率控制方法和装置

Country Status (1)

Country Link
CN (1) CN105847805A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659819A (zh) * 2017-10-30 2018-02-02 网宿科技股份有限公司 一种视频转码的方法和装置
CN110636330A (zh) * 2019-09-20 2019-12-31 深圳市梦网百科信息技术有限公司 基于压缩信息的片源场景复杂度分析方法和系统
CN111193926A (zh) * 2018-11-14 2020-05-22 腾讯科技(深圳)有限公司 编码数据处理方法、装置、计算机设备和存储介质
CN111385574A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 视频编码中的码率控制方法、装置、移动终端及存储介质
US11178401B2 (en) 2019-05-24 2021-11-16 Axis Ab Method and bitrate controller for controlling output bitrate of a video encoder
CN114786012A (zh) * 2022-06-16 2022-07-22 深圳比特微电子科技有限公司 一种码率控制方法、装置和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1842154A (zh) * 2005-03-28 2006-10-04 株式会社卡西欧日立移动通信 图像处理装置
CN101252693A (zh) * 2008-03-24 2008-08-27 北京邮电大学 基于图像直方图的码率控制方法
US20150288965A1 (en) * 2014-04-08 2015-10-08 Microsoft Corporation Adaptive quantization for video rate control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1842154A (zh) * 2005-03-28 2006-10-04 株式会社卡西欧日立移动通信 图像处理装置
CN101252693A (zh) * 2008-03-24 2008-08-27 北京邮电大学 基于图像直方图的码率控制方法
US20150288965A1 (en) * 2014-04-08 2015-10-08 Microsoft Corporation Adaptive quantization for video rate control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LONG XU,ETAL: "Window-Level Rate Control for Smooth Picture", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659819A (zh) * 2017-10-30 2018-02-02 网宿科技股份有限公司 一种视频转码的方法和装置
CN107659819B (zh) * 2017-10-30 2019-10-25 网宿科技股份有限公司 一种视频转码的方法和装置
CN111193926A (zh) * 2018-11-14 2020-05-22 腾讯科技(深圳)有限公司 编码数据处理方法、装置、计算机设备和存储介质
CN111193926B (zh) * 2018-11-14 2022-10-25 腾讯科技(深圳)有限公司 编码数据处理方法、装置、计算机设备和存储介质
CN111385574A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 视频编码中的码率控制方法、装置、移动终端及存储介质
US11178401B2 (en) 2019-05-24 2021-11-16 Axis Ab Method and bitrate controller for controlling output bitrate of a video encoder
CN110636330A (zh) * 2019-09-20 2019-12-31 深圳市梦网百科信息技术有限公司 基于压缩信息的片源场景复杂度分析方法和系统
CN110636330B (zh) * 2019-09-20 2021-10-26 深圳市梦网视讯有限公司 基于压缩信息的片源场景复杂度分析方法和系统
CN114786012A (zh) * 2022-06-16 2022-07-22 深圳比特微电子科技有限公司 一种码率控制方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
CN105847805A (zh) 一种基于滑动窗口的码率控制方法和装置
JP3166716B2 (ja) フェード画像対応動画像符号化装置及び符号化方法
EP1995967A1 (en) Method and apparatus for realizing adaptive quantization in encoding process
CN113766226A (zh) 图像编码方法、装置、设备及存储介质
CN101159871B (zh) 宏块组级视频码率控制方法
CN1910934A (zh) 自适应速率控制编码器
CN109413427A (zh) 一种视频帧编码方法及终端
CN109698957B (zh) 图像编码方法、装置、计算设备及存储介质
CN106303530A (zh) 一种融合视觉感知特性的码率控制方法
US7844112B2 (en) Device and method for enhancing image contrast
CN101188755A (zh) 一种对实时视频信号在avs编码过程中vbr码率控制的方法
CN114466189B (zh) 码率控制方法、电子设备及存储介质
CN105898306A (zh) 用于运动视频的码率控制方法及装置
CN111614909A (zh) 一种自动曝光控制方法、设备及存储介质
CN114827662A (zh) 视频分辨率自适应调节方法、装置、设备和存储介质
WO2022228375A1 (zh) 视频编码方法、装置和电子设备
CN101217615B (zh) 一种压缩图像比特率控制的方法及装置
TWI390960B (zh) 影像處理裝置與影像處理方法
Guo et al. Rate control for screen content coding based on picture classification
Park et al. EVSO: Environment-aware video streaming optimization of power consumption
US20050140781A1 (en) Video coding method and apparatus thereof
CN101527846B (zh) 一种基于马太效应的h.264可变码率控制方法
CN112967688A (zh) 一种提升多分区背光系统液晶电视对比度的方法及装置
CN105872538A (zh) 时域滤波方法和时域滤波装置
JP2004015340A (ja) 動画像符号化のための量子化制御方式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160810