CN110830801A - 视频编码速率控制方法以及相关装置 - Google Patents

视频编码速率控制方法以及相关装置 Download PDF

Info

Publication number
CN110830801A
CN110830801A CN201810925765.4A CN201810925765A CN110830801A CN 110830801 A CN110830801 A CN 110830801A CN 201810925765 A CN201810925765 A CN 201810925765A CN 110830801 A CN110830801 A CN 110830801A
Authority
CN
China
Prior art keywords
region
roi
rate ratio
nroi
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810925765.4A
Other languages
English (en)
Other versions
CN110830801B (zh
Inventor
张立斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810925765.4A priority Critical patent/CN110830801B/zh
Publication of CN110830801A publication Critical patent/CN110830801A/zh
Application granted granted Critical
Publication of CN110830801B publication Critical patent/CN110830801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了视频编码速率控制方法以及相关装置,该方法包括:确定视频编码中的待编码图像,待编码图像包括多个区域,每个区域分别有初始编码速率和初始量化参数;确定区域的第一速率比值,区域的第一速率比值表示区域的目标编码速率与区域的初始编码速率之间的比值;根据区域的编码质量影响因子调整区域的第一速率比值,得到区域的第二速率比值;根据区域的第二速率比值,得到区域针对初始量化参数的调整值;根据区域的初始量化参数以及调整值进行视频编码速率控制。实施本发明实施例有利于在存在多种编码质量影响因子的情况下也能获得视频图像较佳的QP调整值,从而达到更好的编码效果。

Description

视频编码速率控制方法以及相关装置
技术领域
本发明涉及视频编码技术领域,尤其涉及视频编码速率控制方法以及相关装置。
背景技术
编码速率控制是视频编码中一个重要的控制手段,其决定了视频图像的各区域分别分配多少编码比特。编码速率控制的目的是在满足带宽约束条件下,尽量提高视频图像的编码质量,同时将编码速率较好地控制在目标编码速率附近。在同一视频图像中,一个区域分配的编码比特越多,则该区域的编码质量越高,否则,一个区域分配的编码比特越少,则该区域的编码质量越低。量化参数(Quantization Parameter,QP)值是视频编码中用于控制各区域的编码比特的重要参数,QP值表示量化精度和量化步长,QP值越大说明量化精度越低以及量化步长越大,那么相应分配的编码比特就越少。否则,QP值越小说明量化精度越高以及量化步长越小,那么相应分配的编码比特就越多。所以,如何确定当前编码的视频图像的各区域的QP值是视频编码速率控制的一个关键问题。
由于视频图像的不同区域对编码质量的需求不同,有些业务敏感区域需采用高质量的量化方式(即QP值高),而有些非业务敏感区域可接受低质量的量化方式(即QP值低),那么可以在不影响整体业务的前提下,根据业务需求对不同区域的QP值进行调整,以期降低视频图像的整体编码比特和节省存储和传输带宽。
现有技术中,编码器内部通常会计算当前视频图像各区域的基本QP值,实现业务与编码质量的基本匹配。在视频编码标准H.264和H.265中,QP值为整数且其所处区间皆为0~51。而为了方便业务层根据不同区域的编码质量需求对基本QP值进行调整,编码器会开放QP控制权限,即可以指定具体的一个区域的QP值相对基本QP值调整多少。例如,相对基本QP值调整-1,则表示该区域的编码质量增强。
当视频图像中有多种编码质量影响因子(如纹理参数、亮度参数等),且这些编码质量影响因子对具体区域的编码质量有不同的需求时,这些编码质量影响因子可分别直接影响了QP的调整。然而,由于不同的编码质量影响因子对QP调整的幅值和效果不一样,如果这些编码质量影响因子都直接调整QP,那么就会导致QP调整混乱,难以达到较好的编码效果。
发明内容
本发明实施例提供了视频编码速率控制方法以及相关装置,有利于在存在多种编码质量影响因子的情况下也能获得视频图像较佳的QP调整值,从而达到更好的编码效果。
第一方面,本发明实施例提供了一种视频编码速率控制方法,该包括:确定视频编码中的待编码图像,所述待编码图像包括多个区域,每个所述区域分别有对应的初始编码速率和初始量化参数;确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值;根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;根据所述区域的所述初始量化参数以及所述调整值进行视频编码速率控制。
可以看到,视频图像中存在多种编码质量影响因子(例如纹理信息、占比信息、亮度信息等)的情况下,本发明实施例通过将各种编码质量影响因子直接对各个区域的目标编码速率与该区域当前初始编码速率的之间的速率比值造成影响,然后利用经过影响后的速率比值得到该区域相对于初始QP的QP调整值。也就是说,将对QP的调整变换到速率比值域进行调整。由于各种编码质量影响因子对速率比值影响的幅度和效果不一样,相当于各种编码质量影响因子基于速率比值实现了影响的归一化和统一,这样得到的QP调整值更加合理有效,有利于实现更好的编码效果。
基于第一方面,区域的编码质量影响因子表示区域中基于视频业务的需要而对该区域的编码质量有影响的因素。在可能的实施例中,所述区域的编码质量影响因子包括所述区域的占比信息、所述区域的纹理信息、所述区域的亮度信息、所述区域的初始编码速率中的两个或两个以上,其中,所述区域的占比信息表示所述区域大小占据所述待编码图像大小的比例;所述区域的纹理信息表示所述区域的图像特征的纹理复杂度值;所述区域的亮度信息表示所述区域的图像特征的亮度值。
例如,可能应用场景中,一些区域的第一速率比值主要受该区域的纹理信息和占比信息的影响,一些区域的第一速率比值主要受该区域的纹理信息、亮度信息、初始编码速率值的影响,一些区域的第一速率比值可能同时受纹理信息、占比信息、亮度信息、初始编码速率值等编码质量影响因子的影响,等等。
基于第一方面,在可能的实施例中,所述待编码图像的多个区域包括感兴趣区域ROI;感兴趣区域(region of interest,ROI)又可称为业务感兴趣区域,表示根据业务的需求而在所述待编码图像中需要重点关注的区域。所以,编码时,ROI可采用低的QP,以保证ROI位置的信息能够获得较好的编码质量,满足业务需求。
通常来讲,ROI可以是待编码图像中的部分图像,但是,在可能的应用场景中,整个待编码图像也可能都属于ROI。具体实现中,可基于视频应用的业务需要对待编码图像以矩形方框、圆、椭圆、不规则多边形等方式勾勒出所述ROI,ROI包括多个宏块。ROI可能为所述待编码图像中的连续区域,ROI也可能为所述待编码图像中的离散区域集合。
在不同的业务场景,ROI针对的对象也有所不同。比如,视频监控场景,ROI可能针对视频图像中的运动对象(如人和/或车);在电话会议场景,ROI可能针对视频图像中的静止对象(如会议文字);在企业通信场景,ROI可能针对视频图像中的人脸和/或企业logo,等等。
在可能实施例中,所述ROI的编码质量影响因子包括所述ROI的占比信息和所述ROI的纹理信息,其中,所述ROI的占比信息表示所述ROI占据所述待处理图像的比例,所述ROI的纹理信息表示所述ROI的图像特征的纹理复杂度值;
具体的,所述根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值,包括:根据所述ROI的占比信息调整所述ROI的第一速率比值,得到所述ROI的第三速率比值;根据所述ROI的纹理信息调整所述ROI的第三速率比值,得到所述ROI的第二速率比值。
举例来说,可设置ROI的速率比值的最大值K2为2.0、最小值K1为和1.1。然后,计算ROI的占比信息,即计算当前ROI的图像在整个视频图像中的占比P。在如下公式所示曲线中,如果ROI的占比越多,则越要降低ROI的第一速率比值,以避免带宽溢出过多。公式如下:
Figure BDA0001763517280000031
其中,ROI_ratio3表示ROI的第三速率比值;P表示ROI的图像在整个视频图像中的占比;P1、P2为常数,例如P1可设置为0.05,P2可设置为0.3。
也就是说,可以根据ROI的占比信息,将ROI的第一速率比值ROI_ratio1变换为基于上述公式所得到的第三速率比值ROI_ratio3。
然后,可将该ROI的纹理复杂度值归一化到一个具体区间,如区间[1,1.2],纹理复杂度值越大,则速率比值越大,以尽量保证对图像纹理的编码质量。如考虑到ROI的第三速率比值是个大于1的数,可设置如下的速率比值调整公式:
ROI_ratio2=(ROI_ratio3)complex_of_ROI
其中,ROI_ratio2表示ROI的第二速率比值;ROI_ratio3表示ROI的第三速率比值;complex_of_ROI表示ROI的纹理复杂度值归一化到具体区间后的值,比如complex_of_ROI为1.1。
可以看到,通过上述步骤203和步骤204,可根据ROI的占比信息和纹理信息分别对ROI的初始速率比值(即第一速率比值)进行调整,从而得到调整后的速率比值(即第二速率比值)。
又举例来说,可设置ROI的速率比值的最大值K2为2.0、最小值K1为和1.1。然后,计算当前ROI的图像在整个视频图像中的占比P。在如下公式所示曲线中,如果ROI的占比越多,则越要升高ROI的第一速率比值,以尽可能多地保证ROI位置的编码质量。公式如下:
Figure BDA0001763517280000032
其中,ROI_ratio3表示ROI的第三速率比值;P表示ROI的图像在整个视频图像中的占比;P1、P2为常数,例如P1可设置为0.05,P2可设置为0.3。
也就是说,可以根据ROI的占比信息,将ROI的第一速率比值ROI_ratio1变换为基于上述公式所得到的第三速率比值ROI_ratio3。
同理然后,可将该ROI的纹理复杂度值归一化到一个具体区间,如区间[1,1.2],纹理复杂度值越大,则速率比值越大,以尽量保证对图像纹理的编码质量。如考虑到ROI的第三速率比值是个大于1的数,可设置如下的速率比值调整公式:
ROI_ratio2=(ROI_ratio3)complex_of_ROI
其中,ROI_ratio2表示ROI的第二速率比值;ROI_ratio3表示ROI的第三速率比值;complex_of_ROI表示ROI的纹理复杂度值归一化到具体区间后的值,比如complex_of_ROI为1.1。
基于第一方面,在可能的实施例中,所述待编码图像的ROI进一步包括多个业务对象的ROI;举例来说,在一种视频监控场景中的当前待编码图像包括ROI,且ROI又进一步分类为用于跟踪行人的ROI(可称为第一ROI)和用于跟踪行驶车辆的ROI(可称为第二ROI)。可以理解的,可能实例中,该当前待编码图像中包括NROI,且NROI可为待编码图像中除业务对象(行驶车辆、行人)的ROI之外的背景图像。
对于不同业务对象的ROI,基于实际应用需要,其对编码质量的要求也有所区别,例如用于跟踪行驶车辆的ROI可能要更关注于行人的面部特征、穿着特征等细节特征,用于跟踪行驶车辆的ROI可能主要关注车辆的型号、大小、颜色等宏观特征。所以用于跟踪行驶车辆的ROI可能会需要比用于跟踪行驶车辆的ROI更好的编码质量,即可采用更高的QP。
在可能的实施例中,每个业务对象的ROI的编码质量影响因子包括所述业务对象的ROI的占比信息和所述业务对象的ROI的纹理信息,其中,所述业务对象的ROI的占比信息表示所述业务对象的ROI占据所述待处理图像的比例,所述业务对象的ROI的纹理信息表示所述业务对象的ROI的图像特征的纹理复杂度值;
具体的,所述根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值,可包括:根据所述业务对象的ROI的占比信息调整所述业务对象的ROI的第一速率比值ROI_ratio1,得到所述业务对象的ROI的第三速率比值ROI_ratio3;根据所述业务对象的ROI的纹理信息调整所述业务对象的ROI的第三速率比值ROI_ratio3,得到所述业务对象的ROI的第二速率比值ROI_ratio2。
基于第一方面,在可能的实施例中,所述待编码图像的多个区域还包括业务不感兴趣区域NROI,不感兴趣区域(non-ROI,NROI)又可称为业务不感兴趣区域,与NOI相反,NROI表示根据业务的需求而在所述待编码图像中不太需要关注的区域。所以,编码时,NROI可采用高的QP,以让NROI位置的信息能够获得相对不太好的编码质量,降低编码比特。
可以理解的是,待编码图像中可以同时包括ROI和NROI,ROI和NROI分别占据待编码图像的不同区域。也就是说,还可将待编码图像中除ROI之外的背景图像视为NROI。
可能实施例中,所述NROI的编码质量影响因子包括所述NROI的初始编码速率、所述NROI的纹理信息和所述NROI的亮度信息,其中,所述NROI的纹理信息表示所述NROI的图像特征的纹理复杂度值,所述NROI的亮度信息表示所述NROI的图像特征的亮度值;
具体的,所述根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;包括:
根据所述NROI的初始编码速率调整所述NROI的第一速率比值,得到所述NROI的第三速率比值;根据所述NROI的纹理信息调整所述NROI的第三速率比值,得到所述NROI的第四速率比值;根据所述NROI的亮度信息调整所述NROI的第四速率比值,得到所述NROI的第二速率比值。
举例来说,可设置NROI的初始编码速率R与NROI的第三速率比值NROI_ratio3之间的对应关系,NROI的初始编码速率越大,则NROI的速率比值越低,即NROI编码质量调整幅度越大,相对编码质量下降越多。也就是说,可以根据NROI的初始编码速率,将NROI的第一速率比值NROI_ratio1变换为基于上述对应关系所得到的第三速率比值NROI_ratio3。
然后,可将该NROI的纹理复杂度值归一化到一个具体区间,如区间[1,1.2],纹理复杂度值越大,则速率比值越大,以保证对图像纹理的编码质量。如考虑到NROI的第三速率比值是个小于1的数,可设置如下的速率比值调整公式:
NROI_ratio4=(NROI_ratio3)1/complex-of_NROI
其中,NROI_ratio4表示NROI的第四速率比值;NROI_ratio3表示NROI的第三速率比值;complex_of_NROI表示NROI的纹理复杂度值归一化到具体区间后的值,比如complex_of_NROI可为1.1。
最后,可将该NROI的亮度值归一化到一个具体区间,如区间[1,2],亮度值越大,则速率比值越大,以保证对图像亮度(图像画面的光照程度)的编码质量。如考虑到NROI的第四速率比值是个小于1的数,可进一步设置如下的速率比值调整公式:
NROI_ratio2=(NROI_ratio4)1/light_of_NROI
其中,NROI_ratio2表示NROI的第二速率比值;NROI_ratio4表示NROI的第四速率比值;light_of_NROI表示NROI的亮度值归一化到具体区间后的值,比如complex_of_NROI可为1.3。
基于第一方面,在可能的实施例中,所述根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,包括:
通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,所述调整值由以下关系式表征:
QP_delta=c1*β*ln(ratio)+Ψ
其中,QP_delta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数,或者,Ψ为0。
基于第一方面,在可能的实施例中,所述根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,包括:
通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,所述调整值由以下关系式表征:
QP_delta=c1*β*ln(ratio)*Ψ
其中,QP_delta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数。
第二方面,本发明实施例提供了一种设备,该设备包括:图像分析模块,用于确定视频编码中的待编码图像,所述待编码图像包括多个区域,每个所述区域分别有对应的初始编码速率和初始量化参数;速率比值设置模块,用于确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值;速率比值调整模块,用于根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;量化参数调整模块,用于根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;编码速率控制模块,用于根据所述区域的所述初始量化参数以及所述调整值进行视频编码速率控制。
需要说明的是,上述各个功能模块在具体实施例中可用于实现上述第一方面描述的方法,这里不再赘述。
第三方面,本发明实施例提供了又一种设备,所述设备包括处理器以及与所述处理器耦合的存储器,其中,所述存储器用于存储视频图像数据和控制指令;所述处理器用于调用所述所述存储器存储的视频图像数据和控制指令,以执行以下步骤:确定视频编码中的待编码图像,所述待编码图像包括多个区域,每个所述区域分别有对应的初始编码速率和初始量化参数;确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值;根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;根据所述区域的所述初始量化参数以及所述调整值进行视频编码速率控制。
需要说明的是,上述处理器在具体实施例中可用于执行上述第一方面描述的方法,这里不再赘述。
第四方面,本发明实施例提供了又一种非易失性计算机可读存储介质;所述计算机可读存储介质用于存储第一方面所述方法的实现代码。所述程序代码被计算设备执行时,所述用户设备用于第一方面所述方法。
第五方面,本发明实施例提供了一种计算机程序产品;该计算机程序产品包括程序指令,当该计算机程序产品被计算设备执行时,该控制器执行前述第一方面所述方法。该计算机程序产品可以为一个软件安装包,在需要使用前述第一方面的任一种可能的设计提供的方法的情况下,可以下载该计算机程序产品并在控制器上执行该计算机程序产品,以实现第一方面所述方法。
可以看到,视频图像中存在多种编码质量影响因子(例如纹理信息、占比信息、亮度信息等)的情况下,本发明实施例通过将各种编码质量影响因子直接对各个区域的目标编码速率与该区域当前初始编码速率的之间的速率比值造成影响,然后利用经过影响后的速率比值得到该区域相对于初始QP的QP调整值。也就是说,将对QP的调整变换到速率比值域进行调整。由于各种编码质量影响因子对速率比值影响的幅度和效果不一样,相当于各种编码质量影响因子基于速率比值实现了影响的归一化和统一,这样得到的QP调整值更加合理有效,有利于实现更好的编码效果。另外,由于QP调整是通过速率比值的调整而实现,所以还有利于通过约束速率比值的极值来避免带宽收益不可控的情况,使得速率控制更加平稳、编码质量更加平滑。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1是本发明实施例提供的一种视频编解码系统10的示意性框图;
图2是本发明实施例提供的一种视频编码器20的示意性框图;
图3是本发明实施例提供的一种视频编码器20和设备30的示意性框图;
图4是本发明实施例提供的一种视频编码速率控制的方法流程图;
图5是本发明实施例提供的又一种视频编码速率控制的方法流程图;
图6是本发明实施例提供的一种ROI速率比值曲线示意图;
图7是本发明实施例提供的又一种ROI速率比值曲线示意图
图8是本发明实施例提供的又一种视频编码速率控制的方法流程图;
图9是本发明实施例提供的又一种视频编码速率控制的方法流程图;
图10是本发明实施例提供的一种存在多个目标对象的ROI的待编码图像示意图;
图11是本发明实施例提供的一种设备的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。
首先介绍本发明实施例所应用的系统框架,首先参见图1,图1是本发明实施例提供的一种视频编解码系统10的示意性框图。如图1所示,视频编解码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此,源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此,目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。源装置12及目的地装置14可包括广泛范围的装置,包含台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或其类似者。
目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中,信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中,源装置12可根据通信标准(例如,无线通信协议)来调制编码后的视频数据,且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体,例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如,局域网、广域网或全球网络(例如,因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站,或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中,信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中,目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体,例如蓝光光盘、DVD、CD-ROM、快闪存储器,或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中,信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中,目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含web服务器(例如,用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置,及本地磁盘驱动器。
目的地装置14可经由标准数据连接(例如,因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器等),或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用场景,示例性的,可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码:空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如,经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码,或其它应用。在一些实例中,视频编解码系统10可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图1的实例中,源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中,输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如,视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口,及/或用于产生视频数据的计算机图形系统,或上述视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据,具体的,视频编码器20中设置有预测模块、变换模块、量化模块和熵编码模块等等。在一些实例中,源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。
在图1的实例中,目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中,输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。视频解码器30用于解码输入接口28所接收的码流(视频数据),具体的,视频解码器30中设置有熵解码模块、反量化模块、反变换模块和预测补偿模块等等。显示装置32可与目的地装置14整合或可在目的地装置14外部。一般来说,显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
下面介绍本发明实施例涉及的视频编码器20。
参见图2,在图2的实例中,视频编码器20包括了预测处理单元108、求和器112、变换器101、量化器102和熵编码器103。其中预测处理单元108可包括帧间预测器110和帧内预测器109。
在视频编码器20的内部解码环路中,预测处理单元108可选择用于当前图像块的帧内预测器109或帧间预测器110对输入的视频图像序列中的当前待编码图像进行图像译码,经由帧内预测、帧间预测的方式确定当前待编码图像(或当前待编码图像块)的预测图像(或预测图像块)。求和器112用于使用当前待编码图像减去所述预测图像来形成残差图像(或残差图像块)。所述残差图像被应用到变换器101,变换器101使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变换成残差变换系数。变换器101可将残差视频数据从像素值域转换到变换域,例如频域。变换器101可将所得变换系数发送到量化器102。量化器102可用于根据量化参数来量化所述变换系数,以保证编码质量以及减小编码速率。在一些实例中,量化器102可接着执行对包含经量化的变换系数的矩阵的扫描。或者,熵编码器103可执行扫描。在量化之后,熵编码器103对经量化变换系数进行熵编码。举例来说,熵编码器103可执行上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、基于语法的上下文自适应二进制算术编码(SBAC)、概率区间分割熵(PIPE)编码或另一熵编码方法或技术。另外,预测处理单元108还可将帧内或帧间的预测信息(例如用于指示当前图像的所选帧内或帧间预测模式的信息、用于指示运动矢量的标识等等)提供到熵编码器103,以便熵编码器103对相关预测信息进行熵编码。熵编码器103完成上述熵编码之后,可将经编码位流发射到视频解码器30。
在视频编码器20的内部解码环路中,为了实现图像重构,视频编码器20还包含反量化器104、反变换器105、求和器111、滤波器单元106、经解码图像存储器(DPB)107。在一种示例下,视频编码器20还可以包括视频数据存储器(图中未示出),视频数据存储器可存储待由视频编码器20的组件编码的视频数据,例如可将从视频源18获得地视频图像序列数据存储在视频数据存储器中。反量化器104和反变化器105分别应用逆量化和逆变换以在像素域中重构所述残差图像(或残差图像块),例如以供稍后用作参考图像的参考块。求和器111将经重构的残差图像(或残差图像块)添加到由帧间预测器110或帧内预测器109产生的预测图像(或预测图像块),以产生重构图像(或重构图像块)。滤波器单元106可以适用于重构图像以减小失真,诸如减少方块效应(block artifacts)。然后,该重构图像(或重构图像块)作为参考图像(或参考块)存储在经解码图像存储器107中,可由帧间预测器110用作参考图像(或参考块)以对后续视频帧或图像进行帧间预测。
应当理解的是,上述视频编码器20还可进行适当的结构变化来编码视频流。例如,对于某些图像块或者视频图像帧,视频编码器20可以直接地量化残差信号而不需要经变换器101处理,相应地也不需要经反变换器105处理;或者,视频编码器20可以将重构图像块作为参考块直接地进行存储而不需要经滤波器单元106处理;或者,视频编码器20中量化器102和反量化器104可以合并部署在一起,等等。
本发明实施例的示例中,视频编码器20还包括图像分析模块113、速率比值设置模块114、速率比值调整模块115、量化参数调整模块116和编码速率控制模块117。其中,图像分析模块113可用于分析视频图像序列的当前待编码图像,确定待编码图像中基于业务需求而划分出成的多个区域,获取每个所述区域分别对应的初始编码速率和初始量化参数值(或称初始QP值);图像分析模块113还可用于确定各个区域的目标编码速率,例如根据视频应用的需求或根据网络带宽的要求确定各个区域的目标编码速率。速率比值设置模块114用于确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值。速率比值调整模块115用于根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值,所述区域的编码质量影响因子表示编码中能够对区域的编码质量造成影响的因素,例如区域的编码质量影响因子包括所述区域的占比信息、所述区域的纹理信息、所述区域的亮度信息、所述区域的初始编码速率中的两个或两个以上。量化参数调整模块116用于根据所述区域的第二速率比值,得到所述区域针对所述初始QP值的调整值(或称QP调整值)。编码速率控制模块117可用于在量化期间将QP调整值应用于量化器102,以使得量化器102根据所述区域的QP调整值结合所述初始QP值进行视频编码比特分配。
需要说明的是,本发明又一种可能实现方式中,上述图像分析模块113、速率比值设置模块114、速率比值调整模块115、量化参数调整模块116和编码速率控制模块117也可以作为一个整体的软件模块或硬件部件独立部署在视频编码器20以外的地方,该软件模块或硬件部件可通过视频编码器20的开放接口与视频编码器20进行通信连接,进而实现相关的功能。
参见图3,图3示出了又一种视频编码器20以及设备30的结构示意图,和图2实施例的区别在于,该视频编码器20内部不配置图像分析模块113、速率比值设置模块114、速率比值调整模块115、量化参数调整模块116和编码速率控制模块117。所述图像分析模块113、速率比值设置模块114、速率比值调整模块115、量化参数调整模块116和编码速率控制模块117配置在设备30中,其中,设备30可以是软件模块也可以是硬件部件,设备30独立部署在视频编码器20以外的地方,并通过视频编码器20的开放接口与视频编码器20进行通信连接。
具体的,视频编码器20执行对视频图像序列进行编码操作时,在设备30中,图像分析模块113可用于分析从视频编码器20或从视频源18传输过来的视频图像序列的当前待编码图像,确定待编码图像中基于业务需求而划分出成的多个区域,获取每个所述区域分别对应的初始编码速率和初始量化参数值(或称初始QP值);图像分析模块113还可用于确定各个区域的目标编码速率,例如根据视频应用的需求或根据网络带宽的要求确定各个区域的目标编码速率。速率比值设置模块114用于确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值。速率比值调整模块115用于根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值,所述区域的编码质量影响因子表示编码中能够对区域的编码质量造成影响的因素,例如区域的编码质量影响因子包括所述区域的占比信息、所述区域的纹理信息、所述区域的亮度信息、所述区域的初始编码速率中的两个或两个以上。量化参数调整模块116用于根据所述区域的第二速率比值,得到所述区域针对所述初始QP值的调整值(或称QP调整值)。编码速率控制模块117可用于在视频编码器20对当前待编码图像进行量化处理期间将各区域的QP调整值(或者将QP调整值以及初始QP值)传输到视频编码器20的量化器102,以使得视频编码器20的量化器102根据所述区域的QP调整值结合区域的初始QP值进行视频编码比特分配。
基于上述系统框架,下面描述本发明实施例提供的一种视频编码速率控制方法,参见图4,该方法包括但不限于以下步骤:
步骤101、确定视频编码中的待编码图像,所述待编码图像包括多个区域,所述多个区域中的各个区域分别具有相应的初始量化参数和初始编码速率。
所述待编码图像即为视频编码针对的视频图像序列中当前需要进行编码的视频图像。可将待编码图像划分为多个区域,所述多个区域可以是大小不同的区域,也可以是大小相同的区域。每个区域可包括一个或多个宏块。
本发明实施例中,所述多个区域中的各个区域可分别预先设置相应的量化参数值(可称为初始QP值)和编码速率值(可称为初始编码速率值),各个区域的初始QP值和初始编码速率值可由视频编码器芯片预先计算而得到。例如,待编码图像中不同的区域对业务有不同的重要性。根据不同的区域对业务的不同重要性,不同的区域可采用不同的量化方式,比如业务敏感区域采用高编码质量的量化方式,该区域可具有低的初始QP值、高的初始编码速率值;非业务敏感区域采用低编码质量的量化方式,该区域可具有高的初始QP值、低的初始编码速率值,以便于在不影响整体业务的前提下降低待编码图像整体的编码比特数,节省存储和传输带宽。
步骤102、确定所述各个区域的第一速率比值,所述各个区域的第一速率比值表示所述目标编码速率与所述各个区域的初始编码速率之间的比值。
可能实施例中,待编码图像的各个区域的目标编码速率值可由视频应用给定。例如,视频应用根据自身需要向视频编码器确定待编码图像整体的目标编码速率,视频编码器进而根据待编码图像整体的目标编码速率确定各个区域的目标编码速率。
可能实施例中,待编码图像的各个区域的目标编码速率值可由视频编码器根据当前带宽占用情况而给定,例如,视频编码器根据当前带宽占用情况确定待编码图像整体的目标编码速率,进而根据待编码图像整体的目标编码速率确定各个区域的目标编码速率。
其中,不同区域的目标编码速率可能是相同的,也可能是不同的。
举例来说,在一可能实施例中,对于待编码图像中的任意一个区域,可根据该区域的目标编码速率值除以该区域的初始编码速率值,得到该区域的初始速率比值(也可称为第一速率比值)。具体的,该第一速率比值可用ratio表示,该区域相应的初始编码速率值可用Rcurrent表示,该区域相应的目标编码速率值可用Rtarget表示,那么,该区域的第一速率比值可表示为:
ratio=Rtarget/Rcurrent
又举例来说,在又一可能实施例中,,对于待编码图像中的任意一个区域,可根据该区域的初始编码速率值除以该区域的目标编码速率值,得到该区域的初始速率比值(也可称为第一速率比值)。具体的,该第一速率比值可用ratio表示,该区域相应的初始编码速率值可用Rcurrent表示,该区域相应的目标编码速率值可用Rtarget表示,那么,该区域的第一速率比值可表示为:
ratio=Rcurrent/Rtarget
步骤103、利用所述各个区域的编码质量影响因子调整所述各个区域的第一速率比值,得到所述各个区域的第二速率比值。
本发明实施例中,区域的编码质量影响因子表示区域中基于视频业务的需要而对该区域的编码质量有影响的因素。具体的,各个区域的编码质量影响因子可包括各个区域的占比信息、纹理信息、亮度信息、初始编码速率中的至少两个。其中:
区域的占比信息表示该区域的大小占据待编码图像大小的比例。可以理解的,区域占据待编码图像的比例越多,则表示画面细节越多,编码比特消耗越多,则这种情况下需要相对低的QP值来保证编码质量。反之,区域占据待编码图像的比例越少,则表示画面细节越少,编码比特消耗越少,则这种情况下需要相对高的QP值来保证编码质量。
区域的纹理信息表示该区域的图像特征的纹理复杂度值。可以理解的,图像特征的纹理越多,则表示该区域的图像画面越复杂,则编码比特消耗越多,则这种情况下需要相对低的QP值来保证编码质量。反之,图像特征的纹理越少,则表示该区域的图像画面越简单,则编码比特消耗越少,则这种情况下需要相对高的QP值来保证编码质量。
区域的亮度信息表示该区域的图像特征的亮度值。可以理解的,亮度越高,则图像画面细节越多,编码比特消耗越多,则这种情况下需要相对低的QP值来保证编码质量。反之,亮度越低,则图像画面细节越少,编码比特消耗越少,则这种情况下需要相对高的QP值来保证编码质量。
本发明实施例中,待编码图像的各个区域的第一速率比值直接受到该区域的纹理复杂度、图像占比、亮度、初始编码速率等编码质量影响因子中的一个或多个的影响,基于这些编码质量影响因子的影响对该区域的第一速率比值进行刷新,从而得到各个区域后的最终速率比值(可称为各个区域的第二速率比值)。
可能实施例中,待编码图像的不同区域的第一速率比值受到该区域的纹理信息、占比信息、亮度信息、初始编码速率等编码质量影响因子的影响程度可能是不同的,可以根据实际的业务需求来设计不同区域受到编码质量影响因子的不同影响程度。
例如,可能应用场景中,一些区域的第一速率比值主要受该区域的纹理信息和占比信息的影响,一些区域的第一速率比值主要受该区域的纹理信息、亮度信息、初始编码速率值的影响,一些区域的第一速率比值可能同时受纹理信息、占比信息、亮度信息、初始编码速率值等编码质量影响因子的影响,等等。
又例如,对于业务需求而言,有些区域的重要性低,有些区域的重要性高,那么,可适当降低重要性低的区域的编码质量影响因子对该区域的第一速率比值的影响程度(或者利用该编码质量影响因子对该区域的第一速率比值造成负影响),适当增加重要性高的区域的编码质量影响因子对该区域的第一速率比值的影响程度(或者利用该编码质量影响因子对该区域的第一速率比值造成正影响)。
可能实施例中,对于待编码图像的同一区域,该区域的第一速率比值分别受该区域的纹理信息、占比信息、亮度信息、初始编码速率值等编码质量影响因子的影响程度也可能是不同的,同样可以根据实际的业务需求来设计不同区域受到编码质量影响因子的不同影响程度。
例如,可能应用场景中,某区域的第一速率比值主要受该区域的纹理信息和占比信息,并且,该区域中,占比信息对第一速率比值的影响程度比纹理信息对第一速率比值的影响程度更大。
步骤104、根据所述各个区域的第二速率比值得到所述各个区域的初始QP值的调整值。
本发明具体实施例中,各个区域的初始QP值的调整值可以是各个区域对应的第二速率比值的函数,所以计算出第二速率比值的情况下,就能根据该函数得到各个区域的初始QP值的调整值。
具体实现中,可通过R-λ模型的编码速率控制算法(H.265标准速率控制算法模型)得到拉格朗日因子λ,再确定拉格朗日因子λ与量化参数QP的关系,利用λ与QP的关系结合各个区域的第二速率比值得到各个区域的初始QP值的调整值。一种具体实现过程描述如下:
(1)通过R-λ模型的编码速率控制算法确定拉格朗日因子λ:
λ=α*bppβ
其中,α和β的值分别为3.2003和-1.367,bpp表示用于编码每个像素的目标比特数。
(2)确定量化参数QP与拉格朗日因子λ的关系:
QP=c1*lnλ+c2
其中,C1和C2分别为4.2005和13.7122。
(3)利用λ与QP的关系结合各个区域的第二速率比值得到各个区域的初始QP值的调整值QPdelta
假设第二速率比值ratio定义为:ratio=Rtarget/Rcurrent,将该式子代入(2)中的关系式,则有:
QPtarget=c1*ln(α*Rtarget β)+c2
QPcurrent=c1*ln(α*Rcurrent β)+c2
所以:QPcurrent-QPtarget=c1*ln(a*Rcurrent β)-c1*ln(a*Rtarget β)
=c1*β*ln(Rtarqet/Rcurrent)
=c1*β*ln(ratio)
也就是说,初始QP值的调整值QPdelta与第二速率比值ratio的关系式可通过下式表示:
QPdelta=c1*β*ln(ratio)
在实际应用中,还可进一步将基于该式得到的QP调整值四含五入到整数,从而得到初始QP值的最终调整值。
需要说明的是,在具体应用场景中,还可以根据需要对上述QPdelta与ratio的关系式进行补偿。
举例来说,一种补偿后的关系式为:
QPdelta=c1*β*ln(ratio)+Ψ
其中,Ψ表示补偿因子,Ψ可以是一个常数,比如Ψ为0.5。Ψ也可以是基于某个或某些编码质量影响因子的一个函数,比如:Ψ=--0.2*纹理复杂度值。
又举例来说,又一种补偿后的关系式为:
QPdelta=c1*β*ln(ratio)*Ψ
同样,Ψ表示补偿因子,Ψ可以是一个非0常数,Ψ也可以是基于某个或某些编码质量影响因子的一个函数。
步骤105、利用所述各个区域的初始QP值以及所述调整值对所述各个区域的编码速率进行控制。
在确定后各个区域的初始QP值的调整值后,将所述调整值应用到所述各个区域的初始QP值中,从而获得各个区域最终的QP值。这样,就实现了利用各种编码质量影响因子间接对各个区域的初始QP值进行影响的目的。后续视频编码器将可以根据各个区域最终的QP值进行编码速率进行控制,调整各个区域最终的编码速率满足信道带宽以及解码端缓冲区大小的要求,获得良好的编码效果。
可以看到,视频图像中存在多种编码质量影响因子(例如纹理信息、占比信息、亮度信息等)的情况下,本发明实施例通过将各种编码质量影响因子直接对各个区域的目标编码速率与该区域当前初始编码速率的之间的速率比值造成影响,然后利用经过影响后的速率比值得到该区域相对于初始QP的QP调整值。也就是说,将对QP的调整变换到速率比值域进行调整。由于各种编码质量影响因子对速率比值影响的幅度和效果不一样,相当于各种编码质量影响因子基于速率比值实现了影响的归一化和统一,这样得到的QP调整值更加合理有效,有利于实现更好的编码效果。
另外,由于QP调整是通过速率比值的调整而实现,所以还有利于通过约束速率比值的极值来避免带宽收益不可控的情况,使得速率控制更加平稳、编码质量更加平滑。
基于上述系统框架,下面描述本发明实施例提供的又一种视频编码速率控制方法,参见图5,该方法包括但不限于以下步骤:
步骤201、确定待编码图像,所述待编码图像包括多个区域,所述多个区域包括感兴趣区域ROI。
感兴趣区域(region ofinterest,ROI)又可称为业务感兴趣区域,表示根据业务的需求而在所述待编码图像中需要重点关注的区域。所以,编码时,ROI可采用低的QP,以保证ROI位置的信息能够获得较好的编码质量,满足业务需求。
通常来讲,ROI可以是待编码图像中的部分图像,但是,在可能的应用场景中,整个待编码图像也可能都属于ROI。具体实现中,可基于视频应用的业务需要对待编码图像以矩形方框、圆、椭圆、不规则多边形等方式勾勒出所述ROI,ROI包括多个宏块。ROI可能为所述待编码图像中的连续区域,ROI也可能为所述待编码图像中的离散区域集合。
在不同的业务场景,ROI针对的对象也有所不同。比如,视频监控场景,ROI可能针对视频图像中的运动对象(如人和/或车);在电话会议场景,ROI可能针对视频图像中的静止对象(如会议文字);在企业通信场景,ROI可能针对视频图像中的人脸和/或企业logo,等等。
同样,本发明实施例中,ROI可预先设置相应的量化参数值(可称为初始QP值)和编码速率值(可称为初始编码速率值),具体实现中,ROI可配置相对低的初始QP值、相对高的初始编码速率值。ROI的初始QP值和初始编码速率值可由视频编码器芯片预先计算而得到。
步骤202、确定所述ROI的第一速率比值,ROI的第一速率比值ROI_ratio1表示ROI的目标编码速率与ROI的初始编码速率之间的比值。ROI的第一速率比值的具体实现可参考图4实施例步骤102的描述,这里不再赘述。
步骤203、根据所述ROI的占比信息调整所述ROI的第一速率比值,得到所述ROI的第三速率比值。
在一种示例中,ROI的编码质量影响因子可包括所述ROI的占比信息和所述ROI的纹理信息,其中,所述ROI的占比信息表示所述ROI占据所述待处理图像的比例,所述ROI的纹理信息表示所述ROI的图像特征的纹理复杂度值。本步骤中,可根据所述ROI的占比信息调整所述ROI的第一速率比值,得到经占比信息调整后的速率比值(可称为ROI的第三速率比值)。
举例来说,参见图6,图6示出了ROI的速率比值随ROI的占比而变化的一种曲线图。如图6所示,可设置ROI的速率比值的最大值K2为2.0、最小值K1为和1.1。然后,计算ROI的占比信息,即计算当前ROI的图像在整个视频图像中的占比P。在图6实例所示曲线中,如果ROI的占比越多,则越要降低ROI的第一速率比值,以避免带宽溢出过多。图6所示的曲线的公式如下:
Figure BDA0001763517280000141
其中,ROI_ratio3表示ROI的第三速率比值;P表示ROI的图像在整个视频图像中的占比;P1、P2为常数,例如P1可设置为0.05,P2可设置为0.3。
也就是说,可以根据ROI的占比信息,将ROI的第一速率比值ROI_ratio1变换为基于上述公式所得到的第三速率比值ROI_ratio3。
需要说明的是,上述图6实施例仅仅作为示例性解释而非限定。在不同的业务场景/任务模型中,还可以设置其他的方式来根据ROI的占比信息调整ROI的第一速率比值。
又举例来说,参见图7,图7示出了ROI的速率比值随ROI的占比而变化的又一种曲线图,在图7实施例中,ROI的占比对速率比值的影响与图6实施例完全相反。
具体的,如图7所示,可设置ROI的速率比值的最大值K2为2.0、最小值K1为和1.1。然后,计算当前ROI的图像在整个视频图像中的占比P。在图7实例所示曲线中,如果ROI的占比越多,则越要升高ROI的第一速率比值,以尽可能多地保证ROI位置的编码质量。图7所示的曲线的公式如下:
Figure BDA0001763517280000151
其中,ROI_ratio3表示ROI的第三速率比值;P表示ROI的图像在整个视频图像中的占比;P1、P2为常数,例如P1可设置为0.05,P2可设置为0.3。
也就是说,可以根据ROI的占比信息,将ROI的第一速率比值ROI_ratio1变换为基于上述公式所得到的第三速率比值ROI_ratio3。
步骤204、根据所述ROI的纹理信息调整所述ROI的第三速率比值,得到所述ROI的第二速率比值。
举例来说,可将该ROI的纹理复杂度值归一化到一个具体区间,如区间[1,1.2],纹理复杂度值越大,则速率比值越大,以尽量保证对图像纹理的编码质量。如考虑到ROI的第三速率比值是个大于1的数,可设置如下的速率比值调整公式:
ROI_ratio2=(ROI_ratio3)complex_of_ROI
其中,ROI_ratio2表示ROI的第二速率比值;ROI_ratio3表示ROI的第三速率比值;complex_of_ROI表示ROI的纹理复杂度值归一化到具体区间后的值,比如complex_of_ROI为1.1。
可以看到,通过上述步骤203和步骤204,可根据ROI的占比信息和纹理信息分别对ROI的初始速率比值(即第一速率比值)进行调整,从而得到调整后的速率比值(即第二速率比值)。
需要说明的是,虽然上述步骤203和步骤204只描述了纹理信息和占比信息这两种编码质量影响因子的影响,但在可能的实施例中,ROI的编码质量影响因子并不限于此,还可能包括其他编码质量影响因子,如亮度信息、初始编码速率或者其他信息等等。
步骤205、根据所述ROI的第二速率比值得到所述ROI的初始QP值的调整值。
同理,在得到ROI的第二速率比值后,就可以根据初始QP值的调整值QPdelta与第二速率比值的关系式得到ROI的初始QP值的调整值QPdelta,具体实现过程可参考图4实施例步骤104的描述,这里不再赘述。
步骤206、利用所述ROI的初始QP值以及调整值QPdelta对ROI的编码速率进行控制。
在确定ROI的初始QP值的调整值后,将所述调整值应用到所述ROI的初始QP值中,从而获得ROI最终的QP值。这样,就实现了利用各种编码质量影响因子间接对ROI的初始QP值进行影响的目的。后续视频编码器将可以根据ROI最终的QP值进行编码速率进行控制,调整ROI最终的编码速率满足信道带宽以及解码端缓冲区大小的要求,获得良好的编码效果。
可以看到,视频图像的ROI存在多种编码质量影响因子(例如纹理信息、占比信息等)的情况下,本发明实施例通过将各种编码质量影响因子直接对ROI的目标编码速率与该ROI当前初始编码速率的之间的速率比值造成影响,然后利用经过影响后的速率比值得到该ROI相对于初始QP的QP调整值。也就是说,将对QP的调整变换到速率比值域进行调整。由于各种编码质量影响因子对速率比值影响的幅度和效果不一样,相当于各种编码质量影响因子基于速率比值实现了影响的归一化和统一,这样得到的QP调整值更加合理有效,有利于实现更好的编码效果。
另外,由于QP调整是通过速率比值的调整而实现,速率比值是连续的实数,可调整范围更大,各种编码质量影响因子对速率比值的影响可以是连续的。另外,实施本发明实施例还有利于通过约束速率比值的极值来避免带宽收益不可控的情况,使得速率控制更加平稳、编码质量更加平滑。
基于上述系统框架,下面描述本发明实施例提供的又一种视频编码速率控制方法,参见图8,该方法包括但不限于以下步骤:
步骤301、确定待编码图像,所述待编码图像包括多个区域,所述多个区域包括不感兴趣区域NROI。
不感兴趣区域(non-ROI,NROI)又可称为业务不感兴趣区域,与NOI相反,NROI表示根据业务的需求而在所述待编码图像中不太需要关注的区域。所以,编码时,NROI可采用高的QP,以让NROI位置的信息能够获得相对不太好的编码质量,降低编码比特。
同样,NROI可以是待编码图像中的部分图像,但是,在可能的应用场景中,整个待编码图像也可能都属于NROI。具体实现中,也可对待编码图像以矩形方框、圆、椭圆、不规则多边形等方式勾勒出所述NROI,NROI包括多个宏块。NROI可能为所述待编码图像中的连续区域,NROI也可能为所述待编码图像中的离散区域集合。
可以理解的是,待编码图像中可以同时包括ROI和NROI,ROI和NROI分别占据待编码图像的不同区域。也就是说,还可将待编码图像中除ROI之外的背景图像视为NROI。
同样,本发明实施例中,NROI可预先设置相应的量化参数值(可称为初始QP值)和编码速率值(可称为初始编码速率值),具体实现中,NROI可配置相对高的初始QP值、相对低的初始编码速率值。NROI的初始QP值和初始编码速率值可由视频编码器芯片预先计算而得到。
步骤302、确定所述NROI的第一速率比值,NROI的第一速率比值NROI_ratio1表示NROI的目标编码速率与NROI的初始编码速率之间的比值。NROI的第一速率比值的具体实现可参考图4实施例步骤102的描述,这里不再赘述。
步骤303、根据所述NROI的初始编码速率调整所述NROI的第一速率比值,得到NROI的第三速率比值。
在一种示例中,所述NROI的编码质量影响因子包括所述NROI的初始编码速率、所述NROI的纹理信息和所述NROI的亮度信息,其中,所述NROI的纹理信息表示所述NROI的图像特征的纹理复杂度值,所述NROI的亮度信息表示所述NROI的图像特征的亮度值。本步骤中,可根据所述NROI的初始编码速率调整NROI的第一速率比值,得到经初始编码速率调整的速率比值(可称为NROI的第三速率比值)。
举例来说,参见表1,表1示出了NROI的初始编码速率R与NROI的第三速率比值NROI_ratio3之间的对应关系,其中,R1、R2皆为具体常数,R1>R2。如表1所示,NROI的初始编码速率越大,则NROI的速率比值越低,即NROI编码质量调整幅度越大,相对编码质量下降越多。
表1
NROI的初始编码速率R NROI的第三速率比值NROI_ratio3
R>R1 0.8
R2<R<R1 0.9
R<R2 1.0
也就是说,可以根据NROI的初始编码速率,将NROI的第一速率比值NROI_ratio1变换为基于上述对应关系所得到的第三速率比值NROI_ratio3。
需要说明的是,上述表1仅仅作为示例性解释而非限定,在不同的业务场景/任务模型中,还可以设置其他的方式来根据NROI的初始编码速率调整NROI的第一速率比值。
步骤304、根据所述NROI的纹理信息调整所述NROI的第三速率比值,得到NROI的第四速率比值。
举例来说,可将该NROI的纹理复杂度值归一化到一个具体区间,如区间[1,1.2],纹理复杂度值越大,则速率比值越大,以保证对图像纹理的编码质量。如考虑到NROI的第三速率比值是个小于1的数,可设置如下的速率比值调整公式:
NROI_ratio4=(NROI_ratio3)1/complex_of_NROI
其中,NROI_ratio4表示NROI的第四速率比值;NROI_ratio3表示NROI的第三速率比值;complex_of_NROI表示NROI的纹理复杂度值归一化到具体区间后的值,比如complex_of_NROI可为1.1。
步骤305、根据所述NROI的亮度信息调整所述NROI的第四速率比值,得到所述NROI的第二速率比值。
举例来说,可将该NROI的亮度值归一化到一个具体区间,如区间[1,2],亮度值越大,则速率比值越大,以保证对图像亮度(图像画面的光照程度)的编码质量。如考虑到NROI的第四速率比值是个小于1的数,可进一步设置如下的速率比值调整公式:
NROI_ratio2=(NROI_ratio4)1/light_of_NROI
其中,NROI_ratio2表示NROI的第二速率比值;NROI_ratio4表示NROI的第四速率比值;light_of_NROI表示NROI的亮度值归一化到具体区间后的值,比如complex_of_NROI可为1.3。
可以看到,通过上述步骤303-步骤305,可根据NROI的初始编码速率、纹理信息和亮度信息分别对NROI的初始速率比值(即第一速率比值)进行调整,从而得到调整后的速率比值(即第二速率比值)。
需要说明的是,虽然上述步骤303-步骤305只描述了初始编码速率、纹理信息和亮度信息这三种编码质量影响因子的影响,但在可能的实施例中,NROI的编码质量影响因子并不限于此,还可能包括其他编码质量影响因子,如NROI的占比信息或者其他信息等等。
步骤306、根据所述NROI的第二速率比值得到NROI的初始QP值的调整值。
同理,在得到NROI的第二速率比值后,就可以根据初始QP值的调整值QPdelta与第二速率比值的关系式得到NROI的初始QP值的调整值QPdelta,具体实现过程可参考图4实施例步骤104的描述,这里不再赘述。
步骤307、利用所述NROI的初始QP值以及调整值QPdelta对NROI的编码速率进行控制。
在确定NROI的初始QP值的调整值后,将所述调整值应用到所述NROI的初始QP值中,从而获得NROI最终的QP值。这样,就实现了利用各种编码质量影响因子间接对NROI的初始QP值进行影响的目的。后续视频编码器将可以根据NROI最终的QP值进行编码速率进行控制,调整NROI最终的编码速率满足信道带宽以及解码端缓冲区大小的要求,获得良好的编码效果。
可以看到,视频图像的NROI存在多种编码质量影响因子(例如初始编码速率、纹理信息和亮度信息等)的情况下,本发明实施例通过将各种编码质量影响因子直接对NROI的目标编码速率与该NROI当前初始编码速率的之间的速率比值造成影响,然后利用经过影响后的速率比值得到该NROI相对于初始QP的QP调整值。也就是说,将对QP的调整变换到速率比值域进行调整。由于各种编码质量影响因子对速率比值影响的幅度和效果不一样,相当于各种编码质量影响因子基于速率比值实现了影响的归一化和统一,这样得到的QP调整值更加合理有效,有利于实现更好的编码效果。
另外,由于QP调整是通过速率比值的调整而实现,速率比值是连续的实数,可调整范围更大,各种编码质量影响因子对速率比值的影响可以是连续的。另外,实施本发明实施例还有利于通过约束速率比值的极值来避免带宽收益不可控的情况,使得速率控制更加平稳、编码质量更加平滑。
基于上述系统框架,下面描述本发明实施例提供的又一种视频编码速率控制方法,参见图9,该方法包括但不限于以下步骤:
步骤401、确定视频编码中的待编码图像,所述待编码图像包括多个区域,所述多个区域包括业务感兴趣区域ROI和业务不感兴趣区域NROI。
其中,ROI可进一步包括多个业务对象的ROI。也就是说,在待编码图像中具有不同业务对象的ROI。相应的,NROI可为待编码图像中除多个业务对象的ROI之外的背景图像。举例来说,参见图10,图10示出了一种视频监控场景中的当前待编码图像,该当前待编码图像中包括ROI,且ROI又进一步分类为用于跟踪行人的ROI(可称为第一ROI)和用于跟踪行驶车辆的ROI(可称为第二ROI)。可以理解的,可能实例中,该当前待编码图像中包括NROI,且NROI可为待编码图像中除业务对象(行驶车辆、行人)的ROI之外的背景图像。
对于不同业务对象的ROI,基于实际应用需要,其对编码质量的要求也有所区别,例如用于跟踪行驶车辆的ROI可能要更关注于行人的面部特征、穿着特征等细节特征,用于跟踪行驶车辆的ROI可能主要关注车辆的型号、大小、颜色等宏观特征。所以用于跟踪行驶车辆的ROI可能会需要比用于跟踪行驶车辆的ROI更好的编码质量,即可采用更高的QP。
同样,本发明实施例中,不同业务对象的ROI可预先分别设置相应的初始QP值和初始编码速率值。NROI也可预先设置相应的初始QP值和初始编码速率值。
步骤402、确定所述各个区域的第一速率比值。具体的,包括分别确定不同业务对象的ROI的第一速率比值,以及确定NROI的第一速率比值。具体实现可参考图4实施例步骤102的描述,这里不再赘述。
步骤403、利用各个业务对象的ROI、以及NROI各自的编码质量影响因子调整各自区域的第一速率比值,得到各个业务对象的ROI、以及NROI各自的第二速率比值。
本步骤的实现具体又可以分为两部分:
第一部分,利用各个业务对象的ROI各自的编码质量影响因子调整各个业务对象的ROI的第一速率比值,得到各个业务对象的ROI的第二速率比值。
可能实施例中,不同业务对象的ROI的编码质量影响因子可以是相同的,也可以是有所差异的。
举例来说,对于图10实施例所示的待编码图像,可配置用于跟踪行人的ROI(可称为第一ROI)的编码质量影响因子为第一ROI的占比信息和第一ROI的纹理信息;可配置用于跟踪行驶车辆的ROI(可称为第二ROI)的编码质量影响因子为第二ROI的占比信息和第二ROI的纹理信息。
可能实施例中,对于同一编码质量影响因子,利用各个业务对象的ROI的该编码质量影响因子去调整各个业务对象的ROI的第一速率比值的算法可以是相同的,也可以是有所差异的。
举例来说,对于第一ROI,利用第一ROI的编码质量影响因子去调整第一ROI的第一速率比值,以得到第一ROI的第二速率比值,包括以下过程:
(1)根据所述第一ROI的占比信息调整所述第一ROI的第一速率比值,得到所述第一ROI的第三速率比值。其中,第一ROI的占比信息表示第一ROI的大小占据待编码图像大小的比例。具体实现可参考图5实施例步骤203的描述,这里不再赘述。
(2)根据所述第一ROI的纹理信息调整所述ROI的第三速率比值,得到所述第一ROI的第二速率比值,其中,第一ROI的纹理信息表示所述第一ROI的图像特征的纹理复杂度值。该实施例中,速率比值调整公式可不同于图5实施例步骤204中所示的速率比值调整公式。
比如,同样可将该第一ROI的纹理复杂度值归一化到一个具体区间,纹理复杂度值越大,则速率比值越大。由于第一ROI的图像纹理对编码质量有更高的要求,所以为了尽量保证对图像纹理的编码质量,可设置如下的速率比值调整公式:
ROI_ratio2=(ROI_ratio3)complex_of_ROI*complex_of_ROI
其中,ROI_ratio2表示第一ROI的第二速率比值;ROI_ratio3表示第一ROI的第三速率比值;complex_of_ROI*complex_of_ROI表示ROI的纹理复杂度值归一化到具体区间后的值的平方。
又举例来说,对于第二ROI,利用第二ROI的编码质量影响因子去调整第二ROI的第一速率比值,以得到第二ROI的第二速率比值,包括以下过程:
(1)根据所述第二ROI的占比信息调整所述第二ROI的第一速率比值,得到所述第二ROI的第三速率比值。其中,第二ROI的占比信息表示第二ROI的大小占据待编码图像大小的比例。具体实现可参考图5实施例步骤203的描述,这里不再赘述。
(2)根据所述第二ROI的纹理信息调整所述第二ROI的第三速率比值,得到所述第二ROI的第二速率比值,其中,第二ROI的纹理信息表示所述第二ROI的图像特征的纹理复杂度值。其具体实现同样可参考图5实施例步骤204的描述,这里不再赘述。
第二部分,利用NROI的编码质量影响因子调整NROI的第一速率比值,得到NROI的第二速率比值。具体实现过程可参考图8实施例步骤303-步骤305的描述,这里不再赘述。
步骤404、根据各个业务对象的ROI和NROI各自的第二速率比值得到各个业务对象的ROI和NROI各自的初始QP值的调整值。
同理,在得到各个业务对象的ROI的第二速率比值后,就可以根据初始QP值的调整值QPdelta与第二速率比值的关系式得到各个业务对象的ROI的初始QP值的调整值QPdelta,具体实现过程可参考图4实施例步骤104的描述,这里不再赘述。
同理,在得到NROI的第二速率比值后,就可以根据初始QP值的调整值QPdelta与第二速率比值的关系式得到NROI的初始QP值的调整值QPdelta,具体实现过程可参考图4实施例步骤104的描述,这里不再赘述。
步骤405、利用各个业务对象的ROI和NROI各自的初始QP值以及调整值对各个业务对象的ROI和NROI各自的编码速率进行控制。
在确定各个业务对象的ROI和NROI各自的初始QP值的调整值后,将调整值分别应用到各个业务对象的ROI和NROI各自的初始QP值中,从而获得各个业务对象的ROI和NROI各自最终的QP值。这样,就实现了利用各种编码质量影响因子间接对各个业务对象的ROI和NROI的初始QP值进行影响的目的。后续视频编码器将可以根据各个业务对象的ROI和NROI各自最终的QP值进行编码速率进行控制,调整各个业务对象的ROI和NROI各自最终的编码速率满足信道带宽以及解码端缓冲区大小的要求,获得良好的编码效果。
可以看到,视频图像的ROI和NROI存在多种编码质量影响因子(例如纹理信息、占比信息等)的情况下,本发明实施例通过将各种编码质量影响因子直接对ROI和NROI的各自的速率比值造成影响,然后利用经过影响后的速率比值得到ROI和NROI的各自的相对于初始QP的QP调整值。也就是说,将对QP的调整变换到速率比值域进行调整。由于各种编码质量影响因子对速率比值影响的幅度和效果不一样,相当于各种编码质量影响因子基于速率比值实现了影响的归一化和统一,这样得到的QP调整值更加合理有效,有利于实现更好的编码效果。
另外,由于QP调整是通过速率比值的调整而实现,速率比值是连续的实数,可调整范围更大,各种编码质量影响因子对速率比值的影响可以是连续的。另外,实施本发明实施例还有利于通过约束速率比值的极值来避免带宽收益不可控的情况,使得速率控制更加平稳、编码质量更加平滑。
上文描述了本发明实施例的系统框架和相关方法,基于相同的发明构思,下面进一步描述本发明实施例的相关设备。
参见图11,本发明实施例提供了一种设备70,设备70可以是应用于编码侧,也可以是应用于解码侧。设备70包括处理器701、存储器702,所述处理器701、存储器702相连接(如通过总线704相互连接),在可能的实施方式中,设备70还可包括收发器703,收发器703连接处理器701和存储器702,用于接收/发送数据。
存储器702包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread onlymemory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器702用于存储相关程序代码(指令)及视频图像数据。
处理器701可以是一个或多个中央处理器(central processing unit,CPU),在处理器701是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该处理器701用于读取所存储器702中存储的程序代码和视频图像数据,执行以下操作:
确定视频编码中的待编码图像,所述待编码图像包括多个区域,每个所述区域分别有对应的初始编码速率和初始量化参数;
确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值;
根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;
根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;
根据所述区域的所述初始量化参数以及所述调整值进行视频编码速率控制。
需要说明的是,在具体的实施例中,处理器701可用于执行上述图4-图5、图8-图9实施例描述的相关方法,为了说明书的简洁,这里将不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者任意组合来实现。当使用软件实现时,可以全部或者部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令,在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网络站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、微波等)方式向另一个网络站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,也可以是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD等)、或者半导体介质(例如固态硬盘)等等。
在上述实施例中,对各个实施例的描述各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

Claims (21)

1.一种视频编码速率控制方法,其特征在于,包括:
确定视频编码中的待编码图像,所述待编码图像包括多个区域,每个所述区域分别有对应的初始编码速率和初始量化参数;
确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值;
根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;
根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;
根据所述区域的所述初始量化参数以及所述调整值进行视频编码速率控制。
2.如权利要求1任一项所述的方法,其特征在于,所述区域的编码质量影响因子包括所述区域的占比信息、所述区域的纹理信息、所述区域的亮度信息、所述区域的初始编码速率中的两个或两个以上,其中,
所述区域的占比信息表示所述区域大小占据所述待编码图像大小的比例;
所述区域的纹理信息表示所述区域的图像特征的纹理复杂度值;
所述区域的亮度信息表示所述区域的图像特征的亮度值。
3.如权利要求2任一项所述的方法,其特征在于,所述待编码图像的多个区域包括感兴趣区域ROI;所述ROI的编码质量影响因子包括所述ROI的占比信息和所述ROI的纹理信息,其中,所述ROI的占比信息表示所述ROI占据所述待处理图像的比例,所述ROI的纹理信息表示所述ROI的图像特征的纹理复杂度值;
相应的,所述根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值,包括:
根据所述ROI的占比信息调整所述ROI的第一速率比值,得到所述ROI的第三速率比值;
根据所述ROI的纹理信息调整所述ROI的第三速率比值,得到所述ROI的第二速率比值。
4.如权利要求3所述的方法,其特征在于,所述待编码图像的ROI进一步包括多个业务对象的ROI;每个业务对象的ROI的编码质量影响因子包括所述业务对象的ROI的占比信息和所述业务对象的ROI的纹理信息,其中,所述业务对象的ROI的占比信息表示所述业务对象的ROI占据所述待处理图像的比例,所述业务对象的ROI的纹理信息表示所述业务对象的ROI的图像特征的纹理复杂度值;
相应的,所述根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值,包括:
根据所述业务对象的ROI的占比信息调整所述业务对象的ROI的第一速率比值,得到所述业务对象的ROI的第三速率比值;
根据所述业务对象的ROI的纹理信息调整所述业务对象的ROI的第三速率比值,得到所述业务对象的ROI的第二速率比值。
5.如权利要求2-4任一项所述的方法,其特征在于,所述待编码图像的多个区域还包括业务不感兴趣区域NROI,所述NROI的编码质量影响因子包括所述NROI的初始编码速率、所述NROI的纹理信息和所述NROI的亮度信息,其中,所述NROI的纹理信息表示所述NROI的图像特征的纹理复杂度值,所述NROI的亮度信息表示所述NROI的图像特征的亮度值;
相应的,所述根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;包括:
根据所述NROI的初始编码速率调整所述NROI的第一速率比值,得到所述NROI的第三速率比值;
根据所述NROI的纹理信息调整所述NROI的第三速率比值,得到所述NROI的第四速率比值;
根据所述NROI的亮度信息调整所述NROI的第四速率比值,得到所述NROI的第二速率比值。
6.如权利要求1-5任一项所述的方法,其特征在于,所述根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,包括:
通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,所述调整值由以下关系式表征:
QPdelta=c1*β*ln(ratio)+Ψ
其中,QPdelta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数,或者,Ψ为0。
7.如权利要求1-5任一项所述的方法,其特征在于,所述根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,包括:
通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值,所述调整值由以下关系式表征:
QPdelta=c1*β*ln(ratio)*Ψ
其中,QPdelta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数。
8.一种设备,其特征在于,包括:
图像分析模块,用于确定视频编码中的待编码图像,所述待编码图像包括多个区域,每个所述区域分别有对应的初始编码速率和初始量化参数;
速率比值设置模块,用于确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值;
速率比值调整模块,用于根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;
量化参数调整模块,用于根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;
编码速率控制模块,用于根据所述区域的所述初始量化参数以及所述调整值进行视频编码速率控制。
9.如权利要求8任一项所述的设备,其特征在于,所述区域的编码质量影响因子包括所述区域的占比信息、所述区域的纹理信息、所述区域的亮度信息、所述区域的初始编码速率中的两个或两个以上,其中,
所述区域的占比信息表示所述区域大小占据所述待编码图像大小的比例;
所述区域的纹理信息表示所述区域的图像特征的纹理复杂度值;
所述区域的亮度信息表示所述区域的图像特征的亮度值。
10.如权利要求9任一项所述的设备,其特征在于,所述待编码图像的多个区域包括感兴趣区域ROI;所述ROI的编码质量影响因子包括所述ROI的占比信息和所述ROI的纹理信息,其中,所述ROI的占比信息表示所述ROI占据所述待处理图像的比例,所述ROI的纹理信息表示所述ROI的图像特征的纹理复杂度值;
所述速率比值调整模块具体用于:
根据所述ROI的占比信息调整所述ROI的第一速率比值,得到所述ROI的第三速率比值;
根据所述ROI的纹理信息调整所述ROI的第三速率比值,得到所述ROI的第二速率比值。
11.如权利要求10所述的设备,其特征在于,所述待编码图像的ROI进一步包括多个业务对象的ROI;每个业务对象的ROI的编码质量影响因子包括所述业务对象的ROI的占比信息和所述业务对象的ROI的纹理信息,其中,所述业务对象的ROI的占比信息表示所述业务对象的ROI占据所述待处理图像的比例,所述业务对象的ROI的纹理信息表示所述业务对象的ROI的图像特征的纹理复杂度值;
所述速率比值调整模块具体用于:
根据所述业务对象的ROI的占比信息调整所述业务对象的ROI的第一速率比值,得到所述业务对象的ROI的第三速率比值;
根据所述业务对象的ROI的纹理信息调整所述业务对象的ROI的第三速率比值,得到所述业务对象的ROI的第二速率比值。
12.如权利要求9-11任一项所述的设备,其特征在于,所述待编码图像的多个区域还包括业务不感兴趣区域NROI,所述NROI的编码质量影响因子包括所述NROI的初始编码速率、所述NROI的纹理信息和所述NROI的亮度信息,其中,所述NROI的纹理信息表示所述NROI的图像特征的纹理复杂度值,所述NROI的亮度信息表示所述NROI的图像特征的亮度值;
所述速率比值调整模块具体用于:
根据所述NROI的初始编码速率调整所述NROI的第一速率比值,得到所述NROI的第三速率比值;
根据所述NROI的纹理信息调整所述NROI的第三速率比值,得到所述NROI的第四速率比值;
根据所述NROI的亮度信息调整所述NROI的第四速率比值,得到所述NROI的第二速率比值。
13.如权利要求8-12任一项所述的设备,其特征在于,所述量化参数调整模块具体用于,通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;所述调整值由以下关系式表征:
QPdelta=c1*β*ln(ratio)+Ψ
其中,QPdelta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数,或者,Ψ为0。
14.如权利要求8-12任一项所述的设备,其特征在于,所述量化参数调整模块具体用于:通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;所述调整值由以下关系式表征:
QPdelta=c1*β*ln(ratio)*Ψ
其中,QPdelta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数。
15.一种设备,其特征在于,所述设备包括处理器以及与所述处理器耦合的存储器,其中,所述存储器用于存储视频图像数据和控制指令;所述处理器用于调用所述所述存储器存储的视频图像数据和控制指令,以执行以下步骤:
确定视频编码中的待编码图像,所述待编码图像包括多个区域,每个所述区域分别有对应的初始编码速率和初始量化参数;
确定所述区域的第一速率比值,所述区域的第一速率比值表示所述区域的目标编码速率与所述区域的初始编码速率之间的比值;
根据所述区域的编码质量影响因子调整所述区域的第一速率比值,得到所述区域的第二速率比值;
根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;
根据所述区域的所述初始量化参数以及所述调整值进行视频编码速率控制。
16.如权利要求15任一项所述的设备,其特征在于,所述区域的编码质量影响因子包括所述区域的占比信息、所述区域的纹理信息、所述区域的亮度信息、所述区域的初始编码速率中的两个或两个以上,其中,
所述区域的占比信息表示所述区域大小占据所述待编码图像大小的比例;
所述区域的纹理信息表示所述区域的图像特征的纹理复杂度值;
所述区域的亮度信息表示所述区域的图像特征的亮度值。
17.如权利要求16任一项所述的设备,其特征在于,所述待编码图像的多个区域包括感兴趣区域ROI;所述ROI的编码质量影响因子包括所述ROI的占比信息和所述ROI的纹理信息,其中,所述ROI的占比信息表示所述ROI占据所述待处理图像的比例,所述ROI的纹理信息表示所述ROI的图像特征的纹理复杂度值;
所述处理器具体用于执行:
根据所述ROI的占比信息调整所述ROI的第一速率比值,得到所述ROI的第三速率比值;
根据所述ROI的纹理信息调整所述ROI的第三速率比值,得到所述ROI的第二速率比值。
18.如权利要求17所述的设备,其特征在于,所述待编码图像的ROI进一步包括多个业务对象的ROI;每个业务对象的ROI的编码质量影响因子包括所述业务对象的ROI的占比信息和所述业务对象的ROI的纹理信息,其中,所述业务对象的ROI的占比信息表示所述业务对象的ROI占据所述待处理图像的比例,所述业务对象的ROI的纹理信息表示所述业务对象的ROI的图像特征的纹理复杂度值;
所述处理器具体用于执行:
根据所述业务对象的ROI的占比信息调整所述业务对象的ROI的第一速率比值,得到所述业务对象的ROI的第三速率比值;
根据所述业务对象的ROI的纹理信息调整所述业务对象的ROI的第三速率比值,得到所述业务对象的ROI的第二速率比值。
19.如权利要求16-18任一项所述的设备,其特征在于,所述待编码图像的多个区域还包括业务不感兴趣区域NROI,所述NROI的编码质量影响因子包括所述NROI的初始编码速率、所述NROI的纹理信息和所述NROI的亮度信息,其中,所述NROI的纹理信息表示所述NROI的图像特征的纹理复杂度值,所述NROI的亮度信息表示所述NROI的图像特征的亮度值;
所述处理器具体用于执行:
根据所述NROI的初始编码速率调整所述NROI的第一速率比值,得到所述NROI的第三速率比值;
根据所述NROI的纹理信息调整所述NROI的第三速率比值,得到所述NROI的第四速率比值;
根据所述NROI的亮度信息调整所述NROI的第四速率比值,得到所述NROI的第二速率比值。
20.如权利要求15-19任一项所述的设备,其特征在于,所述处理器具体用于执行通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;所述调整值由以下关系式表征:
QPdelta=c1*β*ln(ratio)+Ψ
其中,QPdelta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数,或者,Ψ为0。
21.如权利要求15-19任一项所述的设备,其特征在于,所述处理器具体用于执行通过R-λ模型的编码速率控制算法,根据所述区域的第二速率比值,得到所述区域针对所述初始量化参数的调整值;所述调整值由以下关系式表征:
QPdelta=c1*β*ln(ratio)*Ψ
其中,QPdelta表示所述区域针对初始量化参数的调整值,ratio表示所述区域的第二速率比值,c1和β均为非0常数;Ψ为非0常数,或者,Ψ为针对所述区域的编码质量影响因子的函数。
CN201810925765.4A 2018-08-13 2018-08-13 视频编码速率控制方法以及相关装置 Active CN110830801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810925765.4A CN110830801B (zh) 2018-08-13 2018-08-13 视频编码速率控制方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810925765.4A CN110830801B (zh) 2018-08-13 2018-08-13 视频编码速率控制方法以及相关装置

Publications (2)

Publication Number Publication Date
CN110830801A true CN110830801A (zh) 2020-02-21
CN110830801B CN110830801B (zh) 2021-10-01

Family

ID=69547312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810925765.4A Active CN110830801B (zh) 2018-08-13 2018-08-13 视频编码速率控制方法以及相关装置

Country Status (1)

Country Link
CN (1) CN110830801B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918068A (zh) * 2020-08-05 2020-11-10 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
CN117319591A (zh) * 2023-09-25 2023-12-29 深圳市厚朴科技开发有限公司 一种超高清视频远距离传输装置、方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050105815A1 (en) * 2003-11-14 2005-05-19 Vweb Corporation Video encoding using variable bit rates
CN101668197A (zh) * 2009-09-18 2010-03-10 浙江大学 一种基于线性模型的可伸缩性视频编码中的码率控制方法
CN101795415A (zh) * 2010-04-22 2010-08-04 杭州华三通信技术有限公司 一种视频编码中的码率控制方法及其装置
CN102104778A (zh) * 2009-12-17 2011-06-22 北京三星通信技术研究有限公司 一种图像编码中码率控制的方法和装置
CN104159095A (zh) * 2014-02-19 2014-11-19 上海大学 一种多视点纹理视频和深度图编码的码率控制方法
CN104221373A (zh) * 2011-11-08 2014-12-17 摩托罗拉移动有限责任公司 用于采样自适应偏移代码化和/或信号通知的设备和方法
US20150237375A1 (en) * 2014-02-19 2015-08-20 Megachips Corporation Moving image coding apparatus, moving image coding method, storage medium, and integrated circuit
CN107872677A (zh) * 2016-09-26 2018-04-03 韩华泰科株式会社 用于处理图像的设备和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050105815A1 (en) * 2003-11-14 2005-05-19 Vweb Corporation Video encoding using variable bit rates
CN101668197A (zh) * 2009-09-18 2010-03-10 浙江大学 一种基于线性模型的可伸缩性视频编码中的码率控制方法
CN102104778A (zh) * 2009-12-17 2011-06-22 北京三星通信技术研究有限公司 一种图像编码中码率控制的方法和装置
CN101795415A (zh) * 2010-04-22 2010-08-04 杭州华三通信技术有限公司 一种视频编码中的码率控制方法及其装置
CN104221373A (zh) * 2011-11-08 2014-12-17 摩托罗拉移动有限责任公司 用于采样自适应偏移代码化和/或信号通知的设备和方法
CN104159095A (zh) * 2014-02-19 2014-11-19 上海大学 一种多视点纹理视频和深度图编码的码率控制方法
US20150237375A1 (en) * 2014-02-19 2015-08-20 Megachips Corporation Moving image coding apparatus, moving image coding method, storage medium, and integrated circuit
CN107872677A (zh) * 2016-09-26 2018-04-03 韩华泰科株式会社 用于处理图像的设备和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918068A (zh) * 2020-08-05 2020-11-10 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
CN111918068B (zh) * 2020-08-05 2022-03-08 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
CN117319591A (zh) * 2023-09-25 2023-12-29 深圳市厚朴科技开发有限公司 一种超高清视频远距离传输装置、方法、系统、设备及介质
CN117319591B (zh) * 2023-09-25 2024-03-12 深圳市厚朴科技开发有限公司 一种视频传输方法、装置、计算机可读存储介质及设备

Also Published As

Publication number Publication date
CN110830801B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US10123015B2 (en) Macroblock-level adaptive quantization in quality-aware video optimization
JP6714695B2 (ja) 動的な解像度切換えを用いたリアルタイムビデオエンコーダレート制御
US20160044321A1 (en) Region-of-Interest Aware Video Coding
US20140211858A1 (en) Spatially adaptive video coding
TWI634778B (zh) 用於顯示串流壓縮之複合區域偵測
US20150063461A1 (en) Methods and apparatuses for adjusting macroblock quantization parameters to improve visual quality for lossy video encoding
US20180184089A1 (en) Target bit allocation for video coding
US9560386B2 (en) Pyramid vector quantization for video coding
CN114501010A (zh) 图像编码方法、图像解码方法及相关装置
CN110830801B (zh) 视频编码速率控制方法以及相关装置
US10264261B2 (en) Entropy encoding initialization for a block dependent upon an unencoded block
CN116567207B (zh) 用于帧内预测的方法和装置
TW201703522A (zh) 用於顯示串流壓縮之量化參數更新分類
US20210160491A1 (en) Method and Apparatus for Aspect-Ratio Dependent Filtering for Intra-Prediction
US11805250B2 (en) Performing intra-prediction using intra reference sample filter switching
CN116156168A (zh) 一种图像编解码方法及装置
CN108353178B (zh) 编码和解码方法及相应设备
CN116760976B (zh) 仿射预测决策方法、装置、设备及存储介质
WO2023221599A1 (zh) 图像滤波方法、装置及设备
US20230300329A1 (en) Picture processing method and video decoder
WO2023173255A1 (zh) 图像编解码方法、装置、设备、系统、及存储介质
US20230412807A1 (en) Bit allocation for neural network feature channel compression
CN116708938A (zh) 视频处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant