CN101945275A - 一种基于感兴趣区域的视频编码方法 - Google Patents

一种基于感兴趣区域的视频编码方法 Download PDF

Info

Publication number
CN101945275A
CN101945275A CN 201010256567 CN201010256567A CN101945275A CN 101945275 A CN101945275 A CN 101945275A CN 201010256567 CN201010256567 CN 201010256567 CN 201010256567 A CN201010256567 A CN 201010256567A CN 101945275 A CN101945275 A CN 101945275A
Authority
CN
China
Prior art keywords
roi
macro block
macro
interest
sigma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010256567
Other languages
English (en)
Other versions
CN101945275B (zh
Inventor
高伟
孙翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHENJIANG TANGQIAO MICROELECTRONICS CO Ltd
Original Assignee
ZHENJIANG TANGQIAO MICROELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHENJIANG TANGQIAO MICROELECTRONICS CO Ltd filed Critical ZHENJIANG TANGQIAO MICROELECTRONICS CO Ltd
Priority to CN 201010256567 priority Critical patent/CN101945275B/zh
Publication of CN101945275A publication Critical patent/CN101945275A/zh
Application granted granted Critical
Publication of CN101945275B publication Critical patent/CN101945275B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于感兴趣区域的视频编码方法,其视频编码器接收一个宏块的原始视频数据,ROI区域预处理模块按用户预定义的ROI区域划分,将一帧图像中的所有宏块分为ROI区域宏块和非ROI区域宏块。如用户未定义ROI区域,将采用图像内容分析方法,将一帧中的所有宏块进行分类。ROI区域预处理模块计算拉格朗日乘子。量化参数调整模块根据人眼视觉对当前宏块的敏感程度,对宏块集初始量化参数进行调整。视频编码器根据调整后的量化参数,编码当前宏块。一帧中所有宏块编码结束后,多宏块集合比特分配模块将根据宏块集编码统计信息,为各个宏块集分配目标比特,并最终计算出每个宏块集的初始量化参数。

Description

一种基于感兴趣区域的视频编码方法
技术领域
本发明涉及一种基于感兴趣区域的视频编码方法,应用于视频图像编码领域,本发明可应用于视频监控和视频会议等领域的低速率视频编码。
背景技术
低速率视频传输是PSTN、移动通信等带宽受限网络环境下的重要传输业务之一,由于受到网络带宽的限制,图像质量总是不尽如人意。低速率视频编码不仅用于窄带网络环境,随着高清视频引入视频监控、视频会议等应用,现有宽带网络也无法满足高清视频码流的传输,对低速率视频编码同样有很大的需求。
感兴趣区域(ROI,Range of Interesting)视频编码是低速率视频编码的一个重要研究领域,由于人眼具有视觉感兴趣区的特点,即人眼对一幅图像的不同区域感兴趣的程度不同,例如对3G移动终端、视频电话和视频会议中常见的头肩序列视频,人脸就是感兴趣区域。基于感兴趣区域的视频编码方法,充分利用视频图像接收者的这一主观特性以及图像的内容,可以有效提高低速率编码的图像主观感受质量。
感兴趣区域的码率控制技术能够实现编码比特在感兴趣区域的优先分配,是感兴趣区域视频编码过程的重要组成部分。在视频编码中,码率控制技术通常用来调整图像质量和输出码率的大小。经典的码率控制算法主要有MPEG-2 TM5[1][2],H.263 TMN8[3][4],MPEG-4VM8[5][6],以及H.264[7].此外,Zhihai He等人基于码率与DCT零系数个数的线性关系提出了rho域的码率控制算法[8][9]。这些码率控制算法通过建立Q域或Rho域的率失真模型以及分级的比特分配方案,获得了良好的率失真性能。然而,上述码率控制算法不能直接用于感兴趣区域的视频编码,无法在感兴趣区域和非感兴趣区域之间有效分配比特。
除了分配更多的比特,使用适当的宏块预测模式也能够提高感兴趣区域的质量。新一代的视频编码标准H.264,AVS[10]均采用了多种帧内、帧间预测模式,并通过率失真优化的方法为当前宏块选择最优的预测模式。在模式选择过程中,J=D+λ·R作为率失真最优的判决依据,其中,D表示失真,R表示编码比特,λ是拉格朗日乘子[7],J表示率失真成本。拉格朗日乘子法将编码比特一定前提下失真最小的约束性问题转化为求解J最小的非约束性问题。在H.264/AVS标准对应的参考软件中,上式中的λ与QP存在唯一的映射关系[11]。只有使用码率控制计算出的宏块量化参数,才能查表得到对应的λ值,率失真优化的模式选择才能进行。换句话说,宏块预测模式的选择受到码率控制的影响,这种影响在低码率下甚至超过了宏块图像内容本身对预测模式选择的影响。普通的宏块预测模式选择技术并不考虑当前宏块的感兴趣程度,无法提高感兴趣区域的主观质量。
发明内容
所要解决的问题:
在低速率的视频编码中,由于带宽的限制,编码图像质量会受到明显损伤。为了提高编码性能,以及保持良好的图像主观质量,通常采用基于感兴趣区域的视频编码。码率控制技术和模式选择技术是视频编码过程中的重要组成部分。本发明提出一种基于感兴趣区域的码率控制方法,在保持较低输出码率的同时,增加了感兴趣区域的编码比特,能够明显提高感兴趣区域的主观质量。本发明还提出一种基于感兴趣区域的模式选择方法,通过改变率失真成本计算公式J=D+λ·R中的拉格朗日参数λ值,调整预测失真D和编码比特R在率失真成本J中的比重,有利于为感兴趣区域中的宏块选择失真较少的预测模式,从而提高感兴趣区域的主观质量。使用本发明提出的感兴趣区域视频编码技术能够在保持低速率编码的同时明显提高感兴趣区域的主观质量。
技术方案:
一种基于感兴趣区域的视频编码方法,包括以下四个步骤:
一、感兴趣区域(ROI)预处理
ROI预处理模块按照用户预定义的ROI区域划分,将一帧图像中的所有宏块分为两类,即ROI区域宏块和非ROI区域宏块;ROI区域的形状不必是严格的矩形,但为了之后的编码,需要以宏块为单位;如果用户未定义ROI区域,那么本发明采用图像内容分析方法,根据宏块中图像内容的复杂度,对一帧中的所有宏块进行分类;
这里定义fact为宏块纹理的复杂度,fmot为宏块运动复杂度;fact、fmot的计算如式(1)-(4)所示,其中Bk i,j表示第k帧中宏块的第(i,j)像素,i,j∈{0,15},
Figure BSA00000234092500021
表示第k-1帧的重建图像中对应宏块的第(i,j)像素;
fact=δvh                      (1)
δ v = 1 n ( n - 1 ) Σ i = 0 n - 2 Σ j = 0 n - 1 | B k i , j - B k i + 1 , j | - - - ( 2 )
δ h = 1 n ( n - 1 ) Σ i = 0 n - 1 Σ j = 0 n - 2 | B k i , j - B k i , j + 1 | - - - ( 3 )
f mot = Σ i = 0 n Σ j = 0 n - 1 | B k i , j - B k ~ - 1 i , j + 1 | - - - ( 4 )
根据fact和fmot,一帧中所有宏块可以分为A,B,C,D四类;由于人眼视觉对含有丰富边缘和运动的区域较为敏感,因此各类宏块感兴趣程度依次为A,B,C,D,如表1所示;
表1
  优先级  边缘宏块  纹理宏块
  运动剧烈宏块  A最高优先级  C较低优先级
  背景宏块  B较高优先级  D最低优先级
二、感兴趣区域(ROI)宏块编码模式选择
在编码过程中,根据ROI预处理过程得到的宏块分类信息,通过对拉格朗日参数λ的调整可以实现ROI宏块预测模式的选择;
拉格朗日参数λ的计算位于当前宏块帧内预测和运动估计之前,根据前面得到的宏块分类信息,计算当前宏块的拉格朗日参数λ;首先由相同宏块集合的上一个宏块的QP,通过λ与QP之间唯一的映射关系得到一个初始值λp[11],该λp值根据当前宏块的分类信息进行如式5调整:
Figure BSA00000234092500034
通过改变率失真成本计算公式J=D+λ·R中的λ值,调整预测失真D和编码比特R在率失真成本J中的比重,从而使感兴趣区域的宏块选择失真较小的预测模式,而非感兴趣区域的宏块选择编码比特较少的预测模式;
三、感兴趣区域(ROI)比特分配和初始量化参数计算
1、ROI比特分配过程采用下式为各个宏块集合分配目标比特RiT,i表示第i个宏块集:
R i T = = ζ i ω i log σ i 2 ζ i + ζ i ω i R Σ i = 1 S ζ i ω i - ζ i ω i Σ i = 1 S ζ i ω i log σ i 2 ζ i Σ i = 1 S ζ i ω i - - - ( 10 )
式5中R表示信道带宽,ζi=θii,其中αi为常数;σi 2为DCT系数的方差,θi=Ri/(1-ρi),其中ρi表示DCT系数零系数的比重,Ri表示第i个宏块集的实际编码比特,ρi、θi和σi均可从编码过程中计算得到,ωi为加权系数,感兴趣区域赋予较大的ωi
2、ROI初始量化参数的计算采用Rho域的率失真函数:
Ri T(ρ)=θi p·(1-ρi)                  (11)
式中Ri T(ρ)表示前面计算得到的当前宏块集的目标比特,ρi表示DCT系数零系数的比重,θi是一个与图像复杂度有关的常数,θi p表示下一帧对应宏块集θi的预测值:
θ i p = R i l - 1 384 · N i m - ρ i l - 1 - - - ( 12 )
式中Ni m表示当前宏块集中包含的宏块个数,Ri l-1和ρi l-1分别表示前一帧对应宏块集的实际编码比特和DCT零系数的比重;根据式6,可以得到下一帧的目标ρi值,经过[8,9]定义的ρ-QP对应关系,得到感兴趣区域的量化参数值;
四、宏块量化参数的进一步调整
在实际编码过程中,宏块累计编码比特与目标比特之间存在偏差,为了达到预分配的目标比特,需要对初始量化参数进行调整;根据当前宏块实际累计编码比特与目标比特之间的差值,决定对应的量化参数增加值,如下式所示:
ΔQP=(abs(ttCodedBits-targetBits))>>Offset;           (13)
其中ttCodedBits表示当前宏块累计编码比特;targetBits表示当前宏块累计目标比特;Offset为一个实验得到的常数,通常设置为5。
有益效果:
本发明提出的感兴趣区域视频编码方法能够自动检测图像的感兴趣区域,能够根据图像中的宏块是否位于感兴趣区域选择失真最小或编码比特最小的预测模式,能够将目标比特有效分配给感兴趣区域和非感兴趣区域,并根据分配的目标比特为宏块计算量化参数。
本发明提出的感兴趣区域视频编码方法在保持较低输出码率的同时,增加了感兴趣区域的编码比特,能够明显提高感兴趣区域的主观质量。我们通过在180kbps编码CIF图像foreman,对使用感兴趣区域视频编码方法和普通的视频编码方法进行比较,如图1所示。图1(a)(c)为使用普通的视频编码方法得到的重建图像,图1(b)(d)为使用本发明提出的感兴趣区域视频编码方法得到的重建图像。注意图像中人像的面部轮廓以及背景中的墙壁直线状边缘,在图1(b)(d)中都有更加清晰地表达。使用本发明提出的感兴趣区域视频编码方法的重建图像的主观效果明显好于普通的视频编码方法。
附图说明
图1(a)(c)为使用普通的视频编码方法得到的重建图像;
图1(b)(d)为使用本发明提出的感兴趣区域视频编码方法得到的重建图像;
图2为本发明工作原理图;
具体实施方式
本发明提出的一种基于感兴趣区域视频编码方法应用于视频编码器的编码循环中。
如图2所示,一种基于感兴趣区域(ROI)的视频编码方法的工作原理:
首先,视频编码器接收一个宏块的原始视频数据,感兴趣区域预处理模块采用图像内容分析方法,将一帧中的所有宏块进行分类。然后,模式选择模块根据当前宏块所属的宏块类别计算拉格朗日乘子。视频编码器使用该乘子选择宏块预测模式。
然后,量化参数调整模块根据人眼视觉对当前宏块的敏感程度,对宏块集初始量化参数进行调整。视频编码器根据调整后的量化参数,编码当前宏块。当前宏块的统计信息如宏块集的累计编码比特数,零DCT系数个数等将被采集。
最后,一帧中所有宏块编码结束后,比特分配模块根据宏块集编码统计信息,为各个宏块集分配目标比特,并最终计算出每个宏块集的初始量化参数。
本发明提出的一种基于感兴趣区域的视频编码方法包括预处理,模式选择,比特分配和初始量化参数计算,宏块量化参数调整四个步骤。预处理模块根据图像内容复杂度将所有宏块分类;模式选择模块根据宏块是否位于感兴趣区域改变模式选择策略;比特分配和初始量化参数计算模块将目标比特分配给感兴趣区域和非感兴趣区域,而且根据分配的目标比特为感兴趣区域和非感兴趣区域的宏块计算量化参数;量化参数调整模块根据人眼视觉对当前宏块的敏感程度调整宏块量化参数。
一、感兴趣区域(ROI)预处理
ROI预处理模块按照用户预定义的ROI区域划分,将一帧图像中的所有宏块分为两类,即ROI区域宏块和非ROI区域宏块;ROI区域的形状不必是严格的矩形,但为了之后的编码,需要以宏块为单位。如果用户未定义ROI区域,那么本发明采用图像内容分析方法,根据宏块包含像素内容的复杂度,对一帧中的所有宏块进行分类。
定义fact为宏块纹理的复杂度,fmot为宏块运动复杂度。fact、fmot的计算如式(1)-(4)所示,其中Bk i,j表示第k帧中宏块的第(i,j)像素,i,j∈{0,15},
Figure BSA00000234092500061
表示第k-1帧的重建图像中对应宏块的第(i,j)像素。
fact=δvh                         (1)
δ v = 1 n ( n - 1 ) Σ i = 0 n - 2 Σ j = 0 n - 1 | B k i , j - B k i + 1 , j | - - - ( 2 )
δ h = 1 n ( n - 1 ) Σ i = 0 n - 1 Σ j = 0 n - 2 | B k i , j - B k i , j + 1 | - - - ( 3 )
f mot = Σ i = 0 n Σ j = 0 n - 1 | B k i , j - B k ~ - 1 i , j + 1 | - - - ( 4 )
根据fact和fmot,一帧中所有宏块可以分为A,B,C,D四类。由于人眼视觉对运动和含有丰富边缘的区域较为敏感,因此各类宏块感兴趣程度依次为A,B,C,D,如表1所示;
表1
  优先级  边缘宏块  纹理宏块
  运动剧烈宏块  A最高优先级  C较低优先级
  背景宏块  B较高优先级  D最低优先级
在实际编码过程中,由于上述ROI区域前处理过程,完全在宏块编码开始之前,因此宏块预测模式的选择能够依据上述宏块分类信息进行。
二、感兴趣区域(ROI)宏块编码模式选择
在编码过程中,根据ROI预处理过程得到的宏块分类信息,通过对拉格朗日参数λ的调整可以实现ROI宏块编码模式的选择。
拉格朗日参数计算位于当前宏块帧内预测和运动估计之前,根据前面得到的宏块分类信息,计算当前宏块的拉格朗日参数λ。首先由相同宏块集合的上一个宏块的QP得到一个初始λp,该λp值根据当前宏块的分类信息进行如式5调整:
Figure BSA00000234092500071
三、感兴趣区域(ROI)比特分配和量化参数的计算
1、ROI比特分配
ROI比特分配过程采用了基于最小平均失真的方法,为了补偿理想Rho域率失真模型与实际编码结果的差别,本发明采用了反馈机制自适应的调整分配给每个ROI区域的比特大小。
由于整幅图像分类为多个宏块集合,宏块集合之间的质量差异过大会影响整幅图像的质量,减小多个宏块集合编码视频质量差别的问题可以表达为多个宏块集合的平均失真最小化的问题,如式1所示,式中S表示宏块集合的个数:
min R 1 S Σ i = 1 S D i ( R i ) S.t. Σ i = 1 S R i ≤ R - - - ( 6 )
由[8-9]的Rho域率失真函数可知,
R(ρ)=θ·(1-ρ)                (7)
D(ρ)=σ2e-α(1-ρ)             (8)
上述最小化问题可以表达为:
min R 1 S Σ i = 1 S D i ( ρ i ) S.t. Σ i = 1 S θ i ( 1 - ρ i ) ≤ R - - - ( 9 )
使用拉格朗日最优化方法求解式4所示最小化问题,可以得到各个宏块集合分配目标比特RiT,i表示第i个宏块集:
R i T = = ζ i ω i log σ i 2 ζ i + ζ i ω i R Σ i = 1 S ζ i ω i - ζ i ω i Σ i = 1 S ζ i ω i log σ i 2 ζ i Σ i = 1 S ζ i ω i - - - ( 10 )
式5中R表示信道带宽,ζi=θii,其中αi为常数。σi 2为DCT系数的方差,θi=Ri/(1-ρi),其中ρi表示DCT系数零系数的比重,Ri表示第i个宏块集的实际编码比特,ρi、θi和σi均可从编码过程中计算得到。ωi为加权系数,感兴趣区域赋予较大的ωi
2、宏块集量化参数计算
宏块集量化参数的计算采用Rho域的率失真函数[8-9]:
Ri T(ρ)=θi p·(1-ρi)              (11) 
式中RT i(ρ)表示前面计算得到的当前宏块集的目标比特,ρi表示DCT系数零系数的比重,θi是一个与图像复杂度有关的常数,θi p表示下一帧对应宏块集θi的预测值:
θ i p = R i l - 1 384 · N i m - ρ i l - 1 - - - ( 12 )
式中Ni m表示当前宏块集中包含的宏块个数,Ri l-1和ρi l-1分别表示前一帧对应宏块集的实际编码比特和DCT零系数的比重。根据式6,可以得到下一帧的目标ρi值,经过[8,9]定义的ρ-QP对应关系,得到当前宏块集的初始QP值。
四、宏块量化参数的进一步调整
在实际编码过程中,宏块累计编码比特与目标比特之间存在偏差,为了达到已分配的目标比特,需要对初始量化参数进行调整;本发明根据当前宏块实际累计编码比特与目标比特之间的差值,决定对应的量化参数增加值,如下式所示:
ΔQP=(abs(ttCodedBits-targetBits))>>Offset;          (13)
其中ttCodedBits表示当前宏块累计编码比特;targetBits表示当前宏块累计目标比特;Offset为一个实验得到的常数,通常设置为5。
根据上面的描述,本领域的工程技术人员可以将本发明提出的感兴趣区域视频编码方法应用于一个非基于感兴趣区域的普通视频编码器。
[1]MPEG-2 video test model 5.ISO/IEC/JTC1/SC29/WG11,MPEG93/457,April.1993
[2]J.W.Lee and Y.S.Ho.“Target bit matching for MPEG-2 video rate control”,Proceedings of Tencon 1998,New Delhi,India,vol.1,pp:66-99,Dec.1998
[3]J.Robas-Corbera and S.Lei.“Rate control in DCT video coding for low-delay communications”,IEEE Trans.On Circuits and Systems for Video Technology,1999,vol.9(1),pp:172-185
[4]Video Codec.Test Model Near-Term,TMN8.ITU-T/SG16/VCEG/Q15 A59,Portland,USA,Jun 1997
[5]Vetro,H.Sun,and Yao Wang.“MPEG-4 rate control for multiple video objects”,IEEE Transactions on Circuits and Systems for Video Technology,vol.9,pp.186-199,February 1999
[6]T.Chiang and Y.Q.Zhang,“A new rate control scheme using quadratic rate distortion medel”,IEEE Transactions on Circuits and Systems for video Technology,vol 7(1),pp:246-250,Feb.1997
[7]“Adaptive basic unit layer rate control for JVT,”presented at the 7th.JVT Meeting,Pattaya II JVT-G012-rl Thailand,Mar.2003.
[8]He,Zhihai,A unified approach to rate-distoriton analysis and rate control for visual coding and communication for the degree of Doctor of Philosophy,University of California,Santa Barbara
[9]He,Zhihai,Yong Kwan Kim,Sanjit K.Mitra,“Low-delay rate control for DCT video coding via p-domain source modeling”,IEEE Transactions on Circuits and systems for video technology,2001,vol.11(8),pp:928-940
[10]Audio Video Coding Standard Workgroup of China (AVS).Video Coding Standard FCD1.0,Nov.2003.
[11]Joint video team reference software,version 98.http://bs.hhi.de/~suehring/tml/download/.

Claims (2)

1.一种基于感兴趣区域的视频编码方法,其特征在于:包括以下四个步骤:
一、感兴趣区域(ROI)预处理
ROI预处理模块按照用户预定义的ROI区域划分,将一帧图像中的所有宏块分为两类,即ROI区域宏块和非ROI区域宏块;ROI区域的形状不必是严格的矩形,但为了之后的编码,需要以宏块为单位;如果用户未定义ROI区域,那么本发明采用图像内容分析方法,根据宏块中图像内容的复杂度,对一帧中的所有宏块进行分类;
这里定义fact为宏块纹理的复杂度,fmot为宏块运动复杂度;fact、fmot的计算如式(1)-(4)所示,其中Bk i,j表示第k帧中宏块的第(i,j)像素,i,j∈{0,15},
Figure FSA00000234092400011
表示第k-1帧的重建图像中对应宏块的第(i,j)像素;
fact=δvh           (1)
δ v = 1 n ( n - 1 ) Σ i = 0 n - 2 Σ j = 0 n - 1 | B k i , j - B k i + 1 , j | - - - ( 2 )
δ h = 1 n ( n - 1 ) Σ i = 0 n - 1 Σ j = 0 n - 2 | B k i , j - B k i , j + 1 | - - - ( 3 )
f mot = Σ i = 0 n Σ j = 0 n - 1 | B k i , j - B k ~ - 1 i , j + 1 | - - - ( 4 )
根据fact和fmot,一帧中所有宏块可以分为A,B,C,D四类;由于人眼视觉对含有丰富边缘和运动的区域较为敏感,因此各类宏块感兴趣程度依次为A,B,C,D,如表1所示;
表1
  优先级  边缘宏块  纹理宏块   运动剧烈宏块  A最高优先级  C较低优先级   背景宏块  B较高优先级  D最低优先级
二、感兴趣区域(ROI)宏块编码模式选择
在编码过程中,根据ROI预处理过程得到的宏块分类信息,通过对拉格朗日参数λ的调整可以实现ROI宏块预测模式的选择;
拉格朗日参数λ的计算位于当前宏块帧内预测和运动估计之前,根据前面得到的宏块分类信息,计算当前宏块的拉格朗日参数λ;首先由相同宏块集合的上一个宏块的QP,通过λ与QP之间唯一的映射关系得到一个初始值λp[11],该λp值根据当前宏块的分类信息进行如式5调整:
Figure FSA00000234092400021
通过改变率失真成本计算公式J=D+λ·R中的λ值,调整预测失真D和编码比特R在率失真成本J中的比重,从而使感兴趣区域的宏块选择失真较小的预测模式,而非感兴趣区域的宏块选择编码比特较少的预测模式;
三、感兴趣区域(ROI)比特分配和初始量化参数计算
1、ROI比特分配过程采用下式为各个宏块集合分配目标比特RiT,i表示第i个宏块集:
R i T = = ζ i ω i log σ i 2 ζ i + ζ i ω i R Σ i = 1 S ζ i ω i - ζ i ω i Σ i = 1 S ζ i ω i log σ i 2 ζ i Σ i = 1 S ζ i ω i - - - ( 10 )
式5中R表示信道带宽,ζi=θii,其中αi为常数;σi 2为DCT系数的方差,θi=Ri/(1-ρi),其中ρi表示DCT系数零系数的比重,Ri表示第i个宏块集的实际编码比特,ρi、θi和σi均可从编码过程中计算得到,ωi为加权系数,感兴趣区域赋予较大的ωi
2.ROI初始量化参数的计算采用Rho域的率失真函数:
Ri T(ρ)=θi p·(1-ρi)               (11)
式中Ri T(ρ)表示前面计算得到的当前宏块集的目标比特,ρi表示DCT系数零系数的比重,θi是一个与图像复杂度有关的常数,θi p表示下一帧对应宏块集θi的预测值:
θ i p = R i l - 1 384 · N i m - ρ i l - 1 - - - ( 12 )
式中Ni m表示当前宏块集中包含的宏块个数,Ri l-1和ρi l-1分别表示前一帧对应宏块集的实际编码比特和DCT零系数的比重;根据式6,可以得到下一帧的目标ρi值,经过[8,9]定义的ρ-QP对应关系,得到感兴趣区域的量化参数值;
四、宏块量化参数的进一步调整
在实际编码过程中,宏块累计编码比特与目标比特之间存在偏差,为了达到预分配的目标比特,需要对初始量化参数进行调整;根据当前宏块实际累计编码比特与目标比特之间的差值,决定对应的量化参数增加值,如下式所示:
ΔQP=(abs(ttCodedBits-targetBits))>>Offset;            (13)
其中ttCodedBits表示当前宏块累计编码比特;targetBits表示当前宏块累计目标比特;Offset为一个实验得到的常数,通常设置为5。
CN 201010256567 2010-08-18 2010-08-18 一种基于感兴趣区域的视频编码方法 Expired - Fee Related CN101945275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010256567 CN101945275B (zh) 2010-08-18 2010-08-18 一种基于感兴趣区域的视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010256567 CN101945275B (zh) 2010-08-18 2010-08-18 一种基于感兴趣区域的视频编码方法

Publications (2)

Publication Number Publication Date
CN101945275A true CN101945275A (zh) 2011-01-12
CN101945275B CN101945275B (zh) 2012-10-24

Family

ID=43437003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010256567 Expired - Fee Related CN101945275B (zh) 2010-08-18 2010-08-18 一种基于感兴趣区域的视频编码方法

Country Status (1)

Country Link
CN (1) CN101945275B (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547293A (zh) * 2012-02-16 2012-07-04 西南交通大学 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
WO2012129724A1 (zh) * 2011-03-30 2012-10-04 通用电气公司 基于图像内容的自动亮度检测方法与装置
CN103581603A (zh) * 2012-07-24 2014-02-12 联想(北京)有限公司 一种多媒体数据的传输方法及电子设备
CN103607590A (zh) * 2013-11-28 2014-02-26 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN103634601A (zh) * 2013-12-02 2014-03-12 国家广播电影电视总局广播科学研究院 基于结构相似度的高效视频编码感知码率控制优化方法
CN104754333A (zh) * 2015-03-09 2015-07-01 湖南国科微电子有限公司 一种用于监控场景的运动预估计方法
TWI496109B (zh) * 2013-07-12 2015-08-11 Vivotek Inc 影像處理器及其影像合成方法
CN105407352A (zh) * 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
CN106162184A (zh) * 2016-07-28 2016-11-23 华为技术有限公司 一种数据块编码方法及装置
CN106331711A (zh) * 2016-08-26 2017-01-11 北京工业大学 一种基于网络特征与视频特征的动态码率控制方法
CN106331750A (zh) * 2016-10-08 2017-01-11 中山大学 一种基于感兴趣区域的云游戏平台自适应带宽优化方法
CN106713915A (zh) * 2015-11-16 2017-05-24 三星电子株式会社 对视频数据进行编码的方法
CN106791856A (zh) * 2016-12-28 2017-05-31 天津天地伟业生产力促进有限公司 一种基于自适应感兴趣区域的视频编码方法
CN108419081A (zh) * 2018-03-28 2018-08-17 佛山市顺德区中山大学研究院 一种基于特征的帧间编码方法
CN109246434A (zh) * 2018-11-16 2019-01-18 联想(北京)有限公司 视频编码、解码方法及电子设备
CN109862356A (zh) * 2019-01-17 2019-06-07 中国科学院计算技术研究所 一种基于感兴趣区域的视频编码方法及系统
CN109982082A (zh) * 2019-05-05 2019-07-05 山东大学深圳研究院 一种基于局部纹理特性的hevc多失真准则率失真优化方法
CN110062230A (zh) * 2019-04-29 2019-07-26 湖南国科微电子股份有限公司 图像编码方法及装置
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110225355A (zh) * 2019-06-22 2019-09-10 衢州光明电力投资集团有限公司赋腾科技分公司 基于感兴趣区域的高性能视频编码帧内预测优化方法
CN110267037A (zh) * 2019-06-21 2019-09-20 腾讯科技(深圳)有限公司 视频编码方法、装置、电子设备及计算机可读存储介质
CN110572579A (zh) * 2019-09-30 2019-12-13 联想(北京)有限公司 图像处理方法、装置及电子设备
CN110602495A (zh) * 2019-08-20 2019-12-20 深圳市盛世生物医疗科技有限公司 一种医学图像编码方法及装置
CN110830757A (zh) * 2018-08-07 2020-02-21 浙江宇视科技有限公司 图像码率处理方法、装置及计算机可读存储介质
WO2020107288A1 (zh) * 2018-11-28 2020-06-04 Oppo广东移动通信有限公司 视频编码优化方法、装置及计算机存储介质
CN111683248A (zh) * 2020-04-30 2020-09-18 北京奥维视讯科技有限责任公司 基于roi的视频编码方法以及视频编码系统
CN111918066A (zh) * 2020-09-08 2020-11-10 北京字节跳动网络技术有限公司 视频编码方法、装置、设备及存储介质
CN112771859A (zh) * 2019-06-04 2021-05-07 深圳市大疆创新科技有限公司 基于感兴趣区域的视频数据编码方法、装置和存储介质
CN112801932A (zh) * 2019-10-28 2021-05-14 深圳市万普拉斯科技有限公司 图像显示方法、装置、电子设备和存储介质
CN112866683A (zh) * 2021-01-07 2021-05-28 中国科学技术大学 基于视频前处理及转码的质量评估方法
CN113810720A (zh) * 2021-08-09 2021-12-17 北京博雅慧视智能技术研究院有限公司 一种图像处理方法、装置、设备及介质
WO2022061728A1 (en) * 2020-09-25 2022-03-31 Alibaba Group Holding Limited System and method for region of interest quality controllable video coding
CN114786037A (zh) * 2022-03-17 2022-07-22 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法
CN115314722A (zh) * 2022-06-17 2022-11-08 百果园技术(新加坡)有限公司 一种视频码率分配方法、系统、设备及存储介质
CN117714697A (zh) * 2024-02-05 2024-03-15 卓世未来(成都)科技有限公司 数字人视频显示方法及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI538487B (zh) 2013-12-05 2016-06-11 財團法人工業技術研究院 螢幕視訊之預測編碼的方法與系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520189A (zh) * 2003-01-30 2004-08-11 三星电子株式会社 冗余图像编解码的方法与装置
US20070036227A1 (en) * 2005-08-15 2007-02-15 Faisal Ishtiaq Video encoding system and method for providing content adaptive rate control
CN101325711A (zh) * 2008-07-16 2008-12-17 上海大学 基于时空掩盖效应的自适应码率控制方法
CN101534444A (zh) * 2009-04-20 2009-09-16 杭州华三通信技术有限公司 一种图像处理方法、系统和装置
CN101595736A (zh) * 2006-12-15 2009-12-02 汤姆森特许公司 失真度估算

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520189A (zh) * 2003-01-30 2004-08-11 三星电子株式会社 冗余图像编解码的方法与装置
US20070036227A1 (en) * 2005-08-15 2007-02-15 Faisal Ishtiaq Video encoding system and method for providing content adaptive rate control
CN101595736A (zh) * 2006-12-15 2009-12-02 汤姆森特许公司 失真度估算
CN101325711A (zh) * 2008-07-16 2008-12-17 上海大学 基于时空掩盖效应的自适应码率控制方法
CN101534444A (zh) * 2009-04-20 2009-09-16 杭州华三通信技术有限公司 一种图像处理方法、系统和装置

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012129724A1 (zh) * 2011-03-30 2012-10-04 通用电气公司 基于图像内容的自动亮度检测方法与装置
CN103460254A (zh) * 2011-03-30 2013-12-18 通用电气公司 基于图像内容的自动亮度检测方法与装置
CN103460254B (zh) * 2011-03-30 2017-03-22 通用电气公司 基于图像内容的自动亮度检测方法与装置
US9330333B2 (en) 2011-03-30 2016-05-03 General Electric Company Method and apparatus for image content-based automatic brightness detection
CN102547293B (zh) * 2012-02-16 2015-01-28 西南交通大学 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法
CN102547293A (zh) * 2012-02-16 2012-07-04 西南交通大学 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
CN103581603A (zh) * 2012-07-24 2014-02-12 联想(北京)有限公司 一种多媒体数据的传输方法及电子设备
TWI496109B (zh) * 2013-07-12 2015-08-11 Vivotek Inc 影像處理器及其影像合成方法
CN103607590A (zh) * 2013-11-28 2014-02-26 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN103607590B (zh) * 2013-11-28 2017-04-05 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN103634601A (zh) * 2013-12-02 2014-03-12 国家广播电影电视总局广播科学研究院 基于结构相似度的高效视频编码感知码率控制优化方法
CN103634601B (zh) * 2013-12-02 2017-01-18 国家广播电影电视总局广播科学研究院 基于结构相似度的高效视频编码感知码率控制优化方法
CN104754333A (zh) * 2015-03-09 2015-07-01 湖南国科微电子有限公司 一种用于监控场景的运动预估计方法
CN106713915B (zh) * 2015-11-16 2021-11-30 三星电子株式会社 对视频数据进行编码的方法
CN106713915A (zh) * 2015-11-16 2017-05-24 三星电子株式会社 对视频数据进行编码的方法
WO2017088258A1 (zh) * 2015-11-23 2017-06-01 小米科技有限责任公司 图像压缩方法、装置及服务器
RU2653314C2 (ru) * 2015-11-23 2018-05-07 Сяоми Инк. Способ и устройство сжатия изображений и сервер
CN105407352A (zh) * 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
US11019343B2 (en) 2016-07-28 2021-05-25 Huawei Technologies Co., Ltd. Data block encoding method and apparatus
CN106162184A (zh) * 2016-07-28 2016-11-23 华为技术有限公司 一种数据块编码方法及装置
CN106331711B (zh) * 2016-08-26 2019-07-05 北京工业大学 一种基于网络特征与视频特征的动态码率控制方法
CN106331711A (zh) * 2016-08-26 2017-01-11 北京工业大学 一种基于网络特征与视频特征的动态码率控制方法
CN106331750A (zh) * 2016-10-08 2017-01-11 中山大学 一种基于感兴趣区域的云游戏平台自适应带宽优化方法
CN106331750B (zh) * 2016-10-08 2019-04-30 中山大学 一种基于感兴趣区域的云游戏平台自适应带宽优化方法
CN106791856A (zh) * 2016-12-28 2017-05-31 天津天地伟业生产力促进有限公司 一种基于自适应感兴趣区域的视频编码方法
CN108419081A (zh) * 2018-03-28 2018-08-17 佛山市顺德区中山大学研究院 一种基于特征的帧间编码方法
CN108419081B (zh) * 2018-03-28 2020-06-05 佛山市顺德区中山大学研究院 一种基于特征的帧间编码方法
CN110830757A (zh) * 2018-08-07 2020-02-21 浙江宇视科技有限公司 图像码率处理方法、装置及计算机可读存储介质
CN110830757B (zh) * 2018-08-07 2021-04-20 浙江宇视科技有限公司 图像码率处理方法、装置及计算机可读存储介质
CN109246434A (zh) * 2018-11-16 2019-01-18 联想(北京)有限公司 视频编码、解码方法及电子设备
WO2020107288A1 (zh) * 2018-11-28 2020-06-04 Oppo广东移动通信有限公司 视频编码优化方法、装置及计算机存储介质
CN109862356A (zh) * 2019-01-17 2019-06-07 中国科学院计算技术研究所 一种基于感兴趣区域的视频编码方法及系统
CN109862356B (zh) * 2019-01-17 2020-11-10 中国科学院计算技术研究所 一种基于感兴趣区域的视频编码方法及系统
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110062230B (zh) * 2019-04-29 2022-03-25 湖南国科微电子股份有限公司 图像编码方法及装置
CN110062230A (zh) * 2019-04-29 2019-07-26 湖南国科微电子股份有限公司 图像编码方法及装置
CN109982082A (zh) * 2019-05-05 2019-07-05 山东大学深圳研究院 一种基于局部纹理特性的hevc多失真准则率失真优化方法
CN109982082B (zh) * 2019-05-05 2022-11-15 山东大学 一种基于局部纹理特性的hevc多失真准则率失真优化方法
CN112771859A (zh) * 2019-06-04 2021-05-07 深圳市大疆创新科技有限公司 基于感兴趣区域的视频数据编码方法、装置和存储介质
CN110267037A (zh) * 2019-06-21 2019-09-20 腾讯科技(深圳)有限公司 视频编码方法、装置、电子设备及计算机可读存储介质
CN110267037B (zh) * 2019-06-21 2021-08-13 腾讯科技(深圳)有限公司 视频编码方法、装置、电子设备及计算机可读存储介质
CN110225355A (zh) * 2019-06-22 2019-09-10 衢州光明电力投资集团有限公司赋腾科技分公司 基于感兴趣区域的高性能视频编码帧内预测优化方法
CN110602495A (zh) * 2019-08-20 2019-12-20 深圳市盛世生物医疗科技有限公司 一种医学图像编码方法及装置
CN110572579A (zh) * 2019-09-30 2019-12-13 联想(北京)有限公司 图像处理方法、装置及电子设备
CN112801932A (zh) * 2019-10-28 2021-05-14 深圳市万普拉斯科技有限公司 图像显示方法、装置、电子设备和存储介质
CN111683248B (zh) * 2020-04-30 2022-04-22 北京奥维视讯科技有限责任公司 基于roi的视频编码方法以及视频编码系统
CN111683248A (zh) * 2020-04-30 2020-09-18 北京奥维视讯科技有限责任公司 基于roi的视频编码方法以及视频编码系统
CN111918066B (zh) * 2020-09-08 2022-03-15 北京字节跳动网络技术有限公司 视频编码方法、装置、设备及存储介质
CN111918066A (zh) * 2020-09-08 2020-11-10 北京字节跳动网络技术有限公司 视频编码方法、装置、设备及存储介质
WO2022061728A1 (en) * 2020-09-25 2022-03-31 Alibaba Group Holding Limited System and method for region of interest quality controllable video coding
CN112866683A (zh) * 2021-01-07 2021-05-28 中国科学技术大学 基于视频前处理及转码的质量评估方法
CN113810720A (zh) * 2021-08-09 2021-12-17 北京博雅慧视智能技术研究院有限公司 一种图像处理方法、装置、设备及介质
CN114786037B (zh) * 2022-03-17 2024-04-12 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法
CN114786037A (zh) * 2022-03-17 2022-07-22 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法
CN115314722A (zh) * 2022-06-17 2022-11-08 百果园技术(新加坡)有限公司 一种视频码率分配方法、系统、设备及存储介质
WO2023241376A1 (zh) * 2022-06-17 2023-12-21 广州市百果园信息技术有限公司 一种视频码率分配方法、系统、设备及存储介质
CN115314722B (zh) * 2022-06-17 2023-12-08 百果园技术(新加坡)有限公司 一种视频码率分配方法、系统、设备及存储介质
CN117714697A (zh) * 2024-02-05 2024-03-15 卓世未来(成都)科技有限公司 数字人视频显示方法及设备
CN117714697B (zh) * 2024-02-05 2024-04-23 卓世未来(成都)科技有限公司 数字人视频显示方法及设备

Also Published As

Publication number Publication date
CN101945275B (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
CN101945275B (zh) 一种基于感兴趣区域的视频编码方法
CN101395923B (zh) 用于在图像信号编码中为图像中的像素块组确定比特分配的方法及设备
Jiang et al. Low-delay rate control for real-time H. 264/AVC video coding
CN102868883B (zh) 一种视频编码的码率控制方法
CN1794815A (zh) 产生对图像或图像序列进行编码的量化矩阵的方法和设备
CN101854531B (zh) 一种多通道视频联合码率控制方法
Ahmad et al. On using game theory to optimize the rate control in video coding
Yang et al. A novel rate control scheme for video coding in HEVC-SCC
Fani et al. Novel PID-fuzzy video rate controller for high-delay applications of the HEVC standard
CN101184239A (zh) 一种恒定码率的控制方法
Chen et al. A reformative frame layer rate control algorithm for H. 264
CN103067720B (zh) 一种基于h.264视频编码标准的宏块层码率控制方法
Lee et al. Scene adaptive bit-rate control method on MPEG video coding
Zhang et al. A two-pass rate control algorithm for H. 264/AVC high definition video coding
Ji et al. A perceptual macroblock layer power control for energy scalable video encoder based on just noticeable distortion principle
Sun et al. A rate control algorithm for wireless video transmission using perceptual tuning
Pitrey et al. rho-domain based rate control scheme for spatial, temporal, and quality scalable video coding
Pai et al. MPEG-4 constant-quality constant-bit-rate control algorithms
US8711927B2 (en) System and method for video encoding
An et al. Adaptive Lagrange multiplier selection using classification-maximization and its application to chroma QP offset decision
Pietrasiewicz et al. Rate Control for Multi-Sequence H. 264/AVC Compression
Rao et al. Optimizing algorithms for region-of-interest video compression, with application to mobile telehealth
CN101217656A (zh) 一种基于手机电视的恒定码率控制方法
Pastuszak et al. Multi-sequence H. 264/AVC Rate Control Based on the Linear Model
Zhang et al. Two-pass rate control for constant quality H. 264/AVC high definition video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121024

Termination date: 20190818

CF01 Termination of patent right due to non-payment of annual fee