背景技术
最近以来,为了缩小数字视频或音频的存储及传输容量,使用象MPEG等的编码设备。特别是在被压缩的比特流状态下,视频检索,画中画(例:PIP),视频结合,视频编辑,比特率传输转换等多种应用成为需要后,对具有特定比特率的MPEG比特流,转换为另一种比特率的影像转换编码方式变得很需要。比如,将JPEG(Joint Photographic Coding Experts Group—联合图像专家组)方式的比特流,转换成MPEG比特流;将数字摄像放像机的数字DV(digital video-数字视频)格式,转换为MPEG比特流;或是将高画质HD(High Definition-高清晰度)级MPEG比特流,转换为低画质的SD(Standard Definition-标准清晰度)级MPEG比特流方式等。
图1是一般影像转换编码装置结构的框图。它由解码部(10),帧存储部(20),编码部(30),比特率控制部(50)构成。解码部(10)由下列部分构成,即:有接收视频比特流之后,进行可变长度解码(Variable LengthDecoding;VLD)的VLD(11)部;对上述VLD的离散余弦转换(DCT)系数,进行逆量化(Inverse Quantized;IQ)的逆量化部(12);对逆量化的离散余弦变换系数,进行反离散余弦转换(Inverse Discrete CosineTransform;IDCT)的IDCT部分(13);对逆离散余弦变换数据和运动补偿数据,进行加法运算的加法器(14);为了对加法器(14)的输出进行运动补偿而对它们进行存储的存储器(15);利用存储器(15)中储存的数据和由VLD部分(11)输出的运动矢量,进行运动补偿后,将它输出到加法器(14)的运动补偿部(16)。在这里,加法器(14)的输出,为进行运动补偿,将存入到存储器(15);同时为进行影像转换编码,还将存入到存储器(20)。另外,编码部(30)是为了将解码部(10)的输出转换为另一比特率而设置的。它由下列部分构成;即:从帧存储器(20)的输出数据中减去运动补偿数据的减法运算用减法器(31);对减法器(31)输出进行离散余弦变换的DCT部(32);对在DCT部(32)中已经进行了离散余弦变换的系数再进行量化的量化部(33);对量化离散余弦变换系数进行可变长度编码(Variable Length Coding;VLC)的VLC部(34);对量化的离散余弦变换系数进行逆量化的IQ部(35);对在IQ部(35)中已经进行了逆量化的系数再进行逆离散余弦变换的IDCT部(36);对在IDCT部(36)中已经进行逆离散余弦变换的数据和运动补偿数据,再进行加法运算的加法器(37);为运动补偿需要对加法器(37)的输出进行存储的存储器(38);对存储器(38)中存入的数据,进行运动补偿后,把它输出到减法器(31)和加法器(37)的运动补偿部(39);以及由于进行了可变长度编码的数据长度不均匀,将对可变长度编码的数据暂存后,按一定速度进行输出的缓冲器(40)。比特率控制部(50)由下列部分构成,即:从缓冲器(40)接收缓冲充满度,并进行标准量化参数计算的标准量化参数计算部(51);用帧存储器(20)计算影像活化度的活化度计算部(52);根据已求的标准量化参数和已算出的活化度,生成一个在实际量化中要使用的实际量化参数,并将其输出到量化部(33)的量化参数发生部(53)。在如此构成的图1中,译码部(10)的VLD部(11),将输入的视频位流进行可变长度译码,并分离成运动矢量、量化值以及离散余弦变换(Discrete Cosine Transform)系数后,将运动矢量(MV)输出到运动补偿部(16);而量化值及离散余弦变换系数则输出到IQ部(12)。IQ部(12)将把离散余弦变换系数根据量化值进行逆量化后,输出到IDCT部(13);IDCT部(13)将逆量化的离散余弦变换系数,进行逆离散余弦变换后,输出到加法器(14)。如果,解码部(10)是一般的MPEG-2视频解码器,那么IDCT部(13)就按MPEG-2视频语法(syntax),将以8X8图像块为单位进行逆离散余弦变换。这时由MPEG规定的图像形态有I,P,B三种。 当通过IDCT部(13)所复原的数据为I图像时,是一个能够直接显示出来的完整画面;而为B,P图像时,是一个需要通过运动补偿部(16)进行运动补偿的不完整画面。也就是说,若把I图像当作为基准时,显示运动信息的运动矢量可看作“0”。如果是B,P图像,那么应利用存入在存储器(15)的前帧图像来复原成原来的画面。在这里所谓的运动矢量(Motion vector;MV)是指,为了运动补偿,从当前图像或场座标与作为基准帧的场座标之间的一个偏移(offset)的二维矢量。而且,从VLD部(11)输出的运动矢量输出到运动补偿部(16);运动补偿部(16)利用运动矢量和存储器(15)中存储的前一帧,对当前像元值进行运动补偿后,向加法器(14)输出。即,运动补偿部(16)利用存储于存储器(15)的前一帧和VLD部(13)输出的当前B或P图像运动矢量,进行单向或双向预测,将把B或P图像复原成完整的影像。加法器(14),把逆离散余弦变换的值和运动补偿值相加之后,复原成最终像元值的完整的影像,并将其存储于运动补偿用存储器(15)和影像转换编码用的帧存储器(20)。就是说,I图像时,被逆量化/逆离散余弦变换的结果,将直接存入到存储器(15,20);而P图像或B图像时,运动补偿数据和逆离散余弦变换的结果,将在加法器(14)中进行加算后,存入存储器(15,20)。这时,为了将存储器(20)中存储的影像,再次转换为低传输比特率的位流之后,存于象硬盘的存储装置时,就需要类似编码器(30)之类的视频编码设备。就是说,编码器(30)中的减法器(31),对帧存储器(20)输出的数据为I图像时,将原封不动地进行输出;而数据为P或B图像时,将用与运动补偿部(39)运动补偿数据的差值输出到DCT部(32).DCT部(32)将对输入的数据进行离散余弦变换之后,输出到量化部(33)进行量化。在这里,DCT部(32)将通过二维轴的变换来消除数据的相关性;为此将图像按像块划分后,将各个被划分的像块按离散余弦变换式进行轴变换。这样进行轴变换的数据有向一个方向(低域方向)集中的倾向;在量化部(33)中,以一定的量化间格只将对这些集中的数据进行量化后,输出到可变长度编码部(Variable Length Coding;VLC)(34)。VLC部(34)将以短码字来表示经常出现的值,用长码字来表示不常出现的值,从而减少整个的比特数。这时,在VLC部分(34)经可变长度编码的数据,将输出到缓冲器(40)。缓冲器(40)暂存可变长度编码数据后,按一定的速度向硬盘等的存储装置(Storage)输出,并计算缓冲器的充满度,输出到比特率控制部(50)。即,利用译码部(10)和编码部(30),将具有特定比特率的MPEC位流转换为另一种比特率,例如低传输的比特率后,存入存储装置。而且,在量化部(33)被量化的离散余弦变换系数,重新输入到IQ部(35)被逆量化后,输出到IDCT部(36)。IDCT部(36)将对逆量化的离散余弦变换系数进行逆离散余弦变换,并输出到加法器(37)。加法器(37)将把逆离散余弦变换值和运动补偿值,相加复原成最终像元值,即完整的影像后,为了运动补偿存入到存储器(38)。运动补偿部(39)利用从存储器(38)读出的上一帧进行运动补偿后,输出到减法器(31)和加法器(37)。另外,HDTV(高清晰度电视)传输信道的带宽是固定的,而各个影像数据因最终都得进行可变长度编码,所以数据量将随时间而不同。而且,为了按给定的传输率去调节发生的数据量,就需要位速率控制(rate control)部(50)。位速率控制部(50)主要根据缓冲器(40)的充满度(buffer fullness),改变量化部(33)的步长,调节数据发生量。即,当发生的比特数在基准值以上时,缓冲器(40)中充填的数据量会增加,为此就要加大量化步长以减少下次发生的比特数;相反,当数据发生量在基准值以下时,将减小量化步长以增加发生比特数,使缓冲器(40)的状态从整体上调节成维持一个恒定值。
这时,如果参照在ISO(International Organization forStandardization---国际标准化组织)所属机构IS/IECJTC1/SC29/WG11中正在进行的国际标准化的MPEG-2资料(文件号AVC-491,TEST MODEL5),比特率控制部(50)应履行下面三个阶段的动作。首先,第一阶段是预测复杂度,分配目标比特阶段。即根据传输比特率按GOP(Group OfPicture---图像组)单位分配一定的位速率,并在GOP内部,根据各个图像(I、P、B帧)的复杂度,将把应分的各个图像的比特分出去。
这时,I、P、B图像被编码后,I、P、B各个图像的复杂度(X)按下列数学式1求得。[数学式1]
Xi SiQi
Xp SpQp
Xb SbQb
其中,Si,Sp,Sb分别是对传输移转的I、P、B图像进行编码后发生的比特量;Qi、Qp、Qb是对各个图像的所有宏块进行编码期间使用的量化参数平均值。
初始复杂度,定为Xi=160*比特率/115,Xp=60*比特率/115,Xb=42*比特率/115。这时的比特率按比特数/秒求得。即,根据影像编码形态I、P、B图像的比特率来编码的I,P,或B图像的各目标比特(Ti、Tb、Tp),将按下列数学式2分配。[数学式2]
Ti=max{R/(1+NvXp/XiXp+NbXb/XiKb),bit_rate/8spicture_rate}
Tp=max{R/(Np+NbKpXb/KbXp),bit_rate/8spicture_rate}
T=max{R/(Nb+NpKbXp/KpXb),bit_rate/8spicture_rate}
在数学式2中,Kp、Kb是存在于量化行列中的常数,分别定为Kp=1.0,Kp=1.4;R为在GOP分配比特中,对上一图像进行编码后剩下的比特数.bitrate为(信道频道)传输率(bit/sec),picture_rate为每秒中被解码的图像数。GOP开始时的R(位速率:bit rate)值为0。并且,对每个GOP,R定为R+GOP_target,从R减去每个GOP所发生的比特量之后,将把它更新为R。在这里,G=bit rate*N/Picture_rate,N为GOP的大小。还有Np,Nb为当前在GOP内需要编码的P,B图像的数。
第2阶段为调节传输率(即,比特率)阶段。根据虚拟缓冲器(virtualbuffer)(40)的充满度去计算各个宏块的标准量化参数,按照第一阶段分配的比特,去控制各个图像的比特率,以便能去对当前的图像进行编码。在这里,假设各个图像都具有任意的虚拟缓冲器,那么将采用一种按缓冲器的状态来调节量化参数的方法。
第3阶段为适应量化阶段。求当前需要编码的宏块活化度(ACTIVITY),并使其规范化。将把这一规范化的活化度和在第2阶段求得的标准量化参数相乘,得出实际用于量化的量化参数。就是说,适应量化是提高画质的一种主观方法,是根据当前的宏块复杂度来变换标准量化参数的一个方法。
即,进行比特分配及缓冲器充满度计算的第1、第2阶段是,通过缓冲器(40)及标准量化参数计算部(51)来完成的;而进行适应量化的第3阶段是由活化度计算部(52)及量化参数发生部(53)来完成的。
具体实施方式
本发明在比特率控制部中对进行目标比特分配的第一阶段做了改善。这是在当前要被解码的MPEG-2(比特流中,对每一图像计算出实际得到编码的比特量,并利用计算结果使量化部的步长可变,借以调节数据发生量。
图2示出了采用本发明比特率控制部(600)的影像转换编码装置结构框图。位速率控制部(600)之外的结构部分,即韩国专利(2002-57525)在将HD级MPEG序列转换为NTSC级序列时,是利用被视频译码的MPEG-2参数的,因此在编码器中进行运动补偿时,可去掉运动预测过程,于是可以减少运动补偿及计算时间,并能减少硬件的复杂度。
在本发明中,只对比特率控制部(600)及计算缓冲器(40)的充满度进行说明。
比特率控制部(600)由下列部分构成,即:设有在当前要被解码的MPEG-2比特流中,对每一个图像计算出实际得到编码的比特量的图像比特计数部(601);根据从缓冲器(40)输出的缓冲充满度,计算标准量化参数的标准量化参数计算部(602);从帧存储器(300)的输出中,计算影像活化度的活化度计算部(603);根据计算出的标准量化参数和活化度,去生成在实际量化中要被使用的量化参数,并将其输出到编码器(400)之量化部(33)的量化参数发生部(604)。
这里,缓冲器(40)利用图像比特计数部(601)计算的比特量,去求需要在编码部(400)进行编码的图像目标比特数,并利用该求得的目标比特数,去计算缓冲器充满度,并将其输出到比特率控制部(600)的标准参数计算部(602)。
根据比特率来调节量化部(33)的量化参数,对保证画面质量是至关重要的。本发明利用图像比特计数器(601)来控制比特率和量化。
为此,图像比特计数器(601)具有如下功能:即在当前输入的视频位流中,检波picture_start_code的功能,和对下一个picture_start_code之间的比特进行计数的功能。那么,在图像比特计数器部(601)中计数的比特数,将成为一个去编码高清晰度影像的一图像比特数(T1<T1i,T1p,T1b)。
于是,缓冲器(40)就可以利用比特数(T1)和数学式3至数学式5,可以去预测为编码低清晰度影像用一图像的目标比特数。数学式3:T1-cER1数学式4:T2-cER2数学式5:T2=T1ER2/R1
这里,T1和R1是被传输视频比特流的一图像目标比特数和一序列比特率。而T2和R2是将要转换编码的视频比特流一个图像的目标比特数和一序列比特率。c为比例常数,它由GOP内余下的I,P,B图像个数及复杂度(complexity)构成。
这时,如果假定低清晰度影像复杂度,同高清晰度影像复杂度没有多大差别,那么可由数学式3和数学式4得到数学式5。
在这里,从MPEG比特流语法(syntax)中很容易得到R1;而R2是我们要再传输的比特率。另外,由于T1在图像比特计数器(601)中进行检波,所以当前需要编码的图像目标比特数T2也容易求得。为此,在现有的比特率控制方式中,省略了目标比特数分配部分,可以减缩了硬件。
利用T2对量化和比特率进行控制的3个阶段,具体如下:
阶段1:比特分配(Bit allocation)
首先,缓冲器(40)将用下述数学式6,去求要编码的图像目标比特数。
数学式6:T2(k) Ti(k)sR2 R1 kH{i-p-b}
上述数学式6是将数学式5一般化的式子,T1(k)是在GOP内为K-图像分配的目标比特数,将从图像比特计数器(601)中求得。阶段2)比特率控制(Rete control)
阶段2为调节传输率(即位速率)的阶段。在该阶段,控制比特率,以便按阶段1求得的目标比特数,对当前图像进行编码。
为此,缓冲器(40)利用阶段1求得的目标比特数T2,在对宏块J进行编码之前,如按下列数学式7,去求各个缓冲器的充满度。数学式7:di=di 0Bi-1-(T2iS(j-1)/MB cnt)
di=di 0Bi-1-(T2iS(j-1)/MB cnt)
db=db 0Bi-1-(T2bS(j-1)/MB cnt)
这里,d0 i,d0 p,d0 b表示各个图像的虚拟缓冲器(40)的初始充满度。这是在最先的同类图像中的比特率控制误差。即,在以前同类图像编码中发生的比特数和分配给该图像的比特数的差。Bj表示包括j在内,到目前为止对宏块进行编码时所发生的比特数。MB-cnt表示图像内总的宏块数.di,dp,db表示各个图像虚拟缓冲器(40)的充满度,而最后虚拟缓冲器(40)的充满度(di,dp,db;j=MB-cnt),被用作下一图像的初始充满度(d0 i,d0 p,d0 b)。
这样求得的缓冲器(40)的充满度dj,将输出到比特率控制部(600)的标准量化参数计算部(602)。
标准量化参数计算部(602),利用j-1宏块至的在编码时所发生的缓冲器(40)的充满度,如下列数学式8,去求出j宏块标准量化参数Qj,然后输出到量化参数发生部(604)。数学式8:Qi=(djs3l/r)
其中,数学式8的反应参数(reaction parameter)r,将按下列数学式9求得。数学式9:r=2sR2/picture-rate
阶段3:适应量化
适应量化是提高主观画面质量的方法,是将上面的标准量化参数,根据当前的宏块复杂度,加以改变的一种方法。为此,活化度(activity)计算部(603),接受帧存储器(300)的输出之后,去求当前要编码的宏块活化度actj,以活化度actj计算出规范化的活化度N-actj,并向量化参数发生部(604)输出。在这里,actj将在宏块中各个子块离散值中的最小值的代表来使用。
另外,表示各个宏块复杂度值的actj的规范化,将按下列数学式10求得:数学式10:N-actj=[(2sactj)+avg-act]/[actj+(2savg-act)]
式中,avg-act是最近编码的图像活化度actj的平均值。通常,在头一个图像中定为avg_act=400;但在本发明中,则先求出初次译码的原清晰度宏块的avg_act值,并以此设定为初始值。因而,可获得更好的画面质量。
这时,对人类视觉敏感的平坦部分,因为actj比当前图像复杂度(avg-act)全体的平均值还要小,所以N-atcj变小;而不够敏感的复杂领域,因为actj比复杂度的平均值要大,因而N-actj成了变大的一个函数。那么,量化参数发生部(604),将按下面的数学式11,把规范化的活化度N-actj和在第2阶段求得的量化标准参数Qj相乘,求出实际用于量化的宏块量化参数mquantj。数学式11:mquantj=Qj*N-actj
这里,要让mquantj值位于[1,·····,31]范围之内,并按宏块单位编码传输。如上所述,本发明利用了图像比特计数器(601),因而不但使阶段1的比特分配变得非常简单,还可有效地利用编码器(400)的比特分配信息,从而还可改善画面的质量。并且,本发明因为不需要GOP结构方面的信息,所以对每每的当前图像,能有效地实施分配比特和量化。
另外,图3示出了本发明的另一实例。它除了解码部(100)和前处理部(200)之外,跟图2的结构和动作都相同,所以对相同的方框及器件赋予了相同的符号,因而在此将省略对它们的详细说明,而只将说明一下解码部(100)。在图3解码部(100)中备有下行抽样部(701)和上行抽样部(702),因而图2的前处理部(200)就变得不必要了。
通过加法器(14)出来的被解码经宏块,如果经由下行抽样部(701),那么其清晰度缩小到1/4,按同样的比例,可将帧存储器(300)的大小也可缩小到1/4,进而存储器(300)的带宽及处理时间也可大为缩减。
此时,如果将下行抽样部(701)的下行抽样方式,利用韩国申请的专利(公开的专利号2002-9909)的话,那么帧存储器(300)将具有以场为单位的存储结构。所以,在一个序列内帧和场图像并存的条件下,将得到以场为基础的均匀抽样(down-sampling)的结果。还有,当减缩75%时,为了维持存储器内对场的信息,将亮度(Luminance)信号和色度(chrominance)信号另行分离出来进行处理。这时,在帧图像的情形下,色度信号将分成4×8像素块,而亮度信号则分成8×8大小的像素块。在隔行扫描序列(Interlaced sequence)的情形下,将能继续维持画质好的场单位的信息。
此时,通过下行抽样部(701)清晰度减少为1/4,自然地使原来解码的16×16的宏块,转换为8×8的子块。所以,输出到编码器(400)的宏块,将是把原来译码的4个宏块相加而成的一个宏块。
在图3中,I图像的转换编码过程是,经逆离散余弦变换的I图像,在下行抽样部(701)中被下行抽样之后,通过帧存储器(300)输出到编码部(400)。编码部(400)将对输入的I图像,进行离散余弦变换及量化之后,传输到VLC部(34)。这时,每个宏块被内联编码处理,而量化部(33)从比特控制部(600)接收量化参数之后,对离散余弦变换的I图像进行量化。另外,P或B图像,将对下行抽样的低清晰度影像,进行运动预测补偿。这时,因P或B图像已被下行抽样,所以将在上行抽样部(702)得到复原之后,输入到运动补偿部(16)。运动补偿部(16)按照运动类型(motion type)实行帧预测(frame prediction)和场预测(field prediction)。而且,被预测补偿的影像和被逆离散余弦变换的影像之和,在下行抽样部(701)下行抽样后,通过帧存储器(300)输入到编码部(400)。编码部(400)将对在运动补偿部(39)被预测补偿的影像与当前被下行抽样的低清晰度影像之差,进行离散余弦变换和量化,并传输到VLC部(34)。
因此,本发明能长期储存由数字VCR(盒式录像机)或DTV(数字电视机)机顶盒传输过来的MPE-2比特流,并能将高比特率的HD(高清晰度)级或SD(标准清晰度)级的视频信号,转换为低比特率位流。而且,本发明可以内置于电视机中或STB(机顶盒)形态的设备中。
另外,本发明对具有内置用存储存装置的数字电视或数字盒式录像机等应用领域来说是必须的一项技术,可在高性能视频录像及数字电视上,同其它公司进行技术竞争方面带来很大的效果。另外,本发明还可适用于各种视频服务设备或个人视频录像等设备的应用。
特别是本发明的比特率控制部分,可适用于将具有特定比特率的视频信号,转换为另一种比特率来进行传输的所有影像转换编码装置。
通过以上说明,如果是同行人都可知道,在不离本发明技术思想的范围内,可以进行多样的变更及修改。本发明的技术范围,并不限定在实例中记述的内容,而是以专利申请的权利要求范围来确定。