CN1301015C - 适应性降低画面速率视讯转换编码系统 - Google Patents

Abstract

本发明是提出一种适应性降低画面速率视讯转换编码系统，是用以转换一影像群组结构的影音资料流，其中该影像群组的每一影像是由复数个巨集区块所组成，该系统主要包括一切换装置、一可变长度解码器、一移动向量补偿装置、一存储装置及一解码及编码装置。移动向量补偿装置可依据输入影像类型分别计算输出的巨集区块的移动向量，以避免公知技术无法对常见的I、P及B影像类型的视讯资料做完整的降低画面速率转换编码，而可完整且快速处理影像视讯转码，省略减少转码的计算量，加速转码过程。

Description

适应性降低画面速率视讯转换编码系统

技术领域

本发明是关于视讯转换编码的技术，尤指一种适应性降低画面速率视讯转换编码系统。

背景技术

一般在传送一影音资料流时，由于网络频宽的限制，往往需将该影音资料流进行视讯转换编码(video trasncoding)，以转换成一降低页框更新率(reduced frame-rate)的影音资料流，以便在一壅塞的网络中传送。也就是说，在视讯转换编码中，常把动态影像压缩资料的每秒播放张数(frame-rate)减少成另一个动态影像压缩资料，也就是降低画面速率，用来降低资料的位元率(bit-rate)，以因应频宽不足的视讯传输需求。

图1是一视讯转换编码系统(video transcoder)的方块图，其是先将一动态影像压缩资料使用一解码装置110以完全将该影像资料解出来，然后去掉不要的影像，再使用一编码装置120将一张张的影像重新压缩编码，而达到降低画面速率(frame-rate)，然而，此种作法非常耗费时间，因为编码时需执行预估移动向量(motion vector estimation)的步骤。

针对执行预估移动向量耗费时间的问题，一种作法是重复利用原本输入的巨集区块(macroblock)移动向量(motion Vector)资料的方法，来做视讯转换编码。图2是其系统方块图，其利用一可变长度解码器以计算原本输入的巨集区块(macroblock)的移动向量，再将移动向量储存至一存储装置，以供编码时一移动向量补偿装置使用。然而该公知技术只针对I以及P影像类型作降低画面速率的转换编码，无法对常见的I、P以及B影像类型的视讯资料做完整的降低画面速率转换编码，故不能完整且快速执行降低画面速率的视讯转换编码，因此，公知视讯转换编码的设计仍有诸多缺点而有予以改进的必要。

发明内容

本发明的目的是在提供一种适应性降低画面速率视讯转换编码系统，以避免公知技术无法对常见的I、P以及B影像类型的视讯资料做完整的降低画面速率转换编码，而可完整且快速处理影像视讯转码，省略减少转码的计算量，加速转码过程。

为实现上述目的，本发明提出一种适应性降低画面速率视讯转换编码系统，是用以转换一影像群组结构的影音资料流，其中该影像群组的每一影像是由复数个巨集区块所组成，该系统包括：

一切换装置，用以输入该影音资料流，并由该输入之影音数据流中，每隔N张影像中选取一张影像，让其通过以降低画面速率，其中，N为正整数；

一可变长度解码器，耦合至该切换装置，以撷取影像中每一巨集区块的移动向量；

一移动向量补偿装置，依据输入影像I、P、B画面之间的前后顺序所定义的类型分别计算输出的巨集区块的移动向量；

一存储装置，耦合至该移动向量补偿装置，储存该移动向量补偿装置所计算的移动向量；

一解码及编码装置，耦合至该切换装置，以对该切换装置所通过的影像使用移动向量技术予以解码，再依据该移动向量补偿装置所算出的移动向量，对已解码的影像重新编码。

所述的适应性降低画面速率视讯转换编码系统，其中该解码及编码装置包含一第一反量化装置及一第二反量化装置，其步阶是互相独立。

所述的适应性降低画面速率视讯转换编码系统，其中该切换装置通过的前一张影像为I或P类型，而此次通过的影像为P类型。

所述的适应性降低画面速率视讯转换编码系统，其中该切换装置通过的前一张影像为I或P类型，而此次通过的影像为B类型。

所述的适应性降低画面速率视讯转换编码系统，其中该切换装置通过的前一张影像为B类型，而此次通过的影像为B类型。

所述的适应性降低画面速率视讯转换编码系统，其中该切换装置通过的前一张影像为B类型，而此次通过的影像为P类型。

由上述说明可知，本发明技术是使用简化的降低画面速率的视讯转换编码架构，可以快速处理降低画面速率的视讯转换编码。同时可依据输入影像类型I、P以及B，提出四种转换的类别，分别计算输出的巨集区块与区块(block)移动向量的方法，以避免公知技术无法对常见的I、P以及B影像类型的视讯资料做完整的降低画面速率转换编码，故可完整且快速处理影像视讯转码，省略减少转码的计算量，而加速转码过程。

附图说明

图1是一公知视讯转换编码系统(transcoder)的方块图；

图2是另一公知视讯转换编码系统(transcoder)的方块图；

图3是本发明的适应性降低画面速率视讯转换编码系统的方块图；

图4是本发明切换装置执行时的示意图；

图5是本发明输入欲编码影像的类型分类的示意图；

图6是本发明第一类型影像在一MPEG4动态影像压缩资料中的示意图；

图7是本发明第二、第三、及第四类型影像在一MPEG4动态影像压缩资料中的示意图；

图8是本发明使用一双向式主导向量选取方法对第一类型影像进行巨集区块移动向量的选取与计算的示意图；

图9是本发明使用一双向式主导向量选取方法对第二类型影像进行巨集区块移动向量的选取与计算的示意图；

图10是本发明使用一双向式主导向量选取方法对第三类型影像进行巨集区块移动向量的选取与计算的示意图。

具体实施方式

图3显示本发明的适应性降低画面速率视讯转换编码系统的方块图，该系统包含一第一反量化装置305、一切换装置310、一可变长度解码器315、一离散余弦变换装置320、一移动向量补偿装置325、一存储装置330、一量化装置335、一第二反量化装置340、一反离散余弦变换装置345、及一可变长度编装置350，该系统较公知的串联式的视讯转换编码架构(如图1所示)简化，省去了一个反离散余弦变换装置。

当本发明的适应性降低画面速率视讯转换编码系统接收传送的动态影像压缩资料后，直接进行位元长度解码，以将一维化的资料转换成二维的矩阵，然后由该第一反量化装置305执行反量化，同时输入的动态影像压缩资料经过该可变长度解码器315解码出巨集区块(marcoblock)的移动向量资料(motion vector)，是先存在该存储装置330中，等待编码时再利用这些移动向量资料进行区块移动向量的计算。

该切换装置310是作为降低画面速率的开关，其依据网络流量(一法则)以决定打开或关闭，可每隔N张影像中选取一张影像，并让其通过以降低画面速率。如图4所示，当输入的影像是要跳过不编码的，该切换装置310就会打开，不让影像资料继续进入该第一反量化装置305，当输入的影像是要编码的，该切换装置310就会关闭，让影像资料进入该第一反量化装置305继续进行编码。

MPEG编码是以区块为基础的动态补偿(block-based motioncompensation)方法，利用前面其中一画面或后面其中一画面至目前画面内容的预测(prediction)，或是由前面其中一画面其下移画面或后面其中一画面至目前画面内容的内插预测(interpolation prediction)，来预测其移动向量的误差值。若为I画面，则信号直接经过离散余弦转换，若为P画面或B画面，则信号经过该移动向量补偿装置325来计算移动向量(Motioil Vector)及随后的移动补偿(Motion CompenSation)。

其后，再利用该离散余弦变换装置320执行一离散余弦变换，将空间信号转换成频率信号，以除去空间上的相关性。转换后的频率讯号根据画面编码模式相对应的量化矩阵(Quantization matrix)进行量化程序，其是由该量化装置335执行一量化程序并略除不重要的资讯，以减低数值的动态的区域。因为量化后的矩阵是二维矩阵，所以随后将量化后的二维资料扫描成一维资料。最后经由该可变长度编装置350执行一可变长度编后，与动态向量复合产生视讯压缩编码。

本发明的移动向量补偿装置325使用一双向式主导向量选取方法进行计算巨集区块及区块移动向量，用以作为编码输出的动态影像压缩资料。

该双向式主导向量选取方法将输入的影像，依照目前以及前一张输入欲编码影像的类型分类成四种类型，如图5所示，当前一张输入欲编码影像为I画面或P书面，且目前输入欲编码影像为P画面，则该目前输入欲编码影像为第一类型。当前一张输入欲编码影像为I画面或P画面，且目前输入欲编码影像为B画面，则该目前输入欲编码影像为第二类型。

当前一张输入欲编码影像为B画面，且目前输入欲编码影像为B画面，则该目前输入欲编码影像为第三类型。当前一张输入欲编码影像为B画面，且目前输入欲编码影像为P画面，则该目前输入欲编码影像为第四类型。

图6是第一类型影像在一MPEG4动态影像压缩资料中的示意图，该输入的动态影像压缩资料符合MPEG-4 Advance Simple Profile标准，其中M＝3，Intra period＝15。如图6所示，欲得每6张输入影像时，就要舍弃5张影像的动态影像压缩资料。以编码输出的影像frame(2-out)来看，所对应的输入影像是frame(7-in)，是属于P类型的影像，前一张输入欲编码影像是frame(1-in)，是属于I类型的影像，根据图5所示，frame(2-out)为第一类型影像。

图7是第二、三、及四类型影像在一MPEG4动态影像压缩资料中的示意图，该输入的动态影像压缩资料符合MPEG-4Advance SimpleProfile标准，其中M＝3，Intra period＝15。如图7所示，欲得每4张输入影像就舍弃3张影像的动态影像压缩资料。以编码输出的影像frame(2-out)来看，所对应的输入影像是frame(5-in)，属于B类型的影像，前一张输入欲编码影像是frame(1-in)，是属于I类型的影像，根据图5所示，frame(2-out)为第二类型影像。以编码输出的影像frame(3-out)来看，所对应的输入影像是frame(9-in)，属于B类型的影像，前一张输入欲编码影像是frame(5-in)，是属于B类型的影像，frame(3-out)为第三类型影像。以编码输出的影像frame(4-out)来看，所对应的输入影像是frame(13-in)，属于P类型的影像；前一张输入欲编码影像是frame(9-in)，属于P类型的影像，frame(4-out)为第四类型影像。

图8是本发明的移动向量补偿装置325使用一双向式主导向量选取方法，对第一类型影像进行巨集区块移动向量的选取与计算的示意图。依据图6所示，输入影像只需转码I以及P类型的影像，所有B类型的影像都被省略。当输入影像frame(7-in)要转码到输出影像frame(2-out)时，根据图7，要计算frame(2-out)在MB(1，0)₇相同位置的巨集区块移动向量，其可先解出MB(1，0)₇的移动向量MV_t(f，7-4)。这个移动向量MV_t(f，7-4)是由MB(1，0)₇往前指向输入影像frame(4-in)的参考区块，该参考区块重叠在frame(4-in)中的四个巨集区块中，其中重叠在MB(0’，0’)₄的部分是最大，故选择MB(0’，0’)₄为主导巨集区块(dominant macroblock)。MB(0’，0’)₄属于P类型的影像，故亦有指向frame(1-in)的移动向量资料MV_t(f，4-1)，依据公式(1)可得主导向量MV_T(f，7-1)：

MV_T(f，7-1)＝MV_t(f，7-4)+MV_t(f，4-1)               (1)

这个主导向量MV_T(f，7-1)亦即为输出影像frame(2-out)与输入影像frame(7-in)中MB(1，0)₇相同位置的巨集区块的移动向量。

图9是本发明的移动向量补偿装置325使用一双向式主导向量选取方法，对第二类型影像进行巨集区块移动向量的选取与计算的示意图。依据图7所示，输入影像frame(5-in)转码到输出影像frame(2-out)，frame(5-in)是一个B类型的影像，根据图9所示，巨集区块MB(0，0)₅有两个移动向量，一个是向前的向量MV_t(f，5-4)，另一个是向后的向量MV_t(b，5-7)，须由这两个向量取出一个比较适合的向量，用来计算主导向量。首先先考虑MV_t(f，5-4)，这个向量指向frame(4-in)的参考区块，该参考区块重叠在frame(4-in)中的四个巨集区块，重叠在MB(0’，0’)₄的部分是最大，重叠的部分比例等于R_(5-4)，其大小如式子(2)所示：

$R_{(5-4)}=\frac{a\×b}{w\×w}---\left(2\right)$

其次，再来考虑向后的向量MV_t(b，5-7)，这个向量指向frame(7-in)的参考区块，该参考区块重叠在frame(7-in)中的四个巨集区块，重叠在MB(1”，0”)₇的部分是最大，重叠的部分比例等于 $R_{(5-7)}(=\frac{e\×f}{w\×w}),$ 因为frame(7-in)是P类型的影像，所以若MB(1”，0”)7有移动向量资料MV_t(7-4)时，这个向量所指向frame(4-in)的参考区块重叠在MB(1’，1’)₄的部分最大，重叠的部分比例等于 $R_{(7-4)}(=\frac{c\×d}{w\×w}).$ 故由式子(3)即可决定最大的重叠部分值，相对应的巨集区块就是主导巨集区块。

max(R_(5-4)，R_(5-7)×R_(7-4))                        (3)

若R_(5-4)大于R_(5-7)×R_(7-4)，主导巨集区块为MB(0’，0’)₄，若MB(0’，0’)₄有一个移动向量资料MV _t(f，4-1)，由式子(4-1)可以得到主导向量MV_T(f，5-1)：

MV_T(f，5-1)＝MV_t(f，5-4)+MV_t(f，4-1)             (4-1)

这个向量为输出影像frame(2-out)与输入影像frame(5-in)中MB(0，0)₅相同位置的巨集区块的移动向量。

若R_(5-7)×R_(7-4)大于R_(5-4)，主导巨集区块为MB(1”，0”)₇，若MB(1”，0”)₇有移动向量资料MV_t(f，7-4)时，这个向量所指向frame(4-in)的参考区块重叠在MB(1’，1’)₄，若MB(1’，1’)₄有一个移动向量资料MV_t1(f，4-1)，由式子(4-2)可以得到主导向量MV_T(f，5-1)：

MV_T(f，5-1)＝MV_t(b，5-7)+MV_t(f，7-4)+MV_t1(f，4-1)，    (4-2)

这个向量为输出影像frame(2-out)与输入影像frame(5-in)中MB(0，0)₅相同位置的巨集区块的移动向量。

图10是本发明的移动向量补偿装置325使用一双向式主导向量选取方法来对第三类型影像进行巨集区块移动向量的选取与计算的示意图。依据图7所示输入影像frame(9-in)要转码到输出影像frame(3-out)，frame(9-in)是一个B类型的影像，根据图10所示，巨集区块MB(0，0)₉有两个移动向量，一个是向前的向量MV_t(f，9-7)，另一个是向后的向量MV_t(b，9-10)，依据前述双向式主导向量选取方法对第二类型影像进行巨集区块移动向量的选取与计算，由这两个向量取出一个比较适合的向量MV_t(f，9-7)，用来计算主导向量。由于输出影像frame(3-out)的移动向量是指向输出影像frame(2-out)，frame(2-out)是由输入影像frame(5-in)编码而来，所以必须先计算frame(7-in)的巨集区块指向frame(5-in)的移动向量。在frame(5-in)中，与frame(7)中的MB(0’，1’)₇巨集区块的相同位置处为MB(0，1)₅巨集区块，而MB(0”，1)₅巨集区块有一个向前的移动向量MV_t(f，5-4)指向frame(4-in)，我们可以由公式(5)得到MB(0’，1’)₇指向frame(5-in)参考区块的移动向量MV_T(f，7-5)。再依据前述双向式主导向量选取方法对第二类型影像所得到的移动向量MV_t(f，9-7)与公式(5)得到的移动向量MV_T(f，7-5)：

MV_T(f，7-5)＝MV_t(f，7-4)-MV_t(f，5-4)，                  (5)

根据公式(6)可得到输出的预估移动向量MV_T(f，9-5)：

MV_T(f，9-5)＝MV_t(f，9-7)+MV_t(f，7-5)，                  (6)

最后，本发明的移动向量补偿装置325使用一双向式主导向量选取方法，来对第四类型影像进行巨集区块移动向量的选取与计算。根据图6，输入影像frame(13-in)要转码到输出影像frame(4-out)时，所要计算的移动向量是指向输出影像frame(3-out)。在frame(13-in)与frame(9-in)之间有一个P类型的影像frame(10-in)被省略，frame(13-in)是一个P类型的影像，故可以先解出frame(13-in)中巨集区块指向frame(10-in)的移动向量MV_t(f，13-10)，再计算MV_t(f，13-10)指向frame(10-in)的参考区块重叠面积最大的巨集区块指向frame(9-in)的移动向量MV_T(f，10-9)。依据前述双向式主导向量选取方法对第三类型影像进行巨集区块移动向量的选取与计算，可计算出MV_T(f，10-9)最后由公式(7)得到输出的预估移动向量MV_T(f，13-9)：

MV_T(f，13-9)＝MV_t(f，13-10)+MV_t(f，10-9)                   (7)

上述实施例仅是为了方便说明而举例而已，本发明所主张的权利范围自应以权利要求书所述为准，而非仅限于上述实施例。

Claims (6)

1、一种适应性降低画面速率视讯转换编码系统，是用以转换一影像群组结构的影音资料流，其中该影像群组的每一影像是由复数个巨集区块所组成，该系统其特征在于，包括：

一切换装置，用以输入该影音资料流，并由该输入之影音数据流中，每隔N张影像中选取一张影像，让其通过以降低画面速率，其中，N为正整数；

一可变长度解码器，耦合至该切换装置，以撷取影像中每一巨集区块的移动向量；

一移动向量补偿装置，依据输入影像I、P、B画面之间的前后顺序所定义的类型分别计算输出的巨集区块的移动向量；

一存储装置，耦合至该移动向量补偿装置，储存该移动向量补偿装置所计算的移动向量；

一解码及编码装置，耦合至该切换装置，以对该切换装置所通过的影像使用移动向量技术予以解码，再依据该移动向量补偿装置所算出的移动向量，对已解码的影像重新编码。

2、根据权利要求1所述的适应性降低画面速率视讯转换编码系统，其特征在于：其中该解码及编码装置包含一第一反量化装置及一第二反量化装置，其步阶是互相独立。

3、根据权利要求1所述的适应性降低画面速率视讯转换编码系统，其特征在于：其中该切换装置通过的前一张影像为I或P类型，而此次通过的影像为P类型。

4、根据权利要求1所述的适应性降低画面速率视讯转换编码系统，其特征在于：其中该切换装置通过的前一张影像为I或P类型，而此次通过的影像为B类型。

5、根据权利要求1所述的适应性降低画面速率视讯转换编码系统，其特征在于：其中该切换装置通过的前一张影像为B类型，而此次通过的影像为B类型。

6、根据权利要求1所述的适应性降低画面速率视讯转换编码系统，其特征在于：其中该切换装置通过的前一张影像为B类型，而此次通过的影像为P类型。

Images