CN106488229B - 具有可调整帧内刷新率的视频编码器 - Google Patents

Abstract

本发明涉及具有可调整帧内刷新率的视频编码器.一种基于给定帧内刷新率将视频数据编码为媒体流的编码系统包括：编码器，基于给定帧内刷新率将视频数据编码成帧，解码器，用于对编码帧进行重构，以及评估单元，用于对正在解码的当前帧的宏块(MB)进行评分的评估单元。帧内MB的分数被定义为预定值，帧间MB的分数是基于先前帧的MB的分数来生成。控制器基于至少基于当前帧的MB的分数所识别的合格帧确定实际刷新周期，并基于实际刷新周期来调整给定帧内刷新率。

Description

具有可调整帧内刷新率的视频编码器

背景技术

本发明一般涉及视频编码系统，更具体地涉及将视频数据编码到媒体流并适应性地调整帧内(intra)刷新率的视频编码系统。

在支持均衡(平滑)信道带宽利用的视频应用中，帧内刷新编码比周期性关键帧编码更优。然而，由于缺少关键帧，实现帧内刷新编码比特流的随机接入是困难的。图1示出了传统媒体流100，包括多个使用帧内刷新方案编码的帧102，其中由给定随机接入点来指示的正在解码的特定帧102a需要已解码的参考帧102b中的信息。如图2所示，其示出了媒体流100中的帧102，其由多个宏块(MB)104构成，MB 104包括使用当前帧内的信息进行解码的帧内宏块(intra-MB)106，以及使用先前解码的参考帧中的信息进行解码的帧间宏块(inter-MB)108。视频源基于给定帧内刷新率被编码到多个帧，这确定每个帧的帧内MB。编码过程还包括通过对已编码帧进行解码来将帧重构为用于后续帧的参考帧，以使编码和解码两者使用相同的参考帧。

在传统视频编码系统中，基于系统的目标刷新周期(解码视频期望在该系统内从随机访问点达到很好的恢复)，给定帧内刷新率是固定的。然而，较高帧内刷新率导致比目标刷新周期短的实际刷新周期，却需要更高比特速率.较低的帧内刷新率需要较低的比特速率但导致较长的实际刷新周期，这降低了用户体验。因此，能够在编码过程中适应性地调整帧内刷新率以实现接近目标刷新周期的刷新周期将会是有益的。

附图说明

结合所附附图将会更好地理解以下对本发明优选实施例的详细描述。本发明是以示例的方式进行说明，并不受相随的附图所限制，其中同样的参考标记指示相似的元件。

图1是说明包括多个帧的比特流的示图；

图2是说明由比特流中由多个宏块构成的帧的示图；

图3是说明当前帧中宏块的块和参考帧中的对应参考块之间的映射的示图；

图4是根据本发明的实施例的视频编码系统的示意框图；

图5是说明根据本发明的实施例基于当前帧中的宏块的参考块与参考帧中的宏块对应区域之间的映射来评价宏块的示图；

图6是说明具有第一区域和预先确定为感兴趣区域的第二区域的当前帧的示图；

图7是根据本发明的实施例使用视频编码系统将视频源数据编码为媒体流的方法流程图；

图8是根据本发明的实施例评价当前帧的帧间MB的方法流程图。

具体实施方式

所附附图的详细说明意图作为对本发明当前优选实施例的说明，并非意图代表本发明可被实施的唯一形式.应当明白同样或等价功能可通过意图被包含在本发明的精神和范围之内的不同实施例来完成。

在本发明的一个实施例中，提供了一种将视频源编码为包括多个帧的媒体流的编码系统。该编码系统包括编码器，该编码器具有基于给定帧内刷新率将视频源编码成多个帧的编码单元，其中每个帧包括多个宏块(MB)，其包括基于帧内信息进行解码的第一数量的帧内MB，以及基于先前帧中的信息进行解码的第二数量的帧间MB，其中第一数量的帧内MB的比率由给定帧内刷新率确定，解码单元连接到编码单元以用于提供先前帧信息。编码系统还包括：与该编码器连接的评估单元，用于对解码单元正在解码的当前帧的多个MB进行评分，其中帧内MB的分数被定义为预定值，帧间MB的分数是基于先前帧的 MB的分数产生；以及连接在编码器与评估单元之间的控制器，用于基于至少当前帧内的多个MB的分数来识别合格帧，基于该合格帧确定实际刷新周期，并至少基于实际刷新周期调整给定帧内刷新率。

另一实施例中，本发明提供了一种将视频源编码为包括多个帧的媒体流的方法，其中每个帧具有多个宏块(MB)，其包括基于帧内信息进行解码的第一数量的帧内MB，以及基于先前帧中的信息进行解码的第二数量的帧间MB。该方法包括基于给定帧内刷新率将视频源编码成多个帧，该帧内刷新率确定了该帧的第一数量帧内MB的比率，将多个帧进行解码，为正在被解码的当前帧中的多个MB生成分数，其中帧内MB的分数被定义为预定值，帧间MB的分数是基于先前解码帧MB的分数生成，基于至少当前帧的多个MB的分数识别出合格帧，基于合格帧确定实际刷新周期，并至少基于实际刷新周期调整给定帧内刷新率。

现参考图3，提供了当前帧102a中的帧间MB 108的预测块与先前已解码的参考帧102b中的对应参考块之间的映射。具有大小为384×320像素的帧包括 480个MB，每个都具有16×16像素大小。图3中，仅示出了当前帧102a和参考帧102b的每个中的部分MB，带有相应的MB坐标信息。这些MB包括多个帧内MB 106和多个帧间MB 108。每个帧间MB包括至少一个预测块.例如，如图3所示，帧间MB 108包括第一、第二和第三预测块110a、110b和110c.第一、第二和第三预测块分别基于相应的参考帧102b中的第一、第二和第三对应参考块112a、112b和112c进行解码，这些参考块由第一、第二和第三预测块110a、110b和11c的每一个的运动矢量所确定.在预测块中对参考帧信息和每个预测块的运动矢量编码。第一和第二参考块112a和112b跨越了参考帧102b 的不同MB，第三参考块112c位于参考帧102b的一个单独MB内。

现参考图4，示出了将视频源编码为包括多个帧的媒体流的编码系统200 的示意框图.每个帧包括多个宏块(MB)，其包括基于该帧中的信息进行解码的第一数量的帧内MB，以及基于先前帧中的信息进行解码的第二数量的帧间 MB.视频源从媒体源202获得，该媒体源是编码系统200的数据输入单元，例如相机或原始视频文件.编码系统200包括编码器204，该编码器具有：基于给定帧内刷新率将视频源编码到多个帧的编码单元206，该帧内刷新率决定了帧的第一数量帧内MB的比率；和连接到编码单元206用于提供之前已编码帧中的信息的解码单元208.在编码开始时，基于该系统的目标刷新周期确定出给定帧内刷新率，其中目标刷新周期是一种根据帧数量而言的周期，在该周期之内解码视频从随机接入点期望达到较好恢复。编码系统200还包括：连接到编码器204的评估单元210，用于对当前被解码单元解码的帧的多个MB进行评分，其中帧内MB的分数被定义为一个预定值，例如100，帧间MB的分数是基于先前帧的MB分数生成，以及连接到评估单元210的存储器212，用于存储先前帧的MB的分数，其中存储器212可以是RAM，ROM或闪存。

图5示出了说明根据本发明的一个实施例，基于当前帧102a中的帧间MB 108的第一、第二和第三预测块110a、110b和110c以及对应的参考帧102b中相应的第一、第二和第三参考块112a、112b和112c之间的映射来对帧间MB 108 进行评分的示图。参考帧102b为先前所解码帧中的之一。图5中仅示出了当前帧102a和参考帧102b中的每一个中的部分MB，带有对应的MB的坐标信息。当前帧102a中的已编码数据包括预测块段、用于确定参考帧102b中相应参考块的预测块运动矢量，以及预测块的参考帧信息。例如，当前帧102a的帧间 MB108的第一预测块110a的运动矢量是MV(-7，4)。为对帧间MB 108进行评分，该评估单元210基于第一、第二和第三预测块110a、110b和110c确定出参考帧102b中对应的第一、第二和第三参考块112a、112b和112c，并分别将第一、第二和第三相应参考块112a、112b和112c分解成分别位于参考帧 102b对应MB内的多个部分。例如，第一参考块112a被分解成各自在分别位于参考帧102b中分别位于(160，172)，(176，272)，(176，288)和(160， 288)的对应MB之内的第一、第二、第三和第四部分114a、114b、114c和114d。

评估单元210基于每个部分所属的对应MB的分数，该部分面积的比例和对应MB的面积，以及对应MB及与其相邻的MB中的质量分布来对每个部分的分数进行计算，将每个预测块中的多个部分的分数相加作为该预测块的分数，并通过将帧间MB中的至少一个预测块的分数相加来生成该帧间MB的分数。

在优选的实施例中，每个预测块(PB)的分数如下计算：

其中Area_{P_i}是预测块第i个部分的面积，Area_{MB_i}是第i个部分所属的对应MB的面积，Score_{MB_i}是存储器212中所存储的对应MB的分数，k_{1_i}是基于对应MB及与其相邻的MB中的质量分布所确定的第i部分的第一权重系数， N是预测块中部分的数量.在优选实施例中，在对应MB及与其相邻的MB之中平均质量分布的情况下，k_{1_i}＝1，每个部分的分数通过将该部分所属的对应 MB的分数乘以该部分的面积与对应的MB面积之间的比例来计算.例如，评估单元208从存储器212获取第一部分114a所属的位于(160，272)的MB的分数30，并基于运动矢量(-7，4)计算第一部分114a的面积和位于(160， 272)的MB面积的比例。第一部分114a的面积是7×12＝84，位于(160，272) 的MB面积为16×16＝256，由此该比例是84/256，因此第一部分114a的分数是30×84/256＝9.84375.第二、第三和第四部分114b、114c和114d分别以同样方式如以下表1所示而计算：

表1

部分	该部分的面积	MB的分数	该部分的分数
				第一部分114a	84	30	9.84375
第二部分114b	12	50	2.34375
				第三部分114c	4	40	0.625
第四部分114d	28	100	10.9375

评估单元210将第一预测块110a中的各个部分的分数相加作为第一预测块110a的分数。帧间MB 108的第二和第三预测块110b和110c的分数分别以同样方法如以下表2来计算：

表2

预测块	该部分的面积
		第一预测块110a	23.75
第二预测块110b	14.84375
		第三预测块110c	18.75

在优选实施例中，当前帧的每个帧间MB的分数如下计算：

其中Score_{PB_i}是帧间MB的第i个预测块的分数，k_{2_i}是由编码系统基于预测块的参考块所属的参考帧所确定的第i个预测块的第二权重系数，M是帧间MB 108的预测块的数量。如果帧间MB中的预测块的参考块属于多于一个的参考帧，将帧间MB中的预测块的分数相加包括将预测块的分数用多于一个参考帧的对应的第二权重系数k_{2_i}进行加权.如果所有帧间MB的预测块属于同一个参考帧，第二权重系数k_{2_i}为1。因此，这一示例中，帧间MB108的分数是57.34375。评估单元210将该帧间MB 108的分数存储在存储器212中。

现参考图4，编码系统200还包括连接在编码器204和评估单元210之间的控制器214，其基于至少当前帧中的多个MB的分数来识别合格帧。

在优选实施例中，如果具有低于预定阈值的分数的MB在当前帧102a的预定区域之外，当前帧102a被识别为合格帧.图6示出了说明当前帧102a的示例，其具有与当前帧102a的至少一侧相连的第一区域300，以及基于用户偏好被确定为感兴趣区域的第二区域302.如果具有低于预定阈值的分数的MB在当前帧102a的第二区域302之外，当前帧102a被识别为合格帧。

另一优选实施例中，如果在当前帧的MB中具有最低分数的第一MB的位置与在上一帧中的MB之中具有最低分数的第二MB的位置之间的距离大于预定距离，当前帧102a被识别为合格帧。

在又一优选实施例中，合格帧是基于当前帧102a和先前解码帧中至少一个的帧分激来识别的。每个帧的帧分数是基于帧中MB的分数来确定的。在优选实施例中，每帧的帧分数被确定为帧内MB的分数的加权和，其中每个MB的权重系数是基于感兴趣区域来预定的，并存储在存储器中。在另一优选实施例中，每帧的帧分数被确定为该帧内MB分数的最低分数。优选实施例中，如果当前帧102a的帧分数不小于第一预定阈值，当前帧102a被识别为合格帧。另一优选实施例中，如果当前帧和上一帧的帧分数差值小于第二预定阈值，当前帧或上一帧的任一个被识别为合格帧。在又一优选实施例中，如果当前帧和上一帧的帧分数差值与上一帧和倒数第二帧之间的差值的差小于第三预定阈值，则当前帧102a和上两帧中的一个被识别为合格帧。

在优选实施例中，控制器214在合格帧之后将对应的MB的分数重置为0。

控制器214进一步基于合格帧确定实际刷新周期，并至少基于该实际刷新周期调整给定帧内刷新率.优选实施例中，实际刷新周期被确定为以帧数量的角度来说合格帧与上一合格帧之间的周期。如果实际刷新周期大于目标刷新周期，控制器214增加向编码单元206所提供的帧内刷新率，如果实际刷新周期小于目标刷新周期，控制器214降低向编码单元206所提供的帧内刷新率，以便帧内刷新率适应性地调整以使实际刷新周期接近目标刷新周期。在优选实施例中，帧内刷新率的增加和降低范围是基于实际刷新周期、目标刷新周期以及当前帧内刷新率来确定的.例如，新的帧内刷新率如下确定：

其中Rate_new是新的帧内刷新率，Rate_current是当前帧内刷新率。另一优选实施例中，帧内刷新率的增加和降低范围是由编码系统200所配置的预定值，例如当前帧内刷新率的1％、2％或5％.编码器204、评估单元210和控制器212 可以是例如CPU、MCU或DPU的处理器的一部分。

现参考图7，示出了根据本发明的一个实施例，描绘一种用于将视频源编码到媒体流的方法的流程图.图8的流程图中的步骤已经结合图4-6进行解释。

在步骤402开始，编码器204的编码单元206基于给定帧内刷新率将从媒体源202获得的视频的一部分编码成当前帧。当前帧包括多个宏块，其包括基于当前帧中的信息解码的第一数量的帧内MB，以及基于先前帧中的信息解码的第二激量的帧间MB，其中当前帧的帧内MB数量比例是由给定帧内刷新率来确定，其中在编码的开始，给定帧内刷新率是基于系统的目标刷新周期来预先确定的，其中目标刷新周期是以帧数量的角度来说的一个周期，在该周期内解码视频被期望从随机接入点达到较好的恢复。

在步骤404，解码单元208对当前帧进行解码.将重构的帧存储在编码系统200的帧缓存中，一旦该重构帧不再使用，将被后来的重构帧所覆盖。

在步骤406，如果已经解码所所有视频，编码系统200退出编码过程。否则，在步骤408，评估单元210对正在被解码的当前帧的多个MB进行评分，其中帧内MB的分数被定义为预定值，如100，帧间MB的分数是基于之前已被解码的参考帧中的MB的分数来生成的，并且存储在存储器212中，其中该存储器可以是RAM、ROM或闪存。

图8是根据本发明的一个实施例，描绘对当前帧的帧间MB进行评分的方法的流程图。

在步骤502，解码单元208基于帧间MB数据来确定帧间MB的预测块，每个帧间MB包括至少一个预测块。

在步骤504，评估单元210基于该预测块的运动矢量来确定对应参考帧中的每个预测块的相应参考块。

在步骤506，评估单元210将每个预测块的参考块分解成分别位于相应参考帧的相应MB内的多个部分。

在步骤508，评估单元210基于对应MB的分数、该部分面积与对应的MB 面积的比例，以及对应MB及与其相邻的MB中的质量分布来计算每个部分的分数，在步骤510，评估单元210基于预测块的各部分的分数对每个预测块进行评分。

优选实施例中，每个预测块(PB)的分数如下计算：

其中Area_{P_i}是预测块第i个部分的面积，Area_{MB_i}是第i个部分所属的对应MB的面积，Score_{MB_i}是存储器212中所存储的对应MB的分数，k_{1_i}是基于对应MB及与其相邻的MB中的质量分布所确定的第i部分的第一权重系数， N是预测块中部分的数量。在步骤512，评估单元210基于帧间MB的预测块的分数生成帧间MB的分数。

优选实施例中，当前帧的每个帧间MB的分数如下计算：

其中Score_{PB_i}是帧间MB的第i个预测块的分数，k_{2_i}是由编码系统基于预测块的参考块所属于的参考帧所确定的第i个预测块的第二权重系数，M是帧间MB 108的预测块的数量.如果帧间MB中的预测块的参考块属于多于一个的参考帧，将帧间MB中的预测块的分数相加包括将预测块的分数用多于一个参考帧的对应的第二权重系数k_{2_i}进行加权.如果所有帧间MB的预测块属于同一个参考帧，第二权重系数k_{2_i}为1。评估单元210进一步将该帧间MB 的分数存储在存储器212中。

返回参考图7，在步骤410，控制器212从用解码的帧的MB的分数解码过的帧中识别出合格帧。

优选实施例中，如果具有低于预定阈值的分数的MB在该帧的预定区域之外，该帧被识别为合格帧。

另一优选实施例中，如果在当前帧的MB之中具有最低分数的第一MB的位置与在上一帧的MB之中具有最低分数的第二MB的位置之间的距离大于预定距离，该帧被识别为合格帧。

又一优选实施例中，合格帧是基于当前帧和先前解码帧中的至少一个的帧分数来识别的。每个帧的帧分数是基于帧中MB的分数来确定的。在优选实施例中，每帧的帧分数被确定为帧内MB的分数的加权和，其中每个MB的权重系数是基于感兴趣区域来预定的，并存储在存储器中。在另一优选实施例中，每帧的帧分数被确定为该帧内MB分数的最低分数。优选实施例中，如果当前帧的帧分数不小于第一预定阈值，则当前帧被识别为合格帧。另一优选实施例中，如果当前帧和上一帧的帧分数差值小于第二预定阈值，当前帧或上一帧的任一个被识别为合格帧。在又一优选实施例中，如果当前帧和上一帧的帧分数差值与上一帧和倒数第二帧之间的差值的差小于第三预定阈值，则当前帧和上两帧中的一个被识别为合格帧。

在步骤412，如果未识别出合格帧，则编码单元206继续将视频的下一部分编码成下一帧。

在步骤414，如果识别出合格帧，控制器214将对应MB的分数重置为0，并基于该合格帧计算出实际刷新周期。优选实施例中，实际刷新周期被确定为合格帧与上一合格帧之间的周期。

在步骤416，控制器214进一步至少基于实际刷新周期来调整给定帧内刷新率.优选实施例中，如果实际刷新周期大于目标刷新周期，控制器214增加向编码单元206所提供的帧内刷新率，如果实际刷新周期小于目标刷新周期，控制器214降低向编码单元206所提供的帧内刷新率。在优选实施例中，帧内刷新率的增加和降低范围是基于实际刷新周期、目标刷新周期以及当前帧内刷新率来确定的.例如，新的帧内刷新率如下确定：

其中Rate_new是新的帧内刷新率，Rate_current是当前帧内刷新率.另一优选实施例中，帧内刷新率的增加和降低范围是由编码系统200所配置的预定值，例如当前帧内刷新率的1％、2％或5％。

在步骤418，编码单元206继续基于已调整的帧内刷新率将视频的下一部分编码成下一帧，以使帧内刷新率适应性地调整以使实际刷新周期接近目标刷新周期。

尽管已经解释和描述了本发明的各种实施例，应当清楚的是本发明并不仅仅限于这些实施例。如权利要求中所描述的，在不脱离本发明精神和范围的前提下，大量的修改、改变、变化、替换或等价对本领域技术人员来说都将是显而易见的。

Claims (9)

1.一种将视频源编码为包含多个帧的媒体流的编码系统，包括：

编码器，该编码器包括：

编码单元，基于给定帧内刷新率将视频源转换为多个帧，其中每个帧包括多个宏块MB，所述MB包含基于所述帧内的信息解码的第一数量的帧内MB以及基于先前帧内的信息解码的第二数量的帧间MB，其中所述帧的所述第一数量的帧内MB的比例是由给定帧内刷新率确定的，以及

连接到所述编码单元的解码单元，用于提供所述先前帧的所述信息；

连接到所述编码器的评估单元，用于对所述解码单元正在解码的当前帧的多个所述MB进行评分，其中帧内MB的分数被定义为预定值，且帧间MB的分数基于所述先前帧的MB的分数来生成；

连接在所述编码器和所述评估单元之间的控制器，用于基于至少所述当前帧中的所述多个MB的分数来识别合格帧，基于所述合格帧确定实际刷新周期，并基于所述实际刷新周期调整所述给定帧内刷新率；以及

耦连到所述评估单元的存储器，用于存储先前解码的帧的所述MB的分数；

其中每个帧间MB包括至少一个预测块，其中每个预测块基于由所述预测块的运动矢量所确定的相应参考帧中的相应参考块进行解码，其中由所述评估单元对帧间MB进行评分包括：

基于所述运动矢量识别相应参考帧中的所述帧间MB的每个预测块的所述相应参考块；

将每个预测块的所述相应参考块分解成分别位于所述参考帧的相应MB之内的多个部分；

基于所述相应MB的分数、每个部分的面积与所述相应MB的面积的比例、以及所述相应MB及与其相邻的MB之中的质量分布来计算所述部分的分数；

基于每个预测块的所述多个部分的分数来生成每个预测块的分数；以及

通过将所述帧间MB的所述至少一个预测块的分数相加来生成所述帧间MB的分数。

2.如权利要求1所述的编码系统，其中如果所述帧间MB中所述预测块的所述参考块属于多于一个的参考帧，则将所述帧间MB的所述预测块的分数进行所述相加包括：用所述多于一个参考帧的相应权重系数对所述预测块的分数进行加权。

3.如权利要求1所述的编码系统，其中如果具有低于预定阈值的分数的MB在所述当前帧的预定区域之外，或者所述当前帧MB之中具有最低分数的第一MB的位置与上一帧中的所述MB之中具有最低分数的第二MB的位置之间的距离大于预定距离，则所述当前帧被识别为所述合格帧。

4.如权利要求1所述的编码系统，其中所述合格帧基于所述当前帧和所述先前解码的帧中的至少一个的帧分数来识别，其中每个帧的帧分数是基于所述帧中的所述MB的分数来确定的。

5.如权利要求4所述的编码系统，其中每个帧的帧分数被确定为所述帧中所述MB的分数的加权和，其中每个MB的加权系数基于感兴趣区域来确定并存储在所述存储器中。

6.如权利要求4所述的编码系统，其中如果所述当前帧的帧分数大于预定值，则所述当前帧被识别为所述合格帧。

7.如权利要求4所述的编码系统，其中如果所述当前帧与上一帧的帧分数之间的差小于预定阈值，则所述当前帧和所述上一帧中的一个被识别为所述合格帧。

8.如权利要求4所述的编码系统，其中如果所述当前帧和上一帧的帧分数的差值与所述上一帧和倒数第二帧的帧分数的差值之间的差小于预定阈值，则所述当前帧和上两帧中的一个被识别为合格帧。

9.一种将视频源编码为包含多个帧的媒体流的方法，包括：

基于给定帧内刷新率将视频源编码为多个帧，其中每个帧包括多个宏块MB，所述宏块MB包括基于所述帧中的信息解码的第一数量的帧内MB以及基于先前帧中的信息解码的第二数量的帧间MB，其中所述帧的所述第一数量的帧内MB的比例是由所述给定帧内刷新率来确定的；

将所述多个帧解码；

计算正在解码的当前帧中的多个所述MB的分数，其中帧内MB的分数被定义为预定值，帧间MB的分数基于先前解码的帧的MB的分数来确定；

基于至少所述当前帧的所述多个MB的分数来识别合格帧；

基于所述合格帧来确定实际刷新周期；以及

基于所述实际刷新周期来调整所述给定帧内刷新率；

其中每个MB包括至少一个预测块，其中每个预测块基于由所述预测块的运动矢量所确定的相应参考帧中的相应参考块来解码，并且其中计算所述当前帧中的帧间MB的分数包括：

基于相应参考帧中的所述运动矢量识别出所述帧间MB的每个预测块的所述相应参考块，

将每个预测块的所述相应参考块分解成分别位于所述参考帧的相应MB之内的多个部分，

基于所述相应MB的分数、每个部分的面积与所述相应MB的面积的比例、以及所述相应MB及与其相邻的MB之中的质量分布来计算所述部分的分数，

基于所述预测块的所述多个部分的分数来计算每个预测块的分数，以及

通过将所述帧间MB的所述至少一个预测块的分数相加来计算所述帧间MB的分数。

Images