CN102263943B - 视频位率控制装置与方法 - Google Patents

Abstract

一种视频位率控制方法是对于每一张输入影像，建构一反应对此输入影像的每一像素点敏感程度的特征地图，或侦测此输入影像中一或多个特定物的存在范围。然后根据此特征地图的信息，或此一或多个特定物的存在范围，划分出此影像中的重要区域和非重要区域。再根据一品质参数，搭配此影像中的重要区域和非重要区域的面积大小，将一总目标位数分配成此重要区域和此非重要区域各自对应的目标位数。再利用一位率失真模式与根据至少一条件限制，来调整此重要区域和非重要区域中巨区块的各自相对应的量化参数，让此重要区域和非重要区域内巨区块的编码位率的使用是各自独立使用在其各自对应的目标位数的范围内。

Description

视频位率控制装置与方法

技术领域

本发明是关于一种视频位率控制装置与方法。

背景技术

位率控制方法可以让编码后的总位数与目标位率相去不远。然而，如果没有参考人类视觉的特性，以这种方法呈现出的效果可能会让整张画面的影像品质大同小异，而使得人眼觉得重要的区域没有被突显出来，所以在使用位数的效率上有改进的空间。

美国专利公开号2005/0008075揭露一种支持重要区域(region-of-interest，ROI)的位率控制方法。此方法先根据每一巨区块(macroblock，MB)的优先权(priority)计算其巨区块的权值活动程度(activity)，并将权值活动程度大者归类为重要区域。根据权值活动程度分配(allocate)每一巨区块的位预算值(bit budget)，然后计算估测复杂度(estimated complexity)以及估测量化比例(estimated quantizerscale)因子，并编码此巨区块。图1A是在一张影像上的巨区块其优先权表110的一个范例示意图，例如椭圆区域(oval area)112被定义为一重要区域，并且在椭圆区域112的巨区块其优先权皆为2；图1B是从优先权表110转换后的量化比例表120，例如优先权为1的巨区块的量化比例为8，而优先权为2的巨区块的量化比例为4。重要区域所对应的优先权高于非重要区域(NROI)，但重要区域的界定方式没有进一步的确切说明。

此位率控制方法中，画面内编码(Intra-coded)巨区块的活动程度来自于四个8×8区块亮度(luminance)的变异数(variance)的总和，而画面间编码(Inter-coded)巨区块的活动程度则来自于四个8×8区块残余值(residual)的变异数总和。

美国专利号6,850,565的文献中，揭露一种实时的位率控制系统(Real Time Bit Rate Control System)。如图2的范例所示，位率控制系统205对每一张欲编码的画面皆有一对应的重要矩阵(interestmatrix)，此重要矩阵与一来源模式(source model)210和巨区块重要性参数搭配运作。而来源模式210结合一重要结构(interest structure)215来产生一量化值，以编码视频信号。重要矩阵可由使用者输入或使用一算法自动产生。每一巨区块的位分配方式是修改二次式位率失真(ratedistortion)模式，加入由重要矩阵得知的巨区块重要性参数，因此重要区域所分配到的位数较多，也可以搭配较小的量化参数而有较佳的影像品质。此文献中，没有揭露重要区域与非重要区域的交接处巨区块的量化参数调整上的技术探讨。

在Proc.Of IEEE International Conference on Image Processing，pp.53-56，2006提出的论文“应用于H.264的多优先序重要区域编码方法(Multiple Priority Region of Interest Coding with H.264)”中，在给定一重要区域后，以重要区域来产生不同层级的渐层区域，离重要区域愈远的区域其层级愈低，所对应的优先权也较低，在控制位率时，每一区域初步的位数分配会考虑此区域的大小、优先权以及根据前一张画面所估测而来的平均绝对差值(Mean Absolute Difference，MAD)，再通过优先权考量，调整不同层级区域之间的位数，最后经过二次失真模式求得每一区块的量化参数值。此论文中，不同优先权其层级之间的权重关系为固定，因此重要区域的影像品质决定因素只跟层级的数量及本身视频影像的特质有关。

在Proc.Of First Internat ional Conference on Industrial andInformat ion Systems，Aug.2006.论文“搭配有弹性的巨区块顺序(Flexible Macroblock Ordering，FMO)的重要区域编码方法(Region ofInterest Video Coding with Flexible Macroblock Ordering)”中，是先针对非重要区域进行编码，之后将节省的位数用于增强重要区域的影像品质。此论文中没有揭露和探讨可以确保重要区域相对于非重要区域的品质的机制，也没有揭露和探讨重要区域与非重要区域在时间轴及两者交接处的品质平滑度。

发明内容

本揭露的实施范例可提供一种视频位率控制装置与方法。

在一实施范例中，所揭露者是有关于一种视频位率控制装置，此装置包含：一重要区域决定模块，对于多张输入影像中的每一张输入影像，根据一特征地图(saliency map)的信息或经由一侦测系统处理后的输出，划分出此多张输入影像中的每一张输入影像中的至少一重要区域和至少一非重要区域；一位率分配模块，根据一输入的品质参数，并搭配此至少一重要区域和此至少一非重要区域的面积大小，将一总目标位数分配成此至少一重要区域和此至少一非重要区域对应的目标位数；以及一位率控制模块，根据此至少一重要区域和此至少一非重要区域各自对应的目标位数以及至少一条件限制，独立进行该每一张输入影像中的该至少一重要区域和该至少一非重要区域中巨区块的位率控制。

在另一实施范例中，所揭露者是有关于一种视频位率控制方法，此方法包含：对于多张输入影像中的每一张输入影像，建构一个反应对此输入影像的每一像素点敏感程度的一特征地图，或侦测此多张输入影像中的每一张输入影像中一或多个特定物的存在范围；根据此特征地图的信息或此一或多个特定物的存在范围的信息，划分出此输入影像中的至少一重要区域和至少一非重要区域；根据一输入的品质参数，并搭配此至少一重要区域和此至少一非重要区域的面积大小，将一总目标位分配成成至少一重要区域和此至少一非重要区域各自对应的目标位数；以及利用一位率失真模式与根据至少一条件限制，来调整此至少一重要区域和此至少一非重要区域中巨区块的各自相对应的量化参数，让此至少一重要区域和此至少一非重要区域内巨区块的编码位率的使用是各自独立使用在其各自对应的目标位数的范围内。

附图说明

兹配合下列附图、实施范例的详细说明及申请专利范围，将上述及本发明的其它特征与优点详述于后，其中：

图1A是在一张影像上的巨区块其优先权表的一个范例示意图。

图1B是从图1A的优先权表转换后的量化比例表的一个范例示意图。

图2是一种实时的位率控制系统的一个范例示意图。

图3是一种视频位率控制装置的一个范例示意图，并且与所揭露的某些实施范例一致。

图4是一范例示意图，说明特征地图与重要区域的产生，并且与所揭露的某些实施范例一致。

图5是视频位率控制方法的一个范例流程图，并且与所揭露的某些实施范例一致。

图6是一范例流程图，说明重要区域与非重要区域各自独立进行位率控制，以及后续的编码，并且与所揭露的某些实施范例一致。

图7A与图7B是范例流程图，分别说明重要区域与非重要区域进行位率控制的子步骤，并且与所揭露的某些实施范例一致。

图8是一Foreman视频序列的位速率控制的相关编码参数的一个范例示意图，并且与所揭露的某些实施范例一致。

图9至图11是一Foreman视频序列分别在三种不同位速率下的控制结果的范例示意图，并且与所揭露的某些实施范例一致。

具体实施方式

本揭露的实施范例是在每张欲编码的视频画面给定一目标位率的情况下，提供一种视频位率控制装置与方法，此视频位率控制装置与方法是针对整张画面做有效的位率控制，以结合反应对输入影像的视觉特性、或输入影像中一或多个特定物的存在范围，来区分出重要与不重要区域，之后，对于重要与不重要区域各自独立进行位率控制，特定的重要区域可以给予较多的编码资源，而不重要区域则给予较低的编码品质，以有效运用有限的位资源，来达到成功控制位率，并兼顾保留影像的重要信息。

图3是一种视频位率控制装置的一个范例示意图，并且与所揭露的某些实施范例一致。参考图3，视频位率控制装置300包含一重要区域决定模块320、一位率分配模块330、以及一位率控制模块345。

重要区域决定模块320对于多张输入影像中的每一张输入影像312，根据一特征地图314的信息，例如由一特征地图建立模块310对于输入影像312建构反应对输入影像312的每一像素点敏感程度的特征地图，或经由一侦测系统360处理后的输出，例如侦测系统360侦测输入影像312中一或多个特定物的存在范围364，来划分出输入影像312中的重要区域312a和非重要区域312b。视频位率控制装置300也可以还包括特征地图建立模块310或侦测系统360，或特征地图建立模块310与侦测系统360都包括。特征地图314可包含有空间域和时间域的输入影像312中的至少一特征，例如，人眼对影像中像素点敏感程度的特征可考量用来形成此特征地图。

位率分配模块330根据一输入的品质参数332，搭配输入影像312中的重要区域和非重要区域的面积大小，将输入影像312的一总目标位数作一适当的位数分配，分配成输入影像312中的重要区域和非重要区域两种区域各自对应的目标位数，即重要区域目标位数334与非重要区域目标位数336。位率控制模块345根据重要区域与非重要区域两种区域个别对应的目标位数，以及至少一条件限制342，独立进行输入影像312中的重要区域与非重要区域中巨区块的位率控制，即重要区域位率控制340与非重要区域位率控制350。

重要区域与非重要区域巨区块的位率控制可各自独立进行，说明如下。每一输入影像在一开始分配好重要区域与非重要区域各自对应的目标位数后，此输入影像的各巨区块的编码所需的目标位数是取用自其所对应的重要区域或非重要区域。此两种区域的巨区块编码所能运用的位数并不互通，直到该输入画面内的巨区块全部编码完毕并进行下一输入画面的编码时，再重行计算下一张输入画面所分配的总目标位数。

由于重要区域与非重要区域是依据一开始由品质参数332及两者面积大小所订定的位数分配来进行编码，因此在各自目标位数的分配及使用上是独立的。然重要与非重要区域位数的使用虽是独立，并不代表各自区域内巨区块的量化参数指定是为独立进行。例如，位率控制模块345对重要区域或非重要区域中巨区块的量化参数的调整所依据的至少一条件限制342可能来自重要区域与非重要区域两者的交界区域的量化参数值的限制。

特征地图建立模块310可根据空间域中影像内容的特征，例如亮度对比(luminance contrast)、互补色(color-double-opponent)、纹路(texture)和人脸肤色(facial skin color)等，及时间域中的影像特征，例如运动向量强度大小等来产生特征影像，并结合各种特征影像来形成特征地图314。也就是说，在特征地图314的信息中，可包含空间域(spatialdomain)和时间域(temporal domain)的影像特征。每一特征影像可以赋予一个与该特征相关的权重(weight)，而利用这些权重将每一像素的这些特征值加总结合起来，系统可以提供对输入影像312中的每一像素点(或每一巨区块)的人眼视觉重要性区分，例如，对比较重要的像素给予较大的特征值(saliency)。也就是说，特征地图314可代表人眼对每一像素注视重视的程度。对比较吸引人眼视觉注意的像素可给予较大的特征值。

图4是一范例示意图，说明特征地图与重要区域的产生，并且与所揭露的某些实施范例一致。图4的范例中，对于每一张输入影像的内容，分析空间域中亮度对比、互补色、纹路和人脸肤色以及时间域中运动向量的影像特征，并产生相对应的六个特征影像，即亮度对比的特征影像410、RG互补色的特征影像422与BY互补色的特征影像424、纹路的特征影像430、人脸肤色的特征影像440、以及运动向量的特征影像450。然后，此六个范例特征影像的每一特征影像可以赋予一个与该特征相关的权重值，假设此六个特征影像410、422、424、430、440、以及450的权重值分别为w1至w6，例如w1＝w2＝w3＝w5＝1，w4＝2，w6＝4。则以各权重值结合此六个范例特征影像可形成一范例特征地图460。再将范例特征地图460经进一步处理(例如二值化)后，可决定并产生出此输入影像的重要区域470，其余区域则为非重要区域。

范例特征地图的组成并不限于上述所提出的六种影像特征，与人眼对影像中像素点敏感程度的特征皆可考量用来形成特征地图。除了经由影像特征处理之外，重要区域也可以不经由特征地图的估算，而经由使用者在编码器编码之前预先指定(例如将影像的中央某部份界定为重要区域)，或是可经由其它影像处理子系统(例如人脸侦测器统、车牌侦测系统)来界定。

位率分配模块330对目前画面的目标位率的估测方式可由多种方式来求得，例如经由一适应性基本单元层的位率控制(Adaptive Basic UnitLayer Rate Control)而求得。而品质参数K的值可代表平均每一重要区域内的巨区块所分配到的位数为每一非重要区域内巨区块所分配到的位数的K倍，所以改变品质参数K的值可以决定分配给重要区域的位数的多寡。品质参数K值可以由使用者事先决定重要/非重要区域的相对位率分配，而间接调整重要/非重要区域的相对影像品质。

当K值愈大时，重要区域内巨区块的影像品质将远优于非重要区域的品质。但因为非重要区域内巨区块仍需要最基本的位数量来完成编码，所以实际可达到的K值也是有限的，太大的K值要求，在实际上可能无法达成。较大的K值设定可以让非重要区域被给予较低的编码品质，而让有限的位率提供给重要区域以作更加有效的运用。

至少一条件限制是对重要区域和非重要区域中巨区块的各自相对应的量化参数的条件限制。位率控制模块345还可包括一量化参数调整模块，此量化参数调整模块可根据一位率失真模式与此至少一条件限制，来调整重要区域和非重要区域中各巨区块的相对应量化参数，让重要区域和非重要区域的位率的使用被控制在其个别对应的目标位数的范围内。

所以，对于重要区域位率控制340与非重要区域位率控制350，此量化参数调整模块可先分别利用一位率失真模式，例如二次式位率失真模式，来决定输入影像312中重要区域中巨区块的各自相对应的一初始量化参数。如果每一巨区块所初步计算出的量化参数值没有考虑空间域上与时间域上的连续性，加上重要区域与非重要区域的位率控制是各自独立进行的，则在此两种区域的交界处的量化参数值可能会有很大的差异，而造成此交接处的影像品质不平顺而影响视觉感受。所以，量化参数调整模块得到初始量化参数之后，还需要考量一些“时间、空间、区域交互性”等前述这些条件限制，来进行量化参数值的调整。

量化参数调整模块分别计算出重要区域中巨区块的各自相对应的初始量化参数值后，分别再考量对输入影像312中的重要区域与非重要区域中巨区块的量化参数的至少一条件限制，来调整初始量化参数值至一最终量化参数值，以进行重要区域与非重要区域中巨区块的编码。也就是说，在位率控制模块345中，对输入影像312中的重要区域的位率控制与非重要区域的位率控制虽是独立进行，但对于各区域内巨区块量化参数的指定仍需考量区域相互之间的影响。

输入影像312中的重要区域或是非重要区域中巨区块的量化参数的至少一条件限制例如是前一张输入影像的重要区域与非重要区域中巨区块的平均量化参数值的限制、或是来自同一影像中前一个已编码完成巨区块的量化参数值的限制、或是重要区域与非重要区域两者的交界区域的量化参数值的限制、或是来自前一张影像的位率控制的结果等。位率控制模块345分别经由前述量化参数的限制条件的调整，可在速率控制过程中考虑不同渐层的区域之间的连续性，让影像品质更加平顺，以及位率的使用能精确地控制在目标范围内。而最后所决定的该巨区块的量化参数值被送往一巨区块编码模块，此巨区块编码模块可根据位率控制模块345传送过来的量化参数值，据以对重要区域或非重要区域中一相对应的巨区块来进行编码。

每一输入影像中的重要区域与非重要区域中巨区块的量化参数的至少一条件限制可以由一限制条件数据库来储存。位率控制模块345也可以通过一查询表，来查询画面中各重要区域的面积大小、以及各自对应的目标位数与所应指定的固定量化参数值。此限制条件数据库或查询表也可以建立在视频位率控制装置300中。

视频位率控制装置300进行重要区域位率控制340与非重要区域位率控制350之前，将每一画面一开始的总位数依据品质参数332，分配给重要与非重要区域两个区域，再各自独立进行位率控制，可以避免非重要区域受重要区域的影响而无法达到最低品质保障。其结合人眼视觉特性可以让较多资源分配在重要的区域，而非重要区域也有基本的影像品质。

承上述，图5是视频位率控制方法的一个范例流程图，并且与所揭露的某些实施范例一致。在图5的范例中，首先，对于多张输入影像中的每一张输入影像，建构一个“反应对此输入影像的每一像素点敏感程度”的一特征地图，或侦测此多张输入影像中的每一张输入影像中一或多个特定物的存在范围，如步骤510所示。然后，根据此特征地图的信息或此一或多个特定物的存在范围的信息，划分出此输入影像中的至少一重要区域和至少一非重要区域，如步骤520所示。根据一输入的品质参数，并搭配此至少一重要区域和此至少一非重要区域的面积大小，将一总目标位数分配成至少一重要区域和此至少一非重要区域各自对应的目标位数，如步骤530所示。利用一位率失真模式与根据至少一条件限制，来调整此至少一重要区域和此至少一非重要区域中巨区块的各自相对应的量化参数，让此至少一重要区域和此至少一非重要区域内巨区块的编码位率的使用是各自独立使用在其各自对应的目标位数的范围内，如步骤540所示。

如前所述，此至少一条件限制是对至少一重要区域和至少一非重要区域的巨区块的各自相对应的量化参数的条件限制。关于前一张输入影像的重要区域与非重要区域的巨区块的平均量化参数值的限制，说明如下。因为前一张影像与后一张影像的品质差距不宜相距太大，所以目前巨区块的量化参数值需与前一张影像的平均量化参数值的差异不能过大，如此在播放视频时才不会产生视觉上不舒适的感觉。而重要区域的目前巨区块参考的是前一张影像中重要区域的平均量化参数值，同理，非重要区域的目前巨区块参考的是前一张影像内非重要区域的平均量化参数值。

关于来自同一张影像中前一个已编码完成的巨区块的量化参数值的限制，说明如下。目前巨区块的量化参数值必须考量前一个已编码完成的巨区块的量化参数值。若两者同属一样性质的区域，例如同样是属重要区域或同样是属非重要区域，则两者的量化参数值宜尽量相近；若两者分属不同性质的区域，则宜参考重要区域与非重要区域交界区域的量化参数值的限制的处理方法。

关于重要区域与非重要区域交界区域的量化参数值的限制，说明如下。如果非重要区域与重要区域在交界处的巨区块的量化参数值与邻近重要区域的巨区块的量化参数值差异较小时，可以让相邻区域的影像品质的差距较小，视觉感知上也会较平顺，但有可能让此交接处的非重要区域的巨区块花费较多的位数，而使目前影像的编码位数超出目标位数，如此会影响之后影像画面所能分配到的位数，而造成不佳的位率控制结果。另一方面，如果非重要区域与重要区域交界处的巨区块的量化参数值与邻近重要区域的巨区块的量化参数值的差距若过大，则可能会造成区块效应，所以在重要区域与非重要区域两者的交接处的区块必需适当的调整其量化参数值。

关于来自前一张影像的位率控制的结果，说明如下。前一张影像编码完成后，将会根据其目标位数的使用状况作为目前巨区块的量化参数值增减的依据。若前一张影像所使用的位数比给定的目标位数超出一给定的门槛值时，代表前一张影像所使用的量化参数值明显过小，因此目前影像的巨区块的量化参数值也将适当地调高；若前一张影像所使用的位数比给定的目标位数低于一给定的门槛值时，则将调低目前巨区块的量化参数值。此种考量是想要藉由观察已经编码完画面的位使用状况，来调整后面还未编码的影像的量化参数值，使最后使用的总位数和给定的目标位数相近。

在步骤510中，例如可针对每一输入影像来产生不同的特征影像的信息(如前述的运动向量、亮度对比、互补色、纹路和人脸肤色等)，并经过适当的权重线性组合后产生符合人眼视觉特性的特征地图。在步骤520中，例如可搭配适当的门槛值，来决定出此输入影像中人眼较为注视区域，并归类为重要区域，不属于重要区域则归类为非重要区域。在步骤540之前，也可以先判断重要区域占据影像的画面区域是否够小，如果重要区域的面积大小与输入影像的画面区域的面积大小的比例够小，例如小于一门槛值时，也可以指定一特定的量化参数值给此重要区域中的巨区块。此特定的量化参数值可根据一查询表，来查询此重要区域中的巨区块所应指定的固定量化参数值。如果重要区域的面积大小与输入影像的画面区域的面积大小的比例够小，也可以适度减少非重要区域的目标位率。

在步骤540中，重要区域与非重要区域是各自独立进行位率控制。如第六图的范例流程所示，先判断一巨区块是否属于重要区域(步骤640)。当一巨区块是属于重要区域时，进行重要区域位率控制(步骤650)；当一巨区块不属于重要区域时(即属于非重要区域)，则进行非重要区域位率控制(步骤660)。得知此巨区块是属于重要区域或是非重要区域后，重要区域位率控制与非重要区域位率控制皆可各自利用一位率失真模式与根据至少一条件限制，来调整此巨区块的各自相对应的量化参数，让此巨区块的位率的使用在相对应的目标位数的范围内。也就是说，重要区域与非重要区域的位率控制的范例流程可设计为对称而雷同的，但是各自独立进行。

得到巨区块的量化参数值之后，即重要区域位率控制或非重要区域位率控制完成之后，即可据此量化参数值来编码巨区块(步骤670)，此编码包含如移动搜寻、移动补偿、画面内预测、整数离散是数转换(DiscreteCoefficient Transform，DCT)、量化以及Entropy编码等动作。编码完此巨区块后，更新重要区域与非重要区域各自剩下的目标位数与相关参数(步骤680)，因为编码完每一巨区块后，剩余的位数即是原本目标位数扣除已编码完成巨区块所实际使用的位数。接着，编码下一个巨区块(步骤690)；在编码下一个巨区块时，也会更新相关的编码参数并分配此下一巨区块的目标位数。步骤670、680、690可由一巨区块编码模块来进行，以完成每一输入影像的编码。

如图7A的范例流程所示，重要区域位率控制650可包含子步骤751、753、755、757、759；如图7B的范例流程所示，非重要区域位率控制660可包含子步骤761、763、765、767、769。

参考图7A的范例流程，先判断重要区域目前剩下的目标位数是否大于零(子步骤751)；若目前剩下的目标位数小于零，则根据重要区域的至少一第一条件限制来决定此巨区块的量化参数值(子步骤759)，例如是一设定的(default)条件限制，此设定的条件限制是由前一张已编码完成的同性质区域所使用的平均量化参数值加上一固定偏移量(例如3)来做为此巨区块的量化参数值。

若目前剩下的目标位数大于零，则估计编码此巨区块所需的目标位数(子步骤753)；然后，利用一位率失真模式来得到一对应的量化参数值(子步骤755)，即为初始量化参数值；再根据重要区域的至少一第二条件限制来调整初始量化参数与决定此巨区块的最终量化参数值(子步骤757)。子步骤755中，先计算求得初始量化的阶大小(step size)，再得到对应的量化参数值。

子步骤757中，重要区域的第二条件限制是额外的(extra)条件限制，此额外的条件限制是选自时间、空间、区域交互性的前述三种特性的其中一种组合的限制，例如之前所述，是前一张输入影像的重要区域的巨区块的平均量化参数值的限制、或是来自同一影像中前一个已编码完成巨区块的量化参数值的限制、或是重要区域与非重要区域两者的交界区域的量化参数值的限制(区域交互性的限制)、或是来自前一张影像的位控制的结果等，此额外的条件限制可做为增减此巨区块的量化参数值的依据，如此可使此巨区块的位超用和过剩的状况趋缓及变少，进而达到接近目标位数的结果。

当非重要区域的位率控制的范例流程设计为对称而雷同时，子步骤761、763、765、767、769则可根据子步骤751、753、755、757、759，仅将重要区域分别改为非重要区域即可，如图7B的范例流程所示，不再重述。

也就是说，在本揭露的实施范例中，其位率控制是对于每一张输入影像，先建构一反应对此影像的每一像素点敏感程度的特征地图，或侦测此影像中的每一张输入影像中一或多个特定物的存在范围。然后根据此特征地图的信息，或此一或多个特定物的存在范围的信息，划分出此影像中的重要区域和非重要区域。再根据一品质参数，搭配此影像中的重要区域和非重要区域的面积大小，将此影像的一总目标位数作一适当的位数分配，分别计算出此影像中的重要和非重要两种区域个别的目标位数。在给定各自的目标位数后，重要区域和非重要区域可独立地进行位率控制，其中影像中的每一巨区块可利用二次失真模式来估测一初始量化参数值，并搭配时间、空间以及区域交互性的至少一条件限制进行量化参数值的调整，后续进行编码。在更新相关参数后，可继续下一个巨区块的位率控制与编码。依此，完成各影像中此两种区域里巨区块的位率控制。

以下将本揭露的实施范例实现于三种不同的位速率环境，来验证一Foreman视频序列的位速率控制结果，其编码平台的范例为JM。其中，图8是位速率控制的相关编码参数的一个范例示意图，并且与所揭露的某些实施范例一致。图8的范例中，以100张影像的画面，例如人脸或车牌等影像画面，为例。重要区域与非重要区域两者的平均面积比为8比25，约为1比3。图9至图11是Foreman视频序列在三种不同位速率，分别为286Kbps、143Kbps、以及79.2Kbps，的实验结果，并且与所揭露的某些实施范例一致，其中，T_ROI和T_NROI分别代表实际上重要区域内平均每一巨区块与非重要区域内平均每一巨区块所分配到的位数；品质参数K值代表理想上平均每一重要区域内巨区块所分配到的位数为每一非重要区域内巨区块所分配到的位数的K倍；峰值信噪比(Peak Signal To NoiseRatio，PSNR)值越大，代表影像品质失真越少。

由图9至图11的实验结果的范例看来，T_ROI与T_NROI的实际比值与所设定的品质参数K值差异不大。然而，随着整个视频的目标位率下降时，T_ROI与T_NROI的实际比值将小于设定的K值。其原因在于，在低位率的情况下，非重要区域仍需要基本的位量量来完成编码，而无法无限制的节省位数来提供给重要区域使用。

并且，图9至图11提供两种比较对象的实验结果的范例看来，包括固定量化参数值的情况(亦即没有位速率控制)、以及开启JM编码平台本身内含的位速率控制方法。由图10的数据可观察到，在固定量化参数值(例如35)的情况下，T_ROI与T_NROI的实际比值大约为2.84左右；而重要区域的峰值信噪比值(33.07)与非重要区域的峰值信噪比值(32.86)相近。而JM编码平台开启位速率控制时，其T_ROI与T_NROI的实际比值偏小，约为2.04左右，且重要区域的峰值信噪比值(32.35)略小于非重要区域的峰值信噪比值(32.98)，代表编码平台本身的位速率控制方法无法让人眼所着重区域得到较好的影像品质。

反观本揭露的实施范例在重要区域与非重要区域的峰值信噪比的表现上，由图9至图11的实验结果的范例可发现，随着品质参数K值的增加，在重要区域的峰值信噪比值远优于非重要区域的峰值信噪比值。例如，在高位率286Kbps的情况下，重要区域的峰值信噪比值较非重要区域的峰值信噪比值高上6dB的多。所以，本揭露的实施范例在给定的目标位率下，可以在人眼较着重的重要区域有较佳的品质表现，并且可优先保留重要的信息。

综上所述，本揭露的实施范例可提供一种视频位速率控制装置与方法。在有限的编码总位率下，考虑时间、空间、或区域交互性等特性限制，进行量化参数值的调整，让影像品质更加平顺。能够对影像中的重要区域给予较高的编码品质，而非重要区域给予较低的编码品质，以有效运用有限的位率。重要区域与非重要区域的决定可来自于一个以视觉特性为基础的特征地图的信息或是侦测出的一或多个特定物的存在范围的信息，也可以是事先设定的固定区域。本揭露的实施范例可应用于监控视频环境中对所欲监控目标、或在视频通讯等环境中对主体目标的特定区域(例如人脸、车牌等)，来加强影像的品质。

以上所述者仅为本揭露的实施范例，当不能依此限定本发明实施的范围。即凡是本发明申请专利范围所作的均等变化与修饰，皆应仍属本发明权利要求涵盖的范围。

Claims (14)

1.一种视频位率控制装置，该装置包含：

一重要区域决定模块，对于多张输入影像中的每一张输入影像，根据一特征地图的信息或经由一侦测系统处理后的输出，划分出该多张输入影像中的每一张输入影像中的至少一重要区域和至少一非重要区域；

一位率分配模块，根据一输入的品质参数，并搭配该至少一重要区域和该至少一非重要区域的面积大小，将一总目标位数分配成该至少一重要区域和该至少一非重要区域对应的目标位数；以及

一位率控制模块，根据该至少一重要区域和该至少一非重要区域各自对应的目标位数以及至少一条件限制，独立进行该每一张输入影像中的该至少一重要区域和该至少一非重要区域中巨区块的位率控制，该位率控制模块包括：

一量化参数调整模块，来决定该至少一重要区域和该至少一非重要区域中巨区块的各自相对应的一初始量化参数，并根据对该至少一重要区域和该至少一非重要区域中巨区块的量化参数的该至少一条件限制，来调整该初始量化参数至一最终量化参数，其中，在该至少一重要区域中，对于属于该至少一重要区域中的一巨区块，按照以下方式获得所述最终量化参数：

判断该至少一重要区域目前剩下的目标位数是否大于零；

不是的话，根据该至少一重要区域的至少一第一条件限制来决定该巨区块的一量化参数值，其中，该至少一第一条件限制是由前一张已编码完成的该至少一重要区域所使用的平均量化参数值加上一固定偏移量来做为该巨区块的量化参数值；

是的话，进行下列所有步骤：估计编码该巨区块所需的位数；利用该位率失真模式来得到一初始量化参数值；以及根据该至少一重要区域的至少一第二条件限制来调整该初始量化参数值并决定该巨区块的一最终量化参数值，其中，该至少一第二条件限制是选自时间、空间、区域交互性的前述三种特性的其中一种组合的限制。

2.如权利要求1所述的视频位率控制装置，该装置还包括一特征地图建立模块，该特征地图建立模块对于该多张输入影像中的每一张输入影像，建构反应对该输入影像的每一像素点敏感程度的一特征地图，该特征地图包含有空间域和时间域的该多张输入影像中的每一张输入影像中的至少一特征。

3.如权利要求1所述的视频位率控制装置，该装置还包括一侦测系统，该侦测系统侦测该多张输入影像中的每一张输入影像中一或多个特定物的存在范围。

4.如权利要求1所述的视频位率控制装置，该装置对于该至少一特征的每一特征的像素点赋予一个与该特征相关的权重值，并结合每一特征的像素点值，来提供对该每一张输入影像中的每一像素点或每一巨区块的人眼视觉重要性区分。

5.如权利要求1所述的视频位率控制装置，其中该位率控制模块通过一查询表，查询该至少一重要区域的面积大小以及各自对应的目标位数与所应指定的固定量化参数值。

6.如权利要求1所述的视频位率控制装置，其中该至少一重要区域和该至少一非重要区域各自对应的至少一条件限制是由一限制条件数据库来储存。

7.如权利要求1所述的视频位率控制装置，其中该最终量化参数被传送至一巨区块编码模块，该巨区块编码模块根据该最终量化参数值，对该至少一重要区域或该至少一非重要区域中一相对应的巨区块来进行编码。

8.一种视频位率控制方法，该方法包含：

对于多张输入影像中的每一张输入影像，建构一个反应对该多张输入影像中的每一张该输入影像的每一像素点敏感程度的一特征地图，或侦测该多张输入影像中的每一张输入影像中一或多个特定物的存在范围；

根据该特征地图的信息或该一或多个特定物的存在范围的信息，划分出该每一张输入影像中的至少一重要区域和至少一非重要区域；

根据一输入的品质参数，并搭配该至少一重要区域和该至少一非重要区域的面积大小，将一总目标位数分配成该至少一重要区域和该至少一非重要区域各自对应的目标位数；以及

利用一位率失真模式与根据至少一条件限制，来调整该至少一重要区域和该至少一非重要区域中巨区块的各自相对应的量化参数，让该至少一重要区域和该至少一非重要区域内巨区块的编码位率的使用是各自独立使用在其各自对应的目标位数的范围内；其中，在该至少一重要区域中，对于属于该至少一重要区域中的一巨区块，调整其对应量化参数包括：

判断该至少一重要区域目前剩下的目标位数是否大于零；

不是的话，根据该至少一重要区域的至少一第一条件限制来决定该巨区块的一量化参数值，其中，该至少一第一条件限制是由前一张已编码完成的该至少一重要区域所使用的平均量化参数值加上一固定偏移量来做为该巨区块的量化参数值；

是的话，进行下列所有步骤：估计编码该巨区块所需的位数；利用该位率失真模式来得到一初始量化参数值；以及根据该至少一重要区域的至少一第二条件限制来调整该初始量化参数值并决定该巨区块的一最终量化参数值，其中，该至少一第二条件限制是选自时间、空间、区域交互性的前述三种特性的其中一种组合的限制。

9.如权利要求8所述的视频位率控制方法，其中将该总目标位数分配成该至少一重要区域和该至少一非重要区域各自对应的目标位数之后，该方法还包括：

先判断该至少一重要区域的面积大小与该输入影像的画面区域的面积大小的比例是否小于一门槛值；以及

是的话，则指定一特定的量化参数值给该至少一重要区域中的巨区块，否则才利用该位率失真模式与根据该至少一条件限制来调整该至少一重要区域和该至少一非重要区域中巨区块的各自相对应的量化参数。

10.如权利要求8所述的视频位率控制方法，其中该最终量化参数值被传送至一巨区块编码模块，该巨区块编码模块据以进行编码该巨区块，并更新该至少一重要区域的目标位数与相关参数，以及编码该至少一重要区域的下一个巨区块，以完成每一输入影像的编码。

11.如权利要求8所述的视频位率控制方法，其中该至少一第二条件限制至少包括该至少一重要区域与该至少一非重要区域两者的交界区域的量化参数值的限制。

12.如权利要求8所述的视频位率控制方法，其中该特征地图反应人眼对该多张输入影像中的每一张该输入影像的每一像素点敏感程度。

13.一种视频位率控制装置，该装置包含：

一重要区域决定模块，对于多张输入影像中的每一张输入影像，根据一特征地图的信息或经由一侦测系统处理后的输出，划分出该多张输入影像中的每一张输入影像中的至少一重要区域和至少一非重要区域；

一位率分配模块，根据一输入的品质参数，并搭配该至少一重要区域和该至少一非重要区域的面积大小，将一总目标位数分配成该至少一重要区域和该至少一非重要区域对应的目标位数；以及

一位率控制模块，根据该至少一重要区域和该至少一非重要区域各自对应的目标位数以及至少一条件限制，独立进行该每一张输入影像中的该至少一重要区域和该至少一非重要区域中巨区块的位率控制，该位率控制模块包括：

一量化参数调整模块，来决定该至少一重要区域和该至少一非重要区域中巨区块的各自相对应的一初始量化参数，并根据对该至少一重要区域和该至少一非重要区域中巨区块的量化参数的该至少一条件限制，来调整该初始量化参数至一最终量化参数，其中，在该至少一非重要区域中，对于属于该至少一非重要区域中的一巨区块，按照以下方式获得所述最终量化参数：

判断该至少一非重要区域目前剩下的目标位数是否大于零；

不是的话，根据该至少一非重要区域的至少一第一条件限制来决定该巨区块的一量化参数值，其中，该至少一第一条件限制是由前一张已编码完成的该至少一重要区域所使用的平均量化参数值加上一固定偏移量来做为该巨区块的量化参数值；

是的话，进行下列所有步骤：估计编码该巨区块所需的位数；利用该位率失真模式来得到一初始量化参数值；以及根据该至少一非重要区域的至少一第二条件限制来调整该初始量化参数值并决定该巨区块的一最终量化参数值，其中，该至少一第二条件限制是选自时间、空间、区域交互性的前述三种特性的其中一种组合的限制。

14.一种视频位率控制方法，该方法包含：

对于多张输入影像中的每一张输入影像，建构一个反应对该多张输入影像中的每一张该输入影像的每一像素点敏感程度的一特征地图，或侦测该多张输入影像中的每一张输入影像中一或多个特定物的存在范围；

根据该特征地图的信息或该一或多个特定物的存在范围的信息，划分出该每一张输入影像中的至少一重要区域和至少一非重要区域；

根据一输入的品质参数，并搭配该至少一重要区域和该至少一非重要区域的面积大小，将一总目标位数分配成该至少一重要区域和该至少一非重要区域各自对应的目标位数；以及

利用一位率失真模式与根据至少一条件限制，来调整该至少一重要区域和该至少一非重要区域中巨区块的各自相对应的量化参数，让该至少一重要区域和该至少一非重要区域内巨区块的编码位率的使用是各自独立使用在其各自对应的目标位数的范围内；其中，在该至少一非重要区域中，对于属于该至少一非重要区域中的一巨区块，调整其对应量化参数包括：

判断该至少一非重要区域目前剩下的目标位数是否大于零；

不是的话，根据该至少一非重要区域的至少一第一条件限制来决定该巨区块的一量化参数值，其中，该至少一第一条件限制是由前一张已编码完成的该至少一重要区域所使用的平均量化参数值加上一固定偏移量来做为该巨区块的量化参数值；

是的话，进行下列所有步骤：估计编码该巨区块所需的位数；利用该位率失真模式来得到一初始量化参数值；以及根据该至少一非重要区域的至少一第二条件限制来调整该初始量化参数值并决定该巨区块的一最终量化参数值，其中，该至少一第二条件限制是选自时间、空间、区域交互性的前述三种特性的其中一种组合的限制。

Images