CN101960854B - 支持增强效率和主观质量的预测帧选择的方法和设备 - Google Patents

Abstract

本发明提供了一种支持增强效率和主观质量的预测帧选择的方法和设备。该设备包括：编码器(100)，用于使用选择方案以及确定由将图像编码为双向帧间预测图像类型而产生的闪烁伪像，来对图像进行编码，所述选择方案基于编码效率在将图像编码为单向帧间预测图像类型与双向帧间预测图像类型之间进行选择。

Description

支持增强效率和主观质量的预测帧选择的方法和设备

相关申请的交叉参考 

本发明要求于2008年3月10日提交的美国临时申请序号No.6I/035，187(代理案号No.PU080013)的权益，其全部内容通过引用合并于此。 

技术领域

本发明总体上涉及视频编码，更具体地，涉及一种支持增强效率和主观质量的预测帧选择的方法和设备。 

背景技术

典型地，大多数当前高级视频编码标准指定三种公共帧类型来对帧进行编码；即，I帧、P帧和B帧。B帧是针对双向帧、或双向预测帧或者有时针对双预测帧的缩写。B帧依赖于其先前帧和后续帧，并仅包括根据先前帧而变化的数据或者与后续帧的数据不同的数据。P帧是针对预测帧或已预测的帧的缩写。P帧在I帧之后，并且仅包括根据先前I帧而变化的数据。P帧依赖于I帧来填满其大多数数据。I帧(也被称作关键帧)是帧内编码的缩写。I帧存储显示帧所需的所有数据，并不涉及帧间运动补偿预测(MCP)。在一般使用中，在压缩视频中P帧和B帧散布在I帧之中。P帧编码仅允许前向帧间MCP，而B帧编码不仅允许前向而且还允许后向以及双向MCP。如何选择正确帧类型来编码帧是重要的问题，这不仅影响编码效率，而且还影响编码视频的感知质量。 

I帧类型选择通常是直接的。除了第一视频帧以外，只要存在场景变换或已经达到最大图像组(GOP)长度，也将帧编码为I帧。实际上，具有最大GOP长度的GOP结构通常被应用于，确保编码视频的快速随机访问。然而，预测/双预测(P/B)帧类型选择是不容易并且更困难的问题。与P帧编码相比，B帧编码允许更灵活的预测选择，并因此对于各个单独帧获得更高的编码效率。然而，对紧随B帧之后的帧进行编码的效率会被折衷。这是由于以下事实：将紧邻该帧之前的帧被编码为B帧，其预 测现在是指紧邻B帧之前的帧，因此这会导致折衷的编码效率。应当选择P/B帧类型来实现最佳总编码效率。实际上，B帧编码的另一缺点是合成的闪烁伪像。由于后向预测和双向预测，编码P帧和B帧之间或者两个编码B帧之间的合成帧间差通常比两个编码P帧之间的合成帧间差更明显。因此，利用更多B帧编码尤其是以低或中编码比特率，会观察到更多闪烁伪像。 

除了帧类型选择/判定以外，在其他相关且类似的上下文中也解决了上述问题。例如，在动态/自适应图像组(GOP)结构中已经解决了上述问题。此外，在参考帧替换/插入的上下文中已经解决了上述问题。基本上，问题在于，如何正确判定应将帧编码成P帧还是B帧，使得优化所涉及的帧及其邻域帧的总编码性能。 

所有现有方案主要以提高编码效率为目标。为此，如关于第一和第二现有技术方法所描述的，广泛承认的普通启发如下：当帧间运动高时，即，当两个邻域帧之间的相关性较低时，应当插入P帧(或参考帧)，而非参考B帧编码更高效，并应当被应用于编码低或中运动帧。 

在现有参考和文献中，通常针对基于GOP的编码情况来解决P/B帧类型选择问题。在第三现有技术方法中，提出一种发现GOP的速率-失真最优P/B编码模式/结构的方案。对于GOP内的每个帧，除了P/B判定以外，该方案还搜索针对恒定比特率(CBR)速率控制的最优量化参数。尽管在编码效率方面是最优的，但是该方案需要帧的多个实际编码通路，来查看判定结果，因此，引起不切实际的计算复杂度，更不用说额外的等待时间需求，这种额外等待时间需求在实时编码情况下是应禁止的。 

实际上，大多数现有方案是低复杂度的实现方案。一种类型的P/B选择方案是基于启发的方法。在第二现有技术方法中，当累积的运动强度超过特定阈值时插入P帧，其中，使用运动矢量(MV)的绝对幅度之和来测量运动强度，而第四现有方法中的方案建议，当运动速度几乎恒定时，即，当其前向和后向运动强度是类似或平衡时，将帧编码为B帧。原理上，基于累积的运动和平衡的运动的启发是互补的，因此，如果一起应用会实现更好的性能。 

另一类型的P/B选择方法基于数学模型。然而，实际上，B帧编码由于所涉及的后向预测会引起恼人的闪烁伪像，这更容易在低运动帧中观察到。 

在第五现有技术方法中，导出分析函数，该分析函数将GOP的编码增益与其P/B模式和帧间和帧内特性相关，最优GOP结构是最大化编码增益的结构。其他方案将连续B帧的最优数目直接建模为平均运动估计误差与GOP的平均空间行为的函数。不使用数学函数/模型的显式形式，在第六现有技术方法中，P/B帧类型选择被视为分类问题，其中，输入特征变量是当前帧和下个帧的运动估计误差的均值和偏差，输出是P/B判定。在假设大量训练数据的情况下，利用高斯混合模型(GMM)和最大期望(EM)方法来导出针对分类的分布密度函数。然而，对于所有这些基于模型的方案，不能如基于启发的方法中一样判定这些方案的建模精确度，并且不能始终保证高效编码性能。 

已知在P/B帧类型选择方案中，如何精确测量帧的运动强度通常是重要问题。帧运动强度也表示帧的编码复杂度，这是由于运动较大的帧也是编码更复杂的帧。在现有技术中研究了基于各种帧级别直方图的测量。可以容易计算这些测量。然而，这些测量仅善于测量全部运动，而不善于局部运动。运动估计或补偿帮助导出运动强度的更精确测量。在第二现有技术方法中，帧的所有宏块(MB)的绝对运动矢量(MV)幅度之和用于测量运动，而在第六现有技术方法中，仅运动估计误差用于测量。然而，这些方法中没有任何一个方法能够全面解决运动矢量和运动估计误差，运动估计和运动估计误差会引起更精确的帧复杂度测量，因此获得更好的P/B选择性能。 

发明内容

本发明原理解决了现有技术的这些和其他缺陷和缺点，本发明原理涉及一种支持增强效率和主观质量的预测帧选择的方法和设备。 

根据本发明的一个方面，提供了一种设备。该设备包括：编码器，用于使用选择方案来对图像进行编码，所述选择方案基于编码效率以及确定是否由于将图像编码为双向帧间预测图像类型而产生闪烁伪像，在将图像编码为单向帧间预测图像类型与双向帧间预测图像类型之间进行选择，其中，当累积运动中的至少一个大于第一阈值时，当单向运动强度与双向运动强度之间的差值大于第二阈值时，以及当图像运动小于第三阈值时，选择方案选择将图像编码为单向帧间预测图像类型，而不是双向帧间预测图像类型。 

根据本发明原理的另一方面，提供了一种方法。该方法包括：使用选择方案来对图像进行编码，所述选择方案基于编码效率以及确定是否由于将图像编码为双向帧间预测图像类型而产生闪烁伪像，在将图像编码为单向帧间预测图像类型与双向帧间预测图像类型之间进行选择，其中，当累积运动中的至少一个大于第一阈值时，当单向运动强度与双向运动强度之间的差值大于第二阈值时，以及当图像运动小于第三阈值时，选择方案选择将图像编码为单向帧间预测图像类型，而不是双向帧间预测图像类型。 

根据结合附图阅读的示例性实施例的以下详细描述，本发明的这些和其他方面、特征以及优点将变得显而易见。 

附图说明

根据以下示例附图可以更好地理解本发明原理，在附图中： 

图1是根据本发明原理实施例的视频编码器的框图；以及 

图2是根据本发明原理实施例的视频编码器中用于P/B帧类型选择的示例方法的流程图。 

具体实施方式

本发明原理涉及支持增强效率和主观质量的预测帧选择的方法和设备。 

本说明书示意了本发明原理。因此将理解的是，尽管这里没有明确描述或示出，本领域的技术人员将能够设想体现本发明原理并包括在本发明精神和范围内的各种布置。 

这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明原理以及发明人对现有技术做出贡献的构思，应看作不会被限制为这里具体引述的示例和条件。 

 此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。 

因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明的示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否明确示出该计算机或处理器。 

可以通过使用专用硬件和能够执行适合的软件的关联软件的硬件而实现图中所示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件，而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。 

还可以包括常规和/或定制的其它硬件。类似地，图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。 

在权利要求书中，表示为用于执行指定功能的装置的任何组件意在包括执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固件、微代码等，并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限定的本发明原理在于如下事实：将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。 

在说明书中涉及本发明原理的“一个实施例”或“实施例”是指：结合实施例描述的特定特征、结构、特性等包括在本发明的至少一个实施例中。因此，贯穿说明书在不同地方出现的短语“在一个实施例中”或“在实施例中”不必均指相同的实施例。此外短语“在另一实 施例中”不排除与另一实施例全部或部分组合的所描述实施例的主题。 

此外，应当理解的是，以下“/”、“和/或”、以及“...中的至少一个”的使用，例如在“A/B”、“A和/或B”、以及“A和B中的至少一个”的情况下，意在包括只选择第一所列项目(A)、只选择第二所列项目(B)、或选择两个项目(A和B)。作为另一示例，在“A、B和/或C”、“A、B和C中的至少一个”的情况下，这样的表示意在包括只选择第一所列项目(A)、只选择第二所列项目(B)、只选择第三所列项目(C)、选择第一和第二所列项目(A和B)、选择第一和第三所列项目(A和C)、选择第二和第三所列项目(B和C)、或选择所有三个项目(A和B和C)。对于本领域和相关领域的普通技术人员来说显而易见的是，对于所列的许多项目，上述是可以扩展的。 

此外，应认识到，尽管这里关于MPEG-4 AVC标准描述了本发明原理的一个或多个实施例，但是本发明原理不仅限于该标准，并因此可以关于其他视频编码标准、推荐标准及其扩展(包括MPEG-4 AVC标准的扩展)来使用，而同时保持本发明的精神。例如，本发明原理适用于所有现有视频编码标准和推荐标准，包括但不限于，ISO/IEC运动图像专家组-2标准(下文中被称作“MPEG-2标准”)、MPEG-4 AVC标准、ITU-T H.263推荐标准(下文中被称作“H.263推荐标准”)、以及电影电视工程师协会(SMPTE)视频编解码器-1标准(下文中被称作“VC-1标准”)。此外，作为另一示例，本发明原理还适用于MPEG-4AVC标准的分级B帧。 

同样，如这里所使用的，词语“图像”是指场或帧中的任一个。先前定义与在MPEG-4 AVC中提出的图像定义一致。 

转向图1，视频编码器统一由参考数字100指示。视频编码器100包括输入帧缓冲器(针对当前GOP)105，输入帧缓冲器105具有与组合器110的非反相输入进行信号通信的第一输出。组合器110的输出以信号通信的方式与变换器115的输入进行信号相连接。变换器115的输出以信号通信的方式与量化器120的输入相连接。量化器120的第一输出以信号通信的方式与熵编码器125的输入相连接。量化器120的第二输出以信号通信的方式与逆量化器130的输入相连接。逆量化器130的 输出以信号通信的方式与逆变换器135的输入相连接。变换器135的输出以信号通信的方式重构帧缓冲器140的输入相连接。重构帧缓冲器140的输出以信号通信的方式与具有运动补偿的帧间预测器155的第一输入以及帧内预测器150的输入相连接。 

具有运动补偿的帧间预测器155的输出以信号通信的方式与开关145的第一输入相连接。帧内预测器150的输出以信号通信的方式与开关145的第二输入相连接。开关145的输出以信号通信的方式与组合器110的非反相输入相连接。 

输入帧缓冲器105的第二输出以信号通信的方式与帧类型选择器160的输入相连接。帧类型选择器160的输出以信号通信的方式与具有运动补偿的帧间预测器155的第二输入以及用于选择开关145的第一输入还是第二输入的开关145的控制输入相连接。 

如上所述，本发明原理涉及一种支持增强效率和主观质量的预测帧选择的方法和设备。 

因此，根据本发明原理，通过高效和有效率的P/B帧类型选择方案，来克服如与现有技术方法相关联描述的无效率、限制和问题。在实施例中，这种方案利用所采用的更精确帧运动强度测量，一个统一架构中共同解决了若干非常合理的启发。与主要仅以目标优化编码效率为目标的现有方案不同，本发明的方案不仅提高了编码效率，而且有效地减少恼人的B帧闪烁伪像。这是由于与现有方案不同，在本发明的方案的实施例中，确定将帧编码为B帧，不仅由于B帧编码更高效，而且由于B帧编码不会引起显著闪烁伪像。因此，极大增强了总感知视频编码质量。 

注意与其他标准中不同，在国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)的第10部分高级视频编码(AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐标准(下文中被称作“MPEG-4 AVC标准”)中所定义的分级B帧可以用于预测参考，这显然与使用典型非参考B帧相比可以获得更佳的编码效率。只要在序列中存在特定数目(即，2N-1，其中，N-2、3、4...)的连续B帧，可以应用MPEG-4 AVC标准中所定义的分级B帧。在实施例中，所提出 的方案还应用于允许分级B帧的情况。 

尽管B帧编码允许比P帧编码更灵活的预测模式，例如后向和双向预测，但是实际上，B帧编码的应用不能始终获得更佳的总编码效率，这是由于紧随B帧之后的帧必须使用紧邻B帧之前的帧用于预测参考，这会导致折衷的编码效率。更糟糕的是，不可控的B帧编码可以引起严重的闪烁伪像，尤其在低或中编码比特率情况下。现有P/B帧类型选择方案均以增强编码效率为目的，但是并不以感知视频编码质量为目的，显然感知视频编码质量在实际中更重要。根据本发明原理的实施例，提出了有效的P/B帧类型选择方案，其中，采用帧运动强度或编码复杂度的新的且更精确的测量，并且在一个统一架构中共同考虑了若干非常合理的启发。在实施例中，当满足以下三个条件中的至少一个时将帧编码为P帧而不是B帧：(i)累积的运动为高(例如，高于第一阈值)；(ii)前向和后向运动不平衡(例如，差值大于第二阈值)；以及(iii)运动为低(例如，低于第三阈值)。该方案不仅增强了编码效率而且还减少了恼人的B帧闪烁伪像，因此，极大地提高了编码视频的总感知质量。 

如这里所使用的，关于上述第一条件，短语“累积的运动”是指合计的运动强度或帧复杂度，例如，如方程(4)中所定义的，直到当前帧进行P/B帧类型判定的复杂度。相对于短语“累积的运动”，术语“运动”是指以下事实：较高的运动强度导致帧的更高的编码成本，因此表示较高的帧编码复杂度。 

关于上述第二和第三条件，术语“运动”的引用是指与第一条件中的运动强度或帧复杂度的相同一般概念。在实施例中，这种运动还涉及方程(4)中定义的新且有效的矩阵。 

当然，在给出这里提供的本发明原理的教导的情况下，本领域和相关领域的普遍技术人员将设想这些和各种其他实现方式以及上述运动(例如，累积运动、前向运动、后向运动)的解释，而同时保持本发明精神。 

因此，根据本发明原理，描述了一种新的P/B帧类型选择方案。新颖性在于三个部分。首先，与均仅以提高编码效率为目标的现有方 案(例如，上述第二、第三、第四、第五以及第六现有技术方法)不同，本发明的方案不仅以提高编码效率为目的，还以减少恼人的B帧闪烁伪像为目的。因此，本发明方案与现有方案的一个显著不同之处在于：对于非常低运动的帧，本发明的方案不优选B帧编码来防止B帧闪烁，而现有方案在这种情况下优选更多B帧编码，以提高编码效率。其次，与上述第二和第四现有技术方法中两种现有的基于启发的方法(涉及累积运动检查或平衡运动检查)不同，在实施例中，本发明的方案在一个统一架构中共同集成若干有帮助的补充启发，这更加广泛并呈现更好的总体性能。第三，本发明的方案使用比在现有方案(例如，上述第二和第六现有技术方法)中使用的那些测量更精确的帧复杂度测量，考虑了运动矢量和运动估计误差的编码复杂度。各种实验结果示出了这种新方案有效地开发了B帧编码来提高编码效率，而同时适当地限制了B帧编码的应用，以减少不期望的闪烁伪像。因此，在本发明的方案中，B帧编码受到非常严格的限制，以减少不期望的闪烁伪像。基本构思在于：只要B帧编码不明显比P帧编码更高效，就选择P帧类型以确保良好的感知视频编码质量。 

具体地，在本发明的方案中，如果满足以下三个条件中的任一个，则将帧编码为P帧。否则，将帧编码成B帧。这里，将帧i的编码复杂度(即，运动强度)表示为Cmpl_i。 

-关于高累积运动的条件：如果从紧邻上一个参考帧之后的帧到当前帧的累积的运动强度高于阈值TH1，即： 

$\underset{i=\mathrm{last}\_\mathrm{ref}+1}{\overset{\mathrm{curr}\_\mathrm{frm}}{\mathrm{\Σ}}}{\mathrm{Cmpl}}_i>\mathrm{TH}1---\left(1\right)$

这里，curr_frm和last_ref分别表示当前帧和最后参考帧的帧数目。 

-关于不平衡运动的条件：如果当前帧的前向和后向运动强度不平衡，即： 

$\max (\frac{{\mathrm{Cmpl}}_{\mathrm{curr}\_\mathrm{frm}}}{{\mathrm{Cmpl}}_{\mathrm{curr}\_\mathrm{frm}+1}},\frac{{\mathrm{Cmpl}}_{\mathrm{curr}\_\mathrm{frm}+1}}{{\mathrm{Cmpl}}_{\mathrm{curr}\_\mathrm{frm}}})>\mathrm{TH}2---\left(2\right)$

这里，TH2是阈值，Cmpl_{curr_frm}实际上表示当前帧的前向运动强度，而假定当前帧的后向运动强度与下个帧的前向运动强度相同。这样， 不需要计算帧的后向运动强度，这极大地降低地计算复杂度。 

-关于低运动的条件：如果当前帧运动强度低于特定阈值TH3，即： 

Cmp_{lcurr_frm}＜TH3               (3) 

在上述方案中可以看到，三个条件与一般帧复杂度测量集成在一起。这与现有方案(例如，上述第二和第四现有技术方法)相比获得对B帧编码使用的更严密的约束条件。因此，可以更有效地减少源自过度B帧编码的闪烁伪像。 

关于高累积运动的第一条件主要用于最优编码效率。如在上述第二现有技术方法中，已经充分地认识到了以下内容：只要运动为高，则插入P帧来刷新参考是更有效率的，以实现后续帧中更好的预测性能。 

针对关于不平衡运动的第二条件的判定如下。当所涉及的帧的前向和后向运动不平衡时，前向预测或后向预测是是否将所涉及的帧编码成B帧的主导。因此，B帧编码获得与P帧编码的效率类似的效率。如上所述，在这种情况下，为了减少B帧闪烁，选择获得类似编码效率却闪烁伪像较少的P帧类型，因此总体上P帧类型是比B帧编码更好的选择。 

关于低运动的第三条件具体用于减小B帧闪烁伪像。事实上，如现有方案(例如，上述第一、第二和第四现有技术方法)中所广泛认识到的，在编码效率方面，对于编码低运动帧而言，B帧编码无疑是比P帧编码更好的选择。然而，低运动帧同样对闪烁伪像更敏感。尤其是在非常低运动情况下(例如，如方程(3)所定义的，运动强度低于特定阈值)，B帧编码相对于P帧编码的编码增益不太多，这是因为前向预测已单独呈现较高的预测性能。然而，非常低的运动帧对于闪烁伪像非常敏感。因此，在这种情况下，选择P帧编码用于更好的总体编码性能。这种实现与所有的现有方案不同，其中，在这种情况下选择B帧编码用于更好的编码效率。 

方程(1)到(3)中的三个阈值的实际值与所采用的特定帧复杂度测量相关。不同的测量获得不同的阈值。事实上，本发明的新方案 可以满足任何这样的帧复杂度或运动强度测量，例如，在上述第一、第二、和第六现有技术方法中所提出的那些帧复杂度或运动强度测量。因此，根据本发明原理的特定实施例，开发了比现有测量更全面并更精确的新的帧复杂度测量。新测量定义如下： 

$\mathrm{Cmpl}={\stackrel{\‾}{R}}_{\mathrm{mv}}+\stackrel{\‾}{\mathrm{MAD}}---\left(4\right)$

这里，Cmpl表示帧的复杂度。 

表示帧中所有宏块上的平均运动矢量编码比特，而 

表示帧中所有宏块上的宏块运动估计误差的平均亮度均值绝对差(MAD)。经由广泛实验从良好启发中导出方程(4)的简单求和形式。所提出的测量的计算涉及运动估计，并且解决了运动矢量强度和其余的运动估计残差的强度。因此，所提出的测量比例如在上述第一、第二、和第六现有技术方法中所使用的现有测量更全面且更精确。 

针对所提出的P/B帧类型选择预计算新的复杂度测量。根据一个实施例，在预分析过程中计算该新复杂度测量，预分析仅根据先前原始输入视频帧进行单参考前向预测。为了降低计算复杂度，预分析运动估计仅检查帧间16×16模式，以及仅检查全像素运动矢量。为了计算每个宏块的运动矢量编码比特，采用与MPEG-4 AVC联合模型(JM)编码器的速率-失真(RD)最优运动估计中所使用的相同快速近似方案。如当前实施方式中所验证的，在实际视频编码器中，即使对于实时编码，所发生的计算复杂度也是可接受的。利用本发明当前的预分析实现方式，将阈值设置如下：TH1＝12，TH2＝2，TH3＝4。当然，本发明原理不限于与上述三个条件相对应的上述三个阈值的在前值，从而还可以使用其他值，而同时保持本发明原理的精神。 

转向图2，视频编码器中用于P/B帧类型选择的示例方法统一由参考数字200指示。 

方法200包括开始框205，开始框205将控制传递至循环限制框210。循环限制框210从视频序列的帧0到帧N-1开始针对正被处理的当前视频序列中的每个图像组(GOP)的循环，并将控制传递至循环限制框215。循环限制框215开始从当前图像组中帧1到帧N-1的针对正被处理的当前图像组中的每个帧的循环，并将控制传递至功能框220。功 能框220执行具有简化运动估计的预分析，包括：仅检查帧间16×16模式、仅检查全像素运动矢量、以及根据先前原始帧执行单参考前向预测，并将控制传递至功能框225。功能框225计算当前帧的帧复杂度测量Cmpl作为 

并将控制传递至循环限制框230。循环限制框230结束针对当前图像组的每个帧的循环，并将控制传递至功能框235。功能框235使得 

可用(以供方法200的后续步骤使用)，并将控制传递至循环限制框240。循环限制框240从当前图像组的帧1到帧N-1开始针对正被处理的当前图像组中的每个帧的循环，并将控制传递至功能框220。功能框245使用{Cmpl_i)执行如方程(1)到方程(3)中的每一个的P/B帧类型选择，并将控制传递至功能框250。功能框250记录当前帧的所选帧类型，并将控制传递至循环限制框255。循环限制框255结束每个帧上的循环，并将将控制传递至功能框260。功能框260根据所选帧类型，利用被编码为I帧的第一帧以及被编码为P帧或B帧的其余帧对当前图像组进行编码，并将控制传递至循环限制框265。循环限制框265结束图像组上的循环，并将控制传递至结束框299。 

大量的实验解决示出，所提出的P/B帧类型选择方案可以有效地开发出受益于B帧编码的编码效率，而同时避免了严重的B帧闪烁伪像。与非B帧编码或利用固定数目的连续B帧的编码相比，所提出的自适应B帧编码方案实现了更好的编码效率，以及具有更少B帧闪烁伪像的更好的感知视频编码质量。该方案的复杂度不高，并且可以应用于实时视频编码。 

现在给出本发明的许多附带优点/特征中的一些，这些优点/特征中的一些以上已经提及。例如，一个优点/特征是具有编码器的设备，所述编码器使用选择方案，所述选择方案基于编码效率在将图像编码为单向帧间预测图像类型与双向帧间预测图像类型之间进行选择，以及确定由将图像编码为双向帧间预测图像类型而产生的闪烁伪像，来对图像进行编码。 

另一优点/特征是如上所述具有编码器的设备，其中，当累积运动中的至少一个大于第一阈值时，单向运动强度与双向运动强度之间的差值大于第二阈值时，以及图像运动小于第三阈值时，选择方案选择将图像编码为单向帧间预测图像类型，而不是双向帧间预测图像类型。 

又一优点/特征是如上所述具有编码器的设备，其中，编码效率至少基于图像复杂度测量。图像复杂度测量至少基于运动矢量编码复杂度和运动估计误差编码复杂度。 

又一优点/特征是如上所述具有编码器的设备，其中，编码效率至少基于图像复杂度测量，计算图像复杂度测量作为平均宏块运动矢量编码比特与亮度运动估计误差的平均宏块均值绝对差之和。 

同样，另一优点/特征是如上所述具有编码器的设备，其中，计算图像复杂度测量作为和，图像复杂度测量说明运动矢量强度和残差强度。 

此外，另一优点/特征是如上所述具有编码器的设备，其中，至少编码效率基于图像复杂度测量，图像是与视频序列相对应的多个原始图像之一。图像复杂度测量是使用具有简化运动估计的预分析过程来计算的。预分析过程包括：仅检查帧间16×16模式以及全像素运动矢量，以及仅根据来自多个原始图像之中的先前原始图像进行单参考单向预测。 

此外，另一优点/特征是如上所述具有编码器的设备，其中，双向帧间预测图像类型包括分级双向帧间预测图像类型。 

基于这里的教导，本领域的普通技术人员可以容易地确定本发明的这些以及其它特征和优点。应理解的是，本发明的教导可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现。 

最优选地，将本发明的教导实现为硬件和软件的组合。此外，可以将该软件实现为在程序存储单元上具体体现的应用程序。可将该应用程序上载到包括任何适合架构在内的机器并由该机器执行。优选地，在具有硬件(如，一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)以及输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。这里描述的 各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分，或其组合。此外，可将其它各种外围单元连接到计算机平台，如附加的数据存储单元和打印单元。 

还应理解的是，由于在附图中描述的一些构成系统组件和方法优选地以软件来实现，根据对本发明原理编程的方式，系统组件或处理功能块之间的实际连接可以有所不同。在这里给出教导的情况下，本领域的普通技术人员将能够想到本发明的这些以及类似的实现方式或配置。 

虽然这里参考附图描述了示意性的实施例，但是应理解的是，本发明并不限于这些确定的实施例，在不背离本发明的范围或精神的情况下，本领域的普通技术人员可以实现各种变化和修改。旨在将所有这些变化和修改包括在如所附权利要求中所阐述的本发明的范围内。 

Claims (10)

1.一种用于选择预测图像类型的设备，包括：

编码器(100)，用于使用选择方案来对图像进行编码，其中，所述选择方案基于图像的运动强度以及确定是否由于将图像编码为双向帧间预测图像类型而产生闪烁伪像，在将图像编码为单向帧间预测图像类型与双向帧间预测图像类型之间进行选择；

其中，当满足以下条件中的至少一个时，选择方案选择将图像编码为单向帧间预测图像类型，而不是双向帧间预测图像类型：累积运动强度中的至少一个大于第一阈值、图像的前向和后向运动强度不平衡以及图像运动强度小于第三阈值。

2.根据权利要求1所述的设备，其中，所述运动强度被计算为平均宏块运动矢量编码比特与亮度运动估计误差的平均宏块均值绝对差之和。

3.根据权利要求2所述的设备，其中，图像复杂度测量说明运动矢量强度和残差强度。

4.根据权利要求2所述的设备，其中，图像是与视频序列相对应的多个原始图像之一，并且图像复杂度测量是使用具有简化运动估计的预分析过程来计算的，预分析过程包括：仅检查帧间16×16模式以及全像素运动矢量，以及仅执行根据来自多个原始图像中的先前原始图像的单参考单向预测。

5.根据权利要求1所述的设备，其中，双向帧间预测图像类型包括分级双向帧间预测图像类型。

6.一种用于选择预测图像类型的方法，包括：

使用选择方案来对图像进行编码，其中，所述选择方案基于图像的运动强度以及确定是否由于将图像编码为双向帧间预测图像类型而产生闪烁伪像，在将图像编码为单向帧间预测图像类型与双向帧间预测图像类型之间进行选择；

其中，当满足以下条件中的至少一个时，选择方案选择将图像编码为单向帧间预测图像类型，而不是双向帧间预测图像类型：累积运动强度中的至少一个大于第一阈值时、图像的前向和后向运动强度不平衡以及图像运动强度小于第三阈值。

7.根据权利要求6所述的方法，其中，所述运动强度被计算为平均宏块运动矢量编码比特与亮度运动估计误差的平均宏块均值绝对差之和。

8.根据权利要求7所述的方法，其中，图像复杂度测量说明运动矢量强度和残差强度。

9.根据权利要求7所述的方法，其中，图像是与视频序列相对应的多个原始图像之一，并且图像复杂度测量是使用具有简化运动估计的预分析过程来计算的，预分析过程包括：仅检查帧间16×16模式以及全像素运动矢量，以及仅执行根据来自多个原始图像之中的先前原始图像的单参考单向预测(220)。

10.根据权利要求6所述的方法，其中，双向帧间预测图像类型包括分级双向帧间预测图像类型。

Images