CN109791695B - 基于图像块的运动向量确定所述块的方差 - Google Patents

Abstract

本公开涉及用于基于视频的参考帧中的像素块的方差来确定所述视频的帧中的像素块的方差，而非例如通过基于所述像素块的像素值来计算方差来直接地确定方差的技术。所述技术包括识别当前帧中的像素块的运动向量，所述运动向量指向参考帧中的像素块。所述技术还包括确定与所述运动向量相关联的成本，以及将所述成本与第一阈值和第二阈值进行比较。所述技术包括基于所述成本与所述第一阈值和所述第二阈值的所述比较并且基于所述参考帧的所述像素块的所述方差来确定所述当前帧的所述像素块的所述方差。

Description

基于图像块的运动向量确定所述块的方差

相关申请的交叉引用

本申请要求2016年10月13日提交的美国专利申请No.15/292,757的权益，所述申请特此以引用的方式并入，如同在本文完全阐述一样。

背景技术

方差图(为图像的像素块确定的方差的图)在图像和视频处理中具有许多用途。这些用途包括例如图像或视频大小调整、压缩等。然而，确定方差通常是计算密集型操作。这一事实意味着需要确定方差的分析通常相对较慢。

附图说明

从以下结合附图作为示例给出的描述中可以得到更详细的理解，其中：

图1是其中实施本公开的各方面的示例装置的框图；

图2是示出根据示例的图像的图；

图3是示出根据示例的块内的像素的图；

图4示出了根据示例的应用于视频图像以确定图像的当前帧的一个或多个块的方差的运动向量技术；

图5是说明回归分析的示例的曲线图；以及

图6是根据示例的用于基于“成本”(与参考帧的块的类似性)确定方差值的方法的流程图。

具体实施方式

本公开涉及用于基于视频的参考帧中的像素块的方差来确定所述视频的帧中的像素块的方差，而非例如通过基于所述像素块的像素值来计算方差来直接地确定方差的技术。所述技术包括识别当前帧中的像素块的运动向量，所述运动向量指向参考帧中的像素块。在一个示例中，从先前使用的已经包括运动向量的图像处理数据中识别运动向量，所述运动向量是为了除了确定方差之外的目的而确定的(例如，用于图像压缩、视频处理器等。在另一示例中，通过本文描述的技术直接识别运动向量。所述技术还包括确定与所述运动向量相关联的成本，以及将所述成本与第一阈值和第二阈值进行比较。如果成本低于第一阈值，则认为当前帧中的像素块与运动向量指向的参考帧中的像素块足够类似，并且将参考帧的像素块的方差(已经确定)用作当前帧中的像素块的方差。

如果成本在第一阈值与第二阈值之间，则将通过相关函数修改的参考帧的像素块的方差用作当前帧的像素块的方差。如果当前帧的像素块的成本高于第二阈值，则认为使用参考帧的像素块的方差是不可靠的(认为“估计方差”是不可靠的)，并且直接确定(例如，通过本文提供的用于计算方差的表达式)当前帧的像素块的方差。上述技术用于当前帧的所有像素块。如果当前帧的具有不可靠的估计方差的像素块的数目高于第三阈值，则认为方差估计技术太不可靠(例如，因为视频中发生了场景变化)，并且改为从当前帧的每个块中的像素的像素值直接确定当前帧的每一像素块的方差。

图1是其中实施本公开的各方面的示例装置100的框图。装置100包括例如计算机、游戏装置、手持装置、机顶盒、电视、移动电话或平板电脑。装置100包括处理器102、存储器104、存储装置106、一个或多个输入装置108，以及一个或多个输出装置110。装置100任选地包括输入驱动器112和输出驱动器114。装置100任选地包括图1中未示出的额外部件。

处理器102包括以下中的一者或多者：中央处理单元(CPU)、图形处理单元(GPU)、位于同一管芯上的CPU和GPU，或一个或多个处理器核心，其中每个处理器核心是CPU或GPU。存储器104与处理器102位于同一管芯上或与处理器102分开。存储器104包括易失性或非易失性存储器，例如，随机存取存储器(RAM)、动态RAM或高速缓冲存储器。

存储装置106包括固定或可移除式存储装置，例如硬盘驱动器、固态驱动器、光盘或闪存驱动器。输入装置108包括键盘、小键盘、触摸屏、触摸板、检测器、麦克风、加速度计、陀螺仪或生物识别扫描仪中的一者或多者。输出装置110包括显示器、扬声器、打印机、触觉反馈装置、一个或多个灯或天线中的一者或多者。

输入驱动器112与处理器102和输入装置108通信，并且允许处理器102从输入装置108接收输入。输出驱动器114与处理器102和输出装置110通信，并且允许处理器102将输出发送到输出装置110。

网络接口卡(“NIC”)118经由计算机网络向其它装置提供接口。NIC 118被配置成经由例如以太网、Wi-Fi、InfiniBand或其它协议的网络协议与外部装置通信。加速器116包括被配置成接受并执行处理任务的一个或多个装置。这些装置包括图形处理单元(“GPU”)、现场可编程门阵列(“FPGA”)、处理内存芯片(“PIM”)、专用集成电路(“ASIC”)中的一者或多者，或其它装置。

图像处理器120以两种不同的形式示出。在第一种形式中，图像处理器120是存储在存储器104中并且如图所示在处理器102上执行的软件。在第二种形式中，图像处理器是驻留在输出驱动器114中的硬件图形引擎的至少一部分。在其它形式中，图像处理器120是软件与硬件元件的组合，其中硬件驻留在例如输出驱动器114中，并且软件在例如处理器102上执行。

图像处理器120接受用于分析的输入图像，分析所述图像，并且产生可能包括输出图像的分析结果。图像处理器120执行的任务是确定输入图像中的一系列块中的每一者的方差值。从概念上讲，方差指示块的类似像素彼此之间的类似程度。纯色像素块将具有非常低的方差，并且不同像素颜色的马赛克将具有非常高的方差。方差值可以用在由图像处理器120或装置100的另一部分执行的多种不同图像处理技术中。因此，图像处理器120可以使用方差来执行一种或多种图像处理技术。

图2是示出根据示例的图像200的图。图像200是用于在屏幕(例如，可以包括在输出装置110中)上分析和/或显示的图像数据。图像200是用于由图像处理器120处理以便确定图像200的方差的图像。图2中所示的图像200包括如图所示布置成网格的一系列像素块202。每一像素块202具有相同的大小，并且包括相同数目的像素。本文描述的用于确定方差的技术确定图像，例如图2的图像200，中的每个块202的方差值。

图3是示出根据示例的块202内的像素302的图。图3中所示的块202具有X像素的宽度和Y像素的高度，因此具有N＝X×Y个像素。在一个示例中，块202的方差确定如下：

在以上表达式中，项“μ”是块中所有像素的算术平均值。项“像素_i”是每个像素的代表性颜色值或亮度值。举例来说，如果像素以YUV颜色空间表示，则使用的像素值是Y(亮度)值。如果像素以RGB颜色空间表示，则任何R、G或B分量都可以用作“像素_i”。因此，块的方差等于每个像素与平均像素值的差的平方的总和除以像素数目(N)减1。直接确定方差在数学上是密集的，因为这样做涉及平方根运算和除法运算。因此，本文提供了不需要直接计算方差的用于确定帧的一个或多个块202的方差的技术。具体地说，这些技术使用运动向量技术来基于“参考帧”中的块的方差来估计特定帧中的块202的方差，其中参考帧可以是任何其它帧，例如紧接在前的帧。

图4示出了根据示例的应用于视频的图像以确定图像的当前帧的一个或多个块202的方差的运动向量技术。在一个示例中，图像处理器120使用此运动向量技术来确定用于确定方差的运动向量。或者，图像处理器120获得已经为不同目的确定的运动向量，例如用于图像压缩、视频分析等。

运动向量技术涉及为当前帧(即，正在分析的帧)中的每个块202确定“运动向量”407。运动向量407表示像素的特定块202在视频的两帧之间移动的“距离”。更具体地说，运动向量407指示参考帧中的块，当前帧中的块的像素从所述参考帧移动。参考帧是除当前帧之外的帧，并且可以是例如紧接在前的帧或当前帧之前的某个其它帧。在一些示例中，下一帧是参考帧。

在一个示例中，块包括示出天空与草坪之间的边缘的像素。在前一帧(“参考帧”)中，所述边缘的像素位于具有坐标7,9的块中。在当前帧中，所述边缘的像素位于具有坐标8,10的块中。当前帧中具有坐标8,10的块的运动向量是-1,-1，其从具有坐标8,10的块指向具有坐标7,9的块。尽管运动向量技术通常用于不与确定块的方差直接相关的目的，但本文提出了一种使用运动向量407来确定块的方差的新颖技术。

在图4中，示出了当前帧与参考帧的叠加400。叠加400是叠加400中示出的来自两个帧的块的叠加。这两个帧是当前帧和参考帧。当前帧的唯一块是当前块402。所有其它块202是来自参考帧的块。

确定当前块402的运动向量407涉及确定多个候选运动向量406中的每一者的成本。一旦确定了每个候选运动向量406的成本，确定当前块402的运动向量407涉及识别所有所确定成本中的最低成本。在所检查的所有候选运动向量406中，具有最低成本的候选运动向量406被认为是当前块402的运动向量。换句话说，可称候选运动向量406表示当前块402的像素在参考帧与当前帧之间移动的距离。与所述运动向量相关联的成本被认为是当前块402的成本。例如候选运动向量406的运动向量以块202为单位(而不是以像素302为单位)来定义。因此，表示为(1,1)的运动向量指的是块202，其是右边的一个块202和当前块402上方的一个块202。(例如正或负的正负号与例如向上或向下的方向性的相关性是任意的，并且可以使用任何相关性)。

在图4中的搜索区域404内示出了几个候选运动向量406。搜索区域404是图像的一部分，其中图像处理器120搜索具有最低成本的候选运动向量406。“成本”可以被认为是当前块402与由特定候选运动向量406指向的块202之间的“类似性”的度量。图像处理器120确定指向搜索区域404内的每个不同块202的候选运动向量406中的每一者的成本，并且识别具有最低成本的候选运动向量406。在一个示例中，搜索区域404由竖直块范围和水平块范围限定。在此示例中，搜索区域404被定义为包括在等于来自当前块402的水平块的水平距离内并且在等于来自当前块402的竖直块范围的竖直距离内的所有块202。

注意，尽管图4中仅示出了两个候选运动向量406，但这仅是为了清楚起见。在操作中，图像处理器120将识别搜索区域404和参考帧内的所有块202的候选运动向量406，将识别每个此种候选运动向量406的成本，并且将通过在参考帧中找到具有最低成本的块202来识别当前块402的运动向量407。指向所述块202的候选运动向量406将是当前块402的运动向量407。此外，成本(所分析的所有成本中的“最低成本”)将成为分配给当前块402的成本。当前块402的此成本将指示当前块402的像素与搜索区域404内的参考帧的最类似块202的像素有多类似。还应注意，在确定当前块402的运动向量407时还搜索指向与当前块402位置相同但在参考帧中的块的候选运动向量406。此种候选运动向量406将不与参考帧与当前帧之间的当前块402的像素的运动相关联。。

存在许多技术可以用于确定块202的成本。一个示例是平均绝对差技术。使用平均绝对差技术，根据以下表达式确定成本：

其中C_ij是当前块402位于位置i,j处的所述块中的像素，并且R_ij是正在确定成本的块202中的对应像素。

另一示例是均方误差。使用均方误差技术，根据以下表达式确定成本：

其中与平均绝对差技术一样，C_ij是当前块402中位于位置i,j处所述块中的像素，并且R_ij是正在确定成本的块202中的对应像素。与用于直接方差确定的“像素_i”项一样，如果像素在YUV颜色空间中表示，则C_ij或R_ij值可以是亮度值，或者如果像素在RGB颜色空间中表示，则可以是红色、绿色或蓝色分量中的任一者。可以替代地使用用于确定块202的成本的任何其它技术上可行的技术。

在确定运动向量407和当前块402的成本之后，图像处理器120处理这些项以获得当前块402的方差。更具体地说，图像处理器120分析成本以确定三个操作中的哪一个用于获得当前块402的方差。第一操作在成本低于第一阈值时发生。第一操作是使用由当前块402的运动向量407指向的块202的方差作为当前块402的方差。从概念上讲，这可以按如下方式来考虑。如果当前块402的成本足够低，则运动向量407指向的块202被认为与当前块402非常类似。因此，可以假设当前块402的方差是与运动向量407指向的块202的方差相同。发生这种情况的一种情境是当图像中根本没有运动时。在这种情境中，当前块402与由运动向量指向的块202相同，并且成本为零或接近零。

当成本高于第一阈值但低于第二阈值时，发生基于当前块402的成本确定方差的第二操作。在这种情况下，图像处理器120将方差确定为由运动向量407指向的块202的方差的倍数。倍数范围从0到1。在一些示例中，倍数随着成本的变化而变化，如由相关函数所确定。下文描述用于确定相关函数的技术。

当成本高于第二阈值时，发生基于当前块402的成本确定方差的第三操作。在这种情况下，运动向量407指向的当前块402与块202被认为太不类似，并且当前块402被认为具有“不可靠的预测方差”。在这种情况下，图像处理器120直接从当前块402中的像素的值来确定当前块402的方差，而不是基于参考图像中的另一块202。在一个示例中，图像处理器202使用关于图3提供的表达式直接确定方差：

图像处理器120使用上述运动向量技术确定当前帧中的每个块的运动向量407和成本。如果当前帧中具有不可靠的预测方差的块的数目高于第三阈值，则图像处理器120确定已发生场景变化(换句话说，如果当前帧中的太多块与参考帧中的任何其它块202非常不类似，则图像处理器120确定已发生场景改变)。在已发生场景改变的情况下，图像处理器120直接计算当前帧的所有块的方差，而不是使当前帧的任何块的方差基于参考帧中的块202的方差。图像处理器120直接计算当前帧的所有块的方差的原因是为了避免在场景变化边界上的方差中传播误差。

在一些示例中，相关函数、第一阈值、第二阈值和第三阈值作为校准数据硬编码到图像处理器120中。在另一示例中，校准数据中的任一者或全部在校准过程中由校准系统确定。在一个示例中，校准系统通过机器学习技术来确定校准数据。在一个示例中，校准系统是在标准计算机(例如包括处理器和存储用于由处理器执行的指令的存储器的计算机)上执行的软件，所述指令使处理器执行校准系统的操作。在另一示例中，校准系统体现为专用集成电路，或可以是用于执行本文所述操作的任何其它技术上可行的系统。

机器学习技术的一个示例是回归分析。图5是示出回归分析的示例的曲线图500。为了应用回归分析来找到校准数据的相关函数，校准系统接受一个或多个训练视频作为输入数据。校准系统直接确定每个训练视频的每个帧中的所有块的方差(例如，根据关于图3描述的表达式)。校准系统还确定应为每个视频的每个帧使用哪个参考帧(在一个示例中，任何帧的参考帧是紧接在前的帧)。校准系统确定每个帧的每个块的成本。如上所述，任何特定帧的任何特定块的成本与参考帧相关联。接着，校准系统为每个块生成一组“方差乘数”，并且将方差乘数与成本进行对比。在x轴上绘制的方差乘数是帧中块的实际方差与计算成本的参考帧中的对应块的实际方差之间的乘法关系。曲线图500是方差乘数与成本的示例图，其中每个数据点对应于单个块，并且由单个块的方差倍数和成本定义。

在标绘此数据之后，校准系统使曲线拟合所标绘数据。所得曲线充当相关函数。换句话说，图像处理器120使用拟合到数据的曲线作为相关函数。可以使用用于将曲线拟合到所标绘数据的任何技术上可行的技术(例如，用于将曲线拟合到数据的任何非线性回归技术)。可以使用用于将方差乘数与成本相关联的任何其它技术上可行的机器学习技术。

如上所述，第一阈值502是方差乘数被设置为等于1的阈值。第二阈值504是高于其时图像处理器120确定预测的方差将是不可靠的预测方差的阈值。(这些阈值是上述第一阈值和第二阈值)。可以设置这些阈值中的每一者以限制图像处理器120的操作中的误差量。更具体地说，在确定相关函数之后，校准系统将第一阈值502和第二阈值504设置为任意值，应用上述方差计算技术用于测试数据以获得预测方差值，并且确定预测方差值与实际方差值之间的误差(例如，通过直接计算确定，如利用关于图3所述的表达式)。如果此误差高于被认为是不合需要的错误率，则校准系统将第一阈值502设置得更低或将第二阈值504设置得更高，或将第一阈值502设置得更低并且将第二阈值504设置得更高。校准系统重复此过程，直到误差等于或低于所需比率。类似地，在一些示例中，通过将上文提供的方差计算技术应用于一个或多个视频、检测错误率，以及修改第三阈值直到实现令人满意的错误率来确定第三阈值。

在一些示例中，图像处理器120存储多组校准数据，其中每一组被存储用于不同“类型”的视频，其中“类型”是指视频的内容类型。一些示例视频类型包括自然视频、动作电影、新闻视频、脱口秀视频等。在一些示例中，每个视频用类型识别符标记，这允许图像处理器120确定使用哪组校准数据。

在一些示例中，不使用相关函数。相反，基于当前块402的成本，使用或不使用由运动向量指向的块202的方差。换句话说，第一阈值等于第二阈值，使得使用相关函数时的成本值的范围折叠，并且不存在。成本低于第一阈值和第二阈值，在这种情况下，使用由运动向量指向的块202的方差，或成本高于第一阈值和第二阈值，在这种情况下，图像处理器120直接确定当前块402的方差。

图6是根据示例的用于基于“成本”(与参考帧的块的类似性)确定方差值的方法600的流程图。尽管关于图1至5所示和所述的系统进行了描述，但应理解，被配置成以任何技术上可行的顺序执行所述方法的任何系统都落入本公开的范围内。

方法600开始于步骤602，其中图像处理器120确定当前块的运动向量和成本。在一个示例中，图像处理器120直接确定运动向量，例如通过使用上文描述的上述运动向量技术。更具体地说，图像处理器120通过识别搜索区域、识别搜索区域内的参考帧中的所有块、确定搜索区域内的参考帧中的所有块的成本以及确定最低所确定成本来直接确定当前块的运动向量和成本。最低所确定成本是当前块的成本，并且与最低所确定成本相关联的运动向量是当前块的运动向量。在确定运动向量的另一示例中，图像处理器120获得已为不同目的而确定的运动向量，例如用于图像压缩、视频分析等。

在步骤604，图像处理器120确定块的成本是否低于第一阈值。第一阈值表示一个级别，低于所述级别，确定与运动向量相关联的块与当前块足够类似，使得所述块的方差可以用作当前块的方差。因此，如果成本低于第一阈值，则方法600前进到步骤606，其中图像处理器120使用与所确定的运动向量相关联的块的方差作为当前块的方差。在步骤606之后，方法600前进到步骤608。

如果在步骤604，图像处理器120确定成本高于第一阈值，则方法600前进到步骤610。在步骤610，图像处理器120确定成本是否高于第一阈值但低于第二阈值。第二阈值是一个级别，高于所述级别，预测方差被认为是不可靠的(因为成本太高，意味着与成本相关联的块与当前块太不类似)。如果成本高于第一阈值但低于第二阈值，则方法600前进到步骤612，其中图像处理器120将上述相关函数应用于由运动向量指向的块的方差以获得当前块的方差。在步骤612之后，方法600前进到步骤608。

如果在步骤610，图像处理器120未确定成本高于第一阈值但低于第二阈值，则成本高于第二阈值，并且方法进行到步骤614。在步骤614，图像处理器120确定当前块的预测方差是不可靠的，并且图像处理器120直接确定当前块的方差，例如通过上文关于图3提供的表达式。在步骤614之后，方法前进到步骤608。

在步骤608，图像处理器120确定是否存在要在当前帧中分析的另一块。如果存在另一块，则方法600返回到步骤602，并且如果不存在另一块，则方法600前进到步骤616。在步骤616，已经分析了当前帧的所有块，并且方法600确定具有不可靠预测方差的块的数目是否高于第三阈值。如果具有不可靠预测方差的块的数目高于第三阈值，则方法600前进到步骤620，并且如果具有不可靠预测方差的块的数目低于第三阈值，则方法600前进到步骤618，其中方法600结束。在步骤620，图像处理器120使用针对当前帧的所有块的直接确定的方差，而不是在步骤606或步骤612处确定的方差。在步骤620之后，方法前进到步骤618。

对于块确定的方差存在许多可能用途。一个示例是视频稳定化。视频稳定化的目的是消除视频中不需要的摄像机运动。视频稳定器(在一个示例中，其是图像处理器120的一部分)通过识别视频中的块202的运动向量来识别视频中发生不需要的运动的方式。更具体地说，对于要对其执行视频稳定化的任何帧，图像处理器120确定帧中各种块的运动向量。运动向量指示摄像机相对于参考帧的估计运动。接着，图像处理器120能够通过基于摄像机相对于参考帧的估计运动来修改当前帧以校正当前帧。在确定摄像机的估计运动时，图像处理器120使用某些运动向量，但避免其它运动向量。更具体地说，具有低方差的块202受到不准确的运动向量的影响，因为这些块中的变化通常由噪声支配。为此，图像处理器120使用块202的所确定方差来确定忽略哪些运动向量。图像处理器120忽略具有低于特定阈值的方差的块202的运动向量，所述特定阈值可以按任何技术上可行的方式设置(例如，手动)。

另一示例是视频或图像大小调整。用于图像大小调整的一种技术是接缝雕刻。(例如，参见“用于内容已知图像大小调整的接缝雕刻(Seam Carving for Content-AwareImage Resizing)”)。接缝雕刻去除了被认为不重要的图像部分。在一些示例中，基于块的方差确定块不重要。具有低方差的块被认为是不重要的。可以使用方差的方式的又一个示例是有损视频压缩。在有损视频压缩中，具有低方差的块可以被压缩到更大程度或以有损方式压缩，其中具有更高方差的块被压缩到更小程度或以非有损方式压缩。

本文描述的用于确定图像块的方差的一些或所有操作，以及针对可以使用方差的方式描述的一些或全部操作由图像处理器120执行。

本文描述的技术提供了用于确定视频帧的方差的有利技术。更具体地说，所述技术基于运动向量，使用运动向量指向的参考帧中的块的方差，或使用所述方差的修改版本来确定方差。使用已存在的方差可减少确定方差所需的计算量，从而减少确定方差所需的时间。

提供了用于确定像素块的方差的示例方法。所述方法包括识别所述像素块的运动向量，所述运动向量与参考帧的第二像素块相关联。所述方法还包括确定所述像素块的成本，所述成本指示所述像素块与所述第二像素块之间的类似度。所述方法还包括基于所述成本确定所述像素块的方差。

在一个示例中，基于所述成本确定所述像素块的所述方差包括：确定所述成本低于第一阈值；以及响应于确定所述成本低于所述第一阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差。在一个示例中，基于所述成本确定所述像素块的所述方差包括：确定所述成本高于第一阈值但低于第二阈值；以及响应于确定所述成本高于所述第一阈值但低于所述第二阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差乘以相关因子。

在一个示例中，所述相关因子是基于基于视频训练数据的相关函数。在一个示例中，基于所述成本确定所述像素块的所述方差包括：确定所述成本高于第一阈值和第二阈值；以及响应于确定所述成本高于所述第一阈值与所述第二阈值，直接基于所述像素块的像素确定所述像素块的所述方差。

在一个示例中，确定所述方差包括：确定存在所述像素块的当前帧中的阈值数目的块的成本全部高于第一阈值与第二阈值；以及响应于确定所述阈值数目的块的所述成本高于所述第一阈值和所述第二阈值，基于每个相应像素块的像素值直接确定所述当前帧的所有像素块的所述方差。

在一个示例中，识别所述像素块的所述运动向量包括：识别指向在搜索区域内的所述参考帧的像素块的一组候选运动向量；确定所述搜索区域内的所述参考帧的所述像素块中的每一者的成本；识别所述所确定成本中的最低成本；以及识别与所述所确定成本中的所述最低成本相关联的所述候选运动向量作为所述像素块的所述运动向量。在一个示例中，确定所述像素块中的每一者的所述成本包括对所述像素块的像素应用平均绝对差技术或均方误差技术。在一个示例中，所述参考帧包括在存在所述像素块的当前帧之前或之后的帧。

提供了一种用于确定像素块的方差的示例计算机系统。所述计算机系统包括处理器和存储指令的存储器，当由处理器执行时，所述指令使所述处理器执行步骤。这些步骤包括识别所述像素块的运动向量，所述运动向量与参考帧的第二像素块相关联。这些步骤还包括确定所述像素块的成本，所述成本指示所述像素块与所述第二像素块之间的类似度。这些步骤还包括基于所述成本确定所述像素块的所述方差。

在一个示例中，基于所述成本确定所述像素块的所述方差包括：确定所述成本低于第一阈值；以及响应于确定所述成本低于所述第一阈值，确定所述像素块的所述方差等于所述参考帧的第二像素块的方差。在一个示例中，基于所述成本确定所述像素块的所述方差包括：确定所述成本高于第一阈值但低于第二阈值；以及响应于确定所述成本高于所述第一阈值但低于所述第二阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差乘以相关因子。

在一个示例中，所述相关因子是基于基于视频训练数据的相关函数。在一个示例中，基于所述成本确定所述像素块的方差包括：确定所述成本高于第一阈值和第二阈值；以及响应于确定所述成本高于所述第一阈值与所述第二阈值，直接基于所述像素块的像素确定所述像素块的所述方差。

在一个示例中，确定所述方差包括：确定存在所述像素块的当前帧中的阈值数目的块的成本全部高于第一阈值与第二阈值；以及响应于确定所述阈值数目的块的所述成本高于所述第一阈值和所述第二阈值，基于每个相应像素块的像素值直接确定所述当前帧的所有像素块的所述方差。

在一个示例中，识别所述像素块的所述运动向量包括：识别指向在搜索区域内的所述参考帧的像素块的一组候选运动向量；确定所述搜索区域内的所述参考帧的所述像素块中的每一者的成本；识别所述所确定成本中的最低成本；以及识别与所述所确定成本中的所述最低成本相关联的所述候选运动向量作为所述像素块的所述运动向量。在一个示例中，确定所述像素块中的每一者的所述成本包括对所述像素块的像素应用平均绝对差技术或均方误差技术。在一个示例中，所述参考帧包括在存在所述像素块的当前帧之前或之后的帧。

一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器执行用于确定像素块的方差的方法。所述方法包括识别所述像素块的运动向量，所述运动向量与参考帧的第二像素块相关联。所述方法还包括确定所述像素块的成本，所述成本指示所述像素块与所述第二像素块之间的类似度。所述方法还包括基于所述成本确定所述像素块的方差。

在一个示例中，基于所述成本确定所述像素块的所述方差包括：响应于确定所述成本低于所述第一阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差。在一个示例中，基于所述成本确定所述像素块的所述方差包括：确定所述成本高于第一阈值但低于第二阈值；以及响应于确定所述成本高于所述第一阈值但低于所述第二阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差乘以相关因子。

在一个示例中，所述相关因子是基于基于视频训练数据的相关函数。在一个示例中，基于所述成本确定所述像素块的所述方差包括：确定所述成本高于第一阈值和第二阈值；以及响应于确定所述成本高于所述第一阈值与所述第二阈值，直接基于所述像素块的像素确定所述像素块的所述方差。

在一个示例中，确定所述方差包括：确定存在所述像素块的当前帧中的阈值数目的块的成本全部高于第一阈值与第二阈值；以及响应于确定所述阈值数目的块的所述成本高于所述第一阈值和所述第二阈值，基于每个相应像素块的像素值直接确定所述当前帧的所有像素块的所述方差。

在一个示例中，识别所述像素块的所述运动向量包括：识别指向在搜索区域内的所述参考帧的像素块的一组候选运动向量；确定所述搜索区域内的所述参考帧的所述像素块中的每一者的成本；识别所述所确定成本中的最低成本；以及识别与所述所确定成本中的所述最低成本相关联的所述候选运动向量作为所述像素块的所述运动向量。在一个示例中，确定所述像素块中的每一者的所述成本包括对所述像素块的像素应用平均绝对差技术或均方误差技术。在一个示例中，所述参考帧包括在存在所述像素块的当前帧之前或之后的帧。

应理解，基于本文的公开内容，许多变化是可能的。尽管以上以特定组合描述了特征和元件，但每个特征或元件可以在没有其它特征和元件的情况下单独使用，或在具有或不具有其它特征和元件的情况下以各种组合使用。

所提供的方法可以在通用计算机、处理器或处理器核心中实施。作为示例，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)和/或状态机。可以通过使用经过处理的硬件描述语言(HDL)指令和包括网表(这种指令能够存储在计算机可读介质上)的其它中间数据的结果来配置制造过程来制造此种处理器。此种处理的结果可以是掩模件，所述掩模件接着用于半导体制造工艺中以制造实施实施方案的各方面的处理器。

本文提供的方法或流程图可以在并入于非暂时性计算机可读存储介质中的计算机程序、软件或固件中实施，以供通用计算机或处理器执行。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器装置、例如内部硬盘和可移除式磁盘的磁性介质、磁光介质，和例如CD-ROM盘和数字通用盘(DVD)的光学介质。

Claims (16)

1.一种用于确定像素块的方差的方法，所述方法包括：

识别所述像素块的运动向量，所述运动向量与参考帧的第二像素块相关联，其中，从指向在搜索区域内的所述参考帧的像素块的一组候选运动向量识别所述像素块的所述运动向量作为在确定所述搜索区域内的所述参考帧的所述像素块中的每一者的成本之后与最低成本相关联的所述运动向量；

获得所述像素块的成本，所述成本先前通过识别所述运动向量来确定，所述成本指示所述像素块与所述第二像素块之间的类似度；以及

基于所述成本确定所述像素块的方差，其中基于所述成本确定所述像素块的所述方差包括：

确定所述成本高于第一阈值但低于第二阈值；以及

响应于确定所述成本高于所述第一阈值但低于所述第二阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差乘以相关因子。

2.如权利要求1所述的方法，其中基于所述成本确定所述像素块的所述方差包括：

确定所述成本低于所述第一阈值；以及

响应于确定所述成本低于所述第一阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差。

3.如权利要求1所述的方法，其中：

所述相关因子是基于使用视频训练数据的相关函数。

4.如权利要求1所述的方法，其中基于所述成本确定所述像素块的所述方差包括：

确定所述成本高于所述第一阈值和所述第二阈值；以及

响应于确定所述成本高于所述第一阈值与所述第二阈值，直接基于所述像素块的像素确定所述像素块的所述方差。

5.如权利要求1所述的方法，其中确定所述方差包括：

确定存在所述像素块的当前帧中的阈值数目的块的成本全部高于所述第一阈值与所述第二阈值；以及

响应于确定所述阈值数目的块的所述成本高于所述第一阈值和所述第二阈值，基于每个相应像素块的像素值直接确定所述当前帧的所有像素块的所述方差。

6.如权利要求1所述的方法，其中确定所述像素块中的每一者的所述成本包括：

对所述像素块的像素应用平均绝对差技术或均方误差技术。

7.如权利要求1所述的方法，其中所述参考帧包括在存在所述像素块的当前帧之前或之后的帧。

8.一种用于确定像素块的方差的计算机系统，所述计算机系统包括：

处理器；以及

存储器，所述存储器存储用于由所述处理器执行的指令，所述指令使所述处理器：

识别所述像素块的运动向量，所述运动向量与参考帧的第二像素块相关联，其中，从指向在搜索区域内的所述参考帧的像素块的一组候选运动向量识别所述像素块的所述运动向量作为在确定所述搜索区域内的所述参考帧的所述像素块中的每一者的成本之后与最低成本相关联的所述运动向量；

获得所述像素块的成本，所述成本先前通过识别所述运动向量来确定，所述成本指示所述像素块与所述第二像素块之间的类似度；以及

基于所述成本确定所述像素块的所述方差，其中基于所述成本确定所述像素块的所述方差包括：

确定所述成本高于第一阈值但低于第二阈值；以及

响应于确定所述成本高于所述第一阈值但低于所述第二阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差乘以相关因子。

9.如权利要求8所述的计算机系统，其中基于所述成本确定所述像素块的所述方差包括：

确定所述成本低于所述第一阈值；以及

响应于确定所述成本低于所述第一阈值，确定所述像素块的所述方差等于所述参考帧的第二像素块的方差。

10.如权利要求8所述的计算机系统，其中：

所述相关因子是基于使用视频训练数据的相关函数。

11.如权利要求8所述的计算机系统，其中基于所述成本确定所述像素块的方差包括：

确定所述成本高于所述第一阈值和所述第二阈值；以及

响应于确定所述成本高于所述第一阈值与所述第二阈值，直接基于所述像素块的像素确定所述像素块的所述方差。

12.如权利要求8所述的计算机系统，其中确定所述方差包括：

确定存在所述像素块的当前帧中的阈值数目的块的成本全部高于所述第一阈值与所述第二阈值；以及

响应于确定所述阈值数目的块的所述成本高于所述第一阈值和所述第二阈值，基于每个相应像素块的像素值直接确定所述当前帧的所有像素块的所述方差。

13.如权利要求8所述的计算机系统，其中确定所述像素块中的每一者的所述成本包括：

对所述像素块的像素应用平均绝对差技术或均方误差技术。

14.如权利要求9所述的计算机系统，其中所述参考帧包括在存在所述像素块的当前帧之前或之后的帧。

15.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器进行用于确定像素块的方差的操作，所述操作包括：

识别所述像素块的运动向量，所述运动向量与参考帧的第二像素块相关联，其中，从指向在搜索区域内的所述参考帧的像素块的一组候选运动向量识别所述像素块的所述运动向量作为在确定所述搜索区域内的所述参考帧的所述像素块中的每一者的成本之后与最低成本相关联的所述运动向量；

获得所述像素块的成本，所述成本先前通过识别所述运动向量来确定，所述成本指示所述像素块与所述第二像素块之间的类似度；以及

基于所述成本确定所述像素块的方差，其中基于所述成本确定所述像素块的所述方差包括：

确定所述成本高于第一阈值但低于第二阈值；以及

响应于确定所述成本高于所述第一阈值但低于所述第二阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差乘以相关因子。

16.如权利要求15所述的非暂时性计算机可读介质，其中基于所述成本确定所述像素块的所述方差包括：

确定所述成本低于所述第一阈值；以及

响应于确定所述成本低于所述第一阈值，确定所述像素块的所述方差等于所述参考帧的所述第二像素块的方差。

Images