CN101742082B - 运动图像处理设备及其方法 - Google Patents

Abstract

本发明涉及运动图像处理设备及其方法。基于输入帧Ft中的图像的运动，计算与输入帧Ft对应的子帧Pt和Qt的分配比率Rt′。然后根据与要在输入帧Ft之前再现的输入帧Ft-1对应的子帧Pt-1和Qt-1之间的分配比率Rt-1，校正计算的分配比率Rt′。由此获取分配比率Rt。

Description

运动图像处理设备及其方法

技术领域

本发明涉及执行帧速率转换的运动图像处理设备。

背景技术

存在一种倍速驱动方法，所述倍速驱动方法用于通过从一个输入帧产生多个子帧并顺序地再现所述多个子帧来增大帧速率。日本专利申请特开No.2002-351382讨论了这种倍速驱动方法的一个例子，所述例子减少当输入帧中的图像运动时可能被感测的虚假轮廓的出现。

日本专利申请特开No.2002-351382讨论了一种技术，所述技术在输入帧中的图像的运动较大时减小从输入帧产生的两个子帧中的一个子帧的高频分量。

但是，当显示子帧时，存在会导致观看者感觉不正常的输入帧。更具体地，如果输入帧中的图像的运动较大，那么，即使减小子帧的高频分量，也会由于残留在子帧中的亮度分量而产生拖影(拖尾)。

发明内容

本发明针对一种运动图像处理设备及其方法，所述运动图像处理设备减少当显示从输入帧产生的子帧时在显示图像中感测到的不正常感。

根据本发明的一个方面，提供一种被配置为从一个输入帧产生多个输出帧的运动图像处理设备，所述运动图像处理设备包括：输入单元，被配置为输入第一输入帧和接在第一输入帧之后的第二输入帧；确定单元，被配置为确定用于从第一输入帧产生至少第一输出帧和第二输出帧的第一分配比率，并根据第二输入帧中的图像的运动确定用于从第二输入帧产生至少第三输出帧和第四输出帧的第二分配比率；以及产生单元，被配置为基于第一分配比率从第一输入帧产生第一输出帧和第二输出帧，并基于第二分配比率从第二输入帧产生第三输出帧和第四输出帧。

通过参照附图阅读示例性实施例的以下的详细描述，本发明的其它特征和方面将变得清晰。

附图说明

被包含于说明书中并构成其一部分的附图示出本发明的示例性实施例、特征和方面，并与描述一起用于说明本发明的原理。

图1是示出根据本发明的第一示例性实施例的运动图像处理设备的框图。

图2是示出通过根据本发明的第一示例性实施例的运动图像处理设备执行的处理的流程图。

图3是示出通过根据本发明的第一示例性实施例的分配比率校正单元执行的处理的流程图。

图4是示出根据本发明的第一示例性实施例的设定各区域的分配比率的处理的流程图。

图5示出根据校正后的分配比率的输出的第一例子。

图6示出根据校正后的分配比率的输出的第二例子。

图7示出用户观看根据校正后的分配比率的输出时的画面的亮度的例子。

图8是示出根据本发明的第二示例性实施例的运动图像处理设备的框图。

图9是示出通过根据本发明的第二示例性实施例的运动图像处理设备执行的处理的流程图。

图10是示出通过根据本发明的第二示例性实施例的分配比率校正单元执行的处理的流程图。

图11A、图11B和图11C示出根据本发明的第二示例性实施例的容许量计算单元的输入和输出的例子。

图12示出用户观看根据本发明的第二示例性实施例的校正后的分配比率的输出时的画面的亮度的第一例子。

图13示出用户观看根据本发明的第二示例性实施例的校正后的分配比率的输出时的画面的亮度的第二例子。

图14是示出分配比率为5∶5时的显示输出和可见输出的示意图的例子。

图15是示出分配比率为9∶1时的显示输出和可见输出的示意图的例子。

图16是示出在配置中包括低通滤波器(LPF)时的显示输出和可见输出的示意图的例子。

图17示出根据基于运动量确定的分配比率的子帧的输出的例子。

图18示出用户观看根据基于运动量确定的分配比率的子帧的输出时的画面的亮度的例子。

具体实施方式

以下，将参照附图详细描述本发明的各个示例性实施例、特征和方面。

示例性实施例是例子，并且本发明不限于这些例子。

图1是示出根据本发明的第一示例性实施例的运动图像处理设备的主要部分的配置的框图。运动图像处理设备包括分配比率计算单元101、分配比率校正单元102、分配比率存储单元103、分配处理单元104、差值处理单元105和切换单元106。

此外，根据本示例性实施例的运动图像处理设备连接到用于捕获和输入运动图像的运动图像输入设备(例如摄像机)和显示运动图像的显示设备(例如数字电视)。运动图像处理设备可被包含到运动图像输入设备或显示设备中。

此外，根据本示例性实施例的运动图像处理设备基于确定的分配比率从一个输入帧产生多个子帧(输出帧)。于是，通过顺序地显示所述子帧(即执行倍速驱动)，输入帧的帧速率被增大为原始帧速率的多倍。

更具体而言，在本示例性实施例中，如果确定的分配比率为8∶2，那么运动图像处理设备产生像素值为输入帧的像素值的0.8倍的第一子帧。运动图像处理设备还产生像素值为输入帧的像素值的0.2倍的第二子帧。

根据本示例性实施例的运动图像处理设备根据过去的分配比率对基于输入帧中的图像的运动量计算的分配比率进行校正。分配比率计算单元101由此基于在各输入帧之间检测的运动量来计算分配比率R′。

分配比率校正单元102根据存储在分配比率存储单元103中的过去的输入帧的分配比率，校正由分配比率计算单元101计算的分配比率R′。然后，分配处理单元104和差值处理单元105根据由分配比率校正单元102校正后的分配比率R从输入帧产生子帧。

此外，本示例性实施例描述输入帧的帧速率(60帧/秒)被转换成输出帧的帧速率(120帧/秒)的情况。但是，本发明不限于此。此外，本发明可应用于从一个输入帧产生三个或更多个子帧的示例性实施例。

分配比率计算单元101在时间t接收来自运动图像输入设备的输入帧Ft和输入帧Ft+1。此外，要在输入帧Ft之前再现的输入帧Ft-1和该输入帧Ft在时间t-1被输入到分配比率计算单元101。第一输入帧(即输入帧Ft-1)和接在第一输入帧之后的第二输入帧(即输入帧Ft)由此被输入到分配比率计算单元101。

此外，第三输入帧(即输入帧Ft+1)被输入到分配比率计算单元101。然后，分配比率计算单元101在输入帧中根据输入帧Ft和Ft+1计算输入帧Ft的分配比率Rt′。

输入帧Ft是要在时间t再现的帧的数据，并且，输入帧Ft+1是要在输入帧Ft之后(即，在时间t+1)再现的帧的数据。在本示例性实施例中，从输入帧产生的子帧被再现。

此外，在本示例性实施例中，从输入帧Ft产生两个子帧(Pt、Qt)。如果输入帧Ft的分配比率是6∶4，那么子帧Pt的像素值为输入帧Ft的0.6倍，子帧Qt的像素值为输入帧Ft的0.4倍。

在子帧Qt之前再现子帧Pt。在本示例性实施例中，基于子帧Q和输入帧F的像素值的比来描述分配比率。例如，如果输入帧Ft的分配比率为7∶3，那么，子帧Pt的像素值为输入帧Ft的像素值的0.7倍，子帧Qt的像素值为输入帧Ft的像素值的0.3倍。这种情况下的分配比率被表示为0.3。

类似地，例如，如果分配比率为9∶1，那么该比率被表示为0.1，并且，如果分配比率为6∶4，那么该比率被表示为0.4。

此外，在本示例性实施例中，子帧的分配比率被确定为使得子帧P的像素值变得比子帧Q的像素值高。结果，分配比率被设定为0.0与0.5之间。分配比率还可被更精细地确定，或者可被设定为使得子帧Q的像素值变得比子帧P的像素值高。

如上所述，根据本示例性实施例的运动图像处理设备从输入帧产生两个输出帧(即，子帧P和子帧Q)。帧速率由此从60帧每秒被转换成120帧每秒。

分配比率计算单元101基于在输入帧之间检测的运动量计算分配比率R′。更具体而言，分配比率计算单元101计算输入帧Ft和输入帧Ft+1之间的差值，以检测输入帧Ft中的运动区域和该运动区域的运动量。

如果检测的运动量较大，那么分配比率计算单元101计算输入帧Ft的分配比率Rt′，使得产生的多个子帧P和Q的像素值之间的差值变得较大。

出于以下的原因，根据运动量计算分配比率。如果输入帧Ft中的运动量较大并且子帧Pt和Qt的像素值之间的差值较小，那么运动区域的运动模糊会变得明显。

相反，如果与子帧Pt的像素值相比，子帧Qt的像素值足够低，那么，即使当输入帧之间的运动量较大时，由显示子帧Qt导致的运动图像的运动模糊也会变得不明显。

根据本示例性实施例的分配比率计算单元101由此计算输入帧Ft的分配比率Rt′，使得子帧Pt和Qt的像素值的差值随着运动量的增大而增大。在本示例性实施例中，当分配比率为10∶0(0.0)时，子帧Pt和Qt的像素值之间的差值最大。

用于获取运动量的方法不限于使用像素值之间的差值的方法。例如，可从诸如运动矢量信息之类的运动信息获取运动量。然后，分配比率计算单元101将计算的分配比率Rt′输出到分配比率校正单元102。

分配比率校正单元102根据以前的分配比率校正从分配比率计算单元101输出的分配比率Rt′。更具体而言，分配比率校正单元102根据输入帧Ft-1的分配比率Rt-1校正输入帧Ft的分配比率Rt′。由分配比率校正单元102获取的校正后的分配比率被称为Rt。

此外，分配比率Rt-1是通过由分配比率校正单元102对基于输入帧Ft和在输入帧Ft之前输入的输入帧Ft-1计算的分配比率Rt′-1进行校正而获取的分配比率。分配比率校正单元102校正计算的分配比率Rt′，使得输入帧Ft的分配比率Rt和对于以前的输入帧确定的分配比率之间的差值在预定的范围内。以下将参照图3详细描述由分配比率校正单元102执行的校正分配比率的处理。

分配比率校正单元102将校正后的分配比率Rt输出到分配比率存储单元103和分配处理单元104。可以在不校正来自分配比率计算单元101的输出的情况下将从运动图像输入设备输入的第一输入帧的分配比率输出到分配处理单元104。

分配比率存储单元103存储直到目前为止已输入的输入帧的校正后的分配比率R。分配比率存储单元103还将存储的分配比率R输出到分配比率校正单元102。

分配处理单元104根据输入帧的像素值和校正后的分配比率产生子帧Q。例如，如果输入帧Ft的校正后的分配比率为7∶3(0.3)，那么分配处理单元104通过将输入帧Ft的像素值乘以0.3产生子帧Qt。然后，分配处理单元104通过切换单元106输出产生的子帧Q的数据。

然后，差值处理单元105基于子帧Q和输入帧F产生子帧P。例如，如果输入帧Ft的校正后的分配比率为7∶3(0.3)，那么差值处理单元105通过获取输入帧Ft和子帧Qt之间的差值产生子帧Pt。

如上所述，分配处理单元104通过将输入帧Ft的像素值乘以0.3产生子帧Qt。也可通过将输入帧Ft的像素值乘以0.7产生子帧P。然后，分配处理单元104通过切换单元106输出产生的子帧P的数据。

换句话说，分配处理单元104和差值处理单元105基于第一分配比率(即，Rt-1)从第一输入帧(即，输入帧Ft-1)产生第一输出帧(即，子帧Pt-1)和第二输出帧(即，子帧Qt-1)。

此外，分配处理单元104和差值处理单元105基于第一分配比率(即，Rt)从第二输入帧(即，输入帧Ft)产生第三输出帧(即，子帧Pt)和第四输出帧(即，子帧Qt)。

切换单元106交替切换输出，使得子帧P和子帧Q被顺序地输出。如上所述，从输入帧Ft产生的子帧以子帧Pt和子帧Qt的次序被输出。此外，在子帧Qt之后顺序地输出从输入帧Ft+1产生的子帧Pt+1和子帧Qt+1。

此外，在本示例性实施例中，从一个输入帧产生的多个子帧的像素值的总和等于输入帧的像素值。例如，子帧Pt和子帧Qt的像素值的总和等于输入帧Ft的像素值。

但是，可通过在差值处理单元105中包括信号转换功能使得子帧的信号值的总和与输入帧的信号值不同。

以下，将参照图2描述在本示例性实施例中执行的处理。

图2是示出由根据本示例性实施例的运动图像处理设备执行的处理的流程图。本示例性实施例描述当通过硬件配置图1所示的部件时执行的处理。但是，也可通过中央处理单元(CPU)实现图2所示的处理，该中央处理单元通过从随机存取存储器(RAM)读出并以适当方式执行根据本示例性实施例的程序，控制整个运动图像处理设备。

通过由用户接通诸如数字电视(TV)之类的显示设备的电源，启动图2所示的处理。作为替代方案，可通过在显示设备中设定执行倍速驱动的模式来执行处理。

在步骤S101(即，输入步骤)中，多个输入帧从运动图像输入设备被输入到分配比率计算单元101。在本例子中，输入帧Ft和Ft+1被输入。也可输入三个或更多个输入帧。在将所述多个输入帧输入到分配比率计算单元101之后，处理前进到步骤S102。

在步骤S102中，分配比率计算单元101从在步骤S101中接收的所述多个输入帧(Ft和Ft+1)计算分配比率Rt′。如上所述，分配比率计算单元101根据从输入帧Ft和Ft+1之间的差值检测的输入帧Ft的运动量，计算输入帧Ft的分配比率Rt′。

此外，在步骤S102中，分配比率计算单元101基于从接在第二输入帧之后的第三输入帧(Ft+1)和该第二输入帧之间的差值检测的运动区域的位移量，确定第二输入帧(Ft)内的图像的运动。

但是，可从所述帧之后的帧、所述帧之前的帧或所述帧之前和之后的帧检测所述帧内的图像的运动。此外，可从诸如运动矢量信息之类的运动信息获取运动量。在这种情况下，分配比率计算单元101不必在步骤S101中接收多个输入帧。

在分配比率计算单元101将输入帧Ft的计算的分配比率Rt′输出到分配比率校正单元102之后，处理前进到步骤S103。在步骤S103(确定步骤)中，分配比率校正单元102根据过去的分配比率校正从分配比率计算单元101输出的输入帧Ft的分配比率Rt′。然后，分配比率校正单元102确定输入帧Ft的分配比率Rt。

更具体而言，分配比率校正单元102校正计算的分配比率Rt′，使得输入帧Ft的分配比率Rt和对于过去的输入帧确定的分配比率之间的差值在预定的范围内。分配比率校正单元102由此从第二输入帧(输入帧Ft)确定用于产生相应的第三输出帧(子帧Pt)和第四输出帧(子帧Qt)的分配比率Rt。

分配比率校正单元102以前已从第一输入帧(输入帧Ft-1)确定了用于产生相应的第一输出帧(子帧Pt-1)和第二输出帧(子帧Qt-1)的分配比率Rt-1。

换句话说，分配比率校正单元102确定与第三和第四输出帧(子帧Pt和Qt)对应的图像信号的比率Rt。分配比率校正单元102根据与第一和第二输出帧(子帧Pt-1和Qt-1)对应的图像信号的比率以及第二输入帧(输入帧Ft)内的图像的运动确定比率Rt。

因此，分配比率校正单元102将校正的分配比率Rt输出到分配比率存储单元103和分配处理单元104。然后，处理前进到步骤S104。以下，将参照图3详细描述由分配比率校正单元102执行的校正分配比率的处理。

在步骤S104(产生步骤)中，分配处理单元104基于输入帧Ft和从分配比率校正单元102输出的分配比率Rt产生子帧Qt。例如，如果输入帧Ft的校正后的分配比率Rt为7∶3(0.3)，那么分配处理单元104产生像素值为输入帧Ft的像素值的0.3倍的子帧Qt。

然后，分配处理单元104将产生的子帧Qt输出到差值处理单元105。此外，由分配处理单元104产生的子帧Qt通过切换单元106被输出到运动图像处理设备的外部。

例如，诸如显示器之类的显示设备或诸如硬盘驱动器之类的存储装置是外部装置。但是，本发明不限于这些装置。

在分配处理单元104将子帧Qt输出到差值处理单元105之后，处理前进到步骤S105。在步骤S105(产生步骤)中，差值处理单元105基于输入帧Ft和从分配处理单元104输出的子帧Qt产生子帧Pt。

更具体而言，差值处理单元105产生输入帧Ft和子帧Qt之间的差值作为子帧Pt。如果输入帧Ft的校正后的分配比率Rt为7∶3(0.3)，那么通过将输入帧Ft的像素值乘以0.7产生子帧Pt。

然后，由差值处理单元105产生的子帧Pt通过切换单元106被输出到外部。在差值处理单元105产生子帧Pt之后，处理返回步骤S101。然后，基于输入帧Ft+1和Ft+2，确定输入帧Ft+1的分配比率，并且，产生并输出子帧Pt+1和Qt+1。

以下将参照图3描述校正分配比率的处理。图3是示出由分配比率校正单元102执行的校正分配比率R′的处理的流程图。图3的处理与由图2所示的步骤S103执行的处理对应。

在本示例性实施例中，将描述校正输入帧Ft的分配比率Rt′的情况。

如上所述，在本示例性实施例中，基于子帧Q和输入帧F的像素值之间的比率表达分配比率。例如，如果输入帧Ft的分配比率为7∶3，那么子帧Pt的像素值为输入帧Ft的像素值的0.7倍，并且，子帧Qt的像素值为输入帧Ft的像素值的0.3倍。分配比率由此被表示为0.3。

此外，在本示例性实施例中，子帧的分配比率被确定为使得子帧P的像素值变得比子帧Q的像素值高。此外，在本示例性实施例中，0.2的分配比率比0.1的分配比率高。换句话说，当分配比率变得更高时，子帧P和Q的像素值变得更接近。

在步骤S200中，分配比率校正单元102从分配比率计算单元101获取输入帧Ft的分配比率Rt′。分配比率校正单元102还从分配比率存储单元103获取过去的分配比率Rt-1。

分配比率Rt-1是在输入帧Ft之前输入的输入帧Ft-1的被分配比率校正单元102校正后的分配比率。分配比率存储单元103由此存储在产生要被实际再现的子帧时使用的分配比率数据。

在本示例性实施例中，分配比率校正单元102仅获取输入帧Ft-1的校正后的分配比率。但是，分配比率校正单元102可获取多个过去的分配比率。例如，分配比率校正单元102可集体获取输入帧Ft-2的分配比率Rt-2和输入帧Ft-3的分配比率Rt-3。

在分配比率校正单元102获取分配比率Rt′和先前的分配比率Rt-1之后，处理前进到步骤S201。在步骤S201中，分配比率校正单元102计算过去的分配比率Rpast。在本示例性实施例中，由于分配比率校正单元102仅在步骤S200中获取输入帧Ft-1的分配比率Rt-1，因此Rpast变为与Rt-1相同的值。

但是，如果分配比率校正单元102获取多个输入帧的分配比率，那么分配比率校正单元102通过基于与输入帧Ft的在再现次序方面的接近度对各分配比率加权，获取Rpast。例如，通过设定在步骤S201中示出的a1～an的值中的每一个使得a1～an的和变为1，获取Rpast。在分配比率校正单元102计算过去的分配比率Rpast之后，处理前进到步骤S202。

在步骤S202中，分配比率校正单元102通过使用分配比率Rt′、过去的分配比率Rpast、容许变化时间THT和假定的容许变化量THL′，计算分配比率的容许变化量THLt。以下将描述计算分配比率的容许变化量THLt的方法。容许变化时间THT是预设的值(例如，2帧的时段)。

分配比率校正单元102计算所计算的分配比率Rt′和过去的分配比率Rpast之间的差值的绝对值。结果，可获取根据运动量计算的分配比率Rt′与过去的输入帧的分配比率Rpast之间的差值。

然后，将计算的分配比率Rt′和过去的分配比率Rpast之间的差值除以假定的容许变化量THL′。由此可获取填充分配比率Rt′和过去的分配比率Rpast之间的差值所需的最少帧数。例如，如果基于运动量计算的输入帧Ft的分配比率为0.5并且过去的输入帧的分配比率Rpast为0.2，那么差值的绝对值为0.3。

此外，如果假定的容许变化量THL′为0.1，那么，根据上述的容许变化量THL′，输入帧Ft的分配比率必须为0.1与0.3之间。更具体而言，输入帧Ft的分配比率Rt必须在比过去的输入帧的分配比率Rpast(0.2)大0.1和小0.1的值之间，即，为0.1与0.3之间。

此外，当过去的帧的分配比率Rpast以假定的容许变量化THT′(0.1)递增时，随后的第三输入帧(输入帧Ft+2)的分配比率变为计算的分配比率Rt′。

由此可通过从计算的最少帧数减去与容许变化时间THT对应的帧数来确定是否可在容许变化时间内实现计算的分配比率Rt。例如，如果在上述的例子中容许变化时间THT是两帧时段，那么确定将不在容许变化时间内实现分配比率Rt′。

在这种情况下，分配比率校正单元102参照查找表(LUT)并确定容许变化量THL。换句话说，如果当分配比率Rt′变化假定的容许变化量THL′时在容许变化时间THT内实现该分配比率，则LUT输出“1”。假定的容许变化量THL′由此被设为容许变化量THL。

另一方面，如果当分配比率Rt′在由假定的容许变化量THL′表示的范围内变化时不在容许变化时间THT内实现该分配比率，那么LUT输出比1大的值。

容许变化量THL是假定的容许变化量和LUT的输出值的乘积。结果，容许变化量THL变为比假定的容许变化量THL′大的值。更具体而言，分配比率校正单元102通过使用LUT确定是优先考虑容许变化量还是容许变化时间。如果LUT输出比1大的值，那么假定的容许变化量THL′被忽略。

可基于用户设定来确定优先考虑容许变化量或容许变化时间。例如，如果设定被规定为抑制由于分配比率的急剧变化导致的显示画面的亮度的变化，那么，即使当不能在容许变化时间THT内实现分配比率Rt′时，LUT也可输出“1”。本示例性实施例的分配比率校正单元102由此基于LUT确定是优先考虑容许变化量还是容许变化时间。

在分配比率校正单元102计算分配比率的容许变化量THLt之后，处理前进到步骤S203。在步骤S203中，分配比率校正单元102将过去的分配比率Rpast和在步骤S201中计算的容许变化量THLt的和与通过分配比率计算单元101计算的分配比率Rt′相比较。

更具体而言，分配比率校正单元102确定分配比率Rt′是否大于过去的分配比率Rpast和容许变化量THLt的和。如果分配比率Rt′大于过去的分配比率Rpast和容许变化量THLt的和(在步骤S203中为“是”)，那么处理前进到步骤S205。另一方面，如果分配比率Rt′小于或等于过去的分配比率Rpast和容许变化量THLt的和(在步骤S203中为“否”)，那么处理前进到步骤S204。

在步骤S205中，分配比率校正单元102将过去的分配比率Rpast和容许变化量THLt的和设为输入帧Ft的校正后的分配比率Rt。换句话说，如果由分配比率计算单元101计算的分配比率Rt′被确定为大于过去的分配比率Rpast和容许变化量THLt的和，那么如下面描述的那样确定校正后的分配比率Rt。

分配比率校正单元102将分配比率Rt′校正为容许变化量内的最高分配比率，并由此确定分配比率Rt。在分配比率校正单元102确定分配比率Rt之后，处理前进到步骤S208。

另一方面，在步骤S204中，分配比率校正单元102将过去的分配比率Rpast和在步骤S201中计算的容许变化量THLt之间的差值与由分配比率计算单元101计算的分配比率Rt′相比较。分配比率校正单元102由此确定分配比率Rt′是否小于过去的分配比率Rpast和容许变化量THLt之间的差值。

如果确定分配比率Rt′小于过去的分配比率Rpast和容许变化量THLt之间的差值(在步骤S204中为“是”)，那么处理前进到步骤S206。如果确定分配比率Rt′大于或等于过去的分配比率Rpast和容许变化量THLt之间的差值(在步骤S204中为“否”)，那么处理前进到步骤S207。

在步骤S206中，分配比率校正单元102将过去的分配比率Rpast和容许变化量THLt之间的差值设为输入帧Ft的校正后的分配比率Rt。

更具体而言，如果确定由分配比率计算单元101计算的分配比率Rt′小于过去的分配比率Rpast和容许变化量THLt之间的差值(在步骤S204中为“是”)，那么如下面描述的那样确定分配比率Rt。

分配比率校正单元102将分配比率Rt′校正为在容许变化量内最低的分配比率，并由此确定分配比率Rt。在确定校正后的分配比率Rt之后，处理前进到步骤S208。

在步骤S207中，分配比率校正单元102确定分配比率Rt′作为校正后的分配比率Rt。分配比率校正单元102由此不校正由分配比率计算单元101计算的分配比率Rt′。

如上所述，当由分配比率计算单元101计算的分配比率Rt′在过去的分配比率Rpast的容许变化量内时，本示例性实施例中的分配比率校正单元102不校正分配比率。在分配比率被确定之后，处理前进到步骤S208。

结果，在步骤S204～步骤S207中，分配比率校正单元102如下面描述的那样确定与第三输出帧(子帧Pt)对应的图像信号和与第四输出帧(子帧Qt)对应的图像信号的比率(即，第二比率)。

分配比率校正单元102确定分配比率Rt，使得与第一输出帧对应的图像信号和与第二输出帧对应的图像信号的比率(即，第一比率)与第二比率之间的差值小于或等于预定的值。第一输出帧与子帧Pt-1对应，并且，第二输出帧与子帧Qt-1对应。

此外，分配比率计算单元101设定与第三输出帧(子帧Pt)和第四输出帧(子帧Qt)对应的图像信号之间的比率的容许范围。基于与第一输出帧(子帧Pt-1)和第二输出帧(子帧Qt-1)对应的图像信号之间的比率来设定它。

在本示例性实施例中，容许范围为从Rpast-THL到Rpast+THL。然后，分配比率校正单元102根据设定的容许范围和第二输入帧(输入帧Ft)中的图像的运动计算与第三输出帧和第四输出帧对应的图像信号之间的比率。

此外，分配比率计算单元101计算分配比率Rt′，使得子帧Pt和Qt之间的差值随着输入帧Ft中的图像的运动量的增大而增大。因此，分配比率校正单元102也确定分配比率Rt，使得当输入帧Ft内的运动量更大时子帧Pt和子帧Qt之间的差值变得更大。

更具体而言，当第二输入帧(输入帧Ft)中的运动为第一量时，分配比率校正单元102如下面描述的那样确定第三输出帧(子帧Pt)和第四输出帧(子帧Qt)的图像信号之间的分配比率。

分配比率校正单元102将第三输出帧和第四输出帧的图像信号之间的差值确定为大于当第二输入帧中的运动是比第一量小的第二量时确定的第三输出帧和第四输出帧的图像信号之间的差值。

第三输出帧和第四输出帧是从第二输入帧(输入帧Ft)产生的子帧。此外，第四输出帧(子帧Qt)是在第三输出帧(子帧Pt)之后再现的输出帧。

在步骤S208中，分配比率校正单元102将确定的分配比率Rt输出到分配比率存储单元103和分配处理单元104。用于校正分配比率的处理由此结束。

图5和图6示出基于通过执行上述的处理校正的分配比率R的分配比率的变化。参照图5，校正后的分配比率和先前输入帧的分配比率之间的变化量小于或等于容许变化量THL。

参照图6，由分配比率计算单元101计算的分配比率Rt′变成由容许变化时间THT指示的帧数内的输入帧的分配比率。

更具体而言，分配比率校正单元102逐渐改变分配比率，使得在容许变化时间THT内实现分配比率Rt′。即使当由分配比率计算单元101计算的分配比率Rt′超过从过去的分配比率的容许变化量THL的范围时，也实现分配比率Rt′。

但是，取决于分配比率Rt′和容许变化量THL，存在仅能满足其中的一个条件的情况。在这种情况下，分配比率校正单元102基于LUT确定要优先考虑哪个条件。

如在步骤S202中描述的那样，基于用户设定确定是优先考虑容许变化量还是容许变化时间。例如，如果设定被规定为抑制由于分配比率的急剧变化导致的显示画面的亮度的变化，那么，即使当不在容许变化时间THT内实现分配比率Rt′时，LUT也可输出1。换句话说，LUT输出的最大值被设为1。

另一方面，如果设定被规定为优先考虑容许变化时间，那么LUT输出的最大值被设为比1大，以在容许变化时间内实现分配比率Rt′。如上所述，本示例性实施例中的分配比率校正单元102基于LUT确定是优先考虑容许变化量还是容许变化时间。

此外，图7示出如图6所示的那样校正分配比率时的显示画面上的可见亮度的变化的例子。参照图7，可见亮度的变化小于或等于容许变化量THL。

相反，如果如图17所示的那样不校正分配比率，那么，当分配比率急剧变化时，观看者看出亮度急剧变化。其原因在于，当连续再现的子帧的亮度的和较高时，观看者看出显示较亮。

在图17的例子中，直到显示第八个子帧，不存在由于分配比率的变化导致的画面的亮度的变化。但是，当显示第九个子帧时，当第八和第九个子帧的亮度的和变得比连续再现的子帧的亮度的和大时，观看者看出画面突然变亮。

图18示出如图17所示的那样改变分配比率时的显示画面的亮度的变化的例子。

如上所述，对于各帧控制分配比率。

以下，将参照图4描述对于帧中的各区域控制分配比率的情况。

图4是示出对于各区域控制分配比率时由分配比率校正单元102执行的处理的流程图。在本示例性实施例中，分配比率校正单元102从分配比率计算单元101接收输入帧Ft的各区域的分配比率[Rt′]。然后，分配比率校正单元102将校正后的分配比率[Rt]输出到分配比率存储单元103和分配处理单元104。

通过由用户指示用于对各区域设定分配比率的模式开始图4所示的处理。但是，也可与再现视频图像的开始一起开始该处理。

在步骤S300中，分配比率校正单元102从分配比率计算单元101接收输入帧Ft的各区域的分配比率[Rt′]。分配比率校正单元102还从分配比率存储单元103接收过去的输入帧Ft-1的各区域的分配比率[Rt-1]。

各区域的过去的分配比率[Rt-1]是校正后的分配比率。此外，本示例性实施例的分配比率计算单元101根据各区域中的运动量计算该区域的分配比率[Rt′]。换句话说，分配比率校正单元102通过计算输入帧Ft中的区域和与输入帧Ft+1对应的区域之间的差值，确定是否在该区域中存在运动区域。

如果分配比率计算单元101确定存在运动区域，那么分配比率计算单元101获取运动区域的运动量。然后，分配比率计算单元101基于运动区域的运动量计算输入帧Ft中的区域的分配比率。分配比率校正单元102由此从分配比率计算单元101接收如上面描述的那样计算的输入帧Ft的各区域的分配比率[Rt′]。

在步骤S301中，分配比率校正单元102计算过去的分配比率的平均值，即Rpastave。

更具体而言，当使用多个输入帧的各区域的分配比率作为过去的分配比率时，分配比率校正单元102计算各区域的过去的分配比率[Rpast]。通过使用在步骤S301的第一行中描述的等式计算[Rpast]。分配比率校正单元102可通过设定“a”的值使得基于与输入帧Ft在再现次序方面的接近度将分配比率加权得更高来计算[Rpast]。

但是，在本示例性实施例中，使用在输入帧Ft的1帧前输入的输入帧Ft-1的分配比率[Rt-1]作为过去的分配比率。[Rt-1]由此直接变成[Rpast]。

此外，在步骤S301中，分配比率校正单元102从各区域的过去的分配比率[Rpast]的平均值计算Rpastave。然后，处理前进到步骤S302。

在步骤S302中，分配比率校正单元102计算分配比率的容许变化量THLt。分配比率校正单元102基于分配比率Rt′ave、在步骤S301中计算的过去的分配比率Rpastave、容许变化时间THT和假定的容许变化量THL′进行计算。

Rt′ave是对于各区域计算的分配比率[Rt′]的平均值。此外，分配比率校正单元102与图3所示的步骤S202类似地计算容许变化量THL。更具体而言，分配比率校正单元102计算所计算的分配比率Rt′和过去的分配比率Rpastave之间的差值的绝对值。

然后，分配比率校正单元102将该差值除以假定的变化量THL′并计算补满分配比率Rt′和分配比率Rpastave之间的差值所需要的最少帧数。

分配比率校正单元102计算所计算的最少帧数和由容许变化时间THT指示的帧数之间的差值。然后，分配比率校正单元102将该差值输入到LUT并确定容许变化量THL。在分配比率校正单元102计算分配比率的容许变化量THLt之后，处理前进到步骤S303。

在步骤S303中，分配比率校正单元102将过去的分配比率Rpastave和在步骤S302中计算的容许变化量THL的和与输入帧Ft的分配比率的平均值Rt′ave相比较。

换句话说，分配比率校正单元102确定分配比率的平均值Rt′ave是否大于过去的分配比率Rpastave和容许变化量THL的和。

如果分配比率校正单元102确定分配比率的平均值Rt′ave大于过去的分配比率Rpastave和容许变化量THL的和(在步骤S303中为“是”)，那么处理前进到步骤S305。

另一方面，如果分配比率校正单元102确定分配比率的平均值Rt′ave小于或等于过去的分配比率Rpastave和容许变化量THL的和(在步骤S303中为“否”)，那么处理前进到步骤S304。

在步骤S305中，分配比率校正单元102将各区域的过去的分配比率[Rpast]和容许变化量THL的和设为输入帧Ft的各区域的分配比率即[Rt]。

当确定分配比率的平均值Rt′ave大于过去的分配比率Rpastave和容许变化量THL的和时，分配比率校正单元102由此如下面描述的那样确定分配比率[Rt]。分配比率校正单元102将各区域的分配比率[Rt]确定为在与帧Ft中的各区域对应的区域的过去的分配比率的容许变化量内的最高分配比率。

例如，Rt′(1)被校正为使得帧Ft中的区域(即，第一区域)的校正后的分配比率Rt(1)成为容许变化量内的最高分配比率。在分配比率校正单元102对于帧Ft中的所有区域校正分配比率Rt′并确定分配比率[Rt]时，处理前进到步骤S308。

另一方面，在步骤S304中，分配比率校正单元102将过去的分配比率Rpastave和在步骤S302中计算的容许变化量THL之间的差值与Rt′ave即计算的输入帧Ft的分配比率[Rt′]的平均值相比较。

如果分配比率校正单元102确定分配比率Rt′ave小于分配比率Rpastave和容许变化量THL之间的差值(在步骤S304中为“是”)，那么处理前进到步骤S306。

另一方面，如果分配比率校正单元102确定分配比率Rt′ave大于或等于分配比率Rpastave和容许变化量THL之间的差值(在步骤S304中为“否”)，那么处理前进到步骤S307。

在步骤S306中，分配比率校正单元102将分配比率Rpastave和容许变化量THL之间的差值设为输入帧Ft中的各区域的分配比率[Rt]。

当对于各区域计算的输入帧的分配比率的平均值小于分配比率Rpastave和容许变化量THL之间的差值时，分配比率校正单元102如下面描述的那样确定分配比率[Rt]。分配比率校正单元102将各区域的分配比率[Rt]确定为在与输入帧Ft中的各区域对应的区域的过去的分配比率的容许变化量内的最低分配比率。

例如，分配比率校正单元102校正Rt′(1)，使得帧Ft中的区域(即，第一区域)的校正后的分配比率Rt(1)成为容许变化量内的最低分配比率。

在分配比率校正单元102对于帧Ft中的所有区域校正分配比率Rt′并确定分配比率[Rt]之后，处理前进到步骤S308。

另一方面，在步骤S307中，分配比率校正单元102将分配比率[Rt′]设为校正后的分配比率[Rt]。换句话说，分配比率校正单元102不校正由分配比率计算单元101计算的分配比率[Rt′]。

由此，如果分配比率计算单元101对于各区域计算的分配比率[Rt′]的平均值在Rpastave即各区域的过去的分配比率的平均的容许变化量的范围内，那么分配比率校正单元102如此将分配比率确定为[Rt′]。在本示例性实施例的分配比率校正单元102如上面描述的那样确定分配比率[Rt]之后，处理前进到步骤S308。

如上所述，分配比率校正单元102对于各区域确定过去输入的输入帧(例如，输入帧Ft-1)的分配比率。然后，分配比率校正单元102如步骤S303～步骤S307描述的那样根据确定的各区域的分配比率[Rt-1]确定输入帧Ft中的各区域的分配比率[Rt]。

换句话说，分配比率校正单元102对于各区域确定第一输出帧(子帧Pt-1)和第二输出帧(即，子帧Qt-1)的分配比率。然后，分配比率校正单元102根据对于各区域确定的分配比率对于各区域确定与第三输出帧(即，子帧Pt)对应的图像信号和与第四输出帧(即，子帧Qt)对应的图像信号的分配比率。

在步骤S308中，分配比率校正单元102将确定的分配比率[Rt]输出到分配比率存储单元103和分配处理单元104。校正输入帧St的分配比率的处理由此结束。

如上所述，根据本示例性实施例的运动图像处理设备可基于先前输入的输入帧的分配比率校正根据运动量计算的分配比率。即使当要对于输入帧中的各区域确定分配比率时，运动图像处理设备也可校正分配比率。

此外，根据本示例性实施例，通过使用对于各区域计算的输入帧的分配比率的平均值和对于各区域计算的过去的分配比率的平均值，校正分配比率。结果，与通过使用各区域的过去的分配比率[Rpast]校正对于各区域计算的分配比率[F′t]中的每一个相比，可以用较少的计算量校正分配比率。

也可通过对于输入帧Ft中的各区域计算容许变化量来校正分配比率。结果，例如，当在输入帧Ft中分别存在运动量变化较大的区域和运动量变化较小的区域时，可以更细微地控制分配比率。

此外，可对于图1所示的运动图像处理设备添加低通滤波器(LPF)108。LPF 108是仅通过视频信号的低频分量的滤波器。LPF108由此去除倾向于成为噪声的高频分量。

LPF 108可被放置在运动图像输入设备和分配处理单元104之间，以从被输入到分配处理单元104的输入帧的信号去除高频分量。在这种情况下，各子帧的输出变得如图16所示的那样。

当不包含LPF 108时，如图14和图15所示的那样输出子帧中的每一个。在图14所示的例子中，与图15所示的例子相比，从输入帧产生的各子帧的像素值之间的差值较小。虚假轮廓因而变得明显。

此外，图16示出在子帧的分配比率与图15相同的情况下当运动图像处理设备包含LPF 108时的子帧输出的例子。

图16所示的子帧Q是基于通过从被输入到分配处理单元104的输入帧除去高频分量所获取的帧数据以及校正后的分配比率R产生的帧。结果，子帧Q是除去了高频分量的子帧。

此外，子帧P是基于输入帧F和子帧Q之间的差值产生的帧。子帧P因而是强调高频分量的子帧。如上所述，可通过去除子帧Q的高频分量，使得在倍速驱动中产生的虚假轮廓不那么明显。

例如，如果根据运动量计算的分配比率Rt′变得大于过去的分配比率和过去的分配比率的容许变化量的和，那么可与校正过去的分配比率一起去除子帧Q的高频分量。结果，可以抑制可见亮度的变化，并且，可以改善在倍速驱动中显示的视频图像的质量。

以下，着眼于与第一示例性实施例的不同来描述第二示例性实施例。第二示例性实施例描述根据输入帧控制容许变化量的情况。

图8是示出根据第二示例性实施例的运动图像处理设备的主要部件的配置的框图。运动图像处理设备包括分配比率计算单元901、容许量计算单元907、分配比率校正单元902、分配比率存储单元903、分配处理单元904、差值处理单元905和切换单元906。与第一示例性实施例的部件类似的部件的重复描述将被省略。

此外，与第一示例性实施例类似，本示例性实施例描述输入帧的帧速率(60帧/秒)被转换成输出帧的帧速率(120帧/秒)的情况。

容许量计算单元907根据从外部输入的输入帧Ft和Ft+1计算分配比率的容许变化量。以下将参照图11A、图11B和图11C描述通过容许量计算单元907计算容许变化量的方法。

图11A、图11B和图11C示出容许量计算单元907的输入和输出的例子。参照图11A，容许量计算单元907计算容许变化量THL，使得容许变化量THL随着多个输入帧(输入帧Ft和输入帧Ft+1)的像素值之间的差值的和的增大而增大。

但是，可通过使用像素值之间的差值的最大值或平均值而不是像素值之间的差值的和来计算容许变化量THL。

此外，参照图11B，容许量计算单元907分别从输入帧Ft和输入帧Ft+1的图像信号计算空间频率分量。然后，容许量计算单元907计算容许变化量，使得容许变化量THL随着计算的空间频率分量之间的差值的和的增大而增大。也可通过使用像素值之间的差值的最大值或平均值而不是像素值之间的差值的和来计算容许变化量THL。

此外，参照图11C，容许量计算单元907计算容许变化量，使得容许变化量THL随着由输入帧Ft和输入帧Ft+1的相应直方图表示的出现频度之间的差值的和的增大而增大。也可通过使用出现频度之间的差值的最大值或平均值而不是出现频度之间的差值的和来计算容许变化量THL。

当多个输入帧之间的差值较大时，很有可能图像正在整个显示画面上改变。在这种情况下，会产生场景的变化。

如果如上面描述的那样整个显示画面正在变化，那么用户变得对画面的亮度的变化不那么敏感。更具体而言，当整个显示画面不变化时，即使显示画面上的运动区域的运动量较大，用户也可容易地看出画面亮度的急剧变化。但是，当在整个显示画面中存在较大的变化时，变得使得用户难以看出画面亮度的变化。

本示例性实施例中的容许量计算单元907由此计算容许变化量THL，使得容许变化量THL随着帧之间的差值的增大而增大。

在图11A所示的例子中，根据输入帧的像素值之间的差值计算容许变化量THL。由此，与计算空间频率分量或直方图的差值相比，可以以更少的计算量计算容许变化量。

此外，可根据输入帧的空间频率分量或直方图之间的差值的量计算容许变化量THL。结果，可以防止当画面由于摇摄或倾斜而缓慢移动时容许变化量被计算为较大的值。

此外，可通过使用像素值、空间频率分量和直方图之间的差值中的一个或多种差值信息的组合，计算容许变化量。

例如，可以仅在输入帧的像素值之间存在较大的差值时比较空间频率分量。从而，可以以较少的计算量精确地估计场景变化的产生。

分配比率校正单元902基于由分配比率计算单元901计算的分配比率Rt′、由容许量计算单元907计算的容许变化时间THL和由分配比率存储单元903存储的过去的分配比率Rt-1，校正分配比率Rt′。以下，将参照图10描述由分配比率校正单元902执行的校正分配比率的处理。

以下，将参照图9描述由根据本示例性实施例的运动图像处理设备执行的处理。

图9是示出由根据本示例性实施例的运动图像处理设备执行的处理的流程图。

本示例性实施例描述通过CPU执行图9所示的处理的情况，该CPU通过从RAM读出并以适当方式执行根据本示例性实施例的程序，控制整个运动图像处理设备。但是，也可通过由硬件形成图8所示的元件中的每一个实现本发明。

通过接通诸如数字TV之类的显示设备，启动图9所示的处理。也可通过由用户设定用于执行倍速驱动的模式启动该处理。

在步骤S401中，分配比率计算单元901接收多个输入帧。在本例子中，输入帧Ft和Ft+1被输入。也可输入两个或更多个输入帧。在分配比率计算单元901接收多个输入帧之后，处理前进到步骤S402。

在步骤S402中，分配比率计算单元901从在步骤S401中输入的多个输入帧(Ft和Ft+1)计算分配比率Rt′。如上所述，分配比率计算单元901从输入帧Ft和Ft+1之间的差值检测输入帧Ft中的运动区域。

分配比率计算单元901由此根据运动区域的运动量计算输入帧Ft的分配比率Rt′。也可从诸如运动矢量信息之类的运动信息获取运动量。在分配比率计算单元901将输入帧Ft的计算的分配比率Rt′输出到分配比率校正单元902之后，处理前进到步骤S403。

在步骤S403中，容许量计算单元907通过使用参照图11A、图11B和图11C描述的方法从输入帧Ft和Ft+1计算容许变化量THL。

在容许量计算单元907将计算的容许变化量THL输出到分配比率校正单元902之后，处理前进到步骤S404。执行步骤S402和S403的次序可被颠倒或者可以同时。

在步骤S404中，分配比率校正单元902基于过去的分配比率Rt-1和计算的容许变化量THL校正从分配比率计算单元901输出的输入帧Ft的分配比率Rt′。

然后，分配比率校正单元902将校正后的分配比率Rt输出到分配比率存储单元903和分配处理单元904。然后，处理前进到步骤S405。以下将参照图10描述由分配比率校正单元902执行的校正分配比率的处理。

在步骤S405中，分配处理单元904基于输入帧Ft和从分配比率校正单元902输出的输入帧Ft的分配比率Rt，产生子帧Qt。例如，当输入帧Ft的校正后的分配比率Rt为7∶3(0.3)时，分配处理单元904将子帧Qt的信号值设为输入帧Ft的信号值的0.3倍。

分配处理单元904将计算的子帧Qt输出到差值处理单元905。此外，由分配处理单元904产生的子帧Qt通过切换单元906被输出到外部。在分配处理单元904将子帧Qt输出到差值处理单元905之后，处理前进到步骤S406。

在步骤S406中，差值处理单元905基于输入帧Ft和从分配处理单元904输出的子帧Qt产生子帧Pt。差值处理单元905由此产生输入帧Ft和子帧Qt之间的差值作为子帧Pt。

结果，如果输入帧Ft的校正后的分配比率为7∶3(0.3)，那么通过将输入帧Ft的像素值乘以0.7获取子帧Pt。由差值处理单元905产生的子帧Pt通过切换单元906被输出到外部。在差值处理单元905产生子帧Pt之后，处理返回到步骤S401。基于输入帧t+1和t+2，确定输入帧t+1的分配比率，并且产生和输出子帧。

以下，将参照图10描述根据本示例性实施例的校正分配比率的处理。

图10是示出由分配比率校正单元902执行的校正分配比率R′的处理的流程图。

图10所示的处理与图9所示的步骤S404中执行的处理对应。此外，本示例性实施例描述校正输入帧Ft的分配比率Rt′的情况。此外，在本示例性实施例中，如上所述，基于子帧Q和输入帧F的像素值的比率表达分配比率。

例如，如果输入帧F的分配比率为7∶3，那么子帧P的像素值为输入帧F的像素值的0.7倍，并且，子帧Q的像素值为输入帧F的像素值的0.3倍。分配比率由此成为0.3。

在步骤S500中，分配比率校正单元902从分配比率计算单元901获取输入帧Ft的分配比率Rt′。此外，分配比率校正单元902从分配比率存储单元903获取过去的分配比率Rt-1。

分配比率Rt-1是在输入帧Ft之前被输入的输入帧Ft-1的被分配比率校正单元902校正的分配比率。本示例性实施例使用输入帧Ft-1的校正后的分配比率作为过去的分配比率。但是，也可使用过去的多个输入帧的校正后的分配比率。

此外，在步骤S500中，分配比率校正单元902从容许量计算单元907获取输入帧Ft的容许变化量THL。由容许量计算单元907通过参照图11A、图11B和图11C描述的处理计算容许变化量THL。

在分配比率校正单元902获取分配比率Rt′、先前的分配比率Rt-1和容许变化量THL之后，处理前进到步骤S501。

在步骤S501中，分配比率校正单元902计算过去的分配比率Rpast。在本示例性实施例中，由于分配比率校正单元902仅获取输入帧Ft-1的分配比率Rt-1，因此Rpast变为与Rt-1相同的值。

但是，如果要使用多个输入帧的校正后的分配比率，那么分配比率校正单元902通过基于与输入帧Ft在再现次序方面的接近度对各分配比率加权，获取Rpast。在分配比率校正单元902计算过去的分配比率Rpast之后，处理前进到步骤S502。

在步骤S502中，分配比率校正单元902将过去的分配比率Rpast和在步骤S500中计算的容许变化量THLt的和与由分配比率计算单元901计算的分配比率Rt′进行比较。

更具体而言，分配比率校正单元902确定分配比率Rt′是否大于过去的分配比率Rpast和容许变化量THL的和。如果分配比率Rt′大于过去的分配比率Rpast和容许变化量THL的和(在步骤S502中为“是”)，那么处理前进到步骤S504。另一方面，如果分配比率Rt′小于或等于分配比率Rt-1和容许变化量THL的和(在步骤S502中为“否”)，那么处理前进到步骤S503。

在步骤S504中，分配比率校正单元902将过去的分配比率Rpast和容许变化量THL的和设为输入帧Ft的校正后的分配比率Rt。

换句话说，如果由分配比率计算单元901计算的分配比率Rt′被确定为大于过去的分配比率Rpast和容许变化量THL的和(在步骤S503中为“否”)，那么如下面描述的那样确定校正后的分配比率Rt。分配比率校正单元902将分配比率Rt′校正为在容许变化量内最高的分配比率，并确定分配比率Rt。在分配比率校正单元902确定校正后的分配比率Rt之后，处理前进到步骤S507。

另一方面，在步骤S503中，分配比率校正单元902将过去的分配比率Rpast和在步骤S501中计算的容许变化量THL之间的差值与由分配比率计算单元901计算的分配比率Rt′进行比较。分配比率校正单元902由此确定分配比率Rt′是否小于过去的分配比率Rt-1和容许变化量THL之间的差值。

如果确定分配比率Rt′小于过去的分配比率Rpast和容许变化量THL之间的差值(在步骤S503中为“是”)，那么处理前进到步骤S505。如果确定分配比率Rt′大于或等于过去的分配比率Rpast和容许变化量THL之间的差值(在步骤S503中为“否”)，那么处理前进到步骤S506。

在步骤S505中，分配比率校正单元902将过去的分配比率Rpast和容许变化量THL之间的差值设为输入帧Ft的校正后的分配比率Rt。

更具体而言，如果在步骤S503中确定由分配比率计算单元901计算的分配比率Rt′小于过去的分配比率Rpast和容许变化量THL之间的差值，那么分配比率Rt被确定如下。分配比率校正单元902将分配比率Rt′校正为在容许变化量内最低的分配比率，并确定分配比率Rt。在校正后的分配比率Rt被确定之后，处理前进到步骤S507。

在步骤S506中，分配比率校正单元902将分配比率Rt′确定为校正后的分配比率Rt。分配比率校正单元902由此不校正由分配比率计算单元901计算的分配比率Rt′。

如上所述，当由分配比率计算单元901计算的分配比率Rt′在过去的分配比率Rpast的容许变化量内时，本示例性实施例中的分配比率校正单元902不校正分配比率。在分配比率Rt被确定之后，处理前进到步骤S507。

分配比率校正单元902由此设定输入帧Ft的分配比率Rt的容许范围。在本示例性实施例中，分配比率Rt的容许范围在Rpast-THL和Rpast+THL之间。

换句话说，分配比率校正单元902基于第一输入帧和第二输入帧之间的差值以及与第一输出帧对应的图像信号和与第二输出帧对应的图像信号的比，设定与第三输出帧对应的图像信号和与第四输出帧对应的图像信号的比的容许范围。

然后，分配比率校正单元902根据设定的容许范围和第二输入帧中的图像的运动，计算与第三输出帧对应的图像信号和与第四输出帧对应的图像信号的比(即，步骤S502～步骤S506)。

如上所述，容许量计算单元907计算容许范围，使得容许范围随着输入帧之间的差值的增大而增大。更具体而言，容许量计算单元907设定容许范围，使得第一输入帧和第二输入帧之间的差值为第一量(即，第一容许范围)时的容许范围比第一输入帧和第二输入帧之间的差值是第二量(即，第二容许范围)时的容许范围宽。第二量比第一量小。

在步骤S507中，分配比率校正单元902将获取的分配比率Rt输出到分配比率存储单元903和分配处理单元904。校正分配比率的处理由此结束。

如上所述，根据本示例性实施例的运动图像处理设备根据输入帧设定容许变化量。

当输入帧之间的差值较小时，计算容许变化量，使得从过去的分配比率的容许变化量变得较小。如果输入帧之间的差值较大，那么计算容许变化量，使得从过去的分配比率的容许变化量变得较大。

结果，在亮度变化明显的视频图像中，诸如当视频图像中的对象不移动时，可使得分配比率的变化较小。

另一方面，在亮度变化不明显的视频图像中，诸如当在视频图像中存在急剧的变化时或者当存在场景的变化时，可使得分配比率的变化较大。

图12示出当输入帧之间的差值较小时的子帧输出的例子。在这种情况下，由于分配比率改变不大，因此抑制显示画面的亮度的变化。

另一方面，图13示出当输入帧之间的差值较大时的子帧输出的例子。在这种情况下，由于分配比率可大大改变，因此可通过更接近根据输入帧的运动量的分配比率的分配比率产生子帧。

也可以在设定各区域的分配比率时采用在第二示例性实施例中描述的用于校正分配比率的方法。在这种情况下，容许量计算单元907根据输入帧之间的差值信息对于输入帧的各区域计算容许变化量THL。然后，分配比率校正单元902基于计算的容许变化量和输入帧Ft的各区域的分配比率[Rt′]，确定各区域的分配比率[Rt]。此外，与第一示例性实施例类似，添加LPF是有效的。

也可通过读出并执行记录在存储装置上的程序以执行上述实施例的功能的系统或设备的计算机(或诸如CPU或微处理单元(MPU)的装置)，并且通过由系统或设备的计算机通过例如读出并执行记录在存储装置上的程序以执行上述实施例的功能执行其各步骤的方法，实现本发明的各方面。所述程序包括用于实现本发明的计算机可执行指令。出于这种目的，例如通过网络或从用作存储设备(例如，计算机可读存储介质)的各种类型的记录介质向计算机提供程序。在这种情况下，系统或设备以及存储程序的记录介质被包含于本发明的范围内。

在计算机上运行的操作系统(OS)或其它应用软件可基于程序的指令执行实际处理的部分或全部，以实现上述的示例性实施例中的一个或更多个的功能。

另外，从存储介质读出的程序可被写入被插入计算机中的功能扩展卡的存储器中，或被写入与计算机连接的功能扩展单元的存储器中。在这种情况下，基于程序的指令，设置在功能扩展卡或功能扩展单元上的CPU或MPU可执行处理的部分或全部，以实现上述的示例性实施例中的一个或更多个的功能。

可以使用各种各样的存储介质存储程序。存储介质可以为例如柔性盘(软盘)、硬盘、光盘、磁光盘、紧凑盘(CD)、数字多功能盘(DVD)、只读存储器(ROM)、CD可记录(R)、CD可重写、DVD可记录、DVD可重写、磁带、非易失性存储卡和闪存存储装置等中的任何。

虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。以下的权利要求的范围应被赋予最宽的解释以包含所有变更方式以及等同的结构和功能。

Claims (6)

1.一种被配置为从一个输入帧产生多个输出帧的运动图像处理设备，所述运动图像处理设备包括：

输入单元，被配置为输入第一输入帧和接在第一输入帧之后的第二输入帧；

确定单元，被配置为确定用于从第一输入帧产生至少第一输出帧和第二输出帧的第一分配比率，并根据第二输入帧中的图像的运动确定用于从第二输入帧产生至少第三输出帧和第四输出帧的第二分配比率；以及

产生单元，被配置为基于第一分配比率从第一输入帧产生第一输出帧和第二输出帧，并基于第二分配比率从第二输入帧产生第三输出帧和第四输出帧，

其中，所述确定单元基于第一输入帧和第二输入帧之间的差值以及第一分配比率设定第二分配比率的容许范围，以及

其中，所述确定单元根据第二输入帧中的图像的运动确定第二分配比率，使得第二分配比率在设定的容许范围内。

2.根据权利要求1所述的运动图像处理设备，其中，所述确定单元基于通过接在第二输入帧之后的第三输入帧与第二输入帧之间的差值所检测的运动区域的位移量，确定第二输入帧中的图像的运动。

3.根据权利要求1所述的运动图像处理设备，其中，当第二输入帧中的图像的运动量是第一量时，确定单元确定第二分配比率，使得在从第二输入帧产生的输出帧当中第三输出帧的像素值与第四输出帧的像素值之间的差值变得大于当所述运动量为第二量时的第三输出帧的像素值与第四输出帧的像素值之间的差值，所述第二量小于所述第一量。

4.根据权利要求1所述的运动图像处理设备，其中，所述确定单元确定容许范围，使得第一输入帧和第二输入帧之间的差值的量为第一量时的容许范围的第一值变得比第一输入帧和第二输入帧之间的差值的量为第二量时的容许范围的第二值宽，所述第二量小于所述第一量。

5.根据权利要求1所述的运动图像处理设备，其中，所述确定单元对于多个区域中的每一个确定第一分配比率，并根据对于这些区域中的每一个确定的第一分配比率，对于这些区域中的每一个确定第二分配比率。

6.一种运动图像处理方法，该运动图像处理方法由被配置为从一个输入帧产生多个输出帧的运动图像处理设备执行，该方法包括：

输入第一输入帧和接在第一输入帧之后的第二输入帧；

确定用于从第一输入帧产生至少第一输出帧和第二输出帧的第一分配比率，并根据第二输入帧中的图像的运动确定用于从第二输入帧产生至少第三输出帧和第四输出帧的第二分配比率；以及

基于第一分配比率从第一输入帧产生第一输出帧和第二输出帧，并且基于第二分配比率从第二输入帧产生第三输出帧和第四输出帧，

其中，基于第一输入帧和第二输入帧之间的差值以及第一分配比率设定第二分配比率的容许范围，以及

其中，根据第二输入帧中的图像的运动确定所述第二分配比率，使得第二分配比率在所设定的容许范围内。

Images