CN1989545A - 图像帧处理方法及向各种显示器显示活动图像的设备 - Google Patents

Abstract

分离了用于呈现图像帧的呈现处理和用于使图像帧适于显示器的后处理。呈现处理单元42通过以预定帧频执行呈现、而不考虑为了输出到显示器而使图像帧应当满足的条件来生成图像帧序列。后处理单元50使由呈现处理单元生成的图像帧序列经受合并处理，以便生成并输出满足该条件的更新的图像帧序列。因为分离了呈现处理和后处理，所以可以生成图像帧序列而不考虑诸如显示器的分辨率和帧频之类的显示器规格。

Description

图像帧处理方法及向各种显示器显示活动图像的设备

技术领域

本发明一般涉及图像帧处理技术，更具体涉及生成适合于各种呈现条件的图像帧序列的图像帧处理技术。

背景技术

随着用于制造诸如液晶显示器和等离子体显示器之类的薄显示器的技术的改进以及其价格的减少，现在在我们的周围存在有各种显示设备用于活动(moving)图像的再现。

包括帧频和分辨率在内的可显示图像数据的规格根据显示器类型而不同。根据相关技术，在显示设备(display device)中处理从图像呈现装置输出的图像数据以便生成适合于该显示器的图像。在这个布置中，随着该显示器应该适用的帧频和分辨率的种类的增加，开发电路和软件所需要的人力将增加。与此关联，置于显示设备上的处理负荷也增加了。

发明内容

已经考虑到上述问题而作出了本发明，而且发明的目的是提供适合于各种类型显示器的图像帧处理技术。

本发明的一个方面是图像帧处理方法。这个方法包括：用于呈现图像帧序列的呈现处理以及用于使由呈现处理生成的图像帧序列适于显示器的后处理。在该呈现处理中，通过以预定帧频执行呈现来生成图像帧序列而不考虑为了输出到显示器而使图像帧应当满足的条件。在该后处理中，由该呈现处理生成的图像帧序列经受预定处理以便生成和输出满足该条件的图像帧序列。

因为呈现处理和后处理是分离的，所以可以生成图像帧序列而与诸如显示器的分辨率和帧频之类的显示器的规格无关。

本发明的另一方面提供了用于从存储器中读取图像帧序列并且对这些图像帧序列执行预定处理以便显示的活动图像显示方法，其包含：当出现快速前进请求时，有选择地从存储器中读取要显示为快速前进画面的图像帧；以及通过对所读取的图像帧执行预定的集成处理来创建更新的图像帧；以及显示更新的图像帧。

根据这个方面，因为通过集成多个图像帧创建了快速前进帧，所以可以获取被添加值(value-added)的快速前进画面。此处的“集成处理”是指使用包括在多个图像帧中的一部分或者全部图像信息创建更新的图像帧。

以方法、装置、系统、计算机程序和记录介质形式的本发明的实现也可以作为本发明的另外的模式而实践。

附图说明

图1示出了娱乐装置中的硬件结构。

图2是图像帧处理设备的功能框图。

图3示出了本原坐标系。

图4示出了在从呈现处理单元输出的图像帧序列中、如何在每四个帧处改变偏移值。

图5说明了涉及四个图像帧的点采样。

图6说明了为原始四个图像帧的尺寸四倍的图像帧的生成。

图7说明了使用四个图像帧的运动模糊。

图8说明了被合并以产生相同尺寸的图像帧的四个图像帧。

图9说明了通过在四个图像帧上执行点采样以及随后的双线性插值、来生成放大的图像。

图10说明了双线性采样。

图11是用于在合并条件设置单元中确定合并方法的流程图。

图12示出了根据本发明第二实施例的图像帧处理设备200的硬件配置。

图13是根据示例4的图像帧处理设备的功能框图。

图14示出了用于从图像帧序列中提取图像帧并且创建快速前进帧的处理的原理(concept)。

图15示出了用于合并多个图像帧以创建快速前进帧的处理的原理。

图16示出了用于减少被合并的图像帧数目并创建具有降低的前进速度的快速前进画面的处理的原理。

图17示出了根据示例5的图像帧处理设备的功能框图。

图18示出了用于基于亮度信息提取图像帧的处理的原理。

图19是根据示例6的图像帧处理设备的功能框图。

图20示出了用于将图像帧分离为特定图像区域和非特定图像区域的处理的原理。

图21是根据示例7的图像帧处理设备的功能框图。

图22示出了路径显示处理的原理。

图23是可以实现根据示例4到7的处理的图像帧处理设备的功能框图。

具体实施方式

(第一实施例)

现在将通过引入其中该创造性设备应用于呈现三维计算机图形(CG)图像的娱乐装置的实施例，给出根据本发明的图像帧处理设备的描述。

图1示出了娱乐装置100中的硬件结构。娱乐装置100具有图形芯片18并且能够通过执行呈现而在显示器26上实时显示三维图像。

娱乐装置100具有主CPU 12、主存储器14、几何处理器16、图形芯片18、显示控制器28和输入和输出(I/O)端口30。这些块经由图形总线36彼此相连以允许相互的数据传送和接收。显示控制器28可以连接到各种显示器26之一，这些显示器中的每个都具有不同的规格和显示条件。

输入和输出端口30连接到诸如CD-ROM驱动器、DVD-ROM驱动器或者硬盘驱动器之类的外部存储设备32，并且连接到诸如键盘或者鼠标之类的输入设备34以便向娱乐装置100馈给键入数据和坐标数据。输入和输出端口30控制在外部存储设备32和输入设备34二者中的数据输入和输出。输入和输出端口30读取存储在外部存储设备32中的呈现数据或者程序，然后将它们提供给主CPU 12和几何处理器16。例如，呈现数据可以是呈现对象的对象数据。输入和输出端口30可被配置为与其它设备进行通信来输入呈现数据和程序。

主CPU 12全局地控制娱乐装置100，并且执行存储在外部存储设备32中的呈现程序。当执行程序时，主CPU 12通过根据用户使用输入设备34的输入控制图形芯片18，来控制图像的显示。

主CPU 12通过控制在所构成设备之间的数据传输来控制娱乐装置100。例如，主CPU使用主存储器14作为缓冲来控制由几何处理器16生成的几何数据到图形芯片18的传输。主CPU 12还管理在图形芯片18、外部存储设备32、输入设备34和显示器26之间的数据传输的同步。在这个实施例中，分别提供了几何处理器16和主CPU 12。作为选择，这些元件可以集成在一起以便主CPU 12可以执行几何处理器16的功能。

主存储器14存储从外部存储设备32读取的对象构形(configuration)数据和呈现程序。每个对象数据包括构成相关联对象的多个多边形的顶点数据。主存储器14具有纹理缓冲区，用于存储用于纹理映射的纹理。

在主CPU 12的控制下，几何处理器16对存储在主存储器14中的对象数据执行诸如定义位置或者构形的坐标转换和变换之类的几何处理，或者与照射顶点的光源相关的处理。作为几何处理的结果而获得的几何数据包括对象的顶点坐标、在顶点处的纹理坐标以及诸如顶点亮度之类的对象属性。

图形芯片18包括呈现处理器20、存储器接口22和诸如EDRAM之类的图像存储器24。呈现处理器20在主CPU 12的控制下顺序地读出由几何处理器16生成的几何数据，并且对该几何数据执行呈现处理以生成图像帧。图像帧内的像素的RGB值和指示透明度的α值存储在图像存储器24中。指示像素深度的Z值存储在Z缓冲区(未示出)中。可以在图像存储器24中提供Z缓冲区。

图形芯片18的呈现处理器20根据从主CPU 12提供的呈现命令，经由存储器接口22呈现在图像存储器24中的图像帧。在呈现处理器20和存储器接口22之间、以及在存储器接口22和图像存储器24之间建立高速总线连接，以便呈现处理器20能够以高速在图像存储器24中执行呈现处理。举例来说，呈现处理器20呈现640×480个像素的图像帧。

由呈现处理器20呈现的图像帧暂时存储在图像存储器24中。主CPU 12经由存储器接口22从图像存储器24中检索图像帧，并且将该图像帧写入到诸如主存储器14之类的其它存储器中。根据需要，主CPU 12将该图像帧转换为可在显示器26上显示的图像帧。显示控制器28然后经由总线36接收该图像帧并且在显示器26上显示它。

图2是图像帧处理设备10的功能框图。图2中的功能主要由图形芯片18、主CPU 12和主存储器14实现。图2是集中于功能的说明。因此，这些功能可以仅仅由硬件、仅仅由软件或者由硬件和软件的组合而不同地实现。

对象数据读取单元40读取要呈现的对象的几何数据。呈现处理单元42以预定的帧频顺序地呈现包括具有预定的分辨率的对象的图像帧。所呈现的图像帧存储在作为缓冲器的第一存储器44中。呈现处理单元42以等于或者高于计划使用的显示器26的最大帧频的帧频呈现该图像帧。例如，呈现处理单元42对应于图1的呈现处理器20。

传输控制器46读出存储在第一存储器44中的图像帧，然后将其存储在第二存储器48中。第二存储器48存储多个图像帧，以便可以识别在多个图像帧之间的时间次序。例如，第一存储器44对应于图1中的图像存储器24，而第二存储器48对应于主存储器14。做为选择，第二存储器可以是在图像帧处理设备10中提供的、诸如外部存储设备32之类的任何存储设备或者存储器。此外，做为选择，第一存储器44或者第二存储器48中的每个可以对应于在物理上相同的存储器中的不同存储区域。

接口单元52获取连接到图像帧处理设备10的显示器26的分辨率或者帧频信息。接口单元52可以从主CPU 12或者呈现程序获取内容的信息，诸如指示该图像是静止图像还是活动图像的信息。接口单元52可以经由输入设备34从用户获取显示器的分辨率或者帧频信息。将所获取的信息递送给后处理单元50。例如，该后处理单元50可以对应于图1中的主CPU 12。

后处理单元50包括合并条件设置单元54、帧序列获取单元56和合并执行单元58。后处理单元50对由呈现处理单元42呈现并存储在第二存储器48中的图像帧序列执行后处理，以便生成可在显示器上显示的图像。

具体而言，合并条件设置单元54基于从接口单元52接收的信息、为图像帧序列设置恰当的合并条件。稍后将参考图10描述这个处理。帧序列获取单元56根据由合并条件设置单元54设置的条件检索图像帧序列，并且将所检索的图像帧递送到合并执行单元58。合并执行单元58对所收到的图像帧执行合并处理。此处的“合并处理”是指从多个图像帧当中生成单个图像帧。

将由合并执行单元58通过合并处理生成的图像帧以由合并条件设置单元54设置的帧频输出到图像显示单元60。

如上所述，第一实施例的一个特征是图像帧序列的“呈现”和“后处理”不在同一芯片上执行，而是分离执行。通过分离呈现和后处理所获得的优点是消除了对连接到图像帧处理设备的显示器类型的依赖性(dependence)。

更具体而言，虽然接口单元52获取了输出到显示器的图像帧应当满足的条件，但是呈现处理单元42生成图像帧序列而与接口单元52所获取的条件无关。随后，后处理单元50根据由接口单元52获取的条件对由呈现处理单元42生成的图像帧序列执行预定处理，以为该显示器生成更新的图像帧序列。由此，呈现处理单元42中的呈现方法不必根据图像帧应该满足的条件而发生改变。因此，呈现处理单元42仅仅需要具有通用的结构。当连接到图像帧处理设备10的显示器改为不同类型时，通过在后处理单元50中的处理的修改而适应(accommodate)该改变。因此，可以连接更多种类的显示器以便确保相当高等级的兼容性。这最终将降低开发电路和软件以使处理设备适于各种显示器所需要的人力。

此外，根据相关技术，即使当呈现处理器具有高呈现能力时，显示器的规格也常常未能适于该呈现能力，这需要限制呈现处理器的呈现能力。然而，根据第一实施例，不必限制而是可以完全利用呈现处理器的能力。可以这样布置后处理，使得将以高帧频进行呈现的能力分配给分辨率等的提高。通过确保后处理具有高度多用性，可以提高在设计图像帧处理设备方面的灵活性。此外，因为不向显示器分配执行图像帧处理的任务，所以可以降低置于显示器上的处理负载。

值得考虑的另外一点是，当改变在呈现诸如动画视频之类的活动图像中的帧频时，可以在显示器上显示不同于图像创建者想要的动画图像展现(exhibiting)运动。根据相关技术，一种处理这个问题的方法是考虑到最终显示在显示器上的图像帧的帧频而准备多个图像序列，以便以任何帧频享受最优的观看体验。相反，根据第一实施例，仅仅需要准备具有高帧频的一个图像帧序列，而与显示器的帧频无关。

第一存储器44起帧缓冲器的作用，其逐帧(by one frame)存储由呈现处理单元42呈现的图像帧序列。暂时存储在第一存储器44中的图像帧被顺序地传输到第二存储器48。因此，第二存储器48主要起后处理单元50的工作区域的作用。起帧缓冲器作用的第一存储器44通常用其成本一般很高的EDRAM等实现。如果在这个实施例中没有提供第二存储器，则第一存储器需要是一大容量的存储器，这是因为如稍后所述，在四帧时间期间，应该为合并处理存储最多四个帧。通过提供第二存储器48，第一存储器44仅仅需要具有存储由呈现处理单元42呈现的至少一个图像帧的容量。因此，除第一存储器44之外还提供第二存储器48作为后处理单元50的工作区域是有利的。第一存储器44可以内置于其中内置了呈现处理单元42的同一个半导体电路元件中。

图3示出了其中每个图像帧的像素位于在呈现处理单元42中的本原坐标系。横轴由x指示而纵轴由y指示。像素坐标集由(x，y)所指示。x和y坐标值中的每一个都是定点值，其由12位整数部分和4位小数部分所表示。如所述，每个像素的中心位于本原坐标系中的整数坐标点处。所呈现的图像帧逐个像素地存储在第一存储器中。用于指向第一存储器中的位置的坐标系被称为窗口坐标系。使用这个坐标系实施存储器地址计算。窗口坐标系是用于指向帧缓冲器内的位置的坐标系，其以缓冲器中的矩形区域的左上点(top left)作为原点。

假定本原坐标值为(Px，Py)且偏移值为(Offx，Offy)，则可以用下面的等式给出窗口坐标值(Wx，Wy)。

Wx＝Px-Offx

Wy＝Py-Offy

现在将描述由图2所示的图像帧处理设备在后处理中生成适于各种显示条件的图像帧序列的几个示例。假定呈现处理单元42以240帧每秒(在下文中称为fps)的帧频呈现640×480的图像。

(示例1)

图4示出了在从呈现处理单元42输出的图像帧序列中、如何在每四个帧处改变偏移值。为了描述方便起见，假定通过以所述次序进行呈现而生成了图像帧F1、F2、F3和F4。呈现处理单元42没有任何偏移地呈现第一图像帧F1，以(0.5，0)的偏移呈现第二图像帧F2，以(0，0.5)的偏移呈现第三图像帧F3，并且以(0.5，0.5)的偏移呈现第四图像帧F4。通过在呈现空间中连续地移位作为呈现起始点的坐标来实施由呈现处理单元42进行的呈现中的偏移。在下文中，这样的处理将被称为“像素位移处理”。

图5和图6说明了合并处理的第一示例。在这个示例1中，合并帧序列以便创建为所呈现的图像帧的大小四倍的图像帧。

图5是示出由呈现处理单元42呈现的、具有像素位移的像素如何位于同一窗口坐标系中的示意图。参见图5和图6，由“1”指示的圆圈代表来自第一图像帧F1的像素，由“2”指示的圆圈代表来自第二图像帧F2的像素，由“3”指示的圆圈代表来自第三图像帧F3的像素，而由“4”指示的圆圈代表来自第四图像帧F4的像素。在每个帧中的相邻像素的中心之间的间距在x和y方向都是“1”。作为由呈现处理单元42进行像素位移处理的结果，来自图像帧F2的像素相对于来自图像帧F1的相关联像素沿x方向移位了0.5，来自图像帧F3的像素相对于来自图像帧F1的相关联像素沿y方向移位了0.5，而来自图像帧F4的像素相对于来自图像帧F1的相关联像素沿x方向移位了0.5并沿y方向移位了0.5。因此，当这四个图像帧位于同一个坐标系中时，如图5所述，来自相应图像帧的像素在x方向和y方向均间距0.5。

通过在窗口坐标系中以0.5个像素为单位而不是以1个像素为单位进行网格(grid)采样，可以生成在x方向和y方向具有两倍数量像素的图像帧。将参考图6对这进行描述。图6是示出像素怎样布置的示意图。虽然为了简洁起见，图6仅仅为图像帧102、104、106和108示出了横向4个像素和纵向3个纵向，但是实际上在每个帧中有横向640个像素和纵向480个像素。全部像素以图6中的图像帧110所述的关系布置。通过如上所述以网格形式布置这640×480-像素图像帧102、104、106和108，创建了具有1280×960个像素大小的图像帧110，其大小是640×480像素图像帧的四倍。在下文中，将这样的采样方法称为“点采样”。

根据该示例1，在呈现处理单元42中通过以空间位移进行呈现来生成多个图像帧。随后，后处理单元50对图像帧执行保持图像帧之间的位移的合并处理，以生成比从呈现处理单元42输出的图像帧序列具有更高的空间分辨率的图像帧序列。短语“保持图像帧之间的位移”意指通过使用来自各个偏移的图像帧的像素获得最终的图像帧而没有任何修改。由此，可以通过后处理生成适于不同显示器的不同分辨率的图像帧序列。

示例1还可被理解为用于降低帧频的措施。例如，通过如图3所示从四个图像帧中生成图像帧，帧频将被降低到1/4。这对于显示器的最高帧频低于呈现处理单元42的帧频的情况是有利的，可以通过执行点采样来获得低帧频和高分辨率的图像。

当前实施例不局限于从四个图像帧中生成一个图像帧。做为选择，通过从九个图像帧中生成图像帧，有可能生成像素比原始图像帧多九倍的图像帧。当涉及的更大数目的图像帧时，这同样是正确的。图像帧的数目越大，最终获得的图像帧的帧频越低。

(示例2)

图7和8说明了合并处理的第二示例。在这个示例2中，通过合并连续帧来实现运动模糊效应。

参见图7，空圆圈代表来自经受了像素位移处理的图像帧F1-F4的像素。在这个示例中，从四个相邻象素的RGB值中获取平均RGB值，然后将结果得到的值用作新的RGB值。生成图像帧使得如图7中的对角线阴影圆圈所示、每个像素的中心处于四个空圆图像素的中心之间的正中央。

图8示意地示出这个布置。也就是说，生成了680×480的图像帧，其具有通过将640×480的图像帧F1-F4中的像素的RGB值乘以0.25所获得的RGB值。

根据示例2，在呈现处理单元42中通过以空间位移进行呈现来生成多个图像帧。随后，后处理单元50对图像帧执行合并处理以抵销在图像帧之间的位移。因此，生成了与从呈现处理单元42输出的图像帧序列具有相同空间分辨率的更新的图像帧序列。短语“抵销图像帧之间的位移”意指通过混和已偏移的呈现图像帧来最终获得未偏移的图像帧。在这个实施例中，混和了四个像素来生成一个像素。抵消在图像帧之间的位移实质上相当于生成通过在两个时间连续的图像帧之间划分时间帧而获得的图像并且使用所划分的图像的平均图像作为目标帧的图像。因此，如果由呈现处理单元呈现的图像帧序列的内容是活动图像，则抵消位移可向该活动图像应用运动模糊效应。如同示例1一样，示例2可被理解为降低帧频的措施。更具体而言，示例2使得在保持原始图像帧分辨率的同时，输出帧频为呈现处理单元42的帧频的1/4的图像帧序列成为可能。

当内容是静止图像时也可以使用示例2。在这种情况下，向通过合并处理获得的静止图像施加抗混叠(antialiasing)效应。在这种情况下，合并处理类似于其中将原始像素分为子像素以便获得用于图像中的目标像素的数据，以及其中采用子像素的平均数据作为像素数据的“超级采样(super sampling)”。

(示例3)

图9说明了根据示例3的合并处理。在示例3中，生成横纵比不同于由呈现处理单元42所生成的原始图像帧的横纵比的图像帧。例如，假定呈现处理单元42生成每个都具有720×480个像素的分辨率的第一图像帧112、第二图像帧114、第三图像帧116和第四图像帧118，并且从图像帧112 118中生成具有不同于原始图像帧112-118的纵横比的、分辨率为1920×1080个像素的目标图像帧122。参见图9，数字“1”、“2”、“3”和“4”指示相关联的像素是分别来自第一图像帧112、第二图像帧114、第三图像帧116和第四图像帧118的像素。

在第一步骤130中执行在示例1中描述的点采样。由此，生成了1440×960像素(即为每个原始图像帧112-118的大小的四倍)的图像帧120。随后，在第二步骤132中执行双线性采样以便生成具有1920×1080个像素的分辨率的图像帧122。双线性采样是一种图像内插方法。在这个示例中，通过周围四个像素的RGB值的线性内插来确定要呈现的像素颜色。

将参考图10给出双线性采样的描述。假定将图像帧122(1920×1080)按比例缩小到图像帧120(1440×960)，计算图像帧122的像素中心在图像帧120的坐标系中的坐标。图10示出了图9中的图像帧120的一部分124。空圆圈140代表在图像帧122中的像素的中心。为了确定在这些坐标处呈现该像素时要使用的颜色，根据距离图10中的像素124a、124b、124c和124d的中心的坐标位移使RGB值经受线性内插。应当注意到，像素124a是来自图9中的第一图像帧112的像素，像素124b是来自第二图像帧114的像素，像素124c是来自第三图像帧116的像素，而像素124d是来自第四图像帧118的像素。假定距离四个像素124a-124d的中心沿水平方向的位移是α，而沿垂直方向的位移是β(参见图10)，则由下列等式给出通过线性内插计算的空圆圈140的RGB值。

R＝(1-α)(1-β)Rs1+α(1-β)Rs2+(1-α)βRs3+αβRs4(1)

G＝(1-α)(1-β)Gs1+α(1-β)Gs2+(1-α)βGs3+βGs4(2)

B＝(1-α)(1-β)Bs1+α(1-β)Bs2+(1-α)βBs3+αβBs4(3)

其中Rs、Gs和Bs代表四个像素124a-124d的RGB值，而后缀s1、s2、s3和s4分别代表像素124a、124b、124c和124d的分量。通过对于图像帧122中所包含的全部像素计算等式(1)-(3)来确定颜色，生成了图像帧122。

等式(1)到(3)基于与一般双线性采样的计算相同的原理。不同于一般的双线性采样之处在于，从不同图像帧的像素中获取颜色分量。

当由呈现处理单元42呈现的图像帧序列的分辨率和显示在显示器上的分辨率不处于其中一个是另一个整倍数的关系下时，即例如，当所呈现的图像帧是720×480、而显示在显示器上的图像帧的分辨率是1920×1080时，不能仅仅通过执行像素位移处理和点采样来获得目标分辨率。在这种情况下，通过像素位移处理和点采样生成1440×960的中间图像帧，并随后执行双线性采样以便获得1920×1080的图像帧。由此，帧频降低到1/(在点采样中使用的图像帧的数目)。

可以不必必须执行像素位移处理。更具体而言，可以直接在由呈现处理单元42呈现的原始图像帧上执行双线性采样以获得最终的图像帧。然而，通过在双线性采样之前执行像素位移处理和点采样，有可能获得当放大时展现较少恶化的图像。做为选择，图像帧序列中的四个图像帧(例如，大小为720×480)中的每一个可以放大为适于显示的图像帧(例如，1920×1080)，基于此可以混和四个放大的图像帧以获得最终的图像帧。

可以向用户给予选择上述示例1到3之一的机会。在实践该实施例的一种方法中，图像帧处理设备可以自动地进行这个确定。图11是由合并条件设置单元54执行的自动确定的流程图。在这个流程图中，进行有关根据帧频、分辨率和内容、在由呈现处理单元42呈现的图像帧序列上执行示例1到3中描述的哪个后处理的确定。

合并条件设置单元54将经由接口单元52获取的显示器的帧频信息和由呈现处理单元42呈现的图像帧的帧频进行比较，以确定这些帧频是否匹配(S10)。当帧频匹配(在S10为是)时，传输控制器46将图像帧从第一存储器44传输到第二存储器48。帧序列获取单元56以与呈现处理单元42的帧频相同的时间间隔从第二存储器48中读出图像帧。合并执行单元58将图像帧输出到图像显示单元60而没有执行任何诸如合并处理之类的后处理(S12)。由此，可以完全利用呈现处理单元42的呈现性能，并且可以用全规格(full-spec)帧频呈现图像。在替换方法中，可以输出图像帧序列而不用将其暂时存储在第二存储器48中。更具体而言，使用第一存储器44作为缓冲器，帧序列获取单元56直接读出由呈现处理单元42呈现的图像帧序列，并且将这些图像帧输出到图像显示单元60。

当帧频不匹配(S10中为否)时，合并条件设置单元54将由呈现处理单元42呈现的图像帧的分辨率(在下文中，称为“已呈现的图像帧”)和经由接口单元52获取的显示器的分辨率信息进行比较，以确定分辨率是否匹配(S14)。如果显示器的分辨率高于已呈现的图像帧的分辨率(在S14中为是)，则合并条件设置单元54确定显示在显示器上的图像内容是静止图像还是活动图像(S16)。可以通过读取登记在程序的头部等中的信息来进行这个确定。做为选择，可以基于由运动确定单元(未示出)计算的、作为相邻图像帧的差值的运动分量的量值来进行有关静止图像或者活动图像的确定。如果该内容是诸如字处理器文档或者HTML文档的屏幕图像之类的静止图像(S16为是)，则合并条件设置单元54还确定显示器的分辨率是否为已呈现图像的分辨率的整倍数(S18)。当一个被比较的分辨率的垂直与水平像素计数是另一个分辨率的垂直与水平像素计数的多个整数倍时，即当例如已呈现的图像帧是640×480且显示器的分辨率是1280×960或者1920×1440时，作出“整倍数”的确定。当显示器的分辨率是已呈现的图像帧的分辨率的整倍数时(在S18中为是)，则执行参考图5和6描述的示例1以获得期望分辨率的图像帧序列(S22)。因此，当显示器的分辨率有两倍高时，合并条件设置单元54使帧序列获取单元56检索四个图像帧。当显示器的分辨率有三倍高时，合并条件设置单元54使帧序列获取单元56检索九个图像帧。帧序列获取单元56将所获取的图像帧递送给合并执行单元58，基于此，合并执行单元58在所递送的图像帧上执行点采样，以将具有期望分辨率的图像帧输出到图像显示单元60。

当在S18确定显示器的分辨率不是已呈现的图像帧的整倍数时(在S18中为否)，则执行参考图9和10描述的示例3以便获取期望分辨率的图像帧序列(S20)。更具体而言，合并条件设置单元54生成分辨率为所呈现的图像帧的分辨率的整倍数并且最接近所期望的分辨率的图像帧。通过在所生成的图像帧上执行双线性采样，合并条件设置单元54还生成其中不保持横纵比的图像。

当在S16确定该内容是诸如运动CG或者电影之类的活动图像(在S16中为否)时，合并条件设置单元54执行参考图7和8描述的示例2，以便获得具有运动模糊效应的活动图像(S24)。更具体而言，合并条件设置单元54通过使用由(已呈现图像帧的帧频)/(显示器帧频)确定的图像帧数目来执行合并处理。例如，当已呈现图像帧的帧频是240fps而显示器的帧频是60fps时，则使用4(＝240/60)个帧用于合并处理。如果这个除法的结果不是整数，例如当已呈现图像的帧频是240fps而显示器的帧频是70fps时，该除法结果是3.4(＝240/70)。在这种情况下，丢弃分数部分，并且对三个图像帧执行合并处理以便以70fps输出得到的图像帧。

在任何情况下，从后处理单元50输出的图像帧序列的帧频低于由呈现处理单元42产生的已呈现图像帧的帧频。例如，由执行点采样将帧频降低到1/4来产生高达两倍的分辨率，而通过执行点采样将帧频降低到1/9来产生高达三倍的分辨率。因此，即使当作为S20或者S22处理的结果而获得期望的分辨率时，也有可能由于低帧频而在屏幕上产生闪烁等。在替换方法中，可以提供用户提示单元(未示出)，其在屏幕上警告用户当获得期望的分辨率时帧频将显著地下降，并提示用户接受。当用户接受时，将执行点采样。当不接受时，不执行点采样。在还有一个方法中，合并条件设置单元54可以参考显示器的规格(分辨率和帧频)以及可以在后处理单元50中执行的后处理，然后在屏幕上显示可能的多对分辨率和帧频的列表。用户提示单元(未示出)可以提示用户选择期望的一对，并且将所选择的一对传输给合并条件设置单元54。响应于此，合并条件设置单元54然后指导帧序列获取单元56和合并执行单元58。

可以在已呈现图像帧的显示之前执行上述处理。做为选择，可以根据预定算法显示经受了合并处理的图像帧，以便察看所显示的结果的用户可以根据用户的品味判断是否继续进行上述处理。

返回参见S14，当显示器的分辨率等于或者低于所呈现的图像帧的分辨率(在S14中为否)时，合并条件设置单元54确定该内容是否为静止图像(S26)。当内容是静止图像(在S26中为是)时，合并条件设置单元54跳过一些用于显示的图像帧(S28)。更具体而言，合并条件设置单元54指示帧序列获取单元56从特定数目的已呈现的图像帧中获取一个图像帧。合并执行单元58将这些图像帧输出到图像显示单元60而没有使它们经受后处理。例如，当已呈现的图像帧输出帧频是240fps而显示器的帧频是60fps时，输出每个第四图像帧。

当在S26中确定内容是活动图像(在S26中为否)，则如上所述执行示例2以获得运动模糊的活动图像(S30)。

因此，通过将由呈现处理单元42呈现的图像帧序列的帧频或者分辨率与连接到图像帧处理设备的显示器的帧频或者分辨率进行比较，合并条件设置单元54能够自动地确定后处理的条件。

如上所述，允许呈现处理单元以预定帧频执行呈现以生成图像帧序列而与用于要输出到显示器的图像帧所要满足的条件无关。后处理单元然后对由呈现处理生成的图像帧序列执行预定的处理，并且输出符合上述条件的、更新的图像帧序列。

因为分离地执行呈现处理和后处理，所以有可能以预定帧频执行呈现来生成图像帧序列而与诸如分辨率或者帧频之类的显示器规格无关。

呈现处理单元42被描述为以240fps呈现640×480的像素图像。可以呈现其它像素计数的图像帧。图像帧的呈现速度也可以更低或者更高。例如，可以300fps呈现图像帧序列。在这种情况下，可以生成适合于50赫兹显示器和60赫兹显示器二者的图像帧序列。

在上面描述该实施例中，将合并处理描述为对来自四个图像帧的像素执行。做为选择，可以对更大数量的像素执行合并处理。例如，可以利用像素位移呈现六个图像帧以便来自各个帧的像素位于六边形的相应顶点处，并且由具有六个像素的平均RGB值的像素形成图像帧。

在上面描述该实施例时，将图像帧处理设备描述为内置于用于呈现CG图像的娱乐装置中。然而，根据本发明的图像帧处理技术还可以应用于DVD播放器、个人计算机、数字视频相机等。

(第二实施例)

在第一实施例中，呈现了比在显示器上显示活动图像所需要的图像帧更多的图像帧。然后，对所呈现的图像帧执行预定处理以便输出图像帧以用于显示。相反，这样的实施例也被设想为，当事先提供活动图像时，从该活动图像中拾取多个图像帧并使它们经受预定处理，然后输出少于所读出的图像帧的图像帧。通过后者实施例，可以创建原始活动图像的快速前进画面。此外，还可以创建快速倒带活动图像。倒带活动图像是对于活动图像沿时间轴反向输出的图像。在下文中，“快速前进”包括快速倒带动作。

这两个实施例初看起来是不同的。然而，这两个实施例具有相同的原理，其中使超过最终向用户给出的帧的图像帧经受预定处理，并然后输出更新的图像帧。换句话说，在这两个实施例之间的差别仅仅是输出图像帧的间隔长度。

近来，诸如HDD(硬盘驱动器)视频记录装置之类的数字活动图像记录器变得广泛流传。因此，可以容易地亲自创建、记录或者播放大量的活动图像数据。在这样的装置中，用户使用快速前进功能来搜索所记录的活动图像数据中感兴趣的部分。然而，当使活动图像快速前进时，用户常常在搜索期间错过感兴趣部分，并且有时感觉搜索不方便。

因此，在这个第二实施例中，将提供即使当使活动图像快速前进时也输出易于观看的活动图像的图像帧处理技术。

图12示出了根据第二实施例的图像帧处理设备200的硬件配置。主CPU12、主存储器14、显示器26、显示控制器28、输入和输出(I/O)端口30和外部存储设备32与如图1所示、根据第一实施例的块相同，所以将相同的数字分配给这些块并且省略对这些块的进一步说明。诸如数字视频相机之类的相机设备38连接到输入和输出端口30。由相机设备38获取的活动图像在诸如DVD(数字多用途盘)驱动器和硬盘驱动器之类的外部存储设备32中存储为数字数据。图形处理器80从存储在外部存储设备32中的活动图像数据中挑选图像帧序列，并且将其存储在主存储器14中。然后，图形处理器80对图像帧序列执行预定处理以创建更新的图像帧序列，并且将该更新的序列输出到显示器26。

图像帧处理设备200可以并入到各种类型的活动图像显示设备中，这些显示设备在显示器26上显示由图像帧序列组成的活动图像。这样的活动图像显示设备可以包括诸如DVD播放器和HDD视频记录器之类的用于存储或者播放电影内容的各种装置。此外，活动图像显示设备还可以并入到个人计算机、数字视频相机、或者娱乐装置中。

输入设备84产生一些到图像帧处理设备200的输入。根据活动图像显示装置的类型，可以使用各种类型的设备作为输入设备84。例如，假定活动图像显示装置是DVD播放器或者HDD视频记录器，则输入设备84可以是在遥控器或者活动图像显示装置上提供的各种按钮。假定活动图像显示装置是通用计算机，则输入设备84可以是键盘或者鼠标。

在这个第二实施例中，将描述当从用户接收到对事先创建并记录在诸如DVD驱动器或者HDD驱动器之类的大容量存储设备中的电影内容的快速前进请求时，创建快速前进的图像。如同第一实施例一样，第二实施例可以应用于执行呈现处理以便创建用于显示在显示器上的新图像帧序列的娱乐装置。

现在，在图12所示的帧图像处理设备200中，将参考一些示例描述用于创建被添加值的快速前进活动图像的方法。

(示例4)

图13是根据示例4的图像帧处理设备200的功能框图。图13中的特征可以主要利用图形处理器80、主CPU 12和主存储器14实现。在这个示例4中，说明了一种用于响应于来自用户的快速前进请求而提供快速前进的、平滑的活动的图像的方法。

接口单元202获取由用户经由输入设备84进行的快速前进请求。例如，假定图像帧处理设备200并入到DVD播放器中，则这个快速前进请求对应于用在主体或者遥控器上提供的前进按钮或者拨号盘所指定的、诸如“双倍速”、“4×(四倍)速”之类的快速前进速度信息。快速前进请求可以在活动图像数据的头部部分中指定而不是从用户给出。接口单元202将所获取的信息发送到传输帧数目确定单元206。传输帧数目确定单元206确定以所收到的快速前进速度信息实现快速前进活动图像所需要的图像帧数目。帧传输单元208以恒定定时从存储在存储单元250中的图像帧序列中读出由传输帧数目确定单元206所确定的、图像帧的确定数目。然后，该帧传输单元208将这些帧传输到快速前进单元220。例如，存储单元250对应于图12中的主存储器14。然而，存储单元250可以是诸如外部存储设备32之类的在图像帧处理设备200中提供的任何存储单元或者存储器。此外，存储单元250中的图像帧可以是未压缩的图像。存储单元250中的图像帧还可以是使用DCT(离散余弦变换)的压缩图像。

快速前进单元220包括帧序列获取单元222和合并执行单元224。帧序列获取单元222获取所传输的图像帧，并且暂时存储它们。合并执行单元224执行合并处理，其从存储在帧序列获取单元222中的多个图像帧中生成一个更新的图像帧。这个合并处理可以是第一实施例中描述的混和处理。该更新的图像帧被称为“快速前进帧”。

以生成次序，将由合并执行单元224生成的快速前进帧传输到画面组成单元240。画面组成单元240以可以在显示器26上显示的预定帧频输出这些快速前进帧。由此，用户可以在显示器26上观看期望的快速前进画面。

当在多个图像帧上执行合并处理时，在快速前进帧中产生伪余像(afterimage)。通过顺序地输出这样的快速前进帧，可以获取具有运动模糊效应的快速前进画面。这样，用户可以享受逼真和平滑的活动画面。

顺便提及，可以进行这样的处理，其中每预定数目的帧从存储单元250中的图像帧序列中提取图像帧，并且以预定帧频输出所提取的帧而没有给出任何用于创建快速前进画面的合并处理。现在，为了理解示例4的优点，将参考图14描述由这样的处理创建的快速前进画面的缺点。

图14示出了这样的处理原理，其包括步骤：从事先准备的图像帧序列300中提取恰当数目的图像帧；并创建快速前进帧序列310。

图像帧序列300包括图像帧301-309和范围在这些帧前后的大量其它图像帧。图像帧301-309代表活动图像，其中圆形对象400从屏幕的左上方移动到右下方。实际上，除非使用了比帧301-309多得多的图像帧，否则不可能平滑地移动圆形对象400。然而，为了简化图14中的说明，假定仅仅利用图像帧301-309就实现了圆形对象400的平滑移动。

图像帧303和307所示的星形401代表圆形对象400的闪烁。在该图像帧序列300中，圆形对象400出现在屏幕的左上角，然后移动到右下角并闪烁两次。

在这个示例中，从每三个图像帧中提取出一个图像帧。更具体而言，在图像帧序列300中每三个图像帧提取图像帧301、304和307。然后，这些提取的图像帧分别变为快速前进帧311、312、313而没有采取任何处理。因此，可以通过从每恰当数目的图像帧中提取一个图像帧来创建快速前进帧序列310、并且以预定帧频输出该序列310来创建快速前进画面。在图14所示的这个示例中，可以获取3X快速前进画面。

然而，利用这样的处理，当在从原始图像帧序列中提取的图像帧之间的差别大时，特别是在非常快速前进的情况下，画面可能逐帧前进。因此，对于用户来说，该画面变为较差的画面。另外，图像帧序列300包括代表圆形对象400闪烁的图像帧303。然而，快速前进帧序列310不包括这个图像帧303。因此，观看包含帧序列310的快速前进画面的用户不能辨认出圆形对象400闪烁了两次。

由此可以看出，在这样的处理中，除了图14中对象的闪烁之外，有可能没有将具有重要信息的图像帧包括在快速前进画面中。换句话说，虽然在原始图像帧序列中出现了一些事件，但是当用户观看该快速前进画面中，他有可能不能看到该事件。所以，当用户以特定信息作为线索从快速前进画面中搜索感兴趣场景时，如果快速前进画面缺乏该特定信息，则用户不能找出该场景。

接下来，将根据参考图15的示例4描述用于创建快速前进画面的方法。取代每三个图像帧提取一个图像帧，合并执行单元224对图像帧序列300中的三个图像帧执行合并处理以创建一个快速前进帧。更具体而言，合并执行单元224对图像帧301-303执行合并处理以创建快速前进帧321。合并执行单元224对图像帧304-306执行合并处理以创建快速前进帧322。合并执行单元224对图像帧307-309执行合并处理以创建快速前进帧323。

这个合并处理对应于创建这样的图像帧，该图像帧中的每个像素是位于图像帧中相同位置处的加权平均像素。更具体而言，当使用n个图像帧F_m(m＝1，...，n，n为正整数)创建一个快速前进帧F_f时，

F_f＝∑α_m/F_m(4)

其中α_m代表每个图像帧的权重系数，并满足∑α_m＝1。如可从表示式(4)中看出的那样，对于每个图像帧来说，权重比率可能不等。例如，可以将高权重比率应用于邻近某个图像帧的图像帧，并且该图像帧离某个图像帧的位置越远，应用的权重比率可能越低。如何分布α_m的值取决于快速前进帧F_f的特征。

依据如上所述的合并处理，获取了具有在图像帧之间移动的圆形对象400的伪余像的快速前进帧321、322、323。在图15中，圆形对象400的余像表示为空圆圈或者星形。由此，当再现具有快速前进帧321-323的快速前进帧序列320时，可以获取运动模糊并且平滑活动的画面。因此，可以减轻用户的眼部疲劳。此外，如可以从快速前进帧321和323看出，对象闪烁图像作为伪余像而保留在这些帧中。因此，在原始图像帧中的信息可能不会由于创建快速前进帧而从帧中丢失。换句话说，总是将原始图像帧的部分信息留在快速前进帧中。因此，当用户以特定信息作为线索从快速前进画面中搜索他感兴趣的场景时，由于该残留信息的原因，用户感觉易于找出该场景。

图16示出了增加或者减少被合并以创建具有不同前进速度的快速前进画面的图像帧数目的处理的原理。图像帧序列350包括图像帧351-362和范围在这些帧前后的大量图像帧。当创建正常的快速前进画面时，合并执行单元224对四个图像帧执行合并处理以创建一个快速前进帧。更具体而言，合并执行单元224对图像帧351-354执行合并处理以创建快速前进帧371，而且合并执行单元224对图像帧355-358执行合并处理以创建快速前进帧372。

当由帧序列获取单元222在创建快速前进帧期间检测到具有特定条件的特定图像帧时，合并执行单元224对每两个图像帧执行合并处理以创建一个快速前进帧。在图16中，当图像帧359满足该特定条件时，合并执行单元224对图像帧359和360执行合并处理以创建快速前进帧373，而且合并执行单元224对图像帧361和362执行合并处理以创建快速前进帧374。

包含包括快速前进帧371-374在内的快速前进帧序列370的快速前进画面首先具有4X前进速度，但是在快速前进帧373之后，前进速度下降到两倍。因此，通过恰当地增加或者减少被合并的图像帧数目，可以获取其速度在任何时间点改变的快速前进画面。

为了检测特定图像帧，可以使用任何众所周知的技术。例如，使用场景改变检测技术，可以在场景改变的地方获得特定图像帧。如此，可以在任何特定场景处获取具有降低的前进速度的快速前进画面。做为选择，计算在图像帧之间的运动矢量，然后可以检测其运动矢量的绝对值大于预定值的特定图像帧。由此，通过检测其中对象在屏幕中的移动变大的图像帧，可以获取在该特定帧之后具有降低的前进速度的快速前进画面。

因为即使用户使该画面快速前进也在给定点之后自动降低前进速度，所以用户可以容易地找出感兴趣或者重要的场景。此外，当用户以特定信息作为线索从快速前进画面中搜索感兴趣场景时，可以在具有该信息的帧处自动地降低前进速度。因此，用户可以更容易地找出该场景。可想象出下列实际的使用。假定画面内容是戏剧，则可以在快速前进期间以降低的速度再现特定演员出现时的场景。假定画面内容是英式足球比赛广播，则可以在快速前进期间以降低的速度再现得分场景。

(示例5)

在示例4中，没有考虑每个图像帧的特征而从图像帧序列中提取预定数目的图像帧，并且对所提取的图像帧执行合并处理以创建快速前进帧。这个处理优选为构造平滑移动的快速前进画面。然而，在有些情况下，通过优先级提取一些具有一些特征的图像帧来创建快速前进画面是更优选的。在这个示例5中，提供了这样一种图像帧处理设备，其用于通过优先级提取一些满足特定条件的图像帧来创建具有高观看效率的快速前进画面。

图17示出了根据示例5的图像帧处理设备的功能框图。接口单元202、传输帧数目确定单元206、帧传输单元208、帧序列获取单元222、画面合成单元240和存储单元250与图13所示的块相同，所以将相同的数字分配给这些块并且省略了对这些块的进一步说明。

快速前进单元220包括帧序列获取单元222和特征帧提取单元226。特征帧提取单元226基于图像帧的亮度信息，从帧传输单元208传输过来的图像帧中提取满足预定条件的图像帧作为特征帧。例如，特征帧提取单元226计算包括某个图像帧在内的十个正向和反向帧中所包括的每个像素的像素均值，然后提取包括具有比平均值大50％的像素的图像帧作为特征帧。特征帧提取单元226提取除了这些特征帧之外的一些适当数目的图像帧，创建快速前进帧，并且将其发送到画面合成单元240。画面合成单元240以预定帧频输出可以在显示器26上显示的快速前进帧。

现在，将更具体地描述根据示例5的对特征帧的提取。图18示出了基于亮度信息从图像帧序列中提取一些图像帧的处理的原理。与图14相同，图像帧序列300包括图像帧301-309和范围在这些帧前后的大量其它图像帧。特征帧提取单元226提取其中的像素亮度大于其它相邻图像帧中的像素亮度的图像帧作为特征图像帧。如上所述，圆形对象400在图像帧303和307中闪烁。因此，因为图像帧303和307包括亮度大于相邻图像帧的像素亮度的像素，所以分别提取它们作为特征帧。这些特征帧分别变为快速前进帧331和332而没有采取任何处理。

仅仅通过从图像帧序列300中提取特征帧有可能未提取到以所请求的前进速度合成快速前进画面所需要的帧。因此，如果在预定数目的图像帧中未提取到特征帧，优选为让特征帧提取单元226从预定数目的图像帧中提取一个帧而不考虑亮度信息。相反地，如果在预定数目的图像帧中提取了多个特征帧，则优选为让特征帧提取单元仅仅提取一个帧。以这种方法，可以构造快速前进帧序列330。

做为选择，当存在基于亮度信息在预定数目的图像帧中提取的多个特征帧时，被确定为特征帧的所有图像帧都可以是快速前进帧而与前进速度信息无关。以这种方法，为某个时段连续提取具有较大亮度的像素的图像帧。因此，在该时段中，可以获取具有正常播放速度的降低了速度的快速前进画面。由此，因为即使在快速前进画面中，也可以在特征场景中获取几乎等于正常播放的活动图像，这可以减少用户错过特征场景中的重要信息的机会。优选为取决于用户想要获取的信息类型为特征帧设置条件。

在示例5中，因为通过基于亮度信息提取特征帧而创建快速前进画面，所以减少了快速前进画面中错过的、具有重要信息的图像帧的数目。

应当注意到，用于提取特征帧的信息不局限于亮度信息。例如，在图像帧之间的移动信息也可以用于依据优先级提取具有特定条件的一些图像帧。

参见图17，移动信息检测单元210接收从帧传输单元208传输过来的图像帧并且计算在这些图像帧之间的移动信息。例如，移动信息检测单元210通过使用众所周知的块匹配方法获得在图像帧之间的对应点。然后，移动信息检测单元210根据在对应点之间的差别计算运动矢量。将该运动矢量用于移动信息。如果作为数据而事先准备了在图像帧中的每个区域或者对象的一些移动信息，则也可以将这个数据用作移动信息。

特征帧提取单元226基于移动信息从所传输的图像帧中提取满足预定条件的图像帧作为特征帧。该条件例如是运动矢量的绝对值大于预定值。除了这些特征帧之外，特征帧提取单元226提取一些恰当数目的图像帧，创建快速前进帧，并且将该快速前进帧发送到画面合成单元240。画面合成单元240以预定帧频将该快速前进帧输出显示器26。

在另一示例中，特征帧提取单元226从接口单元202接收写入到活动图像数据的头部中的信息，并基于该信息提取特征帧。例如，假定活动图像的内容是戏剧，则在场景改变点前后范围内的几十或者几百个图像帧的头部中启用了指示场景改变的位。特征帧提取单元226可以提取由这样的位指示的图像帧作为特征帧。以这种方法，即使在快速前进画面中，前进速度也变为等于正常的播放速度。因此，该用户可以更容易地辨认出快速前进画面中的内容。

(示例6)

在示例5中，描述了使用亮度信息或者移动信息提取满足特定条件的图像帧作为特征帧。换句话说，在示例5中，在图像帧序列中的图像帧被分离为两个组。一组包括对用户有益的图像帧(也就是说，具有大量信息的图像帧)。另一个组包括对用户的益处稍少的图像帧(也就是说，具有较少信息的图像帧)。然后，从第一组中拾取较多的图像帧来创建快速前进画面。

在示例6中，将提供图像帧处理设备来将一个图像帧分离为两个部分：具有较多信息的一部分以及具有较少信息的一部分。并且要么增强这些部分要么使这些部分不易被察觉。由此，用户可以更容易地从快速前进画面中获得信息。

图19示出了根据示例6的图像帧处理设备的功能框图。接口单元202、传输帧数目确定单元206、帧传输单元208、移动信息检测单元210和存储单元250与图17所示的块相同，所以将相同的数字分配给这些块并且省略了对这些块的进一步说明。

快速前进单元220包括分离单元228、合并执行单元230和帧重新合成单元232。分离单元228接收从帧传输单元208传输过来的图像帧。分离单元228将每个图像帧分离为“特定图像区域”和“非特定图像区域”。基于从移动信息检测单元210接收的移动信息进行这个分离。特定图像区域是其中运动矢量的绝对值大于预定阈值的区域。非特定图像区域是除了特定图像区域之外的区域。合并执行单元230对在图像帧之间的非特定图像区域执行合并处理。另一方面，合并执行单元230从图像帧中拾取任何一个特定图像区域。

帧重新合成单元232合成所提取的特定图像区域以及经合并的非特定图像区域以创建更新的图像帧。将更新的图像帧作为快速前进帧发送到画面合成单元240。画面合成单元240以预定帧频将该快速前进帧输出至显示器26。

图20示出了用于将图像帧分离为特定图像区域和非特定图像区域的原理。图像帧序列380包括图像帧381-384和范围在这些图像帧前后的大量图像帧。图像帧序列380包括某个人的图像。可以如下所述检测这个人的图像。用户指定这个人穿着的衣服的颜色和图案。然后，使用众所周知的图象匹配技术，以该颜色和图案作为线索来检测这个人的图像区域。

分离单元228将图像帧381-384分离为用于这个人的图像的特定图像区域和用于背景图像的非特定图像区域。该合并执行单元230对图像帧381-384中的非特定图像区域执行合并处理。该合并单元230从图像帧381-384中拾取一个特定图像区域。在图20中，由合并执行单元230拾取图像帧382中的特定图像区域。然后，帧重新合成单元232将由合并执行单元230所拾取的特定图像区域和所合并的非特定图像区域放在一起以创建快速前进帧385。由于该合并处理，该快速前进帧385具有模糊的背景图像。因此，包括帧385在内的快速前进画面可以显示具有运动模糊背景的某个人，所以该用户可以更容易地辨认出这个人。

如上所述，根据示例6，可以在快速前进画面中明确地显示图像帧中的重要部分。换句话说，根据示例6，由于运动模糊，可以使图像帧中的较不重要的部分变得不易被察觉。

以这种方法，当活动图像的内容是戏剧或者运动广播时，可以在快速前进画面中引人注意地显示用户喜欢的人员。

做为选择，当非特定图像区域是静止图像时，合并单元230使用多个非特定图像区域来增强其图像质量。

(示例7)

图21示出了根据示例7的图像帧处理设备的功能框图。在这个示例7中，在快速前进画面中显示对象在图像帧中的路径(轨迹)。

接口单元202、传输帧数目确定单元206、帧传输单元208、移动信息检测单元210、画面合成单元240和存储单元250与图17所示的块相同，所以将相同的数字分配给这些块并且省略了对这些块的进一步说明。

快速前进单元220包括路径创建单元236和帧重新合成单元232。路径创建单元236使用从移动信息检测单元210接收的移动信息创建路径图像。这个路径图像是显示预定对象在从帧传输单元208传输过来的图像帧中的流线(flow line)的图像。帧重新合成单元232在原始图像帧上重写路径图像以创建快速前进帧。

图22示出了根据示例7的路径创建处理的原理。与图14相同，图像帧序列300包括图像帧301-309和范围在这些帧前后的大量其它图像帧。

路径创建单元236根据在图像帧301和图像帧302之间的差别创建路径图像411。路径创建单元236根据在图像帧302和图像帧303之间的差别创建路径图像412。帧重新合成单元232将路径图像411和412放到图像帧303中以创建快速前进帧341。类似地，路径创建单元236根据在图像帧304和图像帧305之间的差别创建路径图像413。路径创建单元236根据在图像帧305和图像帧306之间的差别创建路径图像414。帧重新合成单元232将路径图像413和414放到图像帧306中以创建快速前进帧342。对图像帧307或者后面的图像帧重复相同的处理。

画面合成单元240以预定帧频输出包括快速前进帧341和342在内的快速前进帧序列340。因此，可以获取具有示出圆形对象400的移动的路径的快速前进画面。

为了确定在存在于图像帧中的对象当中选择哪个对象来显示其路径，可以使用各种众所周知的方法。例如，使用众所周知的图象识别技术在每个图像帧中检测预定对象(例如，英式足球)，并且可以在快速前进画面中显示英式足球的路径。

根据示例7，有可能在快速前进画面中显示未出现在原始图像帧中的信息。换句话说，通过使用在图像帧之间的差别信息，有可能增强图像帧中的信息。

(示例8)

通过选择根据如上所述的示例4到7的一个处理，可以产生适于内容或者用户目的的快速前进画面。例如，取决于记录在存储设备中的活动图像的内容，可以选择适当的快速前进。

现在，假定图像帧处理设备并入到活动图像播放装置中，来描述快速前进画面创建处理。

图23示出了可以实现根据示例4到7的全部处理的图像帧处理装置的功能框图。接口单元202、传输帧数目确定单元206、帧传输单元208、移动信息检测单元210、画面合成单元240和存储单元250与图13所示的块相同，所以将相同的数字分配给这些块并且省略了对这些块的进一步说明。

快速前进单元220被配置为能够执行在示例4到7中描述的全部处理。图像帧处理设备还包括内容确定单元214。内容确定单元214确定存储在存储单元250中的活动图像的内容类型。可以基于活动图像数据的头部信息进行这个确定。做为选择，可以基于用户的输入或者来自移动信息检测单元210的移动信息来进行该确定。将所确定的内容类型发送到快速前进单元220。快速前进单元220接收从帧传输单元208传输过来的图像帧，并且取决于内容类型执行根据示例4到7的一个处理。

现在，将描述当由内容确定单元214确定的内容类型是运动广播、戏剧或电影、或者用户独创的电影时，由快速前进单元220执行的特定处理。

A.运动广播

当内容类型是英式足球比赛的视频记录时，有可能仅仅在得分场景时降低快速前进画面的前进速度。可以如下所述检测得分场景：由指向球门柱的固定位置相机获取的活动图像。事先在由该相机获取的图像内指定球门口区域。当英式足球图像进入球门口区域时(这可以通过图像匹配方法检测)，快速前进单元220将其确定为得分场景并且提取在这个时间点前后的多个图像帧。此外，单元220可以使用图象匹配技术、以颜色、图案或者其一致性的数目作为线索来确定特定的选手。然后可以通过对其它选手应用运动模糊来获取增强了特定选手的运动的快速前进画面。另外，使用图象匹配技术辨认出图像帧中的英式足球，并且可以获取具有该英式足球路径的快速前进画面。

B.戏剧/电影

当内容类型是戏剧节目时，例如，该单元提示用户输入在该戏剧中他/她喜欢的演员的颜色或者图案。然后，快速前进单元220通过众所周知的图像匹配技术检测具有对应于所输入的颜色和图案的区域的对象。由此，单元220可以识别出所喜欢的演员出现的场景，并且为所识别出的场景具创建具有有降低的前进速度的快速前进画面。

C.用户独创的电影

当存储在存储单元250中的活动图像是由用户通过便携式相机获取的图像时，快速前进单元220使用众所周知的场景改变提取技术检测场景的中断。通过将在场景中断前后的图像帧包括在快速前进画面中，可以容易地在快速前进画面中掌握该内容。此外，使用光流检测利用便携式相机追踪拍摄(chase)的对象。然后，在快速前进画面中使除了被追踪拍摄的对象之外的背景图像运动模糊。由此，可以创建具有易于观看的被追踪拍摄的对象的快速前进画面。

如上所述，根据图23所示优选图像帧处理设备，可以获取针对活动图像的内容类型或者用户首选项进行了适当处理的快速前进画面。

根据本发明的第二实施例，基于事先存储在DVD驱动器或者硬盘驱动器等中的图像帧序列，当收到快速前进请求时，对图像帧序列执行预定处理以创建快速前进帧。然后，以针对该快速前进请求显示快速前进画面所需要的帧频输出该快速前进帧。第二实施例的一个特征是通过对图像帧序列执行各种处理，快速前进画面可以具有各种添加的值。这些添加的值包括：尽可能地将原始图像帧序列的重要信息保持在快速前进画面中(示例4和5)；在快速前进画面中省略图像帧序列的不需要的信息(示例6)。

在第二实施例中，在收到快速前进请求信号之后，几乎实时地创建快速前进帧并作为快速前进画面输出。因此，每次收到快速前进请求信号时，取决于条件或者用户的指示、有可能输出由不同处理创建的各种快速前进画面。换句话说，在第二实施例中，在对应于后处理处理的快速前进单元中存在高多用性，并且可以提供具有不同优点的各种快速前进画面。

以与前进速度无关的预定帧频创建存储在存储单元250中的活动图像的图像帧序列。然而，快速前进单元取决于快速前进请求信号或者内容类型执行该处理以创建经更新的图像帧序列以用于快速前进。从上述可以看出，在第一实施例和第二实施例中的共同原理在于：通过对以比显示速率更高的速率准备的图像帧进行采样来创建要向用户显示的帧。第二实施例对应于其中用于采样的时间轴被延长的、第一实施例中的特殊情况。

应当注意到，第二实施例的应用不局限于创建快速前进画面或者快速倒带画面。例如，使用由高速相机所获取的活动图像，可以根据第二实施例创建具有上述一些效果的正常播放图像。在这种情况下，应该满足下列条件：

N_s≥N_p≥N_o

其中N_s代表由高速相机获取的每个单位时间的图像帧的数目，N_p代表存储在存储单元中的每个单位时间的图像帧的数目，而N_o代表最终输出到显示器的、每个单位时间的图像帧的数目。

已经基于一些实施例描述了本发明。这些实施例本质上是说明性的，而且对于本领域的技术人员来说很明显，在本发明的范围内可能有在组成元件和处理方面的各种改变。在实施例中描述的组成元件的可选组合，以及以方法、装置、系统、计算机程序和记录介质形式的本发明的实现也可以作为本发明的其他模式而被实践。

Claims (39)

1、一种图像帧处理方法，包含：

呈现图像帧序列；以及

对由所述呈现步骤生成的图像帧序列进行后处理以便使其适应于显示器，

其中所述呈现步骤通过以预定帧频执行呈现来生成图像帧序列而不考虑为了输出到显示器而使所述图像帧应当满足的条件，以及

所述后处理步骤使由所述呈现步骤生成的图像帧序列经受预定处理，以便生成和输出满足所述条件的更新的图像帧序列。

2、一种图像帧处理方法，包含：

呈现图像帧序列；以及

对由所述呈现步骤生成的图像帧序列进行后处理以便使其适应于显示器，

其中所述呈现步骤通过以预定帧频执行呈现来生成图像帧序列而不考虑所述显示器的规格，以及

所述后处理步骤使由所述呈现步骤生成的图像帧序列经受预定处理，以便生成和输出适于所述显示器的规格的更新的图像帧序列。

3、一种图像帧处理方法，包含：

呈现图像帧序列；以及

对由所述呈现步骤生成的图像帧序列进行后处理以便使其适应于显示器，

其中所述呈现步骤通过以预定帧频执行呈现来生成图像帧序列而不考虑正被执行的节目，以及

所述后处理步骤使由所述呈现步骤生成的图像帧序列经受预定处理，以便生成和输出适于所述节目的更新的图像帧序列。

4、一种图像帧处理设备，包含：

接口单元，用于获取为输出到显示器而使图像帧应当满足的条件；

呈现处理单元，用于以预定帧频执行呈现而不考虑所述条件，以便生成图像帧序列；以及

后处理单元，用于根据由所述接口单元获取的所述条件、对由所述呈现处理单元生成的图像帧序列执行预定处理以生成用于该显示器的更新的图像帧序列。

5、如权利要求4所述的图像帧处理设备，其中，所述条件是显示器的输出分辨率。

6、如权利要求4所述的图像帧处理设备，其中，所述条件是显示器的帧频。

7、如权利要求4所述的图像帧处理设备，其中，所述条件是为显示器上的内容类型定义的输出分辨率。

8、根据权利要求4到7所述的图像帧处理设备，其中，所述呈现处理单元在呈现空间中以互相不同的坐标偏移开始呈现图像帧序列中的一组图像帧。

9、如权利要求8所述的图像帧处理设备，其中，所述后处理单元合并通过偏移呈现生成的该组图像帧，并保持在该组图像帧之间的位移，以便生成空间分辨率高于从所述呈现处理单元输出的图像帧序列的空间分辨率的更新的图像帧序列。

10、如权利要求9所述的图像帧处理设备，其中，通过偏移呈现生成的该组图像帧位于单个坐标系中，而且通过在所述坐标系中采样像素生成空间分辨率高于从所述呈现处理单元输出的图像帧序列的空间分辨率的更新的图像帧序列。

11、如权利要求8所述的图像帧处理设备，其中，所述后处理单元通过合并通过偏移呈现而生成的该组图像帧以便抵消在该组图像帧之间的位移，来生成空间分辨率和从所述呈现处理单元输出的图像帧序列的空间分辨率相同的更新的图像帧序列。

12、如权利要求11所述的图像帧处理设备，其中，通过偏移呈现生成的该组图像帧位于单个坐标系中，而且通过在该坐标系中混和像素来生成空间分辨率与从所述呈现处理单元输出的图像帧序列的空间分辨率相同的更新的图像帧序列。

13、如权利要求4到12所述的图像帧处理设备，还包含：

第一存储器，存储由所述呈现处理单元生成的图像帧；以及

第二存储器，由所述后处理单元用作工作区域，

其中所述第一存储器具有存储由所述呈现处理单元生成的至少一个图像帧的容量，将暂时存储在所述第一存储器中的图像帧传输到所述第二存储器，并且所述后处理单元从所述第二存储器中读出多个图像帧以用于该预定处理。

14、如权利要求4到12所述的图像帧处理设备，还包含：

第一存储器，存储由所述呈现处理单元生成的图像帧；以及

第二存储器，由所述后处理单元用作工作区域，

其中所述第一存储器内置于至少与所述呈现处理单元相同的半导体电路元件中。

15、如权利要求14所述的图像帧处理设备，其中，将主存储器用作所述第二存储器。

16、一种程序，用于使计算机执行以下步骤：

呈现图像帧序列；

对由所述呈现步骤生成的图像帧序列进行后处理以便使其适应于显示器，

其中所述呈现步骤通过以预定帧频执行呈现来生成图像帧序列而不考虑为了输出到显示器而使所述图像帧应当满足的条件，以及

所述后处理步骤使由所述呈现步骤生成的图像帧序列经受预定处理，以便生成和输出满足所述条件的更新的图像帧序列。

17、一种呈现处理器，其以预定帧频执行呈现而不考虑为了输出到显示器而使图像帧应当满足的条件，并且生成图像帧，该图像帧在后处理中转换为满足所述条件的更新的图像帧。

18、如权利要求17所述的呈现处理器，其中，所述条件是显示器的输出分辨率。

19、如权利要求17所述的呈现处理器，其中，所述条件是显示器的帧频。

20、如权利要求17所述的呈现处理器，其中，所述条件是为显示器上的内容类型定义的输出分辨率。

21、如权利要求17到20所述的呈现处理器，其中，在呈现空间中以互相不同的坐标偏移开始呈现图像帧序列中的一组图像帧。

22、如权利要求17到20所述的呈现处理器，其中，存储通过呈现生成的图像帧的存储器内置于与所述呈现处理器相同的半导体电路元件中。

23、一种用于在显示器上显示外部提供的图像帧序列的图像帧处理方法，包含：

获取为了输出到该显示器而使图像帧应当满足的条件；

以预定帧频接收该图像帧序列而不考虑所述条件；以及

使所收到的图像帧序列经受预定处理以便生成满足所述条件的更新的图像帧序列。

24、一种图像帧处理设备，包含：

接口单元，用于获取为输出到显示器而使图像帧应当满足的条件；

图像帧接收单元，用于以预定帧频接收图像帧序列而不考虑所述条件；以及

后处理单元，用于根据由所述接口单元获取的所述条件、对所收到的图像帧序列执行预定处理以生成用于该显示器的更新的图像帧序列。

25、一种使计算机在显示器上显示外部提供的图像帧序列的程序，包含以下步骤：

获取为了输出到显示器而使图像帧应当满足的条件；

以预定帧频接收图像帧序列而不考虑所述条件；以及

根据由所述接口单元获取的所述条件、对所述图像帧序列执行预定处理以生成用于该显示器的更新的图像帧序列。

26、一种用于从存储器中读取图像帧序列并且对所述图像帧序列执行预定处理以便显示的活动图像显示方法，包含：

当出现快速前进请求时，有选择地从存储器中读取要显示为快速前进画面的图像帧；

通过对所读取的图像帧执行预定的合并处理来创建更新的图像帧；以及

显示所述更新的图像帧。

27、一种通过使用包含存储器中存储的图像帧序列的活动图像来创建快速前进帧的图像帧处理方法，包含：

获取在快速前进请求中写入的前进速度信息；

基于该前进速度信息计算创建快速前进帧所需要的图像帧的数目；

从该存储器中读取所计算数目的图像帧；

集成所读取的图像帧以创建所述快速前进帧；以及

以预定帧频显示所创建的快速前进帧作为快速前进画面。

28、如权利要求27所述的图像帧处理方法，其中，有选择地从图像帧中读取具有预定特征的图像帧作为特征帧。

29、如权利要求27所述的图像帧处理方法，还包含：

将每个图像帧分离为特定图像区域和非特定图像区域，其中所述特定图像区域包括预定对象，而所述非特定图像区域是除了特定图像区域之外的区域；

集成图像帧之间的非特定图像区域；

选择图像帧中的特定图像区域当中的一个区域；以及

组合所集成的非特定图像区域和所选择的特定图像区域以创建快速前进帧。

30、如权利要求27所述的图像帧处理方法，还包含：

检测图像帧之间的移动信息；

基于该移动信息创建代表预定对象在所述图像帧内的移动的路径的路径图像；以及

组合该路径图像和原始图像帧来创建该快速前进帧。

31、一种用于响应于快速前进请求创建快速前进帧的图像帧处理设备，包含：

存储单元，用于存储包含图像帧序列的活动图像数据；

接口单元，用于获取在快速前进请求中写入的前进速度信息；

帧数目确定单元，用于基于该前进速度信息计算创建快速前进帧所需要的图像帧的数目；

帧传输单元，用于从存储单元中读取所计算数目的图像帧；

快速前进处理单元，用于集成所读取的图像帧来创建快速前进帧；以及

画面合成单元，用于以预定帧频显示所创建的快速前进帧以作为快速前进画面。

32、如权利要求31所述的图像帧处理设备，其中，所述快速前进处理单元包含合并执行单元，用于混合所读取的图像帧来创建快速前进帧。

33、如权利要求31所述的图像帧处理设备，其中，所述快速前进处理单元还包含特征帧提取单元，用于从所述图像帧中提取特征帧，所述特征帧是具有预定特征的图像帧。

34、如权利要求31所述的图像帧处理设备，所述快速前进处理单元还包含：

分离单元，用于将每个图像帧分离为特定图像区域和非特定图像区域，其中所述特定图像区域包括预定对象，而所述非特定图像区域是除了特定图像区域之外的区域；

合并执行单元，用于集成所述图像帧之间的非特定图像区域，并且选择所述图像帧的特定图像区域中的一个区域；以及

帧重新合成单元，用于组合所集成的非特定图像区域和所选择的特定图像区域以创建快速前进帧。

35、如权利要求34所述的图像帧处理设备，还包含：移动信息检测单元，用于计算所述图像帧之间的移动信息，其中所述分离单元基于所述移动信息确定特定图像区域。

36、如权利要求31所述的图像帧处理设备，其中，当所述非特定图像区域是静止图像时，所述合并执行单元混合每个都从所述图像帧中分离出的非特定图像区域，以增强图像区域的质量。

37、如权利要求31所述的图像帧处理设备，还包含：移动信息检测单元，用于计算图像帧之间的移动信息；

其中所述快速前进处理单元包含：

路径创建单元，用于基于该移动信息创建代表预定对象在所述图像帧内的移动的路径的路径图像；以及

帧重新合成单元，用于组合该路径图像和原始图像帧来创建该快速前进帧。

38、如权利要求31所述的图像帧处理设备，还包含：内容类型确定单元，用于确定所述活动图像的内容类型，

其中所述快速前进处理单元根据所述内容类型执行集成处理。

39、一种使计算机通过使用包含从外部设备收到的图像帧序列的活动图像来创建快速前进帧的程序，包含步骤：

基于包含在快速前进请求中的前进速度信息计算创建快速前进帧所需要的图像帧的数目；

从存储器中读取所计算数目的图像帧；

集成所读取的图像帧以创建所述快速前进帧；以及

以预定帧频显示所创建的快速前进帧以作为快速前进画面。

Images