CN101326810B - 图像处理设备和图像处理方法 - Google Patents

Abstract

提供了一种具有降低跳跃和模糊来输出高质量视频图像为特征的视频图像处理装置和视频图像处理方法。在以固定帧频生成运动画面时，响应于以分割区域为单位的输出视频图像帧频，计算对象的运动速度，其中所述分割区域是将构成所述运动画面的帧图像分割所得。获取以分割区域为单位的最佳快门速度来降低输出视频图像的图像质量劣化，作为与以分割区域为单位的运动速度相对应的最佳拍摄快门速度。以分割区域为单位生成与所获得的最佳快门速度相对应的视频图像。输出与所生成的分割区域图像相结合的帧视频图像。根据上面所述的结构，可以输出跳跃和模糊两者均降低的高质量视频图像。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备、图像处理方法和计算机程序。特别地，本发明涉及一种用于降低在所拍摄的运动对象的图像中发生的由跳跃和模糊所引起的图像质量的下降，从而生成高质量输出图像的图像处理设备、图像处理方法和计算机程序。

背景技术

当通过使用如投影器或显示器等的显示装置显示以高快门速度所拍摄的运动图像或动画时，常常可以看到图像劣化，其中，断断续续显示图像中的运行物体的移动，并且图像的观看者感知到多重图像。该现象就是通常称为“跳跃(jerkiness)”的图像质量下降。

另一方面，当显示以如开放快门等的低快门速度所拍摄的运动图像时，由于移动模糊的影响，因而常常可以看到对象的细节丢失或模糊边缘。该现象就是称为“模糊”的图像质量下降。

以下参考图1～3说明跳跃和模糊发生的原理。作为人的感知特征，已知人将进入眼睛的光感知为针对特定时间段所结合的值。图1～3示出基于该感知特征模拟观察者如何观察物体。

图1示出现实中如何观察静止物体和运动物体的例子。

在图1中，(1)示出静止物体11和运动物体12的时间变化，其中，水平轴表示位置(X)，而垂直轴表示时间(t)。在图1中，(2)示出对观察静止物体11和运动物体12的观察者的感知状态的模拟。观察者通过跟踪运动物体12(跟踪视觉)来观察运动物体12或者通过固定视点而不跟踪物体(固定视觉)来观察运动物体12。因此，有两种不同观察模式的感知状态。示出这两种模式：(a)跟踪视觉和(b)固定视觉。

如图1(2)中的(a)跟踪视觉所示，运动物体感知信息a12表示在观察者通过跟踪运动物体12来观察它时是如何观察运动物体12的。这与表示以图1(2)中的(b)固定视觉如何观察固定物体11的固定物体感知信息b11相同。以这种方式，当观察者通过跟踪运动物体12来观察它时，对于观察者来说，如何观察运动物体12与以固定视觉如何观察固定物体11相同。

另一方面，如图1(2)中的(b)固定视觉所示，运动物体感知信息b12表示在观察者通过固定视点来观察运动物体12时是如何观察运动物体12的。在这种情况下，观察者感知到持续运动的运动物体的变化，并且观察者不会感觉不自然。

图2示出在通过使用如投影器或显示器等的显示装置显示以高快门速度所拍摄的运动图像或动画时观察者感知到的跳跃的发生。也就是说，跳跃是这样一种现象：断断续续地显示图像中所包括的运动物体的移动，并且观察该图像的观察者感知到多重图像。

图2示出对在通过使用高快门速度拍摄图1所示的现实中的运动物体并将该运动物体的图像显示在以60Hz刷新的显示装置上的情况下观察者的观察的模拟。在图2中，(1)示出所显示的静止物体21和所显示的运动物体22在显示装置上的显示位置的变化。垂直轴表示以显示装置的刷新时间间隔(1/60sec)标记的时间(t)。水平轴表示显示位置(X)。

在图2中，(2)示出对观察者观察显示在显示装置上的所显示的静止物体21和所显示的运动物体22的感知状态的模拟。观察者通过跟踪所显示的运动物体22(跟踪视觉)对其进行观察、或者通过固定视点而不跟踪物体(固定视觉)对所显示的运动物体22进行观察。因此，有两种不同观察模式的感知状态。示出这两种模式：(a)跟踪视觉和(b)固定视觉。

如图2(2)(a)所示，在观察者利用跟踪视觉观察显示在显示装置上的所显示的运动物体22的情况下的观察(a22)与图1(2)(a)所示的跟踪视觉的观察(a12)是相同的。也就是说，观察者的感知与在利用固定视觉观察静止物体的情况下的相同。

另一方面，当观察者利用固定视觉观察显示在显示装置上的所显示的运动物体22时，观察者视觉所感知的所显示的运动物体22与现实中的不同，而是观察到不连续的(间断的)运动，如图2(2)(b)所示。结果，基于人类将进入眼睛的光感知为针对特定时间段所结合的值这一感知特征，观察者将显示在显示装置上的运动物体感知为多重图像。

观察者不利地将单个物体识别为多个物体。这一现象被称为“ 由于跳跃引起的劣化”。原则上，当物体的运动速度较高时，更可能发生由于跳跃引起的劣化。同样，当显示装置上的帧频较低时，更可能发生跳跃引起的劣化，而当帧频较高时，则较少发生跳跃引起的劣化。此外，在空间亮度变化大的部分，换句话说，在空间对比度高的部分中，通常更可能发生跳跃引起的劣化。

图3示出在通过使用投影器或显示器等显示装置显示以开放快门等低快门速度所拍摄的运动图像或动画的情况下观察者所感知的模糊的发生。模糊是这样一种现象：由于移动模糊的影响，因而发生对象的细节丢失或模糊边缘。

图3示出对在通过使用低快门速度拍摄图1所示的现实中的运动物体并将该运动物体的图像显示在以60Hz刷新的显示装置上的情况下观察者的观察的模拟。在图3中，(1)示出所显示的静止物体31和所显示的运动物体32在显示装置上的显示位置的变化。垂直轴表示以显示装置的刷新时间间隔(1/60sec)标记的时间(t)。水平轴表示显示位置(X)。

在图3中，(2)示出对于观察显示在显示装置上的所显示的静止物体31和所显示的运动物体32的观察者的感知状态的模拟。观察者通过跟踪所显示的运动物体32(跟踪视觉)观察所显示的运动物体32，或通过固定视点而不跟踪物体(固定视觉)来观察所显示的运动物体32。因此，有两种不同观察模式的感知状态。示出这两种模式：(a)跟踪视觉和(b)固定视觉。

如图3(2)(b)所示，在观察者利用固定视觉观察显示在显示装置上的所显示的运动物体32的情况下(b32)，观察是与以上参考图1所述的图1(2)(b)中所示的固定视觉中的观察(b12)相同。观察者感知到运动物体连续运动，并且不会感觉不自然。

另一方面，在观察者利用跟踪视觉观察所显示的运动物体32的情况下，观察者感知到该物体为不同于静止物体的固定视觉的模糊图像，如图3(2)(a)中的观察(a32)所示。这是因为，如图3(1)中所显示的运动物体32所示，在成像过程中，将在基于低快门速度的长曝光期间的运动物体的移动记录在一个帧中，并且，在一个帧中以带状显示该运动物体。这一现象被称为“模糊引起的劣化”。

如上所述，在成像过程中，对于快门速度，跳跃引起的劣化的发生和模糊引起的劣化的发生是相互对立的。因此，当进行简单快门控制时，这两者中的任何一个引起的劣化都是显著的。

跳跃被认为是在通过将运动图像的帧频转换成与原始图像的帧频不同的帧频来显示运动图像时可能发生的图像质量下降。例如，作为用于将原始运动图像的高帧频转换成较低帧频以显示该图像的手段，通常使用根据要获得的帧数简单细化帧的方法。然而，在这种情况下，因为以短曝光拍摄原始运动图像，因而可能发生跳跃。

作为用于抑制转换帧频时发生的跳跃的方法，已知一种根据要获得的帧数简单平均原始运动图像的帧、而不是通过细化帧来转换帧频的方法。该帧平均方法能够抑制跳跃。然而，该方法对应于：由于基于与高快门速度相对应的高帧频图像的平均而生成低帧频或低快门速度的图像。结果，模糊引起的劣化不利地显著。

另一方面，在将原始运动图像的低帧频转换成较高帧频的情况下，最简单的方法是对于在时间上不存在的帧多次显示现有的相邻帧。然而，这样的帧频转换使得运动对象的移动不连续，因而可能发生跳跃。

作为用于在上述进行帧频转换处理以基于低帧频的原始图像生成高帧频的图像的情况下抑制跳跃的发生的方法，已知一种用于通过在插值中使用移动补偿来生成时间上不存在的帧，从而生成高帧频的运动图像的方法(例如，专利文献1)。通过使用该方法，可以降低跳跃引起的劣化。

[专利文献1]日本特开平11-112939号公报。

发明内容

本发明解决的问题

如上所述，在成像过程中对于快门速度跳跃的发生和模糊的发生相互对立。因此，当进行简单快门控制时，由它们中的任何一个引起的劣化均不利地显著。在帧频转换时，如上所述，原则上难以抑制由跳跃和模糊两者引起的劣化。如果抑制了跳跃和模糊的其中之一，则另一个变得显著。

例如，当将低帧频转换成高帧频时，如果进行上述帧插值，并且如果将帧频转换成相当高的帧频，则可以降低在显示运动图像时发生的由跳跃引起的劣化。然而，在当前情况下，在电影(每秒24帧)或电视(每秒50或60帧)的标准运动图像格式的显示中，帧频不足够高，因此限制了降低由跳跃引起的劣化。能够显示比当前电视标准的帧频更高的帧频的运动图像的显示装置仍没有普及。许多当前可用的显示装置对通过帧插值来提高图像质量具有限制。

考虑到上述问题做出本发明，并且本发明的目的是提供一种能够抑制作为运动图像质量下降因素的跳跃和模糊两者的图像处理设备、图像处理方法和计算机程序。

例如，本发明的目的是提供一种图像处理设备、图像处理方法和计算机程序，所述图像处理设备、图像处理方法和计算机程序能够通过以输入图像信号的部分区域为单位计算帧间运动速度和空间特征量、并通过基于所计算的运动速度和空间特征量以区域为单位进行自适应滤波处理，从而生成和输出抑制了跳跃和模糊两者的发生以减少图像质量下降的高质量图像信号。

解决问题的部件

本发明的第一方面是一种用于对运动图像进行图像处理的图像处理设备。该图像处理设备包括：运动速度计算单元，用于以构成所述运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频，计算对象的运动速度；以及图像生成处理单元，用于接收各所述部分区域的所述运动速度信息，以所述部分区域为单位获得与所述运动速度相对应的且降低所述输出图像的劣化的最佳成像快门速度，以所述部分区域为单位生成与所获得的最佳快门速度相对应的图像，并输出通过组合所生成的部分区域图像而生成的各帧图像。

而且，在根据本发明的图像处理设备的实施例中，所述运动速度计算单元通过使用应用从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位进行计算所述运动速度的处理。

而且，在根据本发明的图像处理设备的实施例中，所述运动速度计算单元包括：块匹配单元，用于通过使用应用从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位获得运动向量；以及运动向量标准化单元，用于基于在所述块匹配单元中所计算的所述运动向量信息，根据所述输出图像的帧频，计算所述对象的所述运动速度。

而且，在根据本发明的图像处理设备的实施例中，所述运动速度计算单元根据所述输出图像的帧频进行以帧间隔从所述输入图像的帧中选择所述搜索帧的处理。

而且，在根据本发明的图像处理设备的实施例中，所述图像生成处理单元保存将所述运动速度与用于降低所述输出图像的劣化的成像快门速度相关联的表，并且通过参考所述表，以所述部分区域为单位，获得与各运动速度相对应的最佳快门速度。

而且，在根据本发明的图像处理设备的实施例中，所述表将运动速度区段信息与最佳快门速度信息相关联。

而且，在根据本发明的图像处理设备的实施例中，所述图像生成处理单元保存每一均表示所述运动速度和用于降低所述输出图像的劣化的所述最佳快门速度之间的对应关系的多个不同的所述表，并且基于用户选择信息来确定要应用的表。

而且，在根据本发明的图像处理设备的实施例中，所述图像生成处理单元包括：最佳快门速度计算单元，用于以所述部分区域为单位计算与所述运动速度相对应的所述最佳快门速度；以及滤波处理单元，用于以所述部分区域为单位来生成与由所述最佳快门速度计算单元计算的所述最佳快门速度相对应的图像。

而且，在根据本发明的图像处理设备的实施例中，所述滤波处理单元基于从输入图像的帧中选择的帧，以所述部分区域为单位来进行生成与由所述最佳快门速度计算单元计算的所述成像快门速度相对应的图像的处理。

而且，在根据本发明的图像处理设备的实施例中，所述滤波处理单元进行以下处理：根据由所述最佳快门速度计算单元所计算的所述最佳快门速度来设置加权系数，对输入图像的多个帧的像素值进行加权平均，并确定输出图像帧的像素值。

而且，在根据本发明的图像处理设备的实施例中，所述图像生成处理单元包括用于生成未包括在输入图像的帧中的中间帧的中间帧生成单元，并通过应用所述中间帧，以所述部分区域为单位来进行生成与由所述最佳快门速度计算单元计算的所述最佳快门速度相对应的图像的处理。

而且，在根据本发明的图像处理设备的实施例中，该图像处理设备还包括用于以部分区域为单位检测空间对比度的水平的空间特征量检测单元。所述图像生成处理单元进行以下处理：将高于根据所述运动速度所计算的所述最佳快门速度的快门速度设置为在所述空间对比度低于预定阈值的所述部分区域中的所述最佳快门速度。

而且，在根据本发明的图像处理设备的实施例中，该图像处理设备还包括用于以部分区域为单位检测空间对比度的水平的空间特征量检测单元。所述图像生成处理单元进行以下处理：在所述空间对比度低于预定阈值的所述部分区域中，将与输入图像的帧频相对应的快门速度设置为最佳快门速度，而不计算与所述运动速度相对应的所述最佳快门速度。

而且，在根据本发明的图像处理设备的实施例中，所述输出图像的劣化是由跳跃和模糊引起的劣化；并且，所述图像生成处理单元进行以下处理：以所述部分区域为单位获得用于降低由所述跳跃和所述模糊引起的图像劣化的所述最佳快门速度，并且以所述部分区域为单位生成与所获得的最佳快门速度相对应的所述图像。

而且，本发明的第二方面是一种用于在图像处理设备中对运动图像进行图像处理的图像处理方法。所述图像处理方法包括：运动速度计算步骤，用于以构成所述运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频，计算对象的运动速度，其中，在运动速度计算单元中进行该步骤；以及图像生成处理步骤，用于接收各所述部分区域的运动速度信息，以所述部分区域为单位获得与所述运动速度相对应的且降低所述输出图像的劣化的最佳成像快门速度，以所述部分区域为单位生成与所获得的最佳快门速度相对应的图像，并输出通过组合所生成的部分区域图像而生成的各帧图像，其中，在图像生成处理单元中进行该步骤。

而且，在根据本发明的图像处理方法的实施例中，所述运动速度计算步骤通过使用应用从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位进行计算所述运动速度的处理。

而且，在根据本发明的图像处理方法的实施例中，所述运动速度计算步骤包括：块匹配步骤，用于通过使用应用从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位获得运动向量；以及运动向量标准化步骤，用于基于在所述块匹配步骤中所计算的运动向量信息，根据所述输出图像的帧频，计算所述对象的运动速度。

而且，在根据本发明的图像处理方法的实施例中，所述运动速度计算步骤根据所述输出图像的帧频进行以帧间隔从所述输入图像的帧中选择所述搜索帧的处理。

而且，在根据本发明的图像处理方法的实施例中，所述图像生成处理步骤包括步骤：通过参考将所述运动速度与用于降低所述输出图像的劣化的所述成像快门速度相关联的表，以所述部分区域为单位，获得与各运动速度相对应的所述最佳快门速度。

而且，在根据本发明的图像处理方法的实施例中，所述表将运动速度区段信息与最佳快门速度信息相关联。

而且，在根据本发明的图像处理方法的实施例中，所述图像生成处理步骤包括用于进行以下处理的步骤：在每一均表示所述运动速度和用于降低所述输出图像的劣化的所述最佳快门速度之间的对应关系的多个不同的表中，基于用户选择信息确定要应用的表。

而且，在根据本发明的图像处理方法的实施例中，所述图像生成处理步骤包括：最佳快门速度计算步骤，用于以所述部分区域为单位，计算与运动速度相对应的所述最佳快门速度；以及滤波处理步骤，用于以所述部分区域为单位来生成与在所述最佳快门速度计算步骤中所计算的所述最佳快门速度相对应的图像。

而且，在根据本发明的图像处理方法的实施例中，所述滤波处理步骤进行以下处理：基于从输入图像的帧中选择的帧，以所述部分区域为单位来生成与在所述最佳快门速度计算步骤中所计算的所述成像快门速度相对应的图像。

而且，在根据本发明的图像处理方法的实施例中，所述滤波处理步骤进行以下处理：根据在所述最佳快门速度计算步骤中所计算的所述最佳快门速度设置加权系数，对输入图像的多个帧的像素值进行加权平均，并确定输出图像帧的像素值。

而且，在根据本发明的图像处理方法的实施例中，所述图像生成处理步骤进行以下处理：生成未包括在输入图像的帧中的中间帧，并通过应用所述中间帧，以所述部分区域为单位来生成与在所述最佳快门速度计算步骤中所计算的所述最佳快门速度相对应的图像。

而且，在根据本发明的图像处理方法的实施例中，该图像处理方法还包括用于以部分区域为单位检测空间对比度的水平的空间特征量检测步骤，其中，在空间特征量检测单元中进行该步骤。所述图像生成处理步骤进行以下处理：将高于根据所述运动速度所计算的所述最佳快门速度的快门速度设置为在所述空间对比度低于预定阈值的所述部分区域中的所述最佳快门速度。

而且，在根据本发明的图像处理方法的实施例中，该图像处理方法还包括用于以部分区域为单位检测空间对比度的水平的空间特征量检测步骤，其中，在空间特征量检测单元中进行该步骤。所述图像生成处理步骤进行以下处理：在所述空间对比度低于预定阈值的所述部分区域中将与输入图像的帧频相对应的快门速度设置为最佳快门速度，而不计算与所述运动速度相对应的最佳快门速度。

而且，在根据本发明的图像处理方法的实施例中，输出图像的劣化是由跳跃和模糊引起的劣化；并且所述图像生成处理步骤进行以下处理：以所述部分区域为单位获得用于降低所述跳跃和所述模糊引起的图像劣化的所述最佳快门速度，并且以所述部分区域为单位生成与所获得的所述最佳快门速度相对应的图像。

而且，本发明的第三方面是一种允许图像处理设备对运动图像进行图像处理的计算机程序，该程序允许该设备进行：运动速度计算步骤，用于以构成所述运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频，计算对象的运动速度；其中，在运动速度计算单元中进行该步骤；以及图像生成处理步骤，用于接收所述各部分区域的运动速度信息，以所述部分区域为单位获得与所述运动速度相对应的且降低所述输出图像的劣化的最佳成像快门速度，以所述部分区域为单位生成与所述获得的最佳快门速度相对应的图像，并输出通过组合所生成的部分区域图像而生成的各帧图像，其中，在图像生成处理单元中进行该步骤。

根据本发明的计算机程序是可以通过计算机可读存储介质或通信介质，例如，包括CD、FD和MO的存储介质或包括网络的通信介质，提供给能够执行各种程序代码的多功能计算机系统的计算机程序。通过以计算机可读方式提供该程序，在计算机系统中实现根据该程序的处理。

通过以下基于本发明的实施例和附图的说明，本发明的其它目的、特征和优点将变得明显。在该说明书中，系统意为多个装置的逻辑设置，并且各结构的装置不一定在同一机壳中。

优点

根据本发明的结构，在生成以特定帧频输出的运动图像时，以构成该运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频计算对象的运动速度；以部分区域为单位获得用以降低输出图像的劣化的最佳快门速度，作为与该运动速度相对应的最佳成像快门速度；以部分区域为单位生成与所获得的最佳快门速度相对应的图像；并且输出通过组合所生成的部分区域图像而生成的帧图像。根据该结构，可以输出降低了输出图像的劣化、尤其是降低了跳跃和模糊两者的高质量图像。

附图说明

图1示出跳跃和模糊发生的原理，其中，示出了在现实世界中对静止和运动物体的观察；

图2示出跳跃发生的原理；

图3示出模糊发生的原理；

图4是示出根据本发明第一实施例的图像处理设备的结构的框图；

图5示出将图像信号的各帧图像分成区域的处理；

图6示出具有用于从外部接收输出图像信号的帧频值的结构的图像处理设备的结构的例子；

图7示出运动速度计算单元的具体结构；

图8示出运动速度检测单元的具体结构的例子；

图9示出在运动速度计算单元中进行的、用于选择要应用于运动向量的检测的搜索帧和基准帧的处理；

图10是示出图像生成处理单元的特定结构的例子的框图；

图11示出添加有中间帧生成单元的图像生成处理单元的结构的例子；

图12示出滤波处理中所使用的输入图像帧和要输出的图像帧之间的对应关系；

图13示出运动速度和最佳成像快门速度之间的对应关系的例子；

图14示出基于运动速度信息计算最佳成像快门速度的基本处理的例子；

图15大概示出运动速度和最佳成像快门速度之间的关系的例子；

图16示出运动速度和最佳成像快门速度之间的关系的例子的粗略对应数据结构；

图17示出在运动速度计算单元中已计算了各部分区域中的运动速度的搜索帧；

图18示出应用于基于运动速度的最佳成像快门速度的计算的图(表)，其中，所述计算是在图像生成处理单元中进行的；

图19示出使用帧的滤波处理；

图20示出多个不同曲线的例子，其中各曲线均表示运动速度和最佳成像快门速度之间的关系；

图21示出配置用以使得用户可以选择多个不同曲线的其中之一的界面，其中各曲线均表示运动速度和最佳成像快门速度之间的关系；

图22是示出根据本发明第二实施例的图像处理设备的结构的例子的框图；

图23示出空间特征量检测单元的具体结构的例子；

图24示出图像生成处理单元的结构和处理。

具体实施方式

以下参考附图说明根据本发明的图像处理设备的结构、图像处理方法和计算机程序。

在根据本发明的图像处理设备中，将以特定帧频输入的运动图像的各帧图像分成预定部分区域，以部分区域为单位计算帧间运动速度和空间特征量，并基于计算出的各部分区域的运动速度和空间特征量，对于各区域进行最佳滤波处理。因此，生成根据各区域降低跳跃和模糊的图像，生成抑制了跳跃和模糊所引起的图像质量下降的高质量图像信号，并且输出该图像信号。

例如，在根据本发明的图像处理设备中，保存用于将帧间运动速度和空间特征量与滤波处理的参数相关联的表，并且基于该表进行与各部分区域相对应的最佳滤波处理。具体地，与各部分区域相对应的最佳滤波处理是这样的处理：在各部分区域中，确定最佳成像快门速度以减少跳跃和模糊的发生，并生成与该成像快门速度相对应的图像。

也就是说，确定与各部分区域相对应的最佳滤波处理的参数的处理包括各区域中确定最佳快门速度以减少跳跃和模糊的发生的处理。在根据本发明的图像处理设备中，针对各部分区域确定用以减少跳跃和模糊的发生的最佳快门速度，并且分别为各部分区域生成根据所确定的快门速度的伪图像，并输出该伪图像。

以下详细说明根据本发明的图像处理设备。根据下面的项给出该说明。

1.根据本发明的图像处理设备中的基本处理的概述

2.关于输入图像信号和输出图像信号的说明

3.运动速度计算单元中的处理的细节

4.关于图像生成处理单元中的处理的说明

5.滤波处理单元所进行的滤波处理的细节

6.用于选择滤波处理中所使用的帧的方法

7.运动速度和最佳成像快门速度之间的对应关系

8.用于计算最佳成像快门速度的方法

9.最佳成像快门速度的计算和输出帧生成处理的具体例子

10.具有调整运动速度和最佳快门速度的曲线的功能的设备

11.第二实施例的概述

1.根据未发明的图像处理设备中的基本处理的概述

首先，说明根据本发明的图像处理设备的基本处理的概述。图4是示出根据本发明第一实施例的图像处理设备100的结构的框图。图像处理设备100接收具有特定帧频的图像信号，作为要处理的图像。将那些输入图像信号输入到运动速度计算单元101和图像生成处理单元102。

如图5所示，在运动速度计算单元101中，将输入图像信号的各帧图像分成部分区域。然后，运动速度计算单元101对于各部分区域中所包括的图像进行块匹配处理，并计算各部分区域中的图像数据的帧间运动速度(V1、V2、V3、......)。注意，这里所计算的帧间运动速度(V1、V2、V3、......)是与输出图像信号的帧频相对应的帧间运动速度。图像处理设备将输出图像帧频信息103保存在存储单元中。运动速度计算单元101基于输出图像帧频信息103，计算各部分区域的帧间运动速度(V1、V2、V3、.......)。

将运动速度计算单元101中计算出的各部分区域中的运动速度输入到图像生成处理单元102。已经将输入图像信号输入到了图像生成处理单元102。图像生成处理单元102根据在运动速度计算单元101中计算出的各部分区域中的运动速度(V1、V2、V3、......)，以部分区域为单位对输入图像进行转换。也就是说，图像生成处理单元102进行以下处理：基于以部分区域为单位计算出的运动速度(Vn)，将输入图像转换成与最佳快门速度相对应的伪图像，以减少跳跃和模糊的发生。

可以根据输出图像信号的帧频计算以部分区域为单位计算出的运动速度(Vn)和用以减少跳跃和模糊的发生的最佳成像快门速度之间的关系。图像生成处理单元102保存该对应关系作为预设表，并通过应用输出图像帧频信息103，从所保存的表获得针对各区域的最佳成像快门速度。可选地，图像生成处理单元102通过使用预定表达式，基于以部分区域为单位计算出的运动速度(Vn)，计算用以减少跳跃和模糊的发生的最佳成像快门速度。

此外，图像生成处理单元102生成与为各部分区域所计算出的成像快门速度相对应的伪图像，将各部分区域的所生成的图像组合成帧图像，并且以预定帧频输出该帧图像。通过这些处理，输出减少了由跳跃和模糊引起的图像劣化的高质量图像数据。

以这种方式，图像生成处理单元102生成以基于在运动速度计算单元101中计算出的各部分区域中的运动速度所确定的最佳成像快门速度所拍摄的伪图像。通过时间方向上的滤波处理等实现该图像生成处理。输出在图像生成处理单元102中所生成的图像作为具有特定帧频的输出图像信号。

2.关于输入图像信号和输出图像信号的说明

以下详细说明输入图像信号和输出图像信号的帧频。在图4所示的图像处理设备100中，没有限制输入图像信号的帧频和通过转换所生成的输出图像信号的帧频，而是可以做出各种设置。然而，如果在图像生成处理单元102中采用时间方向上的滤波处理作为在各区域中生成以用于降低由跳跃和模糊两者所引起的图像劣化的最佳快门速度所拍摄的伪图像的处理，则与输出图像信号的期望帧频相比，优选地输入图像信号具有尽可能高的帧频。这是因为，通过在图像生成处理单元102中所进行的图像转换处理中使用具有更高帧频的输入图像信号，可以容易地生成更平滑的图像。

根据关于图4所示的例子所作的说明，参考存储在存储单元中的输出图像信号的帧频值。然而，可以从外部输入输出图像信号的帧频值。

图6示出具有用于从外部接收输出图像信号的帧频值的结构的图像处理设备的结构的例子。将从外部所接收的输出图像信号的帧频值输入给图6所示的运动速度计算单元101和图像生成处理单元102两者。图像生成处理单元102基于输入的帧频信息进行图像转换处理。利用该结构，可以进行与各种帧频相对应的最佳图像转换。

以下说明根据本发明的图像处理设备所进行的处理的具体例子。为了便于说明，将输入图像信号和输出图像信号的帧频都设置为下面的值，例如：

输入图像信号的帧频为240(帧/秒)；以及

输出图像信号的帧频为60(帧/秒)。

然而，这些帧频是例子，并且在根据本发明的图像处理设备中，没有限制输入和输出图像的帧频。

3.运动速度计算单元中的处理的细节

首先，说明运动速度计算单元101中的处理的细节。运动速度计算单元101基于输出图像信号的帧频，以如以上参考图5所述的图像的部分区域为单位，计算帧间运动速度，并将帧间运动速度输出给图像生成处理单元。运动速度表示一帧中对象运动了多少。例如，单位为像素/帧，并且使用输出图像信号的帧频作为参考。

图7示出运动速度计算单元101的具体结构。如图7所示，运动速度计算单元101包括用于存储输入图像信号的多个帧的图像累积单元201、用于选择块匹配处理所使用的帧并进行从图像累积单元201的读取控制的控制单元202、用于将从中检测到移动的帧分成区域的帧分割单元203、以及用于进行块匹配处理并计算各区域的运动速度的运动速度检测单元204。

将输入给运动速度计算单元101的输入图像信号输入并存储在图像累积单元201中。图像累积单元201是能够存储多个帧的存储单元。在运动速度检测单元204中所进行的实际块匹配处理中，需要至少两个帧的数据：从中检测到运动向量的搜索帧和搜索帧的基准帧。图像累积单元201存储多个帧。

控制单元202选择搜索帧和基准帧，并进行从图像累积单元201的读取控制。基于输入给控制单元202的输出图像的帧频信息，在控制单元202中进行搜索帧和基准帧的选择。以下详细说明该选择方法。

将从中检测到运动向量的且由控制单元202读取的搜索帧输出给帧分割单元203。同样，将由控制单元202所读取的基准帧直接输出给运动速度检测单元204。将输出给帧分割单元203的搜索帧分成适当大小的块，且各块作为计算运动速度的区域单元。将已经分成用以计算运动速度的区域的搜索帧输入给运动速度检测单元204。

图8示出运动速度检测单元204的具体结构的例子。将输入给运动速度检测单元204的搜索帧图像数据输入给块匹配单元221。块匹配单元221参考输入给块匹配单元221的基准帧，以部分区域为单位进行块匹配处理。块匹配是以微小的图像区域为单位检测帧间的相应像素位置的处理。

运动速度检测单元204以部分区域为单位进行块匹配处理，以计算各部分区域的运动向量的量作为对象的帧间运动信息。可以各种各样地设置块匹配处理中所使用的匹配评价函数，并且没有限制其方法。

将在块匹配单元221中的块匹配处理中所计算出的各部分区域的运动向量的量输入给运动向量标准化单元222。以下说明在运动向量标准化单元222中所进行的处理。

块匹配单元221中的块匹配处理所计算出的搜索帧中的各区域的运动向量的量表示对象相对于基准帧运动了多少。另一方面，要获得的运动速度(像素/帧)是参照输出图像的帧频在一个帧中的运动量。因此，需要将通过块匹配处理所获得的各运动向量标准化成表示参照输出图像信号的帧频在一个帧中的运动量的运动速度(单位为像素/帧)。

运动向量标准化单元222接收来自控制单元202的、基于输出图像信号的帧频信息的控制信号，并且基于该控制信号，进行这样的处理：将通过块匹配处理所获得的各运动向量标准化成表示参照输出图像信号的帧频在一个帧中的运动量的运动速度(单位为像素/帧)。

通过运动向量的标准化，计算基于输出图像信号的帧频的运动速度(像素/帧)。下面详细说明标准化的方法。

将运动向量标准化单元222中计算出的、与各区域中的输出帧相对应的运动速度作为运动速度计算单元101的输出，从运动速度检测单元204输出给图像生成处理单元102。

以这种方式，运动速度计算单元101进行基于输出图像信号的帧频以部分区域为单位计算运动速度(像素/帧)的处理。该处理需要从输入图像中选择搜索帧和基准帧并基于这两个帧来检测运动向量。下面详细说明用于选择应用于运动向量的检测的搜索帧和基准帧的方法。

应用于计算运动速度的帧

图9示出选择应用于运动速度计算单元101中的运动向重的检测的搜索帧和基准帧的处理。

在该处理例子中，如上所述，进行以下设置：

输入图像信号的帧频为240(帧/秒)；以及

输出图像信号的帧频为60(帧/秒)。

应用于运动速度计算单元101中的运动向量的检测的搜索帧和基准帧是构成输入图像的帧。从构成具有240(帧/秒)帧频的输入图像信号的帧中选择应用于运动向量的检测的搜索帧和基准帧。

在图9中，向输入图像信号的各帧分配帧编号。基于在时间0(秒)拍摄输入图像信号的第0帧这一假设，分配这些编号。由于输入图像信号的帧频为240(帧/秒)，因而将时间s(秒)处的帧称为第240×s帧。

参考图9说明控制单元202所进行的用于选择搜索帧和基准帧的方法。

首先说明搜索帧的选择。

基于输出图像的帧频提取搜索帧。

这里，输出图像信号的帧频为60(帧/秒)，因此从输入图像信号[240(帧/秒)]中提取以1/60秒的时间间隔所拍摄的帧作为要搜索的帧。

在图9中，示出第240×s+0帧、第240×s+4帧和第240×s+8帧作为所选择的搜索帧。最后，搜索帧的编号与输出图像的帧的编号是相同的。换句话说，选择搜索帧以生成输出图像中的帧。

接着说明基准帧的选择。

为各搜索帧选择基准帧。更具体地，如在图9所示的(例子1)、(例子2)和(例子3)中可以应用各种选择方法。

说明第240×s+0帧为搜索帧且选择第240×s+0帧的基准帧的例子。如上所述，要获得的运动速度(像素/帧)是基于输出图像的帧频60(帧/秒)。因此，如果搜索帧和基准帧之间的时间间隔为1/60秒，则基于搜索帧和基准帧所计算的运动向量具有与对应于输出图像的帧频60(帧/秒)的运动速度相对应的长度。因此，在这种情况下，通过块匹配处理所获得的运动向量的标准化不是必要的。

在图9所示的(例子1)中的用于选择基准帧的处理中，搜索帧和基准帧之间的时间间隔为1/60秒。

在已经拍摄到作为搜索帧的第240×s+0帧后的1/60秒所拍摄的帧为第240×s+4帧。选择该第240×s+4帧作为与作为搜索帧的第240×s+0帧相对应的基准帧。

在已经拍摄到作为下一搜索帧的第240×s+4帧后的1/60秒所拍摄的帧为第240×s+8帧。选择该第240×s+8帧作为与作为搜索帧的第240×s+4帧相对应的基准帧。

如在(例子1)中，当将搜索帧和基准帧之间的时间间隔设置为1/60秒时，基于搜索帧和基准帧所计算的运动向量具有与对应于输出图像的帧频60(帧/秒)的运动速度相对应的长度。因此，在这种情况下，通过块匹配处理所获得的运动向量的标准化是不必要的。

另一方面，如图9所示的(例子2)或(例子3)中的基准帧的选择是可接受的。在(例子2)中，将与各搜索帧相对应的基准帧设置为搜索帧的下一帧，即，1/240秒后的帧。在(例子3)中，将与各搜索帧相对应的基准帧设置为从搜索帧起的第二帧，即，2/240秒后的帧。以这种方式，可以将与搜索帧较近的帧设置为基准帧。

当选择与搜索帧较近的基准帧时，对象的帧间运动量小，并且可以在块匹配处理中缩小搜索范围。因此，可以提高块匹配处理的速度和精度。

当将第240×s+0帧设置为搜索帧时，在图9所示的(例子2)中选择第240×s+1帧作为基准帧，而在(例子3)中选择第240×s+2帧作为基准帧。

在(例子2)和(例子3)中，通过运动速度检测单元204的块匹配处理单元221中的块匹配处理所获得的运动向量不同于与输出图像信号的帧频相对应的运动速度。因此，需要进行用以将所获得的运动向量转换成与输出图像信号的帧频相对应的运动速度的标准化。以下说明用于标准化运动向量的方法。

运动向量的标准化

在图9所示的(例子2)中，用作为搜索帧的第240×s+0帧和用作为基准帧的第240×s+1帧是以1/240秒之差所拍摄的帧。另一方面，输出图像的帧频为60(帧/秒)。运动速度检测单元204的运动向量标准化单元222进行标准化，以将在以1/240秒之差所拍摄的帧之间所计算出的运动向量转换成与输出图像的帧频[60(帧/秒)]相对应的运动速度。该标准化对应于基于运动向量来计算1/60秒中的运动量。

在图9所示的(例子2)中，通过块匹配处理所获得的运动向量是基于以1/240秒之差所拍摄的帧计算出的运动向量。要计算的运动量是1/60秒中的运动量。因此，可以通过将通过块匹配处理所获得的运动向量乘以(1/60)/(1/240)＝4，计算标准化成与输出图像信号的帧频[60(帧/秒)]相对应的运动速度的运动速度。

在图9所示的(例子3)中，通过块匹配处理所获得的运动向量是基于以2/240秒之差所拍摄的帧计算出的运动向量。要计算的运动量是1/60秒中的运动量。因此，可以通过将通过块匹配处理所获得的运动向量乘以(1/60)/(2/240)＝2，计算标准化成与输出图像信号的帧频[60(帧/秒)]相对应的运动速度的运动速度。

在运动速度检测单元204中的运动向量标准化单元222中进行运动向量的此种标准化。在该实施例中，当控制单元202选择搜索帧和基准帧时，以实际精度计算出与运动向量的长度相乘的、标准化所需要的系数，并且将计算出的值作为控制信号输出给运动向量标准化单元222。

在上述说明中，已经说明了搜索帧的选择、基准帧的选择、以及用于标准化所获得的运动向量以计算运动速度的方法。如上所述，在该处理例子中，设置运动速度的搜索帧以生成输出图像的一个帧。结果，选择编号与输出图像的帧的编号相同的搜索帧。在各搜索帧中，计算帧中所设置的各部分区域中的运动速度，作为与输出图像的帧频相对应的值，并且将该运动速度从运动速度计算单元101输出给图像生成处理单元102。

4.关于图像生成处理单元中的处理的说明

接着说明图像生成处理单元102所进行的处理的细节。图像生成处理单元102根据从运动速度计算单元101所接收的图像的各区域中的运动速度，以输入图像的部分区域为单位进行自适应图像转换处理，以部分区域为单位生成最大程度地抑制了跳跃和模糊的发生的伪图像，即，以最佳快门速度所拍摄的伪图像，组合与最佳快门速度相对应的且以部分区域为单位所生成的伪图像，以生成一个帧图像，并输出该帧图像。

图10是示出图像生成处理单元102的具体结构的例子的框图。如图10所示，图像生成处理单元102包括：图像累积单元251，用于存储输入图像信号的多个帧；控制单元252，用于选择滤波处理中所使用的帧，并进行从图像累积单元251的读取控制；最佳快门速度计算单元253，用于基于运动速度计算各区域的最佳成像快门速度；以及滤波处理单元254，用于以输入图像的区域为单位进行自适应滤波处理。

图像生成处理单元102以要处理的图像的部分区域为单位，生成最佳快门速度的伪图像。也就是说，图像生成处理单元102以部分区域为单位生成最大程度地抑制了跳跃和模糊的发生的图像。作为图像生成处理的例子，下面说明在时间方向上使用滤波处理的处理例子。

参考图10说明生成输出图像信号的帧的处理的流程。将输入给图像生成处理单元102的输入图像信号输入给图像累积单元251，并将该输入图像信号存储在图像累积单元251中。图像累积单元251是能够存储多个帧的存储单元。从累积在图像累积单元251中的输入图像信号顺序读取用于滤波处理的帧。由控制单元252进行该读取控制。

下面说明用于生成输出图像的帧的读取帧的选择的细节。将在控制单元252的控制下所读取的输入图像中的各帧输入给滤波处理单元254。

另一方面，将从运动速度计算单元101输出的、与输入图像的各部分区域相对应的运动速度信息输入给最佳快门速度计算单元253。在运动速度计算单元101中，为通过控制单元202从输入图像信号所选择的搜索帧中的各区域计算该运动速度信息(参见图7)。如上参考图9所述，各搜索帧对应于要以一对一关系生成的输出图像的各帧。

最佳快门速度计算单元253基于与各部分区域相对应的输入的运动速度信息，计算输出图像的目标帧中的各区域的最佳成像快门速度。下面说明运动速度和最佳成像快门速度之间的关系的细节，但是基于以下设置条件计算各最佳成像快门速度：在该设置条件下，当以特定帧频显示输出图像时，可以最大程度地降低跳跃和模糊两者引起的劣化。由最佳快门速度计算单元253预先保存该设置条件。

最佳快门速度计算单元253接收与各部分区域相对应的运动速度信息，并计算最佳成像快门速度以最大程度地降低跳跃和模糊两者引起的劣化。这里所计算的最佳成像快门速度是输出图像的各帧中所设置的各部分区域的最佳成像快门速度。最佳快门速度计算单元253将计算出的与输出图像的各帧中的各部分区域相对应的最佳成像快门速度输出给滤波处理单元254。

此外，将基于控制单元252的控制从图像累积单元251读取并用于生成输出图像的相应帧的输入图像帧输入给滤波处理单元254。滤波处理单元254对这些输入图像进行图像处理。也就是说，滤波处理单元254进行这样的滤波处理：基于从最佳快门速度计算单元253所输入的与各输出图像帧中的各部分区域相对应的最佳成像快门速度，生成各输入图像帧的各部分区域的最佳快门速度的伪图像。将在滤波处理单元254中所生成的图像作为输出图像信号的一个帧输出。

图像生成处理单元102重复上述处理，重复的次数与输出图像的帧数相同，从而输出具有特定帧频的输出图像信号。

5.滤波处理单元所进行的滤波的细节

滤波处理单元254基于从最佳快门速度计算单元253所输入的与各输出图像帧中的各部分区域相对应的最佳成像快门速度，进行用于生成各输入图像帧的各部分区域的以最佳快门速度所拍摄的伪图像的滤波处理。最容易地实现该滤波处理的方法之一是在时间方向上对各输入图像帧的部分区域进行平均的处理。

通过在根据最佳成像快门速度改变在各区域的平均中要使用的帧数的同时进行平均，可以生成输出伪图像，在该伪图像中，各区域中成像时的快门速度不同。

当进行时间方向上的平均处理时，使用这样的方法是有效的：通过生成中间帧以在现有的帧之间进行插值来生成更平滑的移动模糊。当输入图像信号的帧频与输出图像信号的帧频相比不是十分高时，该插值处理尤其有效。图11示出用于进行该插值处理的图像生成处理单元102的结构的例子。

图11示出添加有中间帧生成单元的图像生成处理单元102的结构的例子。在图11中，将输入图像信号输入给图像累积单元251和中间帧生成单元250两者。中间帧生成单元250基于现有帧生成中间帧。通过使用该中间帧，在稍后阶段的滤波处理单元254中所进行的滤波处理中，可以生成平滑图像。

各种现有方法可以应用于用于在中间帧生成单元250中生成中间帧的方法。例如，在被加权的同时可以融合现有的两个帧。可选地，如图11所示，可以将各区域的运动速度信息输入给中间帧生成单元250，并可以基于该运动速度信息进行加权和帧融合。因此，可以生成更高精度的中间帧。

同样，作为滤波处理单元254中的用于生成最佳快门速度的所拍摄的伪图像的滤波处理，除时间方向上的平均处理外，还可以在时间方向上进行带宽限制滤波处理，从而改变信号的限制带宽(或通带)。此外，可以应用各种方法，例如，空间方向上的有限带宽滤波和时间方向上的滤波、以及用于通过使用运动向量来获得周围的像素信息从而生成移动模糊的方法(例如，SIGGRAPH 2001，G.J.Brostow等人在“Image-Based MotionBlur for Stop Motion Animation”中公开的方法)。

6.用于选择滤波处理中所使用的帧的方法

如上所述，滤波处理单元254基于从最佳快门速度计算单元253输入的与各输入图像帧中的各部分区域相对应的最佳成像快门速度，进行用于以各输入图像帧的部分区域为单位生成以最佳快门速度所拍摄的伪图像的滤波处理。也就是说，滤波处理单元254以各输入图像帧的部分区域为单位，生成可以最大程度地抑制跳跃和模糊的发生的、以最佳快门速度所拍摄的伪图像。

参考图12说明选择用于生成输出图像的一个帧的读取帧的处理。图12示出滤波处理中所使用的输入图像帧和要输出的图像帧之间的对应关系。

如上所述，在根据本发明的图像处理设备中，可以各种各样地设置输入图像和输出图像的帧频的组合。这里，说明下面的组合的例子；

输入图像信号的帧频为240(帧/秒)；以及

输出图像信号的帧频为60(帧/秒)。注意，在以下所述的处理例子中，不生成中间帧。

参考图12，在(a)输入图像信号中，如上述图9中，向各帧分配帧编号。基于输入图像信号的第0帧是在时间0(秒)所拍摄的这一假设，分配这些编号。由于输入图像信号的帧频为240(帧/秒)，因而将时间s(秒)处的帧称为第240×s帧。

在图10所示的图像生成处理单元102的控制单元252的控制下，进行选择用以生成输出图像的帧的滤波处理中所使用的读取帧的处理。图12示出该帧选择处理的两个例子(例子1)和(例子2)。

在图12所示的(a)输入图像信号中，示出以上参考图9所述的第240×s+0帧、第240×s+4帧和第240×s+8帧作为带阴影的搜索帧。

在该处理例子中，输出图像信号的帧频为60(帧/秒)。因此，从输入图像信号[240(帧/秒)]提取以1/60秒的时间间隔所拍摄的帧作为搜索帧。也就是说，被选作在运动速度计算单元101中要被搜索的帧的是带有阴影的第240×s+0帧、第240×s+4帧和240×s+8帧。

在该实施例中，用以生成输出图像的滤波处理中所使用的输入图像帧是与各输出图像帧相对应的搜索帧及该搜索帧之前和之后的帧。应用于用以生成一个输出帧的滤波处理的输入图像帧不一定是与各输出图像帧相对应的搜索帧及该搜索帧之前和之后的帧。可选地，可以应用与各输出图像帧相对应的搜索帧和仅该搜索帧之前或之后的帧。以这种方式，可以应用各种处理形式。

然而，如以上参考图9所述，运动速度的搜索帧与输出图像的各帧相关联。当要通过滤波处理生成输出图像帧时，可以通过使用与各输出图像帧相对应的搜索帧及该搜索帧之前和之后的帧，进行反映运动速度信息的滤波处理。

图12示出在图像生成处理单元102的控制单元252的控制下，选择在用以生成输出图像的帧的滤波处理中所使用的读取帧的处理的两个例子(例子1)和(例子2)。

与第60×s+0输出图像帧相对应、应用于输入图像中的运动速度的检测的搜索帧为第240×s+0输入图像帧。

与第60×s+1输出图像帧相对应、应用于输入图像中的运动速度的检测的搜索帧为第240×s+4输入图像帧。

与第60×s+2输出图像帧相对应、应用于输入图像中的运动速度的检测的搜索帧为第240×s+8输入图像帧。

首先说明(例子1)中的处理。

如该附图所示，根据(例子1)中的设置，应用于生成第60×s+0输出图像帧310的滤波处理的输入图像帧为作为运动速度的搜索帧的相应的第240×s+0帧、240×s+0帧之前的帧和240×s+0帧之后的两个帧。也就是说，选择以下四个帧作为该滤波处理中所使用的帧：第240×s-1帧、第240×s+0帧、第240×s+1帧和第240×s+2帧。

根据该附图，以[0]表示与输出图像帧相对应的应用于运动速度的检测的搜索帧，以[-n]表示该搜索帧前的第n帧，而以[+n]表示该搜索帧后的第n帧。在(例子1)中，应用于生成输出图像帧的滤波处理的输入图像帧为从与该输出图像帧相对应的运动速度的搜索帧之前的第一帧(-1)到该搜索帧之后的第二帧(+2)的帧，即，-1、0、+1和+2这四个帧。通过应用这四个帧，以部分区域为单位进行用于生成以最佳快门速度所拍摄的伪图像的滤波处理。例如，进行在时间方向上对各输入图像帧的部分区域进行平均的处理。

在(例子1)中，选择以下四个帧作为滤波处理中所使用的帧：相应的搜索帧、该搜索帧之前的帧、以及该搜索帧之后的两个帧(-1～+2)。对于生成第60×s+1帧311或第60×s+2帧312的情况也是同样。

如该附图所示，根据(例子2)中的设置，应用于生成第60×s+0输出图像帧320的滤波处理的输入图像帧为：作为运动速度的搜索帧的相应的第240×s+0帧、第240×s+0帧前的两个帧、以及第240×s+0帧后的两个帧。也就是说，选择以下5个帧作为该滤波处理中所使用的帧：第240×s-2帧、第240×s-1帧、第240×s+0帧、第240×s+1帧和第240×s+2帧。

在(例子2)中，选择以下5个帧作为滤波处理中所使用的帧：相应的搜索帧、该搜索帧前的两个帧和该搜索帧后的两个帧(-2～+2)。对于生成第60×s+1帧321或第60×s+2帧322的情况也是同样。在例子2中，通过应用这5个帧，以部分区域为单位进行生成以最佳快门速度所拍摄的伪图像的滤波处理。例如，进行用于在时间方向上对各输入图像帧的部分区域进行平均的处理。

在(例子2)中，在滤波处理中使用第240×s+2帧以生成第60×s+0和第60×s+1输出图像帧320和321，而在滤波处理中使用第240×s+6帧以生成第60×s+1和第60×s+2输出图像帧321和322。这样的重复的帧选择不会引起问题。

7.运动速度和最佳成像快门速度之间的对应关系

如上所述，图11所示的图像生成处理单元102中的最佳快门速度计算单元253接收从运动速度计算单元101输出的各图像中的各部分区域中的运动速度。基于各部分区域中的运动速度信息，最佳快门速度计算单元253计算最佳成像快门速度，即，可以最大程度地降低跳跃和模糊的成像快门速度。

此时，最佳快门速度计算单元253基于将运动速度和最佳成像快门速度相关联的表或预先设置的表达式，计算各成像快门速度。最佳快门速度计算单元253保存将运动速度和最佳成像快门速度相关联的表或表达式的信息。

图13示出运动速度和最佳成像快门速度之间的对应关系的例子。在该曲线图中，水平轴表示运动速度，而垂直轴表示快门速度。该曲线图中的曲线表示运动速度和最佳成像快门速度之间的对应关系。图13所示的曲线是示出通过主观评价试验所获得的结果的曲线图。

对关于对象的亮度和运动速度以及成像快门速度的多个模式进行试验，以搜索可以最大程度地降低跳跃和模糊引起的劣化的条件。此外，平均关于多个试验物体(examinee)的结果，并且通过函数近似该平均值。因此，可以获得图13所示的曲线。

以下通过使用作为该实施例中的例子的试验结果所获得的图13所示的曲线，进行说明。该曲线是表示运动速度和最佳成像快门速度之间的对应关系的例子，并且根据本发明的设备不局限于该曲线的应用。最佳快门速度计算单元253可以具有能够基于输入给其的各部分区域的运动速度信息计算最佳成像快门速度以降低跳跃和模糊两者引起的劣化的结构，并且需要保存用于该目的的对应关系表或表达式。

可以配置根据该实施例的用于进行处理的设备，以使得可以根据用于显示输出图像信号的装置的响应特性或用户的喜好来改变运动速度和最佳成像快门速度之间的对应关系。以下对此进行详细说明。

8.用于计算最佳成像快门速度的方法

以下说明这样的处理的例子：在最佳快门速度计算单元253保存图13所示的图形数据作为运动速度和最佳成像快门速度之间的对应表的情况下，通过输入部分区域的运动速度信息计算最佳成像快门速度。也就是说，参考图14说明了如下最基本的处理的例子：在将部分区域中的运动速度信息输入给最佳快门速度计算单元253时，计算图像中的部分区域的最佳成像快门速度。

首先，在该曲线图的水平轴上搜索输出帧的部分区域的其中之一中的运动速度的值。例如，假定图14所示的水平轴上的运动速度点331为输出帧的部分区域的其中之一中的运动速度的值。然后，搜索与水平轴上的该值相对应的图形曲线上的点。通过使用该附图所示的箭头A搜索与水平轴上的该值(运动速度点331)相对应的图形曲线上的点。因此，找到该附图中所示的图形点332。

然后，搜索与在图形曲线上所发现的点332相对应的垂直轴上的值。通过使用该附图所示的箭头B搜索与图形曲线上的点332相对应的垂直轴上的值(最佳成像快门速度点333)。利用该处理，可以获得特定部分区域中运动速度的最佳成像快门速度的值(最佳成像快门速度点333)。以这种方式，获得与各部分区域中的运动速度相对应的最佳快门速度。从图11所示的图像生成处理单元102的最佳快门速度计算单元253输出已经确定了的最佳成像快门速度，并将其输入给滤波处理单元254。

上述用于计算成像快门速度的方法是最基本的方法的例子，并且可以根据对于计算处理的更高速度的需要或所存储的数据量的减少的需要，简化上述方法。图15大体示出图13所示的运动速度和最佳成像快门速度之间的关系的例子。通过粗略数据的形式表示以如图13所示的运动速度和最佳成像快门速度之间的关系的信息，应当由最佳快门速度计算单元253预先保存的信息变成有限组合的表形式的数据，从而减少了数据量。

也就是说，在该例子中，应当由最佳快门速度计算单元253预先保存的信息是图16所示的运动速度和最佳快门速度的对应关系数据。如图16所示，

当运动速度为0～Va时，最佳快门速度为t4；

当运动速度为Va～Vb时，最佳快门速度为tk；

当运动速度为Vb～Vc时，最佳快门速度为t1；......

当运动速度为Vg～Vh时，最佳快门速度为tr；以及

当运动速度为Vh或更高时，最佳快门速度为ts。

以这种方式，可以基于图15所示的曲线图生成这样的表，在该表中设置与运动速度的各区段的数据相对应的最佳快门速度，并且可以保存该对应关系表。利用该配置，可以减少应由最佳快门速度计算单元253保存的数据的量。在这种情况下，可以获得计算成本方面的优势。也就是说，当最佳快门速度计算单元253通过输入区域的运动速度信息来计算对该区域最佳的成像快门速度时，最佳快门速度计算单元253仅通过确定与图16所示的表中的运动速度相对应的区段，并获得与该区段相对应的最佳快门速度数据，就可以获得与运动速度相对应的最佳成像快门速度。

9.最佳成像快门速度的计算和输出帧生成处理的具体例子

接着，参考图17～19说明最佳成像快门速度的计算和输出帧生成处理的具体例子。

在下面的说明中，也设置帧频如下：

输入图像的帧频为240(帧/秒)；以及

输出图像的帧频为60(帧/秒)。

在该例子中，假定以单个快门速度1/240(秒)拍摄输入图像的各帧。

图17示出已在根据本发明的图像处理设备的运动速度计算单元101(参见图4)中计算了各部分区域中的运动速度的搜索帧。在该例子中，将图像帧分成区域，各区域具有4×4像素，并且以4×4像素的部分区域为单位检测运动速度。在以上参考图7所述的运动速度计算单元101的帧分割单元203中，将图像帧分成4×4像素的区域，并且在各区域中计算相应的运动速度的值。

通过进行以上参考图7～9所述的运动速度检测处理，即，通过设置搜索帧和基准帧、并在这些帧中进行块匹配，计算各部分区域中的运动速度。

将标识符号A～F分配给图17所示的部分区域中的六个部分区域。这里，在这些部分区域A～F中所计算的运动速度分别为Va、Vb、Vc、Vd、Ve和Vf。

图18示出应用于在图像生成处理单元102中所进行的基于运动速度的最佳成像快门速度的计算的曲线图(表)。将该表保存在以上参考图11说明的图像生成处理单元102的最佳快门速度计算单元253中，并且该表是运动速度和最佳成像快门速度之间的对应关系数据。最佳快门速度计算单元253通过应用该表，基于与各部分区域相对应的运动速度，计算与各部分区域相对应的最佳快门速度。在图18所示的表中，最佳快门速度与运动速度的预定区段相关联，如以上参考图15所述的曲线图中一样。

最佳快门速度计算单元253接收与各部分区域相对应的运动速度信息，并通过应用图18所示的数据，计算与各部分区域相对应的最佳快门速度。以下，说明在将图17所示的帧图像数据输入给图像生成处理单元102以作为与输出图像帧相对应的搜索帧的情况下的处理的例子。

将图17所示的帧图像的各部分区域的运动速度信息输入给图11所示的图像生成处理单元102的最佳快门速度计算单元253。为部分区域A～F(4×4像素)输入运动速度信息Va～Vf。

这里，假定图17所示的部分区域A～F的运动速度Va～Vf的值与沿着图18所示的曲线图的水平轴所示的阈值th1～th6之间的关系如下：

0≤Va＜th1

th1≤Vb＜th2

th2≤Vc＜th3

th3≤Vd＜th4

th4≤Ve＜th5

th6≤Vf

如上所述，通过确定由上述阈值所定义的运动速度区段中的、与运动速度相对应的区段，然后获得与该运动速度区段相对应的最佳快门速度，进行基于区域中的运动速度计算该区域的最佳成像快门速度的处理。

例如，图17所示的部分区域C具有运动速度Vc。由于满足th2≤Vc＜th3，因而运动速度Vc被包括在运动速度区段th2～th3中。根据图18所示的曲线图，与运动速度区段th2～th3相对应的最佳快门速度为[1/120秒]。因此，确定为具有运动速度Vc的部分区域C中的最佳快门速度为[1/120秒]。这意味着：当部分区域C中的图像是具有1/120秒的快门速度的伪图像时，在该图像中可以最大程度地降低跳跃和模糊。

将该快门速度信息输入给图11所示的图像生成处理单元102的滤波处理单元254。滤波处理单元254进行图像生成处理(滤波处理)以将部分区域C中的图像转换成具有1/120秒快门速度的伪图像。如以上参考图12所述，进行图像滤波处理来作为通过加权现有帧来融合它们的处理。

以下参考图19说明滤波处理单元254中所进行的滤波处理，即，生成以最大程度地降低跳跃和模糊的快门速度所拍摄的伪图像的处理。

将与各部分区域相对应的最佳快门速度信息输入给滤波处理单元254。同样，如以上参考图12所述，将在图11所示的图像生成处理单元102的控制单元252中所选择的且应用于滤波处理的输入图像帧，输入给滤波处理单元254。在该例子中，如在以上参考图12所述的(例子2)中一样，滤波处理中所使用的帧是运动速度的搜索帧前的两个帧和该搜索帧后的两个帧。

图19示出输入给滤波处理单元254的5个帧：与输出图像帧相对应的运动速度的搜索帧、该搜索帧前的两个帧、和该搜索帧后的两个帧。这5个帧是作为与输出图像帧相对应的运动速度的搜索帧的第240×s+0帧和滤波中所使用的帧：该搜索帧前的第240×s-2帧和第240×s-1帧、以及该搜索帧后的第240×s+1帧和第240×s+2帧。这些输入帧中的像素351(-2)～351(2)包括在以上参考图17所述的要处理的4×4像素的部分区域的其中之一中。输入帧中的像素351(-2)～351(2)的值分别为in(-2)、in(-1)、in(0)、in(1)和in(2)。

图19还示出作为使用那些各个帧的滤波处理的结果所输出的输出帧370。该帧对应于图12所示的(例子2)中的[第60×s+0输出帧]320。在输出帧370中，位置上对应于目标像素351(-2)～351(2)的输出像素371的像素值为out(0)。

在该例子中，通过加权平均各输入图像帧中的目标像素351(-2)～351(2)的像素值in(-2)、in(-1)、in(0)、in(1)和in(2)，计算输出帧中的输出像素371的像素值out(0)。以下通过使用例子对此进行说明。

(A)当目标像素是部分区域A中的像素时

首先，说明目标像素存在于图17所示的区域A中的例子。

目标像素具有运动速度Va(0≤Va＜th1)。

在这种情况下，通过最佳快门速度计算单元253根据图18所示的表已计算了该目标像素的最佳快门速度，并将该最佳快门速度输入给滤波处理单元254。该值为1/240(秒)。

以1/240(秒)的单个快门速度拍摄输入图像的各帧。因此，在第240×s+0输入帧中的目标像素的像素值是以根据图18所示的表所计算的最佳快门速度(1/240秒)所拍摄的图像。值in(0)可以用作为输出帧中的目标像素的像素值out(0)。这可以通过下面的表达式表示：

out(0)＝in(0)。

(B)当目标像素是部分区域B中的像素时

接着说明目标像素存在于图17所示的区域B中的情况。

目标像素具有运动速度Vb(th1≤Vb＜th2)。

在这种情况下，通过最佳快门速度计算单元253根据图18所示的表已计算了该目标像素的最佳快门速度，并将该最佳快门速度输入给滤波处理单元254。该值为1/160(秒)。

以1/240(秒)的单个快门速度拍摄输入图像的各帧。该目标像素的最佳快门速度1/160(秒)为(1/160)/(1/240)＝1.5倍。

在这种情况下，如以下面的方式，通过在计算输入图像的各帧中的目标像素的像素值的加权平均数，来获得输出帧中的目标像素的像素值out(0)。

out(0)＝(in(-1)*0.25+in(0)+in(1)*0.25)/1.5

在该表达式中，将作为与输出图像帧相对应的运动速度的搜索帧的第240×s+0帧中的像素的像素值的权重设置为[1]，而将前一帧和下一帧中的相应像素的像素值的权重设置为[0.25]。然后，通过加权平均来计算该输出图像帧的像素值out(0)。利用上述表达式，可以生成以比目标像素的原始曝光时间长1.5倍的曝光时间所拍摄的伪像素。

(C)当目标像素是部分区域C中的像素时

接着说明目标像素存在于图17所示的区域C中的情况。

目标像素具有运动速度Vc(th2≤Vc＜th3)。

在这种情况下，通过最佳快门速度计算单元253根据图18所示的表已计算了用于该目标像素的最佳快门速度，并将该最佳快门速度输入给滤波处理单元254。该值为1/120(秒)。

以1/240(秒)的单个快门速度拍摄输入图像的各帧。用于该目标像素的最佳快门速度1/120(秒)为(1/120)/(1/240)＝2.0倍。

在这种情况下，如以下面的方式，通过计算输入图像的各帧中的目标像素的像素值的加权平均数，来获得输出帧中的目标像素的像素值out(0)。

out(0)＝(in(-1)*0.5+in(0)+in(1)*0.5)/2.0

利用上述表达式，可以生成以比目标像素的原始曝光时间长2.0倍的曝光时间所拍摄的伪像素。

(D)当目标像素是部分区域D中的像素时

接着说明目标像素存在于图17所示的区域D中的情况。

目标像素具有运动速度Vd(th3≤Vd＜th4)。

在这种情况下，通过最佳快门速度计算单元253根据图18所示的表已计算了该目标像素的最佳快门速度，并将该最佳快门速度输入给滤波处理单元254。该值为1/96(秒)。

以1/240(秒)的单个快门速度拍摄输入图像的各帧。用于该目标像素的最佳快门速度1/96(秒)为(1/96)/(1/240)＝2.5倍。

在这种情况下，如以下面的方式，通过计算输入图像的各帧中的目标像素的像素值的加权平均数，来获得输出帧中的目标像素的像素值out(0)。

out(0)＝(in(-1)*0.75+in(0)+in(1)*0.75)/2.5

利用上述表达式，可以生成利用比目标像素的原始曝光时间长2.5倍的曝光时间所拍摄的伪像素。

(E)当目标像素是部分区域E中的像素时

接着说明目标像素存在于图17所示的区域E中的情况。

目标像素具有运动速度Ve(th4≤Ve＜th5)。

在这种情况下，通过最佳快门速度计算单元253根据图18所示的表已计算了该目标像素的最佳快门速度，并将该最佳快门速度输入给滤波处理单元254。该值为1/80(秒)。

以1/240(秒)的单个快门速度拍摄输入图像的各帧。用于目标像素的最佳快门速度1/80(秒)为(1/80)/(1/240)＝3.0倍。

在这种情况下，如以下面的方式，通过计算输入图像的各帧中的目标像素的像素值的加权平均数，来获得输出帧中的目标像素的像素值out(0)。

out(0)＝(in(-1)+in(0)+in(1))/3.0

利用上述表达式，可以生成以比目标像素的原始曝光时间长3.0倍的曝光时间所拍摄的伪像素。

(F)当目标像素是部分区域F中的像素时

接着说明目标像素存在于图17所示的区域F中的情况。

目标像素具有运动速度Vf(th6≤Vf)。

在这种情况下，通过最佳快门速度计算单元253根据图18所示的表已计算了用于目标像素的最佳快门速度，并将该最佳快门速度输入给滤波处理单元254。该值为1/60(秒)。

以1/240(秒)的单个快门速度拍摄输入图像的各帧。用于目标像素的最佳快门速度1/60(秒)为(1/60)/(1/240)＝4.0倍。

在这种情况下，如以下面的方式，通过计算在输入图像的各帧中的目标像素的像素值的加权平均数，来获得输出帧中的目标像素的像素值out(0)。

out(0)＝(in(-2)*0.5+in(-1)+in(0)+in(1)+in(2)*0.5)/4.0

利用上述表达式，可以生成以比目标像素的原始曝光时间长4.0倍的曝光时间所拍摄的伪像素。

以这种方式，滤波处理单元254在根据运动速度设置系数的同时通过加权平均输入图像帧的像素值进行滤波处理，并生成设置了像素值的图像，以生成输出帧，在该输出帧中，以最佳快门速度拍摄各像素。

以这种方式，滤波处理单元254根据要生成的输出图像的快门速度，通过适当改变应用于滤波处理的输入图像帧的数量，进行该处理。

10.具有用于调整运动速度和最佳快门速度的曲线的功能的设备

此外，在根据本发明的设置有图像处理结构的设备中，可以提供根据显示输出图像的显示装置的响应特性和该设备的用户的喜好而调整运动速度和最佳成像快门速度之间的关系的功能。

图20示出表示运动速度和最佳成像快门速度之间的关系的曲线的几个例子。例如，用户可以在图20所示的第一～第五阶段的曲线中调整运动速度和最佳成像快门速度之间的关系。运动速度和最佳成像快门速度之间的关系可能根据显示输出图像的显示装置的响应特性和该设备的用户的喜好而改变。在这种情况下，通过允许运动速度和最佳成像快门速度之间的关系的调整，可以进行根据该状况的最佳处理。

例如，在图20所示的表示运动速度和最佳成像快门速度之间的关系的多个曲线中，将第一级阶段与第五阶段进行比较。在这种情况下，第五阶段中各运动速度处的最佳成像快门速度较高。因此，在通过滤波处理所生成的输出图像中，与第五阶段相比，第一阶段中由跳跃引起的劣化较小。另一方面，与第一阶段相比，第五阶段中由模糊引起的劣化较小。

该设备的用户可以根据他/她的喜好通过选择图20所示的第一～第五阶段的曲线的其中之一，调整与各运动速度相对应的最佳快门速度，从而使得可以最大程度地降低跳跃和模糊两者引起的劣化。用于调整运动速度和最佳成像快门速度之间的关系的功能类似于一般显示装置中用于调整亮度的伽玛(gamma)曲线的功能。

可以应用各种结构作为用于输入调整运动速度和最佳成像快门速度之间的关系所必需的信息的部件。例如，可以通过该设备中所提供的用户界面(GUI)输入该信息。在这种情况下，该设备具有显示装置和如鼠标等的输入装置，并且用户通过使用该输入装置进行调整。图21示出用户调整运动速度和最佳成像快门速度之间的关系所使用的用户界面的结构的例子。

在图21所示的设计中，用户可以从图20所示的第一～第五阶段的曲线中选择运动速度和最佳成像快门速度之间的关系。可以通过移动滚动条381输入该选择。用户可以通过使用输入装置来移动滚动条381并操作OK按钮382，调整运动速度和最佳成像快门速度之间的关系。

11.第二实施例的概述

图22是示出根据本发明第二实施例的图像处理设备的结构的例子的框图。根据第二实施例的框图中的结构相当于添加了空间特征量检测单元503的、以上参考图4所述的第一实施例的结构。图像处理设备500接收具有特定帧频的图像信号作为要处理的图像。将输入图像信号输入给运动速度计算单元501、图像生成处理单元502和空间特征量检测单元503。

以下说明图像处理设备500中所进行的处理，主要是与第一实施例之间的差异。将具有特定帧频的输入图像信号输入给运动速度计算单元501。运动速度计算单元501对输入图像信号进行与以上参考图4等所述的第一实施例中的处理相同的处理，以计算各帧中的各部分区域中的运动速度。计算运动速度作为与输出图像的帧频相对应的值，并将运动速度从运动速度计算单元501输出给图像生成处理单元502。

还将输入图像信号输入给空间特征量检测单元503。参考图23说明空间特征量检测单元503中的处理。图23示出空间特征量检测单元503的具体结构的例子。如图23所示，空间特征量检测单元503包括：图像累积单元521，用于存储输入图像信号的多个帧；控制单元522，用于选择要评价空间对比度的水平的帧，并用于进行读取控制；帧分割单元523，用于将要评价的帧分成区域；以及空间对比度评价单元524，用于通过空间滤波处理等评价各区域中的空间对比度的水平。

在该实施例中，空间对比度评价单元524具有用作为处理的基准的空间对比度阈值。空间特征量检测单元503判断空间对比度的水平是否等于或高于要处理的各部分区域中的阈值。如果空间对比度的水平等于或高于要处理的部分区域中的阈值，则空间特征量检测单元503输出信号[0]作为空间特征量信息。如果空间对比度的水平低于该阈值，则空间特征量检测单元503输出信号[1]作为空间特征量信息。

首先将输入给空间特征量检测单元503的输入图像信号输入给图像累积单元521，并将其存储在图像累积单元521中。在所存储的图像帧数据中，在控制单元522的控制下，从图像累积单元521读取被选作为空间对比度的评价目标的帧。

基于输出图像的帧频信息选择作为空间对比度的评价目标的帧。该帧选择处理与以上参考图7～9所述的、在运动速度计算单元中的控制单元中所进行的、选择检测运动向量的搜索帧的处理是相同的。将从图像累积单元521读取的帧输入给帧分割单元523。

以与以上第一实施例中参考图7所述的、在运动速度计算单元的帧分割单元中所进行的、对检测运动向量的搜索帧所进行的帧分割处理相同的方式，进行在帧分割单元523中所进行的帧分割处理。如以上参考图5所述，将一个帧的图像分成预定像素区域。

将各部分区域的图像数据输入给进行空间滤波处理的空间对比度评价单元524。也就是说，在要处理的各部分区域中，判断空间对比度的水平是否等于或高于阈值。如果要处理的部分区域中的空间对比度的水平等于或高于阈值，则输出信号[0]作为空间特征量信息。如果要处理的部分区域中的空间对比度的水平低于阈值，则输出信号[1]作为空间特征量信息。

如上所述，根据该实施例，图22所示的图像生成处理单元502接收从运动速度计算单元501输出的图像的各区域中的运动速度信息和从空间特征量检测单元503输出的图像的各区域中的空间特征量信息。

参考图24，说明根据该实施例的图像生成处理单元502的结构和处理。在图24所示的图像生成处理单元502中，将从空间特征量检测单元503输入的空间特征量信息输入给最佳快门速度计算单元553，作为运动速度信息。最佳快门速度计算单元553通过应用该信息计算与各部分区域相对应的最佳快门速度。

例如，以下面的方式进行最佳快门速度计算单元553中的处理。当输入给最佳快门速度计算单元553的空间特征量信息是信号[0]时，也就是说，当要处理的部分区域中的空间对比度的水平等于或高于阈值时，根据以上参考图13～17所述的运动速度和最佳快门速度之间的对应表，仅基于运动速度信息来计算针对该区域的最佳成像快门速度。

另一方面，当空间特征量信息为信号[1]时，也就是说，当要处理的部分区域中的空间对比度的水平低于阈值时，将与最大帧频相对应的快门速度，例如图13中的t4设置为最佳快门速度，而不管该区域中的运动速度。

确定最佳快门速度的该处理是基于在低空间对比度的区域中由跳跃引起的劣化不显著这一事实的。也就是说，当要处理的部分区域中的空间特征量信息是信号[1]时，要处理的部分区域中的空间对比度的水平低于阈值，空间对比度低，并且由跳跃引起的劣化不显著。因此，在这样的区域中，将与最大帧频相对应的快门速度，例如图13中的t4设置为快门速度，以输出清晰的图像。

另一方面，当部分区域中的空间特征量信息是信号[0]时，要处理的部分区域中的空间对比度的水平等于或高于阈值，空间对比度高，并且在该区域中由跳跃引起的劣化显著。因此，如在上述实施例中，基于以上参考图13～17所述的运动速度和最佳快门速度之间的对应表，计算最佳成像快门速度。

在该实施例中，基于预定阈值将空间特征量信息分成两类：[0]和[1]。然而，还可以使用其它设置。例如，保存在空间特征量检测单元503中的阈值不一定仅有一个。可选地，空间特征量检测单元503可以具有更具体的表，以根据对比度的值输出不同的输出值，并且可以将三种或更多种类型的信号作为空间特征量信息输出给图像生成处理单元502。

在图24所示的图像生成处理单元502的最佳快门速度计算单元553中，在已经计算了图像中的各区域中的最佳成像快门速度后所进行的处理，即，滤波处理单元554中的处理，是与以上前一实施例中所述的处理是相同的。通过基于多个输入图像帧生成与各部分区域中的最佳快门速度相对应的伪图像的处理来进行该处理。

如上所述，在该处理例子中，空间特征量检测单元503以部分区域为单位检测空间对比度的水平。在图像生成处理单元502中，将高于基于运动速度所计算的最佳成像快门速度的快门速度设置为空间对比度低于预定阈值的部分区域中的最佳快门速度。可选地，在空间对比度低于预定阈值的部分区域中，不计算基于运动速度所计算的最佳成像快门速度，但是可以将与输入图像的帧频相对应的最大快门速度设置为最佳快门速度。

以上参考具体实施例详细说明了本发明。然而，很明显，本技术领域的技术人员可以在不背离本发明的范围的情况下，对这些实施例作出修改或改变。也就是说，已经以例子的形式公开了本发明，但是不应该以有限的方式解释本发明。对于确定本发明的范围，应该考虑权利要求书。

可以通过硬件、软件或它们两者的组合进行该说明书中所述的一系列处理。当通过软件进行该处理时，可以通过将包括处理序列的程序安装到包含在专用硬件中的计算机中的存储器，来执行该程序，或者可以通过将该程序安装到能够执行各种处理的多功能计算机来执行该程序。

例如，可以将该程序预先记录在作为记录介质的硬盘或ROM(只读存储器)中。可选地，可以将该程序临时地或永久地存储(记录)在可移动记录介质中，如软盘、CD-ROM(紧凑型光盘只读存储器)、MO(磁光)盘、DVD(数字多功能光盘)、磁盘、或半导体存储器等。可以提供这样的移动记录介质作为所谓的包软件。

可以将来自上述可移动记录介质的该程序安装到计算机。可选地，可以将该程序从下载网站无线地传送到计算机，或者以有线方式通过如LAN(局域网)或因特网等网络传送该程序。计算机可以接收以该方式传送的该程序，并将其安装在如计算机所包括的硬盘等记录介质中。

可以根据该说明书，按照时间序列进行该说明书中所述的各种处理。可选地，根据进行该处理的设备的处理能力或者根据需要，可以并行或分别地进行该处理。在该说明书中，系统意为多个装置的逻辑集合，并且各结构的装置不一定在同一机壳内。

工业实用性

如上所述，根据本发明的结构，在生成要以特定帧频输出的运动图像时，以构成该运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频计算对象的运动速度；以部分区域为单位获得用于降低输出图像的劣化的最佳快门速度，作为与该运动速度相对应的最佳成像快门速度；以部分区域为单位生成与所获得的最佳快门速度相对应的图像，并且输出通过组合所生成的部分区域图像而生成的帧图像。根据该结构，可以实现能够输出高质量图像的图像处理设备，在该高质量图像中，输出图像的劣化得以降低，尤其是跳跃和模糊两者都得以降低。

Claims (30)

1.一种用于对运动图像进行图像处理的图像处理设备，所述图像处理设备包括：

运动速度计算单元，用于以构成所述运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频，计算对象的运动速度；以及

图像生成处理单元，用于接收各所述部分区域的所述运动速度信息，以所述部分区域为单位获得与所述运动速度相对应的且降低所述输出图像的劣化的最佳成像快门速度，以所述部分区域为单位生成与所获得的最佳快门速度相对应的图像，并输出通过组合所生成的部分区域图像而生成的各帧图像。

2.根据权利要求1所述的图像处理设备，其特征在于，

所述运动速度计算单元通过使用应用于从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位进行计算所述运动速度的处理。

3.根据权利要求1所述的图像处理设备，其特征在于，

所述运动速度计算单元包括：

块匹配单元，用于通过使用应用于从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位获得运动向量；以及

运动向量标准化单元，用于基于在所述块匹配单元中所计算的所述运动向量信息，根据所述输出图像的帧频，计算所述对象的所述运动速度。

4.根据权利要求2所述的图像处理设备，其特征在于，

所述运动速度计算单元根据所述输出图像的帧频从所述输入图像的帧中选择以所述输出图像的帧的时间间隔所拍摄的帧作为所述搜索帧。

5.根据权利要求3所述的图像处理设备，其特征在于，

所述运动速度计算单元根据所述输出图像的帧频从所述输入图像的帧中选择以所述输出图像的帧的时间间隔所拍摄的帧作为所述搜索帧。

6.根据权利要求1所述的图像处理设备，其特征在于，

所述图像生成处理单元保存将所述运动速度与用于降低所述输出图像的劣化的成像快门速度相关联的表，并且通过参考所述表，以所述部分区域为单位，获得与各运动速度相对应的最佳快门速度。

7.根据权利要求6所述的图像处理设备，其特征在于，

所述表将运动速度区段信息与最佳快门速度信息相关联。

8.根据权利要求6所述的图像处理设备，其特征在于，

所述图像生成处理单元保存每一均表示所述运动速度和用于降低所述输出图像的劣化的所述最佳快门速度之间的对应关系的多个不同的所述表，并且基于用户选择信息来确定要应用的表。

9.根据权利要求1所述的图像处理设备，其特征在于，

所述图像生成处理单元包括：

最佳快门速度计算单元，用于以所述部分区域为单位计算与所述运动速度相对应的所述最佳快门速度；以及

滤波处理单元，用于以所述部分区域为单位来生成与由所述最佳快门速度计算单元计算的所述最佳快门速度相对应的图像。

10.根据权利要求9所述的图像处理设备，其特征在于，

所述滤波处理单元基于从输入图像的帧中选择的帧，以所述部分区域为单位来进行生成与由所述最佳快门速度计算单元计算的所述最佳快门速度相对应的图像的处理。

11.根据权利要求9所述的图像处理设备，其特征在于，

所述滤波处理单元进行以下处理：根据由所述最佳快门速度计算单元所计算的所述最佳快门速度来设置加权系数，对输入图像的多个帧的像素值进行加权平均，并确定输出图像帧的像素值。

12.根据权利要求1所述的图像处理设备，其特征在于，

所述图像生成处理单元包括用于生成未包括在输入图像的帧中的中间帧的中间帧生成单元，并通过应用所述中间帧，以所述部分区域为单位来进行生成与由所述最佳快门速度计算单元计算的所述最佳快门速度相对应的图像的处理。

13.根据权利要求1所述的图像处理设备，其特征在于，还包括：

空间特征量检测单元，用于以所述部分区域为单位检测空间对比度的水平，

其中，所述图像生成处理单元进行以下处理：将高于根据所述运动速度所计算的所述最佳快门速度的快门速度设置为在所述空间对比度低于预定阈值的所述部分区域中的最佳快门速度。

14.根据权利要求1所述的图像处理设备，其特征在于，还包括：

空间特征量检测单元，用于以所述部分区域为单位检测空间对比度的水平，

其中，所述图像生成处理单元进行以下处理：在所述空间对比度低于预定阈值的所述部分区域中，将与输入图像的帧频相对应的最大快门速度设置为最佳快门速度，而不计算与所述运动速度相对应的所述最佳快门速度。

15.根据权利要求1～14中的任何一个所述的图像处理设备，其特征在于，

所述输出图像的劣化是由跳跃和模糊引起的劣化，以及

其中，所述图像生成处理单元进行以下处理：以所述部分区域为单位获得用于降低由所述跳跃和所述模糊引起的图像劣化的所述最佳快门速度，并且以所述部分区域为单位生成与所获得的最佳快门速度相对应的所述图像。

16.一种用于在图像处理设备中对运动图像进行图像处理的图像处理方法，所述图像处理方法包括：

运动速度计算步骤，用于以构成所述运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频，计算对象的运动速度，其中，在运动速度计算单元中进行所述步骤；以及

图像生成处理步骤，用于接收各所述部分区域的运动速度信息，以所述部分区域为单位获得与所述运动速度相对应的且降低所述输出图像的劣化的最佳成像快门速度，以所述部分区域为单位生成与所获得的最佳快门速度相对应的图像，并输出通过组合所生成的部分区域图像而生成的各帧图像，其中，在图像生成处理单元中进行所述步骤。

17.根据权利要求16所述的图像处理方法，其特征在于，

所述运动速度计算步骤通过使用应用于从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位进行计算所述运动速度的处理。

18.根据权利要求16所述的图像处理方法，其特征在于，

所述运动速度计算步骤包括：

块匹配步骤，用于通过使用应用于从输入图像的帧中选择的搜索帧和基准帧的块匹配处理，以所述部分区域为单位获得运动向量；以及

运动向量标准化步骤，用于基于在所述块匹配步骤中所计算的运动向量信息，根据所述输出图像的帧频，计算所述对象的运动速度。

19.根据权利要求17所述的图像处理方法，其特征在于，

所述运动速度计算步骤根据所述输出图像的帧频从所述输入图像的帧中选择以所述输出图像的帧的时间间隔所拍摄的帧作为所述搜索帧。

20.根据权利要求18所述的图像处理方法，其特征在于，

所述运动速度计算步骤根据所述输出图像的帧频从所述输入图像的帧中选择以所述输出图像的帧的时间间隔所拍摄的帧作为所述搜索帧。

21.根据权利要求16所述的图像处理方法，其特征在于，

所述图像生成处理步骤包括步骤：通过参考将所述运动速度与用于降低所述输出图像的劣化的所述成像快门速度相关联的表，以所述部分区域为单位，获得与各运动速度相对应的所述最佳快门速度。

22.根据权利要求21所述的图像处理方法，其特征在于，

所述表将运动速度区段信息与最佳快门速度信息相关联。

23.根据权利要求21所述的图像处理方法，其特征在于，

所述图像生成处理步骤包括用于进行以下处理的步骤：在每一均表示所述运动速度和用于降低所述输出图像的劣化的所述最佳快门速度之间的对应关系的多个不同的表中，基于用户选择信息确定要应用的表。

24.根据权利要求16所述的图像处理方法，其特征在于，

所述图像生成处理步骤包括：

最佳快门速度计算步骤，用于以所述部分区域为单位，计算与运动速度相对应的所述最佳快门速度；以及

滤波处理步骤，用于以所述部分区域为单位来生成与在所述最佳快门速度计算步骤中所计算的所述最佳快门速度相对应的图像。

25.根据权利要求24所述的图像处理方法，其特征在于，

所述滤波处理步骤进行以下处理：基于从输入图像的帧中选择的帧，以所述部分区域为单位来生成与在所述最佳快门速度计算步骤中所计算的所述最佳快门速度相对应的图像。

26.根据权利要求24所述的图像处理方法，其特征在于，

所述滤波处理步骤进行以下处理：根据在所述最佳快门速度计算步骤中所计算的所述最佳快门速度设置加权系数，对输入图像的多个帧的像素值进行加权平均，并确定输出图像帧的像素值。

27.根据权利要求16所述的图像处理方法，其特征在于，

所述图像生成处理步骤进行以下处理：生成未包括在输入图像的帧中的中间帧，并通过应用所述中间帧，以所述部分区域为单位来生成与在所述最佳快门速度计算步骤中所计算的所述最佳快门速度相对应的图像。

28.根据权利要求16所述的图像处理方法，其特征在于，还包括：

空间特征量检测步骤，用于以所述部分区域为单位检测空间对比度的水平，其中，在空间特征量检测单元中进行所述步骤，

其中，所述图像生成处理步骤进行以下处理：将高于根据所述运动速度所计算的所述最佳快门速度的快门速度设置为在所述空间对比度低于预定阈值的所述部分区域中的所述最佳快门速度。

29.根据权利要求16所述的图像处理方法，其特征在于，还包括：

空间特征量检测步骤，用于以所述部分区域为单位检测空间对比度的水平，其中，在空间特征量检测单元中进行所述步骤，

其中，所述图像生成处理步骤进行以下处理：在所述空间对比度低于预定阈值的所述部分区域中将与输入图像的帧频相对应的最大快门速度设置为最佳快门速度，而不计算与所述运动速度相对应的最佳快门速度。

30.根据权利要求16～29中的任何一个所述的图像处理方法，其特征在于，

所述输出图像的劣化是由跳跃和模糊引起的劣化，以及

其中，所述图像生成处理步骤进行以下处理：以所述部分区域为单位获得用于降低所述跳跃和所述模糊引起的图像劣化的所述最佳快门速度，并且以所述部分区域为单位生成与所获得的所述最佳快门速度相对应的图像。

Images