CN103262525B - 生成包含运动模糊图像的方法和设备 - Google Patents

Abstract

本发明涉及一种用于处理视频图像的方法，所述方法包括以下步骤：‑在包含参考时间t的时间间隔期间采集多个视频图像，‑将加权系数与每个视频图像相关联，该视频图像中至少有两个具有不同的加权系数，‑存储该视频图像，‑使用相关的加权系数为每个存储的视频图像加权，‑通过对加权的视频图像求平均，生成与参考时间t相关联的被称为参考图像的图像。根据本发明，以成比例于与所述视频图像相关联的加权系数的分辨率，存储每一个视频图像，以减少用于存储该图像的必要存储空间，并减少所存储的图像的存取时间。

Description

生成包含运动模糊图像的方法和设备

技术领域

本发明涉及一种旨在生成包含运动模糊的图像的视频处理的方法和设备。本发明更具体地涉及动画和视频效果领域，并可以应用到合成图像或由配备有数码快门的图像捕获设备所产生的图像上。

该处理的目的是更自然，更柔和地向人眼呈现图像。

背景技术

运动模糊是当电影或动画包含括运动中的对象时，在电影或动画的图像或视频序列上出现的可见模糊。此模糊是由于图像捕获过程中对象的快速移动或由于图像捕获设备(摄录机或固定摄像机)的长曝光持续时间(姿势时间)造成的。所捕获的图像积分了该对象在一段时期内所有的位置，该时期对应于由该图像捕获设备的快门速度所确定的曝光持续时间。在该图像中，相对于捕获设备处于运动中的所捕获场景的元素那么在该运动方向上看起来是模糊不清的。这种模糊的元素可以是当图像捕获设备是固定的时在场景中运动的对象，也可以是当图像捕获设备以与场景中运动的对象相同的速度运动时该场景的背景。

在合成图像的情况下，每个图像可与将被具有无限快门速度(曝光持续时间准零)的捕获设备捕获的图像吸收(assimilate)。因此，没有运动模糊并且在该图像中运动的物体的位移对人眼表现为不连续的和抖动的。

至于涉及由具有数字快门(非机械的)的捕获设备所生成的图像，在所捕获的图像上运动的对象的表示可以包含时间伪像，其由于由通常工作在启动/停止模式(也就是说，快门只有2个可能的状态)下的数字快门对光信号的突然截断，对人眼来说是不友好的。

为了克服这个问题，对于本领域技术人员来说，已知将模拟机械快门所产生的滤波的处理应用于这些图像。对于由具有数字快门的捕获设备所生成的图像，该处理在于使数字快门与机械快门的时间响应相一致。对于合成图像，该处理在于使用具有与机械快门的时间响应接近的时间响应的称为“运动滤波器”的滤波器来对该图像进行滤波。

该处理通常在于在以涉及要显示的图像的参考时间t为中心的时间间隔期间获得多个视频图像，在于对所述视频图像中的每一个进行加权，在于通过对加权的视频图像求平均来实现与参考时间t相关联的图像的显示。该处理要考虑的要加权的图像的数量和加权系数的值，依赖于要被再现的时间响应。

该处理需要为每个要显示的图像获取和保存一些视频图像。因此，它的实施需要大量的存储空间来存储这些图像并涉及相对较长的存储器存取时间，其对处理时间有影响。

发明内容

本发明的目的是提出一种克服前面所列举的全部或部分缺点的图像处理方法，尤其是使用减少的内存空间并需要较少的存取时间的图像处理方法。

为了这个目的，本发明提出了一种视频处理方法，包括以下步骤：

-在包括参考时间t的时间间隔期间获取多个视频图像，

-将加权系数与视频图像中的至少一些相关联，所述视频图像中至少有两个具有不同的加权系数，

-存储视频图像，

-使用相关的加权系数为每个存储的视频图像加权，

-通过对加权的视频图像求平均，生成与参考时间t相关联的被称为参考图像的图像，

其特征在于，以成比例于与所述视频图像相关联的加权系数的分辨率，存储每一个视频图像，所述加权系数根据将视频图像从参考时间t间隔的持续时间的减函数与每个视频图像相关联。

因此，根据本发明，相关联的加权系数低的图像具有低分辨率。这使得由这些图像所占用的内存空间得以减少以及这些图像的存取时间得以减少。

因此，时间上距离参考时间t最远的视频图像具有最低加权系数。将低加权系数应用于时间上距离参考时间最远的视频图像，使得机械快门响应时间被再现并由此使得将要被获得的连续参考图像之间的转换更加柔和。

对于图像分辨率，应理解为它包括在水平方向和垂直方向上的点或像素的数目。当图像分辨率降低时，像素数量减少。

根据特定实施例，与每个视频图像相关联的加权系数与将所述视频图像从参考时间t间隔的持续时间成反比。

根据特定实施例，时间间隔以参考时间t为中心。

根据特定实施例，与每个视频图像相关联的加权系数与将所述视频图像从参考时间t间隔的持续时间的升余弦成反比。

根据特定实施例，所述多个视频图像中的每一个图像是一个多分辨率的图像，像例如按照标准JPEG 2000的图像。

本发明还涉及一种用于获取和处理视频图像的设备，包括：

-获取部件，用于在包括参考时间t的时间间隔期间获取多个视频图像；

-存储器，用于存储获取的视频图像，

-处理电路，用于将加权系数与每个视频图像相关联，视频图像中至少有两个具有不同的加权系数，以便用相关联的加权系数为每个存储的视频图像加权并且通过对加权的视频图像求平均来生成与参考时间t相关联的被称为参考图像的图像，

-控制部件，以控制将获取的视频图像存储在存储器中，

其特征在于，以成比例于所关联的加权系数的分辨率，存储每一个获取的视频图像，所述加权系数根据将视频图像从参考时间t间隔的持续时间的减函数与每个视频图像相关联。

根据特定实施例，时间间隔以参考时间t为中心。

有利地，所述处理电路将每个视频图像与加权系数相关联以便再现由照相机的机械快门执行的滤波，该加权系数与将所述视频图像从参考时间t间隔的持续时间成反比。

优选地，处理部件将每个视频图像与将所述视频图像从参考时间t间隔的持续时间的升余弦成反比的加权系数相关联。

附图说明

参照附录中的附图在如下详细描述的过程中，本发明将被更好地理解并且其它目的、细节、特征和优点将会变得更加清楚，附图中：

图1是示出标准机械快门的光积分(light integration)功能的图，

图2是示出数字快门的光积分功能的实例的图，

图3是示出具有几种可能的分辨率的相同的图像的图解，并且

图4是用于实施本发明方法的设备的图解。

具体实施方式

本发明涉及合成图像或数字图像中的运动模糊的引入，并提出通过降低加权系数低的图像的分辨率来优化为实施该处理所需的内存空间。这使得他们的存储所需的大小得以减少。此外，确定施加到图像的滤波以便再现由机械快门执行的滤波。

因此将首先描述快门的作用和操作。

在数字和模拟摄录机领域，摄像机的镜头用于将光聚焦并将其导向化学或半导体图像捕获设备。例如，在数码摄像机中，图像捕获设备是用数千或数百万微小的光敏二极管(称为光敏元件)的矩阵测量光线的CCD(电荷耦合器件)捕获器或CMOS(互补金属氧化物半导体)捕获器。

必须控制到达捕获器的光线的数量以避免过曝或曝光不足。这是快门的作用。这可以是机械的或数字的。

对于机械快门，应理解为安装在捕获设备上的组件使得能够对该图像捕获设备的曝光持续时间进行调整。例如此快门是光圈快门(irisshutter)或帘式快门(curtain shutter)。

相反，数字快门不作为硬件组件存在但表示持续时间，在此期间，光敏元件被授权在捕获周期内接收光。

以一般的方式，快门可以通过其时间响应建模，记为h(t)。通过光敏元件对光的积分过程因此可以由下面的公式所示：

其中-x(t)表示入射光的信号，

-x_shut(t)表示由光敏元件所捕获的光的信号，

-T是光敏元件的曝光持续时间，在此期间，该元件暴露于入射光信号，T也对应于积分持续时间。

快门像滤波器一样运转，只在对应于T的确定时间内让光通过，在此期间的每个时刻被授权通过的光量由函数h(t)所定义。

此滤波处理(在其中通过将公式1以离散形式施加到一组视频图像上可以很容易地再现对光的积分)对要显示的图像的显影作出贡献。此积分之后产生视频图像的加权总和，加权系数由要被再现的快门的时间响应h(t)来确定。每个贡献于要显示的图像的显影的视频图像是以与要显示的图像相关的参考时刻t为中心的时间间隔中其自身特定时刻相关的视频图像。例如这些视频图像是以获取频率获取的图像，该获取频率是与要显示的图像相关联的显示频率的倍数。

为清楚起见，在本描述的其余部分使用术语子图像来表示对要显示的图像的显影做出贡献的视频图像。

图1和图2分别示出机械快门的时间响应和标准数字快门的时间响应。它们各自以增益函数的形式示出，当快门完全打开时，增益最大且等于1，当快门关闭时，增益为零。

机械快门是逐步打开并关闭的。因此，在其完全打开位置(图1)的任一侧，它的增益是逐渐增加和减小的。

标准数字快门的行为就像有两个位置的开关：光敏元件被授权捕获光线的打开位置和光敏元件未被授权捕获光线的闭合位置。因此该快门的响应时间是方的(图2)。

这两种响应可以由一个离散升余弦函数建模，滚降系数对数字快门来说接近0并且对机械快门来说为正的。

如果对完整图像的光的积分处理以离散形式模拟，它可能会写成下列方式：

其中，-k是指定图像的索引，

-q在图像k的Q个子图像中指定一个子图像，

-Q是图像k的子图像的总数，

-I(x,y,q)代表子图像q的坐标(x,y)的像素值，

-I_shut(x,y,k)表示处理后图像k的坐标(x,y)的像素值，以及

-h(q)是快门的时间响应的离散形式。

为了以与通过机械快门引入运动模糊相一致的方式将运动模糊引入到图像中，如图1所示在公式2中使用离散时间响应h(t)。在此图中可以看出，一些子图像具有比其他子图像更低的增益值。这个增益值代表了要显示的图像中的这个子图像的权重。因此，将被施加到该子图像上的加权系数与图1中所示的增益成正比。

在该图中(图1)中可以看出，因此，在该处理方法中一些子图像相比其他子图像具有较低的权重。因此，没有必要用增强的分辨率存储这些子图像。

此外，根据本发明，子图像的分辨率可以适应于它们的权重(加权系数)。每个存储用于处理的子图像的分辨率成比例地适应于其权重(加权系数)。因此，要处理的图像的子图像占据明显成比例于其权重的存储空间。只有具有等于最大加权系数的系数的子图像将被以全分辨率保存。因此，这将解放内存空间并减少子图像存取时间。

图3示出本发明的方法的这种多分辨率方面。这个附图代表6个表示相同的场景但具有不同的分辨率的子图像。在该图左上角的子图像示出高分辨率的子图像，右下角的子图像示出低分辨率的子图像，其他子图像具有中间分辨率。

根据本发明，具有最大加权系数的子图像将被以高分辨率存储，并且具有加权系数的子图像将以明显成比例于该加权系数的分辨率被存储。

有利地，本发明的方法可以应用于符合标准JPEG 2000的图像并由配备有数字快门的专业数码相机提供。此图像类型其实已经包括多分辨率的层次结构。获取由相机在例如100Hz或200Hz的高频上实现。对于每个要被显示的图像，可能获得几个子图像。例如，在显示为25Hz和获取为200Hz的情况下，相机为每个要显示的图像生成8个多分辨率的子图像。对于该处理，每个子图像将以对应于将要与该子图像相关联的加权系数的分辨率被存储。

图4示出了能够实现本发明方法的设备的图解。它包括：

-子图像获取部件11，诸如例如CMOS捕获设备，其操作模式使得能够获得高获取频率，

-存储器12，用于存储获取的子图像，

-图像处理电路12，为了将加权系数与每个视频子图像相关联、将每个子存储的子图像用相关联的加权系数加权、以及为了通过对加权的视频图像求平均生成与参考时间t相关联的被称为参考图像的图像，以及

-控制部件14，用于对该设备的一组部件的控制。

控制部件更具体地是控制由获取部件生成的、以正比于所关联的加权系数的分辨率存储在存储器中的每个子图像的存储器。

为了再现由数字快门引入的运动模糊，处理电路有利地将每个视频图像与加权系数相关联，该加权系数与将所述视频图像从参考时间t间隔的持续时间成反比，也就是说如图1所清晰显示，遵从将所述视频图像从参考时间t间隔的持续时间的减函数的加权系数。该加权系数最好是与将所述视频图像从参考时间t间隔的持续时间的升余弦成反比。

由处理电路生成的参考图像之后被发送到显示设备20。

例如，这个设备是具有非常高的获取频率，例如100或200Hz，并以25Hz传递参考图像的摄录机。

虽然已经涉及一个具体实施例描述了本发明，显而易见的是，这不以任何方式被限制，并且如果所描述部件的技术等同物及其组合进入本发明的范围，本发明包括其全部。

根据一个变型，加权系数与某些子图像中的每一个子图像相关联，也就是说仅与那些对要显示的图像的显影作出贡献的某些视频图像相关联。例如，参考时间t附近的某些子图像施加等于1的系数，这是说，没有加权系数与它们相关联。

根据另一个变型，在子图像被捕获的期间的时间间隔不以t为中心。根据该变型，参考时间中立地位于时间间隔的开始或结束。根据该变型，在参考时间t之前捕获的子图像的数量不等于在参考时间t之后捕获的子图像的数量。产生在参考时间t之后捕获的子图像的数量的不平衡使得给予该时间间隔中在参考时间t之前运行的时段更多重要性(对应于在t之前捕获的子图像数量大于的在t之后捕获的子图像数量的情况，其对应于t时间上位于该时间间隔中心之后的情形)或给予该时间间隔中在参考时间t之后运行的时段更多重要性(对应于在t之前捕获的子图像数量小于的在t之后捕获的子图像数量的情况，其对应于t时间上位于该时间间隔中心之前的情形)。根据特定实施例，参考时刻t被放置在时间间隔的开始(在该时间间隔期间，所有的子图像都是在t之后被捕获)。根据另一实施例，参考时刻t被放置在时间间隔的结束(在该时间间隔期间，所有的子图像都是在t之前被捕获)。

Claims (9)

1.一种处理视频图像的方法，包括以下步骤：

-在包括参考时间t的时间间隔期间获取所述视频图像，

-将加权系数与视频图像中的每一个相关联，所述视频图像中至少有两个具有不同的加权系数，

-存储所获取的视频图像，

-利用相关联的加权系数为存储的视频图像中的每一个加权，

-通过对加权的视频图像求平均，生成与参考时间t相关联的参考图像，

其特征在于，以与相关联的加权系数成比例的分辨率来存储视频图像中的每一个，其中根据将所述视频图像中的每一个与参考时间t间隔的持续时间的递减函数将加权系数与视频图像中的每一个相关联。

2.如权利要求1的方法，其中，与视频图像中的每一个相关联的加权系数与将所述视频图像中的每一个与参考时间t间隔的持续时间成反比。

3.如权利要求1或2的方法，其特征在于，所述时间间隔以参考时间t为中心。

4.如权利要求1至2之一的方法，其中，与视频图像中的每一个相关联的加权系数与将所述视频图像中的每一个与参考时间t间隔的持续时间的升余弦成反比。

5.一种用于获取并处理视频图像的设备，包括：

获取部件(11)，用于在包括参考时间t的时间间隔期间获取所述视频图像；

存储器(12)，用于存储所获取的视频图像，

处理电路(13)，用于将加权系数与视频图像中的每一个相关联，所述视频图像中至少两个具有不同的加权系数，以便利用相关联的加权系数为存储的视频图像的每一个加权并且通过对加权的视频图像求平均来生成与参考时间t相关联的参考图像，

控制部件(14)，控制将获取的视频图像存储在存储器中，

其特征在于，以与相关联的加权系数成比例的分辨率将获取的视频图像的每一个存储在存储器中，根据将所述视频图像中的每一个与参考时间t间隔的持续时间的递减函数而将所述加权系数与视频图像中的每一个相关联。

6.如权利要求5的设备，其中，所述处理电路将视频图像的每一个与将所述视频图像的每一个与参考时间t间隔的持续时间成反比的加权系数相关联。

7.如权利要求5或6的设备，其特征在于所述时间间隔以参考时间t为中心。

8.如权利要求5至6之一的设备，其中，所述处理电路将视频图像的每一个与将所述视频图像的每一个与参考时间t间隔的持续时间的升余弦成反比的加权系数相关联。

9.摄录机，其特征在于，它包括如权利要求5至6任一项的设备。