CN113542533A - 相机降噪 - Google Patents

Abstract

本公开涉及相机降噪。本公开涉及相机，并且特别地涉及用于降低由相机捕获的图像中的噪声的方法，其中，相同的视角变换可以被重复使用以对多个图像执行时间噪声滤波。

Description

相机降噪

技术领域

本公开涉及相机，并且特别涉及用于降低由相机捕获的图像中的噪声的方法。

背景技术

可穿戴相机正变得越来越普遍，并且在从艺术或娱乐用途到与安全和文档有关的用途的各种各样的应用中得到使用。与许多其它相机一样，可穿戴相机的常见问题是相机中某处(例如，在光学元件中、在图像传感器处或在电路中)产生的图像噪声问题。噪声通常显示为图像中亮度和颜色的随机变化。在弱光环境中(即，在图像传感器上记录的光子较少时)捕获的图像中，噪声特别普遍。弱光环境通常与具有低信噪比(SNR)的图像对应。减轻图像噪声影响的一种技术被称为时间噪声滤波(temporal noise filtering，TNF)。TNF依赖于对在不同时间点捕获的多个图像进行平均。然而，这种平均可能导致在其它静态场景中运动的对象的运动引起的模糊，并且如果整个场景是动态的，例如，如果相机是运动的，则整个场景最终可能在某种程度上具有模糊。由穿戴者穿戴的可穿戴相机由于穿戴者的运动而总是会受到某种运动的影响，而无论该运动是基于有意识的运动(例如，如果穿戴者散步)，或者是下意识的运动(例如，通过穿戴者呼吸)。已知各种根据运动的原因来适应运动补偿的技术。然而，运动补偿技术可能需要过多的计算资源，并且因此也更加耗电。对于依赖于某种形式的有限电力存储(例如，电池)的可穿戴相机，这可能是重大问题。机械运动稳定也可以被考虑，但要充分解决所有类型的运动引起的模糊。这样的系统可以使可穿戴相机更加复杂和笨重。因此，需要在技术领域内进行改进。

发明内容

本发明的目的是至少减轻上述问题中的一些并且为可穿戴相机提供改进的降噪。

根据本发明的第一方面，提供了一种降低可穿戴相机捕获的图像中的噪声的方法，该方法包括：

A.提供时间上连续的图像的序列，

B.在所述时间上连续的图像当中选择第一参考图像，

C.在所述时间上连续的图像当中选择第一多个图像以用于第一参考图像的时间噪声滤波，

D.通过将第一多个图像中的每一个变换为具有与第一参考图像相同的视角来形成第一多个变换图像，

E.使用第一多个变换图像对第一参考图像执行时间噪声滤波TNF，

F.在所述时间上连续的图像当中选择不同的第二参考图像，

G.在所述时间上连续的图像当中选择第二多个图像以用于第二参考图像的时间噪声滤波，其中，第二多个图像中的图像中的至少一个图像还被包括在第一多个图像中，其中，第二多个图像包括第一参考图像，

H.确定是否应当执行第二参考图像的TNF，其中，在确定TNF应当被执行时，该方法进一步包括：

I.通过以下形成第二多个变换图像：

I1.对于第二多个图像中的未被包括在第一多个图像中的每一个图像，将该图像变换为具有与第二参考图像相同的视角；

I2.对于第二多个图像中的还被包括在第一多个图像中的每一个图像，将第一多个变换图像当中的对应的变换图像变换为具有与第二参考图像相同的视角；

J.使用第二多个变换图像对第二参考图像执行时间噪声滤波TNF。

术语“可穿戴相机”可以被理解为在使用时被配置为由穿戴者穿戴的相机。随身穿戴的相机、安装在眼镜上的相机、以及安装在头盔上的相机应当被认为为术语可穿戴相机的非限制性示例。穿戴者可以例如人类或动物。

术语“时间上连续的图像”可以被理解为在不同时间点处连续捕获的图像或图像帧。换句话说，与第二图像的捕获时间相比，第一图像在时间上被在先捕获，与第三图像的捕获时间相比，第二图像在时间上反过来被在先捕获，等等。图像或图像帧可以一起形成时间上连续的图像的序列或视频流的图像帧的序列。

术语“将……图像转换为具有相同视角”可以指对图像进行变换或创建图像的的投影，就好像是使用与捕获另一图像时相同的方式定位和定向的相机捕获该图像一样。该措词应当被理解为是指基本相同的视角。实现视角变换的各种方式可以包括使用单应性(homography)和图像投影。来自诸如例如加速度计和陀螺仪的传感器的读数可以用于进行视角变换。视角变换可以包括基于两个不同图像中的对应候选点对来计算单应性。

注意，步骤A至步骤J可不需要在时间上以本公开中呈现的顺序执行。步骤I1和步骤I2应当都被理解为步骤I的一部分。

上述方法提供了一种优化由可穿戴相机捕获的图像的TNF的方式。特别地，该方法可以减少计算工作量和能量使用。这通过创建处理流程来实现，在该处理流程中，当形成第二多个变换图像时，第二变换步骤可以受益于能够对至少两个图像重复使用相同的视角变换。这应当理解为这样的情况，由于第一多个变换图像中的至少一个和第一参考图像存在于第二多个图像中，在将这些图像变换为与第二参考图像相同的视角时能够使用相同的视角变换。这意味着在产生第二多个变换图像时，可需要计算/确定较少的新的视角变换。此外，用于执行视角变换的指令的重复使用可以减少变换图像所需的存储量或高速缓存存储量。

应当以这样的方式来理解本发明：例如对于包括大量时间上连续的图像的视频流，有利地实现更多地重复使用视角变换。

当通过连续迭代扩大处理时，工作量减少的收益将变得更加重要，在对连续图像流(即，视频)执行该方法时的情况就是这样。

根据第一方面的一些实施例，该方法可以进一步包括：在将时间上连续的图像中的一个图像变换为具有与第一参考图像或第二参考图像相同的视角之后，从可穿戴相机的存储器中删除时间上连续的图像中的该一个图像。

这样的实施例的有利效果可以是减少计算机存储器要求的效果。这是可能的，因为根据该方法，一旦原始视角图像已经被变换为另一图像视角的特征，它们就可能是多余的，因为如果需要对时间上连续的图像当中的其它图像执行TNF(参见，例如步骤I2)，变换图像实际上被使用。

根据第一方面的一些实施例，第一多个图像中的每一个图像在时间上可以在第一参考图像之前，并且第二多个图像中的每一个图像在时间上可以在第二参考图像之前。

通过这样的实施例，可以减少时延。之所以这样，是因为仅时间上在先的图像信息用于参考图像的TNF，这意味着减少了提供图像和对该图像执行TNF之间的延迟。当该方法被应用于实时视频流时，减少时延可以特别有利。

根据第一方面的一些实施例，第一多个图像可以包括4至8个图像，并且第二多个图像可以包括4至8个图像。

通常，用于TNF的图像越多可以改善降噪方法的结果。更多图像还可以实现更多地重复使用视角变换。然而，当使用更多图像时，TNF的计算复杂度通常会增加。根据该实施例的图像的范围表示TNF的质量和计算复杂度之间的良好考虑。

根据第一方面的一些实施例，形成第一多个变换图像和形成第二多个变换图像可以包括：基于比较与时间上连续的图像的序列中的每一个图像关联的运动数据，将各图像变换为具有与关联的参考图像相同的视角。

术语“运动数据”可以指与相机相对于其监视的场景的物理运动有关的任何数据或信息。

这样的实施例为执行该方法提供了灵活性，因为可以存在各种类型的运动数据，并且可以应用多种用于确定运动数据的装置。

根据第一方面的一些实施例，与时间上连续的图像的序列中的每一个图像关联的运动数据由运动传感器、加速度计和陀螺仪中的至少一个被确定，或者运动数据基于各图像的图像分析被确定。

当安装在相机上或与相机连接时，加速度计可以提供与相机的运动方向、速度和加速度有关的准确运动数据。当安装在相机上或与相机连接时，陀螺仪可以提供与相机的定向有关的准确运动数据。运动传感器可以提供类似的和/或进一步的运动数据。图像分析可以基于由相机捕获的图像的分析(例如通过比较连续捕获的图像)来提供运动数据。以上确定运动数据的方法可以被组合或彼此组合地执行。

根据第一方面的一些实施例，步骤H可以进一步包括：确定第一多个图像中的至少两个图像之间的视角差，其中，在确定视角差小于或等于预定视角差阈值时，第二参考图像的TNF被执行，并且其中，在确定视角差大于预定视角差阈值时，第二参考图像的TNF不被执行。

如果运动在一定的顺应性范围内，则可以优选仅执行TNF。TNF依赖于平均时间上连续的图像。对包括过多运动的连续图像执行TNF可能会导致图像细节失真。在这种情况下，完全不执行第二轮TNF的效果可能是有利的。此外，只要运动太大，通过基本上不经过其余的降噪步骤，这还可以在减少所需的计算工作量方面提供有益的效果。

根据第一方面的一些实施例，视角差可以基于以下中的至少一个：

在时间上与每一个图像关联的运动数据，其中，运动数据由运动传感器、加速度计或陀螺仪被确定；以及

与在第一多个图像的后续图像之间有多少像素已经改变有关的图像数据。

通过使用除相机之外的另一传感器(诸如，运动传感器、加速度计或陀螺仪)，可以使确定更加可靠，并且不依赖于相机的操作。通过使用相机的图像数据，可以使系统变得不太复杂并且较少依赖于其它传感器。确定在后续的图像之间有多少像素已经改变可以容易提供确定TNF是否被执行的应用性和适用性。

根据第一方面的一些实施例，该方法可以进一步包括：在步骤A之前，针对时间上连续的图像的序列确定捕获条件，其中，在确定捕获条件满足预定捕获条件要求时，仅执行步骤A至步骤J。

如果捕获条件在一定的顺应性范围内，则可以优选仅执行TNF。可以理解，由于预期的图像细节失真，某些图像捕获条件不适合TNF。因此，在执行方法的各步骤之前，检查捕获条件是否良好或至少可接受可能是有利的。与以上实施例类似，只要捕获条件不满足预定的捕获条件要求，则通过基本不执行其余的方法步骤，这也可以在减少所需的计算工作量方面提供有利的效果。

根据第一方面的一些实施例，捕获条件可以通过以下中的至少一个被确定：

由运动传感器、加速度计、陀螺仪或定位装置确定的运动水平；以及

由光传感器或通过图像分析确定的光水平。

如果运动水平太高，则优选不执行方法步骤A至步骤J。这可以被理解为类似于以上讨论的实施例，在运动太大并且预期会使图像细节失真时，不执行第二轮TNF。太高的运动水平可能会降低成功进行视角变换的可行性，即导致变换图像失真。太高的运动水平也可能通过减少时间上连续的图像之间的公共像素的数量来降低成功TNF的可行性。

定位装置(例如，全球导航卫星系统(GNSS)、跟踪器/接收器)可以用于确定运动水平是否太高。这样的装置可以有利地与相机结合使用以确定穿戴者运动的速度。速度可以用于确定穿戴者是否正在例如跑步或散步。例如，如果穿戴者正在散步，步骤A至步骤J可以被执行，但是如果穿戴者正在跑步，由于后一种活动的预期的较高运动水平，步骤A至步骤J可以不被执行。

这还可以基于光水平优选不执行方法步骤A至方法步骤J。当应用于弱光图像时，TNF可能会引起图像细节失真，这就是为什么如果光水平不令人满意则完全避免方法步骤A至方法步骤J可能是良好的原因。另一方面，如果光水平太高，则TNF可能不被需要或不是必须的。因此可以有利地避免TNF。

如果光水平超过预定阈值，则可以进一步确定不需要记录运动水平。因此，用于记录运动、运动数据和/或运动水平的传感器和装置可以被关闭，以节省例如可穿戴相机的电池能量。

光水平和运动水平可以被组合(例如作为品质因数)或者以组合方式被评估，以确定捕获条件。

根据第一方面的一些实施例，捕获条件由光水平确定，光水平由光传感器确定或通过图像分析确定，其中，预定捕获条件要求是低于预定水平的光水平。

在弱光条件下，TNF通常可能更必要。这可能是由于相机或图像传感器在弱光条件下经常表现出较低的信噪比。这样，用于执行方法步骤A至方法步骤J的上限阈值可以是优选的。

根据第一方面的一些实施例，该方法可以进一步包括：在对第一参考图像执行TNF之后，将第一参考图像存储在可穿戴相机的存储器上，以及在对第二参考图像执行TNF之后，将第二参考图像存储在可穿戴相机的存储器上。

因此，已经对其执行了TNF的参考图像可以形成可以被存储在可穿戴相机的存储器上的最终的视频流。

根据第一方面的一些实施例，该方法可以进一步包括：在对第一参考图像执行TNF之后，将第一参考图像从可穿戴相机发送至远端装置，以及在对第二参考图像执行TNF之后，将第二参考图像从可穿戴相机发送至远端装置。

因此，已经对其执行了TNF的参考图像可以形成被发送至远端装置用于显示或存储的最终视频流。有利地，因此参考图像可以不需要长时间存储在可穿戴相机的存储器上。

根据本发明的第二方面，提供了一种包括图像捕获单元和计算单元的可穿戴相机，该可穿戴相机被配置用于：

A.由图像捕获单元捕获时间上连续的图像的序列，

B.由计算单元从时间上连续的图像当中选择第一参考图像，

C.由计算单元从时间上连续的图像当中选择第一多个图像以用于第一参考图像的时间噪声滤波；

D.由计算单元通过将第一多个图像中的每一个变换为具有与第一参考图像相同的视角形成第一多个变换图像；

E.由计算单元使用第一多个变换图像对第一参考图像执行时间噪声滤波TNF，

F.由计算单元从时间上连续的图像当中选择不同的第二参考图像，

G.由计算单元从时间上连续的图像当中选择第二多个图像以用于第二参考图像的时间噪声滤波，其中，第二多个图像中的图像中的至少一个图像还被包括在第一多个图像中，其中，第二多个图像包括第一参考图像，

H.由计算单元确定是否应当执行第二参考图像的TNF，其中，在确定TNF应当被执行时，该可穿戴相机进一步被配置用于：

I.由计算单元通过以下形成第二多个变换图像：

I1.对于第二多个图像中的未被包括在第一多个图像中的每一个图像，将各图像变换为具有与第二参考图像相同的视角；

I2.对于第二多个图像中的还被包括在第一多个图像中的每一个图像，将第一多个变换图像当中的对应的变换图像变换为具有与第二参考图像相同的视角；

J.由计算单元使用第二多个变换图像对第二参考图像执行时间噪声滤波。

第二方面中描述的可穿戴相机与第一方面中描述的方法由于它们的对应特征而提供了类似的优点。可穿戴相机可以被认为是被配置用于实施第一方面的方法的装置。

根据本发明的第三方面，提供了一种非暂时性计算机可读存储介质，具有存储在存储介质上的指令，指令在被具有处理能力的装置执行时实施第一方面的方法。

第三方面中描述的非暂时性计算机可读存储介质提供了与第一方面中描述的方法的优点类似的优点。

本发明进一步的应用范围通过以下给出的具体实施方式将变得显而易见。然而，应当理解，在指示本发明的优选实施例时，仅通过示例给出具体实施方式和特定示例，因为通过这种具体实施方式，本发明的范围内的各个改变和修改对本领域技术人员是显而易见的。

必须指出的是，如说明书和所附权利要求中使用，冠词“一”、“一个”、“所述”和“该”旨在表示存在元素中的一个或多个的意思，除非文本另外清楚指出。因此，例如，参考“单元”或“所述单元”可以包括几个装置等。此外，词语“包括”、“包含”、“含有”和类似词语不排除其它元件或步骤。

附图说明

下面，将参考附图更详细地描述本发明的上述和其它方面。这些附图不应被认为是限制性的；相反，它们应当被认为用于解释和理解目的。

如图所示，可以为了说明的目的而放大层和区域的尺寸，并因此被提供来说明一般结构。贯穿全文，相同的附图标记表示相同的元件。

图1示例性地示出了对由可穿戴相机或云台相机(pan/tilt camera)捕获的时间上连续的图像执行降噪的方法，其中，要进行时间上的噪声滤波的参考图像在时间上位于噪声滤波所基于的多个图像之后。

图2示例性地示出了对由可穿戴相机或云台相机捕获的时间上连续的图像执行降噪的方法，其中，要进行时间上的噪声滤波的参考图像在时间上不位于噪声滤波所基于的多个图像之后。

图3示出了对由可穿戴相机或云台相机捕获的图像执行降噪的方法的流程图。

图4示意性地示出了可选地与远端装置通信的可穿戴相机。

图5示意性地示出了可选地与远端装置通信的云台相机。

具体实施方式

现在将在下文中参考附图更全面地描述本发明，在附图中示出了本发明的当前优选实施例。然而，本发明可以以许多不同的形式来体现，并且不应被解释为限于本文阐述的实施例；相反，提供这些实施例是为了透彻和完整，并将本发明的范围完全传达给技术人员。

图1和图2示出了由可穿戴相机(诸如身体穿戴相机(BWC))捕获的图像中的降噪方法。图3示出了用于由可穿戴相机捕获的图像中的降噪的相同方法的流程图。该方法包括步骤A至步骤J。如图4中所示，该方法可以在可穿戴相机200中实施。

现在将结合图4的可穿戴相机200来解释图1、图2和图3的方法。从图1开始的附图标记(例如113)指图1和图2中示出的图像。从图4开始的附图标记(例如202)指图4中示出的特征。

图1和图2中示出的框表示图像或图像帧。图1和图2包含与何时提供或捕获原始图像(即，时间上连续的图像101、102、103、104)有关的水平时间分量。位于附图中不同水平位置的框指示在不同的时间点处捕获或提供图像。时间t被示出为从附图的左到右前进，即，在所述时间上连续的图像102、103、104的其余部分之前提供或捕获框101(时间上连续的图像中的一个图像)。时间上连续的图像101、102、103、104可以被提供作为来自图像传感器装置的原始格式图像，即，在被提供之前不存在对图像的在先的图像处理。可替代地，在作为输入被提供至该方法之前，可以时间上连续的图像101、102、103、104的图像处理之前进行本方法。前述的图像处理的非限制性示例包括图像数据调整或校正，诸如缺陷像素去除以及列固定图案噪声滤波。换句话说，时间上连续的图像101、102、103、104可以被提供作为原始图像数据或处理的图像数据。然而，应当注意，根据本发明的方法在图像的视频编码处理(即，时间上连续的图像101、102、103、104未被编码/未被视频编码)之前被执行。

图1和图2进一步包含竖直/列分量。位于同一列中的其它图像下面的图像指示该同一列中上面图像的被选择、处理、变换或滤波的版本。这些下面的图像不必对应于处理/变换等的任何时间顺序，并且可以在任意时间点处被处理/变换等。这些图像应当被理解为主要基于它们上面的时间上连续的图像101、102、103、104。

在图1和图2中，时间上连续的图像101、102、103、104被提供在顶行中。这应当被理解为与图3中的方法的步骤A对应。

应当注意，在本发明的第二方面(即提供可穿戴相机200的方面)中的步骤A指定：可穿戴相机200被配置用于在第一方面(即提供方法(图3中示出)的方面)中的步骤A指定提供时间上连续的图像101、102、103、104的序列时，由图像捕获单元202捕获时间上连续的图像101、102、103、104的序列。这两个方面仍然可以被认为是彼此相关的。在第一方面的方法不需要相机本身来捕获时间上连续的图像101、102、103、104时，第二方面的可穿戴相机200使用其自己的图像捕获单元202来捕获时间上连续的图像101、102、103、104的序列。该方法可以在捕获图像的可穿戴相机200远程执行，因此仅需要提供时间上连续的图像101、102、103、104。

该方法可以由可穿戴相机200执行或在可穿戴相机200中执行。步骤A可以由可穿戴相机200的图像捕获单元202执行。步骤B至步骤J可以由可穿戴相机200的捕获单元204执行。

在所述时间上连续的图像101、102、103、104当中选择第一参考图像113。这应当被理解为对应于步骤B。第一参考图像113应当被理解为这样的图像，该图像应当使用TNF被滤波。在图1中，从时间上连续的图像101、102、103、104中选择图像103作为第一参考图像113。在图2中，从时间上连续的图像101、102、101、104中选择图像101作为第一参考图像113。

为了帮助TNF，时间上连续的图像101、102、103、104当中的第一多个图像121、122被选择用于第一参考图像113的时间噪声滤波。这应当被理解为对应于步骤C。在图1中，第一多个图像121、122被示出为在时间上在所选择的第一参考图像113之前，对应于时间上连续的图像101、102、103、104中的图像101和102。在图2中，第一多个图像121、122被示出为在时间上在所选择的第一参考图像113之后，对应于时间上连续的图像102、103、103、104中的图像102和103。存在其它实施例，其中，从第一参考图像113之前和之后的图像中选择第一多个图像121、122。可能有利的是，第一多个图像121、122可以包括4至8个图像。为了帮助对一般概念的理解，图1和图2示出包括两个图像的第一多个图像121、122。熟悉TNF的技术人员具有将本文公开的概念应用于任何(合理)数量的图像的知识。

在已经选择第一多个图像121、122之后，通过将第一多个图像121、122中的每一个图像变换为具有与第一参考图像113相同的视角来形成第一多个变换图像131、132。这应当被理解为对应于步骤D。

可以使用单应性来执行变换步骤D。变换步骤D可以包括基于两个不同图像中的对应候选点对来计算单应性。对于单应性，出于产生单应性矩阵的目的，在不同时间点处捕获的图像可以被认为是从立体相机布置中的不同相机捕获的图像。

变换步骤D可以基于比较与时间上连续的图像101、102、103、104的序列中的每一个图像关联的运动数据。与时间上连续的图像101、102、103、104的序列中的每一个图像关联的运动数据可以由运动传感器210、加速度计211和/或陀螺仪212确定。运动数据可以可替代地或附加地基于时间上连续的图像101、102、103、104的图像分析来确定。

运动数据可以涉及可穿戴相机200的运动或可穿戴相机200的穿戴者的运动。运动数据可以包括运动的加速度、速度和/或方向。运动数据可以包括可穿戴相机200的定向和/或位置或者可穿戴相机200的穿戴者的定向和/或位置。运动数据可以包括与可穿戴相机200的旋转运动有关的数据。运动数据可以包括与可穿戴相机200的摔倒/盘旋、移动/偏航、倾斜/纵摇和/或滚动有关的数据。运动数据可以包括与可穿戴相机200的平移运动有关的数据。运动数据可以包括与相机的轨道、平台车、基座/吊杆/悬臂和/或卡车/起重机有关的数据。

在图1和图2中，标记为PT的框指示正在执行视角变换。这是通过将基础图像变换为具有与来自由指向PT框的虚线箭头指示的不同竖直列的图像相同的视角来工作。基础图像被示出为用实线箭头通过PT框进行变换。有时，同一PT框可以用于变换几个图像，就像第二多个图像152、153的图像被变换以形成第二多个变换图像162、163时的情况一样(进一步参见下文)。在这种情况下，图像152可以被理解为变换图像162的基础图像。这种相同的逻辑可以应用于图像153及其变换的对应图像163。

在形成第一多个变换图像131、132之后，可以使用第一多个变换图像131、132来执行第一参考图像113的TNF。这应当被理解为对应于图3中的步骤E。

在图1和图2中，标记为TNF的框指示正在执行时间噪声滤波步骤。在这些情况下，要执行噪声滤波的基础图像由虚线箭头指示。指向TNF框的虚线箭头指示在时间噪声滤波处理中使用的来自不同竖直列的图像。TNF处理可以例如包括对在不同时间点处捕获的图像中的图像内容进行平均。通常，这些附图示例性地描述在执行时间噪声滤波之前将图像变换为具有相同的视角。

在附图中，在执行TNF步骤之前和之后，附图标记可以是相同的。这可能是由于第一参考图像113和第二参考图像144在噪声滤波步骤之前/之上是原始的/未被滤波，并且在噪声滤波步骤之后/之下基本是相同的图像，尽管理想地具有较少的噪声。对于该方法的后续步骤，即从步骤F开始，可以使用原始的/未被滤波的或时间噪声滤波的参考图像113、144。

在对第一参考图像113执行TNF之后，可以在所述时间上连续的图像当中选择不同的第二参考图像144。这应当被理解为对应于图3中的步骤F。第二参考图像144不同于第一参考图像113。类似于第一参考图像113，第二参考图像144应当被理解为这样的图像，该图像应当使用TNF被滤波。

在图1的实施例中，从时间上连续的图像101、102、104、104中选择图像104作为第二参考图像144。在图2的实施例中，从时间上连续的图像101、102、102、104中选择图像102作为第二参考图像144。

为了再次帮助TNF，时间上连续的图像101、102、103、104中的第二多个图像152、153被选择为用于第二参考图像144的时间噪声滤波。然而，这次，第二多个图像152、153中的图像152中的至少一个图像还被包括在第一多个图像121、122中。第二多个图像152、153还包括第一参考图像113。这应当被理解为对应于图3中的步骤G。在图1的实施例中，第二多个图像152、153被示出为在时间上在所选择的第二参考图像144之前，对应于时间上连续的图像102、103、103、104中的图像102和103。在图2的实施例中，第二多个图像152、153中的图像被示出为在时间上在第二参考图像144的之前和之后，对应于时间上连续的图像101、103、103、104中的图像101和103。存在其它实施例，其中，第二多个图像152、153中的图像都在第二参考图像144之后。第二多个图像152、153可以包括4至8个图像。图1和图2示出了其中，第二多个图像152、153包括2个图像的实施例。

如所公开，第二多个图像152、153中的图像152中的至少一个还被包括在第一多个图像121、122中。这可以被理解为参考基于时间上连续的图像101、102、103、104中的所选择的相同图像的任何对应图像。在图1的情况下，这应当被理解为基于图像101和102的任何图像。例如，第一多个变换图像131、132中的一个或多个图像还可以被选择用于第二多个图像152、153，如图1所示，其中，变换图像132被选择作为第二多个图像中的图像152。

该方法包括确定第二参考图像的TNF是否应当被执行的步骤。这应当被理解为对应于图3中的步骤H。步骤H可以在选择第二多个图像152、153之后执行。

步骤H可以包括确定第一多个图像121、122中的至少两个图像之间的视角差。可替代地，可以基于时间上连续的图像101、102、103、104中的任何图像来确定视角差。在确定视角差小于或等于预定视角差阈值时，第二参考图像144的TNF可以被执行。在确定视角差大于预定视角差阈值时，第二参考图像144的TNF不应当被执行。在这种情况下，步骤H可以在步骤F和G之前执行。如果确定第二参考图像144的TNF不被执行，步骤F和步骤G可以从方法中一起被省略。

步骤H可以包括确定第二多个图像121、122中的至少两个图像之间的视角差。在确定视角差小于或等于预定视角差阈值时，第二参考图像144的TNF可以被执行。在确定视角差大于预定视角差阈值时，第二参考图像144的TNF不应当被执行。

视角差可以基于与每一个图像在时间上关联的运动数据。运动数据可以由运动传感器210、加速度计211和/或陀螺仪212被确定。视角差可以基于与在第一多个图像121、122的后续图像之间，在第二多个图像152、153的后续图像之间，或者在所述时间上连续的图像101、102、103、104中的后续图像之间有多少像素已经被直接或以其它方式改变有关的图像数据。

预定的视角差阈值可以与以下区别有关：运动数据或图像数据是否被期望是相机200的穿戴者执行诸如跑步、散步或呼吸的动作的结果。在一个实施例中，在确定某些类型的低活动性动作(诸如散步和/或呼吸)时，TNF被执行，并且在确定某些类型的高活动性动作(诸如跑步)时，TNF不被执行。

运动数据可以定期被确定，并对其进行评估，以确定是否应当执行TNF。运动数据可以以与每秒帧数FPS的值匹配的速率被确定，在该速率下，可穿戴相机200获取时间上连续的图像101、102、103、104。FPS的值可以优选在1-60的范围内，并且更优选在20-40的范围内。

在步骤H期间确定第二参考图像144的TNF不应当被执行时，方法可以在步骤H之后终止。这将意味着步骤I至步骤J不被执行。在这种情况下，方法可以在步骤A处重新开始。

在步骤H期间确定第二参考图像144的TNF应当被执行，方法可以如图3所示以步骤I至步骤J进行。

该方法通过形成第二多个变换图像162、163进行。这应当被理解为对应于步骤I。步骤I包括两个局部步骤，这取决于在该方法中在先如何使用为第二多个图像152、153选择的图像。

第二多个图像152、153中的未被包括在第一多个图像121、122中的每一个图像153被变换为具有与第二参考图像144相同的视角，从而形成变换图像163。这应当被理解为对应于局部步骤I1。

对于第二多个图像152、152中的也被包括在第一多个图像121、122中的每一个图像152，对应的变换图像132(在图3的步骤D中被变换)被变换为具有与第二参考图像144相同的视角，从而形成变换图像162。这应当被理解为对应于局部步骤I2。变换图像132应当被理解为在时间上对应于图像122和图像152。

在图1中，这种对应关系与它们如何全部从时间上连续的图像101、102、103、104的图像102中导出有关。在图2中，图像122、132和152都从时间上连续的图像101、102、103、104的图像103中导出。第二多个变换图像162、163的形成细节可以类似于上面讨论的例如关于使用单应性计算和运动数据的第一多个变换图像131、132(步骤D)的形成细节。

根据该方法，当形成第二多个变换图像162、163时，相同的视角变换可以有利地用于第二多个图像152、153中的至少两个图像。

为了总结图1和图2之间的差异，这些实施例在图1和图2中的第一多个图像和第二多个图像121、122、152、153以及它们对应的参考图像113、144的时序或顺序略有不同。

图1示出了在时间上在第一参考图像113之前的第一多个图像121、122中的每一个图像，以及在时间上在第二参考图像144之前的第二多个图像152、153中的每一个图像。

图2指示替代实施例，其中，第一参考图像113在时间上在第一多个图像121、122之前。尽管在图2中未示出，但是第二参考图像144可以类似地在时间上在第二多个图像152、153之前。

图2指示第二参考图像144可以在时间上被夹在第二多个图像帧152、153的图像之间。类似地，第二参考图像113可以在时间上被夹在第一多个图像帧121、122的图像之间。

在形成第二多个变换图像162、163之后，使用第二多个变换图像162、163对第二参考图像144执行TNF。与对第二参考图像144执行TNF有关的细节可以类似于以上讨论的与对第一参考图像113执行TNF(步骤E)有关的细节。

该方法可以用于形成时间噪声滤波的视频流。在这种情况下，参考图像113、144将形成视频流。每个参考图像113、144可以与视频流中的不同时间点关联。

如图4中所示，该方法可以在可穿戴相机200中实施。然而，如上所述，该方法也可以在可穿戴相机200外部的装置中执行。

该方法可以包括：在步骤A之前，确定用于时间上连续的图像101、102、103、104的序列的捕获条件。在这种情况下，仅在确定捕获条件满足预定捕获条件要求时才执行步骤A至步骤J。因此，可以认为方法步骤A至方法步骤J被延迟直到满足要求。

可以由运动水平来确定捕获条件。运动水平可以由运动传感器210、加速度计211、陀螺仪212和/或定位装置213被确定。可以由光水平确定来捕获条件。光水平由光传感器220或通过图像分析被确定。

预定捕获条件要求可以是低于预定水平的光水平的要求。这样的预定水平可以在50-200lux的范围内。预定水平可以更优选在75-125lux的范围内，例如100lux。较高的光水平值可与较少的噪声关联，因此减轻了这些较高的光水平值对TNF的需求。

预定捕获条件要求可以是高于预定水平的光水平的要求。预定捕获条件要求可以进一步包括最低可接受光水平和最高可接受光水平。预定捕获条件要求可以包括中间光水平排除范围，其中，该范围之外的光水平是可接受的。

该方法可以进一步包括：在对第一参考图像113执行TNF之后，将第一参考图像113存储在可穿戴相机200的存储器206上。该方法可以包括：在对第二参考图像144执行TNF之后，将第二参考图像144存储在可穿戴相机200的存储器206上。

该方法可以进一步包括：在将时间上连续的图像101、102、103、104中的一个图像变换为具有与第一参考图像113或第二参考图像144相同的视角之后，从可穿戴相机200的存储器206中删除时间上连续的图像101、102、103、104中的该一个图像。

该方法可以进一步包括：在对第一参考图像113执行TNF之后，将第一参考图像113从可穿戴相机200发送至远端装置230。该方法可以包括：在对第二参考图像144执行TNF之后，将第二参考图像144从可穿戴相机200发送至远端装置230。

该方法可以由计算机、解码器或具有处理能力的另一装置来实施。非暂时性计算机可读存储介质可以提供有存储在该存储介质上的指令，指令在由具有处理能力的装置执行时实施该方法。

图4示出了包括图像捕获单元202和计算单元204的可穿戴相机200。可穿戴相机200可以被配置用于执行上述方法和方法步骤。

图像捕获单元202可以被理解为能够捕获图像的任何装置。图像捕获单元202可以包括电荷耦合装置(CCD)、图像传感器或基于互补金属氧化物半导体(CMOS)的有源像素图像传感器。

计算单元204可以包括能够执行根据该方法的处理和计算的任何装置。计算单元本身可以包括用于执行方法的不同动作或步骤的几个子单元。

可穿戴相机200可以由可穿戴相机的穿戴者穿戴。可穿戴相机200的穿戴者可以是人类。可穿戴相机200的穿戴者可以是执法专业人员。可穿戴相机200的穿戴者的进一步示例包括安全人员以及在危险环境(例如，道路施工现场)中执行活动的个人。可穿戴相机200的穿戴者可以是出于美学、纪录片、运动或娱乐目的进行记录的专业的或业余的摄影师/摄像机操作者。对于一些用途(例如，由执法专业人员使用)，可能更期望相机电池的使用寿命和细节捕获质量。对于其它用途(例如，娱乐/美学目的)，可能更期望颜色捕获和认知上的观看便利性。

可替代地，穿戴者可以是动物，诸如例如狗、猫或马。穿戴者可以是服务型动物，诸如例如执法动物。执法动物可以包括例如被训练以检测非法物质的警犬，或者被部署用于人群控制任务的警用马。穿戴者可以是猎犬。穿戴者可以是被提供有用于监视或科学目的的可穿戴相机200的野生动物。穿戴者可以是宠物。穿戴者可以被提供有可穿戴相机200，以防止穿戴者逃跑、迷路或受伤。

可穿戴相机200可以被安装在穿戴者的皮带或背带上。可替代地，可穿戴相机200可以固定地安装在一件衣服上，或者在诸如头盔或背心的保护装置上。

如图4中所示，可穿戴相机200可以包括运动传感器210，该运动传感器210被配置为确定可穿戴相机200的任何类型的运动。如图4中所示，可穿戴相机200可以包括加速度计211，该加速度计211被配置为确定可穿戴相机200的加速度、速度和/或运动方向。如图4中所示，可穿戴相机200可以包括陀螺仪212，该陀螺仪212被配置为确定可穿戴相机200的定向。如图4中所示，可穿戴相机200可以包括定位装置213，该定位装置213被配置为确定可穿戴相机200的位置、速度和/或运动方向。定位装置213可以包括GNSS传感器或接收器。定位装置213可以包括惯性导航系统。可穿戴相机200可以包括被配置为确定相机的定向的指南针。如图4中所示，可穿戴相机200可以包括光传感器220(光电探测器)，该光传感器220被配置为确定可穿戴相机200的光条件或光水平。如图4中所示，可穿戴相机200可以被配置为与远端装置230通信。通信可以是无线的或有线的。

本公开进一步涉及云台相机，并且特别涉及用于降低由云台相机捕获的图像中的噪声的方法。

云台相机可能会出现针对可穿戴相机公开的类似问题。

本公开的目的是至少减轻上述问题中的一些并且为云台相机提供改进的降噪。

根据本公开的第四方面，提供了一种降低由云台相机捕获的图像中的噪声的方法，该方法包括：

A.提供时间上连续的图像的序列，

B.在所述时间上连续的图像当中选择第一参考图像，

C.在所述时间上连续的图像当中选择第一多个图像以用于第一参考图像的时间噪声滤波，

D.通过将第一多个图像中的每一个变换为具有与第一参考图像相同的视角来形成第一多个变换图像，

E.使用第一多个变换图像对第一参考图像执行时间噪声滤波TNF，

F.在所述时间上连续的图像当中选择不同的第二参考图像，

G.在所述时间上连续的图像当中选择第二多个图像以用于第二参考图像的时间噪声滤波，其中，第二多个图像中的图像中的至少一个图像还被包括在第一多个图像中，其中，第二多个图像包括第一参考图像，

H.确定是否应当执行第二参考图像的TNF，其中，在确定TNF应当被执行时，该方法进一步包括：

I.通过以下形成第二多个变换图像：

I1.对于第二多个图像中的未被包括在第一多个图像中的每一个图像，将该图像变换为具有与第二参考图像相同的视角；

I2.对于第二多个图像中的还被包括在第一多个图像中的每一个图像，将第一多个变换图像中的对应的变换图像变换为具有与第二参考图像相同的视角；

J.使用第二多个变换图像对第二参考图像执行时间噪声滤波TNF。

术语“云台相机”可以被理解为在使用时被配置为固定安装并且可以平移和倾斜的相机，从而捕获不同视场。用于监视或监控的固定安装的云台相机(其可以被手动或自动控制来平移和/或倾斜以捕获不同视场)应当被认为是术语云台相机的非限制性示例。云台相机还可以包括变焦功能，并且然后可以被称为云台变焦相机(pan-tilt-zoom camera)或PTZ相机。

术语“时间上连续的图像”可以被理解为在不同时间点处连续捕获的图像或图像帧。换句话说，与第二图像的捕获时间相比，第一图像在时间上被在先捕获，与第三图像的捕获时间相比，第二图像在时间上反过来被在先捕获，等等。图像或图像帧可以一起形成时间上连续的图像的序列或视频流的图像帧的序列。

术语“将……图像转换为具有相同视角”可以指对图像进行变换或创建图像的投影，就好像是使用与捕获另一图像时相同的方式定位和定向的相机捕获该图像一样。该措词应当被理解为是指基本相同的视角。实现视角变换的各种方式可以包括使用单应性和图像投影。来自诸如例如加速度计和陀螺仪的传感器的读数可以用于进行视角变换。视角变换可以包括基于两个不同图像中的对应候选点对来计算单应性。

注意，步骤A至步骤J可不需要在时间上以本公开中呈现的顺序执行。步骤I1和步骤I2应当都被理解为步骤I的一部分。

上述方法提供了一种优化由云台相机捕获的图像的TNF的方式。特别地，该方法可以减少计算工作量和能量使用。这通过创建处理流程来实现，在该处理流程中，当形成第二多个变换图像时，第二变换步骤可以受益于能够对至少两个图像重复使用相同的视角变换。这应当理解为这样的情况，由于第一多个变换图像中的至少一个和第一参考图像存在于第二多个图像中，在将这些图像变换为与第二参考图像相同的视角时能够使用相同的视角变换。这意味着在产生第二多个变换图像时，可需要计算/确定较少的新的视角变换。此外，用于执行视角变换的指令的重复使用可以减少变换图像所需的存储量或高速缓存存储量。

应当以这样的方式来理解本公开：例如对于包括大量时间上连续的图像的视频流，有利地实现更多地重复使用视角变换。

当通过连续迭代扩大处理时，工作量减少的收益将变得更加重要，在对连续图像流(即，视频)执行该方法时的情况就是这样。

根据第四方面的一些实施例，该方法可以进一步包括：在将时间上连续的图像中的一个图像变换为具有与第一参考图像或第二参考图像相同的视角之后，从云台相机的存储器中删除时间上连续的图像中的该一个图像。

这样的实施例的有利效果可以是减少计算机存储器要求的效果。这是可能的，因为根据该方法，一旦原始视角图像已经被变换为另一图像视角的特征，它们就可能是多余的，因为如果需要对时间上连续的图像中的其它图像执行TNF(参见，例如步骤I2)，变换图像实际上被使用。

根据第四方面的一些实施例，第一多个图像中的每一个图像在时间上可以在第一参考图像之前，并且第二多个图像中的每一个图像在时间上可以在第二参考图像之前。

通过这样的实施例，可以减少时延。之所以这样，是因为仅时间上在先的图像信息用于参考图像的TNF，这意味着减少了提供图像和对该图像执行TNF之间的延迟。当该方法被应用于实时视频流时，减少时延可以特别有利。

根据第四方面的一些实施例，第一多个图像可以包括4至8个图像，并且第二多个图像可以包括4至8个图像。

通常，用于TNF的图像越多可以改善降噪方法的效果。更多图像还可以实现更多地重复使用视角变换。然而，当使用更多图像时，TNF的计算复杂度通常会增加。根据该实施例的图像的范围表示TNF的质量和计算复杂度之间的良好考虑。

根据第四方面的一些实施例，形成第一多个变换图像和形成第二多个变换图像可以包括：基于比较与时间上连续的图像的序列中的每一个图像关联的运动数据，将各图像变换为具有与关联的参考图像相同的视角。

术语“运动数据”可以指与相机相对于其监视的场景的物理运动有关的任何数据或信息。

这样的实施例为执行该方法提供了灵活性，因为可以存在各种类型的运动数据，并且可以应用多种用于确定运动数据的装置。

根据第四方面的一些实施例，与时间上连续的图像的序列中的每一个图像关联的运动数据可以是云台数据(pan/tilt data)，包括与时间上连续的图像的序列中的每一个图像关联的云台相机的平移和倾斜的值。与图像关联的平移和倾斜的值可以是绝对值(即，相对于参考云台相机固定的坐标系的值)或者相对值(即，相对于与不同图像关联的云台相机的平移和倾斜的相对值)。

根据第四方面的一些实施例，步骤H可以进一步包括：确定第一多个图像中的至少两个图像之间的视角差，其中，在确定视角差小于或等于预定视角差阈值时，第二参考图像的TNF被执行，并且其中，在确定视角差大于预定视角差阈值时，第二参考图像144的TNF不被执行。

如果运动在一定的顺应性范围内，则可以优选仅执行TNF。TNF依赖于平均时间上连续的图像。对包括过多运动的连续图像执行TNF可能会导致图像细节失真。在这种情况下，完全不执行第二轮TNF的效果可能是有利的。此外，只要运动太大，通过基本上不经过其余的降噪步骤，这还可以在减少所需的计算工作量方面提供有益的效果。

根据第四方面的一些实施例，视角差基于在时间上与每一个图像关联的云台数据，云台数据包括与时间上连续的图像的序列中的每一个图像关联的云台相机的平移和倾斜的值。

与图像关联的云台相机的平移和倾斜的值可以相对于参考云台相机固定的坐标系，或者可以相对于与不同图像关联的云台相机的平移和倾斜。

通过使用包括云台相机的平移和倾斜的值的云台数据，可以非常精确地确定视角差。

根据第四方面的一些实施例，该方法可以进一步包括：在步骤A之前，针对时间上连续的图像的序列确定捕获条件，其中，在确定捕获条件满足预定捕获条件要求时，仅执行步骤A至步骤J。

如果捕获条件在一定的顺应性范围内，则可以优选仅执行TNF。可以理解，由于预期的图像细节失真，某些图像捕获条件不适合TNF。因此，在执行方法的各步骤之前，检查捕获条件是否良好或至少可接受可能是有利的。与以上实施例类似，只要捕获条件不满足预定的捕获条件要求，则通过基本不执行其余的方法步骤，这也可以在减少所需的计算工作量方面提供有利的效果。

根据第四方面的一些实施例，捕获条件通过以下中的至少一个被确定：

由包括与不同时间点关联的云台相机的平移和倾斜的值的云台数据确定的运动水平；以及

由光传感器或通过图像分析确定的光水平。

如果运动水平太高，则优选不执行方法步骤A至步骤J。这可以被理解为类似于以上讨论的实施例，在运动太大并且预期会使图像细节失真时，不执行第二轮TNF。太高的运动水平可能会降低成功进行视角变换的可行性，即导致变换图像失真。太高的运动水平也可能通过减少时间上连续的图像之间的公共像素的数量来降低成功TNF的可行性。

这还可以基于光水平优选不执行方法步骤A至方法步骤J。当应用于弱光图像时，TNF可能会引起图像细节失真，这就是为什么如果光水平不令人满意则完全避免方法步骤A至方法步骤J可能是良好的原因。另一方面，如果光水平太高，则TNF可能不被需要或不是必须的。因此可以有利地避免TNF。

如果光水平超过预定阈值，则可以进一步确认不需要记录运动水平。因此，用于记录运动、运动数据和/或运动水平的传感器和装置可以被关闭，以减少能量消耗。

光水平和运动水平可以被组合(例如作为品质因数)或者以组合方式被评估，以确定捕获条件。

根据第四方面的一些实施例，捕获条件由光水平确定，光水平由光传感器确定或通过图像分析确定，其中，预定捕获条件要求是低于预定水平的光水平。

在弱光条件下，TNF通常可能更必要。这可能是由于相机或图像传感器在弱光条件下经常表现出较低的信噪比。这样，用于执行方法步骤A至方法步骤J的上限阈值可以是优选的。

根据第四方面的一些实施例，该方法可以进一步包括：在对第一参考图像执行TNF之后，将第一参考图像存储在云台相机的存储器上，以及在对第二参考图像执行TNF之后，将第二参考图像存储在云台相机的存储器上。

因此，已经对其执行了TNF的参考图像可以形成可以被存储在云台相机的存储器上的最终的视频流。

根据第四方面的一些实施例，该方法可以进一步包括：在对第一参考图像执行TNF之后，将第一参考图像从云台相机发送至远端装置，以及在对第二参考图像执行TNF之后，将第二参考图像从云台相机发送至远端装置。

因此，已经对其执行了TNF的参考图像可以形成被发送至远端装置用于显示或存储的最终的视频流。有利地，因此参考图像可以不需要长时间存储在云台相机的存储器上。

根据本公开的第五方面，提供了一种包括图像捕获单元和计算单元的变焦云台相机，该云台相机被配置用于：

a.由图像捕获单元捕获时间上连续的图像的序列，

b.由计算单元从时间上连续的图像当中选择第一参考图像，

c.由计算单元从时间上连续的图像当中选择第一多个图像以用于第一参考图像的时间噪声滤波；

d.由计算单元通过将第一多个图像中的每一个变换为具有与第一参考图像相同的视角形成第一多个变换图像；

e.由计算单元使用第一多个变换图像对第一参考图像执行时间噪声滤波TNF，

f.由计算单元从时间上连续的图像当中选择不同的第二参考图像，

g.由计算单元从时间上连续的图像当中选择第二多个图像以用于第二参考图像的时间噪声滤波，其中，第二多个图像中的图像中的至少一个图像还被包括在第一多个图像中，其中，第二多个图像包括第一参考图像，

h.由计算单元确定是否应当执行第二参考图像的TNF，其中，在确定TNF应当被执行时，云台相机进一步被配置用于：

i.由计算单元通过以下形成第二多个变换图像：

i1.对于第二多个图像中的未被包括在第一多个图像中的每一个图像，将各图像变换为具有与第二参考图像相同的视角；

i2.对于第二多个图像中的还被包括在第一多个图像中的每一个图像，将第一多个变换图像当中的对应的变换图像变换为具有与第二参考图像相同的视角；

j.由计算单元使用第二多个变换图像对第二参考图像执行时间噪声滤波。

第五方面中描述的云台相机与第四方面中描述的方法由于它们的对应特征而提供了类似的优点。云台相机可以被认为是被配置用于实施第四方面的方法的装置。

根据本公开的第六方面，提供了一种非暂时性计算机可读存储介质，具有存储在该存储介质上的指令，指令在被具有处理能力的装置执行时实施第四方面的方法。

第六方面中描述的非暂时性计算机可读存储介质提供了与第四方面中描述的方法的优点类似的优点。

现在将在下文中参考图1、图2、图3和图5更全面地描述本公开的第四、第五和第六方面，其中，当前优选的实施例与本公开的第四、第五和第六方面相关。然而，这些方面可以以许多不同的形式来体现，并且不应被解释为限于本文阐述的实施例；相反，提供这些实施例是为了透彻和完整，并将这些方面的范围完全传达给技术人员。

图1和图2示出了降低由云台相机捕获的图像中的噪声的方法。图3示出了用于降低由云台相机捕获的图像中的噪声的相同方法的流程图。该方法包括步骤A至步骤J。该方法可以在如图5所示的云台相机300中实施。

现在将结合图5的云台相机300来解释图1、图2和图3的方法。从图1开始的附图标记(例如113)指图1和图2中示出的图像。从图5开始的附图标记(例如302)指图5中示出的特征。

图1和图2中示出的框表示图像或图像帧。图1和图2包含与何时提供或捕获原始图像(即，时间上连续的图像101、102、103、104)有关的水平时间分量。位于附图中不同水平位置的框指示在不同的时间点处捕获或提供图像。时间t被示出为从附图的左到右前进，即，在所述时间上连续的图像102、103、104的其余部分之前提供或捕获框101(时间上连续的图像中的一个图像)。时间上连续的图像101、102、103、104可以被提供作为来自图像传感器装置的原始格式图像，即，在被提供之前不存在对图像的在先的图像处理。可替代地，在作为输入被提供至该方法之前，可以时间上连续的图像101、102、103、104的图像处理之前进行本方法。前述的图像处理的非限制性示例包括图像数据调整或校正，诸如缺陷像素去除以及列固定图案噪声滤波。换句话说，时间上连续的图像101、102、103、104可以被提供作为原始图像数据或处理的图像数据。然而，应当注意，根据本发明的方法在图像的视频编码处理(即，时间上连续的图像101、102、103、104未被编码/未被视频编码)之前被执行。

图1和图2进一步包含竖直/列分量。位于同一列中的其它图像下面的图像指示该同一列中上面图像的被选择、处理、变换或滤波的版本。这些下面的图像不必对应于处理/变换等的任何时间顺序，并且可以在任意时间点处被处理/变换等。这些图像应当被理解为主要基于它们上面的时间上连续的图像101、102、103、104。

在图1和图2中，时间上连续的图像101、102、103、104被提供在顶行中。这应当被理解为与图3中的方法的步骤A对应。

应当注意，相对于本公开的第五方面(即提供云台相机300的方面)的步骤A指定：云台相机300被配置用于在第四方面(即提供方法(图3中示出)的方面)中的步骤A指定提供时间上连续的图像101、102、103、104的序列时，由图像捕获单元302来捕获时间上连续的图像101、102、103、104的序列。这两个方面仍然可以被认为是彼此相关的。在第四方面的方法不需要相机本身来捕获时间上连续的图像101、102、103、104时，第五方面的云台相机300使用其自己的图像捕获单元302来捕获时间上连续的图像101、102、103、104的序列。该方法可以由捕获图像的云台相机300远程执行，因此仅需要提供时间上连续的图像101、102、103、104。

该方法可以由可云台相机300执行或在云台相机300中执行。步骤A可以由云台相机300的图像捕获单元302执行。步骤B至步骤J可以由云台相机300的捕获单元304执行。

在所述时间上连续的图像101、102、103、104当中选择第一参考图像113。这应当被理解为对应于步骤B。第一参考图像113应当被理解为这样的图像，该图像应当使用TNF被滤波。在图1中，从时间上连续的图像101、102、103、104中选择图像103作为第一参考图像113。在图2中，从时间上连续的图像101、102、101、104中选择图像101作为第一参考图像113。

为了帮助TNF，时间上连续的图像101、102、103、104当中的第一多个图像121、122被选择用于第一参考图像113的时间噪声滤波。这应当被理解为对应于步骤C。在图1中，第一多个图像121、122被示出为在时间上在所选择的第一参考图像113之前，对应于时间上连续的图像101、102、103、104中的图像101和102。在图2中，第一多个图像121、122被示出为在时间上在所选择的第一参考图像113之后，对应于时间上连续的图像102、103、103、104中的图像102和103。存在其它实施例，其中，从第一参考图像113之前和之后的图像中选择第一多个图像121、122。可能有利的是，第一多个图像121、122可以包括4至8个图像。为了帮助对一般概念的理解，图1和图2示出包括两个图像的第一多个图像121、122。熟悉TNF的技术人员具有将本文公开的概念应用于任何(合理)数量的图像的知识。

在已经选择第一多个图像121、122之后，通过将第一多个图像121、122中的每一个图像变换为具有与第一参考图像113相同的视角来形成第一多个变换图像131、132。这应当被理解为对应于步骤D。

可以使用单应性来执行变换步骤D。变换步骤D可以包括基于两个不同图像中的对应候选点对来计算单应性。对于单应性，出于产生单应性矩阵的目的，在不同时间点处捕获的图像可以被认为是从立体相机布置中的不同相机捕获的图像。

变换步骤D可以基于比较与时间上连续的图像101、102、103、104的序列中的每一个图像关联的运动数据。与时间上连续的图像101、102、103、104的序列中的每一个图像关联的运动数据可以是包括与时间上连续的图像的序列中的每一个图像关联的云台相机300的平移和倾斜的值的云台数据。

通过将在捕获第一参考图像113时的云台相机300的平移和倾斜的值与在捕获第一多个图像121、122中的每一个图像时的云台相机300的平移和倾斜的值进行比较，变换可以被确定为将第一多个图像121、122中的每一个变换为具有与第一参考图像113相同的视角，从而形成第一多个变换图像131、132。

云台数据可以从云台控制器(诸如计算单元304中的云台控制功能)获得，以控制云台相机进行预期的平移和倾斜。包括与图像关联的云台相机的平移和倾斜的值的云台数据可以与根据在捕获图像时的云台相机300的预期的平移和倾斜的云台相机300的平移和倾斜的值有关。通过如在来自云台传感器的反馈中所指示的、在捕获图像时由云台传感器识别的与期望的平移和倾斜的偏差，可以进一步校正云台数据。

与图像关联的平移和倾斜的值可以是绝对值(即，相对于参考云台相机固定的坐标系的值)或者相对值(即，相对于与不同图像关联的云台相机的平移和倾斜的相对值)。

在图1和图2中，标记为PT的框指示正在执行视角变换。这是通过将基础图像变换为具有与来自由指向PT框的虚线箭头指示的不同竖直列的图像相同的视角来工作。基础图像被示出为用实线箭头通过PT框进行变换。有时，同一PT框可以用于变换几个图像，就像第二多个图像152、153的图像被变换以形成第二多个变换图像162、163时的情况一样(进一步参见下文)。在这种情况下，图像152可以被理解为变换图像162的基础图像。这种相同的逻辑可以应用于图像153及其变换的对应图像163。

在形成第一多个变换图像131、132之后，可以使用第一多个变换图像131、132来执行第一参考图像113的TNF。这应当被理解为对应于图3中的步骤E。

在图1和图2中，标记为TNF的框指示正在执行时间噪声滤波步骤。在这些情况下，要执行噪声滤波的基础图像由虚线箭头指示。指向TNF框的虚线箭头指示在时间噪声滤波处理中使用的来自不同竖直列的图像。TNF处理可以例如包括对在不同时间点处捕获的图像中的图像内容进行平均。通常，这些附图示例性地描述在执行时间噪声滤波之前将图像变换为具有相同的视角。

在附图中，在执行TNF步骤之前和之后，附图标记可以是相同的。这可能是由于第一参考图像113和第二参考图像144在噪声滤波步骤之前/之上是原始的/未被滤波，并且在噪声滤波步骤之后/之下基本是相同的图像，尽管理想地具有较少的噪声。对于该方法的后续步骤，即从步骤F开始，可以使用原始的/未被滤波的或时间噪声滤波的参考图像113、144。

在对第一参考图像113执行TNF之后，可以在所述时间上连续的图像当中选择不同的第二参考图像144。这应当被理解为对应于图3中的步骤F。第二参考图像144不同于第一参考图像113。类似于第一参考图像113，第二参考图像144应当被理解为这样的图像，该图像应当使用TNF被滤波。

在图1的实施例中，从时间上连续的图像101、102、104、104中选择图像104作为第二参考图像144。在图2的实施例中，从时间上连续的图像101、102、102、104中选择图像102作为第二参考图像144。

为了再次帮助TNF，时间上连续的图像101、102、103、104中的第二多个图像152、153被选择为用于第二参考图像144的时间噪声滤波。然而，这次，第二多个图像152、153中的图像152中的至少一个图像还被包括在第一多个图像121、122中。第二多个图像152、153还包括第一参考图像113。这应当被理解为对应于图3中的步骤G。在图1的实施例中，第二多个图像152、153被示出为在时间上在所选择的第二参考图像144之前，对应于时间上连续的图像102、103、103、104中的图像102和103。在图2的实施例中，第二多个图像152、153中的图像被示出为在时间上在第二参考图像144的之前和之后，对应于时间上连续的图像101、103、103、104中的图像101和103。存在其它实施例，其中，第二多个图像152、153中的图像都在第二参考图像144之后。第二多个图像152、153可以包括4至8个图像。图1和图2示出了其中，第二多个图像152、153包括2个图像的实施例。

如所公开，第二多个图像152、153中的图像152中的至少一个还被包括在第一多个图像121、122中。这可以被理解为参考基于时间上连续的图像101、102、103、104中的所选择的相同图像的任何对应图像。在图1的情况下，这应当被理解为基于图像101和102的任何图像。例如，第一多个变换图像131、132中的一个或多个图像还可以被选择用于第二多个图像152、153，如图1所示，其中，变换图像132被选择作为第二多个图像中的图像152。

该方法包括确定第二参考图像的TNF是否应当被执行的步骤。这应当被理解为对应于图3中的步骤H。步骤H可以在选择第二多个图像152、153之后执行。

步骤H可以包括确定第一多个图像121、122中的至少两个图像之间的视角差。可替代地，可以基于时间上连续的图像101、102、103、104中的任何图像来确定视角差。在确定视角差小于或等于预定视角差阈值时，第二参考图像144的TNF可以被执行。在确定视角差大于预定视角差阈值时，第二参考图像144的TNF不应当被执行。在这种情况下，步骤H可以在步骤F和G之前执行。如果确定第二参考图像144的TNF不被执行，步骤F和步骤G可以从方法中一起被省略。

步骤H可以包括确定第二多个图像121、122中的至少两个图像之间的视角差。在确定视角差小于或等于预定视角差阈值时，第二参考图像144的TNF可以被执行。在确定视角差大于预定视角差阈值时，第二参考图像144的TNF不应当被执行。

视角差可以基于与每一个图像在时间上关联的运动数据。运动数据可以是包括与第二多个图像121、122中的至少两个图像中的每一个图像关联的云台相机300的平移和倾斜的值的云台数据。

云台数据可以从云台控制器(诸如计算单元304中的云台控制功能)获得，以控制云台相机进行预期的平移和倾斜。包括与图像关联的云台相机的平移和倾斜的值的云台数据可以与根据在捕获图像时的云台相机300的预期的平移和倾斜的云台相机300的平移和倾斜的值有关。通过如在来自云台传感器的反馈中所指示的、在捕获图像时由云台传感器识别的与期望的平移和倾斜的偏差，可以进一步校正云台数据。

与图像关联的平移和倾斜的值可以是绝对值(即，相对于参考云台相机固定的坐标系的值)或者相对值(即，相对于与不同图像关联的云台相机的平移和倾斜的相对值)。

运动数据可以定期被确定，并对其进行评估，以确定是否应当执行TNF。运动数据可以以与每秒帧数FPS的值匹配的速率来确定，在该速率下，云台相机300获取时间上连续的图像101、102、103、104。FPS的值可以优选在1-60的范围内，并且更优选在20-40的范围内。

在步骤H期间确定第二参考图像144的TNF不应当被执行时，方法可以在步骤H之后终止。这将意味着步骤I至步骤J不被执行。在这种情况下，方法可以在步骤A处重新开始。

在步骤H期间确定第二参考图像144的TNF应当被执行，方法可以如图3所示以步骤I至步骤J进行。

该方法通过形成第二多个变换图像162、163进行。这应当被理解为对应于步骤I。步骤I包括两个局部步骤，这取决于在该方法中在先如何使用为第二多个图像152、153选择的图像。

第二多个图像152、153中的未被包括在第一多个图像121、122中的每一个图像153被变换为具有与第二参考图像144相同的视角，从而形成变换图像163。这应当被理解为对应于局部步骤I1。

对于第二多个图像152、152中的也被包括在第一多个图像121、122中的每一个图像152，对应的变换图像132(在图3的步骤D中被变换)被变换为具有与第二参考图像144相同的视角，从而形成变换图像162。这应当被理解为对应于局部步骤I2。变换图像132应当被理解为在时间上对应于图像122和图像152。

在图1中，这种对应关系与它们如何全部从时间上连续的图像101、102、103、104的图像102中导出有关。在图2中，图像122、132和152都从时间上连续的图像101、102、103、104的图像103中导出。第二多个变换图像162、163的形成细节可以类似于上面讨论的例如关于使用单应性计算和运动数据的第一多个变换图像131、132(步骤D)的形成细节。

根据该方法，当形成第二多个变换图像162、163时，相同的视角变换可以有利地用于第二多个图像152、153中的至少两个图像。

为了总结图1和图2之间的差异，这些实施例在图1和图2中的第一多个图像和第二多个图像121、122、152、153以及它们对应的参考图像113、144的时序或顺序略有不同。

图1示出了在时间上在第一参考图像113之前的第一多个图像121、122中的每一个图像，以及在时间上在第二参考图像144之前的第二多个图像152、153中的每一个图像。

图2指示替代实施例，其中，第一参考图像113在时间上在第一多个图像121、122之前。尽管在图2中未示出，但是第二参考图像144可以类似地在时间上在第二多个图像152、153之前。

图2指示第二参考图像144可以在时间上被夹在第二多个图像帧152、153的图像之间。类似地，第二参考图像113可以在时间上被夹在第一多个图像帧121、122的图像之间。

在形成第二多个变换图像162、163之后，使用第二多个变换图像162、163对第二参考图像144执行TNF。与对第二参考图像144执行TNF有关的细节可以类似于以上讨论的与对第一参考图像113执行TNF(步骤E)有关的细节。

该方法可以用于形成时间噪声滤波的视频流。在这种情况下，参考图像113、144将形成视频流。每个参考图像113、144可以与视频流中的不同时间点关联。

如图5中所示，该方法可以在云台相机300中实施。然而，如上所述，该方法也可以在云台相机300外部的装置中执行。

该方法可以包括：在步骤A之前，确定用于时间上连续的图像101、102、103、104的序列的捕获条件。在这种情况下，仅在确定捕获条件满足预定捕获条件要求时才执行步骤A至步骤J。因此，可以认为方法步骤A至方法步骤J被延迟直到满足要求。

可以由运动水平来确定捕获条件。运动水平可以从包括与不同时间点(诸如，捕获图像的时间点或任意时间点)关联的云台相机300的平移和倾斜的值的云台数据被确定。可以由光水平来确定捕获条件。光水平由光传感器220或通过图像分析被确定。

云台数据可以从云台控制器(诸如计算单元304中的云台控制功能)获得，以控制云台相机进行预期的平移和倾斜。包括与时间点关联的云台相机的平移和倾斜的值的云台数据可以与根据在该时间点时云台相机300的预期的平移和倾斜的云台相机300的平移和倾斜的值有关。通过如在来自云台传感器的反馈中所指示的、在所述时间点处由云台传感器识别的与期望的平移和倾斜的偏差，可以进一步校正云台数据。

与时间点关联的平移和倾斜的值可以是绝对值(即，相对于参考云台相机固定的坐标系的值)或者相对值(即，相对于与不同时间点关联的云台相机的平移和倾斜的相对值)。

预定捕获条件要求可以是低于预定水平的光水平的要求。这样的预定水平可以在50-200lux的范围内。预定水平可以更优选在75-125lux的范围内，例如100lux。较高的光水平值可与较少的噪声关联，因此减轻了这些较高的光水平值对TNF的需求。

预定捕获条件要求可以是高于预定水平的光水平的要求。预定捕获条件要求可以进一步包括最低可接受光水平和最高可接受光水平。预定捕获条件要求可以包括中间光水平排除范围，其中，该范围之外的光水平是可接受的。

该方法可以进一步包括：在对第一参考图像113执行TNF之后，将第一参考图像113存储在云台相机300的存储器306上。该方法可以包括：在对第二参考图像144执行TNF之后，将第二参考图像144存储在云台相机300的存储器306上。

该方法可以进一步包括：在将时间上连续的图像101、102、103、104中的一个图像变换为具有与第一参考图像113或第二参考图像144相同的视角之后，从云台相机300的存储器306中删除时间上连续的图像101、102、103、104中的该一个图像。

该方法可以进一步包括：在对第一参考图像113执行TNF之后，将第一参考图像113从云台相机300发送至远端装置230。该方法可以包括：在对第二参考图像144执行TNF之后，将第二参考图像144从云台相机300发送至远端装置230。

该方法可以由计算机、解码器或具有处理能力的另一装置来实施。非暂时性计算机可读存储介质可以提供有存储在该存储介质上的指令，指令在由具有处理能力的装置执行时实施该方法。

图5示出了包括图像捕获单元202和计算单元204的云台相机300。如结合图5的云台相机300所解释的，云台相机300可以被配置用于执行图1、图2和图3的上述方法。

图像捕获单元302可以被理解为能够捕获图像的任何装置。图像捕获单元302可以包括电荷耦合装置(CCD)、图像传感器或基于互补金属氧化物半导体(CMOS)的有源像素图像传感器。

计算单元304可以包括能够执行根据该方法的处理和计算的任何装置。计算单元本身可以包括用于执行该方法的不同动作或步骤的几个子单元。

云台相机300是这样的相机，在使用时，该相机被配置为固定安装并且可以平移和倾斜，从而捕获不同视场。用于监视或监控的固定安装的云台相机(其可以被手动或自动控制来平移和/或倾斜以捕获不同视场)应当被认为术语云台相机的非限制形示例。除了云台功能之外，云台相机还可以包括变焦功能，并且可以被称为云台变焦相机或PTZ相机。

如图5中所示，云台相机300可以包括云台马达310，该云台马达被配置为使云台相机300平移和倾斜至预期的平移和倾斜。平移和倾斜可以由云台控制器(诸如计算单元304中的云台控制功能)控制。云台马达可以包括云台传感器(未示出)，用于将反馈提供至计算单元304中的用于反馈控制的云台功能倾斜，以实现云台相机预期的平移和倾斜。包括与图像关联的云台相机的平移和倾斜的值的云台数据可以与根据在捕获图像时的预期的平移和倾斜的云台相机300的平移和倾斜的值有关。通过如在来自云台传感器的反馈中所指示的、在捕获图像时由云台传感器识别的与期望的平移和倾斜的偏差，可以进一步校正云台数据。如图5中所示，云台相机300可以包括光传感器320(光电探测器)，该光传感器320被配置为确定云台相机300的光条件或光水平。如图5中所示，云台相机300可以被配置为与远端装置330通信。通信可以是无线的或有线的。

实施例列表：

1、一种降低由云台相机捕获的图像中的噪声的方法，所述方法包括：

a.提供时间上连续的图像的序列，

b.在所述时间上连续的图像当中选择第一参考图像，

c.在所述时间上连续的图像当中选择第一多个图像以用于所述第一参考图像的时间噪声滤波，

d.通过将所述第一多个图像中的每一个变换为具有与所述第一参考图像相同的视角来形成第一多个变换图像，

e.使用所述第一多个变换图像对所述第一参考图像执行时间噪声滤波TNF，

f.在所述时间上连续的图像当中选择不同的第二参考图像，

g.在所述时间上连续的图像当中选择第二多个图像以用于所述第二参考图像的时间噪声滤波，其中，所述第二多个图像中的图像中的至少一个图像还被包括在所述第一多个图像中，其中，所述第二多个图像包括所述第一参考图像，

h.确定是否应当执行所述第二参考图像的TNF，其中，在确定TNF应当被执行时，所述方法进一步包括：

i.通过以下形成第二多个变换图像：

i1.对于所述第二多个图像中的未被包括在所述第一多个图像中的每一个图像，将所述图像变换为具有与所述第二参考图像相同的视角，其中，视角变换被确定并且被用于将所述第一参考图像变换为具有与所述第二参考图像相同的视角；

i2.对于所述第二多个图像中的还被包括在所述第一多个图像中的每一个图像，使用用于变换所述第一参考图像的所述视角变换将所述第一多个变换图像中的对应的变换图像变换为具有与所述第二参考图像相同的视角；

j.使用所述第二多个变换图像对所述第二参考图像执行时间噪声滤波。

2、根据实施例1所述的方法，进一步包括：在将所述时间上连续的图像中的一个图像变换为具有与所述第一参考图像或所述第二参考图像相同的视角之后，从所述云台相机的存储器中删除所述时间上连续的图像中的所述一个图像。

3、根据实施例1和实施例2中任一个所述的方法，其中，所述第一多个图像中的每一个图像在时间上在所述第一参考图像之前，并且所述第二多个图像中的每一个图像在时间上在所述第二参考图像之前。

4、根据实施例1至3中任一个所述的方法，其中，所述第一多个图像包括4至8个图像，并且其中，所述第二多个图像包括4至8个图像。

5、根据实施例1至4中任一个所述的方法，其中，形成所述第一多个变换图像以及形成所述第二多个变换图像包括：基于比较与所述时间上连续的图像的序列中的每一个图像关联的运动数据，将各图像变换为具有与关联的参考图像相同的视角。

6、根据实施例5所述的方法，其中，与所述时间上连续的图像的序列中的每一个图像关联的所述运动数据是云台数据，所述云台数据包括与所述时间上连续的图像的序列中的每一个图像关联的所述云台相机的平移和倾斜的值。

7、根据实施例1至6中任一个所述的方法，其中，步骤h进一步包括：确定所述第一多个图像中的至少两个图像之间的视角差，其中，在确定所述视角差小于或等于预定视角差阈值时，所述第二参考图像的TNF被执行，并且其中，在确定所述视角差大于所述预定视角差阈值时，所述第二参考图像的TNF不被执行。

8、根据实施例7所述的方法，其中，所述视角差基于在时间上与每一个图像关联的云台数据，所述云台数据包括与所述时间上连续的图像的序列中的每一个图像关联的所述云台相机的平移和倾斜的值。

9、根据实施例1至8中任一个所述的方法，进一步包括：在步骤a之前，针对所述时间上连续的图像的序列确定捕获条件，其中，在确定所述捕获条件满足预定捕获条件要求时，仅执行所述步骤a至所述步骤j。

10、根据实施例9所述的方法，其中，所述捕获条件通过以下中的至少一个被确定：

由在时间上与每一个图像关联的云台数据确定的运动水平，所述云台数据包括与不同时间点关联的所述云台相机的平移和倾斜的值；以及

由光传感器或通过图像分析确定的光水平。

11、根据实施例10所述的方法，其中，所述捕获条件由光水平确定，所述光水平由光传感器确定或通过图像分析确定，其中，所述预定捕获条件要求是低于预定水平的光水平。

12、根据实施例1至11中任一个所述的方法，进一步包括：在对所述第一参考图像执行TNF之后，将所述第一参考图像存储在所述云台相机的存储器上，以及在对所述第二参考图像执行TNF之后，将所述第二参考图像存储在所述云台相机的所述存储器上。

13、根据实施例1至12中任一个所述的方法，进一步包括：在对所述第一参考图像执行TNF之后，将所述第一参考图像从所述云台相机发送至远端装置；以及在对所述第二参考图像执行TNF之后，将所述第二参考图像从所述云台相机发送至所述远端装置。

14、一种包括图像捕获单元和计算单元的云台相机，所述云台相机被配置用于：

a.由所述图像捕获单元捕获时间上连续的图像的序列，

b.由所述计算单元在所述时间上连续的图像当中选择第一参考图像，

c.由所述计算单元在所述时间上连续的图像当中选择第一多个图像以用于所述第一参考图像的时间噪声滤波；

d.由所述计算单元通过将所述第一多个图像中的每一个变换为具有与所述第一参考图像相同的视角形成第一多个变换图像；

e.由所述计算单元使用所述第一多个变换图像对所述第一参考图像执行时间噪声滤波TNF，

r.由所述计算单元在所述时间上连续的图像当中选择不同的第二参考图像，

g.由所述计算单元在所述时间上连续的图像当中选择第二多个图像以用于所述第二参考图像的时间噪声滤波，其中，所述第二多个图像中的图像中的至少一个图像还被包括在所述第一多个图像中，其中，所述第二多个图像包括所述第一参考图像，

h.由所述计算单元确定是否应当执行所述第二参考图像的TNF，其中，在确定TNF应当被执行时，所述云台相机进一步被配置用于：

i.由所述计算单元通过以下形成第二多个变换图像：

i1.对于所述第二多个图像中的未被包括在所述第一多个图像中的每一个图像，将所述图像变换为具有与所述第二参考图像相同的视角，其中，视角变换被确定并且被用于将所述第一参考图像变换为具有与所述第二参考图像相同的视角；

i2.对于所述第二多个图像中的还被包括在所述第一多个图像中的每一个图像，使用用于变换所述第一参考图像的所述视角变换将所述第一多个变换图像中的对应的变换图像变换为具有与所述第二参考图像相同的视角；

j.由所述计算单元使用所述第二多个变换图像对所述第二参考图像执行时间噪声滤波。

15、一种非暂时性计算机可读存储介质，具有存储在该存储介质上的指令，所述指令在被具有处理能力的装置执行时实施根据实施例1至13中任一个所述的方法。

另外，通过研究附图、公开内容和所附权利要求书，本领域技术人员在实践所要求保护的发明时可以理解并实现所公开的实施例的变型。

Claims (15)

1.一种降低由可穿戴相机捕获的图像中的噪声的方法，所述方法包括：

A.提供时间上连续的图像的序列，

B.在所述时间上连续的图像当中选择第一参考图像，

C.在所述时间上连续的图像当中选择第一多个图像以用于所述第一参考图像的时间噪声滤波，

D.通过将所述第一多个图像中的每一个变换为具有与所述第一参考图像相同的视角来形成第一多个变换图像，

E.使用所述第一多个变换图像对所述第一参考图像执行时间噪声滤波TNF，

F.在所述时间上连续的图像当中选择不同的第二参考图像，

G.在所述时间上连续的图像当中选择第二多个图像以用于所述第二参考图像的时间噪声滤波，其中，所述第二多个图像中的图像中的至少一个图像还被包括在所述第一多个图像中，其中，所述第二多个图像包括所述第一参考图像，

H.确定是否应当执行所述第二参考图像的TNF，其中，在确定TNF应当被执行时，所述方法进一步包括：

I.通过以下形成第二多个变换图像：

I1.对于所述第二多个图像中的未被包括在所述第一多个图像中的每一个图像，将所述图像变换为具有与所述第二参考图像相同的视角，其中，视角变换被确定并且被用于将所述第一参考图像变换为具有与所述第二参考图像相同的视角；

I2.对于所述第二多个图像中的还被包括在所述第一多个图像中的每一个图像，使用用于变换所述第一参考图像的所述视角变换将所述第一多个变换图像中的对应的变换图像变换为具有与所述第二参考图像相同的视角；

J.使用所述第二多个变换图像对所述第二参考图像执行时间噪声滤波。

2.根据权利要求1所述的方法，进一步包括：在将所述时间上连续的图像中的一个图像变换为具有与所述第一参考图像或所述第二参考图像相同的视角之后，从所述可穿戴相机的存储器中删除所述时间上连续的图像中的所述一个图像。

3.根据权利要求1所述的方法，其中，所述第一多个图像中的每一个图像在时间上在所述第一参考图像之前，并且所述第二多个图像中的每一个图像在时间上在所述第二参考图像之前。

4.根据权利要求1所述的方法，其中，所述第一多个图像包括4至8个图像，并且其中，所述第二多个图像包括4至8个图像。

5.根据权利要求1所述的方法，其中，形成所述第一多个变换图像以及形成所述第二多个变换图像包括：基于比较与所述时间上连续的图像的序列中的每一个图像关联的运动数据，将各图像变换为具有与关联的参考图像相同的视角。

6.根据权利要求5所述的方法，其中，与所述时间上连续的图像的序列中的每一个图像关联的所述运动数据由运动传感器、加速度计和陀螺仪中的至少一个被确定，或者所述运动数据基于所述各图像的图像分析被确定。

7.根据权利要求1所述的方法，其中，步骤H进一步包括：确定所述第一多个图像中的至少两个图像之间的视角差，其中，在确定所述视角差小于或等于预定视角差阈值时，所述第二参考图像的TNF被执行，并且其中，在确定所述视角差大于所述预定视角差阈值时，所述第二参考图像的TNF不被执行。

8.根据权利要求7所述的方法，其中，所述视角差基于以下中的至少一个：

在时间上与每一个图像关联的运动数据，其中，所述运动数据由运动传感器、加速度计或陀螺仪被确定；以及

与在所述第一多个图像的后续图像之间有多少像素已经改变有关的图像数据。

9.根据权利要求1所述的方法，进一步包括：在步骤A之前，针对所述时间上连续的图像的序列确定捕获条件，其中，在确定所述捕获条件满足预定捕获条件要求时，仅执行所述步骤A至所述步骤J。

10.根据权利要求9所述的方法，其中，所述捕获条件通过以下中的至少一个被确定：

由运动传感器、加速度计、陀螺仪或定位装置确定的运动水平；以及

由光传感器或通过图像分析确定的光水平。

11.根据权利要求9所述的方法，其中，所述捕获条件由光水平确定，所述光水平由光传感器确定或通过图像分析确定，其中，所述预定捕获条件要求是低于预定水平的光水平。

12.根据权利要求1所述的方法，进一步包括：在对所述第一参考图像执行TNF之后，将所述第一参考图像存储在所述可穿戴相机的存储器上；以及在对所述第二参考图像执行TNF之后，将所述第二参考图像存储在所述可穿戴相机的所述存储器上。

13.根据权利要求1所述的方法，进一步包括：在对所述第一参考图像执行TNF之后，将所述第一参考图像从所述可穿戴相机发送至远端装置；以及在对所述第二参考图像执行TNF之后，将所述第二参考图像从所述可穿戴相机发送至所述远端装置。

14.一种包括图像捕获单元和计算单元的可穿戴相机，所述可穿戴相机被配置用于：

A.由所述图像捕获单元捕获时间上连续的图像的序列，

B.由所述计算单元在所述时间上连续的图像当中选择第一参考图像，

C.由所述计算单元在所述时间上连续的图像当中选择第一多个图像以用于所述第一参考图像的时间噪声滤波；

D.由所述计算单元通过将所述第一多个图像中的每一个变换为具有与所述第一参考图像相同的视角形成第一多个变换图像；

E.由所述计算单元使用所述第一多个变换图像对所述第一参考图像执行时间噪声滤波TNF，

F.由所述计算单元在所述时间上连续的图像当中选择不同的第二参考图像，

G.由所述计算单元在所述时间上连续的图像当中选择第二多个图像以用于所述第二参考图像的时间噪声滤波，其中，所述第二多个图像中的图像中的至少一个图像还被包括在所述第一多个图像中，其中，所述第二多个图像包括所述第一参考图像，

H.由所述计算单元确定是否应当执行所述第二参考图像的TNF，其中，在确定TNF应当被执行时，所述可穿戴相机进一步被配置用于：

I.由所述计算单元通过以下方式形成第二多个变换图像：

I1.对于所述第二多个图像中的未被包括在所述第一多个图像中的每一个图像，将所述图像变换为具有与所述第二参考图像相同的视角，其中，视角变换被确定并且被用于将所述第一参考图像变换为具有与所述第二参考图像相同的视角；

I2.对于所述第二多个图像中的还被包括在所述第一多个图像中的每一个图像，使用用于变换所述第一参考图像的所述视角变换将所述第一多个变换图像中的对应的变换图像变换为具有与所述第二参考图像相同的视角；

J.由所述计算单元使用所述第二多个变换图像对所述第二参考图像执行时间噪声滤波。

15.一种非暂时性计算机可读存储介质，具有存储于所述存储介质上的指令，所述指令在被具有处理能力的装置执行时实施根据权利要求1至13中的任一项所述的方法。

Images