CN111885281B

CN111885281B - 图像处理

Info

Publication number: CN111885281B
Application number: CN202010167382.2A
Authority: CN
Inventors: 戴维·汉韦尔; 劳伦斯·马克·雅顿
Original assignee: ARM Ltd
Current assignee: ARM Ltd
Priority date: 2019-05-02
Filing date: 2020-03-11
Publication date: 2023-12-26
Anticipated expiration: 2040-03-11
Also published as: GB2583519B; GB2583519A; GB201906198D0; US20200351417A1; US11153467B2; CN111885281A

Abstract

本公开涉及图像处理。提供了一种用于处理图像数据的方法和装置。该方法包括存储累积的图像数据，获得图像数据的新帧，至少基于图像数据的新帧来执行运动检测，更新图像数据的累积帧，以及生成输出图像数据。运动检测标识检测到运动的像素位置。对于由运动检测标识的像素位置，图像数据的新帧的像素强度值对更新后的累积图像数据中表示标识的像素位置的像素强度值的贡献大于对输出的图像数据中表示标识的像素位置的像素强度值的贡献。

Description

图像处理

技术领域

本公开一般涉及用于处理图像数据的方法和装置。更具体地，本公开涉及图像数据的时间去噪。

背景技术

用于捕获图像的图像传感器可存在于例如数码相机、移动电话相机和其他图像捕获设备的设备中。用于捕获图像的图像传感器可包括数百万个单独的传感器元件用于确定在每个传感器元件处到达传感器上的光的强度。每个传感器元件代表一个像素。由这些传感器收集的光强度信息可以用于再现由传感器捕获的图像。由这些传感器收集的光强度信息可能易受信号噪声的影响，该信号噪声可以在光强度信息中引入误差。噪声可以从若干源被引入到光强度信息中。由于光的量子化特性而产生的散粒(shot)噪声出现在传感器元件的光子计数中，并且具有泊松分布。暗电流噪声是在没有接收到辐射时由传感器元件中的小电流引起的，并且具有正态分布。暗电流噪声可以取决于诸如温度之类的环境因素。读取噪声由图像传感器中的电子器件引起，并且与传感器所使用的模拟增益的水平有关。读取噪声具有正态分布。

一些已知的图像处理技术包括捕获同一场景的图像数据的多个帧，并且将它们一起平均以减少产生的图像中的噪声。输出表示累积平均图像的图像数据，同时捕获并平均图像数据的其他帧。该累积的图像数据的输出可以由其他方法和/或设备进一步处理、存储、显示和/或操纵。如果正在捕获的场景的一部分在捕获图像数据的连续帧之间移动，或者在图像数据的连续帧的捕获期间移动，则将连续帧的该部分与累积的图像组合可能导致存在伪像，例如同一对象和/或的重复以及场景中的运动对象的边缘和细节出现不清楚或模糊。在存在运动的情况下，仅最近捕获的图像被用于图像的该部分中。然而，在检测到运动并且仅使用最近的图像的情况下，噪声的水平高于图像中保持累积图像的部分中的噪声的水平。由于每个图像中的噪声，检测运动是重要的，并且在噪声被解释为运动的情况下，累积的图像将得不到充分利用，从而导致更高的噪声水平。

期望降低累积平均图像中的噪声并且更准确地检测运动。

发明内容

根据本公开的第一方面，提供了一种处理图像数据的方法，包括：

存储表示图像数据的多个帧的累积的图像数据，累积的图像数据包括图像数据的累积帧，图像数据的累积帧包括表示相应的多个像素位置的多个像素强度值；

获得包括表示相应的多个像素位置的多个像素强度值的图像数据的新帧；

至少基于图像数据的新帧来执行运动检测，运动检测标识检测到运动的像素位置；

通过将图像数据的累积帧与图像数据的新帧组合来更新图像数据的累积帧；以及

通过将图像数据的累积帧与图像数据的新帧组合来生成输出的图像数据，

其中，该方法是运动敏感的，使得图像数据的新帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于对输出的图像数据中表示所标识的像素位置的像素强度值的贡献。

通过在其中检测到运动的区域中使用图像数据的新帧来更新累积的图像数据可以防止诸如重影之类的图像伪像影响图像质量。通过在针对其中检测到运动的区域的输出的图像数据中使用较少的图像数据的新帧，输出的图像数据中的噪声可以低于累积的图像数据中的噪声。对于与图像数据的累积帧进行比较和混合的后续帧，将在使用图像数据的后续帧而生成的后续的输出图像数据中示出其中存在运动的区域。由于在示出输出的图像数据中的运动检测区域之前收集至少一个进一步的帧，因此在输出这些区域之前可以在这些区域中减少噪声。

在示例中，图像数据的新帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于图像数据的累积帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献。

在针对累积的图像数据的运动区域中对图像数据的新帧进行优先级排序减少了在对图像数据的累积帧和图像数据的新帧进行组合时可能出现的重影量。

在示例中，图像数据的新帧中表示所标识的像素位置的像素强度值对输出的图像数据中表示所标识的像素位置的像素强度值的贡献小于图像数据的累积帧中表示所标识的像素位置的像素强度值对输出的图像数据中表示所标识的像素位置的像素强度值的贡献。

在输出的图像数据中对图像数据的累积帧进行优先级排序可以减少输出的图像数据中存在的噪声，并且还防止输出的图像数据中的伪像，该伪像可能由对图像数据的累积帧和图像数据的新帧进行组合的其他方法引起。

在示例中，更新图像数据的累积帧包括选择图像数据的新帧的相应的像素强度值以表示所标识的像素位置。

这是一种在更新累积的图像数据时对图像数据的新帧进行优先级排序的计算上不昂贵的方式。

在示例中，生成输出的图像数据包括选择图像数据的累积帧的相应的像素强度值以表示所标识的像素位置。

这是一种在生成输出的图像数据时对图像数据的累积帧进行优先级排序的计算上不昂贵的方式。

在示例中，累积的图像数据的存储包括与多个空间变化参数值相对应的数据，多个空间变化参数值对应于相应像素位置，并且更新图像数据的累积帧包括更新与多个参数值相对应的数据。

累积的图像数据的存储可以包括在处理图像数据的累积帧时以及在生成输出的图像数据时可以使用的进一步的数据。该数据可以与图像数据的累积帧一起存储并且与图像数据的累积帧中的值相关联。

在示例中，执行运动检测包括：

至少基于图像数据的累积帧的像素强度值与图像数据的新帧的相应的像素强度值之间的差异，来生成与相应的多个像素位置相对应的多个运动检测值；

基于多个运动检测值与相应的参数值的比较来标识像素位置。

基于图像数据的累积帧与图像数据的新帧之间的差异来执行运动检测提供了确定图像数据的新帧中存在运动的区域的有效方式。

在示例中，更新累积的图像数据包括：通过基于与所标识的像素位置相对应的相应的运动检测值，将图像数据的新帧中表示所标识的像素位置的像素强度值与图像数据的累积帧中表示所标识的像素位置的像素强度值进行混合，来生成表示图像数据的更新后的累积帧中的所标识的像素位置的像素强度值。

基于相应的运动检测值，将图像数据的新帧的像素强度值与累积的图像数据的像素强度值进行混合，这允许根据在图像数据的新帧中检测到的运动量来对像素强度值进行混合。

在示例中，更新图像数据的累积帧包括基于运动检测值来更新与多个参数值中对应于所标识的像素位置的参数值相对应的数据。

在示例中，生成输出的图像数据包括：通过基于与所标识的像素位置相对应的相应参数值，将图像数据的新帧中表示所标识的像素位置的像素强度值与图像数据的累积帧中表示所标识的像素位置的像素强度值进行混合，来生成输出的图像数据中表示所标识的像素位置的像素强度值。

基于相应的参数来对表示所标识的像素位置的像素强度值进行混合可以允许生成具有期望噪声水平的像素强度值。

在示例中，所标识的像素位置是第一像素位置，并且更新累积的图像数据包括通过基于相应的参数值，将图像数据的新帧中表示运动检测未标识的第二像素位置的像素强度值与图像数据的累积帧中表示该第二像素位置的像素强度值进行混合来生成表示该第二像素位置的像素强度值。

在示例中，更新图像数据的累积帧包括更新与相应的参数值相对应的数据，该相应的参数值对应于第二像素位置。

在示例中，生成针对所述像素位置的运动检测值至少包括：

确定图像数据的新帧中表示一组像素位置的一组像素强度值与图像数据的累积帧中表示该组像素位置的相应一组像素强度值之间的差异，所述一组像素位置包括所述像素位置；

使用噪声模型来修改差异。

使用噪声模型来修改差异可以提供对运动检测值的更准确确定。

在示例中，通过对经修改的差异求平均值来生成针对所述像素位置的运动检测值。

在示例中，该组像素位置包括多于一个像素位置。

根据多个差异来确定与像素位置相对应的运动检测值可以提供更可靠的运动检测，其较不易于出现由噪声引起的误报(false-positive)。

在示例中，该组像素位置被布置在多个像素位置的子集中，每个像素位置的子集对应于颜色通道，并且生成针对所述像素位置的运动检测值包括：

生成多个经修改的差异的平均值，每个经修改的差异的平均值对应于像素位置的子集；

从多个经修改的差异的平均值中选择多个经修改的差异的平均值中具有最大幅度值的经修改的差异的平均值。

通过确定针对每个颜色通道的经修改的差异的平均值，可以检测场景中一个颜色通道中的运动。在具有高颜色饱和度的对象移动穿过黑色背景的情况下，选择单独的颜色通道可以更容易地检测到这种运动。

在示例中，通过以下方式来生成与所述像素位置的子集相对应的所述经修改的差异的平均值：对与像素位置的子集相对应的经修改的差异进行求和，并且将与像素位置的子集相对应的经修改的差异的总和除以像素位置的子集中的像素位置的总数的平方根。

将总和除以子集中的像素位置的数目的平方根可以归一化跨像素位置的子集的噪声水平，以使单个颜色通道中的误报不会主导运动检测。

在示例中，所选择的经修改的差异的平均值被与基于至少一个进一步的一组像素位置确定的进一步的经修改的差异的平均值进行组合，该进一步的一组像素位置包括所述像素位置。

将所选择的经修改的差异的平均值与从不同组的像素位置确定的进一步的经修改的差异的平均值进行组合可以增加该组像素位置的有效大小，并且因此提供了更可靠的运动检测值。

在示例中，该组像素位置和进一步的一组像素位置交叠。

在示例中，所选择的经修改的差异的平均值与进一步的经修改的差异的平均值进行组合，所述进一步的经修改的差异的平均值是通过从多个进一步的所选择的经修改的差异的平均值进行内插而确定的，多个进一步的所选择的经修改的差异的平均值中的每一个是基于相应的多个进一步的组的像素位置而确定的，多个进一步组的像素位置中的每一个包括所述像素位置。

对来自其他值的进一步的经修改的差异的平均值进行内插意味着需要存储更少的值，从而提高该方法的效率。

根据本公开的第二方面，提供了一种图像处理装置，包括：

至少一个处理器；

至少一个存储器，包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置执行一种方法，该方法至少包括：

存储表示图像数据的多个帧的累积的图像数据，累积的图像数据包括图像数据的累积帧，图像数据的累积帧包括表示相应多个像素位置的多个像素强度值；

获得包括表示相应的多个像素位置多个像素强度值的图像数据的新帧；

其中，方法是运动敏感的，使得：图像数据的新帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于对输出的图像数据中表示所标识的像素位置的像素强度值的贡献。

根据本公开的第三方面，提供了一种非暂时性计算机可读存储介质，其包括计算机可执行指令，该计算机可执行指令在由处理器执行时使图像处理系统的操作执行一种方法，该方法至少包括：

存储表示图像数据的多个帧的累积的图像数据，累积的图像数据包括图像数据的累积帧，该图像数据的累积帧包括表示相应的多个像素位置的多个像素强度值；

获得包括表示相应多个像素位置的多个像素强度值的图像数据的新帧；

本发明的其他特征和优点将从下面参考附图对本发明的优选实施例的描述中变得显而易见，这些优选实施例仅以示例的方式给出。

附图说明

从以下结合附图的详细描述中，本公开的各种特征将变得显而易见，附图一起示出了本公开的特征，并且在附图中：

图1示出了根据示例的方法的流程图；

图2示意性地示出了根据示例的多个像素位置；

图3示意性地示出了根据示例的以滤色器图案布置的多个像素位置；

图4示意性地示出了根据示例的图像处理工作流程；

图5示意性地示出了根据示例的图像处理装置；以及

图6示意性地示出了根据示例的非暂时性计算机可读存储介质。

具体实施方式

参考附图，从以下描述中，示例的细节将变得显而易见。在本说明书中，为了解释的目的，阐述了某些示例的许多特定细节。说明书中对“示例”或类似语言的引用意味着结合该示例描述的特定特征、结构或特性被包括在至少该一个示例中，但不一定被包括在其他示例中。还应当注意，示意性地描述了某些示例，为了易于解释和理解示例的基本概念，省略和/或必要地简化了某些特征。

本文描述的示例涉及通过对图像数据的多个帧进行平均来对图像数据进行时间去噪。具体地，本文描述的示例涉及一种时间去噪的方法，在该方法中，在检测到运动的情况下，根据检测到的运动来校正累积的图像数据的存储，但是输出的图像数据，图像数据的每一帧输出最初不被校正。在其中运动被校正的区域中，噪声增加，因为这些区域将由图像数据的较少帧生成。如果随后在这些区域中没有检测到其他运动，则随着图像数据的其他帧被累积和/或平均，噪声将开始降低。通过延迟对输出的图像数据的运动校正，并在输出运动校正的区域之前等待至少一个后续帧，在其中检测到运动的区域中的噪声可以在被输出和/或显示之前减少。

图1示出了用于处理图像数据的方法100的流程图。该方法包括，在框110，存储表示图像数据的多个帧的累积图像数据。包括图像数据的累积帧的累积图像数据包括表示相应的多个像素位置的多个像素强度值。图像数据的多个帧是由一个或多个图像传感器生成的。

图像传感器可以包括传感器元件的阵列，也被称为传感器像素。传感器像素可以包括光敏元件，也被称为光电传感器，例如可以将入射光转换为电子信号或数据的光电二极管。传感器像素可以包括适用于捕获图像的任何光电传感器。传感器像素光敏元件的其他示例可以包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。当捕获图像数据的帧时，图像传感器可以在预定时间段暴露于入射光，该预定时间段被称为曝光时间。可选地，图像传感器可以连续地暴露于入射光，并且来自传感器的信号可以在给定时间段内被读取，该给定时间段也可以被称为曝光时间。在此曝光期间，入射光子由光电传感器转换为电子并且电荷可以由电容器存储。每个传感器像素还可以包括被配置为测量由其相应的电容器存储的电荷并且将存储的电荷量转换为数字值的电路。该数字值可以被称为像素强度值。图像数据的每帧可以表示由图像传感器针对该帧捕获的光的至少一个特性。图像数据的帧可以表示由每个传感器像素针对该帧捕获的光的强度，光的强度可以与由该传感器像素捕获的光子的数量成比例。强度可以表示捕获的光的亮度，其例如是每单位面积的光强度的度量而不是绝对强度。在其他示例中，图像数据的帧可以表示捕获的光的亮度，其可以被视为与对亮度的感知相对应，其可以与亮度成比例或可以与亮度不成比例。图像数据的帧可以表示可以被用于表示由图像数据的帧表示的图像的视觉外观的任何光度量或特性。可以以任何合适的格式(例如，原始图像格式)生成和/或存储图像数据的帧。

由图像传感器生成的图像数据易受各种类型噪声的影响。散粒噪声在由光电传感器检测到的光子数中出现，其由统计量子波动引起，其中每个传感器像素处的散粒噪声独立于其他传感器像素处的散粒噪声。散粒噪声具有泊松分布。暗电流噪声由流过光电传感器(例如，电荷耦合器件)的相对较小的电流引起，即使没有入射辐射被光电传感器捕获。暗电流噪声与光子计数无关，并且可能与光电传感器的温度有关。暗电流噪声具有正态分布。读取噪声与图像传感器使用的模拟增益有关，并且具有正态分布。

可以通过对图像数据的帧进行累积来生成累积图像数据，其中，将图像数据的连续帧与存储的图像数据的累积帧相组合。存储由图像数据的多个帧生成的图像数据的累积帧可能是存储与图像数据的多个帧相对应的数据而不是存储图像数据的多个帧中的每一帧的更有效的方式。

对图像数据的连续帧进行组合可以涉及平均，在这种情况下，平均可以包括将图像数据的每个后续帧与所存储的图像数据的累积帧进行混合，使得所有累积帧被相等地加权。对连续帧进行组合也可以涉及如本文所述的平均方法。图像数据的每一帧可以包括与图像数据的其他帧相等数量的表示相应像素位置的像素强度值。对图像数据的帧进行累积可以包括将图像数据的每一帧的像素强度值与图像数据的其他帧的相应像素强度值进行平均。这产生图像数据的累积帧，图像数据的累积帧包括表示相应的多个像素位置的多个像素强度值。基于累积的图像数据的帧的多个像素强度值来生成图像数据的累积帧的像素强度值中的每个像素强度值。通过对图像数据的连续帧进行平均来对图像数据的帧进行累积，降低了图像数据的所得帧中的噪声。由于每个像素位置处的噪声值在连续帧之间是独立的，因此与图像数据的每个单独帧的噪声相比，对图像数据的N个帧进行组合将累积帧中的噪声减少了因子在这种情况下，求平均可以包括计算平均值，尽管应当理解，其他类型的求平均也是可能的，例如计算归一化加权平均，其中图像数据的帧未被相等地加权。在一些示例中，图像数据的帧可以不具有相等数量的像素位置，但是仍然可以与同一场景相关和/或共享一组像素位置。存储累积的图像数据可以涉及以任何合适的格式(例如，以RAW格式)来存储图像数据的累积帧。

方法100包括，在框120，获得图像数据的新帧，该图像数据的新帧包括表示相应的多个像素位置的多个像素强度值。由图像数据的新帧表示的相应的多个像素位置可以是由图像数据的累积帧表示的相同的多个像素位置。可选地，图像数据的新帧可以表示比图像的累积帧更多或更少的像素位置，并且图像数据的累积帧和图像数据的新帧可以具有一个或多个共同的像素位置。在框130，方法100包括至少基于图像数据的新帧来执行运动检测，该运动检测对检测到运动的像素位置进行标识。可以通过任何合适的方法来执行运动检测。稍后参考图3和图4来讨论运动检测的方法的优选示例。

在框140，方法100包括通过将图像数据的累积帧和图像数据的新帧进行组合来更新图像数据的累积帧。在框150，该方法包括通过将图像数据的累积帧和图像数据的新帧进行组合来生成输出的图像数据。将图像数据的累积帧和图像数据的新帧进行组合可以涉及多种方法中的任何一种。例如，可以选择来自图像数据的累积帧或图像数据的新帧之一的像素强度值来表示像素位置。可选地，可以通过例如计算平均值或加权算术平均(例如，两个像素强度值的归一化加权平均)来将图像数据的新帧的像素强度值与图像数据的累积帧的像素强度值进行混合。可以使用对图像数据的新帧的像素强度值和图像数据的累积帧的像素强度值的选择和混合两者的组合，其中对于不同的像素位置，通过选择或混合来确定像素强度值。

方法100是运动敏感的，使得图像数据的新帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于输出的图像数据中表示所标识的像素位置的像素强度值的贡献。以此方式，在其中存在运动的区域中，输出的图像数据不包括比所更新后的图像数据的累积帧更多的图像数据的新帧。在示出基于图像数据的新帧的运动校正图像时，输出的图像被延迟，直到获得至少一个进一步的帧并且将其与更新后的图像数据的累积帧进行组合。在输出运动区域之前等待至少一个进一步的帧，可以减少检测到运动的区域中的噪声，因为在输出的图像数据之前多于一帧可以被收集和组合。这可以导致在图像捕获过程期间可以显示更平滑的输出的图像和/或将其用于进一步的处理。

在示例中，图像数据的新帧中表示所标识的像素位置的像素强度值对更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于图像数据的累积帧中表示所标识的像素位置的像素强度值对更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献。以此方式，图像数据的累积帧优先于检测到运动的区域中的图像数据的新帧。这允许更新后的图像数据的累积帧包括与正被捕获的场景的最新状态相对应的数据，从而提高了后续帧中未来运动检测的准确性。图像数据的新帧中表示所标识的像素位置的像素强度值对输出的图像数据中表示所标识的像素位置的像素强度值的贡献可以小于图像数据的累积帧中表示所标识的像素位置的像素强度值对输出的图像数据中表示所标识的像素位置的像素强度值的贡献。以此方式，减少输出的图像数据中的噪声优先于示出图像数据的最新帧。这防止在检测到运动之后立即增加输出图像中的噪声，但是仍然允许在获得后续帧之后显示运动，同时还降低了噪声。

在特定示例中，更新图像数据的累积帧包括对图像数据的新帧的相应像素强度值进行选择以表示所标识的像素位置。对图像数据的新帧中表示所标识的像素位置的像素强度值进行选择，允许检测到运动的区域将由图像数据的最新帧表示。在图像数据的累积帧与图像数据的新帧之间的变化较大的情况下，从图像数据的新帧中选择像素强度值可以防止重影或伪像引入到更新后的图像数据的累积帧中。类似地，生成输出的图像数据可以包括对图像数据的累积帧的相应像素强度值进行选择，以表示所标识的像素位置。在检测到运动的这种情况下，该方法可以包括输出图像数据的累积帧，从而允许输出的图像保持低噪声水平。在其中新对象进入正被捕获的场景的示例中，对于在对象进入场景之后或进入场景时捕捉的图像数据的新帧，输出的图像数据将不示出对象。然而，图像数据的累积帧将在存在对象的像素位置处存储图像数据的新帧的像素强度值。如果在图像数据的新帧之后获得的图像数据的后续帧中的相同像素位置处对象仍然可见，如在图像数据的新帧中，则后续的输出的图像数据将通过对更新后的图像数据的累积帧中表示对象的像素强度值与图像数据的后续帧进行组合或平均来示出对象。在其他示例中，更新图像数据的累积帧并且生成输出的图像数据包括在检测到运动的区域中对图像数据的新帧和图像数据的累积帧进行混合。

方法100可以包括对与图像数据的累积帧有关的其他数据进行维护。例如，累积的图像数据可以包括与对应于相应像素位置的多个空间变化参数值相对应的数据。更新图像数据的累积帧可以包括更新与多个参数值相对应的数据。参数值在空间上是变化的，因为每个参数值对应于像素位置。然而，应当理解，一些参数值由相等的值表示。参数值可以是多个权重，其可以被用于将图像数据的新帧与图像数据的累积帧进行混合。例如，多个权重可以表示在用于将图像数据的新帧与图像数据的累积帧进行混合时提供期望的噪声水平降低的权重。在示例中，期望的噪声水平降低是最佳去噪水平。在图像数据的每个连续帧中的噪声独立于图像数据的每个其他帧的情况下，可以通过对图像数据的多个累积帧中的每一个进行均等地加权来实现期望的噪声水平或期望的噪声水平降低。与多个参数值相对应的数据可以包括指示多个参数值的数据。可选地，与多个参数值相对应的数据可以包括与相应像素位置相对应的多个进一步的参数值，其中可以从多个进一步的参数值中确定多个参数值。可以以任何合适的格式来存储与多个参数值相对应的数据。

执行运动检测可以包括生成多个运动检测值。多个运动检测值对应于相应的多个像素位置，并且至少基于图像数据的累积帧的像素强度值与图像数据的新帧的相应像素强度值之间的差异来生成。可以基于多个运动检测值和相应的参数值的比较来标识像素位置。多个运动检测值可以指示在每个相应像素位置处存在的运动程度。例如，多个运动检测值可以是0和1之间的正值，其中对于给定像素位置，运动检测值1指示运动存在于该像素位置处。运动检测值0表示在该像素位置处不存在运动。多个参数值可以是等于或小于1的正值。以此方式，对其中存在运动的像素位置进行标识取决于对该像素位置处的运动程度与取决于该像素位置处的累积帧数的期望混合水平的比较。在一些示例中，进一步的参数值与在相应的像素位置处累积的图像数据的帧数有关。多个参数值可以与在相应的像素位置处累积的图像数据的帧数成反比关系。因此，在对于给定像素位置存在很少的图像数据的累积帧的情况下，对于要标识的像素位置必须存在较大程度的运动。相应地，在对于给定像素位置存在很多图像数据的累积帧的情况下，较小程度的运动可以被检测到，并且仍然可以导致像素位置被标识。应当理解，尽管以上给出了针对参数值和运动检测值的值的范围，但是这些值可以与所描述的那些值不同。例如，参数值和运动检测值可以被不同地缩放，或者函数可以被应用于这些值以对这些值进行修改。

更新图像数据的累积帧

如以上所讨论的，当更新图像数据的累积帧时，图像数据的新帧中表示所标识的像素位置的像素强度值可以被与图像数据的累积帧的相应像素强度值进行混合，以生成更新后的像素强度值。针对给定像素位置的多个参数值中的参数值可以被称为α_b。其中α_b取决于与在给定像素位置处累积的图像数据的帧数有关的进一步的参数值N_p。α_b和N_p之间的关系如下所示：

其中，α_b表示将与图像数据的累积帧的相应像素强度值进行混合以实现期望的噪声水平降低的图像数据的新帧的像素强度值的比例。例如，在基于图像数据的四个帧(即，N_p＝4)生成图像数据的累积帧中的像素强度值以实现具有期望噪声水平的图像数据的帧的情况下，图像数据的新帧的像素强度值将被加权0.2，并且图像数据的累积帧的像素强度值将被加权0.8。这里描述的加权可以被不同地缩放，但是图像数据的新帧的像素强度值和累积的图像数据的像素强度值的比较加权是提供期望的噪声水平的原因。在与多个参数值相对应的数据是多个N_p值的情况下，可以通过使用查找表来确定多个参数值。可选地，可以在单独的过程中或基于需要根据存储的N_p值来显式地计算多个参数值。

如上所述，当基于相应参数值与相应运动检测值/>的比较来执行运动检测时，可以标识像素位置。例如，下面给出针对是否标识像素位置的一般关系：

α_m>α_b (2)

其中，α_m通常表示针对像素位置生成的运动检测值，并且α_b通常表示与像素位置相对应的参数值。如果相应运动检测值大于相应参数值，则标识像素位置。

在示例中，更新图像数据的累积帧包括通过将图像数据的新帧的像素强度值与图像数据的累积帧的像素强度值进行混合来生成表示所标识的像素位置的像素强度值。每个像素强度值表示所标识的像素位置。图像数据的新帧和图像数据的累积帧的像素强度值可以基于与所标识的像素位置相对应的相应运动检测值进行混合。示例被示出在以下等式3中

其中：是图像数据的新帧中表示所标识的像素位置的像素强度值；/>是图像数据的累积帧中表示所标识的像素位置的像素强度值；/>是表示所标识的像素位置的更新后的累积的像素强度值；/>是介于0和1之间、与所标识的像素位置相对应的相应运动检测值。

在通过基于相应运动检测值将图像数据的新帧的像素强度值与图像数据的累积帧的像素强度值进行混合来更新图像数据的累积帧之后，与像素位置相对应的参数值被更新。由于/>取决于像素位置处的累积帧数，因此在根据/>进行混合之后，/>不再表示期望的噪声混合值。在示例中，更新图像数据的累积帧包括基于运动检测值来更新与多个参数值中对应于所标识的像素位置的参数值/>相对应的数据。例如，在与参数值/>相对应的数据是进一步的参数值/>的情况下，可以根据以下等式来更新进一步的参数值：

在根据运动检测值将图像数据的新帧的像素强度值/>和图像数据的累积帧的像素强度值/>进行混合的情况下，进一步的参数值/>可以被更新以反映这一点。这允许例如通过对运动进行检测以及对像素强度值进行混合来对图像数据的进一步的帧进行处理，以解决对图像数据的新帧中的运动的检测以及对图像数据的累积帧的更新。

更新图像数据的累积帧可以包括生成表示运动检测未标识的第二像素位置的像素强度值。基于相应运动检测值和相应参数值/>的比较，第二像素位置未被标识，其中，大于或等于/>表示第二像素位置的像素强度值可以通过基于相应参数值将图像数据的新帧中表示第二像素位置的像素强度值与图像数据的累积帧中表示第二像素位置的像素强度值进行混合来生成。这被表示为如下：

其中：是图像数据的新帧中表示第二像素位置的像素强度值，/>是图像数据的累积帧中表示第二像素位置的像素强度值，/>是表示更新后的图像数据的累积帧中的第二像素位置的像素强度值，并且/>是与第二像素位置相对应的、并且表示图像数据的新帧的像素强度值与图像数据的累积帧的像素强度值的期望混合水平的参数值。与第一像素位置的情况一样，/>应当被更新。更新图像数据的累积帧可以包括更新与对应于第二像素位置的相应参数值相对应的数据。例如，如在等式1中基于进一步的参数值/>来生成/>的情况下，可以通过将/>的值加1来更新/>更新与多个参数值相对应的数据(例如，更新多个α_b值或者更新多个N_p值)，允许图像数据的后续帧中的运动将被准确地检测并且允许像素强度值将被混合使得噪声水平被降低。

生成输出的图像数据

生成输出的图像数据可以包括通过将图像数据的新帧的像素强度值与图像数据的累积帧的像素强度值进行混合来生成输出的图像数据中表示所标识的像素位置的像素强度值。每个像素强度值表示所标识的像素位置，并且基于与所标识的像素位置相对应的相应参数值被混合。如前所述，其中所标识的像素位置对应于：运动检测值参数值/>图像数据的新帧的像素强度值/>以及图像数据的累积帧的像素强度值/>输出的图像数据中表示所标识的像素位置的像素强度值/>可以被确定为如下：

将像素强度值与像素强度值/>进行混合的其他示例是可能的。在示例中，生成输出的图像数据可以包括将像素强度值/>与像素强度值/>进行混合，使得像素强度值/>的权重小于被用于生成/>的、表示所标识的像素位置的像素强度值中的每个像素强度值的权重。

生成输出的图像数据可以包括生成表示第二像素位置的像素强度值。可以根据与等式6中类似的关系来生成表示输出的图像数据中的第二像素位置的像素强度值。其中根据与第二像素位置相对应的相应参数值来对图像数据的新帧中表示第二像素位置的像素强度值进行加权。在其他示例中，可通过根据对图像数据的新帧中表示第二像素位置的像素强度值进行加权来生成输出的图像数据中表示第二像素位置的像素强度值。在这种情况下，图像数据的累积帧中表示第二像素位置的像素强度值可以根据/>来加权。

输出的图像数据可以使用其他图像处理技术进一步处理。例如，输出的图像数据可以被发送以进行空间去噪、去马赛克，其中输出的图像数据以滤色器图案或任何其他合适的图像处理技术被布置。在一些示例中，输出的图像数据可以包括运动分类数据。该方法可以包括输出运动分类数据以提供与输出的图像数据中的区域中的运动量有关的信息。当针对每一新帧来更新与多个参数值相对应的数据时，该数据可以提供场景的给定区域中的运动量的累积指示。例如，该方法可以包括基于与多个参数值相对应的数据来生成运动分类数据。运动分类数据可以指示输出的图像数据的每个区域或像素位置中的运动程度。可以通过以下方式来生成运动分类数据：基于输出的图像数据更新与多个参数值相对应的数据，然后与多个参数值相对应的更新后的数据被与一个或多个阈值进行比较。与由此产生的多个参数值相对应的更新后的数据不与在更新累积的图像数据时更新的多个参数值一起存储。例如，当生成输出的图像数据时，对于运动检测未标识的像素位置，与对应于未标识的像素位置的参数值相对应的数据可以被更新，以反映图像数据的新帧与累积的图像数据混合。然后，可以将与未标识的像素位置相对应的更新后的数据与一个或多个阈值进行比较，以确定在由未标识的像素位置表示的区域中检测到平均多少运动。类似地，对于所标识的像素位置，与对应于这些像素位置的参数值相对应的数据可以被更新并且与一个或多个阈值进行比较。然而，对于所标识的像素位置，与相应参数值相对应的相应数据可以被更新，以反映图像数据的新帧中表示所标识的像素位置的像素强度值与图像数据的累积帧没有完全混合。

运动检测

执行运动检测可以包括至少基于图像数据的新帧与图像数据的累积帧之间的差异来生成与相应多个像素位置相对应的多个运动检测值。然后基于相应运动检测值和相应参数值的比较来标识像素位置。

图2示意性地示出了多个像素位置200。多个像素位置200的每个像素位置可以由图像数据的新帧的相应像素强度值和图像数据的累积帧的相应像素强度值来表示。图2示出了包围在粗体轮廓内的一组像素位置210。该组像素位置包括像素位置220。在示例中，生成针对像素位置220的运动检测值至少包括确定图像数据的新帧中表示该组像素位置210的一组像素强度值与图像数据的累积帧中表示该组像素位置210的相应一组像素强度值之间的差异。使用噪声模型来修改图像数据的新帧的该组像素强度值与图像数据的累积帧的该组像素强度值之间的差异。噪声模型可以基于噪声分布查找函数来确定，并且每个像素位置处的噪声的实际值可以使用图像数据的新帧的像素强度值来确定。使用噪声模型来修改差异可以包括确定针对该组像素位置中的每个像素位置的噪声值，并且将每个差异除以相应噪声值。

生成针对像素位置220的运动检测值可以涉及对借助于噪声模型修改的差异求平均。这也可以涉及通过适当的函数来缩放最终结果，使得如上所述，最终结果由0和1之间的值表示。其他值也是可能的，只要它们可以在对图像数据的新帧的像素强度值与图像数据的累积帧的像素强度值进行组合时被用作权重。如图2所示，该组像素位置可以包括多于一个像素位置。基于多于一个像素位置来生成针对像素位置220的运动检测值减少了噪声，并且因此提高了生成运动检测值的精度。类似地，使用噪声模型来修改差异还可以减少噪声并且增加运动检测值的精度。图2中所示的该组像素位置210被布置为彼此直接相邻并且包括像素位置220的多个像素位置。然而，应当理解，该组像素位置中的像素位置可以彼此不相邻。该组像素位置可以是一组相邻的像素位置，其中该组像素位置中的像素位置足够靠近在一起，使得在像素位置的一个像素位置中检测到的运动与该组像素位置中的至少一个其他像素位置中检测到的运动之间存在某种相关性。被用于生成针对像素位置220的运动检测值的像素位置集越大，在生成运动检测值时噪声水平的降低就越多，并且因此运动检测值就越精确。

图3示意性地示出了以拜耳(Bayer)滤色器图案布置的多个像素位置300，其中，每个像素位置与颜色通道相关联。用于捕获图像的图像传感器可以包括滤色器阵列。滤色器阵列可以包括以预定图案布置的滤色器元件的阵列。每个滤色器元件可以对应于图像传感器的相应的传感器像素。预定图案可以被认为形成马赛克或重复图案。滤色器元件可以允许特定颜色的光通过并且由相应的传感器像素接收。滤色器还可以防止某些颜色的光通过而到达相应的传感器像素。颜色可以指代任何波长范围的光，例如，基本上使所有接收到的光通过的透明或白色滤光器元件仍然可以被认为是滤色器元件。在其他示例中，颜色可以具有更窄的波长范围，并且可以包括绿色、蓝色和红色。以此方式，滤色器阵列可以允许传感器像素的阵列中的不同传感器像素接收不同颜色的入射光。图像的像素位置可以各自与单个颜色相关联。拜耳滤色器图案是滤色器图案的特定示例。

图3示出了要为其生成运动检测值的像素位置310以及包括该像素位置310的一组像素位置320。在图3所示的示例中，该组像素位置320被布置在多个像素位置的子集中，每个像素位置的子集对应于颜色通道，红色、绿色或蓝色。生成针对像素位置310的运动检测值包括：生成多个经修改的差异的平均值，每个经修改的差异的平均值对应于像素位置的子集。通过以下方式来生成经修改的差异：确定图像数据的新帧的相应的像素强度值与图像数据的累积帧的相应像素强度值之间的差异并且通过噪声模型来修改这些差异。从多个经修改的差异的平均值中选择经修改的差异的平均值。所选择的经修改的差异的平均值具有多个经修改的差异的平均值的最大幅度值。选择最大的经修改的差异的平均值改善了针对具有高颜色饱和度的对象的运动检测，例如，在红色对象在黑色背景下移动的情况下，只有红色通道将改变。通过选择具有最大差异的颜色通道，可以在其中具有高颜色饱和度的对象在场景中移动的应用中检测运动。

在示例中，为了生成与像素位置的子集相对应的经修改的差异的平均值，与像素位置的子集相对应的经修改的差异被求和。然后，将总和除以像素位置的子集中的像素位置的总数的平方根。通过将总和除以像素位置的子集中的像素位置的总数的平方根而不是将总和除以像素位置的子集中的像素位置的总数来生成平均值可能导致经修改的差异的平均值中的每一个均具有相同程度的噪声。这可以防止在像素位置的子集中的任意子集中的误报比像素位置的其他子集更多地支配运动检测。

所选择的经修改的差异的平均值可以与基于至少一个进一步的一组像素位置确定的进一步的经修改的差异的平均值进行组合，该进一步的一组像素位置包括像素位置310。针对进一步的一组像素位置的进一步的经修改的差异的平均值可以被使用与上述相同的方法来确定。然而，进一步的一组像素位置可以包括未被包括在该组像素位置320中的像素位置。图像数据的帧中存在运动的区域通常可以是同质的，并且可以覆盖比被包括在该组像素位置320中的那些像素位置更多数量的像素位置。增加该组像素位置320的大小可以使得更容易区分运动区域和噪声。然而，考虑到更大的像素位置集可能使生成运动检测值在计算上更加昂贵。将针对该组像素位置320计算的所选择的经修改的差异的平均值与基于进一步的一组像素位置计算的进一步的经修改的差异的平均值进行组合，类似地提高了检测运动的准确性，但是这样做却没有显著增加计算费用。

在一些示例中，该组像素位置320和进一步的一组像素位置可以交叠。进一步的一组像素位置可以与该组像素位置320具有相同的尺寸和形状，但是可以偏移一个像素位置，例如高出一行。可选地，在该组像素位置320与进一步的一组像素位置之间相同的唯一像素位置可以是像素位置310。

进一步的平均经修改的差异可以是经修改的差异的平均值，该经修改的差异的平均值是通过从多个进一步的所选择的经修改的差异的平均值进行内插而确定的，所述多个进一步的所选择的经修改的差异的平均值中的每一个是基于相应多个进一步的组的像素位置而确定的，所述多个进一步的组的像素位置中的每一个包括像素位置320。该方法可以包括存储这些值的子集，而不是存储针对每组像素位置的所选择的经修改的差异的平均值。该方法可以涉及从这些值进行内插以确定进一步的平均经修改的差异。这可以减少存储经修改的差异的平均值所需的存储空间。

图4示意性地示出了根据示例的图像处理工作流程。在框400，使用图像数据的新帧410和图像数据的累积帧420来检测图像数据的新帧410中的运动。在框400处的运动检测的结果、图像数据的新帧410和图像数据的累积帧420然后在框430处被使用，以生成输出的图像数据440并更新图像数据的累积帧420。应当理解，在框400和框430处执行的处理可以被在单独的框中执行。例如，生成输出的图像数据和更新累积的图像数据可以被在单独的框中执行。

图5示出了包括至少一个处理器510和至少一个存储器520的图像处理装置500。至少一个存储器520包括计算机程序代码，至少一个存储器520和计算机程序代码被配置为与至少一个处理器510一起使图像处理装置500执行用于根据本文所述的示例的处理图像数据的方法。图像处理装置500可以被包括在合适的计算设备(例如，智能电话、数码相机或计算机)中。在一些示例中，图像处理装置500位于包括至少一个图像传感器的设备中，该至少一个图像传感器用于生成图像数据的一帧或多帧。在其他示例中，图像处理装置500可以被包括在没有图像捕获能力但是可以被通信地耦合到图像捕获设备的计算设备中。图像处理装置500可以通过任何合适的有线或无线通信手段、通过局域网或广域网通信地耦合到图像捕获设备。图像处理装置500可以是专用集成电路。专用集成电路可以包括任何数量的处理器、微处理器和/或存储器块，包括RAM、ROM、EEPROM或闪存。专用集成电路可以包括被配置为根据本文所述的方法来处理图像数据的图像信号处理器。可选地，例如，图像处理装置500可以是被配置为执行如上所述的方法的非专用计算设备，例如台式计算机或移动计算设备。

图6示出了包括计算机可执行指令的非暂时性计算机可读存储介质500的示意图。可执行指令在由处理器执行时，可以使图像处理系统的操作执行一种方法，该方法至少包括：如框610所示，存储表示图像数据的多个帧的累积图像数据，该累积图像数据包括图像数据的累积帧，该图像数据的累积帧包括表示相应的多个像素位置的多个像素强度值；如框620所示，获得包括多个像素强度值的图像数据的新的帧，该多个像素强度值表示相应的多个像素位置；如框630所示，至少基于图像数据的新帧来执行运动检测，该运动检测标识检测到运动的像素位置；如框640所示，通过对图像数据的累积帧和图像数据的新帧进行组合来更新图像数据的累积帧；以及如框650所示，通过对图像数据的累积帧和图像数据的新帧进行组合来生成输出的图像数据，其中，该方法是运动敏感的，使得图像数据的新帧中表示标识的像素位置的像素强度值对表示更新后的图像数据的累积帧中的标识的像素位置的像素强度值的贡献大于对表示输出的图像数据中的标识的像素位置的像素强度值的贡献。

以上实施例将被理解为本发明的说明性示例。设想了本发明的其他实施例。应当理解，关于任何一个实施例描述的任何特征可以被单独使用，或者与所描述的其他特征组合使用，并且还可以与任何其他实施例的一个或多个特征组合使用，或者与任何其他实施例的任何组合进行组合使用。此外，在不脱离由所附权利要求限定的本发明的范围的情况下，也可以采用以上未描述的等同物和修改。

Claims

1.一种处理图像数据的方法，包括：

存储表示图像数据的多个帧的累积的图像数据，所述累积的图像数据包括图像数据的累积帧，所述图像数据的累积帧包括表示相应的多个像素位置的多个像素强度值并且还包括与多个空间变化参数值相对应的数据，所述多个空间变化参数值对应于相应的像素位置，所述多个空间变化参数值取决于在所述相应的像素位置处累积的图像数据的帧数；

至少基于所述图像数据的新帧和所述图像数据的累积帧来执行运动检测，所述运动检测基于与相应的多个像素位置相对应的多个运动检测值与所述多个空间变化参数值的相应的参数值的比较来标识其中检测到运动的像素位置，其中，至少基于所述图像数据的累积帧的像素强度值与所述图像数据的新帧的相应的像素强度值之间的差异生成所述运动检测值；

通过以下各项更新所述累积的图像数据：

通过将所述图像数据的累积帧与所述图像数据的新帧组合来更新所述图像数据的累积帧；

更新与所述多个空间变化参数值相对应的数据；以及

通过将所述图像数据的累积帧与所述图像数据的新帧组合来生成输出的图像数据，

其中，所述方法是运动敏感的，使得所述图像数据的新帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于对所述输出的图像数据中表示所标识的像素位置的像素强度值的贡献。

2.根据权利要求1所述的方法，其中，所述图像数据的新帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于所述图像数据的累积帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献。

3.根据权利要求1所述的方法，其中，所述图像数据的新帧中表示所标识的像素位置的像素强度值对所述输出的图像数据中表示所标识的像素位置的像素强度值的贡献小于所述图像数据的累积帧中表示所标识的像素位置的像素强度值对所述输出的图像数据中表示所标识的像素位置的像素强度值的贡献。

4.根据权利要求1所述的方法，其中：

可选地，更新所述图像数据的累积帧包括选择所述图像数据的新帧的相应的像素强度值以表示所标识的像素位置；以及

可选地，生成所述输出的图像数据包括选择所述图像数据的累积帧的相应的像素强度值以表示所标识的像素位置。

5.根据权利要求1所述的方法，其中，更新所述累积的图像数据包括以下各项中的任意一项：

通过基于与所标识的像素位置相对应的相应的运动检测值，将所述图像数据的新帧中表示所标识的像素位置的像素强度值与所述图像数据的累积帧中表示所标识的像素位置的像素强度值进行混合，来生成所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值；以及

基于所述运动检测值来更新与所述多个参数值中对应于所标识的像素位置的参数值相对应的数据。

6.根据权利要求5所述的方法，其中，生成输出的图像数据包括：通过基于与所标识的像素位置相对应的相应的参数值，将所述图像数据的新帧中表示所标识的像素位置的像素强度值与所述图像数据的累积帧中表示所标识的像素位置的像素强度值进行混合，来生成在所述输出的图像数据中表示所标识的像素位置的像素强度值。

7.根据权利要求1所述的方法，其中，所标识的像素位置是第一像素位置，并且更新所述累积的图像数据包括通过基于相应参数值将所述图像数据的新帧中表示所述运动检测未标识的第二像素位置的像素强度值与所述图像数据的累积帧中表示所述第二像素位置的像素强度值进行混合来生成表示所述第二像素位置的像素强度值，并且可选地，其中，更新所述图像数据的累积帧包括更新与对应于所述第二像素位置的相应的参数值相对应的数据。

8.根据权利要求1所述的方法，其中，生成针对所述像素位置的运动检测值至少包括：

确定所述图像数据的新帧中表示一组像素位置的一组像素强度值与所述图像数据的累积帧中表示该组像素位置的相应一组像素强度值之间的差异，所述一组像素位置包括所述像素位置；

使用噪声模型来修改所述差异；以及

对经修改的差异求平均值。

9.根据权利要求8所述的方法，其中，该组像素位置被布置在多个像素位置的子集中，每个像素位置的子集对应于颜色通道，并且生成针对所述像素位置的所述运动检测值包括：

生成多个经修改的差异的平均值，每个经修改的差异的平均值对应于像素位置的子集；以及

从所述多个经修改的差异的平均值中选择所述多个经修改的差异的平均值中具有最大幅度值的经修改的差异的平均值，

其中：

可选地，通过以下方式来生成与所述像素位置的子集相对应的所述经修改的差异的平均值：对与所述像素位置的子集相对应的经修改的差异进行求和，并且将与所述像素位置的子集相对应的经修改的差异的总和除以所述像素位置的子集中的像素位置的总数的平方根，

可选地，所选择的经修改的差异的平均值被与基于至少一个进一步的一组像素位置确定的进一步的经修改的差异的平均值进行组合，所述进一步的一组像素位置包括所述像素位置，并且可选地，其中，该组像素位置和所述进一步的一组像素位置交叠。

10.一种图像处理装置，包括：

至少一个处理器；

至少一个存储器，包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置执行一种方法，所述方法至少包括：

通过以下各项更新所述累积的图像数据：

更新与所述多个空间变化参数值相对应的数据；以及

其中，所述方法是运动敏感的，使得：所述图像数据的新帧中表示所标识的像素位置的像素强度值对所更新后的图像数据的累积帧中表示所标识的像素位置的像素强度值的贡献大于对所述输出的图像数据中表示所标识的像素位置的像素强度值的贡献。