CN107667391B

CN107667391B - 用于标识图像中的对象的系统和方法

Info

Publication number: CN107667391B
Application number: CN201680033494.0A
Authority: CN
Inventors: C.L.布恩; Z.李
Original assignee: Bendix Commercial Vehicle Systems LLC
Current assignee: Bendix Commercial Vehicle Systems LLC
Priority date: 2015-04-09
Filing date: 2016-04-06
Publication date: 2021-02-26
Anticipated expiration: 2036-04-06
Also published as: MX2017012859A; US20160300357A1; EP3281174A1; CA2982345A1; EP3281174B1; WO2016164432A1; CN107667391A; US9652854B2

Abstract

一种用于处理图像数据的方法包括标识图像的背景帧中的背景场景。将背景帧中的多个像素位置中的每一个设定为相应背景像素。对于像素位置中的每一个，基于该像素位置处的背景帧的亮度分量来确定相应移动平均值和相应移动方差。将随后帧标识为当前帧。对于被标识为背景像素的当前帧中的像素位置中的每一个，基于多个平均值权重中的一个来更新移动平均值并且基于多个方差权重中的一个来更新移动方差。对于当前帧中的像素位置中的每一个，基于当前帧中的当前像素位置的亮度分量、当前像素位置的移动平均值和当前像素位置的移动方差来进行当前像素位置是否是背景像素和前景像素中的一个的标识。

Description

用于标识图像中的对象的系统和方法

背景技术

本发明涉及辨别涉及背景的图像像素与涉及前景对象的图像像素。其与标识对由视频摄像头监控的区域的改变相结合地找到特定应用，并且将在对其进行特定参考的情况下加以描述。然而，将领会到，本发明还可修改成其它应用。

针对随时间的改变对区域进行视觉监控在一些情形中是合期望的，因为这样的视觉改变可以指示该区域的调查是有保证的。例如，人员突然出现在空的仓库走廊的场景中可能指示即将发生盗窃。类似地，包含流体的储槽的场景中的改变可能指示已经发生泄漏。

用于识别被监控区域中的改变的一些方法将被监控区域标识为背景，并且将对被监控区域的任何改变（例如，人员进入空的仓库走廊或者流体从储槽泄漏）标识为前景对象。用于识别被监控区域中的改变的一个常规方法涉及到首先基于图像序列而知悉背景。然后从将来图像减去背景，其结果是包括前景对象的图像。当实现常规的背景减法算法时出现一些问题。例如，可能并未正确地知悉和/或更新背景，可能并未正确地确定前景对象，可能将像素错误地标记为前景，以及像素的曝光中的显著改变可能使得像素被不正确地标记为前景。

本发明提供解决上文提到的问题的新的且改进的装置和方法。

发明内容

在本发明的一个方面中，设想到一种用于处理图像数据的方法包括标识图像的背景帧中的背景场景。将背景帧中的多个像素位置中的每一个设定为相应的背景像素。对于像素位置中的每一个，基于该像素位置处的背景帧的亮度分量来确定相应的移动平均值和相应的移动方差。将随后帧标识为当前帧。对于被标识为背景像素的当前帧中的像素位置中的每一个，基于多个平均值权重中的一个来更新移动平均值，并且基于多个方差权重中的一个来更新移动方差。对于当前帧中的像素位置中的每一个，基于当前帧中的当前像素位置的亮度分量、当前像素位置的移动平均值和当前像素位置的移动方差来进行当前像素位置是否是背景像素和前景像素中的一个的标识。

附图说明

在被合并在说明书中并且构成说明书的一部分的附图中，图示本发明的实施例，附图与上文给出的本发明的一般描述和下文给出的详细描述一起服务于例示本发明的实施例。

图1图示了依照说明本发明的原理的装置的一个实施例的系统的示意性表示；

图2图示了依照说明本发明的原理的装置的一个实施例的背景图像；

图3图示了依照说明本发明的原理的装置的一个实施例的具有前景对象的图像；

图4-8是依照说明本发明的原理的一个实施例的标识图像中的对象的示例性方法；

图9图示了依照本发明的一个实施例的在图像中标识出的前景对象；

图10图示了依照本发明的一个实施例的在图像中标识出的前景对象周围的剪影；以及

图11图示了依照本发明的一个实施例的图像中的剪影区域内的图像像素的标识。

具体实施方式

参考图1-3，用于监控区域的系统10包括监控感兴趣的区域14（参见图2和3）的图像捕获设备12（例如摄像头，诸如视频摄像头）。出于讨论的目的，假设感兴趣的区域14最初是“空的”（参见图2）。换言之，假设感兴趣的区域14最初不包括任何非典型对象16（参见图2对图3）。

处理设备20（例如电子控制单元（ECU））电气连接到摄像头12。摄像头12获取感兴趣的区域14的顺序图像（例如帧）。在一个实施例中，帧由摄像头12以预定时间间隔获取。因此，当顺序地观看时，由摄像头12捕获的帧提供一段时间内的感兴趣的区域14的视频图像。

ECU 20评估每一个帧并且确定相对于来自之前帧中的至少一个的图像的任何显著改变。以此方式，ECU 20知悉感兴趣的区域14在没有任何非典型对象16的情况下看起来是什么样的（参见图2）。将从一帧到另一帧的对图像的显著改变标记为感兴趣的区域14的外观中的改变（参见图3）。

在所图示的实施例中，感兴趣的区域14是空的场景（参见图2）。当监控场景14时，ECU 20“知悉”空的场景14看起来是什么样的。当ECU 20检测到看起来不同于“所知悉的”空场景的帧时，ECU 20将图像中的改变标识为感兴趣的区域14中的非典型对象16。在一个实施例中，假设非典型对象16的发现要求采取行动。例如，非典型对象16可以被标识为受约束区域14中的未经授权的人员（例如窃贼）。在该情况下，ECU 20可以导致触发警报。在下面讨论的实施例中，将感兴趣的区域14的已知悉的预期外观（例如，空的走廊）称为背景并且将从背景的偏离称为前景。

下面讨论可以由ECU 20用于“知悉”与图像相关联的背景的用于背景减法的算法。

首先，ECU 20计算针对视频帧序列中的每一个像素位置的亮度分量的相应代表性统计量（例如平均亮度值）。第二，针对相同的视频帧序列计算针对每一个像素位置的亮度分量的变化性的代表性统计量。变化性的代表性统计量在针对相应像素位置的亮度分量的统计量随时间显著改变时具有较大的值，并且在亮度分量的统计量随时间相当恒定时具有较小的值。第三，将具有从亮度分量的统计量的大于预定值的偏离的图像中的像素位置标记为前景。在一个实施例中，标记方法取决于三个标量值：1）最近的亮度测量结果与平均亮度统计值之间的平方差，2）阈值，以及3）因子乘以可变性统计值。在该实施例中，标记方法可以要求，为了将像素位置标识为前景，第一标量值必须大于第二和第三标量值二者。第四，第一和第二步骤被限制成使得在将像素位置标识为前景时不更改针对该像素位置的代表性统计量。以此方式，一致计算的统计量代表背景特性。限制方法可以使用称为前景掩模的阵列，所述阵列包含对应于每一个图像像素位置的元素。每一个元素在将像素位置标记为背景时是第一值（例如零（0）），并且在将该像素位置标记为前景时是第二值（例如一（1））。

将上文讨论的第一和第二步骤称为自适应背景估计。选择代表性统计量以提供表征每一个像素位置的亮度分量的值和可变性的稳定估计，而同时还能够适配于像素位置亮度中的缓慢改变（诸如可能由于改变的照明而出现）。适应像素位置亮度中的缓慢变化的一个统计量是指数加权的（EW）移动平均值。伴随统计量是EW移动方差，其可以在决定所观察到的偏离是否在统计上是显著的时与EW移动平均值结合使用。

在通常使用的实现方式中，针对其中前景掩模是零的那些像素位置更新EW移动平均值和EW移动方差。将EW移动平均值和EW移动方差确定为：

updatedMean = (1-weightM) * previousMean + weightM * newestData；以及

updatedVar = (1-weightV) * previousVar + weightV *(newestData-previousMean)²。

前景掩模包含对应于每一个图像像素位置的元素。每一个元素在将像素位置标记为背景时是第一值并且在将该像素位置标记为前景时是第二值。通常使用以下方法来确定前景掩模：

1）掩蔽之前图像中被标识为了前景的任何像素位置。

当在实践情形中实现上文描述的方法时出现一些问题：

1. 当使用上文描述的方法确定前景掩模时，考虑到可能没有在给定帧中正确地标识前景对象内的像素位置中的一些，在接下来的帧中将不会掩蔽任何这样的前景像素位置，并且将会不利地影响移动平均值和方差。

2. 可能将像素位置错误地标记为前景。如果，如在上文描述的方法中，从不更新标记为前景的像素位置，则像素位置的这样的不正确标记将持续。

3. 当前景对象移动通过场景时，背景的区域可能在大量时间内被该对象遮盖，使得当该背景区域不再被前景对象遮盖时，场景特性和/或摄像头曝光可能已经改变了，并且该区域中的背景平均值和方差值可能是过时的。

4. 当为了评估而呈现的帧序列正由被动态地控制的成像设备生成时，成像器曝光中的突然、显著改变可能具有对EW移动平均值和EW移动方差估计的过度影响和/或可能使得像素位置由于当前像素位置亮度与EW移动平均值之间的突然的、大的差异而被不正确地标记为前景。

提出对上文描述的方案的三种增强。

1. 确定前景掩模。根据本发明的一个实施例的方法解决上文的问题1：

当更新EW移动平均值时，使用“前景掩模A”，其包括被确定为之前图像中的前景的每一个像素位置。在一个实施例中，“前景掩模A”还可以包括任何这样的前景像素位置的任何邻居。像素位置的邻居是直接与该像素位置相邻（例如，在边处或在角处触及所述像素位置）的任何其它像素位置。将标识和包括全部前景像素位置的全部邻居的过程称为膨胀。

当更新EW移动方差值时，使用“前景掩模B”，其包括包围在之前图像中标识出的前景像素位置或对象的每一个分组的定界框内的任何像素位置。可以将定界框描述为包括前景像素位置的分组中的每一个像素位置以及该分组内和周围的任何背景像素位置的任何几何形状。在一个实施例中，定界框可以是具有包含最左对象像素位置的图像列处的左边缘、包含最右对象像素位置的图像列处的右边缘、包含最顶对象像素位置的图像行处的顶边缘和包含最底对象像素位置的图像行处的底边缘的矩形图像区域。

2. 计算EW移动平均值。在本发明的一个实施例中，使用更加复杂的逻辑来确定EW移动平均值：

如果前景掩模A值为零：

i. 如果针对之前帧中的该像素位置的前景掩模A值为非零，则使用更快的滤波器（更大的WeightM值）更新EW移动平均值，或者

ii. 如果曝光在之前和当前帧之间已显著改变，则使用更快的滤波器（更大的weightM值）更新移动平均值，或者

iii. 如上文所描述的那样更新移动平均值：

updatedMean = (1-weightM) * previousMean + weightM * newestData。

如果前景掩模A值为1（一）：如果曝光在之前和当前帧之间已显著改变，则更新EW移动平均值。在该情况下，更新可以使用标称WeightM值或某其它预定义的值。

在一个实施例中，用在上文的（i）或（ii）中的较大的WeightM值可以设定成等于一（1），在该情况下EW移动平均值将被重新初始化成该帧像素位置亮度值。

3. 计算EW移动方差。在一个实施例中，将EW移动方差计算为：

如果曝光在之前和当前帧之间已显著改变，则不更新该帧时间中的任何像素位置的EW移动方差，或者

在其中适当的前景掩模（例如前景掩模B）为零的像素位置处，如上文所描述的那样更新移动方差：

updatedVar = (1 - weight) * previousVar + weight * (newestData -previousMean)²。

用于确定（一个或多个）前景掩模的本发明的实施例解决上文描述的确定前景掩模的第一问题。在构建前景掩模A时使每一个所检测到的前景像素位置膨胀的过程将可能未被检测到的一些像素位置作为前景进行掩蔽，并且防止那些值不利地影响那些像素位置处的EW移动平均值和EW移动方差。在更新EW移动方差时使用的前景掩模B将甚至更多的像素位置视为前景。其结果是保持EW移动方差更加稳定，因为EW移动方差统计量对错误地包括的前景像素位置相当敏感。

用于确定EW移动平均值的本发明的实施例还解决上文讨论的第二问题、第三问题和第四问题，所述第二问题是在前景对象移动通过场景时可能遮盖背景区域，所述第三问题是像素位置可能被错误地标记为前景，所述第四问题是成像器曝光中的突然、显著改变。当像素位置从前景转变为背景时使用较大的WeightM更新EW移动平均值有助于去除可能已经“泄漏”到该值中的前景的任何影响，并且还有助于与由于可能在将像素位置标记为前景的同时发生的动态背景条件和/或曝光改变所致的改变保持同步。在曝光已经显著改变的情况下在帧中使用较快的滤波器有助于最小化由于像素位置亮度与EW移动平均值之间的突然的、大的差异而将像素位置不正确地标记为前景。

用于确定EW移动方差的本发明的实施例解决上文讨论的成像器曝光中的突然、显著改变的第四问题。成像器曝光中的突然改变导致图像内的所有像素位置值中的一般大的改变。该差异在用于更新EW移动方差的(newestData-previousMean)²中被放大。在其中曝光已经显著改变的帧中禁用EW移动方差的更新有助于最小化EW移动方差中的曝光改变的影响。

本发明的实施例导致背景和前景的更加精确的分离、对改变的摄像头设定（诸如曝光时间）的降低的敏感度和不正确标记的前景区域的降低的持续性。

参考图4-8，图示了上文描述的系统和方法的示例性方法论。如所图示，块表示其中执行的功能、动作和/或事件。将领会到，电子和软件系统涉及到动态和灵活的过程，使得可以以不同的顺序执行所图示的块和所描述的序列。本领域普通技术人员还将领会到，体现为软件的元素可以使用各种编程方案来实现，诸如机器语言、程序性的、面向对象或人工智能技术。还将领会到，如果期望且适当，软件中的一些或全部可以体现为设备的操作系统的部分。

假设图2图示了包括背景场景的感兴趣的区域14。假设该背景场景出现在帧零（0）（图像0或背景帧）中，其发生在时间零（0）处。对象16出现在帧一（1）（图像1）中的图3的图像中，其发生在时间一（1）处（例如在时间零（0）之后）。帧0和帧1是作为定义视频图像的多个帧的部分的顺序帧。

参考图4-8，方法在步骤110中开始。在步骤112中将帧0（图像0）选择为当前帧。对于当前帧（例如图像0）中的像素位置22中的每一个，在步骤114中设定（例如更新）相应的EW移动平均值，在步骤116中设定（例如更新）相应的EW移动方差，并且在步骤120中进行像素位置22是“前景像素”还是“背景像素”的相应确定。

参考图4和5，针对当前像素位置22设定（例如更新）相应EW移动平均值的步骤114在步骤114a中开始。在步骤114b中进行正评估的当前帧是否是第一帧（例如图像0）的确定。由于在该阶段处，当前帧是图像0，因此控制传递到步骤114c，其用于将用于确定当前像素位置的移动平均值的移动平均值加权变量WeightM赋值为值一（1）。然后在步骤114d中将当前像素位置22的移动平均值（RMPixel）确定为：

RMPixel = ((1 - WeightM) * PrevRMPixel) + (WeightM * PixelBC)

其中：PrevRMPixel是来自之前帧（例如最近的帧）的当前像素位置22的移动平均值；并且

PixelBC是当前像素位置的亮度分量（例如零（0）至255）。

在该阶段处，由于当前正在评估帧0（图像0），因此移动平均值加权变量WeightM是一（1）。因此，当前像素位置22的EW移动平均值（RMPixel）为：

RMPixel = ((1 - 1) * PrevRMPixel) + (1 * PixelBC) = PixelBC。

换言之，当前像素位置22的EW移动平均值（RMPixel）是当前像素位置22的相应亮度分量。因此，在第一帧（图像0）中针对像素位置22中的每一个的相应EW移动平均值（RMPixel）是相应像素位置22的亮度分量（PixelBC）。

在步骤114e中将当前像素位置22的EW移动平均值（RMPixel）写入到针对当前像素位置22的EW移动平均值缓冲器。设定（例如更新）针对当前像素位置22的相应EW移动平均值的步骤在步骤114f中结束。

参考图4和6，设定（例如更新）针对当前像素位置22的相应EW移动方差的步骤116在步骤116a中开始。在步骤116b中进行正评估的当前帧是否是帧0（例如图像0）的确定。由于在该阶段中，当前帧是图像0，因此控制传递到步骤116c，其用于将用于确定当前像素位置的EW移动方差的移动方差加权变量WeightV赋值为值零（0）。然后在步骤116d中将当前像素位置22的移动方差（RVPixel）确定为：

RVPixel = ((1 - WeightV) * PrevRVPixel) + (WeightV * PixelVar)

其中：PrevRVPixel是来自之前帧（例如最近的帧）的当前像素位置22的移动方差；并且

PixelVar是当前像素位置的亮度分量（例如零（0）至255）相对于背景值的瞬时方差。瞬时方差为：

PixelVar = (PixelBC – RMPixel)²

其中：PixelBC是当前像素位置的亮度分量；并且

RMPixel是当前像素位置处的EW移动平均值。

在该阶段处，由于当前正在评估第一帧（图像0），因此移动方差加权变量WeightV是零（0）。因而，当前像素位置22的移动方差（RVPixel）为：

RVPixel = ((1 - 0) * PrevRVPixel) + (0 * PixelVar) = PrevRVPixel。

由于当前正在评估第一帧（图像0），因此尚不存在之前帧，并且将来自之前帧的当前像素位置22的移动方差假设为零（0）。因而，在帧0（图像0）中针对像素位置22中的每一个的相应移动方差（RVPixel）为零（0）。

在步骤116e中将当前像素位置22的移动方差（RVPixel）写入到针对当前像素位置22的EW移动方差缓冲器。设定（例如更新）针对当前像素位置22的相应EW移动方差的步骤在步骤116f中结束。

参考图4和7，确定相应像素位置22是“前景像素”还是“背景像素”的步骤120在步骤120a中开始。在步骤120b中将平方差（diff²）确定为：

diff² = (PixelBC - RMPixel)²

其中：PixelBC是当前像素位置的亮度分量（例如零（0）至255）；并且

RMPixel是当前像素位置22的EW移动平均值。

在步骤120c中进行以下确定：i）平方差（diff²）是否大于预定阈值（例如100至300）以及ii）平方差（diff²）是否大于当前像素位置22的移动方差（RVPixel）的常数（例如5至10）倍。在正在评估图像0时的情况下，对于每一个像素，RMPixel = PixelBC，因此diff =0并且diff² = 0。由于任何有意义的阈值大于零（0），因此diff² = 0小于任何有意义的阈值并且将所有像素位置确定为背景像素位置。在正在评估除了图像0之外的任何图像时的情况下，如果在步骤120c中确定了i）平方差（diff²）大于预定阈值，以及ii）平方差（diff²）大于当前像素位置22的移动方差（RVPixel）的常数倍，则在步骤120d中将当前像素位置22标识为“前景像素”（例如像素位置由数值一（1）标识）。否则，在步骤120e中将当前像素位置22标识为“背景像素”（例如像素位置由数值零（0）标识）。

如果当前像素位置22是前景像素（例如当前像素位置22具有值一（1）），则在步骤120f中将当前前景像素22输出（例如添加）到当前帧的前景掩模。如上文所指出的，在帧0（例如图像0）中，假设所有像素位置被标识为背景像素。确定相应像素位置22是“前景像素”还是“背景像素”的步骤在步骤120g中结束。

参考图4，一旦针对当前图像（例如图像0）中的像素位置22中的每一个完成了步骤114、116和120中的每一个，就在步骤122中将当前图像中的像素位置中的每一个的相应EW移动平均值（RMPixel）存储在与ECU 20电气通信的存储器30中，将当前图像中的像素位置22中的每一个的相应EW移动方差（RVPixel）存储在存储器30中，并且将在当前图像中被标识为前景像素位置的像素位置22存储在存储器30中作为前景掩模A 32（参见图9）。

在步骤124中，确定边界框。由于边界框与何时标识了前景像素位置相关，并且针对图像0的当前示例不包括任何前景像素位置，因此下文将更加详细地描述步骤124。

在步骤124之后，如果可得到尚未被评估的附加帧（例如图像），则控制返回到步骤114以用于处理所述（一个或多个）附加帧。在本示例中，由于仅处理了帧0（图像0），因此将评估下一帧（例如帧1或图像1）（参见图3）。

参考图1-5，步骤114在步骤114a中开始。在步骤114b中，确定当前图像不是帧0（图像0），并且因此，控制传递到步骤114g以用于确定当前图像（例如图像1）中的当前像素位置22是否是背景像素（例如前景掩模A值是否为零（0））。如果确定了当前像素位置22是背景像素，则控制传递到步骤114h，以用于确定图像捕获设备12的曝光是否已显著改变。如果图像捕获设备12的曝光已显著改变，则控制传递到步骤114i以用于在曝光改变时将移动平均值加权变量WeightM设定成预定值WeightM_ExpBG（例如0.10至0.30）。预定值WeightM_ExpBG（例如0.10至0.30）将大于值WeightM_Nom（例如0.01 - 0.05），这将允许EW移动平均值对曝光改变的影响做出更加快速的调节。

如果在步骤114h中确定了曝光并未显著改变，则控制传递到步骤114j以用于确定当前像素位置是否在之前图像（例如图像0）中从在先图像之前的图像（例如当前图像之前的两（2）个图像）中的前景像素（例如前景掩模A为一（1））改变成之前图像（例如本示例中的图像0）中的背景像素（例如前景掩模A为零（0））。如果在步骤114j中确定了当前像素位置被改变了，则控制传递到步骤114k以用于将移动平均值加权变量WeightM设定成预定值WeightM_FGtoBG（例如0.10至0.30）。预定值WeightM_ FGtoBG（例如0.10至0.30）将大于值WeightM_Nom（例如0.01 - 0.05），这将允许EW移动平均值在所述像素位置被标记为前景的时间期间对亮度中的改变做出更加快速的调节。否则，如果在步骤114j中确定了当前像素位置未被改变，则控制传递到步骤114l以用于将移动平均值加权变量WeightM设定成预定值WeightM_Nom（例如0.01 - 0.05）。

如果在步骤114g中确定了当前图像（例如图像1）中的当前像素位置22不是背景像素（例如如果前景掩模A值为零（0）），则控制传递到步骤114m以用于确定图像捕获设备12的曝光是否显著改变。如果在步骤114m中确定了图像捕获设备12的曝光已显著改变，则控制传递到步骤114n以用于将移动平均值加权变量WeightM设定成预定值WeightM_ExpFG（例如0.10至0.30）。预定值WeightM_ExpFG将类似于或小于值WeightM_Nom。否则，如果在步骤114m中确定了图像捕获设备12的曝光并未显著改变，则控制传递到步骤114o以用于将移动平均值加权变量WeightM设定成0。

从步骤114c、114i、114k、114l、114n、114o中的每一个，控制传递到步骤114d以用于确定上文描述的当前像素位置22的EW移动平均值（RMPixel）。

参考图4和6，当在步骤114中设定（例如更新）移动平均值之后，控制传递到步骤116以用于设定（例如更新）针对当前像素位置22的相应EW移动方差。如上文所讨论的，步骤116在步骤116a处开始。对于当前帧（例如帧1），在步骤116b中确定当前图像（例如图像1）不是图像0并且因而控制传递到步骤116g以用于确定当前图像（例如图像1）中的当前像素位置22是否是背景像素（例如前景掩模B值是否为零（0））。如果在步骤116g中确定了当前像素位置22是背景像素，则控制传递到步骤116h以用于确定图像捕获设备12的曝光是否自从例如上一帧显著改变；否则控制传递到步骤116i。如果在步骤116h中确定了曝光没有显著改变，则控制传递到步骤116j以用于在传递到上文描述的步骤116d之前将移动方差加权变量WeightV设定成预定值WeightV_Nom（例如0.01 - 0.05）。否则，如果确定了曝光显著改变了，则控制传递到步骤116i以用于在传递到步骤116d之前将移动方差加权变量WeightV设定成零（0）。

控制然后传递到步骤120和122，如上文所讨论的那样。

参考图9，标识为前景掩模A 32中的前景像素（在步骤120d中被赋值以数值一（1）（参见图7））的像素位置22被图示为白色（参见例如像素位置22_F），而标识为前景掩模A 32中的背景像素位置（在步骤120e中被赋值以数值零（0）（参见图7））的像素位置22被图示为黑色（参见例如像素位置22_B）。如图9中所图示的，并非对象16的剪影（例如轮廓）内的所有像素位置22都被标识为前景像素位置22_F。换言之，并非16的剪影内的所有像素位置22都是白色的。因此，参考图4、7和8，在步骤124中定义对象16周围的相应形状（例如矩形、方形、圆形、卵形、椭圆形、平行四边形等）34。在一个实施例中，形状34称为定界框。

参考图4和8，定义对象周围的相应形状的步骤124在步骤124a处开始。在步骤124b中，通过形状34包围前景像素位置22_F的每一个分组（参见图10和11中的矩形）。然后，在步骤124c中，将形状34的边界内的像素位置中的每一个设定为前景像素位置22_F（例如设定成具有值一（1），使得所述像素位置被图示为白色）以形成定界形状36（例如定界框）。定界框36定义前景掩模B。定义对象周围的相应形状的步骤在步骤124d处结束。

虽然通过本发明的实施例的描述说明了本发明，并且虽然以相当多的细节描述了实施例，但是申请人的意图并非是将随附权利要求的范围约束或以任何方式限制到这样的细节。本领域技术人员将容易想到附加的优点和修改。因此，本发明在其更宽泛的方面中不限于所示出和描述的具体细节、代表性装置和说明性示例。相应地，可以从这样的细节做出偏离而不脱离申请人的一般发明概念的精神和范围。

Claims

1.一种用于处理图像数据的方法，所述方法包括：

标识图像的背景帧中的背景场景；

将背景帧中的多个像素位置中的每一个设定为相应背景像素；

对于像素位置中的每一个，基于所述像素位置处的背景帧的亮度分量来确定相应移动平均值和相应移动方差；

将随后帧标识为当前帧；

对于被标识为背景像素的当前帧中的像素位置中的每一个：

基于多个平均值权重中的一个来更新移动平均值；

基于多个方差权重中的一个来更新移动方差；以及

对于当前帧中的像素位置中的每一个：

基于当前帧中的当前像素位置的亮度分量、当前像素位置的移动平均值和当前像素位置的移动方差来标识当前像素位置是否是背景像素和前景像素中的一个，

还包括：针对被标识为前景像素的当前像素位置更新移动平均值。

2.如权利要求1中所阐述的用于处理图像数据的方法，还包括：

重复将随后帧标识为当前帧的步骤以及针对当前帧中的像素位置中的每一个更新移动平均值和更新移动方差的步骤。

3.如权利要求1中所阐述的用于处理图像数据的方法，还包括：

基于当前像素位置是否在当前帧中从前景像素改变成背景像素来确定平均值权重，

其中更新移动平均值的步骤包括：

基于当前平均值权重来更新移动平均值。

4.如权利要求1中所阐述的用于处理图像数据的方法，还包括：

基于与当前图像相关联的曝光来确定平均值权重。

5.如权利要求1中所阐述的用于处理图像数据的方法，还包括：

基于与当前图像相关联的曝光来确定方差权重。

6.如权利要求1中所阐述的用于处理图像数据的方法，其中更新移动平均值的步骤包括根据以下来更新移动平均值：

RMPixel = ((1 - WeightM) * PrevRMPixel) + (WeightM * PixelBC)，

其中：RMPixel是针对当前帧中的当前像素位置的经更新的移动平均值；

WeightM是针对当前帧中的当前像素位置的当前平均值权重；

PrevRMPixel是来自之前帧的当前像素位置的移动平均值；以及

PixelBC是当前帧中的当前像素位置的亮度分量。

7.如权利要求1中所阐述的用于处理图像数据的方法，其中基于当前方差权重来更新移动方差的步骤包括根据以下来更新移动方差：

RVPixel = ((1 - WeightV) * PrevRVPixel) + (WeightV * PixelVar)，

其中：RVPixel是针对当前帧中的当前像素位置的经更新的移动方差；

WeightV是针对当前帧中的当前像素位置的当前方差权重；

PrevRVPixel是来自之前帧的当前像素位置的移动方差；以及

PixelVar是当前像素位置的亮度分量相对于背景值的瞬时方差。

8.如权利要求7中所阐述的用于处理图像数据的方法，其中基于当前方差权重更新移动方差的步骤包括根据以下来更新移动方差：

PixelVar = (PixelBC – RMPixel)²

其中：PixelBC是当前像素位置的亮度分量；以及

RMPixel是当前像素位置处的移动平均值。

9.如权利要求1中所阐述的用于处理图像数据的方法，其中标识当前像素位置是否是背景像素和前景像素中的一个的步骤包括根据以下来标识当前像素位置是否是背景像素和前景像素中的一个：

diff² = (PixelBC - RMPixel)²，

其中：PixelBC是当前帧中的当前像素位置的亮度分量；以及

RMPixel是针对当前帧中的当前像素位置的经更新的移动平均值；以及

基于diff²来标识当前像素位置是否是背景像素和前景像素中的一个。

10.如权利要求9中所阐述的用于处理图像数据的方法，其中标识当前像素位置是否是背景像素和前景像素中的一个的步骤包括如果以下则标识当前像素位置是否是前景像素：

diff² >预定阈值；以及

diff² > (k * RVPixel)，

其中：RVPixel是针对当前帧中的当前像素位置的移动平均值；以及

k为常数。

11.如权利要求1中所阐述的用于处理图像数据的方法，还包括：

标识包围前景像素位置的群组的定界框；

将定界框内的像素位置中的每一个标识为前景像素以用于更新移动方差；以及

对于被标识为背景像素的当前帧中的像素位置中的每一个：

基于所述多个方差权重中的一个更新移动方差。

12.如权利要求11中所阐述的用于处理图像数据的方法，还包括：

将定界框定义为任何几何形状。