CN105279474A - 判断改变区域的内容的方法和装置 - Google Patents

Abstract

本发明公开了一种判断改变区域的内容的方法和装置。基于视频序列的当前帧和场景模型检测所述改变区域，所述方法包括：区域对确定步骤，用于确定来自所述改变区域的内部和外部的至少一个区域对；第一差分计算步骤，用于计算所述场景模型中所述至少一个区域对的至少一个特征的第一差分；第二差分计算步骤，用于计算所述当前帧中所述至少一个区域对的所述至少一个特征的第二差分；判断步骤，用于根据所述第一差分和所述第二差分，判断所述改变区域是否是丢弃的物体，或者判断所述改变区域是否是移除的物体。

Description

判断改变区域的内容的方法和装置

技术领域

本发明主要涉及图像处理和视频分析领域，尤其涉及一种用于判断视频中的改变区域的内容的方法。

背景技术

在现在的安全监控系统中广泛使用视频照相机。因此，当今视频内容的自动分析变得日益重要。它们通常寻找不是正常预期的场景的一部分的异常活动。在许多情况下，异常活动涉及诸如人跑步、人的古怪行为等运动事件。常用的检测运动事件的方法是背景减法。其能够分割运动前景和静态背景。但是，在一些实际应用中，还需要对运动前景的内容进行分析和处置。例如，诸如机场或者咖啡厅的公共场所中的丢弃的物体是需要尽可能快地检测和解决的潜在威胁。另外，无人看管的场所中的财产盗窃是现在的安全系统的另一个重要任务。

图1示出了两个视频场景。在图1A中，物体被丢弃。在图1B中，物体被移除。丢弃物体事件和移除物体事件可能产生相同的改变区域(ROC)。背景减法方法无法区分这两种情况。通过背景减法得到的检测是相同的。

为了应对这种情形，美国专利第8422791号公报提出了一种检测丢弃物体和移除物体的方法。在该现有技术中，公开了一种将检测到的视频帧的ROC分类为丢弃物体事件和物体移除事件的方法，其中，多个边界块限定ROC的边界。对于一组边界块中的每一个，该方法确定所述边界块的预测边缘特性和观察边缘特性。然后，该方法基于所述边界块的所述预测边缘特性和所述边界块的所述观察边缘特性，确定所述边界块的单个块分数。一旦对该组边界块中的全部进行了处理，则该方法基于所述边界块的所述单个块分数，确定所述ROC的全局分数。然后，该方法基于所述全局分数与阈值如何相关来将ROC分类为丢弃物体事件和物体移除事件。然而，上述方法高度依赖于检测到的ROC的边界。如果例如由于噪声、阴影或者照明的改变，边界未正确地勾勒出物体边界的轮廓，则现有技术仍然需要进一步的改进。

下面的示例示出了导致现有技术将移除的物体错误地分类为丢弃的物体的不准确地检测到的边界。

图2A示出了照相机位于背景框架中的支架上。图2B示出了在当前框架中移除了照相机，仅留下支架。图2中的形状21和22指示通过现有技术检测到的ROC的边界。图2中的矩形23指示ROC的地面真实位置。由于在照相机后面的支架上存在阴影区域，因此检测到的ROC的边界未被正确地检测到。反而，检测到的ROC的边界包围比真实的改变区域大得多的区域。检测ROC的边界时的误差传播到边缘特性的计算和ROC的内容判断。

因此，期望能够提供一种对于阴影和噪声稳健的、用于判断检测到的ROC的内容是丢弃的物体还是移除的物体的方法及其装置。

发明内容

鉴于上述问题中的至少一个提出了本发明。

在一个方面，提供了一种判断检测到的改变区域的内容的方法，其中，基于视频序列的当前帧和场景模型检测所述改变区域，并且所述方法包括：区域对确定步骤，用于确定来自所述ROC的内部和外部的至少一个区域对；第一差分计算步骤，用于计算所述场景模型中所述至少一个区域对的至少一个特征的第一差分；第二差分计算步骤，用于计算所述当前帧中所述至少一个区域对的所述至少一个特征的第二差分；判断步骤，用于根据所述第一差分和所述第二差分，判断所述ROC是否是丢弃的物体，或者判断所述ROC是否是移除的物体。

在一个实施方式中，使用背景减法来获取所述ROC。

在一个实施方式中，所述视频序列由彩色图像帧或者灰色图像帧构成。

在一个实施方式中，在所述第一差分计算步骤之前添加对所述场景模型和/或所述当前帧的预处理步骤，其中，所述预处理步骤是离散余弦变换、傅立叶变换或小波变换。

在一个实施方式中，所述至少一个区域对中的各个由图像像素或者图像块构成。

在一个实施方式中，所述区域对确定步骤还包括：提取所述ROC的边界；获得沿所述ROC的所述边界的候选区域对；从所述候选区域对中移除至少一个无效区域对。

在一个实施方式中，所述至少一个特征表示亮度和/或颜色和/或纹理。

在一个实施方式中，在所述区域对确定步骤中，其中，所述至少一个区域对满足以下标准：要配对的内部区域和外部区域与所检测到的ROC的同一边界区域相邻。

在一个实施方式中，在所述第一差分计算步骤和所述第二差分计算步骤中，对所述至少一个特征中的至少一部分进行加权。

在一个实施方式中，所述判断步骤还包括：在从所述第一差分到所述第二差分的转变是从较小差分到较大差分的情况下，判断所述改变区域为丢弃的物体；或者在从所述第一差分到所述第二差分的转变是从较大差分到较小差分的情况下，判断所述改变区域是移除的物体。

在一个实施方式中，所述判断步骤还包括：计算从所述第一差分到所述第二差分的转变分数；将所述转变分数与预先设置的阈值进行比较；在所述分数大于所述阈值的情况下，判断所述改变区域为丢弃的物体，或者在所述分数小于所述阈值的情况下，判断所述改变区域为移除的物体。

在另一方面，提供了一种被配置为判断ROC的内容的装置，其中，通过将视频序列的当前帧与场景模型进行比较来检测所述ROC。所述装置包括：区域对确定单元，其被配置为确定来自所述ROC的内部和外部的至少一个区域对；第一差分计算单元，其被配置为计算所述场景模型中的所述至少一个区域对的至少一个特征的第一差分；第二差分计算单元，其被配置为计算所述当前帧中的所述至少一个区域对的所述至少一个特征的第二差分；判断单元，其被配置为根据所述第一差分和所述第二差分，判断所述改变区域是否是丢弃的物体，或者判断所述改变区域是否是移除的物体。

在一个实施方式中，所述装置还包括预处理单元，所述预处理单元被配置为实现对所述场景模型和所述当前帧的离散余弦变换、傅立叶变换或小波变换。

在一个实施方式中，所述区域对确定单元还包括：提取子单元，其被配置为提取所述ROC的边界；获取子单元，其被配置为获取沿所述ROC的所述边界的候选区域对；以及移除子单元，其被配置为从所述候选区域对中移除至少一个无效区域对。

在一个实施方式中，所述判断单元还包括：在从所述第一差分到所述第二差分的转变是从较小差分到较大差分的情况下，判断所述改变区域为丢弃的物体；或者在从所述第一差分到所述第二差分的转变是从较大差分到较小差分的情况下，判断所述改变区域为移除的物体。

在一个实施方式中，所述判断单元还包括：计算子单元，其被配置为计算从所述第一差分到所述第二差分的转变分数；比较子单元，其被配置为将所述转变分数与预先设置的阈值进行比较；判断子单元，其被配置为在所述分数大于所述阈值的情况下，判断所述改变区域为丢弃的物体，或者在所述分数小于所述阈值的情况下，判断所述改变区域为移除的物体。

在另一方面，提供一种照相机系统。所述照相机系统包括：镜头系统；照相机模块，其被耦合到所述镜头系统以捕获输入视频序列；根据上述装置中的任一个所述的装置。

附图说明

包含在说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与文字描述一起用于解释本发明的原理。

图1示意性地示出了物体被丢弃和物体被移除的两个视频场景；

图2示例性地示出了现有技术的缺点。

图3示意性地示出了本发明的原理。

图4A是根据能够实现本发明的实施例的第一示例性系统配置的示意性框图。

图4B是根据能够实现本发明的实施例的第二示例性系统配置的示意性框图。

图5是示出图4A和图4B中的计算设备420的示例性硬件配置的框图。

图6是示出根据本发明的ROC内容判断方法的通用流程图。

图7是示出根据本发明的区域对确定步骤中的处理的流程图。

图8示出了按照行搜索检测到的ROC的最小和最大块索引的处理。

图9示出了按照列搜索检测到的ROC的最小和最大块索引的处理。

图10示出了ROC的边界块和相应的候选区域对的位置。

图11示出了图9的图像坐标系。

图12示出了无效区域对的一个示例。

图13示出了无效区域对的另一个示例。

图14是示出根据本发明的第一差分计算步骤中的处理的流程图。

图15是示出根据本发明的第二差分计算步骤中的处理的流程图。

图16是示出根据本发明的内容判断步骤中的处理的流程图。

图17是根据本发明的ROC内容判断装置的功能配置。

具体实施方式

下面，参照附图详细描述本发明的示例性实施例。应注意，下面的描述在本质上仅是说明性和示例性的，而绝不旨在限制本发明及其应用或者使用。除非另外具体说明，在实施例中描述的部件和步骤、数字表示和数值的相对布置不限制本发明的范围。另外，不详细讨论本领域技术人员已知的技术、方法和设备，但是这些技术、方法和设备在适当的情况下旨在作为说明书的一部分。

接下来，在图3所示的样本中示出了本发明的原理。在图3中，存在两个视频帧，左侧的视频帧没有任何物体，而右侧的视频帧有箱子。如果时间序列是从左到右，则其是丢弃事件；否则，其是移除事件。以其中任意一种方式，可以通过背景减法来检测ROC，并且黑色矩形32示出了检测到的ROC的边界。用浅灰色矩形33标记确定的ROC内部的区域。用深灰色矩形31标记确定的ROC外部的区域。

在左侧的帧中，仅存在非常均匀的背景图。因此，在内部区域和外部区域的视觉特征之间没有大的特征差分。然而，在右侧的帧中，由于存在箱子，在内部区域和外部区域的视觉特征之间存在较大的特征差分。如果特征差分的转变是从小到大，则其指示丢弃事件；否则，其指示移除事件。因此，在本发明中，使用特征差分的转变来将ROC分类为移除的物体或者丢弃的物体。注意，为了便于说明，上面使用了视觉特征。实际上，也可以使用对于人眼是难以确定的或者不清楚的非视觉图像特征来产生特征差分。

在真实世界的视频中，阴影或者噪声非常普遍，这经常造成错误的ROC边界。该实施例的方法的目的在于即使ROC边界被不正确地检测到，也产生作为丢弃或者移除的可靠分类结果。

该实施例的方法计算内部区域和外部区域之间的特征差分，这提供一种边界。例如，错误的ROC可能比真实的ROC更大或者更小。错误的ROC可能从真实的ROC偏离。错误的ROC的形状可能与真实的ROC不同。ROC的朝向可能从真实的ROC旋转。总之，倘若检测到的ROC与ROC的地面实况有点重叠，则检测到的ROC的内部区域和检测到的ROC的外部区域之间的特征差分仍然能够很好地区分具有物体的ROC和没有物体的ROC。本发明中的方法进行了进一步改进，并且获得更稳健并且实用的内容判断结果。

此外，在本发明中，在选择特征时没有特别的限制。能够提取包括现有技术使用的边缘特性的任意图像特征，只要其能够判断ROC的内部和外部之间的显著差异即可。本发明提供充分的特征选择。

现在返回到本发明的具体实施方式。

图4A是根据能够实现本发明的实施例的第一示例性系统配置的示意性框图。摄像设备400包括照相机传感器410和连接的计算设备420。照相机传感器410获取视频或者图像序列。计算设备420实现判断检测到的ROC的内容的方法。计算设备420可以是紧凑并且易于嵌入摄像设备400的集成电路芯片的形式。例如，摄像设备400可以是手持式照相机、网络照相机或者具有照相机的移动电话。

图4B是根据能够实现本发明的实施例的第二示例性系统配置的示意性框图。照相机传感器410用来获得视频或者图像序列。计算机网络430向计算设备420发送这些视频或者图像序列。计算设备420实现检测移除物体事件和丢弃物体事件的方法。计算设备420可以是本地个人计算机、远程服务器或者工作站的形式。

图5是示出图4A和图4B中的计算设备420的示例性硬件配置的框图。

输入/输出(I/O)接口510促进从照相机传感器410到计算设备420的图像发送，I/O接口510可以是符合通用串行总线(USB)标准并且具有相应的USB连接器的串行总线。也可以从能够包括SIM卡、SD卡、USB存储卡等的本地存储设备440下载图像序列。

I/O接口510获得图像，并将其发送给存储器550。处理器520被布置为检索存储器550中存储的、所公开的方法的软件程序。处理器520还被布置为取出诸如图6、7、14、15和16所示的步骤的根据所公开的方法的所有步骤，对这些步骤进行解码并执行。处理器520使用系统总线530将来自各个操作的结果记录到存储器550中。除了存储器550之外，还可以经由I/O接口560将输出更永久地存储在存储设备440上。作为另选方案，还可以使用音频/视频接口568在监视器450上显示输出以供人观看。

计算设备420可以是各种形式，例如图4A中的摄像设备中嵌入的处理系统或者图4B中的独立计算机，其中，可以移除一个或多个不必要的部件或者添加一个或多个附加部件。

下文中，参照附图详细描述本发明的ROC内容判断方法。

图6示意性地示出了根据本发明的ROC内容判断方法的通用流程图。提供都与检测到的改变区域相关联的场景模型和当前帧。

场景模型与从图像序列得出的背景和前景信息相关。通过聚集当前帧之前的跨时间段的多个帧上的场景中的像素或者块的视觉特性，来创建场景模型。倘若场景模型与当前帧一起使得能够计算ROC，则对场景模型的形式没有限制。根据一个实施例，场景模型简单地是当前帧之前的图像帧中的一个。总之，场景模型的结构取决于ROC检测和ROC内容判断的目的。

此外，要处理的图像帧可以是彩色图像或者灰色图像。附带地，只要获取了ROC，则不特别限制ROC获取方法。例如，可以使用背景减法方法来检测ROC。不限制获取的ROC的数量。如果获取了两个或更多个改变区域，则下面的处理分别适用于各ROC的内容判断。

在步骤S100的区域对确定步骤中，从检测到的ROC的内部和外部确定至少一个区域对。图6示出了确定区域对的示例性流程图。存在三个步骤：S110，提取ROC的边界；S120，获得沿提取的ROC的边界的候选区域；以及S130，找到无效区域对，并且从所述候选区域对中移除图像区域对。在步骤S110中，提取ROC的边界。

下面说明步骤S110的详情。从图8和图9可以看出，外部边界框是包围检测到的ROC的外接矩形。将要处理的图像帧分割为大小相等的块。各块的大小是8*8。当然，也可以利用其它块大小，例如10*10、4*4等。当将块大小设置为1*1时，各块实际上是图像像素。对块的大小没有特别限制。大小越小，边界提取结果的详细水平越高。为了获得效率和精度之间的合理的折衷，本发明使用最小/最大搜索方法来提取指示ROC的边界的块。对于当前边界框中的各行和各列，该方法搜索检测到的ROC的最小和最大块索引。在图8中示出了针对行的搜索处理。对于各行，搜索方向是从外部到内部。其结果是，记录限定左侧边界块的最小块索引；并且记录限定右侧边界块的最大块索引。在搜索了行之后，按照列进行搜索。在图9中示出了针对列的搜索处理。对于各列，搜索方向也是从外部到内部。其结果是，记录限定顶部边界块的最小块索引；并且记录限定底部边界块的最大块索引。然后，将按照行和按照列的搜索结果组合。提取指示ROC的边界的块。作为另选方案，也可以通过其它合适的提取方法来获取ROC的边界。只要这些方法能够提供ROC的边界，这不会对最终ROC内容判断结果产生根本的影响。

现在返回到图7，下面说明步骤S120的详情。在该步骤中，该实施例的方法获得沿所提取的ROC的边界的候选区域对。

区域对包括来自检测到的ROC的内部的区域和来自检测到的ROC的外部的区域。要配对的内部区域外部区域与同一边界区域相邻。

首先，逐行进行扫描。然后，逐列进行扫描。以图10作为示例。黑色块指示ROC边界。块91、92、93、94位于ROC的边界上。在图11中示出了图10的坐标系。

如果块91的坐标是(i，j)，则来自ROC的内部的区域在(i+1，j)，来自ROC外部的区域在(i-1，j)。

如果块92的坐标是(i，j)，则来自ROC的内部的区域在(i-1，j)，来自ROC外部的区域在(i+1，j)。

如果块93的坐标是(i，j)，则来自ROC的内部的区域在(i，j+1)，来自ROC外部的区域在(i，j-1)。

如果块94的坐标是(i，j)，则来自ROC的内部的区域在(i，j-1)，来自ROC外部的区域在(i，j+1)。

在步骤S120之后，沿ROC的边界收集候选区域对。

然后，在步骤S130中，该方法找到无效区域对，并且从收集的候选区域对中移除无效区域对。如果边界块没有内部块和外部块两者，则丢弃其相应的区域对。由于该区域对的两个成员之间的特征差分不表示ROC的内部和外部之间的差分。存在两种移除无效区域对的情况。

在一种情形下，边界块在图像帧的边界。从图12可以看出，黑色块指示ROC边界。块112在图像帧的边界上，其左侧的块在图像帧111的范围的外部。因此，与边界块112相对应的区域对是无效的，并且从候选集合中移除。

在另一种情形下，边界块的区域对两者都在ROC的边界外部。从图12可以看出，黑色块仍然指示ROC边界。块121在边界上。收集其左侧的块和右侧的块作为候选区域对。但是，由于该对两者都在ROC边界外部，因此它们是无效的，并且在S130中移除。此外，块122在边界上。收集其上侧的块和下侧的块作为候选区域对。但是，由于该对两者都在ROC边界外部，因此它们是无效的，并且在S130中移除。

步骤S100的目的是确定作为特征差分的计算基础的区域对。图7仅给出了确定区域对的示例方法。只要实现确定区域对的目的，本发明不旨在限制任意其它区域对确定方法。

现在返回到图6。在步骤S100之后，确定需要的区域对。接下来是步骤S200。针对场景模型，计算根据步骤S100确定的区域对的至少一个特征的第一差分。将参照图14详细说明步骤S200。

首先，提取一个区域对中的各区域的特征。特征(也称为图像特征)是用来描述相应的图像区域的量。对特征的类型没有特别限制。可以使用亮度、颜色、纹理等作为特征。只要该量表示区域的图像特性，则能够使用该量作为图像特征。优选地，选择更好地表示从场景模型到当前帧的转变的那些图像特征。此外，对特征的数量也没有特别限制。多个特征的累积使转变趋势更明显，并且更易于将ROC事件分类为移除或者丢弃。

值得提到的是，为了提取特征，能够实现一些预处理步骤。例如，能够在8*8范围对输入图像实现离散余弦变换(DCT)。在该示例中，将输入像素图像变换为由块构成的图像，各块的大小为8*8。然后，基于该DCT处理过的图像进行进一步处理。不仅可以选择DCT处理，还可以选择傅立叶变换(FT)、小波变换(WT)或者其它图像变换以更好地提取图像特征。

在该实施例中，虽然选择的特征可以在不同的ROC内容判断任务中改变，但是各确定的区域对中的各区域的选择的特征在一个ROC内容判断任务中是相同的。

图14示出了计算第一差分的示例性工作流程。步骤S210的输入是由步骤S100提供的区域对。在步骤S210中，选择一个区域对。在步骤S220中，在模型场景中，提取该选择的区域对中的各区域的一个特征。然后，在步骤S230中，计算该区域对的内部区域和外部区域之间的特征差分。在步骤S240中，判断是否对所有特征进行了计算。如果未对所有特征进行计算，则进行到步骤S220并重复执行。直到对所有特征进行了计算，进行到步骤S250，对加权特征差分求和，由此获得通过公式(1)计算的PairDifference。N_feature是特征的总数。N_feature是不小于1的整数。j是特征的序列号，其从1到N_feature。F_{j_out}是区域对的外部区域的特征值。F_{j_in}是区域对的内部区域的特征值。abs(F_{j_out}-F_{j_in})给出特征差分的绝对值。在一个实施例中，对特征差分赋予权重W_j。对重要的特征差分赋予较高的权重。对W_j的值没有特别限制。W_j本身是可选的。

$\mathrm{PairDifference}=\underset{j=1}{\overset{N_{\mathrm{feature}}}{\mathrm{\Σ}}}{W}_j\×\mathrm{abs}(F_{j\_\mathrm{out}}-F_{j\_\mathrm{in}})---\left(1\right)$

接下来，进行到步骤S260，判断是否对所有区域对进行了处理。如果未对所有区域对进行处理，则进行到步骤S220并重复执行。直到对所有区域对进行了处理，对各区域对的PairDifference求和，由此获得通过公式(2)计算的FirstDifference。N_pair是区域对的总数。N_pair是不小于1的整数。i是区域对的序列号，其从1到N_pair。下标“bg”指示FirstDifference是使用场景模型计算的。

$\mathrm{FirstDifference}=\underset{i=1}{\overset{N_{\mathrm{pair}}}{\mathrm{\Σ}}}{\mathrm{PairDifference}}_{\mathrm{bg}\_i}---\left(2\right)$

在步骤S200之后，针对场景模型计算了第一差分。现在返回到图6。接下来是步骤S300。步骤S310的输入也是由步骤S100提供的区域对。对于当前帧，计算根据步骤S100确定的区域对的至少一个特征的第二差分。

图15示出了计算第二差分的示例性工作流程。在步骤S310中，选择一个区域对。在步骤S320中，在当前帧中，提取该选择的区域对中各区域的一个特征。然后，在步骤S330中，计算该区域对的内部区域和外部区域之间的特征差分。在步骤S340中，判断是否对所有特征进行了计算。如果未对所有特征进行计算，则进行到步骤S320并重复执行。直到对所有特征进行了计算，进行到步骤S350，对加权特征差分求和，由此获得通过公式(1)计算的PairDifference。值得注意的是，由步骤S250提供的PairDifference和由步骤S350提供的PairDifference两者都是通过公式(1)计算的。但是，使用场景模型计算由步骤S250提供的PairDifference，而使用当前帧计算由步骤S350提供的PairDifference。

接下来，进行到步骤S360，判断是否对所有区域对进行了处理。如果未对所有区域对进行处理，则进行到步骤S320并重复执行。直到对所有区域对进行了处理，对各区域对的PairDifference求和，由此获得通过公式(3)计算的SecondDifference。N_pair是区域对的总数。N_pair是不小于1的整数。i是区域对的序列号，其从1到N_pair。下标“current”指示SecondDifference是使用当前帧计算的。

$\mathrm{SecondDifference}=\underset{i=1}{\overset{N_{\mathrm{pair}}}{\mathrm{\Σ}}}{\mathrm{PairDifference}}_{\mathrm{current}\_i}---\left(3\right)$

返回到图6。参照图16说明判断步骤S400。在步骤S410中，根据下面的公式(4)计算从第一差分到第二差分的转变分数。

Score＝SecondDifference-FirstDifference(4)

在步骤S420中，如果从第一差分到第二差分的转变是从较小差分到较大差分，则判断改变区域为丢弃的物体；相反，如果从第一差分到第二差分的转变是从较大差分到较小差分，则判断改变区域为移除的物体。

特别地，将转变分数与预先设置的阈值进行比较。阈值可以凭经验获得。在步骤S430中，根据对转变分数和阈值的比较，判断改变区域是丢弃的物体还是移除的物体。

如果分数比阈值大，则ROC是丢弃的物体。相反，如果分数比阈值小，则ROC是移除的物体。

在一个示例中，所公开的方法给出是丢弃的物体或者移除的物体的针对给定ROC的二值分类结果。

在另一示例中，所公开的方法给出检测ROC是否是丢弃的物体的针对给定ROC的丢弃检测结果。

在又一示例中，所公开的方法给出检测ROC是否是移除的物体的针对给定ROC的移除检测结果。

下文中，详细说明示例性实施例。在该说明之后，本发明的优点将变得更清楚。

首先，通过离散余弦变换对输入图像进行处理。各DCT块的大小为8*8。使用的特征是一组YIQ系数。针对各DCT块总共存在8个系数(Y₀,Y₁,Y₂,Y₃,Y₄,Y₅,I,Q)。Y系数表示亮度或者明度信息。I和Q表示色度信息。通过下面的公式计算特征差分。通过公式(5)分别计算Y₀至Y₅。Y_inside指示区域对的内部区域的特征Y的值；Y_outside指示区域对的外部区域的特征Y的值。D_Y是特征差分的绝对值。

D_Y＝abs(Y_inside-Y_outside)(5)

通过公式(6)和(7)分别计算特征I的特征差分和特征Q的特征差分。

D_I＝abs(I_inside-I_outside)(6)

D_Q＝abs(Q_inside-Q_outside)(7)

接下来，对各差分赋予权重(G₀…G₇)。使用训练数据的线性回归分析获得梯度。将8个YIQ系数划分为“DC”特征(Y₀,I,Q)和“AC”特征(Y₁…Y₅)。通过下面的公式(8)和(9)计算DC特征和AC特征的差分。

$D_{\mathrm{DC}}=G_0*D_{Y_0}+G_6*D_I+G_7*D_Q---\left(8\right)$

$D_{\mathrm{AC}}=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}{G}_i*D_{Y_i}---\left(9\right)$

总差分是“DC”特征和“AC”特征的加权和，其中，各差分有助于内部块和外部块之间的视觉差的测量。对“DC”特征和“AC”特征赋予不同的权重。“DC”特征表示亮度和颜色，而“AC”特征表示纹理。在该实施例中，“DC”特征的权重w_DC比“AC”特征的权重w_AC大。

PairDifference＝w_DC*D_DC+w_AC*D_AC(10)

对于场景模型，使用公式(2)计算FirstDifference。对于当前帧，使用公式(3)计算SecondDifference。然后，使用公式(4)计算转变分数。进行到步骤S420。将阈值的值设置为0。当然，其它阈值也适用。然后，进行到S430，获得内容判断结果。

通过上述处理，最终将准确地判断视频中的ROC的内容。

图17是根据本发明的ROC内容检测装置的功能配置。ROC内容判断装置以及包括在其中的各单元能够由硬件、固件、软件中的任意一个或者其任意组合构成，只要ROC内容判断装置中的各单元能够实现以上ROC内容判断方法的相应步骤的功能即可。如果装置1600部分或者全部由软件构成，则将软件存储在诸如图5中的存储器550的计算机的存储器中，并且当诸如图5中的部件520的计算机的处理器通过执行存储的软件进行处理时，计算机能够实现本发明的ROC内容检测的功能。在另一方面，装置1600能够部分或全部由硬件或者固件构成。能够将装置1600作为功能模块并入计算设备420。

ROC内容判断装置1600被配置为判断检测到的ROC的内容，并且通过将视频序列的当前帧与场景模型进行比较来检测ROC。装置1600可以包括：区域对确定单元1601，其被配置为确定来自ROC的内部和外部的至少一个区域对；第一差分计算单元1602，其被配置为计算场景模型中所述至少一个区域对的至少一个特征的第一差分；第二差分计算单元1603，其被配置为计算当前帧中所述至少一个区域对的所述至少一个特征的第二差分；判断单元1604，其被配置为根据所述第一差分和所述第二差分，判断为ROC为丢弃的物体，或者判断ROC为移除的物体。

优选地，区域对判断单元1601可以包括：提取子单元1601-1，其被配置为提取ROC的边界；获取子单元1601-2，其被配置为获取沿ROC的边界的候选区域对；移除子单元1601-3其被配置为从候选区域对中移除至少一个无效区域对。

优选地，判断单元1604还可以包括：计算子单元1604-1，其被配置为计算从所述第一差分到所述第二差分的转变分数；比较子单元1604-2，其被配置为将所述转变分数与预先设置的阈值进行比较；判断子单元1604-3，其被配置为如果分数大于所述阈值，则判断ROC为丢弃的物体；或者如果分数小于所述阈值，则判断ROC为移除的物体。

注意，上述各单元可以表示可以是诸如固件、硬件、软件或者其任意组合的多种形式的任意部件，并且能够实现先前描述的方法中的相应步骤的功能。

[实验结果]

为了使本发明的改进可视化，我们进行了一些显示根据上述实施例的方法的性能的实验。

使用35个视频对性能进行评价。存在包含丢弃的物体或者移除的物体的多于50000个的帧。为了对内容判断精度进行评价，对地面实况值进行手动注释，包括事件类型(丢弃的或者移除的)、丢弃或者移除物体事件的开始和结束帧数、物体的位置。如下定义内容判断精度：

精度＝正确地分类的检测到的ROC/检测到的ROC的总数

测试结果显示：

●本发明中的新方法能够将运行时间减少约40％；

●本发明中的新方法的准确性比现有技术好。

在现有技术中，边缘特性的计算非常耗时，因为其涉及图像块卷积运算。另一方面，我们的方法提取亮度特征，并且仅涉及“加”和“减”运算。我们的方法具有较低的计算成本，并且获得较高的速度。

[工业适用性]

可以在许多应用中使用本发明。例如，可以在照相机系统中实现本发明，所述照相机系统包括：镜头系统；耦合到所述镜头系统以捕获输入视频序列的照相机模块；以及根据本发明的用于判断ROC的内容是丢弃的还是移除的物体的装置。这种照相机系统可以用于安全监控目的。

通过本发明，能够准确并且快速地实现该应用。

请注意，本说明书中描述的方法和装置可以作为软件、固件、硬件或者其任意组合来实现。例如，可以作为在数字信号处理器或者微处理器上运行的软件来实现某些部件。例如，可以作为硬件和/或专用集成电路来实现其它部件。

能够以许多方式实施本发明的方法和装置。例如，能够通过软件、硬件、固件或者其任意组合来实施本发明的方法和装置。上面描述的方法的各步骤的顺序仅旨在是说明性的，除非另外具体说明，本发明的方法的步骤不限于上述具体描述的顺序。此外，在一些实施例中，还可以作为记录介质中记录的程序(包括用于实现根据本发明的方法的机器可读指令)来实施本发明。因此，本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。

虽然使用示例详细阐述了本发明的一些具体实施例，但是本领域技术人员应当理解，以上示例仅旨在是说明性的，而不限制本发明的范围。本领域技术人员应当理解，在不脱离本发明的范围和精神的情况下，可以对以上实施例进行变型。本发明的范围由所附权利要求限定。

Claims (23)

1.一种判断检测到的改变区域的内容的方法，其中，基于视频序列的当前帧和场景模型检测所述改变区域，所述方法包括：

区域对确定步骤，用于确定来自所述改变区域的内部和外部的至少一个区域对；

第一差分计算步骤，用于计算所述场景模型中所述至少一个区域对的至少一个特征的第一差分；

第二差分计算步骤，用于计算所述当前帧中所述至少一个区域对的所述至少一个特征的第二差分；

判断步骤，用于根据所述第一差分和所述第二差分，判断所述改变区域是否是丢弃的物体，或者判断所述改变区域是否是移除的物体。

2.根据权利要求1所述的方法，其中，使用背景减法方法来获取所述改变区域。

3.根据权利要求1所述的方法，其中，所述视频序列由彩色图像帧或者灰色图像帧构成。

4.根据权利要求1所述的方法，在所述第一差分计算步骤之前添加对所述场景模型和/或所述当前帧的预处理步骤，

其中，所述预处理步骤是离散余弦变换、傅立叶变换或小波变换。

5.根据权利要求1所述的方法，其中，所述至少一个区域对中的各个由图像像素或者图像块构成。

6.根据权利要求1至5中任一项所述的方法，其中，所述区域对确定步骤还包括：

提取所述改变区域的边界；

获得沿所述改变区域的所述边界的候选区域对；

从所述候选区域对中移除至少一个无效区域对。

7.根据权利要求1至5中任一项所述的方法，其中，所述至少一个特征表示亮度和/或颜色和/或纹理。

8.根据权利要求1至5中任一项所述的方法，在所述区域对确定步骤中，其中，所述至少一个区域对满足以下标准：

要配对的内部区域和外部区域与所检测到的改变区域的同一边界区域相邻。

9.根据权利要求1至5中任一项所述的方法，其中，

在所述第一差分计算步骤和所述第二差分计算步骤中，对所述至少一个特征中的至少一部分进行加权。

10.根据权利要求1至5中任一项所述的方法，其中，所述判断步骤还包括：

在从所述第一差分到所述第二差分的转变是从较小差分到较大差分的情况下，判断所述改变区域为丢弃的物体；或者

在从所述第一差分到所述第二差分的转变是从较大差分到较小差分的情况下，判断所述改变区域为移除的物体。

11.根据权利要求1所述的方法，其中，所述判断步骤还包括：

计算从所述第一差分到所述第二差分的转变分数；

将所述转变分数与预先设置的阈值进行比较；

在所述分数大于所述阈值的情况下，判断所述改变区域为丢弃的物体；或者在所述分数小于所述阈值的情况下，判断所述改变区域为移除的物体。

12.一种被配置为判断检测到的改变区域的内容的装置，其中，通过将视频序列的当前帧与场景模型进行比较来检测所述改变区域，所述装置包括：

区域对确定单元，其被配置为确定来自所述改变区域的内部和外部的至少一个区域对；

第一差分计算单元，其被配置为计算所述场景模型中所述至少一个区域对的至少一个特征的第一差分；

第二差分计算单元，其被配置为计算所述当前帧中所述至少一个区域对的所述至少一个特征的第二差分；

判断单元，其被配置为根据所述第一差分和所述第二差分，判断所述改变区域是否为丢弃的物体，或者判断所述改变区域是否为移除的物体。

13.根据权利要求12所述的装置，其中，通过背景减法来获取所述改变区域。

14.根据权利要求12所述的装置，其中，所述视频序列由彩色图像帧或者灰色图像帧构成。

15.根据权利要求12所述的装置，所述装置还包括预处理单元，

其中，所述预处理单元被配置为实现对所述场景模型和/或所述当前帧的离散余弦变换、傅立叶变换或小波变换。

16.根据权利要求12所述的装置，其中，所述至少一个区域对中的各个由图像像素或者图像块构成。

17.根据权利要求12至16中任一项所述的装置，其中，所述区域对确定单元还包括：

提取子单元，其被配置为提取所述改变区域的边界；

获取子单元，其被配置为获取沿所述改变区域的所述边界的候选区域对；

移除子单元，其被配置为从所述候选区域对中移除至少一个无效区域对。

18.根据权利要求12至16中任一项所述的装置，其中，所述至少一个特征表示亮度和/或颜色和/或纹理。

19.根据权利要求12至16中任一项所述的装置，在所述区域对确定单元中，其中，所述至少一个区域对满足以下标准：

要配对的内部区域和外部区域与所检测到的改变区域的同一边界区域相邻。

20.根据权利要求12所述的装置，其中，

在所述第一差分计算单元和所述第二差分计算单元中，对所述至少一个特征中的至少一部分进行加权。

21.根据权利要求12至16中任一项所述的装置，其中，所述判断单元还包括：

在从所述第一差分到所述第二差分的转变是从较小差分到较大差分的情况下，判断所述改变区域为丢弃的物体；或者

在从所述第一差分到所述第二差分的转变是从较大差分到较小差分的情况下，判断所述改变区域为移除的物体。

22.根据权利要求12所述的装置，其中，所述判断单元还包括：

计算子单元，其被配置为计算从所述第一差分到所述第二差分的转变分数；

比较子单元，其被配置为将所述转变分数与预先设置的阈值进行比较；

判断子单元，其被配置为在所述分数大于所述阈值的情况下，判断所述改变区域为丢弃的物体；或者在所述分数小于所述阈值的情况下，判断所述改变区域为移除的物体。

23.一种照相机系统，该照相机系统包括：

镜头系统；

照相机模块，其被耦合到所述镜头系统以捕获输入视频序列；

根据权利要求12至22中任一项所述的装置。