CN103391424B - 分析监控摄像机捕获的图像中的对象的方法和对象分析器 - Google Patents

Abstract

一种用于分析监控摄像机（100）捕获到的图像中的对象的方法（200）以及对象分析器（104），其使用第一和第二序列的图像帧，其中第一序列的图像帧覆盖第一图像区域（300）且具有第一图像分辨率，以及第二序列的图像帧覆盖位于所述第一图像区域（300）中的第二图像区域（302）且具有比第一图像分辨率高的第二图像分辨率。提供共同的对象遮罩组，其中将识别为在两个图像区域中都存在的对象（304）的对象遮罩合并。

Description

分析监控摄像机捕获的图像中的对象的方法和对象分析器

技术领域

本发明涉及用于视频分析的方法和装置。

背景技术

例如用于检测和跟踪在监控环境下存在的对象（object）的监控摄像机通常与图像处理结合使用。当执行对象检测和跟踪时，经常提供包含所谓的与在监控场景下存在的对象有关的元数据（metadata）的场景描述。这种元数据可包括对象的不同的描述特征，并且可以替代场景以及在该场景下存在的对象的实际图像数据，或者附加至场景以及在该场景下存在的对象的实际图像数据。

可以根据来自摄像机的图像数据的细节层次（detaillevel），来提取不同类型的元数据。作为示例，对于具有高分辨率的图像数据，例如汽车类型的元数据可能是可以获得的；而对于具有较低分辨率的图像数据，有可能仅能提取信息：对象为车辆。对象的检测和分析具有许多挑战，因此在这领域需要改进。

发明内容

本发明的一个目的在于提高监控摄像机捕获到的场景中的对象的图像分析和跟踪。

上述和更多目的通过如下所述的分析监控摄像机捕获到的图像中的对象的方法，以及通过用于分析监控摄像机捕获到的图像中的对象的对象分析器来实现。本发明的更多实施例存在于从属权利要求中。

更具体地，一种分析监控摄像机捕获到的图像中的对象的方法，包括以下步骤：

接收具有第一图像分辨率且覆盖第一图像区域的第一序列的图像帧，

接收具有比第一图像分辨率高的第二图像分辨率且覆盖作为第一图像区域的一部分的第二图像区域的第二序列的图像帧，

检测在第一序列的图像帧中存在的多个对象，

检测在第二序列的图像帧中存在的多个对象，

提供针对在第一序列的图像帧中检测到的多个对象的第一组对象遮罩（objectmask），

提供针对在第二序列的图像帧中检测到的多个对象的第二组对象遮罩，

通过识别第一组对象遮罩中的与第二组对象遮罩中的第二对象遮罩至少部分重叠的第一对象遮罩，来识别在第一和第二序列的图像帧中存在的对象，

通过包括来自第一对象遮罩且针对仅在第一图像区域中存在的部分的数据，以及来自第二对象遮罩且针对在第二图像区域中存在的部分的数据，将第一和第二对象遮罩合并为第三对象遮罩，以及

提供第三组对象遮罩，其包括：

不包括第一对象遮罩的第一组对象遮罩，

不包括第二对象遮罩的第二组对象遮罩，以及

第三对象遮罩。

这使得能够提供针对两个序列的图像帧的一个共同场景描述，其中在两个序列中都出现的对象可与从两个序列的图像帧组合得到的元数据关联。同一个对象将只在场景描述中表示一次，并且只有一个场景描述将被用在对来自监控摄像机的素材的进一步处理中，这反过来，也节省了带宽并且减少了待分析的数据量。此外，这提高了跟随在场景各处移动的对象的概率。

第三对象遮罩的这些部分将比该对象遮罩的剩余部分更加详细，这些部分表示所识别的对象在具有较高的分辨率的图像帧的第二图像区域中存在的部分。即使第三对象遮罩只有部分具有此更高的细节层次，仍可以使该对象遮罩的分析更容易—仍然很容易地将覆盖人类一半大小的遮罩识别为人类而不是其它的。

检测多个对象的步骤可包括以下的一个或多个：

将第一和第二序列的图像帧与表示背景模型（backgroundmodel）的图像数据进行比较，

在各序列的图像帧中，将图像帧与先前捕获到的图像帧进行比较，以及

执行模式识别，例如面部识别。

所述方法还可包括：通过包括来自第一序列的图像帧且针对第三对象遮罩的仅在第一序列的图像帧中存在的部分的图像数据，以及来自第二序列的图像帧且针对第三对象遮罩的在第二序列的图像帧中存在的部分的图像数据，来合成所识别的对象的对象描述。因此，提供一种对象描述，该对象描述在某些部分中比在其他部分中更加详细，但该对象描述在分析监控场景时将更加有用。

更详细地，合成该对象描述的步骤可包括：从第一序列的图像帧，制备该对象在第一序列的图像帧中存在的多个部分的第一位图表示，以及从第二序列的图像帧，提供该对象在第二序列的图像帧中存在的多个部分的第二位图表示，以及通过将第一位图表示规制（scale，缩放）为第二图像分辨率，将第一和第二位图表示结合，来提供第三位图表示。例如，这可包括复制在第一位图表示中的位图元素。

然后，可以基于第三位图表示来提供该对象的向量表示。

根据本发明的另一个实施例，一种用于分析监控摄像机捕获到的图像中的对象的对象分析器，包括：

图像数据输入部，设置为接收具有第一图像分辨率且覆盖第一图像区域的第一序列的图像帧，以及具有比第一图像分辨率高的第二图像分辨率且覆盖作为第一图像区域的一部分的第二图像区域的第二序列的图像帧，

对象检测器，设置为检测在第一序列的图像帧中存在的多个对象以及在第二序列的图像帧中存在的多个对象，

第一对象遮罩组提供器，设置为提供针对在第一序列的图像帧中检测到的多个对象的第一组对象遮罩，以及针对在第二序列的图像帧中检测到的多个对象的第二组对象遮罩，

对象识别器，设置为通过识别第一组对象遮罩中的与第二组对象遮罩中的第二对象遮罩至少部分重叠的第一对象遮罩，来识别在第一和第二序列的图像帧中存在的对象，

对象遮罩合并器，设置为通过包括来自第一对象遮罩且针对仅在第一图像区域中存在的部分的数据，以及来自第二对象遮罩且针对在第二图像区域中存在的部分的数据，将第一和第二对象遮罩合并为第三对象遮罩，

第二对象遮罩组提供器，设置为提供第三组对象遮罩，所述第三组对象遮罩包括：

不包括第一对象遮罩的第一组对象遮罩，

不包括第二对象遮罩的第二组对象遮罩，以及

第三对象遮罩。

通过以下给出的详细描述，本发明的实用性的进一步范围将变得更为清晰。然而，应当理解，在说明本发明的优选实施例的同时，仅以说明的方式给出了详细描述和具体示例，因此，对于本领域的技术人员而言，在本发明范围内进行的各种修改和变型将变得显而易见。因此，应当理解，本发明不限于所描述的装置的特定组成部件或者所描述的方法的特定步骤，因为这种装置和方法是可变化的。还应当理解，本文使用的术语仅是用于描述特定实施例的目的，并不旨在限制。需要注意的是，如在说明书和所附权利要求书中使用的，不定冠词“一（a）”、“一(an)”，“该”和“所述”旨在表示一个或多个元件，除非上下文另有明确规定。因此，例如，提到的“传感器”或“该传感器”可包括多个传感器等。此外，词语“包括”不排除其他元件或步骤。

附图说明

通过以下参照附图对当前的优选实施例进行的详细说明，本发明的其他特征和优点将变得更为明显，其中：

图1示意性示出监控摄像机。

图2示出根据本发明的实施例的方法。

图3示出通过监控摄像机监控的图像区域。

具体实施方式

本发明的实施例可以捕获场景的视频的图像装置的方式实施，例如可机械地或数字地移动和倾斜(pan-andtiltable，可平移和倾斜)的监控摄像机100，其部件在图1中示出。可替代地，本发明可以执行保持对象跟踪的功能的任何装置，例如，视频编码装置、视频服务器、视频处理装置等中的方式实施。此外，需要注意的是，对象分析器的不同部分可以软件或硬件或者其组合的方式实施。

摄像机100包括图像捕获装置102，设置为捕获以多个序列的图像帧的形式的场景的图像。所述图像捕获装置102包括图像传感器103，用于记录（register）图像数据，以及还可包括在附图中未示出的多个常用部件，例如透镜、用于处理图像传感器103记录的图像数据的图像处理器、以及用于存储处理后的图像数据的任意适当类型的存储器，例如RAM（随机存取存储器）、硬盘驱动器或闪存等。

图像数据以多个序列的图像帧的形式经由图像数据输入部106提供给（feedto）对象分析器104。特别地，如图3所示，对象分析器104接收覆盖第一、未放大（non-zoomedin）的图像区域300的第一序列的图像帧，以及覆盖作为第一图像区域300的一部分的第二、放大（zoomed-in）的图像区域302的第二序列的图像帧。针对第一图像区域300的图像帧具有比针对第二图像区域302的图像帧更低的细节层次，或者，换言之，第一序列的图像帧具有比第二序列的图像帧更低的图像分辨率。需要注意的是，还可获得几个这样第二图像区域，其以具有更高的分辨率的其他序列的图像帧来表示，且本文所描述的方法和装置也很容易地适用于这种情况中。下文描述了两个序列的图像的特定情况，但扩展到几个其他图像流将会是浅显的。

可以以不同的方式来获得两个序列的图像帧，例如，通过图像捕获装置中的图像传感器，其设置为交替地捕获具有高分辨率的第二、放大的图像区域302中的图像以及具有较低分辨率的第一、缩小（zoomed-out）的区域300中的图像。另一种替代方式是在图像捕获装置中执行适当的图像处理，典型地包括对图像传感器捕获到的图像数据进行缩减分辨率（downsample，下采样），以获得两个序列的图像帧。

当对象分析器104经由图像数据输入部106接收到两个序列或者流的图像帧后，通过对象检测器108在两个图像流中检测多个对象。可以使用几种不同的方法来执行该对象检测，这些方法都是公知的，因此在此不对其进行详细描述。一个示例是使用算法进行不同形式的模式识别，例如面部识别。另一个示例是与背景模型下的图像数据进行比较。该背景模型既可以是针对两个图像区域的单个背景模型，也可以包括针对不同图像区域的分别的背景模型。针对要考虑的图像区域，通常通过积累历史数据提供以图像的序列的形式的背景模型。对象检测的再一个示例为图像帧与先前的图像帧进行比较以检测这些帧之间的差异，其表示存在移动的对象。这也可以被认为是与背景模型进行比较的一种特殊情况，其中历史仅包括一个先前的图像。

对象分析器104还包括第一对象遮罩组提供器110，设置为分别提供针对对象检测器108在第一和第二序列的图像帧中检测到的多个对象的第一和第二组对象遮罩。对象遮罩可以被定义为在包括图像元素（例如黑色图像元素）且存在一对象的图像中的该对象的图形描述。如果该对象在其外部边界内具有空的区域，例如可以是针对具有开窗的汽车的情况，对象遮罩可包含针对这种区域的空的，或者例如非黑的图像元素。

两个对象遮罩组表示两个不同场景描述的起点且能够进一步详细说明，以包含与每组中的每个对象遮罩有关的不同类型的元数据。然而，正如发明人已经实现的，在这些组对象遮罩中，将通过第一组中的一个对象遮罩和第二组中的另一个来表示在两个图像区域300和302中都出现的对象304。为了此处所描述的方法的目的，这两个对象遮罩组可以因此被看作临时对象遮罩组，用作提供根据下文所述的最终对象遮罩组的基础。

根据此处所描述的创新的方法和装置，将被视为表示同一个对象的对象遮罩合并，并合成一个混合了来自两个序列的图像流的数据的共同场景描述。更具体地，对象识别器112设置在对象分析器104中，以通过识别重叠的对象遮罩（即，在两组对象遮罩中，那些至少一些部分中具有相同的坐标的对象遮罩）来识别在两个序列的图像帧中都存在的对象（一个或多个）。

然后，通过对象遮罩合并器114将重叠的对象遮罩合并，所述对象遮罩合并器114通过包括来自第一对象遮罩且针对仅在第一图像区域中存在的多个部分的数据，以及来自第二对象遮罩且针对在第二图像区域中存在的多个部分的数据，将已经被识别为表示相同对象的多个对象遮罩合并，由此产生第三对象遮罩，这意味着在可获得来自第二组的更详细的对象遮罩数据时，使用来自第二组的更详细的对象遮罩数据，而针对该对象遮罩的剩余部分使用来自第一组的不够详细的数据。

然后，通过第二对象遮罩组提供器116来提供第三、最终组对象遮罩。第三组对象遮罩包含上述合并后的一个对象遮罩或多个遮罩（后者是指一个以上对象在两个序列的图像帧中都存在的情况），以及来自第一组对象遮罩的剩余对象遮罩。通常，在第二序列的图像帧中检测到、且由第二组对象遮罩中的对象遮罩表示的所有对象也会在第一组对象遮罩中存在，因为第二图像区域为第一图像区域的一部分。然而，可能会有在第一序列的图像帧中使用的较低分辨率下对象太小或者对象具有不能被检测到的形状的情况。因此，在最通常的情况下，将来自第二组对象遮罩的、未被对象识别器识别为属于在两个图像区域中都存在的对象的这些对象遮罩添加到该第三组。

该最终组对象遮罩形成一基础，用于包含通过对象描述合成器118合成的对象描述的共同场景描述。然后，从第一和第二序列的图像帧二者，收集针对所识别的对象的元数据。这种对象描述可包括：针对该对象的对象遮罩，以及例如字母数字符号的识别标识，和在该对象遮罩内的实际图像数据。该对象描述还可以更加详细，包括将该对象分类到某对象类别（例如“车辆”或“人类”）的数据。还可包括关于该对象的先前移动和其他特征（例如人的身份或车的车牌登记号码）的数据。场景描述可包含在监控场景中存在的多个对象的一些对象描述。

对于被识别为在两个序列的图像帧中都存在的一个对象或多个对象，通过包括或分析来自第一序列的图像帧且针对其关联对象遮罩仅在第一序列的图像帧中存在的多个部分的图像数据，以及来自第二序列的图像帧且针对其关联对象遮罩在第二序列的图像帧中存在的多个部分的图像数据，来提供对象描述。

更详细地，通过从第一序列的图像帧提供该对象在第一序列的图像帧中存在的多个部分的第一位图表示，以及从第二序列的图像帧，提供该对象在第二序列的图像帧中存在的多个部分的第二位图表示，来合成针对识别为在图像帧的两个序列中都存在的这些对象的对象描述。然后，通过将第一位图表示规制到第二图像分辨率（例如，通过复制在第一位图表示中的位图元素），来将这两个位图表示结合成一个单个位图表示。如果需要，也可以执行插值步骤。然后，基于结合后的该对象的位图表示来合成该对象的向量表示。

图2示出根据本发明的实施例的方法200。在步骤202中，接收第一和第二序列的图像帧。第一序列的图像帧覆盖第一图像区域300且具有第一图像分辨率，以及第二序列的图像帧覆盖比第一图像区域小且位于第一区域300中的第二图像区域302。第二序列的图像帧具有比第一图像分辨率高的第二图像分辨率。

在步骤204中，检测第一和第二序列的图像帧中的多个对象，以及在步骤206中，提供针对检测到的多个对象的第一和第二临时组对象遮罩。在步骤208中，通过识别第一组对象遮罩中的与第二组对象遮罩中的第二对象遮罩至少部分重叠的第一对象遮罩，来识别在第一和第二序列的图像帧这两者中都存在的对象304，以及在步骤210中，将这些对象遮罩合并为第三对象遮罩。

最后，在步骤212中，提供最终、第三组对象遮罩，其包括：不包括第一对象遮罩的第一组对象遮罩、不包括第二对象遮罩的第二组对象遮罩，以及第三对象遮罩。

换言之，用于分析监控摄像机捕获到的图像中的对象的方法以及对象分析器使用了第一和第二序列的图像帧，其中第一序列的图像帧覆盖第一图像区域且具有第一图像分辨率，以及第二序列的图像帧覆盖位于第一图像区域中的第二图像区域且具有比第一图像分辨率高的第二图像分辨率。提供共同对象遮罩组，其中将识别为在两个图像区域中都存在的对象的对象遮罩合并。

Claims (18)

1.一种分析监控摄像机捕获到的图像中的对象的方法，包括以下步骤：

通过电子装置接收具有第一图像分辨率且覆盖第一图像区域的第一序列的图像帧；

通过所述电子装置接收具有比所述第一图像分辨率高的第二图像分辨率且覆盖作为所述第一图像区域的一部分的第二图像区域的第二序列的图像帧；

通过所述电子装置检测在所述第一序列的图像帧中存在的多个对象；

通过所述电子装置检测在所述第二序列的图像帧中存在的多个对象；

通过所述电子装置提供针对在所述第一序列的图像帧中检测到的多个对象的第一组对象遮罩；

通过所述电子装置提供针对在所述第二序列的图像帧中检测到的多个对象的第二组对象遮罩；

通过检测所述第一组对象遮罩中的与所述第二组对象遮罩中的第二对象遮罩至少部分重叠的第一对象遮罩，来通过所述电子装置识别在所述第一序列和所述第二序列的图像帧中存在的对象；

通过包括来自所述第一对象遮罩且针对仅在所述第一图像区域中存在的多个部分的数据，以及来自所述第二对象遮罩且针对在所述第二图像区域中存在的多个部分的数据，通过所述电子装置将所述第一对象遮罩和所述第二对象遮罩合并为第三对象遮罩；以及

通过所述电子装置提供第三组对象遮罩，其包括：

不包括所述第一对象遮罩的所述第一组对象遮罩；

不包括所述第二对象遮罩的所述第二组对象遮罩；以及

所述第三对象遮罩。

2.根据权利要求1所述的方法，其中所述检测对象的步骤包括：将所述第一序列和所述第二序列的图像帧与表示背景模型的图像数据进行比较。

3.根据权利要求1所述的方法，其中所述检测对象的步骤包括：在各序列的图像帧中，将图像帧与先前捕获到的图像帧进行比较。

4.根据权利要求1所述的方法，其中所述检测对象的步骤包括：执行模式识别。

5.根据权利要求4所述的方法，其中所述模式识别为面部识别。

6.根据权利要求1所述的方法，还包括：通过包括来自所述第一序列的图像帧且针对所述第三对象遮罩的仅在所述第一序列的图像帧中存在的多个部分的图像数据，以及来自所述第二序列的图像帧且针对所述第三对象遮罩的在所述第二序列的图像帧中存在的多个部分的图像数据，来合成所识别的对象的对象描述。

7.根据权利要求6所述的方法，其中所述合成对象描述的步骤包括：从所述第一序列的图像帧提供所识别的对象的在所述第一序列的图像帧中存在的多个部分的第一位图表示，以及从所述第二序列的图像帧提供所识别的对象的在所述第二序列的图像帧中存在的多个部分的第二位图表示，以及通过将所述第一位图表示规制为所述第二图像分辨率，将所述第一位图表示和所述第二位图表示结合，来提供第三位图表示。

8.根据权利要求7所述的方法，其中所述合成对象描述的步骤包括：基于所述第三位图表示来提供所识别的对象的向量表示。

9.一种用于分析监控摄像机捕获到的图像中的对象的对象分析器，所述对象分析器包括：

图像数据输入部，设置为接收具有第一图像分辨率且覆盖第一图像区域的第一序列的图像帧，以及接收具有比所述第一图像分辨率高的第二图像分辨率且覆盖作为所述第一图像区域的一部分的第二图像区域的第二序列的图像帧，

对象检测器，设置为检测在所述第一序列的图像帧中存在的多个对象以及在所述第二序列的图像帧中存在的多个对象，

第一对象遮罩组提供器，设置为提供针对在所述第一序列的图像帧中检测到的多个对象的第一组对象遮罩，以及针对在所述第二序列的图像帧中检测到的多个对象的第二组对象遮罩，

对象识别器，设置为通过识别所述第一组对象遮罩中的与所述第二组对象遮罩中的第二对象遮罩至少部分重叠的第一对象遮罩，来识别在所述第一序列和所述第二序列的图像帧中存在的对象，

对象遮罩合并器，设置为通过包括来自所述第一对象遮罩且针对仅在所述第一图像区域中存在的多个部分的数据，以及来自所述第二对象遮罩且针对在所述第二图像区域中存在的多个部分的数据，将所述第一对象遮罩和所述第二对象遮罩合并为第三对象遮罩，

第二对象遮罩组提供器，设置为提供第三组对象遮罩，所述第三组对象遮罩包括：

不包括所述第一对象遮罩的所述第一组对象遮罩，

不包括所述第二对象遮罩的所述第二组对象遮罩，以及

所述第三对象遮罩。

10.根据权利要求9所述的对象分析器，其中所述对象检测器设置为在各序列的图像帧中将图像帧与先前捕获到的图像帧进行比较。

11.根据权利要求9所述的对象分析器，其中所述对象检测器设置为将所述第一序列和所述第二序列的图像帧与表示背景模型的图像数据进行比较。

12.根据权利要求9所述的对象分析器，其中所述对象检测器设置为执行模式识别。

13.根据权利要求12所述的对象分析器，其中所述模式识别为面部识别。

14.根据权利要求9所述的对象分析器，还包括对象描述合成器，设置为通过包括来自所述第一序列的图像帧且针对所述第三对象遮罩的仅在所述第一序列的图像帧中存在的多个部分的图像数据，以及来自所述第二序列的图像帧且针对所述第三对象遮罩的在所述第二序列的图像帧中存在的多个部分的图像数据，来提供所识别的对象的对象描述。

15.根据权利要求14所述的对象分析器，其中所述对象描述合成器设置为从所述第一序列的图像帧提供所识别的对象的在所述第一序列的图像帧中存在的多个部分的第一位图表示，以及从所述第二序列的图像帧提供所识别的对象的在所述第二序列图像帧中存在的多个部分的第二位图表示，以及通过将所述第一位图表示规制到所述第二图像分辨率，将所述第一位图表示和所述第二位图表示结合，来提供第三位图表示。

16.根据权利要求15所述的对象分析器，其中所述对象描述合成器设置为基于所述第三位图表示来提供所识别的对象的向量表示。

17.一种信息处理系统，包括：

电路，配置为

接收具有第一图像分辨率且覆盖第一图像区域的第一序列的图像帧；

接收具有比所述第一图像分辨率高的第二图像分辨率且覆盖作为所述第一图像区域的一部分的第二图像区域的第二序列的图像帧；

检测在所述第一序列的图像帧中存在的多个对象；

检测在所述第二序列的图像帧中存在的多个对象；

提供针对在所述第一序列的图像帧中检测到的多个对象的第一组对象遮罩；

提供针对在所述第二序列的图像帧中检测到的多个对象的第二组对象遮罩；

通过检测所述第一组对象遮罩中的与所述第二组对象遮罩中的第二对象遮罩至少部分重叠的第一对象遮罩，来识别在所述第一序列和所述第二序列的图像帧中存在的对象；

通过包括来自所述第一对象遮罩且针对仅在所述第一图像区域中存在的多个部分的数据，以及来自所述第二对象遮罩且针对在所述第二图像区域中存在的多个部分的数据，将所述第一对象遮罩和所述第二对象遮罩合并为第三对象遮罩；以及

提供第三组对象遮罩，其包括：

不包括所述第一对象遮罩的所述第一组对象遮罩；

不包括所述第二对象遮罩的所述第二组对象遮罩；以及

所述第三对象遮罩。

18.根据权利要求17所述的信息处理系统，其中所述信息处理系统为图像装置、视频编码装置、视频服务器以及视频处理装置中的一个或多个。