CN104639840B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法。该图像处理装置包括：物体检测单元，其被构造为从图像中检测物体；追踪单元，其被构造为追踪所检测到的物体；轨迹管理单元，其被构造为管理被追踪物体的轨迹；特定物体检测单元，其被构造为从所述图像中检测特定物体。在所述特定物体检测单元检测到所述追踪单元追踪的被追踪物体为所述特定物体的情况下，所述轨迹管理单元将在所述被追踪物体被检测为所述特定物体的时间点之前的时间点的所述被追踪物体的轨迹，作为所述特定物体的轨迹进行管理。

Description

图像处理装置及图像处理方法

本申请是申请日为2011年11月2日、申请号为201110344017.5、发明名称为“图像处理装置及图像处理方法”的发明专利申请的分案申请。

技术领域

本发明涉及用于追踪从图像中检测到的物体的图像处理装置及图像处理方法。

背景技术

传统上，提供了用于追踪从照相机拍摄的图像中检测到的物体或者人体的技术。例如，日本专利申请特开2002-373332号中讨论了例如如下的技术，该技术用于基于运动矢量检测物体、推测下一帧中的搜索点，并通过模板匹配进行物体追踪。另外，在例如日本专利申请特开2010-50934号中讨论了如下技术，该技术用于进行面部的检测，并且使用基于当前帧和过去帧之间的关系检测到的运动信息来进行面部追踪。

然而，在照相机拍摄的图像中，被摄体的面部和人体并不总是在容易检测面部和人体的特征的方向拍摄。由于该问题，难以持续检测面部和人体。对于该问题，如果进行面部检测或人体检测，则可能不能获得合适的追踪结果。此外，在检测和追踪物体的处理中，追踪处理的目标并不特定于特定物体。因此，该追踪技术不适合分析特定的物体的运动。

发明内容

本发明旨在精确追踪图像中的特定物体(例如面部)，在所述图像中难以检测作为所述特定物体的特征。

根据本发明的一方面，图像处理装置包括：物体检测单元，其被构造为从图像中检测物体；追踪单元，其被构造为追踪所检测到的物体；轨迹管理单元，其被构造为管理被追踪物体的轨迹；以及特定物体检测单元，其被构造为从所述图像中检测特定物体。在所述特定物体检测单元检测到所述追踪单元追踪的物体为所述特定物体的情况下，所述轨迹管理单元将在所述被追踪物体被检测为所述特定物体的时间点之前的时间点的所述被追踪物体的轨迹，作为所述特定物体的轨迹进行管理。

通过下面参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。

附图说明

包括在说明书中并构成说明书的一部分的附图，例示本发明的示例性实施例、特征和方面，与文字说明一起用于解释本发明的原理。

图1是例示图像处理装置的框图。

图2A例示检测到的物体和检测到的人体之间的关联的示例。

图2B例示检测到的物体和多个检测到的人体之间的关联的示例。

图3例示物体的移动信息管理的示例。

图4例示位置信息更新的示例。

图5例示确定参数的示例。

图6例示线段通过确定的示例。

图7是处理流程图。

具体实施方式

现在，参照附图详细说明本发明的各种示例性实施例、特征和方面。

下述示例性实施例中描述的构造仅为示例，并且本发明并不限于图中例示的构造。

下面描述第一示例性实施例。图1例示用作追踪装置的图像处理装置100的系统构造。用作追踪装置的图像处理装置100包括图像获取单元101、物体检测单元102、物体追踪单元103、人体检测单元104、物体关联单元105、轨迹管理单元106。用作追踪装置的图像处理装置100还包括确定参数设置单元107、轨迹信息确定单元108以及外部输出单元109。

图像获取单元101按时间顺序从外部设备获取要处理的图像。外部设备例如是照相机或者服务器。作为另选方案，可以获取存储在外部存储器等中的图像。

物体检测单元102使用背景去除(background subtraction)技术从图像获取单元101获取的图像中检测物体。处理中检测到的物体例如是移动物体。该物体可以是通过背景去除技术检测到的前景，或者是确定为不是背景的部分。检测到的物体的信息包括图像上的位置、边界框和物体大小。在物体检测单元102中进行从图像中检测物体的处理，并且处理方法不限于背景去除技术。

物体追踪单元103将物体检测单元102检测到的物体与前一图像中检测到的物体相关联，并追踪检测到的物体。对于新出现的物体，给予新的物体标识(ID)(物体标识符)。对于与前一图像关联的物体，给予前一图像中已经给予的物体ID。

人体检测单元104使用图案匹配处理从物体检测单元102检测到物体的区域中检测人体。人体检测单元104中的处理用于从图像中检测人体，并且该处理不限于图案匹配处理。另外，不总是需要从物体检测单元102检测到的区域中检测人体。可以对整个图像进行人体检测处理。检测目标不限于人体，而可以检测特定物体(具有特定特征的物体或者确定为具有特定图案的物体)。例如，可以进行该检测以确定该物体是汽车还是动物。

物体关联单元105建立物体检测单元102检测的物体和人体检测单元104检测到的人体之间的关联。

图2A和图2B例示检测到的物体和检测到的人体之间的关联的示例。图2A例示了检测到的物体的边界框201不包括检测到的人体的边界框202的情况。边界框201是物体检测单元102检测到的物体的边界框。人体的边界框202是人体检测单元104检测到的人体的边界框。如果人体的边界框202与物体的边界框201的交叠比率超过预定阈值，则确定所检测到的物体和所检测到的人体彼此关联。交叠比率是物体的边界框201与人体的边界框202的交叠部分的面积相对于人体的边界框202的面积的比率。

人体检测单元104提取图像中期望是人体的部分的特征量，并确定该部分是否是人体。如果人体检测单元104仅从人体的右侧的特征量就能够充分地确定该部分是人体，则人体检测单元104不提取人体的左侧的形状，通过估计确定人体的形状，并输出人体的边界框。通过该操作，在能够在移动物体的边界框中充分提取作为人体的特征量、仅人体的右侧的特征量包括在移动物体的外接矩形中的情况下，人体检测单元104估计人体的左侧的形状并输出人体边界框。因此，在这种情况下，人体的左侧不包含在移动物体的边界框中。

图2B例示了在从检测到的物体的边界框203中检测到多个人体的情况。在这种情况下，如果人体的边界框204和人体的边界框205与物体的边界框203的各自交叠比率分别超过预定阈值，则确定检测到的物体和检测到的人体分别彼此关联。在这种情况下，人体的边界框204和205与物体的边界框203相关联，并确定边界框203的物体包括两个人体。

轨迹管理单元106管理物体追踪单元103追踪的物体的移动信息。另外，轨迹管理单元106将通过物体关联单元105与物体关联的人体的信息作为物体的属性进行管理。换句话说，轨迹管理单元106管理通过物体关联单元105对被追踪物体与人体的关联。

图3例示轨迹管理单元106进行的物体的移动信息管理的示例。针对各物体ID将物体的移动信息(追踪信息)301作为物体信息302进行管理。物体信息302包括最初检测到物体的时间、包含检测到物体的时间、画面上的位置、边界框、大小、物体的属性以及属性数的位置信息303的组。物体的属性是“无属性”或者“人体”。属性数是通过物体关联单元105与物体相关联的人体的数量。在图2B的示例中，人体的数量是“2”。例如，在物体ID“32”的物体信息302中，最初检测到物体的时间是2009/3/2/12:34:54。当在2009/3/2/12:34:58检测到物体时，边界框的中央位置为(15,20)，并且边界框由(10,10)和(20,30)表示。物体的大小是200。属性是“人体”，并且人体的数量是“1”。

通过由人体检测单元104检测人体，并使用物体关联单元105的结果，更新对应的物体的位置信息的属性和属性数。另外，使用该结果更新过去位置信息的属性和属性数。另外，对于未来位置信息的属性和属性数，设置该结果。

在上述示例中，位置信息包括属性和属性数，然而，属性或者属性数的信息可以直接与物体信息302相关联。例如，在物体的属性被检测为“人体”的时间点，指示物体的物体信息302的物体ID可以与“人体”的属性相关联。通过将物体ID与属性“人体”相关联，包括在物体ID中的当前、过去和未来位置信息和属性“人体”能够彼此关联。除了属性之外，类似地，属性数也可以直接与物体信息302相关联。

当人体检测单元104通过上述处理检测到物体追踪单元103追踪的物体为人体时，轨迹管理单元106能够将在当被追踪物体被检测为人体的时间点之前的过去时间点追踪的物体的轨迹，作为人体的轨迹进行管理。

人体检测单元104将物体追踪单元103追踪的物体检测为人体的情况包括参照图2A描述的情况，其中检测到的物体的边界框201不包括检测到的人体的边界框202。换句话说，物体追踪单元103追踪的物体只要通过物体关联单元105与人体关联即可，并且被追踪物体可以是人体的一部分。

人体检测单元104将由物体追踪单元103追踪的物体检测为人体的情况也包括参照图2B描述的情况，其中，边界框203的物体与两个人的人体相关联。换句话说，包括通过物体关联单元105将物体追踪单元103追踪的物体与多个人体关联的情况。

另外，将被追踪物体的轨迹作为人体的轨迹进行管理的情况包括仅被追踪物体的轨迹的部分被作为人体关联的情况。

图4例示了位置信息更新的示例。例如，在点403，如果人体与物体关联，则通过将在点403关联的属性和属性数设置为如下位置信息，将轨迹404作为具有人体属性的物体进行管理。另外，通过将在点403处相关联的属性和属性数设置为过去位置信息，能够将轨迹402作为具有人体属性的物体进行管理。轨迹402、404和点403对应于以预定时间间隔检测到的物体的边界框的中央位置。当在点403处人体与物体相关联时，将“人体”的属性的信息存储在指示点403的位置信息中。另外，“人体”的属性的信息存储在指示轨迹402的位置信息中。在图4中，附图标记401表示画面，附图标记405表示物体。如上所述，在物体检测单元102检测到的物体和人体检测单元104检测到的人体彼此关联的情况下，轨迹管理单元106通过添加“人体”的属性来管理物体存在的位置的信息。在该示例中，将物体存在于当进行物体与人体的关联时的时间点(物体存在于点403处的时间点)之前的时间点的位置的信息，与人体相关联，并进行管理。过去时间点是物体在轨迹402上移动的时间点。

如上所述，在该示例性实施例中，通过人体检测单元104确定物体的属性，然而，并不限于上述情况。作为属性，可以采用诸如面部、汽车和动物之类能够用于识别和确定物体的任何属性。另外，如果提供多种特定物体检测单元，并且物体同时包括多个属性，则物体可以具有多种类型和属性数。换句话说，作为位置信息303的物体的属性，可以存储“人体”、“汽车”、“动物”等属性。另外，作为位置信息303中的属性数，可以针对属性“人体”、“汽车”和“动物”的各个分别存储检测的物体数。例如，当物体检测单元102检测的一个物体包括两个人体和一个汽车时，管理这样一种信息，其中轨迹被管理的物体的属性是“人体”和“汽车”，人体的数量是2，汽车的数量是1。

确定参数设置单元107从外部将用于确定物体的轨迹信息的确定参数设置给轨迹信息确定单元108。确定参数包括指示执行确定的位置的坐标对，用于确定坐标对是否属于“区域”或“线”的区域类型、物体大小的范围、物体属性、属性数、画面中的存续时间的范围以及检测事件。图5例示了确定参数的示例。在示例中，检测到物体经连接坐标(10，10)和坐标(20，30)的线通过，其中，该物体具有100到250的大小，属性“人体”，属性数是1，存续时间是1秒以上。

图6例示了线通过确定的示例。通过确定连接前一图像中的物体的边界框502的中心点和当前图像中的物体的边界框503的中心点的线段504是否与确定线段501相交，来进行通过的确定。线段504是物体的移动矢量。在该示例中，使用边界框的中心点来确定通过。作为另选方案，可以通过检测一个边界框通过确定线段501，来确定通过。如果确定参数设置为“区域”，则确定物体是否进入区域或者物体是否从该区域出去。可以通过确定参数中的检测事件，来进行物体是进入区域还是物体从区域出去的指定。

轨迹信息确定单元108使用确定参数设置单元107中设置的确定参数，通过确定轨迹管理单元106管理的物体的轨迹信息，来检测目标物体。在每次轨迹管理单元106中更新轨迹信息时，对所有设置确定参数进行轨迹信息的确定处理。例如，轨迹信息确定单元108确定被追踪物体通过特定场所。

通过该处理，在使用图5所示的确定参数进行确定的情况下，能够进行以下确定。换句话说，在物体穿过确定线段501的时间点，如果“人体”的属性与该物体不相关联，则在该时间点之后，在“人体”的属性与物体相关联的时间点，能够检测到与“人体”的属性相关联的物体通过该线段。由物体关联单元105进行“人体”的属性的关联。

外部输出单元109向外部输出轨迹管理单元106管理的物体的轨迹信息以及轨迹信息确定单元108的确定结果。

图7是处理的流程图。在步骤f1中，确定是继续处理还是结束处理。当要继续处理时(步骤f1中为是)，则在步骤f2中，图像获取单元101从外部获取图像。在步骤f3中，物体检测单元102对所获取的图像进行物体检测处理。在步骤f3中，例如，物体检测单元102将两个图像相互比较，并确定不同部分中存在物体。在步骤f4中，进行物体检测处理中的结果的确定。如果检测到物体(步骤f4中为是)，则处理进行到步骤f5，并且如果没有检测到物体(步骤f4中为否)，则处理返回到f1。

如果检测到物体(步骤f4中为是)，则在步骤f5中，物体追踪单元103进行物体的追踪处理。在步骤f6中，使用追踪处理结果，轨迹管理单元106更新移动信息(追踪信息)。在步骤f5中，例如，在物体检测单元102在第一图像中检测到物体，并在第二图像中检测到物体的情况下，如果物体追踪单元103确定这两个物体之间的距离比预定距离近，则物体追踪单元103确定这两个物体是相同的物体。轨迹管理单元106通过存储物体检测单元102在各时间点检测到的物体的各个位置，来管理被追踪物体的轨迹。在上面参照图3说明了轨迹管理单元106管理的移动信息。

在步骤f7中，人体检测单元104进行从物体检测单元102检测到物体的区域检测人体的人体检测处理。在步骤f8中，人体检测单元104确定结果。如果检测到人体(步骤f8中为是)，则处理进行到步骤f9。如果没有检测到人体(步骤f8中为否)，则处理进行到步骤f11。步骤f8中进行的人体检测是特定物体的检测的示例。步骤f8中检测的特定物体不限于人体。例如，可以检测动物或者汽车。

如果检测到人体(步骤f8中为是)，则在步骤f9中，物体关联单元105进行将物体与人体相关联的处理。在步骤f10中，使用结果，轨迹管理单元106更新移动信息(追踪信息)。如果物体检测单元102检测到的物体以预定比率或更大比率与人体检测单元104检测到的人体交叠，则物体关联单元105确定物体检测单元102检测到的物体是人体，并将属性“人体”添加给物体检测单元102检测到的物体。替代人体检测，如果物体确定为汽车或者动物，则将对应属性添加给物体检测单元102检测到的物体。轨迹管理单元106将人体检测单元104确定物体追踪单元103追踪的物体为人体的信息，以及通过物体关联单元105与物体关联的属性存储为移动信息，并管理物体的轨迹和属性。属性指示物体是特定物体。

如上所述，如果物体检测单元102检测的物体与人体检测单元104检测到的人体相关联，则轨迹管理单元106按如下所述管理物体。换句话说，轨迹管理单元106将在当物体与人体相关联的时间点(图4中对应于点403的时间点)之前的时间点存在的位置的信息与人体相关联，并管理该信息。该时间点(对应于图4中的点403的时间点)之前的该关联的时间点是对应于图4中的轨迹402的时间点。因此，能够精确管理诸如人体的特定物体的移动的轨迹。

另外，在步骤f11中，轨迹信息确定单元108进行轨迹信息的确定处理。在步骤f12中，将确定的结果和轨迹管理单元106管理的物体的轨迹信息输出到外部。轨迹信息确定单元108例如确定被追踪物体通过特定场所。轨迹管理单元106可以包括轨迹信息确定单元108的功能，并进行轨迹信息的确定。

如上所述，根据本发明的示例性实施例，在物体的面部或者难以检测作为人体的特征的图像中，通过进行人体追踪并进一步更新追踪信息，能够进行人体的精确计数。

下面说明其他示例性实施例。在实现上述示例性实施例时，能够在捕获图像上显示物体追踪单元103追踪的物体的轨迹。在这种情况下，如果轨迹管理单元106将被追踪物体与特定物体相关联，并管理信息，则能够与在没有进行关联的情况下不同地，进行物体的轨迹的显示。例如，特定物体的轨迹的颜色可以与其他物体的轨迹的颜色不同。

另外，如果，在物体关联单元105中进行被追踪物体与特定物体的关联，则能够将在进行关联的时间点之前的时间点追踪的物体的轨迹作为特定物体的轨迹进行显示。

可以由计算机实现图1中图像处理装置(追踪装置)100的部分或者全部。在由计算机实现图1中的图像处理装置(追踪装置)100全部的示例性实施例中，图7中的流程图示出计算机中的程序的流程。

图7中的步骤f3中的物体检测处理和步骤f7中的人体检测处理二者或者这些处理之一可以使用硬件实现，而可以通过计算机由软件处理来实现其他处理。示例性实施例通过利用计算机可执行程序执行下列过程来实现。换句话说，在示例性实施例中，进行用于确定是否从图像中检测到物体的物体确定过程f4，进行用于追踪检测到的物体的追踪过程f5，并且通过更新移动信息(追踪信息)来进行用于管理被追踪物体的轨迹的轨迹管理过程f6。移动信息是图3所示的信息。另外，进行用于确定是否从图像中检测到特定物体(人体)的特定物体确定过程f8。在该处理之后，进行用于将确定为在物体确定过程f4中检测到的物体与确定为在特定物体确定过程f8中检测到的特定物体相关联的关联过程f9，并更新移动信息(轨迹信息)。通过更新处理，进行用于管理被追踪物体与特定物体的关联的特定物体管理过程f10。

在特定物体管理过程f10中，将当进行物体与特定物体(人体)关联时的时间点之前的时间点的信息，与特定物体(人体)相关联并管理。另外，在f11中，确定被追踪物体通过特定场所。

上面详细说明了示例性实施例。可以将本发明应用于包括多个设备(例如，主计算机，接口设备，摄像设备，web应用)的系统、或者包括单个设备的装置。

虽然参照示例性实施例说明了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当给予所附权利要求的范围最宽的解释，以涵盖所有变形、等同结构和功能。

Claims (6)

1.一种图像处理装置，该图像处理装置包括：

物体检测单元，其被构造为使用第一检测方法从图像中检测物体；

特定物体检测单元，其被构造为使用作为与所述第一检测方法不同的第二检测方法的、特定物体的图像特征检测所述特定物体；

确定单元，其被构造为确定由所述物体检测单元检测到的所述物体中的一个与由所述特定物体检测单元检测到的所述特定物体中的一个之间的交叠面积的程度；

关联单元，其被构造成基于所述确定单元的结果，来将由所述物体检测单元检测到的所述物体与由所述特定物体检测单元检测到的所述特定物体相关联。

2.根据权利要求1所述的图像处理装置，其中，如果所述交叠面积的比率大于阈值，则所述确定单元确定由所述物体检测单元检测到的所述物体与由所述特定物体检测单元检测到的所述特定物体要相互关联。

3.根据权利要求1所述的图像处理装置，其中，所述物体检测单元基于背景去除技术来检测所述物体。

4.根据权利要求1所述的图像处理装置，其中，所述特定物体检测单元基于图案匹配处理来检测所述特定物体。

5.一种图像处理方法，该图像处理方法包括：

物体检测步骤，使用第一检测方法从图像中检测物体；

特定物体检测步骤，使用作为与所述第一检测方法不同的第二检测方法的、特定物体的图像特征检测所述特定物体；

确定步骤，确定在所述物体检测步骤中检测到的所述物体中的一个与在所述特定物体检测步骤中检测到的所述特定物体中的一个之间的交叠面积的程度；

关联步骤，基于所述确定步骤的结果，来将在所述物体检测步骤中检测到的所述物体与在所述特定物体检测步骤中检测到的所述特定物体相关联。

6.根据权利要求5所述的图像处理方法，其中，如果所述交叠面积的比率大于阈值，则确定在所述物体检测步骤中检测到的所述物体与在所述特定物体检测步骤中检测到的所述特定物体相互关联。