CN103428424A - 视频处理设备和追踪物体的管理方法 - Google Patents

Abstract

本发明提供一种视频处理设备及追踪物体的管理方法，该视频处理设备包括：第一检测单元，用于检测在视频中移动的追踪对象是否分成多个物体；以及确定单元，用于当所述第一检测单元检测到所述追踪对象分成所述多个物体时，根据在所述追踪对象分开之后的所述多个物体中的数量，确定在所述追踪对象分开之前包括在所述追踪对象中的物体的数量。

Description

视频处理设备和追踪物体的管理方法

技术领域

本发明涉及一种用于例如处理监视照相机的视频的视频处理设备、追踪物体的管理方法以及存储介质。

背景技术

传统上，当使用监视照相机的视频来对通过了画面上的指定点的物体或人的数量进行计数时，在画面上追踪在视频中所检测到的物体或人以检测它们通过指定点。例如，根据日本特开2010-50934，基于在当前帧和先前帧之间的关系中所检测到的移动信息来检测面部，然后追踪面部。根据追踪结果判断物体是否通过了指定点，以对物体进行计数。

然而，当画面上人彼此重叠时，不能够充分地获取检测所需要的特征。因此，难以保持检测面部或人体，并且，在追踪面部或人体时，不一定获取到适合的追踪结果。

发明内容

本发明涉及一种能够正确地管理所检测到的物体的属性的视频处理设备以及用于管理所检测到的物体的属性的方法。

根据本发明一方面，提供一种视频处理设备，包括：第一检测单元，用于检测在视频中移动的追踪对象是否分成多个物体；以及确定单元，用于当所述第一检测单元检测到所述追踪对象分成所述多个物体时，基于在所述追踪对象分开之后的所述多个物体的数量，确定在所述追踪对象分开之前包括在所述追踪对象中的物体的数量。

根据本发明另一方面，提供一种视频处理设备，包括：第一检测单元，用于检测在视频中移动的多个物体是否合并；以及确定单元，用于当所述第一检测单元检测到所述多个物体合并了时，基于在合并之前的所述多个物体的数量，确定包括在所述多个物体所合并成的追踪对象中的物体的数量。

根据本发明又一方面，一种视频处理方法，包括：检测在视频中移动的追踪对象是否分成多个物体；以及当检测到所述追踪对象分成所述多个物体时，基于在所述追踪对象分开之后的所述多个物体的数量，确定在所述追踪对象分开之前包括在所述追踪对象中的物体的数量。

根据本发明又一方面，一种视频处理方法，包括：检测在视频中移动的多个物体是否合并；以及当检测到所述多个物体合并了时，基于在合并之前的所述多个物体的数量，确定包括在所述多个物体所合并成的追踪对象中的物体的数量。

根据参考附图对典型实施例的如下说明，本发明的其它特征将变得明显。

附图说明

图1是示出视频处理设备的框图。

图2A和2B示出物体和人体之间的关联的例子。

图3示出对与物体有关的移动信息的管理的例子。

图4示出更新位置信息的例子。

图5是进行合并时的流程图。

图6是进行分开时的流程图。

图7示出判断参数的例子。

图8示出线段通过判断的例子。

图9是示出处理的流程图。

具体实施方式

以下将参考附图详细说明本发明典型实施例。以下典型实施例所述的结构仅是作为例子，本典型实施例不限于所示出的结构。

以下将说明第一典型实施例。图1示出视频处理设备的系统结构。根据本典型实施例的视频处理设备包括图像获取单元101、物体检测单元102、追踪单元103、人体检测单元104、关联单元105、轨迹管理单元106、判断参数设置单元108、判断单元109和外部输出单元110。

图像获取单元101按照时间顺序从外部获取要处理的图像。获取图像的外部设备不限于照相机，并且可以使用存储在服务器或外部存储器中的图像。

物体检测单元102通过背景差法来在图像获取单元101所获取的图像中检测物体(移动物体)。有关所检测到的物体的信息包括画面上的位置以及边界框和物体的尺寸。物体检测单元102检测图像中的物体，并且方法不限于背景差法。

追踪单元103在视频中追踪移动的追踪对象。另外，追踪单元103检测已追踪的追踪对象是否已分成多个物体。另外，追踪单元103检测视频中的多个物体是否已合并。

追踪单元103在画面上追踪物体检测单元102所检测到的物体。换句话说，追踪单元103将物体检测单元102所检测到的物体与先前图像中所检测到的物体相关联。将新物体识别数据(ID)应用于出现的新物体。将应用于先前图像的物体ID应用于与先前图像相关联的物体。当物体彼此合并时，应用所合并的物体中尺寸较大的物体的物体ID。另外，当将物体分成多个物体时，将应用于先前图像的物体ID应用于分开物体中尺寸较大的物体。将新物体ID应用于较小的物体。

人体检测单元104检测视频中的物体是否是指定物体。人体检测单元104通过模式匹配处理来在物体检测单元102所检测的区域中检测人体。人体检测单元104进行用于在图像中检测人体的处理，并且该处理不限于模式匹配处理。另外，不是必须在物体检测单元102所检测的区域中检测人体，可以对整个图像进行用于检测人体的处理。根据本典型实施例，将说明人体的检测。然而，可以检测除人体之外的指定物体，诸如面部、车辆和动物。

关联单元105将物体检测单元102所检测到的物体与人体检测单元104所检测到的人体相关联。图2A和2B示出所检测到的物体和所检测到的人体之间的关联的例子。图2A示出用于所检测到的物体的边界框201不包含用于所检测到的人体的边界框(外接矩形)202的情况。在该情况下，当用于人体的边界框202相对于用于物体的边界框201的重叠率超过预先设置的阈值时，定义为物体与人体相关联。重叠率表示用于物体的边界框201与用于人体的边界框202重叠的部分的面积和用于人体的边界框202的面积之比。关联单元105将物体与人体数量相关联。

图2B示出在用于所检测到的物体的边界框203中检测到多个人体的情况。在该情况下，当用于人体的边界框204和用于人体的边界框205中的各个与用于物体的边界框203的重叠率超过预先设置的阈值时，定义为各人体与物体相关联。

轨迹管理单元106管理正被追踪的追踪对象的轨迹。轨迹管理单元106管理与被追踪单元103追踪并且通过关联单元105与人体相关联的物体有关的移动信息。另外，轨迹管理单元106将关联单元105所关联的人体有关的信息作为物体属性应用于追踪单元103所追踪的追踪对象并且管理该信息。当追踪单元103检测到追踪对象分成多个物体时，轨迹管理单元106将追踪对象分开之前的追踪对象的轨迹作为追踪对象分开之后的多个物体的轨迹来进行管理。另外，当人体检测单元104检测到追踪物体分开之后的物体是指定物体(例如，人体)时，轨迹管理单元106将追踪对象分开之前的追踪对象的轨迹作为指定物体的轨迹来进行管理。另外，当追踪单元103检测到多个物体合并时，轨迹管理单元106将多个物体合并成的追踪对象的轨迹作为合并之前的多个物体的轨迹来进行管理。另外，当人体检测单元104检测到合并之前的多个物体是指定物体时，轨迹管理单元106将多个物体合并成的追踪对象的轨迹作为合并之前的多个指定物体的轨迹来进行管理。

图3示出对与物体有关的移动信息的管理的例子。轨迹管理单元106将有关追踪物体的移动信息301作为针对各物体ID的物体信息302来进行管理。物体信息302包括最初检测到物体时的时间以及位置信息303的组，其中位置信息303包含检测到物体时的时间、画面上的位置、边界框、尺寸、物体属性、属性数量以及事件。此处物体属性表示“无”或“人体”，属性数量表示通过关联单元105与物体相关联的人体数量。

关于物体属性和属性数量，人体检测单元104检测人体，根据关联单元105的结果来更新所关联的位置信息的属性和属性数量。另外，还根据上述结果更新先前位置信息的属性和属性数量。另外，还可以将上述结果设置为随后的位置信息的属性和属性数量。

图4示出更新位置信息的例子。例如，当人体与点403处的追踪物体相关联时，将点403处所关联的属性和属性数量设置为随后的位置信息，使得在轨迹404期间物体被处理为具有人体属性。另外，将点403处所关联的属性和属性数量设置为先前位置信息，使得在轨迹402期间物体被处理为具有人体属性。

人体检测单元104根据本典型实施例判断物体属性，然而，物体属性不限于上述属性。属性可以包括面部、车辆和动物，只要能够识别对象并判断为物体属性就可以使用任意单元。另外，可以包括多种类型的指定物体检测单元。当物体同时具有多个属性时，物体可以设置有多种类型的属性和属性数量。

根据追踪单元103的输出，事件表示追踪物体合并或分开。当没有发生分开或合并时，什么也不表示。当追踪物体合并时，描述表示物体合并的合并标记以及合并物体的全部物体ID。当物体分开时，描述表示物体分开的分开标记以及所分开得到的其它物体的物体ID。

属性校正单元107根据轨迹管理单元106所管理的与追踪物体有关的移动信息中的最新位置信息和先前位置信息的事件(合并或分开)中所述的内容，校正先前位置信息的属性和属性数量。

属性校正单元107根据检测到多个物体合并成为追踪对象，来确定包含在正被追踪的追踪物体内的物体数量。当追踪单元103检测到追踪对象分成多个物体时，属性校正单元107根据包含在追踪对象分开之后的追踪物体内的物体数量，来确定包含在追踪对象分开之前的追踪对象内的物体数量。另外，当追踪单元103检测到多个追踪对象合并时，属性校正单元107根据包含在合并之前的多个追踪对象内的物体数量，来确定包含在合并之后的追踪对象内的物体数量。以下将说明如何确定包含在追踪对象内的物体数量。

当将合并标记设置为最新位置信息的事件时，属性校正单元107根据图5所示的流程图来校正属性和属性数量。当属性校正单元107包括计算机时，图5所示的流程图表示计算机要从存储器读取以进行执行的部分程序。

在步骤fm1中，检查最新位置信息(定义为位置信息A)的事件。当设置了合并标记时(步骤fm1中的“是”)，在步骤fm2中，根据最新位置信息中所述的物体ID来搜索所合并的多个物体，并且获取合并之前的最新位置信息中所述的各属性和属性数量。在步骤fm3中，针对各属性对从与各物体有关的位置信息中所获得的属性和属性数量进行累计，然后，在步骤fm4中，将累计结果设置为位置信息A。换句话说，当两个以上物体的轨迹合并时，属性校正单元107根据针对各属性所获得的总计结果来校正轨迹管理单元106所管理的合并物体的属性数量。

另外，当轨迹管理单元106根据关联单元105的结果来更新所关联的位置信息的属性和属性数量时，如果过去发生了分开事件，则属性校正单元107根据图6所示的流程图来校正属性和属性数量。当属性校正单元107包括计算机时，图6所示的流程图示出计算机要从存储器读取以执行的部分程序。

在步骤fs1中，存储属性和属性数量(定义为属性信息A)。在步骤fs2中，判断是否继续处理。当位置信息被更新预定次数以上时，处理结束。当继续处理时(步骤fs2中的“是”)，接着在步骤fs3中，获取与先前帧中的物体有关的位置信息(定义为位置信息B)。当所获取的位置信息的事件表示“分开”时(步骤fs4中的“是”)，根据所获取位置信息中所述的其它物体的物体ID，获取分开之后的与从物体分开得到的其它物体有关的位置信息。当针对各属性对所存储的属性和所存储的属性数量(属性信息A)以及与分开得到的其它物体有关的位置信息的属性和属性数量进行总计时，以及当总计值不同于位置信息B的属性数量时，然后在步骤fs5中，将总计值更新为属性信息A的总计值。

当位置信息的事件表示“合并”时(步骤fs6中的“是”)，处理结束。当事件不表示“合并”时(步骤fs6中的“否”)，然后在步骤fs7中，将位置信息B的属性和属性数量校正为属性信息A中的属性和属性数量。如上所述，根据通过针对各属性对各分开物体的属性数量进行总计而获取的结果来校正分开之前的物体的属性和属性数量。

判断参数设置单元108从外部对判断单元109设置用于判断与物体有关的轨迹信息的判断参数。判断参数包括表示用于进行判断的位置的坐标的组、用于确定将该坐标的组作为“区域”或“线”的区域类型、物体尺寸范围、物体属性和属性数量、画面上的存在时间的范围以及所检测到的事件。

图7示出判断参数的例子。这表示检测到具有100～250的尺寸、人体属性、属性数量为1以及一秒以上的存在时间的物体通过了连接坐标(10,10)和坐标(20,30)的线段的例子。

图8示出线段通过判断的例子。根据连接用于先前图像中的物体的边界框602与用于当前图像中的物体的边界框603的中心点的线段604是否与判断线段601交叉，来判断线段的通过。

判断单元109获取通过了设置在视频的显示图像上的预定线或预定区域的物体数量。判断单元109通过根据判断参数设置单元108所设置的判断参数而判断轨迹管理单元106所管理的与追踪物体有关的轨迹信息，来检测期望的物体。每当轨迹管理单元106更新轨迹信息时，或者每当属性校正单元107校正属性信息时，对所设置的所有判断参数进行轨迹信息的判断处理。换句话说，判断单元109判断为所管理的物体的轨迹通过了画面上的指定位置，并且当属性校正单元107校正了属性时，根据所校正的属性来校正该通过的判断结果。

例如，当在物体通过指定位置之后追踪对象分开时，以及当检测到分开得到的至少一个物体是人时，将在分开之前所追踪的轨迹作为包含人的追踪对象的轨迹来进行管理。

使用这种配置，如果根据图7所示的判断参数来进行判断，则当物体超过判断线段601时，人体检测单元104和关联单元105不将人体属性与物体相关联，并且还可以检测到随后所关联的物体。轨迹管理单元106可以进行通过的判断。

外部输出单元110向外部输出轨迹管理单元106所管理的与追踪物体有关的轨迹信息以及判断单元109的判断结果。

描述了属性校正单元107校正轨迹管理单元106所管理的属性和属性数量的方法。然而，本典型实施例不限于该方法。当最新位置信息的事件是“分开”时，可以对轨迹管理单元106所管理的轨迹中的分开物体的轨迹进行复制并且将其作为各分开物体的轨迹来进行管理。换句话说，根据该方法，当物体的轨迹分开时，并且，当针对各属性对各分开物体的属性数量的总计结果不同于分开之前的物体的属性数量时，复制轨迹管理单元106所管理的分开之前的物体的轨迹，然后将其定义为分开物体的轨迹。另外，将各分开属性校正为分开之后的属性。

另外，当最新位置信息的事件表示“合并”时，可以对追踪单元103在合并之后所获得的合并物体的追踪结果进行复制并且将其作为多个物体的轨迹来进行管理。换句话说，根据该方法，当两个以上物体的轨迹合并时，属性校正单元107复制轨迹管理单元106所管理的合并轨迹，并将复制轨迹定义为合并之前的轨迹随后的轨迹，然后，将各复制轨迹的属性校正为合并之前的属性。

图9是示出处理过程的流程图。当图1所示的视频处理设备包括计算机时，图9的流程图示出计算机要从存储器读取以进行执行的部分程序。

在步骤f1中，判断是继续还是结束处理。当继续处理时(步骤f1中的“是”)，接着在步骤f2中，图像获取单元101从外部获取图像。之后，在步骤f3中，物体检测单元102对所获取的图像进行物体检测处理。在步骤f4中，判断物体检测处理的结果。当检测到物体时(步骤f4中的“是”)，处理进行到步骤f5，并且，当没有检测到物体时(步骤f4中的“否”)，处理返回至步骤f1。当检测到物体时，接着在步骤f5中，追踪单元103对物体进行追踪处理，并且在步骤f6中，轨迹管理单元106根据追踪处理的结果来更新轨迹信息。

之后，在步骤f7中，人体检测单元104进行人体检测处理，并且在步骤f8中，判断人体检测处理的结果。当检测到人体时(步骤f8中的“是”)，处理进行到步骤f9，并且，当没有检测到人体时(步骤f8中的“否”)，处理进行到步骤f12。当检测到人体时，接着在步骤f9中，关联单元105在物体与人体之间进行关联处理。之后，在步骤f10中，轨迹管理单元106根据关联处理的结果更新轨迹信息，然后，属性校正单元107校正属性。在步骤f12中，判断单元109对轨迹信息进行判断处理，以及在步骤f13中，向外部输出判断处理的结果。

如上所述，根据本发明典型实施例，即使在难以检测被摄体的面部和人体的特征的视频中也可以追踪人体，另外，通过更新追踪信息，可以高精度地对人体计数。根据上述配置的本发明典型实施例，可以正确地管理所检测到的物体的属性。

还可以利用读出并执行记录在存储器介质(例如，非暂时性的计算机可读存储介质)上的计算机可执行指令以进行本发明的至少一个上述实施例的功能的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，系统或设备的计算机通过例如读出并执行来自存储介质的计算机可执行指令以进行至少一个上述实施例的功能来进行上述方法的各步骤。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的至少一个，并且可以包括独立计算机或独立计算机处理器的网络。例如，可以从网络或存储介质向计算机提供计算机可执行指令。存储介质可以包括，例如，硬盘、随机访问存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储、光盘(诸如光盘(CD)、数字化视频光盘(DVD)或蓝光光盘(BD)^TM等)、闪速存储装置、存储卡等中的至少一个。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包括所有这些修改以及等同结构和功能。

Claims (11)

1.一种视频处理设备，包括：

第一检测单元，用于检测在视频中移动的追踪对象是否分成多个物体；以及

确定单元，用于当所述第一检测单元检测到所述追踪对象分成所述多个物体时，基于在所述追踪对象分开之后的所述多个物体的数量，确定在所述追踪对象分开之前包括在所述追踪对象中的物体的数量。

2.根据权利要求1所述的视频处理设备，其中，还包括管理单元，所述管理单元用于管理所述追踪对象的轨迹，

其中，当所述第一检测单元检测到所述追踪对象分成所述多个物体时，所述管理单元将在所述追踪对象分开之前的所述追踪对象的轨迹作为在所述追踪对象分开之后的所述多个物体的轨迹来进行管理。

3.根据权利要求1所述的视频处理设备，其中，还包括获取单元，所述获取单元用于获取通过了设置在所述视频的显示图像上的预定线或预定区域的物体的数量，

其中，在所述追踪对象通过了设置在所述显示图像上的所述预定线或所述预定区域之后，当所述第一检测单元检测到通过的所述追踪对象分开时，所述获取单元基于在所述追踪对象分开之后的所述多个物体的数量来获取通过了所述预定线或所述预定区域的物体的数量。

4.根据权利要求1所述的视频处理设备，其中，还包括：

第二检测单元，用于检测所述视频中的物体是否是指定物体；以及

管理单元，用于管理所述追踪对象的轨迹，

其中，当所述第二检测单元检测到在所述追踪对象分开之后所获得的物体是所述指定物体时，所述管理单元将在所述追踪对象分开之前的所述追踪对象的轨迹作为所述第二检测单元所检测到的所述指定物体的轨迹来进行管理。

5.一种视频处理设备，包括：

第一检测单元，用于检测在视频中移动的多个物体是否合并；以及

确定单元，用于当所述第一检测单元检测到所述多个物体合并了时，基于在合并之前的所述多个物体的数量，确定包括在所述多个物体所合并成的追踪对象中的物体的数量。

6.根据权利要求5所述的视频处理设备，其中，还包括管理单元，所述管理单元用于管理所述追踪对象的轨迹，

其中，当所述第一检测单元检测到所述多个物体合并了时，所述管理单元将所述多个物体所合并成的追踪对象的轨迹作为在合并之前的所述多个物体的轨迹来进行管理。

7.根据权利要求5所述的视频处理设备，其中，还包括：

第二检测单元，用于检测所述视频中的物体是否为指定物体；以及

管理单元，用于管理所述追踪对象的轨迹，

其中，当所述第二检测单元检测到在合并之前的所述多个物体是所述指定物体时，所述管理单元将所述多个物体所合并成的追踪对象的轨迹作为在合并之前的所述指定物体的轨迹来进行管理。

8.一种视频处理方法，包括：

检测在视频中移动的追踪对象是否分成多个物体；以及

当检测到所述追踪对象分成所述多个物体时，基于在所述追踪对象分开之后的所述多个物体的数量，确定在所述追踪对象分开之前包括在所述追踪对象中的物体的数量。

9.根据权利要求8所述的视频处理方法，其中，还包括当检测到所述追踪对象分成所述多个物体时，将在所述追踪对象分开之前的所述追踪对象的轨迹作为在所述追踪对象分开之后的所述多个物体的轨迹来进行管理。

10.一种视频处理方法，包括：

检测在视频中移动的多个物体是否合并；以及

当检测到所述多个物体合并了时，基于在合并之前的所述多个物体的数量，确定包括在所述多个物体所合并成的追踪对象中的物体的数量。

11.根据权利要求10所述的视频处理方法，其中，还包括当检测到所述多个物体合并了时，将所述多个物体所合并成的追踪对象的轨迹作为在合并之前的所述多个物体的轨迹来进行管理。

Images