CN106203458B - 人群视频分析方法及系统 - Google Patents

Abstract

本发明涉及一种人群视频分析方法及系统，所述方法及系统通过采集预定时间内的人体属性及对应的时空信息，基于时空信息对人体属性进行分类，以及提取出具有时空相关性或行为相关性的人。本发明可以对视频信息进行持续分析，判断出人与时间地点的关系以及人与人之间的关系，能够有效分析频繁聚集人员的相互关系，结果准确，适用性广。

Description

人群视频分析方法及系统

技术领域

本发明涉及领域智能分析技术，尤其涉及一种人群视频分析方法及系统。

背景技术

现有技术中，在分析频繁聚集人员之间关系时通常采用两种模式，第一种模式是针对一帧或者相邻几帧数据内在指定区域内出现人群的数量进行判断，判断的结果只是单一结果，只能用于报警类产品；另外一种应用模式是对进入指定区域的人群进行人脸识别或者人员特征分析，用于VIP客户、广告投放用途。

上述两种模式都没有长时间的视频采集以及分析，不能提取出指定区域内的人员特征，也不能对跨区域的人员特征进行比较从而确定属于同一团体或者熟悉的人群，在例如火车站抓捕黄牛的应用场景中，采用上述两种模式无法在一天的视频里分析得出黄牛人群，也不能通过不同区域里出现的人群特征来寻找人员的交集。

因此，有必要基于现有的视频监控系统提出一种新型的视频分析方法，以能够有效分析频繁聚集人员的相互关系。

发明内容

本发明的目的是提供一种人群视频分析方法及系统，用于对海量视频数据进行持续分析，判断人与人之间的关系以及人与特定区域的关系。

根据本发明的一个方面，一种人群视频分析方法，包括：

步骤S1，采集预定时间内的人体属性及对应的时空信息；

步骤S2，基于时空信息对人体属性进行分类；

步骤S3，提取出具有时空相关性或行为相关性的人。

其中，所述人体属性包括人脸特征、人体特征和/或行为方式；以及所述对应的时空信息是人出现的时间和地点。

其中，所述基于时空信息对人体属性进行分类的步骤包括：将在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人归为一类。

其中，所述时空相关性是指在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人及其对应的人体属性；以及所述行为相关性是指发生相近或相同行为的次数超过一定阈值的人。

其中，所述步骤S1进一步包括：

步骤S11，采集指定区域的视频信息；

步骤S12，从视频信息中提取人体属性；

步骤S13，获取并保存人体属性对应的时空信息；

步骤S14，重复步骤S12-S13直至达到预定时间长度。

其中，所述步骤S2进一步包括：

步骤S21，调用分类算法对采集的人体属性及对应的时空信息进行训练；

步骤S22，按照时间和地点对出现的人进行分类；

步骤S23，调用分类算法对出现在相近时间和相近地点的人进行分类整合；以及

步骤S24，迭代分类算法提取在相近时间出现在相近地点的人。

其中，所述步骤S3进一步包括：

步骤S31，提取出在相同时间和相同地点出现次数超过第一预定阈值的人；

步骤S32，提取出行为方式相关次数超过第二预定阈值的人。

根据本发明的另一方面，提供了目标个体关联分析方法，包括：

步骤S10，获取预定时间内的目标个体的特征属性及对应的时空信息；

步骤S20，统计目标个体之间具有相同或相近的时空信息的次数；

步骤S30，判断所述次数是否超过预设次数；

步骤S40，若所述次数超过预设次数，则判定所述目标个体之间存在关联关系。

其中，所述相同或相近的时空信息包括：

至少两个目标个体的出现时间相同，和/或至少两个目标个体的出现地点的距离差值为0；或者

至少两个目标个体的出现时间差值小于时间阈值，和/或至少两个目标个体的出现地点的距离差值小于距离阈值。

其中,所述距离由所述至少两个目标个体在图像帧的位置坐标进行确定。

其中,所述目标个体的出现时间由所述至少两个目标个体出现在图像帧中的时间进行确定。

其中，所述步骤S10进一步包括，对目标个体进行行为和/或声音识别，以分析目标个体之间是否存在肢体接触和/或交谈的行为方式。

其中，所述步骤S40进一步包括，根据目标个体之间已确定的统计次数和行为方式出现的次数，确定目标个体之间的关联程度。

其中，所述关联程度用数值表示，由所述统计次数和所述行为方式次数加权计算来确定；其中，数值越高，则表示对应的目标个体之间关联程度越高。

其中，所述步骤S20进一步包括：

步骤S201，调用分类算法对采集的目标个体的特征属性及对应的时空信息进行训练；

步骤S202，按照时间和地点对出现的目标个体进行分类；

步骤S203，调用分类算法对出现在相近时间和相近地点的目标个体进行分类整合；以及

步骤S204，迭代分类算法提取在相近时间出现在相近地点的目标个体。

根据本发明的另一方面，提供了人群视频分析系统，包括视频信息采集模块、信息分类模块和信息提取模块；

所述视频信息采集模块，用于采集预定时间内的人体属性及对应的时空信息；

所述信息分类模块，用于基于时空信息对人体属性进行分类；

所述信息提取模块，用于提取出具有时空相关性或行为相关性的人。

其中，所述人体属性包括人脸特征、人体特征和/或行为方式；以及所述对应的时空信息是人出现的时间和地点。

其中，所述信息分类模块将在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人归为一类。

其中，所述时空相关性是指在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人及其对应的人体属性；以及所述行为相关性是指发生相近或相同行为的次数超过一定阈值的人。

其中，所述视频信息采集模块包括视频信息采集单元、人体属性提取单元、信息处理单元和循环单元；

所述视频信息采集单元，用于采集指定区域的视频信息；

所述人体属性提取单元，用于从视频信息中提取人体属性；

所述信息处理单元，用于获取并保存人体属性对应的时空信息；

所述循环单元，用于重复执行人体属性提取单元和信息处理单元直至达到预定时间长度。

其中，所述信息提取模块包括相同时空提取单元和行为方式提取单元；

所述相同时空提取单元，用于提取出在相同时间和相同地点出现次数超过第一预定阈值的人；

所述行为方式提取单元，用于提取出行为方式相关次数超过第二预定阈值的人。

本发明通过采用数据挖掘、聚类算法等对所有指定区域的视频数据进行持续分析，通过对每帧数据提取人体特征和人体行为特征的方式，识别出人员之间以及人与特定区域的关系；其中指定区域的划分保证了视频数据的完整性，并有助于识别人与特定分析区域的关系；长时间的监控以及采集数据可以保证最后判断的准确性；调用人脸智能算法提取进行人体特征以及调用行为分析算法提取人体行为特征可以提高对人体识别的精确性；调用分类算法适于对大量数据进行准确快速分类。

附图说明

图1是本发明的人群视频分析方法的流程图；

图2是根据本发明一实施方式的视频信息采集方法流程图；

图3是根据本发明另一实施方式的信息分类方法流程图；

图4是根据本发明实施方式的信息提取方法流程图；

图5是根据本发明的目标个体关联分析方法流程图；

图6是本发明的人群视频分析系统的结构示意图；

图7是本发明的视频信息采集模块的结构示意图；

图8是本发明的信息提取模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

聚类分析是一种重要的人类行为，其是研究(样品或指标)分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。

图1是本发明的人群视频分析方法的流程图。

如图1所示，本发明的人群视频分析方法包括下述步骤。

步骤S1，采集预定时间内的人体属性及对应的时空信息。

本步骤涉及采集视频信息，具体来说，采集视频信息中的人体属性及对应的时空信息。这里，人体属性包括人脸特征、人体特征等人体物理属性，也包括行为方式等人体行为属性。对应的时空信息是指视频信息中人出现的时间和地点。

具体执行步骤参见下文图2所示示例。

步骤S2，基于时空信息对人体属性进行分类。

本步骤中，使用分类算法按照时间和地点对人体属性进行分类，得到经常出现(或出现次数超过一定阈值)在相近(或相同)时间和相近(或相同)地点的人，进一步，可以得到这些人中行为方式具有相关性的两人或多人。

步骤S3，提取出具有时空相关性或行为相关性的人。

本步骤中，在步骤S2进行分类的基础上，提取出在相近(或相同)时间和相近(或相同)地点经常出现的人(或出现次数超过一定阈值的人)，以及行为方式相关次数超过一定阈值的人。这样，根据提取结果可以判断出人与人之间的关系，人与特定区域的关系等。具体执行步骤参见下文图4所示示例。

本发明中，时空相关性是指在相近(或相同)时间和相近(或相同)地点经常出现的人(或出现次数超过一定阈值的人)及其对应的人体属性，体现了人与时间、地点之间的关系。行为相关性是指发生相近或相同行为的次数超过一定阈值的人，行为方式例如是说话口型、手势、眼神等特征，从而体现出人与人之间的关系。

图2是根据本发明一实施方式的视频信息采集方法流程图。

如图2所示，本发明一实施方式的视频信息采集方法主要用于采集预定时间内的人体属性及对应的时空信息，即前述步骤S1所示步骤的执行流程，其包括下述步骤：

步骤S11，采集指定区域的视频信息。

通过多个摄像头对指定区域进行视频监控，采集指定区域的视频信息。通常，指定区域比较大的情况下，会将指定区域划分成多个片区，片区的形状可以为矩形、正方形或大致圆形等，每个片区构成一个分析区域，对这些多个分析区域分别进行视频监控和视频信息采集。

步骤S12，从视频信息中提取人体属性。

以某个分析区域为分析目标，对单位时间(例如每天)内的视频信息进行取流、解码，然后调用，采用特定的算法提取分析区域视频信息中的人体属性。这里，人体属性包括人脸特征、人体特征等人体物理属性，也包括行为方式等人体行为属性。人脸特征例如是人面部的五官形状及位置、肤色或其他特征，人体特征例如是身高、体型、纹身、发型、衣着等特征，行为方式例如是说话口型、手势、眼神等特征，以及发生该行为时与该人体相关的一个或多个其他人体，从而体现出人与人之间的关系。

本发明中，可以采用人脸智能算法提取人脸特征和人体特征，以及采用行为分析算法提取行为方式特征。

其中，人脸智能算法(或人脸识别算法)是指在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，经过预处理之后，馈入后端的识别算法。识别算法要完成人脸特征的提取，并与库存的已知人脸进行比对，完成最终的分类。具体来说，人脸识别(Facial Recognition)，就是通过视频采集设备获取用户的面部图像，再利用核心的算法对其脸部的五官位置、脸型和角度进行计算分析，进而和自身数据库里已有的范本进行比对，后判断出用户的真实身份。

其中，行为分析算法(或智能分析算法)的主要特征是采用计算机视觉的方法，在几乎不需要人为干预的情况下，通过对摄像机拍录的图像序列尽享定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时作出反应。主要优势有：群体行为分析、入侵检测和运动目标跟踪、有效扩展视频资源的用途、滞留物和搬移报警、对摄像机保护、降低人力成本。具体来说，行为分析算法是通过采用先进的智能图像处理算法，辨别不同环境中监控物体的行为，例如拌线、入侵、滞留、徘徊等，可以连续追踪移动或静止的物体，并具有焰火烟雾检测等功能。

步骤S13，获取并保存人体属性对应的时空信息。

对于提取的每个人的人体属性，获取并保存该人体出现的时间和地点，将人体属性与对应的时空信息相关联的保存在数据库中。时间信息可以根据需要具体到某一天，甚至该天内具体的小时、分、秒等，该时间信息可以体现出某个人体与特定时间之间的关系。空间信息至少包括监控的指定区域，该指定区域中的某个分析区域等，该空间信息可以体现出某个人体与特定区域之间的关系。

这里，步骤S12和步骤S13可以先后执行，也可以同时执行，即在提取人体属性的同时提取人体属性对应的时空信息。

步骤S14，重复步骤S12-S13直至达到预定时间长度。

重复执行前述步骤S12-S13，持续的采集、提取并存储数据，当数据库中保存了预定时间长度的数据(人脸特征、人体特征、行为方式特征、时间和地点)后，即可执行后续的步骤以进行数据分析和分类。这里，数据库中保存预定时间长度的数据的含义，是指当需要存储的数据量超过该预定时间长度时，即执行后续的步骤以进行数据分析和分类。数据库中保存的以前的数据并不会自动删除，每次进行数据分析时，都是基于全部数据或者指定时间段内的数据进行分析。

举例来说，如果预定时间长度是6个月，当达到预定时间长度后，在进行数据分析时，基于该6个月的数据进行分析和分类，或者可以指定某个时间段的数据进行数据分析和分类，例如指定时间段为2014年6月-2015年6月。

本发明的实施例中，所述预定时间长度可以根据需要设置，例如可以为几个月，也可以为一年或几年。

图3是根据本发明另一实施方式的信息分类方法流程图。

如图3所示，前述步骤S2的基于时空信息对人体属性进行分类的方法中，按照时间和地点对人体属性进行分类，得到经常出现在相同时间和相同地点的人以及这些人中行为方式具有相关性的两人或多人，所述方法包括下述步骤：

步骤S21，调用分类算法对采集的人体属性及对应的时空信息进行训练。

调用分类算法，将前述采集存储的海量数据投入分类算法中进行训练。训练过程中，基于人体属性中的人体物理属性可以识别出是否属于同一个人。

步骤S22，按照时间和地点对出现的人进行分类。

按照时间和地点对每一帧数据出现的人进行分类，标示出每帧出现的人的出现时间和出现地点。

步骤S23，调用分类算法对出现在相近时间和相近地点的人进行分类整合。

本步骤中，调用分类算法对出现在相近时间、相近地点的人进行类别整合，整合出在相近时间或相近地点反复出现的一个或多个人。

这里，所谓的“相近时间”或“相近地点”，可以根据实际情况设定，在一定的冗余范围内均可以视为相近。

步骤S24，迭代分类算法提取在相近时间出现在相近地点的人。

本步骤中，通过迭代分类算法，提取并确定出经常在相近时间出现在相近地点的一个或多个人。优选的，可以确定出经常在同一时间出现在同一地点的人群。本发明中，所采用的分类算法可以使现有技术中已有的任何一种算法，只能能基于时间、空间信息对具有不同人体属性的人进行分类即可，分类算法本身不在本发明的考虑范围内。

本实施例中，当拥有海量数据后，可以调用分类算法把出现的人员信息分析，例如按照人脸、出现时间戳、出现在同一个区域或者相邻区域的次数、说话口型、手势方向等等条件进行分类，训练完全结束后对分类信息进行统计。

图4是根据本发明实施方式的信息提取方法流程图。

如图4所示，前述步骤S3用于提取出具有时空相关性或行为相关性的人，用于判断出人与人之间的关系，人与特定区域的关系，所述方法包括下述步骤：

步骤S31，提取出在相近时间和相近地点出现次数超过第一预定阈值的人。

本步骤用于判断出人与特定区域和时间的关系。具体来说，基于时空信息对人体属性进行分类的分类结果，在经常出现在相近时间和相近地点的人群中，提取出在相近(或相同)时间和相近(或相同)地点出现次数超过第一预定阈值的一个或多个人。这里，所述第一预定阈值可以根据具体情况预先设置。具有这种特征的人群通常具有特定行为目的，例如执勤人员，或者是小偷等。

步骤S32，提取出行为方式相关次数超过第二预定阈值的人。本步骤用于判断人与人之间的关系。具体来说，通过行为方式特征的相关性，在相近(或相同)时间和相近(或相同)地点出现次数超过第一预定阈值的人群中，提取出行为方式具有相关性的次数超过第二预定阈值的两个或多个人。这里，所述第二预定阈值可以根据具体情况预先设置。具有这种特征的人群通常具有特定行为目的，例如相识的执勤人员，或者是小偷同伙等。

图5是本发明的目标关联分析方法流程图。

如图5所示，本发明的目标关联分析方法包括下述步骤：

步骤S10，获取预定时间内的目标个体的特征属性及对应的时空信息。

具体来说，获取视频信息中的目标个体的特征属性及对应的时空信息。这里，所述目标个体的特征属性包括目标个体的行为和声音。对应的时空信息是指视频信息中目标个体出现的时间和地点。

在本步骤中，对获取的预定时间内的目标个体的特征属性，即行为和声音进行识别，以分析目标个体之间是否存在肢体接触和/或交谈的行为方式。

步骤S20，统计目标个体之间具有相同或相近的时空信息的次数。

本步骤中，使用分类算法按照时间和地点对目标个体的特征属性进行分类，得到经常出现(或出现次数超过一定阈值)在相同(或相近)时间和相同(或相近)地点的人，进一步，可以得到这些人中行为方式具有相关性的两人或多人，统计这些人中具有相同或相近的时空信息的次数。

其中，所述相同或相近的时空信息包括：至少两个目标个体的出现时间相同，和/或至少两个目标个体的出现地点的距离差值为0；或者至少两个目标个体的出现时间差值小于时间阈值，和/或至少两个目标个体的出现地点的距离差值小于距离阈值。

也即，至少两个目标个体的出现时间相同和至少两个目标个体的出现地点的距离差值为0，或者至少两个目标个体的出现时间相同，或者至少两个目标个体的出现地点的距离差值为0，或者至少两个目标个体的出现时间差值小于时间阈值和至少两个目标个体的出现地点的距离差值小于距离阈值，或者至少两个目标个体的出现时间差值小于时间阈值，或者至少两个目标个体的出现地点的距离差值小于距离阈值。

其中，所述距离由所述至少两个目标个体在图像帧的位置坐标进行确定。所述目标个体的出现时间由所述至少两个目标个体出现在图像帧中的时间进行确定。

步骤S30，判断所述次数是否超过预设次数。

本步骤中，统计出目标个体之间具有相同或相近时空信息的次数，将所述次数与预设的次数进行比较。

步骤S40，若所述次数超过预设次数，则判定所述目标个体之间存在关联关系。

本步骤中，首先将统计出的所述次数和预设的次数进行比较，如果所述统计出的次数超过预设的次数，则判定所述目标个体之间存在关联关系。最后，将确定的所述目标个体之间的关联关系，统计次数以及目标个体的特征属性进行存储。最后，根据统计的目标个体之间的统计次数和行为方式出现的次数，确定目标个体之间的关联程度。所述关联程度用数值表示，由所述统计次数和所述行为方式次数通过加权计算来确定。其中，数值越高，则表示对应的目标个体之间关联程度越高。例如，火车站广场里黄牛之间互相较为熟悉，每天会聚集在一起聊天，他们之间的相关度，即关联程度必然较陌生人高。

如图3所示，本发明的目标个体的关联分析方法中的前述步骤S20同样包括：

步骤S201，调用分类算法对采集的目标个体的特征属性及对应的时空信息进行训练。具体描述参见前述步骤S21。

步骤S202，按照时间和地点对出现的目标个体进行分类。具体描述参见前述步骤S22。

步骤S203，调用分类算法对出现在相近时间和相近地点的目标个体进行分类整合。具体描述参见前述步骤S23。

步骤S204，迭代分类算法提取在相近时间出现在相近地点的目标个体。

具体描述参见前述步骤S24。

下面是本发明的一具体示例。

这里，以火车站广场为例，以火车站广场为指定区域，假设该广场是正方形的，等分面积后切分成若干个正方形的小方块，这些小方块就是所谓的分析区域，这里假设切分为500份，即500个分析区域，对这500个分析区域里的每一个分析区域均从东南西北四个方向安装摄像头，对该区域实行7*24小时监控。

针对每天的监控视频都采用人脸智能算法和行为分析算法进行分析，提取出人脸模型、行为特征、人体属性、时间和地点并存储在数据库中，随着数据库中数据的不断积累，几年时间里不断在广场里出现的人一定是和广场有密切关系的人，例如火车站工作人员、倒卖车票的黄牛、拉客的酒店服务人员等等，而经常出现在同一个画面里的人之间互相可能有关系。

可以通过行为分析算法分析两个人之间的行为方式，例如针对某两人之间的眼神、手势方向，可以判断该两人是在打招呼或者是在对话；例如打招呼，如果不断出现两个人打招呼的动作，即能够确认两个人或者多个人之间的某种关系，例如朋友、同伙等；当拥有一定时间长度的数据后，可以调用分类算法把出现的人员进行信息分析，按照人脸、出现时间戳、出现在同一个分析区域或者相邻分析区域的次数、说话口型、手势方向等等条件进行分类，训练完全结束后对分类信息进行统计，根据统计结果可以判断出人与人之间的关系，人与特定区域的关系等，然后根据该判断结果有针对性的应用，例如若要在火车站抓黄牛或者黑车司机，由于这些人群长期在火车站广场活动，互相之间认识，每天也会聚会几次或者打招呼，经过长时间的视频分析，根据判断结果可以逐渐找出这些团伙性组织的领头人以及成员。

图6是本发明的人群视频分析系统的结构示意图。

如图6所示，所述人群视频分析系统，包括视频信息采集模块1、信息分类模块2和信息提取模块3。

视频信息采集模块1用于采集预定时间内的人体属性及对应的时空信息。具体来说，采集一段时间内的视频信息中的人体属性及对应的时空信息，即该人体出现的时间和地点，该时空信息可以体现出某个人体与特定时间、特定空间之间的关系。这里，人体属性包括人脸特征、人体特征等人体物理属性，也包括行为方式等人体行为属性。人脸特征例如是人面部的五官形状及位置、肤色或其他特征，人体特征例如是身高、体型、纹身、发型、衣着等特征，行为方式例如是说话口型、手势、眼神等特征，以及发生该行为时与该人体相关的一个或多个其他人体，从而体现出人与人之间的关系。

信息分类模块2连接到所述采集模块1，用于基于时空信息对人体属性进行分类。具体来说，使用分类算法按照时间和地点对人体属性进行分类，得到经常出现在相近(或相同)时间和相近(或相同)地点的人以及这些人中行为方式具有相关性的两人或多人。

信息提取模块3连接到所述视频信息采集模块1和所述分类模块2，用于提取出具有时空相关性或行为相关性的人。具体来说，从已经分类的人群中，提取出在相近(或相同)时间和相近(或相同)地点出现次数超过第一预定阈值的人，以及行为方式相关次数超过第二预定阈值的人。这样，根据提取结果可以判断出人与人之间的关系，人与特定区域的关系等。

图7是本发明的视频信息采集模块的结构示意图。

如图7所示，所述视频信息采集模块1包括：视频信息采集单元11、人体属性提取单元12和信息处理单元13。

视频信息采集单元11用于采集指定区域的视频信息，并发送给人体属性提取单元12和信息处理单元13。通过多个摄像头对指定区域进行视频监控，采集指定区域的视频信息。通常，指定区域比较大的情况下，会将指定区域划分成多个片区，片区的形状可以为矩形、正方形或大致圆形等，每个片区构成一个分析区域，对这些多个分析区域分别进行视频监控和视频信息采集。

人体属性提取单元12连接到所述视频信息采集单元11，用于从视频信息中提取人体属性并发送给信息处理单元13。人体属性提取单元12以某个分析区域为分析目标，对单位时间(例如每天)内的视频信息进行取流、解码，然后调用，采用特定的算法提取分析区域视频信息中的人体属性。这里，人体属性包括人脸特征、人体特征等人体物理属性，也包括行为方式等人体行为属性。

信息处理单元13连接到所述视频信息采集单元11和所述人体属性提取单元12，用于获取并保存人体属性对应的时空信息。具体的说，对于提取的每个人的人体属性，获取并保存该人体出现的时间和地点，将人体属性与对应的时空信息相关联的保存在数据库中。

图8是本发明的信息提取模块的结构示意图。

如图8所示，所述信息提取模块3包括时空信息提取单元31和行为方式提取单元32。

时空信息提取单元31用于提取出在相近时间和相近地点出现次数超过第一预定阈值的人。具体来说，时空信息提取单元31基于时空信息对人体属性进行分类的分类结果，在经常出现在相近时间和相近地点的人群中，提取出在相近(或相同)时间和相近(或相同)地点出现次数超过第一预定阈值的一个或多个人，从而判断出人与特定区域和时间的关系。

行为方式提取单元32连接到所述相同时空提取单元31，用于提取出行为方式相关次数超过第二预定阈值的人。具体来说，通过行为方式特征的相关性，在相近(或相同)时间和相近(或相同)地点出现次数超过第一预定阈值的人群中，提取出行为方式具有相关性的次数超过第二预定阈值的两个或多个人，从而便于判断人与人之间的关系。

本发明通过采用数据挖掘、聚类算法等对所有指定区域的视频数据进行持续分析，通过对每帧数据提取人体特征和人体行为特征的方式，识别出人员之间以及人与特定区域的关系；其中指定区域的划分保证了视频数据的完整性，并有助于识别人与特定分析区域的关系；长时间的监控以及采集数据可以保证最后判断的准确性；调用人脸智能算法提取进行人体特征以及调用行为分析算法提取人体行为特征可以提高对人体识别的精确性；调用分类算法适于对大量数据进行准确快速分类。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (19)

1.一种人群视频分析方法，其特征在于，包括：

步骤S1，采集预定时间内的人体属性及对应的时空信息；

步骤S2，基于时空信息对人体属性进行分类，包括：将在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人归为一类；以及

步骤S3，提取出具有时空相关性或行为相关性的人。

2.根据权利要求1所述的方法，其中，

所述人体属性包括人脸特征、人体特征和/或行为方式；以及

所述对应的时空信息是人出现的时间和地点。

3.根据权利要求1所述的方法，其中，

所述时空相关性是指在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人及其对应的人体属性；以及

所述行为相关性是指发生相近或相同行为的次数超过一定阈值的人。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述步骤S1进一步包括：

步骤S11，采集指定区域的视频信息；

步骤S12，从视频信息中提取人体属性；

步骤S13，获取并保存人体属性对应的时空信息；以及

步骤S14，重复步骤S12-S13直至达到预定时间长度。

5.根据权利要求1-3中任一项所述的方法，其特征在于，所述步骤S2进一步包括：

步骤S21，调用分类算法对采集的人体属性及对应的时空信息进行训练；

步骤S22，按照时间和地点对出现的人进行分类；

步骤S23，调用分类算法对出现在相近时间和相近地点的人进行分类整合；以及

步骤S24，迭代分类算法提取在相近时间出现在相近地点的人。

6.根据权利要求1-3中任一项所述的方法，其特征在于，所述步骤S3进一步包括：

步骤S31，提取出在相近时间和相近地点出现次数超过第一预定阈值的人；以及

步骤S32，提取出行为方式相关次数超过第二预定阈值的人。

7.一种目标关联分析方法，其特征在于，包括：

步骤S10，获取预定时间内的目标个体的特征属性及对应的时空信息；

步骤S20，统计目标个体之间具有相同或相近的时空信息的次数；

步骤S30，判断所述次数是否超过预设次数；

步骤S40，若所述次数超过预设次数，则判定所述目标个体之间存在关联关系。

8.根据权利要求7所述的方法，其特征在于，所述相同或相近的时空信息包括：

至少两个目标个体的出现时间相同，和/或至少两个目标个体的出现地点的距离差值为0；或者

至少两个目标个体的出现时间差值小于时间阈值，和/或至少两个目标个体的出现地点的距离差值小于距离阈值。

9.根据权利要求8所述的方法，其特征在于，其中,所述距离由所述至少两个目标个体在图像帧的位置坐标进行确定。

10.根据权利要求8所述的方法，其特征在于，其中,所述目标个体的出现时间由所述至少两个目标个体出现在图像帧中的时间进行确定。

11.根据权利要求7所述的方法，其中，所述步骤S10进一步包括，对目标个体进行行为和/或声音识别，以分析目标个体之间是否存在肢体接触和/或交谈的行为方式。

12.根据权利要求7所述的方法，其中，所述步骤S40进一步包括，根据目标个体之间已确定的统计次数和行为方式出现的次数，确定目标个体之间的关联程度。

13.根据权利要求12所述的方法，所述关联程度用数值表示，由所述统计次数和所述行为方式次数加权计算来确定；其中，数值越高，则表示对应的目标个体之间关联程度越高。

14.根据权利要求7所述的方法，其特征在于，所述步骤S20进一步包括：

步骤S201，调用分类算法对采集的目标个体的特征属性及对应的时空信息进行训练；

步骤S202，按照时间和地点对出现的目标个体进行分类；

步骤S203，调用分类算法对出现在相近时间和相近地点的目标个体进行分类整合；以及

步骤S204，迭代分类算法提取在相近时间出现在相近地点的目标个体。

15.一种人群视频分析系统，包括：

视频信息采集模块(1)，用于采集预定时间内的人体属性及对应的时空信息；

信息分类模块(2)，用于基于时空信息对人体属性进行分类，包括：将在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人归为一类；和

信息提取模块(3)，用于提取出具有时空相关性或行为相关性的人。

16.根据权利要求15所述的系统，其中，

所述人体属性包括人脸特征、人体特征和/或行为方式；以及

所述对应的时空信息是人出现的时间和地点。

17.根据权利要求15所述的系统，其中，

所述时空相关性是指在相近或相同时间和相近或相同地点的出现次数超过一定阈值的人及其对应的人体属性；以及

所述行为相关性是指发生相近或相同行为的次数超过一定阈值的人。

18.根据权利要求15-17中任一项所述的系统，其特征在于，所述视频信息采集模块(1)包括：

视频信息采集单元(11)，用于采集指定区域的视频信息；

人体属性提取单元(12)，用于从视频信息中提取人体属性；和

信息处理单元(13)，用于获取并保存人体属性对应的时空信息。

19.根据权利要求15-17中任一项所述的系统，所述信息提取模块(3)包括：

时空信息提取单元(31)，用于提取出在相近时间和相近地点出现次数超过第一预定阈值的人；和

行为方式提取单元(32)，用于提取出行为方式相关次数超过第二预定阈值的人。

Images