CN107657232A - 一种行人智能识别方法及其系统 - Google Patents

Abstract

本发明提供了一种行人智能识别方法及其系统，其包括视频数据采集步骤、行人参数特征提取步骤以及行人再识别步骤。其中所述实施本发明涉及的所述行人智能识别方法的系统，其包括2个或以上数量的摄像头、前置机以及服务器。其中所述摄像头用于实施视频数据采集步骤，所述前置机用于管理这些所述摄像头，并根据所述摄像头获取的视频数据实施行人参数特征提取步骤、行人样本视频提取步骤。所述服务器用于保存所述前置机获得的监控视频中涉及的行人数据信息，并用于实施相应的所述行人再识别步骤。

Description

一种行人智能识别方法及其系统

技术领域

本发明涉及一种行人识别方法及其系统，尤其是，其中的一种基于行人运动轨迹的行人智能识别方法及其系统。

背景技术

随着社会的不断发展，普通大众对于安全的需求也是越来越高。为了应对这种需求，相关部门也是不断的加强力量，维护社会安全。

而同时，随着视频监控技术的不断发展进步，相关部门也就将其引入到公共安全领域中，由于其所具有的视频记录、回放等特点，使得其在社会公共安全方面所起到的作用越来越大。

而随着视频监控系统的不断普及，其所部署的区域也是越来越广泛，这明显对于社会的公共安全的提高起到了极大的促进作用。但随着视频监控系统监控的区域范围不断扩大的同时，也使得其获得的监控数据的数量也是急剧膨胀。

而在监控视频中，其主要是用于记录人的行动轨迹。这是因为人作为各种事件的主体，对于人的行动轨迹的分析，对相关部门发现犯罪以及打击犯罪时，是尤为重要的，这也是监控视频的一个重要作用，即能够记录人的行动轨迹。

对于现有的基于视频的行人运动轨迹分析，目前主要是针对一个摄像头（静止或可转动的）所监控的范围，其利用行人检测和跟踪等技术，检测监控视频中出现人员的异常行为等。

这其中，由于一个摄像头能够监控的区域范围是比较有限的，因此，这就使得其监控范围内，涉及到的人的出现时间较短，而且出现的区域范围有限。因此，监控视频中特定行人的运动轨迹是不完整，不能很好的描述其行为特点，使得后续对其进行的行人轨迹智能分析不能有效开展。而若是增加新的监控视频，由于目前仅是依靠人力进行相关视频数据的连接和分析，则视频数据分析的效率，明显十分低下。

因此，确有必要来开发一种新型的行人智能识别方法及其系统，来克服现有技术中的缺陷。

发明内容

本发明的目的在于提供一种行人智能识别方法，其基于行人的运动轨迹，能够将多个摄像头收集到的监控视频进行有效的结合，从而能够高效的识别出行人的行为轨迹。

为了实现上述目的，本发明采用的技术方案如下：

一种行人智能识别方法，其包括视频数据采集步骤、行人参数特征提取步骤以及行人再识别步骤。其中所述视频数据采集步骤是通过2个或以上数量的摄像头进行视频数据采集。所述行人参数特征提取步骤是对所述采集到的视频数据图像中的行人通过背景差分法进行行人检测，接着基于检测到的行人子图像提取用于后续的所述行人再识别步骤中使用的行人参数特征信息，并将每个行人的所述参数特征信息保存在行人信息库中。所述行人再识别步骤是指当出现一个需要查询轨迹的行人时，提供一张需要进行再识别的目标行人的图像，提取其中的与所述参数特征信息对应的用于行人再识别的特征后，通过依次计算待识别的目标行人和所述行人信息库中存储的各个未被识别的行人间的所述参数特征向量的欧式距离，来确定他们间的相似性，其中距离越小，则两者越相似；其中当计算出的欧式距离小于预定的阈值时，就认为待识别的目标行人和所述行人信息库中的具有对应参数特征的行人相匹配。

进一步的，在不同实施方式中，其还包括行人样本视频提取步骤，其为在获取所述行人参数特征时，还会保存与其相应的检测到该行人的摄像头的位置、检测到的时间和包含该行人的一段视频，作为所述样本视频信息。

进一步的，在不同实施方式中，其中所述行人再识别步骤是通过不断寻找所述行人信息库中所有的相匹配的行人，并结合所述样本视频信息中的位置和时间数据，来确定待识别的目标行人的运动轨迹。

进一步的，在不同实施方式中，其还包括步态识别步骤，其通过计算视频中行人的手臂摇摆区域的双臂像素数量来确定行人的步态周期，进而来唯一的表示某个特定的行人。

进一步的，在不同实施方式中，在所述步态识别步骤中，其还通过视频中行人运动人体的面积，通过拟合椭圆的属性、质心特征来判定行人的步态。

进一步的，在不同实施方式中，在所述步态识别步骤中，当识别到行人的步态特征后，会通过K近邻分类器，找到相似的多个步态，然后进一步通过相似性分析识别出同一个人的步态。

进一步的，在不同实施方式中，在所述步态识别步骤中，通过将人的步态运动看成是由一个个行走姿势组成的，然后将这些行走姿势归类到一个图像序列中，所述图像序列中每个单帧图像就能代表一种行走姿势，然后通过对一个所述序列中的若干行走姿势进行聚类，进而得到主要行走姿态，然后运用主成分分析的方法提取主要行走姿势的特征，以此来实现所述步态识别步骤。

进一步的，在不同实施方式中，其还包括运行轨迹合并步骤，其为对于步态相同的行人运动轨迹，通过将它们所属的行人设置为同一个人而实现轨迹的合并。

进一步的，在不同实施方式中，其还包括轨迹智能分析步骤，其为在获得大量行人运动轨迹后，针对同一个行人，结合不同的时间间隔，通过层次聚类方法，来发现同一个人周期性的轨迹特点和偏好；或是针对同一个地点，分析不同行人在其中出现的规律和特点。

进一步的，本发明的又一个实施方式，还提供了一种用于实施本发明涉及的所述行人智能识别方法的系统，其包括2个或以上数量的摄像头、前置机以及服务器。其中述摄像头用于实施视频数据采集步骤，所述前置机用于管理这些所述摄像头，并根据所述摄像头获取的视频数据实施行人参数特征提取步骤、行人样本视频提取步骤。所述服务器用于保存所述前置机获得的视频数据中涉及的行人信息，并用于实施所述行人再识别步骤，以及后续的步态识别步骤、运行轨迹合并步骤以及轨迹智能分析步骤。

相对于现有技术，本发明的有益效果是：本发明涉及的一种行人智能识别方法及其系统，其通过将多个摄像头采集到的视频数据结合在一起，通过高数据处理能力的服务器来进行大区域、大时间段内的行人分析，然后在通过行人再识别技术和步态识别技术，来获得目标行人在大范围区域和长时间段内的完整运动轨迹，从而可以有效的克服现有技术方案中存在的行人轨迹不完整的缺陷。

进一步的，本发明涉及的行人智能识别方法及其系统，对于视频数据中分析获得的目标行人的行为识别，不仅可以为有关部门有效的打击犯罪、制止不良交通行人，例如，行人闯红灯等，提供重要的技术支撑。而且，还能通过利用行人的行动轨迹的智能分析，发现目标行人的行为特点，进而可以为目标行人推送特定的服务或资讯信息，从而为创建智慧城市服务以及提高社会的现代化水平提供一定的帮助。

附图说明

图1是本发明涉及的一个实施方式提供的一种行人智能识别方法的步骤流程图；

图2是本发明涉及的又一实施方式提供的一种用于实施图1所示的本发明涉及的所述行人智能识别方法的系统的逻辑结构图；

图3是图1所示的本发明涉及的所述行人智能识别方法，实施时的数据处理流程图。

具体实施方式

以下将结合附图和实施例，对本发明涉及的一种行人智能识别方法及其系统的技术方案作进一步的详细描述。

请参阅图1所示，本发明的一个实施方式提供了一种行人智能识别方法，其包括视频数据采集步骤11、行人参数特征提取步骤12、行人样本视频提取步骤13、行人再识别步骤14、步态识别步骤15、运行轨迹合并步骤16以及轨迹智能分析步骤17。

其中，对于上述涉及的各个步骤，其可以通过使用2个或以上数量的摄像头、前置机以及服务器来进行完成，但不限于。其中所述摄像头用于获取视频数据，所述前置机用于管理相应的几个摄像头，其可以是设置在相应摄像头的附近。若是使用的摄像头数量较多，则相应的，所述前置机的数量也可按需要进行增加，并不是只能设置一个。所述服务器负责用于保存所述摄像头获得的视频数据以及所述前置机进行数据处理后获得的行人信息，并用于实施相应的行人再识别步骤、步态识别步骤、运行轨迹合并步骤以及轨迹智能分析步骤等。而其中所述前置机所实施的步骤，在不同实施方式中，其也可以由所述服务器来代替实施，即所述前置机和所述服务器，在功能上进行合并。

其中请参阅图2所示，其图示了一个本发明涉及的一种用于实施本发明涉及的所述行人智能识别方法的系统的逻辑结构图。由图中所示，其中1个所述前置机对应于2个摄像头，但并不限于。图中所示仅为举例式说明，在不同实施方式中，1个前置机，可对应1个摄像头，也可以对应3个摄像头，具体可随实际需要而定。而且，若有需要，也可增加涉及使用的服务器的数量，并不限于只使用1个服务器。

以下将针对本发明涉及的所述行人智能识别方法的各个步骤，进行详细的说明。而本发明涉及的方法中各个步骤涉及的数据处理流程，请参阅图3所示。

进一步的，其中所述监控视频采集步骤11可以是通过2个或以上数量的摄像头来实施，但不限于。所述行人参数特征提取步骤12、行人样本视频提取步骤13可以通过所述前置机来实施，但不限于。

以前置机为例，其中所述前置机对所述摄像头采集到的视频数据图像中的行人通过背景差分法进行行人检测，接着基于检测到的行人子图像提取用于后续的所述行人再识别步骤中使用的行人参数特征信息，将每个行人的所述参数特征通过网络保存在服务器上的行人信息库中，同时保存检测到行人的摄像头的位置、检测到的时间和包含此行人的一段视频作为所述样本视频信息，并为检测到的每一个行人赋予一个标识。其中所述样本视频信息也能用于后续的所述步态识别步骤。

其中所述的行人再识别步骤14，是指当出现一个需要查询轨迹的行人时，提供一张需要进行再识别的目标行人的图像，提取其中的用于行人再识别的特征后，通过依次计算待识别的目标行人和所述行人信息库中各个未被识别的行人间的特征向量的欧式距离，确定他们间的相似性，其中距离越小，两者越相似。如果欧式距离小于预定的阈值，就认为待识别的目标行人和所述行人信息库中的对应的行人相匹配。

然后，通过不断寻找所述行人信息库中所有的相匹配的行人，结合其出现的位置和时间（已保存在行人信息库中），就可以确定待识别的目标行人的运动轨迹。对于已经被识别到的行人的信息记录，需要标记为已处理，以后的行人再识别将不再考虑这些记录。

其中所述的步态识别步骤15，是指由于人的外观、着装等是可变的，依靠外观进行的所述行人再识别所得到的运行轨迹一般是较短时间内的，比如半天，或是一天。为了获得较长时间段内的行人运动轨迹，例如，几天，几周或者几个月等较长时间段，还需要将不同时间段的行人轨迹联合起来进行分析。

在通常的监控环境下，设置的摄像头一般架设的位置较高，因此，其对于近距离的人，有很大的俯仰角，图像分辨率较高；而对于远距离的人，俯仰角小，但图像分辨率会很低。因此，单纯的依靠人脸特征进行识别，并不可靠。而和人脸类似，行人的步态也是一种能够用于身份识别的生物特征。步态识别可以说是远距离下唯一可用的生物特征识别技术，它具有低分别率、受环境影响小、易采集等优点。

在实际的应用中，行人相对于所述监控摄像头有的是正面（或背面）的，有的是侧面的。对于正面（或背面）的行人，由于行人在运动过程中，身体部位除了手以外的部分，其变化并不明显，因此，本发明是通过手臂摇摆区域检测行人的步态。

进一步的，由于在手臂的摆动过程中，双臂在图像上的投影区域的面积是变化的，因此可以通过计算手臂摇摆区域的双臂像素数量来确定行人的步态周期，进而来唯一的表示某个特定的行人。

对于非正面的行人，本发明利用运动人体的面积，拟合椭圆的属性、质心等特征来判定行人的步态。比如，可以对检测出来的人体，使用一个椭圆进行拟合。在人行走的过程中，这个椭圆的短轴是在不断的变化，通过考察这种变化的周期，可以检测行人步态的周期，以此标识一个特定的行人。

识别到行人的步态特征后，可以通过K近邻分类器，找到相似的多个步态，然后进一步通过相似性分析识别出同一个人的步态。由于人的步态运动可以看成是由一个个行走姿势组成的，将这些行走姿势归类到一个图像序列中，所述序列中每个单帧图像就可以代表一种行走姿势。如果希望利用数个步态图像序列中成百上千的行走姿势之间的匹配来实现步态识别，那么计算量将极其庞大。为此，本发明通过对一个序列的若干行走姿势聚类，得到主要行走姿态，然后运用主成分分析的方法提取主要行走姿势的特征，以此来实现步态识别。

所述运动轨迹合并步骤16，是指对于步态相同的行人运动轨迹，通过将它们所属的行人设置为同一个人而实现轨迹的合并。

所述轨迹智能分析步骤17，是指基于获得的大量行人运动轨迹，针对同一个行人，结合不同的时间间隔，通过层次聚类方法，发现同一个人周期性的轨迹特点和偏好；也可以针对同一个地点，分析不同行人出现的规律和特点。

本发明涉及的一种行人智能识别方法及其系统，其通过将多个摄像头采集到的视频数据结合在一起，通过高数据处理能力的服务器来进行大区域、大时间段内的行人分析，然后在通过行人再识别技术和步态识别技术，来获得目标行人在大范围区域和长时间段内的完整运动轨迹，从而可以有效的克服现有技术方案中存在的行人轨迹不完整的缺陷。

进一步的，本发明涉及的行人智能识别方法及其系统，对于视频数据中分析获得的目标行人的行为识别，不仅可以为有关部门有效的打击犯罪、制止不良交通行人，例如，行人闯红灯等，提供重要的技术支撑。而且，还能通过利用行人的行动轨迹的智能分析，发现目标行人的行为特点，进而可以为目标行人推送特定的服务或资讯信息，从而为创建智慧城市服务以及提高社会的现代化水平提供一定的帮助。

本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的范围内。

Claims (10)

1.一种行人智能识别方法，其特征在于，其包括视频数据采集步骤、行人参数特征提取步骤以及行人再识别步骤；

其中所述视频数据采集步骤是通过2个或以上数量的摄像头进行视频数据采集；

所述行人参数特征提取步骤是对所述采集到的视频数据图像中的行人通过背景差分法进行行人检测，接着基于检测到的行人子图像提取用于后续的所述行人再识别步骤中使用的行人参数特征信息，并将每个行人的所述参数特征信息保存在行人信息库中；

所述行人再识别步骤是指当出现一个需要查询轨迹的行人时，提供一张需要进行再识别的目标行人的图像，提取其中的与所述参数特征信息对应的用于行人再识别的特征后，通过依次计算待识别的目标行人和所述行人信息库中存储的各个未被识别的行人间的所述参数特征向量的欧式距离，来确定他们间的相似性，其中距离越小，则两者越相似；其中当计算出的欧式距离小于预定的阈值时，就认为待识别的目标行人和所述行人信息库中的具有对应参数特征的行人相匹配。

2.根据权利要求1所述的一种行人智能识别方法，其特征在于，其还包括行人样本视频提取步骤，其为在获取所述行人参数特征时，还会保存与其相应的检测到该行人的摄像头的位置、检测到的时间和包含该行人的一段视频，作为所述样本视频信息。

3.根据权利要求2所述的一种行人智能识别方法，其特征在于，其中所述行人再识别步骤是通过不断寻找所述行人信息库中所有的相匹配的行人，并结合所述样本视频信息中的位置和时间数据，来确定待识别的目标行人的运动轨迹。

4.根据权利要求2所述的一种行人智能识别方法，其特征在于，其还包括步态识别步骤，其通过计算视频中行人的手臂摇摆区域的双臂像素数量来确定行人的步态周期，进而来唯一的表示某个特定的行人。

5.根据权利要求4所述的一种行人智能识别方法，其特征在于，在所述步态识别步骤中，其还通过视频中行人运动人体的面积，通过拟合椭圆的属性、质心特征来判定行人的步态。

6.根据权利要求4所述的一种行人智能识别方法，其特征在于，在所述步态识别步骤中，当识别到行人的步态特征后，会通过K近邻分类器，找到相似的多个步态，然后进一步通过相似性分析识别出同一个人的步态。

7.根据权利要求6所述的一种行人智能识别方法，其特征在于，在所述步态识别步骤中，通过将人的步态运动看成是由一个个行走姿势组成的，然后将这些行走姿势归类到一个图像序列中，所述图像序列中每个单帧图像就能代表一种行走姿势，然后通过对一个所述序列中的若干行走姿势进行聚类，进而得到主要行走姿态，然后运用主成分分析的方法提取主要行走姿势的特征，以此来实现所述步态识别步骤。

8.根据权利要求1所述的一种行人智能识别方法，其特征在于，其还包括运行轨迹合并步骤，其为对于步态相同的行人运动轨迹，通过将它们所属的行人设置为同一个人而实现轨迹的合并。

9.根据权利要求1所述的一种行人智能识别方法，其特征在于，其还包括轨迹智能分析步骤，其为在获得大量行人运动轨迹后，针对同一个行人，结合不同的时间间隔，通过层次聚类方法，来发现同一个人周期性的轨迹特点和偏好；或是针对同一个地点，分析不同行人在其中出现的规律和特点。

10.一种用于实施根据权利要求1所述的一种行人智能识别方法的系统，其特征在于，其包括2个或以上数量的摄像头、前置机以及服务器；

其中述摄像头用于实施视频数据采集步骤，所述前置机用于管理这些所述摄像头，并根据所述摄像头获取的视频数据实施行人参数特征提取步骤、行人样本视频提取步骤；

所述服务器用于保存所述前置机获得的视频数据中涉及的行人信息，并用于实施所述行人再识别步骤，以及后续的步态识别步骤、运行轨迹合并步骤以及轨迹智能分析步骤。