CN112766225A - 基于流动性人员的步态自动建库的装置及方法 - Google Patents

Abstract

本发明公开了基于流动性人员的步态自动建库的装置及方法，通过影像采集装置获取现场的视频影像信息，对视频影像信息中现场人员的个体图像进行图像切割处理，分离得到现场人员的脸部图像和身部图像，对其脸部图像进行人脸识别算法处理，获取该现场人员的人脸特征信息，生成对应的ID号进行唯一标识；获取不同ID号的现场人员的步态特征信息；将同一人员的信息储存在数据库中。通过对现场人员进行人脸特征识别和步态识别，建立人员的ID号，从而建立基于人脸特征的步态库，从而在公共场合可以利用人员步态进行人员身份识别，在安防领域中，基于步态特征的人员信息库，可以在无法识别人脸的情况下进行人员信息的识别，利于人员监控、逃逸罪犯的发现。

Description

基于流动性人员的步态自动建库的装置及方法

技术领域

本发明属于安防技术领域，具体地涉及基于流动性人员的步态自动建库的装置及方法。

背景技术

当前，随着计算机技术、人工智能的不断发展，视频监控系统已步入了智能化的新阶段。步态特征识别是继人脸识别应用后的又一具有极大使用价值的新应用，但是由于目前没有可靠的自动化建库手段，步态特征没有对应个体身份等原因，严重影响的步态特征识别的应用。

发明内容

本发明目的在于提供基于流动性人员的步态自动建库的装置及方法；提供了利用视频监控系统对人员步态特征自动建库的新方法,解决目前没有可靠的自动化建库手段，步态特征没有对应个体身份等原因，严重影响的步态特征识别的应用的问题。

第一方面，本发明提供了基于流动性人员的步态自动建库的装置，包括

用于采集现场视频影像信息的视频影像信息采集单元；

用于对视频影像信息进行图像处理，对视频影像信息中现场人员的个体图像进行图像切割处理，分离得到现场人员的脸部图像和身部图像的图像处理单元；

用于对所述脸部图像进行面部特征提取的面部特征提取单元；

用于对所述身部图像进行步态特征提取的步态特征提取单元；

用于对同一人员的面部特征和步态特征标识唯一ID号的信息标识单元；

用于将同一人员的采集时间、采集地点、脸部图像、连续多帧的身部图像信息、面部特征、步态特征和ID号信息进行绑定的信息绑定单元；和

将所述信息绑定单元绑定好的信息进行存储的数据存储单元。

根据上述技术，通过对现场人员进行采集视频信息，对视频信息进行人脸特征识别和步态识别，建立人员的ID号，从而建立基于人脸特征的步态库，人脸特征可以方便的与个人身份库进行信息识别，从而在公共场合可以利用人员步态进行人员身份识别，在安防领域中，基于步态特征的人员信息库，可以在无法识别人脸的情况下进行人员信息的识别，利于人员监控、逃逸罪犯的发现。

进一步的，所述视频影像信息采集单元包括第一摄像单元和第二摄像单元，第一摄像单元和第二摄像单元用于采集同一场景的视频信息，所述第一摄像单元用于采集第一视频信息，所述第一视频信息用于提取身部图像；所述第二摄像单元用于采集第二视频信息，所述第二视频信息用于提取面部图像。考虑现场人员一般是流动性人员，一台摄像机不方便同时捕捉人脸信息和步态信息，通过两个采集单元进行视频信息采集，可以提高对现场流动性人员的采集效果。

进一步的，所述第一摄像单元为高清摄像机，所述第二摄像单元为超高清摄像机。一般的人脸特征采集对画面细节精度更高，步态特征采集对画面精度的要求低于人脸识别，由此，采用高清摄像机用于步态信息采集，超高清摄像机用于人脸特征采集，提高采集单元的采集效果。

进一步的，所述视频影像信息采集单元为枪球联动摄像机；所述第一摄像单元为枪球联动摄像机中的定点摄像头；所述第二摄像单元为枪球联动摄像机的可控摄像头。通过采用枪球联动摄像机中的定点摄像头采集步态特征信息，以及枪球联动摄像机的可控摄像头采集人脸特征信息，方便在人员流动时，可控摄像头针对人员进行追踪式的采集，提高人脸特征信息采集的效果。

进一步的，所述第一摄像单元为广角摄像机，所述第二摄像单元为长焦摄像机。通过采用广角摄像机可以拍摄现场的空间很大，再通过长焦摄像机，可以对更远的场景采集人脸特征，提高人脸特征采集的范围和精度。

第二方面，本发明提供了基于流动性人员的步态自动建库的方法，包括以下步骤：

通过影像采集装置获取现场的视频影像信息；

对视频影像信息中现场人员的个体图像进行图像切割处理，分离得到现场人员的脸部图像和身部图像，对其脸部图像进行人脸识别算法处理，获取该现场人员的人脸特征信息；

针对不同的人员，生成对应的ID号进行唯一标识；

同时对多个ID号的人员进行连续多帧的其身部图像进行步态识别算法处理，获取不同ID号的现场人员的步态特征信息；

将同一人员的ID号、采集时间、采集地点、人脸特征信息、步态特征信息和得到的脸部图像、连续多帧的身部图像信息进行绑定，然后储存在数据库中。

在一种可能的设计中，当在第一现场得到人员的人脸特征信息，在第二现场中识别到相同的人脸特征时，将第一现场中产生的对应的ID号赋予给该人员，并重复采集该人员的步态特征以完善数据库。实际中，因为采集的人员是流动性的，通常不能一次性对人员的人脸特征和步态特征进行精准抓取，本发明通过人脸特征信息、步态特征信息以及对应的ID身份号，可以将信息进行相互的绑定，在不同的环境中重复采集到步态特征信息和人脸特征信息时，与之前的信息进行绑定，可以将信息进行完善。

在一种可能的设计中，所述影像采集装置包括第一摄像单元和第二摄像单元；

从所述第一摄像单元获取的第一视频信息中获取若干第一现场人员的个体图像，并针对每个第一现场人员的个体图像，分别进行步态识别算法处理；

得到对应该第一现场人员的步态特征信息后，生成带有时间戳的ID号对所有人员进行唯一标识；

接收来自第二摄像单元中的第二视频信息，获取该现场人员的人脸特征信息；

根据第一摄像单元和第二摄像单元的画面内位置对应关系，将对应的ID号传给第二摄像单元画面中对应的人员，进行步态特征、ID号和人脸特征的绑定。

在一种可能的设计中，所述第一摄像单元为广角摄像机，所述第二摄像单元为长焦摄像机时；

对第一摄像单元内的人员行走位置进行实时跟踪，当画面中人员进入第二摄像单元视频覆盖区域内时，根据第一摄像单元和第二摄像单元的画面内位置对应关系，进行步态特征、ID号和人脸特征的绑定。

第三方面，本发明提供了基于流动性人员的步态自动建库的装置，包括依次相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行第二方面以及第二方面中任意一项所述的可能设计的方法。

本发明的有益效果是：

1.本发明基于流动性人员的步态自动建库的装置，通过对现场人员进行采集视频信息，对视频信息进行人脸特征识别和步态识别，建立人员的ID号，从而建立基于人脸特征的步态库，人脸特征可以方便的与个人身份库进行信息识别，从而在公共场合可以利用人员步态进行人员身份识别，在安防领域中，基于步态特征的人员信息库，可以在无法识别人脸的情况下进行人员信息的识别，利于人员监控、逃逸罪犯的发现；

2.本发明基于流动性人员的步态自动建库的装置，通过两个采集单元进行视频信息采集，可以提高对现场流动性人员的采集效果；

3.本发明基于流动性人员的步态自动建库的方法，通过人脸特征信息、步态特征信息以及对应的ID身份号，可以将信息进行相互的绑定，在不同的环境中重复采集到步态特征信息和人脸特征信息时，与之前的信息进行绑定，可以将信息进行完善。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一方面提供的基于流动性人员的步态自动建库的装置结构示意图。

图2是本发明第二方面提供的基于流动性人员的步态自动建库的方法的流程示意图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。

应当理解，还应当注意到在一些备选可能设计中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。

应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。

如图1所示，本发明第一方面提供的所述基于流动性人员的步态自动建库的装置，包括

用于采集现场视频影像信息的视频影像信息采集单元；

用于对视频影像信息进行图像处理，对视频影像信息中现场人员的个体图像进行图像切割处理，分离得到现场人员的脸部图像和身部图像的图像处理单元；

用于对所述脸部图像进行面部特征提取的面部特征提取单元；

用于对所述身部图像进行步态特征提取的步态特征提取单元；

用于对同一人员的面部特征和步态特征标识唯一ID号的信息标识单元；

用于将同一人员的采集时间、采集地点、脸部图像、连续多帧的身部图像信息、面部特征、步态特征和ID号信息进行绑定的信息绑定单元；和

将所述信息绑定单元绑定好的信息进行存储的数据存储单元。

在一种可能的实施方式中，所述视频影像信息采集单元包括第一摄像单元和第二摄像单元，第一摄像单元和第二摄像单元用于采集同一场景的视频信息，所述第一摄像单元用于采集第一视频信息，所述第一视频信息用于提取身部图像；所述第二摄像单元用于采集第二视频信息，所述第二视频信息用于提取面部图像。

在一种可能的实施方式中，所述第一摄像单元为高清摄像机，所述第二摄像单元为超高清摄像机。

在一种可能的实施方式中，所述视频影像信息采集单元为枪球联动摄像机；所述第一摄像单元为枪球联动摄像机中的定点摄像头；所述第二摄像单元为枪球联动摄像机的可控摄像头。具体实施时，将可控摄像机转向至第一现场人员所在位置，对第二路视频中现场人员的个体图像进行图像切割处理，分离得到第一现场人员的脸部图像，对该人员的人脸特征进行采集后进行人脸识别算法处理，得到对应该第一现场人员的第一人脸特征信息，并将第一现场中产生的对应的ID号赋予第二现场中对应的人员。

在一种可能的实施方式中，所述第一摄像单元为广角摄像机，所述第二摄像单元为长焦摄像机。

第二方面，如图2所示，本发明第一方面提供的所述基于流动性人员的步态自动建库的方法，包括以下步骤：

通过影像采集装置获取现场的视频影像信息，对视频影像信息中现场人员的个体图像进行图像切割处理，分离得到现场人员的脸部图像和身部图像，对其脸部图像进行人脸识别算法处理，获取该现场人员的人脸特征信息，

针对不同的人员，基于接收时间戳随机生成对应的ID号进行唯一标识；

同时对多个ID号的人员进行连续多帧的其身部图像进行步态识别算法处理，获取不同ID号的现场人员的步态特征信息；

将同一人员的ID号、采集时间、采集地点、人脸特征信息、步态特征信息和得到的脸部图像、连续多帧的身部图像信息进行绑定，然后储存在数据库中。

在一种可能的实施方式中，当在第一现场得到人员的人脸特征信息，在第二现场中识别到相同的人脸特征时，将第一现场中产生的对应的ID号赋予给该人员，并重复采集该人员的步态特征以完善数据库。

在一种可能的实施方式中，所述影像采集装置包括第一摄像单元和第二摄像单元；

从所述第一摄像单元获取的第一视频信息中获取若干第一现场人员的个体图像，并针对每个第一现场人员的个体图像，分别进行步态识别算法处理；

得到对应该第一现场人员的步态特征信息后，生成带有时间戳的ID号对所有人员进行唯一标识；

接收来自第二摄像单元中的第二视频信息，获取该现场人员的人脸特征信息；

根据第一摄像单元和第二摄像单元的画面内位置对应关系，将对应的ID号传给第二摄像单元画面中对应的人员，进行步态特征、ID号和人脸特征的绑定。

在一种可能的实施方式中，所述第一摄像单元为广角摄像机，所述第二摄像单元为长焦摄像机时；

对第一摄像单元内的人员行走位置进行实时跟踪，当画面中人员进入第二摄像单元视频覆盖区域内时，根据第一摄像单元和第二摄像单元的画面内位置对应关系，进行步态特征、ID号和人脸特征的绑定。

例如，具体实施时，利用双固定摄像机实现，实现在不同视频画面中对同一个人进行步态与人脸特征的同时采集、比对、建库。双固定摄像机由广角摄像机和中、长焦摄像机组合构成，广角摄像机用于步态特征采集，中长焦摄像机用于人脸特征采集，中长焦摄像机的视频覆盖区域重叠于一号摄像机的视频覆盖区域内。

S3001.接收来自广角摄像机中视频信息获取的第一视频信息；

S3002.从第一视频信息中获取若干第一现场人员的个体图像，并针对每个第一现场人员的个体图像，分别都进行步态识别算法处理，当得到对应该第一现场人员的步态特征信息后；并生成带有时间戳随机生成一个ID号来进行唯一标识；

S3003.对一号摄像机内的人员行走位置进行实时跟踪，当人员进入2号摄像机视频覆盖区域内；

S3004.接收来自第二路人像采集摄像机中的第二视频流数据；

S3005.根据1号摄像机和2号摄像机的画面内位置对应关系，将ID号传给2号摄像机画面中对应的人员；

S3006.对该人员的人脸特征进行采集后进行人脸识别算法处理，得到对应该第一现场人员的第一人脸特征信息；

S3007.之后将ID号、采集时间、采集地点、人脸特征信息、步态特征信息以及所得到的脸部图像、连续多帧的其身部图像等信息绑定后储存在数据库中。人脸识别算法和步态识别算法均为已知算法。

本实施例第三方面提供了另外一种执行在第一方面或第一方面中任意一种可能设计所述基于流动性人员的步态自动建库的方法的装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如在第一方面或第一方面中任意一种可能设计中所执行步骤。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述处理器可以不限于采用型号为STM32F105系列的微处理器；所述收发器可以但不限于为无线保真(Wireless Fidelity，WiFi)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器和/或紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本实施例第三方面提供的前述基于流动性人员的步态自动建库的装置的工作过程、工作细节和技术效果，可以参见如上第二方面或第二方面中任意一种可能设计所述的交互方法，于此不再赘述。

本实施例第四方面提供了一种存储包含在第一方面或第一方面中任意一种可能设计所述基于流动性人员的步态自动建库的方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如在第一方面或第一方面中任意一种可能设计所述的基于流动性人员的步态自动建库的方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如上第二方面或第二方面中任意一种可能设计所述的交互方法，于此不再赘述。

本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如在第二方面或第二方面中任意一种可能设计所述的基于流动性人员的步态自动建库的方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

以上所描述的实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.基于流动性人员的步态自动建库的装置，其特征在于，包括

用于采集现场视频影像信息的视频影像信息采集单元；

用于对视频影像信息进行图像处理，对视频影像信息中现场人员的个体图像进行图像切割处理，分离得到现场人员的脸部图像和身部图像的图像处理单元；

用于对所述脸部图像进行面部特征提取的面部特征提取单元；

用于对所述身部图像进行步态特征提取的步态特征提取单元；

用于对同一人员的面部特征和步态特征标识唯一ID号的信息标识单元；

用于将同一人员的采集时间、采集地点、脸部图像、连续多帧的身部图像信息、面部特征、步态特征和ID号信息进行绑定的信息绑定单元；和

将所述信息绑定单元绑定好的信息进行存储的数据存储单元。

2.根据权利要求1所述的基于流动性人员的步态自动建库的装置，其特征在于，所述视频影像信息采集单元包括第一摄像单元和第二摄像单元，第一摄像单元和第二摄像单元用于采集同一场景的视频信息，所述第一摄像单元用于采集第一视频信息，所述第一视频信息用于提取身部图像；所述第二摄像单元用于采集第二视频信息，所述第二视频信息用于提取面部图像。

3.根据权利要求2所述的基于流动性人员的步态自动建库的装置，其特征在于，所述第一摄像单元为高清摄像机，所述第二摄像单元为超高清摄像机。

4.根据权利要求2所述的基于流动性人员的步态自动建库的装置，其特征在于，所述视频影像信息采集单元为枪球联动摄像机；所述第一摄像单元为枪球联动摄像机中的定点摄像头；所述第二摄像单元为枪球联动摄像机的可控摄像头。

5.根据权利要求2所述的基于流动性人员的步态自动建库的装置，其特征在于，所述第一摄像单元为广角摄像机，所述第二摄像单元为长焦摄像机。

6.基于流动性人员的步态自动建库的方法，其特征在于，包括以下步骤：

通过影像采集装置获取现场的视频影像信息，对视频影像信息中现场人员的个体图像进行图像切割处理，分离得到现场人员的脸部图像和身部图像，对其脸部图像进行人脸识别算法处理，获取该现场人员的人脸特征信息，

针对不同的人员，生成对应的ID号进行唯一标识；

同时对多个ID号的人员进行连续多帧的其身部图像进行步态识别算法处理，获取不同ID号的现场人员的步态特征信息；

将同一人员的ID号、采集时间、采集地点、人脸特征信息、步态特征信息和得到的脸部图像、连续多帧的身部图像信息进行绑定，然后储存在数据库中。

7.根据权利要求6所述的基于流动性人员的步态自动建库的方法，其特征在于，当在第一现场得到人员的人脸特征信息，在第二现场中识别到相同的人脸特征时，将第一现场中产生的对应的ID号赋予给该人员，并重复采集该人员的步态特征以完善数据库。

8.根据权利要求6所述的基于流动性人员的步态自动建库的方法，其特征在于，所述影像采集装置包括第一摄像单元和第二摄像单元；

从所述第一摄像单元获取的第一视频信息中获取若干第一现场人员的个体图像，并针对每个第一现场人员的个体图像，分别进行步态识别算法处理；

得到对应该第一现场人员的步态特征信息后，生成带有时间戳的ID号对所有人员进行唯一标识；

接收来自第二摄像单元中的第二视频信息，获取该现场人员的人脸特征信息；

根据第一摄像单元和第二摄像单元的画面内位置对应关系，将对应的ID号传给第二摄像单元画面中对应的人员，进行步态特征、ID号和人脸特征的绑定。

9.根据权利要求8所述的基于流动性人员的步态自动建库的方法，其特征在于，所述第一摄像单元为广角摄像机，所述第二摄像单元为长焦摄像机时；

对第一摄像单元内的人员行走位置进行实时跟踪，当画面中人员进入第二摄像单元视频覆盖区域内时，根据第一摄像单元和第二摄像单元的画面内位置对应关系，进行步态特征、ID号和人脸特征的绑定。

10.基于流动性人员的步态自动建库的装置，其特征在于：包括依次相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求6～9任意一项所述的方法。

Images