CN109447199A - 一种基于脚步信息的多模态罪犯识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于脚步信息的多模态罪犯识别方法及系统，包括：在设定出入口进行人员脚步信息注册，对于每个经过人员在脚步信息库为其注册与本人身份证信息相应的本人的脚步信息，这样本人下次经过时便可直接在脚步信息库里检索到他的信息。在设定出入口，每个经过人员的脚步震动信息与声音信息都实时传送到脚步信息数据库里进行检索匹配，辅以人脸识别技术，综合识别人员的身份信息；若未能检索到匹配项则为其注册脚步信息以实时更新脚步信息数据库。本发明克服了身份证件识别以及单纯的面部识别的局限性，能够帮助公安部门更好地在全球范围内定位追捕罪犯。

Description

一种基于脚步信息的多模态罪犯识别方法及系统

技术领域

本发明涉及人员识别技术领域，具体而言，涉及到一种基于脚步信息的多模态罪犯识别方法及系统。

背景技术

当今世界中，每年犯罪事件数量依然居高不下，新型犯罪层出不穷。很多时候已经确认罪犯或嫌疑人身份，难点是如何在地球上将其搜索出来。

传统的身份证(护照)信息识别仅在出示证件时才起到有效作用，罪犯(尤其全球通缉罪犯)一般不会使用自己身份证或护照，因此这一方法局限性较大；

红外摄像头确实起到很好的辅助识别作用，但是一般来说，罪犯也熟知这一对自身的威胁，会在出入机场、车站、港口等(以下简称重要出入口)时，下意识遮盖面部以逃避面部信息被摄像头捕捉，因此这一方法也存在一定局限性。

发明内容

为了解决上述问题，本发明提出了一种基于脚步信息的多模态罪犯识别方法及系统，基于每个人正常走路时步态的唯一性，将每个人走路的脚步信息也作为一种辅助的人员识别方法，加以红外摄像头等的辅助，帮助公安部门更好地在全球范围内定位追捕罪犯。

为了实现上述目的，本发明采用如下技术方案：

在一个或多个实施方式中公开的一种基于脚步信息的多模态罪犯识别方法，包括：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)；否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确；若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；

转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)；否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。

进一步地，所述脚步信息包括脚步叩击地面产生的震动数据以及脚步叩击地面发出的声音数据。

进一步地，在设定的出入口地面安装数字地震检波器，将采集到的脚步与地面叩击产生的振动信号传送至滤波模块，基于卡尔曼滤波算法进行信号滤波，对滤波后的信号进行放大后输出，得到脚步叩击地面产生的震动数据。

进一步地，在设定的出入口地面安装声音传感器，将采集到的脚步与地面叩击发出的声音信号转换为数字信号，并传送至数字滤波模块，基于卡尔曼滤波算法进行信号滤波，对滤波后的信号进行放大后输出，得到脚步叩击地面发出的声音数据。

进一步地，在设定的出入口安装红外摄像头，采集人脸图像信息并与人脸数据库中的数据进行匹配，实现人脸识别。

在一个或多个实施方式中公开的一种基于脚步信息的多模态罪犯识别系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)；否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确，若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)，否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。

在一个或多个实施方式中公开的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)；否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确；若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)；否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。

与现有技术相比，本发明的有益效果是：

本发明考虑每个人走路步态的唯一性，包括：脚步叩击地面产生震动的唯一性以及脚步叩击地面发出声音的唯一性，通过采集人员脚步信息，进行人员身份的识别，克服了身份证件识别以及单纯的面部识别的局限性；建立脚步信息数据库，并对数据信息实时更新，确保信息匹配的准确性；能够帮助公安部门更好地在全球范围内定位追捕罪犯。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是基于脚步信息的多模态罪犯识别系统结构示意图；

图2是基于脚步信息的多模态罪犯识别方法流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中公开的一种基于脚步信息的多模态罪犯识别方法，包括：

建立脚步信息数据库阶段：在建立脚步信息数据库时，每个人的脚步信息要与该人员有效证件(身份证、护照等)信息相关联；

每个人正常走路时步态都不同，包括步幅、步频、接触地面时间以及与地面接触时脚与地面的夹角等等，因而脚步叩击地面产生的震动数据以及脚步叩击地面发出的声音数据都具有唯一性，就像每个人的指纹具有唯一性一样。

在重要出入口(比如：机场、车站、港口等)进行人员脚步信息(包含：脚步叩击地面产生的震动信息以及脚步叩击地面发出的声音信息)注册，对于每个经过人员在脚步信息库为其注册与本人身份证信息相应的本人的脚步信息，这样本人下次经过时便可直接在脚步信息库里检索到他的信息。

尽可能提取犯罪现场留下的罪犯脚步信息也注册到脚步信息数据库里。

脚步信息数据库的应用与更新阶段：在所有重要出入口，将每个经过人员的脚步震动信息与声音信息都实时传送到脚步信息数据库里进行检索匹配，加以红外摄像头的人脸识别可综合识别该人员的身份信息，通过此方法可辅助公安部门精确快速定位罪犯以实施抓捕。若未能检索到匹配项则为其注册脚步信息以实时更新脚步信息数据库。

基于脚步信息的多模态罪犯识别方法具体如图2所示，包括以下步骤：

1)在重要出入口地板下面安装高灵敏度声音传感器，参照图1，通过数据采集卡将采集到的脚步与地面叩击发出的声音信号转换为数字信号，并传送至数字滤波放大模块，基于卡尔曼滤波算法进行信号滤波，若滤波后的信号略小可利用数字功放进行稍微放大，然后实时传送至脚步信息数据库检索脚步声音信号库是否有匹配项。

2)在重要出入口地板下面同时安装高灵敏度数字地震检波器，将采集到的脚步与地面叩击产生的振动信号传送至滤波放大模块，基于卡尔曼滤波算法进行信号滤波，若滤波后的信号略小可利用数字功放进行稍微放大，然后实时传送至脚步信息数据库检索脚步振动信号库是否有匹配项。

3)在重要出入口四周同时安装红外摄像头，当有人经过时，迅速扫描人脸并通过Emgu.CV技术进行图像处理，然后与人脸数据库迅速进行人脸特征比对，查看是否有匹配项。

4)上述1)、2)、3)步骤基于ASP.NET框架，通过socket网络进行数据通讯。

首先看步骤3)的结果：

⑴如果检测到人脸匹配项及该人员相关信息，则查看步骤1)和2)的匹配结果：

①检索到脚步信息匹配项(综合分析步骤1)和2)的匹配项，取两者中相似度都较高的一项作为脚步信息匹配项，下同)，这时候与人脸匹配项对比，若匹配结果是同一人，说明脚步信息与人脸信息相匹配；若不是同一人则以人脸匹配项为准并更改该脚步信息为人脸匹配结果的人员脚步信息。

然后将该人员信息与黑名单罪犯库信息进行匹配检索，若检索到匹配项则向控制台输出罪犯人员标识并在该重要出入口拉响警报，同时给公安部门发送消息以逮捕罪犯；若未检索到匹配项，则向控制台输出正常人员标识。

②没有检索到脚步信息匹配项，说明该人员未曾注册过脚步信息(这种情况一般在脚步信息数据库初建时发生较多)，则脚步信息库自动根据该人像识别结果为该人员注册本人脚步声音信息和振动信息。这样也完成了脚步信息数据库的实时更新，下次该人员经过重要出入口时通过脚步信息和面部信息都可识别身份。

同时也根据人脸识别结果与黑名单罪犯库信息进行匹配检索，若检索到匹配项则向控制台输出罪犯人员标识并在该重要出入口拉响警报，同时给公安部门发送消息以逮捕罪犯。若未检索到匹配项，则向控制台输出正常人员标识。

⑵如果未检测到人脸匹配项，这时查看步骤1)和2)：

①检索到脚步信息匹配项(这时脚步信息的作用尤为突出)，根据脚步信息所对应的人员身份信息与黑名单罪犯数据库信息进行匹配检索，若检索到匹配项则向控制台输出罪犯人员标识并在该重要出入口拉响警报，同时给公安部门发送消息以逮捕罪犯；若未检索到匹配项，则向控制台输出正常人员标识。

②未检索到脚步信息匹配项，这时向控制台输出不明物标识，并提醒监控室人员调看红外摄像头的监控图像，若是人员经过，则请该人员出示证件并为其注册脚步信息同时核对该人员是否在黑名单罪犯库中；若是其他生物经过则忽略。

实施例二

在一个或多个实施方式中，公开了一种基于脚步信息的多模态罪犯识别系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；设定出入口指的是机场、车站或者港口等犯罪嫌疑人出现概率比较大的出入口；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)；否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确；若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)；否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。

实施例三

在一个或多个实施方式中，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；设定出入口指的是机场、车站或者港口等犯罪嫌疑人出现概率比较大的出入口；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)，否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确；若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；

转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)；否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于脚步信息的多模态罪犯识别方法，其特征在于，包括：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)；否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确；若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；

转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)；否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。

2.如权利要求1所述的一种基于脚步信息的多模态罪犯识别方法，其特征在于，所述脚步信息包括脚步叩击地面产生的震动数据以及脚步叩击地面发出的声音数据。

3.如权利要求2所述的一种基于脚步信息的多模态罪犯识别方法，其特征在于，在设定的出入口地面安装数字地震检波器，将采集到的脚步与地面叩击产生的振动信号传送至滤波模块，基于卡尔曼滤波算法进行信号滤波，对滤波后的信号进行放大后输出，得到脚步叩击地面产生的震动数据。

4.如权利要求2所述的一种基于脚步信息的多模态罪犯识别方法，其特征在于，在设定的出入口地面安装声音传感器，将采集到的脚步与地面叩击发出的声音信号转换为数字信号，并传送至数字滤波模块，基于卡尔曼滤波算法进行信号滤波，对滤波后的信号进行放大后输出，得到脚步叩击地面发出的声音数据。

5.如权利要求1所述的一种基于脚步信息的多模态罪犯识别方法，其特征在于，在设定的出入口安装红外摄像头，采集人脸图像信息并与人脸数据库中的数据进行匹配，实现人脸识别。

6.一种基于脚步信息的多模态罪犯识别系统，其特征在于，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)；否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确；若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)；否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行以下步骤：

(1)建立脚步信息数据库，在设定的出入口采集人员的脚步信息，将该脚步信息与人员的身份信息进行关联，并保存至脚步信息数据库；

(2)在设定出入口采集脚步信息，将采集到的脚步信息与脚步信息数据库中的数据进行匹配；同时进行人脸识别；

(3)如果能够通过人脸识别获得人员的身份信息，进入步骤(4)；否则，进入步骤(5)；

(4)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，则将匹配的人员身份信息与面部识别得到的人员身份信息进行对比，若是同一个人，则脚步信息匹配正确；若不是同一个人，将与该脚步信息关联的人员身份信息更改为通过面部识别得到的人员身份信息；

如果根据采集到的脚步信息不能够在脚步信息数据库中匹配到人员身份信息，则将该脚步信息与面部识别得到的人员身份信息进行关联，并保存至脚步信息数据库；转入步骤(6)；

(5)如果根据采集到的脚步信息在脚步信息数据库中能够匹配到人员身份信息，进入步骤(6)；否则，判断是否是人员经过，若是，则记录人员身份信息，将该脚步信息与人员身份信息进行关联，并保存至脚步信息数据库，进入步骤(6)；若不是，忽略该脚步信息；

(6)将得到的人员身份信息与黑名单罪犯库信息进行匹配，如果有匹配项则报警，如果没有匹配项则输出正常人员标识。