CN110287370B - 基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质 - Google Patents

Abstract

本申请提供一种基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质，方法包括：鞋型识别步骤：利用案件现场的鞋印确定嫌疑人对应鞋型；视频检索步骤：在设定筛查时段的现场周边监控视频数据中自动检索与嫌疑人对应鞋型匹配的鞋型，按照匹配度输出结果集合；鞋型识别步骤包括：输入嫌疑人现场鞋印图像；将输入的图像与鞋印训练样本数据库中的鞋印图像比对，确定嫌疑人对应鞋型；视频检索步骤包括：输入现场周边监控视频数据和确定的嫌疑人对应鞋型的图像，设定筛查时段；自动检测并分割筛查时段内的现场周边监控视频数据中行人的鞋子图像，形成临时数据库；将输入的嫌疑人对应鞋型的图像与临时数据库中的鞋子图像比对，基于匹配度得到嫌疑人视频集合。

Description

基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质

技术领域

本申请涉及刑事侦查技术领域，特别涉及刑事侦查领域的嫌疑人追踪溯源技术，尤其涉及基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质。

背景技术

上世纪60年代，我国公安专家就总结出了一套基于足迹的刑侦技术。在长期实践的基础上，公安刑侦专家马玉林发现：受人体生理构造及步态运动习惯等因素的影响，不同行人的足迹形态一般互不相同。利用足迹的这一特性，马玉林于1959年总结出了一套“从印到影、从影到印、对人对印”的步法追踪技术，能够依据嫌疑人遗留在犯罪现场的足迹信息推断出嫌疑人的行走姿势(或称步态)，进而追踪并认定犯罪嫌疑人。马玉林总结的步法追踪技术为我国公安机关侦查破案创出了一条独特的捷径，为起诉、审判犯罪嫌疑人提供了重要依据。

几十年来，步法追踪技术已形成了一套较为完备的足迹检验体系，并在公安刑侦工作中发挥了巨大作用，基于步法追踪技术的成功案例成千上万，例如：2004年2月山西省洪洞县女大学生李某某被奸杀，足迹专家依据现场足迹形态分析得出：犯罪嫌疑人身高180cm左右，年龄30岁左右，体态中等，行走姿势是直行分离步，左肩低，右肩高，头部、躯干前左倾。侦查人员根据这一信息快速锁定了嫌疑人并成功破获了这起奸杀案。这些基于步法追踪技术的成功案例充分说明了足迹检验技术的实用性。

近年来，监控摄像头的广泛普及为步法追踪术带来了新的发展契机。监控摄像头能够实时地记录监控区域内行人的鞋型和步态行走姿势。而步法追踪术的实质是在现场足迹与行人步态间建立映射关系。因此，公安机关可依据现场的鞋印信息，确定嫌疑人所穿鞋型，进而依据鞋型照片，从案发地周边特定时间内监控视频数据中筛查犯罪嫌疑人。步法追踪术与监控视频的结合大大提升了现场鞋印信息的利用率，扩展了破案手段。但是，采用人工的方式实现现场鞋印到鞋型再到行人的筛查的工作量是巨大的，需要消耗大量时间，导致效率比较低下，并且准确率也受人工方式的限制。

因此，如何能实现现场鞋印到鞋型再到行人的快速筛查，是一个迫切需要解决的问题。

发明内容

有鉴于此，本发明提出了一种基于现场鞋印的犯罪嫌疑人追踪方法和装置，以克服现有技术中人工方式实现现场鞋印到鞋型再到行人的筛查导致的效率低下的问题。

本发明的技术方案如下：

本发明的以方便提供一种基于现场鞋印的犯罪嫌疑人追踪方法，该方法包括以下步骤：

基于鞋印的鞋型识别步骤：利用嫌疑人遗留在案件现场的鞋印确定嫌疑人现场所穿鞋子的鞋型；以及

基于鞋型的视频检索步骤：在设定筛查时段的现场周边监控视频数据中自动检索与确定的嫌疑人现场所穿鞋型相匹配的鞋型，并按照匹配度排序输出结果集合；

其中，所述鞋型识别步骤包括：

输入嫌疑人现场鞋印图像；

将输入的鞋印图像与鞋印训练样本数据库中的鞋印图像进行比对，得到按匹配度排序的鞋型候选集；

基于所述鞋型候选集确定嫌疑人现场所穿鞋子的鞋型；

所述视频检索步骤包括：

输入案件现场周边监控视频数据和确定的嫌疑人现场所穿鞋子的鞋型的图像，并设定筛查时段；

自动检测并分割设定筛查时段内的现场周边监控视频数据中行人的鞋子图像，形成与现场周边监控视频数据关联的鞋型临时数据库；

将输入的嫌疑人现场所穿鞋子的鞋型的图像与鞋型临时数据库中的鞋子图像进行比对，得到按匹配度排序的检索结果集合；

基于所述检索结果集合得到嫌疑人视频集合。

可选地，所述鞋印训练样本数据库中包括如下信息：多类鞋型对应的鞋印二值图像、鞋型相关信息和鞋子外观图像。

可选地，利用鞋型识别器执行所述将输入的鞋印图像与鞋印训练样本数据库中的鞋印图像进行比对得到按匹配度排序的鞋型候选集的步骤，所述鞋型识别器通过如下步骤来构建：构建鞋印训练样本数据库，该鞋印训练样本数据库对于同一鞋型包含油墨捺印鞋印二值图像，或者包含油墨捺印鞋印二值图像和模拟案件现场的灰尘鞋印二值图像；基于卷积神经网络学习设计鞋型识别模型；以及训练学习得到模型参数，从而得到固化参数后的鞋型识别器。

可选地，所述卷积神经网络包括：至少3个卷积层和至少3个全连接层；前三个卷积层分别有64、128和256个卷积核，大小分别为5*5、3*3*64和3*3*128；第一个全连接层有1024个神经元，第二个全连接层有512个神经元，最后一个全连接层的神经元的个数根据训练样本数确定；所述卷积神经网络的最大池化层的卷积核大小为2，步长为2。

可选地，所述将输入的鞋印图像与鞋印训练样本数据库中的鞋印图像进行比对的步骤包括：对于给定现场鞋印图像F1和样本鞋印图像F2，经过卷积神经网络分别得到现场鞋印特征X和样本鞋印特征Y，使用余弦距离计算X和Y的相似度：

基于计算的相似度得到各样本鞋印图像的匹配度排序，并输出结果集合。

可选地，利用鞋子检测器执行所述自动检测并分割设定筛查时段内的现场周边监控视频数据中行人的鞋子图像，形成与现场周边监控视频数据关联的鞋型临时数据库的步骤；所述鞋型临时数据库中包含如下信息：同一行人的预定幅数的鞋子图像、每幅鞋子图像对应的视频文件名、对应的监控摄像头名称及位置、鞋子图像在视频中出现的时刻。

可选地，所述鞋子检测器通过如下步骤来构建：构建监控视频下鞋子图像训练数据库；基于多任务卷积神经网络设计鞋子检测模型；以及训练学习得到模型参数，从而得到固化参数后的鞋子检测器。

可选地，利用鞋型匹配器执行所述将输入的嫌疑人现场所穿鞋子的鞋型的图像与鞋型临时数据库中的鞋型图像进行比对，得到按匹配度排序的检索结果集合的步骤；所述鞋型匹配器通过如下步骤来构建：构建视频鞋型训练数据库，该鞋型训练数据库中，对于同一鞋子包含预定数量的鞋型图像；基于卷积神经网络学习设计鞋型匹配模型；以及训练学习得到模型参数，从而得到固化参数后的鞋型匹配器。

可选地，所述卷积神经网络包括至少5个卷积层和至少3个全连接层。前5个卷积层分别有64、128、256、256、256个卷积核，大小分别为5*5、3*3*64和3*3*128、3*3*256、3*3*256。第一个全连接层有1024个神经元，第二个全连接层有512个神经元，最后一个全连接层的神经元的个数根据训练样本数确定；

可选地，所述卷积神经网络的最大池化层的卷积核大小为2，步长为2。

可选地，所述将输入的嫌疑人现场所穿鞋子的鞋型的图像与鞋型临时数据库中的鞋子图像进行比对，得到按匹配度排序的检索结果集合的步骤包括：

对于输入的嫌疑人现场所穿鞋子的鞋型的图像F′₁和鞋型临时数据库中的样本鞋子图像F′₂，它们间的相似度的计算方式为：F′₁和F′₂经过卷积神经网络分别得到鞋型特征X′和Y′；使用余弦距离计算X′和Y′的相似度：

基于公式(2)，以输入的嫌疑人现场所穿鞋子的鞋型图像为检索源，以鞋型临时数据库中的鞋型样本为检索目标，得到按匹配度由高到低输出的检索结果集合。

本发明的另一方面，提供一种基于现场鞋印的犯罪嫌疑人追踪装置，该装置包括处理器和存储器，所述存储器用于存储计算机指令，当所述计算机指令被所述处理器中被执行时所述装置用于完成如前所述的方法的步骤。

本发明的又一方面，提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述方法的步骤。

本发明通过案件现场犯罪嫌疑人遗留的鞋印，可以快速确定犯罪嫌疑人作案时所穿鞋型，进而依据监控影像快速锁定嫌疑人，从而能够高效地实现从现场鞋印到犯罪嫌疑人影像的跨模态映射。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一实施例中基于现场鞋印的犯罪嫌疑人追踪系统的总体框图示意。

图2示出了本发明一实施例中基于现场鞋印的犯罪嫌疑人追踪方法的流程示意图。

图3为本发明一实施例中基于鞋印的鞋型识别步骤的流程示意图。

图4为本发明一实施例中基于鞋型的视频检索步骤的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。术语“第一”、“第二”用来修饰特征、要素、步骤或组件时，仅用于将这些特征、要素、步骤或组件相区别，而非暗示他们的次序或顺序，除非上下文有明确表示。

在此，还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

本发明提出融合现场鞋印及监控视频的犯罪嫌疑人快速追踪溯源方法。具体来说，就是利用案件现场犯罪嫌疑人遗留的鞋印，采用深度神经网络理论，在预先建立的鞋样本数据库中自动检索比对确定犯罪嫌疑人作案时所穿鞋型；进而依据犯罪嫌疑人所穿鞋型在案发地周边监控视频数据中自动筛查嫌疑鞋型，得到犯罪嫌疑人影像，即依据监控影像锁定嫌疑人。该方法可大大提高犯罪现场鞋印的利用率，提升公安机关利用现场鞋印打击违法犯罪的效率。

图1示意性出示了用于实现本发明的基于现场鞋印的犯罪嫌疑人追踪方法的系统总体框图。该系统主要包括两大模块：基于鞋印的鞋型识别模块100和鞋型视频检索模块200。

基于鞋印的鞋型识别模块100主要解决现场鞋印到犯罪嫌疑人所穿鞋型的映射问题。该模块以犯罪嫌疑人现场鞋印图像120为输入，经过基于鞋印的鞋型识别器130，与鞋印训练样本数据库110中所有样本进行比对，得到比对结果鞋型候选集140。可进一步由刑事侦查人员(如办案民警)对鞋型候选集进行人工认定，得到犯罪嫌疑人所穿鞋型图像150。

鞋型视频检索模块200主要解决依据犯罪嫌疑人所穿鞋型进行影像(即视频)检索得到犯罪嫌疑人候选影像集的问题。该模块以鞋型识别模块100输出的犯罪嫌疑人所穿鞋型图像150和案件现场周边监控视频210为输入，针对民警设置的将要检索的筛查时段，系统使用行人鞋子检测器220对将要检索的视频数据进行检测处理，构建出鞋型临时数据库230。犯罪嫌疑人所穿鞋型图像150经过鞋型匹配器240与鞋型临时数据库230中的所有鞋型进行匹配。最后，系统按照匹配度由高到低输出匹配结果集250。

在图1所示的系统中，犯罪嫌疑人现场鞋印图像120一般是由公安人员(如公安刑事技术民警等刑事侦查人员)对犯罪嫌疑人现场鞋印采用物理或者化学方法显现并拍照成像而获得的鞋印图像，其中，犯罪嫌疑人现场鞋印通常是犯罪嫌疑人在案发现场行走时，鞋底在地面印压所形成的灰尘鞋印或者立体鞋印。作为示例，犯罪嫌疑人现场鞋印图像120可以是刑事侦查人员提取到的犯罪嫌疑人在案件现场遗留的鞋印图像经过进一步处理后得到鞋印纹理二值图像。

在本发明实施例中，鞋印训练样本数据库(或简称鞋印样本数据库)110用于训练基于鞋印的鞋型识别模型130，鞋印训练样本数据库110可通过如下方式构建：收集各类鞋型(尽可能全地覆盖市场流通的所有鞋型，甚至还可以包括已经不在市场流通的已有鞋型)，将鞋底蘸取黑色油墨在白纸上印压形成鞋印，在鞋印旁边放置比例尺后拍照，然后将鞋印二值图像及鞋型相关信息(鞋子品牌、鞋子型号等)和鞋子外观照片等信息登记入库。因此，鞋印训练样本数据库110中的样本至少应包含如下数据：各类鞋型对应的鞋印二值图像、鞋型相关信息和鞋子外观图像。其中，鞋型相关信息例如包括：鞋的品牌和鞋的型号等。鞋印二值图像例如可以包括鞋底黑墨白纸捺印图像(带比例尺)。鞋子外观图像可以包括鞋的正面及侧面照片。作为另一示例，鞋印训练样本数据库110中的样本针对同一鞋型，其鞋印二值图像不仅包含其油墨捺印鞋印二值图像，还可包含模拟案件现场的灰尘鞋印二值图像。

基于鞋印的鞋型识别器130本质上是一种识别算法，实现由鞋印到鞋型转换。本发明可采用机器学习的方法来构建基于鞋印的鞋型识别器。机器学习是目前人工智能领域的经典理论，应用广泛。基于鞋印的鞋型识别器的基本构建流程如下：

(1)建设鞋印训练样本数据，生成鞋印训练样本数据库。一般地，训练样本数据量越大、越干净，训练得到的鞋型识别器的精度就越高。因此，应尽可能多地采集干净的训练样本数据。

(2)基于机器学习理论模型设计基于鞋印的鞋型识别器。可用于构建鞋型识别器的机器学习理论模型众多，从应用效果看，卷积神经网络模型在图像识别方面效果最佳。因此，本发明的系统选择采用卷积神经网络模型构建鞋型识别器。

(3)用卷积神经网络学习框架对设计的鞋型识别器进行深度训练学习，得到固化参数后的鞋型识别器。基于卷积神经网络学习算法的鞋型识别器的训练学习过程可采用如Caffe、Tensorflow等卷积神经网络学度学习框架来实现，训练学习得到的模型参数，固化参数后即得到鞋型识别器。

犯罪嫌疑人的现场鞋印图像经过鞋型识别器与鞋印训练样本数据库中的数据比对后，依据匹配分数由高到低输出犯罪嫌疑人所穿鞋型候选集140。

得到鞋型候选集140后，刑事侦查人员(如办案民警)可进一步人工一一查看候选集中的鞋型，确定犯罪嫌疑人所穿鞋型图像150。嫌疑人所穿鞋型图像150可被进一步输入到鞋型视频检索模块200，由鞋型视频检索模块200基于犯罪嫌疑人所穿鞋型图像对案件现场周边监控视频210进行检索，以进一步得到犯罪嫌疑人候选影像集。

案件现场周边监控视频210可以是以案件现场为中心，R公里为半径圆形区域内所有监控摄像头在案发时段及前后H小时内所拍摄的视频影像数据。例如，R的值可设置为5，H可设置为2；但本发明并不限于此，基于具体的案件，R和H还可以取更大或更小的值。在一些重大案件或者特殊情况下，R和H的值可根据案件性质和案件发生地的实际情况设定。R和H值的增大将增加系统的运算消耗。

行人鞋子检测器220用于自动跟踪案件现场周边监控视频中的行人，定位其脚部位置，截取所穿鞋型图片，以形成鞋型临时数据库230。待处理的监控视频数据经过行人鞋子检测器的处理，得到视频中所有行人所穿鞋型的图像集，由此构建成为鞋型临时数据库。

构建好鞋型临时数据库230之后，鞋型识别模块100所确定的犯罪嫌疑人所穿鞋型图像150通过鞋型匹配器240与鞋型临时数据库230中的所有数据进行一一比对。与鞋型识别器130一样，本发明优选采用卷积神经网络模型构建鞋型匹配器，但本发明并不限于此。

犯罪嫌疑人所穿鞋型图像通过鞋型匹配器240与鞋型临时数据库230中的所有数据进行一一比对后，依据匹配度(如匹配分数)由高到低输出匹配结果集250。公安民警可对匹配结果集中的记录逐一查看，从而快速锁定犯罪嫌疑人，得到嫌疑人视频集合。每条记录可包含如下数据：匹配分数，犯罪嫌疑人所穿鞋型图像，鞋型临时数据库中的鞋样本图像，与之对应的视频段。

在本发明一实施例中，图1所示的系统可以通过计算机软件来在计算机设备上实现，更具体地，该计算机设备可包括处理器和存储器，存储器用于存储计算机指令，当计算机指令被处理器执行时该计算机设备可完成如图1所示的鞋型识别模块和和鞋型视频检索模块的功能，从而实现本发明实施例的基于现场鞋印的犯罪嫌疑人追踪方法的步骤。下面将更详细地描述本发明实施例的基于现场鞋印的犯罪嫌疑人追踪方法。

图2所示为本发明实施例中融合现场鞋印及监控视频的犯罪嫌疑人追踪溯源方法的流程示意图，如图2所示，该方法注意包括基于鞋印的鞋型识别步骤S210和基于鞋型的视频检索步骤S220。

鞋印的鞋型识别步骤S210可由基于鞋印的鞋型识别模块100来完成，鞋印的鞋型识别步骤S210主要用于：利用犯罪嫌疑人遗留在案件现场的鞋印，确定嫌疑人在作案现场所穿鞋子的鞋型。该步骤S210更具体地可包括如下步骤S310-S330：

步骤S310：输入犯罪嫌疑人现场鞋印图像。

本步骤中，犯罪嫌疑人现场鞋印可以是刑事侦查人员在案件现场提取到的犯罪嫌疑人遗留的鞋印图像，并经过进一步处理后得到鞋印纹理二值图像。

作为示例，输入鞋印图像的分辨率可为48*24。但本发明并不限于此，还可以是其他的分辨率数值。

步骤S320：利用鞋型识别器将输入的鞋印图像与鞋印训练样本数据库中鞋印图像进行一一比对，得到按匹配分数排序的鞋型候选集。

本步骤中，对于同一鞋型，鞋印训练样本数据库中可包含其油墨捺印鞋印二值图像和模拟案件现场的灰尘鞋印二值图像，此外，鞋印训练样本数据库中还可包括鞋型相关信息和鞋子外观图像。

作为示例，构建鞋型识别器的机器学习理论模型为卷积神经网络方法。例如，该卷积神经网络的基本框架可包括至少3个卷积层和至少3个全连接层，在卷积层之间具有池化层，用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。前三个卷积层分别有64、128和256个卷积核，大小分别为5*5、3*3*64和3*3*128。第一个全连接层例如有1024个神经元，第二个全连接层例如有512个神经元，最后一个全连接层的神经元的个数根据训练样本数确定。第二个全连接层的512个神经元即为卷积神经网络方法提取得到的鞋印特征。该卷积神经网络的最大池化层的卷积核大小例如为2，步长也为2。

基于卷积神经网络算法的鞋型识别器的训练学习过程可采用Caffe或Tensorflow等卷积神经网络学习框架来实现。学习后得到模型参数，固化参数后即得到鞋型识别器。

本步骤中，基于鞋印的鞋型识别器主要用于完成鞋印间相似度的计算。对于给定现场鞋印F₁和样本鞋印F₂，它们间的相似度的计算方式为：F₁和F₂经过卷积神经网络分别得到鞋印特征X和Y，使用余弦距离计算X和Y的相似度：

基于如上公式，可以以犯罪嫌疑人现场鞋印F₁为检索源，以鞋印训练样本数据库中的样本鞋印F₂为检索目标，得到按匹配度(如匹配分数、)由高到低输出的比对结果，即得到按匹配度排序的鞋型候选集。

步骤S330：查看鞋型候选集，确定犯罪嫌疑人作案时所穿鞋型。

本发明实施例中，基于鞋型候选集，可确定犯罪嫌疑人作案时所穿鞋型。例如，可自动基于鞋型匹配度，选择匹配度最高的样本鞋印作为犯罪嫌疑人作案时所穿鞋型。另选地，也可以人工查看鞋型候选集，这是刑事侦查信息系统优选的方式，用于防止系统出现“错误接受”的情况。

基于鞋型的视频检索步骤S220可由鞋型视频检索模块200来完成，基于鞋型的视频检索步骤S220主要用于：输入案件现场周边监控视频数据和步骤S210中所确定的嫌疑人所穿鞋型的图像，并设定筛查时段；在筛查时段的监控视频中自动检索嫌疑鞋型，最终按照匹配度(如匹配分数)排序输出结果集。该步骤S210更具体地可包括如下步骤S410-S440：

步骤S410：输入案件现场周边监控视频数据和确定的嫌疑人现场所穿鞋子的鞋型的图像，并设定筛查时段。

其中，案件现场周边监控视频一般是以案件现场为中心，R公里为半径区域内所有监控视频。R的值应由侦查人员根据案件现场地理环境及案件性质设定，例如R的值可以设为5或者其他更大或更小的值。

筛查时段H一般根据案情实际情况而定，通常是案发前后数小时内(如2小时内)，对于重大案件可扩大筛查时段，一般案件中筛查时段可设定为案发前后的1至4天。

步骤S420：自动检测并分割设定筛查时段内的现场周边监控视频数据中行人的鞋子图像，形成与现场周边监控视频数据关联的鞋型临时数据库。

可利用行人鞋子检测器220自动检测并分割设定筛查时段内现场周边监控视频中行人鞋子图像，形成与现场周边监控视频数据关联的鞋型临时数据库。其中，形成的鞋型临时数据库中可包含如下信息：同一行人的5幅鞋子图像、每幅鞋子图像对应的视频文件名、对应的监控摄像头名称及位置以及鞋子图像在视频中出现的时刻等。

行人鞋子检测器220用于自动检测并分割视频中行人的鞋子图像。行人鞋子检测问题与人脸检测问题相似度较高，可采用深度学习相关方法来实现。文献Zhang K,ZhangZ,Li Z,et al.Joint Face Detection and Alignment Using Multitask CascadedConvolutional Networks.IEEE Signal Processing Letters,2016,23(10):1499-1503.提出的多任务级联卷积神经网络(MTCNN)方法在人脸检测中取得了巨大成功。本发明借鉴MTCNN方法，设计构建行人鞋子检测的方法，该方法包括如下步骤：

1)构建监控视频下鞋子图像训练数据库。

采集监控下行人行走视频数据，做分帧处理后，逐帧标注鞋子边框位置及连个特征点的位置。标定后的数据不少于10万帧。

2)基于MTCNN设计鞋子检测模型。

基于MTCNN设计鞋子检测模型的实现过程为：第一步，首先将鞋子图像进行不同尺度的变换，构建出鞋子图像金字塔，以适应不同大小的鞋子的进行检测。第二步，对构建完成的鞋子图像金字塔，通过一个全连接卷积神经网络进行初步特征提取与标定边框，并进行边框回归调整窗口与非最大抑制进行大部分窗口的过滤。第三步，将上一步所得预测窗口送入优化网络，滤除大量效果比较差的候选框，最后对选定的候选框进行边框回归调整窗口与非最大抑制进一步优化预测结果。第四步，人的鞋特征点进行回归，最终输出2个鞋部特征点。

3)训练学习得到模型参数。

训练学习得到模型参数，从而得到固化参数后的鞋子检测器。

步骤S430：将输入的嫌疑人现场所穿鞋型的图像与鞋型临时数据库中的鞋子图像进行一一比对，得到按匹配度(如匹配分数或匹配指数等)排序的检索结果集。

本步骤中，可基于鞋外观的鞋型匹配器来将输入的嫌疑人现场所穿鞋型的图像与鞋型临时数据库中的鞋子图像进行比对，得到检索结果集。该鞋型匹配器的构建过程与鞋型识别器的构建过程类似，可包括：

1)输入鞋型图像，构建视频鞋型训练数据库。

输入鞋型图像的分辨率例如为48*32。该鞋型训练数据库可用于训练基于视频的鞋型匹配模型，对于同一鞋子可包含10幅鞋型图像。在此，10仅为举例。可以基于计算机的计算性能等因素进行合理设置。

2)基于机器学习理论设计视频鞋型匹配模型。

可用于构建鞋型匹配器的机器学习理论模型众多，从应用效果看，卷积神经网络模型在图像识别匹配方面效果最佳。因此，本发明采用卷积神经网络模型构建鞋型匹配器。作为示例，用于设计鞋型匹配器的卷积神经网络的基本框架可包括至少5个卷积层和3个全连接层，在卷积层之间具有池化层。前五个卷积层可分别有64、128、256、256、256个卷积核，大小分别为5*5、3*3*64和3*3*128、3*3*256、3*3*256。第一个全连接层有1024个神经元，第二个全连接层有512个神经元，最后一个全连接层的神经元的个数可根据训练样本数而确定。第二个全连接层的512个神经元即为卷积神经网络方法提取得到的鞋型特征。卷积神经网络最大池化层的卷积核大小例如为2，步长也为2。

基于卷积神经网络算法的鞋型匹配器的训练学习过程可采用Caffe或Tensorflow等卷积神经网络学习框架来实现。学习后得到模型参数，固化参数后即得到鞋型匹配器。

基于鞋外观的鞋型匹配器主要用于完成鞋外观间相似度的计算。对于输入的嫌疑人现场所穿鞋子的鞋型的图像F′₁和鞋型临时数据库中的样本鞋子图像F′₂，它们间的相似度的计算方式为：F′₁和F′₂经过卷积神经网络分别得到鞋型特征X′和Y′；使用余弦距离计算X′和Y′的相似度：

基于如上公式(2)，可以以输入的嫌疑人现场所穿鞋子的鞋型图像为检索源，以鞋型临时数据库中的鞋型样本为检索目标，得到按匹配度由高到低输出的检索结果集合，即得到按匹配度排序的鞋型检索结果集。

步骤S440，人工查看鞋型检索结果集，得到犯罪嫌疑人影像集。

在本步骤中，检索结果集是鞋型临时数据库中的数据按照匹配度(如匹配分数)由高到低排序的结果。

系统操作人员可逐条核验匹配结果。核验时，可溯源到视频中查看鞋子及行人相关影像。

人工查看鞋型候选集，是刑事侦查信息系统特有步骤，可以基于匹配结果集合和基于鞋印推断出嫌疑人的步态等信息进行更精确地筛查和判断，用于防止系统出现“错误接受”的情况。

总而言之，本发明通过案件现场犯罪嫌疑人遗留的鞋印，确定犯罪嫌疑人作案时所穿鞋型，进而依据监控影像锁定嫌疑人，实现从现场鞋印到犯罪嫌疑人影像的跨模态映射。

综上所述，本发明提出的融合现场鞋印及监控视频的犯罪嫌疑人自动追踪溯源方法，可辅助公安侦查人员依据犯罪嫌疑人遗留在案件现场的鞋印，快速、准确地从案发地周边监控视频中锁定犯罪嫌疑人。

本领域内的技术人员应明白，本申请的实施例可提供方法、计算机程序产品和计算机存储介质。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，也可以将实现某功能的模块由多个子模块或子单元组合实现。

本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所付权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种基于现场鞋印的犯罪嫌疑人追踪方法，其特征在于，该方法包括以下步骤：

基于鞋印的鞋型识别步骤：利用嫌疑人遗留在案件现场的鞋印确定嫌疑人现场所穿鞋子的鞋型；以及

基于鞋型的视频检索步骤：在设定筛查时段的现场周边监控视频数据中自动检索与确定的嫌疑人现场所穿鞋型相匹配的鞋型，并按照匹配度排序输出结果集合；

其中，所述鞋型识别步骤包括：

输入嫌疑人现场鞋印图像；

利用鞋型识别器将输入的鞋印图像与鞋印训练样本数据库中的鞋印图像进行比对，得到按匹配度排序的鞋型候选集；

基于所述鞋型候选集确定嫌疑人现场所穿鞋子的鞋型；

所述视频检索步骤包括：

输入案件现场周边监控视频数据和确定的嫌疑人现场所穿鞋子的鞋型的图像，并设定筛查时段；

自动检测并分割设定筛查时段内的现场周边监控视频数据中行人的鞋子图像，形成与现场周边监控视频数据关联的鞋型临时数据库；

利用鞋型匹配器将输入的嫌疑人现场所穿鞋子的鞋型图像与鞋型临时数据库中的鞋子图像进行比对，得到按匹配度排序的检索结果集合；

基于所述检索结果集合得到嫌疑人视频集合；

其中，所述鞋型识别器通过如下步骤来构建：构建鞋印训练样本数据库，该鞋印训练样本数据库对于同一鞋型包含：鞋印二值图像、鞋型相关信息和鞋子外观图像，所述鞋印二值图像包含油墨捺印鞋印二值图像或者包含油墨捺印鞋印二值图像和模拟案件现场的灰尘鞋印二值图像；基于第一卷积神经网络学习设计鞋型识别模型，所述第一卷积神经网络包括：至少3个卷积层和至少3个全连接层，前三个卷积层分别有64、128和256个卷积核，大小分别为5*5、3*3*64和3*3*128，第一个全连接层有1024个神经元，第二个全连接层有512个神经元，最后一个全连接层的神经元的个数根据训练样本数确定，所述卷积神经网络的最大池化层的卷积核大小为2，步长为2；训练学习得到模型参数，从而得到固化参数后的鞋型识别器；

所述鞋型匹配器的构建步骤包括：构建视频鞋型训练数据库，该鞋型训练数据库中，对于同一鞋子包含预定数量的鞋型图像，基于第二卷积神经网络学习设计鞋型匹配模型，训练学习得到模型参数，从而得到固化参数后的鞋型匹配器；所述第二卷积神经网络包括至少5个卷积层和至少3个全连接层； 前5个卷积层分别有64、128、256、256、256个卷积核，大小分别为5*5、3*3*64和3*3*128、3*3*256、3*3*256。第一个全连接层有1024个神经元，第二个全连接层有512个神经元，最后一个全连接层的神经元的个数根据训练样本数确定；所述卷积神经网络的最大池化层的卷积核大小为2，步长为2。

2.根据权利要求1所述的方法，其特征在于，所述将输入的鞋印图像与鞋印训练样本数据库中的鞋印图像进行比对的步骤包括：

对于给定现场鞋印图像F1和样本鞋印图像F2，经过卷积神经网络分别得到现场鞋印特征X和样本鞋印特征Y，使用余弦距离计算X和Y的相似度：

基于计算的相似度得到各样本鞋印图像的匹配度排序，并输出结果集合。

3.根据权利要求1所述的方法，其特征在于，利用鞋子检测器执行所述自动检测并分割设定筛查时段内的现场周边监控视频数据中行人的鞋子图像，形成与现场周边监控视频数据关联的鞋型临时数据库的步骤；

所述鞋型临时数据库中包含如下信息：同一行人的5幅鞋子图像、每幅鞋子图像对应的视频文件名、对应的监控摄像头名称及位置、鞋子图像在视频中出现的时刻；

所述鞋子检测器通过如下步骤来构建：

构建监控视频下鞋子图像训练数据库；

基于多任务级联卷积神经网络设计鞋子检测模型；

训练学习得到模型参数，从而得到固化参数后的鞋子检测器。

4.根据权利要求1所述的方法 ，其特征在于，所述将输入的嫌疑人现场所穿鞋子的鞋型的图像与鞋型临时数据库中的鞋子图像进行比对，得到按匹配度排序的检索结果集合的步骤包括：

对于输入的嫌疑人现场所穿鞋子的鞋型的图像F′₁和鞋型临时数据库中的样本鞋子图像F′₂，经过卷积神经网络分别得到鞋型特征X′和Y′；使用如下余弦距离公式计算X′和Y′的相似度：

以输入的嫌疑人现场所穿鞋子的鞋型图像为检索源，以鞋型临时数据库中的鞋型样本为检索目标，得到按匹配度由高到低输出的检索结果集合。

5.一种基于现场鞋印的犯罪嫌疑人追踪装置，其特征在于，该装置包括处理器和存储器，所述存储器用于存储计算机指令，当所述计算机指令被所述处理器中被执行时所述装置用于完成如权利要求1至4中任意一项所述的方法的步骤。

6.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述方法的步骤。

Images