CN111553234A - 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置 - Google Patents

Abstract

本发明实施例公开了一种融合人脸特征与Re‑ID特征排序的行人跟踪方法及装置，方法包括：获取待检测图片，进行行人和人脸检测，以得到行人图片、人脸图片、行人框坐标信息、人脸框坐标信息及新的行人轨迹信息；将行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系；对行人图片和人脸图片进行特征提取以得到当前行人外观特征向量和当前人脸特征向量；基于关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪。实施本发明实施例，将人脸特征与行人外观特征相融合，从而解决了行人外貌发生变化或行人轨迹丢失后而导致行人跟踪错误的问题。

Description

融合人脸特征与Re-ID特征排序的行人跟踪方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种融合人脸特征与Re-ID特征排序的行人跟踪方法及装置。

背景技术

近年来，行人跟踪越来越受到关注，尤其是监控安防，线下智能零售，跨境跟踪等领域。利用行人跟踪技术，对监控区域的行人进行检测，再利用Re-ID技术提取行人特征，对其轨迹进行持续跟踪，可以实现行人轨迹回溯。如果多个摄像头，可以实现跨境搜索跟踪，对安防具有重大意义。

目前行人跟踪主要采用tracking-by-detection的模式，这种跟踪方式主要包括三个模块：1)行人检测模块，2)特征提取模块，3)跟踪模块。工作原理是首先对视频中的行人进行行人检测，把检测出来的行人图像传入到特征提取模块，然后跟踪模块对行人进行跟踪。

这种方式存在一些问题，首先当行人外貌发生变化，行人相互遮挡，行人姿态发生变化时，会出现提取出的行人特征无法与已经保存的行人特征匹配成功，这就导致行人跟踪的结果出现错误。其次，在进行行人跟踪时，系统会保存每个行人的特征，把同一个行人的特征保存为一个特征集，但是这个特征集数量不能太多，不然会造成占用内存过大，导致系统崩溃。而目前的特征集的保存方式都是按照时间顺序保存，超过一定限制后，就会删除最早保存的特征。这种方式，有可能会把质量较好的特征删除，而特征集中留下质量较差的特征，这样就会降低匹配的成功率，导致跟踪结果出现错误。最后，由于当一个行人在一段时间内没有跟踪到，这个行人的轨迹就会被删除，如果一段时间后，又重新检测到这个行人，那么跟踪系统会认为这个行人是新出现的，这样同一个行人会出现两个不同的ID信息，导致跟踪的结果不准确。

发明内容

针对上述技术缺陷，本发明实施例的目的在于提供一种融合人脸特征与Re-ID特征排序的行人跟踪方法及装置。

为实现上述目的，第一方面，本发明实施例提供了一种融合人脸特征与Re-ID特征排序的行人跟踪方法，包括：

获取待检测图片，对所述待检测图片进行行人检测和人脸检测，以得到行人图片、人脸图片、行人框坐标信息、人脸框坐标信息及新的行人轨迹信息；

将所述行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系，从而实现将人脸特征融合到行人跟踪中；

对所述行人图片进行特征提取以得到当前行人外观特征向量，对所述人脸图片进行特征提取以得到当前人脸特征向量；

基于所述关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪；

其中，每一所述跟踪器对应于每一行人，所述跟踪器保存行人轨迹信息和特征集，所述特征集保存有行人外观特征和人脸特征。

进一步地，所述方法还包括：

根据检测到的所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息与所述跟踪器保存的行人外观特征、人脸特征和行人轨迹信息组成匹配矩阵；

采用匈牙利算法对对所述匹配矩阵进行计算，以得到最优匹配结果。

进一步地，所述方法还包括：

当所述匹配矩阵中的参数为行人外观特征向量或人脸特征向量时，根据所述最优匹配结果确定目标特征向量，并将所述目标特征向量的命中次数加1；所述目标特征向量为所述跟踪器中、与所述当前行人外观特征向量或当前人脸特征向量进行匹配的特征向量；

当所述跟踪器中特征向量个数超出阈值时，则将命中次数最少的特征向量删除，并将新的特征向量放入所述特征集；所述新的特征向量根据所述最优匹配结果所确定。

进一步地，所述方法还包括：

对每一所述跟踪器分配唯一的全局身份UID编号信息，并建立所述全局身份UID编号信息与人脸特征之间对应的人脸库；

若从所述待检测图片中检测到行人轨迹信息，且检测到与之相关联的人脸图片，则将提取的所述当前人脸特征向量与所述人脸库进行比对以得到比对结果；

若比对结果满足阈值，则得到目标行人信息，所述目标行人信息为所述人脸库中与所述当前人脸特征向量最相似的人脸特征的全局身份UID编号信息。

作为本申请的一种可选的实施方式，对每一所述跟踪器分配唯一的全局身份UID编号信息，具体包括：

当满足跟踪器匹配成功的次数条件时，将当前跟踪器中的特征集按照命中次数的高低和处于非激活状态的跟踪器中的特征集进行相似度计算；

如果处于非激活状态的跟踪器有满足条件的，则将处于非激活状态跟踪器的全局身份UID编号信息以及人脸特征信息赋给当前跟踪器；

如果在处于非激活状态的跟踪器中没有满足条件的，则将当前最大的全局身份UID编号信息加上1后再赋给当前跟踪器。

作为本申请另一种可选的实施方式，对每一所述跟踪器分配唯一的全局身份UID编号信息，具体包括：

当跟踪器中出现检测到的人脸特征时，如果当前跟踪器中存在继承的人脸特征信息，则计算新检测的人脸特征和继承的人脸特征之间的相似度，如果满足一定的阈值，则维持当前跟踪器的全局身份UID编号信息不变；如果不满足阈值，则将当前检测到的人脸特征和人脸库中进行比对，如果人脸库中存在满足相似度条件的人脸特征，则将人脸库中满足条件的特征向量的全局身份UID编号信息赋给当前跟踪器；

如果当前跟踪器中不存在继承的人脸特征，则将当前跟踪器中检测到的人脸特征和人脸库比对，人脸库中存在满足条件的，按照人脸库中的全局身份UID编号信息分配，不满足的把当前最大的全局身份UID编号信息加上1赋给当前跟踪器。

第二方面，本发明实施例提供了一种融合人脸特征与Re-ID特征排序的行人跟踪装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第三方面，本发明实施例提供了另一种融合人脸特征与Re-ID特征排序的行人跟踪装置，包括：

行人检测模块，用于获取待检测图片，对所述待检测图片进行行人检测，以得到行人图片、行人框坐标信息及新的行人轨迹信息；

人脸检测模块，用于获取所述待检测图片，对所述待检测图片进行人脸检测，以得到人脸图片和人脸框坐标信息；

行人特征提取模块，用于对所述行人图片进行特征提取以得到当前行人外观特征向量；

人脸特征提取模块，用于对所述人脸图片进行特征提取以得到当前人脸特征向量；

跟踪模块，用于将所述行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系，从而实现将人脸特征融合到行人跟踪中；

所述跟踪模块还用于基于所述关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪；

其中，每一所述跟踪器对应于每一行人，所述跟踪器保存行人轨迹信息和特征集，所述特征集保存有行人外观特征和人脸特征。

作为本申请的一种具体实施方式，所述跟踪模块模块具体用于：

根据检测到的所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息与所述跟踪器保存的行人外观特征、人脸特征和行人轨迹信息组成匹配矩阵；

采用匈牙利算法对对所述匹配矩阵进行计算，以得到最优匹配结果。

进一步地，所述跟踪模块还用于所述跟踪器的参数更新，具体包括：

当所述匹配矩阵中的参数为行人外观特征向量或人脸特征向量时，根据所述最优匹配结果确定目标特征向量，并将所述目标特征向量的命中次数加1；所述目标特征向量为所述跟踪器中、与所述当前行人外观特征向量或当前人脸特征向量进行匹配的特征向量；

当所述跟踪器中特征向量个数超出阈值时，则将命中次数最少的特征向量删除，并将新的特征向量放入所述特征集；所述新的特征向量根据所述最优匹配结果所确定。

实施本发明实施例，将人脸特征与行人外观特征相融合，从而解决了行人外貌发生变化或行人轨迹丢失后而导致行人跟踪错误的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明第一实施例提供的融合人脸特征与Re-ID特征排序的行人跟踪方法的流程示意图；

图2是图1的另一种流程示意图。

图3是行人外观特征的更新逻辑流程图；

图4是融合行人外观特征和人脸特征的工作流程图；

图5是全局身份UID编号信息分配的逻辑流程图；

图6是本发明第一实施例提供的融合人脸特征与Re-ID特征排序的行人跟踪装置结构图；

图7是本发明第二实施例提供的融合人脸特征与Re-ID特征排序的行人跟踪装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的发明构思是：针对目前tracking-by-detection的跟踪方法，融合行人人脸的特征信息，并且对行人特征集按照每个特征向量在匹配过程中命中的次数进行排序，优先和命中次数高的特征向量进行匹配，特征集中特征向量超过一定个数限制后，优先删除命中次数较少的特征向量，能够提高行人特征集中保存的特征质量较好。使用全局身份UID，融合行人外观特征和人脸特征分配全局身份UID，在行人轨迹丢失后，如果再检测到，可以通过人脸信息找回UID信息，提高同一行人跟踪的准确度。

基于上述发明构思，本发明实施例提供了一种融合人脸特征与Re-ID特征排序的行人跟踪方法。请参考图1和图2，该方法包括：

S101，获取待检测图片，对所述待检测图片进行行人检测和人脸检测，以得到行人图片、人脸图片、行人框坐标信息、人脸框坐标信息及新的行人轨迹信息。

其中，在本实施例中，待检测图片为视频图片。

S102，将所述行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系，从而实现将人脸特征融合到行人跟踪中。

S103，对所述行人图片进行特征提取以得到当前行人外观特征向量，对所述人脸图片进行特征提取以得到当前人脸特征向量。

S104，基于所述关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪。

需要说明的是，本实施例中的行人跟踪方法，对检测到的每个行人创建一个跟踪器，这个跟踪器中保存着行人的外观特征、人脸特征和行人轨迹信息等参数。

其中，对行人跟踪的具体过程为：

根据检测到的所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息与所述跟踪器保存的行人外观特征、人脸特征和行人轨迹信息组成匹配矩阵；

采用匈牙利算法对对所述匹配矩阵进行计算，以得到最优匹配结果。

例如，根据新检测到的5个行人轨迹和现有10个跟踪器中的10个行人轨迹，组成匹配矩阵，再采用匈牙利算法计算得到最优匹配结果。

进一步地，本发明实施例的行人跟踪方法还包括对行人外观特征进行更新。请参考图3，为行人外观特征的更新逻辑流程图。跟踪器中保存着一个特征集合，每个跟踪器都有一个唯一的ID信息，代表一个行人的编号。当新检测到的行人和现有的跟踪器进行匹配的时候，先组成匹配矩阵，再使用匈牙利算法对匹配矩阵进行计算，得到最优匹配结果。有了最优匹配结果就可以确定已经和行人匹配的跟踪器中使用了哪个特征向量，并把这个特征向量的命中次数加1；当特征集中的特征向量个数超出一定的限制后，就把命中次数最少的特征向量删除，把新的特征向量放进这个特征集。

进一步地，本发明实施例提供的行人跟踪方法还包括找回行人信息的步骤，具体包括：

对每一所述跟踪器分配唯一的全局身份UID编号信息，并建立所述全局身份UID编号信息与人脸特征之间对应的人脸库；

若从所述待检测图片中检测到行人轨迹信息，且检测到与之相关联的人脸图片，则将提取的所述当前人脸特征向量与所述人脸库进行比对以得到比对结果；

若所述比对结果满足阈值，则得到目标行人信息，所述目标行人信息为所述人脸库中与所述当前人脸特征向量最相似的人脸特征的全局身份UID编号信息。

请参考图4，在很多时候，仅仅依赖于行人的外观特征和位置信息来进行跟踪，会出现行人跟丢后找不回来的情况。因为在一段时间内跟踪不到一个行人，也就是跟踪器无法匹配到相应的新检测的行人，这个时候就会把这个跟踪器删除。当这个行人重新被检测到后，跟踪系统会认为是一个新的行人，并且赋予新的ID编号，这样就会出现同一个行人有不同的ID信息，导致跟踪出现错误。针对上述问题，本发明实施例融合了行人外观特征和人脸特征信息，给每个跟踪器分配一个全局身份UID编号信息，并建立全局身份UID编号信息和人脸特征之间对应的人脸库，当行人的轨迹丢失后，重新检测到这个行人，并提取到人脸特征，那么就和库中的所有人脸特征进行比对，满足阈值并且最相似的这个人脸特征的全局身份UID信息就是要找回的行人信息，从而实现了行人跟踪丢失后重新找回的功能。

进一步地，针对上述全局身份UID编号信息分配，跟踪器如果匹配成功的次数满足一定的阈值或者出现检测到的人脸特征信息，那么就满足分配全局身份UID信息的条件。

请参考图5，当满足跟踪器匹配成功的次数条件时，把当前跟踪器中的特征集按照命中次数的高低和处于非激活状态的跟踪器中的特征集进行相似度计算，这里的非激活状态的跟踪器可以是连续一定帧数没有匹配成功的跟踪器，当连续一定帧数没匹配成功，跟踪器就会被删除；比如设置连续30帧没有匹配成功就把跟踪器删除，那么处于非激活状态的跟踪器可以为连续没有匹配成功的次数大于等于1，小于30之间的某个数的跟踪器。相似度计算可以有很多方法，包括余弦距离和欧式距离等。如果处于非激活状态的跟踪器有满足条件的，就把处于非激活状态跟踪器的全局身份UID信息以及人脸特征信息(如果有的话下面称继承的人脸特征)赋给当前的跟踪器。如果在处于非激活状态的跟踪器中没有满足条件的，那么就把当前最大的全局身份UID信息编号加上1赋给当前跟踪器。

当跟踪器中出现检测到的人脸特征时，如果当前跟踪器中存在继承的人脸特征信息，就计算新检测的人脸特征和继承的人脸特征之间的相似度，如果满足一定的阈值，那么就维持当前跟踪器的UID不变；这里的继承的人脸特征是在前述描述中得到的，如果不满足阈值，就把当前检测到的人脸特征和人脸库中进行比对，如果人脸库中存在满足相似度条件的人脸特征，就把人脸库中这个满足条件的特征向量的UID赋给当前跟踪器。如果当前跟踪器中不存在继承的人脸特征，那就把当前跟踪器中检测到的人脸特征和人脸库比对，人脸库中存在满足条件的，按照人脸库中的全局身份UID信息分配，不满足的把当前最大的全局身份UID信息编号加上1赋给当前跟踪器，完成全局身份UID信息编号的分配。

实施本发明的行人跟踪方法，具有如下优点：

(1)将人脸特征与行人外观特征相融合，从而解决了行人外貌发生变化而导致行人跟踪错误的问题；

(2)按照特征命中次数进行排序并且在分配全局身份UID信息时优先和命中次数较高的特征向量进行匹配，匹配成功就不需要和剩下的特征向量进行匹配，这种方法可以使保存的行人外观特征集合更加多样性，减少特征集中比较相似的特征向量的数量，提高特征集中保存的特征的质量；

(3)融合行人的人脸特征，在对行人跟踪丢失后，重新检测到该行人后能够找回该行人的正确的ID信息。

基于相同的发明构思，对应于前述方法实施例，本发明实施例提供了一种融合人脸特征与Re-ID特征排序的行人跟踪装置。如图6所示，该行人跟踪装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述融合人脸特征与Re-ID特征排序的行人跟踪方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明第一实施例提供的融合人脸特征与Re-ID特征排序的行人跟踪方法的实施例中所描述的实现方式，在此不再赘述。

进一步地，对应于第一实施例的融合人脸特征与Re-ID特征排序的行人跟踪方法和装置，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述第一实施例的融合人脸特征与Re-ID特征排序的行人跟踪方法。

所述计算机可读存储介质可以是前述实施例所述的活体判别装置的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

作为本申请的另一个优选实施例，如图7所示，该融合人脸特征与Re-ID特征排序的行人跟踪装置，包括：

行人检测模块10，用于获取待检测图片，对所述待检测图片进行行人检测，以得到行人图片、行人框坐标信息及新的行人轨迹信息；

人脸检测模块11，用于获取所述待检测图片，对所述待检测图片进行人脸检测，以得到人脸图片和人脸框坐标信息；

行人特征提取模块12，用于对所述行人图片进行特征提取以得到当前行人外观特征向量；

人脸特征提取模块13，用于对所述人脸图片进行特征提取以得到当前人脸特征向量；

跟踪模块14，用于将所述行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系，从而实现将人脸特征融合到行人跟踪中；

所述跟踪模块14还用于基于所述关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪；

其中，每一所述跟踪器对应于每一行人，所述跟踪器保存行人轨迹信息和特征集，所述特征集保存有行人外观特征和人脸特征。

其中，跟踪模块模块14具体用于：

根据检测到的所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息与所述跟踪器保存的行人外观特征、人脸特征和行人轨迹信息组成匹配矩阵；

采用匈牙利算法对对所述匹配矩阵进行计算，以得到最优匹配结果。

进一步地，所述跟踪模块14还用于所述跟踪器的参数更新，具体包括：

当所述匹配矩阵中的参数为行人外观特征向量或人脸特征向量时，根据所述最优匹配结果确定目标特征向量，并将所述目标特征向量的命中次数加1；所述目标特征向量为所述跟踪器中、与所述当前行人外观特征向量或当前人脸特征向量进行匹配的特征向量；

当所述跟踪器中特征向量个数超出阈值时，则将命中次数最少的特征向量删除，并将新的特征向量放入所述特征集；所述新的特征向量根据所述最优匹配结果所确定。

进一步地，该行人跟踪装置还包括分配模块，用于对每一跟踪器分配唯一的全局身份UID编号信息。

其中，当满足跟踪器匹配成功的次数条件时，将当前跟踪器中的特征集按照命中次数的高低和处于非激活状态的跟踪器中的特征集进行相似度计算；如果处于非激活状态的跟踪器有满足条件的，则将处于非激活状态跟踪器的全局身份UID编号信息以及人脸特征信息赋给当前跟踪器；如果在处于非激活状态的跟踪器中没有满足条件的，则将当前最大的全局身份UID编号信息加上1后再赋给当前跟踪器。

当跟踪器中出现检测到的人脸特征时，如果当前跟踪器中存在继承的人脸特征信息，则计算新检测的人脸特征和继承的人脸特征之间的相似度，如果满足一定的阈值，则维持当前跟踪器的全局身份UID编号信息不变；如果不满足阈值，则将当前检测到的人脸特征和人脸库中进行比对，如果人脸库中存在满足相似度条件的人脸特征，则将人脸库中满足条件的特征向量的全局身份UID编号信息赋给当前跟踪器；

如果当前跟踪器中不存在继承的人脸特征，则将当前跟踪器中检测到的人脸特征和人脸库比对，人脸库中存在满足条件的，按照人脸库中的全局身份UID编号信息分配，不满足的把当前最大的全局身份UID编号信息加上1赋给当前跟踪器。

需要说明的是，关于本实施例中行人跟踪装置的具体工作流程及相关有益效果，请参考前述方法实施例部分，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种融合人脸特征与Re-ID特征排序的行人跟踪方法，其特征在于，包括：

获取待检测图片，对所述待检测图片进行行人检测和人脸检测，以得到行人图片、人脸图片、行人框坐标信息、人脸框坐标信息及新的行人轨迹信息；

将所述行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系，从而实现将人脸特征融合到行人跟踪中；

对所述行人图片进行特征提取以得到当前行人外观特征向量，对所述人脸图片进行特征提取以得到当前人脸特征向量；

基于所述关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪；

其中，每一所述跟踪器对应于每一行人，所述跟踪器保存行人轨迹信息和特征集，所述特征集保存有行人外观特征和人脸特征。

2.如权利要求1所述的行人跟踪方法，其特征在于，所述方法还包括：

根据检测到的所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息与所述跟踪器保存的行人外观特征、人脸特征和行人轨迹信息组成匹配矩阵；

采用匈牙利算法对对所述匹配矩阵进行计算，以得到最优匹配结果。

3.如权利要求2所述的行人跟踪方法，其特征在于，所述方法还包括：

当所述匹配矩阵中的参数为行人外观特征向量或人脸特征向量时，根据所述最优匹配结果确定目标特征向量，并将所述目标特征向量的命中次数加1；所述目标特征向量为所述跟踪器中、与所述当前行人外观特征向量或当前人脸特征向量进行匹配的特征向量；

当所述跟踪器中特征向量个数超出阈值时，则将命中次数最少的特征向量删除，并将新的特征向量放入所述特征集；所述新的特征向量根据所述最优匹配结果所确定。

4.如权利要求1所述的行人跟踪方法，其特征在于，所述方法还包括：

对每一所述跟踪器分配唯一的全局身份UID编号信息，并建立所述全局身份UID编号信息与人脸特征之间对应的人脸库；

若从所述待检测图片中检测到行人轨迹信息，且检测到与之相关联的人脸图片，则将提取的所述当前人脸特征向量与所述人脸库进行比对以得到比对结果；

若所述比对结果满足阈值，则得到目标行人信息，所述目标行人信息为所述人脸库中与所述当前人脸特征向量最相似的人脸特征的全局身份UID编号信息。

5.如权利要求4所述的行人跟踪方法，其特征在于，对每一所述跟踪器分配唯一的全局身份UID编号信息，具体包括：

当满足跟踪器匹配成功的次数条件时，将当前跟踪器中的特征集按照命中次数的高低和处于非激活状态的跟踪器中的特征集进行相似度计算；

如果处于非激活状态的跟踪器有满足条件的，则将处于非激活状态跟踪器的全局身份UID编号信息以及人脸特征信息赋给当前跟踪器；

如果在处于非激活状态的跟踪器中没有满足条件的，则将当前最大的全局身份UID编号信息加上1后再赋给当前跟踪器。

6.如权利要求4所述的行人跟踪方法，其特征在于，对每一所述跟踪器分配唯一的全局身份UID编号信息，具体包括：

当跟踪器中出现检测到的人脸特征时，如果当前跟踪器中存在继承的人脸特征信息，则计算新检测的人脸特征和继承的人脸特征之间的相似度，如果满足一定的阈值，则维持当前跟踪器的全局身份UID编号信息不变；如果不满足阈值，则将当前检测到的人脸特征和人脸库中进行比对，如果人脸库中存在满足相似度条件的人脸特征，则将人脸库中满足条件的特征向量的全局身份UID编号信息赋给当前跟踪器；

如果当前跟踪器中不存在继承的人脸特征，则将当前跟踪器中检测到的人脸特征和人脸库比对，人脸库中存在满足条件的，按照人脸库中的全局身份UID编号信息分配，不满足的把当前最大的全局身份UID编号信息加上1赋给当前跟踪器。

7.一种融合人脸特征与Re-ID特征排序的行人跟踪装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。

8.一种融合人脸特征与Re-ID特征排序的行人跟踪装置，其特征在于，包括：

行人检测模块，用于获取待检测图片，对所述待检测图片进行行人检测，以得到行人图片、行人框坐标信息及新的行人轨迹信息；

人脸检测模块，用于获取所述待检测图片，对所述待检测图片进行人脸检测，以得到人脸图片和人脸框坐标信息；

行人特征提取模块，用于对所述行人图片进行特征提取以得到当前行人外观特征向量；

人脸特征提取模块，用于对所述人脸图片进行特征提取以得到当前人脸特征向量；

跟踪模块，用于将所述行人框坐标信息和人脸框坐标信息进行匹配，以确定行人和人脸之间的关联关系，从而实现将人脸特征融合到行人跟踪中；

所述跟踪模块还用于基于所述关联关系，采用跟踪器对所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息进行计算匹配，以完成对行人的跟踪；

其中，每一所述跟踪器对应于每一行人，所述跟踪器保存行人轨迹信息和特征集，所述特征集保存有行人外观特征和人脸特征。

9.如权利要求8所述的行人跟踪装置，其特征在于，所述跟踪模块具体用于：

根据检测到的所述当前行人外观特征向量、当前人脸特征向量和新的行人轨迹信息与所述跟踪器保存的行人外观特征、人脸特征和行人轨迹信息组成匹配矩阵；

采用匈牙利算法对所述匹配矩阵进行计算，以得到最优匹配结果。

10.如权利要求9所述的行人跟踪装置，其特征在于，所述跟踪模块还用于所述跟踪器的参数更新，具体包括：

当所述匹配矩阵中的参数为行人外观特征向量或人脸特征向量时，根据所述最优匹配结果确定目标特征向量，并将所述目标特征向量的命中次数加1；所述目标特征向量为所述跟踪器中、与所述当前行人外观特征向量或当前人脸特征向量进行匹配的特征向量；

当所述跟踪器中特征向量个数超出阈值时，则将命中次数最少的特征向量删除，并将新的特征向量放入所述特征集；所述新的特征向量根据所述最优匹配结果所确定。

Images