CN112733719B

CN112733719B - 一种融合人脸及人体特征的跨境行人轨迹检测方法

Info

Publication number: CN112733719B
Application number: CN202110032091.7A
Authority: CN
Inventors: 龚勋; 樊剑锋
Original assignee: Southwest Jiaotong University
Current assignee: Southwest Jiaotong University
Priority date: 2021-01-11
Filing date: 2021-01-11
Publication date: 2022-08-02
Anticipated expiration: 2041-01-11
Also published as: CN112733719A

Abstract

本发明涉及一种融合人脸及人体特征的跨境行人轨迹检测方法，所述检测方法包括：S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；S4、根据列表内存储的信息进行全局轨迹匹配。本发明的优点在于：在进行局部轨迹间的匹配时，同时使用行人重识别与人脸识别模型提取的特征综合的计算两两轨迹间的距离，以减少对行人重识别模型性能的依赖，能够得到更准确的结果。

Description

一种融合人脸及人体特征的跨境行人轨迹检测方法

技术领域

本发明涉及图像识别处理技术领域，尤其涉及一种融合人脸及人体特征的跨境行人轨迹检测方法。

背景技术

多摄像机多目标追踪技术目的是在给定的连续多个视频中确定追踪行人目标的位置及轨迹，并且在同一视频内保持被追踪目标的身份信息不变，在不同视频间保持被追踪目标身份一致。针对多摄像机目标追踪问题，根据摄像机拍摄区域是否有交叠，其可以被进一步划分无交叠区域多摄像机多目标追踪和有交叠区域多摄像机多目标追踪。对于有交叠区域多摄像机多目标追踪，虽然可以简单的将多个摄像机下的目标投影至同一参考坐标系内进行轨迹的连接，但这对目标定位的准确性与其在参考坐标系下投影的准确性能有一定的要求，且无法追踪只在一个摄像机下出现的目标。无交叠区域多摄像机多目标追踪旨在实现在摄像机间有盲区时如何进行追踪这一问题，传统方法会采取结合行人重识别的方式，通过与之前轨迹段的行人重识别提取的特征做比较进行局部轨迹间的匹配，而这又非常依赖行人重识别方法的性能。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种融合人脸及人体特征的跨境行人轨迹检测方法，解决了现有检测方法中存在的问题。

本发明的目的通过以下技术方案来实现：一种融合人脸及人体特征的跨境行人轨迹检测方法，所述检测方法包括：

S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；

S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；

S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；

S4、根据列表内存储的信息进行全局轨迹匹配。

所述分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列包括：

对M个摄像机进行编号，通过Fair-Mot算法获得图像中目标的检测框位置信息和对应轨迹的轨迹序号；

用T_i表示第i个摄像机下产生的所有轨迹的集合，用一段时间内的轨迹列表来描述于第i 个摄像机下获取的任意一条轨迹T_i(v)＝{[b_i(t，id)，id]|t∈ε}。

所述对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取包括：

合并局部轨迹列表，并用符号T＝{T₁，T₂，...，T_M}表示各个摄像机下生成的局部轨迹的集合；

根据轨迹T中的某一帧的目标检测框位置对当前视频帧图像进行裁剪，得到图像P_j，并使用ReID模型对图像P_j进行人体特征提取，并表示为F_j＝E(P_j)；

使用人脸检测模型对图像P_j进行人脸检测，如果检测到对应的人脸图像I_j，则使用人脸识别模型对图像I_j进行特征提取，并表示为G_j＝A(I_j)，如果没有检测到人脸则不进行人脸识别。

所述建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征包括：

对于每个轨迹T_i(v)新建对应轨迹序号数量的列表L_id(j)用以存储当前轨迹的当前轨迹序号id；

根据当前轨迹进入时间及消失时间s_j与t_j，行人重识别均值特征F_m(j，t_j)，人脸均值特征 G_m(j，t_j)，初始化行人重识别与人脸识别阈值μ、ω，初始化行人重识别置信轨迹序号与人脸识别置信轨迹序号为当前轨迹序号id。

所述行人重识别均值特征表示为F_m(j，t_j)＝σ*F_j+(1-σ)*F_m(j，t_j-1)，其中σ的取值规则为：当cos(F_m(j，t_j)，F_j)＜θ时：σ＝a*(t_j-s_j+1)/(t_j-s_j+2)，当cos(F_m(j，t_j)，F_j)＞θ时：σ＝(1-a)+a*(t_j-s_j+1)/(t_j-s_j+2)；

所述人脸均值特征表示为

其中

的取值规则为：当cos(G_m(j，t_j)，G_j)＜θ时：

当cos(G_m(j，t_j)，G_j)＞θ时：

所述根据列表内存储的信息进行全局轨迹匹配包括：

A1、对于任意一个列表L_id(k)，将其与其他之前输入的列表L_id(l)循环进行比较；

A2、对两个列表中的G_m数量进行判断，若两个列表中只有一个或者一个都没有G_m，则根据cos(F_m(k，t_k)，F_m(l，t_l))取值与时空信息进行轨迹的连接；

A3、如果cos(F_m(k，t_k)，F_m(l，t_l))＜μ，且s_k＞t_l，则μ＝cos(F_m(k，t_k)，F_m(l，t_l))，并将列表 L_id(l)中的轨迹序号id_p存储至列表L_id(k)中；

A4、重复步骤A1-A3，并贵存储的轨迹序号进行替换，最后更新列表中存储的行人重识别置信轨迹序号为该轨迹相连轨迹的轨迹序号id_p。

所述对两个列表中的G_m数量进行判断中，若两个列表中均存在G_m，则再进行 cos(G_m(k，t_k)，G_m(l，t_l))的循环比较，直至找到最小的两个人脸距离ω及对应人脸识别置信轨迹序号id_f，并比较人脸距离ω与行人距离μ，进行最后轨迹连接的判断。

所述比较人脸距离ω与行人距离μ，进行最后轨迹连接的判断包括：

如果

则更新列表中最终置信轨迹序号为人脸识别置信轨迹序号id_f；

如果

则更新列表中最终置信轨迹序号为行人重识别置信轨迹序号id_p。

本发明具有以下优点：一种融合人脸及人体特征的跨境行人轨迹检测方法，在进行局部轨迹间的匹配时，同时使用行人重识别与人脸识别模型提取的特征综合的计算两两轨迹间的距离，以减少对行人重识别模型性能的依赖，能够得到更准确的结果。

附图说明

图1为本发明方法的流程示意图；

图2为本发明步骤S4的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

如图1所示，一种融合人脸及人体特征的跨境行人轨迹检测方法，融合了人脸识别技术与行人重识别技术，在进行局部轨迹间的匹配时，同时使用行人重识别与人脸识别模型提取的特征综合的计算两两轨迹间的距离，以减少对行人重识别模型性能的依赖。由于行人重识别公开数据集规模的限制，导致实际应用在真实场景时无法得到好的结果，因而不能过度依赖行人重识别模型的性能，人脸识别比之行人重识别，其数据集规模基本能得到保障，但行人在监控摄像头下行走时不一定能被检测到人脸，因而在进行局部轨迹间的匹配时，本发明能得到更准确的结果，发明具体包含以下步骤：

S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列。

进一步地，S1的具体步骤为：假设一共有M个摄像机，对于每个摄像机，我们进行编号，其号码为i(1＜i＜M)，对第i个摄像机拍摄到的视频，使用Fair-Mot算法获得图像中目标的检测框位置信息和对应轨迹的轨迹序号即使用Fair-Mot算法对所有摄像机检测到的轨迹数量的编号，首个轨迹的轨迹序号初始化为1且自增，用T_i表示第i个摄像机下产生的所有轨迹的集合，对于第i个摄像机下获取的任意一条轨迹T_i(v)，由一段时间内的轨迹列表构成：

T_i(v)＝{[b_i(t，id)，id]|t∈ε}

其中ε为时间集合，(b_i(t，id)为t时，轨迹序号为id的目标检测框位置信息，id为目标轨迹的轨迹序号。

S2、对局部追踪轨迹序列中提取出的行人进行人体及人脸特征提取。

进一步地，S2的具体步骤为：合并局部轨迹列表，符号T＝{T₁，T₂，...，T_M}表示各个摄像机下生成的局部轨迹的集合。根据轨迹T中的某一帧的目标检测框位置对当前视频帧图像进行裁剪，得到图像P_j，并使用ReID模型即一个CNN网络对图像P_j进行特征提取，人体特征表示为：F_j＝E(P_j)，使用人脸检测模型对图像P_j进行人脸检测，如果检测到对应的人脸图像 I_j，则使用人脸识别模型对图像Ij进行特征提取，人脸特征表示为：G_j＝A(I_j)，若没有检测到人脸则不进行人脸识别。E为行人重识别特征提取器，A为人脸特征提取器。

S3、建立列表以存储每个局部追踪轨迹的时空信息(摄像机、起始时间)及行人、人脸的均值特征。

进一步地，S3的具体步骤为：对于每个轨迹T_i(v)新建对应轨迹序号数量的列表L_id(j)用以存储当前轨迹的当前轨迹序号id，当前轨迹进入时间及消失时间s_j与t_j(以帧为单位)，行人重识别均值特征F_m(j，t_j)，人脸均值特征G_m(j，t_j)，初始化行人重识别与人脸识别阈值μ、ω，初始化行人重识别置信轨迹序号与人脸识别置信轨迹序号为当前轨迹序号id。

其中：

F_m(j，t_j)＝σ*F_j+(1-σ)*F_m(j，t_j-1)

σ表示当前行人重识别特征在当前轨迹下行人重识别均值特征中的权重，其取值规则如下：

当cos(F_m(j，t_j)，F_j)＜θ时：σ＝a*(t_j-s_j+1)/(t_j-s_j+2)

当cos(F_m(j，t_j)，F_j)＞θ时：σ＝(1-a)+a*(t_j-s_j+1)/(t_j-s_j+2)

表示当前人脸特征在当前轨迹下人脸均值特征中的权重，取值规则如下：

当cos(G_m(j，t_j)，G_j)＜θ时：

当cos(G_m(j，t_j)，G_j)＞θ时：

cos(X，Y)表示X与Y的余弦距离，a为可调整的超参数以适配不同的部署环境。

S4、根据列表内储存的信息进行全局轨迹匹配。

进一步地，如图2所示，S4的具体步骤为：对于任意一个列表L_id(k)，将其与其他之前输入系统的列表L_id(l)循环进行比较，若两个列表中只有一个或都没有G_m，则根据 cos(F_m(k，t_k)，F_m(l，t_l))取值与时空信息进行轨迹的连接：如果cos(F_m(k，t_k)，F_m(l，t_l))＜μ，且s_k＞t_l，则μ＝cos(F_m(k，t_k)，F_m(l，t_l))，并将列表L_id(l)中的轨迹序号id_p存储至列表L_id(k)中，循环比较中需对存储的轨迹序号进行替换，完成循环比较后，最后更新列表中存储的行人重识别置信轨迹序号为这一轨迹相连轨迹的轨迹序号id_p。

若两个列表中均存在G_m，则再进行cos(G_m(k，t_k)，G_m(l，t_l))的比较，同样进行循环比较，直至找到最小的两个人脸距离ω及对应人脸识别置信轨迹序号id_f。比较人脸距离ω与行人距离μ，进行最后轨迹连接的判断。

为了综合的利用行人重识别与人脸识别结果，若：

则该轨迹的最终置信轨迹序号为id_f，否则为id_p。ρ为一个极小量以防止μ过小造成的误差，τ为可变的超参数，代表对行人重识别与人脸识别的信赖程度。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述检测方法包括：

S4、根据列表内存储的信息进行全局轨迹匹配；

用T_i表示第i个摄像机下产生的所有轨迹的集合，用一段时间内的轨迹列表来描述于第i个摄像机下获取的任意一条轨迹T_i(v)＝{[b_i(t,id),id]|t∈ε}，其中，ε为时间集合，b_i(t,id)为t时，轨迹序号为id的目标检测框位置信息，id为目标轨迹的轨迹序号；

合并局部轨迹列表，并用符号T＝{T₁,T₂,…,T_M}表示各个摄像机下生成的局部轨迹的集合；

使用人脸检测模型对图像P_j进行人脸检测，如果检测到对应的人脸图像I_j，则使用人脸识别模型对图像I_j进行特征提取，并表示为G_j＝A(I_j)，如果没有检测到人脸则不进行人脸识别；

根据当前轨迹进入时间及消失时间s_j与t_j，行人重识别均值特征F_m(j,t_j)，人脸均值特征G_m(j,t_j)，初始化行人重识别与人脸识别阈值μ、ω，初始化行人重识别置信轨迹序号与人脸识别置信轨迹序号为当前轨迹序号id；

所述行人重识别均值特征表示为F_m(j,t_j)＝σ*F_j+(1-σ)*F_m(j,t_j-1)，其中σ的取值规则为：当cos(F_m(j,t_j),F_j)<θ时：σ＝a*(t_j-s_j+1)/(t_j-s_j+2)，当cos(F_m(j,t_j),F_j)>θ时：σ＝(1-a)+a*(t_j-s_j+1)/(t_j-s_j+2)，其中，cos(F_m(j,t_j),F_j)表示F_m(j,t_j)和F_j的余弦距离；

所述人脸均值特征表示为

其中

的取值规则为：当cos(G_m(j,t_j),G_j)<θ时：

当cos(G_m(j,t_j),G_j)>θ时：

其中，cos(G_m(j,t_j),G_j)示G_m(j,t_j)与G_j的余弦距离，a为可调整的超参数以适配不同的部署环境。

2.根据权利要求1所述的一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述根据列表内存储的信息进行全局轨迹匹配包括：

A2、对两个列表中的G_m数量进行判断，若两个列表中只有一个或者一个都没有G_m，则根据cos(F_m(k,t_k),F_m(l,t_l))取值与时空信息进行轨迹的连接，其中，cos(F_m(k,t_k),F_m(l,t_l))表示F_m(k,t_k)与F_m(l,t_l)的余弦距离；

A3、如果cos(F_m(k,t_k),F_m(l,t_l))<μ,且s_k>t_l，则μ＝cos(F_m(k,t_k),F_m(l,t_l))，并将列表L_id(l)中的轨迹序号id_p存储至列表L_id(k)中；

A4、重复步骤A1-A3，并对存储的轨迹序号进行替换，最后更新列表中存储的行人重识别置信轨迹序号为该轨迹相连轨迹的轨迹序号id_p。

3.根据权利要求2所述的一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述对两个列表中的G_m数量进行判断中，若两个列表中均存在G_m，则再进行cos(G_m(k,t_k),G_m(l,t_l))的循环比较，直至找到最小的两个人脸距离ω及对应人脸识别置信轨迹序号id_f，并比较人脸距离ω与行人距离μ，进行最后轨迹连接的判断，其中，cos(G_m(k,t_k),G_m(l,t_l))表示G_m(k,t_k)与G_m(l,t_l)的余弦距离。

4.根据权利要求3所述的一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述比较人脸距离ω与行人距离μ，进行最后轨迹连接的判断包括：

如果

如果

则更新列表中最终置信轨迹序号为行人重识别置信轨迹序号id_p，其中，τ为可变的超参数，代表对行人重识别与人脸识别的信赖程度。