CN114550219A - 行人追踪方法及装置 - Google Patents

Abstract

本发明公开了一种行人追踪方法，包括：对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对行人外观特征进行提取；将每个行人检测框、每个卡尔曼追踪器，以及匹配区域，透视变换至透视平面；在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；用匹配到的行人检测框对相应卡尔曼追踪器进行更新。本发明还公开了一种行人追踪装置。本发明可在提升追踪精度的同时有效降低算法资源消耗。

Description

行人追踪方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种行人追踪方法。

背景技术

视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控，人机交互， 无人驾驶等。过去二三十年视觉目标跟踪技术取得了长足的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。

行人跟踪属于目标跟踪的一个子类，即要跟踪的目标是行人。行人跟踪主要包括两大部分：目标检测（object detection）和目标跟踪（object tracking），目标检测就是识别出图片或视频中行人目标的静态或动态位置，目标追踪是给定视频中第一帧目标以及它的位置，然后跟踪这个目标，并预测它的轨迹。现有行人跟踪技术主要分为两大类：一类是行人检测结合行人外观特征的方式，即先先对视频每一帧中的行人进行检测，然后提取行人的外观特征进行数据关联并形成最终的运动轨迹，但仅仅考虑行人外部特征在一些场景下非常容易出现错误，例如工厂、学校等环境下，统一的制服会导致算法失控，难以实现行人的准确跟踪；另一类是行人检测结合卡尔曼滤波的方式，即对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，然后使用匈牙利算法或其改进算法对每一帧的行人检测框和卡尔曼追踪器进行最大匹配，并用匹配到的行人检测框对相应卡尔曼追踪器进行更新，该种方案由于追踪的输入是行人检测框，因此对于遮挡、人群密集、人员穿插频繁等场景几乎完全无法使用。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种行人追踪方法，可在提升追踪精度的同时有效降低算法资源消耗。

本发明具体采用以下技术方案解决上述技术问题：

一种行人追踪方法，包括以下步骤：

对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取；

将每个行人检测框、每个卡尔曼追踪器，以及以每个卡尔曼追踪器中心点为圆心，以匹配半径R为半径的匹配区域，透视变换至透视平面；

在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；

用匹配到的行人检测框对相应卡尔曼追踪器进行更新。

进一步地，每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整：

R=R0+γ×t ²

式中，γ为大于0的控制系数；R0为匹配半径初始值；t为该卡尔曼追踪器连续未成功匹配的图像帧数，如卡尔曼追踪器成功匹配，t的值归零，如未成功匹配，t的值加1。

进一步地，卡尔曼追踪器的行人外观特征按照以下方法进行动态更新：在每次匹配成功后，计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度，如相似度低于预设阈值，则按照下式对该卡尔曼追踪器的行人外观特征进行更新：

f _k =δf _k ’+（1-δ）f _d ’

其中，f _k ’、f _k 分别为更新前、后的卡尔曼追踪器的行人外观特征，f _d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征，δ为取值范围在[0,1)的系数。

基于同一发明构思还可以得到以下技术方案：

一种行人追踪装置，包括：

行人检测及特征提取单元，用于对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取；

透视变换单元，用于将每个行人检测框、每个卡尔曼追踪器，以及以每个卡尔曼追踪器中心点为圆心，以预设匹配半径R为半径的匹配区域，透视变换至透视平面；

匹配单元，用于在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；

更新单元，用于用匹配到的行人检测框对相应卡尔曼追踪器进行更新。

进一步地，所述行人追踪装置还包括：

匹配半径调整单元，用于将每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整：

R=R0+γ×t ²

式中，γ为大于0的控制系数；R0为匹配半径初始值；t为该卡尔曼追踪器连续未成功匹配的图像帧数，如卡尔曼追踪器成功匹配，t的值归零，如未成功匹配，t的值加1。

进一步地，所述行人追踪装置还包括：

特征动态更新单元，用于对卡尔曼追踪器的行人外观特征按照以下方法进行动态更新：在每次匹配成功后，计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度，如相似度低于预设阈值，则按照下式对该卡尔曼追踪器的行人外观特征进行更新：

f _k =δf _k ’+（1-δ）f _d ’

其中，f _k ’、f _k 分别为更新前、后的卡尔曼追踪器的行人外观特征，f _d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征，δ为取值范围在[0,1)的系数。

相比现有技术，本发明具有以下有益效果：

本发明在行人检测+卡尔曼追踪的方案基础上，在相机的透视变换空间中进行行人检测框与卡尔曼追踪器的匹配，并将空间特征和外观特征相结合，从而有效提高了行人追踪算法的有效性和准确性，同时对计算资源的占用也较少。

附图说明

图1为现有技术中的行人检测框与卡尔曼追踪器的匹配原理示意图；

图2为本发明的行人检测框与卡尔曼追踪器的匹配原理示意图。

具体实施方式

针对现有技术不足，本发明的解决思路是在行人检测+卡尔曼追踪的方案基础上进行改进，在相机的透视变换空间中进行行人检测框与卡尔曼追踪器的匹配，并将空间特征和外观特征相结合，从而有效提高了行人追踪算法的有效性和准确性，同时对计算资源的占用也较少。

本发明所提出的行人追踪方法行人追踪方法，具体包括以下步骤：

对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取；

将每个行人检测框、每个卡尔曼追踪器，以及以每个卡尔曼追踪器中心点为圆心，以匹配半径R为半径的匹配区域，透视变换至透视平面；

在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；

用匹配到的行人检测框对相应卡尔曼追踪器进行更新。

进一步地，每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整：

R=R0+γ×t ²

式中，γ为大于0的控制系数；R0为匹配半径初始值；t为该卡尔曼追踪器连续未成功匹配的图像帧数，如卡尔曼追踪器成功匹配，t的值归零，如未成功匹配，t的值加1。

进一步地，卡尔曼追踪器的行人外观特征按照以下方法进行动态更新：在每次匹配成功后，计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度，如相似度低于预设阈值，则按照下式对该卡尔曼追踪器的行人外观特征进行更新：

f _k =δf _k ’+（1-δ）f _d ’

其中，f _k ’、f _k 分别为更新前、后的卡尔曼追踪器的行人外观特征，f _d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征，δ为取值范围在[0,1)的系数。

本发明所提出的行人追踪装置，包括：

行人检测及特征提取单元，用于对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取；

透视变换单元，用于将每个行人检测框、每个卡尔曼追踪器，以及以每个卡尔曼追踪器中心点为圆心，以预设匹配半径R为半径的匹配区域，透视变换至透视平面；

匹配单元，用于在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；

更新单元，用于用匹配到的行人检测框对相应卡尔曼追踪器进行更新。

进一步地，所述行人追踪装置还包括：

匹配半径调整单元，用于将每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整：

R=R0+γ×t ²

式中，γ为大于0的控制系数；R0为匹配半径初始值；t为该卡尔曼追踪器连续未成功匹配的图像帧数，如卡尔曼追踪器成功匹配，t的值归零，如未成功匹配，t的值加1。

进一步地，所述行人追踪装置还包括：

特征动态更新单元，用于对卡尔曼追踪器的行人外观特征按照以下方法进行动态更新：在每次匹配成功后，计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度，如相似度低于预设阈值，则按照下式对该卡尔曼追踪器的行人外观特征进行更新：

f _k =δf _k ’+（1-δ）f _d ’

其中，f _k ’、f _k 分别为更新前、后的卡尔曼追踪器的行人外观特征，f _d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征，δ为取值范围在[0,1)的系数。

为了便于公众理解，下面通过具体实施例并结合附图来对本发明的技术方案进行详细说明：

本实施例中的行人追踪过程具体如下：

步骤1、对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取；

使用行人检测器，如常见的yolo/faster-rcnn/ssd等，对监控视频图像中的行人进行检测，行人检测框可记为：dets=[[x ₁,y ₁,x ₂,y ₂,score]…]，其中（x ₁,y ₁）,（x ₂,y ₂）,score分别表示检测框的左上、右下点的坐标以及分类执行度，并将行人检测框部分图像P _crop 裁切出来；为每个行人检测框构建一个卡尔曼追踪器，用于跟踪检测到物体的速度、位置以及外观特征，使用外观特征提取模型，例如resnet、repvgg等，对P _crop 及新出现的卡尔曼追踪器进行外观特征提取，所述行人外观特征包含但不限于发色、衣服裤子颜色款式、箱包背包等 ，得到每个行人检测框及新出现追踪对象的行人外观特征。

步骤2、将每个行人检测框、每个卡尔曼追踪器，以及以每个卡尔曼追踪器中心点为圆心，以匹配半径R为半径的匹配区域，透视变换至透视平面；

由于普通相机的成像原理符合透视特点，即近大远小，因此本发明先将行人检测框、卡尔曼追踪器和匹配区域透视变换至透视平面；透视变换为现有成熟技术，下面对其进行简要说明：首先将相机稳定安装到墙面、立柱等刚体上保证相机相对静止；在现实场景中指定四个点，四个点围成一个矩形区域，记为P^W={p₁ ^W,p₂ ^W,p₃ ^W,p₄ ^W},表示实际空间场景中的点;人工观察现实中的四个点，在相机平面内对应的找出空间内的四个点P^C={p₁ ^C,p₂ ^C,p₃ ^C,p₄ ^C}，要保证两个点集的顺序保持一致，一一对应;通过P^W和P^C可得到透视变换矩阵M；通过透视变换矩阵M即可将行人检测框、卡尔曼追踪器和匹配区域透视变换至透视平面。

步骤3、在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；

传统的行人检测+卡尔曼追踪方案中的匹配原理如图1所示，分别以1～3的三个圆形的卡尔曼追踪器中心点为圆心，用固定半径R区域内的所有矩形行人检测框与该卡尔曼追踪器之间的1-IoU（Intersection over Union，交并比）作为追踪代价来做最大匹配。这种匹配方式的匹配区域半径R是预设的定值，当取值较小时，如图1左侧所示，可能会存在大量的漏匹配；但如果取值过大，如图1右侧所示，则会导致计算资源和计算时间的大幅增加；并且对于大多数斜上方安装的相机而言，这种圆形匹配区域的设定是与实际情况完全不符合的。

为解决这一问题，如图2所示，本发明将行人检测框、卡尔曼追踪器及半径为R的圆形匹配区域均通过透视变换矩阵M变换至透视平面内，图2中左、右分别为透视变换前和透视变换后；然后在透视平面内对卡尔曼追踪器和行人检测框进行最大匹配；本发明的匹配代价函数Loss将外观特征与位置特征相结合，具体如下：

Loss=αsimilarity（f _k ，f _d ）+βdistance（P^K，P^D）

式中，f _k 、f _d 分别表示卡尔曼追踪器、行人检测框的行人外观特征，P^K、P^D 分别表示卡尔曼追踪器、行人检测框在透视平面内的中心点，similarity（）表示计算相似度，distance（）表示计算距离，α和β为权值，可根据实际需要调整两者大小以表明更倾向于外观相似或表示更倾向于位置相近；其中相似度的度量可使用欧式距离、余弦距离等，距离的度量可使用L2距离、Manhattan距离等。

本实施例中，卡尔曼追踪器的行人外观特征按照下式进行动态更新：

f _k =δf _k ’+（1-δ）f _d ’

其中，f _k ’、f _k 分别为更新前、后的卡尔曼追踪器的行人外观特征，f_d’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征，δ为取值范围在[0,1)的系数。

因此，上述匹配代价函数Loss中的f _k 是经过动态更新后的行人外观特征；当匹配成功后的行人检测框的行人外观特征与卡尔曼追踪器的行人外观特征的相似度小于阈值t（t取值范围在[0, 1]之间，1表示非常相似不需要更新特征，通常低于0.5认为特征变化明显）时，使用以上公式更新该卡尔曼追踪器的行人外观特征。系数δ的取值范围为[0,1), 可根据实际情况设定。

此外，为了解决固定匹配半径R时无法匹配所有行人尺度，易发生漏匹配的问题，本实施例中每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整：

R=R0+γ×t ²

式中，γ为大于0的控制系数；R0为匹配半径初始值，可根据实际需要灵活设定，例如可设定为行人检测框宽度的1～3倍；t为该卡尔曼追踪器连续未成功匹配的图像帧数，如卡尔曼追踪器成功匹配，t的值归零，如未成功匹配，t的值加1。这样，当发生遮挡、快速移动等超出区域导致无法匹配的问题时，可及时增大匹配搜索范围，以提高匹配成功率；并在成功匹配后回归初始的匹配搜索范围，以避免消耗较多计算资源。

步骤4、用匹配到的行人检测框对相应卡尔曼追踪器进行更新。

Claims (6)

1.一种行人追踪方法，其特征在于，包括以下步骤：

对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取；

将每个行人检测框、每个卡尔曼追踪器，以及以每个卡尔曼追踪器中心点为圆心，以匹配半径R为半径的匹配区域，透视变换至透视平面；

在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；

用匹配到的行人检测框对相应卡尔曼追踪器进行更新。

2.如权利要求1所述行人追踪方法，其特征在于，每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整：

R=R0+γ×t ²

式中，γ为大于0的控制系数；R0为匹配半径初始值；t为该卡尔曼追踪器连续未成功匹配的图像帧数，如卡尔曼追踪器成功匹配，t的值归零，如未成功匹配，t的值加1。

3.如权利要求1所述行人追踪方法，其特征在于，卡尔曼追踪器的行人外观特征按照以下方法进行动态更新：在每次匹配成功后，计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度，如相似度低于预设阈值，则按照下式对该卡尔曼追踪器的行人外观特征进行更新：

f _k =δf _k ’+（1-δ）f _d ’

其中，f _k ’、f _k 分别为更新前、后的卡尔曼追踪器的行人外观特征，f _d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征，δ为取值范围在[0,1)的系数。

4.一种行人追踪装置，其特征在于，包括：

行人检测及特征提取单元，用于对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器，同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取；

透视变换单元，用于将每个行人检测框、每个卡尔曼追踪器，以及以每个卡尔曼追踪器中心点为圆心，以预设匹配半径R为半径的匹配区域，透视变换至透视平面；

匹配单元，用于在透视平面内，对每个卡尔曼追踪器，使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配；所述最大匹配的代价函数为：行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和；

更新单元，用于用匹配到的行人检测框对相应卡尔曼追踪器进行更新。

5.如权利要求4所述行人追踪装置，其特征在于，还包括：

匹配半径调整单元，用于将每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整：

R=R0+γ×t ²

式中，γ为大于0的控制系数；R0为匹配半径初始值；t为该卡尔曼追踪器连续未成功匹配的图像帧数，如卡尔曼追踪器成功匹配，t的值归零，如未成功匹配，t的值加1。

6.如权利要求4所述行人追踪装置，其特征在于，还包括：

特征动态更新单元，用于对卡尔曼追踪器的行人外观特征按照以下方法进行动态更新：在每次匹配成功后，计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度，如相似度低于预设阈值，则按照下式对该卡尔曼追踪器的行人外观特征进行更新：

f _k =δf _k ’+（1-δ）f _d ’

其中，f _k ’、f _k 分别为更新前、后的卡尔曼追踪器的行人外观特征，f _d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征，δ为取值范围在[0,1)的系数。

Images