CN113313055A - 一种非重叠视域跨摄像头网络行人重识别方法 - Google Patents

Abstract

本发明公开了一种非重叠视域跨摄像头网络行人重识别方法，包括：获取非重叠视域下含独立子空间的视频监控下各部署位置摄像头采集对应区域行人监控视频数据。根据目标区域中网络摄像头部署图提取摄像头在各部署位置的方位信息，对监控视频数据使用核相关滤波的目标跟踪算法得到单摄像头下目标运动轨迹。对各单摄像头目标跟踪结果建立时间序列平均互相关函数，并与方位信息相结合预测行人路径拓扑顺序。通过提取HSV颜色直方图特征解决行人重识别中目标匹配问题，最终获得目标跨视域的连续轨迹。本发明能够提高非重叠视域跨摄像头下行人重识别的准确率，对解决实际的复杂场景具有一定的泛化能力。

Description

一种非重叠视域跨摄像头网络行人重识别方法

技术领域

本发明涉及行人重识别领域，尤其涉及一种非重叠视域跨摄像头网络行人重识别方法。

背景技术

行人重识别是智能视频监控领域的核心任务，其目的是实现在实际复杂监控场景下，通过对监控视频的智能化处理得到兴趣目标连续稳定的跨摄像头跟踪轨迹。在大数据时代背景下，数据采集便利的同时也造成数据融合的挑战，对于不同摄像头间监控数据的融合与利用，在交通、公共安全和视频监控未来的发展都至关重要。而实际监控摄像头网络常常错综复杂，摄像头部署存在非重叠视域的情况，一些监控死角和盲区成为后续数据分析的极大阻碍，监控数据的利用率大幅降低。因此对非重叠视域跨摄像头网络行人重识别的研究成为该领域的研究热点和难点。

现有技术中，从多个非重叠摄像头组成的监控网络中得到目标稳定连续的轨迹信息往往需要在行人重识别模块的目标匹配部分遍历数据库中所有的图像。此过程对于监控网络结构数据的忽视导致的实际应用复杂场景算法泛化能力差、多维度数据的浪费。并且行人重识别模块中仅利用了表观信息实现目标匹配，忽略了目标运动信息及系统结构信息，造成重识别准确率波动较大的问题。整个过程对设备运算能力要求较高，实时性差。

发明内容

本发明提供一种非重叠视域跨摄像头网络行人重识别方法，以克服上述技术问题。

为了实现上述目的，本发明一种非重叠视域跨摄像头网络行人重识别方法，包括如下步骤：

步骤1，获取非重叠视域下含独立子空间的视频监控下各部署位置摄像头所采集的对应区域行人监控视频数据，所述对应区域行人监控视频数据为多视频帧序列；

步骤2，对各非重叠视域下行人监控视频数据采用基于核相关滤波的目标跟踪算法，得到单摄像头下目标运动轨迹；

步骤3，根据目标区域中网络摄像头部署图提取摄像头在各部署位置的方位信息；对行人监控视频中独立子空间内所述方位信息建立时间序列平均互相关函数，用平均互相关函数与摄像头部署方位信息结合，得到各摄像头结点间的物理连接关系；

步骤4，用行人监控视频中隐含的外部结构信息对有物理连接关系的结点中出现的目标进行匹配；用巴氏距离计算多视频帧序列HSV颜色直方图的相似性度量确定行人重识别中目标匹配度，判定相似性度量距离最小值的目标对为匹配目标；

步骤5，利用目标匹配度和各摄像头结点间的物理连接关系，统计匹配成功对目标在对拓扑结点间的转移时间集合，计算各摄像头中目标的时间转移概率函数，得到监控网络中独立子空间和广域子空间行人路径拓扑关系；

步骤6，若各物理连接关系间转移时间概率函数的输出结果为1，则可判定行人经过了这个摄像头，则得到跨视域的行人轨迹。

进一步地，在步骤4中，具体匹配度计算公式如下：

其中，H_i为HSV颜色空间图像直方图；d_b为巴氏距离；H₁为目标1的HSV 颜色直方图；H₂为目标2的HSV颜色直方图；H(i)中i为直方图的变量。

进一步地，在步骤3中，对监控视频中独立子空间内摄像头网络拓扑信息的获取建立时间序列平均互相关函数，估计摄像头序列间存在的连接关系；平均互相关函数

的计算如下式所示：

其中，[t₀,t_w]为一个时间窗口；

为时间窗口内各摄像头视域中目标出现的时间集合；

为时间窗口内各摄像头视域中目标消失的时间集合；n_i、n_j为摄像头序号；i,j<N，N为摄像机数量；

为时间窗口内各摄像头视域中目标出现的摄像头序号集合；

为时间窗口内各摄像头视域中目标消失的摄像头序号集合；E为均值函数；τ为相移，此处为时间差；m 为时间窗口个数；

若得到的平均互相关函数

具有峰值，即判定n_i与n_j间存在拓扑连接关系，且平均互相关函数峰值所在处即为目标在两个摄像头间的平均转移时间；若计算得到的平均互相关函数

无峰值，即判定两个摄像头间不存在拓扑连接关系。

进一步地，在步骤5中，利用匹配目标对和各摄像头结点间的物理连接关系，建立各物理连接关系间转移时间概率函数公式：

其中，a为常数；f(x)为转移概率分布；x为是输入的转移时间集合里的值；μ为平均转移时间，σ²为方差。

进一步地，在步骤2中，对各非重叠视域下监控视频数据进行基于核相关滤波的目标跟踪算法使用岭回归训练判别分类器。

本发明提出了基于核相关滤波单目标跟踪下的时间序列平均互相关函数法，对输入数据提取目标运动信息并通过平均互相关函数的峰值判定目标的可能转移路径，得到摄像头网络拓扑结点间物理连接状态。为后续行人重识别寻找匹配目标缩小范围。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明非重叠视域跨摄像头网络行人重识别方法整体流程示意图；

图2是本发明非重叠视域跨摄像头网络行人重识别方法中关键算法变量传递流程示意图；

图3是本发明非重叠视域跨摄像头网络行人重识别方法中基于核相关滤波的单目标跟踪模型示意图；

图4是本发明非重叠视域跨摄像头网络行人重识别方法中复杂场景举例示意图；

图5是本发明非重叠视域跨摄像头网络行人重识别方法中关键算法变量传递流程详细示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为非重叠视域跨摄像头网络行人重识别方法整体流程示意图，如图 1所示，本实施例的方法可以包括：

步骤1，获取非重叠视域下含独立子空间的视频监控网络下各部署位置摄像头所采集到的对应区域行人监控视频数据，作为单摄像头目标跟踪的数据准备；根据目标区域已有的网络摄像头设计部署图表，提取摄像头在各部署位置的方位信息，所述方位信息包含位置坐标，建立摄像头方位信息数据集S；

步骤2，根据采集到的含独立子空间的监控视频数据，将各不同摄像头拍摄到的视频通过提取特定时间间隔的图片帧构成目标跟踪图像库T_nk,n为摄像头序号，k为目标序号；对各非重叠视域下行人监控视频进行基于核相关滤波的目标跟踪算法，得到单摄像头下目标运动轨迹；并记录目标在各视频中出现消失时间序列及摄像头序号；如图2和图5所示，步骤2中的基于核相关滤波单目标跟踪模型算法；如图3所示，步骤2中的具体流程；

基于核相关滤波的目标跟踪算法中，使用循环矩阵对样本进行采集，将一个n维向量与排列矩阵进行不同次数的乘积，产生的n个不同次数的移位向量按列排序，即得到由x产生的循环矩阵C(x)。使用岭回归训练判别图像分类器提取图像HOG特征。

对各非重叠视域下行人监控视频进行基于核相关滤波的目标跟踪算法，得到单摄像头下目标运动轨迹；

基于核相关滤波的目标跟踪算法使用岭回归训练判别分类器：

f(z)＝ω^Tz (1)

此公式为岭回归的通用公式，z仅代表自变量的值，w仅代表权重偏置的值，f(z)为求得预测位置，前提是求得w，下面将w转化为α_i的形式，即前提变为求得α_i；

训练样本集为(x_i,y_i)，x_i为各非重叠视域下监控视频数据，y_i为样本标签，求满足下式的岭回归训练判别分类器f(x_i)目标位置预测值，λ为正则化参数：则所述线性系统岭回归模型为：

将公式(2)映射到一个非线性特征空间φ(x)，首先将系数项ω为样本特征的线性组合：

将系数项代入到公式(4)线性岭回归分类器中可得：

根据核函数的计算公式，x'为公式(4)里的z变量：

非线性系统岭回归模型转化为核函数的表达形式为：

公式(6)可得：

α＝(K+λI)^-1y (7)

其中，α为系数α_i的一维向量，K_ij＝κ(x_i,x_j)为公式(7)核函数中矩阵点乘生成的核矩阵，λ为正则化参数，I为单位阵，y为样本标签的n维向量；

基于核相关滤波的目标跟踪算法中还使用循环矩阵对样本进行采集，得到循环矩阵C(x_i)＝P^ux_i，x_i为输入的n维向量，P为排列矩阵，u为排列矩阵的幂，l为移位周期；

{P^ux|u＝0,...l-1} (9)

给定一个循环矩阵C(x)，对任意排列矩阵M，若满足κ(x,x′)＝κ(Mx,Mx′) 则其对应的核矩阵K为循环矩阵；循环矩阵对样本采集后，α为：

α＝(C(k^xx)+λI)^-1y (10)

其中，k^xx为K核矩阵的第一行；

公式(10)可用傅里叶变换加速计算得：

为离散傅里叶变换后的α；

为离散傅里叶变换后的y；

为离散傅里叶变换后的k^xx，λ为正则化参数，定义x向量与自身的核相关矩阵为k^xx，即任意两个向量的核相关矩阵可为：

k_i ^xx′＝κ(x′,P^i-1x) (12)

在高维空间

()中其计算过程可近似为点乘：

根据公式(4)至公式(6)的计算过程，核矩阵K^z表示为：

K^z＝κ(p^i-1x,p^j-1z) (14)

将公式(15)带入公式(7)可得到公式(16)：

f(z)＝α(K^z)^T (15)

f(z)＝α(C(k^xz))^T (16)

其中，α为系数α_i的一维向量，K^z＝C(k^xz)为由k^xz生成的循环矩阵；结合循环矩阵的特性利用快速傅里叶变换加速矩阵运算，得到学习系数α加权的相邻核值的线性组合

计算公式如下：

将高斯核公式(18)及公式(11)代入到公式(17)中并进行离散傅里叶反变换，可得到预测目标位置f(z)，实现实时跟踪；

在现实监控场景中常常出现行人轨迹贯穿独立子空间与外部广域空间的情况，针对此类复杂摄像头部署环境，提出一种利用不同摄像头视频内特定时间序列间计算其平均互相关函数预测摄像头网络结构的方法，得到各摄像头网络拓扑结点间的物理连接；针对监控视频中独立子空间内摄像头网络拓扑结点物理连接关系的获取采用了平均互相关函数预测的方法；

定义一个时间窗口[t₀,t_w]，统计此时间窗口内各摄像头视域中目标出现与消失的时间集合，分别记为

n_i、n_j为摄像头序号，i,j<N， (N为摄像机数量)。计算多个时间窗口内目标出现时间集合

与目标消失时间集合

之间的互相关函数

用累积求平均的方式估计摄像头序列间存在的连接关系；若得到的平均互相关函数具有峰值，即判定n_i与n_j间存在拓扑连接关系，且平均互相关函数峰值所在处即为目标在两个摄像头间的平均转移时间；若计算得到的平均互相关函数无峰值，即判定两个摄像头间不存在拓扑连接关系；

平均互相关函数

如下式所示：

得到同空间内跨视频监控场景中广域子空间摄像头网络拓扑结点间物理连接的初步判断；

步骤3，利用视频中隐含的外部结构信息对有物理连接关系的结点中出现的目标进行匹配；利用精度较高的巴氏距离计算图片间颜色直方图的相似性度量来解决行人重识别中目标匹配问题，此处即为图2中基于HSV特征的目标匹配算法的内核，式子如下：

式中H_i为HSV颜色空间图像直方图；

判定相似性度量距离最小值的目标对为匹配目标对；

步骤4，利用步骤3中匹配目标对和步骤2中各摄像头结点间的物理连接关系，建立各物理连接关系间转移时间概率函数。此处即为图2中求时间概率转移函数的内核；统计匹配成功i对目标在n对拓扑结点间的转移时间集合

应用高斯函数N(μ,σ²)：

其中，μ为平均转移时间，σ²为方差；

针对同空间内跨视频监控场景中广域子空间摄像头网络拓扑信息的获取通过利用上述摄像头方位信息数据集S中存储的位置坐标，计算摄像头间欧式距离，距离公式如下：

根据各物理连接关系间转移时间概率函数的输出结果，得到更准确的监控网络中独立子空间和广域子空间行人路径拓扑关系，即更精确的得到同一个行人在多个摄像机下的穿行轨迹，从而得到跨视域的行人轨迹；

假设已知的摄像头网络拓扑关系如图4所示，定义一个时间窗口[t₀,t_w]，统计此时间窗口内各摄像头视域中目标出现与消失的时间集合，分别记为

n_i、n_j表示摄像头序号，i,j＜N(N为摄像机数量)。计算多个时间窗口内目标出现时间集合

与目标消失时间集合

之间的互相关函数

用累积求平均的方式估计摄像头序列间存在的连接关系。若得到的平均互相关函数具有清晰的峰值，即判定n_i与n_j间存在拓扑连接关系，且平均互相关函数峰值所在处即为目标在两个摄像头间的平均转移时间。椭圆曲线圈出的是已知的各摄像头网络拓扑结点，代表了在单摄像头下目标所有可能的出入口，通过步骤2粗略得到两个不同摄像头下网络拓扑结点间是否存在相互关系，即结点间物理连接，图中箭头连接线代表不同摄像头下各网络拓扑结点间的相关性，连接线方向为目标的流动方向。步骤2利用图像的表观信息实现不同摄像头下目标再识别。步骤4利用了步骤3过程中匹配到的相同目标，并记录其在各拓扑结点间的转移时间集合，即标号圆圈，图4中标号无规律，标号选择对算法无影响，后得到转移时间概率函数，使得结点间的物理连接更加完善和精确，即箭头连接线，并得到了跨视域的行人轨迹。

整体有的有益效果：

1、本发明提出了基于核相关滤波单目标跟踪下的时间序列平均互相关函数法，对输入数据提取目标运动信息并通过平均互相关函数的峰值判定目标的可能转移路径，得到摄像头网络拓扑结点间物理连接状态。为后续行人重识别寻找匹配目标缩小范围。

2、本发明提出了基于HSV特征目标匹配算法为基础的时间转移概率模型，记录目标匹配算法中匹配目标在拓扑结点间的转移时间，应用高斯函数拟合出每条连接上的转移时间概率分布。通过摄像头间目标转移概率分布，有效的利用网络结构信息，提高了算法对实际复杂场景的应用能力。

3、本发明提出了基于核相关函数单目标跟踪基础上，基于图像表观模型与目标运动信息、监控网络结构信息相融合的非重叠视域跨摄像头HSV行人重识别系统设计解决方案。有效的提取各维度信息，并融合利用提高了后续行人重识别中的目标匹配的速度和准确率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种非重叠视域跨摄像头网络行人重识别方法，其特征在于，包括如下步骤：

步骤1，获取非重叠视域下含独立子空间的视频监控下各部署位置摄像头所采集的对应区域行人监控视频数据，所述对应区域行人监控视频数据为多视频帧序列；

步骤2，对各非重叠视域下行人监控视频数据采用基于核相关滤波的目标跟踪算法，得到单摄像头下目标运动轨迹；

步骤3，根据目标区域中网络摄像头部署图提取摄像头在各部署位置的方位信息；对行人监控视频中独立子空间内所述方位信息建立时间序列平均互相关函数，用平均互相关函数与摄像头部署方位信息结合，得到各摄像头结点间的物理连接关系；

步骤4，用行人监控视频中隐含的外部结构信息对有物理连接关系的结点中出现的目标进行匹配；用巴氏距离计算多视频帧序列HSV颜色直方图的相似性度量确定行人重识别中目标匹配度，判定相似性度量距离最小值的目标对为匹配目标；

步骤5，利用目标匹配度和各摄像头结点间的物理连接关系，统计匹配成功对目标在对拓扑结点间的转移时间集合，计算各摄像头中目标的时间转移概率函数，得到监控网络中独立子空间和广域子空间行人路径拓扑关系；

步骤6，若各物理连接关系间转移时间概率函数的输出结果为1，则可判定行人经过了这个摄像头，则得到跨视域的行人轨迹。

2.根据权利要求1所述的一种非重叠视域跨摄像头网络行人重识别方法，其特征在于，在所述步骤4中，具体匹配度计算公式如下：

其中，H_i为HSV颜色空间图像直方图；d_b为巴氏距离；H₁为目标1的HSV颜色直方图；H₂为目标2的HSV颜色直方图；H(i)中i为直方图的变量。

3.根据权利要求1所述的一种非重叠视域跨摄像头网络行人重识别方法，其特征在于，在所述步骤3中，对监控视频中独立子空间内摄像头网络拓扑信息的获取建立时间序列平均互相关函数，估计摄像头序列间存在的连接关系；平均互相关函数

的计算式所示：

其中，[t₀，t_w]为一个时间窗口；

为时间窗口内各摄像头视域中目标出现的时间集合；

为时间窗口内各摄像头视域中目标消失的时间集合；n_i、n_j为摄像头序号；i，j＜N，N为摄像机数量；

为时间窗口内各摄像头视域中目标出现的摄像头序号集合；

为时间窗口内各摄像头视域中目标消失的摄像头序号集合；E为均值函数；τ为时间差；m为时间窗口个数；

计算平均互相关函数

若得到的平均互相关函数

具有峰值，即判定ni与n_j间存在拓扑连接关系，且平均互相关函数峰值所在处即为目标在两个摄像头间的平均转移时间；若计算得到的平均互相关函数

无峰值，即判定两个摄像头间不存在拓扑连接关系。

4.根据权利要求1所述的一种非重叠视域跨摄像头网络行人重识别方法，其特征在于，在所述步骤5中，利用匹配目标对和各摄像头结点间的物理连接关系，建立各物理连接关系间转移时间概率函数公式：

其中，a为常数；f(x)为转移概率分布；x为是输入的转移时间集合里的值；μ为平均转移时间，σ²为方差。

5.根据权利要求1所述的一种非重叠视域跨摄像头网络行人重识别方法，其特征在于，在所述步骤2中，对各非重叠视域下监控视频数据进行基于核相关滤波的目标跟踪算法使用岭回归训练判别分类器。

Images