CN109934127A - 基于视频图像与无线信号的行人识别与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视频图像与无线信号的行人识别与跟踪方法，其包括根据目标用户的无线数据确定定位区域；提取目标用户的手机传感器数据及以设定阈值为时间窗口，提取定位数据上传时间段内覆盖定位区域的监控视频序列；采用监控视频序列生成若干图像轨迹；采用手机传感器数据和无线信号绘制行人无线轨迹，每隔采样间隔对行人无线轨迹进行采样；将每一条图像轨迹中的节点代入投影矩阵，得到每条图像轨迹的轨迹点坐标；根据图像轨迹上轨迹点及行人无线轨迹上采样点的坐标，采用DTW算法进行轨迹相似度匹配得到累计距离值；当所有图像轨迹均已进行DTW匹配时，选取所有累计距离值最小的图像轨迹作为目标用户的轨迹。

Description

基于视频图像与无线信号的行人识别与跟踪方法

技术领域

本发明涉及图像识别技术，具体涉及一种基于视频图像与无线信号的行人识别与跟踪方法。

背景技术

视频监控系统中的行人识别与跟踪问题在图像处理与模式识别、机器学习与人工智能、计算机视觉等多个领域有着广泛的应用与研究。

行人识别旨在于从一系列连续的视频序列中识别出目标用户，目前应用最多的行人识别算法是基于统计学习的特征识别算法，此类方法需要事先提取行人的特征用于训练分类器，通过分类器识别出目标用户。行人跟踪是在连续的视频序列中将目标用户在每一帧之间建立联系，从而得到完整的运行轨迹。目前的行人跟踪算法主要有生成类模型方法和判别类模型方法，前者一般建立在统计学和贝叶斯理论基础上对目标建模，后者采用机器学习的思想将目标作为样本训练分类器。

现有的基于视频监控的行人识别与跟踪是一种非合作性的方法，在视频序列中所有的行人都是匿名的，因此必须要事先确定目标用户并对其特征进行提取或训练，才能在视频序列中识别出该用户。

发明内容

针对现有技术中的上述不足，本发明提供的基于视频图像与无线信号的行人识别与跟踪方法解决了视频图像中行人匿名性导致难以确定目标用户的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于视频图像与无线信号的行人识别与跟踪方法，其包括：

S1、接收目标用户的定位数据，并根据其无线数据确定定位区域；

S2、提取目标用户的手机传感器数据及以设定阈值为时间窗口，提取定位数据上传时间段内覆盖定位区域的监控视频序列；

S3、根据监控视频序列中相邻两帧图像，将图像中的行人检测点按时间顺序分类连接，形成若干轨迹片段；

S4、根据时间顺序，连接时间邻近且两轨迹片段首节点与尾节点间距离小于行人在该时间间隔内的最大行走距离的轨迹片段形成图像轨迹；

S5、将每一条图像轨迹中的节点代入投影矩阵，得到每条图像轨迹的轨迹点的坐标；

S6、根据手机传感器数据，采用无线信号与PDR融合算法绘制行人无线轨迹，并每隔采样间隔对行人无线轨迹进行采样，得到若干采样点的坐标；

S7、根据图像轨迹上轨迹点及行人无线轨迹上采样点的坐标，采用DTW算法进行轨迹相似度匹配得到累计距离值；

S8、当所有图像轨迹均已进行DTW匹配时，选取所有图像轨迹中与行人无线轨迹的累计距离值最小的图像轨迹作为目标用户的轨迹。

进一步地，步骤S3进一步包括：

S31、计算下一帧图像中的所有行人检测点与上一帧图像中所有行人检测点作为的父节点间的距离；

S32、判断是否存在仅有一个行人检测点与一个父节点间的距离满足最大位移约束，若存在，则进入步骤S33，否则进入步骤S34；

S33、将行人检测点与其对应的父节点相连形成轨迹片段，并更新其为父节点；

S34、将行人检测点扩展为父节点作为新的轨迹片段；

S35、判断每个轨迹片段中包含的行人检测点个数是否大于等于两个，若是进入步骤S36，否则返回步骤S31；

S36、采用轨迹片段中的父节点、父节点的上一个节点及下一帧图像中的行人检测点的位置坐标计算行人速度代价和航向改变代价；

S37、采用行人速度代价和航向改变代价计算综合代价；

S38、判断下一帧图像中是否存在至多有一个行人检测点使得综合代价满足预设阈值；若存在，则进入步骤S33，否则进入步骤S34。

进一步地，所述行人速度代价Q_s的计算公式为：

所述航向改变代价Q_d的计算公式为：

其中，C_i+1,j为轨迹片段中的父节点的位置坐标；C_i,j为轨迹片段中的父节点的上一个节点的位置坐标；C_i+2,j为下一帧图像中的行人检测点的位置坐标。

进一步地，所述综合代价Q的计算公式为：

Q(C_i+2,j,C_i+1,jC_i,j)＝w_dQ_d+w_sQ_s

其中，w_s与w_d分别为速度和航向所占权重。

进一步地，所述投影矩阵的获取方法包括：

构建地面坐标和图像坐标满足投影变换关系式：

其中，为投影矩阵，(x,y)为图像坐标，(X,Y)为参考点局部地面坐标，其可由卫星定位工具得到；

采用N个地面参考点，构建测量方程：

采用投影变换关系式和测量方程求解投影矩阵。

进一步地，所述累计距离值的计算公式为：

其中，γ(i,j)图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j之间的累计距离；d(i,j)为图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j之间的距离；d(i,j)＝(V_i-P_j)²，γ(i-1,j-1)为图像轨迹中轨迹坐标点V_i-1和行人无线轨迹的采样点P_j-1之间的累计距离；

γ(i-1,j)为图像轨迹中轨迹坐标点V_i-1和行人无线轨迹的采样点P_j之间的累计距离；γ(i,j-1)为图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j-1之间的累计距离。

进一步地，所述无线数据为wifi数据。

本发明的有益效果为：本方案采用视频图像与无线定位数据的相互结合，在行人识别与跟踪时不需要事先确定目标用户，利用手机传感器与无线数据绘制的行人无线轨迹及从视频图像中提取的图像轨迹进行DTW匹配找到目标用户的轨迹，从而达到快速从视频图像中的众多人员中找到目标用户。

在目标用户识别过程中首先采用无线数据先确定小的定位区域，这样在识别过程中只需要提取覆盖该定位区域的视频序列即可，减少不必要的匹配过程，降低复杂度；轨迹匹配过程中，选用DTW算法进行图像轨迹与行人无线轨迹匹配，解决了行人检测点和图像定位点数目不统一的问题。

附图说明

图1为基于视频图像与无线信号的行人识别与跟踪方法的流程图。

图2为轨迹片段生成方法的流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

参考图1，图1示出了基于视频图像与无线信号的行人识别与跟踪方法的流程图；如图1所示，该方法S包括步骤S1至步骤S8。

在步骤S1中，接收目标用户的定位数据，并根据其无线数据确定定位区域；本方案优选无线数据为wifi数据，由于目标用户发出的无线数据的损耗特性，其仅能覆盖一个小区域，采用其进行定位区域的确定，能够准确选取行人运动过程的监控视频的同时还能够减少图像数据的处理，降低了行人识别过程中的复杂度。

在步骤S2中，提取目标用户的手机传感器数据及以设定阈值为时间窗口，提取定位数据上传时间段内覆盖定位区域的监控视频序列。

实施时，若图像采集设置成1秒采集2帧，用户手机传感器扫描间隔为20毫秒时，设定阈值可以选取10秒。

在步骤S3中，根据监控视频序列中相邻两帧图像，将图像中的行人检测点按时间顺序分类连接，形成若干轨迹片段。

参考图2，图2示出了步骤S3中的轨迹片段生成方法的流程图；如图2所示，步骤S3形成轨迹片段的方法包括步骤S31至步骤S32。

在步骤S31中，计算下一帧图像中的所有行人检测点与上一帧图像中所有行人检测点作为的父节点间的距离；本步骤中，需要计算下一帧图像中的所有行人检测点与上一帧图像中每一个父节点之间的距离。

在步骤S32中，判断是否存在仅有一个行人检测点与一个父节点间的距离满足最大位移约束，若存在，则进入步骤S33，否则进入步骤S34；

在步骤S33中，将行人检测点与其对应的父节点相连形成轨迹片段，并更新其为父节点；

在步骤S34中，将行人检测点扩展为父节点作为新的轨迹片段；

在步骤S35中，判断每个轨迹片段中包含的行人检测点个数是否大于等于两个，若是进入步骤S36，否则返回步骤S31；

在步骤S36中，采用轨迹片段中的父节点、父节点的上一个节点及下一帧图像中的行人检测点的位置坐标计算行人速度代价和航向改变代价；

其中，所述行人速度代价Q_s的计算公式为：

所述航向改变代价Q_d的计算公式为：

其中，C_i+1,j为轨迹片段中的父节点的位置坐标；C_i,j为轨迹片段中的父节点的上一个节点的位置坐标；C_i+2,j为下一帧图像中的行人检测点的位置坐标。

在步骤S37中，采用行人速度代价和航向改变代价计算综合代价；

在步骤S38中，判断下一帧图像中是否存在至多有一个行人检测点使得综合代价满足预设阈值；若存在，则进入步骤S33，否则进入步骤S34。

实施时，本方案优选综合代价Q的计算公式为：

Q(C_i+2,j,C_i+1,jC_i,j)＝w_dQ_d+w_sQ_s

其中，w_s与w_d分别为速度和航向所占权重。

在步骤S4中，根据时间顺序，连接时间邻近且两轨迹片段首节点与尾节点间距离小于行人在该时间间隔内的最大行走距离的轨迹片段形成图像轨迹；

即若第i个轨迹片段的尾节点与第j个轨迹片段的首节点时间相近，并且二者距离小于行人在尾节点与首节点之间的时间间隔内的最大行走距离，则将第i个轨迹片段与第j个轨迹片段连接起来。

在步骤S5中，将每一条图像轨迹中的节点代入投影矩阵，得到每条图像轨迹的轨迹点的坐标；使得每一条图像轨迹包含m个坐标点，记第i条图像轨迹为V_i＝(v_i1,v_i2,…,v_im)。其中所述投影矩阵的获取方法包括：

构建地面坐标和图像坐标满足投影变换关系式：

其中，为投影矩阵，(x,y)为图像坐标，(X,Y)为参考点局部地面坐标，其可由卫星定位工具得到；

采用N个地面参考点，构建测量方程：

采用投影变换关系式和测量方程求解投影矩阵。

在步骤S6中，根据手机传感器数据，采用无线信号与PDR融合算法绘制行人无线轨迹，并每隔采样间隔对行人无线轨迹进行采样，得到若干采样点的坐标。其中的采样间隔可以选取2秒，采样得到的n个坐标点记为P＝(p₁,p₂,…,p_n)。

由于用户的手机传感器数据与无线信号的唯一性，使得通过两者绘制出的轨迹能够准确表征目标用户的运动轨迹。

在步骤S7中，根据图像轨迹上轨迹点及行人无线轨迹上采样点的坐标，采用DTW算法进行轨迹相似度匹配得到累计距离值；所述累计距离值的计算公式为：

其中，γ(i,j)图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j之间的累计距离；d(i,j)为图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j之间的距离；d(i,j)＝(V_i-P_j)²，γ(i-1,j-1)为图像轨迹中轨迹坐标点V_i-1和行人无线轨迹的采样点P_j-1之间的累计距离；

γ(i-1,j)为图像轨迹中轨迹坐标点V_i-1和行人无线轨迹的采样点P_j之间的累计距离；γ(i,j-1)为图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j-1之间的累计距离。

在步骤S8中，当所有图像轨迹均已进行DTW匹配时，选取所有图像轨迹中与行人无线轨迹的累计距离值最小的图像轨迹作为目标用户的轨迹。

综上所述，本发明提供的方法不需要事先确定目标用户，仅利用视频图像中提取的图像轨迹及手机传感器与无线数据绘制行人无线轨迹，通过轨迹形状的相似度匹配就能够在视频图像中识别出目标用户并进行跟踪。

Claims (7)

1.基于视频图像与无线信号的行人识别与跟踪方法，其特征在于，包括：

S1、接收目标用户的定位数据，并根据其无线数据确定定位区域；

S2、提取目标用户的手机传感器数据及以设定阈值为时间窗口，提取定位数据上传时间段内覆盖定位区域的监控视频序列；

S3、根据监控视频序列中相邻两帧图像，将图像中的行人检测点按时间顺序分类连接，形成若干轨迹片段；

S4、根据时间顺序，连接时间邻近且两轨迹片段首节点与尾节点间距离小于行人在该时间间隔内的最大行走距离的轨迹片段形成图像轨迹；

S5、将每一条图像轨迹中的节点代入投影矩阵，得到每条图像轨迹的轨迹点的坐标；

S6、根据手机传感器数据，采用无线信号与PDR融合算法绘制行人无线轨迹，并每隔采样间隔对行人无线轨迹进行采样，得到若干采样点的坐标；

S7、根据图像轨迹上轨迹点及行人无线轨迹上采样点的坐标，采用DTW算法进行轨迹相似度匹配得到累计距离值；

S8、当所有图像轨迹均已进行DTW匹配时，选取所有图像轨迹中与行人无线轨迹的累计距离值最小的图像轨迹作为目标用户的轨迹。

2.根据权利要求1所述的行人识别与跟踪算法，其特征在于，步骤S3进一步包括：

S31、计算下一帧图像中的所有行人检测点与上一帧图像中所有行人检测点作为的父节点间的距离；

S32、判断是否存在仅有一个行人检测点与一个父节点间的距离满足最大位移约束，若存在，则进入步骤S33，否则进入步骤S34；

S33、将行人检测点与其对应的父节点相连形成轨迹片段，并更新其为父节点；

S34、将行人检测点扩展为父节点作为新的轨迹片段；

S35、判断每个轨迹片段中包含的行人检测点个数是否大于等于两个，若是进入步骤S36，否则返回步骤S31；

S36、采用轨迹片段中的父节点、父节点的上一个节点及下一帧图像中的行人检测点的位置坐标计算行人速度代价和航向改变代价；

S37、采用行人速度代价和航向改变代价计算综合代价；

S38、判断下一帧图像中是否存在至多有一个行人检测点使得综合代价满足预设阈值；若存在，则进入步骤S33，否则进入步骤S34。

3.根据权利要求2所述的行人识别与跟踪算法，其特征在于，所述行人速度代价Q_s的计算公式为：

所述航向改变代价Q_d的计算公式为：

其中，C_i+1,j为轨迹片段中的父节点的位置坐标；C_i,j为轨迹片段中的父节点的上一个节点的位置坐标；C_i+2,j为下一帧图像中的行人检测点的位置坐标。

4.根据权利要求3所述的行人识别与跟踪算法，其特征在于，所述综合代价Q的计算公式为：

Q(C_i+2,j,C_i+1,jC_i,j)＝w_dQ_d+w_sQ_s

其中，w_s与w_d分别为速度和航向所占权重。

5.根据权利要求1所述的行人识别与跟踪算法，其特征在于，所述投影矩阵的获取方法包括：

构建地面坐标和图像坐标满足投影变换关系式：

其中，为投影矩阵，(x,y)为图像坐标，(X,Y)为参考点局部地面坐标，其可由卫星定位工具得到；

采用N个地面参考点，构建测量方程：

采用投影变换关系式和测量方程求解投影矩阵。

6.根据权利要求1所述的行人识别与跟踪算法，其特征在于，所述累计距离值的计算公式为：

其中，γ(i,j)图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j之间的累计距离；d(i,j)为图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j之间的距离；d(i,j)＝(V_i-P_j)²，γ(i-1,j-1)为图像轨迹中轨迹坐标点V_i-1和行人无线轨迹的采样点P_j-1之间的累计距离；

γ(i-1,j)为图像轨迹中轨迹坐标点V_i-1和行人无线轨迹的采样点P_j之间的累计距离；γ(i,j-1)为图像轨迹中轨迹坐标点V_i和行人无线轨迹的采样点P_j-1之间的累计距离。

7.根据权利要求1-6任一所述的行人识别与跟踪算法，其特征在于，所述无线数据为wifi数据。