CN110796040A - 一种基于多元空间轨迹关联的行人身份识别方法 - Google Patents

Abstract

本发明公开了一种基于多元空间轨迹关联的行人身份识别方法，本发明基于行人对象在多元空间的身份属性相互佐证，互为补充的特点，提出将视频空间与地理空间的信息融合，并通过轨迹关联的方式进行不同域空间信息的相似性度量。首先根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像，再利用隐马尔可夫模型理论(HMM)对图像路径建立隐马尔可夫模型，最后使用维特比算法找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。在大规模开放场景下进行行人身份识别的问题中，本发明方法能够大大提升计算准确率。

Description

一种基于多元空间轨迹关联的行人身份识别方法

技术领域

本发明属于监控视频检索技术领域，涉及一种行人身份识别方法，具体涉及一种多元轨迹关联的行人身份识别方法。

技术背景

随着监控视频在公安业务的广泛应用，从视频录像中发现案件线索、追踪嫌疑目标的视频侦查技术已成为继刑事技术、行动技术、网侦技术之后侦查破案的第四大技术手段，在案件侦破中发挥着日益重要的作用。目前行人重识别技术作为视频侦查技术的主要技术之一发展迅速，其主要关注行人的外观特征进行度量计算。但在真实的侦查环境中，需要从大范围的搜索场景下检索目标人员，在大范围的搜索场景下，监控摄像机覆盖范围广，监控背景变化大；监控时间跨度大，同一行人由于姿态变化导致外观变化较大；在监控场景下存在大量无关人员，他们可能与目标人员具有相似的外观特征：实际监控场景下的上述特点给行人身份识别带来巨大的挑战。

传统的身份识别方法(文献1、文献2、文献3)利用监控视频内容进行分析，是指在无覆盖的摄像机视角下在图像候选库中检索与查询图像包含同一个行人的图像，分为基于行人外观特征和基于时空约束的身份识别方法。基于行人外观特征的方法旨在寻求鲁棒和稳定的视觉特征或者为这些特征找到合适的度量方法，然而由于在搜索场景下，无关人员可能由于服饰和姿态一致性与目标人员由相似的外观，相同的人可能由于姿态和背景变化导致外观差异较大，因此基于行人外观特征的身份识别方法难以突破其面临的技术障碍。基于时空约束的行人身份识别方法关注行人在不同摄像头下的时空转移模式，忽视了视觉数据和时空数据的强关联关系，由于现有的带有时空信息的训练数据是非有限，识别性能极易受到影响；此外，在长时间的跨度下，同一行人极有可能反复出现在同一个摄像机下，在统计时空转移规律时容易产生较大的计算误差。因此，只利用监控视频信息进行分析难以应对在大范围搜索场景下带来的特殊挑战，需要在监控视频信息之外添加新的要素协同进行行人身份识别。

在大数据时代，人们获取信息的途径变得多种多样。比如监控视频能够跟踪行人的视觉图像；移动设备可以跟踪行人的地理位置等。行人对象在多元空间具有多元身份属性，根据对象行为的时空一致性规律，行人对象的行为在视频图像、地理空间等多元空间中相互佐证、互为补充，具有多源、多域等特点。因此，有望通过不同域空间(视频空间和地理空间)信息融合的方法进行行人身份识别。然而，传统视频图像等单域空间的属性信息结构性质相同，可以直接进行相似度计算，但视频图像与地理信息属于不同域空间属性，之间却发现是关系，异域空间属性之间的融合变得非常困难。对于这种情况，需要把视频图像和地理信息转化成同一维度下的信息再进行度量。

[文献1]Qian X,Fu Y,Jiang Y G,et al.Multi-scale Deep LearningArchitectures for Person Re-identification[J].2017.

[文献2]Wang G,Lai J,Huang P,et al.Spatial-Temporal Person Re-identification[J].2018.

[文献3]Lv J,Chen W,Li Q,et al.Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns[J].2018.

发明内容

为了解决上述技术问题，本发明提供了一种多元空间轨迹关联的行人身份识别方法。

本发明所采用的技术方式是：一种基于多元空间轨迹关联的行人身份识别方法，其特征在于，包括以下步骤：

步骤1：根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像；

步骤2：利用隐马尔可夫模型理论对图像路径建立隐马尔可夫模型；

步骤3：使用维特比算法找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。

本发明解决了在长距离、范围广、非目标人数多的大规模搜索场景下检索目标人物的问题，并且利用行人对象在图像空间、地理空间等多元空间行为轨迹的时空一致性规律进行相似性度量计算。

本发明针对不同域空间数据异质异构、难以直接度量的问题，提出一种全新的多元空间对象关联的方法。在该模型下，能够在已知观测路径(地理路径)的条件下挖掘隐藏的最大概率的图像路径，从而准确定位目标人物的身份。

本发明根据轨迹相似度排序计算识别准确率，现有方法仅考虑单个点上的识别率，本发明同时考虑轨迹上各个点上全局识别准确率，采用CMC曲线中的Rank-1的计算和mAP值作为轨迹识别准确率的综合评价指标。

本发明提供的身份识别方法具有以下优点和积极效果：

(1)与传统的身份识别技术相比，本发明解决了一个新问题，即在大规模搜索场景下检索目标行人图像的问题。

(2)与传统的针对监控视频内容分析的技术相比，本发明提出了将监控视频空间与地理空间信息融合分析进行行人身份识别。

(3)与传统的多元数据融合的技术相比，本发明提出通过异域轨迹关联的方法进行多元数据融合。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明做进一步的详细描述，应当理解，此处所描述的实施实例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2，本发明提供的一种基于多元空间轨迹关联的行人身份识别方法，包括以下步骤：

步骤1：根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像；

本实施例中，根据移动设备信号路径提取摄像机网络下符合时间约束的全部图像，并检索已知路径上的监控点信息；

移动设备信号路径p由GPS定位信息(Lng_i，Lat_i)和时间戳信息t_i两种信息进行描述，形式如下：

p＝{(Lng₁，Lat₁，t₁)，(Lng₂，Lat₂，t₂)，...，(Lng_i，Lat_i，t_i)…，(Lng_e，Lat_e，t_e)}；

其中，Lng_i表示定位点的经度，Lng_i表示定位点的纬度。

提取摄像机网络下符合时间约束的全部图像和检索已知路径上的监控点信息，具体实现包括以下子步骤：

步骤1.1：获取移动设备信号路径的起点时间t₁和终点时间t_e，在摄像机网络下提取在[t₁，t_e]时间段内被捕捉的图像，形成候选集；

步骤1.2：遍历移动设备信号路径下的每一个定位点信息，以定位点为圆心，半径为50米，搜索覆盖范围内的摄像头，将移动设备信号路径转化成摄像机网络下的摄像机序列；表示形式如下：

c_k＝{i-c_j|1≤i≤n，1≤j≤N}；

其中，i表示路径监控点索引，c_k第k条移动设备信号路径的监控点序列，c_j表示在监控点序列中的第j个监控摄像机；j表示摄像机网络下的摄像机索引，n表示地理路径上的监控点数量，N表示摄像机网络下的摄像机数量。

步骤2：利用隐马尔可夫模型理论对图像路径建立隐马尔可夫模型；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1：计算隐藏状态转移概率矩阵集合；

隐藏状态转移概率矩阵集合A是由移动设备信号路径对应的摄像机序列中每两个相邻的摄像机间的状态转移概率矩阵组成；

A＝{[s_pq]_γ|1≤γ≤n-1}；

其中γ表示状态转移矩阵的索引，n表示已知路径上的监控点数，[s_pg]表示转移概率矩阵，由两个相邻监控点下的状态转移概率组成；

状态转移概率是指候选集中任意两张图像的视觉相似度，用

表示，

表示地理路径上第i-1个监控点下的第p张图像，

表示地理路径上第i个监控点下的第q张图像；

其中，表示图像

经过DenseNet卷积神经网络提取的视觉特征。

步骤2.2：计算初始概率矩阵；

初始状态概率矩阵π由第一个监控点下每个图像的初始概率组成；

π＝{π_t|1≤t≤m}；

其中m表示在第一个监控点下的状态(图像)数量，π_t表示每一个状态(图像)是目标人物图像的概率。初始状态概率是指在第一个监控点下的图像是目标人物图像的概率。

初始化每个待查对象是目标对象的概率相同，即

其中m表示第1个监控点下的图像数量。

步骤2.3：计算观测概率矩阵；

观测概率矩阵B是指当前状态(图像)生成可观测状态(监控点)的概率；

其中，S_i表示当前图像，

为被第i个监控点捕捉的第q张图像；的含义为在已知路径上当前监控点的状态是

的条件下，被摄像机c_j捕捉的概率；

观测概率表示当前图像为

时，产生观测结果为i-c_j的概率；如果图像

是被观测点i-c_j捕捉，记观测概率为1，否则记观测概率为0；

即：

步骤2.4：建立隐马尔可夫模型λ；

λ＝(A,B,π)。

步骤3：使用维特比算法找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。

本实施例中，步骤3的具体实现包括以下子步骤：

步骤3.1：计算图像路径的关联概率；

图像路径的关联概率是指在当前第i个监控点下，每一个状态(图像)

与已知路径关联时的最大概率，可用δ_i(q)表示；当前第i个监控点下每一个状态(图像)的最大概率路径来源可用φ_i(q)记录。

步骤3.2：图像路径回溯；

图像路径回溯是指在对移动设备信号路径上每一个监控点下的每一个状态(图像)计算完毕之后，概率值最大的路径即为对应的图像路径；

根据步骤3.1记录的每一个状态的最大概率路径来源逆向回溯，确定图像路径信息，用index＝{index_i|1≤i≤n}表示；

步骤3.3：输出的图像路径即为目标行人的图像路径，描述为

该图像路径在第一个监控点下的图像就是目标人物对应的影像。

本发明采用CMC曲线中Rank-1和mAP作为识别效果评价指标；

Rank-1＝cn/N*100％。

其中，cn表示N次查询中，排第一位的检测结果是正确行人对象的次数，AP_i表示第i次查询，检索出的结果中正确的行人图像数所占的比例。

需要说明的是，现有的行人重识别方法也将CMC曲线和mAP作为评价标准，但在本发明，CMC曲线是不是针对的某一个单个的图像对象，而是针对经过整条图像路径上的该对象的第一排名。

本实施例采用python3.6作为仿真实验平台，在公开数据集Market1501上进行测试。由于当前没有一个数据集同时包含视频图像信息和地理位置信息，因此对该数据集进行了标注并重新命名为Market-PDD。Market-PDD数据集共有147条地理轨迹和12,722张视频图像，每条地理轨迹对应有一个待检索的目标人物，在该轨迹被检测的时间段内出现的视频图像构成一组候选集合。将147组数据随机分为71组训练数据，76组测试数据进行实验验证。本发明与传统利用监控视频信息搜索目标人物的方法(ResNet,PCB,DenseNet)进行对比，这些方法根据行人图像的外观相似度排序找到与目标人物相似的图像，根据图像的时间信息排序连接成摄像机序列，最后计算求得的摄像机序列与已知轨迹的摄像机序列的匹配个数，根据排序结果确定目标人物的图像轨迹。本发明方法与上述方法的对比结果如表1所示。从表1可以发现，本发明方法较现有的技术在Rank-1识别准确率和mAP准确率上都有很大提升。

表1在Market-PDD上的对比结果

本发明基于行人对象在多元空间的身份属性相互佐证，互为补充的特点，提出将视频空间与地理空间的信息融合，并通过轨迹关联的方式进行不同域空间信息的相似性度量。首先根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像，再利用隐马尔可夫模型理论(HMM)对图像路径建立隐马尔可夫模型，最后使用维特比算法找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。在大规模开放场景下进行行人身份识别的问题中，本发明方法能够大大提升计算准确率。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多元空间轨迹关联的行人身份识别方法，其特征在于，包括以下步骤：

步骤1：根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像；

步骤2：对图像路径建立隐马尔可夫模型；

步骤3：找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。

2.根据权利要求1所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于：步骤1中，根据移动设备信号路径提取摄像机网络下符合时间约束的全部图像，并检索已知路径上的监控点信息；

所述移动设备信号路径p由GPS定位信息(Lng_i,Lat_i)和时间戳信息t_i两种信息进行描述，形式如下：

p＝{(Lng₁,Lat₁,t₁),(Lng₂,Lat₂,t₂),...,(Lng_i,Lat_i,t_i)...,(Lng_e,Lat_e,t_e)}；

其中，Lng_i表示定位点的经度，Lng_i表示定位点的纬度；

所述提取摄像机网络下符合时间约束的全部图像和检索已知路径上的监控点信息，具体实现包括以下子步骤：

步骤1.1：获取移动设备信号路径的起点时间t₁和终点时间t_e，在摄像机网络下提取在[t₁,t_e]时间段内被捕捉的图像，形成候选集；

步骤1.2：遍历移动设备信号路径下的每一个定位点信息，以定位点为圆心，半径为50米，搜索覆盖范围内的摄像头，将移动设备信号路径转化成摄像机网络下的摄像机序列；表示形式如下：

c_k＝{i-c_j|1≤i≤n,1≤j≤N}；

其中，i表示路径监控点索引，c_k第k条移动设备信号路径的监控点序列，c_j表示在监控点序列中的第j个监控摄像机；j表示摄像机网络下的摄像机索引，n表示地理路径上的监控点数量，N表示摄像机网络下的摄像机数量。

3.根据权利要求2所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：计算隐藏状态转移概率矩阵集合；

所述隐藏状态转移概率矩阵集合A是由移动设备信号路径对应的摄像机序列中每两个相邻的摄像机间的状态转移概率矩阵组成；

A＝{[s_pq]_γ|1≤γ≤n-1}；

其中γ表示状态转移矩阵的索引，n表示已知路径上的监控点数，[s_pq]表示转移概率矩阵，由两个相邻监控点下的状态转移概率组成；

所述状态转移概率是指候选集中任意两张图像的视觉相似度，用表示，

表示地理路径上第i-1个监控点下的第p张图像，

表示地理路径上第i个监控点下的第q张图像；

步骤2.2：计算初始概率矩阵；

所述初始状态概率矩阵π由第一个监控点下每个图像的初始概率组成；

π＝{π_t|1≤t≤m}；

其中m表示在第一个监控点下的图像数量，π_t表示每一个图像是目标人物图像的概率；所述初始状态概率是指在第一个监控点下的图像是目标人物图像的概率；

步骤2.3：计算观测概率矩阵；

所述观测概率矩阵B是指当前图像生成可观测监控点的概率；

其中，S_i表示当前图像，

为被第i个监控点捕捉的第q张图像；

的含义为在已知路径上当前监控点的状态是的条件下，被摄像机c_j捕捉的概率；

步骤2.4：建立隐马尔可夫模型λ；

λ＝(A,B,π)。

4.根据权利要求3所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于：步骤2.1中，

其中，

表示图像

经过DenseNet卷积神经网络提取的视觉特征。

5.根据权利要求3所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于：步骤2.2中，初始化每个待查对象是目标对象的概率相同，即

其中m表示第1个监控点下的图像数量。

6.根据权利要求3所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于：步骤2.3中，观测概率表示当前图像为

时，产生观测结果为i-c_j的概率；如果图像

是被观测点i-c_j捕捉，记观测概率为1，否则记观测概率为0；

即：

7.根据权利要求2所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：计算图像路径的关联概率；

所述图像路径的关联概率是指在当前第i个监控点下，每一个图像

与已知路径关联时的最大概率，用δ_i(q)表示；当前第i个监控点下每一个图像

的最大概率路径来源用φ_i(q)记录；

步骤3.2：图像路径回溯；

所述图像路径回溯是指在对移动设备信号路径上每一个监控点下的每一个图像计算完毕之后，概率值最大的路径即为对应的图像路径；

根据步骤3.1记录的每一个状态的最大概率路径来源逆向回溯，确定图像路径信息，用index＝{index_i|1≤i≤n}表示；

步骤3.3：输出的图像路径即为目标行人的图像路径，描述为

该图像路径在第一个监控点下的图像就是目标人物对应的影像。

8.根据权利要求7所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于：步骤3.1中，通过维特比动态规划算法计算到每一层观测点时的最大概率的图状态转移方式，经过迭代计算获得在已知移动设备信号路径上概率最大的图像路径；

在每一层计算时记录到当前状态的最大路径概率δ_i(q)和最大概率的状态来源φ_i(q)；δ_i(q)、φ_i(q)，在i≥2时按照如下方式计算：

其中，u,v分别表示第i-1,i个监控点下的图像数量；特别地，当i＝1时，初始化δ₁(q)、φ₁(q)为φ₁(q)＝0。

9.根据权利要求7所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于：步骤3.2中，通过路径回溯的方式找到在每一个监控点下目标人物的图像，即index_i＝φ_i+1(index_i+1),i＝n-1,n-2,.1.；其中，当i＝n时，index_n＝argmax[δ_n(q)]；获得的结果是目标对象在每个监控点下的图像索引，分别输出索引对应的图像即能获得已知路径下的图像路径。

10.根据权利要求7所述的摄像头网络下基于多元空间轨迹关联的行人身份识别方法，其特征在于：采用CMC曲线中Rank-1和mAP作为识别效果评价指标；

Rank-1＝cn/N*100％。

其中，cn表示N次查询中，排第一位的检测结果是正确行人对象的次数，AP_i表示第i次查询，检索出的结果中正确的行人图像数所占的比例。

Images