CN110738167B - 一种基于多域空间属性关联分析的行人辨识方法 - Google Patents

Abstract

本发明公开了一种基于多域空间属性关联分析的行人辨识方法。首先，将相似性度量转化为对象的差异性分布计算，统计真实和虚假对象视觉相似度概率差异性分布，利用分布的可分离性确定两个分布最大可分阈值；然后根据真实/虚假对象可分性阈值计算对象在已知手机信号轨迹下的联合概率，利用联合概率度量对象属性间的关联性；根据联合概率排序确定身份属性与对象跟身份的强关联映射关系。本发明公开的方法在两个数据集上的测试结果证明该方法的有效性，相较无监督条件下的行人辨识技术有较大提升。

Description

一种基于多域空间属性关联分析的行人辨识方法

技术领域

本发明属于视频分析技术领域，尤其涉及一种基于监控视频和移动设备信号轨迹的多域空间属性关联分析的行人辨识技术。

背景技术

在案件侦查中，侦查员需要根据指定行人对象在多摄像头下的活动画面和轨迹来快速排查、追踪和锁定嫌疑目标，因此监控视频分析在案件侦破中发挥着至关重要的作用。然而，在实际的侦查环境中，嫌疑对象的往往会伪装自己的外观，使自己与其他行人具有不易分辨的视觉特征；城区监控环境下，由于图像分辨率变化、行人遮挡、姿态变化、光照变化等因素使行人辨识的条件变得复杂；在实际的监控环境中，难以标记大量的训练数据：实际应用中存在的上述问题使行人辨识技术面临着巨大挑战。

现有的行人辨识方法(文献1、文献2)是指在无覆盖的摄像机间检索与查询图像包含统一行人的图像，关于找到鲁棒和稳定的视觉特征或者寻求在源域和目标域之间的平衡找到合适的特征表示和度量方法。而在侦查场景下，嫌疑对象的外观特征极有可能经过伪装，使在监控中与其他人拥有极为相似的外观表现；行人姿态变化，图像分辨率变化和光照变化等原因使得查询图像与检索图像在计算尺度失配情况下存在行人辨识计算误差；由于源域和目标域的数据分布存在较大差异，通过模型迁移来解决训练样本不足的方法具有较大的使用局限：因此，仅通过监控视频分析实现行人辨识的方法难以突破其在实际应用中面临的技术障碍。

[1].Lv J,Chen W,Li Q,et al.Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns[J].In:IEEEConference on Computer Vision and Pattern Recognition(CVPR).2018.

[2].N.Jiang,et al.:Online Inter-Camera Trajectory AssociationExploiting Person[J].In:ACM International Conference on Multimedia(ACM MM).(2018)

为了克服上述技术瓶颈，部分研究者尝试通过多源数据融合的方式进行行人辨识。现有的基于数据融合的行人辨识方法(如中国专利一种时空约束的监控视频行人重识别结果的二次优化方法、一种多源大数据融合的视频监控行人身份识别方法)是在传统行人重识别的基础上融合时空规律对行人重识别的结果进行二次优化或者从多个维度计算重现概率然后进行概率融合。但是在行人重识别结果上进行时空规律约束极易受到视觉计算结果的影响，从而影响视觉与时空的联合概率；多维度计算重现概率的方法分别计算已知路径上的信号重现与行人重现概率，忽视了对象在不同空间属性的时空一致性规律和已知监控序列的时序信息，从而影响计算准确率：因此，需要建立更有效的强关联规则建立属性与根身份间的强关联关系映射。

发明内容

针对现有技术存在的不足，本发明提供了一种基于监控视频和移动设备信号轨迹的多域空间属性关联分析的行人辨识技术。该方法面向实际侦查环境中在大规模无标注对象中搜索目标行人的需求，提出一种新的无监督条件下的检索方法。利用对象在不同域空间内身份属性具有时空一致性和对象间视觉相似度的分布的差异性，将物理空间属性(监控视频)和网络空间属性(移动设备信号)关联分析，通过构建多元空间身份属性强关联映射，达到行人辨识的效果。首先，将相似性度量转化为对象的差异性分布计算，统计真实和虚假对象视觉相似度概率差异性分布，利用分布的可分离性确定两个分布最大可分阈值；然后根据真实和虚假对象可分性阈值计算对象在已知移动设备信号轨迹下的联合概率，利用联合概率度量对象属性间的关联性；根据联合概率排序确定身份属性与对象跟身份的强关联映射关系。本发明流程图见附图1。本发明公开的方法在两个数据集上的测试结果证明该方法的有效性，相较无监督条件下的行人辨识技术有较大提升。

本发明所采用的技术方案是：一种基于监控视频和移动设备信号轨迹的多域空间属性关联分析的行人辨识技术，其具体实现包括以下步骤：

步骤1，根据移动设备信号轨迹检索已知路径上的监控点信息，并结合监控视频提取符合时间约束的图像；

步骤2，真实和虚假对象相似度差异性分布统计及计算，确定将真实对象和虚假对象最大程度区分开的相似度阈值；

步骤3，然后根据真实和虚假对象可分性阈值计算对象在已知移动设备信号轨迹下的联合概率，利用联合概率度量对象属性间的关联性，包括以下子步骤；

步骤3.1，首先计算局部关联概率，所述局部关联概率是指根据查询图像与检索图像的视觉相似度建立查询图像与监控点c_j的局部关联关系下真实出现的概率，描述为

其中i表示路径监控点索引，c_j表示移动设备路径中的第j个监控点，

表示被编号为0的摄像机捕捉到的第p张行人图像；

步骤3.2，然后计算联合概率，所述联合概率计算是指计算查询图像

与已知移动设备信号轨迹tra的强关联映射概率，描述为

步骤4，根据联合概率排序，确定行人辨识结果。

进一步的，步骤2的具体实现包括如下子步骤；

步骤2.1，所述视觉概率模型建立是指建立图像视觉相似度的度量标准，描述为

其含义为两张图像包含同一行人的概率；其中，

表示被编号为m的摄像机捕捉到的第p张行人图像，

表示被编号为n的摄像机捕捉到的第q张行人图像；

其中

分别表述图像

和图像

的视觉特征，由Resnet50卷积神经网络提取得到；

步骤2.2，所述真实和虚假对象序列差异性分布统计是指根据视觉相似度统计真实对象和虚假对象在已知移动设备信号轨迹上的视觉概率分布规律，真实和虚假对象相似度概率密度分布分别描述为TR(x),FA(x)；

其中，μ_t表示真实对象视觉相似度的统计平均值，σ_t表示真实对象视觉相似度的统计方差；μ_f表示虚假对象视觉相似度的统计平均值，σ_f表示虚假对象视觉相似度的统计方差；

步骤2.3，所述概率分布的最大可分性计算是指根据概率密度函数的可分离性，基于贝叶斯分类方法，确定将真实对象和虚假对象最大程度区分开的相似度阈值；分布的可分性函数描述为

最大可分阈值描述为

其含义为使真实和虚假对象相似度分布可分程度最大的视觉相似度阈值。

进一步的，步骤1的具体实现方式如下，

移动设备信号轨迹tra由GPS定位信息Lng_i,Lat_i和时间戳信息t_i两种信息进行描述，Lng_i表示定位点的经度，Lat_i表示定位点的纬度；形式如下：

tra＝{(Lng₁,Lat₁,t₁),(Lng₂,Lat₂,t₂),...,(Lng_i,Lat_i,t_i)...,(Lng_e,Lat_e,t_e)}

检索已知路径上的监控点信息和结合监控视频提取符合时间约束的图像分别按照步骤1.1和步骤1.2进行；

步骤1.1，遍历地理路径下的每一个定位点信息，以定位点为圆心，半径为m米，搜索覆盖范围内的摄像头，将移动设备信号轨迹转化成摄像机序列，表示形式如下：

c_k＝{i-c_j|1≤i≤I,1≤j≤J}

其中，i表示路径监控点索引，j表示摄像机索引，I表示地理路径上检索到的监控点数量，J表示摄像机总数；

步骤1.2，针对检索到的摄像机序列中的每一个监控点i-c_j，获取移动设备信号轨迹在该监控点下的出现时间

和离开时间

在对应监控点的监控视频中提取在

时间段内被捕捉的图像，形成候选集。

进一步的，步骤2.2中真实和虚假对象视觉相似度的差异性分布服从正态分布。

进一步的，步骤2.3中基于贝叶斯分类方式构建差异性分布的可分模型，可分模型表达为

表示真实对象与虚假对像分布的可分性，其中

表示真实对象相似度大于

的概率，

表示虚假对象相似度大于

的概率，

越大，表示分布的差异性越大，可分性越强。

进一步的，步骤3.1中局部关联模型表示为：

其中，

表示被编号为0的摄像机捕捉到的第p张行人图像，

表示被编号为j的摄像机捕捉到的第q张行人图像，I表示地理路径上检测到的监控点数量；在监控点c_j中，如果存在与查询图像相似度大于阈值的图像，认为查询图像与该监控点的局部关联概率为1，否则为0。

进一步的，步骤3.2中联合概率表示为：

该式表示联合概率越大，表示查询图像是与已知移动设备信号轨迹关联性越强。

本发明解决的是实际侦查环境中在大规模无标注搜索范围中的行人辨识问题。因此，本发明方法提出了一种新的无监督的行人辨识方法，在该方法中，无需进行大量的数据标注，通过建立不同域空间属性(视频、移动设备信号轨迹)的关联关系，实现身份属性与对象跟身份的强关联关系映射，从而在已知路径上进行行人辨识。本发明提出的方法基于两个现象：对象在不同空间属性具有时空一致性；真实和虚假对象视觉相似度分布具有可分性。

与现有行人辨识技术与系统相比，本发明具有以下优点和有益效果：

(1)与现有技术相比，本发明解决了一个新问题，即解决的是多域空间属性混淆下的行人辨识问题。

(2)与现有技术相比，本发明提出了一个全新的基于对象多域空间属性融合分析的无监督行人辨识框架。

(3)与现有技术相比，本发明利用真实和虚假对象相似度的差异性分布和对象间多域空间属性具有时空一致性来展开多域空间属性混淆下的行人辨识工作。

附图说明

图1为本发明流程图。

图2为本发明的系统框架图。

图3为本发明实施例的三种方法在两个数据集上rank1命中率。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供了一种基于监控视频和移动设备信号轨迹的多域空间属性关联分析的行人辨识技术。该方法面向实际侦查环境中在大规模无标注对象中搜索目标行人的需求，提出一种新的无监督条件下的检索方法。利用对象在不同域空间内身份属性具有时空一致性和对象间视觉相似度的分布的差异性，将物理空间属性(监控视频)和网络空间属性(移动设备信号)关联分析，通过构建多元空间身份属性强关联映射，达到行人辨识的效果。首先，将相似性度量转化为对象的差异性分布计算，统计真实和和虚假对象视觉相似度概率差异性分布，利用分布的可分离性确定两个分布最大可分阈值；然后根据真实和虚假对象可分性阈值计算对象在已知移动设备信号轨迹下的联合概率，利用联合概率度量对象属性间的关联性；根据联合概率排序确定身份属性与对象跟身份的强关联映射关系。本发明流程图见附图1。本发明公开的方法在两个数据集上的测试结果证明该方法的有效性，相较无监督条件下的行人辨识技术有较大提升。

系统框架图请见附图2，本实施例采用python2.7作为实验平台，用公共数据集market1501训练集作为源数据集，公开数据集Duke-s和自建数据集Mul作为目标数据集进行测试。Market1501数据集包含6个摄像头751个行人的12936张图像，Duke-s数据集是在公开数据集duke数据集标注整理得到，包含8个摄像头下的675张行人图像；Mul数据集包含83个摄像头下1,330,815张行人图像和20名对象的32471条移动设备GPS信号记录，本实施例采用手机信号。以下针对上述实例对本发明做进一步的阐述，本发明的流程包括：

步骤1：数据预处理阶段。根据移动设备信号轨迹检索已知路径上的监控点信息，并结合监控视频提取符合时间约束的图像。所述移动设备信号轨迹tra由GPS定位信息(Lng_i,Lat_i)时间戳信息(t_i)两种信息进行描述，Lng_i表示定位点的经度，Lat_i表示定位点的纬度，形式如下：

tra＝{(Lng₁,Lat₁,t₁),(Lng₂,Lat₂,t₂),...,(Lng_i,Lat_i,t_i)...,(Lng_e,Lat_e,t_e)}

所述检索已知路径上的监控点信息和结合监控视频提取符合时间约束的图像分别按照步骤1.1和步骤1.2进行。

步骤1.1：遍历地理路径下的每一个定位点信息，以定位点为圆心，半径为50米，搜索覆盖范围内的摄像头，将移动设备信号轨迹转化成摄像机序列。表示形式如下：

c_k＝{i-c_j|1≤i≤I,1≤j≤J}

其中，i表示路径监控点索引，j表示摄像机索引，I表示地理路径上检索到的监控点数量，J表示摄像机总数。

步骤1.2：针对检索到的摄像机序列中的每一个监控点i-c_j，获取移动设备信号轨迹在该监控点下的出现时间

和离开时间

在对应监控点的监控视频中提取在

时间段内被捕捉的图像，形成候选集。

步骤2：真实和和虚假对象相似度差异性分布统计及计算。包括视觉概率模型建立、真实和虚假对象序列差异性分布统计、概率分布的最大可分性计算三个步骤，分别按照步骤2.1，步骤2.2，步骤2.3来进行。

步骤2.1：所述视觉概率模型建立是指建立图像视觉相似度的度量标准，可描述为

其含义为两张图像包含同一行人的概率。其中，

表示被编号为m的摄像机捕捉到的第p张行人图像，

表示被编号为n的摄像机捕捉到的第q张行人图像。

其中

分别表述图像

和图像

的视觉特征，由Resnet50卷积神经网络提取得到；

步骤2.2：所述真实和和虚假对象序列差异性分布统计是指根据视觉相似度统计真实对象和虚假对象在已知移动设备信号轨迹上的视觉概率分布规律。真实和虚假对象相似度概率密度分布可分别描述为TR(x),FA(x)。

其中，μ_t表示真实对象视觉相似度的统计平均值，σ_t表示真实对象视觉相似度的统计方差；μ_f表示虚假对象视觉相似度的统计平均值，σ_f表示虚假对象视觉相似度的统计方差；

步骤2.3：所述概率分布的最大可分性计算是指根据概率密度函数的可分离性，基于贝叶斯分类方法，确定将真实对象和虚假对象最大程度区分开的相似度阈值。分布的可分性函数可描述为

最大可分阈值可描述为

其含义为使真实和虚假对象相似度分布可分程度最大的视觉相似度阈值。

步骤3：属性联合概率度量。包括局部关联概率计算和联合概率计算两个步骤，分别按照步骤3.1和步骤3.2进行。

步骤3.1：所述局部关联概率是指根据查询图像与检索图像的视觉相似度建立查询图像与监控点c_j的局部关联关系下真实出现的概率，概率模型可描述为

其中，i表示路径监控点索引，c_j表示移动设备路径中的第j个监控点，

表示被编号为0的摄像机捕捉到的第p张行人图像，

表示被编号为j的摄像机捕捉到的第q张行人图像，I表示地理路径上检测到的监控点数量；

步骤3.2：所述联合概率计算是指计算查询图像

与已知移动设备信号轨迹tra的强关联映射概率，概率模型可描述为

步骤4：根据强关联映射概率排序，确定行人辨识结果。

把摄像头C₀作为起始点的查询集，输入一条待查移动设备GPS信号轨迹t，首先检索在轨迹t上的监控点，并获得对象监控点文件夹下的行人图像；然后提取摄像头下行人图像的深度特征(文献1)，根据视觉特征概率模型，求得初始排序结果，该方法称之为rank_feature，计算rank1的命中率；然后学习测试集上图像的时空模型(文献2)，将视觉特征与时空模型融合，求得排序结果，称为rank_tfusion，计算rank1的命中率；对真实和虚假对象相似度差异性分布进行可分性计算，确定最大可分的阈值

计算移动设备轨迹点的匹配概率进而确定全局的关联概率，称为rank_global，计算rank1命中率。三种方法在两个数据集上rank1命中结果见表1和图1。从图1可以发现，本发明的方法相较于视觉单域空间的行人辨识和时空融合的行人辨识在rank1命中率上有很大提升，也证明了利用真实和虚假对象视觉相似度分布差异和多域属性联合分析的方法对行人辨识的效果有很大提升，在多个目标数据集上测试效果都有提升，证明了本发明的方法具有较强普适性。

表1三种方法在两个数据集上rank1命中率

	market_duke-s	market_Mul
			rank_feature	31.91％	30.00％
rank_tfusion	23.40％	35.00％
			rank_global	80.00％	65.00％

[1]Z.Zheng,L.Zheng,and Y.Yang.A discriminatively learned cnnembedding for person re-identifification.In:ACM Transactions on MultimediaComputing Communication and Application TOMM(2017)

[2]Lv J,Chen W,Li Q,et al.Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns[J].In:IEEEConference on Computer Vision and Pattern Recognition(CVPR).2018.

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于多域空间属性关联分析的行人辨识方法，其特征在于，包括以下步骤：

步骤1，根据移动设备信号轨迹检索已知路径上的监控点信息，并结合监控视频提取符合时间约束的图像；

步骤2，真实和虚假对象相似度差异性分布统计及计算，确定将真实对象和虚假对象最大程度区分开的相似度阈值；

步骤3，根据真实和虚假对象相似度阈值计算对象在已知移动设备信号轨迹下的联合概率，利用联合概率度量对象属性间的关联性，包括以下子步骤；

步骤3.1，首先计算局部关联概率，所述局部关联概率是指根据查询图像与检索图像的视觉相似度建立查询图像与监控点c_j的局部关联关系下真实出现的概率，描述为

其中i表示路径监控点索引，c_j表示移动设备路径中的第j个监控点，

表示被编号为0的摄像机捕捉到的第p张行人图像，即查询图像；

步骤3.2，然后计算联合概率，所述联合概率计算是指计算查询图像

与已知移动设备信号轨迹tra的强关联映射概率，描述为

步骤4，根据联合概率排序，确定行人辨识结果。

2.根据权利要求1所述的一种基于多域空间属性关联分析的行人辨识方法，其特征在于：步骤1的具体实现方式如下，

移动设备信号轨迹tra由GPS定位信息Lng_i,Lat_i和时间戳信息t_i两种信息进行描述，Lng_i表示定位点的经度，Lat_i表示定位点的纬度；形式如下：

tra＝{(Lng₁,Lat₁,t₁),(Lng₂,Lat₂,t₂),...,(Lng_i,Lat_i,t_i)...,(Lng_e,Lat_e,t_e)}

检索已知路径上的监控点信息和结合监控视频提取符合时间约束的图像分别按照步骤1.1和步骤1.2进行；

步骤1.1，遍历地理路径下的每一个定位点信息，以定位点为圆心，半径为m米，搜索覆盖范围内的摄像头，将移动设备信号轨迹转化成摄像机序列，表示形式如下：

c_k＝{i-c_j|1≤i≤I,1≤j≤J}

其中，i表示路径监控点索引，j表示摄像机索引，I表示地理路径上检索到的监控点数量，J表示摄像机总数；

步骤1.2，针对检索到的摄像机序列中的每一个监控点i-c_j，获取移动设备信号轨迹在该监控点下的出现时间

和离开时间

在对应监控点的监控视频中提取在

时间段内被捕捉的图像，形成候选集。

3.根据权利要求2所述的一种基于多域空间属性关联分析的行人辨识方法，其特征在于：步骤2的具体实现包括如下子步骤；

步骤2.1，所述视觉概率模型建立是指建立图像视觉相似度的度量标准，描述为

其含义为两张图像包含同一行人的概率；其中，

表示被编号为m的摄像机捕捉到的第p张行人图像，

表示被编号为n的摄像机捕捉到的第q张行人图像；

其中

分别表述图像

和图像

的视觉特征，由Resnet50卷积神经网络提取得到；

步骤2.2，所述真实和虚假对象序列差异性分布统计是指根据视觉相似度统计真实对象和虚假对象在已知移动设备信号轨迹上的视觉概率分布规律，真实和虚假对象相似度概率密度分布分别描述为TR(x),FA(x)；

其中，μ_t表示真实对象视觉相似度的统计平均值，σ_t表示真实对象视觉相似度的统计方差；μ_f表示虚假对象视觉相似度的统计平均值，σ_f表示虚假对象视觉相似度的统计方差；

步骤2.3，所述概率分布的最大可分性计算是指根据概率密度函数的可分离性，基于贝叶斯分类方法，确定将真实对象和虚假对象最大程度区分开的相似度阈值；分布的可分性函数描述为

最大可分阈值描述为

其含义为使真实和虚假对象相似度分布可分程度最大的视觉相似度阈值。

4.根据权利要求3所述的一种基于多域空间属性关联分析的行人辨识方法，其特征在于：步骤2.2中真实和虚假对象视觉相似度的差异性分布服从正态分布。

5.根据权利要求3所述的一种基于多域空间属性关联分析的行人辨识方法，其特征在于：步骤2.3中基于贝叶斯分类方式构建差异性分布的可分模型，可分模型表达为

表示真实对象与虚假对像分布的可分性，其中

表示真实对象相似度大于

的概率，

表示虚假对象相似度大于

的概率，

越大，表示分布的差异性越大，可分性越强。

6.根据权利要求3所述的一种基于多域空间属性关联分析的行人辨识方法，其特征在于：步骤3.1中局部关联模型表示为：

其中，

表示被编号为0的摄像机捕捉到的第p张行人图像，

表示被编号为j的摄像机捕捉到的第q张行人图像，I表示地理路径上检测到的监控点数量；在监控点c_j中，如果存在与查询图像相似度大于阈值的图像，认为查询图像与该监控点的局部关联概率为1，否则为0。

7.根据权利要求3所述的一种基于多域空间属性关联分析的行人辨识方法，其特征在于：步骤3.2中联合概率表示为：

该式表示联合概率越大，表示查询图像是与已知移动设备信号轨迹关联性越强。

Images