CN105930768A - 一种基于时空约束的目标重识别方法 - Google Patents

Abstract

本发明公开了一种基于时空约束的目标重识别方法，首先，基于目标的视觉信息得到基于视觉信息概率的初步排序结果，然后基于一个在某个摄像头下出现的目标不可能同时在另外一个摄像头下出现，Hinge损失函数被用于构造滤波模型以缩小待查询范围，而跨摄像头时间概率模型则通过韦伯分布实现，跨摄像头时间初步概率由目标与查询目标集的时间间隔概率得以表示，于是，借由跨摄像头时间信息概率与视觉信息概率融合得到基于跨摄像头时间信息与视觉特征的中间排序结果。最后，基于同一目标在空间上相近的两个摄像头中出现的概率大于空间上离得远的摄像头对，目标重识别排序结果可以得到进一步优化。本发明大大提升目标重识别效果。

Description

一种基于时空约束的目标重识别方法

技术领域

本发明属于监控视频检索技术领域，涉及一种目标重识别方法，尤其涉及一种基于时空约束的目标重识别方法。

背景技术

在实际视频侦查中，侦查员需要根据指定对象在多摄像头下的活动画面和轨迹来快速排查、追踪和锁定嫌疑目标。传统基于人工浏览的视频侦查模式需要耗费大量的人力和时间、效率低下，极易贻误破案时机。目标重识别是一种针对特定对象的监控视频自动检索技术，即在摄像头下匹配不同时间出现的同一目标对象。便于视频侦查员快速、准确地发现嫌疑目标活动画面和轨迹，对公安部门提高破案率、维护人民群众生命财产安全具有重要意义。

现有的目标重识别方法，就典型的的行人重识别方法而言(文献1、文献2、文献3)，是在摄像头对上进行检索，关注的是找到鲁棒和稳定的视觉特征或者为这些特征找到合适的度量方法，然而来源于环境等因素的影响的，使得目标重识别问题受到一定的瓶颈，尤其是对特征高度相似的目标对，单单靠视觉信息根本无法解决目标的重识别问题，此外，对目标的长期追踪的需求使得摄像头越来越多的在公共区域所使用，传统方法并不能很好地解决摄像头下的目标重识别问题。

下面就目标重识别，从三方面来对已有相关专利展开分析。

行人重识别方面：迄今为止，在所有行人重识别方向共计专利17项：武汉大学共计公开专利10项，中国计量学院公开专利3项，上海交通大学2项，北京瑞奥风网络技术中心1项，徐晓晖个人1项。在17项已有关于行人重识别专利中还没有用到时空约束概念及概率模型的。

车辆识别方面：迄今，在车辆识别方向有多家单位参与研究，专利多项。大部分车辆识别类专利完全没有涉及到时空概念或概率模型，而浪潮电子信息产业有限公司的两篇专利“一种基于大数据的伴随车辆识别方法和装置”和“一种基于大数据的套牌车牌识别方法”涉及到是时空约束来完成检索问题，但是其中的应用却与本申请专利不同。“一种基于大数据的伴随车辆识别方法和装置”仅仅通过时空约束特征找到车辆的伴随车辆。“一种基于大数据的套牌识别方法”中，通过时空约束找到范围内车辆，并将范围内车辆信息与车牌登记信息进行比较，从而实现套牌识别。两篇专利虽然用到时空信息，但是在应用上不是车辆重识别，此外该已有专利没用概率模型。

时空约束方面：迄今为止，涉及时空约束概念的专利共计4项，每项都来自不同单位。4项涉及时空约束概念专利中3项都没有涉及到将时空概念应用于目标重识别的，另外一项，即“基于地理时空约束的警务云图像识别车辆管控系统”有涉及到用时空概念进行目标识别，但是该专利中空间约束和车辆特征是通过彼此进行更新，最后完成识别，此外该专利没用概率模型。

对所有相关专利进行分析可以得出以下结论：目前没有将时空约束用于目标重识别方法上的应用；目前没有用概率模型来进行目标重识别的工作。

[文献1].L.Ma,X.Yang,D.Tao:Person re-identification over cameranetworks usingmulti-task distance metric learning[J].In:Image Processing,IEEETransactions on(TIP).(2014)

[文献2].A.Das,A.Chakraborty,A.K.Roy-Chowdhury:Consistent re-identification in acamera network.In:European Conference on Computer Vision(ECCV).(2014)

[文献3].Y.Hu,S.Liao,D.Yi,et al.:Multi-camera Trajectory Mining:Database and Evaluation.In:International Conference on Pattern Recognition(ICPR).(2014)

发明内容

针对现有技术存在的不足，本发明提供了一种基于时空约束的目标重识别方法，提出并创新地解决监控下目标重识别的两类问题：单摄像头下同一目标重识别和多摄像头下同一目标的重识别。

本发明所采用的技术方案是：1.一种基于时空约束的目标重识别方法，用于识别出监控网络C＝{C₀,C₁,C₂…C_M}中某个摄像头下的某个特定目标，包括单摄像头下的目标重识别和多摄像头下的目标重识别；目标描述信息包括视觉特征信息、跨摄像头时间特征信息和摄像头间空间特征信息；其中跨摄像头时间特征信息亦即跨摄像头时间约束，摄像头间空间特征信息亦即摄像头间的位置关系，监控网络共含M+1个摄像头，C₀是目标摄像头，M是查询集摄像头总数，摄像头C_m下目标j的视觉特征信息用表示，n是视觉特征的维度，目标j进入摄像头C_m的时间信息用表示，表示视觉特征信息与跨摄像头时间特征信息的组合；

其特征在于：跨摄像头时间约束和多摄像头位置相关；跨摄像头时间约束指同一目标不可能在两个摄像头下同时出现，且两个摄像头间的时间概率服从韦伯分布；多摄像头位置相关指的是同一目标在空间上相近的两个摄像头中出现的概率大于空间上离得远的摄像头对；

所述多摄像头下的目标重识别过程包括以下步骤：

步骤A1：基于目标视觉特征信息得到视觉特征信息概率模型；

步骤A2：已知跨摄像头最小时间信息和查-待查目标实际跨摄像头对时间信息，利用滤波模型以缩小待查询范围；

步骤A3：通过跨摄像头最小时间信息和查-待查目标实际跨摄像头对时间信息得到基于时间特征信息的概率模型；

步骤A4：由跨摄像头时间特征信息概率与视觉特征信息概率得到基于跨摄像头时间特征信息与视觉特征信息的联合概率；

步骤A5：由摄像头间位置关系优化联合概率，并基于此给出排序结果；

所述单摄像头下的目标重识别是看作多摄像头下目标重识别的极限情况，时空约束无法利用，仅仅利用视觉特征信息来进行排序；其目标重识别包括以下步骤：

步骤B1：基于目标视觉特征信息得到视觉特征信息概率模型，其具体实现过程与步骤A1相同；

步骤B2：根据视觉特征信息概率大小给出排序结果。

作为优选，步骤A1及B1中所述基于视觉特征信息概率模型为其中，α是影响因子，可调，值由实际实验确定；d是目标间视觉特征信息的距离；将视觉特征下的距离函数转化为概率模型。

作为优选，步骤A2中所述滤波模型为其中，表示给定摄像头对下目标的最小跨越时间；当时匹配概率为0，也就是如果某个目标在一个摄像头下出现，在最小跨摄像头时间之内不可能在另一个摄像头下出现，否则匹配概率随时间差先增后减。

作为优选，步骤A3中所述时空特征信息概率模型为其中，λ、k分别是韦伯分布的尺度参数和形状参数；表示从C₀到C_m的时间信息条件概率，服从关于滤波函数的韦伯分布函数，并随时间差先增后减。

作为优选，步骤A4中所述联合概率为

作为优选，步骤A5的具体实现，包括以下子步骤：

步骤5.1：对目标重识别结果基于跨摄像时间特征信息和视觉特征信息进行top-k排序；

步骤5.2：对top-K效果中的图片进行反向查询，基于摄像头间距离给出r(m,m')；r(m,m')表示两个摄像头的空间间隔的函数，m和m'分别表示摄像头的ID号，摄像头间离得越近，r(m,m')值越大；

步骤5.3：在前面排序结果的基础上，调整联合概率模型为其中_KNN(m)表示摄像头C_m的空间K近邻；

步骤5.4：基于调整后的联合概率，得到目标重识别的优化排序结果。

本发明还提供了一种评价基于时空约束的目标重识别方法效果的方法，其特征在于：在进行目标重识别效果评估时采用信息检索中mAP值作为效果评价指标，同时考虑识别精度和召回率；其中平均准确率计算公式为：

其中

N表示排序列表中总个数，n∈{1,…,N},i∈{1,…,n}且均为整数。

与现有目标重识别技术与系统相比，本发明具有以下优点和有益效果：

1)与现有技术相比，本发明总结了一个新问题，单摄像头下同一目标重识别和多摄像头下同一目标的重识别可统一为监控下的目标重识别问题；

2)与现有技术相比，本发明提出了一个全新的基于概率论的目标重识别框架；

3)与现有技术相比，本发明利用特定摄像头下特定目标的视觉特征信息、跨摄像头时间信息以及多摄像头位置相关性来展开监控下的目标重识别工作。

附图说明

图1：为本发明实施例的框架图；

图2：为本发明实施例的流程图；

图3：为本发明实施例的mAP计算过程示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明基于监控网络下的两个现象：“跨摄像头时间约束”和“多摄像头位置相关”，提出将跨摄像头时间信息与视觉信息融合，并以联合概率的形式来辅助视觉特征以确定是同一目标的概率。首先，基于目标视觉信息得到基于视觉信息概率的初步排序结果，然后基于一个在某个摄像头下出现的目标不可能同时在另外一个摄像头下出现，Hinge损失函数被用于构造滤波模型以缩小待查询范围，而跨摄像头时间概率模型则通过韦伯分布实现，跨摄像头时间信息初步概率由目标与查询目标集的时间间隔概率得以表示，于是，借由跨摄像头时间信息概率与视觉信息概率得到基于跨摄像头时间信息与视觉特征的中间排序结果。最后，基于同一目标在空间上相近的两个摄像头中出现的概率大于空间上离得远的摄像头对，目标重识别排序结果可以得到进一步优化。需要说明的是，多摄像头下目标重识别需要全部优化过程，对于单摄像头下的目标重识别无法利用时空约束，仅采用视觉信息。

本实施例采用MATLAB7作为仿真实验平台，框架图请见图1、以目标重识别中典型的行人重识别来说明该发明并进行实验验证。在公共的数据集TMin上进行测试。TMin数据集包含6个摄像头下30个人的1680张行人图片，此外，含有摄像头对间的步行时间和监控网络的拓扑结构，每个行人在不同摄像头下至少出现2次，因此可进行单摄像头下行人重识别和多摄像头下的目标重识别，以下针对上述多摄像头下目标重识别实例对本发明做进一步的阐述。

请见图2，本发明提供的一种基于时空约束的目标重识别方法，用于识别出监控网络C＝{C₀,C₁,C₂…C_M}中某个摄像头下的某个特定目标，包括单摄像头下的目标重识别和多摄像头下的目标重识别；目标描述信息包括视觉特征信息、时间特征信息和空间特征信息；其中监控网络共含M+1个摄像头，C₀是目标摄像头，M是查询集摄像头总数，摄像头C_m下目标j的视觉特征信息用表示，n是视觉特征的维度，目标j进入摄像头C_m的时间信息用表示，表示视觉特征信息与跨摄像头时间特征信息的组合；视觉特征信息的获取方式与传统目标重识别方法一致。时间特征信息指的是目标进入摄像头覆盖范围的时刻，时间特征信息和空间特征信息可由摄像头信息直接获取。而同一目标的确定不同于传统基于特征间的距离来对识别出的可能的正确目标进行排序，本发明使用概率理论来表示目标间的视觉特征相似性。单摄像头下目标重识别用视觉信息概率得到排序结果；多摄像下目标重识别，利用视觉特征相似概率和跨摄像头时间分布概率得到排序结果，多摄像头的距离关系被用来优化监控网络下的目标重识别效果。

本实施例的多摄像头下的目标重识别过程包括以下步骤：

步骤A1：基于目标视觉特征信息得到视觉特征信息概率模型其中；α是影响因子，可调，值由实际实验确定；d是目标间视觉特征信息的距离；将视觉特征下的距离函数转化为概率模型。

步骤A2：已知跨摄像头最小时间信息和查-待查目标实际跨摄像头对时间信息，利用滤波模型以缩小待查询范围；

如果摄像头对下行人步行时间小于最小步行时间，该行人在该摄像头下出现的概率也就是如果某个人在一个摄像头下出现，在最小步行时间之内不可能在另一个摄像头下出现。此处引入Hinge损失函数作为滤波模型，滤波模型为其中，表示给定摄像头对下目标的最小跨越时间；当时匹配概率为0，也就是如果某个目标在一个摄像头下出现，在最小跨摄像头时间之内不可能在另一个摄像头下出现，否则匹配概率随时间差先增后减。

步骤A3：通过跨摄像头最小时间信息和查-待查目标实际跨摄像头对时间信息得到基于时间特征信息的概率模型；

假设摄像头间时间服从关于滤波函数的函数。从摄像头C₀到摄像头C_m的时间条件概率可描述为服从关于滤波函数的韦伯分布函数，并随时间差先增后减；其中λ、k分别是韦伯分布的尺度参数和形状参数。

步骤A4：由跨摄像头时间特征信息概率与视觉特征信息概率得到基于跨摄像头时间特征信息与视觉特征信息的联合概率

步骤5.1：对目标重识别结果基于跨摄像时间特征信息和视觉特征信息进行top-k排序；

步骤5.2：对top-K效果中的图片进行反向查询，基于摄像头间距离给出r(m,m')；r(m,m')表示两个摄像头的空间间隔的函数，m和m'分别表示摄像头的ID号，摄像头间离得越近，r(m,m')值越大；

步骤5.3：在前面排序结果的基础上，调整联合概率模型为其中_KNN(m)表示摄像头C_m的空间K近邻；

步骤5.4：基于调整后的联合概率，得到目标重识别的优化排序结果。

本实施例的单摄像头下的目标重识别是看作多摄像头下目标重识别的极限情况，时空约束无法利用，仅仅利用视觉特征信息来进行排序；其目标重识别包括以下步骤：

步骤B1：基于目标视觉特征信息得到视觉特征信息概率模型，其具体实现过程与步骤A1相同；

步骤B2：根据视觉特征信息概率大小给出排序结果。

本发明在方法评价上不同于以往的CMC评价标准，而是采用mAP作为效果评价指标，同时考虑识别精度和召回率，是对多摄像头下的一种更全面的评价方法；其中平均准确率计算公式为：

其中

N表示排序列表中总个数，n∈{1,…,N},i∈{1,…,n}且均为整数。

mAP评价指标：不同于以往摄像头对下的识别效果准确率，监控网络下一个目标行人可能对应不同摄像头下的多个真实行人，整个监控网络下的准确度和召回率应该同时作为衡量监控网络下的行人重识别效果的标尺。

具体实施过程见附图3；假设有一个待查行人，该行人有2个正确行人。某系统对于该行人检索出5个相关行人，其rank分别为1,2,3,4,5,前面两个行人为正确行人，后面两个为错误行人，那么其平均准确率为(1/1+2/2)/2＝1；其它情况进行类似计算。

把摄像头1#作为目标集，α＝0.5,λ＝75，β＝2.5,K＝5。首先基于前面的滤波模型去除干扰行人图片，抽取摄像头下行人的LOMO特征(文献4)，根据视觉特征概率模型，求得初始排序结果，本方法称之mAP_feature，计算其mAP值，然后在整个监控网络下引入跨摄像头时间概率模型，求得第二种排序结果，本方法称之mAP_joint，计算其mAP值，最后引入多摄像头的位置关系来优化排序结果，本方法称之mAP_global，计算其mAP值。三种方法在TMin上的排序top-K排序结果如表1示。可以发现，本发明的排序优化目标重识别方法的检索性能在各步都有提高，也证明引入跨摄像头时间概率模型和多摄像头位置相关关系对目标重识别效果有很大提升。

上述实例仅仅针对多摄像头下目标重识别技术进行了具体描述，可以发现实验时用到了视觉特征、跨摄像头时间以及摄像头间的位置关系，本发明还可针对单摄像下的目标进行重识别，这时没有跨摄像头的时间约束和多摄像头的位置关系约束，仅通过步骤一，也即用视觉特征相似概率进行排序。

表1 在TMin三种方法的top K mAP值(％)

[文献4]S.Liao,Y.Hu,X.Zhu,et al.:Person Re-identification by LocalMaximal Occurrence Representation and Metric Learning.In:Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition(CVPR).(2015)

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于时空约束的目标重识别方法，用于识别出监控网络C＝{C₀,C₁,C₂…C_M}中某个摄像头下的某个特定目标，包括单摄像头下的目标重识别和多摄像头下的目标重识别；目标描述信息包括视觉特征信息、跨摄像头时间特征信息和摄像头间空间特征信息；其中跨摄像头时间特征信息亦即跨摄像头时间约束，摄像头间空间特征信息亦即摄像头间的位置关系，监控网络共含M+1个摄像头，C₀是目标摄像头，M是查询集摄像头总数，摄像头C_m下目标j的视觉特征信息用表示，n是视觉特征的维度，目标j进入摄像头C_m的时间信息用表示，表示视觉特征信息与跨摄像头时间特征信息的组合；

其特征在于：跨摄像头时间约束和多摄像头位置相关；跨摄像头时间约束指同一目标不可能在两个摄像头下同时出现，且两个摄像头间的时间概率服从韦伯分布；多摄像头位置相关指的是同一目标在空间上相近的两个摄像头中出现的概率大于空间上离得远的摄像头对；

所述多摄像头下的目标重识别过程包括以下步骤：

步骤A1：基于目标视觉特征信息得到视觉特征信息概率模型；

步骤A2：已知跨摄像头最小时间信息和查-待查目标实际跨摄像头对时间信息，利用滤波模型以缩小待查询范围；

步骤A3：通过跨摄像头最小时间信息和查-待查目标实际跨摄像头对时间信息得到基于时间特征信息的概率模型；

步骤A4：由跨摄像头时间特征信息概率与视觉特征信息概率得到基于跨摄像头时间特征信息与视觉特征信息的联合概率；

步骤A5：由摄像头间位置关系优化联合概率，并基于此给出排序结果；

所述单摄像头下的目标重识别是看作多摄像头下目标重识别的极限情况，时空约束无法利用，仅仅利用视觉特征信息来进行排序；其目标重识别包括以下步骤：

步骤B1：基于目标视觉特征信息得到视觉特征信息概率模型，其具体实现过程与步骤A1相同；

步骤B2：根据视觉特征信息概率大小给出排序结果。

2.根据权利要求1所述的基于时空约束的目标重识别方法，其特征在于，步骤A1及B1中所述基于视觉特征信息概率模型为其中，α是影响因子，可调，值由实际实验确定；d是目标间视觉特征信息的距离；将视觉特征下的距离函数转化为概率模型。

3.根据权利要求1所述的基于时空约束的目标重识别方法，其特征在于，步骤A2中所述滤波模型为其中，表示给定摄像头对下目标的最小跨越时间；当时匹配概率为0，也就是如果某个目标在一个摄像头下出现，在最小跨摄像头时间之内不可能在另一个摄像头下出现，否则匹配概率随时间差先增后减。

4.根据权利要求1所述的基于时空约束的目标重识别方法，其特征在于，步骤A3中所述时空特征信息概率模型为其中，λ、k分别是韦伯分布的尺度参数和形状参数；表示从C₀到C_m的时间信息条件概率，服从关于滤波函数的韦伯分布函数，并随时间差先增后减。

5.根据权利要求1所述的基于时空约束的目标重识别方法，其特征在于，步骤A4中所述联合概率为

6.根据权利要求1所述的基于时空约束的目标重识别方法，其特征在于，步骤A5的具体实现，包括以下子步骤：

步骤5.1：对目标重识别结果基于跨摄像时间特征信息和视觉特征信息进行top-k排序；

步骤5.2：对top-K效果中的图片进行反向查询，基于摄像头间距离给出r(m,m')；r(m,m')表示两个摄像头的空间间隔的函数，m和m'分别表示摄像头的ID号，摄像头间离得越近，r(m,m')值越大；

步骤5.3：在前面排序结果的基础上，调整联合概率模型为其中_KNN(m)表示摄像头C_m的空间K近邻；

步骤5.4：基于调整后的联合概率，得到目标重识别的优化排序结果。

7.一种评价基于时空约束的目标重识别方法效果的方法，其特征在于：在进行目标重识别效果评估时采用信息检索中mAP值作为效果评价指标，同时考虑识别精度和召回率；其中平均准确率计算公式为：

其中

N表示排序列表中总个数，n∈{1,…,N},i∈{1,…,n}且均为整数。