CN107545256B

CN107545256B - 一种结合时空和网络一致性的摄像机网络行人重识别方法

Info

Publication number: CN107545256B
Application number: CN201710905430.1A
Authority: CN
Inventors: 杨华; 程昭睎; 陈琳
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2020-03-10
Anticipated expiration: 2037-09-29
Also published as: CN107545256A

Abstract

本发明公开了一种结合时空和网络一致性的摄像机网络行人重识别方法，对图像进行摄像机对的行人重识别；对摄像机网络和行人之间分别找到距离和时间差信息，对摄像机对确定距离后对行人速度进行估计并给出一先验值，并以此推出时间差应满足的分布，再结合实际的时间差确定该如何修正相似性分数。得到修正项之后通过一个比例参数控制原始相似性分数和时间地点信息在修正的相似性分数前所占重要性。得到修正相似性分数后，再构建网络整体的优化问题，其中优化目标为一全局相似性定义，约束条件为一致性条件。本发明通过融合了传统摄像机对行人重识别方法，摄像机地理位置，行人时间差等信息，并结合网络一致性，在摄像机网络中执行行人重识别任务。

Description

一种结合时空和网络一致性的摄像机网络行人重识别方法

技术领域

本发明属于计算机行人比对技术领域，具体为一种结合时空和网络一致性的摄像机网络行人重识别方法，该方法是一种不同摄像机间的多地点行人比对方法。

背景技术

目前，视频监控在公共安全中发挥的作用越来越大，而行人比对(行人重实别)技术是视频监控中很重要的一方面，比如判断一个摄像机下检测到的行人是否在其它地方出现过，寻找行人在摄像机网络中的行走轨迹等。经对现有技术文献检索发现，现有的行人比对领域的技术解决方案大多围绕着一对摄像机展开，主要分以下三个方面：特征法(feature representation)和度量法(metric learning)和深度学习法(deep learning)。特征法寻找检测出的行人更具区分度的特征(参见：NikiMartinel and ChristianMicheloni.Re-identify people in wide area camera network.In 2012IEEE computersociety conference on computer vision and pattern recognition workshops，pages31-36.IEEE，2012)，度量法寻找一种度量特征向量间相似性的距离表达方式，使得表示同一个人的特征向量的距离很小，表示不同的人的特征向量间的距离很大(参见Liu Yangand Rong Jin.Distance metric learning：A comprehensive survey.Michigan StateUniversiy，2：78，2006.)。深度学习法自动学习更好的特征，例如卷及神经网络(CNN)被广泛用于从行人图片中提取空间信息(参见Ejaz Ahmed，Michael Jones，and Tim KMarks.An improved deep learning architecture for person re-identification.InProceedings of the IEEE Conference on Computer Vision and PatternRecognition，pages 3908-3916，2015.)。这些方法都在摄像机对下的行人重实别任务中取得成功。但是实际的应用场景中摄像机往往是呈网状分布在一片较大的区域中，每个摄像机覆盖一片区域而且相互之间无重叠，因此执行多摄像机下的行人重识别任务是很有意义的。在多摄像机网络的场景中，传统技术解决方案主要面临如下几个问题：1)多台摄像机之间地理位置跨度大，光照，摄像机的角度的差异会更大；2)多台摄像机之间的地理位置和时间信息没有得到利用；3)对每一对摄像机做行人重实别的结果间可能产生矛盾(即一致性条件被破坏)，需要一种优化模型将这类错误剔除(参见：Abir Das，AnirbanChakraborty，and Amit K Roy-Chowdhury.Consistent reidentification in a camera network.InEuropean Conference on Computer Vision，pages 330-345.Springer，2014.)虽然给出了一种优化方案，但并未考虑多个摄像机之间的时间和位置关系。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提出一种结合时空和网络一致性的摄像机网络行人重识别方法。

本发明是通过以下技术方案实现的：

本发明方法基于摄像机网络的时间空间性质，以及目标行人在摄像机网络中的一致性，首先对网络中每对摄像机做一次传统行人重识别，其中特征部分和度量部分均采用领域内公认可用的方法，得到每对摄像机下每一对行人之间的相似性分数。时空性质上，每对行人间有一个时间差，每对摄像机之间有一个地理位置差，相应的会得到一个平均速度，这个平均速度应满足一定的分布，即一种从0开始，先增后减最终再趋于0的分布，该分布表征平均速度取各个值的可能性，并用于优化行人重识别结果。在一致性方面，网络中所有的由三个摄像机组成的摄像机组内两两做行人重识别的结果使用一种不等式来约束他们之间的关系。这个不等式作为最终优化目标的一个约束条件。由于该框架在考虑了传统行人重识别考虑的问题之外，对摄像机网络特有的问题进行了专门建模，因此流程清晰，可以结合网络特性对行人重识别进行优化。达到在摄像机网络中进行行人比对的任务。

具体的，一种结合时空和网络一致性的摄像机网络行人重识别方法，包括以下步骤：

第一步：对所有检测到的行人做特征提取，然后分别对每对摄像机对之间的行人对做行人重识别，得到每对行人对之间的原始的相似性分数；

第二步：利用摄像机的地理位置信息和视频时间戳信息，构建摄像机网络的时间空间约束；步骤包括：

步骤2.1，利用每个摄像机所捕获的视频中检测出的行人对应的时间戳，计算每对摄像机对下的每对行人对之间的时间间隔，得到行人对之间的时间差；

步骤2.2，找到每个摄像机覆盖区域的中心，记第i个摄像机覆盖的区域中心坐标为(x_i，y_i)，由摄像机的地理坐标计算每对摄像机对之间的欧氏距离；

步骤2.3，利用求出的行人对之间的时间差和摄像机对之间的欧氏距离，配合一个规范函数把时间差过短的行人对的相似性置零，即将时间差过短的行人对作为异常数据uLoss剔除；

第三步：将行人对的时间差映射为一个实数，此映射作为修正函数，用来进一步修正原始的相似性分数；

第四步：利用修正后的相似性分数，建立摄像机网络下的行人重识别全局优化目标；包括：

首先定义一个全局相似性：设目标变量为一指派矩阵；然后找到一种指派矩阵x()，使得这个全局相似性定义的值最大；

第五步：利用指派矩阵x()建立一致性约束条件；

第六步：求解优化目标所得的解所对应的行人对间的相似性分数置1，得到最终相似性分数，作为行人比对的依据。

优选地，第二步中，引入行人速度的经验分布作为规范函数，结合行人对之间的时间差和摄像机对之间的欧氏距离，剔除异常数据uLoss；

定义，

其中：

v₁代表行人行走的速度；该速度值可以为经验分布中的经验值，也可以通过数据训练得出的合理值；

Δt()代表行人对之间的时间差；

代表第i₁个摄像机下的第j₁个人；

代表第i₂个摄像机下的第j₂个人；

代表摄像机对之间的欧氏距离；

代表对应摄像机对下的行人对间的最小时间差；当实际时间差小于该值时，则该行人对中不是同一个人，相似性分数置零；

i＝1，2，...，m；j＝1，2，...，n，代表一共有m台摄像机，每台摄像机下n个人。

优选地，第三步中，定义修正函数，用来修正原始的相似性分数，具体为：

其中：

R()代表修正函数；

Δt()代表行人对之间的时间差；

f()代表对时间差的映射；

代表第i₁个摄像机下的第j₁个人；

代表第i₂个摄像机下的第j₂个人；

代表摄像机对之间的欧氏距离；

优选地，f()为将时间差映射到(0，1)间实数的函数，具有先上升后下降的特性，表达了最终相似性分数修正项与时间差的关系；f()的定义域为时间差需要满足的条件。

优选地，第三步中，写出修正函数后，对相似性分数的修正采用了原始相似性分数与修正函数相加，并用一比例常数控制原始相似性分数和修正函数的比例；具体为：

其中：

d′()代表修正后的相似性分数矩阵；

R()代表修正函数；

d()代表原始的相似性分数矩阵；

λ代表比例常数；该常数可以根据经验设定和/或根据实验设定；

I代表示性函数，返回1当且仅当括号内为真。

优选地，λ取值为10。

优选地，第四步中，在修正后的相似性分数的基础上，建立摄像机网络下的行人重识别全局优化目标，包括目标函数和约束条件；具体表示为：

其中：

d′()代表修正后的相似性分数矩阵；

建立行人重识别全局优化目标，就是找到这样的一种指派矩阵x()，使得全局相似性定义的值最大。

优选地，指派矩阵x()为由0和1组成的矩阵，其中，为1的元素代表对应的行和列所表示的行人标号为同一人。

优选地，第五步中，利用指派矩阵x()建立一致性约束条件，具体为：

一个行人在另一个摄像机下只能有一个匹配的行人，因此指派矩阵x()各行各列均有且只有1个1；除此之外，任意给定三个摄像机(i₁，i₂，i₃)后，对于其中的两对摄像机对(i₁，i₂)和(i₂，i₃)，匹配到行人(a∈i₁，b∈i₂)，(b∈i₂，c∈i₃)，则对于剩下的一个摄像机对(i₁，i₃)，应当匹配的行人为(a∈i₁，c∈i₃)；如不是这个匹配，则发生了错匹配，应当剔除；这个条件即表达为一种基于指派矩阵x()的一致性约束条件，具体为：

其中：

a代表行人a；

b代表行人a；

c代表行人c。

与现有技术相比，本发明具有如下有益效果：

1)本发明建立了一种摄像机网络下的行人重识别框架；

2)本发明用一种修正函数作为时空信息对行人重识别的约束修正相似性分数；

3)本发明整合摄像机位置和视频时间戳信息以及网络一致性信息对行人充实别结果进行综合优化。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1摄像机网络下的行人重识别算法总流程框图。

图2原始图像数据以及经过摄像机对行人重识别后的初始相似性分数举例示意图。

图3摄像机地理位置信息举例示意图，其中，每个摄像机有一个自己的覆盖区域以及对应一个坐标，两两之间定义了摄像机间地理距离。

图4行人在视频中对应时间戳举例示意图，其中，每个摄像机下的视频序列中捕捉到的人都有一个对应的时间戳。任意两个人之间可直接求得时间差。

图5对时间和空间信息的建模示意图，其中，依据对行人速度的经验，固定一对摄像机行人间德玛时间差应满足一种先升后降的分布。

图6一致性约束示意图，其中，三个摄像机互相之间捕捉到的行人之间可能有自相矛盾的情况；如图所示，一致性约束剔除了这种矛盾。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例

本实施例提供了一种结合时空和网络一致性的摄像机网络行人重识别方法，包括以下几个步骤：

第一步：对所有检测到的行人做特征提取，然后分别对每对摄像机对之间的行人对做行人重识别，得到每对行人之间的相似性分数；

即

第i₁个摄像机下的第j₁个人与第i₂个摄像机下的第j₂个人的相似性分数。

其中：

表示第i个摄像机下的第j个人

i＝1，2，...，m；j＝1，2，...，n表示一共有m台摄像机，每台摄像机下n个人。

第二步：利用摄像机的地理位置信息和视频时间戳信息构建的摄像机网络的时间空间约束。

第二步的具体步骤为：

步骤2.1，由视频中的时间戳算出每个行人对之间的时间间隔。摄像机拍下的视频有时间戳信息，在行人检测之后根据图像所在帧可以计算出当前该行人的时间点，即：

表示第i个摄像机下的第j个人所在的时间点。

每队摄像机下的每个行人对之间都有一个时间间隔，具体为：

步骤2.2，由摄像机的地理坐标计算摄像机之间的距离。具体为：对摄像机所覆盖的网络用一个坐标系表示，每个摄像机覆盖一片区域，计第i个摄像机覆盖的区域重心坐标为(x_i，y_i)，m个摄像机网络中共有

对摄像机，相应的距离定义为欧氏距离，即：

d_ij＝((x_i-x_j)²+(y_i-y_j)²)^1/2

其中，1≤i＜j≤m

步骤2.3，利用一个规范函数把时间差过短的行人对的相似性置零，具体为：

其中，v₁代表行人行走的速度，取一经验值，也可通过数据训练得出一个合理值。max()的第二项的

表示对应摄像机对下的行人对间的最小时间间隔。若实际时间间隔小于此值，则该行人对不是同一人。相似性分数置零。

第三步：将行人对的时间差映射为一个实数，此映射作为修正函数，用来修正原始的相似性分数，具体地：

其中：f为将时间差映射到(0，1)间实数的函数，定义域为时间差需要满足的条件。f的选择空间为先升后降函数。可通过数据训练得出，根据经验选择卡方分布函数也是不错的选择。有了此修正函数，便可以对相似性分数做进一步修正，具体为：

其中：更新后的相似性分数取决于两个因素，一个是原始相似性分数，一个是时间差经过映射后的一个修正函数，用来对原始相似性分数做补充。λ用来控制两者比例(重要性)。根据经验和/或实验设定。

第四步：利用更新后的相似性分数，建立全局网络下的优化目标。具体为：定义一个全局相似性：

其中：d’是修正后的相似性分数矩阵，保存了所有摄像机对下对应的所有行人对的修正相似性分数。x为由0和1组成的矩阵，可理解为指派矩阵，为1的元素代表对应的行和列所表示的行人标号为同一人。目标就是找到这样的一种指派x，使得这个全局相似性定义的值最大。

第五步：利用更新后的相似性分数建立一致性约束条件具体如下：在特定的一对个摄像机下，一个行人在另一个摄像机下只能有一个匹配的行人，因此指派矩阵x各行各列均有且只有1个1。除此之外，任意给顶三个摄像机(i₁，i₂，i₃)后，对于其中的两对摄像机(i₁，i₂)和(i₂，i₃)，匹配到行人(a∈i₁，b∈i₂)，(b∈i₂，c∈i₃)，则对于剩下的一个摄像机对(i₁，i₃)，应当匹配的行人为(a∈i₁，c∈i₃)。如不是这个匹配，则发生了错匹配，应当剔除。这个条件表达为一种一致性约束条件，具体为：

第六步：求解优化问题所得的解所对应的行人对间的相似性分数置1，得到最终相似性分数，作为行人比对的依据。

下面对本实施例进一步描述。

本实施例中采用的图像帧来自数据库RAiD。RAiD数据库是UCB大学图像实验室提供的多摄像机行人重识别数据库。

本实施例涉及的摄像机网络行人重识别方法，具体步骤如下：

第一步：对网络中每个摄像机对实施通用的摄像机对行人重识别方法，得到每对行人之间的相似性分数。

即

第j₁个摄像机下的第i₁个人与第j₂个摄像机下的第i₂个人的相似性分数。

其中：

表示第i个摄像机下的第.j个人

i＝1，2，...，m；j＝1，2，...，n一共有m台摄像机，每台摄像机下n个人

第二步：

(一)计算每对摄像机下的每个行人对之间的时间间隔。

表示第i个摄像机下的第j个人所在的时间点。

(二)计算每对摄像机之间的欧氏距离。

d_ij＝((x_i-x_j)²+(y_i-y_j)²)^1/2

其中，第i个摄像机覆盖的区域重心坐标为(x_i，y_i)，1≤i＜j≤m。

把时间差过短的行人对的相似性置零，具体为：

定义

其中v₁代表行人行走的速度，取一经验值，也可通过数据训练得出一个合理值。本例取2.4m/s。max()的第二项的

第三步：将距离和时间信息综合起来修正初始相似性分数。

具体步骤为：

1、定义修正函数，用来修正原始的相似性分数，具体地

f为将时间差映射到一(0，1)间实数的函数，定义域为时间差需要满足的条件。

本例优选选择卡方概率密度函数。

2、进一步修正相似性分数.具体为：

λ用来控制两者比例。根据经验以及实验设定，本例中优选取10。

第四步：建立全局网络下的优化问题。具体步骤为：

定义一个全局相似性：

第五步：写出一种一致性约束条件，具体为：

第六步：求解优化问题所得的解所对应的行人对间的相似性分数置1，得到最终相似性分数，作为行人比对的依据。本例中优选采用IBM的cplex优化算法库解决上一步中的最优化问题。

通过实验证明，本实施例较之以前方法能很好的对摄像机网络中的视频序列进行行人重识别。图2是背景和行人都极其相似的图片帧以及对应的摄像机对行人重识别的结果(相似性分数)，圆圈标出部分是误匹配(图2中给出的各数值为实际结果的示例，含义如下：摄像机C₁下的行人A与摄像机C₂下的行人A相似性分数为0.68；类似地，摄像机C₁下的行人A与摄像机C₂下的行人B相似性分数为0.71；摄像机C₁下的行人B与摄像机C₂下的行人A相似性分数为0.51；摄像机C₁下的行人B与摄像机C₂下的行人B相似性分数为0.64。0.71比0.68大，既对摄像机C₁的行人A来说，计算出的摄像机C₂的行人B比摄像机C₂的行人A的相似性分数更高。因此摄像机对行人重识别结果为C₁下的A和C₂下的B为同一人，这是一个错误的识别结果，既错匹配)，经过摄像机网络的时间和位置信息以及引入一致性约束后，大大减少了错匹配数目。

图中，C_M第M台摄像机覆盖的区域。

本实施例提供的结合时空和网络一致性的摄像机网络的行人重识别方法，尤其适合与实际监控场景下的目标寻找，目标跟踪。包括步骤为：对图像进行摄像机对的行人重识别；对摄像机网络和行人之间分别找到距离和时间差信息，对摄像机对确定距离后对行人速度进行估计并给出一先验值，并以此推出时间差应满足的分布，再结合实际的时间差确定该如何修正相似性分数。得到修正项之后通过一个比例参数控制原始相似性分数和时间地点信息在修正的相似性分数前所占重要性。得到修正相似性分数后，再构建网络整体的优化问题，其中优化目标为一全局相似性定义，约束条件为一致性条件。本发明通过融合了传统摄像机对行人重识别方法，摄像机地理位置，行人时间差等信息，并结合网络一致性，在摄像机网络中执行行人重识别任务。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于，包括以下步骤：

第二步：利用摄像机的地理位置信息和视频时间戳信息，构建摄像机网络的时间空间约束；包括：

步骤2.2，找到每个摄像机覆盖区域的中心，记第i个摄像机覆盖的区域中心坐标为(x_i,y_i)，由摄像机的地理坐标计算每对摄像机对之间的欧氏距离；

步骤2.3，利用求出的行人对之间的时间差和摄像机对之间的欧氏距离，配合一个规范函数把时间差过短的行人对的相似性分数置零，即将时间差过短的行人对作为异常数据uLoss剔除；

定义修正函数，用来修正原始的相似性分数，具体为：

其中：

R()代表修正函数；

Δt()代表行人对之间的时间差；

f()代表对时间差的映射；

代表第i₁个摄像机下的第j₁个人；

代表第i₂个摄像机下的第j₂个人；

代表对应摄像机对下的行人对间的最小时间差；v₁代表行人行走的速度；

代表摄像机对之间的欧氏距离；i＝1,2,...,m；j＝1,2,...,n，代表一共有m台摄像机，每台摄像机下n个人；

写出修正函数后，对相似性分数的修正采用了原始相似性分数与修正函数相加，并用一比例常数控制原始相似性分数和修正函数的比例；具体为：

其中：

d'()代表修正后的相似性分数矩阵；

R()代表修正函数；

d()代表原始的相似性分数矩阵；

λ代表比例常数；

I代表示性函数，当且仅当括号内为真时返回1；

在修正后的相似性分数的基础上，建立摄像机网络下的行人重识别全局优化目标，包括目标函数和约束条件；表示为：

其中：

d'()代表修正后的相似性分数矩阵；

建立行人重识别全局优化目标，就是找到这样的一种指派矩阵x()，使得全局相似性定义的值最大；

第五步：利用指派矩阵x()建立一致性约束条件；

2.根据权利要求1所述的结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于：第二步中，引入行人速度的经验分布作为规范函数，结合行人对之间的时间差和摄像机对之间的欧氏距离，剔除异常数据uLoss；

定义，

其中：

v₁代表行人行走的速度；

Δt()代表行人对之间的时间差；

代表第i₁个摄像机下的第j₁个人；

代表第i₂个摄像机下的第j₂个人；

代表摄像机对之间的欧氏距离；

代表对应摄像机对下的行人对间的最小时间差；当实际时间差小于该值时，则该行人对不是同一个人，相似性分数置零；

i＝1,2,...,m；j＝1,2,...,n，代表一共有m台摄像机，每台摄像机下n个人。

3.根据权利要求1所述的结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于：f()为将时间差映射到(0,1)间实数的函数，具有先上升后下降的特性，表达了最终相似性分数的修正项与时间差的关系；f()的定义域为时间差需要满足的条件。

4.根据权利要求1所述的结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于：λ取值为10。

5.根据权利要求1所述的结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于，指派矩阵x()为由0和1组成的矩阵，其中，为1的元素代表对应的行和列所表示的行人标号为同一人。

6.根据权利要求5所述的结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于：第五步中，利用指派矩阵x()建立一致性约束条件，具体为：

一个行人在另一个摄像机下只能有一个匹配的行人，因此指派矩阵x()各行各列均有且只有1个1；除此之外，任意给定三个摄像机i₁,i₂,i₃后，对于其中的两对摄像机对i₁和i₂、i₂和i₃，匹配到行人a∈i₁和b∈i₂,b∈i₂和c∈i₃，则对于剩下的一个摄像机对i₁和i₃，应当匹配的行人为a∈i₁,c∈i₃；如不是这个匹配，则发生了错匹配，应当剔除；这个条件即表达为一种基于指派矩阵x()的一致性约束条件，具体为：

其中：

a代表行人a；

b代表行人b；

c代表行人c。