CN111159475B - 基于多摄像头视频图像的行人再识别路径生成方法 - Google Patents

Abstract

本发明公开了一种基于多摄像头视频图像的行人再识别路径生成方法，该方法使用多目标跟踪算法作为单摄像头关联方法，实现单摄像头条件下的同一个人的路径生成，再将多摄像头下的单个人的路径集合通过他们出现的时间和预先设置好的路径时间参数进行比较，得到有向图，再利用深度优先搜索算法得到目标最有可能的跨摄像头路径。本发明方法拓展性强，人机交互更加自然，且实用性更高。

Description

基于多摄像头视频图像的行人再识别路径生成方法

技术领域

本发明涉及视频监控研究领域，特别涉及一种基于多摄像头视频图像的行人再识别路径生成方法。

背景技术

近年来，行人跨域追踪一直是学界研究的热点方向，虽然当前单图像的成对摄像头之间的行人跨域追踪得到了极大的发展，但是离实际应用还有一些未解决的问题，主要体现在：

当前行人关联跟踪系统主要基于单张图片，由成对摄像头实现，这些系统往往通过采样的方法从视频帧中提取行人范围框，再提取该行人的特征，再通过求取距离排序的方式，然后得到候选目标的方式，这种方式对于人的使用而言非常不友好，存在着大量的同一人的重复图片。之所以出现这一问题，是由于行人框采样后仅仅作为单一图片存在数据库中，没有进行前后帧的关联，导致前后帧的同一人的相似图片作为结果同时作为输出返回给了用户。现有方法无法在没有实际标注数据条件下做到时间关联，也无法针对得到的结果用时空关联得到可行的路径。另外，当前大部分系统使用的摄像头数量过少，或者在大社区范围下无法将得到的结果快速应用到实际事务中，实用性较低。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于多摄像头视频图像的行人再识别路径生成方法，该方法拓展性强，人机交互更加自然，且实用性更高。

本发明的目的通过以下的技术方案实现：基于多摄像头视频图像的行人再识别路径生成方法，包括步骤：

S1、对输入的多个摄像头的视频图像进行行人检测；

S2、对单个摄像头检测到的行人图像进行前后帧的关联，将每一个行人表示为一段路径，同时提取检测到的行人图像的特征；

S3、提取待检索图像的特征，将其与每个摄像头关联得到的路径中的行人特征进行比较，筛选出和待检索图像特征距离小于预设阈值的路径，以及与待检索图像特征距离最近的N个路径，上述所有路径作为该摄像头下的候选路径；

S4、对全部摄像头下的候选路径进行关联，首先将全部摄像头下的候选路径组成一个节点集合，也作为有向图G的节点，有向图G的边的权重的计算方法是：

计算两个节点最后更新的时间的差值，取其绝对值；

预设两个节点之间的时间差值；所述时间差值可根据两个节点之间可能相差的步行时间差来确定；

若所述绝对值与所述时间差值之差的绝对值小于预设阈值，则保留这两个节点之间的边，同时将绝对值与时间差值之差的绝对值作为该边的权重，边的方向由先出现的节点指向后出现的节点；

S5、针对建立的有向图搜索所有可能的路径，计算每条路径的优先级，优先级计算方法是取路径中所有边的权重之和除以边的总数；

S6、按照路径的优先级从大到小排序，输出结果路径。

优选的，所述步骤S1中，使用RFBNet深度网络目标检测器对输入的视频图像进行行人检测，目标检测器的输入为输入的图像，输出为该图像中行人的边界框。

优选的，所述步骤S2中，对单个摄像头检测到的行人图像进行前后帧的关联，方法是：

初始化一个路径集合B_i，对于新来的行人a及其特征，如果B_i为空，则初始化一个新的路径，把a加入其中，放入有向图的边集合S中，否则a的特征应与B_i中的所有的路径中的特征进行级联比较，比较方法如下：B_i中更新时间最近的比较优先级最高，比较时，a的特征要与待比较的路径中所有的特征求差值，如果存在一个差值小于预先设定的阈值，则把这条路径放入该优先级的候选路径中，相同优先级中的候选路径中差值最小的路径作为关联路径，把a放入该路径中，如果S中所有路径都不满足小于预先设定的阈值条件，则初始化一个新的路径，把a加入其中，放入B_i中；B_i中含有该摄像头下走过的所有行人路径。

优选的，所述步骤S3中，筛选路径的方法是：对待检索图像求取其特征向量，将该特征向量与B集合中任意的路径的任意一个结点的特征向量求一个距离，如果该距离小于一个阈值，那么保留该路径，否则删除，保留下的路径集合为B^*。

优选的，对于全部摄像头下得到的候选路径，初始化一个有向图G，G的结点由多个摄像头的路径集合B^*组成，每一条路径都是一个0节点；

针对生成的有向图G，遍历其中的没有入边的节点，组成集合S，作为路径的起点，遍历G中没有出边的节点，组成集合E；

从集合S中的元素出发，利用图搜索算法，得到一条从集合S的任何一个节点到集合E中的一个节点的路径，计算每条路径的优先级。

优选的，步骤S6中，在输出结果路径前，对路径进行去重处理，方法是：

B是A的重复路径的定义如下：对于路径A和路径B，A的长度大于B的长度，当且仅当B路径是A路径的子序列时，B是A的重复路径。

优选的，步骤S6中，在输出结果路径前，对路径进行去相似处理，方法是：

对于路径A和路径B，如果A的长度不等于B的长度，或者A和B的路径长度相同，但是A和B只要有一个相对应的节点出现的摄像头位置不同，那么A和B为不相似路径，不相似度定义为无穷；

两条相似路径(A的长度等于B的长度)的不相似度计算方法是：

其中，TA_i、TB_i表示路径A和B中第i个节点的出现时间戳，n表示路径A和B中节点的个数，也即长度；

如果不相似度小于预设的阈值，则合并两个路径，直到不能合并为止。

更进一步的，如果不相似度小于预设的阈值，则合并两个路径，合并方法是：

设A1是路径A里面的第一个节点，包含经过单个摄像头目标跟踪的多个图像，B1同理，如果路径A和路径B是相似路径，A1和B1应当是同一个摄像头下，那么把A1和B1里面单个摄像头目标跟踪的结果放到一起组成新路径节点C1，依次类推到Cn，新路径C1，C2，……，Cn即为合并结果。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明使用多目标跟踪算法作为单摄像头关联方法，实现单摄像头条件下的同一个人的路径标注，再将多摄像头下的单个人的标注通过他们出现的时间和预先设置好的路径时间参数进行比较，得到路径结点邻接矩阵，再利用深度优先搜索算法得到目标最有可能的路径，与传统的单图片关联行人再识别系统相比，应用领域更加广泛，实用性更高。

2、本发明提出了一种行人路径生成方法，通过预先设置不同摄像头之间的可能相差的步行时间差，关联不同摄像头之间出现的个体，再把这些路径连接起来，得到总的路径，这种得到路径的方法相比于只得到单一图片的方法，路径更加具有实际意义。

附图说明

图1为本发明方法的操作流程图。

图2为本发明单一摄像头视频内的级联匹配算法流程图。

图3为待检测的行人示例图。

图4为本发明方法检索得到的检索结果示例图。

图5为本发明方法生成的部分路径示例图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明基于多摄像头视频图像的行人再识别路径生成方法，包括步骤：

S1、对输入的多个摄像头的视频图像进行行人检测；

S2、对单个摄像头检测到的行人图像进行前后帧的关联，将每一个视频中的行人出现的图像按照时间顺序表示为一段路径，同时提取检测到的行人图像的特征；

S3、提取待检索图像的特征，将其与每个摄像头关联得到的路径中的行人特征进行比较，筛选出和待检索图像特征距离小于预设阈值的路径，以及与待检索图像特征距离最近的N个路径，上述所有路径作为该摄像头下的候选路径；

S4、全部摄像头下的候选路径组成一个节点集合，也作为有向图G的节点，基于有向图G进行多摄像头关联。

S5、针对建立的有向图搜索所有可能的路径，计算每条路径的优先级，优先级计算方法是取路径中所有边的权重之和除以边的总数；

S6、对路径进行去重、去相似后按照路径的优先级从大到小排列作为输出。

步骤S1中，设输入的视频图像有N路，分别用c₁，c₂，c₃，...，c_N表示，每一路摄像头通常含有多个视频段，可以将这些视频段串联起来，统一用f_ij表示，其中i表示摄像头的ID，j表示这一帧的时间。针对输入的每一帧图像f_ij，使用行人目标检测算法(本例中使用RFBNet深度网络目标检测器)得到每一帧图像f_ij中的行人框(x₁，y₁，x₂，y₂)，(x₁，y₁)表示框的左上角，(x₂，y₂)表示框的右下角。设第i个摄像头下的第j帧检测到的第k个行人框用a_ijk表示，用n_ij表示第i个摄像头下的第j帧检测到的行人总数。使用特征提取算法(本例中使用Denset101深度网络)针对第i个摄像头下的第j帧的图像a_ijk框中部分的图像提取对应的向量特征，用v_ijk表示，该向量满足同一个行人在不同条件下，照得的图像获得的特征向量距离尽可能的小。

步骤S2中，初始化一个集合B_i，集合B的具体生成过程如图2所示。定义B_i中的每一个元素b_p也是一个集合，这个集合包含连续时间内同一个个体p的路径的框坐标，针对第i个摄像头下的第j帧检测到的行人框a_ijk，如果B_i为空，则添加一个含有a_ijk的元素b_p加入B_i中，否则a_ijk应和B_i中的每一个元素b_p进行级联比较，比较的优先级按照b_p中添加的最后的元素出现的时间进行排序，含有最新元素的b_p最先进行比较。a_tjk和b_p比较的具体步骤为：设b_pq表示B中第p个人的路径中第q个框的特征向量，遍历q，求取a_ijk与b_pq求取一个距离d_pq＝distance(v_ijk，b_pq)，这里具体使用的距离为欧氏距离，d_p表示d_pq组成的集合，如果在d_p中存在小于阈值d^*的元素，则将a_ijk关联到b_p，如果存在多个相同优先级的b_p，则取含有最小距离的b_p且该b_p得到的最小距离小于阈值d^*作为关联对象，如果不存在小于阈值的b_p，则新建一个含有a_ijk的路径元素作为新b_p加入到B_i中。这个步骤完成后，针对每个摄像头录制的视频，可以得到一个B_i，含有该摄像头下走过的所有行人路径。

步骤S3中，设待检索图像为I，通过特征提取算法得到其特征向量为v_I，遍历所有集合B_i，筛选找到所有与v_I距离小于阈值的路径，以及与v_I距离最近的N个路径，将上述所有路径合并而成b_p，组成新集合

对每个摄像头均进行计算，得到其对应的集合

然后进行多摄像头关联，方法是：

设G表示一个有向图，所有的摄像头得到的B^*组成一个大的集合，集合中的每个元素是G中的一个节点，节点的边通过以下方法建立：所有的摄像头两两组成摄像头对，设B₁，B₂表示其中的一个任意摄像头对，节点B_1p与节点B_2q建立有向边的条件是：B_1p与B_2q最后更新的时间差绝对值t_pq减去两个摄像头之间预先设置的时间差值t₁₂，如果获得结果的绝对值满足“小于阈值t^*”这一条件，则将获得结果的绝对值作为该节点的边的权重。如果B_1p比B_2q后出现，有向边的方向为B_2q指向B_1p，否则相反。举例说明如下，现在已知A点到B点要100s(这是预先设定的值，该值可以在多人步行时间的平均值的基础上适当上浮得到)，节点B_1p与节点B_2q最后更新时间差的绝对值是90s(这是测量值)，那么二者差的绝对值10s就是这两个节点的权重，假设阈值t^*＝15s，则保留这条边。

针对生成的有向图G，遍历其中的没有入边的节点，组成集合S，作为路径的起点，遍历G中没有出边的节点，组成集合E。从集合S中的元素出发，利用图搜索算法，可以得到一条从集合S的任何一个节点到集合E中的一个节点的路径，路径的优先级用e表示，其值取路径中所有边权重的和除以边的总数，e越小，优先级越高。

步骤S6中，对路径进行去重即去除所有路径中重复的路径，B是A的重复路径定义如下：对于路径A和路径B，A的长度大于B的长度，当且仅当B路径是A路径的子序列时，B是A的重复路径。

针对去重后的路径集合，还要对路径进行去相似。定义路径A和路径B的不相似度如下：

对于路径A和路径B，如果A的长度不等于B的长度，或者A和B的路径长度相同，但是A和B的只要有一个相对应的节点出现的摄像头位置不同，那么A和B的不相似度为无穷，否则需要求得它们的不相似度。

两条相似路径的不相似度计算方法是：

其中，TA_i、TB_i表示路径A和B中第i个节点的出现时间戳，n表示路径A和B中节点的个数，也即长度。如果不相似度小于预设的阈值，则合并两个路径，直到不能合并为止，合并方法是：

设A1是路径A里面的第一个节点，包含经过单个摄像头目标跟踪的多个图像，B1同理，如果路径A和路径B是相似路径，A1和B1应当是同一个摄像头下，那么把A1和B1里面单个摄像头目标跟踪的结果放到一起组成新路径节点C1，依次类推到Cn，新路径C1，C2，……，Cn即为合并结果。

最后将去重、去相似后的路径按照路径的优先级从大到小排列作为输出。

本实施例提供了一个实例，针对图3所示的待检测的行人示例图，通过提取特征向量，然后在多个摄像头中进行关联，得到图4所示部分摄像头中检索的结果，通过上述结果，生成图5所示的路径，从图5可直接看到该待检测行人目标行走的路径，更加直观，实用性更高。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，包括步骤：

S1、对输入的多个摄像头的视频图像进行行人检测；

S2、对单个摄像头检测到的行人图像进行前后帧的关联，将每一个行人表示为一段路径，同时提取检测到的行人图像的特征；

S3、提取待检索图像的特征，将其与每个摄像头关联得到的路径中的行人特征进行比较，筛选出和待检索图像特征距离小于预设阈值的路径，以及与待检索图像特征距离最近的N个路径，上述所有路径作为该摄像头下的候选路径；

S4、对全部摄像头下的候选路径进行关联，首先将全部摄像头下的候选路径组成一个节点集合，也作为有向图G的节点，有向图G的边的权重的计算方法是：

计算两个节点最后更新的时间的差值，取其绝对值；

预设两个节点之间的时间差值；所述时间差值根据两个节点之间相差的步行时间差来确定；

若所述绝对值与所述时间差值之差的绝对值小于预设阈值，则保留这两个节点之间的边，同时将绝对值与时间差值之差的绝对值作为该边的权重，边的方向由先出现的节点指向后出现的节点；

S5、针对建立的有向图搜索所有可能的路径，计算每条路径的优先级，优先级计算方法是取路径中所有边的权重之和除以边的总数；

S6、按照路径的优先级从大到小排序，输出结果路径。

2.根据权利要求1所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，所述步骤S1中，使用RFBNet深度网络目标检测器对输入的视频图像进行行人检测，目标检测器的输入为输入的图像，输出为该图像中行人的边界框。

3.根据权利要求1所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，所述步骤S2中，对单个摄像头检测到的行人图像进行前后帧的关联，方法是：

初始化一个路径集合B_i，对于新来的行人a及其特征，如果B_i为空，则初始化一个新的路径，把a加入其中，放入有向图的边集合S中，否则a的特征应与B_i中的所有的路径中的特征进行级联比较，比较方法如下：B_i中更新时间最近的比较优先级最高，比较时，a的特征要与待比较的路径中所有的特征求差值，如果存在一个差值小于预先设定的阈值，则把这条路径放入该优先级的候选路径中，相同优先级中的候选路径中差值最小的路径作为关联路径，把a放入该路径中，如果S中所有路径都不满足小于预先设定的阈值条件，则初始化一个新的路径，把a加入其中，放入B_i中；B_i中含有该摄像头下走过的所有行人路径。

4.根据权利要求3所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，所述步骤S3中，筛选路径的方法是：对待检索图像求取其特征向量，将该特征向量与B集合中任意的路径的任意一个结点的特征向量求一个距离，如果该距离小于一个阈值，那么保留该路径，否则删除，保留下的路径集合为B^*。

5.根据权利要求4所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，对于全部摄像头下得到的候选路径，初始化一个有向图G，G的结点由多个摄像头的路径集合B^*组成，每一条路径都是一个节点；

针对生成的有向图G，遍历其中的没有入边的节点，组成集合S，作为路径的起点，遍历G中没有出边的节点，组成集合E；

从集合S中的元素出发，利用图搜索算法，得到一条从集合S的任何一个节点到集合E中的一个节点的路径，计算每条路径的优先级。

6.根据权利要求1或5所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，步骤S6中，在输出结果路径前，对路径进行去重处理，方法是：

B是A的重复路径的定义如下：对于路径A和路径B，A的长度大于B的长度，当且仅当B路径是A路径的子序列时，B是A的重复路径。

7.根据权利要求1或5所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，步骤S6中，在输出结果路径前，对路径进行去相似处理，方法是：

对于路径A和路径B，如果A的长度不等于B的长度，或者A和B的路径长度相同，但是A和B只要有一个相对应的节点出现的摄像头位置不同，那么A和B为不相似路径，不相似度定义为无穷；

两条相似路径的不相似度计算方法是：

其中，TA_i、TB_i表示路径A和B中第i个节点的出现时间戳，n表示路径A和B中节点的个数；

如果不相似度小于预设的阈值，则合并两个路径，直到不能合并为止。

8.根据权利要求7所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，如果不相似度小于预设的阈值，则合并两个路径，合并方法是：

设A1是路径A里面的第一个节点，包含经过单个摄像头目标跟踪的多个图像，B1同理，如果路径A和路径B是相似路径，A1和B1是同一个摄像头下，那么把A1和B1里面单个摄像头目标跟踪的结果放到一起组成新路径节点C1，依次类推到Cn，新路径C1,C2,……，Cn即为合并结果。

Images