CN113259630B - 一种多摄像头行人轨迹聚合系统和方法 - Google Patents

Abstract

本发明公开了一种多摄像头行人轨迹聚合系统和方法。该系统包括连接摄像头的前端装置和连接前端装置的聚合服务器。前端装置，负责对摄像头的实时视频流数据的单体行人轨迹分析，包括视频流接收装置、行人检测装置、行人追踪装置、行人定位装置以及轨迹发送装置。聚合服务器，负责对单体行人轨迹分析进行融合，包括轨迹接收装置、轨迹筛选装置、特征匹配装置、轨迹融合装置和轨迹存储装置。本发明通过前端装置和聚合服务器不同功能布局实现算力的负载均衡，本发明轨迹融合后形成有向图结构的行人轨迹，除了能够便于后续分析之外，还具备有相当的容错能力。

Description

一种多摄像头行人轨迹聚合系统和方法

技术领域

本发明涉及跨摄像头的目标行人轨迹分析技术。

背景技术

随着计算机视觉的发展, 国民生活质量得到大幅提升，公共安全问题越来越受到重视，视频监控成为监控公共安全的重要手段之一，智能视频监控技术得到广泛的关注和研究。传统的视频监控仅能提供基础的视频流获取、存储及回放功能，如果需要保证实时监控异常行为与预警，就需要监控人员的实时监视，容易造成人员疲惫与人力资源的浪费，于是智能监控成为代替传统人力手段的新方向，基于数字视频监控系统，运用机器学习、人工智能等先进技术的智能视频监控系统进入大众的视野。

然而，单纯的跨摄像头目标跟踪仅能产生海量的基础数据，在监控中并无法起到有效的实际作用，因此，如何组织存储，从中快速检索特定目标，还原其历史轨迹具有十分重要的研究意义。基于目标轨迹的提取，通过数据挖掘技术，能够为进一步分析目标行为异常情况、目标人是否存在伴随人员等。

公开号CN 109947874 A，公开日2019年6月28日公开的中国专利文献《移动轨迹的聚合方法、装置及设备》公开了一种移动轨迹的聚合方法、装置及设备。该方法单纯依据时间特征对轨迹进行聚类分析，无法应用于多摄像头行人轨迹的聚合之中。这是因为在某些应用场合，行人很多的情况下，聚类分析可以得到很多相同特征的轨迹。在不对目标行人特征识别的情况下，这种轨迹聚类毫无意义。此外，多摄像头应用场合下，摄像头可能有很多，比如上百个，轨迹数据也很多，现有的条件下，没有机器能够独立负担计算。

发明内容

本发明所要解决的问题：

1、在海量的视频流数据中提取行人轨迹数据，并将行人轨迹数据合并，从而减少后续分析的数据量；

2、通过计算系统架构设计，均衡行人轨迹数据分析的计算，从而使得行人轨迹数据分析能够通过实时方式进行。

为解决上述问题，本发明采用的方案如下：

根据本发明的一种多摄像头行人轨迹聚合系统，包括前端装置和聚合服务器；所述前端装置通过网络连接有若干摄像头；所述聚合服务器通过网络连接若干前端装置；所述前端装置包括视频流接收装置、行人检测装置、行人追踪装置、行人定位装置以及轨迹发送装置；所述聚合服务器包括轨迹接收装置、轨迹筛选装置、特征匹配装置、轨迹融合装置和轨迹存储装置；

所述视频流接收装置用于接收所连接摄像头的视频流数据；

所述行人检测装置用于通过行人的目标检测在所接收的视频流数据的视频流帧图像中确定目标行人；

所述行人追踪装置用于根据所确定的目标行人在视频流数据中进行多目标追踪，追踪所述目标行人的图像位置和特征数据，并通过对目标行人的深度估计追踪所述目标行人的深度数据；

所述行人定位装置用于根据所述目标行人的图像位置和深度数据，结合摄像头位置信息计算出所述目标行人的地理位置；

所述轨迹发送装置用于将摄像头信息和目标行人的特征数据、地理位置组成行人轨迹数据向所述聚合服务器发送；

所述轨迹接收装置用于接收所述前端装置所发送的行人轨迹数据；

所述轨迹筛选装置用于根据所接收行人轨迹数据所确定的时间和位置范围，从轨迹数据库中选取行人轨迹数据，通过对所接收的行人轨迹数据和所选取的行人轨迹数据是否符合轨迹时空连续性对所选取的行人轨迹数据进行筛选；

所述特征匹配装置用于对所接收的行人轨迹数据和所筛选到的行人轨迹数据中的目标行人特征数据进行相似度匹配；

所述轨迹聚合装置用于根据相似度匹配的结果，对所接收的行人轨迹数据和所匹配到的行人轨迹数据进行融合；

所述轨迹存储装置用于将聚合得到的行人轨迹数据存入轨迹数据库。

进一步，根据本发明的多摄像头行人轨迹聚合系统，所述前端装置还包括背景分析装置和视频流缓存装置；所述背景分析装置用于通过对视频流数据进行分析得到背景图像；所述视频流缓存装置用于缓存所接收的视频流数据；所述行人追踪装置在当所述行人检测装置确定新的目标行人时，基于背景图像对所缓存的视频流数据进行前向追踪。

进一步，根据本发明的多摄像头行人轨迹聚合系统，所述前端装置还包括缓存清理装置；所述缓存清理装置用于跟踪时间T1内所确定的目标行人，通过所述行人追踪装置对所缓存的视频流数据的前向追踪，判断这些目标行人在所缓存的视频流数据中都不存在的时间点T2，然后在所缓存的视频流数据中将时间点T2之前的视频流数据清除。

进一步，根据本发明的多摄像头行人轨迹聚合系统，所述前端装置还包括人脸特征提取装置；所述人脸特征提取装置用于跟踪所确定的目标行人在视频流数据中的人脸并提取人脸特征数据；所述目标行人的特征数据包括人脸特征数据；所述特征匹配装置进行相似度匹配时，将相似度匹配的结果分成有第一类型和第二类型；所述第一类型表示相似度匹配的结果未包含人脸特征数据；所述第二类型表示相似度匹配的结果包含有人脸特征数据；所述轨迹聚合装置中，对于第一类型则将所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据，对于第二类型则将所接收的行人轨迹数据以合并的方式加入至所匹配的行人轨迹数据；当所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据时，以相似度值作为有向图的边的可信度参数。

进一步，根据本发明的多摄像头行人轨迹聚合系统，所述轨迹筛选装置中，是否符合轨迹时空连续性的判断包括如下模块：

模块MS221，用于：若ta_1小于tb_Kb，则选取时间点ta_1和时间点tb_Kb的中点tm=(ta_1+tb_Kb)/2，若地理位置Pa_m和Pb_m的距离大于2Dh则表示不符合轨迹时空连续性；模块MS222，用于：若tb_Kb小于ta_1，若地理位置Pb_Kb和Pa_1之间的距离大于2Dh+(ta_1-tb_Kb)*va则表示不符合轨迹时空连续性；

其中，Pa_m为轨迹Ra距离时间点tm最为接近的地理位置，Pb_m为轨迹Rb距离时间点tm最为接近的地理位置；距离时间点tm最为接近的地理位置可以表示为时间点t_j或者t_j+1所对应的地理位置，其中tm位于区间[t_j,t_j+1]之间；t_j、t_j+1为行人轨迹数据的移动轨迹中的时间点；

其中，轨迹Ra表示为所接收的行人轨迹数据的移动轨迹：Ra={(ta_1,Pa_1), (ta_2,Pa_2) , …,(ta_Ka,Pa_Ka)}；其中，Pa_1、Pa_2、…、Pa_Ka表示为所接收的行人轨迹数据的目标行人的地理位置，ta_1、ta_2、…、ta_Ka分别表示地理位置Pa_1、Pa_2、…、Pa_Ka所对应的时间点；

轨迹Rb表示为所选取的行人轨迹数据的移动轨迹：Rb={(tb_1,Pb_1), (tb_2,Pb_2) , …, (tb_Kb,Pb_Kb)}；其中，Pb_1、Pb_2、…、Pb_Kb表示为所选取的行人轨迹数据的目标行人的地理位置，tb_1、tb_2、…、tb_Kb分别表示地理位置Pb_1、Pb_2、…、Pb_Kb所对应的时间点；

其中，Dh表示预先设定的误差，va为目标行人的移动速度。

根据本发明的一种多摄像头行人轨迹聚合方法，该方法涉及包括前端装置和聚合服务器；所述前端装置通过网络连接有若干摄像头；所述聚合服务器通过网络连接若干前端装置；所述方法包括如下步骤：

SC1：所述前端装置接收所连接摄像头的视频流数据；

SC2：所述前端装置通过行人的目标检测在所接收的视频流数据的视频流帧图像中确定目标行人；

SC3：所述前端装置根据所确定的目标行人在视频流数据中进行多目标追踪，追踪所述目标行人的图像位置和特征数据，并通过对目标行人的深度估计追踪所述目标行人的深度数据；

SC4：所述前端装置根据所述目标行人的图像位置和深度数据，结合摄像头位置信息计算出所述目标行人的地理位置；

SC5：所述前端装置将摄像头信息和目标行人的特征数据、地理位置组成行人轨迹数据向所述聚合服务器发送；

SS1：所述聚合服务器接收所述前端装置所发送的行人轨迹数据；

SS2：所述聚合服务器根据所接收行人轨迹数据所确定的时间和位置范围，从轨迹数据库中选取行人轨迹数据，通过对所接收的行人轨迹数据和所选取的行人轨迹数据是否符合轨迹时空连续性对所选取的行人轨迹数据进行筛选；

SS3：所述聚合服务器对所接收的行人轨迹数据和所筛选到的行人轨迹数据中的目标行人特征数据进行相似度匹配；

SS4：所述聚合服务器根据相似度匹配的结果，对所接收的行人轨迹数据和所匹配到的行人轨迹数据进行融合；

SS5：所述聚合服务器将聚合得到的行人轨迹数据存入轨迹数据库。

进一步，根据本发明的多摄像头行人轨迹聚合方法，还包括如下步骤：

SC20：所述前端装置通过对视频流数据进行分析得到背景图像；

SC21：所述前端装置缓存所接收的视频流数据；

SC31：所述前端装置中的行人检测装置确定新的目标行人时，基于背景图像对所缓存的视频流数据进行前向追踪。

进一步，根据本发明的多摄像头行人轨迹聚合方法，还包括如下步骤：

SC32：所述前端装置跟踪时间T1内所确定的目标行人，通过所述前端装置中的行人追踪装置对所缓存的视频流数据的前向追踪，判断这些目标行人在所缓存的视频流数据中都不存在的时间点T2，然后在所缓存的视频流数据中将时间点T2之前的视频流数据清除。

进一步，根据本发明的多摄像头行人轨迹聚合方法，还包括如下步骤：

SC34：所述前端装置跟踪所确定的目标行人在视频流数据中的人脸并提取人脸特征数据；

所述目标行人的特征数据包括人脸特征数据；

所述SS3的步骤中，进行相似度匹配时，将相似度匹配的结果分成有第一类型和第二类型；所述第一类型表示相似度匹配的结果未包含人脸特征数据；所述第二类型表示相似度匹配的结果包含有人脸特征数据；

所述SS4的步骤中，对于第一类型则将所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据，对于第二类型则将所接收的行人轨迹数据以合并的方式加入至所匹配的行人轨迹数据；当所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据时，以相似度值作为有向图的边的可信度参数。

进一步，根据本发明的多摄像头行人轨迹聚合方法，所述SS2的步骤中，是否符合轨迹时空连续性的判断包括如下步骤：

SS221：若ta_1小于tb_Kb，则选取时间点ta_1和时间点tb_Kb的中点tm= (ta_1+tb_Kb)/2，若地理位置Pa_m和Pb_m的距离大于2Dh则表示不符合轨迹时空连续性；

SS222：若tb_Kb小于ta_1，若地理位置Pb_Kb和Pa_1之间的距离大于2Dh+(ta_1-tb_Kb)*va则表示不符合轨迹时空连续性；

其中，Pa_m为轨迹Ra距离时间点tm最为接近的地理位置，Pb_m为轨迹Rb距离时间点tm最为接近的地理位置；距离时间点tm最为接近的地理位置可以表示为时间点t_j或者t_j+1所对应的地理位置，其中tm位于区间[t_j,t_j+1]之间；t_j、t_j+1为行人轨迹数据的移动轨迹中的时间点；

其中，轨迹Ra表示为所接收的行人轨迹数据的移动轨迹：Ra={(ta_1,Pa_1), (ta_2,Pa_2) , …, (ta_Ka,Pa_Ka)}；其中，Pa_1、Pa_2、…、Pa_Ka表示为所接收的行人轨迹数据的目标行人的地理位置，ta_1、ta_2、…、ta_Ka分别表示地理位置Pa_1、Pa_2、…、Pa_Ka所对应的时间点；

轨迹Rb表示为所选取的行人轨迹数据的移动轨迹：Rb={(tb_1,Pb_1), (tb_2,Pb_2) , …, (tb_Kb,Pb_Kb)}；其中，Pb_1、Pb_2、…、Pb_Kb表示为所选取的行人轨迹数据的目标行人的地理位置，tb_1、tb_2、…、tb_Kb分别表示地理位置Pb_1、Pb_2、…、Pb_Kb所对应的时间点；

其中，Dh表示预先设定的误差，va为目标行人的移动速度。

本发明的技术效果如下：

1、本发明通过前端装置和聚合服务器完成不同的功能配置，使得前端装置和聚合服务器之间实现算力的负载均衡，从而实现对实时视频流数据的行人轨迹数据进行合并分析；

2、前端装置和聚合服务器之间仅传递行人轨迹数据，无需传输视频流数据，从而降低网络数据传输开销；

3、以有向图表示聚合后的行人轨迹，边的节点保存相似度值，从而在后续的分析中能够通过对有向图节点连接关系的更改以对特定目标确认行人轨迹数据，从而使得聚合后的行人轨迹具备一定的容错能力。

附图说明

图1是本发明多摄像头行人轨迹聚合系统实施例的整体结构示意图。

图2是本发明多摄像头行人轨迹聚合系统实施例模块连接关系和数据流向示意图。

图3是本发明实施例以有向图表示的行人轨迹的示意图。

其中，100是前端装置，200是聚合服务器，300是数据库系统，400是摄像头。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本实施例一种多摄像头行人轨迹聚合系统是挂接在视频监控系统上的系统。如图1所示，视频监控系统包括监控视频数据库和摄像头400。监控视频数据库连接摄像头400，用于存储摄像头400所拍摄的视频流数据。本实施例的多摄像头行人轨迹聚合系统，包括前端装置100和聚合服务器200。前端装置100通常有若干。每个前端装置100通过网络连接有若干摄像头400。聚合服务器200通过网络连接若干前端装置100。前端装置100和聚合服务器200均为计算的机器，通过执行计算机软件程序实现其特定的功能。前端装置100所连接的摄像头400的数量依赖于其自身的算力。聚合服务器200可以是由多台计算机所组成的服务器集群。本实施例的多摄像头行人轨迹聚合系统用于以实时方式采集视频流数据，提取出现在视频中各行人的移动轨迹，并且将出现在多个摄像头中的某个行人的移动轨迹聚合在一起，再将各个行人的移动轨迹存入轨迹数据库，以便于后续进行大数据分析。监控视频数据库和轨迹数据库组成数据库系统300。

如图2所示，前端装置100包括通过执行计算机软件程序所实现的视频流接收装置、背景分析装置、视频流缓存装置、行人检测装置、行人追踪装置、缓存清理装置、行人定位装置、人脸特征提取装置和轨迹发送装置。其中，行人追踪装置包括前向追踪装置和实时追踪装置。

视频流接收装置用于接收所连接摄像头的视频流数据。本领域技术人员理解，视频流数据可以视为帧图像按时间流顺序排列而成。通常摄像头所发送的视频流数据的帧速为24fps。考虑到行人移动速度较小，本实施例中，视频流接收装置在接收视频流数据时，对视频流数据的帧速进行调制，调制为1~5fps。视频流接收装置将帧速调制后的视频流数据同时传送至背景分析装置、视频流缓存装置、行人检测装置和实时追踪装置。

背景分析装置用于通过对视频流数据进行分析得到背景图像。这里的背景图像就是视频流数据中剔除移动目标后的图像。也就是在视频流数据中，通过对连续的帧图像分析，剔除帧图像与帧图像之间不同的部分，并将剔除掉的部分以其他帧图像中的内容以补全。这种视频流背景图像分析为本领域技术人员所熟悉。背景分析装置对视频流数据进行背景图像分析时，随着视频流数据的接收，背景图像将会逐步稳定，当背景图像稳定在一定的条件下时，不再进行背景图像分析，以此节约算力。

视频流缓存装置用于缓存所接收的视频流数据。视频流缓存装置缓存视频流数据时通常以文件方式将视频流数据存入硬盘。

行人检测装置用于通过行人的目标检测在所接收的视频流数据的视频流帧图像中确定目标行人。本实施例中行人检测采用Yolo V3目标检测算法。通过YoloV3目标检测算法将得到目标行人在视频流帧图像中的位置方框。也就是目标行人的数据是目标行人在图像中的位置方框。行人检测装置在视频流数据中检测到目标行人后，将对应的位置方框发送至行人追踪装置。Yolo V3目标检测算法是一种基于图像神经网络的机器学习算法，为本领域技术人员所熟悉，其具体实现本说明书不再赘述。

行人追踪装置根据行人检测装置所提供的位置方框对目标行人进行多目标跟踪。行人追踪装置得到行人检测转置所提供的位置方框后，首先启动前向追踪，通过前向追踪装置基于背景图像对所缓存的视频流数据进行前向追踪，然后再进行实时追踪，也就是通过实时追踪装置对实时的视频流数据进行跟踪。实时追踪装置进行跟踪时，根据所确定的目标行人在视频流数据中进行多目标追踪，追踪目标行人的图像位置和特征数据，并通过对目标行人的深度估计追踪目标行人的深度数据。也就是，实时追踪装置输出目标行人的图像位置、特征数据和深度数据。实时追踪装置所处理的视频流数据为实时的视频流数据。

前向追踪装置对所缓存的视频流数据进行的前向追踪采用的是快速追踪算法，仅对目标行人的图像位置和深度数据进行前向追踪，对于目标行人的特征数据不做处理。前向追踪装置通过对缓存视频流数据的帧图像与背景图像的比对，对位置方框进行前向追踪，找出位置方框内图像相对于背景图像的连续变化，再通过深度估计追踪目标行人的深度数据。找出位置方框内图像相对于背景图像的连续变化对本领域技术人员来说并不难实现。

本实施例中，实时追踪装置通过根据所确定的目标行人在视频流数据中进行多目标追踪，追踪目标行人的图像位置和特征数据采用了Deep Sort多目标跟踪算法。通过DeepSort多目标跟踪算法对视频流数据的帧图像追踪输出目标行人的图像位置和特征数据。图像位置也就是目标行人在帧图像中的位置。本实施例中，实时追踪装置和前向追踪装置对目标行人进行深度估计时采用了单目深度估计网络。Deep Sort多目标跟踪算法和单目深度估计网络都是基于图像神经网络的机器学习算法，为本领域技术人员所熟悉，具体实现本说明书不再赘述。

本实施例中，背景图像和缓存的视频流数据均是为了前向追踪的需要。而本实施例之所以进行前向追踪是考虑到本实施例行人检测装置所采用的Yolo V3目标检测算法是较为严格目标检测算法。当目标行人出现在实时视频流数据的帧图像中时，并不能立刻检测到。而是当目标行人在图像中显示较为清晰时，才能检测到目标行人，此时，本领域技术人员理解，基于Deep Sort多目标跟踪算法也可以对缓存的视频流数据进行前向追踪。但考虑到还需要对实时视频数据流进行实时追踪，因此前向追踪速度需要尽可能的快，所耗费的时间需要尽可能的少。为此，本实施例采用通过背景图像匹配的方式，以此加快前向追踪速度。由于前向追踪仅对目标行人在帧图像中的位置进行追踪，因此，前向追踪得到的数据不包括目标行人的特征数据。当然，本领域技术人员理解，基于本发明的上述实施方式，前向追踪是可以省略的，此时，背景分析和视频流缓存也相应地可以省略。

此外，进一步地，由于视频流缓存装置所缓存的视频流数据用于前向追踪，而前向追踪需要追求前向追踪的速度，为此，视频流缓存装置对实时视频流数据进行缓存时，还可以进一步调制帧速，将帧速调制为不超过1fps。

此外，视频流缓存装置所缓存的视频流数据通常是一段指定时间内的视频流数据。该指定时间通常为30至60分钟。若所缓存的视频流数据时长超过所指定时间，则将超过该指定时间范围外的视频流数据清除掉。除了按上述根据指定的时间范围对所缓存的视频流数据进行清理之外，本实施例中还通过前向追踪装置的追踪结果进行对所缓存的视频流数据进行清理。具体也就是，跟踪时间T1内所确定的目标行人，通过行人追踪装置对所缓存的视频流数据的前向追踪，判断这些目标行人在所缓存的视频流数据中都不存在的时间点T2，然后在所缓存的视频流数据中将时间点T2之前的视频流数据清除。由于前向追踪是对缓存的视频流数据按时间逆向追踪，因此，目标行人在缓存的视频流数据中不存在的时间点也就是目标行人在实时视频流数据中出现的时间点。时间T1通常为5~10分钟。比如，当前时间点5~10分钟之内行人检测装置所确定的目标行人为：a1、a2、a3。前向追踪时，目标行人a1、a2、a3在缓存的视频流数据中不存在的时间点分别为t1、t2和t3。则选取时间点t1、t2和t3中的最小时间作为时间点T2。由此，在后续的前向追踪时，可以减少前向追踪所需要分析的视频流数据的数据量。

实时追踪装置输出目标行人的图像位置、特征数据和深度数据。其中，图像位置和深度数据组成目标行人的位置信息。目标行人的位置信息是基于帧图像的位置信息，因此，对视频流追踪得到的目标行人的位置信息是一组按照时间顺序排列的位置信息队列。该位置信息队列即为图像内移动轨迹。同理，前向追踪装置输的也是目标行人的图像内移动轨迹。由此，行人追踪装置输出目标行人的特征数据和图像内移动轨迹。其中，图像内移动轨迹是由前向追踪装置和实时追踪装置共同得到。特征数据由实时追踪装置通过Deep Sort多目标跟踪算法得到。行人追踪装置所输出的图像内移动轨迹是相对于摄像头所拍摄图像的位置信息。因此，需要将该相对于摄像头所拍摄图像的位置信息转换成实际的位置信息，也就是转换成地理位置。转成实际的位置信息通过行人定位装置实现。行人定位装置用于根据目标行人的图像位置和深度数据，结合摄像头位置信息计算出目标行人的地理位置。行人定位装置计算地理位置的过程实质也就是不同参照系下坐标的映射，对本领域技术人员来说实现并不困难。

此外，本实施例中，通过Deep Sort多目标跟踪算法得到的目标行人的特征数据并不包括人脸特征。这是因为视频流数据中的目标行人可能是某个目标行人的背影，缺少可通过人脸识别的面部信息。即便视频流数据中的目标行人是某个目标行人的正面，在帧图像中能够看到该行人的脸部，但由于摄像头距离行人太远，导致人脸太小，不足以进行人脸识别。但在当目标行人距离摄像头距离不远的情况下，摄像头可以清晰捕捉到目标行人的人脸。此种情形下，可以提取人脸特征用于人脸识别。为此本实施例中行人追踪装置还包括人脸特征提取装置。人脸特征提取装置用于跟踪所确定的目标行人在视频流数据中的人脸并提取人脸特征数据。具体来说，实时追踪装置通过Deep Sort多目标跟踪算法对帧图像进行多目标跟踪后，人脸特征提取装置根据目标行人的图像位置信息对帧图像中目标行人进行人脸特征提取。人脸特征提取时，提取实时视频流数据中最为清晰人脸的人脸特征。由此，行人追踪装置所输出的目标行人的特征数据包括人脸特征数据。当人脸特征提取装置无法提取人脸特征数据时，行人追踪装置所输出的人脸特征数据为空。人脸特征提取算法为本领域技术人员所熟悉，其具体实现本说明书不再赘述。

轨迹发送装置用于将摄像头信息和目标行人的特征数据、地理位置组成行人轨迹数据向聚合服务器200发送。其中，目标行人的地理位置按时间顺序排列后结合每个地理位置的时间戳组成移动轨迹。移动轨迹包含轨迹时间段。移动轨迹的轨迹时间段也就是行人轨迹数据的轨迹时间段。本实施例中，轨迹发送装置发送行人轨迹数据时，所发送行人轨迹数据的轨迹时间段如下方式确定：若行人追踪装置追踪目标行人的时间长度超过预先设定阈值T3，则轨迹发送装置向聚合服务器200发送轨迹时间段长度为阈值T3的行人轨迹数据；否则轨迹发送装置向聚合服务器200发送目标行人在摄像头中所出现时间长度内的行人轨迹数据。阈值T3一般预先设置为1~5分钟。前述追踪目标行人的时间长度超过阈值T3，表示目标行人在摄像头中所出现时间长度超过阈值T3，此种情形下，该目标行人在摄像头中所出现时间过长，导致轨迹发送装置需要将行人轨迹数据分段发送。为此，本实施例中，轨迹发送装置发送行人轨迹数据时，为目标行人构建唯一识别码。行人轨迹数据包括目标行人的唯一识别码和轨迹序号标识。目标行人的唯一识别码，本实施例中，由摄像头识别码、行人检测装置所检测到的时间和序号所组成。轨迹序号标识用于表示轨迹发送装置所发送的行人轨迹数据是否是对应摄像头内完整的移动轨迹序列。

聚合服务器200包括通过执行计算机软件程序所实现的轨迹接收装置、轨迹筛选装置、特征匹配装置、轨迹融合装置和轨迹存储装置。

轨迹接收装置用于接收前端装置100所发送的行人轨迹数据。本实施例中，由于轨迹发送装置对行人轨迹数据进行了分段处理。为此，轨迹接收装置需要将分段处理的行人轨迹数据进行缓存并合并成整体。具体处理如下：根据行人轨迹数据中的轨迹序号标识判断当前的行人轨迹数据是否唯一；如果不唯一，则判断是否为最后一段，若是最后一段，则根据行人轨迹数据中的唯一识别码从缓存中找出相应的前序行人轨迹数据进行合并；若不是最后一段，则判断是否为第一段；若不是第一段，则根据行人轨迹数据中的唯一识别码从缓存中找出相应的前序行人轨迹数据进行合并，合并后存入缓存；若是第一段则直接将当前行人轨迹数据存入缓存。两端行人轨迹数据合并时，按如下规则进行合并：对于摄像头信息和目标行人的特征数据则选用最后一段行人轨迹数据中的摄像头信息和目标行人的特征数据；对于目标行人的地理位置按时间顺序组成的移动轨迹则按照时间顺序排成整体。轨迹接收装置接收到完整的行人轨迹数据后发送至轨迹筛选装置。

轨迹筛选装置用于根据所接收行人轨迹数据所确定的时间和位置范围，从轨迹数据库中选取行人轨迹数据，再通过对所接收的行人轨迹数据和所选取的行人轨迹数据是否符合轨迹时空连续性对所选取的行人轨迹数据进行筛选。具体来说，轨迹筛选装置的处理过程可分成以下两个步骤：

SS21：根据所接收行人轨迹数据所确定的时间和位置范围，从轨迹数据库中选取行人轨迹数据；

SS22：通过对所接收的行人轨迹数据和所选取的行人轨迹数据是否符合轨迹时空连续性对所选取的行人轨迹数据进行筛选。

步骤SS21中，本实施例采用较为简单的方式：根据所接收行人轨迹数据的摄像头位置，选择距离该摄像头位置比如2公里范围内摄像头所拍摄的ts-TL至ts时间范围内的行人轨迹数据。其中，ts是所接收行人轨迹数据的轨迹时间段的开始时间。TL为预先设定的阈值，可以设置比如为15分钟或20分钟。这里的ts-TL至ts时间范围内的行人轨迹数据是指所选取的行人轨迹数据的轨迹时间段的区间[ta,tb]和区间[ts-TL,ts]存在交集。步骤SS21所选取的行人轨迹数据有多个，多个行人轨迹数据组成行人轨迹数据的集合。

步骤SS22更为具体地表述为：判断所接收的行人轨迹数据的移动轨迹和所选取的行人轨迹数据的移动轨迹是否符合轨迹时空连续性，若不符合轨迹时空连续性，则将所选取的行人轨迹数据剔除。行人轨迹数据的移动轨迹可以表示为{(t_1,P_1), (t_2,P_2) ,…, , (t_K,P_K)}的形式。其中，P_1、P_2、…、P_K表示为目标行人的地理位置，t_1、t_2、…、t_K分别表示地理位置P_1、P_2、…、P_K所对应的时间点。由此，所接收的行人轨迹数据的移动轨迹可以表示为：Ra={(ta_1,Pa_1), (ta_2,Pa_2) , …, (ta_Ka,Pa_Ka)}，所选取的行人轨迹数据的移动轨迹可以表示为：Rb={(tb_1,Pb_1), (tb_2,Pb_2) , …, (tb_Kb,Pb_Kb)}。本实施例中，判断所接收的行人轨迹数据的移动轨迹和所选取的行人轨迹数据的移动轨迹是否符合轨迹时空连续性采用如下方法：

步骤SS221，若ta_1小于tb_Kb，则选取时间点ta_1和时间点tb_Kb的中点tm= (ta_1+tb_Kb)/2，若地理位置Pa_m和Pb_m的距离大于2Dh则表示不符合轨迹时空连续性。其中，Dh表示摄像头计算目标行人地理位置时所可能产生的误差,Pa_m为轨迹Ra距离时间点tm最为接近的地理位置，Pb_m为轨迹Rb距离时间点tm最为接近的地理位置。距离时间点tm最为接近的地理位置可以表示为时间点t_j或者t_j+1所对应的地理位置，其中tm位于区间[t_j,t_j+1]之间。t_j、t_j+1为行人轨迹数据的移动轨迹中的时间点。

步骤SS222，若tb_Kb小于ta_1，若地理位置Pb_Kb和Pa_1之间的距离大于2Dh+(ta_1-tb_Kb)*va则表示不符合轨迹时空连续性。其中，Dh表示摄像头计算目标行人地理位置时所可能产生的误差，va为目标行人的移动速度。本实施例中，误差Dh通过预先设定的方式取得。va可以预先设定，预先设定时，va通常设定为2.5~4.5米/秒。此外，本领域技术人员理解，va也可以根据轨迹Ra或轨迹Rb计算得到。

轨迹筛选装置筛选后剩余的行人轨迹数据作为输出。筛选到的行人轨迹数据有多个。

特征匹配装置用于对所接收的行人轨迹数据和所筛选到的行人轨迹数据中的目标行人特征数据进行相似度匹配。所筛选到的行人轨迹数据是前述轨迹筛选装置筛选后剩下的行人轨迹数据。本实施例中，目标行人的特征数据包括两部分：第一部分是前端装置100通过Deep Sort多目标跟踪算法得到的整体特征数据，第二部分是前端装置100通过人脸特征提取装置提取到的人脸特征数据。整体特征数据和人脸特征数据均可以表示为多维度向量。本实施例中，进行相似度匹配采用了向量的余弦计算公式，通过计算两个多维度向量夹角的余弦值作为相似度值，然后判断相似度值是否大于预先设定的阈值作为相似度匹配的依据。若相似度值小于预先设定的阈值，则表示两者的特征数据不相匹配。

由于行人轨迹数据中的目标行人特征数据包括有两部分，为此，本实施例中，将相似度匹配的结果分成两类：第一类型和第二类型。其中，第一类型表示相似度匹配的结果未包含人脸特征数据，也就是，前述的整体特征数据相匹配，但人脸特征数据因缺少数据而处于未知的匹配状态。第二类型表示相似度匹配的结果包含有人脸特征数据，也就是，前述的整体特征数据相匹配，并且人脸特征数据也相匹配。

轨迹融合装置用于用于根据相似度匹配的结果，对所接收的行人轨迹数据和所匹配到的行人轨迹数据进行融合。对于第一类型的相似度匹配结果则将所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据，对于第二类型的相似度匹配结果则将所接收的行人轨迹数据以合并的方式加入至所匹配的行人轨迹数据。就是说，本实施例中，最终融合后的行人轨迹数据是一个有向图，该有向图以一段行人轨迹数据作为节点。如图3所示，图3示例了一个融合后行人轨迹数据的有向图，行人轨迹1、2、3、4和5分别表示一段行人轨迹数据作为节点。其中P=88%，94%，93%和92%为节点之间边的可信度参数，分别表示行人轨迹1和行人轨迹3、行人轨迹1和行人轨迹2、行人轨迹2和行人轨迹5以及行人轨迹4和行人轨迹5之间的相似度值作为的可信度参数。也就是，当所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据时，以相似度值作为有向图的边的可信度参数。该有向图的边的箭头方向为表示时间顺序。

轨迹融合后的行人轨迹数据通过轨迹存储装置将将聚合得到的行人轨迹数据存入轨迹数据库。特征匹配装置中，若找不到所筛选到的行人轨迹数据与所接收的行人轨迹数据相匹配的情形，所接收的行人轨迹数据作为一个有向图的独立节点存入轨迹数据库。也就是说，该有向图此时仅有一个节点。

此外，特征匹配装置中，匹配到的行人轨迹数据可能有多个，比如图3示例中，行人轨迹5与行人轨迹2的相似度为93%，与行人轨迹4的相似度为92%。行人轨迹2和行人轨迹4是对行人轨迹5进行特征匹配后匹配到的行人轨迹数据。

此外，由于轨迹融合后的行人轨迹数据是一个有向图，因此，轨迹筛选装置中，从轨迹数据库中选取行人轨迹数据时，仅选取各个有向图的末端节点的行人轨迹数据作为选取到的行人轨迹数据。比如图3示例中，所接收到的行人轨迹数据为行人轨迹5，轨迹筛选装置从轨迹数据库中选取行人轨迹数据时，应当从末端节点选取行人轨迹数据，也就是选取比如行人轨迹2、3和4，行人轨迹1为非末端节点，则不予选取。

此外，基于上述实施方式下，当所接收到的行人轨迹数据匹配到的行人轨迹数据为多个时，可以参考所匹配到的行人轨迹数据的前向节点行人轨迹数据，然后再将该前向节点行人轨迹数据与所接收到的行人轨迹数据进行相似度匹配。比如，图3示例中，所接收到的行人轨迹数据为行人轨迹5所匹配到的行人轨迹数据为行人轨迹2和4，此时，可以将行人轨迹2的前向节点，也就是行人轨迹1与行人轨迹5进行相似度匹配。若行人轨迹1与行人轨迹5的相似度值小于预先设定的阈值，则可以认定行人轨迹2与行人轨迹5不相匹配，若大于预先设定的阈值，则可以认定行人轨迹1与行人轨迹5相匹配。

参照图2，本发明所指的多摄像头行人轨迹聚合方法是由与前述系统中各个模块相对应的步骤所组成：视频流接收装置对应步骤SC1，背景分析装置对应步骤SC20，视频流缓存装置对应步骤SC21，行人检测装置对应步骤SC2，缓存清理装置对应步骤SC31，行人追踪装置对应步骤SC3，前向追踪装置对应步骤SC32，实时追踪装置对应步骤SC33，人脸特征提取装置对应步骤SC34，行人定位装置对应步骤SC4，轨迹发送装置对应步骤SC5，轨迹接收装置对应步骤SS1，轨迹筛选装置对应步骤SS2，特征匹配装置对应步骤SS3，轨迹融合装置对应步骤SS4，轨迹存储装置对应步骤SS5。上述步骤之间时序关系和输入输出关系参照图2中箭头的指向。

Claims (10)

1.一种多摄像头行人轨迹聚合系统，其特征在于，包括前端装置和聚合服务器；所述前端装置通过网络连接有若干摄像头；所述聚合服务器通过网络连接若干前端装置；所述前端装置包括视频流接收装置、行人检测装置、行人追踪装置、行人定位装置以及轨迹发送装置；所述聚合服务器包括轨迹接收装置、轨迹筛选装置、特征匹配装置、轨迹融合装置和轨迹存储装置；

所述视频流接收装置用于接收所连接摄像头的视频流数据；

所述行人检测装置用于通过行人的目标检测在所接收的视频流数据的视频流帧图像中确定目标行人；

所述行人追踪装置用于根据所确定的目标行人在视频流数据中进行多目标追踪，追踪所述目标行人的图像位置和特征数据，并通过对目标行人的深度估计追踪所述目标行人的深度数据；

所述行人定位装置用于根据所述目标行人的图像位置和深度数据，结合摄像头位置信息计算出所述目标行人的地理位置；

所述轨迹发送装置用于将摄像头信息和目标行人的特征数据、地理位置组成行人轨迹数据向所述聚合服务器发送；

所述轨迹接收装置用于接收所述前端装置所发送的行人轨迹数据；

所述轨迹筛选装置用于根据所接收行人轨迹数据所确定的时间和位置范围，从轨迹数据库中选取行人轨迹数据，通过对所接收的行人轨迹数据和所选取的行人轨迹数据是否符合轨迹时空连续性对所选取的行人轨迹数据进行筛选；

所述特征匹配装置用于对所接收的行人轨迹数据和所筛选到的行人轨迹数据中的目标行人特征数据进行相似度匹配；

所述轨迹聚合装置用于根据相似度匹配的结果，对所接收的行人轨迹数据和所匹配到的行人轨迹数据进行融合；

所述轨迹存储装置用于将聚合得到的行人轨迹数据存入轨迹数据库。

2.如权利要求1所述的多摄像头行人轨迹聚合系统，其特征在于，所述前端装置还包括背景分析装置和视频流缓存装置；所述背景分析装置用于通过对视频流数据进行分析得到背景图像；所述视频流缓存装置用于缓存所接收的视频流数据；所述行人追踪装置在当所述行人检测装置确定新的目标行人时，基于背景图像对所缓存的视频流数据进行前向追踪。

3.如权利要求2所述的多摄像头行人轨迹聚合系统，其特征在于，所述前端装置还包括缓存清理装置；所述缓存清理装置用于跟踪时间T1内所确定的目标行人，通过所述行人追踪装置对所缓存的视频流数据的前向追踪，判断这些目标行人在所缓存的视频流数据中都不存在的时间点T2，然后在所缓存的视频流数据中将时间点T2之前的视频流数据清除。

4.如权利要求1所述的多摄像头行人轨迹聚合系统，其特征在于，所述前端装置还包括人脸特征提取装置；所述人脸特征提取装置用于跟踪所确定的目标行人在视频流数据中的人脸并提取人脸特征数据；所述目标行人的特征数据包括人脸特征数据；所述特征匹配装置进行相似度匹配时，将相似度匹配的结果分成有第一类型和第二类型；所述第一类型表示相似度匹配的结果未包含人脸特征数据；所述第二类型表示相似度匹配的结果包含有人脸特征数据；所述轨迹聚合装置中，对于第一类型则将所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据，对于第二类型则将所接收的行人轨迹数据以合并的方式加入至所匹配的行人轨迹数据；当所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据时，以相似度值作为有向图的边的可信度参数。

5.如权利要求1所述的多摄像头行人轨迹聚合系统，其特征在于，所述轨迹筛选装置中，是否符合轨迹时空连续性的判断包括如下模块：

模块MS221，用于：若ta_1小于tb_Kb，则选取时间点ta_1和时间点tb_Kb的中点tm=(ta_1+tb_Kb)/2，若地理位置Pa_m和Pb_m的距离大于2Dh则表示不符合轨迹时空连续性；模块MS222，用于：若tb_Kb小于ta_1，若地理位置Pb_Kb和Pa_1之间的距离大于2Dh+(ta_1-tb_Kb)*va则表示不符合轨迹时空连续性；

其中，Pa_m为轨迹Ra距离时间点tm最为接近的地理位置，Pb_m为轨迹Rb距离时间点tm最为接近的地理位置；距离时间点tm最为接近的地理位置可以表示为时间点t_j或者t_j+1所对应的地理位置，其中tm位于区间[t_j,t_j+1]之间；t_j、t_j+1为行人轨迹数据的移动轨迹中的时间点；

其中，轨迹Ra表示为所接收的行人轨迹数据的移动轨迹：Ra={(ta_1,Pa_1), (ta_2,Pa_2) , …,(ta_Ka,Pa_Ka)}；其中，Pa_1、Pa_2、…、Pa_Ka表示为所接收的行人轨迹数据的目标行人的地理位置，ta_1、ta_2、…、ta_Ka分别表示地理位置Pa_1、Pa_2、…、Pa_Ka所对应的时间点；

轨迹Rb表示为所选取的行人轨迹数据的移动轨迹：Rb={(tb_1,Pb_1), (tb_2,Pb_2) ,…, (tb_Kb,Pb_Kb)}；其中，Pb_1、Pb_2、…、Pb_Kb表示为所选取的行人轨迹数据的目标行人的地理位置，tb_1、tb_2、…、tb_Kb分别表示地理位置Pb_1、Pb_2、…、Pb_Kb所对应的时间点；

其中，Dh表示预先设定的误差，va为目标行人的移动速度。

6.一种多摄像头行人轨迹聚合方法，其特征在于，该方法涉及包括前端装置和聚合服务器；所述前端装置通过网络连接有若干摄像头；所述聚合服务器通过网络连接若干前端装置；所述方法包括如下步骤：

SC1：所述前端装置接收所连接摄像头的视频流数据；

SC2：所述前端装置通过行人的目标检测在所接收的视频流数据的视频流帧图像中确定目标行人；

SC3：所述前端装置根据所确定的目标行人在视频流数据中进行多目标追踪，追踪所述目标行人的图像位置和特征数据，并通过对目标行人的深度估计追踪所述目标行人的深度数据；

SC4：所述前端装置根据所述目标行人的图像位置和深度数据，结合摄像头位置信息计算出所述目标行人的地理位置；

SC5：所述前端装置将摄像头信息和目标行人的特征数据、地理位置组成行人轨迹数据向所述聚合服务器发送；

SS1：所述聚合服务器接收所述前端装置所发送的行人轨迹数据；

SS2：所述聚合服务器根据所接收行人轨迹数据所确定的时间和位置范围，从轨迹数据库中选取行人轨迹数据，通过对所接收的行人轨迹数据和所选取的行人轨迹数据是否符合轨迹时空连续性对所选取的行人轨迹数据进行筛选；

SS3：所述聚合服务器对所接收的行人轨迹数据和所筛选到的行人轨迹数据中的目标行人特征数据进行相似度匹配；

SS4：所述聚合服务器根据相似度匹配的结果，对所接收的行人轨迹数据和所匹配到的行人轨迹数据进行融合；

SS5：所述聚合服务器将聚合得到的行人轨迹数据存入轨迹数据库。

7.如权利要求6所述的多摄像头行人轨迹聚合方法，其特征在于，还包括如下步骤：

SC20：所述前端装置通过对视频流数据进行分析得到背景图像；

SC21：所述前端装置缓存所接收的视频流数据；

SC31：所述前端装置中的行人检测装置确定新的目标行人时，基于背景图像对所缓存的视频流数据进行前向追踪。

8.如权利要求7所述的多摄像头行人轨迹聚合方法，其特征在于，还包括如下步骤：

SC32：所述前端装置跟踪时间T1内所确定的目标行人，通过所述前端装置中的行人追踪装置对所缓存的视频流数据的前向追踪，判断这些目标行人在所缓存的视频流数据中都不存在的时间点T2，然后在所缓存的视频流数据中将时间点T2之前的视频流数据清除。

9.如权利要求6所述的多摄像头行人轨迹聚合方法，其特征在于，还包括如下步骤：

SC34：所述前端装置跟踪所确定的目标行人在视频流数据中的人脸并提取人脸特征数据；

所述目标行人的特征数据包括人脸特征数据；

所述SS3的步骤中，进行相似度匹配时，将相似度匹配的结果分成有第一类型和第二类型；所述第一类型表示相似度匹配的结果未包含人脸特征数据；所述第二类型表示相似度匹配的结果包含有人脸特征数据；

所述SS4的步骤中，对于第一类型则将所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据，对于第二类型则将所接收的行人轨迹数据以合并的方式加入至所匹配的行人轨迹数据；当所接收的行人轨迹数据作为有向图的节点加入至所匹配的行人轨迹数据时，以相似度值作为有向图的边的可信度参数。

10.如权利要求6所述的多摄像头行人轨迹聚合方法，其特征在于，所述SS2的步骤中，是否符合轨迹时空连续性的判断包括如下步骤：

SS221：若ta_1小于tb_Kb，则选取时间点ta_1和时间点tb_Kb的中点tm= (ta_1+tb_Kb)/2，若地理位置Pa_m和Pb_m的距离大于2Dh则表示不符合轨迹时空连续性；

SS222：若tb_Kb小于ta_1，若地理位置Pb_Kb和Pa_1之间的距离大于2Dh+(ta_1-tb_Kb)*va则表示不符合轨迹时空连续性；

其中，Pa_m为轨迹Ra距离时间点tm最为接近的地理位置，Pb_m为轨迹Rb距离时间点tm最为接近的地理位置；距离时间点tm最为接近的地理位置可以表示为时间点t_j或者t_j+1所对应的地理位置，其中tm位于区间[t_j,t_j+1]之间；t_j、t_j+1为行人轨迹数据的移动轨迹中的时间点；

其中，轨迹Ra表示为所接收的行人轨迹数据的移动轨迹：Ra={(ta_1,Pa_1), (ta_2,Pa_2) , …, (ta_Ka,Pa_Ka)}；其中，Pa_1、Pa_2、…、Pa_Ka表示为所接收的行人轨迹数据的目标行人的地理位置，ta_1、ta_2、…、ta_Ka分别表示地理位置Pa_1、Pa_2、…、Pa_Ka所对应的时间点；

轨迹Rb表示为所选取的行人轨迹数据的移动轨迹：Rb={(tb_1,Pb_1), (tb_2,Pb_2) ,…, (tb_Kb,Pb_Kb)}；其中，Pb_1、Pb_2、…、Pb_Kb表示为所选取的行人轨迹数据的目标行人的地理位置，tb_1、tb_2、…、tb_Kb分别表示地理位置Pb_1、Pb_2、…、Pb_Kb所对应的时间点；

其中，Dh表示预先设定的误差，va为目标行人的移动速度。

Images