CN111008990A - 一种基于网格的目标轨迹跟踪和恢复的方法 - Google Patents

Abstract

本发明属于边缘计算技术领域，公开了一种基于网格的目标轨迹跟踪和恢复的方法。首先需要对目标所属的空间区域进行虚拟网格网格划分，按照四分法进行递归划分，直至网格大小满足视频分析的目标轨迹跟踪及恢复的基本要求，网格需要满足连续性、独立性以及相对稳定性三个基本特点。划分之后需要对网格视频中的目标信息进行识别，并对网格中的视频帧的基本信息进行定义。需要通过基于概率的方法对视频帧中的目标信息进行取样，利用马尔可夫模型构建相机关系，最后根据轨迹推导算法推导恢复出完整的目标轨迹信息。

Description

一种基于网格的目标轨迹跟踪和恢复的方法

技术领域

本发明属于边缘计算技术领域，具体涉及一种基于网格的目标轨迹跟踪和恢复的方法。

背景技术

目前，在视频监控市场上有各种各样的视频监控系统，视频监控市场的发展非常迅速，在很多公共场所都广泛的部署了视频监控系统，但是对于移动视频监控系统的提及较少。现有的一些视频监控系统并没有能够得到充分的利用，因此利用边缘计算来减少移动视频监控系统的计算开销是非常有必要的。

普通的视频监控系统需要固定的部署在某个区域，例如在学校里、公园里或者道路上。对于一些偏僻区域或者没有办法部署大量视频监控系统的区域，包括山区或者人烟稀少的郊区，很难对特定目标的轨迹进行跟踪，而且现有的一些视频监控系统也很难对视频监控中的视频进行边缘上的高效分析，从而需要大量的计算开销。

移动视频监控系统则可以克服传统视频监控系统中遇到的困难，能够实现在僻远地区对目标的轨迹进行恢复，利用少量的视频帧，便可以得出完整的目标轨迹，从而可以减少边缘上的计算开销。

2018年，Xu等人在《STTR:A System for Tracking All Vehicles All the TimeAt the Edge of the Network》中提出了一种在网络边缘跟踪所有时间内的所有车辆的系统，是一种智能摄像机监控系统，他们研究的主要目的不是为了存储原始的摄像机的视频，而是存储车辆在所有时间内的所有的运行轨迹。不考虑时间的维度，他们仅在地理区域跟踪车辆信息，从而提供车辆跟踪的详细信息，因此可以限制每个雾节点的对于存储空间的需求。这样便可以利用存储在网络边缘车辆轨迹进行快速查询。

2018年，Cheng等人在《ViTrack:Effificient Tracking on the Edge forCommodity Video Surveillance Systems》提出了一个基于边缘计算的商品视频监控系统，他们通过充分的利用边缘计算资源，可以对来自不同摄像机的视频进行高效分析。他们提出一个ViTrack框架，对于目标的轨迹信息进行跟踪，他们可以根据一小部分视频帧的轨迹来恢复出一个完整的目标轨迹。首先通过设计一种双层的空间和时间的压缩方法，并且构造所有摄像机之间的关系，利用采样和恢复策略来恢复缺失的目标信息，并且通过提出一种轨迹推断算法来得到目标的完整轨迹。

2018年，Ran等人在《DeepDecision:A Mobile Deep Learning Framework forEdge Video Analytics》提出了一种分布式的基础架构DeepDecision，能够对当前的网络条件进行评估，并且能够结合来自应用程序的需求和深度学习模型的特定权衡，以便来确定一个最佳的卸载策略。他们还设计了一个为AR应用实时检测目标的卷积神经网络。这种框架可以应用在各种各样的需要用到实时的视频分析的应用程序中。通过对各种参数质检的影响进行评估，设计出一种测量驱动数学框架来求解优化问题。并且对AR应用实现实时目标检测，并与其他检测方法进行比较，最终通过实验结果验证了文中所提框架的优越性。

发明内容

为了解决边缘计算资源有限，视频监控系统中视频分析受限的情况，本文提出了一种基于网格的目标轨迹跟踪和恢复的方法。在某些不方便部署摄像机的区域，对空间区域进行虚拟网格划分，通过对虚拟网格中的摄像机的视频信息进行分析，对目标的轨迹进行跟踪，并恢复出完整的目标轨迹。

本发明的技术方案：

一种基于网格的目标轨迹跟踪和恢复的方法，步骤如下：

(1)对于多个摄像机中的目标对象进行识别时，首先需要对摄像机所属的空间区域进行网格划分，将空间区域划分成二维虚拟网格，通过识别二维虚拟网格中的摄像机中的目标对象，来对目标对象的轨迹进行跟踪和恢复；

划分二维虚拟网格的主要方法如下：

(1.1)将空间区域划分成二维虚拟网格时需要具有三个特点：

连续性：每个单独的网格单元之间没有空隙，网格单元之间互相连接，无缝拼接；

独立性：每一个网格单元之间并无重叠部分，相互独立，互不依赖；

相对稳定性：划分的网格单元的大小是稳定的，不应该随时变动；

(1.2)将摄像机所属的空间区域表示为一个虚拟的正方形区域，选取正方形区域的中心点，对这个虚拟的正方形区域进行四等分，得到四个大小相等的正方形区域；

(1.3)对于得到的四个大小相等的正方形区域，分别选取每个正方形区域的中心点，从中心点对于每个得到的正方形区域依次进行四等分；

对于得到的每一个正方形区域，选取中心点，采用四分法进行递归分解，依次递归，直到得到的正方形区域满足视频分析的基本要求；

(1.4)用集合S存储每次分解得到的虚拟网格，初始时S＝{S₀},第一次分解后更新集合S的值，S＝{S₁，S₂，S₃，S₄}，用一棵四叉树T表示这个正方形区域的分解过程，根节点T即代表这个初始的尚未分解的正方形区域；

(1.5)假设经过n次分解，最终得到K个正方形区域，即四叉树T拥有K个叶节点，更新集合S，S存储最后一次分解得到的S_i的值，即递归得到的每一个叶节点的值，S＝{S₁，S₂，S₃，…，S_K},此时，集合S中的每一个值S_i代表划分好的满足视频分析基本要求的每一个虚拟网格单元；S_i满足划分虚拟网格所需具有的三个特点；

(2)通过划分好的虚拟网格单元对视频监控系统中的目标对象进行跟踪，采用目标对象识别算法来识别网格单元中的摄像机视频中的目标；

(3)摄像机的移动区域最终被划分为K个虚拟网格单元，在K个虚拟网格单元中对目标对象进行轨迹跟踪和恢复；

(3.1)对于具有K个虚拟网格单元的视频监控系统，假设摄像机的移动轨迹并没有任何重合，每个虚拟网格单元在同一个时间单元中仅出现一个摄像机，同一个时间单元并不是每一个虚拟网格单元都有摄像机；

(3.2)当摄像机出现在这个虚拟网格单元中时，便可取网格内的摄像机的视频数据进行分析，此时将视频监控中的轨迹跟踪问题转换为基于网格的摄像机的视频监控系统中的轨迹跟踪和恢复问题；

(3.3)在基于网格的摄像机视频监控系统中，并不是每个虚拟网格单元中都会有摄像机出现，在同一个时间单元中，假定虚拟网格单元中出现摄像机的虚拟网格单元个数为M个，选取这M个虚拟网格单元中的摄像机的视频数据进行分析；

(3.4)对于M个虚拟网格单元中的视频数据，假定在某一个时间单元中，每个虚拟网格单元中的数据包含N帧，因此，定义一个M×N的矩阵X，具体表示如下：

其中，X＝{x_ij，i＝1,2，...，M，j＝1,2，...，N}，x_ij＝1表示所检测的目标出现在第i个虚拟网格单元的摄像机的视频数据的第j帧，否则，x_ij＝0则表示在第i个虚拟网格单元的摄像机的视频数据的第j帧并没有检测到目标对象；所有“1”按序连接起来即为目标的运动轨迹；

(3.5)通过基于概率的方法对矩阵X中的数据进行取样，从空间和时间的维度分别进行采样，即目标在什么时间出现，在某个时间单元内目标出现在什么地方；通过取样的数据来恢复目标轨迹，并且最大限度的减小实际轨迹和由采样恢复的轨迹的误差，即：

min Err(G,G')

其中，G为目标实际出现的轨迹，G’为基于样本恢复的目标轨迹；

取不同网格单元中的摄像机中的少量视频帧，通过少量视频帧中出现的目标来恢复目标的轨迹，基于采样帧的识别结果，恢复出每一个空间矩阵，从而得出目标在某一个时间单元中出现的位置，将在不同时间单元中目标出现的位置连接起来，所得到的轨迹即为恢复的目标出现的轨迹；

(4)接下来构建网格中的相机关系，利用马尔可夫模型，对时间单元的状态进行定义，定义R个时间单元，t₁，t₂，…，t_R，定义C_ti＝S_i为目标在t_i时间出现在网格S_i的相机中；

(5)利用现有的轨迹推导算法，推导目标在t_i和t_i+1的之间的真实轨迹；根据采样的视频帧的结果推断出真实的目标轨迹，从而得到完整的目标轨迹。

本发明的有益效果：本发明提出一种基于网格划分的目标轨迹跟踪及恢复方法。通过对目标所在的区域进行虚拟网格划分，本发明也提出了一种网格划分方法，从而无需关注摄像头的地理位置，仅需要根据网格中摄像机的视频信息对目标进行识别。通过基于概率的方法对视频帧信息进行取样，利用马尔可夫模型构造网格中的相机关系，并且使用轨迹推导算法进行推导，从而恢复出完整的真实的目标轨迹信息。

附图说明

图1是本发明的一种基于网格的目标轨迹跟踪及恢复的流程图。

图2是本发明的一种基于四分法的网格划分图。

图3是本发明的一种在不同时间单元网格的目标识别图。

图4是本发明的一种在不同时间单元的一种轨迹推断图。

图中：

网格划分的结点

时间域中未检测到的目标

时间域中检测到的目标

不是时间域中出现的目标

目标轨迹

时间域。

具体实施方式

为了能够更加清楚明白的阐述本发明的发明目的、技术方案以及优点，以下将结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

图1所示为基于网格的目标轨迹跟踪及恢复的流程图，本发明首先对目标所属的空间区域进行虚拟网格划分，按照四分法进行递归划分，直至划分的网格大小满足视频分析中目标轨迹跟踪及恢复所需的基本要求。划分之后需要对网格视频中的目标信息进行识别，并对网格中的视频帧的基本信息进行定义。需要通过基于概率的方法对目标进行取样，利用马尔可夫模型构建相机关系，最后根据轨迹推导算法推导恢复出完整的目标轨迹信息。目标轨迹跟踪及恢复的具体步骤如下：

步骤(1)：对于多个摄像机中的特定目标对象进行识别时，首先需要对摄像机所属的空间区域进行网格划分，将空间区域划分成二维虚拟网格，通过识别虚拟网格中的摄像机中的特定目标对象，来对特定目标对象的轨迹进行跟踪和恢复。

划分虚拟网格的主要方法如下：

(1.1)将空间区域划分成虚拟网格时需要具有三个理论特点：

连续性：每个单独的网格之间没有空隙，网格单元之间互相连接，无缝拼接。

独立性：每一个网格之间并无重叠部分，相互独立，互不依赖。

相对稳定性：划分的网格单元的大小应该是稳定的，不应该随时变动。

(1.2)将移动摄像机所属的空间区域表示为一个虚拟的正方形区域，选取正方形区域的中心点，对这个虚拟的正方形区域进行四等分，得到四个大小相等的正方形区域。

(1.3)对于得到的四个大小相等的正方形区域，分别选取每个正方形区域的中心点，从中心点对于每个得到的正方形区域依次进行四等分。

对于得到的每一个正方形区域，选取中心点，采用四分法进行递归分解，依次递归，直到得到的正方形区域满足视频分析的基本要求。

(1.4)用集合S存储每次分解得到的虚拟网格，初始时S＝{S₀},第一次分解后更新集合S的值，S＝{S₁，S₂，S₃，S₄}，用一棵四叉树T表示这个正方形区域的分解过程，根节点T即代表这个初始的尚未分解的正方形区域。

(1.5)假设经过n次分解，最终得到K个正方形区域，即四叉树T拥有K个叶节点，更新集合S，S存储最后一次分解得到的S_i的值，即递归得到的每一个叶节点的值，S＝{S₁，S₂，S₃，…，S_K},此时，集合S中的每一个值S_i代表划分好的满足视频分析基本要求的每一个虚拟网格。

S_i满足划分虚拟网格所需具有的三个理论特点。

步骤(2)：通过划分好的虚拟网格对于移动视频监控系统中的特定目标对象进行跟踪，本文的主要目的不在于进行图像处理，因此可以采用现有的目标对象识别算法来识别网格中的摄像机视频中的目标。

步骤(3)：移动摄像机的移动区域最终被划分为K个虚拟网格，我们在K个虚拟网格中对目标对象进行轨迹跟踪和恢复。具体步骤如下：

(3.1)对于具有K个虚拟网格的视频监控系统，假设移动摄像机的移动轨迹并没有任何重合，每个虚拟网格在同一个时间单元中仅出现一个摄像机，同一个时间单元并不是每一个虚拟网格都有摄像机。

(3.2)我们认为当摄像机出现在这个虚拟网格中时，便可以取网格内的摄像机的视频数据进行分析，此时便可以将视频监控中的轨迹跟踪问题转换为基于网格的摄像机的视频监控系统中的轨迹跟踪和恢复问题。

(3.3)在基于网格的摄像机视频监控系统中，并不是每个虚拟网格中都会有摄像机出现，在同一个时间单元中，我们假定虚拟网格中出现摄像机的虚拟网格个数为M个，我们选取这M个网格中的摄像机的视频数据进行分析。

(3.4)对于M个虚拟网格中的视频数据，我们假定在某一个时间单元中，每个虚拟网格中的数据包含N帧，因此，我们可以定义一个M×N的矩阵X，具体表示如下：

其中，X＝{x_ij，i＝1,2，...，M，j＝1,2，...，N}，x_ij＝1则表示所检测的目标出现在第i个虚拟网格的摄像机的视频数据的第j帧，否则，x_ij＝0则表示在第i个虚拟网格的摄像机的视频数据的第j帧并没有检测到目标对象。所有“1”按序连接起来即为目标的运动轨迹。

(3.5)通过基于概率的方法对矩阵X中的数据进行取样，从空间和时间的维度分别进行采样，即目标在什么时间出现，在某个时间单元内目标出现在什么地方。通过取样的数据来恢复目标轨迹，并且最大限度的减小实际轨迹和由采样恢复的轨迹的误差，即：

min Err(G,G')

其中，G为目标实际出现的轨迹，G’为基于样本恢复的目标轨迹；

取不同网格中的摄像机中的少量视频帧，通过少量视频帧中出现的目标来恢复目标的轨迹，基于采样帧的识别结果，恢复出每一个空间矩阵，从而得出目标在某一个时间单元中出现的位置，将在不同时间单元中目标出现的位置连接起来，所得到的的轨迹即为恢复的目标出现的轨迹。

步骤(4)：接下来构建网格中的相机关系，利用马尔可夫模型，对时间单元的状态进行定义，定义R个时间单元，t₁，t₂，…，t_R，定义C_ti＝S_i为目标在t_i时间出现在网格S_i的相机中。

步骤(5)：利用现有的轨迹推导算法，推导目标在t_i和t_i+1的之间的真实轨迹。根据采样的视频帧的结果推断出真实的目标轨迹，从而得到完整的目标轨迹。

综上所述：本发明公开了一种基于网格的目标轨迹跟踪及恢复的方法，通过对目标所属的空间区域进行虚拟网格划分，从而无需考虑摄像机的地理位置，仅需对网格中的摄像机视频帧信息进行分析即可。对网格中摄像机的目标信息进行识别并定义，利用基于概率的方法对视频帧数据进行采样，最后利用马尔可夫模型构建相机关系，通过轨迹推断算法推导恢复出完整的目标轨迹信息。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于网格的目标轨迹跟踪和恢复的方法，其特征在于，步骤如下：

(1)对于多个摄像机中的目标对象进行识别时，首先需要对摄像机所属的空间区域进行网格划分，将空间区域划分成二维虚拟网格，通过识别二维虚拟网格中的摄像机中的目标对象，来对目标对象的轨迹进行跟踪和恢复；

划分二维虚拟网格的主要方法如下：

(1.1)将空间区域划分成二维虚拟网格时需要具有三个特点：

连续性：每个单独的网格单元之间没有空隙，网格单元之间互相连接，无缝拼接；

独立性：每一个网格单元之间并无重叠部分，相互独立，互不依赖；

相对稳定性：划分的网格单元的大小是稳定的，不应该随时变动；

(1.2)将摄像机所属的空间区域表示为一个虚拟的正方形区域，选取正方形区域的中心点，对这个虚拟的正方形区域进行四等分，得到四个大小相等的正方形区域；

(1.3)对于得到的四个大小相等的正方形区域，分别选取每个正方形区域的中心点，从中心点对于每个得到的正方形区域依次进行四等分；

对于得到的每一个正方形区域，选取中心点，采用四分法进行递归分解，依次递归，直到得到的正方形区域满足视频分析的基本要求；

(1.4)用集合S存储每次分解得到的虚拟网格，初始时S＝{S₀},第一次分解后更新集合S的值，S＝{S₁，S₂，S₃，S₄}，用一棵四叉树T表示这个正方形区域的分解过程，根节点T即代表这个初始的尚未分解的正方形区域；

(1.5)假设经过n次分解，最终得到K个正方形区域，即四叉树T拥有K个叶节点，更新集合S，S存储最后一次分解得到的S_i的值，即递归得到的每一个叶节点的值，S＝{S₁，S₂，S₃，…，S_K},此时，集合S中的每一个值S_i代表划分好的满足视频分析基本要求的每一个虚拟网格单元；S_i满足划分虚拟网格所需具有的三个特点；

(2)通过划分好的虚拟网格单元对视频监控系统中的目标对象进行跟踪，采用目标对象识别算法来识别网格单元中的摄像机视频中的目标；

(3)摄像机的移动区域最终被划分为K个虚拟网格单元，在K个虚拟网格单元中对目标对象进行轨迹跟踪和恢复；

(3.1)对于具有K个虚拟网格单元的视频监控系统，假设摄像机的移动轨迹并没有任何重合，每个虚拟网格单元在同一个时间单元中仅出现一个摄像机，同一个时间单元并不是每一个虚拟网格单元都有摄像机；

(3.2)当摄像机出现在这个虚拟网格单元中时，便可取网格内的摄像机的视频数据进行分析，此时将视频监控中的轨迹跟踪问题转换为基于网格的摄像机的视频监控系统中的轨迹跟踪和恢复问题；

(3.3)在基于网格的摄像机视频监控系统中，并不是每个虚拟网格单元中都会有摄像机出现，在同一个时间单元中，假定虚拟网格单元中出现摄像机的虚拟网格单元个数为M个，选取这M个虚拟网格单元中的摄像机的视频数据进行分析；

(3.4)对于M个虚拟网格单元中的视频数据，假定在某一个时间单元中，每个虚拟网格单元中的数据包含N帧，因此，定义一个M×N的矩阵X，具体表示如下：

其中，X＝{x_ij，i＝1,2，...，M，j＝1,2，...，N}，x_ij＝1表示所检测的目标出现在第i个虚拟网格单元的摄像机的视频数据的第j帧，否则，x_ij＝0则表示在第i个虚拟网格单元的摄像机的视频数据的第j帧并没有检测到目标对象；所有“1”按序连接起来即为目标的运动轨迹；

(3.5)通过基于概率的方法对矩阵X中的数据进行取样，从空间和时间的维度分别进行采样，即目标在什么时间出现，在某个时间单元内目标出现在什么地方；通过取样的数据来恢复目标轨迹，并且最大限度的减小实际轨迹和由采样恢复的轨迹的误差，即：

min Err(G,G')

其中，G为目标实际出现的轨迹，G’为基于样本恢复的目标轨迹；

取不同网格单元中的摄像机中的少量视频帧，通过少量视频帧中出现的目标来恢复目标的轨迹，基于采样帧的识别结果，恢复出每一个空间矩阵，从而得出目标在某一个时间单元中出现的位置，将在不同时间单元中目标出现的位置连接起来，所得到的轨迹即为恢复的目标出现的轨迹；

(4)接下来构建网格中的相机关系，利用马尔可夫模型，对时间单元的状态进行定义，定义R个时间单元，t₁，t₂，…，t_R，定义C_ti＝S_i为目标在t_i时间出现在网格S_i的相机中；

(5)利用现有的轨迹推导算法，推导目标在t_i和t_i+1的之间的真实轨迹；根据采样的视频帧的结果推断出真实的目标轨迹，从而得到完整的目标轨迹。

Images