CN109741368A

CN109741368A - 基于结构化数据模型的分布式目标跟踪方法

Info

Publication number: CN109741368A
Application number: CN201811604029.5A
Authority: CN
Inventors: 张索非
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University; Nanjing University of Posts and Telecommunications
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2019-05-10

Abstract

本发明公开了基于结构化数据模型的分布式目标跟踪方法，该方法可应用于分布式目标跟踪系统中，基于单目目标跟踪结果以结构化数据接口形式进行通信，提升跟踪器综合性能。方法在单目目标跟踪前端对现场图像进行采集并提取视觉特征，在此基础上结合动态条件随机场和可变部分模型对目标的整体和局部同时进行跟踪，并从跟踪结果中提炼结构化数据接口用于前端和服务器之间的通信。服务器部分接收到前端的结构化数据以后，在不同的前端数据之间进行数据融合，并以在线隐支持向量机的方式学习新的跟踪模型，将更新后的模型同样以结构化数据的方式下发，帮助前端提升目标跟踪的总体性能。

Description

基于结构化数据模型的分布式目标跟踪方法

技术领域

本发明涉及基于结构化数据模型实现的分布式视频目标跟踪方法，属于数据图像处理技术领域。

背景技术

受到传统视频采集硬件的性能所限，现有的视频监控通常都采用前端多个摄像头拍摄视频，后端服务器部署处理算法分析视频的方案。该方法的优势在于成本低廉、容易部署。然而随着用户对视频监控性能需求的提高，该方法的缺陷日益明显：首先，长时间进行高清视频流通信带来的通信成本使大规模部署视频监控系统变得很困难；其次，对于实时监控而言，传统方法结构不合理、分工不明确，服务器承受压力大，系统整体效率偏低。因此基于嵌入式视频监控前端和数据处理中心模式的新型分布式视频监控方案受到了广泛关注。

目前，国内外对视频目标跟踪技术的研究体现在以下几个方面：首先，在均值滤波、粒子滤波等经典的目标跟踪算法框架下综合更加鲁棒的跟踪线索，提升算法效果；其次将目标跟踪方法和离线目标检测方法结合，提高跟踪系统性能；利用稀疏分解以及部分特征等新技术解决诸如尺寸变换、目标遮挡等实际的挑战性问题。以上这些技术在提升视频目标跟踪器性能的同时，对于硬件处理性能、网络通信带宽也提出了更高的要求。而本发明基于现场可编程逻辑门阵列实现嵌入式的目标跟踪前端系统，将视频采集和视频的现场处理集成于专用硬件上，将模型在线学习、更新以及管理等复杂功能部署于后端服务器上，很好的解决了复杂目标跟踪方法的大规模部署以及执行成本问题。

发明内容

本发明目的在于针对分布式目标跟踪系统中通信效率低和计算负荷不合理等问题，提出基于结构化数据交换的分布式目标跟踪方法。该方法以前端结构化数据为基础，通过少量的前后端信息交换实现目标跟踪和模型更新的任务分离，降低分布式目标跟踪的通信成本，提高了部署的灵活度。

为解决上述技术问题，本发明所采用的技术方案包含以下步骤：

步骤A，图像采集，基于梯度直方图提取图像特征：

在两种分辨率上对采集到的图像分别提取梯度直方图特征，可得到节点的原始图像特征φ(H,x_j)，其中H表示梯度直方图特征金字塔，j∈0,...,n。

步骤B，基于可变部分模型提取结构化目标信息：

可变部分模型方法的原理在于将当前帧上目标某一视角的外观视作由一个根节点x₀和n个可形变部分节点(x₁,...,x_n)构成的图模型。由于部分是可形变的，对于部分节点采用相对于模型锚点(Anchor)的位移来衡量形变。将根滤波器(Root Filter)和部分滤波器(Part Filter)分别计算得分并通过动态规划方法计算形变惩罚，最后即可得到该视角模型出现在某一位置假设可信度的线性表达形式：

其中分别为模型的滤波器参数和结构化参数，b_c为一阶偏移量，φ(H,x_n)为提取的梯度直方图特征。

步骤C，基于动态条件随机场进行单目相机目标跟踪：

步骤C1，将星状的可变部分模型视为条件随机场，两帧图像间的目标条件随机场模型就可以建模为一个动态条件随机场。该随机场由模型滤波后的结果构成的单势函数，节点的形变惩罚构成的空间互势函数，以及节点帧间的时域互势函数构成。

步骤C2，节点的形变惩罚函数为：

其中dx和dy为空间位移形变。时域互势函数为：

式中y表示与节点x邻接的上帧节点，s_t(x)表示节点x出现，G(·；Σ)为高斯核函数。

步骤C3，结合空间势函数和时间势函数，可得到每个节点基于当前观察的出现概率p(s_t+1|o_1:t+1)的近似下界：

步骤D，将前端结构化数据通过网络传输至后端平台：

由于不是直接传输图像，结构化数据量非常稀疏，且不需要实时传输，间隔数帧定时发送就可以。

步骤E，在服务器端使用在线隐支持向量机学习更新模型：

隐支持向量机方法可以学习一个半凸函数的目标函数：

其中β为模型参数，f_β(·)及结构的函数表示。通过隐支持向量机方法在服务器端对模型参数进行学习和更新。

步骤F，将更新后的参数下发至前端：

在服务器端学习以后，得到新的和b_c，下发至前端以保证目标跟踪的性能。

有益效果

1、前端和服务器之间仅通过结构化数据交换完成通信。数据接口容量小，发生通信的频率低，节约了通信成本，增强了通信策略的弹性，降低了对于宽带通信的依赖，增加了视频监控系统部署的灵活度。

2、嵌入式前端平台上实现独立的视频采集和目标跟踪。算法实现中大量重复计算部署于具有并行加速功能的前端来完成，通过现场可编程逻辑阵列实现图像特征提取，嵌入式中央处理器进行目标跟踪并生成结构化模型数据，大幅提升系统整体效率，降低服务器负荷。

3、基于结构化目标混合模型统一学习目标多视角外观。位于服务器端的模型更新方法综合不同前端传回的信息，对目标多个视角外观进行结构化在线学习，并将最终包含了不同视角信息的目标混合模型分发至前端。

附图说明

图1为基于可变部分模型的结构化数据模型示意图。

图2为前端硬件实现高清视频目标跟踪流程图。

图3为基于星状目标模型在两帧图像间构成的动态条件随机场示意图。

图4为在线隐支持向量机学习目标模型更新流程图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

如图1所示，本发明首先在分布式前端实现单目目标跟踪，具体步骤如下：

步骤A，对现场图像进行采集，在两种分辨率上对图像提取梯度直方图特征，两种分辨率之间相差1倍。

步骤B，在低分辨率特征图上使用10*10的线性滤波器及根滤波器对特征进行卷积得到目标整体得分；在高分辨率特征图上使用5个5*5的子滤波器对特征进行卷积，得到目标不同部分的得分。

步骤C，带入结构化参数，以动态规划的方式对部分形变进行惩罚，最终得到一帧图像上的结构化输出。

如图2所示，基于单帧图像的结构化模型处理过程，前端硬件采用动态随机场方法实现单目目标跟踪，具体步骤如下：

步骤D，在一帧图像的结构化输出基础上，在连续两帧的输出之间计算单势函数和互势函数，对结果进行重加权。

步骤E，对各部分得分进行遮挡投票，产生最终的单目目标跟踪结果。过程中特征提取以及势函数计算等重复计算量较大的部分由专用硬件并行计算实现。同时，通过嵌入式处理器进行跨帧的目标跟踪计算，最终得到与后台通信用的结构化数据。

如图3所示，本发明基于动态条件随机场对目标各部分进行追踪。对于形变复杂的目标而言，本发明将目标分割成多个部分，降低每一部分的复杂度。而部分与部分之间通过空时势函数定义相对关系，对部分距离锚点以及部分在帧之间的形变进行惩罚。

如图4所示，本发明在前端得到的结构化数据接口的基础上，在服务器端实现模型的融合和更新，具体步骤如下：

步骤F，对不同视角的特征信息进行目标匹配，确定不同前端传输回来的结构化数据和目标的对应关系。

步骤G，将匹配完成的特征加入到混合模型队列中，对新的数据使用在线隐支持向量机学习方法优化模型参数，实现在线目标模型更新。

步骤H，将更新后的模型下发到嵌入式前端，最终提升目标跟踪系统的总性能。

本发明基于专门的嵌入式前端硬件和后端服务器构成分布式目标跟踪系统，可以综合不同视角信息进行目标跟踪。前端与服务器、前端与前端之间只需通过少量的结构化数据交换即可实现模型更新、视角融合等任务，降低了分布式目标跟踪系统的通信成本，提升了系统的总体性能和灵活性。

Claims

1.基于结构化数据模型的分布式目标跟踪方法，其特征在于，

步骤A)图像采集，基于梯度直方图提取图像特征：

在两种分辨率上对采集到的图像分别提取梯度直方图特征，可得到节点的原始图像特征φ(H,x_j)，其中H表示梯度直方图特征金字塔，j∈0,...,n；

步骤B)基于可变部分模型提取结构化目标信息：

可变部分模型方法在于将当前帧上目标某一视角的外观视作由一个根节点x₀和n个可形变部分节点(x₁,...,x_n)构成的图模型；由于部分是可形变的，对于部分节点采用相对于模型锚点Anchor的位移来衡量形变；将根滤波器(Root Filter)和部分滤波器PartFilter分别计算得分并通过动态规划方法计算形变惩罚，最后即可得到该视角模型出现在某一位置假设可信度的线性表达形式：

其中分别为模型的滤波器参数和结构化参数，b_c为一阶偏移量，φ(H,x_n)为提取的梯度直方图特征；

步骤C)基于动态条件随机场进行单目相机目标跟踪；

步骤D)将前端结构化数据通过网络传输至后端平台：

由于不是直接传输图像，结构化数据量非常稀疏，且不需要实时传输，间隔数帧定时发送即可；

步骤E，在服务器端使用在线隐支持向量机学习更新模型：

隐支持向量机方法学习一个半凸函数的目标函数：

其中β为模型参数，f_β(·)及结构的函数表示。通过隐支持向量机方法在服务器端对模型参数进行学习和更新；

步骤F)将更新后的参数下发至前端：

2.如权利要求1所述的方法，其特征在于，所述步骤C中，具体如下：

步骤C1)将星状的可变部分模型视为条件随机场，两帧图像间的目标条件随机场模型就可以建模为一个动态条件随机场。该随机场由模型滤波后的结果构成的单势函数，节点的形变惩罚构成的空间互势函数，以及节点帧间的时域互势函数构成；

步骤C2)节点的形变惩罚函数为：

其中dx和dy为空间位移形变；时域互势函数为：

式中y表示与节点x邻接的上帧节点，s_t(x)表示节点x出现，G(·；Σ)为高斯核函数；

步骤C3，结合空间势函数和时间势函数，得到每个节点基于当前观察的出现概率p(s_t+1|o_1:t+1)的近似下界：

。