CN106127802A

CN106127802A - 一种运动目标轨迹追踪方法

Info

Publication number: CN106127802A
Application number: CN201610431744.8A
Authority: CN
Inventors: 张磊; 孙知信; 陈帅霖
Original assignee: Nupt Institute Of Big Data Research At Yancheng Co Ltd
Current assignee: Nupt Institute Of Big Data Research At Yancheng Co Ltd
Priority date: 2016-06-16
Filing date: 2016-06-16
Publication date: 2016-11-16
Anticipated expiration: 2036-06-16
Also published as: CN106127802B

Abstract

本发明公开了一种运动目标轨迹追踪方法，首先获取实时监控视频信息，对其进行预处理，然后每帧图片划分成S*S个区域通过深度学习的CNNs进行检测，并获得检测出目标的目标类型和目标坐标；接着通过距离匹配获取各个目标的轨迹信息，通过timeout移除离开追踪区域目标的坐标轨迹链表；最后利用各个目标的坐标轨迹链表提取出其运动特征后输出坐标轨迹链表和运动特征。本发明不需要人工设计需要检测目标的特征，仅仅需要通过机器训练，就能够很好的目标检测识别能力。

Description

一种运动目标轨迹追踪方法

技术领域

本发明涉及模式识别领域中广泛应用的运动目标轨迹追踪，尤其涉及一种运动目标轨迹追踪方法。

背景技术

随着城市化的进程发展，机动车和驾驶人员数量急剧增加。拥挤路段频发的交通事故，成为了危害人们日常生活和财产安全的一个严重问题。道路监控和流量监测成为了现代交通基础设施必不可少的投入。因此智能交通监控系统需要作为改善道路交通状况的重要目标。对于交通流量监测和交通违规的研究是关于城市交通安全分析的一项重要关键技术，对解决道路交通安全问题有着重要的作用。

在交通流量监测和交通违规研究领域，包括了行人，车辆运动物体识别，运动物体追踪，违规驾驶等行为监测。

传统的轨迹追踪方式需要预先指定特定目标，并且在遇到目标被遮掩，不同视角下的目标和不同光照背景下的目标不能准确追踪轨迹。

卷积神经网络CNNs(Convolutional Neural Networks)在计算机图像处理和识别领域获得显著成就，能够达到99％的物体识别率，完全能够适应交通领域行人，车辆识别监测。并且传统物体追踪方法在应对复杂场景，不断变化的光强和障碍物的遮挡下效果并不是很理想。而CNNs所具有的对观测对象平移、缩放和旋转的不变形，则能够很好的应对复杂场景，不断变化的光强，观察视角变化。从而能够很好的胜任复杂交通环境下的行人，车辆识别。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种运动目标轨迹追踪方法。

本发明为解决上述技术问题采用以下技术方案：

一种运动目标轨迹追踪方法，包含如下步骤：

步骤1)，获取实时监控视频信息；

步骤2)，对获取的视频进行预处理，即通过crop layer调节其数据分辨率使其每帧图片都适用于后续处理；

步骤3)，将经过预处理后视频的每帧图片划分成S*S个区域，并对每一个区域通过深度学习的CNNs进行检测，并获得检测出目标的目标类型和目标坐标，所述S为大于等于3的自然数；

步骤4)，距离匹配，使用坐标轨迹链表来记录各个目标的轨迹信息；

对于视频上一帧图片中所检测出的每一个目标，分别求得其与视频下一帧图片中所检测出的各个目标之间的偏移距离，并将其中最小的偏移距离与预设的距离阈值进行比较，如果该最小的偏移距离小于等于预设的距离阈值，则建立该最小的偏移距离对应两个目标之间的轨迹关系；如果该最小的偏移距离大于预设的距离阈值，则在视频下一帧图片中认为没有检测到该最小的偏移距离在视频上一帧图片中对应的目标，将该最小的偏移距离在视频下一帧图片中对应目标的坐标作为该目标的坐标链表的初始坐标点；

步骤5)，当检测出的目标在预设的时间阈值t毫秒内未被再次检测出来，则认为该目标已经离开追踪区域，移除该目标的坐标轨迹链表；

步骤6)，利用各个目标的坐标轨迹链表，提取出其运动特征：行进方向、速度和目标类型；

步骤7)，输出各个目标的坐标轨迹链表和运动特征。

作为本发明一种运动目标轨迹追踪方法进一步的优化方案，步骤3)中所述深度学习的CNNs采用以下代价函数进行训练：

\begin{matrix} J = λ_{c o o r d} Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(x_{i} - {\hat{x}}_{i})}^{2} + {(y_{i} + {\hat{y}}_{i})}^{2} + λ_{c o o r d} Σ_{i = 0}^{s^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(\sqrt{w_{i}} - \sqrt{{\hat{w}}_{i}})}^{2} + {(\sqrt{h_{i}} - \sqrt{{\hat{h}}_{i}})}^{2} \\ + Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(C_{i} - {\hat{C}}_{i})}^{2} + λ_{n o b j} Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{n o b j} {(C_{i} - {\hat{C}}_{i})}^{2} + Σ_{i = 0}^{S^{2}} I_{i}^{o b j} \underset{c &Element; c l a s s e s}{Σ} {(p_{i} (c) - {\hat{p}}_{i} (c))}^{2} \end{matrix}

其中，参数λ_coord＝5,λ_noobj＝0.5，B是一个区域内运用深度学习的CNNs进行检测的检测器个数，在目标属于第i个区域时为1、目标不属于第i个区域时为0,在第i个区域中的第j个检测器负责该目标时为1、在第i个区域中的第j个检测器不负责该目标时为0，x_i,y_i,w_i,h_i是检测后的目标的坐标、宽度和高度，是实际目标的坐标、宽度和高度，C_i是检测目标的置信度，实际存在目标的置信度，p_i(c)检测目标概率,实际目标概率，classes为目标类型的集合。

该代价函数主要是为了计算出距离实际目标分类准确性的置信度，以方便反向计算权值训练网络，只有当某个区域中有目标的时候才对classification error进行惩罚。

作为本发明一种运动目标轨迹追踪方法进一步的优化方案，所述步骤3)对每一个区域通过深度学习的CNNs检测出目标并获得目标类型和目标坐标后，根据CNNs检测出的目标目标类型和目标坐标在其对应帧的图片的相应位置上打上代表其类型的标签。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

传统运动轨迹追踪方法在跟踪过程中需要保持监控镜头的不变，对于目标旋转和复杂背景下的运动目标跟踪就会失去追踪。本发明具有对检测目标变换不变性，很好的应对目标平移，旋转，缩放等能力。而且轨迹追踪能够达到实时，使用敏捷检测模式下可以每秒钟处理150帧的图像输入数据，对于需要高精度的情况下也能处理40帧的图片。而且本方法不需要人工设计需要检测目标的特征，仅仅需要通过机器训练，就能够很好的目标检测识别能力。

附图说明

图1是本发明的处理流程图；

图2是本发明中目标检测器的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明公开了一种运动目标轨迹追踪方法，包含如下步骤：

步骤1)，获取实时监控视频信息；

步骤7)，输出各个目标的坐标轨迹链表和运动特征。

步骤3)中所述深度学习的CNNs采用以下代价函数进行训练：

\begin{matrix} J = λ_{c o o r d} Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(x_{i} - {\hat{x}}_{i})}^{2} + {(y_{i} + {\hat{y}}_{i})}^{2} + λ_{c o o r d} Σ_{i = 0}^{s^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(\sqrt{w_{i}} - \sqrt{{\hat{w}}_{i}})}^{2} + {(\sqrt{h_{i}} - \sqrt{{\hat{h}}_{i}})}^{2} \\ + Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(C_{i} - {\hat{C}}_{i})}^{2} + λ_{n o b j} Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{n o b j} {(C_{i} - {\hat{C}}_{i})}^{2} + Σ_{i = 0}^{S^{2}} I_{i}^{o b j} \underset{c &Element; c l a s s e s}{Σ} {(p_{i} (c) - {\hat{p}}_{i} (c))}^{2} \end{matrix}

所述步骤3)对每一个区域通过深度学习的CNNs检测出目标并获得目标类型和目标坐标后，根据CNNs检测出的目标目标类型和目标坐标在其对应帧的图片的相应位置上打上代表其类型的标签。

timeout机制主要是为了检测出所追踪出来的目标是否离开监控区域，若一段时间内，目标没有再出现则被认为离开了监控区域，这是将从监控目标列表中移除目标，同时清理目标运动轨迹信息。

距离匹配机制是为了将目标检测器检测出的目标匹配上之前出现过的目标，因为物体运动都是连续的，不可能出现瞬间到某一位置的情况，所以对于每次目标检测器检测出来物体的坐标位置信息，和之前上一帧图像数据所检测出来的目标是有关联的，对于一个同一个被检测出来的目标，它们之间的偏差不会出现迁跃。所以根据这点特征，我们在对于多目标的匹配时，采用全局比对所有特征点，采用距离匹配机制，保证物体能够被准确的识别出是否出现过，并且准确的匹配上目标。

如图2所示，图中总共有8层，其中前6层的主要功能是提取目标特征。最后两层为全连接层，主要是将各种特征综合起来，产生目标分类结果信息和位置信息。第一层为卷积层(Convolutional Layer)以及池化层(Maxpooling Layer)的合并，卷积层通过使用卷积核，在本图中，为7x7x64的矩阵，用7x7的方框卷积图片总共提取出64种特征。池化层将特征稳固，并且减小权值，在该层中该池化效果会使得提取出来的特征图减小维度，池化操作能够提供对目标特征的变换不变性支持。其后5层沿用这种结构，提出出足够多的特征。最后经过全连接层(Connection Layer)综合提取特征。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种运动目标轨迹追踪方法，其特征在于，包含如下步骤：

步骤1)，获取实时监控视频信息；

步骤7)，输出各个目标的坐标轨迹链表和运动特征。

2.根据权利要求1所述的运动目标轨迹追踪方法，其特征在于，步骤3)中所述深度学习的CNNs采用以下代价函数进行训练：

\begin{matrix} J = λ_{c o o r d} Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(x_{i} - \hat{x_{i}})}^{2} + {(y_{i} - {\hat{y}}_{i})}^{2} + λ_{c o o r d} Σ_{i = 0}^{s^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(\sqrt{w_{i}} - \sqrt{\hat{w_{i}}})}^{2} + {(\sqrt{h_{i}} - \sqrt{{\hat{h}}_{i}})}^{2} \\ + Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{o b j} {(C_{i} - {\hat{C}}_{i})}^{2} + λ_{n o b j} Σ_{i = 0}^{S^{2}} Σ_{j = 0}^{B} I_{i j}^{n o b j} {(C_{i} - {\hat{C}}_{i})}^{2} + Σ_{i = 0}^{s^{2}} I_{i}^{o b j} \underset{c &Element; c l a s s e s}{Σ} {(p_{i} (c) - \hat{p_{i}} (c))}^{2} \end{matrix}

3.根据权利要求1所述的运动目标轨迹追踪方法，其特征在于，所述步骤3)对每一个区域通过深度学习的CNNs检测出目标并获得目标类型和目标坐标后，根据CNNs检测出的目标目标类型和目标坐标在其对应帧的图片的相应位置上打上代表其类型的标签。