CN111161313B - 一种视频流中的多目标追踪方法及装置 - Google Patents

Abstract

本申请提供了一种视频流中的多目标追踪方法和装置，该方法从所述视频流的预设张初始帧中检测出若干追踪目标。然后利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹。所述剩余视频帧和所述预设初始帧构成所述视频流。根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位，以此可对视频流中的若干追踪目标进行精度较高的追踪和定位，满足多目标的追踪需求。

Description

一种视频流中的多目标追踪方法及装置

技术领域

本申请涉及智能教学技术领域，尤其涉及一种视频流中的多目标追踪方法及装置。

背景技术

智慧教室有着很好地发展前景，从技术角度来讲，在未来的几年内，各种先进的技术，例如人脸识别、目标追踪、智能定位、增强现实、可穿戴技术、3D打印技术等都有可能被广泛地应用于智慧教室的各个方面。就考勤而言，目前的大学课堂中，已经有许多用于辅助考勤的方式出现。手机定位签到、指纹打卡、刷卡等，这些都是老师们倾向于使用的考勤方式。这些方式相较于传统的纸张签到，较好地解决了效率低的问题。利用移动设备或者物联网技术的考勤也方便教师统计。但是，仍然有一个问题没有得到很好地解决，那就是代签问题。针对上述问题，近期也出现了基于人脸识别的智慧教室管理系统。通过考勤数据采集计算机和人脸识别服务相结合，实现室内环境的人脸识别考勤。

人脸识别仅仅能简单的对目标的面部信息进行搜集分析。就室内这个具体环境而言，摄像头位于室内后方，人脸信息不易采集，同时为了进一步优化考勤功能还需要对目标进行定位。因此，结合目标追踪技术是必须的。单目标的追踪不足以满足室内中多目标的追踪需求，因此，需要多目标追踪技术。

发明内容

本发明提供了一种视频流中的多目标追踪方法及装置，以解决或者部分解决在多目标的情况下使用单目标追踪技术应对不足的技术问题。

为解决上述技术问题，本发明提供了一种视频流中的多目标追踪方法，所述方法包括：

从所述视频流的预设张初始帧中检测出若干追踪目标；

利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹；所述剩余视频帧和所述预设初始帧构成所述视频流；

根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位。

优选的，所述从所述视频流的预设张初始帧中检测出若干追踪目标，具体包括：

根据背景帧差值法从所述视频流中获取预设张初始帧的前景图像；

对所述预设张初始帧的前景图像进行降噪；

对预设张初始帧的前景图像进行角点检测和筛选；

根据轮廓检测绘制出所述前景图像中的目标轮廓，并结合筛选出的角点确定所述若干运动目标；

确定所述若干运动目标的轮廓面积；

判断所述若干运动目标的轮廓面积是否处于设定面积阈值范围；

若是，则将处于所述设定面积阈值范围的运动目标作为追踪目标；

若否，则舍弃在所述所述设定面积阈值范围外的运动目标。

优选的，所述对预设张初始帧的前景图像进行角点检测，筛选出若干运动目标，包括：

确定预设张初始帧的前景图像中的角点；

确定所述各角点在相邻两帧前景图像中的角点差值，并根据所述各角点的角点差值确定剧烈运动程度；

筛选剧烈运动程度大于预设程度阈值的角点。

优选的，所述利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的轨迹之前，所述方法还包括：

为所述若干追踪目标建立存储类；

在所述存储类中存储所述若干追踪目标的相关参数，所述相关参数包括固有ID和位置信息。

优选的，所述利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹，具体包括：

在所述剩余视频帧中，基于所述若干追踪目标各自在上一帧的位置信息，利用meanshift技术计算得到所述若干追踪目标各自在下一帧的位置信息；

根据所述若干追踪目标各自在上下两帧的位置信息，得到所述若干追踪目标各自在上下两帧的运动轨迹；

根据所述若干追踪目标各自在下一帧的位置信息更新所述存储类。

优选的，所述利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹之后，所述方法还包括：

在所述剩余视频帧中，保存所述若干追踪目标各自在上一帧的位置信息；

对下一帧进行目标检测，确定所述下一帧中的所有运动目标的目标位置；

将所述下一帧中的每个目标位置逐一和所述上一帧中所有追踪目标的位置信息进行比对，得到每个目标位置各自的位置偏差集；

利用偏差阈值对所述每个目标位置各自的位置偏差集进行验证；

若位置偏差集中的所有偏差都大于所述偏差阈值，则将所述位置偏差集对应的运动目标确定为新追踪目标，并将所述新追踪目标加入所述下一帧中的若干追踪目标中。

优选的，所述根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位，具体包括：

根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，确定所述若干追踪目标的角点在所述剩余视频帧中的位置；

计算所述若干追踪目标的角点在相邻两帧的角点差值；

根据所述若干追踪目标的角点在相邻两帧的角点差值，确定所述若干追踪目标在相邻两帧的运动剧烈程度；

将运动剧烈程度小于预设程度阈值的追踪目标判定为行为终止；

确定判定为行为终止的追踪目标在判定为行为终止的视频帧中的终止位置。

本申请公开了一种视频流中的多目标追踪装置，包括：

检测单元，用于从视频流的预设张初始帧中检测出若干追踪目标；

追踪单元，用于利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹；所述剩余视频帧和所述预设初始帧构成所述视频流；

定位单元，用于根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位。

本申请公开了一种考勤方法，其特征在于，所述方法利用上述任一技术方案所述的多目标追踪方法进行考勤。

本发明公开了一种考勤系统，其特征在于，所述系统利用上述任一技术方案所述的多目标追踪方法进行考勤。

通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：

本申请提供了一种视频流中的多目标追踪方法和装置，该方法从所述视频流的预设张初始帧中检测出若干追踪目标。然后利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹。所述剩余视频帧和所述预设初始帧构成所述视频流。根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位，以此可对视频流中的若干追踪目标进行精度较高的追踪和定位，满足多目标的追踪需求。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的视频流中的多目标追踪方法的实施过程图；

图2示出了根据本发明一个实施例的视频流中的多目标追踪装置的实施过程图。

具体实施方式

为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。

本申请公开了一种视频流中的多目标追踪方法，该方法可以应用在教学、各赛事(足球、篮球等)、大型商场监控等等多个应用场景。

下面请参看图1，该方法具体包括如下实施步骤：

步骤11，从视频流的预设张初始帧中检测出若干追踪目标。

其中，上述目标检测过程主要基于背景帧差法和轮廓这两部分完成。一般而言，在目标追踪任务中，最首要的任务便是追踪目标的确定。以室内追踪为例,在室内这个复杂环境下，目标数量过多，目标之间的过于拥挤等问题的存在，故单一的目标检测方法已经不适用于室内这种遮挡过多、物品繁杂的环境。因此，采取将已有的背景帧差法和轮廓绘制相结合的方法,以检测出需要追踪的目标并并将其区分开以方便后期的追踪。

如何检测出若干追踪目标具体请参看下面的具体实施过程。

根据背景帧差值法从视频流中获取预设张初始帧的前景图像。背景帧差法是一种将背景和前景分割开的方法。通过对比普通的帧差法和基于高斯分布的背景建模帧差法，为了提高检测的精确度，本申请采用基于高斯分布背景建模帧差法从视频流中获取预设张初始帧的前景图像。具体的，在选取预设张初始帧图像后，将其输入至根据高斯分布的背景建模帧差法建立的背景模型，就能够准确地将前景和背景分开，得到前景图像。而其模型实施原理是利用图像间的减法的二值化结果获得前景图像。不仅如此，在使用基于高斯分布的背景帧差法时，设置一个history(历史)值综合几帧的结果建立背景模型。在读取视频帧循环的初始阶段，当视频帧序号小于设定的history值那么便继续循环，当达到预定值时，使用当前的背景作为背景模型计算前景。

对预设张初始帧的前景图像进行降噪。在得到了前景的基础上，一些优化操作是必须的。经过背景帧差法分离得的前景，存在着许多的噪音。对于存在的噪音，针对涉及到的具体环境，故本申请需要在尽可能保持有效前景的前提下进行噪音消除。例如，在背景帧差法的基础上可以使用中值滤波消除噪音，便能够很好的得到消噪效果。

对预设张初始帧的前景图像进行角点检测和筛选。承接上述场景举例，考虑到室内这个具体环境的复杂性，绘制前景中检测到的人像的轮廓以加强图像的特征。解决完噪音问题后，基本可以获取到可以使用的前景图像，但所要研究的问题的目标是室内中运动的目标，仅仅获取到前景并不能满足追踪需要的目标检测的要求。一般的，对于分离好的前景，倾向于选择使用轮廓检测来显式地确定出具体目标的位置。当检测出轮廓后，用外接矩形将轮廓框出，这就基本完成了目标的检测和可视化。而由于多目标相较于普通的追踪任务来说困难更多，需要解决的难点也更多。特别的，以教室这个具体环境为例，由于存在桌椅、讲台、黑板、窗帘等的遮挡和干扰，目标的运动更难以捕捉。概括而言，基于室内的多目标追踪存在的问题为：目标重复检测、非人运动物体干扰、目标重复跟踪。

以非人运动物体干扰的问题来说，由于室内后方俯拍视频中目标特征不明显以及室内环境的遮挡过多，并且室内环境中还可能存在非人运动物体干扰，例如运动的窗帘等，使得目标不能够被精确检测和追踪。故为了解决上述问题，提高检测的精确度，本申请引入角点进行辅助判断。具体来说，确定预设张初始帧的前景图像中的角点；确定所述各角点在相邻两帧前景图像中的角点差值，并根据所述各角点的角点差值确定剧烈运动程度；筛选剧烈运动程度大于预设程度阈值的角点。

具体来说，本申请在光流法的基础上通过运动剧烈程度的判定实现了非人运动目标的过滤。若携带有筛选剧烈运动程度大于预设程度阈值的角点，则认为是人像运动目标。在检测出目标对象中的高质量角点的基础上，基于前一帧和当前帧的图像中的目标对象的角点都使用光流法计算二者的偏差，偏差大于限定值(预设程度阈值)的点被认为是好的跟踪点，将其存入跟踪列表中。光流是指由于目标对象或者摄像机的移动造成的在连续的两帧图像中的对象的移动，光流是一个2D向量场。光流的出现是基于一定的假设的。首先，默认相邻两帧之间的运动对象的像素灰度值不会改变，然后将运动目标在相邻两帧运动时的位置相减，即得到其在相邻两帧出现的偏差。当跟踪列表中的点的位置几乎没有偏差时，可认定该角点并没有什么运动。相反的，当一个角点的追踪列表中的点的偏差较大时，可以认为该点的运动程度比较剧烈，可将其确定为运动目标。而除上述实施方式之外，还可以在循环中读取单个角点在跟踪列表中呈现的历史点位值，并对其求平均值，再用每个点和平均值做差值，最后对差值求和求得该角点的运动偏差。然后将该运动偏差和预设程度阈值比较，来确定该角点是否运动剧烈。所有角点都可以采用上述实施方式。而对于运动剧烈的角点，利用列表将其存储起来。至此运动剧烈的角点就已经获取完毕。

进一步的，可在此之前对每个角点的追踪点数进行限定，当光流法计算出的点数超过跟踪列表的长度便更新跟踪列表。另外，为了减少检测的计算量，可每隔一段帧数进行角点的检测，并且在前期的角点基础上创建掩模。掩模的作用在于在定期角点更新中过滤掉老的角点，仅仅检测新的角点。这大大减少了检测的计算量，同时在后期运动剧烈程度的检测中也发挥着作用。

根据轮廓检测绘制出所述前景图像中的目标轮廓，并结合筛选出的角点确定所述若干运动目标。另外，会确定所述若干运动目标的轮廓面积。具体来说，获取完运动剧烈角点后，在轮廓检测时，只需循环检测每个轮廓是否包含这些运动剧烈的角点。只有包含运动剧烈的角点的轮廓才被认为是有效的，即这些轮廓才被会当做检测完成的运动目标，并且作为追踪目标。这样一来，非运动物体的干扰被很大程度上消除了，能够提高检测的精确度。

判断若干运动目标的轮廓面积是否处于设定面积阈值范围。若是，则将处于设定面积阈值范围的运动目标作为追踪目标。若否，则舍弃在设定面积阈值范围外的运动目标。进一步的，同出于环境中可能存在其他物体运动情况的考虑，设计的算法对于轮廓的面积有一定的限定，当轮廓处于设定面积阈值范围才认为是有效轮廓，并将其确定为追踪目标。然后对运动目标进行图像增强，例如用带有颜色的线绘制出来，而绘制轮廓的线有一定的宽度，这样能在基于俯拍的视频(特别是分辨率不高的视频)中增加运动目标的特征来提高追踪精度，方便追踪。

步骤12，利用跟踪算法追踪若干追踪目标各自在剩余视频帧中的运动轨迹。

其中，剩余视频帧和预设初始帧共同构成视频流。

在追踪目标已经被确定下来的基础上，追踪任务才能较为顺利地展开。设计的基于室内的多目标追踪的算法可根据实际情况选择，本申请主要利用MeanShift算法和光流法相结合实现室内环境中多目标的追踪。在追踪的基础上，再利用运动剧烈程度的判断来实现定位。而在利用跟踪算法追踪若干追踪目标各自在剩余视频帧中的轨迹之前，为了便于管理，可为若干追踪目标建立存储类。，当检测到追踪目标后就可在存储类中为其新建一个存储空间存储相关参数，例如固有ID、位置信息等参数，在视频帧不断被循环获取的过程中，可使用MeanShift追踪各追踪目标的位置完成更新，达到追踪目的。

而在具体的追踪过程中，跟可根据实际情况采用不同的跟踪算法，比如meanshift技术方法、光流法等等。

在剩余视频帧中，基于若干追踪目标各自在上一帧的位置信息，利用meanshift技术计算得到若干追踪目标各自在下一帧的位置信息。根据若干追踪目标各自在上下两帧的位置信息，得到若干追踪目标各自在上下两帧的运动轨迹。若以单个追踪目标为例，将所有帧之间的运动轨迹相连，便能够得到该追踪目标在视频流中的运动轨迹。除此之外，可根据若干追踪目标各自在下一帧的位置信息更新存储类。

本申请公开的MeanShift追踪算法的基本想法可以描述为：计算感兴趣区域的色度特征，在此之后计算候选区域中和感兴趣区域特征接近的概率，概率最大的区域就是对象在运动后最有可能存在的区域，这样就可以得到对象运动后的坐标位置，实现追踪。那么均值漂移在追踪中的作用是什么呢？均值漂移就是在样本分布中求出漂移向量然后得到概率密度梯度方向。在匹配最符合目标区域特征的时，概率被用来描述候选区域和感兴趣区域的相似程度，那么可以将概率的描述转化为点的分布。概率的大小就可以用点的密集程度来体现。在这种转化的基础上，均值漂移的作用也就体现出来了。利用均值漂移算法，可以找到帧与帧之间的特征相似度大的区域，经过不断地迭代搜索，可以找到相似度的极大点，从而找到对象运动后的位置。

而在具体的实施过程中，根据传入的ID、图像、追踪目标初始位置初始化追踪目标的跟踪ID、图像、追踪框的左上顶点坐标、追踪框的长和宽。同时根据目标初始位置信息建立感兴趣区域(追踪目标所在区域)的直方图。为了减少不必要的干扰，在建立基于HSV颜色分布的直方图后，设置一个用于过滤的掩模，最终得出感兴趣区域的直方图分布。除此之外，还需要对MeanShift的迭代进行限定。迭代的结束条件设定为迭代次数和迭代精度，当任何一点被满足时就停止迭代。

而在迭代更新的过程中，首先，需要将传入的帧图像进行颜色模型的转换。一般默认选取的颜色模型是RGB颜色模型，而MeanShift算法选取的特征是色度特征，所以需要将其映射到HSV颜色空间。之后，在映射好的HSV图像上结合初始化模块中计算的感兴趣区域直方图计算反向直方图投影。利用反向投影图、追踪框位置(初始值为目标初始位置)、迭代限定条件进行MeanShift迭代，得到追踪结果，以追踪框的左顶点坐标和追踪框长、宽的形式返回。当然本申请还对追踪的精度进行了计算。首先，采用计算感兴趣区域直方图的方法计算反向投影图的直方图。之后，对于直方图中的每一个分量，将反向投影图和感兴趣区域的直方图做比值。为了提高计算效率，对于分量是零的那些列采取忽略措施，即在循环中跳过该列的比较。最后将每一列计算的比值进行求和计算得追踪的精度，以概率数值的形式显式地表现。具体参看如下公式：

其中，precision为概率，1≤i≤h，i指循环变量，h指的是直方图中值不为0的分量的数量，roihist指的是追踪目标初始化时所在位置的颜色直方图，roihist[i]指目标初始化所在区域直方图的第i个分量，backhist指的是经过meanshift迭代后追踪目标所在位置的直方图，backhist[i]指反向投影直方图的第i个分量。

对每个追踪目标都会实施上述追踪方法，就能够得到所有追踪目标各自的运动轨迹。

而在追踪的过程中，很可能会出现这样一种情况，比如在第10帧追踪到10个追踪目标，第11帧是出现一个新追踪目标，故为了解决这一问题，在每一帧视频中都需要进行目标检测，以确定出新追踪目标。但是每帧都进行目标检测，对于原本一直存在的追踪目标很大概率会出现重复检测的情况。为了避免重复检测，本申请进行了如下实施原理：设计一个列表用于存储上一帧中若干追踪目标的目标位置。在下一帧中进行目标检测，确定下一帧中的所有运动目标的目标位置。而针对检测出的每一个运动目标，循环比对其与上一帧中对象的位置偏差，当偏差小于设定阈值时判定是重复的目标，不为其新建追踪目标，否则就新建一个追踪目标，并将新追踪目标加入下一帧中的若干追踪目标中，通过此种方法在避免重复追踪的基础上，能够检测到新追踪目标来目标来达到对多追踪目标进行追踪的目的。

在具体的实施过程中，在剩余视频帧中，保存若干追踪目标各自在上一帧的位置信息。对下一帧进行目标检测，确定下一帧中的所有运动目标的目标位置。将下一帧中的每个目标位置逐一和上一帧中所有追踪目标的位置信息进行比对，得到每个目标位置各自的位置偏差集。利用偏差阈值对每个目标位置各自的位置偏差集进行验证。若位置偏差集中的所有偏差都大于偏差阈值，则将位置偏差集对应的运动目标确定为新追踪目标，并将新追踪目标加入下一帧中的若干追踪目标中。也就是说，针对下一帧的每个运动目标，都会循环比对其与上一帧中对象的位置偏差，只要有一个偏差小于设定阈值就判定为是重复目标，若都大于则确定为新追踪目标，并在后续使用追踪算法对其进行追踪。

作为一种可选的实施例，本申请对检测的运动目标进行了轮廓面积的限定和运动剧烈程度等方面的限定。但是当限定条件过多时就会出现不稳定的情况，表现为轮廓闪烁。这种不稳定基本上是轮廓的不稳定。而由于轮廓的绘制关系到特征的明显有无，因此，轮廓的稳定与否直接关系到追踪质量的好坏。上文介绍到的用于解决重复检测的算法在轮廓不稳定时会出现较为严重的误差。由于重复检测的判定是基于前后帧的轮廓比对，所以当轮廓不稳定时，闪烁的轮廓会被认定为新的追踪目标新建追踪目标，这就是目标重复跟踪问题。

为了解决这一问题，本申请设计一个列表用于存储追踪目标的坐标位置。但不同于解决重复检测问题设计的算法，这里存储的是当前帧的已有跟踪对象的跟踪框的位置。通过循环将轮廓和该列表中的追踪框位置进行差值计算，小于限定阈值的则判定为轮廓不稳定造成的新目标，不新建追踪目标。在这种约束下，重复跟踪的问题得以解决。

由于追踪不可能百分之百准确，因此当追踪的目标因为目标重叠、环境干扰等因素而发生追踪丢失时，本申请还利用全局搜索机制将其找回并提供找回的概率。全局搜索时新建MeanShift追踪目标并将迭代结果和丢失前的进行比较，利用位置差值以及追踪精度等计算联合概率，给出找回的目标是原目标的概率。

步骤13，根据若干追踪目标各自在剩余视频帧中的运动轨迹，对若干追踪目标各自在剩余视频帧中的终点位置进行定位。

其中，若干追踪目标出现终点位置的视频帧可以相同或者不相同。比如追踪目标A、B在第10帧出现终点位置(表示已落座)，而追踪目标C在第15帧出现终点位置。

而在为了能够使若干追踪目标的终点位置更为直观，在进行定位前，可对视频区域进行框定，采取的方法是手工标定法，也可以将区域的划分自动化，以室内为例，使用多边形折线将座位区域框定出来，并划分为1、2、3、4四个区域。在追踪目标到达终点位置之后，便能够直观呈现出来。

进一步的，在目标定位到区域之后，给出可视化的提醒，比如用红色将追踪目标的序号标红以突出显示，方便确认目标进入的区域，将目标的座位倾向显示在界面上。座位倾向的显示通过计算目标定位后的坐标和区域做比对，落在哪个区域内即显示目标的座位倾向在于哪个区域。通过同一个室内多个视频数据的统计计算，给出目标入座该区域的概率。在给出目标座位区域后，“前”或“后”的提示可以用于目标行为的分析。为了能更准确地得知目标的具体入座信息，对于追踪定位的目标进行精细划分，结合之前的目标ID信息获取对应到具体的入座信息，做到显示哪个目标入座了哪个区域。由于入座后目标之间较为贴近，因此，可利用图像分割技术根据之前的轮廓以及座位之间的间隙作为划分边界对每个目标进行划分，这样便可以得到较为完整和独立的目标信息。

而在对的终点位置进行定位的过程中，可通过追踪概率进行运动轨迹是否到达“终点”的判断。当追踪概率小于限定值时，认为目标由于运动剧烈程度下降导致追踪精度大幅下降，由此判定目标进入区域。具体的实施过程如下：

根据若干追踪目标各自在剩余视频帧中的运动轨迹，确定若干追踪目标的角点在剩余视频帧中的位置。计算若干追踪目标的角点在相邻两帧的角点差值。根据若干追踪目标的角点在相邻两帧的角点差值，确定若干追踪目标在相邻两帧的运动剧烈程度。角点差值越小，表示运动的剧烈程度越低。角点差值越大，表示运动的剧烈程度越高。将运动剧烈程度小于预设程度阈值的追踪目标判定为行为终止。确定判定为行为终止的追踪目标在判定为行为终止的视频帧中的终止位置。比如追踪目标A行为终止，则需要确定出其具体是在哪一帧开始终止的，在后续视频帧追踪目标可能就会一直在这个终止位置保持不动。故而，可从在判定为行为终止的视频帧中确定出终止位置。当然也可以在后续视频帧中确定其终止位置。

本申请的追踪一方面可以获取到运动目标的追踪轨迹，而确定运动轨迹的“终点”的精度也必须保证。当目标运动剧烈程度大幅度下降时，判定目标运动行为终止。这意味着，目标来到了座位区域并可能已经就坐。因此，本申请提出利用追踪的剧烈程度获取到追踪轨迹的终点位置以完成对于目标的定位操作。以上是结合了运动剧烈程度对其进行定位，进而定位的精准度较高。

进一步的，根据所述若干追踪目标的终止位置和事先存储的分区区域，确定所述若干追踪目标所在区域。以直观的呈现出各追踪目标所在区域。

基于相同的发明构思，本申请公开了一种视频流中的多目标追踪装置，参看图2，包括：

检测单元21，用于从视频流的预设张初始帧中检测出若干追踪目标。

追踪单元22，用于利用跟踪算法追踪若干追踪目标各自在剩余视频帧中的运动轨迹。剩余视频帧和预设初始帧构成视频流。

定位单元23，用于根据若干追踪目标各自在剩余视频帧中的运动轨迹，对若干追踪目标各自在剩余视频帧中的终点位置进行定位。其中，若干追踪目标在剩余视频帧中的终点位置各有不同。

作为一种可选的实施例，所述检测单元21，具体用于：

根据背景帧差值法从所述视频流中获取预设张初始帧的前景图像；

对所述预设张初始帧的前景图像进行降噪；

对预设张初始帧的前景图像进行角点检测和筛选；

根据轮廓检测绘制出所述前景图像中的目标轮廓，并结合筛选出的角点确定所述若干运动目标；

确定所述若干运动目标的轮廓面积；

判断所述若干运动目标的轮廓面积是否处于设定面积阈值范围；

若是，则将处于所述设定面积阈值范围的运动目标作为追踪目标；

若否，则舍弃在所述所述设定面积阈值范围外的运动目标。

作为一种可选的实施例，所述检测单元21，具体用于：

确定预设张初始帧的前景图像中的角点；

确定所述各角点在相邻两帧前景图像中的角点差值，并根据所述各角点的角点差值确定剧烈运动程度；

筛选剧烈运动程度大于预设程度阈值的角点。

作为一种可选的实施例，所述系统还包括：

建立单元，用于为所述若干追踪目标建立存储类；

存储单元，用于在所述存储类中存储所述若干追踪目标的相关参数，所述相关参数包括固有ID和位置信息。

作为一种可选的实施例，所述追踪单元22，具体用于：

在所述剩余视频帧中，基于所述若干追踪目标各自在上一帧的位置信息，利用meanshift技术计算得到所述若干追踪目标各自在下一帧的位置信息；

根据所述若干追踪目标各自在上下两帧的位置信息，得到所述若干追踪目标各自在上下两帧的运动轨迹；

根据所述若干追踪目标各自在下一帧的位置信息更新所述存储类。

作为一种可选的实施例，所述追踪单元22，还用于：

在所述剩余视频帧中，保存所述若干追踪目标各自在上一帧的位置信息；

对下一帧进行目标检测，确定所述下一帧中的所有运动目标的目标位置；

将所述下一帧中的每个目标位置逐一和所述上一帧中所有追踪目标的位置信息进行比对，得到每个目标位置各自的位置偏差集；

利用偏差阈值对所述每个目标位置各自的位置偏差集进行验证；

若位置偏差集中的所有偏差都大于所述偏差阈值，则将所述位置偏差集对应的运动目标确定为新追踪目标，并将所述新追踪目标加入所述下一帧中的若干追踪目标中。

作为一种可选的实施例，所述定位单元23，还用于：

根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，确定所述若干追踪目标的角点在所述剩余视频帧中的位置；

计算所述若干追踪目标的角点在相邻两帧的角点差值；

根据所述若干追踪目标的角点在相邻两帧的角点差值，确定所述若干追踪目标在相邻两帧的运动剧烈程度；

将运动剧烈程度小于预设程度阈值的追踪目标判定为行为终止；

确定判定为行为终止的追踪目标在判定为行为终止的视频帧中的终止位置。

基于相同的发明构思，本申请公开了一种考勤方法，该方法利用上述一个或者多个实施例中的多目标追踪方法进行考勤。

具体来说，以智慧教室为例，本申请基于多目标追踪的方法为核心所申请的考勤方法，能够为老师提供多目标追踪，并且能够提供更多的学生行为信息，以便于老师可以根据对应学生ID的常用座位概率分析，来判断该学生是否有他人代上课的情况发生，来减少代签情况的发生并辅助分析学生平时听课情况。此外，还可以便于老师根据学生座位的前后位置关系来辅助判断哪些学生是对课堂内容感兴趣的等等。

基于相同的发明构思，本申请公开了一种考勤系统，该系统利用上述一个或者多个实施例中的多目标追踪方法进行考勤。

通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：

本申请提供了一种视频流中的多目标追踪方法和装置，该方法从所述视频流的预设张初始帧中检测出若干追踪目标。然后利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹。所述剩余视频帧和所述预设初始帧构成所述视频流。根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位，以此可对视频流中的若干追踪目标进行精度较高的追踪和定位，满足多目标的追踪需求。

尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种视频流中的多目标追踪方法，其特征在于，所述方法针对室内环境中多目标的追踪，包括：

从所述视频流的预设张初始帧中检测出若干追踪目标；

利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹；所述剩余视频帧和所述预设初始帧构成所述视频流；

在追踪目标确定的基础上，传入的ID、图像、追踪目标初始位置初始化追踪目标的跟踪ID、图像、追踪框的左上顶点坐标、追踪框的长和宽；根据目标初始位置信息建立感兴趣区域的直方图；在在映射好的HSV图像上结合初始化模块中计算的感兴趣区域直方图计算反向投影直方图；其中，在采用计算感兴趣区域直方图的方法计算反向投影直方图之后，利用公式

得出概率数值，显式的表现出针对反向投影直方图的追踪精度；其中，precision为概率，1≤i≤h，i指循环变量，h指的是直方图中值不为0的分量的数量，roihist指的是追踪目标初始化时所在位置的颜色直方图，roihist[i]指目标初始化所在区域直方图的第i个分量，backhist指的是经过meanshift迭代后追踪目标所在位置的直方图，backhist[i]指反向投影直方图的第i个分量；利用反向投影直方图图、追踪框位置、迭代限定条件进行MeanShift迭代，得到追踪结果，以追踪框的左顶点坐标和追踪框长、宽的形式返回；

根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位；

设计一个列表存储当前帧中已有跟踪对象的跟踪框位置，循环将后续帧的轮廓和所述列表中的追踪框位置进行差值计算，小于限定阈值则判定为由轮廓不稳定造成的新目标，不新建追踪目标。

2.如权利要求1所述的方法，其特征在于，所述从所述视频流的预设张初始帧中检测出若干追踪目标，具体包括：

根据背景帧差值法从所述视频流中获取预设张初始帧的前景图像；

对所述预设张初始帧的前景图像进行降噪；

对预设张初始帧的前景图像进行角点检测和筛选；

根据轮廓检测绘制出所述前景图像中的目标轮廓，并结合筛选出的角点确定若干运动目标；

确定所述若干运动目标的轮廓面积；

判断所述若干运动目标的轮廓面积是否处于设定面积阈值范围；

若是，则将处于所述设定面积阈值范围的运动目标作为追踪目标；

若否，则舍弃在所述设定面积阈值范围外的运动目标。

3.如权利要求2所述的方法，其特征在于，所述对预设张初始帧的前景图像进行角点检测，筛选出若干运动目标，包括：

确定预设张初始帧的前景图像中的角点；

确定所述各角点在相邻两帧前景图像中的角点差值，并根据所述各角点的角点差值确定剧烈运动程度；

筛选剧烈运动程度大于预设程度阈值的角点。

4.如权利要求1所述的方法，其特征在于，

所述利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的轨迹之前，所述方法还包括：

为所述若干追踪目标建立存储类；

在所述存储类中存储所述若干追踪目标的相关参数，所述相关参数包括固有ID和位置信息。

5.如权利要求1或4所述的方法，其特征在于，所述利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹之后，所述方法还包括：

在所述剩余视频帧中，保存所述若干追踪目标各自在上一帧的位置信息；

对下一帧进行目标检测，确定所述下一帧中的所有运动目标的目标位置；

将所述下一帧中的每个目标位置逐一和所述上一帧中所有追踪目标的位置信息进行比对，得到每个目标位置各自的位置偏差集；

利用偏差阈值对所述每个目标位置各自的位置偏差集进行验证；

若位置偏差集中的所有偏差都大于所述偏差阈值，则将所述位置偏差集对应的运动目标确定为新追踪目标，并将所述新追踪目标加入所述下一帧中的若干追踪目标中。

6.如权利要求1所述的方法，其特征在于，所述根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位，具体包括：

根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，确定所述若干追踪目标的角点在所述剩余视频帧中的位置；

计算所述若干追踪目标的角点在相邻两帧的角点差值；

根据所述若干追踪目标的角点在相邻两帧的角点差值，确定所述若干追踪目标在相邻两帧的运动剧烈程度；

将运动剧烈程度小于预设程度阈值的追踪目标判定为行为终止；

确定判定为行为终止的追踪目标在判定为行为终止的视频帧中的终止位置。

7.一种视频流中的多目标追踪装置，其特征在于，所述装置针对室内环境中多目标的追踪，包括：

检测单元，用于从视频流的预设张初始帧中检测出若干追踪目标；

追踪单元，用于利用跟踪算法追踪所述若干追踪目标各自在剩余视频帧中的运动轨迹；所述剩余视频帧和所述预设初始帧构成所述视频流；在追踪目标确定的基础上，传入的ID、图像、追踪目标初始位置初始化追踪目标的跟踪ID、图像、追踪框的左上顶点坐标、追踪框的长和宽；根据目标初始位置信息建立感兴趣区域的直方图；在在映射好的HSV图像上结合初始化模块中计算的感兴趣区域直方图计算反向投影直方图；其中，在采用计算感兴趣区域直方图的方法计反向投影直方图之后，利用公式

得出概率数值，显式的表现出针对反向投影直方图的追踪精度；其中，precision为概率，1≤i≤h，i指循环变量，h指的是直方图中值不为0的分量的数量，roihist指的是追踪目标初始化时所在位置的颜色直方图，roihist[i]指目标初始化所在区域直方图的第i个分量，backhist指的是经过meanshift迭代后追踪目标所在位置的直方图，backhist[i]指反向投影直方图的第i个分量；利用反向投影直方图图、追踪框位置、迭代限定条件进行MeanShift迭代，得到追踪结果，以追踪框的左顶点坐标和追踪框长、宽的形式返回；

定位单元，用于根据所述若干追踪目标各自在所述剩余视频帧中的运动轨迹，对所述若干追踪目标各自在所述剩余视频帧中的终点位置进行定位。

8.一种考勤方法，其特征在于，所述方法利用上述权利要求1-6任一权项所述的多目标追踪方法进行考勤。

9.一种考勤系统，其特征在于，所述系统利用上述权利要求1-6任一权项所述的多目标追踪方法进行考勤。

Images