CN109784173A - 一种单摄像头的商店客人在线跟踪算法 - Google Patents

Abstract

本发明公开了一种单摄像头的商店客人在线跟踪算法，涉及图像处理领域。本发明包括如下步骤：步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒；步骤S03：对每个检测出来的行人分配ID并持续进行追踪。本发明通过实用RCNN作为深度学习模型进行训练，对每一帧视频流进行目标检测并获取每一个行人的包围盒，并针对行人相互遮挡的问题进行了优化改进，提高了视频人物追踪的准确率，降低了成本。

Description

一种单摄像头的商店客人在线跟踪算法

技术领域

本发明属于图像处理领域，特别是涉及一种单摄像头的商店客人在线跟踪算法。

背景技术

在日常生活中，很多商店会有摄像头这一设施，用来监控来往的顾客。然而，摄像头只能捕获一系列的图像并储存至电脑中，具体去识别这些来往的人仍旧需要人来手动去翻查视频，仍然需要花费大量的时间去对视频的内容进行辨别，这是一件非常浪费人力的事情。

而在深度学习出现后，机器学习能够代替人力完成很多原本很难实现的问题，于是我们便想到利用计算机来对摄像头捕获的图像进行分析，对图像中的人物进行追踪，从而大大降低识别这些视频的人力成本。

发明内容

本发明的目的在于提供一种单摄像头的商店客人在线跟踪算法，通过实用RCNN作为深度学习模型进行训练，对每一帧视频流进行目标检测并获取每一个行人的包围盒，并针对行人相互遮挡的问题提出了优化改进，解决了现有的视频人物追踪困难、成本高的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种单摄像头的商店客人在线跟踪算法，包括如下步骤：

步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；

步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒；

步骤S03：对每个检测出来的行人分配ID并持续进行追踪；

其中，步骤S02中，对视频流的每一帧进行目标检测，得到每一帧内的目标的BBox区域，建立tracker对应每一个行人，目标的状态表示用公式：

式中，u,v为目标的BBox中心坐标，s为BBox的尺寸，r为BBox的长宽比，为目标行人的速度，根据每帧根据检测到的目标，计算与各个tracker的重合比例更新对应的tracker状态；

其中，更新对应的tracker状态时，会遇到以下三种情况之一：

情况A、当目标检测中得到的BBox与当前所有trackerIOU值均小于0.3时，新建tracker并与其绑定；

情况B、当目标检测中得到的BBox与当前所有trackerIOU值均不小于0.3时，该BBox不与tracker绑定；

情况C、当tracker有多帧未有绑定时，则删除tracker。

优选地，所述情况C中，若tracker当前帧没有BBox与其绑定，则：若tracker上次出现在边缘部分，且tracker消失了k帧，则这个tracker出栈；若tracker上次出现在内部，且tracker消失了h＝10k帧，则这个tracker出栈。

优选地，所述步骤S02中，当行人之间出现互相遮挡，则对每一个tracker增加一个属性pair；对于当前帧中没有被match的tracker，若tracker在内部且没有pair，则在有match的trackers中寻找IOU最大的tracker；当IOU大于0.3时，则先设其为pair；再之后的视频帧中，新的BBox跟IOU最大的tracker进行比较，除了比较自身预估的位置，还需比较pair_tracker的预估BBox，并获取最大IOU的值。

本发明具有以下有益效果：

本发明通过实用RCNN作为深度学习模型进行训练，对每一帧视频流进行目标检测并获取每一个行人的包围盒，并针对行人相互遮挡的问题进行了优化改进，提高了视频人物追踪的准确率，降低了成本。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种单摄像头的商店客人在线跟踪算法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种单摄像头的商店客人在线跟踪算法，包括如下步骤：

步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；

步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒，包围盒即为BBox；

包围盒是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象；包围盒在计算机图形学与计算机几何领域应用最为广泛，一组物体的包围盒就是将物体组合完全包容起来的一个封闭空间，将复杂物体封装在简单的包围盒中，用简单的包围盒形状来近似代替复杂几何体的形状，就可以提高几何运算的效率，并且通常简单的物体比较容易检查相互之间的重叠；

步骤S03：对每个检测出来的行人分配ID并持续进行追踪；

其中，步骤S02中，对视频流的每一帧进行目标检测，得到每一帧内的目标的BBox区域，建立tracker对应每一个行人，目标的状态表示用公式：

式中，u,v为目标的BBox中心坐标，s为BBox的尺寸，r为BBox的长宽比，为目标行人的速度，根据每帧根据检测到的目标，计算与各个tracker的重合比例更新对应的tracker状态；

其中，更新对应的tracker状态时，会遇到以下三种情况之一：

情况A、当目标检测中得到的BBox与当前所有trackerIOU值均小于0.3时，新建tracker并与其绑定；

情况B、当目标检测中得到的BBox与当前所有trackerIOU值均不小于0.3时，该BBox不与tracker绑定；

情况C、当tracker有5帧未有绑定时，则可能删除tracker。

在深度学习中，一个好的学习模型能够极大节约训练的成本与提高效率，因此该篇专利通过RCNN作为深度学习训练，通过公开的数据集作为初解的训练参数，对该数据集进行微调，获得一个更加适用商店中的客人追踪的模型；

通过对一个目标摄像头所抓取的视频中，标记5分钟的视频，并将这5分钟的视频，对已有的模型进行fine-tune微调后，能够得到一个具有准确率高的结果了。

其中，由于行人不会凭空消失，只会在边缘部分才会出摄像头，对于每个tracker，在情况C中，若tracker当前帧没有BBox与其绑定，则：若tracker上次出现在边缘部分，且tracker消失了5帧，则这个tracker出栈；若tracker上次出现在内部，且tracker消失了50帧，则这个tracker出栈。

其中，步骤S02中，当行人之间出现互相遮挡，则对每一个tracker增加一个属性pair；对于当前帧中没有被match的tracker，若tracker在内部且没有pair，则在有match的trackers中寻找IOU最大的tracker；当IOU大于0.3时，则先设其为pair；再之后的视频帧中，新的BBox跟IOU最大的tracker进行比较，除了比较自身预估的位置，还需比较pair_tracker的预估BBox，并获取最大IOU的值；当找不到IOU大于0.3的tracker，则考虑增加新的tracker；若BBox处于非边缘部分，则不添加新的tracker。

进过改进或的RCNN模型，能够非常准确的跟踪识别摄像头里的进过的行人，并给出他们的包围盒，尤其当出现行人相互遮挡时的效果，实验结果要明显优于现有技术训练出的模型；

如下表1为实际应用中，本发明对实际场景的人数统计，目标跟踪的准确率远高于现有算法；

表1中进行了10个场景，共200分的视频检验；

其中，人数偏差率＝(算法统计人数-实际人数)/实际人数；

人体形成遮挡身份准确率＝实际人体数/(算法中行人ID出现个数)。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.一种单摄像头的商店客人在线跟踪算法，其特征在于，包括如下步骤：

步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；

步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒；

步骤S03：对每个检测出来的行人分配ID并持续进行追踪；

其中，步骤S02中，对视频流的每一帧进行目标检测，得到每一帧内的目标的BBox区域，建立tracker对应每一个行人，目标的状态表示用公式：

式中，u,v为目标的BBox中心坐标，s为BBox的尺寸，r为BBox的长宽比，为目标行人的速度，根据每帧根据检测到的目标，计算与各个tracker的重合比例更新对应的tracker状态；

其中，更新对应的tracker状态时，会遇到以下三种情况之一：

情况A、当目标检测中得到的BBox与当前所有trackerIOU值均小于0.3时，新建tracker并与其绑定；

情况B、当目标检测中得到的BBox与当前所有trackerIOU值均不小于0.3时，该BBox不与tracker绑定；

情况C、当tracker有多帧未有绑定时，则删除tracker。

2.根据权利要求1所述的一种单摄像头的商店客人在线跟踪算法，其特征在于，所述情况C中，若tracker当前帧没有BBox与其绑定，则：若tracker上次出现在边缘部分，且tracker消失了k帧，则这个tracker出栈；若tracker上次出现在内部，且tracker消失了h＝10k帧，则这个tracker出栈。

3.根据权利要求1所述的一种单摄像头的商店客人在线跟踪算法，其特征在于，所述步骤S02中，当行人之间出现互相遮挡，则对每一个tracker增加一个属性pair；对于当前帧中没有被match的tracker，若tracker在内部且没有pair，则在有match的trackers中寻找IOU最大的tracker；当IOU大于0.3时，则先设其为pair；再之后的视频帧中，新的BBox跟IOU最大的tracker进行比较，除了比较自身预估的位置，还需比较pair_tracker的预估BBox，并获取最大IOU的值。