CN112560641A - 基于视频的双向客流通道中的单向客流信息检测方法 - Google Patents

Abstract

本发明提供了一种基于视频的双向客流通道中的单向客流信息检测方法。该方法包括：获取双向客流通道场景下的视频图像，使用目标检测算法对视频图像进行客流目标检测；利用改进的DeepSort算法对视频图像中的客流目标进行目标跟踪，获取所述双向客流通道中的单向客流统计信息。本发明能够有效改善遮挡情况下的目标追踪效果，能够对地铁场景等双向通行客流视频中的某一方向进行精确的客流量统计。同时提高运行速度，保证了客流信息检测的实时性。

Description

基于视频的双向客流通道中的单向客流信息检测方法

技术领域

本发明涉及客流信息检测技术领域，尤其涉及一种基于视频的双向客流通道中的单向客流信息检测方法。

背景技术

地铁站作为城市轨道交通中的重要节点，对整个地铁线网的运营安全和运输效率意义重大。大客流已成为城市轨道交通的常态，精确把握进站客流状态是客流科学管控的基础。现阶段视频监控技术在地铁场景中的应用已经非常广泛了，但是受现场工程的各方面因素制约，地铁中的通道客流视频，特别是换乘通道客流视频，往往包含了双向通行的客流。

目前，现有技术中的基于地铁视频监控的单向客流信息检测方法，多为基于神经网络方法，不能准确地在双向通行客流视频中实时统计其中的单向客流量。

发明内容

本发明的实施例提供了一种基于视频的双向客流通道中的单向客流信息检测方法，以实现准确地在双向通行客流视频中实时统计其中的单向客流量。

为了实现上述目的，本发明采取了如下技术方案。

一种基于视频的双向客流通道中的单向客流信息检测方法，包括：

获取双向客流通道场景下的视频图像，使用目标检测算法对视频图像进行客流目标检测；

利用改进的DeepSort算法对视频图像中的客流目标进行目标跟踪，获取所述双向客流通道中的单向客流统计信息。

优选地，所述的获取双向客流通道场景下的视频图像，使用目标检测算法对视频图像进行客流目标检测，包括：

获取一段双向客流通道场景下的视频图像，按照设定的采样时间间隔提取并保存所述视频图像中的连续帧图像；

利用Keras-YOLOv3算法对每帧图像进行客流目标检测，获取每帧图像中的客流目标的检测框以及检测框四个顶点的坐标和置信度。

优选地，所述的利用改进的DeepSort算法对视频图像中的客流目标进行目标跟踪，获取所述双向客流通道中的单向客流统计信息，包括：

将检测到的每帧图像中的客流目标的检测框进行筛选，只保留检测框的置信度大于最小置信度阈值的检测框，利用非极大值抑制去除重叠率超过80％的检测框，利用筛选后的每帧图像的检测框来创建每帧图像中的客流目标对应的初始跟踪位置；

根据每帧图像中的客流目标对应的初始跟踪位置使用卡尔曼滤波预测前一帧图像中客流目标的轨迹在当前帧图像中的状态；

根据前一帧图像中客流目标的轨迹在当前帧图像中的状态使用匈牙利算法对当前帧图像与其它帧图像相继进行级联匹配和交并比匹配，得到当前帧图像的所有匹配对、未匹配的客流轨迹以及未匹配的跟踪；对每个匹配成功的客流轨迹，用客流轨迹对应的跟踪进行更新，并处理未匹配的客流轨迹和跟踪；

依次选取除当前帧图像之外的其它帧图像，对每个其它帧图像依次循环迭代执行上述检测框筛选、卡尔曼滤波和匈牙利算法匹配过程，获取每帧图像的所有匹配对、未匹配的客流轨迹以及未匹配的跟踪；

判断每帧图像匹配成功的轨迹是否穿过指定的标识线，根据匹配成功的穿过指定的标识线的个数统计所述双向客流通道中的单向客流流量。

优选地，所述的利用筛选后的每帧图像的检测框来创建每帧图像中的客流目标对应的初始跟踪位置，包括：

通过检测框的四个顶点得到客流目标对应的初始跟踪框中初始轨迹的中心坐标，用一个8维空间表示轨迹在某时刻的状态：(u,v,γ,h,x^.,y^.,γ^.,h^.)，其中(u,v)是检测框的中心坐标，r是长宽比，h表示高度，其余四个变量表示轨迹对应的在图像坐标系中的速度信息。

优选地，所述的根据前一帧图像中客流目标的轨迹在当前帧图像中的状态使用匈牙利算法对当前帧图像与其它帧图像相继进行级联匹配和交并比匹配，得到当前帧图像的所有匹配对、未匹配的客流轨迹以及未匹配的跟踪，包括：

根据前一帧图像中客流目标的轨迹在当前帧图像中的状态采用匈牙利算法输出当前帧图像的检测框和跟踪框的匹配结果，对基于外观信息的马氏距离计算轨迹和跟踪的代价矩阵，相继进行级联匹配和交并比匹配，级联匹配中轨迹的最大匹配次数参数max_age设置为80，n_hits的参数设置为6，即连续6帧该轨迹都得到匹配，才认为匹配成功；在开始匹配的时候设置当前帧图像的轨迹处于不确定态，若干次匹配之后，如果匹配成功的次数大于连续6帧的话，轨迹会从初始态转换成确定态，如果轨迹在大于设定的匹配次数后一直没有匹配到跟踪框，则将轨迹进入删除态，匹配过程结束后得到当前帧图像的所有匹配对、未匹配的轨迹以及未匹配的跟踪，如果连续的6帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标；如果不能达到该要求，则认为是出现了虚警，需要删除该运动目标，未匹配的轨迹就会被删除，未匹配的跟踪就会初始化，转变为新的轨迹类。

优选地，所述的判断每帧图像匹配成功的轨迹是否穿过指定的标识线，根据匹配成功的穿过指定的标识线的个数统计所述双向客流通道中的单向客流流量，包括：

在双向客流通道中设置标识黄线，判断每帧图像中匹配成功的处于确定态的轨迹会是否与所述标识黄线相交，如果是，则记录这个轨迹的ID；否则，不记录这个轨迹的ID，将记录的轨迹的ID的总数来作为所述双向客流通道中的单向客流流量。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法能够有效改善遮挡情况下的目标追踪效果，能够对地铁场景中双向通行客流视频中的某一方向进行精确的客流量统计。同时提高运行速度，保证了客流信息检测的实时性。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于视频的双向客流通道中的单向客流信息检测方法的处理流程图；

图2为本发明实施例方法的一种单向客流量检测结果示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例基于地铁过道等双向客流通道中的单向客流信息检测，将深度学习方法运用到双向客流通道中客流信息检测场景中来，利用Keras-YOLOv3和改进的DeepSort算法提高了客流信息检测的精度，有效改善遮挡情况下的目标追踪效果，能够对双向客流通道视频中的某一方向进行精确的客流量统计。同时提高运行速度，保证了客流信息检测的实时性。

本发明实施例提供了一种基于视频的双向客流通道中的单向客流信息检测方法，该方法通过结合Keras-YOLOv3和改进的DeepSort算法解决地铁场景中精准统计单向客流量的问题。该方法的处理流程如图1所示，包括如下的处理步骤：

步骤1，获取一段地铁通道等双向客流通道场景下的视频图像，使用目标检测算法进行客流的目标检测；

所述步骤1具体包括以下步骤：

步骤1.1，对输入的双向客流通道场景下的视频图像，提取并保存连续帧图像，每1s提取24帧；

步骤1.2，利用Keras-YOLOv3算法对每帧图像进行客流目标检测，获取每帧图像中的客流目标的检测框以及检测框四个顶点的坐标和置信度。

步骤2，利用改进的DeepSort算法对步骤1.2的结果进行目标跟踪。

对本发明实施例中的改进的DeepSort算法的创新性的技术特征就是在筛选检测框时添加了非极大值抑制方法，以及修改了匹配帧数(即连续匹配6帧才能匹配成功)和轨迹的长时间匹配次数，以此提高DeepSort算法的精度。

所述步骤2具体包括以下步骤：

步骤2.1，将检测到的客流目标检测框进行筛选，只保留检测框的置信度大于最小置信度阈值的检测框，其中最小置信度阈值设置为0.35；并利用非极大值抑制去除重叠率超过80％的检测框；利用筛选后的每帧图像的检测框来创建每帧图像中的客流目标对应的初始跟踪位置。

通过检测框的四个顶点得到客流目标对应的初始跟踪框中初始轨迹的中心坐标，本发明实施例用一个8维空间表示轨迹在某时刻的状态：(u,v,γ,h,x^.,y^.,γ^.,h^.)，其中(u,v)是检测框的中心坐标，r是长宽比，h表示高度。其余四个变量表示轨迹对应的在图像坐标系中的速度信息。

步骤2.2，使用卡尔曼滤波预测前一帧图像中客流目标的轨迹在当前帧图像中的状态。

使用一个基于常量速度模型和线性观测模型的标准kalman滤波器进行目标运动状态的卡尔曼滤波预测，预测的结果为(u,v,γ,h)。

每一个轨迹，都使用卡尔曼滤波计算当前帧图像距上次匹配成功的帧图像之间的差值，设置一个跟踪器，该跟踪器在卡尔曼滤波器预测的时候递增，每次递增1，在轨迹和检测框关联的时候重置为0。

跟踪器超过最大年龄Amax的轨迹被认为离开图片区域，将从轨迹集合中删除，被设置为删除状态。这个Amax就是我们后面要设置的级联匹配循环的次数。

如果跟踪框没有和现有轨迹匹配上的，那么将对这个检测的跟踪框进行初始化，转变为新的轨迹类。新的轨迹类初始化的时候的状态是未确定态，只有满足连续6帧都成功匹配，才能将未确定态转化为确定态。

如果处于未确定态的轨迹类没有在连续6帧中匹配上检测的跟踪框，将变为删除态，从轨迹集合中删除。

轨迹类：完成对一条轨迹的状态管理、初始化、更新、删除、预测等等。

步骤2.3，采用匈牙利算法，输出检测框和跟踪框的匹配结果，实际上匈牙利算法可以理解成“尽量多”的一种思路，比如说A检测器可以和a，c跟踪器完成匹配(与a匹配置信度更高)，但是B检测器只能和a跟踪器完成匹配。那在算法中，就会让A与c完成匹配，B与a完成匹配。

匹配过程中给没有预测前一帧轨迹在当前帧中的状态，如何匹配的就是上面提到的，在开始匹配的时候轨迹都处于不确定态，然后若干次匹配之后，如果匹配成功的次数大于连续6帧的话，轨迹便会从初始态转换成确定态。如果轨迹一直没有匹配到检测框则会直接进入删除态。由于追踪的目标体可能会消失，因此就算进入到了确定态，如果在后续的匹配中多次没有匹配到，大于max_age的时候轨迹便会从确定态转换成删除态。一旦轨迹进入到删除态，则证明这个轨迹失效，后续便会被删除。

使用匈牙利算法进行匹配，首先对基于外观信息的马氏距离计算轨迹和跟踪的代价矩阵，然后相继进行级联匹配和交并比匹配；级联匹配中max_age的参数设置为80，即一个轨迹的长时间匹配次数是80；n_hits的参数设置为6，也就是连续6帧该轨迹都得到匹配，才认为匹配成功；最后得到当前帧图像的所有匹配对、未匹配的轨迹以及未匹配的跟踪。

对每一个追踪目标，记录自其上一次检测结果与追踪结果匹配之后的帧数，一旦一个目标的检测结果与追踪结果正确关联之后，就将该参数设置为0。如果超过了设置的最大阈值Amax，则认为对该目标的追踪过程已结束。对新目标出现的判断则是，如果某次检测结果中的某个目标始终无法与已经存在的追踪器进行关联，那么则认为可能出现了新目标。如果连续的6帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标；如果不能达到该要求，则认为是出现了“虚警”，需要删除该运动目标。未匹配的轨迹就会被删除，未匹配的跟踪就会初始化，转变为新的轨迹类。

步骤2.4，对每个匹配成功的轨迹，用其对应的跟踪进行更新，并处理未匹配轨迹和跟踪；依次循环迭代；

步骤3，判断匹配成功的轨迹是否穿过指定的标识线，进而统计单向客流量。

标识线是根据地铁场景自己画的一条标识黄线，当要统计哪一方向的客流量，该标识黄线就设置在哪一方向。按照前面的匹配规则，匹配成功的轨迹会被标识为confirm状态，即为确定态，一直处于确定态的轨迹一旦与标识线相交，则记录这个轨迹的ID(每个轨迹都有自己的一个ID标识)，即客流量的个数就会加一，相交一个就会统计一个，以记录的轨迹的ID的个数来统计单向客流量。

为了验证本发明实施例方法的有效性和准确性，选取地铁某一过道场景进行试验，本发明实施例方法的一种单向客流量检测结果如图2所示。

综上所述，本发明实施例针对双向客流通道中单向客流信息检测问题，提出一种基于深度学习的检测模型。该模型通过Kers-YOLOv3算法进行客流目标检测，将检测的结果实时传输给改进的DeepSort算法进行目标跟踪。不仅可以降低目标跟踪的漏报率，提高跟踪的精确性，而且将目标检测的每一帧检测结果实时传输给跟踪算法，边检测边跟踪，做到实时性，同时系统对计算资源消耗更小，适用于地铁现场环境。

本发明实施例的方法能够有效改善遮挡情况下的目标追踪效果，能够对地铁场景中双向通行客流视频中的某一方向进行精确的客流量统计。同时提高运行速度，保证了客流信息检测的实时性。本发明方法与其他深度学习方法相比，检测地铁单向客流量的漏报率更低、准确率更高，边检测边跟踪，提高了跟踪的效率，消耗的计算机资源更小，适用于现场环境。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于视频的双向客流通道中的单向客流信息检测方法，其特征在于，包括：

获取双向客流通道场景下的视频图像，使用目标检测算法对视频图像进行客流目标检测；

利用改进的DeepSort算法对视频图像中的客流目标进行目标跟踪，获取所述双向客流通道中的单向客流统计信息。

2.根据权利要求1所述的方法，其特征在于，所述的获取双向客流通道场景下的视频图像，使用目标检测算法对视频图像进行客流目标检测，包括：

获取一段双向客流通道场景下的视频图像，按照设定的采样时间间隔提取并保存所述视频图像中的连续帧图像；

利用Keras-YOLOv3算法对每帧图像进行客流目标检测，获取每帧图像中的客流目标的检测框以及检测框四个顶点的坐标和置信度。

3.根据权利要求2所述的方法，其特征在于，所述的利用改进的DeepSort算法对视频图像中的客流目标进行目标跟踪，获取所述双向客流通道中的单向客流统计信息，包括：

将检测到的每帧图像中的客流目标的检测框进行筛选，只保留检测框的置信度大于最小置信度阈值的检测框，利用非极大值抑制去除重叠率超过80％的检测框，利用筛选后的每帧图像的检测框来创建每帧图像中的客流目标对应的初始跟踪位置；

根据每帧图像中的客流目标对应的初始跟踪位置使用卡尔曼滤波预测前一帧图像中客流目标的轨迹在当前帧图像中的状态；

根据前一帧图像中客流目标的轨迹在当前帧图像中的状态使用匈牙利算法对当前帧图像与其它帧图像相继进行级联匹配和交并比匹配，得到当前帧图像的所有匹配对、未匹配的客流轨迹以及未匹配的跟踪；对每个匹配成功的客流轨迹，用客流轨迹对应的跟踪进行更新，并处理未匹配的客流轨迹和跟踪；

依次选取除当前帧图像之外的其它帧图像，对每个其它帧图像依次循环迭代执行上述检测框筛选、卡尔曼滤波和匈牙利算法匹配过程，获取每帧图像的所有匹配对、未匹配的客流轨迹以及未匹配的跟踪；

判断每帧图像匹配成功的轨迹是否穿过指定的标识线，根据匹配成功的穿过指定的标识线的个数统计所述双向客流通道中的单向客流流量。

4.根据权利要求3所述的方法，其特征在于，所述的利用筛选后的每帧图像的检测框来创建每帧图像中的客流目标对应的初始跟踪位置，包括：

通过检测框的四个顶点得到客流目标对应的初始跟踪框中初始轨迹的中心坐标，用一个8维空间表示轨迹在某时刻的状态：(u,v,γ,h,x^.,y^.,γ^.,h^.)，其中(u,v)是检测框的中心坐标，r是长宽比，h表示高度，其余四个变量表示轨迹对应的在图像坐标系中的速度信息。

5.根据权利要求3所述的方法，其特征在于，所述的根据前一帧图像中客流目标的轨迹在当前帧图像中的状态使用匈牙利算法对当前帧图像与其它帧图像相继进行级联匹配和交并比匹配，得到当前帧图像的所有匹配对、未匹配的客流轨迹以及未匹配的跟踪，包括：

根据前一帧图像中客流目标的轨迹在当前帧图像中的状态采用匈牙利算法输出当前帧图像的检测框和跟踪框的匹配结果，对基于外观信息的马氏距离计算轨迹和跟踪的代价矩阵，相继进行级联匹配和交并比匹配，级联匹配中轨迹的最大匹配次数参数max_age设置为80，n_hits的参数设置为6，即连续6帧该轨迹都得到匹配，才认为匹配成功；在开始匹配的时候设置当前帧图像的轨迹处于不确定态，若干次匹配之后，如果匹配成功的次数大于连续6帧的话，轨迹会从初始态转换成确定态，如果轨迹在大于设定的匹配次数后一直没有匹配到跟踪框，则将轨迹进入删除态，匹配过程结束后得到当前帧图像的所有匹配对、未匹配的轨迹以及未匹配的跟踪，如果连续的6帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动目标；如果不能达到该要求，则认为是出现了虚警，需要删除该运动目标，未匹配的轨迹就会被删除，未匹配的跟踪就会初始化，转变为新的轨迹类。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述的判断每帧图像匹配成功的轨迹是否穿过指定的标识线，根据匹配成功的穿过指定的标识线的个数统计所述双向客流通道中的单向客流流量，包括：

在双向客流通道中设置标识黄线，判断每帧图像中匹配成功的处于确定态的轨迹会是否与所述标识黄线相交，如果是，则记录这个轨迹的ID；否则，不记录这个轨迹的ID，将记录的轨迹的ID的总数来作为所述双向客流通道中的单向客流流量。

Images