CN111582242A - 滞留检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种滞留检测方法、装置、电子设备和存储介质，该方法包括：获取监控视频中对象的头部的移动信息；根据对象的头部的移动信息，确定对象是否为滞留对象。本申请中采用对象的头部的移动信息确定对象的运动状态，进而确定对象是否为滞留对象，因为对象的头部不容易被遮挡，且在拥挤的场景下，即使对象的身体被遮挡，采用本实施例中的方法也能够获取对象的移动信息，进而提高检测滞留对象的准确率。

Description

滞留检测方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种滞留检测方法、装置、电子设备和存储介质。

背景技术

公共场所经常会出现人群拥挤的现象，特别是在节假日期间这种现象更为明显。人群拥挤导致人群安全的管理难度增加，易诱发安全事故。若人群中的用户长时间停留在一个小范围的区域内，则该用户为滞留用户，滞留用户易引发碰撞、甚至踩踏事件。因此，实时检测人群中的滞留用户有利于人群安全的管理。

现有技术中，服务器可以识别监控视频中的用户，且在监控视频中标注用户的人体检测框。服务器通过获取用户的人体检测框在视频中的位置，以确定用户是否长时间处于一个小范围的区域内，进而检测到人群中的滞留用户。

现有技术中滞留用户的检测准确率低。

发明内容

本申请提供一种滞留检测方法、装置、电子设备和存储介质，可以提高检测滞留对象的准确率。

本申请的第一方面提供一种滞留检测方法，包括：

获取监控视频中对象的头部的移动信息；根据所述对象的头部的移动信息，确定所述对象是否为滞留对象。

在一种可能的实现方式中，所述获取监控视频中对象的头部的移动信息，包括：获取所述对象的头部在所述监控视频中的初始位置；根据所述初始位置，获取所述初始位置对应的所述对象的头部的初始检测框；基于所述初始检测框，采用检测框跟踪的方式在所述监控视频中跟踪所述对象的头部，获取所述移动信息。

在一种可能的实现方式中，所述获取所述对象的头部在所述监控视频中的初始位置，包括：获取所述监控视频中所述对象的头部占用的像素坐标；根据所述对象的头部占用的像素坐标，确定所述初始位置。

在一种可能的实现方式中，所述监控视频来自拍摄装置，所述根据所述初始位置，获取所述初始位置对应的所述对象的头部的初始检测框，包括：根据所述初始位置的纵坐标和所述拍摄装置的透视图，获取所述初始位置对应的像素值，所述透视图用于表征纵坐标与像素值的对应关系，像素值表征世界坐标中单位距离对应的像素距离；根据所述初始位置对应的像素值和世界坐标系下的第一预设尺寸，获取所述初始检测框的尺寸，所述第一预设尺寸为所述世界坐标系下的对象的头部的尺寸；根据所述初始位置和所述初始检测框的尺寸，获取所述初始检测框。

在一种可能的实现方式中，所述获取所述初始检测框之后，还包括：根据所述世界坐标系下第二预设尺寸和所述初始位置对应的像素值，获取滞留检测框的尺寸，所述第二预设尺寸为所述世界坐标系下的滞留检测框的尺寸，所述第一预设尺寸小于所述第二预设尺寸；根据所述初始位置和所述滞留检测框的尺寸，获取所述滞留检测框，所述初始检测框位于所述滞留检测框的内部。

在一种可能的实现方式中，所述移动信息为所述监控视频的第i个视频帧中所述对象的头部的位置，所述根据所述对象的头部的移动信息，确定所述对象是否为滞留对象，包括：采用检测框跟踪的方式在所述监控视频中跟踪所述对象的头部，获取所述监控视频的第i个视频帧中所述对象的头部的位置，所述i为大于等于2的整数；

若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的内部，则获取所述第i个视频帧与所述初始位置对应的视频帧之间的时长；若所述时长大于或等于预设时长，则确定所述对象为滞留对象，所述滞留检测框对应的视频帧早于所述第i个视频帧。

在一种可能的实现方式中，所述确定所述对象为滞留对象之后，还包括：向终端设备发送在第i个视频帧中的所述对象的头部的位置，以使所述终端设备在所述第i个视频帧中标注所述滞留对象的头部。

在一种可能的实现方式中，所述根据所述对象的头部的移动信息，确定所述对象是否为滞留对象，包括：若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的外部，则确定所述对象为非滞留对象；或者，

若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的内部，且所述第i个视频帧与所述初始位置对应的视频帧之间的时长小于所述预设时长，则确定所述对象为非滞留对象。

在一种可能的实现方式中，所述初始位置为所述对象的头部在所述监控视频中首次出现时的位置，或者所述初始位置为所述非滞留对象的头部的位置。

在一种可能的实现方式中，所述方法还包括：获取所述拍摄装置拍摄的测试图像，所述测试图像中包括多个测试对象；根据所述测试图像，构建所述透视图。

在一种可能的实现方式中，所述根据所述测试图像，构建所述透视图，包括：在所述测试图像中，标注所述测试对象的人体检测框；选取不同纵坐标处的人体检测框，并获取每个纵坐标处的人体检测框的像素距离，所述像素距离为所述人体检测框的长度；根据所述世界坐标系中的预设距离和每个纵坐标处的人体检测框的像素距离，获取所述透视图。

本申请的第二方面提供一种滞留检测装置，包括：

处理模块，用于获取监控视频中对象的头部的移动信息。

所述处理模块，还用于根据所述对象的头部的移动信息，确定所述对象是否为滞留对象。

在一种可能的实现方式中，所述处理模块，具体用于获取所述对象的头部在所述监控视频中的初始位置；根据所述初始位置，获取所述初始位置对应的所述对象的头部的初始检测框；基于所述初始检测框，采用检测框跟踪的方式在所述监控视频中跟踪所述对象的头部，获取所述移动信息。

在一种可能的实现方式中，所述处理模块，具体用于获取所述监控视频中所述对象的头部占用的像素坐标；根据所述对象的头部占用的像素坐标，确定所述初始位置。

在一种可能的实现方式中，所述监控视频来自拍摄装置。

所述处理模块，具体用于根据所述初始位置的纵坐标和所述拍摄装置的透视图，获取所述初始位置对应的像素值，所述透视图用于表征纵坐标与像素值的对应关系，像素值表征世界坐标中单位距离对应的像素距离；根据所述初始位置对应的像素值和世界坐标系下的第一预设尺寸，获取所述初始检测框的尺寸，所述第一预设尺寸为所述世界坐标系下的对象的头部的尺寸；根据所述初始位置和所述初始检测框的尺寸，获取所述初始检测框。

在一种可能的实现方式中，所述处理模块，还用于根据所述世界坐标系下的第二预设尺寸和所述初始位置对应的像素值，获取滞留检测框的尺寸，所述第二预设尺寸为所述世界坐标系下的滞留检测框的尺寸，所述第一预设尺寸小于所述第二预设尺寸；根据所述初始位置和所述滞留检测框的尺寸，获取所述滞留检测框，所述初始检测框位于所述滞留检测框的内部。

在一种可能的实现方式中，所述移动信息为所述监控视频的第i个视频帧中所述对象的头部的位置。

所述处理模块，具体用于采用检测框跟踪的方式在所述监控视频中跟踪所述对象的头部，获取所述监控视频的第i个视频帧中所述对象的头部的位置，所述i为大于等于2的整数；

若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的内部，则获取所述第i个视频帧与所述初始位置对应的视频帧之间的时长；若所述时长大于或等于预设时长，则确定所述对象为滞留对象。

在一种可能的实现方式中，收发模块，用于向终端设备发送在第i个视频帧中的所述对象的头部的位置，以使所述终端设备在所述第i个视频帧中标注所述滞留对象的头部。

在一种可能的实现方式中，所述处理模块，具体用于若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的外部，则确定所述对象为非滞留对象；或者，

若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的内部，且所述第i个视频帧与所述初始位置对应的视频帧之间的时长小于所述预设时长，则确定所述对象为非滞留对象。

在一种可能的实现方式中，所述初始位置为所述对象的头部在所述监控视频中首次出现时的位置，或者所述初始位置为所述非滞留对象的头部的位置。

在一种可能的实现方式中，所述处理模块，还用于获取所述拍摄装置拍摄的测试图像，所述测试图像中包括多个测试对象；根据所述测试图像，构建所述透视图。

在一种可能的实现方式中，所述处理模块，具体用于在所述测试图像中，标注所述测试对象的人体检测框；选取不同纵坐标处的人体检测框，并获取每个纵坐标处的人体检测框的像素距离，所述像素距离为所述人体检测框的长度；根据所述世界坐标系中的预设距离和每个纵坐标处的人体检测框的像素距离，获取所述透视图。

本申请的第三方面提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行上述滞留检测方法。

本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述滞留检测方法。

本申请提供一种滞留检测方法、装置、电子设备和存储介质，该方法包括：获取监控视频中对象的头部的移动信息；根据对象的头部的移动信息，确定对象是否为滞留对象。本申请中采用对象的头部的移动信息确定用户的运动状态，进而确定用户是否为滞留用户，因为对象的头部不容易被遮挡，且在拥挤的场景下，即使对象的身体被遮挡，采用本实施例中的方法也能够获取对象的移动信息，进而提高检测滞留对象的准确率。

附图说明

图1为监控视频中的人群示意图一；

图2为监控视频中的人群示意图二；

图3为本申请提供的滞留检测方法适用的场景示意图一；

图4为本申请提供的滞留检测方法的一实施例的流程示意图；

图5为本申请提供的获取拍摄装置的透视图的流程示意图；

图6为本申请提供的构建拍摄装置的透视图的示意图；

图7为本申请中的拍摄装置的透视图的示意图；

图8为本申请提供的滞留检测方法的另一实施例的流程示意图；

图9为本申请提供的初始检测框的示意图；

图10为本申请提供的滞留检测方法的另一实施例的流程示意图；

图11为本申请提供的滞留检测框的示意图；

图12为本申请提供的滞留检测方法适用的场景示意图二；

图13为本申请提供的终端设备的界面示意图；

图14为本申请提供的滞留检测装置的结构示意图；

图15为本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的实施例，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于人群安全的管理，在很多公共场所安装有摄像头，摄像头用于拍摄公共场所内的监控视频。管理人员可以通过观看监控视频确定公共场所是否存在安全隐患，如通过监控视频确定一区域内在人群密度较大时，可以及时组织疏散，以防止发生安全事故。其中，对于人群中滞留的用户来说，易被碰撞进而发生跌倒，甚至引发踩踏事件，因此实时检测人群中的滞留用户有利于人群安全的管理。

为了更为清楚地对本申请提供的滞留检测方法进行说明，下面首先结合图1-图2对现有技术中的滞留检测方法进行介绍。图1为监控视频中的人群示意图一，图2为监控视频中的人群示意图二。现有技术中，服务器可以识别监控视频中的用户，且在监控视频中标注用户的人体检测框，进而服务器通过获取用户的人体检测框在视频中的移动情况，确定用户是否发生滞留，其中，若服务器确定用户的人体检测框在预设时长在小范围的区域内，进而将该用户确定为滞留用户。如图1所示，该视频帧中包括3个用户，服务器可以在监控视频中标注该3个用户的人体检测框，如图1中的虚线框所示。

上述图1中因为用户的数量少，用户之间没有遮挡，服务器能够标注监控视频中每个用户的人体检测框，进而可以根据人体检测框确定人群中的滞留用户。但在人群拥挤的场景中，如图2所示，用户的遮挡现象严重，服务器能够在监控视频中标注不被遮挡的用户的人体检测框，如图2中的虚线框所示，但在监控视频中不能标注被遮挡的用户的人体检测框，因此采用人体检测框的方式无法获取人群中被遮挡的用户的移动信息，进而无法检测被遮挡的用户是否是滞留用户，检测准确率低。

为了解决上述问题，本申请提供了一种滞留检测方法，选择对象上不容易被遮挡的头部，如用户的头部，即通过监控视频中用户的头部的移动信息，进而确定用户是否为滞留用户，因为用户的头部不容易被遮挡，因此相较于现有技术而言能够提高滞留用户的检测准确率。

图3为本申请提供的滞留检测方法适用的场景示意图一。如图3所示，该场景中包括：至少一个拍摄装置和滞留检测装置。其中，拍摄装置可以为摄像头、摄影机等能够获取监控视频的电子设备，滞留检测装置可以为服务器、服务器中的芯片或处理器，或者与播放监控视频的终端设备连接的电子设备等。示例性的，在商场中，滞留检测装置可以为商场设置的服务器，或者与监控显示屏连接的其他电子设备等。图3中以一个拍摄装置为例进行说明。

下面结合具体的实施例对本申请提供的滞留检测方法进行说明，下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。图4为本申请提供的滞留检测方法的一实施例的流程示意图。图4所示方法流程的执行主体可以为滞留检测装置，该滞留检测装置可由任意的软件和/或硬件实现。如图4所示，本实施例提供的滞留检测方法可以包括：

S401，获取监控视频中对象的头部的移动信息。

S402，根据对象的头部的移动信息，确定对象是否为滞留对象。

上述S401中，滞留检测装置可以获取拍摄装置拍摄的监控视频，进而在监控视频中识别对象的头部。应理解，本实施例中的对象可以为用户、机器人、动物等。

本实施例中可以采用识别模型来识别对象的头部，识别模型用于表征对象的头部与像素块的特征的对应关系，即可以将监控视频输入至识别模型中，以得到监控视频中对象的头部。其中，识别模型可以识别对象的头部的方式具体可以为根据监控视频中像素块的特征，将与对象的头部的特征相似度大于阈值的像素块确定为对象的头部对应的像素块，进而在监控视频中识别对象的头部。应理解，本申请实施例中的识别模型可以为神经网络模型，该神经网络模型可以为通过深度学习的方式训练得到，该识别模型的训练参数可以为对象的头部的图像。

或者，本实施例中还可以预先存储有大量的对象的头部的图像，获取监控视频中的像素块的特征与对象的头部的图像的特征的相似度，进而将相似度大于阈值的像素块确定为对象的头部对应的像素块，进而在监控视频中识别对象的头部。应注意，本实施例中对如何在监控视频中识别对象的头部的方式不做限制。

其中，滞留检测装置在监控视频中识别对象的头部后，可以在监控视频中获取对象的头部的移动信息。应理解，本实施例中可以按照监控视频的采集时间，根据不同采集时间对应的监控视频的中的对象的头部，获取对象的头部的移动方向。示例性的，如监控视频为10s的视频，则本实施例中可以根据第1s对应的监控视频中对象的头部为A位置，第2s对应的监控视频中对象的头部为B位置，……，以及第10s对应的监控视频中对象的头部为C位置，得到对象的头部的移动信息为A位置-B位置……-C位置。或者，本实施例中还可以根据监控视频中每个视频帧中对象的头部的位置，获取对象的头部的移动信息。

上述S402中，因为对象的头部为对象身体的一部分，因此可以根据对象的头部的移动信息，确定对象的移动信息，也就是说，本实施例中可以将对象的头部的移动信息作为对象的移动信息。示例性的，如上述对象的头部的移动信息为A位置-B位置……-C位置，则对象的移动信息也为A位置-B位置……-C位置。

本实施例中可以预先设置预设像素范围，其中，若对象的头部的位置处于该预设像素范围内的时长大于或等于预设时长，则确定对象为滞留对象。若对象的头部的位置处于该预设像素范围内的时长小于预设时长，则确定对象为非滞留对象。

本实施例中提供的滞留检测方法包括：获取监控视频中对象的头部的移动信息；根据对象的头部的移动信息，确定对象是否为滞留对象。本申请中采用对象的头部的移动信息确定对象的运动状态，进而确定对象是否为滞留对象，因为对象的头部不容易被遮挡，且在拥挤的场景下，即使对象的身体被遮挡，采用本实施例中的方法也能够获取对象的移动信息，进而提高检测滞留对象的准确率。

鉴于下述实施例中需要用到拍摄装置的透视图，此处先对拍摄装置的透视图进行介绍。应理解，在拍摄装置安装好后，可以根据拍摄装置拍摄的图像，获取拍摄装置的透视图。应注意，拍摄装置的透视图与拍摄装置的安装高度和安装角度有关，因此在拍摄装置的安装高度和安装角度固定的场景下，拍摄装置的透视图不变。若拍摄装置的安装位置或安装角度发生变化，则需要重新获取拍摄装置的透视图，本实施例中不做详细描述，具体参照图5的相关描述。

图5为本申请提供的获取拍摄装置的透视图的流程示意图。如图5所示，本申请中提供的获取拍摄装置的透视图的方式可以为：

S501，获取拍摄装置拍摄的测试图像，测试图像中包括多个测试对象。

S502，根据测试图像，构建透视图。

上述S501中，测试图像可以为拍摄装置拍摄的测试监控视频中的任一帧视频帧。其中，测试监控视频为拍摄装置在安装好后、且投入使用前拍摄的监控视频，该测试图像中包括多个测试对象。应理解，为了便于与上述实施例中监控视频中的对象进行区分，此处用测试对象进行区分，下面以测试对象为对象为例进行说明。示例性的，如测试图像中包括如上述图1中的3个测试对象。

上述S502中，本实施例中，可以根据测试图像，构建拍摄装置的透视图。应理解，透视图用于拍摄装置拍摄的图像中的纵坐标与像素值的对应关系，其中，像素值表征世界坐标中单位距离对应的像素距离。

图6为本申请提供的构建拍摄装置的透视图的示意图。拍摄装置，如图6中的相机，可以拍摄包括对象的测试图像，对象在世界坐标系中的高度H为1.7m，而在测试图像中对象可能对应3个像素块。而这3个像素块的高度即为世界坐标系下1.7m对应的像素距离h，假设在测试图像中对象的头的纵坐标为y1，对象的脚的纵坐标为y2，则该像素距离h为(y2-y1)。

对应的，本实施例中可以获取测试图像中的纵坐标处世界坐标系下单位距离对应的像素距离。应理解，纵坐标可以为对象的预设部位的纵坐标，如对象的脚、头、眼睛等部位对应的纵坐标，其中，本实施例中对象的预设部位可以为对象的脚。

如图1所示，对象距离拍摄装置的距离不同，则测试图像中对象对应的像素距离也不同，因此，测试图像中不同的纵坐标对应的像素距离不同。

本实施例中，可以在测试图像中，标注测试对象的人体检测框，如图1中的虚线框所示，且选取不同纵坐标处的人体检测框，并获取每个纵坐标处的人体检测框的像素距离，像素距离为人体检测框的长度(即人体检测框的长边的像素长度)。示例性的，本实施例中选择图1中3个不同纵坐标(对象的脚的纵坐标)处的对象的人体检测框，且获取3个人体检测框的长度(即人体检测框的长边的像素距离)。

本实施例中，可以根据世界坐标系中的预设距离和每个纵坐标处的人体检测框的像素距离，获取透视图。示例性的，以每个对象的在世界坐标系中的身高为1.7m计算，该1.7m即为世界坐标系中的预设距离，且根据该3个人体检测框的像素距离，可以获取每个纵坐标处世界坐标系中单位距离对应的像素距离。

假设在测试图像中，尺度是线性变化的，本实施例中可以根据不同纵坐标处世界坐标系中单位距离对应的像素距离，使用一次函数或者二次函数来拟合，进而得到测试图像中每个纵坐标处世界坐标系中单位距离对应的像素距离，即得到该拍摄装置的透视图，即perspective map。图7为本申请中的拍摄装置的透视图的示意图。图7中的A所示为测试图像，该测试图像中包括多个测试对象，本实施例中根据该测试图像可以获取如图7中B所示的透视图。应理解，透视图中以灰度表征世界坐标系中单位距离对应的像素距离，相同纵坐标处的灰度相同，不同纵坐标处的灰度不同。

应注意，采用上述实施例中识别模型的方式虽然可以识别到对象的头部，但是从准确性的角度来讲，若对象的头部的特征相似，则不同视频帧中检测的对象头部可能不是一个对象的头部。因此，本实施例中为了提高检测准确性，采用对象的头部的检测框的方式，对对象进行追踪，进而保证可以在监控视频中准确获取同一对象的头部，进而提高滞留对象的检测准确性。

在上述实施例的基础上，下面结合图8对本申请提供的滞留检测方法进行进一步说明。图8为本申请提供的滞留检测方法的另一实施例的流程示意图。如图8所示，本实施例提供的滞留检测方法可以包括：

S801，获取对象的头部在监控视频中的初始位置。

S802，根据初始位置，获取初始位置对应的对象的头部的初始检测框。

S803，基于初始检测框，采用检测框跟踪的方式在监控视频中跟踪对象的头部，获取移动信息。

S804，根据对象的头部的移动信息，确定对象是否为滞留对象。

应理解，本实施例中的S804可以参照上述实施例中的相关描述，在此不做赘述。

上述S801中，应注意，在本实施例中一种可能的实现方式中，初始位置可以为对象的头部在监控视频中首次出现时的位置。

其中，本实施例中可以采用上述实施例中的方式识别监控视频中对象的头部，以确定对象的头部在监控视频中首次出现时所占的像素坐标，进而根据所占的像素坐标，确定初始位置。可选的，本实施例中可以将所占的像素坐标的中心位置、左上角的位置或者右上角的位置作为初始位置。具体的，本实施例中将所占的像素坐标的中心位置作为初始位置(x_i,y_i)。

可选的，本实施例中可以采用人头点定位模型，确定对象的头部在监控视频中首次出现时的初始位置。应理解，人头点定位模型用于表征对象的头部与对象的头部的位置的对应关系，简单来说，就是将监控视频输入至该人头点定位模型中，可以输出对象的头部的位置。同理的，该人头点定位模型也可以输出对象的头部在监控视频中首次出现时的初始位置。

上述S802中，应理解，初始检测框中可以包括对象的头部对应的像素块或对象的头部的部分像素块。也就是说，本实施例中的初始检测框的面积可以与对象的头部在视频帧中的面积呈预设比例。下述实施例中以初始检测框包括对象的头部作为示例说明。

本实施例中根据初始位置获取初始检测框的方式具体可以如下：

基于上述对拍摄装置的透视图的介绍，本实施例中可以根据初始位置的纵坐标和拍摄装置的透视图，获取初始位置对应的像素值，其中，像素值即为初始位置的纵坐标处的世界坐标中单位距离对应的像素距离，如v_i。

本实施例中可以根据初始位置对应的像素值v_i和初始位置(x_i,y_i)，获取监控视频中对象的头部的初始检测框。

本实施例中可以根据世界坐标系下的第一预设尺寸和初始位置对应的像素值，获取初始检测框的尺寸，应注意，该第一预设尺寸为对象的头部的尺寸。假设世界坐标系下的第一预设尺寸为0.4m×0.4m，则初始检测框的尺寸为0.4v_i×0.4v_i。进一步的，本实施例中可以根据初始位置和初始检测框的尺寸，获取初始检测框。应注意，该处获取的初始检测框的尺寸为初始检测框在监控视频中的尺寸。

具体的，本实施例中可以根据初始检测框的尺寸，且以初始位置作为初始检测框的中心位置，获取初始检测框。

图9为本申请提供的初始检测框的示意图。如图9所示，如阴影部分为对象的头部，对象的头部的初始位置为D位置(x_i,y_i)，初始检测框的尺寸为0.4v_i×0.4v_i。应注意，该初始位置为对象的头所占的像素块的中心位置。相对应的，以初始位置作为初始检测框的中心位置，则可以得到监控视频中对象的头部的初始检测框左上角的像素坐标可以为(x_i-0.2v_i,y_i-0.2v_i)，右下角的像素坐标可以为(x_i+0.2v_i,y_i+0.2v_i)，同理的，右上角的像素坐标可以为(x_i+0.2v_i,y_i-0.2v_i)，左下角的像素坐标可以为(x_i-0.2v_i,y_i+0.2v_i)，进而得到监控视频中对象的头部的初始检测框，如图9中的虚线框所示。

上述S803中，本实施例中可以基于初始检测框，采用检测框跟踪的方式在监控视频中跟踪对象的头部，以确定监控视频中的同一对象，进而获取监控视频中每个视频帧中的对象的头部的位置。本实施例中可以根据监控视频中每个视频帧中的对象的头部的位置，得到对象的头部的移动信息。

应理解，本实施例中的跟踪算法包括但不限于为卡尔曼滤波跟踪算法、边缘跟踪算法、多目标跟踪算法等。

本实施例中还可以采用预先设置滞留检测框的方式，根据对象的头部的移动信息，确定对象是否为滞留对象。其中，图10为本申请提供的滞留检测方法的另一实施例的流程示意图。如图10所示，本实施例中在上述S802之后还可以包括：

S805，根据世界坐标系下的第二预设尺寸和初始位置对应的像素值，获取滞留检测框的尺寸，第二预设尺寸为世界坐标系下的滞留检测框的尺寸，第一预设尺寸小于第二预设尺寸。

S806，根据初始位置和滞留检测框的尺寸，获取滞留检测框，初始检测框位于滞留检测框的内部。

上述S805中，本实施例中，可以预先设置世界坐标系下的第二预设尺寸，该第二预设尺寸为世界坐标系下滞留检测框的预设尺寸。应注意，本实施例中的第一预设尺寸小于第二预设尺寸，以使得初始检测框处于滞留检测框的内部，也就是说，本实施例中的滞留检测框可以包围初始检测框。

其中，与上述获取初始检测框的方式类似的，本实施例中可以根据世界坐标系下的第二预设尺寸和初始位置对应的像素值，获取滞留检测框的尺寸。应注意，该处获取的初始检测框的尺寸为初始检测框在监控视频中的尺寸。示例性的，假设世界坐标系下的第二预设尺寸为0.6m×0.6m，则滞留检测框的尺寸为0.6v_i×0.6v_i。

上述S806中，在获取滞留检测框的尺寸后，可以根据初始位置和滞留检测框的尺寸，获取滞留检测框。本实施例中只要使得初始检测框位于滞留检测框的内部即可。或者本实施例中也可以采用与上述获取初始检测框的方式类似的方法，根据滞留检测框的尺寸，以初始位置作为滞留检测框的中心位置，获取滞留检测框，即滞留检测框和初始检测框的中心点重合，均为该初始位置。

图11为本申请提供的滞留检测框的示意图。如图11所示，在上述图9的基础上，本实施例中可以以初始位置作为滞留检测框的中心位置，获取滞留检测框，如图11中的点划线框所示。

相对应的，上述S803可以替换为S803'：采用检测框跟踪的方式在监控视频中跟踪对象的头部，获取监控视频的第i个视频帧中对象的头部的位置，i为大于等于2的整数。

其中，移动信息即为监控视频的第i个视频帧中对象的头部的位置。本实施例中，在采用跟踪算法确定第i个视频帧中对象的头部后，可以将对象的头部的中心位置作为第i个视频帧中对象的头部的位置。

相对应的，上述S804可以替换为S804'、S804”和S804”'：

S804'，若第i个视频帧中对象的头部的位置位于滞留检测框的内部，且第i个视频帧与初始位置对应的视频帧之间的时长大于或等于预设时长，则确定对象为滞留对象。

本实施例中，若第i个视频帧中对象的头部的位置位于滞留检测框的内部，则确定对象的移动范围较小，均在滞留检测框所在的区域移动。且若第i个视频帧与初始位置对应的视频帧之间的时长还大于预设时长，则确定对象长时间均在滞留检测框所在的区域移动，进而确定对象为滞留对象。

S804”：若第i个视频帧中对象的头部的位置位于滞留检测框的内部，且第i个视频帧与初始位置对应的视频帧之间的时长小于预设时长，则确定对象为非滞留对象。

其中，可以想到的是，若第i个视频帧与初始位置对应的视频帧之间的时长小于预设时长，则可以继续获取第i+1个视频帧中的对象的头部的位置，继续执行上述S804'或S804”中的动作。

S804”'，若第i个视频帧中对象的头部的位置位于滞留检测框的外部，则确定对象为非滞留对象。

本实施例中，若确定第i个视频帧中对象的头部的位置位于滞留检测框的外部，则确定该对象的移动范围较大，进而确定该对象为非滞留对象。

因为监控视频中不同纵坐标处对应的像素值不同，本实施例中根据初始位置的纵坐标，能够确定与初始位置对应的像素值，进而更为准确的确定初始检测框。如果采用固定尺寸的检测框的方式标注对象的头部，对于同一对象而言，对象的纵坐标不同，对象在监控视频中占用的像素块的多少也不同，而采用固定尺寸的检测框标注对象的头部，一方面不能准确确定对象的头部的位置，另一方面采用检测框追踪对象的准确性也较低。而本实施例中，对于同一对象而言，对象处于不同的纵坐标处时，可以获取不同尺寸的检测框，能够更为准确的确定对象的头部的位置，还能够提高对象的追踪准确性。

应注意，本实施例中一种可能实现的方式中，上述的初始位置为非滞留对象的头部的位置，例如当第i个视频帧中对象的头部的位置位于滞留检测框的外部，则该初始位置可以为该第i个视频帧中对象的头部的位置。在该种场景下，可以将该第i个视频帧中对象的头部的位置作为初始位置，获取该第i个视频帧中的初始检测框，执行上述图8中的步骤，以确定该第i个视频帧之后，对象是否出现滞留。

应理解，在该种场景下，上述实施例中S803'、S804'、S804”或S804”中的第i个视频帧为非滞留对象所处的视频帧之后的视频帧，即是该第i个视频帧之后的视频帧。

举个简单的例子，对象的头部在监控视频中首次出现的位置为(x₀,y₀)，同时，将该位置可以作为初始位置，该处置位置对应的滞留检测框为Box₀，并设置当前的滞留时间T₀＝1。对于之后的一帧视频帧中，该对象的头部的位置为(x₁,y₁)，此时如果(x₁,y₁)在滞留检测框内，则说明这两帧该对象的运动范围比较小，有可能发生了滞留，则滞留时间加1，即T₀＝2，滞留检测框不变，进行下一帧的判断。

如果(x₁,y₁)不在滞留检测框内，则说明这两帧该行人运动范围比较大，肯定没有发生滞留，进而以(x₁,y₁)作为初始位置，获取该位置(x₁,y₁)的滞留检测框Box₁，应注意，该处的滞留检测框是根据纵坐标y₁以及该纵坐标对应的像素值获取的(具体可以参照上述实施例S805中的相关描述)，继续更新滞留时间T₁＝1。对每个对象进行这种判断，并不断在连续帧中进行判断，迭代更新滞留时间T和滞留检测框，如果T超过预设时长，则判断该对象为滞留对象。

可选的，本实施例中若检测到对象为滞留对象，则可以获取对象的头部在视频帧中的位置，且向终端设备发送对象的头部的位置，进而使得终端设备在视频帧中标注滞留对象的头部。示例性的，如在第i个视频帧中确定对象为滞留对象，则可以向终端设备发送在第i个视频帧中的对象的头部的位置，以使终端设备在第i个视频帧中标注滞留对象的头部。

可选的，本实施例中若在第i个视频帧中确定对象为滞留对象，则可以获取滞留对象的头部在第i个视频帧中的检测框，进而向终端设备发送在第i个视频帧中的对象的头部的检测框的像素位置，以使终端设备在第i个视频帧中标注滞留对象的头部的检测框。其中，获取滞留对象的头部在第i个视频帧中的检测框的方式可以参照上述实施例中根据初始位置获取初始检测框的相关描述。

在该种场景下，图12为本申请提供的滞留检测方法适用的场景示意图二。如图12所示，相较于上述图3，该场景中还可以包括终端设备，终端设备用于播放监控视频。本实施例中的终端设备可以包括但不限于为移动终端设备或固定终端设备。移动终端设备包括但不限于个人数字助理(Personal Digital Assistant，简称：PDA)、平板电脑、便携设备(例如，便携式计算机、袖珍式计算机或手持式计算机)等。固定终端包括但不限于台式计算机、监控显示屏等等。

示例性的，图13为本申请提供的终端设备的界面示意图。如图13所示，终端设备的界面上显示有第i个视频帧，且在第i个视频帧中显示有滞留对象的头部的检测框。

本实施例中可以获取对象的头部的初始检测框，采用检测框跟踪的方式获取当前视频帧中对象的当前位置，采用跟踪算法保证了不同视频帧中的对象的头部为同一对象的头部，提高了滞留对象检测的准确率。且本实施例中还可以设置滞留检测框判断对象是否为滞留对象，且在确定对象为非滞留对象后，可以更新滞留检测框的大小，而不是一直采用一个固定的预设范围检测对象是否滞留，能够进一步提高检测滞留对象的准确性。

图14为本申请提供的滞留检测装置的结构示意图。如图14所示，该滞留检测装置1400包括：处理模块1401和收发模块1402。

处理模块1401，用于获取监控视频中对象的头部的移动信息。

处理模块1401，还用于根据对象的头部的移动信息，确定对象是否为滞留对象。

在一种可能的实现方式中，处理模块1401，具体用于获取对象的头部在监控视频中的初始位置；根据初始位置，获取初始位置对应的对象的头部的初始检测框；基于初始检测框，采用检测框跟踪的方式在监控视频中跟踪对象的头部，获取移动信息。

在一种可能的实现方式中，处理模块1401，具体用于获取监控视频中对象的头部占用的像素坐标；根据对象的头部占用的像素坐标，确定初始位置。

在一种可能的实现方式中，监控视频来自拍摄装置。

处理模块1401，具体用于根据初始位置的纵坐标和拍摄装置的透视图，获取初始位置对应的像素值，透视图用于表征纵坐标与像素值的对应关系，像素值表征世界坐标中单位距离对应的像素距离；根据初始位置对应的像素值和世界坐标系下的第一预设尺寸，获取初始检测框的尺寸，第一预设尺寸为世界坐标系下的对象的头部的尺寸；根据初始位置和初始检测框的尺寸，获取初始检测框。

在一种可能的实现方式中，处理模块1401，还用于根据世界坐标系下第二预设尺寸和初始位置对应的像素值，获取滞留检测框的尺寸，第二预设尺寸为世界坐标系下的滞留检测框的尺寸，第一预设尺寸小于第二预设尺寸；根据初始位置和滞留检测框的尺寸，获取滞留检测框，初始检测框位于滞留检测框的内部。

在一种可能的实现方式中，移动信息为监控视频的第i个视频帧中对象的头部的位置。

处理模块1401，具体用于采用检测框跟踪的方式在监控视频中跟踪对象的头部，获取监控视频的第i个视频帧中对象的头部的位置，i为大于等于2的整数；若第i个视频帧中对象的头部的位置位于滞留检测框的内部，则获取第i个视频帧与初始位置对应的视频帧之间的时长；若时长大于或等于预设时长，则确定对象为滞留对象。

在一种可能的实现方式中，收发模块1402，用于向终端设备发送在第i个视频帧中的对象的头部的位置，以使终端设备在第i个视频帧中标注滞留对象的头部。

在一种可能的实现方式中，处理模块1401，具体用于若第i个视频帧中对象的头部的位置位于滞留检测框的外部，则确定对象为非滞留对象；或者，若第i个视频帧中对象的头部的位置位于滞留检测框的内部，且第i个视频帧与初始位置对应的视频帧之间的时长小于预设时长，则确定对象为非滞留对象。

在一种可能的实现方式中，初始位置为对象的头部在监控视频中首次出现时的位置，或者初始位置为非滞留对象的头部的位置。

在一种可能的实现方式中，处理模块1401，还用于获取拍摄装置拍摄的测试图像，测试图像中包括多个测试对象；根据测试图像，构建透视图。

在一种可能的实现方式中，处理模块1401，具体用于在测试图像中，标注测试对象的人体检测框；选取不同纵坐标处的人体检测框，并获取每个纵坐标处的人体检测框的像素距离，像素距离为人体检测框的长度；根据世界坐标系中的预设距离和每个纵坐标处的人体检测框的像素距离，获取透视图。

本实施例提供的滞留检测装置与上述滞留检测方法实现的原理和技术效果类似，在此不作赘述。

图15为本申请提供的电子设备的结构示意图。如图15所示，该电子设备1500包括：存储器1501和至少一个处理器1502。

存储器1501，用于存储程序指令。

处理器1502，用于在程序指令被执行时实现本实施例中的滞留检测方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。

该电子设备1500还可以包括及输入/输出接口1503。

输入/输出接口1503可以包括独立的输出接口和输入接口，也可以为集成输入和输出的集成接口。其中，输出接口用于输出数据，输入接口用于获取输入的数据，上述输出的数据为上述方法实施例中输出的统称，输入的数据为上述方法实施例中输入的统称。

本申请还提供一种可读存储介质，可读存储介质中存储有执行指令，当电子设备的至少一个处理器执行该执行指令时，当计算机执行指令被处理器执行时，实现上述实施例中的滞留检测方法。

本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的滞留检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在上述滞留检测装置的实施例中，应理解，处理模块可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种滞留检测方法，其特征在于，包括：

获取监控视频中对象的头部的移动信息；

根据所述对象的头部的移动信息，确定所述对象是否为滞留对象。

2.根据权利要求1所述的方法，其特征在于，所述获取监控视频中对象的头部的移动信息，包括：

获取所述对象的头部在所述监控视频中的初始位置；

根据所述初始位置，获取所述初始位置对应的所述对象的头部的初始检测框；

基于所述初始检测框，采用检测框跟踪的方式在所述监控视频中跟踪所述对象的头部，获取所述移动信息。

3.根据权利要求2所述的方法，其特征在于，所述获取所述对象的头部在所述监控视频中的初始位置，包括：

获取所述监控视频中所述对象的头部占用的像素坐标；

根据所述对象的头部占用的像素坐标，确定所述初始位置。

4.根据权利要求2或3所述的方法，其特征在于，所述监控视频来自拍摄装置，所述根据所述初始位置，获取所述初始位置对应的所述对象的头部的初始检测框，包括：

根据所述初始位置的纵坐标和所述拍摄装置的透视图，获取所述初始位置对应的像素值，所述透视图用于表征纵坐标与像素值的对应关系，像素值表征世界坐标中单位距离对应的像素距离；

根据所述初始位置对应的像素值和世界坐标系下的第一预设尺寸，获取所述初始检测框的尺寸，所述第一预设尺寸为所述世界坐标系下的对象的头部的尺寸；

根据所述初始位置和所述初始检测框的尺寸，获取所述初始检测框。

5.根据权利要求4所述的方法，其特征在于，所述获取所述初始检测框之后，还包括：

根据所述世界坐标系下第二预设尺寸和所述初始位置对应的像素值，获取滞留检测框的尺寸，所述第二预设尺寸为所述世界坐标系下的滞留检测框的尺寸，所述第一预设尺寸小于所述第二预设尺寸；

根据所述初始位置和所述滞留检测框的尺寸，获取所述滞留检测框，所述初始检测框位于所述滞留检测框的内部。

6.根据权利要求5所述的方法，其特征在于，所述移动信息为所述监控视频的第i个视频帧中所述对象的头部的位置，所述根据所述对象的头部的移动信息，确定所述对象是否为滞留对象，包括：

采用检测框跟踪的方式在所述监控视频中跟踪所述对象的头部，获取所述监控视频的第i个视频帧中所述对象的头部的位置，i为大于等于2的整数；

若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的内部，且所述第i个视频帧与所述初始位置对应的视频帧之间的时长大于或等于预设时长，则确定所述对象为滞留对象，所述滞留检测框对应的视频帧早于所述第i个视频帧。

7.根据权利要求6所述的方法，其特征在于，所述确定所述对象为滞留对象之后，还包括：

向终端设备发送在第i个视频帧中的所述对象的头部的位置，以使所述终端设备在所述第i个视频帧中标注所述滞留对象的头部。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的外部，则确定所述对象为非滞留对象；或者，

若所述第i个视频帧中所述对象的头部的位置位于所述滞留检测框的内部，且所述第i个视频帧与所述初始位置对应的视频帧之间的时长小于所述预设时长，则确定所述对象为非滞留对象。

9.根据权利要求8所述的方法，其特征在于，所述初始位置为所述对象的头部在所述监控视频中首次出现时的位置，或者所述初始位置为所述非滞留对象的头部的位置。

10.根据权利要求4-9任一项所述的方法，其特征在于，所述方法还包括：

获取所述拍摄装置拍摄的测试图像，所述测试图像中包括多个测试对象；

根据所述测试图像，构建所述透视图。

11.根据权利要求10所述的方法，其特征在于，所述根据所述测试图像，构建所述透视图，包括：

在所述测试图像中，标注所述测试对象的人体检测框；

选取不同纵坐标处的人体检测框，并获取每个纵坐标处的人体检测框的像素距离，所述像素距离为所述人体检测框的长度；

根据所述世界坐标系中的预设距离和每个纵坐标处的人体检测框的像素距离，获取所述透视图。

12.一种滞留检测装置，其特征在于，包括：

处理模块，用于获取监控视频中对象的头部的移动信息；

所述处理模块，还用于根据所述对象的头部的移动信息，确定所述对象是否为滞留对象。

13.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-11任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-11任一项所述的方法。

Images