CN104994360B - 视频监控方法和视频监控系统 - Google Patents

Abstract

本发明涉及基于深度视频的视频监控方法和视频监控系统。所述视频监控方法，包括：获取经由视频采集模块采集的视频数据；基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象；提取所述对象的特征信息；以及基于所述特征信息，确定所述对象的预测信息，其中，所述视频数据为包含深度信息的视频数据。

Description

视频监控方法和视频监控系统

技术领域

本公开涉及视频监控领域，更具体地，本公开涉及基于深度视频的视频监控方法和视频监控系统。

背景技术

在诸如车站售票处等具有视频监控的场景中，对排队时间的估计主要根据当前队列的行人数量以及每个队列的移动速度来估计。但是对于用户来讲，很难提前预先了解到每个队列的前一个时段的运动速度，所以往往只能根据每个队列的排队长度来做出选择。这样往往假设每个队列的处理速度是一样的，但事实上，每个队列的处理效率可能因工作人员的不同而有很多的不同。用户单单根据队列的长度，很难估计出大致的等候时间。如果能够通过视频数据，自动的估计出当前每个排队队列的等候时间，则可以大大节约用户的等候时间以及提高办事的效率。

因此，希望提供一种基于深度视频的视频监控方法和视频监控系统，其能够基于深度视频，自动的截取出在物理空间中的队列长度，以及队列在三维空间中的运行速度，依次来估计队列的排队时间。然后根据每个队列的排队时间，对现有用户给出所排队列的建议。

发明内容

鉴于上述问题而提出了本公开。本公开提供了一种基于深度视频的视频监控方法和视频监控系统。

根据本公开的一个实施例，提供了一种视频监控方法，包括：获取经由视频采集模块采集的视频数据；基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象；提取所述对象的特征信息；以及基于所述特征信息，确定所述对象的预测信息，其中，所述视频数据为包含深度信息的视频数据。

此外，根据本公开的一个实施例的视频监控方法，还包括：配置所述视频采集模块，并且确定所述视频采集模块的坐标参数。

此外，根据本公开的一个实施例的视频监控方法，其中确定所述视频采集模块的坐标参数包括：选择预定基准面上的多个基准点；基于所述多个基准点的坐标信息，确定所述视频采集模块的相机坐标系统与世界坐标系统的变换关系；基于所述变换关系，确定所述视频采集模块的坐标参数。

此外，根据本公开的一个实施例的视频监控方法，其中所述预先设置的场景信息包括监控场景的背景区域的背景深度信息。

此外，根据本公开的一个实施例的视频监控方法，其中基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象包括：获取所述视频数据的每个像素点的当前深度信息与相应的所述背景深度信息的深度信息差，确定包括所述深度信息差大于第一预定阈值的像素点的区域为前景候选区域；对所述前景候选区域的视频数据执行中值滤波，获取用于监控的前景区域的视频数据。

此外，根据本公开的一个实施例的视频监控方法，其中确定作为监控目标的对象还包括：从所述用于监控的前景区域中移除其中包含的像素点少于第二预定阈值的噪声区域，以获得多个第一前景子区域；确定所述多个第一前景子区域中的每个第一前景子区域之间在第一预定方向上的间隔；在所述第一预定方向上连通所述间隔小于第三预定阈值的各个第一前景子区域，以获得多个第二前景子区域作为多个所述对象。

此外，根据本公开的一个实施例的视频监控方法，其中提取所述对象的特征信息包括：基于所述对象的视频数据，确定所述对象在所述监控场景中的第二方向；确定所述对象在所述第二方向上的第一端点和第二端点；以及基于所述变换关系，确定所述第一端点和所述第二端点之间的长度。

此外，根据本公开的一个实施例的视频监控方法，其中提取所述对象的特征信息还包括：选择所述对象中的预定点，基于所述视频数据跟踪所述预定点的移动；以及确定所述预定点在所述第二方向上的移动速度作为所述对象的移动速度。

此外，根据本公开的一个实施例的视频监控方法，其中提取所述对象的特征信息还包括：选择所述对象中的多个预定点，确定所述多个预定点在所述第二方向上的移动速度的平均值作为所述对象的移动速度；连续确定多个预定时间间隔期间所述对象的移动速度，获得所述对象的移动速度的概率分布。

此外，根据本公开的一个实施例的视频监控方法，其中基于所述特征信息，确定所述对象的预测信息包括：基于多个所述对象的每一个的长度以及所述移动速度，确定所述第二端点移动到所述第一端点所需的平均等候时间，作为多个所述对象的每一个的预测信息。

此外，根据本公开的一个实施例的视频监控方法，其中基于所述特征信息，确定所述对象的预测信息还包括：基于所述移动速度的概率分布，以所述移动速度的平均值减去所述移动速度的三倍标准差作为最慢移动速度；基于多个所述对象的每一个的长度以及所述最慢移动速度，确定所述第二端点移动到所述第一端点所需的最长等候时间，作为多个所述对象的每一个的预测信息。

根据本公开的另一个实施例，提供了一种视频监控系统，包括：视频采集模块，用于采集视频数据；以及视频监控模块，用于基于所述视频数据执行监控，其包含对象确定单元，用于基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象；特征信息提取单元，用于提取所述对象的特征信息；以及预测信息确定单元，用于基于所述特征信息，确定所述对象的预测信息，其中，所述视频数据为包含深度信息的视频数据。

此外，根据本公开的另一个实施例的视频监控系统，其中所述视频监控模块配置所述视频采集模块，并且确定所述视频采集模块的坐标参数。

此外，根据本公开的另一个实施例的视频监控系统，其中所述视频监控模块确定所述视频采集模块的坐标参数包括：选择预定基准面上的多个基准点；基于所述多个基准点的坐标信息，确定所述视频采集模块的相机坐标系统与世界坐标系统的变换关系；基于所述变换关系，确定所述视频采集模块的坐标参数。

此外，根据本公开的另一个实施例的视频监控系统，其中所述预先设置的场景信息包括监控场景的背景区域的背景深度信息。

此外，根据本公开的另一个实施例的视频监控系统，其中所述对象确定单元获取所述视频数据的每个像素点的当前深度信息与相应的所述背景深度信息的深度信息差，确定包括所述深度信息差大于第一预定阈值的像素点的区域为前景候选区域；对所述前景候选区域的视频数据执行中值滤波，获取用于监控的前景区域的视频数据。

此外，根据本公开的另一个实施例的视频监控系统，其中所述对象确定单元从所述用于监控的前景区域中移除其中包含的像素点少于第二预定阈值的噪声区域，以获得多个第一前景子区域；确定所述多个第一前景子区域中的每个第一前景子区域之间在第一预定方向上的间隔；在所述第一预定方向上连通所述间隔小于第三预定阈值的各个第一前景子区域，以获得多个第二前景子区域作为多个所述对象。

此外，根据本公开的另一个实施例的视频监控系统，其中所述特征信息提取单元基于所述对象的视频数据，确定所述对象在所述监控场景中的第二方向；确定所述对象在所述第二方向上的第一端点和第二端点；以及基于所述变换关系，确定所述第一端点和所述第二端点之间的长度。

此外，根据本公开的另一个实施例的视频监控系统，其中所述特征信息提取单元选择所述对象中的预定点，基于所述视频数据跟踪所述预定点的移动；以及确定所述预定点在所述第二方向上的移动速度作为所述对象的移动速度。

此外，根据本公开的另一个实施例的视频监控系统，其中所述特征信息提取单元选择所述对象中的多个预定点，确定所述多个预定点在所述第二方向上的移动速度的平均值作为所述对象的移动速度；连续确定多个预定时间间隔期间所述对象的移动速度，获得所述对象的移动速度的概率分布。

此外，根据本公开的另一个实施例的视频监控系统，其中所述预测信息确定单元基于多个所述对象的每一个的长度以及所述移动速度，确定所述第二端点移动到所述第一端点所需的平均等候时间，作为多个所述对象的每一个的预测信息。

此外，根据本公开的另一个实施例的视频监控系统，其中所述预测信息确定单元基于所述移动速度的概率分布，以所述移动速度的平均值减去所述移动速度的三倍标准差作为最慢移动速度；基于多个所述对象的每一个的长度以及所述最慢移动速度，确定所述第二端点移动到所述第一端点所需的最长等候时间，作为多个所述对象的每一个的预测信息。

根据本公开的又一个实施例，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取经由视频采集模块采集的视频数据；基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象；提取所述对象的特征信息；以及基于所述特征信息，确定所述对象的预测信息，其中，所述视频数据为包含深度信息的视频数据。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是图示根据本发明实施例的视频监控方法的流程图。

图2是图示根据本发明实施例的视频监控系统的功能性框图。

图3是进一步图示根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程图。

图4是图示用于确定视频采集装置的参数的相机坐标系统和世界坐标系统的示意图。

图5是进一步图示根据本发明实施例的视频监控方法中确定用于监控的前景区域的流程图。

图6是进一步图示根据本发明实施例的视频监控方法中确定用于监控的多个对象的流程图。

图7A到7C是图示根据本发明实施例的视频监控方法中确定用于监控的多个对象的示意图。

图8是进一步图示根据本发明实施例的视频监控方法中确定队列长度的流程图。

图9是图示根据本发明实施例的视频监控方法中确定队列长度的示意图。

图10是进一步图示根据本发明实施例的视频监控方法中确定队列移动速度的流程图。

图11是进一步图示根据本发明实施例的视频监控方法中估计排队时间的流程图。

图12是图示根据本发明实施例的视频监控系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

以下，将参考附图详细描述本发明的优选实施例。

图1是图示根据本发明实施例的视频监控方法的流程图。如图1所示，根据本发明实施例的视频监控方法包括以下步骤。

在步骤S101中，获取经由视频采集模块采集的视频数据。在本发明的一个实施例中，所述视频采集模块为能够获取被摄体的深度信息的深度相机(深度摄像机)。获取经由视频采集模块采集的视频数据包括但不限于，在由物理位置上分离配置的视频采集模块采集视频数据之后，经由有线或者无线方式，接收从所述视频采集模块发送的视频数据。可替代地，视频采集模块可以与视频监控系统中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，视频监控系统中的其他模块或组件经由内部总线接收从所述视频采集模块发送的视频数据。此后，处理进到步骤S102。

在步骤S102中，基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象。在本发明的一个实施例中，所述作为监控目标的对象为所述视频数据中记录的队列。具体地，利用在步骤S101中获取的深度视频数据以及预先设置的场景信息，准确的在三维物理世界中分割出每个排队的队列，将分割出的每个排队的队列作为监控目标。以下，将参照附图进一步详细描述如何确定作为监控目标的对象的流程。此后，处理进到步骤S103。

在步骤S103中，提取所述对象的特征信息。在本发明的一个实施例中，所述对象的特征信息包括但不限于作为对象的队列的长度以及移动速度。以下，将参照附图进一步详细描述如何提取所述对象的特征信息的流程。此后，处理进到步骤S104。

在步骤S104中，基于所述特征信息，确定所述对象的预测信息。在本发明的一个实施例中，基于在步骤S103中确定的作为对象的队列的长度以及移动速度，估计各个队列的等候时间，从而为用户排队提供建议。以下，将参照附图进一步详细描述如何确定所述对象的预测信息的流程。

上述根据本发明实施例的视频监控方法，采用深度相机/摄像机作为视频采集模块，自动的截取出在物理空间中的队列长度，以及队列在三维空间中的运行速度，依次来估计队列的排队时间。此外，根据本发明实施例的基于深度视频的视频监控方法能够不受不同队列之间遮挡的影响，并且根据当前时刻的信息，可以实时根据队列的移动速度的概率模型，实时更新队列的等候时间估计。

以下，将参照图2进一步描述执行上述视频监控方法的视频监控系统。

图2是图示根据本发明实施例的视频监控系统的功能性框图。如图2所示，根据本发明实施例的视频监控系统20包括视频采集模块21和视频监控模块22。所述视频监控模块22进一步包括对象确定单元221、特征信息提取单元222和预测信息确定单元223。所述视频采集模块21和视频监控模块22以及所述视频监控模块22中的对象确定单元221、特征信息提取单元222和预测信息确定单元223例如可以由诸如硬件(服务器、专用计算机等)、软件、固件以及它们的任意可行的组合配置。

具体地，所述视频采集模块21用于采集视频数据。在本发明的一个实施例中，所述视频采集模块21可以包括能够采集被摄体的深度信息的深度相机(深度摄像机)的视频采集装置。所述视频采集装置可以与其后的所述视频监控模块22物理上分离，或者物理上位于同一位置甚至位于同一机壳内部。在所述视频采集装置与其后的所述视频监控模块22物理上分离的情况下，所述视频采集模块21进一步经由有线或者无线方式将所述视频采集装置获取的深度视频数据发送给其后的模块。在所述视频采集装置与其后的所述视频监控模块22物理上位于同一位置甚至位于同一机壳内部的情况下，所述视频采集模块21经由内部总线将所述视频采集装置获取的深度视频数据发送给其后的模块。所述视频数据可以包括深度视频数据以及彩色视频数据。更具体地，可以根据视频采集装置的位置参数以及视频数据中每个像素点的深度信息值，确定视频数据中每个像素的三维位置参数。在经由有线或者无线方式或者经由内部总线发送所述视频数据之前，可以将其预定格式进行编码和压缩为视频数据包，以减少发送需要占用的通信量和带宽。

所述视频监控模块22用于基于所述视频数据执行监控。具体地，所述对象确定单元221用于基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象。在本发明的一个实施例中，所述对象确定单元221利用所述视频采集模块21获取的深度视频数据以及预先设置的场景信息，准确的在三维物理世界中分割出每个排队的队列，将分割出的每个排队的队列作为监控目标。

所述特征信息提取单元222用于提取所述对象的特征信息。在本发明的一个实施例中，所述特征信息提取单元222提取由所述对象确定单元221分割出的每个排队的队列的长度以及移动速度。

所述预测信息确定单元223用于基于所述特征信息，确定所述对象的预测信息。在本发明的一个实施例中，所述预测信息确定单元223基于由所述特征信息提取单元222提取的每个排队的队列的长度以及移动速度，估计各个队列的等候时间，从而为用户排队提供建议。

以下，将进一步参照附图详细描述由根据本发明实施例的视频监控系统的各个模块执行的根据本发明实施例的视频监控方法的各个具体步骤流程。

首先，参照图3和图4描述视频采集装置的配置以及视频采集装置的坐标参数的确定。可以由上述视频数据获取模块21控制和执行视频采集装置的配置以及视频采集装置的坐标参数的确定。图3是进一步图示根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程图。图4是图示用于确定视频采集装置的参数的相机坐标系统和世界坐标系统的示意图。

如图3所示，根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程包括以下步骤。

在步骤S301中，配置视频采集装置。将作为所述视频采集装置的深度相机(深度摄像机)安装在需要监控的场景中。通常，深度相机(深度摄像机)的安装高度为2-3.5米，其视角为俯视地面(如图4示意性所示)。在此，所述视频采集装置可以是单一深度相机(即，只有深度相机镜头)或者深度彩色双镜头相机。在深度彩色双镜头相机的情况下，需要对相机进行校准，使得两个镜头得到的图像相对应和同步。此后，处理进到步骤S302，以便对于安装后的所述视频采集装置，确定其离基准面的实际高度和角度等坐标参数。

在步骤S302中，选择预定基准面上的多个基准点。如图4所示，所述预定基准面可以是地平面，选择的基准点的数目越大(例如，大于等于5个)，精度越高。此后，处理进到步骤S303。

在步骤S303中，基于选择的多个基准点的坐标信息，确定视频采集装置的相机坐标系统与世界坐标系统的变换关系。如图4所示，由点Oc与Xc、Yc和Zc轴构成的直角坐标系为相机坐标系统。为了描述相机的位置，引入世界坐标系统，由点Ow与Xw、Yw和Zw轴构成的直角坐标系为世界坐标系统。可以通过选择多个基准点，基于最小二乘法来估计相机坐标系统到世界坐标系统的转换矩阵，即相机坐标系统与世界坐标系统的变换关系。此后，处理进到步骤S304。

在步骤S304中，基于所述变换关系，确定视频采集装置的坐标参数。通过利用所述变换关系，将相机坐标系统转换到世界坐标系统，可以确定视频采集装置的实际高度和角度等坐标参数。同样地，将视频采集装置采集的视频中的像素点转换到世界坐标系统，可以确定视频场景中的完整地平面位置。

以下，将参照图5到图7描述作为监控目标的对象的确定。可以由上述对象确定单元221控制和执行监控目标的对象的确定。图5是进一步图示根据本发明实施例的视频监控方法中确定用于监控的前景区域的流程图。图6是进一步图示根据本发明实施例的视频监控方法中确定用于监控的多个对象的流程图。图7是图示根据本发明实施例的视频监控方法中确定用于监控的多个对象的示意图。

如图5所示，根据本发明实施例的视频监控方法中确定用于监控的前景区域的流程包括以下步骤。

在步骤S501中，确定监控场景的背景区域的背景深度信息。在本发明的一个实施例中，在监控场景中不存在任何对象的情况下，获取此时由所述视频监控模块22捕获的监控场景中每个位置的深度信息，将其保存为矩阵D(x,y)，其代表在每个图像坐标(x,y)处的深度值。此后，处理进到步骤S502。

在步骤S502中，获取视频数据的每个像素点的当前深度信息与相应的背景深度信息的深度信息差。在本发明的一个实施例中，获取由所述视频监控模块22实时捕获的监控场景的当前深度值C(x,y)，从而计算图像空间中每个像素位置的深度信息差ΔD＝C(x,y)-D(x,y)。此后，处理进到步骤S503。

在步骤S503中，确定包括深度信息差大于第一预定阈值的像素点的区域为前景候选区域。在本发明的一个实施例中，选出包括其深度信息差ΔD大于第一预定阈值T1的像素点的区域作为前景候选区域。此后，处理进到步骤S504。

在步骤S504中，对前景候选区域的视频数据执行中值滤波，获取用于监控的前景区域的视频数据。在本发明的一个实施例中，通过对于前景候选区域的视频数据执行中值滤波，实现滤除噪声信号的同时，能够保护信号的边缘，使得前景区域不被模糊。

在通过图5的流程确定前景区域之后，开始确定前景区域中用于监控的多个对象。如图6所示，根据本发明实施例的视频监控方法中确定用于监控的多个对象的流程包括以下步骤。

在步骤S601中，从用于监控的前景区域中移除其中包含的像素点少于第二预定阈值的噪声区域，以获得多个第一前景子区域。在本发明的一个实施例中，其中包含的像素点少于第二预定阈值T2的区域被确定为噪声区域而非队列，从用于监控的前景区域中移除该噪声区域后得到多个第一前景子区域。此后，处理进到步骤S602。

在步骤S602中，确定多个第一前景子区域中的每个第一前景子区域之间在第一预定方向上的间隔。在本发明的一个实施例中，根据监控场景的情况，确定第一预定方向。所述第一预定方向为在监控场景中队列的可能取向。例如，根据监控场景中柜台的位置和方向，确定与柜台垂直的方向为所述第一预定方向。此后，处理进到步骤S603。

在步骤S603中，在第一预定方向上连通间隔小于第三预定阈值的各个第一前景子区域，以获得多个第二前景子区域作为多个对象。在本发明的一个实施例中，在第一预定方向上间隔小于第三预定阈值T3的各个第一前景子区域可能属于同一个队列，仅仅是队列中排队的个体之间的间距稍大。因此，为了确定正在进行排队的队列，在第一预定方向上连通间隔小于第三预定阈值的各个第一前景子区域，从而获得多个第二前景子区域，即获得完整的队列作为多个对象用于此后的特征提取和排队时间估计。

图7A到7C具体图示了通过如图6所示的确定用于监控的多个对象的流程获取用于监控的多个对象的过程的示意图。

首先，如图7A所示，在通过图5的流程确定前景区域之后，存在多个前景子区域701₁到701₆。

此后，从如图7A所示的多个前景子区域701₁到701₆移除其中包含的像素点少于第二预定阈值T2的噪声区域。具体地，如图7B所示移除前景子区域701₁从而剩余多个第一前景子区域702₁到702₅。

此后，在如图7B所示的多个第一前景子区域702₁到702₅中，每个第一前景子区域之间在第一预定方向上的间隔。具体地，确定第一前景子区域702₁与702₂之间在第一预定方向上的间隔L₁，以及第一前景子区域702₃与702₄之间在第一预定方向上的间隔L₂。在此，间隔L₁和间隔L₂都满足小于第三预定阈值T3，从而在第一预定方向上连通间隔小于第三预定阈值T3的第一前景子区域702₁与702₂和第一前景子区域702₃与702₄。

最终，获得如图7C所示的多个第二前景子区域703₁到703₃作为多个对象，即监控场景中排队的队列。

以下，将参照图8到图10进一步描述作为监控目标的对象的特征信息的提取。图8是进一步图示根据本发明实施例的视频监控方法中确定队列长度的流程图。图9是图示根据本发明实施例的视频监控方法中确定队列长度的示意图。图10是进一步图示根据本发明实施例的视频监控方法中确定队列移动速度的流程图。

在通过图6所示的流程确定多个第二前景子区域作为多个对象(队列)之后，通过如图8所示的流程确定每个队列长度。

在步骤S801中，基于对象的视频数据，确定对象在监控场景中的第二方向。在本发明的一个实施例中，根据每个队列的视频数据，可以根据其主成分分析得到每个队列的方向，即对象在监控场景中的第二方向。所述第二方向可能与上述第一预定方向相同。或者，所述第二方向可能与上述第一预定方向不同，即队列在排队过程中可能相对于预先确定的排队方向出现了移动。在如图9所示的示意图中，确定如箭头所示的队列方向。此后，处理进到步骤S802。

在步骤S802中，确定对象在第二方向上的第一端点和第二端点。在如图9所示的示意图中，确定第一端点901和第二端点902。此后，处理进到步骤S803。

在步骤S803中，基于变换关系，确定第一端点和第二端点之间的长度。在本发明的一个实施例中，基于上述参照图3和图4描述的变换关系，可以把队列的开始点以及队列的结束点从图像空间中变换到物理三维空间，从而根据开始点以及结束点在三维空间中的距离求出队列的物理长度。在如图9所示的示意图中，确定第一端点901和第二端点902之间的长度L作为该队列的排队长度。

在通过图8所示的流程确定每个队列长度之后，通过如图10所示的流程确定每个队列的移动速度。

在步骤S1001中，选择对象中的预定点，基于视频数据跟踪预定点的移动。在本发明的一个实施例中，可以在队列中寻找一些角点，然后使用光流算法来对这些角点进行跟踪。此后，处理进到步骤S1002。

在步骤S1002中，确定预定点在第二方向上的移动速度作为对象的移动速度。在本发明的一个实施例中，求出预定点在三维空间中的运动，把此运动方向投影到第二方向(即，队列方向)中，就可以求出队列的移动速度。此后，处理进到步骤S1003。

在步骤S1003中，选择对象中的多个预定点，确定多个预定点在第二方向上的移动速度的平均值作为对象的移动速度。在本发明的一个实施例中，为了增加确定的鲁棒性，可以在队列中选取多个预定点，然后对多个预定点的移动速度的计算结果求平均，以平均值作为对象的移动速度。此后，处理进到步骤S1004。

在步骤S1004中，连续确定多个预定时间间隔期间对象的移动速度，获得对象的移动速度的概率分布。在本发明的一个实施例中，每隔一个预定时间间隔(例如，1秒)，计算队列的移动速度，然后根据多个时段的数据，拟合高斯分布。用此高斯分布来建模此队列的移动速度。

以下，将参照图11描述监控目标的队列的排队时间的估计。图11是进一步图示根据本发明实施例的视频监控方法中估计排队时间的流程图。

在通过图8到图10的流程获得了作为监控目标的对象的特征信息之后，通过如图11所示的流程估计队列的排队时间。

在步骤S1101中，基于多个对象的每一个的长度以及移动速度，确定第二端点移动到第一端点所需的平均等候时间。在本发明的一个实施例中，基于通过如图8所示的流程确定的多个对象的每一个的长度，以及通过如图10所示的流程确定的多个对象的每一个的移动速度，估计每一个对象(队列)的排队时间。此后，处理进到步骤S1102。

在步骤S1102中，基于移动速度的概率分布，以移动速度的平均值减去移动速度的三倍标准差作为最慢移动速度。在本发明的一个实施例中，为了估计可能出现的最慢移动情况，基于通过如图10所示的流程确定的移动速度的概率分布，以移动速度的平均值减去移动速度的三倍标准差作为最慢移动速度。此后，处理进到步骤S1103。

在步骤S1103中，基于多个对象的每一个的长度以及最慢移动速度，确定第二端点移动到第一端点所需的最长等候时间。

在通过如图11所示的流程估计每一个对象(队列)的平均排队时间和最长等候时间之后，可以将该等候时间信息提供给用户，从而给用户提供排队的推荐。此外，在根据本发明实施例的视频监控方法和视频监控系统中，根据当前时刻的信息，可以实时根据队列的移动速度的概率模型，实时更新队列的等候时间估计。示例性地，将等候时间信息提供给用户的方式可以为通过营业场所(例如售票处等)的显示屏对预计的等候时间(包括但不限于平均排队时间、最长等候时间等)进行显示，或者，通过用户的移动终端(例如手机等)对预计的等候时间进行显示等。

图12是图示根据本发明实施例的视频监控系统的示意性框图。如图12所示，根据本发明实施例的视频监控系包括：处理器121、存储器122、以及在所述存储器122的中存储的计算机程序指令123。

所述计算机程序指令123在所述处理器121运行时可以实现根据本发明实施例的视频监控系统的各个功能模块的功能，并且/或者可以执行根据本发明实施例的视频监控方法的各个步骤。

具体地，在所述计算机程序指令123被所述处理器121运行时执行以下步骤：获取经由视频采集模块采集的视频数据；基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象；提取所述对象的特征信息；以及基于所述特征信息，确定所述对象的预测信息，其中，所述视频数据为包含深度信息的视频数据。

此外，在所述计算机程序指令123被所述处理器121运行时还执行以下步骤：选择预定基准面上的多个基准点；基于所述多个基准点的坐标信息，确定所述视频采集装置的相机坐标系统与世界坐标系统的变换关系；基于所述变换关系，确定所述视频采集装置的坐标参数。

此外，在所述计算机程序指令123被所述处理器121运行时所执行的基于预先设置的场景信息和所述视频数据，确定作为监控目标的对象的步骤包括：获取所述视频数据的每个像素点的当前深度信息与相应的所述背景深度信息的深度信息差，确定包括所述深度信息差大于第一预定阈值的像素点的区域为前景候选区域；对所述前景候选区域的视频数据执行中值滤波，获取用于监控的前景区域的视频数据。

此外，在所述计算机程序指令123被所述处理器121运行时所执行的确定作为监控目标的对象的步骤包括：从所述用于监控的前景区域中移除其中包含的像素点少于第二预定阈值的噪声区域，以获得多个第一前景子区域；确定所述多个第一前景子区域中的每个第一前景子区域之间在第一预定方向上的间隔；在所述第一预定方向上连通所述间隔小于第三预定阈值的各个第一前景子区域，以获得多个第二前景子区域作为多个所述对象。

此外，在所述计算机程序指令123被所述处理器121运行时所执行的提取所述对象的特征信息的步骤还包括：基于所述对象的视频数据，确定所述对象在所述监控场景中的第二方向；确定所述对象在所述第二方向上的第一端点和第二端点；以及基于所述变换关系，确定所述第一端点和所述第二端点之间的长度。

此外，在所述计算机程序指令123被所述处理器121运行时所执行的提取所述对象的特征信息的步骤包括：选择所述对象中的预定点，基于所述视频数据跟踪所述预定点的移动；以及确定所述预定点在所述第二方向上的移动速度作为所述对象的移动速度。

此外，在所述计算机程序指令123被所述处理器121运行时所执行的提取所述对象的特征信息的步骤包括：选择所述对象中的多个预定点，确定所述多个预定点在所述第二方向上的移动速度的平均值作为所述对象的移动速度；连续确定多个预定时间间隔期间所述对象的移动速度，获得所述对象的移动速度的概率分布。

此外，在所述计算机程序指令123被所述处理器121运行时所执行的基于所述特征信息，确定所述对象的预测信息的步骤包括：基于多个所述对象的每一个的长度以及所述移动速度，确定所述第二端点移动到所述第一端点所需的平均等候时间，作为多个所述对象的每一个的预测信息。

此外，在所述计算机程序指令123被所述处理器121运行时所执行的基于所述特征信息，确定所述对象的预测信息的步骤还包括：基于所述移动速度的概率分布，以所述移动速度的平均值减去所述移动速度的三倍标准差作为最慢移动速度；基于多个所述对象的每一个的长度以及所述最慢移动速度，确定所述第二端点移动到所述第一端点所需的最长等候时间，作为多个所述对象的每一个的预测信息。

根据本发明实施例的视频监控系统中的各模块可以通过根据本发明实施例的视频监控系统中的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行人脸活动识别的计算机可读的程序代码。

所述计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在上面详细描述的本发明的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (18)

1.一种视频监控方法，包括：

获取经由视频采集模块采集的视频数据；

基于预先设置的监控场景的背景区域的背景深度信息和所述视频数据，获取所述视频数据中用于监控的前景区域，并确定所述前景区域中作为监控目标的队列；

提取所述队列的特征信息，所述特征信息包括所述队列的长度和移动速度；以及

基于所述特征信息，确定所述队列的等待时间，

其中，所述视频数据为包含深度信息的视频数据，

其中，确定所述前景区域中作为监控目标的队列包括：

从所述用于监控的前景区域中移除其中包含的像素点少于第二预定阈值的噪声区域，以获得多个第一前景子区域；

确定所述多个第一前景子区域中的每个第一前景子区域之间在第一预定方向上的间隔；

在所述第一预定方向上连通所述间隔小于第三预定阈值的各个第一前景子区域，以获得多个第二前景子区域作为多个所述队列，

其中，所述第一预定方向为在所述监控场景中所述队列的可能取向。

2.如权利要求1所述的视频监控方法，还包括：

配置所述视频采集模块，并且确定所述视频采集模块的坐标参数。

3.如权利要求2所述的视频监控方法，其中确定所述视频采集模块的坐标参数包括：

选择预定基准面上的多个基准点；

基于所述多个基准点的坐标信息，确定所述视频采集模块的相机坐标系统与世界坐标系统的变换关系；

基于所述变换关系，确定所述视频采集模块的坐标参数。

4.如权利要求1所述的视频监控方法，其中基于预先设置的监控场景的背景区域的背景深度信息和所述视频数据，获取所述视频数据中用于监控的前景区域，并确定所述前景区域中作为监控目标的队列包括：

获取所述视频数据的每个像素点的当前深度信息与相应的所述背景深度信息的深度信息差，确定包括所述深度信息差大于第一预定阈值的像素点的区域为前景候选区域；

对所述前景候选区域的视频数据执行中值滤波，获取用于监控的前景区域的视频数据。

5.如权利要求1所述的视频监控方法，其中提取所述队列的特征信息包括：

基于所述队列的视频数据，确定所述队列在所述监控场景中的第二方向；

确定所述队列在所述第二方向上的第一端点和第二端点；以及

基于所述视频采集模块的相机坐标系统与世界坐标系统的变换关系，确定所述第一端点和所述第二端点之间的长度。

6.如权利要求5所述的视频监控方法，其中提取所述队列的特征信息还包括：

选择所述队列中的预定点，基于所述视频数据跟踪所述预定点的移动；以及

确定所述预定点在所述第二方向上的移动速度作为所述队列的移动速度。

7.如权利要求6所述的视频监控方法，其中提取所述队列的特征信息还包括：

选择所述队列中的多个预定点，确定所述多个预定点在所述第二方向上的移动速度的平均值作为所述队列的移动速度；

连续确定多个预定时间间隔期间所述队列的移动速度，获得所述队列的移动速度的概率分布。

8.如权利要求7所述的视频监控方法，其中基于所述特征信息，确定所述队列的预测信息包括：

基于多个所述队列的每一个的长度以及所述移动速度，确定所述第二端点移动到所述第一端点所需的平均等候时间，作为多个所述队列的每一个的预测信息。

9.如权利要求8所述的视频监控方法，其中基于所述特征信息，确定所述队列的预测信息还包括：

基于所述移动速度的概率分布，以所述移动速度的平均值减去所述移动速度的三倍标准差作为最慢移动速度；

基于多个所述队列的每一个的长度以及所述最慢移动速度，确定所述第二端点移动到所述第一端点所需的最长等候时间，作为多个所述队列的每一个的预测信息。

10.一种视频监控系统，包括：

视频采集模块，用于采集视频数据；以及

视频监控模块，用于基于所述视频数据执行监控，其包含

队列确定单元，用于基于预先设置的监控场景的背景区域的背景深度信息和所述视频数据，获取所述视频数据中用于监控的前景区域，并确定所述前景区域中作为监控目标的队列；

特征信息提取单元，用于提取所述队列的特征信息，所述特征信息包括所述队列的长度和移动速度；以及

预测信息确定单元，用于基于所述特征信息，确定所述队列的等待时间，

其中，所述视频数据为包含深度信息的视频数据，

其中所述队列确定单元从所述用于监控的前景区域中移除其中包含的像素点少于第二预定阈值的噪声区域，以获得多个第一前景子区域；

确定所述多个第一前景子区域中的每个第一前景子区域之间在第一预定方向上的间隔；

在所述第一预定方向上连通所述间隔小于第三预定阈值的各个第一前景子区域，以获得多个第二前景子区域作为多个所述队列，

其中，所述第一预定方向为在所述监控场景中所述队列的可能取向。

11.如权利要求10所述的视频监控系统，其中所述视频监控模块配置所述视频采集模块，并且确定所述视频采集模块的坐标参数。

12.如权利要求11所述的视频监控系统，其中所述视频监控模块确定所述视频采集模块的坐标参数包括：

选择预定基准面上的多个基准点；

基于所述多个基准点的坐标信息，确定所述视频采集模块的相机坐标系统与世界坐标系统的变换关系；

基于所述变换关系，确定所述视频采集模块的坐标参数。

13.如权利要求10所述的视频监控系统，其中所述队列确定单元获取所述视频数据的每个像素点的当前深度信息与相应的所述背景深度信息的深度信息差，确定包括所述深度信息差大于第一预定阈值的像素点的区域为前景候选区域；

对所述前景候选区域的视频数据执行中值滤波，获取用于监控的前景区域的视频数据。

14.如权利要求10所述的视频监控系统，其中所述特征信息提取单元基于所述队列的视频数据，确定所述队列在所述监控场景中的第二方向；

确定所述队列在所述第二方向上的第一端点和第二端点；以及

基于所述视频采集模块的相机坐标系统与世界坐标系统的变换关系，确定所述第一端点和所述第二端点之间的长度。

15.如权利要求14所述的视频监控系统，其中所述特征信息提取单元选择所述队列中的预定点，基于所述视频数据跟踪所述预定点的移动；以及

确定所述预定点在所述第二方向上的移动速度作为所述队列的移动速度。

16.如权利要求15所述的视频监控系统，其中所述特征信息提取单元选择所述队列中的多个预定点，确定所述多个预定点在所述第二方向上的移动速度的平均值作为所述队列的移动速度；

连续确定多个预定时间间隔期间所述队列的移动速度，获得所述队列的移动速度的概率分布。

17.如权利要求16所述的视频监控系统，其中所述预测信息确定单元基于多个所述队列的每一个的长度以及所述移动速度，确定所述第二端点移动到所述第一端点所需的平均等候时间，作为多个所述队列的每一个的预测信息。

18.如权利要求17所述的视频监控系统，其中所述预测信息确定单元基于所述移动速度的概率分布，以所述移动速度的平均值减去所述移动速度的三倍标准差作为最慢移动速度；

基于多个所述队列的每一个的长度以及所述最慢移动速度，确定所述第二端点移动到所述第一端点所需的最长等候时间，作为多个所述队列的每一个的预测信息。