CN105122270A

CN105122270A - 使用深度传感器计数人的方法和系统

Info

Publication number: CN105122270A
Application number: CN201380070934.6A
Authority: CN
Inventors: L.王; F.阿格达西
Original assignee: Pelco Inc
Current assignee: Pelco Inc
Priority date: 2012-11-21
Filing date: 2013-11-19
Publication date: 2015-12-02
Anticipated expiration: 2033-11-19
Also published as: CN105122270B; WO2014081687A1; EP2923304A1; US20140139633A1; US10009579B2

Abstract

根据本发明的实施例的传感器系统可以处理深度数据和可见光数据以用于更精确的检测。在可见光图像易受误报的情况下深度数据是有帮助的。可见光图像(或视频)可以类似地增强单独从深度数据得出的结论。检测可以是基于物体的或者用目标物体的环境限定。取决于目标物体，检测的类型可以变化以包括运动和行为。所述传感器系统的应用包括运动引导接口，其中用户可以通过姿势与一个或多个系统交互。所述的传感器系统也可以应用于计数系统、监控系统、投票系统、零售店分析等。

Description

使用深度传感器计数人的方法和系统

相关申请

本申请是2012年11月21日提交的美国申请第13/683,886号的继续申请。

以上申请的完整教导通过引用合并于本文中。

背景技术

许多应用受益于场景内的人的精确计数。这些应用中的一些可以与加热通风和空气调节(HVAC)控制系统、视频监控系统、零售系统和其他领域组合使用。例如，人的精确计数可以为零售商提供统计信息以判断他们的广告效果，并且其他应用可以使用计数来检测安全检查点处的尾随。市政当局也可以使用精确的场景人口计数来确定特定设施处的游客的数量。通过使用可见光谱和热感照相机计数人会导致不精确计数。

发明内容

当阴影呈现类似的形状和尺寸时，可见光谱照相机难以检测场景中的物体。热感照相机依赖于温度变化来确定或检测场景中的运动。当温度与移动物体的温度相同或接近时，热感照相机在检测移动物体中遇到问题。精确地计数人的深度传感器的应用被描述。深度信息可以用于导出头部尺寸，并且使用该信息，确定头部的检测窗口的性质。其他物体检测方法应用(一个或多个)多尺度(scale)检测器。通过经由相对物体尺寸计算去除多尺度检测，所述的技术通过单尺度检测明显地改善检测率，提供具有减小计算复杂性的增加精度。

本文中所述的实施例包括一种用于计数人的方法，其从深度传感器获得深度数据，从深度数据内从背景物体辨别前景物体，并且基于深度数据从前景物体中确定匹配目标物体的参考模型的前景物体。

在一个实施例中，深度传感器可以安装成提供场景的俯视图。深度传感器可以与可见光谱照相机组合使用以从辨别的前景物体进一步确定场景人口计数。根据一个实施例，传感器(深度或可见光谱)可以在帧之间跟踪从前景物体中被确定为匹配参考模型的一个或多个前景物体。实施例也可以包括在场景内持续预定时间段没有运动的情况下将场景人口计数重置为零。计数人的方法也可以包括从可见光谱照相机获得可见图像并且使用可见光谱照相机中的信息来检查计数的精度。

来自可见光谱照相机的信息可以包括运动信息、时间属性、位置和特征。在一个实施例中，传感器可以将元数据传送到数据中心。方法还可以包括使用深度传感器成像场景并且报告人的数量、统计结果或补充数据。在一个实施例中，从前景物体中确定背景物体匹配人头部的参考模型。

实施例可以包含或使用具有存储在其上的程序指令的计算机可读介质，所述程序指令可加载并且由处理器可执行，并且当由处理器执行时，导致处理器从深度传感器获得深度数据，从深度数据识别前景物体，并且应用机器学习应用程序以生成前景物体的分类确定，并且保持分类确定计数。程序指令还可以导致处理器从深度数据减去背景信息以识别前景物体，从可见光谱照相机获得图像数据，分析图像数据以产生图像分析结果，并且组合来自产生的图像分析结果的信息和深度数据信息以增加识别前景物体的精度。在一个实施例中，机器学习应用程序的实施例可以包括神经网络、支持向量机和/或聚类技术。程序指令可以用训练数据集训练机器学习应用程序并且在机器学习应用程序的优化中选择一个或多个特征以产生选择性特征向量。

一种用于计数人的系统可以包括接收深度数据的深度传感器、与深度传感器通信、存储深度数据的存储器。系统还可以包括与存储器通信、执行程序指令的处理器。程序指令可以配置成从深度数据减去背景信息以辨别前景物体，应用机器学习应用程序以生成前景物体的分类确定，并且保持分类确定计数。处理器还可以配置成从照相机接收视频数据并且在生成分类确定中使用来自照相机的视频数据增加机器学习应用程序的精度。

尽管本领域的普通技术人员将领会多个滤波器，但是一个实施例可以将高斯滤波器应用于来自深度数据的背景信息。系统也可以产生识别选择性特征以分析来自深度传感器的深度数据的深度特征集并且产生识别选择性特征以分析来自照相机的视频数据的视频特征集。在一个实施例中，处理器可以配置成将特征集应用于深度数据以确定深度分类和视频分类。另外，系统可以用来自深度分类和视频分类的信息计算前景物体的分类确定并且更新分类确定计数。

附图说明

从附图中示出的实施例的以下更特别描述将显而易见前述内容，其中在不同视图中相似的附图标记始终表示相同的部分。附图不一定按比例，而是强调示出的实施例。

图1是示意图，示出用于计数人的基于深度传感器的系统；

图2是方块图，示出根据一个实施例的基于深度传感器计数的软件架构的一个实施例；

图3是流程图，示出根据一个实施例的基于深度传感器计数的方法；

图4是流程图，示出根据一个实施例的基于深度传感器和可见光谱照相机计数的方法；

图5是根据一个实施例的表示从深度传感器接收的深度数据的样本帧的集合；

图6是方块图，示出根据一个实施例的深度传感器系统；以及

图7是根据一个实施例的深度传感器系统的示意图。

具体实施方式

下面是实施例的描述。

图1示出基于深度传感器110计数的系统的一个实施例的示意图。如图1中所示，提供基于深度传感器110计数的系统100。系统100包括场景105，场景是传感器/照相机可检测的视觉的范围。如场景中所示，一个或多个人可以位于诸如深度传感器110和(一个或多个)可见光谱照相机115的照相机或成像设备的一个或多个视场112、117内。可见光谱照相机115和深度传感器110可以分别包括关联视场117、112。深度传感器110和/或照相机可以与数据存储装置131关联，所述数据存储装置可以是本地的，例如在公共网络上或经由广域网120可访问。

深度传感器110从一个或多个场景采集深度数据。深度数据可以被处理以去除背景信息并且提供对在场景内具有运动的物体的聚焦。在一个实施例中，检测为在场景内具有运动的物体被传送到一个或多个部件以便分析。分析的结果可以包括将被检测物体分类为类别，例如人或非人。基于深度数据的分析一般不易受到与由于如热数据所示的温度变化引起的误报关联的误差或由于如可见光谱图像所示的阴影引起的误报关联的误差。所以，深度数据可以返回更精确的分类，其中与所述误报关联的误差的易受性是关注点。此外，通过将经滤波的数据集和目标物体的选择性特征提供给用于计数人的分类器，深度数据检测可以减小计算复杂性。

继续参考图1，数据存储装置131可以是任何合适类型的数据存储设备，例如包括存储芯片、硬盘驱动器、USB闪盘驱动器、远程可访问数据库、高速缓冲存储器和/或类似物。数据存储装置可以与深度传感器110或照相机115通信或使其与通信网络120通信并且可以包括有线和无线网络。

通信网络可以是以下的任何一种或组合：直接互连；互联网；局域网(LAN)；城域网(MAN)；互联网上的操作任务节点(OMNI)；安全定制连接；广域网(WAN)；无线网络(例如，使用协议，例如但不限于无线应用协议，和I模式；和/或类似物)。网络接口可以被视为输入/输出接口的特定形式。此外，多个网络接口可以用于与各种通信网络类型接合。例如，多个网络接口可以用于允许在广播、多播和/或单播网络上通信。

在图1中也示出与网络可操作通信的数据中心125。数据中心可以接收来自深度传感器和/或可见照相机的数据。在一个实施例中，可见照相机可以将一个或多个预定格式的图像数据经由网络120传输到数据中心125。类似地，深度传感器可以将深度数据发送到数据中心125以便处理和/或分析。在一个实施例中，数据中心125可以包括分布在网络上的一个或多个计算机系统(客户端/服务器)(未显示)。这些计算机系统可以负责接收、处理、分析、传输和/或存储：图像数据、视频数据、深度数据和/或类似数据。在一个实施例中，数据中心125可以包括、存储、实例化、运行和/或访问(例如，通过应用程序编程接口(API))下面进一步详细所述的检测引擎。

图2是方块图，示出根据一个实施例的软件架构。如图2中所示，检测引擎205可以包括运动检测部件210、视频分析部件225、深度数据分析部件230和计数推断部件240。检测引擎205与网络220、数据存储装置231和/或服务器265可操作通信。非限制地，检测引擎可以包括附加部件，例如，API、存储部件、云服务部件或类似物。

运动检测部件210可以包括使用从一个或多个传感器装置接收的数据进行物体运动检测的一种或多种方法。在一个实施例中，运动检测部件从从数据中心接收的深度数据检测物体。另外，运动检测部件可以包括脚本或程序以从从可见光谱照相机接收的图像数据检测物体。本领域的普通技术人员将认识到其他类型的数据也可以从运动检测部件接收并且被视为落在所述的实施例的范围内。由检测引擎执行的检测的一种类型是运动的检测。

运动检测可以识别人在场景中出现在哪里。可以建立背景模型以用背景减法检测运动，如高斯模型、高斯混合模型和/或非参数背景模型。可以相对于离深度传感器的距离校准深度数据以测量物体的三维(3-D)信息，如来自物体上的指定位置的形貌特征(例如，相比于座位的靠背的顶部的座椅的座位或相对于人的头部的顶部的人的腿部)。计数方法可以基于深度分割和头部检测。在一个实施例中，深度分割可以初始决定是否有人在场景中。例如，如果前景物体尺寸大于一个人，则可以应用头部检测过程以测量场景中的头部的数量。

如图所示，视频流232的连续帧可以传输到数据存储装置231或从网络220上的节点(未显示)传输。数据存储装置231可以处理视频流232并且将分析/跟踪信息236返回到检测引擎205。在一个实施例中，运动检测部件210可以以许多方式组合、联合和/或分布以便于开发和/或发布。例如，运动检测部件210可以整体地或部分地存储在数据存储装置231或服务器265中。为此，运动检测代码库可以静态地整合或动态地加载(按需)到数据存储装置231或服务器265。

在一个实施例中，检测引擎205可以从网络220上的节点接收视频流数据232并且从与检测引擎关联的一个或多个部件提供分析/跟踪信息238。检测引擎205也可以将深度/图像数据244传输到服务器265。服务器可以位于本文中所述的数据中心处。服务器可以存储并且执行与检测引擎205关联的一个或多个部件。在一个实施例中，服务器可以将基于接收的深度/图像数据的分析/跟踪信息242传输到检测引擎205。

为了补充检测过程，具有可选方向的一个或多个绊线可以设置在视场中以测量进入和离开区域的人的数量。在一个实施例中，被检测物体可能跨越绊线，并且关于该事件的元数据(例如，绊线计数、时间、位置等)可以发送到数据中心。

如上所述，检测引擎可以基于深度数据进行头部检测过程。深度数据可以存储在二维阵列中。可以校准深度数据以测量真实世界中的物体的物理位置。在校准之后，深度数据可以给出深度传感器和物体之间的距离。从该数据，可以确定待检测的头部的尺寸。

为了实现确定头部的尺寸，一个公式可以将从照相机到头部中心的距离表示为X并且将图像宽度表示为M像素。深度传感器覆盖的角可以由α表示。在X米的距离处传感器可以覆盖的物理范围可以被计算为：

w = 2 * X t a n (\frac{α}{2})

从该范围，可以基于距离导出以像素计的头部尺寸。假定平均头部半径为r米，则它可以以像素表示为：

R = \frac{r M}{2 * X t a n (\frac{α}{2})}

在一个实施例中，检测过程可以用非最大抑制法检查指定尺寸的滑动窗口以检测头部。应用非最大抑制以避免多个头部重叠在一起。

机器学习部件可以包括一个或多个机器学习应用程序以基于从一个或多个传感器装置接收的数据检测物体。在一个实施例中，机器学习部件包括用于从训练数据检测物体的行为检测方法。在一个实施例中，学习应用程序可以是随机森林、自适应增强(adaboost)、神经网络、支持向量机或类似物。随机森林是树状预测器的组合使得每个树取决于单独采样的随机向量的值并且森林中的所有树具有相同分布。当森林中的树的数量变大时森林的一般化误差收敛到极限。树状分类器的森林的一般化误差取决于森林中的单独的树的强度和它们之间的相关性。

自适应增强方法取训练集(x1；y1)…(xm；ym)作为输入，其中每个x_i属于某个域或实例空间X，并且每个标记y_i在某个标记集Y中。自适应增强在一系列轮数t＝1…T中重复地调用指定弱或基本学习功能。自适应增强方法保持训练集上的权重的分布或集合。轮数t上的训练例子i上的该分布的权重可以表示为D_t(i)。初始，相等地设置权重，但是在每个轮数上，错误分类的例子的权重增加使得弱学习器被迫聚焦于训练集中的困难例子。弱学习器的工作是找到适合于分布D_t的弱假设。弱假设的优度由其误差测量。在一个实施例中，可以相对于弱学习器在其上训练的分布D_t测量误差。弱学习器可以使用训练例子上的权重D_t。在一个实施例中，可以根据D_t采样训练例子的子集，并且这些(非加权)重采样例子可以用于训练弱学习器。

神经网络包括简单处理元件(神经)，处理元件之间的高度互连、简单标量消息和自适应交互。在一个实施例中，神经网络可以配置成用于特定应用，例如，模式识别或数据分类。神经网络为机器提供基于针对训练给出的数据自适应地学习、组织和表示来自例子的数据、实时地操作和通过冗余信息编码包括缺省公差的能力。支持向量机(SVM)是用于数据分类的机器学习应用程序的一个例子。SVM分类器一般将数据映射到高维度空间中并且用最大边界寻找分离超平面。在一个实施例中，机器学习部件接收深度数据或图像中的被检测物体的表示并且将表示映射到作为人或非人的超平面上。

一个或多个机器学习应用程序可以与一个或多个聚类技术组合使用。聚类技术一般包括将物体的集合关联到一个或多个组(类)中。在一个实施例中，从检测引擎接收的数据可以被聚类以帮助确定正被跟踪或待跟踪的物体是否应当被分类为人或非人。例如，候选数据对象可以由运动检测部件210编码以用于头部检测处理。运动检测部件210可以将候选数据对象或目标物体发送到机器学习部件(例如，SVM分类器)以便分类。机器学习部件可以返回目标物体的分类，其触发检测引擎中的附加功能，例如，计数推断部件以更新场景人口计数。

为了快速地计算特征，一个实施例可以使用量化梯度定向的一体图像来加速计算。在一个实施例中，所提出的渐进式学习程序包括：从训练深度图像手动地标记(一个或多个)头部；应用直方图定向深度梯度(HODG)来提取头部特征作为正特征并且提取其他位置的特征作为负特征。迭代循环可以初始将迭代变量设置为零，例如设置i＝0。迭代过程可以包括应用机器学习应用程序(例如，反向传播(BP)神经网络)以用指定训练数据集i学习分类器。在一个实施例中，过程可以包括用标记测试图像集i测试学习模型。学习过程可以包括将误分类特征(误报)加入训练数据集中。迭代变量可以递增，例如设置i＝i+1，并且程序可以重复过程中的一些直到学习模型稳定并且分类误差低于阈值。

深度数据分析部件230可以组合有效校准头部特征、快速特征提取和高效分类方法以获得实时头部检测。所提出的校准特征的一个特定优点在于大致头部尺寸是已知的并且不必在类似多尺度的其他方法(如直方图定向梯度(HOG)物体检测)中检测。尽管可以实现多尺度方法，但是用头部检测的单尺度方法可以减小检测过程的计算复杂性。

深度数据分析部件230可以从接收的图像数据和深度数据生成直方图。在一个实施例中，直方图定向梯度(HOG)可以从接收数据生成。另外，也可以生成直方图定向深度梯度(HODG)。在一个实施例中，头部检测可以基于生成的HODG。HODG技术计数选定窗口中的梯度定向的发生。在一个实施例中，梯度具有符号以指示梯度的实际方向和/或梯度的幅度。使用带符号的梯度，可以推断梯度是向上还是向下。窗口可以首先分成单元，例如，3x3、4x4和/或类似物。在一个实施例中，可以在单元内计算梯度定向。在一个实施例中，作为权重应用深度梯度的整体函数。加权梯度定向的直方图可以用于表示单元。加权深度梯度定向的直方图可以组合在一起以形成用于头部检测的特征向量。

深度数据分析部件230可以从图像数据和/或深度数据选择和分析特征。在一个实施例中，选择用于分析图像数据的特征的集合。例如，当接收深度/图像数据时，它可以被特征化以识别和/或提取与深度数据和/或图像数据关联的特征。来自图像和/或深度数据的帧的特征化可以取决于分类的类型。例如，非人物体的分类可以从深度和/或图像数据的帧识别和提取特征的不同集合。当识别或提取合适的特征时，它们可以与用正分类和误报预标记的训练数据集比较。来自图像和/或深度数据的特征的比较可以允许深度数据分析部件确定提取的特征是否匹配来自经训练的数据集的特征。在正在计数人的实施例中，比较可以导致人类型评分的生成以帮助分类确定。

如果一个以上的人正在进入检测区域，则深度数据分析部件230可以帮助头部跟踪。在一个实施例中，检测引擎将头部跟踪数据发送到计数推断部件240以通知计数代理。计数方法可以包括学习场景的背景模型；用预定阈值使用背景减法来检测更接近深度传感器的前景像素；使用连接部件分析将前景像素标记到断开物体中；或计算物体的尺寸。

如果物体的尺寸大于一个人的尺寸，则系统可以应用头部检测以检查是否可以找到一个以上的头部。在一个实施例中，检测到的(一个或多个)头部可以作为单独的物体被跟踪。另外，绊线可以被应用以检测是否有任何物体跨越它们。可以记录跨越检测以用于进入/离开计数。例如，“进入”计数的总和与“离开”计数的总和之间的差值是指定区域(例如，感兴趣的体积)内的人的数量。附加的运动/视觉传感器可以安装在房间中以便获得进一步的运动检测精度并且用于防止错误计数。如果室内传感器在预定时间内未检测到任何运动，则房间的当前计数可以重置为零(自动地或通过人的输入手动地)。

视频分析部件225可以包括专用于接收、处理和分析从照相机接收的数据的一个或多个部件。根据一个实施例，视频分析部件225可以与深度数据分析部件组合使用以增加检测引擎的精度。取决于检测的类型，深度数据分析部件230可以与视频分析部件225组合使用以增加基于照相机的检测的精度。

深度数据分析部件230包括基于从数据中心和/或深度传感器接收的深度数据检测场景中的物体的一个或多个部件。深度传感器不会“看见”可以在可见照相机系统中实现物体分割的阴影和反射。深度传感器可以补充来自热感照相机的热数据，原因是没有实现深度传感器的运动检测的温度变化。检测引擎205可以将任务分配给深度数据分析部件和其他部件以帮助计数人。部件集合可以基于深度信息执行与头部检测关联的程序指令。

在一个实施例中，深度数据分析部件可以与其他部件(例如，运动检测部件)一起工作以执行程序指令从而基于深度信息执行头部检测。执行的头部检测可以将数据传输到计数推断部件以帮助保持场景人口计数。在一个实施例中，可以校准深度数据以测量真实世界中的物体的物理位置。在校准之后，深度数据可以提供深度传感器和物体之间的距离。头部检测过程可以组合有效校准头部特征、快速特征提取、高效分类方法以获得实时头部检测。所提出的(一个或多个)校准特征的一个方面在于可以预先确定场景或视场的估计头部尺寸。深度数据分析部件可以使用滑动尺度方法来确定被检测物体是否匹配指定参考模型。例如，滑动尺度方法可以确定检测到的物体或物体特征是否在滑动尺度的界限内。

计数推断部件240可以保持场景中的被检测物体的计数。在一个实施例中，服务器265从检测引擎205接收计数信息244。服务器265然后可以导出最后计数数量的集合，例如在指定时间在视场中的人的数量，在一段时间内在视场中的人的数量，等等。在一个以上位置(例如，具有多个入口门厅、楼层、楼梯间等的建筑物)由检测引擎监视的一个实施例中，服务器可以导出建筑物或与建筑物关联的位置的子集的联合计数。例如，当物体进入和离开场景时，计数推断部件可以保持场景人口计数。为了寻址在类似时间和在物理接近位置出现在场景中的个体，计数推断部件240可以从绊线或用于检测运动的红外运动检测器接收附加数据。计数推断部件可以使场景人口计数数据与被接收或基于来自位置深度传感器、可见光谱照相机和/或绊线的信息的活动数据相关。

在一个实施例中，数据中心可以存储与检测引擎关联的一个或多个部件，接收和存储图像和/或深度数据，以及分配与检测引擎关联的处理任务。在一个实施例中，数据中心从一个或多个数据存储装置接收图像和/或深度数据。数据中心可以包括负责从接收的数据识别和提取特征的检测引擎服务器。其他分布式部件也可以与检测引擎通信从而当分类时帮助确定从(一个或多个)传感器和/或(一个或多个)照相机接收的特征是否落在一个或多个类别中。

图3示出根据一个实施例的基于传感器计数人的方法的流程图。如图3中所示，方法300包括从安装成提供场景的俯视图的深度传感器获得深度数据。场景的俯视图可以是从上方的直接竖直(90°)视图。俯视图也可以是从上方的大致90°(允许误差30°)的视图。方法也可以在深度数据内从背景物体310辨别前景物体315。一种或多种背景减法技术也可以用于从背景物体辨别前景物体。在一个实施例中，方法可以从前景物体中确定指定前景物体315，基于深度传感器数据匹配头部参考模型。

图4是流程图，示出根据一个实施例的基于深度传感器和可见光谱照相机计数的方法400。用于计数的方法可以从深度传感器获得深度数据并且从可见光谱照相机获得可见图像405。在一个实施例中，方法可以从可见光谱照相机获得包括运动、时间属性、位置和特征的信息409。用于计数人的方法可以包括将元数据传送到数据中心409。例如，元数据可以包括关于照相机的位置、时间戳、关联物理地址(例如，建筑物名称)的信息。方法可以从深度数据和可见图像内从背景物体辨别前景物体411。在一个实施例中，计数人可以从前景物体中确定前景，基于深度数据匹配目标物体的参考模型，其中目标物体是人头部413。计数人的方法可以从前景物体确定场景人口计数415。在一个实施例中，方法可以包括使用深度传感器成像场景417并且报告人的数量、统计结果或补充数据419。

例如，统计结果可以包括关于物体在场景中出现的频率或物体在场景中出现的平均时间的信息。补充数据可以包括关于场景中的未检测物体的信息。例如，关于场景中的未检测物体的信息可以包括描述位于场景中的零售商所提供的产品的信息。补充数据可以包括特定位置的指定产品是否吸引人的注意的确定。指定产品是否吸引注意的确定可以包括行为检测，例如，人停留预定时间段以观看未检测物体。

用于计数的方法400可以检查运动。例如，附加的运动/视觉传感器可以安装在房间中以便获得进一步的运动检测精度并且用于防止错误计数。如果室内传感器在预定时间内未检测到任何运动，则房间的当前计数可以重置为零423(自动地或通过人的输入手动地)。如果检测到运动，则方法400可以继续获得深度数据和可见图像。

图5包括深度数据的样本帧。如图5中所示，第一帧505示出根据一个实施例的背景模型。样本帧505示出一些白色像素，其中深度信息可能不可用并且可以由检测引擎减去。

在图5中也示出样本输入帧510。输入帧510是移动物体如何可以由深度数据表示的一个例子。帧510的中心示出什么可以是或不是人，例如，人眼睛可以推断图像的中心的物体具有类似于两个肩部和人头部的顶部的外观。帧510中的深度数据还未经历背景减法，其中帧中的非移动物体至少部分地从帧去除。帧520示出背景减法之后检测到的移动物体。如图5中所示，与帧505和510中的物体相比，在帧520中检测到的移动物体具有与背景的更鲜明对比。如样本帧520中所示，在图像的中心的潜在目标的左边的物体可以由人眼睛推断为动物或宠物。

在一个实施例中，从背景减法检测移动物体，如上所述。量的空间变化可以由斜坡表示。梯度表示该斜坡的陡度和方向。在一个实施例中，定向深度梯度的直方图(HODG)通过(一个或多个)深度梯度方向的分布描述深度图像内的局部物体外观和形状。可以通过将图像分成被称为单元的小连接区域并且对于每个单元编译单元内的像素的梯度方向的直方图而获得该实施例。这些直方图的组合然后表示描述符。梯度计算可以在水平和竖直方向两者上应用1-D定心、点离散微分模板。具体地，用以下滤波核滤波图像的深度数据：[-1,0,1]和[-1,0,1]^T。

直方图部件可以产生单元直方图。例如，单元内的每个像素可以基于在替代计算中找到的值对基于定向的直方图通道进行加权投票。单元自身可以在形状上为矩形或放射状，直方图通道均匀地散布在0到360度上。关于投票权重，像素贡献可以包括梯度幅度或梯度幅度的函数。

帧525和530是示出头部窗口及其相应深度梯度幅度和定向的帧。帧525是示出没有相应深度梯度和幅度的头部窗口的样本帧。帧530是分成四乘四单元的头部窗口。如帧530中所示，周边单元上的深度梯度幅度和定向具有比位于四个内部单元中的深度梯度幅度和定向更大的长度。与表示从头部的侧面到头部的顶部的距离的差异的较短幅度和定向相比，该差异可能表示从头部的侧面到相邻单元中的肩部的更大距离。在一个实施例中，每个单元可以基于梯度幅度和定向构造直方图。直方图可以组合以形成描述头部窗口的特征向量。

图6是方块图，示出根据一个实施例的深度传感器系统600。如图6中所示，深度传感器系统600包括第一传感器605、第二传感器610、第三传感器615和数据中心。在一个实施例中，深度传感器可以向下安装以检测运动并且计数进入和离开区域的人的数量。深度传感器可以包括与单色互补金属氧化物半导体(CMOS)传感器组合的红外激光投影仪，其在环境光条件下捕捉3D视频数据。

传感器可以包括数字信号处理器(DSP)和/或现场可编程门阵列(FPGA)。DSP/FPGA是配置成处理深度数据的计算单元并且可以板载嵌入有深度传感器。由DSP/FPGA处理的计数信息可以经由网络处理和数据挖掘发送到数据中心。取决于特定实施例，可以通过实现微控制器获得深度传感器系统的特征。而且，为了实现深度传感器系统的某些特征，一些特征实施例可能依赖于嵌入部件，如：专用集成电路(ASIC)、DSP、FPGA或类似的嵌入技术。例如，深度传感器系统(分布式或另外方式)可以经由微处理器和/或经由嵌入部件实现；例如，经由ASIC、协处理器、DSP、FPGA或类似物。替代地，深度传感器系统的一些实施例可以用配置成并且用于获得各种特征或信号处理的嵌入部件实现。

在一个实施例中，多个深度传感器可以安装在数据收集点，如可以监视进入和离开的进入房间的门。如果进入房间有多个门，则可以针对每个门安装深度传感器。在一个实施例中，关于计数信息的元数据可以发送到数据中心以便进一步处理。视频分析结果的元数据可以包括物体和事件的描述。元数据也可以是关于事件的信息，例如但不限于物体合并、分裂、出现、消失等。

图7是示出人计数(PC)平台700的实施例的方块图。在该实施例中，PC平台可以用于聚集、处理、存储、搜索、服务、识别、指导、生成、匹配和/或便于与计算机交互。典型地，可以是人和/或其他系统的用户可以接合信息技术系统(例如，计算机)以便于信息处理。转而，计算机使用处理器处理信息；这样的处理器可以被称为中央处理单元(CPU)。一种形式的处理器被称为微处理器。CPU使用通信电路传送用作指令的二进制编码信号以允许各种操作。这些指令可以是操作和/或数据指令，其包含和/或引用存储器(例如，寄存器、高速缓冲存储器、随机存取存储器等)的各种处理器可访问和可操作区域中的其他指令和数据。信息系统可以用于收集数据以便以后检索、分析和操作，其可以通过数据库程序737促进。

在一个实施例中，PC平台可以连接到实体和/或与实体通信，例如但不限于：一个或多个用户从用户输入设备(例如，闪存/SD/SSD)；外围设备，例如监控设备或照相机701；可选的密码处理设备；和/或通信网络720。网络通常被认为包括图像拓扑中的客户端、服务器和中间节点的互连和互操作。应当注意在本申请中到处使用的术语“服务器”一般地表示处理并且响应通信网络上的远程用户的要求的计算机、其他设备、程序或它们的组合。服务器739将其信息服务于请求“(一个或多个)客户端”。在本文中使用的术语“客户端”一般地表示能够处理和作出请求并且获得和处理来自通信网络上的服务器的任何响应的计算机、程序、其他设备、用户和/或它们的组合。

PC平台可以基于一个或多个计算机系统，所述计算机系统可以包括中央处理单元(“(一个或多个)CPU”和/或(一个或多个)处理器)(这些术语在本公开中可互换使用，除非相反地说明)，存储器(例如，只读存储器(ROM)、随机存取存储器(RAM)、高速缓冲存储器等)，和/或输入/输出端口，并且可以通过具有导电和/或另外传输电路路径的一个或多个(母)板上的系统总线互连和/或通信，指令(例如，二进制编码信号)可以通过所述电路路径传递以实现通信、操作、存储等。

处理器和/或收发器可以作为内部和/或外部外围设备(例如，传感器)经由I/O端口互连。转而，收发器可以连接到(一个或多个)天线，由此实现各种通信和/或传感器协议的无线通信和接收。CPU包括足以执行用于执行用户和/或系统生成请求的程序部件的至少一个高速数据处理器。通常，处理器自身将包含各种专用处理单元，例如但不限于：集成系统(总线)控制器，存储器管理控制单元，浮点单元，乃至专用处理子单元，如图形处理单元、数字信号处理单元，和/或类似单元。另外，处理器可以包括内部快速访问可寻址存储器，并且能够映射和寻址超出处理器自身的存储器；内部存储器可以包括但不限于：快速寄存器、各种级别的高速缓冲存储器(例如，1、2、3级等)、RAM等。

嵌入部件可以包括软件解决方案、硬件解决方案和/或硬件/软件解决方案的某个组合。存储接口(例如，数据存储装置731)可以接收、通信和/或连接到多个存储设备，例如但不限于：存储设备、可移动磁盘设备、固态驱动器(SSD)和/或类似物。存储接口可以使用连接协议，例如但不限于：(超)(串行)先进技术附件(包接口)((超)(串行)ATA(PI))，(增强)集成驱动电子设备((E)IDE))，电气和电子工程师协会(IEEE)1394，光纤通道，小型计算机系统接口(SCSI)，通用串行总线(USB)，和/或类似物。

(一个或多个)网络卡可以接收、通信和/或连接到通信网络720。通过通信网络720，用户通过远程客户端(例如，具有网页浏览器的计算机)可访问PC平台。网络接口可以使用连接协议，例如但不限于：直接连接，以太网(粗、细、双绞线10/100/1000BaseT和/或类似物)，令牌环，无线连接(如IEEE802.11a-x)，和/或类似物。云服务725可以与PC平台通信。云服务可以包括平台即服务(PaaS)模型层，基础设施即服务(IaaS)模型层和软件即服务(SaaS)模型层。SaaS模型层通常包括由中心位置管理和更新、在互联网上发布并且通过访问端口提供的软件。PaaS模型层通常提供服务以开发、测试、发布、托管和维护集成开发环境中的应用程序。IaaS模型层通常包括虚拟化，虚拟机，例如虚拟服务器、虚拟桌面，和/或类似物。

输入输出接口(I/O)可以接收、通信和/或连接到用户输入设备、外围设备、密码处理设备和/或类似物。视频接口复合由计算机系统生成的信息并且基于复合信息在视频存储器帧中生成视频信号。另一输出设备是从视频接口接收信号的电视机。典型地，视频接口通过接收视频显示接口的视频连接接口(例如，接收复合视频电缆的复合视频连接器；接收DVI显示电缆的DVI连接器，等等)提供复合视频信息。

外围设备可以与I/O和/或其他设施连接和/或通信，如网络接口、存储接口、直接连接到接口总线、系统总线、CPU和/或类似物。外围设备可以在PC平台的外部、内部和/或作为PC平台的一部分。外围设备可以包括：天线，音频设备(例如，内线、外线、麦克风输入、扬声器等)，照相机(例如，静物照相机、摄像机、摄像头等)，电子狗(例如，用于复制保护，用数字签名保证安全交易，和/或类似物)，外部处理器(用于增加能力；例如，密码设备)，力反馈设备(例如，振动马达)，网络接口，打印机，扫描仪，存储设备，收发器(例如，移动电话、GPS等)，视频设备(例如，护目镜、监视器等)，视频源，视像器，和/或类似物。外围设备常常包括输入设备的类型(例如，照相机)。

一般地，允许处理器实现信息的存储和/或检索的任何实施例和/或实施例被视为存储器。应当理解PC平台和/或计算机系统可以使用各种形式的存储器。在典型配置中，存储器将包括ROM、RAM和存储设备。存储设备可以是任何常规计算机系统存储装置。存储设备可以包括(固定和/或可移动)磁盘驱动器；磁光驱动器；光驱；设备的阵列(例如，独立磁盘冗余阵列(RAID))；固态存储设备(USB存储器，固态驱动器(SSD)等)；其他处理器可读存储介质；和/或其他类似设备。因此，计算机系统703通常需要并且使用非临时和/或临时存储器。

用户接口部件741是由CPU执行的存储程序部件。用户接口可以是由操作系统733和/或操作环境提供、带有操作系统和/或操作环境或设在其上的图形用户接口。用户接口可以通过纹理和/或图形设施允许程序部件和/或系统设施的显示、执行、交互、处理和/或操作。用户接口提供设施，用户可以通过所述设施影响、交互和/或操作计算机系统。用户接口可以与包括自身的部件集合和/或类似设施中的其他部件通信。

网页浏览器部件是由CPU执行的存储程序部件。网页浏览器可以是常规超文本查看应用程序。安全网页浏览可以通过HTTPS、SSL和/或类似物提供128位加密。网页浏览器和类似信息访问工具可以集成到移动设备中。网页浏览器可以与包括自身的部件集合和/或类似设施中的其他部件通信。浏览器可以与信息服务器、操作系统、集成程序部件(例如，插件)和/或类似物通信；例如，它可以包含、通信、生成、获得和/或提供程序部件、系统、用户和/或数据通信、请求和/或响应。而且，代替网页浏览器和信息服务器，可以开发组合应用程序以执行两者的类似操作。

PC平台引擎组705中的任何一个的结构和/或操作可以以许多方式组合、联合和/或分布以便于开发和/或发布。类似地，部件集合可以以许多方式组合以便于开发和/或发布。为此，一种方式可以以集成方式将部件集成到公共代码库中或可以按照需要动态地加载部件的设施中。引擎组705部件可以以无数变化通过标准数据处理和/或开发技术联合和/或分布。程序部件集合735中的程序部件中的任何一个的多个实例可以在单节点上和/或多个节点上实例化以通过负载平衡和/或数据处理技术改善性能。此外，单个实例也可以分布在多个控制器和/或存储设备上；例如，数据库。协同工作的所有程序部件实例和控制器可以通过标准数据处理通信技术这样做。

PC平台的配置将取决于系统发布的环境。包括但不限于预算、容量、位置和/或底层硬件资源的使用的因素可能影响发布要求和配置。不管配置是否导致更多的联合和/或集成程序部件、导致更多的程序部件的分布系列和/或导致联合和分布配置之间的某个组合，可以通信、获得和/或提供数据。从程序部件集合联合到公共代码库中的部件的实例可以通信、获得和/或提供数据。这可以通过应用程序内数据处理通信技术实现，例如但不限于：数据引用(例如，指示器)，内部消息，对象实例变量通信，共享存储器空间，变量传递，和/或类似技术。

在某些实施例中，本文中所述的程序、设备和方法构成包括计算机可读介质(例如可移动存储介质，如一个或多个DVD-ROM、CD-ROM、磁盘、磁带等)的计算机程序产品，其提供系统的软件指令的至少一部分。在本领域中众所周知，这样的计算机程序产品可以由任何合适的软件安装程序安装。在另一实施例中，软件指令的至少一部分也可以在电缆、通信和/或无线连接上被下载。

实施例也可以作为存储在可以由一个或多个处理器读取和执行的非临时机器可读介质上的指令实现。非易失性机器可读介质可以包括用于以机器(例如，计算设备703)可读的形式存储或传输信息的任何机构。例如，非易失性机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；和其他装置。

尽管已参考其示例性实施例显示和描述了本发明，但是本领域的技术人员将理解可以在本文中进行形式和细节上的各种变化而不脱离由附带的权利要求包含的本发明的范围。

Claims

1.一种方法，其包括：

从深度传感器获得深度数据，所述深度传感器安装成提供场景的俯视图；

从所述深度数据内从背景物体辨别前景物体；以及

基于所述深度数据从所述前景物体中确定匹配目标物体的单尺度参考模型的指定前景物体。

2.如权利要求1所述的方法，其还包括：

计算所述指定前景物体的相对物体尺寸；

基于深度数据和相对物体尺寸导出头部尺寸；

基于所述头部尺寸限定检测窗口的性质；以及

基于将所述检测窗口应用到所述指定前景物体，生成场景人口计数。

3.如权利要求2所述的方法，其还包括在预定时间段内在场景内没有运动的情况下将所述场景人口计数重置为零。

4.如权利要求1所述的方法，其还包括在所述深度数据的逐帧之间跟踪从所述前景物体中被确定为匹配所述参考模型的一个或多个前景物体。

5.如权利要求1所述的方法，其还包括从可见光谱照相机获得可见图像，并且使用所述可见光谱照相机中的信息检查所述计数的精度。

6.如权利要求5所述的方法，其中来自所述可见光谱照相机的信息包括运动、时间属性、位置和特征。

7.如权利要求6所述的方法，其还包括将元数据传送到数据中心。

8.如权利要求1所述的方法，其还包括使用所述深度传感器成像场景。

9.如权利要求1所述的方法，其还包括报告人的数量、统计结果或补充数据。

10.如权利要求1所述的方法，其中所述目标物体是人头部。

11.一种具有存储在其上的程序指令的计算机可读介质，所述程序指令由处理器可执行，并且当加载并且由所述处理器执行时，导致所述处理器：

从深度传感器获得深度数据；

从所述深度数据识别前景物体；

应用机器学习应用程序以生成所述前景物体的分类确定；以及

保持分类确定计数。

12.一种系统，其包括：

深度传感器，所述深度传感器配置成成像物体的深度以采集深度数据；

与所述深度传感器通信的存储器，所述存储器配置成存储所述深度数据；

与所述存储器通信的处理器，所述处理器配置成执行程序指令，所述程序指令导致所述处理器：

从所述深度数据内从背景物体辨别前景物体；以及

基于所述深度数据从所述前景物体中确定匹配目标物体的参考模型的指定前景物体。

13.如权利要求12所述的系统，其中所述处理器还配置成：

计算所述指定前景物体的相对物体尺寸；

基于所述深度数据和相对物体尺寸导出头部尺寸；

基于所述头部尺寸限定检测窗口的性质；以及

基于将所述检测窗口应用到所述指定前景物体生成场景人口计数。

14.如权利要求12所述的系统，其中所述处理器还配置成在所述深度数据的逐帧之间跟踪从所述前景物体中被确定为匹配所述参考模型的一个或多个前景物体。

15.如权利要求13所述的系统，其中所述处理器还配置成在预定时间段内在场景内没有运动的情况下将所述场景人口计数重置为零。

16.如权利要求12所述的系统，其中所述处理器还配置成从可见光谱照相机获得可见图像并且使用所述可见光谱照相机中的信息检查所述计数的精度。

17.如权利要求16所述的系统，其中来自所述可见光谱照相机的信息包括运动、时间属性、位置和特征。

18.如权利要求17所述的系统，其中所述处理器还配置成将元数据传送到数据中心。

19.如权利要求12所述的系统，其中所述处理器还配置成使用所述深度传感器成像场景。

20.如权利要求12所述的系统，其中所述处理器还配置成报告人的数量、统计结果或补充数据。

21.如权利要求12所述的系统，其中所述目标物体是人头部。