CN108701211B - 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统 - Google Patents

Abstract

一种用于执行实时地检测、跟踪、估计或识别占用中的至少一个的基于深度感测的系统，其包括处理器、计算机可读介质和经由系统总线彼此通信地耦合的通信接口。占用估计模块被集成到系统中。通过利用人的位置、身高和头半径来表示细粒度占用估计模块（FORK）的贪婪二分匹配算法也被集成到系统中。

Description

用于实时地检测、跟踪、估计和识别占用的基于深度感测的 系统

相关申请的交叉引用

本申请要求2015年12月28日提交的美国临时专利申请系列号62/271,529的优先权，其内容通过引用被并入本文中，如同完全地包含在本文中一样。

技术领域

本公开一般地涉及深度传感器和占用估计，并且更特别地涉及用于实时地执行检测、跟踪、估计或识别占用中的至少一个的基于深度感测的系统。

背景技术

除非在本文中另外指示，在该部分中描述的材料不是本申请中的权利要求的现有技术，并且不通过包括在该部分中被承认为现有技术。

人存在检测和对人计数已经是研究的活跃领域。对检测人存在、对人计数、跟踪个体以及确定身份的现有技术解决方案的调查。

占用估计对于包括建筑物能量效率、安全和安保的广泛的应用而言是非常有用的。供暖、通风和空调（HVAC）是美国内的能量消耗的主要来源，因为2006年中美国内近似35%的能量被用于HVAC。HVAC系统通过假设每个房间中的最大占用来操作，这导致了显著的能量浪费，例如，当房间中仅有10个人时为30个人员提供通风的HVAC系统。向HVAC系统馈送占用计数使能减少这样的能量浪费以及使能基于区域的加热和冷却。当谈到照明控制时，基于PIR运动传感器的解决方案经常在人在内部但是没有移动时将灯关闭，以及甚至在每个人都从房间离开之后保持灯打开达超时间隔并且因此浪费能量。以实时估计占用者的数量使能解决该两个问题。在美国内，几乎每个建筑物都具有烟雾检测器和火灾警报器，但是这些建筑物几乎都没有用于占用估计的传感器。因此，当存在火灾时，确定多少人被困在建筑物中变得非常困难。一种准确的占用估计解决方案对于救援操作而言是非常有用的。此外，在银行、博物馆、幼儿园以及中学中，占用估计帮助确定是否每个人都在白天的结束时离开，以改善安全和安保。

若干占用估计解决方案在使用断束（break-beams）传感器、超声传感器、相机和热成像器的市场上和文献中是可用的。当多个人同时地通过门进入或者离开时，基于断束传感器的解决方案不起作用。基于超声传感器的解决方案要求大量训练并且它们是宠物不友好的。红绿蓝（RGB）相机对于部署在许多环境中（例如，在办公室房间中）而言是过于侵犯隐私的，并且它们在黑暗中不起作用。低分辨率（例如，8×8像素的松下GridEYE）热成像器对于检测同时地进入/离开的多个人而言不具有足够好的分辨率，而高分别率成像器是非常昂贵的，例如，32×32热电堆阵列传感器花费超过$200（例如，海曼（Heimann）传感器）。

所需要的是用于实时执行检测、跟踪、估计或识别占用中的至少一个的可靠且高效率的深度感测系统。

发明内容

以下阐述了在本文中公开的某些实施例的概要。应当理解的是，仅呈现这些方面来向读者提供这某些实施例的简要概要，并且这些方面不意图限制本公开的范围。实际上，本公开可以包含可能没有在下文阐述的多种方面。

本公开的实施例涉及一种基于深度感测的系统，包括：深度传感器，其用于检测在 场所中的占用者的数量；以及占用识别模块，其耦合到深度传感器并且被配置成执行以下 各项中的至少一项：验证、跟踪或识别进入和在场所的占用者的数量，其中占用识别模块被 配置成验证占用者是人还是非人、跟踪正在进入或在场所的占用者、以及识别以下各项中 的至少一项：占用者的头半径、肩大小、身高、行走速度。基于深度感测的系统进一步包括深 度估计模块，其被配置成扫描占用者的各种深度级别并且提取至少占用者的头半径、肩大 小或身高的轮廓。深度估计模块被耦合到深度传感器或者集成到占用识别模块中。深度估 计模块或占用识别模块中的至少一个包括以下各项中的至少一项：贪婪二分匹配算法、朴 素贝叶斯（）、多层感知器、随机森林或K*。通信接口将系统通信地耦合到外部 设备。外部设备可以是个人计算机或台式计算机、膝上型计算机、蜂窝或智能电话、平板计 算机、个人数字助理（PDA）、可穿戴设备、游戏控制台、音频设备、视频设备、娱乐设备、HVAC、 控制器、照明设备、服务器、网络以及系统。深度传感器可以是飞行时间（TOF）传感器、光学 传感器、成像传感器、声传感器、运动传感器、全球定位系统传感器、热传感器或环境传感 器。在一个实施例中，深度传感器被集成到成像相机中。

根据本公开的另一个示例性实施例，一种基于深度感测的系统，包括：深度传感器，其用于检测在场所中的占用者的数量；以及占用识别模块，其被耦合到深度传感器，占用识别被配置成生物统计学地跟踪进入或者在场所的占用者、提取特征的阵列，所述特征由跨越通过阈值的占用者的头半径、肩大小、身高、行走速度中的至少一个组成，以及基于提取的数据来识别在场所中的占用者的数量。基于深度感测的系统进一步包括深度估计模块，其被配置成扫描占用者的各种深度级别并且提取至少占用者的头半径、肩大小或身高的轮廓。深度估计模块被耦合到深度传感器或者集成到占用识别模块中。深度估计模块或占用识别模块中的至少一个包括以下各项中的至少一项：贪婪二分匹配算法、朴素贝叶斯、多层感知器、随机森林或K*。通信接口将基于深度感测的系统通信地耦合到外部设备。外部设备是以下各项中的至少一项：个人计算机或台式计算机、膝上型计算机、蜂窝或智能电话、平板计算机、个人数字助理（PDA）、可穿戴设备、游戏控制台、音频设备、视频设备、娱乐设备、HVAC、控制器、照明设备、服务器、网络以及系统。

附图说明

当参考附图阅读某些示例性实施例的以下详细描述时，本公开的这些和其他特征、方面和优点将变得更好理解，在附图中，相同的字符贯穿附图表示相同的物品（art），其中：

图1A图示了根据本公开的示例性实施例的深度感测网络系统100的框图；

图1B图示了安装在入口通道上方的深度感测系统；

图1C图示了图1B的深度感测系统的框图；

图2是划分成多个房间的建筑物的楼层的示意图；

图3是图示了在时间帧中的占用估计的图表；

图4图示了根据示例性实施例的细粒度占用估计模块（FORK）的概述的框图；

图5A图示了利用原始深度数据的预处理步骤；

图5B图示了在中值过滤之后的预处理步骤；

图5C图示了利用地板深度替换噪声像素和异常值之后的预处理步骤；

图6A图示了在级别5'处的多级扫描；

图6B图示了在级别4'6"处的多级扫描；

图6C图示了在级别4'处的多级扫描；

图6D图示了在检测轮廓之后的头的中心和半径的确定；

图7图示了使用半椭球体的头的建模；

图8A、8B、8C和8D图示了在清晰环境中的肩检测；

图8E、8F、8G和8H图示了当头遮断肩时在清晰环境中的肩检测；

图8I、8J、8K和8L图示了其中对象靠近于门和附近的人的实例；

图9A图示了根据示例性实施例的在预处理和中值过滤之后的门检测步骤；

图9B图示了根据示例性实施例的在丢弃了距离地面低于1英尺和高于2英尺的深度数据之后的门检测步骤；

图9C图示了根据示例性实施例的在坎尼边缘检测（Canny edge detection）之后的门检测步骤；

图9D图示了根据示例性实施例的在霍夫线变换（Hough line transformation）之后的门检测步骤；

图9E图示了根据示例性实施例的门检测的最后步骤；

图10是图示了根据示例性实施例的在不同帧速率下的占用估计性能的图表；以及

图11是图示了使用各种机器学习算法的针对不同数量的训练样本的占用识别性能的图表，所述各种机器学习算法包括朴素贝叶斯、多层感知器、随机森林和K*。

具体实施方式

呈现以下描述以使得任何本领域技术人员能够制造和使用描述的实施例，并且在特定应用及其要求的上下文中提供以下描述。对本领域技术人员而言，对描述的实施例的各种修改将是容易地显而易见的，并且在不脱离描述的实施例的精神和范围的情况下，可以将在本文中定义的一般原理应用到其他实施例和应用。因此，描述的实施例不限于示出的实施例，而是要符合与在本文中公开的原理和特征相一致的最宽的范围。

图1A图示了根据本公开的示例性实施例的深度感测网络系统100的框图。网络系统100包括通过网络104经由通信链路L通信地耦合到服务器102的基于深度感测的占用跟踪和估计系统100。服务器102可以是应用服务器、证书服务器、移动信息服务器、电子商务服务器、FTP服务器、目录服务器、CMS服务器、打印机服务器、管理服务器、邮件服务器、公共/专用访问服务器、实时通信服务器、数据库服务器、代理服务器、流媒体服务器或者诸如此类。网络104可以包括网络系统100内的一个或多个子网络和服务器102。网络104可以是例如局域网（LAN）、城域网（MAN）、广域网（WAN）、具有专用子网络的主公共网络、具有公共子网络的主专用网络或者具有专用子网络104的主专用网络。又另外的实施例包括可以是任何网络类型的网络104，该网络类型诸如点到点网络、广播网络、电信网络、数据通信网络、计算机网络、ATM（异步传输模式）网络、SONET（同步光学网络）网络、SDH（同步数字体系）网络、无线网络、有线网络以及诸如此类。取决于应用，可以使用其他网络以使得可以通过网络来传输在客户端机器与服务器之间交换的数据。网络104的网络拓扑可以在不同实施例内而不同，其可以包括总线网络拓扑、星型网络拓扑、环形网络拓扑、基于中继器的网络拓扑或者分层星型网络拓扑。附加的实施例可以包括在移动设备之中使用协议来通信的移动电话网络的网络，其中协议可以是例如AMPS、TDMA、CDMA、GSM、GPRS、UMTS、LTE或者能够在移动设备之中传输数据的任何其他协议。虽然在场所中提供了仅一个深度感测系统100，但是在相同的场所中可以安装多于一个深度感测系统100。如果存在多于一个场所，则可以在每个场所中安装至少一个深度感测系统100。多个深度感测系统100可以被安装和连接到位于深度感测系统与服务器102之间的被定义为主网络的一个或多个子网络。场所可以是房间、地方、无论开放的还是关闭的空间、任何普通事物（commonplace）、任何专用访问地方或位置以及诸如此类。深度感测系统100被配置成实时检测在场所中的占用者的数量，如以下进一步详细描述的那样。

通信链路L可以是有线的、无线的或其组合。网络系统50可以被用在办公室中的普通事物、企业范围的计算机网络、内联网、互联网、公共计算机网络或其组合中。无线通信链路可以包括蜂窝协议、数据分组协议、射频协议、卫星频带、红外信道或者能够在客户端机器之中传输数据的任何其他协议。有线通信链路可以包括任何有线线路链路。至少一个机器106经由网络104和服务器102中的至少一个被通信地耦合到深度感测系统100。机器106可以是个人计算机或台式计算机、膝上型计算机、蜂窝或智能电话、平板计算机、个人数字助理（PDA）、可穿戴设备、游戏控制台、音频设备、视频设备、诸如电视、车辆信息娱乐或者诸如此类的娱乐设备。在另一实施例中，诸如HVAC、控制器、照明设备、受控制的设备或控制器之类的外部设备可以被通信地耦合到该系统。

图1B图示了安装在场所108上的基于深度感测的占用跟踪和估计系统100。场所108包括入口通道110，并且深度感测系统100被安装在入口通道100的上方。为了简单起见，从附图省略了门。场所可以是房间、地方、无论开放的还是关闭的空间、任何普通事物、任何专用访问地方或位置以及诸如此类。深度感测系统100通过无线或有线通信接口被通信地耦合到服务器、网络、客户端机器和深度感测系统中的一个或多个。由能源给深度感测系统100供电。

图1C图示了图1B的基于深度感测的占用跟踪和估计系统100的框图。系统100包括传感器112、处理器114、计算机可读介质116、通信接口118、输入/输出接口120以及图形用户接口（GUI）122。取决于应用，用于执行未在本文中定义的其他特征的其他计算机实现的设备可以被并入到系统100中。一个或多个系统总线B耦合到一个或多个计算机实现的设备112、114、116、118、120、122用于促进各种计算机实现的设备112、114、116、118、120、122、一个或多个输出设备、一个或多个外围接口与一个或多个通信设备之间的通信。系统总线220可以是任何类型的总线结构，包括存储器或存储器控制器、外围总线、本地总线和任何类型的总线架构。传感器112是深度传感器，有时被称为飞行时间（TOF）传感器，其被配置成实时地检测在场所中的占用者的数量。虽然图示了一个传感器102，但是可以将多于一个深度传感器布置在系统100内。诸如光学传感器、成像传感器、声传感器、运动传感器、全球定位系统传感器、热传感器、环境传感器以及诸如此类的其他类型的传感器可以被耦合到深度传感器并且被安装在系统100内。在一些实施例中，其他非深度传感器作为单独的设备可以被电耦合到系统100。处理器114可以是在由客户端机器106执行的计算机可执行指令（诸如程序模块）的控制下操作的通用微处理器或专用微处理器。程序模块通常包括执行特定任务或者实现特定抽象类型的例程、程序、对象、部件、数据结构以及诸如此类。处理器114可以是微处理器（μP）、微控制器（μC）、数字信号处理器（DSP）或者其任何组合。处理器114可以包括高速缓存的一个或多个级别（诸如级别高速缓存存储器）、一个或多个处理器核心以及寄存器。示例处理器核心114可以（每个）包括算数逻辑单元（ALU）、浮点单元（FPU）、数字信号处理核心（DSP核心）或其任何组合。在一个实施例中，子处理器中的一些或全部可以被实现为有形地存储在存储器中的计算机软件，以在被执行时执行它们相应的功能。在替代的实施例中，子处理器中的一些或全部可以在ASIC中实现。如图示的那样，处理器114是被配置成处理深度数据的低功率微处理器。

计算机可读介质116可以被划分或者以其他方式被映射以反映各种子部件的边界。计算机可读介质116通常包括易失性介质和非易失性介质二者、可移动介质和非可移动介质。例如，计算机可读介质116包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现的易失性介质和非易失性介质二者、可移动介质和非可移动介质、CD-ROM、DVD、光盘存储设备、磁带盒、磁带、磁盘存储设备或者其他磁性存储设备或者其可以被用来存储期望的信息以及其可以由客户端机器访问的任何其他介质。例如，计算机存储介质可以包括随机存取存储器（RAM）、诸如BIOS之类的只读存储器（ROM）的组合。通信介质通常包括计算机可读指令、数据结构、程序模块或者在诸如载波或其他传输机制之类的调制的数据信号中的其他数据，并且包括任何信息传递介质。通信介质还可以包括诸如有线网络或直接连线的通信的有线介质，以及诸如声、RF、红外（IR）和其他无线介质的无线介质。上述内容中的任何内容的通信还应当被包括在计算机可读介质的范围内。

输入/输出子系统120包括能够控制机器操作的不同方面的各种最终用户接口，所述各种最终用户接口诸如显示器、键盘、操纵杆、鼠标、轨迹球、触摸板、触摸屏或平板计算机输入、脚踏控制、伺服控制、游戏手柄输入、红外或激光指示器、基于相机的手势输入以及诸如此类。例如，用户可以通过打字、触摸屏幕、说一句话、录制视频或其他类似的输入来输入信息。通信接口118允许软件和数据在计算机系统与其他外部电子设备之间以信号的形式来传递，所述信号可以是例如电子信号、电磁信号、光信号或能够被通信接口118接收的其他信号。通信接口118可以是例如调制解调器、网络接口、通信端口、PCM-CIA槽和卡以及诸如此类。

占用估计模块124被并入系统100中。在一些实施例中，模块124可以被通信地耦合到一个或多个计算机实现的设备112、114、116、118、120、122。在另一实施例中，模块124可以被嵌入到处理器114中并且被配置成实时检测在场所中的占用者的数量，如以下进一步详细描述的那样。

图2图示了将贯穿本说明书被用来辅助描述基于深度感测的占用跟踪和估计系统100的建筑物200的特定楼层的布局示例。楼层被划分成各种会议室224a-224c、办公室226a、226b以及大厅办公室228a-228c。在一些实施例中，楼层可以进一步包括其他房间，诸如厨房、图书馆、一般邮件收发室以及任何类型的场所。在每个房间224a-224c、226a-226b、228a-228c内，安装深度感测系统100a-100g以实时检测每个房间中的占用者的数量。如图示的那样，深度感测系统100a-100g被安装在房间224a-224c、226a-226b、228a-228c的入口通道的上方。深度感测系统100a-100g通信地耦合到一个或多个网络，并且服务器由相同的能源来供电或者单独地供电。在没有在附图中标记的一些房间中，可以安装可选的深度感测系统以检测该房间中的占用者的数量。

图3图示了在时间帧（即，针对特定部署的两周）内获得的占用图300的图表。X轴表示占用改变的日期和时间304。Y轴表示在该日期和时间处的对应的占用计数306。例如，其示出了在九月25日下午1:00，在该特定房间中有44个人310b。

图4图示了其中接收深度数据输入用于处理的占用估计模块的高级框图。位于入口通道上方的基于深度感测的占用跟踪和估计系统100的深度传感器112检测在进入到特定房间中或者离开特定房间时的至少一个对象。然后显示检测到的深度数据用于预处理以移除嵌入深度数据中的噪声。以低的帧速率在客户端设备106上或者在深度感测系统100的显示器上显示如在图5A中图示的至少一个深度图像500。在一个示例中，深度图像500具有在30FPS下产生的512×424分辨率。取决于应用，可以显示其他类型的分辨率。在图像中生成的深度数据流可能是噪声非常大的。深度帧或深度图像中的每个像素提供从深度感测系统100到最近对象的以毫米为单位的距离。然而，在存在噪声的情况下，对应的像素具有值0。

如在图5A的图像500中描绘的最暗的像素是噪声。人的头的部分502是有噪声的。为了使深度图像平滑，如果深度数据是有噪声的话，则在图4的步骤404处执行诸如具有5×5窗口的中值过滤之类的预处理。如果深度数据没有噪声，则不执行中值过滤。在中值过滤之后，在图5B中图示预处理的图像510。然后我们将噪声像素和异常值（深度过高）重置到地板深度，其图像520在图5C中示出。通过计算帧的深度值的直方图来计算地板深度，其中具有最大数量的深度数据点的箱（bin）被认为是地板。在一些实施例中，可以在应用中值过滤之前计算地板深度，并且在建立直方图时忽略所有噪声像素。

在步骤404之后，执行在步骤406处的多级扫描，其中系统100扫描几个潜在的深度级别来检测人。对于每个级别，系统在级别408处提取潜在头的轮廓并且忽略在该级别以下的深度数据。使用轮廓，深度估计模块检测轮廓的最小包围圆，所述最小包围圆提供了头的近似中心和半径。对于每个识别的圆，模块使用3D深度数据来验证其是否是个体，即人还是非人。步骤408继续验证头和肩的存在。为了在步骤410、412中验证头和肩，通过利用人头和肩的人测量属性来使用取向不变的3D人模型，因为这些人测量属性是从天花板看到的最突出的身体部分。取向不变的3D人模型可以被集成到深度估计模块中或者集成到系统100中作为单独的计算机实现设备。此后，在步骤414和416中，系统100跟踪个体以确定他们是否正在通过附近的门进入里面或者去往外面来对人计数。系统100在步骤418中确定门的位置并且然后在步骤414中跟踪个体以确定他们是否正在进入或者离开特定房间，以估计在该房间中的占用者的数量。

图6A-6D图示了在多级扫描过程期间由深度感测系统100获得的图像600。确定了在不同身高级别下全部潜在的头的最小包围圆的中心和半径。

通常，成年男性的平均身高是大约5'7"到5'11"并且成年女性的平均身高是大约5'2"到5'7"。系统估计地板深度，例如从地板以每6英寸的间隔6'到2'来扫描深度数据。当系统在身高级别扫描深度数据时，在该级别以下的全部深度数据被丢弃。图6A-6C示出了分别在级别5'、4'6"和4'处扫描之后的深度数据。作为示例，当系统在6'处扫描时，如果人A和人B分别具有身高6'6"和6'1"，则分别仅显示他们的头的顶部6"和1"。系统进一步在该深度级别处检测全部轮廓。对于每个轮廓而言，系统使用迭代算法来找到最小包围圆，其给予我们头的中心和半径。一些具有比是头的阈值更小的半径的圆被丢弃。例如，人B在6'级别扫描处可能被丢弃，但是在级别5'6"扫描处被检测到。对于每个检测的中心和半径，系统通过使用如在等式1中定义的头验证来验证头的存在以及使用以下进一步描述的肩验证来验证肩的存在来验证其是否是人。注意，可以在不同级别处检测到人。扫描过程通过从顶部在一点处扫描开始，并且当系统在较高深度级别处验证了人时，在更低级别处的全部附近的中心然后都被丢弃。

虽然扫描过程需要在不同级别处被渲染，但是可以使用不同线程并行执行在全部级别处的扫描。此外，为了加速，系统可以不在与背景相比不包括足够深度数据的级别处扫描。系统通过在不同扫描级别处（例如6英寸的箱大小）建立深度数据点的直方图来确定近似背景。每次，系统通过假设目前在一个级别处看到的深度数据点的最小数量是来自背景的来更新直方图，这合理地捕获了环境中的墙、门、桌子等。

图7图示了根据本公开的描述的实施例的头建模图像700。给定头的中心（cx，cy）和半径（r），系统验证在该位置处是否存在人头。使用取向不变的半椭球体来对人头建模。

在图7中描绘了被定义为半椭球体的椭球体的上半部。由公式（1）来表示在笛卡尔坐标系中的椭球体，其中a、b和c是半轴的长度以及（cx，cy，cz）是椭球体的中心。

[等式1]。

如果a=b=c，则椭球体变成球体。由于轴线中的两个不同单元是需要的，因此设置a=b=r（以像素为坐标），以及设置c=0.5*D（以深度为坐标），其中D是人头的深度。基于人头的平均长度，设置D=220 mm。设置cx=cx、cy=cy以及cz=T+0.5*D，其中T是深度感测系统100与头之间的最小距离（根据轮廓内的深度数据计算）。我们对检测到的轮廓的x、y值迭代并且使用公式（1）来计算针对每个（x，y）的z值并且将其与深度帧中的对应的z值比较。如果平均差别小于阈值Thead，则报告检测到的头。由于通过对许多对象进行估计，所述许多对象包括儿童、戴着头巾和规则帽子的人、留有马尾辫的女人以及空椅子、箱子和台灯的移动，将Thead设置成40。

图8A-8L图示了其中检测到肩的各种图像800。给定头804的中心（cx，cy）和半径（r）来验证靠近该位置是否存在人的肩802。为了验证肩，考虑了围绕头和肩的感兴趣的区域（ROI）。人的两个肩之间的端到端距离是他的头直径的大约三倍，并且因此我们选择头周围稍微较大的方形ROI。图8A示出了一个这样的ROI。系统通过丢弃比T+D更高的全部深度数据来从其提取头，如在图8B中示出的那样。系统从图8A减去图8B中的信息来获得肩深度数据，如在图8C中图示的那样。高于T+D+S的全部深度数据被设置成零值，其中S是肩的深度。S被设置成250 mm，因为~10英寸深度对捕获肩而言是足够合理的。系统确定从先前的步骤获得的深度数据是否与肩符合。在一个实施例中，系统检测轮廓并且测量与椭球形的拟合优度。在另一实施例中，系统计算深度数据的直方图，并且检查是否存在具有足够深度数据点来表示肩的至少箱。使用肩验证因此避免了任何球形对象，例如，球、气球、球形灯或者诸如此类。在一些实施例中，头验证可以被用于对人计数。在另一实施例中，肩大小计算可以被用于识别和跟踪占用者。

图9A-9E图示了其中检测到门910的各种图像900。系统100被安装在如在图1B中示出的入口通道上方，其中平行于门来安装深度传感器的X轴。系统通过分析经过利用该安装策略的深度数据来自动地确定门位置。

为了检测门位置，系统100以预处理的图像开始，并且以内核大小5来执行中值过滤，如在图9A中图示的那样。接下来，例如通过利用最大地板深度来替换非常靠近于地面（例如在1英尺之内）以及在地面以上2英尺的深度数据来丢弃这些深度数据，如在图9B中图示的那样。该过程通过得到在后续步骤中利用的如在图9C中图示的地板附近的边缘（特殊边缘或SE）而是有用的。将人（图示的是一个人906）包括在设置中来展示处理这样的情况的能力。系统继续检测坎尼边缘来增加对比度并且降低另外的噪声，如在图9C中图示的那样。执行坎尼边缘上的霍夫线变换来检测如在图9D中描绘的直线。系统100从候选的霍夫线中选择具有最高累加器投票（vote）的线，所述线与深度帧的X轴最平行。在图9D中，示出了具有最高累加器投票并且与深度帧的X轴平行的线912。现在参照图9E，线AB被示出并且与图9D中图示的线912类似。线AB表示门的位置。如果某人从左侧/右侧走并且在不跨越AB的情况下进入房间中，则可能不被系统检测到。诸如线CD、DE和EF之类的一条或多条线可以如在图9E中图示的那样被添加/绘制，定义为帧。系统将线AB设置为帧CDEF的中线。如果门太宽，则系统可以仍能够检测线AB，因为线AB形成于帧CDEF内。如果需要的话，耦合到系统或集成到系统中的训练模块可以更新门位置。这样的配置改善了占用估计的准确度，特别是在低帧速率下。

在一些实施例中，深度感测网络系统100可以执行基本的跟踪来确定人是否通过门走进或走出以准确地对他们计数。在另一实施例中，深度感测网络系统100可以执行生物计量跟踪来识别和跟踪个体。例如，深度感测网络系统可以通过使用利用人的位置、身高和头半径的轻量贪婪二分匹配算法来对进入或在房间的对象跟踪来执行基本的跟踪。轻量贪婪二分匹配算法被集成到系统100或者耦合到系统100的训练模块中。

假设系统分别在先前的帧中和在当前的帧中检测到N和M个人。对于每个配对的人（i，j）而言，其中i∈{1,2,3,...,N}以及j∈{1,2,3,...,M}，系统将头中心之间的距离、头半径的差异以及他们的身高的差异规格化。然后系统通过使用这三个距离来计算加权的距离。当人从一侧走到另一侧时，观察到人的身高变化高达40毫米。因此，设置了对身高差异的0.5权重。设置了对头中心之间的距离的1的权重，并且为头半径的差异设置了类似的权重。如果对人而言头中心距离太高以至于不能在两个连续的帧之间移动，则将距离设置成无穷远。然后系统以升序将距离分类、配对、标记配对的距离，并且在随后的配对中避免经配对的距离。如果某人j∈{1,2,3,...,M}没有被配对，则系统在当前的帧中添加该人。然而，如果某人i∈{1,2,3,...,N}没有被配对，则系统不立即丢弃该人。因为，可能的是帧中的某人被漏掉并且在接下来的帧中可能被检测到。对于漏掉的人，系统基于人的平均行走速度和方向来预测人的当前位置，并且相应地更新人的头的中心的位置。为了这么做，每次人被配对，系统就更新人的平均行走速度和方向。

系统处理低帧速率状况，其中某人可能在连续的帧之间移动了相当大的距离。这可能在当某人（P1）通过门离开并且另外的某人（P2）在接下来的帧从门的另一侧进入时跟踪中负面地影响。可能看起来P1已经朝向他的相反的方向移动并且可能错误地增加/减少了占用计数。在P1的头在当前帧漏掉时，贪婪二分匹配尝试将较早帧的P1与当前帧的P2匹配。为了避免它，考虑了行走方向并且如果匹配要求方向的反转，则系统检查在当前和先前的帧中在其相应预测的位置处是否存在P1的深度阴影。通过深度阴影，这意味着头被漏掉，但是在该位置附近看到了部分的身体轮廓。如果深度阴影存在，则系统假设在P2进入同时P1在/曾经在那里，并且不允许该匹配。

如较早前描述的那样，深度感测网络系统100可以执行生物计量跟踪来识别和跟踪个体。例如，每次当某人进入/离开时，深度感测网络系统100提取有关对象的身高、头半径、肩大小、进去/出来以及行走速度的38个简单的特征。虽然公开了38个简单的特征，但是取决于应用，可以提取多于或少于38个简单的特征。在一个示例中，系统提取有关包括最小值、最大值、平均值的身高的12个特征，并且当在进入/离开事件期间人正在跨越阈值（诸如帧CDEF和线AB）时从深度数据提取身高。提取了有关头半径和肩大小的类似特征。耦合到系统或集成到系统中并且包括若干机器学习算法中的至少一个的训练模块被配置成识别个体。机器学习算法包括以下各项中的至少一个：朴素贝叶斯、多层感知器、随机森林或K*。在一些实施例中，机器学习算法可以在任何一个云（网络104）中运行。在另一实施例中，机器学习算法可以在除了训练模块之外的占用估计模块、占用者识别模块中运行。占用估计模块、占用者识别模块或者诸如此类可以被集成到系统100中或者通信地耦合到系统100。以下部分示出了针对不同量的训练数据其性能如何变化的示例。

为了确定网络系统100是否可以识别房间占用者（谁进入/离开），11个对象被要求各通过门并且回来10次。这提供了被用在该事后分析中的具有地面实情（ground truth）的11*2*10=220个数据点。每次当某人进入/离开时，提取38个简单特征，如以上描述的那样。使用220个进入/离开事件的这些特征来执行10折交叉验证，并且使用朴素贝叶斯分类器在占用者识别中获得97.27%的准确度。对于多层感知器、随机森林和K*分类器，准确度分别是95%、96.36%和98.18%。为了看到需要多少训练，训练实例的数量从1到18变化，并且针对全部这些4个方法在图11中示出了其余的数据的占有人识别准确度。图表示出了利用仅6个样本，对于全部的方法而言准确度超过80%，利用K*分类器达到91.56%的准确度。利用10个样本，全部分类器达到超过90%的准确度。利用17个训练样本，K*达到100%的准确度。这示出了用于通过在中等大小的办公室中识别个体来将房间环境（例如，室温、光强）个性化的巨大的潜力。结合建筑物楼层平面图（floorplan）和多个假设测试，这些特征也被用于实时地遍及建筑物来跟踪个体。

为了对场所中的人计数，针对该帧内的每个人，系统确定Di，如果人在门i的左侧处则所述Di是1并且否则所述Di是0，其中i∈{1,2}。为了在左侧处，某人的头中心必须在针对门1的线段AB的左边，并且在针对门2的全部三个线段CD、DE和EF的左边。如果某人的Di从1（在先前的帧处）改变为0（在当前的帧处），则系统增加占用计数。如果之后人Dj（j不等于i）的方向从1改变为0，则系统不再增加计数。然而，如果之后Di或者Dj从0改变为1，则系统减少占用计数并且忽略后续类似的改变（0到1）。

已经通过示例的方式示出了以上描述的实施例，并且应当理解的是，这些实施例容许各种修改和替代的形式。应当进一步理解的是，权利要求不意图被限制成公开的特定形式，而是覆盖落入本公开的精神和范围内的全部修改、等同物和替代物。

虽然已经参考各种实施例描述了本专利，但是应当理解的是，这些实施例是说明性的并且本公开的范围不限于它们。许多变化、修改、添加和改进是可能的。更一般地，在上下文或特定实施例中已经描述了根据本专利的实施例。在本公开的各种实施例中，功能可以被不同地分离或组合在块中，或者利用不同术语来描述。这些和其他变化、修改、添加和改进可以落入如在跟随的权利要求中限定的本公开的范围内。

Claims (18)

1.一种基于深度感测的系统，包括：

深度传感器，其用于检测在场所中的占用者的数量；以及

占用识别模块，其耦合到深度传感器并且被配置成执行以下各项中的至少一项：验证、跟踪或识别进入和在场所的占用者的数量，其中占用识别模块被配置成：

验证占用者是人还是非人；

跟踪正在进入或在场所的占用者；以及

识别以下各项中的至少一项：占用者的头半径、肩大小、身高、行走速度，其中所述基于深度感测的系统进一步包括：深度估计模块，其被配置成进行预处理，以扫描占用者的各种深度级别并且提取占用者的头的轮廓，并且进一步被配置成通过使用取向不变的3D人模型来验证头的存在以及验证肩的存在，其中为了验证肩，考虑围绕头和肩的感兴趣的区域(ROI)，并且其中基于深度感测的系统被进一步配置成检测门的位置，并确定占用者是否进入或离开场所，以估计在场所处的占用者的数量。

2.根据权利要求1所述的基于深度感测的系统，其中深度估计模块被耦合到深度传感器。

3.根据权利要求1所述的基于深度感测的系统，其中深度估计模块被集成到占用识别模块中。

4.根据权利要求3所述的基于深度感测的系统，其中占用识别模块包括以下各项中的至少一项：贪婪二分匹配算法、朴素贝叶斯、多层感知器、随机森林或K*。

5.根据权利要求2所述的基于深度感测的系统，其中深度估计模块包括以下各项中的至少一项：贪婪二分匹配算法、朴素贝叶斯、多层感知器、随机森林或K*。

6.根据权利要求1所述的基于深度感测的系统，进一步包括通信地耦合到外部设备的通信接口。

7.根据权利要求6所述的基于深度感测的系统，其中外部设备从由以下各项组成的组选择：个人计算机或台式计算机、膝上型计算机、蜂窝或智能电话、平板计算机、个人数字助理(PDA)、可穿戴设备、游戏控制台、音频设备、视频设备、娱乐设备、HVAC、控制器、照明设备、服务器、网络以及系统。

8.根据权利要求1所述的基于深度感测的系统，其中深度传感器是飞行时间(TOF)传感器。

9.根据权利要求1所述的基于深度感测的系统，其中深度传感器从由以下各项组成的组选择：光学传感器、成像传感器、声传感器、运动传感器、全球定位系统传感器、热传感器以及环境传感器。

10.根据权利要求1所述的基于深度感测的系统，其中深度传感器被集成到成像相机中。

11.根据权利要求1所述的基于深度感测的系统，其中深度传感器被集成到相机中。

12.一种基于深度感测的系统，包括：

深度传感器，其用于检测在场所中的占用者的数量；以及

占用识别模块，其耦合到深度传感器并且被配置成：

生物计量地跟踪进入或者在场所的占用者；

提取包括以下各项中的至少一项的特征的阵列：跨越通过阈值的占用者的头半径、肩大小、身高、行走速度；以及

基于提取的数据来识别在场所中的占用者的数量，其中所述基于深度感测的系统进一步包括深度估计模块，其被配置成进行预处理，以扫描占用者的各种深度级别并且提取占用者的头的轮廓，并且进一步被配置成通过使用取向不变的3D人模型来验证头的存在以及验证肩的存在，其中为了验证肩，考虑围绕头和肩的感兴趣的区域(ROI)，并且其中基于深度感测的系统被进一步配置成检测门的位置，并确定占用者是否进入或离开场所，以估计在场所处的占用者的数量。

13.根据权利要求12所述的基于深度感测的系统，其中深度估计模块被耦合到深度传感器。

14.根据权利要求12所述的基于深度感测的系统，其中深度估计模块被集成到占用识别模块中。

15.根据权利要求14所述的基于深度感测的系统，其中占用识别模块包括以下各项中的至少一项：贪婪二分匹配算法、朴素贝叶斯、多层感知器、随机森林或K*。

16.根据权利要求13所述的基于深度感测的系统，其中深度估计模块包括以下各项中的至少一项：贪婪二分匹配算法、朴素贝叶斯、多层感知器、随机森林或K*。

17.根据权利要求12所述的基于深度感测的系统，进一步包括通信地耦合到外部设备的通信接口。

18.根据权利要求17所述的基于深度感测的系统，其中外部设备从由以下各项组成的组选择：个人计算机或台式计算机、膝上型计算机、蜂窝或智能电话、平板计算机、个人数字助理(PDA)、可穿戴设备、游戏控制台、音频设备、视频设备、娱乐设备、HVAC、控制器、照明设备、服务器、网络以及系统。