CN110709900A - 使用易于安装的ir阵列传感器来测量通过出入口的人流 - Google Patents

Abstract

公开了使用低分辨率、低成本的红外阵列来测量通过出入口的人流的方法。该方法包括从红外阵列读取传感器数据帧序列；确定背景温度帧；使用噪声滤波技术来确定传感器数据帧是否包括至少一个人；标识与至少一个人对应的至少一组相邻像素；确定与至少一个人对应的至少一个位置；以及确定至少一个人与先前传感器数据帧中的人是否为同一个人。基于通过多个传感器数据帧的同一个人的匹配，可以确定移动方向和进入/退出事件。进入/退出事件可以有利地用于更加高效且有效地操作HVAC系统、安全系统或其他此类系统。

Description

使用易于安装的IR阵列传感器来测量通过出入口的人流

本申请要求于2017年6月5日提交的美国临时申请序列号62/515,147的优先权，其公开内容通过引用以其整体并入本文。

技术领域

在本文档中公开的方法和系统涉及建筑物占用感测，并且更特别地涉及使用红外阵列传感器来测量通过出入口（doorway）的人流。

背景技术

多年来，提高建筑物的能量效率是研究的活跃领域，并且全球正在努力减少能量浪费。建筑物中消耗的能量占商业和住宅部门消耗的总能量的很大一部分。HVAC系统通常是建筑物中最耗能的组件。物联网（IoT）技术的最新发展已经开始了现代建筑物管理的新时代。正在部署各种类型的感测平台，以了解占用者的深入行为以进行高效的建筑物能量和占用者舒适度管理。可以准确估计房间中的占用者数量的技术可能成为该空间中许多应用的关键促成者。例如，建筑物中的占用者的估计数量可以用于控制HVAC系统并节省大量能量。占用估计在其他领域（诸如安全和营销）中也很有价值。

研究界和工业部门提出的用于人员计数的常规解决方案未能以低成本提供准确性、隐私性、可伸缩性和安装灵活性。特别地，基于断束传感器的解决方案（其使用主动IR信号中的中断来检测通过门的物体）是市场上可获得的最便宜的人员计数解决方案。然而，这些解决方案具有非常严格的关于在出入口处放置断束传感器的限制。特别是，传感器必须放置在特定的高度处并直接指向彼此，从而致使解决方案在一些场景下难以部署或甚至不可能部署。此外，当多个人同时通过出入口时，断束传感器不能准确计数，从而致使该解决方案仅对狭窄的出入口有用。

其他较高成本的解决方案也存在各种问题。特别地，使用吊顶安装的高分辨率热成像器的解决方案可以准确地计数场景中的人数，但是对于大规模部署而言价格昂贵，并且需要取决于传感器的位置和取向进行训练。基于RGB相机的解决方案很准确，但引发了阻碍在许多住宅和商业环境中的部署的严重的隐私问题。基于超声传感器的解决方案需要大量的训练才能达到合理的占用估计准确性，并且不适合宠物。

因此，提供一种以低成本提供准确性、隐私性、可伸缩性和安装灵活性的人员计数解决方案将是有利的。

发明内容

公开了一种测量通过出入口的人流的方法。该方法包括：用处理器从查看出入口的红外阵列读取传感器数据帧序列，每个传感器数据帧具有像素网格，每个像素具有温度值；用处理器将背景温度帧确定为来自传感器数据帧序列的预定数量的初始传感器数据帧的按像素平均；用处理器针对预定数量的初始传感器数据帧之后的传感器数据帧序列中的每个传感器数据帧使用标识不包括至少一个人的传感器数据帧的至少一种滤波技术来确定每个相应传感器数据帧是否包括至少一个人；用处理器针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧标识与至少一个人对应的相应传感器数据帧中的至少一组相邻像素；用处理器针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定与至少一个人对应的相应传感器数据帧中的至少一个位置；和用处理器针对确定包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定相应传感器数据帧中的至少一个人与传感器数据帧序列中的先前传感器数据帧中的人是否为同一个人。

公开了一种用于测量通过出入口的人流的传感器系统，该传感器系统包括：红外阵列，其具有布置成为网格并取向成查看出入口的多个红外传感器；和可操作地连接到红外阵列的处理器。该处理器被配置成：从红外阵列读取传感器数据帧序列，每个传感器数据帧具有像素网格，每个像素具有温度值；将背景温度帧确定为来自传感器数据帧序列的预定数量的初始传感器数据帧的按像素平均；针对预定数量的初始传感器数据帧之后的传感器数据帧序列中的每个传感器数据帧使用标识不包括至少一个人的传感器数据帧的至少一种滤波技术来确定每个相应传感器数据帧是否包括至少一个人；针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧标识与至少一个人对应的相应传感器数据帧中的至少一组相邻像素；针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定与至少一个人对应的相应传感器数据帧中的至少一个位置；和针对确定包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定相应传感器数据帧中的至少一个人与传感器数据帧序列中的先前传感器数据帧中的人是否为同一个人。

附图说明

结合附图在下面的描述中解释了该方法和系统的前述方面以及其他特征。

图1是示出用于感测通过出入口的人流的传感器系统的示例性实施例的示意图。

图2是图1的传感器系统的红外阵列和计算设备中的示例性电子组件的框图。

图3示出了用于测量通过出入口的人流的方法的逻辑流程图。

图4示出了在测试期间来自示例性IR阵列的每个像素的温度读数，其中IR阵列放置在距泡沫板（foam plate）很近的距离处。

图5示出了与背景温度帧的像素值偏差的示例性直方图分布。

图6示出了在应用Otsu的阈值化之后被分类为有人和没有人的示例性帧。

图7示出了噪声滤波技术的不同组合之间的实验性能差异。

图8示出了在将不同的温度阈值应用于示例性传感器数据帧之后的示例性阈值帧。

图9示出了比较仅具有一个人的示例性帧和具有两个人的示例性帧的每一列的总和的图。

具体实施方式

为了促进对本公开原理的理解的目的，现在将参考在附图中图示并且在以下书面说明书中描述的实施例。应当理解，由此并不意图限制本公开的范围。还应理解，本公开包括对所示实施例的任何改变和修改，并且包括本公开所属领域的技术人员通常会想到的本公开原理的进一步应用。

传感器系统

参考图1-2，描述了用于感测通过出入口10的人流的传感器系统100的示例性实施例。应当理解，人员计数在智能建筑物中具有许多应用。例如，基于每个房间中的占用者数量来调节HVAC系统可以节省大量的能量。另外，可以通过确定占用者的数量和位置来管理建筑物的安全性和安全。在一些实施例中，传感器系统100被配置成将关于进入和退出出入口10的人数的信息发送到中央控制系统等，该中央控制系统使用该信息来操作HVAC系统、安全系统或其他系统。如下面进一步详细讨论的，传感器系统100通过以低成本提供准确性、隐私性、可伸缩性和安装灵活性来对常规的人员计数解决方案进行改进。

参考图1，传感器系统100包括可操作地连接到计算设备120的红外（IR）阵列110。在所示的实施例中，传感器系统100（特别是IR阵列110）被安装到和/或集成于出入口10的顶部部分12。如将在下面进一步详细讨论的，该配置在一些情况（例如，宽出入口或短出入口）下可以具有改进的性能。然而，在用标签100'、110'和120'指示的另一实施例中，传感器系统100'可以被安装到和/或集成于出入口10的侧部14或16中的一个，这在其他情况（例如，狭窄的出入口或较高的出入口）下可以提供改进的性能。

通常，将IR阵列110安装在出入口的顶部处具有更容易检测框架中的多个人（其对于宽出入口是更常见的场景）的优点。然而，将IR阵列110安装在非常高的出入口的顶部上可能导致较低的准确性。相比而言，如果将IR阵列110安装在出入口的侧面中，则传感器可以看到身体的大部分，从而在一些情况下产生更高的准确性。然而，如果两个人以很近的距离行走，则靠近传感器的人会遮挡另一人。因此，侧面安装的解决方案最适于其中两个人通常不会同时进入的狭窄的门。

参考图2，示出了IR阵列110的示例性实施例。IR阵列110包括IR传感器112的相对低分辨率的阵列（例如，如所示的8×8阵列）。每个IR传感器112被配置成检测红外光并提供表示检测到的红外光的输出信号。在一个实施例中，可以布置IR传感器112以便提供预定的视场（例如，60°视场）。在至少一个实施例中，IR阵列110包括被配置成将输出信号转换成数字传感器数据的模数转换器114。在一个实施例中，IR阵列110包括被配置成从模数转换器114接收数字传感器数据的微控制器116。微控制器116可以是各种微控制器或微处理器中的任何一个，如本领域普通技术人员将认识到的那样。

在一个实施例中，微控制器116被配置成对数字传感器数据执行各种预处理步骤，诸如对数字传感器数据加时间戳和/或以预定或可调整的帧率（例如10 Hz）将传感器数据封装成图像帧（例如，8x8图像帧）。在一些实施例中，微控制器116被配置成执行数字传感器数据的进一步处理，以基于数字传感器数据来确定包括热存在、方向和温度值的附加数字输出。在一个实施例中，微控制器116被配置成与I/O接口118结合操作，以向外部设备（例如，计算设备120）输出数字传感器数据（被预处理或其他方式）和附加数字输出以在那里进一步处理和使用。在一个实施例中，IR阵列110可以被配置成在具有不同功率使用的各种不同功率模式下操作，诸如使用4.5mA的正常模式、使用0.2mA的睡眠模式、以及使用0.8mA的待机模式。

应当理解，图2所示的IR阵列110的实施例是IR阵列110的仅一个示例性实施例。这样，图2的IR阵列110的示例性实施例仅表示以本文阐述的方式操作的IR阵列的各种方式或配置中的任何一个。

返回图1，IR阵列110安装到和/或集成于出入口10，使得IR传感器112的阵列面向与出入口10的内部或框架正交的方向。例如，在其中IR阵列110安装到和/或集成于出入口10的顶部部分12的实施例中，IR传感器112的阵列面向朝向地板20的方向18。类似地，在其中IR阵列110安装到和/或集成于出入口10的侧部之一14的实施例中，IR传感器112的阵列面向朝向另一侧部16的方向18'。然而，即使IR阵列110由于安装误差或安装约束而以非正交的角度被安装，传感器系统100也具有鲁棒的性能，因为其在以非正交的角度安装时仍然可以感测框架中的人。

参考图2，示出了计算设备120的示例性实施例。计算设备120包括处理器122、存储器124、收发器126和I/O接口128。处理器122可以是本领域普通技术人员将认识到的各种处理器中的任何一种。本领域普通技术人员将认识到，本文使用的“处理器”包括处理数据、信号和/或其他信息的任何硬件系统、硬件机构或硬件组件。处理器可以包括具有中央处理单元、多个处理单元、用于实现功能的专用电路和/或其他系统的系统。处理器122可操作地连接到存储器124、收发器126和I/O接口128，并且被配置成与I/O接口128结合操作以从IR阵列110接收数字传感器数据（经预处理或其他方式）和/或任何附加数字输出。

存储器124被配置成存储程序指令，所述程序指令当由处理器122执行时使得计算设备120能够提供如本文所述的特征、功能、特性等。存储器124可以是能够存储处理器122可访问的信息的任何类型的设备，诸如存储卡、ROM、RAM、具有写能力的存储器、只读存储器、硬盘驱动器、磁盘、闪速存储器、或本领域普通技术人员将认识到的用作数据存储设备的各种其他计算机可读介质中的任何一种。

收发器126可以是被配置用于与其他电子设备通信的各种设备中的任何一种，其包括发送通信信号和接收通信信号的能力。收发器126可以包括被配置成与不同的网络和系统通信的不同类型的收发器。在一个实施例中，收发器126被配置成使用诸如Wi-Fi、蓝牙、RFID、NFC、ZigBee、Z-Wave或以太网之类的协议来交换数据。

应当理解，图2所示的计算设备120的实施例是计算设备120的仅一个示例性实施例。因此，图2的计算设备120的示例性实施例仅表示以本文阐述的方式操作的计算设备的各种方式或配置中的任何一种。

测量通过出入口的人流的方法

下面描述用于操作传感器系统100的方法。特别地，描述了操作IR阵列110和/或计算设备120以测量通过出入口10的人流的方法。在方法的描述中，方法执行某个任务或功能的陈述是指控制器或通用处理器执行存储在可操作地连接到控制器或处理器的非暂时性计算机可读存储介质中的编程指令以操纵数据或操作传感器系统100中的一个或多个组件来执行任务或功能。特别地，上面的IR阵列110的微控制器116和/或计算设备120的处理器122可以是这样的控制器或处理器。替代地，控制器或处理器可以用多于一个处理器以及相关联的电路和组件来实现，其每个被配置成形成本文所述的一个或多个任务或功能。另外，方法的步骤可以以任何可行的时间次序执行，而不管图中所示的次序或描述步骤所采用的次序如何。

图3示出了用于测量通过出入口的人流的方法200的逻辑流程图。特别地，方法200至少检测移动通过出入口的人的进入和退出事件。方法200通过使得计算设备120的处理器122和/或IR阵列110的微控制器116能够使用低成本且低分辨率IR传感器阵列准确地检测移动通过出入口的人的进入和退出事件来对计算设备120的处理器122和/或IR阵列110的微控制器116的功能进行改进。另外，与常规解决方案相比，方法200是实时执行的，保护隐私的并且具有较少的部署约束。特别地，IR阵列100的放置和取向不如常规的基于断束传感器的解决方案那样受约束。另外，该解决方案几乎没有隐私问题，因为分辨率如此低且人体温度如此相似以至于几乎不可能唯一地标识占用者。方法200通过利用Otsu的阈值化和建模热噪声分布的组合来有利地处理感测环境中的现实和动态改变。实验结果示出估计房间中的占用者数量中的平均93％准确性。与方法200相结合，传感器系统100的轻便、低功率和低成本性质使其成为针对大规模部署（例如，商业建筑物、学术建筑物、医院、饭店和购物中心）负担得起的解决方案。

在启动时（框210），方法200开始于从红外阵列读取传感器数据帧序列的步骤，每个传感器数据帧具有像素网格，每个像素具有温度值（框220）。特别地，关于本文详细描述的实施例，计算设备120的处理器122被配置成在启动时执行存储在存储器124上的指令以从IR阵列110接收和/或读取数字传感器数据。在至少一个实施例中，处理器122被配置成以预定帧率（例如10Hz）以传感器数据帧（例如8×8帧）的时间序列的形式接收和/或读取数字传感器数据。每个传感器数据帧包括以具有等于IR阵列110的分辨率的尺寸的网格（例如，8×8网格）组织的多个像素。在一个实施例中，处理器122被配置成操作存储器124以在缓冲区和/或队列中临时存储接收到的传感器数据帧以用于处理。

方法200继续进行以下步骤：将背景温度帧确定为来自传感器数据帧序列的前预定数量的传感器数据帧的按像素平均（框230和240）。特别地，关于本文详细描述的实施例，计算设备120的处理器122被配置成执行存储在存储器124上的指令以确定表示由IR阵列10看到的出入口10的背景温度模式和/或红外模式的背景温度帧。在至少一个实施例中，处理器122被配置成计算前预定数量T_bg的传感器数据帧（例如，前250个帧）的按像素平均。处理器122被配置成将背景温度帧形成为像素网格（例如，8×8网格），其具有等于前预定数量T_bg的传感器数据帧中的对应像素值的平均的值。在一个实施例中，处理器122被配置成周期性地（例如，每7天）重新计算背景温度帧。

在该背景确定阶段期间的关键要求是场景中不存在诸如人类或热物体之类的临时热源。在一些实施例中，处理器122被配置成仅在未检测到临时热源的情况下确定背景温度帧。在一个实施例中，处理器122被配置成响应于传感器数据帧包括在背景确定阶段期间改变了预定阈值的像素（其指示临时热源的存在）而重新开始背景确定阶段。在一个实施例中，传感器系统100可以包括附加的传感器，诸如PIR传感器（未示出），其被配置成在背景确定阶段期间检测临时热源。

方法200继续进行以下步骤：预处理接收到的传感器数据帧中的每个（框250）。特别地，关于本文详细描述的实施例，计算设备120的处理器122被配置成执行存储在存储器124上的指令，以使用每个帧的测量像素的线性插值来增加接收到的传感器数据帧的分辨率。在一个实施例中，处理器122被配置成增加每个帧的分辨率，包括用于确定背景温度帧的前预定数量T_bg的传感器数据帧。在其他实施例中，处理器122被配置成简单地在确定背景温度帧之后增加背景温度帧的分辨率并且在前预定数量T_bg的传感器数据帧之后增加每个帧的分辨率。在一些实施例中，可以执行附加的预处理步骤。

方法200继续进行以下步骤：针对来自传感器数据帧序列的前预定数量的传感器数据帧之后的每个传感器数据帧，使用至少一种噪声滤波技术来确定相应的帧是否包括至少一个人（框260）。特别地，关于本文详细描述的实施例，计算设备120的处理器122被配置成执行存储在存储器124上的指令，以对每个接收到的传感器数据帧执行噪声滤波过程。特别地，低功率IR阵列传感器可能非常容易有噪声。图4示出了在简单测试期间来自示例性IR阵列的每个像素的温度读数400，其中示例性IR阵列被放置在距泡沫板很近的距离（1cm）处。理想地，每个像素应报告相同的温度，因为泡沫覆盖整个传感器的视场。然而，如图4所示，在所报告的温度值中存在显著变化。每个像素在其报告的温度中随时间示出显著振荡。除了传感器中的固有噪声外，部署环境的特性（比如环境温度）的改变也会对传感器的报告造成重大影响。该实验示出，像素值波动较大（-2.5°C，2.5°C）且频繁，使得示例性IR阵列不能在像素级别处校准。

因此，利用噪声滤波过程来区分有人和没有人的帧。特别地，针对每个传感器数据帧，处理器122被配置成确定是否满足一个或多个准则或滤波技术。

作为第一准则或滤波技术，处理器122被配置成考虑与背景温度帧的像素值偏差的直方图/频率分布。特别地，基于每个传感器数据帧，处理器122被配置成计算与背景温度帧的像素值偏差的直方图/频率分布。处理器122被配置成检测直方图/频率分布是否包括第一局部最大值和具有比第一局部最大值更小的幅度的第二局部最大值。处理器122被配置成确定较小的第二局部最大值是否为与第一局部最大值的幅度相比的至少预定阈值幅度和/或与第一局部最大值的宽度相比的至少预定阈值宽度（例如，最大宽度的至少50％的宽度和/或最大幅度的至少40％的幅度）。

图5示出了与背景温度帧的像素值偏差的示例性直方图分布。左边的图（a）示出了来自没有人的帧的差异值502的分布。右边的图（b）示出了来自有人的帧的差异值504的分布。可以看出，没有人的热噪声遵循共同分布，其与当某人来到传感器前面时的像素差异值的分布明显不同。当场景中有人时，像素差异值的分布更宽（与没有人的场景中的分布相比），并且具有多个尖峰。该特性用于区分有人和没有人的帧。分布中的最大尖峰是由于背景温度造成的，而第二大尖峰对应于帧内的人。如果第二大尖峰大于预定阈值，则满足准则，并且该帧可以被认为包括人。否则，如果第二大尖峰不大于预定阈值，则不满足准则，并且该帧由于是噪声并且不包括人而被丢弃。

作为第二准则或滤波技术，处理器122被配置成考虑将帧的像素分为人类和背景类的二值化。特别地，一些没有人的帧通过上述准则，因为传感器数据中的噪声导致像素值分布与没有人的帧的模型化分布不同。为了减轻该问题，基于每个传感器数据帧，处理器122被配置成将每个像素的值与阈值进行比较，并且如果像素值超过阈值则将该像素标记为人，而如果像素值未超过阈值则将该像素标记为背景。在至少一个实施例中，处理器122被配置成使用Otsu的二值化方法来计算阈值，在Otsu的二值化方法中，测试多个阈值并且将阈值选择为最小化类内方差（类内的方差）的阈值，其被限定为两个类的方差的加权和。图6示出了在对它们应用Otsu的阈值化之后被分类为有人和没有人的示例性帧。左边的图（a）示出了有人的帧602。右边的图（b）示出了没有人的帧604。

一旦将帧划分为人类和背景类，则处理器122被配置成计算每个类中的像素的平均值和/或平均温度。如果每个类的平均值和/或平均温度之间的差异大于预定阈值（例如0.75°C），则满足该准则，并且该帧可以被认为包括人。否则，如果每个类的平均值和/或平均温度之间的差异小于预定阈值（例如0.75°C），则不满足该准则，并且该帧由于是噪声并且不包括人而被丢弃。

作为第三准则或滤波技术，处理器122被配置成考虑帧的平均像素值和/或平均温度。特别地，处理器122被配置成计算背景温度帧中的像素的平均值。此外，基于每个传感器数据帧，处理器122被配置成计算其像素的平均值。处理器122被配置成将每个帧的平均与背景温度帧的平均进行比较。如果相应帧的平均比背景温度帧的平均大至少预定阈值（例如0.25°C），则满足该准则，并且该帧可以被认为包括人。否则，如果相应帧的平均不比背景温度帧的平均大至少预定阈值（例如0.25°C），则不满足该准则，并且该帧由于是噪声并且不包括人而被丢弃。

在一些实施例中，处理器122被配置成仅使用上述准则或滤波技术之一。然而，在至少一些实施例中，处理器122被配置成丢弃不满足上述所有三个准则或滤波技术的任何帧。特别地，如果满足所有准则或滤波技术，则处理器122被配置成继续处理作为有人的帧的传感器数据帧。然而，如果不满足准则或滤波技术之一，则处理器122被配置成丢弃作为噪声或作为没有人的传感器数据帧。

图7示出了单独使用每种滤波技术、使用热分布检测（直方图）和Otsu的阈值化准则、以及使用所有三种滤波技术：热分布检测、Otsu的阈值化和最低温度滤波之间的实验性能差异。在实验中，从不同人的行走（10个人）收集数据，并且每种技术被用于从内部有人的帧中标识出噪声帧。手动标记每个帧以获得基本事实。图7示出了在同一组帧（100个帧）上运行每种技术之后的滤波技术的不同组合的精度、查全率（recall）和F1得分。可以看出，将热分布检测、Otsu的阈值化和最低温度滤波技术结合实现了最佳性能。

方法200开始于以下步骤：针对确定为包括至少一个人的每个帧，标识与至少一个人对应的相应传感器数据帧中的至少一组相邻像素（框270）。特别地，关于本文详细描述的实施例，计算设备120的处理器122被配置成执行存储在存储器124上的指令，以针对被确定为包括人的每个接收到的传感器数据帧标识与一个或多个人对应的帧中的一组或多组相邻像素（在本文中称为“身体（body）”）。特别地，处理器122被配置成检测场景中的多个人并提取他们的身体以进行追踪。如果两个人走得非常近，由于IR阵列110的有限分辨率和准确性，处理器122不能容易地检测到两个人。然而，如果他们之间存在小的间隙，则处理器122在随后的帧中检测并追踪到两个人。

为了找到两个人体之间的间隙，处理器122被配置成向相应传感器数据帧应用一系列不同的阈值。特别地，处理器122被配置成通过将相应传感器数据帧的每个像素与等于背景温度帧的对应像素的值加上预定温度间隔（例如，背景温度+0.25°C）的阈值进行比较来生成阈值帧/中间数据帧。针对具有大于阈值（即，大于背景温度+0.25°C）的值的相应传感器数据帧的每个像素，处理器122被配置成将阈值帧的对应像素的值设置为第一值（例如1）。针对具有小于阈值（即，小于背景温度+0.25°C）的值的相应传感器数据帧的每个像素，处理器122被配置成将阈值帧的对应像素的值设置为第二值（例如，0）。图8示出了在将等于背景温度+0.25℃的初始阈值应用到示例性传感器数据帧之后的示例性阈值帧802。具有值0的像素被示为黑色，并且具有值1的像素被示为白色。

接下来，处理器122被配置成标识具有第一值（例如，1）的阈值帧中的像素组。如果所标识的像素组的大小小于总帧大小的预定百分比（例如，30％），则像素组对应于帧中的一个人，并且处理器122被配置成将相应传感器数据帧中的对应像素组标识为对应于人。如果所标识的像素组的大小大于总帧大小的预定百分比（例如，30％），则存在像素组对应于帧中的两个人的可能性，并且处理器122被配置成通过将相应传感器数据帧的每个像素从与等于背景温度帧的对应像素值加上逐渐变大的预定温度间隔（例如，背景温度+0.5°C）的增大阈值进行比较来生成另一阈值帧。接下来，处理器122被配置成标识具有第一值（例如，1）的新阈值帧中的像素组。

处理器122被配置成继续迭代地生成具有逐渐变大阈值的阈值帧，直到它标识出具有第一值（例如，1）的两组不同像素（具有大于总帧大小的另一预定百分比（例如，10％）的大小）或者它标识出具有第一值（例如1）的仅一组像素（具有小于总帧大小的另一预定百分比（例如10％）的大小）。图8示出了在分别将等于背景温度+0.5℃、+0.75℃和+1℃的阈值应用到示例性传感器数据帧之后的另外的示例性阈值帧804、806和808。处理器122被配置成响应于标识出具有第一值（例如，1）的两组不同像素（具有大于总帧大小的另一预定百分比（例如，10％）的大小）（指示了帧中存在两个人体）、或者响应于标识出具有第一值（例如1）的仅一组像素（具有小于总帧大小的另一预定百分比（例如10％）的大小），而停止迭代地生成阈值帧。如图8所示，在应用等于背景温度+1℃的阈值之后，出现了具有值1的两组不同像素，其对应于帧中的两个人。在迭代过程之后，处理器122被配置成将相应传感器数据帧中的对应像素组标识为对应于人。

方法200开始于以下步骤：针对确定为包括至少一个人的每个帧，确定与至少一个人对应的相应传感器数据帧中的至少一个位置（框280）。特别地，关于本文详细描述的实施例，计算设备120的处理器122被配置成执行存储在存储器124上的指令，以针对被确定为包括一个或多个人的每个接收到的传感器数据帧来确定与一个或多个人对应的相应传感器数据帧中的位置。特别地，处理器122被配置成计算相应传感器数据帧的每一列或每一行中的像素的值的总和。接下来，处理器122被配置成针对相应传感器数据帧中的每个人，标识每一列或行中的值的所计算总和中的局部最大值。例如，如果确定传感器数据帧中只有一个人，则处理器122被配置成比较每一列或行中的值的总和以找到最大值。图9示出了比较仅具有一个人的示例性帧的每一列的总和的图902。可以看出，从帧的一侧开始，列值逐渐增加，直到最大值904，之后，逐渐减少。最大值的位置被认为是人的位置。类似地，例如，如果确定传感器数据帧中有两个人，则处理器122被配置成比较每一列或行中的值的总和以找到两个最大局部最大值。图9示出了比较具有两个人的示例性帧的每一列的总和的图906。可以看出，从帧的一侧开始，逐渐增加到与第一人的位置对应的第一局部最大值908。之后，减小，进一步增大到与第二人的位置对应的第二局部最大值910，并逐渐减小。

方法200开始于以下步骤：针对被确定为包括至少一个人的每个帧，将相应传感器数据帧中的至少一个人与先前传感器数据帧中的至少一个人相匹配（框290）。特别地，关于本文详细描述的实施例，计算设备120的处理器122被配置成执行存储在存储器124上的指令，以针对被确定为包括一个或多个人的每个接收到的传感器数据帧，将相应传感器数据帧中的所标识的一个或多个人与先前传感器数据帧中的一个或多个人相匹配。基于帧之间的被匹配的人，处理器122被配置成确定被匹配的人的移动方向。在一个实施例中，处理器122被配置成将与帧中的每个人对应的唯一标识符存储在存储器124中。人在若干个帧上的匹配及其移动方向的确定使得处理器122能够检测出入口10中的进入和退出事件。另外，移动方向的确定使得处理器122能够在走过出入口10和出入口中的其他活动（诸如长时间站在出入口10中、在出入口10中来回走动、或在出入口10中挥手）的人之间进行区分。

由于噪声和有限视场挑战，不能从单个帧提取移动方向。为了跨若干个帧追踪同一个人，处理器122被配置成从每个帧中提取些许特征，并利用所提取的特征将先前见过的人与新发现的身体相匹配。

特别地，如上所述，处理器122确定每个传感器数据帧中的一个或多个人的（一个或多个）位置。处理器122至少被配置成确定在当前传感器数据帧中标识的人的位置与在至少一个先前帧中标识的人的位置之间的差异。基于每个人的位置之间的差异，处理器122被配置成确定当前帧的人是否与先前帧的人相同。特别地，如果当前帧中的人的所标识位置与先前帧中的人的所标识位置的位置之间的差异小于预定阈值距离，则处理器122被配置成确定两个身体是同一个人。如果当前帧中的人的所标识位置与先前帧中的人的所标识位置的位置之间的差异大于预定阈值距离，则处理器122被配置成确定两个身体是同一个人。在一个实施例中，预定阈值距离等于帧的宽度的预定百分比（例如10％）。

在一个实施例中，处理器122被配置成确定每个帧中的每个人的平均温度。特别地，处理器122被配置成确定被标识为与每个相应人对应的像素组中的像素的平均温度。如果当前帧中的人与先前帧中的人相匹配，则处理器122被配置成确定人的平均温度与关于先前帧所确定的人的平均温度之间的差异。如果当前帧和先前帧之间的平均温度之间的差异超过预定阈值（例如1°C），则处理器122被配置成将这些身体视为不同的人，即使它们基于其相应的位置而被匹配。如果当前帧和先前帧之间的平均温度之间的差异小于预定阈值（例如1℃），则处理器122被配置成配置成确定两个身体是同一个人。

最后，处理器122被配置成仅将当前帧中的人的位置和平均温度与预定数量（例如5）的最近先前帧进行比较。因此，在不同帧中标识出的两个人仅在他们彼此在预定帧（例如，在5帧之内）的情况下才能被匹配为同一个人。

在一个实施例中，一旦基于位置和平均温度将当前帧的所标识的人与先前帧的人相匹配，则处理器122被配置成基于在至少两个帧之上的每个人的位置的比较来确定每个人的移动方向。在一个实施例中，处理器122被配置成响应于第一人在传感器数据帧序列的第一传感器数据帧中被标识出但在第一传感器数据帧之后的传感器数据序列的第二传感器第一传感器数据帧中未被标识出，而检测到进入事件或退出事件。在一个实施例中，处理器122被配置成取决于第一人的移动方向来检测进入事件或退出事件。

在一个实施例中，处理器122被配置成操作收发器126以将关于进入事件、退出事件、以及检测到的人的平均温度的信息发送到中央控制系统等，该中央控制系统使用该信息来操作HVAC系统、安全系统或其他系统。特别地，在一个实施例中，进入和退出事件被用于计算房间中的人数。如果房间中没有人，则可以在离开模式下操作HVAC系统以节省能量。在一个实施例中，检测到的人的平均温度被用于设定HVAC系统的温度目标。

本文所述的测量通过出入口的人流的方法通过使得计算设备120的处理器122和/或IR阵列110的微控制器116能够使用低成本和低分辨率的IR传感器阵列准确地检测移动通过出入口的人的进入和退出事件来对计算设备120的处理器122和/或IR阵列110的微控制器116的功能进行改进。另外，与常规解决方案相比，该方法是可实时执行的、是保护隐私的并且具有较少的部署约束。特别地，IR阵列100的放置和取向不如常规的基于断束传感器的解决方案那样受约束。另外，这些方法几乎没有隐私问题，因为分辨率如此低并且人体温度如此相似以至于几乎不可能唯一地标识占用者。这些方法通过利用Otsu的阈值化和建模热噪声分布的组合来有利地处理感测环境中的现实和动态改变。实验结果示出，估计房间中的占用者数量中的平均93％准确性。与本文公开的方法相结合，传感器系统100的轻便、低功率和低成本性质使其成为针对大规模部署（例如，商业建筑物、学术建筑物、医院、饭店和购物中心）负担得起的解决方案。

虽然已经在附图和前面的描述中详细地图示和描述了本公开，但是应当相称地将其视为说明性的而不是限制性的。应理解，仅呈现了优选实施例，并且期望保护落入本公开的精神之内的所有改变、修改和进一步的应用。

Claims (20)

1.一种测量通过出入口的人流的方法，所述方法包括：

用处理器从查看出入口的红外阵列读取传感器数据帧序列，每个传感器数据帧具有像素网格，每个像素具有温度值；

用处理器将背景温度帧确定为来自传感器数据帧序列的预定数量的初始传感器数据帧的按像素平均；

用处理器针对预定数量的初始传感器数据帧之后的传感器数据帧序列中的每个传感器数据帧使用标识不包括至少一个人的传感器数据帧的至少一种滤波技术来确定每个相应传感器数据帧是否包括至少一个人；

用处理器针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧标识与至少一个人对应的相应传感器数据帧中的至少一组相邻像素；

用处理器针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定与至少一个人对应的相应传感器数据帧中的至少一个位置；和

用处理器针对确定包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定相应传感器数据帧中的至少一个人与传感器数据帧序列中的先前传感器数据帧中的人是否为同一个人。

2.根据权利要求1所述的方法，还包括：

用处理器使用线性插值来提高传感器数据帧序列中的传感器数据帧的分辨率。

3.根据权利要求1所述的方法，确定每个相应传感器数据帧是否包括至少一个人还包括：

计算相应传感器数据帧中的像素值与背景温度帧中的对应像素值的偏差；

确定偏差的分布；

标识分布中的最大局部最大值和第二大局部最大值；和

响应于第二大局部最大值具有小于最大局部最大值的幅度的预定百分比的幅度而确定相应传感器数据帧不包括至少一个人。

4.根据权利要求1所述的方法，确定每个相应传感器数据帧是否包括至少一个人还包括：

基于与第一阈值的比较，将相应传感器数据帧中的每个像素分类为（i）第一类和（ii）第二类中的一个，具有大于第一阈值的值的像素被分类为第一类，并且具有小于第一阈值的值的像素被分类为第二类；

确定被分类为第一类的像素的第一平均值和被分类为第二类的像素的第二平均值；和

响应于第一平均值不超过第二平均值至少第二阈值而确定相应传感器数据帧不包括至少一个人。

5.根据权利要求4所述的方法，对相应传感器数据帧中的每个像素进行分类还包括：

使用Otsu的方法来限定第一阈值。

6.根据权利要求1所述的方法，确定每个相应传感器数据帧是否包括至少一个人还包括：

确定相应传感器数据帧中的所有像素的第一平均值；

确定背景温度帧中的所有像素的第二平均值；和

响应于第一平均值不超过第二平均值至少第二阈值而确定相应传感器数据帧不包括至少一个人。

7.根据权利要求1所述的方法，标识与至少一个人对应的每个相应传感器数据帧中的至少一组相邻像素还包括：

在第一阈值等于背景温度帧中的对应像素的值加上预定温度的每种情况下，将相应传感器数据帧中的每个像素与第一阈值进行比较；

基于所述比较来生成中间数据帧，响应于相应传感器数据帧中的对应像素具有大于对应的第一阈值的值而将所述中间数据帧的像素设置为第一值，并响应于相应传感器数据帧中的对应像素具有小于对应的第一阈值的值而将所述中间数据帧的像素设置为第二值；

标识具有第一值的中间数据帧中的至少一组相邻像素；和

响应于中间数据帧中的至少一组相邻像素具有小于中间数据帧的总大小的第一预定百分比的大小，将相应传感器数据帧中的至少一组相邻像素标识为与中间数据帧中的至少一组相邻像素对应的相应传感器数据帧中的像素。

8.根据权利要求7所述的方法，还包括：响应于中间数据帧中的至少一组相邻像素具有大于中间数据帧的总大小的第一预定百分比的大小：

重复比较、生成和标识，其中在每次重复中具有针对预定温度的逐渐变大的值，直到以下情况之一：

在中间数据帧中标识出至少两组相邻像素，其具有大于中间数据帧的总大小的第二预定百分比的大小，所述第二预定百分比小于所述第一预定百分比；和

在中间数据帧中标识出仅一组相邻像素，其具有小于中间数据帧的总大小的第二预定百分比的大小；和

将相应传感器数据帧中的至少一组相邻像素标识为与中间数据帧中的（i）至少两组相邻像素和（ii）仅一组相邻像素之一对应的相应传感器数据帧中的像素。

9.根据权利要求1所述的方法，确定与至少一个人对应的每个相应传感器数据帧中的至少一个位置还包括：

确定相应传感器数据帧中的（i）每一列和（ii）每一行之一中的像素的值的总和；

确定总和的至少一个最大值；和

将至少一个位置确定为与至少一个最大值对应的相应传感器数据帧中的（i）至少一列和（ii）至少一行之一。

10.根据权利要求9所述的方法，其中：

如果至少一个人包括仅一个人，则至少一个最大值是总和的绝对最大值；并且

如果至少一个人包括至少两个人，则至少一个最大值包括总和的至少两个最大局部最大值。

11.根据权利要求1所述的方法，确定每个相应传感器数据帧中的至少一个人与传感器数据帧序列中的先前传感器数据帧中的人是否为同一个人还包括：

确定相应传感器数据帧中的至少一个人的至少一个位置与先前传感器数据帧中的人的位置之间的至少一个第一差异；和

响应于至少一个第一差异大于第一预定阈值，确定相应传感器数据帧中的至少一个人与先前传感器数据帧中的人不是同一个人。

12.根据权利要求11所述的方法，还包括：响应于至少一个第一差异小于第一预定阈值：

确定与相应传感器数据帧中的至少一个人对应的至少一组像素中的像素的至少一个第一平均值；

确定与先前传感器数据帧中的人对应的一组像素中的像素的第二平均值；

确定至少一个第一平均值与第二平均值之间的至少一个第二差异；

响应于至少一个第二差异小于第二预定阈值，确定相应传感器数据帧中的至少一个人与先前传感器数据帧中的人是同一个人；和

响应于至少一个第二差异大于第二预定阈值，确定相应传感器数据帧中的至少一个人与先前传感器数据帧中的人不是同一个人。

13.根据权利要求1所述的方法，其中，先前传感器数据帧在传感器数据帧序列中在距相应传感器数据帧预定数量帧之内。

14.根据权利要求1所述的方法，还包括：

用处理器针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧基于至少一个人的至少一个位置与先前传感器数据帧中的至少一个同一人的至少一个位置的比较来确定至少一个人的移动的至少一个方向。

15.根据权利要求1所述的方法，还包括：

用处理器基于传感器数据帧序列中的至少两个传感器数据帧中的人的比较来检测通过出入口的人的进入事件和退出事件之一。

16.根据权利要求15所述的方法，检测进入事件和退出事件之一还包括：

响应于第一人在传感器数据帧序列的第一传感器数据帧中被标识出但在第一传感器数据帧之后的传感器数据序列的第二传感器第一传感器数据帧中未被标识出，检测到进入事件和退出事件之一。

17.根据权利要求16所述的方法，检测进入事件和退出事件中的至少一个还包括：

取决于第一人的移动的方向来检测进入事件和退出事件之一。

18.根据权利要求15所述的方法，还包括：

用收发器向至少一个外部设备发送关于进入事件和退出事件之一的信号。

19.根据权利要求18所述的方法，其中，所述至少一个外部设备被配置成基于关于进入事件和退出事件之一的所述信号来操作HVAC系统。

20.一种用于测量通过出入口的人流的传感器系统，所述传感器系统包括：

红外阵列，其具有布置成为网格并取向成查看出入口的多个红外传感器；和

可操作地连接到红外阵列的处理器，所述处理器被配置成：

从红外阵列读取传感器数据帧序列，每个传感器数据帧具有像素网格，每个像素具有温度值；

将背景温度帧确定为来自传感器数据帧序列的预定数量的初始传感器数据帧的按像素平均；

针对预定数量的初始传感器数据帧之后的传感器数据帧序列中的每个传感器数据帧使用标识不包括至少一个人的传感器数据帧的至少一种滤波技术来确定每个相应传感器数据帧是否包括至少一个人；

针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧标识与至少一个人对应的相应传感器数据帧中的至少一组相邻像素；

针对包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定与至少一个人对应的相应传感器数据帧中的至少一个位置；和

针对确定包括至少一个人的传感器数据帧序列中的每个传感器数据帧确定相应传感器数据帧中的至少一个人与传感器数据帧序列中的先前传感器数据帧中的人是否为同一个人。

Images