CN105184233A - 基于多源信息融合的在室人数测量及记录的方法及装置 - Google Patents

Abstract

本发明公开了一种基于多源信息融合的在室人数测量及记录的方法及装置，方法实施步骤如下：1)设置初始室内人数X，并记录初始时间T0；2)当任一主动红外探测器被触发时，记录触发时间T1；3)提取摄像头中T1-1秒时刻的图像帧，并利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人；4)基于主动红外探测器和图像人员检测结果，确定进出房间的人数，记录相应的时刻；5)依据初始室内人数X和进出房间人数，得到在室人数及对应时刻，并记录到上位机中；6)装置包括两个主动红外探测器、两个可见光摄像头及图像采集装置、图像处理单元、无线通信传输单元、上位机。本发明具有成本低廉、结构简单、计算量小、人数测量准确、功耗低、实时性强、应用范围广泛的优点。

Description

基于多源信息融合的在室人数测量及记录的方法及装置

技术领域

本发明属于多源信息融合领域，具体涉及一种基于主动红外探测器和可见光图像融合的在室人数测量及记录的实现方法及装置。

背景技术

在室人员一方面向室内散发显热和潜热，形成室内冷负荷和湿负荷，是形成建筑能耗的重要部分，另一方面，在室人员自身向室内散发污染物(如水蒸气、二氧化碳、气味、病菌等)，对室内空气品质有重要影响。房间内人员的数量及其变化对建筑能耗及室内热环境有重要影响，是建筑节能、计算机辅助建筑能耗模拟和室内环境调控等领域的基础数据。

随着人口的增长，城市公共室内资源与人口的矛盾越来越突出，特别是图书馆、高校教室、博物馆等地，如何有效的测量并实时反映室内人数对于如何分配和利用室内资源十分重要。所以，人数测量与记录能为公共资源的配置提供重要参考。

房间内人员数量及其变化测量一般需要持续较长的时间，所测量得到的数据才有参考意义，在建筑节能中，所持续测量时间一般不少于一个月，比如最热月或者最冷月，最长可达一年或几年，测量时间越长，所得数据的参考意义也越大。

目前文献提供了一些在室人数测量及记录方法，比如人数测量装置发明专利CN103477355A、一种基于头肩模型的人体识别方法发明专利CN103955673A等，但是这些方法用于长时间的实时室内人数测量，则存在计算量大、处理过程复杂、识别速度慢、计算可靠性差等不足，难以满足长期实时的室内人数测量需求。

发明内容

本发明要解决现有技术的上述缺点，提供一种成本低廉、结构简单、计算量小、人数测量准确、功耗低、实时性强、应用范围广泛的基于多源信息融合的在室人数测量及记录的方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于多源信息融合的在室人数测量及记录的方法，其实施步骤如下：

1)设置初始室内人数X，具体过程为：在测量开始，根据房间实际的准确人数，设置房间初始人数X。

2)随着时间的逐步推进，当任一主动红外探测器被触发时，记录触发时间T1；

3)提取摄像头中T1-1时刻的图像帧，并利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人；

4)基于主动红外探测器和图像人员检测结果进行多源信息融合，确定进出房间的人数，记录相应的时刻；

5)依据步骤1)中的初始室内人数X和步骤4)中得到的进出房间人数，得到在室人数及对应时刻，并记录到上位机中；

所述步骤2)中的任一主动红外探测器被触发具体是指当有人经过主动红外探测器，该主动红外探测器的红外光束被完全遮断；

所述步骤3)中提取摄像头中T1-1时刻的图像帧，并利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人，具体包括如下步骤：

(31)在无人情况下，采集大门口的100×100像素区域图像，作为背景图像，不同光照条件下多次采集形成背景库；

(32)在有人情况下，采集大门口的100×100像素区域人体头肩边缘图像，作为模版，多次采集形成模版库；

(33)提取摄像头视频中T1-1时刻的图像帧；

(34)将获取的图像帧转换为灰度图像，并提取大门口的100×100像素区域作为感兴趣区域ROI；

(35)把感兴趣区域ROI图像与预存的背景区域图像进行差分计算，得到差分结果图像；

(36)应用梯度边缘检测算子对差分结果图像进行边缘检测，得到边缘检测结果图像；

(37)把边缘检测结果图像与预存的人体头肩边缘模版图像进行匹配，当匹配度大于0.8时，则表明T1-1时刻的图像帧中有人；当匹配度小于0.8时，则表明T1-1时刻的图像帧中无人；

所述步骤4)中基于主动红外探测器和图像人员检测结果进行多源信息融合，确定进出房间的人数，记录相应的时刻，具体包括如下步骤：

(41)从步骤1)中得到初始室内人数X及时刻T0；

(42)随着时间的逐步推进，当安装于大门处靠近室内侧的门内主动红外探测器被触发时，记录触发时间T1；并且安装于大门处靠近室外一侧的门外主动红外探测器被触发时，记录触发时间T2(T2>T1)；并且根据步骤3)，提取室内摄像头T1-1时刻的图像帧，利用基于图像模版匹配的人员检测方法判断图像帧中是否有人，如果有人，则表示有一人出门，则测量得到时刻T1的在室人数为X-1；

(43)随着时间的逐步推进，当安装于大门处靠近室外一侧的门外主动红外探测器被触发时，记录触发时间T1；并且安装于大门处靠近室内一侧的门内主动红外探测器被触发时，记录触发时间T2(T2＞T1)；并且根据步骤3)，提取室外摄像头T1-1秒时刻的图像帧，利用基于图像模版匹配的人员检测方法判断图像帧中是否有人，如果有人，表示有一人进门，则测量得到时刻T1的在室人数为X+1；

(44)除步骤(42)和步骤(43)以外的触发均为无效触发，测量得到时刻T1的在室人数仍然为X；

所述步骤5)中的得到在室人数及对应时刻，并记录到上位机中具体是指把权利步骤4)融合得到的各个时刻的在室人数，记录并保存到上位机数据库文件中；

此外，本发明还提供了一种基于多源信息融合的在室人数测量及记录的装置，包括门内主动红外探测器、门外主动红外探测器、门内可见光摄像头及图像采集装置、门外可见光摄像头及图像采集装置、图像处理单元、无线通信传输单元、上位机；所述的门内主动红外探测器通过无线通信传输单元与上位机相连，通过上位机记录门内主动红外探测器的触发时刻；所述的门外主动红外探测器通过无线通信传输单元与上位机相连，通过上位机记录门外主动红外探测器的触发时刻；所述的门内可见光摄像头及图像采集装置通过无线通信传输单元与图像处理单元相连，通过图像处理单元判断当前图像帧中是否有人，并将判断结果和时刻记录到上位机；所述的门外可见光摄像头及图像采集装置通过无线通信传输单元与过图像处理相连，通过图像处理单元判断当前图像帧中是否有人，并将判断结果和时刻记录到上位机；所述的上位机PC依据门内主动红外探测器的触发时刻、门外主动红外探测器的触发时刻、图像处理单元的判断结果和时刻记录，进行多源信息融合，确定当前时刻在室人数，并记录到数据库文件中。

所述的门内主动红外探测器安装在大门处靠近室内一侧，所述的门外主动红外探测器安装在大门处靠近室外一侧，所述的门内可见光摄像头及图像采集装置安装在大门处靠近室内一侧的天花板，摄像头垂直向下采集视频，所述的门外可见光摄像头及图像采集装置安装在大门处靠近室外一侧的天花板，摄像头垂直向下采集视频，所述的图像处理单元、无线通信传输单元、上位机安装到室内。本发明具有下述优点：

1、本发明能够以两个主动红外探测器和两个可见光摄像头作为进出房间人员探测的传感器，由两个主动红外探测器触发时刻的先后顺序，结合对触发时刻前1秒的可见光摄像头采集图像帧，利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人，通过融合来自这四个传感器的信息，进行在室人员检测和记录。

2、本发明基于多源信息融合的在室人数测量及记录的方法及装置，具有成本低廉、结构简单、计算量小、人数测量准确、功耗低、实时性强、应用范围广泛的优点。

附图说明：

图1本发明的方法流程图

图2基于图像模版匹配的人员检测方法示意图

图3基于多源信息融合的在室人员检测方法示意图

图4本发明的装置组成及安装示意图

具体实施方式

参照附图1-4:

如图1所示，本发明实施例基于多源信息融合的在室人数测量及记录的方法的实施步骤如下：

1)依据当前房间实际的准确人数，设置房间初始人数X；上位机记录当前时刻T0、当前在室人数X到数据库中；

2)随着时间的逐步推进，当任一主动红外探测器被触发时，记录触发时间T1；

3)提取摄像头视频中T1-1时刻的图像帧，并利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人；

4)基于主动红外探测器和图像人员检测结果进行多源信息融合，确定进出房间的人数，记录相应的时刻；

5)依据步骤1)中的初始室内人数X和步骤4)中得到的进出房间人数，得到在室人数及对应时刻，并记录到上位机中；

步骤2)中的任一主动红外探测器被触发具体是指当有人经过主动红外探测器，该主动红外探测器的红外光束被完全遮断；

步骤3)中，提取摄像头视频中T1-1时刻的图像帧具体指：门内主动红外探测器先被触发，则提取门内摄像头的数据帧；门外主动红外探测器先被触发，则提取门外摄像头的数据帧。所提取的图像帧由图像处理模块进行处理，如图2所示，利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人，其示意图如图2所示，具体包括如下步骤：

(31)在无人情况下，采集大门口的100×100像素区域图像，作为背景图像，不同光照条件下多次采集形成背景库；

(32)在有人情况下，采集大门口的100×100像素区域人体头肩边缘图像，作为模版，多次采集形成模版库；

(33)采集摄像头视频中T1-1时刻的图像1帧；

(34)将获取的帧图像转换为灰度图像，并提取大门口的100×100像素区域作为感兴趣区域ROI；

(35)把感兴趣区域ROI图像与预存的背景区域图像进行差分计算，得到差分结果图像；

(36)应用梯度边缘检测算子对差分结果图像进行边缘检测，得到边缘检测结果图像；

(37)把边缘检测结果图像与预存的人体头肩边缘模版图像进行匹配，当匹配度大于0.8时，则表明T1-1时刻的图像帧中有人；当匹配度小于0.8时，则表明T1-1时刻的图像帧中无人；

步骤4)中基于主动红外探测器和图像人员检测结果进行多源信息融合，确定进出房间的人数，记录相应的时刻，其实施示意如图3所示，具体包括如下步骤：

(41)从步骤1)中得到初始室内人数X及时刻T0；

(42)随着时间的逐步推进，当安装于大门处靠近室内一侧的门内主动红外探测器被触发时，记录触发时间T1；并且安装于大门处靠近室外一侧的门外主动红外探测器被触发时，记录触发时间T2(T2>T1)；提取门内摄像头中T1-1秒时刻的图像帧，利用基于图像模版匹配的人员检测方法判断图像帧中是否有人，如果有人，则表示有一人出门，则测量得到时刻T1的在室人数为X-1；

(43)随着时间的逐步推进，当安装于大门处靠近室外一侧的门外主动红外探测器被触发时，记录触发时间T1；并且安装于大门处靠近室内一侧的门内主动红外探测器被触发时，记录触发时间T2(T2＞T1)；提取门外摄像头中T1-1秒时刻的图像帧，利用基于图像模版匹配的人员检测方法判断图像帧中是否有人，如果有人，表示有一人进门，则测量得到时刻T1的在室人数为X+1；

(44)除步骤(42)和步骤(43)以外的触发均为无效触发，测量得到时刻T1的在室人数仍然为X；

步骤5)依据步骤1)中的初始室内人数X和步骤4)中得到的进出房间人数，得到在室人数及对应时刻，并记录并保存到上位机数据库文件。

如图4所示，本发明提供一种基于多源信息融合的在室人数测量及记录的装置，它包括门内主动红外探测器、门外主动红外探测器、门内摄像头及图像采集装置、门外摄像头及图像采集装置、图像处理单元、无线通信传输单元、上位机；所述的门内主动红外探测器通过无线通信传输单元与上位机相连，通过上位机记录门内主动红外探测器的触发时刻；所述的门外主动红外探测器通过无线通信传输单元与上位机相连，通过上位机记录门外主动红外探测器的触发时刻；所述的门内摄像头及图像采集装置通过无线通信传输单元与图像处理单元相连，通过图像处理单元判断当前图像帧中是否有人，并将判断结果和时刻记录到上位机；所述的门外摄像头及图像采集装置通过无线通信传输单元与图像处理单元相连，通过图像处理单元判断当前图像帧中是否有人，并将判断结果和时刻记录到上位机；所述的上位机依据门内主动红外探测器的触发时刻、门外主动红外探测器的触发时刻、图像处理单元的判断结果和时刻记录，进行多源信息融合，确定当前时刻的在室人数，并记录到数据库文件中。

门内主动红外探测器安装在大门处靠近室内一侧，门外侧主动红外探测器安装在大门处靠近室外一侧；门内摄像头及图像采集装置安装在大门处靠近室内一侧的天花板，门外摄像头及图像采集装置安装在大门处靠近室外一侧的天花板，两个摄像头均垂直向下采集视频；图像处理单元、无线通信传输单元和上位机均安装在室内。

以上所述仅为本发明的优选实施方式，本发明的保护范围不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.基于多源信息融合的在室人数测量及记录的方法，步骤如下：

1)设置初始室内人数X，具体过程为：在测量开始，根据房间实际的准确人数，设置房间初始人数X。

2)随着时间的逐步推进，当任一主动红外探测器被触发时，记录触发时间T1；

3)提取摄像头视频中T1-1时刻的图像帧，并利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人；

4)基于主动红外探测器和图像人员检测结果进行多源信息融合，确定进出房间的人数，记录相应的时刻；

5)依据步骤1)中的初始室内人数X和步骤4)中得到的进出房间人数，得到在室人数及对应时刻，并记录到上位机中。

2.根据权利要求1所述的基于多源信息融合的在室人数测量及记录的方法，其特征在于：所述步骤2)中的任一主动红外探测器被触发具体是指当有人经过主动红外探测器，该主动红外探测器的红外光束被完全遮断。

3.根据权利要求1所述的基于多源信息融合的在室人数测量及记录的方法，其特征在于：所述步骤3)中提取摄像头视频中T1-1时刻的图像帧，并利用基于图像模版匹配的人员检测方法，判断该图像帧中是否有人，具体包括如下步骤：

31)在无人情况下，采集大门口的100×100像素区域图像，作为背景图像，不同光照条件下多次采集形成背景库；

32)在有人情况下，采集大门口的100×100像素区域人体头肩边缘图像，作为模版，多次采集形成模版库；

33)提取摄像头采集视频中T1-1秒时刻的图像1帧；

34)将获取的帧图像转换为灰度图像，并提取大门口的100×100像素区域作为感兴趣区域ROI；

35)把感兴趣区域ROI图像与预存的背景区域图像进行差分计算，得到差分结果图像；

36)应用梯度边缘检测算子对差分结果图像进行边缘检测，得到边缘检测结果图像；

37)把边缘检测结果图像与预存的人体头肩边缘模版图像进行匹配，当匹配度大于0.8时，则表明T1-1时刻的图像帧中有人；当匹配度小于0.8时，则表明T1-1秒时刻的图像帧中无人。

4.根据权利要求1所述的基于多源信息融合的在室人数测量及记录的方法，其特征在于：所述步骤4)中基于主动红外探测器和图像人员检测结果进行多源信息融合，确定进出房间的人数，记录相应的时刻，具体包括如下步骤：

41)从权利要求1中步骤1)中得到初始室内人数X及时刻T0；

42)随着时间的逐步推进，当安装于大门处靠近室内一侧的门内主动红外探测器被触发时，记录触发时间T1；并且安装于大门处靠近室外一侧的门外主动红外探测器被触发时，记录触发时间T2(T2>T1)；并且根据权利要求1中步骤3)，提取室内侧摄像头T1-1时刻的图像帧，利用基于图像模版匹配的人员检测方法判断图像帧中是否有人，如果有人，则表示有一人出门，则测量得到时刻T1的在室人数为X-1；

43)随着时间的逐步推进，当安装于大门处靠近室外一侧的门外主动红外探测器被触发时，记录触发时间T1；并且安装于大门处靠近室内一侧的门内主动红外探测器被触发时，记录触发时间T2(T2＞T1)；并且根据权利要求1中步骤3)，提取室外侧摄像头T1-1秒时刻的图像帧，利用基于图像模版匹配的人员检测方法判断图像帧中是否有人，如果有人，表示有一人进门，则测量得到时刻T1的在室人数为X+1；

44)除步骤42)和步骤43)以外的触发均为无效触发，测量得到时刻T1的在室人数仍然为X。

5.根据权利要求1所述的基于多源信息融合的在室人数测量及记录的方法，其特征在于：所述步骤5)中的得到在室人数及对应时刻，并记录到上位机中具体是指把权利要求4)融合得到的各个时刻的在室人数，记录并保存到上位机数据库文件中。

6.专用于权利要求1所述的基于多源信息融合的在室人数测量及记录的方法的装置，其特征在于：包括门内主动红外探测器、门外主动红外探测器、门内可见光摄像头及图像采集装置、门外可见光摄像头及图像采集装置、图像处理单元、无线通信传输单元、上位机；所述的门内主动红外探测器通过无线通信传输单元与上位机相连，通过上位机记录门内主动红外探测器的触发时刻；所述的门外主动红外探测器通过无线通信传输单元与上位机相连，通过上位机记录门外主动红外探测器的触发时刻；所述的门内可见光摄像头及图像采集装置通过无线通信传输单元与图像处理单元相连，通过图像处理单元判断当前图像帧中是否有人，并将判断结果和时刻记录到上位机；所述的门外可见光摄像头及图像采集装置通过无线通信传输单元与过图像处理相连，通过图像处理单元判断当前图像帧中是否有人，并将判断结果和时刻记录到上位机；所述的上位机PC依据门内主动红外探测器的触发时刻、门外主动红外探测器的触发时刻、图像处理单元的判断结果和时刻记录，进行多源信息融合，确定当前时刻在室人数，并记录到数据库文件中。

7.如权利要求6所述的装置，其特征在于：所述的门内主动红外探测器安装在大门处靠近室内一侧，所述的门外主动红外探测器安装在大门处靠近室外一侧，所述的门内可见光摄像头及图像采集装置安装在大门处靠近室内一侧的天花板，摄像头垂直向下采集视频，所述的门外可见光摄像头及图像采集装置安装在大门处靠近室外一侧的天花板，摄像头垂直向下采集视频，所述的图像处理单元、无线通信传输单元、上位机安装到室内。