CN109033979A - 基于wifi和摄像机传感器决策级融合的室内行人检测方法 - Google Patents

Abstract

本发明涉及一种基于WIFI和摄像机传感器决策级融合的室内行人检测方法，计算动静条件下CSI序列的欧氏距离、马氏距离，动态条件下的方差距离。若三个距离大于各自设置的距离参数，然后对三个距离的结果做或运算，得到WIFI传感器的检测结果Res_wifi。其次，进行摄像机视频帧的行人检测；基于CNN卷积神经网络和多尺度特征图融合，采用mobilenet‑SSD深度学习目标检测方法以实现视频帧中的行人检测，从而得到摄像机传感器的检测结果Res_camera。最后，决策级融合策略，使用摄像机采集到的视频帧的平均灰度值α，并归一化到[0,1]之间，采用公式Res_final＝αRes_camera+(1‑α)Res_wifi作为融合规则，从而得到最终的检测结果，当结果大于给定的阈值thresh时，判定室内有行人，否则判定室内无行人。

Description

基于WIFI和摄像机传感器决策级融合的室内行人检测方法

技术领域

本发明属于多传感器目标检测融合领域，涉及一种基于WIFI和摄像机传感器决策级融合的室内行人检测方法。

背景技术

随着科技和经济的发展，人们的日常生活得到了极大的改善和提高，与此同时带来的是安全方面的防护问题，特别是对家庭居住环境、财产以及人身安全的保护问题。入侵检测技术是一种对周边区域环境中的移动目标进行监测，同时对非法入侵的人员发出警报和提醒相关工作人员的检测技术。例如银行、博物馆、停车场等地方的智能入侵检测和警报系统，当有意外发生时，监测系统能够向警卫人员及时而准确地发出警报，避免犯罪情况的发生。传统的通过动物、现场报警、防盗门、防盗网的形式来预防盗贼，虽然一定程度上可以起到防盗的效果，但不能及时告诉事主，也不能及时阻止犯罪和找到相应的犯罪证据。同时，现有的一些监控系统大部分都价格昂贵、安装繁琐、依赖于电脑，不是很适合家庭安防监控。随着计算机、通信、电子等技术的不断发展，实现了对家庭的安防从本地监控到远程监控的发展历程，它主要是以取证及相应的预防作为目的，对犯罪分子能起到很好的威慑作用，同时也能及时减少盗窃这类事情的发生。

而单传感器在人员入侵检测方面或多或少存在着各自的局限性：红外技术将红外线能量集中于一条很窄的窄带上，因而可以传输很远的距离。然而，这一优点也是缺点，因为不能实现对目标区域的全覆盖，留出的空间缝隙容易被入侵者利用，降低其检测准确率；摄像头一方面会受到室内光线的影响，光线较弱的情况下功能受限。另一方面其只能检测视距范围内的目标，存在较大局限性；WIFI信号受环境影响明显，易引起误判。且由于远距离的接收的较弱信号，可能会对结果产生漏判。

单传感器已经无法满足室内人员检测需求。多传感器相互结合，有效的拓宽了检测的时空覆盖范围，既保留了各自传感器检测的优点，又弥补了相互的不足，可以减少单传感器带来的局限性，具有研究成本低、检测率高，抗干扰能力和鲁棒性较强的特点，有相当高的研究价值，对人类社会具有非常重要的意义。

传统的室内人员检测多采用摄像机传感器，在光照弱的情况下，功能受限，另一方面其只能检测视距范围内的目标，存在较大局限性。WIFI信号受环境影响明显，易引起误判。且由于远距离的接收的较弱信号，可能会对结果产生漏判。为此提出一种基于WIFI和摄像机传感器决策级融合的室内行人检测方法。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于WIFI和摄像机传感器决策级融合的室内行人检测方法。

技术方案

一种基于WIFI和摄像机传感器决策级融合的室内行人检测方法，其特征在于：将摄像机传感器的镜头置于对准入门，检测方法步骤如下：

步骤1：对WIFI传感器的CSI信号幅值计算，得到WIFI传感器的检测结果：

记动、静态条件下的CSI信号幅值序列分别为 其中表示标记为j的离散时间索引为i处的CSI信号幅值，其中i＝{1,2,…,L}，L为滑动窗口的长度；j＝{1,2}，取值为1表示动态条件下的幅值，取值为2表示静态条件下的幅值，动态条件下的CSI信号是WIFI传感器的实时信号，静态条件下的CSI信号是环境干扰较弱条件下采集到的WIFI信号；

计算动、静态条件下CSI信号幅值的欧氏距离：

计算动、静态条件下CSI信号幅值的马氏距离：

其中，μ为S₁(t)的均值，C为S₂(t)的协方差矩阵；

计算动态条件下的CSI信号幅值的方差距离：

其中，L为滑动窗口的长度，为滑动窗口中第k时刻的CSI信号幅值，μ为S₁(t) 的均值；

若三个距离E₁₂、M₁₂、Var大于各自设置的距离参数，则将其各自对应的结果置为1，否则置为0；然后对三个距离的结果做或运算，得到WIFI传感器的检测结果 Res_wifi，将Res_wifi传递至融合模块进行决策；

步骤2、摄像机传感器的行人检测：对从摄像机获取的图像进行行人检测，从而得到摄像机传感器的检测结果Res_camera，将Res_camera传递至融合模块进行决策：

1、卷积操作提取特征：假定卷积层的输入特征图F_in的参数为W_in×H_in×C_in，W_in表示特征图的宽度，H_in表示特征图的高度，C_in表示特征图的通道数。卷积层的卷积参数为K,S,P,Stride，K表示卷积核的数目，S表示卷积核的宽度和高度，P表示对输入特征图进行补零操作，例如P＝1表示对输入特征图的周围补一圈0，Stride表示卷积核在输入特征图上的滑动步长。则卷积层的输出特征图F_out的参数为W_out×H_out×C_out，W_out表示特征图的宽度，H_out表示特征图的高度，C_out表示特征图的通道数，其参数计算如下：

2、池化层压缩特征：采用最大池化层，即在对特征图进行下采样时，选取2×2格子中值最大的数传递至输出特征图中。池化操作中，输入输出特征层的通道数不变，输出特征图的大小是输入特征图的大小一半；

3、相邻尺度的特征融合操作：设相邻尺度特征图的较大的特征图F_big的参数为W_big×H_big×C_big，较小的特征图F_small的参数为W_small×H_small×C_small，其中W_big＝2×W_small。对较大尺度的特征图进行卷积操作，则卷积的参数为K＝C_small，S＝3，P＝1，Stride＝2，则通过公式(4)可以计算出输出的特征图F_out的参数为W_out＝W_small，H_out＝H_small，C_out＝C_small，将特征图F_small和F_out对应位置的参数进行线性叠加，即可得到相邻尺度的融合特征图；

4、行人预测：将多个相邻尺度的融合特征图送入网络的检测层，检测层可以预测图像中行人的目标框和置信度信息，设置置信度的阈值，以抑制一些误检的目标框。若检测到有行人，则Res_camera＝1，否则Res_camera＝0；

步骤3、WIFI和和摄像机传感器检测结果的融合：

1、计算融合权重α：

其中，I是图像对应的二维灰度矩阵，W是图像的像素宽度，H是图像的像素高度，除以255是将图像的灰度均值归一化到区间[0,1]；

2、以融合规则进行融合

融合规则：Res_final＝αRes_camera+(1-α)Res_wifi

其中，Res_camera为摄像机传感器的检测结果，Res_wifi为WIFI传感器的检测结果，α为归一化到区间[0,1]的图像灰度值的平均值；

步骤4：设定阈值thresh，若Res_final≥thresh，则判定检测到有行人，否则，无检测结果。

所述距离参数0.2～0.4。

所述阈值thresh为0.4～0.6。

有益效果

本发明提出的一种基于WIFI和摄像机传感器决策级融合的室内行人检测方法，WIFI传感器计算动静条件下固定时间窗口内的CSI幅值距离，通过幅值距离阈值来判定是否有目标入侵；摄像机传感器采用mobilenet-SSD深度学习目标检测方法，从而实现对采集到的视频帧进行检测；决策级融合策略，使用摄像机采集到的视频帧的平均灰度值α，并归一化到[0,1]之间，则α为摄像机传感器结果的权重，(1-α)为WIFI 传感器的权重。从而实现WIFI和摄像机传感器决策级融合的室内行人检测。

优点包括以下几个方面：第一，摄像机传感器，采用mobilenet-SSD深度学习目标检测方法，对比传统的HOG+SVM行人检测算法，其速度更快，准确率更高，定位精度更好；第二，决策级融合策略，使用摄像机采集到的视频帧的平均灰度值α，并归一化到[0,1]之间，则α为摄像机传感器结果的权重，(1-α)为WIFI传感器的权重。相比于传统1+1的融合策略，我们的融合策略能够适应室内环境光强的变化，能够适应24小时的室内人员检测。

该方法有效的拓宽了检测的时空覆盖范围，既保留了各自传感器检测的优点，又弥补了相互的不足，可以减少单传感器带来的局限性，具有研究成本低、检测率高的优点，抗干扰能力和鲁棒性较强的特点，有相当到的研究价值，对人类社会具有非常重要的意义。

附图说明

图1：本发明方法的总体框架图

图2：(a)基于方差距离算法的WIFI信号检测结果图(b)基于马氏距离算法的 WIFI信号检测结果图

图3：基于mobilenet-SSD的室内行人检测结果图(a)清晰条件下的检测结果(b)模糊条件下的检测结果

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的基本思路是：WIFI传感器计算动静条件下固定时间窗口内的CSI幅值距离，通过幅值距离阈值来判定是否有目标入侵；摄像机传感器采用mobilenet-SSD深度学习目标检测方法，从而实现对采集到的视频帧进行检测；决策级融合策略，使用摄像机采集到的视频帧的平均灰度值α，并归一化到[0,1]之间，则α为摄像机传感器结果的权重，(1-α)为WIFI传感器的权重。从而实现WIFI和摄像机传感器决策级融合的室内行人检测。

本发明方法的特征在于步骤如下：

步骤1WIFI传感器的CSI(Channel State Information，信道状态信息)信号幅值分析：

记动、静态条件下的CSI信号幅值序列分别为 其中表示标记为j的离散时间索引为i处的CSI信号幅值，其中i＝{1,2,…,L}，L为滑动窗口的长度；j＝{1,2}，取值为1表示动态条件下的幅值，取值为2表示静态条件下的幅值。(动态条件下的CSI信号是WIFI传感器的实时信号，静态条件下的CSI信号是环境干扰较弱条件下采集到的WIFI信号)

(1)计算动、静态条件下CSI信号幅值的欧氏距离、马氏距离

(a)欧氏距离：

(b)马氏距离：

其中，μ为S₁(t)的均值，C为S₂(t)的协方差矩阵。

(2)计算动态条件下的CSI信号幅值的方差距离

其中，L为滑动窗口的长度，为滑动窗口中第k时刻的CSI信号幅值，μ为 S₁(t)的均值。

若三个距离E₁₂、M₁₂、Var大于各自设置的距离参数，则将其各自对应的结果置为1，否则置为0；然后对三个距离的结果做或运算，得到WIFI传感器的检测结果 Res_wifi，将Res_wifi传递至融合模块进行决策。

步骤2摄像机传感器的行人检测：基于卷积神经网络和多尺度特征图融合，采用深度学习目标检测方法mobilenet-SSD(SSD，Single Shot MultiBox Detector，一种端到端的深度学习目标检测方法，mobilenet表示轻量级网络)，对从摄像机获取的图像进行行人检测，从而得到摄像机传感器的检测结果Res_camera，将Res_camera传递至融合模块进行决策。

(1)特征提取：通过卷积层来提取特征，池化层对特征进行压缩。

(a)卷积操作提取特征：假定卷积层的输入特征图F_in的参数为W_in×H_in×C_in，W_in表示特征图的宽度，H_in表示特征图的高度，C_in表示特征图的通道数。卷积层的卷积参数为K,S,P,Stride，K表示卷积核的数目，S表示卷积核的宽度和高度，P表示对输入特征图进行补零操作，例如P＝1表示对输入特征图的周围补一圈0，Stride表示卷积核在输入特征图上的滑动步长。则卷积层的输出特征图F_out的参数为W_out×H_out×C_out， W_out表示特征图的宽度，H_out表示特征图的高度，C_out表示特征图的通道数，其参数计算如下：

(b)池化层压缩特征：一般采用最大池化层，即在对特征图进行下采样时，选取 2×2格子中值最大的数传递至输出特征图中。池化操作中，输入输出特征层的通道数不变，输出特征图的大小是输入特征图的大小一半。

(c)相邻尺度的特征融合操作：设相邻尺度特征图的较大的特征图F_big的参数为W_big×H_big×C_big，较小的特征图F_small的参数为W_small×H_small×C_small，其中W_big＝2×W_small。对较大尺度的特征图进行卷积操作，则卷积的参数为K＝C_small，S＝3，P＝1，Stride＝2，则通过公式(4)可以计算出输出的特征图F_out的参数为W_out＝W_small，H_out＝H_small，C_out＝C_small，将特征图F_small和F_out对应位置的参数进行线性叠加，即可得到相邻尺度的融合特征图。

(2)行人预测：将多个相邻尺度的融合特征图送入网络的检测层，检测层可以预测图像中行人的目标框和置信度信息，设置置信度的阈值，以抑制一些误检的目标框。若检测到有行人，则Res_camera＝1，否则Res_camera＝0。

步骤3WIFI和和摄像机传感器检测结果的融合：基于公式(6)的融合规则，实现WIFI和摄像机传感器结果的融合。

(1)计算融合权重α：

其中，I是图像对应的二维灰度矩阵，W是图像的像素宽度，H是图像的像素高度，除以255是将图像的灰度均值归一化到区间[0,1]。

(2)融合规则：

Res_final＝αRes_camera+(1-α)Res_wifi (6)

其中，Res_camera为摄像机传感器的检测结果，Res_wifi为WIFI传感器的检测结果，α为归一化到区间[0,1]的图像灰度值的平均值。

设定阈值thresh，若Res_final≥thresh，则判定检测到有行人，否则，无检测结果。

本文实验的硬件环境为：CPU：Intel i3-2350M 2.30GHz，内存：6G，硬盘：500G 机械硬盘，独立显卡：ATI Radeon HD 6370，1G；系统环境为Windows 10专业版64 位；软件环境为Visual Studio 2017，opencv3.4.1。本文针对WIFI传感器的检测做了实测数据的实验，用于验证WIFI检测算法的有效性和实时性；针对摄像机传感器的检测做了两组实验，一组是基于Pascal VOC公开数据集，用于验证mobilenet-SSD的准确率，通过实际测试，其准确率可以达到72.7％；一组是实际采集到的室内行人数据，用于验证和测试mobilenet-SSD的准确率和实时性，其正确率可以达到85％，单帧的实时性可以达到150ms，通过采取多线程和跳帧的方式，可以达到检测的实时性要求；融合方面，将WIFI和摄像机传感器的结果根据融合规则进行融合，验证其有效性和实时性。

本发明具体实施如下：

步骤1WIFI传感器的CSI(Channel State Information，信道状态信息)信号幅值分析：

记动、静态条件下的CSI信号幅值序列分别为 其中表示标记为j的离散时间索引为i处的CSI信号幅值，其中i＝{1,2,…,L}，L为滑动窗口的长度；j＝{1,2}，取值为1表示动态条件下的幅值，取值为2表示静态条件下的幅值。(动态条件下的CSI信号是WIFI传感器的实时信号，静态条件下的CSI信号是环境干扰较弱条件下采集到的WIFI信号)

(1)计算动、静态条件下CSI信号幅值的欧氏距离、马氏距离

(a)欧氏距离：

(b)马氏距离：

其中，μ为S₁(t)的均值，C为S₂(t)的协方差矩阵。

(2)计算动态条件下的CSI信号幅值的方差距离

其中，L为滑动窗口的长度，为滑动窗口中第k时刻的CSI信号幅值，μ为 S₁(t)的均值。

若三个距离E₁₂、M₁₂、Var大于各自设置的距离参数，则将其各自对应的结果置为1，否则置为0；然后对三个距离的结果做或运算，得到WIFI传感器的检测结果Res_wifi，将Res_wifi传递至融合模块进行决策。

步骤2摄像机传感器的行人检测：基于卷积神经网络和多尺度特征图融合，采用深度学习目标检测方法mobilenet-SSD(SSD，Single Shot MultiBox Detector，一种端到端的深度学习目标检测方法，mobilenet表示轻量级网络)，对从摄像机获取的图像进行行人检测，从而得到摄像机传感器的检测结果Res_camera，将Res_camera传递至融合模块进行决策。

(1)特征提取：通过卷积层来提取特征，池化层对特征进行压缩。

(a)卷积操作提取特征：假定卷积层的输入特征图F_in的参数为W_in×H_in×C_in，W_in表示特征图的宽度，H_in表示特征图的高度，C_in表示特征图的通道数。卷积层的卷积参数为K,S,P,Stride，K表示卷积核的数目，S表示卷积核的宽度和高度，P表示对输入特征图进行补零操作，例如P＝1表示对输入特征图的周围补一圈0，Stride表示卷积核在输入特征图上的滑动步长。则卷积层的输出特征图F_out的参数为W_out×H_out×C_out， W_out表示特征图的宽度，H_out表示特征图的高度，C_out表示特征图的通道数，其参数计算如下：

现在的卷积核的大小一般为3×3，P＝1，Stride＝1，这样可以保证输入特征图和输出特征图的大小保持一致

(b)池化层压缩特征：一般采用最大池化层，即在对特征图进行下采样时，选取 2×2格子中值最大的数传递至输出特征图中。池化操作中，输入输出特征层的通道数不变，输出特征图的大小是输入特征图的大小一半。

(c)相邻尺度的特征融合操作：设相邻尺度特征图的较大的特征图F_big的参数为W_big×H_big×C_big，较小的特征图F_small的参数为W_small×H_small×C_small，其中W_big＝2×W_small。对较大尺度的特征图进行卷积操作，则卷积的参数为K＝C_small，S＝3，P＝1，Stride＝2，则通过公式(10)可以计算出输出的特征图F_out的参数为W_out＝W_small，H_out＝H_small，C_out＝C_small，将特征图F_small和F_out对应位置的参数进行线性叠加，即可得到相邻尺度的融合特征图。

(2)行人预测：将多个相邻尺度的融合特征图送入网络的检测层，检测层可以预测图像中行人的目标框和置信度信息，设置置信度的阈值，以抑制一些误检的目标框。若检测到有行人，则Res_camera＝1，否则Res_camera＝0。

步骤3WIFI和和摄像机传感器检测结果的融合：基于公式(12)的融合规则，实现WIFI和摄像机传感器结果的融合。

(1)计算融合权重α：

其中，I是图像对应的二维灰度矩阵，W是图像的像素宽度，H是图像的像素高度，除以255是将图像的灰度均值归一化到区间[0,1]。

(2)融合规则：

Res_final＝αRes_camera+(1-α)Res_wifi (12)

其中，Res_camera为摄像机传感器的检测结果，Res_wifi为WIFI传感器的检测结果，α为归一化到区间[0,1]的图像灰度值的平均值。

设定阈值thresh，若Res_final≥thresh，则判定检测到有行人，否则，无检测结果。

Claims (3)

1.一种基于WIFI和摄像机传感器决策级融合的室内行人检测方法，其特征在于：将摄像机传感器的镜头置于对准入门，检测方法步骤如下：

步骤1：对WIFI传感器的CSI信号幅值计算，得到WIFI传感器的检测结果：

记动、静态条件下的CSI信号幅值序列分别为 其中表示标记为j的离散时间索引为i处的CSI信号幅值，其中i＝{1,2,…,L}，L为滑动窗口的长度；j＝{1,2}，取值为1表示动态条件下的幅值，取值为2表示静态条件下的幅值，动态条件下的CSI信号是WIFI传感器的实时信号，静态条件下的CSI信号是环境干扰较弱条件下采集到的WIFI信号；

计算动、静态条件下CSI信号幅值的欧氏距离：

计算动、静态条件下CSI信号幅值的马氏距离：

其中，μ为S₁(t)的均值，C为S₂(t)的协方差矩阵；

计算动态条件下的CSI信号幅值的方差距离：

其中，L为滑动窗口的长度，为滑动窗口中第k时刻的CSI信号幅值，μ为S₁(t)的均值；

若三个距离E₁₂、M₁₂、Var大于各自设置的距离参数，则将其各自对应的结果置为1，否则置为0；然后对三个距离的结果做或运算，得到WIFI传感器的检测结果Res_wifi，将Res_wifi传递至融合模块进行决策；

步骤2、摄像机传感器的行人检测：对从摄像机获取的图像进行行人检测，从而得到摄像机传感器的检测结果Res_camera，将Res_camera传递至融合模块进行决策：

1、卷积操作提取特征：假定卷积层的输入特征图F_in的参数为W_in×H_in×C_in，W_in表示特征图的宽度，H_in表示特征图的高度，C_in表示特征图的通道数。卷积层的卷积参数为K,S,P,Stride，K表示卷积核的数目，S表示卷积核的宽度和高度，P表示对输入特征图进行补零操作，例如P＝1表示对输入特征图的周围补一圈0，Stride表示卷积核在输入特征图上的滑动步长。则卷积层的输出特征图F_out的参数为W_out×H_out×C_out，W_out表示特征图的宽度，H_out表示特征图的高度，C_out表示特征图的通道数，其参数计算如下：

2、池化层压缩特征：采用最大池化层，即在对特征图进行下采样时，选取2×2格子中值最大的数传递至输出特征图中。池化操作中，输入输出特征层的通道数不变，输出特征图的大小是输入特征图的大小一半；

3、相邻尺度的特征融合操作：设相邻尺度特征图的较大的特征图F_big的参数为W_big×H_big×C_big，较小的特征图F_small的参数为W_small×H_small×C_small，其中W_big＝2×W_small。对较大尺度的特征图进行卷积操作，则卷积的参数为K＝C_small，S＝3，P＝1，Stride＝2，则通过公式(4)可以计算出输出的特征图F_out的参数为W_out＝W_small，H_out＝H_small，C_out＝C_small，将特征图F_small和F_out对应位置的参数进行线性叠加，即可得到相邻尺度的融合特征图；

4、行人预测：将多个相邻尺度的融合特征图送入网络的检测层，检测层可以预测图像中行人的目标框和置信度信息，设置置信度的阈值，以抑制一些误检的目标框。若检测到有行人，则Res_camera＝1，否则Res_camera＝0；

步骤3、WIFI和和摄像机传感器检测结果的融合：

1、计算融合权重α：

其中，I是图像对应的二维灰度矩阵，W是图像的像素宽度，H是图像的像素高度，除以255是将图像的灰度均值归一化到区间[0,1]；

2、以融合规则进行融合

融合规则：Res_final＝αRes_camera+(1-α)Res_wifi

其中，Res_camera为摄像机传感器的检测结果，Res_wifi为WIFI传感器的检测结果，α为归一化到区间[0,1]的图像灰度值的平均值；

步骤4：设定阈值thresh，若Res_final≥thresh，则判定检测到有行人，否则，无检测结果。

2.根据权利要求1所述基于WIFI和摄像机传感器决策级融合的室内行人检测方法，其特征在于：所述距离参数0.2～0.4。

3.根据权利要求1所述基于WIFI和摄像机传感器决策级融合的室内行人检测方法，其特征在于：所述阈值thresh为0.4～0.6。