CN114266012A - 基于WiFi的非接触式博物馆多区域观众计数方法 - Google Patents

基于WiFi的非接触式博物馆多区域观众计数方法 Download PDF

Info

Publication number
CN114266012A
CN114266012A CN202111570252.4A CN202111570252A CN114266012A CN 114266012 A CN114266012 A CN 114266012A CN 202111570252 A CN202111570252 A CN 202111570252A CN 114266012 A CN114266012 A CN 114266012A
Authority
CN
China
Prior art keywords
audience
museum
classifier
wifi
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111570252.4A
Other languages
English (en)
Other versions
CN114266012B (zh
Inventor
郑霞
江翼成
冯超
段美琳
张琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111570252.4A priority Critical patent/CN114266012B/zh
Publication of CN114266012A publication Critical patent/CN114266012A/zh
Application granted granted Critical
Publication of CN114266012B publication Critical patent/CN114266012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于WiFi的非接触式博物馆多区域观众计数方法，包括：以博物馆的多个监测区的出入口位置作为监测点，在每个监测点部署WiFi发射器和WiFi接收器；WiFi发射器发射WiFi信号，WiFi接收器的两根天线分别采集监测点处人流进和出时的通道状态信息幅值，并对通道状态信息幅值进行滤波、平滑、时间区域分割以及线性插值处理，得到博物馆样本数据；结合实验室样本数据及标签，利用基于环境迁移学习网络训练的观众人数识别模型对博物馆样本数据进行人数统计；利用基于环境迁移学习网络训练的观众方向识别模型对博物馆样本数据进行方向统计；结合监测点的人数统计结果和方向统计结果，确定监测区的观众人数。

Description

基于WiFi的非接触式博物馆多区域观众计数方法
技术领域
本发明属于博物馆观众行为监测领域，具体涉及一种基于WiFi的非接触式博物馆多区域观众计数方法。
背景技术
智慧博物馆概念的提出，对物联网技术在博物馆环境感知和监测方面的应用提出了更高的要求，而观众在博物馆内的参观行为是重要感知对象之一。展馆内实时的、细颗粒的人流量统计一方面有利于博物馆工作人员实现灵活调度、研究不同区域观众的停留时间等；另一方面也有利于观众了解热门展品，规划参观路线等。然而，目前博物馆现有的多区域观众流量统计技术难以同时满足自然的、可大规模部署的和保护隐私的监测效果。
根据是否需要观众携带额外设备，可将博物馆现有的观众多区域计数技术分为接触式和非接触式两种，进一步可细分为无线信号和图像两类方法。
(1)接触式无线信号技术是目前国内外博物馆最常使用的观众定位和路线跟踪技术。主要使用导览器或其他观众携带的智能设备与无线信号进行连接，实现基于设备的区域定位。无线信号包括蓝牙、射频识别、WiFi等，目前分别被应用于南京博物院、纽约国家数学博物馆、悉尼电力博物馆等。该类接触式无线信号技术可以针对个人的活动进行研究，但并非所有观众都有条件或愿意将携带的设备与无线信号网络进行连接，因此难以实现全体观众的区域计数。
(2)接触式图像技术利用观众携带的设备拍摄的第一人称视角画面识别所处的位置，从而实现个人的定位。例如使用智能手机摄像头拍摄观众参观过程中的图像制作情绪地图；或对基于头戴式摄像机和置于胸前的Gopro记录参观时的画面进行内容识别等。相较接触式无线信号技术而言，该类接触式图像技术能够更进一步获得观众的兴趣点，但是由于影响参观体验、对观众负担太重等原因，难以获取自然的行为数据或被大规模应用，目前主要用于学术研究。
(3)非接触式图像技术对博物馆的监控摄像头画面进行计算机视觉处理，实现区域人数的识别或路径追踪。展览空间已经配置图像监控设备，该非接触式图像技术也可以在观众意识不到的情况下进行区域人数统计，具有较高的可行性。但监控图像往往对障碍物和角度条件敏感，从而影响统计精度。此外，利用摄像机进行人数统计还可能涉及征询观众同意、隐私安全等问题。因此，该类非接触式图像技术目前主要用于较为开阔展示空间的艺术互动装置之中。
现有基于WiFi的非接触式无线信号人数统计技术尽管在教学楼、空地等场景进行实验，但并未充分考虑到博物馆空间的特殊性，主要可分为区域人数统计和人流计数两种。其中，区域人数计数是指对一个固定区域内的人数进行感知。WiFi非接触式信号设备由发射器和接收器组成，一般共同部署在一个空间之中。但是无线信号的通讯范围没有明确的边界概念，因此更适合单个监测点，在开放和连通的博物馆空间中进行多区域人数监测时，可能会因受到相邻区域观众活动的干扰而影响统计精度。人流统计是指对通过某个出入口的人流数量进行识别。博物馆的观众参观没有明确的方向规定，人们可以在不同区域间自由穿梭，因此，现有技术中仅考虑了人群的流量统计而没有实现方向识别，并不适配博物馆的应用场景。此外，无线感应设备在博物馆空间中的大规模部署需要多个监测点，由于信号特征对环境变化的敏感性，每个监测点都可能需要独立的采样、标注和训练。考虑到博物馆为公共空间，现有技术需要在部署阶段对每个监测点大量的采样都进行人工标注，不仅效率较低，还可能会影响观众的参观体验。
发明内容
鉴于上述，本发明的目的在于提供一种基于WiFi的非接触式博物馆多区域观众计数方法，在低经济成本条件下，实现对博物馆多区域观众的准确实时统计。
为实现上述发明目的，实施例提供以下技术方案：
一种基于WiFi的非接触式博物馆多区域观众计数方法，包括以下步骤：
以博物馆的多个监测区的出入口位置作为监测点，在每个监测点部署WiFi发射器和WiFi接收器；
WiFi发射器发射WiFi信号，WiFi接收器的两根天线分别采集监测点处人流进和出时的通道状态信息幅值，并对通道状态信息幅值进行滤波、平滑、时间区域分割以及线性插值处理，得到博物馆样本数据；
结合实验室样本数据及标签，利用基于环境迁移学习网络训练的观众人数识别模型对博物馆样本数据进行人数统计；利用基于环境迁移学习网络训练的观众方向识别模型对博物馆样本数据进行方向统计；
结合监测点的人数统计结果和方向统计结果，确定监测区的观众人数。
在一个实施例中，每次采样时间Ti采集的通道状态信息幅值样本Xi包括接收天线1的幅值样本XRX1,i和接收天线2的幅值样本XRX2,i，每个幅值样本包含S个长度为Ti×F的子载波通道状态信息幅值数据，表示为XRXa,i＝[ARXa,i,1,ARXa,i,2,…,ARXa,i,s,…,ARXa,i,S]，a＝1,2，0<s≤S；
Figure BDA0003423433660000041
0<t≤Ti×F，ARXa,i,s表示第s个子载波的通道状态信息幅值，F为采样率。
在一个实施例中，所述对对通道状态信息幅值进行滤波、平滑、时间区域分割以及线性插值处理，包括：
滤波处理：采用Hampel滤波去除ARXa,i,s中异常值；
平滑处理：对滤波处理的ARXa,i,s进行离散小波变换分解，将得到的近似系数向量进行重构、叠加、滑动窗口均值，以得到平滑后向量；
时间区域分割：以F为滑动窗口，依次计算平滑后接收天线1或接收天线2的第一个子载波向量中滑动窗口的方差，获得(Ti-1)×F长度的方差向量，选定方差阈值Z，计算方差向量中超过Z的下标最小值t1和下标最大值t2，以此裁剪平滑后接收天线1和接收天线2中所有子载波向量[t1-F,t2+F]段作为输出向量；
线性插值：通过对输出向量进行插值处理，统一输出向量长度为T，得到样本数据fpre(Xi)＝[fpre(XRX1,i),fpre(XRX2,i)]。
在一个实施例中，所述观众人数识别模型包括两个特征提取器fCFE1(·,·)和fCFE2(·,·)、人数分类器fCC(·,·)，其中，特征提取器fCFE1(·,·)和fCFE2(·,·)分别用于提取样本数据fpre(XRX1,i)和fpre(XRX2,i)的深层次特征FCFE1和FCFE2，人数分类器fCC(·,·)用于依据深层次特征FCFE1和FCFE2进行人数统计并输出人数统计结果
Figure BDA0003423433660000042
在一个实施例中，所述观众人数识别模型的训练过程包括：
结合实验室样本数据及人数标签，为观众人数识别模型增加环境分类器fCE(·,·)，用于依据深层次特征FCFE1和FCFE2区分样本数据fpre(Xi)来自于实验室场景数据或博物馆场景数据；
构建损失函数为：
Figure BDA0003423433660000051
Figure BDA0003423433660000052
Loss(θCFE1,θCFE2,θCC，θCE) ＝Loss(θCFE1,θCFE2,θCC)-αLoss(θCFE1,θCFE2,θCE)
损失函数对应的优化目标为：
Figure BDA0003423433660000053
Figure BDA0003423433660000054
其中，θCFE1,θCFE2,θCC,θCE分别为特征提取器fCFE1(·,·)和fCFE2(·,·)、人数分类器fCC(·,·)、环境分类器fCE(·，·)的参数，yCi为观众人数标签，
Figure BDA0003423433660000055
表示环境分类器fCE(·,·)的环境分类结果，yEi表示样本数据的环境标签，L(·,·)为交叉熵损失函数，α为权重参数，
Figure BDA0003423433660000056
分别表示两个特征提取器、人数分类器和环境分类器参数的优化目标；
实验室场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fCFE1(·，·)和fCFE2(·，·)特征提取后进行拼接，并输入至人数分类器fCC(·，·)和环境分类器fCE(·，·)进行监督学习；
博物馆场景采集的样本数据fpre(XRX1，i)和fpre(XRX2,i)经过特征提取器fCFE1(·，·)和fCFE2(·,·)特征提取后进行拼接，并输入至环境分类器fCE(·,·)进行监督学习；
在每次迭代中，特征提取器和人数分类器更新参数，损失函数Loss(θCFE1,θCFE2,θCC)权重为1，使总损失函数Loss(θCFE1,θCFE2,θCC,θCE)最小化；环境分类器更新参数，损失函数Loss(θCFE1,θCFE2,θCE)权重为负数，使总损失函数最大化，以实现对抗训练。
在一个实施例中，所述观众方向识别模型包括两个特征提取器fDFE1(·,·)和fDFE2(·,·)、方向分类器fDC(·，·)，其中，特征提取器fDFE1(·，·)和fDFE2(·，·)分别用于提取样本数据fpre(XRX1,i)和fpre(XRX2,i)的深层次特征FDFE1和FDFE2，方向分类器fDC(·，·)用于依据深层次特征FDFE1和FDFE2的拼接向量进行方向预测并输出方向统计结果
Figure BDA0003423433660000066
在一个实施例中，所述观众方向识别模型的训练过程包括：
结合实验室样本数据及方向标签，为观众方向识别模型增加环境分类器fDE(·,·)，用于依据深层次特征FDFE1和FDFE2区分样本数据fpre(Xi)来自于实验室场景数据或博物馆场景数据；
构建损失函数为：
Figure BDA0003423433660000061
Figure BDA0003423433660000062
Loss(θDFE1，θDFE2,θDC,θDE) ＝Loss(θDFE1,θDFE2，θDC)-αLoss(θDFE1，θDFE2，θDE)
损失函数对应的优化目标为：
Figure BDA0003423433660000063
Figure BDA0003423433660000064
其中，θDFE1，θDFE2，θDC，θDE分别为特征提取器fDFE1(·，·)和fDFE2(·，·)、方向分类器fDC(·，·)、环境分类器fDE(·，·)的参数，yDi为观众方向标签，
Figure BDA0003423433660000065
表示环境分类器fDE(·，·)的环境分类结果，yEi表示样本数据的环境标签，L(·，·)为交叉熵损失函数，α为权重参数，
Figure BDA0003423433660000071
分别表示两个特征提取器、方向分类器和环境分类器参数的优化目标；
实验室场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fDFE1(·,·)和fDFE2(·,·)特征提取后进行拼接，并输入至方向分类器fDC(·,·)和环境分类器fDE(·，·)进行监督学习；
博物馆场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fDFE1(·,·)和fDFE2(·,·)特征提取后进行拼接，并输入至环境分类器fDE(·,·)进行监督学习；
在每次迭代中，特征提取器和方向分类器更新参数，损失函数Loss(θDFE1，θDFE2，θDC)权重为1，使总损失函数Loss(θDFE1,θDFE2，θDC,θDE)最小化；环境分类器更新参数，损失函数Loss(θDFE1,θDFE2,θDE)权重为负数，使总损失函数最大化，以实现对抗训练。
在一个实施例中，所述结合监测点的人数统计结果和方向统计结果，确定监测区的观众人数，包括：按照以下公式确定监测区的观众人数：
Figure BDA0003423433660000072
Figure BDA0003423433660000073
其中，Nm-1和Nm分别表示第m-1和第m个监测区的观众人数，
Figure BDA0003423433660000074
表示第m个监测区的入口处的人数预测向量，
Figure BDA0003423433660000075
表示人数预测向量中最大值的下标，即预测的统计人数，
Figure BDA0003423433660000076
表示第m个监测区的入口处的方向预测向量，
Figure BDA0003423433660000077
表示方向预测向量中最大值的下标，即预测的观众流入流出方向，
Figure BDA0003423433660000078
表示为观众流入方向，
Figure BDA0003423433660000081
表示观众流出方向。
与现有技术相比，本发明具有的有益效果至少包括：以基于WiFi发射器和接收器采集的通道状态信息幅值为基础，通过同时考虑人流数量和人流方向来进行人数统计，此外考虑博物馆实地数据人数和方向标注困难的问题，结合实验室样本数据与标签，基于DANN环境迁移学习网络训练观众人数识别模型和观众方向识别模型，利用这两个模型进行博物馆环境的人数统计和方向统计，然后依据监测点的人数统计结果和方向统计结果，确定监测区的观众人数，该方法能够保护观众隐私，经济成本低，实时统计准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的部署阶段的流程图；
图2是实施例提供的WiFi发射器和WiFi接收器的部署示意图；
图3是实施例提供的实验场景的WiFi发射器和WiFi接收器的部署示意图；
图4是实施例提供的应用阶段的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
非接触式无线信号开展的区域统计技术是指通过机器学习识别人的活动引起的无线信号变化，从而实现非接触式的区域人群计数方法。目前，该类技术在博物馆并未有直接应用的案例。相较于接触式区域人数统计技术，非接触式技术更有利于获得全体观众的信息；而相较于图像识别方法，无线信号感知受灯光、角度、藏品遮挡等问题的影响较小，也更有利于保护除人数特征外的其他个人隐私，因此适合博物馆空间的部署和应用。射频识别、红外传感，超宽带等无线信号技术都可用于实现非接触式行为监测，但考虑到博物馆空间的通讯距离和部署成本，WiFi是一种较为适合在博物馆空间大规模部署的非接触式监测设备。
基于WiFi的非接触式无线信号统计技术包括区域人数统计和人流计数两种，人流统计和多区域人数可以相互转换，只要将设备部署在相邻监测区域的边界上，即可将人流信息转化为区域人数信息，因此更适合博物馆的多区域监测。但博物馆的观众参观没有明确的方向规定，人们可以在不同区域间自由穿梭，因此还需要在流量识别的基础上实现人群方向统计的功能，才能精准对区域进行计数。
无线感应设备在博物馆空间中的大规模部署需要多个监测点，由于信号特征对环境变化的敏感性，每个监测点都可能需要独立的采样、标注和训练。考虑到博物馆为公共空间，在部署阶段对每个监测点大量的样本都进行人工标注不仅效率低下，还可能会影响观众的参观体验。因此，需要一种将环境因素从人流特征中分离的方法，以支持在实验室进行采样和标注便可将同样的识别能力迁移至博物馆的环境迁移效果。
经过以上分析，本发明实施例结合博物馆的环境特点进行设备部署，在此基础上结合数据特点设计相应的信号处理和识别流程，提出一种基于WiFi的非接触式博物馆多区域观众计数方法。该方法将改进后的WiFi非接触式人流统计和方向判别技术应用于博物馆多区域观众计数领域，无需观众携带任何设备即可在不被观众注意到的情况下对展览中不同区域的人数进行较为自然和准确的实时统计，具有可大规模部署、保护隐私、经济成本较低等优点。再者，该方法利用域适应网络(Domain-Adversarial Training of NeuralNetworks，DANN)思想，结合实验室样本数据及标签，保证设备部署阶段人流特征从实验室向博物馆各监测点的环境迁移，以降低部署和训练的时间及人力成本。
图1是实施例提供的部署阶段的流程图。图4是实施例提供的应用阶段的流程图。如图1和图4所示，实施例提供的基于WiFi的非接触式博物馆多区域观众计数方法包括部署阶段和应用阶段，通过部署阶段基于环境迁移学习网络训练观众人数识别模型和观众方向识别模型，应用阶段直接利用这两个模型进行人数统计和方向统计，以确定监测区的观众人数。下面针对每个阶段进行详细说明。
部署阶段
如图1所示，部署阶段包括以下步骤：
步骤1.1，将博物馆场景的展览空间根据需求划分为M个不同的监测区，同时在实验场景划分多个监测区。
实施例中，将每个监测区的人数记为N1,N2,…，Nm,…,NM(0<m≤M)，每个监测区的人数值均初始化为0。
步骤1.2，每个监测区的出口和入口位置作为监测点，在每个监测点部署WiFi发射器和WiFi接收器。
实施例中，WiFi发射器包含一根发射天线，用于发射WiFi信号，命名为TX1,TX2,…,TXm,…,TXM+1(0<m≤M)，设置TXm的信号发送频率F和子载波数量S。WiFi接收器包含两根接收天线，用于分别采集监测点处人进和人出时的通道状态信息幅值，每个WiFi接收器命名为RXa,1,RXa,2,…,RXa,m,…,RXa,(M+1)(a＝1,2；0<m≤M+1)，其中a＝1,2对应两根天线。
图2示例性的给出了WiFi发射器和WiFi接收器的部署示意图。如图3所示，相邻两个监测区，前一个监测区的出口是后一个监测区的入口，因此针对连续的M个监测区，会有M+1个监测点。在每个监测点处均部署WiFi发射器和WiFi接收器。
图3是实施例提供的实验场景的WiFi发射器和WiFi接收器的部署示意图。如图3中的(a)-(c)给出了三个实验场景的WiFi发射器和WiFi接收器的部署情况。
实施例中，发射器可以使用5GHz频段的路由器，接收器为一个包含两根WiFi接收天线以及Intel 5300WiFi NIC网卡的微型工控机。两根天线的间距可以为0.15米。发射器和接收器的高度可以为0.85米，置于通道两端，接收器两根天线的连线和通道平行，发射器发送和接收器采样频率F可以为500，每个接收天线的子载波数量可以为30。
步骤1.3，利用WiFi接收器采集博物馆场景的每个监测点的通道状态信息幅值作为样本数据，并构建实验室场景的样本数据及标签。
实施例中，设置N为可监测人数的上限，在每个监测点，WiFi接收器的两根天线采集1,2,…,n,…，N(0<n≤N)观众流入(与展线顺序相同)和观众流出(与展线顺序相反)情况下各x个样本的通道状态信息(Channel State Information，CSI)幅值，每个幅值样本数据记为Xi。为实验室场景采集的样本数据添加人数标签yCi(0<i≤2×N×x)和方向标签yDi(0<i≤2×N×x)以及环境标签yEi＝[1 0]，为博物馆场景采集的样本数据仅添加环境标签yEi＝[0 1]。
实施例中，对每个实验室样本数据的人数和方向标签进行独热编码，即转化为一个长度相当于人数或方向情况数的向量，向量中除了真实情况对应下标处的值为1外，其余值均为0。特别设方向进为[1 0]，方向出为[0 1]。每次采样时间为Ti，则每个样本数据Xi包含两根接收天线幅值样本XRX1,i和XRX2,i，表示为Xi＝[XRX1,i,XRX2,i]，每个天线幅值样本包含S个长度为Ti×F的子载波通道状态信息幅值数据，即：XRXa,i＝[ARXa,i,1,ARXa,i,2,…，ARXa,i,s,…,ARXa,i,S]，其中，
Figure BDA0003423433660000121
Figure BDA0003423433660000122
a＝1,2，0<s≤S，0<t≤Ti×F。
步骤1.4，对样本数据进行预处理，包括滤波、平滑、时间区域分割以及线性插值处理。
实施例中，针对样本数据Xi中的每个子载波的幅值向量ARXa,i,s进行预处理fpre(·)：
滤波处理：可以采用Hampel滤波去除异常值，即计算每个CRXa,i,s,t及其左右各k个值组成的窗口的中位数，并计算CRXa,i,s,t与窗口中位数的绝对偏差，当CRXa,i,s,t与窗口中位数的差值超过三个绝对偏差时，用中位数代替CRXa,i,s,t。
平滑处理：对所有ARXa,i,s经滤波处理后的向量使用离散小波变换(DiscreteWavelet Transform，DWT)，利用Daubechies 3小波将信号分解为D级近似系数向量小波分解向量及其长度，对较高层的近似系数进行重构并叠加，对叠加后的信号以G为滑动窗口长度计算均值，组合成为平滑后向量。
时间区域分割：对天线1的第一个子载波ARX1,i,s对应的平滑后向量以F为滑动窗口值，依次计算平滑后向量中滑动窗口的方差，获得(Ti-1)×F长度的方差向量，选定方差阈值Z，计算方差向量中超过Z的下标最小值t1和下标最大值t2，以此裁剪平滑后两根天线所有子载波向量中[t1-F,t2+F]段作为输出向量。
线性插值处理：针对每个输出向量
Figure BDA0003423433660000131
Figure BDA0003423433660000132
通过线性插值的方式统一长度为T。具体可以按照公式
Figure BDA0003423433660000133
获得线性插值处理后的fpre(ARXa,i,s)＝[P1,P1，…，Pt，…，PT](0<t≤T)。则有：fpre(Xi)＝[fpre(XRX1,i),fpre(XRX2,i)]，其中：
fpre(XRXa,i)＝[fpre(ARXa,i,1),fpre(ARXa,i,2),…,fpre(ARXa,i,s),…，fpre(ARXa,i,S)]。
步骤1.5，基于环境迁移学习网络构建的观众人数识别模型，并训练观众人数识别模型参数。
实施例中，观众人数识别模型包括两个特征提取器fCFE1(·，·)和fCFE2(·,·)、人数分类器fCC(·,·)，其中，特征提取器fCFE1(·,·)和fCFE2(·,·)分别用于提取样本数据fpre(XRX1,i)和fpre(XRX2,i)的深层次特征FCFE1和FCFE2，人数分类器fCC(·,·)用于依据深层次特征FCFE1和FCFE2的拼接向量进行人数预测并输出观众人数预测向量
Figure BDA0003423433660000134
实施例中，对于每个fpre(Xi)，两个特征提取器fCFE1(·,·)和fCFE2(·，·)生成深层特征FCFE1＝fCFE1(fpre(XRX1,i),θCFE1)和FCFE2＝fCFE2(fpre(XRX2,i),θCFE2)，其中θCFE1和θCFE2为两个特征提取器中的参数；人数分类器fCC(·,·)基于深层特征FCFE1和FCFE2的拼接向量进行人数预测，输出观众人数预测向量
Figure BDA0003423433660000135
其中θCC为分类器参数。
为了避免对博物馆样本人数标签的人工标注，并使观众人数识别模型在观众人数预测时，不关注环境信息，更关注观众信息，因此，利用环境迁移学习网络训练观众人数识别模型，即增加环境分类器fCE(·,·)，用于对环境进行分类，输出环境分类结果
Figure BDA0003423433660000141
其中θCE为环境分类器参数，以区分深层特征FCFE1和FCFE2的拼接向量来自于实验室场景数据或博物馆场景数据。
实施例中，构建的损失函数为：
Figure BDA0003423433660000142
Figure BDA0003423433660000143
Loss(θCFE1,θCFE2,θCC,θCE)＝Loss(θCFE1,θCFE2,θCC)-αLoss(θCFE1,θCFE2,θCE)
损失函数对应的优化目标为：
Figure BDA0003423433660000144
Figure BDA0003423433660000145
其中，L(·,·)为交叉熵损失函数，α为权重参数，
Figure BDA0003423433660000146
分别表示两个特征提取器、人数分类器和环境分类器参数的优化目标；
训练时，实验室场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fCFE1(·,·)和fCFE2(·，·)特征提取后进行拼接，并输入至人数分类器fCC(·,·)和环境分类器fCE(·,·)进行监督学习；博物馆场景采集的样本数据fpre(XRX1，i)和fpre(XRX2，i)经过特征提取器fCFE1(·，·)和fCFE2(·,·)特征提取后进行拼接，并输入至环境分类器fCE(·,·)进行监督学习；
在每次迭代中，特征提取器和人数分类器更新参数，损失函数Loss(θCFE1,θCFE2,θCC)权重为1，使总损失函数Loss(θCFE1,θCFE2,θCC,θCE)最小化；环境分类器更新参数，损失函数Loss(θCFE1,θCFE2,θCE)权重为负数，使总损失函数最大化，以实现对抗训练。直到精度收敛后保存模型参数(θCFE1，θCFE2,θCC)，将每个监测点m的模型参数记为φC,m。
步骤1.6，基于环境迁移学习网络构建的观众方向识别模型，并训练观众方向识别模型参数。
实施例中，观众方向识别模型包括：两个特征提取器fDFE1(·，·)和fDFE2(·,·)、方向分类器fDC(·,·)，其中，特征提取器fDFE1(·,·)和fDFE2(·,·)分别用于提取样本数据fpre(XRX1，i)和fpre(XRX2，i)的深层次特征FDFE1和FDFE2，方向分类器fDC(·,·)用于依据深层次特征FDFE1和FDFE2的拼接向量进行方向预测并输出观众方向预测向量
Figure BDA0003423433660000151
实施例中，对于每个fpre(Xi)，两个特征提取器fDFE1(·，·)和fDFE2(·，·)生成深层特征FDRX1＝fDFE1(fpre(XRX1，i)，θDFE1)和FDRX2＝fDFE2(fpre(XRX2，i)，θDFE2)，其中θDFE1和θDFE2为两个特征提取器中的参数；方向分类器fDC(·，·)根据深层特征FDRX1和FDRX2的拼接向量进行方向预测，输出统计观众方向
Figure BDA0003423433660000152
其中θDC为分类器参数。
为了避免对博物馆样本方向标签的人工标注，并使观众方向识别模型在观众方向预测时，不关注环境信息，更关注观众信息，因此，利用环境迁移学习网络训练观众方向识别模型，即增加环境分类器fDE(·,·)，用于对环境进行分类，输出环境分类结果
Figure BDA0003423433660000153
其中θDE为环境分类器参数，以区分深层特征FDFE1和FDFE2的拼接向量来自于实验室场景数据或博物馆场景数据。
实施例中，构建的损失函数为：
Figure BDA0003423433660000154
Figure BDA0003423433660000155
Loss(θDFE1,θDFE2,θDC,θDE)＝Loss(θDFE1,θDFE2,θDC)-αLoss(θDFE1,θDFE2,θDE)
损失函数对应的优化目标为：
Figure BDA0003423433660000161
Figure BDA0003423433660000162
其中，L(·,·)为交叉熵损失函数，α为权重参数，
Figure BDA0003423433660000163
分别表示两个特征提取器、方向分类器和环境分类器参数的优化目标。
训练时，实验室场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fDFE1(·,·)和fDFE2(·,·)特征提取后进行拼接，输入至方向分类器fDC(·，·)和环境分类器fDE(·，·)进行监督学习；博物馆场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fDFE1(·,·)和fDFE2(·,·)特征提取后进行拼接，输入至环境分类器fDE(·,·)进行监督学习；
在每次迭代中，特征提取器和方向分类器更新参数，损失函数Loss(θDFE1，θDFE2，θDC)权重为1，使总损失函数Loss(θDFE1,θDFE2,θDC,θDE)最小化；环境分类器更新参数，损失函数Loss(θDFE1，θDFE2，θDE)权重为负数，使总损失函数最大化，以实现对抗训练。直到精度收敛后保存模型参数(θDFE1,θDFE2,θDC)，将每个监测点m的模型参数记为φD,m。
应用阶段
如图4所示，应用阶段包括以下步骤；
步骤2.1，WiFi发射器发射WiFi信号，WiFi接收器的两根天线分别采集博物馆监测点处不同人数的人流进和出时的通道状态信息幅值作为样本数据，并对样本数据进行预处理。
应用阶段的样本数据的采集方式与部署阶段中1.3相同，在此不再赘述。应用阶段对样本数据的预处理包括滤波、平滑、时间区域分割以及线性插值处理，该过程与部署阶段中步骤1.4相同，在此不再赘述。
步骤2.2，利用基于环境迁移学习网络训练的观众人数识别模型对博物馆样本数据进行人数统计。
实施例中，将经过预处理的样本数据fpre(Xi)输入至步骤1.5构建的观众人数识别模型进行预测，得到观众人数预测向量
Figure BDA0003423433660000176
fTRANSCOUNT(·,·)为基于环境迁移学习网络训练的观众人数识别模型。
步骤2.3，利用基于环境迁移学习网络构建的观众方向识别模型对博物馆样本数据进行方向统计。
实施例中，将经过预处理的样本数据fpre(Xi)输入至步骤1.6构建的观众方向识别模型进行预测，得到观众方向预测向量
Figure BDA0003423433660000171
fTRANSDIR(·,·)为基于环境迁移学习网络训练的观众方向识别模型。
步骤2.4，结合监测点的人数统计结果和方向统计结果，确定博物馆监测区的观众人数。
实施例中，根据以下公式确定监测区的观众人数：
Figure BDA0003423433660000172
Figure BDA0003423433660000173
其中，Nm-1和Nm分别表示第m-1和第m个监测区的观众人数，
Figure BDA0003423433660000174
表示第m个监测区的入口处的人数预测向量，
Figure BDA0003423433660000175
表示人数预测向量中最大值的下标，即预测的统计人数，
Figure BDA0003423433660000181
表示第m个监测区的入口处的方向预测向量，
Figure BDA0003423433660000182
表示方向预测向量中最大值的下标，即预测的观众流入流出方向，
Figure BDA0003423433660000183
表示为观众流入方向，
Figure BDA0003423433660000184
表示观众流出方向。
总之，上述实施例提供的基于WiFi的非接触式博物馆多区域观众计数方法，一方面可以有利于博物馆提供更优质的社会服务，如及时发现人流隐患、进行人员疏导等，区域人数数据也可实时向观众公开，便于观众规划参观路线，了解热门展品等。另一方面可以用于观众研究，便于策展人员了解观众的兴趣点，评估展览的场地合理程度和内容设计质量，为后续策展提供场地规划和藏品选择方面的经验。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，包括以下步骤：
以博物馆的多个监测区的出入口位置作为监测点，在每个监测点部署WiFi发射器和WiFi接收器；
WiFi发射器发射WiFi信号，WiFi接收器的两根天线分别采集监测点处人流进和出时的通道状态信息幅值，并对通道状态信息幅值进行滤波、平滑、时间区域分割以及线性插值处理，得到博物馆样本数据；
结合实验室样本数据及标签，利用基于环境迁移学习网络训练的观众人数识别模型对博物馆样本数据进行人数统计；利用基于环境迁移学习网络训练的观众方向识别模型对博物馆样本数据进行方向统计；
结合监测点的人数统计结果和方向统计结果，确定监测区的观众人数。
2.根据权利要求1所述的基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，每次采样时间Ti采集的通道状态信息幅值样本Xi包括接收天线1的幅值样本XRX1,i和接收天线2的幅值样本XRX2,i，每个幅值样本包含S个长度为Ti×F的子载波通道状态信息幅值数据，表示为XRXa,i＝[ARXa,i,1,ARXa,i,2,…,ARXa,i,s,…,ARXa,i,S]，a＝1,2，0<s≤S；
Figure FDA0003423433650000011
ARXa,i,s表示第s个子载波的通道状态信息幅值，F为采样率。
3.根据权利要求2所述的基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，所述对通道状态信息幅值进行滤波、平滑、时间区域分割以及线性插值处理，包括：
滤波处理：采用Hampel滤波去除ARXa,i,s中异常值；
平滑处理：对滤波处理的ARXa,i,s进行离散小波变换分解，将得到的近似系数向量进行重构、叠加、滑动窗口均值，以得到平滑后向量；
时间区域分割：以F为滑动窗口，依次计算平滑后接收天线1或接收天线2的第一个子载波向量中滑动窗口的方差，获得(Ti-1)×F长度的方差向量，选定方差阈值Z，计算方差向量中超过Z的下标最小值t1和下标最大值t2，以此裁剪平滑后接收天线1和接收天线2中所有子载波向量[t1-F,t2+F]段作为输出向量；
线性插值：通过对输出向量进行插值处理，统一输出向量长度为T，得到样本数据fpre(Xi)＝[fpre(XRX1,i),fpre(XRX2,i)]。
4.根据权利要求1所述的基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，所述观众人数识别模型包括两个特征提取器fCFE1(·,·)和fCFE2(·,·)、人数分类器fCC(·,·)，其中，特征提取器fCFE1(·,·)和fCFE2(·,·)分别用于提取样本数据fpre(XRX1,i)和fpre(XRX2,i)的深层次特征FCFE1和FCFE2，人数分类器fCC(·,·)用于依据深层次特征FCFE1和FCFE2进行人数统计并输出人数统计结果
Figure FDA0003423433650000021
5.根据权利要求4所述的基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，所述观众人数识别模型的训练过程包括：
结合实验室样本数据及人数标签，为观众人数识别模型增加环境分类器fCE(·,·)，用于依据深层次特征FCFE1和FCFE2区分样本数据fpre(Xi)来自于实验室场景数据或博物馆场景数据；
构建损失函数为：
Figure FDA0003423433650000022
Figure FDA0003423433650000023
Loss(θCFE1,θCFE2,θCC,θCE)＝Loss(θCFE1,θCFE2,θCC)-αLoss(θCFE1,θCFE2,θCE)
损失函数对应的优化目标为：
Figure FDA0003423433650000031
Figure FDA0003423433650000032
其中，θCFE1,θCFE2，θCC,θCE分别为特征提取器fCFE1(·,·)和fCFE2(·,·)、人数分类器fCC(·,·)、环境分类器fCE(·,·)的参数，yCi为观众人数标签，
Figure FDA0003423433650000033
表示环境分类器fCE(·,·)的环境分类结果，yEi表示样本数据的环境标签，L(·,·)为交叉熵损失函数，α为权重参数，
Figure FDA0003423433650000034
分别表示两个特征提取器、人数分类器和环境分类器参数的优化目标；
实验室场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fCFE1(·，·)和fCFE2(·,·)特征提取后进行拼接，并输入至人数分类器fCC(·,·)和环境分类器fCE(·,·)进行监督学习；
博物馆场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fCFE1(·,·)和fCFE2(·，·)特征提取后进行拼接，并输入至环境分类器fCE(·,·)进行监督学习；
在每次迭代中，特征提取器和人数分类器更新参数，损失函数Loss(θCFE1,θCFE2，θCC)权重为1，使总损失函数Loss(θCFE1,θCFE2,θCC,θCE)最小化；环境分类器更新参数，损失函数Loss(θCFE1,θCFE2,θCE)权重为负数，使总损失函数最大化，以实现对抗训练。
6.根据权利要求1所述的基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，所述观众方向识别模型包括两个特征提取器fDFE1(·,·)和fDFE2(·,·)、方向分类器fDC(·，·)，其中，特征提取器fDFE1(·，·)和fDFE2(·,·)分别用于提取样本数据fpre(XRX1,i)和fpre(XRX2,i)的深层次特征FDFE1和FDFE2，方向分类器fDC(·,·)用于依据深层次特征FDFE1和FDFE2的拼接向量进行方向预测并输出方向统计结果
Figure FDA0003423433650000041
7.根据权利要求6所述的基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，所述观众方向识别模型的训练过程包括：
结合实验室样本数据及方向标签，为观众方向识别模型增加环境分类器fDE(·,·)，用于依据深层次特征FDFE1和FDFE2区分样本数据fpre(Xi)来自于实验室场景数据或博物馆场景数据；
构建损失函数为：
Figure FDA0003423433650000042
Figure FDA0003423433650000043
Loss(θDFE1,θDFE2,θDC,θDE)＝Loss(θDFE1,θDFE2,θDC)-αLoss(θDFE1,θDFE2,θDE)
损失函数对应的优化目标为：
Figure FDA0003423433650000044
Figure FDA0003423433650000045
其中，θDFE1，θDFE2,θDC,θDE分别为特征提取器fDFE1(·,·)和fDFE2(·,·)、方向分类器fDC(·,·)、环境分类器fDE(·,·)的参数，yDi为观众方向标签，
Figure FDA0003423433650000046
表示环境分类器fDE(·,·)的环境分类结果，yEi表示样本数据的环境标签，L(·,·)为交叉熵损失函数，α为权重参数，
Figure FDA0003423433650000047
分别表示两个特征提取器、方向分类器和环境分类器参数的优化目标；
实验室场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fDFE1(·,·)和fDFE2(·,·)特征提取后进行拼接，并输入至方向分类器fDC(·,·)和环境分类器fDE(·，·)进行监督学习；
博物馆场景采集的样本数据fpre(XRX1,i)和fpre(XRX2,i)经过特征提取器fDFE1(·，·)和fDFE2(·，·)特征提取后进行拼接，并输入至环境分类器fDE(·,·)进行监督学习；
在每次迭代中，特征提取器和方向分类器更新参数，损失函数Loss(θDFE1,θDFE2,θDC)权重为1，使总损失函数Loss(θDFE1，θDFE2，θDC，θDE)最小化；环境分类器更新参数，损失函数Loss(θDFE1,θDFE2,θDE)权重为负数，使总损失函数最大化，以实现对抗训练。
8.根据权利要求1所述的基于WiFi的非接触式博物馆多区域观众计数方法，其特征在于，所述结合监测点的人数统计结果和方向统计结果，确定监测区的观众人数，包括：按照以下公式确定监测区的观众人数：
Figure FDA0003423433650000051
Figure FDA0003423433650000052
其中，Nm-1和Nm分别表示第m-1和第m个监测区的观众人数，
Figure FDA0003423433650000053
表示第m个监测区的入口处的人数预测向量，
Figure FDA0003423433650000054
表示人数预测向量中最大值的下标，即预测的统计人数，
Figure FDA0003423433650000055
表示第m个监测区的入口处的方向预测向量，
Figure FDA0003423433650000056
表示方向预测向量中最大值的下标，即预测的观众流入流出方向，
Figure FDA0003423433650000057
表示为观众流入方向，
Figure FDA0003423433650000058
表示观众流出方向。
CN202111570252.4A 2021-12-21 2021-12-21 基于WiFi的非接触式博物馆多区域观众计数方法 Active CN114266012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111570252.4A CN114266012B (zh) 2021-12-21 2021-12-21 基于WiFi的非接触式博物馆多区域观众计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111570252.4A CN114266012B (zh) 2021-12-21 2021-12-21 基于WiFi的非接触式博物馆多区域观众计数方法

Publications (2)

Publication Number Publication Date
CN114266012A true CN114266012A (zh) 2022-04-01
CN114266012B CN114266012B (zh) 2022-10-04

Family

ID=80828603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111570252.4A Active CN114266012B (zh) 2021-12-21 2021-12-21 基于WiFi的非接触式博物馆多区域观众计数方法

Country Status (1)

Country Link
CN (1) CN114266012B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238717A (zh) * 2022-08-16 2022-10-25 中国建筑一局(集团)有限公司 一种区域人口走向计算系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629380A (zh) * 2018-05-11 2018-10-09 西北大学 一种基于迁移学习的跨场景无线信号感知方法
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN110580496A (zh) * 2019-07-11 2019-12-17 南京邮电大学 一种基于熵最小化的深度迁移学习系统及方法
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技（深圳）有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质
WO2020231782A1 (en) * 2019-05-16 2020-11-19 Carrier Corporation Deployment method and system for wireless sensing apparatus
US20210065058A1 (en) * 2019-08-29 2021-03-04 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and readable medium for transfer learning in machine learning
CN112906517A (zh) * 2021-02-04 2021-06-04 广东省科学院智能制造研究所 一种自监督的幂律分布人群计数方法、装置和电子设备
CN113221983A (zh) * 2021-04-28 2021-08-06 北京达佳互联信息技术有限公司 迁移学习模型的训练方法及装置、图像处理方法及装置
CN113283948A (zh) * 2021-07-14 2021-08-20 腾讯科技（深圳）有限公司 预测模型的生成方法、装置、设备和可读介质
CN113283404A (zh) * 2021-07-22 2021-08-20 新石器慧通（北京）科技有限公司 行人属性识别方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629380A (zh) * 2018-05-11 2018-10-09 西北大学 一种基于迁移学习的跨场景无线信号感知方法
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技（深圳）有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质
WO2020231782A1 (en) * 2019-05-16 2020-11-19 Carrier Corporation Deployment method and system for wireless sensing apparatus
CN110580496A (zh) * 2019-07-11 2019-12-17 南京邮电大学 一种基于熵最小化的深度迁移学习系统及方法
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
US20210065058A1 (en) * 2019-08-29 2021-03-04 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and readable medium for transfer learning in machine learning
CN112906517A (zh) * 2021-02-04 2021-06-04 广东省科学院智能制造研究所 一种自监督的幂律分布人群计数方法、装置和电子设备
CN113221983A (zh) * 2021-04-28 2021-08-06 北京达佳互联信息技术有限公司 迁移学习模型的训练方法及装置、图像处理方法及装置
CN113283948A (zh) * 2021-07-14 2021-08-20 腾讯科技（深圳）有限公司 预测模型的生成方法、装置、设备和可读介质
CN113283404A (zh) * 2021-07-22 2021-08-20 新石器慧通（北京）科技有限公司 行人属性识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANNI YANG 等: "Door-Monitor: Counting In-and-Out Visitors With COTS WiFi Devices", 《IEEE INTERNET OF THINGS JOURNAL》 *
江翼成 等: "无线信号非接触感知观众行为的可行性分析", 《2021年北京数字博物馆研讨会论文集》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238717A (zh) * 2022-08-16 2022-10-25 中国建筑一局(集团)有限公司 一种区域人口走向计算系统及方法

Also Published As

Publication number Publication date
CN114266012B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
Yoshida et al. Estimating the number of people using existing WiFi access point in indoor environment
US7859564B2 (en) Video surveillance system
Yang et al. Wi-Count: Passing people counting with COTS WiFi devices
US20080172781A1 (en) System and method for obtaining and using advertising information
Prentow et al. Spatio-temporal facility utilization analysis from exhaustive wifi monitoring
CN104134364B (zh) 具有自我学习能力的实时交通标记识别方法及系统
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
KR101888922B1 (ko) 매장용 고객 관리 및 고객 행동 분석 시스템
CN114266012B (zh) 基于WiFi的非接触式博物馆多区域观众计数方法
US20220101630A1 (en) Simultaneous playback of continuous video recordings from multiple recording devices
DE102020204977A1 (de) Vorrichtung zur personenidentifizierung und bewegungsrichtungsschätzung
CN110443824A (zh) 用于生成信息的方法和装置
WO2009039350A1 (en) System and method for estimating characteristics of persons or things
CN108133197A (zh) 用于生成信息的方法和装置
DE102020209054A1 (de) Vorrichtung und verfahren zur personenerkennung, -verfolgung und -identifizierung unter verwendung drahtloser signale und bilder
Zhou et al. Wiflowcount: Device-free people flow counting by exploiting doppler effect in commodity wifi
CN112633249A (zh) 一种基于轻型深度学习框架的嵌入式人流量检测方法
CN108197563A (zh) 用于获取信息的方法及装置
KR20080012481A (ko) 알에프 송수신장치를 이용한 인터렉티브관광통합관리시스템
CN113674271B (zh) 一种基于云计算的变压器监测系统
CN110135233A (zh) 基于视频分析的航站楼旅客常见聚集行为识别方法
CN115002703A (zh) 一种基于Wi-Fi信道状态信息的被动式室内人数检测方法
CN112001232B (zh) 含个体特征的机场客流出行链精准感知装置
Gupta et al. A comparative study of crowd counting and profiling through visual and non-visual sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant