CN109005390B - 基于信号强度与视频的人员分布模型建立方法及系统 - Google Patents

基于信号强度与视频的人员分布模型建立方法及系统 Download PDF

Info

Publication number
CN109005390B
CN109005390B CN201811011752.2A CN201811011752A CN109005390B CN 109005390 B CN109005390 B CN 109005390B CN 201811011752 A CN201811011752 A CN 201811011752A CN 109005390 B CN109005390 B CN 109005390B
Authority
CN
China
Prior art keywords
building
rssi
value
sequence
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811011752.2A
Other languages
English (en)
Other versions
CN109005390A (zh
Inventor
曹建荣
张旭
王亚萌
孙雪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG ZHENGCHEN POLYTRON TECHNOLOGIES Co.,Ltd.
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN201811011752.2A priority Critical patent/CN109005390B/zh
Publication of CN109005390A publication Critical patent/CN109005390A/zh
Application granted granted Critical
Publication of CN109005390B publication Critical patent/CN109005390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了基于信号强度与视频的人员分布模型建立方法及系统,从现代化建筑中通过无线局域网和监控视频系统,基于两种新型统计方法获得人员数据,通过对比处理后,获取准确率最高的数据统计并根据环境变化,实施更新模型参数。该系统相比于其它现有系统,一方面能够实时获取数据并进行处理后得到高准确率的结果,另一方面系统可以根据实际建筑物内环境变化完成模型自动更新,保证准确率。

Description

基于信号强度与视频的人员分布模型建立方法及系统
技术领域
本发明涉及基于信号强度与视频的人员分布模型建立方法及系统。
背景技术
随着智慧城市与绿色智能建筑的不断发展,现代化智能绿色建筑对其自身结构化、数据化带来的决策要求越来越高。通过相关科技手段,获取建筑物相关数据并做智能处理与分析,完成建筑物内人员数据统计,进而辅助能耗管理决策分析。现代化建筑内无线局域网(WiFi)系统和视频监控系统为建筑物内人员数据统计提供了可能。对于建筑物内人员分布统计系统,国内外高校和许多科研机构大多基于单方面做了相关研究,即基于无线局域网(WiFi)系统的人员统计系统和基于视频监控系统的人员分布统计系统。
在无线局域网(WiFi)系统设计方面,大多均使用比较传统的三角定位法和指纹数据库定位法;对于数据的获取和处理存在很大的问题,判别方法无法保证精度。单纯使用现行的室内WiFi定位系统无法权衡精度和成本两者的关系。两者在提高精度过程中往往呈现较强的负相关,且不适用于建筑物内复杂的环境。
在视频监控系统设计方面,有基于传统背景建模的方法,也有使用深度学习算法实现统计的人员数量的算法。由于视频序列拆分数据量大,传统方法统计不精确,深度学习方法计算量大,往往只是理论上可行,设备处理能力不强或是算法本身存在问题。单纯使用现行的智能监控系统虽然可以基本实现人员监控、数据统计等功能。但是对于在线监控视频中运动目标遮挡等问题的快速解决,对数据挖掘深度不够的问题解决还达不到要求。
发明内容
为了解决现有技术的不足,本发明提供了基于信号强度与视频的人员分布模型建立方法及系统,以无线局域网(WiFi)系统和智能监控系统为基础,将两种方法的优点结合,实现对建筑物内无线局域网(WiFi)系统与视频监控系统产生的数据的深度挖掘;
为了解决上述技术问题,本发明采用如下技术方案:
作为本发明的第一方面,提供了基于信号强度与视频的人员分布模型建立方法;
基于信号强度与视频的人员分布模型建立方法,包括:
步骤(1):根据被测建筑物内每个无线接入点获取的移动终端的RSSI值,建立指纹标准数据库;计算出建筑内人数第一统计值;
步骤(2):根据被测建筑物内每个视频监控点的监控视频,建立基于视频人员分布模型;计算出建筑内人数第二统计值;
步骤(3):计算第一统计值与第二统计值的差值,如果差值为零,则对建筑内人数的第一统计值或第二统计值进行存储。
进一步的,步骤(1)的具体步骤为:
被测建筑物内每个无线接入点将从移动终端获取的报文上传给云端服务器,云端服务器将报文传输给PC端,PC端对报文进行校验,从校验通过的报文中提取信号强度指示RSSI信息;对建筑物内不同位置RSSI信息进行测量,建立指纹标准数据库;
每一个无线接入点按照时间先后对不同的6个移动终端各抓取一次RSSI数值,形成信号强度指示RSSI序列,对每一个无线接入点的信号强度指示RSSI序列做矩阵变换,变换成与指纹标准匹配特征矩阵行数和列数均相同的形式,然后将矩阵变换结果与指纹标准数据库进行匹配,获取最优匹配结果为人员位置确定点,根据人员位置确定点计算出建筑内人数第一统计值。
进一步的,所述步骤(2)的具体步骤为:
被测建筑物内每个视频监控点将自身监控的视频数据上传给云端服务器,云端服务器又将视频数据上传给PC端,PC端对视频数据进行拆分成若干帧,从每一秒的所有帧图像中提取人员状态特征,将人员状态特征输入到基于快速区域卷积神经网络模型Faster-R-CNN中,对模型进行训练,得到训练好的基于快速区域卷积神经网络模型;基于训练好的基于快速区域卷积神经网络模型,计算出视频数据中的建筑内人员第二统计值。
进一步的,所述步骤(3)的步骤为:如果差值不等于零,则进一步判断差值是否在设定阈值内;如果在设定阈值内,则对建筑内人数的第一统计值进行存储;如果差值不在设定阈值内,则进一步判断RSSI序列是否是异常序列;
如果RSSI序列是正常序列,则保存建筑内人数的第一统计值进行存储;如果RSSI序列是异常序列,则将异常序列对应的信号强度指示RSSI值和视频监控数据均记录为异常样本。
进一步的,判断RSSI序列是否是异常序列的判断标准是:
将当前时刻的RSSI序列的RSSI值与上一时刻的RSSI序列的RSSI值对应作差,如果差值均在设定范围内,则表示当前时刻的RSSI序列为正常序列,否则表示当前时刻的RSSI序列为异常序列。
进一步的,所述基于信号强度与视频的人员分布模型建立方法,还包括:
步骤(4):当异常样本数量达到设定数量时,使用设定比例的异常样本和第一统计值与第二统计值的差值为零的数据对应的样本对指纹标准数据库进行更新;
使用设定比例的异常样本和第一统计值与第二统计值的差值为零的数据对应的样本对应时间段的视频监控数据对基于快速区域卷积神经网络模型进行重新训练更新;
当指纹标准数据库和基于快速区域卷积神经网络模型两方面的更新均完成后,返回步骤(1)。
进一步的,被测建筑物内每个无线接入点将从移动终端获取的报文上传给云端服务器的具体步骤为:
在上传的过程中,由于被测建筑物内无线接入点MAC地址具备唯一性,将每个MAC地址的无线接入点获取的所有移动终端的报文按照时间顺序进行排序,将排序后的报文上传给云端服务器。
进一步的,PC端对报文进行校验,从校验通过的报文中提取信号强度指示RSSI信息的具体步骤为:
PC端对获取的报文对移动终端MAC地址、字段长度、传输数据位、无线接入点MAC地址进行完整性校验;
从校验完整无误的报文中,提取信号强度指示RSSI值、移动终端的MAC地址、无线接入点的MAC地址和时间;
将信号强度指示RSSI值、移动终端的MAC地址、无线接入点的MAC地址和时间存入数据库。
进一步的,对建筑物内不同位置RSSI信息进行测量,建立指纹标准数据库的具体步骤为:
根据建筑物楼层特点,定义相关变量:
Ji表示建筑物第i层;Six表示第i层内第x个监控器;Aiytp表示第i层内第y个无线接入点在t时刻获取的第p个移动终端地址,Sixt与Aiytp的t始终保持一致;W=(d1、d2、d3、...、dj)T,W表示指纹标准匹配特征矩阵;W为j*6的矩阵,其中,“6”为标准匹配特征矩阵中特征向量的长度;dj表示指纹标准匹配特征矩阵中第j个列向量;Ui=(α1、α2、α3、...、αq)T;Ui表示从第i个移动终端的RSSI信号强度衰减序列提取的特征矩阵;αq表示提取出来的第q个移动终端的RSSI值;K表示无线接入点与监控器匹配数量,
Figure BDA0001785198320000031
Six中的x最大值为第i层监控区域无重叠全覆盖所需数量;H为最终阈值范围;O为计算得到的指纹标准匹配特征矩阵与实际获取矩阵Ui之间的差值;AP为无线接入点;MT为移动终端;采用三维坐标构建室内指纹库,空间位置表示为Gxyz;Rxyz为室内Gxyz处的最终RSSI值;rxyz为某一个移动终端一次测量值;
将被测建筑物内每一层均匀分成若干区域,并以每个区域的中心位置为待测点;相邻待测点之间的间距相同;
对每个待测点在不同时间段,分别采用不同的MT进行采样,获取不同移动终端的RSSI值,计算不同移动终端的RSSI值的平均值,作为当前待测点最终的RSSI值;
获得所有待测点最终的RSSI值后,每一个无线接入点按照接收时间顺序从所有待测点中通过枚举的形式选择6个不同待测点的RSSI值组成一个序列,进而得到不同的序列存入数据库,进而得到指纹标准数据库。
进一步的,对于建筑物内不同位置进行测量,建立指纹标准数据库的具体步骤为:
使用p个MT,分别在不同时间段共测量q次,记录每次能测量出待测点RSSI值中记录的AP中的RSSI值,所以基于测量时间自动获取RSSI值,并在取平均值后确定为当前待测点的最终RSSI值Rxyz
Figure BDA0001785198320000041
生成在任何一个无线接入点AP下步长为6的RSSI序列,并存入数据库。
按照测量点随机生成W=(d1、d2、d3、d4、d5、d6)T标准序列,并存入数据库。
进一步的,对每一个无线接入点的信号强度指示RSSI序列做矩阵变换,变换成与指纹标准匹配特征矩阵行数和列数均相同的形式,然后将矩阵变换结果与指纹标准数据库进行匹配,获取最优匹配结果为人员位置确定点,进行根据人员位置确定点计算出建筑内人数第一统计值的具体步骤为:
步骤(11):p个MT经过q个无线接入点AP时,每一个无线接入点AP按照时间先后对每一个MT分别抓取1次RSSI数值,并建立RSSI信号强度衰减序列;
步骤(12):对每一个无线接入点形成的RSSI信号强度衰减序列做矩阵变换,变成与指纹标准匹配特征矩阵行数和列数均相同的形式;
步骤(13):将每个无线接入点的特征矩阵与每一个指纹标准匹配特征矩阵进行匹配计算,计算两个矩阵之间元素的欧式距离O求和的平均值,判断欧式距离O求和的平均值是否在设定阈值H范围内,如果在范围内,则表示指纹标准匹配特征矩阵中的待测点的位置即为当前人员位置;否则返回步骤(13)继续判断;
步骤(14):获取人员位置,进行根据人员位置计算出建筑内人数第一统计值。
所述人员状态特征,包括:走进监控区域、离开监控区域、运动缓慢或突然停止;
所述走进监控区域,根据相邻两帧图像的人员动作进行判断,如果前一帧图像中没有人员,而后一帧图像出现人员,则表示人员走进监控区域;
所述离开监控区域,根据相邻两帧图像的人员动作进行判断,如果前一帧图像中有人员,而后一帧图像人员消失,则表示人员离开监控区域;
所述运动缓慢,一秒内的所有帧图像的人员运动速度等于一秒内最后一帧图像人员所处位置与一秒内第一帧图像人员所处位置之间的距离除以一秒;若人员运动速度小于设定阈值则为运动缓慢;
所述突然停止,一秒内的所有帧图像的人员运动速度等于零,则表示人员停止。
作为本发明的第二方面,提供了基于信号强度与监控的建筑内人员分布挖掘系统;
基于信号强度与监控的建筑内人员分布挖掘系统,包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成上述任一方法所述的步骤。
作为本发明的第三方面,提供了一种计算机可读存储介质;
一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时,完成上述任一方法所述的步骤。
与现有技术相比,本发明的有益效果是:
该系统以无线局域网(WiFi)系统和智能监控系统为基础,将两种方法的优点结合,通过对建筑物内无线局域网(WiFi)系统与视频监控系统产生的数据的深度挖掘,。无线局域网(WiFi)系统具有唯一识别无线移动终端的MAC地址的功能;视频监控系统中视频的二维图像更具识别度。以两者的优点为基础,完成具有建筑物内人员高精度统计与分布等功能的系统开发。
系统可以根据建筑物内环境变化自动更新模型,无需人工判断,客观标准性高;
使用数据序列指纹库可以自动更新,准确率优于市场现阶段无线网络系统;
使用深度学习的模型对视频数据进行学习并且可以自动更新,泛化能力优于市场现阶段视频人员统计系统。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为获取数据框图;
图2为UDP报文解析过程示意图;
图3为RSSI强度值使用框图;
图4为模型更新流程图;
图5为整体流程图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图5所示,基于信号强度与监控的建筑内人员分布挖掘方法,包括以下步骤:
1、基于用户数据报协议(UDP),在本地实时获取所有无线网络终端上传的价值信息,通过对报文的校验判断是否要使用,通过对信号强度指示RSSI值、移动终端的MAC地址、无线接入点的MAC地址和时间截取、处理,得到标准信息。标准信息一方面用于储备信息,一方面用于实时判断人员数量统计;
2、通过对建筑物内不同具体位置进行测量建立指纹标准数据库,作为数据实时地判断人员数量的标准和依据;
3、在确定了的指纹标准数据库后,对每一个移动终端形成的RSSI信号强度衰减序列做矩阵变换,变成与标准匹配特征矩阵相同形式。然后与标准指纹数据库进行匹配,获取最优匹配为位置确定点;
4、使用建筑物内高质量视频,使用基于快速区域的卷积神经网络(Faster-R-CNN),进行训练,直到训练的模型错误率在要求之内。然后对可使用的模型做实时测试,测试其人员数量统计的情况;
5、无线局域网统计数量与视频统计数量匹配与存储,当双方在同一时刻均得到数值后,基于实验数据得到参数,对比两方数值。通过结果确定人员数量最终取值,同时存储结果;
6、当第5步骤中出现异常数据量达到阈值上限时,开始对模型进行自动更新。使用70%异常数据和抽取数据库中正常匹配零误差的数据用作更新指纹标准数据库数据序列;使用与无线局域网(WiFi)系统更新数据相同时间段的视频作为更新Faster-R-CNN模型参数的数据,确保模型同步更新。两个方面均完成更新后,返回主循环,正常使用。
所述步骤1的具体方法为:
UDP协议属于传输层协议,虽然没有传输控制协议(TCP)协议可靠性高,但是其传输成本比较低,其功能完整性完全可以满足本专利的使用条件。
获取标准数据流程(图1、图2为此过程的所示)如下:
1、通过唯一地址访问云端服务器;
2、通过无线局域网接入点的MAC唯一地址,将不同无线接入点实时上传的所有移动终端的报文按照时间顺序获取;
3、获取报文到本地后,分以下两步:
(1)对获取的UDP报文按照移动设备MAC地址进行字段长度、传输数据位、无线接入点MAC地址进行校验;
(2)将校验完整无误的UDP报文根据需要截取出有效字段。
4、数据处理后使用分成两个方面:
(1)价值信息转换成规则化数据条目并存入数据库;
(2)将截取完整的字段以数值形式直接输出到统计验证步骤。
所述步骤2的具体为:
1)基本假设
根据建筑物楼层特点,定义相关变量:
(1)Ji:建筑物第i层;
(2)Six:第i层内第x个监控器,可以唯一识别;
(3)Aiytp:第i层内第y个无线接入点在t时刻获取的p个移动终端地址,可以唯一识别,其中Sixt与Aiytp在系统中的t要始终保持一致;
(4)w=(d1、d2、d3、...、dj)T:标准匹配特征矩阵。按照本发明标准,W为j*6的矩阵,其中“6”为标准特征矩阵中特征向量的长度;
(5)Ui=(α1、α2、α3、...、αq)T:第i个移动终端的RSSI信号强度衰减链提取的特征矩阵;
(6)K:无线接入点与监控设备匹配数量根据Six的拍摄范围确定,即
Figure BDA0001785198320000081
个Aiytp与一个Six匹配成组(根据建筑物内部构造判断)。Six中的x最大值为第i层监控区域无重叠全覆盖所需数量;
(7)H:最终阈值范围;
(8)O:计算得到的实际差值;
(9)无线接入点表示为:AP;
(10)移动终端表示为:MT;
(11)采用三位坐标点构建室内指纹库,空间位置表示为Gxyz
(12)Rxyz为室内Gxyz处的最终测量值;
(13)rxyz:某一个移动终端一次测量值;
2)设计指纹数据库
将监控环境均匀分成若干区域,并在每个区域内确定待测点。要求相邻参考点距离必须相同。采用不同MT在待测点多次进行采样获取RSSI值,再经过优化处理后按照数据规则将数据存入数据库。
具体分为以下三步:
(1)将建筑空间均匀分割成若干区域,并做标记;
(2)对分割完毕的待测点进行RSSI值测量。使用p个MT,分别在不同时间段共测量q次。因为服务器中会记录每次能测量出此点RSSI值中记录的AP中的RSSI值,所以基于测量时间自动获取相关数据,并在取平均值后确定为此处的最终RSSI值。
编写均值的依据公式:
Figure BDA0001785198320000082
(3)生成在任何一个AP下能够完成步长为6的RSSI序列,并存入数据库。即按照测量点随机生成W=(d1、d2、d3、d4、d5、d6)T标准序列,并存入数据库。
所述步骤3包括以下具体步骤(如图3所示):
第一步:p个移动终端MT经过q个无线接入点AP时,每一个无线接入点AP对每一个移动终端MT分别每秒抓取1次RSSI数值,并建立RSSI信号强度衰减序列;
第二步:对每一个移动终端形成的RSSI信号强度衰减序列做矩阵变换,变成与标准匹配特征矩阵相同型式;
第三步:对生成的信号强度衰减序列做变形,形成标准形式的特征矩阵;
第四步:每个MT的特征矩阵与标准匹配特征矩阵匹配计算,判断实际差值O是否在阈值H是否计数在内;
第五步:将计数在内的矩阵存入数据库,再释放空间;
具体算法为:
假设有q个AP分别接收到p个的MT,在若干秒内收集的RSSI信号值为一串序列,如MAC1:a11;a12;a13;a14...此种形式。
形式如下:
AP1:(MT1:a11;a12;a13;a14...)...(MTp:p11;p12;p13;p14...)
AP2:(MT1:a21;a22;a23;a24...)...(MTp:p21;p22;p23;p24...)
……
APq:(MT 1:aq1;aq2;aq3;aq4...)...(MTp:pq1;pq2;pq3;pq4...)
存在的主要问题:根据MT移动初始位置不同,形成的MT序列长度不同;
算法步骤一:
基于MT地址信息对收集到的RSSI信号值做规则变换。
其中矩阵大小选取基于监控范围和AP信号收集能力而定,一般在
1×4、1×5、1×6、1×7之间选取。本文选取每个AP对每个MT形成1×6的矩阵;
实际处理分四种情况:
(1)对多于6的序列:取第7到10位,赋予0.1、0.08、0.05、0.05的权重加到第3、4、5、6位,用于增强RSSI计数值;
(2)对于4、5位的序列,根据前几位的信号强度差,补出后面位;
(3)对于多数AP收集的某个MT地址均只有1~3位或是没有记录,则直接舍去此序列;
(4)得到一串长度为6的正常序列;
算法步骤二:
理论上对每一个MT,q个AP均会在第一步骤后形成一个标准序列(特征向量)。将收集到一个MT的所有标准序列组合在形成矩阵。
设Ui为按步骤一形成的标准矩阵:
Figure BDA0001785198320000101
算法步骤三:
一个MT每个特征向量均与标准匹配特征矩阵中所有匹配特征向量计算二范数的绝对值,取其中最小值作为有效值,将所有得到的特征差绝对值求和,为最终判断依据。判断是否理论值域内,确定是否计数。计算公式如下:
Figure BDA0001785198320000102
判断:
Figure BDA0001785198320000103
是否计数;
所述步骤4具体方法包括:
1)前期训练阶段:
(1)收集本建筑物内监控视频资料。其中70%有效视频用作训练样本,30%有效视频用作检测模型样本;
(2)考虑到是算法运行时间、平台性能、摄像头拍摄范围与运动目标行动速度、无线局域网(WiFi)系统中计数频率,对得到的监控资料按时间顺序基于配置每秒抽取若干帧用作训练模型参数;
(3)在监控视频中,有以下分析:
A.运动目标(人)会出现正常走进监控区域、正常离开监控区域、运动缓慢、突然停止运动等四种状态;
B.运动目标(人)之间会出现一定百分比遮挡的情况;
C:建筑中的监控摄像中采集的视频绝大多情况为具有一定倾斜角度的俯视视角;
D:光照变化引起采集的视频质量低;
E:运动目标(人)穿着与背景极为相似、非人(动物)经过等情况出现;
(4)考虑到以上原因,使用Faster-R-CNN算法对训练样本进行训练,得到基于本建筑物中的Faster R-CNN模型;
(5)使用(4)中训练得到的Faster-R-CNN模型检测样本数据帧,判断准确率是否达到标准;
2)正式使用阶段:
实时调取监控视频,使用Faster-R-CNN模型进行计算,并得到图像中人数;
监控视频以二维平面为基础,会出现被统计人员的正常走进和离开监控区域、运动缓慢、突然停止运动等四种状态。
对于前两种状态,系统可以自动检测。对于后两种情况,当检测到运动目标数量变化不稳定时,计算变化幅度并跟踪监测区域内所有AP检测到的MT地址变化序列中,是否存在设定阈值内变化小的情况,若有则两边封存数据,暂缓处理;若两边均未检测到,则视作无效数据。
所述步骤5包括以下具体步骤:
由于视频监控和无线系统都得到统计数据,对于数据的匹配处理存在两类情况,一类是双方数据完全相同,一种是不同。对于相同的情况,则可以直接记录数据。对于不同的情况,判断差值是否在可行域内。若在,则根据方法计数统计,若不在则进行记录保存。具体判断方法如下:
1)差值可行域Δ计算
(1)使用ψi(i=1,2,3,4)个MT,在视频监控系统中按照之前介绍的方法,统计出四种状态(走进监控区域、正常离开监控区域、运动缓慢、突然停止运动)的数据
Figure BDA0001785198320000112
(2)使用ψi(i=1,2,3,4)个MT,在无线系统中按照之前介绍的方法,统计出与视频监控系统同一时间的状态下的数据φi,(i=1,2,3,4);
(3)重复以上步骤ω次;
(4)差值可行域用Δ表示。则有公式:
Figure BDA0001785198320000111
2)匹配判断
(1)当双方数据相等时,记录相关统计数据,并释放两方缓存;
(2)当双方数据不相等时,两方数据值做差后取绝对值(|ζ-ξ|=π,其中ζ为第一统计值,ξ为第二统计值),判断π是否小于等于差值可行域Δ。
A.当π小于等于Δ,则最终数据值FN=min(ζ,ξ)+Δ。记录相关统计数据,并释放两个子系统缓存;
B.当π大于Δ,判断RSSI序列是否为异常序列。
(1)判断当RSSI序列为正常序列时,并保存此次记录。
(2)判断当RSSI序列为异常序列时,则将本次匹配判断记录为异常样本,用作后期模型及参数更新时的测试样本。
3)存储
存储所有不同的MT地址产生的标准矩阵和O值、握手AP和时间等价值信息到云端,用于其他功能的使用,如刻画MT在建筑物内的运动轨迹等。
所述步骤6包括以下具体步骤(如图4所示):
1、在保证信号强度一般不变的情况下,指纹标准数据库会根据建筑物内实际情况不定期更新,确保数据准确性;
2、W=(d1、d2、d3、...、dj)T:标准匹配特征矩阵更新要根据1中更新与否确定更新;
3、考虑到季节变化引起的光照等影响,监控模型数据库可做微小变化;
4、每个周期更新后,使用上一周期若干样本的数据对其进行检测,判断否有所优化;有则正常使用,没有则继续使用上一周期其他数据继续训练,直到达到阈值为止。
完整的系统由两个子系统构成,分别使用不同先进方法同时进行,得到结果后通过对比,获取最终结果。系统根据自身适应性强弱自动更新,以保持实时的环境实用性。具体的流程如5所示。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (8)

1.基于信号强度与视频的人员分布模型建立方法,其特征是,包括:
步骤(1):根据被测建筑物内每个无线接入点获取的移动终端的RSSI值,建立指纹标准数据库;计算出建筑内人数第一统计值;
步骤(2):根据被测建筑物内每个视频监控点的监控视频,建立基于视频人员分布模型;计算出建筑内人数第二统计值;
步骤(3):计算第一统计值与第二统计值的差值,如果差值为零,则对建筑内人数的第一统计值或第二统计值进行存储;如果差值不等于零,则进一步判断差值是否在设定阈值内;如果在设定阈值内,则对建筑内人数的第一统计值进行存储;如果差值不在设定阈值内,则进一步判断RSSI序列是否是异常序列;
如果RSSI序列是正常序列,则保存建筑内人数的第一统计值进行存储;如果RSSI序列是异常序列,则将异常序列对应的信号强度指示RSSI值和视频监控数据均记录为异常样本;
步骤(4):当异常样本数量达到设定数量时,使用设定比例的异常样本和第一统计值与第二统计值的差值为零的数据对应的样本对指纹标准数据库进行更新;
使用设定比例的异常样本和第一统计值与第二统计值的差值为零的数据对应的样本对应时间段的视频监控数据对基于快速区域卷积神经网络模型进行重新训练更新;
当指纹标准数据库和基于快速区域卷积神经网络模型两方面的更新均完成后,返回步骤(1)。
2.如权利要求1所述的基于信号强度与视频的人员分布模型建立方法,其特征是,步骤(1)的具体步骤为:
被测建筑物内每个无线接入点将从移动终端获取的报文上传给云端服务器,云端服务器将报文传输给PC端,PC端对报文进行校验,从校验通过的报文中提取信号强度指示RSSI信息;对建筑物内不同位置RSSI信息进行测量,建立指纹标准数据库;
每一个无线接入点按照时间先后对不同的6个移动终端各抓取一次RSSI数值,形成信号强度指示RSSI序列,对每一个无线接入点的信号强度指示RSSI序列做矩阵变换,变换成与指纹标准匹配特征矩阵行数和列数均相同的形式,然后将矩阵变换结果与指纹标准数据库进行匹配,获取最优匹配结果为人员位置确定点,根据人员位置确定点计算出建筑内人数第一统计值。
3.如权利要求1所述的基于信号强度与视频的人员分布模型建立方法,其特征是,所述步骤(2)的具体步骤为:
被测建筑物内每个视频监控点将自身监控的视频数据上传给云端服务器,云端服务器又将视频数据上传给PC端,PC端对视频数据进行拆分成若干帧,从每一秒的所有帧图像中提取人员状态特征,将人员状态特征输入到基于快速区域卷积神经网络模型Faster-R-CNN中,对模型进行训练,得到训练好的基于快速区域卷积神经网络模型;基于训练好的基于快速区域卷积神经网络模型,计算出视频数据中的建筑内人员第二统计值。
4.如权利要求2所述的基于信号强度与视频的人员分布模型建立方法,其特征是,对建筑物内不同位置RSSI信息进行测量,建立指纹标准数据库的具体步骤为:
根据建筑物楼层特点,定义相关变量:
Ji表示建筑物第i层;Six表示第i层内第x个监控器;Aiytp表示第i层内第y个无线接入点在t时刻获取的第p个移动终端地址,Sixt与Aiytp的t始终保持一致;W=(d1、d2、d3、…、dj)T,W表示指纹标准匹配特征矩阵;W为j*6的矩阵,其中,“6”为标准匹配特征矩阵中特征向量的长度;dj表示指纹标准匹配特征矩阵中第j个列向量;
Ui=(α1、α2、α3、…、αq)T;Ui表示从第i个移动终端的RSSI信号强度衰减序列提取的特征矩阵;αq表示提取出来的第q个移动终端的RSSI值;K表示无线接入点与监控器匹配数量,
Figure FDA0002646336040000021
Six中的x最大值为第i层监控区域无重叠全覆盖所需数量;O为计算得到的指纹标准匹配特征矩阵与实际获取矩阵Ui之间的差值;AP为无线接入点;MT为移动终端;采用三维坐标构建室内指纹库,空间位置表示为Gxyz;Rxyz为室内Gxyz处的最终RSSI值;rxyz为某一个移动终端一次测量值;函数max(x)表示取x的最大值函数,函数Max(y)表示y的最大值函数;H表示标准特征向量与标准匹配特征矩阵Ui中所有匹配特征向量计算二范数的q倍,标准特征向量为标准匹配特征矩阵Ui的所有行矩阵的加权平均矩阵;H为O的参数阈值;H为最终阈值范围;
将被测建筑物内每一层均匀分成若干区域,并以每个区域的中心位置为待测点;相邻待测点之间的间距相同;
对每个待测点在不同时间段,分别采用不同的移动终端MT进行采样,获取不同移动终端的RSSI值,计算不同移动终端的RSSI值的平均值,作为当前待测点最终的RSSI值;
获得所有待测点最终的RSSI值后,每一个无线接入点按照接收时间顺序从所有待测点中通过枚举的形式选择6个不同待测点的RSSI值组成一个序列,进而得到不同的序列存入数据库,进而得到指纹标准数据库。
5.如权利要求2所述的基于信号强度与视频的人员分布模型建立方法,其特征是,对每一个无线接入点的信号强度指示RSSI序列做矩阵变换,变换成与指纹标准匹配特征矩阵行数和列数均相同的形式,然后将矩阵变换结果与指纹标准数据库进行匹配,获取最优匹配结果为人员位置确定点,根据人员位置确定点计算出建筑内人数第一统计值的具体步骤为:
步骤(11):p个移动终端MT经过q个无线接入点AP时,每一个无线接入点AP按照时间先后对每一个移动终端MT分别抓取1次RSSI数值,并建立RSSI信号强度衰减序列;
步骤(12):对每一个无线接入点形成的RSSI信号强度衰减序列做矩阵变换,变成与指纹标准匹配特征矩阵行数和列数均相同的形式;
步骤(13):将每个无线接入点的特征矩阵与每一个指纹标准匹配特征矩阵进行匹配计算,计算两个矩阵之间元素的欧式距离O求和的平均值,判断欧式距离O求和的平均值是否在设定阈值H范围内,H为O的参数阈值;如果在范围内,则表示指纹标准匹配特征矩阵中的待测点的位置即为当前人员位置;否则返回步骤(13)继续判断;
步骤(14):获取人员位置,进行根据人员位置计算出建筑内人数第一统计值。
6.如权利要求3所述的基于信号强度与视频的人员分布模型建立方法,其特征是,所述人员状态特征,包括:走进监控区域、离开监控区域、运动缓慢或突然停止;
所述走进监控区域,根据相邻两帧图像的人员动作进行判断,如果前一帧图像中没有人员,而后一帧图像出现人员,则表示人员走进监控区域;
所述离开监控区域,根据相邻两帧图像的人员动作进行判断,如果前一帧图像中有人员,而后一帧图像人员消失,则表示人员离开监控区域;
所述运动缓慢,一秒内的所有帧图像的人员运动速度等于一秒内最后一帧图像人员所处位置与一秒内第一帧图像人员所处位置之间的距离除以一秒;若人员运动速度小于设定阈值则为运动缓慢;
所述突然停止,一秒内的所有帧图像的人员运动速度等于零,则表示人员停止。
7.基于信号强度与监控的建筑内人员分布挖掘系统,其特征是,包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成上述权利要求1-6任一项方法所述的步骤。
8.一种计算机可读存储介质,其特征是,其上存储有计算机指令,所述计算机指令被处理器运行时,完成上述权利要求1-6任一项方法所述的步骤。
CN201811011752.2A 2018-08-31 2018-08-31 基于信号强度与视频的人员分布模型建立方法及系统 Active CN109005390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811011752.2A CN109005390B (zh) 2018-08-31 2018-08-31 基于信号强度与视频的人员分布模型建立方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811011752.2A CN109005390B (zh) 2018-08-31 2018-08-31 基于信号强度与视频的人员分布模型建立方法及系统

Publications (2)

Publication Number Publication Date
CN109005390A CN109005390A (zh) 2018-12-14
CN109005390B true CN109005390B (zh) 2020-12-04

Family

ID=64591367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811011752.2A Active CN109005390B (zh) 2018-08-31 2018-08-31 基于信号强度与视频的人员分布模型建立方法及系统

Country Status (1)

Country Link
CN (1) CN109005390B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020216877A1 (de) * 2019-04-26 2020-10-29 Inventio Ag Zugangskontrollsystem und verfahren zum betreiben eines zugangskontrollsystems
CN113361392B (zh) * 2021-06-04 2022-07-15 中国科学技术大学 无监督的基于相机和无线定位的多模态行人重识别方法
CN117440323B (zh) * 2023-12-20 2024-03-05 广东省人民医院 一种健康体检引导方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945533A (zh) * 2014-05-15 2014-07-23 济南嘉科电子技术有限公司 基于大数据的无线实时位置定位方法
CN104965964A (zh) * 2015-08-06 2015-10-07 山东建筑大学 一种基于监控视频分析的建筑物人员分布模型建立方法
CN106203302A (zh) * 2016-07-01 2016-12-07 屈桢深 基于视觉和无线感知相结合的行人检测和统计方法
CN107066978A (zh) * 2017-04-18 2017-08-18 云熠信息科技有限公司 一种人群信息采集分析方法和系统
CN107655159A (zh) * 2017-10-19 2018-02-02 福建帝视信息科技有限公司 一种基于人群密度感知模型的空调节能控制方法及系统
CN108012121A (zh) * 2017-12-14 2018-05-08 安徽大学 一种边缘计算和云计算融合的实时视频监控方法及系统
CN108174343A (zh) * 2017-11-29 2018-06-15 全球能源互联网研究院有限公司 一种面向电力室内通信运维场景的无线定位方法及系统
CN108182416A (zh) * 2017-12-30 2018-06-19 广州海昇计算机科技有限公司 一种无人机监控场景下的人体行为识别方法、系统及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130113928A1 (en) * 2011-11-08 2013-05-09 Joseph Feldman Computerized System and Method for Monitoring a Door of a Facility from Afar
US20140062774A1 (en) * 2012-08-28 2014-03-06 Disney Enterprises, Inc. Performing seamless positioning using various location techniques
US10395278B2 (en) * 2015-01-23 2019-08-27 Bluefox, Inc. Mobile device detection and engaging

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945533A (zh) * 2014-05-15 2014-07-23 济南嘉科电子技术有限公司 基于大数据的无线实时位置定位方法
CN104965964A (zh) * 2015-08-06 2015-10-07 山东建筑大学 一种基于监控视频分析的建筑物人员分布模型建立方法
CN106203302A (zh) * 2016-07-01 2016-12-07 屈桢深 基于视觉和无线感知相结合的行人检测和统计方法
CN107066978A (zh) * 2017-04-18 2017-08-18 云熠信息科技有限公司 一种人群信息采集分析方法和系统
CN107655159A (zh) * 2017-10-19 2018-02-02 福建帝视信息科技有限公司 一种基于人群密度感知模型的空调节能控制方法及系统
CN108174343A (zh) * 2017-11-29 2018-06-15 全球能源互联网研究院有限公司 一种面向电力室内通信运维场景的无线定位方法及系统
CN108012121A (zh) * 2017-12-14 2018-05-08 安徽大学 一种边缘计算和云计算融合的实时视频监控方法及系统
CN108182416A (zh) * 2017-12-30 2018-06-19 广州海昇计算机科技有限公司 一种无人机监控场景下的人体行为识别方法、系统及装置

Also Published As

Publication number Publication date
CN109005390A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109005390B (zh) 基于信号强度与视频的人员分布模型建立方法及系统
CN106908821B (zh) 一种室内外无缝定位切换方法
US9903943B2 (en) Distance estimation method and device as well as node localization method and apparatus
TWI492188B (zh) 利用多攝影機自動偵測與追蹤多目標的方法及系統
CN108513251A (zh) 一种基于mr数据的定位方法及系统
CN108919177B (zh) 一种基于虚拟信源估计与轨迹校正的定位地图构建方法
CN106952289B (zh) 结合深度视频分析的WiFi目标定位方法
CN109919975B (zh) 一种基于坐标标定的广域监控运动目标关联方法
KR101438377B1 (ko) 이동체의 위치 판단 장치 및 위치 판단 방법
CN104700408B (zh) 一种基于摄像机网络的室内单目标定位方法
CN108650626A (zh) 一种基于泰森多边形的指纹定位算法
CN111369378A (zh) 一种基于计算机视觉识别的生猪监管方法及系统
CN116738552B (zh) 一种基于物联网的环境检测设备管理方法及系统
CN108647587A (zh) 人数统计方法、装置、终端及存储介质
CN103150552B (zh) 一种基于人头计数的驾驶培训管理方法
Khassanov et al. Finer-level sequential wifi-based indoor localization
CN111461222B (zh) 目标物轨迹相似度的获取方法、装置及电子设备
CN111739056A (zh) 一种轨迹追踪系统
CN110493731A (zh) 移动轨迹获取方法、装置、存储介质以及设备
Katevas et al. Detecting group formations using iBeacon technology
CN107613466B (zh) 超密集无线网络下基于指纹相似度的室内定位方法
CN112036269A (zh) 跌倒检测方法、装置、计算机设备和存储介质
CN111654843B (zh) 自动更新指纹数据库的方法及系统、wifi定位方法及系统
CN109001674B (zh) 一种基于连续视频序列的WiFi指纹信息快速采集与定位方法
US10012729B2 (en) Tracking subjects using ranging sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220330

Address after: 250000 5th floor, building 2, Aosheng building, 1166 Xinluo street, high tech Industrial Development Zone, Jinan City, Shandong Province

Patentee after: SHANDONG ZHENGCHEN POLYTRON TECHNOLOGIES Co.,Ltd.

Address before: 250101 1000, Feng Ming Road, Lingang Development Zone, Licheng District, Ji'nan, Shandong

Patentee before: SHANDONG JIANZHU University