CN109711370A - 一种基于wifi探测和人脸聚类的数据融合算法 - Google Patents
一种基于wifi探测和人脸聚类的数据融合算法 Download PDFInfo
- Publication number
- CN109711370A CN109711370A CN201811638316.8A CN201811638316A CN109711370A CN 109711370 A CN109711370 A CN 109711370A CN 201811638316 A CN201811638316 A CN 201811638316A CN 109711370 A CN109711370 A CN 109711370A
- Authority
- CN
- China
- Prior art keywords
- face
- mac address
- track
- cluster
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 239000000523 sample Substances 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000015572 biosynthetic process Effects 0.000 claims abstract 2
- 239000013598 vector Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 238000001303 quality assessment method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000007726 management method Methods 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 6
- 230000005764 inhibitory process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000007667 floating Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Abstract
本发明为了解决社区管理中人员的信息获取和归并问题，提出了一种基于WIFI探测和人脸聚类的数据融合算法。此算法能将经常出入小区的人员的人脸和手机MAC地址对应，为社区管理提供相对可靠的数据。在小区出入口上安装两个摄像机用于采集进出小区人员的人脸，并通过WIFI探针采集手机MAC地址。通过摄像机抓拍人脸并输入深度卷积神经网络提取人脸特征，将长时间内进出小区的人脸聚类形成采集时刻的人脸轨迹。WIFI探针探测得到的手机MAC地址形成MAC地址采集时间轨迹。基于人脸轨迹和MAC地址轨迹，通过计算两两之间的Frechet距离，将Frechet距离小于阈值的人脸和MAC地址轨迹融合，形成融合数据。这样将人脸与手机MAC地址捆绑，有利于对小区进出人员的管理，提升小区的安全性。
Description
技术领域
本发明属于数据挖掘、计算机视觉和安防领域，涉及无线探测技术、模式识别、机器学习和数据分析等，利用WIFI探测手机硬件信息，利用摄像机检测并抓拍人脸图像，然后基于数据分析和人脸聚类的算法将手机信息和人脸图像融合，为人员管理提供有效的数据。
背景技术
随着社会的发展和城市化进程的逐步推进，社区的数量急剧增加，初步估计，全国小区数量已经超过了50万个，这给社区的管理带来巨大的压力。社区的管理中最重要的就是人的管理。城市的发展带来大量人口流入流出，人口的流动已经特别频繁，尤其是大型和特大型城市，流动人口数量庞大，据《中国流动人口发展报告2017》的统计，2016年我国的流动人口规模就已经达到2.45亿人，而经过了两年的发展，当前的流动人口规模将更加巨大。流动人口组成复杂，有大量来自农村的务工人员，也包含社会无业闲散人员，甚至还有逃窜的犯罪分子。如何对这些人口进行管理，已经成为城市管理或者社区管理中的一个难题。
传统的管理方法都是依靠被动登记的方式，通常依靠小区业主到居委会和物业部门登记，或者到派出所办理居住证时登记。而当前的居住条件，很多租房人员的信息，业主并不会反馈到相关部门，有些甚至连正式的租房合同都没有。即使是常住人口，在物业和居委会也没有相关人员的照片和联系方式等信息。而公安机关虽然有全国人口的身份信息和照片等，但这些流动人口居住在哪里，并无从得知，比如身份证登记的是某偏远山村的人，可能居住在北京某小区的地下室里。对社区人口的统计，传统方法是依靠抽样的方式，比如依靠志愿者上门咨询登记。这种方式会消耗大量的人力物力财力，并且由于居住人员的不配合，抽取的样本不具有典型性等，最终的结果与实际情况也有比较大的偏差。有许多小区有智能门禁，需要刷卡才能进入，此时通过统计刷卡的次数能估计出进出小区的人数，然而，泛滥的复制卡导致这些统计信息很不可信，另外与卡关联的人脸信息也属于空白。
人工智能技术的发展使得社区管理出现了新的产品形态，如人脸门禁系统，通过人脸识别以替代刷卡。人脸门禁通常是对进入小区的人员进行人脸检测和抓拍，然后将抓拍到的人脸特征与事先存储的人脸底库中的人脸特征进行匹配，如果匹配阈值高于设定值，则被允许进入。然而，人脸门禁属于配合式的装置，一旦门打开，则后面的人可以尾随进入，而不需要刷脸，这就会导致大量的人脸并没有被人脸门禁系统记录和存储；人脸门禁对不在库人员如快递人员、来访客人等的人脸存储和管理策略并不完善，通常只是临时采集。另外，人脸门禁属于新技术衍生产品，只有少部分小区在试点，大部分小区并没有部署人脸门禁。而且，最为关键的问题是人脸门禁并不会实时采集进出小区人员的手机WIFI硬件信息。
发明内容
本发明为了解决社区管理中人员的信息获取和归并问题，提出了一种基于WIFI探测和人脸聚类的数据融合算法。此算法能将经常出入小区的人员的人脸和手机MAC地址对应，为社区管理提供相对可靠的数据。本发明在小区出入口上安装两个摄像机用于采集进出小区人员的人脸，其中一个对着进入方向，另一个对着出口方向；在摄像机旁边安装WIFI探针，用于采集摄像机附近的手机MAC地址，如图1所示。本发明不需要人主动配合刷脸或者刷卡或者刷手机等，属于完全非配合式数据获取。将人脸抓拍摄像机的角度进行调整，使场景覆盖经过小区门口的人脸，并尽可能控制旁边经过的而不是进出小区的人脸。当某个人经过小区门口通道时，利用安装的两个摄像机对其人脸进行检测、跟踪和抓拍，然后通过人脸质量评估算法从中选取出最佳的一张人脸抓拍图像，同时记录下人脸抓拍的时刻。将选取出的人脸图像通过面部器官特征点的对齐校准后，输入给深度卷积神经网络为核心模块的人脸特征提取算法(即人脸识别算法核心模块)，提取出该人脸对应的1024维特征向量。同时，在摄像机旁边的WIFI探针或捕获到其周边开着WIFI的设备MAC地址，这些MAC地址中包含有经过小区门口的那个人(被抓拍到人脸)携带的手机MAC地址。这里需要说明的是手机必须开机并且开启WIFI功能。经过一段时间的运行，比如一个月，我们可以从这些数据中通过融合算法将手机MAC地址和人脸相对应。为了判别不同时间段抓拍的人脸是否属于同一个人，我们利用人脸聚类算法，计算人脸特征向量之间的相似度，将相似度高于一定阈值的人脸划归为同一个人。经过人脸聚类后，将每个人被人脸摄像机抓拍到的时刻组合形成人脸轨迹Fi＝[f0,f1,…,fn]，轨迹中每个点fn表示人脸抓拍的时刻。所有的人脸轨迹形成集合F。另外，将WIFI探针采集到的同一个手机MAC地址采集时刻组合形成MAC地址轨迹Cj＝[c0,c1,…,cm]，其中每个点cm表示MAC地址采集时刻。所有的MAC地址轨迹形成集合C。对于集合F中的每条人脸轨迹Fi，计算与集合C中每条MAC地址轨迹Cj的Frechet距离，最终得到Frechet距离最小的MAC地址轨迹Copt，如果Fi和Copt的Frechet距离小于设定的阈值，则判定Fi和Copt是属于同一个人的人脸和手机MAC地址。遍历所有的人脸轨迹，得到所有人的人脸和手机MAC地址融合数据。定义有规律的时间轨迹模板，如工作日早晚上下班时间的轨迹模板，将人脸轨迹和手机MAC地址轨迹与轨迹模板计算Frechet距离，如果距离小于一定阈值，则认为匹配，将此人划入小区上班族集合。
本发明提供的基于WIFI探测和人脸聚类的数据融合算法，包括：
初始化人脸轨迹集合和手机MAC地址轨迹集合，人脸轨迹集合至少包含预先分配的人脸特征向量存储空间、人脸采集时刻数据库表等，手机MAC地址轨迹集合至少包含MAC地址、MAC地址采集时刻数据库表等。
在小区出入口安装两个摄像机，一个拍摄进入小区的人员，另一个拍摄离开小区的人员。由于是室外场景，摄像机采用宽动态高清网络摄像机，并配置大光圈镜头。摄像机安装角度选择为尽可能拍摄到人的正脸。本发明采用背光条件下的人脸检测算法，根据检测到的前景区域进行测光，然后根据亮度的大小进行光圈和快门的动态调整，使人脸区域能够有效曝光。本发明采用多模型级联深度卷积神经网络进行人脸检测，根据测光值和整体光线的估计值，将采集到的图像输入给不同光照条件的人脸模型。模型训练的样本通过预先从7x24小时的小区出入口录像中采集。
由于对每帧图像都进行人脸检测，人脸跟踪模块需要实现的是前一帧或者前几帧检测出的人脸与当前帧检测出的人脸的对应关系，把属于同一个人的在不同帧上的人脸关联起来。然而，单纯通过人脸这个局部图像进行关联匹配，能利用的特征很少，因此，本发明通过检测到的人脸区域扩大到头肩区域(包括部分上半身)。然后，对头肩区域提取颜色直方图和梯度直方图组合成表征该人脸的特征，通过帧与帧之间计算头肩特征的匹配度，从而实现人脸的跟踪。
跟踪成功的人脸截图保存在队列中，需要通过人脸质量评估算法筛选出最适用于人脸识别或者人脸聚类的人脸截图。本发明综合人脸区域的对比度和边缘强度计算得到人脸质量评估值，对比度高，边缘明显，则人脸质量评估值就高，最终选择人脸质量评估值高的人脸截图。
人脸质量评估筛选出的人脸截图传入人脸对齐校准模块。首先提取人脸面部特征点，我们采用98个特征点的模型，结合边缘强度信息，将人脸边缘信息融入到特征学习中，同时对人脸关键点部件进行空间相对位置的约束。在提取出特征点后，通过仿射矩阵将人脸映射成标准的人脸。
人脸通过基于特征点的对齐校准后，输入给深度卷积神经网络提取特征，特征维度为1024维。如图3所示，深度卷积神经网络由残差网络组成。卷积层采用3x3的卷积核，池化层采用2x2的窗口。最终评估函数采用余弦距离损失函数，并设置类间距离的参数加以约束，此外，在训练过程中也对特征进行归一化。将网上公开的明星人脸数据集和小区出入口环境采集到的人脸通过标定后的数据集进行训练，最终生成提取人脸特征的卷积神经网络参数。
摄像机旁边安装的WIFI探针开启后，对其周边的开着WIFI功能的设备MAC地址进行探测，包括出入小区的人员手机MAC地址，并记录下这些MAC地址被探测时的时刻。经过长时间的运行，我们在数据库中保存了大量带有时刻标记的小区出入人员人脸及其特征向量，以及WIFI探针探测到的手机MAC地址集合。这里的人脸都是一张张相互独立的人脸，没有将属于同一个人在不同时间段采集到的人脸归到同一个人的集合中，为此，本发明采用人脸聚类的算法，从第一张人脸开始，如果当前这张人脸的特征与目前存在的某个集合(表示是某个人的人脸集合)匹配，也就是当前人脸的特征向量与集合中的某几个特征向量之间的相似度高于阈值，则把此张人脸并入此集合中，否则创建一个新的空集合，将此张人脸并入这个空集合，最终遍历所有的人脸后，形成一个个人脸集合(带有人脸抓拍时刻)，每个集合表示一个人的人脸轨迹Fi＝[f0,f1,…,fn]，轨迹中每个点fn表示人脸抓拍的时刻。所有的人脸轨迹形成集合F。另外，将数据库种WIFI探针采集到的同一个手机MAC地址采集时刻组合形成MAC地址轨迹Cj＝[c0,c1,…,cm]，其中每个点cm表示MAC地址采集时刻。
为了将采集到的MAC地址与人脸对应，我们通过计算人脸轨迹和MAC地址轨迹的重合程度来实现。对于集合F中的每条人脸轨迹Fi，计算与集合C中每条MAC地址轨迹Cj的Frechet距离，最终得到Frechet距离最小的MAC地址轨迹Copt，如果Fi和Copt的Frechet距离小于设定的阈值，则判定Fi和Copt是属于同一个人的人脸和手机MAC地址。遍历所有的人脸轨迹，得到所有人的人脸和手机MAC地址融合数据。
为了将进出小区的人员进行分类，如早晚上下班的上班族、经常在小区闲逛的闲散人员、快递员等，本发明设置了不同种类的轨迹模块，如果人脸轨迹或者MAC地址轨迹与轨迹模板匹配，则将此人归入模板对应的人员分类中。
本发明提出的基于WIFI探测和人脸聚类的数据融合算法，通过摄像机采集进出人员的人脸，同时通过WIFI探测采集手机MAC地址，属于非配合式数据采集，在不干扰小区人员正常进出的情况下，将人脸和MAC地址存入数据库。通过人脸聚类和轨迹匹配，将人脸数据和MAC地址数据融合，这样将人脸与手机MAC地址捆绑，有利于对小区进出人员的管理，提升小区的安全性。
附图说明
图1是本发明中小区出入口人脸摄像机和WIFI探针安装示意图。
图2是本发明基于WIFI探测和人脸聚类的数据融合算法流程图。
图3是本发明人脸特征提取的深度卷积神经网络各层说明示意图。
具体实施方式
下面结合附图和具体实例对本发明进行进一步解释。应该指出的是，下文所描述的实例旨在更好的理解本发明，只是本发明中的一部分，并不因此而限制本发明的保护范围。
如图2所示，本发明实现由进出两个摄像机同时进行人脸检测、人脸跟踪、人脸质量评估、人脸对齐校准、人脸特征提取、基于人脸特征的人脸聚类、人脸轨迹生成、WIFI探针MAC地址采集、MAC地址轨迹生成、基于Frechet距离的人脸和MAC地址融合等一系列步骤。
步骤201中，创建空的人脸轨迹集合F，并根据小区出入口的流量分配相应的数据库存储空间和磁盘存储空间，数据库需要创建人脸采集时刻、人脸特征等字段。
步骤202中，在小区出入口安装两个摄像机，一个拍摄进入小区的人员，另一个拍摄离开小区的人员。镜头采用大光圈镜头，可根据对行人进行测光，控制光圈和快门，使得抓拍到的人脸适合人脸聚类。考虑到小区出入口多为室外环境，外部光源除了太阳光之外还有其它光源，因此，本发明根据不同的光照条件建立不同的人脸模型，每个人脸模型为级联深度卷积神经网络，每个人脸模型都用该光线条件下的样本进行训练。在检测时，通过对场景光照的估计，选择相应的人脸模型。
步骤203，对每帧检测到的人脸，需要对帧与帧之间的人脸进行关联或者对应，把属于同一个人在不同帧的人脸归并到一起。本发明利用人脸区域以及延伸到头肩部分区域的颜色直方图和梯度直方图组合成跟踪需要的特征向量。前一帧跟踪到的人脸假设有M个，当前帧检测到人脸假设有N个，则计算两帧之间人脸特征匹配度的匹配矩阵为M×N矩阵，通过对匹配矩阵的行列优化，最终生成跟踪的结果，同时更新跟踪队列。
步骤204和步骤205，跟踪队里的人脸截图，需要通过人脸质量评估算法筛选出最适合用于人脸识别或者人脸聚类的人脸截图。本发明综合人脸区域的对比度和边缘强度计算得到人脸质量评估值，对比度的计算综合亮度最大值、亮度最小值、亮度平均值等，边缘强度则先通过Sobel边缘检测算子提取出边缘，然后通过对比度和边缘强度的综合函数生成人脸质量评估值，最终选择人脸质量评估值最高的人脸截图，同时保存该人脸截图对应的抓拍时刻。
步骤206，抓拍到的人脸截图由于人脸可能存在倾斜或者旋转等，需要对人脸进行对齐和校准，首先提取面部的98个特征点，以这98个特征点与标准人脸模板中的98个特征点为基准点进行对齐，然后通过仿射矩阵将人脸映射成标准的人脸。特征点的提取除了人脸部件模型外，还加入了边缘强度信息，已经人脸部件的空间相对位置约束。对齐校准并且缩放后，最终生成分辨率为128x112的人脸图。
步骤207，将对齐校准后的人脸图像输入给深度卷积神经网络提取特征，特征维度为1024维。深度卷积神经网络由残差网络组成。卷积层采用3x3的卷积核，池化层采用2x2的窗口。最终评估函数采用余弦距离损失函数，并设置类间距离的参数，此外，在训练过程中也对特征进行归一化。将网上公开的明星人脸数据库和小区出入口环境采集到的人脸通过标定后的数据库进行训练，最终生成提取人脸特征的卷积神经网络参数。训练样本由193000人组成，共计209万张人脸。
步骤208，人脸截图通过深度卷积神经网络后，生成特征向量，向量与向量之间的内积夹角(余弦距离)表示了人脸之间的相似度。基于此实现了人脸聚类的算法，从第一张人脸开始，如果当前这张人脸的特征与目前存在的某个集合(表示是某个人的人脸集合)匹配，也就是当前人脸的特征向量与集合中的某几个特征向量之间的相似度高于阈值，则把此张人脸并入此集合中，否则创建一个新的空集合，将此张人脸并入这个空集合。计算时将待聚类的这种人脸对应的特征向量与集合中的每个特征向量计算相似度，然后将相似度从高到低排序，计算相似度大于阈值的特征向量数目，如果数目大于集合元素数量的一半，则认为人脸与此集合匹配。最终遍历所有的人脸后，形成一个个人脸集合(带有人脸抓拍时刻)，每个集合表示一个人的人脸轨迹Fi＝[f0,f1,…,fn]，轨迹中每个点fn表示人脸抓拍的时刻。所有的人脸轨迹形成集合F。
步骤209、步骤210、步骤211和步骤212，首先创建MAC地址轨迹集合C，并进行初始化。摄像机旁边安装的WIFI探针开启后，对其周边的开着WIFI功能的设备MAC地址进行探测，包括出入小区的人员手机MAC地址，并记录下这些MAC地址被探测时的时刻，存入数据库中。将数据库中WIFI探针采集到的同一个手机MAC地址采集时刻组合形成MAC地址轨迹Cj＝[c0,c1,…,cm]，其中每个点cm表示MAC地址采集时刻。
步骤213、步骤214、步骤215和步骤216，为了将采集到的MAC地址与人脸对应，我们通过计算人脸轨迹和MAC地址轨迹的重合程度来实现。对于集合F中的每条人脸轨迹Fi，计算与集合C中每条MAC地址轨迹Cj的Frechet距离，最终得到Frechet距离最小的MAC地址轨迹Copt，如果Fi和Copt的Frechet距离小于设定的阈值，则判定Fi和Copt是属于同一个人的人脸和手机MAC地址，如果大于等于阈值，则认为人脸和MAC地址不匹配。遍历所有的人脸轨迹，得到所有人的人脸和手机MAC地址融合数据。
本发明基于WIFI探测和人脸聚类的数据融合算法，属于非配合式的WIFI探测和人脸聚类数据融合算法，在不干扰小区人员正常进出的情况下，将人脸和MAC地址存入数据库。通过人脸聚类和轨迹匹配，将人脸数据和MAC地址数据融合，这样将人脸与手机MAC地址捆绑，有利于对小区进出人员的管理，提升小区的安全性。同时，能通过特定轨迹模板，对进出小区的人员进行分类，因此，能够加强对小区内可疑人员和危险人员的管控。
Claims (9)
1.基于WIFI探测和人脸聚类的数据融合算法，其特征在于：在小区出入口安装两个方向的摄像机用于采集进出小区人员的人脸，安装WIFI探针用于探测小区出入口附近的手机MAC地址；从摄像机获取码流解码后，进行人脸检测，人脸检测结果通过头肩区域的跟踪算法将同一个人在进出小区那段时间的人脸归入人脸队列，紧接着利用人脸质量评估算法对人脸队列中的人脸截图进行评估，筛选出评估值最高的人脸截图，然后对人脸截图进行对齐校准然后输入深度卷积神经网络提取人脸特征用于人脸聚类，将长时间内进出小区的人脸进行聚类形成包含人脸采集时刻的人脸轨迹；WIFI探针探测得到的手机MAC地址通过数据库查询统计形成MAC地址采集时间轨迹；基于人脸轨迹和MAC地址轨迹，通过计算两两之间的Frechet距离，将Frechet距离小于一定阈值的人脸估计和MAC地址轨迹融合，即将人脸和MAC地址关联，形成融合数据。
2.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，室外各种光照条件下的人脸检测算法，根据检测到的前景区域进行测光，然后根据亮度的大小进行光圈和快门的动态调整，使人脸区域能够有效曝光；根据不同的光照条件建立不同的人脸模型，每个人脸模型为级联深度卷积神经网络，每个人脸模型都用该光线条件下的样本进行训练；在检测时，通过对场景光照的估计，选择相应的人脸模型。
3.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，利用人脸区域以及延伸到头肩部分区域的颜色直方图和梯度直方图组合成跟踪需要的特征向量，用此特征对检测出的人脸进行跟踪。
4.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，综合人脸区域的对比度和边缘强度计算得到人脸质量评估值，对比度的计算综合亮度最大值、亮度最小值、亮度平均值等，边缘强度则先通过Sobel边缘检测算子提取出边缘，然后通过对比度和边缘强度的综合函数生成人脸质量评估值。
5.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，人脸特征向量由深度卷积神经网络提取，该卷积神经网络由残差网络组成；卷积层采用3x3的卷积核，池化层采用2x2的窗口；最终评估函数采用余弦距离损失函数，并设置类间距离的参数，此外，在训练过程中也对特征进行归一化；将网上公开的明星人脸数据库和小区出入口环境采集到的人脸通过标定后的数据库进行训练。
6.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，将脸截图通过深度卷积神经网络后，生成特征向量，向量与向量之间的内积夹角(余弦距离)表示了人脸之间的相似度；通过迭代时的人脸聚类算法，从从第一张人脸开始，如果当前这张人脸的特征与目前存在的某个集合(表示是某个人的人脸集合)匹配，也就是当前人脸的特征向量与集合中的某几个特征向量之间的相似度高于阈值，则把此张人脸并入此集合中，否则创建一个新的空集合，将此张人脸并入这个空集合；遍历所有人脸及人脸特征后，生成人脸轨迹集合。
7.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，将WIFI探针采集到的手机MAC地址存入数据库，通过数据库的查询统计，形成MAC地址轨迹集合。
8.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，通过计算人脸轨迹和MAC地址轨迹的重合程度来实现人脸和MAC地址的对应，计算人脸轨迹集合和MAC地址轨迹集合两两元素之间的Frechet距离，若Frechet距离小于阈值，判定人脸轨迹和MAC地址轨迹匹配，对应的人脸和MAC地址关联，实现人脸和手机MAC地址融合数据。
9.根据权利要求1所述的基于WIFI探测和人脸聚类的数据融合算法，其特征在于，通过设置了不同种类的轨迹模块，如果人脸轨迹或者MAC地址轨迹与轨迹模板匹配，则将此人归入模板对应的人员分类中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811638316.8A CN109711370B (zh) | 2018-12-29 | 2018-12-29 | 一种基于wifi探测和人脸聚类的数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811638316.8A CN109711370B (zh) | 2018-12-29 | 2018-12-29 | 一种基于wifi探测和人脸聚类的数据融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109711370A true CN109711370A (zh) | 2019-05-03 |
| CN109711370B CN109711370B (zh) | 2021-03-26 |
Family
ID=66260155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811638316.8A Active CN109711370B (zh) | 2018-12-29 | 2018-12-29 | 一种基于wifi探测和人脸聚类的数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711370B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310658A (zh) * | 2019-06-21 | 2019-10-08 | 桂林电子科技大学 | 一种基于语音信号处理的语音分离办法 |
| CN110532934A (zh) * | 2019-08-26 | 2019-12-03 | 恒大智慧科技有限公司 | 一种人脸底库更新方法、装置、计算机设备及存储介质 |
| CN110852372A (zh) * | 2019-11-07 | 2020-02-28 | 北京爱笔科技有限公司 | 一种数据关联方法、装置、设备及可读存储介质 |
| CN111065044A (zh) * | 2019-10-30 | 2020-04-24 | 武汉烽火众智数字技术有限责任公司 | 基于大数据的数据关联分析方法、装置及计算机存储介质 |
| CN111491258A (zh) * | 2020-03-26 | 2020-08-04 | 微民保险代理有限公司 | 一种对象类型的检测方法和装置 |
| CN111553231A (zh) * | 2020-04-21 | 2020-08-18 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN111615062A (zh) * | 2020-05-12 | 2020-09-01 | 博康云信科技有限公司 | 一种基于碰撞算法的目标人员定位方法及系统 |
| CN111797295A (zh) * | 2020-06-19 | 2020-10-20 | 云从科技集团股份有限公司 | 一种多维时空轨迹融合方法、装置、机器可读介质及设备 |
| CN111950937A (zh) * | 2020-09-01 | 2020-11-17 | 上海海事大学 | 一种基于融合时空轨迹的重点人员风险评估方法 |
| CN112116503A (zh) * | 2020-09-28 | 2020-12-22 | 松立控股集团股份有限公司 | 一种智慧社区云平台管理系统 |
| CN112116502A (zh) * | 2020-09-28 | 2020-12-22 | 松立控股集团股份有限公司 | 一种智慧社区安防管理系统 |
| CN112383581A (zh) * | 2020-09-28 | 2021-02-19 | 松立控股集团股份有限公司 | 一种智慧社区前端管理系统 |
| CN112750244A (zh) * | 2020-12-30 | 2021-05-04 | 广东赛诺科技股份有限公司 | 一种基于Hadoop技术识别门禁套卡方法及系统 |
| CN112906725A (zh) * | 2019-11-19 | 2021-06-04 | 北京金山云网络技术有限公司 | 统计人流特征的方法、装置及服务器 |
| CN112926639A (zh) * | 2021-02-20 | 2021-06-08 | 浙江大华技术股份有限公司 | 一种轨迹跟踪方法、装置、存储介质及电子装置 |
| CN113158889A (zh) * | 2021-04-15 | 2021-07-23 | 上海芯翌智能科技有限公司 | 数据清洗、训练方法及装置、计算机可读存储介质、终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105160317A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种基于区域分块行人性别识别方法 |
| CN105790955A (zh) * | 2016-04-06 | 2016-07-20 | 深圳市博康智能信息技术有限公司 | 一种基于mac地址与人脸信息关联的方法和系统 |
| CN106548164A (zh) * | 2016-11-28 | 2017-03-29 | 中通服公众信息产业股份有限公司 | 人脸图像与移动设备的关联性识别方法 |
| CN106874347A (zh) * | 2016-12-26 | 2017-06-20 | 深圳市深网视界科技有限公司 | 一种匹配人体特征与mac地址的方法及系统 |
| CN106934773A (zh) * | 2017-03-03 | 2017-07-07 | 中国民航大学 | 视频运动目标与Mac地址匹配方法 |
| CN108109164A (zh) * | 2017-12-08 | 2018-06-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN108256459A (zh) * | 2018-01-10 | 2018-07-06 | 北京博睿视科技有限责任公司 | 基于多摄像机融合的安检门人脸识别和人脸自动建库算法 |
-
2018
- 2018-12-29 CN CN201811638316.8A patent/CN109711370B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105160317A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种基于区域分块行人性别识别方法 |
| CN105790955A (zh) * | 2016-04-06 | 2016-07-20 | 深圳市博康智能信息技术有限公司 | 一种基于mac地址与人脸信息关联的方法和系统 |
| CN106548164A (zh) * | 2016-11-28 | 2017-03-29 | 中通服公众信息产业股份有限公司 | 人脸图像与移动设备的关联性识别方法 |
| CN106874347A (zh) * | 2016-12-26 | 2017-06-20 | 深圳市深网视界科技有限公司 | 一种匹配人体特征与mac地址的方法及系统 |
| CN106934773A (zh) * | 2017-03-03 | 2017-07-07 | 中国民航大学 | 视频运动目标与Mac地址匹配方法 |
| CN108109164A (zh) * | 2017-12-08 | 2018-06-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN108256459A (zh) * | 2018-01-10 | 2018-07-06 | 北京博睿视科技有限责任公司 | 基于多摄像机融合的安检门人脸识别和人脸自动建库算法 |
Non-Patent Citations (4)
| Title |
|---|
| SANTIAGO MAZUELAS ET AL.: "Robust Indoor Positioning Provided by Real-Time RSSI Values in Unmodified WLAN Networks", 《 IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》 * |
| 余飞 等: "多级联卷积神经网络人脸检测", 《五邑大学学报（自然科学版）》 * |
| 李乃鹏: "视觉-WIFI联合无限终端用户识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 温阳 等: "基于边缘相似度的全参考图像质量评价算法", 《测控技术》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310658A (zh) * | 2019-06-21 | 2019-10-08 | 桂林电子科技大学 | 一种基于语音信号处理的语音分离办法 |
| CN110310658B (zh) * | 2019-06-21 | 2021-11-30 | 桂林电子科技大学 | 一种基于语音信号处理的语音分离办法 |
| CN110532934A (zh) * | 2019-08-26 | 2019-12-03 | 恒大智慧科技有限公司 | 一种人脸底库更新方法、装置、计算机设备及存储介质 |
| CN111065044A (zh) * | 2019-10-30 | 2020-04-24 | 武汉烽火众智数字技术有限责任公司 | 基于大数据的数据关联分析方法、装置及计算机存储介质 |
| CN111065044B (zh) * | 2019-10-30 | 2021-11-16 | 武汉烽火众智数字技术有限责任公司 | 基于大数据的数据关联分析方法、装置及计算机存储介质 |
| CN110852372A (zh) * | 2019-11-07 | 2020-02-28 | 北京爱笔科技有限公司 | 一种数据关联方法、装置、设备及可读存储介质 |
| CN112906725A (zh) * | 2019-11-19 | 2021-06-04 | 北京金山云网络技术有限公司 | 统计人流特征的方法、装置及服务器 |
| CN111491258A (zh) * | 2020-03-26 | 2020-08-04 | 微民保险代理有限公司 | 一种对象类型的检测方法和装置 |
| CN111553231A (zh) * | 2020-04-21 | 2020-08-18 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN111553231B (zh) * | 2020-04-21 | 2023-04-28 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN111615062A (zh) * | 2020-05-12 | 2020-09-01 | 博康云信科技有限公司 | 一种基于碰撞算法的目标人员定位方法及系统 |
| CN111797295B (zh) * | 2020-06-19 | 2021-04-02 | 云从科技集团股份有限公司 | 一种多维时空轨迹融合方法、装置、机器可读介质及设备 |
| CN111797295A (zh) * | 2020-06-19 | 2020-10-20 | 云从科技集团股份有限公司 | 一种多维时空轨迹融合方法、装置、机器可读介质及设备 |
| CN111950937B (zh) * | 2020-09-01 | 2023-12-01 | 上海海事大学 | 一种基于融合时空轨迹的重点人员风险评估方法 |
| CN111950937A (zh) * | 2020-09-01 | 2020-11-17 | 上海海事大学 | 一种基于融合时空轨迹的重点人员风险评估方法 |
| CN112116502A (zh) * | 2020-09-28 | 2020-12-22 | 松立控股集团股份有限公司 | 一种智慧社区安防管理系统 |
| CN112383581A (zh) * | 2020-09-28 | 2021-02-19 | 松立控股集团股份有限公司 | 一种智慧社区前端管理系统 |
| CN112116503A (zh) * | 2020-09-28 | 2020-12-22 | 松立控股集团股份有限公司 | 一种智慧社区云平台管理系统 |
| CN112750244A (zh) * | 2020-12-30 | 2021-05-04 | 广东赛诺科技股份有限公司 | 一种基于Hadoop技术识别门禁套卡方法及系统 |
| CN112750244B (zh) * | 2020-12-30 | 2022-07-22 | 广东赛诺科技股份有限公司 | 一种基于Hadoop技术识别门禁套卡方法及系统 |
| CN112926639A (zh) * | 2021-02-20 | 2021-06-08 | 浙江大华技术股份有限公司 | 一种轨迹跟踪方法、装置、存储介质及电子装置 |
| CN113158889A (zh) * | 2021-04-15 | 2021-07-23 | 上海芯翌智能科技有限公司 | 数据清洗、训练方法及装置、计算机可读存储介质、终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109711370B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711370A (zh) | 一种基于wifi探测和人脸聚类的数据融合算法 | |
| CN106203274B (zh) | 一种视频监控中行人实时检测系统及方法 | |
| CN111460962B (zh) | 一种口罩人脸识别方法及系统 | |
| CN111444848A (zh) | 一种基于联邦学习的特定场景模型升级方法和系统 | |
| WO2019104949A1 (zh) | 一种实现人员大数据采集分析的住宅门禁系统 | |
| CN104091176A (zh) | 人像比对在视频中的应用技术 | |
| TWI416068B (zh) | 跨感測器間之物體追蹤方法與系統 | |
| CN109344271A (zh) | 视频人像档案处理方法及其系统 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN109934176A (zh) | 行人识别系统、识别方法及计算机可读存储介质 | |
| CN102867188B (zh) | 一种基于级联结构的会场内座位状态检测方法 | |
| CN104036236B (zh) | 一种基于多参数指数加权的人脸性别识别方法 | |
| CN102043953A (zh) | 一种实时鲁棒的针对特定场景的行人检测方法 | |
| CN104408406B (zh) | 基于帧差法和减背景法的人员离岗检测方法 | |
| CN102170563A (zh) | 智能人员卡口系统及人员监控管理方法 | |
| CN104751143B (zh) | 一种基于深度学习的人证核验系统及方法 | |
| CN104517095B (zh) | 一种基于深度图像的人头分割方法 | |
| CN105426869A (zh) | 基于铁路安检的人脸识别系统及识别方法 | |
| CN107230267A (zh) | 基于人脸识别算法的幼儿园智能签到方法 | |
| CN110728252B (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| CN107315993A (zh) | 一种基于人脸识别的门镜系统及其人脸识别方法 | |
| CN110930577A (zh) | 一种基于门禁数据分析未登记但实际入住人员的方法 | |
| CN104123714B (zh) | 一种人流量统计中最优目标检测尺度的生成方法 | |
| CN113269091A (zh) | 一种面向智慧园区的人员轨迹分析方法、设备及介质 | |
| CN109117745A (zh) | 一种基于建筑信息模型的云端人脸识别与定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231201 Address after: Room 609-1, 6th Floor, Import and Export Exhibition and Trading Center, Huanghua Comprehensive Bonded Zone, Huanghua Town, Lingkong Block, Changsha Area, Changsha Free Trade Zone, Hunan Province, 410137 Patentee after: Hunan Shengxun Technology Co.,Ltd. Address before: Room 412, 4th Floor, Building 6, No. 13 North Ertiao, Zhongguancun, Haidian District, Beijing, 100190 Patentee before: BEIJING BRAVEVIDEO TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |