CN106548164A - 人脸图像与移动设备的关联性识别方法 - Google Patents

Abstract

本发明涉及安全监控技术领域，特别涉及一种人脸图像与移动设备的关联性识别方法，包括如下步骤：步骤一，用监控设备、wifi探针及存储设备对监控区域进行人脸图像和无线设备MAC地址的进行存储记录；步骤二，对监控设备记录的数据进行人脸图像及其对应的时间向量的提取；步骤三，对wifi探针记录的数据进行MAC地址及其对应的时间向量的提取；步骤四，对步骤二和步骤三提取出来的数据进行初步关联性计算；步骤五，对步骤四获取的结果进行关联性二次计算。本发明的有益效果是：可以更为准确的对监控设备采集的人脸图像和无线设备的MAC地址进行关联。

Description

人脸图像与移动设备的关联性识别方法

技术领域

本发明涉及安全监控技术领域，特别涉及一种人脸图像与移动设备的关联性识别方法。

背景技术

图像识别技术在近年获得了飞速发展，尤其是基于多层卷积神经网络的机器学习技术已经将人脸识别准确率提高到99％以上。技术上的突飞猛进推动了图像识别技术在多领域内的实际应用，例如在交通监管方面，对涉案、违规等车辆的识别搜索已经在相当程度上替代了人工操作；在虚拟现实(VR)和增强现实(AR)领域，对自然物体的图像识别是一项重要的基础性功能。图像识别技术的发展使我们有能力应对快速增长的人员和大型物品的特征识别和追踪的需求，但是，对于随身电子设备等与人员身份密切相关的物品，难以用图像技术识别，为此，人们已开发出红外传感，GPS定位，电磁探测等技术，这些技术的应用在一定程度上能够提供物品较准确的位置信息，但是如何将图像识别得到的人脸和物品的外形信息与小型电子设备的MAC地址信息进行关联，以更好地将不同对象的空间、时间信息进行匹配，既有着潜在的巨大应用价值，又是一个亟待解决的技术难题。

发明内容

为了解决上述发明问题，本发明提供了一种人脸图像与移动设备的关联性识别方法，包括用于进行人脸图像采集的监控设备，用于获取无线设备MAC地址的wifi探针，及与两者相匹配的存储设备，包括如下步骤：

步骤一，用监控设备、wifi探针及存储设备对监控区域进行人脸图像和无线设备MAC地址的进行存储记录；

步骤二，对监控设备记录的数据进行人脸图像及其对应的时间向量的提取；

步骤三，对wifi探针记录的数据进行MAC地址及其对应的时间向量的提取；

步骤四，对步骤二和步骤三提取出来的数据进行初步关联性计算；

步骤五，对步骤四获取的结果进行关联性二次计算。

优选为，所述步骤二为，根据设定的时间和空间范围对多个监控设备记录的人脸图像及其对应的时间向量进行检索提取，列出所有的记录地址和时间， 将所有时间点组合成一个向量。

检索特定人脸在一定时间、空间范围内的历史图片。通过设置相似度，检索保存摄像头记录的历史图片库，获得相似度最高的多张人脸图像，通过人工过滤掉错误的人脸图像，可以得到一定量(几十到几百副)的真实历史图片，同时可以得到每一副图片的拍摄时间、地点信息。

优选为，所述步骤三为，根据所述步骤二中所列出的人脸图像记录地址和时间，搜索同时存在的MAC地址记录信息，列出其地址、时间和信号强度，将所有时间点组合成一个向量。

检索同一时间和空间范围内的wifi探针记录。wifi探针记录的字段有移动设备的MAC地址、记录时间、记录地点、信号强度。根据人脸图像的出现地址和时间对wifi记录进行初步检索，所有与人脸图像记录时间有交叉的wifi探针记录都被检索得到。

优选为，所述步骤四为，对步骤二和三提取出来的人脸图像的时间向量与MAC地址的时间向量的进行维度调整；计算调整后的人脸图像和MAC地址对应的时间向量的余弦相似度，并将得到的结果输出为按相似度由高到低排列的候选MAC地址序列。

人脸图像与MAC地址关联性的初步计算方法。提取步骤二检索结果中同一地点的人脸图像的记录时间，组合成一个向量A，同样地，将步骤三检索得到的该地点的所有wifi记录按照MAC地址进行分组，然后提取每一个MAC地址的多条记录对应的记录时间，组合成一个向量B，将每一个MAC地址的时间向量B与人脸图像向量A做余弦相关度计算，将MAC地址按照相关度从大到小的顺序排列。经此处理，在多数情况下，相关度最大的MAC地址即为该人脸对应的随身携带移动电子设备。

优选为，所述步骤四中的维度调整为，将人脸图像的时间向量按照wifi探针的采样率进行取舍，删除其中小于时间阈值的时间间隔记录点，时间阈值选用10秒，该阈值可根据实际情况调整；然后对比人脸图像和MAC地址的时间向量，取其中一个时间范围较小的向量，添加0值时间点，以使两向量的时间点完全对应，向量的维度保持一致。

优选为，所述步骤五中，利用wifi探针信号强度对步骤五中的候选MAC地址序列进一步调序；从而获得与人脸图像匹配可能性最高的MAC地址。

人脸图像与MAC地址关联性的进一步计算方法。在一些情况下，会出现 多余一条MAC地址与人脸图像的相关度很接近，这时考虑wifi探针记录中的信号强度，进一步对步骤四中排好序的MAC地址进行二次排序。wifi探针的信号强度与移动设备的距离平方成反比，由于受到周围环境、建筑物遮挡等因素的影响，该平方反比关系不一定精确成立，但是大体上wifi探针的信号是随着距离增大递减的。通过这一原理，就可以对MAC地址进行排序，信号强度大的位于前列。

优选为，所述步骤五为，当存在多个MAC地址的相似度比较接近的情况时，采用这些MAC地址对应的信号强度作为除时间之外的第二特征，按照信号强度平均值的大小将MAC地址再次排列，得到最终的MAC地址序列。

本发明的有益效果是可以更为准确的对监控设备采集的人脸图像和无线设备的MAC地址进行关联。

附图说明

图1为本发明实施例的人脸图像与移动设备的关联性识别方法流程图。

具体实施方式

实施例1

参见图1，本发明提供的人脸图像与移动设备MAC地址的关联识别方法的主要步骤如下：

步骤1、人脸图像识别和历史图像检索。人脸图像技术基于开源框架Caffe，主要环节包括：1)、人脸检测，实现人脸自动采集，确认检测目标的人脸属性；2)、人脸特征提取，将检测到的人脸转换成文本信息，包含人脸的特征码，性别、年龄、发型、衣服颜色等信息；3)、人脸历史图像检索，将人脸检测提取的图片与人脸图像历史数据库中在特定时间和空间范围内的记录进行一对一的比对，根据其相似度来判断人脸图像是否属于同一人。

步骤2、移动设备MAC地址的采集与初步处理。wifi探针记录的数据内容包含采集时间、采集地点、采集到的移动设备MAC地址、采集的信号强度等信息。wifi探针以设定的时间间隔(比如5分钟)将采集数据以压缩包的格式推送到服务器，在服务器端解压数据，并对数据进行清洗，将同一MAC地址中记录时间过近(例如10秒)的记录删除，最后将数据保存到数据库(例如Hbase)。

步骤3、分别提取人脸图像和MAC地址的记录时间向量。依据步骤1获得同一人的人脸图像记录时间和地点范围，检索步骤2中的MAC地址记录。 由于wifi探针和摄像头的采样率不同，MAC地址的记录时间与人脸图像的记录时间不可能精确一致，设定MAC地址记录时间的检索范围为人脸图像记录时间段的前后20分钟范围之内。例如，人脸图像的记录时间是2016年3月5日17时25分到当日17时35分，那么MAC地址的时间搜索范围为当日17时05分到17时55分。MAC地址记录在时间上离散分布，将其与MAC地址和信号强度整合成一个向量，表1为其典型示例(表中时间点下方的值为1，表示在该时间点处该MAC地址被采集到，如果该值为0，则表示未被采集)：

表1 MAC地址时间向量示例

因为摄像头的采样率远高于wifi探针，所以人脸图像记录时间点的数量多于后者。为使人脸图像与MAC地址的记录时间向量之间能够进行余弦相似度计算，要求两者维度相同，为此，需按照wifi探针的采样率删除人脸识别记录中的冗余数据，处理之后的典型人脸识别记录时间向量如表2所示：

表2人脸图像时间向量示例一

以上得到的MAC地址和人脸图像的记录时间向量的维数(时间点的个数)仍然不同，一般而言，wifi探针可以避开障碍物进行远距离探测，其记录时间个数较人脸图像为多，因此需扩充人脸图像的记录时间向量，即如表3所示：

表3人脸图像时间向量示例二

在新扩充的时间点处，向量中的值为0，表示人脸图像在该时间点处未被采集，经此处理，MAC地址与人脸图像的时间向量为同维。

步骤4、人脸图像时间向量和MAC地址时间向量的相似度运算。采用余弦相似度算法，对步骤3得到的同维时间向量进行操作。该相似度的计算公式如下：

其中a、b为向量，即位如前述的人脸图像和MAC地址时间向量，cosθ为两向量之间的相似度。

以计算得到的相似度值进行排序，得到一组MAC地址，即为移动设备的参考列表。

步骤5、利用信号强度对MAC地址序列进行二次排序。在人脸图像出现的地址和时间数量不大的情况时，很可能出现多组MAC地址与人脸图像在空间和时间上存在强关联性，即由步骤4得到的序列中前几个MAC地址的相似度都比较接近，此时采用wifi探针数据记录下来的信号强度，进一步区分不同MAC地址的相关性。信号强度与移动设备相对wifi探针的距离成反比，如下式所示：

其中x为距离，s为比例系数，e为信号强度。

上式是理想情况下的理论表达式，在实际情况下，信号强度受到建筑物等环境因素影响，不能精确满足上式，但大体上信号强度是与距离成反比关系。只需wifi探针安装的位置与摄像头比较接近，可近似认为当人脸图像被捕获 时，同时采集的wifi信号应该较强。基于此，提取步骤4得到的序列中相似度比较接近的前几个MAC地址，再进一步分别获取这些MAC地址对应的时间向量(参考步骤3)，根据每一个MAC地址的记录时间可以查询得到同步记录的信号强度。分别计算每一个MAC地址的平均信号强度，然后根据该值由大到小的顺序重新排列步骤4得到的MAC地址序列。最终得到与人脸图像最相关的移动设备MAC地址序列。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种人脸图像与移动设备的关联性识别方法，包括用于进行人脸图像采集的监控设备，用于获取无线设备MAC地址的wifi探针，及与两者相匹配的存储设备，其特征在于，包括如下步骤：

步骤一，用监控设备、wifi探针及存储设备对监控区域进行人脸图像和无线设备MAC地址的进行存储记录；

步骤二，对监控设备记录的数据进行人脸图像及其对应的时间向量的提取；

步骤三，对wifi探针记录的数据进行MAC地址及其对应的时间向量的提取；

步骤四，对步骤二和步骤三提取出来的数据进行初步关联性计算；

步骤五，对步骤四获取的结果进行关联性二次计算。

2.根据权利要求1所述的人脸图像与移动设备的关联性识别方法，其特征在于，所述步骤二为，根据设定的时间和空间范围对监控设备记录的人脸图像及其对应的时间向量进行检索提取，列出所有的记录地址和时间，将所有时间点组合成一个向量。

3.根据权利要求1所述的人脸图像与移动设备的关联性识别方法，其特征在于，所述步骤三为，根据所述步骤二中所列出的人脸图像记录地址和时间，搜索同时存在的MAC地址记录信息，列出其地址、时间和信号强度，将所有时间点组合成一个向量。

4.根据权利要求1所述的人脸图像与移动设备的关联性识别方法，其特征在于，所述步骤四为，对步骤二和三提取出来的人脸图像的时间向量与MAC地址的时间向量的进行维度调整；计算调整后的人脸图像和MAC地址对应的时间向量的余弦相似度，并将得到的结果输出为按相似度由高到低排列的候选MAC地址序列。

5.根据权利要求4所述的人脸图像与移动设备的关联性识别方法，其特征在于，所述步骤四中的维度调整为，将人脸图像的时间向量按照wifi探针的采样率进行取舍，删除其中小于时间阈值的时间间隔记录点；然后对比人脸图像和MAC地址的时间向量，取其中一个时间范围较小的向量，添加0值时间点，以使两向量的时间点完全对应，向量的维度保持一致。

6.根据权利要求1所述的人脸图像与移动设备的关联性识别方法，其特征在于，所述步骤五中，利用wifi探针信号强度对步骤五中的候选MAC地址序列进一步调序；从而获得与人脸图像匹配可能性最高的MAC地址。

7.根据权利要求5所述的人脸图像与移动设备的关联性识别方法，其特征在于，所述步骤五为，当存在多个MAC地址的相似度比较接近的情况时，采用这些MAC地址对应的信号强度作为除时间之外的第二特征，按照信号强度平均值的大小将MAC地址再次排列，得到最终的MAC地址序列。