CN106934773B - 视频运动目标与Mac地址匹配方法 - Google Patents

视频运动目标与Mac地址匹配方法 Download PDF

Info

Publication number
CN106934773B
CN106934773B CN201710124955.1A CN201710124955A CN106934773B CN 106934773 B CN106934773 B CN 106934773B CN 201710124955 A CN201710124955 A CN 201710124955A CN 106934773 B CN106934773 B CN 106934773B
Authority
CN
China
Prior art keywords
mobile terminal
human body
rssi
rssi signal
motion track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710124955.1A
Other languages
English (en)
Other versions
CN106934773A (zh
Inventor
张良
郝凯锋
姜华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201710124955.1A priority Critical patent/CN106934773B/zh
Publication of CN106934773A publication Critical patent/CN106934773A/zh
Application granted granted Critical
Publication of CN106934773B publication Critical patent/CN106934773B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种视频运动目标与Mac地址匹配方法。其包括利用深度摄像头采集待检测场景中人体深度图像；利用Wi‑Fi探针采集人体携带的移动终端设备Mac地址和RSSI信号值；利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线；计算人体运动轨迹和移动终端设备运动轨迹之间的费雷歇距离，再计算轨迹映射成轨迹图像后两个轨迹图像之间的相关系数，将两者的结果综合后，输出目标和移动终端设备的匹配结果等步骤。本发明优点：实现了移动终端设备的Mac地址与移动终端设备的持有人的匹配。使用人体运动轨迹和移动终端设备运动轨迹进行匹配，相比静态匹配而言，提高了匹配的准确性。

Description

视频运动目标与Mac地址匹配方法
技术领域
本发明属于移动互联网和计算机视觉技术领域，特别是涉及一种将视频中的运动人物和其所携带的移动终端设备的Mac地址进行匹配的方法。
背景技术
智能移动终端设备作为移动互联网时代的产物，将人与移动互联网更紧密地联系在一起。以手机为例，人们可以通过智能手机随时随地获取更多智能化服务。其不仅丰富了人们的生活方式，还极大提高了人们的工作效率。与此同时，和目前的3G、4G技术相比，由于Wi-Fi热点具有成本低廉、建网方便等优点，因此人们在使用手机上网时更倾向于使用Wi-Fi上网。据中国互联网信息中心2016年2月所发布的《中国互联网发展状况统计报告》指出，我国手机网民的规模已达6.2亿，而大规模的无线网络覆盖使得网民的Wi-Fi使用率达到91.8％。因此，国内的大部分机场、车站等特定场所也设置了Wi-Fi网络，以方便乘客通过移动终端设备上网。
移动终端设备能够通过Wi-Fi上网是利用内置的无线网卡模块实现的，网卡自身有着独特的身份标识符——Mac地址。Mac地址作为网卡的物理地址，具有全球唯一性。人们在日常出行中，作为主要移动终端设备的手机几乎不离身，而手机由于其在短时间内不会被更换的特性，可以将手机网卡的Mac地址作为持有人的辅助身份标识。而完成这一标识，就需要将人物所持移动终端设备的Mac地址与持有人本身建立对应关系。
因此，建立这种匹配关系对于机场、车站等特定场所的安防和旅客标识有着重大的意义。当这种匹配关系建立后，公安机关可以查询连接公共热点的Mac地址集合来搜寻已知犯罪嫌疑人的Mac地址，从而缩小和确定犯罪嫌疑人的活动区域。随着Wi-Fi网络的更大规模普及，Mac地址与人的匹配对于公共安全将具有越来越重要的现实意义。
针对Mac地址的相关应用，高见,袁得嵛[基于Wi-Fi探针的预警系统设计与研究[J].中国人民公安大学学报(自然科学版),2016,03:89-93.]通过Wi-Fi探针分布式采集Wi-Fi网络中移动终端设备主动发送探针的数据包的Mac地址信息和SSID信息，对数据进行汇总分析，达到对大人流的预警和指定移动终端设备的行为轨迹分析，但该系统只是宏观上对Mac地址的浅层应用，无法将Mac地址对应到真实的人物。中国专利申请公开号CN10554168A中公开了Mac地址匹配手机号码的方法，其可解决现有无法将上网手机地址与用户的手机号码相匹配的问题。然而由于手机号码仍然属于一个虚拟世界的标识，将手机号码与Mac地址匹配仍然无法完成将真实人物与Mac地址匹配的任务。
发明内容
为了解决上述问题，本发明的目的在于提供一种视频运动目标与Mac地址匹配方法。
为了达到上述目的，本发明提供的视频运动目标与Mac地址匹配方法包括按顺序进行的下列步骤：
1)利用Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体在摄像机坐标系下的空间坐标，并进行坐标变换，得到人体运动轨迹点集合；
2)利用Wi-Fi探针采集人体携带的移动终端设备的Mac地址和RSSI信号值，然后将上述RSSI信号值进行优选，计算RSSI信号值差值，并建立RSSI信号值差值位置对应关系表；定位时利用获得的RSSI信息值差值通过查表方式反推出移动终端设备的空间坐标，进而获取移动终端设备运动轨迹点集合；
3)利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线；
4)计算人体运动轨迹和移动终端设备运动轨迹之间的费雷歇距离，再计算轨迹映射成轨迹图像后两个轨迹图像之间的相关系数，将两者的结果综合后，输出目标和移动终端设备的匹配结果。
在步骤1)中，所述的利用Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体在摄像机坐标系下的空间坐标，并进行坐标变换，得到人体运动轨迹点集合的方法是：
采用微软Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体与Kinect深度摄像头之间的距离；将Kinect深度摄像头下的人体看成一个质点并进行描述，选取人的脊柱中心的空间位置代表人体的空间位置，从而得到Kinect深度摄像头下摄像机坐标系下人s时刻的三维位置
Figure GDA0002314972950000031
其中
Figure GDA0002314972950000032
分别表示摄像机坐标系下的水平坐标、垂直坐标和深度距离坐标，i表示人体的标号；
由于Kinect深度摄像头放置时会存在一定的角度，需将摄像机坐标系中三维位置
Figure GDA0002314972950000033
变换到真实坐标系下的三维位置
Figure GDA0002314972950000034
设摄像头在X轴、Y轴、Z轴的偏转角度分别为θx,θy,θz，且真实坐标系与摄像机坐标系原点的位移为Δx,Δy,Δz，通过下式可以完成坐标系的变换：
Figure GDA0002314972950000041
其中，
Figure GDA0002314972950000042
Figure GDA0002314972950000043
由于转换为真实坐标系下时，无需再考虑轨迹垂直方向的坐标，因此只选取X轴、Z轴位置上的坐标，从而将三维空间转换为二维平面，即选取坐标
Figure GDA0002314972950000044
最后将得到的二维平面坐标按采样时间记录下来，作为人体运动轨迹点集合，记作
Figure GDA0002314972950000045
在步骤2)中，所述的利用Wi-Fi探针采集人体携带的移动终端设备的Mac地址和RSSI信号值，然后将上述RSSI信号值进行优选，计算RSSI信号值差值，并建立RSSI信号值差值位置对应关系表；定位时利用获得的RSSI信息值差值通过查表方式反推出移动终端设备的空间坐标，进而获取移动终端设备运动轨迹点集合的方法是：
将待检测场景用网格法划分成多个小方格，对每一小方格进行标号，并将方格对应的位置记作loca(xq,zq)；
将移动终端设备分别放置在每个位置loca(xq,zq)处，利用多个与计算机相连的Wi-Fi探针探测该移动终端设备Mac码及其对应的RSSI信号值和时间戳，然后传送给计算机，由计算机进行后续处理；
为了提高定位的准确性，需对同一时间段内得到的同一Mac码的多个RSSI信号值进行优选；
优选方法是：设每一Wi-Fi探针采集到的同一时间段内同一移动终端设备的所有RSSI信号值为：rssi1,rssi2,…,rssin；
概率分布函数的公式如式(2)所示：
Figure GDA0002314972950000051
其中：
Figure GDA0002314972950000052
μ表示所有RSSI信号值的均值；σ2表示所有RSSI信号值的方差；n表示所有RSSI信号值的个数；x表示输入的要进行判断的RSSI信号值；
将所有RSSI信号值rssi1,rssi2,…,rssin带入上述概率分布函数F(x)中，计算出每个RSSI信号值对应的概率密度；当0.5≤F(x)≤1时，保留该RSSI信号值，否则删除，通过上述方法对所有RSSI信号值进行筛选；将筛选后保留下的m个RSSI信号值设为rssi1,rssi2,…,rssim；
选取筛选后的RSSI信号值rssi1,rssi2,…,rssim中的最大值和均值，分别为Rssimax和Rssimean，最终利用式(3)计算出RSSI信号值的优选值：
Figure GDA0002314972950000053
多个Wi-Fi探针在该位置处获得的RSSI信号值的优选值分别表示为：RSSIp1，RSSIp2，RSSIp3，……；
将上述RSSI信号值的优选值RSSIp1，RSSIp2，RSSIp3……两两做差，并用dRSSI表示相减的结果：
Figure GDA0002314972950000054
最后共得到多个该位置处的RSSI信号值差值dRSSI1,dRSSI2,…,dRSSIv，构成RSSI信号值差值集合
Figure GDA0002314972950000061
将上述RSSI信号值差值dRSSI1,dRSSI2,…,dRSSIv和位置loca(xq,zq)建立一个对应关系表；
在定位时，只需根据按上述方法获得的RSSI信号值差值通过查表即可反推出移动终端设备所在的位置；但由于上述对应关系表中可能存在多个与所测得RSSI信号值差值集合相似的位置，因此需对位置进行估计，具体步骤如下：
2.1、从RSSI信号值差值集合
Figure GDA0002314972950000067
中选取K个与s时刻所测得的RSSI信号值差值dRSSI1,dRSSI2,…,dRSSIv欧式距离最小的参考点坐标为
Figure GDA0002314972950000062
且与RSSI信号值差值集合的欧式距离分别为d1,d2,…,dK,其中：
Figure GDA0002314972950000063
2.2、计算最终得到的s时刻下的坐标为：
Figure GDA0002314972950000064
上式中
Figure GDA0002314972950000065
取很小的数0.001，防止分母为0，j表示移动终端设备的标号；
将上述得到的坐标按采样时间记录下来，做简单的坐标变换后，得到移动终端设备运动轨迹点集合，记作
Figure GDA0002314972950000066
在步骤3)中，所述的利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线的方法是：
3.3、卡尔曼滤波：
由于集合中的每一个点都是由X轴坐标和Z轴坐标构成，因此分别对X轴坐标和Z轴坐标进行修正，设要进行卡尔曼滤波的集合为M，对应k时刻的点为M(k)，具体的步骤为：
3.1.1、预估计
Figure GDA0002314972950000071
其中
Figure GDA0002314972950000072
Figure GDA00023149729500000713
就是人体运动轨迹点集合或移动终端设备运动轨迹点集合中的X、Z坐标的集合，F(k,k-1)为状态转移矩阵，M(k-1)是k-1时刻的状态矢量；
3.1.2、计算预估计协方差矩阵：
Figure GDA0002314972950000073
其中：Q(k)＝U(k)×U(k)T，U(k)为k时刻动态噪声；
3.1.3、计算卡尔曼增益矩阵：
Figure GDA0002314972950000074
其中：R(k)＝N(k)×N(k)T，N(k)为k时刻观测噪声，H(k)为k时刻观测矩阵；
3.1.4、用观测值和预测值更新估计值：
Figure GDA0002314972950000075
3.1.5、计算更新后估计协方差矩阵：
Figure GDA0002314972950000076
3.1.6、令
Figure GDA0002314972950000077
重复上述步骤；
通过上述步骤，分别在X轴和Z轴下，对人体运动轨迹点集合
Figure GDA0002314972950000078
Figure GDA0002314972950000079
和移动终端设备运动轨迹点集合
Figure GDA00023149729500000710
中各点的X轴坐标和Z轴坐标进行卡尔曼滤波，滤波后得到的运动轨迹点集合为
Figure GDA00023149729500000711
和
Figure GDA00023149729500000712
其中i表示人体的标号，j表示移动终端设备的标号。
3.4、将上述轨迹点集合连接成轨迹曲线
将上述得到的滤波后人体运动轨迹点集合
Figure GDA0002314972950000081
和移动终端设备运动轨迹点集合
Figure GDA0002314972950000082
中的各点按照时间顺序两两通过直线相连，由此将人体运动轨迹点集合
Figure GDA0002314972950000083
和移动终端设备轨迹点集合
Figure GDA0002314972950000084
变换成人体轨迹曲线
Figure GDA0002314972950000085
和移动终端设备轨迹曲线
Figure GDA0002314972950000086
在步骤4)中，所述的计算人体运动轨迹和移动终端设备运动轨迹之间的费雷歇距离，再计算轨迹映射成轨迹图像后两个轨迹图像之间的相关系数，将两者的结果综合后，输出目标和移动终端设备的匹配结果的方法是：
4.1、进行距离度量
本发明选取费雷歇距离进行距离度量，公式如下：
Figure GDA0002314972950000087
其中，A和B代表两条待比较的轨迹曲线，α(t)和β(t)代表对轨迹曲线A和B的抽样方式，d()表示计算欧式距离；
通过式(8)计算出人体轨迹曲线
Figure GDA0002314972950000088
与移动终端设备轨迹曲线
Figure GDA0002314972950000089
的费雷歇距离为
Figure GDA00023149729500000810
其中j＝1,2,…,l；
4.2、进行图像度量
图像度量是将画出的轨迹曲线连同其所在的背景二值化为图像，从图像角度出发，利用图像的相关系数进行度量，相关系数的公式为：
Figure GDA00023149729500000811
其中，
Figure GDA00023149729500000812
和
Figure GDA00023149729500000813
代表两条待比较的轨迹曲线A和B经过二值化、归一化、向量化的图像向量，μA和μB表示两条待比较的轨迹曲线A和B的均值，σA和σB表示两条待比较的轨迹曲线A和B的标准差；
通过式(9)计算出人体轨迹曲线
Figure GDA00023149729500000814
与移动终端设备轨迹曲线
Figure GDA00023149729500000815
的图像相关系数为
Figure GDA0002314972950000091
其中j＝1,2,…,l；
4.3、综合度量结果
将距离度量和图像度量综合考虑，得到人体轨迹曲线
Figure GDA0002314972950000092
的综合度量为
Figure GDA0002314972950000093
其中j＝1,2,…,l；
4.5、输出匹配结果
最终与人体轨迹曲线
Figure GDA0002314972950000094
相匹配的移动终端设备轨迹曲线的标号为：
Figure GDA0002314972950000095
其中j＝1,2,…,l。
经上述步骤，完成了将标号为i的人体轨迹曲线
Figure GDA0002314972950000096
匹配到标号为
Figure GDA0002314972950000097
的移动终端设备轨迹曲线
Figure GDA0002314972950000098
由此实现了作为视频运动目标的人体i和所携带的移动终端设备
Figure GDA0002314972950000099
的匹配。
本发明提供的视频运动目标与Mac地址匹配方法具有如下优点：
(1)实现了移动终端设备的Mac地址与移动终端设备的持有人的匹配。
(2)使用人体运动轨迹和移动终端设备运动轨迹进行匹配，相比静态匹配而言，提高了匹配的准确性。
(3)在提取人体运动轨迹时，使用深度摄像头对视频运动目标的运动轨迹进行采集，克服了光照对传统摄像头的影响，同时提高了采集运动轨迹的性能。
(4)在提取移动终端设备运动轨迹时，采用Wi-Fi定位中的差分位置法来消除因移动终端设备不同而引入的误差。
附图说明
图1为本发明提供的视频运动目标与Mac地址匹配方法流程图。
图2为RSSI信号值差值位置对应关系表建立过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明提供的视频运动目标与Mac地址匹配方法进行详细说明。
如图1所示，本发明提供的视频运动目标与Mac地址匹配方法包括按顺序进行的下列步骤：
1)利用Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体在摄像机坐标系下的空间坐标，并进行坐标变换，得到人体运动轨迹点集合；
本发明采用微软Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体与Kinect深度摄像头之间的距离。由于想要获取的人体运动轨迹与人的姿态和行为无关，因此将Kinect深度摄像头下的人体看成一个质点并进行描述，选取人的脊柱中心的空间位置代表人体的空间位置，从而得到Kinect深度摄像头下摄像机坐标系下人s时刻的三维位置
Figure GDA0002314972950000101
其中
Figure GDA0002314972950000102
分别表示摄像机坐标系下的水平坐标、垂直坐标和深度距离坐标，i表示人体的标号；
由于Kinect深度摄像头放置时会存在一定的角度，需将摄像机坐标系中三维位置
Figure GDA0002314972950000103
变换到真实坐标系下的三维位置
Figure GDA0002314972950000104
设摄像头在X轴、Y轴、Z轴的偏转角度分别为θx,θy,θz，且真实坐标系与摄像机坐标系原点的位移为Δx,Δy,Δz，通过下式可以完成坐标系的变换：
Figure GDA0002314972950000111
其中，
Figure GDA0002314972950000112
Figure GDA0002314972950000113
由于转换为真实坐标系下时，无需再考虑轨迹垂直方向的坐标，因此只选取X轴、Z轴位置上的坐标，从而将三维空间转换为二维平面，即选取坐标
Figure GDA0002314972950000114
最后将得到的二维平面坐标按采样时间记录下来，作为人体运动轨迹点集合，记作
Figure GDA0002314972950000115
2)利用Wi-Fi探针采集人体携带的移动终端设备的Mac地址和RSSI信号值，然后将上述RSSI信号值进行优选，计算RSSI信号值差值，并建立RSSI信号值差值位置对应关系表；定位时利用获得的RSSI信息值差值通过查表方式反推出移动终端设备的空间坐标，进而获取移动终端设备运动轨迹点集合；
具体步骤如下：
将待检测场景用网格法划分成多个小方格，对每一小方格进行标号，并将方格对应的位置记作loca(xq,zq)；
将移动终端设备分别放置在每个位置loca(xq,zq)处，利用多个与计算机相连的Wi-Fi探针探测该移动终端设备Mac码及其对应的RSSI信号值和时间戳，然后传送给计算机，由计算机进行后续处理。
由于Wi-Fi探针在采集移动终端设备的RSSI信号时，一般会在一个较短的时间段内获得同一个移动终端设备返回的多个RSSI信号值。一般情况下在较短时间内移动终端设备的Mac码和位置不会改变。为了提高定位的准确性，需对同一时间段内得到的同一Mac码的多个RSSI信号值进行优选。
优选方法是：设每一Wi-Fi探针采集到的同一时间段内同一移动终端设备的所有RSSI信号值为：rssi1,rssi2,…,rssin；
概率分布函数的公式如式(2)所示：
Figure GDA0002314972950000121
其中：
Figure GDA0002314972950000122
μ表示所有RSSI信号值的均值；σ2表示所有RSSI信号值的方差；n表示所有RSSI信号值的个数；x表示输入的要进行判断的RSSI信号值；
将所有RSSI信号值rssi1,rssi2,…,rssin带入上述概率分布函数F(x)中，计算出每个RSSI信号值对应的概率密度。当0.5≤F(x)≤1时，保留该RSSI信号值，否则删除，通过上述方法对所有RSSI信号值进行筛选。将筛选后保留下的m个RSSI信号值设为rssi1,rssi2,…,rssim；
选取筛选后的RSSI信号值rssi1,rssi2,…,rssim中的最大值和均值，分别为Rssimax和Rssimean，最终利用式(3)计算出RSSI信号值的优选值：
Figure GDA0002314972950000123
多个Wi-Fi探针在该位置处获得的RSSI信号值的优选值分别表示为：RSSIp1，RSSIp2，RSSIp3，……。
由于不同品牌、型号的移动终端设备的网卡性能不尽相同，因此仅使用RSSI信号值进行定位将会引入因移动终端设备功率不同而导致的误差，由式(4)所示的RSSI信号值差值可知：
Figure GDA0002314972950000124
其中γSF∈表示同层测试的路径损耗指数值，FAF表示附加衰减因子，di表示Wi-Fi探针i与移动终端设备之间的距离，RSSI信号值差值表示功率衰减，由此可见，在同一时间内该功率衰减主要是由距离不同而造成的。因此利用RSSI信号值差值可以消除由于移动终端设备不同而引入的误差。
将上述RSSI信号值的优选值RSSIp1，RSSIp2，RSSIp3……两两做差，并用dRSSI表示相减的结果：
Figure GDA0002314972950000131
最后共得到多个该位置处的RSSI信号值差值dRSSI1,dRSSI2,…,dRSSIv，构成RSSI信号值差值集合
Figure GDA0002314972950000132
将上述RSSI信号值差值dRSSI1,dRSSI2,…,dRSSIv和位置loca(xq,zq)建立一个对应关系表。图2为RSSI信号值差值位置对应关系表建立过程示意图。
在定位时，只需根据按上述方法获得的RSSI信号值差值通过查表即可反推出移动终端设备所在的位置。但由于上述对应关系表中可能存在多个与所测得RSSI信号值差值集合相似的位置，因此需对位置进行估计。具体步骤如下：
2.1、从RSSI信号值差值集合
Figure GDA0002314972950000133
中选取K个与s时刻所测得的RSSI信号值差值dRSSI1,dRSSI2,…,dRSSIv欧式距离最小的参考点坐标为
Figure GDA0002314972950000134
且与RSSI信号值差值集合的欧式距离分别为d1,d2,…,dK,其中：
Figure GDA0002314972950000135
2.2、计算最终得到的s时刻下的坐标为：
Figure GDA0002314972950000141
上式中
Figure GDA0002314972950000142
取很小的数0.001，防止分母为0，j表示移动终端设备的标号。
将上述得到的坐标按采样时间记录下来，做简单的坐标变换后，得到移动终端设备运动轨迹点集合，记作
Figure GDA0002314972950000143
3)利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线；
由步骤1)和2)可得人体运动轨迹点集合
Figure GDA0002314972950000144
和移动终端设备运动轨迹点集合
Figure GDA0002314972950000145
i和j分别表示人体和移动终端设备的标号。由于上述获取的运动轨迹可能存在噪声，因此需要对运动轨迹点集合进行滤波，具体步骤如下：
3.5、卡尔曼滤波：
由于集合中的每一个点都是由X轴坐标和Z轴坐标构成，因此分别对X轴坐标和Z轴坐标进行修正，设要进行卡尔曼滤波的集合为M，对应k时刻的点为M(k)，具体的步骤为：
3.5.1、预估计
Figure GDA0002314972950000146
其中
Figure GDA0002314972950000147
Figure GDA0002314972950000148
就是人体运动轨迹点集合或移动终端设备运动轨迹点集合中的X、Z坐标的集合，F(k,k-1)为状态转移矩阵，M(k-1)是k-1时刻的状态矢量；
3.5.2、计算预估计协方差矩阵：
Figure GDA0002314972950000149
其中：Q(k)＝U(k)×U(k)T，U(k)为k时刻动态噪声；
3.5.3、计算卡尔曼增益矩阵：
Figure GDA00023149729500001410
其中：R(k)＝N(k)×N(k)T，N(k)为k时刻观测噪声，H(k)为k时刻观测矩阵；
3.5.4、用观测值和预测值更新估计值：
Figure GDA0002314972950000151
3.5.5、计算更新后估计协方差矩阵：
Figure GDA0002314972950000152
3.5.6、令
Figure GDA0002314972950000153
重复上述步骤。
通过上述步骤，分别在X轴和Z轴下，对人体运动轨迹点集合
Figure GDA0002314972950000154
Figure GDA0002314972950000155
和移动终端设备运动轨迹点集合
Figure GDA0002314972950000156
中各点的X轴坐标和Z轴坐标进行卡尔曼滤波，滤波后得到的运动轨迹点集合为
Figure GDA0002314972950000157
和
Figure GDA0002314972950000158
其中i表示人体的标号，j表示移动终端设备的标号。
3.6、将上述轨迹点集合连接成轨迹曲线
将上述得到的滤波后人体运动轨迹点集合
Figure GDA0002314972950000159
和移动终端设备运动轨迹点集合
Figure GDA00023149729500001510
中的各点按照时间顺序两两通过直线相连，由此将人体运动轨迹点集合
Figure GDA00023149729500001511
和移动终端设备轨迹点集合
Figure GDA00023149729500001512
变换成人体轨迹曲线
Figure GDA00023149729500001513
和移动终端设备轨迹曲线
Figure GDA00023149729500001514
4)计算人体运动轨迹和移动终端设备运动轨迹之间的费雷歇距离，再计算轨迹映射成轨迹图像后两个轨迹图像之间的相关系数，将两者的结果综合后，输出目标和移动终端设备的匹配结果。
如果要对某特定的人体轨迹曲线
Figure GDA00023149729500001515
进行匹配，与之匹配的移动终端设备轨迹曲线
Figure GDA00023149729500001516
有l条，需要通过相似性度量选取最相近的轨迹曲线而完成匹配，具体步骤如下：
4.1、进行距离度量
本发明选取费雷歇距离进行距离度量，公式如下：
Figure GDA0002314972950000161
其中，A和B代表两条待比较的轨迹曲线，α(t)和β(t)代表对轨迹曲线A和B的抽样方式，d()表示计算欧式距离。
通过式(8)计算出人体轨迹曲线
Figure GDA0002314972950000162
与移动终端设备轨迹曲线
Figure GDA0002314972950000163
的费雷歇距离为
Figure GDA0002314972950000164
其中j＝1,2,…,l。
4.2、进行图像度量
图像度量是将画出的轨迹曲线连同其所在的背景二值化为图像，从图像角度出发，利用图像的相关系数进行度量。相关系数的公式为：
Figure GDA0002314972950000165
其中，
Figure GDA0002314972950000166
和
Figure GDA0002314972950000167
代表两条待比较的轨迹曲线A和B经过二值化、归一化、向量化的图像向量，μA和μB表示两条待比较的轨迹曲线A和B的均值，σA和σB表示两条待比较的轨迹曲线A和B的标准差；
通过式(9)计算出人体轨迹曲线
Figure GDA0002314972950000168
与移动终端设备轨迹曲线
Figure GDA0002314972950000169
的图像相关系数为
Figure GDA00023149729500001610
其中j＝1,2,…,l。
4.3、综合度量结果
将距离度量和图像度量综合考虑，得到人体轨迹曲线
Figure GDA00023149729500001611
的综合度量为
Figure GDA00023149729500001612
其中j＝1,2,…,l。
4.4、输出匹配结果
最终与人体轨迹曲线
Figure GDA00023149729500001613
相匹配的移动终端设备轨迹曲线的标号为：
Figure GDA00023149729500001614
其中j＝1,2,…,l。
经上述步骤，完成了将标号为i的人体轨迹曲线
Figure GDA0002314972950000171
匹配到标号为
Figure GDA0002314972950000172
的移动终端设备轨迹曲线
Figure GDA0002314972950000173
由此实现了作为视频运动目标的人体i和所携带的移动终端设备
Figure GDA0002314972950000174
的匹配。
经测试，本发明方法能完成视频运动目标与其所携带移动设备的Mac地址匹配。

Claims (4)

1.一种视频运动目标与Mac地址匹配方法，其特征在于：所述的视频运动目标与Mac地址匹配方法包括按顺序进行的下列步骤：
1)利用Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体在摄像机坐标系下的空间坐标，并进行坐标变换，得到人体运动轨迹点集合；
2)利用Wi-Fi探针采集人体携带的移动终端设备的Mac地址和RSSI信号值，然后将上述RSSI信号值进行优选，计算RSSI信号值差值，并建立RSSI信号值差值位置对应关系表；定位时利用获得的RSSI信息值差值通过查表方式反推出移动终端设备的空间坐标，进而获取移动终端设备运动轨迹点集合；
3)利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线；
4)计算人体运动轨迹和移动终端设备运动轨迹之间的费雷歇距离，再计算轨迹映射成轨迹图像后两个轨迹图像之间的相关系数，将上述费雷歇距离和相关系数的结果综合后，输出目标和移动终端设备的匹配结果；
在步骤2)中，所述的利用Wi-Fi探针采集人体携带的移动终端设备的Mac地址和RSSI信号值，然后将上述RSSI信号值进行优选，计算RSSI信号值差值，并建立RSSI信号值差值位置对应关系表；定位时利用获得的RSSI信息值差值通过查表方式反推出移动终端设备的空间坐标，进而获取移动终端设备运动轨迹点集合的方法是：
将待检测场景用网格法划分成多个小方格，对每一小方格进行标号，并将方格对应的位置记作loca(xq，zq)；
将移动终端设备分别放置在每个位置loca(xq，zq)处，利用多个与计算机相连的Wi-Fi探针探测该移动终端设备Mac码及其对应的RSSI信号值和时间戳，然后传送给计算机，由计算机进行后续处理；
为了提高定位的准确性，需对同一时间段内得到的同一Mac码的多个RSSI信号值进行优选；
优选方法是：设每一Wi-Fi探针采集到的同一时间段内同一移动终端设备的所有RSSI信号值为：rssi1，rssi2，…，rssin；
概率分布函数的公式如式(2)所示：
Figure FDA0002314972940000021
其中：
Figure FDA0002314972940000022
μ表示所有RSSI信号值的均值；σ2表示所有RSSI信号值的方差；n表示所有RSSI信号值的个数；x表示输入的要进行判断的RSSI信号值；
将所有RSSI信号值rssi1，rssi2，…，rssin带入上述概率分布函数F(x)中，计算出每个RSSI信号值对应的概率密度；当0.5≤F(x)≤1时，保留该RSSI信号值，否则删除，通过上述方法对所有RSSI信号值进行筛选；将筛选后保留下的m个RSSI信号值设为rssi1，rssi2，…，rssim；
选取筛选后的RSSI信号值rssi1，rssi2，…，rssim中的最大值和均值，分别为Rssimax和Rssimean，最终利用式(3)计算出RSSI信号值的优选值：
Figure FDA0002314972940000023
多个Wi-Fi探针在该位置处获得的RSSI信号值的优选值分别表示为：RSSIp1，RSSIp2，RSSIp3，……；
将上述RSSI信号值的优选值RSSIp1，RSSIp2，RSSIp3……两两做差，并用dRSSI表示相减的结果：
Figure FDA0002314972940000038
最后共得到多个该位置处的RSSI信号值差值dRSSI1，dRSSI2，…，dRSSIv，构成RSSI信号值差值集合
Figure FDA0002314972940000031
将上述RSSI信号值差值dRSSI1，dRSSI2，…，dRSSIv和位置loca(xq，zq)建立一个对应关系表；
在定位时，只需根据按上述方法获得的RSSI信号值差值通过查表即可反推出移动终端设备所在的位置；但由于上述对应关系表中可能存在多个与所测得RSSI信号值差值集合相似的位置，因此需对位置进行估计，具体步骤如下：
2.1、从RSSI信号值差值集合
Figure FDA0002314972940000032
中选取K个与s时刻所测得的RSSI信号值差值dRSSI1，dRSSI2，…，dRSSIv欧式距离最小的参考点坐标为
Figure FDA0002314972940000033
且与RSSI信号值差值集合的欧式距离分别为d1，d2，…，dK，其中：
Figure FDA0002314972940000034
2.2、计算最终得到的s时刻下的坐标为：
Figure FDA0002314972940000035
上式中
Figure FDA0002314972940000036
取很小的数0.001，防止分母为0，j表示移动终端设备的标号；
将上述得到的坐标按采样时间记录下来，做简单的坐标变换后，得到移动终端设备运动轨迹点集合，记作
Figure FDA0002314972940000037
2.根据权利要求1所述的视频运动目标与Mac地址匹配方法，其特征在于：在步骤1)中，所述的利用Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体在摄像机坐标系下的空间坐标，并进行坐标变换，得到人体运动轨迹点集合的方法是：
采用微软Kinect深度摄像头采集待检测场景中作为视频运动目标的人体深度图像，然后传送给与其相连的计算机，由计算机计算出人体与Kinect深度摄像头之间的距离；将Kinect深度摄像头下的人体看成一个质点并进行描述，选取人的脊柱中心的空间位置代表人体的空间位置，从而得到Kinect深度摄像头下摄像机坐标系下人s时刻的三维位置
Figure FDA0002314972940000041
其中
Figure FDA0002314972940000042
分别表示摄像机坐标系下的水平坐标、垂直坐标和深度距离坐标，i表示人体的标号；
由于Kinect深度摄像头放置时会存在一定的角度，需将摄像机坐标系中三维位置
Figure FDA0002314972940000043
变换到真实坐标系下的三维位置
Figure FDA0002314972940000044
设摄像头在X轴、Y轴、Z轴的偏转角度分别为θx，θy，θz，且真实坐标系与摄像机坐标系原点的位移为Δx，Δy，Δz，通过下式可以完成坐标系的变换：
Figure FDA0002314972940000045
其中，
Figure FDA0002314972940000046
Figure FDA0002314972940000047
由于转换为真实坐标系下时，无需再考虑轨迹垂直方向的坐标，因此只选取X轴、Z轴位置上的坐标，从而将三维空间转换为二维平面，即选取坐标
Figure FDA0002314972940000051
最后将得到的二维平面坐标按采样时间记录下来，作为人体运动轨迹点集合，记作
Figure FDA0002314972940000052
3.根据权利要求1所述的视频运动目标与Mac地址匹配方法，其特征在于：在步骤3)中，所述的利用卡尔曼滤波算法平滑上述人体运动轨迹点集合和移动终端设备运动轨迹点集合，再分别将集合中的点连接而形成轨迹曲线的方法是：
3.1、卡尔曼滤波：
由于集合中的每一个点都是由X轴坐标和Z轴坐标构成，因此分别对X轴坐标和Z轴坐标进行修正，设要进行卡尔曼滤波的集合为M，对应k时刻的点为M(k)，具体的步骤为：
3.1.1、预估计
Figure FDA0002314972940000053
其中
Figure FDA0002314972940000054
就是人体运动轨迹点集合或移动终端设备运动轨迹点集合中的X、Z坐标的集合，F(k，k-1)为状态转移矩阵，M(k-1)是k-1时刻的状态矢量；
3.1.2、计算预估计协方差矩阵：
Figure FDA0002314972940000055
其中：Q(k)＝U(k)×U(k)T，U(k)为k时刻动态噪声；
3.1.3、计算卡尔曼增益矩阵：
Figure FDA0002314972940000056
其中：R(k)＝N(k)×N(k)T，N(k)为k时刻观测噪声，H(k)为k时刻观测矩阵；
3.1.4、用观测值和预测值更新估计值：
Figure FDA0002314972940000057
3.1.5、计算更新后估计协方差矩阵：
Figure FDA0002314972940000061
3.1.6、令
Figure FDA0002314972940000062
重复上述步骤；
通过上述步骤，分别在x轴和Z轴下，对人体运动轨迹点集合
Figure FDA0002314972940000063
Figure FDA0002314972940000064
和移动终端设备运动轨迹点集合
Figure FDA0002314972940000065
中各点的X轴坐标和Z轴坐标进行卡尔曼滤波，滤波后得到的运动轨迹点集合为
Figure FDA0002314972940000066
和
Figure FDA0002314972940000067
i表示人体的标号，j表示移动终端设备的标号。
3.2、将上述轨迹点集合连接成轨迹曲线
将上述得到的滤波后人体运动轨迹点集合
Figure FDA0002314972940000068
和移动终端设备运动轨迹点集合
Figure FDA0002314972940000069
中的各点按照时间顺序两两通过直线相连，由此将人体运动轨迹点集合
Figure FDA00023149729400000610
和移动终端设备轨迹点集合
Figure FDA00023149729400000611
变换成人体轨迹曲线
Figure FDA00023149729400000612
和移动终端设备轨迹曲线
Figure FDA00023149729400000613
4.根据权利要求1所述的视频运动目标与Mac地址匹配方法，其特征在于：在步骤4)中，所述的计算人体运动轨迹和移动终端设备运动轨迹之间的费雷歇距离，再计算轨迹映射成轨迹图像后两个轨迹图像之间的相关系数，将费雷歇距离和相关系数的结果综合后，输出目标和移动终端设备的匹配结果的方法是：
4.1、进行距离度量
本发明选取费雷歇距离进行距离度量，公式如下：
Figure FDA00023149729400000614
其中，A和B代表两条待比较的轨迹曲线，α(t)和β(t)代表对轨迹曲线A和B的抽样方式，d()表示计算欧式距离；
通过式(8)计算出人体轨迹曲线
Figure FDA00023149729400000615
与移动终端设备轨迹曲线
Figure FDA00023149729400000616
的费雷歇距离为
Figure FDA00023149729400000617
其中j＝1，2，…，l；
4.2、进行图像度量
图像度量是将画出的轨迹曲线连同其所在的背景二值化为图像，从图像角度出发，利用图像的相关系数进行度量，相关系数的公式为：
Figure FDA0002314972940000071
其中，
Figure FDA0002314972940000072
和
Figure FDA0002314972940000073
代表两条待比较的轨迹曲线A和B经过二值化、归一化、向量化的图像向量，μA和μB表示两条待比较的轨迹曲线A和B的均值，σA和σB表示两条待比较的轨迹曲线A和B的标准差；
通过式(9)计算出人体轨迹曲线
Figure FDA0002314972940000074
与移动终端设备轨迹曲线
Figure FDA0002314972940000075
的图像相关系数为
Figure FDA0002314972940000076
其中j＝1，2，…，l；
4.3、综合度量结果
将距离度量和图像度量综合考虑，得到人体轨迹曲线
Figure FDA0002314972940000077
的综合度量为
Figure FDA0002314972940000078
其中j＝1，2，…，l；
4.4、输出匹配结果
最终与人体轨迹曲线
Figure FDA0002314972940000079
相匹配的移动终端设备轨迹曲线的标号为：
Figure FDA00023149729400000710
其中j＝1，2，…，l；
经上述步骤，完成了将标号为i的人体轨迹曲线
Figure FDA00023149729400000711
匹配到标号为
Figure FDA00023149729400000713
的移动终端设备轨迹曲线
Figure FDA00023149729400000712
由此实现了作为视频运动目标的人体i和所携带的移动终端设备
Figure FDA00023149729400000714
的匹配。
CN201710124955.1A 2017-03-03 2017-03-03 视频运动目标与Mac地址匹配方法 Expired - Fee Related CN106934773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710124955.1A CN106934773B (zh) 2017-03-03 2017-03-03 视频运动目标与Mac地址匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710124955.1A CN106934773B (zh) 2017-03-03 2017-03-03 视频运动目标与Mac地址匹配方法

Publications (2)

Publication Number Publication Date
CN106934773A CN106934773A (zh) 2017-07-07
CN106934773B true CN106934773B (zh) 2020-04-17

Family

ID=59424075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710124955.1A Expired - Fee Related CN106934773B (zh) 2017-03-03 2017-03-03 视频运动目标与Mac地址匹配方法

Country Status (1)

Country Link
CN (1) CN106934773B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289279A (zh) * 2018-01-30 2018-07-17 浙江省公众信息产业有限公司 定位信息的处理方法、装置和计算机可读存储介质
CN109711370B (zh) * 2018-12-29 2021-03-26 北京博睿视科技有限责任公司 一种基于wifi探测和人脸聚类的数据融合方法
CN111666358A (zh) * 2019-03-05 2020-09-15 上海光启智城网络科技有限公司 一种轨迹碰撞方法及系统
CN110008298B (zh) * 2019-03-28 2022-03-15 武汉星视源科技有限公司 驻车多维信息感知应用系统及方法
CN111065044B (zh) * 2019-10-30 2021-11-16 武汉烽火众智数字技术有限责任公司 基于大数据的数据关联分析方法、装置及计算机存储介质
CN113473452A (zh) * 2021-07-07 2021-10-01 上海顺舟智能科技股份有限公司 基于物联网的终端信息和终端图像的匹配方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581831A (zh) * 2013-10-12 2014-02-12 上海交通大学 基于WiFi以及移动终端的室内定位算法
CN103747464A (zh) * 2014-01-17 2014-04-23 北京赢销通软件技术有限公司 一种移动终端运动轨迹分析系统
CN103957503A (zh) * 2014-04-09 2014-07-30 北京工业大学 一种利用传感器计步提高WiFi指纹定位鲁棒性的方法
CN105939520A (zh) * 2016-03-18 2016-09-14 李明 一种通信连接的建立方法、设备及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961674B2 (en) * 2009-01-27 2011-06-14 Sony Corporation Multi-tier wireless home mesh network with a secure network discovery protocol

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581831A (zh) * 2013-10-12 2014-02-12 上海交通大学 基于WiFi以及移动终端的室内定位算法
CN103747464A (zh) * 2014-01-17 2014-04-23 北京赢销通软件技术有限公司 一种移动终端运动轨迹分析系统
CN103957503A (zh) * 2014-04-09 2014-07-30 北京工业大学 一种利用传感器计步提高WiFi指纹定位鲁棒性的方法
CN105939520A (zh) * 2016-03-18 2016-09-14 李明 一种通信连接的建立方法、设备及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wireless Localization Based on RSSI Fingerprint Feature Vector;Aiguo Zhang et al.;《International Journal of Distributed Sensor Networks》;20151101;第1-7页 *
融合多模传感器的室内实时高精度轨迹生成;刘定俊 等;《计算机科学》;20160131;第43卷(第1期);第18-21页，第43页 *

Also Published As

Publication number Publication date
CN106934773A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106934773B (zh) 视频运动目标与Mac地址匹配方法
Gu et al. Paws: Passive human activity recognition based on wifi ambient signals
CN106952289B (zh) 结合深度视频分析的WiFi目标定位方法
CN109743683B (zh) 一种采用深度学习融合网络模型确定手机用户位置的方法
CN103874200B (zh) 一种楼层识别方法及系统
CN109947793B (zh) 伴随关系的分析方法、装置和存储介质
Jiang et al. Communicating is crowdsourcing: Wi-Fi indoor localization with CSI-based speed estimation
CN103942811B (zh) 分布式并行确定特征目标运动轨迹的方法与系统
CN103957505B (zh) 一种基于ap的行为轨迹检测分析与服务提供系统及方法
Zhang et al. Ev-loc: integrating electronic and visual signals for accurate localization
CN104540221B (zh) 基于半监督sde算法的wlan室内定位方法
Shi et al. Human activity recognition using deep learning networks with enhanced channel state information
CN106845392B (zh) 一种基于众包轨迹的室内转角地标的匹配及识别方法
CN105426862B (zh) 基于rfid、定位技术与视频技术的分析方法及其系统
US9854208B2 (en) System and method for detecting an object of interest
CN104302000A (zh) 基于信号接收强度指示相关性的室内定位方法
CN113515988B (zh) 掌纹识别方法、特征提取模型训练方法、设备及介质
CN109559336B (zh) 对象追踪方法、装置及存储介质
CN111901749A (zh) 一种基于多源融合的高精度三维室内定位方法
CN110222776A (zh) 一种基于csi指纹信息的室内被动定位方法
CN108616982A (zh) 一种智能建筑微区域内被动式人员定位及统计方法
CN111465093A (zh) 指纹定位方法、装置、电子设备及计算机存储介质
CN110967667A (zh) 一种基于众包Wi-Fi指纹定位的室内轨迹采集方法
Ma et al. Hierarchical CSI-fingerprints classification for passive multi-person localization
Tiwari et al. Smartphone based improved floor determination technique for multi-floor buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200417

Termination date: 20210303

CF01 Termination of patent right due to non-payment of annual fee