CN107529221A - 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法 - Google Patents

一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法 Download PDF

Info

Publication number
CN107529221A
CN107529221A CN201710724462.1A CN201710724462A CN107529221A CN 107529221 A CN107529221 A CN 107529221A CN 201710724462 A CN201710724462 A CN 201710724462A CN 107529221 A CN107529221 A CN 107529221A
Authority
CN
China
Prior art keywords
analysis
target
destination object
positioning
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710724462.1A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xing Rong Information Technology Co Ltd
Original Assignee
Shanghai Xing Rong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xing Rong Information Technology Co Ltd filed Critical Shanghai Xing Rong Information Technology Co Ltd
Priority to CN201710724462.1A priority Critical patent/CN107529221A/zh
Publication of CN107529221A publication Critical patent/CN107529221A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合视频监控和Wi‑Fi定位的追踪分析系统和方法，涉及定位与追踪分析领域。追踪分析方法包括摄像头视频监控定位分析阶段、Wi‑Fi定位分析阶段和目标对象追踪分析阶段。追踪分析系统使用摄像头视频分析来定位目标的位置，分析目标精确行为；同时启用Wi‑Fi定位系统，利用RSSI指纹匹配技术分析定位目标对象的行动轨迹；并建立统一的坐标体系，融合视频定位系统和Wi‑Fi定位系统的数据，识别并匹配出视频分析系统中目标在Wi‑Fi定位系统中对应的目标，以达到识别视频分析系统中目标身份的目的，实现根据身份对目标长期的精确定位和分析，同时满足追踪定位的精确行和目标身份的易识别性。

Description

一种结合视频监控和Wi-Fi定位的追踪分析系统及方法
技术领域
本发明涉及定位与追踪分析领域，尤其涉及一种利用摄像头结合Wi-Fi的目标追踪分析系统及方法。
背景技术
目前，室内定位与跟踪分析技术的应用需求越来越大。在安防，员工管理，商业客流，行为分析等领域，人员定位和跟踪及其重要。实现低成本而且精确的室内定位和跟踪，具有非常重要的现实意义。由于常用的GPS定位方式由于信号接收的问题在室内无法使用。常见的室内定位技术有基于射频信号(蓝牙，Wi-Fi等)接收强度的定位方法，该方法通过统计多个信号接收点接收到的用户携带的移动目标的RSSI(Receive Signal StrengthIndicator)和信号接收点的位置来计算目标所在位置。或者通过目标接收到的多个信号发射点的RSSI和发射点的位置来计算目标所在位置。基于摄像头的连续图像的实时目标定位与跟踪在在室内定位系统中使用得比较广泛。该方法通过分析摄像头画面中的人物图像，并对多帧中连续出现的目标进行跟踪，并将图像中的坐标转化成世界坐标，从而得到目标在现实世界的位置。
基于Wi-Fi的目标跟踪系统可以识别设备地址的，精确识别目标。即使丢失目标跟踪一段时间之后也能在目标再次出现的时候及时发现，能将目标所有的轨迹关联起来。形成完善的轨迹历史记录。但是现有Wi-Fi定位的精确度容易受到遮挡，干扰的影响，无法完成精度较高的位置判断和行为分析。比如说无法精确判断目标是否进入排队队列中，在队列中的位置，排队所用的时间。
基于摄像头视频分析的定位方法比较精确，通过在图像上设置区域范围可以很精确的定位到目标是否在区域以内，以及多个目标的位置关系，能完成精确的定位，并使活动行为分析成为可能。但是摄像头视频分析无法关联到目标身份，追踪目标一旦丢失，或者目标隔天再次出现，都无法关联同一目标。其他一些通过人脸识别或者目标视觉特征来识别并关联目标身份的方式需要目标有足够大的，清晰的特定图像，同时对设备计算性能有极大的要求，实现起来难度极大。
因此，本领域的技术人员致力于开发一种新型的结合摄像头视频监控和Wi-Fi定位分析的追踪分析系统，使用摄像头视频分析来定位目标的位置，分析目标精确行为。同时启用Wi-Fi定位系统，并建立统一的坐标体系，融合视频定位系统和Wi-Fi定位系统的数据，识别并匹配出视频分析系统中目标在Wi-Fi定位系统中对应的目标。以达到识别视频分析系统中目标身份的目的，实现根据身份对目标长期的精确定位和分析，同时满足追踪定位的精确行和目标身份的易识别性。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是识别摄像头视频中的目标对象的身份，实现对目标对象的精确识别，跟踪和行为分析，以及在目标对象离开摄像头画面后再重新进入时的重新识别。
为实现上述目的，本发明提供了一种结合视频监控和Wi-Fi定位的追踪分析方法，包括摄像头视频监控定位分析阶段、Wi-Fi定位分析阶段和目标对象追踪分析阶段；其特征在于,
所述的摄像头视频监控定位分析阶段包括以下步骤：
步骤1、建立监控区域地面坐标系；
步骤2、实时监控并识别区域内出现的目标对象，分析并记录目标对象出现的时间、位置和运动轨迹。
所述Wi-Fi定位分析阶段包括以下步骤：
步骤3、建立监控区域RSSI指纹列表；
步骤4、实时扫描区域内出现的Wi-Fi终端，利用RSSI指纹匹配技术定位Wi-Fi终端的位置，通过Wi-Fi终端的标识与目标对象的对应关系，分析并记录目标对象出现的时间、位置和运动轨迹。
所述目标对象追踪分析阶段包括以下步骤：
步骤5、当步骤2或步骤4发现目标对象离开监控区域时，启动目标追踪分析，对目标对象在视频监控定位阶段的运动轨迹和Wi-Fi定位分析阶段的运动轨迹进行匹配分析，输出并存储目标对象的追踪分析结果。
进一步地，步骤2和步骤4是同步进行的。
进一步的，所述步骤1具体包括如下步骤：
步骤1.1、正常光照条件下采集一帧无活动目标覆盖的摄像头画面，作为目标对象活动区域，记为场景背景画面；
步骤1.2、对画面中地面区域进行切分成合适的大小的方块，作为地面网格单元格，地面网格的划分无需遵循绝对的切分比例，网格单元格是正方形，长方形，棱形，梯形中的一种，所有的地面网格单元组成监控区域地面网格图；
步骤1.3、在地面区域中选取合适的地面X轴、Y轴，记录每个网格单元在其X轴、Y轴上的位置数据，作为地面网格坐标。
进一步地，根据单元格的水平垂直的相对关系确定单元格的X，Y坐标。即最左边为X坐标0，最上边为Y坐标0。
进一步地，所述步骤1还包括，提取并保存上述图像中绘制的地面坐标网格，生成透明的图片，可以选择实时覆盖到摄像头视频画面上，可实时通过画面观察目标所有的区域。
进一步地，所述步骤2具体包括以下步骤：
步骤2.1、安装视频摄像头实时监控并存储监控区域内目标对象的活动情况；
步骤2.2、对摄像头视频每一帧画面进行分析，识别前面画面帧中出现的所有目标对象，并从画面中发现新出现的目标对象，追踪已发现的目标对象；
步骤2.3、将找到的新的目标对象，或者前面画面已经出现，且在本帧画面位置发生变化的目标对象的投影中心位置(即目标对象边界方框下边线的中心)在画面中的像素坐标值存入数据库，将该像素落在的地面网格坐标存入数据库；同时记录摄像头视频帧对应等绝对时间；通过对每一帧的分析、处理，记录系统探测到的所有目标对象在每一帧的画面中的精确像素坐标，以及地面区域网格图中的坐标；将目标对象的时间、位置、轨迹等信息存入数据库。
进一步地，步骤2.1所述摄像头为通用的监控摄像头，安装位置为能尽可能看到完整地面画面；摄像头可以使用USB或者有线方式连接到系统，也可以使用网线、无线网络等方式接入到定位分析系统，摄像头视频输出图像可以为灰度图像，也可能为彩色图像，摄像头视频画面可以为任意分辨率，在依赖环境光照的可见光摄像头，也可以是需要环境光照的红外夜视摄像头。
进一步地，步骤2.2中目标对象的识别方法为使用行人图片数据训练过的方向梯度直方图(HiStogram of Oriented Gradient，HOG)探测算法；视频摄像头画面中已发现的目标的追踪方法为CamShift(Continuously Adaptive MeanShift)算法。
进一步地，所述步骤3具体包括以下步骤：
步骤3.1、在监控区域系统部署3个以上Wi-Fi接入点，与Wi-Fi定位分析服务器相联；
步骤3.2、RSSI指纹采集工作人员使用移动的Wi-Fi终端采集Wi-Fi接入点在不同位置的RSSI值；采集人员持Wi-Fi终端进入每一个步骤1所述的地面网格单元，将网格坐标发送到Wi-Fi定位分析服务器，同时Wi-Fi接入点扫描区域内的Wi-Fi终端，并将对应的RSSI值发送Wi-Fi定位分析服务器；Wi-Fi定位服务器对每个扫描到该终端的接入点以及每个接入点采集的平均RSSI分别记录，最终获取到所有网格单元对应处在该网格中的所有接入点以及接入点扫描到终端的RSSI值。对于无法扫描到终端的接入点，其对应的RSSI设为-255。网格图和对应的接入点以及RSSI值构成为RSSI指纹列表。
进一步地，步骤3.2定位系统在RSSI采集阶段，采集工作人员携带Wi-Fi终端，设备能够实时显示摄像头视频实时画面，以及划分的地面网格。采集工作人员查看自己所在单元格的位置，点击所在单元格，终端计算所在的单元格的坐标，发送到定位系统，系统采集所有Wi-Fi接入点采集到的该设备等RSSI，系统对每个单元格采集10秒RSSI数据，采集完成后发送通知到终端，采集人员进入下一个单元格进行采集，直至采集完所有单元格的数据。
进一步地，步骤4具体包括以下步骤：
步骤4.1、实时扫描区域内Wi-Fi终端；
当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送接入点标识，以及扫描到的终端的Wi-Fi设备地址，对应的RSSI值到Wi-Fi定位分析服务器。服务器根据同一Wi-Fi终端在同一时刻不同接入点采集到的RSSI值来确定Wi-Fi终端所处的位置。Wi-Fi终端、能扫描到该终端的接入点以及对应的RSSI值记为RSSI列表。对于没有扫描到该终端的接入点，设置起扫描到的RSSI值为-255,并将该接入点和RSSI加入RSSI列表。
步骤4.2、通过RSSI指纹匹配来确定Wi-Fi终端的位置；
对于每条RSSI指纹列表的每条记录，和步骤4.1中的RSSI列表进行对比。记录在对应接入点RSSI指纹值和RSSI差异的绝对值。所有差异值的绝对值的和即为该条指纹记录的差异度。当完成所有指纹记录匹配时，其中差异度最小的一项是为最匹配。如果多条指纹记录差异值相等。多条指纹记录中的RSSI值按照从大到小的次序排列，所有的指纹记录进行对比，每条记录和其它记录对比相同排列位置的RSSI值。大的一方视为最有匹配。如果同一排列位置的RSSI相等，则继续匹配所有指纹记录的下一排列位置的RSSI值，直到有一条记录对应排列位置的RSSI大于其它记录。匹配完成后向服务器发送相关数据信息。
步骤4.3、分析记录目标对象的运动轨迹；
服务器记录RSSI采集时间，终端设备的物理身份标识，匹配的单元格的网格坐标，作为终端设备这个时刻的Wi-Fi定位位置。将当前时间，单元格的坐标和该终端的Wi-Fi地址存入数据库中，通过Wi-Fi终端的物理身份标识与目标对象的关联，将目标对象的、时间、位置、轨迹等信息存入数据库。
进一步地，步骤5具体包括以下步骤：
步骤5.1、当摄像头视频定位分析系统发现目标离开摄像头中地面区域，或者离开整个摄像头视频画面覆盖区域，摄像头视频分析系统将该目标，及其在画面中出现的时间段，在地面区域网格图上的轨迹记录加入到摄像头视频目标匹配列表；
步骤5.2、当Wi-Fi定位分析系统在设定时间内没有扫描到所追踪目标时；系统认为目标已经离开当前区域，Wi-Fi定位分析系统将该目标用户的设备地址信息，被扫描到的起止时间段，在地面区域网格图上的轨迹记录加入到Wi-Fi目标身份匹配列表；
步骤5.3、从Wi-Fi目标身份匹配列表里面获取一条记录，根据记录的目标发现离开时间段，从摄像头视频目标匹配列表获取候选匹配记录；要求两种轨迹的时间区域重合度最小在目标时间段的80％以上；如果没有找到相应的候选记录，那么直接删除Wi-Fi目标身份匹配列表中的这条记录，放弃匹配；
步骤5.4、对于筛选出的摄像头视频目标候选记录，逐条计算和Wi-Fi定位轨迹的匹配度。计算时间跨度为两记录重合度时间段；从重合时间段的起点开始，对两条记录中相同时间段两种系统目标在地面网格的坐标差异进行计算；记录差异的绝对值；完成所有重合时间点的差异绝对值计算，将所有的差异绝对值相加，得到两条轨迹之间的差异值；所有的候选匹配记录中，差异绝对值最小的候选匹配记录即为最终匹配成功记录；将Wi-Fi系统轨迹匹记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联；从相应的匹配列表删除这这两条记录；
步骤5.5、根据设定周期检查摄像头视频定位系统匹配列表，对超过一段时间没有成功匹配的轨迹记录直接从摄像头视频目标匹配列表删除。
进一步地，步骤5.4中，轨迹匹配过程，从一条轨迹选取一个时间点，从另一被匹配轨迹选取最近点时间点，计算轨迹之间的差异，单元格的X坐标差异绝对值加上Y坐标差异绝对值；对轨迹重合时间段所有的时间点的轨迹计算X轴和Y轴差异的绝对值并求和；和最小的轨迹即位匹配轨迹。
进一步地，所述目标对象可以是人、动物或者其他可移动的设备设施。
本发明还提供了一种结合视频监控和Wi-Fi定位的追踪分析系统，包括：
摄像头视频分析单元，被设置为实时监控目标活动区域，建立地面坐标系，识别并记录进入监控区域内的目标对象活动信息；
Wi-Fi定位分析单元，被设置为实时监控进入监控范围内的Wi-Fi终端，使用基于RSSI指纹匹配的方式来定位Wi-Fi终端的位置，利用Wi-Fi终端的身份标识与目标对象的关联，跟踪记录目标对象的活动信息；
目标追踪分析单元，被设置为将所述摄像头视频定位分析单元和Wi-Fi定位分析单元中共同的目标进行匹配，通过两个单元在共同时间段的轨迹匹配来实现，分析得出匹配结果，实现目标对象的追踪分析。
进一步地，所述摄像头视频分析单元包括：
监控摄像头，用于实时视频监控并记录所述目标活动区域；
地面坐标系，用于将所述监控摄像头的视频监控区域范围进行分块并标注坐标，所有的分块的集合记为地面区域网格图；
目标识别模块，用于识别所述监控摄像头的视频监控画面中出现的目标对象，并分析所述目标对象出现的时间、位置、轨迹等信息；
摄像头视频分析服务器，用于存储分析所述监控摄像头的视频监控数据、所述地面坐标系以及所述目标识别模块产生的相关信息。
进一步地，摄像头为通用的监控摄像头，摄像头可以使用USB或者有线方式连接到系统，也可以使用网线，无线网络等方式接入到系统，摄像头视频输出图像可以为灰度图像，也可能为彩色图像，摄像头视频画面可以为任意分辨率，摄像头包含在依赖环境光照的可见光摄像头，也可以是需要要环境光照的红外夜视摄像头。
进一步地，所述地面坐标系中地面网格的区分无需遵循绝对的切分比例，网格单元格可以是正方形，长方形，棱形，梯形。在地面区域选取合适的直线作为水平坐标轴，同时选取和水平坐标垂直的直线为垂直坐标轴。优选地，根据单元格的水平垂直的相对关系确定单元格的X，Y坐标。即最左边为X坐标0，最上边为Y坐标0。
进一步地，目标识别模块识别目标对象的方法为使用行人图片数据训练过的方向梯度直方图(Histogram of Oriented Gradient，HOG)探测算法；视频摄像头画面中已发现的目标的追踪方法为CamShift(Continuously Adaptive MeanShift)算法。
进一步地，所述Wi-Fi定位分析单元，包括：
Wi-Fi接入点，被设置为向监控区域发送Wi-Fi信号，实时扫描监控区域内的Wi-Fi终端，当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送接入点标识、扫描到的Wi-Fi终端的物理地址以及对应的RSSI值到Wi-Fi定位服务器；
Wi-Fi终端，其特征为接收所述Wi-Fi接入点发送的Wi-Fi信号，反馈对应于Wi-Fi接入点的RSSI值，并且具有唯一不变的物理地址，经与目标对象进行绑定后可以作为目标对象的身份标识；
RSSI指纹列表，包括网格图和对应的接入点以及RSSI值，基于所述地面坐标系，通过对监控区域内的每一地面区域网格采集得到Wi-Fi终端对应于各Wi-Fi接入点的RSSI值，并以列表的形式进行表述；
Wi-Fi定位服务器，包括分析存储模块，当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送Wi-Fi接入点标识、扫描到的Wi-Fi终端的物理地址以及对应的RSSI值到Wi-Fi定位服务器；服务器根据同一Wi-Fi终端在同一时刻不同Wi-Fi接入点采集到的RSSI值与所述RSSI指纹列表进行比较分析，来确定Wi-Fi终端所处的位置；通过Wi-Fi终端的物理地址与目标对象的关联，确定出目标对象的身份标识、时间、位置等信息，分析并存储记录目标对象的轨迹。
进一步地，所述Wi-Fi接入点为3个及以上。
进一步地，所述Wi-Fi终端物理地址为Wi-Fi终端的MAC地址。
进一步地，所述目标追踪分析单元，包括：
摄像头视频目标匹配列表，包括目标对象标识、出现时间、出现位置、运动轨迹等信息，被设置为当摄像头视频定位分析系统发现目标离开摄像头中地面区域，或者离开整个摄像头视频画面覆盖区域，摄像头视频分析系统将该目标，及其在画面中出现的时间段，在地面区域网格图上的轨迹记录加入到摄像头视频目标匹配列表。
Wi-Fi目标身份匹配列表，包括目标对象标识、出现时间、出现位置、运动轨迹等信息，被设置为当Wi-Fi定位分析系统在120秒内没有扫描到所追踪目标时；系统认为目标已经离开当前区域，Wi-Fi定位分析系统将该目标用户的设备地址信息，被扫描到的起止时间段，在地面区域网格图上的轨迹记录加入到Wi-Fi目标身份匹配列表。
目标对象分析匹配模块，被设置为通过对所述两个匹配列表进行分析比较，将Wi-Fi定位系统轨迹匹配记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联，得出匹配成功记录，输出目标对象的轨迹，删除目标分析追踪单元中的多余信息。
数据存储处理模块，具有存储、运算、输出等功能，被设置为存储所述匹配表，进行匹配分析、输出匹配结果。
进一步地，目标对象分析匹配模块被设置为，从Wi-Fi目标身份匹配列表里面获取一条记录，根据记录的目标发现离开时间段，从摄像头视频目标匹配列表获取候选匹配记录，要求两种轨迹的时间区域重合度最小在目标时间段段80％以上；如果没有找到相应的候选记录，那么直接删除Wi-Fi目标身份匹配列表中的这条记录，放弃匹配；对于筛选出的摄像头视频目标候选记录，逐条计算和Wi-Fi定位轨迹的匹配度；计算时间跨度为两记录重合度时间段，从重合时间段的起点开始，对两条记录中相同时间段两种系统目标在地面网格的坐标差异进行计算，记录差异的绝对值；完成所有重合时间点点差异绝对值计算，将所有的差异绝对值相加，得到两条轨迹之间的差异值；所有的候选匹配记录中，差异绝对值最小的候选匹配记录即为最终匹配成功记录；将Wi-Fi系统轨迹匹记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联，从相应的匹配列表删除这两条记录。
进一步地，所述目标对象可以是人、动物或者其他可移动的设备设施。
在本发明的较佳实施方式中，本发明所述的结合视频监控和Wi-Fi定位的追踪分析系统及方法具有以下有益效果：
使用摄像头画面坐标作为基础坐标，不需要做摄像头校准和坐标转换，使用摄像头画面中的地面网格实时视频可以快速采集Wi-Fi定位系统所需的各定位的RSSI值，摄像头视频目标追踪可以实现高精度的判定，能够准确判定目标是否进入特点区域，同时能获取目标的图像信息；还原摄像头画面中的用户的身份，可以实现用户行为分析和身份跟踪，可以建立目标身份信息数据库，可以长期跟踪分析目标；目标匹配算法简单高效。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的结合视频监控和Wi-Fi定位的追踪分析方法流程图；
图2是本发明一个较佳实施例的建立监控区域地面坐标系流程图；
图3是本发明一个较佳实施例的视频监控定位目标对象的流程图；
图4是本发明一个较佳实施例的Wi-Fi定位分析目标对象的流程图；；
图5是本发明一个较佳实施例的结合视频监控和Wi-Fi定位的追踪分析系统结构图；
图6是本发明一个较佳实施例的视频监控分析单元结构图；
图7是本发明一个较佳实施例的Wi-Fi定位分析单元结构图；
图8是本发明一个较佳实施例的目标追踪分析单元结构图。
具体实施方式
为了能够更清楚地理解本发明上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步地详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施。因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明提供了一种结合视频监控和Wi-Fi定位的追踪分析方法(如图1)，该方法主要包括提供了一种结合视频监控和Wi-Fi定位的追踪分析方法，包括摄像头视频监控定位分析阶段、Wi-Fi定位分析阶段和目标对象追踪分析阶段，并由以下步骤组成:
S1、建立监控区域地面坐标系。
S2、实时监控并识别区域内出现的目标对象，分析并记录目标对象出现的时间、位置和运动轨迹。
S3、建立监控区域RSSI指纹列表。
S4、实时扫描区域内出现的Wi-Fi终端，利用RSSI指纹匹配技术定位Wi-Fi终端的位置，通过Wi-Fi终端的标识与目标对象的对应关系，分析并记录目标对象出现的时间、位置和运动轨迹。
S5、启动目标追踪分析，对目标对象在视频监控定位阶段的运动轨迹和Wi-Fi定位分析阶段的运动轨迹进行匹配分析，输出并存储目标对象的追踪分析结果。
摄像头视频监控定位分析阶段包括步骤S1和S2。
步骤S1中(如图2)，建立监控区域地面坐标系的具体步骤为：
在监控区域安装摄像头，安装位置为能尽可能看到完整地面画面为宜。摄像头通过网络连接到定位分析系统。正常光照条件下采集一帧无活动目标覆盖的摄像头画面，记为场景背景画面。在场景背景画面中用多条直线按照地面轮廓勾画出地面区域多边形。根据地面平米在场景画面中的投影，在地面区域多边形中选取合适的地面X,Y轴。并通过在X,Y轴上添加和坐标轴平行的直线的方式将地面区域划分成若干小方块。记录每个方块按在其中X,Y轴上的位置。坐标轴的选择尽量符合地面的实际布局，方块的选择尽量符合地面实际布局和比例，比如说按照地板砖来划分。划分的方块控制在实际面积1平方米左右。以上的坐标轴和方块的划分都不需要精确。所有的小方块的集合记为地面区域网格图。通过地面区域网格图，摄像头视频画面中的地面被分成多个四边形区域。摄像头视频画面中的地面区域视为目标活动区域，对画面中地面区域进行切分成合适的大小的方块，作为地面网格图。地面网格的区分无需遵循绝对的切分比例。网格单元格可以是正方形，长方形，棱形，梯形。根据单元格的水平垂直的相对关系确定单元格的X，Y坐标。即最左边为X坐标0，最上边为Y坐标0。
步骤S2中(如图3),实时监控并识别区域内出现的目标对象，分析并记录目标对象出现的时间、位置和运动轨迹。对摄像头视频每一帧画面进行分析。查找前面画面帧中出现的所有目标人物在新画面中的位置，并尝试从画面中发现新出现的目标人物。具体步骤为，使用在前面画面中已经探测到的目标人物的特征数据执行CamShift(ContinuouslyAdaptive MeanShift)算法，计算目标人物在新的帧的位置。然后通过已经训练好的方向梯度直方图(Histogram of Oriented Gradient，HOG)算法来探测该帧画面可能出现的新的目标人物。
将找到的新的目标人物，或者前面画面已经出现，且在本帧画面位置发生变化的目标人物双脚的中心位置(即目标人物边界方框下边线的中心)在画面中的像素坐标值存入数据库。将该像素落在的地面网格坐标存入数据库。同时记录摄像头视频帧对应的绝对时间。通过对每一帧的分享，处理，记录系统探测到的所有目标在每一帧的画面中的精确像素坐标，以及地面区域网格图中的坐标。
Wi-Fi定位分析阶段使用基于RSSI(Receive Signal Strength Indicator)指纹匹配的方式来定位目标人物持有的Wi-Fi终端设备的位置，获取终端设备等不变身份标示(Wi-Fi网卡地址)。区域部署多个的Wi-Fi接入点提供网络服务，以及终端RSSI实时采集。Wi-Fi定位系统使用接入点采集目标持有的终端设备RSSI的方式，Wi-Fi接入点需要部署3个或者以上。包括步骤S3和步骤S4。
步骤S3中，建立监控区域RSSI指纹列表。RSSI指纹采集工作人员使用移动的Wi-Fi终端设备采集Wi-Fi接入点在不同位置的RSSI值。终端设备通过网络连接摄像头视频实时画面，画面覆盖地面区域网格图。采集工作人员可以实时看到自己在摄像头画面中的位置，以及在地面区域网格图中所处的网格。采集人员进入第一个网格，通过摄像头画面和覆盖在画面上区域网格图确认自己位置，将网格坐标发送到Wi-Fi定位分析服务器，服务器通过每个能够扫描到终端的接入点采集终端设备的RSSI值。每个接入点采集多该终端的RSSI值采集多次，取平均值。Wi-Fi定位系统对每个扫描到该终端的接入点以及每个接入点采集的平均RSSI分布记录。采集工作人员进入画面中网格对应的地面区域完成接入点RSSI值的采集。最终获取到所有网格对应处在该网格中的时候所有接入点以及接入扫描到终端的RSSI值。对于无法扫描到终端的接入点，其对应的RSSI设为-255。网格图和对应的接入点以及RSSI值记为RSSI指纹列表。
步骤S4中(如图4)，Wi-Fi定位系统使用RSSI值匹配的方式计算目标所处的位置。取每个单元格的RSSI值列表和采集到的RSSI值列表对比。记录单元格列表中对应接入点RSSI值和本次该接入点采集到的RSSI差异的绝对值。所有差异值的绝对值的和即为该条指纹记录的差异度。当完成所有指纹记录匹配时，其中差异度最小的一项是为最匹配。如果多条指纹记录差异值相等。多条指纹记录中度RSSI值按照从大到小的次序排列，所有的指纹记录进行对比，每条记录和其它记录对比相同排列位置的RSSI值。大的一方视为最有匹配。如果同一排列位置的RSSI相等，则继续匹配所有指纹记录的下一排列位置的RSSI值，直到有一条记录对应排列位置的RSSI大于其它记录。记录RSSI采集时间，终端设置的Wi-Fi地址，匹配指纹记录对应的地面区域网格坐标，作为终端设备这个时刻的Wi-Fi定位位置。
S4的具体步骤如下：
步骤(1)、当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送接入点标识，以及扫描到的终端的Wi-Fi设备地址，对应的RSSI值到Wi-Fi定位服务器。服务器根据同一Wi-Fi终端在同一时刻不同接入点采集到的RSSI值来确定Wi-Fi终端所处的位置。Wi-Fi终端在采集时刻的能扫描到终端的接入点以及对应的RSSI值记为RSSI列表。对于没有扫描到该终端的接入点，设置起扫描到的RSSI值为-255,并该接入点和RSSI加入RSSI列表。
步骤(2)、取RSSI指纹列表中的每条记录和步骤(1)中的RSSI列表对比。对于每条RSSI指纹列表的每条记录，和步骤(1)中的RSSI列表进行对比。记录在对应接入点RSSI指纹值和RSSI差异的绝对值。所有差异值的绝对值的和即为该条指纹记录的差异度。当完成所有指纹记录匹配时，其中差异度最小的一项是为最匹配。如果多条指纹记录差异值相等。多条指纹记录中度RSSI值按照从大到小的次序排列，所有的指纹记录进行对比，每条记录和其它记录对比相同排列位置的RSSI值。大的一方视为最有匹配。如果同一排列位置的RSSI相等，则继续匹配所有指纹记录的下一排列位置的RSSI值，直到有一条记录对应排列位置的RSSI大于其它记录。记录RSSI采集时间，终端设置的Wi-Fi地址，匹配指纹记录对应的地面区域网格坐标，作为终端设备这个时刻的Wi-Fi定位位置。
目标对象追踪分析阶段发生在任一定位系统无法再获取该目标有效位置数据之后,是通过两个系统在共同时间段的轨迹匹配来实现的。
在初步匹配相似轨迹时，计算两条轨迹的重合时间段，要求两条轨迹重合的时间短长度需要大于任一轨迹的时间段长度的80％,
轨迹匹配过程，从一条轨迹选取一个时间点，从另一被匹配轨迹选取最近点时间点，计算轨迹之间的差异，单元格的X坐标差异绝对值加上Y坐标差异绝对值。对轨迹重合时间段所有的时间点的轨迹计算X轴和Y轴差异的绝对值并求和。和最小的轨迹即位匹配轨迹。
具体实现步骤为S5：
步骤S5中，摄像头视频定位分析系统和Wi-Fi定位分析系统中共同的目标的匹配是通过两个系统在共同时间段的轨迹匹配来实现的。具体实现步骤如下：
步骤(1)：当摄像头视频定位分析系统发现目标离开摄像头中地面区域，或者离开整个摄像头视频画面覆盖区域，摄像头视频分析系统将该目标，及其在画面中出现的时间段，在地面区域网格图上的轨迹记录加入到摄像头视频目标匹配列表。
步骤(2)：当Wi-Fi定位分析系统在120秒内没有扫描到所追踪目标时。系统认为目标已经离开当前区域，Wi-Fi定位分析系统将该目标用户的设备地址信息，被扫描到的起止时间段，在地面区域网格图上的轨迹记录加入到Wi-Fi目标身份匹配列表。
步骤(3)：从Wi-Fi目标身份匹配列表里面获取一条记录，根据记录的目标发现离开时间段，从摄像头视频目标匹配列表获取候选匹配记录。要求两种轨迹的时间区域重合度最小在目标时间段段80％以上。如果没有找到相应的候选记录，那么直接删除Wi-Fi目标身份匹配列表中的这条记录。放弃匹配。
步骤(4)：对于筛选出的摄像头视频目标候选记录，逐条计算和Wi-Fi定位轨迹的匹配度。计算时间跨度为两记录重合度时间段。从重合时间段的起点开始，对两条记录中相同时间段两种系统目标在地面网格的坐标差异进行计算。记录差异的绝对值。完成所有重合时间点点差异绝对值计算，将所有的差异绝对值相加，得到两条轨迹之间的差异值。所有的候选匹配记录中，差异绝对值最小的候选匹配记录即为最终匹配成功记录。将Wi-Fi系统轨迹匹记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联。从相应的匹配列表删除这这两条记录。
步骤(5)：每10分钟检查摄像头视频定位系统匹配列表，对超过10分钟没有成功匹配的轨迹记录直接从摄像头视频目标匹配列表删除。
如图5所示，本发明还提供了一种结合视频监控和Wi-Fi定位的追踪分析系统，包括摄像头视频分析单元、Wi-Fi定位分析单元和目标追踪分析单元。
如图6所示，摄像头视频分析单元被设置为实时监控目标活动区域，建立地面坐标系，识别并记录进入监控区域内的目标对象活动信息，包括：
监控摄像头，用于实时视频监控并记录所述目标活动区域，本实施例中，摄像头为通用的监控摄像头，摄像头可以使用USB或者有线方式连接到系统，也可以使用网线，无线网络等方式接入到系统，摄像头视频输出图像可以为灰度图像，也可能为彩色图像，摄像头视频画面可以为任意分辨率，摄像头包含在依赖环境光照的可见光摄像头，也可以是需要要环境光照的红外夜视摄像头。
地面坐标系，用于将所述监控摄像头的视频监控区域范围进行分块并标注坐标，所有的分块的集合记为地面区域网格图。地面坐标系中地面网格的区分无需遵循绝对的切分比例，网格单元格可以是正方形，长方形，棱形，梯形。在地面区域选取合适的直线作为水平坐标轴，同时选取和水平坐标垂直的直线为垂直坐标轴。优选地，根据单元格的水平垂直的相对关系确定单元格的X，Y坐标。即最左边为X坐标0，最上边为Y坐标0。
目标识别模块，用于识别所述监控摄像头的视频监控画面中出现的目标对象，并分析所述目标对象出现的时间、位置、轨迹等信息；本实施例中，目标识别模块识别目标对象的方法为使用行人图片数据训练过的方向梯度直方图(HiStogram of OrientedGradient，HOG)探测算法；视频摄像头画面中已发现的目标的追踪方法为CamShift(Continuously Adaptive Meanshift Adaptive MeanShift)算法。
摄像头视频分析服务器，用于存储分析所述监控摄像头的视频监控数据、所述地面坐标系以及所述目标识别模块产生的相关信息。
如图7所示，Wi-Fi定位分析单元被设置为实时监控进入监控范围内的Wi-Fi终端，使用基于RSSI指纹匹配的方式来定位Wi-Fi终端的位置，利用Wi-Fi终端的身份标识与目标对象的关联，跟踪记录目标对象的活动信息。包括：
3个及以上Wi-Fi接入点，被设置为向监控区域发送Wi-Fi信号，实时扫描监控区域内的Wi-Fi终端，当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送接入点标识、扫描到的Wi-Fi终端的物理地址以及对应的RSSI值到Wi-Fi定位服务器；
Wi-Fi终端，其特征为接收所述Wi-Fi接入点发送的Wi-Fi信号，反馈对应于Wi-Fi接入点的RSSI值，并且具有唯一不变的物理地址(网卡MAC地址)，经与目标对象进行绑定后可以作为目标对象的身份标识；RSSI指纹列表，包括网格图和对应的接入点以及RSSI值，基于所述地面坐标系，通过对监控区域内的每一地面区域网格采集得到Wi-Fi终端对应于各Wi-Fi接入点的RSSI值，并以列表的形式进行表述；
Wi-Fi定位服务器，包括分析存储模块，当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送Wi-Fi接入点标识、扫描到的Wi-Fi终端的物理地址以及对应的RSSI值到Wi-Fi定位服务器；服务器根据同一Wi-Fi终端在同一时刻不同Wi-Fi接入点采集到的RSSI值与所述RSSI指纹列表进行比较分析，来确定Wi-Fi终端所处的位置；通过Wi-Fi终端的物理地址与目标对象的关联，确定出目标对象的身份标识、时间、位置等信息。分析并存储记录目标对象的轨迹。
如图8所示，目标追踪分析单元被设置为将所述摄像头视频定位分析单元和Wi-Fi定位分析单元中共同的目标进行匹配，通过两个单元在共同时间段的轨迹匹配来实现，分析得出匹配结果，实现目标对象的追踪分析。包括：
摄像头视频目标匹配列表，包括目标对象标识、出现时间、出现位置、运动轨迹等信息，被设置为当摄像头视频定位分析系统发现目标离开摄像头中地面区域，或者离开整个摄像头视频画面覆盖区域，摄像头视频分析系统将该目标，及其在画面中出现的时间段，在地面区域网格图上的轨迹记录加入到摄像头视频目标匹配列表。
Wi-Fi目标身份匹配列表，包括目标对象标识、出现时间、出现位置、运动轨迹等信息，被设置为当Wi-Fi定位分析系统在120秒内没有扫描到所追踪目标时；系统认为目标已经离开当前区域，Wi-Fi定位分析系统将该目标用户的设备地址信息，被扫描到的起止时间段，在地面区域网格图上的轨迹记录加入到Wi-Fi目标身份匹配列表。
目标对象分析匹配模块，被设置为通过对所述两个匹配列表进行分析比较，将Wi-Fi定位系统轨迹匹配记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联，得出匹配成功记录，输出目标对象的轨迹，删除目标分析追踪单元中的多余信息。
数据存储处理模块，具有存储、运算、输出等功能，被设置为存储所述匹配表，进行匹配分析、输出匹配结果。
在本实施例中，目标对象分析匹配模块被设置为，从Wi-Fi目标身份匹配列表里面获取一条记录，根据记录的目标发现离开时间段，从摄像头视频目标匹配列表获取候选匹配记录，要求两种轨迹的时间区域重合度最小在目标时间段段80％以上；如果没有找到相应的候选记录，那么直接删除Wi-Fi目标身份匹配列表中的这条记录，放弃匹配；对于筛选出的摄像头视频目标候选记录，逐条计算和Wi-Fi定位轨迹的匹配度；计算时间跨度为两记录重合度时间段，从重合时间段的起点开始，对两条记录中相同时间段两种系统目标在地面网格的坐标差异进行计算，记录差异的绝对值；完成所有重合时间点点差异绝对值计算，将所有的差异绝对值相加，得到两条轨迹之间的差异值；所有的候选匹配记录中，差异绝对值最小的候选匹配记录即为最终匹配成功记录；将Wi-Fi系统轨迹匹记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联。从相应的匹配列表删除这两条记录。
本实施例中，所述目标对象可以是人、动物或者其他可移动的设施设备。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (14)

1.一种结合视频监控和Wi-Fi定位的追踪分析方法，包括摄像头视频监控定位分析阶段、Wi-Fi定位分析阶段和目标对象追踪分析阶段，其特征在于，其中
所述摄像头视频监控定位分析阶段包括以下步骤：
步骤1、建立监控区域地面坐标系；
步骤2、实时监控并识别区域内出现的目标对象，分析并记录所述目标对象出现的时间、位置和运动轨迹；
所述Wi-Fi定位分析阶段包括以下步骤：
步骤3、建立监控区域RSSI指纹列表；
步骤4、实时扫描区域内出现的Wi-Fi终端，利用RSSI指纹匹配技术定位所述Wi-Fi终端的位置，通过所述Wi-Fi终端的标识与所述目标对象的对应关系，分析并记录所述目标对象出现的时间、位置和运动轨迹；所述步骤4和所述步骤2是同步进行的；
所述目标对象追踪分析阶段包括以下步骤：
步骤5、当所述步骤2或所述步骤4发现所述目标对象离开监控区域时，启动目标追踪分析，对所述目标对象在所述摄像头视频监控定位阶段的运动轨迹和所述Wi-Fi定位分析阶段的运动轨迹进行匹配分析，输出并存储所述目标对象的追踪分析结果。
2.如权利要求1所述的结合视频监控和Wi-Fi定位的追踪分析方法，其特征在于，所述步骤1具体包括如下步骤：
步骤1.1、正常光照条件下采集一帧无活动目标覆盖的摄像头画面，作为目标对象活动区域，记为场景背景画面；
步骤1.2、对画面中地面区域进行切分成合适的大小的方块，作为地面网格单元，所有的所述地面网格单元组成监控区域地面网格图；
步骤1.3、在地面区域中选取合适的地面X轴、Y轴，记录每个所述地面网格单元在所述地面X轴、Y轴上的位置数据，作为所述地面网格单元的坐标。
3.如权利要求1所述的结合视频监控和Wi-Fi定位的追踪分析方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1、安装视频摄像头实时监控并存储监控区域内目标对象的活动情况；
步骤2.2、对摄像头视频每一帧画面进行分析，识别前面画面帧中出现的所有所述目标对象，并从画面中发现新出现的所述目标对象，追踪已发现的所述目标对象；
步骤2.3、将找到的新的所述目标对象，或者前面画面已经出现，且在本帧画面位置发生变化的所述目标对象的投影中心位置在画面中的像素坐标值存入数据库，将该像素落在的地面网格坐标存入数据库；同时记录摄像头视频帧对应的绝对时间；通过对每一帧的分析和处理，记录系统探测到的所有目标对象在每一帧的画面中的精确像素坐标，以及地面区域网格图中的坐标；将目标对象的时间、位置、轨迹等信息存入数据库，所述投影中心位置为目标对象边界方框下边线的中心。
4.如权利要求3所述的结合视频监控和Wi-Fi定位的追踪分析方法，其特征在于，所述步骤2.2中目标对象的识别方法为使用行人图片数据训练过的方向梯度直方图探测算法；视频摄像头画面中已发现的目标的追踪方法为CamShift算法。
5.如权利要求1所述的结合视频监控和Wi-Fi定位的追踪分析方法，其特征在于，所述步骤3具体包括以下步骤：
步骤3.1、在监控区域系统部署Wi-Fi接入点，与Wi-Fi定位分析服务器相联；
步骤3.2、RSSI指纹采集工作人员使用移动的Wi-Fi终端采集Wi-Fi接入点在不同位置的RSSI值；采集人员持Wi-Fi终端进入每一个步骤1所述的地面网格单元，将网格坐标发送到Wi-Fi定位分析服务器，同时Wi-Fi接入点扫描区域内的Wi-Fi终端，并将对应的RSSI值发送Wi-Fi定位分析服务器，；网格图和对应的接入点以及RSSI值构成为RSSI指纹列表。
6.如权利要求1所述的结合视频监控和Wi-Fi定位的追踪分析方法，其特征在于，所述步骤4具体包括以下步骤：
步骤4.1、实时扫描区域内Wi-Fi终端；其中当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送接入点标识，以及扫描到的终端的Wi-Fi设备地址，对应的RSSI值到Wi-Fi定位分析服务器；服务器根据所述RSSI值来确定Wi-Fi终端所处的位置；Wi-Fi终端、能扫描到该终端的接入点以及对应的RSSI值记为RSSI列表；
步骤4.2、通过RSSI指纹匹配来确定Wi-Fi终端的位置；其中，对于每条RSSI指纹列表的每条记录，和步骤4.1中的RSSI列表进行对比匹配，将所有指纹记录进行匹配，其中差异度最小的一项是为最匹配，进一步确定所述Wi-Fi终端的位置，匹配完成后向服务器发送相关数据信息；
步骤4.3、分析记录目标对象的运动轨迹；其中，服务器记录RSSI采集时间，终端设备的物理身份标识，匹配的单元格的网格坐标，作为终端设备这个时刻的Wi-Fi定位位置，通过Wi-Fi终端的物理地址与目标对象的关联，将目标对象的、时间、位置、轨迹等信息存入数据库。
7.如权利要求1所述的结合视频监控和Wi-Fi定位的追踪分析方法，其特征在于，所述步骤5具体包括以下步骤：
步骤5.1、当摄像头视频定位分析系统发现目标离开摄像头中地面区域，或者离开整个摄像头视频画面覆盖区域，摄像头视频分析系统将该目标，及其在画面中出现的时间段，在地面区域网格图上的轨迹记录加入到摄像头视频目标匹配列表；
步骤5.2、当Wi-Fi定位分析系统在设定时间内没有扫描到所追踪目标时；系统认为目标已经离开当前区域，Wi-Fi定位分析系统将该目标用户的设备地址信息，被扫描到的起止时间段，在地面区域网格图上的轨迹记录加入到Wi-Fi目标身份匹配列表；
步骤5.3、从Wi-Fi目标身份匹配列表里面获取一条记录，根据记录的目标发现离开时间段，从摄像头视频目标匹配列表获取候选匹配记录，如果没有找到相应的候选记录，那么直接删除Wi-Fi目标身份匹配列表中的这条记录；放弃匹配；
步骤5.4、对于筛选出的摄像头视频目标候选记录，逐条计算和Wi-Fi定位轨迹的匹配度；计算时间跨度为两记录重合度时间段；从重合时间段的起点开始，计算得到两条轨迹之间的差异值；所有的候选匹配记录中，差异绝对值最小的候选匹配记录即为最终匹配成功记录；将Wi-Fi系统轨迹匹记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联；从相应的匹配列表删除这这两条记录；
步骤5.5、根据设定周期检查摄像头视频定位系统匹配列表，对超过一段时间没有成功匹配的轨迹记录直接从摄像头视频目标匹配列表删除。
8.一种结合视频监控和Wi-Fi定位的追踪分析系统，包括摄像头视频分析单元、Wi-Fi定位分析单元、目标追踪分析单元，其特征在于，
所述摄像头视频分析单元，被设置为实时监控目标活动区域，建立地面坐标系，识别并记录进入监控区域内的目标对象活动信息；
所述Wi-Fi定位分析单元，被设置为实时监控进入监控范围内的Wi-Fi终端，使用基于RSSI指纹匹配的方式来定位Wi-Fi终端的位置，利用Wi-Fi终端的物理地址与目标对象的关联，跟踪记录目标对象的活动信息；
所述目标追踪分析单元，被设置为将所述摄像头视频定位分析单元和所述Wi-Fi定位分析单元中共同的目标进行匹配，通过两个单元在共同时间段的轨迹匹配来实现，分析得出匹配结果，实现目标对象的追踪分析。
9.如权利要求8所述的结合视频监控和Wi-Fi定位的追踪分析系统，其特征在于，所述摄像头视频分析单元包括：
监控摄像头，用于实时视频监控并记录所述目标活动区域；
地面坐标系，用于将所述监控摄像头的视频监控区域范围进行分块并标注坐标，所有的分块的集合记为地面区域网格图；
目标识别模块，用于识别所述监控摄像头的视频监控画面中出现的目标对象，并分析所述目标对象出现的时间、位置、轨迹等信息；
摄像头视频分析服务器，用于存储分析所述监控摄像头的视频监控数据、所述地面坐标系以及所述目标识别模块产生的相关信息。
10.如权利要求8所述的结合视频监控和Wi-Fi定位的追踪分析系统，其特征在于，所述Wi-Fi定位分析单元，包括：
Wi-Fi接入点，被设置为向监控区域发送Wi-Fi信号，实时扫描监控区域内的Wi-Fi终端，当所述Wi-Fi接入点扫描到Wi-Fi终端时，所述Wi-Fi接入点发送接入点标识、扫描到的Wi-Fi终端的物理地址以及对应的RSSI值到Wi-Fi定位服务器，所述Wi-Fi接入点为3个及以上；
Wi-Fi终端，其特征为接收所述Wi-Fi接入点发送的Wi-Fi信号，反馈对应于所述Wi-Fi接入点的RSSI值，并且具有唯一不变的物理地址，经与目标对象进行绑定后可以作为目标对象的身份标识，所述Wi-Fi终端的物理地址为Wi-Fi终端的网卡MAC地址；
RSSI指纹列表，包括网格图和对应的接入点以及RSSI值，基于所述地面坐标系，通过对监控区域内的每一地面区域网格采集得到Wi-Fi终端对应于各Wi-Fi接入点的RSSI值，并以列表的形式进行表述；
Wi-Fi定位服务器，包括分析存储模块，当Wi-Fi接入点扫描到Wi-Fi终端时，Wi-Fi接入点发送Wi-Fi接入点标识、扫描到的Wi-Fi终端的物理地址以及对应的RSSI值到Wi-Fi定位服务器；服务器根据同一Wi-Fi终端在同一时刻不同Wi-Fi接入点采集到的RSSI值与所述RSSI指纹列表进行比较分析，来确定Wi-Fi终端所处的位置；通过Wi-Fi终端的物理地址与目标对象的关联，确定出目标对象的身份标识、时间、位置等信息，分析并存储记录目标对象的轨迹。
11.如权利要求8所述的结合视频监控和Wi-Fi定位的追踪分析系统，其特征在于，所述目标追踪分析单元，包括：
摄像头视频目标匹配列表，包括目标对象标识、出现时间、出现位置、运动轨迹等信息，被设置为当摄像头视频定位分析系统发现目标离开摄像头中地面区域，或者离开整个摄像头视频画面覆盖区域，摄像头视频分析系统将该目标，及其在画面中出现的时间段，在地面区域网格图上的轨迹记录加入到摄像头视频目标匹配列表；
Wi-Fi目标身份匹配列表，包括目标对象标识、出现时间、出现位置、运动轨迹等信息，被设置为当Wi-Fi定位分析系统在设定时间内没有扫描到所追踪目标时；系统认为目标已经离开当前区域，Wi-Fi定位分析系统将该目标用户的设备地址信息，被扫描到的起止时间段，在地面区域网格图上的轨迹记录加入到Wi-Fi目标身份匹配列表；
目标对象分析匹配模块，被设置为通过对所述两个匹配列表进行分析比较，将Wi-Fi定位系统轨迹匹配记录对应的Wi-Fi设备身份和视频摄像头定位系统中的目标关联，得出匹配成功记录，输出目标对象的轨迹，删除目标分析追踪单元中的多余信息；
数据存储处理模块，具有存储、运算、输出等功能，被设置为存储所述匹配表，进行匹配分析、输出匹配结果。
12.如权利要求8所述的结合视频监控和Wi-Fi定位的追踪分析系统，其特征在于，所述地面坐标系中地面网格的区分无需遵循绝对的切分比例，网格单元格是正方形，长方形，棱形，梯形中的一种；在地面区域选取合适的直线作为水平坐标轴，同时选取和水平坐标垂直的直线为垂直坐标轴。
13.如权利要求12所述的结合视频监控和Wi-Fi定位的追踪分析系统，其特征在于，所述地面坐标系根据单元格的水平垂直的相对关系确定单元格的X，Y坐标，即最左边为X坐标0，最上边为Y坐标0。
14.如权利要求8所述的结合视频监控和Wi-Fi定位的追踪分析系统，其特征在于，所述目标识别模块识别目标对象的方法为使用行人图片数据训练过的方向梯度直方图HOG探测算法；视频摄像头画面中已发现的目标的追踪方法为CamShift算法。
CN201710724462.1A 2017-08-22 2017-08-22 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法 Pending CN107529221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710724462.1A CN107529221A (zh) 2017-08-22 2017-08-22 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710724462.1A CN107529221A (zh) 2017-08-22 2017-08-22 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法

Publications (1)

Publication Number Publication Date
CN107529221A true CN107529221A (zh) 2017-12-29

Family

ID=60681845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710724462.1A Pending CN107529221A (zh) 2017-08-22 2017-08-22 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法

Country Status (1)

Country Link
CN (1) CN107529221A (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419253A (zh) * 2018-01-18 2018-08-17 北京三快在线科技有限公司 一种位置确定方法、装置、电子设备及可读存储介质
CN108495259A (zh) * 2018-03-26 2018-09-04 上海工程技术大学 一种渐进式室内定位服务器及定位方法
CN108495090A (zh) * 2018-04-03 2018-09-04 京东方科技集团股份有限公司 一种用户设备的定位方法、装置及其系统
CN108650485A (zh) * 2018-03-21 2018-10-12 江苏同袍信息科技有限公司 基于图像检测和无线探针的人员监控方法及系统
CN108694381A (zh) * 2018-05-11 2018-10-23 星络科技有限公司 对象定位方法和对象轨迹追踪方法
CN108960892A (zh) * 2018-06-05 2018-12-07 北京市商汤科技开发有限公司 信息处理方法及装置、电子设备及存储介质
CN109001674A (zh) * 2018-05-31 2018-12-14 中国矿业大学 一种基于连续视频序列的WiFi指纹信息快速采集与定位方法
CN109063622A (zh) * 2018-07-26 2018-12-21 高新兴科技集团股份有限公司 一种定位的方法和设备
CN109102531A (zh) * 2018-08-21 2018-12-28 北京深瞐科技有限公司 一种目标轨迹追踪方法及装置
US10176379B1 (en) 2018-06-01 2019-01-08 Cisco Technology, Inc. Integrating computer vision and wireless data to provide identification
CN109489669A (zh) * 2018-11-28 2019-03-19 哈尔滨理工大学 一种基于wsn机器人室内跟踪系统
CN109660944A (zh) * 2019-02-12 2019-04-19 七彩安科智慧科技有限公司 一种网格WIFi探针定位抓拍的标识装置及定位方法
CN109819400A (zh) * 2019-03-20 2019-05-28 百度在线网络技术（北京）有限公司 用户位置的查找方法、装置、设备及介质
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN109978944A (zh) * 2017-12-27 2019-07-05 财团法人工业技术研究院 坐标系统制定方法、装置及数据结构产品
CN109996175A (zh) * 2019-05-15 2019-07-09 苏州矽典微智能科技有限公司 室内定位系统和方法
CN110349182A (zh) * 2018-04-07 2019-10-18 苏州竺星信息科技有限公司 一种基于视频及定位装置的人物追踪方法
CN110786005A (zh) * 2018-06-29 2020-02-11 深圳市大疆创新科技有限公司 延时摄影的控制方法及控制装置、成像系统及存储介质
CN110838235A (zh) * 2018-08-17 2020-02-25 浙江宇视科技有限公司 一种身份识别方法及装置
CN111447563A (zh) * 2020-03-05 2020-07-24 深圳熙卓科技有限公司 一种目标对象追踪方法及安防系统
CN111460075A (zh) * 2020-04-16 2020-07-28 万翼科技有限公司 行为轨迹的确定方法、装置、设备及可读存储介质
CN111582936A (zh) * 2020-05-07 2020-08-25 悠尼客(上海)企业管理有限公司 一种区分顾客批次的计算方法
CN111787485A (zh) * 2020-06-02 2020-10-16 Oppo广东移动通信有限公司 一种电子围栏创建方法及装置、存储介质
CN111783597A (zh) * 2020-06-24 2020-10-16 中国第一汽车股份有限公司 行车轨迹线的标定方法、装置、计算机设备和存储介质
CN111918023A (zh) * 2020-06-29 2020-11-10 北京大学 一种监控目标跟踪方法及装置
CN111968374A (zh) * 2020-08-27 2020-11-20 北方工业大学 一种基于射频识别和图像识别的智能小车定位系统及方法
CN112165610A (zh) * 2020-09-29 2021-01-01 北京法之运科技有限公司 视频定位方法、视频定位装置和存储装置
CN112184814A (zh) * 2020-09-24 2021-01-05 天津锋物科技有限公司 定位方法和定位系统
CN112203216A (zh) * 2020-09-15 2021-01-08 北京万集科技股份有限公司 定位信息获取方法、辅助驾驶方法以及车端传感器检测方法
CN112789667A (zh) * 2018-10-08 2021-05-11 昕诺飞控股有限公司 用于标识和跟踪目标的系统和方法
CN113115229A (zh) * 2021-02-24 2021-07-13 福建德正智能有限公司 一种基于北斗网格码的人员轨迹追踪方法及系统
CN113840228A (zh) * 2021-08-25 2021-12-24 北京航空航天大学杭州创新研究院 一种基于定位匹配的行人室内定位方法
CN113938622A (zh) * 2021-12-15 2022-01-14 慕思健康睡眠股份有限公司 一种基于异步录制视频的血压检测装置及存储介质
CN114520920A (zh) * 2022-04-15 2022-05-20 北京凯利时科技有限公司 多机位视频同步方法和系统以及计算机程序产品
CN115578756A (zh) * 2022-11-08 2023-01-06 杭州昊恒科技有限公司 基于精准定位和视频联动的人员精细化管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379307A (zh) * 2012-04-13 2013-10-30 何磊 基于无线定位的视频轨迹追踪监控与检索回放系统
CN105973228A (zh) * 2016-06-28 2016-09-28 江苏环亚医用科技集团股份有限公司 一种基于单摄像头、rssi的室内目标定位系统及方法
CN106952289A (zh) * 2017-03-03 2017-07-14 中国民航大学 结合深度视频分析的WiFi目标定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379307A (zh) * 2012-04-13 2013-10-30 何磊 基于无线定位的视频轨迹追踪监控与检索回放系统
CN105973228A (zh) * 2016-06-28 2016-09-28 江苏环亚医用科技集团股份有限公司 一种基于单摄像头、rssi的室内目标定位系统及方法
CN106952289A (zh) * 2017-03-03 2017-07-14 中国民航大学 结合深度视频分析的WiFi目标定位方法

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978944A (zh) * 2017-12-27 2019-07-05 财团法人工业技术研究院 坐标系统制定方法、装置及数据结构产品
CN109978944B (zh) * 2017-12-27 2021-06-18 财团法人工业技术研究院 坐标系统制定方法、装置及数据结构产品
CN108419253A (zh) * 2018-01-18 2018-08-17 北京三快在线科技有限公司 一种位置确定方法、装置、电子设备及可读存储介质
CN108650485A (zh) * 2018-03-21 2018-10-12 江苏同袍信息科技有限公司 基于图像检测和无线探针的人员监控方法及系统
CN108495259A (zh) * 2018-03-26 2018-09-04 上海工程技术大学 一种渐进式室内定位服务器及定位方法
CN108495090A (zh) * 2018-04-03 2018-09-04 京东方科技集团股份有限公司 一种用户设备的定位方法、装置及其系统
CN108495090B (zh) * 2018-04-03 2020-06-30 京东方科技集团股份有限公司 一种用户设备的定位方法、装置及其系统
WO2019192357A1 (zh) * 2018-04-03 2019-10-10 京东方科技集团股份有限公司 定位方法、装置及系统
CN110349182A (zh) * 2018-04-07 2019-10-18 苏州竺星信息科技有限公司 一种基于视频及定位装置的人物追踪方法
CN108694381A (zh) * 2018-05-11 2018-10-23 星络科技有限公司 对象定位方法和对象轨迹追踪方法
CN109001674A (zh) * 2018-05-31 2018-12-14 中国矿业大学 一种基于连续视频序列的WiFi指纹信息快速采集与定位方法
CN109001674B (zh) * 2018-05-31 2022-09-02 中国矿业大学 一种基于连续视频序列的WiFi指纹信息快速采集与定位方法
US10176379B1 (en) 2018-06-01 2019-01-08 Cisco Technology, Inc. Integrating computer vision and wireless data to provide identification
CN108960892B (zh) * 2018-06-05 2020-12-29 北京市商汤科技开发有限公司 信息处理方法及装置、电子设备及存储介质
CN108960892A (zh) * 2018-06-05 2018-12-07 北京市商汤科技开发有限公司 信息处理方法及装置、电子设备及存储介质
CN110786005A (zh) * 2018-06-29 2020-02-11 深圳市大疆创新科技有限公司 延时摄影的控制方法及控制装置、成像系统及存储介质
CN109063622A (zh) * 2018-07-26 2018-12-21 高新兴科技集团股份有限公司 一种定位的方法和设备
CN109063622B (zh) * 2018-07-26 2021-04-23 高新兴科技集团股份有限公司 一种定位的方法和设备
CN110838235A (zh) * 2018-08-17 2020-02-25 浙江宇视科技有限公司 一种身份识别方法及装置
CN109102531A (zh) * 2018-08-21 2018-12-28 北京深瞐科技有限公司 一种目标轨迹追踪方法及装置
CN112789667B (zh) * 2018-10-08 2023-02-28 昕诺飞控股有限公司 用于标识和跟踪目标的系统和方法
CN112789667A (zh) * 2018-10-08 2021-05-11 昕诺飞控股有限公司 用于标识和跟踪目标的系统和方法
CN109489669A (zh) * 2018-11-28 2019-03-19 哈尔滨理工大学 一种基于wsn机器人室内跟踪系统
CN109660944A (zh) * 2019-02-12 2019-04-19 七彩安科智慧科技有限公司 一种网格WIFi探针定位抓拍的标识装置及定位方法
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN109934127B (zh) * 2019-02-27 2020-12-15 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN109819400B (zh) * 2019-03-20 2021-05-04 百度在线网络技术（北京）有限公司 用户位置的查找方法、装置、设备及介质
CN109819400A (zh) * 2019-03-20 2019-05-28 百度在线网络技术（北京）有限公司 用户位置的查找方法、装置、设备及介质
CN109996175A (zh) * 2019-05-15 2019-07-09 苏州矽典微智能科技有限公司 室内定位系统和方法
CN111447563A (zh) * 2020-03-05 2020-07-24 深圳熙卓科技有限公司 一种目标对象追踪方法及安防系统
CN111460075B (zh) * 2020-04-16 2023-09-22 万翼科技有限公司 行为轨迹的确定方法、装置、设备及可读存储介质
CN111460075A (zh) * 2020-04-16 2020-07-28 万翼科技有限公司 行为轨迹的确定方法、装置、设备及可读存储介质
CN111582936A (zh) * 2020-05-07 2020-08-25 悠尼客(上海)企业管理有限公司 一种区分顾客批次的计算方法
CN111787485A (zh) * 2020-06-02 2020-10-16 Oppo广东移动通信有限公司 一种电子围栏创建方法及装置、存储介质
CN111783597A (zh) * 2020-06-24 2020-10-16 中国第一汽车股份有限公司 行车轨迹线的标定方法、装置、计算机设备和存储介质
CN111783597B (zh) * 2020-06-24 2022-12-13 中国第一汽车股份有限公司 行车轨迹线的标定方法、装置、计算机设备和存储介质
CN111918023B (zh) * 2020-06-29 2021-10-22 北京大学 一种监控目标跟踪方法及装置
CN111918023A (zh) * 2020-06-29 2020-11-10 北京大学 一种监控目标跟踪方法及装置
CN111968374A (zh) * 2020-08-27 2020-11-20 北方工业大学 一种基于射频识别和图像识别的智能小车定位系统及方法
CN112203216A (zh) * 2020-09-15 2021-01-08 北京万集科技股份有限公司 定位信息获取方法、辅助驾驶方法以及车端传感器检测方法
CN112203216B (zh) * 2020-09-15 2023-04-14 北京万集科技股份有限公司 定位信息获取方法、辅助驾驶方法以及车端传感器检测方法
CN112184814B (zh) * 2020-09-24 2022-09-02 天津锋物科技有限公司 定位方法和定位系统
CN112184814A (zh) * 2020-09-24 2021-01-05 天津锋物科技有限公司 定位方法和定位系统
CN112165610A (zh) * 2020-09-29 2021-01-01 北京法之运科技有限公司 视频定位方法、视频定位装置和存储装置
CN113115229A (zh) * 2021-02-24 2021-07-13 福建德正智能有限公司 一种基于北斗网格码的人员轨迹追踪方法及系统
CN113840228A (zh) * 2021-08-25 2021-12-24 北京航空航天大学杭州创新研究院 一种基于定位匹配的行人室内定位方法
CN113840228B (zh) * 2021-08-25 2024-04-02 北京航空航天大学杭州创新研究院 一种基于定位匹配的行人室内定位方法
CN113938622B (zh) * 2021-12-15 2022-02-15 慕思健康睡眠股份有限公司 一种基于异步录制视频的血压检测装置及存储介质
CN113938622A (zh) * 2021-12-15 2022-01-14 慕思健康睡眠股份有限公司 一种基于异步录制视频的血压检测装置及存储介质
CN114520920A (zh) * 2022-04-15 2022-05-20 北京凯利时科技有限公司 多机位视频同步方法和系统以及计算机程序产品
CN115578756A (zh) * 2022-11-08 2023-01-06 杭州昊恒科技有限公司 基于精准定位和视频联动的人员精细化管理方法及系统

Similar Documents

Publication Publication Date Title
CN107529221A (zh) 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法
CN105933650A (zh) 视频监控系统及方法
Wheeler et al. Face recognition at a distance system for surveillance applications
CN103049734A (zh) 一种在公共场所找人的方法及系统
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN109362038A (zh) 基于WiFi探针的客流量统计分析及服务的方法和系统
CN108710827B (zh) 一种社区微警务巡查和信息自动分析系统及方法
CN105357480A (zh) 公共场所无线上网安全管理系统及其运行方法
CN105872481B (zh) 结合视觉信号与无线信号的跟踪定位装置、方法与系统
CN111723633B (zh) 一种基于深度数据的人员行为模式分析方法和系统
CN106303971A (zh) 一种基于WiFi位置指纹的自动考勤装置
CN107318087A (zh) 一种对到达指定位置自动定位的方法及系统
CN107801203A (zh) 基于多数据融合的人口密度及流动性的估算方法及其系统
CN108550234A (zh) 双基站的标签匹配、围栏边界管理方法、装置及存储介质
CN109684494A (zh) 一种景区寻人方法、系统及云端服务器
CN114693746A (zh) 基于身份识别和跨摄像头目标追踪的智能监控系统及方法
WO2019019943A1 (zh) 跨区域目标轨迹跟踪的方法及数据处理方法、装置和系统
CN202306582U (zh) 一种在公共场所找人的系统
CN108540756A (zh) 基于视频与电子设备标识的识别方法、装置及系统
CN110378292A (zh) 三维空间定位系统和方法
CN100496122C (zh) 利用单个摄像机进行主从视频跟踪的方法
CN106600652A (zh) 一种基于人工神经网络的全景摄像头定位方法
CN103150552A (zh) 一种基于人头计数的驾驶培训管理方法
CN113343795A (zh) 一种目标关联视频追踪处理方法和装置
CN109495848B (zh) 一种用户空间定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171229

RJ01 Rejection of invention patent application after publication