CN107909025A - 基于视频和无线监控的人物识别及追踪方法和系统 - Google Patents

基于视频和无线监控的人物识别及追踪方法和系统 Download PDF

Info

Publication number
CN107909025A
CN107909025A CN201711116960.4A CN201711116960A CN107909025A CN 107909025 A CN107909025 A CN 107909025A CN 201711116960 A CN201711116960 A CN 201711116960A CN 107909025 A CN107909025 A CN 107909025A
Authority
CN
China
Prior art keywords
video
mobile terminal
wireless
signal
monitor object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711116960.4A
Other languages
English (en)
Other versions
CN107909025B (zh
Inventor
毛国强
欧阳毅刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dai Sheng Intelligent Technology Co Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711116960.4A priority Critical patent/CN107909025B/zh
Publication of CN107909025A publication Critical patent/CN107909025A/zh
Application granted granted Critical
Publication of CN107909025B publication Critical patent/CN107909025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及基于视频和无线监控的人物识别及追踪方法和系统，该方法包括制定监控区域地图；将监控区域内的视频监控设备的信息和无线基站设备的信息存储于同一数据库内；采集无线信号以及视频信号；对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内；对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内；匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据。本发明实现结合视频以及无线两种监控方式进行人物的监控、识别以及追踪，以较低成本实现监控城市环境内人物的准确、大范围监控识别及追踪。

Description

基于视频和无线监控的人物识别及追踪方法和系统
技术领域
本发明涉及人物识别追踪方法，更具体地说是指基于视频和无线监控的人物识别及追踪方法和系统。
背景技术
随着社会经济的繁荣发展，城市化水平的日益增长，引起一系列经济、社会变化，包括人口向城市聚集、城市规模扩大、大城市人口数量不断增大以及人口的流动性日益增强。由此引发了城市交通管理、社会治安管理、重点区域防范、网络犯罪日益突出等一系列城市管理问题。犯罪活动、恐怖活动和大型群体事件也对城市的公共安全造成日益严重的威胁。在很多情况下需要对重点人物，如犯罪份子、犯罪嫌疑人、恐怖分子和其他可能对公共安全造成潜在威胁的人员，进行监控及追踪以消除城市安全隐患、保护人民生命及财产安全及国家安全。
目前对于人物的监控的主要依赖手段是传统的视频监控，该类方法容易受到视频监控覆盖区域小、信号容易被建筑物遮挡或被监控人员有意遮挡、光照变化、数据传输及处理量大等因素影响，当摄像头捕捉到同一人物的不同侧面时，准确识别也难度较大，因而单纯依靠视频监控较难实现对重点人物的自动识别及大范围追踪，一旦有案件发生，调查取证时，费事费力，消耗量整个公安系统的大量人力物力资源。另一方面，随着移动通信领域的迅猛发展，移动终端如手机、平板电脑、个人数码助理、具有无线通讯功能的智能可穿戴设备或其他便于随身携带的具有无线通讯功能的设备的大量普及，在城市里面无线信号，如WI-FI、蜂窝网或蓝牙信号可以说是无处不在，而且无线基站设备能够较为容易、以较低成本实现城市广泛覆盖，但是单一的采用移动终端这种无线监控方式进行人物的监控时，存在受无线信号的随机波动、单个个体携带移动终端设备数量以及不同移动终端设备对无线信号的响应速度等因素影响，导致准确度较低。
因此，有必要设计一种基于视频和无线监控的人物识别及追踪方法，实现结合视频以及无线两种监控方式进行人物的监控、识别以及追踪，将无线设备覆盖面积大、需要运算和数据处理、传输量小、成本低和视频监控准确度高结合，以较低成本实现监控城市环境内人物的准确、大范围监控识别及追踪。
发明内容
本发明的目的在于克服现有技术的缺陷，提供基于视频和无线监控的人物识别及追踪方法和系统。
为实现上述目的，本发明采用以下技术方案：基于视频和无线监控的人物识别及追踪方法，所述方法包括：
制定监控区域地图；
将监控区域内的视频监控设备的信息和无线基站设备的信息存储于同一数据库内；
采集无线信号以及视频信号；
对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内；
对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内；
匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据。
其进一步技术方案为：采集无线信号以及视频信号的步骤，包括以下具体步骤：
扫描并获取在无线基站覆盖范围内的移动终端的信号，并记录移动终端信号的相关信息于数据库内，形成无线信号；
对在视频监控设备覆盖范围内的人物目标进行视频录像并记录时间，并将录像和时间存储于数据库内，形成视频信号。
其进一步技术方案为：对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内的步骤，包括以下具体步骤：
根据无线信号估计移动终端的所有位置；
按照时间顺序将移动终端的所有位置连接，形成移动终端的移动轨迹；
将无线信号内的监控时间、移动终端的所有位置以及移动轨迹存储于数据库内。
其进一步技术方案为：对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内的步骤，包括以下具体步骤：
对单个视频监控范围内的视频信号进行图像处理及数据分析，提取视频监控目标的人体识别特征以及位置；
按照时间顺序将视频监控目标的所有位置连接，形成视频监控目标的移动轨迹；
将视频监控目标的人体识别特征、位置以及移动轨迹存储于数据库内。
其进一步技术方案为：匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据的步骤，包括以下具体步骤：
匹配移动终端以及视频监控目标；
拟合移动终端的移动轨迹以及视频监控目标的移动轨迹，形成匹配关系；
根据匹配关系，将视频监控目标的位置以及对应的移动终端位置按照时间顺序排列；
获取视频监控目标的位置以及对应的移动终端位置融合的位置以及移动轨迹，存储于数据库内，形成识别及追踪数据。
其进一步技术方案为：拟合移动终端的移动轨迹以及视频监控目标的移动轨迹，形成匹配关系的步骤，具体是采用二分图和Kuhn-Munkres算法拟合移动终端的移动轨迹以及视频监控目标的移动轨迹。
本发明还提供了基于视频和无线监控的人物识别及追踪系统，包括地图制定单元、存储单元、信号采集单元、无线信号处理单元、视频信号处理单元以及融合单元；
所述地图制定单元，用于制定监控区域地图；
所述存储单元，用于将监控区域内的视频监控设备的信息和无线基站设备的信息存储于同一数据库内；
所述信号采集单元，用于采集无线信号以及视频信号；
所述无线信号处理单元，用于对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内；
所述视频信号处理单元，用于对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内；
所述融合单元，用于匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据。
其进一步技术方案为：所述信号采集单元包括无线信号采集模块以及视频信号采集模块；
所述无线信号采集模块，用于扫描并获取在无线基站覆盖范围内的移动终端的信号，并记录移动终端信号的相关信息于数据库内，形成无线信号；
所述视频信号采集模块，用于对在视频监控设备覆盖范围内的人物目标进行视频录像并记录时间，并将录像和时间存储于数据库内，形成视频信号。
其进一步技术方案为：所述无线信号处理单元包括位置估计模块、移动轨迹形成模块以及第一存储模块；
所述位置估计模块，用于根据无线信号估计移动终端的所有位置；
所述移动轨迹形成模块，用于按照时间顺序将移动终端的所有位置连接，形成移动终端的移动轨迹；
所述第一存储模块，用于将无线信号内的监控时间、移动终端的所有位置以及移动轨迹存储于数据库内。
其进一步技术方案为：所述视频信号处理单元包括分析模块、连接模块以及第二存储模块；
所述分析模块，用于对单个视频监控范围内的视频信号进行图像处理及数据分析，提取视频监控目标的人体识别特征以及位置；
所述连接模块，用于按照时间顺序将视频监控目标的所有位置连接，形成视频监控目标的移动轨迹；
所述第二存储模块，用于将视频监控目标的人体识别特征、位置以及移动轨迹存储于数据库内。
本发明与现有技术相比的有益效果是：本发明的基于视频和无线监控的人物识别及追踪方法，通过设定监控区域，采集监控区域内的无线信号以及视频信号，分别对无线信号和视频信号进行处理，获取移动终端的位置、移动轨迹以及视频监控目标的位置和移动轨迹，将移动终端以及视频监控目标进行匹配，并对相应的位置和移动轨迹获取任务识别及追踪的数据，实现结合视频以及无线两种监控方式进行人物的监控、识别以及追踪，将无线设备覆盖面积大、需要运算和数据处理、传输量小、成本低和视频监控准确度高结合，以较低成本实现监控城市环境内人物的准确、大范围监控识别及追踪。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
图1为本发明具体实施例提供的基于视频和无线监控的人物识别及追踪方法的流程图一；
图2为本发明具体实施例提供的基于视频和无线监控的人物识别及追踪方法的流程图二；
图3为本发明具体实施例提供的匹配移动终端以及视频监控目标的流程图；
图4为本发明具体实施例提供的基于视频和无线监控的人物识别及追踪系统的结构框图。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
如图1～4所示的具体实施例，本实施例提供的基于视频和无线监控的人物识别及追踪方法，可以运用在城市的人物监控过程中，实现结合视频以及无线两种监控方式进行人物的监控、识别以及追踪，将无线设备覆盖面积大、需要运算和数据处理、传输量小、成本低和视频监控准确度高结合，以较低成本实现监控城市环境内人物的准确、大范围监控识别及追踪。
如图1所示，本实施例提供了基于视频和无线监控的人物识别及追踪方法，该方法包括：
S1、制定监控区域地图；
S2、将监控区域内的视频监控设备的信息和无线基站设备的信息存储于同一数据库内；
S3、采集无线信号以及视频信号；
S4、对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内；
S5、对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内；
S6、匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据。
对于上述的S1步骤，具体是选定监控区域，再根据选定的区域制作监控区域矢量地图，根据具体场景和应用需求，该地图可以是二维或三维的；比如选定某个地铁站为监控区域，则根据该地铁站的位置、内部构造指定监控区域的矢量地图。
另外，对于上述的S2步骤，上述的视频监控设备的信息以及无线基站设备的信息主要包括设备标识信息、设备种类、生产厂商及厂商提供的相关参数如覆盖范围等、安装位置、设置参数以及视频监控设备和无线基站设备在监控区域地图中的位置信息。
举个例子，在城市区域内会部署有多个无线基站、多个视频监控，可针对城市的不同区域内的人物定位及追踪，以实现对多个人物的定位及追踪，无线基站设备可以是蜂窝网基站、蓝牙监测设备、WI-FI接入点中的任意一种或多种的结合，无线基站设备可以是专门用于监控，也可以在提供无线通讯服务的同时实现监控功能。如图2所示，无线基站设备可以和视频监控设备部署在同一位置，也可以和视频监控设备分别部署在不同位置。
更进一步地，在某些实施例中，对于上述的S3步骤，采集无线信号以及视频信号的步骤，包括以下具体步骤：
S31、扫描并获取在无线基站覆盖范围内的移动终端的信号，并记录移动终端信号的相关信息于数据库内，形成无线信号；
S32、对在视频监控设备覆盖范围内的人物目标进行视频录像并记录时间，并将录像和时间存储于数据库内，形成视频信号。
对于上述的S31步骤，当移动终端相应无线功能如蜂窝网、蓝牙、Wi-Fi开启时，相应的无线基站设备如蜂窝网基站、蓝牙监测设备、WI-FI接入点设备即能够扫描并监测到移动终端的无线信号(蜂窝网信号、蓝牙信号或Wi-Fi信号)，不需要移动终端主动接入到相关无线基站设备，无线基站设备也不一定为移动终端提供无线通讯服务，无线基站设备主要扫描获取移动终端的信号。对于上述提及的移动终端信号的相关信息，该相关信息包括移动终端信号被无线基站设备接收到的时间(即时间戳)、移动终端的无线标识信息、移动终端发射的信号到达无线基站设备的信号强度、接收无线基站设备的标识信息以及接收无线基站设备的位置。
另外，对于上述的S32步骤，视频监控设备对在其覆盖范围内的人物目标进行视频录像并记录时间，并将该信息存储到相应的数据库中。或者当视频监控设备具有本地信息存储和处理功能时，则进行本地存储即可。
更进一步地，在某些实施例中，上述的S4步骤，对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内的步骤，包括以下具体步骤：
S41、根据无线信号估计移动终端的所有位置；
S42、按照时间顺序将移动终端的所有位置连接，形成移动终端的移动轨迹；
S43、将无线信号内的监控时间、移动终端的所有位置以及移动轨迹存储于数据库内。
对于上述的S41步骤，具体地，当在一段时间内只有单个无线基站设备汇报某个移动终端的位置时，将该无线基站设备的位置当作该移动终端的位置估计，并利用该无线基站设备的覆盖范围作为该移动终端位置的置信区间；当在一段时间内有两个或多个无线基站设备汇报某个移动终端的位置时，将这几个无线基站设备覆盖范围重叠区域的几何中心作为该移动终端的位置估计，并将上述重叠区域作为该移动终端位置的置信区间。
优选地，当上述位置在移动终端不可能到达的地点时，如湖泊，可以对上述位置做一定修正，比如说选取可能位置区域内最靠近上述位置的地点作为位置估计。
优选地，在某些应用场景中或者某些地点可以通过对移动终端无线信号的自动或人工测量建立起无线信号环境数据库。该数据库包括在监控区域内各个位置的坐标信息、处于该位置的移动终端类别、处于该位置的移动终端发射的信号到达无线基站的信号强度以及该信号强度的统计特征(如均值、方差、统计分布等)、接收无线基站设备的标识信息、接收无线基站设备的位置等信息。利用该无线信号环境数据库，可以将当前移动终端的信号强度与环境数据库中的信号强度进行对比，通过一定的算法获取当前移动终端的位置信息及该位置估计的置信区间，该算法可以是基于机器学习的算法如最邻近算法、K加权邻近法，基于贝叶斯概率分析的算法如最大似然估计、最大后验估计等，或其中一种或多种的结合算法及其改进算法，另外，这些算法也可以利用信号强度在不同位置的相对变化值，而不是信号强度在某一个固定位置的绝对值，来进行位置估计。
优选地，在某些应用场景中或者某些地点可以通过对移动终端的无线信号自动或人工测量建立起无线信号随传播距离衰减的统计模型。利用该统计模型并结合贝叶斯概率分析的方法，如最大似然估计、最大后验估计等，得到移动终端更为准确的位置及置信区间的估计。
对于上述的S42步骤，优选地，利用卡尔曼滤波、粒子滤波的方法或其结合及改进算法，并结合其他辅助信息，例如监控区域内的道路、人行路的拓扑结构以及移动终端移动的动态模型，对移动终端的移动轨迹进行更为准确的估计。
更进一步地，在某些实施例中，上述的S5步骤，对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内的步骤，包括以下具体步骤：
S51、对单个视频监控范围内的视频信号进行图像处理及数据分析，提取视频监控目标的人体识别特征以及位置；
S52、按照时间顺序将视频监控目标的所有位置连接，形成视频监控目标的移动轨迹；
S53、将视频监控目标的人体识别特征、位置以及移动轨迹存储于数据库内。
对于视频信号的处理，考虑到视频信号数据量大的特点，对于视频信号也可以在视频监控设备进行一定的本地信号处理和存储，然后将处理后的信号传送到对应的数据库内，或者在需要时供用户调取视频监控的信息。当视频监控设备具有本地信息存储和处理功能时，由视频监控设备将视频信息进行处理，提取出监控目标人体识别特征，如脸部识别特征、身高、体型等信息，目标在视频监控范围内的位置信息，将该人体识别特征，位置、移动轨迹及记录时间、视频监控设备的位置及标识信息进行存储，并将相应的视频录像进行本地存储以备将来查询。
对于上述的S51步骤，具体地，用基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法、利用支持向量机进行识别的算法等或其结合或改进算法进行图像处理和数据分析，另外，对于位置的提取可以使用基于图像的定位技术包括使用背景差、帧差法或光流法等算法进行目标检测，并在获取目标(即单个人)的点、线、轮廓、区域等单视觉特征后，进行特征匹配和多视角特征信息协作融合，最后基于单目视觉成像模型或多目视觉立体成像模型估计视频监控目标的位置。
对于上述的S52步骤，优选地，利用卡尔曼滤波、粒子滤波的方法或其结合及改进算法，并结合其他辅助信息，例如监控区域内的道路、人行路的拓扑结构、视频监控目标移动的动态模型，对视频监控目标的移动轨迹进行更为准确的估计。
更进一步地，在某些实施例中，对于上述的S6步骤，匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据的步骤，包括以下具体步骤：
S61、匹配移动终端以及视频监控目标；
S62、拟合移动终端的移动轨迹以及视频监控目标的移动轨迹，形成匹配关系；
S63、根据匹配关系，将视频监控目标的位置以及对应的移动终端位置按照时间顺序排列；
S64、获取视频监控目标的位置以及对应的移动终端位置融合的位置以及移动轨迹，存储于数据库内，形成识别及追踪数据。
对视频监控获取的视频监控目标的人物识别特征和无线基站设备获取的移动终端标识建立起匹配关系，将视频监控目标和其携带的移动终端一一对应起来，并将基于视频的定位、追踪和基于无线的定位、追踪结合起来，以实现对监控对象的更大范围、更高精度的定位和追踪。
对于上述的S61步骤，具体地，先利用排除法排除一些不可能是匹配关系的视频监控目标和移动终端，如图3所示，例如在某个时间段内区域A内的视频监控设备识别出三个视频监控目标，相应的视频监控目标标识表示为MA、MB、MC。该标识可以由系统建立，和人体识别特征有唯一性的一一对应关系。在同一个时间段内覆盖该区域的无线基站识别出四个移动终端设备，其相应的移动终端标识表示为IDA、IDB、IDC、IDD，表示移动终端标识IDA、IDB、IDC、IDD可能会对应视频监控目标MA、MB、MC。在一个后面的(不一定相邻的)时间段中，区域C的视频监控设备监测到视频监控目标MA、MB，在同一时间段内覆盖区域B的无线基站监测到移动终端IDA、IDB，当区域C和区域B的距离较大时意味着移动终端IDA、IDB不可能对应视频监控目标MA、MB；利用排除法，只有移动终端IDC、IDD可能会对应视频监控目标MA、MB，在另外一个随后的(不一定相邻的)时间段中，区域E的视频监控设备监测到视频监控目标MA。在同一时间段内覆盖区域F的无线基站监测到移动终端IDC，当区域F和区域E的距离较大时意味着移动终端IDC不可能对应视频监控目标MA；进一步利用排除法，只有移动终端IDD可能会对应视频监控目标MA。在上述例子中，也可以用贝叶斯概率分析的方法，结合辅助信息例如视频监控目标的最大移动速度，移动终端被监测到的概率，视频监控目标准确识别的概率等，将上述例子中的可能性指标进一步量化，将配对可能性较低的视频监控目标和移动终端删除，从而得到配对可能性较高的视频监控目标和移动终端。另外，在上述例子中，通过排除法得到了移动终端IDD和视频监控目标MA匹配关系。在通常情况下，仅仅应用排除法不能够建立移动终端和视频监控目标的匹配关系，只能够删除一些不可能配对的移动终端和视频监控目标，这时候需要利用下一步的方法做更进一步的判断。
对于上述的S62步骤，拟合移动终端的移动轨迹以及视频监控目标的移动轨迹，形成匹配关系的步骤，具体是采用二分图和Kuhn-Munkres算法拟合移动终端的移动轨迹以及视频监控目标的移动轨迹。
移动终端的移动轨迹和视频监控目标的移动轨迹按照移动终端和视频监控目标被监测到的时间顺序排列，并利用二分图和Kuhn-Munkres算法将移动终端和视频监控目标(即移动终端持有人)采用最优的方法匹配起来。具体地，用G＝(V,E)来表示该二分图，其中V表示二分图的顶点集合，E表示二分图的边集合。二分图的顶点集合可以分为两个互不相交的子集合(VA，VB)，其中VA包含所有的待配对的视频监控目标，VB包含所有的待配对的移动终端。eij∈E为连接vi∈VA和vj∈VB的一条无向边，只有在一个属于VA的顶点和一个属于VB的顶点之间存在一条边，在都属于VA的两个顶点之间和在都属于VB的两个顶点之间则不存在边。用cij代表eij的权重或成本。最优匹配算法建立起VA的顶点和VB的顶点的一一对应关系，实现匹配，将相应成本之和最小化。建立上述二分图模型以后，最优匹配的求解可以用Kuhn-Munkres算法或其改进算法来解决，并将匹配结果存储到相应的数据库中。
其中cij的取值决定了匹配算法的准确度。cij可以设置为视频监控目标vi∈VA的通过视频监控估计的轨迹和移动终端vj∈VB的通过无线监控估计的移动终端移动轨迹的平均距离，也可以设置为上述两个轨迹的最大距离。
在移动终端和视频监控目标配对时，存在视频监控设备捕捉到的视频监控目标数目和无线基站捕捉到的移动终端数目不一定相等的问题，一方面，视频监控设备捕捉不到其覆盖范围以外的视频监控目标，同时也存在部分在视频覆盖范围内的视频监控目标无法被人体识别系统识别到，另一方面视频监控设备可能捕捉到未持有移动终端设备的视频监控目标，而且在大多数情况下，视频覆盖范围和无线基站覆盖范围不一样。因而可能存在某些视频监控目标没有与其对应的移动终端，或者某些移动终端没有与其对应的视频监控目标。而且某些视频监控目标可能携带两个或以上的移动终端。针对某些视频监控目标没有与其对应的移动终端，或者某些移动终端没有与其对应的视频监控目标，可以用在相应的顶点集合VA、VB增加虚拟顶点的办法解决。虚拟顶点到其他顶点的边的权重或成本可以设置成一个比较大的数值，然后用Kuhn-Munkres算法或其改进算法来解决。对应一个视频监控目标可能携带两个或以上的移动终端，可以设置一个整数N，其数值可以经验设置为2、3或4，代表通常情况下一个视频监控目标可能最多携带N个移动终端，然后对Kuhn-Munkres算法或其改进算法做相应的改进允许最多N个移动终端和同一个视频监控目标匹配。
当上述匹配关系建立起来以后，在系统运行时可以持续添加最新识别出的匹配信息，利用最新获得的测量信息对已经识别出的匹配关系进行更新以提高估计准确性，并对陈旧的匹配信息进行删除。对陈旧的匹配信息进行删除通常会在两种情况下发生：一是匹配信息存储时间超过一定的时间门限值，而且在相应的时间段中没有监测到相应的视频监控目标或与其匹配的移动终端设备的出现；二是多次发生以下情况：视频监控检测到视频监控目标的出现，但在相应的时间和空间段无线设备没有检测到与其对应的移动终端设备。例如，监控目标更换了移动终端设备。
作为优选，在某些应用场景中或者某些地点可以通过对移动终端的无线信号测量建立起无线信号环境数据库，或者在某些应用场景中或者某些地点可以通过对移动终端的无线信号测量建立起无线信号随传播距离衰减的统计模型。在这些情况下可以用贝叶斯概率分析建立视频监控目标vi∈VA和移动终端vj∈VB存在匹配关系的概率，相应地将cij替换为该概率，并对Kuhn-Munkres算法或其改进算法做相应的改进找出最大化联合概率的匹配关系。在这种情况下，上述虚拟顶点到其他顶点的边的权重或收益可以设置成零。这样可以让本系统在运行中系统性能，即准确定位及追踪的能力，随运行时间的增长而逐步提高。
优选地，在已经建立起匹配关系后，可以利用视频监测得到的视频监控目标位置和与其匹配的移动终端的无线信号测量建立无线信号环境数据库或无线信号随传播距离衰减的统计模型。这样可以让本系统在运行中系统性能，即准确定位及追踪的能力，随运行时间的增长而逐步提高。
另外，对于上述的S63步骤以及上述的S64步骤，在已经建立起匹配关系以后，可以将视频监控目标通过视频监测得到的位置估计值和与其匹配的移动终端通过无线监控得到的位置估计值按照时间顺序排列，利用卡尔曼滤波、粒子滤波的方法或其结合及改进算法并考虑到视频监测和无线监测不同的位置估计精度，并结合其他辅助信息，例如监控区域内的道路、人行路的拓扑结构、人物移动的动态模型，得到融合无线和视频信号的监测对象的更为准确的位置估计及移动轨迹估计并存储到相应的数据库中，以较低成本实现监控城市环境内人物的准确、大范围监控及追踪。
本实施例中，监控区域可以为任意区域，例如城市，城市中的某个区域或者大型公共场所。
在本实施例中，无线信号和视频信号并通过有线或无线的方式传送至数据库进行存储，该无线方式可以为Wi-Fi、蓝牙、蜂窝网中的任意一种或几种，无线基站设备可以是蜂窝网基站、蓝牙监测设备、WI-FI接入点中的任意一种或几种。
在本实施例中，蜂窝网连接方式可以为GSM(Global System for MobileCommunications,全球移动通讯系统)、WCDMA(Wideband Code Division MultipleAccess，宽带码多分址)、CDMA2000(Code Division Multiple Access码多分址)、TDS-CDMA(Time Division Synchronous Code Division Multiple Access,时分同步码多分址)、LTE(Long Term Evolution，长期进化技术)中的任意一种。
在本实施例中，移动设备的无线标识信息可以为MAC(medium access control)、IMEI(International Mobile Equipment Identity，移动设备国际标识码)、MEID(MobileEquipment Identifier，移动设备标识码)、UDID(Unique Device Identifier，唯一设备标识符)、ISMI(International Mobile Subscriber Identity，国际移动用户识别码)、ICCID(Integrated Circuit Card Identity，集成电路卡识别码)中的任意一种或几种。另外，当无线连接方式为蓝牙时，可以额外记录移动终端设备类别(class of ID)以区分移动终端是移动终端可以为手机、平板电脑、或其他设备。通过以上无线标识信息也可以区分移动终端生产厂商，如苹果、华为、Samsung等。
在本实施例中，移动终端可以为手机、平板电脑、PDA(Personal DigitalAssistant，个人数码助理)、具有无线通讯功能的智能可穿戴设备、其他便于随时携带的具有无线通讯功能的设备中的任意一种。
于其他实施例中，可以根据监测区域的实际状况及现有设施进行调整与组合。例如在地铁站、机场等场所通常已经有大量的视频监控设备，在这种情况下可以仅需增加部署一些无线基站设备并和现有的视频监控设备结合起来实现监控。在另外一些场所既有较多的视频监控设备也有广泛的无线覆盖，在这种情况下，可以利用现有监控设施，结合无线基站设备实现基于视频和无线监控的人物识别及追踪。
上述的基于视频和无线监控的人物识别及追踪方法，通过设定监控区域，采集监控区域内的无线信号以及视频信号，分别对无线信号和视频信号进行处理，获取移动终端的位置、移动轨迹以及视频监控目标的位置和移动轨迹，将移动终端以及视频监控目标进行匹配，并对相应的位置和移动轨迹获取任务识别及追踪的数据，实现结合视频以及无线两种监控方式进行人物的监控、识别以及追踪，将无线设备覆盖面积大、需要运算和数据处理、传输量小、成本低和视频监控准确度高结合，以较低成本实现监控城市环境内人物的准确、大范围监控识别及追踪。
如图4所示，本实施例还提供了基于视频和无线监控的人物识别及追踪系统，其包括地图制定单元1、存储单元2、信号采集单元3、无线信号处理单元4、视频信号处理单元5以及融合单元6。
地图制定单元1，用于制定监控区域地图。具体是选定监控区域，再根据选定的区域制作监控区域矢量地图，根据具体场景和应用需求，该地图可以是二维或三维的；比如选定某个地铁站为监控区域，则根据该地铁站的位置、内部构造指定监控区域的矢量地图。
存储单元2，用于将监控区域内的视频监控设备的信息和无线基站设备的信息存储于同一数据库内。上述的视频监控设备的信息以及无线基站设备的信息主要包括设备标识信息、设备种类、生产厂商及厂商提供的相关参数如覆盖范围等、安装位置、设置参数以及视频监控设备和无线基站设备在监控区域地图中的位置信息。
信号采集单元3，用于采集无线信号以及视频信号。
无线信号处理单元4，用于对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内。
视频信号处理单元5，用于对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内。
融合单元6，用于匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据。
更进一步地，在某些实施例中，信号采集单元3包括无线信号采集模块以及视频信号采集模块。
无线信号采集模块，用于扫描并获取在无线基站覆盖范围内的移动终端的信号，并记录移动终端信号的相关信息于数据库内，形成无线信号。该相关信息包括移动终端信号被无线基站设备接收到的时间(即时间戳)、移动终端的无线标识信息、移动终端发射的信号到达无线基站设备的信号强度、接收无线基站设备的标识信息以及接收无线基站设备的位置。
视频信号采集模块，用于对在视频监控设备覆盖范围内的人物目标进行视频录像并记录时间，并将录像和时间存储于数据库内，形成视频信号。视频监控设备对在其覆盖范围内的人物目标进行视频录像并记录时间，并将该信息存储到相应的数据库中。或者当视频监控设备具有本地信息存储和处理功能时，则进行本地存储即可。
更进一步地，在某些实施例中，无线信号处理单元4包括位置估计模块、移动轨迹形成模块以及第一存储模块。
位置估计模块，用于根据无线信号估计移动终端的所有位置。
移动轨迹形成模块，用于按照时间顺序将移动终端的所有位置连接，形成移动终端的移动轨迹。
第一存储模块，用于将无线信号内的监控时间、移动终端的所有位置以及移动轨迹存储于数据库内。
对于上述的位置估计模块而言，当在一段时间内只有单个无线基站设备汇报某个移动终端的位置时，将该无线基站设备的位置当作该移动终端的位置估计，并利用该无线基站设备的覆盖范围作为该移动终端位置的置信区间；当在一段时间内有两个或多个无线基站设备汇报某个移动终端的位置时，将这几个无线基站设备覆盖范围重叠区域的几何中心作为该移动终端的位置估计，并将上述重叠区域作为该移动终端位置的置信区间。
优选地，当上述位置在移动终端不可能到达的地点时，如湖泊，可以对上述位置做一定修正，比如说选取可能位置区域内最靠近上述位置的地点作为位置估计。
优选地，在某些应用场景中或者某些地点可以通过对移动终端无线信号的自动或人工测量建立起无线信号环境数据库。该数据库包括在监控区域内各个位置的坐标信息、处于该位置的移动终端类别、处于该位置的移动终端发射的信号到达无线基站的信号强度以及该信号强度的统计特征(如均值、方差、统计分布等)、接收无线基站设备的标识信息、接收无线基站设备的位置等信息。利用该无线信号环境数据库，可以将当前移动终端的信号强度与环境数据库中的信号强度进行对比，通过一定的算法获取当前移动终端的位置信息及该位置估计的置信区间，该算法可以是基于机器学习的算法如最邻近算法、K加权邻近法，基于贝叶斯概率分析的算法如最大似然估计、最大后验估计等，或其中一种或多种的结合算法及其改进算法，另外，这些算法也可以利用信号强度在不同位置的相对变化值，而不是信号强度在某一个固定位置的绝对值，来进行位置估计。
优选地，在某些应用场景中或者某些地点可以通过对移动终端的无线信号自动或人工测量建立起无线信号随传播距离衰减的统计模型。利用该统计模型并结合贝叶斯概率分析的方法，如最大似然估计、最大后验估计等，得到移动终端更为准确的位置及置信区间的估计。
对于移动轨迹形成模块，优选地，利用卡尔曼滤波、粒子滤波的方法或其结合及改进算法，并结合其他辅助信息，例如监控区域内的道路、人行路的拓扑结构以及移动终端移动的动态模型，对移动终端的移动轨迹进行更为准确的估计。
更进一步地，在某些实施例中，上述的视频信号处理单元5包括分析模块、连接模块以及第二存储模块。
分析模块，用于对单个视频监控范围内的视频信号进行图像处理及数据分析，提取视频监控目标的人体识别特征以及位置。
连接模块，用于按照时间顺序将视频监控目标的所有位置连接，形成视频监控目标的移动轨迹。
第二存储模块，用于将视频监控目标的人体识别特征、位置以及移动轨迹存储于数据库内。
对于视频信号的处理，考虑到视频信号数据量大的特点，对于视频信号也可以在视频监控设备进行一定的本地信号处理和存储，然后将处理后的信号传送到对应的数据库内，或者在需要时供用户调取视频监控的信息。当视频监控设备具有本地信息存储和处理功能时，由视频监控设备将视频信息进行处理，提取出监控目标人体识别特征，如脸部识别特征、身高、体型等信息，目标在视频监控范围内的位置信息，将该人体识别特征，位置、移动轨迹及记录时间、视频监控设备的位置及标识信息进行存储，并将相应的视频录像进行本地存储以备将来查询。
对于分析模块而言，具体地，用基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法、利用支持向量机进行识别的算法等或其结合或改进算法进行图像处理和数据分析，另外，对于位置的提取可以使用基于图像的定位技术包括使用背景差、帧差法或光流法等算法进行目标检测，并在获取目标(即单个人)的点、线、轮廓、区域等单视觉特征后，进行特征匹配和多视角特征信息协作融合，最后基于单目视觉成像模型或多目视觉立体成像模型估计视频监控目标的位置。
对于连接模块优选地，利用卡尔曼滤波、粒子滤波的方法或其结合及改进算法，并结合其他辅助信息，例如监控区域内的道路、人行路的拓扑结构、视频监控目标移动的动态模型，对视频监控目标的移动轨迹进行更为准确的估计。
更进一步地，在某些实施例中，上述的融合单元6包括匹配模块、拟合模块、排序模块以及数据形成模块。
匹配模块，用于匹配移动终端以及视频监控目标。
拟合模块，用于拟合移动终端的移动轨迹以及视频监控目标的移动轨迹，形成匹配关系。
排序模块，用于根据匹配关系，将视频监控目标的位置以及对应的移动终端位置按照时间顺序排列。
数据形成模块，用于获取视频监控目标的位置以及对应的移动终端位置融合的位置以及移动轨迹，存储于数据库内，形成识别及追踪数据。
对视频监控获取的视频监控目标的人物识别特征和无线基站设备获取的移动终端标识建立起匹配关系，将视频监控目标和其携带的移动终端一一对应起来，并将基于视频的定位、追踪和基于无线的定位、追踪结合起来，以实现对监控对象的更大范围、更高精度的定位和追踪。
对于上述的匹配模块而言，具体地，先利用排除法排除一些不可能是匹配关系的视频监控目标和移动终端，如图3所示，例如在某个时间段内区域A内的视频监控设备识别出三个视频监控目标，相应的视频监控目标标识表示为MA、MB、MC。该标识可以由系统建立，和人体识别特征有唯一性的一一对应关系。在同一个时间段内覆盖该区域的无线基站识别出四个移动终端设备，其相应的移动终端标识表示为IDA、IDB、IDC、IDD，表示移动终端标识IDA、IDB、IDC、IDD可能会对应视频监控目标MA、MB、MC。在一个后面的(不一定相邻的)时间段中，区域C的视频监控设备监测到视频监控目标MA、MB，在同一时间段内覆盖区域B的无线基站监测到移动终端IDA、IDB，当区域C和区域B的距离较大时意味着移动终端IDA、IDB不可能对应视频监控目标MA、MB；利用排除法，只有移动终端IDC、IDD可能会对应视频监控目标MA、MB，在另外一个随后的(不一定相邻的)时间段中，区域E的视频监控设备监测到视频监控目标MA。在同一时间段内覆盖区域F的无线基站监测到移动终端IDC，当区域F和区域E的距离较大时意味着移动终端IDC不可能对应视频监控目标MA；进一步利用排除法，只有移动终端IDD可能会对应视频监控目标MA。在上述例子中，也可以用贝叶斯概率分析的方法，结合辅助信息例如视频监控目标的最大移动速度，移动终端被监测到的概率，视频监控目标准确识别的概率等，将上述例子中的可能性指标进一步量化，将配对可能性较低的视频监控目标和移动终端删除，从而得到配对可能性较高的视频监控目标和移动终端。另外，在上述例子中，通过排除法得到了移动终端IDD和视频监控目标MA匹配关系。在通常情况下，仅仅应用排除法不能够建立移动终端和视频监控目标的匹配关系，只能够删除一些不可能配对的移动终端和视频监控目标，这时候需要利用下一步的方法做更进一步的判断。
上述的拟合模块具体是采用二分图和Kuhn-Munkres算法拟合移动终端的移动轨迹以及视频监控目标的移动轨迹。
移动终端的移动轨迹和视频监控目标的移动轨迹按照移动终端和视频监控目标被监测到的时间顺序排列，并利用二分图和Kuhn-Munkres算法将移动终端和视频监控目标(即移动终端持有人)采用最优的方法匹配起来。具体地，用G＝(V,E)来表示该二分图，其中V表示二分图的顶点集合，E表示二分图的边集合。二分图的顶点集合可以分为两个互不相交的子集合(VA，VB)，其中VA包含所有的待配对的视频监控目标，VB包含所有的待配对的移动终端。eij∈E为连接vi∈VA和vj∈VB的一条无向边，只有在一个属于VA的顶点和一个属于VB的顶点之间存在一条边，在都属于VA的两个顶点之间和在都属于VB的两个顶点之间则不存在边。用cij代表eij的权重或成本。最优匹配算法建立起VA的顶点和VB的顶点的一一对应关系，实现匹配，将相应成本之和最小化。建立上述二分图模型以后，最优匹配的求解可以用Kuhn-Munkres算法或其改进算法来解决，并将匹配结果存储到相应的数据库中。
其中cij的取值决定了匹配算法的准确度。cij可以设置为视频监控目标vi∈VA的通过视频监控估计的轨迹和移动终端vj∈VB的通过无线监控估计的移动终端移动轨迹的平均距离，也可以设置为上述两个轨迹的最大距离。
在移动终端和视频监控目标配对时，存在视频监控设备捕捉到的视频监控目标数目和无线基站捕捉到的移动终端数目不一定相等的问题，一方面，视频监控设备捕捉不到其覆盖范围以外的视频监控目标，同时也存在部分在视频覆盖范围内的视频监控目标无法被人体识别系统识别到，另一方面视频监控设备可能捕捉到未持有移动终端设备的视频监控目标，而且在大多数情况下，视频覆盖范围和无线基站覆盖范围不一样。因而可能存在某些视频监控目标没有与其对应的移动终端，或者某些移动终端没有与其对应的视频监控目标。而且某些视频监控目标可能携带两个或以上的移动终端。针对某些视频监控目标没有与其对应的移动终端，或者某些移动终端没有与其对应的视频监控目标，可以用在相应的顶点集合VA、VB增加虚拟顶点的办法解决。虚拟顶点到其他顶点的边的权重或成本可以设置成一个比较大的数值，然后用Kuhn-Munkres算法或其改进算法来解决。对应一个视频监控目标可能携带两个或以上的移动终端，可以设置一个整数N，其数值可以经验设置为2、3或4，代表通常情况下一个视频监控目标可能最多携带N个移动终端，然后对Kuhn-Munkres算法或其改进算法做相应的改进允许最多N个移动终端和同一个视频监控目标匹配。
当上述匹配关系建立起来以后，在系统运行时可以持续添加最新识别出的匹配信息，利用最新获得的测量信息对已经识别出的匹配关系进行更新以提高估计准确性，并对陈旧的匹配信息进行删除。对陈旧的匹配信息进行删除通常会在两种情况下发生：一是匹配信息存储时间超过一定的时间门限值，而且在相应的时间段中没有监测到相应的视频监控目标或与其匹配的移动终端设备的出现；二是多次发生以下情况：视频监控检测到视频监控目标的出现，但在相应的时间和空间段无线设备没有检测到与其对应的移动终端设备。例如，监控目标更换了移动终端设备。
作为优选，在某些应用场景中或者某些地点可以通过对移动终端的无线信号测量建立起无线信号环境数据库，或者在某些应用场景中或者某些地点可以通过对移动终端的无线信号测量建立起无线信号随传播距离衰减的统计模型。在这些情况下可以用贝叶斯概率分析建立视频监控目标vi∈VA和移动终端vj∈VB存在匹配关系的概率，相应地将cij替换为该概率，并对Kuhn-Munkres算法或其改进算法做相应的改进找出最大化联合概率的匹配关系。在这种情况下，上述虚拟顶点到其他顶点的边的权重或收益可以设置成零。这样可以让本系统在运行中系统性能，即准确定位及追踪的能力，随运行时间的增长而逐步提高。
优选地，在已经建立起匹配关系后，可以利用视频监测得到的视频监控目标位置和与其匹配的移动终端的无线信号测量建立无线信号环境数据库或无线信号随传播距离衰减的统计模型。这样可以让本系统在运行中系统性能，即准确定位及追踪的能力，随运行时间的增长而逐步提高。
对于上述的排序模块以及数据形成模块，在已经建立起匹配关系以后，可以将视频监控目标通过视频监测得到的位置估计值和与其匹配的移动终端通过无线监控得到的位置估计值按照时间顺序排列，利用卡尔曼滤波、粒子滤波的方法或其结合及改进算法并考虑到视频监测和无线监测不同的位置估计精度，并结合其他辅助信息，例如监控区域内的道路、人行路的拓扑结构、人物移动的动态模型，得到融合无线和视频信号的监测对象的更为准确的位置估计及移动轨迹估计并存储到相应的数据库中，以较低成本实现监控城市环境内人物的准确、大范围监控及追踪。
上述的基于视频和无线监控的人物识别及追踪系统，通过设定监控区域，采集监控区域内的无线信号以及视频信号，分别对无线信号和视频信号进行处理，获取移动终端的位置、移动轨迹以及视频监控目标的位置和移动轨迹，将移动终端以及视频监控目标进行匹配，并对相应的位置和移动轨迹获取任务识别及追踪的数据，实现结合视频以及无线两种监控方式进行人物的监控、识别以及追踪，将无线设备覆盖面积大、需要运算和数据处理、传输量小、成本低和视频监控准确度高结合，以较低成本实现监控城市环境内人物的准确、大范围监控识别及追踪。
上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (10)

1.基于视频和无线监控的人物识别及追踪方法，其特征在于，所述方法包括：
制定监控区域地图；
将监控区域内的视频监控设备的信息和无线基站设备的信息存储于同一数据库内；
采集无线信号以及视频信号；
对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内；
对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内；
匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据。
2.根据权利要求1所述的基于视频和无线监控的人物识别及追踪方法，其特征在于，采集无线信号以及视频信号的步骤，包括以下具体步骤：
扫描并获取在无线基站覆盖范围内的移动终端的信号，并记录移动终端信号的相关信息于数据库内，形成无线信号；
对在视频监控设备覆盖范围内的人物目标进行视频录像并记录时间，并将录像和时间存储于数据库内，形成视频信号。
3.根据权利要求2所述的基于视频和无线监控的人物识别及追踪方法，其特征在于，对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内的步骤，包括以下具体步骤：
根据无线信号估计移动终端的所有位置；
按照时间顺序将移动终端的所有位置连接，形成移动终端的移动轨迹；
将无线信号内的监控时间、移动终端的所有位置以及移动轨迹存储于数据库内。
4.根据权利要求3所述的基于视频和无线监控的人物识别及追踪方法，其特征在于，对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内的步骤，包括以下具体步骤：
对单个视频监控范围内的视频信号进行图像处理及数据分析，提取视频监控目标的人体识别特征以及位置；
按照时间顺序将视频监控目标的所有位置连接，形成视频监控目标的移动轨迹；
将视频监控目标的人体识别特征、位置以及移动轨迹存储于数据库内。
5.根据权利要求1至4任一项所述的基于视频和无线监控的人物识别及追踪方法，其特征在于，匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据的步骤，包括以下具体步骤：
匹配移动终端以及视频监控目标；
拟合移动终端的移动轨迹以及视频监控目标的移动轨迹，形成匹配关系；
根据匹配关系，将视频监控目标的位置以及对应的移动终端位置按照时间顺序排列；
获取视频监控目标的位置以及对应的移动终端位置融合的位置以及移动轨迹，存储于数据库内，形成识别及追踪数据。
6.根据权利要求5所述的基于视频和无线监控的人物识别及追踪方法，其特征在于，拟合移动终端的移动轨迹以及视频监控目标的移动轨迹，形成匹配关系的步骤，具体是采用二分图和Kuhn-Munkres算法拟合移动终端的移动轨迹以及视频监控目标的移动轨迹。
7.基于视频和无线监控的人物识别及追踪系统，其特征在于，包括地图制定单元、存储单元、信号采集单元、无线信号处理单元、视频信号处理单元以及融合单元；
所述地图制定单元，用于制定监控区域地图；
所述存储单元，用于将监控区域内的视频监控设备的信息和无线基站设备的信息存储于同一数据库内；
所述信号采集单元，用于采集无线信号以及视频信号；
所述无线信号处理单元，用于对无线信号进行处理、定位及追踪，获取移动终端的相关数据，并存储于数据库内；
所述视频信号处理单元，用于对视频信号处理、定位及追踪，获取视频监控目标的相关数据，并存储于数据库内；
所述融合单元，用于匹配移动终端以及视频监控目标，并融合移动终端的相关数据以及视频监控目标的相关数据，形成识别及追踪数据。
8.根据权利要求7所述的基于视频和无线监控的人物识别及追踪系统，其特征在于，所述信号采集单元包括无线信号采集模块以及视频信号采集模块；
所述无线信号采集模块，用于扫描并获取在无线基站覆盖范围内的移动终端的信号，并记录移动终端信号的相关信息于数据库内，形成无线信号；
所述视频信号采集模块，用于对在视频监控设备覆盖范围内的人物目标进行视频录像并记录时间，并将录像和时间存储于数据库内，形成视频信号。
9.根据权利要求8所述的基于视频和无线监控的人物识别及追踪系统，其特征在于，所述无线信号处理单元包括位置估计模块、移动轨迹形成模块以及第一存储模块；
所述位置估计模块，用于根据无线信号估计移动终端的所有位置；
所述移动轨迹形成模块，用于按照时间顺序将移动终端的所有位置连接，形成移动终端的移动轨迹；
所述第一存储模块，用于将无线信号内的监控时间、移动终端的所有位置以及移动轨迹存储于数据库内。
10.根据权利要求9所述的基于视频和无线监控的人物识别及追踪系统，其特征在于，所述视频信号处理单元包括分析模块、连接模块以及第二存储模块；
所述分析模块，用于对单个视频监控范围内的视频信号进行图像处理及数据分析，提取视频监控目标的人体识别特征以及位置；
所述连接模块，用于按照时间顺序将视频监控目标的所有位置连接，形成视频监控目标的移动轨迹；
所述第二存储模块，用于将视频监控目标的人体识别特征、位置以及移动轨迹存储于数据库内。
CN201711116960.4A 2017-11-13 2017-11-13 基于视频和无线监控的人物识别及追踪方法和系统 Active CN107909025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711116960.4A CN107909025B (zh) 2017-11-13 2017-11-13 基于视频和无线监控的人物识别及追踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711116960.4A CN107909025B (zh) 2017-11-13 2017-11-13 基于视频和无线监控的人物识别及追踪方法和系统

Publications (2)

Publication Number Publication Date
CN107909025A true CN107909025A (zh) 2018-04-13
CN107909025B CN107909025B (zh) 2021-12-24

Family

ID=61845259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711116960.4A Active CN107909025B (zh) 2017-11-13 2017-11-13 基于视频和无线监控的人物识别及追踪方法和系统

Country Status (1)

Country Link
CN (1) CN107909025B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614896A (zh) * 2018-05-10 2018-10-02 济南浪潮高新科技投资发展有限公司 基于深度学习的银行大厅客户动线轨迹刻画系统及方法
CN109345748A (zh) * 2018-10-31 2019-02-15 北京锐安科技有限公司 用户设备关联方法、装置、服务端、检测设备及介质
CN109413385A (zh) * 2018-10-23 2019-03-01 深圳如果技术有限公司 一种视频定位监控方法、系统及云服务器
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110012266A (zh) * 2019-03-14 2019-07-12 中电海康集团有限公司 一种规范派出所执法管理的系统和方法
CN111090718A (zh) * 2020-03-19 2020-05-01 中科星图(深圳)数字技术产业研发中心有限公司 一种基于轨迹追踪的人像识别方法
CN111145212A (zh) * 2019-12-03 2020-05-12 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
CN111726564A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 目标物体的监控方法和装置
WO2020224116A1 (zh) * 2019-05-07 2020-11-12 平安科技（深圳）有限公司 形成移动轨迹的方法、装置、计算机设备及存储介质
CN112532934A (zh) * 2020-11-23 2021-03-19 国网山东省电力公司利津县供电公司 一种多维协同监控系统
CN113362005A (zh) * 2021-06-21 2021-09-07 山东产研信息与人工智能融合研究院有限公司 一种基于环境感知的无人仓库货品智能盘点方法及系统
CN113362090A (zh) * 2020-03-03 2021-09-07 北京沃东天骏信息技术有限公司 一种用户行为数据处理方法和装置
CN113435352A (zh) * 2021-06-29 2021-09-24 深圳市维度数据科技股份有限公司 文明城市评分方法、装置、电子设备和存储介质
CN114443885A (zh) * 2021-12-31 2022-05-06 光控特斯联(上海)信息科技有限公司 一种gps轨迹和道路的匹配方法、装置、存储介质及终端
CN114979959A (zh) * 2022-06-17 2022-08-30 广州爱浦路网络技术有限公司 区域安全监控方法、计算机装置及存储介质
CN115119195A (zh) * 2022-06-07 2022-09-27 三星电子（中国）研发中心 获取设备mac地址的方法和装置
CN116546171A (zh) * 2023-06-30 2023-08-04 傲拓科技股份有限公司 一种监控设备数据采集方法
GB2626527A (en) * 2023-01-17 2024-07-31 Antares Defence Systems Ltd Monitoring system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1943628B1 (en) * 2005-09-02 2011-03-02 Sensormatic Electronics, LLC Object tracking and alerts
CN103200390A (zh) * 2013-03-25 2013-07-10 沈坚 监控室内物体移动轨迹的方法
US20150030037A1 (en) * 2012-03-09 2015-01-29 Lg Electronics Inc. Method of carrying out synchronization tracking and a wireless device using the same
CN104968048A (zh) * 2015-06-29 2015-10-07 华南理工大学 结合移动网络记录和视频监控数据的目标人物追踪方法
CN105679019A (zh) * 2016-01-28 2016-06-15 广州杰赛科技股份有限公司 一种道路交通状态识别方法及装置
CN105847756A (zh) * 2016-05-13 2016-08-10 深圳先进技术研究院 基于位置点状拟合的视频识别追踪定位系统
CN106027959A (zh) * 2016-05-13 2016-10-12 深圳先进技术研究院 基于位置线状拟合的视频识别追踪定位系统
CN106448160A (zh) * 2016-09-22 2017-02-22 江苏理工学院 结合车辆行驶轨迹和监控视频数据的目标人物追踪方法
CN106878666A (zh) * 2015-12-10 2017-06-20 杭州海康威视数字技术股份有限公司 基于监控摄像机来查找目标对象的方法、装置和系统
CN107132526A (zh) * 2017-04-26 2017-09-05 上海斐讯数据通信技术有限公司 一种室内定位方法及定位系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1943628B1 (en) * 2005-09-02 2011-03-02 Sensormatic Electronics, LLC Object tracking and alerts
US20150030037A1 (en) * 2012-03-09 2015-01-29 Lg Electronics Inc. Method of carrying out synchronization tracking and a wireless device using the same
CN103200390A (zh) * 2013-03-25 2013-07-10 沈坚 监控室内物体移动轨迹的方法
CN104968048A (zh) * 2015-06-29 2015-10-07 华南理工大学 结合移动网络记录和视频监控数据的目标人物追踪方法
CN106878666A (zh) * 2015-12-10 2017-06-20 杭州海康威视数字技术股份有限公司 基于监控摄像机来查找目标对象的方法、装置和系统
CN105679019A (zh) * 2016-01-28 2016-06-15 广州杰赛科技股份有限公司 一种道路交通状态识别方法及装置
CN105847756A (zh) * 2016-05-13 2016-08-10 深圳先进技术研究院 基于位置点状拟合的视频识别追踪定位系统
CN106027959A (zh) * 2016-05-13 2016-10-12 深圳先进技术研究院 基于位置线状拟合的视频识别追踪定位系统
CN106448160A (zh) * 2016-09-22 2017-02-22 江苏理工学院 结合车辆行驶轨迹和监控视频数据的目标人物追踪方法
CN107132526A (zh) * 2017-04-26 2017-09-05 上海斐讯数据通信技术有限公司 一种室内定位方法及定位系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHIXIN YANG 等: "RFID-enabled indoor positioning method for a real-time manufacturing execution system using OS-ELM", 《NEUROCOMPUTING》 *
储海兵: "基于无线局域网的定位追踪技术研究", 《万方数据 知识服务平台》 *
郑艳 等: "无线移动感知网络性能监控系统设计与应用", 《科技创业月刊》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614896A (zh) * 2018-05-10 2018-10-02 济南浪潮高新科技投资发展有限公司 基于深度学习的银行大厅客户动线轨迹刻画系统及方法
CN109413385A (zh) * 2018-10-23 2019-03-01 深圳如果技术有限公司 一种视频定位监控方法、系统及云服务器
CN109345748A (zh) * 2018-10-31 2019-02-15 北京锐安科技有限公司 用户设备关联方法、装置、服务端、检测设备及介质
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN109934127B (zh) * 2019-02-27 2020-12-15 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110012266A (zh) * 2019-03-14 2019-07-12 中电海康集团有限公司 一种规范派出所执法管理的系统和方法
CN111726564A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 目标物体的监控方法和装置
WO2020224116A1 (zh) * 2019-05-07 2020-11-12 平安科技（深圳）有限公司 形成移动轨迹的方法、装置、计算机设备及存储介质
CN111145212A (zh) * 2019-12-03 2020-05-12 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
CN111145212B (zh) * 2019-12-03 2023-10-03 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
CN113362090A (zh) * 2020-03-03 2021-09-07 北京沃东天骏信息技术有限公司 一种用户行为数据处理方法和装置
CN111090718A (zh) * 2020-03-19 2020-05-01 中科星图(深圳)数字技术产业研发中心有限公司 一种基于轨迹追踪的人像识别方法
CN112532934A (zh) * 2020-11-23 2021-03-19 国网山东省电力公司利津县供电公司 一种多维协同监控系统
CN113362005A (zh) * 2021-06-21 2021-09-07 山东产研信息与人工智能融合研究院有限公司 一种基于环境感知的无人仓库货品智能盘点方法及系统
CN113435352A (zh) * 2021-06-29 2021-09-24 深圳市维度数据科技股份有限公司 文明城市评分方法、装置、电子设备和存储介质
CN113435352B (zh) * 2021-06-29 2022-06-14 深圳市维度数据科技股份有限公司 文明城市评分方法、装置、电子设备和存储介质
CN114443885A (zh) * 2021-12-31 2022-05-06 光控特斯联(上海)信息科技有限公司 一种gps轨迹和道路的匹配方法、装置、存储介质及终端
CN115119195A (zh) * 2022-06-07 2022-09-27 三星电子（中国）研发中心 获取设备mac地址的方法和装置
CN115119195B (zh) * 2022-06-07 2024-03-22 三星电子（中国）研发中心 获取设备mac地址的方法和装置
CN114979959A (zh) * 2022-06-17 2022-08-30 广州爱浦路网络技术有限公司 区域安全监控方法、计算机装置及存储介质
GB2626527A (en) * 2023-01-17 2024-07-31 Antares Defence Systems Ltd Monitoring system
CN116546171A (zh) * 2023-06-30 2023-08-04 傲拓科技股份有限公司 一种监控设备数据采集方法
CN116546171B (zh) * 2023-06-30 2023-09-01 傲拓科技股份有限公司 一种监控设备数据采集方法

Also Published As

Publication number Publication date
CN107909025B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN107909025A (zh) 基于视频和无线监控的人物识别及追踪方法和系统
CN107888877A (zh) 车辆追踪及道路交通信息采集的方法及其系统
CN107801203B (zh) 基于多数据融合的人口密度及流动性的估算方法及其系统
JP5894807B2 (ja) 監視装置及び監視カメラシステム並びに映像送信方法
US11743431B2 (en) Video identification and analytical recognition system
CN107370983A (zh) 用于视频监控系统的行踪轨迹的获取方法和装置
CN102196251B (zh) 智慧城市智能监控方法和系统
CN106940794A (zh) 一种目标采集侦码伴随系统
CN105872481B (zh) 结合视觉信号与无线信号的跟踪定位装置、方法与系统
CN112183353B (zh) 一种图像数据处理方法、装置和相关设备
CN103634901B (zh) 基于核密度估计的新型定位指纹采集提取方法
CN105472621B (zh) 一种基于rssi的伪ap检测方法
CN108734055A (zh) 一种异常人员检测方法、装置及系统
CN109362038A (zh) 基于WiFi探针的客流量统计分析及服务的方法和系统
RU2720947C2 (ru) Аналитическая система распознавания и видеоидентификации
CN106991146A (zh) 人流信息统计方法和系统
CN107624249A (zh) 用于通过电信网络的聚合数据实时计数人群中的人数的方法和系统
CN105916202A (zh) 一种概率性的WiFi室内定位指纹库构建方法
CN202306582U (zh) 一种在公共场所找人的系统
CN109714710A (zh) 一种非主动配合人员大范围轨迹采集方法
CN109362066B (zh) 一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法
Chang et al. Video surveillance for hazardous conditions using sensor networks
CN107637098A (zh) 通过电信网络的聚合数据后验估计一个或多个人群中的人数的方法和系统
Hilal et al. DataLoc+: A data augmentation technique for machine learning in room-level indoor localization
Savazzi et al. Cellular data analytics for detection and discrimination of body movements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180605

Address after: 518000 49, 1016, Yunfeng Road, Queshan mountain, peak area, Longhua District, Shenzhen, Guangdong, China, 1016

Applicant after: Shenzhen Dai Sheng Intelligent Technology Co., Ltd.

Address before: 36, New South Wales Road,

Applicant before: Mao Guoqiang

Applicant before: Ouyang Yigang

GR01 Patent grant
GR01 Patent grant