CN102638675A

CN102638675A - 一种利用多视点视频进行目标跟踪的方法和系统

Info

Publication number: CN102638675A
Application number: CN2012100960026A
Authority: CN
Inventors: 王军; 吴金勇; 王一科; 龚灼
Original assignee: China Security and Surveillance Technology PRC Inc
Current assignee: Anke Robot Co ltd; SHANGHAI QINGTIAN ELECTRONIC TECHNOLOGY CO LTD
Priority date: 2012-04-01
Filing date: 2012-04-01
Publication date: 2012-08-15
Anticipated expiration: 2032-04-01
Also published as: CN102638675B

Abstract

本发明提供一种利用多视点视频进行目标跟踪的方法和系统，该方法包括：获取各摄像头的分布位置，并结合地图建立摄像头的路径表，路径表标识出任意一个摄像头与从该任意一个摄像头下一步可能运动到达的摄像头之间的对应关系；确定目标当前所在的摄像头，并保存目标的特征信息，如果目标仍在当前摄像头中，则仅在当前摄像头中进行目标跟踪；如果目标在当前摄像头中消失，则读取路径表，根据路径表查找目标下一步可能到达的摄像头，并根据所保存的特征信息在下一步可能到达的摄像头的视频流中查找目标。本发明克服了现有多视点视频特定目标跟踪技术中盲目搜索的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配，极大地提高了速度。

Description

一种利用多视点视频进行目标跟踪的方法和系统

技术领域

本发明涉及视频监控技术领域，尤其涉及一种利用多视点视频进行目标跟踪的方法和系统。

背景技术

在跨摄像头监控中，需要在传统单摄像头目标检测基础上，将在多个视角中出现的同一目标关联起来。目前跨摄像头的多视点特定目标跟踪技术主要是通过提取整个特定目标的颜色、纹理、形状和边缘等特征，基于一定的法则来匹配跟踪，但是在目标的检索跟踪过程中，只是在所有摄像头中被动的去检索，如果发现目标则开始跟踪。对于只有几个摄像头的小区域采用这种盲目跟踪的方法也是可以的，比如下列专利申请：

1、发明名称为“跨摄像头的多运动目标跟踪方法”(公开号：CN102156863A，公开日：2011-08-17)的专利申请是对跟踪目标建立模板，跟踪过程中对提取的运动目标也建立模板，然后通过模板的相似度来判断是否为同一目标；

2、发明名称为“摄像机联合跟踪检测系统”(公开号：CN102006461A，公开日：2011-04-06)的专利申请是通过对多个摄像机进行预标定，目标检测跟踪模块对目标进行检测跟踪并将跟踪信息通过目标信息链更新模块发送给服务器，服务器通知PTZ(平移倾斜变焦)驱动模块调整PTZ摄像机的参数连续跟踪目标。

随着“平安城市”和“智慧城市”等大型安防监控系统的建设，监控视频的数据量日益庞大，如何跨摄像头快速、准确地跟踪特定目标成为一个日益重要的问题，显然对特定目标的跟踪过程中，采用盲目跟踪的方法显然不行，现有技术的多视点特定目标跟踪存在的主要问题是：没有根据路径规划对后续不可能出现的位置进行排除，都是根据颜色、纹理等特征进行盲目搜索，这样不但增加了误匹配的可能，而且无法做到实时跟踪。

发明内容

本发明的方面和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为克服现有技术的问题，本发明提供一种利用多视点视频进行目标跟踪的方法和系统，通过路径规划的方法，及时缩小区域或排除不可能的摄像头，然后在缩小的区域内或可能的摄像头中通过特征分析得出准确的目标位置，克服了现有多视点视频特定目标跟踪技术中盲目搜索的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配，极大地提高了速度。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种利用多视点视频进行目标跟踪的方法，包括下列步骤：

获取各摄像头的分布位置，并结合地图建立摄像头的路径表，该路径表标识出任意一个摄像头与从该任意一个摄像头下一步可能运动到达的摄像头之间的对应关系；

确定目标当前所在的摄像头，并保存目标的特征信息，如果目标仍在当前摄像头中，则仅在当前摄像头中进行目标跟踪；如果目标在当前摄像头中消失，则读取该路径表，根据该路径表查找目标下一步可能到达的摄像头，并根据所保存的特征信息在下一步可能到达的摄像头的视频流中查找目标。

根据本发明的一个实施例，在建立路径表时，如果摄像头所在位置是封闭空间，则根据摄像头之间是否可以直接通达来建立路径表，将下一步可能运动到达的摄像头列入路径表中。

根据本发明的一个实施例，在建立路径表时，如果摄像头所在位置是开阔空间，则根据摄像头距离的远近来建立路径表，将预定大小的区域内的所有摄像头列入路径表中。

根据本发明的一个实施例，该预定大小的区域是以当前摄像头为中心划定的一个圆圈。

根据本发明的一个实施例，在建立路径表时，如果摄像头所在位置是开阔空间和封闭空间交界处，则对封闭空间部分，将当前摄像头在下一时刻可能到达的摄像头列入路径表中；对开阔空间部分，将预定大小的区域内的所有摄像头列入路径表中。

根据本发明的一个实施例，在该路径表中，下一步可能运动到达的摄像头也包括当前的摄像头。

根据本发明的一个实施例，该目标的特征信息包括下列中的至少一项：颜色特征、纹理特征、形状特征、边缘特征。

根据本发明的一个实施例，如果目标在当前摄像头中消失，则根据该路径表，提高目标下一步可能到达的摄像头的灵敏度。

根据本发明的一个实施例，如果检索到目标，则报警提示，同时标示目标所在的摄像头位置并显示目标所在的摄像头的视频。

根据本发明的另一个方面，提供一种利用多视点视频进行目标跟踪的系统，包括：

存储模块，其存储摄像头的路径表，该路径表根据各摄像头的分布位置并结合地图而建立，该路径表标识出任意一个摄像头与从该任意一个摄像头下一步可能运动到达的摄像头之间的对应关系；

跟踪模块，其确定目标当前所在的摄像头，并保存目标的特征信息，如果目标仍在当前摄像头中，则仅在当前摄像头中进行目标跟踪；如果目标在当前摄像头中消失，则读取该存储模块中的路径表，根据该路径表查找目标下一步可能到达的摄像头，并根据所保存的特征信息在下一步可能到达的摄像头的视频流中查找目标。

利用多视点视频进行目标跟踪的系统同样可采用上面所述的方法特征中的一项或多项其它特征。

本发明通过路径规划的方法，及时缩小区域或排除不可能的摄像头，然后在缩小的区域内或可能的摄像头中通过特征分析得出准确的目标位置，克服了现有多视点视频特定目标跟踪技术中盲目搜索的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配，极大地提高了速度。

通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为根据本发明的一个实施例在开阔区域内进行特定目标查找的示意图；

图2为根据本发明的一个实施例在建筑物内进行特定目标查找的示意图；

图3为根据本发明的一个实施例的基于路径规划的目标跟踪流程图；

图4为本发明利用多视点视频进行目标跟踪的系统结构示意图。

具体实施方式

本发明根据当前目标所在的位置做路径规划，实时排除它后面不可能出现在哪些摄像头中，然后对剩下可能出现的摄像头视频进行分析，确定目标的准确位置。路径规划问题是一个经典的组合优化问题，可看作是在给定的图上构造若干条回路，使得这些回路满足一些特定的条件和约束并且路由这些回路的总消耗最少。

本发明利用多视点视频进行目标跟踪的方法包括下列步骤：

其中，该目标的特征信息可采用颜色特征、纹理特征、形状特征、边缘特征、或这些特征的组合。如果目标在当前摄像头中消失，则根据该路径表，提高目标下一步可能到达的摄像头的灵敏度。如果检索到目标，则报警提示，同时标示目标所在的摄像头位置并显示目标所在的摄像头的视频。如果未检索到目标，则根据该路径表，在下一步可能到达的摄像头的视频流中继续进行查找。

在一个实施例中，首先获取摄像头的地图并对地图进行分析，确定摄像头所在位置是封闭空间还是开阔空间，如果是开阔空间则根据摄像头之间的距离来规划路径，如果是封闭空间则根据摄像头之间是否可以直接通达来规划路径。其具体步骤如下：

1)摄像头位置地图获取；

2)摄像头地图路径分析；

3)摄像头持续监控，判断是否有异常事件发生；

4)对异常事件的目标进行跟踪，同时报警提示；

5)如果目标消失则退出。

第一步、摄像头位置地图的获取

获取摄像头的位置地图，同时获取实际地图，将位置地图和实际地图相结合，便于后续对摄像头属于开阔空间或封闭空间作判断。

第二步、摄像头地图路径分析

1)对每个摄像头是属于开阔空间还是属于封闭空间进行标示。

图1中的标号a1-a20以及图2中的标号1-14为均为摄像头。如图1中ID为a1、a2、a3、a4的摄像头处于开阔空间，ID为a5的摄像头则处于开阔空间和封闭空间的交界处，如果经过了ID为a5的摄像头进入到建筑物内，如图2所示，则建筑物内所有的摄像头都属于封闭空间的摄像头。

2)如果是封闭的建筑物，则根据每一个摄像头的位置和建筑物内的布局进行路径规划，假定目标在当前摄像头，分析下一步可能达到的摄像头位置并建立路径表。

如图1中，当前行人目标所在的位置是开阔空间；如图2所示，当前行人目标所在的位置是封闭空间。

3)如果是开阔的空间，则依照摄像头距离的远近建立路径表。

如图1所示，当前行人目标所在的摄像头标识(ID)为a2，本发明以摄像头a2为中心划定一个区域(如图1中的虚线所示)，里面包括了摄像头a1、a2、a3、a4、a5的共5个摄像头，这5个摄像头就是其下一时刻可能到达的位置为摄像头位置，作为摄像头a2的路径表；当目标到达摄像头a3以后，以摄像头a3划定一个区域(如图1中的虚线所示)，里面包括了摄像头a2、a3、a4、a6、a7，作为摄像头a3的路径表，以此类推。

但是该路径表只是最重要和最先搜索的路径表，如果在该路径表中长时间寻找不到目标，考虑到开放环境中有许多盲区导致摄像头无法监控，则需要进一步根据当前路径表中的摄像头ID，寻找其子路径表中的摄像头，以便进一步寻找目标。比如图1所示，当前行人目标在摄像头2中，那么根据其路径表，后续需要在a1、a2、a3、a4、a5共5个摄像头中寻找目标。当长时间不能发现目标时，则进一步在子路径表中寻找，比如摄像头a3的路径表为a2、a3、a4、a6、a7，它就是摄像头a2的子路径表，以此类推。

4)如果是封闭空间，在根据建筑物内的路径来建立路径表。

如图2所示，当前行人目标所在的摄像头ID为7，摄像头7下一步可能到达的摄像头为5、6、13，那么5、6、7、13就是摄像头7的路径表，这里将摄像头7也作为路径里面的一部分非常重要，因为目标离开摄像头以后有可能再次回到该摄像头。

在图2中共有14个摄像头，这14个摄像头分别设置于可通行区域的入口处或拐角处。从表1中可以看出，如果目标位于摄像头4处，其下一时刻可能到达的位置为摄像头2、4、8、10处；当目标到达摄像头10以后，其下一时刻可能到达的位置为摄像头4、9、10、11处；以此类推，当目标道道摄像头13以后，其下一时刻可能到达的位置为摄像头7、12、13、14处。

表1建筑物内特定目标的路径规划表

摄像机ID	下一个摄像机ID
		1	(1)、2、3
2	1、(2)、4
		3	1、(3)、5、6
4	2、(4)、8、10
		5	3、(5)、6、7
6	3、5、(6)、7、14
		7	5、6、(7)、13
8	4、(8)
		9	(9)、10、12
10	4、9、(10)、11
		11	10、(11)、12
12	9、11、(12)、13
		13	7、12、(13)、14
14	6、13、(14)

第三步、捕捉到异常事件

1)确定事件发生时，目标所在的摄像头位置ID

通过运动目标检测和行为分析或指定目标(如重要人员或相关车辆)的特征匹配，当有事件发生时确定其摄像头ID，同时保存该事件目标的相关特征信息，为后续跟踪做准备。

2)读取当前摄像头是否在建筑物内的标示

当前摄像头的位置信息分为三种：开阔空间、封闭空间、开阔空间和封闭空间交界。

3)根据摄像头当前位置读取路径表

开阔空间：根据事先设定的区域大小将该区域内所有摄像头作为路径表。

封闭空间：根据建筑物内的路径读取当前摄像头在下一时刻可能到达摄像头的路径表。

开阔空间和封闭空间交界：对封闭空间内部则是读取当前摄像头在下一时刻可能到达摄像头的路径表；对开阔空间则是根据划定的区域读取该区域内所有的摄像头路径表，上述两个表的综合就是该摄像头的路径表。

第四步、目标跟踪

1)如果目标仍在当前摄像头中，则仅在当前摄像头中进行目标分析和跟踪。可以将运动目标检测和跟踪以及基于特征的目标匹配相结合，实现精确跟踪。

2)如果目标在当前摄像头中消失，则根据路径表对下一步可能到达的摄像头进行分析来寻找目标。

第五步、报警提示

1)如果有异常事件发生，则报警提示，同时标示摄像头位置并显示视频。

如图3所示，本实施例的基于路径规划的目标跟踪流程如下：

101.对若干摄像头持续的视频图像进行分析，判断是否有事件发生；

102.如果判断是否有事件发生，则进入步骤103；

103.计算摄像头的位置，并保留当前目标的特征；

104.对目标进行跟踪；

105.判断目标是否仍在当前摄像头中；如果在，则进入步骤104；如果不在，则进入步骤106；

106.判断当前摄像头是否在封闭环境内；如果是则进入步骤107-110；否则，进入步骤111-114；

107.根据当前摄像头位置读取路径表，判断下一步目标可能到达的位置；

108.提高可能到达摄像头的灵敏度并报警提示

109.判断是否发现目标，如果是，则进入步骤104，否则进入步骤110；

110.对可能到达的摄像头继续进行分析；

111.根据当前摄像头位置初步设定区域，对该区域内所有摄像头进行分析寻找目标；

112.提高区域内摄像头的灵敏度并报警提示；

113.判断是否发现目标，如果是，则进入步骤104，否则进入步骤114；

114.对可能到达的摄像头继续进行分析，或扩大区域搜索。

如图4所示，本发明同时提供一种利用多视点视频进行目标跟踪的系统，包括：存储模块和跟踪模块，该存储模块存储摄像头的路径表，该路径表根据各摄像头的分布位置并结合地图而建立，该路径表标识出任意一个摄像头与从该任意一个摄像头下一步可能运动到达的摄像头之间的对应关系；该跟踪模块确定目标当前所在的摄像头，并保存目标的特征信息，如果目标仍在当前摄像头中，则仅在当前摄像头中进行目标跟踪；如果目标在当前摄像头中消失，则读取该存储模块中的路径表，根据该路径表查找目标下一步可能到达的摄像头，并根据所保存的特征信息在下一步可能到达的摄像头的视频流中查找目标。

利用多视点视频进行目标跟踪的系统同样可采用上面所具体描述的实施例中的其它特征。

本发明根据设定的摄像头地图，在当前位置实时做出路径规划，在开放空间可在设定的圆形区域内寻找目标，在建筑物等相对封闭的空间内则根据路径决定下一个可能到达的摄像头来进行搜索，将不可能出现的位置排除，然后再在剩下可能的位置中做出准确判断，不但大大提高了速度，而且也减少了误匹配。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims

1.一种利用多视点视频进行目标跟踪的方法，其特征在于包括下列步骤：

获取各摄像头的分布位置，并结合地图建立摄像头的路径表，所述路径表标识出任意一个摄像头与从所述任意一个摄像头下一步可能运动到达的摄像头之间的对应关系；

确定目标当前所在的摄像头，并保存目标的特征信息，如果目标仍在当前摄像头中，则仅在当前摄像头中进行目标跟踪；如果目标在当前摄像头中消失，则读取所述路径表，根据所述路径表查找目标下一步可能到达的摄像头，并根据所保存的特征信息在下一步可能到达的摄像头的视频流中查找目标。

2.根据权利要求1所述的利用多视点视频进行目标跟踪的方法，其特征在于，在建立路径表时，如果摄像头所在位置是封闭空间，则根据摄像头之间是否可以直接通达来建立路径表，将下一步可能运动到达的摄像头列入路径表中。

3.根据权利要求1所述的利用多视点视频进行目标跟踪的方法，其特征在于，在建立路径表时，如果摄像头所在位置是开阔空间，则根据摄像头距离的远近来建立路径表，将预定大小的区域内的所有摄像头列入路径表中。

4.根据权利要求3所述的利用多视点视频进行目标跟踪的方法，其特征在于，所述预定大小的区域是以当前摄像头为中心划定的一个圆圈。

5.根据权利要求1所述的利用多视点视频进行目标跟踪的方法，其特征在于，在建立路径表时，如果摄像头所在位置是开阔空间和封闭空间交界处，则对封闭空间部分，将当前摄像头在下一时刻可能到达的摄像头列入路径表中；对开阔空间部分，将预定大小的区域内的所有摄像头列入路径表中。

6.根据权利要求1所述的利用多视点视频进行目标跟踪的方法，其特征在于，在所述路径表中，下一步可能运动到达的摄像头也包括当前的摄像头。

7.根据权利要求1-6中任一项所述的利用多视点视频进行目标跟踪的方法，其特征在于，所述目标的特征信息包括下列中的至少一项：颜色特征、纹理特征、形状特征、边缘特征。

8.根据权利要求1-6中任一项所述的利用多视点视频进行目标跟踪的方法，其特征在于，如果目标在当前摄像头中消失，则根据所述路径表，提高目标下一步可能到达的摄像头的灵敏度。

9.根据权利要求1-6中任一项所述的利用多视点视频进行目标跟踪的方法，其特征在于，如果检索到目标，则报警提示，同时标示目标所在的摄像头位置并显示目标所在的摄像头的视频。

10.一种利用多视点视频进行目标跟踪的系统，其特征在于包括：

存储模块，其存储摄像头的路径表，所述路径表根据各摄像头的分布位置并结合地图而建立，所述路径表标识出任意一个摄像头与从所述任意一个摄像头下一步可能运动到达的摄像头之间的对应关系；

跟踪模块，其确定目标当前所在的摄像头，并保存目标的特征信息，如果目标仍在当前摄像头中，则仅在当前摄像头中进行目标跟踪；如果目标在当前摄像头中消失，则读取所述存储模块中的路径表，根据所述路径表查找目标下一步可能到达的摄像头，并根据所保存的特征信息在下一步可能到达的摄像头的视频流中查找目标。