CN104601964B - 非重叠视域跨摄像机室内行人目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了非重叠视域跨摄像机室内行人目标跟踪方法及系统，包括在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵；根据用户所框选需跟踪的行人目标进行单摄像机目标跟踪，获取行人目标样本图像；判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；对接收到行人目标匹配指令的所有摄像机，分别从目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测。本发明为非重叠视域跨摄像机室内行人目标跟踪与匹配提供了一个实时可靠的技术方案。

Description

非重叠视域跨摄像机室内行人目标跟踪方法及系统

技术领域

本发明属于视觉跟踪技术领域，具体涉及一种在三维GIS信息辅助下，在多摄像机非重叠室内视域中对行人目标进行跟踪与匹配的技术方案。

背景技术

随着视频监控技术的发展以及人们对监控产品智能化要求日益提高，多摄像机目标跟踪技术成为人们关注的热点。相比于单摄像机监控视域有限，多摄像机突破了监控视野范围的限制，因而多摄像机目标跟踪能适用于广域视频监控，满足现实需求。多摄像机目标跟踪按摄像机间监控视野是否交叠可分为重叠视域目标跟踪和非重叠视域目标跟踪。由于现实生活中监控区域一般较大，考虑到经济因素，实际上摄像机间不可能都为重叠视域，因此非重叠视域目标跟踪更具现实意义。

非重叠视域目标跟踪的主要研究问题有：单摄像机目标跟踪、多摄像机间目标匹配和多摄像机拓扑关系估计。

单摄像机目标跟踪是多摄像机目标跟踪的基础。单摄像机目标跟踪算法的难点在于如何设计出鲁棒稳定的跟踪算法，以适应跟踪过程中光照变化、目标遮挡、目标尺度变化以及目标形变，对目标进行实时持续跟踪。单摄像机目标跟踪算法大体上可分为2大类：基于生成模型的目标跟踪和基于判别模型的目标跟踪。

基于生成模型的方法通过提取目标特征，在特征空间中对目标区域进行描述，构建目标的表观模型，然后在目标可能出现的区域进行搜索，以具备最小重建误差的图像块作为跟踪目标。该方法的重点在于如何描述目标，构建一个能够完善表达目标(包括不同视角，不同尺度，目标形变等)的模型，以适应跟踪过程中各种干扰。该类方法充分利用了目标的表观信息，对光照和颜色变化不敏感；但是由于未利用背景信息，在复杂背景下易受到干扰；此外，构建鲁棒且高效的外观模型十分困难。

基于判别模型的方法则是估计观测数据的条件概率分布，寻找能把目标和背景分离开的最优分类面，将跟踪问题转化成为了一个二分类问题。由于分类边界比较灵活，所以这种跟踪方法的区分性较好。缺点是相对于生成模型方法来说，判别模型方法只能判断目标是哪一类，而不能描述目标的外观，即不能充分反映训练数据本身的特性。Kalal等人于2010提出的TLD(tracking-learning-detection)跟踪算法因其鲁棒性近来受到了广泛的关注。TLD将跟踪算法、检测算法以及更新机制融合在一个统一的框架下来解决跟踪过程中目标形变、部分遮挡等问题。TLD算法由跟踪、检测、融合和更新4个模块组成。由于TLD具有检测更能，当目标离开后再次出现，依然能够捕获目标，继续跟踪，这一优点是很多跟踪算法不具备的。

多摄像机间目标匹配是非重叠视域跨摄像机目标跟踪的关键步骤，要解决是目标从一台摄像机视域转移到另一台摄像机视域的再识别问题。与单摄像机下目标匹配不同，由于不同摄像机参数不同，目标所处的环境光照也不同，造成同一目标在不同摄像机下成像差异很大，给目标匹配带来了很大困难。传统的方法是建立不同摄像机间的亮度转移函数BTF(brightness transfer function)以补偿目标在不同摄像机中颜色差异，提高匹配精度。但是BTF需要标记训练样本进行监督学习，自动化程度低。而且环境光照变化时，亮度转移函数必须重新学习和更新。非重叠视域目标匹配目前主要有2种解决思路：一种从特征出发，设计不变性区分性强的特征，提取这类特征进行目标匹配；另一种是从距离测度出发，通过监督学习训练出优秀的距离测度，使同类样本距离小而非同类样本距离大。测度学习方法对特征的选择要求较低，通常能取得更好的再识别效果。但在场景和目标变化时需要重新训练，适应性差。

多摄像机间拓扑关系估计通常是人工标定或者通过自学习得到摄像机的拓扑关系后建立目标在摄像机间转移的时空约束。例如，Javed等提出一种学习摄像机拓扑关系和路径间转移概率的算法，该算法需要手动标注一些目标关联对，然后进行训练，计算摄像机节点间的可能连接关系和每对连接的转移时间概率分布。多摄像机间拓扑关系估计一般需要人工参与，实现较为复杂。

发明内容

本发明的目的在于针对现有技术的缺点和不足，提出了一种非重叠视域跨摄像机室内行人目标跟踪技术方案，在三维GIS信息的辅助下，获取多个摄像机间的拓扑关系，实现单个行人跨摄像机的持续跟踪。

本发明所采用的技术方案提供一种非重叠视域跨摄像机室内行人目标跟踪方法，包括以下步骤：

步骤1，在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，建立摄像机间的连通关系矩阵S如下，

其中，i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B；

步骤2，根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

步骤3，根据步骤2的单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻进入步骤4，若否则返回步骤2持续进行单摄像机目标跟踪；

步骤4，根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；

当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时长

对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，

设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有

其中，V_max、V_min分别为行人步速最大、最小值，分别为中的最小值和最大值；

步骤5，对接收到行人目标匹配指令的所有摄像机，分别从步骤4所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和步骤2所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以步骤2所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。

而且，步骤3判断需跟踪的行人目标是否离开当前摄像机视域的实现方式如下，

根据预设边界区域阈值u和关注帧区间K，设当前摄像机的视频图像宽高分别为w、h个像素，图片左上角为(0,0)，步骤2中跟踪获取到的行人目标中心坐标为(x,y)，设第t帧出现x≤u或w-u≤x或y≤u或h-u≤y，则判定目标于第t帧到达图像边界，如果步骤2在第t+1帧到第t+K帧都检测不到目标，判定目标在第t+K帧时已经离开当前摄像机视域，第t+K帧相应时刻为

而且，步骤5中，对接收到行人目标匹配指令的每个摄像机，分别执行以下步骤：

步骤5.1，对摄像机拍摄所得当前帧，采用梯度直方图用于行人检测算法进行行人检测，获取候选行人目标图像；

步骤5.2，对当前帧进行前景检测，获取前景目标的掩膜，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

步骤5.3，将步骤5.1所得候选行人目标图像和步骤5.2所得前景目标的掩膜作与运算，提取出纯净的行人目标区域，对步骤2所得行人目标样本图像和相应前景目标的掩膜作与运算，提取相应的纯净的行人目标区域；

步骤5.4，将步骤5.3从候选行人目标图像和行人目标样本图像提取出的行人目标区域分别作为待提取特征的图像，计算图像的空间直方图，获取空间直方图的相似度ρ_s；

步骤5.5，对步骤5.1所得候选行人目标图像的背景区域填充白色，得到相应图像块a；对步骤2所得行人目标样本图像的背景区域填充白色，得到相应图像块b；对图像块a和图像块b，分别根据比例截取行人目标躯干部分及腿部，得到2个图像块a’和b’；对2个图像块a’和b’分别采用感知hash算法提取指纹后，采用汉明距离来计算2个图像块的相似度ρ_p；

步骤5.6，将步骤5.1所得候选行人目标图像和步骤2所得行人目标样本图像的最终匹配度ρ表示为

ρ＝αρ_s+βρ_p

式中，α、β为预设的权值；

步骤5.7，判断步骤5.6所得最终匹配度ρ是否大于预设的阈值，

是则认为该候选目标为行人目标，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有相关摄像机的匹配任务，

否则判断是否达到本摄像机的目标匹配任务结束时刻，是则结束流程，否则返回步骤5.1对下一视频帧继续执行匹配任务。

本发明提供一种非重叠视域跨摄像机室内行人目标跟踪系统，包括以下模块：

连通关系矩阵构建模块，用于在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，建立摄像机间的连通关系矩阵S如下，

其中，i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B；

单摄像机目标跟踪模块，用于根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

行人离开判断模块，用于根据单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻命令匹配范围确定模块工作，若否则命令单摄像机目标跟踪模块持续工作；

匹配范围确定模块，用于根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；

当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时长

对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，

设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有

其中，V_max、V_min分别为行人步速最大、最小值，分别为中的最小值和最大值；

匹配检测模块，用于对接收到行人目标匹配指令的所有摄像机，分别从匹配范围确定模块所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和单摄像机目标跟踪模块所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以单摄像机目标跟踪模块所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回单摄像机目标跟踪模块对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。

而且，行人离开判断模块判断需跟踪的行人目标是否离开当前摄像机视域的实现方式如下，

根据预设边界区域阈值u和关注帧区间K，设当前摄像机的视频图像宽高分别为w、h个像素，图片左上角为(0,0)，单摄像机目标跟踪模块中跟踪获取到的行人目标中心坐标为(x,y)，设第t帧出现x≤u或w-u≤x或y≤u或h-u≤y，则判定目标于第t帧到达图像边界，如果单摄像机目标跟踪模块在第t+1帧到第t+K帧都检测不到目标，判定目标在第t+K帧时已经离开当前摄像机视域，第t+K帧相应时刻为

而且，匹配检测模块中，对接收到行人目标匹配指令的每个摄像机，分别设有以下子模块，

初始行人检测子模块，用于对摄像机拍摄所得当前帧，采用梯度直方图用于行人检测算法进行行人检测，获取候选行人目标图像；

前景检测子模块，用于对当前帧进行前景检测，获取前景目标的掩膜，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

优化行人检测子模块，用于将初始行人检测子模块所得候选行人目标图像和前景检测子模块所得前景目标的掩膜作与运算，提取出纯净的行人目标区域，对单摄像机目标跟踪模块所得行人目标样本图像和相应前景目标的掩膜作与运算，提取相应的纯净的行人目标区域；

空间直方图特征提取子模块，用于将优化行人检测子模块从候选行人目标图像和行人目标样本图像提取出的行人目标区域分别作为待提取特征的图像，计算图像的空间直方图，获取空间直方图的相似度ρ_s；

感知hash特征提取子模块，用于对初始行人检测子模块所得候选行人目标图像的背景区域填充白色，得到相应图像块a；对单摄像机目标跟踪模块所得行人目标样本图像的背景区域填充白色，得到相应图像块b；对图像块a和图像块b，分别根据比例截取行人目标躯干部分及腿部，得到2个图像块a’和b’；对2个图像块a’和b’分别采用感知hash算法提取指纹后，采用汉明距离来计算2个图像块的相似度ρ_p；

最终匹配度提取子模块，用于将初始行人检测子模块所得候选行人目标图像和单摄像机目标跟踪模块所得行人目标样本图像的最终匹配度ρ表示为

ρ＝αρ_s+βρ_p

式中，α、β为预设的权值；

判断子模块，用于判断最终匹配度提取子模块所得最终匹配度ρ是否大于预设的阈值，是则认为该候选目标为行人目标，命令单摄像机目标跟踪模块对该候选目标进行单摄像头目标跟踪，并停止所有相关摄像机的匹配任务，

否则判断是否达到本摄像机的目标匹配任务结束时刻，是则结束流程，否则命令初始行人检测子模块对下一视频帧继续执行匹配任务。

不同于一般的方法，本发明利用三维GIS信息辅助室内行人跟踪，本发明与现有技术相比的显著效果在于：

(1)采用三维GIS模型计算连通节点间出入口线的空间距离，较基于监督学习对摄像机网络进行拓扑估计的方法简单易行且精度更高。

(2)融合多种目标匹配算法进行行人目标匹配，相对于单一匹配算法而言，鲁棒性强，为跨摄像机目标交接提供保障。

附图说明

图1为本发明实施例的流程图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

目前随着数字城市多年建设，三维GIS数据已逐渐成为一种主要的数据源，室内模型也是其中重要的信息，GIS是地理信息系统。本发明提出利用室内三维GIS，可为摄像机间拓扑关系估计提供数据支持，基于三维GIS估计摄像机间拓扑关系是一种稳健的方法。具体实施时，本发明技术方案可采用计算机技术实现自动运行流程。参见图1，实施例所提供方法的流程包括以下步骤：

步骤1：在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵。

实施例的步骤1实现说明如下：

步骤1.1：根据视频场景，将各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置标注出来，所有的入口线和出口线分别作为一个节点。入口线为行人目标完全进入视频场景与未完全进入视频场景在视频图像上的分界线，出口线为行人目标完全离开视频场景与未完全离开视频场景在视频图像上的分界线。具体实施时，可选定某一方向来区分出口和入口，记出口线为节点A，入口线为节点B。具体实施时，本领域技术人员可以预先标注。

步骤1.2：在三维GIS中对所有的入口线和出口线(即所有节点)进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离。若节点A、B之间有路径连通，且节点A、B直接相连，则节点A、B邻接。空间分析为现有技术，可由三维GIS系统提供，本发明不予赘述。

步骤1.3：建立摄像机间的连通关系矩阵S如下，

其中，i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；a＝A,B，b＝A,B，表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，若摄像机i的a节点与摄像机j的b节点邻接，则由步骤1.2空间分析计算得出，若摄像机i的a节点与摄像机j的b节点不邻接，则易知S是对称矩阵。

步骤2：根据用户所框选需跟踪的行人目标，对框选目标进行单摄像机目标跟踪，获取行人目标样本图像。

视频接入后先进行目标初始化，具体实施时，可由用户根据需要通过人机交互的方式在某个摄像机拍摄的视频图像中预先框选出需跟踪的行人目标，得到一个包含行人的长方形图像块。记该摄像机为当前摄像机。基于当前摄像机进行单摄像机目标跟踪，实现方式如下，

对摄像机实时拍摄的当前图像帧，首先提取前景运动目标，具体实施时可以采用Barnich,O.等人于2011年发表在《IEEE Transactions on Image Processing》(IEEE图像处理汇刊)上的“ViBe:A universal background subtraction algorithm for videosequences”(ViBe：一种适用于视频图像序列的通用的背景减除算法)算法对当前视频进行背景建模，将运动目标从背景中提取出来，获得前景目标。

然后以所得当前图像帧的前景目标为输入，采用跟踪算法进行目标跟踪，具体实施时可以采用Kalal,Z.等人于2012年发表在《IEEE Transactions on Pattern Analysisand Machine Intelligence》(IEEE模式分析与机器智能汇刊)上的“Tracking-Learning-Detection”(跟踪——学习——检测)算法。以前景目标而不是整个图像为输入，可以提高目标跟踪效率。

行人目标样本图像可采用摄像机实时拍摄的某图像帧的跟踪结果(也是包含行人的长方形图像块)，建议选用框选目标较邻近的帧的跟踪结果，后续步骤5中的行人目标匹配将依据行人目标样本图像进行提取目标特征和匹配。可以在用户所框选需跟踪的行人目标后，根据摄像机拍摄的下一帧第一次执行步骤2，根据该帧确定行人目标样本图像，后续返回执行步骤2时无需重复确定。

步骤3：根据步骤2的单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻进入步骤4，若否则返回步骤2持续跟踪。

具体实施时，本领域技术人员可自行预设边界区域阈值u和关注帧区间K的取值，将距离图像边界u个像素范围内区域视为边界区域。当跟踪算法获得的目标中心在边界区域中，且此后连续K帧都检测不到目标时，判定目标离开当前视域。例如，设当前摄像机的视频图像宽高分别为w、h个像素，图片左上角为(0,0)，步骤2中跟踪获取到的行人目标中心坐标为(x,y)，设第t帧出现x≤u或w-u≤x或y≤u或h-u≤y，则判定目标于第t帧到达图像边界，返回步骤2对第t+1帧继续跟踪。对新的帧迭代执行步骤2和步骤3，直到第t+K帧，如果步骤2中的跟踪算法在第t+1帧到第t+K帧都检测不到目标，判定目标在第t+K帧时(相应时刻为)已经离开当前摄像机视域，则停止对当前摄像机的跟踪任务，进入步骤4。

步骤4：基于时空约束确定搜索范围，包括当步骤3判断出需跟踪的行人目标离开当前摄像机视域时，基于连通关系矩阵的时空约束，确定在摄像机网络中对哪些摄像机在什么时间点开始和结束目标搜索任务，即确定目标匹配任务开启时刻和目标匹配任务结束时刻。

当目标离开当前摄像机视域时，根据连通关系矩阵，对当前摄像机节点及其所有邻接节点发布行人目标匹配指令。确定具体目标匹配任务执行时间，有利于节约系统资源，提供匹配效率。

特殊的是，因为目标离开当前视域后，可能在未到达其他摄像机视域之前又返回当前视域，所以，当判定目标离开当前视域后，立刻对当前摄像机视域启动目标匹配任务，即目标匹配任务开启时刻为具体实施时，本领域技术人员可自行预设当前摄像机的目标匹配任务时长则当前摄像机的目标匹配任务结束时刻为

对于其他所有连通的邻接节点，根据连通关系矩阵，计算对当前摄像机节点的所有连通的邻接节点执行匹配任务的时间范围。设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有目标进入第j号摄像机视域的可能的时刻应该在最小时刻和最大时刻之间，即因此第j号摄像机只需在该时间范围内进行视频开启搜索，进行目标匹配，目标匹配任务开启时刻为目标匹配任务结束时刻为最小时刻和最大时刻计算公式为：

其中V_max、V_min分别为行人步速最大最小值，分别为中的最小值和最大值，为目标离开第i号摄像机视域的时刻。

步骤5：对接收到行人目标匹配指令的所有摄像机，分别从步骤4所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和步骤2所得行人目标样本图像分别提取特征并进行匹配。以视频帧中候选行人目标图像为候选目标，以步骤2所得行人目标样本图像为原始目标。若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，即行人目标转移到该候选目标所在摄像头视域中，匹配成功。将该候选目标所在摄像头作为新的当前摄像机，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务。否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻(匹配失败)，或者收到用户的停止任务命令(匹配中止)。

如图中有N个摄像机接收到行人目标匹配指令，其中1个为当前摄像机，N-1个为处于连通的邻接节点的摄像机。具体实施时，可以设计为，对接收到行人目标匹配指令的每个摄像机，分别执行以下步骤：

步骤5.1：对摄像机拍摄所得当前帧，采用Dalal等于2005年在CVPR(计算机视觉与模式识别会议)上发表的“Histograms of Oriented Gradients for Human Detection”(梯度直方图用于行人检测)算法进行行人检测，获取候选行人目标图像，即包含行人的长方形图像块。

第一次执行步骤5.1时，取目标匹配任务开启时刻拍摄所得视频帧为当前帧。

步骤5.2：采用同步骤2中提取运动目标同样的方法，对当前帧进行前景检测，获取运动前景目标的掩膜。

步骤5.3：将步骤5.1中的候选行人目标图像和步骤5.2中的前景目标的掩膜作与运算，提取出纯净的行人目标区域(行人的轮廓区域)，以去除行人目标图像块中的背景区域干扰。行人目标样本图像也做同样的处理，即将行人目标样本图像同前景检测结果作与运算提取相应的纯净的行人目标区域。

步骤5.4：将步骤5.3从候选行人目标图像和行人目标样本图像提取出的行人目标区域分别作为待提取特征的图像，由RGB图像空间转换到HSV图像空间，计算H分量的空间直方图特征，以空间直方图特征作为行人目标整体颜色信息描述。虽然颜色直方图对目标形变有一定的不变性，但颜色直方图忽略了目标的空间信息。空间直方图特征在描述颜色特征的同时，保留了目标的空间特征。

图像的二阶空间直方图计算式为

S⁽²⁾(b)＝<n_b,μ_b,Σ_b>,b＝1,2,…BI

式中，b为量化区间，n_b为颜色直方图，μ_b和Σ_b分别为均值矢量和协方差矩阵，计算式为

其中，N为待提取特征图像的总像素数，x_k＝[ij]^T为像素k的坐标(i,j)的矩阵形式表达，当像素k的颜色值在量化区间b内时，变量δ_kb＝1，否则为0。实施中，取量化级数BI＝64，即将直方图进行64bins量化。

上述2个行人目标区域的空间直方图的相似度ρ_s计算公式为

其中，ρ_n(n_b,n′_b)是2个空间直方图对应量化区间b的相似性，可用现有技术中的马氏距离和直方图相交法计算，是空间相似性，η为归一化系数，矩阵由协方差矩阵Σ_b和Σ′_b求逆得出，exp表示是以自然对数e为底的指数函数。

步骤5.5：步骤5.1提取出的候选行人目标图像可能含有不属于行人目标的背景像素，对步骤5.1提取出的候选行人目标图像中的背景区域填充白色，即颜色RGB(255,255,255)，以减少背景干扰，得到相应图像块a。行人目标样本图像也做同样的处理，得到相应图像块b。所述背景区域为步骤5.3取出纯净的行人目标区域后剩下的区域。

人体测量学将人体划分成头部、躯干和腿部三部分，三部分比例为0.16L：0.46L：0.38L，L为身高。考虑到由于监控视频成像质量不高，行人目标头部特征区分性较低，而腿部又易受到遮挡，实施例从稳定且区分性强的躯干部分及腿部的上半部分提特征。对图像块a和图像块b，分别根据比例为0.16L：0.46L：0.38L截取的行人目标躯干部分及腿部的上半部分图像块，得到2个图像块a’和b’。

感知hash(哈希)算法具体过程如下：

将提取出的行人目标躯干部分及腿部的上半部分图像块分别转换成灰度图像，归一化到预设大小(例如32×32像素)，以简化计算；对灰度图像进行DCT(离散余弦)变换，得到DCT系数矩阵，为了获取图片的低频信息，只保留DCT系数矩阵左上角的16×16大小的矩阵，计算该矩阵的均值；计算矩阵的hash值，若16×16的DCT系数矩阵元素大于等于均值，则取1，否则取0；将这一系列“01”字符依次串在一起，得到一个二进制64位的整数，即该图像块的指纹。

对2个图像块a’和b’分别提取指纹后，采用汉明距离来计算2个图像块的相似度ρ_p，即统计2个图像块a’和b’的指纹对应位置的不同字符的个数。

步骤5.6：融合2种目标匹配算法计算最终匹配度。候选行人目标图像和行人目标样本图像最终匹配度ρ可表示为

ρ＝αρ_s+βρ_p

式中，ρ_s为步骤5.4所得空间直方图的相似性，ρ_p为步骤5.5所得相似度。α、β为权值，具体实施时可预先经过实验设定权值，或由本领域技术人员自行预设经验值。

步骤5.7：判断步骤5.6所得最终匹配度ρ是否大于预设的阈值，

是则认为该候选目标为行人目标，即行人目标转移到该候选目标所在摄像头视域中。返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有相关摄像机的匹配任务。具体实施时可由本领域技术人员自行预设阈值。

否则判断是否达到本摄像机的目标匹配任务结束时刻，是则结束流程，否则返回步骤5.1对下一视频帧继续执行匹配任务。

如图1中接收到行人目标匹配指令的所有摄像机共有N个，每个摄像机分别执行步骤5.1～5.7，通过行人检测和前景检测，进行空间直方图目标匹配和感知hash算法目标匹配，融合匹配结果。

本发明实施例还相应提供一种非重叠视域跨摄像机室内行人目标跟踪系统，包括以下模块：

连通关系矩阵构建模块，用于在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，建立摄像机间的连通关系矩阵S如下，

其中，i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B；

单摄像机目标跟踪模块，用于根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

行人离开判断模块，用于根据单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻命令匹配范围确定模块工作，若否则命令单摄像机目标跟踪模块持续工作；

匹配范围确定模块，用于根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；

当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时长

对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，

设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有

其中，V_max、V_min分别为行人步速最大、最小值，分别为中的最小值和最大值；

匹配检测模块，用于对接收到行人目标匹配指令的所有摄像机，分别从匹配范围确定模块所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和单摄像机目标跟踪模块所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以单摄像机目标跟踪模块所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回单摄像机目标跟踪模块对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。

进一步地，行人离开判断模块判断需跟踪的行人目标是否离开当前摄像机视域的实现方式如下，

根据预设边界区域阈值u和关注帧区间K，设当前摄像机的视频图像宽高分别为w、h个像素，图片左上角为(0,0)，单摄像机目标跟踪模块中跟踪获取到的行人目标中心坐标为(x,y)，设第t帧出现x≤u或w-u≤x或y≤u或h-u≤y，则判定目标于第t帧到达图像边界，如果单摄像机目标跟踪模块在第t+1帧到第t+K帧都检测不到目标，判定目标在第t+K帧时已经离开当前摄像机视域，第t+K帧相应时刻为

进一步地，匹配检测模块中，对接收到行人目标匹配指令的每个摄像机，分别设有以下子模块，

初始行人检测子模块，用于对摄像机拍摄所得当前帧，采用梯度直方图用于行人检测算法进行行人检测，获取候选行人目标图像；

前景检测子模块，用于对当前帧进行前景检测，获取前景目标的掩膜，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

优化行人检测子模块，用于将初始行人检测子模块所得候选行人目标图像和前景检测子模块所得前景目标的掩膜作与运算，提取出纯净的行人目标区域，对单摄像机目标跟踪模块所得行人目标样本图像和相应前景目标的掩膜作与运算，提取相应的纯净的行人目标区域；

空间直方图特征提取子模块，用于将优化行人检测子模块从候选行人目标图像和行人目标样本图像提取出的行人目标区域分别作为待提取特征的图像，计算图像的空间直方图，获取空间直方图的相似度ρ_s；

感知hash特征提取子模块，用于对初始行人检测子模块所得候选行人目标图像的背景区域填充白色，得到相应图像块a；对单摄像机目标跟踪模块所得行人目标样本图像的背景区域填充白色，得到相应图像块b；对图像块a和图像块b，分别根据比例截取行人目标躯干部分及腿部，得到2个图像块a’和b’；对2个图像块a’和b’分别采用感知hash算法提取指纹后，采用汉明距离来计算2个图像块的相似度ρ_p；

最终匹配度提取子模块，用于将初始行人检测子模块所得候选行人目标图像和单摄像机目标跟踪模块所得行人目标样本图像的最终匹配度ρ表示为

ρ＝αρ_s+βρ_p

式中，α、β为预设的权值；

判断子模块，用于判断最终匹配度提取子模块所得最终匹配度ρ是否大于预设的阈值，是则认为该候选目标为行人目标，命令单摄像机目标跟踪模块对该候选目标进行单摄像头目标跟踪，并停止所有相关摄像机的匹配任务，

否则判断是否达到本摄像机的目标匹配任务结束时刻，是则结束流程，否则命令初始行人检测子模块对下一视频帧继续执行匹配任务。

各模块具体实现可参见方法步骤，本发明不予赘述。

以上内容是结合最佳实施方案对本发明说做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (4)

1.一种非重叠视域跨摄像机室内行人目标跟踪方法，其特征在于，包括以下步骤：

步骤1，在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，

设i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B，

建立摄像机间的连通关系矩阵S如下，

步骤2，根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

步骤3，根据步骤2的单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻进入步骤4，若否则返回步骤2持续进行单摄像机目标跟踪；

步骤4，根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；

当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时

对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，

设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有

其中，V_max、V_min分别为行人步速最大、最小值，分别为中的最小值和最大值；

步骤5，对接收到行人目标匹配指令的所有摄像机，分别从步骤4所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和步骤2所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以步骤2所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。

2.根据权利要求1所述的非重叠视域跨摄像机室内行人目标跟踪方法，其特征在于：步骤5中，对接收到行人目标匹配指令的每个摄像机，分别执行以下步骤：

步骤5.1，对摄像机拍摄所得当前帧，采用梯度直方图用于行人检测算法进行行人检测，获取候选行人目标图像；

步骤5.2，对当前帧进行前景检测，获取前景目标的掩膜，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

步骤5.3，将步骤5.1所得候选行人目标图像和步骤5.2所得前景目标的掩膜作与运算，提取出纯净的行人目标区域，对步骤2所得行人目标样本图像和相应前景目标的掩膜作与运算，提取相应的纯净的行人目标区域；

步骤5.4，将步骤5.3从候选行人目标图像和行人目标样本图像提取出的行人目标区域分别作为待提取特征的图像，计算图像的空间直方图，获取空间直方图的相似度ρ_s；

步骤5.5，对步骤5.1所得候选行人目标图像的背景区域填充白色，得到相应图像块a；对步骤2所得行人目标样本图像的背景区域填充白色，得到相应图像块b；对图像块a和图像块b，分别根据比例截取行人目标躯干部分及腿部，得到2个图像块a’和b’；对2个图像块a’和b’分别采用感知hash算法提取指纹后，采用汉明距离来计算2个图像块的相似度ρ_p；

步骤5.6，将步骤5.1所得候选行人目标图像和步骤2所得行人目标样本图像的最终匹配度ρ表示为

ρ＝αρ_s+βρ_p

式中，α、β为预设的权值；

步骤5.7，判断步骤5.6所得最终匹配度ρ是否大于预设的阈值，

是则认为该候选目标为行人目标，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有相关摄像机的匹配任务，

否则判断是否达到本摄像机的目标匹配任务结束时刻，是则结束流程，否则返回步骤5.1对下一视频帧继续执行匹配任务。

3.一种非重叠视域跨摄像机室内行人目标跟踪系统，其特征在于，包括以下模块：

连通关系矩阵构建模块，用于在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，

设i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B，

建立摄像机间的连通关系矩阵S如下，

单摄像机目标跟踪模块，用于根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

行人离开判断模块，用于根据单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻命令匹配范围确定模块工作，若否则命令单摄像机目标跟踪模块持续工作；

匹配范围确定模块，用于根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；

当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时长

对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，

设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有

其中，V_max、V_min分别为行人步速最大、最小值，分别为中的最小值和最大值；

匹配检测模块，用于对接收到行人目标匹配指令的所有摄像机，分别从匹配范围确定模块所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和单摄像机目标跟踪模块所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以单摄像机目标跟踪模块所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回单摄像机目标跟踪模块对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。

4.根据权利要求3所述的非重叠视域跨摄像机室内行人目标跟踪系统，其特征在于：匹配检测模块中，对接收到行人目标匹配指令的每个摄像机，分别设有以下子模块，

初始行人检测子模块，用于对摄像机拍摄所得当前帧，采用梯度直方图用于行人检测算法进行行人检测，获取候选行人目标图像；

前景检测子模块，用于对当前帧进行前景检测，获取前景目标的掩膜，提取前景目标采用适用于视频图像序列的通用的背景减除算法；

优化行人检测子模块，用于将初始行人检测子模块所得候选行人目标图像和前景检测子模块所得前景目标的掩膜作与运算，提取出纯净的行人目标区域，对单摄像机目标跟踪模块所得行人目标样本图像和相应前景目标的掩膜作与运算，提取相应的纯净的行人目标区域；

空间直方图特征提取子模块，用于将优化行人检测子模块从候选行人目标图像和行人目标样本图像提取出的行人目标区域分别作为待提取特征的图像，计算图像的空间直方图，获取空间直方图的相似度ρ_s；

感知hash特征提取子模块，用于对初始行人检测子模块所得候选行人目标图像的背景区域填充白色，得到相应图像块a；对单摄像机目标跟踪模块所得行人目标样本图像的背景区域填充白色，得到相应图像块b；对图像块a和图像块b，分别根据比例截取行人目标躯干部分及腿部，得到2个图像块a’和b’；对2个图像块a’和b’分别采用感知hash算法提取指纹后，采用汉明距离来计算2个图像块的相似度ρ_p；

最终匹配度提取子模块，用于将初始行人检测子模块所得候选行人目标图像和单摄像机目标跟踪模块所得行人目标样本图像的最终匹配度ρ表示为

ρ＝αρ_s+βρ_p

式中，α、β为预设的权值；

判断子模块，用于判断最终匹配度提取子模块所得最终匹配度ρ是否大于预设的阈值，是则认为该候选目标为行人目标，命令单摄像机目标跟踪模块对该候选目标进行单摄像头目标跟踪，并停止所有相关摄像机的匹配任务，

否则判断是否达到本摄像机的目标匹配任务结束时刻，是则结束流程，否则命令初始行人检测子模块对下一视频帧继续执行匹配任务。