CN104881637A

CN104881637A - 基于传感信息及目标追踪的多模信息系统及其融合方法

Info

Publication number: CN104881637A
Application number: CN201510234035.6A
Authority: CN
Inventors: 吴贺俊; 洪福强
Original assignee: SYSU CMU Shunde International Joint Research Institute; National Sun Yat Sen University
Current assignee: Sun Yat Sen University; SYSU CMU Shunde International Joint Research Institute; National Sun Yat Sen University
Priority date: 2015-05-09
Filing date: 2015-05-09
Publication date: 2015-09-02
Anticipated expiration: 2035-05-09
Also published as: CN104881637B

Abstract

本发明公开了一种基于传感信息及目标追踪的多模信息系统，其特征在于，包括视觉信息收集模块，非视觉信息收集模块以及信息匹配模块，所述视觉信息收集模块建立在分布式多摄像头网络，它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模块包括传感器信息收集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块；本发明具有适用范围广泛，可降低后台图像识别处理压力，提供长效历史数据等优点，并可广泛应用于人物追踪，行为挖掘，公共安全等领域。

Description

基于传感信息及目标追踪的多模信息系统及其融合方法

技术领域

本发明涉及一种目标追踪系统，尤其系一种基于传感信息及目标追踪的多模信息系统及其融合方法。

背景技术

基于视频图像的多摄像头追踪技术，是目前计算机视觉领域的一个具有挑战性和吸引力的基础研究方向；由于基于单一摄像头目标追踪所带来的不可避免的目标遮掩，信息缺失等缺陷，通过多摄像的多目标跟踪系统，可以利用不同视野域较好的解决这些问题；其关键技术在于人体目标重识别(PRID)。

人体目标重识别，在非重叠的多摄像头系统中，跨越多个不同的摄像头节点，并通过其特征以及时空约束等方法进行人体目标的重新辨认。由于拍摄角度，光照信息等因素的影响，会造成重识别的误判；在重识别过程中一般包括：

1）不变的外观特征；

2）基于摄像机对之间的特征转换；

3）基于外观特征间的距离。

基于目标追踪的轨迹挖掘，相对于一般意义上的目标追踪，拥有更大的物理跨度以及更长时间的长效性。相对于目标追踪，轨迹挖掘获得的信息并不只是当前一个时间点上的信息获取，而是基于多个摄像头在不同的视野域中获取的具有时空域的位置序列。通过对追踪目标在不同摄像机节点中的多维特征提取和匹配，可获得一个基于时间的物理位置的轨迹信息。通过利用非视觉信息进行相互关联，可以构建多模信息系统。多模信息能够为任务行为挖掘，公共安全等领域提供有价值的分析信息。

在现有技术中，列举一些相近的发明专利以及案例，如中国发明专利申请号：201210050622.6，名称为“一种目标人体识别方法”，公开了以下技术内容，它通过对两个包含同一人体对象的图像序列进行分割处理，获得每帧图像中的人体对象区域，然后根据两个图像序列中的每帧图像中的人体对象区域，分别计算两个图像序列的空间颜色特征相似度和局部特征相似度，再利用颜色特征相似度和局部特征相似度训练SVM分类器，最后利用SVM分类器对待识别的两个图像序列进行目标人体识别，由于本发明方法充分利用空间颜色特征和局部特征来识别目标人体。

又如：中国发明专利申请号：201410332199.8，名称为“一种基于多摄像头的在线目标跟踪方法及系统”，该专利中公开了一种基于多摄像头的在线目标跟踪方法及系统，它结合预设定的校准同步方案与自学习的跟踪方法来解决多摄像头之间的协同性问题和实时性问题，提出相应的方法。本发明提出的校准同步方案采用特征点匹配的目标投影矩阵计算方式，对重叠区域的多个摄像头共有信息进行同步；本发明提出的自学习跟踪方法记录监控目标的表现模型，并通过中心服务器同步到近邻摄像头进行检测跟踪，达到传导性的信息同步效果。

通过上述专利申请公开信息及现状分析，在多摄像头计算机视觉领域下的目标追踪构建多模数据模型，仍存在以下不足之处：

（1）.非重叠摄像头之间物理位置的独立性，其带来的角度问题是人体目标重追踪中不可忽略的问题；

（2）.普遍使用多个不同特征的相似性，而并非使用目标对象之间多个特征的距离，不能保证其鲁棒性；

（3）.主要针对的仍然是基于追踪对象的判别，而并未对获取到的目标追踪信息进行有效的信息融合，且其摄像头节点仅是单纯的获取录像信息的单元，进行的是集中式的图像处理。

发明内容

为解决上述现有技术存在的不足，本发明的目的在于：提供一个基于传感信息及分布式目标追踪的多模信息系统，它通过分布式多摄像头网络的目标特征提取及跨摄像头追踪，并将目标追踪结果与非视觉信息相互融合为多模信息。

本发明的另一目的还在于提供一种基于上述传感信息及分布式目标追踪的多模信息系统的信息融合方法。

本发明中解决其技术问题采用的技术方案如下：

基于传感信息及目标追踪的多模信息系统，其特征在于，包括视觉信息收集模块，非视觉信息收集模块以及信息匹配模块，所述视觉信息收集模块建立在分布式多摄像头网络，它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模块包括传感器信息收集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块。

本发明还可以作如下进一步改进：

作为更具体的方案，所述摄像头系统节点包括多个非重叠区域设置的独立摄像头组成。

作为更具体的方案，所述检查点摄像头组包括多个具有多角度的重叠视野域的独立摄像头组成。

作为进一步的改进，所述每个独立摄像头包括多目标追踪模块、多特征信息提取模块、网络通信模块、微处理器和摄像头模块。

作为更优选之方案，所述传感器信息收集包括RFID信息收集模块、和/或身份证信息收集模块、和/或小区门禁系统信息收集模块。

本发明的另一目的是通过以下技术方案实现：

一种基于传感信息及目标追踪的多模信息系统的融合方法，其特征在于，包括如下步骤：

（a）视觉信息收集模块：基于分布式多摄像头网络，对具有非重叠区域设置的独立摄像头中获取的视频数据利用码本codebook的前景提取方法，基于HOG的行人辨认，基于粒子滤波及匈牙利算法进行多目标追踪并分割，基于短时间序列的目标轨迹获取每个目标的角度信息并提取出追踪目标的多维特征信息，提取后的多维特征信息通过组合，获得对特征向量距离；

（b）视觉信息收集模块：在检查点，利用检查点摄像头组，获取目标并追踪目标的多维特征，利用不同目标的多维特征信息组合成对特征向量距离，利用对特征向量距离作为新特征，包含了角度信息，该目标追踪信息与身份信息具有与时间约束；

（c）非视觉信息收集模块：在检查点，利用传感器信息收集，获取非视觉个人身份信息，包括RFID信息，和/或小区门禁系统信息，和/或身份证信息，将该非视觉个人身份信息与目标追踪信息具有时间约束；

（d）信息匹配模块：通过网络通信模块将分布式摄像头网络中每个摄像头节点提取的多维特征信息，角度信息以及摄像头节点信息和时间信息传输到后台的处理模块中，将多维特征信息及角度信息利用训练的分类器进行人物目标重识别；

(e) 信息匹配模块：对人物目标重识别获得的目标关联，结合时间约束及与个人身份信息，建立具有多模态信息记录系统。

作为上述更具体的方案，所述多维特征提取包括对目标利用物理空间信息及图像序列，获取的角度信息以及基于目标图像区域信息获得的颜色，纹理，形状所组成的多维特征向量。

作为上述更具体的方案，所述人物目标重识别包括接收摄像头节点获取的视觉信息，使用了多维特征信息并组合成对特征向量距离PFD作为新特征，包括对目标追踪方法以检查点获取的多维特征信息作为训练样本，包括人体目标重识别使用以多维特征组合的对特征向量距离作为特新征的目标追踪判别方法，所述视觉信息包括目标多维特征向量及括目标角度信息。

作为上述更具体的方案，所述多模数据匹配模块包括接收摄像头节点信息及非视觉收集信息，包括对视觉信息及非视觉信息基于时间约束相互匹配，包括对于基于个人身份信息的历史记录的多次匹配，构建一个基于历史记录的多模信息模型。

本发明的有益效果如下：

1.采用了分布式特征提取及目标追踪，降低后台处理的压力。

2.人体目标重识别的追踪中使用了包含角度的，利用特征距离对作为训练样本的分类器，提高了鲁棒性。

3.通过对检查点处的个人身份信息提取，结合时间约束进行视觉轨迹信息及个人身份的信息融合。在单纯的判别基础之上进行了多模信息的融合。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1 为本发明多模信息系统的方框原理示意图。

图2 为本发明分布式多摄像头网络示意图。

图3 为本发明分布式多摄像头节点结构示意图。

图4 为本发明的图像多维特征信息提取结构示意图。

图5 为本发明在检查点信息获取的原理示意图。

图6 为本发明跨目标识别分类器结构示意图。

图7 为两种SVM分类器正负样本示意图。

图8为轨迹信息示意图。

图9 为多模信息模型示意图。

具体实施方式

为了使本发明的目的，技术方案及优势更加清楚明了，以下结合附图进行详细技术展示，对本发明做出进一步详细阐述。应当理解，此处所描述的具体案例分析及参考案例仅仅用于解释本发明，并不限定本发明的适用范围。

如图1所示的具体实施例，基于传感信息及目标追踪的多模信息系统；本实施例是一种基于多摄像头计算机视觉领域下的目标追踪构建多模数据模型的系统，其中包括视觉信息收集模块，非视觉信息收集模块以及信息匹配模块，所述视觉信息收集模块建立在分布式多摄像头网络，它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模块包括传感器信息收集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块。

所述摄像头系统节点包括多个非重叠区域设置的独立摄像头组成；检查点摄像头组包括多个具有多角度的重叠视野域的独立摄像头组成。

所述每个独立摄像头包括多目标追踪模块、多特征信息提取模块、网络通信模块、微处理器和摄像头模块。

所述传感器信息收集包括RFID信息收集模块、和/或身份证信息收集模块、和/或小区门禁系统信息收集模块。

参照图2所示，视觉信息模块下由分布式多摄像头网络所构成；其中包括多个分布式的独立摄像头节点C₁等，以及具有重叠区域的一个或以上检查点摄像头组，其由多个独立摄像头节点组成，即图示的C_ch1及C_ch2。多个独立摄像头间无重叠区域，可以得到独立摄像头的位置及序号信息。

每个独立摄像头节点包括多个模块，参照图3，其中包括摄像头模块，处理器模块，网络通信模块。其中处理器模块包括单摄像头多目标追踪模块，以及目标特征信息提取模块。每个节点通过摄像头进行图像的摄取，利用分布式摄像头内部微处理器模块，进行单摄像头的多目标信息处理，通过特征提取模块获得基于单一追踪目标的角度以及多维特征向量信息，最终通过网络模块将包括物理位置信息以及视觉信息传送到后台信息匹配模块。

其中多维特征向量信息提取包括颜色，形状，纹理等信息，参照图4，具体细节及方法在后续实施例分析中阐述。

通过检查点非视觉信息进行提取，其中包括视觉及非视觉信息，参照图5，视觉提取如上述摄像头节点所述，此处着重于非视觉信息提取，所述非视觉信息提取包括且不仅限于如RFID，小区门禁系统信息，身份证信息等非视觉信息提取，其中包括传感器模块，以及网络传输模块。将非视觉信息，即个人身份信息传输到后台信息匹配模块。

信息匹配模块利用基于多摄像头的分布式目标特征提取及目标追踪，对多个非重叠区域中的追踪目标进行相互关联，参照图6。该目标追踪方法使用了角度信息，使用了多维特征信息并组合成对特征向量距离（PFD）作为新特征，以检查点获取的多维特征信息作为训练样本，参照图7。

在本发明中，基于时间约束，对检查点处获取到的个人身份信息提取，如RFID，小区门禁系统信息，身份证信息等非视觉信息，与目标追踪结果进行相互匹配，获取到具有视觉信息及非视觉信息的多模信息，参照图8。

参照图9所示模型，本发明通过对多模信息历史性的相互关联，最终得到一个基于分布式多摄像头的目标追踪及多模信息系统。

下面结合具体的实施例及附图对本发明作进一步的详细说明。

其结构参照图1，由于实施例中具体系统实施的情况，与本方法所提出完整结构示意有些许细微差别。对于熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

本实施的多模信息系统的融合方法如下:

一种基于传感信息及分布式目标追踪的多模信息系统的融合方法，其特征在于，包括如下步骤：

下面基于实施例具体步骤及模块做具体阐述：

1、分布式多摄像头网络

参照图2，本实施例中分布式多摄像头网络系统模块包括多个独立的摄像头节点。其中分为普通节点以及检查点摄像头组，其中独立的摄像头节点具有不重叠的视野域。

参照图3，本实施例中独立摄像头节点包括摄像头模块，处理器模块，网络通信模块。其中处理器模块包括单摄像头多目标追踪模块，以及目标特征信息提取模块。下面对各个模块进行详细说明。

1) 摄像头模块

在本发明测试例中，摄像头模块采用了海康摄像头，通过摄像头节点中视频信息的采集，利用摄像头节点中微处理器系统，对视频信息进行多目标追踪并对多目标追踪所得目标图像区域进行多维特征信息的提取。

微处理器可以采用ARM Cortex-A8处理器。ARM Cortex-A8处理器属于Cortex-A系列，基于ARMv7-A架构。它是ARM的第一款超标量处理器，具有提高代码密度和性能的技术，用于多媒体和信号处理的NEON^TM技术，以及用于高效地支持预编译和即时编译Java及其他字节码语言的Jazelle&reg；运行时间编译目标（RCT）技术。同时，ARM Cortex-A8处理器是首款基于ARMv7体系结构的产品，能够将速度从600MHz提高到1GHz以上。Cortex-A8处理器可以满足需要在300mW以下运行的移动设备的功率优化要求；以及需要2000 Dhrystone MIPS的消费类应用领域的性能优化要求。

2) 单一摄像头多目标追踪模块

在本发明中采用分布式摄像头的目标提取，每个摄像头单元中使用独立的追踪模块，模块内使用基于码本（codebook）背景模型的背景建模算法。通过码本的粗略建模提取出一个大概的前景区域之后，使用HOG提取HOG特征向量，然后使用线性SVM进行分类判断当前检测窗口是否是行人，最后对检测到的结果非最大抑制操作输出最后检测到的行人。对于单一摄像头j时刻追踪的追踪对象用以下4元组表示：

（式1）

其中x _j为当前追踪区域位置，s _j为追踪区域大小，t _j当前时间，i为人物标示。

此时对于某帧图像上多个目标人物的检测已经完成，之后通过粒子滤波的跟踪状态。在连续的视频帧中，假设在t-1时刻，跟踪目标的状态为X _t-1，当前观测状态为Y _t-1,而Y _1:t-1表示1到t-1时刻所有观测状态。根据贝叶斯原理，通过一组观测状态来估计系统状态的问题可以转换为计算每一时刻t的后验概率 p(X _t |Y _1:t-1 )。通过过递归地执行状态的预测和更新过程来计算后验概率，从而获得最优的推断结果

根据匈牙利算法的匹配结果，对于t时刻的n个检测结果D和m个跟踪目标T，可以定义为一个二分图G（D,T；E），其中每条边E有一个非负的置信度C表示检测结果与跟踪目标的相似度，实现视频即图像序列的数据关联。

通过上述方法关联为多个不同时间点的追踪对象的集合。其模型表达如下：

（式2）

而对于单一摄像头其多目标追踪的集合为X，其模型表达如以下：

（式3）

本模块通过以上方法，得到了一个单摄像头节点内的多目标追踪，并获取到较好人物目标图像区域。

3) 目标多维特征信息提取模块

在本模块中，对于上述获取单摄像头节点的多目标人物目标区域，进行多维特征信息提取，其步骤包括对角度信息的提取以及对目标区域特征的提取。

a. 对于单一追踪目标轨迹序列，通过人行走的方向性，提取出角度信息 θ。

由于行人行走路线的指向性，我们可以由上述目标追踪中获取到行人的行走的角度信息。

（式4）

其中ΔY，ΔX为一短时间内目标图像基于地面的不同位置。

由t = [t_x t_y t_z]以及r = [σ_x σ_y σ_z]此参数作为照相机图像坐标到实际基于地面的转换位置。此参数基于不同摄像头的位置信息不同而改变。通过对短时间内单一摄像头同一目标图像序列的可以获得其图像位置信息ΔY _c，ΔX _c。

根据目标位置的映射关系：

（式5）

（式6）

由此我们可以获取到追踪目标的角度信息，得出每个目标基于摄像头的角度值 θ。

b. 对于单一追踪目标序列选取其中一帧图像提取该目标的多维特征信息。

在本例中，使用但不仅限于使用该选取方法，采取式2中图像序列中值帧作为该追踪目标的多维特征提取图片。

参照图4中所示，对于特定区域的图片进行3个部分的特征提取，分别是基于目标区域内的色彩特征，纹理局部特征，以及形状特征。

其中色彩特征是对一个人体追踪目标区域分解为3个色彩特征部分，分别为头部，上半身以及下半身。其中由于头部部分包含较多非人体区域，所以舍弃该部分，只取上半身以及下半身部分。此两部分色彩特征使用Lab色彩空间，由于Lab色彩空间中对光照分量独立处理。使得多个摄像头间的光照差异可以进行处理，对设备依赖性更低，复合本方法中分布式摄像头网络的物理需求。且Lab色彩空间较大，对色彩特征提取更具有优势。

在此部分中先将普通RGB图像转化为CIE XYZ空间，其公式表达如下

（式7）

然后将将XYZ 空间转换为Lab空间。

（式8）

通过置换后获得Lab空间表达，提取Lab色彩直方图。其表达为Y=（L,A,B）。

对其特征提取记录为上半身色彩特征Y_T,下半身色彩特征Y_L。

其中纹理局部特征使用Leung-Malik滤波器组来提取特征，其中包含48个滤波器，在6个方向，3个尺度和2个相位的高斯二次导组成了36个滤波器，8个高斯拉普拉斯滤波器，4个高斯滤波器，通过多尺度，多方向LM滤波器模块，可以提高辨识的准确率，获得人体追踪目标的纹理特征 Λk。

其中形状特征使用分层梯度方向直方图PHOG，PHOG对同一幅图像进行不同尺度的分割，然后计算每个尺度中分块的小HOG，最后将他们连接成一个一维向量，可以检测到不同尺度的特征，表达能力更强，其获得的形状特征为Φ。

其多维特征向量模型如下所示：

（式9）

获取到某两个兴趣目标图像多维特征向量如FV_a,FV_b。此处基于距离提取两个目标a,b间的对特征向量距离。此距离可选用诸如马氏距离，欧几里得距离等多种距离度量作为新特征。

在此实例中，采取欧式距离作为对特征向量距离的描述。

由此可得一对图像之间的对特征向量距离为

（式10）

本例中对于单一追踪目标序列，选取其中一帧图像提取该目标的多维特征信息。并且作为目标特征与已检测目标特征向量进行距离求解，作为测试样例输入。

c. 特别的对于检查点处的摄像头组通过多角度录像。

获得多组不同角度的关于同一追踪人物的追踪图像，该方法同前述独立摄像头节点目标追踪，该组人物图像匹配由物理及时间约束相互关联，可以用追踪序列及角度信息表示：

（式11）

后续所述SVM分类器即是使用基于多个角度图像序列，提取出对应的FV，计算出同角度以及不同角度的同一及不同对象的PFD，将其作为正负样本进行样本训练。

2、非视觉个人信息收集

参照图5，本系统中非视觉个人信息收集系统包括且不仅限于RFID，小区门禁系统信息，身份证信息等信息提取系统。

本例中仅以RFID作为例子，不仅限于该非视觉信息的收集。RFID识别模块包括RFID阅读器和带有RFID标签的物理承载物品，如本例中小区门禁卡。在检查点处，RFID阅读器读出个人身份信息，识别完毕后，RFID阅读器将信息传送至微处理器，获取到个人身份信息。

获取到的身份信息模型,由id_i个人身份信息以及检测时间t表示：

（式12）

在本例中，RFID传感器处于检查点多摄像头组的重叠视野域内。由上述ID信息定义目标通过RFID传感器的检测事件。同时由于多摄像头组的目标检测事件，有定义在多个摄像头上的目标追踪事件。每个摄像头上的目标追踪时间范围分别为为T₁,T₂,T₃，由此我们可以得到对于非视觉个人信息及已检测目标图像信息的时间约束，即。

由上述实例可知，对于检查点的非视觉个人信息以及多角度的特征收集是有关于时间t上的约束关系。因此可以将同一人物的多角度特征与个人信息相互匹配。

、跨摄像头人体目标重识别

本系统中跨摄像头人物目标重识别包括使用检查点所获取多角度同一目标图像多维特征特征的对特征向量距离PFD作为正负样本训练SVM分类器，包括使用追踪目标的角度信息的预处理，包括对多维特征信息的组合形成对特征向量距离作为新的特征，包括使用对特征向量距离重新对追踪目标进行跨摄像头人物目标重识别。

参照图6，图7，本例使用θ将SVM分类器分解为两个部分。

a. 同角度SVM₁

该部分中有角度约束条件D_θ<TH_θ，其中D_θ表示组成对特征向量距离的两幅图像的角度距离，TH_θ表示设定的一个角度阈值，此例中选择为45°，即分解为8个方向，选取最接近的一个方向作为相近角度。此分类器训练中，训练集正样本为检查点中获取的同一目标同一角度下短时间内图像的对特征向量距离，而负样本为不同目标同一角度下的对特征向量距离。输入为分布式摄像头节点中FV及相同角度下检查点中的多个已辨识目标的FV所求得的PFD，其输出为一个值Score_s。

在本实例中，已知前述检查站获取多摄像头组获取连续时间内同一目标视频序列。可知→0的帧间隔内，图像角度D_θ→0。因此，选择多组同一目标连续图像作为特征提取目标有、....，其表示同一目标短时间间隔内对特征向量距离。该部分输入作为SVM₁训练集正样本。

同时，前述检查站获取了相异时间内非同一目标的同一角度信息。由前述角度判决D_θ<TH_θ，即t1时刻a目标图像与t2时刻b目标具有相近角度，约束条件（式13）

选择其对特征向量距离等。作为SVM₁训练集作为负样本。

b. 异角度SVM₁

第二个部分为SVM_2，该部分中有角度约束条件D_θ>TH_θ。此分类器训练中，训练集正样本为检查点中获取的同一目标不同角度下图像的对特征向量距离，而负样本为不同目标不同角度下的对特征向量距离。输入为分布式摄像头节点中FV及不同角度下检查点中的多个已辨识目标的FV所求得的PFD，其输出为一个概率值Score_d。

在此例中，已知前述检查站多摄像头组获取了同一时间内同一目标多角度图像序列，对该部分目标进行对特征向量距离提取，获得异角度下的同一目标PFD，此部分作为输入作为SVM₂训练集正样本。

同时，前述检查站获取了非同一相同目标相异角度图像。利用不同目标多维特征向量，计算其PFD，作为SVM₂训练集负样本。

c. 测试样例

首先对测试样例角度信息θ进行判决，与前述检查站多摄像头组获取多角度目标信息进行比较。

若有相同角度的目标信息，则使用SVM₁分类器判决。

在此例中选取所有已获取目标信息选取相同角度特征向量与测试样本特征向量求得多对同角度PFD , 通过判决器得出多个Score_s,a，Score_s,b其中Score_s最大并且其Score_s>ε_s，则判断测试样例为对特征向量所匹配的目标。

若在摄像头组中未有与测试目标相近的角度信息，则对样例使用SVM₂分类器判决。此处，令样例与已获取目标信息不同角度分别提取多个PFD信息。将样本投入分类器中，求得多组Score_d。每组中，如Score_d,a含有与同一样本不同角度的样本的PFD分类Score_d,aθ。对每组Score_d，Score_d,x进行加权处理，可以使权值与角度值θ相关联。本例中使用权值为均值,最终得出一个Score_d。

（式14）

进行加权处理求得最高的Score_d最大并且其Score_d>ε_d，则判断测试样例为对特征向量所匹配的目标。

4、多模信息系统

参照图5，本例中多模信息系统包含两个部分，分别为视觉信息及非视觉信息。

参照图8，本例利用所述跨摄像头目标重识别，对目标进行匹配，并对非视觉信息及视觉信息进行关联，获取一个最大的匹配，，该匹配与摄像头组获取的一组多角度目标具有最高的相似度，且该相似度大于所设定的阈值，此时检测目标可与已获取目标相互匹配。

又由于已获取目标图像序列中含有时间信息，该时间信息与检查点中非视觉信息有时间约束的关系。进而得到人物目标重识别--已经获取目标视觉信息--非视觉信息，3种信息的匹配关联。同时我们能够获取到基于分布式摄像头网络传送特征信息的摄像头节点信息。

因此，我们通过视觉信息的匹配，构建了一个关于个人身份信息，物理空间信息（摄像头序号），物理时间信息的3元组，如下述表达

（式15）

其中id为非视觉信息所述的个人身份信息，cam_i为获取到该测试对象的摄像头，t_i为该测试对象的获取FV的图像帧的时间信息。该3元组表达了在t_i时间上，身份信息为id的人物目标出现在cam_i摄像区域。进而构成一个时空域上的一个点。

通过对同一目标的多个不同时间段上获得的时空域的点信息。对于单个目标身份信息为id的人物目标，我们构建了对于单次行为模式识别的追踪轨迹，其由一系列点信息构成，其模型可以用一个序列表示：

（式16）

其中T表示某一单次轨迹追踪的序号，其表达在一段时间内，对于T此次目标轨迹追踪，人物身份信息为id的目标经过集合内多个时空轨迹点的路线。至此，本例获得了一个基于单一目标的单次轨迹追踪。

可以看出，利用基于非视觉信息的个人信息关联性，本系统可以建立一个通过个人信息相互关联的多模历史记录，其中包括对于同一目标多次行为模式识别的追踪轨迹，其模型表达为：

（式17）

通过对多个目标在历史记录上的关联，本例最终建立一个具有多模态信息记录系统。参考图9，为本例最终获得多模态信息记录系统拓扑结构。

以上是对本发明的一个物理模型实施例进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.基于传感信息及目标追踪的多模信息系统，其特征在于，包括视觉信息收集模块，非视觉信息收集模块以及信息匹配模块，所述视觉信息收集模块建立在分布式多摄像头网络，它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模块包括传感器信息收集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块。

2.根据权利要求1所述基于传感信息及目标追踪的多模信息系统，其特征在于，所述摄像头系统节点包括多个非重叠区域设置的独立摄像头组成。

3.根据权利要求1所述基于传感信息及目标追踪的多模信息系统，其特征在于，所述检查点摄像头组包括多个具有多角度的重叠视野域的独立摄像头组成。

4.根据权利要求2或3所述基于传感信息及目标追踪的多模信息系统，其特征在于，所述每个独立摄像头包括多目标追踪模块、多特征信息提取模块、网络通信模块、微处理器和摄像头模块。

5.根据权利要求1所述基于传感信息及目标追踪的多模信息系统，其特征在于，所述传感器信息收集包括RFID信息收集模块、和/或身份证信息收集模块、和/或小区门禁系统信息收集模块。

6.一种如权利要求1所述基于传感信息及目标追踪的多模信息系统的融合方法，其特征在于，包括如下步骤：

7.根据权利要求6所述基于传感信息及分布式目标追踪的多模信息系统的融合方法，其特征在于，所述多维特征提取包括对目标利用物理空间信息及图像序列，获取的角度信息以及基于目标图像区域信息获得的颜色，纹理，形状所组成的多维特征向量。

8.根据权利要求6所述基于传感信息及目标追踪的多模信息系统的融合方法，其特征在于，所述人物目标重识别包括接收摄像头节点获取的视觉信息，使用了多维特征信息并组合成对特征向量距离PFD作为新特征，包括对目标追踪方法以检查点获取的多维特征信息作为训练样本，包括人体目标重识别使用以多维特征组合的对特征向量距离作为特新征的目标追踪判别方法，所述视觉信息包括目标多维特征向量及括目标角度信息。

9.根据权利要求6所述基于传感信息及目标追踪的多模信息系统的融合方法，其特征在于，所述多模数据匹配模块包括接收摄像头节点信息及非视觉收集信息，包括对视觉信息及非视觉信息基于时间约束相互匹配，包括对于基于个人身份信息的历史记录的多次匹配，构建一个基于历史记录的多模信息模型。