CN104881637B - 基于传感信息及目标追踪的多模信息系统及其融合方法 - Google Patents

基于传感信息及目标追踪的多模信息系统及其融合方法 Download PDF

Info

Publication number
CN104881637B
CN104881637B CN201510234035.6A CN201510234035A CN104881637B CN 104881637 B CN104881637 B CN 104881637B CN 201510234035 A CN201510234035 A CN 201510234035A CN 104881637 B CN104881637 B CN 104881637B
Authority
CN
China
Prior art keywords
information
target
camera
module
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510234035.6A
Other languages
English (en)
Other versions
CN104881637A (zh
Inventor
吴贺俊
洪福强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SYSU CMU Shunde International Joint Research Institute
National Sun Yat-sen University
Original Assignee
SYSU CMU Shunde International Joint Research Institute
National Sun Yat-sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYSU CMU Shunde International Joint Research Institute, National Sun Yat-sen University filed Critical SYSU CMU Shunde International Joint Research Institute
Priority to CN201510234035.6A priority Critical patent/CN104881637B/zh
Publication of CN104881637A publication Critical patent/CN104881637A/zh
Application granted granted Critical
Publication of CN104881637B publication Critical patent/CN104881637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
    • G06K9/00718Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques

Abstract

本发明公开了一种基于传感信息及目标追踪的多模信息系统,其特征在于,包括视觉信息收集模块,非视觉信息收集模块以及信息匹配模块,所述视觉信息收集模块建立在分布式多摄像头网络,它包括摄像头系统节点和检查点摄像头组,所述非视觉信息收集模块包括传感器信息收集,信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块;本发明具有适用范围广泛,可降低后台图像识别处理压力,提供长效历史数据等优点,并可广泛应用于人物追踪,行为挖掘,公共安全等领域。

Description

基于传感信息及目标追踪的多模信息系统及其融合方法
技术领域
[0001] 本发明涉及一种目标追踪系统,尤其系一种基于传感信息及目标追踪的多模信息 系统及其融合方法。
背景技术
[0002] 基于视频图像的多摄像头追踪技术,是目前计算机视觉领域的一个具有挑战性和 吸引力的基础研究方向;由于基于单一摄像头目标追踪所带来的不可避免的目标遮掩,信 息缺失等缺陷,通过多摄像的多目标跟踪系统,可以利用不同视野域较好的解决这些问题; 其关键技术在于人体目标重识别(PRID)。
[0003] 人体目标重识别,在非重叠的多摄像头系统中,跨越多个不同的摄像头节点,并通 过其特征以及时空约束等方法进行人体目标的重新辨认。由于拍摄角度,光照信息等因素 的影响,会造成重识别的误判;在重识别过程中一般包括:
[0004] 1)不变的外观特征;
[0005] 2)基于摄像机对之间的特征转换;
[0006] 3)基于外观特征间的距离。
[0007] 基于目标追踪的轨迹挖掘,相对于一般意义上的目标追踪,拥有更大的物理跨度 以及更长时间的长效性。相对于目标追踪,轨迹挖掘获得的信息并不只是当前一个时间点 上的信息获取,而是基于多个摄像头在不同的视野域中获取的具有时空域的位置序列。通 过对追踪目标在不同摄像机节点中的多维特征提取和匹配,可获得一个基于时间的物理位 置的轨迹信息。通过利用非视觉信息进行相互关联,可以构建多模信息系统。多模信息能够 为任务行为挖掘,公共安全等领域提供有价值的分析信息。
[0008] 在现有技术中,列举一些相近的发明专利以及案例,如中国发明专利申请号: 201210050622.6,名称为“一种目标人体识别方法”,公开了以下技术内容,它通过对两个包 含同一人体对象的图像序列进行分割处理,获得每帧图像中的人体对象区域,然后根据两 个图像序列中的每帧图像中的人体对象区域,分别计算两个图像序列的空间颜色特征相似 度和局部特征相似度,再利用颜色特征相似度和局部特征相似度训练SVM分类器,最后利用 SVM分类器对待识别的两个图像序列进行目标人体识别,由于本发明方法充分利用空间颜 色特征和局部特征来识别目标人体。
[0009] 又如:中国发明专利申请号:201410332199.8,名称为“一种基于多摄像头的在线 目标跟踪方法及系统”,该专利中公开了一种基于多摄像头的在线目标跟踪方法及系统,它 结合预设定的校准同步方案与自学习的跟踪方法来解决多摄像头之间的协同性问题和实 时性问题,提出相应的方法。本发明提出的校准同步方案采用特征点匹配的目标投影矩阵 计算方式,对重叠区域的多个摄像头共有信息进行同步;本发明提出的自学习跟踪方法记 录监控目标的表现模型,并通过中心服务器同步到近邻摄像头进行检测跟踪,达到传导性 的信息同步效果。
[0010] 通过上述专利申请公开信息及现状分析,在多摄像头计算机视觉领域下的目标追 踪构建多模数据模型,仍存在以下不足之处:
[0011] (1).非重叠摄像头之间物理位置的独立性,其带来的角度问题是人体目标重追踪 中不可忽略的问题;
[0012] (2).普遍使用多个不同特征的相似性,而并非使用目标对象之间多个特征的距 离,不能保证其鲁棒性;
[0013] (3).主要针对的仍然是基于追踪对象的判别,而并未对获取到的目标追踪信息进 行有效的信息融合,且其摄像头节点仅是单纯的获取录像信息的单元,进行的是集中式的 图像处理。
发明内容
[0014] 为解决上述现有技术存在的不足,本发明的目的在于:提供一个基于传感信息及 分布式目标追踪的多模信息系统,它通过分布式多摄像头网络的目标特征提取及跨摄像头 追踪,并将目标追踪结果与非视觉信息相互融合为多模信息。
[0015] 本发明的另一目的还在于提供一种基于上述传感信息及分布式目标追踪的多模 信息系统的信息融合方法。
[0016] 本发明中解决其技术问题采用的技术方案如下:
[0017] 基于传感信息及目标追踪的多模信息系统,其特征在于,包括视觉信息收集模块, 非视觉信息收集模块以及信息匹配模块,所述视觉信息收集模块建立在分布式多摄像头网 络,它包括摄像头系统节点和检查点摄像头组,所述非视觉信息收集模块包括传感器信息 收集,信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块。
[0018] 本发明还可以作如下进一步改进:
[0019] 作为更具体的方案,所述摄像头系统节点包括多个非重叠区域设置的独立摄像头 组成。
[0020] 作为更具体的方案,所述检查点摄像头组包括多个具有多角度的重叠视野域的独 立摄像头组成。
[0021] 作为进一步的改进,所述每个独立摄像头包括多目标追踪模块、多特征信息提取 模块、网络通信模块、微处理器和摄像头模块。
[0022] 作为更优选之方案,所述传感器信息收集包括RFID信息收集模块、和/或身份证信 息收集模块、和/或小区门禁系统信息收集模块。
[0023] 本发明的另一目的是通过以下技术方案实现:
[0024] —种基于传感信息及目标追踪的多模信息系统的融合方法,其特征在于,包括如 下步骤:
[0025] (a)视觉信息收集模块:基于分布式多摄像头网络,对具有非重叠区域设置的独立 摄像头中获取的视频数据利用码本codebook的前景提取方法,基于HOG的行人辨认,基于粒 子滤波及匈牙利算法进行多目标追踪并分割,基于短时间序列的目标轨迹获取每个目标的 角度信息并提取出追踪目标的多维特征信息,提取后的多维特征信息通过组合,获得对特 征向量距离;
[0026] (b)视觉信息收集模块:在检查点,利用检查点摄像头组,获取目标并追踪目标的 多维特征,利用不同目标的多维特征信息组合成对特征向量距离,利用对特征向量距离作 为新特征,包含了角度信息,该目标追踪信息与身份信息具有与时间约束;
[0027] (c)非视觉信息收集模块:在检查点,利用传感器信息收集,获取非视觉个人身份 信息,包括RFID信息,和/或小区门禁系统信息,和/或身份证信息,将该非视觉个人身份信 息与目标追踪信息具有时间约束;
[0028] (d)信息匹配模块:通过网络通信模块将分布式摄像头网络中每个摄像头节点提 取的多维特征信息,角度信息以及摄像头节点信息和时间信息传输到后台的处理模块中, 将多维特征信息及角度信息利用训练的分类器进行人物目标重识别;
[0029] (e)信息匹配模块:对人物目标重识别获得的目标关联,结合时间约束及与个人 身份信息,建立具有多模态信息记录系统。
[0030] 作为上述更具体的方案,所述多维特征提取包括对目标利用物理空间信息及图像 序列,获取的角度信息以及基于目标图像区域信息获得的颜色,纹理,形状所组成的多维特 征向量。
[0031] 作为上述更具体的方案,所述人物目标重识别包括接收摄像头节点获取的视觉信 息,使用了多维特征信息并组合成对特征向量距离PFD作为新特征,包括对目标追踪方法以 检查点获取的多维特征信息作为训练样本,包括人体目标重识别使用以多维特征组合的对 特征向量距离作为特新征的目标追踪判别方法,所述视觉信息包括目标多维特征向量及括 目标角度信息。
[0032] 作为上述更具体的方案,所述多模数据匹配模块包括接收摄像头节点信息及非视 觉收集信息,包括对视觉信息及非视觉信息基于时间约束相互匹配,包括对于基于个人身 份信息的历史记录的多次匹配,构建一个基于历史记录的多模信息模型。
[0033] 本发明的有益效果如下:
[0034] 1.采用了分布式特征提取及目标追踪,降低后台处理的压力。
[0035] 2.人体目标重识别的追踪中使用了包含角度的,利用特征距离对作为训练样本的 分类器,提高了鲁棒性。
[0036] 3.通过对检查点处的个人身份信息提取,结合时间约束进行视觉轨迹信息及个人 身份的信息融合。在单纯的判别基础之上进行了多模信息的融合。
附图说明
[0037] 下面结合附图和实施例对本发明作进一步说明。
[0038] 图1为本发明多模信息系统的方框原理示意图。
[0039] 图2为本发明分布式多摄像头网络示意图。
[0040] 图3为本发明分布式多摄像头节点结构示意图。
[0041] 图4为本发明的图像多维特征信息提取结构示意图。
[0042] 图5为本发明在检查点信息获取的原理示意图。
[0043] 图6为本发明跨目标识别分类器结构示意图。
[0044] 图7为两种SVM分类器正负样本示意图。
[0045] 图8为轨迹信息示意图。
[0046] 图9为多模信息模型示意图。
具体实施方式
[0047] 为了使本发明的目的,技术方案及优势更加清楚明了,以下结合附图进行详细技 术展示,对本发明做出进一步详细阐述。应当理解,此处所描述的具体案例分析及参考案例 仅仅用于解释本发明,并不限定本发明的适用范围。
[0048] 如图1所示的具体实施例,基于传感信息及目标追踪的多模信息系统;本实施例是 一种基于多摄像头计算机视觉领域下的目标追踪构建多模数据模型的系统,其中包括视觉 信息收集模块,非视觉信息收集模块以及信息匹配模块,所述视觉信息收集模块建立在分 布式多摄像头网络,它包括摄像头系统节点和检查点摄像头组,所述非视觉信息收集模块 包括传感器信息收集,信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数 据配模块。
[0049] 所述摄像头系统节点包括多个非重叠区域设置的独立摄像头组成;检查点摄像头 组包括多个具有多角度的重叠视野域的独立摄像头组成。
[0050] 所述每个独立摄像头包括多目标追踪模块、多特征信息提取模块、网络通信模块、 微处理器和摄像头模块。
[0051] 所述传感器信息收集包括RFID信息收集模块、和/或身份证信息收集模块、和/或 小区门禁系统信息收集模块。
[0052] 参照图2所示,视觉信息模块下由分布式多摄像头网络所构成;其中包括多个分布 式的独立摄像头节点(^等,以及具有重叠区域的一个或以上检查点摄像头组,其由多个独 立摄像头节点组成,即图示的〇^及(^2。多个独立摄像头间无重叠区域,可以得到独立摄像 头的位置及序号信息。
[0053] 每个独立摄像头节点包括多个模块,参照图3,其中包括摄像头模块,处理器模块, 网络通信模块。其中处理器模块包括单摄像头多目标追踪模块,以及目标特征信息提取模 块。每个节点通过摄像头进行图像的摄取,利用分布式摄像头内部微处理器模块,进行单摄 像头的多目标信息处理,通过特征提取模块获得基于单一追踪目标的角度以及多维特征向 量信息,最终通过网络模块将包括物理位置信息以及视觉信息传送到后台信息匹配模块。
[0054] 其中多维特征向量信息提取包括颜色,形状,纹理等信息,参照图4,具体细节及方 法在后续实施例分析中阐述。
[0055] 通过检查点非视觉信息进行提取,其中包括视觉及非视觉信息,参照图5,视觉提 取如上述摄像头节点所述,此处着重于非视觉信息提取,所述非视觉信息提取包括且不仅 限于如RFID,小区门禁系统信息,身份证信息等非视觉信息提取,其中包括传感器模块,以 及网络传输模块。将非视觉信息,即个人身份信息传输到后台信息匹配模块。
[0056] 信息匹配模块利用基于多摄像头的分布式目标特征提取及目标追踪,对多个非重 叠区域中的追踪目标进行相互关联,参照图6。该目标追踪方法使用了角度信息,使用了多 维特征信息并组合成对特征向量距离(PFD)作为新特征,以检查点获取的多维特征信息作 为训练样本,参照图7。
[0057] 在本发明中,基于时间约束,对检查点处获取到的个人身份信息提取,如RFID,小 区门禁系统信息,身份证信息等非视觉信息,与目标追踪结果进行相互匹配,获取到具有视 觉信息及非视觉信息的多模信息,参照图8。
[0058] 参照图9所示模型,本发明通过对多模信息历史性的相互关联,最终得到一个基于 分布式多摄像头的目标追踪及多模信息系统。
[0059] 下面结合具体的实施例及附图对本发明作进一步的详细说明。
[0060] 其结构参照图1,由于实施例中具体系统实施的情况,与本方法所提出完整结构示 意有些许细微差别。对于熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出 种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围 内。
[0061] 本实施的多模信息系统的融合方法如下:
[0062] —种基于传感信息及分布式目标追踪的多模信息系统的融合方法,其特征在于, 包括如下步骤:
[0063] (a)视觉信息收集模块:基于分布式多摄像头网络,对具有非重叠区域设置的独立 摄像头中获取的视频数据利用码本codebook的前景提取方法,基于HOG的行人辨认,基于粒 子滤波及匈牙利算法进行多目标追踪并分割,基于短时间序列的目标轨迹获取每个目标的 角度信息并提取出追踪目标的多维特征信息,提取后的多维特征信息通过组合,获得对特 征向量距离;
[0064] (b)视觉信息收集模块:在检查点,利用检查点摄像头组,获取目标并追踪目标的 多维特征,利用不同目标的多维特征信息组合成对特征向量距离,利用对特征向量距离作 为新特征,包含了角度信息,该目标追踪信息与身份信息具有与时间约束;
[0065] (c)非视觉信息收集模块:在检查点,利用传感器信息收集,获取非视觉个人身份 信息,包括RFID信息,和/或小区门禁系统信息,和/或身份证信息,将该非视觉个人身份信 息与目标追踪信息具有时间约束;
[0066] (d)信息匹配模块:通过网络通信模块将分布式摄像头网络中每个摄像头节点提 取的多维特征信息,角度信息以及摄像头节点信息和时间信息传输到后台的处理模块中, 将多维特征信息及角度信息利用训练的分类器进行人物目标重识别;
[0067] (e)信息匹配模块:对人物目标重识别获得的目标关联,结合时间约束及与个人 身份信息,建立具有多模态信息记录系统。
[0068] 作为上述更具体的方案,所述多维特征提取包括对目标利用物理空间信息及图像 序列,获取的角度信息以及基于目标图像区域信息获得的颜色,纹理,形状所组成的多维特 征向量。
[0069] 作为上述更具体的方案,所述人物目标重识别包括接收摄像头节点获取的视觉信 息,使用了多维特征信息并组合成对特征向量距离PFD作为新特征,包括对目标追踪方法以 检查点获取的多维特征信息作为训练样本,包括人体目标重识别使用以多维特征组合的对 特征向量距离作为特新征的目标追踪判别方法,所述视觉信息包括目标多维特征向量及括 目标角度信息。
[0070] 作为上述更具体的方案,所述多模数据匹配模块包括接收摄像头节点信息及非视 觉收集信息,包括对视觉信息及非视觉信息基于时间约束相互匹配,包括对于基于个人身 份信息的历史记录的多次匹配,构建一个基于历史记录的多模信息模型。
[0071] 下面基于实施例具体步骤及模块做具体阐述:
[0072] 1、分布式多摄像头网络
[0073] 参照图2,本实施例中分布式多摄像头网络系统模块包括多个独立的摄像头节点。 其中分为普通节点以及检查点摄像头组,其中独立的摄像头节点具有不重叠的视野域。
[0074] 参照图3,本实施例中独立摄像头节点包括摄像头模块,处理器模块,网络通信模 块。其中处理器模块包括单摄像头多目标追踪模块,以及目标特征信息提取模块。下面对各 个模块进行详细说明。
[0075] 1)摄像头模块
[0076] 在本发明测试例中,摄像头模块采用了海康摄像头,通过摄像头节点中视频信息 的采集,利用摄像头节点中微处理器系统,对视频信息进行多目标追踪并对多目标追踪所 得目标图像区域进行多维特征信息的提取。
[0077] 微处理器可以米用ARM Cortex_A8处理器。ARM Cortex_A8处理器属于Cortex-Α系 列,基于ARMv7-A架构。它是ARM的第一款超标量处理器,具有提高代码密度和性能的技术, 用于多媒体和信号处理的NEON™技术,以及用于高效地支持预编译和即时编译Java及其他 字节码语言的Jaze 11 e®运行时间编译目标(RCT)技术。同时,ARM Cortex-A8处理器是 首款基于ARMv7体系结构的产品,能够将速度从600MHz提高到IGHz以上。Cortex-A8处理器 可以满足需要在300mW以下运行的移动设备的功率优化要求;以及需要2000 Dhrystone MIPS的消费类应用领域的性能优化要求。
[0078] 2)单一摄像头多目标追踪模块
[0079] 在本发明中采用分布式摄像头的目标提取,每个摄像头单元中使用独立的追踪模 块,模块内使用基于码本(codebook)背景模型的背景建模算法。通过码本的粗略建模提取 出一个大概的前景区域之后,使用HOG提取HOG特征向量,然后使用线性SVM进行分类判断当 前检测窗口是否是行人,最后对检测到的结果非最大抑制操作输出最后检测到的行人。对 于单一摄像头j时刻追踪的追踪对象用以下4元组表示:
Figure CN104881637BD00081
[0081] 其中Z7为当前追踪区域位置,s;为追踪区域大小,ί;当前时间,i为人物标示。
[0082] 此时对于某帧图像上多个目标人物的检测已经完成,之后通过粒子滤波的跟踪状 态。在连续的视频帧中,假设在t-Ι时刻,跟踪目标的状态为,当前观测状态为Fm而 表示1到t-Ι时刻所有观测状态。根据贝叶斯原理,通过一组观测状态来估计系统状态 的问题可以转换为计算每一时刻t的后验概率p 。通过过递归地执行状态的预测 和更新过程来计算后验概率,从而获得最优的推断结果
[0083] 根据匈牙利算法的匹配结果,对于t时刻的η个检测结果D和m个跟踪目标T,可以定 义为一个二分图G(D,T;E),其中每条边E有一个非负的置信度C表示检测结果与跟踪目标的 相似度,实现视频即图像序列的数据关联。
[0084] 通过上述方法关联为多个不同时间点的追踪对象的集合。其模型表达如下:
Figure CN104881637BD00082
[0086]而对于单一摄像头其多目标追踪的集合为X,其模型表达如以下:
[
Figure CN104881637BD00083
[0088]本模块通过以上方法,得到了一个单摄像头节点内的多目标追踪,并获取到较好 人物目标图像区域。
[0089] 3)目标多维特征信息提取模块
[0090] 在本模块中,对于上述获取单摄像头节点的多目标人物目标区域,进行多维特征 信息提取,其步骤包括对角度信息的提取以及对目标区域特征的提取。
[0091] a.对于单一追踪目标轨迹序列,通过人行走的方向性,提取出角度信息Θ。
[0092] 由于行人行走路线的指向性,我们可以由上述目标追踪中获取到行人的行走的角 度信息。
[
Figure CN104881637BD00091
[0094] 其中ΔΓ,ΔΧ为一短时间内目标图像基于地面的不同位置。
[0095] 由t = [tx ty tz]以及r = [0x Oy σζ]此参数作为照相机图像坐标到实际基于地 面的转换位置。此参数基于不同摄像头的位置信息不同而改变。通过对短时间内单一摄像 头同一目标图像序列的可以获得其图像位置信息A Κ,ΔΧ„
[0096] 根据目标位置的映射关系:
Figure CN104881637BD00092
[0099] 由此我们可以获取到追踪目标的角度信息,得出每个目标基于摄像头的角度值
[0100] b.对于单一追踪目标序列选取其中一帧图像提取该目标的多维特征信息。
[0101] 在本例中,使用但不仅限于使用该选取方法,采取式2中图像序列中值帧作为该追 踪目标的多维特征提取图片。
[0102] 参照图4中所示,对于特定区域的图片进行3个部分的特征提取,分别是基于目标 区域内的色彩特征,纹理局部特征,以及形状特征。
[0103] 其中色彩特征是对一个人体追踪目标区域分解为3个色彩特征部分,分别为头部, 上半身以及下半身。其中由于头部部分包含较多非人体区域,所以舍弃该部分,只取上半身 以及下半身部分。此两部分色彩特征使用Lab色彩空间,由于Lab色彩空间中对光照分量独 立处理。使得多个摄像头间的光照差异可以进行处理,对设备依赖性更低,复合本方法中分 布式摄像头网络的物理需求。且Lab色彩空间较大,对色彩特征提取更具有优势。
[0104] 在此部分中先将普通RGB图像转化为CIE XYZ空间,其公式表达如下
Figure CN104881637BD00093
[0106] 然后将将XYZ空间转换为Lab空间。
Figure CN104881637BD00101
[0108] 通过置换后获得Lab空间表达,提取Lab色彩直方图。其表达为Y= (L,A,B)。
[0109] 对其特征提取记录为上半身色彩特征Υτ,下半身色彩特征YL。
[0110] 其中纹理局部特征使用Leung-Malik滤波器组来提取特征,其中包含48个滤波器, 在6个方向,3个尺度和2个相位的高斯二次导组成了 36个滤波器,8个高斯拉普拉斯滤波器, 4个高斯滤波器,通过多尺度,多方向LM滤波器模块,可以提高辨识的准确率,获得人体追踪 目标的纹理特征Λ k。
[0111] 其中形状特征使用分层梯度方向直方图PH0G,PH0G对同一幅图像进行不同尺度的 分割,然后计算每个尺度中分块的小H0G,最后将他们连接成一个一维向量,可以检测到不 同尺度的特征,表达能力更强,其获得的形状特征为Φ。
[0112] 其多维特征向量模型如下所示:
Figure CN104881637BD00102
[0114] 获取到某两个兴趣目标图像多维特征向量如FVa,FVb。此处基于距离提取两个目标 a,b间的对特征向量距离。此距离可选用诸如马氏距离,欧几里得距离等多种距离度量作为 新特征。
[0115] 在此实例中,采取欧式距离作为对特征向量距离的描述。
[0116] 由此可得一对图像之间的对特征向量距离为
Figure CN104881637BD00103
[0118] 本例中对于单一追踪目标序列,选取其中一帧图像提取该目标的多维特征信息。 并且作为目标特征与已检测目标特征向量进行距离求解,作为测试样例输入。
[0119] c.特别的对于检查点处的摄像头组通过多角度录像。
[0120] 获得多组不同角度的关于同一追踪人物的追踪图像,该方法同前述独立摄像头节 点目标追踪,该组人物图像匹配由物理及时间约束相互关联,可以用追踪序列及角度信息 表不:
Figure CN104881637BD00104
[0122] 后续所述SVM分类器即是使用基于多个角度图像序列,提取出对应的FV,计算出同 角度以及不同角度的同一及不同对象的PFD,将其作为正负样本进行样本训练。
[0123] 2、非视觉个人信息收集
[0124] 参照图5,本系统中非视觉个人信息收集系统包括且不仅限于RFID,小区门禁系统 信息,身份证信息等信息提取系统。
[0125] 本例中仅以RFID作为例子,不仅限于该非视觉信息的收集。RFID识别模块包括 RFID阅读器和带有RFID标签的物理承载物品,如本例中小区门禁卡。在检查点处,RFID阅读 器读出个人身份信息,识别完毕后,RFID阅读器将信息传送至微处理器,获取到个人身份信 息。
[0126] 获取到的身份信息模型,由icU个人身份信息以及检测时间t表示:
[0127]
Figure CN104881637BD00111
[0128] 在本例中,RFID传感器处于检查点多摄像头组的重叠视野域内。由上述ID信息定 义目标通过RFID传感器的检测事件。同时由于多摄像头组的目标检测事件,有定义在多个 摄像头上的目标追踪事件。每个摄像头上的目标追踪时间范围分别为为T1J2J3,由此我们 可以得到对于非视觉个人信息及已检测目标图像信息的时间约束,即'
Figure CN104881637BD00112
[0129] 由上述实例可知,对于检查点的非视觉个人信息以及多角度的特征收集是有关于 时间t上的约束关系。因此可以将同一人物的多角度特征与个人信息相互匹配。
[0130] 、跨摄像头人体目标重识别
[0131] 本系统中跨摄像头人物目标重识别包括使用检查点所获取多角度同一目标图像 多维特征特征的对特征向量距离ΡΠ)作为正负样本训练SVM分类器,包括使用追踪目标的角 度信息的预处理,包括对多维特征信息的组合形成对特征向量距离作为新的特征,包括使 用对特征向量距离重新对追踪目标进行跨摄像头人物目标重识别。
[0132] 参照图6,图7,本例使用Θ将SVM分类器分解为两个部分。
[0133] a.同角度SVMi
[0134] 该部分中有角度约束条件DeCTHe,其中De表示组成对特征向量距离的两幅图像的 角度距离,THe表示设定的一个角度阈值,此例中选择为45°,即分解为8个方向,选取最接近 的一个方向作为相近角度。此分类器训练中,训练集正样本为检查点中获取的同一目标同 一角度下短时间内图像的对特征向量距离,而负样本为不同目标同一角度下的对特征向量 距离。输入为分布式摄像头节点中FV及相同角度下检查点中的多个已辨识目标的FV所求得 的PFD,其输出为一个值Scores。
[0135] 在本实例中,已知前述检查站获取多摄像头组获取连续时间内同一目标视频序 列。可知的帧间隔内,图像角度De—Ο。因此,选择多组同一目标连续图像作为特征提 取目标有::
Figure CN104881637BD00113
....,其表示同一目标短时间间隔内对特征向量距离。该部分输入 作为SVMdjII练集正样本。
[0136] 同时,前述检查站获取了相异时间内非同一目标的同一角度信息。由前述角度判 决〇0〈1%,即tl时刻a目标图像与t2时刻b目标具有相近角度,约束条件 ……
Figure CN104881637BD00114
, (式13)
[0137] 选择其对特征向量距离
Figure CN104881637BD00115
等。作为SVMdjII练集作为负样本。
[0138] b.异角度 SVMi
[0139] 第二个部分为SVM2,该部分中有角度约束条件ϋθ>ΤΗθ。此分类器训练中,训练集正 样本为检查点中获取的同一目标不同角度下图像的对特征向量距离,而负样本为不同目标 不同角度下的对特征向量距离。输入为分布式摄像头节点中FV及不同角度下检查点中的多 个已辨识目标的FV所求得的PFD,其输出为一个概率值Scored。
[0140] 在此例中,已知前述检查站多摄像头组获取了同一时间内同一目标多角度图像序 列
Figure CN104881637BD00121
,对该部分目标进行对特征向量距离提取,获得异角度下的同一目标PFDdb 部分作为输入作为SVMdjII练集正样本。
[0141] 同时,前述检查站获取了非同一相同目标相异角度图像。利用不同目标多维特征 向量,计算其PFD,作为SVMJIl练集负样本。
[0142] c.测试样例
[0143] 首先对测试样例角度信息Θ进行判决,与前述检查站多摄像头组获取多角度目标 信息进行比较。
[0144] 若有相同角度的目标信息,则使用SVM1分类器判决。
[0145] 在此例中选取所有已获取目标信息.
Figure CN104881637BD00122
·选取相同角度特征向量与测试样本 特征向量求得多对同角度PFD,通过判决器得出多个Scores,a,Scores,b其中Scores最大并 且其ScoresXs,则判断测试样例为对特征向量所匹配的目标。
[0146] 若在摄像头组中未有与测试目标相近的角度信息,则对样例使用SVM2分类器判 决。此处,令样例与已获取目标信息
Figure CN104881637BD00123
·不同角度分别提取多个ΡΠ)信息。将样本投入 分类器中,求得多组Scored。每组中,如Scored,a含有与同一样本不同角度的样本的Pi7D分类 Scored,3θ。对每组Scored,Scored,x进行加权处理,可以使权值与角度值Θ相关联。本例中使用 权值为均值,最终得出一个Scored。
[0147]
Figure CN104881637BD00124
试 14)
[0148] 进行加权处理求得最高的Scored最大并且其ScoredXd,则判断测试样例为对特征 向量所匹配的目标。
[0149] 4、多模信息系统
[0150] 参照图5,本例中多模信息系统包含两个部分,分别为视觉信息及非视觉信息。
[0151] 参照图8,本例利用所述跨摄像头目标重识别,对目标进行匹配,并对非视觉信息 及视觉信息进行关联,获取一个最大的匹配,,该匹配与摄像头组获取的一组多角度目标
Figure CN104881637BD00125
具有最高的相似度,且该相似度大于所设定的阈值,此时检测目标可与已获取目标相互 匹配。
[0152] 又由于已获取目标图像序列中含有时间信息,该时间信息与检查点中非视觉信息
Figure CN104881637BD00126
丨有时间约束的关系。进而得到人物目标重识别一已经获取目标视觉信息一非视 觉信息,3种信息的匹配关联。同时我们能够获取到基于分布式摄像头网络传送特征信息的 摄像头节点信息。
[0153] 因此,我们通过视觉信息的匹配,构建了一个关于个人身份信息,物理空间信息 (摄像头序号),物理时间信息的3元组,如下述表达
[0154]
Figure CN104881637BD00127
(式 15)
[0155] 其中id为非视觉信息所述的个人身份信息,Cam1为获取到该测试对象的摄像头,^ 为该测试对象的获取FV的图像帧的时间信息。该3元组表达了在U时间上,身份信息为id的 人物目标出现在canii摄像区域。进而构成一个时空域上的一个点。
[0156] 通过对同一目标的多个不同时间段上获得的时空域的点信息。对于单个目标身份 信息为id的人物目标,我们构建了对于单次行为模式识别的追踪轨迹,其由一系列点信息 构成,其模型可以用一个序列表示:
[0157]
Figure CN104881637BD00131
试 16)
[0158] 其中T表示某一单次轨迹追踪的序号,其表达在一段时间内,对于T此次目标轨迹 追踪,人物身份信息为id的目标经过集合内多个时空轨迹点的路线。至此,本例获得了一个 基于单一目标的单次轨迹追踪。
[0159] 可以看出,利用基于非视觉信息的个人信息关联性,本系统可以建立一个通过个 人信息相互关联的多模历史记录,其中包括对于同一目标多次行为模式识别的追踪轨迹, 其模型表达为:
[0160]
Figure CN104881637BD00132
(式 17)
[0161] 通过对多个目标在历史记录上的关联,本例最终建立一个具有多模态信息记录系 统。参考图9,为本例最终获得多模态信息记录系统拓扑结构。
[0162] 以上是对本发明的一个物理模型实施例进行了具体说明,但本发明创造并不限于 所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同 变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1. 一种基于传感信息及目标追踪的多模信息系统的融合方法,其特征在于,包括如下 步骤: (a) 视觉信息收集模块:基于分布式多摄像头网络,对具有非重叠区域设置的独立摄像 头中获取的视频数据利用码本codebook的前景提取方法,基于HOG的行人辨认,基于粒子滤 波及匈牙利算法进行多目标追踪并分割,基于短时间序列的目标轨迹获取每个目标的角度 信息并提取出追踪目标的多维特征信息,提取后的多维特征信息通过组合,获得对特征向 量距呙; (b) 视觉信息收集模块:在检查点,利用检查点摄像头组,获取目标并追踪目标的多维 特征,利用不同目标的多维特征信息组合成对特征向量距离,利用对特征向量距离作为新 特征,包含了角度信息,该目标追踪信息与身份信息具有与时间约束; (c) 非视觉信息收集模块:在检查点,利用传感器信息收集,获取非视觉个人身份信息, 包括RFID信息,和/或小区门禁系统信息,和/或身份证信息,将该非视觉个人身份信息与目 标追踪信息具有时间约束; (d) 信息匹配模块:通过网络通信模块将分布式摄像头网络中每个摄像头节点提取的 多维特征信息,角度信息以及摄像头节点信息和时间信息传输到后台的处理模块中,将多 维特征信息及角度信息利用训练的分类器进行人物目标重识别; (e) 信息匹配模块:对人物目标重识别获得的目标关联,结合时间约束及与个人身份 信息,建立具有多模态信息记录系统。
2. 根据权利要求1所述基于传感信息及目标追踪的多模信息系统的融合方法,其特征 在于,所述多维特征提取包括对目标利用物理空间信息及图像序列,获取的角度信息以及 基于目标图像区域信息获得的颜色,纹理,形状所组成的多维特征向量。
3. 根据权利要求1所述基于传感信息及目标追踪的多模信息系统的融合方法,其特征 在于,所述人物目标重识别包括接收摄像头节点获取的视觉信息,使用了多维特征信息并 组合成对特征向量距离ΡΠ)作为新特征,包括对目标追踪方法以检查点获取的多维特征信 息作为训练样本,包括人体目标重识别使用以多维特征组合的对特征向量距离作为特新征 的目标追踪判别方法,所述视觉信息包括目标多维特征向量及目标角度信息。
4. 根据权利要求1所述基于传感信息及目标追踪的多模信息系统的融合方法,其特征 在于,所述多模数据匹配模块包括接收摄像头节点信息及非视觉收集信息,包括对视觉信 息及非视觉信息基于时间约束相互匹配,包括对于基于个人身份信息的历史记录的多次匹 配,构建一个基于历史记录的多模信息模型。
CN201510234035.6A 2015-05-09 2015-05-09 基于传感信息及目标追踪的多模信息系统及其融合方法 Active CN104881637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510234035.6A CN104881637B (zh) 2015-05-09 2015-05-09 基于传感信息及目标追踪的多模信息系统及其融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510234035.6A CN104881637B (zh) 2015-05-09 2015-05-09 基于传感信息及目标追踪的多模信息系统及其融合方法

Publications (2)

Publication Number Publication Date
CN104881637A CN104881637A (zh) 2015-09-02
CN104881637B true CN104881637B (zh) 2018-06-19

Family

ID=53949125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510234035.6A Active CN104881637B (zh) 2015-05-09 2015-05-09 基于传感信息及目标追踪的多模信息系统及其融合方法

Country Status (1)

Country Link
CN (1) CN104881637B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612909B (zh) * 2016-02-23 2019-02-05 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于视觉和多传感器融合的智能割草机器人控制系统
CN107527075B (zh) * 2016-06-20 2020-09-04 杭州海康威视数字技术股份有限公司 Rfid标签与人员对应关系建立及轨迹追踪方法及装置
CN106600627A (zh) * 2016-12-07 2017-04-26 成都通甲优博科技有限责任公司 一种基于标志点的刚体运动捕捉方法及系统
CN106887014B (zh) * 2017-01-13 2019-10-15 中山大学 一种跨摄像头的行人轨迹匹配方法
CN107300868A (zh) * 2017-07-28 2017-10-27 上海德衡数据科技有限公司 一种基于多核处理器的运维多模态决策系统接口
CN109426787A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标轨迹确定方法及装置
CN108280496A (zh) * 2018-01-23 2018-07-13 四川精工伟达智能技术股份有限公司 基于rfid的时间同步方法、装置、介质及电子设备
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
CN110909565A (zh) * 2018-09-14 2020-03-24 阿里巴巴集团控股有限公司 图像识别和行人再识别方法及装置,电子和存储设备
CN110459027A (zh) * 2019-08-15 2019-11-15 青岛文达通科技股份有限公司 一种基于多源异构数据融合的社区安全防护方法及系统
CN110418114A (zh) * 2019-08-20 2019-11-05 京东方科技集团股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112288050B (zh) * 2020-12-29 2021-05-11 中电科新型智慧城市研究院有限公司 一种异常行为识别方法、识别装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751677A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
CN103310442A (zh) * 2013-05-16 2013-09-18 南京航空航天大学 基于多频信息融合的智能定位系统及其定位方法
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007738A1 (en) * 2008-07-10 2010-01-14 International Business Machines Corporation Method of advanced person or object recognition and detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751677A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
CN103310442A (zh) * 2013-05-16 2013-09-18 南京航空航天大学 基于多频信息融合的智能定位系统及其定位方法
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法

Also Published As

Publication number Publication date
CN104881637A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
CN104881637B (zh) 基于传感信息及目标追踪的多模信息系统及其融合方法
Sarfraz et al. A pose-sensitive embedding for person re-identification with expanded cross neighborhood re-ranking
Xiong et al. Spatiotemporal modeling for crowd counting in videos
Guan et al. Fusion of multispectral data through illumination-aware deep neural networks for pedestrian detection
Kuo et al. How does person identity recognition help multi-person tracking?
Gall et al. Hough forests for object detection, tracking, and action recognition
Bourdev et al. Detecting people using mutually consistent poselet activations
Ma et al. A reliable people counting system via multiple cameras
US8116534B2 (en) Face recognition apparatus and face recognition method
CN105574505B (zh) 一种多摄像机间人体目标再识别的方法及系统
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
Kaâniche et al. Recognizing gestures by learning local motion signatures of HOG descriptors
Qian et al. Intelligent surveillance systems
CN108520226A (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN109800624A (zh) 一种基于行人重识别的多目标跟踪方法
Jiang et al. A unified tree-based framework for joint action localization, recognition and segmentation
Trumble et al. Deep convolutional networks for marker-less human pose estimation from multiple views
Ni et al. Integrating multi-stage depth-induced contextual information for human action recognition and localization
Xia et al. Face occlusion detection using deep convolutional neural networks
Iguernaissi et al. People tracking in multi-camera systems: a review
Li et al. Deep people counting with faster R-CNN and correlation tracking
CN109409250A (zh) 一种基于深度学习的无交叠视域跨摄像机行人再识别方法
Asif et al. Privacy preserving human fall detection using video data
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
Liu et al. Viewpoint invariant RGB-D human action recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant