CN105335701A - 一种基于hog与d-s证据理论多信息融合的行人检测方法 - Google Patents

一种基于hog与d-s证据理论多信息融合的行人检测方法 Download PDF

Info

Publication number
CN105335701A
CN105335701A CN201510650440.6A CN201510650440A CN105335701A CN 105335701 A CN105335701 A CN 105335701A CN 201510650440 A CN201510650440 A CN 201510650440A CN 105335701 A CN105335701 A CN 105335701A
Authority
CN
China
Prior art keywords
target
frame
inter
pedestrian
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510650440.6A
Other languages
English (en)
Other versions
CN105335701B (zh
Inventor
王智灵
张轩辕
梁华为
李玉新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Zhongke Xingchi Automatic Driving Technology Co.,Ltd.
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201510650440.6A priority Critical patent/CN105335701B/zh
Publication of CN105335701A publication Critical patent/CN105335701A/zh
Application granted granted Critical
Publication of CN105335701B publication Critical patent/CN105335701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于HOG与D-S证据理论多信息融合的行人检测方法,针对原始的视频帧图像进行灰度转换,然后利用基于HOG特征的分类器对转换过后的图片进行检测,得到初步的行人检测结果,在此基础上通过帧间关系矩阵可以判断出在一个区域是否应该有行人而没有检测到,然后利用基于LBP特征的分类器对此区域进行检测,来弥补HOG特征带来的缺失。如果在这种情况下还没有检测到,则使用历史数据即通过帧间关系矩阵获得的数据,利用Kalman滤波器来进行预测,得到行人目标的位置,并且利用D-S证据理论通过多种检测和跟踪等信息的融合来增强判断的准确性。本发明能够准确地检测出相应的行人,并且对于存在部分遮挡的情况也有较好的效果,增强了行人检测的准确性、鲁棒性以及抗干扰能力。

Description

一种基于HOG与D-S证据理论多信息融合的行人检测方法
技术领域
本发明属于图像处理技术和模式识别技术领域,特别涉及一种基于HOG与D-S证据理论多信息融合的行人检测方法。
背景技术
近年来,随着信息产业的飞速发展,计算机性能的不断提高,利用计算机来检测图像或者视频中的行人信息已经是智能视频监控系统发展的主要任务。那么如何识别行人以及怎样将行人与其他对象进行有效的区分,是智能视频监控系统的一个重要组成部分,这也是行人检测的首要任务。目前的行人检测方法大体可以分为两类:一类是基于背景建模的方法,一类是基于统计学习的方法。基于背景建模的方法为:分割出前景,提取其中的运动目标,然后进一步提取特征,分类判别;在存在下雨、下雪、刮风、树叶晃动、灯光忽明忽暗等场合,该方法的鲁棒性不高,抗干扰能力较差。且背景建模方法的模型过于复杂,对参数较为敏感。基于统计学习的方法为:根据大量训练样本构建行人检测分类器。提取的特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息,分类器包括神经网络、SVM,Adaboost等。由于背景建模方法的缺点,目前基于统计学习的方法成为研究热点。而目前有关行人检测的专利主要涉及多特征融合方面,在特征的选择上进行改变,但是单纯使用特征信息容易因为遮挡、光线变化等情况导致检测失败,并且没有考虑到行人运动的连续性,没有对因为遮挡或者光照变化引起的检测失败进行处理,不能对行人目标进行准确并且持续的检测。此外,目前的多特征融合主要是特征级融合,即使用各种不同的特征通过一定的方法融合成为一种新的特征,但是数据处理的灵活性不高,而且抗干扰能力不强,
发明内容
本发明的目的在于:克服现有技术的不足,提供一种基于HOG与D-S证据理论多信息融合的行人检测方法,在多特征的基础上加入了跟踪和预测机制,并利用D-S证据理论对多种信息的结果进行整合,最终得到更为准确的行人目标位置,实现了对静态背景下的行人目标进行检测,提高了检测的准确率。
本发明采用的技术方案为:一种基于HOG与D-S证据理论多信息融合的行人检测方法,该方法包括以下步骤:
步骤1,对于原始视频帧,进行颜色空间的转化,从RGB空间转为灰度图;
步骤2,对于获得的灰度图,使用训练好的基于方向梯度直方图(HOG)特征分类器进行行人检测,获得初步检测结果,得到检测目标信息;
步骤3,在初步检测结果的基础上,在视频帧与帧之间构造帧间关系矩阵,帧间关系矩阵的数据将用来指导之后的跟踪和预测过程,利用帧间关系矩阵判断是否在一个设定的区域中有行人而没有检测到,并且帧间关系矩阵相当于一种跟踪,对后期的跟踪预测也是前提条件,获得跟踪的目标信息;
步骤4,对于本应检测到而没有检测到的区域,即实际画面中存在行人,而单纯使用之前的方法并没有检测到的行人目标所在区域,利用基于局部二值模式(LBP)特征分类器进行检测,避免由于特征单一造成的漏检;
步骤5,利用步骤3获得的帧间关系矩阵的数据,采用Kalman即卡尔曼滤波器来对目标应该出现的位置进行预测,得到预测的行人目标信息;
步骤6,在步骤2的初步检测、步骤3的跟踪和步骤5的预测的基础上,利用D-S证据理论对于以上检测、跟踪和预测之前使用帧间关系矩阵、LBP分类器检测和Kalman滤波预测获得的目标信息进行融合,得到最终行人目标的位置信息。
所述步骤1进一步包括以下步骤:对获得的原始视频帧,通过求出每个像素点的R、G、B三个分量的平均值,然后将这个平均值赋予给这个像素的三个分量来将原始图像转换为灰度图。
所述步骤2中具体方法为:根据步骤1中获得的灰度图像,通过加载基于HOG特征的分类器,对图像进行遍历,获得初步行人检测结果。
所述步骤3中具体方法为:
步骤31,通过相邻帧之间检测结果的对比计算得到帧间关系矩阵;帧间关系矩阵中的矩阵的行数和列数分别对应当前帧的目标链表大小和前一帧的目标链表大小,当前帧目标链表为D={Qk,1,Qk,2,Qk,3,…,Qk,m},前一帧目标链表为S={Qk-1,1,Qk-2,2,Qk-3,3,…,Qk-1,n},其中Qk-1,n表示k-1帧中第n个运动目标的特征信息,所述的特征信息指运动目标的中心坐标;
P = p 1 , 1 p 1 , 2 p 1 , 3 ... p 1 , n p 2 , 1 p 2 , 2 p 2 , 3 ... p 2 , n p 3 , 1 p 3 , 2 p 3 , 3 ... p 3 , n · · · · · · · · · · · · · · · p m , 1 p m , 2 p m , 3 ... p m , n
帧间关系矩阵P中每个元素的值为相邻帧间运动目标外接矩形求重叠面积的结果,如果当前帧运动目标的矩形框与上一帧矩形框的重叠面积大于所设阈值,则认为Qk-1,n和Qk,m匹配,从而pm,n=1,否则pm,n=0,其中pm,n表示当前帧的第m个目标与上一帧的第n个目标的重叠面积是否达到阈值;
步骤32,根据帧间关系矩阵,判断图像中的目标发生了哪种情况,并对目标的相应信息,即中心位置,目标检测框高度,目标检测框宽度进行更新,对目标进行初步的跟踪,具体实现为将帧间关系矩阵根据帧与帧之间对应检测框的空间位置关系分为5种状态,它们是新目标出现、目标匹配、目标遮挡、目标分离和目标消失;
(1)新目标出现
如果帧间关系矩阵P中第k行全为0,则当前帧的第k个目标为新出现目标,对于这种情况"在进行跟踪预测前需要修改目标链表,将新出现的目标信息添加进去并对其建立相应的卡尔曼跟踪;
(2)目标匹配
如果帧间关系矩阵P中第k行只有第h列一个元素为1,则当前帧的第k个目标与上一帧的第h个目标匹配,对于这种情况可以直接用当前帧中各个运动目标的特征信息去更新相应的Kalman滤波器;
(3)目标遮挡
如果帧间关系矩阵P中第k行有多个元素非0,如第h列,第h+1列非0,则上一帧的第h个和第h+1个目标在当前帧发生遮挡,对于这种情况,首先利用Kalman滤波器预测的结果获得各个目标在当前帧中的大致区域,然后在预测区域内用预先提取的目标模板进行匹配,在获得目标的准确区域后,提取新的特征信息更新Kalman滤波器和目标链表;
(4)目标分离
如果帧间关系矩阵P中第k列有多个元素非0,如h行,第h+1行非0,则上一帧的第k个目标在当前帧发生分离,对于这种情况,用目标链表S中的特征信息进行匹配并继续保持对各个目标的跟踪;
(5)目标消失
如果帧间关系矩阵P中第k列全为0,则表示上一帧的第k个目标消失,对于这种情况,根据目标消失前外接矩形的坐标作出判断,如果目标在边界消失,那么直接删除掉链表S中的特征信息。
所述步骤4中具体方法为:在目标消失的区域,通过对此区域进行截取获得此区域的图像,然后通过加载基于LBP特征分类器对此图像进行遍历,进行行人目标的更进一步检测。
所述步骤5中具体方法为:利用检测到的行人目标的位置信息来为每个行人目标建立Kalman滤波器,根据目标信息的更新来更新其对应的Kalman滤波器进行跟踪和预测。
所述步骤6中具体方法为:利用LBP分类器检测,帧间关系矩阵跟踪,Kalman滤波预测获得的目标信息,对每一类信息构造基本概率赋值(BPA),将所得到的目标信息从观测空间转变为证据空间;对于每一类方法得到的目标信息分配对应的mass值,即基本可信数,然后通过这个mass值推算出其对应证据的信任函数(Bel)和似然函数(Pl),根据D-S组合规则分别计算各个命题经过组合后得到的信任值和相应的信任区间,然后再计算综合信任值和信任区间,最后通过判决规则确定最终行人目标的位置信息。
本发明与现有技术相比的优点在于:
(1)、本发明区别于一般只考虑使用特征信息进行检测导致无法持续准确检测的弊端,补充使用跟踪、预测以及使用另一种特征信息来对结果进行完善;
(2)、本发明区别于一般多特征融合只考虑到特征级融合的方法,导致数据处理灵活性不高,抗干扰能力不强的问题,使用决策级融合方法,利用D-S证据理论来对目标信息的准确性进行完善。
所以本发明在多特征的基础上加入了跟踪和预测机制,并利用D-S证据理论对多种信息的结果进行整合,最终得到更为准确的行人目标位置。
本发明涉及一种基于HOG特征的并D-S证据理论进行多信息融合的行人检测方法,是应用在智能视频监控系统的一种行人检测方法。本发明提出了一种在利用HOG特征检测的基础上进行改进的方法,通过建立帧间关系矩阵,判断相邻帧之间的目标之间的关系,对目标进行初步地跟踪,对HOG分类器漏检的目标,使用基于LBP特征的分类器进行进一步地检测,并且在此两种方法下都无法检测的情况下,引入了预测跟踪机制,利用kalman滤波器以及目标的历史信息对目标的当前帧的位置进行预测,并使用D-S证据理论对得到的多种信息进行判断,得到更为精确地目标位置,达到持续精确检测的目的。
附图说明
图1是表示基于本发明的实施方式的流程图;
图2是表示基于本发明的实施方式涉及的原始视频帧示意图;
图3是表示基于本发明的实施方式的图像颜色空间转换效果图;
图4是表示利用基于HOG特征的分类器进行行人检测的效果图;
图5是表示辅助使用基于LBP特征的分类器进行行人检测的效果图;
图6是表示使用帧间关系矩阵和Kalman滤波预测后进行信息融合后的行人目标的效果图;
图7是证据区间示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施步骤,并配合附图,对本发明进一步详细说明。
如图1所示,本发明的实施方式可以为一般的视频监控设备或者其他视频设备;本发明所述的基于HOG与D-S证据理论多信息融合的行人检测方法针对原始的视频帧图像进行灰度转换,然后利用基于HOG特征的分类器对转换过后的图片进行检测,得到初步的行人检测结果,在此基础上通过帧间关系矩阵可以判断出在一个区域是否应该有行人而没有检测到,然后利用基于LBP特征的分类器对此区域进行检测,来弥补HOG特征带来的缺失。如果在这种情况下还没有检测到,则使用历史数据即通过帧间关系矩阵获得的数据,利用Kalman滤波器来进行预测,得到行人目标的位置,并且利用D-S证据理论通过多种检测和跟踪等信息的融合来增强判断的准确性。
具体实现步骤如下:
步骤1,对于原始视频帧图像,如图2所示,通过对RGB颜色空间的像素点的各像素值进行平均,进行空间转换,即从RGB空间转换到灰度空间,得到原始视频帧对应的灰度图,如图3所示;
步骤2,根据步骤1中获得的灰度图像,通过加载基于HOG特征的分类器,对图像进行遍历,获得初步行人检测结果,如图4所示;
步骤3,通过相邻帧之间检测结果的对比计算得到帧间关系矩阵;帧间关系矩阵中的矩阵的行数和列数分别对应当前帧的目标链表大小和前一帧的目标链表大小,当前帧目标链表为D={Qk,1,Qk,2,Qk,3,…,Qk,m},前一帧目标链表为S={Qk-1,1,Qk-2,2,Qk-3,3,…,Qk-1,n},其中Qk-1,n表示k-1帧中第n个运动目标的特征信息,所述的特征信息指运动目标的中心坐标;
P = p 1 , 1 p 1 , 2 p 1 , 3 ... p 1 , n p 2 , 1 p 2 , 2 p 2 , 3 ... p 2 , n p 3 , 1 p 3 , 2 p 3 , 3 ... p 3 , n · · · · · · · · · · · · · · · p m , 1 p m , 2 p m , 3 ... p m , n
帧间关系矩阵P中每个元素的值为相邻帧间运动目标外接矩形求重叠面积的结果,如果当前帧运动目标的矩形框与上一帧矩形框的重叠面积大于所设阈值,则认为Qk-1,n和Qk,m匹配,从而pm,n=1,否则pm,n=0,其中pm,n表示当前帧的第m个目标与上一帧的第n个目标的重叠面积是否达到阈值根据帧间关系矩阵,判断图像中的目标发生了哪种情况,并对目标的相应信息,如位置等进行更新,对目标进行初步的跟踪;通过建立帧间关系矩阵(将跟踪情况分为)5种状态分别进行处理,它们是新目标出现、目标匹配、目标遮挡、目标分离和目标消失。
(1)新目标出现
如果帧间关系矩阵P中第k行全为0,则当前帧的第k个目标为新出现目标,对于这种情况"在进行跟踪预测前需要修改目标链表,将新出现的目标信息添加进去并对其建立相应的卡尔曼跟踪。
(2)目标匹配
如果帧间关系矩阵P中第k行只有第h列一个元素为1,则当前帧的第k个目标与上一帧的第h个目标匹配,对于这种情况可以直接用当前帧中各个运动目标的特征信息去更新相应的卡尔曼滤波器。
(3)目标遮挡
如果帧间关系矩阵P中第k行有多个元素非0,如第h列,第h+1列非0,则上一帧的第h个和第h+1个目标在当前帧发生遮挡。对于这种情况,首先利用卡尔曼滤波器预测的结果获得各个目标在当前帧中的大致区域,然后在预测区域内用预先提取的目标模板进行匹配,在获得目标的准确区域后,提取新的特征信息更新卡尔曼滤波器和目标链表。
(4)目标分离
如果帧间关系矩阵P中第k列有多个元素非0,如h行,第h+1行非0,则上一帧的第k个目标在当前帧发生分离,对于这种情况,用目标链表S中的特征信息进行匹配并继续保持对各个目标的跟踪。
(5)目标消失
如果帧间关系矩阵P中第k列全为0,则表示上一帧的第k个目标消失,对于这种情况,根据目标消失前外接矩形的坐标作出判断,如果目标在边界消失,那么直接删除掉链表S中的特征信息。
步骤4,在目标消失的区域,通过对此区域进行截取获得此区域的图像,然后通过加载基于LBP特征的分类器对此图像进行遍历,进行行人目标的更进一步地检测,效果图如图5所示,其中较粗的框为使用HOG分类器检测到的行人目标,较细的框为补充使用LBP分类器检测到的行人特征,明显降低了漏检率。
步骤5,利用检测到的行人目标的位置信息来为每个行人目标建立Kalman滤波器,进行跟踪和预测;卡尔曼滤波是以最小均方误差为估计的最佳准则,来寻求一套递推估计的算法,其基本思想是:采用信号与噪声的状态空间模型,利用前一时刻地估计值和现时刻的观测值来更新对状态变量的估计,求出现时刻的估计值。现设线性时变系统的离散状态防城和观测方程为:
X(k)=F(k,k-1)·X(k-1)+T(k,k-1)·U(k-1)
Y(k)=H(k)·X(k)+N(k)
其中X(k)和Y(k)分别是k时刻的状态矢量和观测矢量,F(k,k-1)为状态转移矩阵,U(k)为k时刻动态噪声,T(k,k-1)为系统控制矩阵,H(k)为k时刻观测矩阵,N(k)为k时刻观测噪声,则卡尔曼滤波的算法流程为:
(1)、预估计X(k)^=F(k,k-1)·X(k-1)
(2)、计算预估计协方差矩阵
C(k)^=F(k,k-1)×C(k)×F(k,k-1)'+T(k,k-1)×Q(k)×T(k,k-1)'
Q(k)=U(k)×U(k)'
(3)、计算卡尔曼增益矩阵
K(k)=C(k)^×H(k)'×[H(k)×C(k)^×H(k)'+R(k)]^(-1)
R(k)=N(k)×N(k)'
(4)、更新估计
X(k)~=X(k)^+K(k)×[Y(k)-H(k)×X(k)^]
(5)、计算更新后估计协防差矩阵
C(k)~=[I-K(k)×H(k)]×C(k)^×[I-K(k)×H(k)]'+K(k)×R(k)×K(k)'
(6)、X(k+1)=X(k)~
C(k+1)=C(k)~
通过以上步骤的迭代,对行人目标的卡尔曼滤波器进行更新,对后面行人目标的预测进行指导。
利用帧间关系矩阵得到的目标的关系,对目标的信息进行更新,更新其Kalman滤波器的的相应参数,并利用Kalman滤波器预测出目标的位置。
步骤61,利用之前三种方法得到的结果,使用D-S证据理论决定目标的位置。D-S证据理论结构的最大特点是在证据中引入了不确定性,建立了基本概率赋值函数(BPAF)、信任函数(BEL)、似真度函数(PL)等满足比概率论弱的公理,放松了传统Bayes理论需要完整的先验概率和条件概率知识以及需要有统一的辨识框架要求,可对相互重叠、非互不相容的命题进行证据组合等特点。
D-S证据理论中最基本的概念是所建立的辨识框架(frameofdiscernment),记作U。辨识框架U中的元素满足互不相容的条件,命题A对函数m的赋值m(A)是集合2U到[0,1]的映射,若函数m:满足下列条件:m(φ)=0;m(A)≥0,且则称m(A)为A的基本概率赋值函数(BPAF)。其中表示空集,m(A)表示对命题A的精确信任程度,表示了对A的直接支持。对于给定的基本概率赋值函数m及任一A∈2U,定义他所对应的信任函数为:Bel(A)=∑B∈Am(B),似真函数定义为:
P l ( A ) = 1 - B e l ( A ‾ ) = Σ B ∩ A = φ m ( B ) , 式中 A ‾ = U - A .
Bel函数称为下限函数,表示了对命题A的总的信任程度,其中Bel(φ)=0,Bel(U)=1。Pl函数也称为上限函数或不否定函数,表示不否定A的信任度,是所有与A相交的集合的BPAF之和。当证据拒绝A时,Pl(A)等于零,当没有证据反对A时,Pl(A)为1,容易证明Pl(A)≥Bel(A)。[Bel(A),Pl(A)]就表示对A的信任区间。如果辨识框架U的一个子集为A,且m(A)>0,则称U的子集A为信任函数Bel的焦元(focalelement)。这样,信任度和似真度就概括了证据对具体的命题A的关系,它们之间的关系如图7所示,这构成了一个完整的证据区间。
D-S证据组合基本规则:设有两个推理系统,它们的基本概率赋值和信任函数分别为m1,m2和Bel1,Bel2,对于子集A,将这两个推理系统的概率赋值合成的D-S规则为:
m所对应的Bel称为Bel1和Bel2的合成或值和,记为 B e l = Bel 1 ⊕ Bel 2 .
Σ A 1 ∩ A 2 ≠ φ m 1 ( A 1 ) m 2 ( A 2 ) = 1 - Σ A 1 ∩ A 2 ≠ φ m 1 ( A 1 ) m 2 ( A 2 ) = 1 - k , 1-k是修正因子(归一化系数),1-k的引入实际上是为了避免证据组合时将非零的概率赋给空集,从而把空集所丢弃的信度分配按比例地补到非空集上。式中k客观地反映了融合过程中各证据间冲突的程度,0≤k≤1,k越大,证据间冲突越激烈,矛盾越明显。若k接近于1时,很可能产生不合理的结果,导致与直觉相悖的融合决策;若k=1,则无法用D-S理论进行融合。
D-S证据组合规则提供了组合两个证据的规则。对于多个证据的组合,可重复运用公式对多证据进行两两组合。对于多个证据信息的(融合),令m1,m2,…,mn分别表示n个信息的信度分配(本发明中n为3),如果它们是由独立的信息推得的,则融合后的信度函数m可表示为:
通过LBP分类器的检测结果、帧间关系矩阵的判断结果,卡尔曼滤波器的预测结果,使用D-S证据理论进行信息融合,得到最后目标位置的判断,效果图如图6所示,得到的检测框是通过信息融合后得到的最终的行人目标的位置,目标框中心位置的小圆圈表征的是Kalman滤波器对目标的中心的预测,对检测结果进行校正。
总之,本发明能够准确地检测出相应的行人,并且对于存在部分遮挡的情况也有较好的效果,增强了行人检测的准确性、鲁棒性以及抗干扰能力。
本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (7)

1.一种基于HOG与D-S证据理论多信息融合的行人检测方法,其特征在于包括以下步骤:
步骤1,对于原始视频帧,进行颜色空间的转化,从RGB空间转为灰度图;
步骤2,对于获得的灰度图,使用训练好的基于方向梯度直方图(HOG)特征分类器进行行人检测,得到初步检测结果;
步骤3,在初步检测结果的基础上,在视频帧与帧之间构造帧间关系矩阵,利用帧间关系矩阵判断是否在一个设定的区域中有行人而没有检测到;
步骤4,对于本应检测到而没有检测到的区域,利用基于局部二值模式(LBP)特征分类器进行检测,避免由于特征单一造成的漏检,从而获得;
步骤5,利用帧间关系矩阵的数据,采用Kalman滤波器来对目标应该出现的位置进行预测,得到预测的行人目标位置;
步骤6,利用D-S证据理论对于步骤3检测、步骤4的跟踪和步骤5的预测中的使用帧间关系矩阵、LBP分类器检测和Kalman滤波预测获得的目标信息进行信息融合,得到最终行人目标的位置信息。
2.根据权利要求1所述的方法,其特征在于,所述步骤1进一步包括以下步骤:对获得的原始视频帧,通过求出每个像素点的R、G、B三个分量的平均值,然后将这个平均值赋予给这个像素的三个分量来将原始图像转换为灰度图。
3.根据权利要求1所述的方法,其特征在于,所述步骤2中具体方法为:根据步骤1中获得的灰度图像,通过加载基于HOG特征的分类器,对图像进行遍历,获得初步行人检测结果。
4.根据权利要求1所述的方法,其特征在于,所述步骤3中具体方法为:
步骤31,通过相邻帧之间检测结果的对比计算得到帧间关系矩阵;帧间关系矩阵中的矩阵的行数和列数分别对应当前帧的目标链表大小和前一帧的目标链表大小,当前帧目标链表为D={Qk,1,Qk,2,Qk,3,…,Qk,m},前一帧目标链表为S={Qk-1,1,Qk-2,2,Qk-3,3,…,Qk-1,n},其中Qk-1,n表示k-1帧中第n个运动目标的特征信息,所述的特征信息指运动目标的中心坐标;
P = p 1 , 1 p 1 , 2 p 1 , 3 ... p 1 , n p 2 , 1 p 2 , 2 p 2 , 3 ... p 2 , n p 3 , 1 p 3 , 2 p 3 , 3 ... p 3 , n . . . . . . . . . . . . . . . p m , 1 p m , 2 p m , 3 ... p m , n
帧间关系矩阵P中每个元素的值为相邻帧间运动目标外接矩形求重叠面积的结果,如果当前帧运动目标的矩形框与上一帧矩形框的重叠面积大于所设阈值,则认为Qk-1,n和Qk,m匹配,从而pm,n=1,否则pm,n=0,其中pm,n表示当前帧的第m个目标与上一帧的第n个目标的重叠面积是否达到阈值;
步骤32,根据帧间关系矩阵,判断图像中的目标发生了哪种情况,并对目标的相应信息,即中心位置,目标检测框高度,目标检测框宽度进行更新,对目标进行初步的跟踪,具体实现为将帧间关系矩阵根据帧与帧之间对应检测框的空间位置关系分为5种状态,它们是新目标出现、目标匹配、目标遮挡、目标分离和目标消失;
(1)新目标出现
如果帧间关系矩阵P中第k行全为0,则当前帧的第k个目标为新出现目标,对于这种情况"在进行跟踪预测前需要修改目标链表,将新出现的目标信息添加进去并对其建立相应的卡尔曼跟踪;
(2)目标匹配
如果帧间关系矩阵P中第k行只有第h列一个元素为1,则当前帧的第k个目标与上一帧的第h个目标匹配,对于这种情况可以直接用当前帧中各个运动目标的特征信息去更新相应的Kalman滤波器;
(3)目标遮挡
如果帧间关系矩阵P中第k行有多个元素非0,如第h列,第h+1列非0,则上一帧的第h个和第h+1个目标在当前帧发生遮挡,对于这种情况,首先利用Kalman滤波器预测的结果获得各个目标在当前帧中的大致区域,然后在预测区域内用预先提取的目标模板进行匹配,在获得目标的准确区域后,提取新的特征信息更新Kalman滤波器和目标链表;
(4)目标分离
如果帧间关系矩阵P中第k列有多个元素非0,如h行,第h+1行非0,则上一帧的第k个目标在当前帧发生分离,对于这种情况,用目标链表S中的特征信息进行匹配并继续保持对各个目标的跟踪;
(5)目标消失
如果帧间关系矩阵P中第k列全为0,则表示上一帧的第k个目标消失,对于这种情况,根据目标消失前外接矩形的坐标作出判断,如果目标在边界消失,那么直接删除掉链表S中的特征信息。
5.根据权利要求1所述的方法,其特征在于,所述步骤4中具体方法为:在目标消失的区域,通过对此区域进行截取获得此区域的图像,然后通过加载基于LBP特征分类器对此图像进行遍历,进行行人目标的更进一步检测。
6.根据权利要求1所述的方法,其特征在于,所述步骤5中具体方法为:利用检测到的行人目标的位置信息来为每个行人目标建立Kalman滤波器,根据目标信息的更新来更新其对应的Kalman滤波器进行跟踪和预测。
7.根据权利要求1所述的方法,其特征在于,所述步骤6中具体方法为:利用LBP分类器检测,帧间关系矩阵跟踪,Kalman滤波预测获得的目标信息,对每一类信息构造基本概率赋值(BPA),将所得到的目标信息从观测空间转变为证据空间;对于每一类方法得到的目标信息分配对应的mass值,即基本可信数,然后通过这个mass值推算出其对应证据的信任函数(Bel)和似然函数(Pl),根据D-S组合规则分别计算各个命题经过组合后得到的信任值和相应的信任区间,然后再计算综合信任值和信任区间,最后通过判决规则确定最终行人目标的位置信息。
CN201510650440.6A 2015-09-30 2015-09-30 一种基于hog与d-s证据理论多信息融合的行人检测方法 Active CN105335701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510650440.6A CN105335701B (zh) 2015-09-30 2015-09-30 一种基于hog与d-s证据理论多信息融合的行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510650440.6A CN105335701B (zh) 2015-09-30 2015-09-30 一种基于hog与d-s证据理论多信息融合的行人检测方法

Publications (2)

Publication Number Publication Date
CN105335701A true CN105335701A (zh) 2016-02-17
CN105335701B CN105335701B (zh) 2019-01-04

Family

ID=55286217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510650440.6A Active CN105335701B (zh) 2015-09-30 2015-09-30 一种基于hog与d-s证据理论多信息融合的行人检测方法

Country Status (1)

Country Link
CN (1) CN105335701B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106326837A (zh) * 2016-08-09 2017-01-11 北京旷视科技有限公司 对象追踪方法和装置
CN106803080A (zh) * 2017-01-24 2017-06-06 北京理工大学 一种基于形状玻尔兹曼机的补全式行人检测方法
CN107066968A (zh) * 2017-04-12 2017-08-18 湖南源信光电科技股份有限公司 基于目标识别和跟踪的融合策略的车载行人检测方法
CN107872644A (zh) * 2016-09-23 2018-04-03 亿阳信通股份有限公司 视频监控方法及装置
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN110443832A (zh) * 2019-06-21 2019-11-12 西北工业大学 一种基于观测区间值的证据滤波目标跟踪方法
CN111415528A (zh) * 2019-01-07 2020-07-14 长沙智能驾驶研究院有限公司 道路安全预警方法、装置、路侧单元及存储介质
CN111652263A (zh) * 2020-03-30 2020-09-11 西北工业大学 一种基于多滤波器信息融合的自适应目标跟踪方法
CN111860613A (zh) * 2020-06-30 2020-10-30 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN114241011A (zh) * 2022-02-22 2022-03-25 阿里巴巴达摩院(杭州)科技有限公司 目标检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN104091157A (zh) * 2014-07-09 2014-10-08 河海大学 一种基于特征融合的行人检测方法
CN104715238A (zh) * 2015-03-11 2015-06-17 南京邮电大学 一种基于多特征融合的行人检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN104091157A (zh) * 2014-07-09 2014-10-08 河海大学 一种基于特征融合的行人检测方法
CN104715238A (zh) * 2015-03-11 2015-06-17 南京邮电大学 一种基于多特征融合的行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BINU NAIR 等: "Optical flow based Kalman filter for body joint prediction and tracking using HOG-LBP matching", 《PROCEEDINGS OF SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *
霍天霖 等: "基于D—S理论的多特征融合人体检测算法", 《吉林工程技术师范学院学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106326837A (zh) * 2016-08-09 2017-01-11 北京旷视科技有限公司 对象追踪方法和装置
CN106326837B (zh) * 2016-08-09 2019-09-17 北京旷视科技有限公司 对象追踪方法和装置
CN107872644A (zh) * 2016-09-23 2018-04-03 亿阳信通股份有限公司 视频监控方法及装置
CN106803080B (zh) * 2017-01-24 2019-12-31 北京理工大学 一种基于形状玻尔兹曼机的补全式行人检测方法
CN106803080A (zh) * 2017-01-24 2017-06-06 北京理工大学 一种基于形状玻尔兹曼机的补全式行人检测方法
CN107066968A (zh) * 2017-04-12 2017-08-18 湖南源信光电科技股份有限公司 基于目标识别和跟踪的融合策略的车载行人检测方法
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN109712171B (zh) * 2018-12-28 2023-09-01 厦门瑞利特信息科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN111415528A (zh) * 2019-01-07 2020-07-14 长沙智能驾驶研究院有限公司 道路安全预警方法、装置、路侧单元及存储介质
CN110443832A (zh) * 2019-06-21 2019-11-12 西北工业大学 一种基于观测区间值的证据滤波目标跟踪方法
CN110443832B (zh) * 2019-06-21 2022-03-01 西北工业大学 一种基于观测区间值的证据滤波目标跟踪方法
CN111652263A (zh) * 2020-03-30 2020-09-11 西北工业大学 一种基于多滤波器信息融合的自适应目标跟踪方法
CN111652263B (zh) * 2020-03-30 2021-12-28 西北工业大学 一种基于多滤波器信息融合的自适应目标跟踪方法
CN111860613A (zh) * 2020-06-30 2020-10-30 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN111860613B (zh) * 2020-06-30 2023-10-27 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN114241011A (zh) * 2022-02-22 2022-03-25 阿里巴巴达摩院(杭州)科技有限公司 目标检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN105335701B (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN105335701A (zh) 一种基于hog与d-s证据理论多信息融合的行人检测方法
CN102598057B (zh) 自动对象识别、然后根据对象形状进行对象跟踪的方法和系统
CN102831439B (zh) 手势跟踪方法及系统
Unzueta et al. Adaptive multicue background subtraction for robust vehicle counting and classification
Tian et al. Rear-view vehicle detection and tracking by combining multiple parts for complex urban surveillance
CN108665487B (zh) 基于红外和可见光融合的变电站作业对象和目标定位方法
CN101141633B (zh) 一种复杂场景中的运动目标检测与跟踪方法
CN101482923B (zh) 视频监控中人体目标的检测与性别识别方法
CN111553397B (zh) 基于区域全卷积网络和自适应的跨域目标检测方法
KR101731243B1 (ko) 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN104134222A (zh) 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN105335986A (zh) 基于特征匹配和MeanShift算法的目标跟踪方法
CN109919053A (zh) 一种基于监控视频的深度学习车辆停车检测方法
CN104866823A (zh) 一种基于单目视觉的车辆检测与跟踪方法
Bešić et al. Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning
CN104424638A (zh) 一种基于遮挡情况下的目标跟踪方法
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN102750712B (zh) 一种基于局部时空流形学习的运动目标分割方法
CN103123726B (zh) 一种基于运动行为分析的目标跟踪算法
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN105321189A (zh) 基于连续自适应均值漂移多特征融合的复杂环境目标跟踪方法
CN104463165A (zh) 一种融合Canny算子与Vibe算法的目标检测方法
CN113763427B (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230322

Address after: 230088 China (Anhui) Free Trade Pilot Zone, Hefei City, Anhui Province 3201, Building A1, Phase I, Zhong'an Chuanggu Science Park, No. 900, Wangjiang West Road, High-tech Zone, Hefei City

Patentee after: Anhui Zhongke Xingchi Automatic Driving Technology Co.,Ltd.

Address before: 230031 No. 350 Lake Road, Hefei, Anhui, Shushan

Patentee before: HEFEI INSTITUTES OF PHYSICAL SCIENCE, CHINESE ACADEMY OF SCIENCES