CN105046206B - 基于视频中运动先验信息的行人检测方法及装置 - Google Patents

基于视频中运动先验信息的行人检测方法及装置 Download PDF

Info

Publication number
CN105046206B
CN105046206B CN201510355350.4A CN201510355350A CN105046206B CN 105046206 B CN105046206 B CN 105046206B CN 201510355350 A CN201510355350 A CN 201510355350A CN 105046206 B CN105046206 B CN 105046206B
Authority
CN
China
Prior art keywords
pedestrian
video
block
detected
close quarters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510355350.4A
Other languages
English (en)
Other versions
CN105046206A (zh
Inventor
邓波
高晨旭
齐超
彭甫阳
包阳
林旺群
战茅
李海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing System Engineering Research Institute
Original Assignee
Beijing System Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing System Engineering Research Institute filed Critical Beijing System Engineering Research Institute
Priority to CN201510355350.4A priority Critical patent/CN105046206B/zh
Publication of CN105046206A publication Critical patent/CN105046206A/zh
Application granted granted Critical
Publication of CN105046206B publication Critical patent/CN105046206B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于视频中运动先验信息的行人检测方法及装置,涉及视频中的行人检测技术领域,解决了现有技术中视频中的行人检测方法复杂度较高、很难实现实时检测的问题。所述方法包括:通过背景差分的方法提取待检测视频中的运动信息;对所述运动信息中的运动目标进行区域聚类,得到运动密集区域块;对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔;对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息;运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果。本发明的实施例主要用于视频中的行人检测。

Description

基于视频中运动先验信息的行人检测方法及装置
技术领域
本发明涉及视频中的行人检测技术领域,尤其涉及一种基于视频中运动先验信息的行人检测方法及装置。
背景技术
目前,图像中行人检测技术的研究是一个热点问题,国外很多学者对此做了大量的研究,很多高水平的期刊会议上都有很多关于此方面的论文发表。与此同时,行人检测技术为视频的语义分析提供了重要的数据基础,对于视频监控的智能化和辅助驾驶技术具有重要的应用价值。
由于行人兼具柔性和刚性物体的特性,在空间上的变化较多样而且剧烈,姿态和外观变化比较频繁,采集的行人图像很容易受到相互遮挡、穿着、视角和姿态等影响,使得行人检测技术成为计算机视觉领域的一个研究难点。近些年来,机器学习的方法被引入到行人检测的研究中来,检测准确率得到了很大的提升,目前主流的行人检测方法都是基于此原理实现的。但由于机器学习方法的计算复杂度较高,对于单幅图像检测的耗时较长,如果将该方法直接应用于视频中的行人检测中,很难实现实时的行人检测,限制了该项技术的广泛应用。视频相当于是多帧连续的图像,与静态图像相比多了帧间信息,为了更好的实现行人检测在视频中的应用,需要充分利用视频帧间信息,尤其是运动先验信息。
在视频中的行人检测领域,关于运动信息的使用可以分为三类:运动区域先验、运动特征融合、行人运动特性的检测。
运动区域先验的方式主要是通过运动检测的方法,提取出视频中的运动区域,作为行人检测的几何先验信息,在运动区域周围进行检测。该方法的行人检测部分与运动信息的提取过程是相互独立的,相互支持,互不影响。
运动特征融合方法,将运动信息融入了行人检测的特征信息中,将帧间的运动差异信息用于区分行人目标。该方法一般将帧差法或光流法的结果数据融合到特征中,需要重新设计特征,对运动的行人检测效果有很大提高。但一般运算比较复杂,很难做到实时,而且对于帧率较低或者视频中运动目标运动速度较快或极慢的情况,鲁棒性比较差。
行人运动特性的检测,一般是针对行人目标在行走运动过程中的姿态变换特征,辅助行人检测,研究比较热的方法是基于步态特征的检测,该方法的误检率比较低,另外步态识别在人的识别领域也有很广泛的应用。该类方法的实现过程比较复杂,而且对视频拍摄角度要求比较高,遮挡的情况容易造成运动特性信息丢失严重,应用环境比较苛刻。
在实现本发明的过程中,发明人发现现有技术中至少存在如下技术问题:
现有的视频中的行人检测方法复杂度较高,很难实现实时检测,且准确度不高。
发明内容
本发明提供的基于视频中运动先验信息的行人检测方法及装置,能够在视频中精确而快速的检测行人。
一方面,本发明提供一种基于视频中运动先验信息的行人检测方法,包括:
通过背景差分的方法提取待检测视频中的运动信息;
对所述运动信息中的运动目标进行区域聚类,得到运动密集区域块;
对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔;
对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息;
运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果。
另一方面,本发明提供一种基于视频中运动先验信息的行人检测装置,包括:
运动信息提取单元,用于提取通过背景差分的方法提取待检测视频中的运动信息;
聚类单元,用于对所述运动信息中的运动目标进行区域聚类,得到运动密集区域块;
分割单元,用于对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔;
特征提取单元,用于对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息;
定位单元,用于运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果。
本发明提供的基于视频中运动先验信息的行人检测方法及装置,通过背景差分的方法提取待检测视频中的运动信息,对所述运动信息中的运动目标进行区域聚类,得到运动密集区域块,对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔,对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息,运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果。与现有技术相比,本发明将运动区域分块进行检测,并通过运动先验信息限定特征提取范围和检测的尺度范围,降低行人检测过程的计算量,并且提升检测过程的精度,降低对背景区域的误检。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例1提供的基于视频中运动先验信息的行人检测方法的流程图;
图2示出了本发明实施例1中对原图像进行10种变换,3个LUV颜色通道图,1个梯度幅值变换,6个梯度方向变换;
图3示出了本发明实施例1中的背景初始化过程;
图4示出了在运动检测过程,检测出前景图像后,进行形态学滤波,剔除空洞和“鬼影”现象,并进行大阈值的膨胀处理,将行人的轮廓信息充分包含在运动区域中;
图5示出了本发明实施例1中对运动密集区域块分别建立图像金字塔;
图6示出了本发明实施例1中10个特征变换图像和不同区域特征显著性效果图;
图7示出了实施例1中非极大值抑制过程,其中,(a)为处理前的检测结果,(b)为处理后的最终行人定位结果;
图8为本发明实施例2提供的基于视频中运动先验信息的行人检测装置的结构示意图;
图9为图8中运动信息提取单元11的结构示意图;
图10为本发明另一实施例提供的基于视频中运动先验信息的行人检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1
本发明实施例提供一种基于视频中运动先验信息的行人检测方法,如图1所示,所述基于视频中运动先验信息的行人检测方法包括:
S11、通过背景差分的方法提取待检测视频中的运动信息。
进一步地,所述通过背景差分的方法提取待检测视频中的运动信息可以包括:
S111、针对待检测视频的开头片段,进行运动检测背景模型的初始化。
具体地,可以针对待检测视频,截取视频的前10秒片段,每秒取3帧,共30帧,用于基于ViBe方法的运动检测背景模型的初始化。
假设x为图像中的某一像素位置,v(x)为该像素位置的像素值,SR(v(x))为以x为中心、R为半径的区域的像素集合,其中R=15,BG(x)={V1,V2,…,VN}为x位置周围的背景样本集,BG即为背景模型,其中N=20。
背景模型初始化过程如图3所示。随着帧数增加,“鬼影”逐渐消失,背景模型越来越稳定。并且,运动速度快的目标更容易在初始化过程中消失,说明视频中的运动目标运动速度越快,背景模型初始化速度越快。
S112、对于所述待检测视频中的当前视频帧图像,与所述背景模型进行差分,得到前景图像,即运动先验信息。
具体地,对于当前视频帧图像I,基于ViBe方法,与背景模型进行差分,求得前景图像。
对于位置x的像素,如果SR(v(x))∩BG(x)小于预设的阈值,则认为x为前景点,否则为背景点。最终得到二值化的前景图像M,即运动先验信息。
S113、对所述运动先验信息进行形态学滤波,以及腐蚀和膨胀处理,得到处理后的运动信息。
具体地,对前景运动信息M进行形态学滤波,如图4所示,剔除空洞和“鬼影”现象。采用游程编码方式进行连通区域分析,使得单个的二值像素点变成有意义的连通区域。然后再进行腐蚀和膨胀处理,得到处理后的运动信息。由于在行人检测过程中,人体的轮廓信息是重要的检测依据,所以需要尽量设置较大的膨胀阈值,使得运动区域充分的覆盖人体的轮廓信息,防止下一步特征提取过程的信息丢失。
S12、对所述运动信息中的运动目标进行区域聚类,得到运动密集区域块。
具体地,依据检测面积最小化原则对所述运动信息中的运动目标进行区域聚类,将相互覆盖面积较大的运动目标聚集为一个运动密集区域块。聚类过程中,要保证对最终得到的运动密集区域块进行特征提取时计算量最小,即面积和最小。
用方框框出前景图像M中的运动子块b(x,y,w,h),其中x和y是运动块的左上角位置坐标,w和h为宽和高。行人检测模型的分辨率是128×64,其中行人大小为100×40,为了增加人体的轮廓信息,并提升行人定位精度,扩展所有运动子块的边缘:
得到运动块集合Block=[b1,b2,…,bn]。然后,根据检测面积最小化原则,即总的待检测运动块面积和最小,对运动块集合进行聚类,实现对运动块较多的区域聚集为一个运动密集区域块。定义:
将满足|bi∪bj|<|bi+bj|的所有运动块合并为新的运动密集区域块B,其中B=bi∪bj∪…,得到最终的运动密集区域块集合Block=[B1,B2,…,BN],对于任意Bi和Bj满足Bi∪Bj>Bi+Bj,其中其中是构成Bj的运动子块集合。
S13、对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔。
根据Block对原帧图像进行分割,对每个运动密集区域块分别建立图像金字塔,如图5所示,并根据每个运动子块的尺度大小,确定图像金字塔的尺度缩放范围。
对每个运动密集区域分别建立图像金字塔,如图5所示。已知运动密集区域中每个运动子块的尺度,可以预估待行人的尺度范围。当运用滑窗方法检测行人时,需要基于一个分辨率为128×64的窗口,以固定的步长在每层图像金字塔中滑动,并对每个滑窗结果进行分类。在建立图像金子塔时,只需要保证运动密集区域块中的所有行人,在某层金子塔图像中,分辨率满足或者接近100×40。对于每个运动密集区域块,首先求得所有运动子块的最小宽wmin和高hmin,以及最大的宽wmax和高hmax,得出该运动密集区域块建立图像金字塔需要缩放的尺度范围:
其中,图像金字塔的缩放尺度步长为
S14、对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息。
对运动密集区域块的每层图像金字塔进行特征提取,特征提取过程中,以前景图像M作为依据,只对运动区域的像素进行相应变换,背景区域不做处理。如图6所示,特征数据中剔除掉了复杂背景的干扰,将背景区域的特征置零,使得特征显著区域集中于行人周围,相当于是在一个简单背景下的行人检测,提升了检测精度,也减小了特征变换的计算量,加速了特征提取的过程。
S15、运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果。
其中,在步骤S11之前,所述方法还包括:
基于大量行人样本和非行人背景样本,离线训练行人检测分类器。
本发明采用分辨率为128×64的行人检测模型,训练样本中的行人样本和非行人背景样本图像的分辨率均为128×64,其中行人样本图像中的有效行人区域占比为100×40。本发明的行人检测基本方法基于Dollar等人提出的积分通道特征实现,该特征主要基于对原图像进行10种变换映射,如图2所示。
3个LUV颜色通道变换:输入原始图像I为RGB颜色空间,将其转化为LUV颜色空间表示,图像I在LUV颜色空间上的三个通道信息组成LUV颜色通道图,即
1个梯度赋值变换:梯度赋值通道M的计算基于图像I的灰度图Igray,计算方法如下:
6个梯度方向变换:首先要要基于灰度图Igray计算每个像素位置的梯度方向:
然后把Θ(x,y)离散为六个梯度方向得到六个方向上的梯度赋值通道图:
Hk=M·1[Θ(x,y)=θk-5],其中k=1,2,…,6 (3)
基于上述变换后的图像,积分通道特征即为随机一种变换图像上的随机4×4矩形框内像素值的和,随机选取10,000个候选特征,运用AdaBoost分类器进行学习训练,其中,AdaBoost分类器由2048个决策树弱分类器组成。经过离线训练,最终得到行人检测分类器。
则所述运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果包括:
基于所述行人检测分类器,运用滑窗的方式,检测所述运动密集区域块Bk的每层金字塔图像中的行人,定位行人目标,对所获取到的行人检测结果进行非极大值抑制,获取最终行人检测结果,并对所述最终行人检测结果进行坐标变换,变换到原图像的坐标系中。
基于训练好的行人检测分类器,运用滑窗的方式,检测运动密集区域块Bk的每层金字塔图像中的行人,对每个滑动窗口进行打分,最终保留分数大于零的窗口集合其中pi=(xi,yi,si,gi),xi和yi是该窗口的位置坐标,si是该窗口所在金字塔层的缩放尺度倍数,gi为该窗口的检测分数。如图7所示,行人检测分类器会将行人周围的很多窗口分类为行人,需要运用非极大值抑制的方法,基于分数高的窗口,抑制掉分数低的窗口,以实现行人的准确定位。首先将Pk按照分数g从大到小排序,然后对于窗口集合中任意的pi和pj,i<j,如果满足
则剔除掉行人窗口pj,其中Area指相应窗口的面积,最终得到精确定位后的行人检测结果Nk为Bk中的行人个数。
显示行人检测结果之前,需要对最终的行人窗口进行坐标变换,由Bk的坐标系变换至原图像的坐标系中。对于任意行人窗口pi(xi,yi,si,gi):
其中wi和hi分别为行人窗口在原图像上宽和高。经过变换后,可直接根据坐标和尺度信息,将Block集合中所有的检测结果窗口显示。
进一步地,在所述步骤S15之后,所述方法还包括:
根据所述最终行人检测结果,对所述背景模型进行更新。
对于视频中的行人检测,可能出现某行人目标在视频中的某位置长期滞留,希望该行人目标一直能被准确的检测,而传统的运动检测背景模型更新方案,会将行人目标渐渐融入背景,导致运动检测对其失效,则本发明的检测方法也将对该行人目标失效。所以,本发明提出了基于行人检测结果反馈的背景模型更新方案,对当前帧所有pi区域的背景模型不做处理,仅对非行人区域进行更新操作。
最后,判断所述待检测视频中的当前视频帧图像是否为视频结尾,如果是则结束;如果不是,则提取所述待检测视频中的下一帧图像I,重复执行步骤S112及后续的步骤。
本发明实施例提供的基于视频中运动先验信息的行人检测方法,以运动区域先验信息为基础,通过对运动信息的深度分析,剔除静态背景区域,根据检测面积最小化原则,把运动区域分块进行检测,并通过运动先验信息限定特征提取范围和检测的尺度范围,降低行人检测过程的计算量,并且提升检测过程的精度,降低对背景区域的误检。同时,本发明还提出了基于行人检测结果反馈方式的背景模型更新方法,有效实现对场景中行人目标的持续检测。
本发明实施例根据行人检测结果,仅对非行人区域进行更新操作,行人检测框中的背景模型保持不变,保证长期滞留在场景中的行人不被融入背景模型,保证本发明实现对行人的持续检测。
本实施例提供的基于视频中运动先验信息的行人检测方法剔除掉了大量静态背景信息,并且通过分块检测,建立图像金子塔的尺度范围仅需根据运动子块大小决定,而原始的基于整幅图像的行人检测,需要根据整幅图像中的运动块大小决定缩放尺度范围,该范围远大于各运动密集区域块的图像金字塔的尺度范围,本发明通过该方法,有效控制了建立图像金字塔的尺度范围,减少了检测计算量。
本发明还在特征提取过程中,依据运动先验信息限制图像的变换操作,仅对运动区域进行特征提取,剔除复杂静态背景对检测的干扰,相当于将问题转化为简单背景下的行人检测,减少特征提取过程计算量的同时,提升了行人检测的精度。
由于行人是本发明的感兴趣目标,也是诸多场景中事故发生的主要因素。为了实现对场景中行人的持续检测,本发明还提出了基于行人检测结果反馈方式的背景模型更新方法,防止行人被融入到背景模型中,影响对行人目标的运动检测结果。
综上所述,本发明有效解决了视频中行人检测所面临的诸多问题,实现了一个快速而且准确的视频中行人检测方法。
实施例2
本实施例提供一种基于视频中运动先验信息的行人检测装置,如图8所示,所述基于视频中运动先验信息的行人检测装置包括:
运动信息提取单元11,用于提取通过背景差分的方法提取待检测视频中的运动信息;
聚类单元12,用于对所述运动信息中的运动目标进行区域聚类,得到运动密集区域块;
分割单元13,用于对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔;
特征提取单元14,用于对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息;
定位单元15,用于运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果。
进一步地,如图9所示,所述运动信息提取单元11可以包括:
初始化模块111,用于针对待检测视频的开头片段,进行运动检测背景模型的初始化;
差分模块112,用于对于所述待检测视频中的当前视频帧图像,与所述背景模型进行差分,得到前景图像,即运动先验信息;
处理模块113,用于对所述运动先验信息进行形态学滤波,以及腐蚀和膨胀处理,得到处理后的运动信息。
进一步地,所述聚类单元12,用于依据检测面积最小化原则对所述运动信息中的运动目标进行区域聚类,将相互覆盖面积较大的运动目标聚集为一个运动密集区域块。
进一步地,如图10所示,所述装置还可以包括:
训练单元16,用于基于大量行人样本和非行人背景样本,离线训练行人检测分类器;
则所述定位单元15,用于基于所述行人检测分类器,运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,对所获取到的行人检测结果进行非极大值抑制,获取最终行人检测结果,并对所述最终行人检测结果进行坐标变换,变换到原图像的坐标系中。
进一步地,如图10所示,所述装置还可以包括:
更新单元17,用于根据所述最终行人检测结果,对所述背景模型进行更新。
本发明提供的基于视频中运动先验信息的行人检测装置,通过背景差分的方法提取待检测视频中的运动信息,对所述运动信息中的运动目标进行区域聚类,得到运动密集区域块,对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔,对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息,运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果。与现有技术相比,本发明将运动区域分块进行检测,并通过运动先验信息限定特征提取范围和检测的尺度范围,降低行人检测过程的计算量,并且提升检测过程的精度,降低对背景区域的误检。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于视频中运动先验信息的行人检测方法,其特征在于,包括:
通过背景差分的方法提取待检测视频中的运动信息;
依据检测面积最小化原则对所述运动信息中的运动目标进行区域聚类,将相互覆盖面积较大的运动目标聚集为一个运动密集区域块,以保证对最终得到的运动密集区域块进行特征提取时计算量最小,即面积和最小;
对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔;
对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息,以剔除掉复杂背景的干扰,将背景区域的特征置零,使得特征显著区域集中于行人周围;
运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果;
根据所述行人检测结果,对背景模型进行更新,将所述行人检测结果反馈至背景模型更新模块,对行人区域不做更新处理,仅对非行人区域进行更新处理。
2.根据权利要求1所述的方法,其特征在于,所述通过背景差分的方法提取待检测视频中的运动信息包括:
针对待检测视频的开头片段,进行运动检测背景模型的初始化;
对于所述待检测视频中的当前视频帧图像,与所述背景模型进行差分,得到前景图像,即运动先验信息;
对所述运动先验信息进行形态学滤波,以及腐蚀和膨胀处理,得到处理后的运动信息。
3.根据权利要求2所述的方法,其特征在于,在所述通过背景差分的方法提取待检测视频中的运动信息之前,所述方法还包括:
基于行人样本和非行人背景样本,离线训练行人检测分类器;
则所述运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果包括:
基于所述行人检测分类器,运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,对所获取到的行人检测结果进行非极大值抑制,获取最终行人检测结果,并对所述最终行人检测结果进行坐标变换,变换到原图像的坐标系中。
4.一种基于视频中运动先验信息的行人检测装置,其特征在于,包括:
运动信息提取单元,用于提取通过背景差分的方法提取待检测视频中的运动信息;
聚类单元,用于依据检测面积最小化原则对所述运动信息中的运动目标进行区域聚类,将相互覆盖面积较大的运动目标聚集为一个运动密集区域块,以保证对最终得到的运动密集区域块进行特征提取时计算量最小,即面积和最小;
分割单元,用于对所述待检测视频中的视频帧图像依据所述运动密集区域块进行分割处理,分别建立图像金字塔;
特征提取单元,用于对所述运动密集区域块的每层图像金字塔进行特征提取,仅提取运动区域及附近像素的特征信息,以剔除掉复杂背景的干扰,将背景区域的特征置零,使得特征显著区域集中于行人周围;
定位单元,用于运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,获取行人检测结果;
更新单元,用于根据所述行人检测结果,对背景模型进行更新,将所述行人检测结果反馈至背景模型更新模块,对行人区域不做更新处理,仅对非行人区域进行更新处理。
5.根据权利要求4所述的装置,其特征在于,所述运动信息提取单元包括:
初始化模块,用于针对待检测视频的开头片段,进行运动检测背景模型的初始化;
差分模块,用于对于所述待检测视频中的当前视频帧图像,与所述背景模型进行差分,得到前景图像,即运动先验信息;
处理模块,用于对所述运动先验信息进行形态学滤波,以及腐蚀和膨胀处理,得到处理后的运动信息。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
训练单元,用于基于行人样本和非行人背景样本,离线训练行人检测分类器;
则所述定位单元,用于基于所述行人检测分类器,运用滑窗的方式,检测所述运动密集区域块的每层金字塔图像中的行人,定位行人目标,对所获取到的行人检测结果进行非极大值抑制,获取最终行人检测结果,并对所述最终行人检测结果进行坐标变换,变换到原图像的坐标系中。
CN201510355350.4A 2015-06-24 2015-06-24 基于视频中运动先验信息的行人检测方法及装置 Expired - Fee Related CN105046206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510355350.4A CN105046206B (zh) 2015-06-24 2015-06-24 基于视频中运动先验信息的行人检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510355350.4A CN105046206B (zh) 2015-06-24 2015-06-24 基于视频中运动先验信息的行人检测方法及装置

Publications (2)

Publication Number Publication Date
CN105046206A CN105046206A (zh) 2015-11-11
CN105046206B true CN105046206B (zh) 2019-02-01

Family

ID=54452735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510355350.4A Expired - Fee Related CN105046206B (zh) 2015-06-24 2015-06-24 基于视频中运动先验信息的行人检测方法及装置

Country Status (1)

Country Link
CN (1) CN105046206B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991356A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种对球赛视频中运动员进行跟踪的算法
CN105893963B (zh) * 2016-03-31 2019-03-08 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法
CN106897738B (zh) * 2017-01-22 2019-07-16 华南理工大学 一种基于半监督学习的行人检测方法
CN107767404A (zh) * 2017-06-23 2018-03-06 北京理工大学 一种基于改进ViBe背景模型的遥感图像序列动目标检测方法
CN107992791A (zh) * 2017-10-13 2018-05-04 西安天和防务技术股份有限公司 目标跟踪失效重检方法及装置、存储介质、电子设备
CN108985169B (zh) * 2018-06-15 2020-12-11 浙江工业大学 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN112287955A (zh) * 2019-07-24 2021-01-29 鲁班嫡系机器人(深圳)有限公司 基于图像的处理、训练、前景提取方法、装置及系统
CN112101253B (zh) * 2020-09-18 2024-07-12 广东机场白云信息科技有限公司 一种基于视频动作识别的民用机场地面保障状态识别方法
CN112528843A (zh) * 2020-12-07 2021-03-19 湖南警察学院 一种融合面部特征的机动车驾驶人疲劳检测方法
CN113936038B (zh) * 2021-10-13 2024-09-13 支付宝(杭州)信息技术有限公司 骨骼检测装置及其使用方法、训练方法和训练装置
CN114005066B (zh) * 2021-11-04 2022-07-26 北京智慧眼信息技术有限公司 基于hdr的视频帧图像处理方法、装置、计算机设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN104537688A (zh) * 2014-12-24 2015-04-22 南京邮电大学 一种基于背景差分和hog特征的运动目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN104537688A (zh) * 2014-12-24 2015-04-22 南京邮电大学 一种基于背景差分和hog特征的运动目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
较大尺度运动下的人体特征点跟踪算法研究;陈婷婷 等;《信号处理》;20140731;第30卷(第7期);第797~803页

Also Published As

Publication number Publication date
CN105046206A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
Jabri et al. Detection and location of people in video images using adaptive fusion of color and edge information
CN105160317B (zh) 一种基于区域分块行人性别识别方法
CN103310194B (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN108710865A (zh) 一种基于神经网络的司机异常行为检测方法
WO2015010451A1 (zh) 一种从单幅图像检测道路的方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN107145845A (zh) 基于深度学习及多特征点融合的行人检测方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
Žemgulys et al. Recognition of basketball referee signals from real-time videos
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN105513053B (zh) 一种用于视频分析中背景建模方法
CN102096823A (zh) 基于高斯模型和最小均方差的人脸检测方法
CN104715238A (zh) 一种基于多特征融合的行人检测方法
CN102214291A (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
CN101406390A (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN108596102A (zh) 基于rgb-d的室内场景物体分割分类器构造方法
CN104281839A (zh) 一种人体姿势识别方法和装置
CN105488811A (zh) 一种基于深度梯度的目标跟踪方法与系统
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN106204594A (zh) 一种基于视频图像的弥散性运动物体的方向检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190201

Termination date: 20190624