CN102521842A - 一种实现快速移动检测的方法和装置 - Google Patents

一种实现快速移动检测的方法和装置 Download PDF

Info

Publication number
CN102521842A
CN102521842A CN2011103842811A CN201110384281A CN102521842A CN 102521842 A CN102521842 A CN 102521842A CN 2011103842811 A CN2011103842811 A CN 2011103842811A CN 201110384281 A CN201110384281 A CN 201110384281A CN 102521842 A CN102521842 A CN 102521842A
Authority
CN
China
Prior art keywords
moving region
image
tracking
tracking vector
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103842811A
Other languages
English (en)
Other versions
CN102521842B (zh
Inventor
王超
全晓臣
任烨
蔡巍伟
浦世亮
贾永华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201110384281.1A priority Critical patent/CN102521842B/zh
Publication of CN102521842A publication Critical patent/CN102521842A/zh
Application granted granted Critical
Publication of CN102521842B publication Critical patent/CN102521842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种实现快速移动检测的方法和装置,对于输入的每帧图像t,分别进行如下处理:获取图像t的帧差图像;从帧差图像中提取出运动区域,所提取出的运动区域的个数至少为1;从帧差图像中提取出M个角点,M为大于1的正整数,并基于提取出的角点进行光流跟踪,得到M个跟踪矢量;确定每个跟踪矢量分别对应的运动区域;利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。应用本发明所述的方法和装置,能够减少计算量。

Description

一种实现快速移动检测的方法和装置
技术领域
本发明涉及图像处理技术,特别涉及一种实现快速移动检测的方法和装置。
背景技术
大型超市、银行以及机场等公共场所通常都具有很高的安全级别要求,特别是在全球恐怖主义日益猖獗的今天,因此,这些场所都加强了视频监控的力度。
在这些场所中,人群的各种异常行为都值得关注,如骚乱、聚集、打架、抢劫等,因为这些行为往往可能会危害公共安全及人民的生命财产。而上述异常行为通常具有一定的相似性,即快速移动,不同的是,该快速移动可能是人群整体的行为,也可能是人群中局部的行为。
正因为上述异常行为可能会危害公共安全及人民的生命财产,因此在实际应用中,需要按照某种方式来实现快速移动检测,并及时进行报警。
现有技术中提出,可基于一种外观信息和运动信息相结合的随机模型,利用时域运动信息及空域信息来实现快速移动检测,但是,这种方式所用模型比较复杂,而且针对不同的场景需要分别单独进行训练,因此计算量很大。
发明内容
有鉴于此,本发明提供了一种实现快速移动检测的方法和装置,能够减少计算量。
为达到上述目的,本发明的技术方案是这样实现的:
一种实现快速移动检测的方法,对于输入的每帧图像t,分别进行如下处理:
获取图像t的帧差图像;
从帧差图像中提取出运动区域,所提取出的运动区域的个数至少为1;
从帧差图像中提取出M个角点,M为大于1的正整数,并基于提取出的角点进行光流跟踪,得到M个跟踪矢量;
确定每个跟踪矢量分别对应的运动区域;
利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
一种实现快速移动检测的装置,包括:接收模块和检测模块;
接收模块,用于在接收到输入的每帧图像t时,分别通知检测模块执行自身功能;
检测模块,用于获取图像t的帧差图像;从帧差图像中提取出运动区域,所提取出的运动区域的个数至少为1;从帧差图像中提取出M个角点,M为大于1的正整数,并基于提取出的角点进行光流跟踪,得到M个跟踪矢量;确定每个跟踪矢量分别对应的运动区域;利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
可见,采用本发明的技术方案,只需经过帧差图像获取、运动区域及角点提取、光流跟踪等处理即可实现快速移动检测,无需针对不同的场景分别建立复杂的模型,从而减少了计算量。
附图说明
图1为地平线的位置示意图。
图2为本发明实现快速移动检测的方法实施例的流程图。
图3为从一帧差图像中提取出的运动区域的示意图。
图4为从另一帧差图像中提取出的运动区域的示意图。
图5为本发明实现快速移动检测的装置实施例的组成结构示意图。
具体实施方式
针对现有技术中存在的问题,本发明中提出一种实现快速移动检测的方案,能够减少计算量。
本发明所述方案对于摄像机的架设有一定的要求:摄像机的高度需要定在4~8米左右,如果太低,则人占的面积太大从而容易出现误报,如果太高,则容易出现漏报;摄像机的俯仰角度需要保证地平线的位置不低于图像的1/3处,图1为地平线的位置示意图,如果摄像机安装得过于水平会容易出现误报;摄像机焦距一般选择3~9毫米,不能过大,否则人在视野内较大容易出现误报。
为使本发明的技术方案更加清楚、明白,以下参照附图并举实施例,对本发明所述方案作进一步地详细说明。
图2为本发明实现快速移动检测的方法实施例的流程图,针对输入的每帧图像t,分别进行如下处理。
步骤21:获取图像t的帧差图像。
本步骤中,对于图像t中的每个像素点,分别计算其与图像t-1中的对应像素点的灰度值差值,如果计算结果大于预定阈值,则将帧差图像中的对应像素点的灰度值设置为1,否则为0;其中,图像t-1为与图像t相邻的前一帧图像,对应是指坐标相同。
即有:
D(t)=I(t)-I(t-1);(1)
其中,I(t)表示图像t,I(t-1)表示图像t-1,D(t)表示帧差图像。
灰度值设置为1的像素点即为运动像素点。
得到运动像素点的方式有很多种,比如背景建模方式和光流法等,本实施例中之所以采用帧差法是因为本发明所述方案是应用在复杂场景下,在这种场景下背景建模方式将失效,而光流法的计算量又过大。
上述阈值的具体取值可根据实际需要而定,但不能太小或太大,因为如果太小的话会对噪声敏感,太大的话又会导致运动区域破碎,实验表明,7为一个较佳值。
步骤22:从帧差图像中提取出运动区域,所提取出的运动区域的个数至少为1。
本步骤中,从步骤21中获取到的帧差图像中提取出运动区域,即提取出运动团块(blob)。
首先,利用双向投影方式得到帧差图像在行和列两个不同方向上的直方图,如式(2)和(3)所示:
C={c1,c2---cM}, c i = Σ j = 1 N ( P ij > 0 ) ; - - - ( 2 )
R={r1,r2---rN}, r i = Σ j = 1 M ( P ji > 0 ) ; - - - ( 3 )
其中,P表示像素点,M表示帧差图像的宽度,N表示帧差图像的高度,R表示行方向上的直方图,C表示列方向上的直方图;
之后,基于得到的直方图,利用自适应阈值方式提取出运动区域,自适应阈值方式的具体实现为现有技术。
在实际应用中,也可以采用其它方式来进行运动区域提取,比如连通区域标记方式,但如果在对比度比较低的场景下,采用该方式很可能得不到完整的运动区域。
提取出的运动区域的个数可能为1个,也可能为多个,每个运动区域均为矩形区域。
步骤23:从帧差图像中提取出M个角点,M为大于1的正整数。
本步骤为后续的光流跟踪作准备,即为光流初始点的设置提供依据,可按照Harris角点提取方式从帧差图像中提取出M个角点。
给定一个点坐标,可定义其自相关函数E(x,y),如式(4)所示,之后,将其中的I(xk+Δx,yk+Δy)利用泰勒公式展开,得到式(5),再之后,将式(4)和式(5)结合,得到式(6);
E ( x , y ) = Σ W ( I ( x k , y k ) - I ( x k + Δx , y k + Δy ) ) 2 ; - - - ( 4 )
I ( x k + Δx , y k + Δx ) ≈ I ( x k , y k ) + ( I x ( x k , y k ) I y ( x k , y k ) ) Δx Δy ; - - - ( 5 )
E ( x , y ) = Σ W ( ( I x ( x k , y k ) I y ( x k , y k ) ) Δx Δy )
= Δx Δy Σ W ( I x ( x k , y k ) ) 2 Σ W I x ( x k , y k ) I y ( x k , y k ) Σ W I x ( x k , y k ) I y ( x k , y k ) Σ W ( I x ( x k , y k ) ) 2 Δx Δy ; - - - ( 6 )
= Δx Δy A ( x , y ) Δx Δy
式(6)中的矩阵A(x,y)的特征值的大小即可作为角点选择的判别标准,这与后续采用卢卡斯-卡纳德光流进行光流跟踪是否准确的判别标准一致。
本步骤中,在提取角点时,不是在原始的图像t上进行提取,而是在帧差图像上进行提取,从而使得后续的光流初始点能够尽可能的均匀覆盖运动区域,并尽可能多的体现出物体的运动信息。
M的具体取值可根据实际需要而定,比如可为100。
本步骤的具体实现可简单理解为:对于帧差图像中每个取值为1的像素点,分别按照式(4)~(6)确定其A(x,y),并选择特征值较大的前100个A(x,y)对应的像素点作为角点。
步骤24:基于提取出的角点进行光流跟踪,得到M个跟踪矢量。
在帧差图像上提取出角点后,可采用卢卡斯-卡纳德光流来进行光流跟踪,以兼顾跟踪的稳定性和指向性,从而提高快速移动检测的鲁棒性。
卢卡斯-卡纳德光流属于稀疏光流的一种,其基本思想是通过迭代算法,找出第一帧图像中的某一特征点在均方判别准则下在第二帧图像中的位置,各特征点可赋予不同的权值,本实施例中为了计算方便,各特征点的权值均相同。
另外,在进行光流跟踪时,通常会考虑图像的平移、旋转和放大等,由于本发明所述方案仅针对相邻的连续两帧图像进行处理,因此只需考虑平移的问题,利用金字塔分层的思想,保存完整图像的1/4图像和1/16图像,在每次迭代时,依次在1/16图像、1/4图像和完整图像中进行特征点的寻找,具体实现为现有技术。
基于上述介绍,本步骤中,将各角点坐标在图像t-1中对应的像素点作为光流初始点;确定各光流初始点在图像t中的坐标,将确定出的各坐标上的像素点作为光流跟踪点;将每个光流初始点及其对应的光流跟踪点所组成的矢量作为该光流初始点的跟踪矢量。
步骤25:确定每个跟踪矢量分别对应的运动区域。
本步骤中,综合步骤22以及步骤24的处理结果,确定每个跟踪矢量分别对应的运动区域,即针对每个运动区域,分别确定哪些跟踪矢量对应的光流初始点位于该运动区域内。
具体来说,遍历所有跟踪矢量对应的光流初始点,如果一光流初始点的坐标为(x,y),一运动区域的四个顶点坐标分别为(xleft,ytop)、(xright,ytop)、(xleft,ybottom)、(yright,ybottom),且x、y满足:
xleft<x<xright,ytop<y<ybottom;(7)
则确定该光流初始点对应的跟踪矢量对应于该运动区域;其中,xleft表示运动区域的左上顶点的横坐标,xright表示运动区域的右下顶点的横坐标,ytop表示运动区域的左上顶点的纵坐标,ybottom表示运动区域的右下顶点的纵坐标。
经过本步骤的处理后,即可知道每个运动区域内的运动信息,这种运动信息是一种采样的运动信息。
步骤26:利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
快速移动可能是人群整体的行为,也可能是人群中局部的行为,因此可采用运动模式分解思想,这是一种“分而治之”的思想,即首先将运动区域中不同的运动物体找出来,并假设他们有不同的运动模式,之后,针对不同的运动模式进行分析。
为得到不同的运动模式,可采用随机抽样一致(RANSAC,Random SampleConsensus)算法,RANSAC算法可以从一组包含“局外点”的观测数据集中,通过迭代方式估计出模型参数,“局外点”是不能适应该模型的数据,它是一种不确定的算法,即有一定的概率得到一个合理的结果,为了提高概率必须提高迭代次数。
基于上述介绍,本步骤中,针对每个运动区域Y(用于表示任一运动区域),分别进行以下处理:
将对应于运动区域Y的各跟踪矢量中具有相同特性的跟踪矢量划分为一个分组,共得到N个分组,每个分组分别对应一种运动模式,N为正整数,具体取值可根据实际需要而定,比如为3;
针对每个分组,分别计算其中的各跟踪矢量对应的光流初始点与光流跟踪点之间的欧式距离,将各计算结果相加求平均,得到每种运动模式的运动速度。
对于每个跟踪矢量对应的光流初始点和光流跟踪点来说,其满足式(8)所示模型:
x t y t = S cos α - sin α sin α cos α x t - 1 y t - 1 + Δx Δy ; - - - ( 8 )
其中,S为放大系数,α为旋转系数,Δx和Δy为平移系数;xt-1表示光流初始点的横坐标,yt-1表示光流初始点的纵坐标,xt表示光流跟踪点的横坐标,yt表示光流跟踪点的纵坐标;
如果只考虑平移,则可令S=1,α=0,从而将式(8)进行简化,得到式(9):
x t y t = x t - 1 y t - 1 + Δx Δy ; - - - ( 9 )
模型参数为Δx和Δy。
由于本发明所述方案中需要跟踪的特征点较少(100个),并为了避免随机数产生,可去掉RANSAC算法中随机取跟踪矢量求解模型,而是采用遍历所有跟踪矢量求解模型。
这样,即可按照以下方式来将对应于运动区域Y的各跟踪矢量中具有相同特性的跟踪矢量划分为一个分组:
A、分别根据 x t y t = x t - 1 y t - 1 + Δx Δy 计算出对应于运动区域Y的各跟踪矢量的模型参数(Δx,Δy);
B、将各跟踪矢量的模型参数组成一个集合P;
C、针对集合P中的每个模型参数(Δxi,Δyi),分别统计出集合P中符合Δxi-a<Δx<Δxi+a,Δyi-b<Δy<Δyi+b这一条件的模型参数的个数,a>0,b>0,具体取值可根据实际需要而定;
将个数最大时符合条件的各模型参数对应的跟踪矢量组成一个分组,并将组成该分组的各跟踪矢量对应的模型参数从集合P中删除,之后,根据新的集合P重复执行步骤C,直到得到3个分组。
也就是说,针对运动区域Y对应的所有跟踪矢量,首先从中选出一部分组成第1组,对应运动模式1,其它跟踪矢量即为该运动模式的“局外点”;然后,从剩下的跟踪矢量中选出一部分组成第2组,对应运动模式2,之后,从再次剩下的跟踪矢量中选出一部分组成第3组,对应运动模式3。
可以看出,每种运动模式均有多个跟踪矢量来支撑,从而提高了快速移动检测的鲁棒性。
需要说明的是,在一些室外场景,当遇到车灯闪烁等光线变化时,虽然能够提取出运动区域,但是能够支撑某一运动模式的跟踪矢量数可能较少,从而影响后续处理,如计算出的该运动模式的运动速度可能不够准确(采样点过少),因此,在实际应用中,当得到3个分组之后,如果一分组中的跟踪矢量数小于预定阈值,可删除该分组,随着分组数的减少,运动模式数也会减少。
得到每个运动区域的不同运动模式的运动速度之后,如果任一运动速度大于预定阈值,则可确定图像t中存在快速移动行为,并可进行报警,该阈值的具体取值可根据实际需要而定。
图3为从一帧差图像中提取出的运动区域的示意图;图4为从另一帧差图像中提取出的运动区域的示意图;可以看出,图3所示图像中只有一个运动区域,假设得到三个运动速度,那么一旦其中的一个大于阈值,则确定该图像中存在快速移动行为;图4所示图像中存在两个运动区域,假设得到六个运动速度,那么一旦其中的一个大于阈值,则确定该图像中存在快速移动行为。
需要说明的是,在实际应用中,摄像机具有透视效应,即近大远小效应,为了使检测结果更为准确,当分别确定出每个运动区域的不同运动模式的运动速度之后,可分别获取每个运动区域对应的矫正因子,并将确定出的各运动速度分别乘以对应的矫正因子,即对应的运动区域的矫正因子,从而得到最终所需的运动速度。运动区域离摄像机越近,对应的矫正因子的取值越小,反之,离摄像机越远,对应的矫正因子的取值越大。
如何确定运动区域对应的矫正因子可根据实际需要而定,比如:
通过场景标定(利用水平或者竖直标定线,将图像的像素长度与真实长度对应起来),可得到图像中任意像素长度的真实长度,这样,对于图像中的参考像素点来说,如果当以其为起始点的像素长度为1时,对应的真实长度为D1,权重为1,那么对于一其它像素点,如果当以其为起始点的像素长度为1时,对应的真实长度为D,则该像素点的权重ω可为ω=D/D1,按照这种方式,可为图像中的每个像素点分别赋予一个权重;
当需要获取某一运动区域的矫正因子时,获取该运动区域的中心像素点的权重,并将该权重作为该运动区域的矫正因子即可。
至此,即完成了关于本发明方法实施例的介绍。
基于上述介绍,图5为本发明实现快速移动检测的装置实施例的组成结构示意图。如图5所示,包括:接收模块和检测模块;
接收模块,用于在接收到输入的每帧图像t时,分别通知检测模块执行自身功能;
检测模块,用于获取图像t的帧差图像;从帧差图像中提取出运动区域,所提取出的运动区域的个数至少为1;从帧差图像中提取出M个角点,M为大于1的正整数,并基于提取出的角点进行光流跟踪,得到M个跟踪矢量;确定每个跟踪矢量分别对应的运动区域;利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
其中,检测模块中可具体包括:帧差图像获取单元、运动区域提取单元、角点提取单元、光流跟踪单元、运动信息确定单元和运动模式分解单元;
帧差图像获取单元,用于针对图像t中的每个像素点,分别计算其与图像t-1中对应像素点的灰度值差值,如果计算结果大于预定阈值,则将帧差图像中对应像素点的灰度值设置为1,否则为0;其中,图像t-1为与图像t相邻的前一帧图像,对应是指坐标相同;
运动区域提取单元,用于利用双向投影方式得到帧差图像在行和列两个不同方向上的直方图,并基于得到的直方图,利用自适应阈值方式提取出运动区域;
角点提取单元,用于按照Harris角点提取方式从帧差图像中提取出M个角点;
光流跟踪单元,用于将各角点坐标在图像t-1中对应的像素点作为光流初始点;确定各光流初始点在图像t中的坐标,将确定出的各坐标上的像素点作为光流跟踪点;将每个光流初始点及其对应的光流跟踪点所组成的矢量作为该光流初始点的跟踪矢量;
运动信息确定单元,用于当一跟踪矢量对应的光流初始点的坐标为(x,y),一运动区域的四个顶点坐标分别为(xleft,ytop)、(xright,ytop)、(xleft,ybottom)、(xright,ybottom),且x、y满足:xleft<x<xright,ytop<y<ybottom时,确定该跟踪矢量对应于该运动区域;其中,xleft表示运动区域的左上顶点的横坐标,xright表示运动区域的右下顶点的横坐标,ytop表示运动区域的左上顶点的纵坐标,ybottom表示运动区域的右下顶点的纵坐标;
运动模式分解单元,用于利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
运动模式分解单元中可进一步包括(为简化附图,未图示):
第一处理子单元,用于针对每个运动区域Y,分别将对应于运动区域Y的各跟踪矢量中具有相同特性的跟踪矢量划分为一个分组,共得到N个分组,每个分组分别对应一种运动模式,N为正整数;
第二处理子单元,用于针对每个分组,分别计算其中的各跟踪矢量对应的光流初始点与光流跟踪点之间的欧式距离,将各计算结果相加求平均,得到每种运动模式的运动速度;如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
具体地,第一处理子单元分别根据 x t y t = x t - 1 y t - 1 + Δx Δy 计算出对应于运动区域Y的各跟踪矢量的模型参数(Δx,Δy),其中,xt-1表示跟踪矢量对应的光流初始点的横坐标,yt-1表示跟踪矢量对应的光流初始点的纵坐标,xt表示跟踪矢量对应的光流跟踪点的横坐标,yt表示跟踪矢量对应的光流跟踪点的纵坐标;将各跟踪矢量的模型参数组成一个集合P;针对集合P中的每个模型参数(Δxi,Δyi),分别统计出集合P中符合Δxi-a<Δx<Δxi+a,Δyi-b<Δy<Δyi+b这一条件的模型参数的个数,a>0,b>0,将个数最大时符合条件的各模型参数对应的跟踪矢量组成一个分组,并将组成该分组的各跟踪矢量对应的模型参数从集合P中删除,之后,按照原集合P的处理方式对新的集合P进行处理,直到得到3个分组。
第一处理子单元还可进一步用于,如果一分组中的跟踪矢量数小于预定阈值,则删除该分组。
另外,检测模块中可进一步包括:标定单元,用于为第二处理子单元提供所需的矫正因子;相应地,第二处理子单元可进一步用于,分别获取每个运动区域对应的矫正因子;将得到的各运动速度分别乘以对应的矫正因子,得到最终所需的运动速度;其中,运动区域离摄像机越近,对应的矫正因子的取值越小,反之,离摄像机越远,对应的矫正因子的取值越大。
图5所示装置实施例的具体工作流程请参照图2所示方法实施例中的相应说明,此处不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (16)

1.一种实现快速移动检测的方法,其特征在于,对于输入的每帧图像t,分别进行如下处理:
获取图像t的帧差图像;
从帧差图像中提取出运动区域,所提取出的运动区域的个数至少为1;
从帧差图像中提取出M个角点,M为大于1的正整数,并基于提取出的角点进行光流跟踪,得到M个跟踪矢量;
确定每个跟踪矢量分别对应的运动区域;
利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
2.根据权利要求1所述的方法,其特征在于,所述获取图像t的帧差图像包括:
对于图像t中的每个像素点,分别计算其与图像t-1中的对应像素点的灰度值差值,如果计算结果大于预定阈值,则将帧差图像中的对应像素点的灰度值设置为1,否则为0;
其中,图像t-1为与图像t相邻的前一帧图像,对应是指坐标相同。
3.根据权利要求1所述的方法,其特征在于,所述从帧差图像中提取出运动区域包括:
利用双向投影方式得到帧差图像在行和列两个不同方向上的直方图;
基于得到的直方图,利用自适应阈值方式提取出运动区域。
4.根据权利要求1所述的方法,其特征在于,所述从帧差图像中提取出M个角点包括:按照Harris角点提取方式从帧差图像中提取出M个角点。
5.根据权利要求1所述的方法,其特征在于,所述基于提取出的角点进行光流跟踪,得到M个跟踪矢量包括:
将各角点坐标在图像t-1中对应的像素点作为光流初始点,其中,图像t-1为与图像t相邻的前一帧图像;
确定各光流初始点在图像t中的坐标,将确定出的各坐标上的像素点作为光流跟踪点;
将每个光流初始点及其对应的光流跟踪点所组成的矢量作为该光流初始点的跟踪矢量。
6.根据权利要求5所述的方法,其特征在于,所述确定每个跟踪矢量分别对应的运动区域包括:
如果一跟踪矢量对应的光流初始点的坐标为(x,y),一运动区域的四个顶点坐标分别为(xleft,ytop)、(xright,ytop)、(xleft,ybottom)、(xright,ybottom),且x、y满足:xleft<x<xrlght,ytop<y<ybottom,则确定该跟踪矢量对应于该运动区域;
其中,xleft表示运动区域的左上顶点的横坐标,xright表示运动区域的右下顶点的横坐标,ytop表示运动区域的左上顶点的纵坐标,ybottom表示运动区域的右下顶点的纵坐标。
7.根据权利要求5所述的方法,其特征在于,所述利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度包括:
对于每个运动区域Y,分别进行以下处理:
将对应于运动区域Y的各跟踪矢量中具有相同特性的跟踪矢量划分为一个分组,共得到N个分组,每个分组分别对应一种运动模式,N为正整数;
针对每个分组,分别计算其中的各跟踪矢量对应的光流初始点与光流跟踪点之间的欧式距离,将各计算结果相加求平均,得到每种运动模式的运动速度。
8.根据权利要求7所述的方法,其特征在于,所述将对应于运动区域Y的各跟踪矢量中具有相同特性的跟踪矢量划分为一个分组包括:
A、分别根据 x t y t = x t - 1 y t - 1 + Δx Δy 计算出对应于运动区域Y的各跟踪矢量的模型参数(Δx,Δy);其中,xt-1表示跟踪矢量对应的光流初始点的横坐标,yt-1表示跟踪矢量对应的光流初始点的纵坐标,xt表示跟踪矢量对应的光流跟踪点的横坐标,yt表示跟踪矢量对应的光流跟踪点的纵坐标;
B、将各跟踪矢量的模型参数组成一个集合P;
C、针对集合P中的每个模型参数(Δxi,Δyi),分别统计出集合P中符合Δxi-a<Δx<Δxi+a,Δyi-b<Δy<Δyi+b这一条件的模型参数的个数,a>0,b>0;
将个数最大时符合条件的各模型参数对应的跟踪矢量组成一个分组,并将组成该分组的各跟踪矢量对应的模型参数从集合P中删除,之后,根据新的集合P重复执行步骤C,直到得到3个分组。
9.根据权利要求8所述的方法,其特征在于,所述得到3个分组之后,进一步包括:如果一分组中的跟踪矢量数小于预定阈值,则删除该分组。
10.根据权利要求1~9中任一项所述的方法,其特征在于,所述利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度之后,进一步包括:
分别获取每个运动区域对应的矫正因子;
将确定出的各运动速度分别乘以对应的矫正因子,得到最终所需的运动速度;
其中,运动区域离摄像机越近,对应的矫正因子的取值越小,反之,离摄像机越远,对应的矫正因子的取值越大。
11.一种实现快速移动检测的装置,其特征在于,包括:接收模块和检测模块;
接收模块,用于在接收到输入的每帧图像t时,分别通知检测模块执行自身功能;
检测模块,用于获取图像t的帧差图像;从帧差图像中提取出运动区域,所提取出的运动区域的个数至少为1;从帧差图像中提取出M个角点,M为大于1的正整数,并基于提取出的角点进行光流跟踪,得到M个跟踪矢量;确定每个跟踪矢量分别对应的运动区域;利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
12.根据权利要求11所述的装置,其特征在于,所述检测模块中包括:帧差图像获取单元、运动区域提取单元、角点提取单元、光流跟踪单元、运动信息确定单元和运动模式分解单元;
帧差图像获取单元,用于针对图像t中的每个像素点,分别计算其与图像t-1中对应像素点的灰度值差值,如果计算结果大于预定阈值,则将帧差图像中对应像素点的灰度值设置为1,否则为0;其中,图像t-1为与图像t相邻的前一帧图像,对应是指坐标相同;
运动区域提取单元,用于利用双向投影方式得到帧差图像在行和列两个不同方向上的直方图,并基于得到的直方图,利用自适应阈值方式提取出运动区域;
角点提取单元,用于按照Harris角点提取方式从帧差图像中提取出M个角点;
光流跟踪单元,用于将各角点坐标在图像t-1中对应的像素点作为光流初始点;确定各光流初始点在图像t中的坐标,将确定出的各坐标上的像素点作为光流跟踪点;将每个光流初始点及其对应的光流跟踪点所组成的矢量作为该光流初始点的跟踪矢量;
运动信息确定单元,用于当一跟踪矢量对应的光流初始点的坐标为(x,y),一运动区域的四个顶点坐标分别为(xleft,ytop)、(xright,ytop)、(xleft,ybottom)、(xright,ybottom),且x、y满足:xleft<x<xright,ytop<y<ybottom时,确定该跟踪矢量对应于该运动区域;其中,xleft表示运动区域的左上顶点的横坐标,xright表示运动区域的右下顶点的横坐标,ytop表示运动区域的左上顶点的纵坐标,ybottom表示运动区域的右下顶点的纵坐标;
运动模式分解单元,用于利用对应的跟踪矢量分别确定出每个运动区域的不同运动模式的运动速度,如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
13.根据权利要求12所述的装置,其特征在于,所述运动模式分解单元中包括:
第一处理子单元,用于针对每个运动区域Y,分别将对应于运动区域Y的各跟踪矢量中具有相同特性的跟踪矢量划分为一个分组,共得到N个分组,每个分组分别对应一种运动模式,N为正整数;
第二处理子单元,用于针对每个分组,分别计算其中的各跟踪矢量对应的光流初始点与光流跟踪点之间的欧式距离,将各计算结果相加求平均,得到每种运动模式的运动速度;如果任一运动速度大于预定阈值,则确定图像t中存在快速移动行为。
14.根据权利要求13所述的装置,其特征在于,所述第一处理子单元分别根据 x t y t = x t - 1 y t - 1 + Δx Δy 计算出对应于运动区域Y的各跟踪矢量的模型参数(Δx,Δy),其中,xt-1表示跟踪矢量对应的光流初始点的横坐标,yt-1表示跟踪矢量对应的光流初始点的纵坐标,xt表示跟踪矢量对应的光流跟踪点的横坐标,yt表示跟踪矢量对应的光流跟踪点的纵坐标;将各跟踪矢量的模型参数组成一个集合P;针对集合P中的每个模型参数(Δxi,Δyi),分别统计出集合P中符合Δxi-a<Δx<Δxi+a,Δyi-b<Δy<Δyi+b这一条件的模型参数的个数,a>0,b>0,将个数最大时符合条件的各模型参数对应的跟踪矢量组成一个分组,并将组成该分组的各跟踪矢量对应的模型参数从集合P中删除,之后,按照原集合P的处理方式对新的集合P进行处理,直到得到3个分组。
15.根据权利要求14所述的装置,其特征在于,所述第一处理子单元进一步用于,如果一分组中的跟踪矢量数小于预定阈值,则删除该分组。
16.根据权利要求13~15中任一项所述的装置,其特征在于,所述检测模块中进一步包括:标定单元,用于为第二处理子单元提供所需的矫正因子;
第二处理子单元进一步用于,分别获取每个运动区域对应的矫正因子;将得到的各运动速度分别乘以对应的矫正因子,得到最终所需的运动速度;其中,运动区域离摄像机越近,对应的矫正因子的取值越小,反之,离摄像机越远,对应的矫正因子的取值越大。
CN201110384281.1A 2011-11-28 2011-11-28 一种实现快速移动检测的方法和装置 Active CN102521842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110384281.1A CN102521842B (zh) 2011-11-28 2011-11-28 一种实现快速移动检测的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110384281.1A CN102521842B (zh) 2011-11-28 2011-11-28 一种实现快速移动检测的方法和装置

Publications (2)

Publication Number Publication Date
CN102521842A true CN102521842A (zh) 2012-06-27
CN102521842B CN102521842B (zh) 2014-05-21

Family

ID=46292746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110384281.1A Active CN102521842B (zh) 2011-11-28 2011-11-28 一种实现快速移动检测的方法和装置

Country Status (1)

Country Link
CN (1) CN102521842B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067692A (zh) * 2012-12-30 2013-04-24 同方(深圳)云计算技术股份有限公司 基于网络硬盘录像机危险入侵的后处理检测方法及系统
CN103559478A (zh) * 2013-10-07 2014-02-05 唐春晖 俯视行人视频监控中的客流计数与事件分析方法
CN103810692A (zh) * 2012-11-08 2014-05-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
WO2014079058A1 (zh) * 2012-11-26 2014-05-30 华为技术有限公司 一种视频图像处理方法及系统
CN104036243A (zh) * 2014-06-06 2014-09-10 电子科技大学 一种基于光流信息的行为识别方法
CN106210636A (zh) * 2016-07-18 2016-12-07 四川君逸数码科技股份有限公司 基于智能视频技术的智慧金睛人和物行为识别仪
CN108230305A (zh) * 2017-12-27 2018-06-29 浙江新再灵科技股份有限公司 基于视频分析扶梯异常运行状态检测的方法
WO2020062546A1 (zh) * 2018-09-30 2020-04-02 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备
CN116416577A (zh) * 2023-05-06 2023-07-11 苏州开普岩土工程有限公司 一种用于施工监控系统的异常识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010004400A1 (en) * 1999-12-20 2001-06-21 Takahiro Aoki Method and apparatus for detecting moving object
CN101751678A (zh) * 2009-12-16 2010-06-23 北京智安邦科技有限公司 一种人群剧烈运动的检测方法及装置
CN101794450A (zh) * 2009-11-13 2010-08-04 北京智安邦科技有限公司 视频图像序列中烟雾的检测方法及装置
CN101923717A (zh) * 2009-06-10 2010-12-22 新奥特(北京)视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010004400A1 (en) * 1999-12-20 2001-06-21 Takahiro Aoki Method and apparatus for detecting moving object
CN101923717A (zh) * 2009-06-10 2010-12-22 新奥特(北京)视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法
CN101794450A (zh) * 2009-11-13 2010-08-04 北京智安邦科技有限公司 视频图像序列中烟雾的检测方法及装置
CN101751678A (zh) * 2009-12-16 2010-06-23 北京智安邦科技有限公司 一种人群剧烈运动的检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尉凯: "单幅图像运动去模糊和视频序列稳像技术研究", 《中国优秀硕士学位论文全文数据库 信息科学辑》, no. 5, 15 April 2011 (2011-04-15), pages 138 - 1083 *
马梦成: "复杂环境下运动车辆检测与识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 6, 15 April 2011 (2011-04-15), pages 140 - 460 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810692B (zh) * 2012-11-08 2016-12-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
CN103810692A (zh) * 2012-11-08 2014-05-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
WO2014079058A1 (zh) * 2012-11-26 2014-05-30 华为技术有限公司 一种视频图像处理方法及系统
CN104662560B (zh) * 2012-11-26 2017-12-22 华为技术有限公司 一种视频图像处理方法及系统
CN104662560A (zh) * 2012-11-26 2015-05-27 华为技术有限公司 一种视频图像处理方法及系统
CN103067692A (zh) * 2012-12-30 2013-04-24 同方(深圳)云计算技术股份有限公司 基于网络硬盘录像机危险入侵的后处理检测方法及系统
CN103067692B (zh) * 2012-12-30 2016-01-20 同方(深圳)云计算技术股份有限公司 基于网络硬盘录像机危险入侵的后处理检测方法及系统
CN103559478B (zh) * 2013-10-07 2018-12-04 唐春晖 俯视行人视频监控中的客流计数与事件分析方法
CN103559478A (zh) * 2013-10-07 2014-02-05 唐春晖 俯视行人视频监控中的客流计数与事件分析方法
CN104036243B (zh) * 2014-06-06 2017-04-05 电子科技大学 一种基于光流信息的行为识别方法
CN104036243A (zh) * 2014-06-06 2014-09-10 电子科技大学 一种基于光流信息的行为识别方法
CN106210636A (zh) * 2016-07-18 2016-12-07 四川君逸数码科技股份有限公司 基于智能视频技术的智慧金睛人和物行为识别仪
CN108230305A (zh) * 2017-12-27 2018-06-29 浙江新再灵科技股份有限公司 基于视频分析扶梯异常运行状态检测的方法
WO2020062546A1 (zh) * 2018-09-30 2020-04-02 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备
CN116416577A (zh) * 2023-05-06 2023-07-11 苏州开普岩土工程有限公司 一种用于施工监控系统的异常识别方法
CN116416577B (zh) * 2023-05-06 2023-12-26 苏州开普岩土工程有限公司 一种用于施工监控系统的异常识别方法

Also Published As

Publication number Publication date
CN102521842B (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
CN102521842B (zh) 一种实现快速移动检测的方法和装置
US10423856B2 (en) Vector engine and methodologies using digital neuromorphic (NM) data
CN105405150B (zh) 基于融合特征的异常行为检测方法和装置
US10346720B2 (en) Rotation variant object detection in Deep Learning
Atev et al. A vision-based approach to collision prediction at traffic intersections
US11288820B2 (en) System and method for transforming video data into directional object count
CN111860514B (zh) 一种基于改进DeepLab的果园场景多类别实时分割方法
CN103093198B (zh) 一种人群密度监测方法及装置
CN106530328B (zh) 一种基于视频图像对运动目标检测和平滑跟随的方法
CN103020606A (zh) 一种基于时空上下文信息的行人检测方法
CN106991396A (zh) 一种基于智慧路灯伴侣的目标接力跟踪算法
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
CN103793920A (zh) 基于视频的逆行检测方法及其系统
CN105975923A (zh) 用于跟踪人体对象的方法和系统
Chigorin et al. A system for large-scale automatic traffic sign recognition and mapping
JP2016200971A (ja) 学習装置、識別装置、学習方法、識別方法及びプログラム
Schulz et al. Video-based pedestrian head pose estimation for risk assessment
CN116381713A (zh) 一种多传感器点云融合的动态场景自主定位与建图方法
CN115393538A (zh) 基于深度学习的室内动态场景的视觉slam方法及系统
Cheng et al. Semantic segmentation for pedestrian detection from motion in temporal domain
Mantini et al. UHCTD: A comprehensive dataset for camera tampering detection
CN103679172A (zh) 一种通过转动红外探测器检测地面远距离运动目标的方法
CN103530601A (zh) 一种基于贝叶斯网络的监控盲区人群状态推演方法
Herzog et al. Training a fast object detector for LiDAR range images using labeled data from sensors with higher resolution
Ramirez et al. Panoramic stitching for driver assistance and applications to motion saliency-based risk analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant