CN102509086B - 一种基于目标姿态预测及多特征融合的行人目标检测方法 - Google Patents

一种基于目标姿态预测及多特征融合的行人目标检测方法 Download PDF

Info

Publication number
CN102509086B
CN102509086B CN201110374358.7A CN201110374358A CN102509086B CN 102509086 B CN102509086 B CN 102509086B CN 201110374358 A CN201110374358 A CN 201110374358A CN 102509086 B CN102509086 B CN 102509086B
Authority
CN
China
Prior art keywords
target
frame
rectangle
point
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110374358.7A
Other languages
English (en)
Other versions
CN102509086A (zh
Inventor
朱虹
杨艳妮
王栋
陈莉
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201110374358.7A priority Critical patent/CN102509086B/zh
Publication of CN102509086A publication Critical patent/CN102509086A/zh
Application granted granted Critical
Publication of CN102509086B publication Critical patent/CN102509086B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标姿态预测及多特征融合的行人目标检测方法,首先,基于RGB彩色空间初步提取运动目标,抑制光照突变影响,并对检测结果中包含的阴影进行去除;然后,对检测结果中被判定为属于同一目标的矩形框进行合并,最后,对矩形框内的目标区域,结合基于姿态估计所构建的步态检测模板,修复因目标与背景相似而导致的缺损。本发明的有益效果是,通过姿态预测构建目标模板,在模板范围内由原来的背景特征匹配转换为目标特征匹配,由此,解决目标与背景视觉特征相似时无法区分背景与目标的问题,提高目标检测的准确性及完整性。

Description

一种基于目标姿态预测及多特征融合的行人目标检测方法
技术领域
本发明属于视频监控技术领域,针对目标着装颜色与背景颜色相近的环境下的运动目标检测,能够准确完整的提取行人运动目标,具体涉及一种基于目标姿态预测及多特征融合的行人目标检测方法。
背景技术
运动目标检测是智能监控系统的重要组成部分,是运动目标跟踪与目标行为分析等处理的基础。目前,对于采用摄像头固定架设模式下的运动目标检测,一般大多采用背景差分法来实现。通过检测背景与运动目标的差异实现对运动目标的检测。但是,当运动目标与背景的视觉特征差异很小时,运动目标的检测完整性与准确性便很难保证。
因此,现有技术条件下,在目标颜色与背景颜色相近的情况下,很难完整且准确地检测目标。
发明内容
本发明的目的是提供一种基于目标姿态预测及多特征融合的行人目标检测方法,解决了现有技术中很难达到的目标视觉特征与背景特征相近时,检测运动目标的准确性、完整性都较差的问题。
本发明所采用的技术方案是,一种基于目标姿态预测及多特征融合的行人目标检测方法,首先,基于RGB彩色空间初步提取运动目标,抑制光照突变影响,并对检测结果中包含的阴影进行去除;然后,对检测结果中被判定为属于同一目标的矩形框进行合并,最后,对矩形框内的目标区域,结合基于姿态估计所构建的步态检测模板,修复因目标与背景相似而导致的缺损,
具体按照如下步骤实施:
步骤1、基于RGB彩色空间提取运动目标
启动监控系统采集监控视频帧,首先进入学习阶段,根据单高斯背景建模方法获得背景图像[b(x,y,i)]m×n×3,其中,b(x,y,i)为视频帧彩色图像i通道在坐标为(x,y)上的像素值,i=1,2,3分别表示R、G、B三通道,m,n分别为图像的行数与列数,即x=1,2,...,m,y=1,2,...,n,学习阶段结束后,系统切换至监控状态,
1.1)对于视频监控首帧的目标检测
设当前帧彩色图像为[ft(x,y,i)]m×n×3,其中的ft(x,y,i)为当前时刻t输入的视频帧彩色图像i通道在坐标为(x,y)上的像素值;i=1,2,3分别表示R、G、B三通道;m,n分别为图像的行数与列数,即x=1,2,...,m,y=1,2,...,n,
按照公式(1)分别计算三通道的相似度特征图像[St(x,y,i)]m×n×3
S t ( x , y , i ) = 1 - | f t ( x , y , i ) - b ( x , y , i ) | 255 , i = 1,2,3 - - - ( 1 )
按照公式(2)对三个通道的相似度特征矩阵特征图像进行加权处理,得到一个二维的特征图像[Ct(x,y)]m×n
C t ( x , y ) = Σ i = 1 3 α i · S t ( x , y , i ) - - - ( 2 )
其中,αi,i=1,2,3为三通道特征值的加权系数,取值范围为且,αi>0,i=1,2,3;Ct(x,y)∈(0,1)表征当前像素点颜色与相应背景像素点颜色的接近程度,Ct(x,y)越大,表明当前点的像素越接近背景,判断为背景像素点的可能性大,否则可能为前景像素点,
设定分割阈值,按照公式(3)进行前景/背景像素点分类,得到检测结果[result(x,y)]m×n
result ( x , y ) = 0 C t ( x , y ) &GreaterEqual; Th 1 C t ( x , y ) < Th - - - ( 3 )
其中,分割阈值Th∈(0,1),
1.2)对于视频监控后续帧的目标检测
采用动态阈值补偿的方法,来抑制光照变化的影响,设当前t时刻输入视频帧图像的特征图像为[Ct(x,y)]m×n,t-1时刻输入视频帧的特征图像为[Ct-1(x,y)]m×n,则按照公式(4)计算阈值补偿值δ:
&delta; = 1 m &times; n &CenterDot; [ &Sigma; x = 1 m &Sigma; y = 1 n C t ( x , y ) - &Sigma; x = 1 m &Sigma; y = 1 n C t - 1 ( x , y ) ] - - - ( 4 )
则补偿后的新阈值:
Th1=Th+k·δ    (5)
其中,k为更新系数,取值范围为k∈[1,4];
则,在后续的帧中,按照新阈值进行目标检测:
result ( x , y ) = 0 C t ( x , y ) &GreaterEqual; T h 1 1 C t ( x , y ) < T h 1 ; - - - ( 6 )
步骤2、去除图像中的运动阴影
由于在RGB颜色空间无法分割运动目标与运动阴影,因此,将其转换到HSV颜色空间进行处理,按照公式(7)进行运动阴影的去除:
其中,参数满足τs∈(0,0.2),τh∈[0,1];(x,y)∈Ω,Ω为按照公式(6)判断为目标区域的点,即Ω={(x,y)|result(x,y)=1};
步骤3、用最小外接矩形标识连通域
将步骤2所检测出的目标区域Ω作为运动目标候选区域进行贴标签处理,消除其中面积大于系统监控分辨率下的最大目标面积的连通域,同时消除小面积噪声连通域之后,对剩余的连通域采用最小外接矩形进行标识;
步骤4、合并分裂的外接矩形框
假设由步骤3得到的两个连通域的外接框为矩形框A和矩形框B,矩形框A的左上、右下两个对角点的坐标分别为(a1,b1)、(c1,d1),矩形框B的左上、右下两个对角点的坐标分别为(a2,b2)、(c2,d2),如果将该两个矩形框合并,则合并后的矩形框的左上对角点的坐标为(a12,b12),其中a12=min{a1,a2},b12=min{b1,b2};右下对角点的坐标为(c12,d12),其中c12=max{c1,c2},d12=max{d1,d2},
计算合并后的矩形宽度w12和高度h12
w12=d12-b12    (8)
h12=c12-a12    (9)
如果合并后的矩形宽度和高度满足w12≤Thw,并且h12≤Thh,则判断为该两个连通域属于同一个目标,进行合并,否则不合并,其中的阈值Thw、Thh分别为系统所使用的摄像头分辨率下的最大可能目标的外接矩形的长、宽,根据系统设置进行预存;
步骤5、确定目标运动的方向
计算当前时刻目标外接矩形的中心点坐标位置
x c t = w t / 2 , y c t = h t / 2 - - - ( 10 )
其中,wt是目标的外接矩形的宽度,ht是目标的外接矩形的高度,
之后,分析若干帧内目标外接矩形的中心点坐标位置的变化规律,设观测运动帧长度为T,T值根据目标在图像中的大小确定,假设图像帧的大小为m×n,目标外接矩形的宽、高为wt,ht,取T=kT·min{m/ht,n/wt},kT为调整系数,kT∈[0.5,4],则目标的外接矩形坐标在t+T时刻的中心点坐标为其运动方向判断如下公式(11):
其中,L(t)=1表示目标的运动方向是正面行走,L(t)=2表示目标的运动方向是右向行走,L(t)=3表示目标的运动方向是左向行走;
步骤6、进行目标缺损的修复
6.1)确定步态模板
步态定义为,行人在一次右腿向前跨出最远的位置到下次右腿向前跨出最远的位置的过程中的不同姿态;
6.2)进行目标缺损的修复
为了修正步骤5给出的外接矩形内的运动目标的缺失,
首先,根据步骤5目标在画面中的运动方向,判断是属于正向行走、左行或是右行之后,从步骤6.1)保存的步态模板,将其进行缩放,使其外接矩形大小与检测目标区域的外接矩形大小相同时,选择与目标当前步态最接近的一个作为当前目标的预测,来修复当前检测结果中的残缺,
根据步骤5所确定的目标运动方向,调用该运动方向上的步态模板,设模板为Nk为k=1,2,3三个运动方向上的模板个数,
当前目标最小外接矩形区域为Irect,根据所判定的目标运动方向,将属于该运动方向的各步态模板Mi分别与当前目标最小外接矩形区域Irect进行匹配,计算重叠面积,参照公式(12):
其中,wt,ht分别为当前目标最小外接矩形的高和宽,选择重叠面积最大的步态模板Mmax作为当前目标的步态模板,
然后,利用判断出的步态模板Mmax,结合目标检测算法,修正检测结果,遍历整个目标的最小外接矩形区域Irect,若Irect(x,y)为背景点,而Mmax(x,y)为目标点,则按照步骤1中的公式(2),计算点(x,y)处的特征Ct(x,y),设定修复缺损的判断阈值Th2,Th2>Th1,取值为Th2=kTh·Th1,kTh∈[1.1,1.8],若Ct(x,y)<Th2,判断为目标点,将其修复;否则,则判断为该点仍属于背景点,不做修改。
本发明的有益效果是,通过姿态预测构建目标模板,在模板范围内由原来的背景特征匹配转换为目标特征匹配,由此,解决目标与背景视觉特征相似时无法区分背景与目标的问题,提高目标检测的准确性及完整性。
附图说明
图1是本发明的分裂连通域的合并示意图,其中的a是合并前的连通域,b是合并后的连通域;
图2是本发明的步态模板示意图,其中的a是正面步态模板,b是左行步态模板,c是右行步态模板;
图3是本发明的缺损修复示意图,其中的a是步态模板,b是当前帧检测结果,c是缺损修复结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提出的基于目标姿态预测及多特征融合的行人目标检测方法,首先,基于RGB彩色空间初步提取运动目标,抑制光照突变影响,并对检测结果中包含的阴影进行去除;然后,对检测结果中被判定为属于同一目标的矩形框进行合并,最后,对矩形框内的目标区域,结合基于姿态估计所构建的步态检测模板,修复因目标与背景相似而导致的缺损。
本发明的方法,具体按照如下步骤实施:
步骤1、基于RGB彩色空间提取运动目标
启动监控系统采集监控视频帧,首先进入学习阶段,根据单高斯背景建模方法获得背景图像[b(x,y,i)]m×n×3(注:单高斯背景建模方法是相关教材上均有详细介绍的方法),其中,b(x,y,i)为视频帧彩色图像i通道在坐标为(x,y)上的像素值,i=1,2,3分别表示R、G、B三通道,m,n分别为图像的行数与列数,即x=1,2,...,m,y=1,2,...,n。学习阶段所采集的视频帧序列的长度与监控场景中的运动目标的多少有关,对于如道路交通这类运动目标较多的场合,可设置时间长一些,例如设置学习时间为10分钟左右,对于如安防监控的场合运动目标较小的场合,可以设置学习时间短一些,例如设置学习时间为几秒钟。
学习阶段结束后,系统切换至监控状态。
1.1)对于视频监控首帧的目标检测
设当前帧彩色图像为[ft(x,y,i)]m×n×3,其中的ft(x,y,i)为当前时刻t输入的视频帧彩色图像i通道在坐标为(x,y)上的像素值;i=1,2,3分别表示R、G、B三通道;m,n分别为图像的行数与列数,即x=1,2,...,m,y=1,2,...,n,
按照公式(1)分别计算三通道的相似度特征图像[St(x,y,i)]m×n×3
S t ( x , y , i ) = 1 - | f t ( x , y , i ) - b ( x , y , i ) | 255 , i = 1,2,3 - - - ( 1 )
按照公式(2)对三个通道的相似度特征矩阵特征图像进行加权处理,得到一个二维的特征图像[Ct(x,y)]m×n
C t ( x , y ) = &Sigma; i = 1 3 &alpha; i &CenterDot; S t ( x , y , i ) - - - ( 2 )
其中,αi,i=1,2,3为三通道特征值的加权系数,取值范围为且,αi>0,i=1,2,3,这里优选为Ct(x,y)∈(0,1)表征当前像素点颜色与相应背景像素点颜色的接近程度,Ct(x,y)越大,表明当前点的像素越接近背景,判断为背景像素点的可能性大,否则可能为前景像素点。
设定分割阈值,按照公式(3)进行前景/背景像素点分类,得到检测结果[result(x,y)]m×n
result ( x , y ) = 0 C t ( x , y ) &GreaterEqual; Th 1 C t ( x , y ) < Th - - - ( 3 )
其中,分割阈值Th∈(0,1),初始值优选为Th=0.95。
1.2)对于视频监控后续帧的目标检测
考虑到场景中光照变化的多样性,本发明采用动态阈值补偿的方法,来抑制光照变化的影响,设当前t时刻输入视频帧图像的特征图像为[Ct(x,y)]m×n,t-1时刻输入视频帧的特征图像为[Ct-1(x,y)]m×n,则按照公式(4)计算阈值补偿值δ:
&delta; = 1 m &times; n &CenterDot; [ &Sigma; x = 1 m &Sigma; y = 1 n C t ( x , y ) - &Sigma; x = 1 m &Sigma; y = 1 n C t - 1 ( x , y ) ] - - - ( 4 )
则补偿后的新阈值:
Th1=Th+k·δ    (5)
其中,k为更新系数,取值范围为k∈[1,4];
则,在后续的帧中,按照新阈值进行目标检测:
result ( x , y ) = 0 C t ( x , y ) &GreaterEqual; T h 1 1 C t ( x , y ) < T h 1 ; - - - ( 6 )
步骤2、去除图像中的运动阴影
由于在RGB颜色空间无法分割运动目标与运动阴影,因此,将其转换到HSV颜色空间进行处理(注:RGB颜色空间到HSV颜色空间的转换在相关教材上均有详细介绍),HSV颜色空间将颜色分为色度和亮度,HSV中的H表示色度、S表示饱和度、V表示亮度。
按照公式(7)进行运动阴影的去除:
其中,参数满足表明阴影部分比原有背景的亮度要低,与光照强度有关,光照越强,相对于阴影区域的亮度越暗,为此,作为判断阴影的下限值,考虑到适用性,经实验测试,给出默认的参考经验值为首选0.3、默认首选为1;τs和τh为经验值,考虑到阴影部分只改变了原背景部分的亮度,而色彩与原背景的色彩近似,即饱和度及色度值的差异较低,经实验测试,给出该参数的经验取值范围为τs∈(0,0.2),默认首选0.15,τh∈[0,1],默认首选0.3;(x,y)∈Ω,Ω为按照公式(6)判断为目标区域的点,即Ω={(x,y)|result(x,y)=1}。
步骤3、用最小外接矩形标识连通域
将步骤2所检测出的目标区域Ω作为运动目标候选区域进行贴标签处理,消除其中面积大于系统监控分辨率下的最大目标面积的连通域,同时消除小面积噪声连通域之后,对剩余的连通域采用最小外接矩形进行标识。
步骤4、合并分裂的外接矩形框
当目标颜色与背景颜色相近,提取的运动目标会分裂,导致一个目标变成由多个外接矩形组成,因此,需要对分裂的外接矩形框进行合并。
以图1(a)所示的分裂外接矩形为例,假设由步骤3得到的两个连通域的外接框为矩形框A和矩形框B,矩形框A的左上、右下两个对角点的坐标分别为(a1,b1)、(c1,d1),矩形框B的左上、右下两个对角点的坐标分别为(a2,b2)、(c2,d2),如果将该两个矩形框合并,则合并后的矩形框的左上对角点的坐标为(a12,b12),其中a12=min{a1,a2},b12=min{b1,b2};右下对角点的坐标为(c12,d12),其中c12=max{c1,c2},d12=max{d1,d2},
计算合并后的矩形宽度w12和高度h12
w12=d12-b12    (8)
h12=c12-a12    (9)
如果合并后的矩形宽度和高度满足w12≤Thw,并且h12≤Thh,则判断为该两个连通域属于同一个目标,进行合并,否则不合并,其中的阈值Thw、Thh分别为系统所使用的摄像头分辨率下的最大可能目标的外接矩形的长、宽,根据系统设置能够进行预存,见图1(b)中的实线框为合并后的运动目标区域。
步骤5、确定目标运动的方向
计算当前时刻目标外接矩形的中心点坐标位置
x c t = w t / 2 , y c t = h t / 2 - - - ( 10 )
其中,wt是目标的外接矩形的宽度,ht是目标的外接矩形的高度,
之后,分析若干帧内目标外接矩形的中心点坐标位置的变化规律,设观测运动帧长度为T,T值根据目标在图像中的大小确定,假设图像帧的大小为m×n,目标外接矩形的宽、高为wt,ht,取T=kT·min{m/ht,n/wt},kT为调整系数,kT∈[0.5,4],则目标的外接矩形坐标在t+T时刻的中心点坐标为其运动方向判断如下公式(11):
其中,L(t)=1表示目标的运动方向是正面行走,L(t)=2表示目标的运动方向是右向行走,L(t)=3表示目标的运动方向是左向行走。
步骤6、进行目标缺损的修复
当目标颜色与背景颜色相近时,检测结果中,目标会出现大面积残缺,本发明方法在此引入行人步态模板,对提取目标的缺损进行修复。
6.1)确定步态模板
步态定义为,行人在一次右腿向前跨出最远的位置到下次右腿向前跨出最远的位置的过程中的不同姿态;
6.11)采集视频中的步态样本
任意选定某监控场景,固定摄像机,预留不包含运动目标的视频帧,然后让一个着衣颜色与背景颜色相差较大的目标分别从正面(与摄像机视野平行,走向摄像机)、右边(与摄像机视野垂直,从右边出发)和左边(与摄像机视野垂直,从右边出发)经过监控场景,录制这三个方向的监控视频作为样本视频;
6.12)建立步态模板
首先,按照步骤1所述方法,分别对三个样本视频进行运动目标提取,并保存每帧的检测结果;然后,分别从这三组检测结果中抽取步态变化较大的几帧,通过贴标签获得目标最小外接矩形,将该最小外接矩形区域存为步态模板,考虑到算法的实时性要求,采集并预存如图2所示的行人从正面走的4个步态,行人从右边走的5个步态、行人从左边走的5个步态存为模板;
6.2)进行目标缺损的修复
为了修正步骤5给出的外接矩形内的运动目标的缺失,
首先,根据步骤5目标在画面中的运动方向,判断是属于正向行走、左行或是右行之后,从步骤6.1)保存的步态模板,将其进行缩放,使其外接矩形大小与检测目标区域的外接矩形大小相同时,选择与目标当前步态最接近的一个作为当前目标的预测,来修复当前检测结果中的残缺,
残缺修复的原理示意图见图3,根据步骤5所确定的目标运动方向,调用该运动方向上的步态模板,设模板为Nk为k=1,2,3三个运动方向上的模板个数,
当前目标最小外接矩形区域为Irect,根据所判定的目标运动方向,将属于该运动方向的各步态模板Mi分别与当前目标最小外接矩形区域Irect进行匹配,计算重叠面积,参照公式(12):
其中,wt,ht分别为当前目标最小外接矩形的高和宽,选择重叠面积最大的步态模板Mmax作为当前目标的步态模板,
然后,利用判断出的步态模板Mmax,结合目标检测算法,修正检测结果,遍历整个目标的最小外接矩形区域Irect,若Irect(x,y)为背景点,而Mmax(x,y)为目标点,则按照步骤1中的公式(2),计算点(x,y)处的特征Ct(x,y),设定修复缺损的判断阈值Th2(Th2>Th1,建议取值为Th2=kTh·Th1,kTh∈[1.1,1.8]),若Ct(x,y)<Th2,判断为目标点,将其修复;否则,则判断为该点仍属于背景点,不做修改。
通过以上的步骤,完成对行人目标的检测,可修复行人目标与背景特征相似情况下的准确且完整的目标检测。

Claims (4)

1.一种基于目标姿态预测及多特征融合的行人目标检测方法,其特征在于:首先,基于RGB彩色空间初步提取运动目标,抑制光照突变影响,并对检测结果中包含的阴影进行去除;然后,对检测结果中被判定为属于同一目标的矩形框进行合并,最后,对矩形框内的目标区域,结合基于姿态估计所构建的步态检测模板,修复因目标与背景相似而导致的缺损,
具体按照如下步骤实施:
步骤1、基于RGB彩色空间提取运动目标
启动监控系统采集监控视频帧,首先进入学习阶段,根据单高斯背景建模方法获得背景图像[b(x,y,i)]m×n×3,其中,b(x,y,i)为视频帧彩色图像i通道在坐标为(x,y)上的像素值,i=1,2,3分别表示R、G、B三通道,m,n分别为图像的行数与列数,即x=1,2,...,m,y=1,2,...,n,学习阶段结束后,系统切换至监控状态,
1.1)对于视频监控首帧的目标检测
设当前帧彩色图像为[ft(x,y,i)]m×n×3,其中的ft(x,y,i)为当前时刻t输入的视频帧彩色图像i通道在坐标为(x,y)上的像素值;i=1,2,3分别表示R、G、B三通道;m,n分别为图像的行数与列数,即x=1,2,...,m,y=1,2,...,n,
按照公式(1)分别计算三通道的相似度特征图像[St(x,y,i)]m×n×3
S t ( x , y , i ) = 1 - | f t ( x , y , i ) - b ( x , y , i ) | 255 , i = 1,2,3 - - - ( 1 )
按照公式(2)对三个通道的相似度特征矩阵特征图像进行加权处理,得到一个二维的特征图像[Ct(x,y)]m×n
C t ( x , y ) = &Sigma; i = 1 3 &alpha; i &CenterDot; S t ( x , y , i ) - - - ( 2 )
其中,αi,i=1,2,3为三通道特征值的加权系数,取值范围为且,αi>0,i=1,2,3;Ct(x,y)∈(0,1)表征当前像素点颜色与相应背景像素点颜色的接近程度,Ct(x,y)越大,表明当前点的像素越接近背景,判断为背景像素点的可能性大,否则可能为前景像素点,
设定分割阈值,按照公式(3)进行前景/背景像素点分类,得到检测结果[result(x,y)]m×n
result ( x , y ) = 0 C t ( x , y ) &GreaterEqual; Th 1 C t ( x , y ) < Th - - - ( 3 )
其中,分割阈值Th∈(0,1),
1.2)对于视频监控后续帧的目标检测
采用动态阈值补偿的方法,来抑制光照变化的影响,设当前t时刻输入视频帧图像的特征图像为[Ct(x,y)]m×n,t-1时刻输入视频帧的特征图像为[Ct-1(x,y)]m×n,则按照公式(4)计算阈值补偿值δ:
&delta; = 1 m &times; n &CenterDot; [ &Sigma; x = 1 m &Sigma; y = 1 n C t ( x , y ) - &Sigma; x = 1 m &Sigma; y = 1 n C t - 1 ( x , y ) ] - - - ( 4 )
则补偿后的新阈值:
Th1=Th+k·δ   (5)
其中,k为更新系数,取值范围为k∈[1,4];
则,在后续的帧中,按照新阈值进行目标检测:
result ( x , y ) = 0 C t ( x , y ) &GreaterEqual; T h 1 1 C t ( x , y ) < T h 1 ; - - - ( 6 )
步骤2、去除图像中的运动阴影
由于在RGB颜色空间无法分割运动目标与运动阴影,因此,将其转换到HSV颜色空间进行处理,按照公式(7)进行运动阴影的去除:
其中,参数满足τs∈(0,0.2),τh∈[0,1];(x,y)∈Ω,Ω为按照公式(6)判断为目标区域的点,即Ω={(x,y)|result(x,y)=1};
其中,从RGB色系转换到HSV色系之后,
fv(x,y)代表当前帧在HSV色系上V通道在(x,y)点上的值,fS(x,y)代表
当前帧在HSV色系上S通道在(x,y)点上的值,
fh(x,y)代表当前帧在HSV色系上H通道在(x,y)点上的值,
bv(x,y)代表背景在HSV色系上V通道在(x,y)点上的值,
bs(x,y)代表背景在HSV色系上S通道在(x,y)点上的值,
bh(x,y)代表背景在HSV色系上H通道在(x,y)点上的值;
步骤3、用最小外接矩形标识连通域
将步骤2所检测出的目标区域Ω作为运动目标候选区域进行贴标签处理,消除其中面积大于系统监控分辨率下的最大目标面积的连通域,同时消除小面积噪声连通域之后,对剩余的连通域采用最小外接矩形进行标识;
步骤4、合并分裂的外接矩形框
假设由步骤3得到的两个连通域的外接框为矩形框A和矩形框B,矩形框A的左上、右下两个对角点的坐标分别为(a1,b1)、(c1,d1),矩形框B的左上、右下两个对角点的坐标分别为(a2,b2)、(c2,d2),如果将该两个矩形框合并,则合并后的矩形框的左上对角点的坐标为(a12,b12),其中a12=min{a1,a2},b12=min{b1,b2};右下对角点的坐标为(c12,d12),其中c12=maxc1{,c2},d12=max{d1,d2},
计算合并后的矩形宽度w12和高度h12
w12=d12-b12   (8)
h12=c12-a12   (9)
如果合并后的矩形宽度和高度满足w12≤Thw,并且h12≤Thh,则判断为该两个连通域属于同一个目标,进行合并,否则不合并,其中的阈值Thw、Thh分别为系统所使用的摄像头分辨率下的最大可能目标的外接矩形的长、宽,根据系统设置进行预存;
步骤5、确定目标运动的方向
计算当前时刻目标外接矩形的中心点坐标位置(xc t,yc t):
xc t=wt/2,yc t=ht/2   (10)
其中,wt是目标的外接矩形的宽度,ht是目标的外接矩形的高度,
之后,分析若干帧内目标外接矩形的中心点坐标位置的变化规律,设观测运动帧长度为T,T值根据目标在图像中的大小确定,假设图像帧的大小为m×n,目标外接矩形的宽、高为wt,ht,取T=kT·min{m/ht,n/wt},kT为调整系数,kT∈[0.5,4],则目标的外接矩形坐标在t+T时刻的中心点坐标为(xc t+T,yc t+T),其运动方向判断如下公式(11):
其中,L(t)=1表示目标的运动方向是正面行走,L(t)=2表示目标的运动方向是右向行走,L(t)=3表示目标的运动方向是左向行走;
步骤6、进行目标缺损的修复
6.1)确定步态模板
步态定义为,行人在一次右腿向前跨出最远的位置到下次右腿向前跨出最远的位置的过程中的不同姿态;具体包括以下两个步骤:
6.11)采集视频中的步态样本
任意选定某监控场景,固定摄像机,预留不包含运动目标的视频帧,然后让一个着衣颜色与背景颜色相差较大的目标分别从正面、右边和左边经过监控场景,录制这三个方向的监控视频作为样本视频;
6.12)建立步态模板
首先,按照步骤1所述方法,分别对三个样本视频进行运动目标提取,并保存每帧的检测结果;然后,分别从这三组检测结果中抽取步态变化较大的几帧,通过贴标签获得目标最小外接矩形,将该最小外接矩形区域存为步态模板,考虑到算法的实时性要求,采集并预存行人从正面走的4个步态,行人从右边走的5个步态、行人从左边走的5个步态存为模板;
6.2)进行目标缺损的修复
为了修正步骤5给出的外接矩形内的运动目标的缺失,
首先,根据步骤5目标在画面中的运动方向,判断是属于正向行走、左行或是右行之后,从步骤6.1)保存的步态模板,将其进行缩放,使其外接矩形大小与检测目标区域的外接矩形大小相同时,选择与目标当前步态最接近的一个作为当前目标的预测,来修复当前检测结果中的残缺,
根据步骤5所确定的目标运动方向,调用该运动方向上的步态模板,设模板为Nk为k=1,2,3三个运动方向上的模板个数,
当前目标最小外接矩形区域为Irect,根据所判定的目标运动方向,将属于该运动方向的各步态模板Mi分别与当前目标最小外接矩形区域Irect进行匹配,计算重叠面积,参照公式(12):
Area i = &Sigma; x = 1 w t &Sigma; y = 1 h t ( M i ( x , y ) &And; T rect ( x , y ) ) , i = 1,2 , . . . N k - - - ( 12 )
其中,wt、ht分别为当前目标最小外接矩形的宽和高,选择重叠面积最大的步态模板Mmax作为当前目标的步态模板,
然后,利用判断出的步态模板Mmax,结合目标检测算法,修正检测结果,遍历整个目标的最小外接矩形区域Irect,若Irect(x,y)为背景点,而Mmax(x,y)为目标点,则按照步骤1中的公式(2),计算点(x,y)处的特征Ct(x,y),设定修复缺损的判断阈值Th2,Th2>Th1,取值为Th2=kTh·Th1,kTh∈[1.1,1.8],若Ct(x,y)<Th2,判断为目标点,将其修复;否则,则判断为该点仍属于背景点,不做修改。
2.根据权利要求1所述的检测方法,其特征在于:所述的步骤1中,学习阶段所采集的视频帧序列的长度与监控场景中的运动目标的多少有关,对于运动目标较多的场合,设置学习时间为10分钟,对于运动目标较小的场合,设置学习时间为几秒钟。
3.根据权利要求1所述的检测方法,其特征在于:所述的步骤1.1)中的 &alpha; 1 = &alpha; 2 = &alpha; 3 = 1 3 .
4.根据权利要求1所述的检测方法,其特征在于:所述的步骤2中的参数作为判断阴影的下限值,首选0.3、默认首选为1;τs∈(0,0.2),默认首选0.15,τh∈[0,1],默认首选0.3。
CN201110374358.7A 2011-11-22 2011-11-22 一种基于目标姿态预测及多特征融合的行人目标检测方法 Expired - Fee Related CN102509086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110374358.7A CN102509086B (zh) 2011-11-22 2011-11-22 一种基于目标姿态预测及多特征融合的行人目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110374358.7A CN102509086B (zh) 2011-11-22 2011-11-22 一种基于目标姿态预测及多特征融合的行人目标检测方法

Publications (2)

Publication Number Publication Date
CN102509086A CN102509086A (zh) 2012-06-20
CN102509086B true CN102509086B (zh) 2015-02-18

Family

ID=46221167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110374358.7A Expired - Fee Related CN102509086B (zh) 2011-11-22 2011-11-22 一种基于目标姿态预测及多特征融合的行人目标检测方法

Country Status (1)

Country Link
CN (1) CN102509086B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799725B (zh) * 2012-07-10 2014-10-15 北京航空航天大学 一种搬运机器人进行离线码垛时有效码垛区域的确定方法
CN103390154A (zh) * 2013-07-31 2013-11-13 中国人民解放军国防科学技术大学 基于进化多特征提取的人脸识别方法
CN103632368A (zh) * 2013-11-29 2014-03-12 苏州有色金属研究院有限公司 金属板带材表面图像缺陷合并方法
CN108885683B (zh) 2016-03-28 2020-05-22 北京市商汤科技开发有限公司 用于位姿估计的方法和系统
CN106097388B (zh) * 2016-06-07 2018-12-18 大连理工大学 视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法
CN107657626B (zh) * 2016-07-25 2021-06-01 浙江宇视科技有限公司 一种运动目标的检测方法和装置
CN106599788B (zh) * 2016-11-21 2019-09-27 桂林远望智能通信科技有限公司 一种视频运动目标越线检测系统及方法
CN108665476B (zh) * 2017-03-31 2022-03-11 华为技术有限公司 一种行人跟踪方法以及电子设备
CN107657639A (zh) * 2017-08-09 2018-02-02 武汉高德智感科技有限公司 一种快速定位目标的方法和装置
CN107644159B (zh) * 2017-09-12 2021-04-09 Oppo广东移动通信有限公司 人脸识别方法及相关产品
CN107909598A (zh) * 2017-10-28 2018-04-13 天津大学 一种基于进程间通信的运动目标检测与跟踪方法
CN110443097A (zh) * 2018-05-03 2019-11-12 北京中科晶上超媒体信息技术有限公司 一种视频目标实时提取优化方法及系统
CN110908566A (zh) * 2018-09-18 2020-03-24 珠海格力电器股份有限公司 信息处理方法及装置
CN109241952B (zh) * 2018-10-26 2021-09-07 北京陌上花科技有限公司 拥挤场景下人物计数方法及装置
CN111126107A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种信息确定方法、装置及电子设备
CN109671102B (zh) * 2018-12-03 2021-02-05 华中科技大学 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN110175587B (zh) * 2019-05-30 2020-03-24 黄岩 一种基于人脸识别和步态识别算法的视频追踪方法
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
CN113298768B (zh) * 2021-05-20 2022-11-08 山东大学 棉花检测分割计数方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
多视角多行人目标检测、定位与对应算法;徐剑等;《清华大学学报》;20091231;第49卷(第8期);全文 *
室内视频监控中行人目标检测与跟踪方法;李德禄等;《福建电脑》;20081231(第5期);全文 *
混沌预测用于红外目标检测算法;赵翠芳等;《北京理工大学学报》;20100531;第30卷(第5期);全文 *

Also Published As

Publication number Publication date
CN102509086A (zh) 2012-06-20

Similar Documents

Publication Publication Date Title
CN102509086B (zh) 一种基于目标姿态预测及多特征融合的行人目标检测方法
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN105788142B (zh) 一种基于视频图像处理的火灾检测系统及检测方法
TWI409718B (zh) 移動中車輛之車牌定位方法
Buza et al. Pothole detection with image processing and spectral clustering
CN101493980B (zh) 一种基于多特征融合的快速视频火焰探测方法
CN103927526B (zh) 一种基于高斯差分多尺度边缘融合的车辆检测方法
Alvarez et al. Road detection based on illuminant invariance
CN105005766B (zh) 一种车身颜色识别方法
CN102254149B (zh) 视频图像雨滴的检测及识别方法
CN101739827B (zh) 一种车辆检测跟踪方法和装置
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN105488454A (zh) 基于单目视觉的前方车辆检测与测距
US20120288191A1 (en) Environment recognition device and environment recognition method
Rojas et al. Vehicle detection in color images
US8310545B2 (en) Apparatus and method for analyzing road view
CN104463165A (zh) 一种融合Canny算子与Vibe算法的目标检测方法
CN106855944B (zh) 行人标志物识别方法及装置
CN105894503A (zh) 一种对Kinect植株彩色和深度检测图像的修复方法
CN105488811A (zh) 一种基于深度梯度的目标跟踪方法与系统
CN106204594A (zh) 一种基于视频图像的弥散性运动物体的方向检测方法
CN102915544A (zh) 基于纹理检测和颜色分割的视频图像运动目标提取方法
CN106339677B (zh) 一种基于视频的铁路货车洒落物自动检测方法
CN106127812A (zh) 一种基于视频监控的客运站非出入口区域的客流统计方法
WO2019013252A1 (ja) 車両周囲認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150218

Termination date: 20201122