CN104134218A - 一种基于分层匹配五元组Codebook的运动目标检测方法 - Google Patents
一种基于分层匹配五元组Codebook的运动目标检测方法 Download PDFInfo
- Publication number
- CN104134218A CN104134218A CN201410366757.2A CN201410366757A CN104134218A CN 104134218 A CN104134218 A CN 104134218A CN 201410366757 A CN201410366757 A CN 201410366757A CN 104134218 A CN104134218 A CN 104134218A
- Authority
- CN
- China
- Prior art keywords
- overbar
- epsiv
- code word
- matching
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于分层匹配五元组Codebook的运动目标检测方法。它包括:为每一个点建立一个码本并在码本中建立若干码字;读入新的一帧图像后,每一点的像素与它的对应码本中的码字进行分层匹配计算,如果码本中存在匹配的码字,则该点为背景,否则,为前景;码字模型里引入平均亮度,并依据平均亮度对低亮度和高亮度区域分别采取不同的匹配计算方式。本发明同时提高了Codebook运动目标检测方法的准确度和速度,并解决了Codebook运动目标检测方法的低亮度区域误检问题。
Description
技术领域
本发明涉及一种智能视频监控技术,尤其涉及一种运动目标检测方法。
背景技术
现在公共安全越来越受关注,视频监控作为一种维护公共安全的有效工具得到了广泛的应用。智能视频监控技术由于可以变被动监控为主动识别,将人从大量冗余信息中解脱出来而成为当今的一大研究热点。运动目标检测是实现智能视频监控的第一步。
运动目标检测大体有三种方法:帧间差分法、光流法、背景差分法。帧间差分法简单易于实现,但是对缓慢运动的物体不敏感,并且易出现变形;光流法计算复杂,不适合运动目标的实时检测;背景差分法由于其适中的计算复杂度和较高的检测准确度是实际中运用最多的运动目标检测算法。典型背景差分法有:核密度估计法、混合高斯背景建模和Codebook等。核密度估计法计算复杂度太大,混合高斯模型有前景光圈问题。Codebook内存利用率高、运算速度快、具有较强的鲁棒性,是目前最为先进的运动目标检测方法之一。但是该方法仍然存在以下缺陷:
1.运动目标检测在视频序列的低亮度区域存在误检问题。
2.对于运动目标检测的准确度和速度仍然有同时进一步提升的空间。
发明内容
为解决Codebook低亮度区域误检问题,并从准确度和速度两方面提高运动目标检测性能,本发明提供一种基于分层匹配的五元组Codebook运动目标检测方法。它具有准确度更高、速度更快等优点,并解决了Codebook方法的低亮度区域误检问题。
为实现上述目的,本发明采用如下技术方案:
一种基于分层匹配五元组Codebook的运动目标检测方法,包括如下步骤:
(1)为视频图像序列的每一个像素建立一个码本;
(2)用一段视频序列训练码本,即对每一像素与它的对应码本中的码字依次进行匹配计算,如果码本中存在匹配的码字,则用当前像素更新该匹配的码字;如果像素与码本中所有的码字均不匹配,则建立一个新的码字;
(3)用训练好的码本进行前景检测,即每一像素与它的对应码本中的码字依次进行匹配计算,如果码本中存在匹配的码字,则判断该点为背景点;如果像素与码本中的所有码字均不匹配,则判断该点为前景点;
其特征在于:步骤(1)中建立的码本C中包含L个码字C={ci|1≤i≤L},第i个码字ci由RGB向量vi=(Ri,Gi,Bi)和五元组auxi=<Ii,fi,λi,pi,qi>两部分组成,其中五元组中各元素的含义为:Ii,平均亮度;fi,码字被访问的频数;λi,最大不重复访问时间间隔;pi,码字第一次被访问时间;qi,码字最后一次被访问时间;
并且,在步骤(2)和(3)中进行像素与码字的匹配计算时,匹配条件包括颜色扭曲度匹配和亮度匹配,匹配范围由参数颜色扭曲度匹配阈值εc和亮度匹配上下界Ihi和Ilow确定,对于高亮度和低亮度区域分别采取不同的匹配计算方式,即εc、Ihi和Ilow的计算公式如下:
其中,ε是用于判断当前像素的亮度是否是低亮度的阈值;是第i个码字中五元组中的平均亮度;χ是用于计算颜色扭曲度匹配阈值的一个变量,取值在0到1之间;εc0是在低亮度区域颜色扭曲度匹配阈值所取的定值;θ是用于计算亮度匹配上下界的一个变量,取值在0到1之间;β是在高亮度区域亮度匹配上界与平均亮度的比值,其值等于1+θ;εb0是在低亮度区域亮度匹配范围的一半,εc0和εb0共同保证在低亮度区域匹配范围不会太小,防止低亮度区域误检的出现;α是在高亮度区域亮度匹配下界与平均亮度的比值,其值等于1-θ。以上三个公式可以合并成如下公式:
其中, 式中的U(x)是单位阶跃函数。
本发明具有如下有益效果:
1.Codebook运动目标检测方法是目前最先进的运动目标检测方法之一,但是,当前对于该方法的改进方法只能从检测的准确度或速度一方面提高方法的性能。本发明的有益效果在于同时提高了Codebook方法的准确度和速度。
2.Codebook运动目标检测方法进行当前像素与码字的匹配计算时,在低亮度区域,匹配范围特别小,导致当前像素稍有偏差就会匹配失败,存在低亮度区域误检问题。本发明的有益效果在于,由于对高低亮度区域分别设置了不同的匹配范围计算方法,解决了原始方法的低亮度区域误检问题。
附图说明
图1是本发明基于分层匹配五元组Codebook的运动目标检测方法流程图;
图2是对自拍视频利用多种运动目标检测方法得到的效果对比图,其中a是视频中的原图,b是手动分割出的运动目标,c是利用混合高斯背景建模方法得到的运动目标检测效果图,d是利用Codebook方法得到的运动目标检测效果图,e是利用本发明得到的运动目标检测效果图。
图3是对视频Waving Tree利用多种运动目标检测方法得到的效果对比图,其中a是视频中的原图,b是手动分割出的运动目标,c是利用混合高斯背景建模方法得到的运动目标检测效果图,d是利用Codebook方法得到的运动目标检测效果图,e是利用本发明得到的运动目标检测效果图。
图4是Codebook、本发明以及混合高斯背景建模三种运动目标检测方法的ROC曲线。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明的一种基于分层匹配五元组的Codebook运动目标检测方法具体实现过程如下(以下过程针对视频序列的某一像素,要完成整幅图片的检测,要对每一像素执行以下步骤):
1.初始化:为每个点建立一个码本C,码本中包含若干码字C={ci|1≤i≤L},L为码本中码字的个数。第i个码字ci由两部分组成:RGB向量和五元组五元组中各元素的含义如下:平均亮度;fi,码字被访问的频数;λi,最大不重复访问时间间隔;pi,码字第一次被访问时间;qi,码字最后一次被访问时间。
2.背景模型的训练
若用视频的前N帧来训练背景模型,则对于某一像素,用于训练的像素值序列为(序列中的每个元素都是一个包含R、G、B三个量的向量,t表示该像素取自第t帧),现在以该像素为例说明码本的训练过程。
(1)建立码本。
为该像素建立码本CL,初始化码本为空集,即码字个数L=0。
(2)训练码字。
t从0到N循环执行以下步骤:
①读入像素值:计算亮度
②像素值与码字进行匹配计算:
在CL={ci|1≤i≤L}中寻找与匹配的码字,匹配条件为:
●颜色扭曲度:
其中,是第i个码字中的颜色向量,εc是颜色扭曲度匹配阈值,p是当前像素的颜色向量在上的投影,计算公式如下:
●亮度:
其中,是第i个码字中五元组中的平均亮度,Ihi和Ilow是亮度匹配范围的上下界εc、Ihi和Ilow的计算公式如下:
其中,ε是用于判断当前像素的亮度是否是低亮度的阈值;是第i个码字中五元组中的平均亮度;χ是用于计算颜色扭曲度匹配阈值的一个变量,取值在0到1之间;εc0是在低亮度区域颜色扭曲度匹配阈值所取的定值;θ是用于计算亮度匹配上下界的一个变量,取值在0到1之间;β是在高亮度区域亮度匹配上界与平均亮度的比值,其值等于1+θ;εb0是在低亮度区域亮度匹配范围的一半,εc0和εb0共同保证在低亮度区域匹配范围不会太小,防止低亮度区域误检的出现;α是在高亮度区域亮度匹配下界与平均亮度的比值,其值等于1-θ。以上三个公式可以合并成如下公式:
其中, 式中的U(x)是单位阶跃函数。
③如果L=0或没有与匹配的码字,令L=L+1,建立一个新的码字
●颜色向量:
●五元组:auxL=<I,1,t-1,t,t>
④如果与ci(vi,auxi)匹配,更新码字
●更新颜色向量:
●更新五元组:
(3)调整λi:对于每个码字ci,使λi=max{λi,(N-qi+pi-1)}。
(4)删除非背景码字
该过程基于背景出现的概率大于50%的假设。具体操作可以用如下公式表示:
M={cm|cm∈CL∧λm≤TM} (9)
通常TM=N/2,M为描述背景的码字集合,即删减非背景码字以后的码本,cm是CL中的码字,λm是cm中五元组中的最大不访问间隔。
3.前景检测
采用与训练码本相同的方法进行新像素与码字的匹配,若匹配,更新码字,并且判断为背景;若与码本中所有码字均不匹配,判断为前景。
实验中使用的PC机处理器为Intel(R)Core(TM)i3,安装内存3.0GB,使用64位Windows7操作系统。编程环境是Microsoft Visual Studio 2010,并配置OpenCV。结合图2、图3,本发明的运动目标检测效果好于Codebook方法,Codebook方法的效果好于混合高斯背景建模方法。结合图2,对于画面中汽车的底部和轮胎以及画面的下边界等低亮度区域,Codebook方法有明显的误检,本发明减轻了低亮度区域误检。
Claims (1)
1.一种基于分层匹配五元组Codebook的运动目标检测方法,包括如下步骤:
(1)为视频图像序列的每一个像素建立一个码本;
(2)用一段视频序列训练码本,即对每一像素与它的对应码本中的码字依次进行匹配计算,如果码本中存在匹配的码字,则用当前像素更新该匹配的码字;如果像素与码本中所有的码字均不匹配,则建立一个新的码字;
(3)用训练好的码本进行前景检测,即每一像素与它的对应码本中的码字依次进行匹配计算,如果码本中存在匹配的码字,则判断该点为背景点;如果像素与码本中的所有码字均不匹配,则判断该点为前景点;
其特征在于:步骤(1)中建立的码本C中包含L个码字C={ci|1≤i≤L},第i个码字ci由RGB向量vi=(Ri,Gi,Bi)和五元组auxi=<Ii,fi,λi,pi,qi>两部分组成,其中五元组中各元素的含义为:Ii,平均亮度;fi,码字被访问的频数;λi,最大不重复访问时间间隔;pi,码字第一次被访问时间;qi,码字最后一次被访问时间;
并且,在步骤(2)和(3)中进行像素与码字的匹配计算时,匹配条件包括颜色扭曲度匹配和亮度匹配,匹配范围由参数颜色扭曲度匹配阈值εc和亮度匹配上下界Ihi和Ilow确定,对于高亮度和低亮度区域分别采取不同的匹配计算方式,即εc、Ihi和Ilow的计算公式如下:
其中,ε是用于判断当前像素的亮度是否是低亮度的阈值;是第i个码字中五元组中的平均亮度;χ是用于计算颜色扭曲度匹配阈值的一个变量,取值在0到1之间;εc0是在低亮度区域颜色扭曲度匹配阈值所取的定值;θ是用于计算亮度匹配上下界的一个变量,取值在0到1之间;β是在高亮度区域亮度匹配上界与平均亮度的比值,其值等于1+θ;εb0是在低亮度区域亮度匹配范围的一半,εc0和εb0共同保证在低亮度区域匹配范围不会太小,防止低亮度区域误检的出现;α是在高亮度区域亮度匹配下界与平均亮度的比值,其值等于1-θ。以上三个公式可以合并成如下公式:
其中, 式中的U(x)是单位阶跃函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410366757.2A CN104134218B (zh) | 2014-07-29 | 2014-07-29 | 一种基于分层匹配五元组Codebook的运动目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410366757.2A CN104134218B (zh) | 2014-07-29 | 2014-07-29 | 一种基于分层匹配五元组Codebook的运动目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104134218A true CN104134218A (zh) | 2014-11-05 |
CN104134218B CN104134218B (zh) | 2017-02-15 |
Family
ID=51806887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410366757.2A Expired - Fee Related CN104134218B (zh) | 2014-07-29 | 2014-07-29 | 一种基于分层匹配五元组Codebook的运动目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104134218B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097366A (zh) * | 2016-03-24 | 2016-11-09 | 南京航空航天大学 | 一种基于改进的Codebook前景检测的图像处理方法 |
WO2021151246A1 (en) * | 2020-01-31 | 2021-08-05 | Qualcomm Incorporated | Dynamic gamma curve use for display |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729862A (zh) * | 2014-01-26 | 2014-04-16 | 重庆邮电大学 | 基于码本背景模型的自适应阈值运动目标检测方法 |
-
2014
- 2014-07-29 CN CN201410366757.2A patent/CN104134218B/zh not_active Expired - Fee Related
Non-Patent Citations (6)
Title |
---|
KYUNGNAIN KIM 等: "BACKGROUND MODELING AND SUBTRACTION BY CODEBOOK CONSTRUCTION", 《2004 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
KYUNGNAM KIM 等: "Real-time foreground–background segmentation using codebook model", 《REAL-TIME IMAGING》 * |
MINGJUN WU 等: "Spatio-temporal context for codebook-based dynamic background subtraction", 《AEU - INTERNATIONAL JOURNAL OF ELECTRONICS AND COMMUNICATIONS》 * |
QIU TU 等: "Box-based Codebook Model for Real-time Objects Detection", 《PROCEEDINGS OF THE 7TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION》 * |
田峥 等: "智能监控系统中的运动目标检测算法", 《计算机工程》 * |
范振涛 等: "基于码本算法中亮度范围的改进策略", 《中国计量学院学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097366A (zh) * | 2016-03-24 | 2016-11-09 | 南京航空航天大学 | 一种基于改进的Codebook前景检测的图像处理方法 |
CN106097366B (zh) * | 2016-03-24 | 2019-04-19 | 南京航空航天大学 | 一种基于改进的Codebook前景检测的图像处理方法 |
WO2021151246A1 (en) * | 2020-01-31 | 2021-08-05 | Qualcomm Incorporated | Dynamic gamma curve use for display |
Also Published As
Publication number | Publication date |
---|---|
CN104134218B (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10699170B2 (en) | Apparatuses and methods for semantic image labeling | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
WO2019136623A1 (en) | Apparatus and method for semantic segmentation with convolutional neural network | |
Fei et al. | Visual tracking based on improved foreground detection and perceptual hashing | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN104268900A (zh) | 一种运动目标检测方法及装置 | |
CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
CN103971386A (zh) | 一种动态背景场景下的前景检测方法 | |
EP3136295A1 (en) | Method and device for processing an image of pixels, corresponding computer program product and computer-readable medium | |
TWI539407B (zh) | 移動物體偵測方法及移動物體偵測裝置 | |
CN102867183B (zh) | 一种车辆遗撒物检测方法、装置及智能交通监控系统 | |
CN113536972B (zh) | 一种基于目标域伪标签的自监督跨域人群计数方法 | |
US11810311B2 (en) | Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching | |
JP2023507248A (ja) | 物体検出および認識のためのシステムおよび方法 | |
CN107944354A (zh) | 一种基于深度学习的车辆检测方法 | |
CN106023249A (zh) | 一种基于局部二值相似性模式的运动目标检测方法 | |
TWI512685B (zh) | 移動物體偵測方法及其裝置 | |
CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
CN109871778A (zh) | 基于迁移学习的车道保持控制方法 | |
Yang | Research on lane recognition algorithm based on deep learning | |
CN104835142A (zh) | 一种基于纹理特征的车辆排队长度检测方法 | |
CN105205834A (zh) | 一种基于混合高斯及阴影检测模型的目标检测与提取方法 | |
CN101739667A (zh) | 基于非下采样轮廓波变换的遥感图像道路增强方法 | |
CN104134218A (zh) | 一种基于分层匹配五元组Codebook的运动目标检测方法 | |
US11954917B2 (en) | Method of segmenting abnormal robust for complex autonomous driving scenes and system thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170215 Termination date: 20170729 |