CN104954893A - 一种视频摘要生成的误检目标链条删除方法 - Google Patents
一种视频摘要生成的误检目标链条删除方法 Download PDFInfo
- Publication number
- CN104954893A CN104954893A CN201510359080.4A CN201510359080A CN104954893A CN 104954893 A CN104954893 A CN 104954893A CN 201510359080 A CN201510359080 A CN 201510359080A CN 104954893 A CN104954893 A CN 104954893A
- Authority
- CN
- China
- Prior art keywords
- chain
- mask
- frame
- video
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频摘要生成的误检目标链条删除方法,步骤包括:步骤1、对视频帧序列的每一帧,检测其运动目标;步骤2、计算运动掩模;步骤3、计算运动掩模的最大值;步骤4、判断该视频是否存在背景误检链条;步骤5、运动目标链生成;步骤6、删除误检的背景链条;步骤7、将删除了误检背景链条后的结果输出,即成。本发明的方法,使得所生成的视频摘要避免可因误检链条存在导致的不可删除冗余,提高了视频摘要的有效性。
Description
技术领域
本发明属于智能监控视频处理技术领域,涉及一种视频摘要生成的误检目标链条删除方法。
背景技术
在海量视频中如何快速找出需要的目标已成为急需解决的问题,基于时空连续性的提取运动目标链的视频摘要生成方法能够实现此功能。
但是,由于监控环境的复杂性,在检测和跟踪运动目标时,不可避免地会将一些复杂背景的,如树叶晃动等一部分误检为运动目标,这会导致在监控中虽不存在有效运动目标,却检测到许多无意义的误检目标,同时也会导致目标链条的长度大大增加。这个问题的存在,会使得在生成视频摘要时,使排序耗时大大增加,导致有效运动目标过于稀疏,严重时甚至会导致视频摘要失效。
发明内容
本发明的目的在于提供一种视频摘要生成的误检目标链条删除方法,解决现有技术中由于复杂背景造成目标链条过冗余,使排序耗时大大增加,有效目标过于稀疏,严重时甚至会导致视频摘要失效的问题。
本发明所采用的技术方案是,一种视频摘要生成的误检目标链条删除方法,按照以下步骤实施:
步骤1、对视频帧序列的每一帧,检测其运动目标
假设读入的视频帧序列为{frame1,frame2,...,frameT},
其中每一帧framet=[ft(i,j)]m×n的分辨率均为m×n,t=1,2,...,T,T为读入的视频帧序列的长度,
采用单高斯背景建模,获得背景帧back=[b(i,j)]m×n,i=1,2,...,m,j=1,2,...,n,同时获得背景帧的标准差矩阵stdb=[σb(i,j)]m×n和均值矩阵meanb=[μb(i,j)]m×n,
再采用背景差分法,检测出运动目标区域设为{object1,object2,...,objectT},objectt=[objt(i,j)]m×n,计算公式如下:
其中,th(i,j)=μb(i,j)+λ·σb(i,j)为目标检测阈值,λ为调整参数;
步骤2、计算运动掩模Mask=[mask(i,j)]m×n,计算公式如下:
步骤3、计算运动掩模的最大值maxmask,计算公式如下:
maxmask=max{mask(i,j)|i=1,2,...,m;j=1,2,...,n}; (3)
步骤4、判断该视频是否存在背景误检链条
如果maxmask≥α·T,α是调整系数,则表明存在背景误检链条,转步骤5;
否则,转步骤7,结束处理;
步骤5、运动目标链生成
对步骤1检测出的每帧的运动目标{object1,object2,...,objectT},根据相邻帧间运动目标连通域存在重叠的依据,获得每个运动目标从起始帧到终止帧信息,称之为目标链,目标链在每帧中的连通域,称之为团块,
假设从读入的视频帧序列中,获得的目标链集合为:
{chain1,chain2,...,chainN},
其中,N为目标链的个数,
则目标链表示为:
其中,为目标链在第s帧中的团块,k=1,2,...,N,s=1,2,...,Tk,Tk为该目标链所持续的帧数,即第k个链条的长度;
步骤6、删除误检的背景链条;
步骤7、将删除了误检背景链条后的结果输出,即成。
本发明的有益效果是,依据复杂背景干扰在监控视频中持续时间长,目标在视频相邻帧间的移动位置小的特点,提出了一种视频摘要生成中的误检目标链的删除方法,顺利解决了上述的问题,使得所生成的视频摘要避免可因误检链条存在导致的不可删除冗余,提高了视频摘要的有效性。
附图说明
图1是没有对树叶晃动这类误检背景链条删除所生成的视频摘要界面;
图2是采用本发明方法处理后的视频摘要帧画面效果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明视频摘要生成的误检目标链条删除方法,按照以下步骤实施:
步骤1、对视频帧序列的每一帧,检测其运动目标
假设读入的视频帧序列为{frame1,frame2,...,frameT},
其中每一帧framet=[ft(i,j)]m×n的分辨率均为m×n,t=1,2,...,T,T为读入的视频帧序列的长度,计量单位为视频帧的帧数,
考虑到24小时不间断监控视频的数据量的计算可行性,建议T取值范围以两小时为单位,即按照25帧/秒的帧率,取T=2×3600×25=180000帧;
采用单高斯背景建模(单高斯背景建模方法参照相关专业书籍和论文),获得背景帧back=[b(i,j)]m×n,i=1,2,...,m,j=1,2,...,n,同时获得背景帧的标准差矩阵stdb=[σb(i,j)]m×n和均值矩阵meanb=[μb(i,j)]m×n,
再采用背景差分法,检测出运动目标区域设为{object1,object2,...,objectT},objectt=[objt(i,j)]m×n,计算公式如下:
其中,th(i,j)=μb(i,j)+λ·σb(i,j)为目标检测阈值,λ为调整参数,是经验值,0.5≤λ≤2。
步骤2、计算运动掩模Mask=[mask(i,j)]m×n,计算公式如下:
步骤3、计算运动掩模的最大值maxmask,计算公式如下:
maxmask=max{mask(i,j)|i=1,2,...,m;j=1,2,...,n}; (3)
步骤4、判断该视频是否存在背景误检链条
如果maxmask≥α·T,α是调整系数,是经验值,0.85≤α≤0.9,则表明存在背景误检链条,转步骤5;
否则,转步骤7,结束处理;
步骤5、运动目标链生成
对步骤1检测出的每帧的运动目标{object1,object2,...,objectT},根据相邻帧间运动目标连通域存在重叠的依据,获得每个运动目标从起始帧到终止帧信息,称之为目标链,目标链在每帧中的连通域,称之为团块,
假设从读入的视频帧序列中,获得的目标链集合为:
{chain1,chain2,...,chainN},
其中,N为目标链的个数,
则目标链表示为:
其中,为目标链在第s帧中的团块,k=1,2,...,N,s=1,2,...,Tk,Tk为该目标链所持续的帧数,即第k个链条的长度,或第k个目标链的出现帧数。
步骤6、删除误检的背景链条
对于步骤2得到的运动掩模Mask=[mask(i,j)]m×n,如果其元素mask(i,j)的数值是偏大的(如果是树叶晃动,就会在同一个位置上一直检测出有运动目标,因此运动掩模的值就会偏大),表明其所示点(i,j)是运动目标的频度比较大,则认为属于树叶晃动的可能性比较大,则执行以下步骤:
6.1)令k=1;
6.2)从步骤4得到的目标链集合{chain1,chain2,...,chainN}中取出第k个链条;
6.3)判断链条 的Tk个团块质心点是否落在运动掩模Mask=[mask(i,j)]m×n中,如果是,则统计其在运动掩模中,落在满足maxmask≥α·T位置上的帧数Lengthk,即:
6.4)如果Lengthk≥β·Tk,β是调整系数,属于经验值,0.9≤β≤0.95,则判断该目标链为误检的背景链条,将其删除;否则,转步骤6.5);
6.5)如果k=N,表明所有的链条处理完毕,转步骤7;
否则,令k=k+1,转步骤6.2);
步骤7、将删除了误检背景链条后的结果输出,完成操作,即成。
参照图1,是没有对背景误检目标链删除时生成的视频摘要的截图,图中的白色矩形框框定的部分为检测出的运动目标,可以看到,画面中因为多处树叶晃动的部分被误检为运动目标,而这些目标链的存在,导致生成的视频摘要中,仅仅只有一个真正的运动目标,导致视频摘要的效率大大降低;
参照图2,是采用本发明方法,删除了背景误检目标链后的结果,可以看到画面中的树叶晃动部分被正确删除,摘要画面中,因融合了其他运动目标,而提高了视频摘要的效率。图2相比于图1,画面中还出现了其他的车和人,进一步压缩了视频摘要的冗余,白色矩形框上方标注的是时间戳,表明了运动目标出现的真实时间。
Claims (2)
1.一种视频摘要生成的误检目标链条删除方法,其特征在于,按照以下步骤实施:
步骤1、对视频帧序列的每一帧,检测其运动目标
假设读入的视频帧序列为{frame1,frame2,...,frameT},
其中每一帧framet=[ft(i,j)]m×n的分辨率均为m×n,t=1,2,...,T,T为读入的视频帧序列的长度,
采用单高斯背景建模,获得背景帧back=[b(i,j)]m×n,i=1,2,...,m,j=1,2,...,n,同时获得背景帧的标准差矩阵stdb=[σb(i,j)]m×n和均值矩阵meanb=[μb(i,j)]m×n,
再采用背景差分法,检测出运动目标区域设为{object1,object2,...,objectT},objectt=[objt(i,j)]m×n,计算公式如下:
其中,th(i,j)=μb(i,j)+λ·σb(i,j)为目标检测阈值,λ为调整参数;
步骤2、计算运动掩模Mask=[mask(i,j)]m×n,计算公式如下:
步骤3、计算运动掩模的最大值maxmask,计算公式如下:
maxmask=max{mask(i,j)|i=1,2,...,m;j=1,2,...,n}; (3)
步骤4、判断该视频是否存在背景误检链条
如果maxmask≥α·T,α是调整系数,则表明存在背景误检链条,转步骤5;
否则,转步骤7,结束处理;
步骤5、运动目标链生成
对步骤1检测出的每帧的运动目标{object1,object2,...,objectT},根据相邻帧间运动目标连通域存在重叠的依据,获得每个运动目标从起始帧到终止帧信息,称之为目标链,目标链在每帧中的连通域,称之为团块,
假设从读入的视频帧序列中,获得的目标链集合为:
{chain1,chain2,...,chainN},
其中,N为目标链的个数,
则目标链表示为:
其中,为目标链在第s帧中的团块,k=1,2,...,N,s=1,2,...,Tk,Tk为该目标链所持续的帧数,即第k个链条的长度;
步骤6、删除误检的背景链条;
步骤7、将删除了误检背景链条后的结果输出,即成。
2.根据权利要求1所述的视频摘要生成的误检目标链条删除方法,其特征在于:所述的步骤6中,
对于步骤2得到的运动掩模Mask=[mask(i,j)]m×n,如果其元素mask(i,j)的数值是偏大的,表明其所示点(i,j)是运动目标的频度比较大,则认为属于树叶晃动的可能性比较大,则执行以下步骤:
6.1)令k=1;
6.2)从步骤4得到的目标链集合{chain1,chain2,...,chainN}中取出第k个链条;
6.3)判断链条的Tk个团块质心点(is0 k,js0 k)是否落在运动掩模Mask=[mask(i,j)]m×n中,如果是,则统计其在运动掩模中,落在满足maxmask≥α·T位置上的帧数Lengthk,即:
6.4)如果Lengthk≥β·Tk,β是调整系数,则判断该目标链为误检的背景链条,将其删除;否则,转步骤6.5);
6.5)如果k=N,表明所有的链条处理完毕,转步骤7;
否则,令k=k+1,转步骤6.2)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510359080.4A CN104954893B (zh) | 2015-06-25 | 2015-06-25 | 一种视频摘要生成的误检目标链条删除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510359080.4A CN104954893B (zh) | 2015-06-25 | 2015-06-25 | 一种视频摘要生成的误检目标链条删除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104954893A true CN104954893A (zh) | 2015-09-30 |
CN104954893B CN104954893B (zh) | 2017-11-28 |
Family
ID=54169177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510359080.4A Expired - Fee Related CN104954893B (zh) | 2015-06-25 | 2015-06-25 | 一种视频摘要生成的误检目标链条删除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104954893B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2207111A1 (en) * | 2009-01-08 | 2010-07-14 | Thomson Licensing SA | Method and apparatus for generating and displaying a video abstract |
CN103700116A (zh) * | 2012-09-27 | 2014-04-02 | 中国航天科工集团第二研究院二O七所 | 一种用于运动目标检测的背景建模方法 |
CN103778237A (zh) * | 2014-01-27 | 2014-05-07 | 北京邮电大学 | 一种基于活动事件时空重组的视频摘要生成方法 |
CN104063883A (zh) * | 2014-07-07 | 2014-09-24 | 杭州银江智慧医疗集团有限公司 | 一种基于对象和关键帧相结合的监控视频摘要生成方法 |
-
2015
- 2015-06-25 CN CN201510359080.4A patent/CN104954893B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2207111A1 (en) * | 2009-01-08 | 2010-07-14 | Thomson Licensing SA | Method and apparatus for generating and displaying a video abstract |
CN103700116A (zh) * | 2012-09-27 | 2014-04-02 | 中国航天科工集团第二研究院二O七所 | 一种用于运动目标检测的背景建模方法 |
CN103778237A (zh) * | 2014-01-27 | 2014-05-07 | 北京邮电大学 | 一种基于活动事件时空重组的视频摘要生成方法 |
CN104063883A (zh) * | 2014-07-07 | 2014-09-24 | 杭州银江智慧医疗集团有限公司 | 一种基于对象和关键帧相结合的监控视频摘要生成方法 |
Non-Patent Citations (1)
Title |
---|
王书朋,姬红兵: "利用团块模型进行目标跟踪", 《西安电子科技大学学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN104954893B (zh) | 2017-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160125A (zh) | 基于铁路监控的铁路异物入侵检测方法 | |
KR101348680B1 (ko) | 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치 | |
CN111652290B (zh) | 一种对抗样本的检测方法及装置 | |
CN110782433B (zh) | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 | |
CN103678299A (zh) | 一种监控视频摘要的方法及装置 | |
JP2006079272A (ja) | 異常動作検出装置および異常動作検出方法 | |
CN103561271B (zh) | 静止摄像头拍摄的运动目标被移除视频空域篡改检测方法 | |
CN105374026B (zh) | 一种适用于海防监控的海上红外小目标的检测方法 | |
CN102521842B (zh) | 一种实现快速移动检测的方法和装置 | |
CN104156942A (zh) | 一种用于复杂环境遗留物的检测方法 | |
CN103216731B (zh) | 一种管道泄漏判定方法及其系统 | |
CN110084181B (zh) | 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法 | |
CN114418073B (zh) | 脉冲神经网络训练方法、存储介质、芯片及电子产品 | |
Wang et al. | Intermediate fused network with multiple timescales for anomaly detection | |
CN105931270A (zh) | 基于运动轨迹分析的视频关键帧提取方法 | |
Ma et al. | Scene invariant crowd counting using multi‐scales head detection in video surveillance | |
Mahankali et al. | Identification of illegal garbage dumping with video analytics | |
Xu et al. | Crowd counting using accumulated HOG | |
CN114049483A (zh) | 基于事件相机的目标检测网络自监督训练方法及装置 | |
Xu et al. | Denoising for dynamic vision sensor based on augmented spatiotemporal correlation | |
CN117176433A (zh) | 网络数据的异常行为检测系统及方法 | |
CN104954893A (zh) | 一种视频摘要生成的误检目标链条删除方法 | |
CN101620734B (zh) | 运动检测方法及装置、背景模型建立方法及装置 | |
Mizher et al. | A meaningful compact key frames extraction in complex video shots | |
Han et al. | Multi-target tracking based on high-order appearance feature fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171128 Termination date: 20200625 |
|
CF01 | Termination of patent right due to non-payment of annual fee |