CN102436487A - 一种基于视频检索系统的光流方法 - Google Patents
一种基于视频检索系统的光流方法 Download PDFInfo
- Publication number
- CN102436487A CN102436487A CN2011103416528A CN201110341652A CN102436487A CN 102436487 A CN102436487 A CN 102436487A CN 2011103416528 A CN2011103416528 A CN 2011103416528A CN 201110341652 A CN201110341652 A CN 201110341652A CN 102436487 A CN102436487 A CN 102436487A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- msubsup
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000009499 grossing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims abstract description 3
- 101710105759 Major outer membrane porin Proteins 0.000 claims description 11
- 101710164702 Major outer membrane protein Proteins 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000001174 ascending effect Effects 0.000 claims description 2
- 238000003491 array Methods 0.000 abstract 2
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于视频检索系统的光流方法,包括步骤:将视频镜头预处理,将给定的视频镜头进行帧分割,对每帧图像进行卷积平滑,平滑后通过每相邻的两帧图像计算像素点的光流值,进而得到光流的模长与幅角信息;利用光流的模长与幅角信息,对视频镜头中的帧图像进行区分,将具有相似模长大小与幅角方向的图像帧归为一类;对分好的每一类图像帧构造基于模长与幅角的光流直方图,分别得到基于模长与幅角的视频镜头光流直方图矩阵;定义基于光流直方图矩阵的距离函数,从视频数据库中匹配出类似于给定视频镜头的视频镜头,完成检索过程。
Description
技术领域
本发明涉及计算机模式识别处理技术,特别是涉及一种基于视频检索系统的光流方法。
背景技术
基于内容的视频检索技术一直是多媒体信息研究领域的热点问题。大致的工作流程是把给定的原始视频依据图像帧之间的突变或是渐变方式分割成若干相关的独立单元镜头;然后,对每个被分割出来的镜头提取一定的特征作为该镜头的索引结构;最后,依据所建立的索引结构计算待测镜头与目标镜头之间的相似度,从而使得用户在提交了浏览或查询的请求时匹配出相应的结果。依据提取特征的不同,视频检索的现有方法可以细分为基于颜色特征的方法、基于域空间特征的方法、基于形状特征的方法、基于运动特征的方法等。
基于颜色特征的代表工作首先是由Ferman等人提出来的(参见A.M.Ferman,A.M.Tekalp,and R.Mehrotra.Robust Color HistogramDescriptors for Video Segment Retrieval and Identification.IEEETransaction on Image Processing,Vol.11,No.5,pp.497-508,2002).他们综合考虑镜头中所有帧的颜色直方图信息,利用阿尔法裁剪颜色直方图的方法去构造视频的镜头索引结构,对所有帧相应直方图量化分量上的值进行排序,然后根据排序计算出排序的中值,围绕中值选取相应的邻域求取均值,以此作为最后的直方图,当邻域选取为0时,阿尔法裁减平均算子退化为中值,当邻域选取可以覆盖镜头内所有的帧时,该算子退化为均值。然而,基于阿尔法裁剪颜色直方图的方法具有两个缺点:首先,它丢弃了帧内的空间信息;第二,对于检索排序而言每一个直方图的系数分量都要进行计算,通常直方图的尺寸较大,这使得检索的过程极为费时。
对于一个镜头,我们还可以考虑其帧内的空间频率内容和帧间的统计信息,即域空间特征。空间频率的内容由离散余弦变换(DCT)获得,对于不同的频率系数,基于一定的概率统计模型去描述其在一个镜头内的信息。由于在DCT域中,低频分量具有更大信息。Lee等人提出了基于由粗至精级联结构的快速检索方案(参见H.C.Lee and S.D.Kim.Rate-driven Key FrameSelection Using Temporal Variation of Visual Content.ElectronicsLetters,Vol.38,No.5,pp.217-218,2002),该方案仅根据首几个低频DCT系数便可去除大量的不相似的镜头,仅有少量的镜头就能够传至更精细的下一级进行细检,计算量因此被大大减少。域空间特征的缺点就是很多时候并不能真实反映视频的语义内容,因此就限制了只能在某些特殊的场合使用。
镜头的关键帧可以作为镜头内容的重要表示,一旦关键帧选定,研究的对象就从视频转化为图像,利用图像中物体或区域的形状特征是一个有效而重要的手段。现有的基于形状特征的视频检索方法主要有两种,一种是Zhang等人[9]使用的轮廓特征(参见D.S.Zhang and G.J.Lu.Generic FourierDescriptor for Shape-based Image Retrieval.IEEE InternationalConference on Multimedia and Expo,pp.425-428,2002),采用物体边界的傅立叶变换作为其形状描述;一种是区域特征,主要用来描述物体上的每一点与其他点之间的联系程度,这方面的代表工作有Li等人使用的形状无关矩(参见Z.M.Li,J.Zhang,Y.J.Liu,and H.Li.The Curve-structureInvariant Moments for Shape Analysis and Recognition.NinthInternational Conference on Computer Aided Design and ComputerGraphics,pp.163-197,2005)、Cakmakov等人使用的旋转函数(参见D.Cakmakov and E.Celakoska.Shape Matching of Digital Curves.Proceedings of the 4th International Symposium on Image and SignalProcessing and Analysis,pp.457-461,2005)和Zhang等人使用的小波描述符(参见H.M.Zhang,Q.H.Wang,Y.X.Kan,J.H.Liu,and Y.W.Gong.Researches on Hi erarchi cal Image Retri eval Model Based on WaveletDescriptor and Indexed by Half-Axes-Angle using R-Tree.InternationalConference on Machine Learning and Cybernetics,pp.3755-3759,2006)。注意到合适的形状特征必须满足对变换、旋转和缩放无关,这对形状相似度的计算带来了极大难度,所以无论是基于轮廓特征还是基于区域特征,都有其应用的局限性。
运动特征是视频的重要内容。运动特征又可以分为两类,一类是镜头的运动特征,主要是利用MPEG视频中的帧类型、宏块类型、运动矢量这些压缩参数信息建立索引,Haubold等人(参见A.Haubold and M.Naphade.Classification of Video Events using 4-dimensional time-compressedMotion Features.ACM International Conference on Image and VideoRetrieval,pp.178-185,2007)和Wang等人(参见F.Wang,Y.G.Jiang,C.W.Ngo.Event-based Semantic Detection Using Motion Relativity andVisual Relatedness.IEEE International Conference on Multimedia,pp.239-248,2008)在这方面都做出了不错的工作。这些方法具有计算成本低的特点,但此类方法的缺陷也是明显的,因为它们所表示的并不是视频内容中运动物体真实的运动情况,仅仅是镜头间的运动变化情况,而人的视觉系统往往更容易被前者所作用和吸引。视频内容中运动物体的运动特征是第二类重要的特征,Tahayna等人(参见B.Tahayna,M.Belkhatir,and S.Alhashmi.Motion Information for Video Retrieval.IEEE international conferenceon Mult imedia and Expo,pp.870-873,2009)和Feng等人(参见B.L.Feng,J.Cao,S.X.Lin,Y.D.Zhang,and K.Tao.Mot ion Region-based TrajectoryAnalysis and Re-ranking for Video Retrieval.IEEE internationalconference on Multimedia and Expo,pp.378-381,2009)在他们提出的方法中关注于通过视频中运动物体的运动轨迹来检索,实验证明,使用运动轨迹在检索精度上和识别率上远优于使用镜头的运动特征,但运动轨迹的刻画也需要建立相应的模型,由此会比第一类运动特征增加较多的计算成本,花费较多的运行时间。
发明内容
本发明提供一种基于视频检索系统的光流方法,该方法通过对视频镜头的图像帧集合采取捕捉光流特征进行分类,并对每一类构造相应的光流直方图,通过比较不同直方图之间的距离匹配待检索的视频内容。
一种基于视频检索系统的光流方法,包括以下步骤:
1)将视频镜头预处理,将给定的视频镜头进行帧分割,对每帧图像进行卷积平滑,平滑后通过每相邻的两帧图像计算像素点的光流值,进而得到光流的模长与幅角信息;
2)利用光流的模长与幅角信息,对视频镜头中的帧图像进行区分,将具有相似模长大小与幅角方向的图像帧归为一类;
3)对分好的每一类图像帧构造基于模长与幅角的光流直方图,分别得到基于模长与幅角的视频镜头光流直方图矩阵;
4)定义基于光流直方图矩阵的距离函数,从视频数据库中匹配出类似于给定视频镜头的视频镜头,完成检索过程。
基于内容的视频检索指的是能自动识别或理解视频序列的重要特征,根据视频和视频对象的内容及上下文联系在大规模视频数据库中检索出用户所需要的视频信息,其应用的现实性是迫切急需的。本发明提出了一种新颖的方法,采用光流特征作为检索的依据,能很好的反映出视频本身的动态内容,快速地找出匹配镜头。本发明方法明确,运行鲁棒,可以植入代理服务器的防火墙,通过管理员设置相应的安全级别,从而对相关视频的信息进行检索识别;还可以运行于主机托管的Web服务器上,通过在Web服务器上加装过滤监控软件,验证防止非法用户上传包含敏感信息视频的有效性。
附图说明
图1为本发明的技术方案流程图;
图2为视频镜头预处理流程图;
图3为图像帧分类流程图;
图4为构造光流直方图流程图;
图5为匹配待检索视频流程图。
具体实施方式
一种基于视频检索系统的光流方法,首先,将给出的视频镜头预处理,将其分割成图像帧,进行卷积平滑,计算相应的光流数据;然后,根据得到的光流信息将图像帧进行分类;接着,对每类图像构造光流的模长与幅角直方图,进而得到整个视频镜头的光流直方图矩阵;最后,基于光流直方图的距离函数,从视频数据库中匹配出类似于给定视频镜头的视频镜头,完成检索过程。具体流程参见图1。
下面具体介绍关键的实现细节:
1.视频镜头预处理,流程如图2所示;
对于一个给定的视频镜头,我们将其分割成N+1个图像帧,图像帧的大小为X×Y,对于每个图像帧ft(x,y),其中1≤t≤N+1,0≤x≤X-1,0≤y≤Y-1,使用卷积函数h(x,y),得到平滑后的图像gt(x,y),其中
gt(x,y)=h(x,y)*ft(x,y)。 (1)
任意相邻的gt(x,y)和gt+1(x,y)(1≤t≤N),可算得光流场(μt(x,y),vt(x,y))。从而我们可以构造出像素点的运动大小因子MOMP和运动方向因子DOMP,即
2.图像帧的分类,流程如图3所示;
对于每帧图像gt(x,y),计算它的运动大小函数M(t)与运动方向函数D(t),
选取合适的参数I1和I2,定义基于运动大小的分类函数M′(t)和基于运动方向的分类函数D′(t),如下
M′(t1)=M′(t2), (8)
或者
D′(t1)=D′(t2)。 (9)
最后,基于运动大小我们可以将图像帧分为m类,而基于运动方向我们可以将图像帧分为d类。
3.构造光流直方图,流程如图4所示;
首先考察光流的运动大小信息,令M0是在整个视频数据集中MOMPt(x,y)的最大值,BM是光流运动大小直方图的个数,对每一个依据M′(t)所得到的分类每一个p∈{1,…,n(i)}定义如下的直方图k因子
其中,k∈{1,…,BM},而
其中(p1,…,pn(i))是(1,…,n(i))的一个置换排列。从而我们可以定义基于光流运动大小的直方图k指标为
其中0≤α≤0.5,是控制选取直方图k因子的参数。
其中,k∈{1,…,BD},而
类似的,我们可以定义基于光流运动方向的直方图k指标
最后,对于一个给定的视频镜头,我们就得到了两个分别基于光流大小与方向的直方图矩阵,分别是
和
4.定义光流直方图距离,匹配检索的视频镜头,流程如图5所示;
对于任意的两个视频镜头S和S′,基于光流大小的直方图矩阵距离可以如下定义
类似的,基于光流方向的直方图矩阵距离可以定义为
那么对于两个视频镜头S和S’,它们的距离Dist(S,S′)就可以定义为
Dist(S,S′)=ωDist(S,S′)(HM)+(1-ω)Dist(S,S′)(HD), (20)
这样,在视频数据库中和待检索视频镜头最匹配的镜头就是和待检索视频镜头具有最小距离函数的视频镜头,从而完成整个检索过程。
Claims (4)
1.一种基于视频检索系统的光流方法,包括以下步骤:
1)将视频镜头预处理,将给定的视频镜头进行帧分割,对每帧图像进行卷积平滑,平滑后通过每相邻的两帧图像计算像素点的光流值,进而得到光流的模长与幅角信息;
2)利用光流的模长与幅角信息,对视频镜头中的帧图像进行区分,将具有相似模长大小与幅角方向的图像帧归为一类;
3)对分好的每一类图像帧构造基于模长与幅角的光流直方图,分别得到基于模长与幅角的视频镜头光流直方图矩阵;
4)定义基于光流直方图矩阵的距离函数,从视频数据库中匹配出类似于给定视频镜头的视频镜头,完成检索过程。
2.根据权利要求1所述的基于视频检索系统的光流方法,其中,视频镜头预处理包括:
对于一个给定的视频镜头,将其分割成N+1个图像帧,图像帧的大小为X×Y,对于每个图像帧ft(x,y),其中1≤t≤N+1,0≤x≤X-1,0≤y≤Y-1,使用卷积函数h(x,y),得到平滑后的图像gt(x,y),其中
gt(x,y)=h(x,y)*ft(x,y)
任意相邻的gt(x,y)和gt+1(x,y)(1≤t≤N),可得光流场(μt(x,y),vt(x,y)),从而构造出像素点的运动大小因子MOMP和运动方向因子DOMP,即
4.根据权利要求3所述的基于视频检索系统的光流方法,其中,构造光流直方图包括:
首先考察光流的运动大小信息,令M0是在整个视频数据集中MOMPt(x,y)的最大值,BM是光流运动大小直方图的个数,对每一个依据M′(t)所得到的分类每一个p∈{1,…,n(i)}定义如下的直方图k因子
其中,k∈{1,…,BM},而
对于给定的k,将所有的值按着升序排列得到如下的不等式
其中(p1,…,pn(i))是(1,…,n(i))的一个置换排列,从而定义基于光流运动大小的直方图k指标为
其中0≤α≤0.5,是控制选取直方图k因子的参数;
其中,k∈{1,…,BD},而
最后,对于一个给定的视频镜头,得到了两个分别基于光流大小与方向的直方图矩阵,分别是
和
定义光流直方图距离,匹配检索的视频镜头;
对于任意的两个视频镜头S和S′,基于光流大小的直方图矩阵距离如下定义
类似的,基于光流方向的直方图矩阵距离定义为
那么对于两个视频镜头S和S′,它们的距离Dist(S,S′)就可以定义为
Dist(S,S′)=ωDist(S,S′)(HM)+(1-ω)Dist(S,S′)(HD)
这样,在视频数据库中和待检索视频镜头最匹配的镜头就是和待检索视频镜头具有最小距离函数的视频镜头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110341652.8A CN102436487B (zh) | 2011-11-03 | 2011-11-03 | 一种基于视频检索系统的光流方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110341652.8A CN102436487B (zh) | 2011-11-03 | 2011-11-03 | 一种基于视频检索系统的光流方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102436487A true CN102436487A (zh) | 2012-05-02 |
CN102436487B CN102436487B (zh) | 2014-03-05 |
Family
ID=45984549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110341652.8A Expired - Fee Related CN102436487B (zh) | 2011-11-03 | 2011-11-03 | 一种基于视频检索系统的光流方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102436487B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050247A (zh) * | 2014-06-04 | 2014-09-17 | 上海美琦浦悦通讯科技有限公司 | 实现海量视频快速检索的方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104036243B (zh) * | 2014-06-06 | 2017-04-05 | 电子科技大学 | 一种基于光流信息的行为识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1352439A (zh) * | 2000-11-14 | 2002-06-05 | 三星电子株式会社 | 对象行为建模方法 |
CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
-
2011
- 2011-11-03 CN CN201110341652.8A patent/CN102436487B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1352439A (zh) * | 2000-11-14 | 2002-06-05 | 三星电子株式会社 | 对象行为建模方法 |
CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
陈颖: "基于运动特征分析的视频检索", 《万方学位论文》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050247A (zh) * | 2014-06-04 | 2014-09-17 | 上海美琦浦悦通讯科技有限公司 | 实现海量视频快速检索的方法 |
CN104050247B (zh) * | 2014-06-04 | 2017-08-08 | 上海赛特斯信息科技股份有限公司 | 实现海量视频快速检索的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102436487B (zh) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Baran et al. | The efficient real-and non-real-time make and model recognition of cars | |
US8358837B2 (en) | Apparatus and methods for detecting adult videos | |
US20120087589A1 (en) | Methods for identifying imaging devices and classifying images acquired by unknown imaging devices | |
JP2004062605A (ja) | シーン識別方法および装置ならびにプログラム | |
CN112395457A (zh) | 一种应用于视频版权保护的视频待检索定位方法 | |
Aqel et al. | Road traffic: Vehicle detection and classification | |
Awang et al. | Vehicle counting system based on vehicle type classification using deep learning method | |
Nizami et al. | No-reference image quality assessment using bag-of-features with feature selection | |
Liu et al. | Analyzing periodicity and saliency for adult video detection | |
CN202306549U (zh) | 一种基于光流方法的视频检索系统 | |
Hirano et al. | Industry and object recognition: Applications, applied research and challenges | |
CN100397400C (zh) | 图形检索的方法 | |
Gayathri et al. | Improved fuzzy-based SVM classification system using feature extraction for video indexing and retrieval | |
Elaskily et al. | A survey on traditional and deep learning copy move forgery detection (CMFD) techniques | |
Tsechpenakis et al. | Knowledge-assisted video analysis and object detection | |
Dandotiya et al. | Image retrieval using edge detection, RLBP, color moment method for YCbCr and HSV color space | |
Sahbi et al. | Coarse to fine face detection based on skin color adaption | |
Diaa | A Deep Learning Model to Inspect Image Forgery on SURF Keypoints of SLIC Segmented Regions | |
Bhattacharya et al. | A survey of landmark recognition using the bag-of-words framework | |
CN102436487A (zh) | 一种基于视频检索系统的光流方法 | |
Liu et al. | Multi-feature fusion with SVM classification for crime scene investigation image retrieval | |
Gao et al. | Data-driven lightweight interest point selection for large-scale visual search | |
Yoganand et al. | Face detection approach from video with the aid of KPCM and improved neural network classifier | |
Isnanto et al. | Determination of the optimal threshold value and number of keypoints in scale invariant feature transform-based copy-move forgery detection | |
Shri et al. | Video Analysis for Crowd and Traffic Management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140305 Termination date: 20161103 |
|
CF01 | Termination of patent right due to non-payment of annual fee |