CN101770647A - 视频流数据文件的处理方法及设备 - Google Patents

视频流数据文件的处理方法及设备 Download PDF

Info

Publication number
CN101770647A
CN101770647A CN200810247065A CN200810247065A CN101770647A CN 101770647 A CN101770647 A CN 101770647A CN 200810247065 A CN200810247065 A CN 200810247065A CN 200810247065 A CN200810247065 A CN 200810247065A CN 101770647 A CN101770647 A CN 101770647A
Authority
CN
China
Prior art keywords
data file
stream data
video stream
video
exercise intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200810247065A
Other languages
English (en)
Inventor
梅海波
侯清富
朱春梅
严砥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN200810247065A priority Critical patent/CN101770647A/zh
Publication of CN101770647A publication Critical patent/CN101770647A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种视频流数据文件中视频场景运动强度的识别方法,该方法包括:确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;根据所述非运动补偿宏块的数量识别视频场景的运动强度。本发明同时公开一种视频流数据文件中视频场景运动强度的识别装置、视频流数据文件中视频流的运动信息提取方法及装置、视频流数据文件的存储方法及系统、视频流数据文件的检索方法及系统。采用本发明能够对视频流数据文件进行实时的、应用面广的检索。

Description

视频流数据文件的处理方法及设备
技术领域
本发明涉及图像处理技术领域,尤其涉及视频流数据文件的处理方法及设备。
背景技术
视频流数据文件中所包含的视觉内容包括颜色、纹理、形状和运动信息,其中运动信息是视频流数据文件区别于图像数据所特有的内容。基于运动信息的视频检索的优势就在于,它可以提供使用其他图像特征所无法实现的检索功能。
目前有学者研究了如何从视频中提取运动信息,大量研究主要集中在以下两种类型。例如,:
(1)IBM的QBIC(Query By Image Content,图像检索)系统将整个视频序列中的镜头分为相机运动和目标运动两大类,在进行检索时,用户须指出要检索相机运动类的镜头,还是目标运动类的镜头,以实现基于内容的检索;
(2)还有学者提出了在压缩域上直接分析运动的方法,该方法不需要对视频流数据文件进行解压,通过将2维直流(即DCT(Discrete CosineTransformation,离散余弦变换)中的DC(Direct Current Component,直流分量)系数图像沿水平轴或垂直轴投影,变换成1维数据,然后在这个1维数据上估算相机运动。
大量研究表明,以上方法(1)存在的不足在于:直接在像素域上分析运动或通过光流方程分析运动都是非常耗时的过程,很难达到实时。
而方法(2)存在的不足在于:仅适用于M-JPEG格式的视频流数据文件,对于目前绝大多数视频流数据文件来说,大多以MPEG-x、H.26x格式存储,因此该方案的应用面显然很窄。
发明内容
本发明实施例提供一种视频流数据文件中视频场景运动强度的识别方法,用以提供一种识别视频流数据文件中视频场景运动强度的方法,该方法包括:
确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;
根据所述非运动补偿宏块的数量识别视频场景的运动强度。
本发明实施例还提供一种视频流数据文件中视频流的运动信息提取方法,用以提供一种提取视频流数据文件中包括运动强度的运动信息的方法,该方法包括:
获取视频流数据文件中所述视频场景运动强度的识别结果;
提取视频流中包括所述识别结果的运动信息。
本发明实施例还提供一种视频流数据文件的存储方法,用以提供一种利用包括运动强度参数的运动信息来存储视频流数据文件的方法,该方法包括:
获取需保存的视频流数据文件;
获取该视频流数据文件的运动信息,所述运动信息包括所述视频场景运动强度的识别结果;
存储视频流数据文件,并以所述运动信息作为该视频流数据文件的标识。
本发明实施例还提供一种检索按所述存储方法存储的视频流数据文件的方法,用以提供一种利用包括运动强度参数的运动信息来检索视频流数据文件的方法,该方法包括:
以运动强度为检索词进行检索;
反馈标识与检索词匹配的视频流数据文件,所述标识是以视频流数据文件的运动信息作为标识的,所述运动信息包括所述视频场景运动强度的识别结果。
本发明实施例提供一种视频流数据文件中视频场景运动强度的识别装置,用以提供一种识别视频流数据文件中视频场景运动强度的方法,该装置包括:
确定模块,用于确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;
识别模块,用于根据所述非运动补偿宏块的数量识别视频场景的运动强度。
本发明实施例还提供一种视频流数据文件中视频流的运动信息提取装置,用以提供一种提取视频流数据文件中包括运动强度的运动信息的方法,该装置包括:
获取模块,用于获取视频流数据文件中所述识别模块的识别结果;
提取模块,用于提取视频流中包括所述识别结果的运动信息。
本发明实施例还提供一种视频流数据文件的存储数据库系统,用以提供一种利用包括运动强度参数的运动信息来存储视频流数据文件的方法,该系统包括:
待保存文件获取模块,用于获取需保存的视频流数据文件;
运动信息获取模块,用于获取该视频流数据文件的运动信息,所述运动信息包括所述识别模块的识别结果;
存储模块,用于存储视频流数据文件,并以所述运动信息作为该视频流数据文件的标识。
本发明实施例还提供一种检索所述数据库系统中视频流数据文件的检索系统,用以提供一种利用包括运动强度参数的运动信息来检索视频流数据文件的方法,该系统包括:
检索模块,用于以运动强度为检索词进行检索;
反馈模块,用于反馈标识与检索词匹配的视频流数据文件,所述标识是以视频流数据文件的运动信息作为标识的,所述运动信息包括所述识别模块的识别结果。
本发明实施例中提出了基于P帧非运动补偿宏块数量来判断的视频场景运动强度的等级划分,并给出了识别运动强度的技术方案。进一步的,在提取运动信息中包括了对运动强度等级的提取。更进一步的,利用包括运动强度的运动信息来作为标识,构建了视频流数据文件的存储以及检索的技术方案。
由于在本发明实施例中,是在压缩域视频直接进行运动信息的检索,因而耗时短,特别适用于实时监控及检索;克服了现有技术中因直接在像素域上分析运动或通过光流方程分析运动导致非常耗时、很难达到实时的不足。
同时,由于在本发明实施例中,可对基于MPEG/H.26X标准进行压缩的视频进行检索,只要是具备P帧特点的压缩算法都可实施,因此可满足目前大部分媒体管理系统的需求。克服了现有技术仅适用于M-JPEG格式的视频,应用面显然很窄的不足。
附图说明
图1为本发明实施例中视频流数据文件中视频场景运动强度的识别方法流程图;
图2为本发明实施例中一个图像组的帧结构示意图;
图3为本发明实施例中MPEG视频中非运动补偿宏块分布示意图;
图4为本发明实施例中橄榄球比赛的视频流数据文件中的开始阶段图像与比赛阶段图像比较示意图;
图5为本发明实施例中新闻播报的视频流数据文件中的图像与足球比赛的视频流数据文件中的图像比较示意图;
图6为本发明实施例中u率折线示意图;
图7为本发明实施例中一个新闻播报的镜头;
图8为本发明实施例中新闻播报镜头中每个P帧的Gu(α)值的分布情况示意图;
图9为本发明实施例中一个足球比赛中的镜头;
图10为本发明实施例中足球比赛镜头中每个P帧的Gu(α)值的分布情况示意图;
图11为本发明实施例中视频流数据文件中视频流的运动信息提取方法流程图;
图12为本发明实施例中视频流数据文件的存储方法流程图;
图13为本发明实施例中采集视频流数据文件的流程图;
图14为本发明实施例中检索视频流数据文件的方法流程图;
图15为本发明实施例中查询视频流数据文件的流程图;
图16为本发明实施例中视频流数据文件中视频场景运动强度的识别装置结构示意图;
图17为本发明实施例中视频流数据文件中视频流的运动信息提取装置结构示意图;
图18为本发明实施例中视频流数据文件的存储数据库系统结构示意图;
图19为本发明实施例中数据库系统中视频流数据文件的检索系统结构示意图。
具体实施方式
本发明实施例中,首先提出一种视频流数据文件中视频场景运动强度的识别方法,从而提出一种以运动强度为依据的视频流的运动信息提取方法,并进而以该包括了运动强度的运动信息来构建一种视频流数据文件的存储方法,以及一种检索按该方法存储的视频流数据文件的方法,通过以视频场景的运动强度为参量解决了运动信息的提取、以及相关的存储和查询,下面分别对运动强度的识别、运动信息的提取、视频流数据文件的存储、检索的具体实施方式进行说明。
如图1所示,本发明实施例中,视频流数据文件中视频场景运动强度的识别方法流程可以包括:
步骤101、确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;
步骤102、根据非运动补偿宏块的数量识别视频场景的运动强度。
本实施例中,步骤101中P帧的选取,以MPEG压缩算法为例进行说明。
MPEG数据结构被定义为图像序列(Sequence)、图像组(GOP)、图像(Picture)、宏块条(Slice)、宏块(MB)和块(Block)。
一个图像组的帧结构如图2所示,MPEG采用了三种类型的图像:I帧(帧内帧)、P帧(预测帧)和B帧(双向预测帧)。帧是成组压缩的GOP,在每一组中,第一帧总是I帧,I帧是只使用本帧内的信息进行编码的图像,采用基于DCT的编码技术,压缩率不高;P帧是使用前面最靠近的I帧或P帧图像作为参考帧进行预测编码的图像,采用运动补偿技术,编码效率较高;B帧是使用一个过去的参考帧的和一个将来的参考帧进行运动补偿预测的编码图像,其参考帧可以是一个I帧和P帧,或是前后两个P帧,压缩效率最高,但不作为预测的参考图像。
I帧是帧内编码,没有包含视频相关的运动信息。而P帧和B帧是帧间编码,采用基于16×16像素的宏块的运动补偿技术,P帧是前向预测,B帧是双向预测,如果采用B帧,处理起来运算量会比较大而且会比较烦琐。与此相反,处理P帧时就方便的多。而且在典型的视频流中P帧的出现频率约每秒出现8次。这对于基于运动特征视频检索来说是足够了。
基于上述理由,选取P帧为提取压缩视频运动信息的关键帧。本实施例是以MPEG压缩算法为例进行说明的,但是由选取P帧实施的理由可知,本发明实施时,并不仅限于MPEG系列压缩算法处理的视频流数据文件,而是只要图像压缩算法中的I帧(帧内帧)、P帧(预测帧)和B帧(双向预测帧)具有MPEG压缩算法特点,即P帧既包含运动信息,且处理相对方便,则满足该要求的图像压缩算法都可以用来实施。
下面对步骤101中提取P帧中的非运动补偿宏块进行详细说明。
压缩视频流采用了运动补偿技术,一般是基于宏块处理的。对于一个P帧来说,被预测宏块与参考宏块不在帧内的同一位置时,编码器将调用运动补偿技术来进行编码。当宏块没有运动补偿(No_MC)时,称其为非(无)运动补偿宏块。
视频流中有两种非运动补偿宏块,一种是帧内编码(inter)的非运动补偿宏块,另一种是帧间编码(intra)的非运动补偿宏块。以典型的MPEG编码器结构为例,在压缩过的视频基本码流(ES)中,都会有宏块层,里面包含了P帧及B帧的运动矢量(MV-Motion Vectors)。附加数据包含的信息有:表明宏块在宏块条层中位置的宏块地址、说明宏块编码方法及内容的宏块类型、宏块量化参数、区别运动矢量类型及大小、表明以场离散余弦变换(DCT-DiscreteCosine Transform)还是以帧DCT进行编码的DCT类型。通过读取和解析宏块条层的包头信息,可以建立一个判断帧内编码或帧间编码的分类器(classifier),用来区分帧内编码和帧间编码宏块。
帧内编码或帧间编码的分类器会与输入图片元素(象素)比较预测误差。如果预测的均方误差超过了宏块的均方值就判断为帧内编码,否则就是帧间编码。帧内编码和帧间编码的非运动补偿宏块可以分别得到。
P帧的宏块中只包含帧间编码的非运动补偿宏块。事实上,在特殊情况下,当一个宏块和参考块匹配得很好时,它将被跳过,根本不进行编码。图3示出了MPEG视频中非运动补偿宏块的分布结构。
下面对步骤102中对运动强度的确定进行详细说明。
通过非运动补偿宏块定义可以得到,当视频内容变化不明显时,大量的宏块都与参考帧中的宏块匹配的很好,那么P帧中的非运动补偿宏块的数量就会比较大。例如,体育运动的暂停期间,一般只有一些小对象的运动而且作为视频流数据文件获取设备的摄象机镜头通常会被固定,因此相应的非运动补偿宏块的数量会很大。同理,当视频内容变化很快时,很多宏块都不能很好的和它们参考帧宏块相匹配,因此,P帧中帧间编码的非运动补偿宏块数量就会很小。综上可知,可以根据非运动补偿宏块的数量来识别视频场景的运动强度。下面对具体的识别实施方式进行说明。
首先定义一个关于P帧的比率α,该值为P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,可以用公式形式表示如下:
α = NumberofinterNo _ MCMacroblock TotalNumberofFrameMacroblock .
由α的定义及前述分析可以知道,比率α越高代表场景运动强度越小,反之,则场景运动越大。图4为橄榄球比赛的视频流数据文件中的开始阶段图像与比赛阶段图像比较示意图,如图4的两帧图像可见,第一帧为比赛的开始阶段,其α值比较高,为86%,而第二帧为比赛过程中的一帧,其α值比较低,仅为5%。
图5为新闻播报的视频流数据文件中的图像与足球比赛的视频流数据文件中的图像比较示意图,如图5所示不同视频中的两帧图像,第一帧为新闻播报,视频运动极为缓慢,其α值比较高,为94%,而第二帧为足球比赛中的一帧,视频运动很快,其α值比较低,仅为30%左右。
通过上述分析,发明人注意到,比率α的变化规律符合场景运动强度的变化规律,并且和人的感觉比较一致,因此可以此为运动信息的一个特征,更进一步的,作为一个区分值,可以用于视频检索,下面还有实施例会对该检索、存储的实施进行介绍。
但是,确定场景运动强度的级别,较佳的方式是不直接使用比率α,而是把比率α进一步量化成几个等级。因此首先将比率α进行u率变换为Gu(α),然后再根据比率的u率变换结果识别视频场景的运动强度。具体实施中,并不仅限于u率变换这一种方式,其他能够把比率α进一步量化成几个等级的方式都可以实施,即其目的在于使得大比率α值有更大的量化步长。则,比率的u率变换可以具体为:
Gu(α)=ln(1+uα)/ln(1+u),0≤α≤1,其中:
α为P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,μ是压扩参数,表示压缩的程度。
图6为u率折线示意图,如图6所示,可以直接使用Gu(α)值来进行级别划分。图7为一个新闻播报的镜头,图8为新闻播报镜头中每个P帧的Gu(α)值的分布情况示意图。可以看出新闻播报中的Gu(α)值几乎所有的点都分布在大于0.9的范围内。
同样的,图9为一个足球比赛中的镜头,图10为足球比赛镜头中每个P帧的Gu(α)值的分布情况示意图,可以看出所有的点都分布在0.6以下,一般足球比赛的图像运动强度是大于新闻播报的,可见Gu(α)值与图像场景的运动强度相关,且其值越高则运动强度越低,由Gu(α)值的产生也能证明这一规律。
由此可以看出,通过P帧的Gu(α)值直接划分运动强度级别是可行的。结合MPEG-7标准,也可把场景的运动强度级分为五级。
第一级,极慢,0.9≤Gu(α)≤1.0;
第二级,较慢,0.8≤Gu(α)≤0.9;
第三级,中,0.7≤Gu(α)≤0.8;
第四级,较快,0.6≤Gu(α)≤0.7;
第五级,很快,0.0≤Gu(α)≤0.6。
相应的,在步骤102识别视频场景的运动强度时,便可以根据比率的u率变换结果识别视频场景的运动强度,具体识别可以为:
将0.9≤Gu(α)≤1.0的视频场景的运动强度识别为极慢;
将0.8≤Gu(α)≤0.9的视频场景的运动强度识别为较慢;
将0.7≤Gu(α)≤0.8的视频场景的运动强度识别为正常;
将0.6≤Gu(α)≤0.7的视频场景的运动强度识别为极快;
将0.0≤Gu(α)≤0.6的视频场景的运动强度识别为很快;
其中,Gu(α)为所述比率的u率变换结果。
利用上述运动强度的识别结果,实施中可以将其作为一个运动信息的特征值,并用以表征视频流数据文件。基于此,本发明实施例还提供了一种视频流数据文件中视频流的运动信息提取方法,下面对该方法的具体实施方式进行说明。
如图11所示,本发明实施例中视频流数据文件中视频流的运动信息提取方法流程可以包括:
步骤1101、确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;
步骤1102、根据非运动补偿宏块的数量识别视频场景的运动强度;
步骤1103、获取视频场景运动强度的识别结果;
步骤1104、提取视频流中包括识别结果的运动信息。
当能提取包括识别结果的运动信息后,便可以利用该运动信息来对视频流数据文件的分类依据,即,按照前述的运动强度等级来对视频流数据文件分类,并将其作为检索的依据。据此,本发明实施例中还提供了一种视频流数据文件的存储方法、以及一种检索视频流数据文件的方法,下面对它们的实施方式进行说明。
如图12所示,本发明实施例中视频流数据文件的存储方法流程可以包括:
步骤1201、获取需保存的视频流数据文件;
步骤1202、获取该视频流数据文件的运动信息,运动信息包括视频场景运动强度的识别结果;
步骤1203、存储视频流数据文件,并以所述运动信息作为该视频流数据文件的标识。
步骤1201中,为了使对视频流数据文件的检索结果能够更具有普遍性,需要大量的且不同种类的压缩视频,因此可以采集大量的视频流数据文件。实施中,可使用视频采集卡,将电视中的节目录制下来并转换成相应格式(MPEG-x或H.26x系列)的压缩视频。
实施中,将存储了视频流数据文件的实体称为数据库,则数据库可使用Microsoft SQL Sever 2000或其他数据库软件实现,在数据库中采用关键帧图像代表镜头进行视频存储,以关键帧的特征信息(如:运动信息)代表关键帧图像的管理方式,用来实现基于运动的压缩视频流数据文件的存储与检索。
数据库系统中可以包含多种不同类型、不同方式的视频流数据文件,例如可以采集以下类型的视频流数据文件:儿童节目,MTV,演唱会,新闻播报,人物专题采访,电视剧,篮球比赛,足球比赛,乒乓球比赛,排球比赛等。
一个具体实例中采集视频流数据文件的实施流程如图13所示,可以包括:
步骤1301、获取视频流数据文件;
步骤1302、对视频流数据文件进行镜头分割,分别转入步骤1303、1304;
步骤1303、提取运动特征,转入步骤1307;
步骤1304、提取关键帧并聚类;
步骤1305、提取特征;
步骤1306、提取其它特征;
步骤1307、将视频流数据文件存入数据库,并用运动特征及其他特征标识。
其中,步骤1303中所提取的运动特征便包括了前述实施例中的运动强度特征,其提取的实施可以如图1所示的执行。步骤1305、1306中提取的特征可以是其它的一些特征,如时间、色度等等,可以用其与包括了运动强度的运动信息一起来标识视频流数据文件。
在利用上述方式标识视频流数据文件后,显然,可以利用这些标识来检索数据库中存储的视频流数据文件,因此,本发明实施例中还提供了一种检索视频流数据文件的方法,下面对检索方法的具体实施方式进行说明。
如图14所示,本发明实施例中,检索视频流数据文件的方法流程可以包括:
步骤1401、以运动强度为检索词进行检索;
步骤1402、反馈标识与检索词匹配的视频流数据文件。
本步骤中,标识是以视频流数据文件的运动信息作为标识的,显然,运动信息包括如前所述的视频场景运动强度的识别结果。
上述实施例中是直接以运动强度为检索关键词进行的检索,实施中,设需在数据库中检索与视频流数据文件A相同的若干同样性质的视频流数据文件,例如查询视频素材等。则可以配合前述存储视频流数据文件数据库进行查询。
一个具体实例中,查询视频流数据文件的实施流程如图15所示,可以包括:
步骤1501、获取需检索的视频流数据文件;
步骤1502、对需检索的视频流数据文件进行镜头分割,分别转入步骤1503、1504;
步骤1503、提取运动特征,转入步骤1507;
步骤1504、提取关键帧并聚类;
步骤1505、提取特征;
步骤1506、提取其它特征;
步骤1507、将运动特征、其他特征作为检索词在数据库中检索匹配的标识;
步骤1508、将数据库中匹配该标识的视频流数据文件输出。
其中,步骤1503中所提取的运动特征便包括了前述实施例中的运动强度特征,其提取的实施可以如图1所示的执行。步骤1505、1506中提取的特征可以是其它的一些特征,如时间、色度等等,可以用其与包括了运动强度的运动信息一起来检索视频流数据文件。
具体实施中,可以提供一个面向视频资料库检索者的客户端。用户便可以用图片或视频为检索条件,通过客户端界面,进行基于运动及其他特征的提取,并与数据库中的数据进行匹配,从而便可以从视频数据库中检索到所要查询的视频素材。
本领域普通技术人员可以理解上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
基于同一发明构思,本发明实施例还提供了一种视频流数据文件中视频场景运动强度的识别装置,其结构如图16所示,可以包括:
确定模块1601,用于确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;
识别模块1602,用于根据所述非运动补偿宏块的数量识别视频场景的运动强度。
一个实施例中,识别模块还可以用于根据P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,识别视频场景的运动强度。
一个实施例中,识别模块还可以用于根据所述比率的u率变换结果,识别视频场景的运动强度。
一个实施例中,识别模块还可以用于在比率进行u率变换时,比率进行u率变换为Gu(α),
Gu(α)=ln(1+uα)/ln(1+u),0≤α≤1,其中:
α为P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,μ是压扩参数。
一个实施例中,识别模块还可以用于在根据所述比率的u率变换结果,识别视频场景的运动强度时,
将0.9≤Gu(α)≤1.0的视频场景的运动强度识别为极慢;
将0.8≤Gu(α)≤0.9的视频场景的运动强度识别为较慢;
将0.7≤Gu(α)≤0.8的视频场景的运动强度识别为正常;
将0.6≤Gu(α)≤0.7的视频场景的运动强度识别为极快;
将0.0≤Gu(α)≤0.6的视频场景的运动强度识别为很快;
其中,Gu(α)为所述比率的u率变换结果。
基于同一发明构思,本发明实施例还提供一种视频流数据文件中视频流的运动信息提取装置,其结构如图17所示,可以包括:
获取模块1701,用于获取视频流数据文件运动强度的识别结果;其中,识别结果可以采用识别模块的执行结果;
提取模块1702,用于提取视频流中包括所述识别结果的运动信息。
基于同一发明构思,本发明实施例还提供一种视频流数据文件的存储数据库系统,其结构如图18所示,可以包括:
待保存文件获取模块1801,用于获取需保存的视频流数据文件;
运动信息获取模块1802,用于获取该视频流数据文件的运动信息,所述运动信息包括对运动强度的识别结果;其中,识别结果可以采用识别模块的执行结果;
存储模块1803,用于存储视频流数据文件,并以所述运动信息作为该视频流数据文件的标识。
基于同一发明构思,本发明实施例还提供一种数据库系统中视频流数据文件的检索系统,其结构如图19所示,可以包括:
检索模块1901,用于以运动强度为检索词进行检索;
反馈模块1902,用于反馈标识与检索词匹配的视频流数据文件,所述标识是以视频流数据文件的运动信息作为标识的,所述运动信息对运动强度的识别结果,其中,识别结果可以采用识别模块的执行结果。
由上述实施例可以看出,本发明实施例中提出了基于P帧非运动补偿宏块的数量来判断的视频场景运动强度的等级划分,并给出了识别运动强度的技术方案。进一步的,在提取运动信息中包括了对运动强度等级的提取。更进一步的,利用包括运动强度的运动信息来作为标识,构建了视频流数据文件的存储以及检索的技术方案。
由于在本发明实施例中,是在压缩域视频直接进行运动信息的检索,因而耗时短,特别适用于实时监控及检索;克服了现有技术中因直接在像素域上分析运动或通过光流方程分析运动导致非常耗时、很难达到实时的不足。
同时,由于在本发明实施例中,可对基于MPEG/H.26X标准进行压缩的视频进行检索,只要是具备P帧特点的压缩算法都可实施,因此可满足目前大部分媒体管理系统的需求。克服了现有技术仅适用于M-JPEG格式的视频,应用面显然很窄的不足。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种视频流数据文件中视频场景运动强度的识别方法,其特征在于,该方法包括:
确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;
根据所述非运动补偿宏块的数量识别视频场景的运动强度。
2.如权利要求1所述的方法,其特征在于,根据所述非运动补偿宏块的数量识别视频场景的运动强度,包括:
根据P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,识别视频场景的运动强度。
3.如权利要求2所述的方法,其特征在于,根据所述比率的u率变换结果,识别视频场景的运动强度。
4.如权利要求3所述的方法,其特征在于,所述比率的u率变换包括:
比率进行u率变换为Gu(α),
Gu(α)=ln(1+uα)/ln(1+u),0≤α≤1,其中:
α为P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,μ是压扩参数。
5.如权利要求3或4所述的方法,其特征在于,根据所述比率的u率变换结果,识别视频场景的运动强度,包括:
将0.9≤Gu(α)≤1.0的视频场景的运动强度识别为极慢;
将0.8≤Gu(α)≤0.9的视频场景的运动强度识别为较慢;
将0.7≤Gu(α)≤0.8的视频场景的运动强度识别为正常;
将0.6≤Gu(α)≤0.7的视频场景的运动强度识别为极快;
将0.0≤Gu(α)≤0.6的视频场景的运动强度识别为很快;
其中,Gu(α)为所述比率的u率变换结果。
6.一种视频流数据文件中视频流的运动信息提取方法,其特征在于,该方法包括:
获取视频流数据文件中如权利要求1所述的视频场景运动强度的识别结果;
提取视频流中包括所述识别结果的运动信息。
7.一种视频流数据文件的存储方法,其特征在于,该方法包括:
获取需保存的视频流数据文件;
获取该视频流数据文件的运动信息,所述运动信息包括如权利要求1所述的视频场景运动强度的识别结果;
存储视频流数据文件,并以所述运动信息作为该视频流数据文件的标识。
8.一种检索按权利要求7所述方法存储的视频流数据文件的方法,其特征在于,该方法包括:
以运动强度为检索词进行检索;
反馈标识与检索词匹配的视频流数据文件,所述标识是以视频流数据文件的运动信息作为标识的,所述运动信息包括如权利要求1所述的视频场景运动强度的识别结果。
9.一种视频流数据文件中视频场景运动强度的识别装置,其特征在于,包括:
确定模块,用于确定视频流数据文件的前向预测帧P帧中的非运动补偿宏块的数量;
识别模块,用于根据所述非运动补偿宏块的数量识别视频场景的运动强度。
10.如权利要求9所述的装置,其特征在于,所述识别模块进一步用于根据P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,识别视频场景的运动强度。
11.如权利要求10所述的装置,其特征在于,所述识别模块进一步用于根据所述比率的u率变换结果,识别视频场景的运动强度。
12.如权利要求11所述的装置,其特征在于,所述识别模块进一步用于在比率进行u率变换时,比率进行u率变换为Gu(α),
Gu(α)=ln(1+uα)/ln(1+u),0≤α≤1,其中:
α为P帧的帧间编码的非运动补偿宏块数量与P帧宏块总数量的比率,μ是压扩参数。
13.如权利要求11或12所述的装置,其特征在于,所述识别模块进一步用于在根据所述比率的u率变换结果,识别视频场景的运动强度时,
将0.9≤Gu(α)≤1.0的视频场景的运动强度识别为极慢;
将0.8≤Gu(α)≤0.9的视频场景的运动强度识别为较慢;
将0.7≤Gu(α)≤0.8的视频场景的运动强度识别为正常;
将0.6≤Gu(α)≤0.7的视频场景的运动强度识别为极快;
将0.0≤Gu(α)≤0.6的视频场景的运动强度识别为很快;
其中,Gu(α)为所述比率的u率变换结果。
14.一种视频流数据文件中视频流的运动信息提取装置,其特征在于,包括:
获取模块,用于获取视频流数据文件中如权利要求9所述识别模块的识别结果;
提取模块,用于提取视频流中包括所述识别结果的运动信息。
15.一种视频流数据文件的存储数据库系统,其特征在于,包括:
待保存文件获取模块,用于获取需保存的视频流数据文件;
运动信息获取模块,用于获取该视频流数据文件的运动信息,所述运动信息包括如权利要求9所述识别模块的识别结果;
存储模块,用于存储视频流数据文件,并以所述运动信息作为该视频流数据文件的标识。
16.一种检索权利要求15所述数据库系统中视频流数据文件的检索系统,其特征在于,该系统包括:
检索模块,用于以运动强度为检索词进行检索;
反馈模块,用于反馈标识与检索词匹配的视频流数据文件,所述标识是以视频流数据文件的运动信息作为标识的,所述运动信息包括如权利要求9所述识别模块的识别结果。
CN200810247065A 2008-12-31 2008-12-31 视频流数据文件的处理方法及设备 Pending CN101770647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810247065A CN101770647A (zh) 2008-12-31 2008-12-31 视频流数据文件的处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810247065A CN101770647A (zh) 2008-12-31 2008-12-31 视频流数据文件的处理方法及设备

Publications (1)

Publication Number Publication Date
CN101770647A true CN101770647A (zh) 2010-07-07

Family

ID=42503495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810247065A Pending CN101770647A (zh) 2008-12-31 2008-12-31 视频流数据文件的处理方法及设备

Country Status (1)

Country Link
CN (1) CN101770647A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248209A (zh) * 2019-07-19 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种弹幕防遮挡掩模信息的传输方法及系统
CN110689846A (zh) * 2019-11-06 2020-01-14 昆山国显光电有限公司 一种像素灰阶补偿参数压缩存储方法、装置和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248209A (zh) * 2019-07-19 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种弹幕防遮挡掩模信息的传输方法及系统
CN110689846A (zh) * 2019-11-06 2020-01-14 昆山国显光电有限公司 一种像素灰阶补偿参数压缩存储方法、装置和存储介质
CN110689846B (zh) * 2019-11-06 2021-03-30 昆山国显光电有限公司 一种像素灰阶补偿参数压缩存储方法、装置和存储介质

Similar Documents

Publication Publication Date Title
US6618507B1 (en) Methods of feature extraction of video sequences
US7003038B2 (en) Activity descriptor for video sequences
Kasutani et al. The MPEG-7 color layout descriptor: a compact image feature description for high-speed image/video segment retrieval
EP1211644B1 (en) Method for describing motion activity in video
US20080267290A1 (en) Coding Method Applied to Multimedia Data
EP1182582A2 (en) Method for summarizing a video using motion and color descriptiors
CN101453649B (zh) 压缩域视频流的关键帧提取方法
CN1465191A (zh) 采用运动描述符归纳视频的方法
CN101053258A (zh) 用于处理编码的视频数据的方法和设备
KR20020060981A (ko) 화상 검색 시스템 및 화상 검색 방법
US6823011B2 (en) Unusual event detection using motion activity descriptors
JP4520994B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Ferman et al. Object-based indexing of MPEG-4 compressed video
EP1743488A1 (en) Monochrome frame detection method and corresponding device
CN101770647A (zh) 视频流数据文件的处理方法及设备
Fernando et al. Video segmentation and classification for content-based storage and retrieval using motion vectors
Deguerre et al. Object detection in the DCT domain: Is luminance the solution?
Ouyang et al. Replay boundary detection in MPEG compressed video
JP4618621B2 (ja) フレームを識別する方法及びシステム
US20090016441A1 (en) Coding method and corresponding coded signal
Zargari et al. Compressed domain texture retrieval based on I-frame coding in H. 264
Choi et al. Storyboard construction using segmentation of MPEG encoded news video
Grana et al. Compressed Domain Features Extraction for Shot Characterization.
Chen et al. Fast video retrieval via the statistics of motion within the regions-of-interest
Izquierdo A low access latency video portal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100707