CN105163093B - 一种面向avs监控档的压缩域视频摘要提取方法及装置 - Google Patents
一种面向avs监控档的压缩域视频摘要提取方法及装置 Download PDFInfo
- Publication number
- CN105163093B CN105163093B CN201510645326.4A CN201510645326A CN105163093B CN 105163093 B CN105163093 B CN 105163093B CN 201510645326 A CN201510645326 A CN 201510645326A CN 105163093 B CN105163093 B CN 105163093B
- Authority
- CN
- China
- Prior art keywords
- video
- macro block
- frame
- avs
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 52
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 40
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种面向AVS监控档的压缩域视频摘要提取方法，属于计算机视觉处理技术领域；包括以下步骤：首先提取AVS码流中的背景帧，对码流中的运动向量(MV)进行分析，提取前景运动宏块；然后跟踪前景宏块，得到有效的运动目标轨迹；最后重新组合运动目标轨迹，与背景帧相结合生成摘要视频。对比现有技术，应用本发明方法能够提高处理速度，生成可被AVS码流播放器播放的摘要视频码流文件，提高原视频的利用效率。
Description
技术领域：
本发明涉及一种面向AVS监控档的压缩域视频摘要提取方法及装置，属于计算机视觉处理技术领域。
背景技术：
由于监控视频有数据量大、非结构化的特点，原始监控视频数据难以有效利用，视频摘要是有效利用监控视频的重要手段之一。视频摘要(Video Synopsis)将原始视频处理成一段简短的视频，保留了原始视频的内容。主流的监控视频摘要方法集中在像素域上。虽然像素域的方法较好，但是需要视频流的完全解码，计算复杂度高。因此在压缩域下直接提取视频信息生成监控视频摘要，更适合实际需求。近年来压缩域下的视频摘要研究主要集中在关键帧方法上，该方法会损失非关键帧中运动的信息。
此外，基于主流的视频编码(如：MPEG-2、H264等)，有不少压缩域的研究工作，例如目标识别、运动分割、运动跟踪等等，能够提取运动信息，但不能生成视频摘要。由于这些视频编码中的相邻帧间存在相互参考关系，难以修改，因此不能生成视频摘要。
发明内容：
本发明的目的是针对像素域监控视频摘要方法计算复杂度高、压缩域视频摘要方法损失非关键帧中的运动信息以及主流的视频编码不能生成视频摘要的现状，提出了一种面向AVS(数字音视频编解码标准)监控档视频的压缩域视频摘要提取方法，直接在压缩域下提取AVS监控档的运动信息合成监控摘要视频，生成的摘要视频是一段符合AVS监控档标准的视频，能被AVS播放器播放。
AVS是中国自主制订的数字电视、IPTV等音视频系统的基础性标准。为了解决监控视频应用中，监控视频存在存储时间长、存储代价大等特点，AVS制订了面向安防监控视频应用的延伸档次，该档次的标准提出了背景帧，利于修改视频帧。
本发明的主要处理目标是无背景明显变化的AVS监控档次的视频。
本发明的思想是针对AVS监控档视频的特点，分析视频帧中的运动信息，计算运动目标轨迹，重新组合并最终合成符合AVS监控档标准的摘要视频。
本发明的目的是通过以下技术方案实现的：
一种面向AVS监控档的压缩域视频摘要提取方法，该方法包括以下步骤：
步骤一、AVS解析；从AVS监控档的视频(原视频)中提取背景信息及运动信息，具体解析方式如下：
步骤1.1在AVS监控档的视频中提取每一帧的帧类型信息；
步骤1.2提取其中的背景帧作为背景信息；
步骤1.3提取视频帧中的运动信息；
步骤二、运动目标轨迹提取，具体通过以下步骤计算得到；
步骤2.1根据步骤1.3中得到的运动信息，对每一帧分别计算出现运动目标的区域；
步骤2.2在压缩域下做运动目标的跟踪，建立每一帧的出现运动目标的区域与前一帧出现运动目标的区域的对应关系，形成运动目标轨迹集合；
步骤2.3根据跟踪的结果，将运动目标轨迹中包含的宏块标记为前景宏块，其余宏块标记为背景宏块；
步骤三、监控视频摘要合成，具体通过以下步骤计算得到：
步骤3.1重组运动目标轨迹，在对应上每帧的帧类型且没有前景宏块冲突的前提下，从步骤2.2中得到的运动轨迹集合中，遍历每条运动轨迹，平移每条运动轨迹的时序再添加入新运动轨迹集合中；保证新运动轨迹集合更为紧凑，且其中任何两条运动轨迹间不存在前景宏块遮挡情况；
步骤3.2准备一个空的视频，复制原视频的第一个片段的视频帧到摘要视频中的第一个片段中，复制背景帧到摘要视频的第二个片段的第一帧，其余背景帧根据摘要视频的长度、原视频中背景帧出现的频度，在需要时复制相对应的背景帧；
步骤3.3根据步骤3.1计算得到的新运动目标轨迹集合，统计其中前景宏块最后出现的时序位置，得到摘要视频的长度，将前景宏块、背景宏块写入摘要视频中，写入方式分三个方面分别写入：
(1)保留部分位流：复制原视频中的部分位流到摘要视频的相应位置，例如背景帧位流、视频帧的图像头等；
(2)前景宏块：直接从原视频中复制宏块编码位流到摘要视频的相对位置；
(3)背景宏块：根据帧类型的不同将预先分别准备的一段宏块编码位流写入摘要视频中，这段位流令背景宏块参考背景帧的对应位置，使得背景宏块解码后的图像与背景帧对应位置相同。
一种基于AVS监控档的压缩域视频摘要提取装置，包括AVS解析模块、运动目标轨迹提取模块与摘要视频合成模块；其中AVS解析模块分别与运动目标轨迹提取模块与摘要视频合成模块相连，运动目标轨迹提取模块与摘要视频合成模块相连；
所述AVS解析模块用于从AVS监控档的视频中提取背景信息及运动信息；
所述运动目标轨迹提取模块用于从AVS解析模块得到的运动信息中提取运动目标轨迹；
所述摘要视频合成模块用于将背景帧与运动目标轨迹合成得到摘要视频。
有益效果：
对比现有技术，本发明方法能够准确提取监控视频摘要，提高提取速度，降低监控视频摘要成本。
附图说明：
图1为本发明实施例一种AVS监控档视频位流结构示意图；
图2为本发明实施例一种运动轨迹提取过程流程示意图；
图3为本发明实施例一种面向AVS监控档的压缩域视频摘要提取方法流程示意图；
图4为本发明实施例的结果示意图，从(a)到(d)依次为原视频中第一个出现的人、原视频中第二个出现的人、摘要视频中同时播放前两个人、摘要视频中同时播放后两个人。
具体实施方式：
下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
实施例1
根据AVS监控档的视频标准，一段视频的编码编码结构如图1所示。AVS监控档的视频由多个片段构成，每个片段是由多个组构成，每个组的第一帧为G帧或者S帧，其余帧为P帧或者B帧。每个片段包含且仅包含一帧G帧作为第一帧。每个片段中都包含一个长度相同的训练集，训练下一个片段中的G帧。除了片段0中的G帧正常解码播放以外，其它的G帧都是背景帧，解码但不播放。
本发明的输入视频只需满足AVS监控档的编码标准即可，并不局限于如何转码得到，也不局限于视频编码的一些属性；因此下面以数据库CAVIAR的OneStopEnter2front视频(地址：http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/)为例说明摘要视频的提取过程。由于该视频是mpg格式的，需要转码成AVS监控档的视频才能处理，因此本实施例中使用工具ffmpeg(工具网址：http://www.ffmpeg.org/)和AVS监控档的样例程序编解码工具SM2_1.6(下载地址：ftp://124.207.250.92/)处理得到输入视频。在本实施例中，输入视频有如下属性：训练集长度是300，片段长度为3000，每30帧为一组且第一帧为G帧或S帧，视频中不编码B帧。
一种面向AVS监控档的压缩域视频摘要提取方法，具体步骤如下：
步骤一、AVS解析；从AVS监控档的视频中提取背景信息及运动信息，作为优选，定义运动信息是由视频帧中的宏块区域代表，这些宏块称为前景宏块，由分析运动向量(MV)得到，具体解析方式如下：
步骤1.1在AVS监控档的视频中提取每一帧的帧类型信息；根据AVS监控档视频的标准，每一帧视频的图像头中包含帧类型信息，分析本实施例的输入视频得到：第0、300、3300等帧为G帧，第30、60、90…270、330、360等帧为S帧，其余为P帧。
步骤1.2提取其中的背景帧作为背景信息。根据AVS监控档视频的标准，除第0帧以外的G帧为背景帧，即第300、3300等帧为背景帧。这里提取第300帧数据作为背景信息；
步骤1.3提取视频帧中的运动信息，具体通过如下方式提取：
步骤1.3.1在AVS监控档的位流中提取MV信息。根据AVS监控档视频的标准，P帧中任意块都包括MV，块的分类有四种：16×16、16×8、8×16、8×8，为方便计算。本实施例中将视频帧按照8×8划分，每个块称为子宏块，其MV与所属的块相同。
根据AVS监控档视频的标准，S帧不包含MV信息，S帧的MV需要通过相邻P帧估算得到。记：mvm，t是在视频中第t帧、位置m的子宏块的MV，即一个二元向量。那么，在S帧中宏块的MV按照如下公式计算得到：
步骤1.3.2计算AVS视频中每一个子宏块的前景概率。子宏块的前景概率有三个分量，分别是运动向量场概率分量、MV映射概率分量、运动目标映射概率分量。记：在视频中第t帧、位置m的子宏块的前景概率为pm，t，由如下过程计算：
(1)通过以下步骤计算运动向量场概率分量：
其中，是运动向量场概率分量；作为优选，T1＝0.4，T2＝0.8；
(2)MV映射概率分量。每个子宏块都可以通过自身的坐标与其MV的二元向量叠加，从而映射到前一帧的某个位置，记为MV映射。
保留前一帧每个子宏块的前景概率，则当前帧的子宏块的前景概率与其MV映射后的前一帧区域的前景概率成正比。通过以下步骤计算MV映射概率分量
其中，L为一帧子宏块全体位置的集合，h(m1，m2)是两个8×8子块m1和m2的相交区域面积，f(m)是子宏块位置m经过MV映射后得到的位置，α是MV映射概率分量的权重；作为优选，α取0.4；
(3)通过以下步骤计算运动目标映射概率分量：
通过去除一定区域内MV的噪声得到一个更精确的前后帧之间的映射关系。作为优选，使用八连通区域计算视频第t帧中MV大于1的子宏块连通区域，使用Ransac算法处理每个连通区域内的MV得到映射的单映矩阵H，这里使用OpenCV的库函数计算(网址：http:// opencv.org/)；
对于在连通区域内位置为m的宏块，利用其中心坐标和H相乘可以计算映射到的前一帧中8×8区域，这里记做运动目标映射，用符号g(m)表示映射到的区域；
然后，计算目标映射概率分量：
其中，β是运动目标映射概率的权重，作为优选，β＝0.4；
综上，将三种概率分量求和，得到子宏块的前景概率pm，t：
为保证pm，t在0～1之间，若pm，t>1，则令pm，t取1。
步骤1.3.3根据子宏块前景概率判别所属的宏块是否是前景，若宏块包括的任意一个子宏块前景概率pm，t≥T，则其为前景宏块，反之，则为背景宏块；作为优选，T＝0.8；
步骤二、运动目标轨迹提取；作为优选，运动目标轨迹是由连续多帧中的多个宏块连通区域组成，具体通过以下步骤计算得到；流程如图2所示；
步骤2.1根据步骤1.3.3中得到的前景宏块划分信息，即运动信息，对每一帧分别计算出现运动目标的区域；作为优选，使用八连通算法，计算每一帧前景宏块的连通区域，即出现运动目标的区域；
步骤2.2使用步骤2.1中得到的所有前景宏块的连通区域，在压缩域下做运动目标的跟踪，建立每一帧的前景宏块连通区域与前一帧前景宏块连通区域的对应关系，形成运动目标轨迹；作为优选，使用1.3.2中(2)的MV映射及(3)的运动目标映射的方式跟踪；具体通过以下步骤得到运动目标轨迹：
初始化运动轨迹集合为空，顺序处理视频帧。对于每一帧视频，遍历所有前景宏块连通区域，对每一个前景宏块的连通区域使用1.3.2中(2)的MV映射及(3)的运动目标映射的方式，确定其与前一帧之间前景宏块连通区域间的映射关系，标记当前帧的前景宏块连通区域所属的运动目标轨迹，这里分为四种情况分别处理：
(1)当前帧的单个连通区域映射到前一帧多个运动轨迹，将这些运动轨迹合并；
(2)当前帧多个连通区域映射到前一帧单个运动轨迹，将这些连通区域合并；
(3)当前帧不存在能映射到前一帧某运动轨迹的连通区域，即目标消失，截断运动轨迹；
(4)当前帧的连通区域不能映射到前一帧任何运动轨迹，即目标出现，增加新运动轨迹；
步骤2.3根据跟踪的结果，重新标记宏块的前景、背景分类，将运动目标轨迹中包含的宏块标记为前景宏块，其余宏块标记为背景宏块；同时，在运动轨迹中记录一些辅助信息：每一个前景宏块所属的视频帧位置及帧类型。
步骤三、监控视频摘要合成，具体通过以下步骤计算得到；
步骤3.1重新组合运动目标轨迹。根据步骤2.2中的运动轨迹集合及步骤2.3中的辅助信息，新建一个运动轨迹组合，并置为空。遍历原运动轨迹集合，对每一条运动轨迹重新确定出现的位置，具体为：在保证新的轨迹集合中每条运动目标轨迹的各种类型的帧能够相互对应的前提下，顺序向新的轨迹集合中依次添加运动轨迹，每次添加运动轨迹时枚举所有可能添加的位置，并判断是否和新的轨迹集合存在前景块冲突，选择其中时序位置最靠近开始位置且没有任何前景块冲突的位置添加；即：
根据步骤2.2中的跟踪方式，可以确定每一条运动目标轨迹在原视频中的位置是连续的，记为：[t1，t2]，在平移运动目标轨迹时，遍历新的时序位置[t′1，t′2]，为保证视频帧的对应，时序关系应满足如下等式：
其中，lstart是开始到第一帧背景帧的长度，lgroup为一组视频帧的长度，根据本实施例的输入视频及步骤1.1可以得到lstart、lgroup在本实施例中取值300、30。
为了保证新的运动目标轨迹集合更加紧凑，遍历运动轨迹时序位置时，需要按照时序位置从小到大遍历，同时，每次遍历时需要判断平移后的运动目标轨迹与新的运动目标轨迹集合是否存在前景宏块的冲突。只有在没有任何前景宏块冲突的情况下，才可以将平移后的运动目标轨迹添加入新的运动目标轨迹集合。
这样，通过遍历原运动目标轨迹集合，可以计算得到新的运动目标轨迹集合；
步骤3.2准备一个空的视频，复制原视频的第一个片段的视频帧到摘要视频中的第一个片段中，复制背景帧到摘要视频的第二个片段的第一帧，其余背景帧根据摘要视频的长度、原视频中背景帧出现的频度，在需要时复制相对应的背景帧；
步骤3.3根据步骤3.1计算得到的新运动目标轨迹集合，统计其中前景宏块最后出现的时序位置，得到摘要视频的长度，将前景宏块、背景宏块写入摘要视频中，根据步骤3.2处理背景帧之后的视频帧，写入方式分三个方面分别写入：
(1)保留位流。复制需要使用的背景帧到生成的摘要视频的相应位置；对于每一帧视频，保留原视频对应视频帧的除宏块编码位流之外所有部分；
(2)前景宏块，直接从原视频中复制对应的宏块编码的位流，根据步骤3.1计算得到的新运动目标轨迹集合中的位置写入摘要视频中；
(3)背景宏块，根据AVS监控档视频的编码标准，在摘要视频中写入位流，使得宏块只参考背景宏块。在本实施例中，S帧的背景宏块位流为“1”，P帧的背景宏块位流为“01001111”；
通过以上步骤便可以将原视频在压缩域下转换为摘要视频。
一种基于AVS监控档的压缩域视频摘要提取装置，如图3所示，包括AVS解析模块、运动目标轨迹提取模块与摘要视频合成模块；其中AVS解析模块分别与运动目标轨迹提取模块和摘要视频合成模块相连，运动目标轨迹提取模块与摘要视频合成模块相连；
AVS解析模块用于提取AVS视频中的背景信息与运动信息，这里运动信息主要指AVS视频中各个宏块是前景宏块还是背景宏块；
运动目标轨迹提取模块用于从前景宏块中提取运动目标轨迹；
监控摘要视频合成模块用于将原视频中的运动目标轨迹合成新的摘要视频。
实验结果
如图4所示为应用本发明实施例1所述方法的原视频、摘要视频截图，图4(a)和图4(b)是原视频中的行人，图4(c)和图4(d)是生成后的摘要视频。原视频中包括三个运动的行人，分别在不同的时刻出现，本发明装置将不同时间段出现的行人平移到同一时间段内，去除了视频中冗余的信息，达到了快速浏览原视频信息的目的。其中，原视频是2100帧，生成的摘要视频是621帧。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种面向AVS监控档的压缩域视频摘要提取方法，其特征在于，包括以下步骤：
步骤一、AVS解析；从AVS监控档的视频中提取背景信息及运动信息，具体解析方式如下：
步骤1.1在AVS监控档的视频中提取每一帧的帧类型信息；
步骤1.2提取其中的背景帧作为背景信息；
步骤1.3提取视频帧中的运动信息；
步骤二、运动目标轨迹提取，具体通过以下步骤计算得到；
步骤2.1根据步骤1.3中得到的运动信息，对每一帧分别计算单个运动目标的出现区域；
步骤2.2使用步骤2.1中得到的所有前景宏块的连通区域，在压缩域下做运动目标的跟踪，建立每一帧的运动目标与前一帧运动目标的对应关系，形成运动目标轨迹；
步骤2.3根据跟踪的结果，将运动目标轨迹中包含的宏块标记为前景宏块，其余宏块标记为背景宏块；
步骤三、监控视频摘要合成，具体通过以下步骤计算得到；
步骤3.1重组运动目标轨迹，在对应上每帧的帧类型且没有前景宏块冲突的前提下，从步骤2.2中得到的运动轨迹集合中，遍历每条运动轨迹，平移每条运动轨迹的时序再添加入新运动轨迹集合中，保证新运动轨迹集合更为紧凑，且其中任何两条运动轨迹间不存在前景宏块遮挡情况；
步骤3.2复制原视频第一个片段的位流到摘要视频中的第一个片段中，复制背景帧到摘要视频的第二个片段的第一帧；其余背景帧根据摘要视频的长度、原视频中背景帧出现的频度，在需要时复制相对应的背景帧；
步骤3.3根据步骤3.1计算得到的新运动目标轨迹集合，将前景宏块、背景宏块写入摘要视频中，写入方式分三个方面分别写入：
(1)保留部分位流：复制原视频中的部分位流到摘要视频的相应位置；
(2)前景宏块：直接从原视频中复制宏块编码位流到摘要视频的相对位置；
(3)背景宏块：根据帧类型的不同将预先分别准备的一段宏块编码位流写入摘要视频中；
所述步骤1.3进一步通过以下步骤提取视频帧中的运动信息：
步骤1.3.1在AVS监控档的码流中提取MV信息；
对于不包含MV信息的S帧，其MV信息通过与其前后相邻的P帧估算得到；
步骤1.3.2计算AVS码流中每一个子宏块的前景概率；
子宏块的前景概率有三个分量，分别是运动向量场概率分量、MV映射概率分量、运动目标映射概率分量；记：在视频中第t帧、位置m的子宏块的前景概率为pm，t，由如下过程计算：
(1)通过以下步骤计算运动向量场概率分量：
<mrow>
<msubsup>
<mi>p</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mi>a</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>mv</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>=</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>mv</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>=</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>T</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>mv</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>&GreaterEqual;</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，是m的运动向量场概率分量；
(2)每个子宏块都可以通过自身的坐标与其MV的二元向量叠加，从而映射到前一帧的某个位置，记为MV映射；
保留前一帧每个子宏块的前景概率，则当前帧的子宏块的前景概率与其MV映射后的前一帧区域的前景概率成正比，通过下述公式计算MV映射概率分量：
<mrow>
<msubsup>
<mi>p</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mi>b</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mi>&alpha;</mi>
<mn>64</mn>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>L</mi>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mi>h</mi>
<mo>(</mo>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中，L为子宏块的集合，h(m1，m2)是两个8×8子块m1和m2的相交区域面积，f(m)是子宏块位置m经过MV映射后得到的位置，α是MV映射概率分量的权重，是MV映射概率分量；
(3)通过以下步骤计算运动目标映射概率分量：
首先，通过去除一定区域内MV的噪声得到该区域一个更精确的前后帧之间的映射关系；根据映射关系，计算位置为m的子宏块映射到的区域，这里记做运动目标映射，用符号g(m)表示映射到的区域；
然后计算目标映射概率分量：
<mrow>
<msubsup>
<mi>p</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mi>c</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mi>&beta;</mi>
<mn>64</mn>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>L</mi>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mi>h</mi>
<mo>(</mo>
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中，β是运动目标映射概率的权重；
将三种概率分量求和，得到子宏块的前景概率pm，t：
<mrow>
<msub>
<mi>p</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<msubsup>
<mi>p</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mi>a</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>p</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mi>b</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>p</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mi>c</mi>
</msubsup>
</mrow>
为保证pm，t在0～1之间，若pm，t>1，则令pm，t取1；
步骤1.3.3根据子宏块前景概率判别宏块是否是前景，若宏块包括任意一个子宏块前景概率pm，t≥T，则其为前景宏块，反之，则为背景宏块；其中，T为预设的前景阈值。
2.根据权利要求1所述的一种面向AVS监控档的压缩域视频摘要提取方法，其特征在于：T1＝0.4，T2＝0.8，α＝0.4，β＝0.4。
3.根据权利要求1所述的一种面向AVS监控档的压缩域视频摘要提取方法，其特征在于：T＝0.8。
4.根据权利要求1所述的一种面向AVS监控档的压缩域视频摘要提取方法，其特征在于：所述步骤1.3.2中(3)通过如下步骤计算第t帧中位置为m的子宏块的运动目标映射：
首先，使用八连通区域计算视频第t帧中MV不为0的子宏块连通区域；
然后，使用Ransac算法处理每个连通区域内的MV得到映射的单映矩阵H；
这时，对于在连通区域内位置为m的宏块，利用其中心坐标和H相乘可以计算映射到的前一帧中8×8区域，即g(m)。
5.根据权利要求1-4任一所述的一种面向AVS监控档的压缩域视频摘要提取方法，其特征在于：所述步骤2.2进一步通过以下步骤获取运动目标轨迹：
初始化运动轨迹集合为空，顺序处理视频帧，对于每一帧视频，遍历所有前景宏块连通区域，对每一个前景宏块的连通区域使用MV映射及运动目标映射的方式，确定其与前一帧之间前景宏块连通区域间的映射关系，标记当前帧前景宏块连通区域所属的运动目标轨迹，这里分为四种情况分别处理：
(1)当前帧的单个连通区域映射到前一帧多个运动轨迹，将这些运动轨迹合并；
(2)当前帧多个连通区域映射到前一帧单个运动轨迹，将这些连通区域合并；
(3)当前帧不存在能映射到前一帧某运动轨迹的连通区域，即目标消失，截断运动轨迹；
(4)当前帧的连通区域不能映射到前一帧任何运动轨迹，即目标出现，增加新运动轨迹。
6.根据权利要求1所述的一种面向AVS监控档的压缩域视频摘要提取方法，其特征在于：所述步骤2.1进一步通过使用八连通算法，计算每一帧前景宏块的连通区域，即单个运动目标的出现区域。
7.根据权利要求1-4或6任一所述的一种面向AVS监控档的压缩域视频摘要提取方法，其特征在于：所述步骤3.1进一步通过以下步骤重新组合运动目标轨迹：
在保证新的轨迹集合中每条运动目标轨迹的各种类型的帧能够相互对应的前提下，顺序向新的轨迹集合中依次添加运动轨迹，每次添加运动轨迹时枚举所有可能添加的位置，并判断是否和新的轨迹集合存在前景块冲突，选择其中时序位置最靠近开始位置且没有任何前景块冲突的位置添加。
8.一种基于AVS监控档的压缩域视频摘要提取装置，其特征在于：包括AVS解析模块、运动目标轨迹提取模块与摘要视频合成模块；其中AVS解析模块分别与运动目标轨迹提取模块和摘要视频合成模块相连，运动目标轨迹提取模块与摘要视频合成模块相连；
AVS解析模块用于提取AVS视频中的背景信息与运动信息，这里运动信息主要指AVS视频中各个宏块是前景宏块还是背景宏块；
运动目标轨迹提取模块用于从前景宏块中提取运动目标轨迹；
监控摘要视频合成模块用于将原视频中的运动目标轨迹合成新的摘要视频；
所述AVS解析模块采用权利要求1所述步骤一过程提取AVS视频中的背景信息与运动信息；所述运动目标轨迹提取模块采用权利要求1所述步骤二过程提取运动目标轨迹；所述监控摘要视频合成模块采用权利要求1所述步骤三过程生成摘要视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510645326.4A CN105163093B (zh) | 2015-10-08 | 2015-10-08 | 一种面向avs监控档的压缩域视频摘要提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510645326.4A CN105163093B (zh) | 2015-10-08 | 2015-10-08 | 一种面向avs监控档的压缩域视频摘要提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105163093A CN105163093A (zh) | 2015-12-16 |
| CN105163093B true CN105163093B (zh) | 2018-01-12 |
Family
ID=54803835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510645326.4A Expired - Fee Related CN105163093B (zh) | 2015-10-08 | 2015-10-08 | 一种面向avs监控档的压缩域视频摘要提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105163093B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101805018B1 (ko) * | 2016-07-08 | 2017-12-06 | 한양대학교 산학협력단 | 컴팩트 비디오 생성 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
| CN106385562B (zh) * | 2016-09-23 | 2019-06-11 | 浙江宇视科技有限公司 | 一种视频摘要生成方法、装置及视频监控系统 |
| JP6995083B2 (ja) * | 2019-05-15 | 2022-01-14 | Kddi株式会社 | 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法 |
| CN112312043A (zh) * | 2020-10-20 | 2021-02-02 | 深圳市前海手绘科技文化有限公司 | 一种动画视频导出的优化方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395029A (zh) * | 2011-11-05 | 2012-03-28 | 江苏物联网研究发展中心 | 一种支持视频可伸缩浏览的视频编解码方法和装置 |
| CN103826125A (zh) * | 2014-01-20 | 2014-05-28 | 北京创鑫汇智科技发展有限责任公司 | 用于已压缩监控视频的浓缩分析方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001041451A1 (en) * | 1999-11-29 | 2001-06-07 | Sony Corporation | Video/audio signal processing method and video/audio signal processing apparatus |
-
2015
- 2015-10-08 CN CN201510645326.4A patent/CN105163093B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395029A (zh) * | 2011-11-05 | 2012-03-28 | 江苏物联网研究发展中心 | 一种支持视频可伸缩浏览的视频编解码方法和装置 |
| CN103826125A (zh) * | 2014-01-20 | 2014-05-28 | 北京创鑫汇智科技发展有限责任公司 | 用于已压缩监控视频的浓缩分析方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 视频摘要技术综述;王娟；蒋兴浩；孙锬锋;《中国图象图形学报》;20141231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105163093A (zh) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| VR | An enhanced coding algorithm for efficient video coding | |
| Li et al. | Efficient violence detection using 3d convolutional neural networks | |
| CN105163093B (zh) | 一种面向avs监控档的压缩域视频摘要提取方法及装置 | |
| CN101409831B (zh) | 一种多媒体视频对象处理方法 | |
| TW454158B (en) | Apparatus and method for describing the motion parameters of an object in an image sequence | |
| Shi et al. | A fast and robust key frame extraction method for video copyright protection | |
| Amel et al. | Video shot boundary detection using motion activity descriptor | |
| CN101651837B (zh) | 一种基于帧间预测误差直方图修改的可逆视频水印方法 | |
| CN103618900B (zh) | 基于编码信息的视频感兴趣区域提取方法 | |
| CN105049875B (zh) | 一种基于混合特征与突变检测的精确关键帧提取方法 | |
| CN102724492B (zh) | 视频图像传输、播放方法和系统 | |
| CN104837031B (zh) | 一种高速自适应提取视频关键帧的方法 | |
| CN103402087A (zh) | 一种基于可分级位流的视频编解码方法 | |
| CN103179402A (zh) | 一种视频压缩编码与解码方法及其装置 | |
| CN114363623A (zh) | 图像处理方法、装置、介质及电子设备 | |
| CN108200432A (zh) | 一种基于视频压缩域的目标跟踪技术 | |
| Kim et al. | Retrieval of news video using video sequence matching | |
| KR101668930B1 (ko) | 비디오 분석 인코딩 | |
| CN1926879A (zh) | 视频信号编码器、视频信号处理器、视频信号分发系统及其操作方法 | |
| Ma et al. | Surveillance video coding with vehicle library | |
| Bloom et al. | Player tracking and stroke recognition in tennis video | |
| KR102430177B1 (ko) | 대규모 동영상 고속 관리 시스템 및 그 방법 | |
| KR100361939B1 (ko) | 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 | |
| Su et al. | A novel source mpeg-2 video identification algorithm | |
| CN112861698A (zh) | 一种基于多尺度时序感受野的压缩域行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180112 Termination date: 20191008 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |