CN103678299A - 一种监控视频摘要的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种监控视频摘要的方法及装置，对监控视频每一帧的前景进行过滤，定位运动目标；对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况或者通过特定事件检测来确定当前帧是否为关键运动帧；对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要。本发明涉及图像处理技术领域，解决了现有技术中在海量的视频数据中无法定位关键事件发生前后相关的帧，不能准确及时的获得关键的视频数据信息的问题。

Description

一种监控视频摘要的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种监控视频摘要的方法及装置。

背景技术

随着科技的发展和人们安全意识的加强，公共场所中安装用于监控的摄像头的数量急剧上升。这些摄像头每天24小时不停地工作，录制了大量的视频数据。

由于监控人力资源的局限性以及人类自身的弱点，在监控时不可能完全及时发现视频中存在的隐患，因而需要事后对视频进行浏览和分析。然而，对海量视频数据的浏览是一件十分耗费时间和精力的事情，这也导致了绝大部分监控视频在录制后从来都没有被浏览或审查过。如何快速完整地浏览冗长的监控视频，成了目前监控行业的迫切需求。

监控视频摘要是一种视频压缩技术，它能够提供比原始视频短得多的视频，达到快速浏览但又不丢失活动信息的目的。

现有技术中，监控视频摘要主要通过下述两种方式实现：第一种方式是基于帧差的监控视频摘要。这种方法主要使用帧差法进行运动目标检测，只要视频中存在运动的目标就将其保存，最后形成视频摘要。这种方式的主要缺点是视频的压缩率不高，并且没有对关键事件进行检测；第二种方式是基于运动目标时空变换的视频摘要方法。此方法能够提取出不同时刻的运动目标并将其融合到同一帧中，这样虽然可以大大提高摘要的压缩率，但是可视性差，并且也没有对关键事件进行检测。上述两种监控视频摘要的方法都依赖于运动目标检测，目前有很多方法可以实时实现运动目标检测，如：GMM算法、Codebook算法、Vibe算法等，但上述方法都存在海量的视频数据中无法定位关键事件发生前后相关的帧，不能准确及时的获得关键的视频数据信息的问题。

发明内容

本发明实施例提供了一种监控视频摘要的方法及装置，用以解决现有技术中在海量的视频数据中无法定位关键事件发生前后相关的帧，不能准确及时的获得关键的视频数据信息的问题。

基于上述问题，本发明实施例提供的一种监控视频摘要的方法，包括：

对监控视频每一帧的前景进行过滤，定位运动目标；

对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况或者通过特定事件检测来确定当前帧是否为关键运动帧；

对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要。

本发明实施例提供的一种监控视频摘要的装置，包括：

过滤模块，用于对监控视频每一帧的前景进行过滤，定位运动目标；

关键运动帧确定模块，用于对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况或者通过特定事件检测来确定当前帧是否为关键运动帧；

抽帧模块，用于对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要。

本发明实施例的有益效果包括：

本发明实施例提供的一种监控视频摘要的方法及装置，对监控视频的每一帧的前景进行过滤，得到最终运动目标；再对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况，或者通过特定事件检测来确定当前帧是否为关键运动帧，对确定出来的关键运动帧前后的帧分别进行抽帧，所抽的帧与关键运动帧一起形成视频摘要。本发明实施例通过帧与帧中运动目标的关联情况或特定事件的检测来实现对运动关键帧的检测，并对关键运动帧前后进行抽帧操作形成视频摘要，关注跟上一帧相比变化较大的当前帧，对关键事件的定位准确，并保留了关键事件发生前后的关联信息，使得形成的视频摘要压缩效果好，解决了现有技术中在海量的视频数据中无法定位关键事件发生前后相关的帧，不能准确及时的获得关键的视频数据信息的问题。

附图说明

图1为本发明实施例提供的一种监控视频摘要的方法的流程图；

图2为本发明实施例提供的通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况确定当前帧是否为关键运动帧的方法流程图；

图3为本发明实施例提供的一种监控视频摘要的装置的结构图。

具体实施方式

下面结合说明书附图，对本发明实施例提供的一种监控视频摘要的方法及装置的具体实施方式进行说明。

本发明实施例提供的一种监控视频摘要的方法，如图1所示，这里为了介绍的时候概念更加清楚，将当前帧中的运动目标称为第一运动目标，将上一帧中的运动目标称为第二运动目标，具体包括以下步骤：

S101、对监控视频每一帧的前景进行过滤，定位运动目标；

S102、对经过步骤S101过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况或者通过特定事件检测来确定当前帧是否为关键运动帧；

S103、对步骤S102中确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要。

进一步地，在步骤S102中，运动目标关联情况可以包括：当前帧中的每一个第一运动目标与上一帧中的第二运动目标相比是否有新的第一运动目标出现、第一运动目标消失、第一运动目标合并、第一运动目标分离、第一运动目标位移变化、第一运动目标形态变化等。如果没有新第一运动目标出现，也没有发生已有第一运动目标消失、合并、分离，并且第一运动目标本身的位移和形态没有太大的改变，则可以表明当前帧为非关键运动帧，否则当前帧为关键运动帧。

在步骤S102中，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况确定当前帧是否为关键运动帧，如图2所示，对每一帧来说，其确定的过程可以包括下述步骤：

S201、检测当前帧中第一运动目标的总数与上一帧中第二运动目标总数是否相同，若不同，则执行步骤S207，否则，执行下述步骤S202；

S202、依次对当前帧中每个第一运动目标，判断是否存在与该第一运动目标相关联的第二运动目标，若不存在，则执行步骤S207，否则，执行下述步骤S203；

S203、进一步检测该第一运动目标相对其关联的第二运动目标位移变化是否满足条件一，该条件一具体为：该第一运动目标相对于其关联的第二运动目标的质心距离与该第二运动目标外接矩阵的对角线长度的比值大于等于预设阀值T3，若满足，则执行步骤S207，否则，执行下述步骤S204；

S204、进一步检测该第一运动目标相对其关联的第二运动目标形态变化是否满足条件二，该条件二具体为：该第一运动目标相对于其关联的第二运动目标的外接矩形的宽高比变化的绝对值与该第二运动目标的外接矩形的宽高比的比值大于等于预设阀值T4，若满足，则执行步骤S207，否则，执行下述步骤S205；

S205、判断当前帧中是否还存在未经过判断的第一运动目标，若是，则执行步骤S202，若否，则执行下述步骤S206；

S206、判断当前帧为非关键运动帧，当前帧判断结束；

S207、判断当前帧为关键运动帧，当前帧判断结束。

进一步地，在上述步骤S202中，对当前帧中某个第一运动目标，判断是否存在与该第一运动目标相关联的第二运动目标，具体步骤可以包括：对每一个第一运动目标，计算该第一运动目标与每一个第二运动目标之间的重叠面积与该第二运动目标的面积的比例S；并计算该第一运动目标与该第二运动目标的直方图相似程度H，若计算出的S大于预设阀值T1，并且计算出的H大于预设阀值T2，则确定该第一运动目标与该第二运动目标关联。

较佳地，上述判断两个运动目标的关联性时，所使用的直方图相似程度H可以通过巴氏距离来确定，巴氏距离为现有技术，这里不再赘述。判断过程中使用的预设阀值T1优选为0.1，预设阀值T2优选为0.7，其中预设阀值T1和T2的较佳取值的确定可经过多次测试得到。

较佳地，上述步骤S203和S204没有严格的执行顺序，可以先执行S203再执行S204，也可以先执行S204再执行S203，其中的预设阀值T3优选为0.5，预设阀值T4优选为0.2，其中的预设阀值T3和T4的较佳取值的确定可经过多次测试得到。

较佳地，上述步骤S204中运动目标的外接矩形的宽高比可以是宽/高的值，也可以是高/宽的值。

进一步地，在上述步骤S102中，通过特定事件检测来确定当前帧是否为关键运动帧，具体步骤可以包括：

若在当前帧中特定事件检测被触发，则确定该当前帧为关键运动帧；其中：特定事件检测可以为下述事件检测之一或任意组合：

入侵事件检测、拌线事件检测、烟雾事件检测、物品移动事件检测和群体事件检测等。上述事件检测的方法均为现有技术，此处不再赘述。

进一步地，在上述步骤S101中，对监控视频每一帧的前景进行过滤，定位运动目标，具体可以包括：

对前景去除零散的小目标（例如去掉一些噪声点）和连接分裂目标（例如对某个被挡住的目标进行连接还原），获得前景中所有完整的运动目标；计算每个完整的运动目标的面积，定位面积大于等于阀值T6的运动目标，也就是去掉面积小于T6的运动目标，其中T6=p*A，A为整个视频图像的面积，p为预设系数。

较佳地，预设系数p优选为0.0005，p取值的确定可经过多次测试得到。

较佳地，上述步骤中对前景去除零散的小目标和连接分裂目标可以使用中值滤波法对运动目标前景检测之后得到的二值图像进行滤波处理，上述步骤中计算运动目标的面积可以通过区域标记技术来实现，由于中值滤波法和区域标记技术为现有技术，此处不再赘述。

进一步地，在上述步骤S101对前景进行过滤之前，还包括步骤S104对视频图像进行前景检测获得前景。具体可以通过对监控视频图像进行背景训练建模，将建模的背景与每一帧进行比较得到每一帧的前景。

较佳地，前景检测的方法可以采用高斯混合模型前景检测法，或者对前K帧视频图像进行训练建立GMM背景模型，从K+1帧开始使用背景模型进行运动目标检测得到前景目标，K的取值范围建议1-500，优选值为100，其中K的取值的确定可经过多次测试得到。

进一步地，在上述步骤S104之前，还可以包括步骤S105对视频图像进行预处理的步骤，此处预处理的目的主要是为后续的运动目标检测做准备，预处理的过程可以包括：噪声去除、光照补偿、图像配准、图像尺寸变换等。

较佳地，可以采用5*5高斯平滑滤波器对视频图像进行平滑滤波去噪，然后判断待处理视频图像尺寸是否在规定范围内，此范围可以根据实时性要求进行设定，实时性可以保证视频的处理速度，如果不在此范围，则使用双线性插值算法缩小图像尺寸至规定范围。光照补偿主要用于去掉由于光照的影响造成的对运动目标的判断失误，图像配准主要用于去掉由于外界因素造成的视频图像的抖动。由于上述预处理操作的具体实施方式属于现有技术，这里不再赘述。

对上述步骤S103，对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要，具体可以包括：

对关键运动帧前后的帧，每隔N帧抽取出一帧，前后各抽取M个帧，将各抽取的M个帧与确定的关键运动帧一起形成视频摘要，这样对关键运动帧前后的信息进行了抽帧，能够使得监控视频摘要更加自然流畅并保证了信息的完整性；其中，N的取值范围[3,8]，优选取值为5，M的取值范围为[1,5]，优选取值为3。其中M和N的取值范围的确定是经过多次测试得到的经验值。

基于同一发明构思，本发明实施例还提供了一种监控视频摘要的装置，由于这些装置所解决问题的原理与前述监控视频摘要的方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。

本发明实施例提供了一种监控视频摘要的装置，如图3所示，包括：

过滤模块301，用于对监控视频每一帧的前景进行过滤，定位运动目标；

关键运动帧确定模块302，用于对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况或者通过特定事件检测来确定当前帧是否为关键运动帧；

抽帧模块303，用于对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要。

上述关键运动帧确定模块302，具体用于检测当前帧中第一运动目标的总数与上一帧中第二运动目标总数是否相同，若不同，则确定当前帧为关键运动帧，否则，进一步对每一个第一运动目标，判断是否存在与该第一运动目标相关联的第二运动目标，若存在至少一个第一运动目标，任一第二运动目标都不与之关联，则确定当前帧为关键运动帧，否则，进一步检测每一个第一运动目标相对其关联的第二运动目标位移变化和形态变化，若存在至少一个第一运动目标，其位移变化满足预设条件一，或者其形态变化满足预设条件二，则确定当前帧为关键运动帧；否则，确定当前帧为非关键运动帧；所述预设条件一为该第一运动目标相对于其关联的第二运动目标的质心距离与该第二运动目标外接矩阵的对角线长度的比值大于等于预设阀值T3；所述预设条件二为该第一运动目标相对于其关联的第二运动目标的外接矩形的宽高比变化的绝对值与该第二运动目标的外接矩形的宽高比的比值大于等于预设阀值T4；或者，若在当前帧中特定事件检测被触发，则确定该当前帧为关键运动帧；所述特定事件检测为下述事件检测之一或任意组合：入侵事件检测、拌线事件检测、烟雾事件检测、物品移动事件检测和群体事件检测。

上述关键运动帧确定模块302，进一步具体用于所述关键运动帧确定模块，具体用于对每一个第一运动目标，计算该第一运动目标与每一个第二运动目标之间的重叠面积与该第二运动目标的面积的比例S；并对每一个第一运动目标，计算该第一运动目标与每一个第二运动目标的直方图相似程度H；若计算出的S大于预设阀值T1，且计算出的H大于预设阀值T2，则确定该第一运动目标与该第二运动目标关联。

上述过滤模块301，具体用于对所述前景去除零散的小目标和连接分裂目标，获得所述前景中所有完整的运动目标；计算每个所述完整的运动目标的面积，定位面积大于等于阀值T6的运动目标，其中T6=p*A，A为整个视频图像的面积，p为预设系数。

上述抽帧模块303，具体用于对所述关键运动帧前后的帧，每隔N帧抽取出一帧，前后各抽取M个帧，将抽取的M个帧与所述关键运动帧形成视频摘要；其中，N的取值范围[3,8]，M的取值范围为[1,5]。

上述装置中，还包括前景检测模块304和预处理模块305，具体为：

前景检测模块304，用于对视频图像进行背景训练建模，将建模的背景与每一帧进行比较得到每一帧的前景。

预处理模块305，用于对视频图像进行预处理，所述预处理包括：噪声去除、图像尺寸变换、光照补偿以及图像配准。

本发明实施例提供的一种监控视频摘要的方法及装置，对监控视频的每一帧的前景进行过滤，得到最终运动目标；再对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况，或者通过特定事件检测来确定当前帧是否为关键运动帧，对确定出来的关键运动帧前后的帧分别进行抽帧，所抽的帧与关键运动帧一起形成视频摘要。本发明实施例通过帧与帧中运动目标的关联情况或特定事件的检测来实现对运动关键帧的检测，并对关键运动帧前后进行抽帧操作形成视频摘要，关注跟上一帧相比变化较大的当前帧，对关键事件的定位准确，并保留了关键事件发生前后的关联信息，使得形成的视频摘要压缩效果好，解决了现有技术中在海量的视频数据中无法定位关键事件发生前后相关的帧，不能准确及时的获得关键的视频数据信息的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种监控视频摘要的方法，其特征在于，包括：

对监控视频每一帧的前景进行过滤，定位运动目标；

对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况或者通过特定事件检测来确定当前帧是否为关键运动帧；

对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要。

2.如权利要求1所述的方法，其特征在于，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况确定当前帧是否为关键运动帧，包括：

检测当前帧中第一运动目标的总数与上一帧中第二运动目标总数是否相同，若不同，则确定当前帧为关键运动帧，否则

对每一个第一运动目标，判断是否存在与该第一运动目标相关联的第二运动目标，若存在至少一个第一运动目标，任一第二运动目标都不与之关联，则确定当前帧为关键运动帧，否则

检测每一个第一运动目标相对其关联的第二运动目标位移变化和形态变化，若存在至少一个第一运动目标，其位移变化满足预设条件一，或者其形态变化满足预设条件二，则确定当前帧为关键运动帧；否则，确定当前帧为非关键运动帧；

所述预设条件一为该第一运动目标相对于其关联的第二运动目标的质心距离与该第二运动目标外接矩阵的对角线长度的比值大于等于预设阀值T3；所述预设条件二为该第一运动目标相对于其关联的第二运动目标的外接矩形的宽高比变化的绝对值与该第二运动目标的外接矩形的宽高比的比值大于等于预设阀值T4。

3.如权利要求2所述的方法，其特征在于，对每一个第一运动目标，判断是否存在与该第一运动目标相关联的第二运动目标，具体包括：

对每一个第一运动目标，计算该第一运动目标与每一个第二运动目标之间的重叠面积与该第二运动目标的面积的比例S；

并对每一个第一运动目标，计算该第一运动目标与每一个第二运动目标的直方图相似程度H；

若计算出的S大于预设阀值T1，且计算出的H大于预设阀值T2，则确定该第一运动目标与该第二运动目标关联。

4.如权利要求1所述的方法，其特征在于，通过特定事件检测来确定关键运动帧，包括：

若在当前帧中特定事件检测被触发，则确定该当前帧为关键运动帧；所述特定事件检测为下述事件检测之一或任意组合：

入侵事件检测、拌线事件检测、烟雾事件检测、物品移动事件检测和群体事件检测。

5.如权利要求1所述的方法，其特征在于，对视频图像每一帧的前景进行过滤，定位运动目标，包括：

对所述前景去除零散的小目标和连接分裂目标，获得所述前景中所有完整的运动目标；

计算每个所述完整的运动目标的面积，定位面积大于等于阀值T6的运动目标，其中T6=p*A，A为整个视频图像的面积，p为预设系数。

6.如权利要求1所述的方法，其特征在于，视频图像的前景，通过下述方式检测出：

对监控视频图像进行背景训练建模，将建模的背景与每一帧进行比较得到每一帧的前景。

7.如权利要求1所述的方法，其特征在于，对视频图像进行前景检测之前，还包括：

对视频图像进行预处理，所述预处理包括：噪声去除、图像尺寸变换、光照补偿以及图像配准。

8.如权利要求1所述的方法，其特征在于，对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要，包括：

对所述关键运动帧前后的帧，每隔N帧抽取出一帧，前后各抽取M个帧，将抽取的2M个帧与所述关键运动帧形成视频摘要。

9.一种监控视频摘要的装置，其特征在于，包括：

过滤模块，用于对监控视频每一帧的前景进行过滤，定位运动目标；

关键运动帧确定模块，用于对经过过滤的每一帧，通过检测当前帧中的每一个第一运动目标与上一帧的第二运动目标的关联情况或者通过特定事件检测来确定当前帧是否为关键运动帧；

抽帧模块，用于对确定出的关键运动帧前后的帧分别进行抽帧，并将抽出的帧与所述关键运动帧形成视频摘要。

10.如权利要求9所述的装置，其特征在于，

所述关键运动帧确定模块，具体用于检测当前帧中第一运动目标的总数与上一帧中第二运动目标总数是否相同，若不同，则确定当前帧为关键运动帧，否则对每一个第一运动目标，判断是否存在与该第一运动目标相关联的第二运动目标，若存在至少一个第一运动目标，任一第二运动目标都不与之关联，则确定当前帧为关键运动帧，否则检测每一个第一运动目标相对其关联的第二运动目标位移变化和形态变化，若存在至少一个第一运动目标，其位移变化满足预设条件一，或者其形态变化满足预设条件二，则确定当前帧为关键运动帧；否则，确定当前帧为非关键运动帧；所述预设条件一为该第一运动目标相对于其关联的第二运动目标的质心距离与该第二运动目标外接矩阵的对角线长度的比值大于等于预设阀值T3；所述预设条件二为该第一运动目标相对于其关联的第二运动目标的外接矩形的宽高比变化的绝对值与该第二运动目标的外接矩形的宽高比的比值大于等于预设阀值T4；或者，若在当前帧中特定事件检测被触发，则确定该当前帧为关键运动帧；所述特定事件检测为下述事件检测之一或任意组合：入侵事件检测、拌线事件检测、烟雾事件检测、物品移动事件检测和群体事件检测。

11.如权利要求10所述的装置，其特征在于，

所述关键运动帧确定模块，具体用于对每一个第一运动目标，计算该第一运动目标与每一个第二运动目标之间的重叠面积与该第二运动目标的面积的比例S；并对每一个第一运动目标，计算该第一运动目标与每一个第二运动目标的直方图相似程度H；若计算出的S大于预设阀值T1，且计算出的H大于预设阀值T2，则确定该第一运动目标与该第二运动目标关联。

12.如权利要求9所述的装置，其特征在于，

所述过滤模块，具体用于对所述前景去除零散的小目标和连接分裂目标，获得所述前景中所有完整的运动目标；计算每个所述完整的运动目标的面积，定位面积大于等于阀值T6的运动目标，其中T6=p*A，A为整个视频图像的面积，p为预设系数。

13.如权利要求9所述的装置，其特征在于，还包括：

前景检测模块，用于对视频图像进行背景训练建模，将建模的背景与每一帧进行比较得到每一帧的前景。

14.如权利要求9所述的装置，其特征在于，还包括：

预处理模块，用于对视频图像进行预处理，所述预处理包括：噪声去除、图像尺寸变换、光照补偿以及图像配准。

15.如权利要求9所述的装置，其特征在于，

所述抽帧模块，具体用于对所述关键运动帧前后的帧，每隔N帧抽取出一帧，前后各抽取M个帧，将抽取的M个帧与所述关键运动帧形成视频摘要。

Images