CN102819528B - 生成视频摘要的方法和装置 - Google Patents

Abstract

本发明公开了生成视频摘要的方法和装置，通过视频流智能抓帧算法，获取关键帧；利用背景补偿算法将关键帧中的背景和对象进行提取与分类；根据对象的运动轨迹，基于时间轴分割成时间长度相仿的几段视频数据，重叠于相同时间长度的背景中，生成视频摘要。本发明以更少的存储空间，保存更多的历史视频数据。

Description

生成视频摘要的方法和装置

技术领域

本发明涉及图像通信、图像分析等领域，尤其涉及生成视频摘要的方法和装置。

背景技术

随着多媒体技术、视频采集技术、互联网应用的蓬勃兴起，视频监控、图像压缩编码与流媒体技术的逐步演变，使视频监控技术在日常生活中的应用越来越广泛。

图像业务应用面的扩展，使得视频监控已不仅仅局限于安全防范，而是成为一种对各行各业都行之有效的监督手段，其应用领域的灵活性也已经远远超出了传统的安防监控所定义的范畴。近两年来一种崭新概念的电信全球眼全数字化网络视频监控系统正在得到广泛应用。事实上视频监控一直是人们关注的应用技术热点，它以直观、方便、信息内容丰富等特点而被广泛应用于许多应用领域。

但是，广泛的视频图像业务应用的飞速发展，也带来了一系列亟待解决的关键问题。比如，如何对海量的视频信息进行保存与检索，如何有效地管理和使用这些数据，成了视频信息检索与压缩的关键问题。

现有的视频压缩技术，大多是从图像质量的角度对视频数据进行编码重构来实现压缩的。把视频数据从高质量的图像编码转变成较低质量的图像编码，虽然能从一定程度上压缩视频数据的大小，但却不可避免地会导致视频图像清晰度降低，从而丢失大量有效的图像信息。随着多媒体数据、高清视频的大量使用，单纯从图像质量、视频编解码的角度来对视频进行压缩，已越来越无法满足各种需求。

现有基于视频编解码压缩技术搭建的监控视频数据里，包含着大量的冗余、无效的场景信息。现有的视频编解码转换压缩技术、视频关键帧提取与查找技术，并不能有效地去除这些冗余信息。对绝大部分监控、回放或查找工作来说，这些冗余图像信息是可以忽略的。如果能从图像信息表达的角度，通过有效地去除冗余信息来实现真正的视频信息数据压缩，那将能极大地推动视频压缩技术的进步。

发明内容

鉴于以上，本发明所要解决的技术问题是提出生成视频摘要的方法和装置。

本发明提出生成视频摘要的装置，包括：

实时视频存储模块，将采集的视频图像保存为原始视频图像；

关键帧提取模块，根据各种场景下视频对象分布时间统计特性的标定值，来决定抓帧频率，根据该抓帧频率从原始视频图像中提取关键帧；

场景分析与对象摘要模块，建立场景背景的基础模型，对关键帧提取模块提取的关键帧进行对象检测，当检测到对象时，根据场景背景的基础模型初步提取对象，对已建立的场景背景的基础模型根据视频的变化进行现实场景的背景补偿，修改已提取的对象，记录各帧的对象图片、对应的时间值以及重心坐标，形成视频摘要信息数据库。

本发明还提出生成视频摘要的方法，包括：

采集视频图像并保存为原始视频图像；

根据各种场景下视频对象分布时间统计特性的标定值，来决定抓帧频率，根据该抓帧频率从原始视频图像中提取关键帧；

对提取的关键帧进行对象检测，当检测到对象时，根据已建立的场景背景的基础模型初步提取对象，对场景背景的基础模型根据视频的变化进行现实场景的背景补偿，修改已提取的对象；

记录各帧的对象图片、对应的时间值以及重心坐标，形成视频摘要信息数据库。

与现有技术相比，本发明可以根据场景灵活决定抓帧频率，将视频数据经过时间轴压缩及摘要，存储为结构紧凑的关键帧数据散列集合，去除视频数据里冗余信息，最大限度压缩与保留视频数据里的关键信息，节约视频图像存储空间。

本发明还可以根据视频摘要检索到原始视频，并进行回放。实现视频快速检索的功能，并且用户在观看摘要视频的时候，不需要忍受观看长时间静止状态的监控视频图像所带来的不适，提高了视频回查的工作效率、准确率、查全率等。

附图说明

图1为本发明实施例生成视频摘要的装置的示意图。

图2为本发明实施例生成视频摘要的方法流程示意图。

图3为本发明检索摘要视频的方法流程示意图。

图4为本发明运动对象的运动轨迹的示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。

图1示出了生成视频摘要的装置实施例，该实施例包括实时视频存储模块110、关键帧提取模块120、以及场景分析与对象摘要模块130，其中：

实时视频存储模块110，将采集回来的视频图像保存为原始视频图像。由于原始视频图像数据较大，根据实际情况，保留一段时间后，给予删除。

关键帧提取模块120，根据各种场景下视频对象分布时间统计特性的标定值(即某时间段的对象分布密度)，来决定抓帧频率，根据该抓帧频率提取关键帧。

本发明可以根据场景灵活决定抓帧频率，比如，在早、晚上班高峰时间的场景下，视频对象分布时间统计特性的标定值表明，对象分布密度较大，那么则增加该场景下的抓帧频率，类似的，在夜间的场景下，减少抓帧频率等。避免以往固定频率抓帧的缺点，最大程度地节约系统的计算资源，智能调节系统的分析性能。同时，增强抓取帧的代表性。

提取关键帧是基于内容的视频检索中的一个重要技术，本发明采用现有的提取关键帧技术，基于运动对象分布的时间统计模型、以及利用视频帧之间的信息量差值来提取关键帧。该方法针对特定场景建立运动对象分布的时间统计模型，由此推断大部分情况下该场景的人流量变化情况，以此作为关键帧判断与挑选的大尺度标准，在此基础上，结合两个连续图像帧的特征互信息量的变化关系来提取关键帧。利用该方法提取的关键帧能较好地代表镜头内容，且提取关键帧的速度比现有其他的关键帧提取方法快。在动态关键帧提取中，视频运动变化大的镜头选取的关键帧数量多，而视频运动变化小的镜头选取的关键帧数量少。

场景分析与对象摘要模块130，建立场景背景的基础模型，对关键帧提取模块120提取的关键帧进行对象检测，一旦检测到对象发生，则通过视频回溯等功能，检测图像进入运动状态时开始直到恢复为静止状态时结束，并对这一运动片段进行分析，根据已建立的场景背景的基础模型初步提取对象，对场景背景的基础模型根据视频的变化进行现实场景的背景补偿，修改已提取的对象，记录各帧的对象图片、对应的时间值以及重心坐标，形成视频摘要信息数据库。

对象是指视频中所有具有动态属性的物体，包括运动的车、人、动物等，是运动对象的简称。

提取对象的方法，可采用传统的运动对象检测方法，如差分法、混合高斯背景模型法、Codebook法等，具体采用哪种方法要根据各个场景、光照效果的实际情况而定。在运动对象提取的传统算法里，一般是根据背景模型，对各个关键帧里的对象进行提取，把对象的轮廓准确地提取出来，可以把对象和背景图像有效地分离。这一方法对背景的实时建模提出了较高要求，尤其是对场景有着突变的情况，很难准确地把物体从原图像里提取出来。

由于大多数监控场景较为固定，本发明中，场景分析与对象摘要模块130根据预先拍摄的固定场景建立场景背景的基础模型，在实际的运动对象检测时，根据场景背景的基础模型初步提取出物体轮廓，在这里，我们不需要提取非常精确的运动对象画面，而只需要提取包围物体的最小轮廓。根据视频的整体变化，比如色彩和/或亮度的变化，对场景背景的基础模型进行修改与补偿，扩大提取到的物体轮廓。通过这种方式，能提供比传统背景生成方法更加有效与快速的背景模型，有助于对运动对象的检测。以便减少物体图像部分丢失的概率，同时保证不包含过多的背景，修正实时背景计算带来的一系列噪声干扰，以免影响视频摘要生成的效果。

在场景分析与对象摘要模块130中的所有计算，均针对同一场景进行视频摘要。一旦视频场景发生了变化，则会关闭当前场景的数据存储与检测，并开始进行新的场景对象提取与检测。如此循环，直到用户或系统故障中断。

本发明中，将原始视频各帧的对象图片、对应的时间值以及重心坐标记录在自定义的XML文档中，XML文档主要是方便多台计算机之间交换提取出来的运动对象数据。根据原始视频各帧的对象图片、对应的时间值以及重心坐标，可以获得运动对象完整的运动轨迹，从而方便再现物体的原始运动形态，有效地去除关键帧的冗余信息而保证有效的运动信息不被丢失，还可以实现快速的视频信息检索。关于视频摘要检索的内容将在下面结合检索模块140进行说明。

固定监控摄像头进行拍摄的视频系统中，所获得并存储的视频图像长时间不会产生明显变化的这种情况较为常见。本发明实时采集视频数据，对运动对象进行实时检测，即对摄像头拍摄的视频进行实时的分析判断，去除冗余信息，以更少的存储空间，保存更多的历史视频数据。

相对现有技术基于图像质量的视频压缩技术而言，本发明可以在固定大小的存储空间内存储更多的有用信息，有效节省了存储空间，节约了硬件成本。

再如图1所示，对于海量视频数据而言，本发明还提出了如何检索特定对象的相关视频数据、如何回放特定对象的相关原始视频数据，执行上述操作的模块包括分割模块140以及检索模块150。当用户在观看视频摘要的时候，通过点击感兴趣的运动对象及事件，可有效地关联原始视频数据。可以让检索数据、人工回放更加容易。下面将具体说明。

分割模块140，对视频摘要信息数据库中的视频摘要根据场景分类，进行各场景里对象的轨迹切割，对轨迹切割后的视频数据进行视频叠加，生成摘要视频。

对原始视频进行轨迹切割的方法有平均值法、基于时间统计模型的分段法则等。如果已经对监控场景建立了运动对象分布的时间统计模型，将最大限度的利用这一经验值，根据对象的运动轨迹的分布情况进行时间轴的分割，分割成设定段数的视频数据，上述设定段数的视频数据分割后形成为时间长度相仿的若干段视频数据，然后重叠于具有同样时间长度的背景中，达到在同一简单场景里融合了丰富的视觉信息。比如，一段12小时时长的视频，分割成12段，每段为1个小时，分割后，将这12段视频重叠于1小时时长的背景中。关键帧作为分割视频的参考标准，即根据关键帧将一段时间较长的视频，初步分成十几分钟或更短的视频。对运动对象分布较密的时间段，少分割或是不分割；对运动对象分布稀疏的时间段，进行大容量的压缩。保证根据对象索引原始视频的时候，对象的轨迹是完整的。

时间长度相仿，是指时间长度尽量相同。具体分割成几段，需要和系统预设的参数有关，如用户希望得到的摘要视频的长度、运动对象排列的疏密程度、物体叠加在一起是否影响观看等有关。

通过这种方式，可以最大限度地压缩图像数据，把一个对象在很长时间段里的运动(比如12小时或是24小时的视频)，通过同一时间段、同一场景叠加展现出来。

检索模块150，当接收到播放摘要视频的请求时，检索原始视频。

通过显示模块将各个不同的场景显示给用户，根据用户选择的场景，播放摘要视频，摘要视频可根据用户设置的对象密度、播放速度等进行调节。当接收到播放摘要视频的请求时，比如，用户点击了摘要视频上的对象，则检索原始视频，将原始视频通过显示模块进行显示回放。方便用户查看原始的数据。

下面将通过附图对本发明生成视频摘要的方法进行说明，具体流程如图2所示，包括如下步骤：

在步骤210，采集视频图像并保存为原始视频图像。

在步骤220，根据各种场景下视频对象分布时间统计特性的标定值，来设置抓帧频率，根据该抓帧频率从原始视频图像中提取关键帧。

在步骤230，对提取的关键帧进行对象检测，判断是否检测到对象，如果检测到，执行步骤240，否则返回到步骤220。

在步骤240，检测到对象，根据已建立的场景背景的基础模型初步提取对象。

在步骤250，对场景背景的基础模型根据视频的变化进行现实场景的背景补偿，修改已提取的对象。

作为本发明的一个实施例，当视频的色彩和/或亮度发生变化时进行现实场景的背景补偿。

在步骤260，记录各帧的对象图片、对应的时间值以及重心坐标。

根据原始视频各帧的对象图片、对应的时间值以及重心坐标，可以获得运动对象完整的运动轨迹，从而方便再现物体的原始运动形态，其示意图如图4所示。

在步骤270，判断视频场景是否发生了变化，如果视频场景发生了变化，执行步骤280，如果没有变化，返回到步骤240继续执行。

在步骤280，形成视频摘要信息数据库，则会关闭当前场景的数据存储与检测，并开始进行新的场景对象提取与检测，即返回到步骤240继续执行，如此循环，直到用户或系统故障中断。

形成视频摘要信息数据库之后，还包括检索摘要视频的操作，具体如图3所示，可以包括以下步骤：

在步骤310，对视频摘要信息数据库中的视频摘要根据场景分类。

在步骤320，根据原始视频各帧的对象图片、对应的时间值以及重心坐标形成运动轨迹，进行各场景里对象的轨迹切割。

其中，进行各场景里对象的轨迹切割的操作，包括：

根据希望得到的摘要视频的长度、运动对象排列的疏密程度和/或物体叠加在一起是否影响观看来进行轨迹切割。

其中，对轨迹切割后的视频数据进行视频叠加的操作，包括：

轨迹切割后形成为时间长度相仿的多段视频数据，将所述多段视频数据叠加于具有同样时间长度的背景中。

在步骤330，对轨迹切割后的视频数据进行视频叠加，生成摘要视频。

在步骤340，当接收到播放摘要视频的请求时，检索原始视频。

把各个不同的场景显示给用户，根据用户选择的场景，播放摘要视频，摘要视频可根据用户设置的对象密度、播放速度等进行调节。当用户点击了摘要视频上的对象，则检索并回放原始视频，方便用户查看原始的数据，判断本事件是否需要进一步分析。

相对现有技术而言，在用户进行视频摘要检索的时候，直接根据用户点击的感兴趣对象，进行原始视频的回放操作，即可实现视频快速检索的功能。用户在观看摘要视频的时候，不需要忍受观看长时间静止状态的监控视频图像所带来的不适，提高了视频回查的工作效率、准确率、查全率等。

实施例

为使本发明的目的、技术方案和优点更加清楚，下面对时间轴视频压缩技术在中国电信全球眼业务中的应用进行简单的介绍。

中国电信全球眼网络视频监控平台是基于高性能、高集成化的大型远程监控系统，是一种基于宽带网络为用户提供图像和各种报警信号远程采集、传输、储存、处理的一种全新电信业务。是一个由前端、中间端、后端三部分组成的网络视频监控系统。前端由镜头、摄像机、云台、报警开关、视频编解码设备、主机控制设备和监控软件组成；中间端即是电信公司提供的中心服务平台，中心服务平台具有业务平台的管理功能，并对传送过来的图像进行转发、分发或存储，对报警进行联动处理；在后端用户可在网络的任何一个接入点，通过IE浏览器或客户端软件，在通过用户认证后可任意观看视频，可控制摄像机的角度、拉近拉远镜头、控制远端设备，并可接收报警信息。

在全球眼平台的中间端，存储着大量的视频数据。通过对这些视频数据的时间轴压缩，达到用同样大小的存储空间，存储更长时间的历史视频数据。并且，根据非线性时间轴叠加技术，对于监控内容的回放与标定，更加快捷。

对于时间历史比较长的视频，而且背景比较单一的场景，针对同一场景的、不同时间段的不同对象，把各对象以非重叠的方式放置于同一场景、同一压缩时间段内。

通过建立XML标记索引并与该时间轴压缩图片关联后，可以根据用户的查询要求，在短时间内重放监控视频；通过这样的方式存储与生成视频，可以方便、快速地实现人工检验视频、标定特定场景的图像检测、识别算法。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (6)

1.一种生成视频摘要的装置，包括：

实时视频存储模块，将采集的视频图像保存为原始视频图像；

关键帧提取模块，根据各种场景下视频对象分布时间统计特性的标定值，来决定抓帧频率，根据该抓帧频率从原始视频图像中提取关键帧；所述视频对象分布时间统计特性的标定值是指统计时间段内的视频对象分布密度；

场景分析与对象摘要模块，建立场景背景的基础模型，对关键帧提取模块提取的关键帧进行对象检测，当检测到对象时，根据已建立的场景背景的基础模型初步提取对象，对场景背景的基础模型根据视频的变化进行现实场景的背景补偿，修改已提取的对象，记录各帧的对象图片、对应的时间值以及重心坐标，形成视频摘要信息数据库；

分割模块，对视频摘要信息数据库中的视频摘要根据场景分类，根据原始视频各帧的对象图片、对应的时间值以及重心坐标形成运动轨迹，进行各场景里对象的轨迹切割，对轨迹切割后的视频数据进行视频叠加，生成摘要视频；所述分割模块在轨迹切割后形成时间长度相仿的多段视频数据，将所述多段视频数据叠加于具有同样时间长度的背景中；以及

检索模块，当接收到播放摘要视频的请求时，检索原始视频。

2.根据权利要求1所述生成视频摘要的装置，其中：

分割模块进行轨迹切割时根据希望得到的摘要视频的长度、运动对象排列的疏密程度和/或物体叠加在一起是否影响观看来决定。

3.根据权利要求1或2所述生成视频摘要的装置，其中：

视频的变化指色彩和/或亮度发生变化。

4.一种生成视频摘要的方法，包括：

采集视频图像并保存为原始视频图像；

根据各种场景下视频对象分布时间统计特性的标定值，来决定抓帧频率，根据该抓帧频率从原始视频图像中提取关键帧；所述视频对象分布时间统计特性的标定值是指统计时间段内的视频对象分布密度；

对提取的关键帧进行对象检测，当检测到对象时，根据已建立的场景背景的基础模型初步提取对象，对场景背景的基础模型根据视频的变化进行现实场景的背景补偿，修改已提取的对象；

记录各帧的对象图片、对应的时间值以及重心坐标，形成视频摘要信息数据库；

其中，形成视频摘要信息数据库之后，还包括：

对视频摘要信息数据库中的视频摘要根据场景分类；

根据原始视频各帧的对象图片、对应的时间值以及重心坐标形成运动轨迹，进行各场景里对象的轨迹切割；

对轨迹切割后的视频数据进行视频叠加，生成摘要视频；

当接收到播放摘要视频的请求时，检索原始视频；

其中，对轨迹切割后的视频数据进行视频叠加的操作，包括：

轨迹切割后形成为时间长度相仿的多段视频数据，将所述多段视频数据叠加于具有同样时间长度的背景中。

5.根据权利要求4所述生成视频摘要的方法，进行各场景里对象的轨迹切割的操作，包括：

根据希望得到的摘要视频的长度、运动对象排列的疏密程度和/或物体叠加在一起是否影响观看来进行轨迹切割。

6.根据权利要求4或5所述生成视频摘要的方法，根据视频的变化进行现实场景的背景补偿，包括：

当视频的色彩和/或亮度发生变化时进行现实场景的背景补偿。