CN111464882A

CN111464882A - 视频摘要生成方法及装置、设备、介质

Info

Publication number: CN111464882A
Application number: CN201910049846.7A
Authority: CN
Inventors: 向杰
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-01-18
Filing date: 2019-01-18
Publication date: 2020-07-28
Anticipated expiration: 2039-01-18
Also published as: CN111464882B

Abstract

本发明提供一种视频摘要生成方法及装置、设备、介质，该方法包括：在确定生成视频摘要中每个视频摘要帧所需的目标对象的位置信息时，依据缓存队列Q1中的剩余容量从数据库中获取未处理的轨迹并存入至Q1中，数据库中存储了从视频中确定出的目标对象的轨迹；按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，取出Q2中轨迹上的指定轨迹点；将本次取出的指定轨迹点确定为生成当前视频摘要帧所需的目标对象的位置信息；判断当前已确定出位置信息的视频摘要帧的数量是否大于目标帧数，若否，继续确定生成下一个视频摘要帧所需的目标对象的位置信息，若是，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要。

Description

视频摘要生成方法及装置、设备、介质

技术领域

本发明涉及视频处理技术领域，尤其涉及的是一种视频摘要生成方法及装置、设备、介质。

背景技术

在社会公共安全领域，视频监控系统是维护社会治安、加强社会管理的一个重要组成部分。视频录像存在存储数据量大，存储时间长等特点，通过录像寻找线索的做法要耗费大量人力、物力以及时间，效率极其低下。而对原始视频进行浓缩，可以快速浏览视频，锁定其中的目标对象，能够满足公安、网监、刑侦的各种需求及应用，因而，视频摘要得到了广泛的应用。视频摘要又称视频浓缩，是对视频内容的一个概括，极大的提高视频浏览效率。

视频摘要的基本原理为：先通过运动目标分析从视频中提取出目标对象的运动轨迹，然后对各个目标对象的运动轨迹进行重排(时间平移)和紧密堆叠，将不同时间段出现的运动目标对象平移到同一时间段，达到浓缩视频的目的，然后将不同的目标对象拼接到一个共同的背景场景中，并将它们以某种方式进行组合。

相关的视频摘要生成方式中，跟踪到各个目标对象在视频中的轨迹后，会对所有的轨迹进行一次性重排，然后从已重排的轨迹上获取每个视频摘要帧所需的目标对象的位置信息。该方式中，由于需要对所有的轨迹进行一次性重排，导致轨迹重排列耗时、计算量都非常大等问题。

发明内容

有鉴于此，本发明提供一种视频摘要生成方法及装置、设备、介质，无需对所有的轨迹进行一次性重排，避免轨迹重排列耗时、计算量都非常大等问题。

本发明第一方面提供一种视频摘要生成方法，包括：

在确定生成视频摘要中每个视频摘要帧所需的目标对象的位置信息时，依据缓存队列Q1中的剩余容量从数据库中获取未处理的轨迹并存入至Q1中，所述数据库中存储了从视频中确定出的目标对象的轨迹；

按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，其中，所述指定要求为转存在Q2中的轨迹之间在所述视频所应用的坐标系中的重叠度均小于设定值；

将本次取出的指定轨迹点确定为生成当前视频摘要帧所需的目标对象的位置信息；

判断当前已确定出位置信息的视频摘要帧的数量是否大于目标帧数，若否，继续确定生成下一个视频摘要帧所需的目标对象的位置信息，若是，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要。

根据本发明的一个实施例，按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，包括：

针对Q2的每个用于存储轨迹的位置，判断该位置上是否存在轨迹；

若否，当Q2中无轨迹时，将Q1中的任一轨迹作为所述T转存至该位置上，并从处于该位置的轨迹上取出指定轨迹点；当Q2中有轨迹时，判断Q1中是否存在T，所述T与已转存在所述Q2中的轨迹之间在所述坐标系中的重叠度均小于设定值，若存在，将Q1中的所述T转存至该位置上，并从处于该位置的轨迹上取出指定轨迹点；

若是，从处于该位置的轨迹上取出指定轨迹点。

根据本发明的一个实施例，判断Q1中是否存在T，包括：

遍历Q1中的轨迹T1；

针对遍历到的该T1，遍历Q2中的轨迹T2，按照时间顺序从T1中的最早轨迹点和T2中的最早轨迹点开始确定N对轨迹点对，所述N为所述T1中轨迹点数量与T2中轨迹点数量的较小者，所述轨迹点对包括T1中的轨迹点P1和T2中对应的轨迹点P2，计算处于轨迹点对中P1的目标对象OB1与处于轨迹点对中P2的目标对象OB2在所述坐标系中的重叠度，并从计算出的重叠度中确定出最大重叠度，判断所述最大重叠度是否小于设定值，若是，则确定所述T1为所述T。

根据本发明的一个实施例，所述重叠度为：

所述OB1和OB2在所述坐标系中的交集面积与所述OB1和OB2中的面积较大者之间的比值。

根据本发明的一个实施例，若该位置上不存在轨迹，该方法还进一步包括：

计算所述T的轨迹点数与之前已确定出位置信息的视频摘要帧的数量的总和，并获取所需生成视频摘要的历史总帧数；

将所述总和与历史总帧数中的较大者确定为所需生成视频摘要的当前总帧数；

将所述当前总帧数确定为所述目标帧数。

根据本发明的一个实施例，所述指定轨迹点为对应轨迹上的最早轨迹点。

本发明第二方面提供一种视频摘要生成装置，包括：

轨迹分次获取模块，用于在确定生成视频摘要中每个视频摘要帧所需的目标对象的位置信息时，依据缓存队列Q1中的剩余容量从数据库中获取未处理的轨迹并存入至Q1中，所述数据库中存储了从视频中确定出的目标对象的轨迹；

轨迹重排模块，用于按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，其中，所述指定要求为转存在Q2中的轨迹之间在所述视频所应用的坐标系中的重叠度均小于设定值；

位置信息确定模块，用于将本次取出的指定轨迹点确定为生成当前视频摘要帧所需的目标对象的位置信息；

视频摘要生成模块，用于判断当前已确定出位置信息的视频摘要帧的数量是否大于目标帧数，若否，继续确定生成下一个视频摘要帧所需的目标对象的位置信息，若是，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要。

根据本发明的一个实施例，轨迹重排模块按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点时，具体用于：

若是，从处于该位置的轨迹上取出指定轨迹点。

根据本发明的一个实施例，轨迹重排模块判断Q1中是否存在T时，具体用于：

遍历Q1中的轨迹T1；

根据本发明的一个实施例，所述重叠度为：

根据本发明的一个实施例，若该位置上不存在轨迹，轨迹重排模块还进一步用于：

将所述当前总帧数确定为所述目标帧数。

本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例所述的视频摘要生成方法。

本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例所述的视频摘要生成方法。

本发明实施例具有以下有益效果：

本发明实施例中，轨迹存储在数据库中，每次确定一个视频摘要帧所需的目标对象的位置信息时，根据缓存队列Q1的剩余容量来从数据库中获取相应的轨迹存入Q1，再按指定要求将Q1中的轨迹转存至缓存队列Q2中进行轨迹的重排，保证Q2中轨迹之间的重叠度小于设定值，避免同一视频摘要帧中出现因目标对象之间高度重叠而导致视频摘要不清楚的问题，且无需对数据库中的所有轨迹进行一次性重排，可避免轨迹重排列耗时、计算量都非常大等问题；

同时，由于Q2中的轨迹是不断地从Q1中按照指定要求转存得到的，轨迹之间是紧密排列的，对轨迹的处理类似于并行的流水线处理，而非分批地被重排处理，每次取出Q2中所有轨迹上的指定轨迹点即可得到该视频摘要帧所需的位置信息，生成的视频摘要与原视频之间的浓缩比更高，因此，本发明实施例同时兼顾了浓缩比与耗时、计算量之间的平衡，在相同耗时、计算量资源情况下，能够提高浓缩比。

附图说明

图1是本发明一实施例的视频摘要生成方法的流程示意图；

图2是本发明一实施例的视频摘要生成装置的结构框图；

图3是本发明一实施例的计算重叠度的示意图；

图4是本发明一更具体实施例的视频摘要生成方法的流程示意图；

图5是本发明一实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

相关的视频摘要生成方法中，由于需要对所有的轨迹进行一次性重排(时间平移，将一段长视频中处于各轨迹的目标对象浓缩到较短的视频摘要中)，轨迹重排列耗时、计算量都非常大，而且，视频比较长且视频中目标对象数量比较多时，轨迹数会很大，对设备的存储空间要求也较大，例如，对一段5小时的视频进行浓缩，当目标对象比较多时，轨迹数很可能超过10万，这对前端等嵌入式设备会造成存储压力。

通常来说，解决上述问题的方式是，将轨迹分批次送去进行重排，例如，一共一万条轨迹，每次只取100条轨迹进行重排得到一个视频摘要段，再将各批次的视频摘要段拼接起来，得到最终的视频摘要。但是，由于将所有轨迹分成了很多批次，不同批次的轨迹对应的目标对象只能处于不同的视频摘要段中，最终的视频摘要中的目标对象会比较稀疏，视频摘要与原视频之间的浓缩比较低。

下面对本发明实施例的视频摘要生成方法进行更具体的描述，但不应以此为限。在一个实施例中，参看图1，示出了本发明实施例的一种视频摘要生成方法，包括以下步骤：

S100：在确定生成视频摘要中每个视频摘要帧所需的目标对象的位置信息时，依据缓存队列Q1中的剩余容量从数据库中获取未处理的轨迹并存入至Q1中，所述数据库中存储了从视频中确定出的目标对象的轨迹；

S200：按照指定要求确定Q1中T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，其中，所述指定要求为转存在Q2中的轨迹之间在所述视频所应用的坐标系中的重叠度均小于设定值；

S300：将本次取出的指定轨迹点确定为生成当前视频摘要帧所需的目标对象的位置信息；

S400：判断当前已确定出位置信息的视频摘要帧的数量是否大于目标帧数，若否，继续确定生成下一个视频摘要帧所需的目标对象的位置信息，若是，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要。

本发明实施例的视频摘要生成方法的执行主体可以为电子设备，该电子设备可以是嵌入式设备比如前端相机、DSP等，也可以是存储与运算资源都比较丰富的服务器等，具体不限，只要是具有视频处理能力即可。

本发明实施例中，可以先从视频中确定出目标对象的轨迹，将确定出的轨迹存储在数据库中，该数据库可以处于电子设备中，也可以处于电子设备之外的设备比如外部数据库服务器中。

优选来说，本发明实施例的数据库处于作为执行主体的电子设备之外的设备上。如此，可减少对电子设备存储空间的要求，从而本发明实施例可适用于一些存储和运算能力都受限制的嵌入式设备上，实现视频浓缩功能。当然，也适用于在后端服务器等存储与运算资源都较丰富的设备上，实现视频浓缩功能。

可选的，可以采用目标检测算法与目标跟踪算法来从视频中确定出目标对象的轨迹。通过目标检测算法检测视频中的目标对象，并通过目标跟踪算法对检测到的目标对象进行跟踪，提取目标对象从进入视频场景到离开该场景的运动轨迹，将轨迹存储到数据库中。

目标检测算法是指能够检测出视频中的感兴趣目标对象的算法，目标对象如行人、车辆、二轮车、三轮车、车牌等。常用的目标检测算法有背景建模与前景加检测、Boosting、DPM(Deformable Parts Model)、RCNN(Regions Convolutional NeuralNetwork)、FRCNN(Fast Region Convolutional Neural Network)、FasterRCNN(FasterRegion Convolutional Neural Network)、SSD(Single Shot MultiBox Detector)及YOLO等算法。目标检测算法对图像中的感兴趣目标进行检测，检测出的目标对象可以用包围目标对象的边界包围框(比如为外接矩形框)进行标记。

目标跟踪算法是指能够对视频中的感兴趣目标对象进行跟踪的算法，常用的目标跟踪算法有KCF(Kernel Correlation Filter)、CMOT(Confidenced Multi-ObjectTracking)、MDP(Markon Decision Process)等算法。目标跟踪算法能够同时对单个目标对象或多个目标对象进行长时间跟踪，并保持目标对象身份，最终生成针对各个目标对象的跟踪轨迹。轨迹表示目标从进入视频场景到离开场景视频所经历的路径，可以是用各个目标对象的边界包围框表示的位置点序列，也可以是用各个目标的边界包围框的中心点表示的位置点序列。

将提取的各个目标对象的轨迹存储到数据库中，轨迹数量根据视频长短及视频中目标对象的密集程度而定，例如一个小时的视频，中等密集程度下可能有1万条轨迹，高等密集程度下可能有10万条轨迹。

步骤S100中，在确定生成视频摘要中每个视频摘要帧所需的目标对象的位置信息时，依据缓存队列Q1中的剩余容量从数据库中获取未处理的轨迹并存入至Q1中。

缓存队列Q1的容量比如为m，表示可以最多存储m条轨迹。比如m＝100，表示可最多存储100条轨迹。m的大小可根据执行主体的实际情况需要而定，比如，在存储与运算资源都相对较丰富的后端等服务器上执行时，m可较大(如10000)；在存储与运算资源都相对比较紧张的前端等嵌入设备上执行时，m可较小(如100)。可以理解，由于每条轨迹的轨迹点数大小不一，可按照最长轨迹的轨迹点数来估计Q1的容量，保证Q1每次都可存入m条轨迹。

每次确定位置信息时，可以确定一下Q1的剩余容量，剩余容量比如可以指剩余可存入的轨迹条数k，k小于等于m。当确定出Q1的剩余容量为k时，从数据库中取出k条轨迹存入到Q1中，使得Q1中的轨迹数达到m。

当然，在从数据库中获取轨迹时，可以先判断数据库中是否存在未处理的轨迹，若否，则获取不到轨迹，继续执行步骤S200；若是，则可依据剩余容量k获取到相应轨迹存入至Q1，继续执行步骤S200，可以理解，当数据库中未处理的轨迹少于k时，可获取到数据库中所有未处理的轨迹并存入至Q1，当数据库中未处理的轨迹不少于k时，可获取到数据库中k条未处理的轨迹并存入至Q1。

从数据库中获取轨迹时的获取顺序没有要求，可按照轨迹的时间顺序获取轨迹(可以以轨迹中的某个轨迹点的时间来确定轨迹的时间顺序，轨迹点的时间是指相应目标对象在视频场景中出现的时间)，也可按照某种查询条件来查找获取出轨迹，或者可对数据库中的轨迹进行一定排序之后再获取，具体不限。优选的，可以将数据库未处理的轨迹中最早的轨迹先获取，越早的轨迹越先被重排并生成相应的视频摘要帧，使得所得的视频摘要中的目标对象与原视频中的目标对象所出现的时间先后顺序尽可能相同。

步骤S200中，按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，其中，所述指定要求为转存在Q2中的轨迹之间在所述视频所应用的坐标系中的重叠度均小于设定值。

Q2的容量比如为n，表示可以存储n条轨迹。由于按照指定要求转存，Q2中最多可以有n条相互之间重叠度小于设定值的轨迹，也即视频摘要的每一帧中最多有n个目标对象(当然也有可能少于n，即Q2中未存满的情况)。n的具体取值可视设备的资源而定，比如，在服务器等资源丰富情况下n可为100，在前端等嵌入式设备上n可为30。可以理解，由于每条轨迹的轨迹点数大小不一，可按照最长轨迹的轨迹点数来估计Q1的容量，保证Q2每次都可存入n条轨迹。

Q2中实际存储的轨迹数是由设定值及视频中的目标对象相互之间的重叠度决定的，目标对象相互之间重叠度低且设定值较大，则Q2所需存储的轨迹就越多，那么n可以设置的更大，反之就越少。

按照指定要求将Q1中的轨迹转存至Q2，是对Q1中的轨迹进行重排(即时间平移)的过程，Q2中存储的是重排后的轨迹，每次从Q2的所有轨迹上取出的指定轨迹点是各个目标对象在同一个视频摘要帧中的位置信息。换言之，Q2中存储的轨迹在时间上被平移到了一起，最早轨迹点被平移到了同一个时间点。

步骤S200中，如果Q1中有T，可以是将Q1中所有T转存到Q2中之后，再从Q2的所有轨迹上取出指定轨迹点；也可以是边转存T边从轨迹上取出指定轨迹点，如果Q2某个位置上为空，则可在该位置上存入T，并从Q2的该T上取出指定轨迹点，如果Q2某个位置上存在轨迹，则可从该轨迹上取出指定轨迹点。如果Q1中没有T，则只需从Q2的所有轨迹上取出指定轨迹点即可。

由于是转存，因而将Q1中的T取出并存入到Q2中后，Q1中之前存储该T的位置便为空，等待后续轨迹的存入。取出指定轨迹点指的是，从轨迹上获取指定轨迹点后将该指定轨迹点从该轨迹上删除；从Q2的轨迹上取出指定轨迹点后，该轨迹上便不再存在该指定轨迹点，因而，存储在Q2中的轨迹会一点点地变短，等到轨迹上的轨迹点都被取出时，Q2中之前存储该轨迹的轨迹便为空。

经过步骤S200的操作后，Q2中的所有轨迹相互之间的重叠度均小于设定值，可通过调节设定值的大小来调整视频摘要每一帧中目标对象数量的多少，设定值取值范围为0～1。设定值越大，则视频摘要平均每一帧中的目标对象数量会越多，相互之间的重叠度就会越高，浓度就越高，当然在实际使用中，设定值可根据需求进行调节。

步骤S300中，将本次取出的指定轨迹点确定为生成当前视频摘要帧所需的目标对象的位置信息。

可以将本次取出的指定轨迹点作为当前视频摘要帧所需的位置信息存入到存储器Q3中，Q3累积每一个视频摘要帧所需的位置信息，当处理完所有轨迹时，可从Q3中按帧获取相应位置信息，生成相应的视频摘要帧，最终得到视频摘要。

Q3可以是作为执行主体的电子设备之外的存储器，当然也以是电子设备上的存储器，具体不限。优选的，Q3位于电子设备外部，可避免电子设备的存储资源不足，Q3的实际大小应以能够存储所有的轨迹为宜。

步骤S400中，判断当前已确定出位置信息的视频摘要帧的数量是否大于目标帧数，若否，继续确定生成下一个视频摘要帧所需的目标对象的位置信息，若是，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要。

当前已确定出位置信息的视频摘要帧的数量可以在处理过程中对每帧计数确定。目标帧数可以是预设的固定值，也可以是在处理过程中根据轨迹的长度而动态变化的值。

如果当前已确定出位置信息的视频摘要帧的数量不大于目标帧数，说明还有后续需生成的视频摘要帧，可以返回步骤S100继续执行。如果当前已确定出位置信息的视频摘要帧的数量大于目标帧数，说明已经完成所有需生成的视频摘要帧所需的目标对象的位置信息，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要即可。

在一个实施例中，上述方法流程可由视频摘要生成装置执行，如图2所示，视频摘要生成装置100主要包含4个模块：轨迹分次获取模块101、轨迹重排模块102、位置信息确定模块103和视频摘要生成模块104。轨迹分次获取模块101用于执行上述步骤S100，轨迹重排模块102用于执行上述步骤S200，位置信息确定模块103用于执行上述步骤S300，视频摘要生成模块104用于执行上述步骤S400。

可选的，步骤S400中，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要，可以包括：

获取从所述视频中提取出的包含背景的图像；

针对每个确定出的生成视频摘要帧所需的目标对象的位置信息，将所述图像中与位置信息对应的区域修改为依据该位置信息从视频的对应视频帧中截取出的目标对象所处区域。

当然，由于视频摘要帧中目标对象之间可能存在一定的重叠，因可以采用透明贴图的形式将目标对象所处区域贴到图像中与位置信息对应的区域处。

该图像可以预先就提取好并保存在数据库中，在需要使用时获取出来，当然，也可以在需要生成视频摘要时再从视频中提取出来，在同一场景下，所有视频摘要帧可共用一个包含背景的图像。

在一个实施例中，步骤S200中，按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，包括：

S201：针对Q2的每个用于存储轨迹的位置，判断该位置上是否存在轨迹；

S202：若否，当Q2中无轨迹时，将Q1中的任一轨迹作为所述T转存至该位置上，并从处于该位置的轨迹上取出指定轨迹点；当Q2中有轨迹时，判断Q1中是否存在T，所述T与已转存在所述Q2中的轨迹之间在所述坐标系中的重叠度均小于设定值，若存在，将Q1中的所述T转存至该位置上，并从处于该位置的轨迹上取出指定轨迹点；

S203：若是，从处于该位置的轨迹上取出指定轨迹点。

Q2所具有的位置与容量是对应的，每个位置存储一条轨迹，有多少位置便可存储多少条轨迹。每个位置的状态可为空或满，空是指该位置上不存在轨迹，满是指该位置上存在轨迹。

如果该位置上不存在轨迹，判断Q2中是否存在轨迹(即判断Q2中其他位置上是否存在轨迹，其他位置上存在轨迹说明Q2中存在轨迹)，如果不存在，则随便存入一个轨迹都会满足该指定要求，因而可将Q1中的任一轨迹作为所述T转存至该位置上，并从处于该位置的轨迹(即刚存入的T)上取出指定轨迹点；如果存在，则需要进行轨迹间重叠度的判断，确定出Q1可以满足该指定要求的轨迹作为T并转存到该位置上，并从处于该位置的轨迹(即刚存入的T)上取出指定轨迹点。

如果该位置上存在轨迹，则直接从处于该位置的轨迹上取出指定轨迹点即可。

在一个实施例中，所述指定轨迹点为对应轨迹上的最早轨迹点。由于每次获取的都是最早轨迹点，这样生成的视频摘要中目标对象的轨迹上各个轨迹点的先后顺序便与视频中的一样。

一条轨迹中的最早轨迹点是指该条轨迹中对应的目标对象最早出现在视频场景中时所处的轨迹点。

在一个实施例中，步骤S202中，判断Q1中是否存在T，可以包括以下步骤：

遍历Q1中的轨迹T1；

一条轨迹上的轨迹点是已经按时间顺序排好序的，比如，一条轨迹中，第1个轨迹点比第2个轨迹点早，第2个轨迹点比第3个轨迹点早，以此类推。

具体的，T2中有100个轨迹点，T1上有1000个轨迹点，则将T2中的第1个轨迹点和T3中的第1个轨迹点确定为一对轨迹点对，T2中的第2个轨迹点和T3中的第2个轨迹点确定为一对轨迹点对，以此类推，直至将T2中的第100个轨迹点和T3中的第100个轨迹点确定为一对轨迹点对。如此得到100对轨迹点对，可计算得到100个重叠度，从100个重叠度中确定出最大重叠度，判断所述最大重叠度是否小于设定值，若是，则确定所述T1为所述T。

优选来说，确定所述T1为所述T之后，结束对Q2和Q1中轨迹的遍历。原因是，所有的T都会在较短时间内被存入到Q2中，因而只要找到一个T并将其存入到Q2的相应位置即可，无需继续遍历来找到最优的一个，可以节省设备的计算资源。

在一个实施例中，所述重叠度为：

参看图3，OB1与OB2(目标对象用矩形框表示)存在交集IN，且OB2的面积比OB1的面积大，则OB1与OB2的重叠度为：IN的面积与OB2的面积之比。

在一个实施例中，步骤S202中，若Q2的该位置上不存在轨迹，该方法还进一步包括：

将所述当前总帧数确定为所述目标帧数。

为便于计算，在初始时，总帧数可以设置为0。每次将Q1中的T转存到Q2中时，计算该T的轨迹点数与之前已确定出位置信息的视频摘要帧的数量的总和，将总和与历史总帧数(第一次转存时历史总帧数相应为0)中的较大者确定为当前总帧数，该当前总帧数确定为目标帧数，如果还有下一次Q1中的轨迹转存至Q2中，那么该当前总帧数作为下一次转存时的历史总帧数。

图4示出了一个更具体的实施例，下面对此进行详细说明，以更好地阐述本发明实施例的视频摘要生成方法。

在执行前，进行初始化，做好执行的准备：从待处理的视频中提取出目标对象的轨迹并存入到数据库中；设置缓存队列Q1，容量为m，并初始化为空；设置缓存队列Q2，容量为n，初始化为空；设置目标对象位置信息存储器Q3，该Q3可以为外部存储器，初始化为空；变量初始化，所需生成的视频摘要的总帧数total_frm初始化为0，视频摘要帧的帧序cur_frm初始化为0；

对视频摘要来说，有两个变量，总帧数total_frm和帧序cur_frm：总帧数total_frm表示所需生成的视频摘要的总帧数，total_frm初始为0，当有轨迹从Q1转存到Q2时，总帧数total_frm会根据转存轨迹的轨迹点数而增加；帧序cur_frm可表示已确定出位置信息的视频摘要帧的数量，也是后续视频摘要帧在视频摘要中的次序，每确定一帧则cur_frm加1，当cur_frm大于total_frm时，表示所有轨迹已处理完毕，可生成最终的视频摘要。

初始化完成后，可以执行以下步骤：

1)确定Q1的容量m中剩余容量k，接着执行步骤2)；

Q1的总容量为m，表示最多可存储m条轨迹，每存入一条轨迹，则将剩余容量k减1，由于Q1初始为空，则第一次获取Q1中的剩余容量k时，k等于m，后续处理过程中，剩余容量k会小于等于m。

2)判断数据库是否存在未处理轨迹，如果是则执行步骤3)，否则执行步骤4)；

3)从未处理轨迹中取出k条(小于k时按实际取)存入至缓存队列Q1中，接着执行步骤4)；

4)将用于指示当前视频摘要帧中目标对象的数量cur_obj_num初始化为0，cur_obj_num表示当前视频摘要帧中会有多少个目标对象，接着执行步骤5)；

5)遍历Q2的每个位置，判断遍历到的位置上是否存在轨迹，若否，执行步骤6)，若是，执行步骤9)；

6)判断Q1中是否存在需转存的轨迹T(具体判断方式参看前述实施例中的具体内容)，如果是则执行步骤7)，否则执行步骤10)；

每一次都会取出Q2中所有轨迹的一个轨迹点，当下一次取出时，会将剩下未取出的轨迹点取走，对于一条长度为j的轨迹，一共可取j次；

7)将从Q1中的T转存至Q2的该位置上，该轨迹的轨迹点数量记为j，接着执行步骤8)；

8)更新当前总帧数total_frm，当前total_frm为历史total_frm与cur_frm+j中的较大者，接着执行步骤9)；

由于Q2中新加入了一条轨迹T，对应视频摘要总帧数发生变化，因而需要更新当前总帧数total_frm；

9)将遍历到的该位置上的轨迹取出一个指定轨迹点，作为当前视频摘要帧的一个目标对象的位置信息，更新摘要视频当前帧目标对象的数量，将cur_obj_num修改为cur_obj_num+1，接着执行步骤10)；

10)判断对Q2的遍历是否结束，若是，则执行步骤11)，若否，则返回执行步骤5)；

二级缓存队列Q2的容量为n，因此需要遍历n次才能遍历完毕，未遍历完毕需返回继续遍历；

11)将本次遍历所取出的指定轨迹点存储到Q3中，作为当前视频摘要帧的全部目标对象的位置信息，目标对象的数量cur_obj_num为本次遍历所取出的指定轨迹点的总数，接着执行步骤12)；

12)更新cur_frm，将cur_frm修改为之前的cur_frm+1，修改后的cur_frm作为当前cur_frm；

13)判断当前cur_frm是否大于当前总帧数total_frm，若是，表示所有轨迹已全部处理完毕，执行步骤14)，若否，返回执行步骤1)；

14)输出Q3中的每个视频摘要帧的目标对象的位置信息，依据这些位置信息生成最终视频摘要，结束流程。

本发明还提供一种视频摘要生成装置。在一个实施例中，参看图2，该视频摘要生成装置100包括：

轨迹分次获取模块101，用于在确定生成视频摘要中每个视频摘要帧所需的目标对象的位置信息时，依据缓存队列Q1中的剩余容量从数据库中获取未处理的轨迹并存入至Q1中，所述数据库中存储了从视频中确定出的目标对象的轨迹；

轨迹重排模块102，用于按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，其中，所述指定要求为转存在Q2中的轨迹之间在所述视频所应用的坐标系中的重叠度均小于设定值；

位置信息确定模块103，用于将本次取出的指定轨迹点确定为生成当前视频摘要帧所需的目标对象的位置信息；

视频摘要生成模块104，用于判断当前已确定出位置信息的视频摘要帧的数量是否大于目标帧数，若否，继续确定生成下一个视频摘要帧所需的目标对象的位置信息，若是，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要。

在一个实施例中，轨迹重排模块按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点时，具体用于：

若是，从处于该位置的轨迹上取出指定轨迹点。

在一个实施例中，轨迹重排模块判断Q1中是否存在T时，具体用于：

遍历Q1中的轨迹T1；

在一个实施例中，所述重叠度为：

在一个实施例中，若该位置上不存在轨迹，轨迹重排模块还进一步用于：

将所述当前总帧数确定为所述目标帧数。

在一个实施例中，所述指定轨迹点为对应轨迹上的最早轨迹点。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的视频摘要生成方法。

本发明视频摘要生成装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，图5是本发明根据一示例性实施例示出的视频摘要生成装置10所在电子设备的一种硬件结构图，除了图5所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的视频摘要生成方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种视频摘要生成方法，其特征在于，包括：

2.如权利要求1所述的视频摘要生成方法，其特征在于，按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点，包括：

若是，从处于该位置的轨迹上取出指定轨迹点。

3.如权利要求2所述的视频摘要生成方法，其特征在于，判断Q1中是否存在T，包括：

遍历Q1中的轨迹T1；

4.如权利要求3所述的视频摘要生成方法，其特征在于，所述重叠度为：

5.如权利要求2所述的视频摘要生成方法，其特征在于，若该位置上不存在轨迹，该方法还进一步包括：

将所述当前总帧数确定为所述目标帧数。

6.如权利要求1所述的视频摘要生成方法，其特征在于，所述指定轨迹点为对应轨迹上的最早轨迹点。

7.一种视频摘要生成装置，其特征在于，包括：

8.如权利要求7所述的视频摘要生成装置，其特征在于，轨迹重排模块按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，并取出Q2中轨迹上的指定轨迹点时，具体用于：

若是，从处于该位置的轨迹上取出指定轨迹点。

9.如权利要求8所述的视频摘要生成装置，其特征在于，轨迹重排模块判断Q1中是否存在T时，具体用于：

遍历Q1中的轨迹T1；

10.如权利要求9所述的视频摘要生成装置，其特征在于，所述重叠度为：

11.如权利要求8所述的视频摘要生成装置，其特征在于，若该位置上不存在轨迹，轨迹重排模块还进一步用于：

将所述当前总帧数确定为所述目标帧数。

12.如权利要求7所述的视频摘要生成装置，其特征在于，所述指定轨迹点为对应轨迹上的最早轨迹点。

13.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-6中任意一项所述的视频摘要生成方法。

14.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-6中任意一项所述的视频摘要生成方法。