CN113949823A - 一种视频浓缩方法及装置 - Google Patents

Abstract

本发明公开了一种视频浓缩方法及装置。所述视频浓缩方法，包括：获取视频文件，并从所述视频文件的每一视频帧中识别出若干个运动物体，得到各个所述视频帧中的所有运动物体；遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表；根据所述目标运动物体列表，从所述视频文件中提取出所有所述目标运动物体，将所有所述目标运动物体拼接到背景帧中，得到视频浓缩文件。本发明能够提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

Description

一种视频浓缩方法及装置

技术领域

本发明涉及视频监控技术领域，尤其涉及一种视频浓缩方法及装置。

背景技术

视频监控系统除了能提供实时的实况视频画面以外，还可以通过存储视频文件来提供视频回放功能，方便人们查看回放视频获得诸多有用的信息。随着视频监控系统的应用范围越来越广，视频文件越来越多，占用了大量存储空间。

为了解决存储空间问题，通常选择应用视频浓缩/视频摘要技术对视频文件进行浓缩处理，得到视频浓缩文件。现有的视频浓缩算法主要是基于OpenCV的背景提取算法来识别出相对于背景帧存在偏移的所有差异目标，再按照顺序将所有差异目标拼接到背景帧中形成视频浓缩文件。由于该算法识别出来的差异目标可能是噪声或多种运动目标的并集，导致视频浓缩文件中容易存在无用的图像数据，视频浓缩效率不佳，且难以对视频浓缩文件做进一步分析处理。

发明内容

为了克服现有技术的缺陷，本发明提供一种视频浓缩方法及装置，能够提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

为了解决上述技术问题，第一方面，本发明一实施例提供一种视频浓缩方法，包括：

获取视频文件，并从所述视频文件的每一视频帧中识别出若干个运动物体，得到各个所述视频帧中的所有运动物体；

遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表；

根据所述目标运动物体列表，从所述视频文件中提取出所有所述目标运动物体，将所有所述目标运动物体拼接到背景帧中，得到视频浓缩文件。

进一步地，所述视频浓缩方法，还包括：

根据所述目标运动物体列表，对所述视频文件中没有所述目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件。

进一步地，所述视频浓缩方法，还包括：

生成每一所述目标运动物体的索引数据。

进一步地，在所述遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表之前，还包括：

获取各个所述运动物体的特征相似度；其中，所述运动物体的特征相似度是根据所述运动物体的外表特征、运动特征和交互特征计算得到的。

进一步地，在所述遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体之后，在所述得到目标运动物体列表之前，还包括：

判断所述目标运动物体的像素值是否小于预设像素阈值，若是，则剔除所述目标运动物体；和/或，

判断所述目标运动物体的出现时长是否小于预设时长阈值，若是，则剔除所述目标运动物体。

进一步地，在所述根据所述目标运动物体列表，从所述视频文件中提取出所有所述目标运动物体，将所有所述目标运动物体拼接到背景帧中，得到视频浓缩文件之前，还包括：

根据预设采样周期抽取所述视频文件中的视频帧，并对抽取的所有视频帧进行累加后取平均值，将得到的平均帧作为所述背景帧。

进一步地，所述视频浓缩方法，还包括：

将所述视频浓缩文件存储于HDFS分布式文件系统。

进一步地，所述视频浓缩方法，还包括：

将所有所述视频片段文件存储于HDFS分布式文件系统。

进一步地，所述视频浓缩方法，还包括：

将各个所述目标运动物体的索引数据存储于ElasticSearch数据库。

第二方面，本发明一实施例提供一种视频浓缩装置，包括：

单目标识别模块，用于获取视频文件，并从所述视频文件的每一视频帧中识别出若干个运动物体，得到各个所述视频帧中的所有运动物体；

多目标跟踪模块，用于遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表；

视频浓缩模块，用于根据所述目标运动物体列表，从所述视频文件中提取出所有所述目标运动物体，将所有所述目标运动物体拼接到背景帧中，得到视频浓缩文件。

本发明的实施例，具有如下有益效果：

通过获取视频文件，并从视频文件的每一视频帧中识别出若干个运动物体，得到各个视频帧中的所有运动物体，遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表，根据目标运动物体列表，从视频文件中提取出所有目标运动物体，将所有目标运动物体拼接到背景帧中，得到视频浓缩文件，完成视频浓缩。相比于现有技术，本发明的实施例通过在得到各个视频帧中的所有运动物体之后，遍历视频文件跟踪每一运动物体的运动轨迹，根据得到的目标运动物体列表，从视频文件中提取出目标运动物体进行视频浓缩，能够有效避免将无用的运动物体及重叠的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

进一步地，本发明的实施例通过根据目标运动物体列表，对视频文件中没有目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件，能够减少视频文件的存储空间，同时保留目标运动物体完整的运动轨迹，更好地为后续的分析处理提供有用的图像数据。

进一步地，本发明的实施例通过生成每一目标运动物体的索引数据，能够方便快速地检索出目标运动物体对应的视频浓缩文件或视频片段文件，有利于提高后续的分析处理效率。

附图说明

图1为本发明第一实施例中的一种视频浓缩方法的流程示意图；

图2为本发明第一实施例中的一种视频浓缩方法的数据流图；

图3为本发明第一实施例中的一种视频浓缩方法的另一流程示意图；

图4为本发明第二实施例中的一种视频浓缩装置的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的终端设备执行，且下文均以终端设备的处理器作为执行主体为例进行说明。

第一实施例：

如图1所示，第一实施例提供一种视频浓缩方法，包括步骤S1～S3：

S1、获取视频文件，并从视频文件的每一视频帧中识别出若干个运动物体，得到各个视频帧中的所有运动物体；

S2、遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表；

S3、根据目标运动物体列表，从视频文件中提取出所有目标运动物体，将所有目标运动物体拼接到背景帧中，得到视频浓缩文件。

如图2-3所示，作为示例性地，在步骤S1中，网络摄像机IPC拍摄视频，并通过IP端口向网络视频录像机NVR传输视频流。网络视频录像机NVR对视频流录像得到视频文件，并将视频文件转发给处理器。处理器基于单目标识别算法，从视频文件的每一视频帧中识别出若干个运动物体，得到各个视频帧中的所有运动物体。

单目标识别算法可以从单个图像中识别出单个物体，但视频文件由多个视频帧组成，如果只应用单目标识别算法，那么各个视频帧中的所有运动物体都是割裂的，难以跟踪各个运动物体的运动轨迹，获取需要的目标运动物体。

在步骤S2中，为了跟踪各个运动物体的运动轨迹，引入多目标跟踪识别算法思想，处理器在获取各个运动物体的特征相似度后，遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧，即当前视频帧的上一视频帧和/或下一视频帧中的每一运动物体的相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表。

例如，假设视频帧A和视频帧B为两个相邻的视频帧，视频帧A中的运动物体1的特征相似度A1＝46，视频帧A中的运动物体2的特征相似度A2＝78，视频帧B中的运动物体1的特征相似度B1＝50，视频帧B中的运动物体2的特征相似度B2＝72，将A1分别与B1和B2比对，由于|A1-B1|＜|A1-B2|，因此可将视频帧A中的运动物体1与视频帧B中的运动物体1认为是同一个目标运动物体，将A2分别与B1和B2比对，由于|A2-B1|＞|A2-B2|，因此可将视频帧A中的运动物体2与视频帧B中的运动物体2认为是同一个目标运动物体，按此操作遍历视频文件的每一视频帧整理出多个目标运动物体，得到目标运动物体列表。

其中，目标运动物体列表包括目标运动物体的id、类别、起始帧、结束帧、最大像素帧、最大像素矩形等。

在步骤S3中，处理器在获取背景帧后，根据目标运动物体列表，从视频文件中提取出所有目标运动物体，根据视频帧顺序将所有目标运动物体拼接到背景帧中，得到视频浓缩文件。

其中，背景帧可以是预先设定的背景图像，可以是视频文件中预先指定的一个视频帧，也可以是对视频文件的视频帧做一系列处理得到的视频帧。

本实施例通过在得到各个视频帧中的所有运动物体之后，遍历视频文件跟踪每一运动物体的运动轨迹，根据得到的目标运动物体列表，从视频文件中提取出目标运动物体进行视频浓缩，能够有效避免将无用的运动物体及重叠的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，所述视频浓缩方法，还包括：根据目标运动物体列表，对视频文件中没有目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件。

作为示例性地，根据目标运动物体列表，裁剪掉视频文件中没有目标运动物体的部分视频帧，将视频文件分割为多个视频片段文件。

本实施例通过根据目标运动物体列表，对视频文件中没有目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件，能够减少视频文件的存储空间，同时保留目标运动物体完整的运动轨迹，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，所述视频浓缩方法，还包括：生成每一目标运动物体的索引数据。

作为示例性地，结合实际监控需求提取每一目标运动物体的监控特征，并根据每一目标运动物体的监控特征生成对应的索引数据。

例如，通过颜色识别算法提取每一目标运动物体的颜色特征，通过车牌识别算法提取每一目标运动物体的车牌特征，根据每一目标运动物体的颜色特征、车牌特征生成有关颜色、车牌关键字段的索引数据，使得后续可直接根据索引数据快速检索出目标运动物体对应的视频浓缩文件或视频片段文件。

本实施例通过生成每一目标运动物体的索引数据，能够方便快速地检索出目标运动物体对应的视频浓缩文件或视频片段文件，有利于提高后续的分析处理效率。

在优选的实施例当中，在所述遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表之前，还包括：获取各个运动物体的特征相似度；其中，运动物体的特征相似度是根据运动物体的外表特征、运动特征和交互特征计算得到的。

作为示例性地，通过神经网络获取每一视频帧中各个运动物体关于外表特征、运动特征和交互特征三种特征的特征相似度。

本实施例通过获取各个运动物体关于外表特征、运动特征和交互特征三种特征的特征相似度，能够在后续多目标跟踪识别的过程中，基于多种特征多方面评价相邻的两个视频帧中各个运动物体之间的相关程度，有利于准确跟踪各个运动物体的运动轨迹，有效避免将无用的运动物体及重叠的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，在所述遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体之后，在所述得到目标运动物体列表之前，还包括：判断目标运动物体的像素值是否小于预设像素阈值，若是，则剔除目标运动物体；和/或，判断目标运动物体的出现时长是否小于预设时长阈值，若是，则剔除目标运动物体。

作为示例性地，在遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体初选列表后，剔除掉目标运动物体初选列表中像素值小于预设像素阈值，和/或出现时长小于预设时长阈值的目标运动物体，得到目标运动物体列表。

本实施例通过剔除像素值过小和/或出现时长过短的目标运动物体，能够有效避免将无用的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，在所述根据目标运动物体列表，从视频文件中提取出所有目标运动物体，将所有目标运动物体拼接到背景帧中，得到视频浓缩文件之前，还包括：根据预设采样周期抽取视频文件中的视频帧，并对抽取的所有视频帧进行累加后取平均值，将得到的平均帧作为背景帧。

作为示例性地，播放视频文件，每2s从视频文件中抽取当前播放的视频帧，对抽取的所有视频帧累加后取平均值，得到平均帧，将平均帧作为背景帧。

本实施例通过对从视频文件中抽取的所有视频帧累加后取平均值，将得到的平均帧作为背景帧，能够进一步保留视频文件中有用的图像数据，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，所述视频浓缩方法，还包括：将视频浓缩文件存储于HDFS分布式文件系统。

在本实施例的一优选实施方式中，在所述将视频浓缩文件存储于HDFS分布式文件系统之前，还包括：对视频浓缩文件进行封装。

在优选的实施例当中，所述视频浓缩方法，还包括：将所有视频片段文件存储于HDFS分布式文件系统。

在本实施例的一优选实施方式中，在所述将所有视频片段文件存储于HDFS分布式文件系统之前，还包括：对所有视频片段文件进行封装。

HDFS分布式文件系统是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。

本实施例通过将视频浓缩文件及所有视频片段文件存储于HDFS分布式文件系统，能够利用HDFS分布式文件系统的高容错性、高吞吐量的特点，统一存储大量视频浓缩文件及视频片段文件，有利于提高后续的分析处理效率。

在优选的实施例当中，所述视频浓缩方法，还包括：将各个目标运动物体的索引数据存储于ElasticSearch数据库。

ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。

本实施例通过将各个目标运动物体的索引数据存储于ElasticSearch数据库，能够利用ElasticSearch的全文搜索功能，根据索引数据快速检索出目标运动物体对应的视频浓缩文件或视频片段文件，有利于提高后续的分析处理效率。

如图4所示，第二实施例提供一种视频浓缩装置，包括：单目标识别模块21，用于获取视频文件，并从视频文件的每一视频帧中识别出若干个运动物体，得到各个视频帧中的所有运动物体；多目标跟踪模块22，用于遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表；视频浓缩模块23，用于根据目标运动物体列表，从视频文件中提取出所有目标运动物体，将所有目标运动物体拼接到背景帧中，得到视频浓缩文件。

作为示例性地，网络摄像机IPC拍摄视频，并通过IP端口向网络视频录像机NVR传输视频流。网络视频录像机NVR对视频流录像得到视频文件，并将视频文件转发给视频浓缩装置。通过单目标识别模块21，基于单目标识别算法，从视频文件的每一视频帧中识别出若干个运动物体，得到各个视频帧中的所有运动物体。

单目标识别算法可以从单个图像中识别出单个物体，但视频文件由多个视频帧组成，如果只应用单目标识别算法，那么各个视频帧中的所有运动物体都是割裂的，难以跟踪各个运动物体的运动轨迹，获取需要的目标运动物体。

为了跟踪各个运动物体的运动轨迹，引入多目标跟踪识别算法思想，通过多目标跟踪模块22，在获取各个运动物体的特征相似度后，遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧，即当前视频帧的上一视频帧和/或下一视频帧中的每一运动物体的相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表。

例如，假设视频帧A和视频帧B为两个相邻的视频帧，视频帧A中的运动物体1的特征相似度A1＝46，视频帧A中的运动物体2的特征相似度A2＝78，视频帧B中的运动物体1的特征相似度B1＝50，视频帧B中的运动物体2的特征相似度B2＝72，将A1分别与B1和B2比对，由于|A1-B1|＜|A1-B2|，因此可将视频帧A中的运动物体1与视频帧B中的运动物体1认为是同一个目标运动物体，将A2分别与B1和B2比对，由于|A2-B1|＞|A2-B2|，因此可将视频帧A中的运动物体2与视频帧B中的运动物体2认为是同一个目标运动物体，按此操作遍历视频文件的每一视频帧整理出多个目标运动物体，得到目标运动物体列表。

其中，目标运动物体列表包括目标运动物体的id、类别、起始帧、结束帧、最大像素帧、最大像素矩形等。

通过视频浓缩模块23，在获取背景帧后，根据目标运动物体列表，从视频文件中提取出所有目标运动物体，根据视频帧顺序将所有目标运动物体拼接到背景帧中，得到视频浓缩文件。

其中，背景帧可以是预先设定的背景图像，可以是视频文件中预先指定的一个视频帧，也可以是对视频文件的视频帧做一系列处理得到的视频帧。

本实施例通过在得到各个视频帧中的所有运动物体之后，遍历视频文件跟踪每一运动物体的运动轨迹，根据得到的目标运动物体列表，从视频文件中提取出目标运动物体进行视频浓缩，能够有效避免将无用的运动物体及重叠的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，所述视频浓缩装置，还包括：视频裁剪模块；视频裁剪模块，用于根据目标运动物体列表，对视频文件中没有目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件。

作为示例性地，通过视频裁剪模块，根据目标运动物体列表，裁剪掉视频文件中没有目标运动物体的部分视频帧，将视频文件分割为多个视频片段文件。

本实施例通过根据目标运动物体列表，对视频文件中没有目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件，能够减少视频文件的存储空间，同时保留目标运动物体完整的运动轨迹，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，所述视频浓缩装置，还包括：索引生成模块；索引生成模块，用于生成每一目标运动物体的索引数据。

作为示例性地，通过索引生成模块，结合实际监控需求提取每一目标运动物体的监控特征，并根据每一目标运动物体的监控特征生成对应的索引数据。

例如，通过颜色识别算法提取每一目标运动物体的颜色特征，通过车牌识别算法提取每一目标运动物体的车牌特征，根据每一目标运动物体的颜色特征、车牌特征生成有关颜色、车牌关键字段的索引数据，使得后续可直接根据索引数据快速检索出目标运动物体对应的视频浓缩文件或视频片段文件。

本实施例通过生成每一目标运动物体的索引数据，能够方便快速地检索出目标运动物体对应的视频浓缩文件或视频片段文件，有利于提高后续的分析处理效率。

在优选的实施例当中，在所述遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表之前，还包括：获取各个运动物体的特征相似度；其中，运动物体的特征相似度是根据运动物体的外表特征、运动特征和交互特征计算得到的。

作为示例性地，通过神经网络获取每一视频帧中各个运动物体关于外表特征、运动特征和交互特征三种特征的特征相似度。

本实施例通过获取各个运动物体关于外表特征、运动特征和交互特征三种特征的特征相似度，能够在后续多目标跟踪识别的过程中，基于多种特征多方面评价相邻的两个视频帧中各个运动物体之间的相关程度，有利于准确跟踪各个运动物体的运动轨迹，有效避免将无用的运动物体及重叠的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，在所述遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体之后，在所述得到目标运动物体列表之前，还包括：判断目标运动物体的像素值是否小于预设像素阈值，若是，则剔除目标运动物体；和/或，判断目标运动物体的出现时长是否小于预设时长阈值，若是，则剔除目标运动物体。

作为示例性地，在遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体初选列表后，剔除掉目标运动物体初选列表中像素值小于预设像素阈值，和/或出现时长小于预设时长阈值的目标运动物体，得到目标运动物体列表。

本实施例通过剔除像素值过小和/或出现时长过短的目标运动物体，能够有效避免将无用的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，在所述根据目标运动物体列表，从视频文件中提取出所有目标运动物体，将所有目标运动物体拼接到背景帧中，得到视频浓缩文件之前，还包括：根据预设采样周期抽取视频文件中的视频帧，并对抽取的所有视频帧进行累加后取平均值，将得到的平均帧作为背景帧。

作为示例性地，播放视频文件，每2s从视频文件中抽取当前播放的视频帧，对抽取的所有视频帧累加后取平均值，得到平均帧，将平均帧作为背景帧。

本实施例通过对从视频文件中抽取的所有视频帧累加后取平均值，将得到的平均帧作为背景帧，能够进一步保留视频文件中有用的图像数据，更好地为后续的分析处理提供有用的图像数据。

在优选的实施例当中，视频浓缩模块23，还用于将视频浓缩文件存储于HDFS分布式文件系统。

在本实施例的一优选实施方式中，在所述将视频浓缩文件存储于HDFS分布式文件系统之前，还包括：对视频浓缩文件进行封装。

在优选的实施例当中，视频裁剪模块，还用于将所有视频片段文件存储于HDFS分布式文件系统。

在本实施例的一优选实施方式中，在所述将所有视频片段文件存储于HDFS分布式文件系统之前，还包括：对所有视频片段文件进行封装。

HDFS分布式文件系统是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。

本实施例通过将视频浓缩文件及所有视频片段文件存储于HDFS分布式文件系统，能够利用HDFS分布式文件系统的高容错性、高吞吐量的特点，统一存储大量视频浓缩文件及视频片段文件，有利于提高后续的分析处理效率。

在优选的实施例当中，索引生成模块，还用于将各个目标运动物体的索引数据存储于ElasticSearch数据库。

ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。

本实施例通过将各个目标运动物体的索引数据存储于ElasticSearch数据库，能够利用ElasticSearch的全文搜索功能，根据索引数据快速检索出目标运动物体对应的视频浓缩文件或视频片段文件，有利于提高后续的分析处理效率。

综上所述，实施本发明的实施例，具有如下有益效果：

通过获取视频文件，并从视频文件的每一视频帧中识别出若干个运动物体，得到各个视频帧中的所有运动物体，遍历每一视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以当前视频帧和相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表，根据目标运动物体列表，从视频文件中提取出所有目标运动物体，将所有目标运动物体拼接到背景帧中，得到视频浓缩文件，完成视频浓缩。本发明的实施例通过在得到各个视频帧中的所有运动物体之后，遍历视频文件跟踪每一运动物体的运动轨迹，根据得到的目标运动物体列表，从视频文件中提取出目标运动物体进行视频浓缩，能够有效避免将无用的运动物体及重叠的运动物体作为目标运动物体进行视频浓缩，从而提高视频浓缩效率，更好地为后续的分析处理提供有用的图像数据。

进一步地，本发明的实施例通过根据目标运动物体列表，对视频文件中没有目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件，能够减少视频文件的存储空间，同时保留目标运动物体完整的运动轨迹，更好地为后续的分析处理提供有用的图像数据。

进一步地，本发明的实施例通过生成每一目标运动物体的索引数据，能够方便快速地检索出目标运动物体对应的视频浓缩文件或视频片段文件，有利于提高后续的分析处理效率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (10)

1.一种视频浓缩方法，其特征在于，包括：

获取视频文件，并从所述视频文件的每一视频帧中识别出若干个运动物体，得到各个所述视频帧中的所有运动物体；

遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表；

根据所述目标运动物体列表，从所述视频文件中提取出所有所述目标运动物体，将所有所述目标运动物体拼接到背景帧中，得到视频浓缩文件。

2.如权利要求1所述的视频浓缩方法，其特征在于，还包括：

根据所述目标运动物体列表，对所述视频文件中没有所述目标运动物体的视频帧进行裁剪处理，得到多个视频片段文件。

3.如权利要求1或2所述的视频浓缩方法，其特征在于，还包括：

生成每一所述目标运动物体的索引数据。

4.如权利要求1所述的视频浓缩方法，其特征在于，在所述遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表之前，还包括：

获取各个所述运动物体的特征相似度；其中，所述运动物体的特征相似度是根据所述运动物体的外表特征、运动特征和交互特征计算得到的。

5.如权利要求1或4所述的视频浓缩方法，其特征在于，在所述遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体之后，在所述得到目标运动物体列表之前，还包括：

判断所述目标运动物体的像素值是否小于预设像素阈值，若是，则剔除所述目标运动物体；和/或，

判断所述目标运动物体的出现时长是否小于预设时长阈值，若是，则剔除所述目标运动物体。

6.如权利要求1所述的视频浓缩方法，其特征在于，在所述根据所述目标运动物体列表，从所述视频文件中提取出所有所述目标运动物体，将所有所述目标运动物体拼接到背景帧中，得到视频浓缩文件之前，还包括：

根据预设采样周期抽取所述视频文件中的视频帧，并对抽取的所有视频帧进行累加后取平均值，将得到的平均帧作为所述背景帧。

7.如权利要求1所述的视频浓缩方法，其特征在于，还包括，具体为：

将所述视频浓缩文件存储于HDFS分布式文件系统。

8.如权利要求2所述的视频浓缩方法，其特征在于，还包括：

将所有所述视频片段文件存储于HDFS分布式文件系统。

9.如权利要求3所述的视频浓缩方法，其特征在于，还包括：

将各个所述目标运动物体的索引数据存储于ElasticSearch数据库。

10.一种视频浓缩装置，其特征在于，包括：

单目标识别模块，用于获取视频文件，并从所述视频文件的每一视频帧中识别出若干个运动物体，得到各个所述视频帧中的所有运动物体；

多目标跟踪模块，用于遍历每一所述视频帧，将当前视频帧中的每一运动物体的特征相似度分别与相邻视频帧中的每一运动物体的特征相似度进行比对，以所述当前视频帧和所述相邻视频帧中特征相似度差值最小的两个运动物体作为同一个目标运动物体，得到目标运动物体列表；

视频浓缩模块，用于根据所述目标运动物体列表，从所述视频文件中提取出所有所述目标运动物体，将所有所述目标运动物体拼接到背景帧中，得到视频浓缩文件。

Images