CN113132730A - 一种基于多帧内容的视频数据智能压缩方法及装置 - Google Patents

Abstract

本说明书实施例公开一种基于多帧内容的视频数据智能压缩方法及装置。该方法包括：逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据；基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间，其中，所述事件检测模型用于使得视频数据的分析数据与对应的事件类别相关联；按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩，得到压缩后的视频数据。

Description

一种基于多帧内容的视频数据智能压缩方法及装置

本说明书涉及视频编码领域，具体而言，涉及一种基于多帧内容的视频数据智能压缩方法及装置。

背景技术

在进行视频编码时，码率和帧率往往被固定设置，此种方法保证任意区间的视频质量稳定的同时也导致产生数据量的速率基本固定。对于某些领域，如安防，用户并非关心视频中所有内容，所以对兴趣点视频段、非兴趣点视频段不加区分进行相同的压缩逻辑处理，无疑是对存储空间的一种浪费，对于海量视频数据来说更是如此。

而且，目前基于视频内容的视频数据压缩仅仅是单帧的图像分析，仅能进行简单的运动、目标检测，另外无法应对背景变化等更通用的场景。

发明内容

本说明书实施例提供一种基于多帧内容的视频数据智能压缩方法及装置，用以克服现有技术中存在的至少一个技术问题。

根据本说明书实施例的第一方面，提供一种基于多帧内容的视频数据智能压缩方法，包括：

逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据，其中，所述分析数据包括：兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系信息以及兴趣目标的运动轨迹信息，所述兴趣目标为用户关注的目标；

基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间，其中，所述事件检测模型用于使得视频数据的分析数据与对应的事件类别相关联，事件包括用户关注事件和用户不关注事件；

按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩，得到压缩后的视频数据，其中，所述编码配置数据包括帧率和码率。

可选地，所述逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据的步骤包括：

按照先后顺序逐帧读取视频数据，获取每帧视频数据的每个像素点的目标类别信息和目标位置信息；

根据预设的兴趣目标，确定兴趣目标的位置信息，并获取兴趣目标与周围目标的位置关系信息；

根据目标跟踪算法，结合兴趣目标的位置信息，对兴趣目标进行跟踪，得到所有兴趣目标的所有运动轨迹，以及每个运动轨迹对应的开始跟踪时间和结束跟踪时间。

可选地，当兴趣目标为人时，所述分析数据还包括人的姿态信息。

可选地，所述事件检测模型通过以下步骤生成，包括：

获取训练样本集，其中，所述训练样本集包括多个训练样本组，每组所述训练样本组包括样本视频数据的样本分析数据和对应的轨迹事件类别，所述样本分析数据包括兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹；

通过所述训练样本集对基于机器学习的事件检测模型进行训练，得到所述事件检测模型，所述事件检测模型使得每组训练样本组的样本分析数据和对应的轨迹事件类别相关联。

可选地，所述基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间的步骤包括：

将兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹，输入所述事件检测模型，得到该运动轨迹对应的轨迹事件类别；

将该运动轨迹对应的开始跟踪时间和结束跟踪时间分别作为该运动轨迹对应的轨迹事件的开始时间和结束时间；

判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠；

若有重叠，则根据预设的优先级，将优先级最高的运动轨迹对应的轨迹事件类别作为重叠的时间段的事件类别，将该运动轨迹对应的轨迹事件类别作为不重叠的时间段的事件类别，其中，所述优先级根据用户对事件的关注度来进行排序；

若没有重叠，则将该运动轨迹对应的轨迹事件类别作为该运动轨迹对应的开始跟踪时间和结束跟踪时间对应的时间段的事件类别，其中，对于没有识别出轨迹事件类别的运动轨迹，将所述用户不关注事件作为该运动轨迹对应的事件类别，对于没有包含兴趣目标的时间段，将所述用户不关注事件作为该时间段的事件类别。

可选地，所述按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩的步骤包括：

根据每个事件对应的时间段，将待压缩的视频数据从时间逻辑上分为多个视频段，每个视频段对应一个事件；

根据每个视频段的事件类别，从所述事件权重配置数据表中取出对应的编码配置数据；

按照所述编码配置数据中的帧率和码率，对每个视频段进行编码，得到压缩后的视频数据。

根据本说明书实施例的第二方面，提供一种基于多帧内容的视频数据智能压缩装置，包括：

视觉算法分析模块，被配置为逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据，其中，所述分析数据包括：兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系信息以及兴趣目标的运动轨迹信息，所述兴趣目标为用户关注的目标；

事件检测模块，被配置为基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间，其中，所述事件检测模型用于使得视频数据的分析数据与对应的事件类别相关联，事件包括用户关注事件和用户不关注事件；

视频数据压缩模块，被配置为按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩，得到压缩后的视频数据，其中，所述编码配置数据包括帧率和码率。

可选地，所述视觉算法分析模块包括：

类别和位置信息获取单元，被配置为按照先后顺序逐帧读取视频数据，获取每帧视频数据的每个像素点的目标类别信息和目标位置信息；

位置关系信息获取单元，被配置为根据预设的兴趣目标，确定兴趣目标的位置信息，并获取兴趣目标与周围目标的位置关系信息；

运动轨迹信息获取单元，被配置为根据目标跟踪算法，结合兴趣目标的位置信息，对兴趣目标进行跟踪，得到所有兴趣目标的所有运动轨迹，以及每个运动轨迹对应的开始跟踪时间和结束跟踪时间。

可选地，该装置还包括事件检测模型生成模块，所述事件检测模型生成模块包括：

训练样本集获取单元，被配置为获取训练样本集，其中，所述训练样本集包括多个训练样本组，每组所述训练样本组包括样本视频数据的样本分析数据和对应的轨迹事件类别，所述样本分析数据包括兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹；

训练单元，被配置为通过所述训练样本集对基于机器学习的事件检测模型进行训练，得到所述事件检测模型，所述事件检测模型使得每组训练样本组的样本分析数据和对应的轨迹事件类别相关联。

可选地，所述事件检测模块包括：

轨迹事件类别检测单元，被配置为将兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹，输入所述事件检测模型，得到该运动轨迹对应的轨迹事件类别；

轨迹事件时间获取单元，被配置为将该运动轨迹对应的开始跟踪时间和结束跟踪时间分别作为该运动轨迹对应的轨迹事件的开始时间和结束时间；

判断单元，被配置为判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠；

时间段事件类别第一确定单元，被配置为若有重叠，则根据预设的优先级，将优先级最高的运动轨迹对应的轨迹事件类别作为重叠的时间段的事件类别，将该运动轨迹对应的轨迹事件类别作为不重叠的时间段的事件类别，其中，所述优先级根据用户对事件的关注度来进行排序；

时间段事件类别第二确定单元，被配置为若没有重叠，则将该运动轨迹对应的轨迹事件类别作为该运动轨迹对应的开始跟踪时间和结束跟踪时间对应的时间段的事件类别，其中，对于没有识别出轨迹事件类别的运动轨迹，将所述用户不关注事件作为该运动轨迹对应的事件类别，对于没有包含兴趣目标的时间段，将所述用户不关注事件作为该时间段的事件类别。

可选地，所述视频数据压缩模块包括：

视频数据分段单元，被配置为根据每个事件对应的时间段，将待压缩的视频数据从时间逻辑上分为多个视频段，每个视频段对应一个事件；

编码配置数据获取单元，被配置为根据每个视频段的事件类别，从所述事件权重配置数据表中取出对应的编码配置数据；

视频数据压缩单元，被配置为按照所述编码配置数据中的帧率和码率，对每个视频段进行编码，得到压缩后的视频数据。

本说明书实施例的有益效果如下：

在逐帧读取到待压缩的视频数据后，基于视觉分析算法，获取视频数据的分析数据，基于事件检测模型以及分析数据，获取视频数据中包含的事件，按照事件的先后顺序，根据事件类别对应的编码配置数据对视频数据进行分段压缩，得到压缩后的视频数据。在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题；且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率，解决了现有技术中仅取单帧视频数据进行分析，获取有效信息不足的问题而导致的压缩效率不高的问题。在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系，根据用户对事件的关注程度对事件类别进行优先级的划分，从人的角度去定义压缩逻辑，提高了压缩过程的智能度，解决了现有技术中压缩过程的智能度不高的问题。根据用户对事件的关注程度，对不同事件类别进行相应的压缩编码配置，对于用户不关注的事件可以配置较低的码率和帧率，对于用户关注的事件可以配置较高的码率和帧率，使得该压缩方法更加适应实际的应用情况，还减少了不必要的数据量，节省存储空间。对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，解决了现有技术中由于获取的视频内容信息有限，继而无法进一步进行有区分度的压缩，压缩过程死板的问题。

本说明书实施例的创新点包括：

1、在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题；且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率；在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系，根据用户对事件的关注程度对事件类别进行优先级的划分，从人的角度去定义压缩逻辑，提高了压缩过程的智能度；根据用户对事件的关注程度，对不同事件类别进行相应的压缩编码配置，对于用户不关注的事件可以配置较低的码率和帧率，对于用户关注的事件可以配置较高的码率和帧率，使得该压缩方法更加适应实际的应用情况，还减少了不必要的数据量，节省存储空；对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，是本说明书实施例的创新点之一。

2、在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题；且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率，解决了现有技术中仅取单帧视频数据进行分析，获取有效信息不足的问题而导致的压缩效率不高的问题，是本说明书实施例的创新点之一。

3、在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系，根据用户对事件的关注程度对事件类别进行优先级的划分，从人的角度去定义压缩逻辑，提高了压缩过程的智能度，解决了现有技术中压缩过程的智能度不高的问题，是本说明书实施例的创新点之一。

4、根据用户对事件的关注程度，对不同事件类别进行相应的压缩编码配置，对于用户不关注的事件可以配置较低的码率和帧率，对于用户关注的事件可以配置较高的码率和帧率，使得该压缩方法更加适应实际的应用情况，还减少了不必要的数据量，节省存储空间，是本说明书实施例的创新点之一。

5、对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，解决了现有技术中由于获取的视频内容信息有限，继而无法进一步进行有区分度的压缩，压缩过程死板的问题，是本说明书实施例的创新点之一。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩方法的流程示意图；

图2是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩方法的一种流程示意图；

图3是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩方法的另一种流程示意图；

图4是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩装置的模块示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

需要说明的是，本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书实施例公开了一种基于多帧内容的视频数据智能压缩方法及装置。以下分别进行详细说明。

图1是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩方法的流程示意图。如图1所示，该方法具体包括以下步骤：

S110：逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据，其中，所述分析数据包括：兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系信息以及兴趣目标的运动轨迹信息，所述兴趣目标为用户关注的目标；

按照先后顺序逐帧读取视频数据，获取每帧视频数据的每个像素点的目标类别信息和目标位置信息；根据预设的兴趣目标，确定兴趣目标的位置信息，并获取兴趣目标与周围目标的位置关系信息；根据目标跟踪算法，结合兴趣目标的位置信息，对兴趣目标进行跟踪，得到所有兴趣目标的所有运动轨迹，以及每个运动轨迹对应的开始跟踪时间和结束跟踪时间。首先，逐帧读取视频数据，利用视觉分析算法，如分类、检测、跟踪、分割等算法对每帧视频数据进行分析，在分析完一段视频数据后，重新逐帧读取新的视频数据，对该视频数据进行分析，最后得到完整的视频数据的分析数据。在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题；且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率，解决了现有技术中仅取单帧视频数据进行分析，获取有效信息不足的问题而导致的压缩效率不高的问题。

在一个具体实施例中，当兴趣目标为人时，所述分析数据还包括人的姿态信息，所述姿态信息通过目标检测算法的边缘框获得。为提升事件检测模型本身的准确性，可以多加入一些信息进行辅助判断，输入信息越多，输出的事件类别越准确。

S120：基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间，其中，所述事件检测模型用于使得视频数据的分析数据与对应的事件类别相关联，事件包括用户关注事件和用户不关注事件；

将兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹，输入所述事件检测模型，得到该运动轨迹对应的轨迹事件类别；将该运动轨迹对应的开始跟踪时间和结束跟踪时间分别作为该运动轨迹对应的轨迹事件的开始时间和结束时间；判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠，若有重叠，则根据预设的优先级，将优先级最高的运动轨迹对应的轨迹事件类别作为重叠的时间段的事件类别，将该运动轨迹对应的轨迹事件类别作为不重叠的时间段的事件类别，其中，所述优先级根据用户对事件的关注度来进行排序；若没有重叠，则将该运动轨迹对应的轨迹事件类别作为该运动轨迹对应的开始跟踪时间和结束跟踪时间对应的时间段的事件类别，其中，对于没有识别出轨迹事件类别的运动轨迹，将所述用户不关注事件作为该运动轨迹对应的事件类别，对于没有包含兴趣目标的时间段，将所述用户不关注事件作为该时间段的事件类别。在事件检测模型获取到每个运动轨迹对应的轨迹事件类别后，判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠，根据轨迹事件类别的优先级，将视频数据中每一时间点都要匹配到相应的事件类别，对于连续的事件类别相同的时间段，将其对应的事件、事件类别、事件开始时间以及事件结束时间作为一个事件集合，使得后续对视频数据进行压缩时，可以根据时间上的事件先后顺序对视频数据进行压缩。在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系，根据用户对事件的关注程度对事件类别进行优先级的划分，从人的角度去定义压缩逻辑，提高了压缩过程的智能度，解决了现有技术中压缩过程的智能度不高的问题。根据用户对事件的关注程度，对不同事件类别进行相应的压缩编码配置，对于用户不关注的事件可以配置较低的码率和帧率，对于用户关注的事件可以配置较高的码率和帧率，使得该压缩方法更加适应实际的应用情况，还减少了不必要的数据量，节省存储空间。

在一个具体实施例中，事件检测模型通过以下步骤生成，包括：获取训练样本集，其中，所述训练样本集包括多个训练样本组，每组所述训练样本组包括样本视频数据的样本分析数据和对应的轨迹事件类别，所述样本分析数据包括兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹；通过所述训练样本集对基于机器学习的事件检测模型进行训练，得到所述事件检测模型，所述事件检测模型使得每组训练样本组的样本分析数据和对应的轨迹事件类别相关联。

S130：按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩，得到压缩后的视频数据，其中，所述编码配置数据包括帧率和码率。

视频数据分段单元，被配置为根据每个事件对应的时间段，将待压缩的视频数据从时间逻辑上分为多个视频段，每个视频段对应一个事件；编码配置数据获取单元，被配置为根据每个视频段的事件类别，从所述事件权重配置数据表中取出对应的编码配置数据；视频数据压缩单元，被配置为按照所述编码配置数据中的帧率和码率，对每个视频段进行编码，得到压缩后的视频数据。由上述内容可知，对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，解决了现有技术中由于获取的视频内容信息有限，继而无法进一步进行有区分度的压缩，压缩过程死板的问题。

在一个具体实施例中，该方法针对的是特定场景下的视频数据。

在总的实施例中，在逐帧读取到待压缩的视频数据后，基于视觉分析算法，获取视频数据的分析数据，基于事件检测模型以及分析数据，获取视频数据中包含的事件，按照事件的先后顺序，根据事件类别对应的编码配置数据对视频数据进行分段压缩，得到压缩后的视频数据。在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题；且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率，解决了现有技术中仅取单帧视频数据进行分析，获取有效信息不足的问题而导致的压缩效率不高的问题。在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系，根据用户对事件的关注程度对事件类别进行优先级的划分，从人的角度去定义压缩逻辑，提高了压缩过程的智能度，解决了现有技术中压缩过程的智能度不高的问题。根据用户对事件的关注程度，对不同事件类别进行相应的压缩编码配置，对于用户不关注的事件可以配置较低的码率和帧率，对于用户关注的事件可以配置较高的码率和帧率，使得该压缩方法更加适应实际的应用情况，还减少了不必要的数据量，节省存储空间。对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，解决了现有技术中由于获取的视频内容信息有限，继而无法进一步进行有区分度的压缩，压缩过程死板的问题。

图2是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩方法的一种流程示意图。如图2所示，首先，逐帧读取视频数据，利用视觉分析算法，如分类、检测、跟踪、分割等算法对每帧视频数据进行分析，在分析完一段视频数据后，再逐帧读取新的视频数据，对该视频数据进行分析，最后得到完整的视频数据的分析数据。将分析数据输入事件检测模型，得到运动轨迹对应的轨迹事件类别，判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠，根据轨迹事件类比的优先级，将视频数据中每一时间点都要匹配到相应的事件类别，对于连续的事件类别相同的时间段，将其对应的事件、事件类别、事件开始时间以及事件结束时间作为一个事件集合，从而得到视频数据中包含的所有事件、事件类别、事件开始时间和事件结束时间。如一个视频数据从头到尾，分别是A、B、A、C、B事件，这5个事件的持续时间分别是(start1,end1),(start2,end2),(start3,end3),(start4,end4),(start5，end5)，且start1＝0，end1＝start2，end2＝start3，end3＝start4，end4＝start5，end5＝视频时长。这里的事件并非都是用户关注的事件，如上述的A、B、A、C、B这个序列，如用户只关注B、C，那么A就是一个特殊的事件，代表了此用户不关注的事件以及没有事件任何发生的情况。从头遍历整个视频数据，依据视频数据中包含的所有事件、事件类别、事件开始时间和事件结束时间，将视频数据从时间逻辑上分成多个视频段，每个视频段对应一个事件。从事件权重配置数据表中取出事件的帧率、码率对对应的视频段进行编码，最后得到压缩后的视频数据，其中，所述事件权重配置数据表对不同的事件采用不同的帧率、码率进行存储。在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题。且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率，解决了现有技术中仅取单帧视频数据进行分析，获取有效信息不足的问题而导致的压缩效率不高的问题。在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系，根据用户对事件的关注程度对事件类别进行优先级的划分，从人的角度去定义压缩逻辑，提高了压缩过程的智能度，解决了现有技术中压缩过程的智能度不高的问题。根据用户对事件的关注程度，对不同事件类别进行相应的压缩编码配置，对于用户不关注的事件可以配置较低的码率和帧率，对于用户关注的事件可以配置较高的码率和帧率，使得该压缩方法更加适应实际的应用情况，还减少了不必要的数据量，节省存储空间。对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，解决了现有技术中由于获取的视频内容信息有限，继而无法进一步进行有区分度的压缩，压缩过程死板的问题。

图3是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩方法的另一种流程示意图。如图3所示，读取一帧视频数据，输入语义分割算法，得到每个像素点的物体类别和位置信息，根据兴趣目标的类别，确认兴趣目标的位置信息，例如兴趣目标为人，匹配到该帧视频数据中坐标位置为(128，146)这个像素点的类别结果是人，得到了兴趣目标的位置信息，并获取这个人与周围物体的位置关系信息。将这个人的位置信息输入目标跟踪算法，对这个人开始进行跟踪，循环读取若干帧视频数据后，即可得到这个人的一条运动轨迹，即一串的坐标点序列，记开始跟踪时间是start，结束跟踪时间是end。事件检测模型分析这个人与周围物体的位置关系信息和这个人的运动轨迹的特征，识别出该运动轨迹对应的轨迹事件类别，如最后识别出这个人在开走车。开走车分析逻辑如下：假如一个人在移动，此时车处于静止，最后人消失，消失时人正好在车旁边，随之车启动，此时我们即可判定该人的路径是一个“开走车”事件。假设这个人的运动轨迹与其他兴趣目标的运动轨迹对应的时间段没有重叠，将“开走车”事件的类别作为[start，end]这一时间段的事件类别，取出配置好的“开走车”事件的帧率、码率对[start，end]这段视频数据进行编码。在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题；且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率，解决了现有技术中仅取单帧视频数据进行分析，获取有效信息不足的问题而导致的压缩效率不高的问题。在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系。对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，解决了现有技术中由于获取的视频内容信息有限，继而无法进一步进行有区分度的压缩，压缩过程死板的问题。

图4是示出了根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩装置的模块示意图。如图4所示，根据本说明书实施例提供的一种基于多帧内容的视频数据智能压缩装置，可以包括：

视觉算法分析模块410，被配置为逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据，其中，所述分析数据包括：兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系信息以及兴趣目标的运动轨迹信息，所述兴趣目标为用户关注的目标；

在一个具体实施例中，所述视觉算法分析模块包括：

类别和位置信息获取单元，被配置为按照先后顺序逐帧读取视频数据，获取每帧视频数据的每个像素点的目标类别信息和目标位置信息；

位置关系信息获取单元，被配置为根据预设的兴趣目标，确定兴趣目标的位置信息，并获取兴趣目标与周围目标的位置关系信息；

运动轨迹信息获取单元，被配置为根据目标跟踪算法，结合兴趣目标的位置信息，对兴趣目标进行跟踪，得到所有兴趣目标的所有运动轨迹，以及每个运动轨迹对应的开始跟踪时间和结束跟踪时间。

事件检测模块420，被配置为基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间，其中，所述事件检测模型用于使得视频数据的分析数据与对应的事件类别相关联，事件包括用户关注事件和用户不关注事件；

在一个具体实施例中，所述事件检测模块包括：

轨迹事件类别检测单元，被配置为将兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹，输入所述事件检测模型，得到该运动轨迹对应的轨迹事件类别；

轨迹事件时间获取单元，被配置为将该运动轨迹对应的开始跟踪时间和结束跟踪时间分别作为该运动轨迹对应的轨迹事件的开始时间和结束时间；

判断单元，被配置为判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠；

时间段事件类别第一确定单元，被配置为若有重叠，则根据预设的优先级，将优先级最高的运动轨迹对应的轨迹事件类别作为重叠的时间段的事件类别，将该运动轨迹对应的轨迹事件类别作为不重叠的时间段的事件类别，其中，所述优先级根据用户对事件的关注度来进行排序；

时间段事件类别第二确定单元，被配置为若没有重叠，则将该运动轨迹对应的轨迹事件类别作为该运动轨迹对应的开始跟踪时间和结束跟踪时间对应的时间段的事件类别，其中，对于没有识别出轨迹事件类别的运动轨迹，将所述用户不关注事件作为该运动轨迹对应的事件类别，对于没有包含兴趣目标的时间段，将所述用户不关注事件作为该时间段的事件类别。

视频数据压缩模块430，被配置为按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩，得到压缩后的视频数据，其中，所述编码配置数据包括帧率和码率。

在一个具体实施例中，所述视频数据压缩模块包括：

视频数据分段单元，被配置为根据每个事件对应的时间段，将待压缩的视频数据从时间逻辑上分为多个视频段，每个视频段对应一个事件；

编码配置数据获取单元，被配置为根据每个视频段的事件类别，从所述事件权重配置数据表中取出对应的编码配置数据；

视频数据压缩单元，被配置为按照所述编码配置数据中的帧率和码率，对每个视频段进行编码，得到压缩后的视频数据。

在一个具体实施例中，该装置还包括事件检测模型生成模块，所述事件检测模型生成模块包括：

训练样本集获取单元，被配置为获取训练样本集，其中，所述训练样本集包括多个训练样本组，每组所述训练样本组包括样本视频数据的样本分析数据和对应的轨迹事件类别，所述样本分析数据包括兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹；

训练单元，被配置为通过所述训练样本集对基于机器学习的事件检测模型进行训练，得到所述事件检测模型，所述事件检测模型使得每组训练样本组的样本分析数据和对应的轨迹事件类别相关联。

由上述内容可知，该装置可以在逐帧读取到待压缩的视频数据后，基于视觉分析算法，获取视频数据的分析数据，基于事件检测模型以及分析数据，获取视频数据中包含的事件，按照事件的先后顺序，根据事件类别对应的编码配置数据对视频数据进行分段压缩，得到压缩后的视频数据。在使用视觉分析算法时，由于与视频中的场景无关，可以适应于任意场景，提高了压缩方法的通用性，解决了现有技术中对视频数据压缩时，使用图像分析算法对使用场景有特殊要求的问题；且利用视觉分析算法对每一帧视频数据进行分析，循环多帧，获取到更多的视频信息，事件检测模型分析越多的视频信息，可以更加准确的识别出事件类别，提高了后续压缩的效率，解决了现有技术中仅取单帧视频数据进行分析，获取有效信息不足的问题而导致的压缩效率不高的问题。在获取到足够多的视频信息后，利用基于机器学习的事件检测模型，使得视频信息与事件类别相联系，根据用户对事件的关注程度对事件类别进行优先级的划分，从人的角度去定义压缩逻辑，提高了压缩过程的智能度，解决了现有技术中压缩过程的智能度不高的问题。根据用户对事件的关注程度，对不同事件类别进行相应的压缩编码配置，对于用户不关注的事件可以配置较低的码率和帧率，对于用户关注的事件可以配置较高的码率和帧率，使得该压缩方法更加适应实际的应用情况，还减少了不必要的数据量，节省存储空间。对于不同的事件类别，配置不同的码率和帧率，对视频数据采用不同的压缩逻辑进行分段压缩处理，提高视频的压缩率和压缩的灵活度，让压缩过程更合理，解决了现有技术中由于获取的视频内容信息有限，继而无法进一步进行有区分度的压缩，压缩过程死板的问题。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本说明书所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本说明书的技术方案，而非对其限制；尽管参照前述实施例对本说明书进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本说明书实施例技术方案的精神和范围。

Claims (10)

1.一种基于多帧内容的视频数据智能压缩方法，其特征在于，包括：

逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据，其中，所述分析数据包括：兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系信息以及兴趣目标的运动轨迹信息，所述兴趣目标为用户关注的目标；

基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间，其中，所述事件检测模型用于使得视频数据的分析数据与对应的事件类别相关联，事件包括用户关注事件和用户不关注事件；

按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩，得到压缩后的视频数据，其中，所述编码配置数据包括帧率和码率。

2.根据权利要求1所述的方法，其特征在于，所述逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据的步骤包括：

按照先后顺序逐帧读取视频数据，获取每帧视频数据的每个像素点的目标类别信息和目标位置信息；

根据预设的兴趣目标，确定兴趣目标的位置信息，并获取兴趣目标与周围目标的位置关系信息；

根据目标跟踪算法，结合兴趣目标的位置信息，对兴趣目标进行跟踪，得到所有兴趣目标的所有运动轨迹，以及每个运动轨迹对应的开始跟踪时间和结束跟踪时间。

3.根据权利要求1所述的方法，其特征在于，当兴趣目标为人时，所述分析数据还包括人的姿态信息。

4.根据权利要求1所述的方法，其特征在于，所述事件检测模型通过以下步骤生成，包括：

获取训练样本集，其中，所述训练样本集包括多个训练样本组，每组所述训练样本组包括样本视频数据的样本分析数据和对应的轨迹事件类别，所述样本分析数据包括兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹；

通过所述训练样本集对基于机器学习的事件检测模型进行训练，得到所述事件检测模型，所述事件检测模型使得每组训练样本组的样本分析数据和对应的轨迹事件类别相关联。

5.根据权利要求1所述的方法，其特征在于，所述基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间的步骤包括：

将兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹，输入所述事件检测模型，得到该运动轨迹对应的轨迹事件类别；

将该运动轨迹对应的开始跟踪时间和结束跟踪时间分别作为该运动轨迹对应的轨迹事件的开始时间和结束时间；

判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠；

若有重叠，则根据预设的优先级，将优先级最高的运动轨迹对应的轨迹事件类别作为重叠的时间段的事件类别，将该运动轨迹对应的轨迹事件类别作为不重叠的时间段的事件类别，其中，所述优先级根据用户对事件的关注度来进行排序；

若没有重叠，则将该运动轨迹对应的轨迹事件类别作为该运动轨迹对应的开始跟踪时间和结束跟踪时间对应的时间段的事件类别，其中，对于没有识别出轨迹事件类别的运动轨迹，将所述用户不关注事件作为该运动轨迹对应的事件类别，对于没有包含兴趣目标的时间段，将所述用户不关注事件作为该时间段的事件类别。

6.根据权利要求1所述的方法，其特征在于，所述按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩的步骤包括：

根据每个事件对应的时间段，将待压缩的视频数据从时间逻辑上分为多个视频段，每个视频段对应一个事件；

根据每个视频段的事件类别，从所述事件权重配置数据表中取出对应的编码配置数据；

按照所述编码配置数据中的帧率和码率，对每个视频段进行编码，得到压缩后的视频数据。

7.一种基于多帧内容的视频数据智能压缩装置，其特征在于，包括：

视觉算法分析模块，被配置为逐帧读取待压缩的视频数据，基于预设的视觉分析算法，得到待压缩的视频数据的分析数据，其中，所述分析数据包括：兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系信息以及兴趣目标的运动轨迹信息，所述兴趣目标为用户关注的目标；

事件检测模块，被配置为基于事先训练好的事件检测模型以及所述分析数据，获取待压缩的视频数据中包含的事件、事件类别以及事件对应的开始时间和结束时间，其中，所述事件检测模型用于使得视频数据的分析数据与对应的事件类别相关联，事件包括用户关注事件和用户不关注事件；

视频数据压缩模块，被配置为按照待压缩的视频数据中事件的先后顺序，根据事件类别，从预设的事件权重配置数据表中取出与每个事件对应的编码配置数据，对待压缩的视频数据进行分段压缩，得到压缩后的视频数据，其中，所述编码配置数据包括帧率和码率。

8.根据权利要求7所述的装置，其特征在于，所述视觉算法分析模块包括：

类别和位置信息获取单元，被配置为按照先后顺序逐帧读取视频数据，获取每帧视频数据的每个像素点的目标类别信息和目标位置信息；

位置关系信息获取单元，被配置为根据预设的兴趣目标，确定兴趣目标的位置信息，并获取兴趣目标与周围目标的位置关系信息；

运动轨迹信息获取单元，被配置为根据目标跟踪算法，结合兴趣目标的位置信息，对兴趣目标进行跟踪，得到所有兴趣目标的所有运动轨迹，以及每个运动轨迹对应的开始跟踪时间和结束跟踪时间。

9.根据权利要求7所述的装置，其特征在于，该装置还包括事件检测模型生成模块，所述事件检测模型生成模块包括：

训练样本集获取单元，被配置为获取训练样本集，其中，所述训练样本集包括多个训练样本组，每组所述训练样本组包括样本视频数据的样本分析数据和对应的轨迹事件类别，所述样本分析数据包括兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹；

训练单元，被配置为通过所述训练样本集对基于机器学习的事件检测模型进行训练，得到所述事件检测模型，所述事件检测模型使得每组训练样本组的样本分析数据和对应的轨迹事件类别相关联。

10.根据权利要求7所述的装置，其特征在于，所述事件检测模块包括：

轨迹事件类别检测单元，被配置为将兴趣目标的类别信息、兴趣目标的位置信息、兴趣目标与周围目标的位置关系以及兴趣目标的一个运动轨迹，输入所述事件检测模型，得到该运动轨迹对应的轨迹事件类别；

轨迹事件时间获取单元，被配置为将该运动轨迹对应的开始跟踪时间和结束跟踪时间分别作为该运动轨迹对应的轨迹事件的开始时间和结束时间；

判断单元，被配置为判断每个运动轨迹与其他运动轨迹对应的时间是否有重叠；

时间段事件类别第一确定单元，被配置为若有重叠，则根据预设的优先级，将优先级最高的运动轨迹对应的轨迹事件类别作为重叠的时间段的事件类别，将该运动轨迹对应的轨迹事件类别作为不重叠的时间段的事件类别，其中，所述优先级根据用户对事件的关注度来进行排序；

时间段事件类别第二确定单元，被配置为若没有重叠，则将该运动轨迹对应的轨迹事件类别作为该运动轨迹对应的开始跟踪时间和结束跟踪时间对应的时间段的事件类别，其中，对于没有识别出轨迹事件类别的运动轨迹，将所述用户不关注事件作为该运动轨迹对应的事件类别，对于没有包含兴趣目标的时间段，将所述用户不关注事件作为该时间段的事件类别。

Images