CN114139015A - 基于关键事件识别的视频存储方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种基于关键事件识别的视频存储方法、装置、设备及存储介质，该方法通过对待存储视频进行图像帧差异识别，得到与待存储视频对应的至少一个差异图像；确定差异图像中是否包含关键事件，并在差异图像中包含关键事件时，根据差异图像中包含的关键事件生成视频等级标签以及关键事件索引；根据差异图像对待存储视频进行视频提取，得到与差异图像对应的视频片段，并将每一个视频片段，以及与其对应的关键事件索引以及关键图像索引关联记录为一个关键视频片段；将关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。本发明提高了视频存储以及视频查询的效率以及准确率。

Description

基于关键事件识别的视频存储方法、装置、设备及介质

技术领域

本发明涉及视频存储技术领域，尤其涉及一种基于关键事件识别的视频存储方法、装置、设备及存储介质。

背景技术

目前，越来越多用户通过拍摄视频方式记录如会议召开、生活琐事、产品测试等重要内容，但是一般拍摄的视频占用空间较大，进而导致存储空间无法存储大量的视频；另一方面，当用户需要查询某个视频，或者某类视频时，只能通过拍摄时间进行视频查询，该方法存在查询效率较慢且准确率不高的问题。

发明内容

本发明实施例提供一种基于关键事件识别的视频存储方法、装置、设备及存储介质，以解决现有技术中视频查询效率较慢且准确率不高的问题。

一种基于关键事件识别的视频存储方法，包括：

获取视频数据集；所述视频数据集中包含至少一个待存储视频；一个所述待存储视频与一个视频采集标签关联；

对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像；一个所述差异图像关联一个关键图像索引；

确定所述差异图像中是否包含关键事件，并在所述差异图像中包含所述关键事件时，根据所述差异图像中包含的关键事件生成视频等级标签以及关键事件索引；

根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段；

将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。

一种基于关键事件识别的视频存储装置，包括：

视频数据获取模块，用于获取视频数据集；所述视频数据集中包含至少一个待存储视频；一个所述待存储视频与一个视频采集标签关联；

差异识别模块，用于对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像；一个所述差异图像关联一个关键图像索引；

关键事件识别模块，用于确定所述差异图像中是否包含关键事件，并在所述差异图像中包含所述关键事件时，根据所述差异图像中包含的关键事件生成视频等级标签以及关键事件索引；

视频提取模块，用于根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段；

视频存储模块，用于将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于关键事件识别的视频存储方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于关键事件识别的视频存储方法。

上述基于关键事件识别的视频存储方法、装置、设备及存储介质，该方法通过获取视频数据集；所述视频数据集中包含至少一个待存储视频；一个所述待存储视频与一个视频采集标签关联；对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像；一个所述差异图像关联一个关键图像索引；确定所述差异图像中是否包含关键事件，并在所述差异图像中包含所述关键事件时，根据所述差异图像中包含的关键事件生成视频等级标签以及关键事件索引；根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段；将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。

本发明通过对待存储视频进行图像帧差异识别，并将识别得到的差异图像作为划分视频的依据，并且根据差异图像中是否包含关键事件，对与差异图像对应的视频片段进行等级划分，并且针对每个视频片段均分配了对应的关键图像索引、关键事件索引以及视频采集标签，从而便于后期视频浏览亦或者回放视频内容搜索时可以快速找到对应的视频片段，提高了视频查询的效率以及准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于关键事件识别的视频存储方法的一应用环境示意图；

图2是本发明一实施例中基于关键事件识别的视频存储方法的一流程图；

图3是本发明一实施例中基于关键事件识别的视频存储方法中步骤S20的一流程图；

图4是本发明一实施例中基于关键事件识别的视频存储装置的一原理框图；

图5是本发明一实施例中基于关键事件识别的视频存储装置中差异识别模块20的一原理框图；

图6是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于关键事件识别的视频存储方法，该基于关键事件识别的视频存储方法可应用如图1所示的应用环境中。具体地，该基于关键事件识别的视频存储方法应用在基于关键事件识别的视频存储系统中，该基于关键事件识别的视频存储系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于解决现有技术中视频查询效率较慢且准确率不高的问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种基于关键事件识别的视频存储方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S10：获取视频数据集；所述视频数据集中包含至少一个待存储视频；一个所述待存储视频与一个视频采集标签关联。

可以理解地，待存储视频可以为通过爬虫技术爬取得到的，也可以是用户在不同场景下拍摄得到的。示例性地，待存储视频可以为如摄像头拍摄的监控视频，会议上拍摄记录的会议视频等。一个待存储视频关联一个视频采集标签，该视频采集标签可以通过如拍摄待存储视频的地理位置，亦或者拍摄待存储视频的摄像头所处的位置进行确定。例如，假设待存储视频为一个目标社区内不同摄像头拍摄得到的视频，也即一个待存储视频与一个摄像头关联，进而可以根据摄像头设置的区域，摄像头拍摄的时间等信息生成与每一个待存储视频关联的视频采集标签。又例如将本发明的基于关键事件识别的视频存储方法应用于集团监控视频分类存储时，待存储视频可以为集团总部以及各分公司所拍摄的视频，一个公司关联一个待存储视频，进而可以根据各公司的名称以及拍摄时间等信息生成与每一个待存储视频关联的视频采集标签。

S20：对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像；一个所述差异图像关联一个关键图像索引。

可以理解地，图像帧差异视频是指对待存储视频中任意连续两帧的视频图像进行差异对比，进而确定出待存储视频中的差异图像。其中，本实施例中对待存储视频进行图像帧差异识别包括两个部分，其中一个部分为：确定前后两帧图像之间的图像特征是否存在明显变化；第二个部分为：确定前后两帧图像对应的语音数据是否存在明显变化，进而在确定前后两帧图像之间的图像特征存在明显变化，亦或者前后两帧图像对应的语音数据存在明显变化时，即可将前一帧图像或者后一帧图像记录为差异图像。关键图像索引即为在确定待存储视频中的差异图像之后，即可将该差异图像作为一个索引，进而在后续视频检索时，即可根据该关键图像索引检索视频片段，提高视频检索的效率以及准确率。

S30：确定所述差异图像中是否包含关键事件，并在所述差异图像中包含所述关键事件时，根据所述差异图像中包含的关键事件生成视频等级标签以及关键事件索引。

可以理解地，本实施例中的关键事件包括但不限于如识别到人脸特征(如前一帧图像未出现人脸特征，后一帧图像出现人脸特征)，宠物特征(如前一帧图像未出现宠物特征，后一帧图像出现宠物特征)，安全行为特征(如前一帧图像中未出现任何特征，后一帧图像中出现如人为翻越墙体特征)等。视频等级标签可以根据差异图像中包含的关键事件的数量进行评定，例如在一个差异图像中不包含任意一类关键事件，则可以将该差异图像对应的视频等级标签设定为低等级标签；在一个差异图像中包含一个关键事件，则可以将该差异图像对应的视频等级标签设定为中等级标签等。关键事件索引是指根据差异图像中包含的关键事件生成的索引，例如在差异图像中包含人脸特征的关键事件时，即可将该差异图像的关键事件索引确定为人脸特征索引，例如根据该人脸特征确定出人员身份，进而将该人员身份信息生成关键事件索引。

S40：根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段。

具体地，在对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像之后，即可将差异图像作为起始帧图像，进而将待存储视频中在起始帧图像之后的图像与起始帧图像进行比较，进而在待存储视频中排序在起始帧图像之后的图像中确定出结束帧图像，进而将起始帧图像开始至结束帧图像结束之间的视频片段构建为与差异图像对应的视频片段，如此即可将待存储视频划分为不同的视频片段。进一步地，在根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段之后，由于该视频片段中包括差异图像，进而将与该差异图像对应的关键事件索引以及关键图像索引，以及该视频片段关联记录为一个关键视频片段，从而使得关键视频片段具有关键事件索引以及关键图像索引，进而在查询该关键视频片段时可以通过关键事件，亦或者关键图像的特征进行查询，提高视频查询的效率以及准确率。

S50：将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。

具体地，在根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段之后，将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。可以理解地，在数据库中按照视频等级进行分类存储，进而在将关键视频片段分类存储至对应的视频等级标签下的数据库之前，需要将关键视频片段与视频采集标签关联，如此在后续进行视频检索时，可以先确定需要检索的视频的等级，进而确定需要检索的视频的拍摄信息(如摄像头区域，拍摄时间等)，再根据相应的关键事件以及关键图像即可快速且准确找到需要检索的视频片段。

在本实施例中，通过对待存储视频进行图像帧差异识别，并将识别得到的差异图像作为划分视频的依据，并且根据差异图像中是否包含关键事件，对与差异图像对应的视频片段进行等级划分，并且针对每个视频片段均分配了对应的关键图像索引、关键事件索引以及视频采集标签，从而便于后期视频浏览亦或者回放视频内容搜索时可以快速找到对应的视频片段，提高了视频查询的效率以及准确率。

在一实施例中，如图3所示，所述待存储视频中包含至少一帧待存储图像；步骤S20中，也即所述对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像，包括：

S201：自所述待存储视频中确定至少一组待存储图像组；一组所述待存储图像组中包含连续的两帧待存储图像。

可以理解地，一个待存储视频可以视为多帧连续的待存储图像生成的，因此在确定待存储视频中的待存储图像组时，即可将待存储视频中连续的两帧待存储图像记录为一组待存储图像组。示例性地，假设一个待存储视频中包括三帧待存储图像，则可以将第一帧待存储图像以及第二帧待存储图像记录为一组待存储图像组；将第二帧待存储图像以及第三帧待存储图像记录为另一组待存储图像组。

S202：将所述待存储图像组中前一帧待存储图像记录为在前图像，将所述待存储图像组中后一帧待存储图像记录为在后图像。

可以理解地，在上述说明中指出，一组待存储图像组中包含连续的两帧待存储图像，进而可以将待存储图像组中前一帧待存储图像记录为在前图像，将待存储图像组中后一帧待存储图像记录为在后图像。示例性地，假设一个待存储视频中包括三帧待存储图像，一个待存储图像组中为第一帧待存储图像以及第二帧待存储图像，则可以将第一帧待存储图像记录为在前图像，将第二帧待存储图像记录为在后图像。

S203：对所述在前图像与所述在后图像进行差异检测，以确定所述在前图像与所述在后图像是否满足预设差异条件。

具体地，在将所述待存储图像组中前一帧待存储图像记录为在前图像，将所述待存储图像组中后一帧待存储图像记录为在后图像之后，对在前图像和在后图像进行差异检测，如对在前图像的图像特征和在后图像的图像特征进行比较，亦或者对在前图像对应的语音数据，和在后图像对应的语音数据进行比较，进而可以确定在前图像和在后图像是否满足预设差异条件。例如，若在前图像的图像特征与在后图像的图像特征之间的差异较大，即可确定在前图像和在后图像满足预设差异条件。

S204：在所述在前图像与所述在后图像满足预设差异条件时，将所述在前图像或所述在后图像记录为所述差异图像。

具体地，在对所述在前图像与所述在后图像进行差异检测，以确定所述在前图像与所述在后图像是否满足预设差异条件之后，若在前图像与在后图像满足预设差异条件，则将在前图像或在后图像记录为差异图像。

在一实施例中，步骤S203中，也即所述对所述在前图像与所述在后图像进行差异检测，以确定所述在前图像与所述在后图像是否满足预设差异条件，包括：

获取所述在前图像的第一灰度值，以及获取所述在后图像的第二灰度值。

可以理解地，第一灰度值是指在前图像中各个像素点对应的灰度值；第二灰度值是指在后图像中各个像素点对应的灰度值。其中，第一灰度值和第二灰度值可以通过如openCV，matlab等应用程序获取。

将所述第一灰度值与所述第二灰度值之间的差值记录为灰度值差值，并将所述灰度值差值与预设灰度阈值进行比较。

可选地，预设灰度阈值可以根据具体应用场景进行选取。具体地，在获取在前图像的第一灰度值以及在后图像的第二灰度值之后，将第一灰度值和第二灰度值之间的差值记录为灰度值差值，也即将在前图像与在后图像中每一个相同像素位置的第一灰度值和第二灰度值之间的差值记录为灰度值差值，进而将灰度值差值与预设灰度阈值进行比较。

在所述灰度值差值大于或等于所述预设灰度阈值时，确定所述在前图像与所述在后图像满足预设差异条件。

具体地，在将所述第一灰度值与所述第二灰度值之间的差值记录为灰度值差值，并将所述灰度值差值与预设灰度阈值进行比较之后，若灰度值差值大于或等于预设灰度阈值，表征在前图像与在后图像之间的特征差别较大，如此即可确定在前图像与在后图像满足预设差异条件，可以理解地，上述通过灰度值判断是基于图像特征进行判断的。

进一步地，除了通过将灰度值差值与预设灰度阈值进行比较的方法，也可以通过对在后图像上取灰度值差值的绝对值进而得到差分图像，对该差分图像的各像素点进行二值化处理，得到二值化图像；对该二值化图像进行连通性分析之后，即可确定在前图像与在后图像是否满足预设差异条件。也即在对二值化图像进行连通性分析之后，即可确定在后图像相较于在前图像是否存在新增，或者减少的对象，若在后图像相较于在前图像存在新增，或者减少的对象时，即表征灰度值差值大于或等于预设灰度阈值，进而确定在前图像与在后图像是否满足预设差异条件。

进一步地，在将所述第一灰度值与所述第二灰度值之间的差值记录为灰度值差值，并将所述灰度值差值与预设灰度阈值进行比较之后，若灰度值差值小于所述预设灰度阈值，表征在前图像和在后图像之间的图像特征相似度较高，则确定在前图像和在后图像不满足预设差异条件。

在一实施例中，所述将所述待存储图像组中前一帧待存储图像记录为在前图像，将所述待存储图像组中后一帧待存储图像记录为在后图像之后，还包括：

获取与所述在前图像对应的第一语音数据，以及获取与所述在后图像对应的第二语音数据。

可以理解地，待存储视频中每一帧待存储图像均具有相对应的时间点下的语音数据，该语音数据可能包含人声，也可能仅包含环境声。第一语音数据即为在前图像在待存储视频中的语音数据。第二语音数据即为在后图像在待存储视频中的语音数据。

检测所述第一语音数据的第一最高能量值，以及检测所述第二语音数据的第二最高能量值。

可以理解地，第一最高能量值即为第一语音数据中语音能量最高值，第二最高能量值即为第二语音数据中语音能量最高值。

将所述第一最高能量值与所述第二最高能量值之间的差值记录为语音能量差值，并将所述语音能量差值与预设能量阈值进行比较。

具体地，在检测所述第一语音数据的第一最高能量值，以及检测所述第二语音数据的第二最高能量值之后，将第一最高能量值与第二最高能量值之间的差值记录为语音能量差值，并将语音能量差值和预设能量阈值进行比较。其中，预设能量阈值可以根据具体场景进行设定。

在所述预设能量差值大于或等于所述预设能量阈值时，确定所述在前图像与所述在后图像满足预设差异条件。

具体地，在将所述第一最高能量值与所述第二最高能量值之间的差值记录为语音能量差值，并将所述语音能量差值与预设能量阈值进行比较之后，若预设能量差值大于或等于预设能量阈值，表征在前图像和在后图像之间的语音数据差别较大，例如在后图像中发生了如爆炸等事件，而在前图像未发生，则在后图像与在前图像之间的语音数据差别较大，因此可以确定在前图像和在后图像满足预设差异条件。

进一步地，在将所述第一最高能量值与所述第二最高能量值之间的差值记录为语音能量差值，并将所述语音能量差值与预设能量阈值进行比较之后，若预设能量差值小于预设能量阈值，表征在前图像和在后图像之间的语音数据差别不大，例如在前图像是安静的环境音，在后图像也是安静的环境音，此时确定在前图像与在后图像不满足预设差异条件。

可以理解地，本发明中通过两个部分判定在前图像和在后图像是否满足预设差异条件，第一个部分：通过在前图像和在后图像之间的图像特征(也即上述通过灰度值差值)进行判断；第二个部分：通过在前图像和在后图像之间的语音特征(也即上述通过语音能量差值)进行判断。如此，当在前图像和在后图像满足任意一个部分的条件，也即满足灰度值差值大于或等于预设灰度阈值，或者满足语音能量差值大于或等于预设能量阈值，则确定在前图像和在后图像满足预设差异条件。

在一实施例中，所述确定所述差异图像中是否包含关键事件，包括：

通过预设检测模型对所述差异图像进行智能识别，以确定所述差异图像中是否包含预设元素特征；所述预设元素特征包括人脸特征、宠物特征以及安全行为特征中的一种或多种。

可以理解地，本实施例中的预设检测模型包括三个模块：人脸识别模块、宠物识别模块以及安全行为识别模块。其中，人脸识别模块用于对差异图像进行人脸特征识别，从而确定差异图像中是否包含人脸特征；宠物识别模块用于对差异图像进行宠物特征识别，从而确定差异图像中是否包含宠物特征；安全行为特征用于对差异图像进行安全行为识别，从而确定差异图像中是否包含安全行为特征，示例性地，安全行为特征可以为攀爬墙体，点火行为等。进一步地，人脸识别模块、宠物识别模块或者安全行为识别模块均可以基于神经网络进行构建基础模型，进而通过相应的数据对其进行训练，例如人脸识别模块可以通过人脸图像进行训练，宠物识别模块可以通过宠物图像进行训练，安全行为识别模块可以通过具有安全行为以及不具有安全行为的图像进行训练。可以理解地，针对一个差异图像，可能包含人脸特征、宠物特征以及安全行为特征中的一种或多种，亦或者不包含人脸特征、宠物特征以及安全行为特征。除上述举例的人脸特征、宠物特征以及安全行为特征之外，还可以根据不同场景加入不同的特征限定，也即本实施例中给出的预设元素特征仅为一种示例，不代表仅包含上述的人脸特征、宠物特征以及安全行为特征这三类特征。如此，可以从多角度对差异图像进行智能识别，从而确定差异图像中所包含的关键事件。

在所述差异图像中包含所述预设元素特征时，确定所述差异图像中包含关键事件。

具体地，在通过预设检测模型对所述差异图像进行智能识别，以确定所述差异图像中是否包含预设元素特征之后，在差异图像中包含预设元素特征中的一种或多种时，即可确定差异图像中包含关键事件。

在一实施例中，所述待存储视频中包含至少一帧待存储图像；步骤S40中，也即所述根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，包括：

将所述差异图像记录为所述视频片段的起始帧图像，并将待存储视频中在所述起始帧图像之后的待存储图像记录为待比较图像。

具体地，在对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像之后，在待存储视频中仅包含一个差异图像时，将该差异图像记录为起始帧图像，并将待存储视频中在起始帧图像之后的所有待存储图像记录为待比较图像。在待存储视频中包含多个差异图像时，将第一个差异图像记录为起始帧图像，并将该起始帧图像之后的待存储图像记录为待比较图像，也即在待存储视频中包含多个差异图像时，可能一个视频片段中包含多个差异图像，因此将第一个差异图像作为该视频片段的起始帧图像。

获取所述起始帧图像的起始特征信息，以及与各所述待比较图像对应的比较特征信息。

可以理解地，起始特征信息即为起始帧图像中所包含的特征信息，例如在起始帧图像包含的人脸特征信息，宠物特征信息等。比较特征信息即为待比较图像中所包含的特征信息。其中，起始特征信息以及比较特征信息可以通过上述预设检测模型识别得到。

确定所述起始特征信息与各所述比较特征信息之间的特征相似度。

可以理解地，特征相似度即表征起始帧图像和待比较图像之间的相似程度。例如可以通过余弦相似度方法确定起始特征信息与各比较特征信息之间的特征相似度。

在存在连续的特征相似度小于预设相似度阈值时，若连续的特征相似度对应的待比较图像的数量大于或等于预设数量，则将连续的特征相似度对应的待比较图像中排序最后的待比较图像记录为结束帧图像。

可以理解地，预设相似度阈值以及预设数量可以根据具体应用场景进行设定，示例性地，预设数量可以设定为5帧，6帧等。预设相似度阈值可以设定为90％，95％等。具体地，在确定所述起始特征信息与各所述比较特征信息之间的特征相似度之后，若存在连续的特征相似度小于预设相似度阈值时，若连续的特征相似度对应的待比较图像的数量大于或等于预设数量，则将连续的特征相似度对应的待比较图像中排序最后的待比较图像记录为结束帧图像。

示例性地，假设预设数量设定为4帧，在起始帧图像之后，第一帧待比较图像的特征相似度小于预设相似度阈值，第二帧待比较图像的特征相似度大于或等于预设相似度阈值，第三帧至第七帧待比较图像的特征相似度均小于预设相似度阈值，第八帧待比较图像的特征相似度大于或等于预设相似度阈值。由于在第一帧待比较图像之后存在大于或等于预设相似度阈值的第二帧待比较图像，而预设数量为4帧，因此在第一帧待比较图像不作为结束帧图像，但第三帧至第七帧待比较图像具有五帧待比较图像的特征相似度大于或等于预设相似度阈值，且第八帧待比较图像的特征相似度小于预设相似度，因此满足预设数量的要求，进而将第三帧至第七帧的待比较图像中排序最后的待比较图像(也即第七帧待比较图像)记录为结束帧图像。

根据所述起始帧图像、起始帧图像与结束帧图像之间的待比较图像以及结束帧图像，构建所述视频片段。

具体地，存在连续的特征相似度小于预设相似度阈值时，若连续的特征相似度对应的待比较图像的数量大于或等于预设数量，则将连续的特征相似度对应的待比较图像中排序最后的待比较图像记录为结束帧图像之后，将起始帧图像、起始帧图像与结束帧图像之间的待比较图像以及结束帧图像，构建成视频片段。示例性地，假设预设数量设定为4帧，在起始帧图像之后，第一帧待比较图像的特征相似度小于预设相似度阈值，第二帧待比较图像的特征相似度大于或等于预设相似度阈值，第三帧至第七帧待比较图像的特征相似度均小于预设相似度阈值，第八帧待比较图像的特征相似度大于或等于预设相似度阈值，则将第七帧待比较图像记录为结束帧图像，进而将起始帧图像至结束帧图像之间构建视频片段，也即该视频片段包括起始帧图像，第一帧待比较图像至第六帧待比较图像，以及结束帧图像。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种基于关键事件识别的视频存储装置，该基于关键事件识别的视频存储装置与上述实施例中基于关键事件识别的视频存储方法一一对应。如图4所示，该基于关键事件识别的视频存储装置包括视频数据获取模块10、差异识别模块20、关键事件识别模块30、视频划分模块40和视频存储模块50。各功能模块详细说明如下：

视频数据获取模块10，用于获取视频数据集；所述视频数据集中包含至少一个待存储视频；一个所述待存储视频与一个视频采集标签关联；

差异识别模块20，用于对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像；一个所述差异图像关联一个关键图像索引；

关键事件识别模块30，用于确定所述差异图像中是否包含关键事件，并在所述差异图像中包含所述关键事件时，根据所述差异图像中包含的关键事件生成视频等级标签以及关键事件索引；

视频提取模块40，用于根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段；

视频存储模块50，用于将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。

优选地，如图5所示，所述待存储视频中包含至少一帧待存储图像；所述差异识别模块20包括：

图像分组单元201，用于自所述待存储视频中确定至少一组待存储图像组；一组所述待存储图像组中包含连续的两帧待存储图像；

图像命名单元202，用于将所述待存储图像组中前一帧待存储图像记录为在前图像，将所述待存储图像组中后一帧待存储图像记录为在后图像；

差异检测单元203，用于对在前图像与所述在后图像进行差异检测，以确定所述在前图像与所述在后图像是否满足预设差异条件；

差异判断单元204，用于在所述在前图像与所述在后图像满足预设差异条件时，将所述在前图像或所述在后图像记录为所述差异图像。

优选地，差异检测单元203包括：

灰度值获取子单元，用于获取所述在前图像的第一灰度值，以及获取所述在后图像的第二灰度值；

灰度值比较子单元，用于将所述第一灰度值与所述第二灰度值之间的差值记录为灰度值差值，并将所述灰度值差值与预设灰度阈值进行比较；

第一差异确定子单元，用于在所述灰度值差值大于或等于所述预设灰度阈值时，确定所述在前图像与所述在后图像满足预设差异条件。

优选地，所述差异识别模块20还包括：

语音数据获取单元，用于获取与所述在前图像对应的第一语音数据，以及获取与所述在后图像对应的第二语音数据；

能量值检测单元，用于检测所述第一语音数据的第一最高能量值，以及检测所述第二语音数据的第二最高能量值；

能量值比较单元，用于将所述第一最高能量值与所述第二最高能量值之间的差值记录为语音能量差值，并将所述语音能量差值与预设能量阈值进行比较；

第二差异确定子单元，用于在所述预设能量差值大于或等于所述预设能量阈值时，确定所述在前图像与所述在后图像满足预设差异条件。

优选地，关键事件识别模块30包括：

智能识别单元，用于通过预设检测模型对所述差异图像进行智能识别，以确定所述差异图像中是否包含预设元素特征，所述预设元素特征包括人脸特征、宠物特征以及安全行为特征中的一种或多种；

关键事件识别单元，用于在所述差异图像中包含所述预设元素特征时，确定所述差异图像中包含关键事件。

优选地，视频提取模块40包括：

图像记录单元，用于将所述差异图像记录为所述视频片段的起始帧图像，并将待存储视频中在所述起始帧图像之后的待存储图像记录为待比较图像；

特征信息获取单元，用于获取所述起始帧图像的起始特征信息，以及与各所述待比较图像对应的比较特征信息；

特征相似度确定单元，用于确定所述起始特征信息与各所述比较特征信息之间的特征相似度；

结束帧图像确定单元，用于在存在连续的特征相似度小于预设相似度阈值时，若连续的特征相似度对应的待比较图像的数量大于或等于预设数量，则将连续的特征相似度对应的待比较图像中排序最后的待比较图像记录为结束帧图像；

视频片段构建单元，用于根据所述起始帧图像、起始帧图像与结束帧图像之间的待比较图像以及结束帧图像，构建所述视频片段。

关于基于关键事件识别的视频存储装置的具体限定可以参见上文中对于基于关键事件识别的视频存储方法的限定，在此不再赘述。上述基于关键事件识别的视频存储装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中基于关键事件识别的视频存储方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于关键事件识别的视频存储方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的基于关键事件识别的视频存储方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的基于关键事件识别的视频存储方法。

本领域普通技术人员可以理解实现上述实施例基于关键事件识别的视频存储方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于关键事件识别的视频存储方法，其特征在于，包括：

获取视频数据集；所述视频数据集中包含至少一个待存储视频；一个所述待存储视频与一个视频采集标签关联；

对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像；一个所述差异图像关联一个关键图像索引；

确定所述差异图像中是否包含关键事件，并在所述差异图像中包含所述关键事件时，根据所述差异图像中包含的关键事件生成视频等级标签以及关键事件索引；

根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段；

将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。

2.如权利要求1所述的基于关键事件识别的视频存储方法，其特征在于，所述待存储视频中包含至少一帧待存储图像；所述将所述关键视频片段以及所述视频采集标签关联存储像帧差异识别，得到与所述待存储视频对应的至少一个差异图像，包括：

自所述待存储视频中确定至少一组待存储图像组；一组所述待存储图像组中包含连续的两帧待存储图像；

将所述待存储图像组中前一帧待存储图像记录为在前图像，将所述待存储图像组中后一帧待存储图像记录为在后图像；

对所述在前图像与所述在后图像进行差异检测，以确定所述在前图像与所述在后图像是否满足预设差异条件；

在所述在前图像与所述在后图像满足预设差异条件时，将所述在前图像或所述在后图像记录为所述差异图像。

3.如权利要求2所述的基于关键事件识别的视频存储方法，其特征在于，所述对所述在前图像与所述在后图像进行差异检测，以确定所述在前图像与所述在后图像是否满足预设差异条件，包括：

获取所述在前图像的第一灰度值，以及获取所述在后图像的第二灰度值；

将所述第一灰度值与所述第二灰度值之间的差值记录为灰度值差值，并将所述灰度值差值与预设灰度阈值进行比较；

在所述灰度值差值大于或等于所述预设灰度阈值时，确定所述在前图像与所述在后图像满足预设差异条件。

4.如权利要求2所述的基于关键事件识别的视频存储方法，其特征在于，所述将所述待存储图像组中前一帧待存储图像记录为在前图像，将所述待存储图像组中后一帧待存储图像记录为在后图像之后，还包括：

获取与所述在前图像对应的第一语音数据，以及获取与所述在后图像对应的第二语音数据；

检测所述第一语音数据的第一最高能量值，以及检测所述第二语音数据的第二最高能量值；

将所述第一最高能量值与所述第二最高能量值之间的差值记录为语音能量差值，并将所述语音能量差值与预设能量阈值进行比较；

在所述预设能量差值大于或等于所述预设能量阈值时，确定所述在前图像与所述在后图像满足预设差异条件。

5.如权利要求1所述的基于关键事件识别的视频存储方法，其特征在于，所述确定所述差异图像中是否包含关键事件，包括：

通过预设检测模型对所述差异图像进行智能识别，以确定所述差异图像中是否包含预设元素特征，所述预设元素特征包括人脸特征、宠物特征以及安全行为特征中的一种或多种；

在所述差异图像中包含所述预设元素特征时，确定所述差异图像中包含关键事件。

6.如权利要求1所述的基于关键事件识别的视频存储方法，其特征在于，所述待存储视频中包含至少一帧待存储图像；所述根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，包括：

将所述差异图像记录为所述视频片段的起始帧图像，并将待存储视频中在所述起始帧图像之后的待存储图像记录为待比较图像；

获取所述起始帧图像的起始特征信息，以及与各所述待比较图像对应的比较特征信息；

确定所述起始特征信息与各所述比较特征信息之间的特征相似度；

在存在连续的特征相似度小于预设相似度阈值时，若连续的特征相似度对应的待比较图像的数量大于或等于预设数量，则将连续的特征相似度对应的待比较图像中排序最后的待比较图像记录为结束帧图像；

根据所述起始帧图像、起始帧图像与结束帧图像之间的待比较图像以及结束帧图像，构建所述视频片段。

7.一种基于关键事件识别的视频存储装置，其特征在于，包括：

视频数据获取模块，用于获取视频数据集；所述视频数据集中包含至少一个待存储视频；一个所述待存储视频与一个视频采集标签关联；

差异识别模块，用于对所述待存储视频进行图像帧差异识别，得到与所述待存储视频对应的至少一个差异图像；一个所述差异图像关联一个关键图像索引；

关键事件识别模块，用于确定所述差异图像中是否包含关键事件，并在所述差异图像中包含所述关键事件时，根据所述差异图像中包含的关键事件生成视频等级标签以及关键事件索引；

视频提取模块，用于根据所述差异图像对所述待存储视频进行视频提取，得到与所述差异图像对应的视频片段，并将每一个所述视频片段，以及与其对应的所述关键事件索引以及所述关键图像索引关联记录为一个关键视频片段；

视频存储模块，用于将所述关键视频片段和与其对应的视频采集标签关联存储至与其对应的视频等级标签所属的数据库中。

8.如权利要求7所述的基于关键事件识别的视频存储装置，其特征在于，所述待存储视频中包含至少一帧待存储图像；所述差异识别模块包括：

图像分组单元，用于自所述待存储视频中确定至少一组待存储图像组；一组所述待存储图像组中包含连续的两帧待存储图像；

图像命名单元，用于将所述待存储图像组中前一帧待存储图像记录为在前图像，将所述待存储图像组中后一帧待存储图像记录为在后图像；

差异检测单元，用于对在前图像与所述在后图像进行差异检测，以确定所述在前图像与所述在后图像是否满足预设差异条件；

差异判断单元，用于在所述在前图像与所述在后图像满足预设差异条件时，将所述在前图像或所述在后图像记录为所述差异图像。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于关键事件识别的视频存储方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于关键事件识别的视频存储方法。

Images