CN114724074B - 风险视频的检测方法和装置 - Google Patents

Abstract

说明书披露一种风险视频的检测方法和装置。所述风险视频的检测方法包括：获取待进行风险检测的视频；从所述视频中提取出代表镜头画面的图像帧作为第一关键图像；从所述视频中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型；将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果；将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果；根据所述第一比对结果和所述第二比对结果确定所述视频的风险性。采用上述方案可提高视频风险检测准确性。

Description

风险视频的检测方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种风险视频的检测方法和装置。

背景技术

目前，随着视频平台的高速发展，通过视频来分享生活已然成为了现如今热门的分享方式，大量的视频增加了监管的难度。在对视频进行监管时，往往需要先检测出存在风险的视频，然后再对这些存在风险的视频进行警告，下架等处理。由于视频平台中视频内容杂乱，还会存在大量二次创作的视频，使得现有的风险视频检测的准确率较低。

发明内容

有鉴于此，本申请提供一种风险视频的检测方法和装置。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请提出了一种风险视频的检测方法，该方法包括：

获取待进行风险检测的视频；

从所述视频中提取出代表镜头画面的图像帧作为第一关键图像；

从所述视频中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型；

将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果；

将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果；

根据所述第一比对结果和所述第二比对结果确定所述视频的风险性。

可选地，所述从所述视频中提取出代表镜头画面的图像帧，包括：

将所述视频中的各图像帧映射到颜色空间，得到各图像帧的颜色特征；

根据所述颜色特征从所述视频中提取出代表镜头画面的图像帧。

可选地，所述根据所述颜色特征从所述视频中提取出代表镜头画面的图像帧，包括：

按照图像帧播放时间从前到后的顺序，从所述视频中提取图像帧作为当前图像帧；

针对所述当前图像帧，根据所述颜色特征确定所述当前图像帧与相邻图像帧之间的颜色差异；

在所述颜色差异大于等于差异阈值的情况下，提取所述当前图像帧作为代表镜头画面的图像帧，并将当前图像帧更新为所述相邻图像帧；

在所述颜色差异小于差异阈值的情况下，将当前图像帧更新为所述相邻图像帧。

可选地，预设有各类型指定内容对应分类模型，所述从所述视频中提取出包括指定内容的图像帧，包括：

将所述视频中的图像帧分别输入各类型指定内容对应的分类模型，通过所述分类模型输出所述图像帧包括对应类型指定内容的概率值；

根据所述概率值确定所述图像帧是否包括对应类型的指定内容。

可选地，所述从所述视频中提取出代表镜头画面的图像帧，包括：

在从所述视频中提取出代表镜头画面的图像帧之后，在剩余视频帧中进行包括指定内容图像帧的提取。

可选地，所述根据所述第一比对结果和所述第二比对结果确定所述视频的风险性，包括：

在所述第一比对结果为比对成功的情况下，或在所述第二比对结果为比对成功的情况下，确定所述视频存在风险。

可选地，所述方法还包括：

在所述第一比对结果为比对成功的情况下，将所述第一关键图像存储至所述非指定内容风险图像集中；

在所述第二比对结果为比对成功的情况下，将所述第二关键图像存储至所述指定内容风险图像集。

第二方面，本申请还提供了一种风险视频的检测装置，该装置包括：

视频获取模块，用于获取待进行风险检测的视频；

镜头画面提取模块，用于从所述视频中提取出代表视频画面的图像帧作为第一关键图像；

指定内容提取模块，用于从所述视频中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型；

镜头画面比对模块，用于将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果；

指定内容比对模块，用于将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果；

结果判断模块，用于根据所述第一比对结果和所述第二比对结果确定所述视频的风险性。

第三方面，本申请还提供了一种电子设备，该电子设备包括：

处理器；

用于存储机器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如前述方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如前述方法的步骤。

采用上述技术方案，通过第一关键图像和第二关键图像的提取，可从视频中提取出尽可能多的代表视频内容的图像，进而提升视频风险性检测的准确性。此外，将关键图像与对应的风险图像集进行比对，还可有效减少风险图像比对数量，提升视频风险性检测效率。

附图说明

图1是本申请一示例性实施例示出的一种风险视频的检测方法的流程示意图。

图2是本申请一示例性实施例示出的一种第一关键图像提取的方法的流程图。

图3是本申请一示例性实施例示出的一种电子设备的硬件结构图。

图4是本申请一示例性实施例示出的一种用于风险视频的检测装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

视频风险检测可应用在舆情监管等诸多场景中。在进行视频风险检测时，通常会确定待检测视频画面中是否包含风险内容，例如血腥暴力相关的画面，敏感人物，敏感场景等，当确定所述检测视频中包含上述风险内容时，可确定该视频存在风险。

而有些用户为了规避风险检测，会对视频内容进行二次加工，比如将敏感词汇用图像或者拼音的形式代替，对血腥画面进行变色处理等，若仍采用相关技术中的检测方案，可能会无法检测出这种风险视频，导致风险视频检测的准确性下降。

例如，用户想要发布某一新闻发布会视频，该新闻发布会由风险人物张三主持，为了躲避视频风险检测，用户将视频中张三头像加了马赛克。如果采用传统的视频风险检测方法，将视频画面与含有张三头像的风险图像进行比对，将无法检测出该视频的风险性，从而降低视频风险检测到的准确性。

有鉴于此，本申请提供了一种风险视频的检测方法。

请参见图1，图1是本申请一示例性实施例示出的一种风险视频的检测方法的流程图，所述方法包括如下所示步骤：

步骤102：获取待进行风险检测的视频。

在本申请中，所述待进行风险检测的视频可以为用户发布的视频。例如，用户在视频社交平台中发布的视频，用户在即时通信软件中发布的视频等。

一般而言，用户在请求视频发布后，可对用户提交的视频进行风险检测，若经检测确定视频不存在风险，可允许发布；若经检测确定视频存在风险，可向用户返回风险提示，用户可修改视频后再重新进行提交。

当然，在其他例子中，用户在请求视频发布后，也可先发布用户提交的视频，后续再获取已发布的视频进行风险检测，本申请对此不作特殊限制。

步骤104：从所述视频中提取出代表镜头画面的图像帧作为第一关键图像。

在本申请中，一段视频中可能仅包括一个镜头下拍摄到的画面，也可能会包括多个镜头下拍摄到的画面。对于包括多个镜头画面的视频而言，而不同镜头画面中展现的内容往往不同，为提升后续风险检测的准确性，本申请可将待进行风险检测的视频中代表各个镜头画面的图像帧均提取出作为第一关键图像，以进行后续的视频风险性检测。

步骤106：从所述视频中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型。

在本申请中，所述指定内容可预先设置，所述指定内容通常可被划分为多种类型，例如，人像类型、物体类型，环境类型等。本步骤可将待进行风险检测的视频中包括有指定内容的图像帧均提取出作为第二关键图像，并确定出第二关键图像包括的指定内容类型，以进行后续的视频风险性检测。

步骤108：将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果。

步骤110：将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果。

在本申请中，可预先设置已确定存在风险的风险图像，将前述步骤104和步骤106中提取出的第一关键图像和第二关键图像分别与风险图像进行匹配，进而确定视频的风险性。

在本申请中，所述风险图像可分为包括指定内容的指定内容风险图像和不包括指定内容的非指定内容风险图像，可分别针对这两种风险图像预先建立风险图像集，即指定内容风险图像集和非指定内容风险图像集。所述指定内容风险图像集可以有多个，分别与指定内容的类型对应。所述非指定内容风险图像集可以仅为1个。每个图像集中均可包括多张相应的风险图像。在实际应用中，所述图像集中可存储风险图像，也可存储风险图像对应的特征向量，本申请对此不作特殊限制。

其中，所述指定内容风险图像可以为风险人物图像、风险物体图像，风险环境图像等。所述非指定内容风险图像可以为除所述指定内容风险图像之外其他的风险图像，例如，某战争相关的图像等。

在本申请中，针对所述第一关键图像，可将第一关键图像与非指定内容风险图像集中的各非指定内容风险图像进行对比，得到第一比对结果。

针对所述第二关键图像，可将第二关键图像与其类型对应的指定内容风险图像集中的该类型下各指定内容风险图像进行对比，得到第二比对结果。

其中，关键图像与风险图像集的比对结果可以为关键图像与风险图像集中匹配的风险图像的数量，也可以为关键图像命中风险图像集中风险图像数量的比例等。

步骤112：根据所述第一比对结果和所述第二比对结果确定所述视频的风险性。

在本申请中，可以在第一比对结果为第一关键图像与非指定内容风险图像集中任意风险图像匹配的情况下确定所述视频存在风险。也可以在第二比对结果为第二关键图像与其类型对应的指定内容风险图像集中任意风险图像匹配的情况下确定所述视频存在风险。

由以上描述可以看出，本申请针对待进行风险检测的视频，可从视频中提取出代表镜头画面的图像帧作为第一关键图像，还可从视频中提取出包括指定内容的图像帧作为第二关键图像。接着，将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，将所述第二关键图像与预先存储指定内容类型对应的指定内容风险图像集进行比对，综合二者的比对结果确定视频的风险性。

采用上述技术方案，通过第一关键图像和第二关键图像的提取，可从视频中提取出尽可能多的代表视频内容的图像，进而提升视频风险性检测的准确性。此外，将关键图像与对应的风险图像集进行比对，还可有效减少风险图像比对数量，提升视频风险性检测效率。

接下来分别从视频预处理、第一关键图像提取、第二关键图像提取、第一关键图像和第二关键图像的命名、第一比对结果、第二比对结果以及确定视频的风险性这几个方面对本申请的实现过程进行详细说明。

一、视频预处理

在实际应用中，获取的待进行风险检测的视频中会包含一些无意义的图像帧，比如视频的片头帧，片尾帧，模糊图像帧等。这些无意义的图像帧不会影响视频风险检测结果，因此可先对获取到的视频进行预处理，过滤掉这些无意义的图像帧，减少后续视频风险检测的计算量。

在本申请中，待检测视频中包括有多个图像帧，每个图像帧都可对应唯一一个播放时间，通过所述播放时间可确定出所述视频的片头帧和片尾帧，然后将待检测视频中的片头帧和片尾帧和预设的无意义片头片尾图像比对，进而识别出待检测视频中无意义的片头帧和片尾帧，并进行过滤。

在本申请中，还可以识别出待检测视频中每个图像帧的分辨率，通过分辨率确定对应图像帧的清晰度，然后可过滤掉清晰度不符合要求的图像帧。

二、第一关键图像的提取

在本申请中，可将视频中过滤后的各图像帧映射到颜色空间，得到各个图像帧的颜色特征，然后根据颜色特征从这些图像帧中提取出代表镜头画面的图像帧作为第一关键图像。

其中，颜色空间可以采用HSV（Hue, Saturation, Value，色相，饱和度，色明度）颜色空间、HSL（Hue, Saturation ，lightness，色相，饱和度，亮度）颜色空间和RGB（Red，Green，Blue，红色，绿色，蓝色）颜色空间等，本申请对此不作特殊限制。

对于HSV颜色空间而言，所述颜色特征是通过颜色空间所提取出来当前帧的色相、饱和度、色明度、纹理以及形状空间等参数取值组成的向量。对于HSL颜色空间而言，所述颜色特征是通过颜色空间所提取出来当前帧的色相，饱和度以及亮度等参数取值组成的向量。对于RGB颜色空间而言，所述颜色特征是通过颜色空间所提取出来当前帧的红色，蓝色，绿色三种颜色成分组成的元组之间的距离组成的向量。

图2是本申请一示例性实施例示出的一种第一关键图像提取的方法的流程图。

如图2所示，在示出的一种实施例中，第一关键图像提取方法包括如下步骤：

S202：按照视频帧播放时间从前到后的顺序，从所述视频中提取图像帧作为当前图像帧。

在本申请中，可按照播放时间从前到后的顺序，依次提取出各个视频帧作为当前图像帧。

S204：针对所述当前图像帧，根据所述颜色特征确定所述当前图像帧与相邻图像帧之间的颜色差异。

在本申请中，可计算当前图像帧的颜色特征与其相邻图像帧的颜色特征之间的相似度，作为所述颜色差异。

S206：判断所述颜色差异是否大于等于差异阈值。

如果判断结果为否，则执行步骤S208。如果判断结果为是，则执行步骤S210。

S208：将当前图像帧更新为所述相邻图像帧。

S210：提取所述当前图像帧作为代表镜头画面的图像帧，并将当前图像帧更新为所述相邻图像帧。

在本申请中，当所述颜色差异大于等于差异阈值的情况下，说明当前图像帧与相邻图像帧之间的颜色变化很大，当前图像帧与相邻图像帧大概率代表不同的镜头画面，可提取所述当前图像帧作为代表镜头画面的第一关键图像，并将当前图像帧更新为所述相邻图像帧，并继续进行判断。

在所述颜色差异小于差异阈值的情况下，说明当前图像帧与相邻图像帧表示的镜头画面大概率代表相似的镜头画面，将当前图像帧更新为所述相邻图像帧，并继续进行判断。

举例来说，可先按照图像帧播放时间从前到后的顺序对各图像帧进行排序，然后可将第一个图像帧作为当前帧，第二个图像帧是其相邻图像帧，将上述第一个图像帧与第二个图像帧的颜色特征进行比对，确定上述两帧的颜色差异，如果所述颜色差异大于等于预设的差异阈值时，则将第一个图像帧作为代表镜头画面的第一关键图像，并重新将第二个图像帧作为当前图像帧，第三个图像帧作为当前图像帧的相邻图像帧继续进行比对，如果所述颜色差异小于预设的差异阈值，并再将第三个图像帧作为当前图像帧，第四个图像帧是其相邻图像帧，继续进行比对，以此类推，直到遍历完所有图像帧，进而提取出所有代表镜头画面的第一图像帧。

在实际应用中，所述差异阈值为技术人员预先设置的颜色差异值，该值可以根据视频切割检测的精细度要求来设置，数值越小，视频画面切割精细度越高，反之，视频画面切割精细度越低。

采用本申请提供的颜色差异比对方案来进行第一关键图像的提取，在面对镜头切换频繁的视频时（比如一秒一个转场），也可有效提取出代表镜头画面的第一关键图像，避免了镜头画面提取不全面所导致的后续视频风险检测结果不准确的问题。

在本申请另一个例子中，还可采用镜头边缘检测来提取出代表镜头画面的第一关键图像。所述镜头边缘检测可以通过计算待检测视频中所有图像帧的边界，然后按照图像帧播放时间顺序比对当前图像帧和相邻图像帧边界的位移变化来进行第一关键图像的提取。

在本申请又一个例子中，还可采用像素域方法来提取出代表镜头画面的第一关键图像。所述像素域方法可通过计算待检测视频中所有图像帧的像素灰度或亮度，然后按照图像帧播放时间顺序比对当前图像帧和相邻图像帧之间每个对应的像素的灰度或亮度的变化来进行第一关键图像的提取，在本申请中不对其进行特别限定。

三、第二关键图像的提取

在本实施例中，从所述视频中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型。在实际运用中，预设有上述各类型指定内容对应的分类模型，所述分类模型可以是R-CNN（Region with Convolutional Neural Networks features，基于区域的卷积神经网络）模型等。

在进行第二关键图像的提取时，针对每个图像帧，可将该图像帧分别输入各类型指定内容对应的分类模型中，通过所述分类模型输出所述图像帧包括对应类型指定内容的概率值，然后根据所述概率值确定所述图像帧是否包括对应类型的指定内容。

举例来说，假设有三种类型的指定内容，分别为人像、物体和环境，请参考表1，不同类型指定内容对应有不同的分类模型。在进行第二关键图像的提取时，针对每个图像帧，可将其分别输入分类模型1、分类模型2、分类模型3。以分类模型1为例，可得到分类模型1输出的该图像帧包括人像类型指定内容的概率值p1，根据p1可确定出该图像帧是否包括人像类型的指定内容，例如可判断p1是否大于等于人像分类概率阈值，若p1大于等于该人像分类概率阈值，可确定该图像帧包括人像类型的指定内容。类似的，还可确定出该图像帧是否包括物体和环境类型的指定内容。

其中，各类型指定内容对应的分类模型可通过预先训练得到，训练方法可参考相关技术，本申请在此不再一一赘述。

采用上述第二关键图像的提取方案，可将包括各种类型指定内容的图像帧均提取出，相较于单一类型指定内容的提取，在面对视频二次加工的场景下，也可有效提取出关键图像来代表视频进行风险检测。

在本申请中，可先进行第一关键图像的提取，在第一关键图像提取完毕后，从剩余的视频帧中进行第二关键图像的提取。也可先进行第二关键图像的提取，在第二关键图像提取完毕后，从剩余的视频帧中进行第一关键图像的提取，本申请对此不作特殊限制。

在本申请中，在提取出代表镜头画面的第一关键图像的基础上还可提取出包括指定内容的第二关键图像，当无法通过第一关键图像检测出视频风险性的情况下，还可基于第二关键图像进行视频风险的检测，相较于单一种类关键图像的提取，可有效提高后续视频风险检测的准确性。

四、第一关键图像和第二关键图像的命名

在实际应用中，在提取出关键图像后，还可对关键图像进行命名。

例如，可将所述第一关键图像命名为视频ID-关键图像ID，所述视频ID可以用于表征唯一的待检测视频，所述关键图像ID可以在该视频中表征唯一的图像帧，所述关键图像ID可以为该关键图像在视频中的播放顺序号。

再例如，可将所述第二关键图像命名为视频ID-关键图像ID-主体ID，所述主体ID可表征唯一类别的指定内容。比如待检测视频的视频ID为001，所述视频中某一第二关键图像的关键ID为003，该关键图像中包含人像005的指定内容，那么该第二关键图像可以被命名为视频001-003-人像005。

本申请中关键图像的命名可在后续风险图像集更新中使用，将在后续实施例中描述。

五、第一比对结果

在本实施例中，将第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果。所述比对方法可以是相似检索，确定第一关键图像的图像特征向量与非指定内容风险图像的图像特征向量的距离，如果所述距离大于或等于预设的距离阈值时，可以说明该第一关键图像与当前非指定内容风险图像匹配成功，如果所述距离小于预设的距离阈值时，可以说明该第一关键图像与该非指定内容风险图像匹配失败。所述距离阈值可以依据风险检测精准度需求设定，所述距离阈值越小，说明风险检测精准度越高，如果距离阈值越大，说明风险检测精准度越小。

在本实施例中，在将第一关键图像与非指定内容风险图像集中各非指定内容风险图像均比对完成后，可得到第一对比结果。所述第一比对结果可以是匹配成功的非指定内容风险图像数量（例如10），也可以是匹配成功的非指定内容风险图像比例（例如1%）等。

本申请将上述无法准确匹配上某一指定内容类型的非指定内容风险图像存储非指定内容风险图像集，从而增加用于风险检测的风险图像类型，提高视频风险检测的准确率。

六、第二比对结果

表2为本申请一示例性实施例示出的各类型指定内容与指定内容风险图像集之间的对应关系。参考表2，人像类型指定内容对应的指定内容风险图像集为风险人像集，所述风险人像集中存储了若干风险人物头像的图像，比如明星1，明星2，政治人物1，政治人物2，而针对每个风险人物，风险人像集中还可以包含若干风险人物的各种造型图或各种角度的头像。物体类型的指定内容对应的指定内容风险图像集为风险物体集，所述风险物体集中存储了若干风险物体的图像，比如刀具，香烟，酒精，而针对每种风险物体，风险物体集中还可以包含该物体若干不同形态的图像。环境类型指定内容对应的指定内容风险图像集为风险环境集，所述风险环境集中存储了若干风险环境的图像，比如新闻发布会，教室，而针对每个风险环境，风险环境集中还包括该风险环境下的各种角度的图像。

在本申请中，可将第二关键图像和其包括的指定内容类型对应的指定内容风险图像集中的指定内容风险图像进行比对。比对方法也可以采用相似检索，具体过程可参考第一关键图像的比对，本申请在此不再一一赘述。

在本申请中，通过将包含指定内容的第二关键图像与预先存储的其类型对应的指定内容风险图像集进行比对的方式，可以减少因为视频二次加工而降低视频风险检测准确率的问题。

以前述用户为新闻发布会视频中张三头像加马赛克为例，通过本申请的方法，可以提取出第二关键图像帧，该第二关键图像帧即对应人像类型，又对应环境类型。接着，将该第二关键图像帧与包含有张三头像的风险人像集进行比对，以及将该第二关键图像帧与风险环境集进行比对。由于张三头像被添加了马赛克，该第二关键图像帧与风险人像集比对失败，但是仍可以与风险环境集中的发布会风险环境图像比对成功，进而检测出该视频存在风险。

在实际应用中，当第二关图像第二关键图像与该指定内容的风险图像匹配成功后，可以对该第二关键图像的名称进行更新，所述更新后名称可以是视频ID-关键图像ID-主体ID-主体名称。比如命名为视频001-003-人像005的第二关键图像与风险人像库中风险明星张三的图像匹配成功，那么该第二关键图像的命名可以更新为视频001-003-人像005-张三。

七、确定视频的风险性

在本申请中，可以在第一比对结果为第一关键图像与非指定内容风险图像集中至少一个风险图像匹配的情况下，确定所述第一比对结果为比对成功，进而确定视频存在风险。类似的，也可以在第二比对结果为第二关键图像与其类型对应的指定内容风险图像集中至少一个风险图像匹配的情况下，确定所述第二比对结果为比对成功，进而确定视频存在风险。

本申请将不同的关键图像与不同的风险图像集进行比对，当第一关键图像的第一比对结果为比对失败的情况下，若第二关键图像的第二比对结果为比对成功，也可检测出风险视频，进而可在确保风险图像检测准确性的基础上，降低图像比对数量，提升视频风险性检测效率。

当然，在实际应用中，也可设置更为严苛的比对成功条件，例如，至少两个风险图像匹配的情况下，本申请对此不作特殊限制。

在本申请中，在比对成功的情况下，还可输出风险图像集中匹配成功的风险图像，以供参考。

此外，由于风险内容会随着时事热点不断的进行更新，因此保障风险图像库的实时性，需要不断地对该风险图像集进行更新，以确保视频风险检测的准确率。

为了满足上述要求，往往需要通过实时检索风险事件相关的图像来更新风险图像集，然而这样的方式工作量巨大，且效率低。在本申请中，可以将比对成功的关键图像存储至相应的风险图像集，已实现对风险图像集的实时更新，相较于前述方案，可大大提高风险图像集的更新效率。

例如，可以在所述第一比对结果为比对成功的情况下，将所述第一关键图像存储至所述非指定内容风险图像集中，实现对非指定内容风险图像库的更新，还可以在所述第二比对结果为比对成功的情况下，将所述第二关键图像存储至所述指定内容风险图像集，实现对指定内容风险图像库的更新。

与前述风险视频的检测方法的实施例相对应，本申请还提供了一种风险视频的检测装置的实施例。

本申请风险视频的检测装置的实施例可以应用在电子设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本申请风险视频的检测装置在电子设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

图4是本申请一示例性实施例示出的一种风险视频的检测装置的框图。

请参考图4，所述风险视频的检测装置可以应用在前述图3所示的电子设备上，包括有：

视频获取模块302，用于获取待进行风险检测的视频；

镜头画面提取模块304，用于从所述视频中提取出代表视频画面的图像帧作为第一关键图像；

指定内容提取模块306，用于从所述视频中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型；

镜头画面比对模块308，用于将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果；

指定内容比对模块310，用于将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果；

结果判断模块312，用于根据所述第一比对结果和所述第二比对结果确定所述视频的风险性。

可选的，所述镜头画面提取模块304包括：

将所述视频中的各图像帧映射到颜色空间，得到各图像帧的颜色特征；

根据所述颜色特征从所述视频中提取出代表镜头画面的图像帧。

具体的，所述颜色特征从所述视频中提取出代表镜头画面的图像帧包括：

按照图像帧播放时间从前到后的顺序，从所述视频中提取图像帧作为当前图像帧；

针对所述当前图像帧，根据所述颜色特征确定所述当前图像帧与相邻图像帧之间的颜色差异；

在所述颜色差异大于等于差异阈值的情况下，提取所述当前图像帧作为代表镜头画面的图像帧，并将当前图像帧更新为所述相邻图像帧；

在所述颜色差异小于差异阈值的情况下，将当前图像帧更新为所述相邻图像帧。

可选的，预设有各类型指定内容对应分类模型，所述指定内容提取模块306包括：

将所述视频中的图像帧分别输入各类型指定内容对应的分类模型，通过所述分类模型输出所述图像帧包括对应类型指定内容的概率值；

根据所述概率值确定所述图像帧是否包括对应类型的指定内容。

可选的，所述装置还包括：

在从所述视频中提取出代表镜头画面的图像帧之后，在剩余视频帧中进行包括指定内容图像帧的提取。

可选的，结果判断模块312，包括：

所述第一比对结果为比对成功的情况下，或在所述第二比对结果为比对成功的情况下，确定所述视频存在风险；

可选的，所述装置还包括：

在所述第一比对结果为比对成功的情况下，将所述第一关键图像存储至所述非指定内容风险图像集中；

在所述第二比对结果为比对成功的情况下，将所述第一关键图像存储至所述指定内容风险图像集。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

与前述视频风险检测的方法的实施例相对应，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取待进行风险检测的视频；

从所述视频中提取出代表镜头画面的图像帧作为第一关键图像；

从所述视频中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型；

将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果；

将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果；

根据所述第一比对结果和所述第二比对结果确定所述视频的风险性。

可选地，所述从所述视频中提取出代表镜头画面的图像帧，包括：

将所述视频中的各图像帧映射到颜色空间，得到各图像帧的颜色特征；

根据所述颜色特征从所述视频中提取出代表镜头画面的图像帧。

可选地，所述根据所述颜色特征从所述视频中提取出代表镜头画面的图像帧，包括：

按照图像帧播放时间从前到后的顺序，从所述视频中提取图像帧作为当前图像帧；

针对所述当前图像帧，根据所述颜色特征确定所述当前图像帧与相邻图像帧之间的颜色差异；

在所述颜色差异大于等于差异阈值的情况下，提取所述当前图像帧作为代表镜头画面的图像帧，并将当前图像帧更新为所述相邻图像帧；

在所述颜色差异小于差异阈值的情况下，将当前图像帧更新为所述相邻图像帧。

可选地，预设有各类型指定内容对应分类模型，所述从所述视频中提取出包括指定内容的图像帧，包括：

将所述视频中的图像帧分别输入各类型指定内容对应的分类模型，通过所述分类模型输出所述图像帧包括对应类型指定内容的概率值；

根据所述概率值确定所述图像帧是否包括对应类型的指定内容。

可选地，所述从所述视频中提取出代表镜头画面的图像帧，包括：

在从所述视频中提取出代表镜头画面的图像帧之后，在剩余视频帧中进行包括指定内容图像帧的提取。

可选地，所述根据所述第一比对结果和所述第二比对结果确定所述视频的风险性，包括：

在所述第一比对结果为比对成功的情况下，或在所述第二比对结果为比对成功的情况下，确定所述视频存在风险。

可选地，所述方法还包括：

在所述第一比对结果为比对成功的情况下，将所述第一关键图像存储至所述非指定内容风险图像集中；

在所述第二比对结果为比对成功的情况下，将所述第二关键图像存储至所述指定内容风险图像集。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种风险视频的检测方法，其特征在于，所述方法包括：

获取待进行风险检测的视频；

从所述视频中提取出代表镜头画面的图像帧作为第一关键图像；

在所述视频的剩余图像帧中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型；

将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果；

将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果；

根据所述第一比对结果和所述第二比对结果确定所述视频的风险性；

其中，预设有各类型指定内容对应的分类模型，所述在所述视频的剩余图像帧中提取出包括指定内容的图像帧，包括：

将所述视频中的剩余图像帧分别输入各类型指定内容对应的分类模型，通过所述分类模型输出所述剩余图像帧包括对应类型指定内容的概率值；

根据所述概率值确定所述剩余图像帧是否包括对应类型的指定内容，并在所述剩余图像帧包括对应类型的指定内容时，提取所述剩余图像帧。

2.根据权利要求1所述的方法，其特征在于，所述从所述视频中提取出代表镜头画面的图像帧，包括：

将所述视频中的各图像帧映射到颜色空间，得到各图像帧的颜色特征；

根据所述颜色特征从所述视频中提取出代表镜头画面的图像帧。

3.根据权利要求2所述的方法，其特征在于，所述根据所述颜色特征从所述视频中提取出代表镜头画面的图像帧，包括：

按照图像帧播放时间从前到后的顺序，从所述视频中提取图像帧作为当前图像帧；

针对所述当前图像帧，根据所述颜色特征确定所述当前图像帧与相邻图像帧之间的颜色差异；

在所述颜色差异大于等于差异阈值的情况下，提取所述当前图像帧作为代表镜头画面的图像帧，并将当前图像帧更新为所述相邻图像帧；

在所述颜色差异小于差异阈值的情况下，将当前图像帧更新为所述相邻图像帧。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一比对结果和所述第二比对结果确定所述视频的风险性，包括：

在所述第一比对结果为比对成功的情况下，或在所述第二比对结果为比对成功的情况下，确定所述视频存在风险。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一比对结果为比对成功的情况下，将所述第一关键图像存储至所述非指定内容风险图像集中；

在所述第二比对结果为比对成功的情况下，将所述第二关键图像存储至所述指定内容风险图像集。

6.一种风险视频的检测装置，其特征在于，所述装置包括：

视频获取模块，用于获取待进行风险检测的视频；

镜头画面提取模块，用于从所述视频中提取出代表视频画面的图像帧作为第一关键图像；

指定内容提取模块，用于在所述视频的剩余图像帧中提取出包括指定内容的图像帧作为第二关键图像，并确定所述指定内容的类型；

镜头画面比对模块，用于将所述第一关键图像与预先存储的非指定内容风险图像集进行比对，得到所述第一关键图像对应的第一比对结果；

指定内容比对模块，用于将所述第二关键图像与预先存储所述类型对应的指定内容风险图像集进行比对，得到所述第二关键图像对应的第二比对结果；

结果判断模块，用于根据所述第一比对结果和所述第二比对结果确定所述视频的风险性；

其中，预设有各类型指定内容对应的分类模型，所述在所述视频的剩余图像帧中提取出包括指定内容的图像帧，包括：

将所述视频中的剩余图像帧分别输入各类型指定内容对应的分类模型，通过所述分类模型输出所述剩余图像帧包括对应类型指定内容的概率值；

根据所述概率值确定所述剩余图像帧是否包括对应类型的指定内容，并在所述剩余图像帧包括对应类型的指定内容时，提取所述剩余图像帧。

7.一种电子设备，包括：

处理器；

用于存储机器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-5中任一项所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。

Images