CN114359815B - 一种快速审核视频内容的处理方法 - Google Patents

Abstract

本发明提供了一种快速审核视频内容的处理方法，将待审核的批量视频数据上传到数据存储模块；数据处理策略配置模块配置好数据处理的方式，配置定量识别阈值来决定一次识别的视频帧数量，配置终止阈值来决定提前结束识别任务；将视频统一解码抽帧并去重；查看视频识别结果是否已存在缓存服务中，若存在，则直接返回结果；若不存在，则将解码去重后的数据输入识别模块，批量对视频帧数据进行违规类型的识别，并将识别结果发送到缓存服务中并返回结果。本发明可以配置批量识别和提前结束策略，多种识别模型结合，自动完成对大量视频的内容审核，极大的便利了用户使用性；识别模型极大的提高了识别的准确率和速度，大大提高了审核效率。

Description

一种快速审核视频内容的处理方法

技术领域

本发明涉及互联网视频处理技术领域，特别涉及一种提升视频内容审核速度的处理方法。

背景技术

随着大数据时代的热潮，互联网技术的发展蒸蒸日上，网络上的视频资源也越来越多。这就造成了互联网上的视频多种多样，内容也是鱼龙混杂。诸如一些视频片段含色情、暴力、政治敏感、侵犯版权的内容。保护互联网环境，以及保护视频版权人的权益变得尤为重要。因此需要对视频的内容进行审核。

目前互联网用户的数量与日俱增，单一视频的点击量，播放量和转发量累计可达上千万次甚至上亿次。但是目前审核视频技术无论是人工还是系统审核大多都是系统从头至尾的审核视频包括大量的重复视频，并且逐个视频解码审核。但是一般视频长达几十分钟甚至一两个小时，在庞大的视频数量下，这种审核方式的效率就显得微不足道。

当前深度学习识别模型都为单一的分类模型，仅能依靠单一的分类模型来确定视频是否为违规类型，这对于某些特定或者复杂内容的违规视频，识别的准确率不高，造成该违规视频漏处理，无效处理。大大浪费了处理时间，进一步降低效率。

发明内容

本发明实施例提供一种提升视频内容审核速度的方法和系统，以解决以上问题。下面简单概括本实施例的一些方面，以便后续展开详细的说明。

一种提升视频内容审核速度的处理方法，包括如下步骤：

S1.客户上传批量待审核视频数据到数据存储服务中；

S2.服务端配置识别和数据处理策略；

S3.从数据存储服务中获取批量待审核视频数据；

S4.根据配置的识别和数据处理策略对待审核的视频数据进行解码抽帧去重处理；

S5.判断缓存服务中是否已存在识别视频结果或者存在相同、相似特征的视频帧数据，若存在则将结果发送至客户端，若不存在则继续向下执行；

S6.将上述S4步骤去重后的视频帧数据，批量送入多种深度学习模型结合的识别模型以及改进的检测模型中识别；

S7.将识别结果进行融合；

S8.将识别结果发送到缓存服务中；

S9.将识别结果发送至客户端。

优先的是，本发明步骤S2中的服务端配置识别和数据处理策略，包括如下步骤：

S21.配置数据处理策略；

S22.视频进行抽帧处理；

S23.配置定量识别阈值；

S24.配置终止阈值。

配置终止阈值，当待审核视频帧数据识别为违规类型的数量达到终止阈值时，提前结束识别任务，即判定该待审核视频为违规类型。

在本实施例中，与现有的技术不同，服务端可以自由配置好数据处理策略以及各个阈值，以适应不同内容场景的待审核视频数据，包括多种违规类型视频的混合场景。

优先的是，本发明步骤S4中的对待审核的视频数据进行解码抽帧去重处理，包括如下步骤：：

S41.获取批量待审核视频数据；

S42.批量待审核视频统一解码；

S43.批量待审核视频抽帧；

S44.抽帧后的视频帧数据去重。

优先的是，本发明步骤S42中批量待审核视频统一解码；具体的对视频数据采用cpu 解码或者采用gpu解码，并采用多线程的方式对视频数据进行统一批量解码。

优先的是，本发明步骤S43中批量待审核视频抽帧；具体的，根据配置的抽帧策略，对视频进行抽帧，抽帧使用ffmpeg方法或opencv方法，采用ffmpeg结合GPU多进程进行快速批量抽帧。

优先的是，本发明步骤S44中抽帧后的视频帧数据去重；具体的，采用opencv中的图像特征匹配方法去重。

优先的是，本发明步骤S5中判断视频识别结果是否已存在缓存服务中，若存在则将结果发送至客户端，若不存在则继续向下执行；具体的，在模型识别前，如果当前的待审核视频数据的唯一ID已经通过系统进行识别记录后，则仅根据当前视频数据的唯一ID 到缓存服务中获取已有的识别结果，不在进行解码抽帧识别；如果当前的待审核视频数据的唯一ID未通过模型识别记录，则需要执行后续流程，直至所述待审核视频数据识别完成；当所述待审核视频数据识别完成时，将识别结果发送到缓存服务并记录唯一ID，以备下一次出现重复视频数据。

优先的是，本发明步骤S6中将视频帧数据批量送入多种深度学习模型结合的识别模型以及改进的器官检测模型中识别，包括如下步骤：

S61.创建识别模型，所述识别模型由若干种深度学习识别模型组合而成；

S62，批量识别去重后的视频帧数据内容；根据获取策略配置的定量识别阈值。根据阈值数对视频帧数据进行批量识别去重。

优先的是，本发明步骤S61中创建识别模型，具体过程为：

识别模型由多种深度学习识别模型组合而成，包括人物检测模型、人物分类识别模型、儿童色情识别模型、器官检测模型、色情识别模型；

S611.人物检测模型：若存在人物信息，则将视频帧中的人物画面截取出来，输入人物分类识别模型；

S612.人物分类识别模型：识别出人物的性别、年龄；

S613.改进的器官检测模型：若存在器官信息，将视频帧中的器官画面截取出来，输入色情分类识别模型；

S614.儿童色情识别模型：识别出儿童色情信息；

S615.色情识别模型：识别出视频帧内容中是否有色情信息。

优先的是，本发明步骤S7中将识别模型输出的结果进行融合来确定所述视频帧数据是否为违规类型，具体过程为：

S71.根据步骤S6的多种识别模型输出的结果进行结果融合；

具体的将人物检测结果、人物分类识别结果、儿童色情识别结果、器官检测结果以及色情识别结果组合，若人物检测结果为人物信息；人物分类识别结果为儿童；儿童色情识别结果为儿童色情；器官检测结果为具体的器官信息；色情识别结果为色情，则最终的融合结果为儿童色情，属于违规类型，从而确定所述视频帧数据为违规类型；

S72.若所述视频帧数据识别为违规类型，则累计数量，并计算该视频帧数据属于违规类型的置信度；

S73.若累计数量达到配置中的终止阈值时，则提前结束识别人物并判断该待审核视频数据为违规类型视频。

本发明采用上述技术方案，与现有技术相比具有如下优点：

1、本发明对视频数据统一批量解码抽帧，不再逐一对每个视频进行解码抽帧。对抽帧后的视频帧数据的去重，可以避免识别模型对相似画面的重复识别，有效的节省了自动审核的时间，提高了审核效率。

2、本发明基于多种识别模型结合，对结果进行融合，大大提高了自动审核的准确率，无需再进行大量的人工审核操作，极大的提高了效率。

3、本发明配置了定量识别阈值，终止阈值，批量识别数据时，当识别视频帧中的数据出现违规类型并且数量达到所述终止阈值，即可判定该视频数据为违规视频数据，避免对整个视频进行审核；缓存服务方便后续排查已识别过的重复或相似视频数据，大大提高审核效率。

附图说明

图1为本发明的一种提升视频审核速度的系统流程图；

图2为本发明的一种提升视频审核速度的方法配置数据处理策略流程图；

图3为本发明的一种提升视频审核速度的方法统一解码和数据处理流程图；

图4为本发明的一种提升视频审核速度的方法模型识别流程图；

图5为本发明器官检测模型中空洞卷积特征丢失的示意图；

图6为本发明空洞卷积过程中特征图融合过程的流程图。

具体实施方式

下面结合附图以及具体实施离对本发明再做进一步详细的说明。

图1为一种提升视频审核速度的系统流程图，本发明的系统包括如下步骤：

S1，客户上传批量待审核视频数据到数据存储服务中；

S2，服务端配置识别和数据处理策略；

S3，从数据存储服务中获取批量待审核视频数据；

S4，根据配置的识别和数据处理策略对待审核的视频数据进行解码抽帧去重处理；

S5，判断缓存服务中是否已存在识别视频结果或者存在相同、相似特征的视频帧数据，若存在则将结果发送至客户端，若不存在则继续向下执行；

S6，将上述S4步骤去重后的视频帧数据，批量送入多种深度学习模型结合的识别模型以及改进的检测模型中识别；

S7，将识别结果进行融合；

S8，将识别结果发送到缓存服务中；

S9，将识别结果发送至客户端。

图2为本发明配置数据处理策略流程图，如步骤S2所述，服务端配置数据处理策略，包括如下步骤：

S21，配置数据处理策略。

具体的，可以对视频进行抽帧处理，避免对整个视频进行识别。

S22，视频进行抽帧处理，可选的例如：可以配置1帧每秒、10帧每秒、20帧每秒、关键帧抽取等其他抽帧策略。

S23，配置定量识别阈值。

具体的，可以合理配置阈值大小，例如可以配置1-100中的任意数字。进行对数据的批量识别。

S24，配置终止阈值。

配置终止阈值，当待审核视频帧数据识别为违规类型的数量达到终止阈值时，提前结束识别任务，即判定该待审核视频为违规类型。

在本实施例中，与现有的技术不同，服务端可以自由配置好数据处理策略以及各个阈值，以适应不同内容场景的待审核视频数据，包括多种违规类型视频的混合场景。

图3为本发明视频统一解码流程图，如步骤S4所述，对待审核的视频数据进行解码抽帧去重处理，包括如下步骤：：

S41，获取批量待审核视频数据。

S42，批量待审核视频统一解码。

具体的，视频具有多种格式，需要对视频进行解码，必要的还需要对视频进行格式转换处理。视频数据处理策略采用cpu解码或者采用gpu解码，批量对视频进行解码。此步骤采用多线程的方式可以对批量视频进行统一解码。

S43，批量待审核视频抽帧。

具体的，根据配置的抽帧策略，对视频进行抽帧，抽帧可以使用但不局限于ffmpeg方法、opencv方法，速度越快越好。根据抽帧策略例如：一秒一帧，十秒一帧，二十秒一帧或者关键帧进行抽帧。此步骤可以采用ffmpeg结合GPU多进程进行快速批量抽帧。

S44，抽帧后的视频帧数据去重。

具体的，视频抽帧一般都会抽出大量的相似图片，大量相似图片识别会导致无效识别，同时也会耗费模型大量的识别时间。因此，对抽帧后的视频帧数据进行去重是有必要的，可以提高识别效率。相似去重技术可以采用但不局限于opencv中的图像特征匹配方法，速度越快准确率越高越好。

如步骤S5所述，判断视频识别结果是否已存在缓存服务中，若存在则将结果发送至客户端，若不存在则继续向下执行。

在当前网络环境情况下，批量视频不可避免的会出现重复视频，因此在模型识别前，如果当前的待审核视频数据的唯一ID已经通过系统进行识别记录后，则可以仅根据当前视频数据的唯一ID到缓存服务中获取已有的识别结果，这时不用再进行解码抽帧识别等一系列流程；如果当前的待审核视频数据的唯一ID并没有通过模型识别记录，则需要再继续后续流程，直至所述待审核视频数据识别完成；当所述待审核视频数据识别完成时，将识别结果发送到缓存服务并记录唯一ID，以备下一次出现重复视频数据。本技术方案可以大大地提高识别效率

图4为本发明模型识别的流程图，如步骤S6所述，将视频帧数据批量送入多种深度学习模型结合的识别模型以及改进的器官检测模型中识别，包括如下步骤：

S61，创建识别模型。

本发明实施例对每个模型输出的结果类别做了详细分类，色情分类结果为表1具体信息如下：

表1：

识别模型由多种深度学习识别模型组合而成，例如涉黄识别模型由人物检测模型、人物分类识别模型、儿童色情识别模型、器官检测模型、色情识别模型组合而成。具体步骤如下：

S611，人物检测模型：可以有效检测出视频帧数据中是否包含人物信息。若存在人物信息，则将视频帧中的人物画面截取出来，输入人物分类识别模型。

S612，人物分类识别模型：可以有效识别出人物为女人男人和儿童。

S613，改进的器官检测模型：可以有效识别人物器官信息。若存在器官信息，将视频帧中的器官画面截取出来，输入色情分类识别模型。

受限于器官检测的场景，器官本身是个小目标，视频图像不够清晰或者拍摄距离较远导致目标再次变小等客观原因，增加了yolov3的检测难度，空洞卷积可以在相同特征图的情况下比一般卷积获得更大的感受野，从而获得更多特征，更大的感受野可以提高yolo对小目标检测的效果，但是空洞卷积会丢失局部信息，而且对于远距离卷积得到的特征没有相关性，影响检测结果，因此采用四叉树均匀分布的Orb提取局部特征(在不损失速度的前提下避免无效特征或者特征分布不均匀)，将两个提取到的特征进行融合得到新的特征再经过降维处理后预测。极大的提升了检测的准确率。

具体的yolov3在检测时对上下尺度进行融合，深层特征提供目标的语义信息浅层提供更多的特征信息。输出三个不同尺度的特征图，使模型在检测大目标和小目标上有更好的表现，但是yolov3中用八倍下采样的特征图在没有融合前侧网络特征图的情况下，对小目标的空间特征信息获取能力有限，所以检测的目标小于8*8时准确率会明显下降，而器官检测本身是小目标，所以为了获取更多的特征信息，将yolov3中的darknet-53的第二个残差模块中的104*104的特征图与52*52的特征图融合，但是104*104特征图包含更多的空间特征信息，但是感受野相比于52*52的特征图小，因此采用空洞卷积增大感受野。空洞卷积是在标准卷积的基础上通过填零来增大感受野，相对于原先的卷积只添加了一个超参数，空洞率。具体的空洞率为1时则为普通卷积，因此空洞率设置为2。

但是使用空洞卷积会存在网格效应。具体的会出现内部数据结构丢失；空间层级化信息丢失，对于远距离卷积得到的特征没有相关性，这样对小目标检测的准确率会下降，如图5所示。

因此采用四叉树均匀分布的orb提取局部特征(在不损失速度的前提下避免无效特征或者特征分布不均匀)，orb提取的特征具有空间信息，可以弥补空洞卷积所丢失的空间信息。

具体的orb可以对图像提取特征点，这些特征点都包含了三个信息，即位置、方向、尺度。对光照，阴影和噪声等的稳定性也极高。

将空洞卷积提取的特征图像和orb提取的特征图像进行融合得到新的特征图，新的特征图维度必然增大，因此对融合后的特征进行降维。降维后再经过下采样与52*52的特征图进行融合，具体如图6所示。

S614，儿童色情识别模型：可以有效识别出儿童色情信息。

S615，色情识别模型：可以有效识别出视频帧内容中是否有色情信息。

上述所有深度学习模型，均采用卷积神经网络来构建网络模型。每个模型都经过多次迭代训练。例如色情识别模型，本实施例中采用了1000万张图像样本，其中800万张图像样本作为训练样本，200万张图像样本作为验证和测试样本，每个样本都标注对应的标签类别。

S62，批量识别去重后的视频帧数据内容。

根据获取策略配置的定量识别阈值。根据阈值数来对视频帧数据进行批量识别。

如步骤S7所述，将识别模型输出的结果进行融合来确定所述视频帧数据是否为违规类型。

S71，根据所述多中识别模型输出的结果进行结果融合。

具体的将人物检测结果、人物分类识别结果、儿童色情识别结果、器官检测结果以及色情识别结果组合而成。例如人物检测结果为人物信息；人物分类识别结果为儿童；儿童色情识别结果为儿童色情；器官检测结果为具体的器官信息；色情识别结果为色情，则最终的融合结果为儿童色情，属于违规类型。以此确定所述视频帧数据为违规类型。

S72，若所述视频帧数据识别为违规类型，则累计数量，并计算该视频帧数据属于违规类型的置信度。

S73，若累计数量达到配置中的终止阈值时，则提前结束识别人物并判断该待审核视频数据为违规类型视频。

如步骤S8所述，将识别结果发送到缓存服务中。

具体的，缓存服务中可以缓存识别结果，当下次视频识别的请求到来时，如果出现已经审核过的视频则直接从缓存服务中获取结果。以节省审核时间，提高效率。

如步骤S9所述，将识别结果发送至客户端。客户端可以查看识别结果，以及对应的识别内容。

本发明将待审核的批量视频数据上传到数据存储模块；数据处理策略配置模块配置好数据处理的方式，配置定量识别阈值来决定一次识别的视频帧数量，配置终止阈值来决定提前结束识别任务；将视频统一输入视频统一解码模块解码抽帧，并对相似画面去重；查看识别视频结果是否已存在缓存服务中或者缓存服务中存在相似特征的视频帧数据，若存在，则直接返回结果；若不存在，则将解码去重后的数据输入识别模块；识别模块，采用多种深度学习识别技术相结合，可以根据配置的定量识别阈值批量对视频帧数据进行违规类型的识别，提高识别的准确率，并将识别结果发送到缓存服务中并返回结果。本发明可以配置批量识别和提前结束策略，多种识别模型结合，自动完成对大量视频的内容审核，极大的便利了用户使用性；识别模型极大的提高了识别的准确率和速度，大大提高了审核效率。

综上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域或者熟悉类似方法和系统的技术人员在本发明揭露的技术范围内，可轻易想到其以各种方式进行的变化或替换，这些都应包含在本发明的保护范围之内。因此，本发明的保护范围应当以所述权利要求的保护范围为准。

Claims (8)

1.一种提升视频审核速度的处理方法，其特征在于包括如下步骤：

S1.客户上传批量待审核视频数据到数据存储服务中；

S2.服务端配置识别和数据处理策略；

S3.从数据存储服务中获取批量待审核视频数据；

S4.根据配置的识别和数据处理策略对待审核的视频数据进行解码抽帧去重处理；

S5.判断缓存服务中是否已存在识别视频结果或者存在相同、相似特征的视频帧数据，若存在则将结果发送至客户端，若不存在则继续向下执行；

S6.将上述S4步骤去重后的视频帧数据，批量送入多种深度学习模型结合的识别模型以及改进的检测模型中识别；包括如下步骤：

S61.创建识别模型，所述识别模型由若干种深度学习识别模型组合而成；具体过程为：识别模型由多种深度学习识别模型组合而成，包括人物检测模型、人物分类识别模型、儿童色情识别模型、改进器官检测模型、色情识别模型；

S611.人物检测模型：将图片输入人物检测模型，若存在人物信息，则将视频帧中的人物画面截取出来，输入人物分类识别模型；

S612.人物分类识别模型：识别出人物的性别、年龄；

S613.改进的器官检测模型：改进的器官检测模型将Orb特征融合入检测模型中，将空洞卷积提取的特征图像和orb提取的特征图像进行融合得到新的特征图提升检测准确率；待检测图片中若存在器官信息，将视频帧中的器官画面截取出来，输入色情分类识别模型；

S614.儿童色情识别模型：识别出儿童色情信息；

S615.色情识别模型：识别出视频帧内容中是否有色情信息；

S62.批量识别去重后的视频帧数据内容；根据获取策略配置的定量识别阈值；根据阈值数对视频帧数据进行批量识别去重；

S7.将识别模型输出的结果进行融合来确定所述视频帧数据是否为违规类型；

S8.将识别结果发送到缓存服务中；

S9.将识别结果发送至客户端。

2.根据权利要求1所述的处理方法，其特征在于上述步骤S2中的服务端配置识别和数据处理策略，包括如下步骤：

S21.配置数据处理策略和识别策略；

S22.视频进行抽帧处理；

S23.配置定量识别阈值；

S24.配置终止阈值；

配置识别策略，通过配置将不同场景使用不同的阈值区域；

配置终止阈值，当待审核视频帧数据识别为违规类型的数量达到终止阈值时，提前结束识别任务，即判定该待审核视频为违规类型。

3.根据权利要求1所述的处理方法，其特征在于上述步骤S4中的对待审核的视频数据进行解码抽帧去重处理，包括如下步骤：

S41.获取批量待审核视频数据；

S42.批量待审核视频统一解码；

S43.批量待审核视频抽帧；

S44.抽帧后的视频帧数据去重。

4.根据权利要求3所述的处理方法，其特征在于上述步骤S42中批量待审核视频统一解码；具体的对视频数据采用cpu解码或者采用gpu解码，并采用多线程的方式对视频数据进行统一批量解码。

5.根据权利要求3所述的处理方法，其特征在于上述步骤S43中批量待审核视频抽帧；具体的，根据配置的抽帧策略，对视频进行抽帧，抽帧使用ffmpeg方法或opencv方法，采用ffmpeg结合GPU多进程进行快速批量抽帧。

6.根据权利要求3所述的处理方法，其特征在于上述步骤S44中抽帧后的视频帧数据去重；具体的，采用opencv中的图像特征匹配方法去重。

7.根据权利要求1所述的处理方法，其特征在于上述步骤S5中判断视频识别结果是否已存在缓存服务中，若存在则将结果发送至客户端，若不存在则继续向下执行；具体的，在模型识别前，如果当前的待审核视频数据的唯一ID已经通过系统进行识别记录后，则仅根据当前视频数据的唯一ID到缓存服务中获取已有的识别结果，不在进行解码抽帧识别；如果当前的待审核视频数据的唯一ID未通过模型识别记录，则需要执行后续流程，直至所述待审核视频数据识别完成；当所述待审核视频数据识别完成时，将识别结果发送到缓存服务并记录唯一ID，以备下一次出现重复视频数据。

8.根据权利要求1所述的处理方法，其特征在于上述步骤S7中将识别模型输出的结果进行融合来确定所述视频帧数据是否为违规类型，具体过程为：

S71.根据步骤S6的多种识别模型输出的结果进行结果融合；

具体的将人物检测结果、人物分类识别结果、儿童色情识别结果、改进器官检测结果以及色情识别结果组合，其中儿童色情图片融合过程为：若人物检测结果为人物信息；人物分类识别结果为儿童；儿童色情识别结果为儿童色情；器官检测结果为具体的器官信息；色情识别结果为色情，则最终的融合结果为儿童色情，属于违规类型，从而确定所述视频帧数据为违规类型；

S72.若所述视频帧数据识别为违规类型，则累计数量，并计算该视频帧数据属于违规类型的置信度；

S73.若累计数量达到配置中的终止阈值时，则提前结束识别人物并判断该待审核视频数据为违规类型视频。