CN112749608A - 视频审核方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种视频审核方法、装置、计算机设备和存储介质。所述方法包括：获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；调用预设的标题审核模型、封面审核模型以及内容审核模型，通过标题审核模型对待审核标题文本数据进行文本质量审核，通过封面审核模型对待审核封面数据进行封面质量审核，通过内容审核模型对待审核视频内容数据进行内容质量审核；根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得待审核视频的审核结果。从视频标题、视频封面、视频内容多维度对视频质量进行审核，直接得到待审核视频的审核结果，无需多次交互即可实现视频审核，因而可以提高视频审核的工作效率。

Description

视频审核方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种视频审核方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，内容互动平台越来越受到人们的喜爱和关注，比如各种短视频平台。据统计，近几年各个来源的视频入库峰值日上传量已超过百万级别，这些视频中可能包含违规视频，比如视频中包含违反法律法规的内容、对青少年有不良影响的内容等。

因此，为避免违规视频通过平台进行传播，有必要对视频进行审核。传统的视频审核方案需要用户与平台之间多次交互完成审核，一个视频的审核需要多次交互，而面对每日新增的大量短视频，这种方式无疑拖慢视频审核进度，即传统的视频审核存在工作效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高工作效率的视频审核方法、装置、计算机设备和存储介质。

一种视频审核方法，所述方法包括：

获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；

调用预设的标题审核模型、封面审核模型以及内容审核模型；

通过所述标题审核模型对所述待审核标题文本数据进行文本质量审核，通过所述封面审核模型对所述待审核封面数据进行封面质量审核，通过所述内容审核模型对所述待审核视频内容数据进行内容质量审核；

根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得所述待审核视频的审核结果。

一种视频审核装置，其特征在于，所述装置包括：

视频解析模块，用于获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；

模型调用模块，用于调用预设的标题审核模型、封面审核模型以及内容审核模型；

质量审核模块，用于通过所述标题审核模型对所述待审核标题文本数据进行文本质量审核，通过所述封面审核模型对所述待审核封面数据进行封面质量审核，通过所述内容审核模型对所述待审核视频内容数据进行内容质量审核；

结果生成模块，用于根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得所述待审核视频的审核结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；

调用预设的标题审核模型、封面审核模型以及内容审核模型；

通过所述标题审核模型对所述待审核标题文本数据进行文本质量审核，通过所述封面审核模型对所述待审核封面数据进行封面质量审核，通过所述内容审核模型对所述待审核视频内容数据进行内容质量审核；

根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得所述待审核视频的审核结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；

调用预设的标题审核模型、封面审核模型以及内容审核模型；

通过所述标题审核模型对所述待审核标题文本数据进行文本质量审核，通过所述封面审核模型对所述待审核封面数据进行封面质量审核，通过所述内容审核模型对所述待审核视频内容数据进行内容质量审核；

根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得所述待审核视频的审核结果。

上述视频审核方法、装置、计算机设备和存储介质，通过获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；调用预设的标题审核模型、封面审核模型以及内容审核模型，通过标题审核模型对待审核标题文本数据进行文本质量审核，通过封面审核模型对待审核封面数据进行封面质量审核，通过内容审核模型对待审核视频内容数据进行内容质量审核；根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得待审核视频的审核结果，通过调用标题审核模型、封面审核模型以及内容审核模型，从视频标题、视频封面、视频内容多维度对视频质量进行审核，直接得到待审核视频的审核结果，无需多次交互即可实现视频审核，因而可以提高视频审核的工作效率。

附图说明

图1为一个实施例中视频审核方法的应用环境图；

图2为一个实施例中视频审核方法的流程示意图；

图3为一个实施例中构建标题审核模型的流程示意图；

图4为一个实施例中标题审核模型的框架示意图；

图5为一个实施例中构建封面审核模型的流程示意图；

图6为一个实施例中构建内容审核模型的流程示意图；

图7为一个实施例中视频审核系统框架的示意图；

图8为一个实施例中视频审核装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了便于本领域技术人员更好地理解本申请实施例，先对人工智能相关内容予以说明。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请提供的视频审核方法，属于人工智能技术中的机器学习和深度学习范畴，可以应用于如图1所示的应用环境中。参照图1，移动终端102通过网络与服务器104连接。用户可以通过移动终端102将待审核视频发送至服务器104。服务器104获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；调用预设的标题审核模型、封面审核模型以及内容审核模型，通过标题审核模型对待审核标题文本数据进行文本质量审核，通过封面审核模型对待审核封面数据进行封面质量审核，通过内容审核模型对待审核视频内容数据进行内容质量审核；根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得待审核视频的审核结果。其中，移动终端102具体可以是手机、平板电脑、笔记本、台式电脑等，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。上述应用场景以视频审核模型的构建方法应用于包括移动终端和服务器的系统进行举例说明，并通过移动终端和服务器的交互实现，可以理解的是，该视频审核模型的构建方法也可以应用于移动终端，还可以应用于服务器。

如图2所示，在一个实施例中，提供了一种视频审核方法。本实施例主要以该方法应用于图1中的服务器104为例说明。参照图2，该方法具体包括如下步骤：

步骤202，获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据。

待审核视频是指视频生产端用户上传至视频平台，待发布以供视频消费端用户观看的视频。待审核标题文本数据是指表明待审核视频主旨的简短语句，待审核封面数据是指表明待审核视频主旨的图像，待审核视频内容数据是指表明待审核视频所包含的实质信息。

步骤204，调用预设的标题审核模型、封面审核模型以及内容审核模型。

标题审核模型用于对视频标题进行质量审核，封面审核模型用于对视频封面进行审核，内容审核模型用于对视频内容进行审核。具体地，标题审核模型、封面审核模型以及内容审核模型的构建包括：获取样本数据、样本数据对应的审核结果数据，其中，样本数据包括视频标题、视频封面及视频内容，审核结果数据包括标题审核结果、封面审核结果及内容审核结果；根据视频标题样本数据及标题审核结果，基于文本处理技术进行模型训练，获得标题审核模型，根据视频封面样本数据及封面审核结果，基于图像处理技术进行模型训练，获得封面审核模型，根据视频内容样本数据及内容审核结果，基于视频帧处理技术进行模型训练，获得内容审核模型。

视频标题样本数据是指用于训练模型的视频标题文本，标题审核结果用于表征视频标题文本的质量评分，具体可以根据是否存在标题过于简单，标题字数过少，标题含特殊标点符号(如结尾破折号、多个感叹号结尾)，标题含社交账号、敏感词、营销广告等，标题有错别字，标题党，标题句子不通顺等情况，基于预定义规则，生成标题文本的质量评分。标题审核模型可以包括RNN(Recurrent Neural Network，循环神经网络)+CNN(ConvolutionalNeural Networks，卷积神经网络)以及基于注意力机制的Bi-LSTM(Bidirectional LongShort-Term Memory，双向长短期记忆网络)。循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。)卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。长短期记忆网络是一种时间循环神经网络，是为了解决循环神经网络存在的长期依赖问题而专门设计出来的，由于独特的设计结构，长短期记忆网络适合于处理和预测时间序列中间隔和延迟非常长的重要事件，比如对时序数据的建模，具体可以是对文本数据的建模。双向长短期记忆网络是由前向LSTM与后向LSTM组合而成，因而不仅可以编码从前到后的信息，还可以编码从后到前的信息，由此可以获取文本中的词序信息。将注意力机制与双向长短期记忆网络相结合，以提升文本分类性能。

视频封面样本数据是指用于训练模型的视频封面，封面审核结果用于表征视频封面的质量评分，具体可以根据是否存在封面构图不佳，主题不突出，画面模糊，黑边，含水印、二维码等附加特征，变形，画面过暗，人体不全，背景杂乱等情况，基于预定义规则，生成视频封面的质量评分。封面审核模型可以包括美学回归模型、内容分类模型、图像清晰度模型、人脸模型等，其中，美学回归模型可以是Inception-V2基础模型，偏重美学指标，如失焦虚化、三分构图、主题突出、过曝光/过暗等，内容分类模型侧重人物关系、人体等，人脸模型比如输出是否明星正脸。通过封面审核模型对视频封面样本数据进行处理，输出图像综合质量评分，比如1-10分，再根据视频封面样本数据对应的封面审核结果，根据封面审核结果与图像综合质量评分，调整封面审核模型的参数，直至模型输出的图像综合质量评分与封面审核结果一致。视频内容样本数据是指用于训练模型的视频内容，内容审核结果用于表征视频内容的质量评分，具体可以根据是否存在视频内容无意义不完整，视频内容不清晰，视频内容含水印，视频内容黑屏、花屏，视频内容有广告，声音视频不同步等情况，基于预定义规则，通过神经网络模型，生成视频内容的质量评分。

步骤206，通过标题审核模型对待审核标题文本数据进行文本质量审核，通过封面审核模型对待审核封面数据进行封面质量审核，通过内容审核模型对待审核视频内容数据进行内容质量审核。

将待审核标题文本数据输入至标题审核模型，得到文本质量审核结果；将待审核封面数据输入至封面审核模型，得到封面质量审核结果；将待审核视频内容数据输入至内容审核模型，得到内容质量审核结果。

步骤208，根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得待审核视频的审核结果。

根据文本质量审核结果、封面质量审核结果及内容质量审核结果，基于预先定义的规则，获得待审核视频的审核结果。具体地，审核结果可以是定性分析数据，比如，基于预先定义的规则得到文本质量审核结果为高质、封面质量审核结果为高质、内容质量审核结果为高质，则待审核视频的审核结果为高质。审核结果也可以是定量分析数据，如以0-100分对审核结果评分，比如基于预先定义的规则得到文本质量审核结果为80分、封面质量审核结果为90分、内容质量审核结果为100分，文本质量审核结果的权重系数为0.2，封面质量审核结果的权重系数为0.3，内容质量审核结果的权重系数为0.5，对文本质量审核结果、封面质量审核结果及内容质量审核结果进行加权计算，得到待审核视频的审核结果为93分。

上述视频审核方法，通过获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；调用预设的标题审核模型、封面审核模型以及内容审核模型，通过标题审核模型对待审核标题文本数据进行文本质量审核，通过封面审核模型对待审核封面数据进行封面质量审核，通过内容审核模型对待审核视频内容数据进行内容质量审核；根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得待审核视频的审核结果，通过调用标题审核模型、封面审核模型以及内容审核模型，从视频标题、视频封面、视频内容多维度对视频质量进行审核，直接得到待审核视频的审核结果，无需多次交互即可实现视频审核，因而可以提高视频审核的工作效率。

在一个实施例中，如图3所示，根据视频标题样本数据及标题审核结果，基于文本处理技术进行模型训练，获得标题审核模型包括：步骤302，获取初始标题审核模型，将视频标题样本数据输入至初始标题审核模型，对视频标题样本数据进行向量化处理，得到词向量数据；步骤304，对词向量数据进行特征提取处理，获得每一时刻下的标题文本特征向量数据；步骤306，对每一时刻下的标题文本特征向量数据赋予不同的权重，根据各个权重以及标题文本特征向量数据进行加权求和，得到初始标题审核模型的输出结果；步骤308，根据输出结果以及标题审核结果，调整初始标题审核模型的模型参数，得到标题审核模型。标题审核模型包括编码层、特征提取层和注意力层，通过编码层对视频标题样本数据进行向量化处理，得到词向量数据；通过特征提取层对词向量数据进行特征提取处理，获得每一时刻下的标题文本特征向量数据；通过注意力层对每一时刻下的标题文本特征向量数据赋予不同的权重，根据各个权重以及标题文本特征向量数据进行加权求和，得到初始标题审核模型的输出结果，根据输出结果以及标题审核结果，调整初始标题审核模型的模型参数，得到标题审核模型。视频标题样本数据包括已标注的人工审核数据、用户举报负反馈的数据及主动标注的样本数据，标题审核模型包括RNN+CNN模型和基于注意力机制的Bi-LSTM模型，两个模型的框架示意图如图4所示。模型处理过程如下：对视频的标题文本进行编码处理，Embedding是指将大型稀疏向量转换为保留语义关系的低维空间，具体可以基于句向量Skip-Thought模型，即基于Skip-Thought将句子转化为句向量，也可以是Word2vector模型或者基于Bert模型，进行语义向量编码。再通过卷积、池化和全连接，得到标题文本的综合质量评分，可以按照业务需求定义不同的阈值，比如将标题文本的综合质量评分划分为高中低3档。此外，还可以检测标题文本特征，比如敏感词/关键词检测，社交信息检测，错别字检测，标题语言比如少语种字符、标题字数、标题形态检测等。基于注意力机制的双向长短期记忆网络能够通过计算中间状态与最终状态之间的相关关系，得到关于注意力的概率分布，对每一时刻的状态赋予不同的权重，在保留有效信息的基础上，解决信息冗余的问题，通过优化文本特征向量，实现提升文本分类的精准度。

在一个实施例中，如图5所示，根据视频封面样本数据及封面审核结果，基于图像处理技术进行模型训练，获得封面审核模型包括：步骤502，获取初始封面审核模型，将视频封面样本数据输入至初始封面审核模型，对视频封面样本数据进行特征提取，获得封面属性特征和封面局部特征；步骤504，根据封面属性特征和封面局部特征，得到初始封面审核模型的输出结果；步骤506，根据输出结果以及封面审核结果，调整初始封面审核模型的模型参数，得到封面审核模型。封面属性特征是指视频封面对应的图像物理属性，比如封面图像的亮度、颜色和分辨率、是否失焦等。比如，RGB图像在亮度出现异常时，检测到的图像亮度值会偏离亮度均值，如128，计算视频封面中亮度偏离均值128的均值和偏差，以此来衡量视频封面的图像亮度。失焦的主要表现为画面模糊，可以通过梯度的统计特征衡量画面模糊，梯度值越高，画面的边缘信息越丰富，图像越清晰。此外，通过封面审核模型还可以过滤过暗或者过曝的低质封面，过滤偏色严重的低质封面，比如绿屏。封面局部特征是指视频封面对应的对象属性，比如视频封面图像中的水印、二维码、黑边、蒙版图片等特征。比如，可以基于ImageNet的InceptionV3模型，通过监督学习方法，标记大量的封面低质样本，通过封面低质特征的识别模型，可以快速高精度地识别出低质封面的视频，比如识别出有水印的视频。ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库，超过1400万的图像被ImageNet注释，以指示图片中的对象，在至少一百万个图像中还提供了边界框。封面审核模型中将多个模型融合，采用了多重监督的方法，在模型的不同层级抽象出不同的损失函数，在性能和效率中取得平衡。在深度级联网络的不同层分别取3个损失函数，两个损失函数用来算分类，一个用来算回归，共同反向传播训练。比如对图片美观度的评分是一个概率分布，模型拟合结果需要尽可能将预测结果和评分结果概率分布接近，可以通过EMD量化真实分数概率分布与预测分数概率分布的差异度。

在一个实施例中，如图6所示，根据视频内容样本数据及内容审核结果，基于视频帧处理技术进行模型训练，获得内容审核模型包括：步骤602，获取初始内容审核模型，将视频内容样本数据输入至初始内容审核模型，对视频内容样本数据进行视频帧抽取处理，获得视频帧数据；步骤604，对视频帧数据进行特征提取，获得不同维度的特征数据；步骤606，根据不同维度的特征数据，得到初始内容审核模型的输出结果；步骤608，根据输出结果以及内容审核结果，调整初始内容审核模型的模型参数，得到内容审核模型。视频本身包含多种特征，比如标题、封面图、视频内容、视频音频、视频字幕、视频的上传发布者、视频时长、视频大小、视频码率、分辨率等等。视频封面和视频内容分析涉及抽帧，抽帧分为关键帧抽取和普通帧抽取。帧是动画中最小单位的单幅影像画面，相当于电影胶片的每一格镜头，关键帧相当于二维动画中的原画，指角色或者物体运动或变化中的关键动作所处的一帧。均匀抽帧通常是根据视频时长每隔5秒取一帧进行采样，作为视频封面的帧采用非均匀策略抽取关键帧得到。对视频进行抽帧，得到视频帧信息，然后分别提取帧级图片的RGB特征、视频级RGB特征、时间序列上光流、音频指纹特征等，按照监督学习的方法根据提取到的不同维度特征，进行模型融合，通过分类或者回归模型作为损失函数进行模型融合，综合判断视频内容的质量。

在一个实施例中，获得待审核视频的审核结果之后，还包括：推送审核结果至第三方，由第三方对审核结果进行质检；接收第三方反馈的质检结果；根据质检结果，更新标题审核模型、封面审核模型及内容审核模型的样本数据，以更新标题审核模型、封面审核模型及内容审核模型。将待审核视频的审核结果发送至第三方，比如人工审核客户端，由第三方对审核结果进行质检，当人工审核结果与模型审核结果不一致时，生成对应视频的质检结果，发送对应视频的质检结果至服务器。服务器根据质检结果，更新标题审核模型、封面审核模型及内容审核模型的样本数据，以更新标题审核模型、封面审核模型及内容审核模型，由此提升模型的预测精准度。

在一个实施例中，获得待审核视频的审核结果之后，还包括：根据审核结果对待审核视频进行过滤处理，基于过滤后的视频生成第三方审核数据；推送第三方审核数据以及第三方审核数据对应的模型审核结果至第三方；或者，根据审核结果对待审核视频进行排序，基于排序结果生成第三方审核数据；推送第三方审核数据以及第三方审核数据对应的模型审核结果至第三方。在获取到多个待审核视频的模型审核结果后，可以直接过滤模型审核结果为低质的视频，基于过滤后的视频生成第三方审核数据，以减轻第三方的视频审核工作量，或者将模型审核结果为低质的视频排在队尾，基于排序结果生成第三方审核数据，以保证第三方视频审核工作的及时性。

基于上述实施例，结合具体的应用场景对本申请实施例中的视频审核方法进行进一步说明。视频审核系统框架如图7所示，包括视频上传、视频审核、人工审核和视频发布，视频审核系统中各个服务模块及其主要功能如下：

一、视频内容生产端、视频内容消费端

(1)视频内容生产端，可以是PGC(Professional Generated Content，专业生产内容)、UGC(User Generated Content，用户生成内容)、MCN(Multi-Channel Network，多频道网络产品形态)、PUGC(Professional User Generated Content，专业用户生产内容)等内容生产者等，主要是通过移动端或者后端应用程序接口(Application ProgrammingInterface，API)系统，提供本地或者拍摄的视频，这些都是最后视频分发的主要内容来源。具体地，用于通过和上下行内容接口服务器通讯，获取上传服务器接口地址，并上传本地视频或拍摄的视频，其中，拍摄视频过程中还可以选择搭配的音乐、滤镜模板和视频的美化功能等。

(2)视频内容消费端，主要用于和上下行内容接口服务器通讯，获取所访问视频的索引信息，并可以和视频内容存储服务器通讯，下载对应的视频，以及通过本地播放器进行播放观看，并且，视频内容消费端通常通过Feeds流方式浏览视频，因此低质量的视频对用户体验会有很大影响，也会影响最终的时长和用户粘性。

进一步地，视频内容生产端和视频内容消费端还可以将上传和下载过程中用户播放的行为数据、卡顿、加载时间、播放点击次数等信息上报给统计和分析服务器，同时提供视频质量反馈入口，比如质量问题的类型，对应的低质特征，对应的视频标识。

二、上下行内容接口服务器

(1)用于和视频内容生产端直接通讯，将前端提交的视频通过上下行内容接口服务器进入服务器端，将视频存入视频内容存储服务器，其中，前端提交的视频通常包括：视频的标题、发布者、摘要、视频封面、发布时间等。

(2)用于将视频的元信息，例如视频文件大小、视频封面链接、码率、文件格式、标题、发布时间、作者等信息写入内容数据库。

(3)用于将上传的视频提交给视频入库服务，进行后续的视频处理和流转。

三、内容数据库

内容数据库是视频的核心数据库，主要用于存储所有视频内容生产端上传的视频的元信息，并且除了视频的元信息外，还可以存储人工审核过程中对视频的标记，例如标记的标签信息。

具体地，上下行内容接口服务器将上传的视频存储在视频内容存储服务器后，视频内容存储服务器会对视频内容进行标准的转码操作，转码完成后异步返回元信息，例如文件大小、码率、规格、截取封面图等，这些元信息都会保存在内容数据库中。

在人工审核过程中会读取内容数据库中的元信息，同时人工审核的审核结果和标记信息也会返回至内容数据库中进行保存。调度中心对视频处理主要包括机器处理和人工审核处理，机器处理的核心是调用视频排重服务，排重处理后的数据写入内容数据库，完全一样的内容不会给人工进行重复的二次处理。

四、调度中心

(1)负责视频流转的整个调度过程，通过上下行内容接口服务器接收入库的视频，然后从内容数据库中获取视频的元信息；

(2)调度人工审核服务和机器处理服务，控制调度的顺序和优先级；

(3)和视频排重服务进行通讯，对不同码率、不同清晰度、不同尺寸、部分黑屏、有无滤镜、有无水印和在相似视频内容中插入部分广告内容和片头片尾的裁剪进行处理；

(4)调度进入人工审核服务需要进行人工审核的视频内容，过滤重复的内容；

(5)启用人工审核通过的视频内容，通过内容出口分发服务推荐引擎或搜索引擎或者运营商展示页面，提供给视频内容消费端；

(6)调用视频标题、封面、内容质量服务，具体可以调用本申请实施例中构建的视频审核模型，包括标题审核模型、封面审核模型和内容审核模型，对达到阈值的低质内容进行过滤，不发送至人工审核，或者一部分低质疑似内容放在审核队伍的末尾，优质内容提前审核。

五、人工审核服务

(1)需要读取内容数据库中视频内容本身的原始信息，通常是一个业务复杂的基于web数据库开发的系统，通过人工来对视频内容是否涉及色情、赌博、政治敏感的特性进行一轮初步过滤；

(2)在初步审核的基础之上，对内容进行二次审核，主要是对内容进行分类和标签的标注或者确认，由于视频内容本身完全通过机器学习，比如深度学习还不完全成熟，所以需要通过在机器处理的机器上进行二次的人工审核处理，通过人机协作，提升视频本身标注的准确性和效率；

(3)接受调度中心服务的调度，对经过视频审核模型处理之后的疑似内容进行人工复核；

(4)人工审核过程当中审核不通过涉及视频质量问题的内容，直接标记出来上报到统计接口和分析服务器，作为后续构建模型的样本训练数据；

(5)上线以后的模型和服务的流水，需要人员定期巡检，确定模型能力是否衰退或者变化，发现的异常案例直接上报，更新至下一个周期模型的样本库当中，确保模型能力不衰退。

六、视频存储服务

(1)通常是一组分布范围很广，靠近用户端接入的存储服务器，通常外围还有CDN(Content Delivery Network，内容分发网络)加速服务器进行分布式缓存加速，通过上下行内容接口服务器将内容生产者上传的视频内容保存起来；

(2)终端消费者在获取内容索引信息后，也可以直接访问视频内容存储服务器下载对应的内容；

(3)除了作为对外服务的数据源外，还可作为对内服务的数据源，供下载文件系统获取原始的视频数据进行相关的处理，内外数据源的通路通常是分开部署，避免相互影响。

七、下载文件服务

主要用于从内容数据库和视频内容存储服务器下载和获取原始的视频，并且还可以控制下载的速度和进度，通常是一组并行的服务器，由相关的任务调度和分发集群构成。下载完成的文件调用抽帧服务从视频源文件当中获取必要的视频文件关键帧，以便后续构造视频指纹。

八、抽帧服务

主要用于对下载文件服务下载的视频进行视频特征信息的初级处理，即从视频中抽取关键帧，作为后续评价清晰度、视频封面、视频封面美观度、视频内容理解等机器处理算法的基础。

其中，针对抽取关键帧的方式，由于各个视频的时长可能不同，若采用均匀抽帧策略可能会导致频率不够，同时全部抽取也会增加抽帧的复杂度和计算量，计算成本急剧增大，比较空间扩大，因此本申请实施例中给出了一种可能实施方式，采用变长的抽帧策略，确定视频中的关键帧，例如为明亮度变化明显的场景切换帧，并基于关键帧，进行前后等间隔抽帧补齐，一个视频可以有多个关键帧。

九、构建视频审核模型

采用多模态方法，利用短视频本身的标题、封面图、抽帧和用户反馈及主动标记的样本训练视频审核模型，包括标题审核模型、封面审核模型和内容审核模型。视频审核模型定期依据累计的样本数量进行动态的更新，通常按照天为单位，确保模型能够适应线上视频内容质量问题及分布的变化。

十、标题质量服务、封面质量服务和内容质量服务

将标题审核模型、封面审核模型和内容审核模型服务化，和调度中心服务通讯，对处理链路上的短视频调用对应的模型进行处理，过滤低质内容；疑似程度高的视频送入人工审核进行复核，复核属实的直接作为样本标记。

十一、视频排重服务

通过视频本身的指纹特征进行比较，重复相似的视频文件指保留一份延续到后续的链路，减少链路上不必要的重复文件。

十二、统计服务器

接收视频内容消费端的消费流水数据上报和对视频质量相关问题的反馈上报，接收人工审核过程当中过滤质量问题的流水上报，收集反馈的问题，低质数据自动回流，算法迭代输入；统计分析和归类收集到的样本数据作为构建视频审核模型的输入数据源。

基于上述视频审核系统，本申请提供的视频审核方案，在机器过滤环节中，调用视频审核模型，从视频标题、视频封面、视频内容多维度进行质量评价，可以根据模型的审核结果和视频分发业务场景进行视频过滤，依据历史人工审核的标准样本数据和持续的反馈样本数据，对新增和存量视频进行多质量维度的低质视频机器过滤，实现提高人工审核效率、精品化内容池的目的。同时，随着业务的深入和发展，内容维度的低质特征也会不断呈现出分布或形式上的变化，需要周期性收集和更新样本进行迭代，持续根据最新数据进行视频审核模型的优化与调整。通过本申请中的视频审核方案，能够实现视频审核提效，视频审核模型上线后，人工审核启用率大幅提升，机器过滤后视频低质率和误报率大幅降低，实现了审核提效。同时结合视频标题、封面、内容维度特征识别，低质率与误报率进一步降低；此外，针对部分短视频分发场景，内容库中有大量人工审核无法覆盖的视频，为保证分发视频的基本质量和用户体验，采用视频审核模型进行标题、封面、内容多维度筛选，从而大幅提升内容池的构建效率。

应该理解的是，虽然图2-3、5-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3、5-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种视频审核装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：视频解析模块802、模型调用模块804、质量审核模块806和结果生成模块808，其中：

视频解析模块802，用于获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；

模型调用模块804，用于调用预设的标题审核模型、封面审核模型以及内容审核模型；

质量审核模块806，用于通过标题审核模型对待审核标题文本数据进行文本质量审核，通过封面审核模型对待审核封面数据进行封面质量审核，通过内容审核模型对待审核视频内容数据进行内容质量审核；

结果生成模块808，用于根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得待审核视频的审核结果。

在一个实施例中，视频审核装置还包括模型构建模块，用于获取样本数据、样本数据对应的审核结果数据，其中，样本数据包括视频标题、视频封面及视频内容，审核结果数据包括标题审核结果、封面审核结果及内容审核结果；根据视频标题样本数据及标题审核结果，基于文本处理技术进行模型训练，获得标题审核模型，根据视频封面样本数据及封面审核结果，基于图像处理技术进行模型训练，获得封面审核模型，根据视频内容样本数据及内容审核结果，基于视频帧处理技术进行模型训练，获得内容审核模型.

在一个实施例中，模型构建模块还用于获取初始标题审核模型，将视频标题样本数据输入至初始标题审核模型，对视频标题样本数据进行向量化处理，得到词向量数据；对词向量数据进行特征提取处理，获得每一时刻下的标题文本特征向量数据；对每一时刻下的标题文本特征向量数据赋予不同的权重，根据各个权重以及标题文本特征向量数据进行加权求和，得到初始标题审核模型的输出结果；根据输出结果以及标题审核结果，调整初始标题审核模型的模型参数，得到标题审核模型。

在一个实施例中，模型构建模块还用于获取初始封面审核模型，将视频封面样本数据输入至初始封面审核模型，对视频封面样本数据进行特征提取，获得封面属性特征和封面局部特征；根据封面属性特征和封面局部特征，得到初始封面审核模型的输出结果；根据输出结果以及封面审核结果，调整初始封面审核模型的模型参数，得到封面审核模型。

在一个实施例中，模型构建模块还用于获取初始内容审核模型，将视频内容样本数据输入至初始内容审核模型，对视频内容样本数据进行视频帧抽取处理，获得视频帧数据；对视频帧数据进行特征提取，获得不同维度的特征数据；根据不同维度的特征数据，得到初始内容审核模型的输出结果；根据输出结果以及内容审核结果，调整初始内容审核模型的模型参数，得到内容审核模型。

在一个实施例中，视频审核装置还包括模型更新模块，用于推送审核结果至第三方，由第三方对审核结果进行质检；接收第三方反馈的质检结果；根据质检结果，更新标题审核模型、封面审核模型及内容审核模型的样本数据，以更新标题审核模型、封面审核模型及内容审核模型。

在一个实施例中，视频审核装置还包括推送模块，用于根据审核结果对待审核视频进行过滤处理，基于过滤后的视频生成第三方审核数据；或者，根据审核结果对待审核视频进行排序，基于排序结果生成第三方审核数据；推送第三方审核数据以及第三方审核数据对应的模型审核结果至第三方。

关于视频审核装置的具体限定可以参见上文中对于视频审核方法的限定，在此不再赘述。上述视频审核装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储标题审核模型、封面审核模型、内容审核模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频审核方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频审核方法，其特征在于，所述方法包括：

获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；

调用预设的标题审核模型、封面审核模型以及内容审核模型；

通过所述标题审核模型对所述待审核标题文本数据进行文本质量审核，通过所述封面审核模型对所述待审核封面数据进行封面质量审核，通过所述内容审核模型对所述待审核视频内容数据进行内容质量审核；

根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得所述待审核视频的审核结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取样本数据、所述样本数据对应的审核结果数据，其中，所述样本数据包括视频标题、视频封面及视频内容，所述审核结果数据包括标题审核结果、封面审核结果及内容审核结果；

根据视频标题样本数据及标题审核结果，基于文本处理技术进行模型训练，获得标题审核模型，根据视频封面样本数据及封面审核结果，基于图像处理技术进行模型训练，获得封面审核模型，根据视频内容样本数据及内容审核结果，基于视频帧处理技术进行模型训练，获得内容审核模型。

3.根据权利要求2所述的方法，其特征在于，所述根据视频标题样本数据及标题审核结果，基于文本处理技术进行模型训练，获得标题审核模型包括：

获取初始标题审核模型，将所述视频标题样本数据输入至所述初始标题审核模型，对所述视频标题样本数据进行向量化处理，得到词向量数据；

对所述词向量数据进行特征提取处理，获得每一时刻下的标题文本特征向量数据；

对每一时刻下的标题文本特征向量数据赋予不同的权重，根据各个权重以及所述标题文本特征向量数据进行加权求和，得到所述初始标题审核模型的输出结果；

根据所述输出结果以及所述标题审核结果，调整所述初始标题审核模型的模型参数，得到标题审核模型。

4.根据权利要求2所述的方法，其特征在于，所述根据视频封面样本数据及封面审核结果，基于图像处理技术进行模型训练，获得封面审核模型包括：

获取初始封面审核模型，将所述视频封面样本数据输入至所述初始封面审核模型，对所述视频封面样本数据进行特征提取，获得封面属性特征和封面局部特征；

根据所述封面属性特征和所述封面局部特征，得到所述初始封面审核模型的输出结果；

根据所述输出结果以及所述封面审核结果，调整所述初始封面审核模型的模型参数，得到封面审核模型。

5.根据权利要求2所述的方法，其特征在于，所述根据视频内容样本数据及内容审核结果，基于视频帧处理技术进行模型训练，获得内容审核模型包括：

获取初始内容审核模型，将所述视频内容样本数据输入至所述初始内容审核模型，对所述视频内容样本数据进行视频帧抽取处理，获得视频帧数据；

对所述视频帧数据进行特征提取，获得不同维度的特征数据；

根据所述不同维度的特征数据，得到所述初始内容审核模型的输出结果；

根据所述输出结果以及所述内容审核结果，调整所述初始内容审核模型的模型参数，得到内容审核模型。

6.根据权利要求1所述的方法，其特征在于，所述获得所述待审核视频的审核结果之后，还包括：

推送所述审核结果至第三方，由所述第三方对所述审核结果进行质检；

接收所述第三方反馈的质检结果；

根据所述质检结果，更新所述标题审核模型、所述封面审核模型及所述内容审核模型的样本数据，以更新所述标题审核模型、所述封面审核模型及所述内容审核模型。

7.根据权利要求1所述的方法，其特征在于，所述获得所述待审核视频的审核结果之后，还包括：

根据所述审核结果对所述待审核视频进行过滤处理，基于过滤后的视频生成第三方审核数据；

推送所述第三方审核数据以及所述第三方审核数据对应的模型审核结果至第三方；

或者，

根据所述审核结果对所述待审核视频进行排序，基于排序结果生成第三方审核数据；

推送所述第三方审核数据以及所述第三方审核数据对应的模型审核结果至第三方。

8.一种视频审核装置，其特征在于，所述装置包括：

视频解析模块，用于获取并解析待审核视频，获得待审核标题文本数据、待审核封面数据以及待审核视频内容数据；

模型调用模块，用于调用预设的标题审核模型、封面审核模型以及内容审核模型；

质量审核模块，用于通过所述标题审核模型对所述待审核标题文本数据进行文本质量审核，通过所述封面审核模型对所述待审核封面数据进行封面质量审核，通过所述内容审核模型对所述待审核视频内容数据进行内容质量审核；

结果生成模块，用于根据文本质量审核结果、封面质量审核结果及内容质量审核结果，获得所述待审核视频的审核结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images