CN112446228B - 视频检测方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本申请实施例提供一种视频检测方法、装置、电子设备及计算机存储介质，视频检测方法包括：获取待检测视频的多个目标图像；针对每一目标图像，计算对应的RGB红绿蓝三通道矩阵中的至少一个矩阵以及YCbCr三通道矩阵中的至少一个矩阵；将目标图像的RGB三通道矩阵中的至少一个矩阵和目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络进行敏感信息检测，得到各目标图像的敏感信息检测结果。RGB三通道矩阵可以体现图像的色彩信息，而YCBCr三通道矩阵可以体现图像的亮度信息，而人体的肤色显示在许多应用场景下都受环境亮度影响较大，因此，能够有效检测出敏感图像，检测结果更加准确。

Description

视频检测方法、装置、电子设备及计算机存储介质

技术领域

本申请实施例涉及图像检测技术领域，尤其涉及一种视频检测方法、装 置、电子设备及计算机存储介质。

背景技术

随着互联网自媒体的发展，信息传输有了更多的方式，例如，网络直播、 订阅号、公众号等，但是，对于自媒体信息的监管不够完善，导致许多自媒体 发布的信息中包含了一些影响青少年身心健康的不雅信息。以网络直播为例， 不少网络直播中充斥着大量的敏感视频和不雅弹幕信息，不利于用户的身心健 康发展，因此各个网络直播平台都采用必要的手段对待测视频和弹幕进行敏感 信息检测，传统的检测手段主要依赖于人工对图像的检测，造成检测成本高， 检测效率低。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种视频检测 方法、装置、电子设备及计算机存储介质，用以克服现有技术中的上述缺陷。

第一方面，本申请实施例提供了一种视频检测方法，包括：

获取待检测视频的多个目标图像；针对每一目标图像，计算对应的RGB 红绿蓝三通道矩阵中的至少一个矩阵以及YCbCr三通道矩阵中的至少一个矩 阵；将目标图像的RGB三通道矩阵中的至少一个矩阵和目标图像的YCbCr三 通道矩阵中的至少一个矩阵输入图像检测神经网络进行敏感信息检测，得到各 目标图像的敏感信息检测结果。

可选地，在本申请的一个实施例中，将目标图像的RGB三通道矩阵中的 至少一个矩阵和目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检 测神经网络进行敏感信息检测，得到各目标图像的敏感信息检测结果，包括：

将目标图像的RGB三通道矩阵和目标图像的YCbCr三通道矩阵进行融 合，得到六通道矩阵；将六通道矩阵输入双层全卷积神经网络得到单通道特征 融合矩阵；将单通道特征融合矩阵输入深度残差网络进行敏感信息检测，得到 各目标图像的敏感信息检测结果，图像检测神经网络包括双层全卷积神经网络 和深度残差网络。

可选地，在本申请的一个实施例中，图像检测神经网络通过如下步骤训 练获得：

获取包含敏感标注信息的图片样本集合，其中，敏感标注信息表征图片 样本为敏感图片或非敏感图片，或，敏感标注信息表征图片样本的敏感级；针 对图片样本集合中的各图片样本，计算图片样本的RGB三通道矩阵以及YCbCr 三通道矩阵；将图片样本的RGB三通道矩阵和图片样本的YCbCr三通道矩阵 进行融合，得到图片样本的六通道矩阵；将各图片样本的六通道矩阵作为图像 检测神经网络的输入，各图片样本的敏感标注信息作为图像检测神经网络的输 出，对图像检测神经网络进行训练。

可选地，在本申请的一个实施例中，获取待检测视频的多个目标图像， 包括：从待检测视频中提取关键帧图像作为目标图像。

可选地，在本申请的一个实施例中，该方法还包括：获取待检测视频的 弹幕数据；将弹幕数据输入弹幕检测神经网络进行敏感信息检测，得到弹幕数 据的敏感信息检测结果。

可选地，在本申请的一个实施例中，将弹幕数据输入弹幕检测神经网络 进行敏感信息检测，包括：

在弹幕数据中提取弹幕文本；在确定弹幕文本中非语言文字类型的字符 占比大于或等于预设比重阈值时，将弹幕文本输入字符画检测神经网络进行敏 感信息检测，得到弹幕文本的字符画的敏感信息检测结果；在确定弹幕文本中 非语言文字类型的字符占比小于预设比重阈值时，将弹幕文本输入字符串检测 神经网络进行敏感信息检测，得到弹幕文本的字符的敏感信息检测结果。

可选地，在本申请的一个实施例中，字符画检测神经网络通过以下步骤 训练获得：获取包含敏感标注信息的字符画组成的字符画样本集合，其中，敏 感信息表征字符画样本为敏感字符画或非敏感字符画，或，敏感标注信息表征 字符画样本的敏感级；将各字符画样本作为字符画检测神经网络的输入，各字 符画样本的敏感标注信息作为字符画检测神经网络的输出，对字符画检测神经 网络进行训练。

可选地，在本申请的一个实施例中，该方法还包括：根据各目标图像的 敏感信息检测结果，确定待检测视频的敏感性；或，根据弹幕数据的敏感信息 检测结果，确定待检测视频的敏感性；或，根据各目标图像的敏感信息检测结 果和弹幕数据的敏感信息检测结果确定待检测视频的敏感性。

可选地，在本申请的一个实施例中，在待测视频中提取弹幕文本之后， 该方法还包括：去除弹幕文本中的空白文本。

第二方面，本申请实施例提供了一种视频检测装置，包括：图像特征获 取模块和图像检测模块；

其中，图像特征获取模块，用于获取待检测视频的多个目标图像；针对 每一目标图像，计算对应的RGB红绿蓝三通道矩阵中的至少一个矩阵以及 YCbCr三通道矩阵中的至少一个矩阵；

图像检测模块，用于将目标图像的RGB三通道矩阵中的至少一个矩阵和 目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络进行 敏感信息检测，得到各目标图像的敏感信息检测结果。

第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器 及存储器；存储器存储有至少一个程序，当至少一个程序被至少一个处理器执 行时，使得至少一个处理器实现如第一方面或第一方面的任意一个实施例中所 描述的视频检测方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质 存储有计算机程序；计算机程序被处理器执行时实现如第一方面或第一方面的 任意一个实施例中所描述的视频检测方法。

本申请实施例提供的视频检测方法、装置及存储介质，同时利用RGB 三通道矩阵和YCbCr三通道矩阵对目标图像进行敏感信息检测得到敏感信息 检测结果，RGB三通道矩阵可以体现图像的色彩信息，而YCBCr三通道矩阵 可以体现图像的亮度信息，而人体的肤色显示在许多应用场景下都受环境亮度 影响较大，因此，同时根据RGB三通道矩阵和YCbCr三通道矩阵对图像进行 敏感信息检测，能够有效检测出敏感图像，检测结果更加准确。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一 些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领 域技术人员应该理解，这些附图未必是按比值绘制的。附图中：

图1为本申请实施例提供的一种视频检测方法的流程图；

图2为本申请实施例提供的一种字符画效果示意图；

图3为本申请实施例提供的一种视频检测方法的流程图；

图4为本申请实施例提供的一种双层全卷积神经网络说明示意图；

图5为本申请实施例提供的一种视频检测装置的结构图；

图6为本申请实施例提供的一种视频检测装置的结构图；

图7为本申请实施例提供的一种视频检测装置的结构图；

图8为本申请实施例五提供的一种电子设备的结构图。

具体实施方式

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

实施例一

本申请实施例一提供一种视频检测方法，如图1所示，图1为本申请实 施例提供的一种视频检测方法的流程图。该视频检测方法包括以下步骤：

S101、获取待检测视频的多个目标图像。

可选地，在本申请的一个实施例中，获取待检测视频的多个目标图像， 包括：从待检测视频中提取关键帧图像作为目标图像。从待测视频中提取关键 图像帧作为目标图像进行敏感信息检测，可以减少检测的图像数量，减少数据 量，减少了图像检测过程中的运算量。

S102、针对每一目标图像，计算对应的RGB红绿蓝三通道矩阵中的至 少一个矩阵以及YCbCr三通道矩阵中的至少一个矩阵。

将目标图像中每个像素的R分量、G分量和B分量分别提取出来构成目 标图像的R通道矩阵、G通道矩阵和B通道矩阵，RGB三通道矩阵中，R通 道矩阵表示目标图像每个像素像素值中的红色分量，G通道矩阵表示目标图像 每个像素像素值中的绿色分量，B通道矩阵表示目标图像每个像素像素值中的 蓝色分量。

将目标图像转化为YCbCr色彩空间，分别提取出每个像素的Y分量、 Cb分量和Cr分量构成目标图像的Y通道矩阵、Cb通道矩阵和Cr通道矩阵， YCbCr三通道矩阵中，Y通道矩阵表示每个像素颜色的亮度成分，Cb通道矩 阵表示每个像素蓝色的浓度偏移量成分，Cr表示每个像素红色的浓度偏移量成 份。RGB三通道矩阵可以体现图像的色彩信息，而YCBCr三通道矩阵可以体 现图像的亮度信息，而人体的肤色显示在许多应用场景下都受环境亮度影响较 大，因此，同时根据RGB三通道矩阵和YCbCr三通道矩阵对图像进行敏感信 息检测，能够有效检测出敏感图像，检测结果更加准确。

需要说明的是，在实际应用中，得到目标图像的RGB三通道矩阵中的至 少一个矩阵的执行，与，得到目标图像的YCbCr三通道矩阵中的至少一个矩阵 的执行可以不分先后顺序，也可以并行执行。

S103、将目标图像的RGB三通道矩阵中的至少一个矩阵和目标图像的 YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络进行敏感信息检测， 得到各目标图像的敏感信息检测结果。

需要说明的是，对目标图像进行敏感信息检测可以包括检测目标图像的 不雅度、也可以包括检测目标图像是否符合法律法规、符合道德标准等，本申 请对此不作限制，本申请中，以敏感信息检测包含敏感信息检测为例进行说明。

目标图像的RGB三通道矩阵中的至少一个矩阵和目标图像的YCbCr三 通道矩阵中的至少一个矩阵可以根据具体情况进行变化，此处，列举两个具体 示例进行说明：

在第一个示例中，将目标图像的R通道矩阵、G通道矩阵、B通道矩阵 和目标图像的Y通道矩阵输入图像检测神经网络检测目标图像的不雅度。因为 RGB三通道矩阵表示了目标图像的颜色信息，Y通道矩阵表示了目标图像的亮 度信息，许多敏感图像颜色差异较小，人体因为光照所表现出来的亮度特征更 加明确，因此根据RGB三通道矩阵和Y通道矩阵所计算得到的目标图像的不 雅度更加准确。

在第二个示例中，在一个实施例中将目标图像的R通道矩阵、G通道矩 阵、B通道矩阵，以及目标图像的Y通道矩阵、Cb通道矩阵和Cr通道矩阵输 入图像检测神经网络检测目标图像的不雅度。将六个通道矩阵全部输入图像检 测神经网络，因为输入的信息包含了RGB分量和YCbCr分量，图像信息非常 全面，提取的图像特征更加准确，计算得到的不雅度也就更加准确。当然，此 处只是示例性说明，并不代表本申请局限于此。

此处，列举两个具体示例对图像检测神经网络的构成进行说明：

可选地，在本申请的一个示例，图像检测神经网络包括ResNet(ResidualNetwork，残差网络)，将目标图像的RGB三通道矩阵中的至少一个矩阵和目 标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络检测目 标图像的不雅度，包括：

将目标图像的RGB三通道矩阵中的至少一个矩阵和目标图像的YCbCr 三通道矩阵中的至少一个矩阵输入ResNet检测目标图像的不雅度。

可选地，在本申请的另一个示例中，图像检测神经网络包括双层全卷积 神经网络和深度残差网络，将目标图像的RGB三通道矩阵中的至少一个矩阵 和目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络进 行敏感信息检测，得到各目标图像的敏感信息检测结果，包括：

将目标图像的RGB三通道矩阵和目标图像的YCbCr三通道矩阵进行融 合，得到六通道矩阵；将六通道矩阵输入双层全卷积神经网络得到单通道特征 融合矩阵；将单通道特征融合矩阵输入深度残差网络进行敏感信息检测，得到 各目标图像的敏感信息检测结果。对六通道矩阵进行融合得到单通道融合矩阵， 不仅保留了各个通道矩阵所代表的目标图像的特征，目标图像的特征保留完整， 在此基础上，利用单通道融合矩阵进行计算，减小了计算量，提高了图像检测 的效率。其中，深度残差网络可以是ResNet。当然，此处只是示例性说明，深 度残差网络也可以是AlexNet(Alex网络)、GoogleNet(谷歌网络)、VGGNet(Visual Geometry Group Network，视觉几何组网络)等，本申请对此不作限制。 此外，所述全卷积网络也可以采用任意适当的模型结构，可获得所述单通道特 征融合矩阵即可。

图像检测神经网络可以是一个智能学习神经网络，通过已经标注好的样 本集合对图像检测神经网络进行训练，训练好的图像检测神经网络就可以确定 目标图像的不雅度。

例如，图像检测神经网络通过如下步骤训练获得：获取包含敏感标注信 息的图片样本集合；针对图片样本集合中的各图片样本，计算图片样本的RGB 三通道矩阵以及YCbCr三通道矩阵；将图片样本的RGB三通道矩阵和图片样 本的YCbCr三通道矩阵进行融合，得到图片样本的六通道矩阵；将各图片样本 的六通道矩阵作为图像检测神经网络的输入，各图片样本的敏感标注信息作为 图像检测神经网络的输出，对图像检测神经网络进行训练。其中，敏感标注信 息表征图片样本为敏感图片或非敏感图片，或，敏感标注信息表征图片样本的 敏感级。在神经网络训练过程中，可以将敏感图片作为正样本，将非敏感图片 作为负样本，也可以将敏感级大于或等于预设级别的样本图片作为正样本，将 敏感级别小于预设级别的样本图片作为负样本，当然，此处只是示例性说明， 并不代表本申请局限于此。

可选地，在一个应用场景中，利用本申请实施例提供的视频检测方法对 待测视频检测时，不仅要对待测视频中的图像帧进行检测，还要对待测视频中 的弹幕文本进行检测，随着字符的应用越来越广泛和灵活，很多时候，弹幕文 本中有许多字符画，即字符组成的图案，其文字内容是许多没有实际意义的字 符，但其组成的图案却可能是一个不雅图案，如图2所示，图2为本申请实施 例提供的一种字符画效果示意图，图2中包含至少一个字符，例如“*”、“[”、 “@”等这些字符，但这些字符基于特定的位置关系，显示出的效果是一个图 像，因此，需要对字符画进行敏感信息检测。

可选地，在本申请的一个实施例中，视频检测方法还包括：获取待检测 视频的弹幕数据；将弹幕数据输入弹幕检测神经网络进行敏感信息检测，得到 弹幕数据的敏感信息检测结果。

可选地，在本申请的一个实施例中，该方法还包括：根据各目标图像的 敏感信息检测结果，确定待检测视频的敏感性；或，根据弹幕数据的敏感信息 检测结果，确定待检测视频的敏感性；或，根据各目标图像的敏感信息检测结 果和弹幕数据的敏感信息检测结果确定待检测视频的敏感性。

本申请实施例提供的视频检测方法、装置及存储介质，同时利用RGB 三通道矩阵和YCbCr三通道矩阵对目标图像进行敏感信息检测得到敏感信息 检测结果，RGB三通道矩阵可以体现图像的色彩信息，而YCBCr三通道矩阵 可以体现图像的亮度信息，而人体的肤色显示在许多应用场景下都受环境亮度 影响较大，因此，同时根据RGB三通道矩阵和YCbCr三通道矩阵对图像进行 敏感信息检测，能够有效检测出敏感图像，检测结果更加准确。

实施例二、

基于本申请实施例一提供的一种视频检测方法，本申请实施例二提供一 种视频检测方法，获取待测视频，并分别对待测视频中的视频帧图像和弹幕文 本进行检测。如图3所示，图3为本申请实施例提供的一种视频检测方法的流 程图。该视频检测方法包括以下步骤：

S301、从待检测视频中提取关键帧图像作为目标图像。

待检测视频可以是直播视频。需要说明的是，本申请中，关键帧图像指 的是待测视频中用于敏感信息检测的图像帧，本申请中的关键帧图像可以待测 视频中的I帧(参考帧)，也可以包括自行定义的待测视频中场景较为重要的 图像帧，也可以包括按照预设步长提取的图像帧。

可选地，在一个实施例中，对待测视频的关键帧图像进行抽取，使用已 有的FFmpeg(英文：Fast Forward Moving Picture Experts Group)工具抽取待测 视频Input.mp4的关键帧图像，相关的命令为：

利用FFmpeg命令对待测视频处理可以得到一系列关键帧图像。

S302、针对每一目标图像，计算对应的RGB红绿蓝三通道矩阵以及 YCbCr三通道矩阵。

S303、将目标图像的RGB三通道矩阵和目标图像的YCbCr三通道矩阵 进行融合，得到六通道矩阵；将六通道矩阵输入双层全卷积神经网络得到单通 道特征融合矩阵。

将六通道矩阵X代入训练好的双层全卷积神经网络，最终输出单通道特 征融合矩阵Xp作为深度残差网络的输入，此处举例对双层全卷积神经网络进 行说明，如图4所示，图4为本申请实施例提供的一种双层全卷积神经网络说 明示意图。

图4中，卷积核个数表示卷积核的数量，卷积核可以是一个矩阵，卷积 大小即为矩阵的大小，例如，双层全卷积神经网络的第一层的卷积核分别是三 个3×3的矩阵，第二层的卷积核是一个3×3的矩阵。输入维度表示输入的矩阵 通道数量及大小，输出维度表示输出的矩阵通道数量及大小，例如，第一层的 输入是128×128的6通道矩阵，第一层的输出是128×128的3通道矩阵。当然， 此处只是示例性说明，并不代表本申请局限于此。

输入六通道矩阵X，获得单通道特征融合矩阵Xp的具体步骤如下所示：

(1)X代入双层全卷积神经网络第一层，

Xout1＝zeros(3,128,128)初始化第一层输出为全0三通道128x128矩阵

For i＝1:3

For j＝1:6

//X第i个第一层核矩阵和第j个通道矩阵做卷积计算

Xout1+＝cov(X[j,:,:],K1i)

EndFor

EndFor

此处的循环，将6通道矩阵中每一个通道矩阵都与第一层核矩阵的卷积 核进行了卷积运算，将6通道矩阵进行降维得到了3通道矩阵。

(2)Xout1代入双层全卷积神经网络第二层，

Xp＝zeros(1,128,128)初始化第二层输出为全0单通道128x128矩阵

For j＝1:3

//X第二层核矩阵和第j个通道矩阵做卷积计算

Xp+＝cov(Xout1[j,:,:],K2)

EndFor

此处循环，将上一步得到的3通道矩阵中每一个通道矩阵都与第二层核 矩阵的卷积核进行卷积运算，将3通道矩阵进行降维得到了单通道融合矩阵。

S304、将单通道特征融合矩阵输入深度残差网络进行敏感信息检测，得 到各目标图像的敏感信息检测结果。

敏感信息可以表示图片是敏感图片或非敏感图片，或者，敏感信息可以 表示图片的敏感级，敏感信息表示的内容可以自行设定，例如，敏感图片标注 为1，非敏感图片标注为0；又如，敏感级可以在0-1之间，或0-10之间，敏 感级越大，表示图片越敏感。以敏感信息检测包括不雅都检测为例，设置网络 输出为0到1之间的数值(0表示目标图像并非敏感图像，1表示目标图像为敏 感图像)，数值越大，表示目标图像的不雅度越高。

S305、循环执行步骤S302到S304得到N个关键帧图像的敏感信息检测 结果。

循环执行步骤S302-S304可以得到每个关键帧图像的敏感信息检测结果， 如果有N个关键帧图像，则可以得到N个敏感信息检测结果，N为大于0的整 数。

S306、在待测视频的弹幕数据中提取弹幕文本。

弹幕数据中可能有表情图等图像，可以利用预设的神经网络将弹幕数据 中的文本提取出来，当然，也可以通过其他方式提取弹幕文本，本申请对此不 做限制。

可选地，在本申请的一个实施例中，在待测视频中提取弹幕文本之后， 该方法还包括：去除弹幕文本中的空白文本。

S307、在确定弹幕文本中非语言文字类型的字符占比大于或等于预设比 重阈值时，将弹幕文本输入字符画检测神经网络进行敏感信息检测，得到弹幕 文本的字符画的敏感信息检测结果。

预设占比可以是60％、70％、80％等，可以自行设定和改变，本申请对 此不作限制。需要说明的是，非语言文字类型的字符可以包括除语言文字类字 符之外的其他字符，语言文字类字符可以包括具有含义的各种语言文字的字符， 例如，英文字符、汉字字符、数字字符、日文字符等，当然，此处只是示例性 说明，并不代表本本申请局限于此。可选地，在一个实施例中，非语言文字类 型的字符包括除英文字符、汉字字符之外的其他字符。

字符画检测神经网络可以是一个Bert字符画模型，利用Bert字符画模型 去判定字符画的不雅度，可以利用标注好的样本集合对Bert字符画模型进行训 练。例如：

可选地，在本申请的一个实施例中，字符画检测神经网络通过以下步骤 训练获得：获取包含敏感标注信息的字符画组成的字符画样本集合，其中，敏 感信息表征字符画样本为敏感字符画或非敏感字符画，或，敏感标注信息表征 字符画样本的敏感级；将各字符画样本作为字符画检测神经网络的输入，各字 符画样本的敏感标注信息作为字符画检测神经网络的输出，对字符画检测神经 网络进行训练。

S308、在确定弹幕文本中非语言文字类型的字符占比小于预设比重阈值 时，将弹幕文本输入字符串检测神经网络进行敏感信息检测，得到弹幕文本的 字符的敏感信息检测结果。

字符串检测神经网络可以是一个Bert纯文本模型，利用Bert纯文本模型 去判定纯文本的敏感性。结合步骤S307，字符画模型和字符串模型的输出可以 是0到1之间的数值，数值越大，表示目标图像的敏感级越高。

字符串模型可以通过如下方式训练得到：获取包含敏感标注信息的字符 组成的字符样本集合，其中，敏感信息表征字符样本为敏感字符或非敏感字符， 或，敏感标注信息表征字符样本的敏感级；将各字符样本作为字符串检测神经 网络的输入，各字符样本的敏感标注信息作为字符串检测神经网络的输出，对 字符串检测神经网络进行训练。

S309、循环执行步骤S307到S308得到M个弹幕文本的敏感信息检测结 果。

每个弹幕文本得到一个不雅度，M弹幕文本可以得到M个敏感信息检测 结果。

需要说明的是步骤S301-S305描述了对待测视频中的关键帧图像进行敏 感信息检测的过程，步骤S306-S309描述了对待测视频中弹幕文本进行敏感信 息检测的过程，步骤S301-S305与步骤S306-S309无先后顺序，可以同时执行， 也可以先执行步骤S301-S305，后执行步骤S306-S309，或者，先执行步骤 S306-S309，后执行步骤S301-S305，本申请对此不作限定。

310、根据各目标图像的敏感信息检测结果和弹幕数据的敏感信息检测结 果确定待检测视频的敏感性。

可以对N个图像的敏感级以及M个弹幕文本的敏感级计算平均值，如 果计算的到的平均值大于或等于预设阈值，则确定待测视频为敏感视频；或者， N个图像的敏感信息以及M个弹幕文本的敏感信息只要有一个敏感信息表示图 像或弹幕文本属于敏感图像或敏感文本，则确定待测视频为敏感视频。当然， 此处只是示例性说明，并不代表本申请局限于此。

实施例三、

本申请实施例提供了一种视频检测装置，如图5所示，该视频检测装置 50包括：图像特征获取模块501和图像检测模块503；

其中，图像特征获取模块501，用于获取待检测视频的多个目标图像； 针对每一目标图像，计算对应的RGB红绿蓝三通道矩阵中的至少一个矩阵以 及YCbCr三通道矩阵中的至少一个矩阵；

图像检测模块502，用于将目标图像的RGB三通道矩阵中的至少一个矩 阵和目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络 进行敏感信息检测，得到各目标图像的敏感信息检测结果。

可选地，在本申请的一个实施例中，如图6所示，图像检测模块502包 括特征融合单元5021及学习模型单元5022；

特征融合单元5021，用于将目标图像的RGB三通道矩阵和目标图像的 YCbCr三通道矩阵进行融合，得到六通道矩阵；

学习模型单元5022，用于将六通道矩阵输入双层全卷积神经网络得到单 通道特征融合矩阵；将单通道特征融合矩阵输入深度残差网络进行敏感信息检 测，得到各目标图像的敏感信息检测结果，图像检测神经网络包括双层全卷积 神经网络和深度残差网络。

可选地，在本申请的一个实施例中，如图7所示，视频检测装置50还包 括第一训练模块503；

第一训练模块503，用于获取包含敏感标注信息的图片样本集合，其中， 敏感标注信息表征图片样本为敏感图片或非敏感图片，或，敏感标注信息表征 图片样本的敏感级；针对图片样本集合中的各图片样本，计算图片样本的RGB 三通道矩阵以及YCbCr三通道矩阵；将图片样本的RGB三通道矩阵和图片样 本的YCbCr三通道矩阵进行融合，得到图片样本的六通道矩阵；将各图片样本 的六通道矩阵作为图像检测神经网络的输入，各图片样本的敏感标注信息作为 图像检测神经网络的输出，对图像检测神经网络进行训练。

可选地，在本申请的一个实施例中，如图7所示，视频检测装置50还包 括图像帧提取模块504；图像帧提取模块504，用于从待检测视频中提取关键帧 图像作为目标图像。

可选地，在本申请的一个实施例中，如图7所示，视频检测装置50还包 括弹幕特征获取模块505和弹幕检测模块506；

弹幕特征获取模块505，用于获取待检测视频的弹幕数据；

弹幕检测模块506，用于将弹幕数据输入弹幕检测神经网络进行敏感信 息检测，得到弹幕数据的敏感信息检测结果。

可选地，在本申请的一个实施例中，弹幕检测模块506，用于在弹幕数 据中提取弹幕文本；在确定弹幕文本中非语言文字类型的字符占比大于或等于 预设比重阈值时，将弹幕文本输入字符画检测神经网络进行敏感信息检测，得 到弹幕文本的字符画的敏感信息检测结果；在确定弹幕文本中非语言文字类型 的字符占比小于预设比重阈值时，将弹幕文本输入字符串检测神经网络进行敏 感信息检测，得到弹幕文本的字符的敏感信息检测结果。

可选地，在本申请的一个实施例中，如图7所示，视频检测装置50还包 括第二训练模块507；

第二训练模块507，用于获取包含敏感标注信息的字符画组成的字符画 样本集合，其中，敏感信息表征字符画样本为敏感字符画或非敏感字符画，或， 敏感标注信息表征字符画样本的敏感级；将各字符画样本作为字符画检测神经 网络的输入，各字符画样本的敏感标注信息作为字符画检测神经网络的输出， 对字符画检测神经网络进行训练。

可选地，在本申请的一个实施例中，如图7所示，视频检测装置50还包 括视频评分模块508；

视频评分模块508，用于根据各目标图像的敏感信息检测结果，确定待 检测视频的敏感性；或，根据弹幕数据的敏感信息检测结果，确定待检测视频 的敏感性；或，根据各目标图像的敏感信息检测结果和弹幕数据的敏感信息检 测结果确定待检测视频的敏感性。

本申请实施例提供的视频检测方法、装置及存储介质，同时利用RGB 三通道矩阵和YCbCr三通道矩阵对目标图像进行敏感信息检测得到敏感信息 检测结果，RGB三通道矩阵可以体现图像的色彩信息，而YCBCr三通道矩阵 可以体现图像的亮度信息，而人体的肤色显示在许多应用场景下都受环境亮度 影响较大，因此，同时根据RGB三通道矩阵和YCbCr三通道矩阵对图像进行 敏感信息检测，能够有效检测出敏感图像，检测结果更加准确。

实施例四、

参照图8，图8为本申请实施例提供的一种电子设备的结构图，本发明 具体实施例并不对电子设备的具体实现做限定。

如图8所示，该电子设备800可以包括：至少一个处理器(processor)802、 存储器(memory)804、总线806及通信接口(Communications Interface)808。

其中：

处理器802、通信接口808、以及存储器804通过通信总线806完成相互 间的通信。

通信接口808，用于与其它设备进行通信。

处理器802，用于执行程序8041，具体可以执行上述区块链业务处理方 法实施例中的相关步骤。

具体地，程序8041可以包括程序代码，该程序代码包括计算机操作指令。

处理器802可能是中央处理器CPU，或者是特定集成电路ASIC

(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例 的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型 的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个 CPU以及一个或多个ASIC。

存储器804，用于存放程序8041。存储器804可能包含高速RAM存储 器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘 存储器。

处理器802执行程序8041具体可以实现：获取待检测视频的多个目标图 像；针对每一目标图像，计算对应的RGB红绿蓝三通道矩阵中的至少一个矩 阵以及YCbCr三通道矩阵中的至少一个矩阵；将目标图像的RGB三通道矩阵 中的至少一个矩阵和目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图 像检测神经网络进行敏感信息检测，得到各目标图像的敏感信息检测结果。

可选地，在本申请的一个实施例中，处理器802执行程序8041还可以实 现：将目标图像的RGB三通道矩阵和目标图像的YCbCr三通道矩阵进行融合， 得到六通道矩阵；将六通道矩阵输入双层全卷积神经网络得到单通道特征融合 矩阵；将单通道特征融合矩阵输入深度残差网络进行敏感信息检测，得到各目 标图像的敏感信息检测结果，图像检测神经网络包括双层全卷积神经网络和深 度残差网络。

可选地，在本申请的一个实施例中，处理器802执行程序8041还可以实 现：获取包含敏感标注信息的图片样本集合，其中，敏感标注信息表征图片样 本为敏感图片或非敏感图片，或，敏感标注信息表征图片样本的敏感级；针对 图片样本集合中的各图片样本，计算图片样本的RGB三通道矩阵以及YCbCr 三通道矩阵；将图片样本的RGB三通道矩阵和图片样本的YCbCr三通道矩阵 进行融合，得到图片样本的六通道矩阵；将各图片样本的六通道矩阵作为图像 检测神经网络的输入，各图片样本的敏感标注信息作为图像检测神经网络的输 出，对图像检测神经网络进行训练。

可选地，在本申请的一个实施例中，处理器802执行程序8041还可以实 现：从待检测视频中提取关键帧图像作为目标图像。

可选地，在本申请的一个实施例中，处理器802执行程序8041还可以实 现：获取待检测视频的弹幕数据；将弹幕数据输入弹幕检测神经网络进行敏感 信息检测，得到弹幕数据的敏感信息检测结果。

可选地，在本申请的一个实施例中，处理器802执行程序8041还可以实 现：在弹幕数据中提取弹幕文本；在确定弹幕文本中非语言文字类型的字符占 比大于或等于预设比重阈值时，将弹幕文本输入字符画检测神经网络进行敏感 信息检测，得到弹幕文本的字符画的敏感信息检测结果；在确定弹幕文本中非 语言文字类型的字符占比小于预设比重阈值时，将弹幕文本输入字符串检测神 经网络进行敏感信息检测，得到弹幕文本的字符的敏感信息检测结果。

可选地，在本申请的一个实施例中，处理器802执行程序8041还可以实 现：获取包含敏感标注信息的字符画组成的字符画样本集合，其中，敏感信息 表征字符画样本为敏感字符画或非敏感字符画，或，敏感标注信息表征字符画 样本的敏感级；将各字符画样本作为字符画检测神经网络的输入，各字符画样 本的敏感标注信息作为字符画检测神经网络的输出，对字符画检测神经网络进 行训练。

可选地，在本申请的一个实施例中，处理器802执行程序8041还可以实 现：根据各目标图像的敏感信息检测结果，确定待检测视频的敏感性；或，根 据弹幕数据的敏感信息检测结果，确定待检测视频的敏感性；或，根据各目标 图像的敏感信息检测结果和弹幕数据的敏感信息检测结果确定待检测视频的敏 感性。

实施例五、

本申请实施例提供了一种存储介质，存储介质存储有计算机程序；计算 机程序被处理器执行时实现如实施例一和实施例二中所描述的方法。

本申请实施例的视频检测装置以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话 音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手 机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和 处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC 设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包 括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便 携式车载导航设备。

(4)其他具有数据交互功能的电子设备。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利 要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的 顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定 要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中， 多任务处理和并行处理可以是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的 改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进 (对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改 进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法 流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流 程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGate Array， FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由 设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片 制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集 成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实 现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码 也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、 Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL (Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、 RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL (Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。 本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作 逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件 电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理 器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软 件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器 的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存 储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序 代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制 器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包 括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以 将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部 件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或 实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。 具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、 智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制 台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然， 在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或 计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或 结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中 包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序 产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图 和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和 /或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌 入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计 算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输 出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内 存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由 任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程 序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他 类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储 器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、 数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他 磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。 按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)， 如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不 仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种 过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句 “包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品 或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机 程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件 和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计 算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、 光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述， 例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型 的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践 本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备 来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本 地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同 相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之 处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的 比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域 技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内 所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种视频检测方法，其特征在于，包括：

获取待检测视频的多个目标图像；

针对每一目标图像，计算对应的RGB红绿蓝三通道矩阵中的至少一个矩阵以及YCbCr三通道矩阵中的至少一个矩阵；

将所述目标图像的RGB三通道矩阵中的至少一个矩阵和所述目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络进行敏感信息检测，得到各所述目标图像的敏感信息检测结果，

其中，将所述目标图像的RGB三通道矩阵中的至少一个矩阵和所述目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络进行敏感信息检测，得到各所述目标图像的敏感信息检测结果，包括：

将所述目标图像的RGB三通道矩阵和所述目标图像的YCbCr三通道矩阵进行融合，得到六通道矩阵；

将所述六通道矩阵输入双层全卷积神经网络得到单通道特征融合矩阵；

将所述单通道特征融合矩阵输入深度残差网络进行敏感信息检测，得到各所述目标图像的敏感信息检测结果，所述图像检测神经网络包括所述双层全卷积神经网络和所述深度残差网络。

2.根据权利要求1所述的方法，其特征在于，所述图像检测神经网络通过如下步骤训练获得：

获取包含敏感标注信息的图片样本集合，其中，所述敏感标注信息表征图片样本为敏感图片或非敏感图片，或，所述敏感标注信息表征图片样本的敏感级；

针对图片样本集合中的各图片样本，计算图片样本的RGB三通道矩阵以及YCbCr三通道矩阵；

将所述图片样本的RGB三通道矩阵和所述图片样本的YCbCr三通道矩阵进行融合，得到图片样本的六通道矩阵；

将各所述图片样本的六通道矩阵作为所述图像检测神经网络的输入，各所述图片样本的敏感标注信息作为所述图像检测神经网络的输出，对所述图像检测神经网络进行训练。

3.根据权利要求1所述的方法，其特征在于，所述获取待检测视频的多个目标图像，包括：

从待检测视频中提取关键帧图像作为所述目标图像。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

获取待检测视频的弹幕数据；

将所述弹幕数据输入弹幕检测神经网络进行敏感信息检测，得到所述弹幕数据的敏感信息检测结果。

5.根据权利要求4所述的方法，其特征在于，所述将所述弹幕数据输入弹幕检测神经网络进行敏感信息检测，包括：

在所述弹幕数据中提取弹幕文本；

在确定所述弹幕文本中非语言文字类型的字符占比大于或等于预设比重阈值时，将所述弹幕文本输入字符画检测神经网络进行敏感信息检测，得到所述弹幕文本的字符画的敏感信息检测结果；

在确定所述弹幕文本中非语言文字类型的字符占比小于所述预设比重阈值时，将所述弹幕文本输入字符串检测神经网络进行敏感信息检测，得到所述弹幕文本的字符的敏感信息检测结果。

6.根据权利要求5所述的方法，其特征在于，所述字符画检测神经网络通过以下步骤训练获得：

获取包含敏感标注信息的字符画组成的字符画样本集合，其中，所述敏感信息表征字符画样本为敏感字符画或非敏感字符画，或，所述敏感标注信息表征字符画样本的敏感级；

将各所述字符画样本作为所述字符画检测神经网络的输入，各所述字符画样本的敏感标注信息作为所述字符画检测神经网络的输出，对所述字符画检测神经网络进行训练。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据各所述目标图像的敏感信息检测结果，确定所述待检测视频的敏感性；或，

根据所述弹幕数据的敏感信息检测结果，确定所述待检测视频的敏感性；或，

根据各所述目标图像的敏感信息检测结果和所述弹幕数据的敏感信息检测结果确定所述待检测视频的敏感性。

8.一种视频检测装置，其特征在于，包括：图像特征获取模块、图像检测模块；

其中，所述图像特征获取模块，用于获取待检测视频的多个目标图像；针对每一目标图像，计算对应的RGB红绿蓝三通道矩阵中的至少一个矩阵以及YCbCr三通道矩阵中的至少一个矩阵；

所述图像检测模块，用于将所述目标图像的RGB三通道矩阵中的至少一个矩阵和所述目标图像的YCbCr三通道矩阵中的至少一个矩阵输入图像检测神经网络进行敏感信息检测，得到各所述目标图像的敏感信息检测结果，

其中，所述图像检测模块包括特征融合单元及学习模型单元，

特征融合单元，用于将目标图像的RGB三通道矩阵和目标图像的YCbCr三通道矩阵进行融合，得到六通道矩阵；

学习模型单元，用于将六通道矩阵输入双层全卷积神经网络得到单通道特征融合矩阵；将单通道特征融合矩阵输入深度残差网络进行敏感信息检测，得到各目标图像的敏感信息检测结果，图像检测神经网络包括双层全卷积神经网络和深度残差网络。

9.一种电子设备，其特征在于，包括：

至少一个处理器及存储器，所述存储器存储有至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如权利要求1-7任一项所述的视频检测方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的视频检测方法。

Images