CN115002540A - 直播中违规视频的处理方法、装置、设备和可读存储介质 - Google Patents

Abstract

本申请提供了一种直播中违规视频的处理方法、装置、设备和可读存储介质，获取直播间的视频画面；对视频画面进行违规检测，输出违规类型和违规区域尺寸；根据违规类型和/或违规区域尺寸来确定违规等级；当违规等级为第一违规等级时，对视频画面中的违规区域进行处理，以使处理后的视频画面无法显示违规行为，并以处理后的视频画面进行直播；当违规等级为第二违规等级时，阻止视频画面显示，以中止直播。违规处理方法多样而灵活，根据违规等级给出相应的处理方式避免违规过度处理，且在轻微违规时处理后还可以继续直播，进一步提高了用户的观感。

Description

直播中违规视频的处理方法、装置、设备和可读存储介质

技术领域

本申请涉及网络直播技术领域，具体涉及一种直播中违规视频的处理方 法、装置、设备和计算机可读存储介质。

背景技术

随着互联网技术的不断发展，依托于互联网的流媒体视频服务(例如网 络直播)已逐渐成为人们日常生活和工作的重要组成部分。在网络直播中， 主播可以展示自己的才艺(例如唱歌、跳舞以及演讲等)以供用户观看。然 而，在主播在直播中可能会出现一些违规行为(如衣着暴露、说脏话等)从 而影响整个网络环境，因此当主播出现违规行为时，需要对其违规行为进行 处理。

目前现有技术中常用到的违规处理方式是根据违规程度对违规直播间进 行相应违规提醒以提示主播改正，直接关闭违规直播间或对用户进行禁言等， 但是仍然存在处理方式单一、对违规进行过度处理，从而影响客户的观感的 问题。

另外，目前已有的违规处理方式还包括对违规画面直接进行模糊处理， 但是大面积的模糊处理，会让观看直播用户比较难以接受，并且也容易被用 户举报称主播存在违规直播等。

发明内容

有鉴于此，本申请实施例中提供了一种直播中违规视频的处理方法、装 置、设备和计算机可读存储介质。

第一方面，本申请实施例提供了一种直播中违规视频的处理方法，该方 法包括：

获取直播间的视频画面；

对所述视频画面进行违规检测，输出违规类型和违规区域尺寸；

根据所述违规类型和/或违规区域尺寸来确定违规等级；

当所述违规等级为第一违规等级时，对所述视频画面中的违规区域进行 处理，以使处理后的视频画面无法显示违规行为，并以所述处理后的视频画 面进行直播；

当所述违规等级为第二违规等级时，阻止所述视频画面显示，以中止直 播。

第二方面，本申请实施例提供了一种直播中违规视频的处理装置，该装 置包括：

视频画面获取模块，用于获取直播间的视频画面；

违规检测模块，用于对所述视频画面进行违规检测，输出违规类型和违 规区域尺寸；

违规等级确定模块，用于根据所述违规类型和/或违规区域尺寸来确定违 规等级；

第一画面处理模块，用于当所述违规等级为第一违规等级时，对所述视 频画面中的违规区域进行处理，以使处理后的视频画面无法显示违规行为， 并以所述处理后的视频画面进行直播；

第二画面处理模块，用于当所述违规等级为第二违规等级时，阻止所述 视频画面显示，以中止直播。

第三方面，本申请实施例提供了一种终端设备，包括：存储器；一个或 多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个 应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多 个应用程序配置用于执行上述第一方面提供的直播中违规视频的处理方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可 读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方 面提供的直播中违规视频的处理方法。

本申请实施例提供的直播中违规视频的处理方法、装置、设备和可读存 储介质，首先获取直播间的视频画面；对视频画面进行违规检测，输出违规 类型和违规区域尺寸；根据违规类型和/或违规区域尺寸来确定违规等级；当 违规等级为第一违规等级时，对视频画面中的违规区域进行处理，以使处理 后的视频画面无法显示违规行为，并以处理后的视频画面进行直播；当违规 等级为第二违规等级时，阻止视频画面显示，以中止直播。

该直播中违规视频的处理方法根据违规类型以及违规画面的大小来确定 违规等级，并且在违规等级低时，对视频画面进行处理，且正常进行直播； 在违规等级高时，中止直播。违规处理方法多样而灵活，根据违规等级给出 相应的处理方式避免违规过度处理，且在轻微违规时处理后还可以继续直播， 进一步提高了用户的观感。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的直播中违规视频的处理方法的应用场景示意 图；

图2为本申请一个实施例提供的直播中违规视频的处理方法的流程示意 图；

图3为本申请另一个实施例提供直播中违规视频的处理方法的流程示意 图；

图4为本申请一个实施例提供的直播中违规视频的处理装置的结构图；

图5为本申请一个实施例中提供的终端设备的结构示意图；

图6为本申请一个实施例中提供的计算机可读存储介质的结构示意图。

具体实施方式

下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申 请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的 所有其他实施例，都属于本申请保护的范围。

为了更详细说明本申请，下面结合附图对本申请提供的一种直播中违规 视频的处理方法、装置、终端设备和计算机存储介质，进行具体地描述。

请参考图1，图1示出了本申请实施例提供的直播中违规视频的处理方法 的应用场景的示意图，该应用场景包括本申请实施例提供的服务器102、至少 一个直播端104和客户端106。其中，其中服务器102、主播端104和客户端 106之间设置有网络。网络用于在服务器102、主播端104和客户端106之间 提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链 路或者光纤电缆等等。服务器102能够与主播端104以及客户端106进行通 信，为主播端104或/和客户端106提供直播服务。例如，主播端104可以将 直播间的直播视频流发送给服务器102，用户可以通过客户端106访问服务器 102以观看直播间的直播视频。又例如，服务器102也可以在用户订阅的直播 间开播时向该用户的客户端106发送通知消息。直播视频流可以是当前正在 直播平台中直播的视频流或者直播完成后形成的完整视频流。

在一些实施场景中，主播端104和客户端106可以互换使用。例如，主 播可以使用主播端104来为观众提供直播视频服务，也可以作为用户查看其 他主播提供的直播视频。又例如，用户可以使用客户端106观看所关注的主 播提供的直播视频，也可以作为主播为其他观众提供直播视频服务。

本实施例中，主播端104和客户端106都是一种终端设备，可以是具有 显示屏的各种电子设备，包括但不限于智能手机、个人数字助理、平板电脑、 个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。其中， 主播端104和客户端106中可以安装有用于提供互联网直播服务的互联网产 品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务 相关的应用程序APP、Web网页、小程序等。

可以理解，图1所示的应用场景仅为一种可行的示例，在其它可行的实 施例中，该应用场景也可以仅包括图1所示的部分组件或者还可以包括其它 的组成部分。例如，图1所示的应用场景还可以包括用于采集主播的直播视 频帧的视频采集终端108，视频采集终端108可以直接安装或集成于主播端 104，也可以独立于主播端104等，本实施例在此不做限制。

应当理解，客户端106和主播端104的数量可以是多个，可以仅为几个， 或者为几十个或几百个，本申请实施例对客户端的数量和类型不加以限定。 但为了后面叙述的方便，仅以一个客户端106、一个主播端104以及一个服务 器102为例进行说明。图1中主播端104或客户端106可以用来执行本申请实施 例中提供的直播中违规视频的处理方法，在此不做限定。

基于此，本申请实施例中提供了一种直播中违规视频的处理方法。请参 阅图2，图2示出了本申请实施例提供的一种直播中违规视频的处理方法的流 程示意图，以该方法应用于图1中的主播端104或客户端106为例进行说明， 包括以下步骤：

步骤S110，获取直播间的视频画面。

具体地，在网络直播中，主播可以在主播端启动直播间的直播功能进行 直播，主播端可以采集用户直播画面，从而形成直播视频数据流。而直播间 的视频画面可以是直播视频数据流中的一帧或几帧的用户直播画面。

其中，获取直播间的视频画面方式可以是直接从直播端采集的用户直播 画面中提取，也可以是从直播服务器拉取的直播视频数据流中提取。

步骤S120，对视频画面进行违规检测，输出违规类型和违规区域尺寸。

在获取到直播间的视频画面后，需要对其进行检测，看其是否包含违规 内容，如果包含违规内容，需要确定违规类型以及违规区域尺寸。

其中，违规类型是指主播违规行为所属的类型，通常不同的类型代表行 为的违规程度，包括但不限于一般违规(或普通违规)和严重违规。一般违 规通常是指违规程度较低的一些行为，通常是发表不正当言论、使用一些敏 感场景、抽烟酗酒等传递不正当价值观行为、主播不雅行为以及播放未经版 权许可的视频等；严重违规是指违规程度较高的一些行为，通常是一些违法 行为。

需要说明的是，违规类型的表达方式可以是多样化的，例如可以采用一 般违规、严重违规表示；也可以采用第一预设类型、第二预设类型表示；具 体可以根据用户喜欢或习惯表示，主要能将违规类型区分开来即可。此外， 违规类型可以包括两个或两个以上等多个类型。每一种违规行为中通常包括 一种或多种违规行为。

违规区域尺寸是指违规行为在视频画面中的所占尺寸大小，通常是指违 规画面的像素大小。

在本实施例中，可以是采用违规行为识别模型对视频画面进行违规检测， 也可以是将违规画面与预先配置或设置的违规数据库(或匹配表)进行匹配， 从而来确定违规类型和违规区域尺寸。

其中，违规行为识别模型可以通过机器学习或神经网络构建的模型，在 本实施例对于违规行为识别模型的构建方式不做限制，该违规行为识别模型 主要用于从直播间的视频画面中识别违规类型以及违规区域尺寸。

预先设置或配置的违规数据库(或匹配表)主要是存储一系列的违规行 为，并且记录了各违规行为的违规类型；在需要对直播间的视频画面进行违 规检测时，只需要将视频画面与违规数据库(或匹配表)进行匹配，就可以 确定其违规类型以及违规区域尺寸。

步骤S130，根据违规类型和/或违规区域尺寸来确定违规等级。

其中，可以根据违规类型确定违规等级；也可以根据违规类型和违规区 域尺寸来确定违规等级。违规等级，又可以称为违规级别，通常表示违规的 严重程度和处罚力度。在本实施例中，违规等级越高，表示违规的严重程度 越高，需要处罚的力度越大；反之，表示违规的严重程度较低，需要处罚的 力度较小。此外，违规等级可以分成两级或两级以上等多个等级，其表达方 式也可以是多种化的，例如可以是一级、二级、三级…n级。在本实施例中， 可以将违规等级分为第一违规等级和第二违规等级，其中第一违规等级的违 规程度小于第二违规等级的违规程度。

在一个实施例中，执行步骤S130，第一违规等级包括轻度违规等级和中 度违规等级，第二违规等级为重度违规等级；根据违规类型和/或违规区域尺 寸来确定违规等级，包括：当违规类型为第一预设类型，且违规区域尺寸小 于第一预设尺寸时，判定为轻度违规等级；和/或：当违规类型为第一预设类 型，违规区域尺寸大于或等于第一预设尺寸且小于第二预设尺寸时，判定为 中度违规等级；和/或当违规类型为第二预设类型时，判定为重度违规等级。

在本实施例中，可以对第一违规等级进行进一步划分，可以分为轻度违 规等级和中度违规等级。此外，第二违规等级又可以称为重度违规等级。其 中在确定轻度违规等级和中度违规等级时根据违规类型和违规区域尺寸来确 定，在确定重度违规等级时可以只根据违规类型确定。具体来说，当违规类 型为第一预设类型时，此时违规行为的违规程度比较低，需要根据违规区域 尺寸(即违规画面的大小)来进一步确定违规等级，当违规区域尺寸小于第 一预设尺寸，说明违规画面较小，对整体直播视频画面影响较小，因此可以 确定其违规等级低，将其判定为轻度违规等级；当违规区域尺寸大于等于第 一预设尺寸且小于等于第二预设尺寸，说明违规画面较大，对整体直播视频 画面影响较大，因此可以确定其违规等级高，将其判定为中度违规等级。当 违规类型为第二预设类型时，此时违规行为的违规程度比较高，不论违规画 面的大小，其对整体直播画面影响较大，因此可以直接判定其为重度违规等 级。

其中，第一预设尺寸以及第二预设尺寸为一个预先设置的值，可以根据 不同的直播内容或形式选择不同的值。例如第一预设尺寸可以是50*50、第二 预设尺寸可以是100*100。

为了便于理解，给出一个详细的实施例。假设违规类型为抽烟，违规区 域尺寸(即违规画面的像素大小)在50*50以内的表示轻度违规等级；在大 于50*50且小于100*100的表示中度违规等级；而当违规类型为严重违规类 型，只要出现，无论画面像素大小都属于重度违规等级。

步骤S140，当违规等级为第一违规等级时，对视频画面中的违规区域进 行处理，以使处理后的视频画面无法显示违规行为，并以处理后的视频画面 进行直播。

步骤S150，当违规等级为第二违规等级时，阻止视频画面显示，以中止 直播。

当违规等级为第一违规等级时表示违规严重程度比较低，继续直播的危 害程度较低，此时可以对直播画面中的违规区域进行处理，使其画面不显示 违规内容，然后进行正常直播。当违规等级为第二违规等级时表示违规严重 程度很高，继续直播的危害程度高，此时可以阻止视频画面显示，中止直播， 以便对主播进行惩罚，使其规范直播方式。

本申请实施例提供的直播中违规视频的处理方法，首先获取直播间的视 频画面；对视频画面进行违规检测，输出违规类型和违规区域尺寸；根据违 规类型和/或违规区域尺寸来确定违规等级；当违规等级为第一违规等级时， 对视频画面中的违规区域进行处理，以使处理后的视频画面无法显示违规行 为，并以处理后的视频画面进行直播；当违规等级为第二违规等级时，阻止 视频画面显示，以中止直播。

该直播中违规视频的处理方法根据违规类型以及违规画面的大小来确 定违规等级，并且在违规等级低时，对视频画面进行处理，且正常进行直播； 在违规等级高时，中止直播。违规处理方法多样而灵活，根据违规等级给出 相应的处理方式避免违规过度处理，且在轻微违规时处理后还可以继续直播， 进一步提高了用户的观感。

在一个实施例中，在执行步骤S140，对视频画面中的违规区域进行处理， 包括：当违规等级为轻度违规等级时，采用预先配置的贴图对视频画面中的 违规区域进行遮挡，且当违规区域发生变化时，贴图会跟随违规区域进行同 步变化。

具体来说，当规则等级为轻度违规等级时，说明违规程度较低，违规画 面较小，此时可以采用贴图来对违规区域进行遮挡，即将贴图设置在违规区 域的图层上面，从而使违规区域的内容无法显示。其中，贴图的大小要大于 或等于违规区域尺寸，将违规区域完全进行遮盖。贴图的形式可以是多种多 样的，可以是静态图像、也可以是动态图像。另外，预先设置或配置的贴图 可以是从服务器预先下载或获取的，存储于终端设备，在出现轻度违规等级 时，对视频画面进行处理。

此外，贴图的位置和尺寸是随违规区域实时变化的，即当违规区域位置 变化时贴图是实时跟随其位置进行更新；当违规区域尺寸变化(尤其是增大) 时，贴图也会随之增大；然而当违规区域尺寸减小时，贴图也可以随之减小， 也可以不发生变化。

另外，预先配置的贴图通常是一个贴纸资源包，包含多个贴纸资源，贴 纸资源可以具有多种颜色，用于匹配不同的违规画面的颜色场景，通常情况 下选择与违规画面颜色相近颜色或是与违规区域周边区域颜色相近的贴纸资 源，例如当主播出现低胸画面时，则可以识别主播违规区域的肤色对应添加 贴纸，也可以识别主播违规区域周边的衣服颜色，对应添加与衣服颜色接近 的贴纸，以避免添加的贴纸使得直播画面违和。具体实现可以是：当终端设 备获取到服务器下发的贴纸资源包文件，将贴纸资源包文件进行解压，形成多个贴纸资源，然后在内存中生成一张贴纸资源与颜色区域的映射表，其中 颜色区域是指RGBA四个通道的颜色值的取值范围。当视频画面出现违规内 容时，终端设备获取到违规区域的颜色均值，并与内存中的映射表做匹配。 当颜色值处在某个映射关系的范围内时，则取对应的贴纸资源进行遮挡。或 是违规区域向外延伸一定的像素，以获得违规区域周边的颜色，进而匹配贴 纸。

其中，颜色值是由RGBA四个通道的值来共同决定的，每个通道的取值 范围为0-255，不同的取值代表着不同的颜色。例如贴纸资源1对应的颜色值 范围红色R(0,100)，绿色G(0,100)，蓝色B(200,255)，透明度A(0,80),那么 说明红色值在0-100，绿色值为0-100，蓝色值为200-255，透明度为0-80这 个范围内的所有颜色值，都符合贴纸资源1，当违规画面的内容颜色均值在所 规定的贴纸资源1匹配的颜色范围内时，则使用贴纸资源1进行遮挡。

进一步地，贴纸资源处于具有不同的颜色之外，还可以具备不同形状或 者造型，当使用贴纸资源对违规画面进行遮挡时，可以使遮挡后的画面显示 效果更佳多样化，进一步提高了整个直播画面的美观度和观赏性。

采用贴图方式可以灵活且方便对违规区域进行遮蔽，从而完成对视频画 面的处理。

在一个实施例中，在执行步骤S140，对视频画面中的违规区域进行处理， 包括：当违规等级为中度违规等级时，对视频画面中的违规区域进行模糊处 理。

当违规等级为中度违规等级时，可以采用模糊处理方式来对违规区域进 行模糊处理。其中，模糊处理的方式可以是违规区域进行高斯模糊处理，也 可以是均值模糊处理。

采用上述的局部模糊处理方式对直播视频画面的违规区域进行模糊处 理，这样不需要对直播间的直播视频进行停止分发的操作，使得观众用户具 有流畅的观看体验；并且处理方式操作简单且方便。另外，对于中度违规等 级的违规画面进行模糊处理，处理的违规区域不会太大，即不会造成大面积 的画面处理，从而影响整个视频画面的观感。

进一步地，给出了一种确定违规类型和违规区域尺寸的具体实施方式， 描述如下：

在一个实施例中，对视频画面进行违规检测，输出违规类型和违规区域 尺寸，包括：将视频画面与预先配置的数据匹配表进行匹配，以输出违规类 型和违规区域坐标；根据违规区域坐标确定违规区域尺寸。

具体地，预先配置的数据匹配表可以是终端设备在开启直播时从服务器 获取并预先存储与终端设备。预先配置的数据匹配表其实质匹配表是对轻度、 中度和重度违规等级的界定标准，其标准主要是依据违规类型和违规画面的 像素大小(即违规区域尺寸)来界定，具体来说有的违规类型无论违规像素 大小一律是重度违规等级，有的违规类型会根据违规像素的大小来界定违规 的程度。其中，预先配置的数据匹配主要是记录了一系列的违规行为以及每 一种违规行为的违规类型；可选地，可以采用违规码来表示违规行为，例如 采用违规码1001来表示抽烟这一违规行为。

当需要确定视频画面的违规类型时，只需要将视频画面与预先配置的数 据匹配表进行比较，采用大数据人工智能进行匹配，就可以识别出视频画面 中的违规行为，并确定违规类型；在确定了违规行为，只需要识别出违规行 为在视频画面的坐标(即违规区域坐标)。其中违规区域坐标又可以称为纹理 坐标，具体可以采用(left，top，right，bottom)表示，例如纹理坐标可以是 (100，150，200，300)，则违规区域尺寸为(200-100)*(300-150)。

采用上述方式可以方便、准确且快速确定出违规类型以及违规区域尺寸。

进一步地，还给出了几种确定违规区域尺寸的具体实施方式，描述如下：

第一种实施方式：

在一个实施例中，对视频画面进行违规检测，输出违规区域尺寸包括： 当主播开启直播玩法而导致视频画面被裁剪时，采用裁剪后的视频画面与预 先配置的数据匹配表进行匹配，重新确定违规区域坐标；根据重新确定的违 规区域坐标来计算违规区域尺寸。

具体而言，在网络直播中，主播与主播之间，以及主播与用户之间通常 会开启一些直播玩法，例如多人连麦、团战pk、欢乐斗等玩法，此时会有多 个主播的直播画面需要显示，那么各个主播的视频画面就会被剪裁，此时直 播间中某一个主播的视频画面中违规画面可能会被剪裁，此时就需要重新确 定违规区域坐标，然后根据违规区域坐标来重新计算违规区域尺寸。

第二种实施方式：

在一个实施例中，输出违规区域尺寸包括：当直播间存在玩法特效，且 玩法特效对违规区域形成遮挡时，确定玩法特效坐标；根据违规区域坐标和 玩法特效坐标来确定违规区域尺寸。

具体来说，网络直播中存在很多直播玩法，例如连麦、多人游戏等以及 赠送礼物等，不同玩法通常具有不同的特效，如蒙面的遮挡效果、欢乐斗的 氛围彩蛋以及火箭等礼物特效，特效在直播间进行显示时可能会对违规区域 发生遮蔽，那么能显示的违规区域尺寸可能会发生变化，此时对违规等级的 评估也会存在影响，如果完全不考虑上述玩法的影响，则会导致对于违规等 级出现评估不当，以及过度处理违规的问题，从而引发主播或观众的投诉。 因此，需要对违规区域尺寸重新进行评估和计算。具体的计算过程为：当终 端设备检测到直播间的视频画面中存在违规内容时，然后逐帧检查当前直播 间的各种玩法，即UI层级在视频流层级上方的各个玩法内容,如蒙面的遮挡效 果、欢乐斗的氛围彩蛋以及大礼物特效的播放等等，如果当前的特效对当前 帧的视频画面中的违规区域进行特遮挡，就需要重新计算违规画面内容的大 小(即违规区域尺寸)。需要说明的是，当有多个图层遮挡时，需要计算出各 个图层叠加获得的合成图层的位置信息，然后根据该位置信息计算遮挡画面 的大小，进而重新确定违规区域尺寸。

为了便于理解，给出一个详细的实施例。以网络直播中的氛围彩蛋特效 为例，当氛围彩蛋触发时，画面会实时堆积遮挡的画面，如雪花，雨水等等， 从而挡住直播画面，遮挡的方向都可以自定义，遮挡的画面大小也是实时变 动的，可以实时拿到遮挡图层的坐标来计算，具体的计算方式如下：设置遮 挡图层从左向右以及从上往下方向看，遮挡图层的最右端的坐标为x，最下端 的坐标为y，定义违规区域的坐标为(left，top，right，bottom)；遮挡方向为 从左向右以及从上往下方向，当遮挡图层x值小于违规区域left，且遮挡图层y值小于违规区域的top时，则违规画面并未受到影响，大小保持不变；当遮 挡图层x值大于违规区域right，且遮挡图层y值小于违规区域的top时，则 重新计算的违规区域尺寸为：size＝(right–x)*(bottom-top)；当遮挡图层x值 小于违规区域left，且遮挡图层y值大于违规区域的bottom时，则重新计算 的违规区域尺寸为：size＝(bottom-y)*(right-left)；当遮挡图层x值大于违规区 域right，且遮挡图层y值大于违规区域的bottom时，则重新计算的违规区域 尺寸为：size＝(bottom-y)*(right-x)；需要说明的是，遮挡方向还可以是从右到 左，从下到上，具体计算方式与从左向右以及从上往下方向看相同，在此不 再赘述。

采用上述的两种方法可以根据直播间的不同玩法对违规画面产生的影响 来重新计算违规区域尺寸，从而重新计算违规等级，以便于在违规等级发生 改变时，也给出相应的违规处理方式。

进一步地，给出了一种直播间玩法对视频画面产生影响的具体实施方式， 描述如下：

在一个实施例中，直播中违规视频的处理方法还包括：当主播开启直播 玩法而导致视频画面被裁剪，且被裁剪后的视频画面中违规区域尺寸为零时， 以裁剪后的视频画面进行直播；或当直播间存在玩法特效，且玩法特效对违 规区域形成完全遮蔽时，以视频画面进行直播。

具体地，当直播间中存在一些直播玩法，例如多人连麦、礼物特效等， 使得视频画面被剪裁以及玩法特效被违规区域进行遮蔽，当画面剪裁时将违 规画面完全减除，或玩法特效将违规区域完全遮蔽，此时视频画面的违规内 容将不会显示，就不需要再对违规内容进行处理，直接以视频画面进行直播 即可，使得观众用户具有流场的观看体验。

接下来，还给出了一种违规等级发生改变的实施方式，详细描述如下：

在一个实施例中，直播中违规视频的处理方法还包括：每隔预设时间或 实时确定直播间的视频画面的违规等级；当不同帧的视频画面的违规等级发 生变化时，根据变化后的违规等级对各帧视频画面进行相应的处理。

具体的，在网络直播时，终端设备会实时采集主播的视频画面，从而形 成直播视频流，其中直播视频流中包括许多帧视频画面，每一帧视频画面都 可能存在违规行为，且不同帧视频画面的违规类型不同，进而确定的违规等 级也不相同，那么对应的视频画面处理方式也不相同。基于此，在本实施中， 可以每隔预设时间段或实时采集直播间的视频画面，然后来确定视频画面的 违规等级，当不同帧的视频画面的违规等级发生变化时，根据变化后的违规 等级对各帧视频画面进行相应的处理。

采用上述该方法，在网络直播过程中可以根据视频画面的违规等级的变 化情况来对应修改视频处理方式，使得处理更加灵活多样，以提高用户观感。

为了便于理解本方案，给出了一个详细的实施例。请参照图3，直播中违 规视频的处理方法的具体过程可以是：1、主播采用直播端开启直播；2、向 服务器发起请求，查询视频违规配置数据，即包括数据匹配表，以及违规处 理的贴图资源，然后将其预先存储于直播端；3、采集直播间的视频画面，将 视频画面与数据匹配表做匹配，利用成熟的大数据人工智能库，完成对违规 类型的识别和违规区域坐标的输出，并根据违规区域坐标确定违规区域尺寸； 4、根据违规类型和违规区域尺寸确定违规等级；5、当违规等级为轻度违规 等级时，采用贴图对违规区域进行遮挡；当违规等级为中度违规等级时，采 用高斯模糊对违规区域模糊处理；当违规等级为重度时，中断直播流数据；6、 当轻度违规等级和中度违规等级时，正常直播；7、中断直播流数据后，进行 画面黑屏显示。

应该理解的是，虽然图2以及图3的流程图中的各个步骤按照箭头的指 示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非 本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可 以以其它的顺序执行。而且图2至图3中的至少一部分步骤可以包括多个子 步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成， 而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依 次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述本申请公开的实施例中详细描述了一种直播中违规视频的处理方 法，对于本申请公开的上述方法可采用多种形式的设备实现，因此本申请还 公开了对应上述方法的直播中违规视频的处理装置，下面给出具体的实施例 进行详细说明。

请参阅图4，为本申请实施例公开的一种直播中违规视频的处理装置，主 要包括：

视频画面获取模块410，用于获取直播间的视频画面。

违规检测模块420，用于对视频画面进行违规检测，输出违规类型和违规 区域尺寸。

违规等级确定模块430，用于根据违规类型和/或违规区域尺寸来确定违 规等级。

第一画面处理模块440，用于当违规等级为第一违规等级时，对视频画面 中的违规区域进行处理，以使处理后的视频画面无法显示违规行为，并以处 理后的视频画面进行直播。

第二画面处理模块450，用于当违规等级为第二违规等级时，阻止视频画 面显示，以中止直播。

在一个实施例中，第一违规等级包括轻度违规等级和中度违规等级；第 二违规等级为重度违规等级；违规等级确定模块430，用于当违规类型为第一 预设类型，且违规区域尺寸小于第一预设尺寸时，判定为轻度违规等级；和/ 或：当违规类型为第一预设类型，违规区域尺寸大于或等于第一预设尺寸且 小于第二预设尺寸时，判定为中度违规等级；和/或：当违规类型为第二预设 类型时，判定为重度违规等级。

在一个实施例中，第一画面处理模块440，用于当违规等级为轻度违规等 级时，采用预先配置的贴图对视频画面中的违规区域进行遮挡，且当违规区 域发生变化时，贴图会跟随违规区域进行同步变化。

在一个实施例中，第一画面处理模块440，用于当违规等级为中度违规等 级时，对视频画面中的违规区域进行模糊处理。

在一个实施例中，违规检测模块420，用于将视频画面与预先配置的数据 匹配表进行匹配，以输出违规类型和违规区域坐标；根据违规区域坐标确定 违规区域尺寸。

在一个实施例中，违规检测模块420，用于当主播开启直播玩法而导致视 频画面被裁剪时，采用裁剪后的视频画面与预先配置的数据匹配表进行匹配， 重新确定违规区域坐标；根据重新确定的违规区域坐标来计算违规区域尺寸。

在一个实施例中，违规检测模块420，用于当直播间存在玩法特效，且玩 法特效对违规区域形成遮挡时，确定玩法特效坐标；根据违规区域坐标和玩 法特效坐标来确定违规区域尺寸。

在一个实施例中，装置还包括：正常直播模块，用于当主播开启直播玩 法而导致视频画面被裁剪，且被裁剪后的视频画面中违规区域尺寸为零时， 以裁剪后的视频画面进行直播；或当直播间存在玩法特效，且玩法特效对违 规区域形成完全遮蔽时，以视频画面进行直播。

在一个实施例中，装置还包括：违规等级调整模块，用于每隔预设时间 或实时确定直播间的视频画面的违规等级；当不同帧的视频画面的违规等级 发生变化时，根据变化后的违规等级对各帧视频画面进行相应的处理。

关于直播中违规视频的处理装置的具体限定可以参见上文中对于方法的 限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件 及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处 理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调 用执行以上各个模块对应的操作。

请参考图5，图5其示出了本申请实施例提供的一种终端设备的结构框图。 该终端设备50可以是计算机设备。本申请中的终端设备50可以包括一个或 多个如下部件：处理器52、存储器54以及一个或多个应用程序，其中一个或 多个应用程序可以被存储在存储器54中并被配置为由一个或多个处理器52 执行，一个或多个应用程序配置用于执行上述直播中违规视频的处理方法实 施例中所描述的方法。

处理器52可以包括一个或者多个处理核。处理器52利用各种接口和线 路连接整个终端设备50内的各个部分，通过运行或执行存储在存储器54内 的指令、程序、代码集或指令集，以及调用存储在存储器54内的数据，执行 终端设备50的各种功能和处理数据。可选地，处理器52可以采用数字信号 处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至 少一种硬件形式来实现。处理器52可集成中央处理器(CentralProcessing Unit， CPU)、埋点数据的上报验证器(Graphics Processing Unit，GPU)和调制解调器 等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用 程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通 信。可以理解的是，上述调制解调器也可以不集成到处理器52中，单独通过 一块通信芯片进行实现。

存储器54可以包括随机存储器(Random Access Memory，RAM)，也可以 包括只读存储器(Read-Only Memory)。存储器54可用于存储指令、程序、代 码、代码集或指令集。存储器54可包括存储程序区和存储数据区，其中，存 储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比 如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施 例的指令等。存储数据区还可以存储终端设备50在使用中所创建的数据等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相 关的部分结构的框图，并不构成对本申请方案所应用于其上的终端设备的限 定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些 部件，或者具有不同的部件布置。

综上，本申请实施例提供的终端设备用于实现前述方法实施例中相应的 直播中违规视频的处理方法，并具有相应的方法实施例的有益效果，在此不 再赘述。

请参阅图6，其示出了本申请实施例提供的一种计算机可读取存储介质的 结构框图。该计算机可读取存储介质60中存储有程序代码，程序代码可被处 理器调用执行上述直播中违规视频的处理方法实施例中所描述的方法。

计算机可读取存储介质60可以是诸如闪存、EEPROM(电可擦除可编程只 读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可 读取存储介质60包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质60具有执行上述 方法中的任何方法步骤的程序代码62的存储空间。这些程序代码可以从一个 或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品 中。程序代码62可以例如以适当形式进行压缩。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体 特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本 说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。 而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或 示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人 员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征 进行结合和组合。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本 申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见 的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下， 在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种直播中违规视频的处理方法，其特征在于，所述方法包括：

获取直播间的视频画面；

对所述视频画面进行违规检测，输出违规类型和违规区域尺寸；

根据所述违规类型和/或违规区域尺寸来确定违规等级；

当所述违规等级为第一违规等级时，对所述视频画面中的违规区域进行处理，以使处理后的视频画面无法显示违规行为，并以所述处理后的视频画面进行直播；

当所述违规等级为第二违规等级时，阻止所述视频画面显示，以中止直播。

2.根据权利要求1所述的方法，其特征在于，所述第一违规等级包括轻度违规等级和中度违规等级；所述第二违规等级为重度违规等级；所述根据所述违规类型和/或违规区域尺寸来确定违规等级，包括：

当所述违规类型为第一预设类型，且所述违规区域尺寸小于第一预设尺寸时，判定为轻度违规等级；

和/或：

当所述违规类型为第一预设类型，所述违规区域尺寸大于或等于第一预设尺寸且小于第二预设尺寸时，判定为中度违规等级；

和/或：

当所述违规类型为第二预设类型时，判定为重度违规等级。

3.根据权利要求2所述的方法，其特征在于，所述对所述视频画面中的违规区域进行处理，包括：

当所述违规等级为轻度违规等级时，采用预先配置的贴图对所述视频画面中的违规区域进行遮挡，且当所述违规区域发生变化时，所述贴图会跟随所述违规区域进行同步变化。

4.根据权利要求2所述的方法，其特征在于，所述对所述视频画面中的违规区域进行处理，包括：

当所述违规等级为中度违规等级时，对所述视频画面中的违规区域进行模糊处理。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述视频画面进行违规检测，输出违规类型和违规区域尺寸，包括：

将所述视频画面与预先配置的数据匹配表进行匹配，以输出所述违规类型和违规区域坐标；

根据所述违规区域坐标确定所述违规区域尺寸。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述视频画面进行违规检测，输出违规区域尺寸，包括：

当主播开启直播玩法而导致所述视频画面被裁剪时，采用裁剪后的视频画面与预先配置的数据匹配表进行匹配，重新确定所述违规区域坐标；

根据重新确定的所述违规区域坐标来计算所述违规区域尺寸。

7.根据权利要求5所述的方法，其特征在于，所述输出违规区域尺寸，包括：

当直播间存在玩法特效，且所述玩法特效对所述违规区域形成遮挡时，确定玩法特效坐标；

根据所述违规区域坐标和所述玩法特效坐标来确定所述违规区域尺寸。

8.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

当主播开启直播玩法而导致所述视频画面被裁剪，且被裁剪后的视频画面中违规区域尺寸为零时，以裁剪后的视频画面进行直播；

或

当直播间存在玩法特效，且所述玩法特效对所述违规区域形成完全遮蔽时，以所述视频画面进行直播。

9.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

每隔预设时间或实时确定直播间的视频画面的违规等级；

当不同帧的视频画面的违规等级发生变化时，根据变化后的违规等级对各帧所述视频画面进行相应的处理。

10.一种直播中违规视频的处理装置，其特征在于，所述装置包括：

视频画面获取模块，用于获取直播间的视频画面；

违规检测模块，用于对所述视频画面进行违规检测，输出违规类型和违规区域尺寸；

违规等级确定模块，用于根据所述违规类型和/或违规区域尺寸来确定违规等级；

第一画面处理模块，用于当所述违规等级为第一违规等级时，对所述视频画面中的违规区域进行处理，以使处理后的视频画面无法显示违规行为，并以所述处理后的视频画面进行直播；

第二画面处理模块，用于当所述违规等级为第二违规等级时，阻止所述视频画面显示，以中止直播。

11.一种终端设备，其特征在于，包括：

存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行如权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。

Images