CN110267106A - 实时拦截涉黄音视频的方法、拦截终端、设备及应用 - Google Patents

Abstract

本发明公开了一种实时拦截涉黄音视频的方法及拦截终端，通过运行于终端或者部分运行于终端的鉴黄模块，实时采集、监控当前显示的音视频图像是否具有色情、涉恐、涉爆信息，并在必要的情况下屏蔽，成为打造高端智能电视的重要基础，拦截终端运行于终端的某个模块或者独立运行，不占用宿主机的计算资源和内存资源，并且适用于几乎所有的图像展示的场景，实现直接在通用的显示终端上进行监控、拦截操作，可以实时的发现显示设备在显示涉黄内容，并及时阻止和上报家长或管理者。

Description

实时拦截涉黄音视频的方法、拦截终端、设备及应用

技术领域

本发明涉及智能设备技术领域，尤其涉及一种实时拦截涉黄音视频的方法、拦截终端、设备及应用。

背景技术

目前，青少年及幼童使用网络的人群量日益增长，青少年在使用终端如PC电脑、手机、平板电脑或网络电视时，往往面对各种色情图片、视频的诱惑，有些是被动的，有些是主动的，由于青少年及幼童自制能力不强，家长如不及时发现和管控会导致诸多不良后果。

同时，全球日益增加的网络安全问题，也让处于公共区域的显示设备可能成为攻击的目标，被控制后播放色情的视频，如不能及时发现和屏蔽，将造成不良的社会效应。

但是，当前对于图片鉴黄的服务，都处于云服务，供一些网盘类、直播类服务后台调用，只实现事后的图像鉴别。而对于直接在通用的智能终端上进行管控操作，目前并无同类的产品和案例。但实际上有大量的中小学生及幼童在通过各种智能终端进行各种浏览和应用操作，这个过程需要进行监控，尤其是涉黄方面。

发明内容

针对上述问题，本发明提出了一种实时拦截涉黄音视频的方法、拦截终端、设备及应用，实现直接在通用的显示终端上进行监控、拦截操作，可以实时的发现显示设备在显示涉黄内容，并及时阻止和上报家长或管理者。

本发明通过以下技术方案来实现上述目的：

一种实时拦截涉黄音视频的方法，包括如下步骤：

步骤1、采集监控源的媒体信息；

步骤2、将采集得到的媒体信息，转换为关键帧；

步骤3、通过鉴黄模型判断是否存在不当信息，不当信息包括涉黄信息、涉恐、涉爆信息；

步骤4、若鉴黄模型返回涉黄值未超过设定的阈值，判断不存在不当信息，并在设定的时间值后再次进入步骤1，所述的时间值为正常工作的时间间隔；

若鉴黄模型返回的涉黄值超过设定的阈值，可以停止设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为阻截状态下的时间间隔值；

步骤5、若鉴黄模型返回涉黄值未超过设定的阈值，但超过警戒值，判断不存在不当信息，但在设定的时间值后再次进入步骤1，所述的时间值为疑似报警状态下的时间间隔值，该值小于步骤4中的正常工作的时间间隔；

若鉴黄模型返回的涉黄值未超过设定的阈值，但超过了设定的警戒的阈值，暂不停止设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为疑似涉黄状态下的时间间隔值，该值大于阻截状态下的时间间隔值；

步骤6、如果鉴黄模型判断存在不当信息，记录并通过网络发送给家长或管理员，并在设定的时间值后再次进入步骤1，所述的时间值为报警状态下的时间间隔值，该值小于步骤5中的正常工作的时间间隔；

若鉴黄模型返回的涉黄值超过设定的警戒的阈值，则认为该设备未输出色情信息，不会阻截设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为正常工作状态下的时间间隔值，该值大于疑似涉黄状态下的时间间隔值。

进一步方案为，所述采集监控源包括电视机的显卡显示输出模块、PC的显卡输出接口、也可以是显示器的视频输入接口。

进一步方案为，步骤2中，若采集时间间隔较长，可以跳过输出某些帧的信息，若发现输出的视频特征变化不大，可以适当延长发送的时间间隔。

进一步方案为，步骤3中，鉴黄模型包括如下模式：a运行在独立的终端设备中；b运行在云端；c由终端运行图片特征提取，包括深度卷积神经网络或者循环神经网络、也可以是前面两者的结合与变种，把图片特征提取后，有终端独立运行较小的模型，判断置信度比较高的色情图片，当终端模型运行结果不确定时，再将怀疑为色情的图片区域部分的特征发送给云端，运行较为复杂的模型来进行判定；其中，云端可以随机采集终端较小模型的运行结果、中间特征结果和输入图片，以通过大量的训练数据继续优化终端模型与云端模型。

本申请另一方面提供了一种实时拦截涉黄音视频的方法的拦截终端，包括以下单元：视频转发单元、视频采集单元、鉴黄单元、信息发送单元；

视频转发单元，用于采集视频信号，并根据鉴黄单元返回的结果，原样转发或屏蔽视频信号，鉴黄单元返回的结果，指鉴黄单元返回的涉黄值是否超过设定的阈值；

视频转发单元与视频输入源、视频输出单元、视频采集单元和鉴黄单元相连，视频采集单元接收来自鉴黄单元发送来的状态：非阻截状态或者阻截状态，在非阻截状态下，将视频输入源信号原样输出到视频输出单元，并发送给视频采集单元；在阻截状态下，向视频输出单元发送默认的视频信息，同时将原视频信号转发给视频采集单元；

视频采集单元，用于定时将视频信息转换为关键帧图片，并发送给鉴黄单元，根据鉴黄单元的状态，采用不同的定时时间；视频采集单元与视频转发单元和鉴黄单元相连，接收来自视频采集单元的视频信号，定时将其转换为关键帧图片，发送给鉴黄单元；

鉴黄单元，调用鉴黄模型对关键帧图片进行判断，若判断涉及色情内容，则根据判断结果，根据前面提到的实时监控涉黄视频的方法和实时拦截涉黄音视频的方法，判断当前视频所处的状态：正常、疑似报警、报警、屏蔽，以计算得到的状态决定是否向信息发送单元发送信号告知云端管理员或家长，是否向视频转发单元发送信号，让其屏蔽原视频信号输出，是否调整视频转发单元的采集间隔。

进一步方案为，所述鉴黄单元连接网络，并利用云端的计算能力来加强对色情图片的鉴别能力；和/或，

鉴黄单元通过网络实时更新最新的模型到终端，以获得最新最优的色情图片的鉴别能力；和/或，

鉴黄单元根据平时经常输入的图片信息，来优化编译当前的离线模型，以获得最适合当前终端的离线判断能力。

进一步方案为，所述信息发送单元，用于将鉴黄结果上传至云服务器，由云服务器通知预设联系人、或者管理员。

进一步方案为，所述视频输入源，包括PC、手机、平板电脑、智能投影仪或网络电视的显卡或显示芯片输出接口、也包括用于连接显示器的视频信号传输线或无线信号；视频输入源向外输出当前要显示的视频信号；

所述视频输出单元，包括PC、手机、平板电脑或网络电视的显示器、智能投影仪的投影单元或任意用于连接显示设备的视频传输线或无线信号；视频输出单元会最终将视频转换为图像展示给用户，展示方式包括视频显示器和投影仪。

本申请再一方面提供了一种拦截设备，包括上述的拦截终端，所述拦截终端内置于PC、手机、平板电脑、智能投影仪或网络电视、或运行于外置的视频信号转发器上。

本申请还提供了上述拦截终端的应用，所述拦截终端内置于智能电视中，一边连接智能电视的视频输出芯片、另外一边连接到智能电视的显示屏；或，

所述拦截终端作为一个独立的视频转发器存在，一边连接电脑的视频输出，一边连接显示器的视频输入，并且通过有线或者无线的方式联网。

本发明的有益效果在于：

本发明通过运行于终端或者部分运行于终端的鉴黄模块，实时采集、监控当前显示的音视频图像是否具有色情、涉恐、涉爆信息，并在必要的情况下屏蔽，成为打造高端智能电视的重要基础，并且成为未成年人的“安全座椅”。

拦截终端运行于终端的某个模块或者独立运行，不占用宿主机的计算资源和内存资源，并且适用于几乎所有的图像展示的场景，实现直接在通用的显示终端上进行监控、拦截操作，可以实时的发现显示设备在显示涉黄内容，并及时阻止和上报家长或管理者。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实时监控涉黄视频的方法示意图；

图2是本发明实时拦截涉黄音视频的方法示意图；

图3是本发明支持实时监控和实时拦截涉黄音视频的终端设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

在任一实施例中，如图1所示，一种实时监控涉黄视频的方法，包括如下步骤：

(1)采集监控源的媒体信息，采集监控源可以是电视机的显卡显示输出模块，PC的显卡输出接口，也可以是显示器的视频输入接口，如VGA，HDMI等接口。

(2)将采集得到的媒体信息，转换为关键帧。优选的，如果时间间隔较长，可以跳过输出某些帧的信息。优选的，如果发现输出的视频特征变化不大，可以适当延长发送的时间间隔。

(3)通过鉴黄模型判断是否存在不当信息，不当信息包括涉黄信息、优选的可以包括涉恐涉爆等信息。鉴黄模型可以包括如下模式：a运行在独立的终端设备中；b运行在云端；c由终端运行图片特征提取，如深度卷积神经网络或者循环神经网络、也可以是前面两者的结合与变种，把图片特征提取后，有终端独立运行较小的模型，判断置信度比较高的色情图片，当终端模型运行结果不确定时，再将怀疑为色情的图片区域部分的特征发送给云端，运行较为复杂的模型来进行判定。优选的，云端可以随机采集终端较小模型的运行结果、中间特征结果和输入图片，以通过大量的训练数据继续优化终端模型与云端模型。

(4)如果鉴黄模型返回涉黄值未超过设定的阈值，判断不存在不当信息，并在设定的时间值后再次进入步骤1，所述的时间值为正常工作的时间间隔。

(5)如果鉴黄模型返回涉黄值未超过设定的阈值，但超过警戒值，判断不存在不当信息，但在设定的时间值后再次进入步骤1，所述的时间值为疑似报警状态下的时间间隔值，普遍来说该值小于步骤4中的正常工作的时间间隔。

(6)如果鉴黄模型判断存在不当信息，记录并通过网络发送给家长或管理员。并在设定的时间值后再次进入步骤一，所述的时间值为报警状态下的时间间隔值，普遍来说该值小于步骤5中的正常工作的时间间隔。

在任一实施例中，如图2所示，一种实时拦截涉黄音视频的方法，包括如下步骤：

(1)定时采集监控源的媒体信息，采集监控源可以是电视机的显卡显示输出模块，PC的显卡输出接口，也可以是显示器的视频输入接口，如VGA，HDMI等接口。

(2)将采集得到的媒体信息，转换为关键帧。优选的，如果时间间隔较长，可以跳过输出某些帧的信息。优选的，如果发现输出的视频特征变化不大，可以适当延长发送的时间间隔。

(3)通过鉴黄模型判断是否存在不当信息，不当信息包括涉黄信息、优选的可以包括涉恐涉爆等信息。鉴黄模型可以包括如下模式：a运行在独立的终端设备中；b运行在云端；c由终端运行图片特征提取，如深度卷积神经网络或者循环神经网络、也可以是前面两者的结合与变种，把图片特征提取后，有终端独立运行较小的模型，判断置信度比较高的色情图片，当终端模型运行结果不确定时，再将怀疑为色情的图片区域部分的特征发送给云端，运行较为复杂的模型来进行判定。优选的，云端可以随机采集终端较小模型的运行结果、中间特征结果和输入图片，以通过大量的训练数据继续优化终端模型与云端模型。

(4)如果鉴黄模型返回的涉黄值超过设定的阈值，可以停止设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为阻截状态下的时间间隔值。

(5)如果鉴黄模型返回的涉黄值未超过设定的阈值，但超过了设定的警戒的阈值，暂不停止设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为疑似涉黄状态下的时间间隔值，普遍来说，该值大于阻截状态下的时间间隔值。

(6)如果鉴黄模型返回的涉黄值超过设定的警戒的阈值，认为该设备未输出色情信息，不会阻截设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为正常工作状态下的时间间隔值。普遍来说，该值大于疑似涉黄状态下的时间间隔值。

在任一实施例中，如图3所示，一种支持实时监控和实时拦截涉黄音视频的终端设备，包括以下单元：视频转发单元、视频采集单元、鉴黄单元、信息发送单元。

视频转发单元，用于采集视频信号，并根据鉴黄单元返回的结果，原样转发或屏蔽视频信号，鉴黄单元返回的结果，指鉴黄单元返回的涉黄值是否超过设定的阈值。视频转发单元与视频输入源、视频输出单元、视频采集单元和鉴黄单元相连，视频采集单元接收来自鉴黄单元发送来的状态：非阻截状态或者阻截状态，在非阻截状态下，将视频输入源信号原样输出到视频输出单元，并发送给视频采集单元；在阻截状态下，向视频输出单元发送默认的视频信息，例如已检测到色情图片的告警等，同时将原视频信号转发给视频采集单元。

视频采集单元，用于定时将视频信息转换为关键帧图片，并发送给鉴黄单元，根据鉴黄单元的状态，采用不同的定时时间。视频采集单元与视频转发单元和鉴黄单元相连，接收来自视频采集单元的视频信号，定时将其转换为关键帧图片，发送给鉴黄单元。

鉴黄单元，调用鉴黄模型对关键帧图片进行判断，若判断涉及色情内容，则根据判断结果，根据前面提到的实时监控涉黄视频的方法和实时拦截涉黄音视频的方法，判断当前视频所处的状态：正常、疑似报警、报警、屏蔽，以计算得到的状态决定是否向信息发送单元发送信号告知云端管理员或家长，是否向视频转发单元发送信号，让其屏蔽原视频信号输出，是否调整视频转发单元的采集间隔。

其中，所述鉴黄单元连接网络，并利用云端的计算能力来加强对色情图片的鉴别能力；

鉴黄单元通过网络实时更新最新的模型到终端，以获得最新最优的色情图片的鉴别能力；

鉴黄单元根据平时经常输入的图片信息，来优化编译当前的离线模型，以获得最适合当前终端的离线判断能力。

其中，所述信息发送单元，用于将鉴黄结果上传至云服务器，由云服务器通知预设联系人、或者管理员。

其中，所述视频输入源，包括PC、手机、平板电脑、智能投影仪或网络电视的显卡或显示芯片输出接口、也包括用于连接显示器的视频信号传输线或无线信号；视频输入源向外输出当前要显示的视频信号；

所述视频输出单元，包括PC、手机、平板电脑或网络电视的显示器、智能投影仪的投影单元或任意用于连接显示设备的视频传输线或无线信号；视频输出单元会最终将视频转换为图像展示给用户，展示方式包括视频显示器和投影仪。

一种拦截设备，包括上述的拦截终端，所述拦截终端内置于PC、手机、平板电脑、智能投影仪或网络电视、或运行于外置的视频信号转发器上。

本申请还提供了上述拦截终端的应用，所述拦截终端内置于智能电视中，一边连接智能电视的视频输出芯片、另外一边连接到智能电视的显示屏；这种方式集成度比较高，适合于打造一体的、安全的、高端的智能电视。或，

所述拦截终端作为一个独立的视频转发器存在，一边连接电脑的视频输出，一边连接显示器的视频输入，并且通过有线或者无线的方式联网。这种方式通用性比较强，几乎适用于所有的通过显示器输入图像的场景。

上述实施例的色情信息拦截同样适用于涉恐、涉爆信息。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种实时拦截涉黄音视频的方法，其特征在于，包括如下步骤：

步骤1、采集监控源的媒体信息；

步骤2、将采集得到的媒体信息，转换为关键帧；

步骤3、通过鉴黄模型判断是否存在不当信息，不当信息包括涉黄信息、涉恐、涉爆信息；

步骤4、若鉴黄模型返回涉黄值未超过设定的阈值，判断不存在不当信息，并在设定的时间值后再次进入步骤1，所述的时间值为正常工作的时间间隔；

若鉴黄模型返回的涉黄值超过设定的阈值，可以停止设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为阻截状态下的时间间隔值；

步骤5、若鉴黄模型返回涉黄值未超过设定的阈值，但超过警戒值，判断不存在不当信息，但在设定的时间值后再次进入步骤1，所述的时间值为疑似报警状态下的时间间隔值，该值小于步骤4中的正常工作的时间间隔；

若鉴黄模型返回的涉黄值未超过设定的阈值，但超过了设定的警戒的阈值，暂不停止设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为疑似涉黄状态下的时间间隔值，该值大于阻截状态下的时间间隔值；

步骤6、如果鉴黄模型判断存在不当信息，记录并通过网络发送给家长或管理员，并在设定的时间值后再次进入步骤1，所述的时间值为报警状态下的时间间隔值，该值小于步骤5中的正常工作的时间间隔；

若鉴黄模型返回的涉黄值超过设定的警戒的阈值，则认为该设备未输出色情信息，不会阻截设备的音视频输出，并在设定的时间值后，再次进入步骤1，所述的时间值为正常工作状态下的时间间隔值，该值大于疑似涉黄状态下的时间间隔值。

2.如权利要求1所述一种实时拦截涉黄音视频的方法，其特征在于，所述采集监控源包括电视机的显卡显示输出模块、PC的显卡输出接口、也可以是显示器的视频输入接口。

3.如权利要求1所述一种实时拦截涉黄音视频的方法，其特征在于，步骤2中，若采集时间间隔较长，可以跳过输出某些帧的信息，若发现输出的视频特征变化不大，可以适当延长发送的时间间隔。

4.如权利要求1所述一种实时拦截涉黄音视频的方法，其特征在于，步骤3中，鉴黄模型包括如下模式：a运行在独立的终端设备中；b运行在云端；c由终端运行图片特征提取，包括深度卷积神经网络或者循环神经网络、也可以是前面两者的结合与变种，把图片特征提取后，有终端独立运行较小的模型，判断置信度比较高的色情图片，当终端模型运行结果不确定时，再将怀疑为色情的图片区域部分的特征发送给云端，运行较为复杂的模型来进行判定；其中，云端可以随机采集终端较小模型的运行结果、中间特征结果和输入图片，以通过大量的训练数据继续优化终端模型与云端模型。

5.如权利要求1-4任一项所述一种实时拦截涉黄音视频的方法的拦截终端，其特征在于，包括以下单元：视频转发单元、视频采集单元、鉴黄单元、信息发送单元；

视频转发单元，用于采集视频信号，并根据鉴黄单元返回的结果，原样转发或屏蔽视频信号，鉴黄单元返回的结果，指鉴黄单元返回的涉黄值是否超过设定的阈值；

视频转发单元与视频输入源、视频输出单元、视频采集单元和鉴黄单元相连，视频采集单元接收来自鉴黄单元发送来的状态：非阻截状态或者阻截状态，在非阻截状态下，将视频输入源信号原样输出到视频输出单元，并发送给视频采集单元；在阻截状态下，向视频输出单元发送默认的视频信息，同时将原视频信号转发给视频采集单元；

视频采集单元，用于定时将视频信息转换为关键帧图片，并发送给鉴黄单元，根据鉴黄单元的状态，采用不同的定时时间；视频采集单元与视频转发单元和鉴黄单元相连，接收来自视频采集单元的视频信号，定时将其转换为关键帧图片，发送给鉴黄单元；

鉴黄单元，调用鉴黄模型对关键帧图片进行判断，若判断涉及色情内容，则根据判断结果，根据前面提到的实时监控涉黄视频的方法和实时拦截涉黄音视频的方法，判断当前视频所处的状态：正常、疑似报警、报警、屏蔽，以计算得到的状态决定是否向信息发送单元发送信号告知云端管理员或家长，是否向视频转发单元发送信号，让其屏蔽原视频信号输出，是否调整视频转发单元的采集间隔。

6.如权利要求5所述的拦截终端，其特征在于，所述鉴黄单元连接网络，并利用云端的计算能力来加强对色情图片的鉴别能力；和/或，

鉴黄单元通过网络实时更新最新的模型到终端，以获得最新最优的色情图片的鉴别能力；和/或，

鉴黄单元根据平时经常输入的图片信息，来优化编译当前的离线模型，以获得最适合当前终端的离线判断能力。

7.如权利要求5所述的拦截终端，其特征在于，所述信息发送单元，用于将鉴黄结果上传至云服务器，由云服务器通知预设联系人、或者管理员。

8.如权利要求5所述的拦截终端，其特征在于，所述视频输入源，包括PC、手机、平板电脑、智能投影仪或网络电视的显卡或显示芯片输出接口、也包括用于连接显示器的视频信号传输线或无线信号；视频输入源向外输出当前要显示的视频信号；

所述视频输出单元，包括PC、手机、平板电脑或网络电视的显示器、智能投影仪的投影单元或任意用于连接显示设备的视频传输线或无线信号；视频输出单元会最终将视频转换为图像展示给用户，展示方式包括视频显示器和投影仪。

9.一种拦截设备，包括权利要求5-8任一项所述的拦截终端，其特征在于，所述拦截终端内置于PC、手机、平板电脑、智能投影仪或网络电视、或运行于外置的视频信号转发器上。

10.一种如权利要求5-8任一项所述的拦截终端的应用，其特征在于，所述拦截终端内置于智能电视中，一边连接智能电视的视频输出芯片、另外一边连接到智能电视的显示屏；或，

所述拦截终端作为一个独立的视频转发器存在，一边连接电脑的视频输出，一边连接显示器的视频输入，并且通过有线或者无线的方式联网。