CN108600776A - 安全播控的系统及方法 - Google Patents

Abstract

本发明公开了一种安全播控的系统，包括云制播实例、数据库，以及分别与云制播实例信号相连的音视频采集装置、网络存储平台、直播发布平台、语音识别子系统和图像识别子系统，在制作直播的同时能够避免推送的直播中包含敏感内容。本发明还公开一种利用该系统进行安全播控的方法，当发现存在敏感内容时，云制播实例自动切换至所预设的安全信道，避免观众观看到敏感内容。从而提高了直播的安全性。本发明针对直播制作阶段，在有效阻止敏感内容播出的同时，还不会影响直播正常播出。

Description

安全播控的系统及方法

技术领域

本发明涉及网络信息技术、多媒体技术及深度机器学习技术，具体涉及一种安全播控系统及方法。

背景技术

云制播的出现，为视频直播提供了低成本和便捷的解决方案。导播人员可以无需购买昂贵的导播设备、也不受本地网络条件的限制，只要有普通的宽带或4G网络，就可以随时随地的发起直播。

云制播在提供便捷的同时也存在着一些事故隐患，导播人员很可能处于不十分可靠的网络环境中，在网络意外故障的时候，或者导播人员的终端设备发生故障，会导致导播人员无法进行操作，这时如果某个镜头视频或音频出现异常，导播人员无法及时操作，就可能导致直播事故。

传统的制播系统及方法只能对视频质量进行监控，并不涉及内容，无法避免不和谐的视频或音频被直播出去。

现有技术中为避免直播中敏感内容的播出，通常由直播发布平台进行核查并进行相应处理。该种核查及处理方式存在以下不足：

1、核查及处理工作集中于直播发布平台，导致直播发布平台压力过大。

2、直播发布平台对含有敏感内容的直播的处理方式一般为关闭直播，影响直播的正常播放。

因此需要对现有技术进行改进。

发明内容

本发明的目的在于提出一种在直播制作阶段有效避免敏感内容播出的安全播控的系统，以及通过该系统进行的安全播控的方法。

为了解决上述技术问题，本发明提出一种安全播控的系统，包括云制播实例、数据库，以及分别与云制播实例信号相连的音视频采集装置、网络存储平台和直播发布平台；

所述安全播控的系统还包括语音识别子系统和图像识别子系统；

所述语音识别子系统和图像识别子系统均与云制播实例和数据库信号相连；

所述云制播实例用于接收音视频采集装置和网络存储平台发送的音视频，并进行音视频分离，将音频输送到语音识别子系统，将视频进行随机抽帧获得的视频图像输送到图像识别子系统；

所述语音识别子系统用于对云制播实例所输送的音频进行识别，并将识别结果发送至云制播实例；

所述图像识别子系统用于对云制播实例所输送的视频图像的画面及文字分别进行识别，并将识别结果发送至云制播实例；

所述云制播实例接收由语音识别子系统和图像识别子系统发送的识别结果，并根据识别结果进行直播制作、报警、停止直播或切换到安全通道。

本发明还提出一种利用上述系统进行安全播控的方法，其特征在于以下步骤：

步骤1、配置云制播实例；

步骤2、云制播实例对每个信道所输送的媒体流分别进行音视频分离，并将音频输送到语音识别子系统进行分析，将视频随机抽帧获得的视频图像输送到图像识别子系统进行分析；

步骤3、语音识别子系统接收和识别音频，并将识别结果发送至云制播实例；

步骤4、图像识别子系统接收视频图像，分别对所接收视频图像的画面和文字进行识别，并将识别结果发送至云制播实例；

步骤5、云制播实例接收步骤3和步骤4的识别结果，根据识别结果进行相应处理。

作为本发明安全播控的方法的改进：

所述步骤1中配置云制播实例具体包括配置各信道来源设置、指定安全信道、报警策略、视频处理方案和混音方案；

所述信道来源至少包括音视频采集装置和网络存储平台。

作为本发明安全播控的方法的进一步改进：

所述步骤4中云制播实例根据识别结果进行处理的具体方法如下：

云制播实例接收步骤3和步骤4的识别结果，当识别结果为检测到敏感内容时，云制播实例按步骤1中所配置的报警策略进行报警，同时云制播实例判断该异常的信道是否对正常的直播产生影响；

当判断对正常的直播产生影响时，云制播实例输出安全通道的内容至直播发布平台3，当判断对正常的直播不产生影响时，云制播实例将根据用户配置的视频处理方案和混音方案，分别生成媒体流(即，制作直播的视频和音频)，将音视频复合后输出正常的直播至直播发布平台。

与现有技术相比，本发明的技术优势在于：

1、本发明在直播制作过程中，使用户在享受云制播提供的低成本和便捷的同时，还能够对直播内容进行监控，规避直播过程中播出敏感内容所导致的直播事故。

2、本发明通过切换安全信道的方式，在识别到直播内容中存在敏感内容时，无需中断/停止直播的情况即可实现阻止敏感内容的播出。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明安全播控的系统的结构示意图；

图2为本发明安全播控的方法的流程示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。

实施例1、安全播控的系统，如图1所示，包括音视频采集装置1、网络存储平台2、直播发布平台3、云制播实例4、语音识别子系统5、图像识别子系统6和数据库7。云制播实例4通过互联网与音视频采集装置1相连，通过互联网或私有网络与网络存储平台2和直播发布平台3相连，通过私有网络与语音识别子系统5和图像识别子系统6信号相连。语音识别子系统5和图像识别子系统6与数据库7信号相连。

数据库7用于储存敏感文字，从而实现对敏感文字的检测。

音视频采集装置1可采用手机摄像头和电脑摄像头等现有对于音视频采集的设备，音视频采集装置1将采集的音视频发送至云制播实例4进行制作直播视频。

网络存储平台2用于存储用户事先制作好的多媒体资源，例如广告短片、台标、垫片等，云制播实例4可以通过网络访问其中的媒体资源。

直播发布平台3用于将云制播实例4制作好的直播视频发布给观众。

综上，音视频采集装置1、网络存储平台2和直播发布平台3均为现有技术，故在此说明书中不对其具体工作内容进行描述。

云制播实例4接收音视频采集装置1和网络存储平台2所发送的音视频，并分别对各信道进行音视频分离，将音频输送到语音识别子系统5检查敏感的言论，视频进行随机抽帧将获得的视频图像输送到图像识别子系统6检查敏感的画面。

语音识别子系统5，用于接收并识别云制播实例4所输送的音频，检测是否有敏感的言论；语音识别子系统5通过语音识别引擎识别音频中的语音信息，将其转换成文字，再将该文字与数据库7中的关键字(敏感文字)相对比，如果匹配成功，表示音频中含有敏感言论。

图像识别子系统6，用于接收并对云制播实例4所输送的视频图像的画面及文字分别进行识别，检测是否有敏感的画面或文字；图像识别子系统6通过大数据和深度机器学习对视频图像进行敏感画面的识别；图像识别子系统6还通过文字识别技术提取视频图像中的文字，与数据库7中的关键字相比较，以识别画面中的敏感文字。

注：上述语音识别引擎、文字识别技术、大数据和深度机器学习均采用现有技术，故在本发明中不再详细介绍。

语音识别子系统5和图像识别子系统6将识别结果发送至云制播实例4，云制播实例4将根据用户的配置做出相应的处理，包括但不限于：直播制作、报警、停止直播和切换到安全通道。检测到敏感内容时，识别结果至少包含改音频/视频对应的信道信息。

当语音识别子系统5和图像识别子系统6将识别结果发送至云制播实例4，云制播实例4接收该识别结果，判断直播制作所采用的信道是否存在敏感内容，如不存在，则表示检测的敏感内容不对直播内容造成影响，正常直播。如存在，则在报警的同时禁止该信道的使用，此时导播人员可根据实际情况操作云制播实例4进行相应的处理。当导播人员未及时进行处理或自动进行直播制作时，云制播实例4将根据用户的配置停止直播或切换到安全通道。

注：上述导播人员未及时进行处理指，导播人员未在预设的延时时间内完成处理操作，延时时间可根据实际需要通过云制播实例4进行配置。

云制播实例4未发现敏感的内容或所发现敏感内容不对直播产生影响时，云制播实例4将自动/手动制作完成的直播流推送至直播发布平台3。

手动制作：导播人员通过网页、平台APP等终端可以控制云制播实例4，对至少两个信道的视频(即上述完成敏感内容检测的视频)进行画面叠加及添加台标等操作，对至少两个信道的音频(即上述完成敏感内容检测的音频频)进行音量调整、混音，将分离的音视频混合后将制作完成的直播流推送至指定的直播发布平台3。

自动制作：导播人员实现设置视频处理方案和混音方案。云制播实例4将分离的音视频根据各自的信道按照视频处理方案和混音方案进行分别进行处理，最后将处理完成的音频和视频进行复合后将制作完成的直播流推送至指定的直播发布平台3。

注：视频处理方案：如设置进行画面叠加的信道以及设置将添加的台标。

混音方案：如设置音量以及进行混音的信道。

本发明还提出一种通过上述系统进行的安全播控的方法，包括以下步骤：

1、导播人员对云制播实例4进行配置，包括但不限于：各信道来源设置、指定其中一个信道为安全信道、报警策略、视频处理方案以及混音方案。

安全信道指直播出现意外，不希望/无法终止直播，导播人员操作云制播实例4/云制播实例4自动将安全信道的内容直接作为直播内容发布出去，导播人员可以选用事先制作好的垫片或广告等确认无敏感内容的信道作为安全信道。

视频处理方案以及混音方案指导播人员设置用于将采集的音视频进行处理制作直播内容的方案，视频处理方案以及混音方案的实现方法为现有技术，故不再本发明中详述。

报警策略包括但不限于将报警信息发送至云制播实例4的网页或移动设备APP，以及根据用户预设的信息发送短信或邮件。

2、云制播实例4对多个信道的媒体流(即，输送的音视频)分别进行音视频分离；音频输送到语音识别子系统5进行分析；视频使用现有技术解码后随机抽帧将获得的视频图像输送到图像识别子系统6进行分析。

3、语音识别子系统5通过语音识别引擎将步骤2所输送的音频中的语音转换为文字，并将该文字与数据库7内的关键字(敏感文字)进行匹配，如果匹配成功，表示音频检测到敏感言论。语音识别子系统5将识别结果发送至云制播实例4。

4、图像识别子系统6通过大数据和深度机器学习对步骤2所输送的视频图像进行敏感画面的识别；图像识别子系统6还通过文字识别技术提取该视频图像中的文字，将所提取的文字与数据库7中的关键字相比较，以识别视频图像中的敏感文字。图像识别子系统6将识别结果发送至云制播实例4。

5、云制播实例4接收步骤3和步骤4的识别结果，当两个识别结果均为未检测到敏感内容时，云制播实例4输出正常的直播；否则发生报警，并执行步骤6。

注：当检测到敏感内容时，识别结果至少包含该音频/视频对应的信道信息。

6、云制播实例4判断异常的信道是否对正常的直播产生影响，产生影响时输出安全信道的内容至直播发布平台3；否则进行直播制作并输出至直播发布平台3(即，正常直播)。

云制播实例4根据识别结果判断该具有敏感内容的信道是否用于制作直播，即，将输出直播的部分或全部画面来自该信道或者输出直播的音频混有该信道的声音，如该信道未用于制作直播，则表示不对正常的直播产生影响，如该信道用于制作直播，则表示将对直播产生影响。

如图2所示，安全播控的方法具体包括以下步骤：

S201、信道设置：导播人员对云制播实例4对各个信道进行设置。

注：信道来源包括但不限于音视频采集装置1、网络存储平台2中的多媒体文件、或者其他直播平台的网络直播流。

S202、指定安全信道：导播人员指定步骤S201完成设置后的一个信道为安全通道；例如选择实现制作并保存在网络存储平台2中广告。

S203、报警设置：导播人员对检测到敏感内容后的报警方式(报警策略)进行设置，本实施例中报警策略包括但不限于将报警信息发送至云制播实例4的网页或移动设备APP，以及根据用户预设的信息发送短信或邮件。

注：步骤S201-S203顺序可以任意调换且可以多次重复。

S204、音视频分离：

云制播实例4分别对每个信道的媒体流进行音视频分离；音频输送到语音识别子系统5进行分析；视频使用现有技术解码后随机抽帧(视频图像)输送到图像识别子系统6进行分析。

S205、敏感言论筛查：

语音识别子系统5接收步骤S204中云制播实例4所发送的音频，通过采用语音识别引擎将音频中的语音转换为文字，再将该文字与数据库7中关键字(即，敏感文字)相比对，如果匹配成功，表示音频中含有敏感言论，语音识别子系统5将该识别结果发送至云制播实例4，云制播实例4接收并进行相应处理(按照步骤S208进行处理)。

S206、敏感图像筛查：图像识别子系统6接收步骤S204中云制播实例4所发送的视频图像，通过大数据和深度机器学习进行敏感画面的识别。

S207、敏感文字筛查：图像识别子系统6也通过文字识别技术提取画面中的文字，与数据库7中的关键字(敏感文字)相比较，以识别画面中的敏感文字。

图像识别子系统6将S206和S207的识别结果发送至云制播实例4。

S208、检测出敏感内容：云制播实例4接收S205-S207的识别结果，如果检测到敏感内容时，执行S209；否则执行S212。

S209、报警：云制播实例4按用户与步骤S203中的配置发生报警；同时执行S210。

S210、输出是否包含该通道：云制播实例4判断异常的信道是否对正常的直播产生影响，如果判断该具有敏感内容的信道用于制作直播，则产生影响，执行S211；否则执行S212；

S211、编码播出安全通道：云制播实例4输出安全通道的内容；

S212、编码输出正常节目：云制播实例4根据用户配置的视频处理方案和混音方案，分别生成音频及视频的媒体流，将音视频复合后作为直播视频输出。

本发明安全播控的方法具体工作内容如下所示：

注：对一次活动现场进行直播(典型的应用场景)；

配置云制播实例4：

1.1、导播人员将云制播实例4的信道1设置成活动现场的某个摄像机，摄像机连接有编码器和网络模块，将捕获的视频传输到云端的云制播实例4。

1.2、导播人员将云制播实例4的信道2设置成事先制作好的垫片，并将安全信道设置为信道2。

1.3、导播人员设置报警策略为短信报警，设置收件人电话以及报警内容。

1.4、导播人员设置信道1为直播的视频输出，即，观众看到的将是信道1的画面，也就是活动现场的摄像机所捕获的画面；

开始直播：

2.1、云制播实例4接收输入媒体(即，活动现场的摄像机)所采集的视频，同时将该视频随机抽帧获得的视频图像发送至图像识别子系统6进行内容检测。

某个时刻，活动现场出现意外，摄像机捕获到敏感画面，此时由于导播人员疏忽或者导播人员本地网络异常，导播人员未能及时发现异常；图像识别子系统6检测到有敏感内容将识别结果发送至云制播实例4，云制播实例4短信通知导播人员，并将直播镜头(信道1)切换成垫片(信道2)，观众未看到敏感的画面，只看到垫片；

活动现场意外排除后，导播人员可以将直播切回信道1，直播恢复正常。

综上，本发明所提供的安全播控的系统能够自动分析发现敏感内容的直播，如果导播人员未能及时处理，则自动切换至所预设的安全信道，避免观众观看到敏感内容。从而提高了直播的安全性，可以减少或避免因为导播人员疏忽或者导播人员本地网络或终端故障，对直播中的敏感内容不能及时做出响应，从而导致敏感内容的播出，造成直播事故。本发明针对直播制作阶段，不仅能能够有效阻止敏感内容的播出，还不影响直播正常播出。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (4)

1.安全播控的系统，包括云制播实例(4)、数据库(7)，以及分别与云制播实例(4)信号相连的音视频采集装置(1)、网络存储平台(2)和直播发布平台(3)，其特征在于：

所述安全播控的系统还包括语音识别子系统(5)和图像识别子系统(6)；

所述语音识别子系统(5)和图像识别子系统(6)均与云制播实例(4)和数据库(7)信号相连；

所述云制播实例(4)用于接收音视频采集装置(1)和网络存储平台(2)发送的音视频，并进行音视频分离，将音频输送到语音识别子系统(5)，将视频进行随机抽帧获得的视频图像输送到图像识别子系统(6)；

所述语音识别子系统(5)用于对云制播实例(4)所输送的音频进行识别，并将识别结果发送至云制播实例(4)；

所述图像识别子系统(6)用于对云制播实例(4)所输送的视频图像的画面及文字分别进行识别，并将识别结果发送至云制播实例(4)；

所述云制播实例(4)接收由语音识别子系统(5)和图像识别子系统(6)发送的识别结果，并根据识别结果进行直播制作、报警、停止直播或切换到安全通道。

2.利用权利要求1所述系统进行安全播控的方法，其特征在于以下步骤：

步骤1、配置云制播实例(4)；

步骤2、云制播实例(4)对每个信道所输送的媒体流分别进行音视频分离，并将音频输送到语音识别子系统(5)进行分析，将视频随机抽帧获得的视频图像输送到图像识别子系统(6)进行分析；

步骤3、语音识别子系统(5)接收和识别音频，并将识别结果发送至云制播实例(4)；

步骤4、图像识别子系统(6)接收视频图像，分别对所接收视频图像的画面和文字进行识别，并将识别结果发送至云制播实例(4)；

步骤5、云制播实例(4)接收步骤3和步骤4的识别结果，根据识别结果进行相应处理。

3.根据权利要求2所述的安全播控的方法，其特征在于：

所述步骤1中配置云制播实例(4)具体包括配置各信道来源设置、指定安全信道、报警策略、视频处理方案和混音方案；

所述信道来源至少包括音视频采集装置(1)和网络存储平台(2)。

4.根据权利要求3所述的安全播控的方法，其特征在于：

所述步骤4中云制播实例(4)根据识别结果进行处理的具体方法如下：

云制播实例(4)接收步骤3和步骤4的识别结果，当识别结果为检测到敏感内容时，云制播实例(4)按步骤1中所配置的报警策略进行报警，同时云制播实例(4)判断该异常的信道是否对正常的直播产生影响；

当判断对正常的直播产生影响时，云制播实例(4)输出安全通道的内容至直播发布平台(3)，当判断对正常的直播不产生影响时，云制播实例(4)将根据用户配置的视频处理方案和混音方案，分别生成媒体流，将音视频复合后输出正常的直播至直播发布平台(3)。