CN112770172A - 一种直播监控方法、装置、计算机设备及存储介质 - Google Patents

一种直播监控方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112770172A
CN112770172A CN202110099197.9A CN202110099197A CN112770172A CN 112770172 A CN112770172 A CN 112770172A CN 202110099197 A CN202110099197 A CN 202110099197A CN 112770172 A CN112770172 A CN 112770172A
Authority
CN
China
Prior art keywords
video data
audio
information
shielded
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110099197.9A
Other languages
English (en)
Inventor
谢少泽
陈常文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202110099197.9A priority Critical patent/CN112770172A/zh
Publication of CN112770172A publication Critical patent/CN112770172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本公开提供了一种直播监控方法、装置、计算机设备及存储介质,包括:响应基于目标页面发起的直播指令,采集所述主播端当前展示的目标页面的音视频数据;检测所述音视频数据中是否包括待屏蔽信息;在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。

Description

一种直播监控方法、装置、计算机设备及存储介质
技术领域
本公开涉及互联网技术领域,具体而言,涉及一种直播监控方法、装置、计算机设备及存储介质。
背景技术
目前,在进行手机游戏直播时,一般主要通过两种方式,一种是通过其他设备拍摄玩游戏的手机的画面,并将拍摄的视频画面发送至服务器进行直播;另外一种是通过手机上的录屏软件,录制手机屏幕进行直播。
然而这两种方式在直播过程中都是需要将手机上呈现的画面全部直播出去,例如若用户通过手机查看短信时,短信内容会被直播出去,因此这两种方法都可能会造成主播隐私的泄露。
发明内容
本公开实施例至少提供一种直播监控方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种直播监控方法,应用于主播端,包括:
响应基于目标页面发起的直播指令,采集所述主播端当前展示的目标页面的音视频数据;
检测所述音视频数据中是否包括待屏蔽信息;
在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。
一种可能的实施方式中,所述采集所述主播端当前展示的目标页面的音视频数据,包括:
基于所述目标页面对应的处理引擎,采集所述主播端当前展示的所述目标页面的音视频数据。
一种可能的实施方式中,所述检测所述音视频数据中是否包括待屏蔽信息,包括:
检测所述目标页面中的目标按钮是否被触发,若是,则确定所述音视频数据中包括待屏蔽信息。
一种可能的实施方式中,所述检测所述音视频数据中是否包括待屏蔽信息,包括:
基于预先训练的神经网络,分别对所述处理引擎采集的音频数据和视频数据进行检测,确定所述音视频数据中是否包括待屏蔽信息;所述神经网络为基于包含待屏蔽信息的音视频数据样本训练得到的。
一种可能的实施方式中,所述对所述音视频数据进行调整,包括:
将推流的音视频数据替换为暂停指令,以使服务器向所述主播端对应的直播间内的观众端标识对应的观众端推送暂停直播页面。
一种可能的实施方式中,所述在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,包括:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述音视频数据中的视频数据进行屏蔽;或者,
在所述音视频数据中的音频数据包括待屏蔽信息的情况下,将所述音视频数据中的音频数据进行屏蔽。
一种可能的实施方式中,所述对所述音视频数据进行调整,包括:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述视频数据中的待屏蔽信息进行遮挡处理。
第二方面,本公开实施例还提供了一种直播监控方法,应用于观众端,包括:
响应针对目标直播间的标识信息的触发指令,获取所述目标直播间的标识信息对应的音视频数据;
播放获取的所述音视频数据,其中,所述音视频数据为主播端对在所述主播端展示的包括待屏蔽信息的初始音视频数据进行调整后的数据。
一种可能的实施方式中,所述获取的音视频数据包括以下任意一种:
不包括待屏蔽信息的音频数据、不包括待屏蔽信息的视频数据、暂停直播页面、将待屏蔽信息进行遮挡处理后的音视频数据。
第三方面,本公开实施例还提供一种直播监控装置,包括:
采集模块,用于响应基于目标页面发起的直播指令,采集主播端当前展示的目标页面的音视频数据;
检测模块,用于检测所述音视频数据中是否包括待屏蔽信息;
处理模块,用于在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。
一种可能的实施方式中,所述采集模块,在采集所述主播端当前展示的目标页面的音视频数据时,用于:
基于所述目标页面对应的处理引擎,采集所述主播端当前展示的所述目标页面的音视频数据。
一种可能的实施方式中,所述检测模块,在检测所述音视频数据中是否包括待屏蔽信息时,用于:
检测所述目标页面中的目标按钮是否被触发,若是,则确定所述音视频数据中包括待屏蔽信息。
一种可能的实施方式中,所述检测模块,在检测所述音视频数据中是否包括待屏蔽信息时,用于:
基于预先训练的神经网络,分别对所述处理引擎采集的音频数据和视频数据进行检测,确定所述音视频数据中是否包括待屏蔽信息;所述神经网络为基于包含待屏蔽信息的音视频数据样本训练得到的。
一种可能的实施方式中,所述处理模块,在对所述音视频数据进行调整时,用于:
将推流的音视频数据替换为暂停指令,以使服务器向所述主播端对应的直播间内的观众端标识对应的观众端推送暂停直播页面。
一种可能的实施方式中,所述处理模块,在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整时,用于:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述音视频数据中的视频数据进行屏蔽;或者,
在所述音视频数据中的音频数据包括待屏蔽信息的情况下,将所述音视频数据中的音频数据进行屏蔽。
一种可能的实施方式中,所述处理模块,在对所述音视频数据进行调整时,用于:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述视频数据中的待屏蔽信息进行遮挡处理。
第四方面,本公开实施例还提供一种直播监控装置,包括:
获取模块,用于响应针对目标直播间的标识信息的触发指令,获取所述目标直播间的标识信息对应的音视频数据;
播放模块,用于播放获取的所述音视频数据,其中,所述音视频数据为主播端对在所述主播端展示的包括待屏蔽信息的初始音视频数据进行调整后的数据。
一种可能的实施方式中,所述获取的音视频数据包括以下任意一种:
不包括待屏蔽信息的音频数据、不包括待屏蔽信息的视频数据、暂停直播页面、将待屏蔽信息进行遮挡处理后的音视频数据。
第五方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤,或者执行上述第二方面,或第二方面可能的实施方式中的步骤。
第六方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤,或者执行上述第二方面,或第二方面可能的实施方式中的步骤。
本公开实施例提供的直播监控方法、装置、计算机设备及存储介质,可以在采集到主播端当前展示的目标页面的音视频数据之后,在将音视频数据推送到服务器之前,对音视频数据进行检测,当检测到音视频数据中包括待屏蔽信息的情况下,可以对音视频数据进行调整,并将调整后的音视频数据进行推流直播,所述待屏蔽信息可以包括用户隐私信息,以及其他信息(如敏感信息)等,这样,通过在对音视频数据进行实时监控,可以实现对于主播隐私的保护,提升直播效果。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种直播监控方法的流程图;
图2示出了本公开实施例所提供的一种目标页面的展示界面图;
图3示出了本公开实施例所提供的一种直播监控方法中,采集视频数据方法的流程图;
图4示出了本公开实施例所提供的一种直播监控方法中,采集音频数据方法的流程图;
图5a示出了本公开实施例所提供的主播端的展示界面示意图;
图5b示出了本公开实施例所提供的观众端的展示界面示意图;
图5c示出了本公开实施例所提供的另一种观众端的展示界面示意图;
图6示出了本公开实施例所提供的另外一种直播监控方法的流程图;
图7示出了本公开实施例所提供的一种直播监控装置的架构示意图;
图8示出了本公开实施例所提供的一种另外一种直播监控装置的架构示意图;
图9示出了本公开实施例所提供的一种计算机设备900的结构示意图;
图10示出了本公开实施例所提供的一种计算机设备1000的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,在进行手机游戏直播时,一般主要通过两种方式,一种是通过其他设备拍摄玩游戏的手机的画面,并将拍摄的视频画面发送至服务器进行直播;另外一种是通过手机上的录屏软件,录制手机屏幕进行直播。
然而这两种方式在直播过程中都是需要将手机上呈现的画面全部直播出去,例如若用户通过手机查看短信时,短信内容会被直播出去,因此这两种方法都可能会造成主播隐私的泄露。
基于上述研究,本公开提供了一种直播监控方法、装置、计算机设备及存储介质,可以在采集到主播端当前展示的目标页面的音视频数据之后,在将音视频数据推送到服务器之前,对音视频数据进行检测,当检测到音视频数据中包括待屏蔽信息的情况下,可以对音视频数据进行调整,并将调整后的音视频数据进行推流直播,所述待屏蔽信息可以包括用户隐私信息,以及其他信息(如敏感信息)等,这样,通过在对音视频数据进行实时监控,可以实现对于主播隐私的保护,提升直播效果。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种直播监控方法进行详细介绍,本公开实施例所提供的直播监控方法的执行主体一般为具有显示功能的终端设备,所述终端设备例如可以为智能手机、平板电脑、个人计算机、智能电视、智能手表等。
参见图1所示,为本公开实施例提供的一种直播监控方法的流程图,所述方法包括步骤101~步骤103,其中:
步骤101、响应基于目标页面发起的直播指令,采集所述主播端当前展示的目标页面的音视频数据。
步骤102、检测所述音视频数据中是否包括待屏蔽信息。
步骤103、在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。
以下是对上述步骤的详细介绍。
针对步骤101、
在一种可能的实施方式中,可以先响应目标触发操作,然后在主播端展示目标页面对应的页面数据,主播端对应的用户可以在目标页面发起直播指令。
这里,所述目标触发操作可以是针对目标应用程序的触发操作,例如可以是在目标应用程序的主界面的下拉操作之后,针对目标页面入口的触发操作,所述触发操作可以包括但不仅限于单击、双击、长按、重按等;或者所述目标触发操作可以直接是作用于所述目标应用程序的主界面的上述触发操作中的任意一种;例如若直接在目标应用程序的主界面上重按,则展示所述目标页面。
一种可能的实施方式中,所述目标页面可以是目标应用程序内的页面,例如可以是目标应用程序内的小游戏页面,所述小游戏为无需安装的游戏。所述页面数据可以包括所述目标页面的视频数据和所述目标页面的音频数据,所述展示所述目标页面对应的页面数据可以包括播放目标页面的视频数据和音频数据。
一种可能的实施方式中,所述音视频数据包括所述目标页面的音视频数据,以及麦克风采集的其他声音数据。
一种可能的实施方式中,所述直播指令可以是触发所述目标页面的目标按钮后生成的指令,例如,在展示目标页面对应的页面数据之后,可以如图2所示的展示界面,展示界面上可以添加“体验“游戏围观”新功能”的弹窗,用户在点击“立即体验”后,可以生成直播指令。
用户还可以点击下方“同步开启麦克风”的选择按钮,以在直播过程中通过麦克风采集其他声音数据;若用户并未点击下方“同步开启麦克风”的选择按钮,则在直播过程中,推流的音视频数据仅包括目标页面的音视频数据。
另外,用户还可以点击右上角“暂不开启”的按钮,仅选择玩游戏,而不进行直播。
在一种可能的实施方式中,用户在目标页面发起直播指令之后,所述主播端还可以响应所述直播指令,获取用户信息,并基于所述用户信息创建直播房间,以便服务器将所述主播端推流的所述音视频数据发送给直播间内各用户端标识对应的用户端。
这里,所述用户端一般是指观众端。所述用户信息可以包括用户的身份信息(如用户的昵称)、所述目标页面的标识信息(如在目标页面上操作的游戏的名称)等。
在另外一种可能的实施方式中,在响应基于所述目标页面发起的直播指令,创建直播房间之后,还可接收直播房间内的用户端标识对应的用户端发送的交互信息,并在所述目标页面的预设位置处展示所述用户端标识,以及所述用户端标识对应的用户端发送的交互信息。
这里,所述交互信息可以是指虚拟礼物、弹幕信息等,所述用户端标识可以是指用户端的用户昵称等。
所述在所述目标页面的预设位置处展示所述用户端标识,以及所述用户端标识对应的用户端发送的交互信息可以是,先确定所述交互信息的类型信息,然后在所述类型信息对应的预设位置处展示该交互信息。
示例性的,若所述交互信息为弹幕信息,则可以在所述目标页面的左下角进行上下滚动展示;若所述交互信息为虚拟礼物,则可以在所述目标页面的正中央进行展示。
实际应用中,所述交互信息的展示时长也可以预先设置,需要说明的是,上述展示方式仅做示例介绍,对于其他的交互信息的展示方法本公开也并不限定,在此将不再一一展示介绍。
在一种可能的实施方式中,所述采集主播端当前展示的目标页面的音视频数据,可以是基于目标页面对应的处理引擎,采集所述主播端当前展示的目标页面的音视频数据。
所述处理引擎一般是指游戏引擎,所述游戏引擎可以理解为一些已经编写好的可编辑电脑游戏系统或者一些交互式实时图像应用程序的核心组件,所述处理引擎在采集音视频数据时,可以启动对应的线程采集音视频数据。
在一种可能的实施方式中,在展示目标页面对应的页面数据时,可以启动画面渲染线程渲染所述目标页面的视频数据,这里,所述画面渲染线程所渲染的视频数据一般是展示在屏幕上的;而在响应直播指令时,所述控制目标页面对应的处理引擎采集音视频数据时,可以参照如图3所述的方法采集视频数据,包括以下几个步骤:
步骤301、基于画面渲染线程将所述目标页面的视频数据同步渲染到创建的纹理上。
步骤302、启动视频数据采集线程,并基于视频数据采集线程周期性获取所述纹理上的纹理数据,所述纹理数据即为所述视频数据。
具体实施中,所述画面渲染线程和所述视频数据采集线程可以共享纹理标识(Identity document,ID),画面渲染线程在将视频数据渲染到创建的纹理上之后,将创建的纹理ID传输至视频数据采集线程,视频数据采集线程再周期性基于接收到的纹理ID去获取纹理数据。
另外,在展示目标页面对应的页面数据时,还可以启动音频播放线程播放所述目标页面中的音频数据,这里,所述音频数据可以包括游戏音效。而在响应直播指令时,所述控制目标页面对应的处理引擎采集音视频数据时,可以根据如图4所示的方法采集音频数据,包括以下几个步骤:
步骤401、基于所述音频播放线程采集所述目标页面中的音频数据;以及基于所述麦克风采集线程采集除所述主播端发出的声音外的其他声音数据。
这里,所述麦克风采集的其他声音数据可以理解为外界的声音数据,即非执行本公开所提供的方法的电子设备发出的声音,实际应用中,所述麦克风主要用于采集主播端的主播的声音。
步骤402、将所述目标页面中的音频数据和所述其他声音数据进行融合,得到融合声音数据。
这里,由于音频播放线程和麦克风是同时采集的音频数据,因此在将所述音频数据和所述其他声音数据进行融合时,可以基于采集的音频数据对应的时间戳,直接将音频播放线程采集的音频数据和麦克风采集的其他声音数据进行融合,得到融合声音数据。
步骤403、基于音频数据采集线程周期性采集所述融合声音数据。
这里,需要说明的是,音频数据采集线程采集所述融合声音数据的周期与视频数据采集线程采集纹理数据的周期可以相同也可以不同。
基于图3和图4所示的方法,在采集目标页面的音视频数据时,由于是通过目标页面对应的画面渲染线程、视频数据采集线程、音频播放线程、麦克风采集线程、音频数据采集线程进行采集的,因此采集的音视频数据容仅限于目标页面上的音视频数据,对于其他应用的音视频数据,即使展示在直播设备上(这里是指执行本公开所提供的方法的设备),也并不会进行采集。
示例性的,若主播在直播的过程中,收到短信,用户点击短信后,则主播端会展示短信页面,而此时由于短信页面并不属于目标页面,则短信页面并不会被处理引擎采集。
针对步骤102、
在一种可能的实施方式中,所述待屏蔽信息可以包括用户隐私信息,例如用户在支付时,支付界面中可能会包括账号信息,或者用户在输入支付密码,支付密码也属于用户隐私信息;或者,所述待屏蔽信息还可以包括敏感信息,例如敏感词汇、敏感图片等。
在一种可能的实施方式中,在检测所述音视频数据中是否包括待屏蔽信息时,可以通过如下方法中的任意一种:
方法一、检测所述目标页面中的目标按钮是否被触发,若是,则确定所述音视频数据中包括待屏蔽信息。
具体实施中,各个按钮被触发之后,所展示的页面可以是预先设置好的,目标按钮可以是触发之后展示包括待屏蔽信息的按钮,例如可以是支付按钮,在支付按钮被触发之后,可以展示支付界面,支付界面中包括的用户账号信息可以为待屏蔽信息。
方法二、基于预先训练的神经网络,分别对所述处理引擎采集的音频数据和视频数据进行检测,确定所述音视频数据中是否包括待屏蔽信息;所述神经网络为基于包含待屏蔽信息的音视频数据样本训练得到的。
这里,所述对音频数据和视频数据进行检测,是指对音频数据和视频数据中的内容进行检测,例如可以对视频数据中的视频帧进行检测,或者,将所述音频数据转换成文本信息,然后对文本信息进行检测。
针对步骤103、
一种可能的实施方式中,所述对推流的音视频数据进行调整,可以是将推流的音视频数据替换为暂停指令,以使服务器在接收到暂停指令后向所述主播端对应的直播间内的观众端标识对应的观众端推送暂停直播页面。
这里,所述主播端在将推流的音视频数据替换为暂停指令时,主播端可以依然通过处理引擎采集目标页面的音视频数据,但是并不会基于该音视频数据进行推流直播,并实时对音视频数据进行检测,当检测到音视频数据中并不包括待屏蔽信息时,再基于不包括待屏蔽信息的音视频数据进行推流直播。
需要说明的是,对于主播端而言,并不会感知到音视频数据进行调整的过程,即主播端展示的画面,即使包括待屏蔽信息也并不会发生任何变化,但是对于观众端而言,观众端所展示的内容与主播端所展示的内容并不相同,观众端所展示的内容为经调整后的音视频数据,这里,观众端展示的为暂停直播页面。在检测到音视频数据包括待屏蔽信息时,主播端与观众端的展示界面示例性的可以分别如图5a和图5b所示。
在一种可能的实施方式中,在检测到音视频数据中包括待屏蔽信息的情况下,在对推流的音视频数据进行调整时,可以包括以下情况:
(1)、音视频数据中的视频数据包括待屏蔽信息。
在这种情况下,可以直接将音视频数据中的视频数据进行屏蔽,即只根据音视频数据中的音频数据进行推流直播,服务器在只接收到主播端推送的音频数据之后,可以将暂停直播页面和所述音频数据一起推送至观众端,对于观众端而言,仅能播放主播的音频,而并不能展示主播的直播画面。
通过这种方法,可以避免直播画面暂停时,观众离开直播间,通过播放主播的音频,可以增加在直播画面暂停期间,主播与观众之间的互动,提升直播效果。
(2)、音视频数据中的音频数据包括待屏蔽信息。
一种可能的场景中,主播在直播过程中可能说了敏感词汇,因此可能出现这种情况。
实际应用中,在检测到音频数据中包括待屏蔽信息时,可以将音视频数据中的音频数据进行屏蔽,仅根据音视频数据中的视频数据进行推流直播。这样,对于观众端而言,仅能观看到直播画面,而无法听到音频。
在一种可能的实施方式中,在对推流的音视频数据进行调整时,在音视频数据中的视频数据包括待屏蔽信息的情况下,将所述视频数据中的待屏蔽信息进行遮挡处理,然后基于遮挡处理后的视频数据,以及所述处理引擎采集的音频数据进行推流直播。
在另外一种可能的实施方式中,在对推流的音视频数据进行调整时,在音视频数据中的音频数据包括待屏蔽信息的情况下,可以将所述音频数据中的待屏蔽信息对应的语音片段替换为默认语音片段,然后基于替换后的音频数据和处理引擎采集的视频数据进行推流直播。
在音频数据和视频数据均包括待屏蔽信息的情况下,可以结合上述两种实施方式,同时将音频数据进行替换处理,以及将视频数据进行遮挡胡处理,再基于遮挡处理后的视频数据和替换后的音频数据进行推流直播。
示例性的,若遮挡处理前的视频数据对应的视频帧如图5a所示,进行遮挡处理后的视频帧可以如图5c所示。
基于相同的构思,本公开实施例还提供了一种直播监控方法,应用于观众端,参见图6所示,为本公开实施例提供的另外一种直播监控方法的流程图,包括以下几个步骤:
步骤601、响应针对目标直播间的标识信息的触发指令,获取所述目标直播间的标识信息对应的音视频数据。
步骤602、播放获取的所述音视频数据,其中,所述音视频数据为主播端对在所述主播端展示的包括待屏蔽信息的初始音视频数据进行调整后的数据。
这里,所述获取的音视频数据包括以下任意一种:
不包括待屏蔽信息的音频数据、不包括待屏蔽信息的视频数据、暂停直播页面、将待屏蔽信息进行遮挡处理后的音视频数据。
若获取的音视频数据仅有不包括待屏蔽信息的音频数据时,则说明主播端展示的视频数据中包括待屏蔽信息;若获取的音视频数据仅有不包括待屏蔽信息的视频数据,则说采集的主播端的音频数据中包括待屏蔽信息。
本公开实施例提供的直播监控方法,可以在采集到主播端当前展示的目标页面的音视频数据之后,在将音视频数据推送到服务器之前,对音视频数据进行检测,当检测到音视频数据中包括待屏蔽信息的情况下,可以对音视频数据进行调整,并将调整后的音视频数据进行推流直播,所述待屏蔽信息可以包括用户隐私信息,以及其他信息(如敏感信息)等,这样,通过在对音视频数据进行实时监控,可以实现对于主播隐私的保护,提升直播效果。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与直播监控方法对应的直播监控装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述直播监控方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
对应于图1中所示的直播监控方法,参照图7所示,为本公开实施例提供的一种直播监控装置的架构示意图,所述装置包括:采集模块701、检测模块702、处理模块703;其中,
采集模块701,用于响应基于目标页面发起的直播指令,采集主播端当前展示的目标页面的音视频数据;
检测模块702,用于检测所述音视频数据中是否包括待屏蔽信息;
处理模块703,用于在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。
一种可能的实施方式中,所述采集模块701,在采集所述主播端当前展示的目标页面的音视频数据时,用于:
基于所述目标页面对应的处理引擎,采集所述主播端当前展示的所述目标页面的音视频数据。
一种可能的实施方式中,所述检测模块702,在检测所述音视频数据中是否包括待屏蔽信息时,用于:
检测所述目标页面中的目标按钮是否被触发,若是,则确定所述音视频数据中包括待屏蔽信息。
一种可能的实施方式中,所述检测模块702,在检测所述音视频数据中是否包括待屏蔽信息时,用于:
基于预先训练的神经网络,分别对所述处理引擎采集的音频数据和视频数据进行检测,确定所述音视频数据中是否包括待屏蔽信息;所述神经网络为基于包含待屏蔽信息的音视频数据样本训练得到的。
一种可能的实施方式中,所述处理模块703,在对所述音视频数据进行调整时,用于:
将推流的音视频数据替换为暂停指令,以使服务器向所述主播端对应的直播间内的观众端标识对应的观众端推送暂停直播页面。
一种可能的实施方式中,所述处理模块703,在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整时,用于:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述音视频数据中的视频数据进行屏蔽;或者,
在所述音视频数据中的音频数据包括待屏蔽信息的情况下,将所述音视频数据中的音频数据进行屏蔽。
一种可能的实施方式中,所述处理模块703,在对所述音视频数据进行调整时,用于:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述视频数据中的待屏蔽信息进行遮挡处理。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图6所示的直播监控方法,本公开实施例提供了另外一种直播监控装置,参见图8所示,为本公开实施例提供的另外一种直播监控装置的架构示意图,包括获取模块801、播放模块802,具体的:
获取模块801,用于响应针对目标直播间的标识信息的触发指令,获取所述目标直播间的标识信息对应的音视频数据;
播放模块802,用于播放获取的所述音视频数据,其中,所述音视频数据为主播端对在所述主播端展示的包括待屏蔽信息的初始音视频数据进行调整后的数据。
一种可能的实施方式中,所述获取的音视频数据包括以下任意一种:
不包括待屏蔽信息的音频数据、不包括待屏蔽信息的视频数据、暂停直播页面、将待屏蔽信息进行遮挡处理后的音视频数据。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图9所示,为本公开实施例提供的计算机设备900的结构示意图,包括处理器901、存储器902、和总线903。其中,存储器902用于存储执行指令,包括内存9021和外部存储器9022;这里的内存9021也称内存储器,用于暂时存放处理器901中的运算数据,以及与硬盘等外部存储器9022交换的数据,处理器901通过内存9021与外部存储器9022进行数据交换,当计算机设备900运行时,处理器901与存储器902之间通过总线903通信,使得处理器901在执行以下指令:
响应基于目标页面发起的直播指令,采集所述主播端当前展示的目标页面的音视频数据;
检测所述音视频数据中是否包括待屏蔽信息;
在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。
一种可能的实施方式中,处理器901执行的指令中,所述采集所述主播端当前展示的目标页面的音视频数据,包括:
基于所述目标页面对应的处理引擎,采集所述主播端当前展示的所述目标页面的音视频数据。
一种可能的实施方式中,处理器901执行的指令中,所述检测所述音视频数据中是否包括待屏蔽信息,包括:
检测所述目标页面中的目标按钮是否被触发,若是,则确定所述音视频数据中包括待屏蔽信息。
一种可能的实施方式中,处理器901执行的指令中,所述检测所述音视频数据中是否包括待屏蔽信息,包括:
基于预先训练的神经网络,分别对所述处理引擎采集的音频数据和视频数据进行检测,确定所述音视频数据中是否包括待屏蔽信息;所述神经网络为基于包含待屏蔽信息的音视频数据样本训练得到的。
一种可能的实施方式中,处理器901执行的指令中,所述对所述音视频数据进行调整,包括:
将推流的音视频数据替换为暂停指令,以使服务器向所述主播端对应的直播间内的观众端标识对应的观众端推送暂停直播页面。
一种可能的实施方式中,处理器901执行的指令中,所述在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,包括:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述音视频数据中的视频数据进行屏蔽;或者,
在所述音视频数据中的音频数据包括待屏蔽信息的情况下,将所述音视频数据中的音频数据进行屏蔽。
一种可能的实施方式中,处理器901执行的指令中,所述对所述音视频数据进行调整,包括:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述视频数据中的待屏蔽信息进行遮挡处理。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图10所示,为本公开实施例提供的计算机设备1000的结构示意图,包括处理器1001、存储器1002、和总线1003。其中,存储器1002用于存储执行指令,包括内存10021和外部存储器10022;这里的内存10021也称内存储器,用于暂时存放处理器1001中的运算数据,以及与硬盘等外部存储器10022交换的数据,处理器1001通过内存10021与外部存储器10022进行数据交换,当计算机设备1000运行时,处理器1001与存储器1002之间通过总线1003通信,使得处理器1001在执行以下指令:
响应针对目标直播间的标识信息的触发指令,获取所述目标直播间的标识信息对应的音视频数据;
播放获取的所述音视频数据,其中,所述音视频数据为主播端对在所述主播端展示的包括待屏蔽信息的初始音视频数据进行调整后的数据。
一种可能的实施方式中,处理器1001执行的指令中,所述获取的音视频数据包括以下任意一种:
不包括待屏蔽信息的音频数据、不包括待屏蔽信息的视频数据、暂停直播页面、将待屏蔽信息进行遮挡处理后的音视频数据。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的直播监控方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的直播监控方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种直播监控方法,其特征在于,应用于主播端,包括:
响应基于目标页面发起的直播指令,采集所述主播端当前展示的目标页面的音视频数据;
检测所述音视频数据中是否包括待屏蔽信息;
在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。
2.根据权利要求1所述的方法,其特征在于,所述采集所述主播端当前展示的目标页面的音视频数据,包括:
基于所述目标页面对应的处理引擎,采集所述主播端当前展示的所述目标页面的音视频数据。
3.根据权利要求1所述的方法,其特征在于,所述检测所述音视频数据中是否包括待屏蔽信息,包括:
检测所述目标页面中的目标按钮是否被触发,若是,则确定所述音视频数据中包括待屏蔽信息。
4.根据权利要求1所述的方法,其特征在于,所述检测所述音视频数据中是否包括待屏蔽信息,包括:
基于预先训练的神经网络,分别对所述处理引擎采集的音频数据和视频数据进行检测,确定所述音视频数据中是否包括待屏蔽信息;所述神经网络为基于包含待屏蔽信息的音视频数据样本训练得到的。
5.根据权利要求1~3任一所述的方法,其特征在于,所述对所述音视频数据进行调整,包括:
将推流的音视频数据替换为暂停指令,以使服务器向所述主播端对应的直播间内的观众端标识对应的观众端推送暂停直播页面。
6.根据权利要求1~3任一所述的方法,其特征在于,所述在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,包括:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述音视频数据中的视频数据进行屏蔽;或者,
在所述音视频数据中的音频数据包括待屏蔽信息的情况下,将所述音视频数据中的音频数据进行屏蔽。
7.根据权利要求1~3任一所述的方法,其特征在于,所述对所述音视频数据进行调整,包括:
在所述音视频数据中的视频数据包括待屏蔽信息的情况下,将所述视频数据中的待屏蔽信息进行遮挡处理。
8.一种直播监控方法,其特征在于,应用于观众端,包括:
响应针对目标直播间的标识信息的触发指令,获取所述目标直播间的标识信息对应的音视频数据;
播放获取的所述音视频数据,其中,所述音视频数据为主播端对在所述主播端展示的包括待屏蔽信息的初始音视频数据进行调整后的数据。
9.根据权利要求8所述的方法,其特征在于,所述获取的音视频数据包括以下任意一种:
不包括待屏蔽信息的音频数据、不包括待屏蔽信息的视频数据、暂停直播页面、将待屏蔽信息进行遮挡处理后的音视频数据。
10.一种直播监控装置,其特征在于,包括:
采集模块,用于响应基于目标页面发起的直播指令,采集主播端当前展示的目标页面的音视频数据;
检测模块,用于检测所述音视频数据中是否包括待屏蔽信息;
处理模块,用于在检测到所述音视频数据中包括待屏蔽信息的情况下,对所述音视频数据进行调整,并基于调整后的所述音视频数据进行推流直播。
11.一种直播监控装置,其特征在于,包括:
获取模块,用于响应针对目标直播间的标识信息的触发指令,获取所述目标直播间的标识信息对应的音视频数据;
播放模块,用于播放获取的所述音视频数据,其中,所述音视频数据为主播端对在所述主播端展示的包括待屏蔽信息的初始音视频数据进行调整后的数据。
12.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的直播监控方法的步骤,或执行如权利要求8或9任一项所述的直播监控方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一项所述的直播监控方法的步骤,或执行如权利要求8或9任一项所述的直播监控方法的步骤。
CN202110099197.9A 2021-01-25 2021-01-25 一种直播监控方法、装置、计算机设备及存储介质 Pending CN112770172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110099197.9A CN112770172A (zh) 2021-01-25 2021-01-25 一种直播监控方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110099197.9A CN112770172A (zh) 2021-01-25 2021-01-25 一种直播监控方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112770172A true CN112770172A (zh) 2021-05-07

Family

ID=75707254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110099197.9A Pending CN112770172A (zh) 2021-01-25 2021-01-25 一种直播监控方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112770172A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113242441A (zh) * 2021-05-08 2021-08-10 北京有竹居网络技术有限公司 一种直播方法、装置、计算机设备及存储介质
CN114845133A (zh) * 2022-06-30 2022-08-02 南京联迪信息系统股份有限公司 一种用于线上直播的人机交互方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968951A (zh) * 2017-12-06 2018-04-27 任明和 对直播视频进行自动侦测和屏蔽的方法
CN109525851A (zh) * 2018-11-12 2019-03-26 咪咕互动娱乐有限公司 直播方法、装置和存储介质
CN110267106A (zh) * 2019-06-25 2019-09-20 四川长虹电器股份有限公司 实时拦截涉黄音视频的方法、拦截终端、设备及应用
CN110572688A (zh) * 2019-09-05 2019-12-13 广州华多网络科技有限公司 游戏交互方法、服务器、直播系统及计算机存储介质
CN110660032A (zh) * 2019-09-24 2020-01-07 Oppo广东移动通信有限公司 一种对象屏蔽方法、对象屏蔽装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107968951A (zh) * 2017-12-06 2018-04-27 任明和 对直播视频进行自动侦测和屏蔽的方法
CN109525851A (zh) * 2018-11-12 2019-03-26 咪咕互动娱乐有限公司 直播方法、装置和存储介质
CN110267106A (zh) * 2019-06-25 2019-09-20 四川长虹电器股份有限公司 实时拦截涉黄音视频的方法、拦截终端、设备及应用
CN110572688A (zh) * 2019-09-05 2019-12-13 广州华多网络科技有限公司 游戏交互方法、服务器、直播系统及计算机存储介质
CN110660032A (zh) * 2019-09-24 2020-01-07 Oppo广东移动通信有限公司 一种对象屏蔽方法、对象屏蔽装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113242441A (zh) * 2021-05-08 2021-08-10 北京有竹居网络技术有限公司 一种直播方法、装置、计算机设备及存储介质
CN114845133A (zh) * 2022-06-30 2022-08-02 南京联迪信息系统股份有限公司 一种用于线上直播的人机交互方法及系统

Similar Documents

Publication Publication Date Title
US10425679B2 (en) Method and device for displaying information on video image
CN112218103B (zh) 直播间互动方法、装置、电子设备和存储介质
CN109089154B (zh) 一种视频提取方法、装置、设备及介质
CN109089127B (zh) 一种视频拼接方法、装置、设备及介质
CN107911736B (zh) 直播互动方法及系统
CN111970533A (zh) 直播间的互动方法、装置及电子设备
CN104777912B (zh) 一种弹幕展示方法、装置及系统
CN104205854A (zh) 在与第一屏幕上的内容同步的第二屏幕上提供社交消息的显示的方法和系统
CN107635153B (zh) 一种基于影像数据的交互方法及系统
JP2018520450A (ja) 情報処理方法、端末、およびコンピュータ記憶媒体
CN113242441B (zh) 一种直播方法、装置、计算机设备及存储介质
CN110876079B (zh) 视频处理方法、装置和设备
CN107995482B (zh) 视频文件的处理方法和装置
CN112770172A (zh) 一种直播监控方法、装置、计算机设备及存储介质
US20170225077A1 (en) Special video generation system for game play situation
CN114025180A (zh) 一种游戏操作同步系统、方法、装置、设备及存储介质
CN110839175A (zh) 一种基于智能电视的交互方法、存储介质以及智能电视
CN113784180A (zh) 视频显示方法、视频推送方法、装置、设备及存储介质
CN114025185A (zh) 一种视频回放方法、装置、电子设备及存储介质
CN112804551B (zh) 一种直播方法、装置、计算机设备及存储介质
CN113727125B (zh) 直播间的截图方法、装置、系统、介质以及计算机设备
CN110941464A (zh) 一种轻曝光方法、设备、系统及存储介质
CN113938752A (zh) 一种处理方法及装置
CN108156529B (zh) 一种数据展示方法、装置及系统
CN114466208B (zh) 直播记录处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication