CN112055230A - 一种直播监控方法、装置、计算机设备及可读存储介质 - Google Patents

一种直播监控方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN112055230A
CN112055230A CN202010915473.XA CN202010915473A CN112055230A CN 112055230 A CN112055230 A CN 112055230A CN 202010915473 A CN202010915473 A CN 202010915473A CN 112055230 A CN112055230 A CN 112055230A
Authority
CN
China
Prior art keywords
live broadcast
live
video
target
target user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010915473.XA
Other languages
English (en)
Inventor
汪云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongrun Internet Information Technology Co ltd
Original Assignee
Beijing Zhongrun Internet Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongrun Internet Information Technology Co ltd filed Critical Beijing Zhongrun Internet Information Technology Co ltd
Priority to CN202010915473.XA priority Critical patent/CN112055230A/zh
Publication of CN112055230A publication Critical patent/CN112055230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请提供了一种直播监控方法、装置、计算机设备及可读存储介质，包括：获取目标用户在直播过程中的多个视频帧，并创建包括视频帧及每帧视频帧对应时间戳信息的展示列表；将展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出目标视频帧对应的识别标签；基于识别标签，确定识别标签对应目标用户的直播过程是否存在异常。从而，能够实时地对直播过程中的视频帧进行监控，从而更快速及时地监测在直播过程中发生的异常情况，提高对于直播监控的效率。

Description

一种直播监控方法、装置、计算机设备及可读存储介质
技术领域
本申请涉及网络直播技术领域，尤其是涉及一种直播监控方法、装置、计算机设备及可读存储介质。
背景技术
随着网络直播的兴起，网络直播极大地丰富了网络用户的业余生活，但是由于网络直播对于网络用户不存在限制，因此难免存在一些网络用户利用网络直播进行一些非法活动，造成不良影响，因此需要对网络直播内容进行监控，以营造良好的网络直播环境。
目前，对于网络直播的监控往往是依靠人工进行处理，比如，观看直播者进行举报、或是监管人员抽查等，由于人工处理的一系列限制，容易造成一定的监控漏洞，并且对于违规网络直播内容的处理效率较低。
发明内容
有鉴于此，本申请的目的在于提供一种直播监控方法、装置、计算机设备及可读存储介质，实时地对直播过程中的视频帧进行监控，从而更快速及时地监测在直播过程中发生的异常情况，提高对于直播监控的效率。
本申请实施例提供了一种直播监控方法，所述直播监控方法包括：
获取目标用户在直播过程中的多个视频帧，并创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表；
将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签；
基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，所述获取目标用户在直播过程中的多个视频帧，包括：
在直播过程中，基于预设的时间间隔，截取所述视频帧；或者，当检测到预设的截帧触发事件时，截取所述视频帧。
一种可选的实施方式中，直播用户携带有直播平台标识信息；
在获取目标用户在直播过程中的多个视频帧之前，还包括：
基于所述直播用户携带的直播平台标识信息，确定携带有目标直播平台标识信息的直播用户为所述目标用户。
一种可选的实施方式中，通过以下方法对所述图像识别模型进行训练：
构造图像样本；其中，所述图像样本包括：视频图像和所述视频图像对应的特征标签；
将视频图像作为所述图像识别模型的输入，根据所述图像识别模型基于输入的所述视频图像的输出结果和所述视频图像对应的特征标签，训练所述图像识别模型的模型参数，直至所述图像识别模型的损失满足预设条件，得到包括训练好的模型参数的图像识别模型。
一种可选的实施方式中，所述基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常，包括：
基于预设的识别标签与识别等级之间的映射关系，确定所述识别标签对应的识别等级；
基于所述识别等级，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，所述直播监控方法还包括：
存储异常识别标签及对应的目标视频帧，并将所述目标视频帧及对应的异常识别标签发送至所述目标视频帧对应的目标用户。
一种可选的实施方式中，所述直播监控方法还包括：
针对所述目标用户对应的视频数据流执行与所述识别标签对应的处理方案；其中，所述处理方案包括中断视频数据流的上传和/或下发。
本申请实施例还提供了一种直播监控装置，所述监控装置包括：
获取模块，用于获取目标用户在直播过程中的多个视频帧，并创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表；
输入模块，用于将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签；
第一确定模块，用于基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，所述获取模块具体用于：
在直播过程中，基于预设的时间间隔，截取所述视频帧；或者，当检测到预设的截帧触发事件时，截取所述视频帧。
一种可选的实施方式中，直播用户携带有直播平台标识信息；
所述直播监控装置还包括：
第二确定模块，用于基于所述直播用户携带的直播平台标识信息，确定携带有目标直播平台标识信息的直播用户为所述目标用户。
一种可选的实施方式中，所述直播监控装置还包括：训练模块；
所述训练模块具体用于：
构造图像样本；其中，所述图像样本包括：视频图像和所述视频图像对应的特征标签；
将视频图像作为所述图像识别模型的输入，根据所述图像识别模型基于输入的所述视频图像的输出结果和所述视频图像对应的特征标签，训练所述图像识别模型的模型参数，直至所述图像识别模型的损失满足预设条件，得到包括训练好的模型参数的图像识别模型。
一种可选的实施方式中，所述第一确定模块具体用于：
基于预设的识别标签与识别等级之间的映射关系，确定所述识别标签对应的识别等级；
基于所述识别等级，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，所述监控装置还包括：
存储模块，用于存储异常识别标签及对应的目标视频帧，并将所述目标视频帧及对应的异常识别标签发送至所述目标视频帧对应的目标用户。
一种可选的实施方式中，所述监控装置还包括：
执行模块，用于针对所述目标用户对应的视频数据流执行与所述识别标签对应的处理方案；其中，所述处理方案包括中断视频数据流的上传和/或下发。
本申请实施例还提供了还提供了一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述任一种可能的实施方式中的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述任一种可能的实施方式中的步骤。
本申请实施例提供了一种直播监控方法、装置、计算机设备及可读存储介质，包括：获取目标用户在直播过程中的多个视频帧，并创建包括视频帧及每帧视频帧对应时间戳信息的展示列表；将展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出目标视频帧对应的识别标签；基于识别标签，确定识别标签对应目标用户的直播过程是否存在异常。从而，能够实时地对直播过程中的视频帧进行监控，从而更快速及时地监测在直播过程中发生的异常情况，提高对于直播监控的效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种直播监控方法的流程示意图；
图2示出了本申请实施例所提供的一种直播监控装置的结构示意图；
图3示出了本申请实施例所提供的另一种直播监控装置的结构示意图；
图4示出了本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
经研究发现，因为目前，对于网络直播的监控往往是依靠人工进行处理，比如，观看直播者进行举报、或是监管人员抽查等，由于人工处理的一系列限制，容易造成一定的监控漏洞，并且对于违规网络直播内容的处理效率较低。
基于上述研究，本申请实施例提供了一种直播监控方法、装置、计算机设备及可读存储介质，包括：获取目标用户在直播过程中的多个视频帧，并创建包括视频帧及每帧视频帧对应时间戳信息的展示列表；将展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出目标视频帧对应的识别标签；基于识别标签，确定识别标签对应目标用户的直播过程是否存在异常。从而，能够实时地对直播过程中的视频帧进行监控，从而更快速及时地监测在直播过程中发生的异常情况，提高对于直播监控的效率。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种直播监控方法进行详细介绍，本申请实施例所提供的直播监控方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该直播监控方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为终端设备为例对本申请实施例提供的直播监控方法加以说明。
参见图1所示，为本申请实施例提供的直播监控方法的流程图，所述直播监控方法包括步骤S101～S103，其中：
S101：获取目标用户在直播过程中的多个视频帧，并创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表；
S102：将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签；
S103：基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
本申请实施例通过获取目标用户在直播过程中的多个视频帧，并创建包括视频帧及每帧视频帧对应时间戳信息的展示列表；将展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出目标视频帧对应的识别标签；基于识别标签，确定识别标签对应目标用户的直播过程是否存在异常。从而，能够实时地对直播过程中的视频帧进行监控，从而更快速及时地监测在直播过程中发生的异常情况，提高对于直播监控的效率。
下面分别对上述S101～S103加以详细说明。
一、在上述S101中，所述视频帧是在目标用户的直播过程中通过媒体直播服务器截取直播视频获得的。
通常而言，对于直播视频的监控过程，通常是根据获取推流直播端对应的拉流数据，并对直播视频进行展现，然后将所有的直播视频通过拉流视频列表的形式展现在媒体设备上面，并通过媒体设备上的内容观察来判断是否合乎直播内容的合法多样性。但是，由于视频流需要的带宽是很大的，尤其是当推流直播端很多的时候，那么，展现拉流视频列表所需带宽是非常高的，也就是说，如果通过视频拉流方式展现直播内容，当存在上千个直播的情况下，需要一个很庞大的直播带宽来支持直播内容的展现。在上述方法中，一方面，对媒体设备有一定的硬件配置要求，另一方面，加载直播视频消耗的硬件资源较多。此外，由于媒体资源加载数据增多，易导致浏览器或是应用程序崩溃的情况。
鉴于上述问题，本申请实施例提出了一种对于直播过程中实时画面的监控方法，即获取目标用户在直播过程中的多个视频帧，并对视频帧进行监控检测。
具体的，在本申请实施例中，首先需要获取目标用户在直播过程中的多个视频帧。其中，所述获取目标用户在直播过程中的多个视频帧，包括：
在直播过程中，基于预设的时间间隔，截取所述视频帧；或者，当检测到预设的截帧触发事件时，截取所述视频帧。
示例性的，可以设置每三秒、或是其他时间间隔进行一次截帧处理，即推流直播端将直播视频流推流到媒体直播服务器，并通过媒体直播服务器每隔三秒对视频流进行截取获取视频帧，确保实时性。
示例性的，也可以在检测到预设的截帧触发事件时，截取视频帧，例如，当检测到直播过程中存在较大波动时，例如观看人数剧增、弹幕量剧增等，此时，可以猜测存在一些异常情况的发生，此时可以截取视频帧，以监控该直播过程是否存在异常。
此外，由于网络上存在很多直播平台，为了方便管理，需要确定直播用户的平台归属，针对一个平台，只需处理属于该平台的用户直播视频。因此，直播用户携带有直播平台标识信息，例如A平台、B直播等。
基于直播用户携带有直播平台标识信息，在获取目标用户在直播过程中的多个视频帧之前，还包括：
基于所述直播用户携带的直播平台标识信息，确定携带有目标直播平台标识信息的直播用户为所述目标用户。
具体的，由于不同直播平台通常会有很多直播推流直播端设备，因此，需要一个统一的信息管理，可以将自身平台的推流信息管理起来，以方便后续具体查询到某个直播设备或者用户。
示例性的，X用户携带有A平台的直播平台标识信息，A平台检测到X用户携带有A平台的直播平台标识信息，则确定A用户为所述目标用户，反之，则不能够对该用户进行监控。
在一个实施例中，在获取目标用户在直播过程中的多个视频帧之后，基于获取的视频帧，创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表。
其中，具体的创建方法包括：存储实时视频帧，并且存储的地址需要相同，这样可以保证视频帧是实时最新的。此外，实时画面图的列表展现的形式，可以给客服或者运营人员更好、更直观的展现形式，相对而言，画面列表的展现形式与视频流展现的形式相比，其可控性和易使用性较高。
二、在上述S102中，在确定展示列表之后，将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签。
其中，通过以下方法对所述图像识别模型进行训练：
构造图像样本；其中，所述图像样本包括：视频图像和所述视频图像对应的特征标签；
将视频图像作为所述图像识别模型的输入，根据所述图像识别模型基于输入的所述视频图像的输出结果和所述视频图像对应的特征标签，训练所述图像识别模型的模型参数，直至所述图像识别模型的损失满足预设条件，得到包括训练好的模型参数的图像识别模型。
示例性的，选取多帧视频图像，并标注其对应的特征标签，例如：暴力、血腥等，并将该视频图像及特征标签输入至待训练的图像识别模型中，并根据所述图像识别模型基于输入的所述视频图像的输出结果和所述视频图像对应的特征标签，训练所述图像识别模型的模型参数，直至所述图像识别模型的损失满足预设条件，得到包括训练好的模型参数的图像识别模型。
三、在上述S103中，基于所述图像识别模型输出的识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
具体的，可以基于预设的识别标签与识别等级之间的映射关系，确定所述识别标签对应的识别等级；
基于所述识别等级，确定所述识别标签对应目标用户的直播过程是否存在异常。
示例性的，识别标签与识别等级之间的映射关系可以包括不同标签对应不同的预警等级，例如暴力标签为二级预警、血腥标签为一级预警。或是确定不同的颜色预警，例如橙色预警、红色预警等，在此不做限定。通过不同的识别等级，可以更迅速地定位到某个主播违反了平台或者法律法规要求。
在确定识别等级之后，便可以基于识别的等级确定所述识别标签对应目标用户的直播过程是否存在异常。
在确定所述识别标签对应目标用户的直播过程是否存在异常之后，所述直播监控方法还包括：
存储异常识别标签及对应的目标视频帧，并将所述目标视频帧及对应的异常识别标签发送至所述目标视频帧对应的目标用户，这样可以为后续的争辩过程提供证据。
此外，所述直播监控方法还包括：
针对所述目标用户对应的视频数据流执行与所述识别标签对应的处理方案；其中，所述处理方案包括中断视频数据流的上传和/或下发。
示例性的，所述处理方案可以是自动化处理或者人工处理该目标用户对应的直播推流以及其它的相关推流信息(包括封禁直播间，所得不当利益合法处理等)。即当检测出一些不符合法律法规内容(涉黄，涉政，涉爆)的直播内容之后，可以通过运营或者自动化设置，将该目标用户的直播推流关闭，或者将该直播房间关闭，并予以一定惩戒。
此外，由于本申请实施例中，可以自动监控并进行对应处理，可以减少一定的人力资源成本，并且减少监控过程中所需带宽成本。
本申请实施例中，保证了获取直播视频帧的实时性，而且通过画面列表的展现形式，其所需的带宽和设备资源占用量较少，并且，在可以通过三方服务的对直播视频帧进行鉴别，即对直播内容进行合法多样性鉴别，判断其是否违反法律法规。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本申请实施例中还提供了与直播监控方法对应的直播监控装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述直播监控方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图2、图3所示，图2为本申请实施例所提供的一种直播监控装置的示意图，图3为本申请实施例所提供的另一种直播监控装置的示意图。所述监控装置包括：获取模块210、输入模块220以及第一确定模块230；
获取模块210，用于获取目标用户在直播过程中的多个视频帧，并创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表；
输入模块220，用于将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签；
第一确定模块230，用于基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，所述获取模块210具体用于：
在直播过程中，基于预设的时间间隔，截取所述视频帧；或者，当检测到预设的截帧触发事件时，截取所述视频帧。
一种可选的实施方式中，直播用户携带有直播平台标识信息；
如图3所示，所述直播监控装置还包括：
第二确定模块240，用于基于所述直播用户携带的直播平台标识信息，确定携带有目标直播平台标识信息的直播用户为所述目标用户。
一种可选的实施方式中，所述直播监控装置还包括：训练模块250；
所述训练模块250具体用于：
构造图像样本；其中，所述图像样本包括：视频图像和所述视频图像对应的特征标签；
将视频图像作为所述图像识别模型的输入，根据所述图像识别模型基于输入的所述视频图像的输出结果和所述视频图像对应的特征标签，训练所述图像识别模型的模型参数，直至所述图像识别模型的损失满足预设条件，得到包括训练好的模型参数的图像识别模型。
一种可选的实施方式中，所述第一确定模块230具体用于：
基于预设的识别标签与识别等级之间的映射关系，确定所述识别标签对应的识别等级；
基于所述识别等级，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，所述监控装置还包括：
存储模块260，用于存储异常识别标签及对应的目标视频帧，并将所述目标视频帧及对应的异常识别标签发送至所述目标视频帧对应的目标用户。
一种可选的实施方式中，所述监控装置还包括：
执行模块270，用于针对所述目标用户对应的视频数据流执行与所述识别标签对应的处理方案；其中，所述处理方案包括中断视频数据流的上传和/或下发。
本申请实施例通过获取目标用户在直播过程中的多个视频帧，并创建包括视频帧及每帧视频帧对应时间戳信息的展示列表；将展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出目标视频帧对应的识别标签；基于识别标签，确定识别标签对应目标用户的直播过程是否存在异常。从而，能够实时地对直播过程中的视频帧进行监控，从而更快速及时地监测在直播过程中发生的异常情况，提高对于直播监控的效率。
本申请实施例还提供了一种计算机设备，如图4所示，为本申请实施例提供的计算机设备结构示意图，所述计算机设备10包括：
处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当计算机设备10运行时，所述机器可读指令被所述处理器11执行以实现下述步骤：
获取目标用户在直播过程中的多个视频帧，并创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表；
将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签；
基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，处理器11执行的指令中，所述获取目标用户在直播过程中的多个视频帧，包括：
在直播过程中，基于预设的时间间隔，截取所述视频帧；或者，当检测到预设的截帧触发事件时，截取所述视频帧。
一种可选的实施方式中，处理器11执行的指令中，直播用户携带有直播平台标识信息；
在获取目标用户在直播过程中的多个视频帧之前，还包括：
基于所述直播用户携带的直播平台标识信息，确定携带有目标直播平台标识信息的直播用户为所述目标用户。
一种可选的实施方式中，处理器11执行的指令中，通过以下方法对所述图像识别模型进行训练：
构造图像样本；其中，所述图像样本包括：视频图像和所述视频图像对应的特征标签；
将视频图像作为所述图像识别模型的输入，根据所述图像识别模型基于输入的所述视频图像的输出结果和所述视频图像对应的特征标签，训练所述图像识别模型的模型参数，直至所述图像识别模型的损失满足预设条件，得到包括训练好的模型参数的图像识别模型。
一种可选的实施方式中，处理器11执行的指令中，所述基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常，包括：
基于预设的识别标签与识别等级之间的映射关系，确定所述识别标签对应的识别等级；
基于所述识别等级，确定所述识别标签对应目标用户的直播过程是否存在异常。
一种可选的实施方式中，处理器11执行的指令中，所述直播监控方法还包括：
存储异常识别标签及对应的目标视频帧，并将所述目标视频帧及对应的异常识别标签发送至所述目标视频帧对应的目标用户。
一种可选的实施方式中，处理器11执行的指令中，所述直播监控方法还包括：
针对所述目标用户对应的视频数据流执行与所述识别标签对应的处理方案；其中，所述处理方案包括中断视频数据流的上传和/或下发。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的直播监控方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本申请实施例所提供的直播监控方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的直播监控方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本申请实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种直播监控方法，其特征在于，所述直播监控方法包括：
获取目标用户在直播过程中的多个视频帧，并创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表；
将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签；
基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
2.根据权利要求1所述的直播监控方法，其特征在于，所述获取目标用户在直播过程中的多个视频帧，包括：
在直播过程中，基于预设的时间间隔，截取所述视频帧；或者，
当检测到预设的截帧触发事件时，截取所述视频帧。
3.根据权利要求1所述的直播监控方法，其特征在于，直播用户携带有直播平台标识信息；
在获取目标用户在直播过程中的多个视频帧之前，还包括：
基于所述直播用户携带的直播平台标识信息，确定携带有目标直播平台标识信息的直播用户为所述目标用户。
4.根据权利要求1所述的直播监控方法，其特征在于，通过以下方法对所述图像识别模型进行训练：
构造图像样本；其中，所述图像样本包括：视频图像和所述视频图像对应的特征标签；
将视频图像作为所述图像识别模型的输入，根据所述图像识别模型基于输入的所述视频图像的输出结果和所述视频图像对应的特征标签，训练所述图像识别模型的模型参数，直至所述图像识别模型的损失满足预设条件，得到包括训练好的模型参数的图像识别模型。
5.根据权利要求1所述的直播监控方法，其特征在于，所述基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常，包括：
基于预设的识别标签与识别等级之间的映射关系，确定所述识别标签对应的识别等级；
基于所述识别等级，确定所述识别标签对应目标用户的直播过程是否存在异常。
6.根据权利要求5所述的直播监控方法，其特征在于，所述直播监控方法还包括：
存储异常识别标签及对应的目标视频帧，并将所述目标视频帧及对应的异常识别标签发送至所述目标视频帧对应的目标用户。
7.根据权利要求1所述的直播监控方法，其特征在于，所述直播监控方法还包括：
针对所述目标用户对应的视频数据流执行与所述识别标签对应的处理方案；其中，所述处理方案包括中断视频数据流的上传和/或下发。
8.一种直播监控装置，其特征在于，所述监控装置包括：
获取模块，用于获取目标用户在直播过程中的多个视频帧，并创建包括所述视频帧及每帧视频帧对应时间戳信息的展示列表；
输入模块，用于将所述展示列表中、具有距离当前时间戳最近时间戳信息的目标视频帧输入至预先训练好的图像识别模型中，输出所述目标视频帧对应的识别标签；
第一确定模块，用于基于所述识别标签，确定所述识别标签对应目标用户的直播过程是否存在异常。
9.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的直播监控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任一项所述的直播监控方法的步骤。
CN202010915473.XA 2020-09-03 2020-09-03 一种直播监控方法、装置、计算机设备及可读存储介质 Pending CN112055230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010915473.XA CN112055230A (zh) 2020-09-03 2020-09-03 一种直播监控方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010915473.XA CN112055230A (zh) 2020-09-03 2020-09-03 一种直播监控方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN112055230A true CN112055230A (zh) 2020-12-08

Family

ID=73608459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010915473.XA Pending CN112055230A (zh) 2020-09-03 2020-09-03 一种直播监控方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112055230A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438503A (zh) * 2021-05-28 2021-09-24 曙光网络科技有限公司 视频文件还原方法、装置、计算机设备和存储介质
CN113573043A (zh) * 2021-01-18 2021-10-29 腾讯科技（深圳）有限公司 视频噪点识别方法、存储介质及设备
CN113609956A (zh) * 2021-07-30 2021-11-05 北京百度网讯科技有限公司 训练方法、识别方法、装置、电子设备以及存储介质
CN113987267A (zh) * 2021-10-28 2022-01-28 上海数禾信息科技有限公司 视频文件的标签生成方法、装置、计算机设备和存储介质
CN114302157A (zh) * 2021-12-23 2022-04-08 广州津虹网络传媒有限公司 属性标签识别、代播事件检测方法及其装置、设备、介质
CN114745558A (zh) * 2021-01-07 2022-07-12 北京字节跳动网络技术有限公司 直播监控方法、装置、系统、设备及介质
CN115134617A (zh) * 2022-06-16 2022-09-30 招商银行股份有限公司 直播质检系统、方法、Web服务器及存储介质
CN116128453A (zh) * 2023-02-18 2023-05-16 广州市点易资讯科技有限公司 一种线上课程巡检方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872773A (zh) * 2016-06-01 2016-08-17 北京奇虎科技有限公司 视频直播的监控方法及监控装置
CN105915953A (zh) * 2016-06-12 2016-08-31 腾讯科技（深圳）有限公司 直播视频鉴别的方法、装置和系统
CN107682719A (zh) * 2017-09-05 2018-02-09 广州数沃信息科技有限公司 一种直播内容健康度的监测评估方法及装置
CN108965916A (zh) * 2017-05-25 2018-12-07 腾讯科技（深圳）有限公司 一种直播视频评估的方法、模型建立的方法、装置及设备
CN109657597A (zh) * 2018-12-13 2019-04-19 南京邮电大学 面向个体直播场景的异常行为检测方法
US20190342524A1 (en) * 2018-05-02 2019-11-07 Raymond Anthony Joao Visual and/or video monitoring apparatus and methods
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质
CN111225234A (zh) * 2019-12-23 2020-06-02 广州市百果园信息技术有限公司 视频审核方法、视频审核装置、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872773A (zh) * 2016-06-01 2016-08-17 北京奇虎科技有限公司 视频直播的监控方法及监控装置
CN105915953A (zh) * 2016-06-12 2016-08-31 腾讯科技（深圳）有限公司 直播视频鉴别的方法、装置和系统
CN108965916A (zh) * 2017-05-25 2018-12-07 腾讯科技（深圳）有限公司 一种直播视频评估的方法、模型建立的方法、装置及设备
CN107682719A (zh) * 2017-09-05 2018-02-09 广州数沃信息科技有限公司 一种直播内容健康度的监测评估方法及装置
US20190342524A1 (en) * 2018-05-02 2019-11-07 Raymond Anthony Joao Visual and/or video monitoring apparatus and methods
CN109657597A (zh) * 2018-12-13 2019-04-19 南京邮电大学 面向个体直播场景的异常行为检测方法
CN111225234A (zh) * 2019-12-23 2020-06-02 广州市百果园信息技术有限公司 视频审核方法、视频审核装置、设备和存储介质
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745558A (zh) * 2021-01-07 2022-07-12 北京字节跳动网络技术有限公司 直播监控方法、装置、系统、设备及介质
CN114745558B (zh) * 2021-01-07 2024-04-09 北京字节跳动网络技术有限公司 直播监控方法、装置、系统、设备及介质
CN113573043A (zh) * 2021-01-18 2021-10-29 腾讯科技（深圳）有限公司 视频噪点识别方法、存储介质及设备
CN113573043B (zh) * 2021-01-18 2022-11-08 腾讯科技（深圳）有限公司 视频噪点识别方法、存储介质及设备
CN113438503A (zh) * 2021-05-28 2021-09-24 曙光网络科技有限公司 视频文件还原方法、装置、计算机设备和存储介质
CN113609956A (zh) * 2021-07-30 2021-11-05 北京百度网讯科技有限公司 训练方法、识别方法、装置、电子设备以及存储介质
CN113609956B (zh) * 2021-07-30 2024-05-17 北京百度网讯科技有限公司 训练方法、识别方法、装置、电子设备以及存储介质
CN113987267A (zh) * 2021-10-28 2022-01-28 上海数禾信息科技有限公司 视频文件的标签生成方法、装置、计算机设备和存储介质
CN114302157B (zh) * 2021-12-23 2023-11-17 广州津虹网络传媒有限公司 属性标签识别、代播事件检测方法及其装置、设备、介质
CN114302157A (zh) * 2021-12-23 2022-04-08 广州津虹网络传媒有限公司 属性标签识别、代播事件检测方法及其装置、设备、介质
CN115134617A (zh) * 2022-06-16 2022-09-30 招商银行股份有限公司 直播质检系统、方法、Web服务器及存储介质
CN115134617B (zh) * 2022-06-16 2024-04-26 招商银行股份有限公司 直播质检系统、方法、Web服务器及存储介质
CN116128453A (zh) * 2023-02-18 2023-05-16 广州市点易资讯科技有限公司 一种线上课程巡检方法、系统、设备及介质
CN116128453B (zh) * 2023-02-18 2024-05-03 广州市点易资讯科技有限公司 一种线上课程巡检方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN112055230A (zh) 一种直播监控方法、装置、计算机设备及可读存储介质
CN107566358B (zh) 一种风险预警提示方法、装置、介质及设备
CN109669795B (zh) 崩溃信息处理方法及装置
CN108427633B (zh) 显示界面的处理方法及装置
CN109584518A (zh) 机房设备故障告警方法、装置及存储介质
CN108090359B (zh) 一种应用程序监测方法及应用服务器
KR101496632B1 (ko) 안심 콘텐츠 서비스를 위한 시스템 및 이를 위한 방법
CN104253714B (zh) 监控方法、系统、浏览器及服务器
CN107509119B (zh) 一种监控报警方法与装置
CN104346569A (zh) 移动终端中恶意广告的识别方法、装置和移动终端
US10068352B2 (en) Determining visibility of rendered content
WO2018216000A1 (en) A system and method for on-premise cyber training
CN105681257B (zh) 一种基于即时通信交互平台的信息举报方法、装置、设备、系统及计算机存储介质
CN111126928A (zh) 对发布内容审核的方法和装置
CN110177143B (zh) 资讯更新的通知方法、装置、服务器及可读介质
CN113676497A (zh) 数据阻断的方法和装置、电子设备和存储介质
CN109918048A (zh) 目标对象提取方法、装置、系统及计算机可读存储介质
CN102547786A (zh) 车载设备3g流量分析方法和装置
CN115934179B (zh) 业务功能控制方法及设备
CN105243315B (zh) 用于单一型图片验证码输入的方法、装置及系统
CN107888772B (zh) 一种确定配置信息的方法、装置及存储介质
CN112988443B (zh) 业务异常的处理方法及装置
CN115223076A (zh) 行为告警方法、装置、设备及存储介质
CN113014435B (zh) 链路探测方法、装置、电子设备及存储介质
CN114283349A (zh) 一种数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201208

RJ01 Rejection of invention patent application after publication