CN113765895B - 一种直播间的审核方法及装置 - Google Patents

一种直播间的审核方法及装置 Download PDF

Info

Publication number
CN113765895B
CN113765895B CN202110933978.3A CN202110933978A CN113765895B CN 113765895 B CN113765895 B CN 113765895B CN 202110933978 A CN202110933978 A CN 202110933978A CN 113765895 B CN113765895 B CN 113765895B
Authority
CN
China
Prior art keywords
live broadcast
target
room
data
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110933978.3A
Other languages
English (en)
Other versions
CN113765895A (zh
Inventor
刘红林
冯沫芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110933978.3A priority Critical patent/CN113765895B/zh
Publication of CN113765895A publication Critical patent/CN113765895A/zh
Application granted granted Critical
Publication of CN113765895B publication Critical patent/CN113765895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种直播间的审核方法及装置，包括：获取目标直播间的历史直播数据；将历史直播数据输入预先训练得到的安全预测模型中，得到目标直播间在目标直播时刻的安全等级，安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定目标直播间的安全等级；根据安全等级，确定目标直播间的审核优先级，以对目标直播间基于审核优先级进行审核。本发明中，审核人员可以根据审核优先级快速的确定安全等级较低、发生违规行为的概率较高的目标直播间，使得审核人员针对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而减少人工审核空窗期内的漏检率，提升人工审核的效率和准确性。

Description

一种直播间的审核方法及装置
技术领域
本发明涉及信息监测技术领域，特别是涉及一种直播间的审核方法及装置。
背景技术
随着直播领域越来越火爆，参与到直播行业的主播越来越多，直播的受众也越来越广泛，因此，直播的规范性越也来越重要，对直播间的监控审核成为直播审核系统的重点内容之一。
目前，对于直播间的监控审核，直播平台主要通过审核人员对直播内容进行人工审核，即审核人员需要实时的对直播间播放的内容进行监控和审核，并根据直播平台的相关规则，确定主播是否在直播过程中产生了不良的、违反直播平台相关规定的行为，或传播了不良的内容，从而及时采取必要的措施，实现对直播间的监控审核。
但是，在现有技术中，由于人的精力有限，审核过程中往往存在未被监控的空窗期，导致直播间在审核空窗期内发生漏检，因而存在检测准确率较低的问题。
发明内容
本发明实施例的目的在于提供一种直播间的审核方法及装置，以解决现有技术中对直播间进行监控时，由于人工审核存在审核空窗期而导致直播间监控的检测准确率较低的问题。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种直播间的审核方法，所述方法包括：
获取目标直播间的历史直播数据，所述历史直播数据包括在目标直播时刻及之前预设时间范围内，所述目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；
将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级，所述安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定所述目标直播间的安全等级；
根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核。
在本发明实施的第二方面，还提供了一种直播间的审核装置，所述装置包括：
获取模块，用于获取目标直播间的历史直播数据，所述历史直播数据包括在目标直播时刻及之前预设时间范围内，所述目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；
第一生成模块，用于将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级，所述安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定所述目标直播间的安全等级；
确定模块，用于根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核。
在本发明实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，和所述存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，执行上述任一项所述的直播间的审核方法。
在本发明实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述的直播间的审核方法。
相对于现有技术，本发明所述的一种直播间的审核方法及装置具有以下优势：
本发明实施例提供的一种直播间的审核方法及装置，包括：获取目标直播间的历史直播数据，历史直播数据包括在目标直播时刻及之前预设时间范围内，目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；将历史直播数据输入预先训练得到的安全预测模型中，得到目标直播间在目标直播时刻的安全等级，安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定目标直播间的安全等级；根据安全等级，确定目标直播间的审核优先级，以对目标直播间基于审核优先级进行审核。本发明实施例中，可以根据目标直播间的历史直播数据，确定目标直播间的安全等级，进而根据安全等级确定目标直播间的审核优先级，从而可以帮助审核人员根据审核优先级快速的确定安全等级较低、发生违规行为的概率较高的目标直播间，使得审核人员针对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而减少人工审核空窗期内的漏检率，提升人工审核的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中一种直播间的审核方法的步骤流程图；
图2为本发明实施例中一种直播间的审核方法的具体步骤流程图；
图3为本发明实施例中一种正态分布的示意图；
图4为本发明实施例中一种直播间的审核装置的结构框图；
图5为本发明实施例中一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
参照图1，示出了本发明实施例所述的一种直播间的审核方法的步骤流程图。
步骤101，获取目标直播间的历史直播数据。
在该步骤中，可以首先获取目标直播间的历史直播数据，由于主播在目标直播间中进行直播的过程中，会产生与观众的互动数据，观众的反馈数据，以及主播的直播属性数据等，因此，可以统计不同时间段内，不同维度的历史直播数据。
其中，所述历史直播数据可以包括在目标直播时刻及之前预设时间范围内，目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据，表1为目标直播间的历史直播数据统计表，如表1所列，所述主播与观众之间互动产生的数据可以包括：观众在目标直播时刻及历史10分钟、历史1小时、历史1天或历史7天内在直播间中打出的弹幕的数量(弹幕数量)、打出弹幕的观众的数量(弹幕用户量)、观众对主播进行打赏的数量(打赏数量)、打赏金额、打赏的观众的数量(打赏用户量)、观众对主播进行举报的数量(举报数量)、举报类型、最新关注主播的观众的数量(关注量)、取消关注主播的观众的数量(取关量)等，主播在直播过程中产生的数据可以包括：主播在目标直播时刻及历史10分钟、历史1小时、历史1天或历史7天内的直播次数、直播时长和粉丝量等。
Figure BDA0003211563410000041
Figure BDA0003211563410000051
表1
步骤102，将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级。
在该步骤中，由于不同直播间在直播的过程中，可能由于主播的直播内容、或者主播在直播过程中行为或言论不同，对应产生的历史直播数据也会发生变化，例如，若主播在直播过程中发生了不符合平台规定或法律道德制约的言论时，该直播间在该时间段内产生的历史直播数据较会发生较大的变化，如取关量增加、关注量降低、举报数量增加、弹幕数量和弹幕用户量增加、打赏数量和打赏金额下降等。
因此，目标直播间的历史直播数据与目标直播间中主播产生违反平台规定的行为的可能性(即目标直播间的安全等级)具有关联性。
进而，可以通过具有样本训练集，即具有安全等级标注的样本直播间，以及样本直播间的样本历史直播数据通过机器学习，训练安全预测模型，从而总结出直播间的历史直播数据和直播间的安全等级之间的关联性，使得直播平台中多个直播间在进行直播时，可以根据每一个直播间的历史直播数据，确定每一个直播间产生违规行为的可能性。并为产生违规行为的可能性较大的直播间设置较低的安全等级，为产生违规行为的可能性较小的直播间设置较高的安全等级。无需审核人员实时的对全部的直播间的直播过程均进行监控和审核，而仅对安全等级较低的直播间进行人工监控和审核，以确定该直播间内是否确实产生了违规内容。
其中，所述安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定目标直播间的安全等级。
此外，除获取历史直播数据之外，还可以获取目标直播间的直播间属性特征或主播属性特征，例如，目标直播间的建立时长、主播的年龄、性别等，结合目标直播间的直播间属性特征或主播属性，预测目标直播间的安全等级。
步骤103，根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核。
在该步骤中，可以在确定了目标直播间的安全等级之后，进一步根据安全等级，确定目标直播间的审核优先级。
具体的，由于安全等级较低的目标直播间中产生违规行为的概率较大，安全等级较高的目标直播间中产生违规行为的概率较小，因此，可以为安全等级较低的目标直播间设置较高的审核优先级，以供审核人员优先审核这些目标直播间，为安全等级较高的目标直播间设置较低的审核优先级，以供审核人员在审核完审核优先级较高的目标直播间之后，再审核优先级较低的目标直播间。
具体的，可以将目标直播间的安全等级和审核优先级发送至审核系统，以供审核人员通过审核系统获取目标直播间的审核优先级，从而根据审核优先级快速的确定安全等级较低、发生违规行为的概率较高的目标直播间，使得审核人员针对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而减少人工审核空窗期内的漏检率，提升人工审核的效率和准确性。
综上所述，本发明实施例提供的一种直播间的审核方法，包括：获取目标直播间的历史直播数据，历史直播数据包括在目标直播时刻及之前预设时间范围内，目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；将历史直播数据输入预先训练得到的安全预测模型中，得到目标直播间在目标直播时刻的安全等级，安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定目标直播间的安全等级；根据安全等级，确定目标直播间的审核优先级，以对目标直播间基于审核优先级进行审核。本发明实施例中，可以根据目标直播间的历史直播数据，确定目标直播间的安全等级，进而根据安全等级确定目标直播间的审核优先级，从而可以帮助审核人员根据审核优先级快速的确定安全等级较低、发生违规行为的概率较高的目标直播间，使得审核人员针对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而减少人工审核空窗期内的漏检率，提升人工审核的效率和准确性。
参照图2，示出了本发明实施例所述的一种直播间的审核方法的具体步骤流程图。
步骤201，获取样本直播间的样本历史直播数据和样本历史违规数据。
在本发明实施例中，可以通过步骤201至203训练并得到安全预测模型。
在该步骤中，首先可以对安全等级模型进行预训练，以获取能够用于确定目标直播间的安全等级的安全等级模型。
具体的，首先可以获取用于训练安全等级模型的样本训练集，所述样本训练集中包括样本直播间，以及样本直播间的样本历史直播数据，同时为了完成对样本直播间的安全等级的标注，还可以获取样本直播间的样本历史违规数据。
步骤202，根据所述样本直播间的样本历史违规数据和预设的安全等级判断规则，标注所述样本直播间的安全等级，所述样本历史违规数据包括：所述样本直播间在当前直播时刻之后的预设时长内产生的违规数据。
在该步骤中，可以根据样本直播间的样本历史违规数据和预设的安全等级判断准则，为样本直播间进行安全等级标注。
其中，样本直播间的样本历史违规数据可以包括样本直播间在不同时间段内发生违规的次数和严重程度，其至少可以包括样本直播间在当前直播时刻之后的预设时长内产生的违规数据，具体的，若确定预设时长为三分钟，则样本直播间的样本历史违规数据至少包括以该当前直播时刻为基准，当前直播时刻之后三分钟内产生的违规数据，从而可以在样本直播间的直播过程中，实时收集其样本历史违规数据，从而根据样本历史违规数据更新样本直播间的安全等级标注。
此外，样本直播间的样本历史违规数据还可以包括本场次直播的违规数据和该预设直播时刻之前7天内的违规数据，以及样本直播间的样本历史违规数据还可以包括样本直播间在30天内的直播次数。
此外，也可以在样本直播间完成某一场次直播过程之后，将直播过程中的某一时间点作为预设直播时刻，以根据预设直播时刻确定样本历史违规数据，具体的，可以首先确定样本直播间在某一场次直播过程中的某一时间点，将其作为预设直播时刻，例如，某一场次直播开始后的第十分钟。若确定预设时长为三分钟，则样本直播间的样本历史违规数据至少包括以该预设直播时刻为基准，预设直播时刻之后三分钟内产生的违规数据。
进一步的，在获取的样本直播间的样本历史违规数据之后，可以结合预先设定的安全等级判断准则，对样本直播间的安全等级进行标注。
例如，表2示出了预设的一种安全等级判断准则，如表2所列，可以将直播间的安全等级分为1-5五种等级，其中，安全等级为5的直播间对应的历史违规数据可以为：在未来3分钟内的违规数据为无任何违规、在本场次内的违规数据为无任何违规、在历史7天内的违规数据为无任何违规，同时，在30天内的直播次数高于10场；安全等级为4的直播间对应的历史违规数据可以为：在未来3分钟内的违规数据为无任何违规、在本场次内的违规数据为无任何违规、在历史7天内的违规数据为无任何违规，同时，在30天内的直播次数低于10场；安全等级为3的直播间对应的历史违规数据可以为：在未来3分钟内的违规数据为无任何违规、在本场次内的违规数据为无任何违规，同时，在历史7天内的违规数据为存在普通违规；安全等级为2的直播间对应的历史违规数据可以为：在未来3分钟内的违规数据为存在普通违规，或在本场次内的违规数据为存在普通违规，或在历史7天内的违规数据为存在严重违规；安全等级为1的直播间对应的历史违规数据可以为：在未来3分钟内的违规数据为存在严重违规、在本场次内的违规数据为存在严重违规，同时，在历史7天内的违规数据为存在严重违规。从而在获取到样本直播间的样本历史违规数据之后，可以通过查询表2所示的安全等级判断准则，确定样本直播间的样本直播间的安全等级。
此外，在样本直播间的样本历史违规数据包括未来3分钟内的违规数据、本场次内的违规数据和历史7天内的违规数据的情况下，可以在获取到样本直播间的样本历史违规数据之后，逐个根据样本历史违规数据判断样本直播间到的安全等级，例如，可以首先判断样本直播间的历史7天内的违规数据，若样本直播间在历史7天内的违规数据为无任何违规，则可以直接判断该样本直播间的安全等级为5；若样本直播间在历史7天内的违规数据为存在严重违规，则可以直接判断该样本直播间的安全等级为1；若样本直播间在历史7天内的违规数据为存在普通违规，则可以进一步判断样本直播间的本场次内的违规数据。若样本直播间在本场次内的违规数据为无任何违规，则可以直接判断该样本直播间的安全等级为4；若样本直播间在本场次内的违规数据为存在普通违规，则可以进一步判断样本直播间的未来3分钟内的违规数据。若样本直播间在未来3分钟内的违规数据为无任何违规，则可以判断该样本直播间的安全等级为3，若样本直播间在未来3分钟内的违规数据为存在普通违规，则可以判断该样本直播间的安全等级为2。
Figure BDA0003211563410000091
表2
步骤203，根据所述样本直播间的安全等级和所述样本历史直播数据，对机器学习模型进行训练，得到所述安全预测模型。
在该步骤中，在对样本直播间进行安全等级的标注之后，可以根据样本直播间的安全等级和样本历史直播数据，对机器学习模型进行训练，得到用于进行直播间安全等级预测的安全预测模型。
其中，机器学习的目的是使计算机具有人类的学习能力，因此，机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，具体可以采用机器学习模型完成机器学习的过程。
常用的机器学习模型包括线性模型、决策树模型和神经网络模型等。其中，线性模型是最基本的机器学习模型，可以挖掘特征之间的线性组合关系，例如，针对直播间的安全等级的预测，可以建立直播间的安全等级与直播间的历史直播数据之间的线性关系。决策树模型可以看作一个多层if-else函数，对对象属性进行多层if-else判断，从而获取目标属性的最终的类别，例如，针对直播间的安全等级的预测，可以根据预先设置的具有多层次的决策树，将需要判断安全等级的直播间的历史直播数据输入决策树中，经过多次判断，确定该直播间的历史直播数据位于决策树中的节点，将该节点对应的安全等级确定为该直播间的安全等级。神经网络模型是一类典型的非线性模型，其原理仿照生物神经网络，可以包括全连接神经网络模型、卷积神经网络模型和循环神经网络模型等。
在本发明实施例中，由于历史直播数据中存在大量的数值型连续数据，因此，可以采取梯度提升决策树(Gradient Boosting Decision Tree，GBDT)算法，使用开源的决策树迭代框架(Gradient Boosting Decision Tree，LightGBM)训练得到安全预测模型。GBDT可以通过多轮迭代，每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练，对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。
需要说明的是，由于直播间在直播过程中产生的历史直播数据随时间的变化较大，与时间的关联性较大，因此，需要实时的更新用于训练安全预测模型的样本历史直播数据，以保证安全预测模型的准确性。具体的，可以每间隔预设时间间隔，自动更新目标直播间的样本历史直播数据，根据更新后的样本历史直播数据训练安全预测模型，从而也完成定时更新安全预测模型的过程。
步骤204，获取样本直播间的样本历史直播数据和样本历史违规数据。
在本发明实施例中，可以通过步骤204至步骤207，搭建得到异常检测模型。
该步骤具体可参照步骤201，此处不再赘述。
步骤205，根据所述样本历史违规数据，确定所述样本直播间发生违规行为的违规时刻。
在该步骤中，由于异常检测模型为根据具有检测结果标注的样本训练集构建得到的，用于确定直播间在某一时刻是存在异常状态或不存在异常状态。即直播间在某一时刻产生的直播数据是否是一个异常值，相对于直播间在不存在异常状态情况下的其他直播数据是否具有很大的差异，也就是判断该直播数据相对于其他直播数据是否是一个离群点。
因此，需要首先分析在不存在异常状态情况下直播间的历史直播数据，即“正常的”直播数据，并确定不存在异常状态情况下直播数据的变化范围(直播数据变化范围)，从而判断直播间在某一时刻产生的直播数据是否位于这个变化范围内，若在这个范围内，则可以判断直播间在某一时刻产生的直播数据不是异常值，该直播间此时不存在异常状态；若超出了这个范围，则可以判断直播间在某一时刻产生的直播数据是一个离群点，该直播间此时存在异常状态。
因而，若将直播间中存在违规行为认为是存在异常状态，则为确定不存在异常状态情况下直播数据的变化范围，需要从获取到的样本历史直播数据中筛选出不存在违规行为时产生的数据，并将该数据作为构建异常检测模型的训练集。
在本发明实施例中，可以首次根据样本直播间的样本历史违规数据，确定样本直播间中发生违规行为的违规时刻。
例如，如表2所列，若样本历史违规数据中在本场次中存在普通违规，则可以进一步确定该普通违规发生的时间，将该时间确定为样本直播间中发生违规行为的违规时刻。
步骤206，根据所述违规时刻，从所述样本历史直播数据中，确定所述样本直播间除所述违规时刻之外的时间范围内的目标样本历史直播数据，并标注所述目标样本历史直播数据的检测结果为不存在异常状态。
在该步骤中，在获取到样本历史直播数据和样本直播间发生违规行为的违规时刻之后，可以根据违规时刻，对应每一个样本历史直播数据产生的时间，从样本历史直播数据中筛选出除违规时刻之外的时间范围内的目标样本历史直播数据，从而确保目标样本历史直播数据为不存在违规行为(不存在异常状态)时样本直播间产生的直播数据，因此，可以将目标样本历史直播数据的检测结果标注为不存在异常状态。
例如，若根据样本历史违规数据检测到样本直播间在2021年1月27日早上9点发生了违规行为，则可以将除该时间点之外的样本历史直播数据标注为不存在异常状态，并将其作为构建异常检测模型的训练集。此外，考虑到直播数据的时间持续性，还可以以该时间点为中心，将包含该时间点的一个时间段内产生的直播数据均认为是存在异常状态的，即将除该时间段之外的样本历史直播数据标注为不存在异常状态，并将其作为构建异常检测模型的训练集。
步骤207，根据所述目标样本历史直播数据及标注的检测结果，构建所述异常检测模型。
在该步骤中，可以根据从样本历史直播数据中筛选出的目标样本历史直播数据，以及目标样本历史直播数据标注的检测结果，构建用于检测直播间的检测结果的异常检测模型。
可选的，步骤207具体可以包括：
子步骤2071，确定所述目标样本历史直播数据的平均值和方差。
在该步骤中，首先可以确定目标样本历史直播数据的平均值和方差。
具体的，可以根据以下公式计算：
Figure BDA0003211563410000121
Figure BDA0003211563410000122
其中，μj为目标样本历史直播数据的平均值；
m为目标样本历史直播数据的数量；
Figure BDA0003211563410000123
为第i个维度的目标样本历史直播数据；
σj为目标样本历史直播数据的方差。
需要说明的是，参见表1，所述目标样本历史直播数据可以是多维度的数据，可以针对每一个维度的目标样本历史直播数据均计算上述平均值和方差，上述两个公式即为针对第j个维度的目标样本历史直播数据计算得到的平均值和方差。相应的，可以针对每一个维度的目标样本历史直播数据，分析每一个维度的目标样本历史直播数据的直播数据变化范围，也可以综合多个目标样本历史直播数据，为每一个目标样本历史直播数据分配不同的权重，分析多个目标样本历史直播数据的直播数据变化范围。
子步骤2072，根据所述目标样本历史直播数据的平均值和方差，以及所述目标样本历史直播数据标注的检测结果，基于正态分布，确定所述样本直播间在所述检测结果为不存在异常状态时的直播数据变化范围。
在该步骤中，在确定了目标样本历史直播数据的平均值和方差之后，可以结合目标样本历史直播数据标注的检测结果，基于正态分布，确定所述样本直播间在所述检测结果为不存在异常状态时的直播数据变化范围，其中，所述直播数据变化范围用于表征所述目标样本历史直播数据的所处的范围。
图3示出了本发明实施例所述的一种正态分布的示意图，如图3所示，在正常情况下，直播间的历史直播数据按照正态分布的规律，以平均值为对称点，均匀的分布在平均值的两侧，且与平均值的差值越小，历史直播数据的数量越多，与平均值的差值越大，历史直播数据的数量越少。一般情况下，约99.7％的历史直播数据是位于μj±3σj的范围内，约95％的历史直播数据是位于μj±2σj的范围内，约68％的历史直播数据是位于μj±σj的范围内.
因此，在该步骤中，可以根据目标样本历史直播数据的平均值和方差，设定样本直播间为不存在异常状态时的直播数据变化范围。例如，可以设定该直播数据变化范围为μj±2σj，即若检测到某一直播间的历史直播数据位于μj±2σj的范围内，则可以认为该历史直播数据与不存在异常状态时的历史直播数据的偏差较小，不是异常点，则可判断该直播间此时不存在异常状态；若检测到某一直播间的历史直播数据出处μj±2σj的范围，则可以认为该历史直播数据与不存在异常状态时的历史直播数据的偏差较大，为离群点，则可判断该直播间此时存在异常状态。
子步骤2073，构建包含所述直播数据变化范围的异常检测模型。
在该步骤中，在确定了样本直播间在检测结果为不存在异常状态时的直播数据变化范围之后，即可以构建包含直播数据变化范围的异常检测模型，以检测直播间的检测结果。
可选的，在子步骤2073之后，步骤207还可以包括：
子步骤2074，获取测试直播间的测试历史直播信息和所述测试历史直播信息标注的检测结果。
在该步骤中，在确定了包含直播数据变化范围的异常检测模型之后，可以进一步确定该异常检测模型的准确度。
具体的，可以首先获取针对该异常检测模型的测试集，所述测试集可以包括测试直播间的测试历史直播信息，以及测试历史直播信息标注的检测结果。
子步骤2075，将所述测试历史直播信息输入所述异常检测模型中，得到所述测试历史直播信息的检测结果。
在该步骤中，可以将测试历史直播信息输入已经构建得到的异常检测模型中，得到异常检测模型输出的测试历史直播信息的检测结果。
子步骤2076，根据所述测试历史直播信息的检测结果和所述测试历史直播信息标注的检测结果，确定所述异常检测模型的准确率。
在该步骤中，可以对比异常检测模型输出的测试历史直播信息的检测结果，以及测试历史直播信息原本标注的检测结果，确定异常检测模型的准确率。
例如，若共计有100个测试历史直播信息，通过对比原本标注的100个检测结果，利用异常检测模型输出的100个检测结果中有90个与原本标注的检测结果一致，有10个与原本标注的检测结果不同，则可以确定该异常检测模型的准确率为90％。
子步骤2077，根据所述异常检测模型的准确率，调整所述异常检测模型中的直播数据变化范围。
在该步骤中，可以根据异常检测模型的准确率，调整所述异常检测模型中的直播数据变化范围，从而对异常检测模型进行校准。
例如，若异常检测模型中的直播数据变化范围为μj±σj时，异常检测模型的准确率为70％，而将异常检测模型中的直播数据变化范围调整为μj±2σj时，异常检测模型的准确率上升为90％，则可以将异常模型中的直播数据变化范围从μj±σj调整为μj±2σj。
需要说明的是，由于直播间在直播过程中产生的历史直播数据随时间的变化较大，与时间的关联性较大，因此，需要实时的更新用于构建异常检测模型的样本历史直播数据，以保证异常检测模型的准确性。具体的，可以每间隔预设时间间隔，自动更新目标直播间的样本历史直播数据，根据更新后的样本历史直播数据构建异常检测模型，分析异常检测模型的准确率，从而迭代调整异常监测模型中包含的直播数据变化范围，完成定时更新异常检测模型的过程。
步骤208，获取目标直播间的历史直播数据。
在该步骤中，在步骤203中完成安全预测模型的与训练，在步骤207中搭建得到异常检测模型之后，可以获取目标直播间的历史直播数据。
可选的，步骤208具体可以包括：
子步骤2081，获取所述目标直播间在多个不同所述预设时间范围内，包含多个维度的历史直播数据。
在该步骤中，参照表1，可以获取目标直播间在多个不同所述预设时间范围内，如历史10分钟、历史1小时、历史1天或历史7天内的历史直播数据，以及包含多个维度，如弹幕数量、弹幕用户量、打赏数量、打赏金额等历史直播数据，以全面的对历史直播数据进行分析，从而根据目标直播间的历史直播数据确定目标直播间的安全等级。
子步骤2082，对所述历史直播数据进行空值填充处理、归一化处理和排除异常值处理中的任意一种或多种。
在该步骤中，可以对获取到的历史直播数据进行预处理，包括空值填充处理、归一化处理和排除异常值处理中的任意一种或多种。
其中，空置填充处理是对历史直播数据中缺失的数据进行插补，可以采用均值/中位数/众数插补、临近值插补、拉格朗日插值法等；归一化处理是将数据按比例缩放，使之落入一个小的特定区间，例如，可以将数据统一映射到[0,1]区间上；排除异常值处理是指将数据中的异常值，即明显偏离其余观测值的数据进行删除或修正填补。
步骤209，将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级。
在该步骤中，在步骤208中获取到目标直播间的历史直播数据之后，可以将历史直播数据输入预先训练得到的安全预测模型中，从而得到安全预测模型输出的目标直播间在目标直播时刻的安全等级，该安全等级表征目标直播间在目标直播时刻发生违规行为的概率。
此外，所述安全等级也可以表征目标直播间在目标直播时刻以及目标直播时刻之前预设时间范围内发生违规行为的概率。
步骤210，将所述历史直播数据输入预先构建得到的异常检测模型中，得到包括所述目标直播间在所述目标直播时刻存在异常状态或不存在异常状态的检测结果。
在该步骤中，在步骤208中获取到目标直播间的历史直播数据之后，可以将历史直播数据输入预先构建得到的异常检测模型中，得到异常检测模型输出的目标直播间的检测结果，该检测结果表征目标直播间在目标直播时刻是存在异常状态还是不存在异常状态。
此外，所述检测结果也可以表征目标直播间在目标直播时刻以及目标直播时刻之前预设时间范围内是存在异常状态还是不存在异常状态。
可选的，步骤210具体可以包括：
子步骤2101，将所述历史直播数据输入包含所述直播数据变化范围的异常检测模型中。
可选的，在利用异常检测模型确定目标直播间的检测结果时，首先可以将历史直播数据输入包含所述直播数据变化范围的异常检测模型中，以供异常检测模型根据历史直播数据和直播数据变化范围，判断历史直播数据是否位于直播数据变化范围内，进而确定目标直播间对应的历史直播数据是否存在异常状态。
子步骤2102，在所述历史直播数据中确定位于所述目标直播时刻的历史直播数据，在所述位于所述目标直播时刻的历史直播数据超出所述直播数据变化范围的情况下，确定所述目标直播间在所述目标直播时刻的检测结果为存在异常状态。
在该步骤中，可以首先从历史直播数据中确定位于目标直播时刻的历史直播数据，进而判断在位于目标直播时刻的历史直播数据是否位于直播数据变化范围内。若位于目标直播时刻的历史直播数据超出直播数据变化范围，则说明目标直播间在目标直播时刻产生的历史直播数据为离群点，与不存在异常状态时产生的历史直播数据的偏差较大，因此，可以确定目标直播间在目标直播时刻的检测结果为存在异常状态。
子步骤2103，在所述位于所述目标直播时刻的历史直播数据位于所述直播数据变化范围的情况下，确定所述目标直播间在所述目标直播时刻的检测结果为不存在异常状态。
在该步骤中，若位于目标直播时刻的历史直播数据位于直播数据变化范围内，则说明目标直播间在目标直播时刻产生的历史直播数据不是异常值，与不存在异常状态时产生的历史直播数据的偏差较小，因此，可以确定目标直播间在目标直播时刻的检测结果为不存在异常状态。
步骤211，在所述检测结果为存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行下调。
在该步骤中，可以结合步骤210中异常检测模型输出的目标直播间的检测结果，对步骤209中安全预测模型中输出的目标直播间的安全等级进行调整。
具体的，若异常检测模型输出的目标直播间的检测结果为存在异常状态，则说明此时目标直播间产生的历史直播数据存在异常，目标直播间的历史直播数据超出了不存在异常状态时的直播数据变化范围内，即目标直播间的历史直播数据与直播间不存在异常状态时的直播数据的差异较大，此时，目标直播间中产生违规行为的可能性较高，因此，可以对目标直播间的安全等级进行修正，下调目标直播间的安全等级，从而进一步提高审核过程的准确性。
例如，若安全预测模型中输出的目标直播间的安全等级为4，异常检测模型中检测到目标直播间的历史直播数据中的举报数量超出了异常检测模型中包含的举报数量范围，即目标直播间的检测结果为存在异常状态，此时，可以将目标直播间的安全等级调整为3。
步骤212，在所述检测结果为不存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行上调。
在该步骤中，若异常检测模型输出的目标直播间的检测结果为不存在异常状态，则说明此时目标直播间产生的历史直播数据不存在异常，目标直播间的历史直播数据位于不存在异常状态时的直播数据变化范围内，即目标直播间的历史直播数据与直播间不存在异常状态时的直播数据的差异较小，此时，目标直播间中产生违规行为的可能性较低，因此，可以对目标直播间的安全等级进行修正，上调目标直播间的安全等级，从而进一步提高审核过程的准确性。
例如，若安全预测模型中输出的目标直播间的安全等级为4，异常检测模型中检测到目标直播间的历史直播数据位于异常检测模型中包含的直播数量变化范围内，即目标直播间的检测结果为不存在异常状态，此时，可以将目标直播间的安全等级调整为5。
步骤213，在所述目标直播间的安全等级小于或等于预设等级的情况下，生成针对所述目标直播间的告警信息。
在该步骤中，在步骤213中确定了目标直播间的安全等级之后，由于安全等级较低的目标直播间中产生违规行为的概率较大，因此，可以针对安全等级较低的目标直播间生成告警信息，以供审核人员重点对这些目标直播间进行审核，以确定这些目标直播间中是否存在违规行为。
具体的，可以针对安全等级小于或等于预设等级的目标直播间告警信息，例如，可以设置所述预设等级为2，若检测到目标直播间的安全等级为3，则说明该目标直播间发生违规行为的概率较低，则无需审核人员进行人工审核，无需生成告警信息；若检测到目标直播间的安全等级为1，则说明该目标直播间发生违规行为的概率较高，则需要审核人员进行人工审核，因此，针对该目标直播间生成告警信息。
步骤214，将所述安全等级和所述告警信息发送至审核系统，以在所述审核系统中对所述目标直播间基于所述安全等级和所述告警信息进行审核。
在该步骤中，在生成告警信息之后，可以将目标直播间的安全等级和告警信息发送至审核系统，以供审核人员在审核系统中对目标直播间基于安全等级和所述告警信息进行审核。
具体的，审核人员在通过审核系统接收到高进信息之后，可以获取对应的发生违规行为的概率较高的目标直播间，从而对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而提升人工审核的效率。
步骤215，根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核。
在步骤213中确定了目标直播间的安全等级之后，可以根据安全等级，确定目标直播间的审核优先级。
具体的，由于安全等级较低的目标直播间中产生违规行为的概率较大，安全等级较高的目标直播间中产生违规行为的概率较小，因此，可以为安全等级较低的目标直播间设置较高的审核优先级，以供审核人员优先审核这些目标直播间，为安全等级较高的目标直播间设置较低的审核优先级，以供审核人员在审核完审核优先级较高的目标直播间之后，在审核审核优先级较低的目标直播间。
进一步的，在确定了目标直播间的审核优先级之后，可以将目标直播间的安全等级和审核优先级发送至审核系统，以供审核人员通过审核系统获取发生违规行为的概率较高的、审核优先级较高的目标直播间，从而对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而提升人工审核的效率。
综上所述，本发明实施例提供的一种直播间的审核方法，包括：获取目标直播间的历史直播数据，历史直播数据包括在目标直播时刻及之前预设时间范围内，目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；将历史直播数据输入预先训练得到的安全预测模型中，得到目标直播间在目标直播时刻的安全等级，安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定目标直播间的安全等级；根据安全等级，确定目标直播间的审核优先级，以对目标直播间基于审核优先级进行审核。本发明实施例中，可以根据目标直播间的历史直播数据，确定目标直播间的安全等级，进而根据安全等级确定目标直播间的审核优先级，从而可以帮助审核人员根据审核优先级快速的确定安全等级较低、发生违规行为的概率较高的目标直播间，使得审核人员针对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而减少人工审核空窗期内的漏检率，提升人工审核的效率和准确性。
此外，还可以结合异常检测模型输出的目标直播间产生的历史直播数据是否存在异常状态，对安全预测模型得到的目标直播间的安全等级进行修正，从而进一步提高审核过程的准确性。
在上述实施例的基础上，本发明实施例还提供了一种直播间的审核装置。
参照图4，示出了本发明实施例所述的一种直播间的审核装置300的结构框图，具体可以包括如下模块：
获取模块301，用于获取目标直播间的历史直播数据，所述历史直播数据包括在目标直播时刻及之前预设时间范围内，所述目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；
第一生成模块302，用于将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级，所述安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定所述目标直播间的安全等级；
确定模块303，用于根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核。
可选的，所述装置还包括：
第二生成模块，用于将所述历史直播数据输入预先构建得到的异常检测模型中，得到包括所述目标直播间在所述目标直播时刻存在异常状态或不存在异常状态的检测结果，所述异常检测模型为根据具有检测结果标注的样本训练集构建得到的，用于确定所述目标直播间的检测结果；
第一调整模块，用于在所述检测结果为存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行下调；
第二调整模块，用于在所述检测结果为不存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行上调。
可选的，所述第一生成模块302，具体包括：
第一获取子模块，用于获取样本直播间的样本历史直播数据和样本历史违规数据；
第一标注子模块，用于根据所述样本直播间的样本历史违规数据和预设的安全等级判断规则，标注所述样本直播间的安全等级，所述样本历史违规数据包括：所述样本直播间在当前直播时刻之后的预设时长内产生的违规数据；
第一训练子模块，用于根据所述样本直播间的安全等级和所述样本历史直播数据，对机器学习模型进行训练，得到所述安全预测模型。
可选的，所述第二生成模块，具体包括：
第二获取子模块，用于获取样本直播间的样本历史直播数据和样本历史违规数据；
第一确定子模块，用于根据所述样本历史违规数据，确定所述样本直播间发生违规行为的违规时刻；
第二标注子模块，用于根据所述违规时刻，从所述样本历史直播数据中，确定所述样本直播间除所述违规时刻之外的时间范围内的目标样本历史直播数据，并标注所述目标样本历史直播数据的检测结果为不存在异常状态；
第二训练子模块，用于根据所述目标样本历史直播数据及标注的检测结果，构建所述异常检测模型。
可选的，所述第二训练子模块，具体包括：
第一确定单元，用于确定所述目标样本历史直播数据的平均值和方差；
第二确定单元，用于根据所述目标样本历史直播数据的平均值和方差，以及所述目标样本历史直播数据标注的检测结果，基于正态分布，确定所述样本直播间在所述检测结果为不存在异常状态时的直播数据变化范围，所述直播数据变化范围用于表征所述目标样本历史直播数据的所处的范围；
构建单元，用于构建包含所述直播数据变化范围的异常检测模型；
所述第二生成模块，具体包括：
输入子模块，用于将所述历史直播数据输入包含所述直播数据变化范围的异常检测模型中；
第二确定子模块，用于在所述历史直播数据中确定位于所述目标直播时刻的历史直播数据，在所述位于所述目标直播时刻的历史直播数据超出所述直播数据变化范围的情况下，确定所述目标直播间在所述目标直播时刻的检测结果为存在异常状态；
第三确定子模块，用于在所述位于所述目标直播时刻的历史直播数据位于所述直播数据变化范围的情况下，确定所述目标直播间在所述目标直播时刻的检测结果为不存在异常状态。
可选的，所述装置还包括：
获取单元，用于获取测试直播间的测试历史直播信息和所述测试历史直播信息标注的检测结果；
生成单元，用于将所述测试历史直播信息输入所述异常检测模型中，得到所述测试历史直播信息的检测结果；
第三确定单元，用于根据所述测试历史直播信息的检测结果和所述测试历史直播信息标注的检测结果，确定所述异常检测模型的准确率；
调整单元，用于根据所述异常检测模型的准确率，调整所述异常检测模型中的直播数据变化范围。
可选的，所述装置还包括：
第三生成模块，用于在所述目标直播间的安全等级小于或等于预设等级的情况下，生成针对所述目标直播间的告警信息；
第一发送模块，用于将所述安全等级和所述告警信息发送至审核系统，以在所述审核系统中对所述目标直播间基于所述安全等级和所述告警信息进行审核。
综上所述，本申请提供的一种直播间的审核装置，包括：获取目标直播间的历史直播数据，历史直播数据包括在目标直播时刻及之前预设时间范围内，目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；将历史直播数据输入预先训练得到的安全预测模型中，得到目标直播间在目标直播时刻的安全等级，安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定目标直播间的安全等级；根据安全等级，确定目标直播间的审核优先级，以对目标直播间基于审核优先级进行审核。本发明实施例中，可以根据目标直播间的历史直播数据，确定目标直播间的安全等级，进而根据安全等级确定目标直播间的审核优先级，从而可以帮助审核人员根据审核优先级快速的确定安全等级较低、发生违规行为的概率较高的目标直播间，使得审核人员针对这些目标直播间进行人工审核，以确定这些目标直播间中是否存在违规行为，从而减少人工审核空窗期内的漏检率，提升人工审核的效率和准确性。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互之间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
获取目标直播间的历史直播数据，所述历史直播数据包括在目标直播时刻及之前预设时间范围内，所述目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；
将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级，所述安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定所述目标直播间的安全等级；
根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的直播间的审核方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的直播间的审核方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种直播间的审核方法，其特征在于，所述方法包括：
获取目标直播间的历史直播数据，所述历史直播数据包括在目标直播时刻及之前预设时间范围内，所述目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；
将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级，所述安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定所述目标直播间的安全等级；
根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核；
将所述历史直播数据输入预先构建得到的异常检测模型中，得到包括所述目标直播间在所述目标直播时刻存在异常状态或不存在异常状态的检测结果，所述异常检测模型为根据具有检测结果标注的样本训练集构建得到的，用于确定所述目标直播间的检测结果；
在所述检测结果为存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行下调；
在所述检测结果为不存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行上调。
2.根据权利要求1所述的方法，其特征在于，预先训练所述安全预测模型的步骤，具体包括：
获取样本直播间的样本历史直播数据和样本历史违规数据；
根据所述样本直播间的样本历史违规数据和预设的安全等级判断规则，标注所述样本直播间的安全等级，所述样本历史违规数据包括：所述样本直播间在当前直播时刻之后的预设时长内产生的违规数据；
根据所述样本直播间的安全等级和所述样本历史直播数据，对机器学习模型进行训练，得到所述安全预测模型。
3.根据权利要求1所述的方法，其特征在于，构建所述异常检测模型的步骤，具体包括：
获取样本直播间的样本历史直播数据和样本历史违规数据；
根据所述样本历史违规数据，确定所述样本直播间发生违规行为的违规时刻；
根据所述违规时刻，从所述样本历史直播数据中，确定所述样本直播间除所述违规时刻之外的时间范围内的目标样本历史直播数据，并标注所述目标样本历史直播数据的检测结果为不存在异常状态；
根据所述目标样本历史直播数据及标注的检测结果，构建所述异常检测模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标样本历史直播数据及标注的检测结果，构建所述异常检测模型的步骤，具体包括：
确定所述目标样本历史直播数据的平均值和方差；
根据所述目标样本历史直播数据的平均值和方差，以及所述目标样本历史直播数据标注的检测结果，基于正态分布，确定所述样本直播间在所述检测结果为不存在异常状态时的直播数据变化范围，所述直播数据变化范围用于表征所述目标样本历史直播数据的所处的范围；
构建包含所述直播数据变化范围的异常检测模型；
所述将所述历史直播数据输入预先构建得到的异常检测模型中，得到包括所述目标直播间在所述目标直播时刻存在异常状态或不存在异常状态的检测结果的步骤，具体包括：
将所述历史直播数据输入包含所述直播数据变化范围的异常检测模型中；
在所述历史直播数据中确定位于所述目标直播时刻的历史直播数据，在所述位于所述目标直播时刻的历史直播数据超出所述直播数据变化范围的情况下，确定所述目标直播间在所述目标直播时刻的检测结果为存在异常状态；
在所述位于所述目标直播时刻的历史直播数据位于所述直播数据变化范围的情况下，确定所述目标直播间在所述目标直播时刻的检测结果为不存在异常状态。
5.根据权利要求4所述的方法，其特征在于，在所述构建包含所述直播数据变化范围的异常检测模型的步骤之后，所述方法还包括：
获取测试直播间的测试历史直播信息和所述测试历史直播信息标注的检测结果；
将所述测试历史直播信息输入所述异常检测模型中，得到所述测试历史直播信息的检测结果；
根据所述测试历史直播信息的检测结果和所述测试历史直播信息标注的检测结果，确定所述异常检测模型的准确率；
根据所述异常检测模型的准确率，调整所述异常检测模型中的直播数据变化范围。
6.根据权利要求1所述的方法，其特征在于，在所述得到所述目标直播间在所述目标直播时刻的安全等级的步骤之后，所述方法还包括：
在所述目标直播间的安全等级小于或等于预设等级的情况下，生成针对所述目标直播间的告警信息；
将所述安全等级和所述告警信息发送至审核系统，以在所述审核系统中对所述目标直播间基于所述安全等级和所述告警信息进行审核。
7.一种直播间的审核装置，其特征在于，所述装置包括：
获取模块，用于获取目标直播间的历史直播数据，所述历史直播数据包括在目标直播时刻及之前预设时间范围内，所述目标直播间中主播与观众之间互动产生的数据和主播在直播过程中产生的数据；
第一生成模块，用于将所述历史直播数据输入预先训练得到的安全预测模型中，得到所述目标直播间在所述目标直播时刻的安全等级，所述安全预测模型为根据具有安全等级标注的样本训练集预先训练得到的，用于确定所述目标直播间的安全等级；
确定模块，用于根据所述安全等级，确定所述目标直播间的审核优先级，以对所述目标直播间基于所述审核优先级进行审核；
所述装置还包括：
第二生成模块，用于将所述历史直播数据输入预先构建得到的异常检测模型中，得到包括所述目标直播间在所述目标直播时刻存在异常状态或不存在异常状态的检测结果，所述异常检测模型为根据具有检测结果标注的样本训练集构建得到的，用于确定所述目标直播间的检测结果；
第一调整模块，用于在所述检测结果为存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行下调；
第二调整模块，用于在所述检测结果为不存在异常状态的情况下，根据所述检测结果对所述目标直播间的安全等级进行上调。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6中任一所述的方法步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202110933978.3A 2021-08-13 2021-08-13 一种直播间的审核方法及装置 Active CN113765895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110933978.3A CN113765895B (zh) 2021-08-13 2021-08-13 一种直播间的审核方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110933978.3A CN113765895B (zh) 2021-08-13 2021-08-13 一种直播间的审核方法及装置

Publications (2)

Publication Number Publication Date
CN113765895A CN113765895A (zh) 2021-12-07
CN113765895B true CN113765895B (zh) 2023-04-21

Family

ID=78789396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110933978.3A Active CN113765895B (zh) 2021-08-13 2021-08-13 一种直播间的审核方法及装置

Country Status (1)

Country Link
CN (1) CN113765895B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374571B (zh) * 2021-12-29 2024-04-19 广州欢城文化传媒有限公司 基于虚拟地图的语聊房健康指数监控方法及装置
CN114896453A (zh) * 2022-04-24 2022-08-12 北京奇艺世纪科技有限公司 内容审核方法、安全评估模型的训练方法、装置
CN115883884A (zh) * 2022-11-28 2023-03-31 中国工商银行股份有限公司 数据审核方法、装置、计算机设备及其存储介质
CN116109990B (zh) * 2023-04-14 2023-06-27 南京锦云智开软件有限公司 一种视频的敏感违规内容检测系统
CN116822805B (zh) * 2023-08-29 2023-12-15 北京菜鸟无忧教育科技有限公司 一种基于大数据的教育视频质量监测方法
CN118211681B (zh) * 2024-05-22 2024-09-13 上海斗象信息科技有限公司 标注样本判断方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309373B (zh) * 2018-03-15 2023-12-15 阿里巴巴集团控股有限公司 信息处理方法及装置
CN112468842B (zh) * 2020-12-09 2023-04-07 北京有竹居网络技术有限公司 一种直播审核方法及装置
CN113221845A (zh) * 2021-06-07 2021-08-06 北京猎豹移动科技有限公司 广告审核方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113765895A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113765895B (zh) 一种直播间的审核方法及装置
CN107291911B (zh) 一种异常检测方法和装置
CN110417721B (zh) 安全风险评估方法、装置、设备及计算机可读存储介质
CN108427669B (zh) 异常行为监控方法和系统
US20180107528A1 (en) Aggregation based event identification
CN111538642B (zh) 一种异常行为的检测方法、装置、电子设备及存储介质
US20160210631A1 (en) Systems and methods for flagging potential fraudulent activities in an organization
CN111309539A (zh) 一种异常监测方法、装置和电子设备
CN114168444A (zh) 一种基于监控大数据的动态运维报修模型
CN111324764A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN110796053B (zh) 视频检测方法、装置、电子设备及计算机可读存储介质
CN114997607A (zh) 一种基于工程检测数据的异常评估预警方法及系统
CN112650608B (zh) 异常根因定位方法以及相关装置、设备
CN111176953A (zh) 一种异常检测及其模型训练方法、计算机设备和存储介质
CN112583642A (zh) 异常检测方法、模型、电子设备及计算机可读存储介质
CN111327609B (zh) 数据审核方法及装置
CN111966915A (zh) 信息巡检方法、计算机设备及存储介质
CN111740865B (zh) 一种流量波动趋势预测方法、装置及电子设备
CN105825130B (zh) 一种信息安全预警方法及装置
CN110716973A (zh) 基于大数据的安全事件上报平台及方法
CN115081969A (zh) 异常数据确定方法及相关装置
CN110971435A (zh) 一种报警方法及装置
CN111563111A (zh) 告警方法、装置、电子设备及存储介质
CN112598326A (zh) 模型迭代方法、装置、电子设备及存储介质
CN116522349A (zh) 一种信息安全风险评估方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant