CN111090776A - 一种视频审核的方法、装置、审核服务器和存储介质 - Google Patents

一种视频审核的方法、装置、审核服务器和存储介质 Download PDF

Info

Publication number
CN111090776A
CN111090776A CN201911326157.2A CN201911326157A CN111090776A CN 111090776 A CN111090776 A CN 111090776A CN 201911326157 A CN201911326157 A CN 201911326157A CN 111090776 A CN111090776 A CN 111090776A
Authority
CN
China
Prior art keywords
violation
video
classification
under
audited
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911326157.2A
Other languages
English (en)
Other versions
CN111090776B (zh
Inventor
孙雪峤
石峰
刘振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201911326157.2A priority Critical patent/CN111090776B/zh
Publication of CN111090776A publication Critical patent/CN111090776A/zh
Application granted granted Critical
Publication of CN111090776B publication Critical patent/CN111090776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种视频审核的方法、装置、审核服务器和存储介质。其中，该方法包括：将待审核视频中的每一关键视频帧输入违规分类模型中，通过违规分类模型中不同违规子类别下的二分类模块得到各关键视频帧在对应违规子类别下的分类得分；针对每一违规子类别，融合各关键视频帧在该违规子类别下的分类得分，得到待审核视频在该违规子类别下的违规得分；根据待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定待审核视频的违规类别组成。本发明提供的技术方案，实现对待审核视频的多违规类别判定，避免造成对违规子类别的误判或漏判的问题，保证待审核视频在不同违规子类别下的审核独立性，提高视频审核的全面性和准确性。

Description

一种视频审核的方法、装置、审核服务器和存储介质
技术领域
本发明实施例涉及互联网资源中违规内容审核领域，尤其涉及一种视频审核的方法、装置、审核服务器和存储介质。
背景技术
随着互联网技术的快速发展，网络上的流媒体资源呈爆炸式增长，使得互联网上传播的各类短视频或网络直播视频等新型用户原创内容(User Generated Content，UGC)越来越丰富。与此同时，大量涉及到恐怖、暴力、色情或政治敏感等话题的违规视频也被生产并在互联网上快速传播出来，因此针对各类型互联网视频，需要预先判断其违规类型，以防止任一违规类型下互联网视频的传播。
目前，视频审核方法通常利用卷积神经网络(Convolution Neural Network，CNN)模型对互联网视频中的各视频帧进行特征提取和训练，并利用训练得到的神经网络模型依次判定单个视频帧中是否存在违规内容，进而根据多个单视频帧的检测结果判断整个互联网视频是否违规，此时无法通过多个视频帧之间的特征关联关系判断视频是否违规，极易造成误判或漏判的问题，而且采用互斥分类的审核方法，仅能判断该视频是正常还是违规，而无法准确审核出视频在违规时所属的具体违规类型。
发明内容
本发明实施例提供了一种视频审核的方法、装置、审核服务器和存储介质，自动识别待审核视频的违规类型组成，提高视频审核的准确性。
第一方面，本发明实施例提供了一种视频审核的方法，该方法包括：
将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过所述违规分类模型中不同违规子类别下的二分类模块得到各所述关键视频帧在对应违规子类别下的分类得分；
针对每一违规子类别，融合各所述关键视频帧在该违规子类别下的分类得分，得到所述待审核视频在该违规子类别下的违规得分；
根据所述待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定所述待审核视频的违规类别组成。
第二方面，本发明实施例提供了一种视频审核的装置，该装置包括：
分类得分确定模块，用于将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过所述违规分类模型中不同违规子类别下的二分类模块得到各所述关键视频帧在对应违规子类别下的分类得分；
违规得分确定模块，用于针对每一违规子类别，融合各所述关键视频帧在该违规子类别下的分类得分，得到所述待审核视频在该违规子类别下的违规得分；
违规类型审核模块，用于根据所述待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定所述待审核视频的违规类别组成。
第三方面，本发明实施例提供了一种审核服务器，该审核服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的视频审核的方法。
第四方面，本发明实施例提供了一种视频审核系统，该系统包括：本发明第三方面中所述的审核服务器以及与所述审核服务器通信连接的复审服务器，所述复审服务器上配置有人工审核平台，用于对所述审核服务器确定待审核视频对应所属的违规子类别进行人工复审，并向所述审核服务器反馈所述待审核视频的违规类别中是否包括该违规子类别的信息，由所述审核服务器根据所述复审服务器的反馈信息确定所述待审核视频的违规类别组成。
第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的视频审核的方法。
本发明实施例提供的一种视频审核的方法、装置、审核服务器和存储介质，通过预先构建的违规分类模型中不同违规子类别下的二分类模块分别对待审核视频中的每一关键视频帧进行对应违规子类别下的分类打分，进而针对每一违规子类别，通过融合待审核视频中多个关键视频帧在该违规子类别下的分类得分，而对多个关键视频帧的违规信息关联分析，得到待审核视频在该违规子类别下的违规得分，从而保证该违规得分的准确性，后续根据对应违规子类别下的违规得分确定待审核视频的违规类别中是否应包含该违规子类别，实现对待审核视频的多违规类别判定，避免造成对违规子类别的误判或漏判的问题，同时由于每个二分类模块仅针对某一对应违规子类别进行分类打分，保证待审核视频在不同违规子类别下的审核独立性，提高视频审核的全面性和准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A为本发明实施例一提供的一种视频审核的方法的流程图；
图1B为本发明实施例一提供的视频审核过程的原理示意图；
图2A为本发明实施例二提供的一种视频审核的方法的流程图；
图2B为本发明实施例二提供的视频审核过程的原理示意图；
图3A为本发明实施例三提供的视频审核方法中模型训练方法的流程图；
图3B为本发明实施例三提供的视频审核方法中模型训练过程的原理示意图；
图4为本发明实施例四提供的一种视频审核系统的原理示意图；
图5为本发明实施例五提供的一种视频审核的装置的结构示意图；
图6为本发明实施例六提供的一种审核服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1A为本发明实施例一提供的一种视频审核的方法的流程图，本实施例可适用于任一种对用户上传的短视频或网络直播等互联网视频进行违规审核的情况中。本实施例提供的一种视频审核的方法可以由本发明实施例提供的视频审核的装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的审核服务器中，该审核服务器可以是承载有相应的视频审核能力的后台服务端。
具体的，参考图1A，该方法可以包括如下步骤：
S110，将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过违规分类模型中不同违规子类别下的二分类模块得到各关键视频帧在对应违规子类别下的分类得分。
其中，待审核视频是指任一用户可以通过各类视频应用程序上传至互联网中进行传播的、需要审核的用户原创视频以及任一种需要分析视频类型的网络流媒体视频；如用户录制的想要在互联网中传播的短视频或者网络直播视频等。为了防止存在违规内容或者敏感内容的视频数据在互联网中快速传播，而对人们的日常生活造成一定的不良影响，本实施例中需要在视频传播之前，对上传的各类视频中包含的内容信息进行审核，从而将存在违规内容的视频过滤出来，执行对应的违规处理操作；此时本实施例可以通过对待审核视频中的视频画面内容进行审核，以判断该待审核视频中是否存在相应的违规内容，而由于待审核视频中包含大量视频帧，且存在较为类似的视频帧，因此本实施例可以在待审核视频中筛选出相应数量的关键视频帧，后续对该关键视频帧中的画面内容进行审核，从而减少视频画面的分析量，提高视频帧的审核效率。
具体的，本实施例中的关键视频帧是指待审核视频中在某些时刻下能够涵盖该待审核视频的大部分画面特征的视频帧。同时，违规分类模型是预先训练的能够准确对每一关键视频帧在不同违规子类别下进行打分的神经网络模型，例如深度神经网络(DeepNeural Networks，DNN)模型；此时由于本实施例中判断待审核视频的每一关键视频帧中是否存在违规内容时，关键视频帧中可能包含有多种不同违规子类别下的违规内容，该违规子类别可以是指待审核视频的关键视频帧中包含违规内容时该违规内容所属的具体违规类别，可以包括但不限于：暴力类别、恐怖类别、枪战类别、色情类别以及政治敏感类别等各种违规内容下的违规子类别；因此该违规分类模型针对不同违规子类别会分别设定对应的二分类模块，该二分类模块能够采用匹配的预设算法将待审核视频中的关键视频帧分类成两种互斥类别，该二分类模块对应的分类结果为该关键视频帧属于该二分类模块对应的设定类别和不属于该设定类别两种，同时各个二分类模块可以是违规分类模型中针对对应违规子类别设定的独立的sigmoid损失函数；此时若待审核视频的关键视频帧不属于各二分类模块对应的违规子类别，则说明该待审核视频的关键视频帧为未包含任何违规内容的正常类别。
同时，违规分类模型中不同违规子类别下的二分类模块是指每一个二分类模块仅用于判断待审核视频的关键视频帧中是否存在该二分类模块对应的违规子类别下的违规内容，也就是判断待审核视频的每一关键视频帧的违规类别中是否包括该二分类模块对应的违规子类别，例如通过暴力类别对应的二分类模块对待审核视频中的每一关键视频帧进行审核，主要是用于判断该待审核视频的关键视频帧是否属于暴力类别；此时通过违规分类模型中不同违规子类别下的二分类模块分别对待审核视频中的每一关键视频帧所属的不同违规子类别进行判定。
在本实施例中，首先可以从待审核视频中筛选出相应数量的关键视频帧，此时可以通过截图的方式获取相应数量的关键视频帧，进而将每一关键视频帧输入该违规分类模型中，由该违规分类模型中不同违规子类别下的二分类模块对各个关键视频帧进行打分，如图1B所示，此时针对每一关键视频帧，可以通过该违规分类模型中不同违规子类别下的二分类模块分别对该关键视频帧内包含的画面内容进行分析，且分别判断该关键视频帧内的画面特征与各个违规子类别下的二分类模块中所包含的在该对应违规子类别下的违规内容特征之间的区别程度，进而根据各个二分类模块分析出的区别程度分别确定该关键视频帧在各个二分类模块的对应违规子类别下的分类得分，按照上述步骤通过不同违规子类别下的二分类模块依次计算每一关键视频帧在对应违规子类别下的分类得分，后续通过综合分析每一关键视频帧在对应违规子类别下的分类得分，判定待审核视频中是否存在该违规子类别下的违规内容。
此外，如图1B所示，由于待审核视频中可能存在连续多帧的视频画面都是相似的，因此为了减少数据处理量，本实施例从待审核视频中抽取关键视频帧时，可以具体包括：按照预设时间间隔依次抽取待审核视频中的视频帧，作为该关键视频帧。具体的，本实施例可以按照预设时间间隔依次采集待审核视频中多个时刻对应的视频帧，如在待审核视频中每次相隔10秒采集一次该时刻的视频帧。
S120，针对每一违规子类别，融合各关键视频帧在该违规子类别下的分类得分，得到待审核视频在该违规子类别下的违规得分。
具体的，由于本实施例需要判断待审核视频中是否包含各个违规子类别下的违规内容，从而分析待审核视频的具体违规类别，因此在得到待审核视频中每一关键视频帧在不同违规子类别下的分类得分后，需要针对每一违规子类别，依次对待审核视频中的每一关键视频帧在该违规子类别下的违规内容进行综合分析，如图1B所示，首先查找出待审核视频中的每一关键视频帧在该违规子类别下的分类得分，并对各个关键视频帧在该违规子类别下的分类得分进行融合处理，例如采用平均值算法等，进而得到待审核视频在该违规子类别下的违规得分；按照上述步骤计算待审核视频在每一违规子类别下的违规得分，以便后续判断待审核视频中是否包含对应违规子类别下的违规内容。
S130，根据待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定待审核视频的违规类别组成。
可选的，为了根据违规得分准确判断待审核视频中是否包含对应违规子类别下的违规内容，会预先针对各个违规子类别统一设定一个违规阈值，该违规阈值是一种预先设定的能够准确区分待审核视频是否包含对应违规子类别下的违规内容的一种判定临界值。
具体的，在得到待审核视频在不同违规子类别下的违规得分后，需要依次将待审核视频在每一违规子类别下的违规得分与预设的违规阈值进行比对，判断在该违规子类别下的违规得分是否达到该违规阈值，若该违规子类别下的违规得分超出该违规阈值，说明该待审核视频中包含该违规子类别下的违规内容，则确定待审核视频的违规类别中包含该违规子类别，此时按照上述步骤确定待审核视频在每一违规子类别下的违规得分与预设的违规阈值的比对结果，进而确定出待审核视频的违规类别组成。
本实施例提供的技术方案，通过预先构建的违规分类模型中不同违规子类别下的二分类模块分别对待审核视频中的每一关键视频帧进行对应违规子类别下的分类打分，进而针对每一违规子类别，通过融合待审核视频中多个关键视频帧在该违规子类别下的分类得分，而对多个关键视频帧的违规信息关联分析，得到待审核视频在该违规子类别下的违规得分，从而保证该违规得分的准确性，后续根据对应违规子类别下的违规得分确定待审核视频的违规类别中是否应包含该违规子类别，实现对待审核视频的多违规类别判定，避免造成对违规子类别的误判或漏判的问题，同时由于每个二分类模块仅针对某一对应违规子类别进行分类打分，保证待审核视频在不同违规子类别下的审核独立性，提高视频审核的全面性和准确性。
实施例二
图2A为本发明实施例二提供的一种视频审核的方法的流程图，图2B为本发明实施例二提供的视频审核过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，如图2A所示，本实施例中对于待审核视频在不同违规子类别下的违规得分和违规类别组成的具体确定过程进行详细的解释说明。
可选的，如图2A所示，本实施例中可以包括如下步骤：
S210，将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过违规分类模型中不同违规子类别下的二分类模块得到各关键视频帧在对应违规子类别下的分类得分。
S220，针对每一违规子类别，对各关键视频帧在该违规子类别下的分类得分进行排序。
具体的，在得到待审核视频中的各个关键视频帧在对应违规子类别下的分类得分后，本实施例可以采用预先训练的神经网络模型针对每一违规子类别，对待审核视频中的每一关键视频帧在该违规子类别下的分类得分进行融合分析，此时为了保证融合分析的准确性，首先需要对待审核视频中的各个关键视频帧在该违规子类别下的分类得分进行高低排序，使得待审核视频中各个关键视频帧在该违规子类别下的分类得分后续能够按照预设规律输入预先训练的神经网络模型进行分析，保证输出结果的准确性。
需要说明的是，由于后续违规审核模型通过各个关键视频帧在某一违规子类别下的分类得分来分析待审核视频在该违规子类别下的违规得分时，所有关键视频帧在该违规子类别下的最大分类得分在视频违规审核中占有的较大比重，此时违规审核模型会着重分析关键视频帧中在该违规子类别下较高的分类得分，也就是更容易通过关键视频帧在该违规子类别下较高的几个分类得分来分析判断待审核视频在该违规子类别下是否违规，因此本实施例中需要对各关键视频帧在该违规子类别下的分类得分进行排序，后续将该违规子类别下排序后的分类得分统一输入到违规审核模型中，使得违规审核模型能够及时准确的判断出关键视频帧在该违规子类别下较高的几个分类得分，进而对较高的分类得分着重分析，从而得到待审核视频在该违规子类别下的违规得分，保证违规得分的准确性。
S230，将各关键视频帧在该违规子类别下排序后的分类得分统一输入预先构建的违规审核模型中，得到待审核视频在该违规子类别下的违规得分。
可选的，在对各关键视频帧在该违规子类别下的分类得分进行排序后，统一将各关键视频帧在该违规子类别下排序后的分类得分输入预先构建的违规审核模型中，通过该违规审核模型对各关键视频帧在该违规子类别下排序后的分类得分进行融合处理，进而输出待审核视频在该违规子类别下的违规得分；按照上述相同的步骤，如图2B所示，对每一违规子类别下各关键视频帧的分类得分进行排序，并将排序后的分类得分统一输入该违规审核模型中进行融合处理，依次输出待审核视频在各个违规子类别下的违规得分，以便后续根据该违规得分判断待审核视频是否包含对应违规子类别下的违规内容。
需要说明的是，本实施例中的违规审核模型可以为XGBoost机器分类模型。
S240，如果待审核视频在对应违规子类别下的违规得分大于等于违规阈值，则该违规子类别作为违规类别组成之一，直至得到待审核视频的违规类别组成。
可选的，在得到待审核视频在不同违规子类别下的违规得分后，需要分别对不同违规子类别下的违规得分与预设的违规阈值进行比对，此时如果待审核视频在某一违规子类别下的违规得分大于等于该违规阈值，则说明待审核视频中包含有该违规子类别下的违规内容，此时将该违规子类别作为待审核视频最终确定的违规类别的组成之一；按照上述相同的步骤对待审核视频在各个对应违规子类别下的违规得分与该违规阈值进行比对，能够得到该待审核视频的违规类别中所包含的各个违规子类别，从而实现待审核视频的多违规类别判定。
此外，为了避免机器审核对待审核视频的违规类别中所包括的违规子类别的审核误差，如图2B所示，本实施例中还可以通过机器审核和人工审核相结合的方式，进一步提升对待审核视频的审核精确度；此时，将该违规子类别作为违规类别组成之一，还需要进一步满足如下条件：将待审核视频和对应的违规子类别发送给人工审核平台；如果收到人工审核平台对待审核视频的违规类别包括该违规子类别的反馈，则该违规子类别作为违规类别组成之一。
具体的，本实施例中在判断待审核视频在对应违规子类别下的违规得分大于等于该违规阈值后，为了避免机器审核造成的审核误差，可以将待审核视频和本次确定违规得分大于等于该违规阈值的对应违规子类别统一发送给人工审核平台，由人工审核平台的工作人员进一步对该待审核视频进行人工审核，判断待审核视频中是否包含该违规子类别下的违规内容，进一步确定该待审核视频的违规类别中存在的违规子类别，并将该待审核视频中通过人工审核的违规类别包括的违规子类别反馈给相应的审核服务器，由审核服务器根据人工审核平台的反馈信息再次判断该待审核视频的违规类别组成，此时如果收到人工审核平台对待审核视频的违规类别包括该违规子类别的反馈，则将该违规子类别作为待审核视频最终的违规类别的组成之一，对于待审核视频在不同违规子类别下的分类得分大于等于违规阈值的情况，均可以发送给人工审核平台进行再次审核，提高视频审核的准确性，直至得到该待审核视频的违规类别中最终包括的多违规子类别，以实现对待审核视频的多违规类别判定。
需要说明的是，本实施例中的违规阈值可以由人工审核平台在视频审核业务下设定的违规推送比例确定；由于本实施例在初步判断待审核视频为某一违规子类别时，为了确保视频审核的准确性，还会将该审核结果额外发送给相应的人工审核平台进行再次审核，此时违规推送比例是根据人工审核平台中的实际业务审核情况预先确定的允许推送给人工审核平台的违规视频数量占审核视频总量的上限值，为了保证发送至人工审核平台的待审核视频数量不会过多，而超出审核人员的负荷能力，此时要求违规推送比例不能超出人工审核平台中对待审核视频进行人工审核的吞吐量与待审核视频的总数据流量的比值，因此可以根据人工审核平台中的实际业务审核情况来确定该违规推送比例。
本实施例提供的技术方案，通过预先构建的违规分类模型中不同违规子类别下的二分类模块分别对待审核视频中的每一关键视频帧进行对应违规子类别下的分类打分，进而针对每一违规子类别，通过预先构建的违规审核模型来融合待审核视频中多个关键视频帧在该违规子类别下的分类得分，而对多个关键视频帧的违规信息关联分析，得到待审核视频在该违规子类别下的违规得分，从而保证该违规得分的准确性，后续根据对应违规子类别下的违规得分确定待审核视频的违规类别中是否应包含该违规子类别，实现对待审核视频的多违规类别判定，避免造成对违规子类别的误判或漏判的问题，同时由于每个二分类模块仅针对某一对应违规子类别进行分类打分，保证待审核视频在不同违规子类别下的审核独立性，提高视频审核的全面性和准确性。
实施例三
图3A为本发明实施例三提供的视频审核方法中模型训练方法的流程图，图3B为本发明实施例三提供的视频审核方法中模型训练过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，如图3A所示，本实施例中对于参与视频审核的违规分类模型和违规审核模型的具体训练过程进行详细的解释说明。
可选的，如图3A所示，本实施例中可以包括如下步骤：
S310，提取历史视频中的历史关键视频帧，并分别确定历史视频和历史关键帧在不同违规子类别下的分类标签。
具体的，本实施例中在线下对违规分类模型和违规审核模型进行训练时，首先会收集整理出实际视频审核业务中大量以及确定违规类别的历史视频，并确定出各个历史视频在每一违规子类别下的分类标签，以判断每一历史视频所属的违规类别具体是哪一违规子类别。此时，由于违规分类模型的训练样本为历史视频中的各个历史关键视频帧，因此本实施例会按照预设时间间隔从每一历史视频中不断采集出相应数量的历史关键视频帧，并确定每一历史关键视频帧在不同违规子类别下的分类标签；此时，本实施例对于历史视频在不同违规子类别下的分类标签和各个历史关键视频帧在不同违规子类别下的分类标签可以根据对应的人工标注信息确定，此时历史视频的分类标签可以是通过人工标注的该历史视频在不同违规子类别下的实际违规得分，历史关键视频帧的分类标签可以是通过人工标注的该历史关键视频帧在不同违规子类别下的实际分类得分。
S320，采用各历史关键视频帧和该历史关键视频帧在不同违规子类别下的分类标签，分别通过不同违规子类别下的二分类模块训练违规分类模型。
可选的，由于违规审核模型的训练样本是通过违规分类模型中各个二分类模块得到的历史关键视频帧在不同违规子类别下的分类得分，若将违规分类模型和违规审核模型同时训练，而违规分类模型未训练完成时，违规审核模型的训练样本是不准确的，使得违规审核模型的训练结果也不准确，因此为了减少违规审核模型的无效训练过程，本实施例会先训练违规分类模型，在违规分类模型训练完成后，再训练违规审核模型。
具体的，如图3B所示，可以将每一历史视频中的各个历史关键视频帧输入训练前的违规分类模型中，通过训练前的违规分类模型中不同违规子类别下的二分类模块对各个历史关键视频帧在对应违规子类别下进行分类打分，该二分类模块可以为对应预先设定参数的不同违规子类别下独立的sigmoid损失函数；此时通过各个二分类模块对每一历史关键视频帧内的视频画面内容进行对应违规子类别下的分析，从而判断该历史关键视频帧内的画面特征与各个二分类模块在对应违规子类别下所包含的该违规子类别下的画面特征之间的区别程度，进而根据各个二分类模块分析出的区别程度确定该历史关键视频帧在各个二分类模块的对应违规子类别下的分类得分，例如本实施例可以通过表征各个二分类模块的独立的sigmoid损失函数来确定历史关键视频帧在该违规子类别下的分类得分，并针对每一违规子类别，分别对该历史关键视频帧在该违规子类别下的分类得分和该违规子类别下的分类标签求交叉熵，得到该违规子类别下的分类损失，并通过该分类损失对该违规子类别对应的二分类模块中的参数进行反向修正，并采用修正后的二分类模块继续判断新的历史关键视频帧的分类损失，直至得到的分类损失低于预先设定的损失阈值，说明该违规子类别下的二分类模块能够准确为任一视频帧进行分类打分，按照上述相同的步骤，依次修正每一违规子类别下的二分类模块，以确保历史关键视频帧在不同违规子类别下的分类得分的准确性，进而通过修正后的各个二分类模块得到训练后的违规分类模型。
S330，在违规分类模型训练完成后，将历史视频中的每一历史关键视频帧输入训练后的违规分类模型中，通过训练后的违规分类模型中不同违规子类别下的二分类模块得到历史关键视频帧在对应违规子类别下的分类得分。
可选的，在违规分类模型训练完成后，将各个历史视频中的每一历史关键视频帧输入训练后的违规分类模型中，通过训练后的违规分类模型中不同违规子类别下的二分类模块，能够准确得到各个历史关键视频帧在不同违规子类别下的分类得分。
S340，针对每一违规子类别，采用历史视频中每一历史关键视频帧在该违规子类别下的分类得分以及历史视频在该违规子类别下的分类标签，训练违规审核模型。
可选的，在训练违规审核模型时，可以针对每一违规子类别，依次对历史视频中各个关键视频帧在该违规子类别下的分类得分进行排序，并每一违规子类别下将排序后的各个关键视频帧的分类得分统一输入预先设定的神经网络模型中，通过该神经网络模型融合该历史视频中的各个历史关键视频帧在对应违规子类别下排序后的分类得分，从而预测出该历史视频在每一违规子类别下的违规得分，并针对每一违规子类别，分别对该历史视频在该违规子类别下的违规得分与该违规子类别下的分类标签进行比对，同时根据各个违规子类别下的比对结果确定对应的分类损失，并通过该分类损失对该神经网络模型中的网络参数进行反向修正，并采用修正后的神经网络模型继续判断新的历史视频在不同违规子类别下的违规得分与该违规子类别下的分类标签之间的区别，进而得到新的分类损失，直至新的分类损失无法通过预设的迭代算法来降低，说明该神经网络模型训练完成，作为本实施例中的违规审核模型。
本实施例提供的技术方案，通过大量历史视频和该历史视频中的历史关键视频帧先训练违规分类模型，在违规分类模型训练完成后，继续训练违规审核模型，此时违规分类模型中的每一二分类模块仅针对对应违规子类别进行准确审核，解决了通过单一的深度神经网络模型实现待审核视频的多类别判定时训练过程复杂的问题，提高了模型训练的便捷性，保证视频审核的准确性。
实施例四
图4为本发明实施例四提供的一种视频审核系统的原理示意图。本实施例中主要以特定的应用场景对视频审核的具体过程进行详细描述。参照图4，本实施例的视频审核系统中可以包括审核服务器40和与审核服务器40通信连接的复审服务器41；该复审服务器41上配置有人工审核平台。
可选的，用户可以通过所在的用户终端上传对应的待审核视频，在待审核视频在互联网中传播之前，审核服务器40首先会获取用户终端上用户新上传的待审核视频，并采用本发明实施例中提供的视频审核的方法对该待审核视频进行审核，通过违规分类模型中不同违规子类别的二分类模块得到该待审核视频中的每一关键视频帧在不同违规子类别下的分类得分，并针对每一违规子类别，通过融合各个关键视频帧在该违规子类别下的分类得分，得到待审核视频在该违规子类别下的违规得分，此时如果待审核视频在对应违规子类别下的违规得分大于等于预设的违规阈值，可以将该待审核视频和该违规子类别发送给相应的复审服务器41，由复审服务器41上配置的人工审核平台的工作人员进一步对该待审核视频再次进行人工审核，也就是对审核服务器40确定待审核视频对应所属的违规子类别进行人工复审，从而确定该待审核视频的违规类别，并在人工审核完成后，由人工审核平台将待审核视频的违规类别中是否包括该违规子类别的人工审核结果作为对应的反馈信息返回给审核服务器40，从而使该审核服务器40判断该反馈信息中的人工审核的违规类别中是否应包括该违规子类别，若是则将该违规子类别作为该待审核视频的违规类别组成之一，直至得到包括待审核视频所属的全部违规子类别的违规类别组成。本实施例中通过机器审核和人工审核相结合的方式，进一步提升视频审核的精确度。
本实施例提供的技术方案，通过违规分类模型中不同违规子类别下的二分类模块分别对待审核视频中的每一关键视频帧进行对应违规子类别下的分类打分，进而针对每一违规子类别，通过融合待审核视频中多个关键视频帧在该违规子类别下的分类得分，而对多个关键视频帧的违规信息关联分析，得到待审核视频在该违规子类别下的违规得分，从而保证该违规得分的准确性，后续根据对应违规子类别下的违规得分确定待审核视频的违规类别中是否应包含该违规子类别，实现对待审核视频的多违规类别判定，避免造成对违规子类别的误判或漏判的问题，同时由于每个二分类模块仅针对某一对应违规子类别进行分类打分，保证待审核视频在不同违规子类别下的审核独立性，提高视频审核的全面性和准确性。
实施例五
图5为本发明实施例五提供的一种视频审核的装置的结构示意图，具体的，如图5所示，该装置可以包括：
分类得分确定模块510，用于将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过违规分类模型中不同违规子类别下的二分类模块得到各关键视频帧在对应违规子类别下的分类得分；
违规得分确定模块520，用于针对每一违规子类别，融合各关键视频帧在该违规子类别下的分类得分，得到待审核视频在该违规子类别下的违规得分；
违规类型审核模块530，用于根据待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定待审核视频的违规类别组成。
本实施例提供的技术方案，通过预先构建的违规分类模型中不同违规子类别下的二分类模块分别对待审核视频中的每一关键视频帧进行对应违规子类别下的分类打分，进而针对每一违规子类别，通过融合待审核视频中多个关键视频帧在该违规子类别下的分类得分，而对多个关键视频帧的违规信息关联分析，得到待审核视频在该违规子类别下的违规得分，从而保证该违规得分的准确性，后续根据对应违规子类别下的违规得分确定待审核视频的违规类别中是否应包含该违规子类别，实现对待审核视频的多违规类别判定，避免造成对违规子类别的误判或漏判的问题，同时由于每个二分类模块仅针对某一对应违规子类别进行分类打分，保证待审核视频在不同违规子类别下的审核独立性，提高视频审核的全面性和准确性。
进一步的，上述违规得分确定模块520，可以具体用于：
针对每一违规子类别，对各关键视频帧在该违规子类别下的分类得分进行排序；
将各关键视频帧在该违规子类别下排序后的分类得分统一输入预先构建的违规审核模型中，得到待审核视频在该违规子类别下的违规得分。
进一步的，上述视频审核的装置，还可以包括模型训练模块；
上述模型训练模块，可以具体用于：
提取历史视频中的历史关键视频帧，并分别确定历史视频和历史关键帧在不同违规子类别下的分类标签；
采用各历史关键视频帧和该历史关键视频帧在不同违规子类别下的分类标签，分别通过不同违规子类别下的二分类模型模块训练违规分类模型；
在违规分类模型训练完成后，将历史视频中的每一历史关键视频帧输入训练后的违规分类模型中，通过训练后的违规分类模型中不同违规子类别下的二分类模块得到历史关键视频帧在对应违规子类别下的分类得分；
针对每一违规子类别，采用历史视频中每一历史关键视频帧在该违规子类别下的分类得分以及历史视频在该违规子类别下的分类标签，训练违规审核模型。
进一步的，上述分类标签可以根据对应的人工标注信息确定。
进一步的，上述违规审核模型可以为XGBoost机器分类模型。
进一步的，上述违规类型审核模块530，可以具体用于：
如果待审核视频在对应违规子类别下的违规得分大于等于违规阈值，则该违规子类别作为违规类别组成之一，直至得到待审核视频的违规类别组成。
进一步的，上述该违规子类别作为违规类别组成之一，还可以满足如下条件：
将待审核视频和对应的违规子类别发送给人工审核平台；
如果收到人工审核平台对待审核视频的违规类别包括该违规子类别的反馈，则该违规子类别作为违规类别组成之一。
进一步的，上述违规阈值可以由人工审核平台在视频审核业务下设定的违规推送比例确定。
进一步的，上述视频审核的装置，还可以包括：
关键帧抽取模块，用于按照预设时间间隔依次抽取待审核视频中的视频帧，作为关键视频帧。
本实施例提供的视频审核的装置可适用于上述任意实施例提供的视频审核的方法，具备相应的功能和有益效果。
实施例六
图6为本发明实施例六提供的一种审核服务器的结构示意图，如图6所示，该审核服务器包括处理器60、存储装置61和通信装置62；审核服务器中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；审核服务器中的处理器60、存储装置61和通信装置62可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储装置61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的视频审核的方法对应的程序指令/模块。处理器60通过运行存储在存储装置61中的软件程序、指令以及模块，从而执行审核服务器的各种功能应用以及数据处理，即实现上述视频审核的方法。
存储装置61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至审核服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置62可用于实现审核服务器与用户终端之间的网络连接或者移动数据连接。
本实施例提供的一种审核服务器可用于执行上述任意实施例提供的视频审核的方法，具备相应的功能和有益效果。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的视频审核的方法。该方法具体可以包括：
将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过违规分类模型中不同违规子类别下的二分类模块得到各关键视频帧在对应违规子类别下的分类得分；
针对每一违规子类别，融合各关键视频帧在该违规子类别下的分类得分，得到待审核视频在该违规子类别下的违规得分；
根据待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定待审核视频的违规类别组成。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视频审核的方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述视频审核的装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种视频审核的方法，其特征在于，包括：
将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过所述违规分类模型中不同违规子类别下的二分类模块得到各所述关键视频帧在对应违规子类别下的分类得分；
针对每一违规子类别，融合各所述关键视频帧在该违规子类别下的分类得分，得到所述待审核视频在该违规子类别下的违规得分；
根据所述待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定所述待审核视频的违规类别组成。
2.根据权利要求1所述的方法，其特征在于，针对每一违规子类别，融合各所述关键视频帧在该违规子类别下的分类得分，得到所述待审核视频在该违规子类别下的违规得分，包括：
针对每一违规子类别，对各所述关键视频帧在该违规子类别下的分类得分进行排序；
将各所述关键视频帧在该违规子类别下排序后的分类得分统一输入预先构建的违规审核模型中，得到所述待审核视频在该违规子类别下的违规得分。
3.根据权利要求2所述的方法，其特征在于，在将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过所述违规分类模型中不同违规子类别下的二分类模块得到各所述关键视频帧在对应违规子类别下的分类得分之前，还包括：
提取历史视频中的历史关键视频帧，并分别确定所述历史视频和所述历史关键帧在不同违规子类别下的分类标签；
采用各所述历史关键视频帧和该历史关键视频帧在不同违规子类别下的分类标签，分别通过不同违规子类别下的二分类模块训练所述违规分类模型；
在所述违规分类模型训练完成后，将所述历史视频中的每一历史关键视频帧输入训练后的违规分类模型中，通过训练后的违规分类模型中不同违规子类别下的二分类模块得到所述历史关键视频帧在对应违规子类别下的分类得分；
针对每一违规子类别，采用所述历史视频中每一历史关键视频帧在该违规子类别下的分类得分以及所述历史视频在该违规子类别下的分类标签，训练所述违规审核模型。
4.根据权利要求3所述的方法，其特征在于，所述分类标签根据对应的人工标注信息确定。
5.根据权利要求2所述的方法，其特征在于，所述违规审核模型为XGBoost机器分类模型。
6.根据权利要求1所述的方法，其特征在于，根据所述待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定所述待审核视频的违规类别组成，包括：
如果所述待审核视频在对应违规子类别下的违规得分大于等于所述违规阈值，则该违规子类别作为违规类别组成之一，直至得到所述待审核视频的违规类别组成。
7.根据权利要求6所述的方法，其特征在于，该违规子类别作为违规类别组成之一，还满足如下条件：
将所述待审核视频和对应的违规子类别发送给人工审核平台；
如果收到所述人工审核平台对所述待审核视频的违规类别包括该违规子类别的反馈，则该违规子类别作为违规类别组成之一。
8.根据权利要求7所述的方法，其特征在于，所述违规阈值由所述人工审核平台在视频审核业务下设定的违规推送比例确定。
9.根据权利要求1-8任一项所述的方法，其特征在于，在将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过所述违规分类模型中不同违规子类别下的二分类模块得到各所述关键视频帧在对应违规子类别下的分类得分之前，还包括：
按照预设时间间隔依次抽取所述待审核视频中的视频帧，作为所述关键视频帧。
10.一种视频审核的装置，其特征在于，包括：
分类得分确定模块，用于将待审核视频中的每一关键视频帧输入预先构建的违规分类模型中，通过所述违规分类模型中不同违规子类别下的二分类模块得到各所述关键视频帧在对应违规子类别下的分类得分；
违规得分确定模块，用于针对每一违规子类别，融合各所述关键视频帧在该违规子类别下的分类得分，得到所述待审核视频在该违规子类别下的违规得分；
违规类型审核模块，用于根据所述待审核视频在不同违规子类别下的违规得分以及预设的违规阈值，确定所述待审核视频的违规类别组成。
11.一种审核服务器，其特征在于，所述审核服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的视频审核的方法。
12.一种视频审核系统，其特征在于，包括权利要求11所述的审核服务器以及与所述审核服务器通信连接的复审服务器，所述复审服务器上配置有人工审核平台，用于对所述审核服务器确定待审核视频对应所属的违规子类别进行人工复审，并向所述审核服务器反馈所述待审核视频的违规类别中是否包括该违规子类别的信息，由所述审核服务器根据所述复审服务器的反馈信息确定所述待审核视频的违规类别组成。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的视频审核的方法。
CN201911326157.2A 2019-12-20 2019-12-20 一种视频审核的方法、装置、审核服务器和存储介质 Active CN111090776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911326157.2A CN111090776B (zh) 2019-12-20 2019-12-20 一种视频审核的方法、装置、审核服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911326157.2A CN111090776B (zh) 2019-12-20 2019-12-20 一种视频审核的方法、装置、审核服务器和存储介质

Publications (2)

Publication Number Publication Date
CN111090776A true CN111090776A (zh) 2020-05-01
CN111090776B CN111090776B (zh) 2023-06-30

Family

ID=70395277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911326157.2A Active CN111090776B (zh) 2019-12-20 2019-12-20 一种视频审核的方法、装置、审核服务器和存储介质

Country Status (1)

Country Link
CN (1) CN111090776B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432232A (zh) * 2020-05-15 2020-07-17 中投视讯文化传媒(上海)有限公司 一种便捷式直播系统
CN112468842A (zh) * 2020-12-09 2021-03-09 北京有竹居网络技术有限公司 一种直播审核方法及装置
CN112637621A (zh) * 2020-12-09 2021-04-09 北京字节跳动网络技术有限公司 一种直播审核方法、装置、电子设备及存储介质
KR20210042284A (ko) * 2020-06-30 2021-04-19 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 비디오 타입 검출 방법, 장치, 전자기기 및 저장매체
CN112788356A (zh) * 2020-12-30 2021-05-11 百果园技术(新加坡)有限公司 一种直播审核的方法、装置、服务器和存储介质
CN112818888A (zh) * 2021-02-09 2021-05-18 广州市百果园信息技术有限公司 视频审核模型训练方法、视频审核方法及相关装置
CN113010721A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 一种图片审核方法、装置、电子设备及存储介质
CN113038153A (zh) * 2021-02-26 2021-06-25 深圳道乐科技有限公司 金融直播违规检测方法、装置、设备及可读存储介质
CN113221845A (zh) * 2021-06-07 2021-08-06 北京猎豹移动科技有限公司 广告审核方法、装置、设备及存储介质
CN113312504A (zh) * 2021-07-30 2021-08-27 北京远鉴信息技术有限公司 一种内容审核项目的管理方法、装置、设备及介质
CN113408470A (zh) * 2021-06-30 2021-09-17 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备、存储介质及程序产品
CN113438523A (zh) * 2021-07-06 2021-09-24 江西大江传媒网络股份有限公司 一种基于移动互联网的视频展播智能化分析反馈系统
WO2022068600A1 (zh) * 2020-09-30 2022-04-07 百果园技术(新加坡)有限公司 异常用户检测模型训练方法、异常用户审核方法及装置
CN114650447A (zh) * 2022-03-22 2022-06-21 中国电子技术标准化研究院 一种确定视频内容异常程度的方法、装置及计算设备
CN114760484A (zh) * 2021-01-08 2022-07-15 腾讯科技（深圳）有限公司 直播视频识别方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073676A (zh) * 2010-11-30 2011-05-25 中国科学院计算技术研究所 一种网络色情视频实时检测方法和系统
CN103854014A (zh) * 2014-02-25 2014-06-11 中国科学院自动化研究所 一种基于上下文稀疏表示的恐怖视频识别方法及装置
CN109409241A (zh) * 2018-09-28 2019-03-01 百度在线网络技术（北京）有限公司 视频核验方法、装置、设备及可读存储介质
CN109495766A (zh) * 2018-11-27 2019-03-19 广州市百果园信息技术有限公司 一种视频审核的方法、装置、设备和存储介质
CN109561322A (zh) * 2018-12-27 2019-04-02 广州市百果园信息技术有限公司 一种视频审核的方法、装置、设备和存储介质
CN109862394A (zh) * 2019-03-27 2019-06-07 北京周同科技有限公司 视频内容的审核方法、装置、设备和存储介质
CN110300309A (zh) * 2018-03-23 2019-10-01 北京京东尚科信息技术有限公司 视频审核的方法和系统
CN110309784A (zh) * 2019-07-02 2019-10-08 北京百度网讯科技有限公司 动作识别处理方法、装置、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073676A (zh) * 2010-11-30 2011-05-25 中国科学院计算技术研究所 一种网络色情视频实时检测方法和系统
CN103854014A (zh) * 2014-02-25 2014-06-11 中国科学院自动化研究所 一种基于上下文稀疏表示的恐怖视频识别方法及装置
CN110300309A (zh) * 2018-03-23 2019-10-01 北京京东尚科信息技术有限公司 视频审核的方法和系统
CN109409241A (zh) * 2018-09-28 2019-03-01 百度在线网络技术（北京）有限公司 视频核验方法、装置、设备及可读存储介质
CN109495766A (zh) * 2018-11-27 2019-03-19 广州市百果园信息技术有限公司 一种视频审核的方法、装置、设备和存储介质
CN109561322A (zh) * 2018-12-27 2019-04-02 广州市百果园信息技术有限公司 一种视频审核的方法、装置、设备和存储介质
CN109862394A (zh) * 2019-03-27 2019-06-07 北京周同科技有限公司 视频内容的审核方法、装置、设备和存储介质
CN110309784A (zh) * 2019-07-02 2019-10-08 北京百度网讯科技有限公司 动作识别处理方法、装置、设备和存储介质

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432232A (zh) * 2020-05-15 2020-07-17 中投视讯文化传媒(上海)有限公司 一种便捷式直播系统
EP3905122A3 (en) * 2020-06-30 2021-12-22 Beijing Baidu Netcom Science Technology Co., Ltd. Video type detection method, apparatus, electronic device and storage medium
KR20210042284A (ko) * 2020-06-30 2021-04-19 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 비디오 타입 검출 방법, 장치, 전자기기 및 저장매체
JP2021064385A (ja) * 2020-06-30 2021-04-22 北京百度網訊科技有限公司 映像タイプの検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム
KR102503201B1 (ko) * 2020-06-30 2023-02-23 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 비디오 타입 검출 방법, 장치, 전자기기 및 저장매체
US11544927B2 (en) 2020-06-30 2023-01-03 Beijing Baidu Netcom Science Technology Co., Ltd. Video type detection method and apparatus based on key frame, and storage medium
JP7164588B2 (ja) 2020-06-30 2022-11-01 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 映像タイプの検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム
WO2022068600A1 (zh) * 2020-09-30 2022-04-07 百果园技术(新加坡)有限公司 异常用户检测模型训练方法、异常用户审核方法及装置
CN112468842A (zh) * 2020-12-09 2021-03-09 北京有竹居网络技术有限公司 一种直播审核方法及装置
CN112637621A (zh) * 2020-12-09 2021-04-09 北京字节跳动网络技术有限公司 一种直播审核方法、装置、电子设备及存储介质
CN112788356B (zh) * 2020-12-30 2023-04-28 百果园技术(新加坡)有限公司 一种直播审核的方法、装置、服务器和存储介质
US12010358B2 (en) 2020-12-30 2024-06-11 Bigo Technology Pte. Ltd. Live streaming moderating method and apparatus, server, and storage medium
EP4274236A4 (en) * 2020-12-30 2024-05-08 Bigo Technology Pte. Ltd. METHOD AND APPARATUS FOR TESTING LIVE STREAMING, SERVER AND STORAGE MEDIUM
CN112788356A (zh) * 2020-12-30 2021-05-11 百果园技术(新加坡)有限公司 一种直播审核的方法、装置、服务器和存储介质
CN114760484B (zh) * 2021-01-08 2023-11-07 腾讯科技（深圳）有限公司 直播视频识别方法、装置、计算机设备和存储介质
CN114760484A (zh) * 2021-01-08 2022-07-15 腾讯科技（深圳）有限公司 直播视频识别方法、装置、计算机设备和存储介质
CN112818888A (zh) * 2021-02-09 2021-05-18 广州市百果园信息技术有限公司 视频审核模型训练方法、视频审核方法及相关装置
CN113038153A (zh) * 2021-02-26 2021-06-25 深圳道乐科技有限公司 金融直播违规检测方法、装置、设备及可读存储介质
CN113010721A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 一种图片审核方法、装置、电子设备及存储介质
CN113010721B (zh) * 2021-03-17 2023-10-10 北京百度网讯科技有限公司 一种图片审核方法、装置、电子设备及存储介质
CN113221845A (zh) * 2021-06-07 2021-08-06 北京猎豹移动科技有限公司 广告审核方法、装置、设备及存储介质
CN113408470A (zh) * 2021-06-30 2021-09-17 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备、存储介质及程序产品
CN113408470B (zh) * 2021-06-30 2024-03-08 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备、存储介质及程序产品
CN113438523B (zh) * 2021-07-06 2021-12-21 江西大江传媒网络股份有限公司 一种基于移动互联网的视频展播智能化分析反馈系统
CN113438523A (zh) * 2021-07-06 2021-09-24 江西大江传媒网络股份有限公司 一种基于移动互联网的视频展播智能化分析反馈系统
CN113312504A (zh) * 2021-07-30 2021-08-27 北京远鉴信息技术有限公司 一种内容审核项目的管理方法、装置、设备及介质
CN114650447A (zh) * 2022-03-22 2022-06-21 中国电子技术标准化研究院 一种确定视频内容异常程度的方法、装置及计算设备
CN114650447B (zh) * 2022-03-22 2024-05-14 中国电子技术标准化研究院 一种确定视频内容异常程度的方法、装置及计算设备

Also Published As

Publication number Publication date
CN111090776B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN111090776A (zh) 一种视频审核的方法、装置、审核服务器和存储介质
CN109561322B (zh) 一种视频审核的方法、装置、设备和存储介质
CN111382623B (zh) 一种直播审核的方法、装置、服务器和存储介质
CN111382291B (zh) 机器审核方法、装置及机器审核服务器
CN111225234B (zh) 视频审核方法、视频审核装置、设备和存储介质
US9171072B2 (en) System and method for real-time dynamic measurement of best-estimate quality levels while reviewing classified or enriched data
US8886660B2 (en) Method and apparatus for tracking a change in a collection of web documents
CN113469298B (zh) 模型训练方法及资源推荐方法
CN104702492A (zh) 垃圾消息模型训练方法、垃圾消息识别方法及其装置
CN109062950A (zh) 一种文本标注的方法及装置
CN108550054B (zh) 一种内容质量评估方法、装置、设备和介质
CN110956123B (zh) 一种富媒体内容的审核方法、装置、服务器及存储介质
WO2022083401A1 (zh) 资源审核模型的训练方法、装置、服务器和存储介质
CN112070120A (zh) 威胁情报的处理方法、装置、电子装置和存储介质
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN112434178A (zh) 图像分类方法、装置、电子设备和存储介质
CN112163072A (zh) 基于多数据源的数据处理方法以及装置
CN112464036A (zh) 一种违规数据的审核方法及装置
CN112153378A (zh) 一种视频审核能力的测试方法及其系统
CN113900935A (zh) 一种缺陷自动识别方法、装置、计算机设备及存储介质
CN109299132B (zh) Sql数据处理方法、系统以及电子设备
CN116383710A (zh) 标签确定方法、装置、电子设备及存储介质
CN111985226A (zh) 标注数据生成方法及装置
CN117271713A (zh) 关联对象识别方法、装置、电子设备及存储介质
CN112788356A (zh) 一种直播审核的方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231008

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511400 floor 5-13, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right