CN112287793A - 资源审核模型的训练方法、装置、服务器和存储介质 - Google Patents

资源审核模型的训练方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN112287793A
CN112287793A CN202011139701.5A CN202011139701A CN112287793A CN 112287793 A CN112287793 A CN 112287793A CN 202011139701 A CN202011139701 A CN 202011139701A CN 112287793 A CN112287793 A CN 112287793A
Authority
CN
China
Prior art keywords
model
resource
audit
tuning
auditing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011139701.5A
Other languages
English (en)
Inventor
易帆
张壮辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Peninsula Beijing Information Technology Co ltd
Original Assignee
You Peninsula Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Peninsula Beijing Information Technology Co ltd filed Critical You Peninsula Beijing Information Technology Co ltd
Priority to CN202011139701.5A priority Critical patent/CN112287793A/zh
Publication of CN112287793A publication Critical patent/CN112287793A/zh
Priority to PCT/CN2021/120124 priority patent/WO2022083401A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种资源审核模型的训练方法、装置、服务器和存储介质。其中，该方法包括：确定预先训练的基准审核模型；采用基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型，调优样本为对基准审核模型的高违规审核存在正向影响的候选资源。本发明实施例提供的技术方案，通过对该基准审核模型不断进行高违规审核下的调优，逐步避免基准审核模型在高违规审核下的审核误差，从而提升资源审核模型在高违规审核下的高准确性，保证资源审核模型在高违规审核下的审核可信度。

Description

资源审核模型的训练方法、装置、服务器和存储介质
技术领域
本发明实施例涉及视频处理技术领域，尤其涉及一种资源审核模型的训练方法、装置、服务器和存储介质。
背景技术
随着短视频、直播和新闻资讯等多媒体平台的迅速崛起，面向用户传播的多媒体资源与日俱增，此时为了确保多媒体资源传播的内容安全性，对于涉及暴力、血腥、黄赌毒以及危及青少年健康成长等不良导向内容的监管力度也不断提升，通常会采用预先训练的资源审核模型过滤出大量正常的多媒体资源，然后将可能违规的多媒体资源推送给人工审核平台，以协助人工审核。
此时，为了进一步减轻人工审核的负担，资源审核模型还可以将违规得分较高的多媒体资源直接判定为违规资源，无需人工审核，然而由于训练样本中部分资源数据的标签模糊不容易界定，或者标注含有噪声，使得所训练出的资源审核模型无法保证违规审核的高准确率，因此资源审核模型输出的违规得分较高的多媒体资源中可能仍然存在与违规内容极为相似的正常资源，因此为了保证资源审核模型进行违规审核的高准确率，现有技术中通常会在模型训练过程中通过调整用于计算样本损失的权重来着重关注训练样本中的正样本，或者通过从训练样本中挖掘困难样本，来对资源审核模型进行增强训练，然而上述方案仍无法从违规得分较高的多媒体资源准确区分出难负样本和易正样本，也就无法保证资源审核模型对于高违规得分下多媒体资源进行审核的高准确率。
发明内容
本发明实施例提供了一种资源审核模型的训练方法、装置、服务器和存储介质，提高资源审核模型在高违规审核下的准确率。
第一方面，本发明实施例提供了一种资源审核模型的训练方法，该方法包括：
确定预先训练的基准审核模型；
采用所述基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对所述基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型，所述调优样本为对所述基准审核模型的高违规审核存在正向影响的候选资源。
第二方面，本发明实施例提供了一种资源审核模型的训练装置，该装置包括：
基准模型确定模块，用于确定预先训练的基准审核模型；
模型调优训练模块，用于采用所述基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对所述基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型，所述调优样本为对所述基准审核模型的高违规审核存在正向影响的候选资源。
第三方面，本发明实施例提供了一种服务器，该服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的资源审核模型的训练方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的资源审核模型的训练方法。
本发明实施例提供的一种资源审核模型的训练方法、装置、服务器和存储介质，在预先训练好基准审核模型后，不断从候选资源集中动态挖掘出可能会对基准审核模型在高违规审核下的审核结果造成影响的调优样本，然后采用该基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对该基准审核模型不断进行调优，逐步避免基准审核模型在高违规审核下的审核误差，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为对应的资源审核模型，从而提升资源审核模型在高违规审核下的高准确性，保证资源审核模型在高违规审核下的审核可信度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A为本发明实施例一提供的一种资源审核模型的训练方法的流程图；
图1B为本发明实施例一提供的资源审核模型的训练过程的原理示意图；
图2A为本发明实施例二提供的一种资源审核模型的训练方法的流程图；
图2B为本发明实施例二提供的资源审核模型的训练过程的原理示意图；
图3A为本发明实施例三提供的一种资源审核模型的训练方法的流程图；
图3B为本发明实施例三提供的方法中通过资源审核模型对于线上的待审核资源进行审核的原理示意图；
图4为本发明实施例四提供的一种资源审核模型的训练装置的结构示意图；
图5为本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1A为本发明实施例一提供的一种资源审核模型的训练方法的流程图，本实施例可适用于对用于判定任一种多媒体资源是否违规的资源审核模型进行训练的情况中。本实施例提供的资源审核模型的训练方法可以由本发明实施例提供的资源审核模型的训练装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的服务器中。
具体的，参考图1A，该方法可以包括如下步骤：
S110，确定预先训练的基准审核模型。
具体的，为了保证多媒体资源传播的内容安全性，减少违规资源的广泛传播，则需要准确判定通过各类多媒体平台上传的多媒体资源是否违规，其中本实施例中的多媒体资源可以包括短视频、直播和新闻资讯等各类资源。
目前，为了判定多媒体资源是否违规，通常会针对每一类多媒体资源，预先训练出对应的神经网络模型，然后将多媒体资源输入到该神经网络模型中，由该神经网络模型来判定多媒体资源内是否存在违规内容，此时由于神经网络模型通常会将大量准确标注好是否违规的历史资源作为训练样本进行训练，而训练样本中包括标注为违规的正样本和标注为正常的负样本，因此采用大量正样本和负样本所训练出的神经网络模型基本上能够准确排查出可能违规的多媒体资源，而且所排查出可能违规的多媒体资源中除了包括真实的违规资源外，还可能会存在与违规资源非常相似的正常资源，例如在将存在枪支头部的图片作为正样本来训练神经网络模型后，如果将该图片中的枪支头部替换为木棍头部，那么极有可能将存在木棍头部的图片判定为违规资源，因此为了保证多媒体资源是否违规的判定准确性，在通过预先训练的神经网络模型排查出可能违规的多媒体资源后，还会将所排查出的多媒体资源推送给人工审核平台，由人工判定可能违规的多媒体资源是否存在真实的违规内容，此时采用模型审核和人工审核共同判定资源违规情况的方式，能够保证违规资源的审核准确性。
但是，由于通过神经网络模型判定的可能违规的多媒体资源数量较多，使得人工审核的负担较大，因此为了进一步减轻人工审核的负担，会按照神经网络模型对各个多媒体资源判定的违规得分将该神经网络模型的审核结果划分为高违规审核和低违规审核两个区域，高违规审核可以为违规得分较高的审核结果，低违规审核可以为处于判定可能违规与高违规审核之间的审核结果，此时可以将高违规审核下的审核结果直接作为违规资源进行处理，无需人工审核，因此为了在减轻人工审核负担的基础上，确保违规审核的准确性，还需要对预先训练的神经网络模型在高违规审核下的违规审核能力进行优化，以确保神经网络模型在高违规审核下的高准确性，也就是对于预先训练的神经网络模型，需要进一步优化该神经网络模型的高违规审核能力，从而训练出高准确性的资源审核模型。因此，在训练高准确性的资源审核模型时，首先需要确定预先训练好的神经网络模型，作为本实施例中的基准审核模型，然后通过对该基准审核模型的高违规审核能力进行优化，而训练出高准确性的资源审核模型。
S120，采用基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型。
可选的，在对基准审核模型的高违规审核能力进行优化时，首先需要分析在训练过程中能够对该基准审核模型的高违规审核能力造成正向影响的样本类别，然后从预先构建的候选资源集中按照该样本类别不断挖掘出对应的候选资源，作为本实施例中的调优样本，也就是本实施例中的调优样本为对基准审核模型的高违规审核存在正向影响的候选资源，此时相对于基准审核模型在训练时所采用的原训练样本来说，候选资源集可能仅经过初步的违规审核，而为了确保基准审核模型的违规审核准确性，原训练样本会经过多次违规审核，从而确保原训练样本所标注的标签类别较为准确，也就是经过初步违规审核的候选资源集内每一候选资源所标注的标签类别可能出现错误，因此在通过候选资源集来挖掘调优样本时，可以使调优样本与基准审核模型在训练时所采用的原训练样本区分开来，后续在每次从候选资源集中挖掘出一批调优样本后，均可以对该基准审核模型在高违规审核下进行一次调优，以便训练出高准确性的资源审核模型。
示例性的，现有的基准审核模型在对候选资源集进行违规审核时，在高违规审核下通常会存在真实的违规资源以及与真实违规资源非常相似的正常资源，此时为了确保高违规审核下的模型准确性，会要求基准审核模型调优后的目标是在高违规审核下存在尽可能多的标注为违规的正样本和尽可能少的标注为正常的负样本，也就是本实施例中的调优样本可以包括易正样本和难负样本，易正样本可以为经过调优后的基准审核模型审核后输出的违规得分较高，且标注为真实违规的正样本，难负样本可以为经过调优后的基准审核模型审核后输出的违规得分较高，且标注为正常的负样本，此时由于基准审核模型在每次调优后，会对应提升调优后的基准审核模型的高违规审核能力，从而不断增加基准审核模型在高违规审核下的审核鲁棒性，因此针对基准审核模型在每次调优后的高违规审核能力，可以不断从候选资源集中动态挖掘出不同的易正样本和难负样本，作为本实施例中的调优样本，如图1B所示，然后采用基准审核模型的原训练样本，以及从候选资源集中动态挖掘的各个调优样本，不断对该基准审核模型进行高违规审核下的调优，使得基准审核模型在每次调优后能够提升在高违规审核下易正样本的违规得分，且降低在高违规审核下难负样本的违规得分，从而使每次调优后的基准审核模型对多媒体资源进行违规审核时，能够不断减少高违规审核下存在的与真实违规资源非常相似的正常资源，在每次调优后不断增强基准审核模型在高违规审核下的准确性。
需要说明的是，本实施例可以在候选资源集内不断添加新的候选资源，使得候选资源集是动态变化的，从而保证调优样本的全面性。
进一步的，本实施例采用基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对基准审核模型不断进行高违规审核下的调优后，由于基准审核模型在每次调优后，会不断提升基准审核模型的高违规审核能力，因此可以参照调优样本的挖掘情况或者基准审核模型在高违规审核下训练损失的变化情况，预先为基准审核模型设置对应的预设调优收敛条件，本实施例中的预设调优收敛条件可以为利用调优后的基准审核模型当前挖掘出的调优样本数量低于预设挖掘阈值，或者调优后的基准审核模型在高违规审核下的训练损失达到收敛。此时，在每次对基准审核模型进行调优后，均会判断本次调优后的基准审核模型是否满足该预设调优收敛条件，如果不满足预设调优收敛条件，则按照当前调优后的基准审核模型的高违规审核能力，继续从候选资源集中挖掘对应的调优样本，并采用基准审核模型的原训练样本，以及从候选资源集中动态挖掘的各个调优样本，继续对基准审核模型进行高违规审核下的调优；而如果满足预设调优收敛条件，说明本次调优后的基准审核模型已经具备高准确性的高违规审核能力，且能够确保在高违规审核下的准确性，那么不再对该基准审核模型进行高违规审核下的调优，并直接将最终调优后的基准审核模型作为对应的资源审核模型，此时该资源审核模型保证在高违规审核下的高准确性，同时提高资源审核模型在高违规审核下的审核可信度。
本实施例提供的技术方案，在预先训练好基准审核模型后，不断从候选资源集中动态挖掘出可能会对基准审核模型在高违规审核下的审核结果造成影响的调优样本，然后采用该基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对该基准审核模型不断进行调优，逐步避免基准审核模型在高违规审核下的审核误差，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为对应的资源审核模型，从而提升资源审核模型在高违规审核下的高准确性，保证资源审核模型在高违规审核下的审核可信度。
实施例二
图2A为本发明实施例二提供的一种资源审核模型的训练方法的流程图，图 2B为本发明实施例二提供的资源审核模型的训练过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，如图2A所示，本实施例主要对于基准审核模型在高违规审核下的具体调优过程进行详细的解释说明。
可选的，如图2A所示，本实施例中可以包括如下步骤：
S210，确定预先训练的基准审核模型。
S220，针对每次调优后的基准审核模型，基于该基准审核模型内动态设置的高违规阈值，从候选资源集中挖掘对应的调优样本。
可选的，在对预先训练的基准审核模型进行不断调优时，基准审核模型的高违规审核能力也会得到不断提升，此时为了确保调优样本的动态挖掘准确性，本实施例可以采用不断调优的基准审核模型来从候选资源集中动态挖掘对应的调优样本。
具体的，本实施例首先会通过分析预先训练好的未经过调优的基准审核模型的初始高违规审核能力，为该基准审核模型设置初始的高违规阈值，然后通过该基准审核模型对候选资源集中的全部候选资源或者随机抽取的部分候选资源进行违规审核，并按照该基准审核模型内初始的高违规阈值和具体的违规审核结果，从候选资源集中挖掘出对应的调优样本，以便后续采用该基准审核模型的原训练样本以及所挖掘出的调优样本对该基准审核模型进行高违规审核下的调优，然后针对调优后的基准审核模型，可以根据该基准审核模型在调优后所具体提升的高违规审核能力，动态调整调优后的基准审核模型内所设置的高违规阈值，从而按照动态调整后的高违规阈值继续从候选资源集中挖掘对应的调优样本，依次循环，可以根据每次调优后的基准审核模型内动态设置的高违规阈值，不断从候选资源集中挖掘出对应的调优样本，从而确保调优样本的全面性和准确性。
示例性的，本实施例按照基准审核模型在每次调优后的高违规审核能力，动态调整该基准审核模型内的高违规阈值时，可以针对每次调优后的基准审核模型，按照前次挖掘出的调优样本数量自适应动态调整该基准审核模型内的高违规阈值，或者人为分析基准审核模型在每次调优后的高违规审核能力，并动态设置对应的高违规阈值。
同时，在采用每次调优后的基准审核模型从候选资源集中动态挖掘对应的调优样本时，如图2B所示，具体可以包括：针对每次调优后的基准审核模型，将候选资源集输入到该基准审核模型中，得到各候选资源的违规得分；将违规得分大于等于该基准审核模型内动态设置的高违规阈值的候选资源作为所述调优样本，并确定调优样本的标签类别。
具体的，本实施例可以将候选资源集中的全部候选资源或者随机抽取的部分候选资源不断输入到每次调优后的基准审核模型中，通过每次调优后的基准审核模型对候选资源集中相应的候选资源进行违规审核，从而输出各个候选资源的违规得分，此时由于每次调优后的基准审核模型内，会动态设置有与当前的高违规审核能力相匹配的高违规阈值，因此通过比对每次调优后的基准审核模型内所动态设置的高违规阈值与该基准审核模型所输出的各个候选资源的违规得分之间的大小，筛选出违规得分大于等于该基准审核模型内动态设置的高违规阈值的候选资源，并将所筛选出的候选资源作为本次调优参考的调优样本，同时为了确保后续基准审核模型的调优准确性，还需要分析各个调优样本的标签类别，也就是判断各个调优样本是否为违规资源，此时本实施例中可以按照各个调优样本在候选资源集中的候选标签来设置对应的标签类别；或者，将各个调优样本推送给人工审核平台，由人工设置该调优样本的标签类别，从而确保调优样本的准确性。
S230，采用该基准审核模型的原训练样本和动态挖掘出的调优样本，继续对该基准审核模型进行高违规审核下的调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型。
可选的，针对每次调优后的基准审核模型，通过该基准审核模型从候选资源集中挖掘出对应的调优样本后，可以采用该基准审核模型的原训练样本和动态挖掘出的调优样本，继续对该基准审核模型进行高违规审核下的调优，从而不断增加基准审核模型在高违规审核下对于易正样本的违规得分，并降低基准审核模型在高违规审核下对于难负样本的违规得分，从而不断提升基准审核模型在高违规审核下的违规审核准确性，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为对应的资源审核模型，此时资源审核模型在高违规审核下能够保持极高的准确性。
此时，为了确保基准审核模型在高违规审核下的不断调优时，调优样本的参与全面性，本实施例在通过每次调优后的基准审核模型从候选资源集中挖掘出对应的调优样本后，针对每次调优后的基准审核模型，还会将当前挖掘出的调优样本添加到预先构建的样本挖掘库中，以便在后续采用基准审核模型的原训练样本和动态挖掘出的调优样本，不断对该基准审核模型进行高违规审核下的调优时，可以直接采用由该基准审核模型的原训练样本和样本挖掘库共同组成的混合样本，继续对该基准审核模型进行高违规审核下的调优，也就是首先将基准审核模型的原训练样本和所构建的样本挖掘库内添加的各个调优样本共同组成对应的混合样本，然后采用该混合样本继续对该基准审核模型进行高违规审核下的调优，然后继续从候选资源库中挖掘对应的调优样本，并添加至样本挖掘库，依次循环，不断对基准审核模型进行高违规审核下的调优，从而保证最终得到的资源审核模型在高违规审核下的高准确性。
本实施例提供的技术方案，在预先训练好基准审核模型后，会通过对该基准审核模型不断进行高违规审核下的调优，来提升基准审核模型在高违规审核下的准确性，此时可以按照每次调优后的基准审核模型内动态设置的高违规阈值，不断从候选资源集中动态挖掘出可能会对基准审核模型在高违规审核下的审核结果造成影响的调优样本，从而确保调优样本的全面性和准确性；然后采用该基准审核模型的原训练样本和动态挖掘的调优样本，对该基准审核模型不断进行高违规审核下的调优，逐步避免基准审核模型在高违规审核下的审核误差，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为对应的资源审核模型，从而提升资源审核模型在高违规审核下的高准确性，保证资源审核模型在高违规审核下的审核可信度。
实施例三
图3A为本发明实施例三提供的一种资源审核模型的训练方法的流程图，图 3B为本发明实施例三提供的方法中通过资源审核模型对于线上的待审核资源进行审核的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，如图3A所示，本实施例主要对于基准审核模型的预先训练过程以及通过资源审核模型对线上的待审核资源的具体审核过程进行详细的解释说明。
可选的，如图3A所示，本实施例中可以包括如下步骤：
S310，将原训练样本划分为对应的训练集和验证集。
可选的，为了确保基准审核模型在训练后能够具有较高的违规审核准确性，本实施例会要求原训练样本的样本标签较为准确，而且原训练样本的覆盖范围能够均匀分布且全面，因此在获取原训练样本时，会采用种类丰富的资源，并且对原训练样本进行多次违规审核，以确保样本标签的准确性；然后将原训练样本划分为对应的训练集和验证集，训练集用于训练基准审核模型，验证集用于判断所训练出的基准审核模型的违规审核准确性。
S320，在利用训练集按照预设训练策略每次训练神经网络模型时，采用当前训练的神经网络模型对验证集进行违规审核。
可选的，在将原训练样本划分为训练集和验证集之后，会按照预设训练策略在该训练集上不断训练对应的神经网络模型，该预设训练策略可以包括数据增强算法、学习率动态调整方式和权重衰减正则化算法等各类训练算法，同时在利用该训练集按照预设训练策略每次训练该神经网络模型时，还会采用当前训练的神经网络模型对验证集进行违规审核，以分析当前训练的神经网络模型对于多媒体资源的违规审核准确性。
S330，按照训练集和验证集在每次训练的神经网络模型下的违规审核准确率差异，以及每次训练的神经网络模型的收敛状态，筛选出对应的基准审核模型。
可选的，在每次采用训练集训练神经网络模型后，均会采用当前训练的神经网络模型对验证集再次进行违规审核，然后分别判断每次训练的神经网络模型对于训练集和验证集的违规审核准确性，以及神经网络模型在每次训练后的训练损失收敛状态，从而判定训练集和验证集在每次训练的神经网络模型下的违规审核准确率差异，然后从每次训练的神经网络模型中，筛选出训练集和验证集在每次训练的神经网络模型下的违规审核准确率差异低于预设差异值，且神经网络模型的收敛状态能够达到稳定收敛的神经网络模型，并将其作为本实施例中预先训练的基准审核模型，此时该基准审核模型能够具备较为准确的违规审核能力。
S340，采用基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型。
S350，线上发布资源审核模型。
本实施例中，在训练出高准确性的资源审核模型后，为了实时对线上资源进行违规审核，以确保资源传播的安全性，本实施例还会将该资源审核模型在线上进行发布，使得资源在线上传播前，均需要通过该资源审核模型对其进行违规审核，以避免违规资源的广泛传播。
S360，将线上的待审核资源输入到资源审核模型中，得到待审核资源的违规得分；如果待审核资源的违规得分大于等于资源审核模型内设置的高违规阈值，则确定待审核资源为违规资源；如果待审核资源的违规得分大于等于资源审核模型内设置的常规违规阈值，且小于资源审核模型内设置的高违规阈值，则将待审核资源推送给人工审核平台，确定待审核资源的人工审核结果。
可选的，对于线上资源的审核，可以将线上的待审核资源不断输入到该资源审核模型中，通过该资源审核模型对该待审核资源进行违规审核，从而得到该待审核资源的违规得分，此时为了准确判定待审核资源是否违规，资源审核模型中会针对具体的训练情况，预先设置对应的常规违规阈值和高违规阈值，该常规违规阈值用于筛选可能为违规资源的待审核资源，该高违规阈值用于筛选真实的违规资源，也就是如果某一待审核资源的违规得分大于等于资源审核模型内设置的高违规阈值，则由于该资源审核模型在高违规审核下具备极高的违规审核准确性，因此可以直接确定该待审核资源为违规资源，无需推送给人工审核平台进行人工审核，从而减轻了人工审核负担；而如果某一待审核资源的违规得分大于等于资源审核模型内设置的常规违规阈值，且小于资源审核模型内设置的高违规阈值，则说明该待审核资源可能为违规资源，但是无法确定违规的真实性，因此可以将该待审核资源推送给人工审核平台，由人工审核平台的审核人员来判断该待审核资源是否违规，从而确定待审核资源的人工审核结果，从而保证待审核资源的违规审核准确性。
此外，为了确保资源审核模型在线上的违规审核准确性，本实施例在线上发布该资源审核模型之前，还可以获取线上资源集，然后通过该资源审核模型对该线上资源集进行违规审核，进而根据线上违规审核结果来设置该资源审核模型内的常规违规阈值和高违规阈值，以确保资源审核模型在线上的违规审核准确性。
本实施例提供的技术方案，通过将原训练样本划分为对应的训练集和验证集，来对基准审核模型进行预先训练，保证基准审核模型对于违规审核的基本准确性，然后在对基准审核模型不断进行高违规审核下的调优后，得到高准确性的资源审核模型，提升资源审核模型在高违规审核下的高准确性，保证资源审核模型在高违规审核下的审核可信度；同时在线上发布该资源审核模型，从而采用该资源审核模型对线上的各个待审核资源进行违规审核，得到各个待审核资源的违规得分，此时由于资源审核模型在高违规审核下的高准确性，可以将违规得分高于该资源审核模型内设置的高违规阈值的待审核资源直接作为违规资源，无需推送给人工审核平台进行人工审核，从而在保证资源审核模型在高违规审核下的高准确性的基础上，减轻了人工审核负担。
实施例四
图4为本发明实施例四提供的一种资源审核模型的训练装置的结构示意图，具体的，如图4所示，该装置可以包括：
基准模型确定模块410，用于确定预先训练的基准审核模型；
模型调优训练模块420，用于采用所述基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对所述基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型，所述调优样本为对所述基准审核模型的高违规审核存在正向影响的候选资源。
本实施例提供的技术方案，在预先训练好基准审核模型后，不断从候选资源集中动态挖掘出可能会对基准审核模型在高违规审核下的审核结果造成影响的调优样本，然后采用该基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对该基准审核模型不断进行调优，逐步避免基准审核模型在高违规审核下的审核误差，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为对应的资源审核模型，从而提升资源审核模型在高违规审核下的高准确性，保证资源审核模型在高违规审核下的审核可信度。
本实施例提供的资源审核模型的训练装置可适用于上述任意实施例提供的资源审核模型的训练方法，具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种服务器的结构示意图，如图5所示，该服务器包括处理器50、存储装置51和通信装置52；服务器中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；服务器中的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。
本实施例提供的一种服务器可用于执行上述任意实施例提供的资源审核模型的训练方法，具备相应的功能和有益效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的资源审核模型的训练方法。该方法具体可以包括：
确定预先训练的基准审核模型；
采用所述基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对所述基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型，所述调优样本为对所述基准审核模型的高违规审核存在正向影响的候选资源。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的资源审核模型的训练方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述资源审核模型的训练装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种资源审核模型的训练方法，其特征在于，包括：
确定预先训练的基准审核模型；
采用所述基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对所述基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型，所述调优样本为对所述基准审核模型的高违规审核存在正向影响的候选资源。
2.根据权利要求1所述的方法，其特征在于，所述采用所述基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对所述基准审核模型不断进行调优，包括：
针对每次调优后的基准审核模型，基于该基准审核模型内动态设置的高违规阈值，从所述候选资源集中挖掘对应的调优样本；
采用该基准审核模型的原训练样本和动态挖掘出的调优样本，继续对该基准审核模型进行高违规审核下的调优。
3.根据权利要求2所述的方法，其特征在于，所述基于该基准审核模型内动态设置的高违规阈值，从所述候选资源集中挖掘对应的调优样本，包括：
将所述候选资源集输入到该基准审核模型中，得到各候选资源的违规得分；
将所述违规得分大于等于该基准审核模型内动态设置的高违规阈值的候选资源作为所述调优样本，并确定所述调优样本的标签类别。
4.根据权利要求3所述的方法，其特征在于，所述确定所述调优样本的标签类别，包括：
按照所述调优样本的候选标签设置对应的标签类别；或者，
将所述调优样本推送给人工审核平台，以人工设置所述调优样本的标签类别。
5.根据权利要求2所述的方法，其特征在于，在基于该基准审核模型内动态设置的高违规阈值，从所述候选资源集中挖掘对应的调优样本之前，还包括：
针对每次调优后的基准审核模型，按照前次挖掘出的调优样本数量自适应动态调整该基准审核模型内的高违规阈值。
6.根据权利要求2所述的方法，其特征在于，在基于该基准审核模型内动态设置的高违规阈值，从所述候选资源集中挖掘对应的调优样本之后，还包括：
针对每次调优后的基准审核模型，将当前挖掘出的调优样本添加到预先构建的样本挖掘库中；
相应的，采用该基准审核模型的原训练样本和动态挖掘出的调优样本，继续对该基准审核模型进行高违规审核下的调优，包括：
采用由该基准审核模型的原训练样本和所述样本挖掘库共同组成的混合样本，继续对该基准审核模型进行高违规审核下的调优。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述预设调优收敛条件为利用调优后的基准审核模型当前挖掘出的调优样本数量低于预设挖掘阈值，或者调优后的基准审核模型在高违规审核下的训练损失达到收敛。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述基准审核模型通过执行如下步骤进行预先训练：
将所述原训练样本划分为对应的训练集和验证集；
在利用所述训练集按照预设训练策略每次训练神经网络模型时，采用当前训练的神经网络模型对所述验证集进行违规审核；
按照所述训练集和所述验证集在每次训练的神经网络模型下的违规审核准确率差异，以及每次训练的神经网络模型的收敛状态，筛选出对应的基准审核模型。
9.根据权利要求8所述的方法，其特征在于，所述预设训练策略包括数据增强算法、学习率动态调整方式和权重衰减正则化算法。
10.根据权利要求1-6任一项所述的方法，其特征在于，在将最终调优后的基准审核模型作为资源审核模型之后，还包括：
线上发布所述资源审核模型。
11.根据权利要求10所述的方法，其特征在于，在线上发布所述资源审核模型之后，还包括：
将线上的待审核资源输入到所述资源审核模型中，得到所述待审核资源的违规得分；
如果所述待审核资源的违规得分大于等于所述资源审核模型内设置的高违规阈值，则确定所述待审核资源为违规资源；
如果所述待审核资源的违规得分大于等于所述资源审核模型内设置的常规违规阈值，且小于所述资源审核模型内设置的高违规阈值，则将所述待审核资源推送给人工审核平台，确定所述待审核资源的人工审核结果。
12.根据权利要求11所述的方法，其特征在于，在线上发布所述资源审核模型之前，还包括：
通过所述资源审核模型对线上资源集进行违规审核，并根据线上违规审核结果设置所述资源审核模型内的常规违规阈值和高违规阈值。
13.一种资源审核模型的训练装置，其特征在于，包括：
基准模型确定模块，用于确定预先训练的基准审核模型；
模型调优训练模块，用于采用所述基准审核模型的原训练样本，以及从候选资源集中动态挖掘的调优样本，对所述基准审核模型不断进行调优，直至调优后的基准审核模型满足预设调优收敛条件，则将最终调优后的基准审核模型作为资源审核模型，所述调优样本为对所述基准审核模型的高违规审核存在正向影响的候选资源。
14.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的资源审核模型的训练方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的资源审核模型的训练方法。
CN202011139701.5A 2020-10-22 2020-10-22 资源审核模型的训练方法、装置、服务器和存储介质 Pending CN112287793A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011139701.5A CN112287793A (zh) 2020-10-22 2020-10-22 资源审核模型的训练方法、装置、服务器和存储介质
PCT/CN2021/120124 WO2022083401A1 (zh) 2020-10-22 2021-09-24 资源审核模型的训练方法、装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139701.5A CN112287793A (zh) 2020-10-22 2020-10-22 资源审核模型的训练方法、装置、服务器和存储介质

Publications (1)

Publication Number Publication Date
CN112287793A true CN112287793A (zh) 2021-01-29

Family

ID=74423616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139701.5A Pending CN112287793A (zh) 2020-10-22 2020-10-22 资源审核模型的训练方法、装置、服务器和存储介质

Country Status (2)

Country Link
CN (1) CN112287793A (zh)
WO (1) WO2022083401A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946703A (zh) * 2021-10-20 2022-01-18 天翼数字生活科技有限公司 一种图片漏检处理方法及其相关装置
WO2022083401A1 (zh) * 2020-10-22 2022-04-28 百果园技术(新加坡)有限公司 资源审核模型的训练方法、装置、服务器和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132174B (zh) * 2023-10-26 2024-01-30 扬宇光电(深圳)有限公司 一种应用于工业流水线质量检测的模型训练方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198667B2 (en) * 2015-09-02 2019-02-05 Pocketguardian, Llc System and method of detecting offensive content sent or received on a portable electronic device
CN109561322B (zh) * 2018-12-27 2021-06-15 广州市百果园信息技术有限公司 一种视频审核的方法、装置、设备和存储介质
CN111382623B (zh) * 2018-12-28 2023-06-23 广州市百果园信息技术有限公司 一种直播审核的方法、装置、服务器和存储介质
CN110796098B (zh) * 2019-10-31 2021-07-27 广州市网星信息技术有限公司 内容审核模型的训练及审核方法、装置、设备和存储介质
CN111143612B (zh) * 2019-12-27 2023-06-27 广州市百果园信息技术有限公司 视频审核模型训练方法、视频审核方法及相关装置
CN112287793A (zh) * 2020-10-22 2021-01-29 有半岛(北京)信息科技有限公司 资源审核模型的训练方法、装置、服务器和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022083401A1 (zh) * 2020-10-22 2022-04-28 百果园技术(新加坡)有限公司 资源审核模型的训练方法、装置、服务器和存储介质
CN113946703A (zh) * 2021-10-20 2022-01-18 天翼数字生活科技有限公司 一种图片漏检处理方法及其相关装置
CN113946703B (zh) * 2021-10-20 2024-04-19 天翼视联科技有限公司 一种图片漏检处理方法及其相关装置

Also Published As

Publication number Publication date
WO2022083401A1 (zh) 2022-04-28

Similar Documents

Publication Publication Date Title
CN112287793A (zh) 资源审核模型的训练方法、装置、服务器和存储介质
Hellendoorn et al. Will they like this? Evaluating code contributions with language models
CN109117364B (zh) 一种面向目标的测试用例生成方法及系统
CN109561322A (zh) 一种视频审核的方法、装置、设备和存储介质
CN102279875A (zh) 钓鱼网站的识别方法和装置
CN110166344B (zh) 一种身份标识识别方法、装置以及相关设备
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
US11250368B1 (en) Business prediction method and apparatus
CN111581092A (zh) 仿真测试数据的生成方法、计算机设备及存储介质
CN112732914A (zh) 基于关键词匹配的文本聚类方法、系统、储存介质及终端
CN112560545B (zh) 一种识别表格方向的方法、装置及电子设备
CN117409419A (zh) 图像检测方法、设备及存储介质
CN104462284A (zh) 判定网页质量的方法及系统
CN111144546A (zh) 评分方法、装置、电子设备及存储介质
CN105405051A (zh) 金融事件预测方法和装置
CN107515876B (zh) 一种特征模型的生成、应用方法及装置
CN112016317A (zh) 基于人工智能的敏感词识别方法、装置及计算机设备
CN114697127B (zh) 一种基于云计算的业务会话风险处理方法及服务器
CN112395280B (zh) 一种数据质量检测方法及其系统
CN113448860A (zh) 测试案例分析方法及装置
CN113268419A (zh) 测试用例优化信息的生成方法、装置、设备和存储介质
CN112632284A (zh) 用于未标注文本数据集的信息抽取方法及系统
CN111860299A (zh) 目标对象的等级确定方法、装置、电子设备及存储介质
CN111353860A (zh) 产品信息推送方法及系统
CN117349407B (zh) 一种面向内容安全的自动化检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination