CN113946703B - 一种图片漏检处理方法及其相关装置 - Google Patents
一种图片漏检处理方法及其相关装置 Download PDFInfo
- Publication number
- CN113946703B CN113946703B CN202111220485.1A CN202111220485A CN113946703B CN 113946703 B CN113946703 B CN 113946703B CN 202111220485 A CN202111220485 A CN 202111220485A CN 113946703 B CN113946703 B CN 113946703B
- Authority
- CN
- China
- Prior art keywords
- picture
- feature
- checked
- model
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 101
- 238000012550 audit Methods 0.000 claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000005457 optimization Methods 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 abstract 3
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Abstract
本申请公开了一种图片漏检处理方法及其相关装置，通过违规审核模型对第一待审核图片进行图片内容审核，当存在图片漏检时，对违规审核模型进行优化训练；将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；在接收到第二待审核图片，且违规审核模型优化训练未完成时，通过违规审核模型对第二待审核图片进行图片内容审核，并将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对，得到第二待审核图片的最终审核结果；在接收到第二待审核图片，且违规审核模型优化训练完成时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核，改善了现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
Description
技术领域
本申请涉及图片审核技术领域，尤其涉及一种图片漏检处理方法及其相关装置。
背景技术
随着网上内容发布管理力度加强及深度学习在计算机视觉领域的飞速发展，基于深度学习的图片内容审核成为了各大内容发布平台的研究热点。但当前的深度学习模型还无法实现100％识别所有的违规图片，存在违规图片漏验风险。一旦违规图片被发布出来，将会对公司及社会产生不良的影响。在发生违规图片漏验时，若采用常规的方法，基本要经过以下几个步骤：采集数据，训练模型，测试模型，上线部署。而违规图片短时间难以收集，并且模型训练时间较长，从而导致在训练模型期间出现漏检事故而无法及时响应。因此，如何避免图像漏检以及时避免违规图片传播为目前亟待解决的问题。
发明内容
本申请提供了一种图片漏检处理方法及其相关装置，用于改善现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
有鉴于此，本申请第一方面提供了一种图片漏检处理方法，包括：
在接收到第一待审核图片时，通过违规审核模型对所述第一待审核图片进行图片内容审核，得到所述第一待审核图片的审核结果；
当根据所述第一待审核图片的审核结果确定存在图片漏检时，对所述违规审核模型进行优化训练，并获取漏检图片，所述漏检图片为违规图片；
将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，通过所述违规审核模型对所述第二待审核图片进行图片内容审核得到审核结果，并将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，通过所述违规审核模型审核得到的审核结果和特征比对得到的审核结果确定所述第二待审核图片的最终审核结果；
在接收到第二待审核图片，且所述违规审核模型优化训练完成时，采用优化训练后的违规审核模型对所述第二待审核图片进行图片内容审核，得到所述第二待审核图片的审核结果。
可选的，所述将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，包括：
获取所述漏检图片的特征向量和场景类别；
判断预置特征数据库中是否存在所述漏检图片对应的场景类别，若存在，则将所述漏检图片的特征向量保存至所述预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在所述预置特征数据中增加所述漏检图片对应的场景类别，并将所述漏检图片的特征向量保存至该场景类别下的特征列表中。
可选的，所述将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，包括：
获取所述第二待审核图片的特征向量和场景类别；
计算所述第二待审核图片的特征向量与所述更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
当所述特征相似度大于预设相似度阈值时，得到所述第二待审核图片为违规图片的审核结果；
当所述特征相似度小于或等于预设相似度阈值时，得到所述第二待审核图片为正常图片的审核结果。
可选的，在所述违规审核模型优化训练完后，所述方法还包括：
对所述更新后特征数据库进行图片特征出库操作。
本申请第二方面提供了一种图片漏检处理系统，包括：
第一审核模块，用于在接收到第一待审核图片时，通过违规审核模型对所述第一待审核图片进行图片内容审核，得到所述第一待审核图片的审核结果；
训练和获取模块，用于当根据所述第一待审核图片的审核结果确定存在图片漏检时，对所述违规审核模型进行优化训练，并获取漏检图片，所述漏检图片为违规图片；
保存模块，用于将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
比对模块，用于在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，通过所述违规审核模型对所述第二待审核图片进行图片内容审核得到审核结果，并将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，通过所述违规审核模型审核得到的审核结果和特征比对得到的审核结果确定所述第二待审核图片的最终审核结果；
第二审核模块，用于在接收到第二待审核图片，且所述违规审核模型优化训练完成时，采用优化训练后的违规审核模型对所述第二待审核图片进行图片内容审核，得到所述第二待审核图片的审核结果。
可选的，所述保存模块，具体用于：
获取所述漏检图片的特征向量和场景类别；
判断预置特征数据库中是否存在所述漏检图片对应的场景类别，若存在，则将所述漏检图片的特征向量保存至所述预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在所述预置特征数据中增加所述漏检图片对应的场景类别，并将所述漏检图片的特征向量保存至该场景类别下的特征列表中。
可选的，所述将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，包括：
在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，获取所述第二待审核图片的特征向量和场景类别；
计算所述第二待审核图片的特征向量与所述更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
当所述特征相似度大于预设相似度阈值时，得到所述第二待审核图片为违规图片的审核结果；
当所述特征相似度小于或等于预设相似度阈值时，得到所述第二待审核图片为正常图片的审核结果。
可选的，在所述违规审核模型优化训练完后，还包括：特征出库模块，用于：
对所述更新后特征数据库进行图片特征出库操作。
本申请第三方面提供了一种图片漏检处理设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的图片漏检处理方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的图片漏检处理方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种图片漏检处理方法，包括：在接收到第一待审核图片时，通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果；当根据第一待审核图片的审核结果确定存在图片漏检时，对违规审核模型进行优化训练，并获取漏检图片，漏检图片为违规图片；将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；在接收到第二待审核图片，且违规审核模型优化训练未完成时，通过违规审核模型对第二待审核图片进行图片内容审核得到审核结果，并将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，通过违规审核模型审核得到的审核结果和特征比对得到的审核结果确定第二待审核图片的最终审核结果；在接收到第二待审核图片，且违规审核模型优化训练完成时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核，得到第二待审核图片的审核结果。
本申请中，在通过违规审核模型对第一待审核图片进行审核出现图片漏检时，对该违规审核模型进行优化训练，使得优化训练后的违规审核模型可以识别漏检图片，并且在优化训练期间，将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，对于优化训练期间的第二待审核图片，采用违规审核模块审核第二待审核图片和对比第二待审核图片的特征向量和预置特征数据库中的特征向量，来获取第二待审核图片的最终审核结果，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况，改善了现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种图片漏检处理方法的一个流程示意图；
图2为本申请实施例提供的一种图片漏检处理系统的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请实施例提供了一种图片漏检处理方法，包括：
步骤101、在接收到第一待审核图片时，通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果。
当用户在平台发布图片时，会触发图片审核请求，发送第一待审核图片(即用户发布的图片)至审核平台，此时通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果。违规审核模型可以为训练好的神经网络模型，具体的训练过程属于现有技术，在此不再进行赘述。
步骤102、当根据第一待审核图片的审核结果确定存在图片漏检时，对违规审核模型进行优化训练，并获取漏检图片，漏检图片为违规图片。
通常审核平台通过违规审核模型对图片进行审核后，可以展示已审核图片及审核结果，审核人员会抽样检查审核结果，对于漏检图片(即将违规图片审核为正常图片)会进行反馈。
当根据第一待审核图片的审核结果确定存在图片漏检时，获取漏检图片，并对违规审核模型进行优化训练，在优化训练时，需要收集漏检图片构建训练集，通过训练集优化训练该违规模型。
步骤103、将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库。
提取漏检图片的特征向量，然后将其保存至预置特征数据库中，完成违规图片特征入库，得到更新后特征数据库，该更新后特征数据库用于优化训练期间的漏检图片审核。
进一步，本申请实施例考虑到，若每次比对图片特征时，要比对更新后特征数据库中的全部特征，在更新后特征数据库数据量巨大时，会导致特征比对时间较长，使得审核效率低，进而影响用户体验。因此，本申请实施例结合图片的场景类别进行特征比对，节省比对时间。具体的：
获取漏检图片的特征向量和场景类别，具体可以通过现有的违规审核模型、场景识别模型等分类模型获取漏检图片的特征向量和场景类别；判断预置特征数据库中是否存在漏检图片对应的场景类别，若存在，则将漏检图片的特征向量保存至预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在预置特征数据中增加漏检图片对应的场景类别，并将漏检图片的特征向量保存至该场景类别下的特征列表中。可以采用json的方式设计预置特征数据库，格式为{cls:[feature]}，其中，cls为场景类别，feature为违规图片的特征向量，该json数据库的键是业务场景模型类别，值的数据类型是列表，该列表存储的是违规图片的特征。
本申请实施例中的特征比对结合了场景类别，没有直接进行全特征数据库的特征比对，只比对场景类别下的特征。假设场景类别为n，而且每个场景类别下的违规特征数量一致，那么本申请实施例中的图片检索速度相比常规的全库检索速度提高了(n-1)倍，因为本申请实施例只需比对其中一个场景类别下的特征列表中的特征。
步骤104、在接收到第二待审核图片，且违规审核模型优化训练未完成时，通过违规审核模型对第二待审核图片进行图片内容审核得到审核结果，并将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，通过违规审核模型审核得到的审核结果和特征比对得到的审核结果确定第二待审核图片的最终审核结果。
在优化训练违规审核模型时，在这期间的第二待审核图片(用户发布的图片)，在采用优化训练前的违规审核模型进行审核的同时，还通过更新后特征数据库中的特征向量进行比对来获取最终审核结果，其中，第二待审核图片的最终审核结果通过违规审核模型审核得到的审核结果和特征比对得到的审核结果共同确定。具体的，若采用优化训练前的违规审核模型对第二待审核图片进行图片内容审核，得到的审核结果为正常，并且通过更新后特征数据库中的特征向量与第二待审核图片的特征向量进行比对获取的审核结果也为正常，则该第二待审核图片的最终审核结果为正常；若采用优化训练前的违规审核模型对第二待审核图片进行图片内容审核，得到的审核结果为正常，并且通过更新后特征数据库中的特征向量与第二待审核图片的特征向量进行比对获取的审核结果为违规，则该第二待审核图片的最终审核结果为违规；若采用优化训练前的违规审核模型对第二待审核图片进行图片内容审核，得到的审核结果为违规，并且通过更新后特征数据库中的特征向量与第二待审核图片的特征向量进行比对获取的审核结果为正常，则该第二待审核图片的最终审核结果为违规。
通过更新后特征数据库中的特征向量进行比对可以识别与漏检图片相同或相似的违规图片(优化训练前的违规审核模型无法正确识别的违规图片)，通过违规审核模型和特征比对的方式并行进行图片内容审核，可以弥补违规审核模型无法正确识别某些违规图片的缺陷，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况。
通过更新后特征数据库中的特征向量进行比对来获取第二待审核图片的审核结果的具体过程为：
获取第二待审核图片的特征向量和场景类别，具体可以通过场景识别模型、分类模型等获取第二待审核图片的特征向量和场景类别；
计算第二待审核图片的特征向量与更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度，特征相似度可以采用计算两个特征向量的欧式距离获取，也可以采用其他方式，在此不做具体限定；
当特征相似度大于预设相似度阈值时，得到第二待审核图片为违规图片的审核结果；
当特征相似度小于或等于预设相似度阈值时，得到第二待审核图片为正常图片的审核结果。
在实际应用中，用户分享的违规图片往往是在同一个场景拍摄的，拍摄出来的图片具有很大的相似性，而通过md5方法只能识别同一张图片，而不能识别相似图片。本申请通过计算特征相似度，可以识别与违规图片类似的图片，审核准确率更高。
步骤105、在接收到第二待审核图片，且违规审核模型优化训练完成时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核，得到第二待审核图片的审核结果。
违规审核模型优化训练时，会在测试集上测试模型性能，筛选出更优的迭代模型后会对之前入库的违规图片(都进行了持久化保存)和通过特征比对识别为违规的图片进行识别，当这些违规图片能被优化训练后的违规审核模型识别后，则认为该模型收敛，训练完成。此时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核。
进一步，在违规审核模型优化训练完后，还可以对更新后特征数据库进行图片特征出库操作。
由于实际业务场景中，违规审核模型是不断训练迭代的，当优化训练后的违规审核模型可以识别这些漏检图片后，更新后特征数据库中的特征向量可以出库，否则特征数据库达到一定量级将会影响检索性能。具体出库过程可以是，比对违规图片的特征向量与更新后特征数据库中的该违规图片对应的场景类别下的特征列表中的特征向量与是否为同一特征，若是，则删除该违规图片对应场景类别下的特征列表中的该特征向量，从而实现特征出库。
本申请实施例中，在通过违规审核模型对第一待审核图片进行审核出现图片漏检时，对该违规审核模型进行优化训练，使得优化训练后的违规审核模型可以识别漏检图片，并且在优化训练期间，将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，对于优化训练期间的第二待审核图片，采用违规审核模块审核第二待审核图片和对比第二待审核图片的特征向量和预置特征数据库中的特征向量，来获取第二待审核图片的最终审核结果，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况，改善了现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
以上为本申请实施例提供的一种图片漏检处理方法，以下为本申请提供的一种图片漏检处理系统。
请参考图2，本申请实施例提供的一种图片漏检处理系统，包括：
第一审核模块，用于在接收到第一待审核图片时，通过违规审核模型对第一待审核图片进行图片内容审核，得到第一待审核图片的审核结果；
训练和获取模块，用于当根据第一待审核图片的审核结果确定存在图片漏检时，对违规审核模型进行优化训练，并获取漏检图片，漏检图片为违规图片；
保存模块，用于将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
比对模块，用于在接收到第二待审核图片，且违规审核模型优化训练未完成时，通过违规审核模型对第二待审核图片进行图片内容审核得到审核结果，并将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，通过违规审核模型审核得到的审核结果和特征比对得到的审核结果确定第二待审核图片的最终审核结果；
第二审核模块，用于在接收到第二待审核图片，且违规审核模型优化训练完成时，采用优化训练后的违规审核模型对第二待审核图片进行图片内容审核，得到第二待审核图片的审核结果。
作为进一步地改进，保存模块，具体用于：
获取漏检图片的特征向量和场景类别；
判断预置特征数据库中是否存在漏检图片对应的场景类别，若存在，则将漏检图片的特征向量保存至预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在预置特征数据中增加漏检图片对应的场景类别，并将漏检图片的特征向量保存至该场景类别下的特征列表中。
作为进一步地改进，将第二待审核图片的特征向量与更新后特征数据库中的特征向量进行比对得到审核结果，包括：
在接收到第二待审核图片，且违规审核模型优化训练未完成时，获取第二待审核图片的特征向量和场景类别；
计算第二待审核图片的特征向量与更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
当特征相似度大于预设相似度阈值时，得到第二待审核图片为违规图片的审核结果；
当特征相似度小于或等于预设相似度阈值时，得到第二待审核图片为正常图片的审核结果。
作为进一步地改进，在违规审核模型优化训练完后，还包括：特征出库模块，用于：
对更新后特征数据库进行图片特征出库操作。
本申请实施例中，在通过违规审核模型对第一待审核图片进行审核出现图片漏检时，对该违规审核模型进行优化训练，使得优化训练后的违规审核模型可以识别漏检图片，并且在优化训练期间，将漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，对于优化训练期间的第二待审核图片，采用违规审核模块审核第二待审核图片和对比第二待审核图片的特征向量和预置特征数据库中的特征向量，来获取第二待审核图片的最终审核结果，以避免优化训练违规审核模型时，出现漏检事故而无法及时响应的情况，改善了现有审核模型容易出现漏检的情况，导致违规图片传播的技术问题。
本申请实施例还提供了一种图片漏检处理设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的图片漏检处理方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的图片漏检处理方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种图片漏检处理方法，其特征在于，包括：
在接收到第一待审核图片时，通过违规审核模型对所述第一待审核图片进行图片内容审核，得到所述第一待审核图片的审核结果；
当根据所述第一待审核图片的审核结果确定存在图片漏检时，对所述违规审核模型进行优化训练，并获取漏检图片，所述漏检图片为违规图片；
将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，通过所述违规审核模型对所述第二待审核图片进行图片内容审核得到审核结果，并将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，通过所述违规审核模型审核得到的审核结果和特征比对得到的审核结果确定所述第二待审核图片的最终审核结果；
在接收到第二待审核图片，且所述违规审核模型优化训练完成时，采用优化训练后的违规审核模型对所述第二待审核图片进行图片内容审核，得到所述第二待审核图片的审核结果。
2.根据权利要求1所述的图片漏检处理方法，其特征在于，所述将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库，包括：
获取所述漏检图片的特征向量和场景类别；
判断预置特征数据库中是否存在所述漏检图片对应的场景类别，若存在，则将所述漏检图片的特征向量保存至所述预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在所述预置特征数据中增加所述漏检图片对应的场景类别，并将所述漏检图片的特征向量保存至该场景类别下的特征列表中。
3.根据权利要求2所述的图片漏检处理方法，其特征在于，所述将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，包括：
获取所述第二待审核图片的特征向量和场景类别；
计算所述第二待审核图片的特征向量与所述更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
当所述特征相似度大于预设相似度阈值时，得到所述第二待审核图片为违规图片的审核结果；
当所述特征相似度小于或等于预设相似度阈值时，得到所述第二待审核图片为正常图片的审核结果。
4.根据权利要求1所述的图片漏检处理方法，其特征在于，在所述违规审核模型优化训练完后，所述方法还包括：
对所述更新后特征数据库进行图片特征出库操作。
5.一种图片漏检处理系统，其特征在于，包括：
第一审核模块，用于在接收到第一待审核图片时，通过违规审核模型对所述第一待审核图片进行图片内容审核，得到所述第一待审核图片的审核结果；
训练和获取模块，用于当根据所述第一待审核图片的审核结果确定存在图片漏检时，对所述违规审核模型进行优化训练，并获取漏检图片，所述漏检图片为违规图片；
保存模块，用于将所述漏检图片的特征向量保存至预置特征数据库中，得到更新后特征数据库；
比对模块，用于在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，通过所述违规审核模型对所述第二待审核图片进行图片内容审核得到审核结果，并将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，通过所述违规审核模型审核得到的审核结果和特征比对得到的审核结果确定所述第二待审核图片的最终审核结果；
第二审核模块，用于在接收到第二待审核图片，且所述违规审核模型优化训练完成时，采用优化训练后的违规审核模型对所述第二待审核图片进行图片内容审核，得到所述第二待审核图片的审核结果。
6.根据权利要求5所述的图片漏检处理系统，其特征在于，所述保存模块，具体用于：
获取所述漏检图片的特征向量和场景类别；
判断预置特征数据库中是否存在所述漏检图片对应的场景类别，若存在，则将所述漏检图片的特征向量保存至所述预置特征数据库中该漏检图片对应的场景类别下的特征列表中，得到更新后特征数据库，若不存在，则在所述预置特征数据中增加所述漏检图片对应的场景类别，并将所述漏检图片的特征向量保存至该场景类别下的特征列表中。
7.根据权利要求6所述的图片漏检处理系统，其特征在于，所述将所述第二待审核图片的特征向量与所述更新后特征数据库中的特征向量进行比对得到审核结果，包括：
在接收到第二待审核图片，且所述违规审核模型优化训练未完成时，获取所述第二待审核图片的特征向量和场景类别；
计算所述第二待审核图片的特征向量与所述更新后特征数据库中该第二待审核图片对应的场景类别下的特征列表中的特征向量的特征相似度；
当所述特征相似度大于预设相似度阈值时，得到所述第二待审核图片为违规图片的审核结果；
当所述特征相似度小于或等于预设相似度阈值时，得到所述第二待审核图片为正常图片的审核结果。
8.根据权利要求5所述的图片漏检处理系统，其特征在于，在所述违规审核模型优化训练完后，还包括：特征出库模块，用于：
对所述更新后特征数据库进行图片特征出库操作。
9.一种图片漏检处理设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的图片漏检处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-4任一项所述的图片漏检处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220485.1A CN113946703B (zh) | 2021-10-20 | 2021-10-20 | 一种图片漏检处理方法及其相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220485.1A CN113946703B (zh) | 2021-10-20 | 2021-10-20 | 一种图片漏检处理方法及其相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113946703A CN113946703A (zh) | 2022-01-18 |
| CN113946703B true CN113946703B (zh) | 2024-04-19 |
Family
ID=79331763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111220485.1A Active CN113946703B (zh) | 2021-10-20 | 2021-10-20 | 一种图片漏检处理方法及其相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113946703B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960782A (zh) * | 2018-07-10 | 2018-12-07 | 北京木瓜移动科技股份有限公司 | 内容审核方法以及装置 |
| CN109284784A (zh) * | 2018-09-29 | 2019-01-29 | 北京数美时代科技有限公司 | 一种针对直播场景视频的内容审核模型训练方法及装置 |
| CN109389030A (zh) * | 2018-08-23 | 2019-02-26 | 平安科技（深圳）有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
| CN109561322A (zh) * | 2018-12-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种视频审核的方法、装置、设备和存储介质 |
| CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN111385602A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 基于多层级多模型的视频审核方法、介质及计算机设备 |
| CN111382623A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种直播审核的方法、装置、服务器和存储介质 |
| CN112287793A (zh) * | 2020-10-22 | 2021-01-29 | 有半岛(北京)信息科技有限公司 | 资源审核模型的训练方法、装置、服务器和存储介质 |
| CN112818150A (zh) * | 2021-01-22 | 2021-05-18 | 世纪龙信息网络有限责任公司 | 一种图片内容审核方法、装置、设备和介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130218793A1 (en) * | 2012-02-21 | 2013-08-22 | Charles M. Miller | Architecture, System, and Method for Immigration Compliance Auditing |
-
2021
- 2021-10-20 CN CN202111220485.1A patent/CN113946703B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960782A (zh) * | 2018-07-10 | 2018-12-07 | 北京木瓜移动科技股份有限公司 | 内容审核方法以及装置 |
| CN109389030A (zh) * | 2018-08-23 | 2019-02-26 | 平安科技（深圳）有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
| CN109284784A (zh) * | 2018-09-29 | 2019-01-29 | 北京数美时代科技有限公司 | 一种针对直播场景视频的内容审核模型训练方法及装置 |
| CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN109561322A (zh) * | 2018-12-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种视频审核的方法、装置、设备和存储介质 |
| CN111382623A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种直播审核的方法、装置、服务器和存储介质 |
| CN111385602A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 基于多层级多模型的视频审核方法、介质及计算机设备 |
| CN112287793A (zh) * | 2020-10-22 | 2021-01-29 | 有半岛(北京)信息科技有限公司 | 资源审核模型的训练方法、装置、服务器和存储介质 |
| CN112818150A (zh) * | 2021-01-22 | 2021-05-18 | 世纪龙信息网络有限责任公司 | 一种图片内容审核方法、装置、设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| 分布式并行驱动环境下的参数化协同设计过程研究;王寅晨;;机械设计与研究;20200620(第03期);全文 * |
| 通过人工智能实现内容智能审核及在世界杯的实战;张建军;孙滔;孟方;;现代电视技术;20180815(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113946703A (zh) | 2022-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444952B (zh) | 样本识别模型的生成方法、装置、计算机设备和存储介质 | |
| CN109302410A (zh) | 一种内部用户异常行为检测方法、系统及计算机存储介质 | |
| CN106376002B (zh) | 一种管理方法及装置、垃圾短信监控系统 | |
| CN112231570B (zh) | 推荐系统托攻击检测方法、装置、设备及存储介质 | |
| CN108881263A (zh) | 一种网络攻击结果检测方法及系统 | |
| CN111915437A (zh) | 基于rnn的反洗钱模型的训练方法、装置、设备及介质 | |
| CN112329816A (zh) | 数据分类方法、装置、电子设备和可读存储介质 | |
| CN112839014A (zh) | 建立识别异常访问者模型的方法、系统、设备及介质 | |
| CN108804501B (zh) | 一种检测有效信息的方法及装置 | |
| CN113205130B (zh) | 一种数据审核方法、装置、电子设备及存储介质 | |
| CN113743522A (zh) | 违规行为的检测方法及装置、电子设备 | |
| CN112765003A (zh) | 一种基于app行为日志的风险预测方法 | |
| CN113946703B (zh) | 一种图片漏检处理方法及其相关装置 | |
| CN112953948A (zh) | 一种实时网络横向蠕虫攻击流量检测方法及装置 | |
| CN115348117B (zh) | 用户水平越权行为判定方法和装置 | |
| CN116707859A (zh) | 特征规则提取方法和装置、网络入侵检测方法和装置 | |
| CN114978474A (zh) | 一种用户聊天风险等级自动处置方法及系统 | |
| CN114422168A (zh) | 一种恶意机器流量识别方法及系统 | |
| CN114189585A (zh) | 骚扰电话异常检测方法、装置及计算设备 | |
| CN111934949A (zh) | 一种基于数据库注入测试的安全测试系统 | |
| CN111651753A (zh) | 用户行为分析系统及方法 | |
| CN110570301A (zh) | 风险识别方法、装置、设备及介质 | |
| CN113988226B (zh) | 数据脱敏有效性验证方法、装置、计算机设备及存储介质 | |
| CN112818150B (zh) | 一种图片内容审核方法、装置、设备和介质 | |
| CN114461999A (zh) | 输入行为检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240318 Address after: Unit 1, Building 1, China Telecom Zhejiang Innovation Park, No. 8 Xiqin Street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: Tianyi Shilian Technology Co.,Ltd. Country or region after: China Address before: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200040 Applicant before: Tianyi Digital Life Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |