CN117011616B - 一种图像内容审核方法、装置、存储介质和电子设备 - Google Patents
一种图像内容审核方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN117011616B CN117011616B CN202311285667.6A CN202311285667A CN117011616B CN 117011616 B CN117011616 B CN 117011616B CN 202311285667 A CN202311285667 A CN 202311285667A CN 117011616 B CN117011616 B CN 117011616B
- Authority
- CN
- China
- Prior art keywords
- image
- classification
- sample
- probability
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000002159 abnormal effect Effects 0.000 claims abstract description 84
- 238000007689 inspection Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 124
- 238000011156 evaluation Methods 0.000 claims description 53
- 238000012550 audit Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000470 constituent Substances 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 92
- 230000008569 process Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 24
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 230000007547 defect Effects 0.000 description 9
- 238000001994 activation Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012552 review Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本申请公开一种图像内容审核方法、装置、存储介质和电子设备，本发明可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，该方法中，从包含至少两个目标对象的待审核图像中，提取对于每个目标对象的待审核子图，然后调用第一分类网络，提取待审核图像的全局像素特征，并基于全局像素特征，获得待审核图像的第一分类结果，以及调用网络参数量小于第一分类网络的第二分类网络，提取对于每个目标对象的待审核子图各自的对象像素特征，并基于各对象像素特征，获得每张待审核子图的第二分类结果，再基于第一分类结果，以及获得的各第二分类结果，获得表征待审核图像是否为异常图像的内容审核结果，用以提高图像内容审核结果的准确率。
Description
技术领域
本申请涉及互联网技术领域，尤其涉及一种图像内容审核方法、装置、存储介质和电子设备。
背景技术
随着互联网的兴起，互联网图像信息广泛流行在各大门户网站、搜索引擎、社交网络以及终端设备应用程序上。为保障互联网图像信息传播的安全性和正导向性，基于图像分类技术实现图像内容审核的方式应运而生。
相关技术中，通常采用单个图像分类网络提取待分类的目标图像的图像特征，然后通过预设的分类器对提取的图像特征进行解码处理，获得目标图像的分类结果，也即目标图像内容的审核结果。
具体地，在目标图像中，相比大目标对象，小目标对象所占区域更小，相应地，针对小目标对象获取到的图像特征也相对更少，这样，单个图像分类网络在实际分类过程中被大目标对象主导，而忽略小目标对象。
然而，在实际应用中，有时小目标对象才是关键因素；当大目标对象符合审核条件而小目标对象不符合审核条件时，采用上述方式，目标图像中的所有目标对象都被分类为符合审核条件，从而严重影响了分类结果的准确性。
发明内容
本申请提供一种图像内容审核方法、装置、存储介质和电子设备，用以提高待审核图像的图像内容审核结果的准确率。
第一方面，本申请提供了一种图像内容审核方法，所述方法包括：
从包含至少两个目标对象的待审核图像中，提取对于每个目标对象的待审核子图；
调用第一分类网络，提取所述待审核图像的全局像素特征，并基于所述全局像素特征，获得所述待审核图像的第一分类结果；以及，
针对提取的对于每个目标对象的待审核子图，执行以下操作：调用第二分类网络，提取所述待审核子图的对象像素特征，并基于所述对象像素特征，获得所述待审核子图的第二分类结果，其中，所述第二分类网络的网络参数量小于所述第一分类网络的网络参数量；
基于所述第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征所述待审核图像是否为异常图像的内容审核结果。
第二方面，本申请提供了一种图像内容审核装置，所述装置包括：
提取模块，从包含至少两个目标对象的待审核图像中，提取对于每个目标对象的待审核子图；
第一调用模块，调用第一分类网络，提取所述待审核图像的全局像素特征，并基于所述全局像素特征，获得所述待审核图像的第一分类结果；以及，
第二调用模块，针对提取的对于每个目标对象的待审核子图，执行以下操作：调用第二分类网络，提取所述待审核子图的对象像素特征，并基于所述对象像素特征，获得所述待审核子图的第二分类结果，其中，所述第二分类网络的网络参数量小于所述第一分类网络的网络参数量；
获得模块，基于所述第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征所述待审核图像是否为异常图像的内容审核结果。
可选地，所述提取模块，具体用于：
在待审核图像中，基于各个原始像素点各自的评估值，选取满足评估筛选条件的多个目标像素点；其中，每个评估值表征：相应原始像素点属于一个目标对象的组成元素的概率，每个目标像素点为一个目标对象的组成元素；
基于所述多个目标像素点各自的像素位置，确定所述待审核图像包含的至少两个目标对象各自的图像位置；
针对所述至少两个目标对象，分别执行以下操作：基于一个目标对象的图像位置，从所述待审核图像中，提取所述一个目标对象的待审核子图。
可选地，所述提取模块，用于在待审核图像中，基于各个原始像素点各自的评估值，选取满足评估筛选条件的多个目标像素点，具体用于：
在所述待审核图像中，分别基于每个原始像素点与其他原始像素点之间的关联关系，获得所述每个原始像素点各自的评估值；
从获得的各个评估值中，选取满足预设参考阈值的多个目标评估值，并将所述多个目标评估值各自对应的原始像素点，分别作为目标像素点。
可选地，所述提取模块，用于在所述待审核图像中，分别基于每个原始像素点与其他原始像素点之间的关联关系，获得所述每个原始像素点各自的评估值，具体用于：
针对所述待审核图像中的每个原始像素点，分别执行以下操作：
基于预设的K个颜色通道，分别提取一个原始像素点针对每个颜色通道各自对应的特征值，获得所述一个原始像素点的K个特征值；其中，K为正整数；
获取所述一个原始像素点关联的K个参考权重，并采用所述K个参考权重，对所述K个特征值进行加权求和，获得所述一个原始像素点的评估值；其中，一个参考权重表征：基于相应颜色通道，所述一个原始像素点与其他原始像素点之间的关联关系。
可选地，所述提取模块，用于基于一个目标对象的图像位置，从所述待审核图像中，提取所述一个目标对象的待审核子图，具体用于：
基于所述待审核图像的尺寸，获得相匹配的初始掩码矩阵；其中，所述初始掩码矩阵中每个元素与所述待审核图像中一个原始像素点相对应；
在所述初始掩码矩阵中，将一个目标对象相较所述待审核图像的缺失部分，填充为掩码令牌，并将所述一个目标对象的对应部分，填充为非掩码令牌，获得目标掩码矩阵；
采用所述目标掩码矩阵，对所述审核图像中的各个原始像素点进行掩码处理，获得候选子图；
针对所述候选子图，裁剪所述一个目标对象所在的对象区域，获得包含一个目标对象的待审核子图。
可选地，所述第一分类结果表征：待审核图像为异常图像的第一概率，所述第二分类结果表征：相应待审核子图为异常子图的第二概率；
则所述获得模块，包括如下任意一种：
当所述第一概率小于第一概率阈值，且，各所述第二概率均小于第二概率阈值时，获得第一内容审核结果；其中，所述第一内容审核结果表征：所述待审核图像为正常图像；
当所述第一概率大于或等于第一概率阈值，且，各所述第二概率均大于或等于第二概率阈值时，获得第二内容审核结果；其中，所述第二内容审核结果表征：所述待审核图像为异常图像；
当所述第一概率小于第一概率阈值，且，任一所述第二概率大于或等于第二概率阈值时，获得第二内容审核结果；其中，所述第二内容审核结果表征：所述待审核图像为异常图像，所述第一概率阈值小于所述第二概率阈值；
当所述第一概率大于或等于第一概率阈值，且，各所述第二概率均小于第二概率阈值时，获得第一内容审核结果；其中，所述第一内容审核结果表征：所述待审核图像为正常图像，所述第一概率阈值小于所述第二概率阈值。
可选地，所述第一分类网络是基于第一训练样本集训练获得的，其中，所述第一训练样本集中的每个第一训练样本包括：一个包含至少两个目标对象的样本图像和相应的样本图像标签；
则用于训练所述第二分类网络的第二训练样本集是通过如下方式获得的，所述装置还包括训练单元，具体用于：
从所述第一训练样本集中，分别提取每张第一样本图像中各目标对象的样本子图；
基于提取的各目标对象的样本子图，获取相应的样本子图标签，并结合至少一个新增目标对象的样本子图及其相应的样本子图标签，生成第二训练样本集。
可选地，所述第一分类网络是通过以下方式训练获得的，则所述装置还包括训练单元，具体用于：
获取第一训练样本集，所述第一训练样本集中的每个第一训练样本包括：一个样本图像和相应的样本图像标签；其中，所述样本图像中包含至少两个目标对象，所述样本图像标签表征：相应样本图像为异常图像的第一真实概率；
从所述第一训练样本集中选取第一训练样本，并将相应的样本图像输入待训练的第一分类网络中，获得基于所述样本图像的全局像素特征确定的、所述样本图像为异常图像的第一样本概率；
基于各第一样本概率与相应第一真实概率之间的差异，对所述待训练的第一分类网络进行网络参数的调整。
可选地，所述第二分类网络是通过以下方式训练获得的，则所述装置还包括训练单元，具体用于：
获取第二训练样本集，所述第二训练样本集中的每个第二训练样本包括：一个样本子图和相应的样本子图标签；其中，所述样本子图中包含一个目标对象，所述样本子图标签表征：相应样本子图所包含目标对象为异常对象的第二真实概率；
从所述第二训练样本集中选取第二训练样本，并将相应的样本子图输入待训练的第二分类网络中，获得基于所述样本子图所包含目标对象的对象像素特征确定的，所述样本子图所包含目标对象为异常对象的第二样本概率；
基于各第二样本概率与相应的第二真实概率之间的差异，对所述待训练的第二分类网络进行网络参数的调整。
第三方面，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任意一种图像内容审核方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机可读存储介质内存储有计算机程序指令，所述计算机程序指令被处理器执行上述第一方面中任意一种图像内容审核方法。
第五方面，本申请实施例提供的一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面中任意一种图像内容审核方法。
本申请有益效果如下：
本申请实施例中，设备从包含至少两个目标对象的待审核图像中，提取对于每个目标对象的待审核子图；这样，获得至少两张待审核子图，每张待审核子图中都包含一个目标对象。
然后，调用第一分类网络，提取待审核图像的全局像素特征，并基于全局像素特征，获得待审核图像的第一分类结果；以及，针对提取的对于每个目标对象的待审核子图，执行以下操作：调用第二分类网络，提取待审核子图的对象像素特征，并基于对象像素特征，获得待审核子图的第二分类结果，其中，第二分类网络的网络参数量小于第一分类网络的网络参数量。这样，一方面，基于网络参数量相对更大的第一分类网络，提取待审核图像的全局像素特征，能够得到针对待审核图像整体进行较为精准的识别，获得待审核图像整体所对应的第一分类结果；另一方面，基于网络参数量相对更小的第二分类网络，分别提取每张待审核子图各自包含的目标对象的对象像素特征，能够针对相应目标对象进行针对性的对象识别，获得待审核图像中各个目标对象各自对应的第二分类结果。
最后，基于第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征待审核图像是否为异常图像的内容审核结果。这样，在网络参数量相对较大的第一分类网络的基础上，引入网络参数量相对更小的第二分类网路，且采用第一分类网络针对包含至少两个目标对象的待审核图像进行图像分类，采用第二分类网络针对每个目标对象的待审核子图进行对象分类；结合两个分类网络的分类结果，能够针对待审核图像，获得更准确的内容审核结果，提高分类的准确率和召回率，解决相关分类网络在实际分类过程中被大目标对象主导，而忽略小目标对象，导致针对待分类图像获得不准确的内容审核结果。
例如，当第一分类网络忽略小目标对象获得不准确的第一分类结果时，由于第二分类网络会针对小目标对象进行针对性的对象识别，因此相应的第二分类结果能够用于调整最终的内容审核结果，提高分类准确性。
再例如，当网络参数量相对较小的第二分类网络针对某目标对象获得不准确的第二分类结果时，由于第一分类网络具有相对更多的网络参数量，因此相应的第一分类结果能够用于调整最终的内容审核结果，提高分类准确性。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1A~图1B为本申请实施例中可选的图像分类的过程示意图；
图2为本申请实施例中可选的应用场景的示意图；
图3为本申请实施例提供的图像内容审核方法的流程示意图；
图4A~图4B为本申请实施例中可选的提取待审核子图的过程示意图；
图5为本申请实施例中一个原始像素点的评估值的获取过程示意图；
图6为本申请实施例中待审核子图的提取过程示意图；
图7为本申请实施例中第一分类网络的训练示意图；
图8为本申请实施例中两个分类网络的分类过程示意图；
图9为本申请实施例中第二分类网络的训练示意图；
图10A~图10D为申请实施例中可选的内容审核结果的生成过程示意图；
图11为本申请实施例中可选的图像内容审核方法的完整过程示意图；
图12为本申请实施例提供的图像内容审核装置的结构示意图；
图13为本申请实施例提供的计算机设备的一种结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
为便于理解本申请实施例提供的技术方案，首先对本申请实施例使用的一些关键名词进行解释。
感兴趣区域（Range of Interest，RoI）：通常应用于计算机视觉领域，表示图像中感兴趣的局部区域；例如，本申请实施例中每个目标对象所在的对象区域。
第一分类网络：本申请实施例中第一分类网络用于针对包含至少两个目标对象的图像进行分类。
第二分类网络：本申请实施例中第二分类网络用于针对包含一个目标对象的子图进行图像倾向性分类。
其中，图像倾向性一般广泛应用于社交媒体领域，用于表征图像内容所关联文本的情感倾向，一般可分为积极（Positive）和消极（Negative）。本申请实施例中，通过识别子图中的目标对象是否为异常对象，获得该子图的图像倾向，也即该倾向性表征其中目标对象为异常对象的概率，具体地，若该子图中包含正常对象，则相应图像倾向为积极（Positive），若该子图中包含异常对象，则相应图像倾向为消极（Negative）。
本申请实施例涉及人工智能技术，主要涉及人工智能技术中的计算机视觉技术。
人工智能（Artificial Intelligence, AI）：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革，swin-transformer，ViT，V-MOE，MAE等视觉领域的预训练模型经过微调（fine tune）可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。
自动驾驶技术，指车辆在无驾驶员操作的情况下实现自行驾驶。通常包括高精地图、环境感知、计算机视觉、行为决策、路径规划、运动控制等技术。自动驾驶包括单车智能、车路协同、联网云控等多种发展路径。自动驾驶技术有着广泛的应用前景，目前的领域为物流、公共交通、出租车、智慧交通领域外，未来将得到进一步发展。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、人工智能生成内容（AIGC）、对话式交互、智能医疗、智能客服、游戏AI等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
下面对本申请实施例的设计思想进行简要介绍。
随着互联网的兴起，互联网图像信息广泛流行在各大门户网站、搜索引擎、社交网络以及终端设备应用程序上。为保障互联网图像信息传播的安全性和正导向性，基于图像分类技术实现图像内容审核的方式应运而生。
相关技术方案可概括为如下两种：
相关方案一：基于深度学习的传统分类方案，采用单个图像分类网络提取待分类的待审核图像的图像特征，然后通过预设的分类器对提取的图像特征进行解码处理，获得待审核图像的分类结果，也即待审核图像的内容审核结果。例如，参见图1A所示，为一种图像分类的过程示意图，采用单个分类网络提取包含两个目标对象的待审核图像的图像特征，然后通过检测头，针对该图像特征的类别进行预测，获得相应的内容审核结果。
然而，在包含至少两个目标对象的待审核图像中，相比大目标对象，小目标对象所占区域更小，相应地，针对小目标对象获取到的图像特征也相对更少，这样，单个分类网络在实际分类过程中被大目标对象主导，而忽略小目标对象。但是，在实际应用中，有时小目标对象才是关键因素；当大目标对象符合审核条件而小目标对象不符合审核条件时，采用上述方式，待审核图像中的所有目标对象都被分类为符合审核条件，从而严重影响了分类结果的准确性，无法保证针对待审核图像的图像内容审核结果的准确率。
相关方案二：基于集成学习（Mixture of Experts，MoE）的改进分类方案，针对单个分类网络只能针对固定尺寸的待审核图像，导致忽略待审核图像中较小的目标对象，导致分类准确率较低的问题，该方案中，引入多个专家网络（Experts）分别对不同尺寸的待审核图像进行处理；例如，参见图1B所示，为另一种图像分类的过程示意图，在此将待审核图像的多尺寸问题转换为多个专家网络各自的训练问题，并由门控网络对各个专家网络各自输出的分类结果进行整合，获得最终的分类结果，也即待审核图像的内容审核结果。
然而，虽然上述方案解决单个分类网络只能针对固定尺寸的待审核图像，导致忽略待审核图像中较小的目标对象，造成分类准确率较低的问题，但是，针对不同尺寸的待审核图像分别训练多个专家网络需要较多的训练数据和训练时间，存在可使用性较差的问题。
鉴于此，本申请实施例提供了一种图像内容识别方法，在该方法中，基于针对待审核图像进行图像分类的第一分类网络，提出网络数据量相对更少的第二分类网络，且第二分类网络用于针对待审核图像中的每个目标对象的待审核图像进行对象分类；这样，调用第一分类网络，提取待审核图像的全局像素特征，并基于全局像素特征，获得待审核图像的第一分类结果，以及，调用第二分类网络，针对待审核图像，分别提取每个目标对象的待审核子图各自的对象像素特征，并基于各对象像素特征，获得每张待审核子图各自的第二分类结果，然后，基于第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征待审核图像是否为异常图像的内容审核结果，
与相关方案一相比，本申请实施例引入一个轻量级（网络数据量相对第一分类网络更少）的第二分类网络，用于对每个目标对象的待审核子图进行分类处理，解决相关分类网络在实际分类过程中被大目标对象主导，而忽略小目标对象，导致针对待分类图像获得不准确的内容审核结果。例如，当第一分类网络忽略小目标对象获得不准确的第一分类结果时，由于第二分类网络会针对小目标对象进行针对性的对象识别，因此相应的第二分类结果能够用于调整最终的内容审核结果，提高分类准确性。
与相关方案二相比，本申请实施例引入的第二分类网络具有轻量级（网络数据量相对第一分类网络更少）的特性，因此，在一些情况下，第二分类网络相对第一分类网络所需的训练时间和训练数据更少。此外，由于第二分类网络用于对每个目标对象的待审核子图进行分类，则第二分类网络相比第一分类网络也更加关注单个目标对象的特征，而并非关注包含至少两个目标对象的待审核图像的整体图像特征，因此，第二分类网络在针对目标对象的待审核子图上能够具有较好的分类效果，进而，两个分类网络的分类结果的结合能够弥补第一分类网络对于单个目标对象的忽略、以及弥补第二分类网络的网络数据量较小导致识别精度不足的问题。
此外，本申请实施例在实际应用中，可提高图像内容识别相关应用的可扩展性；例如，将针对待审核图像进行图像内容分类的原始分类模型作为第一分类模型，基于此，引入轻量级的针对目标对象进行对象分类的第二分类模型，一般来说，原始分类模型所需的训练数据量是海量的，这样，可以在不改变原始分类模型的基础上，提高图像内容识别的准确度。
本申请实施例提供的方案可以适用于图像内容审核场景中，用于提高针对待审核图像的内容审核结果的准确性。如图2所示，为本申请实施例提供的一种应用场景示意图，在该场景中，可以包括终端设备201和服务器202。
终端设备201包括但不限于用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
终端设备201可以安装有目标应用，目标应用可以具备获取使用对象输入的待审核图像、获取并展示待审核图像的内容审核结果、获取第一分类结果、获取各第二分类结果、基于第一分类结果及各第二分类结果获得内容审核结果等功能，例如可以为即时通信应用、音乐应用、游戏应用、视频应用、短视频应用、新闻应用以及购物应用等。本申请实施例涉及的应用可以是软件客户端，也可以是网页、小程序等客户端。
服务器202则是与软件或是网页、小程序等相对应的服务器，不限制客户端的具体类型。
需要说明的是，上述终端设备201，对于第一分类结果的获取过程、各第二分类结果的获取过程、基于第一分类结果及各第二分类结果获得内容审核结果的过程并不是必须，还可以是终端设备201将待审核图像发送至服务器202后，服务器202基于接收的待审核图像进行处理生成的。
服务器202可以为目标应用的后台服务器，用于为其提供相应的后台服务，例如，部署第一分类网络和第二分类网络等。其可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、即内容分发网络（ContentDelivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云端服务器，但并不局限于此。
需要说明的是，本申请实施例中的图像内容审核方法可以由终端设备201或者服务器202单独执行，也可以由服务器202和终端设备201共同执行。当由终端设备201或者服务器202单独执行时，则应用第一分类网络和第二分类网络进行分类的过程都可以由终端设备201或者服务器202单独实现，例如可以在终端设备201上，从包含至少两个目标对象的待审核图像中，提取对于每个目标对象的待审核子图，调用第一分类网络，提取待审核图像的全局像素特征，并基于全局像素特征，获得待审核图像的第一分类结果，以及，调用第二分类网络，提取每个目标对象的待审核子图的对象像素特征，并基于各对象像素特征，获得待审核子图的第二分类结果，其中第二分类网络的网络参数量小于第一分类网络的网络参数量，基于第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征待审核图像是否为异常图像的内容审核结果，或者也可以由服务器202执行上述待审核子图的提取过程、第一分类结果、第二分类结果的分类过程和内容审核结果的获得处理过程中的一种及组合。当由服务器202和终端设备201共同执行时，则可以由服务器202对第一分类网络、第二分类网络进行训练之后，将已训练的第一分类网络、已训练的第二分类网络部署至终端设备201中，由终端设备201实现分类过程，或者，分类部分过程可以由服务器202实现，其他过程可以由终端设备201实现，在实际应用时可以根据情况进行具体的配置，本申请在此不做具体限定。
其中，服务器202和终端设备201均可以包括一个或多个处理器、存储器以及与交互I/O接口等。此外，服务器202还可以配置数据库，可以用于存储训练得到的网络参数、已训练的第一分类网络、已训练的第二分类网络等。其中，服务器202和终端设备201的存储器中还可以存储本申请实施例提供的图像内容审核方法中各自所需执行的程序指令，这些程序指令被处理器执行时能够用以实现本申请实施例提供的图像内容审核方法的过程。
需要说明的是，当本申请实施例提供的图像内容审核方法由服务器202或者终端设备201单独执行时，则上述的应用场景中也可以仅包含服务器202或者终端设备201单一设备，或者，也可以认为服务器202和终端设备201其为同一个设备。当然，在实际应用时，当本申请实施例提供的图像内容审核方法由服务器202和终端设备201共同执行时，服务器202和终端设备201也可以为同一个设备，即服务器202和终端设备201可以为同一设备的不同功能模块，或者由同一物理设备所虚拟出的虚拟设备。
本申请实施例中，终端设备201和服务器202之间可以通过一个或者多个网络203进行直接或间接的通信连接。该网络203可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真（Wireless-Fidelity，WIFI）网络，当然还可以是其他可能的网络，本申请实施例对此不做限制。需要说明的是，图2所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。
下面，结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。且需要说明的是，下述的方法可以由上述终端设备或者服务器执行，也可以由终端设备和服务器共同执行，这里具体是以终端设备或者服务器执行为例进行示出的。
参阅图3所示，为本申请实施例提供的一种图像内容审核方法的实施流程图，以表征终端设备或服务器的计算设备为执行主体为例，该方法的具体实施流程如下：
步骤301：从包含至少两个目标对象的待审核图像中，提取对于每个目标对象的待审核子图。
其中，目标对象可以内容审核事件所关联的任何事物；例如，目标对象可以是人、动物、昆虫等生物；再例如，目标对象也可以是食品、器皿、工具等物品。
需要说明的是，上述目标对象的具体类别和属目可以根据内容审核事件确定，该内容审核事件表征：基于指定的内容审核指标，获得待审核图像的内容审核结果。
一种可能的实施方式中，在提取待审核子图之前，计算设备响应于使用对象直接或间接的交互操作，获得包含至少两个目标对象的待审核图像。当然，待审核图像也可以基于通信网络，从与计算设备连接的其他通信设备获得。具体地，待审核图像的获取方式可根据实际情况设定，在此不做限制。
本申请实施例中，计算设备在获取到包含至少两个目标对象的待审核图像后，为实现对于待审核图像中待审核内容的量化处理，针对待审核图像中的目标对象进行细化，基于对待审核图像的内容审核问题的延申，将之转换为针对待审核图像中的每个目标对象的对象审核问题。
具体地，可基于内容审核事件关联的目标提取方式，针对待审核图像，提取其中每个目标对象的待审核子图。其中，目标提取方式可以是一种像素级的像素点筛选方式。
例如，在一种可能的实现方式中，在待审核图像中，基于各个原始像素点各自的评估值，选取满足评估筛选条件的多个目标像素点，其中，每个评估值表征：相应原始像素点属于一个目标对象的组成元素的概率，每个目标像素点为一个目标对象的组成元素；然后，基于多个目标像素点各自的像素位置，确定待审核图像包含的至少两个目标对象各自的图像位置，再针对至少两个目标对象，分别执行以下操作：基于一个目标对象的图像位置，从待审核图像中，提取包含一个目标对象的待审核子图。
参见图4A所示，为一种提取待审核子图的过程示意图，其中，待审核图像中包含两个目标对象：目标对象1、目标对象2，通过确定这个两个目标对象各自在待审核图像中的图像位置，提取每个目标对象的待审核子图：目标对象1的待审核子图1、目标对象2的待审核子图2。
在一种更为具体的实现方式中，本申请实施例提出一种确认目标像素点的方式。具体地，在待审核图像中，分别基于每个原始像素点与其他原始像素点之间的关联关系，获得每个原始像素点各自的评估值，然后，从获得的各个评估值中，选取满足预设参考阈值的多个目标评估值，并将多个目标评估值各自对应的原始像素点，分别作为目标像素点。
其中，对于每个原始像素点来说，与其他原始像素点之间的关联关系，可以根据原始像素点对内容审核事件的重要性，相比其他原始像素点各自对内容审核事件的重要性确定。
另外，上述预设参考阈值可以根据内容审核事件进行关联设置。例如，参见图4B所示，为一种提取待审核子图的过程示意图，其中，获取待审核图像中每个像素点各自的评估值，基于内容审核事件关联的预设参考阈值，选取评估值为11的原始像素点作为目标像素点，然后基于选取的多个目标像素带你，获得每个目标对象各自的待审核子图。
可选地，作为上述评估值的一种可能的获取方式，针对待审核图像中的每个原始像素点，分别执行以下操作：
基于预设的K个颜色通道，分别提取一个原始像素点针对每个颜色通道各自对应的特征值，获得一个原始像素点的K（K为正整数）个特征值，然后，获取一个原始像素点关联的K个参考权重，并采用K个参考权重，对K个特征值进行加权求和，获得一个原始像素点的评估值，其中，一个参考权重表征：基于相应颜色通道，一个原始像素点与其他原始像素点之间的关联关系。
示例性地，参见图5所示，为一个原始像素点的评估值的获取过程示意图，其中，以K=3为例，预设三原色（Red Green Blue，RGB）分别作为K个颜色通道，每个颜色通道都可关联一个参考权重，针对一个原始像素点，提取其分别基于每个颜色通道所对应的特征值，获得3个特征值，然后采用相应颜色通道关联的参考权重，对这3个特征值进行加权求和，获得相应的评估值。
需要说明的是，上述各特征值的提取、各参考权重的获得，可参考类激活映射（Class Activation Mapping，CAM）的实现思想，也即，将目标对象的识别问题转换为分类问题，通过CAM技术，将每个目标对象所在的区域作为感兴趣的局部区域，并提取该局部区域，作为相应目标对象的待审核子图。
在另一种更为具体的实现方式中，本申请实施例提出一种提取待审核子图的方式。具体地，基于待审核图像的尺寸，获得相匹配的初始掩码矩阵，其中，初始掩码矩阵中每个元素与待审核图像中一个原始像素点相对应，然后，在初始掩码矩阵中，将一个目标对象相较待审核图像的缺失部分，填充为掩码令牌，并将一个目标对象的对应部分，填充为非掩码令牌，获得目标掩码矩阵，再采用该目标掩码矩阵，对审核图像中的各个原始像素点进行掩码处理，获得候选子图后，针对候选子图，裁剪一个目标对象所在的对象区域，获得包含一个目标对象的待审核子图。
示例性地，参见图6所示，为待审核子图的提取过程示意图，其中，以像素点表征图像尺寸，则待审核图像的图像尺寸为6×6，相应地，初始掩码矩阵也为6×6，基于待审核图像中的目标像素点，以非掩码令牌（如：取值为1）填充初始掩码矩阵中的相应位置，并以掩码令牌（如：取值为0）填充其余部分，获得目标掩码矩阵。在目标掩码矩阵中，掩码令牌所填充的掩码区域为隐藏区域，而非掩码令牌所填充的区域为显示区域，则采用目标掩码矩阵，待审核图像进行处理，使得显示其中各目标对象各自所在的对象区域，并针对每个对象区域进行裁剪，获得每个目标对象的待审核子图。
综上所述，获得待审核图像的至少两张待审核子图，且每张待审核子图中均包含一个目标对象。
步骤302：调用第一分类网络，提取待审核图像的全局像素特征，并基于全局像素特征，获得待审核图像的第一分类结果。
其中，第一分类结果表征：待审核图像为异常图像的第一概率。则：当第一概率大于或等于第一预设阈值时，确定待审核图像为异常图像；当第一概率小于第一预设阈值时，确定待审核图像为正常图像（非异常图像）。
需要说明的时，第一预设阈值可以根据实际情况进行设定，本申请实施例对此不做具体限制。
在本申请实施例中，第一分类网络用于针对待审核图像的全局像素特征进行特征分析，也即针对待审核图像进行图像全局的分类；相应地，第一分类结果也是针对待审核图像中的全局像素进行关注获得的，实际应用中，第一分类结果对于全局像素中不同元素的关注程度受到第一分类网络训练过程的影响，因此，受第一训练样本集中各训练样本的共性影响，对于不同目标对象的关注程度趋于一致性，因此，对于小目标对象、模糊目标对象所具备的识别能力有限。
具体来说，上述第一分类网络是通过以下方式训练获得的：获取第一训练样本集，第一训练样本集中的每个第一训练样本包括：一个样本图像和相应的样本图像标签，其中，每张样本图像中包含至少两个目标对象，每个样本图像标签表征：相应样本图像为异常图像的第一真实概率。然后，从第一训练样本集中选取第一训练样本，并将相应的样本图像输入待训练的第一分类网络中，获得基于样本图像的全局像素特征确定的、样本图像为异常图像的第一样本概率。最后，基于各第一样本概率与相应第一真实概率之间的差异，对待训练的第一分类网络进行网络参数的调整。
示例性地，参见图7所示，为第一分类网络的训练示意图，第一分类网络的训练终止条件可以包括但不限于：迭代次数达到预设迭代此处、第一分类网络符合相应拟合条件、基于各第一样本概率与相应第一真实概率之间的差异获得的损失值满足预设损失值要求。
需要说明的是，本申请实施例中，第一分类网络可以采用各种各样的分类网络结构，包括但不限于各种ResNet（残差神经网络），如：ResNeSt、ResNeXt、RegNet、ViT等，在此不再展开阐述。
综上所述，基于网络参数量相对更大的第一分类网络，提取待审核图像的全局像素特征，能够得到针对待审核图像整体进行较为精准的识别，获得待审核图像整体所对应的第一分类结果。
步骤303：针对提取的对于每个目标对象的待审核子图，执行以下操作：调用第二分类网络，提取待审核子图的对象像素特征，并基于对象像素特征，获得待审核子图的第二分类结果，其中，第二分类网络的网络参数量小于第一分类网络的网络参数量。
其中，第二分类结果表征：待审核子图为异常子图的第二概率。则：当第二概率大于或等于第二预设阈值时，确定待审核子图为异常子图；当第二概率小于第二预设阈值时，确定待审核子图为正常子图（非异常子图）。
需要说明的时，第二预设阈值可以根据实际情况进行设定，本申请实施例对此不做具体限制。
为了避免由于待审核图像存在小目标对象、模糊目标对象，导致获得不准确的分类结果，本申请实施例中，还引入一种轻量级的第二分类网络，用于叠加第一分类网络针对待审核图像进行分类，提高后续分类获得内容审核结果的准确性。
在这里，第二分类网络的网络参数量小于第一分类网络的网络参数量，具体可包括如下情况中的一种或组合：情况一，第二分类网络的网络层级小于第一分类网络的网络层级；情况二，第二分类网络所需的训练数据小于第一分类网络所需的训练数据；情况三，第二分类网络占用的运行内存小于第一分类网络占用的运行内容；情况四，第二分类网络计算所用的浮点数精度小于第一分类网络计算所用的浮点数精度；情况五，第二分类网络分类所需时间小于第一分类网络分类所需时间。
当然，用于表征第二分类网络的网络规模小于第一分类网络的网络规模的其他方式也应当涵盖其中，本申请实施例对此不做具体限制。
在本申请实施例中，第二分类网络用于针对每张待审核子图的对象像素特征进行特征分析，也即针对待审核图像进行图像局部（待审核子图中的单一目标对象）的分类；相应地，第二分类结果也是针对待审核图像中的对象像素进行关注获得的，在实际应用中，第二分类结果受到各个待审核子图中单一目标对象的对象像素进行关注获得的，在实际应用中，第二分类结果对于对象像素的关注程度受到第二分类网络训练过程的影响，因此，受内容审核事件关联的各目标对象的共性影响，对于目标对象的关注程度区域一致，因此，对于小目标对象、模糊目标对象也能具备较好的识别能力。
为便于理解，参见图8所示，为本申请实施例中两个分类网络的分类过程示意图，例如一张包含两个目标对象的待审核图像，第一分类网络针对待审核图像获得一个第一分类结果，而第二分类网络针对其中两个目标对象各自的待审核子图分别获得第二分类结果，获得两个第二分类结果。
具体来说，上述第二分类网络是通过以下方式训练获得的：获取第二训练样本集，第二训练样本集中的每个第二训练样本包括：一个样本子图和相应的样本子图标签，其中，每张样本子图中包含一个目标对象，每个样本子图标签表征：相应样本子图所包含目标对象为异常对象的第二真实概率。然后，从第二训练样本集中选取第二训练样本，并将相应的样本子图输入待训练的第二分类网络中，获得基于样本子图所包含目标对象的对象像素特征确定的，样本子图所包含目标对象为异常对象的第二样本概率。最后，基于各第二样本概率与相应的第二真实概率之间的差异，对待训练的第二分类网络进行网络参数的调整。
示例性地，参见图9所示，为第二分类网络的训练示意图，第二分类网络的训练终止条件可以包括但不限于：迭代次数达到预设迭代此处、第二分类网络符合相应拟合条件、基于各第二样本概率与相应第二真实概率之间的差异获得的损失值满足预设损失值要求。
需要说明的是，本申请实施例中，第二分类网络可以采用各种各样的分类网络结构，包括但不限于ResNet（残差神经网络），如：ResNeSt、ResNeXt、RegNet、ViT等，在此不再展开阐述。
综上所述，基于网络参数量相对更小的第二分类网络，分别提取每张待审核子图各自包含的目标对象的对象像素特征，能够针对相应目标对象进行针对性的对象识别，获得待审核图像中各个目标对象各自对应的第二分类结果。
步骤304：基于所述第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征待审核图像是否为异常图像的内容审核结果。
其中，第一分类结果表征：对应第一分类网络，待审核图像为异常图像的第一概率。每个第二分类结果表征：对应第二分类网络，相应待审核子图为异常图像的第二概率。
在本申请实施例中，针对第一分类结果，可预设相应的图像分类标准，例如：针对第一概率预设相应的第一概率阈值，该第一概率阈值为判断待审核图像是否为异常图像的界定标准。示例性地，若第一概率大于或等于第一概率阈值，则待审核图像为异常图像；若第一概率小于第一概率阈值，则待审核图像为正常图像，作为第一分类结果的图像分类标准。
同理，针对第二分类结果，可预设相应的对象分类标准，例如：针对第二概率预设相应的第二概率阈值，该第二概率阈值为判断待审核子图是否为异常图像的界定标准，也即第二概率阈值为判断待审核子图中的目标对象是否为异常对象的界定标准。示例性地，若第二概率大于或等于第二概率阈值，则待审核子图为异常子图，也即相应的目标对象为异常对象；若第二概率小于第二概率阈值，则待审核子图为正常子图，也即相应的目标对象为正常对象。
需要说明的是，上述第一概率阈值和第二概率阈值都可根据实际应用情况（如：内容审核事件关联的阈值要求）进行设定。
在一种可能的设计中，为进一步提高最终内容审核结果的准确率，第一概率阈值的数值可设置小于第二概率阈值。一方面，由于第一概率基于网络参数相对较多的第一分类网络训练得到，其概率精度能够得到保障，则对此设置相对较低的第一概率阈值，这样能够筛选出更多可能存在异常内容的待审核图像。另一方面，由于第二概率基于对目标对象进行分类的第二分类网络训练得到，其对于相应目标对象具有针对性的关注，则对此设置相对较高的第二概率阈值，能够更加准确地筛选出存在异常对象的待审核子图。
可选地，当第一概率小于第一概率阈值，且，第二概率小于第二概率阈值时，获得第一内容审核结果，该第一内容审核结果表征：待审核图像为正常图像。
示例性地，参见图10A所示，为本申请实施例中可选的内容审核结果的生成过程示意图，其中，两个分类网络的分类结果都是为正常图像，则获得表征待审核图像为正常图像的第一内容审核结果。
可选地，当第一概率大于或等于第一概率阈值，且，第二概率大于或等于第二概率阈值时，获得第二内容审核结果，该第二内容审核结果表征：待审核图像为异常图像。
示例性地，参见图10B所示，为本申请实施例中可选的内容审核结果的生成过程示意图，其中，两个分类网络的分类结果都是为异常图像，则获得表征待审核图像为异常图像的第二内容审核结果。
可选地，当第一概率小于第一概率阈值，且，第二概率大于或等于第二概率阈值时，获得第二内容审核结果，该第二内容审核结果表征：待审核图像为异常图像，其中第一概率阈值小于第二概率阈值。
示例性地，参见图10C所示，为本申请实施例中可选的内容审核结果的生成过程示意图，在图10C中，可以看到，第一概率阈值设置比第二概率阈值更小，也即第一分类网络的判别标准设置更低。这样，当第一分类网络将该待审核图像判定为正常图像，而第二分类网络将任意一张待审核子图（可选：该待审核子图的子图质量信息符合标准质量标准）判定为异常图像时，以各第二分类结果修正第一分类结果，最终判定该待审核图像为异常图像。
这样，由于本申请实施例对于第二分类网络的判别标准设置更高，在一些实际应用场景中，随着图像内容审核要求的提高，即便衍生出一些新的图像内容缺陷（也即：新增的异常对象），也可基于这些新的图像内容缺陷仅对第二识别网络进行训练，通过获得能够检测出相应新增的异常对象的第二分类网络，再结合第一分类网络，以在保证分类审核准确度的同时，实现对新的图像内容缺陷的识别。换言之，本申请实施例中，无需对第一分类网络进行重新训练，并且由第二分类网络相对第一分类网络具有更少的网络参数量，第二分类网络具有轻量级、训练时间较短、训练所需资源较少的特性，则采用该方式，能够缩短精确识别新的图像内容缺陷（也即：新增的异常对象）的模型（第一分类网络和第二分类网络叠加生成的模型）训练周期，并在短时间内提升网络对于模型识别新的图像内容缺陷（也即：新增的异常对象）的能力。
示例性地，参见图10D所示，为本申请实施例中可选的内容审核结果的生成过程示意图，在图10D中，可以看到，第一概率阈值设置比第二概率阈值更小，也即第一分类网络的判别标准设置更低。这样，当第一分类网络将该待审核图像判定为异常图像，而第二分类网络将相应的每张待审核子图（可选：每张待审核子图各自的子图质量信息符合标准质量标准）均判定为正常图像时，以各第二分类结果修正第一分类结果，最终判定该待审核图像为正常图像。
进一步，在一种可能的实现方式中，为了保证各种情况下获得内容审核结果的准确性，在采用各第二分类结果修改第一分类结果，以获得内容审核结果之前，还包括：获取各待审核子图各自的子图质量信息，并将各子图质量信息分别与标准质量信息进行比较，当各子图质量信息均满足相应的标准质量信息时，才采用各第二分类结果调整第一分类结果，以获得最终的内容审核结果；针对不满足相应标准质量信息的待审核子图，则不采用其对应的第二分类信息调整第一分类结果，以获得最终的内容审核结果。
另外，作为一种可能的实现方式，还可采用激活函数，直接针对第一概率以及各第二概率进行激活处理，获得目标概率，再将其与预设目标概率阈值进行比较，若目标概率大于或等于目标概率阈值，则判定最终的内容审核结果为异常图像，若目标概率小于目标概率函数，则判定最终的内容审核结果为正常图像。
综上所述，当第一分类网络在漏判异常图像导致准确率低时，通过结合第二分类网络的各第二分类结果，调整第一分类网络的第一分类结果，获得最终的内容审核结果，提高了图像内容审核方法的召回率。其次，当第一分类网络在误判异常图像导致准确率较低时，通过结合第二分类网络的各第二分类结果，调整第一分类网络的第一分类结果，获得最终的内容审核结果，提高了内容图像审核方法的准确率。再次，极端情况下，即便第二分类网络获得精准度一般的某第二分类结果，由于第一分类网络具有相对更佳的识别分类精度，因此还可参照第一分类网络的第一分类结果，以避免单独基于各第二分类结果得到不准确的内容审核结果，这样，进一步保证了内容审核结果的准确率。
基于上文说明可知，在一些实际应用场景中，随着图像内容要求的提高，衍生出一些新的图像内容缺陷（也即：新增的异常对象），此时，由于第二分类网络是基于这些新的图像内容缺陷（也即：新增的异常对象）对应的异常子图进行训练获得的，所以即便第一分类网络不具备识别新的图像内容缺陷（也即：新增的异常对象）的能力，第一分类网络也能够结合第二分类网络在识别出这些新的图像内容缺陷（也即：新增的异常对象）。
是故，在一种具体的实施方式中，本申请实施例提供一种获取用于训练第二分类网络的第二训练样本集的方式，用以提高实际应用中由两个分类网络叠加所生成的模型的可扩展性。具体地，第一分类网络由第一训练样本集训练获得，其中第一训练样本集中每个第一训练样本包括：一个包含至少两个目标对象的样本图像和相应的样本图像标签，则针对第一训练样本集，提取每张第一训练样本中各目标对象的样本子图，获取相应的样本子图标签，并结合至少一个新增目标对象的样本子图及其相应的样本子图标签，生成第二训练样本集。
可选地，针对各目标对象的样本子图的提取方式可参考步骤301的相应部分，在此不做重复赘述。其次，在从第一训练样本集中提取出各目标对象的样本子图后，还可对提取的各目标对象的样本子图进行筛选处理，例如，针对关联相同的样本子图标签的样本子图进行筛选等，以提高第二分类网络的训练效率。再次，在第二分类网络的训练过程中，相比第一分类网络，可引入少量新增目标对象的样本子图，这样可提高第二分类网络针对不同目标对象进行多样性识别的准确度，以提高内容审核结果的准确度。
在一种具体的实施场景中，以审核异常图像为例，则基于已训练好的第一分类网络，从第二分类网络的训练方式，对这种业务场景的图像内容审核进行如下整合性阐述。当然，本方案也包含第一分类网络的训练方式，在此不做具体限制。
针对第二分类网络的训练，首先需要明确第二训练数据集，其中，表示第二训练样本的数量，yi∈{0,1}，yi=0表示第i个第二训练样本的样本子图xi的样本子图标签为正常图像（Positive），yi=1第i个第二训练样本的样本子图的样本子图标签为异常图像（Negative），在这里，以是相应样本子图中的目标对象是否属于预设的违规安全标准物品集合，作为评判正常或异常的标准。
另外，上述第i个第二训练样本的样本子图可以是，基于CAM技术，针对从包含至少两个目标对象的图像，并根据阈值筛选，裁剪每个目标对象各自所在激活区域（对象区域）获得，也可以是直接从数据库中获得的，在此不作具体限制。
后续，在第二分类网络的训练过程中，可预先初始化第二分类网络，以采样方式从第二训练数据集中选取第i个第二训练样本的样本子图xi输入第二分类网络，获得样本子图的第二样本概率，通过计算该第二样本概率与相应的样本子图标签yi之间的交叉熵损失值，基于该交叉熵损失值调整第二分类网络的网络参数，直到第二分类网络达到收敛条件。
在获得已训练的第二分类网络后，执行如下图像内容审核方法，具体如下。
参见图11所示，获取包含至少两个目标对象的待审核图像，并基于CAM技术获得相应的热力图，通过对该热力图进行阈值筛选，确定待审核图像的各激活区域，将各激活区域分别作为相应目标对象的对象区域，并采用裁剪操作分别从待审核图像中裁剪各个对象区域，获得每个目标对象的待审核子图。如图11所示，可以看到，针对待审核图像获得两张待审核子图，分别包含的目标对象为：刀和枪。然后，采用第二分类网络分别对这两张待审核图像进行分类，获得两张待审核图像各自的第二分类结果，分别为：异常图像（Negative）和正常图像（Positive）。以及采用第一分类网络对待审核图像进行分类，获得待审核图像的第一分类结果，即正常图像（Positive）。最后，采用两个第二分类结果，调整第一分类结果，获得最终的内容审核结果，即异常图像（Negative）。
这样，本方案相比仅采用一个分类网络的方式，解决了异常图像漏召回的问题，并降低了针对异常图像的误判率；相比采用多个专家网络的方式，在保障内容审核结果准确性的同时，节约了计算资源和部署开销。
综上所述，本申请实施例在网络参数量相对较大的第一分类网络的基础上，引入网络参数量相对更小的第二分类网路，且采用第一分类网络针对包含至少两个目标对象的待审核图像进行图像分类，采用第二分类网络针对每个目标对象的待审核子图进行对象分类；结合两个分类网络的分类结果，能够针对待审核图像，获得更准确的内容审核结果，提高分类的准确率和召回率，解决相关分类网络在实际分类过程中被大目标对象主导，而忽略小目标对象，导致针对待分类图像获得不准确的内容审核结果。
参见图12所示，基于同一发明构思，本申请实施例还提供了一种图像内容审核装置1200，该装置包括：
提取模块1202，从包含至少两个目标对象的待审核图像中，提取对于每个目标对象的待审核子图；
第一调用模块1203，调用第一分类网络，提取待审核图像的全局像素特征，并基于全局像素特征，获得待审核图像的第一分类结果；以及，
第二调用模块1204，针对提取的对于每个目标对象的待审核子图，执行以下操作：调用第二分类网络，提取待审核子图的对象像素特征，并基于对象像素特征，获得待审核子图的第二分类结果，其中，第二分类网络的网络参数量小于第一分类网络的网络参数量；
获得模块1205，基于第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征待审核图像是否为异常图像的内容审核结果。
可选地，提取模块1202，具体用于：
在待审核图像中，基于各个原始像素点各自的评估值，选取满足评估筛选条件的多个目标像素点；其中，每个评估值表征：相应原始像素点属于一个目标对象的组成元素的概率，每个目标像素点为一个目标对象的组成元素；
基于多个目标像素点各自的像素位置，确定待审核图像包含的至少两个目标对象各自的图像位置；
针对至少两个目标对象，分别执行以下操作：基于一个目标对象的图像位置，从待审核图像中，提取一个目标对象的待审核子图。
可选地，提取模块1202，用于在待审核图像中，基于各个原始像素点各自的评估值，选取满足评估筛选条件的多个目标像素点，具体用于：
在待审核图像中，分别基于每个原始像素点与其他原始像素点之间的关联关系，获得每个原始像素点各自的评估值；
从获得的各个评估值中，选取满足预设参考阈值的多个目标评估值，并将多个目标评估值各自对应的原始像素点，分别作为目标像素点。
可选地，提取模块1202，用于在待审核图像中，分别基于每个原始像素点与其他原始像素点之间的关联关系，获得每个原始像素点各自的评估值，具体用于：
针对待审核图像中的每个原始像素点，分别执行以下操作：
基于预设的K个颜色通道，分别提取一个原始像素点针对每个颜色通道各自对应的特征值，获得一个原始像素点的K个特征值；其中，K为正整数；
获取一个原始像素点关联的K个参考权重，并采用K个参考权重，对K个特征值进行加权求和，获得一个原始像素点的评估值；其中，一个参考权重表征：基于相应颜色通道，一个原始像素点与其他原始像素点之间的关联关系。
可选地，提取模块1202，用于基于一个目标对象的图像位置，从待审核图像中，提取所述一个目标对象的待审核子图，具体用于：
基于待审核图像的尺寸，获得相匹配的初始掩码矩阵；其中，初始掩码矩阵中每个元素与待审核图像中一个原始像素点相对应；
在初始掩码矩阵中，将一个目标对象相较待审核图像的缺失部分，填充为掩码令牌，并将一个目标对象的对应部分，填充为非掩码令牌，获得目标掩码矩阵；
采用目标掩码矩阵，对审核图像中的各个原始像素点进行掩码处理，获得候选子图；
针对候选子图，裁剪一个目标对象所在的对象区域，获得包含一个目标对象的待审核子图。
可选地，第一分类结果表征：待审核图像为异常图像的第一概率，第二分类结果表征：相应待审核子图为异常子图的第二概率；
则获得模块1205，包括如下任意一种：
当第一概率小于第一概率阈值，且，各第二概率均小于第二概率阈值时，获得第一内容审核结果；其中，第一内容审核结果表征：待审核图像为正常图像；
当第一概率大于或等于第一概率阈值，且，各第二概率均大于或等于第二概率阈值时，获得第二内容审核结果；其中，第二内容审核结果表征：待审核图像为异常图像；
当第一概率小于第一概率阈值，且，任一第二概率大于或等于第二概率阈值时，获得第二内容审核结果；其中，第二内容审核结果表征：待审核图像为异常图像，第一概率阈值小于第二概率阈值；
当第一概率大于或等于第一概率阈值，且，各第二概率均小于第二概率阈值时，获得第一内容审核结果；其中，第一内容审核结果表征：待审核图像为正常图像，第一概率阈值小于第二概率阈值。
可选地，第一分类网络是基于第一训练样本集训练获得的，其中，第一训练样本集中的每个第一训练样本包括：一个包含至少两个目标对象的样本图像和相应的样本图像标签；
则用于训练第二分类网络的第二训练样本集是通过如下方式获得的，装置还包括训练单元1201，具体用于：
从第一训练样本集中，分别提取每张第一样本图像中各目标对象的样本子图；
基于提取的各目标对象的样本子图，获取相应的样本子图标签，并结合至少一个新增目标对象的样本子图及其相应的样本子图标签，生成第二训练样本集。
可选地，第一分类网络是通过以下方式训练获得的，则装置还包括训练单元1201，具体用于：
获取第一训练样本集，第一训练样本集中的每个第一训练样本包括：一个样本图像和相应的样本图像标签；其中，样本图像中包含至少两个目标对象，样本图像标签表征：相应样本图像为异常图像的第一真实概率；
从第一训练样本集中选取第一训练样本，并将相应的样本图像输入待训练的第一分类网络中，获得基于样本图像的全局像素特征确定的、样本图像为异常图像的第一样本概率；
基于各第一样本概率与相应第一真实概率之间的差异，对待训练的第一分类网络进行网络参数的调整。
可选地，第二分类网络是通过以下方式训练获得的，则装置还包括训练单元1201，具体用于：
获取第二训练样本集，第二训练样本集中的每个第二训练样本包括：一个样本子图和相应的样本子图标签；其中，样本子图中包含一个目标对象，样本子图标签表征：相应样本子图所包含目标对象为异常对象的第二真实概率；
从第二训练样本集中选取第二训练样本，并将相应的样本子图输入待训练的第二分类网络中，获得基于样本子图所包含目标对象的对象像素特征确定的，样本子图所包含目标对象为异常对象的第二样本概率；
基于各第二样本概率与相应的第二真实概率之间的差异，对待训练的第二分类网络进行网络参数的调整。
该装置可以用于执行本申请各实施例中所示的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考前述实施例的描述，不多赘述。
请参见图13所示，基于同一技术构思，本申请实施例还提供了一种计算机设备1300，该计算机设备1300可以为图2所示的终端设备或服务器，该计算机设备1300可以包括存储器1301和处理器1302。
所谓存储器1301，用于存储处理器1302执行的计算机程序。存储器1301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。处理器1302，可以是一个中央处理单元（central processing unit， CPU），或者为数字处理单元等等。本申请实施例中不限定上述存储器1301和处理器1302之间的具体连接介质。本申请实施例在图13中以存储器1301和处理器1302之间通过纵向1303连接，纵向1303在图13中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所谓纵向1303可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1301可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器1301也可以是非易失性存储器（non-volatilememory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）、或者存储器1301是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1301可以是上述存储器的组合。
处理器1302，用于调用所谓存储器1301中存储的计算机程序时执行本申请各实施例中设备所执行的方法。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所谓程序产品在计算机设备上运行时，所谓程序代码用于使所谓计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所谓计算机设备可以执行本申请各实施例中设备所执行的方法。
所谓程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种图像内容审核方法，其特征在于，包括：
在包含至少两个目标对象的待审核图像中，针对每个原始像素点，分别执行以下操作：基于预设的K个颜色通道，分别提取一个原始像素点针对每个颜色通道各自对应的特征值，获得所述一个原始像素点的K个特征值，并获取所述一个原始像素点关联的K个参考权重，采用所述K个参考权重，对所述K个特征值进行加权求和，获得所述一个原始像素点的评估值；其中，K为正整数，一个参考权重表征：基于相应颜色通道、所述一个原始像素点与其他原始像素点之间的关联关系，每个评估值表征：相应原始像素点属于一个目标对象的组成元素的概率；
基于各个原始像素点各自的评估值，提取对于每个目标对象的待审核子图；
调用第一分类网络，提取所述待审核图像的全局像素特征，并基于所述全局像素特征，获得所述待审核图像的第一分类结果；以及，
针对提取的对于每个目标对象的待审核子图，执行以下操作：调用第二分类网络，提取所述待审核子图的对象像素特征，并基于所述对象像素特征，获得所述待审核子图的第二分类结果，其中，所述第二分类网络的网络参数量小于所述第一分类网络的网络参数量；
基于所述第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征所述待审核图像是否为异常图像的内容审核结果。
2.如权利要求1所述的方法，其特征在于，所述基于各个原始像素点各自的评估值，提取对于每个目标对象的待审核子图，包括：
基于各个原始像素点各自的评估值，选取满足评估筛选条件的多个目标像素点；其中，每个目标像素点为一个目标对象的组成元素；
基于所述多个目标像素点各自的像素位置，确定所述待审核图像包含的至少两个目标对象各自的图像位置；
针对所述至少两个目标对象，分别执行以下操作：基于一个目标对象的图像位置，从所述待审核图像中，提取所述一个目标对象的待审核子图。
3.如权利要求2所述的方法，其特征在于，所述基于各个原始像素点各自的评估值，选取满足评估筛选条件的多个目标像素点，包括：
分别基于每个原始像素点与其他原始像素点之间的关联关系，获得所述每个原始像素点各自的评估值；
从获得的各个评估值中，选取满足预设参考阈值的多个目标评估值，并将所述多个目标评估值各自对应的原始像素点，分别作为目标像素点。
4.如权利要求2所述的方法，其特征在于，所述基于一个目标对象的图像位置，从所述待审核图像中，提取所述一个目标对象的待审核子图，包括：
基于所述待审核图像的尺寸，获得相匹配的初始掩码矩阵；其中，所述初始掩码矩阵中每个元素与所述待审核图像中一个原始像素点相对应；
在所述初始掩码矩阵中，将一个目标对象相较所述待审核图像的缺失部分，填充为掩码令牌，并将所述一个目标对象的对应部分，填充为非掩码令牌，获得目标掩码矩阵；
采用所述目标掩码矩阵，对所述审核图像中的各个原始像素点进行掩码处理，获得候选子图；
针对所述候选子图，裁剪所述一个目标对象所在的对象区域，获得包含一个目标对象的待审核子图。
5.如权利要求1所述的方法，其特征在于，所述第一分类结果表征：待审核图像为异常图像的第一概率，所述第二分类结果表征：相应待审核子图为异常子图的第二概率；
则所述基于所述第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征所述待审核图像是否为异常图像的内容审核结果，包括如下任意一种：
当所述第一概率小于第一概率阈值，且，各所述第二概率均小于第二概率阈值时，获得第一内容审核结果；其中，所述第一内容审核结果表征：所述待审核图像为正常图像；
当所述第一概率大于或等于第一概率阈值，且，各所述第二概率均大于或等于第二概率阈值时，获得第二内容审核结果；其中，所述第二内容审核结果表征：所述待审核图像为异常图像；
当所述第一概率小于第一概率阈值，且，任一所述第二概率大于或等于第二概率阈值时，获得第二内容审核结果；其中，所述第二内容审核结果表征：所述待审核图像为异常图像，所述第一概率阈值小于所述第二概率阈值；
当所述第一概率大于或等于第一概率阈值，且，各所述第二概率均小于第二概率阈值时，获得第一内容审核结果；其中，所述第一内容审核结果表征：所述待审核图像为正常图像，所述第一概率阈值小于所述第二概率阈值。
6.如权利要求1所述的方法，其特征在于，所述第一分类网络是基于第一训练样本集训练获得的，其中，所述第一训练样本集中的每个第一训练样本包括：一个包含至少两个目标对象的样本图像和相应的样本图像标签；
则用于训练所述第二分类网络的第二训练样本集是通过如下方式获得的：
从所述第一训练样本集中，分别提取每张第一样本图像中各目标对象的样本子图；
基于提取的各目标对象的样本子图，获取相应的样本子图标签，并结合至少一个新增目标对象的样本子图及其相应的样本子图标签，生成第二训练样本集。
7.如权利要求1~6任一项所述的方法，其特征在于，所述第一分类网络是通过以下方式训练获得的：
获取第一训练样本集，所述第一训练样本集中的每个第一训练样本包括：一个样本图像和相应的样本图像标签；其中，所述样本图像中包含至少两个目标对象，所述样本图像标签表征：相应样本图像为异常图像的第一真实概率；
从所述第一训练样本集中选取第一训练样本，并将相应的样本图像输入待训练的第一分类网络中，获得基于所述样本图像的全局像素特征确定的、所述样本图像为异常图像的第一样本概率；
基于各第一样本概率与相应第一真实概率之间的差异，对所述待训练的第一分类网络进行网络参数的调整。
8.如权利要求1~6任一项所述的方法，其特征在于，所述第二分类网络是通过以下方式训练获得的：
获取第二训练样本集，所述第二训练样本集中的每个第二训练样本包括：一个样本子图和相应的样本子图标签；其中，所述样本子图中包含一个目标对象，所述样本子图标签表征：相应样本子图所包含目标对象为异常对象的第二真实概率；
从所述第二训练样本集中选取第二训练样本，并将相应的样本子图输入待训练的第二分类网络中，获得基于所述样本子图所包含目标对象的对象像素特征确定的，所述样本子图所包含目标对象为异常对象的第二样本概率；
基于各第二样本概率与相应的第二真实概率之间的差异，对所述待训练的第二分类网络进行网络参数的调整。
9.一种图像内容审核装置，其特征在于，包括：
提取模块，在包含至少两个目标对象的待审核图像中，针对每个原始像素点，分别执行以下操作：基于预设的K个颜色通道，分别提取一个原始像素点针对每个颜色通道各自对应的特征值，获得所述一个原始像素点的K个特征值，并获取所述一个原始像素点关联的K个参考权重，采用所述K个参考权重，对所述K个特征值进行加权求和，获得所述一个原始像素点的评估值；其中，K为正整数，一个参考权重表征：基于相应颜色通道、所述一个原始像素点与其他原始像素点之间的关联关系，每个评估值表征：相应原始像素点属于一个目标对象的组成元素的概率；基于各个原始像素点各自的评估值，提取对于每个目标对象的待审核子图；
第一调用模块，调用第一分类网络，提取所述待审核图像的全局像素特征，并基于所述全局像素特征，获得所述待审核图像的第一分类结果；以及，
第二调用模块，针对提取的对于每个目标对象的待审核子图，执行以下操作：调用第二分类网络，提取所述待审核子图的对象像素特征，并基于所述对象像素特征，获得所述待审核子图的第二分类结果，其中，所述第二分类网络的网络参数量小于所述第一分类网络的网络参数量；
获得模块，基于所述第一分类结果，以及对于每个目标对象的待审核子图的第二分类结果，获得表征所述待审核图像是否为异常图像的内容审核结果。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，
所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。
11.一种计算机存储介质，其上存储有计算机程序指令，其特征在于，
所述计算机程序指令被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311285667.6A CN117011616B (zh) | 2023-10-07 | 2023-10-07 | 一种图像内容审核方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311285667.6A CN117011616B (zh) | 2023-10-07 | 2023-10-07 | 一种图像内容审核方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117011616A CN117011616A (zh) | 2023-11-07 |
| CN117011616B true CN117011616B (zh) | 2024-01-26 |
Family
ID=88567639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311285667.6A Active CN117011616B (zh) | 2023-10-07 | 2023-10-07 | 一种图像内容审核方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011616B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740617A (zh) * | 2019-01-08 | 2019-05-10 | 国信优易数据有限公司 | 一种图像检测方法及装置 |
| CN110766033A (zh) * | 2019-05-21 | 2020-02-07 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112507936A (zh) * | 2020-12-16 | 2021-03-16 | 平安银行股份有限公司 | 图像信息审核方法、装置、电子设备及可读存储介质 |
| CN113837208A (zh) * | 2021-10-18 | 2021-12-24 | 北京远鉴信息技术有限公司 | 一种异常图像的确定方法、装置、电子设备及存储介质 |
| CN114627421A (zh) * | 2022-03-22 | 2022-06-14 | 南通大学 | 基于场景目标的多记忆视频异常检测和定位方法及系统 |
-
2023
- 2023-10-07 CN CN202311285667.6A patent/CN117011616B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740617A (zh) * | 2019-01-08 | 2019-05-10 | 国信优易数据有限公司 | 一种图像检测方法及装置 |
| CN110766033A (zh) * | 2019-05-21 | 2020-02-07 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112507936A (zh) * | 2020-12-16 | 2021-03-16 | 平安银行股份有限公司 | 图像信息审核方法、装置、电子设备及可读存储介质 |
| CN113837208A (zh) * | 2021-10-18 | 2021-12-24 | 北京远鉴信息技术有限公司 | 一种异常图像的确定方法、装置、电子设备及存储介质 |
| CN114627421A (zh) * | 2022-03-22 | 2022-06-14 | 南通大学 | 基于场景目标的多记忆视频异常检测和定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011616A (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866140B (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN110796199B (zh) | 一种图像处理方法、装置以及电子医疗设备 | |
| CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
| CN111767927A (zh) | 一种基于全卷积网络的轻量级车牌识别方法及系统 | |
| CN112598076B (zh) | 一种机动车属性识别方法及系统 | |
| CN114187311A (zh) | 一种图像语义分割方法、装置、设备及存储介质 | |
| CN111783903A (zh) | 文本处理方法、文本模型的处理方法及装置、计算机设备 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN116226785A (zh) | 目标对象识别方法、多模态识别模型的训练方法和装置 | |
| CN115131634A (zh) | 图像识别方法、装置、设备、存储介质及计算机程序产品 | |
| CN114372532A (zh) | 标签标注质量的确定方法、装置、设备、介质及产品 | |
| CN112528058B (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
| CN112270671B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
| CN113705293A (zh) | 图像场景的识别方法、装置、设备及可读存储介质 | |
| CN117011616B (zh) | 一种图像内容审核方法、装置、存储介质和电子设备 | |
| CN114048862A (zh) | 模型的解释方法及装置 | |
| CN114241253A (zh) | 违规内容识别的模型训练方法、系统、服务器及存储介质 | |
| CN117058498B (zh) | 分割图评估模型的训练方法、分割图的评估方法及装置 | |
| CN116612466B (zh) | 基于人工智能的内容识别方法、装置、设备及介质 | |
| CN117095244B (zh) | 一种红外目标识别方法、装置、设备及介质 | |
| CN117058432B (zh) | 图像查重方法、装置、电子设备及可读存储介质 | |
| CN116993996B (zh) | 对图像中的对象进行检测的方法及装置 | |
| Yawale et al. | Design of a high-density bio-inspired feature analysis deep learning model for sub-classification of natural & synthetic imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |