CN114329022A - 一种色情分类模型的训练、图像检测方法及相关装置 - Google Patents
一种色情分类模型的训练、图像检测方法及相关装置 Download PDFInfo
- Publication number
- CN114329022A CN114329022A CN202111626744.0A CN202111626744A CN114329022A CN 114329022 A CN114329022 A CN 114329022A CN 202111626744 A CN202111626744 A CN 202111626744A CN 114329022 A CN114329022 A CN 114329022A
- Authority
- CN
- China
- Prior art keywords
- branch
- network
- trunk
- image data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 143
- 238000013145 classification model Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 12
- 238000012550 audit Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 abstract description 13
- 230000007547 defect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 15
- 230000001568 sexual effect Effects 0.000 description 15
- 238000002372 labelling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004383 yellowing Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 206010067171 Regurgitation Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种色情分类模型的训练、图像检测方法及相关装置,该方法包括:在忽略多个分支网络的条件下,单独训练主干网络,主干网络用于从图像数据中提取用于区分是否涉及色情的特征,在维持主干网络不更新的条件下,使用主干网络分别辅助训练多个分支网络,每个分支网络用于根据特征计算图像数据属于色情下指定类别的概率。一方面,将色情下不同的类别当作一个整体看待,并不区分色情下不同的类别,避免了色情下不同的类别的界限不明显导致准确率低的缺陷,另一方面,分支网络属于整个色情分类模型中的一部分,其结构的复杂度小于整个模型本身,不仅可以区分色情下不同的类别,满足业务的需求,还可以减少计算量,减少对资源的占用。
Description
技术领域
本发明涉及计算机视觉的技术领域,尤其涉及一种色情分类模型的训练、图像检测方法及相关装置。
背景技术
图像数据的内容丰富、直观,可以表达一定的语义信息,使得网站中多种业务经常应用图像数据,如短视频、用户封面、表情等。
一些用户利用图像数据本身携带语义信息的特性,在特定的环境下隐藏一些色情的信息,产生不良影响,对于用户封面等传播广的图像数据,尤为明显。
对此,各大网络平台会使用深度学习、人工审核对用户上传的图像数据进行分类、审核,从而过滤其中包含色情内容的图像数据。
目前,深度学习对于色情多分类的问题有如下两种方案:
第一种方案、提供一个多分类模型,但是,由于涉及色情的图像数据的分类界限不明显,导致多分类模型的准确率较低。
第二种方案、提供多个二分类模型,但是,运行多个二分类模型会导致计算量大,资源消耗大。
发明内容
本发明提出了一种色情分类模型的训练、图像检测方法及相关装置,以解决如何在对图像数据进行色情分类时兼顾准确率与计算量的问题。
第一方面,本发明实施例提供了一种色情分类模型的训练方法,所述色情分类模型包括一个主干网络、多个互为独立的分支网络,所述方法包括:
在忽略多个所述分支网络的条件下,单独训练所述主干网络,所述主干网络用于从图像数据中提取用于区分是否涉及色情的特征;
在维持所述主干网络不更新的条件下,使用所述主干网络分别辅助训练多个所述分支网络,每个所述分支网络用于根据所述特征计算所述图像数据属于色情下指定类别的概率。
第二方面,本发明实施例还提供了一种图像检测方法,包括:
加载色情分类模型,所述色情分类模型包括一个主干网络、多个互为独立的分支网络;
接收目标文件,所述目标文件中具有一帧或多帧图像数据;
将所述图像数据输入所述主干网络中,以提取用于区分是否涉及色情的图像特征;
将所述图像特征分别输入多个所述分支网络中,以分别计算所述图像数据属于色情下指定类别的概率,作为目标概率。
第三方面,本发明实施例还提供了一种色情分类模型的训练装置,所述色情分类模型包括一个主干网络、多个互为独立的分支网络,所述装置包括:
主干网络训练模块,用于在忽略多个所述分支网络的条件下,单独训练所述主干网络,所述主干网络用于从图像数据中提取用于区分是否涉及色情的特征;
分支网络训练模块,用于在维持所述主干网络不更新的条件下,使用所述主干网络分别辅助训练多个所述分支网络,每个所述分支网络用于根据所述特征计算所述图像数据属于色情下指定类别的概率。
第四方面,本发明实施例还提供了一种图像检测装置,包括:
色情分类模型加载模块,用于加载色情分类模型,所述色情分类模型包括一个主干网络、多个互为独立的分支网络;
目标文件接收模块,用于接收目标文件,所述目标文件中具有一帧或多帧图像数据;
图像特征提取模块,用于将所述图像数据输入所述主干网络中,以提取用于区分是否涉及色情的图像特征;
目标概率计算模块,用于将所述图像特征分别输入多个所述分支网络中,以分别计算所述图像数据属于色情下指定类别的概率,作为目标概率。
第五方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的色情分类模型的训练方法或者如第二方面所述的图像检测方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的色情分类模型的训练方法或者如第二方面所述的图像检测方法。
在本实施例中,色情分类模型包括一个主干网络、多个互为独立的分支网络,在训练色情分类模型时,在忽略多个分支网络的条件下,单独训练主干网络,主干网络用于从图像数据中提取用于区分是否涉及色情的特征,在维持主干网络不更新的条件下,使用主干网络分别辅助训练多个分支网络,每个分支网络用于根据特征计算图像数据属于色情下指定类别的概率。一方面,主干网络提供二分类的特征,将色情下不同的类别当作一个整体看待,并不区分色情下不同的类别,由于是否涉及色情的界限较为明显,可以保证二分类的特征的准确性,同时避免了色情下不同的类别的界限不明显导致准确率低的缺陷,由于对特征收敛到了是否涉及色情的范围,可减轻分支网络的工作量,提高分支网络分类的准确性,另一方面,在主干网络的基础上外接了多个分支网络,分支网络为二分类的网络,属于整个色情分类模型中的一部分,并不关心底层的特征,其结构的复杂度小于整个模型本身,不仅可以区分色情下不同的类别,满足业务的需求,还可以减少计算量,减少对资源的占用。
附图说明
图1为本发明实施例一提供的一种色情分类模型的训练方法的流程图;
图2为本发明实施例一提供的一种色情分类模型的结构示意图;
图3是本发明实施例二提供的一种图像检测方法的流程图;
图4为本发明实施例三提供的一种色情分类模型的训练装置的结构示意图;
图5为本发明实施例四提供的一种图像检测装置的结构示意图;
图6为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种色情分类模型的训练方法的流程图,本实施例可适用于训练色情分类模型,该色情分类模型的分支网络公用主干网络的情况,该方法可以由色情分类模型的训练装置来执行,该色情分类模型的训练装置可以由软件和/或硬件实现,可配置在计算机设备中,例如,服务器、工作站、个人电脑,等等,具体包括如下步骤:
步骤101、在忽略多个分支网络的条件下,单独训练主干网络。
在本实施例中提供色情分类模型,色情分类模型包括一个主干网络、多个互为独立的分支网络。
在既定待检测的图像数据的情况下,主干网络用于从图像数据中提取用于区分是否涉及色情的特征,即,主干网络的输入为图像数据,输出为特征,该特征用于区分图像数据是否涉及色情。
每个分支网络用于根据特征计算图像数据属于色情下指定类别的概率,即,每个分支网络的输入为特征,输出为类别的概率。
一般情况下,每个分支网络对应色情下的一个类别,因此,分支网络的数量与色情下的类别的数量相同。
示例性地,色情下的类别包括如下至少一种:
严重涉黄,性用品,性暗示,亲吻挑逗,聚焦特写。
其中,严重涉黄可以指直接展示性行为、裸露性器官等。
性暗示可以指存在暗示的行为,如吐舌头、裸露大腿等。
亲吻挑逗可以指存在接吻的行为、且表现得较为敏感。
聚焦特写可以指焦点集中在性器官、舌头、大腿等敏感的部位上。
图像数据在作为样本标注标签Tag(即色情下的类别)时,通常是技术人员人工分辨图像数据归属的类别,在本示例中,性暗示、亲吻挑逗、聚焦特写的边界并不明显,对于同一帧图像数据,在不同的环境中,可能被技术人员标注性暗示,也可能被技术人员标注亲吻挑逗,还可能被技术人员标注聚焦特写。
由于色情下的类别之间本身的界限并不明显,如果用标记不同类别的图像数据作为样本训练模型,会导致模型的性能较差,在本实施例中,考虑到色情与否的界限较为明显,以是否涉及色情的图像数据作为样本,即,涉及色情的图像数据作为正样本,并不区分该图像数据为色情下的类别,并不涉及色情的图像数据时作为负样本,从而单独训练主干网络,使得主干网络学习到的参数可以更好地提取用于区分是否涉及色情的特征,避免色情下的类别界限并不明显导致准确率较低的缺陷。
由于一个主干网络、多个互为独立的分支网络作为一个整体的色情分类模型,所谓单独训练主干网络,可以指在训练主干网络的期间,忽略多个分支网络,并不应用多个分支网络直接或间接辅助训练主干网络,从而避免多个分支网络应用色情下的类别对主干网络学习参数造成影响。
在本发明的一个实施例中,步骤101可以包括如下步骤:
步骤1011、将图像数据输入主干网络中提取图像特征。
在本实施例中,可以通过公开的数据集、用户上传视频数据或图像数据等方式获得多帧图像数据,作为训练主干网络的样本,这些图像数据已标注第一标签,第一标签表示是否涉及色情。
在一种情况中,训练主干网络的图像数据与训练多个分支网络的图像数据可以相同,那么,技术人员在对图像数据标注标签时,可以将各个类别的标签认为是涉及色情的第一标签,将其他图像数据的标签认为是并非涉及色情的第一标签。
例如,色情下的类别包括严重涉黄,性用品,性暗示,亲吻挑逗,聚焦特写,严重涉黄标注标签1、性用品标注标签2、性暗示标注标签3、亲吻挑逗标注标签4、聚焦特写标注标签5、并不涉及色情的图像数据标注标签0,1-5均可以认为是涉及色情的第一标签,0认为是并非涉及色情的第一标签。
在另一种情况中,训练主干网络的图像数据与训练多个分支网络的图像数据可以不同,那么,技术人员在对图像数据标注标签时,可以单独对图像数据标注第一标签,区分是否涉及色情。
如图2所示,在训练主干网络时,将图像数据输入主干网络中,主干网络对图像数据提取图像特征,并输出该图像特征。
在具体实现中,主干网络中具有多个主干卷积块Block,主干卷积块Block均为对一些包含卷积的结构的封装、抽象,以便于复用其他项目的结构,降低技术人员研发的成本。
进一步地,各个主干卷积块Block之间的结构可以相同、也可以不同,本实施例对此不加以限制。
那么,可加载主干网络中的多个主干卷积块,确定主干网络中多个主干卷积块之间的顺序,从而该按照顺序依次调用多个主干卷积块对图像数据提取特征,以输出图像特征。
其中,对于首个主干卷积块,其输入为图像数据,对于非首个主干卷积块,其输入为顺序排序在上一位的主干卷积块输出的特征,最后一个主干卷积块输出的特征可记为图像特征。
在一个主干网络的示例中,如图2所示,主干网络包括四个主干卷积块,分别记为第一主干卷积块Block1、第二主干卷积块Block2、第三主干卷积块Block3、第四主干卷积块Block4。
第一主干卷积块Block1、第二主干卷积块Block2、第三主干卷积块Block3、第四主干卷积块Block4之间的结构可以相同、也可以不同,本示例对此不加以限制。
对于相同的情况,可以尽可能节省技术人员研发的成本,例如,第一主干卷积块Block1、第二主干卷积块Block2、第三主干卷积块Block3、第四主干卷积块Block4均为可分离卷积(separable convolutions),尤其为深度可分离卷积(depthwise separableconvolutions),图像数据具有空间维度(即宽度、高度)和深度(即通道,如R(红)、G(绿)、B(蓝))。
在本示例中,将图像数据输入第一主干卷积块中执行卷积操作,获得新的特征,记为第一主干特征。
将第一主干特征输入第二主干卷积块中执行卷积操作,获得新的特征,记为第二主干特征。
将第二主干特征输入第三主干卷积块中执行卷积操作,获得新的特征,记为第三主干特征。
将第三主干特征输入第四主干卷积块中执行卷积操作,获得新的特征,记为图像特征。
在本示例中,各层主干卷积块输出的特征的宽度、高度呈下降的趋势,从而提取高纬度的特征,通道的数量呈上升的趋势,从而提高特征的多样性。
第一主干特征的宽度、高度分别大于第二主干特征的宽度、高度,第一主干特征的通道的数量小于第二主干特征的通道的数量。
第二主干特征的宽度、高度分别大于第三主干特征的宽度、高度,第二主干特征的通道的数量分别小于第三主干特征的通道的数量。
第三主干特征的宽度、高度分别大于图像特征的宽度、高度,第三主干特征的通道的数量小于图像特征的通道的数量。
例如,图像数据的大小为256*128*3,第一主干特征的大小为128*62*32,第二主干特征的大小为64*32*96,第三主干特征为32*16*256,图像特征为16*8*512。
当然,上述主干网络的结构只是作为示例,在实施本发明实施例时,可以根据实际情况设置其它主干网络的结构,例如,设置5个主干卷积块,等等,本发明实施例对此不加以限制。另外,除了上述主干网络的结构外,本领域技术人员还可以根据实际需要采用其它主干网络的结构,本发明实施例对此也不加以限制。
步骤1012、将图像特征输入主干全连接层中,以将图像特征映射为图像数据涉及色情的概率,作为主干概率。
在本实施例中,如图2所示,为了辅助训练主干网络,可以在主干网络之后连接一全连接层(fully connected layers,FC),记为主干全连接层FC0。
主干全连接层FC0为独立于色情分类模型的结构,主干网络与主干全连接层可以组成一个二分类的模型,记为色情检测模型,该色情检测模型用于检测图像数据是否涉及色情。
将图像特征输入主干全连接层中,主干全连接层将图像特征映射为图像数据涉及色情的概率,记为主干概率S0。
步骤1013、计算第一标签与主干概率之间的差异,作为主干损失值。
在本实施例中,可以将第一标签与主干概率代入预设的损失函数(LossFunction)中,如Softmax函数,从而计算第一标签与主干概率之间的差异,获得损失值LOSS,记为主干损失值。
步骤1014、基于主干损失值分别更新主干全连接层中的参数、主干网络中的参数。
在本实施例中,对主干网络、主干全连接层进行反向传播,基于主干损失值分别更新主干网络中的参数、主干全连接层中的参数。
在具体实现中,在对主干网络、主干全连接层进行反向传播的过程中,可将主干损失值代入SGD(stochastic gradient descent,随机梯度下降)、Adam(Adaptive momentum,自适应动量)等优化算法中,分别计算主干网络中参数的更新幅度、主干全连接层中参数的更新幅度,分别按照该更新幅度更新主干网络中的参数、按照该更新幅度更新主干全连接层中的参数。
步骤1015、判断是否满足预设的主干训练条件;若是,则执行步骤1016,若否,则返回执行步骤1011。
步骤1016、确定主干网络训练完成。
本实施例中,可以预先设置主干训练条件,作为停止训练的条件,例如,迭代的次数达到阈值,主干损失值连续多次的变化幅度小于阈值,等等,在每轮迭代训练中,判断是否满足主干训练条件。
如果满足主干训练条件,则可以认为主干网络、主干全连接层训练完成,此时,输出主干网络中的权重、主干全连接层中的权重,并持久化至数据库中。
进一步地,由于主干全连接层独立于色情分类网络,因此,在主干网络训练完成时,可丢弃主干全连接层。
如果未满足主干训练条件,则可以进入下一轮迭代训练,重新执行步骤1011-步骤1014,如此循环迭代训练,直至主干网络、主干全连接层训练完成。
步骤102、在维持主干网络不更新的条件下,使用主干网络分别辅助训练多个分支网络。
如图2所示,若主干网络训练完成,则可以将多个分支网络分别连接至主干网络之后,以便在主干网络的辅助下分别对多个分支网络进行训练。
在分别对多个分支网络进行训练的期间,维持主干网络不更新,即,并不更新主干网络中的参数。
其中,所谓将多个分支网络分别连接至主干网络之后,可以指主干网络与主干全连接层组成色情检测模型,主干网络与多个分支网络组成色情分类模型,色情检测模型中的主干网络与色情分类模型中的主干网络结构一样,在色情检测模型(即主干网络、主干全连接层)完成训练时,通过微调(Fine Tune)等方法将色情检测模型中主干网络的参数赋值给色情分类模型中的主干网络。
在本发明的一个实施例中,步骤102可以包括如下步骤:
步骤1021、设定多个数值递减的学习率。
步骤1022、依次使用多个学习率执行多轮训练操作。
分支网络通常由不同功能的层构成,以CNN(Convolutional Neural Network,卷积神经网络)为例,CNN通常包含数目众多的卷积层、激活层、池化层等等。
其中,每一层都将输入的数据经过层内存储的参数所表达的函数式进行计算,得到输出的数据,该输出的数据作为下一层输入的数据。
因此,分支网络可以看作是一种函数映射,而分支网络的训练过程是一个函数优化求解的过程。优化求解的目标就是不断更新该分支网络所包含的参数,将已标注标签的样本作为输入的数据,经过分支网络的计算,输出的预测值和标注之间的损失值最小。
分支网络训练的过程就是参数更新的过程:计算目标函数在当前参数的梯度方向,然后根据损失值和学习速率(learning rate),计算参数的更新幅度,在梯度相反方向更新参数。
假设分支网络的参数表示为w,目标函数为f,则目标函数在第t个时刻时的参数梯度gt可以表示为:
因此,学习率为a时,第t个时刻参数的更新幅度可以表示为:
Δwt=-at·gt
第t+1个时刻时的更新可以表示为:
wt+1=wt+Δwt
学习率过大,在分支网络优化的前期会加速学习,使得分支网络更容易接近局部或全局最优解。但是在后期会有较大波动,甚至出现损失函数的值围绕最小值徘徊,波动很大,始终难以达到最优。因此,本实施例引入学习率递减的方式,随着训练操作次数的增加、学习率逐渐递减,即,本轮训练操作的学习率比上一轮训练操作的学习率小。
其中,每轮训练操作为在维持主干网络不更新的条件下,使用主干网络按照学习率分别更新多个分支网络。
由于主干网络并不更新,因此,在一次训练操作中,可以同时训练部分分支网络,也可以训练全部分支网络,相应地,每个分支网络的学习率可以相同,也可以不同,本实施例对此不加以限制。
那么,在训练分支网络的初期,会使用较大的学习率进行分支网络的优化,随着训练操作的次数增加,学习率会逐渐进行减小,保证在训练分支网络后期不会有太大的波动,从而更加接近最优解。
例如,对分支网络设置两轮训练操作,第一轮训练操作的学习率为0.01,第二轮训练操作的学习率为0.001。
在发明的一个实施例中,步骤1022可以包括如下步骤:
步骤10221、加载主干网络、多个分支网络。
在每次训练操作时,分别加载主干网络、多个分支网络运行,主干网络、多个分支网络具有Checkpoints(检查点)文件,Checkpoints文件是一个二进制文件,它把变量名映射到对应的tensor值,本质上是存储的各个变量的值,在加载主干网络、多个分支网络运行,导入Checkpoints文件作为本次训练操作时初始的迭代点,其中,主干网络继承步骤101中单独训练完成时的参数,每个分支网络继承上一轮训练操作完成时的参数。
步骤10222、将图像数据输入主干网络中提取图像特征。
在本实施例中,可以通过公开的数据集、用户上传视频数据或图像数据等方式获得多帧图像数据,作为训练分支网络的样本,这些图像数据为已标注第二标签,第二标签表示是否属于色情下指定的类别。
在一种情况中,训练主干网络的图像数据与训练多个分支网络的图像数据可以相同,那么,技术人员在对图像数据标注标签时,针对既定的类别,可以将该类别的标签认为是属于该类别的第二标签,将其他类别的图像数据的标签认为是并非属于该类别的第二标签。
例如,色情下的类别包括严重涉黄,性用品,性暗示,亲吻挑逗,聚焦特写,严重涉黄标注标签1、性用品标注标签2、性暗示标注标签3、亲吻挑逗标注标签4、聚焦特写标注标签5、并不涉及色情的图像数据标注标签0,针对严重涉黄,1认为是属于严重涉黄的第二标签,0、2-5均可以认为是并非属于严重涉黄的第二标签,针对性用品,2认为是属于性用品的第二标签,0-1、3-5均可以认为是并非属于性用品的第二标签。
在另一种情况中,训练主干网络的图像数据与训练多个分支网络的图像数据可以不同,那么,技术人员在对图像数据标注标签时,可以单独对图像数据标注第而标签,区分是否属于色情下的类别。
在训练分支网络时,将图像数据输入主干网络中,主干网络对图像数据提取用于区分是否涉及色情的图像特征,并输出该图像特征。
在具体实现中,可确定主干网络中多个主干卷积块之间的顺序;按照顺序依次调用多个主干卷积块对图像数据提取特征,以输出图像特征。
示例性地,主干卷积块包括第一主干卷积块、第二主干卷积块、第三主干卷积块、第四主干卷积块,在本示例中,将图像数据输入第一主干卷积块中执行卷积操作,获得第一主干特征;将第一主干特征输入第二主干卷积块中执行卷积操作,获得第二主干特征;将第二主干特征输入第三主干卷积块中执行卷积操作,获得第三主干特征;将第三主干特征输入第四主干卷积块中执行卷积操作,获得图像特征。
进一步地,第一主干卷积块、第二主干卷积块、第三主干卷积块、第四主干卷积块均为可分离卷积。
第一主干特征的宽度、高度分别大于第二主干特征的宽度、高度;第一主干特征的通道的数量小于第二主干特征的通道的数量。
第二主干特征的宽度、高度分别大于第三主干特征的宽度、高度;第二主干特征的通道的数量分别小于第三主干特征的通道的数量。
第三主干特征的宽度、高度分别大于图像特征的宽度、高度;第三主干特征的通道的数量小于图像特征的通道的数量。
在本发明实施例中,由于步骤10222与步骤101的应用基本相似,所以描述的比较简单,相关之处参见步骤101的部分说明即可,本发明实施例在此不加以详述。
步骤10223、将图像特征分别输入每个分支网络中,以计算图像数据归属类别的概率,作为分支概率。
如图2所示,在训练分支网络时,将用于区分是否涉及色情的图像特征输入每个分支网络中,分支网络根据该图像特征计算图像数据归属既定类别的概率,记为分支概率。
对于同一帧图像数据,可以在每个分支网络中均输出分支概率,例如,如图2所示,针对色情下的每个类别,即,严重涉黄,性用品,性暗示,亲吻挑逗,聚焦特写,分别设置一个分支网络,对于同一帧图像数据,在严重涉黄的分支网络中输出该图像数据是否严重涉黄的分支概率S1,在性用品的分支网络中输出该图像数据是否具有性用品的分支概率S2,在性暗示的分支网络中输出该图像数据是否存在性暗示的分支概率S3,在亲吻挑逗的分支网络中输出该图像数据是否存在亲吻挑逗的分支概率S4,在聚焦特写的分支网络中输出该图像数据是否存在聚焦特写的分支概率S5。
在具体实现中,分支网络包括一个或多个分支卷积块Block、分支全连接层,分支卷积块Block均为对一些包含卷积的结构的封装、抽象,以便于复用其他项目的结构,降低技术人员研发的成本。
进一步地,在同一个分支网络中,各个分支卷积块Block之间的结构可以相同、也可以不同,在不同的分支网络中,各个分支卷积块Block之间的结构可以相同、也可以不同,本实施例对此不加以限制。
那么,可以依次调用一个或多个分支卷积块将图像特征映射为分类图像特征,即,一个或多个分支卷积块将适于区分是否涉及色情的图像特征映射为适于区分是否为色情下既定类别的分类图像特征。
其中,在分支网络具有多个分支卷积块的情况下,多个分支卷积块之间具有顺序,对于首个分支卷积块,其输入为图像特征,对于非首个分支卷积块,其输入为顺序排序在上一位的分支卷积块输出的特征,最后一个分支卷积块输出的特征可记为分类图像特征。
分支全连接层适于全连接层FC,将分类图像特征输入分支全连接层中,以将分类图像特征映射为图像数据归属色情下既定类别的分支概率。
在一个分支网络的示例中,分支卷积块的数量为一个,分支卷积块为可分离卷积,那么,将图像特征输入分支卷积块中执行卷积操作,获得新的特征,记为分类图像特征。
例如,如图2所示,在严重涉黄的分支网络中设置一个分支卷积块Block5、一个分支全连接层FC1,在性用品的分支网络中设置一个分支卷积块Block6、一个分支全连接层FC2,在性暗示的分支网络中设置一个分支卷积块Block7、一个分支全连接层FC3,在亲吻挑逗的分支网络中设置一个分支卷积块Block8、一个分支全连接层FC4,在聚焦特写的分支网络中设置一个分支卷积块Block9、一个分支全连接层FC5,分支卷积块Block5、分支卷积块Block6、分支卷积块Block7、分支卷积块Block8、分支卷积块Block9的结构相同,但训练完成的参数一般不同。
在本示例中,分支卷积块提供特征映射的功能,图像特征特征的宽度、高度分别与分类图像特征的宽度、高度相等,图像特征特征的通道的数量与分类图像特征的通道的数量相等。
当然,上述分支网络的结构只是作为示例,在实施本发明实施例时,可以根据实际情况设置其它分支网络的结构,例如,其中一个分支网络设置一个分支卷积块,另一个分支网络设置两个分支卷积块,等等,本发明实施例对此不加以限制。另外,除了上述分支网络的结构外,本领域技术人员还可以根据实际需要采用其它分支网络的结构,本发明实施例对此也不加以限制。
例如,图像特征为16*8*512,分类图像特征为16*8*512。
步骤10224、计算第二标签与分支概率之间的差异,作为分支损失值。
在本实施例中,可以将第二标签与分支概率代入预设的损失函数中,如Softmax函数,从而计算第二标签与分支概率之间的差异,获得损失值LOSS,记为分支损失值。
步骤10225、基于分支损失值与学习率更新分支网络中的参数,禁止更新主干网络中的参数。
在本实施例中,对主干网络、分支网络进行反向传播,基于分支损失值分别更新分支网络中的参数,在更新主干网络中的参数时截止,从而禁止更新主干网络中的参数,维持主干网络中的参数为单独训练时学习到的参数,保证主干网络用于提取图像数据中区分是否涉及色情的特征。
在具体实现中,在对主干网络、主干全连接层进行反向传播的过程中,可将分支损失值代入SGD、Adam等优化算法中,分别计算分支网络中参数的更新幅度的更新幅度,分别按照该更新幅度更新分支网络中的参数。
步骤10226、判断是否满足预设的分支训练条件;若是,则执行步骤10227,若否,则返回执行步骤10222。
步骤10227、确定分支网络完成本轮训练操作。
本实施例中,可以预先针对每轮训练操作设置分支训练条件,作为停止训练的条件,不同的训练操作的分支训练条件可以相同、也可以不同,例如,迭代的次数达到阈值,分支损失值连续多次的变化幅度小于阈值,等等,在每轮迭代训练中,判断是否满足分支训练条件。
如果满足分支训练条件,则可以认为分支网络在本轮训练操作中训练完成,此时,输出主干网络中的权重、分支网络中的权重,并持久化至Checkpoints文件中。
如果未满足分支训练条件,则可以进入下一轮迭代训练,重新执行步骤10222-步骤10225,如此循环迭代训练,直至分支网络在本轮训练操作中训练完成。
当所有轮训练操作完成时,确定色情分类模型训练完成。
在本实施例中,色情分类模型包括一个主干网络、多个互为独立的分支网络,在训练色情分类模型时,在忽略多个分支网络的条件下,单独训练主干网络,主干网络用于从图像数据中提取用于区分是否涉及色情的特征,在维持主干网络不更新的条件下,使用主干网络分别辅助训练多个分支网络,每个分支网络用于根据特征计算图像数据属于色情下指定类别的概率。一方面,主干网络提供二分类的特征,将色情下不同的类别当作一个整体看待,并不区分色情下不同的类别,由于是否涉及色情的界限较为明显,可以保证二分类的特征的准确性,同时避免了色情下不同的类别的界限不明显导致准确率低的缺陷,由于对特征收敛到了是否涉及色情的范围,可减轻分支网络的工作量,提高分支网络分类的准确性,另一方面,在主干网络的基础上外接了多个分支网络,分支网络为二分类的网络,属于整个色情分类模型中的一部分,并不关心底层的特征,其结构的复杂度小于整个模型本身,不仅可以区分色情下不同的类别,满足业务的需求,还可以减少计算量,减少对资源的占用。
实施例二
图3为本发明实施例二提供的一种图像检测方法的流程图,本实施例可适用于应用色情分类模型进行图像检测的情况,该方法可以由图像检测装置来执行,该图像检测装置可以由软件和/或硬件实现,可配置在计算机设备中,例如,服务器、工作站、个人电脑,等等,具体包括如下步骤:
步骤301、加载色情分类模型。
在本实施例中,可以预先训练色情分类模型,该色情分类模型包括一个主干网络、多个互为独立的分支网络,训练的方法如下:
在忽略多个分支网络的条件下,单独训练主干网络,主干网络用于从图像数据中提取用于区分是否涉及色情的特征;
在维持主干网络不更新的条件下,使用主干网络分别辅助训练多个分支网络,每个分支网络用于根据特征计算图像数据属于色情下指定类别的概率。
在本发明实施例中,由于训练色情分类模型的方法与实施例一的应用基本相似,所以描述的比较简单,相关之处参见实施例一的部分说明即可,本发明实施例在此不加以详述。
步骤302、接收目标文件。
在实际应用中,用户通过客户端将目标文件上传至视频平台,目标文件中具有一帧或多帧图像数据,对于不同的业务,目标文件的形态有所不同,如用户封面(部分情况下复用为用户头像)、自定义的表情、短视频、直播数据等,意图发布该目标文件,让公众传阅、浏览。
按照业务、法律等因素可制定内容审核的标准,在发布目标文件之前,按照该审核规范对该视频文件的内容进行审核,过滤掉一些不符合内容审核的标准的目标文件,其中包含涉及色情的目标文件,从而发布一些符合内容审核的标准的目标文件。
如果内容审核对于实时性要求较高,中可设置流式实时系统,用户通过客户端实时将目标文件上传至该流式实时系统,该流式实时系统可将该目标文件传输至实现内核审核的设备。
如果对于实时性要求较低,可设置数据库,如分布式数据库等,用户通过客户端将目标文件上传至该数据库,实现内核审核的设备可从该数据库读取该目标文件。
进一步地,若目标文件为短视频、直播数据等视频数据,则可以以跳帧的方式从视频数据中抽取多帧图像数据进行内容审核额,例如,每间隔一段时间抽取一帧图像数据,随机抽取图像数据,等等。
步骤303、将图像数据输入主干网络中,以提取用于区分是否涉及色情的图像特征。
在内容审核时,将图像数据输入主干网络中,主干网络对图像数据提取用于区分是否涉及色情的图像特征,并输出该图像特征。
在具体实现中,可加载主干网络中的多个主干卷积块;按照顺序依次调用多个主干卷积块对图像数据提取特征,以输出图像特征。
示例性地,主干卷积块包括第一主干卷积块、第二主干卷积块、第三主干卷积块、第四主干卷积块,在本示例中,将图像数据输入第一主干卷积块中执行卷积操作,获得第一主干特征;将第一主干特征输入第二主干卷积块中执行卷积操作,获得第二主干特征;将第二主干特征输入第三主干卷积块中执行卷积操作,获得第三主干特征;将第三主干特征输入第四主干卷积块中执行卷积操作,获得图像特征。
进一步地,第一主干卷积块、第二主干卷积块、第三主干卷积块、第四主干卷积块均为可分离卷积。
第一主干特征的宽度、高度分别大于第二主干特征的宽度、高度;第一主干特征的通道的数量小于第二主干特征的通道的数量。
第二主干特征的宽度、高度分别大于第三主干特征的宽度、高度;第二主干特征的通道的数量分别小于第三主干特征的通道的数量。
第三主干特征的宽度、高度分别大于图像特征的宽度、高度;第三主干特征的通道的数量小于图像特征的通道的数量。
在本发明实施例中,由于步骤303与步骤101的应用基本相似,所以描述的比较简单,相关之处参见步骤101的部分说明即可,本发明实施例在此不加以详述。
步骤304、将图像特征分别输入多个分支网络中,以分别计算图像数据属于色情下指定类别的概率,作为目标概率。
在内容审核时,将用于区分是否涉及色情的图像特征输入每个分支网络中,分支网络根据该图像特征计算图像数据归属既定类别的概率,记为目标概率。
在具体实现中,分支网络包括一个或多个分支卷积块、分支全连接层;可依次调用一个或多个分支卷积块将图像特征映射为分类图像特征;将分类图像特征输入分支全连接层中,以将分类图像特征映射为图像数据归属类别的概率,作为分支概率。
示例性地,分支卷积块的数量为一个,分支卷积块为可分离卷积。
进一步地,图像特征特征的宽度、高度分别与分类图像特征的宽度、高度相等;图像特征特征的通道的数量与分类图像特征的通道的数量相等。
在本发明实施例中,由于步骤304与步骤102的应用基本相似,所以描述的比较简单,相关之处参见步骤102的部分说明即可,本发明实施例在此不加以详述。
在本发明的一个实施例中,考虑到机器进行内容审核存在一定的误判,为了提高内容审核的质量,可以提供人工审核的程序,此时,可以查询对该类别设置的阈值,一般情况下,对于涉及色情的图像数据,每个类别在网站中的分布情况是有所不同的,因此,每个类别的阈值一般是有所不同的。
针对同一类别,若目标概率小于阈值,表示目标文件包含既定类别下的图像数据的概率较低,则可以继续对目标文件进行其他与业务相关的处理。
若目标概率大于或等于阈值,表示目标文件包含既定类别下的图像数据的概率较高,则可以对目标文件生成审核任务,将审核任务发送至指定的客户端执行复核操作,角色为审核员的用户登录在客户端,在客户端接收到审核任务时,解析目标文件,所谓复核操作,即为由角色为审核员的用户进行人工审核,如果人工审核的结果为并不涉及色情,则允许发布该目标文件,如果人工审核的结果为涉及色情下的某个类别,则禁止发布该目标文件。
进一步地,人工审核的结果可以作为图像数据的标签,后续用于继续训练色情分类模型,持续提高色情分类模型的性能,如精确度、泛化能力。
在本实施例中,加载色情分类模型,色情分类模型包括一个主干网络、多个互为独立的分支网络;接收目标文件,目标文件中具有一帧或多帧图像数据;将图像数据输入主干网络中,以提取用于区分是否涉及色情的图像特征;将图像特征分别输入多个分支网络中,以分别计算图像数据属于色情下指定类别的概率,作为目标概率。一方面,主干网络提供二分类的特征,将色情下不同的类别当作一个整体看待,并不区分色情下不同的类别,由于是否涉及色情的界限较为明显,可以保证二分类的特征的准确性,同时避免了色情下不同的类别的界限不明显导致准确率低的缺陷,由于对特征收敛到了是否涉及色情的范围,可减轻分支网络的工作量,提高分支网络分类的准确性,另一方面,在主干网络的基础上外接了多个分支网络,分支网络为二分类的网络,属于整个色情分类模型中的一部分,并不关心底层的特征,其结构的复杂度小于整个模型本身,不仅可以区分色情下不同的类别,满足业务的需求,还可以减少计算量,减少对资源的占用。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例三
图4为本发明实施例三提供的一种色情分类模型的训练装置的结构框图,所述色情分类模型包括一个主干网络、多个互为独立的分支网络,所述装置具体可以包括如下模块:
主干网络训练模块401,用于在忽略多个所述分支网络的条件下,单独训练所述主干网络,所述主干网络用于从图像数据中提取用于区分是否涉及色情的特征;
分支网络训练模块402,用于在维持所述主干网络不更新的条件下,使用所述主干网络分别辅助训练多个所述分支网络,每个所述分支网络用于根据所述特征计算所述图像数据属于色情下指定类别的概率。
在本发明的一个实施例中,所述主干网络训练模块401包括:
图像特征提取模块,用于将图像数据输入所述主干网络中提取图像特征,所述图像数据已标注第一标签,所述第一标签表示是否涉及色情;
主干概率计算模块,用于将所述图像特征输入主干全连接层中,以将所述图像特征映射为所述图像数据涉及色情的概率,作为主干概率;
主干损失值计算模块,用于计算所述第一标签与所述主干概率之间的差异,作为主干损失值;
主干网络更新模块,用于基于所述主干损失值分别更新所述主干全连接层中的参数、所述主干网络中的参数;
主干训练条件判断模块,用于判断是否满足预设的主干训练条件;若是,则调用主干完成确定模块,若否,则返回调用所述图像特征提取模块;
主干完成确定模块,用于确定所述主干网络训练完成。
在本发明的一个实施例中,所述分支网络训练模块402包括:
学习率设置模块,用于设定多个数值递减的学习率;
训练操作执行模块,用于依次使用多个所述学习率执行多轮训练操作,每轮所述训练操作为在维持所述主干网络不更新的条件下,使用所述主干网络按照所述学习率分别更新多个所述分支网络。
在本发明的一个实施例中,所述训练操作执行模块包括:
网络加载模块,用于加载所述主干网络、多个所述分支网络,所述主干网络继承单独训练完成时的参数,每个所述分支网络继承上一轮训练操作完成时的参数;
图像特征提取模块,用于将图像数据输入所述主干网络中提取图像特征,所述图像数据为已标注第二标签,所述第二标签表示是否属于色情下指定的类别;
分支概率计算模块,用于将所述图像特征分别输入每个所述分支网络中,以计算所述图像数据归属所述类别的概率,作为分支概率;
分支损失值计算模块,用于计算所述第二标签与所述分支概率之间的差异,作为分支损失值;
分支网络更新模块,用于基于所述分支损失值与所述学习率更新所述分支网络中的参数,禁止更新所述主干网络中的参数;
分支训练条件判断模块,用于判断是否满足预设的分支训练条件;若是,则调用分支完成确定模块,若否,则返回调用所述图像特征提取模块;
分支完成确定模块,用于确定所述分支网络完成本轮训练操作。
在本发明的一个实施例中,所述图像特征提取模块包括:
顺序确定模块,用于确定所述主干网络中多个主干卷积块之间的顺序;
顺序调用模块,用于按照所述顺序依次调用多个所述主干卷积块对图像数据提取特征,以输出图像特征。
在本发明实施例的一个示例中,所述主干卷积块包括第一主干卷积块、第二主干卷积块、第三主干卷积块、第四主干卷积块;
所述顺序调用模块包括:
第一主干特征生成模块,用于将图像数据输入所述第一主干卷积块中执行卷积操作,获得第一主干特征;
第二主干特征生成模块,用于将所述第一主干特征输入所述第二主干卷积块中执行卷积操作,获得第二主干特征;
第三主干特征生成模块,用于将所述第二主干特征输入所述第三主干卷积块中执行卷积操作,获得第三主干特征;
图像特征生成模块,用于将所述第三主干特征输入所述第四主干卷积块中执行卷积操作,获得图像特征。
在本发明实施例的一个示例中,所述第一主干卷积块、所述第二主干卷积块、所述第三主干卷积块、所述第四主干卷积块均为可分离卷积;
所述第一主干特征的宽度、高度分别大于所述第二主干特征的宽度、高度;
所述第一主干特征的通道的数量小于所述第二主干特征的通道的数量;
所述第二主干特征的宽度、高度分别大于所述第三主干特征的宽度、高度;
所述第二主干特征的通道的数量分别小于所述第三主干特征的通道的数量;
所述第三主干特征的宽度、高度分别大于所述图像特征的宽度、高度;
所述第三主干特征的通道的数量小于所述图像特征的通道的数量。
在本发明的一个实施例中,所述分支网络包括一个或多个分支卷积块、分支全连接层;
所述分支概率计算模块包括:
分类图像特征映射模块,用于依次调用一个或多个所述分支卷积块将所述图像特征映射为分类图像特征;
分支概率映射模块,用于将所述分类图像特征输入所述分支全连接层中,以将所述分类图像特征映射为所述图像数据归属所述类别的概率,作为分支概率。
在本发明实施例的一个示例中,所述分支卷积块的数量为一个,所述分支卷积块为可分离卷积;
所述图像特征特征的宽度、高度分别与所述分类图像特征的宽度、高度相等;
所述图像特征特征的通道的数量与所述分类图像特征的通道的数量相等。
本发明实施例所提供的色情分类模型的训练装置可执行本发明任意实施例所提供的色情分类模型的训练方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种图像检测装置的结构框图,具体可以包括如下模块:
色情分类模型加载模块501,用于加载色情分类模型,所述色情分类模型包括一个主干网络、多个互为独立的分支网络;
目标文件接收模块502,用于接收目标文件,所述目标文件中具有一帧或多帧图像数据;
图像特征提取模块503,用于将所述图像数据输入所述主干网络中,以提取用于区分是否涉及色情的图像特征;
目标概率计算模块504,用于将所述图像特征分别输入多个所述分支网络中,以分别计算所述图像数据属于色情下指定类别的概率,作为目标概率。
在本发明的一个实施例中,所述色情分类模型的训练方法如下:
在忽略多个所述分支网络的条件下,单独训练所述主干网络,所述主干网络用于从图像数据中提取用于区分是否涉及色情的特征;
在维持所述主干网络不更新的条件下,使用所述主干网络分别辅助训练多个所述分支网络,每个所述分支网络用于根据所述特征计算所述图像数据属于色情下指定类别的概率。
在本发明的一个实施例中,还包括:
阈值查询模块,用于查询对所述类别设置的阈值;
审核任务生成模块,用于针对同一所述类别,若所述目标概率大于或等于所述阈值,则对所述目标文件生成审核任务;
审核任务发送模块,用于将所述审核任务发送至指定的客户端执行复核操作,角色为审核员的用户登录在所述客户端。
在本发明的一个实施例中,所述图像特征提取模块503包括:
顺序确定模块,用于确定所述主干网络中多个主干卷积块之间的顺序;
顺序调用模块,用于按照所述顺序依次调用多个所述主干卷积块对所述图像数据提取特征,以输出用于区分是否涉及色情的图像特征。
在本发明实施例的一个示例中,所述主干卷积块包括第一主干卷积块、第二主干卷积块、第三主干卷积块、第四主干卷积块;
所述顺序调用模块包括:
第一主干特征生成模块,用于将图像数据输入所述第一主干卷积块中执行卷积操作,获得第一主干特征;
第二主干特征生成模块,用于将所述第一主干特征输入所述第二主干卷积块中执行卷积操作,获得第二主干特征;
第三主干特征生成模块,用于将所述第二主干特征输入所述第三主干卷积块中执行卷积操作,获得第三主干特征;
图像特征生成模块,用于将所述第三主干特征输入所述第四主干卷积块中执行卷积操作,获得用于区分是否涉及色情的图像特征。
在本发明实施例的一个示例中,所述第一主干卷积块、所述第二主干卷积块、所述第三主干卷积块、所述第四主干卷积块均为可分离卷积;
所述第一主干特征的宽度、高度分别大于所述第二主干特征的宽度、高度;
所述第一主干特征的通道的数量小于所述第二主干特征的通道的数量;
所述第二主干特征的宽度、高度分别大于所述第三主干特征的宽度、高度;
所述第二主干特征的通道的数量分别小于所述第三主干特征的通道的数量;
所述第三主干特征的宽度、高度分别大于所述图像特征的宽度、高度;
所述第三主干特征的通道的数量小于所述图像特征的通道的数量。
在本发明的一个实施例中,所述分支网络包括一个或多个分支卷积块、分支全连接层;
所述目标概率计算模块504包括:
分类图像特征映射模块,用于依次调用一个或多个所述分支卷积块将所述图像特征映射为分类图像特征;
分支概率映射模块,用于将所述分类图像特征输入所述分支全连接层中,以将所述分类图像特征映射为所述图像数据归属所述类别的概率,作为目标概率。
在本发明实施例的一个示例中,所述分支卷积块的数量为一个,所述分支卷积块为可分离卷积;
所述图像特征特征的宽度、高度分别与所述分类图像特征的宽度、高度相等;
所述图像特征特征的通道的数量与所述分类图像特征的通道的数量相等。
本发明实施例所提供的图像检测装置可执行本发明任意实施例所提供的图像检测方法,具备执行方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的色情分类模型的训练方法或者图像检测方法。
实施例六
本发明实施例六还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述色情分类模型的训练方法或者图像检测方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种色情分类模型的训练方法,其特征在于,所述色情分类模型包括一个主干网络、多个互为独立的分支网络,所述方法包括:
在忽略多个所述分支网络的条件下,单独训练所述主干网络,所述主干网络用于从图像数据中提取用于区分是否涉及色情的特征;
在维持所述主干网络不更新的条件下,使用所述主干网络分别辅助训练多个所述分支网络,每个所述分支网络用于根据所述特征计算所述图像数据属于色情下指定类别的概率。
2.根据权利要求1所述的方法,其特征在于,所述在忽略多个所述分支网络的条件下,单独训练所述主干网络,包括:
将图像数据输入所述主干网络中提取图像特征,所述图像数据已标注第一标签,所述第一标签表示是否涉及色情;
将所述图像特征输入主干全连接层中,以将所述图像特征映射为所述图像数据涉及色情的概率,作为主干概率;
计算所述第一标签与所述主干概率之间的差异,作为主干损失值;
基于所述主干损失值分别更新所述主干全连接层中的参数、所述主干网络中的参数;
判断是否满足预设的主干训练条件;若是,则确定所述主干网络训练完成;若否,则返回执行所述将图像数据输入所述主干网络中提取图像特征。
3.根据权利要求1或2中任一项所述的方法,其特征在于,所述在维持所述主干网络不更新的条件下,使用所述主干网络分别辅助训练多个所述分支网络,包括:
设定多个数值递减的学习率;
依次使用多个所述学习率执行多轮训练操作,每轮所述训练操作为在维持所述主干网络不更新的条件下,使用所述主干网络按照所述学习率分别更新多个所述分支网络。
4.根据权利要求3所述的方法,其特征在于,所述依次使用多个所述学习率执行多轮训练操作,包括:
加载所述主干网络、多个所述分支网络,所述主干网络继承单独训练完成时的参数,每个所述分支网络继承上一轮训练操作完成时的参数;
将图像数据输入所述主干网络中提取图像特征,所述图像数据为已标注第二标签,所述第二标签表示是否属于色情下指定的类别;
将所述图像特征分别输入每个所述分支网络中,以计算所述图像数据归属所述类别的概率,作为分支概率;
计算所述第二标签与所述分支概率之间的差异,作为分支损失值;
基于所述分支损失值与所述学习率更新所述分支网络中的参数,禁止更新所述主干网络中的参数;
判断是否满足预设的分支训练条件;若是,则确定所述分支网络完成本轮训练操作;若否,则返回执行所述将图像数据输入所述主干网络中提取图像特征。
5.根据权利要求2或4所述的方法,其特征在于,所述将图像数据输入所述主干网络中提取图像特征,包括:
确定所述主干网络中多个主干卷积块之间的顺序;
按照所述顺序依次调用多个所述主干卷积块对图像数据提取特征,以输出图像特征。
6.根据权利要求5所述的方法,其特征在于,所述主干卷积块包括第一主干卷积块、第二主干卷积块、第三主干卷积块、第四主干卷积块;
所述按照所述顺序依次调用多个所述主干卷积块对图像数据提取特征,以输出图像特征,包括:
将图像数据输入所述第一主干卷积块中执行卷积操作,获得第一主干特征;
将所述第一主干特征输入所述第二主干卷积块中执行卷积操作,获得第二主干特征;
将所述第二主干特征输入所述第三主干卷积块中执行卷积操作,获得第三主干特征;
将所述第三主干特征输入所述第四主干卷积块中执行卷积操作,获得图像特征。
7.根据权利要求6所述的方法,其特征在于,所述第一主干卷积块、所述第二主干卷积块、所述第三主干卷积块、所述第四主干卷积块均为可分离卷积;
所述第一主干特征的宽度、高度分别大于所述第二主干特征的宽度、高度;
所述第一主干特征的通道的数量小于所述第二主干特征的通道的数量;
所述第二主干特征的宽度、高度分别大于所述第三主干特征的宽度、高度;
所述第二主干特征的通道的数量分别小于所述第三主干特征的通道的数量;
所述第三主干特征的宽度、高度分别大于所述图像特征的宽度、高度;
所述第三主干特征的通道的数量小于所述图像特征的通道的数量。
8.根据权利要求4所述的方法,其特征在于,所述分支网络包括一个或多个分支卷积块、分支全连接层;
所述将所述图像特征分别输入每个所述分支网络中,以计算所述图像数据归属所述类别的分支概率,包括:
依次调用一个或多个所述分支卷积块将所述图像特征映射为分类图像特征;
将所述分类图像特征输入所述分支全连接层中,以将所述分类图像特征映射为所述图像数据归属所述类别的概率,作为分支概率。
9.根据权利要求8所述的方法,其特征在于,所述分支卷积块的数量为一个,所述分支卷积块为可分离卷积;
所述图像特征特征的宽度、高度分别与所述分类图像特征的宽度、高度相等;
所述图像特征特征的通道的数量与所述分类图像特征的通道的数量相等。
10.一种图像检测方法,其特征在于,包括:
加载色情分类模型,所述色情分类模型包括一个主干网络、多个互为独立的分支网络;
接收目标文件,所述目标文件中具有一帧或多帧图像数据;
将所述图像数据输入所述主干网络中,以提取用于区分是否涉及色情的图像特征;
将所述图像特征分别输入多个所述分支网络中,以分别计算所述图像数据属于色情下指定类别的概率,作为目标概率。
11.根据权利要求10所述的方法,其特征在于,还包括:
查询对所述类别设置的阈值;
针对同一所述类别,若所述目标概率大于或等于所述阈值,则对所述目标文件生成审核任务;
将所述审核任务发送至指定的客户端执行复核操作,角色为审核员的用户登录在所述客户端。
12.一种色情分类模型的训练装置,其特征在于,所述色情分类模型包括一个主干网络、多个互为独立的分支网络,所述装置包括:
主干网络训练模块,用于在忽略多个所述分支网络的条件下,单独训练所述主干网络,所述主干网络用于从图像数据中提取用于区分是否涉及色情的特征;
分支网络训练模块,用于在维持所述主干网络不更新的条件下,使用所述主干网络分别辅助训练多个所述分支网络,每个所述分支网络用于根据所述特征计算所述图像数据属于色情下指定类别的概率。
13.一种图像检测装置,其特征在于,包括:
色情分类模型加载模块,用于加载色情分类模型,所述色情分类模型包括一个主干网络、多个互为独立的分支网络;
目标文件接收模块,用于接收目标文件,所述目标文件中具有一帧或多帧图像数据;
图像特征提取模块,用于将所述图像数据输入所述主干网络中,以提取用于区分是否涉及色情的图像特征;
目标概率计算模块,用于将所述图像特征分别输入多个所述分支网络中,以分别计算所述图像数据属于色情下指定类别的概率,作为目标概率。
14.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一项所述的色情分类模型的训练方法或者如权利要求10-11中任一项所述的图像检测方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的色情分类模型的训练方法或者如权利要求10-11中任一项所述的图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111626744.0A CN114329022A (zh) | 2021-12-28 | 2021-12-28 | 一种色情分类模型的训练、图像检测方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111626744.0A CN114329022A (zh) | 2021-12-28 | 2021-12-28 | 一种色情分类模型的训练、图像检测方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114329022A true CN114329022A (zh) | 2022-04-12 |
Family
ID=81014613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111626744.0A Pending CN114329022A (zh) | 2021-12-28 | 2021-12-28 | 一种色情分类模型的训练、图像检测方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114329022A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114663715A (zh) * | 2022-05-26 | 2022-06-24 | 浙江太美医疗科技股份有限公司 | 医学图像质控、分类模型训练方法、装置及计算机设备 |
CN115546824A (zh) * | 2022-04-18 | 2022-12-30 | 荣耀终端有限公司 | 禁忌图片识别方法、设备及存储介质 |
-
2021
- 2021-12-28 CN CN202111626744.0A patent/CN114329022A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546824A (zh) * | 2022-04-18 | 2022-12-30 | 荣耀终端有限公司 | 禁忌图片识别方法、设备及存储介质 |
CN115546824B (zh) * | 2022-04-18 | 2023-11-28 | 荣耀终端有限公司 | 禁忌图片识别方法、设备及存储介质 |
CN114663715A (zh) * | 2022-05-26 | 2022-06-24 | 浙江太美医疗科技股份有限公司 | 医学图像质控、分类模型训练方法、装置及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI689871B (zh) | 梯度提升決策樹(gbdt)模型的特徵解釋方法和裝置 | |
CN109271958B (zh) | 人脸年龄识别方法及装置 | |
WO2022042123A1 (zh) | 图像识别模型生成方法、装置、计算机设备和存储介质 | |
CN114329022A (zh) | 一种色情分类模型的训练、图像检测方法及相关装置 | |
CN110096617B (zh) | 视频分类方法、装置、电子设备及计算机可读存储介质 | |
CN112926654A (zh) | 预标注模型训练、证件预标注方法、装置、设备及介质 | |
CN110909784A (zh) | 一种图像识别模型的训练方法、装置及电子设备 | |
CN111291015A (zh) | 一种用户行为异常检测方法及装置 | |
CN112818162A (zh) | 图像检索方法、装置、存储介质和电子设备 | |
CN112819024B (zh) | 模型处理方法、用户数据处理方法及装置、计算机设备 | |
CN114330499A (zh) | 分类模型的训练方法、装置、设备、存储介质及程序产品 | |
CN117409419A (zh) | 图像检测方法、设备及存储介质 | |
CN111985616B (zh) | 一种图像特征提取方法、图像检索方法、装置及设备 | |
CN111723870B (zh) | 基于人工智能的数据集获取方法、装置、设备和介质 | |
CN113344079B (zh) | 一种图像标签半自动标注方法、系统、终端及介质 | |
CN112446428B (zh) | 一种图像数据处理方法及装置 | |
CN115661542A (zh) | 一种基于特征关系迁移的小样本目标检测方法 | |
CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
CN114168780A (zh) | 多模态数据处理方法、电子设备及存储介质 | |
CN111984812A (zh) | 一种特征提取模型生成方法、图像检索方法、装置及设备 | |
CN111091198A (zh) | 一种数据处理方法及装置 | |
CN112733883B (zh) | 一种点监督的目标检测方法 | |
CN112686278B (zh) | 模型获取方法、装置及存储介质 | |
CN116228484B (zh) | 基于量子聚类算法的课程组合方法及装置 | |
CN117197592B (zh) | 一种目标检测模型训练方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |