CN110163300A - 一种图像分类方法、装置、电子设备及存储介质 - Google Patents

一种图像分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110163300A
CN110163300A CN201910469236.2A CN201910469236A CN110163300A CN 110163300 A CN110163300 A CN 110163300A CN 201910469236 A CN201910469236 A CN 201910469236A CN 110163300 A CN110163300 A CN 110163300A
Authority
CN
China
Prior art keywords
image
classification
classified
picture
disaggregated model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910469236.2A
Other languages
English (en)
Other versions
CN110163300B (zh
Inventor
苏驰
李凯
刘弘也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201910469236.2A priority Critical patent/CN110163300B/zh
Publication of CN110163300A publication Critical patent/CN110163300A/zh
Priority to PCT/CN2020/092898 priority patent/WO2020239015A1/zh
Application granted granted Critical
Publication of CN110163300B publication Critical patent/CN110163300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Abstract

本发明实施例提供了一种图像分类方法、装置、电子设备及存储介质,所述方法包括:获取待分类图像,基于预先训练的画中画分类模型,识别待分类图像是否为画中画,如果否,则基于预先训练的第一分类模型,识别待分类图像的类别,如果是,则基于第二分类模型,识别待分类图像的类别。由于先确定待分类图像是否为画中画,如果不是画中画,则采用第一分类模型确定待分类图像的类别,如果是画中画,则采用第二分类模型确定待分类图像的类别,第二分类模型和第一分类模型在结构上有所区别,采用的是非全局平均池化层和卷积层的运算,非全局平均池化层和卷积层的运算能够对画中画的待分类图像的类别进行准确识别,提高了图像分类的准确率。

Description

一种图像分类方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像分类方法、装置、电子设备及存储介质。
背景技术
随着网络技术和智能移动平台的发展,目前已经进入全民直播和移动直播的时代。直播可以给人们的生活工作带来乐趣和帮助,但是也很容易成为淫秽色情的传播手段,使广大网民受害,因此需要对直播内容进行分类监管。
由于直播平台的数量巨大,人力监管会耗费大量成本,因此需要一种对直播的图像内容进行分类的方法,进而过滤并查封低俗色情的直播平台。目前常用的分类方法包括:检测图像中的皮肤区域,如果皮肤区域在图像整体区域中的占比大于第一预设阈值,则检测目标图像中的连通域,判断连通域在皮肤区域中的分布是否满足预置规则,如果是,则判定图像为色情图像。
上述方法可以检测出一些色情图像,但是对于画中画图像无法进行准确地分类。画中画图像在直播场景中出现的极为普遍,画中画图像是图像全屏显示的同时,于图像的小面积区域同时显示另一个图像。如果低俗色情图像只占整个图像的一小部分,形成画中画图像,采用目前的分类方式无法准确地对图像进行分类。
发明内容
本发明实施例的目的在于提供一种图像分类方法、装置、电子设备及存储介质,以提高图像分类的准确率。具体技术方案如下:
第一方面,本发明实施例提供了一种图像分类方法,所述方法包括:
获取待分类图像;
基于预先训练的画中画分类模型,识别所述待分类图像是否为画中画;
如果否,则基于预先训练的第一分类模型,识别所述待分类图像的类别;其中,所述第一分类模型包括特征提取部分、全局平均池化层和输出层;所述特征提取部分用于提取所述待分类图像中的特征;所述全局平均池化层用于对所述特征提取部分提取的特征进行全局平均池化操作,得到所述待分类图像的全局特征;所述输出层用于对所述全局特征进行全连接处理,得到用于确定所述待分类图像的类别的类别向量;
如果是,则基于第二分类模型,识别所述待分类图像的类别;其中,所述第二分类模型包括特征提取部分、非全局平均池化层和卷积层;所述特征提取部分用于提取所述待分类图像中的特征;所述非全局平均池化层用于对所述特征提取部分提取的特征进行池化操作,得到池化结果;所述卷积层用于对所述池化结果进行卷积运算,得到用于确定所述待分类图像的类别的类别矩阵。
可选的,所述第二分类模型中的非全局平均池化层为将训练好的所述第一分类模型中的全局平均池化层中用于判断是否为全局池化的参数设置为否后得到;
所述第二分类模型中的卷积层为将训练好的所述第一分类模型中的输出层的核函数大小更改为1×1后得到。
可选的,所述第二分类模型为预先训练得到的;
所述第二分类模型的训练方式,包括:
获取神经网络模型及多个样本图像,其中,所述神经网络模型包括特征提取部分、非全局平均池化层和卷积层,各样本图像预先标定有类别标签;
将所述各样本图像中的任一样本图像输入所述神经网络模型,通过所述特征提取部分、所述非全局平均池化层和所述卷积层的顺序运算,得到类别矩阵;
将所述类别矩阵输入预设的损失函数,得到概率分布向量;
根据所述概率分布向量及所述任一样本图像的类别标签,计算分类损失函数;
根据所述分类损失函数,调整所述神经网络模型的网络参数,得到更新后的所述神经网络模型;
判断更新后的所述神经网络模型是否收敛;
如果未收敛,则返回执行所述将所述各样本图像中的任一样本图像输入所述神经网络模型,得到类别矩阵;
如果收敛,则停止训练,得到所述第二分类模型。
可选的,所述基于预先训练的画中画分类模型,识别所述待分类图像是否为画中画,包括:
将所述待分类图像输入预先训练的画中画分类模型,得到大小为2的向量;
将所述向量输入预设的损失函数,得到概率分布向量;其中,所述概率分布向量包括第一概率参数和第二概率参数;所述第一概率参数代表所述待分类图像为画中画的概率,所述第二概率参数代表所述待分类图像不为画中画的概率;
如果所述第一概率参数大于所述第二概率参数,则确定所述待分类图像为画中画。
可选的,所述基于第二分类模型,识别所述待分类图像的类别,包括:
对所述待分类图像按照预定比例进行放大;
将放大后的待分类图像输入第二分类模型,得到类别矩阵;其中,所述类别矩阵包括多组元素,每组元素对应所述待分类图像的一个子区域,每组元素中的每个元素代表所述子区域对应的一个预设类别的概率;
将所述类别矩阵的每组元素中值最大的元素对应的预设类别,确定为该组元素代表的所述待分类图像的子区域的类别;
根据每个子区域的类别,确定所述待分类图像的类别。
可选的,所述根据每个子区域的类别,确定所述待分类图像的类别,包括:
根据每个子区域的类别,分别确定属于各异常类别的子区域的数量与子区域总数量的比值;
分别判断各比值是否小于预设阈值;
如果所述各比值均小于所述预设阈值,则确定所述待分类图像的类别为正常类别;
如果存在大于所述预设阈值的比值,则比较所述各比值的大小,确定所述待分类图像的类别为比值最大的子区域的类别。
可选的,所述预设类别包括正常类别、低俗类别及色情类别。
第二方面,本发明实施例提供了一种图像分类装置,所述装置包括:
获取模块,用于获取待分类图像;
画中画识别模块,用于基于预先训练的画中画分类模型,识别所述待分类图像是否为画中画;
第一类别确定模块,用于如果所述画中画识别模块的识别结果为否,则基于预先训练的第一分类模型,识别所述待分类图像的类别;其中,所述第一分类模型包括特征提取部分、全局平均池化层和输出层;所述特征提取部分用于提取所述待分类图像中的特征;所述全局平均池化层用于对所述特征提取部分提取的特征进行全局平均池化操作,得到所述待分类图像的全局特征;所述输出层用于对所述全局特征进行全连接处理,得到用于确定所述待分类图像的类别的类别向量;
第二类别确定模块,用于如果所述画中画识别模块的识别结果为是,则基于第二分类模型,识别所述待分类图像的类别;其中,所述第二分类模型包括特征提取部分、非全局平均池化层和卷积层;所述特征提取部分用于提取所述待分类图像中的特征;所述非全局平均池化层用于对所述特征提取部分提取的特征进行池化操作,得到池化结果;所述卷积层用于对所述池化结果进行卷积运算,得到用于确定所述待分类图像的类别的类别矩阵。
可选的,所述第二分类模型中的非全局平均池化层为将训练好的所述第一分类模型中的全局平均池化层中用于判断是否为全局池化的参数设置为否后得到;
所述第二分类模型中的卷积层为将训练好的所述第一分类模型中的输出层的核函数大小更改为1×1后得到。
可选的,所述第二分类模型为预先训练得到的;所述装置还包括训练模块;
所述训练模块,具体用于:
获取神经网络模型及多个样本图像,其中,所述神经网络模型包括特征提取部分、非全局平均池化层和卷积层,各样本图像预先标定有类别标签;
将所述各样本图像中的任一样本图像输入所述神经网络模型,通过所述特征提取部分、所述非全局平均池化层和所述卷积层的顺序运算,得到类别矩阵;
将所述类别矩阵输入预设的损失函数,得到概率分布向量;
根据所述概率分布向量及所述任一样本图像的类别标签,计算分类损失函数;
根据所述分类损失函数,调整所述神经网络模型的网络参数,得到更新后的所述神经网络模型;
判断更新后的所述神经网络模型是否收敛;
如果未收敛,则返回执行所述将所述各样本图像中的任一样本图像输入所述神经网络模型,得到类别矩阵;
如果收敛,则停止训练,得到所述第二分类模型。
可选的,所述画中画识别模块,具体用于:
将所述待分类图像输入预先训练的画中画分类模型,得到大小为2的向量;
将所述向量输入预设的损失函数,得到概率分布向量;其中,所述概率分布向量包括第一概率参数和第二概率参数;所述第一概率参数代表所述待分类图像为画中画的概率,所述第二概率参数代表所述待分类图像不为画中画的概率;
如果所述第一概率参数大于所述第二概率参数,则确定所述待分类图像为画中画。
可选的,所述第二类别确定模块,具体用于:
对所述待分类图像按照预定比例进行放大;
将放大后的待分类图像输入第二分类模型,得到类别矩阵;其中,所述类别矩阵包括多组元素,每组元素对应所述待分类图像的一个子区域,每组元素中的每个元素代表所述子区域对应的一个预设类别的概率;
将所述类别矩阵的每组元素中值最大的元素对应的预设类别,确定为该组元素代表的所述待分类图像的子区域的类别;
根据每个子区域的类别,确定所述待分类图像的类别。
可选的,所述第二类别确定模块在用于所述根据每个子区域的类别,确定所述待分类图像的类别时,具体用于:
根据每个子区域的类别,分别确定属于各异常类别的子区域的数量与子区域总数量的比值;
分别判断各比值是否小于预设阈值;
如果所述各比值均小于所述预设阈值,则确定所述待分类图像的类别为正常类别;
如果存在大于所述预设阈值的比值,则比较所述各比值的大小,确定所述待分类图像的类别为比值最大的子区域的类别。
可选的,所述预设类别包括正常类别、低俗类别及色情类别。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例第一方面所提供的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本发明实施例第一方面所提供的方法步骤。
本发明实施例所提供的方案中,获取待分类图像,基于预先训练的画中画分类模型,识别待分类图像是否为画中画,如果否,则基于预先训练的第一分类模型,识别待分类图像的类别,如果是,则基于第二分类模型,识别待分类图像的类别。由于先确定待分类图像是否为画中画,如果不是画中画,则采用第一分类模型确定待分类图像的类别,如果是画中画,则采用第二分类模型确定待分类图像的类别,第二分类模型和第一分类模型在结构上有所区别,采用的是非全局平均池化层和卷积层的运算,非全局平均池化层和卷积层的运算能够对画中画的待分类图像的类别进行准确识别,提高了图像分类的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的图像分类方法的流程图;
图2为图1所示实施例中步骤S102的一种具体流程图;
图3为图1所示实施例中步骤S104的一种具体流程图;
图4为图3所示实施例中步骤S304的一种具体流程图;
图5为本发明实施例所提供的图像分类方法中第二分类模型的训练方式的流程图;
图6为本发明实施例所提供的图像分类装置的结构示意图;
图7为本发明实施例所提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高图像分类的准确率,本发明实施例提供了一种图像分类方法、装置、电子设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种图像分类方法进行介绍。
本发明实施例所提供的一种图像分类方法可以应用于需要进行图像分类的任意电子设备,例如,可以为直播平台的服务器、图像处理设备等,在此不做具体限定,为了描述方便,以下简称电子设备。
如图1所示,一种图像分类方法,所述方法包括:
S101,获取待分类图像。
电子设备可以获取待分类图像,其中,待分类图像即为需要进行分类的图像。电子设备可以利用自身的图像采集器件获取待分类图像,也可以从其他电子设备获取待分类图像,这都是合理的。待分类图像可以为直播平台的直播图像,也可以是其他场景的需要进行分类的图像,在此不做具体限定。
S102,基于预先训练的画中画分类模型,识别待分类图像是否为画中画。如果否,则执行S103;如果是,则执行S104。
获取上述待分类图像后,为了能够准确确定待分类图像的类别,电子设备可以将待分类图像输入预先训练的画中画分类模型,得到待分类图像是否为画中画的识别结果。
画中画分类模型为预先基于样本图像训练完成的,在训练过程中,可以通过调整画中画分类模型的网络参数,使得画中画分类模型可以学习样本图像的图像特征与是否为画中画的对应关系。这样,训练完成的画中画分类模型也就可以根据图像特征对图像是否为画中画进行识别,进而输出识别结果。
其中,画中画分类模型可以为卷积神经网络等神经网络模型,具体可以包括特征提取部分、全局平均池化层和输出层。特征提取部分由一系列的卷积、批归一化和激活函数组成,用于提取图像特征;全局平均池化层将特征提取部分提取的图像特征进行全局平均池化操作,得到输入图像的全局特征;输出层是一个全连接层,对全局特征进行全连接处理,得到的类别向量用于确定输入图像是否为画中画。
在一种实施方式中,画中画分类模型的输出结果可以为概率向量,也就是待分类图像为画中画的概率以及不为画中画的概率。在另一种实施方式中,画中画分类模型的输出结果可以为标签,该标签标识待分类图像为画中画或者不为画中画。例如,标签1表示待分类图像为画中画,标签2表示待分类图像不为画中画。
S103,基于预先训练的第一分类模型,识别待分类图像的类别。
其中,第一分类模型包括特征提取部分、全局平均池化层和输出层。特征提取部分用于提取待分类图像中的特征;全局平均池化层用于对特征提取部分提取的特征进行全局平均池化操作,得到待分类图像的全局特征;输出层用于对全局特征进行全连接处理,得到用于确定待分类图像的类别的类别向量。
如果待分类图像不是画中画,为了确定待分类图像的类别,电子设备可以将待分类图像输入预先训练的第一分类模型,基于第一分类模型识别出待分类图像的类别。
第一分类模型为预先基于样本图像训练完成的,在训练过程中,可以通过调整第一分类模型的网络参数,使得第一分类模型可以学习样本图像的图像特征与预设类别的对应关系。这样,训练完成的第一分类模型也就可以根据图像特征对图像的类别进行识别,进而输出识别结果。
其中,第一分类模型可以为卷积神经网络等神经网络模型,具体可以包括特征提取部分、全局平均池化层和输出层。特征提取部分由一系列的卷积、批归一化和激活函数组成,用于提取图像特征;全局平均池化层将特征提取部分提取的图像特征进行全局平均池化操作,得到输入图像的全局特征;输出层是一个全连接层,对全局特征进行全连接处理,得到的类别向量用于确定输入图像的类别。
在一种实施方式中,第一分类模型的输出结果可以为概率向量,也就是待分类图像为各个预设类别的概率。在另一种实施方式中,第一分类模型的输出结果可以为标签,该标签标识待分类图像的类别。例如,标签a表示待分类图像的类别为正常类别,标签b表示待分类图像的类别为低俗类别,标签c表示待分类图像的类别为色情类别。
针对第一分类模型输出的是概率向量的情况而言,电子设备可以比较概率向量中各概率的大小,并将最大的概率对应的预设类别确定为待分类图像的类别。
举例来说,假设预设类别分别为正常类别、低俗类别及色情类别。第一分类模型输出的是概率向量,其中包括待分类图像为正常类别、低俗类别及色情类别的概率。如果第一分类模型输出的结果为{0.8,0.1,0.1},那么说明待分类图像为正常类别、低俗类别及色情类别的概率分别为0.8、0.1、0.1,那么电子设备便可以确定待分类图像的类别为概率最高的类别,即正常类别。
可见,在本实施例中,在待分类图像不为画中画的情况下,电子设备可以将待分类图像输入预先训练的第一分类模型,得到待分类图像的类别。这样,可以保证在待分类图像不为画中画的情况下可以准确确定待分类图像的类别。
S104,基于第二分类模型,识别待分类图像的类别。
其中,第二分类模型包括特征提取部分、非全局平均池化层和卷积层。特征提取部分用于提取待分类图像中的特征;非全局平均池化层用于对特征提取部分提取的特征进行池化操作,得到池化结果;卷积层用于对池化结果进行卷积运算,得到用于确定待分类图像的类别的类别矩阵。
如果待分类图像为画中画,那么为了确定待分类图像的类别,电子设备可以将待分类图像输入第二分类模型,得到对待分类图像的类别的识别结果。
第二分类模型可以为卷积神经网络等神经网络模型,具体可以包括特征提取部分、非全局平均池化层和卷积层。特征提取部分由一系列的卷积、批归一化和激活函数组成,用于提取图像特征;非全局平均池化层将特征提取部分提取的图像特征进行池化操作,得到池化结果;卷积层是一个核函数大小为1×1的输出层,对池化结果进行卷积运算,得到的类别矩阵用于确定输入图像的类别。
第二分类模型可以是在第一分类模型训练好之后,通过对第一分类模型的全局平均池化层和输出层进行更改得到。第二分类模型也可以是训练得到的,在训练过程中,可以通过调整第二分类模型的网络参数,使得第二分类模型可以学习样本图像的图像特征与预设类别的对应关系。这样,训练完成的第二分类模型也就可以根据图像特征对图像的类别进行识别,进而输出识别结果。
作为本发明实施例的一种实施方式,第二分类模型中的非全局平均池化层为将训练好的第一分类模型中的全局平均池化层中用于判断是否为全局池化的参数设置为否后得到;第二分类模型中的卷积层为将训练好的第一分类模型中的输出层的核函数大小更改为1×1后得到。
由于将待分类图像输入第二分类模型之前往往会对图像进行放大处理,所以为了使第二分类模型可以处理任意大小的图像,可以将训练好的第一分类模型中的全局平均池化层中用于判断是否为全局池化的参数设置为否后得到第二分类模型中的非全局平均池化层。具体的,可以将“是否为全局池化”这一参数由True改为False。
第二分类模型需要提取待分类图像中子区域的图像特征,并输出对应的类别矩阵,所以为了使第第二分类模型可以提取待分类图像中子区域的图像特征,可以将第一分类模型的输出层修改为1X1的卷积层。
可见,在本实施例中,为了适应分类需要,可以对训练完成的第一分类模型进行适当修改,便可以获得第二分类模型,无需重新训练第二分类模型,降低深度学习模型的训练耗时,进一步提高图像分类的效率。
第二分类模型的输出结果为多维的类别矩阵,也就是待分类图像为各个预设类别的概率组成的矩阵。第二分类模型的输出结果还可以为标签,该标签标识待分类图像的类别。例如,标签A表示待分类图像的类别为正常类别,标签B表示待分类图像的类别为低俗类别,标签C表示待分类图像的类别为色情类别。
类别矩阵中元素的数量与预设类别、第二分类模型的网络结构、网络参数以及输入第二分类模型前对待分类图像的处理等有关。第二分类模型在对待分类图像进行处理时,可以提取每个子区域的图像特征,进而根据其包括的子区域的图像特征与类别的对应关系,确定每个子区域属于预设类别的概率,组成概率向量。所有子区域对应的概率向量便组成了上述多维的类别矩阵,该类别矩阵中每个元素为对应位置的子区域的概率向量。
例如,预设类别为正常类别、低俗类别及色情类别,那么第二分类模型的输出结果为t×t×3的类别矩阵Z,其中t的具体值与第二分类模型的网络结构、网络参数以及输入第二分类模型前对待分类图像的处理等有关,t×t为待分类图像的子区域的数量。类别矩阵Z中每个元素(ta,tb)对应待分类图像中的相应位置的一个子区域,其中,a∈(1,t),b∈(1,t)。也就是说,相当于将待分类图像划分为t×t个子区域,每个子区域对应类别矩阵Z中的一个元素。每个元素(ta,tb)对应一个三维概率向量(p1,p2,p3),其中,p1表示(ta,tb)对应位置的子区域的类别为正常类别的概率,p2表示(ta,tb)对应的子区域的类别为低俗类别的概率,p3表示(ta,tb)对应的子区域的类别为色情类别的概率。
通过上述方式,电子设备可以确定待分类图像中所有子区域的类别,进而,电子设备便可以根据每个子区域的类别确定待分类图像的类别。作为一种实施方式,如果子区域的类别中包括色情类别,那么便将待分类图像的类别确定为色情类别。当然也可以采用其他方式确定待分类图像的类别,例如,将所有子区域的类别中数量最多的类别确定为待分类图像的类别,这都是合理的,在此不做具体限定。
可见,本发明实施例所提供的方案中,获取待分类图像,基于预先训练的画中画分类模型,识别待分类图像是否为画中画,如果否,则基于预先训练的第一分类模型,识别待分类图像的类别,如果是,则基于第二分类模型,识别待分类图像的类别。由于先确定待分类图像是否为画中画,如果不是画中画,则采用第一分类模型确定待分类图像的类别,如果是画中画,则采用第二分类模型确定待分类图像的类别,第二分类模型和第一分类模型在结构上有所区别,采用的是非全局平均池化层和卷积层的运算,非全局平均池化层和卷积层的运算能够对画中画的待分类图像的类别进行准确识别,提高了图像分类的准确率。
下面,对图1所示实施例的各步骤进行详细说明。
作为本发明实施例的一种实施方式,如图2所示,上述S102具体可以通过如下步骤实现:
S201,将待分类图像输入预先训练的画中画分类模型,得到大小为2的向量。
S202,将向量输入预设的损失函数,得到概率分布向量。
其中,概率分布向量包括第一概率参数和第二概率参数,第一概率参数代表待分类图像为画中画的概率,第二概率参数代表待分类图像不为画中画的概率。
画中画分类模型输出的可以是一个大小为2的向量X,将X输入预设的损失函数(也称为softmax函数)得到概率分布向量p。
由于向量X的大小为2,因此,得到的概率分布向量p包括两个参数:第一概率参数p1和第二概率参数p2。Xi为X的第i个元素,i∈(1,2)。其中,p1代表待分类图像为画中画的概率,p2代表待分类图像不为画中画的概率。
S203,如果第一概率参数大于第二概率参数,则确定待分类图像为画中画。
在计算得到第一概率参数p1和第二概率参数p2后,可以比较p1和p2的大小,如果p1>p2,即待分类图像为画中画的概率大于待分类图像不为画中画的概率,则可以确定待分类图像为画中画。同理,如果p1≤p2,即待分类图像为画中画的概率不大于待分类图像不为画中画的概率,则可以确定待分类图像不为画中画。
例如,概率分布向量为{0.7,0.3},那么电子设备可以确定待分类图像为画中画的概率0.7大于待分类图像不为画中画的概率0.3,便可以确定待分类图像为画中画图像。
作为本发明实施例的一种实施方式,如图3所示,上述S104具体可以通过如下步骤实现:
S301,对待分类图像按照预定比例进行放大。
由于第二分类模型需要对待分类图像的子区域进行图像特征的提取,如果子区域较小会降低第二分类模型处理的准确度,所以为了保证第二分类模型输出结果的准确率,可以将待分类图像进行放大处理,例如,将待分类图像的长宽各放大K倍等,其中,K的具体值可以根据实际分类要求及待分类图像的大小等因素预先设定,在此不做具体限定。
S302,将放大后的待分类图像输入第二分类模型,得到类别矩阵。
其中,类别矩阵包括多组元素,每组元素对应待分类图像的一个子区域,每组元素中的每个元素代表子区域对应的一个预设类别的概率。
将待分类图像进行放大处理后,电子设备便可以将进行放大处理后的待分类图像输入第二分类模型,进而,第二分类模型便可以提取放大处理后的待分类图像的子区域的图像特征,图像特征提取更加准确。
可见,在本实施例中,在上述将待分类图像输入第二分类模型之前,电子设备可以将待分类图像进行放大处理,可以使第二分类模型能够更准确地确定待分类图像的类别。
S303,将类别矩阵的每组元素中值最大的元素对应的预设类别,确定为该组元素代表的待分类图像的子区域的类别。
由于类别矩阵中每个元素由相应子区域为预设类别的概率组成的概率向量,所以电子设备可以将每个元素中的最大值对应的预设类别,确定为该元素对应的待分类图像的子区域的类别。
例如,多维矩阵中元素(ta,tb)对应的三维概率向量为(p1,p2,p3),那么电子设备便可以将p1、p2及p3中至最大的一个对应的预设类别确定为(ta,tb)对应位置的子区域的类别。
S304,根据每个子区域的类别,确定所述待分类图像的类别。
通过上述方式电子设备可以确定待分类图像中所有子区域的类别,进而,电子设备便可以根据每个子区域的类别确定待分类图像的类别。作为一种实施方式,如果子区域的类别中包括色情类别,那么便将待分类图像的类别确定为色情类别。当然也可以采用其他方式确定待分类图像的类别,例如,将所有子区域的类别中数量最多的类别确定为待分类图像的类别,这都是合理的,在此不做具体限定。
可见,在本实施例中,上述第二分类模型的输出结果为多维的类别矩阵,电子设备可以将类别矩阵中每个元素中的最大值对应的预设类别,确定为该元素对应的待分类图像的子区域的类别,进而根据每个子区域的类别确定待分类图像的类别。第二分类模型可以提取待分类图像中子区域的图像特征,进而输出表示每个子区域类别的类别矩阵,这样电子设备便可以准确地确定每个子区域的类别以及待分类图像的类别。
作为本发明实施例的一种实施方式,如图4所示,上述S304具体可以通过如下步骤实现:
S401,根据每个子区域的类别,分别确定属于各异常类别的子区域的数量与子区域总数量的比值。
确定了待分类图像中子区域的类别后,电子设备可以根据每个子区域的类别确定属于各异常类别的子区域的数量与子区域总数量的比值,这里提及的异常类别可以为色情类别、低俗类别、违法类别等。例如,子区域总数量为100,其中,类别为低俗类别的子区域的数量为35,类别为色情类别的子区域的数量为40,其余子区域的类别为正常类别,那么,低俗类别的子区域的数量与子区域总数量的比值为35/100=0.35,色情类别的子区域的数量与子区域总数量的比值为40/100=0.4。
S402,分别判断各比值是否小于预设阈值。
确定了上述各比值后,电子设备便可以判断各比值是否小于预设阈值,针对不同的异常类别,所设置的预设阈值可以相同也可以不同,具体的预设阈值可以根据实际分类要求等因素设定。
如果对某一异常类型的要求比较严格,那么对应的预设阈值可以设置的低一些。为了杜绝某一异常类型的内容,则可以将对应的预设阈值设置为0。如果对某一异常类型的要求比较宽松,那么对应的预设阈值可以设置的高一些。
S403,如果各比值均小于预设阈值,则确定待分类图像的类别为正常类别。
如果各比值均小于预设阈值,那么说明待分类图像中子区域为异常类别的数量非常小,那么便可以确定待分类图像的类别为正常。
S404,如果存在大于预设阈值的比值,则比较各比值的大小,确定待分类图像的类别为比值最大的子区域的类别。
如果有任何一个比值大于预设阈值,那么为了进一步确定待分类图像的类别为哪一种异常类别,电子设备可以比较上述各比值的大小,查找出哪个比值最大,则说明待分类图像中类别为比值最大的子区域的类别。例如,通过比较,发现为低俗类别的比值最大,说明低俗类别的子区域的数量多于其他异常类别的子区域的数量,那么便可以确定待分类图像的类别为低俗类别。
为了检测图像是否包括低俗色情内容,作为本发明实施例的一种实施方式,上述预设类别可以包括正常类别、低俗类别及色情类别。
电子设备可以根据每个子区域的类别分别确定属于低俗类别的子区域与子区域总数量的第一比值,以及属于色情类别的子区域与子区域总数量的第二比值,进而根据第一比值及第二比值确定待分类图像的类别为正常类别、低俗类别或者色情类别。对于画中画图像,电子设备可以准确地识别低俗和色情图像,分类准确率和效率得到提高。
第二分类模型除了如上述可以是通过对训练好的第一分类模型进行更改得到,还可以是预先训练得到的。作为本发明实施例的一种实施方式,如图5所示,第二分类模型的训练方式,可以包括如下步骤:
S501,获取神经网络模型及多个样本图像。
其中,神经网络模型包括特征提取部分、非全局平均池化层和卷积层,各样本图像预先标定有类别标签。
样本图像是通过对海量的图像进行人工标定得到的,这些样本图像可以记录在一个数据集D1中。可以将数据集D1按照K:1的比例分成训练集和测试集,利用训练集训练神经网络模型。
S502,将各样本图像中的任一样本图像输入神经网络模型,通过特征提取部分、非全局平均池化层和卷积层的顺序运算,得到类别矩阵。
获取到样本图像后,便可以将每个样本图像输入上述神经网络模型,神经网络模型便可以对样本图像进行处理,进而得到输出结果,可以理解的是,输出结果是类别矩阵,可以表示样本图像的类别。
S503,将类别矩阵输入预设的损失函数,得到概率分布向量。
将类别矩阵输入损失函数,可以得到概率分布向量p。
由于向量X的大小为n,,pi和Xi分别为p和X的第i个元素,i∈(1,n),n为样本图像的类别标签的种类的数量。
例如,预设类别为正常类别、低俗类别及色情类别,那么n即为3,假设样本图像T对应的类别向量X为{1,3,6},那么样本图像T对应的概率向量
S504,根据概率分布向量及任一样本图像的类别标签,计算分类损失函数。
接下来,电子设备便可以根据L=-log(py),计算样本图像对应的损失函数的值L,其中,py为该样本图像的类别标签对应的概率向量p中的元素。
例如,预设类别为正常类别、低俗类别及色情类别,该样本图像的类别标签为色情类别,那么py即为该样本图像的类别标签色情对应的概率向量p中的元素p3
S505,根据分类损失函数,调整神经网络模型的网络参数,得到更新后的神经网络模型。
损失函数的值L与py的值成反比,也就是说,调整神经网络模型的网络参数使得损失函数的值L越来越小,使得py的值越来越大,甚至趋近于1,这样能够使目标深度学习模型输出结果中某个类别的概率趋近于1,也就使得分类结果越来越准确。
具体的,可以采用反向传播算法计算损失函数的值L对网络参数的倒数其中,W为网络参数。进而,采用随机梯度下降算法更新网络参数。即根据下列公式计算新的网络参数:
其中,W*为新的网络参数,α预设调整参数,其具体值可以根据训练要求、目标神经网络模型的准确率等因素设定,例如,可以为0.001、0.0015、0.002等,在此不做具体限定。
S506,判断更新后的神经网络模型是否收敛。如果未收敛,则返回执行S502;如果收敛,则执行S507。
S507,停止训练,得到第二分类模型。
每对一个样本图像进行完上述操作后,可以判断更新后的神经网络模型是否收敛,具体可以通过判断损失函数是否收敛来实现,神经网络模型收敛,则说明该模型已经可以达到使用要求,其输出结果的准确度已经达到要求,可以对图像进行准确地分类,所以此时便可以停止训练,也就得到了第二分类模型。
可见,在本实施例中,训练的过程保证第二分类模型的输出结果准确,第二分类模型的层数更深,可以提取更加准确精确度更高的图像特征,分类效果更好、泛化能力强、鲁棒性高。
对于画中画分类模型和第一分类模型而言,这两个模型的结构都是特征提取部分、全局平均池化层和输出层,只是输出的分类结果不相同,具体的训练过程可以参照第二分类模型的训练过程,采用反向传播算法和随机梯度下降算法更新模型的权重,直至模型收敛,具体的过程这里不再赘述。
相应于上述图像分类方法,本发明实施例还提供了一种图像分类装置。
下面对本发明实施例所提供的一种图像分类装置进行介绍。
如图6所示,一种图像分类装置可以包括:
获取模块610,用于获取待分类图像;
画中画识别模块620,用于基于预先训练的画中画分类模型,识别所述待分类图像是否为画中画;
第一类别确定模块630,用于如果所述画中画识别模块620的识别结果为否,则基于预先训练的第一分类模型,识别所述待分类图像的类别;其中,所述第一分类模型包括特征提取部分、全局平均池化层和输出层;所述特征提取部分用于提取所述待分类图像中的特征;所述全局平均池化层用于对所述特征提取部分提取的特征进行全局平均池化操作,得到所述待分类图像的全局特征;所述输出层用于对所述全局特征进行全连接处理,得到用于确定所述待分类图像的类别的类别向量;
第二类别确定模块640,用于如果所述画中画识别模块620的识别结果为是,则基于第二分类模型,识别所述待分类图像的类别;其中,所述第二分类模型包括特征提取部分、非全局平均池化层和卷积层;所述特征提取部分用于提取所述待分类图像中的特征;所述非全局平均池化层用于对所述特征提取部分提取的特征进行池化操作,得到池化结果;所述卷积层用于对所述池化结果进行卷积运算,得到用于确定所述待分类图像的类别的类别矩阵。
可见,本发明实施例所提供的方案中,获取待分类图像,基于预先训练的画中画分类模型,识别待分类图像是否为画中画,如果否,则基于预先训练的第一分类模型,识别待分类图像的类别,如果是,则基于第二分类模型,识别待分类图像的类别。由于先确定待分类图像是否为画中画,如果不是画中画,则采用第一分类模型确定待分类图像的类别,如果是画中画,则采用第二分类模型确定待分类图像的类别,第二分类模型和第一分类模型在结构上有所区别,采用的是非全局平均池化层和卷积层的运算,非全局平均池化层和卷积层的运算能够对画中画的待分类图像的类别进行准确识别,提高了图像分类的准确率。
作为本发明实施例的一种实施方式,所述第二分类模型中的非全局平均池化层为将训练好的所述第一分类模型中的全局平均池化层中用于判断是否为全局池化的参数设置为否后得到;
所述第二分类模型中的卷积层为将训练好的所述第一分类模型中的输出层的核函数大小更改为1×1后得到。
作为本发明实施例的一种实施方式,所述第二分类模型为预先训练得到的;所述装置还可以包括训练模块(图6中未示出);
所述训练模块,具体用于:
获取神经网络模型及多个样本图像,其中,所述神经网络模型包括特征提取部分、非全局平均池化层和卷积层,各样本图像预先标定有类别标签;
将所述各样本图像中的任一样本图像输入所述神经网络模型,通过所述特征提取部分、所述非全局平均池化层和所述卷积层的顺序运算,得到类别矩阵;
将所述类别矩阵输入预设的损失函数,得到概率分布向量;
根据所述概率分布向量及所述任一样本图像的类别标签,计算分类损失函数;
根据所述分类损失函数,调整所述神经网络模型的网络参数,得到更新后的所述神经网络模型;
判断更新后的所述神经网络模型是否收敛;
如果未收敛,则返回执行所述将所述各样本图像中的任一样本图像输入所述神经网络模型,得到类别矩阵;
如果收敛,则停止训练,得到所述第二分类模型。
作为本发明实施例的一种实施方式,所述画中画识别模块620,具体可以用于:
将所述待分类图像输入预先训练的画中画分类模型,得到大小为2的向量;
将所述向量输入预设的损失函数,得到概率分布向量;其中,所述概率分布向量包括第一概率参数和第二概率参数;所述第一概率参数代表所述待分类图像为画中画的概率,所述第二概率参数代表所述待分类图像不为画中画的概率;
如果所述第一概率参数大于所述第二概率参数,则确定所述待分类图像为画中画。
作为本发明实施例的一种实施方式,所述第二类别确定模块640,具体可以用于:
对所述待分类图像按照预定比例进行放大;
将放大后的待分类图像输入第二分类模型,得到类别矩阵;其中,所述类别矩阵包括多组元素,每组元素对应所述待分类图像的一个子区域,每组元素中的每个元素代表所述子区域对应的一个预设类别的概率;
将所述类别矩阵的每组元素中值最大的元素对应的预设类别,确定为该组元素代表的所述待分类图像的子区域的类别;
根据每个子区域的类别,确定所述待分类图像的类别。
作为本发明实施例的一种实施方式,所述第二类别确定模块640在用于所述根据每个子区域的类别,确定所述待分类图像的类别时,具体可以用于:
根据每个子区域的类别,分别确定属于各异常类别的子区域的数量与子区域总数量的比值;
分别判断各比值是否小于预设阈值;
如果所述各比值均小于所述预设阈值,则确定所述待分类图像的类别为正常类别;
如果存在大于所述预设阈值的比值,则比较所述各比值的大小,确定所述待分类图像的类别为比值最大的子区域的类别。
作为本发明实施例的一种实施方式,所述预设类别包括正常类别、低俗类别及色情类别。
本发明实施例还提供了一种电子设备,如图7所示,电子设备可以包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现上述任一实施例所述的图像分类方法。
可见,本发明实施例所提供的方案中,电子设备可以获取待分类图像,基于预先训练的画中画分类模型,识别待分类图像是否为画中画,如果否,则基于预先训练的第一分类模型,识别待分类图像的类别,如果是,则基于第二分类模型,识别待分类图像的类别。由于先确定待分类图像是否为画中画,如果不是画中画,则采用第一分类模型确定待分类图像的类别,如果是画中画,则采用第二分类模型确定待分类图像的类别,第二分类模型和第一分类模型在结构上有所区别,采用的是非全局平均池化层和卷积层的运算,非全局平均池化层和卷积层的运算能够对画中画的待分类图像的类别进行准确识别,提高了图像分类的准确率。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的图像分类方法。
可见,本发明实施例所提供的方案中,计算机程序被处理器执行时,可以获取待分类图像,基于预先训练的画中画分类模型,识别待分类图像是否为画中画,如果否,则基于预先训练的第一分类模型,识别待分类图像的类别,如果是,则基于第二分类模型,识别待分类图像的类别。由于先确定待分类图像是否为画中画,如果不是画中画,则采用第一分类模型确定待分类图像的类别,如果是画中画,则采用第二分类模型确定待分类图像的类别,第二分类模型和第一分类模型在结构上有所区别,采用的是非全局平均池化层和卷积层的运算,非全局平均池化层和卷积层的运算能够对画中画的待分类图像的类别进行准确识别,提高了图像分类的准确率。
需要说明的是,对于上述装置、电子设备及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
进一步需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (16)

1.一种图像分类方法,其特征在于,所述方法包括:
获取待分类图像;
基于预先训练的画中画分类模型,识别所述待分类图像是否为画中画;
如果否,则基于预先训练的第一分类模型,识别所述待分类图像的类别;其中,所述第一分类模型包括特征提取部分、全局平均池化层和输出层;所述特征提取部分用于提取所述待分类图像中的特征;所述全局平均池化层用于对所述特征提取部分提取的特征进行全局平均池化操作,得到所述待分类图像的全局特征;所述输出层用于对所述全局特征进行全连接处理,得到用于确定所述待分类图像的类别的类别向量;
如果是,则基于第二分类模型,识别所述待分类图像的类别;其中,所述第二分类模型包括特征提取部分、非全局平均池化层和卷积层;所述特征提取部分用于提取所述待分类图像中的特征;所述非全局平均池化层用于对所述特征提取部分提取的特征进行池化操作,得到池化结果;所述卷积层用于对所述池化结果进行卷积运算,得到用于确定所述待分类图像的类别的类别矩阵。
2.根据权利要求1所述的方法,其特征在于,所述第二分类模型中的非全局平均池化层为将训练好的所述第一分类模型中的全局平均池化层中用于判断是否为全局池化的参数设置为否后得到;
所述第二分类模型中的卷积层为将训练好的所述第一分类模型中的输出层的核函数大小更改为1×1后得到。
3.根据权利要求1所述的方法,其特征在于,所述第二分类模型为预先训练得到的;
所述第二分类模型的训练方式,包括:
获取神经网络模型及多个样本图像,其中,所述神经网络模型包括特征提取部分、非全局平均池化层和卷积层,各样本图像预先标定有类别标签;
将所述各样本图像中的任一样本图像输入所述神经网络模型,通过所述特征提取部分、所述非全局平均池化层和所述卷积层的顺序运算,得到类别矩阵;
将所述类别矩阵输入预设的损失函数,得到概率分布向量;
根据所述概率分布向量及所述任一样本图像的类别标签,计算分类损失函数;
根据所述分类损失函数,调整所述神经网络模型的网络参数,得到更新后的所述神经网络模型;
判断更新后的所述神经网络模型是否收敛;
如果未收敛,则返回执行所述将所述各样本图像中的任一样本图像输入所述神经网络模型,得到类别矩阵;
如果收敛,则停止训练,得到所述第二分类模型。
4.根据权利要求1所述的方法,其特征在于,所述基于预先训练的画中画分类模型,识别所述待分类图像是否为画中画,包括:
将所述待分类图像输入预先训练的画中画分类模型,得到大小为2的向量;
将所述向量输入预设的损失函数,得到概率分布向量;其中,所述概率分布向量包括第一概率参数和第二概率参数;所述第一概率参数代表所述待分类图像为画中画的概率,所述第二概率参数代表所述待分类图像不为画中画的概率;
如果所述第一概率参数大于所述第二概率参数,则确定所述待分类图像为画中画。
5.根据权利要求1所述的方法,其特征在于,所述基于第二分类模型,识别所述待分类图像的类别,包括:
对所述待分类图像按照预定比例进行放大;
将放大后的待分类图像输入第二分类模型,得到类别矩阵;其中,所述类别矩阵包括多组元素,每组元素对应所述待分类图像的一个子区域,每组元素中的每个元素代表所述子区域对应的一个预设类别的概率;
将所述类别矩阵的每组元素中值最大的元素对应的预设类别,确定为该组元素代表的所述待分类图像的子区域的类别;
根据每个子区域的类别,确定所述待分类图像的类别。
6.根据权利要求5所述的方法,其特征在于,所述根据每个子区域的类别,确定所述待分类图像的类别,包括:
根据每个子区域的类别,分别确定属于各异常类别的子区域的数量与子区域总数量的比值;
分别判断各比值是否小于预设阈值;
如果所述各比值均小于所述预设阈值,则确定所述待分类图像的类别为正常类别;
如果存在大于所述预设阈值的比值,则比较所述各比值的大小,确定所述待分类图像的类别为比值最大的子区域的类别。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述预设类别包括正常类别、低俗类别及色情类别。
8.一种图像分类装置,其特征在于,所述装置包括:
获取模块,用于获取待分类图像;
画中画识别模块,用于基于预先训练的画中画分类模型,识别所述待分类图像是否为画中画;
第一类别确定模块,用于如果所述画中画识别模块的识别结果为否,则基于预先训练的第一分类模型,识别所述待分类图像的类别;其中,所述第一分类模型包括特征提取部分、全局平均池化层和输出层;所述特征提取部分用于提取所述待分类图像中的特征;所述全局平均池化层用于对所述特征提取部分提取的特征进行全局平均池化操作,得到所述待分类图像的全局特征;所述输出层用于对所述全局特征进行全连接处理,得到用于确定所述待分类图像的类别的类别向量;
第二类别确定模块,用于如果所述画中画识别模块的识别结果为是,则基于第二分类模型,识别所述待分类图像的类别;其中,所述第二分类模型包括特征提取部分、非全局平均池化层和卷积层;所述特征提取部分用于提取所述待分类图像中的特征;所述非全局平均池化层用于对所述特征提取部分提取的特征进行池化操作,得到池化结果;所述卷积层用于对所述池化结果进行卷积运算,得到用于确定所述待分类图像的类别的类别矩阵。
9.根据权利要求8所述的装置,其特征在于,所述第二分类模型中的非全局平均池化层为将训练好的所述第一分类模型中的全局平均池化层中用于判断是否为全局池化的参数设置为否后得到;
所述第二分类模型中的卷积层为将训练好的所述第一分类模型中的输出层的核函数大小更改为1×1后得到。
10.根据权利要求8所述的装置,其特征在于,所述第二分类模型为预先训练得到的;所述装置还包括训练模块;
所述训练模块,具体用于:
获取神经网络模型及多个样本图像,其中,所述神经网络模型包括特征提取部分、非全局平均池化层和卷积层,各样本图像预先标定有类别标签;
将所述各样本图像中的任一样本图像输入所述神经网络模型,通过所述特征提取部分、所述非全局平均池化层和所述卷积层的顺序运算,得到类别矩阵;
将所述类别矩阵输入预设的损失函数,得到概率分布向量;
根据所述概率分布向量及所述任一样本图像的类别标签,计算分类损失函数;
根据所述分类损失函数,调整所述神经网络模型的网络参数,得到更新后的所述神经网络模型;
判断更新后的所述神经网络模型是否收敛;
如果未收敛,则返回执行所述将所述各样本图像中的任一样本图像输入所述神经网络模型,得到类别矩阵;
如果收敛,则停止训练,得到所述第二分类模型。
11.根据权利要求8所述的装置,其特征在于,所述画中画识别模块,具体用于:
将所述待分类图像输入预先训练的画中画分类模型,得到大小为2的向量;
将所述向量输入预设的损失函数,得到概率分布向量;其中,所述概率分布向量包括第一概率参数和第二概率参数;所述第一概率参数代表所述待分类图像为画中画的概率,所述第二概率参数代表所述待分类图像不为画中画的概率;
如果所述第一概率参数大于所述第二概率参数,则确定所述待分类图像为画中画。
12.根据权利要求8所述的装置,其特征在于,所述第二类别确定模块,具体用于:
对所述待分类图像按照预定比例进行放大;
将放大后的待分类图像输入第二分类模型,得到类别矩阵;其中,所述类别矩阵包括多组元素,每组元素对应所述待分类图像的一个子区域,每组元素中的每个元素代表所述子区域对应的一个预设类别的概率;
将所述类别矩阵的每组元素中值最大的元素对应的预设类别,确定为该组元素代表的所述待分类图像的子区域的类别;
根据每个子区域的类别,确定所述待分类图像的类别。
13.根据权利要求12所述的装置,其特征在于,所述第二类别确定模块在用于所述根据每个子区域的类别,确定所述待分类图像的类别时,具体用于:
根据每个子区域的类别,分别确定属于各异常类别的子区域的数量与子区域总数量的比值;
分别判断各比值是否小于预设阈值;
如果所述各比值均小于所述预设阈值,则确定所述待分类图像的类别为正常类别;
如果存在大于所述预设阈值的比值,则比较所述各比值的大小,确定所述待分类图像的类别为比值最大的子区域的类别。
14.根据权利要求8-13任一项所述的装置,其特征在于,所述预设类别包括正常类别、低俗类别及色情类别。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行权利要求1-7任一所述的方法步骤。
CN201910469236.2A 2019-05-31 2019-05-31 一种图像分类方法、装置、电子设备及存储介质 Active CN110163300B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910469236.2A CN110163300B (zh) 2019-05-31 2019-05-31 一种图像分类方法、装置、电子设备及存储介质
PCT/CN2020/092898 WO2020239015A1 (zh) 2019-05-31 2020-05-28 一种图像识别、分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910469236.2A CN110163300B (zh) 2019-05-31 2019-05-31 一种图像分类方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110163300A true CN110163300A (zh) 2019-08-23
CN110163300B CN110163300B (zh) 2021-04-23

Family

ID=67630464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910469236.2A Active CN110163300B (zh) 2019-05-31 2019-05-31 一种图像分类方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN110163300B (zh)
WO (1) WO2020239015A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781834A (zh) * 2019-10-28 2020-02-11 上海眼控科技股份有限公司 交通异常图像检测方法、装置、计算机设备及存储介质
CN110909803A (zh) * 2019-11-26 2020-03-24 腾讯科技(深圳)有限公司 图像识别模型训练方法、装置和计算机可读存储介质
CN111104874A (zh) * 2019-12-03 2020-05-05 北京金山云网络技术有限公司 人脸年龄预测方法及模型的训练方法、装置及电子设备
CN111291819A (zh) * 2020-02-19 2020-06-16 腾讯科技(深圳)有限公司 图像识别方法、装置、电子设备及存储介质
CN111695453A (zh) * 2020-05-27 2020-09-22 深圳市优必选科技股份有限公司 绘本识别方法、装置及机器人
CN111767959A (zh) * 2020-06-30 2020-10-13 创新奇智(广州)科技有限公司 毛绒纤维分类方法及装置
CN111898658A (zh) * 2020-07-15 2020-11-06 北京字节跳动网络技术有限公司 图像分类方法、装置和电子设备
WO2020239015A1 (zh) * 2019-05-31 2020-12-03 北京金山云网络技术有限公司 一种图像识别、分类方法、装置、电子设备及存储介质
CN112348083A (zh) * 2020-11-06 2021-02-09 北京钠纬智能科技有限公司 一种图像分类方法和装置
CN112598016A (zh) * 2020-09-17 2021-04-02 北京小米松果电子有限公司 图像分类方法及装置、通信设备及存储介质
CN112926608A (zh) * 2019-12-05 2021-06-08 北京金山云网络技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113033545A (zh) * 2019-12-24 2021-06-25 同方威视技术股份有限公司 空托盘识别方法及其装置
CN113705686A (zh) * 2021-08-30 2021-11-26 平安科技(深圳)有限公司 图像分类方法、装置、电子设备及可读存储介质
CN114065826A (zh) * 2020-07-28 2022-02-18 紫东信息科技(苏州)有限公司 图像分类模型的构建方法、分类方法、装置及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733912B (zh) * 2020-12-31 2023-06-09 华侨大学 基于多粒度对抗损失的细粒度图像识别方法
CN114760484B (zh) * 2021-01-08 2023-11-07 腾讯科技(深圳)有限公司 直播视频识别方法、装置、计算机设备和存储介质
CN112837345B (zh) * 2021-01-29 2023-12-08 北京农业智能装备技术研究中心 一种植物冠层药液沉积分布探测方法及系统
CN112949693A (zh) * 2021-02-02 2021-06-11 北京嘀嘀无限科技发展有限公司 图像分类模型的训练方法、图像分类方法、装置和设备
CN113239804B (zh) * 2021-05-13 2023-06-02 杭州睿胜软件有限公司 图像识别方法、可读存储介质及图像识别系统
CN113344102B (zh) * 2021-06-23 2023-07-25 昆山星际舟智能科技有限公司 基于图像hog特征与elm模型的目标图像识别方法
CN113744161B (zh) * 2021-09-16 2024-03-29 北京顺势兄弟科技有限公司 增强数据的获取方法及装置、数据增强方法、电子设备
CN115827880B (zh) * 2023-02-10 2023-05-16 之江实验室 一种基于情感分类的业务执行方法及装置
CN116910296B (zh) * 2023-09-08 2023-12-08 上海任意门科技有限公司 搬运内容识别方法、系统、电子设备和介质
CN117245672B (zh) * 2023-11-20 2024-02-02 南昌工控机器人有限公司 摄像头支架模块化装配的智能运动控制系统及其方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358837B2 (en) * 2008-05-01 2013-01-22 Yahoo! Inc. Apparatus and methods for detecting adult videos
CN105654059A (zh) * 2015-12-31 2016-06-08 武汉鸿瑞达信息技术有限公司 互联网络视频图像低俗成人内容的检出方法
CN107330453A (zh) * 2017-06-19 2017-11-07 中国传媒大学 基于分步识别和融合关键部位检测的色情图像识别方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107871314A (zh) * 2016-09-23 2018-04-03 商汤集团有限公司 一种敏感图像鉴别方法和装置
CN108154134A (zh) * 2018-01-11 2018-06-12 天格科技(杭州)有限公司 基于深度卷积神经网络的互联网直播色情图像检测方法
CN108764374A (zh) * 2018-06-11 2018-11-06 网易(杭州)网络有限公司 图像分类方法、系统、介质和电子设备
CN109101523A (zh) * 2018-06-14 2018-12-28 北京搜狗科技发展有限公司 一种图像处理方法、装置和电子设备
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070064983A1 (en) * 2005-09-16 2007-03-22 Wen-Chen Huang Method for automatically detecting nasal tumor
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
CN108520229B (zh) * 2018-04-04 2020-08-07 北京旷视科技有限公司 图像检测方法、装置、电子设备和计算机可读介质
CN110163300B (zh) * 2019-05-31 2021-04-23 北京金山云网络技术有限公司 一种图像分类方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358837B2 (en) * 2008-05-01 2013-01-22 Yahoo! Inc. Apparatus and methods for detecting adult videos
CN105654059A (zh) * 2015-12-31 2016-06-08 武汉鸿瑞达信息技术有限公司 互联网络视频图像低俗成人内容的检出方法
CN107871314A (zh) * 2016-09-23 2018-04-03 商汤集团有限公司 一种敏感图像鉴别方法和装置
CN107330453A (zh) * 2017-06-19 2017-11-07 中国传媒大学 基于分步识别和融合关键部位检测的色情图像识别方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN108154134A (zh) * 2018-01-11 2018-06-12 天格科技(杭州)有限公司 基于深度卷积神经网络的互联网直播色情图像检测方法
CN108764374A (zh) * 2018-06-11 2018-11-06 网易(杭州)网络有限公司 图像分类方法、系统、介质和电子设备
CN109101523A (zh) * 2018-06-14 2018-12-28 北京搜狗科技发展有限公司 一种图像处理方法、装置和电子设备
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JÔNATAS WEHRMANN 等: "Adult Content Detection in Videos with Convolutional and Recurrent Neural Networks", 《NEUROCOMPUTING》 *
余明扬 等: "基于卷积神经网络的色情图像检测", 《计算机应用与软件》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020239015A1 (zh) * 2019-05-31 2020-12-03 北京金山云网络技术有限公司 一种图像识别、分类方法、装置、电子设备及存储介质
CN110781834A (zh) * 2019-10-28 2020-02-11 上海眼控科技股份有限公司 交通异常图像检测方法、装置、计算机设备及存储介质
CN110909803A (zh) * 2019-11-26 2020-03-24 腾讯科技(深圳)有限公司 图像识别模型训练方法、装置和计算机可读存储介质
CN110909803B (zh) * 2019-11-26 2023-04-18 腾讯科技(深圳)有限公司 图像识别模型训练方法、装置和计算机可读存储介质
CN111104874A (zh) * 2019-12-03 2020-05-05 北京金山云网络技术有限公司 人脸年龄预测方法及模型的训练方法、装置及电子设备
CN111104874B (zh) * 2019-12-03 2024-02-20 北京金山云网络技术有限公司 人脸年龄预测方法及模型的训练方法、装置及电子设备
CN112926608A (zh) * 2019-12-05 2021-06-08 北京金山云网络技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113033545B (zh) * 2019-12-24 2023-11-03 同方威视技术股份有限公司 空托盘识别方法及其装置
CN113033545A (zh) * 2019-12-24 2021-06-25 同方威视技术股份有限公司 空托盘识别方法及其装置
CN111291819A (zh) * 2020-02-19 2020-06-16 腾讯科技(深圳)有限公司 图像识别方法、装置、电子设备及存储介质
CN111291819B (zh) * 2020-02-19 2023-09-15 腾讯科技(深圳)有限公司 图像识别方法、装置、电子设备及存储介质
CN111695453B (zh) * 2020-05-27 2024-02-09 深圳市优必选科技股份有限公司 绘本识别方法、装置及机器人
CN111695453A (zh) * 2020-05-27 2020-09-22 深圳市优必选科技股份有限公司 绘本识别方法、装置及机器人
CN111767959A (zh) * 2020-06-30 2020-10-13 创新奇智(广州)科技有限公司 毛绒纤维分类方法及装置
CN111767959B (zh) * 2020-06-30 2023-10-31 创新奇智(广州)科技有限公司 毛绒纤维分类方法及装置
CN111898658A (zh) * 2020-07-15 2020-11-06 北京字节跳动网络技术有限公司 图像分类方法、装置和电子设备
CN114065826A (zh) * 2020-07-28 2022-02-18 紫东信息科技(苏州)有限公司 图像分类模型的构建方法、分类方法、装置及电子设备
CN112598016A (zh) * 2020-09-17 2021-04-02 北京小米松果电子有限公司 图像分类方法及装置、通信设备及存储介质
CN112348083A (zh) * 2020-11-06 2021-02-09 北京钠纬智能科技有限公司 一种图像分类方法和装置
CN113705686B (zh) * 2021-08-30 2023-09-15 平安科技(深圳)有限公司 图像分类方法、装置、电子设备及可读存储介质
CN113705686A (zh) * 2021-08-30 2021-11-26 平安科技(深圳)有限公司 图像分类方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2020239015A1 (zh) 2020-12-03
CN110163300B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN110163300A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN110969066B (zh) 直播视频的识别方法、装置及电子设备
CN108615071B (zh) 模型测试的方法及装置
CN111225234B (zh) 视频审核方法、视频审核装置、设备和存储介质
CN108921206A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN110378235A (zh) 一种模糊人脸图像识别方法、装置及终端设备
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN110969170B (zh) 一种图像主题色提取方法、装置及电子设备
CN107569848A (zh) 一种游戏分类方法、装置及电子设备
CN109685785A (zh) 一种图像质量评估方法、装置及电子设备
CN106302477A (zh) 一种视频直播测试方法及系统
CN109389105A (zh) 一种基于多任务的虹膜检测和视角分类方法
CN109325539B (zh) 绝缘子掉串检测方法及装置
CN109284613A (zh) 标识检测及仿冒站点检测方法、装置、设备及存储介质
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN112633354B (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN108596196A (zh) 一种基于绝缘子图像特征词典的污秽状态评估方法
Saad et al. Recognizing the ripeness of bananas using artificial neural network based on histogram approach
CN113989626B (zh) 一种基于目标检测模型的多类别垃圾场景区分方法
CN108693441B (zh) 一种输电线路绝缘子识别方法及系统
CN114708635A (zh) 基于MesoNet和LSTM的面部视频篡改检测方法
CN113177917B (zh) 一种抓拍图像优选方法、系统、设备及介质
CN110188783A (zh) 一种图像分类方法、装置及电子设备
CN108549927A (zh) 物体检测网络的训练方法和特征监督图生成方法
CN110427578B (zh) 一种基于深度机器学习的数字内容投放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant