CN111488893B - 一种图像分类方法及装置 - Google Patents
一种图像分类方法及装置 Download PDFInfo
- Publication number
- CN111488893B CN111488893B CN201910075279.2A CN201910075279A CN111488893B CN 111488893 B CN111488893 B CN 111488893B CN 201910075279 A CN201910075279 A CN 201910075279A CN 111488893 B CN111488893 B CN 111488893B
- Authority
- CN
- China
- Prior art keywords
- classification
- image
- redundant
- neuron
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 210000002569 neuron Anatomy 0.000 claims abstract description 305
- 230000004913 activation Effects 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000002372 labelling Methods 0.000 claims abstract description 31
- 238000013145 classification model Methods 0.000 claims description 85
- 230000006870 function Effects 0.000 description 17
- 230000001537 neural effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Neurology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种图像分类方法及装置,其中,该方法包括:获取待分类图像;将待分类图像输入至预先训练好的特征提取网络中,得到待分类图像的特征向量;将特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率,其中,每个神经元输出的第一分类概率表示待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;将每个冗余神经元组中各个神经元输出的第一分类概率输入至分类结果激活层中,得到每个冗余神经元组对应的第二分类概率;基于每个冗余神经元组对应的第二分类概率,确定待分类图像的分类结果。本申请能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
Description
技术领域
本申请涉及图像分类技术领域,具体而言,涉及一种图像分类方法及装置。
背景技术
在图像分类的时候,当某一类别中图像差别较大,即类内差异较大时,图像分类模型的分类性能将会下降。因为图像分类模型会将同类别中差别较大的图像都拟合到同一类别,在这种情况下图像分类模型会倾向于拟合他们共同的特征而丧失更强的特征捕捉能力,导致分类精度降低。目前,传统的解决方法是增添样本图像的标注种类,即将类内差异过大的图像再细分为更加精细的子类进行标注,但这种解决方法势必会增加标注成本。
发明内容
有鉴于此,本申请实施例的目的在于提供一种图像分类方法及装置,能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
第一方面,本申请实施例提供了一种图像分类方法,作用于预先训练好的图像分类模型;图像分类模型包括特征提取网络、分类层、分类结果激活层;所述分类层包括多个冗余神经元组,所述冗余神经元组与分类类别一一对应,每个冗余神经元组中包括多个神经元;所述方法包括:
获取待分类图像;
将所述待分类图像输入至预先训练好的特征提取网络中,得到所述待分类图像的特征向量;
将所述特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率,其中,每个神经元输出的第一分类概率表示所述待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;
将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第二分类概率;
基于每个冗余神经元组对应的第二分类概率,确定所述待分类图像的分类结果。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第二分类概率,包括:
将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,针对第i个冗余神经元组,将所述第i个冗余神经元组中各个神经元输出的第一分类概率中最大的第一分类概率确定为所述第i个冗余神经元组对应的第二分类概率,i取1至N中的任意整数,N为冗余神经元组的总个数。
结合第一方面,本申请实施例提供了第一方面的第二种可能的实施方式,其中,所述基于每个冗余神经元组对应的第二分类概率,确定所述待分类图像的分类结果,包括:
确定各个第二分类概率中最大的第二分类概率,以及与所述最大的第二分类概率对应的目标冗余神经元组;
将所述目标冗余神经元组对应的分类类别,确定为所述待分类图像的分类结果。
结合第一方面,本申请实施例提供了第一方面的第三种可能的实施方式,其中,采用下述方法得到所述预先训练好的图像分类模型:
获取多个样本图像;
将所述样本图像输入至所述特征提取网络中,得到所述样本图像的特征向量;
将所述样本图像的特征向量输入至所述分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第三分类概率,其中,每个神经元输出的第三分类概率表示所述样本图像属于该神经元所在冗余神经元组对应的分类类别的概率;
将每个冗余神经元组中各个神经元输出的第三分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第四分类概率;
基于每个冗余神经元组对应的第四分类概率,确定所述样本图像的分类结果;
根据各个样本图像的分类结果,以及与各个样本图像分别对应的标注分类结果,对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
结合第一方面的第三种可能的实施方式,本申请实施例提供了第一方面的第四种可能的实施方式,其中,所述根据各个样本图像的分类结果,以及与各个样本图像分别对应的标注分类结果,对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型,包括:
针对每个样本图像,根据与该样本图像对应的分类结果以及标注分类结果,确定该样本图像对应的交叉熵损失函数值;
根据该样本图像对应的交叉熵损失函数值,调整所述图像分类模型的参数;
直至所有样本图像完成本轮的训练后,确定完成对所述图像分类模型的本轮训练;
经过对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
第二方面,本申请实施例提供了一种图像分类装置,作用于预先训练好的图像分类模型;图像分类模型包括特征提取网络、分类层、分类结果激活层;所述分类层包括多个冗余神经元组,所述冗余神经元组与分类类别一一对应,每个冗余神经元组中包括多个神经元;所述装置包括:
获取模块,用于获取待分类图像;
特征向量提取模块,用于将所述待分类图像输入至预先训练好的特征提取网络中,得到所述待分类图像的特征向量;
第一分类概率提取模块,用于将所述特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率,其中,每个神经元输出的第一分类概率表示所述待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;
第二分类概率提取模块,用于将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第二分类概率;
分类结果确定模块,用于基于每个冗余神经元组对应的第二分类概率,确定所述待分类图像的分类结果。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,所述第二分类概率提取模块,具体用于:
将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,针对第i个冗余神经元组,将所述第i个冗余神经元组中各个神经元输出的第一分类概率中最大的第一分类概率确定为所述第i个冗余神经元组对应的第二分类概率,i取1至N中的任意整数,N为冗余神经元组的总个数。
结合第二方面,本申请实施例提供了第二方面的第二种可能的实施方式,其中,所述分类结果确定模块,具体用于:
确定各个第二分类概率中最大的第二分类概率,以及与所述最大的第二分类概率对应的目标冗余神经元组;
将所述目标冗余神经元组对应的分类类别,确定为所述待分类图像的分类结果。
结合第二方面,本申请实施例提供了第二方面的第三种可能的实施方式,其中,还包括:
图像分类模型训练模块,用于采用下述方法得到所述预先训练好的图像分类模型:
获取多个样本图像;
将所述样本图像输入至所述特征提取网络中,得到所述样本图像的特征向量;
将所述样本图像的特征向量输入至所述分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第三分类概率,其中,每个神经元输出的第三分类概率表示所述样本图像属于该神经元所在冗余神经元组对应的分类类别的概率;
将每个冗余神经元组中各个神经元输出的第三分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第四分类概率;
基于每个冗余神经元组对应的第四分类概率,确定所述样本图像的分类结果;
根据各个样本图像的分类结果,以及与各个样本图像分别对应的标注分类结果,对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
结合第二方面的第三种可能的实施方式,本申请实施例提供了第二方面的第四种可能的实施方式,其中,所述图像分类模型训练模块,具体采用下述方式根据各个样本图像的分类结果,以及与各个样本图像分别对应的标注分类结果,对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型:
针对每个样本图像,根据与该样本图像对应的分类结果以及标注分类结果,确定该样本图像对应的交叉熵损失函数值;
根据该样本图像对应的交叉熵损失函数值,调整所述图像分类模型的参数;
直至所有样本图像完成本轮的训练后,确定完成对所述图像分类模型的本轮训练;
经过对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
第三方面,本申请实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的第一种可能的实施方式至第四种可能的实施方式中任一种可能的实施方式中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的第一种可能的实施方式至第四种可能的实施方式中任一种可能的实施方式中的步骤。
本申请实施例提供的图像分类方法及装置,在图像分类的时候,首先将待分类图像输入至预先训练好的特征提取网络中,得到待分类图像的特征向量;然后将特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率,其中,每个神经元输出的第一分类概率表示待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;最后将每个冗余神经元组中各个神经元输出的第一分类概率输入至分类结果激活层中,得到每个冗余神经元组对应的第二分类概率;基于每个冗余神经元组对应的第二分类概率,确定待分类图像的分类结果。本申请实施例通过将图像分类模型的分类层设置成多个冗余神经元组,每个冗余神经元组对应一个分类类别,而不是现有技术中分类层中的每个神经元对应一个分类类别,这样相当于在现有技术中的分类层中添加了冗余神经元,冗余神经元组中的每个神经元都可以输出待分类图像属于该冗余神经元组对应的分类类别的概率,通过分类结果激活层,只要冗余神经元组中有一个神经元被强烈的激活,整个冗余神经元组就相当于被激活,最终得到待分类图像的分类结果。本申请采用上述方式可以降低模型训练的过程中类内差异过大导致分类层学习的特征过于均化,从而使分类效果变差的问题,能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种图像分类模型的结构示意图;
图2示出了本申请实施例所提供的一种图像分类方法的流程图;
图3示出了本申请实施例所提供的一种图像分类方法中,图像分类模型的训练过程的流程图;
图4示出了本申请实施例所提供的一种图像分类方法中,对图像分类模型进行多轮训练的流程图;
图5示出了本申请实施例所提供的一种图像分类装置的结构示意图;
图6示出了本申请实施例所提供的一种计算机设备的结构示意图。
图示说明:
11-输入层、12-特征提取网络、13-分类层、14-分类结果激活层、131-冗余神经元组、132-神经元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,传统的基于深度卷积神经网络的分类算法,最后映射到分类层的神经元个数一般都与标注的类别个数相同,例如:标注数据中有m类,那么神经网络最后一层分类层的神经元数也是m个。但是,当某一类别中图像差别较大,即类内差异较大时,图像分类模型的分类性能将会下降。因为图像分类模型会将同类别中差别较大的图像都拟合到同一类别,在这种情况下图像分类模型会倾向于拟合他们共同的特征而丧失更强的特征捕捉能力,导致分类精度降低。
例如,轨道零件包括很多种零件,其中弹条式扣件属于一种零件,但弹条式扣件又分为I型、n型和m型,形态差异较大,如果分类网络模型想要将这三种不同形态的弹条式扣件都拟合到弹条式扣件类别上,则需要捕捉这三种类型的共通特征,相当于均化了这三种类型扣件的特征,最后导致分类效果较差。
目前,传统的解决方法是在训练的时候增添样本图像的标注种类,即将类内差异过大的图像再细分为更加精细的子类进行标注,例如将弹条式扣件又分别标注为I型、n型和m型三种类别,但这种解决方法势必会增加标注成本。
基于此,本申请提供的一种图像分类方法及装置,可以降低模型训练的过程中类内差异过大导致分类层学习的特征过于均化,从而使分类效果变差的问题,能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
为便于对本实施例进行理解,首先对本申请实施例所提供的一种图像分类方法所应用的图像分类模型进行详细介绍。
参见图1所示,本申请实施例所提供的一种图像分类方法所应用的图像分类模型的结构包括:
输入层11、特征提取网络12、分类层13、分类结果激活层14;输入层11、特征提取网络12、分类层13、分类结果激活层14依次连接。
输入层11,用于输入待分类图像;
特征提取网络12,用于提取待分类图像的特征向量;其中,特征提取网络可以为深度卷积神经网络;
分类层13,包括多个冗余神经元组131,冗余神经元组131与分类类别一一对应,每个冗余神经元组131中包括多个神经元132。分类层13,用于将待分类图像的特征向量映射到每个冗余神经元组中的每个神经元,每个神经元的输出值表示待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;
分类结果激活层14,用于根据分类层13中每个冗余神经元组131中的各个神经元132的输出值,得到每个冗余神经元组131对应的最终输出值,其中,每个冗余神经元组对应的最终输出值,表示待分类图像属于该冗余神经元组对应的分类类别的概率。
需要注意的是,各个冗余神经元组中包括的神经元个数可以根据实际情况设置,例如,可以将所有冗余神经元组中包括的神经元个数设置为相等数量,也可以设置为不同数量。每个冗余神经元组中包括的神经元个数可以与该冗余神经元组所对应的分类类别中的子类个数一致,也可以不一致,例如,当某冗余神经元组所对应的分类类别为弹条式扣件时,假如弹条式扣件分为I型、n型和m型三种,可以将该冗余神经元组中的神经元个数设置为3,也可以为其它数量,只要最后的分类效果满足分类精度即可。
通过图1可以看出,本申请实施例构建的图像分类模型中的分类层中,包括了多个冗余神经元组,每个冗余神经元组对应一个分类类别,而不是现有技术中分类层中的每个神经元对应一个分类类别,这样相当于在现有技术中的分类层中添加了冗余神经元,冗余神经元组中的每个神经元都可以输出待分类图像属于该冗余神经元组对应的分类类别的概率,通过分类结果激活层,只要冗余神经元组中有一个神经元被强烈的激活,整个冗余神经元组就相当于被激活,最后分类结果激活层输出待分类图像属于各个冗余神经元组分别对应的分类类别的概率,最终得到待分类图像的分类结果。本申请采用上述图像分类模型,可以降低模型训练的过程中类内差异过大导致分类层学习的特征过于均化,从而使分类效果变差的问题,能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
基于上述图像分类模型,参见图2所示,本申请实施例提供的图像分类方法包括S201~S205:
S201:获取待分类图像。
此处,待分类图像可以为各种分类场景下的图像,例如工件图像、轨道零件图像等。
S202:将待分类图像输入至预先训练好的特征提取网络中,得到待分类图像的特征向量。
此处,特征提取网络可以为各种神经网络,例如深度卷积神经网络。
S203:将特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率。
其中,每个神经元输出的第一分类概率表示待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率。
分类层中的神经元的激活函数可以是Sigmoid函数(回归函数),Tanh函数(双曲正切函数),ReLU函数(线性整流函数,Rectified Linear Unit,ReLU)等。
S204:将每个冗余神经元组中各个神经元输出的第一分类概率输入至分类结果激活层中,得到每个冗余神经元组对应的第二分类概率。
具体实现的时候,将每个冗余神经元组中各个神经元输出的第一分类概率输入至分类结果激活层中,针对第i个冗余神经元组,将第i个冗余神经元组中各个神经元输出的第一分类概率中最大的第一分类概率确定为第i个冗余神经元组对应的第二分类概率,i取1至N中的任意整数,N为冗余神经元组的总个数。
例如,分类层中包括3个冗余神经元组,每个冗余神经元组中均包括4个神经元。第1个冗余神经元组中各个神经元输出的第一分类概率分别为0.8、0.5、0.1、0.6,第2个冗余神经元组中各个神经元输出的第一分类概率分别为0.2、0.3、0.1、0.2,第3个冗余神经元组中各个神经元输出的第一分类概率分别为0.4、0.2、0.1、0.1,则第1个冗余神经元组对应的第二分类概率为0.8,第2个冗余神经元组对应的第二分类概率为0.3,第3个冗余神经元组对应的第二分类概率为0.4。
需要注意的是,本申请实施例中的分类结果激活层将第i个冗余神经元组中各个神经元输出的第一分类概率中最大的第一分类概率确定为第i个冗余神经元组对应的第二分类概率,也可以将第i个冗余神经元组中各个神经元输出的第一分类概率的平均值确定为第i个冗余神经元组对应的第二分类概率,也可以将第i个冗余神经元组中各个神经元输出的第一分类概率中前预设个数个较大的第一分类概率的平均值确定为第i个冗余神经元组对应的第二分类概率。在实际使用的时候,可以根据得到的分类精度设置确定第二分类概率的方式。
S205:基于每个冗余神经元组对应的第二分类概率,确定待分类图像的分类结果。
具体实现的时候,首先确定各个第二分类概率中最大的第二分类概率,以及与最大的第二分类概率对应的目标冗余神经元组;然后将目标冗余神经元组对应的分类类别,确定为待分类图像的分类结果,也可以将目标冗余神经元组对应的分类类别以及目标冗余神经元组对应的第二分类概率,确定为待分类图像的分类结果。
例如,在上文中,第1个冗余神经元组对应的第二分类概率为0.8,第2个冗余神经元组对应的第二分类概率为0.3,第3个冗余神经元组对应的第二分类概率为0.4,则目标冗余神经元组即为第1个冗余神经元组,待分类图像的分类结果为第1个冗余神经元组所对应的分类类别,或第1个冗余神经元组所对应的分类类别和第1个冗余神经元组所对应的第二分类概率0.8。
可选地,分类结果也可以使用one-hot编码(独热码)来表示,即将分类结果使用与分类类别个数相同位数的one-hot编码来表示,例如,分类类别有3类,则使用3位one-hot编码表示,即100、010、001,其中,100表示分类结果为类别1,010表示分类结果为类别2,001表示分类结果为类别3。
本申请实施例通过上述预先训练好的图像分类模型得到了待分类图像的分类结果,下面详细介绍本申请实施例提供的图像分类模型的训练过程,参见图3所示,本申请实施例提供的图像分类模型的训练过程包括步骤S301~S306:
S301:获取多个样本图像;
S302:将样本图像输入至特征提取网络中,得到样本图像的特征向量;
S303:将样本图像的特征向量输入至分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第三分类概率;
其中,每个神经元输出的第三分类概率表示样本图像属于该神经元所在冗余神经元组对应的分类类别的概率;
S304:将每个冗余神经元组中各个神经元输出的第三分类概率输入至分类结果激活层中,得到每个冗余神经元组对应的第四分类概率;
S305:基于每个冗余神经元组对应的第四分类概率,确定样本图像的分类结果;
S306:根据各个样本图像的分类结果,以及与各个样本图像分别对应的标注分类结果,对图像分类模型进行多轮训练,得到预先训练好的图像分类模型。
上述步骤S301~S305在具体实现的时候,可以参考上述步骤S201~S205的具体实施方式,得到各个样本图像的分类结果,此处的各个样本图像的分类结果可以为各个样本图像所属的分类类别以及对应的概率,例如某样本图像的分类结果为分类类别1,概率为0.8。
步骤S306在具体实现的时候,参见图4所示,可以通过下述步骤对图像分类模型进行多轮训练:
S401:针对每个样本图像,根据与该样本图像对应的分类结果以及标注分类结果,确定该样本图像对应的交叉熵损失函数值;
例如,某样本图像属于分类类别1,则该样本图像的标注分类结果为1,某样本图像属于分类类别2,则该样本图像的标注分类结果为2。
S402:根据该样本图像对应的交叉熵损失函数值,调整图像分类模型的参数;
S403:直至所有样本图像完成本轮的训练后,确定完成对图像分类模型的本轮训练;
S404:经过对图像分类模型进行多轮训练,得到预先训练好的图像分类模型。
通过上述方式可以得到预先训练好的图像分类模型,在具体使用的时候,可以通过步骤S201~S205得到待分类图像的分类结果。
本申请实施例通过将图像分类模型的分类层设置成多个冗余神经元组,每个冗余神经元组对应一个分类类别,而不是现有技术中分类层中的每个神经元对应一个分类类别,这样相当于在现有技术中的分类层中添加了冗余神经元,冗余神经元组中的每个神经元都可以输出待分类图像属于该冗余神经元组对应的分类类别的概率,通过分类结果激活层,只要冗余神经元组中有一个神经元被强烈的激活,整个冗余神经元组就相当于被激活,最后分类结果激活层输出待分类图像属于各个冗余神经元组分别对应的分类类别的概率,最终得到待分类图像的分类结果。本申请采用上述方式可以降低模型训练的过程中类内差异过大导致分类层学习的特征过于均化,从而使分类效果变差的问题,能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
基于同一发明构思,本申请实施例中还提供了与图像分类方法对应的图像分类装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像分类方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参见图5所示,本申请实施例所提供的图像分类装置,作用于预先训练好的图像分类模型;图像分类模型包括特征提取网络、分类层、分类结果激活层;所述分类层包括多个冗余神经元组,所述冗余神经元组与分类类别一一对应,每个冗余神经元组中包括多个神经元;图像分类装置包括:
获取模块51,用于获取待分类图像;
特征向量提取模块52,用于将所述待分类图像输入至预先训练好的特征提取网络中,得到所述待分类图像的特征向量;
第一分类概率提取模块53,用于将所述特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率,其中,每个神经元输出的第一分类概率表示所述待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;
第二分类概率提取模块54,用于将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第二分类概率;
分类结果确定模块55,用于基于每个冗余神经元组对应的第二分类概率,确定所述待分类图像的分类结果。
可选地,所述第二分类概率提取模块54,具体用于:
将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,针对第i个冗余神经元组,将所述第i个冗余神经元组中各个神经元输出的第一分类概率中最大的第一分类概率确定为所述第i个冗余神经元组对应的第二分类概率,i取1至N中的任意整数,N为冗余神经元组的总个数。
可选地,所述分类结果确定模块55,具体用于:
确定各个第二分类概率中最大的第二分类概率,以及与所述最大的第二分类概率对应的目标冗余神经元组;
将所述目标冗余神经元组对应的分类类别,确定为所述待分类图像的分类结果。
可选地,图像分类装置还包括:
图像分类模型训练模块56,用于采用下述方法得到所述预先训练好的图像分类模型:
获取多个样本图像;
将所述样本图像输入至所述特征提取网络中,得到所述样本图像的特征向量;
将所述样本图像的特征向量输入至所述分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第三分类概率,其中,每个神经元输出的第三分类概率表示所述样本图像属于该神经元所在冗余神经元组对应的分类类别的概率;
将每个冗余神经元组中各个神经元输出的第三分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第四分类概率;
基于每个冗余神经元组对应的第四分类概率,确定所述样本图像的分类结果;
根据各个样本图像的分类结果,以及与各个样本图像分别对应的标注分类结果,对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
可选地,所述图像分类模型训练模块56,具体采用下述方式根据各个样本图像的分类结果,以及与各个样本图像分别对应的标注分类结果,对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型:
针对每个样本图像,根据与该样本图像对应的分类结果以及标注分类结果,确定该样本图像对应的交叉熵损失函数值;
根据该样本图像对应的交叉熵损失函数值,调整所述图像分类模型的参数;
直至所有样本图像完成本轮的训练后,确定完成对所述图像分类模型的本轮训练;
经过对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
本申请实施例提供的图像分类装置,通过将图像分类模型的分类层设置成多个冗余神经元组,每个冗余神经元组对应一个分类类别,而不是现有技术中分类层中的每个神经元对应一个分类类别,这样相当于在现有技术中的分类层中添加了冗余神经元,冗余神经元组中的每个神经元都可以输出待分类图像属于该冗余神经元组对应的分类类别的概率,通过分类结果激活层,只要冗余神经元组中有一个神经元被强烈的激活,整个冗余神经元组就相当于被激活,最后分类结果激活层输出待分类图像属于各个冗余神经元组分别对应的分类类别的概率,最终得到待分类图像的分类结果。本申请采用上述方式可以降低模型训练的过程中类内差异过大导致分类层学习的特征过于均化,从而使分类效果变差的问题,能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述图像分类方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述图像分类方法,从而能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
对应于本申请实施例提供的图像分类方法,本申请实施例还提供了一种计算机设备,如图6所示,该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序,其中,上述处理器2000执行上述计算机程序时实现上述图像分类方法的步骤。
具体地,上述存储器1000和处理器2000能够为通用的存储器和处理器,这里不做具体限定,当处理器2000运行存储器1000存储的计算机程序时,能够执行上述图像分类方法,从而能够在不增加标注成本的情况下,提高类内差异较大时的图像分类精度。
本申请实施例所提供的图像分类方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种图像分类方法,其特征在于,作用于预先训练好的图像分类模型;图像分类模型包括特征提取网络、分类层、分类结果激活层;所述分类层包括多个冗余神经元组,所述冗余神经元组与分类类别一一对应,每个冗余神经元组中包括多个神经元;所述方法包括:
获取待分类图像;
将所述待分类图像输入至预先训练好的特征提取网络中,得到所述待分类图像的特征向量;
将所述特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率,其中,每个神经元输出的第一分类概率表示所述待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;
将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第二分类概率;
基于每个冗余神经元组对应的第二分类概率,确定所述待分类图像的分类结果;
其中,采用下述方法得到所述预先训练好的图像分类模型:
获取多个样本图像;
将所述样本图像输入至所述特征提取网络中,得到所述样本图像的特征向量;
将所述样本图像的特征向量输入至所述分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第三分类概率,其中,每个神经元输出的第三分类概率表示所述样本图像属于该神经元所在冗余神经元组对应的分类类别的概率;
将每个冗余神经元组中各个神经元输出的第三分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第四分类概率;
基于每个冗余神经元组对应的第四分类概率,确定所述样本图像的分类结果;
针对每个样本图像,根据与该样本图像对应的分类结果以及标注分类结果,确定该样本图像对应的交叉熵损失函数值;
根据该样本图像对应的交叉熵损失函数值,调整所述图像分类模型的参数;
直至所有样本图像完成本轮的训练后,确定完成对所述图像分类模型的本轮训练;
经过对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
2.根据权利要求1所述的方法,其特征在于,所述将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第二分类概率,包括:
将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,针对第i个冗余神经元组,将所述第i个冗余神经元组中各个神经元输出的第一分类概率中最大的第一分类概率确定为所述第i个冗余神经元组对应的第二分类概率,i取1至N中的任意整数,N为冗余神经元组的总个数。
3.根据权利要求1所述的方法,其特征在于,所述基于每个冗余神经元组对应的第二分类概率,确定所述待分类图像的分类结果,包括:
确定各个第二分类概率中最大的第二分类概率,以及与所述最大的第二分类概率对应的目标冗余神经元组;
将所述目标冗余神经元组对应的分类类别,确定为所述待分类图像的分类结果。
4.一种图像分类装置,其特征在于,作用于预先训练好的图像分类模型;图像分类模型包括特征提取网络、分类层、分类结果激活层;所述分类层包括多个冗余神经元组,所述冗余神经元组与分类类别一一对应,每个冗余神经元组中包括多个神经元;所述装置包括:
获取模块,用于获取待分类图像;
特征向量提取模块,用于将所述待分类图像输入至预先训练好的特征提取网络中,得到所述待分类图像的特征向量;
第一分类概率提取模块,用于将所述特征向量输入至预先训练好的分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第一分类概率,其中,每个神经元输出的第一分类概率表示所述待分类图像属于该神经元所在冗余神经元组对应的分类类别的概率;
第二分类概率提取模块,用于将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第二分类概率;
分类结果确定模块,用于基于每个冗余神经元组对应的第二分类概率,确定所述待分类图像的分类结果;
所述装置还包括:
图像分类模型训练模块,用于采用下述方法得到所述预先训练好的图像分类模型:
获取多个样本图像;
将所述样本图像输入至所述特征提取网络中,得到所述样本图像的特征向量;
将所述样本图像的特征向量输入至所述分类层的每个冗余神经元组中,得到每个冗余神经元组中各个神经元输出的第三分类概率,其中,每个神经元输出的第三分类概率表示所述样本图像属于该神经元所在冗余神经元组对应的分类类别的概率;
将每个冗余神经元组中各个神经元输出的第三分类概率输入至所述分类结果激活层中,得到每个冗余神经元组对应的第四分类概率;
基于每个冗余神经元组对应的第四分类概率,确定所述样本图像的分类结果;
针对每个样本图像,根据与该样本图像对应的分类结果以及标注分类结果,确定该样本图像对应的交叉熵损失函数值;
根据该样本图像对应的交叉熵损失函数值,调整所述图像分类模型的参数;
直至所有样本图像完成本轮的训练后,确定完成对所述图像分类模型的本轮训练;
经过对所述图像分类模型进行多轮训练,得到所述预先训练好的图像分类模型。
5.根据权利要求4所述的装置,其特征在于,所述第二分类概率提取模块,具体用于:
将每个冗余神经元组中各个神经元输出的第一分类概率输入至所述分类结果激活层中,针对第i个冗余神经元组,将所述第i个冗余神经元组中各个神经元输出的第一分类概率中最大的第一分类概率确定为所述第i个冗余神经元组对应的第二分类概率,i取1至N中的任意整数,N为冗余神经元组的总个数。
6.根据权利要求4所述的装置,其特征在于,所述分类结果确定模块,具体用于:
确定各个第二分类概率中最大的第二分类概率,以及与所述最大的第二分类概率对应的目标冗余神经元组;
将所述目标冗余神经元组对应的分类类别,确定为所述待分类图像的分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910075279.2A CN111488893B (zh) | 2019-01-25 | 2019-01-25 | 一种图像分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910075279.2A CN111488893B (zh) | 2019-01-25 | 2019-01-25 | 一种图像分类方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111488893A CN111488893A (zh) | 2020-08-04 |
CN111488893B true CN111488893B (zh) | 2023-05-30 |
Family
ID=71793907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910075279.2A Active CN111488893B (zh) | 2019-01-25 | 2019-01-25 | 一种图像分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111488893B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650690A (zh) * | 2016-12-30 | 2017-05-10 | 东华大学 | 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法 |
CN108335313A (zh) * | 2018-02-26 | 2018-07-27 | 阿博茨德(北京)科技有限公司 | 图像分割方法及装置 |
CN108446688A (zh) * | 2018-05-28 | 2018-08-24 | 北京达佳互联信息技术有限公司 | 人脸图像性别判断方法、装置、计算机设备及存储介质 |
CN108564109A (zh) * | 2018-03-21 | 2018-09-21 | 天津大学 | 一种基于深度学习的遥感图像目标检测方法 |
CN108734200A (zh) * | 2018-04-24 | 2018-11-02 | 北京师范大学珠海分校 | 基于bing特征的人体目标视觉检测方法和装置 |
CN108875779A (zh) * | 2018-05-07 | 2018-11-23 | 深圳市恒扬数据股份有限公司 | 神经网络的训练方法、装置及终端设备 |
CN108985372A (zh) * | 2018-07-11 | 2018-12-11 | 广东技术师范学院 | 一种基于capsule理论和PLSA路由的医学影像分类方法 |
CN108985317A (zh) * | 2018-05-25 | 2018-12-11 | 西安电子科技大学 | 一种基于可分离卷积和注意力机制的图像分类方法 |
CN109002562A (zh) * | 2018-08-30 | 2018-12-14 | 北京信立方科技发展股份有限公司 | 一种仪器识别模型训练方法和装置及仪器识别方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106874921B (zh) * | 2015-12-11 | 2020-12-04 | 清华大学 | 图像分类方法和装置 |
-
2019
- 2019-01-25 CN CN201910075279.2A patent/CN111488893B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650690A (zh) * | 2016-12-30 | 2017-05-10 | 东华大学 | 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法 |
CN108335313A (zh) * | 2018-02-26 | 2018-07-27 | 阿博茨德(北京)科技有限公司 | 图像分割方法及装置 |
CN108564109A (zh) * | 2018-03-21 | 2018-09-21 | 天津大学 | 一种基于深度学习的遥感图像目标检测方法 |
CN108734200A (zh) * | 2018-04-24 | 2018-11-02 | 北京师范大学珠海分校 | 基于bing特征的人体目标视觉检测方法和装置 |
CN108875779A (zh) * | 2018-05-07 | 2018-11-23 | 深圳市恒扬数据股份有限公司 | 神经网络的训练方法、装置及终端设备 |
CN108985317A (zh) * | 2018-05-25 | 2018-12-11 | 西安电子科技大学 | 一种基于可分离卷积和注意力机制的图像分类方法 |
CN108446688A (zh) * | 2018-05-28 | 2018-08-24 | 北京达佳互联信息技术有限公司 | 人脸图像性别判断方法、装置、计算机设备及存储介质 |
CN108985372A (zh) * | 2018-07-11 | 2018-12-11 | 广东技术师范学院 | 一种基于capsule理论和PLSA路由的医学影像分类方法 |
CN109002562A (zh) * | 2018-08-30 | 2018-12-14 | 北京信立方科技发展股份有限公司 | 一种仪器识别模型训练方法和装置及仪器识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111488893A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
CN110826530B (zh) | 使用机器学习进行面部检测 | |
CN108491817A (zh) | 一种事件检测模型训练方法、装置以及事件检测方法 | |
CN110046634B (zh) | 聚类结果的解释方法和装置 | |
CN112926570B (zh) | 一种自适应比特网络量化方法、系统及图像处理方法 | |
CN109460792A (zh) | 一种基于图像识别的人工智能模型训练方法及装置 | |
CN112784929A (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
CN108549857B (zh) | 事件检测模型训练方法、装置及事件检测方法 | |
CN109816043A (zh) | 用户识别模型的确定方法、装置、电子设备及存储介质 | |
CN112597997A (zh) | 感兴趣区域确定方法、图像内容识别方法及装置 | |
CN112818774A (zh) | 一种活体检测方法及装置 | |
CN110866527A (zh) | 一种图像分割方法、装置、电子设备及可读存储介质 | |
CN112101114A (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
CN114547365A (zh) | 一种图像检索方法和设备 | |
CN108875445B (zh) | 一种行人再识别方法及装置 | |
CN114091597A (zh) | 基于自适应组样本扰动约束的对抗训练方法、装置及设备 | |
CN111488893B (zh) | 一种图像分类方法及装置 | |
CN112446428A (zh) | 一种图像数据处理方法及装置 | |
CN109325140B (zh) | 从图像中提取哈希码的方法、装置及图像检索方法、装置 | |
CN113591647B (zh) | 人体动作识别方法、装置、计算机设备和存储介质 | |
CN106909894B (zh) | 车辆品牌型号识别方法和系统 | |
CN112308153B (zh) | 一种烟火检测方法和装置 | |
CN109145132B (zh) | 从图像中提取哈希码的方法、装置及图像检索方法、装置 | |
Perochon et al. | Unsupervised Action Segmentation of Untrimmed Egocentric Videos | |
CN111753978A (zh) | 一种前向耗时的确定方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room 18F-1802 (01), Building 11, the Taihu Lake Photon Science Park, No. 198, Jialingjiang Road, High tech Zone, Suzhou City, Jiangsu Province, 215000 Patentee after: Galaxy Water Drop Technology (Jiangsu) Co.,Ltd. Country or region after: China Address before: 0701, 7 / F, 51 Xueyuan Road, Haidian District, Beijing Patentee before: Watrix Technology (Beijing) Co.,Ltd. Country or region before: China |