CN110826608A - 一种图像分类方法及装置 - Google Patents
一种图像分类方法及装置 Download PDFInfo
- Publication number
- CN110826608A CN110826608A CN201911023918.7A CN201911023918A CN110826608A CN 110826608 A CN110826608 A CN 110826608A CN 201911023918 A CN201911023918 A CN 201911023918A CN 110826608 A CN110826608 A CN 110826608A
- Authority
- CN
- China
- Prior art keywords
- portrait weight
- weight
- foreground
- image
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种图像分类方法及装置,所述方法包括:输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重。所述装置执行上述方法。本发明实施例提供的图像分类方法及装置,通过构建包含有可识别未知分类类别的分类器的卷积神经网络,且该分类器包含有前景肖像权重、背景肖像权重和全局肖像权重,能够提高对未知分类类别进行分类的效率和准确性。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种图像分类方法及装置。
背景技术
构建大规模标签集对于图像分类的监督学习任务来说,是极为关键的、也极具挑战性。
另一方面,卷积神经网络广泛应用于医疗检测行业,例如,对胶囊内窥镜图像进行分类。卷积神经网络在使用之前需要进行训练,然而,训练算法在计算上非常昂贵,一次训练可消耗数百甚至数千个GPU小时。卷积神经网络识别的图像包括前景部分和背景部分,在实施本发明实施例的过程中,发明人发现,前景部分和背景部分对识别结果的贡献较大,如何充分利用前景部分和背景部分对图像进行分类,因此,亟需一种图像分类方法,以解决上述技术问题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种图像分类方法及装置。
本发明实施例提供一种图像分类方法,包括:
输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;
将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
其中,所述将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果,包括:
根据如下公式确定所述分类结果:
其中,openmaxi(x)为所述分类器、yi为最终隐藏层输出的第i个分类的特征向量、m为已知分类的分类数、x为待分类图像;当i=m+1时,有:
其中,采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重。
其中,所述威布尔分布包括CDF;相应的,所述采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重,包括:
根据如下公式估计所述前景肖像权重:
其中,为所有测试类别图像的前景类别特征向量的平均值、为第j个测试类别图像的前景类别特征向量、为与之间相似度距离、为与所述前景肖像权重相对应的、CDF的第一参数、为与所述前景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述背景肖像权重:
其中,为所有测试类别图像的背景类别特征向量的平均值、为第j个测试类别图像的背景类别特征向量、为与之间相似度距离、为与所述背景肖像权重相对应的、CDF的第一参数、为与所述背景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述全局肖像权重:
其中,PortCG为所有测试类别图像的类别特征向量的平均值、为第j个测试类别图像的类别特征向量、为与PortCG之间相似度距离、ε为与所述全局肖像权重相对应的、CDF的第一参数、τi为与所述全局肖像权重相对应的、CDF的第二参数。
本发明实施例提供一种图像分类装置,包括:
输入单元,用于输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;
分类单元,用于将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
其中,所述分类单元具体用于:
根据如下公式确定所述分类结果:
其中,openmaxi(x)为所述分类器、yi为最终隐藏层输出的第i个分类的特征向量、m为已知分类的分类数、x为待分类图像;当i=m+1时,有:
其中,采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重。
其中,所述威布尔分布包括CDF;相应的,所述图像分类装置具体用于:
根据如下公式估计所述前景肖像权重:
其中,为所有测试类别图像的前景类别特征向量的平均值、为第j个测试类别图像的前景类别特征向量、为与之间相似度距离、为与所述前景肖像权重相对应的、CDF的第一参数、为与所述前景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述背景肖像权重:
其中,为所有测试类别图像的背景类别特征向量的平均值、为第j个测试类别图像的背景类别特征向量、为与之间相似度距离、为与所述背景肖像权重相对应的、CDF的第一参数、为与所述背景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述全局肖像权重:
其中,PortCG为所有测试类别图像的类别特征向量的平均值、为第j个测试类别图像的类别特征向量、为与PortCG之间相似度距离、ε为与所述全局肖像权重相对应的、CDF的第一参数、τi为与所述全局肖像权重相对应的、CDF的第二参数。
本发明实施例提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,
所述处理器执行所述计算机程序时实现如下方法步骤:
输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;
将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下方法步骤:
输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;
将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
本发明实施例提供的图像分类方法及装置,通过构建包含有可识别未知分类类别的分类器的卷积神经网络,且该分类器包含有前景肖像权重、背景肖像权重和全局肖像权重,能够提高对未知分类类别进行分类的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明图像分类方法实施例流程图;
图2为本发明图像分类方法另一实施例流程图;
图3为本发明图像分类装置实施例结构示意图;
图4为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明图像分类方法实施例流程图,如图1所示,本发明实施例提供的一种图像分类方法,包括以下步骤:
S101:输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络。
具体的,输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络。执行该方法步骤的可以是计算机设备。该方法可以应用于预设图像识别模型的使用阶段、也可以应用于预设图像识别模型的训练阶段。
对于使用阶段,比较简单,可参照训练阶段,不再赘述。
对于训练阶段,图2为本发明图像分类方法另一实施例流程图,如图2所示,Classifier对应分类器,需要说明的是,该分类器不同于softmax等仅可识别已知分类类别的分类器,还可识别未知分类类别,例如,可以具体为openmax。Unknow Category对应新特征分类类别,Know Category对应已知分类类别。卷积神经网络可以具体为inceptionV3,或者Slimmed inceptionV3,对应瘦身卷积神经网络。待分类图像可以对应Training Batches(对应训练样本数据)或Pre-training(对应预训练样本数据)。
图2中的椭圆形的步骤节点为对应预训练过程的节点,方形的步骤节点为对应训练过程的节点,Kernel Retrace即是核回溯,即回溯有效卷积核,其中,有效卷积核即目标卷积核,进一步地,可以为目标卷积核增加干扰,从而增强目标卷积核的泛化能力。KernelRetrace方法为本领域成熟技术,具体实现方式不再赘述。预训练样本数据可以是经由人工挑选的、特征明显、代表性强的样本数据,可以理解的是,预训练样本数据的数量较少。
需要说明的是:本发明实施例的瘦身卷积神经网络是需要循环迭代的,初始瘦身卷积神经网络(即还没有迭代过的)可以仅包含初始的目标卷积核。即可以利用KernelRetrace方法获得初始的目标卷积核,从而确定初始瘦身卷积神经网络。
Training Batches对应训练样本数据,可以理解的是,相比于预训练样本数据,训练样本数据的数量较大。Locked可以对应目标卷积核的存储空间,Open可以对应待确定新卷积核的存储空间、Novel可以对应新卷积核的存储空间,Locked、Open和Novel对应的所有存储空间可以组成核空间,对应Kernel Space。其中,新卷积核是新增的所述目标卷积核、且具有新特征。即新卷积核不在当前的目标卷积核范围中,而且具有对应新特征分类类别的新特征。具体说明如下:
若识别出所述新卷积核,则输入所述新卷积核至所述瘦身卷积神经网络的分类器,并将所述分类器针对所述新卷积核的输出结果作为所述新特征分类类别。
Kernel Lib对应卷积核库,需要初始化卷积核库,即可以将首次利用所述KernelRetrace方法得到的所有目标卷积核作为初始化的卷积核库,此后,在瘦身卷积神经网络的循环迭代过程中,可以不断更新所述卷积核库,具体可以包括:
根据所述新特征分类类别对应的新卷积核,更新所述卷积核库。例如每当检测到一个新特征分类类别对应的一个新卷积核,就在原卷积核库的基础上增加该新卷积核,相应的,可以更新全部目标卷积核对应的存储空间Locked,释放新卷积核对应的存储空间Novel。进一步地,卷积核库还可以包括卷积核和特征分类类别之间的对应关系。
还可以包括:
利用Kernel Retrace方法确定待确定新卷积核;其中,所述待确定新卷积核为新增的所述目标卷积核;若所述待确定新卷积核不在所述卷积核库,则确定所述待确定新卷积核为所述新卷积核。例如,在瘦身卷积神经网络的循环迭代过程中,参照图2,先利用Kernel Retrace方法,将待确定新卷积核存储至Open,再确定这个待确定新卷积核在不在卷积核库,如果在,则确定这个待确定新卷积核为新卷积核,并存储在Novel;如果不在,则确定这个待确定新卷积核不为新卷积核。可以进一步释放这个待确定新卷积核的存储空间,即Open。
还可以包括:根据所述新特征分类类别标注对应的样本数据,并训练所述瘦身卷积神经网络。
S102:将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
具体的,将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。可以令f(x)表示将卷积神经网络作为函数,y表示其最终隐藏层的输出结果,其维度等于已知类别的数量,即m;x为待分类图像。图2未示出最终隐藏层,可以理解的是,对于卷积神经网络,最终隐藏层通常为分类器的前一层,例如全连接层等。
则y由下式给出:
y=f(x)=Wx
其中,W是内核完整集,可以包括无效内核、CMK(公共卷积核)和CK(专用卷积核)。尽管只有CK是分类器的可靠依据,但CMK(作为背景特征)通常会影响分类器的准确性,因此,CMK比CK重要得多。将WCi(k1c,k2c,..)表示为与CK相对应的专用卷积核的权重,将WG(k1b,k2b,..)表示为与CMK相对应的公共卷积核的权重,在计算f(x)时,使用WCi和WG分别替换W,将会消除背景对准确性的影响。
对于专用卷积核说明如下:为方便说明,引入全局公共卷积核和组内公共卷积核,所述全局公共卷积核是所有类别中都存在的卷积核、所述组内公共卷积核是在组内存在、但在其他组内不存在的卷积核。具体说明如下:
对于全局公共卷积核,即常见卷积核,常见卷积核与几乎所有图像中都存在的背景特征有关,通常是在第一批训练集中的常见卷积核。图像越多样化,常见卷积核的数量就越少。每种物理类型的内窥镜检查都有其独特的分辨率特征,包括颜色,曝光,亮度,对比度,透明度和框架等。这些可以导致常见卷积核复杂化。
对于组内公共卷积核,即存在于同一组类别中的卷积核。大多数组内公共卷积核都与背景相关,具有相似前景特征,但在不同背景中的类别可以被视为一组。
公共卷积核可以是上述组内公共卷积核和全局公共卷积核的合集,可以从全部卷积核集合中剔除所述全局公共卷积核和所述组内公共卷积核,并将剩余的目标卷积核作为与所述未知分类类别相对应的专用卷积核。目标卷积核目标卷积核为利用Kernel Retrace方法得到的、权重值大于预设值的卷积核,预设值可根据实际情况自主设置。专用卷积核通常与特定功能相关,通常是整个目标卷积核的一小部分(小于1%)。
给定一个正确分类的测试图像xT∈Ci(第i个分类),对于每个带有CK和CMK的Lh(第h个隐藏层)∈Lyr(所有隐藏层集合),可以通过以下公式计算类别特征向量和公共特征向量:
测试图像XCi(xT1,xT2,..)具有CK特征向量测试图像XGi(xT1,xT2,..)具有CMK特征向量将表示为前景(CK类别)肖像,它是的平均值;将表示为背景(CMK类别)肖像,它是的平均值,将PortCG表示为全局肖像,它是的平均值,即所有背景对应的所有的平均值。
表示训练样本(前景类别集合),且 的概率向量;表示训练样本(背景类别集合),且的概率向量;ωG表示训练示例xE∈Cat(类别全集,对应上述全局肖像),且ωG=p(xE∈Cat)的概率向量。对于x≤Cat的封闭设置,可以采用openmax作为分类器,在开放设置中,需要考虑x不属于Cat的情况:
分类器为:
其中,openmaxi(x)为所述分类器、yi为最终隐藏层输出的第i个分类的特征向量、m为已知分类的分类数、x为待分类图像;当i=m+1时,有:
其中,为所述前景肖像权重、为所述背景肖像权重、ωG为所述全局肖像权重。其中,max表示取最大值函数。其中,ym+1是未知类别的特征向量,它是使用前景肖像权重背景肖像权重和全局肖像权重ωG计算的,上述三个权重用于修正ym+1,以便可以通过在ωc,ωb和ωG之间进行投票,并将具有新颖特征的图像正确分类为未知类别。
其中,
其中,为所有测试类别图像的前景类别特征向量的平均值、为第j个测试类别图像的前景类别特征向量、为与之间相似度距离、为与所述前景肖像权重相对应的、CDF的第一参数、为与所述前景肖像权重相对应的、CDF的第二参数;相似度距离可以进一步为范式距离,不作具体限定。
根据如下公式估计所述背景肖像权重:
其中,为所有测试类别图像的背景类别特征向量的平均值、为第j个测试类别图像的背景类别特征向量、为与之间相似度距离、为与所述背景肖像权重相对应的、CDF的第一参数、为与所述背景肖像权重相对应的、CDF的第二参数;相似度距离可以进一步为范式距离,不作具体限定。
根据如下公式估计所述全局肖像权重:
其中,PortCG为所有测试类别图像的类别特征向量的平均值、为第j个测试类别图像的类别特征向量、为与PortCG之间相似度距离、ε为与所述全局肖像权重相对应的、CDF的第一参数、τi为与所述全局肖像权重相对应的、CDF的第二参数。相似度距离可以进一步为范式距离,不作具体限定。
需要说明的是,上述和(τi,ε)是从类Ci的训练数据导出的分布参数。参数和(τi,ε)可以分别通过上述和d(xE,CG),并分别通过最大似然估计(MLE)进行估计,具体估计方法为本领域成熟技术,不再赘述。
本发明实施例提供的图像分类方法,通过构建包含有可识别未知分类类别的分类器的卷积神经网络,且该分类器包含有前景肖像权重、背景肖像权重和全局肖像权重,能够提高对未知分类类别进行分类的效率和准确性。
在上述实施例的基础上,具体的,所述将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果,包括:
根据如下公式确定所述分类结果:
其中,openmaxi(x)为所述分类器、yi为最终隐藏层输出的第i个分类的特征向量、m为已知分类的分类数、x为待分类图像;当i=m+1时,有:
本发明实施例提供的图像分类方法,通过具体公式确定分类结果,进一步提高分类效率和准确性。
在上述实施例的基础上,具体的,采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重。可参照上述说明,不再赘述。
本发明实施例提供的图像分类方法,通过采用威布尔分布估计相应权重,进一步能够提高对未知分类类别进行分类的效率和准确性。
在上述实施例的基础上,进一步地,所述威布尔分布包括累计分布函数(Cumulative Distribution Function,简称“CDF”);相应的,所述采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重,包括:
具体的,根据如下公式估计所述前景肖像权重:
其中,为所有测试类别图像的前景类别特征向量的平均值、为第j个测试类别图像的前景类别特征向量、为与之间相似度距离、为与所述前景肖像权重相对应的、CDF的第一参数、为与所述前景肖像权重相对应的、CDF的第二参数。可参照上述说明,不再赘述。
具体的,根据如下公式估计所述背景肖像权重:
其中,为所有测试类别图像的背景类别特征向量的平均值、为第j个测试类别图像的背景类别特征向量、为与之间相似度距离、为与所述背景肖像权重相对应的、CDF的第一参数、为与所述背景肖像权重相对应的、CDF的第二参数。可参照上述说明,不再赘述。
具体的,根据如下公式估计所述全局肖像权重:
其中,PortCG为所有测试类别图像的类别特征向量的平均值、为第j个测试类别图像的类别特征向量、为与PortCG之间相似度距离、ε为与所述全局肖像权重相对应的、CDF的第一参数、τi为与所述全局肖像权重相对应的、CDF的第二参数。可参照上述说明,不再赘述。
本发明实施例提供的图像分类方法,进一步能够提高对未知分类类别进行分类的效率和准确性。
图3为本发明图像分类装置实施例结构示意图,如图3所示,本发明实施例提供了一种图像分类装置,包括输入单元301和分类单元302,其中:
输入单元301用于输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;分类单元302用于将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
具体的,输入单元301用于输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;分类单元302用于将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
本发明实施例提供的图像分类装置,通过构建包含有可识别未知分类类别的分类器的卷积神经网络,且该分类器包含有前景肖像权重、背景肖像权重和全局肖像权重,能够提高对未知分类类别进行分类的效率和准确性。
在上述实施例的基础上,所述分类单元302具体用于:
根据如下公式确定所述分类结果:
其中,open maxi(x)为所述分类器、yi为最终隐藏层输出的第i个分类的特征向量、m为已知分类的分类数、x为待分类图像;当i=m+1时,有:
其中,
其中,为所述前景肖像权重、为所述背景肖像权重、ωG为所述全局肖像权重。
本发明实施例提供的图像分类装置,通过具体公式确定分类结果,进一步提高分类效率和准确性。
在上述实施例的基础上,采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重。
本发明实施例提供的图像分类装置,通过采用威布尔分布估计相应权重,进一步能够提高对未知分类类别进行分类的效率和准确性。
在上述实施例的基础上,所述威布尔分布包括CDF;相应的,所述图像分类装置具体用于:
根据如下公式估计所述前景肖像权重:
其中,为所有测试类别图像的前景类别特征向量的平均值、为第j个测试类别图像的前景类别特征向量、为与之间相似度距离、为与所述前景肖像权重相对应的、CDF的第一参数、为与所述前景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述背景肖像权重:
其中,为所有测试类别图像的背景类别特征向量的平均值、为第j个测试类别图像的背景类别特征向量、为与之间相似度距离、为与所述背景肖像权重相对应的、CDF的第一参数、为与所述背景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述全局肖像权重:
其中,PortCG为所有测试类别图像的类别特征向量的平均值、为第j个测试类别图像的类别特征向量、为与PortCG之间相似度距离、ε为与所述全局肖像权重相对应的、CDF的第一参数、τi为与所述全局肖像权重相对应的、CDF的第二参数。
本发明实施例提供的图像分类装置,进一步能够提高对未知分类类别进行分类的效率和准确性。
本发明实施例提供的图像分类装置具体可以用于执行上述各方法实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
图4为本发明实施例提供的电子设备实体结构示意图,如图4所示,所述电子设备包括:处理器(processor)401、存储器(memory)402和总线403;
其中,所述处理器401、存储器402通过总线403完成相互间的通信;
所述处理器401用于调用所述存储器402中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像分类方法,其特征在于,包括:
输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;
将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
3.根据权利要求1或2所述的图像分类方法,其特征在于,采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重。
4.根据权利要求3所述的图像分类方法,其特征在于,所述威布尔分布包括CDF;相应的,所述采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重,包括:
根据如下公式估计所述前景肖像权重:
其中,为所有测试类别图像的前景类别特征向量的平均值、为第j个测试类别图像的前景类别特征向量、为与之间相似度距离、为与所述前景肖像权重相对应的、CDF的第一参数、为与所述前景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述背景肖像权重:
其中,为所有测试类别图像的背景类别特征向量的平均值、为第j个测试类别图像的背景类别特征向量、为与之间相似度距离、为与所述背景肖像权重相对应的、CDF的第一参数、为与所述背景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述全局肖像权重:
5.一种图像分类装置,其特征在于,包括:
输入单元,用于输入待分类图像至预设图像识别模型;所述预设图像识别模型为包含有可识别未知分类类别的分类器的卷积神经网络;
分类单元,用于将所述预设图像识别模型中的最终隐藏层的输出结果输入所述分类器,并将所述分类器的输出结果作为所述待分类图像的分类结果;其中,所述分类器包含有前景肖像权重、背景肖像权重和全局肖像权重;所述前景肖像权重是训练样本属于前景类别集合中的概率向量中的向量值、所述背景肖像权重是训练样本属于背景类别集合中的概率向量中的向量值、所述全局肖像权重是训练样本属于全局类别集合中的概率向量中的向量值。
7.根据权利要求5或6所述的图像分类装置,其特征在于,采用威布尔分布分别估计所述前景肖像权重、所述背景肖像权重和所述全局肖像权重。
8.根据权利要求7所述的图像分类装置,其特征在于,所述威布尔分布包括CDF;相应的,所述图像分类装置具体用于:
根据如下公式估计所述前景肖像权重:
其中,为所有测试类别图像的前景类别特征向量的平均值、为第j个测试类别图像的前景类别特征向量、为与之间相似度距离、为与所述前景肖像权重相对应的、CDF的第一参数、为与所述前景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述背景肖像权重:
其中,为所有测试类别图像的背景类别特征向量的平均值、为第j个测试类别图像的背景类别特征向量、为与之间相似度距离、为与所述背景肖像权重相对应的、CDF的第一参数、为与所述背景肖像权重相对应的、CDF的第二参数;
根据如下公式估计所述全局肖像权重:
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911023918.7A CN110826608A (zh) | 2019-10-25 | 2019-10-25 | 一种图像分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911023918.7A CN110826608A (zh) | 2019-10-25 | 2019-10-25 | 一种图像分类方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110826608A true CN110826608A (zh) | 2020-02-21 |
Family
ID=69551064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911023918.7A Pending CN110826608A (zh) | 2019-10-25 | 2019-10-25 | 一种图像分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110826608A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067037A (zh) * | 2017-04-21 | 2017-08-18 | 河南科技大学 | 一种使用llc准则定位图像前景的方法 |
CN108648211A (zh) * | 2018-05-16 | 2018-10-12 | 思百达物联网科技(北京)有限公司 | 一种基于深度学习的小目标检测方法、装置、设备和介质 |
CN108875676A (zh) * | 2018-06-28 | 2018-11-23 | 北京旷视科技有限公司 | 活体检测方法、装置及系统 |
CN109919241A (zh) * | 2019-03-15 | 2019-06-21 | 中国人民解放军国防科技大学 | 基于概率模型和深度学习的高光谱未知类别目标检测方法 |
CN109934269A (zh) * | 2019-02-25 | 2019-06-25 | 中国电子科技集团公司第三十六研究所 | 一种电磁信号的开集识别方法和装置 |
CN110163884A (zh) * | 2019-05-17 | 2019-08-23 | 温州大学 | 一种基于全连接深度学习神经网络的单个图像分割方法 |
CN110175655A (zh) * | 2019-06-03 | 2019-08-27 | 中国科学技术大学 | 数据识别方法及装置、存储介质及电子设备 |
CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
-
2019
- 2019-10-25 CN CN201911023918.7A patent/CN110826608A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067037A (zh) * | 2017-04-21 | 2017-08-18 | 河南科技大学 | 一种使用llc准则定位图像前景的方法 |
CN108648211A (zh) * | 2018-05-16 | 2018-10-12 | 思百达物联网科技(北京)有限公司 | 一种基于深度学习的小目标检测方法、装置、设备和介质 |
CN108875676A (zh) * | 2018-06-28 | 2018-11-23 | 北京旷视科技有限公司 | 活体检测方法、装置及系统 |
CN109934269A (zh) * | 2019-02-25 | 2019-06-25 | 中国电子科技集团公司第三十六研究所 | 一种电磁信号的开集识别方法和装置 |
CN109919241A (zh) * | 2019-03-15 | 2019-06-21 | 中国人民解放军国防科技大学 | 基于概率模型和深度学习的高光谱未知类别目标检测方法 |
CN110163884A (zh) * | 2019-05-17 | 2019-08-23 | 温州大学 | 一种基于全连接深度学习神经网络的单个图像分割方法 |
CN110175655A (zh) * | 2019-06-03 | 2019-08-27 | 中国科学技术大学 | 数据识别方法及装置、存储介质及电子设备 |
CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113159283B (zh) | 一种基于联邦迁移学习的模型训练方法及计算节点 | |
CN109086653B (zh) | 手写模型训练方法、手写字识别方法、装置、设备及介质 | |
CN109840413B (zh) | 一种钓鱼网站检测方法及装置 | |
WO2019146057A1 (ja) | 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム | |
CN111783551A (zh) | 基于贝叶斯卷积神经网络的对抗样本防御方法 | |
CN113837205A (zh) | 用于图像特征表示生成的方法、设备、装置和介质 | |
CN112001488A (zh) | 训练生成型对抗性网络 | |
CN112257738A (zh) | 机器学习模型的训练方法、装置和图像的分类方法、装置 | |
WO2021262399A1 (en) | Task-based image masking | |
CN111832580B (zh) | 结合少样本学习与目标属性特征的sar目标识别方法 | |
CN110569971A (zh) | 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法 | |
EP4343616A1 (en) | Image classification method, model training method, device, storage medium, and computer program | |
CN114358197A (zh) | 分类模型的训练方法及装置、电子设备、存储介质 | |
CN113920382B (zh) | 基于类一致性结构化学习的跨域图像分类方法和相关装置 | |
CN113987236B (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
WO2023087063A1 (en) | Method and system for analysing medical images to generate a medical report | |
Chenou et al. | Radial basis function network: Its robustness and ability to mitigate adversarial examples | |
CN110163206B (zh) | 车牌识别方法、系统、存储介质和装置 | |
CN111507396B (zh) | 缓解神经网络对未知类样本产生错误分类的方法及装置 | |
CN112364916A (zh) | 基于迁移学习的图像分类方法、相关设备及存储介质 | |
CN115330579B (zh) | 模型水印的构建方法、装置、设备及存储介质 | |
CN110826608A (zh) | 一种图像分类方法及装置 | |
CN111898465B (zh) | 一种人脸识别模型的获取方法和装置 | |
CN114723989A (zh) | 多任务学习方法、装置及电子设备 | |
CN114693997A (zh) | 基于迁移学习的图像描述生成方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |
|
RJ01 | Rejection of invention patent application after publication |