CN111353542A - 图像分类模型的训练方法、装置、计算机设备和存储介质 - Google Patents

图像分类模型的训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111353542A
CN111353542A CN202010140096.7A CN202010140096A CN111353542A CN 111353542 A CN111353542 A CN 111353542A CN 202010140096 A CN202010140096 A CN 202010140096A CN 111353542 A CN111353542 A CN 111353542A
Authority
CN
China
Prior art keywords
image
training
target
classification model
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010140096.7A
Other languages
English (en)
Other versions
CN111353542B (zh
Inventor
魏东
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010140096.7A priority Critical patent/CN111353542B/zh
Publication of CN111353542A publication Critical patent/CN111353542A/zh
Application granted granted Critical
Publication of CN111353542B publication Critical patent/CN111353542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

本申请涉及一种图像分类模型的训练方法、装置、计算机设备和存储介质。所述方法包括:获取训练图像和所述训练图像对应的标签;将所述训练图像输入图像分类模型的分类网络,得到所述训练图像对应各类别的第一概率;获取各类别的目标表征权重向量,根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率;根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数;基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。采用本方法能够使图像分类模型在训练过程中学习到类别之间的关联性,基于类别之间的关联提高图像分类模型的分类准确性。

Description

图像分类模型的训练方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像分类模型的训练方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,出现了对图像的分类技术,通过图像分类技术能够快速识别图像所属的类别,从而将相同类别的图像归类。传统的图像分类方法一般是通过模型识别图像,直接输出该图像对应的类别。但对于图像的多分类问题,基于图像内容的属性、特征的丰富性和复杂性等导致图像分类的时候容易存在模棱两可的情况,造成图像分类不准确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够准确识别图像类别的图像分类模型的训练方法、装置、计算机设备和存储介质。
一种图像分类模型的训练方法,所述方法包括:
获取训练图像和所述训练图像对应的标签;
将所述训练图像输入图像分类模型的分类网络,得到所述训练图像对应各类别的第一概率;
获取各类别的目标表征权重向量,根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率;
根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数;
基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
一种图像分类模型的训练装置,所述装置包括:
获取模块,用于获取训练图像和所述训练图像对应的标签;
第一输入模块,用于将所述训练图像输入图像分类模型的分类网络,得到所述训练图像对应各类别的第一概率;
确定模块,用于获取各类别的目标表征权重向量,根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率;
构建模块,用于根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数;
训练模块,用于基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
获取训练图像和所述训练图像对应的标签;
将所述训练图像输入图像分类模型的分类网络,得到所述训练图像对应各类别的第一概率;
获取各类别的目标表征权重向量,根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率;
根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数;
基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取训练图像和所述训练图像对应的标签;
将所述训练图像输入图像分类模型的分类网络,得到所述训练图像对应各类别的第一概率;
获取各类别的目标表征权重向量,根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率;
根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数;
基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
上述图像分类模型的训练方法、装置、计算机设备和存储介质,获取训练图像和训练图像对应的标签,将训练图像输入图像分类模型的分类网络,得到训练图像对应各类别的第一概率,获取各类别的目标表征权重向量,根据各类别的目标表征权重向量确定各类别之间的关联概率,根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数,基于目标损失函数对图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型,能够使图像分类模型在训练过程中学习到类别之间的关联性,基于类别之间的关联提高图像分类模型的分类性能。
一种图像分类方法,所述方法包括:
获取待处理图像,将所述待处理图像输入训练好的图像分类模型,所述训练好的图像分类模型为根据训练图像对应的标签、所述训练图像对应各类别的第一概率和所述各类别之间的关联概率所构建的目标损失函数进行训练得到的,所述训练好的图像分类模型中包含特征提取层和全连接层;
基于所述特征提取层的目标权重对所述待处理图像进行特征提取,得到所述待处理图像对应的目标特征向量;
将所述目标特征向量输入所述全连接层,通过所述全连接层的目标权重对所述目标特征向量进行全连接处理,得到所述待处理图像对应的类别。
一种图像分类装置,所述装置包括:
第二输入模块,用于获取待处理图像,将所述待处理图像输入训练好的图像分类模型,所述训练好的图像分类模型为根据训练图像对应的标签、所述训练图像对应各类别的第一概率和所述各类别之间的关联概率所构建的目标损失函数进行训练得到的,所述训练好的图像分类模型中包含特征提取层和全连接层;
提取模块,用于基于所述特征提取层的目标权重对所述待处理图像进行特征提取,得到所述待处理图像对应的目标特征向量;
识别模块,用于将所述目标特征向量输入所述全连接层,通过所述全连接层的目标权重对所述目标特征向量进行全连接处理,得到所述待处理图像对应的类别。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理图像,将所述待处理图像输入训练好的图像分类模型,所述训练好的图像分类模型为根据训练图像对应的标签、所述训练图像对应各类别的第一概率和所述各类别之间的关联概率所构建的目标损失函数进行训练得到的,所述训练好的图像分类模型中包含特征提取层和全连接层;
基于所述特征提取层的目标权重对所述待处理图像进行特征提取,得到所述待处理图像对应的目标特征向量;
将所述目标特征向量输入所述全连接层,通过所述全连接层的目标权重对所述目标特征向量进行全连接处理,得到所述待处理图像对应的类别。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理图像,将所述待处理图像输入训练好的图像分类模型,所述训练好的图像分类模型为根据训练图像对应的标签、所述训练图像对应各类别的第一概率和所述各类别之间的关联概率所构建的目标损失函数进行训练得到的,所述训练好的图像分类模型中包含特征提取层和全连接层;
基于所述特征提取层的目标权重对所述待处理图像进行特征提取,得到所述待处理图像对应的目标特征向量;
将所述目标特征向量输入所述全连接层,通过所述全连接层的目标权重对所述目标特征向量进行全连接处理,得到所述待处理图像对应的类别。
上述图像分类方法、装置、计算机设备和存储介质,该图像分类模型在训练过程中基于各类别之间的关联性调整特征提取层和全连接层的权重。通过训练好的图像分类模型中的全连接层的目标权重对目标特征向量进行全连接处理,对全连接层的输出进行归一化处理,得到该待处理图像对应各类别的预测概率,基于该预测概率确定该待处理图像对应的类别,使得能够基于各类别之间的关联性对待处理图像进行分类,提高分类的准确性。
附图说明
图1为一个实施例中图像分类模型的训练方法的应用环境图;
图2为一个实施例中图像分类模型的训练方法的流程示意图;
图3为一个实施例中图像分类模型的分类网络在训练过程中的架构图;
图4为另一个实施例中根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数步骤的流程示意图;
图5为一个实施例中对训练过的分类网络重新训练的架构图;
图6为一个实施例中获取各类别的目标表征权重向量的步骤的流程示意图;
图7为一个实施例中对特征嵌入网络进行训练的架构图;
图8为一个实施例中训练图像分类模型的整体架构图;
图9为一个实施例中图像分类方法的流程示意图;
图10为一个实施例中通过全连接层的目标权重对目标特征向量进行全连接处理,得到待处理图像对应的类别的步骤的流程示意图;
图11为一个实施例中图像分类模型的训练装置的结构框图;
图12为一个实施例中图像分类装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像分类模型的训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。终端102可从服务器104获取训练图像及该训练图像对应的标签。接着,终端102上安装了待训练的图像分类模型,终端102将训练图像及该训练图像对应的标签输入待训练的图像分类模型的分类网络,得到该训练图像对应各类别的第一概率。接着,终端102获取各类别的目标表征权重向量,根据各类别的目标表征权重向量确定各类别之间的关联概率。接着,终端102根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数。终端102基于目标损失函数对图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。终端102基于训练好的图像分类模型对待处理图像进行识别,能够准确得到待处理图像对应的类别。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,该图像分类模型的训练方法和图像分类方法可以应用在根据眼底照片对糖尿病性视网膜病变进行分级的场景中。
根据眼底照片对糖尿病性视网膜病变(简称糖网)进行分级,根据国际标准糖网病变可分为未见糖网、轻微糖网、中度糖网、重度糖网、增殖性糖网5个等级。不同的等级对应不同的治疗方案,在眼底照片上,不同的糖网等级之间存在的关联性,例如递交关系,但传统对眼底图像进行分级的方式没有关注到不同的糖网等级之间存在的关联性,分级缺乏明确界限。
本申请提供的图像分类模型的训练方法和图像分类方法在根据眼底照片对糖尿病性视网膜病变进行分级的步骤如下:
终端获取眼底图像和眼底图像对应的等级标签。该等级标签为训练图像对应的等级。终端将眼底图像输入图像分类模型的分类网络,得到该眼底图像对应各等级的第一概率。接着,终端根据眼底图像对应的等级标签和对应各等级的第一概率构建第一损失函数。
接着,终端基于第一损失函数对该分类网络进行初步训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,特征提取层对应的第一权重为该初步训练好的分类网络中的权重参数。
接着,终端通过分类网络的特征提取层的第一权重对眼底图像进行特征提取,得到眼底图像对应的第一特征向量。将第一特征向量输入图像分类模型中特征嵌入网络,通过特征嵌入网络的初始权重对第一特征向量进行处理,得到眼底图像对应的表征向量。
接着,终端获取各等级分别对应的初始表征权重向量,确定眼底图像对应的表征向量和各等级的初始表征权重向量之间的初始距离。根据初始距离确定眼底图像对应各等级的第二概率,并根据眼底图像对应的标签和第二概率构建第三损失函数。
接着,终端通过第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时停止训练,得到各等级对应的目标表征权重向量。终端确定各等级的目标表征权重向量相互之间的目标距离,并将各等级的目标表征权重向量相互之间的目标距离进行归一化处理,得到各等级之间的关联概率。
接着,终端根据眼底图像对应的标签和第一概率构建第一损失函数,并根据第一概率和各等级之间的关联概率构建第二损失函数。终端根据第一损失函数和第二损失函数构建目标损失函数。
终端通过目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数。当满足预设条件时停止训练,终端得到分类网络中的特征提取层的目标权重和全连接层的目标权重;特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数。
得到训练好的图像分类模型之后,终端将待识别眼底图像输入训练好的图像分类模型。训练好的图像分类模型中特征提取层的目标权重对待识别眼底图像进行特征提取,得到待识别眼底图像对应的目标特征向量。接着,特征提取层的将目标特征向量输入全连接层,通过全连接层的目标权重对目标特征向量进行全连接处理,并对全连接层的输出进行归一化处理,得到待识别眼底图像对应未见糖网、轻微糖网、中度糖网、重度糖网、增殖性糖网这5个等级的预测概率,并将预测概率最大值对应的等级作为该待识别眼底图像对应的等级。
例如,该待识别眼底图像对应未见糖网、轻微糖网、中度糖网、重度糖网、增殖性糖网这5个等级的预测概率分别为58%、20%、12%、8%和2%,则可确定该待识别眼底图像对应的等级为未见糖网。
通过将该图像分类模型的训练方法应用在对糖尿病性视网膜病变等级的检测场景,使得图像分类模型在训练过程中学习到未见糖网、轻微糖网、中度糖网、重度糖网、增殖性糖网这5个等级之间的关联性。基于5个等级之间的关联性调整图像分类模型的参数,使得训练好的图像分类模型能够根据5个等级之间的关联性识别眼底图像对应的等级,使得对眼底图像的分级更准确。
在一个实施例中,该图像分类模型的训练方法可以应用在根据多模态核磁共振(MRI)影像预测脑部胶质瘤的亚型的场景中。脑胶质瘤可以分为五个亚型,不同亚型的治疗方案差别很大。当前临床上对亚型的诊断依赖于侵入性的活检,既高风险又对病人造成痛苦。通过使用本申请提出的图像分类模型的训练方法和图像分类方法,在训练过程中可以学习出各亚型影像表现型之间的关联性,揭示临床意义,并基于各亚型之间的关联性训练模型,以对多模态核磁共振影像进行检测,准确得到该多模态核磁共振影像中脑部胶质瘤的亚型。
在一个实施例中,该图像分类模型的训练方法和图像分类方法可以应用在垃圾分类场景中。目前的垃圾的分类的界限非常模糊,通过本申请提出的图像分类模型的训练方法和图像分类方法,能够很好地学习到垃圾的各个类别之间的关联性。基于各类别之间的关联性训练模型,以对待分类垃圾的图像进行检测,准确得到该待分类的垃圾对应的类别,从而提高垃圾分类的准确率。
在本实施例中,该图像分类模型的训练方法和图像分类方法应用在垃圾分类场景中的过程如下:
根据垃圾图像对对应的真实垃圾进行分类,垃圾可分为可回收物、有害垃圾、湿垃圾、干垃圾、大件垃圾、装修垃圾和电子废弃物7个类别。垃圾图像是指对真实垃圾拍摄后得到的图像。可以理解的是,类别可以根据具体的需求更改。
终端获取垃圾图像和垃圾图像对应的类别标签。终端将垃圾图像输入图像分类模型的分类网络,得到该垃圾图像属于各类别的第一概率。接着,终端根据垃圾图像对应的类别标签和对应各类别的第一概率构建第一损失函数。
接着,终端基于第一损失函数对该分类网络进行初步训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,特征提取层对应的第一权重为该初步训练好的分类网络中的权重参数。
接着,终端通过分类网络的特征提取层的第一权重对垃圾图像进行特征提取,得到垃圾图像对应的第一特征向量。将第一特征向量输入图像分类模型中特征嵌入网络,通过特征嵌入网络的初始权重对第一特征向量进行处理,得到垃圾图像对应的表征向量。
接着,终端获取各类别分别对应的初始表征权重向量,确定垃圾图像对应的表征向量和各类别的初始表征权重向量之间的初始距离。根据初始距离确定垃圾图像对应各类别的第二概率,并根据垃圾图像对应的标签和第二概率构建第三损失函数。
接着,终端通过第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时停止训练,得到各类别对应的目标表征权重向量。终端确定各类别的目标表征权重向量相互之间的目标距离,并将各类别的目标表征权重向量相互之间的目标距离进行归一化处理,得到各类别之间的关联概率。
接着,终端根据垃圾图像对应的标签和第一概率构建第一损失函数,并根据第一概率和各类别之间的关联概率构建第二损失函数。终端根据第一损失函数和第二损失函数构建目标损失函数。
终端通过目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数。当满足预设条件时停止训练,终端得到分类网络中的特征提取层的目标权重和全连接层的目标权重;特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数。
用户可对待分类的垃圾拍摄得到待分类垃圾图像。得到训练好的图像分类模型之后,终端将待分类垃圾图像输入训练好的图像分类模型。训练好的图像分类模型中特征提取层的目标权重对待分类垃圾图像进行特征提取,得到待分类垃圾图像对应的目标特征向量。接着,特征提取层的将目标特征向量输入全连接层,通过全连接层的目标权重对目标特征向量进行全连接处理,并对全连接层的输出进行归一化处理,得到待分类垃圾图像属于可回收物、有害垃圾、湿垃圾、干垃圾、大件垃圾、装修垃圾和电子废弃物这7个类别的预测概率,并将预测概率最大值对应的类别作为该待分类垃圾图像对应的类别。
通过将该图像分类模型的训练方法应用在对糖尿病性视网膜病变类别的检测场景,使得图像分类模型在训练过程中学习到可回收物、有害垃圾、湿垃圾、干垃圾、大件垃圾、装修垃圾和电子废弃物这7个类别之间的关联性。基于7个类别之间的关联性调整图像分类模型的参数,使得训练好的图像分类模型能够根据7个类别之间的关联性识别垃圾图像对应的类别,使得对垃圾图像的分类更准确,从而实现真实垃圾的准确分类。
可以理解的是,本申请提供的图像分类模型的训练方法和图像分类方法可应用于任何需要进行图像分类的场景中,不限于上述举例。
在一个实施例中,如图2所示,提供了一种图像分类模型的训练方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,获取训练图像和该训练图像对应的标签。
其中,训练图像为需要进行分类的图像,该训练图像可为终端本地存储的,也可为其他设备存储的,也可以为从网络上存储的,还可为终端实时拍摄的,不限于此。该训练图像包括但不限于是可见光图,可见光图是指RGB(Red、Green、Blue)图像。可通过彩色摄像头拍摄任意场景得到彩色图像,即RGB图像。该训练图像对应的标签为该训练图像对应的类别。
具体地,终端从本地或其他设备或网络上获取训练图像,或者通过摄像头拍摄一场景得到训练图像。并且,终端获取训练图像对应的标签。该训练图像对应的标签可为预先通过人工进行标注的类别。
步骤204,将训练图像输入图像分类模型的分类网络,得到该训练图像对应各类别的第一概率。
具体地,终端将训练图像输入待训练的图像分类模型中,图像分类模型通过待训练的分类网络对该训练图像进行特征提取,得到该训练图像对应各类别的第一概率。
在本实施例中,将训练样本输入图像分类模型的分类网络,得到该训练样本对应各类别的第一概率,包括:将训练样本输入图像分类模型的分类网络;通过分类网络中特征提取层的初始权重对待处理图像进行特征提取,得到该训练样本对应的初始特征向量;通过该分类网络中全连接层的初始权重对该初始特征向量进行全连接处理,得到该训练样本对应各类别的第一概率。
具体地,待训练的图像分类模型中包含分类网络,该分类网络中包含特征提取层和全连接层。终端将该训练图像输入分类模型的特征提取层,获取特征提取层的初始权重,基于特征提取层的初始权重对待处理图像进行特征提取,从而将该训练样本转化为对应的初始特征向量。接着,特征提取层输出的初始特征向量作为全连接层的输入。获取全连接层对应的初始权重,基于全连接层的初始权重对该初始特征向量进行全连接处理,得到该训练样本对应各类别的第一概率。
步骤206,获取各类别的目标表征权重向量,根据各类别的目标表征权重向量确定各类别之间的关联概率。
其中,各类别的目标表征权重向量是指用于表征每个类别对应关键信息的目标权重。关联概率表示各个类别之间的关联程度。
具体地,终端可获取各类别的目标表征权重向量,计算各个目标表征权重向量之间的距离,即计算各个目标表征权重向量两两之间的距离。根据各个目标表征权重向量两两之间的距离计算出各类别之间的关联概率。
步骤208,根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数。
具体地,终端根据该训练图像对应的标签和该训练图像对应各类别的第一概率构建第一损失函数。接着,终端根据该训练图像对应各类别的第一概率和各类别之间的关联概率构建第二损失函数。接着,终端根据第一损失函数和第二损失函数构建目标损失函数。
步骤210,基于该目标损失函数对该图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
具体地,终端通过该目标损失函数训练图像分类模型,并根据训练结果调整图像分类模型的参数。基于调整参数后的图像分类模型继续进行训练,直到满足预设条件时停止训练,得到训练好的图像分类模型。
在本实施例中,预设条件可以是通过目标损失函数训练图像分类模型得到的损失值小于或等于损失阈值。当通过该目标损失函数训练的图像分类模型得到的损失值小于或等于损失阈值时,停止训练,得到训练好的图像分类模型。
上述图像分类模型的方法中,获取训练图像和训练图像对应的标签,将训练图像输入图像分类模型的分类网络,得到训练图像对应各类别的第一概率,获取各类别的目标表征权重向量,根据各类别的目标表征权重向量确定各类别之间的关联概率,使得能够基于各类别之间的表征权重向量计算出各类别相互之间的关联性。根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数,基于目标损失函数对图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型,能够使图像分类模型在训练过程中学习到类别之间的关联性,基于类别之间的关联程度提高图像分类模型的分类性能。
在一个实施例,在该将训练图像输入图像分类模型的分类网络,得到该训练图像对应各类别的第一概率之后,该方法还包括:根据该训练图像对应的标签和该第一概率构建第一损失函数;基于该第一损失函数对该图像分类模型的分类网络进行训练,满足训练停止条件时停止训练,得到训练好的分类网络中的特征提取层对应的第一权重。
如图3所示,为一个实施例中图像分类模型的分类网络在训练过程中的架构图。终端获取训练图像x和训练图像x的one-hot标签训练一个分类网络。如图3所示,训练图像首先经过特征提取层f1投影到特征空间:
f=f1(x) (1)
其中,
Figure BDA0002398786850000121
是得到训练图像对应的特征向量。f经过全连接层和归一化处理之后,得到训练图像x的分类概率
Figure BDA0002398786850000122
q1=softmax(fc(f)) (2)
其中,q1=[q1,q2,…,qN]且∑nqn=1。之后计算q1与one-hot标签y之间的交叉熵损失,即第一损失函数:
lCE(q1,y)=-∑nyn logqn,其中,n=1,2…N (3)
通过常用的优化方法如SGD(Stochastic GradientDescent,随机最速下降法)或Adam(adaptivemoment estimation,一阶优化算法)对lCE(q1,y)进行优化并进行反向传播,可以优化该分类网络,从而学习特征提取层的参数θ1
在一个实施例中,如图4所示,根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数,包括:
步骤402,根据该训练图像对应的标签和该第一概率构建第一损失函数。
具体地,该训练图像对应的标签为预先确定的该训练图像对应的类别。终端获取该训练图像对应的类别,构建该训练图像属于每个类别的第一概率和预先确定的该训练图像对应的类别之间的交叉熵损失函数,即第一损失函数。
步骤404,根据第一概率和各类别之间的关联概率构建第二损失函数。
步骤406,根据该第一损失函数和该第二损失函数构建目标损失函数。
具体地,第一概率为分类网络输出的训练图像对应各类别的概率,该第一概率未结合各类别之间的关联性。关联概率表示各个类别之间的关联程度,体现各类别之间的关联性。终端可确定出第一概率和各类别之间的关联概率之间的差异,基于第一概率和各类别之间的关联概率之间的差异构建第二损失函数。接着,终端可将第一损失函数和第二损失函数相加得到目标损失函数。
本实施例中,根据训练图像对应的标签和该第一概率构建第一损失函数,根据第一概率和各类别之间的关联概率构建第二损失函数,根据该第一损失函数和该第二损失函数构建目标损失函数,能够根据该目标损失函数训练图像分类模型,使得图像分类模型在训练过程中学习到类别间的关联性,以提高图像分类模型的分类性能。
如图5所示,为一个实施例中对训练过的分类网络重新训练的架构图。
终端经过对特征嵌入网络的训练,得到各类别对应的目标表征权重向量,即θ3={k1,k2,…,kN}。得到各类别对应的目标表征权重向量之后,将各类别对应的目标表征权重向量固定。通过对各类别的目标表征权重向量进行相互之间的距离度量并经过归一化处理,就可以得到类别之间的相关性,并将其作为该类别与其它类别之间的关联概率。对于任一类别y,该类别y与其它类别之间的关联概率的定义为:
p=softmax(-[fd(k,k1),…fd(k,kN)]T)=[p1,…pN] (4)
其中,k为当前类别对应的目标表征权重向量,pn∈[0,1]且∑npn=1。
接下来,在分类网络中额外引入一个KL散度损失,用来衡量分类概率q1与各类别之间的关联概率p之间的差异lKL(p||q1),即第二损失函数:
Figure BDA0002398786850000141
因而,目标训练损失函数变成了:
lTotal=lCE(q1,y)+lKL(p||q1) (6)
通过梯度反传对lTotal进行优化,学习f1和fc的参数。在这里,可根据实际情况,选择对f1和fc进行微调,或是从头重新学习(train from scratch)。具体来说,如果学习到的各类别之间的关联概率p与原本的one-hot标签y差别不大(例如,当n=y时,pn大于或约等于50%),使用小的学习率微调即可。
在一个实施例中,可通过下列公式(7)来衡量分类概率q1与各类别之间的关联概率p之间的差异lSCE(q1,p):
lSCE(q1,p)=-λ∑npnlogqn (7)
则目标训练损失函数为:
lTotal=lCE(q1,y)+lSCE(q1,p) (8)
在一个实施例中,该根据各类别的目标表征权重向量确定各类别之间的关联概率,包括:确定各类别的目标表征权重向量相互之间的目标距离;根据目标距离确定各类别之间的关联概率。
其中,关联概率表示一个类别与其它类别之间的关联程度。
具体地,终端获取各类别对应的目标表征权重向量。从多个类别的目标表征权重向量中选择一个,并计算选择的该类别的目标表征权重向量和其它类别的目标表征权重向量之间的距离,得到该类别和其它类别之间的目标距离。该目标距离表示该类别的特征与其它类别的特征之间的相似程度,该类别和其它类别之间的目标距离越短,表示该类别与其它类别越相似。接着,按照相同的处理方式,终端可计算每个类别的目标表征权重向量和其它类别的目标表征权重向量之间的的距离,从而得到每个类别和其它类别之间的目标距离。接着,终端将各个目标距离经过归一化处理,得到各类别之间的关联概率。
本实施例中,确定各类别的目标表征权重向量相互之间的目标距离,基于该目标距离可表示出各个类别的特征之间的相似程度,从而根据各个类别的特征之间的相似程度计算各类别之间的关联概率。把各类别之间的关联关系运用到图像分类中,提高了图像分类模型的分类性能。
在一个实施例中,该根据目标距离确定各类别之间的关联概率,包括:将各类别的目标表征权重向量相互之间的目标距离进行归一化处理,得到各类别之间的关联概率。
具体地,终端将各类别的目标表征权重向量相互之间的目标距离进行归一化处理,即可得到各类别之间的关联概率。通过计算各个类别对应的目标表征权重向量相互之间的距离,能够确定各个类别的特征之间的相似程度,经过归一化处理可得到各类别之间的关联概率。通过各类别之间的关联概率可直观反映出各类别之间的关联性。
在一个实施例中,如图6所示,该获取各类别的目标表征权重向量,包括:
步骤602,将训练图像输入图像分类模型的特征嵌入网络,得到训练图像对应的表征向量。
其中,该训练图像对应的表征向量为未训练的特征嵌入网络对训练图像的特征向量进行处理后得到的向量。
具体地,本实施例中的图像分类模型中包含经过训练的分类网络和未训练的特征嵌入网络。终端对图像分类模型中的分类网络进行训练后,将训练图像输入经过训练的分类网络中,得到该训练图像对应的第一特征向量。接着,终端将第一特征向量输入为训练的特征嵌入网络,获取特征嵌入网络的初始权重值。基于特征嵌入网络的初始权重值对该第一特征向量进行进一步特征提取,得到该训练图像对应的表征向量。
步骤604,获取各类别的初始表征权重向量,确定训练图像对应的表征向量和各类别的初始表征权重向量之间的初始距离。
其中,各类别的初始表征权重向量是指用于表示每个类别对应关键信息的初步权重,表征了各个类别之间的初始的关联关系。初始距离为表征向量和每个类别的初始表征权重向量之间的距离。
具体地,终端预先设置了各个类别对应的初始表征权重向量,表示了各个类别之间的关联关系。接着,终端可计算该训练图像对应的表征向量和每个类别对应的初始表征权重向量之间的初始距离。
在本实施例中,终端可根据距离度量函数计算训练图像对应的表征向量和每个初始表征权重向量之间的距离,得到各个初始距离。
步骤606,根据初始距离确定训练图像对应各类别的第二概率。
其中,第二概率是指未训练的特征嵌入网络输出的该训练图像属于各个类别的概率。
具体地,终端将表征向量和各个类别对应的初始表征权重向量之间的初始距离进行归一化处理,即可得到该训练图像对应的第二概率。通过计算表征向量和各个类别对应的初始表征权重向量之间的距离,能够确定训练图像的特征与各个类别的特征之间的相近程度,即相似度,从而得到该训练图像属于各个类别的第二概率。
步骤608,根据训练图像对应的标签和第二概率构建第三损失函数。
具体地,终端获取训练图像对应的标签,构建该训练图像属于每个类别的第二概率和预先确定的该训练图像对应的类别之间的交叉熵损失函数,即第三损失函数。
步骤610,通过第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时得到各类别对应的目标表征权重向量。
具体地,终端基于该构建好的损失函数对该特征嵌入网络进行训练,并调整特征嵌入网络的参数反复训练,直到满足训练停止条件时停止训练,得到训练好的特征嵌入网络,从而得到特征嵌入网络对应的目标权重以及各类别对应的目标表征权重向量。
在本实施例中,通过第三损失函数训练该特征嵌入网络,并基于第三损失函数计算出每次训练的损失值。当特征嵌入网络输出的损失值小于预设损失阈值时,满足训练停止条件,得到训练好的特征嵌入网络,从而得到特征嵌入网络对应的目标权重以及各类别对应的目标表征权重向量。
在本实施例中,通过将该训练图像输入图像分类模型的特征嵌入网络,得到该训练图像对应的表征向量,获取各类别对应的初始表征权重向量,确定该训练图像对应的表征向量和各类别对应的初始表征权重向量之间的初始距离,能够确定训练图像的特征与各个类别的特征之间的相似程度,从而得到该训练图像属于各个类别的第二概率。根据该训练图像对应的标签和该第二概率构建第三损失函数,通过第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时得到各类别对应的目标表征权重向量,从而使得图像分类模型在训练过程中学习到各类别之间的关联程度,从而能够对类别之间的关联关系不明确的特征信息进行学习,以基于各类别之间的关联程度对图像进行准确地识别分类,提高图像分类模型的分类性能。
如图7所示,为一个实施例中对特征嵌入网络进行训练的架构图。在训练了分类网络之后,固定特征提取层的权重θ1不变,开始训练特征嵌入网络。如图7所示,对于每一个训练图像x,先使用经过训练的特征提取层f1取得训练图像x的特征向量f。接下来,将特征向量f输入特征嵌入网络f2,得到训练图像x相应的表征向量
Figure BDA0002398786850000171
e=f2(f)。词典θ3中保存了对应于每个类别的初始表征权重向量kn。使用距离度量函数fd计算e与每个kn之间的距离:
dn=fd(e,kn)
Figure BDA0002398786850000172
令d=[d1,d2,…,dN]T,则根据距离度量可以得到x的对应各类别的第二概率
Figure BDA0002398786850000173
其中,
q2=softmax(-d) (10)
计算q2与one-hot标签之间的交叉熵损失,即第三损失函数:
lCE(q2,y)=-∑nynlogqn,其中,n=1,2,…N (11)
与训练分类网络时类似,通过优化q2与one-hot标签y之间的交叉熵lCE(q2,y)来训练特征嵌入网络,即优化参数θ2和θ3。训练结束即可得到每个类别的目标表征权重向量。
在本实施例中,可以通过公式(12)计算fd(e,kn):
Figure BDA0002398786850000174
在一个实施例中,将该训练图像输入图像分类模型的特征嵌入网络,得到该训练图像对应的表征向量,包括:通过该图像分类模型的分类网络将该训练图像转化为对应的第一特征向量;基于该图像分类模型中特征嵌入网络的初始权重对该第一特征向量进行处理,得到该训练图像对应的表征向量。
具体地,本实施例中的图像分类模型中包含经过训练的分类网络和未训练的特征嵌入网络。终端对图像分类模型中的分类网络进行训练后,将分类网络中的特征提取层的初始权重调整为第一权重。接着,终端将训练图像输入进过训练的分类模型的特征提取层,基于特征提取层的第一权重对训练图像进行特征提取,得到训练图像对应的第一特征向量。终端将该第一特征向量输入未训练的特征嵌入网络,并获取特征嵌入网络的初始权重。基于特征嵌入网络的初始权重对该第一特征向量进一步进行特征提取,得到该训练图像对应的表征向量。
在本实施例中,通过该图像分类模型的分类网络将该训练图像转化为对应的第一特征向量,基于该图像分类模型中特征嵌入网络的初始权重对该第一特征向量进行处理,得到该训练图像对应的表征向量,以进一步提取训练图像的特征信息,并保持训练图像局部特征和全局特征的相似性。基于经过训练的分类网络得到训练图像的第一特征向量,并计算出训练图像对应的表征向量,以对特征嵌入网络进行训练。
在一个实施例中,将通过图像分类模型的分类网络将训练图像转化为对应的第一特征向量,包括:获取图像分类模型的分类网络中的特征提取层的第一权重;通过特征提取层的第一权重对训练图像进行特征提取,得到训练图像对应的第一特征向量。
具体地,待训练的图像分类模型中包含分类网络,该分类网络中包含特征提取层和全连接层。该分类网络为经过训练的网络。未训练的分类网络中的特征提取层的初始权重经过训练后调整为第一权重。
终端获取经过训练的分类网络中的特征提取层对应的第一权重。基于第一权重对训练图像进行特征提取,从而将训练图像投影到特征空间,得到训练图像对应的第一特征向量。
本实施例中,通过获取该图像分类模型的经过训练的分类网络中的特征提取层的第一权重,通过特征提取层的第一权重对该训练图像进行特征提取,得到该训练图像对应的第一特征向量,从而将训练图像转换为特征向量,通过特征向量表示训练图像的特征信息,使得能够在初步训练分类网络的基础上对特征嵌入网络进行训练。
在一个实施例中,获取图像分类模型的分类网络中的特征提取层的第一权重,包括:根据训练图像对应的标签和第一概率构建第一损失函数;基于第一损失函数对图像分类模型的分类网络进行训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,特征提取层对应的第一权重为训练好的分类网络中的权重参数。
具体地,待训练的图像分类模型中包含分类网络,该分类网络中包含特征提取层和全连接层。该未训练的分类网络中特征提取层的权重参数为初始权重,全连接层的权重参数为初始权重,经过训练后调整为第一权重。终端将训练图像输入未训练分类网络的特征提取层中,获取特征提取层的初始权重,基于特征提取层的初始权重对训练图像进行特征提取,得到训练图像对应的初始特征向量。接着,终端获取全连接层为初始权重,基于全连接层为初始权重对初始特征向量进行处理,得到训练图像对应各类别的第一概率。接着,终端根据第一概率和该训练图像对应的标签构建第一损失函数,并基于第一损失函数对图像分类模型的分类网络进行训练。根据每次训练的结果调整特征提取层和全连接层的权重参数,并反复训练,直到满足训练停止条件时停止训练,得到特征提取层对应的第一权重和全连接层的第一权重。
本实施例中,根据训练图像对应的标签和第一概率构建第一损失函数,基于第一损失函数对图像分类模型的分类网络进行训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,特征提取层对应的第一权重为训练好的分类网络中的权重参数。对分类网络进行初步训练,基于训练后的分类网络得到训练图像对应的特征向量,在该基础上对特征嵌入网络进行训练,准确得到各类别对应的目标表征权重向量。
在一个实施例中,该基于该目标损失函数对该图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型,包括:
通过该目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数;当满足预设条件时停止训练,得到该分类网络中的特征提取层的目标权重和全连接层的目标权重;该特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数。
其中,预设条件可以是通过目标损失函数训练图像分类模型得到的损失值小于或等于损失阈值。
具体地,终端通过该目标损失函数对该图像分类模型进行训练,并根据每次训练结果对分类网络中的特征提取层的权重参数和全连接层的权重参数进行调整。进一步地,终端通过该目标损失函数对该图像分类模型进行训练计算出损失值,并获取损失阈值,将计算得到的损失值和损失阈值进行对比。当计算得到的损失值大于损失阈值时,调整分类网络中的特征提取层的权重参数和全连接层的权重参数,并基于调整权重参数之后的图像分类模型继续进行训练。直到通过目标损失函数训练图像分类模型得到的损失值小于或等于损失阈值时,停止训练,得到训练好的图像分类模型,并得到该训练好的图像分类模型中分类网络的特征提取层的目标权重和全连接层的目标权重。
本实施例中,通过该目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数,当满足预设条件时停止训练,得到该分类网络中的特征提取层的目标权重和全连接层的目标权重,该特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数,使得图像分类模型在训练过程中学习了各类别之间的关联性,使得训练好的图像分类模型能够基于各类别之间的关联性对图像进行分类,使得分类更准确。
如图8所示,为一个实施例中训练图像分类模型的整体架构图。终端获取训练图像x和训练图像x的one-hot标签对分类网络进行初步训练,训练图像首先经过特征提取层f1投影到特征空间,通过公式(1)得到训练图像对应的特征向量f。经过公式(2)得到训练图像x的分类概率q1
根据q1和训练图像x的one-hot标签之间的交叉熵损失,构建如公式(3)的第一损失函数,基于该第一损失函数对分类网络进行训练,得到分类网络中的特征提取层的第一权重参数θ1
接着,终端固定特征提取层的权重θ1不变,开始训练特征嵌入网络。终端通过类网络中的特征提取层f1的第一权重参数θ1取得训练图像x的特征向量f。将特征向量f输入特征嵌入网络f2,得到训练图像x相应的表征向量e。词典θ3中保存了对应于每个类别的初始表征权重向量kn。使用公式(9)计算e与每个kn之间的距离fd。根据距离fd和公式(10)可以得到训练图像x的对应各类别的第二概率。
接着,根据公式(11)计算q2与one-hot标签之间的交叉熵损失,得到如公式(11)所示的第三损失函数。基于该第三损失函数对特征嵌入网络进行训练,得到每个类别的目标表征权重向量,即得到参数θ3
接着,终端计算各类别的目标表征权重向量进行相互之间的距离,并经过归一化处理,得到各类别之间的关联概率,可通过公式(4)进行计算。
接着,终端可根据公式(5)衡量分类概率q1与各类别之间的关联概率p之间的差异lKL(p||q1),得到如公式(5)第二损失函数。接着,终端根据第一损失函数和第二损失函数可得到如公式(6)所示的目标训练函数lTotal
在完成上述三步训练后,类间关联信息已经被f1和fc学习到并作为权重参数保存下来。可以使用训练好的f1和fc对待分类图片进行类别预测。具体地,对于一张待分类图片,我们使用公式(2)和(3)计算其分类概率q1,并将其预测为对应概率最大的类别:
y′=argmax(qn) (13),
其中,y′∈{1,2,…,N},y′表示待分类图片对应的预测类别。
在一个实施例中,如表一所示,数据集中有100个类,每个类包含600个训练图像。每类各有500个训练图像和100个测试图像。如表1所示,CIFAR-100中的100个类被分成20个超类。每个训练图像都带有一个“精细”标签(它所属的类)和一个“粗糙”标签(它所属的超类)。
表一 数据集中的类别
超类 精细类
水生哺乳动物 海狸,海豚,水獭,海豹,鲸鱼
水族箱鱼,比目鱼,鳐鱼,鲨鱼,鳟鱼
兰花,罂粟,玫瑰,阳光花,郁金香
食物容器 瓶子,碗,罐头,杯子,碟子
水果蔬菜 苹果,蘑菇,橙子,梨,甜椒,
家用电气设备 时钟、电脑键盘、灯、电话、电视机
家具 床,椅子,沙发,桌子,衣柜
昆虫 蜜蜂,甲虫,蝴蝶,毛虫,蟑螂
大型食肉动物 熊,豹,狮子,老虎,狼
大型人造户外用品 桥,城堡,房子,公路,摩天大楼
大面积的自然户外景观 云,森林,山,平原,大海
大型杂食动物和草食动物 骆驼,牛,黑猩猩,大象,袋鼠
中型哺乳动物 狐狸,豪猪,负鼠,浣熊,臭鼬
非昆虫无脊椎动物 螃蟹,龙虾,蜗牛,蜘蛛,虫子
婴儿,男孩,女孩,男人,女人
爬行动物 鳄鱼,恐龙,蜥蜴,蛇,乌龟
小型哺乳动物 仓鼠,老鼠,兔子,鼩鼱,松鼠
枫树,橡树,棕榈树,松树,柳树
车辆1 自行车,公共汽车,摩托车,皮卡,火车
车辆2 割草机,火箭,有轨电车,坦克,拖拉机
经过本方案的图像分类模型的训练方法对上述图像进行分类后,输出的结果如表二:
表二 学习到的部分软标签概率
类别 1 2 3 4
苹果(6.81) 梨(3.95) 甜椒(2.80) 橙子(2.71) 郁金香(1.24)
碗(6.69) 碟子(4.72) 杯子(3.53) 罐头(2.07) 闹钟(1.69)
椅子(6.89) 沙发(3.09) 床(2.80) 桌子(2.18) 蟑螂(1.29)
海豚(6.59) 鲸鱼(5.43) 鲨鱼(4.20) 海豹(2.09) 鳐鱼(1.68)
灯(6.90) 杯子(2.46) 电话(2.05) 瓶子(1.74) 桌子(1.62)
老鼠(6.56) 鼩鼱(4.02) 仓鼠(3.75) 袋貂(2.58) 松鼠(2.42)
平原(6.84) 海(4.01) 云(2.86) 路(1.84) 山脉(1.67)
玫瑰(6.63) 郁金香(5.07) 罂粟(4.34) 兰花(2.53) 甜椒(1.70)
松鼠(6.76) 兔子(2.56) 老鼠(2.49) 仓鼠(2.06) 狐狸(1.73)
火车(6.82) 铁轨(4.21) 公交车(2.18) 桥(1.82) 房子(1.72)
从表二中可看出,输出了每个图像对应各个类别的概率,通过表二能够直观显示出各个类别之间的关系。表二中随机选择其中10类进行展示。同时,针对每个类别,输出图像对应各类别的概率并进行排序,表二中仅展示概率最高的5类。结果如表二所示。以表中第4行海豚为例,海豚在各个类别对应的概率最高的为海豚自己这一类(占6.59%概率),接下来是鲸鱼(5.43%)、鲨鱼(4.2%)、海豹(2.09%)和鳐鱼(1.67%)。可以看出,海豚与鲸鱼、鲨鱼、海豹、鳐鱼之间具备一定的关联性。因此,图像分类模型在训练过程中能够学习各类别之间的关联性,基于各类别间的关联性更准确地识别图像的类别。
在一个实施例中,如图9所示,提供了一种图像分类方法,该方法包括:
步骤902,获取待处理图像,将待处理图像输入训练好的图像分类模型,训练好的图像分类模型为根据训练图像对应的标签、训练图像对应各类别的第一概率和各类别之间的关联概率所构建的目标损失函数进行训练得到的,该训练好的图像分类模型中包含特征提取层和全连接层。
其中,待处理图像为需要进行分类的图像,该待处理图像可为终端本地存储的,也可为其他设备存储的,也可以为从网络上存储的,还可为终端实时拍摄的,不限于此。该待处理图像包括但不限于是可见光图,可见光图是指RGB(Red、Green、Blue)图像。可通过彩色摄像头拍摄任意场景得到彩色图像,即RGB图像。
具体地,终端获取训练图像和该训练图像对应的标签,将训练图像输入图像分类模型的分类网络,得到训练图像对应各类别的第一概率。获取各类别的目标表征权重向量,根据各类别的目标表征权重向量确定各类别之间的关联概率。终端根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数,并基于目标损失函数对图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
接着,终端可从本地或其他设备或网络上获取待处理图像,或者通过摄像头拍摄一场景得到待处理图像。
步骤904,基于特征提取层的目标权重对待处理图像进行特征提取,得到待处理图像对应的目标特征向量。
具体地,在该图像分类模型的训练过程中,特征提取层的权重参数从初始权重被调整为目标权重,得到训练好的图像分类模型中特征提取层的目标权重。并且,全连接层的权重参数从初始权重被调整为目标权重,得到训练好的图像分类模型中全连接层的目标权重。接着,终端可将待处理图像输入训练好的图像分类模型的特征提取层,获取特征提取层的目标权重,并根据特征提取层的目标权重对该待处理图像进行特征提取,得到该待处理图像对应的特征向量。
步骤906,将目标特征向量输入全连接层,通过全连接层的目标权重对该目标特征向量进行全连接处理,得到该待处理图像对应的类别。
具体地,终端将特征提取层输出的该待处理图像对应的特征向量输入全连接层。获取全连接层对应的目标权重,通过全连接层的目标权重将该待处理图像对应的特征向量进行连接,得到该待处理图像对应各类别的概率。终端根据该待处理图像对应各类别的概率确定该待处理图像对应的类别。
本实施例中,该图像分类模型为根据训练图像对应的标签、训练图像对应各类别的第一概率和各类别之间的关联概率所构建的目标损失函数进行训练得到,图像分类模型的特征提取层和全连接层在训练过程中学习了各类别之间的关联性。获取待处理图像,将该待处理图像输入训练好的图像分类模型,基于特征提取层的目标权重对待处理图像进行特征提取,得到待处理图像对应的目标特征向量,将目标特征向量输入全连接层,通过全连接层的目标权重对该目标特征向量进行全连接处理,得到该待处理图像对应的类别,能够基于各类别之间的关联性对待处理图像进行分类,提高分类的准确性。
在一个实施例中,如图10所示,该通过该全连接层的目标权重对该目标特征向量进行全连接处理,得到该待处理图像对应的类别,包括:
步骤1002,通过全连接层的目标权重对目标特征向量进行全连接处理。
具体地,终端获取全连接层对应的目标权重,通过全连接层的目标权重将该待处理图像对应的特征向量进行连接,得到全连接层的输出。
进一步地,终端获取各特征提取层输出的该待处理图像对应的特征向量,通过全连接层对应的目标权重将各特征提取层输出的该待处理图像对应的特征向量进行连接处理,得到全连接层的输出。
步骤1004,对全连接层的输出进行归一化处理,得到该待处理图像对应各类别的预测概率。
步骤1006,基于该预测概率确定该待处理图像对应的类别。
具体地,终端将全连接层的输出进行归一化处理,得到该待处理图像属于每个类别的预测概率。接着,终端可确定该预测概率中的最大值,并确定最大值对应的类别。将该最大值对应的类别作为该待处理图像对应的类别。
本实施例中,该图像分类模型在训练过程中基于各类别之间的关联性调整特征提取层和全连接层的权重。通过训练好的图像分类模型中的全连接层的目标权重对目标特征向量进行全连接处理,对全连接层的输出进行归一化处理,得到该待处理图像对应各类别的预测概率,基于该预测概率确定该待处理图像对应的类别,使得能够基于各类别之间的关联性对待处理图像进行分类,提高分类的准确性。
在一个实施例中,提供了一种图像分类模型的训练方法,包括:
终端获取训练图像和训练图像对应的标签。
接着,终端将训练图像输入图像分类模型的分类网络,得到训练图像对应各类别的第一概率。
接着,终端根据训练图像对应的标签和第一概率构建第一损失函数。
进一步地,终端基于第一损失函数对图像分类模型的分类网络进行训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,特征提取层对应的第一权重为训练好的分类网络中的权重参数。
进一步地,终端通过特征提取层的第一权重对训练图像进行特征提取,得到训练图像对应的第一特征向量。
接着,终端基于图像分类模型中特征嵌入网络的初始权重对第一特征向量进行处理,得到训练图像对应的表征向量。
接着,终端获取各类别的初始表征权重向量,确定训练图像对应的表征向量和各类别的初始表征权重向量之间的初始距离。
进一步地,终端根据初始距离确定训练图像对应各类别的第二概率,根据训练图像对应的标签和第二概率构建第三损失函数。
接着,终端通过第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时得到各类别对应的目标表征权重向量。
接着,终端确定各类别的目标表征权重向量相互之间的目标距离,并将各类别的目标表征权重向量相互之间的目标距离进行归一化处理,得到各类别之间的关联概率。
进一步地,终端根据训练图像对应的标签和第一概率构建第一损失函数,并根据第一概率和各类别之间的关联概率构建第二损失函数。
接着,终端根据第一损失函数和第二损失函数构建目标损失函数。
进一步地,终端通过目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数。
接着,当满足预设条件时停止训练,终端得到分类网络中的特征提取层的目标权重和全连接层的目标权重;特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数。
可选地,终端获取待处理图像,将待处理图像输入训练好的图像分类模型。
接着,终端基于特征提取层的目标权重对待处理图像进行特征提取,得到待处理图像对应的目标特征向量。
接着,终端将目标特征向量输入全连接层,通过全连接层的目标权重对目标特征向量进行全连接处理。
进一步地,终端对全连接层的输出进行归一化处理,得到待处理图像对应各类别的预测概率,并基于预测概率确定待处理图像对应的类别。
在本实施例中,通过通过计算各个类别对应的目标表征权重向量相互之间的距离,确定各个类别的特征之间的相似程度,经过归一化处理可得到各类别之间的关联概率,以直观体现类别之间的关联性。根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数,基于目标损失函数对图像分类模型进行训练,能够使图像分类模型在训练过程中学习到类别之间的关联性,基于类别之间的关联提高图像分类模型的分类性能,提高分类的准确性。
应该理解的是,虽然图2-图10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图11所示,提供了一种图像分类模型的训练装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块1102、第一输入模块1104、确定模块1106、构建模块1108和训练模块1110,其中:
获取模块1102,用于获取训练图像和训练图像对应的标签。
第一输入模块1104,用于将训练图像输入图像分类模型的分类网络,得到训练图像对应各类别的第一概率。
确定模块1106,用于获取各类别的目标表征权重向量,根据各类别的目标表征权重向量确定各类别之间的关联概率。
构建模块1108,用于根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数。
训练模块1110,用于基于目标损失函数对图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
上述图像分类模型的装置,获取训练图像和训练图像对应的标签,将训练图像输入图像分类模型的分类网络,得到训练图像对应各类别的第一概率,获取各类别的目标表征权重向量,根据各类别的目标表征权重向量确定各类别之间的关联概率,使得能够基于各类别之间的表征权重向量计算出各类别相互之间的关联性。根据训练图像对应的标签、第一概率和各类别之间的关联概率构建目标损失函数,基于目标损失函数对图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型,能够使图像分类模型在训练过程中学习到类别之间的关联性,基于类别之间的关联程度提高图像分类模型的分类性能。
在一个实施例中,构建模块1108还用于:根据训练图像对应的标签和第一概率构建第一损失函数;根据第一概率和各类别之间的关联概率构建第二损失函数;根据第一损失函数和第二损失函数构建目标损失函数。
本实施例中,根据训练图像对应的标签和该第一概率构建第一损失函数,根据第一概率和各类别之间的关联概率构建第二损失函数,根据该第一损失函数和该第二损失函数构建目标损失函数,能够根据该目标损失函数训练图像分类模型,使得图像分类模型在训练过程中学习到类别间的关联性,以提高图像分类模型的分类性能。
在一个实施例中,确定模块1106还用于:确定各类别的目标表征权重向量相互之间的目标距离;根据目标距离确定各类别之间的关联概率。
本实施例中,确定各类别的目标表征权重向量相互之间的目标距离,基于该目标距离可表示出各个类别的特征之间的相似程度,从而根据各个类别的特征之间的相似程度计算各类别之间的关联概率。把各类别之间的关联关系运用到图像分类中,提高了图像分类模型的分类性能。
在一个实施例中,确定模块1106还用于:将各类别的目标表征权重向量相互之间的目标距离进行归一化处理,得到各类别之间的关联概率。通过各类别之间的关联概率可直观反映出各类别之间的关联性。
在一个实施例中,该确定模块1106还用于:将训练图像输入图像分类模型的特征嵌入网络,得到训练图像对应的表征向量;获取各类别的初始表征权重向量,确定训练图像对应的表征向量和各类别的初始表征权重向量之间的初始距离;根据初始距离确定训练图像对应各类别的第二概率;根据训练图像对应的标签和第二概率构建第三损失函数;通过第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时得到各类别对应的目标表征权重向量。
在本实施例中,通过将该训练图像输入图像分类模型的特征嵌入网络,得到该训练图像对应的表征向量,获取各类别对应的初始表征权重向量,确定该训练图像对应的表征向量和各类别对应的初始表征权重向量之间的初始距离,能够确定训练图像的特征与各个类别的特征之间的相似程度,从而得到该训练图像属于各个类别的第二概率。根据该训练图像对应的标签和该第二概率构建第三损失函数,通过第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时得到各类别对应的目标表征权重向量,从而使得图像分类模型在训练过程中学习到各类别之间的关联程度,从而能够对类别之间的关联关系不明确的特征信息进行学习,以基于各类别之间的关联程度对图像进行准确地识别分类,提高图像分类模型的分类性能。
在一个实施例中,该确定模块1106还用于:通过图像分类模型的分类网络将训练图像转化为对应的第一特征向量;基于图像分类模型中特征嵌入网络的初始权重对第一特征向量进行处理,得到训练图像对应的表征向量。
在本实施例中,通过该图像分类模型的分类网络将该训练图像转化为对应的第一特征向量,基于该图像分类模型中特征嵌入网络的初始权重对该第一特征向量进行处理,得到该训练图像对应的表征向量,以进一步提取训练图像的特征信息,并保持训练图像局部特征和全局特征的相似性。基于经过训练的分类网络得到训练图像的第一特征向量,并计算出训练图像对应的表征向量,以对特征嵌入网络进行训练。
在一个实施例中,该确定模块1106还用于:获取图像分类模型的分类网络中的特征提取层的第一权重;通过特征提取层的第一权重对训练图像进行特征提取,得到训练图像对应的第一特征向量。
本实施例中,通过获取该图像分类模型的经过训练的分类网络中的特征提取层的第一权重,通过特征提取层的第一权重对该训练图像进行特征提取,得到该训练图像对应的第一特征向量,从而将训练图像转换为特征向量,通过特征向量表示训练图像的特征信息,使得能够在初步训练分类网络的基础上对特征嵌入网络进行训练。
在一个实施例中,该确定模块1106还用于:根据训练图像对应的标签和第一概率构建第一损失函数;基于第一损失函数对图像分类模型的分类网络进行训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,特征提取层对应的第一权重为训练好的分类网络中的权重参数。
本实施例中,根据训练图像对应的标签和第一概率构建第一损失函数,基于第一损失函数对图像分类模型的分类网络进行训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,特征提取层对应的第一权重为训练好的分类网络中的权重参数。对分类网络进行初步训练,基于训练后的分类网络得到训练图像对应的特征向量,在该基础上对特征嵌入网络进行训练,准确得到各类别对应的目标表征权重向量。
在一个实施例中,该训练模块1110还用于:通过目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数;当满足预设条件时停止训练,得到分类网络中的特征提取层的目标权重和全连接层的目标权重;特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数。
本实施例中,通过该目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数,当满足预设条件时停止训练,得到该分类网络中的特征提取层的目标权重和全连接层的目标权重,该特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数,使得图像分类模型在训练过程中学习了各类别之间的关联性,使得训练好的图像分类模型能够基于各类别之间的关联性对图像进行分类,使得分类更准确。
在一个实施例中,如图12所示,提供了一种图像分类装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:第二输入模块1202、提取模块1204和识别模块1206,其中:
第二输入模块1202,用于获取待处理图像,将待处理图像输入训练好的图像分类模型,训练好的图像分类模型为根据训练图像对应的标签、训练图像对应各类别的第一概率和各类别之间的关联概率所构建的目标损失函数进行训练得到的,训练好的图像分类模型中包含特征提取层和全连接层。
提取模块1204,用于基于特征提取层的目标权重对待处理图像进行特征提取,得到待处理图像对应的目标特征向量。
识别模块1206,用于将目标特征向量输入全连接层,通过全连接层的目标权重对目标特征向量进行全连接处理,得到待处理图像对应的类别。
本实施例中,该图像分类模型为根据训练图像对应的标签、训练图像对应各类别的第一概率和各类别之间的关联概率所构建的目标损失函数进行训练得到,图像分类模型的特征提取层和全连接层在训练过程中学习了各类别之间的关联性。获取待处理图像,将该待处理图像输入训练好的图像分类模型,基于特征提取层的目标权重对待处理图像进行特征提取,得到待处理图像对应的目标特征向量,将目标特征向量输入全连接层,通过全连接层的目标权重对该目标特征向量进行全连接处理,得到该待处理图像对应的类别,能够基于各类别之间的关联性对待处理图像进行分类,提高分类的准确性。
在一个实施例中,该识别模块1206还用于:通过全连接层的目标权重对目标特征向量进行全连接处理;对全连接层的输出进行归一化处理,得到待处理图像对应各类别的预测概率;基于预测概率确定待处理图像对应的类别。
本实施例中,该图像分类模型在训练过程中基于各类别之间的关联性调整特征提取层和全连接层的权重。通过训练好的图像分类模型中的全连接层的目标权重对目标特征向量进行全连接处理,对全连接层的输出进行归一化处理,得到该待处理图像对应各类别的预测概率,基于该预测概率确定该待处理图像对应的类别,使得能够基于各类别之间的关联性对待处理图像进行分类,提高分类的准确性。
关于图像分类模型的训练装置的具体限定可以参见上文中对于图像分类模型的训练方法的限定,在此不再赘述。上述图像分类模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像分类模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像分类模型的训练方法,其特征在于,所述方法包括:
获取训练图像和所述训练图像对应的标签;
将所述训练图像输入图像分类模型的分类网络,得到所述训练图像对应各类别的第一概率;
获取各类别的目标表征权重向量,根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率;
根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数;
基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数,包括:
根据所述训练图像对应的标签和所述第一概率构建第一损失函数;
根据所述第一概率和所述各类别之间的关联概率构建第二损失函数;
根据所述第一损失函数和所述第二损失函数构建目标损失函数。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率,包括:
确定所述各类别的目标表征权重向量相互之间的目标距离;
根据所述目标距离确定所述各类别之间的关联概率。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标距离确定所述各类别之间的关联概率,包括:
将所述各类别的目标表征权重向量相互之间的目标距离进行归一化处理,得到所述各类别之间的关联概率。
5.根据权利要求1所述的方法,其特征在于,所述获取各类别的目标表征权重向量,包括:
将所述训练图像输入图像分类模型的特征嵌入网络,得到所述训练图像对应的表征向量;
获取各类别的初始表征权重向量,确定所述训练图像对应的表征向量和所述各类别的初始表征权重向量之间的初始距离;
根据所述初始距离确定所述训练图像对应各类别的第二概率;
根据所述训练图像对应的标签和所述第二概率构建第三损失函数;
通过所述第三损失函数训练图像分类模型的特征嵌入网络,满足训练停止条件时得到各类别对应的目标表征权重向量。
6.根据权利要求5所述的方法,其特征在于,所述将所述训练图像输入图像分类模型的特征嵌入网络,得到所述训练图像对应的表征向量,包括:
通过所述图像分类模型的分类网络将所述训练图像转化为对应的第一特征向量;
基于所述图像分类模型中特征嵌入网络的初始权重对所述第一特征向量进行处理,得到所述训练图像对应的表征向量。
7.根据权利要求6所述的方法,其特征在于,所述通过所述图像分类模型的分类网络将所述训练图像转化为对应的第一特征向量,包括:
获取所述图像分类模型的分类网络中的特征提取层的第一权重;
通过所述特征提取层的第一权重对所述训练图像进行特征提取,得到所述训练图像对应的第一特征向量。
8.根据权利要求7所述的方法,其特征在于,所述获取所述图像分类模型的分类网络中的特征提取层的第一权重,包括:
根据所述训练图像对应的标签和所述第一概率构建第一损失函数;
基于所述第一损失函数对所述图像分类模型的分类网络进行训练,满足训练停止条件时停止训练,得到特征提取层对应的第一权重,所述特征提取层对应的第一权重为训练好的分类网络中的权重参数。
9.根据权利要求1所述的方法,其特征在于,所述基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型,包括:
通过所述目标损失函数训练图像分类模型,并调整分类网络中的特征提取层的权重参数和全连接层的权重参数;
当满足预设条件时停止训练,得到所述分类网络中的特征提取层的目标权重和全连接层的目标权重;所述特征提取层的目标权重和全连接层的目标权重为训练好的图像分类模型中的参数。
10.一种图像分类方法,其特征在于,所述方法包括:
获取待处理图像,将所述待处理图像输入训练好的图像分类模型,所述训练好的图像分类模型为根据训练图像对应的标签、所述训练图像对应各类别的第一概率和所述各类别之间的关联概率所构建的目标损失函数进行训练得到的,所述训练好的图像分类模型中包含特征提取层和全连接层;
基于所述特征提取层的目标权重对所述待处理图像进行特征提取,得到所述待处理图像对应的目标特征向量;
将所述目标特征向量输入所述全连接层,通过所述全连接层的目标权重对所述目标特征向量进行全连接处理,得到所述待处理图像对应的类别。
11.根据权利要求10所述的方法,其特征在于,所述通过所述全连接层的目标权重对所述目标特征向量进行全连接处理,得到所述待处理图像对应的类别,包括:
通过所述全连接层的目标权重对所述目标特征向量进行全连接处理;
对所述全连接层的输出进行归一化处理,得到所述待处理图像对应各类别的预测概率;
基于所述预测概率确定所述待处理图像对应的类别。
12.一种图像分类模型的训练装置,其特征在于,所述装置包括:
获取模块,用于获取训练图像和所述训练图像对应的标签;
第一输入模块,用于将所述训练图像输入图像分类模型的分类网络,得到所述训练图像对应各类别的第一概率;
确定模块,用于获取各类别的目标表征权重向量,根据所述各类别的目标表征权重向量确定所述各类别之间的关联概率;
构建模块,用于根据所述训练图像对应的标签、所述第一概率和所述各类别之间的关联概率构建目标损失函数;
训练模块,用于基于所述目标损失函数对所述图像分类模型进行训练,当满足预设条件时停止训练,得到训练好的图像分类模型。
13.一种图像分类装置,其特征在于,所述装置包括:
第二输入模块,用于获取待处理图像,将所述待处理图像输入训练好的图像分类模型,所述训练好的图像分类模型为根据训练图像对应的标签、所述训练图像对应各类别的第一概率和所述各类别之间的关联概率所构建的目标损失函数进行训练得到的,所述训练好的图像分类模型中包含特征提取层和全连接层;
提取模块,用于基于所述特征提取层的目标权重对所述待处理图像进行特征提取,得到所述待处理图像对应的目标特征向量;
识别模块,用于将所述目标特征向量输入所述全连接层,通过所述全连接层的目标权重对所述目标特征向量进行全连接处理,得到所述待处理图像对应的类别。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010140096.7A 2020-03-03 2020-03-03 图像分类模型的训练方法、装置、计算机设备和存储介质 Active CN111353542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010140096.7A CN111353542B (zh) 2020-03-03 2020-03-03 图像分类模型的训练方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010140096.7A CN111353542B (zh) 2020-03-03 2020-03-03 图像分类模型的训练方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111353542A true CN111353542A (zh) 2020-06-30
CN111353542B CN111353542B (zh) 2023-09-19

Family

ID=71195875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010140096.7A Active CN111353542B (zh) 2020-03-03 2020-03-03 图像分类模型的训练方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111353542B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738365A (zh) * 2020-08-06 2020-10-02 腾讯科技(深圳)有限公司 图像分类模型训练方法、装置、计算机设备及存储介质
CN111984812A (zh) * 2020-08-05 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN112241761A (zh) * 2020-10-15 2021-01-19 北京字跳网络技术有限公司 模型训练方法、装置和电子设备
CN112668637A (zh) * 2020-12-25 2021-04-16 苏州科达科技股份有限公司 网络模型的训练方法、识别方法、装置及电子设备
CN112733849A (zh) * 2021-01-11 2021-04-30 浙江智慧视频安防创新中心有限公司 模型训练方法、图像旋转角度矫正方法及装置
CN113052005A (zh) * 2021-02-08 2021-06-29 湖南工业大学 一种用于家居服务的垃圾分拣方法和垃圾分拣装置
CN113255824A (zh) * 2021-06-15 2021-08-13 京东数科海益信息科技有限公司 训练分类模型和数据分类的方法和装置
CN113254687A (zh) * 2021-06-28 2021-08-13 腾讯科技(深圳)有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN113469249A (zh) * 2021-06-30 2021-10-01 阿波罗智联(北京)科技有限公司 图像分类模型训练方法、分类方法、路侧设备和云控平台
CN113780249A (zh) * 2021-11-10 2021-12-10 腾讯科技(深圳)有限公司 表情识别模型的处理方法、装置、设备、介质和程序产品
CN114064973A (zh) * 2022-01-11 2022-02-18 人民网科技(北京)有限公司 视频新闻分类模型建立方法、分类方法、装置及设备
CN114155388A (zh) * 2022-02-10 2022-03-08 深圳思谋信息科技有限公司 一种图像识别方法、装置、计算机设备和存储介质
CN114208769A (zh) * 2021-12-16 2022-03-22 湖南省河洲生态甲鱼养殖有限公司 一种甲鱼体质训练装置及训练方法
WO2022077646A1 (zh) * 2020-10-13 2022-04-21 上海依图网络科技有限公司 一种用于图像处理的学生模型的训练方法及装置
WO2022188080A1 (zh) * 2021-03-08 2022-09-15 深圳先进技术研究院 图像分类网络模型训练方法、图像分类方法及相关设备
CN111984812B (zh) * 2020-08-05 2024-05-03 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225552A1 (en) * 2015-04-02 2018-08-09 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for convolutional neural network model
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN110009623A (zh) * 2019-04-10 2019-07-12 腾讯科技(深圳)有限公司 一种图像识别模型训练及图像识别方法、装置及系统
CN110163301A (zh) * 2019-05-31 2019-08-23 北京金山云网络技术有限公司 一种图像的分类方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225552A1 (en) * 2015-04-02 2018-08-09 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for convolutional neural network model
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN110009623A (zh) * 2019-04-10 2019-07-12 腾讯科技(深圳)有限公司 一种图像识别模型训练及图像识别方法、装置及系统
CN110163301A (zh) * 2019-05-31 2019-08-23 北京金山云网络技术有限公司 一种图像的分类方法及装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984812B (zh) * 2020-08-05 2024-05-03 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN111984812A (zh) * 2020-08-05 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN111738365A (zh) * 2020-08-06 2020-10-02 腾讯科技(深圳)有限公司 图像分类模型训练方法、装置、计算机设备及存储介质
WO2022077646A1 (zh) * 2020-10-13 2022-04-21 上海依图网络科技有限公司 一种用于图像处理的学生模型的训练方法及装置
CN112241761A (zh) * 2020-10-15 2021-01-19 北京字跳网络技术有限公司 模型训练方法、装置和电子设备
CN112241761B (zh) * 2020-10-15 2024-03-26 北京字跳网络技术有限公司 模型训练方法、装置和电子设备
CN112668637A (zh) * 2020-12-25 2021-04-16 苏州科达科技股份有限公司 网络模型的训练方法、识别方法、装置及电子设备
CN112668637B (zh) * 2020-12-25 2023-05-23 苏州科达科技股份有限公司 网络模型的训练方法、识别方法、装置及电子设备
CN112733849A (zh) * 2021-01-11 2021-04-30 浙江智慧视频安防创新中心有限公司 模型训练方法、图像旋转角度矫正方法及装置
CN113052005A (zh) * 2021-02-08 2021-06-29 湖南工业大学 一种用于家居服务的垃圾分拣方法和垃圾分拣装置
CN113052005B (zh) * 2021-02-08 2024-02-02 湖南工业大学 一种用于家居服务的垃圾分拣方法和垃圾分拣装置
WO2022188080A1 (zh) * 2021-03-08 2022-09-15 深圳先进技术研究院 图像分类网络模型训练方法、图像分类方法及相关设备
CN113255824B (zh) * 2021-06-15 2023-12-08 京东科技信息技术有限公司 训练分类模型和数据分类的方法和装置
CN113255824A (zh) * 2021-06-15 2021-08-13 京东数科海益信息科技有限公司 训练分类模型和数据分类的方法和装置
CN113254687B (zh) * 2021-06-28 2021-09-17 腾讯科技(深圳)有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN113254687A (zh) * 2021-06-28 2021-08-13 腾讯科技(深圳)有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN113469249B (zh) * 2021-06-30 2024-04-09 阿波罗智联(北京)科技有限公司 图像分类模型训练方法、分类方法、路侧设备和云控平台
CN113469249A (zh) * 2021-06-30 2021-10-01 阿波罗智联(北京)科技有限公司 图像分类模型训练方法、分类方法、路侧设备和云控平台
CN113780249A (zh) * 2021-11-10 2021-12-10 腾讯科技(深圳)有限公司 表情识别模型的处理方法、装置、设备、介质和程序产品
CN114208769B (zh) * 2021-12-16 2022-11-29 湖南省河洲生态甲鱼养殖有限公司 一种甲鱼体质训练装置及训练方法
CN114208769A (zh) * 2021-12-16 2022-03-22 湖南省河洲生态甲鱼养殖有限公司 一种甲鱼体质训练装置及训练方法
CN114064973B (zh) * 2022-01-11 2022-05-03 人民网科技(北京)有限公司 视频新闻分类模型建立方法、分类方法、装置及设备
CN114064973A (zh) * 2022-01-11 2022-02-18 人民网科技(北京)有限公司 视频新闻分类模型建立方法、分类方法、装置及设备
CN114155388B (zh) * 2022-02-10 2022-05-13 深圳思谋信息科技有限公司 一种图像识别方法、装置、计算机设备和存储介质
CN114155388A (zh) * 2022-02-10 2022-03-08 深圳思谋信息科技有限公司 一种图像识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111353542B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111353542B (zh) 图像分类模型的训练方法、装置、计算机设备和存储介质
Chen et al. Detection of rice plant diseases based on deep transfer learning
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
CN112069929B (zh) 一种无监督行人重识别方法、装置、电子设备及存储介质
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
US20170323178A1 (en) Learning highlights using event detection
US20210089824A1 (en) Image processing method, image processing device, and storage medium
US20170124400A1 (en) Automatic video summarization
CN109376603A (zh) 一种视频识别方法、装置、计算机设备及存储介质
CN108038859B (zh) 基于pso和综合评价准则的pcnn图分割方法及装置
CN108062421A (zh) 一种大规模图片多尺度语义检索方法
Hu et al. Classification of PolSAR images based on adaptive nonlocal stacked sparse autoencoder
AU2014218444A1 (en) Dynamic feature selection for joint probabilistic recognition
CN112487199B (zh) 一种基于用户购买行为的用户特征预测方法
CN104318271B (zh) 一种基于适应性编码和几何平滑汇合的图像分类方法
CN106780501A (zh) 基于改进人工蜂群算法的图像分割方法
WO2019205729A1 (zh) 用于识别物体的方法、设备和计算机可读存储介质
CN111382605A (zh) 视频内容审核方法、装置、存储介质和计算机设备
WO2021056765A1 (zh) 图像处理方法及相关装置
Cheng et al. DRNet: Towards fast, accurate and practical dish recognition
CN112541010B (zh) 一种基于逻辑回归的用户性别预测方法
Hoang Multiple classifier-based spatiotemporal features for living activity prediction
CN115457332A (zh) 基于图卷积神经网络和类激活映射的图像多标签分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024355

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant