CN114898186A - 细粒度图像识别模型训练、图像识别方法及装置 - Google Patents
细粒度图像识别模型训练、图像识别方法及装置 Download PDFInfo
- Publication number
- CN114898186A CN114898186A CN202210812717.0A CN202210812717A CN114898186A CN 114898186 A CN114898186 A CN 114898186A CN 202210812717 A CN202210812717 A CN 202210812717A CN 114898186 A CN114898186 A CN 114898186A
- Authority
- CN
- China
- Prior art keywords
- fine
- grained image
- image
- grained
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012216 screening Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000737 periodic effect Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像识别技术领域，本发明提供一种细粒度图像识别模型训练、图像识别方法及装置，所述训练方法包括：在每次对下一识别模型进行训练前，基于上一无标签细粒度图像的识别结果，以及当前无标签细粒度图像的识别结果，对当前无标签细粒度图像进行筛选，从而过滤当前无标签细粒度图像中的类外数据图像，得到下一无标签细粒度图像，进而在基于有标签细粒度图像、有标签细粒度图像的标签以及下一无标签细粒度图像对下一识别模型进行训练时，能够避免类外数据图像的干扰，提高每次训练后下一识别模型的识别精度，使得细粒度识别图像具有较高的图像识别精度，本发明不需要人工标注大量的有标签细粒度图像，人力成本较低且模型训练效率较高。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种细粒度图像识别模型训练、图像识别方法及装置。
背景技术
细粒度图像识别旨在识别出输入图片中目标的精细类别，比如不同品牌的汽车、不同型号的客机、某种动物的子类别、甚至行人的身份ID。相比于传统的图像识别，不同细粒度类别之间的图像存在更小的差异，而这些差异往往需要专家知识才能发现，因此细粒度图像识别的人工标注成本非常高昂。
目前，在细粒度图像识别任务中，多基于有监督学习的模型进行识别，但在训练有监督学习模型时，需要大量的人力和时间对细粒度样本数据进行标记。相比于普通图像数据标记，细粒度图像标记需要更加专业的知识、进行更多的判断与分析，难度较高且效率较低。
此外，也有采用半监督学习模型进行细粒度图像识别，但在半监督学习模型训练过程中会存在无标签类外数据，进而导致训练完成的半监督学习模型进行识别时准确度较低。
发明内容
本发明提供一种细粒度图像识别模型训练、图像识别方法及装置，用以解决现有技术中基于有监督模型进行细粒度图像识别效率较低，以及基于半监督模型进行细粒度图像识别准确度较低的缺陷。
本发明提供一种细粒度图像识别模型训练方法，包括：
获取步骤：将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；
迭代步骤：基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；
筛选步骤：基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；
训练步骤：基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；
循环步骤：将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取步骤、所述迭代步骤、所述筛选步骤和所述训练步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
根据本发明提供的一种细粒度图像识别模型训练方法，所述基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像，包括：
基于所述上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，确定预测值变化幅度；所述预测值变化幅度用于表征所述上一无标签细粒度图像的识别结果与所述当前无标签细粒度图像的识别结果之间的差异；
将所述预测值变化幅度小于周期性阈值的当前无标签细粒度图像作为所述下一无标签细粒度图像；所述周期性阈值基于所述当前识别模型的迭代次数确定。
根据本发明提供的一种细粒度图像识别模型训练方法，所述预测值变化幅度基于如下公式确定：
其中，
表示所述预测值变化幅度，
表示所述上一无标签细粒度图像的识别
结果，
表示所述当前无标签细粒度图像的识别结果，
表示所述当前识别模型输出的
类别数。
根据本发明提供的一种细粒度图像识别模型训练方法，所述将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，之前还包括：
获取初始有标签细粒度图像和初始无标签细粒度图像；
对所述初始有标签细粒度图像和所述初始无标签细粒度图像进行数据增强，得到有标签细粒度图像和无标签细粒度图像。
根据本发明提供的一种细粒度图像识别模型训练方法，首个识别模型基于样本图像以及样本图像标签训练得到。
本发明还提供一种图像识别方法，包括：
确定待识别图像；
将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于如上所述的细粒度图像识别模型训练方法训练得到。
本发明还提供一种细粒度图像识别模型训练装置，包括：
获取单元，用于将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；
迭代单元，用于基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；
筛选单元，用于基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；
训练单元，用于基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；
循环单元，用于将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取单元、所述迭代单元、所述筛选单元和所述训练单元中的步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
本发明还提供一种图像识别装置，包括：
确定单元，用于确定待识别图像；
识别单元，用于将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于如上所述的细粒度图像识别模型训练方法训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述细粒度图像识别模型训练方法，和/或，所述处理器执行所述程序时实现如上所述图像识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述细粒度图像识别模型训练方法，和/或，该计算机程序被处理器执行时实现如上所述图像识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述细粒度图像识别模型训练方法，和/或，所述计算机程序被处理器执行时实现如上所述图像识别方法。
本发明提供的细粒度图像识别模型训练、图像识别方法及装置，在每次对下一识别模型进行训练前，基于上一无标签细粒度图像的识别结果，以及当前无标签细粒度图像的识别结果，对当前无标签细粒度图像进行筛选，从而过滤当前无标签细粒度图像中的类外数据图像，得到下一无标签细粒度图像，进而在基于有标签细粒度图像、有标签细粒度图像的标签以及下一无标签细粒度图像对下一识别模型进行训练时，能够避免类外数据图像的干扰，进而提高每次训练后下一识别模型的识别精度，最终使得得到的细粒度识别图像具有较高的图像识别精度，此外本发明不需要人工标注大量的有标签细粒度图像，不仅节约了人力成本，而且提高了模型的训练效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的细粒度图像识别模型训练方法的流程示意图之一；
图2是本发明提供的细粒度图像识别模型训练方法的流程示意图之二；
图3是本发明提供的图像识别方法的流程示意图；
图4是本发明提供的细粒度图像识别模型训练装置的结构示意图；
图5是本发明提供的图像识别装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在细粒度图像识别任务中，多基于有监督学习的模型进行识别，但在训练有监督学习模型时，需要大量的人力和时间对细粒度样本数据进行标记。相比于普通图像数据标记，细粒度图像标记需要更加专业的知识、进行更多的判断与分析，难度较高且效率较低。
此外，也有采用基于有标签数据和无标签数据训练得到的半监督学习模型进行细粒度图像识别，但无标签数据可能包括无标签类外数据与无标签类内数据（无标签类外数据与无标签类内数据的类别不同），由于存在无标签类外数据，会导致训练完成的半监督学习模型进行识别时准确度较低。
对此，本发明提供一种细粒度图像识别模型训练方法。图1是本发明提供的细粒度图像识别模型训练方法的流程之一，如图1所示，该方法包括如下步骤：
步骤110、获取步骤：将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到当前识别模型输出的当前无标签细粒度图像的识别结果，以及有标签细粒度图像的识别结果。
此处，有标签细粒度图像是指带有标注的细粒度图像，当前无标签细粒度图像是指没有标注的细粒度图像。其中，当前无标签细粒度图像中可能包括类外数据图像和类内数据图像，类外数据图像指外形差异较大的数据，如汽车图像和动物图像外形差异比较大，两者属于类外数据图像；类内数据图像指外形差异较小，在细节上存在差异的图像，如不同品牌的汽车属于类内数据图像。
当前识别模型可以是初始模型，也可以是对初始模型经过t次迭代训练后的模型。若当前识别模型为初始模型，则当前无标签细粒度图像可以为初始采集的无标签细粒度图像，也可以为对初始采集的无标签细粒度图像进行数据增强后的图像；若当前识别模型为对初始模型经过t次迭代训练后的模型，则当前无标签细粒度图像是根据第t-2次和t-1次的训练后的模型对无标签细粒度图像进行筛选后的图像。
需要说明的是，若按照传统方法中采用包含有类外数据图像和类内数据图像的当前无标签细粒度图像和有标签细粒度图像进行训练半监督学习模型，则由于类外数据图像的干扰，会使得训练得到的半监督学习模型在进行细粒度图像识别时准确度大幅下降。
对此，本发明实施例将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，由当前识别模型进行图像识别，得到当前无标签细粒度图像的识别结果，以及有标签细粒度图像的识别结果。
步骤120、迭代步骤：基于当前无标签细粒度图像的识别结果、有标签细粒度图像的识别结果以及有标签细粒度图像的标签，对当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型。
具体地，在得到当前无标签细粒度图像的识别结果，以及有标签细粒度图像的识别结果后，基于有标签细粒度图像的识别结果以及有标签细粒度图像的标签，能够确定有监督损失，基于当前无标签细粒度图像的识别结果，能够确定无监督损失，例如可以以最小化类内数据图像（即同类别无标签细粒度图像）的识别结果之间的差异，以及最大化类外数据图像（即不同类别无标签细粒度图像）的识别结果之间的差异为目标，进行无监督训练，确定无监督损失，进而基于有监督损失和无监督损失对当前识别模型进行参数迭代后，得到下一识别模型。简而言之，若当前识别模型为经t次迭代训练后的模型，则下一识别模型为经t+1次迭代训练后的模型。
步骤130、筛选步骤：基于上一无标签细粒度图像的识别结果，以及当前无标签细粒度图像的识别结果，对当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果。
具体地，若当前识别模型为经t次迭代训练后的模型，则上一识别模型为经t-1次迭代训练后的模型。当前无标签细粒度图像是对上一无标签粒度图像进行筛选后得到的图像。
若上一无标签细粒度图像的识别结果与当前无标签细粒度图像的识别结果差异较小，则表明上一无标签细粒度图像与当前无标签细粒度图像为类内数据图像的概率较大，即可以将上一无标签细粒度图像作为当前无标签细粒度图像，进而对当前识别模型进行参数迭代。若上一无标签细粒度图像的识别结果与当前无标签细粒度图像的识别结果差异较大，则表明上一无标签细粒度图像与当前无标签细粒度图像为类外数据图像的概率较大，即可以将上一无标签细粒度图像剔除，以对当前无标签细粒度图像中的类外数据图像进行过滤。
步骤140、训练步骤：基于有标签细粒度图像、有标签细粒度图像的标签以及下一无标签细粒度图像，对下一识别模型进行训练。
步骤150、循环步骤：将训练得到的下一识别模型作为当前识别模型，依次循环执行步骤110至步骤140，直至下一识别模型达到预设收敛条件后，以下一识别模型作为细粒度图像识别模型。
具体地，由于下一无标签细粒度图像是对当前无标签细粒度图像进行筛选后的图像，即下一无标签细粒度图像相较于当前无标签细粒度图像过滤了部分类外数据图像，从而基于有标签细粒度图像、有标签细粒度图像的标签以及下一无标签细粒度图像对下一识别模型进行训练后，提高了训练得到模型的识别精度。
在对下一识别模型进行训练后，将训练得到的下一识别模型作为当前识别模型，依次循环执行步骤110、步骤120、步骤130和步骤140，即按照上述步骤循环对无标签细粒度图像进行筛选，以过滤无标签细粒度图像中的类外标签数据，不断提高每次迭代训练后得到的下一识别模型的识别精度。在下一识别模型达到预设收敛条件后，表明下一识别模型具有较高的识别精度，此时将下一识别模型作为细粒度图像识别模型。其中，预设条件可以为损失值小于阈值，也可以为迭代次数达到预设次数，本发明实施例对此不作具体限定。可选地，本发明实施例每次对模型进行迭代训练时，可以使用动量为0.9的随机梯度下降优化方法和余弦学习率衰减方法进行优化，模型可以采用MixMatch模型框架。
需要说明的是，若当前识别模型为初始模型（即未经过迭代训练的模型），则在完成步骤120后直接跳转到步骤110继续进行训练。
本发明实施例提供的细粒度图像识别模型训练方法，在每次对下一识别模型进行训练前，基于上一无标签细粒度图像的识别结果，以及当前无标签细粒度图像的识别结果，对当前无标签细粒度图像进行筛选，从而过滤当前无标签细粒度图像中的类外数据图像，得到下一无标签细粒度图像，进而在基于有标签细粒度图像、有标签细粒度图像的标签以及下一无标签细粒度图像对下一识别模型进行训练时，能够避免类外数据图像的干扰，进而提高每次训练后下一识别模型的识别精度，最终使得得到的细粒度识别图像具有较高的图像识别精度，此外本发明实施例不需要人工标注大量的有标签细粒度图像，不仅节约了人力成本，而且提高了模型的训练效率。
基于上述任一实施例，如图2所示，当前识别模型为第t次迭代后的模型，基于当前识别模型对当前无标签细粒度图像进行识别，得到当前无标签细粒度图像的识别结果，结合上一无标签细粒度图像的识别结果，筛选过滤出当前无标签细粒度图像中的类外数据图像，得到类内数据图像，并将类内数据图像和有标签细粒度图像作为训练集，对当前识别模型进行训练，得到下一识别模型，即第t+1次迭代后的模型。
经过实验验证，本发明实施例训练得到的细粒度图像识别模型在Semi-Aves数据集上的准确度为54.9%，相比传统半监督识别方法提升了3.8%，在Semi-Fungi数据集上的准确度为54.5%，相比传统半监督识别方法提升了2.4%。
基于上述实施例，基于上一无标签细粒度图像的识别结果，以及当前无标签细粒度图像的识别结果，对当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像，包括：
基于上一无标签细粒度图像的识别结果，以及当前无标签细粒度图像的识别结果，确定预测值变化幅度；预测值变化幅度用于表征上一无标签细粒度图像的识别结果与当前无标签细粒度图像的识别结果之间的差异；
将预测值变化幅度小于周期性阈值的当前无标签细粒度图像作为下一无标签细粒度图像；周期性阈值基于当前识别模型的迭代次数确定。
具体地，预测值变化幅度用于表征上一无标签细粒度图像的识别结果与当前无标签细粒度图像的识别结果之间的差异，预测值变化幅度越小，表明差异越小，也即一无标签细粒度图像与当前无标签细粒度图像为类内数据图像的概率越大。预测值变化幅度越大，表明差异越大，也即一无标签细粒度图像与当前无标签细粒度图像为类外数据图像的概率越大。
在预测值变化幅度小于周期性阈值时，表明对应的当前无标签细粒度图像为类内数据图像，此时可以将该当前无标签细粒度图像作为下一无标签细粒度图像，以用于对当前识别模型进行训练，得到下一识别模型。其中，周期性阈值可以是关于当前识别模型的迭代次数t的周期线性函数，也就是周期性阈值是周期性取值的。
其中，当前无标签细粒度图像的识别结果可以基于如下公式确定：
其中，
表示当前识别模型的迭代次数，
表示当前识别模型对当前无标签细粒
度图像的识别结果，
代表当前识别模型，且
，
表示当前细粒度无标签图像
中的所有图像。
基于上述任一实施例，预测值变化幅度基于如下公式确定：
其中，
表示预测值变化幅度，
表示上一无标签细粒度图像的识别结果，
表示当前无标签细粒度图像的识别结果，
表示当前识别模型输出的类别数。
具体地，
用于表征相邻两次迭代中模型（即当前识别模型与上一识别模型）对无
标签细粒度图像识别结果的差异程度。由于当前无标签细粒度图像中的类内数据图像与有
标签细粒度图像的分布存在一定相似性，因此两者分别对应的识别结果的差异程度较小，
而当前无标签细粒度图像中的类外数据图像与有标签细粒度图像的分布存在较大差异，进
而当前无标签细粒度图像中的类外数据图像会对模型造成干扰。
因此，本发明实施例基于预测值变化幅度
，从当前无标签细粒度图像中选择类
内数据图像作为下一次训练的无标签训练集。
可选地，本发明实施例可以根据预测值变化幅度
的大小由大到小对
进行排
序，具体如下公式：
其中，
代表对序列
进行排序，序列
表示所有
，选取
的当前无标签细粒度图像作为下一无标签细粒度图像，以对当前识别模型进行训练，得到
下一识别模型。
表示周期性阈值，是关于迭代次数
的周期线性函数，以达到周期性取
值的目的。
基于上述任一实施例，将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，之前还包括：
获取初始有标签细粒度图像和初始无标签细粒度图像；
对初始有标签细粒度图像和初始无标签细粒度图像进行数据增强，得到有标签细粒度图像和无标签细粒度图像。
具体地，在对当前识别模型进行训练之前，可以获取对应的初始有标签细粒度图像和初始无标签细粒度图像，接着对初始有标签细粒度图像和初始无标签细粒度图像进行数据增强，如随机裁剪算法，以扩充初始有标签细粒度图像和初始无标签细粒度图像，得到有标签细粒度图像和无标签细粒度图像。
基于上述任一实施例，首个当前识别模型基于样本图像以及样本图像标签训练得到。
具体地，首个当前识别模型可以理解为初始模型，其是基于样本图像以及样本图像标签进行有监督训练得到，也就是首个当前识别模型具备一定的图像识别能力。其中，首个当前识别模型可以使用ResNet-50模型作为基础网络结构，还可以使用其它模型作为基础网络结构。样本图像可以从ImageNet数据集上获取。
基于上述任一实施例，本发明还提供一种图像识别方法，如图3所示，该方法包括：
步骤310、确定待识别图像；
步骤320、将待识别图像输入至细粒度图像识别模型，得到细粒度图像识别模型输出的图像识别结果；细粒度图像识别模型基于如上任一实施例所述的细粒度图像识别模型训练方法训练得到。
具体地，在训练细粒度图像识别模型时，在每次对下一识别模型进行训练前，基于上一无标签细粒度图像的识别结果，以及当前无标签细粒度图像的识别结果，对当前无标签细粒度图像进行筛选，从而过滤当前无标签细粒度图像中的类外数据图像，得到下一无标签细粒度图像，进而在基于有标签细粒度图像、有标签细粒度图像的标签以及下一无标签细粒度图像对下一识别模型进行训练时，能够避免类外数据图像的干扰，进而提高每次训练后下一识别模型的识别精度，最终使得得到的细粒度识别图像具有较高的图像识别精度，从而能够获取高精度的图像识别结果。
下面对本发明提供的细粒度图像识别模型训练装置进行描述，下文描述的细粒度图像识别模型训练装置与上文描述的细粒度图像识别模型训练方法可相互对应参照。
基于上述任一实施例，本发明还提供一种细粒度图像识别模型训练装置，如图4所示，该装置包括：
获取单元410，用于将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；
迭代单元420，用于基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；
筛选单元430，用于基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；
训练单元440，用于基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；
循环单元450，用于将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取单元、所述迭代单元、所述筛选单元和所述训练单元中的步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
基于上述任一实施例，所述筛选单元430，包括：
变化幅度确定单元，用于基于所述上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，确定预测值变化幅度；所述预测值变化幅度用于表征所述上一无标签细粒度图像的识别结果与所述当前无标签细粒度图像的识别结果之间的差异；
样本确定单元，用于将所述预测值变化幅度小于周期性阈值的当前无标签细粒度图像作为所述下一无标签细粒度图像；所述周期性阈值基于所述当前识别模型的迭代次数确定。
基于上述任一实施例，所述预测值变化幅度基于如下公式确定：
其中，
表示所述预测值变化幅度，
表示所述上一无标签细粒度图像的识别
结果，
表示所述当前无标签细粒度图像的识别结果，
表示所述当前识别模型输出的类
别数。
基于上述任一实施例，所述装置还包括：
获取单元，用于将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型之前，获取初始有标签细粒度图像和初始无标签细粒度图像；
增强单元，用于对所述初始有标签细粒度图像和所述初始无标签细粒度图像进行数据增强，得到有标签细粒度图像和无标签细粒度图像。
基于上述任一实施例，首个识别模型基于样本图像以及样本图像标签训练得到。
基于上述任一实施例，本发明还提供一种图像识别装置，如图5所示，该装置包括：
确定单元510，用于确定待识别图像；
识别单元520，用于将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于如上任一实施例所述的细粒度图像识别模型训练方法训练得到。
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、存储器(memory)620、通信接口(Communications Interface)630和通信总线640，其中，处理器610，存储器620，通信接口630通过通信总线640完成相互间的通信。处理器610可以调用存储器620中的逻辑指令，以执行细粒度图像识别模型训练方法，该方法包括：获取步骤：将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；迭代步骤：基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；筛选步骤：基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；训练步骤：基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；循环步骤：将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取步骤、所述迭代步骤、所述筛选步骤和所述训练步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
和/或，以执行图像识别方法，该方法包括：确定待识别图像；将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于如上所述的细粒度图像识别模型训练方法训练得到。
此外，上述的存储器620中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的细粒度图像识别模型训练方法，该方法包括：获取步骤：将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；迭代步骤：基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；筛选步骤：基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；训练步骤：基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；循环步骤：将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取步骤、所述迭代步骤、所述筛选步骤和所述训练步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
和/或，以执行图像识别方法，该方法包括：确定待识别图像；将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于如上所述的细粒度图像识别模型训练方法训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的细粒度图像识别模型训练方法，该方法包括：获取步骤：将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；迭代步骤：基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；筛选步骤：基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；训练步骤：基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；循环步骤：将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取步骤、所述迭代步骤、所述筛选步骤和所述训练步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
和/或，以执行图像识别方法，该方法包括：确定待识别图像；将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于如上所述的细粒度图像识别模型训练方法训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种细粒度图像识别模型训练方法，其特征在于，包括：
获取步骤：将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；
迭代步骤：基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；
筛选步骤：基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；
训练步骤：基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；
循环步骤：将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取步骤、所述迭代步骤、所述筛选步骤和所述训练步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
2.根据权利要求1所述的细粒度图像识别模型训练方法，其特征在于，所述基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像，包括：
基于所述上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，确定预测值变化幅度；所述预测值变化幅度用于表征所述上一无标签细粒度图像的识别结果与所述当前无标签细粒度图像的识别结果之间的差异；
将所述预测值变化幅度小于周期性阈值的当前无标签细粒度图像作为所述下一无标签细粒度图像；所述周期性阈值基于所述当前识别模型的迭代次数确定。
3.根据权利要求2所述的细粒度图像识别模型训练方法，其特征在于，所述预测值变化幅度基于如下公式确定：
其中，
表示所述预测值变化幅度，
表示所述上一无标签细粒度图像的识别结果，
表示所述当前无标签细粒度图像的识别结果，
表示所述当前识别模型输出的类别
数。
4.根据权利要求1至3任一项所述的细粒度图像识别模型训练方法，其特征在于，所述将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，之前还包括：
获取初始有标签细粒度图像和初始无标签细粒度图像；
对所述初始有标签细粒度图像和所述初始无标签细粒度图像进行数据增强，得到有标签细粒度图像和无标签细粒度图像。
5.根据权利要求1至3任一项所述的细粒度图像识别模型训练方法，其特征在于，首个识别模型基于样本图像以及样本图像标签训练得到。
6.一种图像识别方法，其特征在于，包括：
确定待识别图像；
将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于权利要求1至5任一项所述的细粒度图像识别模型训练方法训练得到。
7.一种细粒度图像识别模型训练装置，其特征在于，包括：
获取单元，用于将有标签细粒度图像和当前无标签细粒度图像输入至当前识别模型，得到所述当前识别模型输出的所述当前无标签细粒度图像的识别结果，以及所述有标签细粒度图像的识别结果；
迭代单元，用于基于所述当前无标签细粒度图像的识别结果、所述有标签细粒度图像的识别结果以及所述有标签细粒度图像的标签，对所述当前识别模型进行半监督参数迭代，并以参数迭代后的当前识别模型作为下一识别模型；
筛选单元，用于基于上一无标签细粒度图像的识别结果，以及所述当前无标签细粒度图像的识别结果，对所述当前无标签细粒度图像进行筛选，得到下一无标签细粒度图像；所述上一无标签细粒度图像的识别结果是上一识别模型对上一无标签细粒度图像进行识别得到的结果；
训练单元，用于基于所述有标签细粒度图像、所述有标签细粒度图像的标签以及所述下一无标签细粒度图像，对所述下一识别模型进行训练；
循环单元，用于将训练得到的下一识别模型作为所述当前识别模型，依次循环执行所述获取单元、所述迭代单元、所述筛选单元和所述训练单元中的步骤，直至所述下一识别模型达到预设收敛条件后，以所述下一识别模型作为细粒度图像识别模型。
8.一种图像识别装置，其特征在于，包括：
确定单元，用于确定待识别图像；
识别单元，用于将所述待识别图像输入至细粒度图像识别模型，得到所述细粒度图像识别模型输出的图像识别结果；所述细粒度图像识别模型基于权利要求1至5任一项所述的细粒度图像识别模型训练方法训练得到。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述细粒度图像识别模型训练方法，和/或，所述处理器执行所述程序时实现如权利要求6所述图像识别方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述细粒度图像识别模型训练方法，和/或，所述计算机程序被处理器执行时实现如权利要求6所述图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812717.0A CN114898186B (zh) | 2022-07-12 | 2022-07-12 | 细粒度图像识别模型训练、图像识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812717.0A CN114898186B (zh) | 2022-07-12 | 2022-07-12 | 细粒度图像识别模型训练、图像识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898186A true CN114898186A (zh) | 2022-08-12 |
| CN114898186B CN114898186B (zh) | 2022-09-30 |
Family
ID=82729555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210812717.0A Active CN114898186B (zh) | 2022-07-12 | 2022-07-12 | 细粒度图像识别模型训练、图像识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898186B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160307072A1 (en) * | 2015-04-17 | 2016-10-20 | Nec Laboratories America, Inc. | Fine-grained Image Classification by Exploring Bipartite-Graph Labels |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
| CN113610164A (zh) * | 2021-08-10 | 2021-11-05 | 北京邮电大学 | 一种基于注意力平衡的细粒度图像识别方法及其系统 |
| CN113947571A (zh) * | 2021-09-30 | 2022-01-18 | 北京百度网讯科技有限公司 | 车辆损伤检测模型的训练方法及车辆损伤识别方法 |
| CN114170484A (zh) * | 2022-02-11 | 2022-03-11 | 中科视语(北京)科技有限公司 | 图片属性预测方法、装置、电子设备和存储介质 |
| CN114462489A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 文字识别模型的训练方法、文字识别方法和设备、电子设备及介质 |
-
2022
- 2022-07-12 CN CN202210812717.0A patent/CN114898186B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160307072A1 (en) * | 2015-04-17 | 2016-10-20 | Nec Laboratories America, Inc. | Fine-grained Image Classification by Exploring Bipartite-Graph Labels |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
| CN113610164A (zh) * | 2021-08-10 | 2021-11-05 | 北京邮电大学 | 一种基于注意力平衡的细粒度图像识别方法及其系统 |
| CN113947571A (zh) * | 2021-09-30 | 2022-01-18 | 北京百度网讯科技有限公司 | 车辆损伤检测模型的训练方法及车辆损伤识别方法 |
| CN114462489A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 文字识别模型的训练方法、文字识别方法和设备、电子设备及介质 |
| CN114170484A (zh) * | 2022-02-11 | 2022-03-11 | 中科视语(北京)科技有限公司 | 图片属性预测方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114898186B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113688665B (zh) | 一种基于半监督迭代学习的遥感影像目标检测方法及系统 | |
| CN111680753A (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
| CN115690102B (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
| CN108710907A (zh) | 手写体数据分类方法、模型训练方法、装置、设备及介质 | |
| Zhang et al. | A mobile application for cat detection and breed recognition based on deep learning | |
| CN111582358A (zh) | 户型识别模型的训练方法及装置、户型判重的方法及装置 | |
| CN113284122B (zh) | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 | |
| CN115690101A (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
| CN113553975B (zh) | 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质 | |
| CN108805181B (zh) | 一种基于多分类模型的图像分类装置及分类方法 | |
| CN117474080A (zh) | 一种基于多判别器的对抗迁移学习方法和装置 | |
| CN114898186B (zh) | 细粒度图像识别模型训练、图像识别方法及装置 | |
| CN109657710B (zh) | 数据筛选方法、装置、服务器及存储介质 | |
| CN116681961A (zh) | 基于半监督方法和噪声处理的弱监督目标检测方法 | |
| CN113158745B (zh) | 一种基于多特征算子的乱码文档图片识别方法及系统 | |
| CN113408482B (zh) | 一种训练样本的生成方法及生成装置 | |
| CN115937536A (zh) | 基于光刻sem图像的轮廓提取方法、装置、设备及存储介质 | |
| CN111950644B (zh) | 模型的训练样本选择方法、装置及计算机设备 | |
| CN113177602A (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN115880524B (zh) | 基于马氏距离损失特征注意力网络的小样本图像分类方法 | |
| CN111898531A (zh) | 卫星通信信号识别方法、装置及电子设备 | |
| CN117333514B (zh) | 一种单目标视频跟踪方法、装置、存储介质及设备 | |
| CN114022869B (zh) | 一种基于级联网络的车辆重识别方法及装置 | |
| US11763581B1 (en) | Methods and apparatus for end-to-end document image quality assessment using machine learning without having ground truth for characters | |
| CN111160316B (zh) | 一种基于轻量级神经网络的车牌识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |