CN113191385B - 一种基于预训练标注数据不可知的图像分类自动标注方法 - Google Patents
一种基于预训练标注数据不可知的图像分类自动标注方法 Download PDFInfo
- Publication number
- CN113191385B CN113191385B CN202110318366.3A CN202110318366A CN113191385B CN 113191385 B CN113191385 B CN 113191385B CN 202110318366 A CN202110318366 A CN 202110318366A CN 113191385 B CN113191385 B CN 113191385B
- Authority
- CN
- China
- Prior art keywords
- training
- model
- image
- label
- image classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于预训练标注数据不可知的图像分类自动标注方法,包括如下步骤:S1,获取待标注图像,收集预训练图像分类模型;S2,将预训练图像分类模型拆分成特征提取模型与标签预测模型,并初始化,固定标签预测模型参数,不参与后续迁移训练;S3,约束特征提取模型,使自动标注模型的输出具体类别确定,整体分布离散;S4,对特征提取模型输出特征进行聚类;S5,筛选出大小超过阈值的聚类簇,所对应的类别组成为待标注图像标签空间;S6,给所有待标注图像打上伪标签;S7,重新聚类并分配伪标签,对特征提取模型进行有监督训练;S8,迭代S3至S7;S9,使用迁移后的自动标注模型对待标注图像进行推理,得到标注结果。
Description
技术领域
本发明涉及深度学习和计算机视觉领域,尤其是涉及一种基于预训练标注数据不可知的图像分类自动标注方法。
背景技术
随着深度学习和计算机视觉研究的飞速发展,其有关应用已经影响了我们生活的方方面面。作为计算机视觉领域的一个典型任务---图像分类,其方法已被广泛应用在人脸识别、自动驾驶和场景识别等任务中。但训练一个好的图像分类模型依赖于大量的标注数据,利用人工标注图像往往会耗费大量的人力和时间成本。因此,如何进行高效的图像标注受到了越来越多的关注,自动标注可以有效地缓解上述问题。
现有的自动标注方法往往需要将待标注数据与预训练数据混合进行半监督训练。但是这样的方法存在两个问题:1、预训练数据与待标注数据可能存在较大分布差异,模型泛化性能难以保证;2、预训练数据集占用空间很大,如图像分类中的ImageNet数据集大小有140G。存储和传输均不方便,训练时间过长也降低了自动标注的效率。与之相对的,在ImageNet数据集上训练好的ResNet50模型大小仅有90M。因此,在预训练标注数据不可知的情况下,充分利用已训练好的模型参数可以极大提高自动标注效率。
发明内容
为解决现有技术的不足,通过自动化标注的手段,实现降低人工标注成本,提高图像分类任务标注的效率,提升自动标注现实应用价值的目的,本发明采用如下的技术方案:
一种基于预训练标注数据不可知的图像分类自动标注方法,包括如下步骤:
S1,获取待标注图像,离线收集预先训练的图像分类任务相对应的图像分类模型;
S2,将预训练图像分类模型拆分成特征提取模型与标签预测模型,并用预训练图像分类模型初始化拆分迁移后的自动标注模型,进一步固定标签预测模型参数,不参与后续迁移训练;
S3,使用信息最大化损失约束自动标注模型的特征提取模型,使自动标注模型的输出具体类别确定,整体分布离散;
S4,通过加权聚类方法,对自动标注模型的特征提取模型输出特征进行聚类;
S6,计算所有待标注图像与每个共有类别的距离,并据此给所有待标注图像打上伪标签;
S7,使用自监督方法对待标注图像重新聚类,根据重新聚类后的聚类中心分配伪标签,并对特征提取模型进行有监督训练;
S8,迭代进行S3至S7对图像自动标注模型进行训练;
S9,使用迁移后的自动标注模型对待标注图像进行推理,得到标注结果。
进一步地,所述步骤S1中获取待标注图像Xi(i=1,2...N),数量为N;获得预先训练的图像分类模型M,M对应的标签空间C包含K个类别,有k=1,2...K。
进一步地,所述步骤S2包括如下步骤:
S2.1,根据网络层类别,拆分预训练图像分类模型M,其中卷积层为特征提取模型G,全连接层为标签预测模型CLS,拆分迁移后的图像自动标注模型M′,分为特征提取模型G′与标签预测模型CLS′;
S2.2,使用G的参数,对G′的参数进行初始化,并在之后的迁移过程继续训练,使用CLS的参数对CLS′的参数进行初始化,并在之后的迁移过程中固定,不再更新CLS′的参数。
进一步地,所述步骤S3包括如下步骤:
S3.1,将待标注图像Xi输入特征提取模型G′,得到对应高维特征D为高维特征的维度,对于高维特征f′i,d,经过标签预测模型CLS′得到分类特征h′i,k∈RN×K,经过Softmax运算后得到分类概率
f′i,d=G′(Xi)
h′i,k=CLS′(f′i,d)
S3.2,计算信息最大化损失,公式如下:
其中,Lent表示熵最小化损失,Ldiv表示标签多样性损失,熵最小化损失保证待标注图片分类置信度提高,标签多样性损失避免模型将所有待标注图像分为同一类别。
进一步地,所述步骤S4,使用当前的标签预测模型CLS′得到分类概率p′i,k对高维特征f′i,d进行加权聚类,获得K个聚类中心,对于每一个类别k策略如下:
进一步地,所述步骤S5,遍历聚类簇大小数组W=[w1,w2,...,wK],依次取当前w大小作为阈值t,通过阈值t,将预训练标签空间分为共有类别标签空间S和独有类别标签空间O,其中S表示大小大于阈值t的聚类簇,O表示大小小于阈值t的聚类簇;
σ2=pS·pO·(meanS-meanO)2
其中,pS表示共有类别占总类别比例,pO表示独有类别占总类别比例,meanS表示共有类别中所有聚类簇大小的均值,meano表示独有类别中所有聚类簇大小的均值,σ2表示共有类别集合和独有类别集合间方差,t*表示聚类簇大小的最优阈值。
进一步地,所述步骤S7包括如下步骤:
S7.2,通过交叉熵损失,对特征提取模型G′进行有监督训练,损失如下:
进一步地,所述步骤S8中,训练结束条件包括如下一项或多项的结合:
设置最大训练时间T,到达最大训练时间则结束训练;
设置最大训练轮次eps,到达最大训练轮次则结束训练;
设置loss变化阈值,若训练loss变化小于阈值则结束训练。
进一步地,所述步骤S1中的图像分类模型为性能SOTA的图像分类模型,模型选择包括:VGG、ResNet、DenseNet、Inception。
本发明的优势和有益效果在于:
本发明极大地减少了图像分类任务标注中人工的介入,显著节约了标注成本,提升了标注效率;在不获得任何标注信息的情况下,通过对预训练模型的迁移实现自动标注精度的大幅提升,同时降低了大规模数据的存储和传输成本;模型迁移方法在面对较大分布差异时也可以保证模型的泛化性能。
附图说明
图1是本发明的方法流程图。
图2是本发明中图像自动标注模块的结构图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1、2所示,本发明公开了一种基于预训练标注数据不可知的图像分类自动标注方法,包括以下步骤:
步骤一,获取待标注图像Xi(i=1,2...N),数量为N。离线收集预先训练的图像分类任务相对应的性能SOTA的图像分类模型。具体地,可参考以下但不仅限于以下的模型选择:VGG、ResNet、DenseNet、Inception。
作为一种可选的实施方式,获得预先训练的图像分类模型M,M对应的标签空间C包含K个类别,有k=1,2...K。例如,在ImageNet上预训练的ResNet50网络,此时,图像分类模型M为ResNet50,标签空间C中的类别总数K=1000。
步骤二,将预训练模型拆分成特征提取器与分类器,并用预训练模型初始化自动标注模型,进一步固定分类器参数,不参与后续迁移训练,具体的:
S2.1,根据网络层类别拆分预训练图像分类模型M,其中卷积层为特征提取模型G,全连接层为标签预测模型CLS,与之类似的,拆分迁移后的图像自动标注模型M′为特征提取模型G′与标签预测模型CLS′;
S2.2,使用G的参数对G′的参数进行初始化,并在之后的迁移过程继续训练,使用CLS的参数对CLS′的参数进行初始化,并在之后的迁移过程中固定,即不再更新CLS′的参数。
步骤三,使用信息最大化损失约束自动标注模型的特征提取器,使自动标注模型的输出具体类别确定,整体分布离散,具体的:
S3.1,将待标注图像Xi输入特征提取模型G′,得到对应高维特征(N为待标注图像Xi的总个数,D为高维特征的维度),对于特征f′i,d,经过标签预测模型CLS′得到分类特征h′i,k∈RN×K,经过Softmax运算后可以得到分类概率
f′i,d=G′(Xi)
h′i,k=CLS′(f′i,d)
S3.2,计算信息最大化损失,公式如下:
具体的,信息最大化损失包含熵最小化损失和标签多样性损失,熵最小化损失保证待标注图片分类置信度提高,标签多样性损失避免模型将所有待标注图像分为同一类别。
步骤四,通过加权聚类方法对自动标注模型的特征提取器输出特征进行聚类,具体的:
S4.1,使用当前的标签预测模型CLS′得到分类概率p′i,k对高维特征f′i,d进行加权聚类,获得K个聚类中心,对于每一个类别k策略如下:
遍历聚类簇大小数组W=[w1,w2,...,wK]依次取当前w大小作为阈值t,通过阈值t可以将预训练标签空间分为共有类别标签空间S和独有类别标签空间O,其中S表示大小大于阈值t的聚类簇,O表示大小小于阈值t的聚类簇。
σ2=pS·pO·(meanS-meanO)2
其中,pS表示共有类别占总类别比例,pO表示独有类别占总类别比例,meanS表示共有类别中所有聚类簇大小的均值,meano表示独有类别中所有聚类簇大小的均值,σ2表示共有类别集合和独有类别集合间方差,t*表示聚类簇大小的最优阈值。
步骤六,计算所有样例与每个共有类别的距离,并据此给所有待标注样例打上伪标签,具体的:
步骤七,使用自监督方法对待标注样例重新聚类,并根据重新聚类后的聚类中心分配伪标签;
S7.2获取自监督的伪标签后,通过交叉熵损失进行有监督训练,损失如下:
步骤八,迭代进行第三步骤至第八步骤对图像自动标注模型M′进行训练,训练结束条件可参考以下但不仅限于以下的选择:
设置最大训练时间T,到达最大训练时间则结束训练;
设置最大训练轮次eps,到达最大训练轮次则结束训练;
设置loss变化阈值,若训练loss变化小于阈值则结束训练。
步骤九,使用迁移后的自动标注模型M′对待标注样例Xi进行推理得到标注结果。
下表1是基于本发明上述实例所提供的方法得到的自动标注准确率结果,可以看出,本发明在标注数据不可知的情况下,仅通过对模型参数进行迁移,分类性能有很好的提升。
方法 | ResNet50 | 本实例所述方法 |
准确率 | 69.7% | 86.4% |
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (9)
1.一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于包括如下步骤:
S1,获取待标注图像,收集预先训练的图像分类任务相对应的图像分类模型;
S2,将预训练图像分类模型拆分成特征提取模型与标签预测模型,并用预训练图像分类模型初始化拆分迁移后的自动标注模型,进一步固定标签预测模型参数,不参与后续迁移训练;
S3,使用信息最大化损失约束特征提取模型,使自动标注模型的输出具体类别确定,整体分布离散;
S4,通过加权聚类方法,对自动标注模型的特征提取模型输出特征进行聚类;
S5,根据所获得聚类簇大小,使用大津法自适应的获取聚类簇大小的阈值,筛选出大小超过阈值的聚类簇,所对应的类别组成为待标注图像标签空间,所述待标注图像标签空间即共有类别标签空间;
S6,计算待标注图像与每个共有类别的距离,并据此给待标注图像打上伪标签;
S7,使用自监督方法对待标注图像重新聚类,根据重新聚类后的聚类中心分配伪标签,并对特征提取模型进行有监督训练;
S8,迭代进行S3至S7对图像自动标注模型进行训练;
S9,使用迁移后的自动标注模型对待标注图像进行推理,得到标注结果。
2.如权利要求1所述的一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于所述步骤S1中获取待标注图像Xi,i=1,2…N,数量为N;获得预先训练的图像分类模型M,M对应的标签空间C包含K个类别,有k=1,2…K。
3.如权利要求2所述的一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于所述步骤S2包括如下步骤:
S2.1,根据网络层类别,拆分预训练图像分类模型M,其中卷积层为特征提取模型G,全连接层为标签预测模型CLS,拆分迁移后的图像自动标注模型M′,分为特征提取模型G′与标签预测模型CLS′;
S2.2,使用G的参数,对G′的参数进行初始化,并在之后的迁移过程继续训练,使用CLS的参数对CLS′的参数进行初始化,并在之后的迁移过程中固定,不再更新CLS′的参数。
9.如权利要求1所述的一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于所述步骤S8中,训练结束条件包括如下一项或多项的结合:
设置最大训练时间T,到达最大训练时间则结束训练;
设置最大训练轮次eps,到达最大训练轮次则结束训练;
设置loss变化阈值,若训练loss变化小于阈值则结束训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110318366.3A CN113191385B (zh) | 2021-03-25 | 2021-03-25 | 一种基于预训练标注数据不可知的图像分类自动标注方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110318366.3A CN113191385B (zh) | 2021-03-25 | 2021-03-25 | 一种基于预训练标注数据不可知的图像分类自动标注方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113191385A CN113191385A (zh) | 2021-07-30 |
CN113191385B true CN113191385B (zh) | 2022-06-03 |
Family
ID=76973773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110318366.3A Active CN113191385B (zh) | 2021-03-25 | 2021-03-25 | 一种基于预训练标注数据不可知的图像分类自动标注方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191385B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435546B (zh) * | 2021-08-26 | 2021-12-24 | 山东力聚机器人科技股份有限公司 | 基于区分置信度水平的可迁移图像识别方法及系统 |
CN113807425B (zh) * | 2021-09-11 | 2023-11-10 | 中南大学 | 基于自适应正则深度聚类的组织病理图像分类方法 |
CN113836300A (zh) * | 2021-09-24 | 2021-12-24 | 中国电信股份有限公司 | 日志分析方法、系统、设备及存储介质 |
CN114186615B (zh) * | 2021-11-22 | 2022-07-08 | 浙江华是科技股份有限公司 | 船舶检测半监督在线训练方法、装置及计算机存储介质 |
CN113989610B (zh) * | 2021-12-27 | 2022-04-05 | 广州思德医疗科技有限公司 | 一种图像智能标注方法、装置及系统 |
CN115080748B (zh) * | 2022-08-16 | 2022-11-11 | 之江实验室 | 一种基于带噪标签学习的弱监督文本分类方法和装置 |
CN116168258B (zh) * | 2023-04-25 | 2023-07-11 | 之江实验室 | 一种目标物分类方法、装置、设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909820A (zh) * | 2019-12-02 | 2020-03-24 | 齐鲁工业大学 | 基于自监督学习的图像分类方法及系统 |
CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200286614A1 (en) * | 2017-09-08 | 2020-09-10 | The General Hospital Corporation | A system and method for automated labeling and annotating unstructured medical datasets |
-
2021
- 2021-03-25 CN CN202110318366.3A patent/CN113191385B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909820A (zh) * | 2019-12-02 | 2020-03-24 | 齐鲁工业大学 | 基于自监督学习的图像分类方法及系统 |
CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
Non-Patent Citations (5)
Title |
---|
Source-Constraint Adversarial Domain Adaptation;Haowen Zhong et al.;《ICIP 2019》;20191231;第2486-2490页 * |
Transfer Learning Based on Joint Feature Matching and Adversarial Networks;ZHONG Haowen et al.;《J. Shanghai Jiao Tong Univ. (Sci.)》;20191231;第24卷(第6期);第699-705页 * |
Unsupervised learning of visual features by contrasting cluster assignments;Mathilde Caron et al.;《34th Conference on Neural Information Processing Systems (NeurIPS 2020)》;20201231;第1-13页 * |
基于迁移学习与深度卷积特征的图像标注方法研究;宋光慧;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20170815;第I138-83页 * |
自动图像标注技术综述;马艳春;《计算机研究与发展》;20201130;第57卷(第11期);第2348-2374页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113191385A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113191385B (zh) | 一种基于预训练标注数据不可知的图像分类自动标注方法 | |
CN108132968B (zh) | 网络文本与图像中关联语义基元的弱监督学习方法 | |
CN104599275B (zh) | 基于概率图模型的非参数化的rgb-d场景理解方法 | |
CN110555060B (zh) | 基于成对样本匹配的迁移学习方法 | |
CN111368874A (zh) | 一种基于单分类技术的图像类别增量学习方法 | |
CN110909820A (zh) | 基于自监督学习的图像分类方法及系统 | |
CN110110100A (zh) | 基于协同矩阵分解的离散监督跨媒体哈希检索方法 | |
CN110647907B (zh) | 利用多层分类和字典学习的多标签图像分类算法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN112668627A (zh) | 一种基于对比学习的大规模图像在线聚类系统及方法 | |
CN110866896A (zh) | 基于k-means与水平集超像素分割的图像显著性目标检测方法 | |
CN112308211B (zh) | 一种基于元学习的领域增量方法 | |
CN113076437B (zh) | 一种基于标签重分配的小样本图像分类方法及系统 | |
CN114299362A (zh) | 一种基于k-means聚类的小样本图像分类方法 | |
CN109857892B (zh) | 基于类标传递的半监督跨模态哈希检索方法 | |
CN113724195B (zh) | 基于免疫荧光图像的蛋白质的定量分析模型和建立方法 | |
CN114399649A (zh) | 一种基于学习图的快速多视图半监督学习方法及系统 | |
CN114373093A (zh) | 基于直推式半监督深度学习的细粒度图像分类方法 | |
CN111753995A (zh) | 一种基于梯度提升树的局部可解释方法 | |
CN111027636A (zh) | 基于多标签学习的无监督特征选择方法及系统 | |
CN116229061A (zh) | 一种基于图像生成的语义分割方法和系统 | |
CN114882287A (zh) | 基于语义关系图的图像分类方法 | |
CN111259176B (zh) | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 | |
CN109344279B (zh) | 基于哈希检索的手写英文单词智能识别方法 | |
CN112766354A (zh) | 一种基于知识图谱的小样本图片识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |