CN107563406B - 一种自主学习的图像精细分类方法 - Google Patents
一种自主学习的图像精细分类方法 Download PDFInfo
- Publication number
- CN107563406B CN107563406B CN201710598711.7A CN201710598711A CN107563406B CN 107563406 B CN107563406 B CN 107563406B CN 201710598711 A CN201710598711 A CN 201710598711A CN 107563406 B CN107563406 B CN 107563406B
- Authority
- CN
- China
- Prior art keywords
- network
- data set
- classification
- data
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 11
- 230000009193 crawling Effects 0.000 claims abstract description 9
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种自主学习的图像精细分类方法，包括以下步骤：1)人工采集对应需求标签的图像数据集，保存至强标签数据集，使用ImageNet数据集初始化卷积神经网络CNN参数；2)使用强标签数据集微调修正CNN；3)判断分类网络的优化趋势；4)判断网络分类精度是否达到了要求；5)利用网络爬虫从互联网爬取、人工采集与标签相关的图像数据和噪声数据保存至弱标签数据集；6)使用弱标签数据集调整滤波器的阈值；7)使用调整后的滤波器筛选数据保存至强标签数据集和噪声数据集；8)保存网络权重和滤波器参数。本发明训练得到的分类器的分类精度和鲁棒性都较高。
Description
技术领域
本发明涉及卷积神经网络(CNN)，网络爬虫技术及图像分类技术，特别针对噪声数据的分类器训练技术，尤其是一种自主学习的图像精细分类方法。
背景技术
随着机器学习技术的应用越来越广泛尤其是深度学习技术的发展，依赖于深度学习的机器学习方法的设计变得越来越简单，而训练数据集的获取成为了限制机器学习最大的门槛。传统的机器学习所用的数据集都为人工采集，即便是用互联网爬取的数据，也需要人为的进行标注和筛选。
传统的机器学习方法难以有效应对随机选择图像的子类分类，而卷积神经网络则可以在大数据的基础上较好的解决此问题。卷积神经网络(Convolutional NeuralNetworks，CNN)是深度学习算法的一种，近年来成为图像识别领域重要的处理分析工具。卷积神经网络算法的优点在于训练模型时不需要使用任何人工标注的特征，算法可以自动探索输入变量所隐含的特征，同时网络的权值共享特性，降低了模型的复杂度，减少了权值的数量。这些优点使原始图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。此外，卷积神经网络的池化层对平移、倾斜具有不变性，提高了算法处理图像的鲁棒性。
图像识别是深度学习的一大受益者，如果有足够的准确标注的图像数据集，就能用深度学习的方法得到分类效果较好的图像分类器。而互联网上存在大量的弱标签的图像数据，已经存在可行的方法爬取这些图像数据。如果通过网络爬虫的手段爬取公开的图像数据，再通过计算机程序自动筛选标签正确的图像，就可以用较小的成本获取较大量所需的图像数据集，从而通过卷积神经网络训练出较高正确率的图像子类分类器。目前常见的网络图像数据源主要包含两种类型：
1、主流图像搜索引擎，如Baidu、Google、Bing、Yahoo等；
2、图像分享网站，如Picasa、Flickr、Instagram等。
当使用网络爬虫技术获取图像数据时，使用图像搜索引擎爬取的图像质量随显示的顺序大体呈现下降的趋势，使用图像分享网站爬取的图像质量尽管与图像搜索引擎相比与显示的顺序相关性较小，但随爬取的数量增加，质量也会有所下降。如果直接使用爬取的数据训练网络，就会出现网络分类器正确率先增后减的情况，最终得到的分类器难以满足需求。
发明内容
为了克服现有技术中传统的网络爬虫得到的图像数据存在数据噪声过大造成的训练分类器正确率低的情况，本发明提出了一种针对噪声数据集的自主学习的图像精细分类方法，本发明具体用到的深度学习方法为卷积神经网络(CNN)，卷积神经网络算法直接使用图像作为输入，避免了传统识别算法中复杂的特征提取和数据重建过程，训练得到的分类器的分类精度和鲁棒性都较高。
本发明为解决上述技术问题所采用的技术方案如下：
一种自主学习的图像精细分类方法，包括以下步骤：
S1：人工采集对应需求标签的图像数据集，保存至强标签数据集，使用ImageNet数据集初始化卷积神经网络CNN参数；
S2：使用强标签数据集微调修正CNN；
S3：判断分类网络的优化趋势；
S4：判断网络分类精度是否达到了要求；
S5：利用网络爬虫从互联网爬取、人工采集与标签相关的图像数据和噪声数据保存至弱标签数据集；
S6：使用弱标签数据集调整滤波器的阈值。
S7：使用调整后的滤波器筛选数据保存至强标签数据集和噪声数据集。
S8：保存网络权重和滤波器参数。
进一步，所述步骤S1包含以下步骤：
S1.1：根据需求列出分类名单作为标签列表，按照标签列表从互联网抓取或使用相机人工采集相关的图片，每一类保留设定数量张准确的图片。
S1.2：使用ImageNet数据集训练卷积神经网络，主要为训练网络的卷积层参数。
优选的，所述步骤S2的处理过程为：使用强标签数据微调训练卷积神经网络，主要为调整网络的分类参数。
再进一步，所述步骤S3包括以下步骤：
S3.1：若迭代不足三次，则进入步骤S4；
S3.2：比较最近三次迭代中，末次是否是最优分类精度，是则认为网络还在优化阶段，否则认为网络参数已经停止收敛；
S3.2：若网络仍在优化阶段，则进入步骤S4；
S3.3：若网络参数停止收敛，则进入步骤S8。
所述步骤S4包括以下步骤：
S4.1：判断网络精度是否达到了预设的精度要求；
S4.2：若是，则进入步骤S8；
S4.3：若否，则进入步骤S5。
所述步骤S5包含以下步骤：
S5.1：使用爬虫技术从互联网爬取与标签相关的图像数据，包含但不局限于Baidu、Bing、Google、Yahoo、Instagram或Flickr；
S5.2：采用数码设备人工采集与标签对应的图像数据。
所述步骤S6包含以下步骤：
S6.1：统计分类网络对弱标签数据的分类结果，计算类间相似度；
S6.2：根据类间相似度，计算使分类误差最小的分类阈值.
所述步骤S7包含以下步骤：
S7.1：使用当前的分类网络和调节后的滤波器筛选弱标签数据集；
S7.2：分类可信的数据归至强标签数据集，不可信的数据归至噪声数据集；
S7.3：随机挑选每类50张图片至弱标签数据集。
所述步骤S8包含以下步骤：
S8.1：将最新的网络参数初始化最终分类网络；
S8.2：停止学习。
本发明所述的方法具有如下的有益效果：
(1)本发明所述的方法通过卷积神经网络对噪声数据进行判断，适时终止学习，提高了机器学习的效率，降低了在数据筛选上消耗的时间。
(2)本发明所述的方法利用爬虫等方法获取到的数据训练卷积神经网络，能够不断增强卷积神经网络的鲁棒性，使最终的分类器有一个较优的性能。
(3)本发明所述的方法将卷积神经网络与图像分类结合，实现双向互惠，形成一个不断优化的可持续系统，减少了整个项目投入的人力成本。
附图说明
图1为一种自主学习的图像精细分类方法的流程图；
图2为完整的分类器学习流程图；
图3为分类器分类损失值随迭代次数减小的变化曲线。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种自主学习的图像精细分类方法，包括以下步骤：
步骤1：随机获取初始图像数据和分类网络
根据需求列出分类名单作为标签列表，按照标签列表从互联网抓取或使用相机人工采集相关的图片，每一类保留设定数量张准确的图片，使用ImageNet数据集训练卷积神经网络，主要为训练网络的卷积层参数；
步骤2：强标签数据微调分类网络
使用强标签数据微调训练卷积神经网络，主要为调整网络的分类参数；
步骤3：判断分类网络的优化趋势
若迭代不足三次，则进入步骤4；比较最近三次迭代中，末次是否是最优分类精度，是则认为网络还在优化阶段，否则认为网络参数已经停止收敛；若网络仍在优化阶段，则进入步骤4；若网络参数停止收敛，则进入步骤8；
步骤4：判断网络分类精度是否达到了要求
判断网络精度是否达到了预设的精度要求，是则进入步骤8，若否，则进入步骤5；
步骤5：扩充弱标签数据集
使用爬虫技术从互联网爬取与标签相关的图像数据，包含但不局限于Baidu、Bing、Google、Yahoo、Instagram或Flickr；
采用相机、手机等数码设备人工采集与标签对应的图像数据；
步骤6：计算滤波器的参数
统计分类网络对弱标签数据的分类结果，计算类间相似度；
根据类间相似度，计算使分类误差最小的分类阈值；
步骤7：筛选数据
使用当前的分类网络和调节后的滤波器筛选弱标签数据集；
分类可信的数据归至强标签数据集，不可信的数据归至噪声数据集；
随机挑选每类50张图片至弱标签数据集；
步骤8：结束学习过程
将最新的网络参数初始化最终分类网络；停止学习。
本实施例对互联网公开的图像数据进行数据爬取。以本实例研究对宠物图像精细分类器训练为例，介绍本发明，所述图像精细分类方法包括以下步骤：
步骤1：随机获取初始图像数据和分类网络：
参照图2，使用Oxford Pets数据集，每类使用100张图像作为初始训练数据保存至强标签数据集。使用ImageNet数据集训练AlexNet网络参数；
步骤2：强标签数据微调分类网络：
使用强标签数据集微调训练AlexNet网络，得到一个能够粗略识别宠物种类的图像分类器，对输入的图像输出该图像属于每一种类的概率，按概率从大到小排列子类名单；
步骤3：判断分类网络的优化趋势：
若迭代不足三次，则进入步骤4；比较最近三次迭代中，末次是否是最优分类精度，是则认为网络还在优化阶段，否则认为网络参数已经停止收敛；若网络仍在优化阶段，则进入步骤4；若网络参数停止收敛，则进入步骤8；
步骤4：判断网络分类精度是否达到了要求：
判断网络精度是否达到了预设的精度要求,若是则进入步骤8,若否，则进入步骤5；
步骤5：扩充弱标签数据集：
使用爬虫技术从Baidu、Bing、Google、Yahoo、Sogou爬取相关图像；
步骤6：计算滤波器的参数：
统计分类网络对弱标签数据的分类结果，计算类间相似度；根据类间相似度，计算使分类误差最小的分类阈值；
步骤7：筛选数据：
使用当前的分类网络和调节后的滤波器筛选弱标签数据集，分类可信的数据归至强标签数据集，不可信的数据归至噪声数据集，从噪声数据集随机挑选每类50张图片至弱标签数据集；
步骤8：结束学习过程：
将最新的网络参数初始化最终分类网络并停止学习过程。
迭代过程中网络分类的损失值变化如图3。
如上所述为本发明在宠物图像分类的实施例介绍，本发明通过对图像分类器的迭代更新和网络爬取数据的自动筛选，由初始的少量数据量扩展成大量数据量，明显提高了图像分类器的分类精度，减少了大量人力和财力。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。
Claims (7)
1.一种自主学习的图像精细分类方法，其特征在于：包括以下步骤：
S1：人工采集对应需求标签的图像数据集，保存至强标签数据集，使用ImageNet数据集初始化卷积神经网络CNN参数；
S2：使用强标签数据集微调修正CNN；
S3：判断分类网络的优化趋势，包括以下步骤：
S3.1：若迭代不足三次，则进入步骤S4；
S3.2：比较最近三次迭代中，末次是否是最优分类精度，是则认为网络还在优化阶段，否则认为网络参数已经停止收敛；
S3.2：若网络仍在优化阶段，则进入步骤S4；
S3.3：若网络参数停止收敛，则进入步骤S8；
S4：判断网络分类精度是否达到了要求；
S5：利用网络爬虫从互联网爬取、人工采集与标签相关的图像数据和噪声数据保存至弱标签数据集；
S6：使用弱标签数据集调整滤波器的阈值；
S7：使用调整后的滤波器筛选数据保存至强标签数据集和噪声数据集；
S8：保存网络权重和滤波器参数，包含以下步骤：
S8.1：将最新的网络参数初始化最终分类网络；
S8.2：停止学习。
2.根据权利要求1所述的自主学习的图像精细分类方法，其特征在于：所述步骤S1包含以下步骤：
S1.1：根据需求列出分类名单作为标签列表，按照标签列表从互联网抓取或使用相机人工采集相关的图片，每一类保留设定数量张准确的图片；
S1.2：使用ImageNet数据集训练卷积神经网络，主要为训练网络的卷积层参数。
3.根据权利要求1或2所述的自主学习的图像精细分类方法，其特征在于：所述步骤S2的处理过程为：使用强标签数据微调训练卷积神经网络，主要为调整网络的分类参数。
4.根据权利要求1或2所述的自主学习的图像精细分类方法，其特征在于：所述步骤S4包括以下步骤：
S4.1：判断网络精度是否达到了预设的精度要求；
S4.2：若是，则进入步骤S8；
S4.3：若否，则进入步骤S5。
5.根据权利要求1或2所述的自主学习的图像精细分类方法，其特征在于：所述步骤S5包含以下步骤：
S5.1：使用爬虫技术从互联网爬取与标签相关的图像数据，包含但不局限于Baidu、Bing、Google、Yahoo、Instagram或Flickr；
S5.2：采用数码设备人工采集与标签对应的图像数据。
6.根据权利要求1或2所述的自主学习的图像精细分类方法，其特征在于：所述步骤S6包含以下步骤：
S6.1：统计分类网络对弱标签数据的分类结果，计算类间相似度；
S6.2：根据类间相似度，计算使分类误差最小的分类阈值。
7.根据权利要求1所述的自主学习的图像精细分类方法，其特征在于：所述步骤S7包含以下步骤：
S7.1：使用当前的分类网络和调节后的滤波器筛选弱标签数据集；
S7.2：分类可信的数据归至强标签数据集，不可信的数据归至噪声数据集；
S7.3：随机挑选每类50张图片至弱标签数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710598711.7A CN107563406B (zh) | 2017-07-21 | 2017-07-21 | 一种自主学习的图像精细分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710598711.7A CN107563406B (zh) | 2017-07-21 | 2017-07-21 | 一种自主学习的图像精细分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107563406A CN107563406A (zh) | 2018-01-09 |
| CN107563406B true CN107563406B (zh) | 2021-01-01 |
Family
ID=60973839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710598711.7A Active CN107563406B (zh) | 2017-07-21 | 2017-07-21 | 一种自主学习的图像精细分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563406B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416382B (zh) * | 2018-03-01 | 2022-04-19 | 南开大学 | 一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法 |
| KR102631031B1 (ko) * | 2018-07-27 | 2024-01-29 | 삼성전자주식회사 | 반도체 장치의 불량 검출 방법 |
| CN110211069B (zh) * | 2019-06-03 | 2021-09-03 | 广东工业大学 | 一种图像去噪模型训练方法、系统、设备、计算机介质 |
| CN111626102B (zh) * | 2020-04-13 | 2022-04-26 | 上海交通大学 | 基于视频弱标记的双模态迭代去噪异常检测方法及终端 |
| CN112541544B (zh) * | 2020-12-09 | 2022-05-13 | 福州大学 | 一种基于深度学习的垃圾分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678344A (zh) * | 2016-02-29 | 2016-06-15 | 浙江群力电气有限公司 | 一种电力仪表设备的智能分类方法 |
| CN106529564A (zh) * | 2016-09-26 | 2017-03-22 | 浙江工业大学 | 一种基于卷积神经网络的食物图像自动分类方法 |
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
-
2017
- 2017-07-21 CN CN201710598711.7A patent/CN107563406B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
| CN105678344A (zh) * | 2016-02-29 | 2016-06-15 | 浙江群力电气有限公司 | 一种电力仪表设备的智能分类方法 |
| CN106529564A (zh) * | 2016-09-26 | 2017-03-22 | 浙江工业大学 | 一种基于卷积神经网络的食物图像自动分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107563406A (zh) | 2018-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563406B (zh) | 一种自主学习的图像精细分类方法 | |
| CN111768432B (zh) | 基于孪生深度神经网络的动目标分割方法及系统 | |
| WO2020238293A1 (zh) | 图像分类方法、神经网络的训练方法及装置 | |
| CN109241317B (zh) | 基于深度学习网络中度量损失的行人哈希检索方法 | |
| CN113326731B (zh) | 一种基于动量网络指导的跨域行人重识别方法 | |
| US10621755B1 (en) | Image file compression using dummy data for non-salient portions of images | |
| CN106529564B (zh) | 一种基于卷积神经网络的食物图像自动分类方法 | |
| US20200311467A1 (en) | Generating multi modal image representation for an image | |
| US10459975B1 (en) | Method and system for creating an automatic video summary | |
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| CN110390275B (zh) | 一种基于迁移学习的手势分类方法 | |
| CN110826596A (zh) | 一种基于多尺度可变形卷积的语义分割方法 | |
| CN110728294A (zh) | 一种基于迁移学习的跨领域图像分类模型构建方法和装置 | |
| CN111179216B (zh) | 一种基于图像处理与卷积神经网络的作物病害识别方法 | |
| CN113408605A (zh) | 基于小样本学习的高光谱图像半监督分类方法 | |
| CN111985601A (zh) | 用于增量学习的数据识别方法 | |
| CN110264407B (zh) | 图像超分辨模型训练及重建方法、装置、设备及存储介质 | |
| CN113920472B (zh) | 一种基于注意力机制的无监督目标重识别方法及系统 | |
| CN106503047B (zh) | 一种基于卷积神经网络的图像爬虫优化方法 | |
| Minh et al. | Automated image data preprocessing with deep reinforcement learning | |
| CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN111506760A (zh) | 一种基于困难感知的深度集成度量图像检索方法 | |
| CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
| CN116310466A (zh) | 基于局部无关区域筛选图神经网络的小样本图像分类方法 | |
| CN115457332A (zh) | 基于图卷积神经网络和类激活映射的图像多标签分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |