CN107958263A - 一种半监督的图像分类器训练方法 - Google Patents

Abstract

一种半监督的图像分类器训练方法，包括以下步骤：S1初始化分类器，包括分类器结构初始化、分类器权重初始化等；S2获取图像数据，以网络爬虫为主要方法大量获取包含所需数据的图像数据；S3对数据分类和标记；S4迭代更新分类器；S5判断是否结束程序或继续迭代；本发明对基础的图像分类器有较好的优化效果，训练得到的分类器的分类精度和鲁棒性都较高。

Description

一种半监督的图像分类器训练方法

技术领域

本发明涉及半监督学习和网络爬虫技术，借鉴了课程学习(CurriculumLearning)的思想，以深度卷积神经网络(Convolutional Neural Networks，CNN)为例验证此方法在机器学习上的效果，在OXford Pets和CIFAR-10图像数据集上测试，提出并验证了一种半监督的机器学习方法，其在图像分类器的训练中效果明显。

背景技术

图像精细分类(FGVC)旨在区分入门级别的分类，如狗，鸟，食品，鲜花，汽车和衣服。由于这些分类类别的类内差异较大并且类间差异小，因此近年来受到计算机视觉界的普遍关注。传统上，FGVC总是通过两个基本步骤实现：特征提取和分类。然而，与深度卷积神经网络CNN相比，这种系统不太方便，性能较低。虽然CNN在许多FGVC问题中达到了最好的效果，由于以下两个原因，似乎有较大的潜力被进一步改善：

首先，收集更多相同子类别的图像会大大降低类内差异，从而可能会增加许多机器学习算法的性能；

其次，目前的CNN架构总是包含相当多的参数，需要更大量的训练数据来实现相当好的性能。

随着机器学习技术的应用越来越广泛，尤其是深度学习技术的发展，依赖于深度学习的机器学习方法的设计变得越来越简单，而训练数据集的获取成为了限制机器学习最大的门槛。传统的机器学习所用的数据集都为人工采集，即便是用互联网爬取的数据，也需要人为的进行标注和筛选。

传统的机器学习方法难以有效应对随机选择图像的子类分类，而卷积神经网络则可以在大数据的基础上较好的解决此问题。卷积神经网络(CNN)是深度学习算法的一种，近年来成为图像识别领域重要的处理分析工具。卷积神经网络算法的优点在于训练模型时不需要使用任何人工标注的特征，算法可以自动探索输入变量所隐含的特征，同时网络的权值共享特性，降低了模型的复杂度，减少了权值的数量。这些优点使原始图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。此外，卷积神经网络的池化层对平移、倾斜具有不变性，提高了算法处理图像的鲁棒性。

图像识别是深度学习的一大受益者，如果有足够数量的准确标注的图像数据集，就能用深度学习的方法得到分类效果较好的图像分类器。而互联网上存在大量的图像数据，大部分是无标签的，但是我们可以通过搜索引擎和图像分享网站搜索到一些带有标签但是同时带有大量噪声的图像数据。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。本发明即采用网络爬虫的方法从图像搜索引擎和图像分享网站爬取大量指定的图像，从而搭建一个包含大量噪声数据和标签的图像数据库。

在图像搜索引擎爬取的图像质量随显示的顺序大体呈现下降的趋势，使用图像分享网站爬取的图像质量尽管与图像搜索引擎相比与显示的顺序相关性较小，但随爬取的数量增加，噪声和无关的图像数据数量也很庞大。如果直接使用爬取的数据训练网络，就会出现网络分类器正确率先增后减的情况，最终得到的分类器难以满足需求。

发明内容

为了克服现有机器学习技术中部分方法(如深度学习)对训练数据集的样本数量、样本标签的精度、样本数量的均衡性等要求都较高，而训练效果受训练数据集影响大的不足，本发明提出了一种在包含噪声和错误标签的数据集中自动标记数据并优化分类器的图像分类器训练方法，本发明具体用到当前图像分类效果最好的深度卷积神经网络，直接使用图像作为输入，避免了复杂的特征提取和数据重建过程，训练得到的分类器的分类精度和鲁棒性都较高。同时本发明有效提高了深度卷积神经网络的分类精度。

本发明为解决上述技术问题所采用的技术方案如下：

一种半监督的图像分类器训练方法，包括以下步骤：

S1：初始化分类器，包括分类器结构初始化和分类器权重初始化；

S2：获取图像数据，以网络爬虫为方法大量获取包含所需数据的图像数据；

S3：对数据分类和标记；

S4：迭代更新分类器；

S5：判断是否结束程序或继续迭代：即判断分类器精度是否达到要求，是则至步骤S3，否则结束程序。

进一步，所述步骤S1包含以下步骤：

S1.1：初始化分类器结构，如以深度卷积神经网络为分类器结构。

S1.2：用初始化函数初始化分类器权重，或者使用ImageNet数据集预训练图像分类器。

S1.3：保存分类器参数作为最新的分类器。

所述步骤S2包括以下步骤：

S2.1：用人工采集补充图像数据；

S2.2：用网络爬虫的方法从互联网爬取对应需求的图像数据；

S2.3：将获取的有标签的图像数据保存至有标签图像数据库，将无标签的图像数据保存至无标签图像数据库。

所述步骤S3包括以下步骤：

S3.1：用当前的分类器，分别对无标签图像数据库和有标签图像数据库进行分类和标记；

S3.2：将数据按可信度分别存放至无标签图像数据库和有标签图像数据库。

所述步骤S4包含以下步骤：

S4.1：使用有标签图像数据库的图像数据调整当前分类器的参数；

S4.2：计算分类器是否得到了优化，若是，则保留分类器参数；若否，则到步骤S4.3；

S4.3：判断分类器是否还能优化，若是，则到步骤S5，若否，则不更新当前保存的分类器参数。

本发明所述的方法具有如下的有益效果：

(1)本发明所述的方法通过分类器对噪声数据进行判断，适时终止学习，提高了机器学习的效率，降低了在数据筛选上消耗的时间。

(2)本发明所述的方法利用爬虫等方法获取到的数据训练分类器，能够不断增强图像分类器的鲁棒性，使最终的分类器有一个较优的性能。

(3)本发明所述的方法将机器学习与数据获取结合，实现双向互惠，形成一个不断优化的可持续系统，减少了整个项目投入的人力成本。

附图说明

图1为一种自主学习的图像精细分类方法的流程图；

图2为更新分类器步骤详细流程图；

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种半监督的图像分类器训练方法，包括以下步骤：

S1：初始化分类器结构，如以深度卷积神经网络为分类器结构；用初始化函数初始化分类器权重，也可以使用ImageNet数据集或其它现有的图像数据预训练图像分类器；保存分类器参数作为最新的分类器。到S3。

S2：用人工采集或其它方法补充图像数据；用网络爬虫的方法从互联网爬取对应需求的图像数据；将获取的有标签的图像数据保存至有标签图像数据库，将无标签的图像数据保存至无标签图像数据库。到S3。

S3：用当前的分类器，分别对无标签图像数据库和有标签图像数据库进行分类和标记；将数据按可信度分别存放至无标签图像数据库和有标签图像数据库。

S4：使用有标签图像数据库的图像数据调整当前分类器的参数；计算分类器是否得到了优化，若是，则保留分类器参数；若否，则判断分类器是否还能优化，若是，则到步骤S5，若否，则不更新当前保存的分类器参数。

S5：判断分类器精度是否达到要求，是则至S3，否则结束程序。

本实例对Oxford Pets和CIFAR-10数据集进行分类。以本实例研究对AlexNet网络的训练为例介绍本发明，所述训练方法包括以下步骤：

S1：初始化分类器

实验中采用卷积神经网络AlexNet，在CAFFE平台搭建AlexNet的网络结构，并用ImageNet图像数据集预训练神经网络，保存训练得到的分类模型；

S2：获取图像数据

从图像数据集网站下载Oxford Pets数据集和CIFAR-10数据集，使用网络爬虫技术，从Baidu、Google、Bing、Sogou、Yahoo以关键字爬取和Oxford Pets、CIFAR-10相关的图像数据；将Oxford Pets数据集和CIFAR-10数据集放至可信数据库，将爬取得到的数据放至噪声数据库；

S3：对数据分类和标记

用当前的分类器对所有无标签数据库的图像数据分类，若图像被分的类别与爬取时所带的标签一致，或分类器对其分类结果的置信度高于0.9，则将此图像分为该类，并标记为该类，放至有标签数据库。否则将此图像放归无标签数据库；

S4：迭代更新分类器

用可信数据库的图像数据训练分类器。若训练得到的分类器效果比原先的分类器好(即精度高)，则保留得到的分类器，否则不做改动；

S5：判断是否结束程序或继续迭代

判断分类器是否已经连续无改进或已达到精度要求，若是，则结束程序，否，则回到步骤3。

表1

如上所述为本发明使用深度卷积神经网络为基础分类器，对Oxford Pets、CIFAR-10图像集分类的实施例介绍，本发明通过对图像分类器的迭代更新和网络爬取数据的自动筛选，由初始的多噪声、少标签的图像数据量迭代成大量准备标签的数据集，有效提高了基础图像分类器的分类精度。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (5)

1.一种半监督的图像分类器训练方法，其特征在于：包括以下步骤：

S1：初始化分类器，包括分类器结构初始化和分类器权重初始化；

S2：获取图像数据，以网络爬虫为方法大量获取包含所需数据的图像数据；

S3：对数据分类和标记；

S4：迭代更新分类器；

S5：判断是否结束程序或继续迭代：即判断分类器精度是否达到要求，是则至步骤S3，否则结束程序。

2.根据权利要求1所述的一种半监督的图像分类器训练方法，其特征在于：所述步骤S1包含以下步骤：

S1.1：初始化分类器结构，如采用深度卷积神经网络为分类器结构；

S1.2：用初始化函数初始化分类器权重，或者使用ImageNet数据集预训练图像分类器；

S1.3：保存分类器参数作为最新的分类器。

3.根据权利要求1或2所述的一种半监督的图像分类器训练方法，其特征在于：所述步骤S2包括以下步骤：

S2.1：用人工采集补充图像数据；

S2.2：用网络爬虫的方法从互联网爬取对应需求的图像数据；

S2.3：将获取的有标签的图像数据按标签保存至有标签图像数据库，将无标签的图像数据保存至无标签图像数据库。

4.根据权利要求1或2所述的一种半监督的图像分类器训练方法，其特征在于：所述步骤S3包括以下步骤：

S3.1：用当前的分类器，分别对噪声图像数据库和可信图像数据库进行分类和标记；

S3.2：将数据按可信度分别存放至噪声图像数据库和可信图像数据库。

5.根据权利要求1或2所述的一种半监督的图像分类器训练方法，其特征在于：所述步骤S4包括以下步骤：

S4.1：使用可信图像数据库的图像数据调整当前分类器的参数；

S4.2：计算分类器是否得到了优化，若是，则保留分类器参数；若否，则到步骤S4.3；

S4.3：判断分类器是否还能优化，若是，则到步骤S5，若否，则不更新当前保存的分类器参数。