CN105956631A - 一种面向电子图库的在线渐进式图像分类方法 - Google Patents

Abstract

本发明公开了一种面向电子图库的在线渐进式图像分类方法，包括以下步骤：提取输入图像的特征描述子，并将图像保存到缓冲池；从缓冲池中载入图像，自动对输入图像进行分类；由用户对错误的结果进行修正，基于用户交互内容，在线训练或更新分类器。对输入图像，先在整张图像上计算其视觉特征；然后提取输入图像的局部子图像，在子图像上提取对象语义，构造输入图像的语义特征；最后构造图像特征描述子。从缓冲池中载入图像后，先对图像进行自动分类，若分类器已初始化，则使用分类器进行分类，否则使用K均值聚类算法进行分类。由用户对分类结果进行确认及修改，最后利用用户确认后的已分类图像来构造累积样本，对分类器进行在线训练或更新。

Description

一种面向电子图库的在线渐进式图像分类方法

技术领域

本发明涉及一种数字图像的分类方法，属于图像分类技术领域，具体地说是一种面向电子图库的在线渐进式图像分类方法。

背景技术

随着数码相机、智能手机等便携式照相设备的普及，人们可以随时随地的对事物或场景进行拍照，使得每个人拥有的数字相片的数量急剧增长。随着个人电子图库规模的不断增涨，人们愈发强烈的需要一个高效的图像分类管理系统。如何帮助人们对这些不断增多的图像进行有效的分类管理，以便快速地、准确地找到所需的图像，已成为一个重要的问题。

关于图像分类，当前比较流行的一种做法是使用机器学习算法，利用一批已预先分类标注的图像作为训练数据，离线有监督地训练分类器后，对新输入的图像进行自动分类。这些方法更侧重于建立对图像的特征描述，已有大量的学者对此问题展开了研究。例如，中国专利“图像分类方法及图像分类装置”，专利号：ZL200910135930.7；中国专利“基于视觉词典的图像分类方法”，专利号：ZL201110175101.9；中国专利“一种图像分类方法”，公开号：CN201510168725.6。然而，这些研究只关注于在预定义的分类标准下，如何建立更有效的图像特征表示，以提高对自动图像分类的准确度，并没有考虑实际分类过程中用户的其他常见需求。实际上，由于不同用户的图像集的内容和主题千差万别，不同用户分类图像的关注点和分类标准也会有所差异。例如，有的人的图库以风景为主，他可能想要按拍摄地点对风景进行分类；而有的人的图库以物体为主，他可能会偏向于按物体的种类对图像进行分类。很明显，使用这些在预定义分类标准下离线学习的方法，难以直接解决该问题。

考虑到图像分类中的不同用户之间各异的分类需求与偏好，有学者关注于交互式分类方法：在分类图像的过程中加入用户交互，以指导分类标准的确立；同时辅以主动学习等策略，加速分类器的收敛，以降低用户交互负担。例如，文献1：Ye Z,Liu P,Tang X,etal.May the torcher light our way:A negative-accelerated active learningframe-work for image classification[C]//Image Processing(ICIP),2015IEEEInternational Con-ference on.IEEE,2015:1658-1662.提出了一种包含主动采样策略的交互式图像分类方法，引入了样本选择度量，将采样和分类过程整合为一个整体，在提高分类性能的同时，降低了用户交互负担。文献2：Lu Z,Ip H H S.Combining context,consistency,and diversity cues for interactive image categorization[J].Multimedia,IEEE Transactions on,2010,12(3):194-203.提出了一个结合了半监督学习和主动学习的交互式图像分类框架，使用户能够高效地分类已有图像集。尽管这些方法很好的解决了不同用户分类关注点和分类标准不同的问题，但他们只是对一个成分相对固定的，内容不会有太大变化的图像集的分类，对固定的某一个用户，其分类标准在初始确定后也不会改变。然而，实际用户的图像集是逐渐增大的，并且新增的图像与原有图像差异可能很大；随着新图像的加入，用户想要划分的分类体系也可能是逐渐变化的。例如，用户可能会想要将新的图像分到一个新的类别中。即在实际的应用中，待分类图像集会动态增加，分类标准会动态变化。

简而言之，现有技术主要存在三个缺陷：第一，离线学习方法只有一个不可更改的预定义的分类标准，难以满足不同用户的分类需求与偏好；第二，仅关注于对已有图像集按某一个固定不变的标准进行的分类，难以处理动态增加的图像集；第三，没有考虑对分类器的更新，难以处理动态变化的分类标准。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种图像分类方法，用于缓和、减轻或消除上述缺点。

为了解决上述技术问题，本发明公开了一种面向电子图库的在线渐进式图像分类方法，包括以下步骤：

步骤1，图像预处理：向计算机中输入图像，对每一张输入图像，提取图像的全局和局部特征，构造图像特征描述子。随后将所有输入的图像保存到缓冲池，以便载入分类；

步骤2，载入及自动分类：从缓冲池中载入图像，利用分类器对图像进行自动分类。

其中，步骤1中包括以下步骤：

步骤1-1，向计算机中输入图像，对每一张输入图像X，提取其全局视觉特征向量g(X)，用于描述图像的全局颜色、纹理、形状等视觉属性；

步骤1-2，生成局部子图像：利用对象区域推荐算法，计算得到每一张输入图像X的J个局部子图像x₁,...,x_J，x_J表示第J个局部子图像；

步骤1-3，提取局部语义特征：对每一张输入图像X的每个局部子图像x_j，1≤j≤J，使用基于简单物体分类的算法，提取其语义特征向量h(x_j)＝[h_1，j，...，h_d，j]，其中，d为语义特征向量维度。然后基于所有局部子图像的语义特征向量，通过最大池化(max pooling)运算，构造每一张输入图像X的局部语义特征向量s(X)，描述图像X的语义属性；

步骤1-4，构造图像特征描述子并缓存：利用步骤1-1中得到的全局视觉特征向量g(X)与步骤1-3中得到的局部语义特征向量s(X)，构造输入图像X的特征描述子f(X)。将输入图像X连同其特征描述子f(X)作为一个整体，保存到缓冲池，以备后续对其载入分类。

步骤1-3中所提取的局部子图像的语义特征为基于简单物体分类器的特征。

步骤1-3中每一张输入图像X的局部语义特征向量s(X)为利用最大池化方法计算得到，计算公式如下：

s(X)＝[max(h_1，1，...，h_1，J),...,max(h_d，1，...，h_d,J)]，

其中，d为语义特征向量维度，h_i,j表示第j个子图像x_j的语义特征向量的第i维，1≤i≤d。

步骤1-4中所述的特征描述子f(X)的构造方法为串联全局视觉特征向量g(X)和局部语义特征向量s(X)，即：

f(X)＝[g(X),s(X)]。

步骤2中的分类器为在线SVM分类器。

步骤2中包括以下步骤：

步骤2-1，从缓冲池中随机选择M张图像X₁,...,X_M并载入，作为此轮分类过程中的待分类图像。M为载入图像的数量，一般取M＝20。

步骤2-2，自动分类。对载入的图像进行初始的自动分类，得到每张图像的分类置信度。若分类器已初始化，则利用分类器进行自动分类，即将图像依次输入分类器，分类器输出图像分到每个类别的置信度{Co(X_m,n)|1≤m≤M,1≤n≤N}，其中，X_m表示第m张载入图像，N表示当前已存在类别的总数，Co(X_m,n)表示将图像X_m分到第n类的置信度；若分类器尚未初始化，则使用K均值聚类算法，将载入的图像聚为K类，得到K个聚类中心{C_k|k∈[1,K]}，C_k表示第k个聚类中心，根据聚类中心计算载入的每张图像分到每个类别的置信度，K为初始类别数，可由用户设定；

步骤2-3，利用步骤2-2中得到的分类置信度，计算载入的每张图像分类到各个类别的概率，并取概率最大的类别作为该图像的初始分类类别。

步骤2-2中若分类器尚未初始化，使用K均值聚类算法后，根据如下公式计算每张载入的图像分到各个类别中的置信度Co(X_m,k)：

Co(X_m,k)＝exp(-dis(f(X_m),C_k))，

其中，f(X_m)表示图像X_m的特征描述子，C_k表示第k个聚类中心，Co(X_m,k)表示图像X_m分为第k个类别的置信度，1≤m≤M,1≤k≤K，dis(f(X_m),C_k)函数表示返回图像X_m的特征描述子f(X_m)和第k个聚类中心C_k之间的欧氏距离，exp是以自然常数e为底的指数函数。

步骤2-3中，通过如下公式计算载入的每张图像分类到各个类别的概率：

$P(X_m,t)=\frac{\exp \left(Co\right(X_m,t\left)\right)}{{\mathrm{\Σ}}_{n=1}^N\exp \left(Co\right(X_m,n\left)\right)},$

其中，P(X_m,t)表示图像X_m分到第t类的概率，1≤t≤N，Co(X_m,t)、Co(X_m,n)分别表示图像X_m分为第t个类别的置信度和第n个类别的置信度。

本发明还包括步骤3，由用户对自动分类结果进行修正或确认，基于用户交互内容，在线训练或更新分类器，具体包括如下步骤：

步骤3-1，用户对不符合其要求的分类结果进行修正。初始分类结果记作其中，表示图像X_m的初始预测类别。对分类正确的图像，不进行任何操作；对分类错误的图像，将其类别修改为正确的；对分类错误但暂时无法确定其准确类别的图像，删除其类别，即令其类别保持其未分类状态。交互后的图像分类结果记作L＝{l₁,l₂,...,l_M}，其中，l_m表示图像X_m正确的类别，其中N'≥0为交互过程中增加的新类别个数；

步骤3-2，交互结果处理。根据步骤3-1中得到的交互后的图像分类结果L，取出步骤2从缓冲池中载入的全部图像，并分为已分类图像和未分类图像分别进行对应的处理。将未分类图像转存到缓冲池，待下一轮分类过程中与其他未分类图像一同载入；将已分类图像存储到用户的已分类图库中；

步骤3-3，累积样本集构造。利用步骤3-2中的已分类图像L₁构造累积样本集。首先，选中所有初始类别与最终类别不相同的图像，加入累积样本集；然后，对初始类别与最终类别相同的图像，若其在步骤2-3中计算出的最大概率小于阈值σ，则选中该图像，加入累积样本集，σ一般可取max(0.5,2/N)；最后，将初始类别与最终类别不相同的图像复制一份，再次加入累积样本集。即所构造的累积样本集为

步骤3-4，将步骤3-3中构造的累积样本集作为训练样本，在线训练或更新分类器。

有益效果：本发明具有以下优点：首先，本发明可以边使用边训练，渐进地对分类器进行累积训练和更新，并且随着图像分类过程的进行，本发明可以得到越来越准确的初始分类结果。其次，本发明可以得到满足不同用户需求的多样化的分类结果，图像分类类别体系完全由用户自主确定，并且用户可以自由的增加新的类别。最后，本发明可以减少用户在对图像集进行分类过程中所需要的交互次数，降低用户交互负担。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的处理流程示意图。

图2a是对输入图像提取其全局视觉特征示意图。

图2b为提取的四个局部子图像示意图。

图2c为图像的局部语义特征描述示意图。

图2d是图像特征描述子示意图。

具体实施方式：

如图1所示，本发明公开的是一种面向电子图库的在线渐进式图像分类方法，具体包括以下步骤：

步骤一，预处理：向计算机中输入图像，对每一张输入图像，提取图像的全局和局部特征，构造图像特征描述子。随后将所有输入的图像保存到缓冲池，以便载入分类；

步骤二，载入及自动分类：从缓冲池中载入图像，利用分类器对载入图像进行自动分类。

下面具体介绍各个步骤的主要流程：

1.预处理

输入一批图像后，首先进行预处理过程，提取每一张输入图像的特征描述子，以分类器能处理的向量形式来表示每张图像。本申请所提取的图像描述包括全局视觉特征和局部语义特征。全局视觉特征直接在输入图像上进行提取；局部语义特征需先得到图像的局部子图像，再在局部子图像上进行提取；最后基于全局视觉特征和局部语义特征构造图像特征描述子，并将提取特征描述子后的图像存入缓冲池。预处理过程可在用户采集到图像后离线地自动执行。具体过程如下：

步骤1-1，提取全局视觉特征。对每一张输入图像X，提取其全局视觉特征向量g(X)，用于描述图像的全局颜色、纹理、形状等视觉属性。所提取的全局视觉特征为文献3：Bergamo A.,Torresani L.,Fitzgibbon A.W.,Picodes:Learning a compact code fornovel-category recognition,Advances in Neural Information Processing Systems,2011:2088-2096.中所述的PiCoDes特征，特征向量维度为2048。

步骤1-2，生成局部子图像。利用对象区域推荐算法，得到输入图像X的J个局部子图像x₁,...,x_J，x_J表示第J个局部子图像。局部子图像为原图像的一部分，每个局部子图像中只包含原图多个物体中的一个。所使用的对象区域推荐算法为文献4：Cheng M.M.,ZhangZ.,Lin W.Y.,et al.BING:Binarized normed gradients for objectness estima-tionat 300fps,Proceedings of the IEEE Conference on Computer Vision and PatternRecog-nition.2014:3286-3293.中所述的BING算法，对输入图像X，使用该算法生成一定量的推荐区域，取前J＝15个区域，划分出来作为X的子图像。

步骤1-3，提取局部语义特征。对图像X的每个局部子图像x_j，1≤j≤J，使用基于简单物体分类的算法，提取其语义特征向量h(x_j)＝[h_1，j，...，h_d,j]，其中，d为语义特征向量维度。所使用的语义特征提取方法为文献5：Torresani L,Szummer M,FitzgibbonA.Efficient object category recognition using Classemes,Computer Vision–ECCV2010.Springer Berlin Heidelberg,2010:776-789.中所述的Classemes特征，特征向量维度d＝2659。然后基于所有局部子图像的语义特征向量，使用最大池化(max pooling)运算，得到图像X的局部语义特征向量s(X)，描述图像X的语义属性，即s(X)＝[max(h_1，1，...，h_1,J)，...，max(h_d，1，...，h_d,J)]，其中，h_i,j表示第j个子图像x_j的语义特征向量的第i维，1≤i≤d；

步骤1-4，构造图像特征描述子并缓存。将步骤1-1中得到的全局视觉特征向量g(X)与步骤1-3中得到的局部语义特征向量s(X)串联起来，得到输入图像X的特征描述子为f(X)＝[g(X),s(X)]，f(X)向量的维度为2048+2659＝4707。将输入图像X连同其特征描述子f(X)作为一个整体，存入缓冲池，以备后续对其载入分类。

2.载入及自动分类

缓冲池中保存有已提取特征描述子的未分类图像。从缓冲池中选择未分类图像并载入，并利用分类器对载入的图像进行自动分类。包括以下步骤：

步骤2-1，从缓冲池中随机选择M张图像X₁,...,X_M并载入，作为此轮分类过程中的待分类图像。M为载入图像的数量，M过大将加重用户在每一轮分类过程中的记忆及交互负担，M过小会导致分类效率低下。一般情况下取M＝20。

步骤2-2，自动分类。对载入的图像进行初始的自动分类，得到每张图像的分类置信度。若分类器已初始化，则利用分类器进行自动分类，即将图像依次输入分类器，分类器输出图像分到每个类别的置信度{Co(X_m,n)|1≤m≤M,1≤n≤N}，其中，X_m表示第m张载入图像，N表示当前已存在类别的总数，Co(X_m,n)表示将图像X_m分到第n类的置信度。

若分类器尚未初始化，则使用K均值聚类算法，将全部载入图像聚为K类，得到K个聚类中心{C_k|k∈[1,K]}，K为初始类别数，可由用户设定。根据聚类中心计算每张图像分到每个类别的置信度，计算公式如下：

Co(X_m,k)＝exp(-dis(f(X_m),C_k))，

其中，f(X_m)表示图像X_m的特征描述子，C_k表示第k个聚类中心，Co(X_m,k)表示图像X_m分为第k个类别的置信度，1≤m≤M,1≤k≤K，dis(f(X_m),C_k)函数表示返回图像X_m的特征描述子f(X_m)和第k个聚类中心C_k之间的欧氏距离，exp是以自然常数e为底的指数函数。

步骤2-3，利用步骤2-2中得到的分类置信度，计算每张图像分类到各个类别的概率，并取概率最大的类别作为该图像的初始分类类别。

基于分类置信度，各图像分类到各个类别的概率的计算公式如下：

$P(X_m,t)=\frac{\exp \left(Co\right(X_m,t\left)\right)}{{\mathrm{\Σ}}_{n=1}^N\exp \left(Co\right(X_m,n\left)\right)},$

其中，P(X_m,t)表示图像X_m分到第t类的概率，1≤t≤N，Co(X_m,t)、Co(X_m,n)分别表示图像X_m分为第t个类别的置信度和第n个类别的置信度。

本发明还包括步骤3，用户通过交互接口对自动分类结果进行修正或确认，用户修正确认后的结果为这批图像的分类结果。并且利用已分类的图像对分类器进行在线训练或更新。具体包括如下步骤：

步骤3-1，用户对不符合其要求的分类结果进行修正。全部载入图像的初始分类结果记作其中，表示图像X_m的初始预测类别。对分类正确的图像，不进行任何操作；对分类错误的图像，将其类别修改为正确的；对分类错误但暂时无法确定其准确类别的图像，删除其类别，即令其类别保持其未分类状态。交互后的图像分类结果记作L＝{l₁,l₂,...,l_M}，其中，l_m表示交互修改后X_m正确的类别，其中N'≥0为交互过程中增加的新类别个数。

步骤3-2，交互结果处理。根据步骤3-1中得到的交互后的图像分类结果L，取出步骤2从缓冲池中载入的全部图像，并分为已分类图像和未分类图像分别进行对应的处理。将未分类图像转存到缓冲池，待下一轮分类过程中与其他未分类图像一同载入；将已分类图像存储到用户的已分类图库中。

步骤3-3，累积样本集构造。利用步骤3-2中的已分类图像L₁构造累积样本集，用于训练或更新分类器。首先，选中当前分类器无法正确分类的所有图像，即初始类别与最终类别不相同的图像，加入累积样本集；然后，选中当前分类器分类置信度不高的图像，即对初始类别与最终类别相同的图像，若其在步骤23中计算出的最大概率小于阈值σ，则选中该图像，加入累积样本集，σ一般可取max(0.5,2/N)；最后，为了加强用户交互修正对分类器的影响，选中经用户调整过类别的图像，即初始类别与最终类别不同的图像，再次加入累积样本集。即所构造的累积样本集为

步骤3-4，分类器的在线训练或更新。将步骤3-4中构造的累积样本集作为训练样本，在线训练或更新分类器。若分类器未初始化，则在线训练得到初始的分类器；若分类器已初始化，则对其进行在线更新。

实施例

本实施例中，整个界面分为三个区域：载入区、类别区、缓冲区。类别区中显示所有的已存在的图像类别，每个已存在类别用一个矩形盒子表示，盒子中显示有属于该类的图像实例，每个盒子有不同的颜色，指示不同的类别。载入区主要在对输入图像执行步骤2-3的初始分类后，将图像按类别分组显示出来，每个图像组有不同的背景色，指示其中图像的初始类别，并且该颜色与类别区中各类别盒子的颜色相对应。缓冲区用于暂存此轮分类中用户暂时无法确定准确类别的图像，其中的图像会转存到缓冲池中，待下一轮分类过程中与其他未分类图像一同载入。本实施例中使用文献6：Bordes A,Bottou L,Gallinari P,etal.Solving multiclass support vector machines with LaRank,Proceedings of the24th international conference on Machine learning.ACM,2007:89-96.中的LaRank算法作为在线SVM分类器。由于本发明的特殊性，本实施例中的附图，需要使用灰度效果显示。

具体实施过程如下：

步骤1中，对输入图像进行预处理，提取输入图像的特征描述子。这里以对一张输入图像的处理过程为例来说明整个预处理过程。如图2a，对一张输入图像，首先提取其全局视觉特征，得到一个2048维的特征向量，其每一维描述的是图像所具有的一种视觉属性；然后提取该图像的对象区域，将得到的区域划分出来作为单独的局部子图像，为了便于说明问题，这里仅提取了四个对象区域作为局部子图像，如图2b为提取出的四个局部子图像；接着对图2b中的每个局部子图像分别提取基于简单物体分类器的语义特征，得到四个2659维的特征向量，使用最大池化运算，得到一个2659维特征向量，作为图像的局部语义特征描述，如图2c所示。最后，如图2d，将所得的2048维全局视觉特征向量和2659维语义特征向量串联起来，得到4707维的图像特征描述子。

步骤2中，利用分类器对输入图像进行自动分类，并由用户对自动分类结果进行修正或确认，基于用户交互内容，在线训练或更新分类器。首先，系统对所有输入图像进行自动分类。若分类器已初始化，则由分类器对所有的图像进行自动分类，得到每张图像分到每个类别的置信度；若分类器尚未初始化，则使用K均值聚类算法，得到K个聚类中心，计算每张图像分到每个类别的置信度，K由用户根据输入图像的实际类别数进行指定。根据分类置信度，计算每张图像分类到各个类别的概率，并取概率最大的类别作为该图像的初始分类类别。

步骤3中，由用户判断初始分类结果是否正确，并对错误的分类结果做出调整。对分类错误的图像，用户将其拖拽到类别区中的某一个类别盒子中，表示将其修改为对应的类别；拖拽到类别区中的空白处表示新建一个类别，系统将新建一个类别盒子，并将该图像修改为该新类别；拖拽到缓冲区表示删除其类别标签，保持该图像的未分类状态。交互操作结束后，除了缓冲区之外的图像均分类正确，系统将正确分类的图像存入对应的类别盒子中，并利用正确分类的图像构造累积样本集，用于在线的训练或更新分类器。缓冲区中的未分类图像将转存到缓冲池中，待下一轮分类过程中与其他未分类图像一同载入。

步骤2和步骤3可以在缓冲池中有足够图像的情况下，由用户主动决定是否开始执行。

本发明提供了一种面向电子图库的在线渐进式图像分类方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种面向电子图库的在线渐进式图像分类方法，其特征在于，包括以下步骤：

步骤1，图像预处理：向计算机中输入图像，对每一张输入图像，提取该图像的全局视觉特征和局部语义特征，构造图像特征描述子，将所有输入的图像保存到缓冲池；

步骤2，载入及自动分类：从缓冲池中载入图像，利用分类器对图像进行自动分类。

2.根据权利要求1所述的方法，其特征在于，步骤1包括以下步骤：

步骤1-1，向计算机中输入图像，对每一张输入图像X，提取其全局视觉特征向量g(X)；

步骤1-2，生成局部子图像：利用对象区域推荐算法，计算得到每一张输入图像X的J个局部子图像x₁,...,x_J，x_J表示第J个局部子图像；

步骤1-3，提取局部语义特征：对每一张输入图像X的每个局部子图像x_j，1≤j≤J，提取其语义特征向量，基于所有局部子图像的语义特征向量，构造每一张输入图像X的局部语义特征向量s(X)，描述图像X的语义属性；

步骤1-4，构造图像特征描述子并缓存：利用步骤1-1中得到的全局视觉特征向量g(X)与步骤1-3中得到的局部语义特征向量s(X)，构造输入图像X的特征描述子f(X)，将输入图像X连同其特征描述子f(X)作为一个整体，保存到缓冲池。

3.根据权利要求2所述的方法，其特征在于，步骤1-3中所提取的局部子图像的语义特征为基于简单物体分类器的特征。

4.根据权利要求3所述的方法，其特征在于，步骤1-3中每一张输入图像X的局部语义特征向量s(X)为使用最大池化方法计算得到，计算公式如下：

s(X)＝[max(h_1，1,...,h_1,J),...,max(h_d,1,...,h_d,J)]，

其中，d为语义特征向量维度，h_i,j表示第j个子图像x_j的语义特征向量的第i维，1≤i≤d。

5.根据权利要求4所述的方法，其特征在于，步骤1-4中所述的图像X的特征描述子f(X)的构造方法为串联其全局视觉特征向量g(X)和局部语义特征向量s(X)，即：

f(X)＝[g(X),s(X)]。

6.根据权利要求5所述的方法，其特征在于，步骤2中的分类器为在线SVM分类器。

7.根据权利要求6所述的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，从缓冲池中随机选择M张图像X₁,...,X_M并载入，作为此轮分类过程中的待分类图像；

步骤2-2，对载入的图像进行初始的自动分类，得到每张图像分到每个类别的置信度，若分类器已初始化，则利用分类器进行自动分类，即将图像依次输入分类器，由分类器输出每张图像分到每个类别的置信度；若分类器尚未初始化，则使用K均值聚类算法，将载入的图像聚为K类，得到K个聚类中心{C_k|k∈[1,K]}，C_k表示第k个聚类中心，根据聚类中心计算载入的每张图像分到每个类别的置信度，K为初始类别数；

步骤2-3，利用步骤2-2中得到的分类置信度，计算载入的每张图像分类到各个类别的概率，并取概率最大的类别作为该图像的初始分类类别。

8.根据权利要求7所述的方法，其特征在于，步骤2-2中若分类器尚未初始化，使用K均值聚类算法后，根据如下公式计算每张载入的图像分到各个类别中的置信度Co(X_m,k)：

Co(X_m,k)＝exp(-dis(f(X_m),C_k))，

其中，f(X_m)表示图像X_m的特征描述子，C_k表示第k个聚类中心，Co(X_m,k)表示图像X_m分为第k个类别的置信度，1≤m≤M,1≤k≤K，dis(f(X_m),C_k)函数表示返回图像X_m的特征描述子f(X_m)和第k个聚类中心C_k之间的欧氏距离，exp是以自然常数e为底的指数函数。

9.根据权利要求8所述的方法，其特征在于，步骤2-3中，通过如下公式计算载入的每张图像分类到各个类别的概率：

$P(X_m,t)=\frac{\exp \left(Co\right(X_m,t\left)\right)}{{\Σ}_{n=1}^N\exp \left(Co\right(X_m,n\left)\right)},$

其中，P(X_m,t)表示图像X_m分到第t类的概率，1≤t≤N，Co(X_m,t)、Co(X_m,n)分别表示图像X_m分为第t个类别的置信度和第n个类别的置信度。

10.根据权利要求9所述的方法，其特征在于，包括步骤3，由用户对自动分类结果进行修正或确认，基于用户交互内容，在线训练或更新分类器，具体包括如下步骤：

步骤3-1，用户对不符合其要求的分类结果进行修正；对分类正确的图像，不进行任何操作；对分类错误的图像，将其修改到正确的类别中；对分类错误但暂时无法确定其准确类别的图像，去掉其类别标签，保持其未分类状态；

步骤3-2，根据步骤3-1中得到的交互后的图像分类结果，取出步骤2从缓冲池中载入的全部图像，并分为已分类图像和未分类图像，将未分类图像转存到缓冲池，待下一轮分类过程中与其他未分类图像一同载入；将已分类图像存储到用户的已分类图库中；

步骤3-3，利用步骤3-2中的已分类图像构造累积样本集：选中所有初始类别与最终类别不相同的图像，加入累积样本集，对初始类别与最终类别相同的图像，若其在步骤2-3中计算出的最大概率小于阈值σ，则选中该图像，加入累积样本集，将初始类别与最终类别不相同的图像复制一份，再次加入累积样本集；

步骤3-4，将步骤3-3中构造的累积样本集作为训练样本，在线训练或更新分类器。