CN104021171A - 一种基于gmm的手机内图像的组织和搜索方法 - Google Patents

Abstract

本发明属于图像库的组织和搜索领域，主要涉及一种基于GMM的手机内图像的组织和搜索方法。本发明包括：对手机内photo文件夹下的所有图像按高斯混合模型进行聚类；对全部图像进行聚类的K幅聚类中心图像；将每幅最上一层图像所对应的该类别下的所有图像继续按高斯混合模型进行聚类；从第二层图像开始重复步骤3；图像索引结构建立好后，用户开始搜索图像；点选图像后进入图像索引结构的下一层。本发明提供给手机用户按图像语义的不同进行搜索和查找的方式，极大地方便了手机图像管理和使用上的智能化。考虑到手机内图像的数量要比大型图像库要小得多，因此经典的图像聚类技术就可以满足其实时性的要求。

Description

一种基于GMM的手机内图像的组织和搜索方法

技术领域

本发明专利属于图像库的组织和搜索领域，主要涉及一种基于GMM的手机内图像的组织和搜索方法。

背景技术

随着手机的广泛普及和移动通信技术的快速发展，手机已经不单纯是作为个人用户的移动通信终端，而是越来越多地发展成为个人的多媒体综合应用平台，其中被应用得最多的功能就是利用手机拍摄图片，并对图像进行浏览和搜索。目前手机内图像的存储一般是按照图像文件名称的字典顺进行排列，而不是按图像的内容进行合理组织，导致语义内容相同或相近的图片无法存放在一起。当手机用户在搜索图像时往往需要不停地翻屏，这种按图像名称来组织图像的方式无疑会给用户带来极大的不便。

本专利针对这一不足，提出一种基于分层聚类的手机内图像的图像组织和搜索方法。图像分类是将一些图像按语义分成不同的类别的处理技术，常分为监督和非监督两大类，监督方法需要训练样本具有先验的类别信息，而非监督方法(聚类分析)则无需样本的类别信息，因此利用聚类分析对图像进行分类显得更加方便。我们利用聚类分析技术将手机内图像按语义内容进行聚类，使每张图像都归属于不同的类别。目前手机拍摄图像的存储一般是按照拍摄时间的先后按顺序进行存储，而不是按图像的内容进行组织，在搜索相同内容的图像时方面非常不方便。本发明针对这一不足，提出一种针对手机图像的层次聚类图像组织和搜索算法。

发明内容

本发明的目的在于提供一种手机图像管理智能化的基于GMM的手机内图像的组织和搜索方法。

本发明的目的是这样实现的：

步骤1：对手机内photo文件夹下的所有图像按高斯混合模型进行聚类，图像特征采用MPEG-7的视觉特征描述子，聚类的数目K需要事先设置，K一般可设置为手机一屏所显示的图像数目，得到K个聚类，由于采用软聚类方式，每幅图像按一定概率分别属于每个聚类；

步骤2：对全部图像进行聚类的K幅聚类中心图像，作为图像索引结构中的最上一层的图像；

步骤3：将每幅最上一层图像所对应的该类别下的所有图像继续按高斯混合模型进行聚类，聚类的数目仍然为K，将本次聚类的K*K幅聚类中心图像作为图像索引结构中的第二层图像；

步骤4：从第二层图像开始重复步骤3，直到每个聚类为一幅图像，建立一个手机内图像的基于软聚类的GMM分层聚类图像索引结构；

步骤5：图像索引结构建立好后，用户可以开始搜索图像，由图像索引结构的最上一层图像开始，将K个最上一层图像显示在手机屏幕上，用户如果发现欲搜索的图像则停止搜索，否则点选手机屏幕上与欲搜索图像内容最接近似的一幅图像；

步骤6：点选图像后进入图像索引结构的下一层，手机屏幕上则显示与所点选图像对应的K个下一层图像，这样逐层进行搜索，直到找到满意的结果。

本发明的有益效果在于：

本发明提供给手机用户按图像语义的不同进行搜索和查找的方式，极大地方便了手机图像管理和使用上的智能化。考虑到手机内图像的数量要比大型图像库要小得多，因此经典的图像聚类技术就可以满足其实时性的要求。

附图说明

图1一般的分层聚类的图像分层组织示意图；

图2本专利的GMM分层聚类的图像索引结构图。

具体实施方式

下面结合附图对本发明做进一步描述。

本专利对手机内图像采用逐层聚类的方式，逐步缩小图像高低级语义之间的差异。本专利对手机图像进行组织和搜索的具体方法如下：

首先对所有图像进行聚类，聚类数目设为手机一屏之内所能显示的图片数目，将聚类中心的图像作为最上层的代表图像；对每个类别下的图像进行进一步聚类，分成更细化的类别，将本次聚类的聚类中心图像作为第二层的代表图像；依此类推，直到每个聚类就是一幅图像，这样，图像按类别的由粗到细构成了一个树状索引结构，对图像的层次组织就完成了。

对于图片搜索功能，先在屏幕上显示图像组织结构中最上层的图像代表，如果该屏图像中包含用户的欲搜索图像则停止，如果没有包含，则用户点选与其欲搜索图片最接近的相应图像，进入下一层，屏幕上则显示刚才被点选图像所对应的图像聚类的代表图像，如果该屏图像中包含用户的欲搜索图像则停止，如果没有包含，用户继续点选，直到搜索到所需要的图像。

高斯混合模型(Gaussian Mixture Model，GMM)是最具有代表性的一种聚类方法，它在图像聚类过程中考虑了像素在视觉空间中的统计分布特性。高斯混合模型的求解采用期望最大化(Expectation Maximization，EM)算法，为GMM模型参数提供了一种简单有效的最大似然迭代估计方法。因此我们采用高斯混合模型来对手机内图像进行逐层聚类，来达到对图像的分层组织和按这种组织方式进行搜索的目标。由于一幅图像可能呈现出不同层面的信息，因此我们采取软聚类(Soft Clustering)方式，一幅图像在聚类时，可以按照一定的概率被归属于不同的图像类别，即使用户按不同语义选择了不同的路径，也会找到相同的图像(见图1和图2)。在建立好的图像索引结构中，最上层(图2中的聚类层1)图像代表对所有图像进行聚类的聚类中心图像，最底层图像代表手机内的所有图像，边上的权值代表某图像属于上一层聚类的概率。这样，手机内的任意一幅图像都相当于通过一定的概率相乘和最上一层的图像建立了连接，因此，由最上层节点开始，沿着某一条路径就可以搜索到任一幅图像。

对于图像的视觉特征，我们采用国际标准化组织发布的MPEG-7标准，即多媒体内容描述接口(Multimedia Content Description Interface)。其中视觉特征描述子部分(VisualDescriptor)使对图像视觉特征的提取和描述将更具规范性。MPEG-7标准确定了一个标准描述子(Descriptors)集，用来描述各种类型的多媒体信息。一个特征，如颜色、纹理或形状，可能对应多个描述子，这组描述子力图从不同的角度对视觉特征进行描述。

本专利提出的针对手机内图像的分层聚类图像组织和搜索方法，其具体的实施方案如下：设置每层的聚类数目K均为手机一屏内所显示的图像数目。首先对手机内photo文件夹下的所有图像按高斯混合模型进行聚类，对应K个聚类，每个聚类下包含有该类别下的所有图像。将代表K个聚类中心的K幅图像，作为GMM分层聚类的图像索引结构的最上一层的图像。然后，对每一幅最上一层图像，将其对应的类别下的所有图像继续按高斯混合模型进行聚类，聚类数目仍然为K，将代表K个聚类中心的K幅图像，作为GMM分层聚类的图像索引结构的第二层的图像。重复上述步骤，直到每幅图像为一个单独的聚类。在上述步骤中，一幅图像在聚类时，可以按照一定的概率被归属于不同的图像类别，即使用户按不同语义选择了不同的路径，也会找到相同的图像。手机内图像的分层聚类的图像索引结构建立好后，将索引结构中K个最上一层图像(对全部图像进行聚类的K幅聚类中心图像)显示在手机屏幕上。用户可以从最上一层开始搜索图像，点选与欲搜索图像内容接近的图像，然后，手机屏幕上显示相应的K个第二层图像(由被点选的上一层图像所确定的该类别下所有图像的K幅聚类中心图像)。这样，通过逐层点选与欲搜索图像内容接近的图像，逐层向下搜索，直到找到满意的结果。具体步骤如下：

步骤1：首先对手机内photo文件夹下的所有图像按高斯混合模型进行聚类，图像特征采用MPEG-7的视觉特征描述子。聚类的数目K需要事先设置，K一般可设置为手机一屏所显示的图像数目。这样，得到K个聚类，由于采用软聚类方式，每幅图像按一定概率分别属于每个聚类。

步骤2：对全部图像进行聚类的K幅聚类中心图像，作为图像索引结构中的最上一层的图像。

步骤3：将每幅最上一层图像所对应的该类别下的所有图像继续按高斯混合模型进行聚类，聚类的数目仍然为K，将本次聚类的K*K幅聚类中心图像作为图像索引结构中的第二层图像。

步骤4：从第二层图像开始重复步骤3，直到每个聚类为一幅图像。这时，一个手机内图像的基于软聚类的GMM分层聚类图像索引结构就建立好了。

步骤5：图像索引结构建立好后，用户可以开始搜索图像。由图像索引结构的最上一层图像开始，将K个最上一层图像显示在手机屏幕上，用户如果发现欲搜索的图像则停止搜索，否则点选手机屏幕上与欲搜索图像内容最接近似的一幅图像。

步骤5：点选图像后进入图像索引结构的下一层，手机屏幕上则显示与所点选图像对应的K个下一层图像。这样逐层进行搜索，直到找到满意的结果。

(1)由于手机内photo文件夹下的图像不会更新得特别频繁，所以可以对手机图像按天进行图像索引结构的建立，即在每天的固定时间进行索引结构的更新。(2)由于手机内图像的数目相比于大型图像库来说要小得多，所以图像索引结构的层数不会太多，例如K＝6，手机内图像为1000幅时，图像索引结构的层数为4。

Claims (1)

1.一种基于GMM的手机内图像的组织和搜索方法，其特征在于：

步骤1：对手机内photo文件夹下的所有图像按高斯混合模型进行聚类，图像特征采用MPEG-7的视觉特征描述子，聚类的数目K需要事先设置，K一般可设置为手机一屏所显示的图像数目，得到K个聚类，由于采用软聚类方式，每幅图像按一定概率分别属于每个聚类；

步骤2：对全部图像进行聚类的K幅聚类中心图像，作为图像索引结构中的最上一层的图像；

步骤3：将每幅最上一层图像所对应的该类别下的所有图像继续按高斯混合模型进行聚类，聚类的数目仍然为K，将本次聚类的K*K幅聚类中心图像作为图像索引结构中的第二层图像；

步骤4：从第二层图像开始重复步骤3，直到每个聚类为一幅图像，建立一个手机内图像的基于软聚类的GMM分层聚类图像索引结构；

步骤5：图像索引结构建立好后，用户可以开始搜索图像，由图像索引结构的最上一层图像开始，将K个最上一层图像显示在手机屏幕上，用户如果发现欲搜索的图像则停止搜索，否则点选手机屏幕上与欲搜索图像内容最接近似的一幅图像；

步骤6：点选图像后进入图像索引结构的下一层，手机屏幕上则显示与所点选图像对应的K个下一层图像，这样逐层进行搜索，直到找到满意的结果。