CN103473275A

CN103473275A - 一种采用多特征融合的图像自动标注方法和系统

Info

Publication number: CN103473275A
Application number: CN2013103743162A
Authority: CN
Inventors: 纪庆革; 黎河军; 迟锐
Original assignee: Sun Yat Sen University; Guangzhou Zhongda Nansha Technology Innovation Industrial Park Co Ltd
Current assignee: Sun Yat Sen University; Guangzhou Zhongda Nansha Technology Innovation Industrial Park Co Ltd
Priority date: 2013-08-23
Filing date: 2013-08-23
Publication date: 2013-12-25

Abstract

本发明公开了一种采用多特征融合的图像自动标注方法和系统，标注方法是使用多种特征类型来表示图像内容，引入多特征表示的特征签名，结合K-Means聚类算法得到基于多特征融合的图像语义统计模型，用于对图像自动标注。其标注系统采用BS（Browser-Server）架构，系统框架包括统计模型构建部分和图像自动标注部分。该系统初始访问页面提供的功能有图像自动标注，同时支持本地文件上传和网络地址图片获取。该系统的数据管理页面提供数据管理功能，可以执行对数据库图像库的特征提取，建立统计模型。

Description

一种采用多特征融合的图像自动标注方法和系统

技术领域

本发明涉及图像自动标注领域，更具体地，涉及一种采用多特征融合的图像自动标注方法和系统。

背景技术

互联网和多媒体技术的快速发展，使得现今社会迈入了信息大爆炸时代，各种各样的网络应用和多媒体技术的快速发展得到了广泛的应用。同时，大量的多媒体数据日益成为各种信息的重要载体，其中图像数据日益成为继文本数据之后主要组成部分。图像数据的增多带来了管理和检索问题，如何在海量数据中获取所需的信息一直都是人们致力解决问题。为了解决大量图像数据的管理问题，需要为图像指定所属类别和标注信息，这些文本实际上相当于图像的高层语义信息。这些文本不仅提高了数据管理效率，而且能够推动基于内容的图像检索技术的发展。

因为数据量异常庞大，人工进行图像标注需要的时间和成本太高，如何实现图像的自动标注一直是研究的重点。

发明内容

为解决上述技术问题，本发明从图像的特征表示方面的特征点出发，提出了一种采用多特征融合的图像自动标注方法和系统，从而有效地解决了人工对图像标注带来的时间和成本问题。

本发明提供的技术解决方案：一种采用多特征融合的图像自动标注方法，使用多种特征类型来表示图像内容，引入多特征表示的特征签名，结合K-Means聚类算法得到基于多特征融合的图像语义统计模型，用于对图像自动标注。

一种采用多特征融合的图像自动标注系统，使用多特征融合的图像自动标注方法，对图像自动标注，系统采用BS架构，系统框架包括统计模型构建部分和图像自动标注部分，其中：

统计模型构建部分：所有的训练图像按照类别进行划分，通过特征提取模块提取所有图像的特征向量组成特征签名，对每一个类别的数据进行K-Means聚类运算得到原型并且进行相应的参数估计，这些原型和参数构成了各个类别的统计模型。

图像自动标注部分：图像自动标注部分采用分层的框架。输入查询图像（同时支持本地文件上传和网络地址图片获取）自动返回该图像的文字标注结果。

该系统初始访问页面提供的功能有图像自动标注，同时支持本地文件上传和网络地址图片获取。该系统的数据管理页面提供数据管理功能，可以执行对数据库图像库的特征提取，建立统计模型。

与现有技术相比，本发明的有效益效果是：本发明提出的图像自动标注框架能够很好的综合多特征类型的优点，提高图像自动标注的准确率。

附图说明

图1为本发明数据存储结构示意图。

图2为本发明类别原型提取流程图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

采用多特征融合的图像自动标注的方法是使用多种特征类型来表示图像内容，引入多特征表示的特征签名，使用K-Means算法来提取每一个类别的原型，聚类过程中使用的距离度量是图像特征向量之间的相似度，具体流程：

1）选择一个特征类别k，根据总和距离最大的准则将n张图像初始化分为m子集S={s₁,s₂,...,s_m}，m<=n，子集中心为μ_l=(d_l,1,d_l,2,...,d_l,D)，l=1，2，…，m，其中d_i,j表示图像的特征向量；

2）选择图像I_i，i=1，2，…，n，分别计算与各子集中心的距离

\tilde{D} (I_{i}, s_{l}) = D (d_{i, k}, d_{l, k});

如果将图像加入到对应的子集并重新计算中心，其中T₁为新建中心阈值；否则创建新的子集并设置I_i为中心；

计算所有子集两两之间的距离D(s_l,s_r)=D(d_l,k,d_r,k)，如果D(s_l,s_r)<T₂，其中T₂为合并中心阈值，则合并；

3）如果还有图像还未分类，则执行2）；如果还有特征类别未遍历，则执行1）。

这样得到的每一个聚类中心就相当于该类别的原型。

结合K-Means聚类算法就可得到基于多特征融合的图像语义统计模型，接下来就是图像自动标注的过程：

图像标注部分采用分层结构；

第一步，提取输入的图像特征，构造图像特征签名；

第二步，第一层分类器处理，每一个分类器代表了一个类别的统计模型，计算输入的图像特征签名与按照特征类型分类的所有模型之间的相似度；

第三步，将所有分类器输出结果汇总到顶层分类器，这个分类器将根据所有类别的相似度大小算出相似度最高的k种类别，这k种类别对应的关键词就是图像自动标注的结果。

这样就可以实现对图像进行自动标注。

为了实现上述目的，本发明还提供了一种采用多特征融合的图像自动标注方法系统，该系统是基于BS（Browser-Server）架构，系统包括统计模型构建部分和图像自动标注部分两个部分，其中：

（1）统计模型构建部分包括数据库管理模块、特征提取模块、K-means聚类模块、参数估计模块、统计建模模块五个模块，其中：

数据库管理模块：系统使用Lucene进行数据引索，所有的图像特征签名使用文件分片进行存取，如图1所示。数据结构主要有三种类型，第一种是图像特征签名，第二种是原型（对训练数据进行聚合之后的结果），第三种是类别（图像自动标注和检索过程中需要使用的统计模型）；

特征提取模块：系统使用多个特征向量组成图像的特征签名，为了能够全面表示图像的语义信息，主要使用了三种类型的特征：颜色、边缘和纹理；

K-means聚类模块：基于特征类型的K-means聚类算法，该模块的主要流程如图2，图中只展现了一个图像类别的其中一种特征类型的聚类流程，为了得到所有图像类别和所有特征向量类型的原型中心和特征权重，需要遍历所有的图像类别和所有的特征向量类型；

参数估计模块：包括两种类型参数：原型的先验概率和特征类型的相关权重。每一个原型的先验概率是直接计算该原型包含的成员数量在所有该类别的训练样本中占的比例；特征权重代表某一个特征类型对某一类别图像的重要程度，特征类型的相关权重是通过使用测试样本对模型进行试验，取其标注的准确率，再通过计算得到所有的特征权重；

统计建模模块：综合了K-means聚类模块和参数估计模块的结果，并利用所有的结果构建每一个类别的统计模型，这个统计模型可以应用于表示该类别图像的语义特征。

（2）图像自动标注部分采用分层的框架，图像自动标注部分的标注过程如本申请的方法中所述的标注过程一致。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims

1.一种采用多特征融合的图像自动标注方法，其特征在于，使用多种特征类型来表示图像内容，引入多特征表示的特征签名，结合K-Means聚类算法得到基于多特征融合的图像语义统计模型，用于对图像自动标注。

2.根据权利要求1所述的采用多特征融合的图像自动标注方法，其特征在于，使用K-Means算法来提取每一个类别的原型，聚类过程中使用的距离度量是图像特征向量之间的相似度，具体流程：

1）选择一个特征类别k，根据总和距离最大的准则将n张图像初始化分为m子集S={s₁,s₂,...,s_m}，m<=n；子集中心为μ_l=(d_l,1,d_l,2,...,d_l,D)，l=1，2，…，m，其中d_i,j表示图像的特征向量；

如果

将图像加入到对应的子集并重新计算中心，其中T₁为新建中心阈值；否则创建新的子集并设置I_i为中心；

3.根据权利要求2所述的采用多特征融合的图像自动标注方法，其特征在于，所述图像自动标注采用分层的框架，图像自动标注部分的标注步骤包括：

第一步：提取图像特征，构造图像特征签名；

第二步：第一层分类器处理，每一个分类器代表了一个类别的统计模型，计算输入的图像特征签名与按照特征类型分类的所有模型之间的相似度；

第三步：将所有分类器输出结果汇总到顶层分类器，这个分类器将根据所有类别的相似度大小算出相似度最高的k种类别，这k种类别对应的关键词就是图像自动标注的结果。

4.一种采用多特征融合的图像自动标注系统，其特征在于，使用多特征融合的图像自动标注方法，对图像自动标注，系统采用BS架构，系统框架包括统计模型构建部分和图像自动标注部分，其中：

统计模型构建部分：所有的训练图像按照类别进行划分，通过特征提取模块提取所有图像的特征向量组成特征签名，对每一个类别的数据进行聚类运算得到原型并且进行相应的参数估计，这些原型和参数构成了各个类别的统计模型；

图像自动标注部分：输入查询图像，自动返回该图像的文字标注结果。

5.根据权利要求4所述的采用多特征融合的图像自动标注系统，其特征在于，统计模型构建部分包括数据库管理模块、特征提取模块、K-means聚类模块、参数估计模块、统计建模模块，其中：

数据库管理模块：系统使用Lucene进行数据引索，所有的图像特征签名使用文件分片进行存取；

特征提取模块：系统使用多个特征向量组成图像的特征签名；

K-means聚类模块：基于特征类型的K-means聚类算法；

参数估计模块：包括两种类型参数：原型的先验概率和特征类型的相关权重；

6.根据权利要求5所述的采用多特征融合的图像自动标注系统，其特征在于，所述参数估计模块是每一个原型的先验概率是直接计算该原型包含的成员数量在所有该类别的训练样本中占的比例；特征权重代表某一个特征类型对某一类别图像的重要程度，特征类型的相关权重是通过使用测试样本对模型进行试验，取其标注的准确率，再通过计算得到所有的特征权重。