CN103632166A - 基于融合显著信息的潜在主题极光图像分类方法 - Google Patents

Abstract

本发明公开了一种基于融合显著信息的潜在主题极光图像分类方法，主要解决现有技术分类准确率低、分类效率不高及适用范围窄的问题。其实现步骤为：(1)对极光图像进行预处理，提取预处理后的极光图像的视觉单词并生成视觉文档；(2)使用谱残差算法获得输入的极光图像的极光显著图，提取极光显著图的视觉单词并生成极光显著图视觉文档；(3)将步骤(1)和步骤(2)的视觉文档连接生成极光图像语义加强型文档，并将其输入给Latent Dirichlet Allocation模型，得到极光图像的显著信息潜在语义分布特征SM-LDA；(4)将SM-LDA特征输入支持向量机进行分类，得到最终的分类结果。本发明在保持高分类精度的同时，缩短了分类时间，提高了分类效率，可用于场景分类与目标识别。

Description

基于融合显著信息的潜在主题极光图像分类方法

技术领域

本发明属于图像处理技术领域，具体的说是一种极光图像分类方法，可用于场景分类与目标识别。

背景技术

极光是由于太阳带电粒子进入地球磁场，在夜间地球南北两极附近地区的高空产生的灿烂美丽的光辉。极光现象的发生时常会影响无线电通信、长电缆通信等。极光还可以影响到气候和生物活动。极光具有多种形态，而且不同形态的极光蕴含着不同的物理含义，所以极光图像的分类具有非常重要的科学研究价值。

极光图像的分类从早期的肉眼观察手工标记发展到现在的计算机定量分析。

1955年，Carl Stormer在文献“Stormer C.,The Polor Aurora.Oxford:Clarendon Press,1955”中首次对极光进行分类，将极光分为放射状结构、无放射状结构和火焰状三种类型。1964年，Akasofu在文献“Akasofu,S.I.,The Development of the Auroral Substorm.PlanetSpace Sci.,1964,12(4):273-282”中根据极光的运动特点将极光分为赤道向扩展、点亮、西行浪涌和赤道向恢复四种类型。1999年，胡红桥等人在文献“胡红桥,刘瑞源,王敬芳等,南极中山站极光形态的统计特征,极地研究,1999,11(1):8-18”中将极光分为具有射线状结构的冕状极光、带状极光、极光浪涌和向日极光弧四种类型。2000年，中国极地研究中心将极光分为弧状极光和冕状极光两类，其中冕状极光又细分为辐射冕状、热点冕状和帷幔冕状三类，见文献“Yang H.et al,Synoptic observations of auroras along the postnoon oval:Asurvey with all-sky TV observations at zhongshan,Antarctica.Journal of Atmospheric andSolar-Terrestrial Physics,2000,62(9):787-797”。

然而由于极光图像的数量以每年数百万增加，单纯的人工手动标记方法已经不能满足对海量数据进行处理的要求。2004年，

等人在文献

M.T.,and Donovan E.F.,Diurnal auroral occurrence statistics obtained via machine vision.Annales Geophysicae,2004,22(4):1103-1113”中首次将计算机视觉技术引入极光图像的分类。该方法首先将极光根据形态分为弧状、斑块状和欧米伽状三类，随后将极光图像分割后的区域进行傅里叶变换来提取极光图像的特征，此方法有很大的局限性，仅适用于形态单一的弧状极光，不具备普遍适用性。2007年，王倩等人在文献“王倩,梁继民,高新波等,基于表象特征的极光图像分类方法研究,第十二届全国日地空间物理学术研讨会论文集.2007:71”中运用主分量分析，线性判别分析和贝叶斯三种方法对极光图像进行表征提取，提出基于表象特征的极光图像分类方法，将极光划分为弧状、冕状和混合型三种类型。2008年，高凌君在文献“高凌君,基于Gabor变换的日侧极光分类算法研究[硕士学位论文].西安:西安电子科技大学,2009”中针对冕状极光呈放射状的纹理形态特征，提出一种基于Gabor变换的日侧极光分类算法，该方法利用Gabor滤波器组提取了极光图像的局部Gabor特征，此特征能比较吻合冕状极光发射状的纹理特性，但是对极光图像的其他类型缺乏推广性。2009年，Fu等人在文献“Fu R,Li J,Gao X,et al.Automatic aurora images classification algorithm based on separatedtexture.Robotics and Biomimetics(ROBIO),2009IEEE International Conference on.IEEE,2009:1331-1335”中将形态学分析与极光图像的分析结合，该方法将极光纹理区域和背景区域分离，并且分离后的结果能够保留极光纹理特征，提高了弧状与冕状极光图像的分类准确率。2010年，Wang等在文献“Wang Y,Gao X,Fu R,et al.Dayside corona auroraclassification based on X-gray level aura matrices.Proceedings of the ACM InternationalConference on Image and Video Retrieval.ACM,2010:282-287”中根据极光形态的特点提出基于X-GLAM特征的日侧极光图像分类算法，该方法针对冕状极光特殊纹理特性设计，增强了表述方向性特征的能力，在光照和旋转的影响上有较强的鲁棒性，但是进行了大量的像素运算，较为耗时。对现有极光图像分类算法研究分析发现，由于极光图像并没有特定的形状等表象特征，大部分特征提取方法只适用于一类或二类极光类型，且均存在分类效果准确率低的问题。

在图像分类领域中有一个BoW(Bag of Words)模型，该模型将一幅图像看做一篇文档。该模型首先提取图像特征，用图像特征生成“视觉单词”，然后统计图像的“视觉单词”出现频率即可完成图像的BoW描述。在BoW模型中，视觉单词具有区分性和代表性，因此，该方法有较好的鲁棒性并且可以抑制一定的噪声干扰。但该模型仅将图像看成是若干个视觉单词的集合，忽略了单词的位置信息。SPM(Spatial Pyramid Matching)模型，见文献“Lazebnik S,Schmid C,Ponce J.Beyond bags of features:Spatial pyramid matching forrecognizing natural scene categories.Computer Vision and Pattern Recognition,2006IEEEComputer Society Conference on.IEEE,2006,2:2169-2178”，可有效改善BoW模型这一缺陷。但是图像输入SPM模型得到的特征描述往往是高维数据，增加了图像的分类时间，需要使用更多的机器内存。LDA(Latent Dirichlet Allocation)模型，见文献“Blei,D.M.,Ng,A.Y.,Jordan,M.I.Latent Dirichlet Allocation.Journal of Machine Learning Research.3:993-1022,2003”，可以有效降低图像的特征维数，但是会降低最终的图像分类准确率。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种基于融合显著信息的潜在主题极光图像分类方法，以适用于多种极光类型的分类，并从语义角度表达极光图像的信息，有效的减少数据冗余，提高分类准确率与分类效率。

实现本发明上述目的的技术方案是：对输入的极光图像进行对比度增强的预处理，并使用谱残差算法获得输入的极光图像的极光显著图，提取预处理后的极光图像的视觉单词并生成极光图像视觉文档，提取极光显著图的视觉单词并生成极光显著图视觉文档，将上述两个视觉文档连接得到极光图像的语义加强型文档，输入至Latent Dirichlet Allocation模型得到极光图像的显著信息潜在语义分布特征SM-LDA，将SM-LDA输入给支持向量机SVM进行分类。其具体步骤包括如下：

(1)输入极光图像，用顶帽变换对输入的极光图像进行对比度增强的预处理，得到预处理后的极光图像；

(2)利用Bag of Words模型，提取预处理后的极光图像的视觉单词并生成极光图像视觉文档；

(3)使用谱残差SR算法，获得输入的原始极光图像的极光显著图；

(4)利用Bag of Words模型，提取极光显著图的视觉单词并生成极光显著图视觉文档；

(5)将步骤(2)和步骤(4)的视觉文档连接生成极光图像语义加强型文档；

(6)将极光图像语义加强型文档输入给Latent Dirichlet Allocation模型，通过该模型将极光图像语义加强型文档中的视觉单词分配给相应主题，得到极光图像的显著信息潜在语义分布特征SM-LDA；

(7)将极光图像的显著信息潜在语义分布特征SM-LDA输入给支持向量机SVM进行分类，得到最终的分类结果。

本发明与现有的技术相比具有以下优点：

1.本发明由于采用顶帽变换对极光图像进行预处理，改善了极光图像对比度不足以及亮度不均匀的现象；

2.本发明由于采用了Bag of Words模型对极光图像进行语义表示，避免了从极光图像自身形态出发提取其特征这一缺陷，适用于多种类型的极光图像分类；

3.本发明通过使用谱残差算法，得到极光显著图，有效地突出了极光图像的显著区域，有利于提高分类准确率；

4.本发明通过融合Bag of Words模型、谱残差算法和Latent Dirichlet Allocation模型，得到极光图像的SM-LDA表示，相较于Bag of Words模型和Spatial Pyramid Matching模型，缩短了分类时间，相较于Latent Dirichlet Allocation模型，提高了分类精度。

附图说明

图1是本发明的实现流程图；

图2是本发明与现有的基于Latent Dirichlet Allocation模型的分类方法在主题数变化时对极光图像的分类准确率对比图；

图3是用本发明和现有的四种极光图像分类方法对极光图像的分类平均准确率对比图；

图4是用本发明和现有的四种极光图像分类方法对极光图像的平均分类时间对比图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，对输入极光图像进行对比度增强的预处理。

增强图像对比度的方法有多种，例如，图像直方图拉伸方法、图像直方图均衡化方法和顶帽变换方法，本发明采用顶帽变换方法，即通过公式得到变换后的对比度增强图像：

I^N _th=I^N–I^NоE，

其中，I^N为输入的原始极光图像，E为r=80的disk型结构元素，o为开运算符号，I^N _th为顶帽变换后的图像，N=1,2,…,J，J为输入的原始极光图像总个数。

步骤2，提取预处理后的极光图像的视觉单词并生成极光图像视觉文档。

(2a)对顶帽变换后的极光图像I^N _th进行16×16的网格划分，将划分后的每个网格子图记为G^N _n，其中n=1,2,…,256；

(2b)计算每个网格子图G^N _n的Sift特征S^N _n，其中N=1,2,…,J，J为输入的原始极光图像总个数；

(2c)使用K均值聚类方法对Sift特征S^N _n进行聚类，得到K个聚类中心w_l，将一个聚类中心视作一个视觉单词，K个视觉单词即形成了字典，其中l=1,2,…,K；

(2d)对Sift特征S^N _n进行视觉单词量化，当min||S^N _n-w_l||₂时，令S^N _n=w_l，将极光图像量化为由n个视觉单词构成的极光图像视觉文档D^N。

步骤3，使用谱残差算法SR获取极光显著图。

(3a)对输入的原始极光图像I^N进行傅里叶变换，计算极光图像的幅度谱和相位谱：

A^N(f)=Amplitude(F(I^N))，

P^N(f)=Angle(F(I^N))，

其中A^N(f)为极光图像的幅度谱，Amplitude为取幅度操作，P^N(f)为极光图像的相位谱，Angle为取相位操作，I^N为输入的原始极光图像，F为傅里叶变换；

(3b)根据极光图像的幅度谱A^N(f)，计算极光图像的对数幅度谱：

L^N(f)=log(A^N(f))；

(3c)根据极光图像的对数幅度谱L^N(f)，计算极光图像的谱残差：

R^N(f)=L^N(f)-h(f)*L^N(f)，

其中，h(f)为3×3均值滤波模板，*为卷积符号；

(3d)根据极光图像的谱残差R^N(f)，得到极光显著图：

SR^N=g(x)*F^-1[exp(R^N(f)+P^N(f))]²，

其中，g(x)为高斯滤波器，用于平滑显著图，F^-1为傅里叶逆变换，exp为以e为底的指数函数。

步骤4，提取极光显著图的视觉单词并生成极光显著图视觉文档。

(4a)对极光显著图SR^N进行16×16的网格划分，将划分后的每个网格子图记为R^N _n，其中n=1,2,…,256；

(4b)计算每个网格子图R^N _n的Sift特征Q^N _n，其中N=1,2,…,J，J为输入的原始极光图像总个数；

(4c)使用K均值聚类方法对Sift特征Q^N _n进行聚类，得到K个聚类中心f_y，将一个聚类中心视作一个视觉单词，K个视觉单词即形成了字典，其中y=1,2,…,K；

(4d)对Sift特征S^N _n进行视觉单词量化，当min||Q^N _n-f_y||₂时，令Q^N _n=f_y，将极光图像量化为由n个视觉单词构成的极光图像视觉文档D^N _SR。

步骤5，将极光显著图视觉文档D^N _SR与极光图像视觉文档D^N首尾相接，构成极光图像语义加强型文档C^N=[D^N _SR,D^N]，记C^N中的视觉单词为c^N _p，其中p=1,2,…,512。

步骤6，通过Latent Dirichlet Allocation模型将极光图像语义加强型文档中的视觉单词分配给相应主题，得到极光图像的显著信息潜在语义分布特征SM-LDA。

Latent Dirichlet Allocation模型，是对文档进行建模的一种方法。在Latent DirichletAllocation模型下，一个文档由若干个主题构成，将文档中的单词分配给某个主题，可以得到文档的主题分配，其具体实现步骤如下：

(6a)对于极光图像语义加强型文档C^N中的单词c^N _p，随机设定其所属主题z_i，其中，i=1,2,…,T，T为主题个数，将此时的单词分配给主题的情况，作为Markov链的初始状态；

(6b)根据上述Markov链的初始状态，利用下式将极光图像语义加强型文档C^N中的单词c^N _p分配给相应主题，获取Markov链的下一个状态：

$(z_i=j|z_{-i},c)\∝\frac{n_{-i,j}^{\left({c^N}_p\right)}+\mathrm{\β}}{n_{-i,j}^{(\·)}+\mathrm{W\β}}\frac{n_{-i,j}^{\left(C^N\right)}+\mathrm{\α}}{n_{-i,\·}^{\left(C^N\right)}+\mathrm{T\α}},$

其中，z_i表示单词c^N _p所分配的主题，j表示某一个主题，j=1,2,…,T，T为主题个数，z_-i表示除单词c^N _p以外的单词分配情况，c表示极光图像语义加强型文档C^N中出现的所有单词构成的集合，

表示分配给主题j的单词c^N _p的个数，

表示分配给主题j的所有单词个数，

表示极光图像语义加强型文档C^N中分配到主题j的单词个数，

表示极光图像语义加强型文档C^N中所有被分配了主题的单词个数，W为极光图像语义加强型文档C^N中不重复的单词个数，α=50/T，β=0.01；

(6c)统计各主题中所分配的单词的个数，迭代步骤(6b)，直至各主题中所分配的单词的个数不再变化，再作各主题的单词分配直方图，将此直方图作为显著信息潜在语义分布特征SM-LDA。

步骤7，将极光图像的显著信息潜在语义分布特征SM-LDA输入给支持向量机SVM进行分类，得到最终的分类结果。

本发明选择径向基函数作为支持向量机SVM的核函数，对于不同的极光图像的显著信息潜在语义分布特征SM-LDA均采用3折交叉验证选择最佳参数c和g，其中c是损失函数，损失函数是对于错分类的惩罚，损失函数取值越大，则对于某个样本的错误分类的惩罚越大，调整c会影响最终的分类精度；g是核函数中的gamma函数。

本发明的效果可以通过下面的实验仿真进一步说明：

1.实验条件与方法

硬件平台为：Intel Core i3-2100、3.10GHz、2.91GB RAM；

软件平台为：MATLAB R2012a；

实验方法：分别为本发明和现有方法，现有方法为Bag of Words模型,Spatial PyramidMatching模型和Latent Dirichlet Allocation模型。

2.仿真内容与结果

本发明用于实验的数据由我国北极黄河站的全天空极光观测系统采集，这些数据来自2003年12月至2004年1月期间所观测到的G波段图像，每幅极光图像为512×512的灰度图像。实验所用极光图像共3200幅，其中弧状800幅，冕状2400幅。所有分类实验均随机采用其中的1600幅极光图像作为训练图像，另1600幅极光图像作为测试图像，最终结果为100次实验的平均分类准确率。

实验一，用本发明与现有的基于Latent Dirichlet Allocation模型的分类方法在主题数变化时对极光图像进行分类的平均分类准确率对比实验，实验结果如图2所示。

图2表明，当主题数T=20、40、60、80、100、120时，现有的基于Latent Dirichlet Allocation模型的平均分类准确率分别为89.07%、88.39%、89.17%、89.04%、88.21%、87.84%，本发明的平均分类准确率分别为89.99%、90.42%、90.20%、90.60%、89.67%、89.97%。可见，本发明有效地提高了平均分类准确率。

实验二，用本发明与现有四种方法对极光图像进行分类对比，其平均分类准确率对比结果如图3所示。其中，现有方法一为基于Bag of Words模型的极光图像分类方法，现有方法二为基于Bag of Words模型采用顶帽变换的极光图像分类方法，现有方法三为基于Spatial Pyramid Matching模型的极光图像分类方法，现有方法四为基于Spatial PyramidMatching模型采用顶帽变换的极光图像分类方法。

从图3可见，本发明的平均分类准确率略低于现有方法，但仍保持在90%以上。

实验三，用本发明与现有四种方法对极光图像进行分类对比，其分类时间复杂度对比结果如图4所示，其中，现有方法一为基于Bag of Words模型的极光图像分类方法，现有方法二为基于Bag of Words模型采用顶帽变换的极光图像分类方法，现有方法三为基于Spatial Pyramid Matching模型的极光图像分类方法，现有方法四为基于Spatial PyramidMatching模型采用顶帽变换的极光图像分类方法。

从图4可见，本发明在时间复杂度上远远低于现有方法，极大地提高了分类的效率。

综合以上分析，本发明能在保持高分类精度的前提下，大大提高了分类的效率。

Claims (6)

1.一种基于融合显著信息的潜在主题极光图像分类方法，包括如下步骤：

(1)输入极光图像，用顶帽变换对输入的极光图像进行对比度增强的预处理，得到预处理后的极光图像；

(2)利用Bag of Words模型，提取预处理后的极光图像的视觉单词并生成极光图像视觉文档；

(3)使用谱残差SR算法，获得输入的原始极光图像的极光显著图；

(4)利用Bag of Words模型，提取极光显著图的视觉单词并生成极光显著图视觉文档；

(5)将步骤(2)和步骤(4)的视觉文档连接生成极光图像语义加强型文档；

(6)将极光图像语义加强型文档输入给Latent Dirichlet Allocation模型，通过该模型将极光图像语义加强型文档中的视觉单词分配给相应主题，得到极光图像的显著信息潜在语义分布特征SM-LDA；

(7)将极光图像的显著信息潜在语义分布特征SM-LDA输入给支持向量机SVM进行分类，得到最终的分类结果。

2.根据权利要求书1所述的基于融合显著信息的潜在主题极光图像分类方法，其中步骤(1)所述的对输入极光图像进行对比度增强的预处理，采用如下顶帽变换公式进行：

I^N _th=I^N–I^NоE，

其中I^N为输入的原始极光图像，E为r=80的disk型结构元素，o为开运算符号，I^N _th为顶帽变换后的图像，N=1,2,…,J，J为输入的原始极光图像总个数。

3.根据权利要求书1所述的基于融合显著信息的潜在主题极光图像分类方法，其中步骤(2)所述的提取预处理后的极光图像的视觉单词并生成极光图像视觉文档，按如下步骤进行：

(2a)对顶帽变换后的极光图像I^N _th进行16×16的网格划分，将划分后的每个网格子图记为G^N _n，其中n=1,2,…,256；

(2b)计算每个网格子图G^N _n的Sift特征S^N _n，其中N=1,2,…,J，J为输入的原始极光图像总个数；

(2c)使用K均值聚类方法对Sift特征S^N _n进行聚类，得到K个聚类中心w_l，将一个聚类中心视作一个视觉单词，K个视觉单词即形成了字典，其中l=1,2,…,K；

(2d)对Sift特征S^N _n进行视觉单词量化，当min||S^N _n-w_l||₂时，令S^N _n=w_l，将极光图像量化为由n个视觉单词构成的极光图像视觉文档D^N。

4.根据权利要求书1所述的基于融合显著信息的潜在主题极光图像分类方法，其中步骤(3)所述的使用谱残差算法SR获取极光显著图，按如下步骤进行：

(3a)对输入的原始极光图像I^N进行傅里叶变换，计算极光图像的幅度谱和相位谱：

A^N(f)=Amplitude(F(I^N))，

P^N(f)=Angle(F(I^N))，

其中A^N(f)为极光图像的幅度谱，Amplitude为取幅度操作，P^N(f)为极光图像的相位谱，Angle为取相位操作，I^N为输入的原始极光图像，F为傅里叶变换；

(3b)根据极光图像的幅度谱A^N(f)，计算极光图像的对数幅度谱：

L^N(f)=log(A^N(f))；

(3c)根据极光图像的对数幅度谱L^N(f)，计算极光图像的谱残差：

R^N(f)=L^N(f)-h(f)*L^N(f)，

其中，h(f)为3×3均值滤波模板，*为卷积符号；

(3d)根据极光图像的谱残差R^N(f)，得到极光显著图：

SR^N=g(x)*F^-1[exp(R^N(f)+P^N(f))]²，

其中，g(x)为高斯滤波器，用于平滑显著图，F^-1为傅里叶逆变换，exp为以e为底的指数函数。

5.根据权利要求书1所述的基于融合显著信息的潜在主题极光图像分类方法，其中步骤(5)所述的生成极光图像语义加强型文档，是将极光显著图SR^N量化为由视觉单词组成的极光显著图视觉文档D^N _SR，并将该文档D^N _SR与极光图像视觉文档D^N首尾相接，构成极光图像语义加强型文档C^N=[D^N _SR,D^N]，记C^N中的视觉单词为c^N _p，其中p=1,2,…,512。

6.根据权利要求书1所述的基于融合显著信息的潜在主题极光图像分类方法，其中步骤(6)所述的通过Latent Dirichlet Allocation模型将极光图像语义加强型文档中的视觉单词分配给相应主题，得到极光图像的显著信息潜在语义分布特征SM-LDA，按如下步骤进行：

(6a)对于极光图像语义加强型文档C^N中的单词c^N _p，随机设定其所属主题z_i，其中，i=1,2,…,T，T为主题个数，将此时的单词分配给主题的情况，作为Markov链的初始状态；

(6b)根据上述Markov链的初始状态，利用下式将极光图像语义加强型文档C^N中的单词c^N _p分配给相应主题，获取Markov链的下一个状态：

$(z_i=j|z_{-i},c)\∝\frac{n_{-i,j}^{\left({c^N}_p\right)}+\mathrm{\β}}{n_{-i,j}^{(\·)}+\mathrm{W\β}}\frac{n_{-i,j}^{\left(C^N\right)}+\mathrm{\α}}{n_{-i,\·}^{\left(C^N\right)}+\mathrm{T\α}},$

其中，z_i表示单词c^N _p所分配的主题，j表示某一个主题，j=1,2,…,T，T为主题个数，z_-i表示除单词c^N _p以外的单词分配情况，c表示极光图像语义加强型文档C^N中出现的所有单词构成的集合，

表示分配给主题j的单词c^N _p的个数，

表示分配给主题j的所有单词个数，表示极光图像语义加强型文档C^N中分配到主题j的单词个数，表示极光图像语义加强型文档C^N中所有被分配了主题的单词个数，W为极光图像语义加强型文档C^N中不重复的单词个数，α=50/T，β=0.01；

(6c)统计各主题中所分配的单词的个数，迭代步骤(6b)，直至各主题中所分配的单词的个数不再变化，再作各主题的单词分配直方图，将此直方图作为显著信息潜在语义分布特征SM-LDA。

Images