CN104820843A - 一种基于优化高斯混合模型的图像语义标注的方法 - Google Patents

Abstract

本发明公开了一种基于优化高斯混合模型图像语义标注方法，属于图像检索和自动图像标注技术领域。本发明具体步骤如下：S1.通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，得到图像特征集合；S2.利用最大期望算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声区域的步骤；S3.根据图像特征集合，计算出区域层颜色后验概率和纹理后验概率，将求得的图像属于所有概念的后验概率按照降序排列，获得每一个概念的颜色排序值；类似的对纹理后验概率按照降序排列，获得每一概念的纹理排序值；选取前R个排序值之和最小的概念类标注图像。本发明图像底层特征与高层的语义概念表达之间的差异明显减少，有效解决了语义鸿沟的问题。

Description

一种基于优化高斯混合模型的图像语义标注的方法

技术领域

本发明涉及图像检索和自动图像标注技术领域，尤其涉及一种基于优化高斯混合模型的图像语义标注的方法。

背景技术

随着数字图像以及图像数据库数量的快速增长，图像检索已成为信息检索领域中的一个重要研究方向，它的目的是从图像数据库中快速提取出与查询相关的图像或者图像序列，使用户能迅速获取需要的特定图像。

图像语义自动标注是基于语义的图像检索的关键环节，已经成为图像检索中的研究热点。图像语义的自动标注就是为图像添加关键字来表示图像的语义内容，能够将图像的视觉特征转化为图像的标注字信息，继承了关键字检索的高效率，也克服了手工标注费时费力的缺点。传统的基于语义的图像检索方法原理如图1所示，直接由计算机自动实现从媒体内容中提取特征，并通过相似性匹配来检索图像，突破了关键词检索基于文本特征的局限，避免了人工描述的主观性，也大大减少了工作量，检索方式更加多样化。

但是传统的基于语义的图像检索建立在对图像底层特征的提取和分析、匹配的基础之上，无法解决图像底层特征与高层的语义概念表达之间存在着巨大的差异的问题，即“语义鸿沟”的问题。

发明内容

本发明为解决上述问题提出了一种基于优化高斯混合模型(I-GMM)的有监督图像语义标注方法，即通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，利用最大期望(EM)算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声区域的步骤，进一步提高了概念分类器的标注性能。

本发明的技术方案通过以下实现。

一种基于优化高斯混合模型图像语义标注方法，包括如下步骤：

S1.通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，图像分割后进行底层特征提取，然后通过图像的特征选择得到图像特征集合；

S2.利用最大期望算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声区域的步骤；

S3.根据图像特征集合，计算出区域层颜色后验概率和纹理后验概率，将求得的图像属于所有概念的后验概率按照降序排列，获得每一个概念的颜色排序值；类似的对纹理后验概率按照降序排列，获得每一概念的纹理排序值；选取前R个排序值之和最小的概念类标注图像。

进一步地，所示基于优化高斯混合模型图像语义标注方法，步骤S1中图像分割及底层特征提取，具体步骤如下：

S1-1.分析图像颜色并量化；

S1-2.对颜色量化后的图像进行空间分割得到任意形状的相似点集合，即分割后的图像区域；

S1-3.提取颜色特征，获得3维主颜色特征，以及每个图像区域中H、S、V 3个分量的均值和方差，共9维特征向量；

S1-4.提取纹理特征，获得4个尺度和6个方向的Gabor小波系数的均值和方差，共48维的区域纹理特征向量；

S1-5.整合图像特征，存入图像特征库。

进一步地，所示的基于优化高斯混合模型图像语义标注方法，步骤S1中图像的特征选择模块具体步骤如下：

1)对图像特征库进行采样，生成特征子集；

2)用连接F属性评估的属性选择算法评价特征子集，并得到其优劣程度的得分Score；

3)将特征子集优劣程度得分与连接F属性评估的属性选择算法中设定的阈值相比较，若Score大于阈值则转入步骤4)，否则转入步骤1)；

4)验证特征选择的结果。

进一步地，所示的基于优化高斯混合模型图像语义标注方法，S2中高斯混合模型建立具体步骤如下：

S2-1.对某一个语义概念w_k∈W，建立图像训练集T_k＝{I_i}_i＝1...N；其中W_k为第k个语言概念元素；W为语义概念的集合；T_k为第k个语义概念元素的训练集合；I_i为训练集合的第i个元素；

S2-2.确定高斯混合模型代表公式，如下：

$p_{X|W}\left(x\right|w_k)=G\left(x\right|\mathrm{\θ})=\underset{i=1}{\overset{K}{\Σ}}{\mathrm{\λ}}_i\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|{\mathrm{\Σ}}_i\right|}}\exp \{-0.5{(x-{\mathrm{\μ}}_i)}^T{\mathrm{\Σ}}_i(x-{\mathrm{\μ}}_i)\}$

其中λ_i，μ_i，∑_i分别表示第i个高斯分量的权重、均值向量和方差矩阵，x表示m维的特征向量，K是高斯模型的分量数目；

S2-3.E步计算得到初始化参数，计算公式如下：j＝1，..，K，t＝1，…，n；ω_tj是指特征矢量；x_t属于第j个混合分量的后验概率值；

S2-4.M步计算更新参数，计算公式如下： $\begin{array}{cc}{\widehat{\mathrm{\μ}}}_j\←\frac{{\Σ}_{t=1}^n{\mathrm{\ω}}_{tj}{x}_t}{{\Σ}_{t=1}^n{\mathrm{\ω}}_{tj}},& {\widehat{\mathrm{\Σ}}}_j\←\frac{{\Σ}_{t=1}^n{\mathrm{\ω}}_{tj}(x_t-{\widehat{\mathrm{\μ}}}_j)(x_t-{\widehat{\mathrm{\μ}}}_j)HT}{{\Σ}_{t=1}^n{\mathrm{\ω}}_{tj}};\end{array}$

λ_j表示第j个高斯分量的权重；μ_j表示第j个均值向量；∑_j表示第j个方差矩阵，表示m维的特征向量，K是高斯模型的分量数目；

S2-4.对每类特征参数进行GMM训练，得到训练的GMM矩阵；

S2-5.S1得到的特征参数进行优化，并且输入训练好的GMM，求其似然度；

S2-6.根据S2-5步算出的似然度，计算各类特征的匹配概率；

S2-7.对S2-6步中求出的各特征参数匹配概率加权求和得总匹配度Match；

S2-8.将求得的Match和阈值进行比较，如果大于阈值，将进行各特征的贡献率计算；如果小于阈值，将进行计数及送入结束判断；

S2-9.对S2-8.中的Match小于阈值且不满足结束条件的图像特征送回进行新一轮的训练，如果满足结束条件，则训练结束。

进一步地，所示的基于优化高斯混合模型图像语义标注方法，S3步骤中语义标注步骤具体如下：

S3-1.对于每一张测试图像I，按照步骤S1得到图像特征集合；

S3-2.按照公式 $p_{W|X}\left(w_k\right|B^j)=p_{W|X}\left(w_k\right|x)=\frac{p_{X|W}\left(x\right|w_k)\·p_W\left(w_k\right)}{p_X\left(x\right)},$ p_W(w_k)为第k个概念在整个训练集中出现的概率；p_X(x)假设为均匀分布，为一个常量；计算出区域层颜色后验概率p_W|XC(w_k|B^j)和纹理后验概率p_W|XT(w_k|B^j)；

S3-3.根据公式p(B^j|I)表示区域B^j占整幅图像面积的比例；计算出该图像的颜色后验概率值p_W|XC(w_k|I)和纹理后验概率值p_W|XT(w_k|I)；

S3-4.将求得的图像属于所有概念的后验概率p_W|XC(w_k|I)按照降序排列，获得每一个概念的颜色排序值类似的对p_W|XT(w_k|I)按照降序排列，获得每一概念的纹理排序值因此，对于每一个概念类，都可以求出它的颜色和纹理排序值之和r_k；

S3-5.选取前R个排序值之和最小的概念类标注图像。

进一步地，所示的基于优化高斯混合模型图像语义标注方法，S3步骤中R为6。

在特征优化方面，本发明运用连接F属性的评估的属性选择的优化算法，对图像的颜色和纹理特征进行特征选择。接下来用基于期望值最大化的高斯混合模型，对优化后的图像特征进行有效识别。

整个系统包括了图像分割及底层特征提取模块，特征选择模块，模型训练模块，语义标注模块，决策融合等模块，系统框图如图2。其中：

(1)图像分割及底层特征提取模块，具体步骤如下：

1.分析图像颜色并量化。

2.对颜色量化后的图像进行空间分割得到任意形状的相似点集合，即分割后的图像区域。

3.1提取颜色特征，获得3维主颜色特征，以及每个图像区域中H、S、V 3个分量的均值和方差，共9维特征向量。

3.2提取纹理特征，获得4个尺度和6个方向的Gabor小波系数的均值和方差，共48维的区域纹理特征向量。

4.整合图像特征，存入图像特征库。

(2)图像的特征选择模块，如图3所示，具体步骤如下：

1.对图像特征库进行采样，生成特征子集；

2.用连接F属性评估的属性选择算法评价特征子集，并得到其优劣程度的得分Score

3.将特征子集优劣程度得分与连接F属性评估的属性选择算法中设定的阈值相比较，若Score大于阈值则转入步骤4，否则转入步骤1；

4.验证特征选择的结果。

(3)模型训练模块如图4，具体步骤如下：

1.对某一个语义概念w_k∈W，建立图像训练集T_k＝{I_i}_i＝1...N；其中W_k为第k个语言概念元素；W为语义概念的集合；T_k为第k个语义概念元素的训练集合；I_i为训练集合的第i个元素。

2.确定高斯混合模型代表公式，如下：

$p_{X|W}\left(x\right|w_k)=G\left(x\right|\mathrm{\θ})=\underset{i=1}{\overset{K}{\Σ}}{\mathrm{\λ}}_i\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|{\mathrm{\Σ}}_i\right|}}\exp \{-0.5{(x-{\mathrm{\μ}}_i)}^T{\mathrm{\Σ}}_i(x-{\mathrm{\μ}}_i)\}$

其中λ_i，μ_i，∑_i分别表示第i个高斯分量的权重、均值向量和方差矩阵，x表示m维的特征向量，K是高斯模型的分量数目。

3.E步计算得到初始化参数，计算公式如下：

j＝1，..，K，t＝1，…，n；ω_tj是指特征矢量；x_t属于第j个混合分量的后验概率值。

4.M步计算更新参数，计算公式如下：

${\widehat{\mathrm{\λ}}}_j\←\frac{1}{n}{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}$

${\widehat{\mathrm{\μ}}}_j\←\frac{{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}{x}_t}{{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}}$

${\widehat{\mathrm{\Σ}}}_j\←\frac{{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}(x_t-{\widehat{\mathrm{\μ}}}_j){(x_t-{\widehat{\mathrm{\μ}}}_j)}^T}{{\Σ}_{t=1}^n{\mathrm{\ω}}_{tj}}$

λ_j表示第j个高斯分量的权重；μ_j表示第j个均值向量；∑_j表示第j个方差矩阵，表示m维的特征向量，K是高斯模型的分量数目。

5.针对Trecvid2005图像库，以步骤(1)的方法提取各种特征参数；

6.采用步骤(2)方法对特征参数进行降维处理；

7.对每类特征参数进行GMM(高斯混合模型)训练，得到训练的GMM矩阵；

8.将6步优化好的特征参数输入训练好的GMM，求其似然度；

9.根据8步算出的似然度，计算各类特征的匹配概率；

10.对9求出的各特征参数匹配概率加权求和得总匹配度Match；

11.将求得的Match和阈值进行比较，如果大于阈值，将进行各特征的贡献率计算；如果小于阈值，将进行计数及送入结束判断；

12.对11中的Match小于阈值且不满足结束条件的图像特征送回进行新一轮的训练，如果满足结束条件，则训练结束。

(4)语义标注模块，如图5，步骤具体如下：

1.对于每一张测试图像I，按照步骤(1)得到图像特征集合；

2.按照公式 $p_{W|X}\left(w_k\right|B_j)=p_{W|X}\left(w_k\right|x)=\frac{p_{X|W}\left(x\right|w_k)\·p_W\left(w_k\right)}{p_X\left(x\right)},$ p_W(w_k)为第k个概念在整个训练集中出现的概率；p_X(x)假设为均匀分布，为一个常量；计算出区域层颜色后验概率p_W|XC(w_k|B^j)和纹理后验概率p_W|XT(w_k|B^j)；

3.根据公式p(B^j|I)表示区域B^j占整幅图像面积的比例；计算出该图像的颜色后验概率值p_W|XC(w_k|I)和纹理后验概率值p_W|XT(w_k|I)。

4.将求得的图像属于所有概念的后验概率p_W|XC(w_k|I)按照降序排列，获得每一个概念的颜色排序值类似的对p_W|XT(w_k|I)按照降序排列，获得每一概念的纹理排序值因此，对于每一个概念类，都可以求出它的颜色和纹理排序值之和r_k。

5.选取前R个排序值之和最小的概念类标注图像I。

R是常数。优选R＝6，此时的F值最大，标注性能最好。

3.有益效果

相比于现有技术，本发明的优点在于：

(1)本发明图像底层特征与高层的语义概念表达之间的差异，特征选择模块采用连接F属性的评估的属性选择的优化算法，对图像的颜色和纹理特征进行特征选择，优化了图像的颜色和纹理特征。

(2)模型训练模块采用高斯混合模型(GMM)利用最大期望(EM)算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声区域的步骤，进一步提高了概念分类器的标注性能。

附图说明

图1现有技术中基于语义的图像检索方法原理图；

图2本发明的系统框图；

图3特征选择模块流程图；

图4模型训练模块流程图；

图5语义标注模块流程图；

图6模型训练模块流程图；

图7整个系统操作实例流程图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1：图像分割、底层特征提取、特征选择模块部分实例

具体步骤；

1.从提供的图像库中选出一个语义概念，每个语义概念包括200幅图像；

2.分析图像颜色并量化。

3.对颜色量化后的图像进行空间分割得到任意形状的相似点集合，即分割后的图像区域。

4.提取颜色特征，获得3维主颜色特征，以及每个图像区域中H、S、V 3个分量的均值和方差，共9维特征向量。

5.提取纹理特征，获得4个尺度和6个方向的Gabor小波系数的均值和方差，共48维的区域纹理特征向量。

6.整合图像特征，存入图像特征库。

7.对图像特征库进行采样，生成特征子集；

8.用连接F属性评估的属性选择算法评价特征子集，并得到其优劣程度的得分Score；

9.将特征子集优劣程度得分与连接F属性评估的属性选择算法中设定的阈值相比较，若Score大于阈值则转入步骤10，否则转入步骤7；

10.验证特征选择的结果。

实施例2：训练部分实例

具体步骤如图6所示；

(1)按照实施例1的方法得到优化后的图像特征库；

(2)将(1)中提取的特征参数输入训练好的GMM，求其似然度；

(3)对(2)求出的各特征参数匹配概率加权求和得总匹配度Match；

(4)将求得的Match和阈值进行比较，如果大于阈值，则将进行各特征的贡献率计算；如果小于阈值，则将进行计数及送入结束判断；

(5)对(4)中的Match小于阈值且不满足结束条件的特征送回进行新一轮的训练；如果满足结束条件，则训练结束。

实施例3：语义标注部分实例：

具体步骤如图：7所示；

(1)按照实施例1的方法得到优化后的图像特征库；

(2)将(1)中提取的特征参数，输入训练好的GMM矩阵，得到每种特征对应的似然度；

(3)根据(2)求出的似然度，求取为每类特征匹配的概率；

(4)所有特征对应的概率加权求和，作为总匹配Match；

(5)求得的Match和阈值进行比较，如果大于阈值，则将各特征的贡献率计算；如果小于阈值，则将进行计数及送入结束判断。

Claims (6)

1.一种基于优化高斯混合模型图像语义标注方法，其特征在于，

包括如下步骤：

S1.通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，图像分割后进行底层特征提取，然后通过图像的特征选择得到图像特征集合；

S2.利用最大期望算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声区域的步骤；

S3.根据图像特征集合，计算出区域层颜色后验概率和纹理后验概率，将求得的图像属于所有概念的后验概率按照降序排列，获得每一个概念的颜色排序值；类似的对纹理后验概率按照降序排列，获得每一概念的纹理排序值；选取前R个排序值之和最小的概念类标注图像。

2.根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，步骤S1中图像分割及底层特征提取，具体步骤如下：

S1-1.分析图像颜色并量化；

S1-2.对颜色量化后的图像进行空间分割得到任意形状的相似点集合，即分割后的图像区域；

S1-3.提取颜色特征，获得3维主颜色特征，以及每个图像区域中H、S、V 3个分量的均值和方差，共9维特征向量；

S1-4.提取纹理特征，获得4个尺度和6个方向的Gabor小波系数的均值和方差，共48维的区域纹理特征向量；

S1-5.整合图像特征，存入图像特征库。

3.根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，步骤S1中图像的特征选择具体步骤如下：

1)对图像特征库进行采样，生成特征子集；

2)用连接F属性评估的属性选择算法评价特征子集，并得到其优劣程度的得分Score

3)将特征子集优劣程度得分与连接F属性评估的属性选择算法中设定的阈值相比较，若Score大于阈值则转入步骤4)，否则转入步骤1)；

4)验证特征选择的结果。

4.根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，S2中高斯混合模型建立具体步骤如下：

S2-1.对某一个语义概念W_k∈W建立图像训练集T_k＝{I_i}_i＝1…N；其中W_k为第k个语言概念元素；W为语义概念的集合；T_k为第k个语义概念元素的训练集合；I_i为训练集合的第i个元素；

S2-2.确定高斯混合模型代表公式，如下：

$p_{X|W}\left(x\right|w_k)=\mathrm{\α}\left(x|\mathrm{\θ}\right)=\underset{i=1}{\overset{K}{\Σ}}{\mathrm{\λ}}_i\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|{\mathrm{\Σ}}_i\right|}}\exp \{-0.5{(x-{\mathrm{\μ}}_i)}^T{\mathrm{\Σ}}_i(x-{\mathrm{\μ}}_i)\}$

其中λ_i，μ_i，∑_i分别表示第i个高斯分量的权重、均值向量和方差矩阵，x表示m维的特征向量，K是高斯模型的分量数目；

S2-3.E步计算得到初始化参数，计算公式如下：j＝1，..，K，t＝1，…，n；ω_ij是指特征矢量；x_t属于第j个混合分量的后验概率值；

S2-4.M步计算更新参数，计算公式如下： ${\widehat{\mathrm{\μ}}}_j\←\frac{{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}{x}_t}{{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}},$ ${\widehat{\Σ}}_j\←\frac{{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}(x_t-{\widehat{\mathrm{\μ}}}_j){(x_t-{\widehat{\mathrm{\μ}}}_j)}^T}{{\mathrm{\Σ}}_{t=1}^n{\mathrm{\ω}}_{tj}};$

λ_j表示第j个高斯分量的权重；μ_j表示第j个均值向量；∑_j表示第j个方差矩阵，表示m维的特征向量，K是高斯模型的分量数目；

S2-4.对每类特征参数进行GMM训练，得到训练的GMM矩阵；

S2-5.S1得到的特征参数进行优化，并且输入训练好的GMM，求其似然度；

S2-6.根据S2-5步算出的似然度，计算各类特征的匹配概率；

S2-7.对S2-6步中求出的各特征参数匹配概率加权求和得总匹配度Match；

S2-8.将求得的Match和阈值进行比较，如果大于阈值，将进行各特征的贡献率计算；如果小于阈值，将进行计数及送入结束判断；

S2-9.对S2-8.中的Match小于阈值且不满足结束条件的图像特征送回进行新一轮的训练，如果满足结束条件，则训练结束。

5.根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，S3步骤中语义标注步骤具体如下：

S3-1.对于每一张测试图像I，按照步骤S1得到图像特征集合；

S3-2.按照公式 $p_{W|X}\left(w_k|B^j\right)=p_{W|X}\left(w_k\right|x)=\frac{p_{X|W}\left(x\right|w_k)\·p_W\left(w_k\right)}{p_X\left(x\right)},$ p_W(w_k)为第k个概念在整个训练集中出现的概率；p_X(x)假设为均匀分布，为一个常量；计算出区域层颜色后验概率p_W|XC(w_k|B^j)和纹理后验概率p_W|XT(w_k|B^j)；

S3-3.根据公式 $p_{W|X}\left(w_k\right|I)={\underset{B^j\⋐}{\Σ}}_I{p}_{W|X}\left(w_k\right|B^j)\·p\left(B^j\right|I),$ p(B^j|I)表示区域B^j占整幅图像面积的比例；计算出该图像的颜色后验概率值p_W|XC(w_k|I)和纹理后验概率值p_W|XT(w_k|I)；

S3-4.将求得的图像属于所有概念的后验概率p_W|XC(w_k|I)按照降序排列，获得每一个概念的颜色排序值类似的对p_W|XT(w_k|I)按照降序排列，获得每一概念的纹理排序值因此，对于每一个概念类，都可以求出它的颜色和纹理排序值之和r_k；

S3-5.选取前R个排序值之和最小的概念类标注图像。

6.根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，S3步骤中R为6。