CN104867118A - 一种用于增强图像标记效果的多尺度级联层次模型方法 - Google Patents

Abstract

本发明公开了一种用于增强图像标记效果的多尺度级联层次模型方法，包括以下步骤：步骤1、初始化步骤：建立数据集的分层尺度空间，初始化待标记图片的质量矩阵为最差；步骤2、选择图像标记方法，为原图像进行标记，更新原图像的标记质量矩阵；步骤3、利用相同的标记方法标记尺度空间的其他层图像，更新图像标记质量矩阵，标记过程的参数依据原图像的标记结果产生；步骤4、将其余层得到的标记结果进行尺度还原，并根据每层中所得到的标记质量来更新原图像的标记结果；步骤5、重复步骤3和步骤4，直到原图像的质量矩阵发生更新后没有质量变化结束。利用了不同语义范畴的事物在同一张图片中不同尺度的表现力不同，能有效地提高标记准确率。

Description

一种用于增强图像标记效果的多尺度级联层次模型方法

技术领域

本发明属于计算机视觉方法领域，涉及一种用于增强图像标记效果的多尺度级联层次模型方法

背景技术

图像标记的任务是将图像中每个像素标记到它所属的标记类别(labeling each pixel in animage with its semantic category)，它是场景理解的重要步骤和基础，在计算机视觉领域有着重要的作用。在过去的研究中，很多有效的标记方法被提出来，例如模版匹配、关联法、特征包方法、形状模型、标记迁移方法等。这些方法考虑使用固定尺度的输入图像以及对输入图像上固定尺度的对象类别，并且从一些固定尺寸的训练数据中为每种标记类别训练出具有识别能力的模型。在解析层次上，这些系统利用像素点、窗口、边缘或者其他的图像表征形成的学习或者匹配的模型，为固定尺度的图像或者对象进行标记。

一定的尺度可以精确的反映出需要被表示的物体，现实世界中的物体总是通过不同尺度的观察而得到不同变化。尺度空间理论属于计算机视觉中图像多分辨率分析。从图像表现力的角度来说，例如在金字塔尺度模型、高斯尺度模型这些经典的尺度模型中，不同尺度的对象有着不同的表现力，某种尺度下无法发现的特性在另一种尺度下可能很容易被发现。

现有技术中利用固定尺度进行图像标记，得到的标记结果准确率不高。

发明内容

本发明针对现有技术中对图像标记结果准确率不高的问题，提出一种用于增强图像标记效果的多尺度级联层次模型方法，利用图像不同的尺度具有不同的表现力的特性以及模型运行的收敛迭代算法来增强单层图像标记效果，计算结构简单，收敛性较好。

一种用于增强图像标记效果的多尺度级联层次模型方法，包括以下步骤：

步骤1：对待标记图像建立尺度空间并初始化初始尺寸图像X₁的标记质量矩阵ε₁；

$\stackrel{\·\·\·}{X}=(X_1,X_2,...,X_t),{\mathrm{\ϵ}}_1=0$

其中，X_i表示尺度空间中第i层图像,i∈(1,2,...,t)，t表示尺度空间中图像总层数，p为待标记图像的分辨率，c表示图像标记类别的数目；

步骤2：利用所选的图像标记方法Ω(X,L|θ)对尺度空间中第1层图像进行标记，以得到标记质量矩阵，更新ε₁；

其中，X表示待标记图像，L表示标记类型空间，L＝{l₁,l₂,…,l_c}；θ表示所选的图像标记方法的标记参数；

步骤3：使用图像标记方法Ω(X,L|θ)依次对尺度空间中其余层图像进行标记，得到尺度空间中每层图像的标记结果 和标记质量矩阵空间

其中，Y_i和ε_i分别表示尺度空间中第i层图像的标记结果矩阵和标记质量矩阵，i∈(1,2,...,t)；

每层图像所使用的标记参数θ_i受第1层图像的标记质量矩阵ε₁影响，按以下公式确定：

θ_j＝Ψ(ε₁,j)，j∈(2,3,...,t)

其中，Ψ(·,j)依据所选图像标记方法确定；

其他层的标记方法使用的标记分类阈值T以原图像的标记质量矩阵ε₁做参考，参考形式为T＝λt₀，其中t₀为初始阈值，λ为紧缩参数，并且λ∝ε₁；

步骤4：将第2层图像到第t层图像的标记结果矩阵放大到初始尺寸图像大小，得到还原标记结果矩阵Y_j′和还原标记质量矩阵ε_j′，j∈(2,3,...,t)；

步骤5：将第1层图像中每个像素点的标记质量跟其他层的还原标记质量进行比较，选出最优的标记结果更新到初始尺寸图像的标记结果矩阵中，得到新的第1层图像的标记质量矩阵ε₁′，并将ε₁′赋值给ε₁；

步骤6：判断第1层图像的标记质量矩阵ε₁是否发生变化，若发生变化，则返回步骤3以ε₁修改每层的标记参数，继续对图像进行标记，直至第1层图像的标记质量矩阵不再发生变化时，输出标记结果，完成对图像的标记。

所述图像建立尺度空间的方法包括高斯金字塔、拉普拉斯金字塔或简单抽样。

所述步骤4中还原标记结果矩阵Y_j′和还原标记质量矩阵ε_j′采用上采样方法获得：

标记结果矩阵上采样过程为：

Y_j′＝Γ(Y_j,j-1)，j∈(2,3,...,t)

标记质量矩阵上采样过程为：

ε_j′＝Η(ε_j,j-1)，j∈(2,3,...,t)

其中，Γ(Y_j,j-1)将标记结果矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记结果矩阵；

Η(ε_j,j-1)将标记质量矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记质量矩阵。

所述步骤5中将其它层中最优的标记结果更新到初始尺寸图像的标记结果时，首先对标记质量矩阵进行归一化处理，然后从归一化处理后的所有标记质量矩阵RE中选取每个像素点最优的标记结果；

归一化处理公式如下：

RE＝(E-min(E))/(max(E)-min(E))

其中，E＝(ε₁,ε₂′,...,ε_t′)。

所述图像标记方法包括KNN标记算法或SVM分类算法；

所述图像标记方法中的标记参数指KNN标记算法中的聚类阈值或SVM分类算法中的分类距离。

有益效果

本发明提供了一种用于增强图像标记效果的多尺度级联层次模型方法，该模型的自下而上是一种标记调解过程，从上至下是一种标记结果反馈过程。在对第一层图像进行标记之后，得到的能量矩阵ε₁和其他层所在的层次影响该层标记过程中所需要用到的参数，进而得到除第一层外的其他层的标记和能量矩阵在反馈过程中，第一层图像中每个像素点的能量值会跟其他层对应点的能量进行比较，取由较小能量值表征的标记作为像素的标记类别，进而优化第一层的标记结果。如果只进行一次影响—反馈过程，在通常情况下还不能达到尺度空间条件下标记的最优解，因此，本发明利用迭代的过程达到或者接近尺度空间条件下标记的最优解。

该方法利用了不同语义范畴的事物在同一张图片中不同尺度的表现力不同，去增强现有的标记算法，有良好的收敛性，具有一定的普适性，能有效地提高标记准确率。

附图说明

图1为本发明所述的用于增强图像标记效果的多尺度级联层次模型方法的流程图；

图2为多尺度级联层次模型示意图；

图3为金字塔方法构建的图像尺度空间示意图，其中，(a)为原图，(b)为第2层，(c)为第3层，(d)为第4层，(e)第5层；

图4为尺度空间各层的标记结果类别示意图，其中，(a)为第1层，(b)为第2层，(c)为第3层，(d)为第4层，(e)第5层；

图5为标记结果的矩阵质量可视化示意图，其中，(a)为第1层，(b)为第2层，(c)为第3层，(d)为第4层，(e)第5层；

图6为多尺度模型下KNN方法进行标记的最终结果，其中，(a)为标记结果类别示意图，(b)为标记结果的质量矩阵可视化示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的说明。

一种用于增强图像标记效果的多尺度级联层次模型方法，包括以下步骤：

步骤1：对待标记图像建立尺度空间并初始化初始尺寸图像X₁的标记质量矩阵ε₁；

$\stackrel{\·\·\·}{X}=(X_1,X_2,...,X_t),{\mathrm{\ϵ}}_1=0$

其中，X_i表示尺度空间中第i层图像,i∈(1,2,...,t)，t表示尺度空间中图像总层数，p为待标记图像的分辨率，c表示图像标记类别的数目；

所述图像建立尺度空间的方法包括高斯金字塔、拉普拉斯金字塔或简单抽样；

如图3中(a)所示的分辨率为1280*960的图像，它的标记空间大小为7，即7个类别的标记，根据上述两个数据设置t＝5，即5层的尺度空间，利用图像金字塔方法建立尺度空间：

$\stackrel{\·\·\·}{X}=(X_1,X_2,...,X_t|\mathrm{\σ}),$

σ为缩放过程中采用的高斯卷积核，将原始尺寸图像的标记质量矩阵ε₁设定为最差情况，即ε₁＝0，此时每个点的标记质量都为0，既最小的极限值。

从第一层到第五层，依次如图3中的(a)-(e)所示，其中，为了方便观察，(b)-(e)均还原到了原图的尺寸；

步骤2：利用所选的图像标记方法Ω(X,L|θ)对尺度空间中第1层图像进行标记，以得到标记质量矩阵，更新ε₁；

其中，X表示待标记图像，L表示标记类型空间，L＝{l₁,l₂,…,l_c}；θ表示所选的图像标记方法的标记参数；

所述图像标记方法包括KNN标记算法或SVM分类算法；

所述图像标记方法中的标记参数指KNN标记算法中的聚类阈值或SVM分类算法中的分类距离；

选定一种标记算法，示例采用的是能够简单说明的KNN标记算法，即在已标记好的数据集中找到图像相似的K个临近图像，再利用Label Transfer方法将图像的每个像素点进行标记，设定K取值为10，K依据样本数据集规模和期望的准确度而定，并且和这两种因素成正比关系；

第一层(原图像层)标记过程采用的Label Transfer方法的参数为默认参数；

步骤3：使用图像标记方法Ω(X,L|θ)依次对尺度空间中其余层图像进行标记，得到尺度空间中每层图像的标记结果 和标记质量矩阵空间

其中，Y_i和ε_i分别表示尺度空间中第i层图像的标记结果矩阵和标记质量矩阵，i∈(1,2,...,t)；

每层图像所使用的标记参数θ_i受第1层图像的标记质量矩阵ε₁影响，按以下公式确定：

θ_j＝Ψ(ε₁,j)，j∈(2,3,...,t)

其中，Ψ(·,j)依据所选图像标记方法确定；

除了第一层外的其他层采用的参数需要跟据原图像的标记结果而定，Label Transfer方法中标记参数为迁移系数ρ，它是用来设定有关类似度阈值的参数，并且针对每个像素点都有一个迁移系数值，因此ρ是一个矩阵，当第一层标记的结果整体较好的时候，其他层的ρ矩阵处于紧缩状态，即设置较小的值，反之则需要设置较大的值；

步骤4：将第2层图像到第t层图像的标记结果矩阵放大到初始尺寸图像大小，得到还原标记结果矩阵Y_j′(如图4中(b)到(e)对应图像)和还原标记质量矩阵ε_j′(如图5中(b)到(e)对应图像)，j∈(2,3,...,t)；

所述的标记类别包括building1-建筑物1、building2-建筑物2、building3-建筑物3、sidewalk-人行道、sky-天空、road-马路、car-汽车、tree-树、unknown-未知物体；

所述步骤4中还原标记结果矩阵Y_j′和还原标记质量矩阵ε_j′采用上采样方法获得：

标记结果矩阵上采样过程为：

Y_j′＝Γ(Y_j,j-1)，j∈(2,3,...,t)

标记质量矩阵上采样过程为：

ε_j′＝Η(ε_j,j-1)，j∈(2,3,...,t)

其中，Γ(Y_j,j-1)将标记结果矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记结果矩阵；

Η(ε_j,j-1)将标记质量矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记质量矩阵；

步骤5：将第1层图像中每个像素点的标记质量跟其他层的还原标记质量进行比较，选出最优的标记结果更新到图4中(a)所示的初始尺寸图像的标记结果矩阵中，得到新的第1层图像的标记质量矩阵ε₁′(图5中(a)所示)，并将ε₁′赋值给ε₁；

所述步骤5中将其它层中最优的标记结果更新到初始尺寸图像的标记结果时，首先对标记质量矩阵进行归一化处理，然后从归一化处理后的所有标记质量矩阵RE中选取每个像素点最优的标记结果；

归一化处理公式如下：

RE＝(E-min(E))/(max(E)-min(E))

其中，E＝(ε₁,ε₂′,...,ε_t′)；

步骤6：判断第1层图像的标记质量矩阵ε₁是否发生变化，若发生变化，则返回步骤3以ε₁修改每层的标记参数，继续对图像进行标记，直至第1层图像的标记质量矩阵不再发生变化时，输出标记结果(如图6所示)。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种用于增强图像标记效果的多尺度级联层次模型方法，其特征在于，包括以下步骤：

步骤1：对待标记图像建立尺度空间并初始化初始尺寸图像X₁的标记质量矩阵ε₁；

$\stackrel{\·\·\·}{X}=(X_1,X_2,...,X_t),{\mathrm{\ϵ}}_1=0$

其中，X_i表示尺度空间中第i层图像,i∈(1,2,...,t)，t表示尺度空间中图像总层数，p为待标记图像的分辨率，c表示图像标记类别的数目；

步骤2：利用所选的图像标记方法Ω(X,L|θ)对尺度空间中第1层图像进行标记，以得到标记质量矩阵，更新ε₁；

其中，X表示待标记图像，L表示标记类型空间，L＝{l₁,l₂,…,l_c}；θ表示所选的图像标记方法的标记参数；

步骤3：使用图像标记方法Ω(X,L|θ)依次对尺度空间中其余层图像进行标记，得到尺度空间中每层图像的标记结果 和标记质量矩阵空间

其中，Y_i和ε_i分别表示尺度空间中第i层图像的标记结果矩阵和标记质量矩阵，i∈(1,2,...,t)；

每层图像所使用的标记参数θ_i受第1层图像的标记质量矩阵ε₁影响，按以下公式确定：

θ_j＝Ψ(ε₁,j)，j∈(2,3,...,t)

其中，Ψ(·,j)依据所选图像标记方法确定；

步骤4：将第2层图像到第t层图像的标记结果矩阵放大到初始尺寸图像大小，得到还原标记结果矩阵Y_j′和还原标记质量矩阵ε_j′，j∈(2,3,...,t)；

步骤5：将第1层图像中每个像素点的标记质量跟其他层的还原标记质量进行比较，选出最优的标记结果更新到初始尺寸图像的标记结果矩阵中，得到新的第1层图像的标记质量矩阵ε₁′，并将ε₁′赋值给ε₁；

步骤6：判断第1层图像的标记质量矩阵ε₁是否发生变化，若发生变化，则返回步骤3以ε₁修改每层的标记参数，继续对图像进行标记，直至第1层图像的标记质量矩阵不再发生变化时，输出标记结果，完成对图像的标记。

2.根据权利要求1所述的一种用于增强图像标记效果的多尺度级联层次模型方法，其特征在于，所述图像建立尺度空间的方法包括高斯金字塔、拉普拉斯金字塔或简单抽样。

3.根据权利要求1所述的一种用于增强图像标记效果的多尺度级联层次模型方法，其特征在于，所述步骤4中还原标记结果矩阵Y_j′和还原标记质量矩阵ε_j′采用上采样方法获得：

标记结果矩阵上采样过程为：

Y_j′＝Γ(Y_j,j-1)，j∈(2,3,...,t)

标记质量矩阵上采样过程为：

ε_j′＝Η(ε_j,j-1)，j∈(2,3,...,t)

其中，Γ(Y_j,j-1)将标记结果矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记结果矩阵；

Η(ε_j,j-1)将标记质量矩阵进行j-1次上采样得到和初始尺寸图像相同尺寸的标记质量矩阵。

4.根据权利要求1所述的一种用于增强图像标记效果的多尺度级联层次模型方法，其特征在于，所述步骤5中将其它层中最优的标记结果更新到初始尺寸图像的标记结果时，首先对标记质量矩阵进行归一化处理，然后从归一化处理后的所有标记质量矩阵RE中选取每个像素点最优的标记结果；

归一化处理公式如下：

RE＝(E-min(E))/(max(E)-min(E))

其中，E＝(ε₁,ε₂′,...,ε_t′)。

5.根据权利要求1-4任一项所述的一种用于增强图像标记效果的多尺度级联层次模型方法，其特征在于，所述图像标记方法包括KNN标记算法或SVM分类算法；

所述图像标记方法中的标记参数指KNN标记算法中的聚类阈值或SVM分类算法中的分类距离。