CN105005794B - 融合多粒度上下文信息的图像像素语义标注方法 - Google Patents

Abstract

本发明涉及图像智能识别领域，具体涉及到融合多粒度上下文信息对图像进行像素语义标注的方法。本发明对图像标注结果与视觉特征之间的关系进行分析和统计，通过细粒度上下文描述和标注平滑参数构成细粒度位置对标注模型，用以表征语义标签在局部区域内的传递特点，同时，利用粗粒度上下文描述符和语义共生参数，构成粗粒度位置对标注模型，用以描述图像中蕴含的语义类别共生关系，采用二阶条件随机场模型将单位置标注模型和两种位置对标注模型结合，使得标注模型融合了丰富的图像信息，具有较高的图像标注精确度，然后采用piecewise方法结合训练数据对模型参数进行分段并行训练，提高了训练效率。

Description

融合多粒度上下文信息的图像像素语义标注方法

技术领域

本发明涉及图像智能识别领域，具体涉及到融合多粒度上下文信息对图像进行像素语义标注的方法。

背景技术

随着图像处理与分析技术的日益进步，计算机性能的逐步提高以及图像数量的不断增长，如何使计算机能像人一样看见和理解世界成为计算机视觉的一个重要研究目标。通过计算机编程让计算机自动解释图片的内容以实现图像理解是人工智能和计算机视觉领域的挑战之一。

图像理解的研究内容和技术路线目前主要分为三种方式，一类是对图像整体进行语义标注，使用一定量的标签提供图像的高层语义分类，对图像标出“城市”、“落日”等关键词作为图像的语义标签，但是不明确地识别图像中目标的具体位置。

另一类是采用目标检测识别出图像中的离散目标，例如“汽车”、“牛”，在目标周围形成一个边界框来进行目标定位，但是这种方法没有给出目标的详细轮廓，也无法推断出图像的整体内容。

第三类是为整幅图像生成像素级的标注，假设每个像素属于单一的感兴趣类别，而且该类别可以被无歧义地识别出来，将图像按照目标和背景的类别分别为每一像素设置一个语义标签，这一类最接近图像理解这一长期目标，成为图像理解最热门的研究内容。

在图像像素级标注过程中，单独处理每个像素会产生标注结果不一致的现象，像素视觉特征之间的关系以及语义标注之间的关系是图像理解不可忽视的关键内容。如何将图像中的上下文信息充分地融入图像标注模型以提高标注效果，是图像理解领域一直以来重点研究的核心问题。

发明内容

本发明的目的在于提供一种利用多粒度上下文信息的图像标注方法，解决图像标注模型在满足局部标注连续性的基础上，同时具有辨识易混淆特征能力的问题。

本发明是采用如下技术方案实现的：

一种融合多粒度上下文信息的图像像素语义标注方法，包括如下步骤：

(1)将图像划分为网格图像，针对任意网格位置i，构造一个颜色、纹理、形状特征组成的特征向量Y_i，得到特征向量集合Y＝{Y_i|i∈N}，N为位置的数量，Y_i表示位置i的特征向量；

(2)设θ为特征权重参数，设与特征向量集合对应的标注集合为L＝{L_i|i∈N}，其中L_i表示位置i的语义标签，采用逻辑回归分类器构造softmax函数，利用所有的特征向量和权值参数统计每个位置所属语义类别的代价，建立图像语义的单位置标注模型；

(3)确定细粒度上下文信息在图像标注中的作用，具体如下：

a)以任意网格位置i为中心，设置其细粒度上下文窗口η_i ¹，将中心位置i与其在细粒度窗口中相邻的其他位置两两组合，用j表示i的相邻位置，利用所有位置对(i,j)的合并特征构成细粒度上下文描述符f_ij；

b)用L_i和L_j分别表示位置i和j的语义标注结果，在细粒度窗口中考虑相邻位置的语义标注类别的连续性，为细粒度上下文描述符设置标注平滑参数α，当L_i为语义标注中的第m类，而L_j为语义标注中的第n类，即L_i≠L_j时，设其标注平滑参数α_mn为0，因此，细粒度上下文窗口中的标注平滑参数仅与相同语义类别的位置对相关；

c)针对具有相同语义类别的位置对，利用平滑参数和细粒度上下文描述符对η_i ¹中的位置对建立标注模型，得到基于细粒度的双位置标注模型；

(4)确定粗粒度上下文信息在图像标注中的作用，具体如下：

a)将每个以网格位置i为中心，面积为16×16grids～20×20grids(包括16×16grids、17×17grids、18×18grids、19×19grids、20×20grids)的区域划分为8个子区域，这8个子区域构成粗粒度上下文窗口其中每个子区域被视作一个整体，作为i的相邻粗粒度位置

b)利用粗粒度上下文描述符，统计所有粗粒度位置中语义类别的共生关系；

c)设置语义共生参数β，结合粗粒度上下文描述符对中的位置对的标注结果进行建模，得到基于粗粒度的双位置标注模型；

(5)将单位置标注模型和基于粗细粒度两种双位置标注模型结合，建立融合多粒度上下文信息的二阶条件随机场模型；

(6)将已知的标注集合L和特征向量集合Y作为训练集，采用piecewise训练方法对二阶条件随机场模型进行训练，得到合适的模型参数具体如下：

a)利用随机赋值对二阶条件随机场模型参数进行初始化，得到模型初始化参数λ_initial＝(θ,α,β)；

b)根据λ_initial＝(θ,α,β)，利用所有的特征向量集合Y和已知的标注集合L，采用极大似然估计迭代计算P(L|Y,λ)的对数损失函数，利用piecewise训练方式对二阶条件随机场模型进行分段并行训练，直到收敛，此时，为所求的模型参数；

(7)在确定融合多粒度上下文信息的二阶条件随机场模型参数的基础上，对未标注图像进行网格划分，根据提取的特征向量，利用边缘最大后验概率求得与未标注图像对应的最优标注集合，将最优标注集合结合相应的图像位置，在图像上输出最终的标注结果。

本发明以自动标注图像中每个像素所属语义类别为目的，首先根据人工标注的图像数据集为基础，构成训练集，包括标注集合、特征向量集合和粗细两种粒度上下文描述符，分别构建单位置和粗细两种粒度的双位置标注模型，并将其融入二阶条件随机场模型，建立融合多粒度上下文信息的条件随机场模型；接着采用piecewise训练方法对条件随机模型进行训练，得到合适的模型参数；然后在所获得的模型基础上，对未标注图像进行像素级语义标注。

有益效果：本发明对图像标注结果与视觉特征之间的关系进行分析和统计，通过细粒度上下文描述和标注平滑参数构成细粒度位置对标注模型，用以表征语义标签在局部区域内的传递特点，同时，利用粗粒度上下文描述符和语义共生参数，构成粗粒度位置对标注模型，用以描述图像中蕴含的语义类别共生关系，采用二阶条件随机场模型将单位置标注模型和两种位置对标注模型结合，使得标注模型融合了丰富的图像信息，具有较高的图像标注精确度，然后采用piecewise方法结合训练数据对模型参数进行分段并行训练，提高了训练效率。

本发明设计合理，用于自动标注图像各像素所属语义类别，有助于实现图像理解的智能化，是一种有效的图像语义标注方法。

附图说明

图1是图像网格划分示意图。

图2是细粒度上下文窗口和粗粒度上下文窗口示意图。

图3是融合多粒度上下文信息的条件随机场模型的因子图。

图4是条件随机场模型参数分段训练示意图。

具体实施方式

下面结合附图对本发明的具体实施例进行详细说明。

在图像理解过程中，上下文信息对于不同类别的目标识别有着重要的作用，传统的二阶条件随机场模型仅描述了局部上下文信息，为了获取全局上下文信息，本发明将双位置标注的邻域基团扩展为粗细两种粒度的上下文窗口，在细粒度上下文窗口中考虑相邻位置的语义标注类别的连续性，利用标签平滑参数和细粒度上下文描述符计算语义标签的同质传递概率，在粗粒度上下文窗口中利用稀疏表达方式实现对不同类型语义标签的共生性的描述，通过语义共生参数和粗粒度上下文描述符体现语义类别的空间共生关系，增强易混淆特征的辨识能力。

下面对一种融合多粒度上下文信息的图像像素语义标注方法进行详细描述，包括如下步骤：

(1)将图像划分为网格图像，如图1所示，每个网格的尺度为1pixel。针对任意网格位置i，构造一个颜色、纹理、形状特征组成的d维特征向量Y_i＝{Y_i1,Y_i2,…,Y_id}，得到特征向量集合Y＝{Y_i|i∈N}，其中N为位置的数量，Y_i表示位置i的特征向量；

(2)设置特征权重参数θ＝{θ₁,θ₂,…,θ_M}，M为语义类别的数量，其中第l个元素为θ_l＝{θ_l,1,θ_l,2,…,θ_l,d}表示与第l类语义标签对应的特征权值，设与特征向量集合对应的标注集合为L＝{L_i|i∈N}，其中L_i表示位置i的语义标签，采用逻辑回归分类器构造softmax函数，则为位置i分配语义标签m的代价表示特征向量Y_i对应语义标签X_i＝m的概率，其计算公式为

利用特征向量集合Y和权值参数θ统计每个位置所属语义类别的代价，建立图像语义的单位置标注模型

(3)确定细粒度上下文信息在图像标注中的作用，具体如下：

a)以任意网格位置i为中心，设置其细粒度上下文窗口是以i为中心的8邻域窗口，如图2所示。将中心位置i与其在细粒度窗口中相邻的其他位置两两组合，用j表示i在中的任意相邻位置，细粒度位置对(i,j)的上下文描述符f_ij由位置i的特征向量Y_i，位置j的特征向量Y_j，以及Y_i和Y_j的相关系数g(Y_i,Y_j)级联组成，其中

b)用L_i和L_j分别表示位置i和j的语义标签，在细粒度窗口中考虑相邻位置的语义标注类别的连续性，为细粒度上下文描述符设置标注平滑参数α，当L_i为语义标注中的第m类，而L_j为语义标注中的第n类，即L_i≠L_j时，设其标注平滑参数α_mn为0，因此，细粒度上下文窗口中的标注平滑参数仅与相同语义类别的位置对相关，可以描述局部语义标签的连续性；

c)针对具有相同语义类别的位置对(i,j)，计算位置i在范围内将语义标签传递给位置j的概率公式为：

其中l(L_i＝L_j＝m)是0-1指示函数，表示L_i和L_j均为语义标签m时，其函数值为1，否则函数值为0。利用平滑参数和细粒度上下文描述符对中的位置对建立标注模型

(4)确定粗粒度上下文信息在图像标注中的作用，具体如下：

a)将每个网格位置i为中心，面积为18×18grids的区域划分为8个子区域，如图2所示。这8个子区域构成位置i的粗粒度上下文窗口其中每个子区域被视作一个整体，作为i的相邻粗粒度位置为方便统计，简记为o；

b)利用粗粒度上下文描述符，统计粗粒度窗口中语义类别的共生关系，根据正样本标注集合获得每类语义标签的特征均值采用特征核映射方式将特征向量映射到高维特征空间，实现图像数据的线性可分，计算图像位置的分类代价公式为：

其中是径向基核函数，其计算公式为当位置p的特征向量Y_p与第r类语义标签的特征向量差别越大时，则的值越小，而F(L_p＝m)值越大，反之，的值越大，F(L_p＝m)值越小。依次类推，图像位置获得所有语义标签的分类代价值。通过标签分类似然映射公式将图像中蕴含的语义分类信息表示为：

此时，标签集合分类信息被映射到稀疏空间，使得语义分类信息表示更简洁高效，采用最大池化操作获得中位置i的粗粒度上下文共生描述符其中表示在粗粒度窗口中标签m与位置i的共生关系，将与对应的位置特性向量记为其中表示与标签m对应的特征向量，则f_i ^o为位置i的粗粒度邻域o的上下文特征描述符；

c)设置语义共生参数β＝{β_mn|m＝1,…,M；n＝1,…,N}，其中β_mn表示位置i的语义标签X_i＝m类时，中出现语义标签n的共生关系，结合共生参数和粗粒度上下文描述符对中的位置对(i,o)建立模型：

(5)将单位置标注模型和基于粗细粒度两种双位置标注模型结合，即将公式1、2、5代入二阶条件随机场模型，建立融合多粒度上下文信息的条件随机场模型：

其中Z(Y,θ)表示归一化函数，λ＝(θ,α,β)为模型参数。由公式(6)可以看出，本发明将二阶条件随机场模型中的双位置模型扩展为两种粒度的上下文邻域中的标注模型，在细粒度邻域中考虑了语义标签的局部传递性，可以保证同质区域的语义标签连续性，而在粗粒度邻域中采用稀疏表达反映出不同类型语义标签的共生性，通过语义类别的空间共生关系增强了易混淆特征的辨识能力。该模型的因子图如图3所示；

(6)将已知的图像标注集合L和特征向量集合Y作为训练集，采用piecewise训练方法对二阶条件随机模型进行训练，得到合适的模型参数具体如下：

a)利用随机赋值对条件随机场模型参数进行初始化，得到模型初始化参数λ_initial＝(θ,α,β)；

b)根据λ_initial＝(θ,α,β)，利用所有的特征向量和已知的标注集合，采用极大似然估计迭代计算p(L|Y,λ)的对数损失目标函数，获得合适的模型参数

为了提高训练效率，同时解决很难获得参数精确训练值的问题，采用piecewise方法对二阶条件随机场模型进行分段并行训练，将对数目标函数分为J_PT(θ)、J_PT(α)和J_PT(β)三部分，分别表示单位置标注模型和两种粒度位置对标注模型的目标函数：

其中为所有单位置i构成的基团，表示所有细粒度上下文窗口中的位置对(i,j)构成的基团，表示所有粗粒度上下文窗口中的位置对(i,o)构成的基团。在J_PT(θ)、J_PT(α)和J_PT(β)中分别进行参数θ、α和β的训练，与因子图对应的模型参数分段并行训练示意图如图4所示。直到J_PT(θ)收敛，获得合适的参数同理，直到J_PT(α)收敛，获得合适的参数直到J_PT(β)收敛，获得合适的参数最终，为所求的模型参数；

(7)在确定融合多粒度上下文信息的条件随机场模型参数的基础上，对未标注图像I进行网格划分，根据提取的图像特征向量构成特征向量集合Y_I，利用边缘最大后验概率推理得到与未标注图像对应的最优标注集合将最优标注集合结合相应的图像位置，在图像上输出最终的标注结果。

Claims (3)

1.一种融合多粒度上下文信息的图像像素语义标注方法，其特征在于包括下列步骤：

(1)将图像划分为网格图像，针对任意网格位置i，构造一个颜色、纹理、形状特征组成的特征向量Y_i，得到特征向量集合Y＝{Y_i|i∈N}，N为位置的数量，Yi表示位置i的特征向量；

(2)设θ为特征权重参数，设与特征向量集合对应的标注集合为L＝{L_i|i∈N}，其中L_i表示位置i的语义标签，采用逻辑回归分类器构造softmax函数，利用所有的特征向量和权值参数统计每个位置所属语义类别的代价，建立图像语义的单位置标注模型；

(3)确定细粒度上下文信息在图像标注中的作用，具体如下：

a)以任意网格位置i为中心，设置其细粒度上下文窗口将中心位置i与其在细粒度窗口中相邻的其他位置两两组合，用j表示i的相邻位置，利用所有位置对(i,j)的合并特征构成细粒度上下文描述符f_ij；

b)用L_i和L_j分别表示位置i和j的语义标注结果，在细粒度窗口中考虑相邻位置的语义标注类别的连续性，为细粒度上下文描述符设置标注平滑参数α，当L_i为语义标注中的第m类，而L_j为语义标注中的第n类，即L_i≠L_j时，设其标注平滑参数α_mn为0，因此，细粒度上下文窗口中的标注平滑参数仅与相同语义类别的位置对相关；

c)针对具有相同语义类别的位置对，利用标注平滑参数和细粒度上下文描述符对中的位置对建立标注模型，得到基于细粒度的双位置标注模型；

(4)确定粗粒度上下文信息在图像标注中的作用，具体如下：

a)将每个以网格位置i为中心，面积为16×16grids～20×20grids的区域划分为8个子区域，这8个子区域构成粗粒度上下文窗口其中每个子区域被视作一个整体，作为i的相邻粗粒度位置其中o＝1,2,…,8；

b)中心位置i的粗粒度上下文窗口中，粗粒度位置内的合并特征构成粗粒度上下文特征描述符f_i ^o，粗粒度位置内蕴含的每类语义类别似然映射的最大值集合构成粗粒度上下文共生描述符由粗粒度上下文特征描述符f_i ^o和粗粒度上下文共生描述符组合构成粗粒度上下文描述符；利用粗粒度上下文描述符，统计所有粗粒度位置中语义类别的共生关系；

c)设置语义共生参数β，结合粗粒度上下文描述符对中的位置对的标注结果进行建模，得到基于粗粒度的双位置标注模型；

(5)将单位置标注模型和基于粗细粒度两种双位置标注模型结合，建立融合多粒度上下文信息的二阶条件随机场模型；

(6)将已知的标注集合L和特征向量集合Y作为训练集，采用piecewise训练方法对二阶条件随机场模型进行训练，得到合适的模型参数具体如下：

a)利用随机赋值对二阶条件随机场模型参数进行初始化，得到模型初始化参数λ_initial＝(θ,α,β)；

b)根据λ_initial＝(θ,α,β)，利用所有的特征向量集合Y和已知的标注集合L，采用极大似然估计迭代计算P(L|Y,λ)的对数损失函数，利用piecewise训练方式对二阶条件随机场模型进行分段并行训练，直到收敛，此时，为所求的模型参数；

(7)在确定融合多粒度上下文信息的二阶条件随机场模型参数的基础上，对未标注图像进行网格划分，根据提取的特征向量，利用边缘最大后验概率求得与未标注图像对应的最优标注集合，将最优标注集合结合相应的图像位置，在图像上输出最终的标注结果。

2.根据权利要求1所述的融合多粒度上下文信息的图像像素语义标注方法，其特征在于：所述步骤(3)中任意位置i的细粒度上下文窗口是以i为中心的8邻域窗口，细粒度位置对(i,j)的上下文描述符由位置i的特征向量Y_i，位置j的特征向量Y_j，以及Y_i和Y_j的相关系数级联组成。

3.根据权利要求1所述的融合多粒度上下文信息的图像像素语义标注方法，其特征在于：确定粗粒度上下文描述符时，需要对所有粗粒度位置统计其每个语义类别的代价，将语义类别代价映射到稀疏空间，最后采用最大池化操作得到粗粒度上下文共生描述符，其对应的特征向量构成粗粒度上下文特征描述符。