CN112001422A - 一种基于深度贝叶斯学习的图像标记估计方法 - Google Patents

Abstract

本发明提出了一种基于深度贝叶斯学习的图像标记估计方法，包括以下步骤：1)获取图像数据，将图像分发给网络上的标注者进行预标注，构造图像众包标记数据集；2)对图像做特征预提取处理，获得图像的fisher vector特征表示；3)搭建深度表示学习网络，构建标注生成过程的深度贝叶斯模型；4)将图像fisher vector特征及众包标记输入深度贝叶斯模型，基于图像和参数联合概率似然构造变分下界损失函数；5)基于自然梯度随机变分推断，端到端地对深度贝叶斯模型进行训练；6)返回模型输出的图像真实标记估计及各标注者的混淆矩阵。本发明克服了EM迭代式训练的低效率和非贝叶斯学习不可解释性的问题，提高了图像标记估计的效果。

Description

一种基于深度贝叶斯学习的图像标记估计方法

技术领域

本发明涉及图像标注方法，具体涉及一种基于深度贝叶斯学习的图像标记估计方法。

背景技术

图像分类识别模型的学习需要标记来进行训练，而对于许多真实世界的任务来说，获取图像的真实标记是不可能的，因为成本太高。另一方面，近年来众包已经证明自己是作为收集数据标注一种的可靠解决方案。随着Amazon Mechanical Turk和Crowdflower等众包服务平台的出现，众包已经被用于在短时间内收集众多领域的海量标注数据集。显然，利用众包来获取图像分类识别模型所需的图像标记，是一种可行的方法。然而，虽然众包拥有足够的可扩展性，但标注者提供的标记本质上是主观的，不同标注者之间可能存在大量的分歧，而且与标记相关的噪声会限制传统机器学习算法的性能。因此，如何从收集到的标记中估计出潜在的真实标记是众包的一个核心问题。为此已经提出了很多方法，它们有的只使用了标注信息，有的额外使用了数据特征信息。后者中有些方法采用启发式的优化方法，虽然克服了最大期望(Expectation Maximum,EM)类算法的计算问题，但是其并不能保证最大化原学习目标的某些下界，并且需要通过手动调参防止模型过于复杂而过拟合。此外，这些方法为了使得优化容易实现，对于标注者准确率的刻画采用任意取值范围的参数，在某些应用场景如医疗诊断中是不合适的，对于医学图像等专业性强的图像标注，对标注者能力要求较高，通过众包方式进行标注，不可避免地会引入低质量的标注，因此需要对标注者能力进行准确的刻画，这对于理解数据收集过程及数据收集方式的改进具有重要的指导意义。

发明内容

发明目的：针对现有技术的不足，本发明提出一种基于深度贝叶斯学习的图像标记估计方法，解决现有EM迭代式训练的低效率和非贝叶斯学习不可解释性的问题。

技术方案：一种基于深度贝叶斯学习的图像标记估计方法，包括以下步骤：

1)获取图像数据，将图像分发给网络上的标注者进行预标注，获得众包标记L；

2)对图像做特征预提取处理，获得图像的fisher vector特征表示X；

3)搭建深度表示学习网络，构建标注生成过程的深度贝叶斯模型；

4)将图像fisher vector特征X及众包标记L输入深度贝叶斯模型，基于图像和参数联合概率似然构造变分下界损失函数；

5)基于自然梯度随机变分推断，端到端地对深度贝叶斯模型进行训练；

6)返回模型输出的图像真实标记估计及各标注者的混淆矩阵。

其中，所述深度贝叶斯模型为一个完全贝叶斯深度生成式众包模型，包括标注生成过程模型和隐真实标记的先验模型，所述标注生成过程模型对每个标注者采用独立混淆矩阵参数化来刻画标注者的能力，基于标注者混淆矩阵V和图像真实标记Y构造众包标记L的似然p(L∣Y,V)；所述隐真实标记的先验模型包括第一先验分布和第二先验分布，所述第一先验分布为数据无关的先验分布，是所有图像共享同样的、由参数π刻画的先验分布p(Y∣π)，所述第二先验分布为依赖于输入特征X和参数为γ的神经网络分类器的先验分布p(Y∣X,γ)；

得到基于众包标记L、真实标记Y及全局参数Θ＝{V,π}的联合分布为：

p(L,Y,Θ∣X,γ)＝p(π)p(Y∣π)p(Y∣X,γ)p(L∣Y,V)p(V)

p(π)、p(V)分别表示参数π和混淆矩阵V的先验分布。

进一步地，所述标注生成过程模型表示为：

其中L_ij表示标注者j在图像i上的众包标记，V_j表示标注者j的混淆矩阵，y_i表示图像i的真实标记，N、W分别表示图像数目及标注者数目，

表示指示函数。

进一步地，所述数据无关的先验分布为：

p(y_i,π)不依赖于样本i的信息，完全由π所决定，π维度为K，表示所有图像数据中，分别属于K个类别的数据所占比例，

表示第k个维度的取值，取值在[0,1]；

所述依赖于输入特征和参数为γ的神经网络分类器的先验分布为：

p(y_i∣x_i,γ)＝Categorical(τ(x_i；γ))

Categorical表示图像i的真实标记y_i所服从的多变量离散分布，该分布由自然参数τ刻画，而τ为图像fisher vector特征x_i的函数，函数的参数用γ；

综合上述两个先验分布，得到所有图像数据集的真实标记Y的先验分布为：

进一步地，所述变分下界损失函数形式为：

q(Y)、q(Θ)分别为图像的真实标记Y和全局参数Θ的后验分布。

进一步地，所述步骤5)包括：

5.1)输入特征矩阵X、众包标记L、全局变分参数的初始值η_Θ、神经网络参数γ；

5.2)使用η_Θ、γ、L，对每一个图像x_i计算出其真实标记的自然参数

5.3)使用

计算出η_Θ、γ的梯度；

5.4)根据计算出的梯度，使用随机梯度下降算法更新参数η_Θ、γ；

5.5)判断是否满足迭代结束条件，不满足则返回步骤5.2，否则结束训练阶段；

5.6)使用预测出来的充足统计量来估计每张图像的真实标签概率和每个标注者的混淆矩阵。

有益效果：本发明结合深度神经网络表示学习及贝叶斯模型可解释结构学习的优势，使用可解释的参数混淆矩阵刻画标注者能力，利用自然梯度随机变分推断优化算法，实现了端到端地深度全贝叶斯模型训练，克服了现有图像标记估计方法中EM迭代式训练的低效率和非贝叶斯学习不可解释性的问题，提高了图像标记估计的效果和效率。

附图说明

图1是本发明的图像标记估计方法的流程图；

图2是本发明的完全贝叶斯深度生成式众包模型的概率图；

图3是本发明的自然梯度随机变分推断的流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

图1示出了基于深度贝叶斯学习的图像标记估计方法的流程图，包括以下步骤：

步骤1：构造图像众包标记数据集。

获取图像后，将图像通过众包平台，如Amazon Mechanical Turk和Crowdflower等分发给网络上的标注者进行预标注，获取到图像众包标记数据集D_raw＝{X_raw,L}。其中，X_raw为原图像集，L为图像对应的标注。

步骤2：对图像做特征预提取处理，本实施例中使用matlab中的vlfeat工具包，提取1028维的图像的fisher vector特征表示X。

步骤3：搭建深度表示学习网络，构建标注生成过程的深度贝叶斯模型。

步骤3涉及到完全贝叶斯深度生成式众包模型的概率图，具体如图2所示。它包含两个主要部分：对标注生成过程建模，对隐真实标记的先验模型建模，这两部分构成了一个完整的模型。在标注生成过程中，本发明对每个标注者采用独立混淆矩阵参数化方法，能够更精确地刻画标注者的能力。其步骤具体如下：

3.1)首先，针对第j个标注者worker在第i个图像上的众包标记L_ij，基于worker j的混淆矩阵V_j，及图像i的真实标记y_i，众包标记L_ij的似然可以建模为：

p(L_ij＝l∣y_i＝k,V_j)＝v_jkl

3.2)然后，假设图像特征向量之间独立同分布，假设标注者之间相互独立，计算出总的似然：

这里N、W分别表示图像数目及标注者数目，

表示指示函数。

在隐真实标记的先验模型中，包括多个先验分布。其具体组成和计算步骤如下：

3.a)第一个先验分布是数据无关的先验分布：

这里所有图像共享同样的、由参数π刻画的先验分布，p(y_i,π)不依赖于样本i的信息，完全由π所决定。有图像数据集共享的真实标记的先验分布，π维度为K，其物理含义表示所有图像数据中，分别属于K个类别的概率，

表示第k个维度的取值，取值在[0,1]，指示第k个类别的样本所占的比例，π所有维度和为1。

3.b)第二个先验分布是依赖于输入特征和参数为γ的神经网络分类器的先验分布：

p(y_i∣x_i,γ)＝Categorical(τ(x_i；γ))

这里Categorical表示第i个图像的真实标记y_i所服从的多变量离散分布。该分布由自然参数τ刻画，而τ为图像fisher vector特征x_i的函数，函数的参数用γ表示。本发明中，使用单隐层的感知机神经网络来实现自然参数τ，隐层包含100个节点，隐层节点和输出层节点采用sigmoid激活函数，γ即为神经网络中的权重参数。

3.c)假设所有图像彼此之间相互独立，综合公式3.a和3.b，所有图像数据集的真实标记Y的先验可以被写为：

3.d)假设全局参数集合Θ＝{V,π}服从共轭的狄利克雷分布：

p(π)＝Dir(π∣α)

α、β_jk分别表示π、v_jk的先验分布中的参数，可以自行指定。v_jk表示真实标记是k的时候被标注者j标记成了其他类别标记的概率。

3.e)综合上述的所有分布，得出众包标记L、隐真实标记Y、全局参数Θ的联合分布为：

p(L,Y,Θ∣X,γ)＝p(π)p(Y∣π)p(Y∣X,γ)p(L∣Y,V)p(V)

该联合分布刻画了众包标记、隐真实标记及全局参数的生成依赖关系，为图2的具体公式化描述。

步骤4：本发明期望通过最大观测到的众包标记的似然p(L)为优化目标，估计模型中的参数。但由于该目标难以实现优化，本发明采用最大化p(L)的变分下界的方式实现。将图像fisher vector特征X及众包标记L输入深度贝叶斯模型，基于3.e)中的图像和参数联合概率似然构造变分下界损失函数：

这里q(Y)、q(Θ)分别为图像的隐真实标记Y和参数Θ＝{V,π}的后验分布。

步骤5：基于自然梯度随机变分推断，端到端地对深度贝叶斯模型进行训练。

在加入了深度神经网络分类器之后，因为每一轮迭代的每一个数据都需要大量的采样，导致原先采用的吉布斯采样方法和EM算法运行效率过低。而变分平均场消息传递方法虽然高效，但是它依赖于共轭指数簇似然来保存伸缩性结构，这无法适用于一般的数据模型，比如神经网络。因此，本发明提出了适用于所提出模型的自然梯度随机变分推断算法，它能够实现端到端的高效优化。具体步骤参考图3。

图3是本发明自然梯度随机变分推断算法的流程图，包括以下步骤：

5.1)首先输入模型训练所需要的信息，包括图像特征矩阵X、众包标记矩阵L、全局变分参数初始值η_Θ、以及神经网络的参数γ。

5.2)利用输入的信息，计算出来每一个图像真实标记的自然参数

该自然参数充分描述了真实标记的分布。

具体的计算过程如下：

首先，给定η_Θ，γ，将q^*(Y)的优化分解到每一个图像上：

这里q^*(Y)为η_Θ给定时，q(Y)的最优解。

而q^*(y_i)的计算方式为：

这里

分别表示相对于分布q(π)、q(V)的期望，<γ(x_i),t(y_i)>表示γ(x_i)，t(y_i)的内积，γ(x_i)为以γ为参数的神经网络输入为图像特征x_i时的输出，t(y_i)为第i个样本真实标记y_i对应分布的充分统计量。const表示某个常量。

在确定了q^*(y_i)之后，通过计算得到

将得出的

组合，即可得到所有图像真实标记的自然参数矩阵

接下来将步骤4中的分布q(Θ)、q(Y)表示为由自然参数η_Y,η_Θ定义的形式，步骤4的优化目标等价为：

至此，优化目标的参数被替换为{η_Y,η_Θ,γ}，接下来分别优化η_Y,η_Θ,γ。

使用深度神经网络分类器定义共轭的图模型隐变量：

用上述关系替换掉原优化目标

中的对应部分，得到：

给定η_Y的最优解

得到关于η_Θ,γ的优化目标：

5.3)给定

γη_Θ的梯度计算公式如下：

其中，

是由用户设置的Θ先验自然参数值。对于Θ＝{V,π}中的每个参数，梯度的实现分别为：

其中

是L_ij的One-Hot表示。

5.4)给定

η_Θ，计算参数γ的梯度：对于γ，由于其表示神经网络的参数，其梯度值可以直接利用深度神经网络的后向传播计算得到。

5.5)根据计算出的η_Θ,γ的梯度值，通过随机梯度下降SGD对η_Θ,γ更新。

5.6)在一次迭代结束之后，在步骤5.6判断模型的目标函数是否收敛或者迭代次数达到认为设置的最大值。满足这些条件则代表模型已经训练完毕，进入步骤5.7，否则返回步骤5.2利用更新后的参数继续训练。

5.7)在训练阶段完成之后，在步骤5.7利用估计出来的分布q(y)、q(v_jk)及对应的充分统计量t(y)、t(v_jk)来估计训练数据中每张图像的真实标记概率和每个标注者的混淆矩阵。具体如下：

其中

为digamma函数，K表示类别的个数。从而分别得到真实标记估计

和混淆矩阵Π。

步骤6：返回模型输出的图像真实标记估计

及各标注者的混淆矩阵Π。

可以用于后续的数据分析任务如分类、聚类等。Π指示了标注者的准确率，可以用于帮助理解数据收集过程中标注者的犯错模式及改进数据收集方式，比如对于准确率低的标注者，后续将不再分配任务，可以在获取高质量数据的同时节省标注成本。

最后，当需要对新的图像做标记预测时，提取图像的特征表示，利用模型中的深度神经网络作为学习好的分类器，以图像的特征作为输入，对深度神经网络模型的输出层应用softmax函数来预测其标记的概率。

Claims (8)

1.一种基于深度贝叶斯学习的图像标记估计方法，其特征在于，包括以下步骤：

1)获取图像数据，将图像分发给网络上的标注者进行预标注，获得众包标记L；

2)对图像做特征预提取处理，获得图像的fisher vector特征表示X；

3)搭建深度表示学习网络，构建标注生成过程的深度贝叶斯模型；

4)将图像fisher vector特征X及众包标记L输入深度贝叶斯模型，基于图像和参数联合概率似然构造变分下界损失函数；

5)基于自然梯度随机变分推断，端到端地对深度贝叶斯模型进行训练；

6)返回模型输出的图像真实标记估计及各标注者的混淆矩阵。

2.根据权利要求1所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述深度贝叶斯模型为一个完全贝叶斯深度生成式众包模型，包括标注生成过程模型和隐真实标记的先验模型，所述标注生成过程模型对每个标注者采用独立混淆矩阵参数化来刻画标注者的能力，基于标注者混淆矩阵V和图像真实标记Y构造众包标记L的似然p(L∣Y,V)；所述隐真实标记的先验模型包括第一先验分布和第二先验分布，所述第一先验分布为数据无关的先验分布，是所有图像共享同样的、由参数π刻画的先验分布p(Y∣π)，所述第二先验分布为依赖于输入特征X和参数为γ的神经网络分类器的先验分布p(Y∣X,γ)；

得到基于众包标记L、真实标记Y及全局参数Θ＝{V,π}的联合分布为：

p(L,Y,Θ∣X,γ)＝p(π)p(Y∣π)p(Y∣X,γ)p(L∣Y,V)p(V)

p(π)、p(V)分别表示参数π和混淆矩阵V的先验分布。

3.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述标注生成过程模型表示为：

其中L_ij表示标注者j在图像i上的众包标记，V_j表示标注者j的混淆矩阵，y_i表示图像i的真实标记，N、W分别表示图像数目及标注者数目，

表示指示函数。

4.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述数据无关的先验分布为：

p(y_i,π)不依赖于样本i的信息，完全由π所决定，π维度为K，表示所有图像数据中，分别属于K个类别的数据所占比例，

表示第k个维度的取值，取值在[0,1]；

所述依赖于输入特征和参数为γ的神经网络分类器的先验分布为：

p(y_i∣x_i,γ)＝Categorical(τ(x_i；γ))

Categorical表示图像i的真实标记y_i所服从的多变量离散分布，该分布由自然参数τ刻画，而τ为图像fisher vector特征x_i的函数，函数的参数用γ；

综合上述两个先验分布，得到所有图像数据集的真实标记Y的先验分布为：

5.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述变分下界损失函数形式为：

其中q(Y)、q(Θ)分别为图像的真实标记Y和全局参数Θ的后验分布。

6.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述步骤5)包括：

5.1)输入特征矩阵X、众包标记L、全局变分参数的初始值η_Θ、神经网络参数γ；

5.2)使用η_Θ、γ、L，对每一个图像x_i计算出其真实标记的自然参数

5.3)使用

计算出η_Θ、γ的梯度；

5.4)根据计算出的梯度，使用随机梯度下降算法更新参数η_Θ、γ；

5.5)判断是否满足迭代结束条件，不满足则返回步骤5.2，否则结束训练阶段；

5.6)使用预测出来的充足统计量来估计每张图像的真实标签概率和每个标注者的混淆矩阵。

7.根据权利要求6所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述步骤5.2)包括：

给定η_Θ，γ，将q^*(Y)的优化分解到每一个图像上：

q^*(Y)表示η_Θ给定时，真实标记Y的后验分布q(Y)的最优解；q^*(y_i)的计算方式为：

分别表示相对于分布q(π)、q(V)的期望，<γ(x_i),t(y_i)>表示γ(x_i)，t(y_i)的内积，γ(x_i)为以γ为参数的神经网络输入为图像特征x_i时的输出，t(y_i)为第i个样本真实标记y_i对应分布的充分统计量，const表示常量；

在确定了q^*(y_i)之后，通过下式计算得到

L_ij表示标注者j在图像i上的众包标记，V_j表示标注者j的混淆矩阵，y_i表示图像i的真实标记，N、W分别表示图像数目及标注者数目，

表示指示函数；

将得出的

组合，得到所有图像真实标记的自然参数矩阵

8.根据权利要求1所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述方法还包括：当需要对新的图像做标记预测时，提取图像的特征作为输入，利用模型中的深度神经网络作为学习好的分类器，来预测其标记的概率。

Images