CN111723930A - 一种应用群智监督学习方法的系统 - Google Patents

Abstract

本发明提出一种群智监督学习方法的系统，包括：数据输入、众包标注学习、数据输出三个结构。在众包标注学习过程中分别构建了结构化概率模型SpeeLFC和SpeeLFC‑D,两者以不同的手段刻画了工人转移矩阵以刻画工人表现模型，但都保证了“真值分布”，“工人能力”与“工人标注分布”这三个关键因素之间的概率依存关系，进而在工人标注质量不变以及只利用基于梯度优化算法来进行端对端神经网络学习的基础上，得到更为稳定和可解释的分类器输出。

Description

一种应用群智监督学习方法的系统

技术领域

本发明涉及机器学习领域，尤其涉及群智监督学习方法的系统。

背景技术

用户群体是支撑互联网应用与服务的重要资源——群智资源，即由多个人类个体所构成的群体智力资源。群智协同计算作为一种基于互联网的重要计算模式，也在此背景下应运而生。其目标是通过大规模群智资源的高效协同来汇聚实现群体智能。

群体智能的一个重要应用就是互联网用户群体以低廉的方式为机器学习特别是深度学习研究提供大量的标注数据(例如：ImageNet数据)。人们利用众包平台(例如：Amazon Mechanical Turk)以较低的成本并高效地获得了大量的众包标注，然而众包标注者并非专家，因而使得标注结果不准确，带有噪声信息。不同于传统“带噪声标注学习”的问题，众包场景下每个样例带有多份嘈杂冗余的标注，而这些标注又来自具有不同表现模式的众包标注者。如何从带噪声的众包标注中训练有效的机器学习模型成为一个重要问题，该问题本质上也是一类新型的弱监督学习问题。我们称这种从群智标注中学习的弱监督学习问题为群智监督学习问题。

面对这个问题，传统的“真值推理算法”(也称结果汇聚算法)可以先推理出当前具有众包标注的样例的真值，然后再进行机器学习模型的有监督训练。然而近几年出现了一些直接从带噪声的众包标注中学习的算法(Learning From Crowds,LFC)，而不需前序的真值推理过程。相对于传统需要先“推理样例真值”后“学习”的方式，这类算法往往有其自身的便捷性与更高的准确率，并在近几年获得了更多的关注和研究。这类LFC算法往往都是基于概率图模型与Expectaion-Maximization(EM)算法来对样例真值和模型参数进行迭代学习。最近所提出来的Crowd-Layer算法在深度神经网络(即分类器)后添加了一个特殊的crowd层，使得所构造出来的网络可以直接从带噪声的众包标注数据中利用标准的基于梯度的优化算法来进行端对端学习。

现有的LFC方法主要问题为：

(1)现存的主流LFC算法往往都基于迭代型Expectaion-Maximization(EM)算法来进行模型求解，需要复杂的计算，并且存在算法难启动的问题。

(2)Crowd-Layer算法尽管并不存在基于EM的LFC算法的弊端，并且它可以像当前许多主流的深度学习模型一样，利用标准的基于梯度的优化算法来进行端对端学习。然而Crowd-Layer的crowd层并非采用结构化概率模型(即概率图模型)的构建方式，crowd层不具备概率意义，并且其中没有保证“真值分布”，“工人能力”与“工人标注分布”这三个关键因素之间的概率依存关系。这种缺乏概率意义的crowd层构建一方面不能给我们带来具备原则性的解与足够的可解释性，另一方面也限制了在构建crowd层时可以考虑更多关键因素的可能，比如“样例难度”。

发明内容

为解决现有LFC方法所存在的问题，本发明采取如下技术方案：

一种群智监督学习方法的系统，包括：数据输入、众包标注学习、数据输出三个结构，其特征在于：

所述数据输入结构包括众包数据收集和众包数据预处理这两个过程，具体的：首先通过众包网页上的数据接口收集众包标注数据，所述众包网页为Amazon MechanicalTurk，所述标注数据包括各个样本点的特征信息和众包工人标注；所述众包数据预处理为对收集到的数据进行整理处理，使其能以一定的格式来输入后续的工作结构；

所述众包标注学习结构包括数据输入端口、模型SpeeLFC训练模块，具体的：所述数据输入端口获取前个步骤中所输出的数据，并将数据以符合模型SpeeLFC训练模块的格式输入；所述模型SpeeLFC训练模块利用所输入的数据进行模型训练，并在训练完成后输出模型参数，其中包括所需要的分类器的参数。所述模型SpeeLFC训练模块中采用结构化概率模型，并且将最大化关于众包标注的对数条件似然函数作为优化目标，最终采用标准的基于梯度的优化算法ADAM来进行优化，即模型训练；所述模型SpeeLFC训练模块中结构化概率模型的主要构造为：首先样本点特征经过一个分类器并生成样本真值的分布，然后这个真值分布经过我们所构造的“工人转移矩阵”的线性映射而得到众包工人标注的分布；

所述数据输出结构将经过训练后的所有模型参数值输出，并将分类器的参数值单独输出。

模型SpeeLFC训练模块中的模型SpeeLFC的构造为：对于每一个样例

其真值来自于一个条件类别分布：

是一个被θ_NN参数化的神经网络函数，即所述分类器，其中输入数据为x⁽ⁱ⁾，输出为K个数值，即代表随机变量t⁽ⁱ⁾取不同类别的概率；

然后，随机变量l^(ij)取值来自于：

其中函数ind(·)代表取出所输入的独热向量中数值1的位置索引(位置索引从1开始计算)，并且ind(·)∈{1，...K}；π^(j)'代表标注者j^th的转移矩阵，

代表当真值为n时，j^th标注者标注m的概率，且所述转移矩阵中元素满足如下限制条件：

所述最大化关于众包标注的对数条件似然函数构建为：

所述标准的基于梯度的优化方法为SGD或者Adam方法。

或者，

一种群智监督学习方法的系统，包括：数据输入、众包标注学习、数据输出三个结构，其特征在于：

所述数据输入结构包括众包数据收集和众包数据预处理，具体的：首先通过众包网页上的数据接口收集众包标注数据，所述众包网页为Amazon Mechanical Turk，所述标注数据包括各个样本点的特征信息和众包工人标注；所述众包数据预处理为对收集到的数据进行整理与准备，使其能以一定的格式来输入后续的工作结构；

所述众包标注学习结构包括数据输入端口、模型SpeeLFC-D训练模块，具体的：所述数据输入端口获取前个步骤中所输出的数据，并将数据以符合模型SpeeLFC-D训练模块的格式输入；所述模型SpeeLFC-D训练模块利用所输入的数据进行模型训练，并在训练完成后输出模型参数，其中包括所需要的分类器的参数；所述模型SpeeLFC-D训练模块中采用结构化概率模型，并且将最大化关于众包标注的对数条件似然函数作为优化目标，最终采用标准的基于梯度的优化算法ADAM来进行优化，即模型训练；所述模型SpeeLFC-D训练模块中结构化概率模型的主要构造为：首先样本点特征经过分类器并生成样本真值的分布，然后这个真值分布经过我们所构造的“工人转移矩阵”的线性映射而得到众包工人标注的分布，其中为每个工人在他所标注的每个任务下都单独刻画一个转移矩阵π^(i,j)，并在其中同时考虑任务难度与工人能力，所述任务即为样例；

所述数据输出结构将经过训练后的所有模型参数值输出，并将分类器的参数值单独输出。

模型SpeeLFC-D训练模块中的模型SpeeLFC-D的构造为：对于每一个样例

即真值t⁽ⁱ⁾来自于一个条件类别分布

其中

是一个神经网络函数，即所述分类器。样例标注难度因子β^(i)′∈(λ₁,λ₁+λ₂)定义为：

β^(i)′＝λ₁+λ₂·sigmoid(β⁽ⁱ⁾),

其中

是一个神经网络函数，λ₁和λ₂是超参数。工人能力被定义为α^(j)，并且-∞≤α^(j)≤+∞。面对一个特定样例，一个特定工人标注正确的概率为：

p(ind(l^(ij))＝k|ind(t⁽ⁱ⁾)＝k；β^(i)′，α^(j))＝σ(β^(i)′，α^(j))，

其中，k∈{1,2,...,K}，k′∈{1,2,...,K}，并且k≠k′；函数ind(·)代表取出所输入的独热向量中数值1的位置索引，并且ind(·)∈{1,...K}。相对应的，具有能力α^(j)的工人在标注具有难度因子β^(i)′的样例时，可能标注错误的概率为：

所述最大化关于众包标注的对数条件似然函数则构建为：

所述标准的基于梯度的优化方法为SGD或者Adam方法。

本发明相对于现有技术的优点在于：

面对从带噪声的众包标注中学习这一问题，在只利用基于梯度优化算法来进行端对端神经网络学习的基础上，构建结构化概率模型SpeeLFC和SpeeLFC-D，其中用SpeeLFC模型的工人转移矩阵的形式来刻画工人表现模式(相当于Crowd-Layer算法中的crowd层)并使其有概率意义和可解释性，用SpeeLFC-D模型的进一步改进的工人转移矩阵的形式来刻画工人表现模式并使其有概率意义和可解释性，并且在SpeeLFC-D模型构造转移矩阵过程中考虑样例难度与工人能力，并利用标准的基于梯度的优化算法来进行优化，从而保证了“真值分布”，“工人能力”与“工人标注分布”这三个关键因素之间的概率依存关系，进而在人工标注质量不变的前提下得到更为稳定和可解释的分类器输出。

附图说明

图1模型SpeeLFC的图形表示；

图2模型SpeeLFC-D的图形表示

具体实施方式

实施例1：

一种群智监督学习方法的系统，包括：数据输入、众包标注学习、数据输出三个结构，其特征在于：

所述数据输入结构包括众包数据收集和众包数据预处理这两个过程，具体的：首先通过众包网页上的数据接口收集众包标注数据，所述众包网页为Amazon MechanicalTurk，所述标注数据包括各个样本点的特征信息和众包工人标注；所述众包数据预处理为对收集到的数据进行整理处理，使其能以一定的格式来输入后续的工作结构；

所述众包标注学习结构包括数据输入端口、模型SpeeLFC训练模块，具体的：所述数据输入端口获取前个步骤中所输出的数据，并将数据以符合模型SpeeLFC训练模块的格式输入；所述模型SpeeLFC训练模块利用所输入的数据进行模型训练，并在训练完成后输出模型参数，其中包括所需要的分类器的参数。所述模型SpeeLFC训练模块中采用结构化概率模型，并且将最大化关于众包标注的对数条件似然函数作为优化目标，最终采用标准的基于梯度的优化算法ADAM来进行优化，即模型训练；所述模型SpeeLFC训练模块中结构化概率模型的主要构造为：首先样本点特征经过一个分类器并生成样本真值的分布，然后这个真值分布经过我们所构造的“工人转移矩阵”的线性映射而得到众包工人标注的分布；

所述数据输出结构将经过训练后的所有模型参数值输出，并将分类器的参数值单独输出。

模型SpeeLFC的构建分为三个步骤：

步骤一：“模型”的确定

我们构建的结构化概率模型SpeeLFC(Structured Probabilistic end-to-endLearning FromCrowds)的图形表示如图1所示。本质上，在我们所面对的场景下，概率图模型的构建主要是从样例特征到众包标注的概率生成过程的构建。SpeeLFC的模型构建过程如下所示。首先，对于每一个样例

其真值来自于一个条件类别分布：

是一个被θ_NN参数化的神经网络函数，即所述分类器，其中输入数据为x⁽ⁱ⁾，输出为K个数值，即代表随机变量t⁽ⁱ⁾取不同类别的概率；

然后，随机变量l^(ij)取值来自于：

其中函数ind(·)代表取出所输入的独热向量中数值1的位置索引(位置索引从1开始计算)，并且ind(·)∈{1,...K}；π^(j)'代表标注者j^th的转移矩阵，

代表当真值为n时，j^th标注者标注m的概率，且所述转移矩阵中元素满足如下限制条件：

我们使用了“重参数化”技术使得模型中关于工人的这部分参数被

所参数化，以使得我们可以直接使用基于梯度的优化算法对模型参数进行优化。

步骤二：“策略”的确定

在我们所构建的模型SpeeLFC中，所有待优化的参数为

我们的“策略”(即优化目标函数)为最大化关于众包标注的对数条件似然函数：

实际上，对应于上式，我们只需要用π^(j)′t⁽ⁱ⁾来得到l^(ij)的分布(一个K维向量)，然后把最大化关于众包标注的对数似然(也等同于最小化关于众包标注的交叉熵实际上，对应于上式，我们只需要用π^(j)′t⁽ⁱ⁾来得到得到l^(ij)的分布(一个K维向量)，然后把最大化关于众包标注的对数似然(也相当于最小化关于众包标注的交叉熵损失)当作优化目标。

步骤三：“优化算法”的确定

在概率模型构造与优化函数确定后，就需要对优化目标函数进行优化。而这个优化问题就可以用标准的基于梯度的优化方法来解决，比如SGD或者Adam。这里我们使用Adam。

实施例2：

一种群智监督学习方法的系统，包括：数据输入、众包标注学习、数据输出三个结构，其特征在于：

所述数据输入结构包括众包数据收集和众包数据预处理，具体的：首先通过众包网页上的数据接口收集众包标注数据，所述众包网页为Amazon Mechanical Turk，所述标注数据包括各个样本点的特征信息和众包工人标注；所述众包数据预处理为对收集到的数据进行整理与准备，使其能以一定的格式来输入后续的工作结构；

所述众包标注学习结构包括数据输入端口、模型SpeeLFC-D训练模块，具体的：所述数据输入端口获取前个步骤中所输出的数据，并将数据以符合模型SpeeLFC-D训练模块的格式输入；所述模型SpeeLFC-D训练模块利用所输入的数据进行模型训练，并在训练完成后输出模型参数，其中包括所需要的分类器的参数；所述模型SpeeLFC-D训练模块中采用结构化概率模型，并且将最大化关于众包标注的对数条件似然函数作为优化目标，最终采用标准的基于梯度的优化算法ADAM来进行优化，即模型训练；所述模型SpeeLFC-D训练模块中结构化概率模型的主要构造为：首先样本点特征经过分类器并生成样本真值的分布，然后这个真值分布经过我们所构造的“工人转移矩阵”的线性映射而得到众包工人标注的分布，其中为每个工人在他所标注的每个任务下都单独刻画一个转移矩阵π^(i,j)，并在其中同时考虑任务难度与工人能力，所述任务即为样例。所述数据输出结构将经过训练后的所有模型参数值输出，并将分类器的参数值单独输出。

所述数据输出结构将经过训练后的所有模型参数值输出，并将分类器的参数值单独输出。

模型SpeeLFC-D的构建分为三个步骤：

步骤一：“模型”的确定

模型SpeeLFC-D(Structured Probabilistic end-to-end Learning FromCrowds-D)的图形表示如图2所示。SpeeLFC-D的模型构建过程如下所述。首先，对于每一个样例

即真值t⁽ⁱ⁾来自于一个条件类别分布

其中

是一个神经网络函数，即所述分类器。样例标注难度因子β^(i)′∈(λ₁,λ₁+λ₂)定义为：

β^(i)′＝λ₁+λ₂·sigmoid(β⁽ⁱ⁾),

其中

是一个神经网络函数，λ₁和λ₂是超参数。工人能力被定义为α^(j)，并且-∞≤α^(j)≤+∞。面对一个特定样例，一个特定工人标注正确的概率为：

p(ind(l^(ij))＝k|ind(t⁽ⁱ⁾)＝k；β⁽ⁱ⁾,α^(j))＝σ(β⁽ⁱ⁾,α^(j))，

其中，k∈{1,2,...,K}，k′∈{1,2,...,K}，并且k≠k′；函数ind(·)代表取出所输入的独热向量中数值1的位置索引，并且ind(·)∈{1,...K}。相对应的，具有能力α^(j)的工人在标注具有难度因子β^(i)′的样例时，可能标注错误的概率为：

实际上，对于每一个工人，以上构建会为这个工人在每个样例下的表现模式都单独构建一个转移矩阵π^(i,j)。其中，π^(i,j)的对角线元素由标注正确的概率得到，其他元素由标注错误的概率得到。

步骤二：“策略”的确定

我们的“策略”(即优化目标函数)为最大化关于众包标注的对数条件似然函数：

实际上，对应于上式，我们只需要用π^(i,j)t⁽ⁱ⁾来得到l^(ij)的分布(一个K维向量)，然后把最大化关于众包标注的对数似然(也等同于最小化关于众包标注的交叉熵损失)当作优化目标。

步骤三：“优化算法”的确定

同样的，这个优化问题可以用标准的基于梯度的优化方法来解决，比如SGD或者Adam。这里我们使用Adam。

Claims (8)

1.一种应用群智监督学习方法的系统，包括：数据输入、众包标注学习、数据输出三个结构，其特征在于：

所述数据输入结构包括众包数据收集和众包数据预处理这两个过程，具体的：首先通过众包网页上的数据接口收集众包标注数据，所述众包网页为Amazon Mechanical Turk，所述标注数据包括各个样本点的特征信息和众包工人标注；所述众包数据预处理为对收集到的数据进行整理处理，使其能以一定的格式来输入后续的工作结构；

所述众包标注学习结构包括数据输入端口、模型SpeeLFC训练模块，具体的：所述数据输入端口获取前个步骤中所输出的数据，并将数据以符合模型SpeeLFC训练模块的格式输入；所述模型SpeeLFC训练模块利用所输入的数据进行模型训练，并在训练完成后输出模型参数，其中包括所需要的分类器的参数。所述模型SpeeLFC训练模块中采用结构化概率模型，并且将最大化关于众包标注的对数条件似然函数作为优化目标，最终采用标准的基于梯度的优化算法Adam来进行优化，即模型训练；所述模型SpeeLFC训练模块中结构化概率模型的主要构造为：首先样本点特征经过一个分类器并生成样本真值的分布，然后这个真值分布经过我们所构造的“工人转移矩阵”的线性映射而得到众包工人标注的分布；

所述数据输出结构将经过训练后的所有模型参数值输出，并将分类器的参数值单独输出。

2.如权利要求1所述一种应用群智监督学习方法的系统，其特征在于模型SpeeLFC训练模块中的模型SpeeLFC的构造为：对于每一个样例

其真值来自于一个条件类别分布：

是一个被θ_NN参数化的神经网络函数，即所述分类器，其中输入数据为x⁽ⁱ⁾，输出为K个数值，即代表随机变量t⁽ⁱ⁾取不同类别的概率；

然后，随机变量l^(ij)取值来自于：

其中函数ind(·)代表取出所输入的独热向量中数值1的位置索引(位置索引从1开始计算)，并且ind(·)∈{1,…K}；π^(j)′代表标注者j^th的转移矩阵，

代表当真值为n时，t^th标注者标注m的概率，且所述转移矩阵中元素满足如下限制条件：

3.如权利要求2所述一种应用群智监督学习方法的系统，其特征在于：所述最大化关于众包标注的对数条件似然函数构建为：

4.如权利要求3所述一种应用群智监督学习方法的系统，其特征在于：所述标准的基于梯度的优化方法为SGD或者Adam方法。

5.如权利要求1所述一种应用群智监督学习方法的系统，其特征在于：所述模型SpeeLFC训练模块修改为模型SpeeLFC-D训练模块，具体的：所述数据输入端口获取前个步骤中所输出的数据，并将数据以符合模型SpeeLFC-D训练模块的格式输入；所述模型SpeeLFC-D训练模块利用所输入的数据进行模型训练，并在训练完成后输出模型参数，其中包括所需要的分类器的参数；所述模型SpeeLFC-D训练模块中采用结构化概率模型，并且将最大化关于众包标注的对数条件似然函数作为优化目标，最终采用标准的基于梯度的优化算法ADAM来进行优化，即模型训练；所述模型SpeeLFC-D训练模块中结构化概率模型的主要构造为：首先样本点特征经过分类器并生成样本真值的分布，然后这个真值分布经过我们所构造的“工人转移矩阵”的线性映射而得到众包工人标注的分布，其中为每个工人在他所标注的每个任务下都单独刻画一个转移矩阵π^(i,j)，并在其中同时考虑任务难度与工人能力，所述任务即为样例。

6.如权利要求5所述一种应用群智监督学习方法的系统，其特征在于模型SpeeLFC-D训练模块中的模型SpeeLFC-D的构造为：对于每一个样例

即真值t⁽ⁱ⁾来自于一个条件类别分布

其中

是一个神经网络函数，即所述分类器。样例标注难度因子β^(i)′∈(λ₁,λ₁+λ₂)定义为：

β^(i)′＝λ₁+λ₂·sigmoid(β⁽ⁱ⁾),

其中

是一个神经网络函数，λ₁和λ₂是超参数。工人能力被定义为α^(j)，并且-∞≤α^(j)≤+∞。面对一个特定样例，一个特定工人标注正确的概率为：

p(ind(l^(ij))＝k|ind(t⁽ⁱ⁾)＝k；β^(i)′,α^(j))＝σ(β^(i)′,α^(j))，

其中，k∈{1,2,…,K}，k′∈{1,2,…,K}，并且k≠k′；函数ind(·)代表取出所输入的独热向量中数值1的位置索引，并且ind(·)∈{1,…K}。相对应的，具有能力α^(j)的工人在标注具有难度因子β^(i)′的样例时，可能标注错误的概率为：

7.如权利要求6所述一种应用群智监督学习方法的系统，其特征在于：所述最大化关于众包标注的对数条件似然函数则构建为：

8.如权利要求7所述一种应用群智监督学习方法的系统，其特征在于：所述标准的基于梯度的优化方法为SGD或者Adam方法。

Images