CN112906763A - 一种利用跨任务信息的数字图像自动标注方法 - Google Patents

Abstract

本发明公开了一种利用跨任务信息的数字图像自动标注方法。迁移学习已成功应用于图像标注任务中标注样本不足的场景。通过利用相关领域的知识，迁移学习可提高目标任务模型的效果。然而在许多图像标注场景中，难以保证辅助领域与目标任务有较强的相关性，因此迁移算法往往难以稳定地取得效果提升。本发明通过矩阵分解技术从辅助领域模型中提取领域间共有知识，并利用此共有知识对目标模型的有偏正则化实现了知识迁移。在领域间相关性不确定的情况下实现目标任务模型稳定的效果提升，在标注样本数量不足的情况下学得高效模型。

Description

一种利用跨任务信息的数字图像自动标注方法

技术领域

本发明属于数字图像标注技术领域，具体涉及一种利用跨任务信息的数字图像自动标注方法。

背景技术

数字图像标注是人工智能应用中的常见任务。现有图像标注模型的训练往往需要大量标注样本，代价高昂。然而，由于现实世界中物体对象的出现概率分布为长尾分布，存在大量对象类别仅能收集到少量标注样本。同时，有些任务领域本身就带有难以获取目标任务对应标注数据的属性。例如在医疗健康和生物信息领域，数据的标注需要专家给出，标注代价极高。除此之外，也有些任务存在训练数据和预测分布存在差异而无法进行泛化的情况。例如在计算机视觉领域中的手机照片分类任务，由于不可控的任务场景中的光照、朝向、清晰度等问题，从公共数据集上学得的模型通常无法在目标任务上获取良好泛化效果，无法满足用户需求。一个解决方案是使用模型迁移算法，利用相关任务的模型辅助目标任务上的模型训练，通过跨领域的知识迁移实现目标模型的效果提升。通常利用在超大数据集上训练得到的深度模型(VGG，ResNet等)抽取图像的一般特征。在此特征基础上进行目标任务线性分类模型的训练。现有模型迁移算法往往直接将相关任务的分类模型作用到目标任务样本或模型上，利用辅助模型的加权组合表示或约束目标模型。然而，在辅助领域与目标任务相关性较低时，通常方法包含大量无用的知识迁移，无法稳定有效地提升目标模型效果。

发明内容

发明目的：为了克服在领域相关性较低时，难以利用辅助领域模型提升目标模型性能的问题，本发明提供了一种利用跨任务信息的数字图像自动标注方法，

技术方案：为实现上述目的，本发明采用的技术方案为：

一种利用跨任务信息的数字图像自动标注方法，包括以下步骤：

步骤1：收集相关图像标注任务上的预训练模型，并由用户判断模型的丰富程度，若足够丰富则转到步骤2，否则转到步骤4；

步骤2：利用丰富的辅助模型进行领域共享知识的抽取，即获取共享基模型集合D；

步骤3：利用共享基模型集合D对目标模型w_t进行有偏正则化约束，同时最小化模型w_t的经验损失，输出目标模型w_t；

步骤4：利用步骤1收集到的辅助模型以及当前任务少量标注样本上学得的较差模型，同时进行领域共享知识D抽取，模型w_t的经验误差最小化与有偏正则化，输出目标模型w_t；

步骤5：利用步骤3或4学得的标注模型，对经过与辅助模型相同预处理方式得到的数字图像样本进行标注预测，选择预测概率最大的类别作为图像标记。

进一步的：步骤2中抽取领域共享基模型集合D的具体方法为：

我们假设在来自多个相关的图像领域的模型间，存在一组通用基础模型D可用于表示每个领域上的模型中的共有知识部分，比如多领域任务共有的形状或纹理知识。假设共搜集到m个辅助模型

其中d为图像抽取到的特征维度；设

D∈R^d×k，V_s∈R^k×m。假设收集到较多的辅助模型来自与目标任务具有相似的形状、纹理、颜色或场景等特征的标注任务，则认为收集到了丰富的辅助模型，这种情况下我们认为从辅助模型中可以直接获得对目标任务较为有效的共有知识。因此我们基于上述想法采用矩阵分解的方式抽取共享基模型集合D，得到了下列优化目标：

其中λ为控制权重矩阵V_s每列光滑程度的超参数，需根据问题搜索最优值；k为基模型的数量，在(3，min(d，2m/3))中搜索最优值。由于我们希望抽取到对每个领域都有用的基模型，我们对模型权重V_s采用2，1范数作为约束，使每一个辅助模型对应的基模型权重分布尽量光滑。

进一步的：可通过梯度下降求解式(1)。不同于直接对所有变量求导的常用梯度下降法，我们为本发明提出的式(1)专门设计了一种分块最速梯度下降法，在固定某些变量的情况下找到其它变量的最优值，依次更新变量迭代收敛到局部最优。具体如下：首先将变量D，V_s以标准正态分布初始化，D在V_s固定的情况下，对优化目标求导并使梯度为零，得到D的更新式：

接着固定D使目标函数关于V_s的梯度为零，由于我们设计的目标函数式(1)的特殊性，我们仅能获得V_s的隐式更新式：(D^TD)V_s+V_sM＝D^TW_s。其中M＝diag(1/||v_i||，i＝1，...)，v_i为V_s中的第i列；V_s的隐式更新式为Sylvester方程，形如AX+XB＝Q，通过python包scipy中的scipy.linalg._solvers.solve_sylvester(A，B，Q)求解；由于M为关于V_s的变量，需重复求解此式直到收敛获取固定D情况下V_s的最优值。依次重复D与V_s的更新直到收敛，由目标函数的块凸性可保证收敛到局部最优，得到共享基模型集合D。接着即可利用D对通过有偏最小化目标模型的经验损失学习目标模型。

进一步的：所述步骤3对目标模型w_t经验损失的有偏最小化的具体方法为：

在抽取到对目标任务较为有效的基模型集合D之后。假设目标任务图像有c个类别，将线性模型推广到多分类设

V_t∈R^k×c。为了使学得的模型能良好的应用于目标图像标注任务，我们结合目标任务的少两样本标注与领域共用知识设计了模型学习方法，通过优化下式可学得目标模型W_t：

其中

分别为目标任务的样本与标记，L(·)为任意可求梯度的损失函数，λ，μ为需要搜索的超参数。通过同时最小化模型分类的损失函数以及基模型对目标模型的表达损失，我们利用领域间共有的模型先验知识表达目标模型的共有知识部分，同时也利用目标任务的标注信息尽可能地学习目标任务的特有知识。式(2)可通过分块最速梯度下降求解，类似地分别固定V_t与W_t，依次更新直到目标函数收敛可得目标分类模型W_t。

进一步的：所述步骤4同时抽取领域共享基模型集合D与训练有偏目标模型的具体方法为：

假设目标任务图像有c个类别，将线性模型推广到多分类设

假设收集到的辅助模型来自与目标任务具有较少相似特征的标注任务，则认为没有收集到丰富的辅助模型，这种情况下我们认为仅从低质量辅助模型中抽取的多领域间共有知识难以保证能学得高效的目标模型。为了提高领域间抽取知识对目标任务的有效性以及更准确地刻画领域共有知识，我们设计了以下优化目标以学习目标模型W_t：

其中

分别为目标任务的图像与其标记，

D∈R^d×k，V_s∈R^k×m，V_t∈R^k×c，L(·)为任意可求梯度的损失函数，λ，μ，η为需要搜索的超参数。通过同时利用辅助模型与更新过程中初步学得的目标模型进行知识抽取，更好地刻画了领域共有知识。通过同时进行知识抽取与目标标注任务的学习，进一步提高了抽取所得知识对目标任务的有效性。式(3)可通过分块最速梯度下降求解，通过结合权利要求3、4中的分块最速梯度下降法，依次更新所有变量直至目标函数收敛到局部最优可得目标分类模型W_t。

有益效果：本发明通过利用容易获得的相关任务领域充分训练的线性模型，抽取领域间共享的基模型集合，对目标任务模型权重进行有偏正则化提高目标模型性能，在辅助领域与目标任务相关性较弱的情况下实现了领域模型间有效的知识迁移，在目标任务标注数据不足的情况下学得了高效的预测模型。具体的，本发明根据搜集到的相关任务领域模型的丰富程度选择不同的方式抽取领域共享基模型集合。在辅助模型较多时，先通过矩阵分解获取领域共享的基模型，抽取领域间的共享知识，然后利用其对目标预测模型权重进行有偏正则化实现知识迁移；在辅助模型较少或相关性普遍较低时，同时利用辅助模型与目标域少量标注数据联合进行领域共享知识抽取与目标任务模型预测误差最小化，利用目标域的信息帮助选择共享知识的抽取。常见模型迁移方法通常直接将辅助模型作用到目标任务数据上进行模型加权组合或是利用其进行目标模型的有偏正则化，而当辅助模型与目标任务相关性较差时，辅助模型对目标数据的预测效果较差且模型中含有大量对目标任务无用的知识，直接将其作用到目标数据模型无法获取理想的结果。在各种辅助模型相关性大小、数量多少的情况下，本发明设计了有效的领域模型知识迁移方法，稳定提升了模型预测性能，而无需用户对相关领域模型进行手动挑选，避免了人为判断领域模型相关程度与设置相关性阈值挑选模型的困难性，解决了在标注数据不足的情况下有效利用相关领域模型提升目标模型性能的问题。

附图说明

图1是本发明机制的流程图；

图2是基模型权重学习的流程图；

图3是知识抽取与迁移的流程图；

图4是联合知识抽取与模型迁移的流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

实施例

如图1所示为本发明机制的流程图。首先搜集相关任务辅助模型并判断其丰富程度(辅助模型的数量及与目标任务的相关性)。在辅助模型较丰富的情况下，首先利用辅助模型的分解进行领域共享基模型集合D的抽取，然后将D对目标模型的加权表出作为模型训练目标的有偏正则化项，通过优化目标函数得到模型w_t。而在辅助模型不丰富的情况下，同时进行领域共享基模型集合D的抽取与目标模型w_t的有偏正则化学习，优化目标函数直到收敛可获得高效目标模型w_t。

图2所示为基模型权重学习的流程图。本发明采用交替更新的方式抽取共享基模型集合，需多次在固定模型与基模型集合的情况下，求解模型基于基模型集合的规则化权重即V。首先根据是否为第一轮更新选择是否随机初始化基模型权重V，我们采用标准正态分布。然后计算V每列2范数倒数的对角阵M＝diag(1/||v_i||，i＝1，...)。接着根据现有的D，W，M解Sylvester方程(D^TD)V+VM＝D^TW，并根据对应目标函数(1)的收敛与否决定是否结束更新，或进行下一次迭代。收敛结束条件可设置为V的变化幅度或速度。

图3所示为知识抽取与迁移的流程图，代表了在丰富辅助模型情况下目标模型的训练过程。首先按标准正态分布初始化目标模型W_t与基模型集合D。根据输入的相关任务模型W_s按

更新基模型集合D。然后利用图2流程更新基模型权重V_s。重复更新D，V_s直到式(1)收敛，获得良好抽取的基模型集合D。然后根据D与目标任务样本X，Y更新目标模型权重。利用图2流程更新基模型权重V_t。重复更新W_t，V_t直到式(2)收敛，输出目标模型

通常收敛结束条件可根据函数值的变化幅度或速度设置。

图4所示为联合知识抽取与模型迁移的流程图，代表了在辅助模型较少或较差情况下目标模型的训练过程。首先按标准正态分布初始化目标模型W_t与基模型集合D。假设我们这里采用均方误差

作为损失函数。根据输入的相关任务模型W_s与目标任务样本X，Y，按

更新目标模型W_t。然后按

更新基模型集合D。接着分别利用图2流程更新基模型权重V_s，V_t。重复上述更新过程直到式(3)收敛，输出目标模型

通常收敛结束条件可根据函数值的变化幅度或速度设置。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种利用跨任务信息的数字图像自动标注方法，其特征在于：包括以下步骤：

步骤1：收集相关图像标注任务上的预训练模型，并由用户判断模型的丰富程度，若足够丰富则转到步骤2，否则转到步骤4；

步骤2：利用丰富的辅助模型进行领域共享知识的抽取，即获取共享基模型集合D；

步骤3：利用共享基模型集合D对目标模型w_t进行有偏正则化约束，同时最小化模型w_t的经验损失，输出目标模型w_t；

步骤4：利用步骤1收集到的辅助模型以及当前任务少量标注样本上学得的较差模型，同时进行领域共享知识D抽取，模型w_t的经验误差最小化与有偏正则化，输出目标模型w_t；

步骤5：利用步骤3或4学得的标注模型，对经过与辅助模型相同预处理方式得到的数字图像样本进行标注预测，选择预测概率最大的类别作为图像标记。

2.根据权利要求1所述的一种利用跨任务信息的数字图像自动标注方法，其特征在于：步骤2中抽取领域共享基模型集合D的具体方法为：

假设在来自多个相关的图像领域的模型间，存在一组通用基础模型D可用于表示每个领域上的模型中的共有知识部分；假设共搜集到m个辅助模型

其中d为图像抽取到的特征维度；设

D∈R^d×k，V_s∈R^k×m；采用矩阵分解的方式抽取共享基模型集合D，得到下列优化目标：

其中λ为控制权重矩阵V_s每列光滑程度的超参数，需根据问题搜索最优值；k为基模型的数量，在(3，min(d,2m/3))中搜索最优值。

3.根据权利要求2所述的一种利用跨任务信息的数字图像自动标注方法，其特征在于：通过分块最速梯度下降法求解式(1)，具体如下：首先将变量D,V_s以标准正态分布初始化，D在V_s固定的情况下，对优化目标求导并使梯度为零，得到D的更新式：

接着固定D使目标函数关于V_s的梯度为零，获得V_s的隐式更新式：

其中M＝diag(1/‖v_i‖,i＝1,…)，v_i为V_s中的第i列；V_s的隐式更新式为Sylvester方程，形如AX+XB＝Q，通过python包scipy中的scipy.linalg._solvers.solve_sylvester(A，B，Q)求解；M为关于V_s的变量，需重复求解V_s的隐式更新式直到收敛获取固定D情况下V_s的最优值；依次重复D与V_s的更新直到收敛，由目标函数的块凸性可保证收敛到局部最优，得到共享基模型集合D。

4.根据权利要求3所述的一种利用跨任务信息的数字图像自动标注方法，其特征在于：所述步骤3对目标模型w_t经验损失的有偏最小化的具体方法为：

在抽取到对目标任务较为有效的基模型集合D之后，假设目标任务图像有c个类别，将线性模型推广到多分类设

V_t∈R^k×c；通过优化下式学得目标模型W_t：

其中

分别为目标任务的样本与标记，L(·)为任意可求梯度的损失函数，λ,μ为需要搜索的超参数；式(2)通过分块最速梯度下降求解，分别固定V_t与W_t，依次更新直到目标函数收敛可得目标分类模型W_t。

5.根据权利要求1所述的一种利用跨任务信息的数字图像自动标注方法，其特征在于：所述步骤4同时抽取领域共享基模型集合D与训练有偏目标模型的具体方法为：

假设目标任务图像有c个类别，将线性模型推广到多分类设

设计以下优化目标以学习目标模型W_t：

其中

分别为目标任务的图像与其标记，

D∈R^d×k,V_s∈R^k×m,V_t∈R^k×c，L(·)为任意可求梯度的损失函数，λ，μ，η为需要搜索的超参数；式(3)通过分块最速梯度下降求解，依次更新所有变量直至目标函数收敛到局部最优可得目标分类模型W_t。

Images