CN109460483B

CN109460483B - 一种基于深度注意力机制的图片新闻封面自动选择方法

Info

Publication number: CN109460483B
Application number: CN201811123947.6A
Authority: CN
Inventors: 毛先领; 唐翼琨; 史学文; 黄河燕
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2018-09-26
Filing date: 2018-09-26
Publication date: 2021-05-04
Anticipated expiration: 2038-09-26
Also published as: CN109460483A

Abstract

本发明涉及一种基于深度注意力机制的图片新闻封面自动选择方法，属于计算机应用技术领域。本方法通过对训练集中的图片进行特征提取，将输入的图片表示成向量，将其作为深度注意力模型的输入，输出为同一条新闻所有图片的注意力值的加权平均；用该加权平均的值和图片的向量表示作为输入，训练一个分类器，通过开发集调整模型的参数。与现有方法相比，本发明方法在不需要人工干预的情况下，可以为图片新闻自动选择封面，可以为工作人员节省很多时间和精力，也可以为传媒公司节约成本。此外，在训练集、开发集和测试集数据相同的情况下，本发明与基于随机算法的图片新闻封面选择方法和基于SVM的图片新闻封面选择方法相比，准确率评测指标有明显提升。

Description

一种基于深度注意力机制的图片新闻封面自动选择方法

技术领域

本发明涉及一种图片新闻封面自动选择方法，尤其涉及一种基于深度注意力机制的图片新闻封面自动选择方法，属于计算机应用技术领域。

背景技术

随着互联网的发展，越来越多的用户选择在互联网上浏览新闻。其中，图片新闻是在展示新闻照片的同时为读者提供短小精悍的文字报道，可以图文并茂、生动形象地表述新闻，具有文字报道所替代不了的优势，深受广大受众的喜爱。

图片新闻首先呈献给用户的是其封面。通常，封面是最能代表整个图片新闻内容或最吸引人眼球的一张图片，好的封面能增加新闻的点击量和浏览量，对图片新闻的关注度与传播起着非常重要的作用。

图片新闻封面的选择，主要是依靠新闻网站的编辑等工作人员的精心选择。然而，在新闻媒体如此便利的今天，新闻的数量呈爆炸式增长，图片新闻封面的选择无疑要耗费编辑等工作人员大量的时间。现有的一种简单的省时省力的解决方法是：用随机算法随机选择图片新闻中的一幅图片作为其封面，但是，用这种方法选择出的新闻封面的质量具有随机性，达不到封面需要具备吸引用户眼球、增加点击量的要求。目前还没有更合适的能适用于海量图片新闻的自动选择其封面的方法。

发明内容

本发明的目的是为了克服现有技术的缺陷，为有效解决从多张新闻图片中自动选择一张图片作为新闻封面图片的问题，提出一种基于深度注意力机制的图片新闻封面自动选择方法。本发明方法通过对训练集中的图片进行特征提取，将输入的图片表示成向量，将其作为深度注意力模型的输入，输出为同一条新闻所有图片的注意力值的加权平均；用该加权平均的值和图片的向量表示作为输入，训练一个分类器，通过开发集调整模型的参数。

本发明采用的技术方案如下：

一种基于深度注意力机制的图片新闻封面自动选择方法，包括以下步骤：

步骤一，进行相关定义，具体如下：

定义1：训练集，指用于训练的图片新闻的数据集合，记为Tran；

定义2：开发集，指在模型训练过程中用于特征函数参数调优的数据集合，记为Dev；

定义3：测试集，指用于测试的图片新闻的数据集合，记为Test；

定义4：输入图片，特指图片新闻中的图片，用像素矩阵表示；一条图片新闻中，第i张图片记为I_i

定义5：图片特征提取，将输入图片I表示成固定维度向量的模型函数，记为f；

其中，一条图片新闻中，第i张图片的向量表示记为p_i，即p_i＝f(I_i)；

定义6：深度注意力机制，松散地基于人类的视觉注意机制，在本发明中特指在选择图片新闻的封面时按照高注意力聚焦在某张或某几张图片上，并以低注意力感知其他图片的模式，通过训练模型，不断地调整聚焦的图片；

定义7：深度注意力机制的query，深度注意力模型的一个输入向量，记为q；query为需要被分类的图片特征向量；

定义8：对齐模型，衡量深度注意力机制输入端各图片对所在图片新闻的影响程度，记为e＝a(q，p)；

定义9：注意力值，对齐模型用函数t进行归一化之后的值，记为α；

定义10：加权平均，特指计算注意力值与输入图片的向量表示的加权平均的函数，记为E；

定义11：反向传播算法，对深度注意力机制的损失函数用梯度下降法进行迭代优化求极小值的过程；

定义12：分类器，特指将输入图片分成两类的二分类模型，输出图片属于每一类的概率0或者1，记为D，其中，0代表是封面，1代表不是封面；

定义13：图片新闻的标签向量，记为L，指示图片新闻的标签位置，例如，若某条图片新闻有5张图片，其中第2张图片为该条新闻的封面，图片新闻的标签向量应表示为：L＝{0，1，0，0，0}；

定义14：交叉熵，衡量模型输出与标签向量之间差异的损失函数，记为H；

定义15：准确率(accuracy)，对于给定的开发数据集或者测试数据集，分类器正确分类的样本数与总样本数之比；

定义16：迭代，特指对一定的步骤进行重复执行，在每次执行这些步骤时，都从变量的原值推出它的新值，并对其进行更新。

步骤二，根据定义1、定义2、定义4和定义5，对训练数据集Tran和开发集Dev中的图片用函数f进行特征提取，在一条有n张图片的新闻中，有p_i＝f(I_i)，(i∈[0，n)，p_i∈R^N)，其中，N为p的维度；

步骤三，根据定义6、定义7、定义8、定义9、定义10和定义11，模型的深度注意力机制部分为：

首先，初始化深度注意力机制的query，记为q，q∈R^N；

然后，计算对齐模型：e_i＝a(q,p_i),(i∈[0，n))，将e用函数t进行归一化，即α＝t(e),得到注意力值α；

之后，计算注意力值α与图片向量p的加权平均g＝E(α，p)，g即为深度注意力机制的输出；

其中，深度注意力机制模型可以用反向传播算法优化权重参数；

步骤四，基于步骤二得到的图片的向量表示p和步骤三得到的深度注意力机制模型的输出g，并根据定义9、定义12、定义13和定义14，用分类器D对输入图片进行二分类(0和1)，图片I_i属于类别0的可能性为：k_0i＝D(g，p_i)，(i∈[0，n))，将k₀用函数t进行归一化，即K＝t(k₀),得到输入图片为封面的概率K；

通过最小化输入图片的标签向量L与K的交叉熵H来优化各权重；

步骤五，利用步骤二至步骤四训练出的模型，并根据定义2和定义15，将开发集中的图片向量表示作为步骤二至步骤四训练出的模型的输入，输出开发集中每条图片新闻的封面选择，计算在开发集上封面选择的准确率；

步骤六，根据定义16，重复步骤二至步骤五的迭代，直至达到最大迭代次数，在迭代过程中保存训练过程中步骤五计算得到的准确率最大的模型。

至此，即完成了基于深度注意力机制的图片新闻封面自动选择。

有益效果

本发明方法，与现有的人工图片新闻封面选择方法与随机图片新闻封面选择方法相比，具有如下有益效果：

1.本发明方法在不需要人工干预的情况下，可以为图片新闻自动选择封面，可以为工作人员节省很多时间和精力，也可以为传媒公司节约成本。

2.在训练集、开发集和测试集数据相同的情况下，本发明与基于随机算法的图片新闻封面选择方法和基于SVM的图片新闻封面选择方法相比，准确率(accuracy)评测指标有明显提升。

附图说明

图1是本发明方法及实施例中的流程图。

图2是本发明方法实施例中的测试流程图。

具体实施方式

下面结合附图及实施例对本发明方法进行详细说明。

实施例

一种基于深度注意力机制的图片新闻封面自动选择方法，如图1所示，包括以下步骤：

步骤一，进行相关定义，具体如下：

步骤二，据定义1、定义2、定义4和定义5，对训练数据集Tran和开发集Dev中的图片用VGG模型函数f进行特征提取，在一条有n张图片的新闻中，有p_i＝f(I_i)，(i∈[0，n)，p_i∈R^N)，其中,N为p的维度；

步骤三，根据定义6、定义7、定义8、定义9、定义10和定义11，模型的深度注意力机制部分为：首先，初始化深度注意力机制的query，即

计算对齐模型：

其中，v_a∈R^N′，W_a∈R^N′×N，U_a∈R^N′×N为深度注意力机制的权重矩阵，N′为对齐模型的隐层单元数；

将e用函数t进行归一化，即

得到注意力值α；

计算注意力值α与图片向量P的加权平均

g即为深度注意力机制的输出；

用反向传播算法优化深度注意力机制模型的权重参数；

步骤四，基于步骤二得到的图片的向量表示P和步骤三得到的深度注意力机制模型的输出g，并根据定义9、定义12、定义13和定义14，用分类器D对输入图片进行二分类(0和1)，图片I_i属于类别0的可能性为：

其中，

W′_a∈R^N′×N，U′_a∈R^N′×N为深度注意力机制的权重矩阵，N′为对齐模型的隐层单元数；

将k₀用函数t进行归一化，即

得到输入图片为封面的概率K；

通过最小化输入图片的标签向量与K的交叉熵H来优化各权重，其中第j条图片新闻的交叉熵为

设训练集有M条新闻，则训练集的交叉熵为

步骤五，利用步骤二至步骤四训练出的模型，并根据定义2和定义15，将开发集中的图片向量表示作为步骤二至步骤四训练出的模型的输入，输出开发集中每条图片新闻的封面选择，计算在开发集上封面选择的准确率(accuracy)；

步骤六，根据定义16，重复步骤二至步骤五的迭代，直至达到最大迭代次数，在迭代过程中保存训练过程中步骤四计算得到的准确率最大的模型。

至此，即完成了一种基于深度注意力机制的图片新闻封面自动选择方法。

图2为用于评价模型效果的模型测试阶段的操作流程：

利用步骤一至步骤五训练出的模型，并根据定义2、定义5和定义15，对测试数据集Test中的图片用函数f进行特征提取，作为模型的输入，输出测试集中每条图片新闻的封面选择，计算在测试集上封面选择的准确率(accuracy)。

实例效果对比

爬取新浪微博不同主题(时尚、运动、明星)的图片新闻各10000条，将其随机地拆分为训练集(60％)、开发集(20％)和测试集(20％)，实验结果表明，在训练集、开发集和测试集数据相同的情况下，本发明与基于随机算法的图片新闻封面选择方法和基于SVM的图片新闻封面选择方法相比，采用基于准确率(accuracy)作为评测指标，可以得到如下实验结果。

表1使用本发明方法与基准系统准确率(accuracy)值对比

表1的实验结果表明：在训练集、开发集和测试集数据相同的情况下，采用本发明所述方法与基准系统的方法相比，准确率(accuracy)评测指标有明显提升。

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims

1.一种基于深度注意力机制的图片新闻封面自动选择方法，其特征在于，包括以下步骤：

步骤一，进行相关定义，具体如下：

定义6：深度注意力机制，松散地基于人类的视觉注意机制，指在选择图片新闻的封面时按照高注意力聚焦在某张或某几张图片上，并以低注意力感知其他图片的模式，通过训练模型，不断地调整聚焦的图片；

定义8：对齐模型，衡量深度注意力机制输入端各图片对所在图片新闻的影响程度，记为e＝a(q,p)；

定义13：图片新闻的标签向量，记为L，指示图片新闻的标签位置；

定义15：准确率，对于给定的开发数据集或者测试数据集，分类器正确分类的样本数与总样本数之比；

定义16：迭代，特指对一定的步骤进行重复执行，在每次执行这些步骤时，都从变量的原值推出它的新值，并对其进行更新；

步骤二，根据定义1、定义2、定义4和定义5，对训练数据集Tran和开发集Dev中的图片用函数f进行特征提取，在一条有n张图片的新闻中，有p_i＝f(I_i),(i∈[0,n),p_i∈R^N)，其中，N为p的维度；

首先，初始化深度注意力机制的query，记为q,q∈R^N；

然后，计算对齐模型：e_i＝a(q,p_i),i∈[0,n)，将e用函数t进行归一化，即α＝t(e),得到注意力值α；

之后，计算注意力值α与图片向量p的加权平均g＝E(α,p)，g即为深度注意力机制的输出；

步骤四，基于步骤二得到的图片的向量表示p和步骤三得到的深度注意力机制模型的输出g，并根据定义9、定义12、定义13和定义14，用分类器D对输入图片进行二分类——0和1；图片I_i属于类别0的可能性为：k_0i＝D(g,p_i),(i∈[0,n))，将k₀用函数t进行归一化，即K＝t(k₀)，得到输入图片为封面的概率K；