CN116050282A - 用户对情报的需求度计算方法和隐式反馈需求度预测方法 - Google Patents

Abstract

本发明公开用户对情报的需求度计算方法和隐式反馈需求度预测方法，属于情报推荐服务领域。用户对情报的需求度计算方法包括：根据用户对情报各区域的注视时间，计算用户对情报的浏览时间；根据用户对情报的浏览时间，计算用户对情报的初始需求度，归一化处理；根据眼动轨迹图，计算各情报的浏览顺序因子和回视次数因子；采用浏览顺序因子和回视次数因子加权归一化后初始需求度，得到用户对情报的最终需求度。本发明不仅考虑注视时间，同时结合浏览顺序因素和回视次数因素，进行用户需求程度量化及等级界定，从而更精准刻画用户对情报的需求度。基于此，用户对情报的隐式反馈需求度预测方法得到的预测结果，也更符合用户对情报的实际隐式反馈需求。

Description

用户对情报的需求度计算方法和隐式反馈需求度预测方法

技术领域

本发明属于情报推荐服务领域，更具体地，涉及用户对情报的需求度计算方法和隐式反馈需求度预测方法。

背景技术

隐式反馈是指用户不主动、不明确表达对情报的具体倾向，比如：评论、鼠标键盘点击输入操作、在某个页面停留时长、浏览情报信息时的生理反应等。隐式反馈的特点是数据信息丰富、数据实时产生，但存在固有的缺陷问题，主要包括：数据获取困难、无负反馈、数据噪音大、用户评价表达不明确等问题。常用的隐式反馈数据采集方法是日志埋点技术，日志埋点能客观地记录用户与情报平台交互的工作详情，爬取的数据可列表显示，但是日志记录存在一定的滞后性，很难进行实时分析，这使得用户需求获取的时效性不佳。

“基于ResNet神经网络的情报用户隐式反馈关注度预测”公开了通过用户浏览图像情报时在屏幕上生成的眼动热力图，利用神经网络处理图像信息的天然优势进行迁移学习，构建基于ResNet50神经网络的用户关注度预测模型；将用户对情报的关注度映射为神经网络对眼动热力图的分类问题。

然而，该方法存在以下缺陷和不足：依据注视时间长短计算关注程度，根据用户不同关注度的计算值，映射到4个等级，并据此将情报对应的眼动热力图直接进行划分，不能准确量化用户对情报的实际需求度。

发明内容

针对现有技术的缺陷，本发明的目的在于提供用户对情报的需求度计算方法和隐式反馈需求度预测方法，旨在解决现有方法无法反映用户对情报的实际需求度的问题。

为实现上述目的，第一方面，本发明提供了一种用户对情报的需求度计算方法，该方法包括：

S1.根据用户对情报各区域的注视时间，计算用户对情报的浏览时间；

S2.根据用户对情报的浏览时间，计算用户对情报的初始需求度，并归一化处理；

S3.根据眼动轨迹图，计算各情报的浏览顺序因子和回视次数因子；

S4.采用浏览顺序因子和回视次数因子加权归一化后初始需求度，得到用户对情报的最终需求度。

优选地，步骤S1包括：

S11.根据情报数量及相应的矩形坐标范围，将该页面的情报分成n个区域；

S12.用户对情报i的浏览时间计算公式如下：

其中，P_i表示情报i对应的注视点数量，e_i表示落入情报i区域的注视点序号，T(e_i)表示用户对注视点e_i的注视时间。

优选地，所述用户对情报的初始需求度的计算公式如下：

其中，I表示情报集合，i，j∈I。

优选地，所述归一化处理如下：

优选地，所述各情报的浏览顺序因子μ₁＝2-i/n，所述各情报的回视次数因子μ₂＝1+C_i/C_p；

其中，C_i表示i的回视次数，C_p表示用户对所有情报回视总次数。

为实现上述目的，第二方面，本发明提供了一种用户对情报的隐式反馈需求度预测方法，该方法包括：

获取用户浏览情报时同步生成的眼动热力图，并去除底层情报图像，得到去噪后的眼动热力图；

去噪后的眼动热力图输入至训练好的神经网络ResNet50，得到用户隐式反馈需求度；

所述神经网络ResNet50通过以下方式训练得到：

(1)采用如第一方面所述的方法，计算用户对各情报需求度，并根据需求度大小划分为多个类别；

(2)用户浏览情报内容时同步生成与情报对应的眼动热力图，并去除底层情报图像，得到去噪后的眼动热力图；

(3)根据用户对情报的需求类别，对情报对应的眼动热力图数据进行划分，作为预测分类数据集；

(4)采用预测分类数据集训练神经网络ResNet50，使其提取热力图的特征细节加以学习。

优选地，训练时的损失函数如下：

其中，loss表示损失值，M表示收集的热力图样本总数，N表示按用户需求度区分的类别数，q_hg表示真实值中第h个眼动热力图样本的第g个类别的概率分布值，p_hg表示模型预测值中第h个眼动热力图样本的第g个类别的概率分布值。

为实现上述目的，第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序被执行时，上述方法被执行。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明提出一种用户对情报的需求度计算方法，在用户浏览情报内容时同步生成眼动热力图和眼动轨迹图，不仅考虑注视时间，同时结合浏览顺序因素和回视次数因素，进行用户需求程度量化及等级界定，从而更精准刻画了用户对情报的需求度。

(2)本发明提出一种用户对情报的隐式反馈需求度预测方法，其训练数据的需求度通过上述方法计算得到，构建用户需求预测ResNet50机器学习模型，利用神经网络提取热力图的特征细节加以学习，进而将用户对情报的需求映射为神经网络对眼动热力图的分类问题，预测的结果更符合用户对情报的实际隐式反馈需求。

附图说明

图1是本发明提供的一种用户对情报的隐式反馈需求度预测方法流程图。

图2(a)是本发明提供的眼动轨迹图示意图。

图2(b)是本发明提供的眼动热力图示意图。

图3是本发明提供的情报分区示意图。

图4是本发明提供的UDFResNet50神经网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提出一种用户对情报的隐式反馈需求度预测方法，包含以下步骤：

S1.设计基于眼动特性的用户隐式反馈需求度算法。

S11.眼动数据获取和预处理。

本发明采用桌面式眼动仪收集情报用户真实眼动数据，同步生成如图2(a)所示的眼动轨迹图和如图2(b)所示的眼动热力图。眼动轨迹图能够体现用户的浏览顺序，而眼动热力图则侧重于凸显用户的情报内容注视时长。

桌面式眼动仪通过非接触式传感器进行数据获取，在此过程中，不会影响用户的操作使用习惯，有较好的场景适配能力。眼动仪通过USB线缆与电脑连接，固定在屏幕下方位置，提前安装调试眼动系统软件，使眼动仪能够与电脑正常互联互通。电脑的屏幕分辨率设置为1920×1080像素，用户与眼动仪之间大约距离65cm。

通过一组眼动实验，记录多个用户的注视开始时间、注视点时间、注视点持续时间，注视点坐标、鼠标坐标位置、鼠标操作行为及时间、键盘操作行为及时间等指标数据，还原用户在浏览情报某一时刻的眼动行为，从而挖掘用户的隐式反馈信息。

通过眼动软件可剔除用户因眼跳等生理因素引起的非主观意识注视点数据，设置单个注视点取值范围为[200,1000]，单位：ms。

S12.用户需求度算法设计。

(1)情报注视时间

如图3所示，根据情报数量及相应的矩形坐标范围，将该页面的情报分成n个区域，设情报集合I×{1，2，...，i，j，...}。结合图2(b)，对于

其对应的注视点数量为P_i，落入情报i区域的注视点序号为e_i，用户对注视点e_i的注视时间为T(e_i)，则i的浏览时间为：

(2)用户需求度

对于情报i来说，用户浏览时间越短，说明用户对其需求程度越低，也就是说用户需求度与浏览时间F(i)成正比，用户u对情报i的需求度D(i，u)的计算公式为：

由于不同情报用户之间因浏览习惯、操作方法等行为存在相当大的差异，在此可通过非线性归一化的方法对用户浏览时间进行处理，则浏览时间归一化后的D(i，u)为：

显然，0≤D(i，u)≤1。

(3)浏览顺序和回视次数的影响

首先考察浏览顺序，将各情报按照用户注视的先后顺序进行排序，即可得到由注视排序得到的顺序因子μ₁：

μ₁＝2-i/n

其中，第1个注视因子为2，随浏览顺序注视因子依次递减i/n，μ₁的取值范围为[1，2]。

接着考察回视次数，当用户对其中某个情报进行回视时，即可得到按照回视次数加权后的回视因子μ₂：

μ₂＝1+C_i/C_p。

对情报i而言，用户对其第1次回视因子为1，后续回视因子随回视的次数而不断增加，其中，C_i为i的回视次数，C_p为用户对所有情报回视总次数，μ₂取值范围为[1，2]。

综合浏览顺序和回看次数影响因素后，用户u对i的真实需求度D′(i，u)为：

D′(i，u)＝D(i，u)·μ₁·μ₂。

S13.通过用户评分验证算法准确性。

用户浏览完情报内容后，对各情报的需求度进行评分，通过用户评分的真实值q与算法计算得到的预测值p进行比对，比较两者之间的误差，用以评价该算法的准确性。

S2.构建基于用户需求度的眼动热力图分类迁移学习模型。

S21.眼动热力图数据分类标准。

根据用户对情报的需求度算法，计算得到的预测值作为分类依据，本发明按程度“Ⅰ”、“Ⅱ”、“Ⅲ”、“Ⅳ”分为4类，对应计算结果的(0，0.25]、(0.25，0.5]、(0.5，0.75)、(0.75，1]4个区间。

通过眼动仪软件去除眼动热力图中的情报底图，之所以要去除底层情报图像，是因为用户的需求度是由热力图来体现的，浏览的情报内容只是对图像进行分类的依据，同时，去除底图还可以减少图像训练时的噪声干扰。

S22.数据增强。

为防止分类模型过拟合导致Softmax分类器工作效果不佳，以及增加图像多样性，达到扩充数据集的目的，在开始训练前还对各类图像进行数据增强。从现有的数据集中利用多种图形变换方式生成可信图像，通过随机变换增加样本数，提升模型泛化能力，本发明主要采取随机改变亮度、90°旋转、镜像翻转、缩放为原比例10％等方式、水平垂直平移30°等方法。

S23.用户需求度迁移学习框架。

本发明处理的眼动热力图分类问题可通过迁移学习框架进行解决，旨在通过从已经训练好的网络模型中迁移其解决相关任务的方法，用以解决需要完成的相似任务。如果该模型的原始图像数据集足够大，即使新任务与原任务完全不同，其成熟的特征学习能力也同样可以支持解决其他视觉问题。这样的好处在于无需从零开始构建网络，既保证了分类模型的质量又大大降低了建模的时间成本，迁移学习框架中处理的是ImageNet数据集，与眼动热力图有相似特性，可以进行迁移工作。

S3.构建UDFResNet50机器学习模型并验证。

S31.神经网络参数设置。

本发明中采用用户需求预测ResNet50(User Demand Forecast ResNet50,UDFResNet50)机器学习模型进行眼动热力图特征提取，ResNet50即拥有50层网络结构的残差网络，ResNet神经网络能够较好地解决梯度问题，避免因网络层数增加而带来热力图像损失的影响，使得模型对图像预测分类的能力有效增强。

如图4所示，UDFResNet50神经网络包含了49个卷积层以及1个平均池化和全连接层，这50层网络结构可以分为6个部分。

(1)第1部分是输入层。输入为(244×224.3)(代表图像的高×宽，通道数)，主要对输入的热力图进行卷积、批标准化(Batch Normalization)、激活函数(ReLU)、最大池化(Max-Pooling)的计算，输出为(56×56.64)，输入层只有1层卷积，不包含残差块。

(2)第2至第5部分是卷积层1～4。这4部分结构都包含了残差块，数量依次为3、4、6、3个，其中每个残差块都有3层卷积。通过这16个残差块共48层卷积处理后，热力图输出为(7×7，2048，可以理解为此时模型已经学习到2048个特征。

(3)第6部分是平均池化层。经过前5部分的卷积计算结果，平均池化层会将其转化成一个(1＝1，2048)的特征向量，完成热力图像的降维和特征融合的操作，全连接层将前面所有卷积层提取到的参数特征进行综合，经过计算得到一张热力图的全局特征，并将特征向量输出传递给Softmax分类器，分类器根据特征向量输出至哪一类需求度的概率进行预测。

S32.UDFResNet50损失函数。

分类问题中，常用0-1损失、Logistic损失、Hinge损失、交叉熵损失(CrossEntropy Loss)等函数作为评估模型的预测值与真实值之间的差距，损失函数值越小，说明两者之间的距离越小，表明模型拟合得越好。在UDFResNet50机器学习模型中的损失函数为交叉熵函数，该函数在神经网络训练中梯度更大，网络优化更快，损失函数表达式为：

式中，loss为损失函数，M为收集的热力图样本总数，N为按用户需求度区分的类别数，q_hg为真实值中第h个眼动热力图样本的第g个类别的概率分布值，q_hg表示模型预测值中第h个眼动热力图样本的第g个类别的概率分布值。

交叉熵损失值描述了2个概率分布之间的距离，当值越小说明二者之间越接近，值越接近于0，说明模型的分类结果越准确。

S33.UDFResNet50神经网络超参数优化。

UDFResNet50机器学习模型训练过程的调参优化十分复杂，主要体现在两个方面：一是由于神经网络中超参数优化是组合优化过程，无法像一般参数一样通过梯度下降法得到最优解，需要照顾各超参数的特性，得到整体最优解；二是由于评估超参数配置的代价很高，要综合考量设备环境硬件、数据规模、模型训练时间等多维因素，导致许多优化算法因效率过低难以有效应用。本发明通过网格搜索和随机搜索相结合的方法，在模型初始设置的基础上，寻址一组合适的超参数作为模型配置，主要对迭代(Epoch)、批数据规模(BatchSize)、学习率(Learning Rate)3个超参数进行了优化调整。

设Epoch、Batch Size、Learning Rate分别为变量ρ、λ、γ，首先观察初始模型的训练效果，若初始模型迭代收敛较快，可以考虑缩短ρ，并在此基础上增大λ，同时配合调整γ进行训练。λ优化需要综合考虑训练资源和数据规模，由于GPU对2的幂次的λ能够发挥更佳性能，在眼动热力图数据规模不大的情况下，λ也不宜过大，一般设置为8、16、32、64；随着λ的变化，需要优化γ以适应模型的泛化能力。对于相对大的λ，应设置大一点的γ，这是由于大的λ每次迭代时梯度方向相对固定，而大的γ可以加快其收敛速度，γ通常设置为0.01、0.001、0.0001。综合考虑模型训练时间和硬件配置性能，最终选择ρ＝10，λ＝32，γ＝0.001作为UDFResNet50机器学习模型训练的配置超参数。

当UDFResNet50神经网络训练完毕后，即拥有预测用户对情报内容需求程度的能力，从而使研究人员掌握用户对情报的需求判断，本发明的优势在于机器学习的实时性和自学习性，由于用户需求是一个动态获取的过程，通过神经网络对眼动热力图特征的迭代学习，可以有效提高用户需求获取的准确率和时效性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用户对情报的需求度计算方法，其特征在于，该方法包括：

S1.根据用户对情报各区域的注视时间，计算用户对情报的浏览时间；

S2.根据用户对情报的浏览时间，计算用户对情报的初始需求度，并归一化处理；

S3.根据眼动轨迹图，计算各情报的浏览顺序因子和回视次数因子；

S4.采用浏览顺序因子和回视次数因子加权归一化后初始需求度，得到用户对情报的最终需求度。

2.如权利要求1所述的方法，其特征在于，步骤S1包括：

S11.根据情报数量及相应的矩形坐标范围，将该页面的情报分成n个区域；

S12.用户对情报i的浏览时间计算公式如下：

其中，P_i表示情报i对应的注视点数量，e_i表示落入情报i区域的注视点序号，T(e_i)表示用户对注视点e_i的注视时间。

3.如权利要求2所述的方法，其特征在于，所述用户对情报的初始需求度的计算公式如下：

其中，I表示情报集合，i，j∈I。

4.如权利要求3所述的方法，其特征在于，所述归一化处理如下：

5.如权利要求2所述的方法，其特征在于，所述各情报的浏览顺序因子μ₁＝2-i/n，所述各情报的回视次数因子μ₂＝1+C_i/C_p；

其中，C_i表示i的回视次数，C_p表示用户对所有情报回视总次数。

6.一种用户对情报的隐式反馈需求度预测方法，其特征在于，该方法包括：

获取用户浏览情报时同步生成的眼动热力图，并去除底层情报图像，得到去噪后的眼动热力图；

去噪后的眼动热力图输入至训练好的神经网络ResNet50，得到用户隐式反馈需求度；

所述神经网络ResNet50通过以下方式训练得到：

(1)采用如权利要求1至5任一项所述的方法，计算用户对各情报需求度，并根据需求度大小划分为多个类别；

(2)用户浏览情报内容时同步生成与情报对应的眼动热力图，并去除底层情报图像，得到去噪后的眼动热力图；

(3)根据用户对情报的需求类别，对情报对应的眼动热力图数据进行划分，作为预测分类数据集；

(4)采用预测分类数据集训练神经网络ResNet50，使其提取热力图的特征细节加以学习。

7.如权利要求6所述的方法，其特征在于，训练时的损失函数如下：

其中，loss表示损失值，M表示收集的热力图样本总数，N表示按用户需求度区分的类别数，q_hg表示真实值中第h个眼动热力图样本的第g个类别的概率分布值，p_hg表示模型预测值中第h个眼动热力图样本的第g个类别的概率分布值。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序被执行时，权利要求1至7任一项所述的方法被执行。

Images