CN114490447A - 一种多任务优化的智能缓存方法 - Google Patents

Abstract

本发明涉及一种多任务优化的智能缓存方法，属于无线通信领域。该方法首先将边缘服务器采集到的用户端信息进行整合，设计模型提取出用户和内容特征；其次根据这些信息，构建多任务优化模型对用户与内容的交互进行特征分析，挖掘用户的隐藏特征，预测未来一段时间内内容热度和用户偏好程度；然后根据内容热度与用户偏好程度重要性的不同，设计联合因子，将两者进行联合优化，并将内容进行降序排列，根据边缘服务器的缓存容量选取Top‑k的内容进行缓存；最终根据联合优化结果优化缓存命中率与用户命中率。本发明提高了边缘服务器的命中率和服务质量。

Description

一种多任务优化的智能缓存方法

技术领域

本发明属于无线通信领域，涉及一种多任务优化的智能缓存方法。

背景技术

目前，随着通信技术的迅猛发展，移动数据流量急剧增长，其中，特别是短视频流量呈现爆炸式增长。面对如此巨大的挑战，将内容提前缓存在具有存储能力的边缘基站、用户设备或车辆上被认为是解决这一困境的方法。将内容缓存在边缘设备而非云中心不仅可以减少回程链路的流量负载，降低费用，而且可以降低传输时延，提升用户体验，但如何筛选缓存内容成为亟需解决的问题。

多任务训练主要是对于同一个数据集，当需要对多个目标进行建模和预测，且多个目标之间具有较强的关联性时采取的一种方法。相比于传统的单任务建模，多任务建模可以同时分析任务与任务之间的关联性和差异性，在学习各自任务独立特征的基础上，整合各任务之间的共性特征，并自动筛选与各自任务不相关的冗余特征，以此相互提升各个任务的训练效果。除此之外，多任务训练相比于单任务训练能够成倍的减少训练参数和训练时间，且当任务相关性越高时，效果越好。

当前大多数的缓存策略都是基于用户偏好或者内容流行度特征，设计排序算法对内容进行排序后选取排名靠前的若干内容进行缓存。但用户对内容的偏好往往受到大众流行内容的影响，同时，流行内容的热度也会受到群体用户的喜好不断变化。因此，在设计缓存策略的时候两者并不是毫不相关的，而是存在很强的关联性的。

因此，亟需一种边缘服务器缓存内容的联合优化方法，优化缓存内容，提升边缘服务器的服务质量。

发明内容

有鉴于此，本发明的目的在于提供一种多任务优化的智能缓存方法，针对短视频的边缘缓存场景中，由于依据单一的用户偏好或内容流行度缓存造成的缓存偏差的问题，同时预测用户偏好程度与内容热度进行联合缓存，提高边缘服务器的命中率和服务质量。

为达到上述目的，本发明提供如下技术方案：

一种多任务优化的智能缓存方法，首先，当用户请求的内容未被缓存在边缘服务器或缓存内容存在偏差时，边缘服务器收集用户信息和内容特征；然后，对收集到的数据进行不同的编码处理，送入多任务训练模型进行训练，同时预测未来一段时间内用户的偏好与内容的流行度；最后，对预测得到的用户偏好和内容流行度分别排名，选取排名靠前的交集部分进行缓存，优化缓存命中率和用户命中率。该方法具体包括以下步骤：

S1：当用户请求的内容未被缓存在边缘服务器或缓存内容存在偏差时，边缘服务器采集用户端数据，包括用户信息和内容特征；

S2：采用不同特征处理方式对步骤S1采集到的数据进行编码处理，挖掘重要特征，减少后期参数训练量，方便后期快速进行模型训练与更新；

S3：构建并训练多任务优化模型：采用深度学习方法，构造多任务优化模型；输入步骤S2处理后的数据进行训练与预测，不断优化模型参数，预测得到未来一段时间内的内容热度和用户偏好程度；

S4：内容联合缓存：根据内容热度与用户偏好程度重要性的不同，设计合适的联合因子，将两者进行联合优化，并将内容进行降序排列，根据边缘服务器的缓存容量选取Top-k的内容进行缓存；

S5：优化缓存结果：根据联合优化结果优化缓存命中率与用户命中率。

进一步，步骤S1中，用户对边缘基站发送内容请求，若基站已缓存该内容且不存在缓存偏差，则直接分发给用户；否则，若基站为缓存该内容或缓存存在偏差，则整合边缘服务器采集到的各种信息，如用户的年龄、性别、设备型号、请求的内容等基本信息，以及内容的基本信息，如内容的请求次数、播放完整性等。

进一步，步骤S2具体包括以下步骤：

S21：对于采集到的离散特征，如性别、职业、设备型号等，使用独热编码的方式进行编码；

任一经过独热编码的离散特征记为f_d：

f_d＝[d₁,d₂,...,d_i,...,d_||D||]

其中，

D表示离散特征f_d的类别集合；这样就将一个一维的离散特征编码成了一个只含有0和1的||D||维向量。

S22：对于采集到的连续特征，如年龄、观看时长、观看完整性等，使用特征嵌入进行编码，得到的低维稠密嵌入特征Y＝[y₁,y₂,y₃...,y_k]；

其中，

表示过度矩阵的参数，

表示输入的稀疏特征，k和m表示参数矩阵的维度，且k＜m，

表示偏置向量，这样，就将高维的稀疏特征转化成了低维的稠密向量。

进一步，骤S3中，构建的多任务优化模型，包括输入层、特征嵌入层输、特征共享层、门控专家层、塔层和输出层。

进一步，步骤S3中，构建特征共享层，具体包括：所有输入特征经特征嵌入层输出后，由于采用了不同的编码方式，独热编码生成的高维稀疏特征和嵌入编码生成的低维稠密特征需要进一步的进行特征整合，因此设计了特征共享层将所有特征融合。

首先，将特征嵌入层各自分散的输入特征进行聚合，聚合后的向量记为f_concat：

f_concat＝(f_d,f_y)

其中，f_y表示离散特征经过向量嵌入后的稠密向量，f_d为经过独热编码的离散特征；

聚合后的向量仍然是一个高纬度较稀疏的向量，然后使用单层神经网络对聚合后的向量进行降维，降维后的输出向量记为f_share：

f_share＝σ(Wf_concat)

其中，W表示单层神经网络的权重，σ表示神经网络的激活函数，||f_share||＜＜||f_concat||，这样，经过特征共享层不仅可以得到低维的稠密向量，还有效的过滤掉了一些不必要的特征信息，是模型的泛化性大大增强。

进一步，步骤S3中，构建特门控专家层，包括：在多任务训练的过程当中，传统方法的共享底层模型虽然可以很好地学习多个任务之间的关联性，但忽略了多个任务之间的差异性，进而导致模型的泛化能力不强。因此，使用门控专家层来替代共享底层；门控专家层主要由三部分组成：任务A和任务B的专家模块、共享专家模块和门控网络；其中，优点主要有以下几方面：

1)多个专家模块的输入特征是相同的，即都是共享层降维后的输出特征，但各个专家模块是互相隔离的，可以根据训练误差独立的学习和更新各自的任务参数；

2)任务A和任务B的专家模块分别学习各自任务的差异性；共享专家模块则主要学习各任务之间的相似性和关联性；

3)门控网络可以根据各个专家模块学习功能的不同，根据各自任务的需要，给各个专家模块分配不同的权重，进而将专家进行融合。

进一步，步骤S3中，构建特门控专家层，具体包括：对于任务A的专家模块，将任务A专家模块的输出记为E_A，则：

其中，

表示任务A的专家模块中第m个专家的参数，M表示专家模块中包含的专家的个数；

E_A,m,l＝ReLu(W_A,m,lE_A,m,l-1)+b_A,m,l

E_A,m,1＝ReLu(W_A,m,1f_share)+b_A,m,1

其中，W_A,m,l-1表示任务A模块第m个专家中第l层的神经网络权重向量，E_A,m,l-1表示任务A模块第m个专家中第l-1层的输出向量，b_A,m,l表示任务A模块第m个专家中第l层神经网络的偏置向量，f_share表示降维后的输出向量；

同理，可以分别得到任务B的专家模块E_B和共享专家模块E_S；

门控网络可以通过对输入特征和专家模块的学习，根据各自任务的不同控制各个专家模块的权重；

其中，k∈{A,B}表示训练任务，G^k表示门控网络对于任务k的输出向量，

表示任务k的门控网络的参数矩阵；S^k表示任务k的输入向量，

表示任务k模块第m个专家的输出向量，

表示共享专家模块第m个专家的输出向量。

进一步，步骤S3中，构建的塔层包括：为了更充分的分析各个任务的差异性，增加模型的泛化性，在门控专家层之后加入塔层；塔层将门控专家层输出的矩阵向量输入多层的神经网络进一步挖掘各个任务的异化信息，使得整个模型在共享关联性特征的基础上突出自身的特点，进而优化任务各自的性能。

进一步，步骤S3中，构建的输出层包括：输出层有两个任务，分别是预测内容热度和用户偏好程度；考虑到这两个任务都是的输出不同，因此在最后使用softmax函数和ReLu分别进行归一化和标准化；由于两个任务的输出类型不同，采用不同的误差函数进行拟合；分类问题使用对数形式的交叉熵损失函数。

进一步，步骤S4具体包括以下步骤：

S41：根据多任务优化模型训练的结果对用户偏好程度进行加权平均并排序；

S42：根据多任务优化模型训练的结果对内容热度进行排序；

S43：将两者排序结果取交集得到最终的缓存内容。

本发明的有益效果在于：本发明针对边缘缓存场景中，只根据用户偏好程度或内容热度进行缓存的方法，由于缓存标准单一造成缓存偏差的问题，因此本发明提供的基于多任务优化的智能缓存方法，能够同时预测用户偏好与内容流行度进而进行联合缓存，提高边缘服务器的命中率和服务质量。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明的基于多任务优化的智能缓存方法的架构图；

图2为本发明的基于多任务优化的智能缓存方法的流程图；

图3为本发明中多任务优化模型的结构图；

图4为本发明中的多任务优化模型的训练流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图4，图1为本发明提供的基于多任务训练的边缘缓存优化算法，具体包含以下步骤：

步骤1：用户对边缘基站发送内容请求，若基站已缓存该内容且不存在缓存偏差，则直接分发给用户；否则，若基站为缓存该内容或缓存存在偏差，则整合边缘服务器采集到的各种信息，如用户的年龄、性别、设备型号、请求的内容等基本信息，以及内容的基本信息，如内容的请求次数、播放完整性等。

步骤2：输入数据预处理：针对步骤1采集到的信息，采用不同的特征处理方式对其进行编码，挖掘重要特征，减少后期参数训练量，方便后期快速进行模型训练与更新，具体包含以下步骤：

步骤2.1：对于采集到的离散特征，如性别、职业、设备型号等，使用独热编码的方式进行编码。任一经过独热编码的离散特征记为f_d。

f_d＝[d₁,d₂,...,d_i,d_||D||]

其中，

D表示离散特征f_d的类别集合。这样就将一个一维的离散特征编码成了一个只含有0和1的||D||维向量。

步骤2.2：对于采集到的连续特征，如年龄、观看时长、观看完整性等，使用特征嵌入进行编码，得到的低维稠密嵌入特征Y＝[y₁,y₂,y₃...,y_k]。

其中，

表示过度矩阵的参数，

表示输入的稀疏特征，且k＜m，

表示偏置向量，这样，就将高维的稀疏特征转化成了低维的稠密向量。

步骤3：多任务训练建模：采用深度学习方法，构造神经网络模型，对步骤2输入的数据进行训练与预测，不断优化模型参数，得到未来一段时间内内容的热度与用户对内容的偏好程度两个结果，具体包含以下步骤：

步骤3.1：特征共享层；所有输入特征经特征嵌入层输出后，由于采用了不同的编码方式，独热编码生成的高维稀疏特征和嵌入编码生成的低维稠密特征需要进一步的进行特征整合，因此设计了特征共享层将所有特征融合。

首先，先将特征嵌入层各自分散的输入特征进行聚合，聚合后的向量记为f_concat：

f_concat＝(f_d,f_y)

其中f_y表示离散特征经过向量嵌入后的稠密向量。

聚合后的向量仍然是一个高纬度较稀疏的向量，本文使用单层神经网络对聚合后的向量进行降维，降维后的输出向量记为f_share：

f_share＝σ(Wf_concat)

其中W表示单层神经网络的权重，σ表示神经网络的激活函数，||f_share||＜＜||f_concat||，这样，经过特征共享层不仅可以得到低维的稠密向量，还有效的过滤掉了一些不必要的特征信息，是模型的泛化性大大增强。

步骤3.2：门控专家层：在多任务训练的过程当中，传统方法的共享底层模型虽然可以很好地学习多个任务之间的关联性，但忽略了多个任务之间的差异性，进而导致模型的泛化能力不强。因此，设计了门控专家层来替代共享底层。门控专家层主要由三部分组成：任务A和任务B的专家模块、共享专家模块和门控网络。优点主要有以下几方面：

1)多个专家模块的输入特征是相同的，即都是共享层降维后的输出特征，但各个专家模块是互相隔离的，可以根据训练误差独立的学习和更新各自的任务参数。

2)任务A和任务B的专家模块分别学习各自任务的差异性；共享专家模块则主要学习各任务之间的相似性和关联性。

3)门控网络可以根据各个专家模块学习功能的不同，根据各自任务的需要，给各个专家模块分配不同的权重，进而将专家进行融合。

对于任务A的专家模块，将任务A专家模块的输出记为E_A,则：

其中，

表示任务A的专家模块中第m个专家的参数，M表示专家模块中包含的专家的个数。

E_A,m,l＝ReLu(W_A,m,lE_A,m,l-1)+b_A,m,l

E_A,m,1＝ReLu(W_A,m,1f_share)+b_A,m,1

其中，W_A,m,l-1表示任务A模块第m个专家中第l层的神经网络权重向量，E_A,m,l-1表示任务A模块第m个专家中第l-1层的输出向量，b_A,m,l表示任务A模块第m个专家中第l层神经网络的偏置向量。

同理，可以分别得到任务B的专家模块E_B和共享专家模块E_S。

门控网络可以通过对输入特征和专家模块的学习，根据各自任务的不同控制各个专家模块的权重：

其中k∈{A,B}表示训练任务，G^k表示门控网络对于任务k的输出向量，S^k表示任务k的输入向量。

步骤3.3：塔层：为了更充分的分析各个任务的差异性，增加模型的泛化性，在门控专家层之后加入了塔层。塔层将门控专家层输出的矩阵向量输入多层的神经网络进一步挖掘各个任务的异化信息，使得整个模型在共享关联性特征的基础上突出自身的特点，进而优化任务各自的性能。

其中，

表示任务k的塔层在第l的输出，

表示任务k的塔层在第l的参数，b_t,l表示偏置向量。

步骤3.4：输出层：输出层有两个任务，分别是预测用户对内容的偏好和内容的流行度。考虑到这两个任务都是的输出不同，因此在最后使用softmax函数和ReLu分别进行归一化和标准化：

其中y^k表示任务k的概率输出，σ表示激活函数，用户偏好是分类问题，使用softmax；内容流行度是回归问题，使用ReLu。

由于两个任务的输出类型不同，采用不同的误差函数进行拟合。分类问题使用对数形式的交叉熵损失函数：

其中N表示训练集的数据量，f表示输入的特征向量，

表示训练集的数据，Multi(·)表示提出的多任务训练模型，y∈{0,1}表示用户对内容的偏好。

回归问题使用均方误差函数(RMSE)来计算参数训练过程中的损失：

最后得到的总误差函数为：

loss＝loss₁+loss₂

整个多任务预测模型的目的是通过对模型参数的不断迭代和学习，使得总误差函数最小。

步骤4：内容联合缓存：根据内容热度与用户偏好程度重要性的不同，设计合适的联合因子，将两者进行联合优化，将内容进行降序排列，根据边缘服务器的缓存容量选取Top-k的内容进行缓存；

首先，使用多任务模型得到用户的偏好集合

和内容流行度集合

然后，分别对P_u和P_c降序排列并选择前m个得到Cache@P_u，Cache@P_c。

最后缓存的内容则是两个集合交集的部分。

步骤5：优化缓存结果：根据联合优化结果优化缓存命中率与用户命中率。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种多任务优化的智能缓存方法，其特征在于，该方法具体包括以下步骤：

S1：当用户请求的内容未被缓存在边缘服务器或缓存内容存在偏差时，边缘服务器采集用户端数据，包括用户信息和内容特征；

S2：采用不同特征处理方式对步骤S1采集到的数据进行编码处理；

S3：构建并训练多任务优化模型：采用深度学习方法，构造多任务优化模型；输入步骤S2处理后的数据进行训练与预测，不断优化模型参数，预测得到未来一段时间内的内容热度和用户偏好程度；

S4：内容联合缓存：根据内容热度与用户偏好程度重要性的不同，设计联合因子，将两者进行联合优化，并将内容进行降序排列，根据边缘服务器的缓存容量选取Top-k的内容进行缓存；

S5：优化缓存结果：根据联合优化结果优化缓存命中率与用户命中率。

2.根据权利要求1所述的多任务优化的智能缓存方法，其特征在于，步骤S2具体包括以下步骤：

S21：对于采集到的离散特征，使用独热编码的方式进行编码；

任一经过独热编码的离散特征记为f_d：

f_d＝[d₁,d₂,...,d_i,...,d_|D|]

其中，

D表示离散特征f_d的类别集合；

S22：对于采集到的连续特征，使用特征嵌入进行编码，得到的低维稠密嵌入特征Y＝[y₁,y₂,y₃...,y_k]；

其中，

表示过度矩阵的参数，

表示输入的稀疏特征，k和m表示参数矩阵的维度，且k＜m，

表示偏置向量。

3.根据权利要求1所述的多任务优化的智能缓存方法，其特征在于，步骤S3中，构建的多任务优化模型，包括输入层、特征嵌入层输、特征共享层、门控专家层、塔层和输出层。

4.根据权利要求3所述的多任务优化的智能缓存方法，其特征在于，步骤S3中，构建特征共享层，具体包括：首先，将特征嵌入层各自分散的输入特征进行聚合，聚合后的向量记为f_concat：

f_concat＝(f_d,f_y)

其中，f_y表示离散特征经过向量嵌入后的稠密向量，f_d为经过独热编码的离散特征；

聚合后的向量仍然是一个高纬度较稀疏的向量，然后使用单层神经网络对聚合后的向量进行降维，降维后的输出向量记为f_share：

f_share＝σ(Wf_concat)

其中，W表示单层神经网络的权重，σ表示神经网络的激活函数，||f_share||＜＜||f_concat||。

5.根据权利要求3所述的多任务优化的智能缓存方法，其特征在于，步骤S3中，构建特门控专家层，包括：使用门控专家层来替代共享底层；门控专家层由三部分组成：任务A和任务B的专家模块、共享专家模块和门控网络；其中，

1)多个专家模块的输入特征是相同的，即都是共享层降维后的输出特征，但各个专家模块是互相隔离的，可以根据训练误差独立的学习和更新各自的任务参数；

2)任务A和任务B的专家模块分别学习各自任务的差异性；共享专家模块学习各任务之间的相似性和关联性；

3)门控网络根据各个专家模块学习功能的不同，根据各自任务的需要，给各个专家模块分配不同的权重，进而将专家进行融合。

6.根据权利要求5所述的多任务优化的智能缓存方法，其特征在于，步骤S3中，构建特门控专家层，具体包括：对于任务A的专家模块，将任务A专家模块的输出记为E_A，则：

其中，

表示任务A的专家模块中第m个专家的参数，M表示专家模块中包含的专家的个数；

E_A,m,l＝ReLu(W_A,m,lE_A,m,l-1)+b_A,m,l

E_A,m,1＝ReLu(W_A,m,1f_share)+b_A,m,1

其中，W_A,m,l-1表示任务A模块第m个专家中第l层的神经网络权重向量，E_A,m,l-1表示任务A模块第m个专家中第l-1层的输出向量，b_A,m,l表示任务A模块第m个专家中第l层神经网络的偏置向量，f_share表示降维后的输出向量；

同理，分别得到任务B的专家模块E_B和共享专家模块E_S；

门控网络通过对输入特征和专家模块的学习，根据各自任务的不同控制各个专家模块的权重；

其中，k∈{A,B}表示训练任务，G^k表示门控网络对于任务k的输出向量，

表示任务k的门控网络的参数矩阵；S^k表示任务k的输入向量，

表示任务k模块第m个专家的输出向量，

表示共享专家模块第m个专家的输出向量。

7.根据权利要求3所述的多任务优化的智能缓存方法，其特征在于，步骤S3中，构建的塔层包括：在门控专家层之后加入塔层；塔层将门控专家层输出的矩阵向量输入多层的神经网络进一步挖掘各个任务的异化信息。

8.根据权利要求3所述的多任务优化的智能缓存方法，其特征在于，步骤S3中，构建的输出层包括：输出层有两个任务，分别是预测使用softmax函数和ReLu分别进行归一化和标准化；采用不同的误差函数进行拟合；分类问题使用对数形式的交叉熵损失函数。

9.根据权利要求1所述的多任务优化的智能缓存方法，其特征在于，步骤S4具体包括以下步骤：

S41：根据多任务优化模型训练的结果对用户偏好程度进行加权平均并排序；

S42：根据多任务优化模型训练的结果对内容热度进行排序；

S43：将两者排序结果取交集得到最终的缓存内容。

Images