CN115357785B - 一种基于语义交互和局部激活的企业资讯推荐方法 - Google Patents

Abstract

一种基于语义交互和局部激活的企业资讯推荐方法，通过SIN企业资讯编码器可以在标题和内容之间进行单词级语义交互，缓解了独立编码标题和内容时的语义偏差，有效增强了企业资讯表示。通过LAU用户编码器更加符合用户的真实的行为习惯，可以分区域处理用户点击历史，以细粒度的方式有效捕获用户的各种潜在兴趣。提出的LAU用户编码器可以利用候选企业资讯激活相关的关键性潜在兴趣，并结合注意力机制使其保留到了最终交互阶段，这有效增强了用户兴趣表示；上述三点的成功使得我们的方法有效提高了企业资讯推荐的准确性。

Description

一种基于语义交互和局部激活的企业资讯推荐方法

技术领域

本发明涉及个性化资讯推荐技术领域，具体涉及一种基于语义交互和局部激活的企业资讯推荐方法。

背景技术

个性化企业资讯推荐对于帮助用户找到感兴趣的企业资讯和改善阅读体验非常重要。基于深度学习的企业资讯推荐技术解决了传统推荐需要大量特征工程和专家知识的问题，其关键在于两个方面。一方面是为用户学习一个嵌入表示以准确描述用户兴趣，另一方面是为企业资讯学习一个嵌入表示以准确描述资讯语义信息。

对于企业资讯表示学习，现有工作主要集中在设计一个企业资讯编码器从其标题、内容及类别等信息中提取语义特征。对于用户表示学习，现有的工作主要集中在设计一个用户编码器从其点击的历史资讯中推断用户兴趣。现阶段常用的企业资讯编码器和用户编码器主要面临以下几个问题：

(1)将标题和内容视为两个独立的视图分别进行编码，没有在标题和内容之间进行充分的语义交互，这种方式造成对企业资讯理解不够充分；

(2)通常将用户的点击历史视为一个整体进行表示学习，这无法捕获用户点击历史中细粒度的潜在兴趣；

(3)大都没有考虑候选资讯对用户兴趣表达的影响，这可能导致用户表示学习过程中的重要信息不能“幸存”到最终交互阶段。

发明内容

本发明为了克服以上技术的不足，提供了一种在获得良好嵌入表示的基础上有效提高了企业资讯推荐准确性的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于语义交互和局部激活的企业资讯推荐方法，包括如下步骤：

a)获取用户按时间降序的历史点击资讯序列数据V＝[v₁,v₂,...,v_i,...,v_F]和候选企业资讯

其中v_i为第i个历史点击的资讯，i∈{1,...F}，F为历史点击的资讯数量，/>

为第i个候选企业资讯，i∈{1,...O}，O为候选企业资讯数量；

b)将用户的历史点击资讯序列数据V和候选企业资讯V^cd分别输入到SIN企业资讯编码器中，分别得到历史点击资讯嵌入表示序列R＝[r₁,r₂,...,r_i,...,r_F]和候选企业资讯嵌入表示

其中r_i为第i个历史点击资讯嵌入表示，i∈{1,...F}，/>

为第i个候选企业资讯嵌入表示，i∈{1,...O}；

c)将历史点击资讯嵌入表示序列R和候选企业资讯嵌入表示R^cd输入到LAU用户编码器，得到最终的用户嵌入表示u；

d)通过公式

计算得到用户对第i个候选企业资讯的点击概率得分/>

选取概率最大的5个候选快讯推荐给用户。

优选的，步骤a)中F取值为50。

进一步的，步骤b)包括如下步骤：

b-1)使用Snownlp分词工具将每一条历史点击资讯的标题和内容分别转换成分词序列，得到截取最大长度为N的历史点击资讯的标题分词序列[x_t,1,x_t,2,...,x_t,i,...,x_t,N]和截取最大长度为M的历史点击资讯的内容分词序列[x_c,1,x_c,2,...,x_c,i,...,x_c,M]，其中x_t,i为第i个历史点击资讯的标题分词，i∈{1,...N}，x_c,i为第i个历史点击资讯的内容分词，i∈{1,...M}，使用预训练的300维Glove中文词将历史点击资讯的标题分词序列[x_t,1,x_t,2,...,x_t,i,...,x_t,N]映射为历史点击资讯的标题分词向量序列[e_t,1,e_t,2,…,e_t,i,…,e_t,N]，将历史点击资讯的内容分词序列[x_c,1,x_c,2,...,x_c,i,...,x_c,M]映射为历史点击资讯的内容分词向量序列[e_c,1,e_c,2,...,e_c,i,...,e_c,M]；

b-2)使用Snownlp分词工具将每一条候选企业资讯的标题和内容分别转换成分词序列，得到截取最大长度为N的候选企业资讯的标题分词序列

和截取最大长度为M的候选企业资讯的内容分词序列/>

其中

为第i个候选企业资讯的标题分词，i∈{1,...N}，/>

为第i个候选企业资讯的内容分词，i∈{1,...M}，使用预训练的300维Glove中文词将候选企业资讯的标题分词序列

映射为候选企业资讯的标题分词向量序列

，将候选企业资讯的内容分词序列

映射为候选企业资讯的内容分词向量序列

b-3)将历史点击资讯的标题分词向量序列[e_t,1,e_t,2,...,e_t,i,...,e_t,N]和历史点击资讯的内容分词向量序列[e_c,1,e_c,2,...,e_c,i,…,e_c,M]分别输入到SE-NET模型中，得到历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]和历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]，将候选企业资讯的标题分词向量序列

和候选企业资讯的内容分词向量序列

分别输入到SE-NET模型中，得到候选企业资讯的缩放后标题词序列/>

和候选企业资讯的缩放后内容词序列

b-4)将历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]与历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]拼接后得到历史点击资讯的分词向量序列[e′₁,e′₂,…,e′_i,…,e′_N+M]，e′_i为第i个拼接后得到历史点击资讯的分词向量，i∈{1,…,N+M}，将候选企业资讯的缩放后标题词序列/>

和候选企业资讯的缩放后内容词序列

拼接后得到候选企业资讯的分词向量序列

为第i个拼接后得到候选企业资讯的分词向量；

b-5)通过多头自注意力网络分别建模历史点击资讯的分词向量序列[e′₁,e′₂,…,e′_i,…,e′_N+M]和候选企业资讯的分词向量序列

的相互作用关系，得到语义交互增强后的历史点击资讯的分词向量序列/>

及语义交互增强后的候选企业资讯的分词向量序列/>

其中/>

为第i个语义交互增强后的历史点击资讯的分词向量，i∈{1,…,N+M}，/>

为第i个语义交互增强后的候选企业资讯的分词向量，i∈{1,...,N+M}；

b-6)通过公式

计算得到第i个语义交互增强后的历史点击资讯的分词的注意力融合权重β_word,i，式中a_word,i为第i个语义交互增强后的历史点击资讯的分词的权重，/>

W_word和b_word均为词注意力网络中的投影参数，q_word为分词的查询向量，T为转置，通过公式/>

计算得到第i个语义交互增强后的候选企业资讯的分词的注意力融合权重/>

，式中/>

为第i个语义交互增强后的候选企业资讯的分词的权重，

和/>

均为词注意力网络中的投影参数，

为分词的查询向量；

b-7)通过公式

计算得到第i个历史点击资讯嵌入表示，通过公式

计算得到第i个候选企业资讯嵌入表示。

优选的，步骤b-1)及步骤b-2)中N取值为32，M取值为128。

进一步的，步骤b-3)SE-NET模型中历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]及候选企业资讯的缩放后标题词序列

的降维超参数为z_t，z_t＝4，SE-NET模型中历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]及候选企业资讯的缩放后内容词序列

的降维参数为z_c，z_c＝16。进一步的，步骤b-5)包括如下步骤：

b-5.1)通过公式

计算得到历史点击资讯的第h个自注意力头中第i个分词表示/>

式中/>

为历史点击资讯的第h个自注意力头中第i个分词和第j个分词之间的注意力分数，/>

为第h个自注意力头中的线性映射矩阵，e′_j为第j个拼接后得到历史点击资讯的分词向量，j∈{1,...,N+M}，

式中/>

及/>

均为第h个自注意力头中的线性映射矩阵，e′_n为第n个拼接后得到历史点击资讯的分词向量，n∈{1,...,N+M}；

b-5.2)

为第i个分词的表示为所有子空间分词特征的串联，

[:]为向量串联，h∈{1,...,H}，H为注意力头的总数，H＝20；

b-5.3)通过公式

计算得到候选企业资讯的第h个自注意力头中第i个分词表示/>

式中/>

为候选企业资讯的第h个自注意力头中第i个分词和第j个分词之间的注意力分数，/>

为第h个自注意力头中的线性映射矩阵，

为第j个拼接后得到候选企业资讯的分词向量，j∈{1,...,N+M}，

式中/>

及/>

均为第h个自注意力头中的线性映射矩阵，/>

为第n个拼接后得到候选企业资讯的分词向量，n∈{1,...,N+M}；

b-5.4)

为第i个分词的表示为所有子空间分词特征的串联，

[:]为向量串联，h∈{1,...,H}，H为注意力头的总数，H＝20。

进一步的，步骤c)包括如下步骤：

c-1)将历史点击资讯嵌入表示序列R输入到SE-NET模型中，输出得到缩放后的历史点击资讯嵌入表示序列R′＝[r₁′,r′₂,...,r′_i,...,r′_F]，r′_i为第i个缩放后的历史点击资讯嵌入表示，i∈{1,...F}；

c-2)使用CNN网络在缩放后的历史点击资讯嵌入表示序列R′中提取用户点击历史点击资讯的最终局部兴趣表示序列

为第i个历史点击资讯的最终局部兴趣表示，i∈{1,...F}；

c-3)通过公式

计算得到第i个候选企业资讯的最终局部兴趣表示/>

和第i个历史点击资讯的最终局部兴趣表示/>

的相关系数β_cd,i，式中a_cd,i为第i个候选企业资讯嵌入表/>

和第i个历史点击资讯的最终局部兴趣表示/>

的相关系数权重，/>

式中W_cd,1、b_cd,1、W_cd,2及b_cd,2均为双线性注意力的投影参数，D_q为查询向量长度，D_q＝200；

c-4)通过公式

计算得到最终的用户嵌入表示u。

进一步的，步骤c-1)中SE-NET模型中得到缩放后的历史点击资讯嵌入表示序列R′＝[r′₁,r′₂,...,r′_i,...,r′_F]的降维超参数为z_u，z_u＝5。

步骤c-2)中通过公式

计算得到第i个历史点击资讯的最终局部兴趣表示/>

σ_ft(·)为RELU非线性激活函数，W_ft及b_ft均为CNN网络中过滤器中的可学习参数，/>

为缩放后的历史点击资讯嵌入表示序列R′中第i-k个缩放后的历史点击资讯嵌入表示到第i+k个缩放后的历史点击资讯嵌入表示的连接，k为CNN网络中滑动窗口的步长，k＝1。本发明的有益效果是：通过SIN企业资讯编码器可以在标题和内容之间进行单词级语义交互，缓解了独立编码标题和内容时的语义偏差，有效增强了企业资讯表示。通过LAU用户编码器更加符合用户的真实的行为习惯，可以分区域处理用户点击历史，以细粒度的方式有效捕获用户的各种潜在兴趣。提出的LAU用户编码器可以利用候选企业资讯激活相关的关键性潜在兴趣，并结合注意力机制使其保留到了最终交互阶段，这有效增强了用户兴趣表示；上述三点的成功使得我们的方法有效提高了企业资讯推荐的准确性。

附图说明

图1为本发明的模型架构图。

具体实施方式

下面结合附图1对本发明做进一步说明。

一种基于语义交互和局部激活的企业资讯推荐方法，该方法的关键包括SIN企业资讯编码器和LAU用户编码器。SIN使用自注意力网络建模企业资讯标题和内容间单词级别语义交互以提高企业资讯嵌入表示质量。LAU在充分考虑用户兴趣变化模式的前提下，对用户点击历史序列进行切片处理以感知细粒度局部兴趣，并利用候选企业资讯和局部兴趣之间的相关性激活局部兴趣，进一步提高用户嵌入表示质量。在获得良好嵌入表示的基础上有效提高了企业资讯推荐的准确性。具体的包括如下步骤：

a)获取用户按时间降序的历史点击资讯序列数据V＝[v₁,v₂,...,v_i,...,v_F]和候选企业资讯

其中v_i为第i个历史点击的资讯，i∈{1,...F}，F为历史点击的资讯数量，/>

为第i个候选企业资讯，i∈{1,...O}，O为候选企业资讯数量。

b)将用户的历史点击资讯序列数据V和候选企业资讯V^cd分别输入到SIN企业资讯编码器中，分别得到历史点击资讯嵌入表示序列R＝[r₁,r₂,...,r_i,...,r_F]和候选企业资讯嵌入表示

其中r_i为第i个历史点击资讯嵌入表示，i∈{1,...F}，/>

为第i个候选企业资讯嵌入表示，i∈{1,…O}。SIN企业资讯编码器旨在从资讯标题和资讯内容中学习企业资讯嵌入表示。

c)将历史点击资讯嵌入表示序列R和候选企业资讯嵌入表示R^cd输入到LAU用户编码器，得到最终的用户嵌入表示u。LAU用户编码器旨在从用户的点击历史中学习细粒度局部兴趣，并利用候选企业资讯和局部兴趣之间的相关性知道最终用户兴趣表达。

d)通过公式

计算得到用户对第i个候选企业资讯的点击概率得分/>

选取概率最大的5个候选快讯推荐给用户。

通过SIN企业资讯编码器可以在标题和内容之间进行单词级语义交互，缓解了独立编码标题和内容时的语义偏差，有效增强了企业资讯表示。通过LAU用户编码器更加符合用户的真实的行为习惯，可以分区域处理用户点击历史，以细粒度的方式有效捕获用户的各种潜在兴趣。提出的LAU用户编码器可以利用候选企业资讯激活相关的关键性潜在兴趣，并结合注意力机制使其保留到了最终交互阶段，这有效增强了用户兴趣表示；上述三点的成功使得我们的方法有效提高了企业资讯推荐的准确性。

实施例1：

步骤a)中F取值为50。

实施例2：

步骤b)包括如下步骤：

b-1)使用Snownlp分词工具将每一条历史点击资讯的标题和内容分别转换成分词序列，得到截取最大长度为N的历史点击资讯的标题分词序列[x_t,1,x_t,2,...,x_t,i,…,x_t,N]和截取最大长度为M的历史点击资讯的内容分词序列[x_c,1,x_c,2,…,x_c,i,…,x_c,M]，其中x_t,i为第i个历史点击资讯的标题分词，i∈{1,…N}，x_c,i为第i个历史点击资讯的内容分词，i∈{1,...M}，使用预训练的300维Glove中文词将历史点击资讯的标题分词序列[x_t,1,x_t,2,...,x_t,i,...,x_t,N]映射为历史点击资讯的标题分词向量序列[e_t,1,e_t,2,...,e_t,i,…,e_t,N]，将历史点击资讯的内容分词序列[x_c,1,x_c,2,...,x_c,i,...,x_c,M]映射为历史点击资讯的内容分词向量序列[e_c,1,e_c,2,...,e_c,i,…,e_c,M]。

b-2)使用Snownlp分词工具将每一条候选企业资讯的标题和内容分别转换成分词序列，得到截取最大长度为N的候选企业资讯的标题分词序列

和截取最大长度为M的候选企业资讯的内容分词序列/>

其中

为第i个候选企业资讯的标题分词，i∈{1,…N}，/>

为第i个候选企业资讯的内容分词，i∈{1,…M}，使用预训练的300维Glove中文词将候选企业资讯的标题分词序列

映射为候选企业资讯的标题分词向量序列

将候选企业资讯的内容分词序列

映射为候选企业资讯的内容分词向量序列

b-3)为了增强重要分词权重，降低噪声分词权重，将历史点击资讯的标题分词向量序列[e_t,1,e_t,2,...,e_t,i,...,e_t,N]和历史点击资讯的内容分词向量序列[e_c,1,e_c,2,...,e_c,i,...,e_c,M]分别输入到SE-NET模型中，得到历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]和历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]，将候选企业资讯的标题分词向量序列

和候选企业资讯的内容分词向量序列/>

分别输入到SE-NET模型中，得到候选企业资讯的缩放后标题词序列/>

和候选企业资讯的缩放后内容词序列/>

b-4)为了增强资讯标题和资讯内容之间的语义交互，将历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]与历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]拼接后得到历史点击资讯的分词向量序列[e′₁,e′₂,...,e′_i,...,e′_N+M]，e′_i为第i个拼接后得到历史点击资讯的分词向量，i∈{1,...,N+M}，将候选企业资讯的缩放后标题词序列

和候选企业资讯的缩放后内容词序列/>

拼接后得到候选企业资讯的分词向量序列

为第i个拼接后得到候选企业资讯的分词向量。

b-5)通过多头自注意力网络分别建模历史点击资讯的分词向量序列[e′₁,e′₂,...,e′_i,...,e′_N+M]和候选企业资讯的分词向量序列

的相互作用关系，得到语义交互增强后的历史点击资讯的分词向量序列

及语义交互增强后的候选企业资讯的分词向量序列

其中/>

为第i个语义交互增强后的历史点击资讯的分词向量，i∈{1,...,N+M}，/>

为第i个语义交互增强后的候选企业资讯的分词向量，i∈{1,...,N+M}。

b-6)最后使用词级注意力网络为不同的分词学习一个注意力融合权重，具体的，通过公式

计算得到第i个语义交互增强后的历史点击资讯的分词的注意力融合权重β_word,i，式中a_word,i为第i个语义交互增强后的历史点击资讯的分词的权重，/>

W_word和b_word均为词注意力网络中的投影参数，q_word为分词的查询向量，T为转置，通过公式/>

计算得到第i个语义交互增强后的候选企业资讯的分词的注意力融合权重/>

式中/>

为第i个语义交互增强后的候选企业资讯的分词的权重，/>

和

均为词注意力网络中的投影参数，/>

为分词的查询向量。

b-7)通过公式

计算得到第i个历史点击资讯嵌入表示，通过公式

计算得到第i个候选企业资讯嵌入表示。

实施例3：

步骤b-1)及步骤b-2)中N取值为32，M取值为128。

实施例4：

步骤b-3)SE-NET模型中历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]及候选企业资讯的缩放后标题词序列

的降维超参数为z_t，z_t＝4，SE-NET模型中历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]及候选企业资讯的缩放后内容词序列/>

的降维参数为z_c，z_c＝16。

实施例5：

步骤b-5)包括如下步骤：

b-5.1)通过公式

计算得到历史点击资讯的第h个自注意力头中第i个分词表示/>

，式中/>

为历史点击资讯的第h个自注意力头中第i个分词和第j个分词之间的注意力分数，/>

为第h个自注意力头中的线性映射矩阵，e′_j为第j个拼接后得到历史点击资讯的分词向量，j∈{1,...,N+M}，/>

式中/>

及/>

均为第h个自注意力头中的线性映射矩阵，e′_n为第n个拼接后得到历史点击资讯的分词向量，n∈{1,...,N+M}。

b-5.2)多个自注意力头分别学习不同子空间下的分词的交互模式，最终第

为第i个分词的表示为所有子空间分词特征的串联，/>

[:]为向量串联，h∈{1,...,H}，H为注意力头的总数，H＝20。

b-5.3)通过公式

计算得到候选企业资讯的第h个自注意力头中第i个分词表示/>

式中/>

为候选企业资讯的第h个自注意力头中第i个分词和第j个分词之间的注意力分数，/>

为第h个自注意力头中的线性映射矩阵，

为第j个拼接后得到候选企业资讯的分词向量，j∈{1,...,N+M}，

式中/>

及/>

均为第h个自注意力头中的线性映射矩阵，/>

为第n个拼接后得到候选企业资讯的分词向量，n∈{1,...,N+M}。

b-5.4)多个自注意力头分别学习不同子空间下的分词的交互模式，最终

为第i个分词的表示为所有子空间分词特征的串联，/>

[:]为向量串联，h∈{1,...,H}，H为注意力头的总数，H＝20。

实施例6：

步骤c)包括如下步骤：

c-1)将历史点击资讯嵌入表示序列R输入到SE-NET模型中，输出得到缩放后的历史点击资讯嵌入表示序列R′＝[r₁′,r′₂,...,r_i′,...,r′_F]，r_i′为第i个缩放后的历史点击资讯嵌入表示，i∈{1,...F}。

c-2)使用CNN网络在缩放后的历史点击资讯嵌入表示序列R′中提取用户点击历史点击资讯的最终局部兴趣表示序列

为第i个历史点击资讯的最终局部兴趣表示，i∈{1,...F}。将历史点击资讯嵌入表示序列R或缩放后的历史点击资讯嵌入表示序列R′输入到SE-NET模型时，应用200个过滤器构建局部兴趣的多种模式，为了捕获更加细粒度局部兴趣，将滑动步幅设置为1。滑动窗口中心的企业资讯嵌入表示对局部兴趣表示学习十分重要，它被理解为用户在该区间时刻用户正在执行的点击操作。

c-3)最后使用双线性注意力网络来激活局部兴趣，区分不同局部兴趣的重要程度。具体的，通过公式

计算得到第i个候选企业资讯的最终局部兴趣表示/>

和第i个历史点击资讯的最终局部兴趣表示/>

的相关系数β_cd,i，式中a_cd,i为第i个候选企业资讯嵌入表/>

和第i个历史点击资讯的最终局部兴趣表示/>

的相关系数权重，

式中W_cd,1、b_cd,1、W_cd,2及b_cd,2均为双线性注意力的投影参数，D_q为查询向量长度，D_q＝200。

c-4)通过公式

计算得到最终的用户嵌入表示u。

实施例7：

步骤c-1)中SE-NET模型中得到缩放后的历史点击资讯嵌入表示序列R′＝[r₁′,r′₂,...,r_i′,...,r′_F]的降维超参数为z_u，z_u＝5。

实施例8：

步骤c-2)中通过公式

计算得到第i个历史点击资讯的最终局部兴趣表示/>

σ_ft(·)为RELU非线性激活函数，W_ft及b_ft均为CNN网络中过滤器中的可学习参数，/>

为缩放后的历史点击资讯嵌入表示序列R′中第i-k个缩放后的历史点击资讯嵌入表示到第i+k个缩放后的历史点击资讯嵌入表示的连接，k为CNN网络中滑动窗口的步长，k＝1。最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。/>

Claims (7)

1.一种基于语义交互和局部激活的企业资讯推荐方法，其特征在于，包括如下步骤：

a)获取用户按时间降序的历史点击资讯序列数据V＝[v₁,v₂,...,v_i,...,v_F]和候选企业资讯

其中v_i为第i个历史点击的资讯，i∈{1,...F}，F为历史点击的资讯数量，/>

为第i个候选企业资讯，i∈{1,...O}，O为候选企业资讯数量；

b)将用户的历史点击资讯序列数据V和候选企业资讯V^cd分别输入到SIN企业资讯编码器中，分别得到历史点击资讯嵌入表示序列R＝[r₁,r₂,...,r_i,...,r_F]和候选企业资讯嵌入表示

其中r_i为第i个历史点击资讯嵌入表示，i∈{1,...F}，r_i ^cd为第i个候选企业资讯嵌入表示，i∈{1,...O}；

c)将历史点击资讯嵌入表示序列R和候选企业资讯嵌入表示R^cd输入到LAU用户编码器，得到最终的用户嵌入表示u；

d)通过公式

计算得到用户对第i个候选企业资讯的点击概率得分/>

选取概率最大的5个候选快讯推荐给用户；

步骤b)包括如下步骤：

b-1)使用Snownlp分词工具将每一条历史点击资讯的标题和内容分别转换成分词序列，得到截取最大长度为N的历史点击资讯的标题分词序列[x_t,1,x_t,2,...,x_t,i,…,x_t,N]和截取最大长度为M的历史点击资讯的内容分词序列[x_c,1,x_c,2,...,x_c,i,...,x_c,M]，其中x_t,i为第i个历史点击资讯的标题分词，i∈{1,...N}，x_c,i为第i个历史点击资讯的内容分词，i∈{1,…M}，使用预训练的300维Glove中文词将历史点击资讯的标题分词序列[x_t,1,x_t,2,…,x_t,i,...,x_t,N]映射为历史点击资讯的标题分词向量序列[e_t,1,e_t,2,…,e_t,i,…,e_t,N]，将历史点击资讯的内容分词序列[x_c,1,x_c,2,...,x_c,i,...,x_c,M]映射为历史点击资讯的内容分词向量序列[e_c,1,e_c,2,...,e_c,i,...,e_c,M]；

b-2)使用Snownlp分词工具将每一条候选企业资讯的标题和内容分别转换成分词序列，得到截取最大长度为N的候选企业资讯的标题分词序列

和截取最大长度为M的候选企业资讯的内容分词序列/>

其中/>

为第i个候选企业资讯的标题分词，i∈{1,...N}，/>

为第i个候选企业资讯的内容分词，i∈{1,...M}，使用预训练的300维Glove中文词将候选企业资讯的标题分词序列

映射为候选企业资讯的标题分词向量序列

将候选企业资讯的内容分词序列

映射为候选企业资讯的内容分词向量序列

b-3)将历史点击资讯的标题分词向量序列[e_t,1,e_t,2,...,e_t,i,...,e_t,N]和历史点击资讯的内容分词向量序列[e_c,1,e_c,2,...,e_c,i,...,e_c,M]分别输入到SE-NET模型中，得到历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]和历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]，将候选企业资讯的标题分词向量序列

和候选企业资讯的内容分词向量序列

分别输入到SE-NET模型中，得到候选企业资讯的缩放后标题词序列/>

和候选企业资讯的缩放后内容词序列

b-4)将历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]与历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,…,e′_c,i,...,e′_c,M]拼接后得到历史点击资讯的分词向量序列[e′₁,e′₂,...,e′_i,...,e′_N+M]，e′_i为第i个拼接后得到历史点击资讯的分词向量，i∈{1,...,N+M}，将候选企业资讯的缩放后标题词序列

和候选企业资讯的缩放后内容词序列

拼接后得到候选企业资讯的分词向量序列

为第i个拼接后得到候选企业资讯的分词向量；

b-5)通过多头自注意力网络分别建模历史点击资讯的分词向量序列[e′₁,e′₂,...,e′_i,...,e′_N+M]和候选企业资讯的分词向量序列

的相互作用关系，得到语义交互增强后的历史点击资讯的分词向量序列/>

及语义交互增强后的候选企业资讯的分词向量序列/>

其中/>

为第i个语义交互增强后的历史点击资讯的分词向量，i∈{1,...,N+M}，/>

为第i个语义交互增强后的候选企业资讯的分词向量，i∈{1,...,N+M}；

b-6)通过公式

计算得到第i个语义交互增强后的历史点击资讯的分词的注意力融合权重β_word,i，式中a_word,i为第i个语义交互增强后的历史点击资讯的分词的权重，/>

W_word和b_word均为词注意力网络中的投影参数，q_word为分词的查询向量，T为转置，通过公式/>

计算得到第i个语义交互增强后的候选企业资讯的分词的注意力融合权重/>

式中/>

为第i个语义交互增强后的候选企业资讯的分词的权重，/>

和/>

均为词注意力网络中的投影参数，/>

为分词的查询向量；

b-7)通过公式

计算得到第i个历史点击资讯嵌入表示，通过公式

计算得到第i个候选企业资讯嵌入表示；

步骤c)包括如下步骤：

c-1)将历史点击资讯嵌入表示序列R输入到SE-NET模型中，输出得到缩放后的历史点击资讯嵌入表示序列R′＝[r₁′,r′₂,...,r_i′,...,r′_F]，r_i′为第i个缩放后的历史点击资讯嵌入表示，i∈{1,...F}；

c-2)使用CNN网络在缩放后的历史点击资讯嵌入表示序列R′中提取用户点击历史点击资讯的最终局部兴趣表示序列

为第i个历史点击资讯的最终局部兴趣表示，i∈{1,...F}；

c-3)通过公式

计算得到第i个候选企业资讯的最终局部兴趣表示/>

和第i个历史点击资讯的最终局部兴趣表示/>

的相关系数β_cd,i，式中a_cd,i为第i个候选企业资讯嵌入表r_i ^cd和第i个历史点击资讯的最终局部兴趣表示/>

的相关系数权重，

式中W_cd,1、b_cd,1、W_cd,2及b_cd,2均为双线性注意力的投影参数，D_q为查询向量长度，D_q＝200；

c-4)通过公式

计算得到最终的用户嵌入表示u。

2.根据权利要求1所述的基于语义交互和局部激活的企业资讯推荐方法，其特征在于：步骤a)中F取值为50。

3.根据权利要求1所述的基于语义交互和局部激活的企业资讯推荐方法，其特征在于：步骤b-1)及步骤b-2)中N取值为32，M取值为128。

4.根据权利要求1所述的基于语义交互和局部激活的企业资讯推荐方法，其特征在于：步骤b-3)SE-NET模型中历史点击资讯的缩放后标题词序列[e′_t,1,e′_t,2,...,e′_t,i,...,e′_t,N]及候选企业资讯的缩放后标题词序列

的降维超参数为z_t，z_t＝4，SE-NET模型中历史点击资讯的缩放后内容词序列[e′_c,1,e′_c,2,...,e′_c,i,...,e′_c,M]及候选企业资讯的缩放后内容词序列/>

的降维参数为z_c，z_c＝16。

5.根据权利要求1所述的基于语义交互和局部激活的企业资讯推荐方法，其特征在于，步骤b-5)包括如下步骤：

b-5.1)通过公式

计算得到历史点击资讯的第h个自注意力头中第i个分词表示/>

式中/>

为历史点击资讯的第h个自注意力头中第i个分词和第j个分词之间的注意力分数，/>

为第h个自注意力头中的线性映射矩阵，e′_j为第j个拼接后得到历史点击资讯的分词向量，j∈{1,...,N+M}，/>

式中

及/>

均为第h个自注意力头中的线性映射矩阵，e′_n为第n个拼接后得到历史点击资讯的分词向量，n∈{1,...,N+M}；

b-5.2)

为第i个分词的表示为所有子空间分词特征的串联，

[:]为向量串联，h∈{1,...,H}，H为注意力头的总数，H＝20；

b-5.3)通过公式

计算得到候选企业资讯的第h个自注意力头中第i个分词表示/>

式中/>

为候选企业资讯的第h个自注意力头中第i个分词和第j个分词之间的注意力分数，/>

为第h个自注意力头中的线性映射矩阵，/>

为第j个拼接后得到候选企业资讯的分词向量，j∈{1,...,N+M}，

式中/>

及/>

均为第h个自注意力头中的线性映射矩阵，/>

为第n个拼接后得到候选企业资讯的分词向量，n∈{1,...,N+M}；

b-5.4)

为第i个分词的表示为所有子空间分词特征的串联，

[:]为向量串联，h∈{1,...,H}，H为注意力头的总数，H＝20。

6.根据权利要求1所述的基于语义交互和局部激活的企业资讯推荐方法，其特征在于：步骤c-1)中SE-NET模型中得到缩放后的历史点击资讯嵌入表示序列R′＝[r₁′,r′₂,...,r_i′,...,r′_F]的降维超参数为z_u，z_u＝5。

7.根据权利要求1所述的基于语义交互和局部激活的企业资讯推荐方法，其特征在于：步骤c-2)中通过公式

计算得到第i个历史点击资讯的最终局部兴趣表示/>

σ_ft(·)为RELU非线性激活函数，W_ft及b_ft均为CNN网络中过滤器中的可学习参数，/>

为缩放后的历史点击资讯嵌入表示序列R′中第i-k个缩放后的历史点击资讯嵌入表示到第i+k个缩放后的历史点击资讯嵌入表示的连接，k为CNN网络中滑动窗口的步长，k＝1。

Images