CN117194652B - 一种基于深度学习的信息推荐系统 - Google Patents

Abstract

本发明提供了一种基于深度学习的信息推荐系统，属于语义识别技术领域，本发明先对用户输入的文本进行编码，从而得到编码数据，本发明中采用基于特征共享的语义提取子系统先对编码数据提取出语义特征向量，从而根据语义特征向量进行信息匹配，提高信息推荐精度。

Description

一种基于深度学习的信息推荐系统

技术领域

本发明涉及语义识别技术领域，具体而言，涉及一种基于深度学习的信息推荐系统。

背景技术

随着科技的发展，每个人每天接入的信息量巨大，同时，也更沉浸于自己感兴趣的信息，因此，针对不同人的需求，所推荐的信息不同，减少用户自身的筛选时间。

现有推荐技术方案通过分析用户的信息，提取关键词，通过关键词与各个信息进行匹配，从而选出匹配度高的信息推荐给用户。但是直接进行关键词提取，存在以下问题：从用户信息中提取出关键词后，离散的关键词中包含能体现用户语义的关键词和不能体现用户语义的关键词，直接进行关键词与信息的匹配，会导致无法寻找到与用户真实语义相匹配的信息，造成信息推荐精度低的问题。

发明内容

本发明的目的在于提供一种基于深度学习的信息推荐系统，其解决了现有推荐技术方案存在的信息推荐精度低的问题。

本发明的实施例通过以下技术方案实现：一种基于深度学习的信息推荐系统，包括：文字编码子系统、基于特征共享的语义提取子系统和信息匹配子系统；

所述文字编码子系统用于对用户文本进行编码，得到编码数据；所述基于特征共享的语义提取子系统用于对编码数据提取语义特征向量；所述信息匹配子系统用于根据语义特征向量，计算信息匹配度，根据信息匹配度的排序，依次对用户进行信息推荐。

进一步地，所述语义提取子系统包括：嵌入层、第一卷积层、第一卷积神经网络、第二卷积神经网络、第一特征共享网络、第二特征共享网络、特征融合层和全连接层；

所述嵌入层的输入端作为语义提取子系统的输入端，其输出端与第一卷积层的输入端连接；所述第一卷积层的输出端分别与第一卷积神经网络的输入端和第二卷积神经网络的输入端连接；所述第一特征共享网络的第一输入端与第一卷积神经网络的输出端连接，其第二输入端与第二特征共享网络的第一输出端连接；所述第二特征共享网络的第一输入端与第二卷积神经网络的输出端连接，其第二输入端与第一特征共享网络的第一输出端连接；所述特征融合层的第一输入端与第一特征共享网络的第二输出端连接，其第二输入端与第二特征共享网络的第二输出端连接，其输出端与全连接层的输入端连接；所述全连接层的输出端作为语义提取子系统的输出端。

上述进一步地方案的有益效果为：本发明中分别采用第一卷积神经网络和第二卷积神经网络对第一卷积层输出的特征进行处理，从而实现对不同特征的分通道处理，再通过第一特征共享网络和第二特征共享网络在进行进一步地提取特征时，还进行了信息共享，提高语义提取子系统的记忆性，从而提高语义提取精度。

进一步地，所述第一卷积神经网络和第二卷积神经网络均包括：池化层、Tanh层、Sigmoid层、乘法器Mu1、第二卷积层和加法器Add1；

所述池化层的输入端与加法器Add1的第一输入端连接，并作为第一卷积神经网络或第二卷积神经网络的输入端；所述池化层的输出端分别与Tanh层的输入端和Sigmoid层的输入端连接；所述乘法器Mu1的第一输入端与Sigmoid层的输出端连接，其第二输入端与Tanh层的输出端连接，其输出端与第二卷积层的输入端连接；所述第二卷积层的输出端与加法器Add1的第二输入端连接；所述加法器Add1的输出端作为第一卷积神经网络或第二卷积神经网络的输出端；在第一卷积神经网络中池化层为平均池化层；在第二卷积神经网络中池化层为最大池化层。

上述进一步地方案的有益效果为：本发明中第一卷积神经网络处理的是平均池化层输出的全局平均特征，第二卷积神经网络处理的是最大池化层输出的显著特征，从而通过两条路径分别处理不同的特征，在Tanh层和Sigmoid层对特征进行归一化的同时，也进行了特征筛选，并将Tanh层和Sigmoid层筛选出的不同特征进行相乘后输入第二卷积层，在加法器Add1处将第二卷积层的输出和池化层的输入进行融合，解决梯度消失的问题。

进一步地，所述第一特征共享网络和第二特征共享网络包括：特征输入层、乘法器Mu2、加法器Add2和特征输出层；

所述特征输入层的输入端与特征输出层的第一输入端连接，并作为第一特征共享网络或第二特征共享网络的第一输入端；所述特征输入层的第一输出端与乘法器Mu2的第一输入端连接，其第二输出端分别与乘法器Mu2的第二输入端和加法器Add2的第一输入端连接；所述乘法器Mu2的输出端与加法器Add2的第二输入端连接；所述加法器Add2的输出端与特征输出层的第二输入端连接；所述特征输出层的输出端作为第一特征共享网络或第二特征共享网络的第二输出端。

进一步地，所述特征输入层的第一输出端的表达式为：

其中，为特征输入层的第一输出端第/>时刻的输出，/>为S型激活函数，为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，/>为输入/>的第一权重，/>为输出/>的第一权重，/>为第一输入偏置，/>为输出/>的第一权重，/>为加法器Add2输出端第/>时刻的输出。

进一步地，所述特征输入层的第二输出端的表达式为：

其中，为特征输入层的第二输出端第/>时刻的输出，/>为双曲正切激活函数，/>为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，/>为输入/>的第二权重，/>为输出/>的第二权重，/>为第二输入偏置，/>为输出/>的第二权重，/>为加法器Add2输出端第/>时刻的输出。

进一步地，所述特征输出层的输出端的表达式为：

其中，为特征输出层的输出端第/>时刻的输出，/>为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，/>为输入/>的第三权重，为输出/>的第三权重，/>为输出/>的权重，/>为第三偏置，/>为加法器Add2输出端第/>时刻的输出。

进一步地，将第二特征共享网络中加法器Add2输出端第时刻的输出/>作为共享特征输入到第一特征共享网络的第二输入端，将第一特征共享网络中加法器Add2输出端第/>时刻的输出/>作为共享特征输入到第二特征共享网络的第二输入端，具体的：在第一特征共享网络中，/>为第二特征共享网络中加法器Add2输出端第/>时刻的输出；在第二特征共享网络中，/>为第一特征共享网络中加法器Add2输出端第/>时刻的输出。

上述进一步地方案的有益效果为：本发明中特征输入层分别采用和激活函数分别提取特征，从而最大程度的提取特征输入层的输入端第/>时刻的输入/>、特征输出层的输出端第/>时刻的输出/>和另一个特征共享网络中加法器Add2输出端第/>时刻的输出/>的特征，并赋予不同权重，增强模型学习能力，在加法器Add2处，将加法器Add2输出作为共享特征进行共享，增强模型提取前后语义的能力。

进一步地，所述信息匹配子系统包括：信息切分单元、信息编码单元、匹配单元和推荐单元；

所述信息切分单元用于将各待匹配信息根据连接词和标点符号进行分段，得到信息子段；

所述信息编码单元用于对信息子段进行编码，得到编码向量；

所述匹配单元用于根据各个编码向量和语义特征向量，计算信息匹配度；

所述推荐单元用于根据信息匹配度的大小，对待匹配信息进行排序，依次对用户进行信息推荐。

上述进一步地方案的有益效果为：本发明中将每个待匹配信息进行了切分，得到信息子段，并对信息子段进行编码，得到编码向量，根据各个编码向量和语义特征向量的相似情况，从而得到每个待匹配信息的信息匹配度。

进一步地，所述计算信息匹配度的公式为：

其中，为信息匹配度，/>为第/>个编码向量与语义特征向量的相似度，/>为语义特征向量中第/>个元素，/>为第/>个编码向量中第/>个元素，/>为元素数量，/>为编码向量的数量，/>为相似度/>大于0.5的数量。

上述进一步地方案的有益效果为：本发明中先计算出一个编码向量与语义特征向量的相似度，从而计算出每个待匹配信息与语义特征向量的信息匹配度，在计算信息匹配度时，考虑每个相似度的情况，通过进一步地加剧不同待匹配信息间信息匹配度的区别，增加区分度，更利于筛选出匹配的信息。

本发明实施例的技术方案至少具有如下优点和有益效果：本发明先对用户输入的文本进行编码，从而得到编码数据，本发明中采用基于特征共享的语义提取子系统先对编码数据提取出语义特征向量，从而根据语义特征向量进行信息匹配，提高信息推荐精度。

附图说明

图1为一种基于深度学习的信息推荐系统的结构示意图；

图2为语义提取子系统的结构示意图；

图3为第一卷积神经网络和第二卷积神经网络的结构示意图；

图4为第一特征共享网络和第二特征共享网络的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

如图1所示，一种基于深度学习的信息推荐系统，包括：文字编码子系统、基于特征共享的语义提取子系统和信息匹配子系统；

所述文字编码子系统用于对用户文本进行编码，得到编码数据；所述基于特征共享的语义提取子系统用于对编码数据提取语义特征向量；所述信息匹配子系统用于根据语义特征向量，计算信息匹配度，根据信息匹配度的排序，依次对用户进行信息推荐。

如图2所示，所述语义提取子系统包括：嵌入层、第一卷积层、第一卷积神经网络、第二卷积神经网络、第一特征共享网络、第二特征共享网络、特征融合层和全连接层；

所述嵌入层的输入端作为语义提取子系统的输入端，其输出端与第一卷积层的输入端连接；所述第一卷积层的输出端分别与第一卷积神经网络的输入端和第二卷积神经网络的输入端连接；所述第一特征共享网络的第一输入端与第一卷积神经网络的输出端连接，其第二输入端与第二特征共享网络的第一输出端连接；所述第二特征共享网络的第一输入端与第二卷积神经网络的输出端连接，其第二输入端与第一特征共享网络的第一输出端连接；所述特征融合层的第一输入端与第一特征共享网络的第二输出端连接，其第二输入端与第二特征共享网络的第二输出端连接，其输出端与全连接层的输入端连接；所述全连接层的输出端作为语义提取子系统的输出端。

本发明中分别采用第一卷积神经网络和第二卷积神经网络对第一卷积层输出的特征进行处理，从而实现对不同特征的分通道处理，再通过第一特征共享网络和第二特征共享网络在进行进一步地提取特征时，还进行了信息共享，提高语义提取子系统的记忆性，从而提高语义提取精度。

如图3所示，所述第一卷积神经网络和第二卷积神经网络均包括：池化层、Tanh层、Sigmoid层、乘法器Mu1、第二卷积层和加法器Add1；

所述池化层的输入端与加法器Add1的第一输入端连接，并作为第一卷积神经网络或第二卷积神经网络的输入端；所述池化层的输出端分别与Tanh层的输入端和Sigmoid层的输入端连接；所述乘法器Mu1的第一输入端与Sigmoid层的输出端连接，其第二输入端与Tanh层的输出端连接，其输出端与第二卷积层的输入端连接；所述第二卷积层的输出端与加法器Add1的第二输入端连接；所述加法器Add1的输出端作为第一卷积神经网络或第二卷积神经网络的输出端；在第一卷积神经网络中池化层为平均池化层；在第二卷积神经网络中池化层为最大池化层。

本发明中第一卷积神经网络处理的是平均池化层输出的全局平均特征，第二卷积神经网络处理的是最大池化层输出的显著特征，从而通过两条路径分别处理不同的特征，在Tanh层和Sigmoid层对特征进行归一化的同时，也进行了特征筛选，并将Tanh层和Sigmoid层筛选出的不同特征进行相乘后输入第二卷积层，在加法器Add1处将第二卷积层的输出和池化层的输入进行融合，解决梯度消失的问题。

如图4所示，所述第一特征共享网络和第二特征共享网络包括：特征输入层、乘法器Mu2、加法器Add2和特征输出层；

所述特征输入层的输入端与特征输出层的第一输入端连接，并作为第一特征共享网络或第二特征共享网络的第一输入端；所述特征输入层的第一输出端与乘法器Mu2的第一输入端连接，其第二输出端分别与乘法器Mu2的第二输入端和加法器Add2的第一输入端连接；所述乘法器Mu2的输出端与加法器Add2的第二输入端连接；所述加法器Add2的输出端与特征输出层的第二输入端连接；所述特征输出层的输出端作为第一特征共享网络或第二特征共享网络的第二输出端。

所述特征输入层的第一输出端的表达式为：

其中，为特征输入层的第一输出端第/>时刻的输出，/>为S型激活函数，为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，/>为输入/>的第一权重，/>为输出/>的第一权重，/>为第一输入偏置，/>为输出/>的第一权重，/>为加法器Add2输出端第/>时刻的输出。

特征输入层的输入端第时刻的输入/>来源于加法器Add1的输出。

所述特征输入层的第二输出端的表达式为：

其中，为特征输入层的第二输出端第/>时刻的输出，/>为双曲正切激活函数，/>为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，/>为输入/>的第二权重，/>为输出/>的第二权重，/>为第二输入偏置，/>为输出/>的第二权重，/>为加法器Add2输出端第/>时刻的输出。

所述特征输出层的输出端的表达式为：

其中，为特征输出层的输出端第/>时刻的输出，/>为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，/>为输入/>的第三权重，为输出/>的第三权重，/>为输出/>的权重，/>为第三偏置，/>为加法器Add2输出端第/>时刻的输出。

将第二特征共享网络中加法器Add2输出端第时刻的输出/>作为共享特征输入到第一特征共享网络的第二输入端，将第一特征共享网络中加法器Add2输出端第时刻的输出/>作为共享特征输入到第二特征共享网络的第二输入端，具体的：在第一特征共享网络中，/>为第二特征共享网络中加法器Add2输出端第/>时刻的输出；在第二特征共享网络中，/>为第一特征共享网络中加法器Add2输出端第/>时刻的输出。

本发明中特征输入层分别采用和/>激活函数分别提取特征，从而最大程度的提取特征输入层的输入端第/>时刻的输入/>、特征输出层的输出端第/>时刻的输出/>和另一个特征共享网络中加法器Add2输出端第/>时刻的输出/>的特征，并赋予不同权重，增强模型学习能力，在加法器Add2处，将加法器Add2输出作为共享特征进行共享，增强模型提取前后语义的能力。

所述信息匹配子系统包括：信息切分单元、信息编码单元、匹配单元和推荐单元；

所述信息切分单元用于将各待匹配信息根据连接词和标点符号进行分段，得到信息子段；

所述信息编码单元用于对信息子段进行编码，得到编码向量；

所述匹配单元用于根据各个编码向量和语义特征向量，计算信息匹配度；

所述推荐单元用于根据信息匹配度的大小，对待匹配信息进行排序，依次对用户进行信息推荐。

本发明中将每个待匹配信息进行了切分，得到信息子段，并对信息子段进行编码，得到编码向量，根据各个编码向量和语义特征向量的相似情况，从而得到每个待匹配信息的信息匹配度。

所述计算信息匹配度的公式为：

其中，为信息匹配度，/>为第/>个编码向量与语义特征向量的相似度，/>为语义特征向量中第/>个元素，/>为第/>个编码向量中第/>个元素，/>为元素数量，/>为编码向量的数量，/>为相似度/>大于0.5的数量。

本发明中先计算出一个编码向量与语义特征向量的相似度，从而计算出每个待匹配信息与语义特征向量的信息匹配度，在计算信息匹配度时，考虑每个相似度的情况，通过进一步地加剧不同待匹配信息间信息匹配度的区别，增加区分度，更利于筛选出匹配的信息。

本发明先对用户输入的文本进行编码，从而得到编码数据，本发明中采用基于特征共享的语义提取子系统先对编码数据提取出语义特征向量，从而根据语义特征向量进行信息匹配，提高信息推荐精度。

在本发明中，语义提取子系统在训练时，训练集的样本为标注后的用户文本，在用户文本上标注出其对应的语义信息，则训练后的语义提取子系统则会根据用户文本找到相应的用户语义。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的信息推荐系统，其特征在于，包括：文字编码子系统、基于特征共享的语义提取子系统和信息匹配子系统；

所述文字编码子系统用于对用户文本进行编码，得到编码数据；所述基于特征共享的语义提取子系统用于对编码数据提取语义特征向量；所述信息匹配子系统用于根据语义特征向量，计算信息匹配度，根据信息匹配度的排序，依次对用户进行信息推荐；

所述语义提取子系统包括：嵌入层、第一卷积层、第一卷积神经网络、第二卷积神经网络、第一特征共享网络、第二特征共享网络、特征融合层和全连接层；

所述嵌入层的输入端作为语义提取子系统的输入端，其输出端与第一卷积层的输入端连接；所述第一卷积层的输出端分别与第一卷积神经网络的输入端和第二卷积神经网络的输入端连接；所述第一特征共享网络的第一输入端与第一卷积神经网络的输出端连接，其第二输入端与第二特征共享网络的第一输出端连接；所述第二特征共享网络的第一输入端与第二卷积神经网络的输出端连接，其第二输入端与第一特征共享网络的第一输出端连接；所述特征融合层的第一输入端与第一特征共享网络的第二输出端连接，其第二输入端与第二特征共享网络的第二输出端连接，其输出端与全连接层的输入端连接；所述全连接层的输出端作为语义提取子系统的输出端；

其中，所述第一卷积神经网络和第二卷积神经网络均包括：池化层、Tanh层、Sigmoid层、乘法器Mu1、第二卷积层和加法器Add1；

所述池化层的输入端与加法器Add1的第一输入端连接，并作为第一卷积神经网络或第二卷积神经网络的输入端；所述池化层的输出端分别与Tanh层的输入端和Sigmoid层的输入端连接；所述乘法器Mu1的第一输入端与Sigmoid层的输出端连接，其第二输入端与Tanh层的输出端连接，其输出端与第二卷积层的输入端连接；所述第二卷积层的输出端与加法器Add1的第二输入端连接；所述加法器Add1的输出端作为第一卷积神经网络或第二卷积神经网络的输出端；在第一卷积神经网络中池化层为平均池化层；在第二卷积神经网络中池化层为最大池化层；

所述第一特征共享网络和第二特征共享网络包括：特征输入层、乘法器Mu2、加法器Add2和特征输出层；

所述特征输入层的输入端与特征输出层的第一输入端连接，并作为第一特征共享网络或第二特征共享网络的第一输入端；所述特征输入层的第一输出端与乘法器Mu2的第一输入端连接，其第二输出端分别与乘法器Mu2的第二输入端和加法器Add2的第一输入端连接；所述乘法器Mu2的输出端与加法器Add2的第二输入端连接；所述加法器Add2的输出端与特征输出层的第二输入端连接；所述特征输出层的输出端作为第一特征共享网络或第二特征共享网络的第二输出端。

2.根据权利要求1所述的基于深度学习的信息推荐系统，其特征在于，所述特征输入层的第一输出端的表达式为：

其中，为特征输入层的第一输出端第/>时刻的输出，/>为S型激活函数，/>为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，为输入/>的第一权重，/>为输出/>的第一权重，/>为第一输入偏置，/>为输出的第一权重，/>为加法器Add2输出端第/>时刻的输出。

3.根据权利要求2所述的基于深度学习的信息推荐系统，其特征在于，所述特征输入层的第二输出端的表达式为：

其中，为特征输入层的第二输出端第/>时刻的输出，/>为双曲正切激活函数，/>为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，为输入/>的第二权重，/>为输出/>的第二权重，/>为第二输入偏置，/>为输出的第二权重，/>为加法器Add2输出端第/>时刻的输出。

4.根据权利要求3所述的基于深度学习的信息推荐系统，其特征在于，所述特征输出层的输出端的表达式为：

其中，为特征输出层的输出端第/>时刻的输出，/>为特征输入层的输入端第/>时刻的输入，/>为特征输出层的输出端第/>时刻的输出，/>为输入/>的第三权重，为输出/>的第三权重，/>为输出/>的权重，/>为第三输入偏置，/>为加法器Add2输出端第/>时刻的输出。

5.根据权利要求4所述的基于深度学习的信息推荐系统，其特征在于，将第二特征共享网络中加法器Add2输出端第时刻的输出/>作为共享特征输入到第一特征共享网络的第二输入端，将第一特征共享网络中加法器Add2输出端第/>时刻的输出/>作为共享特征输入到第二特征共享网络的第二输入端，具体的：在第一特征共享网络中，/>为第二特征共享网络中加法器Add2输出端第/>时刻的输出；在第二特征共享网络中，/>为第一特征共享网络中加法器Add2输出端第/>时刻的输出。

6.根据权利要求1所述的基于深度学习的信息推荐系统，其特征在于，所述信息匹配子系统包括：信息切分单元、信息编码单元、匹配单元和推荐单元；

所述信息切分单元用于将各待匹配信息根据连接词和标点符号进行分段，得到信息子段；

所述信息编码单元用于对信息子段进行编码，得到编码向量；

所述匹配单元用于根据各个编码向量和语义特征向量，计算信息匹配度；

所述推荐单元用于根据信息匹配度的大小，对待匹配信息进行排序，依次对用户进行信息推荐。

7.根据权利要求6所述的基于深度学习的信息推荐系统，其特征在于，所述计算信息匹配度的公式为：

其中，为信息匹配度，/>为第/>个编码向量与语义特征向量的相似度，/>为语义特征向量中第/>个元素，/>为第/>个编码向量中第/>个元素，/>为元素数量，/>为编码向量的数量，/>为相似度/>大于0.5的数量。