CN115098789B - 基于神经网络的多维兴趣融合推荐方法、装置及相关设备 - Google Patents
基于神经网络的多维兴趣融合推荐方法、装置及相关设备 Download PDFInfo
- Publication number
- CN115098789B CN115098789B CN202210938355.XA CN202210938355A CN115098789B CN 115098789 B CN115098789 B CN 115098789B CN 202210938355 A CN202210938355 A CN 202210938355A CN 115098789 B CN115098789 B CN 115098789B
- Authority
- CN
- China
- Prior art keywords
- interest
- model
- sequence
- neural network
- click
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 109
- 230000004927 fusion Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 30
- 125000004122 cyclic group Chemical group 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000000306 recurrent effect Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 3
- 241000220225 Malus Species 0.000 description 11
- 241000219109 Citrullus Species 0.000 description 10
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 240000008790 Musa x paradisiaca Species 0.000 description 7
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 244000157072 Hylocereus undatus Species 0.000 description 2
- 235000018481 Hylocereus undatus Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000234295 Musa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于神经网络的多维兴趣融合推荐方法、装置及相关设备，包括：将点击数据输入到兴趣融合模型，其中，混合网络模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，主体兴趣模型为图神经网络模型，附属兴趣模型为循环神经网络模型，兴趣干扰模型为深度置信网络；通过多层感知机的方式，对主体兴趣模型和附属兴趣模型进行融合，得到多维混合模型，并采用多维混合模型对点击数据进行训练，得到第一兴趣序列；采用兴趣干扰模型和点击数据对第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；基于第二兴趣序列进行兴趣推荐，采用本发明能提高信息推荐的精准性。
Description
技术领域
本发明涉及信息推荐技术领域，尤其涉及一种基于神经网络的多维兴趣融合推荐方法、装置及相关设备。
背景技术
伴随着信息化的高速发展，用户的选择越来越多，选择的多样性也与日俱增；用户选择所体现的用户兴趣也越来越复杂多样，这对预测用户行为算法的健壮性提出了更高的要求，更具备健壮性的算法面对复杂的用户兴趣变化可以提出更稳定的决策结果。为了提升推荐算法的健壮性，需要通过多模型融合的方式对用户兴趣进行拟合运算，最终将运算结果通过双向正则化来使推荐结果更具多样性，且使结果符合正态分布。
同时，传统的兴趣预测方法，面向用户兴趣的建模具有偏向性。循环神经网络的方法面向短期序列有很好的效果，因此过分注重用户的短期兴趣。图神经网络在序列推荐的过程中受制于门控神经网络这一基础，对短期兴趣也有较大偏置，且对用户的总体兴趣无法更精细的表现。已有的基于神经网络的用户兴趣预测方法均对用户的短期兴趣带有一定的偏向性，但是用户的兴趣是时常转换的，而且因为定量的误操作，短期序列有时会反馈一定的噪声。这使得兴趣推荐往往不够精准。
发明内容
本发明实施例提供一种基于神经网络的多维兴趣融合推荐方法、装置、计算机设备和存储介质，以提高兴趣推荐的精准性。
为了解决上述技术问题，本申请实施例提供一种基于神经网络的多维兴趣融合推荐方法，所述基于神经网络的多维兴趣融合推荐方法包括：
获取用户点击数据；
将所述点击数据输入到兴趣融合模型，其中，所述兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，所述主体兴趣模型为图神经网络模型，所述附属兴趣模型为循环神经网络模型，所述兴趣干扰模型为深度置信网络；
通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型，并采用所述多维混合模型对所述点击数据进行训练，得到第一兴趣序列；
采用所述兴趣干扰模型和所述点击数据对所述第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；
基于所述第二兴趣序列进行兴趣推荐。
可选地，所述图神经网络包括图神经网络层，注意力层，图门控层；其中，
所述图神经网络层用于将点击数据转换为第一点击序列，用图的方式记录所述第一点击序列中各个要素之间的关系，各个要素之间通过注意力权重、时间权重和相关性权重链接，记录整个列表中的所有要素之间的关系并以矩阵的形式压缩到N维空间中，所述第一点击序列为所述点击数据和所有用户的历史数据构成的序列；
所述注意力层用于基于要素的频次，采用权重累加的方式为各个要素分配权重；
所述图门控层用于在产生新的序列时，定期遗忘历史序列中的要素，所述非关键要素基于要素的权重确定。
可选地，所述循环神经网络包括循环神经网络层、循环神经网络注意力层、循环神经网络门控层，其中，
所述循环神经网络层模块用于将所述点击数据转化为第二点击序列，用张量的方式记录所述第二点击序列各个点击要素之间的关系，各个要素之间通过注意力权重、时间权重和相关性权重链接，记录整个列表中的所有要素之间的关系并以矩阵的形式压缩到N维空间中；
所述循环神经网络注意力层模块用于在列表中从起始到终止不断扫描目标要素，并基于所述目标要素在历史列表中出现次数分配权重，确定用户的主要兴趣；
所述循环神经网络门控层用于在产生新的序列时，确定历史序列中定期遗忘的要素。
可选地，所述主体兴趣模型包含对应要素类别的节点，输出为初始偏向用户主体兴趣的预测列表，所述附属兴趣模型包含对应要素的矩阵维度，输出为初始偏向用户附属兴趣的预测列表，兴趣干扰模型包含对应要素的矩阵维度，用于确定用户在点击过程中产生的兴趣漂移。
可选地，所述通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型包括：
基于所述点击数据和所有用户的历史数据，生成所述第一点击序列；
以图谱的形式对所述点击序列建模，得到关系图谱，所述关系图谱的节点为各个要素对应的实体，节点之间的边包括实体间兴趣转化的概率参数、实体注意力权重参数和门控权重参数，其中，所述实体注意力权重为实体与其他实体的相似度组成的权重，所述门控权重为噪声点击对应的权重；
采用所述关系图谱中的概率参数、所述实体注意力权重参数和所述门控权重参数更新所述主体兴趣模型，并采用更新后的主体兴趣模型的各神经元进行动作预测训练，得到图网络模型的生成器生成概率；
基于所述点击数据和所述用户的历史数据，生成所述第二点击序列；
通过循环神经网络对所述第二点击序列进行特征抽取，并以若干要素作为备选输出，通过交叉熵损失函数对预测结果进行收敛，得到所述点击数据对应的判别器的输出概率；
生成器生成概率与判别器的输出概率做对抗共同进行参数的反向传播，并共同向真实标签拟合，基于拟合结果对图神经网络和循环神经网络的所有参数进行更新，得到所述多维混合模型。
可选地，所述兴趣干扰模型通过简单深度置信神经网络对历史数据和所述点击数据进行训练，生成不为真的兴趣点，并向所述主体兴趣模型和所述附属兴趣模型进行反事实推荐。
可选地，所述采用所述兴趣干扰模型和所述点击数据对所述第一兴趣序列进行校验，根据校验结果确定第二兴趣序列包括：
基于所述点击数据和所述历史数据，生成干扰序列；
将所述干扰序列与所述第一兴趣序列进行融合并计算置信度，得到第一置信度；
计算融合之前的置信度，作为第二置信度；
将所述第一置信度与所述第二置信度进行对比，若对比结果超过预设阈值，则返回所述通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型，并采用所述多维混合模型对所述点击数据进行训练，得到第一兴趣序列的步骤继续执行，直到对比结果不超过所述预设阈值；
将此时得到的第一兴趣序列确定为所述第二兴趣序列。
为了解决上述技术问题，本申请实施例还提供一种基于神经网络的多维兴趣融合推荐装置，包括：
数据获取模块，用于获取用户点击数据；
数据输入模块，用于将所述点击数据输入到兴趣融合模型，其中，所述兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，所述主体兴趣模型为图神经网络模型，所述附属兴趣模型为循环神经网络模型，所述兴趣干扰模型为深度置信网络；
第一兴趣序列生成模块，用于通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型，并采用所述多维混合模型对所述点击数据进行训练，得到第一兴趣序列；
第二兴趣序列生成模块，用于采用所述兴趣干扰模型和所述点击数据对所述第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；
兴趣推荐模块，用于基于所述第二兴趣序列进行兴趣推荐。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于神经网络的多维兴趣融合推荐方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于神经网络的多维兴趣融合推荐方法的步骤。
本发明实施例提供的基于神经网络的多维兴趣融合推荐方法、装置、计算机设备及存储介质，将点击数据输入到兴趣融合模型，其中兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，主体兴趣模型为图神经网络模型，附属兴趣模型为循环神经网络模型，兴趣干扰模型为深度置信网络；通过多层感知机的方式，对主体兴趣模型和附属兴趣模型进行融合，得到多维混合模型，并采用多维混合模型对点击数据进行训练，得到第一兴趣序列；采用兴趣干扰模型和点击数据对第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；基于第二兴趣序列进行兴趣推荐，本实施例在新增用户点击时，加入了兴趣干扰模型其模型可以输出所有条目的软标签，进而对训练器进行影响，在提高了信息曝光率的同时可以为用户提供新的要素信息，同时，加入了兴趣干扰模型，可以使模型的训练结果可以更能经受住噪声的考验，使模型可以面对海量数据提供更为稳定的推荐结果，提高信息推荐的精准性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的基于神经网络的多维兴趣融合推荐方法的一个实施例的流程图；
图2为本申请的兴趣融合模型的一个示意图；
图3是根据本申请的基于神经网络的多维兴趣融合推荐装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1示出本发明实施例提供的一种基于神经网络的多维兴趣融合推荐方法，详述如下：
S201：获取用户点击数据。
其中，用户点击数据具体可以是通过前端页面埋点采集得到，也可以是基于后端记录日志文件进行分析得到。
S202：将点击数据输入到兴趣融合模型，其中，兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，主体兴趣模型为图神经网络模型，附属兴趣模型为循环神经网络模型，兴趣干扰模型为深度置信网络。
可选地，主体兴趣模型包含对应要素类别的节点，输出为初始偏向用户主体兴趣的预测列表，附属兴趣模型包含对应要素的矩阵维度，输出为初始偏向用户附属兴趣的预测列表，兴趣干扰模型包含对应要素的矩阵维度，用于确定用户在点击过程中产生的兴趣漂移。
可选地，图神经网络包括图神经网络层，注意力层，图门控层；其中，
图神经网络层用于将点击数据转换为第一点击序列，用图的方式记录第一点击序列中各个要素之间的关系，各个要素之间通过注意力权重、时间权重和相关性权重链接，记录整个列表中的所有要素之间的关系并以矩阵的形式压缩到N维空间中，第一点击序列为点击数据和所有用户的历史数据构成的序列；
注意力层用于基于要素的频次，采用权重累加的方式为各个要素分配权重；
图门控层用于在产生新的序列时，定期遗忘历史序列中的要素，非关键要素基于要素的权重确定。
当获取到用户的点击序列时，以图谱的形式为其序列建模，保有序列中各个产品的整体相关性，将其图门控、图注意力等参数全部整合到图关系中。其中，图谱中包含各个实体之间点击的顺序关系；包含点击的各实体与其它实体的相似度所组成的注意力权重；包含噪声点击(重复点击、不相关点击等误操作)所组成的门控权重。
具体表示为：图谱中各个节点表示为点击实体，节点之间的边包含实体间兴趣转化的概率、实体注意力权重和门控权重。同时用户的最终点击标签来训练神经网络抽取用户特征的能力，其过程为用当前的序列关系参数、图注意力模块参数、图门控模块参数通过图神经网络的各神经元进行计算得到预测动作，然后获取真实动作，使用交叉熵损失函数对所有参数进行递归优化。
图注意力模块的功能是：通过统计序列中每个产品在当前批次点击中的重复点击次数，由此初始化每个产品的对应初始注意力权重，一般情况下多次点击的产品其初始注意力权重会随点击次数的提高而降低，以此避免对单一产品进行重复计算。由此，可通过对少量点击的产品赋予比较高的初始权重和优化权重，以此进行特征放大，避免不断迭代导致这类关键特征梯度迅速趋于平滑；对多次在实体集合中出现的实体类别进行权重弱化，赋予较低的初始权重和优化权重，避免多次重复计算同一实体的特征，进而导致最终预测结果向次要兴趣过量偏移。注意力计算的主要方式为其中/>表示在t时刻s序列中，i产品的注意力大小，/>表示t时刻s序列中用户对i产品的点击行为，/>表示在t时间对i的点击的概率，W和U分别表示其权重。
图门控模块的功能是：将服务器点击数据中的异常数据以及重复数据进行加权，对其赋予较低的权重进而传递较小的梯度进行计算，由此对异常行为进行遗忘，保持对关键信息的精确记忆。/>表示在t时间范围内，s序列中的一系列行为。表示我们通过门控机制将会话特征抽取。/>表示用注意力方式进一步提取会话特征。/>表示在t时间对i的点击的概率。
可选地，循环神经网络包括循环神经网络层、循环神经网络注意力层、循环神经网络门控层，其中，
循环神经网络层模块用于将点击数据转化为第二点击序列，用张量的方式记录第二点击序列各个点击要素之间的关系，各个要素之间通过注意力权重、时间权重和相关性权重链接，记录整个列表中的所有要素之间的关系并以矩阵的形式压缩到N维空间中；
循环神经网络注意力层模块用于在列表中从起始到终止不断扫描目标要素，并基于目标要素在历史列表中出现次数分配权重，确定用户的主要兴趣；
循环神经网络门控层用于在产生新的序列时，确定历史序列中定期遗忘的要素。
附属兴趣网络通过将用户点击序列的短期序列内容输入输入门由输入门进行重新构建，用记忆门和遗忘门进行循环递归，以目标点击函数做标签来训练序列特征进而完成对用户行为的再建模，由此可以提取出用户在近期行为中的主要兴趣，其表现为用户当下时间段的附属兴趣，区分于主体兴趣，附属兴趣具有时效性，其来的快去的也快，容易产生兴趣偏移。
输入门用于将输入信号写入神经网络进行计算。
网络新发现的输入信号，比如下一个单词记为xt，其中t代表当前的时刻，xt是一个向量。
附属兴趣网络在上述步骤的输出信号，这里记为ht-1，ht-1是一个维度和xt相同的向量。
附属兴趣网络在上一步中的记忆信号，记为ct-1，ct-1是一个维度和xt相同的向量。长短时记忆网络在得到这两个信号后，并没有直接把这两个向量融合起来，而是将权重计算出来。
输入门：it＝sigmoid(WiXt+ViHt-1+bi)，将序列按批次输入进行一次激活函数操作，由此加权对每个点击行为赋予权重，方便进行训练反向传播。
遗忘门：ft＝sigmoid(WfXt+VfHt-1+bf)，随着训练的进行，遗忘门会对与标签相关度较低的数据赋予更低的权重，由此来充分记忆关键信息。
输出门：ot＝sigmoid(WoXt+VoHt-1+bo)，将原本的多维数据进行降维操作，获得兴趣预测的概率分布情况，最终可由softmax函数进行预测结果的提取。
单元状态：gt＝tanh(WgXt+VgHt-1+bg)，将输入信号和以往的输入信号进行信息融合。
其中Xt表示当前动作，Ht-1表示前t-1个动作集合，W和V分别表示权重，b表示神经网络的偏置，如下同理。
通过学习设置上述各类门的权重，长短时记忆网络能够依据当前输入信号以及记忆信息，选择性地忽略或强化当前记忆或输入信号，有利于网络更好地学习长序列的特征信息：记忆信号：ct＝ft·ct-1+it·gt输出信号：ht＝ot·tanh(ct)。
在步骤S02之前，该方法还包括：
输入序列由主体兴趣模型图神经网络接收，运算得到特征序列P1，输入序列P1的预测概率集合被送至神经网络单元进行训练计算，得到损失值L1，我们通过交叉熵损失函数的反向传播对每个节点的参数进行反向传播，其表示为P1＝P1-ωL1，可以迭代计算得到在当前迭代次数区间内最优的参数求解，以生成主体兴趣生成模型；
输入序列由附属兴趣模型门控循环神经网络接收，运算得到特征序列P2，输入序列P2的预测概率集合被送至神经网络单元进行训练计算，得到损失值L2，我们通过交叉熵损失函数的反向传播对每个张量的参数进行反向传播，其表示为P2＝P2-ωL2，可以迭代计算得到在当前迭代次数区间内最优的参数求解，以生成附属兴趣生成模型。
其中，输入序列为存储的用户点击的历史记录。
应理解，虽然输入的序列是相同的，但是最终存储的信息不同，图神经网络存取了每个用户点击序列之间的关系，表示了用户在服务器中的主体兴趣。循环神经网络存储了近期服务器中的热门兴趣，即基于热度的大众喜好。换言之，P1特征序列表现了用户的每段点击序列之间的关系，比如，“香蕉”、“西瓜”、“苹果”是一个长度为三的一段点击序列。而“西瓜”、“榨汁机”是一段长度为二的点击序列。P1表现了这两段序列之间的关系，表示西瓜之后可能点击为苹果，也有可能是榨汁机。P2表示为单独对这两个序列做兴趣拟合。
S203：通过多层感知机的方式，对主体兴趣模型和附属兴趣模型进行融合，得到多维混合模型，并采用多维混合模型对点击数据进行训练，得到第一兴趣序列。
可选地，通过多层感知机的方式，对主体兴趣模型和附属兴趣模型进行融合，得到多维混合模型包括：
基于点击数据和所有用户的历史数据，生成第一点击序列；
以图谱的形式对点击序列建模，得到关系图谱，关系图谱的节点为各个要素对应的实体，节点之间的边包括实体间兴趣转化的概率参数、实体注意力权重参数和门控权重参数，其中，实体注意力权重为实体与其他实体的相似度组成的权重，门控权重为噪声点击对应的权重；
采用关系图谱中的概率参数、实体注意力权重参数和门控权重参数更新主体兴趣模型，并采用更新后的主体兴趣模型的各神经元进行动作预测训练，得到图网络模型的生成器生成概率；
基于点击数据和用户的历史数据，生成第二点击序列；
通过循环神经网络对第二点击序列进行特征抽取，并以若干要素作为备选输出，通过交叉熵损失函数对预测结果进行收敛，得到点击数据对应的判别器的输出概率；
生成器生成概率与判别器的输出概率做对抗共同进行参数的反向传播，并共同向真实标签拟合，基于拟合结果对图神经网络和循环神经网络的所有参数进行更新，得到多维混合模型。
S204：采用兴趣干扰模型和点击数据对第一兴趣序列进行校验，根据校验结果确定第二兴趣序列。
可选地，兴趣干扰模型通过简单深度置信神经网络对历史数据和点击数据进行训练，生成不为真的兴趣点，并向主体兴趣模型和附属兴趣模型进行反事实推荐。
可选地，采用兴趣干扰模型和点击数据对第一兴趣序列进行校验，根据校验结果确定第二兴趣序列包括：
基于点击数据和历史数据，生成干扰序列；
将干扰序列与第一兴趣序列进行融合并计算置信度，得到第一置信度；
计算融合之前的置信度，作为第二置信度；
将第一置信度与第二置信度进行对比，若对比结果超过预设阈值，则返回通过多层感知机的方式，对主体兴趣模型和附属兴趣模型进行融合，得到多维混合模型，并采用多维混合模型对点击数据进行训练，得到第一兴趣序列的步骤继续执行，直到对比结果不超过预设阈值；
将此时得到的第一兴趣序列确定为第二兴趣序列。
兴趣干扰模块的功能是：随机生成标签与真实标签不一致的软标签，其生成目标表示为μi＝wT·ai+b，其中ai表示为随机生成的行为，μ表示用行为表示的干扰兴趣集合，软标签对每个条目的预测概率都有一定影响，兴趣干扰模块不会对兴趣模型进行反向传播，但是会对模型进行校验，校验兴趣模型的健壮性。
鉴别模块的功能是：对通过真实标签来判断兴趣干扰模型是否对主体兴趣模型和附属兴趣模型产生了影响，若没有任何影响产生，兴趣模型依然可以提取出用户目前的兴趣，那么可以判定对当前序列的建模为具有韧性的模型，反之则需要采用修正模块对序列进行再训练。
修正模块的功能是：将训练情况较差的序列进行再次训练，其方法为通过本次输出结果与真是标签的差值做反向传播，传播损失对本序列模型进行再次的训练，其损失函数表示如下：
其中E表示为需要修正的样例，It-1表示样例需要预测到的标签。
图神经网络主体兴趣模块、门控神经网络附属兴趣模块共同通过鉴别模块和修正模块，产生新的预测列表。
门控循环神经网络模块中的模型融合结果表现形式为：
其中st表示当前序列，at表示当前序列预测的下一个动作，表示当前序列的下一个可能动作的集合，我们将这一系列动作用模型函数V(门控循环神经网络)来进行迭代训练得到奖励函数，函数V对长度为t的序列的输出即为输出信号ht。
使用级联函数的方式选择最优动作A，其中j表示一批次的动作计算个数。
多层感知机模型融合模块的功能是：通过多层感知机的方式将主体兴趣模型和附属兴趣模型的隐层进行融合，获得多维兴趣融合的混合模型，并对模型混合的结果进行干扰兴趣模型的检验，在这个过程中，为三个模型分配不同的初始权重配比，并通过真实标签进行反向传播，不断对模型的权重配比进行修正，获得具有强韧性的兴趣预测列表。
其中，融合过程为：首先主体兴趣模型和附属兴趣模型，融合的结果，通过平均绝对误差作为损失函数，与真实标签进行反向传播，最终训练得到最适配的权重。
而干扰兴趣模型则需要按需求分配更低的初始权重，因为兴趣的干扰不可以过多的影响用户的真实兴趣。兴趣的干扰模型由于唯独不会以真实的标签做结果进行训练，所以它的预测结果，在概率分布上预测到真实标签的概率最低，所以对其结果取负后，进行softmax处理获得预测结果。
最终通过三者的融合获得多维兴趣预测结果。
优选地，主体兴趣：附属兴趣：干扰兴趣的初始权重的配比通常为10：10：1。
其中，在服务器历史数据中，用户有已经点击过的数据，比如某天一个用户的点击顺序为，“苹果”、“香蕉”、“西瓜”、“火龙果”。那么我们就可以将“苹果”作为已知，此时“香蕉”为真实标签，如果将“苹果”、“香蕉”作为已知，那么“西瓜”就是真实标签，以此类推。真实标签则为用户在当前序列中，由已知条件，真实进行的下次点击操作。训练的过程就是，通过这个真实标签与预测标签的差值来不断反向传递梯度，使模型收敛的过程。
其中，韧性即为算法性能的鲁棒性、健壮性。但由于此时运用在兴趣模型中，因此其表现为模型难以受到噪声和用户兴趣漂移的干扰，稳定的拟合用户的当前兴趣，输出准确的推荐结果。由此体现模型的强韧性。
主体兴趣图神经网络与附属兴趣循环神经网络的协同工作，生成器生成概率组合与判别器的概率组合做对抗共同进行参数的反向传播，并共同向真实标签拟合，进而使输出结果O1同时具有生成器的模型和判别器模型的双重模型优点，同时对图神经网络和循环神经网络的所有参数进行更新。
其中，真实标签即为训练数据中的target。
在服务器历史数据中，用户有已经点击过的数据，比如某天一个用户的点击顺序为，“苹果”、“香蕉”、“西瓜”、“火龙果”。那么我们就可以将“苹果”作为已知，此时“香蕉”为真实标签，如果将“苹果”、“香蕉”作为已知，那么“西瓜”就是真实标签，以此类推。真实标签则为用户在当前序列中，由已知条件，真实进行的下次点击操作。训练的过程是通过真实标签与预测标签的差值来不断反向传递梯度，使模型收敛的过程。
在训练阶段，采用交叉熵损失函数代表训练模型的训练方法，并以此优化全局的模型：
其中，表示图神经网络当前批次预测的概率集合，yi表示真实标签，/>表示模型当前预测的概率。需要说明的是，交叉熵损失函数，假使模型预测的结果为真，那么”+”后面的一项就会被消去，因此模型只剩下前面的负数，因为这是损失函数，因此是需要被减去的一部分，那么负负得正，本次的预测结果对模型就会形成奖励，反之，如果本次预测错误，那么模型就会被惩罚。
此外，将模型第一次训练得到的结果，通过兴趣干扰模型进行韧性训练，兴趣干扰模型会生成非正确标签的其它所有可能的标签的软标签，其主要表述为：
假使服务器中存在所有水果的标签，而本次训练的真实标签为“西瓜”，生成一个虚假的标签，其唯独不是西瓜，而且此次生成为软标签，它表现在“苹果”概率为0.05，“香蕉”概率为0.12……，而维度西瓜概率为0，那么兴趣干扰模型，必然会对模型生成干扰。
如果对模型使用假标签进行训练，那么反复训练后，预测的概率最低的标签很有可能就是真实结果。这样训练预测模型，本身的好处不大，但是如果放在多维兴趣混合模型中，就可以干扰正向预测的模型，使模型更具有稳定性，同时还可以通过反事实推断的方式获得用户的隐含兴趣。
通过软标签(假使，一个标签的one-hot编码为[0,0,0,0,1]，那么软标签就是[0.2,0.4,0.3,0.1,0]，其表示为，原本为1的数变为0，变为概率最低的值，而其它标签不再为0，变成大于0且小于1的数)对真实标签进行影响，对训练得到的结果进行判定，假若第一次训练结果稳定，则不会受到兴趣干扰模型影响，假若结果不稳定，则需要进一步对不稳定的序列进行再次重复训练，故其总体学习模型的损失函数表示为：
Et表示为第t批次需要再次重复训练的样本集合，It-1表示第t批次训练最后一个周期的项目集，yi表示真实标签，表示模型当前预测的概率。
其中兴趣干扰模型对原模型同样有正向反馈，由于多次采用非正确标签对模型进行训练，所以兴趣干扰模型所生成的预测结果中，最低概率者为最有可能为正确标签的真实预测结果，故用softmin函数存储兴趣干扰模型的兴趣信号，其softmin函数表示为:
其中表示对当前批次t，产品i的归一化后的预测结果。Vi表示为对当前产品i的预测值，/>表示所有预测值的加和，
由此，兴趣干扰模型不仅可以增强训练模型的健壮性，也可以通过模型融合在准确率上对原模型有一定的提升。
如图2所示，本实施例方法的结构由三部分组成，分别是基于图神经网络的主体兴趣模型和基于循环神经网络的附属兴趣模型以及兴趣干扰模型。
以下结合一个具体实例对本发明方法进行进一步说明：
以一个电子商务领域的序列为例，在网络购物场景下包含了本购物软件H所有用户的点击序列信息，将研究区域设定为部分点击频率较高的产品，低于设定点击频率的产品将被过滤，然后将用户的点击序列按时间进行分割，由此获得所有用户的点击序列，如：“苹果、橘子、香蕉”，为一个长度为3的点击序列。
然后，将点击序列进行预处理，使其得到数据强化，这个过程中将序列S＝{s 1,s2,...,s n}变化为([s 1],s 2),([s 1,s 2],s 3)...([s 1,s 2,...,s n-1]，sn)，使原本长度为n的数据可以扩展为原来的n倍以此更好的学习用户的时序特征，最终得到点击流数据D1。
按照点击序列D1的顺序，对其用R2中主体兴趣图神经网络进行模型构建。产品数量与图的节点个数相同为N，借此隐性的构造一个N*N的矩阵来表示图的邻接矩阵，其中Ni,j表示为第i个产品和第j个产品之间的状态转移概率。本矩阵隐含在计算过程之中，每次的模型输入都会对矩阵中相应单元的概率进行修改，在结果计算时对矩阵中所有数据进行一次更新。在图关系中，我们将对图的边和节点权重进行细化，它代表图的注意力和门控机制，每次计算结果时，我们将与结果相似度较大的产品进行权重带权加和使其获得注意力，并将相似度最小的X个产品进行权重的缩小，使其具有遗忘能力来避免噪声的干扰。其表现为，当用户点击了产品A以后，会根据产品A隐式输出{产品B，产品C，……，产品N}与产品A的关系，然后根据目标结果对其关系进行修改，同时对其注意力和门控单元的权重进行修改，最终获得图神经网络生成器的最优模型，同时构建知识图谱，刻画产品之间的时序关系。
在R3附属兴趣的训练过程中，通过循环神经网络对序列进行特征抽取。通过输入数据库中已经预处理好的点击流D1来进行训练，训练过程采用带有注意力ct和门控单元zt的循环神经网络，循环神经网络可以抽取时序序列中的主要特征，它以序列做为输入，并以t个产品作为备选输出，通过交叉熵损失函数使最终预测结果收敛，其中pi为第i个产品是否为当前序列的标签，只包含1和0两种可能性，qi表示为第i个产品的预测概率做反向传播更新当前批次产品的输出概率。
在R4兴趣干扰的训练过程中，通过简单深度置信神经网络或者机器学习模型对原始数据进行训练，兴趣干扰模型的作用是生成不为真的兴趣点，向主体兴趣模型和附属兴趣模型进行反事实推荐。这个过程中，兴趣干扰模型只生成不为真的推荐结果，这表示，它可以输出任意预测结果来对用户造成影响，其生成方式如下：
其中表示第t批次预测下次点击为an的概率，/>表示为真实标签。
兴趣干扰模型在没有数据进行训练时将作为主要模型进行预测结果的输出，当有少量数据进行训练的时候可以起到一定量的数据扩充的功能。
本实施例中，由图神经网络训练整个服务器中近期的所有数据，由此获得主体兴趣模型，其包含了主体兴趣之间的转换关系，但因为其训练数据过于庞大，因此只具有较强的泛化性性能，不能具体表达某个用户某段时间具体的兴趣，这段兴趣为服务器中具体到用户的附属兴趣。由门控循环神经网络训练整个服务器中具体到某个用户某个时间段的一些数据，其训练的数据量相较于主体兴趣模型大幅度下降，因此具有较高的时效性，具有更好的精度。将二者模型进行融合，输出预测结果，并将预测结果传达给兴趣干扰模型，因为在深度学习训练的过程中，由于神经网络参数的随机性，所以生成结果每次均不相同，结果也带有一定的随机性，难免出现苹果的概率为0.51，香蕉的概率为0.49的情况，但是真实情况是因为参数的随机性和批次的影响，导致了偏置的出现。为了缓解偏置造成的影响，用兴趣干扰模型的输出结果，对结果进行干扰。多层感知机模型融合模块的功能是：通过多层感知机的方式将主体兴趣模型和附属兴趣模型的隐层进行融合，获得多维兴趣融合的混合模型，并对模型混合的结果进行干扰兴趣模型的检验，在这个过程中，为三个模型分配不同的初始权重配比，并通过真实标签进行反向传播，不断对模型的权重配比进行修正，获得具有强韧性的兴趣预测列表。
主体兴趣模型与附属兴趣模型均依靠输入相同的序列，并且通过真实标签进行训练，因此二者可以通过简单的加权方式进行混合。而干扰兴趣模型不依靠真实标签做训练，所以需要额外与二者融合的结果进行其它方式混合。
对干扰结果进行判断，若主体兴趣模型与附属兴趣模型的输出结果与干扰兴趣模型的结果进行融合，得到了置信度与以前完全不同的推荐结果，可以判断得出结论，当前模型对当前序列的训练程度较低，需要再次训练。反之，说明当前模型的稳定性较高。干扰兴趣模型与其它两个模型的区别仅在于，标签不同。其它两个模型，通过真实标签做训练，而干扰模型通过非真实软标签训练。但输入序列是一致的。
其中，判断标准为，神经网络的训练原理在于通过所给真实标签与预测标签的差值，向已有权重参数传播梯度，进而使结果收敛，获得可以预测出真实标签的模型，这里预测为真实结果的置信度越高，那么说明模型效果越好。
而本模型中，以非真实标签作为真实标签，来传播梯度，那么预测结果必定置信度很低，相对的，干扰模型所预测的概率最低的那一条目，更有可能是真实结果。
由此可推断，干扰兴趣模型的置信度与主体兴趣模型和附属兴趣模型的置信度相差较大。
反复进行多次迭代，完成上述过程，使结果最终收敛，得到具有韧性的兴趣推荐模型。我们令最终预测用户行为为Ai，主体兴趣模型生成的行为概率为Gi，附属兴趣模型生成的行为概率为Di，其关系为
Ai＝argmax(softmax(ρGi+τDi))。
其中，ρτ为通过平均绝对误差损失函数训练得到的，初始值为大于0小于1的随机参数。将TOP-N作为结果输出到预测列表中，TOP-N表示Ai中概率最大的N个数据。
S205：基于第二兴趣序列进行兴趣推荐。
本实施例中，将点击数据输入到兴趣融合模型，其中，兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，主体兴趣模型为图神经网络模型，附属兴趣模型为循环神经网络模型，兴趣干扰模型为深度置信网络；通过多层感知机的方式，对主体兴趣模型和附属兴趣模型进行融合，得到多维混合模型，并采用多维混合模型对点击数据进行训练，得到第一兴趣序列；采用兴趣干扰模型和点击数据对第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；基于第二兴趣序列进行兴趣推荐，本实施例在新增用户点击时，加入了兴趣干扰模型其模型可以输出所有条目的软标签，进而对训练器进行影响，在提高了信息曝光率的同时可以为用户提供新的要素信息，同时，加入了兴趣干扰模型，可以使模型的训练结果可以更能经受住噪声的考验，使模型可以面对海量数据提供更为稳定的推荐结果，提高信息推荐的精准性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3示出与上述实施例基于神经网络的多维兴趣融合推荐方法一一对应的基于神经网络的多维兴趣融合推荐装置的原理框图。如图3所示，该基于神经网络的多维兴趣融合推荐装置包括数据获取模块31、数据输入模块32、第一兴趣序列生成模块33、第二兴趣序列生成模块34和兴趣推荐模块35。各功能模块详细说明如下：
数据获取模块31，用于获取用户点击数据；
数据输入模块32，用于将点击数据输入到兴趣融合模型，其中，兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，主体兴趣模型为图神经网络模型，附属兴趣模型为循环神经网络模型，兴趣干扰模型为深度置信网络；
第一兴趣序列生成模块33，用于通过多层感知机的方式，对主体兴趣模型和附属兴趣模型进行融合，得到多维混合模型，并采用多维混合模型对点击数据进行训练，得到第一兴趣序列；
第二兴趣序列生成模块34，用于采用兴趣干扰模型和点击数据对第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；
兴趣推荐模块35，用于基于第二兴趣序列进行兴趣推荐。
关于基于神经网络的多维兴趣融合推荐装置的具体限定可以参见上文中对于基于神经网络的多维兴趣融合推荐方法的限定，在此不再赘述。上述基于神经网络的多维兴趣融合推荐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如兴趣推荐的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行兴趣推荐的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于神经网络的多维兴趣融合推荐方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (7)
1.一种基于神经网络的多维兴趣融合推荐方法，其特征在于，所述基于神经网络的多维兴趣融合推荐方法包括：
获取用户点击数据；
将所述点击数据输入到兴趣融合模型，其中，所述兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，所述主体兴趣模型为图神经网络模型，所述附属兴趣模型为循环神经网络模型，所述兴趣干扰模型为深度置信网络；
通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型，并采用所述多维混合模型对所述点击数据进行训练，得到第一兴趣序列；
采用所述兴趣干扰模型和所述点击数据对所述第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；
基于所述第二兴趣序列进行兴趣推荐；
其中，所述通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型包括：
基于所述点击数据和所有用户的历史数据，生成第一点击序列；
以图谱的形式对所述点击序列建模，得到关系图谱，所述关系图谱的节点为各个要素对应的实体，节点之间的边包括实体间兴趣转化的概率参数、实体注意力权重参数和门控权重参数，其中，所述实体注意力权重为实体与其他实体的相似度组成的权重，所述门控权重为噪声点击对应的权重；
采用所述关系图谱中的概率参数、所述实体注意力权重参数和所述门控权重参数更新所述主体兴趣模型，并采用更新后的主体兴趣模型的各神经元进行动作预测训练，得到图网络模型的生成器生成概率；
基于所述点击数据和所述用户的历史数据，生成第二点击序列；
通过循环神经网络对所述第二点击序列进行特征抽取，并以若干要素作为备选输出，通过交叉熵损失函数对预测结果进行收敛，得到所述点击数据对应的判别器的输出概率；
生成器生成概率与判别器的输出概率做对抗共同进行参数的反向传播，并共同向真实标签拟合，基于拟合结果对图神经网络和循环神经网络的所有参数进行更新，得到所述多维混合模型；
其中，所述兴趣干扰模型通过简单深度置信神经网络对历史数据和所述点击数据进行训练，生成不为真的兴趣点，并向所述主体兴趣模型和所述附属兴趣模型进行反事实推荐，所述采用所述兴趣干扰模型和所述点击数据对所述第一兴趣序列进行校验，根据校验结果确定第二兴趣序列包括：
基于所述点击数据和所述历史数据，生成干扰序列；
将所述干扰序列与所述第一兴趣序列进行融合并计算置信度，得到第一置信度；
计算融合之前的置信度，作为第二置信度；
将所述第一置信度与所述第二置信度进行对比，若对比结果超过预设阈值，则返回所述通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型，并采用所述多维混合模型对所述点击数据进行训练，得到第一兴趣序列的步骤继续执行，直到对比结果不超过所述预设阈值；
将此时得到的第一兴趣序列确定为所述第二兴趣序列。
2.如权利要求1所述的基于神经网络的多维兴趣融合推荐方法，其特征在于，所述图神经网络包括图神经网络层，注意力层，图门控层；其中，
所述图神经网络层用于将点击数据转换为第一点击序列，用图的方式记录所述第一点击序列中各个要素之间的关系，各个要素之间通过注意力权重、时间权重和相关性权重链接，记录整个列表中的所有要素之间的关系并以矩阵的形式压缩到N维空间中，所述第一点击序列为所述点击数据和所有用户的历史数据构成的序列；
所述注意力层用于基于要素的频次，采用权重累加的方式为各个要素分配权重；
所述图门控层用于在产生新的序列时，定期遗忘历史序列中的要素，非关键要素基于要素的权重确定。
3.如权利要求2所述的基于神经网络的多维兴趣融合推荐方法，其特征在于，所述循环神经网络包括循环神经网络层、循环神经网络注意力层、循环神经网络门控层，其中，
所述循环神经网络层模块用于将所述点击数据转化为第二点击序列，用张量的方式记录所述第二点击序列各个点击要素之间的关系，各个要素之间通过注意力权重、时间权重和相关性权重链接，记录整个列表中的所有要素之间的关系并以矩阵的形式压缩到N维空间中；
所述循环神经网络注意力层模块用于在列表中从起始到终止不断扫描目标要素，并基于所述目标要素在历史列表中出现次数分配权重，确定用户的主要兴趣；
所述循环神经网络门控层用于在产生新的序列时，确定历史序列中定期遗忘的要素。
4.如权利要求1所述的基于神经网络的多维兴趣融合推荐方法，其特征在于，所述主体兴趣模型包含对应要素类别的节点，输出为初始偏向用户主体兴趣的预测列表，所述附属兴趣模型包含对应要素的矩阵维度，输出为初始偏向用户附属兴趣的预测列表，兴趣干扰模型包含对应要素的矩阵维度，用于确定用户在点击过程中产生的兴趣漂移。
5.一种基于神经网络的多维兴趣融合推荐装置，其特征在于，所述基于神经网络的多维兴趣融合推荐装置包括：
数据获取模块，用于获取用户点击数据；
数据输入模块，用于将所述点击数据输入到兴趣融合模型，其中，所述兴趣融合模型包括主体兴趣模型、附属兴趣模型和兴趣干扰模型，所述主体兴趣模型为图神经网络模型，所述附属兴趣模型为循环神经网络模型，所述兴趣干扰模型为深度置信网络；
第一兴趣序列生成模块，用于通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型，并采用所述多维混合模型对所述点击数据进行训练，得到第一兴趣序列；
第二兴趣序列生成模块，用于采用所述兴趣干扰模型和所述点击数据对所述第一兴趣序列进行校验，根据校验结果确定第二兴趣序列；
兴趣推荐模块，用于基于所述第二兴趣序列进行兴趣推荐；
其中，所述第一兴趣序列生成模块包括：
基于所述点击数据和所有用户的历史数据，生成第一点击序列；
以图谱的形式对所述点击序列建模，得到关系图谱，所述关系图谱的节点为各个要素对应的实体，节点之间的边包括实体间兴趣转化的概率参数、实体注意力权重参数和门控权重参数，其中，所述实体注意力权重为实体与其他实体的相似度组成的权重，所述门控权重为噪声点击对应的权重；
采用所述关系图谱中的概率参数、所述实体注意力权重参数和所述门控权重参数更新所述主体兴趣模型，并采用更新后的主体兴趣模型的各神经元进行动作预测训练，得到图网络模型的生成器生成概率；
基于所述点击数据和所述用户的历史数据，生成第二点击序列；
通过循环神经网络对所述第二点击序列进行特征抽取，并以若干要素作为备选输出，通过交叉熵损失函数对预测结果进行收敛，得到所述点击数据对应的判别器的输出概率；
生成器生成概率与判别器的输出概率做对抗共同进行参数的反向传播，并共同向真实标签拟合，基于拟合结果对图神经网络和循环神经网络的所有参数进行更新，得到所述多维混合模型；
其中，所述兴趣干扰模型通过简单深度置信神经网络对历史数据和所述点击数据进行训练，生成不为真的兴趣点，并向所述主体兴趣模型和所述附属兴趣模型进行反事实推荐，所述采用所述兴趣干扰模型和所述点击数据对所述第一兴趣序列进行校验，根据校验结果确定第二兴趣序列包括：
基于所述点击数据和所述历史数据，生成干扰序列；
将所述干扰序列与所述第一兴趣序列进行融合并计算置信度，得到第一置信度；
计算融合之前的置信度，作为第二置信度；
将所述第一置信度与所述第二置信度进行对比，若对比结果超过预设阈值，则返回所述通过多层感知机的方式，对所述主体兴趣模型和所述附属兴趣模型进行融合，得到多维混合模型，并采用所述多维混合模型对所述点击数据进行训练，得到第一兴趣序列的步骤继续执行，直到对比结果不超过所述预设阈值；
将此时得到的第一兴趣序列确定为所述第二兴趣序列。
6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于神经网络的多维兴趣融合推荐方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于神经网络的多维兴趣融合推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210938355.XA CN115098789B (zh) | 2022-08-05 | 2022-08-05 | 基于神经网络的多维兴趣融合推荐方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210938355.XA CN115098789B (zh) | 2022-08-05 | 2022-08-05 | 基于神经网络的多维兴趣融合推荐方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115098789A CN115098789A (zh) | 2022-09-23 |
| CN115098789B true CN115098789B (zh) | 2024-04-16 |
Family
ID=83301073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210938355.XA Active CN115098789B (zh) | 2022-08-05 | 2022-08-05 | 基于神经网络的多维兴趣融合推荐方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115098789B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116151890B (zh) * | 2023-04-14 | 2023-07-14 | 平安科技（深圳）有限公司 | 基于博弈算法的多险种保险集合推荐控制方法和装置 |
| CN116167829B (zh) * | 2023-04-26 | 2023-08-29 | 湖南惟客科技集团有限公司 | 一种多维多粒度用户行为分析方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104471575A (zh) * | 2012-05-18 | 2015-03-25 | 文件档案公司 | 使用内容 |
| WO2019074598A1 (en) * | 2017-10-13 | 2019-04-18 | Pioneer Hi-Bred International, Inc. | VIRUS-INDUCED GENETIC SILENCING TECHNOLOGY FOR THE CONTROL OF INSECTS IN MAIZE |
| CN110162553A (zh) * | 2019-05-21 | 2019-08-23 | 南京邮电大学 | 基于attention-RNN的用户兴趣挖掘方法 |
| CN110248246A (zh) * | 2019-05-14 | 2019-09-17 | 平安科技（深圳）有限公司 | 数据分析方法、装置、计算机设备及计算机可读存储介质 |
| CN110334245A (zh) * | 2019-05-20 | 2019-10-15 | 山东大学 | 一种基于时序属性的图神经网络的短视频推荐方法及装置 |
| CN110765352A (zh) * | 2019-10-11 | 2020-02-07 | 上海上湖信息技术有限公司 | 一种用户兴趣识别方法及装置 |
| CN114329244A (zh) * | 2021-12-28 | 2022-04-12 | 北京百度网讯科技有限公司 | 地图兴趣点查询方法、装置、设备、存储介质及程序产品 |
| CN114756750A (zh) * | 2022-04-15 | 2022-07-15 | 北京三快在线科技有限公司 | 一种预测推荐目标的点击率的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11327475B2 (en) * | 2016-05-09 | 2022-05-10 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for intelligent collection and analysis of vehicle data |
-
2022
- 2022-08-05 CN CN202210938355.XA patent/CN115098789B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104471575A (zh) * | 2012-05-18 | 2015-03-25 | 文件档案公司 | 使用内容 |
| WO2019074598A1 (en) * | 2017-10-13 | 2019-04-18 | Pioneer Hi-Bred International, Inc. | VIRUS-INDUCED GENETIC SILENCING TECHNOLOGY FOR THE CONTROL OF INSECTS IN MAIZE |
| CN110248246A (zh) * | 2019-05-14 | 2019-09-17 | 平安科技（深圳）有限公司 | 数据分析方法、装置、计算机设备及计算机可读存储介质 |
| CN110334245A (zh) * | 2019-05-20 | 2019-10-15 | 山东大学 | 一种基于时序属性的图神经网络的短视频推荐方法及装置 |
| CN110162553A (zh) * | 2019-05-21 | 2019-08-23 | 南京邮电大学 | 基于attention-RNN的用户兴趣挖掘方法 |
| CN110765352A (zh) * | 2019-10-11 | 2020-02-07 | 上海上湖信息技术有限公司 | 一种用户兴趣识别方法及装置 |
| CN114329244A (zh) * | 2021-12-28 | 2022-04-12 | 北京百度网讯科技有限公司 | 地图兴趣点查询方法、装置、设备、存储介质及程序产品 |
| CN114756750A (zh) * | 2022-04-15 | 2022-07-15 | 北京三快在线科技有限公司 | 一种预测推荐目标的点击率的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于用户浏览行为的个性化推荐研究综述;刘华真 等;《计算机应用研究》;第第38卷卷(第第8期期);2268-2277 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115098789A (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abdar et al. | A review of uncertainty quantification in deep learning: Techniques, applications and challenges | |
| CN108846077B (zh) | 问答文本的语义匹配方法、装置、介质及电子设备 | |
| CN115098789B (zh) | 基于神经网络的多维兴趣融合推荐方法、装置及相关设备 | |
| Chen et al. | Fuzzy restricted Boltzmann machine for the enhancement of deep learning | |
| CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
| Du et al. | Probabilistic time series forecasting with deep non‐linear state space models | |
| CN110659742A (zh) | 获取用户行为序列的序列表示向量的方法和装置 | |
| CN109036380A (zh) | 对话状态跟踪方法、系统、电子设备及存储介质 | |
| CN114548101B (zh) | 基于可回溯序列生成方法的事件检测方法和系统 | |
| CN114358657B (zh) | 一种基于模型融合的岗位推荐方法及装置 | |
| Sina Mirabdolbaghi et al. | Model optimization analysis of customer churn prediction using machine learning algorithms with focus on feature reductions | |
| Izzo et al. | A baseline for shapley values in MLPs: From missingness to neutrality | |
| Pham et al. | Unsupervised training of Bayesian networks for data clustering | |
| Yuan et al. | Deep learning from a statistical perspective | |
| Sohafi-Bonab et al. | DCARS: Deep context-aware recommendation system based on session latent context | |
| CN112508177A (zh) | 一种网络结构搜索方法、装置、电子设备及存储介质 | |
| Seng et al. | Adaptive learning user implicit trust behavior based on graph convolution network | |
| Zhang et al. | VESC: a new variational autoencoder based model for anomaly detection | |
| US20230376828A1 (en) | Systems and methods for product retrieval | |
| Zhu et al. | A Winner‐Take‐All Autoencoder Based Pieceswise Linear Model for Nonlinear Regression with Missing Data | |
| CN115293812A (zh) | 一种基于长短期兴趣的电商平台会话感知推荐预测方法 | |
| Daradkeh et al. | Lifelong machine learning for topic modeling based on hellinger distance | |
| CN113312920A (zh) | 基于图对比学习的验证方法、系统、设备和存储介质 | |
| CN112307330B (zh) | 一种交易偏好判别模型自适应方法 | |
| CN111179070A (zh) | 一种基于lstm的借贷风险时效性预测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |