CN115270004A - 一种基于场因子分解的教育资源推荐方法 - Google Patents

一种基于场因子分解的教育资源推荐方法 Download PDF

Info

Publication number
CN115270004A
CN115270004A CN202211187851.2A CN202211187851A CN115270004A CN 115270004 A CN115270004 A CN 115270004A CN 202211187851 A CN202211187851 A CN 202211187851A CN 115270004 A CN115270004 A CN 115270004A
Authority
CN
China
Prior art keywords
field
user
order
project
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211187851.2A
Other languages
English (en)
Other versions
CN115270004B (zh
Inventor
张姝
李子杰
吴迪
周菊香
王俊
徐博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Normal University
Original Assignee
Yunnan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Normal University filed Critical Yunnan Normal University
Priority to CN202211187851.2A priority Critical patent/CN115270004B/zh
Publication of CN115270004A publication Critical patent/CN115270004A/zh
Application granted granted Critical
Publication of CN115270004B publication Critical patent/CN115270004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于场因子分解的教育资源推荐方法，属于深度学习、推荐系统、教育资源推荐等相关领域。首先为教育资源和用户特征分别构建项目场特征和用户场特征，然后按组别对用户和教育资源进行二阶特征交叉，再利用交叉压缩网络和深度神经网络学习高阶特征，最终对二阶特征交叉结果与高阶特征交叉结果使用线性层和sigmoid函数计算点击率，通过对点击率的排序完成教育资源推荐任务。本发明能有效解决当前教育资源推荐方法准确率低、特征挖掘能力差的问题，更好地满足学习者个性化的教育资源需求。

Description

一种基于场因子分解的教育资源推荐方法
技术领域
本发明涉及一种基于场因子分解的教育资源推荐方法，属于深度学习、推荐系统、教育资源推荐等相关领域。
背景技术
推荐系统是现代互联网服务中的核心组成部分，是各项应用实现个性化服务的基石。1992年施乐公司帕拉奥图研究中心开发了基于协同过滤算法的垃圾邮件过滤系统，经30年发展，推荐系统已经在电子商务、短视频、在线教育等领域大放异彩，推荐系统帮助企业吸引潜在用户、提升用户转化率，已成为互联网企业的核心竞争力。在应用领域逐渐增多的同时，推荐系统依托的技术也日新月异，从早期基于协同过滤、矩阵分解的方法，发展到基于深度学习的方法，从仅能根据用户评分进行推荐，发展到使用用户信息、项目信息、场景信息进行推荐。伴随着知识图谱、多模态等技术的发展，基于多模态的推荐系统和基于知识图谱的推荐系统也逐渐成为研究热点。
推荐算法迈入深度学习时代后，为了实现更深层次的特征交叉，Lian等人提出了极深因子分解机（xDeepFM）模型，其核心是交叉压缩网络（compressed interactionnetwork，CIN），该网络用以完成高阶的隐式特征与显式特征的交互，并通过一种层数可控的方式实现。尽管xDeepFM在大规模数据集中取得了较好的效果，但在中小规模的教育资源推荐数据集且特征种类较少的情况下较同类算法难以取得领先。一方面是因为xDeepFM没有针对重要的二阶特征选取子模块，另一方面是在不同特征组合情况下隐向量的潜在效应可能不同，这两方面缺陷使得xDeepFM在中小规模的教育资源推荐数据集上的表现并不理想。
发明内容
本发明提供一种基于场因子分解的教育资源推荐方法，用于提高教育资源推荐方法的准确率，可应用在各类不同规模的推荐系统和教育资源推荐数据集上，有效提高推荐准确率。
本发明针对二阶特征交叉时存在的三种不同情况，提出了一种基于用户场-项目场进行二阶特征交叉的方法，使用该方法增强隐向量的表达能力，提升二阶特征的预测性能。在此基础上本方法使用两个交叉压缩网络组合的方式学习不同场下的高阶特征，同时配合DNN学习的高阶特征进行有效的高阶特征交互，从而提升推荐方法的准确率。
本发明的具体技术方案是：首先为教育资源和用户特征分别构建项目场特征和用户场特征，然后按组别对用户和教育资源进行二阶特征交叉，再利用交叉压缩网络和深度神经网络学习高阶特征，最终对二阶特征交叉结果与高阶特征交叉结果使用线性层和sigmoid函数计算点击率，通过线性层和sigmoid函数计算点击率，最终通过对点击率的排序完成教育资源推荐任务。
以所有用户对学习资源的全部访问记录为数据总样本，设该样本集
Figure 305871DEST_PATH_IMAGE001
中有N个样本，每个样本包含了单个用户对某个资源的单次访问行为的发 生；所述资源推荐方法的具体步骤如下：
Step1、对用户特征和项目特征进行编码：
其中，每条访问记录包括了用户特征和项目特征（即学习资源特征，后统称项目特 征）共计
Figure 535996DEST_PATH_IMAGE002
个，则
Figure 2880DEST_PATH_IMAGE003
，针对样本集中的每一条访问记录执行Step1.1-Step1.3， 具体步骤为：
Step1.1、对所有访问记录中的用户、项目特征进行分类，分为类别型特征和数值型特征，并统计特征种类数共计n个；
Step1.2、对类别型特征进行one-hot编码，多类别型特征进行multi-hot编码，数值型特征离散化后进行one-hot编码；
Step1.3、对单条访问记录进行编码，则编码后的样本集为
Figure 163078DEST_PATH_IMAGE004
Step1.4、为每条记录生成一条负样本；
Step2、二阶交叉特征学习：
Step2.1、设定用户场
Figure 283481DEST_PATH_IMAGE005
，项目场
Figure 532060DEST_PATH_IMAGE006
。原因如下：每种特征在与其他特征进行二阶特征 组合时存在三种情况，即用户信息内的特征组合、项目信息内的特征组合、用户信息与项目 信息间的特征组合。同种信息内的特征组合依然表示该用户或项目所具备的特点，而由用 户特征与项目特征构成的二阶组合则表达了用户对项目的选择的偏好。由于组合代表的意 义也不同，则将用户、项目这两种信息设定为两个场，特征在同场内进行组合时使用一组隐 向量，在跨场组合时使用另一组隐向量，使各特征进行组合时采用的隐向量保持同种特性， 以此提高隐向量表达能力。
Step2.2、基于用户场和项目场初始化特征向量：
每个特征
Figure 396111DEST_PATH_IMAGE007
根据用户场、项目场分别生成一个向量，特征
Figure 944904DEST_PATH_IMAGE007
在用户场下的向量为
Figure 236208DEST_PATH_IMAGE008
，在项目场下的向量为
Figure 706503DEST_PATH_IMAGE009
。从而将转化为两组向量，用户场对应一组特征向 量
Figure 108666DEST_PATH_IMAGE010
，项目场对应另一组特征向量
Figure 246386DEST_PATH_IMAGE011
。 其中，
Figure 708592DEST_PATH_IMAGE012
代表嵌入维度，
Figure 197342DEST_PATH_IMAGE013
代表特征种数，
Figure 668774DEST_PATH_IMAGE005
代表用户场，
Figure 661001DEST_PATH_IMAGE006
代表项目场。为方便其他层使用，生 成特征向量时优先对用户特征进行，记用户共有
Figure 294108DEST_PATH_IMAGE014
种特征，并且
Figure 4575DEST_PATH_IMAGE015
。则
Figure 279698DEST_PATH_IMAGE016
表示用户场内的用户特征，
Figure 126432DEST_PATH_IMAGE017
表示项目场内的项目特征。
Step2.3、基于用户场、项目场实现二阶特征交叉：
Step2.3.1、计算用户场内特征交叉结果：
用户场内所有二阶特征组合的预测结果表示为：
Figure 458668DEST_PATH_IMAGE018
（1）
式中：
Figure 390852DEST_PATH_IMAGE019
表示两个
Figure 204087DEST_PATH_IMAGE012
维向量的点积，
Figure 170906DEST_PATH_IMAGE014
表示用户特征种类数；该式从用户场 特征组
Figure 411395DEST_PATH_IMAGE020
中选取前
Figure 96454DEST_PATH_IMAGE014
个用户特征的特征向量，两两组合后进行内积计算，从而对用户特征间 的特征进行交叉。
Step2.3.2、计算项目场内特征交叉结果：
项目场内所有二阶特征组合的预测结果表示为：
Figure 447801DEST_PATH_IMAGE021
（2）
上式对项目特征进行二阶交叉，从项目场特征组
Figure 269127DEST_PATH_IMAGE022
中选取第
Figure 946096DEST_PATH_IMAGE023
至
Figure 852872DEST_PATH_IMAGE013
个特征向量， 两两组合后进行内积计算。
Step2.3.3、计算场间交叉结果：
用户场与项目场间特征组合的预测结果表示为：
Figure 273489DEST_PATH_IMAGE024
（3）
Step2.3.4、计算二阶特征交叉结果：
Figure 949321DEST_PATH_IMAGE025
（4）
其中，
Figure 797191DEST_PATH_IMAGE026
为用户场内所有二阶特征组合的预测结果，
Figure 191263DEST_PATH_IMAGE027
为项目场内所有二阶特征 组合的预测结果，
Figure 884413DEST_PATH_IMAGE028
为用户场与项目场间特征组合的预测结果。
Step3、分别基于用户场和项目场通过CIN实现高阶特征交叉：
Step3.1、计算用户场CIN单元：
设单元总层数为
Figure 945910DEST_PATH_IMAGE029
，该单元输入为
Figure 433523DEST_PATH_IMAGE030
，即
Figure 580470DEST_PATH_IMAGE031
，
Figure 77311DEST_PATH_IMAGE032
表示第
Figure 727735DEST_PATH_IMAGE033
层的 向量个数，
Figure 914478DEST_PATH_IMAGE012
代表嵌入维度，
Figure 17563DEST_PATH_IMAGE013
代表特征种数，第
Figure 52516DEST_PATH_IMAGE033
层的输出
Figure 88605DEST_PATH_IMAGE034
计算方式为：
Figure 183600DEST_PATH_IMAGE035
（5）
式中：
Figure 39560DEST_PATH_IMAGE036
，
Figure 878203DEST_PATH_IMAGE037
,
Figure 503220DEST_PATH_IMAGE038
表示第
Figure 769116DEST_PATH_IMAGE033
层第
Figure 112372DEST_PATH_IMAGE039
个向量，
Figure 489127DEST_PATH_IMAGE034
，
Figure 968650DEST_PATH_IMAGE040
表示 Hadamard乘积，
Figure 671027DEST_PATH_IMAGE041
表示第
Figure 236000DEST_PATH_IMAGE033
层的第
Figure 416446DEST_PATH_IMAGE039
个向量的权重。该式的含义为将每层输入
Figure 16055DEST_PATH_IMAGE042
中的向量与第一层输入
Figure 623753DEST_PATH_IMAGE043
的向量互相进行Hadamard乘积，再乘以权重得到该层输出， 该式是CIN中实现特征交叉的核心部分。为了对各层输出进行降维，再使用下式对每层输出
Figure 941602DEST_PATH_IMAGE044
中各向量进行sum pooling操作，即：
Figure 925739DEST_PATH_IMAGE045
（6）
其中，
Figure 379854DEST_PATH_IMAGE046
。则第
Figure 155524DEST_PATH_IMAGE033
层可得到一个池化向量
Figure 695090DEST_PATH_IMAGE047
, 将各层池化向 量拼接得到
Figure 482918DEST_PATH_IMAGE048
,以该池化向量作为用户场CIN单元的输出结果。
Step3.2、按上述方法计算项目场CIN单元结果
Figure 791539DEST_PATH_IMAGE049
；
Step3.3、拼接Step3.1、Step3.2步骤中获得的结果得到
Figure 741041DEST_PATH_IMAGE050
Step3.4、计算CIN模块高阶特征交叉结果：
Figure 33482DEST_PATH_IMAGE051
（7）
其中，
Figure 93842DEST_PATH_IMAGE052
、
Figure 256970DEST_PATH_IMAGE053
为两层神经网络的权重矩阵。该式利用两个CIN单元的输出计算CIN 模块的最终结果，它将与FFM、DNN模块共同输入输出层。
Step4、通过DNN实现高阶特征交叉：
Step4.1、将用户场特征组
Figure 908531DEST_PATH_IMAGE020
、项目场特征组
Figure 157110DEST_PATH_IMAGE054
拼接后得到矩阵
Figure 286740DEST_PATH_IMAGE055
Step4.2、计算DNN输出结果，其DNN每一层的计算公式为：
Figure 569953DEST_PATH_IMAGE056
（8）
式中：
Figure 861257DEST_PATH_IMAGE033
表示当前层数，
Figure 862711DEST_PATH_IMAGE057
为第
Figure 468136DEST_PATH_IMAGE033
层网络权重，
Figure 871436DEST_PATH_IMAGE058
为第k层网络偏置；式（8）表示多层 神经网络中，第k-1层的中间结果
Figure 333641DEST_PATH_IMAGE059
，与其下一神经网络层权重
Figure 577320DEST_PATH_IMAGE057
相乘并与偏置
Figure 48753DEST_PATH_IMAGE058
相加 得到第k层结果，层数可按实际应用情况设定，
Figure 40979DEST_PATH_IMAGE060
代表特征种数。
Step5、使用sigmoid函数将最终结果转化
Figure 939665DEST_PATH_IMAGE061
区间的实数，计算点击率：
Figure 915711DEST_PATH_IMAGE062
（9）
其中，
Figure 659677DEST_PATH_IMAGE063
为sigmoid函数，将结果转化至
Figure 771989DEST_PATH_IMAGE061
中，
Figure 575997DEST_PATH_IMAGE064
表示二阶特征交叉结果，
Figure 773760DEST_PATH_IMAGE065
表示CIN模块高阶特征交叉结果，
Figure 586995DEST_PATH_IMAGE066
表示通过DNN实现的高阶特征交叉结果。
Step6. 使用二分类交叉熵损失函数为损失，训练参数，损失函数为：
Figure 553814DEST_PATH_IMAGE067
（10）
式中，
Figure 59882DEST_PATH_IMAGE068
为样本总量，
Figure 479362DEST_PATH_IMAGE069
为样本真实值，
Figure 830709DEST_PATH_IMAGE070
为预测值，训练目标为最小化
Figure 652034DEST_PATH_IMAGE071
。
Step7.按上述Step1- Step5求取每个学习者对每个学习资源的点击率，对点击率按降序进行排序，选取点击率前k名作为推荐资源，由此完成推荐过程。
本发明的有益效果是：
本发明提出的教育资源推荐方法考虑了用户特征和项目特征在特征交叉时不同情况下的差异，所提出的基于场因子分解的方法可以很好地建模特征交叉时的需求，该方法在推荐过程中利用DNN和CIN学习高阶特征、利用基于场的因子分解方法学习二阶特征，可有效提高推荐系统的准确率。
附图说明
图1为本发明提出的教育资源推荐方法流程图。
具体实施方式
实施例1、一种基于场因子分解的教育资源推荐方法，本实施例以单条教育资源推 荐实际情况为例，通过二阶特征交叉和高阶特征学习计算点击率并对点击率进行排序从而 实现推荐。具体过程包括：Step1、对用户特征和项目特征进行编码：Step2、二阶交叉特征学 习；Step3、分别基于用户场和项目场通过CIN实现高阶特征交叉；Step4、通过DNN实现高阶 特征交叉；Step5、使用sigmoid函数将最终结果转化
Figure 329003DEST_PATH_IMAGE061
区间的实数，计算点击率；Step6、 使用二分类交叉熵损失函数为损失，训练参数；Step7、按上述Step1-Step5求取每个学习者 对每个学习资源的点击率，对点击率按降序进行排序，选取点击率前k名作为推荐资源，由 此完成推荐过程。
所述方法的具体步骤如下：
Step1、对用户特征和项目特征进行编码：
其中，每条访问记录包括了用户特征和项目特征（即学习资源特征，后统称项目特 征）共计
Figure 235780DEST_PATH_IMAGE002
个，则
Figure 125238DEST_PATH_IMAGE003
,在表1所示的单条数据中，共计5项特征，即用户ID（User_ ID）、年级（Grade）、性别（Sex）、资源ID（Item_ID）、类别（Class）、年份（Year）。
表1 教育推荐场景中的示例数据
Label User_ID(U) Grade(G) Sex(S) Item_ID(I) Class(C) Year(Y)
1 5 6 male 988 English 2020-2022
其余样本与该条样本类似，该条样本表明了用户ID为5的学习者点击了资源ID为988的资源。则针对样本集中的每一条访问记录执行Step1.1-Step1.3，具体步骤为：
Step1.1、对所有访问记录中的用户、项目特征进行分类，分为类别型特征和数值型特征，并统计特征种类数共计n个，在该示例中，上述5项特征均为类别型特征，若有年龄等信息可归为数值型特征；
Step1.2、对类别型特征进行one-hot编码，多类别型特征进行multi-hot编码，数值型特征离散化后进行one-hot编码，以上述案例中Grade为6（年级为六年级）的情况为例，该one-hot编码结果为[0,0,0,0,0,1]，其余字段按同样方式处理；
Step1.3、对单条访问记录进行编码，则编码后的样本集为
Figure 332229DEST_PATH_IMAGE004
Step1.4、为每条记录生成一条负样本，对于该例而言，其产生的负样本的方法是更换资源，然后令Label为0，即添加了一些不存在的访问情况，这些情况作为负样本；
Step2、二阶交叉特征学习：
Step2.1、设定用户场
Figure 911590DEST_PATH_IMAGE005
，项目场
Figure 305662DEST_PATH_IMAGE006
Step2.2、基于用户场和项目场初始化特征向量：
每个特征
Figure 998812DEST_PATH_IMAGE007
根据用户场、项目场分别生成一组向量，也就是表一所示的五种特征， 每个特征生成两个向量作为特征向量，特征
Figure 529150DEST_PATH_IMAGE007
在用户场下的向量为
Figure 282343DEST_PATH_IMAGE008
，在项目场下的 向量为
Figure 163711DEST_PATH_IMAGE009
。从而将转化为两组向量，用户场对应一组特征向量
Figure 660551DEST_PATH_IMAGE010
，项目场对应另一组特征向量
Figure 310975DEST_PATH_IMAGE011
。 其中，
Figure 969490DEST_PATH_IMAGE012
代表嵌入维度，
Figure 338154DEST_PATH_IMAGE013
代表特征种数，
Figure 638686DEST_PATH_IMAGE005
代表用户场，
Figure 409196DEST_PATH_IMAGE006
代表项目场。为方便其他层使用，生 成特征向量时优先对用户特征进行，记用户共有
Figure 238611DEST_PATH_IMAGE014
种特征，并且
Figure 360151DEST_PATH_IMAGE015
。则
Figure 198794DEST_PATH_IMAGE016
表示用户场内的用户特征，
Figure 558231DEST_PATH_IMAGE017
表示项目场内的项目特征。
Step2.3、基于用户场、项目场实现二阶特征交叉：
Step2.3.1、计算用户场内特征交叉结果：
用户场内所有二阶特征组合的预测结果表示为：
Figure 89707DEST_PATH_IMAGE018
（1）
式中：
Figure 164455DEST_PATH_IMAGE019
表示两个
Figure 541209DEST_PATH_IMAGE012
维向量的点积。该式从用户场特征组
Figure 286311DEST_PATH_IMAGE020
中选取前
Figure 723109DEST_PATH_IMAGE014
个 用户特征的特征向量，两两组合后进行内积计算，从而对用户特征间的特征进行交叉。该实 例中，用户场内的二阶特征交叉指的是用户ID（User_ID）、年级（Grade）、性别（Sex）中特征 的两两组合。
Step2.3.2、计算项目场内特征交叉结果：
项目场内所有二阶特征组合的预测结果表示为：
Figure 288082DEST_PATH_IMAGE021
（2）
上式对项目特征进行二阶交叉，从项目场特征组
Figure 734107DEST_PATH_IMAGE022
中选取第
Figure 68137DEST_PATH_IMAGE023
至
Figure 675835DEST_PATH_IMAGE013
个特征向量， 两两组合后进行内积计算。在该实例中，项目场内的二阶特征交叉指的是资源ID（Item_ ID）、类别（Class）、年份（Year）中特征的两两组合。
Step2.3.3、计算场间交叉结果：
用户场与项目场间特征组合的预测结果表示为：
Figure 728105DEST_PATH_IMAGE024
（3）
在该实例中，场间的二阶特征交叉指的是，在项目特征、用户特征中分别选一个特征进行组合，遍历所有组合形式。
Step2.3.4、计算二阶特征交叉结果：
Figure 446662DEST_PATH_IMAGE025
（4）
其中，
Figure 900778DEST_PATH_IMAGE026
为用户场内所有二阶特征组合的预测结果，
Figure 944957DEST_PATH_IMAGE027
为项目场内所有二阶特征 组合的预测结果，
Figure 484523DEST_PATH_IMAGE028
为用户场与项目场间特征组合的预测结果。
Step3、分别基于用户场和项目场通过CIN实现高阶特征交叉：
Step3.1、计算用户场CIN单元：
设单元总层数为
Figure 6771DEST_PATH_IMAGE029
，该单元输入为
Figure 315392DEST_PATH_IMAGE030
，即
Figure 264894DEST_PATH_IMAGE031
，
Figure 291756DEST_PATH_IMAGE032
表示第
Figure 617695DEST_PATH_IMAGE033
层的 向量个数，
Figure 777893DEST_PATH_IMAGE012
代表嵌入维度，
Figure 898296DEST_PATH_IMAGE013
代表特征种数，第
Figure 678033DEST_PATH_IMAGE033
层的输出
Figure 542084DEST_PATH_IMAGE034
计算方式为：
Figure 825298DEST_PATH_IMAGE035
（5）
式中：
Figure 382181DEST_PATH_IMAGE036
，
Figure 118056DEST_PATH_IMAGE037
,
Figure 785798DEST_PATH_IMAGE038
表示第
Figure 923518DEST_PATH_IMAGE033
层第
Figure 651302DEST_PATH_IMAGE039
个向量，
Figure 874473DEST_PATH_IMAGE034
，
Figure 345906DEST_PATH_IMAGE040
表示 Hadamard乘积，
Figure 338133DEST_PATH_IMAGE041
表示第
Figure 236819DEST_PATH_IMAGE033
层的第
Figure 947286DEST_PATH_IMAGE039
个向量的权重。该式的含义为将每层输入
Figure 956830DEST_PATH_IMAGE042
中的向量与第一层输入
Figure 334722DEST_PATH_IMAGE043
的向量互相进行Hadamard乘积，再乘以权重得到该层输出， 该式是CIN中实现特征交叉的核心部分。为了对各层输出进行降维，再使用下式对每层输出
Figure 138730DEST_PATH_IMAGE044
中各向量进行sum pooling操作，即：
Figure 336493DEST_PATH_IMAGE045
（6）
其中，
Figure 881219DEST_PATH_IMAGE046
。则第
Figure 113617DEST_PATH_IMAGE033
层可得到一个池化向量
Figure 88527DEST_PATH_IMAGE047
, 将各层池化向 量拼接得到
Figure 773586DEST_PATH_IMAGE048
,以该池化向量作为用户场CIN单元的输出结果。
Step3.2、按上述Step3.1中的方法计算项目场CIN单元结果
Figure 390512DEST_PATH_IMAGE049
；
Step3.3、拼接Step3.1、Step3.2步骤中获得的结果得到
Figure 211837DEST_PATH_IMAGE050
Step3.4、计算CIN模块高阶特征交叉结果：
Figure 888806DEST_PATH_IMAGE051
（7）
其中，
Figure 530003DEST_PATH_IMAGE052
、
Figure 419462DEST_PATH_IMAGE053
为两层神经网络的权重矩阵。该式利用两个CIN单元的输出计算CIN 模块的最终结果，它将与FFM、DNN模块共同输入输出层。
Step4、通过DNN实现高阶特征交叉：
Step4.1、将用户场特征组
Figure 360873DEST_PATH_IMAGE020
、项目场特征组
Figure 943164DEST_PATH_IMAGE054
拼接后得到矩阵
Figure 337236DEST_PATH_IMAGE055
Step4.2、计算DNN输出结果，其DNN每一层的计算公式为：
Figure 30386DEST_PATH_IMAGE056
（8）
式中：
Figure 763987DEST_PATH_IMAGE033
表示当前层数，
Figure 782758DEST_PATH_IMAGE057
为第
Figure 664127DEST_PATH_IMAGE033
层网络权重，
Figure 892458DEST_PATH_IMAGE058
为第k层网络偏置，式（8）表示多层 神经网络中，第k-1层的中间结果
Figure 808462DEST_PATH_IMAGE059
，与其下一神经网络层权重
Figure 732555DEST_PATH_IMAGE057
相乘并与偏置
Figure 366799DEST_PATH_IMAGE058
相加 得到第k层结果，层数可按实际应用情况设定，
Figure 401751DEST_PATH_IMAGE060
代表特征种数。
Step5、使用sigmoid函数将最终结果转化
Figure 906682DEST_PATH_IMAGE061
区间的实数，计算点击率：
Figure 267256DEST_PATH_IMAGE062
（9）
其中，
Figure 123216DEST_PATH_IMAGE063
为sigmoid函数，将结果转化至
Figure 696280DEST_PATH_IMAGE061
中，
Figure 586876DEST_PATH_IMAGE064
表示二阶特征交叉结果，
Figure 852772DEST_PATH_IMAGE065
表示CIN模块高阶特征交叉结果，
Figure 930450DEST_PATH_IMAGE066
表示通过DNN实现的高阶特征交叉结果。
Step6、使用二分类交叉熵损失函数为损失，训练参数，损失函数为：
Figure 838363DEST_PATH_IMAGE067
（10）
式中，
Figure 317886DEST_PATH_IMAGE068
为样本总量，
Figure 20262DEST_PATH_IMAGE069
为样本真实值，
Figure 585236DEST_PATH_IMAGE070
为预测值，训练目标为最小化
Figure 500102DEST_PATH_IMAGE071
。
Step7.按上述Step1- Step5求取每个学习者对其他学习资源的点击率，对点击率 按降序进行排序，选取点击率前
Figure 365290DEST_PATH_IMAGE033
名作为推荐资源，由此完成推荐过程。
实际应用中，一般取
Figure 972989DEST_PATH_IMAGE072
时即可得到较精准的推荐结果，也可通过调整来确定
Figure 22329DEST_PATH_IMAGE073
值。
为了验证本发明的效果，发明选取了推荐领域常用的MovieLens系列数据集进行验证，该系列包含三个不同规模的公开数据集，即MovieLens-1M、MovieLens-10M、MovieLens-20M数据集，三个数据集取自不同时间，彼此独立。通过使用分类问题中常用的评价指标AUC（Area Under the ROC curve）和LogLoss（cross entropy）对模型进行性能评估。实验基于python3.8版本，PyTorch版本使用v1.9.1，cuda版本为v11.1，使用adam优化器进行优化。学习率取值1E-3，批处理大小取2048。训练轮数epoch为10，数据集按8:1:1随机划分为训练集、验证集、测试集，选择验证集中表现最优的epoch在测试集上进行测试。
表1 ML-1M数据集中本发明与主流模型在不同Embeding维度设定下的表现
Figure 6465DEST_PATH_IMAGE074
表2 ML-10M数据集中本发明与主流模型在不同Embeding维度设定下的表现
Figure 460581DEST_PATH_IMAGE075
表3 ML-20M数据集中本发明与主流模型在不同Embeding维度设定下的表现
Figure 239181DEST_PATH_IMAGE076
表1、表2、表3数据分别反应了3个数据集中各模型性能，在ML-1M数据集上多个嵌入维度的比较中，本发明均优于基准模型xDeepFM，这表明引入场信息能够较好地应对xDeepFM在维度变化中表现不稳定的问题。在嵌入维度为32时，本发明模型的AUC指标达到0.8211，LogLoss达到0.5092，取得了上述对比模型在各维度下的最好性能。在ML-10M数据集上，本发明的AUC指标平均较改进前高出0.73%，并在各嵌入维度的情况下，LogLoss指标均取得优势。在规模更大的ML-20M数据集上，随着嵌入维度的增加，特征隐向量的表达能力也随之增加，各模型性能都有一定提升，本发明在该数据集的各嵌入维度设定中表现更优。整体上看，xDeepFM性能表现常常差于DeepFM、Wide&Deep，原因是出现了过拟合的情况，而本发明由于采取了ReLU作为激活函数，降低了高阶特征对结果带来的负面影响，而强调了二阶特征后也使得表现更为稳定。通过三种规模的数据集对比，证明了本发明的可行性和性能。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于场因子分解的教育资源推荐方法，其特征在于，首先为教育资源和用户特征分别构建项目场特征和用户场特征，然后按组别对用户和教育资源进行二阶特征交叉，再利用交叉压缩网络和深度神经网络学习高阶特征，最终对二阶特征交叉结果与高阶特征交叉结果使用线性层和sigmoid函数计算点击率，通过对点击率的排序完成教育资源推荐任务。
2.根据权利要求1所述的基于场因子分解的教育资源推荐方法，其特征在于：
以所有用户对学习资源的全部访问记录为数据总样本，设该样本集
Figure 380979DEST_PATH_IMAGE001
中有N个样本，每个样本包含了单个用户对某个资源的单词访问行为的发生；所述资源推荐 方法的具体步骤如下：
Step1、对用户特征和项目特征进行编码：
Step2、二阶交叉特征学习；
Step3、分别基于用户场和项目场通过CIN实现高阶特征交叉；
Step4、通过DNN实现高阶特征交叉；
Step5、计算点击率；
Step6、使用二分类交叉熵损失函数为损失，训练参数；
Step7、按上述Step1-Step5求取每个学习者对每个学习资源的点击率，对点击率按降序进行排序，选取点击率前k名作为推荐资源，由此完成推荐过程。
3.根据权利要求2所述的基于场因子分解的教育资源推荐方法，其特征在于：所述Step1中，对用户特征和项目特征进行编码：
其中，每条访问记录包括了用户特征和项目特征共计
Figure 324664DEST_PATH_IMAGE002
个，则
Figure 618243DEST_PATH_IMAGE003
；
针对样本集中的每一条访问记录执行Step1.1-Step1.3，具体步骤为：
Step1.1、对所有访问记录中的用户、项目特征进行分类，分为类别型特征和数值型特征，并统计特征种类数共计n个；
Step1.2、对类别型特征进行one-hot编码，多类别型特征进行multi-hot编码，数值型特征离散化后进行one-hot编码；
Step1.3、对单条访问记录进行编码，则编码后的样本集为
Figure 330984DEST_PATH_IMAGE004
；
Step1.4、为每条记录生成一条负样本。
4.根据权利要求2所述的基于场因子分解的教育资源推荐方法，其特征在于：所述Step2中，二阶交叉特征学习的具体步骤如下：
Step2.1、设定用户场
Figure 317394DEST_PATH_IMAGE005
，项目场
Figure 748375DEST_PATH_IMAGE006
；
Step2.2、基于用户场和项目场初始化特征向量：
每个特征
Figure 845644DEST_PATH_IMAGE007
根据用户场、项目场分别生成一个向量，特征
Figure 412892DEST_PATH_IMAGE007
在用户场下的向量为
Figure 570204DEST_PATH_IMAGE008
，在项目场下的向量为
Figure 488481DEST_PATH_IMAGE009
；从而将转化为两组向量，用户场对应一组特征向 量
Figure 327124DEST_PATH_IMAGE010
，项目场对应另一组特征向量
Figure 14458DEST_PATH_IMAGE011
；
Figure 363179DEST_PATH_IMAGE012
代表嵌入维度，
Figure 503173DEST_PATH_IMAGE013
代表特征种数；
Step2.3、基于用户场、项目场实现二阶特征交叉：
Step2.3.1、计算用户场内特征交叉结果：
用户场内所有二阶特征组合的预测结果表示为：
Figure 207824DEST_PATH_IMAGE014
（1）
式中：
Figure 749664DEST_PATH_IMAGE015
表示两个
Figure 514357DEST_PATH_IMAGE012
维向量的点积，
Figure 141648DEST_PATH_IMAGE016
表示用户特征种类数；
Step2.3.2、计算项目场内特征交叉结果：
项目场内所有二阶特征组合的预测结果表示为：
Figure 118831DEST_PATH_IMAGE017
（2）
Step2.3.3、计算场间交叉结果：
用户场与项目场间特征组合的预测结果表示为：
Figure 780756DEST_PATH_IMAGE018
（3）
Step2.3.4、计算二阶特征交叉结果：
Figure 450772DEST_PATH_IMAGE019
（4）；
其中，
Figure 565359DEST_PATH_IMAGE020
为用户场内所有二阶特征组合的预测结果，
Figure 346233DEST_PATH_IMAGE021
为项目场内所有二阶特征组合 的预测结果，
Figure 862665DEST_PATH_IMAGE022
为用户场与项目场间特征组合的预测结果。
5.根据权利要求2所述的基于场因子分解的教育资源推荐方法，其特征在于：所述Step3中，分别基于用户场和项目场通过CIN实现高阶特征交叉的具体步骤如下：
Step3.1、计算用户场CIN单元：
设单元总层数为
Figure 703582DEST_PATH_IMAGE023
，该单元输入为
Figure 508727DEST_PATH_IMAGE024
，即
Figure 890030DEST_PATH_IMAGE025
，
Figure 464230DEST_PATH_IMAGE026
表示第
Figure 275716DEST_PATH_IMAGE027
层的向量 个数，
Figure 99316DEST_PATH_IMAGE012
代表嵌入维度，
Figure 487572DEST_PATH_IMAGE013
代表特征种数，第
Figure 713017DEST_PATH_IMAGE027
层的输出
Figure 98999DEST_PATH_IMAGE028
计算方式为：
Figure 675474DEST_PATH_IMAGE029
（5）
式中：
Figure 601841DEST_PATH_IMAGE030
，
Figure 681793DEST_PATH_IMAGE031
,
Figure 300993DEST_PATH_IMAGE032
表示第
Figure 364764DEST_PATH_IMAGE027
层第
Figure 829243DEST_PATH_IMAGE033
个向量，
Figure 29280DEST_PATH_IMAGE028
，
Figure 819382DEST_PATH_IMAGE034
表示Hadamard乘 积，
Figure 42553DEST_PATH_IMAGE035
表示第
Figure 576302DEST_PATH_IMAGE027
层的第
Figure 630846DEST_PATH_IMAGE033
个向量的权重，再使用下式对每层输出
Figure 326270DEST_PATH_IMAGE036
中各向量进 行sum pooling操作，即：
Figure 99053DEST_PATH_IMAGE037
（6）
其中，
Figure 433564DEST_PATH_IMAGE038
，则第
Figure 342614DEST_PATH_IMAGE027
层能得到一个池化向量
Figure 474518DEST_PATH_IMAGE039
, 将各层池化向量拼 接得到
Figure 469019DEST_PATH_IMAGE040
,以该池化向量作为用户场CIN单元的输出结果；
Step3.2、按上述Step3.1中的方法计算项目场CIN单元结果
Figure 547834DEST_PATH_IMAGE041
；
Step3.3、拼接Step3.1、Step3.2步骤中获得的结果得到
Figure 576970DEST_PATH_IMAGE042
Step3.4、计算CIN模块高阶特征交叉结果：
Figure 614196DEST_PATH_IMAGE043
（7）
其中，
Figure 361572DEST_PATH_IMAGE044
、
Figure 775236DEST_PATH_IMAGE045
为两层神经网络的权重矩阵。
6.根据权利要求2所述的基于场因子分解的教育资源推荐方法，其特征在于：所述Step4中，通过DNN实现高阶特征交叉：
Step4.1、将用户场特征组
Figure 924457DEST_PATH_IMAGE046
、项目场特征组
Figure 132585DEST_PATH_IMAGE047
拼接后得到矩阵
Figure 101678DEST_PATH_IMAGE048
；
Step4.2、计算DNN输出结果，其DNN每一层的计算公式为：
Figure 319032DEST_PATH_IMAGE049
（8）
式中：
Figure 57181DEST_PATH_IMAGE050
表示当前层数，
Figure 905052DEST_PATH_IMAGE051
为第
Figure 361441DEST_PATH_IMAGE050
层网络权重，
Figure 116907DEST_PATH_IMAGE052
为第k层网络偏置，式（8）表示多层神经 网络中，第k-1层的中间结果
Figure 975142DEST_PATH_IMAGE053
，与其下一神经网络层权重
Figure 793581DEST_PATH_IMAGE051
相乘并与偏置
Figure 471687DEST_PATH_IMAGE052
相加得到 第k层结果，层数可按实际应用情况设定，
Figure 30844DEST_PATH_IMAGE054
代表特征种数。
7.根据权利要求2所述的基于场因子分解的教育资源推荐方法，其特征在于：所述Step5中，计算点击率：
Figure 9164DEST_PATH_IMAGE055
（9）
其中，
Figure 995575DEST_PATH_IMAGE056
为sigmoid函数，将结果转化至
Figure 426556DEST_PATH_IMAGE057
中，
Figure 523825DEST_PATH_IMAGE058
表示二阶特征交叉结果，
Figure 294335DEST_PATH_IMAGE059
表示 CIN模块高阶特征交叉结果，
Figure 451647DEST_PATH_IMAGE060
表示通过DNN实现的高阶特征交叉结果。
8.根据权利要求2所述的基于场因子分解的教育资源推荐方法，其特征在于：所述Step6中，使用二分类交叉熵损失函数为损失，训练参数，损失函数为：
Figure 104345DEST_PATH_IMAGE061
（10）
式中，
Figure 5305DEST_PATH_IMAGE062
为样本总量，
Figure 692638DEST_PATH_IMAGE063
为样本真实值，
Figure 286431DEST_PATH_IMAGE064
为预测值。
CN202211187851.2A 2022-09-28 2022-09-28 一种基于场因子分解的教育资源推荐方法 Active CN115270004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211187851.2A CN115270004B (zh) 2022-09-28 2022-09-28 一种基于场因子分解的教育资源推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211187851.2A CN115270004B (zh) 2022-09-28 2022-09-28 一种基于场因子分解的教育资源推荐方法

Publications (2)

Publication Number Publication Date
CN115270004A true CN115270004A (zh) 2022-11-01
CN115270004B CN115270004B (zh) 2023-10-27

Family

ID=83756454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211187851.2A Active CN115270004B (zh) 2022-09-28 2022-09-28 一种基于场因子分解的教育资源推荐方法

Country Status (1)

Country Link
CN (1) CN115270004B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905691A (zh) * 2022-11-11 2023-04-04 云南师范大学 一种基于深度强化学习的偏好感知推荐方法
CN117876038A (zh) * 2024-03-12 2024-04-12 云筑信息科技(成都)有限公司 一种ctr预估模型推荐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795613A (zh) * 2014-01-16 2014-05-14 西北工业大学 一种在线社交网络中朋友关系预测的方法
US20140247978A1 (en) * 2013-03-04 2014-09-04 Xerox Corporation Pre-screening training data for classifiers
CN106447463A (zh) * 2016-10-21 2017-02-22 南京大学 一种基于马尔科夫决策过程模型的商品推荐方法
WO2019173304A1 (en) * 2018-03-05 2019-09-12 The Trustees Of Indiana University Method and system for enhancing security in a voice-controlled system
CN110795619A (zh) * 2019-09-18 2020-02-14 贵州广播电视大学(贵州职业技术学院) 一种融合多目标的教育资源个性化推荐系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140247978A1 (en) * 2013-03-04 2014-09-04 Xerox Corporation Pre-screening training data for classifiers
CN103795613A (zh) * 2014-01-16 2014-05-14 西北工业大学 一种在线社交网络中朋友关系预测的方法
CN106447463A (zh) * 2016-10-21 2017-02-22 南京大学 一种基于马尔科夫决策过程模型的商品推荐方法
WO2019173304A1 (en) * 2018-03-05 2019-09-12 The Trustees Of Indiana University Method and system for enhancing security in a voice-controlled system
CN110795619A (zh) * 2019-09-18 2020-02-14 贵州广播电视大学(贵州职业技术学院) 一种融合多目标的教育资源个性化推荐系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOHN A. TIDY 等: "Increased detection of high grade CIN, when using electrical impedance spectroscopy as an adjunct to routine colposcopy, is maintained when used across international boundaries: Prospective data from nine European countries", 《EUROPEAN JOURNAL OF OBSTETRICS & GYNECOLOGY AND REPRODUCTIVE BIOLOGY》, pages 41 - 45 *
张文强: "基于深度学习的点击率预测问题研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张文强: "基于深度学习的点击率预测问题研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 August 2022 (2022-08-15), pages 138 - 164 *
李增晖: "融合深度学习与矩阵分解的推荐算法研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 3336 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905691A (zh) * 2022-11-11 2023-04-04 云南师范大学 一种基于深度强化学习的偏好感知推荐方法
CN117876038A (zh) * 2024-03-12 2024-04-12 云筑信息科技(成都)有限公司 一种ctr预估模型推荐方法

Also Published As

Publication number Publication date
CN115270004B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
CN112232925A (zh) 一种融合知识图谱对商品进行个性化推荐的方法
CN109785062A (zh) 一种基于协同过滤模型的混合神经网络推荐系统
CN115270004A (zh) 一种基于场因子分解的教育资源推荐方法
CN110084670B (zh) 一种基于lda-mlp的货架商品组合推荐方法
CN108563755A (zh) 一种基于双向循环神经网络的个性化推荐系统及方法
CN114817663B (zh) 一种基于类别感知图神经网络的服务建模与推荐方法
CN111241423A (zh) 融合信任不信任关系和注意力机制深度推荐方法及系统
CN116128461B (zh) 一种用于在线招聘的双向推荐系统及方法
Jiang et al. A fast deep autoencoder for high-dimensional and sparse matrices in recommender systems
CN110781401A (zh) 一种基于协同自回归流实现的Top-n项目推荐方法
CN112256965A (zh) 一种基于lambdaMart的神经协同过滤模型推荐方法
Zheng et al. Graph-convolved factorization machines for personalized recommendation
Quan et al. Comparative study of CNN and LSTM based attention neural networks for aspect-level opinion mining
CN113722439A (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
Chen et al. Generative adversarial reward learning for generalized behavior tendency inference
CN116976505A (zh) 基于信息共享的解耦注意网络的点击率预测方法
CN115374288A (zh) 一种基于知识图谱与注意力机制的推荐方法
CN115525819A (zh) 一种面向信息茧房的跨领域推荐方法
CN113849725A (zh) 一种基于图注意力对抗网络的社会化推荐方法及系统
CN105678340A (zh) 一种基于增强型栈式自动编码器的自动图像标注方法
CN118246939A (zh) 一种基于注意力机制的DeepFM模型浏览数据处理的方法及系统
CN116452293A (zh) 一种融合物品受众特征的深度学习推荐方法及系统
CN115631005A (zh) 一种基于多重会话感知的超图推荐方法
Hu et al. Learning multi-expert distribution calibration for long-tailed video classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant