CN113806632A - 一种基于双重一致性自集成学习的个性化推荐方法 - Google Patents
一种基于双重一致性自集成学习的个性化推荐方法 Download PDFInfo
- Publication number
- CN113806632A CN113806632A CN202110990047.7A CN202110990047A CN113806632A CN 113806632 A CN113806632 A CN 113806632A CN 202110990047 A CN202110990047 A CN 202110990047A CN 113806632 A CN113806632 A CN 113806632A
- Authority
- CN
- China
- Prior art keywords
- sub
- dual
- network
- teacher
- network module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000009977 dual effect Effects 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
- G06Q30/0271—Personalized advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Algebra (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于双重一致性自集成学习的个性化推荐方法,该方法包括:构建并训练双重一致性平均教师模型,包括学生子网络模块和教师子网络模块,所述的学生子网络模块和教师子网络模块输入参观者属性数据矩阵并输出文物种类的推荐权值矩阵,训练过程中通过双重一致性损失函数、教师子网络交叉熵损失函数、学生子网络交叉熵损失函数对所述的学生子网络模块和教师子网络模块进行优化;获取参观者属性数据矩阵输入至训练好的双重一致性平均教师模型,获取文物种类的推荐权值,按推荐权值由大到小依次推荐。与现有技术相比,本发明提升了网络的个性化推荐能力,同时节省了计算成本。
Description
技术领域
本发明涉及一种个性化推荐方法,尤其是涉及一种基于双重一致性自集成学习的个性化推荐方法。
背景技术
博物馆是促进文化传播、推动文明传承的重要载体。随着人工智能、云计算、虚拟现实、大数据等新技术的飞速发展,建设具备数字化管理、个性化服务、智能化推广的智慧博物馆已成为文博界与学术界的紧迫任务,尤其是面向博物馆参观者的个性化推荐算法的研究成为亟需解决的问题。
目前常见的推荐算法可分为基于内容的推荐算法、协同过滤推荐算法、混合推荐算法。基于内容的推荐算法指根据参观者的历史参观记录推荐在内容上相似的文物展品;协同过滤推荐算法指对参观者推荐与之相似的参观者群体所感兴趣的文物;混合推荐算法则是指以加权、并联等方式融合上述两种方法。因为基于内容的推荐算法更关注文物的相似度,在博物馆推荐场景中获得广泛应用。随着深度学习的迅速发展,基于深度神经网络的个性化推荐算法表现出较好的推荐能力,但复杂的网络结构带来了高额的计算成本,难以适应博物馆的实际应用需求。因此,需要提出一种高推荐准确率且低计算成本的个性化推荐算法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于双重一致性自集成学习的个性化推荐方法。
本发明的目的可以通过以下技术方案来实现:
一种基于双重一致性自集成学习的个性化推荐方法,该方法包括:
构建并训练双重一致性平均教师模型,包括学生子网络模块和教师子网络模块,所述的学生子网络模块和教师子网络模块输入参观者属性数据矩阵并输出文物种类的推荐权值矩阵,训练过程中通过双重一致性损失函数、教师子网络交叉熵损失函数、学生子网络交叉熵损失函数对所述的学生子网络模块和教师子网络模块进行优化;
获取参观者属性数据矩阵输入至训练好的双重一致性平均教师模型,获取文物种类的推荐权值,按推荐权值由大到小依次推荐。
优选地,所述的参观者属性数据矩阵通过对参观者属性数据进行数据处理得到,所述的数据处理包括将字符串数据转换为网络可用的张量数据。
优选地,所述的参观者属性数据包括参观者的随行人员关系、职业、年龄、性别、学历信息。
优选地,所述的学生子网络模块包括4组全连接层、ReLU激活层。
优选地,所述的教师子网络模块包括7组全连接层、ReLU激活层。
优选地,所述的教师子网络交叉熵损失函数为:
优选地,所述的学生子网络交叉熵损失函数为:
优选地,所述的双重一致性损失函数为:
优选地,所述的学生子网络模块通过双重一致性损失函数和学生子网络交叉熵损失函数进行优化。
优选地,所述的教师子网络模块通过双重一致性损失函数和教师子网络交叉熵损失函数进行优化。
与现有技术相比,本发明具有如下优点:
本发明设计的双重一致性自集成学习框架更为轻量化,无需进行冗余的注意力计算;可以对大参数模型进行蒸馏,使得小参数模型具备了大参数模型的预测能力,同时保持了小参数模型推理速度快的优点;可以以较低的计算代价获得高推荐准确率,适用于博物馆个性化推荐的实际应用场景。
附图说明
图1为本发明基于双重一致性自集成学习的个性化推荐方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
一种基于双重一致性自集成学习的个性化推荐方法,该方法包括:
构建并训练双重一致性平均教师模型,包括学生子网络模块和教师子网络模块,学生子网络模块和教师子网络模块输入参观者属性数据矩阵并输出文物种类的推荐权值矩阵,训练过程中通过双重一致性损失函数、教师子网络交叉熵损失函数、学生子网络交叉熵损失函数对学生子网络模块和教师子网络模块进行优化;
获取参观者属性数据矩阵输入至训练好的双重一致性平均教师模型,获取文物种类的推荐权值,按推荐权值由大到小依次推荐。
参观者属性数据矩阵通过对参观者属性数据进行数据处理得到,数据处理包括将字符串数据转换为网络可用的张量数据。参观者属性数据包括参观者的随行人员关系、职业、年龄、性别、学历信息。
学生子网络模块包括4组全连接层、ReLU激活层,教师子网络模块包括7组全连接层、ReLU激活层。
教师子网络交叉熵损失函数为:
学生子网络交叉熵损失函数为:
双重一致性损失函数为:
学生子网络模块通过双重一致性损失函数和学生子网络交叉熵损失函数进行优化,教师子网络模块通过双重一致性损失函数和教师子网络交叉熵损失函数进行优化。
以下进行具体说明:
(1)数据处理
本实施例中使用的数据包括输入数据和标签数据。其中输入数据是参观者的个人身份信息,具体包括:随行人员、参观者职业、参观者年龄、参观者性别、参观者学历。标签数据是参观者感兴趣的TOP5种文物。在进行网络训练前,需先将字符串格式的数据处理为深度神经网络可使用的张量格式。预先设定的六个列表,分别存放所有的随行人员关系、职业、年龄、性别、学历、文物种类信息。在进行数据预处理时,首先获取字符串数据在对应列表中索引、然后将该索引值转换为浮点数,进而可将数据转换为张量格式。最终网络所使用的输入数据为的256×5的张量,标签数据为256×18的张量。
(2)训练过程
a、将输入数据分别输入到教师子网络和学生子网络中。其中学生子网络由4组全连接层、ReLU激活层组成。学生子网络输入为256×5的张量,输出为256×18的张量。相似地,教师子网络由7组全连接层、ReLU激活层组成。学生子网络输入为256×5的张量,输出为256×18的张量。
b、计算教师子网络交叉熵损失Ltch。
c、计算学生子网络交叉熵损失Lstd。
d、计算双重一致性损失Lmt。
e、e)反向传播,利用双重一致性损失函数和学生子网络交叉熵损失函数更新学生子网络的参数,利用双重一致性损失函数和教师子网络交叉熵损失函数更新教师子网络的参数。
(3)测试过程
测试时只需进行前向传播,不需计算损失函数。将输入的测试数据输入到学生子网络中,得到的输出作为测试阶段的输出结果。输出结果为256×18的张量,取第二个维度上前五大的数据的索引,按照预先设定的列表,将其转换为网络推荐的五种文物种类。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (10)
1.一种基于双重一致性自集成学习的个性化推荐方法,其特征在于,该方法包括:
构建并训练双重一致性平均教师模型,包括学生子网络模块和教师子网络模块,所述的学生子网络模块和教师子网络模块输入参观者属性数据矩阵并输出文物种类的推荐权值矩阵,训练过程中通过双重一致性损失函数、教师子网络交叉熵损失函数、学生子网络交叉熵损失函数对所述的学生子网络模块和教师子网络模块进行优化;
获取参观者属性数据矩阵输入至训练好的双重一致性平均教师模型,获取文物种类的推荐权值,按推荐权值由大到小依次推荐。
2.根据权利要求1所述的一种基于双重一致性自集成学习的个性化推荐方法,其特征在于,所述的参观者属性数据矩阵通过对参观者属性数据进行数据处理得到,所述的数据处理包括将字符串数据转换为网络可用的张量数据。
3.根据权利要求2所述的一种基于双重一致性自集成学习的个性化推荐方法,其特征在于,所述的参观者属性数据包括参观者的随行人员关系、职业、年龄、性别、学历信息。
4.根据权利要求1所述的一种基于双重一致性自集成学习的个性化推荐方法,其特征在于,所述的学生子网络模块包括4组全连接层、ReLU激活层。
5.根据权利要求1所述的一种基于双重一致性自集成学习的个性化推荐方法,其特征在于,所述的教师子网络模块包括7组全连接层、ReLU激活层。
9.根据权利要求1所述的一种基于双重一致性自集成学习的个性化推荐方法,其特征在于,所述的学生子网络模块通过双重一致性损失函数和学生子网络交叉熵损失函数进行优化。
10.根据权利要求1所述的一种基于双重一致性自集成学习的个性化推荐方法,其特征在于,所述的教师子网络模块通过双重一致性损失函数和教师子网络交叉熵损失函数进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110990047.7A CN113806632A (zh) | 2021-08-26 | 2021-08-26 | 一种基于双重一致性自集成学习的个性化推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110990047.7A CN113806632A (zh) | 2021-08-26 | 2021-08-26 | 一种基于双重一致性自集成学习的个性化推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113806632A true CN113806632A (zh) | 2021-12-17 |
Family
ID=78941880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110990047.7A Pending CN113806632A (zh) | 2021-08-26 | 2021-08-26 | 一种基于双重一致性自集成学习的个性化推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113806632A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200257976A1 (en) * | 2019-02-07 | 2020-08-13 | Target Brands, Inc. | Algorithmic apparel recommendation |
CN112287225A (zh) * | 2020-10-29 | 2021-01-29 | 北京奇艺世纪科技有限公司 | 一种对象推荐方法及装置 |
CN112541122A (zh) * | 2020-12-23 | 2021-03-23 | 北京百度网讯科技有限公司 | 推荐模型的训练方法、装置、电子设备及存储介质 |
CN112884552A (zh) * | 2021-02-22 | 2021-06-01 | 广西师范大学 | 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 |
CN113254795A (zh) * | 2020-02-11 | 2021-08-13 | 北京京东振世信息技术有限公司 | 一种推荐模型的训练方法和装置 |
-
2021
- 2021-08-26 CN CN202110990047.7A patent/CN113806632A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200257976A1 (en) * | 2019-02-07 | 2020-08-13 | Target Brands, Inc. | Algorithmic apparel recommendation |
CN113254795A (zh) * | 2020-02-11 | 2021-08-13 | 北京京东振世信息技术有限公司 | 一种推荐模型的训练方法和装置 |
CN112287225A (zh) * | 2020-10-29 | 2021-01-29 | 北京奇艺世纪科技有限公司 | 一种对象推荐方法及装置 |
CN112541122A (zh) * | 2020-12-23 | 2021-03-23 | 北京百度网讯科技有限公司 | 推荐模型的训练方法、装置、电子设备及存储介质 |
CN112884552A (zh) * | 2021-02-22 | 2021-06-01 | 广西师范大学 | 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 |
Non-Patent Citations (2)
Title |
---|
刘祥龙: "飞桨PaddlePaddle深度学习实战", 31 August 2020, 机械工业出版社, pages: 286 * |
潘瑞东,孔维健,齐洁: "基于预训练模型与知识蒸馏的法律判决预测算法", 控制与决策/基于预训练模型与知识蒸馏的法律判决预测算法, 2 November 2020 (2020-11-02), pages 1 - 9 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104318340B (zh) | 基于文本履历信息的信息可视化方法及智能可视分析系统 | |
CN112100383B (zh) | 一种面向多任务语言模型的元-知识微调方法及平台 | |
CN111709575A (zh) | 基于c-lstm的学业成绩预测方法 | |
CN111125520B (zh) | 一种面向新闻文本的基于深度聚类模型的事件线抽取方法 | |
CN111858940A (zh) | 一种基于多头注意力的法律案例相似度计算方法及系统 | |
Ince | Automatic and intelligent content visualization system based on deep learning and genetic algorithm | |
CN113392317A (zh) | 一种标签配置方法、装置、设备及存储介质 | |
CN116362363A (zh) | 一种水质预测方法、装置、设备及存储介质 | |
Zhao et al. | A real-time typhoon eye detection method based on deep learning for meteorological information forensics | |
CN115170874A (zh) | 一种基于解耦蒸馏损失的自蒸馏实现方法 | |
Gao et al. | Special issue on geospatial artificial intelligence | |
Wan et al. | Research on personalized recommendation of learning resource based on big data of education | |
Knox et al. | Political materials: rethinking environment, remaking theory | |
CN116702784B (zh) | 实体链接方法、装置、计算机设备和存储介质 | |
Shih et al. | Digital placemaking for urban regeneration: Identification of historic heritage values in Taiwan and the Baltic States | |
CN117093692A (zh) | 一种基于深度融合的多粒度图像-文本匹配方法及系统 | |
CN113806632A (zh) | 一种基于双重一致性自集成学习的个性化推荐方法 | |
CN116610874A (zh) | 一种基于知识图谱和图神经网络的跨域推荐方法 | |
Yu et al. | Selecting the best solvers: Toward community based crowdsourcing for disaster management | |
Shams et al. | Deep learning-based spatial analytics for disaster-related tweets: an experimental study | |
CN114372125A (zh) | 基于知识图谱的政务知识库构建方法、系统、设备及介质 | |
CN109471939B (zh) | 一种知识分类及隐性知识显性化的系统 | |
Xiong | [Retracted] Comparative Analysis of Chinese Culture and Hong Kong, Macao, and Taiwan Culture in the Field of Public Health Based on the CNN Model | |
Zhao et al. | Self-attention Hypergraph Pooling Network. | |
Xu et al. | Tourism image classification based on convolutional neural network SqueezeNet——Taking Slender West Lake as an example |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |