CN117093732B - 多媒体资源的推荐方法及装置 - Google Patents
多媒体资源的推荐方法及装置 Download PDFInfo
- Publication number
- CN117093732B CN117093732B CN202311344020.6A CN202311344020A CN117093732B CN 117093732 B CN117093732 B CN 117093732B CN 202311344020 A CN202311344020 A CN 202311344020A CN 117093732 B CN117093732 B CN 117093732B
- Authority
- CN
- China
- Prior art keywords
- account
- feature extraction
- superside
- feature
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 238000000605 extraction Methods 0.000 claims description 423
- 239000002775 capsule Substances 0.000 claims description 149
- 238000004422 calculation algorithm Methods 0.000 claims description 65
- 230000006870 function Effects 0.000 claims description 43
- 238000012216 screening Methods 0.000 claims description 33
- 238000010586 diagram Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 26
- 238000010276 construction Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000013527 convolutional neural network Methods 0.000 description 35
- 239000013598 vector Substances 0.000 description 26
- 230000008878 coupling Effects 0.000 description 20
- 238000010168 coupling process Methods 0.000 description 20
- 238000005859 coupling reaction Methods 0.000 description 20
- 230000004913 activation Effects 0.000 description 13
- 230000006399 behavior Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000007774 longterm Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种多媒体资源的推荐方法及装置,其中,该方法包括:获取目标账号的第一偏好特征,获取所述目标账号的第二偏好特征,以及获取所述目标账号的账号关系特征;对第一偏好特征、第二偏好特征和账号关系特征进行特征融合,得到目标账号特征,其中,目标账号特征用于表征目标账号在当前时刻浏览多媒体资源的偏好;根据目标账号特征为目标账号推荐待目标账号浏览的目标多媒体资源。通过本申请,解决多媒体资源的推荐准确率较低的问题,达到提高多媒体资源的推荐的准确率的效果。
Description
技术领域
本申请实施例涉及计算机领域,具体而言,涉及一种多媒体资源的推荐方法及装置。
背景技术
随着互联网技术的快速普及、多媒体技术的蓬勃发展和社交网络的日新月异,作为一种新型社交形式,“视频社交”正快速流行。与传统的社交网络不同,视频社交网络中的社交形式不再拘泥于文本和图片,还可以通过发布视频甚至直播,用户在视频社交软件上可以观看、评论和分享视频,同时还可与视频创作者沟通交流,极大地丰富了用户的精神文化生活。但是,日渐繁杂的视频种类和不断增长的视频数量,在给用户带来更多选择的同时,也产生严重的信息过载问题。如何解决该问题,让用户在大量的视频中找到自己喜欢的内容,满足用户个性化需求,是这些视频社交平台的推荐系统面临的巨大挑战。
顺序推荐算法作为当前主流的算法,被广泛应用于用户视频推荐的场景中,其捕捉不断演化和动态变化的用户偏好,从而实现对用户的视频推荐功能,具体而言,早期的工作采用人工设计的规则或注意力机制,给历史交互的视频分配随时间衰减的权重。第二类工作利用递归神经网络总结行为序列,但由于建模长期依赖的困难,它们在捕捉用户短期兴趣方面存在短期瓶颈。
发明内容
本申请实施例提供了一种多媒体资源的推荐方法及装置,以至少解决相关技术中多媒体资源的推荐准确率较低的问题。
根据本申请的一个实施例,提供了一种多媒体资源的推荐方法,包括:获取目标账号的第一偏好特征,获取所述目标账号的第二偏好特征,以及获取所述目标账号的账号关系特征,其中,所述第一偏好特征用于表征所述目标账号在第一时间段内浏览多媒体资源的偏好,所述第二偏好特征用于表征所述目标账号在第二时间段内的浏览多媒体资源的偏好,所述第一时间段长于所述第二时间段且所述第一时间段包括所述第二时间段,所述账号关系特征用于表征与所述目标账号具有关联关系的参考账号对所述目标账号浏览多媒体资源的偏好的影响情况,所述账号关系特征是根据所述参考账号在所述第二时间段内浏览多媒体资源的偏好得到的;
对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征融合,得到目标账号特征,其中,所述目标账号特征用于表征所述目标账号在所述当前时刻浏览多媒体资源的偏好;
根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源。
可选的,所述获取目标账号的第一偏好特征,包括:
获取所述目标账号的第一浏览信息,其中,所述第一浏览信息用于指示所述目标账号在从第一时刻到当前时刻之间的第一时间段内的多媒体资源浏览情况;
从所述第一浏览信息中提取所述第一偏好特征。
可选的,所述获取所述目标账号的第一浏览信息,包括:
获取第一超图,其中,所述第一超图中记载了所述目标账号在所述第一时间段内浏览的多个第一多媒体资源以及多个所述第一多媒体资源之间的关系;
所述从所述第一浏览信息中提取所述第一偏好特征,包括:
将所述第一超图输入至第一特征提取网络,得到所述第一特征提取网络输出的所述第一偏好特征,其中,所述第一特征提取网络用于根据所述多个第一多媒体资源之间的关联关系确定所述目标账号在第一时间段内偏好的多媒体资源所具有的特征。
可选的,所述将所述第一超图输入至第一特征提取网络,得到所述第一特征提取网络输出的所述第一偏好特征,包括:
使用第一特征提取层对所述第一超图中包括的多个第一超边中的每个所述第一超边进行特征提取,得到与每个所述第一超边对应的第一超边特征,其中,所述第一超边中记录了所述第一多媒体资源之间的关联关系,不同的所述第一超边中包括不同的所述第一多媒体资源之间的关联关系;
使用第二特征提取层对多个所述第一超边特征进行特征提取,得到所述第一偏好特征,其中,所述第一特征提取网络包括所述第一特征提取层和所述第二特征提取层。
可选的,所述使用第一特征提取层对所述第一超图中包括的多个第一超边中的每个所述第一超边进行特征提取,包括:
将所述第一超图输入至依次连接的多级第一子层,其中,所述第一特征提取层包括依次连接的所述多级第一子层,每级所述第一子层中包括第一顶点胶囊和第一超边胶囊,所述第一顶点胶囊用于将所述第一超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第一超边胶囊用于将所述第一超图中每个顶点所关联的所有超边的特征聚合到该顶点上。
可选的,所述获取第一超图,包括:
获取第一浏览序列,其中,所述第一浏览序列中记录了所述多个第一多媒体资源的时序关系;
基于所述第一浏览序列分别构建每个所述第一多媒体资源对应的第一局部超边以及第一全局超边,其中,与当前第一多媒体资源对应的所述第一局部超边中记录了所述当前第一多媒体资源与第二多媒体资源之间的关联关系,所述第一全局超边中记录了所述当前第一多媒体资源与第三多媒体资源之间的关联关系,所述当前第一多媒体资源为所述多个第一多媒体资源中的任一个第一多媒体资源,所述第二多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度大于第一关联度的第一多媒体资源,所述第三多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度小于或等于所述第一关联度的第一多媒体资源;
将所述多个第一多媒体资源中每个第一多媒体资源对应的所述第一局部超边和所述第一全局超边进行合并,得到第一超边集;
对所述第一超边集和第一顶点集进行元组构建,得到所述第一超图,其中,所述第一顶点集中包括与所述多个第一多媒体资源中每个第一多媒体资源一一对应的顶点。
可选的,所述基于所述第一浏览序列分别构建每个所述第一多媒体资源对应的第一局部超边以及第一全局超边,包括:
使用近邻算法从所述多个第一多媒体资源中除所述当前第一多媒体资源之外的多媒体资源中筛选出K-1个所述第二多媒体资源,将所述当前第一多媒体资源和K-1个所述第二多媒体资源构建为与所述当前第一多媒体资源对应的所述第一局部超边;
根据所述第一多媒体资源对应的第一多媒体资源特征之间的相似关系对所述多个第一多媒体资源聚类,得到M个第一类簇;从M个所述第一类簇中筛选出N-1个第二类簇,其中,所述第二类簇为所述M个第一类簇中类簇中心的特征与所述当前第一多媒体资源的特征相似度大于目标相似度的类簇,所述第二类簇中不包括所述当前第一多媒体资源;对每个所述第二类簇执行K-1次可放回采样,得到K-1个第四多媒体资源,其中,所述第三多媒体资源中包括所述第四多媒体资源;将所述当前第一多媒体资源和一个所述第二类簇中采集的K-1个所述第四多媒体资源构建为一个所述第一全局超边,得到与所述当前第一多媒体资源对应的N-1个所述第一全局超边。
可选的,所述获取所述目标账号的账号关系特征,包括:
获取所述目标账号的账号关系信息,其中,所述账号关系信息用于指示所述参考账号在所述第二时间段内的多媒体资源浏览情况;
从所述账号关系信息中提取所述账号关系特征。
可选的,所述获取所述目标账号的账号关系信息,包括:
获取初始超图,其中,所述初始超图中记载了多个初始顶点之间的关联关系,其中每个所述初始顶点对应多个第一账号中的一个,所述多个第一账号包括所述参考账号和所述目标账号;
将参考账号的多媒体资源浏览特征合并到所述初始超图对应的初始顶点上,得到第二超图,其中,所述账号关系信息包括所述第二超图;
所述从所述账号关系信息中提取所述账号关系特征,包括:
将所述第二超图输入至第二特征提取网络,得到所述第二特征提取网络输出的所述账号关系特征,其中,所述第二特征提取网络用于根据所述多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况。
可选的,所述将所述第二超图输入至第二特征提取网络,得到所述第二特征提取网络输出的所述账号关系特征,包括:
使用第三特征提取层对所述第二超图中包括的多个第二超边中的每个所述第二超边进行特征提取,得到与每个所述第二超边对应的第二超边特征,其中,所述第二超边中记录了所述第一账号之间的关联关系,不同的所述第二超边中包括不同的所述第一账号之间的关联关系;
使用第四特征提取层对多个所述第二超边特征进行特征提取,得到所述账号关系特征,其中,所述第二特征提取网络包括所述第三特征提取层和所述第四特征提取层。
可选的,所述使用第三特征提取层对所述第二超图中包括的多个第二超边中的每个所述第二超边进行特征提取,包括:
将所述第二超图输入至依次连接的多级第二子层,其中,所述第三特征提取层包括依次连接的所述多级第二子层,每级所述第二子层中包括第二顶点胶囊和第二超边胶囊,所述第二顶点胶囊用于将所述第二超图中每个顶点的特征聚合到包括该顶点的超边上,所述第二超边胶囊用于将包括该顶点的超边的特征聚合到该顶点上。
可选的,所述获取初始超图,包括:
获取第一关系图,其中,所述第一关系图中记录了多个第二顶点以及任意两个第二顶点之间的第二边,每个所述第二顶点对应一个所述第一账号,所述第二边用于表征两个所述第一账号之间的关联关系;
基于所述第一关系图分别构建每个所述第一账号对应的第二局部超边以及第二全局超边,其中,与当前第一账号对应的所述第二局部超边中记录了所述当前第一账号与第二账号之间的关联关系,所述第二全局超边中记录了所述当前第一账号与第三账号之间的关联关系,所述当前第一账号为所述多个第一账号中的任一个第一账号,所述第二账号为所述第一关系图中与所述当前第一账号关联度大于第二关联度的第一账号,所述第三账号为所述第一关系图中与所述当前第一账号关联度小于或等于所述第二关联度的第一账号;
将所述多个第一账号中每个第一账号对应的所述第二局部超边和所述第二全局超边进行合并,得到第二超边集;
对所述第二超边集和第二顶点集进行元组构建,得到所述初始超图,其中,所述第二顶点集中记录了所述多个第二顶点。
可选的,所述基于所述第一关系图分别构建每个所述第一账号对应的第二局部超边以及第二全局超边,包括:
使用邻近算法从所述多个第一账号中除所述当前第一账号之外的账号中筛选出K-1个所述第二账号,将所述当前第一账号和K-1个所述第二账号构建为与所述当前第一账号对应的所述第二局部超边;
使用经典图划分算法将所述第一关系图划分为M个第三类簇;使用最短路径算法从M个所述第三类簇中筛选出N-1个第四类簇,其中,所述第四类簇中不包括所述当前第一账号;对每个所述第四类簇执行K-1次可放回采样,得到K-1个第四账号,其中,所述第三账号中包括所述第四账号;将所述当前第一账号和一个所述第四类簇中采集的K-1个所述第四账号构建为一个所述第二全局超边,得到与所述当前第一账号对应的N-1个所述第二全局超边。
可选的,所述获取所述目标账号的第二偏好特征,包括:
获取所述目标账号的第二浏览信息,其中,所述第二浏览信息用于指示所述目标账号在从第二时刻到当前时刻之间的所述第二时间段内的多媒体资源浏览情况,所述第一偏好特征是从第一浏览信息中提取的,所述第一浏览信息用于指示所述目标账号在从第一时刻到所述当前时刻之间的第一时间段内的多媒体资源浏览情况,所述第一时刻在所述第二时刻之前;
从所述目标账号的第二浏览信息中提取所述目标账号的第二偏好特征。
可选的,所述从所述目标账号的第二浏览信息中提取所述目标账号的第二偏好特征,包括:
将所述第二时间段内浏览的多个第二多媒体资源输入至第三特征提取网络,得到所述第三特征提取网络输出的所述第二偏好特征,其中,所述第三特征提取网络用于根据所述多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第二浏览信息包括所述多个第二多媒体资源。
可选的,所述将所述第二时间段内浏览的多个第二多媒体资源输入至第三特征提取网络,得到所述第三特征提取网络输出的所述第二偏好特征,包括:
使用第五特征提取层对所述多个第二多媒体资源中每个所述第二多媒体资源进行特征提取,得到每个所述第二多媒体资源对应的第二多媒体资源特征,其中,所述第二多媒体资源特征中包括表征当前第二多媒体资源和所述多个第二多媒体资源中其他多媒体资源之间时序关系的特征;
使用第六特征提取层对所述多个第二多媒体资源的所述第二多媒体资源特征进行特征提取,得到所述第二偏好特征,其中,所述第三特征提取网络包括所述第五特征提取层和所述第六特征提取层。
可选的,所述对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征合并,得到所述目标账号特征,包括:
使用目标融合网络对所述第一偏好特征、所述第二偏好特征图以及所述账号关系特征进行特征融合,得到所述目标账号特征,其中,所述目标融合网络用于预测输入至所述目标融合网络的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。
可选的,所述根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源,包括:
获取每个参考多媒体资源的参考多媒体资源特征,其中,所述参考多媒体资源特征用于表征偏好所述参考多媒体资源的账号所具有的特征情况;
根据所述参考多媒体资源特征和所述目标账号特征预测对应的所述参考多媒体资源的参考概率值,其中,所述参考概率值用于表征所述目标账号在当前时刻之后的目标时刻浏览对应的所述参考多媒体资源的概率;
根据每个所述参考多媒体资源对应的所述参考概率值从所述多个参考多媒体资源中筛选出所述目标多媒体资源。
可选的,所述获取每个所述参考多媒体资源的参考多媒体资源特征,包括:
获取所述参考多媒体资源的第三超图,其中,所述第三超图中记载了浏览过所述参考多媒体资源的多个第五账号之间的关联关系;
将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,其中,所述第四特征提取网络用于根据所述多个第五账号之间的关联关系确定偏好所述参考多媒体资源的账号所具有的特征。
可选的,所述将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,包括:
使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,得到与每个所述第三超边对应的第三超边特征,其中,所述第三超边中记录了所述第五账号之间的关联关系,不同的所述第三超边中包括不同的所述第五账号之间的关联关系;
使用第八特征提取层对多个所述第三超边特征进行特征提取,得到所述参考多媒体资源特征,其中,所述第四特征提取网络包括所述第七特征提取层和所述第八特征提取层。
可选的,所述使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,包括:
将所述第三超图输入至依次连接的多级第三子层,其中,所述第七特征提取层包括依次连接的所述多级第三子层,每级所述第三子层中包括第三顶点胶囊和第三超边胶囊,所述第三顶点胶囊用于将所述第三超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第三超边胶囊用于将所述第一超图中每个顶点所关联的所有超边的特征聚合到该顶点上。
可选的,所述获取所述参考多媒体资源的第三超图,包括:
获取第二关系图,其中,所述第二关系图中记录了多个第三顶点以及任意两个第三顶点之间的第三边,每个所述第三顶点对应一个所述第五账号,所述第三边用于表征两个所述第五账号之间的连接关系;
基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,其中,与当前第五账号对应的所述第三局部超边中记录了所述当前第五账号与第六账号之间的关联关系,所述第三全局超边中记录了所述当前第五账号与第七账号之间的关联关系,所述当前第五账号为所述多个第五账号中的任一个第五账号,所述第六账号为所述第二关系图中与所述当前第五账号关联度大于第三关联度的第五账号,所述第七账号为所述第二关系图中与所述当前第五账号关联度小于或等于所述第三关联度的第五账号;
将所述多个第五账号中每个第五账号对应的所述第三局部超边和所述第三全局超边进行合并,得到第三超边集;
对所述第三超边集和第三顶点集进行元组构建,得到所述第三超图,其中,所述第三顶点集中记录了所述多个第三顶点。
可选的,所述基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,包括:
使用近邻算法从所述多个第五账号中除所述当前第五账号之外的账号中筛选出K-1个所述第六账号,将所述当前第五账号和K-1个所述第六账号构建为与所述当前第五账号对应的所述第三局部超边;
使用经典图划分算法将所述第二关系图划分为M个第五类簇;使用最短路径算法从M个所述第五类簇中筛选出N-1个第六类簇,其中,所述第六类簇中不包括所述当前第五账号;对每个所述第六类簇执行K-1次可放回采样,得到K-1个第八账号,其中,所述第七账号中包括所述第八账号;将所述当前第五账号和一个所述第六类簇中采集的K-1个所述第八账号构建为一个所述第三全局超边,得到与所述当前第五账号对应的N-1个所述第三全局超边。
可选的,所述将所述第一超图输入至第一特征提取网络之前,所述方法还包括:
构建初始识别模型,其中,所述初始识别模型包括第一初始提取网络、第二初始提取网络、第三初始提取网络和第四初始提取网络和初始融合网络,其中,所述第一初始提取网络、所述第二初始提取网络和所述第三初始提取网络分别和所述初始融合网络连接;
使用所述初始识别模型根据候选账号的多媒体资源浏览信息预测待推荐给所述候选账号的推荐多媒体资源;
根据所述候选账号对所述推荐多媒体资源所执行的目标操作对所述初始识别模型进行训练,得到目标识别模型,其中,所述目标识别模型包括所述第一特征提取网络、第二特征提取网络、第三特征提取网络、第四特征提取网络和目标融合网络,所述第一特征提取网络、所述第二特征提取网络以及所述第三特征提取网络分别和所述目标融合网络连接,所述第二特征提取网络用于根据多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况,所述第三特征提取网络用于根据多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第四特征提取网络用于根据浏览过同一多媒体资源的多个账号之间的关联关系确定偏好该多媒体资源的账号所具有的特征,所述目标融合网络用于预测输入至所述目标融合网络的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。
可选的,根据所述候选账号对所述推荐多媒体资源所执行的目标操作对所述初始识别模型进行训练,得到目标识别模型,包括:
利用负对似然函数和所述候选账号对所述推荐多媒体资源所执行的所述目标操作,构建所述初始识别模型的目标损失函数;
根据所述目标损失函数的计算结果对所述初始识别模型的参数进行调节,得到所述目标识别模型。
根据本申请的另一个实施例,提供了一种多媒体资源的推荐装置,包括:获取模块,用于获取目标账号的第一偏好特征,获取所述目标账号的第二偏好特征,以及获取所述目标账号的账号关系特征,其中,所述第一偏好特征用于表征所述目标账号在第一时间段内浏览多媒体资源的偏好,所述第二偏好特征用于表征所述目标账号在第二时间段内的浏览多媒体资源的偏好,所述第一时间段长于所述第二时间段且所述第一时间段包括所述第二时间段,所述账号关系特征用于表征与所述目标账号具有关联关系的参考账号对所述目标账号浏览多媒体资源的偏好的影响情况,所述账号关系特征是根据所述参考账号在所述第二时间段内浏览多媒体资源的偏好得到的;融合模块,用于对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征融合,得到目标账号特征,其中,所述目标账号特征用于表征所述目标账号在所述当前时刻浏览多媒体资源的偏好;推荐模块,用于根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源。
根据本申请的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请,通过获取第一偏好特征,从而得到目标账号在第一时间段内的浏览多媒体资源的偏好情况,通过获取第二偏好特征,从而得到目标账号在第二时间段内浏览多媒体资源的偏好情况,通过获取账号关系特征,从而得到参考账号对目标账号浏览多媒体资源的偏好影响情况,进而使用第一偏好特征、第二偏好特征和账号关系特征进行特征融合,得到目标账号特征,即在确定表征目标账号当前浏览多媒体资源的偏好时,除了融入了目标用户在第一时间段和第二时间段内浏览多媒体资源偏好情况,还融入了参考账号对目标账号当前浏览多媒体资源偏好的影响因素,使得目标账号特征表征的用户当前时刻浏览多媒体资源的偏好更加准确,进而使用该目标账号特征为目标账号推荐的目标多媒体资源更加符合目标账号当前的多媒体资源浏览需求,因此,可以解决多媒体资源的推荐准确率较低的问题,达到提高多媒体资源的推荐的准确率的效果。
附图说明
图1是本申请实施例的一种多媒体资源的推荐方法的移动终端的硬件结构框图;
图2是根据本申请实施例的多媒体资源的推荐方法的流程图;
图3是根据本申请实施例的一种可选的多媒体资源推荐示意图;
图4是根据申请实施例的一种可选的目标识别模型示意图;
图5是根据本申请实施例的一种可选的模型训练流程图;
图6是根据本申请实施例的一种可选的多媒体资源推荐系统示意图;
图7是根据本申请实施例的一种可选的胶囊卷积神经网络示意图;
图8是根据本申请实施例的多媒体资源的推荐装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请的实施例。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本申请实施例的一种多媒体资源的推荐方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本申请实施例中的多媒体资源的推荐方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
为了便于描述,以下对本申请实施例所涉及的部分名词或者符号进行解释:
所有的向量和标量分别用粗体小写字母(如)和小写字母(如/>)来表示;使用粗体大写字母来表示矩阵(如/>);使用大写字母表示元组(如/>);大写花体字母来表示集合(如/>)。
让和/>分别表示系统中的账号集合和多媒体资源集合。每个账号/>都有若干好友,记这些好友的集合为/>。所有账号及其之间的好友关系组成了社交网络,通常用社交图来建模表示。
图(关系图):是由顶点集和连接边集组成的二元组,用以刻画成对顶点之间的交互关系。通常记为。其中,顶点集/>非空,每个元素代表一个顶点;连接边集/>表示一对顶点间的连接关系,每个元素表示一条连接边。
超图:是一种广义的图,其连接边可以连接不止两个顶点,用以建模多个顶点之间的交互关系。通常用用二元组表示。其中,顶点集/>非空,每个元素代表一个顶点;连接边集/>表示多个顶点间的连接关系,每个元素表示一条超边。
在本实施例中提供了一种运行于多媒体资源的推荐方法,图2是根据本申请实施例的多媒体资源的推荐方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,获取目标账号的第一偏好特征,获取所述目标账号的第二偏好特征,以及获取所述目标账号的账号关系特征,其中,所述第一偏好特征用于表征所述目标账号在第一时间段内浏览多媒体资源的偏好,所述第二偏好特征用于表征所述目标账号在第二时间段内的浏览多媒体资源的偏好,所述第一时间段长于所述第二时间段且所述第一时间段包括所述第二时间段,所述账号关系特征用于表征与所述目标账号具有关联关系的参考账号对所述目标账号浏览多媒体资源的偏好的影响情况,所述账号关系特征是根据所述参考账号在所述第二时间段内浏览多媒体资源的偏好得到的;
步骤S204,对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征融合,得到目标账号特征,其中,所述目标账号特征用于表征所述目标账号在所述当前时刻浏览多媒体资源的偏好;
步骤S206,根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源。
通过上述步骤,通过获取第一偏好特征,从而得到目标账号在第一时间段内的浏览多媒体资源的偏好情况,通过获取第二偏好特征,从而得到目标账号在第二时间段内浏览多媒体资源的偏好情况,通过获取账号关系特征,从而得到参考账号对目标账号浏览多媒体资源的偏好影响情况,进而使用第一偏好特征、第二偏好特征和账号关系特征进行特征融合,得到目标账号特征,即在确定表征目标账号当前浏览多媒体资源的偏好时,除了融入了目标用户在第一时间段和第二时间段内浏览多媒体资源偏好情况,还融入了参考账号对目标账号当前浏览多媒体资源偏好的影响因素,使得目标账号特征表征的用户当前时刻浏览多媒体资源的偏好更加准确,进而使用该目标账号特征为目标账号推荐的目标多媒体资源更加符合目标账号当前的多媒体资源浏览需求,因此,可以解决多媒体资源的推荐准确率较低的问题,达到提高多媒体资源的推荐的准确率的效果。
其中,上述多媒体资源的推荐方法的执行主体可以是多媒体资源推荐应用或者多媒体资源推荐网站;上述多媒体资源的推荐方法的执行主体还可以是多媒体资源推荐应用或者多媒体资源推荐网站对应的服务器,该服务器用于对多媒体推荐应用或者多媒体推荐网站提供数据运算服务;或者上述多媒体资源的推荐方法的执行主体还可以是安装了多媒体资源推荐应用或者多媒体资源推荐网站终端,本方案对此不做限定。
在上述步骤S202提供的实施例中,多媒体资源是指能够以多种形式传递信息的资源,包括文字、图片、音频、视频等。这些资源可以在各种媒体平台上使用,如互联网、电视、电影、广播等。
可选地,在本申请实施例中,第一偏好特征可以是通过预先训练的特征提取模型对第一浏览信息进行特征提取得到的,如预先训练的卷积神经网络或者胶囊卷积神经网络等等;第一偏好特征还可以是通过获取第一浏览信息中包括的各个多媒体资源的资源标签,该资源标签用于表征对应多媒体资源的资源类型(比如,多媒体资源为电影,资源标签可以是用于表征电影的题材的标签,如科教、动作、科幻等题材),进而将该资源标签所表征的资源类型确定为第一偏好特征。
可选地,在本申请实施例中,第二偏好特征可以是通过预先训练的特征提取模型对第二浏览信息进行特征提取得到的,如预先训练的卷积神经网络或者胶囊卷积神经网络等等;第二偏好特征还可以是通过获取第二浏览信息中包括的各个多媒体资源的资源标签,该资源标签用于表征对应多媒体资源的资源类型(比如,多媒体资源为电影,资源标签可以是用于表征电影的题材的标签,如科教、动作、科幻等题材),进而将该资源标签所表征的资源类型确定为第二偏好特征。
可选地,在本申请实施例中,账号关系特征可以但不限于是通过预先训练的特征提取模型对账号关系信息进行特征提取得到的,如预先训练的卷积神经网络或者胶囊卷积神经网络等等;账号关系特征还可以是通过对各个用户之间的关联关系或者交互关系进行计算得到的,从而得到各个参考账号对目标账号浏览多媒体资源的偏好影响权重,并将该影响权重作为目标。
可选地,在本申请实施例中,账号关系信息可以但不限于是通过对参考账号和目标账号之间、参考账号和参考账号之间的交互关系进行监控得到的,本方案对此不做限定。
在上述步骤S204提供的实施例中,第一偏好特征、第二偏好特征和账号关系特征分别从不同视角对用户的多媒体资源偏好进行建模,在实施多媒体资源推荐之前,必要将这三种特征进行融合,,融合函数/>是可以是任意复杂的函数,可以但不限于包括sum、max、concat和基于门控线性机制的融合方法,其中,sum融合方法是对多个特征实施逐元素加法运算,max融合方法是对多个特征实施逐元素取最大值运算,concat融合方法是对多个特征实施向量拼接运算,基于门控线性机制的融合方法是根据多个特征影响目标账号当前浏览多媒体资源偏好的目标贡献比例,根据按照目标贡献比例对第一偏好特征、第二偏好特征和账号关系特征进行特征融合。
在上述步骤S206提供的实施例中,目标多媒体资源可以是使用目标账号特征从参考多媒体资源中筛选出来的,其可以但不限于通过将参考多媒体资源和目标账号特征进行相似度匹配的方式,从中确定与目标账号匹配度最高的多媒体资源作为目标多媒体资源,参考多媒体资源中可以仅包括目标账号当前未浏览过的多媒体资源,或者参考多媒体资源中还可以包括目标账号当前未浏览以及已经浏览过的多媒体资源。
可选地,在本申请实施例中,根据目标账号特征为目标账号推荐目标多媒体资源的方式可以是根据确定从预设账号中筛选出与目标账号特征匹配的候选账号,将候选账号当前浏览的多媒体资源确定为待目标账号浏览的目标多媒体资源,本方案对此不做限定。
在本申请实施例中,账号对多媒体资源的偏好请求具有稳定性,这种稳定性通常反映在用户历史行中频繁访问的成簇视频中。一般来讲,某一个或几个多媒体资源簇访问越频繁,它或它们在用户兴趣偏好稳定性的贡献程度就越高。用户的兴趣爱好具有漂移性,随时间不断改变。例如,用户在世界杯期间对体育类视频产生浓厚兴趣,但可能只是一种短期偏好;当世界杯结束时,他可能倾向于幽默风趣类视频。并且,用户的兴趣偏好会受到朋友的影响。例如,用户可能会因为其朋友经常给其分享温馨文艺类视频而喜欢上它。图3是根据本申请实施例的一种可选的多媒体资源推荐示意图,如图3所示,在目标账号的第一偏好特征中包含了目标账号长期的多媒体资源浏览偏好,在目标账号的第二偏好特征中包含了目标账号短期的多媒体资源浏览偏好,账号关系特征中包含了社交关系中参考账号的偏好情况对目标账号的偏好影响情况,进而通过对这三种特征进行拟合,从而得到目标账号的目标账号特征,使得该目标账号特征更加符合目标账号当前时刻浏览多媒体资源的偏好特征,进而使用该目标账号特征进行多媒体资源推荐,从而得到更加符合目标账号当前需求的目标多媒体资源。
作为一种可选的实施例,所述获取目标账号的第一偏好特征,包括:
获取所述目标账号的第一浏览信息,其中,所述第一浏览信息用于指示所述目标账号在从第一时刻到当前时刻之间的第一时间段内的多媒体资源浏览情况;
从所述第一浏览信息中提取所述第一偏好特征。
可选地,在本申请实施例中,第一浏览信息可以是用于第一时间段内浏览过的多媒体资源组成的多媒体资源浏览序列,或者还可以是记载了目标帐号在第一时间段内浏览的多个多媒体资源以及多个多媒体资源之间关系的超图,本方案对此不做限定。
可选地,在本申请实施例中,第一偏好特征可以是使用特征提取算法对第一浏览信息进行计算得到的(比如使用归一算法对第一浏览信息进行归一化),或者还可以是使用特征提取模型对第一浏览信息进行提取得到的(特征提取模型是使用训练样本对具有特征提取功能的初始神经网路模型进行训练得到的,初始神经网络模型可以但不限于包括卷积神经网络模型、长短时记忆网络模型)。
作为一种可选的实施例,所述获取所述目标账号的第一浏览信息,包括:
获取第一超图,其中,所述第一超图中记载了所述目标账号在所述第一时间段内浏览的多个第一多媒体资源以及多个所述第一多媒体资源之间的关系,所述第一浏览信息包括所述第一超图;
所述从所述第一浏览信息中提取所述第一偏好特征,包括:
将所述第一超图输入至第一特征提取网络,得到所述第一特征提取网络输出的所述第一偏好特征,其中,所述第一特征提取网络用于根据所述多个第一多媒体资源之间的关联关系确定所述目标账号在第一时间段内偏好的多媒体资源所具有的特征。
可选地,在本申请实施例中,第一特征提取网络是通过学习训练的方式得到的用于输出第一超图对应的第一偏好特征的网络模型,第一特征提取网络可以但不限于包括卷积神经网络、胶囊卷积神经网络、循环神经网络、生成对抗网络、长短时记忆网络等等,本方案对此不做限定。
可选地,在本申请实施例中,为了保证第一特征提取网络对记录了目标账号在第一时间段内浏览的多个第一多媒体资源之间关系的第一超图的特征提取的效果,可以但不限于根据第一超图的结构设计第一特征提取网络的网络模型结构,比如,第一超图中包括多个超边,每个超边上包括多个顶点,每个顶点对应一个第一多媒体资源,即每条超边上记录了两个或者两个以上的第一多媒体资源之间的关联关系,不同的超边上记录了不同的第一多媒体资源之间的关系,因此可以根据第一超图中超边的种类,设计第一特征提取网络的特征提取级数与第一超图中包括的超边种类匹配,如设置包括两级特征提取级数的特征提取网络,该网络中的第一级特征提取网络用于提取每一条超边的超边特征,该网络中的第二级特征提取网络用于对第一级特征提取网络提取的超边特征进行特征提取,从而得到第一超图对应的第一偏好特征,本方案对第一特征提取网络的网络结构不做具体限定。
作为一种可选的实施例,所述将所述第一超图输入至第一特征提取网络,得到所述第一特征提取网络输出的所述第一偏好特征,包括:
使用第一特征提取层对所述第一超图中包括的多个第一超边中的每个所述第一超边进行特征提取,得到与每个所述第一超边对应的第一超边特征,其中,所述第一超边中记录了所述第一多媒体资源之间的关联关系,不同的所述第一超边中包括不同的所述第一多媒体资源之间的关联关系;
使用第二特征提取层对多个所述第一超边特征进行特征提取,得到所述第一偏好特征,其中,所述第一特征提取网络包括所述第一特征提取层和所述第二特征提取层。
可选地,在本申请实施例中,为了保证第一特征提取层对第一超图中每个超边的特征提取效果,可以但不限于在第一特征提取层中设置依次连接的多级子层,多级子层可以但不限于对第一超图中包括的各个超边的特征进行逐级提取,或者多级子层还可以根据特征维度对第一超图中包括的全部超边按照特征维度进行逐级特征提取,本方案对此不做限定。
可选地,在本申请实施例中,多个第一超边特征可以是直接输入至第二特征提取层中进行特征提取,或者还可以是通过将多个第一超边特征进行特征融合后输入到第二特提取层进行特征提取,对多个第一超边特征进行特征融合可以但不限于是直接将多个第一超边特征进行特征合并的方式,或者还可以是确定多个第一超边特征对表征目标账号在第一时间段内浏览多媒体资源的偏好的贡献比值,按照该贡献比值对多个第一超边特征进行特征融合。
通过以上步骤,通过设置包括两级特征提取层的第一特征提取网络,并使用第一特征提取层对每一个超边特征进行特征提取,使用第二特征提取层对第一特征提取层提取到的多个超边特征进行特征提取,从而提高了提取得到的第一偏好特征的准确性。
作为一种可选的实施例,所述使用第一特征提取层对所述第一超图中包括的多个第一超边中的每个所述第一超边进行特征提取,包括:
将所述第一超图输入至依次连接的多级第一子层,其中,所述第一特征提取层包括依次连接的所述多级第一子层,每级所述第一子层中包括第一顶点胶囊和第一超边胶囊,所述第一顶点胶囊用于将所述第一超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第一超边胶囊用于将所述第一超图中每个顶点所关联的所有超边的特征聚合到该顶点上。
可选地,在本申请实施例中,第一顶点胶囊通过如下方式将第一超图中每个顶点的特征聚合到包括该顶点的超边上:对于用户行为超图(第一超图)中每条超边/>,第/>级超图胶囊卷积层(第一子层)的顶点胶囊将超边/>所包含的/>个视频的特征/>聚合到/>上,得到/>的嵌入/>:
其中,表示超边/>中的视频编号;/>表示迭代次数;和/>分别表示视频/>与顶点胶囊的初始耦合系数和归一化耦合系数;/>表示自然指数函数;/>表示向量的模运算。表示非线性激活函数。当超图胶囊卷积层序号/>时,超边所包含的第/>个视频的嵌入/>。按照如下顶点胶囊网络动态路由算法,经过/>次迭代,输出超边/>的嵌入/>。其中,顶点胶囊网络动态路由算法如下:
Step 1:对超边所包含的/>个视频的特征/>实施线性变换/>,得到新的视频嵌入/>;
Step 2:初始化视频与顶点胶囊的临时耦合系数/>
Step 3:迭代执行以下步骤,对于第次迭代,计算视频/>与顶点胶囊的归一化耦合系数/>/>
Step 4:根据前一步骤计算得到的归一化耦合系数以及视频的嵌入/>,计算胶囊神经网络神经元的输入向量/>;
Step 5:按照公式(5)对前一步骤得到的输入向量实施非线性激活操作,计算超边/>经过第/>次迭代后的嵌入/>;
Step 6:根据公式(6)对临时耦合系数进行更新,
;
Step 7:当时,更新迭代序数/>;
Step 8:重复执行步骤3~步骤7,直至,并输出超边/>的嵌入/>。
可选地,在本申请实施例中,第一超边胶囊通过如下方式将包括顶点的超边聚合到该顶点上:对于每个视频,记其所关联的/>条超边集合为/>。第/>层超图胶囊卷积层的超边胶囊将/>中所包含的/>条超边的特征聚合到顶点/>上,得到其嵌入/>:
其中,表示超边集/>中的超边编号;/>表示迭代次数;和/>分别表示超边/>与超边胶囊的初始耦合系数和归一化耦合系数。/>表示自然指数函数;/>表示向量的模运算。表示非线性激活函数。当超图胶囊卷积层序号/>时,超边的嵌入/>。 按照与顶点胶囊网络的动态路由算法相同的动态路由算法,经过/>次迭代,得到超边/>的嵌入/>。
可选地,在本申请实施例中,第二特征提取层可以但不限于是只有一级超图胶囊卷积网络的特征提取层,其中包括一个聚簇胶囊。聚簇胶囊将超图中由超边界定的所有类簇的特征聚合到一个虚拟的质心顶点上。对于用户的用户行为超图/>(第一超图),每个视频/>都关联/>条超边,因而共有/>个类簇,每个类簇的特征就是界定该类簇的超边特征。不妨记这些类簇集合为/>,记经第一级超图胶囊卷积之后所学习到的每个类簇/>的嵌入为/>。与第一级超图胶囊卷积网络中的超边胶囊类似,聚簇胶囊将/>中所有类簇的特征聚合到虚拟质心顶点上,得到用户/>的长期兴趣偏好/>
其中,表示/>中的类簇或超边的编号;/>表示迭代次数。和/>分别表示类簇/>与聚簇胶囊的初始耦合系数和归一化耦合系数。/>表示自然指数函数;/>表示向量的模运算。/>表示非线性激活函数。按照与顶点胶囊网络相类似的动态路由算法,经过/>次迭代,得到用户/>的长期兴趣偏好/>。
通过以上步骤,通过设置顶点胶囊和超边胶囊,通过顶点胶囊将超图中每个顶点的特征聚合到包括该顶点的超边上,通过超边胶囊将超图中包括该顶点的超边的特征聚合到该顶点上,并设置了多级同时包括顶点胶囊和超边胶囊的子层对第一超图中包括的超边特征进行特征提取,从而使得输出的第一超边特征更加准确,提高了第一超边特征的准确性。
作为一种可选的实施例,所述获取第一超图,包括:
获取第一浏览序列,其中,所述第一浏览序列中记录了所述多个第一多媒体资源的时序关系;
基于所述第一浏览序列分别构建每个所述第一多媒体资源对应的第一局部超边以及第一全局超边,其中,与当前第一多媒体资源对应的所述第一局部超边中记录了所述当前第一多媒体资源与第二多媒体资源之间的关联关系,所述第一全局超边中记录了所述当前第一多媒体资源与第三多媒体资源之间的关联关系,所述当前第一多媒体资源为所述多个第一多媒体资源中的任一个第一多媒体资源,所述第二多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度大于第一关联度的第一多媒体资源,所述第三多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度小于或等于所述第一关联度的第一多媒体资源;
将所述多个第一多媒体资源中每个第一多媒体资源对应的所述第一局部超边和所述第一全局超边进行合并,得到第一超边集;
对第一顶点集和所述第一超边集进行元组构建,得到所述第一超图,其中,所述第一顶点集中包括与所述多个第一多媒体资源中每个第一多媒体资源一一对应的顶点。
可选地,在本申请实施例中,关联度用于表征多媒体资源的关联关系,关联度可以但不限于是根据多媒体资源之间的距离或者相似度确定的,比如当多媒体资源之间距离小于某一距离阈值时,则可以认为多媒体资源之间的关联度大于第一关联度,或者当多媒体资源之间的相似度大于某一相似度阈值时,则可以认为多媒体资源之间的关联度大于第一关联度。
可选地,在本申请实施例中,关系图中记载的是多个第一顶点中任意两个顶点之间的连接关系,在第一浏览序列中每个第一顶点对应一个第一多媒体资源,则第一浏览序列中的每个第一边记载的是任意两个多媒体资源的连接关系。
可选地,在本申请实施例中,对第一局部超边和第一全局超边进行合并的方式可以是通过直接将第一局部超边和第一全局超边合并在一起的方式,或者还可以是按照目标比值将第一局部超边和第一全局超边进行合并的方式,目标比值可以但不限于是根据第一局部超边和第一全局超边对第一超图的贡献程度确定的,本方案对此不做限定。
可选地,在本申请实施例中,第二多媒体资源为第一浏览序列中与当前第一多媒体资源距离小于某第一距离阈值的多媒体资源,或者第二多媒体资源还可以是第一浏览序列中与当前第一多媒体资源相似度大于某一相似度阈值的多媒体资源。
可选地,在本申请实施例中,第三多媒体资源为第一浏览序列中与当前第一多媒体资源距离大于第一距离阈值但又小于或者等于第二距离阈值的多媒体资源(第二距离阈值大于第一距离阈值),或者第三多媒体资源还可以是第一浏览序列中与当前第一多媒体资源相似度大于第一相似度阈值,但又小于第二相似度阈值的多媒体资源(第一相似度阈值小于第二相似度阈值)。
作为一种可选的实施例,所述基于所述第一浏览序列分别构建每个所述第一多媒体资源对应的第一局部超边以及第一全局超边,包括:
使用近邻算法从所述多个第一多媒体资源中除所述当前第一多媒体资源之外的多媒体资源中筛选出K-1个所述第二多媒体资源,将所述当前第一多媒体资源和K-1个所述第二多媒体资源构建为与所述当前第一多媒体资源对应的所述第一局部超边;
根据所述第一多媒体资源对应的第一多媒体资源特征之间的相似关系对所述多个第一多媒体资源聚类,得到M个第一类簇;从M个所述第一类簇中筛选出N-1个第二类簇,其中,所述第二类簇为所述M个第一类簇中类簇中心的特征与所述当前第一多媒体资源的特征相似度大于目标相似度的类簇,所述第二类簇中不包括所述当前第一多媒体资源;对每个所述第二类簇执行K-1次可放回采样,得到K-1个第四多媒体资源,其中,所述第三多媒体资源中包括所述第四多媒体资源;将所述当前第一多媒体资源和一个所述第二类簇中采集的K-1个所述第四多媒体资源构建为一个所述第一全局超边,得到与所述当前第一多媒体资源对应的N-1个所述第一全局超边。
可选地,在本申请实施例中,基于第一浏览序列构建每个第一多媒体资源对应的第一局部超边的方法包括:对顶点集(其中包括多个第一顶点)中的每个视频/>,以欧氏距离作为度量两个视频/>与/>之间的距离的指标,利用/>-近邻算法,计算离/>最近的/>个视频,不妨记/>与它们的集合为/>,即/>。将/>作为一条超边将入到/>,即有/>(即第一局部超边)。
可选地,在本申请实施例中,基于第一浏览序列构建每个第一多媒体资源对应的第一全局超边的方法包括:
Step1:对顶点集中的所有视频,以欧氏距离/>作为度量两个视频与/>之间的距离指标,即/>。借助k-means算法将/>中的视频划分为/>个类簇,记它们分别为/>。
Step2:对顶点集中的每个视频/>,计算/>到所有类簇中心点的欧氏距离,并选择距离最近的/>个类簇,不妨记它们分别为/>。为保证每个类簇的大小都为,对每个类簇/>执行可放回采样得到新的/>,且满足。将/>作为元素加入到每个类簇/>,即有/>,得到新类簇/>。将每个新类簇作为一条超边加入到/>,即有(即第一全局超边)。
可选地,在本申请实施例中,第一局部超边中包括的顶点数量和每个第一全局超边中包括的顶点的数量相同。
通过以上内容,在根据第一浏览序列构建第一超图时,一方面通过近邻算法从第一浏览序列中找出与当前第一多媒体资源直接相连的第二多媒体资源构成第一局部超边,另一方面通过聚类算法对第一浏览序列进行聚类的方式,从而在第一浏览序列中筛选出与当前第一多媒体资源存在间接连接关系的第三多媒体资源构建第一全局超边,进而通过使用局部超边和全局超边构建第一浏览序列,从而使得第一超图中包括的顶点之间的连接关系更加全面,提高第一超图所携带的目标账号在所述第一时间段内浏览的多个第一多媒体资源之间的关系特征的准确性。
作为一种可选的实施例,所述获取所述目标账号的账号关系特征,包括:
获取所述目标账号的账号关系信息,其中,所述账号关系信息用于指示所述参考账号在所述第二时间段内的多媒体资源浏览情况;
从所述账号关系信息中提取所述账号关系特征。
可选地,在本申请实施例中,账号关系信息中还可以携带有参考账号与目标账号的关联关系,参考账号与目标账号的关联关系可以但不限于是根据参考账号和目标账号之间的数据交互情况确定的。
可选地,在本申请实施例中,账号关系特征可以是使用特征提取算法对账号关系信息进行计算得到的(比如使用归一算法对账号关系信息进行归一化),或者还可以是使用特征提取模型对账号关系信息进行提取得到的(特征提取模型是使用训练样本对具有特征提取功能的初始神经网路模型进行训练得到的,初始神经网络模型可以但不限于包括卷积神经网络模型、长短时记忆网络模型)。
作为一种可选的实施例,所述获取所述目标账号的账号关系信息,包括:
获取初始超图,其中,所述初始超图中记载了多个初始顶点之间的关联关系,其中每个所述初始顶点对应多个第一账号中的一个,所述多个第一账号包括所述参考账号和所述目标账号;
将参考账号的多媒体资源浏览特征合并到所述初始超图对应的初始顶点上,得到第二超图,其中,所述账号关系信息包括所述第二超图;
所述从所述账号关系信息中提取所述账号关系特征,包括:将所述第二超图输入至第二特征提取网络,得到所述第二特征提取网络输出的所述账号关系特征,其中,所述第二特征提取网络用于根据所述多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况。
可选地,在本申请实施例中,第二特征提取网络是通过学习训练的方式得到的用于输出第二超图对应的账号关系特征的网络模型,第二特征提取网络可以但不限于包括卷积神经网络、胶囊卷积神经网络、循环神经网络、生成对抗网络、长短时记忆网络等等,本方案对此不做限定。
可选地,在本申请实施例中,参考账号的多媒体资源浏览特征可以但不限于用于表征对应的参考账号在第一时间段内的多媒体资源浏览偏好,或者用于表征对应的参考账号在第二时间段内的多媒体资源浏览偏好。
可选地,在本申请实施例中,为了保证第二特征提取网络对记录了多个第一账号之间的关系的第二超图的特征提取的效果,可以但不限于根据第二超图的结构设计第二特征提取网络的网络模型结构,比如,第二超图中包括多个超边,每个超边上包括多个顶点,每个顶点对应一个第一账号,即每条超边上记录了两个或者两个以上的第一账号之间的关联关系,不同的超边上记录了不同的第一账号之间的关系,因此可以根据第二超图中超边的种类(超边的种类可以但不限于根据超边中包括的顶点数量进行划分的,和/或,根据超边中包括的顶点之间的关联度进行划分的),设计第二特征提取网络的特征提取级数与第二超图中包括的超边种类匹配,如设置包括两级特征提取级数的特征提取网络,该网络中的第一级特征提取网络用于提取每一条超边的超边特征,该网络中的第二级特征提取网络用于对第一级特征提取网络提取的超边特征进行特征提取,从而得到第二超图对应的账号关系特征,本方案对第二特征提取网络的网络结构不做具体限定。
作为一种可选的实施例,所述将所述第二超图输入至第二特征提取网络,得到所述第二特征提取网络输出的所述账号关系特征,包括:
使用第三特征提取层对所述第二超图中包括的多个第二超边中的每个所述第二超边进行特征提取,得到与每个所述第二超边对应的第二超边特征,其中,所述第二超边中记录了所述第一账号之间的关联关系,不同的所述第二超边中包括不同的所述第一账号之间的关联关系;
使用第四特征提取层对多个所述第二超边特征进行特征提取,得到所述账号关系特征,其中,所述第二特征提取网络包括所述第三特征提取层和所述第四特征提取层。
可选地,在本申请实施例中,为了保证第三特征提取层对第二超图中每个超边的特征提取效果,可以但不限于在第三特征提取层中设置依次连接的多级子层,多级子层可以但不限于对第二超图中包括的各个超边的特征进行逐级提取,或者多级子层还可以根据特征维度对第二超图中包括的全部超边按照特征维度进行逐级特征提取,本方案对此不做限定。
可选地,在本申请实施例中,多个第二超边特征可以是直接输入至第四特征提取层中进行特征提取,或者还可以是通过将多个第二超边特征进行特征融合后输入到第四特提取层进行特征提取,对多个第二超边特征进行特征融合可以但不限于是直接将多个第二超边特征进行特征合并的方式,或者还可以是确定多个第二超边特征对表征多个第一账号之间的关系的贡献比值,按照该贡献比值对多个第二超边特征进行特征融合。
通过以上步骤,通过设置包括两级特征提取层的第二特征提取网络,并使用第三特征提取层对每一个超边特征进行特征提取,使用第四特征提取层对第三特征提取层提取到的多个超边特征进行特征提取,从而提高了提取得到的账号关系特征的准确性。
作为一种可选的实施例,所述使用第三特征提取层对所述第二超图中包括的多个第二超边中的每个所述第二超边进行特征提取,包括:
将所述第二超图输入至依次连接的多级第二子层,其中,所述第三特征提取层包括依次连接的所述多级第二子层,每级所述第二子层中包括第二顶点胶囊和第二超边胶囊,所述第二顶点胶囊用于将所述第二超图中每个顶点的特征聚合到包括该顶点的超边上,所述第二超边胶囊用于将包括该顶点的超边的特征聚合到该顶点上。
通过以上步骤,通过设置顶点胶囊和超边胶囊,通过顶点胶囊将超图中每个顶点的特征聚合到包括该顶点的超边上,通过超边胶囊将超图中包括该顶点的超边的特征聚合到该顶点上,并设置了多级同时包括顶点胶囊和超边胶囊的子层对第二超图中包括的超边特征进行特征提取,从而使得输出的第二特征更加准确。
作为一种可选的实施例,所述获取初始超图,包括:
获取第一关系图,其中,所述第一关系图中记录了多个第二顶点以及任意两个第二顶点之间的第二边,每个所述第二顶点对应一个所述第一账号,所述第二边用于表征两个所述第一账号之间的关联关系;
基于所述第一关系图分别构建每个所述第一账号对应的第二局部超边以及第二全局超边,其中,与当前第一账号对应的所述第二局部超边中记录了所述当前第一账号与第二账号之间的关联关系,所述第二全局超边中记录了所述当前第一账号与第三账号之间的关联关系,所述当前第一账号为所述多个第一账号中的任一个第一账号,所述第二账号为所述第一关系图中与所述当前第一账号关联度大于第二关联度的第一账号,所述第三账号为所述第一关系图中与所述当前第一账号关联度小于或等于所述第二关联度的第一账号;
将所述多个第一账号中每个第一账号对应的所述第二局部超边和所述第二全局超边进行合并,得到第二超边集;
对第二顶点集和所述第二超边集进行元组构建,得到所述初始超图,其中,所述第二顶点集中记录了所述多个第二顶点。
可选地,在本申请实施例中,第一关系图中记载的是多个第二顶点中任意两个顶点之间的连接关系,在第一关系图中每个第二顶点对应一个第一账号,则第一关系图中的每个第二边记载的是任意两个第一账号之间的关联关系,其可以但不限于是对第一账号之间的交互信息进行监控得到的。
可选地,在本申请实施例中,第一关系图是建模第一账号之间好有关系的图,由账号顶点集和表示账号间关系的连接边集组成,通常表示为。其中,/>表示用户间好友关系的集合。
可选地,在本申请实施例中,第二局部超边中包括的顶点数量和每个第二全局超边中包括的顶点的数量相同。
可选地,在本申请实施例中,第二账号为第一关系图中与当前第一账号直接相连的一阶邻居。
可选地,在本申请实施例中,第三账号为在第一关系图中,与当前第一账号未直接相连但又存在连接关系多媒体资源。
可选地,在本申请实施例中,对第二局部超边和第二全局超边进行合并的方式可以是通过直接将第二局部超边和第二全局超边合并在一起的方式,或者还可以是按照目标比值将第二局部超边和第二全局超边进行合并的方式,目标比值可以但不限于是根据第二局部超边和第二全局超边对初始超图的贡献程度确定的,本方案对此不做限定。
作为一种可选的实施例,所述基于所述第二关系图分别构建每个所述第一账号对应的第二局部超边以及第二全局超边,包括:
使用近邻算法从所述多个第一账号中除所述当前第一账号之外的账号中筛选出K-1个所述第二账号,将所述当前第一账号和K-1个所述第二账号构建为与所述当前第一账号对应的所述第二局部超边;
使用经典图划分算法将所述第一关系图划分为M个第三类簇;使用最短路径算法从M个所述第三类簇中筛选出N-1个第四类簇,其中,所述第四类簇中不包括所述当前第一账号;对每个所述第四类簇执行K-1次可放回采样,得到K-1个第四账号,其中,所述第三账号中包括所述第四账号;将所述当前第一账号和一个所述第四类簇中采集的K-1个所述第四账号构建为一个所述第二全局超边,得到与所述当前第一账号对应的N-1个所述第二全局超边。
可选地,在本申请实施例中,第二局部超边中包括的顶点数量和每个第 全局超边中包括的顶点的数量相同。
通过以上内容,在根据第一关系图构建第二超图时,一方面通过近邻算法从第一关系图中找出与当前第一账号直接相连的第二账号构成第二局部超边,另一方面通过对第一关系图进行图划分的方式,从而在第一关系图中筛选出与当前第一账号存在间接连接关系的第三账号构建第二全局超边,进而通过使用局部超边和全局超边构建第一关系图,从而使得第二超图中包括的顶点之间的连接关系更加全面,提高第二超图所携带的多个第一账号之间的关系特征的准确性。
作为一种可选的实施例,所述获取所述目标账号的第二偏好特征,包括:
获取所述目标账号的第二浏览信息,其中,所述第二浏览信息用于指示所述目标账号在从第二时刻到当前时刻之间的所述第二时间段内的多媒体资源浏览情况,所述第一偏好特征是从第一浏览信息中提取的,所述第一浏览信息用于指示所述目标账号在从第一时刻到所述当前时刻之间的第一时间段内的多媒体资源浏览情况,所述第一时刻在所述第二时刻之前;
从所述目标账号的第二浏览信息中提取所述目标账号的第二偏好特征。
可选地,在本申请实施例中,第二浏览信息可以是用于第二时间段内浏览过的多媒体资源组成的多媒体资源浏览序列,或者还可以是记载了目标帐号在第二时间段内浏览的多个多媒体资源以及多个多媒体资源之间关系的超图,本方案对此不做限定。
可选地,在本申请实施例中,第二偏好特征可以是使用特征提取算法对第二浏览信息进行计算得到的(比如使用归一算法对第二浏览信息进行归一化),或者还可以是使用特征提取模型对第二浏览信息进行提取得到的(特征提取模型是使用训练样本对具有特征提取功能的初始神经网路模型进行训练得到的,初始神经网络模型可以但不限于包括卷积神经网络模型、长短时记忆网络模型)。
作为一种可选的实施例,所述从所述目标账号的第二浏览信息中提取所述目标账号的第二偏好特征,包括:
将所述第二时间段内浏览的多个第二多媒体资源输入至第三特征提取网络,得到所述第三特征提取网络输出的所述第二偏好特征,其中,所述第三特征提取网络用于根据所述多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第二浏览信息包括所述多个第二多媒体资源。
可选地,在本申请实施例中,第三特征提取网络是通过学习训练的方式得到的用于输出目标账号在第二时间段内浏览的多个第二多媒体资源对应的第二偏好特征的网络模型,第三特征提取网络可以但不限于包括卷积神经网络、胶囊卷积神经网络、循环神经网络、生成对抗网络、长短时记忆网络等等,本方案对此不做限定。
作为一种可选的实施例,所述将所述第二时间段内浏览的多个第二多媒体资源输入至第三特征提取网络,得到所述第三特征提取网络输出的所述第二偏好特征,包括:
使用第五特征提取层对所述多个第二多媒体资源中每个所述第二多媒体资源进行特征提取,得到每个所述第二多媒体资源对应的第二多媒体资源特征,其中,所述第二多媒体资源特征中包括表征当前第二多媒体资源和所述多个第二多媒体资源中其他多媒体资源之间时序关系的特征;
使用第六特征提取层对所述多个第二多媒体资源的所述第二多媒体资源特征进行特征提取,得到所述第二偏好特征,其中,所述第三特征提取网络包括所述第五特征提取层和所述第六特征提取层。
可选的,在本申请实施例中,利用用户离当前时刻/>最近的、长度为/>的部分行为历史/>(第二时间段内浏览的多个第二多媒体资源)来学习其短期兴趣偏好/>。不妨设经过多级超图胶囊卷积神经网络学习得到的/>中第二多媒体资源的嵌入分别为/>,并将它们组织成。为从联合层面考虑第二多媒体资源观看顺序对用户短期兴趣偏好的影响,首先利用待学习的一维卷积核/>对/>实施按行一维卷积,得到一个特征向量/>:
其中,表示一维卷积运算符;/>表示非线性激活函数;/>表示待学习的偏置参数。即第五特征提取层先获取各个第二多媒体资源的特征,进而使用公式/>对各个第二多媒体资源的特征嵌入时序关系特征,得到第二多媒体资源特征。
可选地,在本申请实施例中,第六特征提取层利用个待学习的一维卷积核
按照公式(19)对/>实施一维卷积,得到一个特征图。将/>的第/>行封装成一个特征向量/>,将所有/>个特征向量/>聚合得到联合层面的用户短期兴趣偏好/>:
其中,表示迭代次数。/>和/>分别表示特征向量/>与用户胶囊的初始耦合系数和归一化耦合系数。/>表示自然指数函数;/>表示向量的模运算。/>表示非线性激活函数。按照与顶点胶囊网络相类似的动态路由算法,经过/>次迭代,得到用户/>联合层面的短期兴趣偏好(即第二偏好特征)。
作为一种可选的实施例,所述对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征合并,得到所述目标账号特征,包括:
使用目标融合网络对所述第一偏好特征、所述第二偏好特征图以及所述账号关系特征进行特征融合,得到所述目标账号特征,其中,所述目标融合网络用于预测输入至所述目标融合网络的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。
可选地,在本申请实施例中,目标融合网络可以但不限于是基于门控线性机制的融合网络,其原理如下:
其中,、/>均是待学习的参数矩阵;/>和/>均为待学习的偏置参数;/>是非线性激活函数;/>表示向量元素乘运算。
作为一种可选的实施例,所述根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源,包括:
获取每个参考多媒体资源的参考多媒体资源特征,其中,所述参考多媒体资源特征用于表征偏好所述参考多媒体资源的账号所具有的特征情况;
根据所述参考多媒体资源特征和所述目标账号特征预测对应的所述参考多媒体资源的参考概率值,其中,所述参考概率值用于表征所述目标账号在当前时刻之后的目标时刻浏览对应的所述参考多媒体资源的概率;
根据每个所述参考多媒体资源对应的所述参考概率值从所述多个参考多媒体资源中筛选出所述目标多媒体资源。
可选地,在本申请实施例中,参考多媒体资源特征可以但不限于是对观看每个参考多媒体资源的用户所具有的特征进行特征提取得到的。
可选地,在本申请实施例中,参考概率值可以但不限于是通过如下公式计算得到的,
其中,表示向量内积运算。
作为一种可选的实施例,所述获取每个所述参考多媒体资源的参考多媒体资源特征,包括:
获取所述参考多媒体资源的第三超图,其中,所述第三超图中记载了浏览过所述参考多媒体资源的多个第五账号之间的关联关系;
将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,其中,所述第四特征提取网络用于根据所述多个第五账号之间的关联关系确定偏好所述参考多媒体资源的账号所具有的特征。
可选地,在本申请实施例中,第四特征提取网络是通过学习训练的方式得到的用于输出第三超图对应的第一偏好特征的网络模型,第一特征提取网络可以但不限于包括卷积神经网络、胶囊卷积神经网络、循环神经网络、生成对抗网络、长短时记忆网络等等,本方案对此不做限定。
可选地,在本申请实施例中,为了保证第四特征提取网络对记录了浏览过所述参考多媒体资源的多个第五账号之间关系的第三超图的特征提取的效果,可以但不限于根据第三超图的结构设计第四特征提取网络的网络模型结构,比如,第三超图中包括多个超边,每个超边上包括多个顶点,每个顶点对应一个第五账号,即每条超边上记录了两个或者两个以上的第五账号之间的关联关系,不同的超边上记录了不同的第五账号之间的关系,因此可以根据第三超图中超边的种类(超边的种类可以但不限于根据超边中包括的顶点数量进行划分的,和/或,根据超边中包括的顶点之间的关联度进行划分的),设计第四特征提取网络的特征提取级数与第三超图中包括的超边种类匹配,如设置包括两级特征提取级数的特征提取网络,该网络中的第一级特征提取网络用于提取每一条超边的超边特征,该网络中的第二级特征提取网络用于对第一级特征提取网络提取的超边特征进行特征提取,从而得到第三超图对应的参考多媒体资源特征,本方案对第四特征提取网络的网络结构不做具体限定。
作为一种可选的实施例,所述将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,包括:
使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,得到与每个所述第三超边对应的第三超边特征,其中,所述第三超边中记录了所述第五账号之间的关联关系,不同的所述第三超边中包括不同的所述第五账号之间的关联关系;
使用第八特征提取层对多个所述第三超边特征进行特征提取,得到所述参考多媒体资源特征,其中,所述第四特征提取网络包括所述第七特征提取层和所述第八特征提取层。
可选地,在本申请实施例中,为了保证第七特征提取层对第三超图中每个超边的特征提取效果,可以但不限于在第七特征提取层中设置依次连接的多级子层,多级子层可以但不限于对第三超图中包括的各个超边的特征进行逐级提取,或者多级子层还可以根据特征维度对第三超图中包括的全部超边按照特征维度进行逐级特征提取,本方案对此不做限定。
可选地,在本申请实施例中,多个第三超边特征可以是直接输入至第八特征提取层中进行特征提取,或者还可以是通过将多个第三超边特征进行特征融合后输入到第八特提取层进行特征提取,对多个第三超边特征进行特征融合可以但不限于是直接将多个第三超边特征进行特征合并的方式,或者还可以是确定多个第三超边特征对表征偏好所述参考多媒体资源的账号所具有的特征的贡献比值,按照该贡献比值对多个第三超边特征进行特征融合。
通过以上步骤,通过设置包括两级特征提取层的第四特征提取网络,并使用第七特征提取层对每一个超边特征进行特征提取,使用第八特征提取层对第七特征提取层提取到的多个超边特征进行特征提取,从而提高了提取得到的参考多媒体资源特征的准确性。
作为一种可选的实施例,所述使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,包括:
将所述第三超图输入至依次连接的多级第三子层,其中,所述第七特征提取层包括依次连接的所述多级第三子层,每级所述第三子层中包括第三顶点胶囊和第三超边胶囊,所述第三顶点胶囊用于将所述第三超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第三超边胶囊用于将所述第一超图中每个顶点所关联的所有超边的特征聚合到该顶点上。
通过以上步骤,通过设置顶点胶囊和超边胶囊,通过顶点胶囊将超图中每个顶点的特征聚合到包括该顶点的超边上,通过超边胶囊将超图中包括该顶点的超边的特征聚合到该顶点上,并设置了多级同时包括顶点胶囊和超边胶囊的子层对第三超图中包括的超边特征进行特征提取,从而使得输出的第三超边特征更加准确,提高了第三超边特征的准确性。
作为一种可选的实施例,所述获取所述参考多媒体资源的第三超图,包括:
获取第二关系图,其中,所述第二关系图中记录了多个第三顶点以及第三顶点之间的第三边,每个所述第三顶点对应一个所述第五账号,所述第三边用于表征两个所述第五账号之间的连接关系;
基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,其中,与当前第五账号对应的所述第三局部超边中记录了所述当前第五账号与第六账号之间的关联关系,所述第三全局超边中记录了所述当前第五账号与第七账号之间的关联关系,所述当前第五账号为所述多个第五账号中的任一个第五账号,所述第六账号为所述第二关系图中与所述当前第五账号关联度大于第三关联度的第五账号,所述第七账号为所述第二关系图中与所述当前第五账号关联度小于或等于所述第三关联度的第五账号;
将所述多个第五账号中每个第五账号对应的所述第三局部超边和所述第三全局超边进行合并,得到第三超边集;
对所述第三超边集和第三顶点集进行元组构建,得到所述第三超图,其中,所述第三顶点集中记录了所述多个第三顶点。
可选地,在本申请实施例中,关系图中记载的是多个第三顶点中任意两个顶点之间的连接关系,在第二关系图中每个第三顶点对应一个第五账号,则第二关系图中的每个第三边记载的是任意两个第五账号的连接关系。
可选地,在本申请实施例中,对第三局部超边和第三全局超边进行合并的方式可以是通过直接将第三局部超边和第三全局超边合并在一起的方式,或者还可以是按照目标比值将第三局部超边和第三全局超边进行合并的方式,目标比值可以但不限于是根据第三局部超边和第三全局超边对第三超图的贡献程度确定的,本方案对此不做限定。
可选地,在本申请实施例中,第六账号为第二关系图中与当前第五账号直接相连的一阶邻居。
可选地,在本申请实施例中,第七账号为在第二关系图中,与当前第五账号未直接相连但又存在连接关系的账号。
作为一种可选的实施例,所述基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,包括:
使用近邻算法从所述多个第五账号中除所述当前第五账号之外的账号中筛选出K-1个所述第六账号,将所述当前第五账号和K-1个所述第六账号构建为与所述当前第五账号对应的所述第三局部超边;
使用经典图划分算法将所述第二关系图划分为M个第五类簇;使用最短路径算法从M个所述第五类簇中筛选出N-1个第六类簇,其中,所述第六类簇中不包括所述当前第五账号;对每个所述第六类簇执行K-1次可放回采样,得到K-1个第八账号,其中,所述第七账号中包括所述第八账号;将所述当前第五账号和一个所述第六类簇中采集的K-1个所述第八账号构建为一个所述第三全局超边,得到与所述当前第五账号对应的N-1个所述第三全局超边。
可选地,在本申请实施例中,基于第二关系图构建每个第五账号对应的第三局部超边的方法包括:对项目社交图内用户集/>中的每个用户/>(即当前第五账号),对其好友集合/>进行可放回采样,得到拥有/>个好友的邻居集合/>(即第六账号),将/>加入到/>得到拥有/>个好友的邻居集合/>。将/>作为一条超边加入到/>中,即有/>(即第三局部超边)。
可选地,在本申请实施例中,基于第二关系图构建每个第五账号对应的第三全局超边的方法包括:借助经典图划分算法如Metis将项目社交图(第二关系图)划分为/>个子图/>。其中,/>;/>且满足/>、;/>。
Step 3:将每个子图顶点集/>作为一个类簇,得到/>个类簇,记它们分别为/> 。将每个用户/>到不包含该用户的类簇/>的距离/>定义为/>到该子图内所有顶点的最短路径的最小值,即有/>定义。对于每个用户/>,根据最短路径算法如Dijkstra计算用户/>到任一不包含该用户的类簇的距离/>,选择距离最近的/>个类簇,不妨记它们分别为/>。为保证每个类簇的大小都为/>,对每个类簇执行可放回采样得到新类簇/>,且满足/>。将/>作为元素加入到每个类簇/>,即有/>,得到新的类簇集/>。将每个类簇作为一条超边加入到/>,即有/>。
作为一种可选的实施例,所述将所述第一超图输入至第一特征提取网络之前,所述方法还包括:
构建初始识别模型,其中,所述初始识别模型包括第一初始提取网络、第二初始提取网络、第三初始提取网络和第四初始提取网络和初始融合网络,其中,所述第一初始提取网络、所述第二初始提取网络和所述第三初始提取网络分别和所述初始融合网络连接;
使用所述初始识别模型根据候选账号的多媒体资源浏览信息预测待推荐给所述候选账号的推荐多媒体资源;
根据所述候选账号对所述推荐多媒体资源所执行的目标操作对所述初始识别模型进行训练,得到目标识别模型,其中,所述目标识别模型包括所述第一特征提取网络、第二特征提取网络、第三特征提取网络、第四特征提取网络和目标融合网络,所述第一特征提取网络、所述第二特征提取网络以及所述第三特征提取网络分别和所述目标融合网络连接,所述第二特征提取网络用于根据多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况,所述第三特征提取网络用于根据多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第四特征提取网络用于根据浏览过同一多媒体资源的多个账号之间的关联关系确定偏好该多媒体资源的账号所具有的特征,所述目标融合网络用于预测输入至所述目标融合的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。图4是根据申请实施例的一种可选的目标识别模型示意图,如图4所示,目标识别模型包括4个特征提取网络(即第一特征提取网络、第二特征提取网络、第三特征提取网络以及第四特征提取网络),和目标融合网络,第一特征提取网络、第二特征提取网络和第三特征提取网络分别和目标融合网络连接,目标融合网络用于对第一特征提取网络、第二特征提取网络和第三特征提取网络输出的特征进行融合,得到目标账号特征,进而使用目标账号特征和第四特征提取网络输出的参考多媒体资源特征进行多媒体资源推荐。
图5是根据本申请实施例的一种可选的模型训练流程图,如图5所示,至少包括如下步骤:
S501,从视频网站下载公共微视频数据集. 该数据集包含了用户在Vine网站上传的视频的地址、文本以及用户的个人信息。对数据集进行预处理,仅保留同时包含图像、音频和文本模态的微视频,并删除出现次数小于10次的标签。最后得到的视频数据集中包含40049个微视频和1935不同的标签。按照60%(24029个视频)、20%(即8010个视频)和20%(即8010个视频)的比例划分训练集/>、验证集/>和测试集/>。
S502,对训练集、验证集和测试集分别构建项目社交超图(第三超图)、社交超图(第二超图)和用户行为超图(第一超图)。
S503,构建初始识别模型,初始识别模型包括第一初始提取网络、第二初始提取网络、第三初始提取网络和第四初始提取网络和初始融合网络。
S504,使用训练集、验证集合测试集对初始识别模型记性学习训练,设计视频推荐概率计算公式和网络损失函数。按照特定策略如正态分布随机初始化、Xavier初始化或HeInitialization初始化,对所提网络模型各层参数进行初始化。按照随机梯度下降法对网络进行训练。
通过以上步骤,通过构建包括第一初始提取网络、第二初始提取网络、第三初始提取网络和第四初始提取网络和初始融合网络的初始识别模型,通过使用样本数据对多个网络模型进行同时训练,得到包括第一特征提取网络、第二特征提取网络、第三特征提取网络、第四特征提取网络和目标融合网络的目标识别模型,进而提高了多个网络模型的训练效率的基础上,提高了多个网络模型输入和输出数据的匹配度,保证了多媒体资源的推荐精度。
作为一种可选的实施例,根据所述候选账号对所述推荐多媒体资源所执行的目标操作对所述初始识别模型进行训练,得到目标识别模型,包括:
利用负对似然函数和所述候选账号对所述推荐多媒体资源所执行的所述目标操作,构建所述初始识别模型的目标损失函数;
根据所述目标损失函数的计算结果对所述初始识别模型的参数进行调节,得到所述目标识别模型。
可选地,在本申请实施例中,目标损失函数如下:
可选地,在申请实施例中,根据特定策略如随机梯度下降(Stochastic GradientDescent, SGD)、动量梯度下降(Momentum Gradient Descent, MGD)、Nesterov Momentum、AdaGrad、RMSprop和Adam(Adaptive Moment Estimation)或批量梯度下降(BatchGradient Descent, BGD),对网络参数进行修正和更新,以优化损失函数值,直至损失函数取得最小值或训练次数达到指定的最大值时,训练结束。
在本申请实施例中,可以构建多个网络模型和超图构建模块组成的多媒体资源推荐系统,用于实现对目标账号的多媒体资源的推荐,图6是根据本申请实施例的一种可选的多媒体资源推荐系统示意图,如图6所示,它由第一超图构建模块(用于构建第一超图)、第二超图构建模块(用于构建第二超图)、第三超图构建模块(用于构建第三超图)、(多级超图)胶囊卷积神经网络模块(包括第一特征提取网络、第二特征提取网络、第三特征提取网络和第四特征提取网络)、融合模块(包括目标融合网络)和推荐模块组成。其中,第而超图构建模块负责从账号-多媒体资源二部图中抽取社交网络(账号关系信息),并构建第二超图。第三那超图构建模块负责从账号-多媒体资源二部图中导出第三关系图,进而构建第三超图。第一超图构建模块负责从账号第一浏览信息中构建第一超图。多级超图胶囊卷积神经网络模块负责分别从第一超图、第二超图和第三超图中提取账号长期兴趣偏好(第一偏好特征)、账号关系特征、参考多媒体资源特征。而胶囊卷积神经网络中包括的第三特征提取网络负责从账号的第二浏览信息中学习第二偏好特征,它与第一偏好特征、账号关系特征由融合模块得到目标账号特征。推荐模块根据学习到的目标账号特征和参考多媒体资源特征,计算账号观看未曾访问过的所有多媒体资源的概率,并将概率最高的目标多媒体资源返回给账号,作为推荐结果。
在上述实施例中,每个账号还关联一个来自/>的多媒体资源序列。其中,/>。账号于多媒体资源间的交互关系通过账号-多媒体资源二部图表示。
账号-多媒体资源二部图是建模账号和多媒体资源间交互关系的图,由账号顶点集和多媒体资源顶点集以及表示账号和多媒体资源之间交互关系的连接边集组成,通常表示为。 其中,/>表示顶点集;/>表示账号-多媒体资源交互边集。
对于每个多媒体资源, 通过现有技术如ResMNet、SoundNet和GloVe提取多媒体资源的视觉、音频和文本三种模态特征,并融合得到/>维特征/>,所有多媒体资源的特征组成多模态特征矩阵/>。除此之外,部分多媒体资源有一个预定义的类别标签,并采用热独标签向量(one-hot label vector) />表示,其中为类别标签集合。
项目社交超图(第三超图)构建算法:
Step 1:对项目社交图(即第三关系图)内账号集/>中的每个账号/>,对其好友集合/>进行可放回采样,得到拥有/>个好友的邻居集合/>,将/>加入到/>得到拥有/>个好友的邻居集合/>。将/>作为一条超边加入到/>中,即有/>。
Step 2:借助经典图划分算法如Metis将项目社交图划分为/>个子图。其中,/>;/>且满足/>、;/>。
Step 3:将每个子图顶点集/>作为一个类簇,得到/>个类簇,记它们分别为/>。将每个账号/>到不包含该账号的类簇/>的距离/>定义为/>到该子图内所有顶点的最短路径的最小值,即有/>定义。对于每个账号/>,根据最短路径算法如Dijkstra计算账号/>到任一不包含该账号的类簇/>的距离/>,选择距离最近的个类簇,不妨记它们分别为/>。为保证每个类簇的大小都为/>,对每个类簇/>执行可放回采样得到新类簇/>,且满足/>。将/>作为元素加入到每个类簇/>,即有/>,得到新的类簇集/>。将每个类簇作为一条超边加入到/>,即有/>。
Step 4:通过步骤1-3将得到多媒体资源的项目社交超图。对所有多媒体资源都执行步骤1-3,将得到每个多媒体资源的项目社交超图。
不难发现,在为每个多媒体资源所构建的项目社交超图/>中,每个账号/>都关联/>条超边,每条超边包含/>个多媒体资源。
社交超图(第三超图)构建算法:
类似于项目社交超图构建算法,从社交图(第二关系图)构建社交超图(第二超图)/>。其中,每个账号/>都关联/>条超边,每条超边包含/>个朋友。
账号行为超图(第一超图)构建算法:
Step 1:对顶点集中的每个多媒体资源/>,以欧氏距离作为度量两个多媒体资源/>与/>之间的距离的指标,利用/>-近邻算法,计算离/>最近的/>个多媒体资源,不妨记/>与它们的集合为/>,即/>。将/>作为一条超边将入到/>,即有。
Step 2:对顶点集中的所有多媒体资源,以欧氏距离/>作为度量两个多媒体资源/>与/>之间的距离指标,即/>。借助k-means算法将中的多媒体资源划分为/>个类簇,记它们分别为/>。
Step 3:对顶点集中的每个多媒体资源/>,计算/>到所有类簇中心点的欧氏距离,并选择距离最近的/>个类簇,不妨记它们分别为/>。为保证每个类簇的大小都为/>,对每个类簇执行可放回采样得到新的/>,且满足/>。将/>作为元素加入到每个类簇/>,即有/>,得到新类簇。将每个新类簇作为一条超边加入到/>,即有。
Step 4:通过步骤1-3将得到账号的账号行为超图/>。对所有账号都执行步骤1-3,将得到每个账号的账号行为超图。
不难发现,在为每个账号所构建的账号行为超图/>中,每个多媒体资源/>都关联/>条超边,每条超边包含/>个多媒体资源。
本申请设计多级超图胶囊卷积神经网络以从所构建的第一超图、第二超图和第三超图中分别学习第一偏好特征和参考多媒体资源特征。因学习二者特征的网络结构和原理完全一样,不妨以学习第一偏好特征为例,介绍所提多级超图胶囊神经网络结构和原理。图7是根据本申请实施例的一种可选的胶囊卷积神经网络示意图,如图7所示,所提胶囊卷积神经网络由两级超图胶囊卷积神经网络(比如:第一特征提取层和第二特征提取层,或者,第七特征提取层和第八特征提取层)组成。其中,第一级由层超图胶囊卷积层(比如多级第一子层,或者,多级第三子层)组成,第二级由1层超图胶囊卷积层组成。
在第一级超图胶囊卷积神经网络中,第层超图胶囊卷积层包含顶点胶囊和超边胶囊。其中,顶点胶囊将顶点特征聚合到包含这些顶点的超边;超边胶囊将超边特征聚合到质心顶点。对于账号/>的行为历史/>,顶点胶囊。对于账号行为超图/>中每条超边/>,第/>层超图胶囊卷积层的顶点胶囊将超边/>所包含的/>个多媒体资源的特征/>聚合到/>上,得到/>的嵌入/>:
(1)
(2)
(3)
(4)
(5)
(6)
其中,表示超边/>中的多媒体资源编号;/>表示迭代次数;和/>分别表示多媒体资源/>与顶点胶囊的初始耦合系数和归一化耦合系数;/>表示自然指数函数;/>表示向量的模运算。表示非线性激活函数。当超图胶囊卷积层序号/>时,超边/>所包含的第/>个多媒体资源的嵌入/>。按照如下顶点胶囊网络动态路由算法,经过/>次迭代,输出超边/>的嵌入/>。
顶点胶囊网络动态路由算法:
Step 1:对超边所包含的/>个多媒体资源的特征/>实施线性变换/> ,得到新的多媒体资源嵌入/>;
Step 2:初始化多媒体资源与顶点胶囊的临时耦合系数
Step 3:迭代执行以下步骤,对于第次迭代,计算多媒体资源与顶点胶囊的归一化耦合系数/>
Step 4:根据前一步骤计算得到的归一化耦合系数以及多媒体资源的嵌入/>,计算胶囊神经网络神经元的输入向量/>;
Step 5:按照公式(5)对前一步骤得到的输入向量实施/>非线性操作,计算超边/>经过第/>次迭代后的嵌入/>;
Step 6:根据公式(6)对临时耦合系数进行更新,
;
Step 7:当时,更新迭代序数/>;
Step 8:重复执行步骤3~步骤7,直至,并输出超边/>的嵌入。
超边胶囊。对于每个多媒体资源,记其所关联的/>条超边集合为/>。第/>层超图胶囊卷积层的超边胶囊将/>中所包含的/>条超边的特征聚合到顶点/>上,得到其嵌入/>:
(7)
(8)
(9)
(10)
(11)/>
(12)
其中,表示超边集/>中的超边编号;/>表示迭代次数;和/>分别表示超边/>与超边胶囊的初始耦合系数和归一化耦合系数。/>表示自然指数函数;/>表示向量的模运算。表示非线性激活函数。当超图胶囊卷积层序号/>时,超边的嵌入/>。按照与顶点胶囊卷积网络相类似的动态路由算法,经过/>次迭代,得到超边/>的嵌入/>。
在第二级超图胶囊卷积神经网络中,只有层超图胶囊卷积层,每层都包含一个聚簇胶囊。聚簇胶囊将超图中由超边界定的所有类簇的特征聚合到一个虚拟的质心顶点上。对于账号/>的账号行为超图/>,每个多媒体资源/>都关联/>条超边,因而共有/>个类簇,每个类簇的特征就是界定该类簇的超边特征。不妨记这些类簇集合为/>,记经第一级超图胶囊卷积之后所学习到的每个类簇/>的嵌入为/>。与第一级超图胶囊卷积网络中的超边胶囊类似,聚簇胶囊将/>中所有类簇的特征聚合到虚拟质心顶点上,得到账号/>的长期兴趣偏好/>(第一偏好特征):
(13)
(14)
(15)
(16)
(17)
(18)
其中,表示/>中的类簇或超边的编号;/>表示迭代次数。和/>分别表示类簇/>与聚簇胶囊的初始耦合系数和归一化耦合系数。/>表示自然指数函数;/>表示向量的模运算。/>表示非线性激活函数。按照与顶点胶囊网络相类似的动态路由算法,经过/>次迭代,得到账号/>的第一偏好特征/>。
类似地,我们可以设计多级超图胶囊卷积神经网络,从每个多媒体资源的项目社交超图/>中学习其参考多媒体资源特征/>。具体过程从再次不再赘述。
设计胶囊卷积神经网络(第三特征提取网络)学习用户短期兴趣偏好(第二偏好特征):
我们利用账号离当前时刻/>最近的、长度为/>的部分行为历史来学习其短期兴趣偏好/>。不妨设经过多级超图胶囊卷积神经网络学习得到的/>中多媒体资源的嵌入分别为/>,并将它们组织成/>。为从联合层面考虑多媒体资源观看顺序对账号短期兴趣偏好的影响,首先利用待学习的一维卷积核/>对/>实施按行一维卷积,得到一个特征向量/>:
(19)
其中,表示一维卷积运算符;/>表示非线性激活函数;/>表示待学习的偏置参数。利用/>个待学习的一维卷积核/>按照公式(19)对/>实施一维卷积,得到一个特征图/>。将/>的第/>行封装成一个特征向量/>。账号胶囊将所有/>个特征向量/>聚合得到联合层面的账号短期兴趣偏好/>:
(20)
(21)
(22)
(23)
(24)
(25)
其中,表示迭代次数。/>和/>分别表示特征向量/>与账号胶囊的初始耦合系数和归一化耦合系数。/>表示自然指数函数;/>表示向量的模运算。/>表示非线性激活函数。按照与顶点胶囊网络相类似的动态路由算法,经过/>次迭代,得到账号/>联合层面的短期兴趣偏好。
设计多级超图胶囊卷积神经网络(第二特征提取网络)学习上下文依赖的用户社交偏好(账号关系特征):
账号的兴趣偏好还受到其朋友的影响,并且这种影响是上下文依赖的,即与他们最近的行为历史记录有关。为学习这种上下文依赖的账号社交偏好,我们利用前文提出的多级超图胶囊卷积神经网络,以每个账号的短期兴趣偏好/>以及所构造出的社交超图/>为输入,学习上下文依赖的账号社交偏好/>。具体过程在此不再赘述。
基于门控线性机制的用户兴趣偏好融合方法(目标融合网络),设计一个基于门控线性机制的用户兴趣偏好自适应融合网络(目标融合网络),用于确定第一偏好特征、第二偏好特征和用户关系特征在预测下一步行动中的贡献比例:
(30)
(31)
(32)
其中,、/>均是待学习的参数矩阵;/>和均为待学习的偏置参数;/>是非线性激活函数;/>表示向量元素乘运算。
推荐模块:根据目标账号的多媒体资源观看序列/>,即目标账号在时间步/>观看多媒体资源/>、/>观看多媒体资源/>,以此类推直至/>;从/>未观看过的多媒体资源集合/>中选取观看概率最高的一个多媒体资源/>,作为目标账号/>在下一个时间步/>最有可能访问的多媒体资源。对于多媒体资源/>,目标账号/>在下一个时间步观看它的概率为:
(34)
其中,表示向量内积运算。
综上所述,本申请实施例的多媒体资源推荐系统具有如下优点:(1)综合考虑了用户兴趣的稳定性、漂移性和社交影响等三个特点,并有针对性地设计多级超图胶囊卷积神经网络、胶囊卷积神经网络,学习用户长期兴趣偏好、短期兴趣偏好和上下文依赖的社交影响偏好,以及社交语义增强视频嵌入。(2)借助基于门控线性机制的用户兴趣融合模块,自适应地融合三种用户兴趣偏好,准确生成社交语义增强用户嵌入。(3)用超图建模用户行为历史和项目所关联的社交网络,可有效建模用户行为历史和社交网络中的高阶交互关系,使得学习到的社交语义增强用户嵌入和社交语义增强视频嵌入更加准确,进而提高多媒体资源推荐准确度。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
在本实施例中还提供了一种多媒体资源的推荐装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本申请实施例的多媒体资源的推荐装置的结构框图,如图8所示,该装置包括:获取模块82,用于获取目标账号的第一偏好特征,获取所述目标账号的第二偏好特征,以及获取所述目标账号的账号关系特征,其中,所述第一偏好特征用于表征所述目标账号在第一时间段内浏览多媒体资源的偏好,所述第二偏好特征用于表征所述目标账号在第二时间段内的浏览多媒体资源的偏好,所述第一时间段长于所述第二时间段且所述第一时间段包括所述第二时间段,所述账号关系特征用于表征与所述目标账号具有关联关系的参考账号对所述目标账号浏览多媒体资源的偏好的影响情况,所述账号关系特征是根据所述参考账号在所述第二时间段内浏览多媒体资源的偏好得到的;
融合模块84,用于对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征融合,得到目标账号特征,其中,所述目标账号特征用于表征所述目标账号在所述当前时刻浏览多媒体资源的偏好;
推荐模块86,用于根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源。
可选的,所述获取模块,包括:
第一获取单元,用于获取所述目标账号的第一浏览信息,其中,所述第一浏览信息用于指示所述目标账号在从第一时刻到当前时刻之间的第一时间段内的多媒体资源浏览情况;
第一提取单元,用于从所述第一浏览信息中提取所述第一偏好特征。
可选的,所述第一获取单元,用于:
获取第一超图,其中,所述第一超图中记载了所述目标账号在所述第一时间段内浏览的多个第一多媒体资源以及多个所述第一多媒体资源之间的关系,所述第一浏览信息包括所述第一超图;
所述第一提取单元,用于:
将所述第一超图输入至第一特征提取网络,得到所述第一特征提取网络输出的所述第一偏好特征,其中,所述第一特征提取网络用于根据所述多个第一多媒体资源之间的关联关系确定所述目标账号在第一时间段内偏好的多媒体资源所具有的特征。
可选的,所述第一提取单元,用于:
使用第一特征提取层对所述第一超图中包括的多个第一超边中的每个所述第一超边进行特征提取,得到与每个所述第一超边对应的第一超边特征,其中,所述第一超边中记录了所述第一多媒体资源之间的关联关系,不同的所述第一超边中包括不同的所述第一多媒体资源之间的关联关系;
使用第二特征提取层对多个所述第一超边特征进行特征提取,得到所述第一偏好特征,其中,所述第一特征提取网络包括所述第一特征提取层和所述第二特征提取层。
可选的,所述第一提取单元,用于:
将所述第一超图输入至依次连接的多级第一子层,其中,所述第一特征提取层包括依次连接的所述多级第一子层,每级所述第一子层中包括第一顶点胶囊和第一超边胶囊,所述第一顶点胶囊用于将所述第一超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第一超边胶囊用于将所述第一超图中每个顶点所关联的所有超边的特征聚合到该顶点上。
可选的,所述第一获取单元,用于:
获取第一浏览序列,其中,所述第一浏览序列中记录了所述多个第一多媒体资源的时序关系;
基于所述第一浏览序列分别构建每个所述第一多媒体资源对应的第一局部超边以及第一全局超边,其中,与当前第一多媒体资源对应的所述第一局部超边中记录了所述当前第一多媒体资源与第二多媒体资源之间的关联关系,所述第一全局超边中记录了所述当前第一多媒体资源与第三多媒体资源之间的关联关系,所述当前第一多媒体资源为所述多个第一多媒体资源中的任一个第一多媒体资源,所述第二多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度大于第一关联度的第一多媒体资源,所述第三多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度小于或等于所述第一关联度的第一多媒体资源;
将所述多个第一多媒体资源中每个第一多媒体资源对应的所述第一局部超边和所述第一全局超边进行合并,得到第一超边集;
对所述第一顶点集和所述第一超边集进行元组构建,得到所述第一超图,其中,所述第一顶点集中包括与所述多个第一多媒体资源中每个第一多媒体资源一一对应的顶点。
可选的,所述第一获取单元,用于:
使用近邻算法从所述多个第一多媒体资源中除所述当前第一多媒体资源之外的多媒体资源中筛选出K-1个所述第二多媒体资源,将所述当前第一多媒体资源和K-1个所述第二多媒体资源构建为与所述当前第一多媒体资源对应的所述第一局部超边;
根据所述第一多媒体资源对应的第一多媒体资源特征之间的相似关系对所述多个第一多媒体资源聚类,得到M个第一类簇;从M个所述第一类簇中筛选出N-1个第二类簇,其中,所述第二类簇为所述M个第一类簇中类簇中心的特征与所述当前第一多媒体资源的特征相似度大于目标相似度的类簇,所述第二类簇中不包括所述当前第一多媒体资源;对每个所述第二类簇执行K-1次可放回采样,得到K-1个第四多媒体资源,其中,所述第三多媒体资源中包括所述第四多媒体资源;将所述当前第一多媒体资源和一个所述第二类簇中采集的K-1个所述第四多媒体资源构建为一个所述第一全局超边,得到与所述当前第一多媒体资源对应的N-1个所述第一全局超边。
可选的,所述获取模块,包括:
第二获取单元,用于获取所述目标账号的账号关系信息,其中,所述账号关系信息用于指示所述参考账号在所述第二时间段内的多媒体资源浏览情况;
第二提取单元,用于从所述账号关系信息中提取所述账号关系特征。
可选的,所述第二获取单元,用于:
获取初始超图,其中,所述初始超图中记载了多个初始顶点之间的关联关系,其中每个所述初始顶点对应多个第一账号中的一个,所述多个第一账号包括所述参考账号和所述目标账号;
将参考账号的多媒体资源浏览特征合并到所述初始超图对应的初始顶点上,得到第二超图,其中,所述账号关系信息包括所述第二超图;
所述第二提取单元,用于:
将所述第二超图输入至第二特征提取网络,得到所述第二特征提取网络输出的所述账号关系特征,其中,所述第二特征提取网络用于根据所述多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况。
可选的,所述第二提取单元,用于:
使用第三特征提取层对所述第二超图中包括的多个第二超边中的每个所述第二超边进行特征提取,得到与每个所述第二超边对应的第二超边特征,其中,所述第二超边中记录了所述第一账号之间的关联关系,不同的所述第二超边中包括不同的所述第一账号之间的关联关系;
使用第四特征提取层对多个所述第二超边特征进行特征提取,得到所述账号关系特征,其中,所述第二特征提取网络包括所述第三特征提取层和所述第四特征提取层。
可选的,所述第二提取单元,用于:
将所述第二超图输入至依次连接的多级第二子层,其中,所述第三特征提取层包括依次连接的所述多级第二子层,每级所述第二子层中包括第二顶点胶囊和第二超边胶囊,所述第二顶点胶囊用于将所述第二超图中每个顶点的特征聚合到包括该顶点的超边上,所述第二超边胶囊用于将包括该顶点的超边的特征聚合到该顶点上。
可选的,所述第二获取单元,用于:
获取第一关系图,其中,所述第一关系图中记录了多个第二顶点以及任意两个第二顶点之间的第二边,每个所述第二顶点对应一个所述第一账号,所述第二边用于表征两个所述第一账号之间的关联关系;
基于所述第一关系图分别构建每个所述第一账号对应的第二局部超边以及第二全局超边,其中,与当前第一账号对应的所述第二局部超边中记录了所述当前第一账号与第二账号之间的关联关系,所述第二全局超边中记录了所述当前第一账号与第三账号之间的关联关系,所述当前第一账号为所述多个第一账号中的任一个第一账号,所述第二账号为所述第一关系图中与所述当前第一账号关联度大于第二关联度的第一账号,所述第三账号为所述第一关系图中与所述当前第一账号关联度小于或等于所述第二关联度的第一账号;
将所述多个第一账号中每个第一账号对应的所述第二局部超边和所述第二全局超边进行合并,得到第二超边集;
对第二顶点集和所述第二超边集进行元组构建,得到所述初始超图,其中,所述第二顶点集中记录了所述多个第二顶点。
可选的,所述第二获取单元,用于:
使用近邻算法从所述多个第一账号中除所述当前第一账号之外的账号中筛选出K-1个所述第二账号,将所述当前第一账号和K-1个所述第二账号构建为与所述当前第一账号对应的所述第二局部超边;
使用经典图划分算法将所述第一关系图划分为M个第三类簇;使用最短路径算法从M个所述第三类簇中筛选出N-1个第四类簇,其中,所述第四类簇中不包括所述当前第一账号;对每个所述第四类簇执行K-1次可放回采样,得到K-1个第四账号,其中,所述第三账号中包括所述第四账号;将所述当前第一账号和一个所述第四类簇中采集的K-1个所述第四账号构建为一个所述第二全局超边,得到与所述当前第一账号对应的N-1个所述第二全局超边。
可选的,所述获取模块,包括:
第三获取模块,用于所述目标账号的第二浏览信息,其中,所述第二浏览信息用于指示所述目标账号在从第二时刻到当前时刻之间的所述第二时间段内的多媒体资源浏览情况,所述第一偏好特征是从第一浏览信息中提取的,所述第一浏览信息用于指示所述目标账号在从第一时刻到所述当前时刻之间的第一时间段内的多媒体资源浏览情况,所述第一时刻在所述第二时刻之前;
第三提取单元,用于从所述目标账号的第二浏览信息中提取所述目标账号的第二偏好特征。
可选的,所述第三提取单元,用于:
将所述第二时间段内浏览的多个第二多媒体资源输入至第三特征提取网络,得到所述第三特征提取网络输出的所述第二偏好特征,其中,所述第三特征提取网络用于根据所述多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第二浏览信息包括所述多个第二多媒体资源。
可选的,所述第三提取单元,用于:
使用第五特征提取层对所述多个第二多媒体资源中每个所述第二多媒体资源进行特征提取,得到每个所述第二多媒体资源对应的第二多媒体资源特征,其中,所述第二多媒体资源特征中包括表征当前第二多媒体资源和所述多个第二多媒体资源中其他多媒体资源之间时序关系的特征;
使用第六特征提取层对所述多个第二多媒体资源的所述第二多媒体资源特征进行特征提取,得到所述第二偏好特征,其中,所述第三特征提取网络包括所述第五特征提取层和所述第六特征提取层。
可选的,所述融合模块,包括:
融合单元,用于使用目标融合网络对所述第一偏好特征、所述第二偏好特征以及所述账号关系特征进行特征融合,得到所述目标账号特征,其中,所述目标融合网络用于预测输入至所述目标融合网络的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。
可选的,所述推荐模块,包括:
第四获取单元,用于获取每个参考多媒体资源的参考多媒体资源特征,其中,所述参考多媒体资源特征用于表征偏好所述参考多媒体资源的账号所具有的特征情况;
预测单元,用于根据所述参考多媒体资源特征和所述目标账号特征预测对应的所述参考多媒体资源的参考概率值,其中,所述参考概率值用于表征所述目标账号在当前时刻之后的目标时刻浏览对应的所述参考多媒体资源的概率;
筛选单元,用于根据每个所述参考多媒体资源对应的所述参考概率值从所述多个参考多媒体资源中筛选出所述目标多媒体资源。
可选的,所述第四获取单元,用于:
获取所述参考多媒体资源的第三超图,其中,所述第三超图中记载了浏览过所述参考多媒体资源的多个第五账号之间的关联关系;
将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,其中,所述第四特征提取网络用于根据所述多个第五账号之间的关联关系确定偏好所述参考多媒体资源的账号所具有的特征。
可选的,所述第四获取单元,用于:
使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,得到与每个所述第三超边对应的第三超边特征,其中,所述第三超边中记录了所述第五账号之间的关联关系,不同的所述第三超边中包括不同的所述第五账号之间的关联关系;
使用第八特征提取层对多个所述第三超边特征进行特征提取,得到所述参考多媒体资源特征,其中,所述第四特征提取网络包括所述第七特征提取层和所述第八特征提取层。
可选的,所述第四获取单元,用于:
将所述第三超图输入至依次连接的多级第三子层,其中,所述第七特征提取层包括依次连接的所述多级第三子层,每级所述第三子层中包括第三顶点胶囊和第三超边胶囊,所述第三顶点胶囊用于将所述第三超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第三超边胶囊用于将所述第一超图中每个顶点所关联的所有超边的特征聚合到该顶点上。
可选的,所述第四获取单元,用于:
获取第二关系图,其中,所述第二关系图中记录了多个第三顶点以及任意两个第三顶点之间的第三边,每个所述第三顶点对应一个所述第五账号,所述第三边用于表征两个所述第五账号之间的连接关系;
基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,其中,与当前第五账号对应的所述第三局部超边中记录了所述当前第五账号与第六账号之间的关联关系,所述第三全局超边中记录了所述当前第五账号与第七账号之间的关联关系,所述当前第五账号为所述多个第五账号中的任一个第五账号,所述第六账号为所述第二关系图中与所述当前第五账号关联度大于第三关联度的第五账号,所述第七账号为所述第二关系图中与所述当前第五账号关联度小于或等于所述第三关联度的第五账号;
将所述多个第五账号中每个第五账号对应的所述第三局部超边和所述第三全局超边进行合并,得到第三超边集;
对第三顶点集和所述第三超边集进行元组构建,得到所述第三超图,其中,所述第三顶点集中记录了所述多个第三顶点。
可选的,所述第四获取单元,用于:
使用近邻算法从所述多个第五账号中除所述当前第五账号之外的账号中筛选出K-1个所述第六账号,将所述当前第五账号和K-1个所述第六账号构建为与所述当前第五账号对应的所述第三局部超边;
使用经典图划分算法将所述第二关系图划分为M个第五类簇;使用最短路径算法从M个所述第五类簇中筛选出N-1个第六类簇,其中,所述第六类簇中不包括所述当前第五账号;对每个所述第六类簇执行K-1次可放回采样,得到K-1个第八账号,其中,所述第七账号中包括所述第八账号;将所述当前第五账号和一个所述第六类簇中采集的K-1个所述第八账号构建为一个所述第三全局超边,得到与所述当前第五账号对应的N-1个所述第三全局超边。
可选的,所述装置还包括:
构建模块,用于所述将所述第一超图输入至第一特征提取网络之前,构建初始识别模型,其中,所述初始识别模型包括第一初始提取网络、第二初始提取网络、第三初始提取网络和第四初始提取网络和初始融合网络,其中,所述第一初始提取网络、所述第二初始提取网络和所述第三初始提取网络分别和所述初始融合网络连接;
预测模块,用于使用所述初始识别模型根据候选账号的多媒体资源浏览信息预测待推荐给所述候选账号的推荐多媒体资源;
训练模块,用于根据所述候选账号对所述推荐多媒体资源所执行的目标操作对所述初始识别模型进行训练,得到目标识别模型,其中,所述目标识别模型包括所述第一特征提取网络、第二特征提取网络、第三特征提取网络、第四特征提取网络和目标融合网络,所述第一特征提取网络、所述第二特征提取网络以及所述第三特征提取网络分别和所述目标融合网络连接,所述第二特征提取网络用于根据多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况,所述第三特征提取网络用于根据多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第四特征提取网络用于根据浏览过同一多媒体资源的多个账号之间的关联关系确定偏好该多媒体资源的账号所具有的特征,所述目标融合网络用于预测输入至所述目标融合网络的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。
可选的,所述训练模块,包括:
处理单元,用于利用负对似然函数和所述候选账号对所述推荐多媒体资源所执行的所述目标操作,构建所述初始识别模型的目标损失函数;
调节单元,用于根据所述目标损失函数的计算结果对所述初始识别模型的参数进行调节,得到所述目标识别模型。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (22)
1.一种多媒体资源的推荐方法,其特征在于,包括:
获取目标账号的第一偏好特征,获取所述目标账号的第二偏好特征,以及获取所述目标账号的账号关系特征,其中,所述第一偏好特征用于表征所述目标账号在第一时间段内浏览多媒体资源的偏好,所述第二偏好特征用于表征所述目标账号在第二时间段内的浏览多媒体资源的偏好,所述第一时间段长于所述第二时间段且所述第一时间段包括所述第二时间段,所述账号关系特征用于表征与所述目标账号具有关联关系的参考账号对所述目标账号浏览多媒体资源的偏好的影响情况,所述账号关系特征是根据所述参考账号在所述第二时间段内浏览多媒体资源的偏好得到的;
对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征融合,得到目标账号特征,其中,所述目标账号特征用于表征所述目标账号当前浏览多媒体资源的偏好;
根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源;
其中,所述根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源,包括:获取每个参考多媒体资源的参考多媒体资源特征,其中,所述参考多媒体资源特征用于表征偏好所述参考多媒体资源的账号所具有的特征情况;根据所述参考多媒体资源特征和所述目标账号特征预测对应的所述参考多媒体资源的参考概率值,其中,所述参考概率值用于表征所述目标账号在当前时刻之后的目标时刻浏览对应的所述参考多媒体资源的概率;根据每个所述参考多媒体资源对应的所述参考概率值从多个参考多媒体资源中筛选出所述目标多媒体资源;
所述获取每个所述参考多媒体资源的参考多媒体资源特征,包括:获取所述参考多媒体资源的第三超图,其中,所述第三超图中记载了浏览过所述参考多媒体资源的多个第五账号之间的关联关系;将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,其中,所述第四特征提取网络用于根据所述多个第五账号之间的关联关系确定偏好所述参考多媒体资源的账号所具有的特征;
所述将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,包括:使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,得到与每个所述第三超边对应的第三超边特征,其中,所述第三超边中记录了所述第五账号之间的关联关系,不同的所述第三超边中包括不同的所述第五账号之间的关联关系;使用第八特征提取层对多个所述第三超边特征进行特征提取,得到所述参考多媒体资源特征,其中,所述第四特征提取网络包括所述第七特征提取层和所述第八特征提取层;
所述使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,包括:将所述第三超图输入至依次连接的多级第三子层,其中,所述第七特征提取层包括依次连接的所述多级第三子层,每级所述第三子层中包括第三顶点胶囊和第三超边胶囊,所述第三顶点胶囊用于将所述第三超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第三超边胶囊用于将所述第三超图中每个顶点所关联的所有超边的特征聚合到该顶点上;
所述获取所述参考多媒体资源的第三超图,包括:获取第二关系图,其中,所述第二关系图中记录了多个第三顶点以及任意两个第三顶点之间的第三边,每个所述第三顶点对应一个所述第五账号,所述第三边用于表征两个所述第五账号之间的连接关系;基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,其中,与当前第五账号对应的所述第三局部超边中记录了所述当前第五账号与第六账号之间的关联关系,所述第三全局超边中记录了所述当前第五账号与第七账号之间的关联关系,所述当前第五账号为所述多个第五账号中的任一个第五账号,所述第六账号为所述第二关系图中与所述当前第五账号关联度大于第三关联度的第五账号,所述第七账号为所述第二关系图中与所述当前第五账号关联度小于或等于所述第三关联度的第五账号;将所述多个第五账号中每个第五账号对应的所述第三局部超边和所述第三全局超边进行合并,得到第三超边集;对第三顶点集和所述第三超边集进行元组构建,得到所述第三超图,其中,所述第三顶点集中记录了所述多个第三顶点;
所述基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,包括:使用近邻算法从所述多个第五账号中除所述当前第五账号之外的账号中筛选出K-1个所述第六账号,将所述当前第五账号和K-1个所述第六账号构建为与所述当前第五账号对应的所述第三局部超边;使用经典图划分算法将所述第二关系图划分为M个第五类簇;使用最短路径算法从M个所述第五类簇中筛选出N-1个第六类簇,其中,所述第六类簇中不包括所述当前第五账号;对每个所述第六类簇执行K-1次可放回采样,得到K-1个第八账号,其中,所述第七账号中包括所述第八账号;将所述当前第五账号和一个所述第六类簇中采集的K-1个所述第八账号构建为一个所述第三全局超边,得到与所述当前第五账号对应的N-1个所述第三全局超边。
2.根据权利要求1所述的方法,其特征在于,所述获取目标账号的第一偏好特征,包括:
获取所述目标账号的第一浏览信息,其中,所述第一浏览信息用于指示所述目标账号在从第一时刻到当前时刻之间的第一时间段内的多媒体资源浏览情况;
从所述第一浏览信息中提取所述第一偏好特征。
3.根据权利要求2所述的方法,其特征在于,
所述获取所述目标账号的第一浏览信息,包括:
获取第一超图,其中,所述第一超图中记载了所述目标账号在所述第一时间段内浏览的多个第一多媒体资源以及多个所述第一多媒体资源之间的关系,所述第一浏览信息包括所述第一超图;
所述从所述第一浏览信息中提取所述第一偏好特征,包括:
将所述第一超图输入至第一特征提取网络,得到所述第一特征提取网络输出的所述第一偏好特征,其中,所述第一特征提取网络用于根据所述多个第一多媒体资源之间的关联关系确定所述目标账号在第一时间段内偏好的多媒体资源所具有的特征。
4.根据权利要求3所述的方法,其特征在于,所述将所述第一超图输入至第一特征提取网络,得到所述第一特征提取网络输出的所述第一偏好特征,包括:
使用第一特征提取层对所述第一超图中包括的多个第一超边中的每个所述第一超边进行特征提取,得到与每个所述第一超边对应的第一超边特征,其中,所述第一超边中记录了所述第一多媒体资源之间的关联关系,不同的所述第一超边中包括不同的所述第一多媒体资源之间的关联关系;
使用第二特征提取层对多个所述第一超边特征进行特征提取,得到所述第一偏好特征,其中,所述第一特征提取网络包括所述第一特征提取层和所述第二特征提取层。
5.根据权利要求4所述的方法,其特征在于,所述使用第一特征提取层对所述第一超图中包括的多个第一超边中的每个所述第一超边进行特征提取,包括:
将所述第一超图输入至依次连接的多级第一子层,其中,所述第一特征提取层包括依次连接的所述多级第一子层,每级所述第一子层中包括第一顶点胶囊和第一超边胶囊,所述第一顶点胶囊用于将所述第一超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第一超边胶囊用于将所述第一超图中每个顶点所关联的所有超边的特征聚合到该顶点上。
6.根据权利要求3所述的方法,其特征在于,所述获取第一超图,包括:
获取第一浏览序列,其中,所述第一浏览序列中记录了所述多个第一多媒体资源的时序关系;
基于所述第一浏览序列分别构建每个所述第一多媒体资源对应的第一局部超边以及第一全局超边,其中,与当前第一多媒体资源对应的所述第一局部超边中记录了所述当前第一多媒体资源与第二多媒体资源之间的关联关系,所述第一全局超边中记录了所述当前第一多媒体资源与第三多媒体资源之间的关联关系,所述当前第一多媒体资源为所述多个第一多媒体资源中的任一个第一多媒体资源,所述第二多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度大于第一关联度的第一多媒体资源,所述第三多媒体资源为所述第一浏览序列中与所述当前第一多媒体资源关联度小于或等于所述第一关联度的第一多媒体资源;
将所述多个第一多媒体资源中每个第一多媒体资源对应的所述第一局部超边和所述第一全局超边进行合并,得到第一超边集;
对第一顶点集和所述第一超边集进行元组构建,得到所述第一超图,其中,所述第一顶点集中包括与所述多个第一多媒体资源中每个第一多媒体资源一一对应的顶点。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一浏览序列分别构建每个所述第一多媒体资源对应的第一局部超边以及第一全局超边,包括:
使用近邻算法从所述多个第一多媒体资源中除所述当前第一多媒体资源之外的多媒体资源中筛选出K-1个所述第二多媒体资源,将所述当前第一多媒体资源和K-1个所述第二多媒体资源构建为与所述当前第一多媒体资源对应的所述第一局部超边;
根据所述第一多媒体资源对应的第一多媒体资源特征之间的相似关系对所述多个第一多媒体资源聚类,得到M个第一类簇;从M个所述第一类簇中筛选出N-1个第二类簇,其中,所述第二类簇为所述M个第一类簇中类簇中心的特征与所述当前第一多媒体资源的特征相似度大于目标相似度的类簇,所述第二类簇中不包括所述当前第一多媒体资源;对每个所述第二类簇执行K-1次可放回采样,得到K-1个第四多媒体资源,其中,所述第三多媒体资源中包括所述第四多媒体资源;将所述当前第一多媒体资源和一个所述第二类簇中采集的K-1个所述第四多媒体资源构建为一个所述第一全局超边,得到与所述当前第一多媒体资源对应的N-1个所述第一全局超边。
8.根据权利要求1所述的方法,其特征在于,所述获取所述目标账号的账号关系特征,包括:
获取所述目标账号的账号关系信息,其中,所述账号关系信息用于指示所述参考账号在所述第二时间段内的多媒体资源浏览情况;
从所述账号关系信息中提取所述账号关系特征。
9.根据权利要求8所述的方法,其特征在于,
所述获取所述目标账号的账号关系信息,包括:
获取初始超图,其中,所述初始超图中记载了多个初始顶点之间的关联关系,其中每个所述初始顶点对应多个第一账号中的一个,所述多个第一账号包括所述参考账号和所述目标账号;
将参考账号的多媒体资源浏览特征合并到所述初始超图对应的初始顶点上,得到第二超图,其中,所述账号关系信息包括所述第二超图;
所述从所述账号关系信息中提取所述账号关系特征,包括:
将所述第二超图输入至第二特征提取网络,得到所述第二特征提取网络输出的所述账号关系特征,其中,所述第二特征提取网络用于根据所述多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况。
10.根据权利要求9所述的方法,其特征在于,所述将所述第二超图输入至第二特征提取网络,得到所述第二特征提取网络输出的所述账号关系特征,包括:
使用第三特征提取层对所述第二超图中包括的多个第二超边中的每个所述第二超边进行特征提取,得到与每个所述第二超边对应的第二超边特征,其中,所述第二超边中记录了所述第一账号之间的关联关系,不同的所述第二超边中包括不同的所述第一账号之间的关联关系;
使用第四特征提取层对多个所述第二超边特征进行特征提取,得到所述账号关系特征,其中,所述第二特征提取网络包括所述第三特征提取层和所述第四特征提取层。
11.根据权利要求10所述的方法,其特征在于,所述使用第三特征提取层对所述第二超图中包括的多个第二超边中的每个所述第二超边进行特征提取,包括:
将所述第二超图输入至依次连接的多级第二子层,其中,所述第三特征提取层包括依次连接的所述多级第二子层,每级所述第二子层中包括第二顶点胶囊和第二超边胶囊,所述第二顶点胶囊用于将所述第二超图中每个顶点的特征聚合到包括该顶点的超边上,所述第二超边胶囊用于将包括该顶点的超边的特征聚合到该顶点上。
12.根据权利要求9所述的方法,其特征在于,所述获取初始超图,包括:
获取第一关系图,其中,所述第一关系图中记录了多个第二顶点以及任意两个第二顶点之间的第二边,每个所述第二顶点对应一个所述第一账号,所述第二边用于表征两个所述第一账号之间的关联关系;
基于所述第一关系图分别构建每个所述第一账号对应的第二局部超边以及第二全局超边,其中,与当前第一账号对应的所述第二局部超边中记录了所述当前第一账号与第二账号之间的关联关系,所述第二全局超边中记录了所述当前第一账号与第三账号之间的关联关系,所述当前第一账号为所述多个第一账号中的任一个第一账号,所述第二账号为所述第一关系图中与所述当前第一账号关联度大于第二关联度的第一账号,所述第三账号为所述第一关系图中与所述当前第一账号关联度小于或等于所述第二关联度的第一账号;
将所述多个第一账号中每个第一账号对应的所述第二局部超边和所述第二全局超边进行合并,得到第二超边集;
对第二顶点集和所述第二超边集进行元组构建,得到所述初始超图,其中,所述第二顶点集中记录了所述多个第二顶点。
13.根据权利要求12所述的方法,其特征在于,所述基于所述第一关系图分别构建每个所述第一账号对应的第二局部超边以及第二全局超边,包括:
使用近邻算法从所述多个第一账号中除所述当前第一账号之外的账号中筛选出K-1个所述第二账号,将所述当前第一账号和K-1个所述第二账号构建为与所述当前第一账号对应的所述第二局部超边;
使用经典图划分算法将所述第一关系图划分为M个第三类簇;使用最短路径算法从M个所述第三类簇中筛选出N-1个第四类簇,其中,所述第四类簇中不包括所述当前第一账号;对每个所述第四类簇执行K-1次可放回采样,得到K-1个第四账号,其中,所述第三账号中包括所述第四账号;将所述当前第一账号和一个所述第四类簇中采集的K-1个所述第四账号构建为一个所述第二全局超边,得到与所述当前第一账号对应的N-1个所述第二全局超边。
14.根据权利要求1所述的方法,其特征在于,所述获取所述目标账号的第二偏好特征,包括:
获取所述目标账号的第二浏览信息,其中,所述第二浏览信息用于指示所述目标账号在从第二时刻到当前时刻之间的所述第二时间段内的多媒体资源浏览情况,所述第一偏好特征是从第一浏览信息中提取的,所述第一浏览信息用于指示所述目标账号在从第一时刻到所述当前时刻之间的第一时间段内的多媒体资源浏览情况,所述第一时刻在所述第二时刻之前;
从所述目标账号的第二浏览信息中提取所述目标账号的第二偏好特征。
15.根据权利要求14所述的方法,其特征在于,所述从所述目标账号的第二浏览信息中提取所述目标账号的第二偏好特征,包括:
将所述第二时间段内浏览的多个第二多媒体资源输入至第三特征提取网络,得到所述第三特征提取网络输出的所述第二偏好特征,其中,所述第三特征提取网络用于根据所述多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第二浏览信息包括所述多个第二多媒体资源。
16.根据权利要求15所述的方法,其特征在于,所述将所述第二时间段内浏览的多个第二多媒体资源输入至第三特征提取网络,得到所述第三特征提取网络输出的所述第二偏好特征,包括:
使用第五特征提取层对所述多个第二多媒体资源中每个所述第二多媒体资源进行特征提取,得到每个所述第二多媒体资源对应的第二多媒体资源特征,其中,所述第二多媒体资源特征中包括表征当前第二多媒体资源和所述多个第二多媒体资源中其他多媒体资源之间时序关系的特征;
使用第六特征提取层对所述多个第二多媒体资源的所述第二多媒体资源特征进行特征提取,得到所述第二偏好特征,其中,所述第三特征提取网络包括所述第五特征提取层和所述第六特征提取层。
17.根据权利要求1所述的方法,其特征在于,所述对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征融合,得到所述目标账号特征,包括:
使用目标融合网络对所述第一偏好特征、所述第二偏好特征以及所述账号关系特征进行特征融合,得到所述目标账号特征,其中,所述目标融合网络用于预测输入至所述目标融合网络的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。
18.根据权利要求3所述的方法,其特征在于,所述将所述第一超图输入至第一特征提取网络之前,所述方法还包括:
构建初始识别模型,其中,所述初始识别模型包括第一初始提取网络、第二初始提取网络、第三初始提取网络和第四初始提取网络和初始融合网络,其中,所述第一初始提取网络、所述第二初始提取网络和所述第三初始提取网络分别和所述初始融合网络连接;
使用所述初始识别模型根据候选账号的多媒体资源浏览信息预测待推荐给所述候选账号的推荐多媒体资源;
根据所述候选账号对所述推荐多媒体资源所执行的目标操作对所述初始识别模型进行训练,得到目标识别模型,其中,所述目标识别模型包括所述第一特征提取网络、第二特征提取网络、第三特征提取网络、第四特征提取网络和目标融合网络,所述第一特征提取网络、所述第二特征提取网络以及所述第三特征提取网络分别和所述目标融合网络连接,所述第二特征提取网络用于根据多个第一账号之间的关联关系确定所述参考账号的多媒体资源偏好对所述目标账号的多媒体资源偏好的影响情况,所述第三特征提取网络用于根据多个第二多媒体资源之间的关联关系确定所述目标账号在第二时间段内偏好的多媒体资源所具有的特征,所述第四特征提取网络用于根据浏览过同一多媒体资源的多个账号之间的关联关系确定偏好该多媒体资源的账号所具有的特征,所述目标融合网络用于预测输入至所述目标融合网络的多个特征的贡献比,并根据贡献比对输入的多个特征进行特征融合。
19.根据权利要求18所述的方法,其特征在于,根据所述候选账号对所述推荐多媒体资源所执行的目标操作对所述初始识别模型进行训练,得到目标识别模型,包括:
利用负对似然函数和所述候选账号对所述推荐多媒体资源所执行的所述目标操作,构建所述初始识别模型的目标损失函数;
根据所述目标损失函数的计算结果对所述初始识别模型的参数进行调节,得到所述目标识别模型。
20.一种多媒体资源的推荐装置,其特征在于,包括:
获取模块,用于获取目标账号的第一偏好特征,获取所述目标账号的第二偏好特征,以及获取所述目标账号的账号关系特征,其中,所述第一偏好特征用于表征所述目标账号在第一时间段内浏览多媒体资源的偏好,所述第二偏好特征用于表征所述目标账号在第二时间段内的浏览多媒体资源的偏好,所述第一时间段长于所述第二时间段且所述第一时间段包括所述第二时间段,所述账号关系特征用于表征与所述目标账号具有关联关系的参考账号对所述目标账号浏览多媒体资源的偏好的影响情况,所述账号关系特征是根据所述参考账号在所述第二时间段内浏览多媒体资源的偏好得到的;
融合模块,用于对所述第一偏好特征、所述第二偏好特征和所述账号关系特征进行特征融合,得到目标账号特征,其中,所述目标账号特征用于表征所述目标账号当前浏览多媒体资源的偏好;
推荐模块,用于根据所述目标账号特征为所述目标账号推荐待所述目标账号浏览的目标多媒体资源;
其中,所述推荐模块,包括:第四获取单元,用于获取每个参考多媒体资源的参考多媒体资源特征,其中,所述参考多媒体资源特征用于表征偏好所述参考多媒体资源的账号所具有的特征情况;预测单元,用于根据所述参考多媒体资源特征和所述目标账号特征预测对应的所述参考多媒体资源的参考概率值,其中,所述参考概率值用于表征所述目标账号在当前时刻之后的目标时刻浏览对应的所述参考多媒体资源的概率;筛选单元,用于根据每个所述参考多媒体资源对应的所述参考概率值从多个所述参考多媒体资源中筛选出所述目标多媒体资源;
所述第四获取单元,用于:获取所述参考多媒体资源的第三超图,其中,所述第三超图中记载了浏览过所述参考多媒体资源的多个第五账号之间的关联关系;将所述第三超图输入至第四特征提取网络,得到所述第四特征提取网络输出的所述参考多媒体资源特征,其中,所述第四特征提取网络用于根据所述多个第五账号之间的关联关系确定偏好所述参考多媒体资源的账号所具有的特征;
所述第四获取单元,用于:使用第七特征提取层对所述第三超图中包括的多个第三超边中的每个所述第三超边进行特征提取,得到与每个所述第三超边对应的第三超边特征,其中,所述第三超边中记录了所述第五账号之间的关联关系,不同的所述第三超边中包括不同的所述第五账号之间的关联关系;使用第八特征提取层对多个所述第三超边特征进行特征提取,得到所述参考多媒体资源特征,其中,所述第四特征提取网络包括所述第七特征提取层和所述第八特征提取层;
所述第四获取单元,用于:将所述第三超图输入至依次连接的多级第三子层,其中,所述第七特征提取层包括依次连接的所述多级第三子层,每级所述第三子层中包括第三顶点胶囊和第三超边胶囊,所述第三顶点胶囊用于将所述第三超图中每一条超边所包括的所有顶点的特征聚合到该条超边上,所述第三超边胶囊用于将所述第三超图中每个顶点所关联的所有超边的特征聚合到该顶点上;
所述第四获取单元,用于:获取第二关系图,其中,所述第二关系图中记录了多个第三顶点以及任意两个第三顶点之间的第三边,每个所述第三顶点对应一个所述第五账号,所述第三边用于表征两个所述第五账号之间的连接关系;基于所述第二关系图分别构建每个所述第五账号对应的第三局部超边以及第三全局超边,其中,与当前第五账号对应的所述第三局部超边中记录了所述当前第五账号与第六账号之间的关联关系,所述第三全局超边中记录了所述当前第五账号与第七账号之间的关联关系,所述当前第五账号为所述多个第五账号中的任一个第五账号,所述第六账号为所述第二关系图中与所述当前第五账号关联度大于第三关联度的第五账号,所述第七账号为所述第二关系图中与所述当前第五账号关联度小于或等于所述第三关联度的第五账号;将所述多个第五账号中每个第五账号对应的所述第三局部超边和所述第三全局超边进行合并,得到第三超边集;对第三顶点集和所述第三超边集进行元组构建,得到所述第三超图,其中,所述第三顶点集中记录了所述多个第三顶点;
所述第四获取单元,用于:使用近邻算法从所述多个第五账号中除所述当前第五账号之外的账号中筛选出K-1个所述第六账号,将所述当前第五账号和K-1个所述第六账号构建为与所述当前第五账号对应的所述第三局部超边;使用经典图划分算法将所述第二关系图划分为M个第五类簇;使用最短路径算法从M个所述第五类簇中筛选出N-1个第六类簇,其中,所述第六类簇中不包括所述当前第五账号;对每个所述第六类簇执行K-1次可放回采样,得到K-1个第八账号,其中,所述第七账号中包括所述第八账号;将所述当前第五账号和一个所述第六类簇中采集的K-1个所述第八账号构建为一个所述第三全局超边,得到与所述当前第五账号对应的N-1个所述第三全局超边。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至19任一项中所述的方法的步骤。
22.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述权利要求1至19任一项中所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311344020.6A CN117093732B (zh) | 2023-10-17 | 2023-10-17 | 多媒体资源的推荐方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311344020.6A CN117093732B (zh) | 2023-10-17 | 2023-10-17 | 多媒体资源的推荐方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117093732A CN117093732A (zh) | 2023-11-21 |
CN117093732B true CN117093732B (zh) | 2024-02-20 |
Family
ID=88770285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311344020.6A Active CN117093732B (zh) | 2023-10-17 | 2023-10-17 | 多媒体资源的推荐方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117093732B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114491150A (zh) * | 2022-03-28 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 一种视频推荐方法、系统、设备及计算机可读存储介质 |
-
2023
- 2023-10-17 CN CN202311344020.6A patent/CN117093732B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114491150A (zh) * | 2022-03-28 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 一种视频推荐方法、系统、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117093732A (zh) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
Raschka | Python machine learning | |
US9348898B2 (en) | Recommendation system with dual collaborative filter usage matrix | |
CN110351318B (zh) | 应用推荐的方法、终端和计算机存储介质 | |
CN108287857B (zh) | 表情图片推荐方法及装置 | |
CN110555050A (zh) | 一种基于元路径的异构网络节点表示学习方法 | |
CN111506820B (zh) | 推荐模型、方法、装置、设备及存储介质 | |
CN110413888B (zh) | 一种书籍推荐方法及装置 | |
CN110717099A (zh) | 一种推荐影片的方法及终端 | |
CN108959323B (zh) | 视频分类方法和装置 | |
CN112380453B (zh) | 物品推荐方法、装置、存储介质及设备 | |
CN107203558B (zh) | 对象推荐方法和装置、推荐信息处理方法和装置 | |
CN113873330B (zh) | 视频推荐方法、装置、计算机设备和存储介质 | |
CN113656699B (zh) | 用户特征向量确定方法、相关设备及介质 | |
WO2020049317A1 (en) | System and method for improved content discovery | |
US20200257934A1 (en) | Processing content | |
CN116823410B (zh) | 数据处理方法、对象处理方法、推荐方法及计算设备 | |
US20230351473A1 (en) | Apparatus and method for providing user's interior style analysis model on basis of sns text | |
CN117093732B (zh) | 多媒体资源的推荐方法及装置 | |
CN114780863B (zh) | 基于人工智能的项目推荐方法、装置、计算机设备及介质 | |
CN111814812A (zh) | 建模方法、装置、存储介质、电子设备及场景识别方法 | |
CN117112880A (zh) | 信息推荐、多目标推荐模型训练方法、装置和计算机设备 | |
CN114265948A (zh) | 图像推送方法和装置 | |
CN110020120A (zh) | 内容投放系统中的特征词处理方法、装置及存储介质 | |
CN112948681A (zh) | 一种融合多维度特征的时间序列数据推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |