CN113032619B - 音乐推荐方法、装置、电子设备及存储介质 - Google Patents
音乐推荐方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113032619B CN113032619B CN201911356934.8A CN201911356934A CN113032619B CN 113032619 B CN113032619 B CN 113032619B CN 201911356934 A CN201911356934 A CN 201911356934A CN 113032619 B CN113032619 B CN 113032619B
- Authority
- CN
- China
- Prior art keywords
- music
- video
- special effect
- candidate
- effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000694 effects Effects 0.000 claims abstract description 295
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种音乐推荐方法、装置、电子设备及存储介质,所述方法包括:响应于为视频添加音乐的请求,确定在视频中已添加的视频特效;根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐;基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐;推荐与所述视频相匹配的音乐。本公开的实施例基于视频特效来推荐音乐,由于视频特效是为视频中的目标对象添加的特效,因此能够反映需添加音乐的视频的拍摄意图,故基于视频特效来推荐与视频匹配的音乐,使得视频与音乐的匹配度增加,提高了推荐效率,提升了用户体验效果。
Description
技术领域
本公开涉及数据处理技术领域,尤其涉及一种音乐推荐方法、装置、电子设备及存储介质。
背景技术
随着短视频平台发展,大量的用户越来越乐于拍摄短视频分享自己的生活。具体的,短视频通常是指时长在5分钟以内的视频,具有社交属性强、创作门槛低、观看时长和场景便捷等特征,更加符合移动互联网时代的碎片化内容消费习惯。核心功能包括拍摄(拍摄、配乐、编辑(美颜、特效等)、文字输入、权限设置)、搜索、观看短视频,并通过视频或其他原有的社交关系,结合关注、互动、消息等操作发展短视频社区的社交关系。其核心功能之一,为视频配上背景音乐,在用户从拍摄视频到最终上传起着关键的作用。
在相关技术中,音乐推荐方式是基于用户的音乐使用历史和当前音乐的流行趋势,这种方式虽然能够为用户提供大量音乐进行选择,但是并不能推荐与需添加音乐的视频的拍摄意图匹配的音乐,推荐效率低,用户体验效果不好。
发明内容
本公开提供一种音乐推荐方法、装置、电子设备及存储介质,以至少解决相关技术中不能为用户推荐与其所拍摄视频的拍摄意图匹配的音乐,推荐效率低,用户体验效果不好问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种音乐推荐方法,包括:
响应于为视频添加音乐的请求,确定在视频中已添加的视频特效;
根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐;
基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐;
推荐与所述视频相匹配的音乐。
在一种实施方式中,所述基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐包括:
获取各所述候选音乐的历史操作信息;
根据各所述候选音乐的所述历史操作信息,确定各候选音乐的音乐排名分数;
将所述音乐排名分数排序在前n位的候选音乐,作为与所述视频相匹配的音乐;所述n为正整数。
在一种实施方式中,所述关联关系包括视频特效与音乐的第一关联关系,在根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐之前,所述方法还包括:
从用户历史视频数据中,提取出视频特效以及对应的音乐,其中,所述视频特效具有对应的特效标识,所述音乐具有对应的音乐标识;
获取视频特效下各音乐的使用频率;
获取所述使用频率排序在前N位的音乐,作为所述视频特效的第一关联音乐,所述N为正整数;
创建所述视频特效的特效标识与对应的第一关联音乐的音乐标识的第一关联关系。
在一种实施方式中,所述关联关系包括视频特效与音乐的第二关联关系,在根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐之前,所述方法还包括:
获取向量表示集合;所述向量表示集合包括文本信息对应的向量表示;
获取视频特效的特效文本信息,并根据所述特效文本信息从所述向量表示集合中获取对应的特效向量表示;
获取音乐的音乐文本信息,并根据所述音乐文本信息从所述向量表示集合中获取对应的音乐向量表示;
将视频特效的特效向量表示与各音乐的音乐向量表示计算余弦相似度;
获取所述余弦相似度排序在前M位的音乐,作为所述视频特效的第二关联音乐,所述M为正整数;
创建所述视频特效的特效标识与对应的第二关联音乐的音乐标识的第二关联关系。
在一种实施方式中,所述根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐包括:
获取所述第一关联关系和所述第二关联关系;
根据所述视频特效的视频标识,在所述第一关联关系中查找到对应音乐标识的第一关联音乐;
根据所述视频特效的视频标识,在所述第二关联关系中查找到对应音乐标识的第二关联音乐;
将所述第一关联音乐和第二关联音乐,作为与所述视频特效对应的候选音乐。
在一种实施方式中,在所述推荐与所述视频相匹配的音乐之后,还包括:
响应于针对与所述视频相匹配的音乐的选择请求,选定目标音乐;
将所述目标音乐添加至所述视频中。
根据本公开实施例的第二方面,提供一种音乐推荐装置,包括:视频特效确定单元,配置为响应于为视频添加音乐的请求,确定在视频中已添加的视频特效;候选音乐获取单元,配置为根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐;音乐筛选单元,配置为基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐;音乐推荐单元,配置为推荐与所述视频相匹配的音乐。
在一种实施方式中,所述音乐筛选单元,配置为获取各所述候选音乐的历史操作信息;根据各所述候选音乐的所述历史操作信息,确定各候选音乐的音乐排名分数;将所述音乐排名分数排序在前n位的候选音乐,作为与所述视频相匹配的音乐;所述n为正整数。
在一种实施方式中,所述关联关系包括视频特效与音乐的第一关联关系,所述装置还包括:数据提取单元,配置为从用户历史视频数据中,提取出视频特效以及对应的音乐,其中,所述视频特效具有对应的特效标识,所述音乐具有对应的音乐标识;使用频率获取单元,配置为获取视频特效下各音乐的使用频率;第一关联音乐获取单元,配置为获取所述使用频率排序在前N位的音乐,作为所述视频特效的第一关联音乐,所述N为正整数;第一关联关系创建单元,配置为创建所述视频特效的特效标识与对应的第一关联音乐的音乐标识的第一关联关系。
在一种实施方式中,所述关联关系包括视频特效与音乐的第二关联关系,所述装置还包括:向量表示集合获取单元,配置为获取向量表示集合;所述向量表示集合包括文本信息对应的向量表示;特效向量表示获取单元,配置为获取视频特效的特效文本信息,并根据所述特效文本信息从所述向量表示集合中获取对应的特效向量表示;音乐向量表示获取单元,配置为获取音乐的音乐文本信息,并根据所述音乐文本信息从所述向量表示集合中获取对应的音乐向量表示;余弦相似度计算单元,配置为将视频特效的特效向量表示与各音乐的音乐向量表示计算余弦相似度;第二关联音乐获取单元,配置为获取所述余弦相似度排序在前M位的音乐,作为所述视频特效的第二关联音乐,所述M为正整数;第二关联关系创建单元,配置为创建所述视频特效的特效标识与对应的第二关联音乐的音乐标识的第二关联关系。
在一种实施方式中,所述候选音乐获取单元,配置为获取所述第一关联关系和所述第二关联关系;根据所述视频特效的视频标识,在所述第一关联关系中查找到对应音乐标识的第一关联音乐;根据所述视频特效的视频标识,在所述第二关联关系中查找到对应音乐标识的第二关联音乐;将所述第一关联音乐和第二关联音乐,作为与所述视频特效对应的候选音乐。
在一种实施方式中,所述装置还包括:目标音乐选定单元,配置为响应于针对与所述视频相匹配的音乐的选择请求,选定目标音乐;目标音乐添加单元,配置为将所述目标音乐添加至所述视频中。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述的音乐推荐方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由所述电子设备的处理器执行时,使得电子设备能够执行如上述的音乐推荐方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被计算机运行时,使得所述计算机执行如上述的音乐推荐方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开的实施例响应于为视频添加音乐的请求,确定在视频中已添加的视频特效,然后可以根据视频特效与音乐的关联关系,获取与视频特效对应的候选音乐,进一步地,基于候选音乐的历史操作信息,从候选音乐中筛选出与视频相匹配的音乐进行推荐。本公开的实施例基于视频特效来推荐音乐,由于视频特效是为视频中的目标对象添加的特效,因此能够反映需添加音乐的视频的拍摄意图,比如将人物的头放大的视频特效可以表示发怒,相对于一般的表情更能够反应出视频中人物的情绪,可见,通过视频特效能够反映需添加音乐的视频的拍摄意图,因此,基于视频特效来推荐与视频匹配的音乐,使得视频与音乐的匹配度增加,提高了推荐效率,提升了用户体验效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种音乐推荐方法应用环境示意图。
图2是根据一示例性实施例示出的一种音乐推荐方法的流程图。
图3是根据一示例性实施例示出的另一种音乐推荐方法的流程图。
图4是根据一示例性实施例示出的一种根据视频特效与音乐的关联关系对应的候选音乐的流程图
图5是根据一示例性实施例示出的一种音乐推荐装置的框图。
图6是根据一示例性实施例示出的一种电子设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供的音乐推荐方法,可以应用于如图1所示的应用环境中。其中,客户端110通过网络与服务器120通过网络进行通信。其中,客户端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2是根据一示例性实施例示出的一种音乐推荐方法的流程图,如图2所示,该频配乐的方法可以应用于服务器或者其他电子设备中,所述方法可以包括以下步骤:
在步骤S21中,响应于为视频添加音乐的请求,确定在视频中已添加的视频特效。
具体的,本公开的实施例的视频是指的需要添加音乐的视频,比如是用户在短视频平台利用摄像功能拍摄的短视频,当然,还可以是用户选中的一个已有的视频,本实施例对此不做限制。
在实际应用中,为了增加视频的趣味性和观赏性,用户通常会选择为视频添加贴图、滤镜或者文字等,随着短视频平台的不断创新,视频中除了可以添加上述的内容外,用户还可以选择为视频添加视频特效。用户在短视频平台伤处理视频时,可以为用户提供多个视频特效,用户可以从中选择与视频匹配的视频特效添加到视频中。
其中,视频特效在短视频平台中也被称为魔法表情,魔法表情是指能够改变视频中目标对象形象的视频特效,魔法表情可以通过改变视频中目标对象的身体特征,改变目标对象的整体形象,仿佛施展了“魔法”,故称为魔法表情。其中,目标对象可以包括人物,也可以包括猫、狗、桌子,云彩等其他事物。例如,如果选择大头效果的魔法表情,那么视频中的人物的头将变大,如果选择大嘴巴效果的魔法表情,那么视频中的人物的嘴巴将变大,除此之外,还可以为视频中的人物改变服饰,添加动画、拉长或者缩短等等。
本公开的实施例中,可以是用户在客户端110为视频添加视频特效后,自动触发为视频添加音乐的请求,发送至服务器120中,当然,也可以是用户在客户端110上点击短视频平台上音乐控件后,触发为视频添加音乐的请求,发送至服务器120中,本公开的实施例对此无需限制。
在步骤S22中,根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐。
在具体实现中,预先为视频特效和音乐设置了关联关系,当用户确定视频特效后,可以获取相应该视频特效的关联关系,然后根据关联关系查找到与视频特效相应的音乐作为候选音乐。本公开的实施例中,服务器120在确定视频特效后,可以根据该视频特效的关联关系查找到相应的音乐作为候选音乐。
其中,视频特效是为视频中的目标对象添加的特效,因此能够反映需添加音乐的视频的拍摄意图,比如将人物的头放大的视频特效可以表示发怒,将人物的嘴巴放大的视频特效可以表示争吵,可见相比于一般的表情或者贴图更能够反应出视频中人物的情绪,因此,根据视频特效与音乐的关联关系所查找到的候选音乐,是与视频特效关联密切的音乐,更确切来说,是与视频中的目标对象关联密切的音乐,故此时基于视频特效获取到的候选音乐与视频是匹配。
在步骤S23中,基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐。
在实际中,一个视频特效可能对应有海量的候选音乐,如果将所有的候选音乐一起推送到客户端110供用户选择并不现实,而且候选音乐不做筛选也可能不符合用户的实际需求,比如虽然候选音乐与视频是匹配的,但是候选音乐已经长时间没有被用户使用了比较过时,因此本实施例提出根据候选音乐的历史操作信息,进一步从候选音乐中筛选出与视频匹配的音乐。
具体地,历史操作信息是指在最近一定时间内,用户对在短视频平台上对候选音乐的使用、收藏、点赞等行为,可以理解,这些行为能决定候选音乐的热门程度,热门程度越高说明最近越被用户所喜爱,因此实施例可以基于用户对候选音乐的使用、收藏、点赞等行为从候选音乐筛选出与视频匹配的音乐。
在步骤S24中,推荐与所述视频相匹配的音乐。
本实施例在查找到与视频特效关联的候选音乐后,进一步根据候选音乐的历史操作信息对候选音乐进行筛选,可以查找到即与视频特效关联密切,最近又被用户所喜爱的音乐进行推荐。
本公开的实施例响应于为视频添加音乐的请求,确定在视频中已添加的视频特效,然后可以根据视频特效与音乐的关联关系,获取与视频特效对应的候选音乐,进一步地,基于候选音乐的历史操作信息,从候选音乐中筛选出与视频相匹配的音乐进行推荐。本公开的实施例是基于视频特效来推荐音乐,由于视频特效是为视频中的目标对象添加的特效,能够反映需添加音乐的视频的拍摄意图,因此基于视频特效来推荐与视频匹配的音乐,使得视频与音乐的匹配度增加,提高了推荐效率,提升了用户体验效果。
图3是根据一示例性实施例示出的一种音乐推荐方法的流程图,如图3所示,该频配乐的方法可以应用于服务器或者其他电子设备中,所述方法可以包括以下步骤:
在步骤S31中,响应于为视频添加音乐的请求,确定在视频中已添加的视频特效。
当用户通过短视频平台或者其他方式拍摄视频时,可以在拍摄前、拍摄中或者拍摄后提供视频特效供用户选择,用户可以从多个视频特效中选中一个添加到视频中。当然,也可是用户通过短视频平台或者其他方式获取到已有的视频,然后再为该视频添加音乐。
在步骤S32中,根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐。
在本实施例中,创建有视频特效和音乐之间的关联关系,故在确定视频中已添加的视频特效后,就可以基于关联关系快速查找到与视频特效相应音乐作为候选音乐。其中,上述视频特效与音乐的关联关系,体现为视频特效的特效标识和音乐的音乐标识之间的关联关系。
其中,视频特效的视频标识是指在短视频平台上能够唯一识别到该视频特效的信息,比如名称、编号等其他ID(Identity document,身份标识号)。例如,针对大头效果的视频特效,其名称可以为“大头”,或者编号为“0054”。同理,音乐的音乐标识是指在短视频平台上能够唯一识别到该音乐的信息,比如名称、编号等其他ID。例如,针对名称“千里香”的音乐,其名称“千里香”即为其音乐标识。
在本实施例中,所述关联关系包括视频特效与音乐的第一关联关系和第二关联关系。
在一种实施方式中,所述视频特效与音乐的第一关联关系通过如下方式创建:从用户历史视频数据中,提取出视频特效以及对应的音乐,其中,所述视频特效具有对应的特效标识,所述音乐具有对应的音乐标识;获取视频特效下各音乐的使用频率;获取所述使用频率排序在前N位的音乐,作为所述视频特效的第一关联音乐,所述N为正整数;创建所述视频特效的特效标识与对应的第一关联音乐的音乐标识的第一关联关系。
其中,用户历史视频数据是指在先配有音乐的视频中,其所使用的视频特效和对应的音乐,通过用户历史视频数据可以统计每一个视频特效下,其所使用的音乐。考虑到目前在短视频平台上可以提供给用户的音乐是海量的,因此本实施例还将统计视频特效下各音乐的使用频率,然后基于使用频率从视频特效下音乐中筛选出第一关联音乐,再根据视频特效的特效标识与对应的第一关联音乐的音乐标识创建第一关联关系。
举例来说,假设根据历史视频数据,获取到“大头”视频特效下具有1000首匹配的音乐,如果N=100,则可以将“大头”视频特效的使用频率排序在前100位的音乐,作为第一关联音乐。
在一种实施方式中,所述视频特效与音乐的第二关联关系通过如下方式创建:获取向量表示集合;所述向量表示集合包括文本信息对应的向量表示;获取视频特效的特效文本信息,并根据所述特效文本信息从所述向量表示集合中获取对应的特效向量表示;获取音乐的音乐文本信息,并根据所述音乐文本信息从所述向量表示集合中获取对应的音乐向量表示;将视频特效的特效向量表示与各音乐的音乐向量表示计算余弦相似度;获取所述余弦相似度排序在前M位的音乐,作为所述视频特效的第二关联音乐,所述M为正整数;创建所述视频特效的特效标识与对应的第二关联音乐的音乐标识的第二关联关系。
视频特效除了具有特效标识外,还具有特效文本信息,特效文本信息是指的描述视频特效的效果的文本,比如针对大头效果的视频特效,其特效文本信息中可以包括“大头”“生气”等描述。音乐具有音乐文本信息,具体来说可以包括歌名、歌词和歌手等信息。
在具体实现中,可以使用文本匹配算法,比如word2vec、TFIDF和LDA等算法计算出视频特效的特效向量表示和音乐的音乐向量表示,然后使用向量相似度算法确定视频特效和音乐的之间的第二关联关系。
可选地,第二关联关系的确定方式为:a)根据已有的中文语料库使用word2vec算法,计算出中文词语的向量表示集合;b)根据视频特效的特效文本信息从a)中的向量表示集合中查到相应的中文词语,然后获取该中文词语对应的向量表示作为特效向量表示,一般情况下会有多个特效向量表示,会对这多个特效向量表示进行平均,得到一个均值,作为视频特效的特效向量表示;c)和b)中的方法类似,根据音乐的音乐文本信息从a)中的向量表示集合中查到相应的中文词语,然后获取该中文词语对应的向量表示作为音乐向量表示,一般情况下会有多个音乐向量表示,会对这多个音乐向量表示进行平均,得到一个均值,作为音乐的音乐向量表示;d)计算视频特效和音乐的余弦相似度,例如,对于一个视频特效M1的特效向量表示M1=[a1,a2,…an],遍历所有音乐的音乐向量表示Gx=[g1,g2,…gn],计算M1和Gx的余弦相似度SIM1x,然后基于余弦相似度从视频特效下音乐中筛选出第二关联音乐,再根据视频特效的特效标识与对应的第二关联音乐的音乐标识创建第二关联关系。
举例来说,假设获取到“大头”视频特效下具有1000首匹配的音乐,如果M=100,则可以将“大头”视频特效的余弦相似度排序在前100位的音乐,作为第二关联音乐。
在一个实施例中,参照图4,是根据一示例性实施例示出的根据视频特效与音乐的关联关系获取与视频特效对应的候选音乐的流程图,具体包括如下步骤:
在步骤S41中,获取所述第一关联关系和所述第二关联关系。
视频特效与音乐的关联关系包括第一关联关系和第二关联关系,在确定视频中添加的视频特效后,可以根据视频特效的特效标识确定相应的第一关联关系和第二关联关系。
在步骤S42中,根据所述视频特效的视频标识,在所述第一关联关系中查找到对应音乐标识的第一关联音乐。
具体地,本实施例可以视频特效的特效标识,在第一关联关系中查找对应的音乐标识,然后获取到音乐标识相应的第一关联音乐。根据前述可知,第一关联音乐为该视频特效下,使用频率较高的音乐。
在步骤S43中,根据所述视频特效的视频标识,在所述第二关联关系中查找到对应音乐标识的第二关联音乐。
具体地,本实施例可以视频特效的特效标识,在第二关联关系中查找对应的音乐标识,然后获取到音乐标识相应的第二关联音乐。根据前述可知,第二关联音乐为该视频特效下,相似度较高的音乐。
在步骤S44中,将所述第一关联音乐和第二关联音乐,作为与所述视频特效对应的候选音乐。
在获取到第一关联音乐和第二关联音乐后,可以将第一关联音乐和第二关联音乐作为与视频特效对应的候选音乐,其中,第一关联音乐和第二关联音乐分别是使用率较高和相似度较高的音乐,可见针对视频特效所获取到的候选音乐不仅考虑了用户的喜爱程度,还考虑了与视频特效的相似度,因此能够更好全面为用户推荐音乐。
在步骤S33中,获取各所述候选音乐的历史操作信息。
本实施例中,可以直接将基于第一关联关系和第二关联关系确定的候选音乐推荐给用户,但是实际中用户还有可能会追随潮流来选择音乐,因此本实施例提出根据各候选音乐的历史操作信息,确定候选音乐最近热门程度,然后再根据热门程度推荐给用户。
其中,候选音乐的历史操作信息是指在最近一定时间内,用户对在短视频平台上对候选音乐的使用、收藏、点赞等行为,比如,最近7天的使用量,最近7天被收藏量,最近1天的点赞量,因此根据历史操作信息能够获取到该候选音乐最近热门程度,或者说最近喜爱程度。
需要说明的是,基于第一关联关系,能够查找到总体上用户喜爱的音乐,而根据历史操作信息,则能够查找到最近上用户最近喜爱的音乐,结合两者能够为用户推荐被用户广泛喜爱,且跟随潮流的音乐。
在步骤S34中,根据各所述候选音乐的所述历史操作信息,确定各候选音乐的音乐排名分数。
具体地,本实施例通过候选音乐的所述历史操作信息,可以计算出候选音乐的音乐排名分数,音乐排名分数越高说明热门程度越高,表示该候选音乐最近为用户使用的较多。
假设历史操作信息为最近7天的使用量UsedCount7Day,最近7天的收藏量CollectCount7Day,使用该候选音乐的视频最近1天内被用户点赞的量VideoLikeCount1Day,可以使用以下公式计算出各候选音乐的音乐排名分数MusicScore:
MusicScore=log(1+UsedCount7Day)*A+log(1+CollectCount7Day)*B+log(1+VideoLikeCount)*C
其中,A、B、C参数可以根据实际业务调整。
在步骤S35中,将所述音乐排名分数排序在前n位的候选音乐,作为与所述视频相匹配的音乐;所述n为正整数。
本实施例可以基于计算出的各候选音乐的MusicScore按照从大到小的顺序进行排序后,然后取排序在前n为的候选音乐。举例来说,假设n=100,则可以取TOP 100,也是排序在前100位的候选音乐,作为与视频相匹配的音乐。
在步骤S36中,推荐与所述视频相匹配的音乐。
对于与视频相匹配的音乐,服务器120可以将其发送到客户端110中,客户端110则可以将与视频相匹配的音乐以列表或者其他方式,呈现给客户端110的用户。
在步骤S37中,响应于针对与所述视频相匹配的音乐的选择请求,选定目标音乐,并将所述目标音乐添加至所述视频中。
在本实施例将与视频相匹配的音乐呈现给客户端110的用户后,用户从中择一作为目标音乐添加到视频中,形成具有音乐和视频特效的视频。
本实施例将用户选择的视频特效作为音乐的推荐因素,由于视频特效具有改变视频中人物等目标对象的形象的效果,而通常用户为视频添加音乐时也会选择与人物的形象相匹配的音乐,因此通过视频特效推荐音乐,能够更好地考虑到视频的主观拍摄意图,促进用户拍摄上传视频,提高用户使用体验。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
图5是根据一示例性实施例示出的一种音乐推荐装置框图。参照图5,该装置包括视频特效确定单元51,候选音乐获取单元52,音乐筛选单元53和音乐推荐单元54,其中:
视频特效确定单元51,配置为响应于为视频添加音乐的请求,确定在视频中已添加的视频特效;
候选音乐获取单元52,配置为根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐;
音乐筛选单元53,配置为基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐;
音乐推荐单元54,配置为推荐与所述视频相匹配的音乐。
可选地,所述音乐筛选单元53,配置为获取各所述候选音乐的历史操作信息;根据各所述候选音乐的所述历史操作信息,确定各候选音乐的音乐排名分数;将所述音乐排名分数排序在前n位的候选音乐,作为与所述视频相匹配的音乐;所述n为正整数。
可选地,所述关联关系包括视频特效与音乐的第一关联关系,所述装置还包括:数据提取单元,配置为从用户历史视频数据中,提取出视频特效以及对应的音乐,其中,所述视频特效具有对应的特效标识,所述音乐具有对应的音乐标识;使用频率获取单元,配置为获取视频特效下各音乐的使用频率;第一关联音乐获取单元,配置为获取所述使用频率排序在前N位的音乐,作为所述视频特效的第一关联音乐,所述N为正整数;第一关联关系创建单元,配置为创建所述视频特效的特效标识与对应的第一关联音乐的音乐标识的第一关联关系。
可选地,所述关联关系包括视频特效与音乐的第二关联关系,所述装置还包括:向量表示集合获取单元,配置为获取向量表示集合;所述向量表示集合包括文本信息对应的向量表示;特效向量表示获取单元,配置为获取视频特效的特效文本信息,并根据所述特效文本信息从所述向量表示集合中获取对应的特效向量表示;音乐向量表示获取单元,配置为获取音乐的音乐文本信息,并根据所述音乐文本信息从所述向量表示集合中获取对应的音乐向量表示;余弦相似度计算单元,配置为将视频特效的特效向量表示与各音乐的音乐向量表示计算余弦相似度;第二关联音乐获取单元,配置为获取所述余弦相似度排序在前M位的音乐,作为所述视频特效的第二关联音乐,所述M为正整数;第二关联关系创建单元,配置为创建所述视频特效的特效标识与对应的第二关联音乐的音乐标识的第二关联关系。
可选地,所述候选音乐获取单元52,配置为获取所述第一关联关系和所述第二关联关系;根据所述视频特效的视频标识,在所述第一关联关系中查找到对应音乐标识的第一关联音乐;根据所述视频特效的视频标识,在所述第二关联关系中查找到对应音乐标识的第二关联音乐;将所述第一关联音乐和第二关联音乐,作为与所述视频特效对应的候选音乐。
可选地,所述装置还包括:目标音乐选定单元,配置为响应于针对与所述视频相匹配的音乐的选择请求,选定目标音乐;目标音乐添加单元,配置为将所述目标音乐添加至所述视频中。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图6所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和指令。该内存储器为非易失性存储介质中的操作系统和指令的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该指令被处理器执行时以实现一种音乐推荐方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本公开还提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现上述音乐推荐方法实施例中对应的各个步骤和/或流程。
本公开还提供了一种存储介质,包括:当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述音乐推荐方法实施例中对应的各个步骤和/或流程。
本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序代码,当计算机程序代码被计算机运行时,使得计算机执行上述音乐推荐方法实施例中对应的各个步骤和/或流程。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过指令来完成,所述的指令可存储于一非易失性计算机可读取存储介质中,该指令在执行时,可包括如上述各方法的实施例的流程。其中,本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开构思的前提下,还可以做出若干变形和改进,这些都属于本公开的保护范围。因此,本公开专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种音乐推荐方法,其特征在于,包括:
响应于为视频添加音乐的请求,确定在视频中已添加的视频特效;所述视频特效是为所述视频中的目标对象添加的特效;
根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐;所述候选音乐包括第二关联音乐;所述第二关联音乐为余弦相似度排序在前M位的音乐;所述余弦相似度为所述视频特效的特效向量表示与各所述音乐的音乐向量表示的余弦相似度;所述M为正整数;
基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐;
推荐与所述视频相匹配的音乐。
2.根据权利要求1所述的音乐推荐方法,其特征在于,所述基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐包括:
获取各所述候选音乐的历史操作信息;
根据各所述候选音乐的所述历史操作信息,确定各候选音乐的音乐排名分数;
将所述音乐排名分数排序在前n位的候选音乐,作为与所述视频相匹配的音乐;所述n为正整数。
3.根据权利要求1所述的音乐推荐方法,其特征在于,所述关联关系包括视频特效与音乐的第一关联关系,在根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐之前,所述方法还包括:
从用户历史视频数据中,提取出视频特效以及对应的音乐,其中,所述视频特效具有对应的特效标识,所述音乐具有对应的音乐标识;
获取视频特效下各音乐的使用频率;
获取所述使用频率排序在前N位的音乐,作为所述视频特效的第一关联音乐,所述N为正整数;
创建所述视频特效的特效标识与对应的第一关联音乐的音乐标识的第一关联关系。
4.根据权利要求3所述的音乐推荐方法,其特征在于,所述关联关系包括视频特效与音乐的第二关联关系,在根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐之前,所述方法还包括:
获取向量表示集合;所述向量表示集合包括文本信息对应的向量表示;
获取视频特效的特效文本信息,并根据所述特效文本信息从所述向量表示集合中获取对应的特效向量表示;
获取音乐的音乐文本信息,并根据所述音乐文本信息从所述向量表示集合中获取对应的音乐向量表示;
将所述视频特效的特效向量表示与各所述音乐的音乐向量表示计算所述余弦相似度;
获取所述余弦相似度排序在前所述M位的音乐,作为所述视频特效的第二关联音乐;
创建所述视频特效的特效标识与对应的第二关联音乐的音乐标识的第二关联关系。
5.根据权利要求4所述的音乐推荐方法,其特征在于,所述根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐包括:
获取所述第一关联关系和所述第二关联关系;
根据所述视频特效的视频标识,在所述第一关联关系中查找到对应音乐标识的目标第一关联音乐;
根据所述视频特效的视频标识,在所述第二关联关系中查找到对应音乐标识的目标第二关联音乐;
将所述目标第一关联音乐和目标第二关联音乐,作为与所述视频特效对应的候选音乐。
6.根据权利要求1所述的音乐推荐方法,其特征在于,在所述推荐与所述视频相匹配的音乐之后,还包括:
响应于针对与所述视频相匹配的音乐的选择请求,选定目标音乐;
将所述目标音乐添加至所述视频中。
7.一种音乐推荐装置,其特征在于,包括:
视频特效确定单元,配置为响应于为视频添加音乐的请求,确定在视频中已添加的视频特效;所述视频特效是为所述视频中的目标对象添加的特效;
候选音乐获取单元,配置为根据视频特效与音乐的关联关系,获取与所述视频特效对应的候选音乐;所述候选音乐包括第二关联音乐;所述第二关联音乐为余弦相似度排序在前M位的音乐;所述余弦相似度为所述视频特效的特效向量表示与各所述音乐的音乐向量表示的余弦相似度;所述M为正整数;
音乐筛选单元,配置为基于所述候选音乐的历史操作信息,从所述候选音乐中筛选出与所述视频相匹配的音乐;
音乐推荐单元,配置为推荐与所述视频相匹配的音乐。
8.根据权利要求7所述的音乐推荐装置,其特征在于,所述音乐筛选单元,配置为获取各所述候选音乐的历史操作信息;根据各所述候选音乐的所述历史操作信息,确定各候选音乐的音乐排名分数;将所述音乐排名分数排序在前n位的候选音乐,作为与所述视频相匹配的音乐;所述n为正整数。
9.根据权利要求7所述的音乐推荐装置,其特征在于,所述关联关系包括视频特效与音乐的第一关联关系,所述装置还包括:数据提取单元,配置为从用户历史视频数据中,提取出视频特效以及对应的音乐,其中,所述视频特效具有对应的特效标识,所述音乐具有对应的音乐标识;使用频率获取单元,配置为获取视频特效下各音乐的使用频率;第一关联音乐获取单元,配置为获取所述使用频率排序在前N位的音乐,作为所述视频特效的第一关联音乐,所述N为正整数;第一关联关系创建单元,配置为创建所述视频特效的特效标识与对应的第一关联音乐的音乐标识的第一关联关系。
10.根据权利要求9所述的音乐推荐装置,其特征在于,所述关联关系包括视频特效与音乐的第二关联关系,所述装置还包括:向量表示集合获取单元,配置为获取向量表示集合;所述向量表示集合包括文本信息对应的向量表示;特效向量表示获取单元,配置为获取视频特效的特效文本信息,并根据所述特效文本信息从所述向量表示集合中获取对应的特效向量表示;音乐向量表示获取单元,配置为获取音乐的音乐文本信息,并根据所述音乐文本信息从所述向量表示集合中获取对应的音乐向量表示;余弦相似度计算单元,配置为将所述视频特效的特效向量表示与各所述音乐的音乐向量表示计算所述余弦相似度;第二关联音乐获取单元,配置为获取所述余弦相似度排序在前所述M位的音乐,作为所述视频特效的第二关联音乐;第二关联关系创建单元,配置为创建所述视频特效的特效标识与对应的第二关联音乐的音乐标识的第二关联关系。
11.根据权利要求10所述的音乐推荐装置,其特征在于,所述候选音乐获取单元,配置为获取所述第一关联关系和所述第二关联关系;根据所述视频特效的视频标识,在所述第一关联关系中查找到对应音乐标识的第一关联音乐;根据所述视频特效的视频标识,在所述第二关联关系中查找到对应音乐标识的第二关联音乐;将所述第一关联音乐和第二关联音乐,作为与所述视频特效对应的候选音乐。
12.根据权利要求7所述的音乐推荐装置,其特征在于,所述装置还包括:目标音乐选定单元,配置为响应于针对与所述视频相匹配的音乐的选择请求,选定目标音乐;目标音乐添加单元,配置为将所述目标音乐添加至所述视频中。
13.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的音乐推荐方法。
14.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的音乐推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911356934.8A CN113032619B (zh) | 2019-12-25 | 2019-12-25 | 音乐推荐方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911356934.8A CN113032619B (zh) | 2019-12-25 | 2019-12-25 | 音乐推荐方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113032619A CN113032619A (zh) | 2021-06-25 |
CN113032619B true CN113032619B (zh) | 2024-03-19 |
Family
ID=76458413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911356934.8A Active CN113032619B (zh) | 2019-12-25 | 2019-12-25 | 音乐推荐方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113032619B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503034A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种为动画配乐的方法及装置 |
CN106817596A (zh) * | 2015-12-02 | 2017-06-09 | 徐文波 | 作用于媒体采集装置的特效处理方法及装置 |
CN108259984A (zh) * | 2017-12-29 | 2018-07-06 | 广州市百果园信息技术有限公司 | 视频图像处理方法、计算机可读存储介质及终端 |
CN108319635A (zh) * | 2017-12-15 | 2018-07-24 | 海南智媒云图科技股份有限公司 | 一种多平台音乐资源整合播放的方法、电子设备及存储介质 |
CN109587554A (zh) * | 2018-10-29 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | 视频数据的处理方法、装置及可读存储介质 |
CN110177219A (zh) * | 2019-07-01 | 2019-08-27 | 百度在线网络技术(北京)有限公司 | 视频的模板推荐方法和装置 |
CN110958386A (zh) * | 2019-11-12 | 2020-04-03 | 北京达佳互联信息技术有限公司 | 视频合成方法、装置、电子设备及计算机可读存储介质 |
-
2019
- 2019-12-25 CN CN201911356934.8A patent/CN113032619B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106817596A (zh) * | 2015-12-02 | 2017-06-09 | 徐文波 | 作用于媒体采集装置的特效处理方法及装置 |
CN106503034A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种为动画配乐的方法及装置 |
CN108319635A (zh) * | 2017-12-15 | 2018-07-24 | 海南智媒云图科技股份有限公司 | 一种多平台音乐资源整合播放的方法、电子设备及存储介质 |
CN108259984A (zh) * | 2017-12-29 | 2018-07-06 | 广州市百果园信息技术有限公司 | 视频图像处理方法、计算机可读存储介质及终端 |
CN109587554A (zh) * | 2018-10-29 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | 视频数据的处理方法、装置及可读存储介质 |
CN110177219A (zh) * | 2019-07-01 | 2019-08-27 | 百度在线网络技术(北京)有限公司 | 视频的模板推荐方法和装置 |
CN110958386A (zh) * | 2019-11-12 | 2020-04-03 | 北京达佳互联信息技术有限公司 | 视频合成方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113032619A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI702844B (zh) | 用戶特徵的生成方法、裝置、設備及儲存介質 | |
CN106528813B (zh) | 一种多媒体推荐方法和装置 | |
CN107145496B (zh) | 基于关键词将图像与内容项目匹配的方法 | |
CN107480158B (zh) | 基于相似性得分评估内容项目与图像的匹配的方法和系统 | |
US11973819B1 (en) | Image recommendations for thumbnails for online media items based on user activity | |
US10891679B2 (en) | Generating media recommendations based upon beats per minute | |
CN112052387B (zh) | 一种内容推荐方法、装置和计算机可读存储介质 | |
US20140122465A1 (en) | Ranking Music Search Results | |
CN108334632B (zh) | 实体推荐方法、装置、计算机设备和计算机可读存储介质 | |
US10885107B2 (en) | Music recommendation method and apparatus | |
US20150046445A1 (en) | Authority management for electronic searches | |
CN110232137B (zh) | 一种数据处理方法、装置和电子设备 | |
WO2013184957A1 (en) | Systems and methods of classifying content items | |
JP2013077152A (ja) | アプリケーション推薦装置及びアプリケーション推薦方法 | |
CN110162691B (zh) | 在线内容服务中的话题推荐、运营方法、装置和机器设备 | |
CN112989179B (zh) | 模型训练、多媒体内容推荐方法和装置 | |
JP5048852B2 (ja) | 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体 | |
CN113742580A (zh) | 目标类型数据的召回方法、装置、电子设备及存储介质 | |
CN105898426A (zh) | 多媒体内容处理方法、装置及服务器 | |
US20160132771A1 (en) | Application Complexity Computation | |
CN113032619B (zh) | 音乐推荐方法、装置、电子设备及存储介质 | |
KR20110085829A (ko) | 소셜 미디어 콘텐츠 공유 장치 및 방법 | |
CN117150107A (zh) | 基于知识图谱的推荐方法、装置、计算机设备及存储介质 | |
CN109756759B (zh) | 一种弹幕信息推荐方法和装置 | |
JP2015106351A (ja) | コンテンツ配信装置及びフリーワードレコメンド方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |