CN112086080A - 音乐节奏反馈方法、装置、电子设备及系统 - Google Patents

音乐节奏反馈方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN112086080A
CN112086080A CN202010955525.6A CN202010955525A CN112086080A CN 112086080 A CN112086080 A CN 112086080A CN 202010955525 A CN202010955525 A CN 202010955525A CN 112086080 A CN112086080 A CN 112086080A
Authority
CN
China
Prior art keywords
vibration
music rhythm
music
mobile terminal
multimedia data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010955525.6A
Other languages
English (en)
Inventor
刘晓丹
杨子斌
万亿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010955525.6A priority Critical patent/CN112086080A/zh
Publication of CN112086080A publication Critical patent/CN112086080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/18Selecting circuits

Abstract

本发明实施例提供了音乐节奏反馈方法、装置、电子设备及系统,涉及计算机技术领域。其中,一种音乐节奏反馈方法应用于移动终端,所述移动终端与震动引擎连接;所述方法包括:在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动;控制所述震动引擎执行所述音乐节奏区间对应的震动事件。通过本方案,可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。

Description

音乐节奏反馈方法、装置、电子设备及系统
技术领域
本发明涉及计算机技术领域,特别是涉及音乐节奏反馈方法、装置、电子设备及系统。
背景技术
通过移动终端播放多媒体数据,例如:通过智能手机播放视频客户端所提供的视频,已成为人们生活中的必不可少的休闲消遣方式。其中,移动终端的类型可以包括智能手机、平板电脑等。
相关技术中,多媒体数据的播放过程,仅能给用户带来视觉和/或听觉上的感受,这样使得带给用户的播放体验较为单一且传统,已无法满足用户对于播放体验的需求。
发明内容
本发明实施例的目的在于提供音乐节奏反馈方法、装置、电子设备及系统,以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。具体技术方案如下:
第一方面,本发明实施例提供了一种音乐节奏反馈方法,应用于移动终端,所述移动终端与震动引擎连接;所述方法包括:
在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动;
控制所述震动引擎执行所述音乐节奏区间对应的震动事件。
第二方面,本发明实施例提供了一种音乐节奏反馈方法,应用于服务器,所述方法包括:
获取多媒体数据的音乐节奏区间对应的震动描述信息;
当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息,以使所述移动终端在播放至所述音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制与所述移动终端连接的震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
第三方面,本发明实施例提供了一种音乐节奏反馈系统,包括:移动终端和服务器;
所述移动终端,用于向服务器发送针对多媒体数据的播放请求;其中,所述移动终端与震动引擎连接;
所述服务器,用于获取多媒体数据的音乐节奏区间对应的震动描述信息;当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息;
所述移动终端,还用于在播放至所述多媒体数据的音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制所述震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
第四方面,本发明实施例提供了一种音乐节奏反馈装置,设置于移动终端,所述移动终端与震动引擎连接;所述装置包括:
事件确定模块,用于在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动;
事件执行模块,用于控制所述震动引擎执行所述音乐节奏区间对应的震动事件。
第五方面,本发明实施例提供了一种音乐节奏反馈装置,设置于服务器,所述装置包括:
获取模块,用于获取多媒体数据的音乐节奏区间对应的震动描述信息;
请求响应模块,用于当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息,以使所述移动终端在播放至所述音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制与所述移动终端连接的震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
第六方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面或第二方面所述的音乐节奏反馈方法的步骤。
第七方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面所述的音乐节奏反馈方法的步骤。
第八方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行第一方面或第二方面所述的音乐节奏反馈方法的步骤。
本发明实施例所提供的方案,在多媒体数据的播放过程中,若检测到播放至多媒体数据的音乐节奏区间,则确定该音乐节奏区间对应的震动事件,并控制与移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件。本方案中,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例从移动终端角度所提供的一种音乐节奏反馈方法的流程图;
图2为本发明实施例从移动终端角度所提供的一种音乐节奏反馈方法的另一流程图;
图3为本发明实施例从服务器角度所提供的一种音乐节奏反馈方法的又一流程图;
图4为本发明实施例所提供的一种音乐节奏反馈系统的结构示意图;
图5为本发明实施例从移动终端角度所提供的一种音乐节奏反馈装置的结构示意图;
图6为本发明实施例从服务器角度所提供的一种音乐节奏反馈装置的结构示意图;
图7为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
为了解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题,本发明实施例提供了音乐节奏反馈方法、装置、电子设备及系统。
下面首先对本发明实施例从移动终端的角度所提供的一种音乐节奏反馈方法进行介绍。
需要说明的是,本发明实施例所提供的一种音乐节奏反馈方法应用于移动终端,该移动终端与震动引擎连接,其中,该电子设备可以为智能手机、平板电脑等。其中,该震动引擎为用于实现震动的马达装置。示例性的,该震动引擎可以为移动终端所具备的器件,也就是该移动终端中具有震动引擎,此时,该震动引擎为使得移动终端震动的马达装置。示例性的,该移动终端还可以与具备震动引擎的智能家居设备连接,移动终端也可以控制智能家居设备的震动引擎震动,也就是说,该震动引擎不属于移动终端所具有的器件,移动终端通过该震动引擎可以控制智能家居设备的震动。例如,手机可以与智能按摩椅通信连接,如此,当用户通过手机观看视频节目时,智能按摩椅的震动引擎可以配合视频节目的播放而震动。
具体而言,该音乐节奏反馈方法的执行主体可以为运行于移动终端中的音乐节奏反馈装置。示例性的,该音乐节奏反馈装置可以为运行于移动终端中的多媒体播放客户端,例如:视频客户端、音频客户端等;当然,该音乐节奏反馈装置也可以为多媒体播放客户端中的插件程序,这都是合理的。
另外,本发明实施例中所涉及的多媒体数据可以包括但不局限于:视频或音频;并且,该多媒体数据可以是移动终端本地已下载的多媒体数据,或者,在线多媒体数据。其中,当该多媒体数据为视频时,该视频中包含图像数据以及音频数据,且该音频数据中存在至少一段音乐内容;而该多媒体数据为音频时,该音频中包含音频数据,且该音频数据中存在至少一段音乐内容。需要说明的是,本发明实施例所述的音乐内容的类型可以包括:声乐类型和器乐类型;其中,声乐类型的音乐内容可以包括歌曲、说唱音乐、戏曲音乐、歌剧等通过人声表达的声音,而器乐类型的音乐内容可以包括独奏曲、重奏曲和合奏曲等通过乐器演奏的内容。
并且,针对存在至少一段音乐内容的多媒体数据而言,可以预先确定出至少一个音乐节奏区间,每一音乐节奏区间中包含一定时长的音乐内容。其中,该一定时长的音乐内容可以包括一个或多个音乐节拍,音乐节奏区间的持续时长可以根据实际需求设置,本发明实施例对此不做限定。示例性的,针对视频A而言,假设该视频A的时长为30mim,在20:00~20:30这段时间内存在一段音乐,那么,视频A的20:00~20:30的时间段可以被作为该视频A的一个音乐节奏区间,或者,视频A的20:00~20:10、20:11~20:20、20:21~20:30三个时段可以被作为该视频A的三个音乐节奏区间。
另外,在具体应用中,多媒体数据中的一段音乐内容可以被划分为一个音乐节奏区间,也可以被划分为多个音乐节奏区间,且该多个音乐节奏区间可以是连续的也可以非连续的。关于音乐节奏区间的确定可以由人工完成,也可以由专门的音频识别软件来完成,本发明实施例不做限定。并且,针对一个音乐节奏区间而言,可以继续划分子区间,该子区间可以称为节奏,这样,一个音乐节奏区间可以包括一个或多个节奏。
本发明实施例所提供的一种音乐节奏反馈方法,应用于移动终端,该移动终端与震动引擎连接,该方法可以包括如下步骤:
在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定该音乐节奏区间对应的震动事件;其中,该震动事件用于控制该震动引擎震动;
控制震动引擎执行该音乐节奏区间对应的震动事件。
本发明实施例所提供的方案,在多媒体数据的播放过程中,若检测到播放至多媒体数据的音乐节奏区间,则确定该音乐节奏区间对应的震动事件,并控制与移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件。本方案中,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
下面结合图1,对本发明实施例从移动终端的角度所提供的一种音乐节奏反馈方法进行详细介绍。其中,该移动终端与震动引擎连接。
需要说明的是,多媒体数据可以包括一个或多个音频节奏区间,针对每个音乐节奏区间的处理过程可以相同。下面以一个音乐节奏区间为例,对本发明实施例所提供的音乐节奏反馈方法进行介绍。
如图1所示,本发明实施例所提供的一种音乐节奏反馈方法,应用于移动终端,可以包括如下步骤:
S101,在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定该音乐节奏区间对应的震动事件;
为了解决现有技术问题,移动终端在检测到播放至多媒体数据的音乐节奏区间时,表明正在播放多媒体数据的音乐部分,此时,移动终端可以确定该音乐节奏区间对应的震动事件。其中,震动事件用于控制震动引擎震动。
其中,检测是否播放至多媒体数据的音乐节奏区间的方式可以包括:基于该音乐节奏区间的时间参数和当前播放时间,检测是否播放至多媒体数据的音乐节奏区间。示例性的,时间参数包括起始时刻和持续时长时,移动终端可以判断当前播放时间是否不小于该音乐节奏区间的起始时刻,且起始时刻减去当前播放时间的差值不大于持续时长,如果是,判定播放至该音乐节奏区间,否则,判断未播放至该音乐节奏区间;或者,时间参数包括起始时刻和终止时刻时,移动终端可以判断当前播放时间是否不小于该音乐节奏区间的起始时刻,且不大于该音乐节奏区间的终止时刻,如果是,判定播放至该音乐节奏区间,否则,判断未播放至该音乐节奏区间。其中,音乐节奏区间的时间参数中所包括的起始时刻和终止时刻可以为相对于多媒体数据的起始时刻的相对时刻。
并且,在S101之前,移动终端可以预先构建并缓存多媒体数据的音乐节奏区间对应的震动事件,这样,可以快速地进行音乐节奏反馈,提升音乐节奏反馈效率;当然,移动终端也可以在检测到播放至多媒体数据的音乐节奏区间时,构建音乐节奏区间对应的震动事件,这样,可以减少缓存占用以及计算资源的浪费。
另外,为了保证较好的用户体验,可以根据用户需求,来确定是否执行音乐节奏反馈过程。在一种实现方式中,移动终端可以为用户提供关于是否开启音乐节奏反馈功能的功能开关,以使得用户可以根据需求,选择是否开启该音乐节奏反馈功能。其中,该功能开关可以设置在设置页面,也可以设置在该多媒体数据的播放界面。针对功能开关设置在设置页面而言,用户可以在设置页面中开启该功能,这样,在该多媒体数据开始播放时,移动终端便可以触发执行S101;而针对功能开关设置在播放页面而言,用户可以在播放多媒体数据的任一播放时刻或播放之前开启该功能,这样,移动终端在检测到该功能开启后,可以触发执行S101。
而在另一种实现方式中,移动终端可以通过请求用户授权的方式来实现音乐节奏反馈过程。例如:移动终端输出用于引导用户进行授权的提示信息,在用户选择授权时,移动终端可以执行音乐节奏反馈过程,而在用户未选择授权时,移动终端不执行音乐节奏反馈过程。其中,提示信息的输出时机可以包括但不局限于:用户请求播放多媒体数据时、在多媒体数据播放过程中。
S102,控制该震动引擎执行该音乐节奏区间对应的震动事件。
在确定出音乐节奏区间对应的震动事件后,移动终端可以控制该震动引擎执行该音乐节奏区间对应的震动事件。其中,该震动事件可以为:用于控制该震动引擎按照该音乐节奏区间的音乐节奏起伏进行震动的事件,那么,在音乐节奏区间的播放过程中,震动事件被执行,且震动事件的震动与所播放至的音乐节奏的起伏相匹配。
可选地,在一种实现方式中,移动终端中可以设置有触觉反馈接口组,那么,移动终端控制该震动引擎执行该音乐节奏区间对应的震动事件,可以包括:
通过调用该触觉反馈接口组中的事件启动接口,控制该震动引擎执行该音乐节奏区间对应的震动事件。
示例性的,该触觉反馈接口组可以为Core Haptics接口组,当然并不局限于此。可以理解的是,Haptics技术是通过硬件与软件结合的触觉反馈机制,模拟人的真实触觉体验,而Core Haptics是iOS13(苹果公司为其移动设备所开发的专有移动操作系统)中的新API(Application Programming Interface,应用程序接口)组,Core Haptics提供了更加细腻,可控的震动表达方式,可以令APP(Application,应用程序)产生一种全新的体验。
若该触觉反馈接口组可以为Core Haptics接口组,那么,示例性的,事件启动接口的代码内容可以如下:
(BOOL)startAndReturnError:(NSError**)outError。
并且,在执行完毕任一音乐节奏区间对应的震动事件后,移动终端可以清除该音乐节奏区间对应的震动事件的震动数据,从而释放存储空间,以降低音乐节奏反馈对于内存的占用。其中,震动数据可以包括但不局限于关于震动事件的相关数据。
本发明实施例所提供的方案,在多媒体数据的播放过程中,若检测到播放至多媒体数据的音乐节奏区间,则确定该音乐节奏区间对应的震动事件,并控制与移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件。本方案中,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
可选地,在本发明的另一实施例中,上述的S101所述的音乐节奏区间对应的震动事件为利用音乐节奏区间对应的震动描述信息,所构建的事件;
其中,该震动描述信息包括:震动参数和/或时间参数;该震动参数可以包括:震动级别参数和/或震动方式参数;其中,该震动方式参数中包括类型、强度、锐度和震动变化曲线中的至少一种。
该实施例中,为了实现音乐节奏反馈,针对存在音乐内容的多媒体数据,在确定出该多媒体数据的音乐节奏区间后,可以确定音乐节奏区间对应的震动描述信息,音乐节奏区间对应的震动描述信息用于描述震动引擎在该音乐节奏区间播放时所需进行的震动。其中,音乐节奏区间对应的震动描述信息可以根据多媒体数据的音乐节奏进行确定,这样,该震动与该音乐节奏区间的节奏起伏相匹配。其中,任一音乐节奏区间的震动描述信息可以人工分析确定,也可以基于专门的音频识别软件来确定。另外,针对一个音乐节奏区间而言,可以继续划分子区间,该子区间可以称为节奏,这样,一个音乐节奏区间可以包括多个节奏,该音乐节奏区间对应的震动描述信息中可以包括:关于音乐节奏区间的时间参数、关于各节奏的时间参数,以及各节奏对应的震动方式参数。
可以理解的是,针对任一多媒体数据而言,该多媒体数据的各个音乐节奏区间对应的震动描述信息,可以作为该多媒体数据的节奏描述信息进行保存。示例性的,多媒体数据的节奏描述信息可以记录在指定类型的文件中,指定类型可以为:json、xml等能够被机器识别的类型,当然并不局限于此。
本实施例中,针对任一音乐节奏区间而言,由于该音乐节奏区间对应的震动描述信息用于描述震动引擎在该音乐节奏区间播放时所需进行的震动,该震动与该音乐节奏区间的节奏起伏相匹配,这样,可以利用该音乐节奏区间对应的震动描述信息来构建震动事件,可以使得该震动事件控制震动引擎所进行的震动,与该音乐节奏区间的节奏起伏相匹配。
为了方便理解,下面介绍震动描述信息所包括震动参数中的各个参数:
震动方式参数中的类型可以包括短震类型或长震类型;震动方式参数中的强度能够改变触觉的幅度和力度;震动方式参数中的锐度又可以称为尖锐度或震动清晰度,能够确定触觉体验的特征。
震动方式参数中的震动变化曲线用于表征至少一个时间点和每一时间点下的震动参数的对应关系,至少一个时间点为音乐节奏区间的持续时间段内的时间点。示例性的,假设某一音乐节奏区间的持续时长为3s,该震动变化曲线可以记录有:0-1s下的震动参数为:强度1和锐度1,1-2s下的震动参数为:震动强度1和震动锐度2,2-3s下的震动参数为:震动强度3和震动锐度2。可以理解的是,震动方式参数中可以仅仅包括:类型、强度和锐度,这样,针对该音乐节奏区间对应的震动事件而言,震动类型为震动方式参数中的类型,且强度和锐度是固定值,具体为该震动方式参数中的强度和锐度;当然,震动方式参数中可以仅仅包括:类型和震动变化曲线,这样,针对该音乐节奏区间对应的震动事件而言,震动类型为该震动方式参数中的类型,且强度和锐度按照变化曲线进行变化;另外,该震动方式参数中可以同时包括:类型、强度、锐度和震动变化曲线,这样,针对该音乐节奏区间对应的震动事件而言,震动类型为该震动方式参数中的类型,强度和锐度的初始值为该震动方式参数中的强度和锐度,并且,强度和锐度按照震动方式参数中的变化曲线进行变化。
震动级别参数的参数值可以为至少两个,即至少两个震动级别,不同的震动级别下,震动方式参数可以不同。可以理解的是,在设置有震动级别参数与震动方式参数的对应关系时,震动参数可以仅仅包括震动级别参数,这样,可以通过震动级别参数来确定出震动方式参数。
另外,由于震动事件是利用音乐节奏区间对应的震动描述信息所构建,那么,移动终端检测是否播放至该多媒体数据的音乐节奏区间之前,可以获取该多媒体数据的音乐节奏区间对应的震动描述信息,以基于音乐节奏区间对应的震动描述信息来构建震动事件。其中,多媒体数据的音乐节奏区间对应的震动描述信息可以由服务器自行生成并发送至移动终端,也可以由人为预设在服务器中并通过服务器发送至移动终端,还可以由移动终端自行生成,这都是合理的。
示例性的,在一种实现方式中,移动终端向服务器发送针对该多媒体数据的播放请求,而服务器在反馈多媒体数据的同时,向移动终端反馈预先存储的该多媒体数据的音乐节奏区间对应的震动描述信息,该震动描述信息是根据该多媒体数据的音乐节奏所确定;从而该移动终端可以获取到该多媒体数据的音乐节奏区间对应的震动描述信息。在该种实现方式中,多媒体数据的音乐节奏区间对应的震动描述信息为预先存储在服务器中的信息。针对震动描述信息存储在服务器中的情况而言,在一种实现方式中,服务器可以根据多媒体数据的音乐节奏,生成多媒体数据的音乐节奏区间对应的震动描述信息,并对生成的震动描述信息进行存储;在另一种实现方式中,服务器接收相关人员所预设的该多媒体数据的音乐节奏区间对应的震动描述信息,并存储所接收到的震动描述信息。
示例性的,在另一种实现方式中,若多媒体数据为移动终端的本地数据,则移动终端在获取到多媒体数据后,可以根据该多媒体数据的音乐节奏确定多媒体数据的音乐节奏区间对应的震动描述信息。该种实现方式中,该多媒体数据的音乐节奏区间对应的震动描述信息由移动终端自行生成并存储。
本实施例中,在多媒体数据的播放过程中,若检测到播放至多媒体数据的音乐节奏区间,则确定该音乐节奏区间对应的震动事件,其中,震动事件是利用音乐节奏区间对应的震动描述信息所构建的;并控制与移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件。本方案中,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
可选地,在本发明的另一实施例中,在执行S101之前,从移动终端角度所提供的音乐节奏反馈方法还可以包括:
获取该多媒体数据的音乐节奏;
基于该音乐节奏,确定该多媒体数据的音乐节奏区间对应的震动描述信息。
其中,任一种能够获取多媒体数据的音乐节奏的方式,均可以应用于本实施例;在确定出音乐节奏后,任一种能够基于音乐节奏,确定音频节奏区间对应的震动描述信息的实现方式,均可以应用于本实施例。
示例性的,在一种实现方式中,获取该多媒体数据的音乐节奏的方式可以包括:获取多媒体数据的音频数据,计算音频数据的音频信号与预设的音乐节奏模型的音频信号之间的互相关函数,根据互相关函数曲线的各波峰位置在该音频信号中出现的次数,得到该音频数据中包含的预设的音乐节奏模型的数量,从而得到音乐节奏的数量,并通过各波峰位置所处于的时间区间,确定出各音乐节奏的音乐节奏区间。在确定出音乐节奏区间后,可以基于相应的波峰位置的高低等信息确定出音乐节奏区间对应的震动描述信息中的类型、强度和锐度,以及震动变化曲线。其中,音乐节奏模型可以为从一段音乐中选取基本的节拍模型,例如:Dum-Du-Dum-Dum的节拍模型。
可选地,在本发明的另一实施例中,该移动终端中设置有用于控制该震动引擎的触觉反馈接口组,如图2所示,上述的S101可以包括:
S101A,在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,获取该音乐节奏区间对应的震动描述信息;
S101B,通过调用该触觉反馈接口组中的事件建立接口,利用所获取的震动描述信息中的震动参数,构建该音乐节奏区间对应的震动事件。
其中,该音乐节奏区间对应的震动事件用于控制该震动引擎按照该音乐节奏区间的节奏起伏进行震动。
其中,通过调用该触觉反馈接口组中的事件建立接口,利用所获取的震动描述信息中的震动参数,构建该音乐节奏区间对应的震动事件,可以包括:
通过调用触觉反馈接口组中的事件建立接口,构建属于震动方式参数中的类型的初始震动事件,并为该初始震动事件设置其他参数,得到与该音乐节奏区间对应的震动描述信息相匹配的震动事件;
其中,其他参数为震动方式参数中除类型以外的参数。
若该触觉反馈接口组可以为Core Haptics接口组,那么,示例性的,事件建立接口的代码内容可以如下:
(nullable id<CHHapticAdvancedPatternPlayer>)create Advanced PlayerWith Pattern:
(CHHapticPattern*)pattern
error:(NSError**)outError。
本实施例中,在多媒体数据的播放过程中,若检测到播放至多媒体数据的音乐节奏区间,则获取该音乐节奏区间对应的震动描述信息,通过调用该触觉反馈接口组中的事件建立接口,利用所获取的震动描述信息中的震动参数,构建该音乐节奏区间对应的震动事件;并控制与移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件。本方案中,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题;并且,可以减少缓存的占用和避免计算资源的浪费。
可选地,为了使得在执行震动事件之前,震动引擎处于准备状态,从而保证震动事件的快速有效地执行,在本发明的另一实施例中,在控制所述震动引擎执行所述音乐节奏区间对应的震动事件之前,该音乐节奏反馈方法,还可以包括:
对该震动引擎进行初始化。
其中,对该震动引擎进行初始化的实现方式存在多种。示例性的,在一种实现方式中,对该震动引擎进行初始化,可以包括:
通过调用关于震动引擎的初始化接口,对该震动引擎进行初始化;其中,该关于震动引擎的初始化接口为该移动终端所设置的触觉反馈接口组中的接口。示例性的,若该触觉反馈接口组可以为Core Haptics接口组,那么,示例性的,该初始化接口的代码内容可以如下:
(nullable instancetype)initAndReturnError:(NSError**)error。
本实施例中所提供的方案,可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题;并且,在执行震动事件之前,可以使得震动引擎处于准备状态,从而保证震动事件的快速有效地执行。
可选地,多媒体数据的音乐节奏区间的数量为多个,在本发明的另一实施例中,在包括S101-S102的基础上,从移动终端的角度所提供的该音乐节奏反馈方法还可以包括如下步骤:
若当前播放时间未达到该多媒体数据的任一音乐节奏区间,则查找起始时间位于当前播放时间之后且最近的音乐节奏区间,得到候选音乐节奏区间;
获取该候选音乐节奏区间对应的震动描述信息;
基于该候选音乐节奏区间对应的震动描述信息,构建该候选音乐节奏区间对应的震动事件。
该实施例中,移动终端预先建立候选音乐节奏区间对应的震动事件,可以使得后续在播放至该候选音乐节奏区间时,直接获取该候选音乐节奏区间对应的震动事件,并执行该震动事件,从而达到快速地进行音乐节奏反馈的目的。需要强调的是,任一音乐节奏区间均可以作为候选音乐节奏区间。
可以理解的是,本实施例中,移动终端在控制震动引擎执行音乐节奏区间对应的震动事件之前,还可以对该震动引擎进行初始化。
本实施例所提供的方案,可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题;并且,预先建立候选音乐节奏区间对应的震动事件,这样使得在达到候选音乐节奏区间时,直接获取该候选音乐节奏区间对应的震动事件,并执行该震动事件,从而可以快速地进行音乐节奏反馈。
另外,在本发明的另一实施例中,从移动终端的角度所提供的音乐节奏反馈方法还可以包括:
在多媒体数据播放过程中,为用户输出用于调整音乐节奏区间对应的震动参数的交互界面或弹窗;
获得用户基于该交互界面/弹窗所设置的震动参数,并利用所获得的震动参数,更新该多媒体数据的音乐节奏区间对应的相应震动参数。
在震动参数被更新后,移动终端可以根据更新后的震动参数,构建震动事件,从而符合用户的个性化震动需求。
示例性的,该交互界面/弹窗中显示有震动参数对应的设置按钮,从而用户可以基于设置按钮来完成各个震动参数的设置。其中,该交互界面/弹窗中显示有震动参数可以包括震动方式参数和震动级别参数中的部分或全部参数,也就是,用户可以根据自身需求或喜好设置全部或部分的震动参数。示例性的,针对震动方式参数中的强度而言,用户可以将强度进行调高或调低;针对震动方式参数中的类型而言,用户可以设置为短震或长震。
并且,在不影响用户的播放体验的前提下,移动终端可以在多媒体数据播放过程中,自行输出该交互界面或弹窗,以供用户进行参数设置。例如:在非全屏状态下,在播放界面的右侧或下侧自动弹出该交互界面或弹窗。当然,移动终端可以在检测到用户发出的指定操作后,输出交互界面或弹窗。例如:移动终端检测到用户的指定手势操作,或者,检测到用户点击用于输出交互界面/弹窗的按钮,等等。
另外,用户也可以在设置界面中设置震动参数,例如:移动终端可以在设置界面中提供关于震动参数的设置图标,在检测到用户点击该设置图标后,移动终端可以输出关于震动参数的交互界面/弹窗,从而用户可以基于该交互界面/弹窗来实现震动参数的个性化设置。
本实施例所提供的方案中,通过为用户输出用于调整音乐节奏区间对应的震动参数的交互界面或弹窗,使得用户可以完成针对震动参数的个性化设置,也就是根据自身需求来选择所需的震动方式。可见,通过本方案可以进一步为用户提供个性化震动体验。
相应于上述从移动终端的角度所提供的方法,从服务器的角度,本发明实施例还提供了一种音乐节奏反馈方法。
如图3所述,本发明实施例还提供了一种音乐节奏反馈方法,应用于服务器,该方法可以包括如下步骤:
S301,获取多媒体数据的音乐节奏区间对应的震动描述信息;
S302,当接收到来自于移动终端的针对该多媒体数据的播放请求时,向该移动终端发送所获取的震动描述信息,以使该移动终端在播放至该音乐节奏区间时,确定基于该震动描述信息所构建的、该音乐节奏区间对应的震动事件,并控制与该移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件;其中,该震动事件用于控制该震动引擎震动。
服务器在接收到来自于移动终端的针对该多媒体数据的播放请求时,不但向移动终端反馈多媒体数据,而且,向该移动终端发送所获取的震动描述信息,以使得在多媒体数据的播放过程中,移动终端可以执行基于震动描述信息所构建的震动事件,从而以体感反馈的形式带给用户沉浸式的播放体验。
其中,该震动描述信息包括:震动参数和/或时间参数;该震动参数包括:震动级别参数和/或震动方式参数;其中,该震动方式参数中包括类型、强度、锐度和震动变化曲线中的至少一种。
可选地,该震动描述信息是根据所述多媒体数据的音乐节奏确定的。
可选地,获取多媒体数据的音乐节奏区间对应的震动描述信息,可以包括:
获取所述多媒体数据的音乐节奏;
基于所述音乐节奏,确定所述多媒体数据的音乐节奏区间对应的震动描述信息。
其中,多媒体数据的音乐节奏区间对应的震动描述信息的具体内容,以及获取方式可以参见上述从移动终端角度所提供的实施例中的相关描述内容,在此不做赘述。同样的,移动终端确定基于该震动描述信息所构建的、该音乐节奏区间对应的震动事件,并控制与该移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件的详细描述内容,可以参见上述从移动终端的角度所提供实施例中的相关描述内容,在此不做赘述。
本发明实施例所提供的方案,服务器中获取多媒体数据的音乐节奏区间对应的震动描述信息;进而,当接收到来自于移动终端的针对该多媒体数据的播放请求时,向该移动终端发送所获取的震动描述信息,以使该移动终端在播放至该音乐节奏区间时,确定基于该震动描述信息所构建的、该音乐节奏区间对应的震动事件,并控制与该移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件;其中,该震动事件用于控制该震动引擎震动。本方案中,服务器向移动终端反馈多媒体数据的音乐节奏区间对应的震动描述信息,这样,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
下面结合一具体示例,对本发明实施例所提供的一种音乐节奏反馈方法进行介绍。
假设视频A中存在多段音乐内容。针对每一段音乐内容而言,设该音乐内容在该视频A中的起始时间为startT,终止时间为endT,从startT到endT的这段时间可以称为一个音乐节奏区间。基于对于音乐节奏区间的划分方式,该视频A中可以包括多个音乐节奏区间。
为了针对视频A实现音乐节奏反馈,服务器预先对视频A执行如下预处理操作:
步骤1,通过人工方式或指定的音频识别软件,构建视频A的节奏描述文件;
步骤2,将视频A的节奏描述文件存储到服务器中。
其中,该节奏描述文件可以为json、xml等类型。具体而言,该节奏描述文件中可以记录各个音乐节奏区间对应的震动描述信息,每一音乐节奏区间对应的震动描述信息可以包括:
a.时间参数:音乐节奏区间的起始时刻和音乐节奏区间的持续时长;
b.震动参数:震动方式参数;其中,震动方式参数中包括类型、强度、锐度和震动变化曲线;
在完成视频A的预处理操作后,可以基于视频A的节奏描述文件来实现音乐节奏反馈方法。具体过程可以如下:
步骤一、移动终端中的音乐节奏反馈装置在检测到移动终端针对视频A的播放指令时,通过服务器查询该视频A是否存在节奏描述文件,如果存在,从服务器中下载视频A的节奏描述文件,并存储到移动终端的磁盘中;
步骤二、在视频A开始播放时,利用视频A的当前播放时间curT,在视频A的节奏描述文件中查找起始时间位于curT之后且离curT最近的音乐节奏区间;为了方便引用,起始时间位于curT之后且离curT最近的音乐节奏区间可以作为候选音乐节奏区间,并且,设定待处理音乐节奏区间的起始时间为StartM。
步骤三,设置定时器,每间隔T0秒检查一次当前播放时间,并将当前播放时间与StartM进行比较,若当前播放时间不小于StartM,则执行步骤四;
步骤四,读取视频A的节奏描述文件中候选音乐节奏区间对应的震动描述信息,并利用Core Haptics接口组中关于震动引擎的初始化接口,对移动终端的震动引擎进行初始化;
步骤五,针对候选音乐节奏区间,通过调用Core Haptics接口组中的事件建立接口,构建属于相应震动方式参数中的类型的初始震动事件,并为初始震动事件配置其他参数,得到该候选音乐节奏区间对应的震动事件。其中,其他参数为震动方式参数中除类型以外的参数。
步骤六,通过调用Core Haptics接口组中的事件启动接口,控制震动引擎执行候选音乐节奏区间对应的震动事件,以使得移动终端中的震动引擎按照各节奏对应的震动事件进行震动。
步骤七,在候选音乐节奏区间对应的震动事件执行完毕时,清除候选音乐节奏区间对应的震动事件的事件数据,并返回执行步骤步骤二,以继续利用视频A的当前播放时间curT,在视频A的节奏描述文件中查找起始时间位于curT之后且离curT最近的音乐节奏区间,开启下一个音乐节奏区间的处理过程。
本发明实施例所提供的方案,多媒体数据的播放形式更为丰富和新颖,且通过移动终端的震动,能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
下面结合另一具体示例,对本发明实施例所提供的一种音乐节奏反馈方法进行介绍。
假设视频A中存在多段音乐内容。针对每一段音乐内容而言,设该音乐内容在该视频A中的起始时间为startT,终止时间为endT,从startT到endT的这段时间可以称为一个音乐节奏区间。基于对于音乐节奏区间的划分方式,该视频A中可以包括多个音乐节奏区间,每一音乐节奏区间又被划分为一个或多个子区间,该子区间可以作为音乐节奏区间中的节奏,这样,每一音乐节奏区间可以包括一个或多个节奏。
为了针对视频A实现音乐节奏反馈,预先对视频A执行如下预处理操作:
步骤1,通过人工方式或指定的音频识别软件,构建视频A的节奏描述文件;
步骤2,将视频A的节奏描述文件存储到后台服务器中。
其中,该节奏描述文件可以为json、xml等类型。具体而言,该节奏描述文件中可以记录各个音乐节奏区间对应的震动描述信息,每一音乐节奏区间对应的震动描述信息可以包括:
a.时间参数:音乐节奏区间的起始时刻和音乐节奏区间的持续时长,以及每个节奏的起始时刻和持续时长;
b.震动参数:音乐节奏区间中每个节奏对应的震动方式参数;其中,震动方式参数中包括:类型、强度、锐度和震动变化曲线。
在完成视频A的预处理操作后,可以基于视频A的节奏描述文件来实现音乐节奏反馈方法。具体过程可以如下:
步骤一、移动终端中的音乐节奏反馈装置在检测到移动终端针对视频A的播放指令时,通过后台服务器查询该视频A是否存在节奏描述文件,如果存在,从后台服务器中下载视频A的节奏描述文件,并存储到移动终端的磁盘中;
步骤二、在视频A开始播放时,利用视频A的当前播放时间curT,在视频A的节奏描述文件中查找起始时间位于curT之后且离curT最近的音乐节奏区间;为了方便引用,起始时间位于curT之后且离curT最近的音乐节奏区间可以作为候选音乐节奏区间,并且,设定候选音乐节奏区间的起始时间为StartM。
步骤三,设置定时器,每间隔T0秒检查一次当前播放时间,并将当前播放时间与StartM进行比较,若当前播放时间不小于StartM,则执行步骤四;
步骤四,读取视频A的节奏描述文件中候选音乐节奏区间中各节奏的震动方式参数,并利用Core Haptics接口组中的关于震动引擎的初始化接口,对移动终端的震动引擎进行初始化;
步骤五,针对候选音乐节奏区间中每一节奏,通过调用Core Haptics接口组中的事件建立接口,构建属于该节奏的震动方式参数所包含类型的初始震动事件,并为初始震动事件配置其他参数,得到与该节奏对应的震动事件;其中,其他参数为该节奏的震动方式参数中的除类型以外的其他参数;
步骤六,按照候选音乐节奏区间中各节奏的起始时刻,通过调用Core Haptics接口组中的事件启动接口,控制震动引擎执行各节奏对应的震动事件,以使得移动终端中的震动引擎按照各节奏对应的震动事件进行震动;
步骤七,在候选音乐节奏区间中各节奏对应的震动事件均执行完毕时,清除候选节奏区间中各节奏对应的震动事件的事件数据,并返回执行步骤步骤二,以继续利用视频A的当前播放时间curT,在视频A的节奏描述文件中查找起始时间位于curT之后且离curT最近的音乐节奏区间,开启下一个音乐节奏区间的处理过程。
本发明实施例所提供的方案,多媒体数据的播放形式更为丰富和新颖,且通过移动终端的震动,能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
基于上述方法实施例,如图4所示,本发明实施例还提供了一种音乐节奏反馈系统,包括:移动终端410和服务器420;
所述移动终端410,用于向服务器420发送针对多媒体数据的播放请求;其中,所述移动终端与震动引擎连接;
所述服务器420,用于获取多媒体数据的音乐节奏区间对应的震动描述信息;当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息;
所述移动终端410,还用于在播放至所述多媒体数据的音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制所述震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
其中,服务器在接收到来自于移动终端的针对该多媒体数据的播放请求时,不但向移动终端反馈多媒体数据,而且,向该移动终端发送所获取的震动描述信息,以使得在多媒体数据的播放过程中,移动终端可以执行基于震动描述信息所构建的震动事件,从而以体感反馈的形式带给用户沉浸式的播放体验。
其中,多媒体数据的音乐节奏区间对应的震动描述信息的具体内容,以及获取方式可以参见上述从移动终端角度所提供的实施例中的相关描述内容,在此不做赘述。同样的,移动终端确定基于该震动描述信息所构建的、该音乐节奏区间对应的震动事件,并控制与该移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件的详细描述内容,可以参见上述从移动终端的角度所提供实施例中的相关描述内容,在此不做赘述。
本发明实施例所提供的方案,多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
相应于上述从移动终端的角度所提供的方法实施例,本发明实施例提供了一种音乐节奏反馈装置。如图5所示,本发明实施例所提供的一种音乐节奏反馈装置,设置于移动终端,所述移动终端与震动引擎连接;所述装置可以包括:
事件确定模块510,用于在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动;
事件执行模块520,用于控制所述震动引擎执行所述音乐节奏区间对应的震动事件。
本发明实施例所提供的方案,在多媒体数据的播放过程中,若检测到播放至多媒体数据的音乐节奏区间,则确定该音乐节奏区间对应的震动事件,并控制与移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件。本方案中,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
可选地,所述震动事件为利用所述音乐节奏区间对应的震动描述信息,所构建的事件;
其中,所述震动描述信息包括:震动参数和/或时间参数;所述震动参数包括:震动级别参数和/或震动方式参数;其中,所述震动方式参数中包括类型、强度、锐度和震动变化曲线中的至少一种。
可选地,所述震动描述信息是根据所述多媒体数据的音乐节奏确定的。
可选地,所述装置还包括:
震动描述信息确定模块,用于获取所述多媒体数据的音乐节奏;基于所述音乐节奏,确定所述多媒体数据的音乐节奏区间对应的震动描述信息。
可选地,所述移动终端中设置有用于控制所述震动引擎的触觉反馈接口组;
所述事件确定模块确定所述音乐节奏区间对应的震动事件,可以包括:
获取所述音乐节奏区间对应的震动描述信息;
通过调用所述触觉反馈接口组中的事件建立接口,利用所获取的震动描述信息中的震动参数,构建所述音乐节奏区间对应的震动事件。
可选地,所述装置还包括:
初始化模块,用于在所述事件执行模块控制所述震动引擎执行所述音乐节奏区间对应的震动事件之前,对所述震动引擎进行初始化。
可选地,所述音乐节奏区间的数量为多个;所述装置还包括:
事件震动模块,用于若当前播放时间未达到所述多媒体数据的任一音乐节奏区间,则查找起始时间位于当前播放时间之后且最近的音乐节奏区间,得到候选音乐节奏区间;获取所述候选音乐节奏区间对应的震动描述信息;基于所述候选音乐节奏区间对应的震动描述信息,构建所述候选音乐节奏区间对应的震动事件。
相应于上述从服务器角度所提供的方法实施例,本发明实施例还提供了一种音乐节奏反馈装置,设置于服务器。如图6所示,该音乐节奏反馈装置可以包括:
获取模块610,用于获取多媒体数据的音乐节奏区间对应的震动描述信息;
请求响应模块620,用于当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息,以使所述移动终端在播放至所述音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制与所述移动终端连接的震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
本发明实施例所提供的方案,服务器中获取多媒体数据的音乐节奏区间对应的震动描述信息;进而,当接收到来自于移动终端的针对该多媒体数据的播放请求时,向该移动终端发送所获取的震动描述信息,以使该移动终端在播放至该音乐节奏区间时,确定基于该震动描述信息所构建的、该音乐节奏区间对应的震动事件,并控制与该移动终端连接的震动引擎执行该音乐节奏区间对应的震动事件;其中,该震动事件用于控制该震动引擎震动。本方案,服务器向移动终端反馈多媒体数据的音乐节奏区间对应的震动描述信息,这样,移动终端在播放多媒体数据的同时,能够控制与移动终端连接的震动引擎,在音乐节奏区间播放时按照相应的震动事件进行震动,使得多媒体数据的播放形式更为丰富和新颖,且能够以体感反馈的形式带给用户沉浸式的播放体验,大大提升播放效果。可见,通过本方案可以解决相关技术中多媒体数据播放时带给用户的播放体验较为单一且传统的问题。
相应于上述方法实施例,本发明实施例还提供了一种电子设备,如图7所示,包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现本发明实施例从移动终端的角度所提供的音乐节奏反馈方法的步骤,或实现本发明实施例从服务器角度所提供的音乐节奏反馈方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一所述的音乐节奏反馈方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的音乐节奏反馈方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、介质等实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (15)

1.一种音乐节奏反馈方法,其特征在于,应用于移动终端,所述移动终端与震动引擎连接;所述方法包括:
在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动;
控制所述震动引擎执行所述音乐节奏区间对应的震动事件。
2.根据权利要求1所述的方法,其特征在于,所述震动事件为利用所述音乐节奏区间对应的震动描述信息,所构建的事件;
其中,所述震动描述信息包括:震动参数和/或时间参数;所述震动参数包括:震动级别参数和/或震动方式参数;其中,所述震动方式参数中包括类型、强度、锐度和震动变化曲线中的至少一种。
3.根据权利要求2所述的方法,其特征在于,所述震动描述信息是根据所述多媒体数据的音乐节奏确定的。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述多媒体数据的音乐节奏;
基于所述音乐节奏,确定所述多媒体数据的音乐节奏区间对应的震动描述信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述移动终端中设置有用于控制所述震动引擎的触觉反馈接口组;
所述确定所述音乐节奏区间对应的震动事件,包括:
获取所述音乐节奏区间对应的震动描述信息;
通过调用所述触觉反馈接口组中的事件建立接口,利用所获取的震动描述信息中的震动参数,构建所述音乐节奏区间对应的震动事件。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述控制所述震动引擎执行所述音乐节奏区间对应的震动事件之前,还包括:
对所述震动引擎进行初始化。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述音乐节奏区间的数量为多个;所述方法还包括:
若当前播放时间未达到所述多媒体数据的任一音乐节奏区间,则查找起始时间位于当前播放时间之后且最近的音乐节奏区间,得到候选音乐节奏区间;
获取所述候选音乐节奏区间对应的震动描述信息;
基于所述候选音乐节奏区间对应的震动描述信息,构建所述候选音乐节奏区间对应的震动事件。
8.一种音乐节奏反馈方法,其特征在于,应用于服务器,所述方法包括:
获取多媒体数据的音乐节奏区间对应的震动描述信息;
当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息,以使所述移动终端在播放至所述音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制与所述移动终端连接的震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
9.根据权利要求8所述的方法,其特征在于,所述震动描述信息是根据所述多媒体数据的音乐节奏确定的。
10.根据权利要求9所述的方法,其特征在于,所述获取多媒体数据的音乐节奏区间对应的震动描述信息,包括:
获取所述多媒体数据的音乐节奏;
基于所述音乐节奏,确定所述多媒体数据的音乐节奏区间对应的震动描述信息。
11.一种音乐节奏反馈系统,其特征在于,包括:移动终端和服务器;
所述移动终端,用于向服务器发送针对多媒体数据的播放请求;其中,所述移动终端与震动引擎连接;
所述服务器,用于获取多媒体数据的音乐节奏区间对应的震动描述信息;当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息;
所述移动终端,还用于在播放至所述多媒体数据的音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制所述震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
12.一种音乐节奏反馈装置,其特征在于,设置于移动终端,所述移动终端与震动引擎连接;所述装置包括:
事件确定模块,用于在多媒体数据的播放过程中,当检测到播放至多媒体数据的音乐节奏区间时,确定所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动;
事件执行模块,用于控制所述震动引擎执行所述音乐节奏区间对应的震动事件。
13.一种音乐节奏反馈装置,其特征在于,设置于服务器,所述装置包括:
获取模块,用于获取多媒体数据的音乐节奏区间对应的震动描述信息;
请求响应模块,用于当接收到来自于移动终端的针对所述多媒体数据的播放请求时,向所述移动终端发送所获取的震动描述信息,以使所述移动终端在播放至所述音乐节奏区间时,确定基于所述震动描述信息所构建的、所述音乐节奏区间对应的震动事件,并控制与所述移动终端连接的震动引擎执行所述音乐节奏区间对应的震动事件;其中,所述震动事件用于控制所述震动引擎震动。
14.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤,或权利要求8-10任一项所述的方法步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤,或权利要求8-10任一项所述的方法步骤。
CN202010955525.6A 2020-09-11 2020-09-11 音乐节奏反馈方法、装置、电子设备及系统 Pending CN112086080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010955525.6A CN112086080A (zh) 2020-09-11 2020-09-11 音乐节奏反馈方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010955525.6A CN112086080A (zh) 2020-09-11 2020-09-11 音乐节奏反馈方法、装置、电子设备及系统

Publications (1)

Publication Number Publication Date
CN112086080A true CN112086080A (zh) 2020-12-15

Family

ID=73737645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010955525.6A Pending CN112086080A (zh) 2020-09-11 2020-09-11 音乐节奏反馈方法、装置、电子设备及系统

Country Status (1)

Country Link
CN (1) CN112086080A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866732A (zh) * 2020-12-30 2021-05-28 广州方硅信息技术有限公司 音乐广播方法及其装置、设备与介质
CN112866770A (zh) * 2020-12-31 2021-05-28 北京奇艺世纪科技有限公司 一种设备控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839538A (zh) * 2012-11-22 2014-06-04 腾讯科技(深圳)有限公司 音乐节奏检测方法及检测装置
CN109120967A (zh) * 2017-06-23 2019-01-01 北星传媒(北京)有限公司 用于ktv的附加内容的插播方法及装置
CN111261185A (zh) * 2020-01-10 2020-06-09 腾讯音乐娱乐科技(深圳)有限公司 播放音频的方法、装置、系统、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839538A (zh) * 2012-11-22 2014-06-04 腾讯科技(深圳)有限公司 音乐节奏检测方法及检测装置
CN109120967A (zh) * 2017-06-23 2019-01-01 北星传媒(北京)有限公司 用于ktv的附加内容的插播方法及装置
CN111261185A (zh) * 2020-01-10 2020-06-09 腾讯音乐娱乐科技(深圳)有限公司 播放音频的方法、装置、系统、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866732A (zh) * 2020-12-30 2021-05-28 广州方硅信息技术有限公司 音乐广播方法及其装置、设备与介质
CN112866770A (zh) * 2020-12-31 2021-05-28 北京奇艺世纪科技有限公司 一种设备控制方法、装置、电子设备及存储介质
CN112866770B (zh) * 2020-12-31 2023-12-05 北京奇艺世纪科技有限公司 一种设备控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10468004B2 (en) Information processing method, terminal device and computer storage medium
CN112086080A (zh) 音乐节奏反馈方法、装置、电子设备及系统
US10799795B1 (en) Real-time audio generation for electronic games based on personalized music preferences
CN103177743A (zh) 一种歌曲播放方法及装置
CN112086082A (zh) 电视k歌的语音交互方法、电视和存储介质
CN112040290B (zh) 一种多媒体播放方法、装置、设备及系统
JP7012792B2 (ja) 動画を配信するためのシステム、方法、及びプログラム
CN105786363B (zh) 一种音箱组的播放控制方法、装置及智能音箱
CN112188226B (zh) 直播处理方法、装置、设备及计算机可读存储介质
CN111506765B (zh) 控制乐曲播放节奏的方法、装置、电子设备及存储介质
JP7277777B2 (ja) 音声再生プログラム、音声再生装置および音声生成方法
JP5633446B2 (ja) ライブ配信システム、データ中継装置及びプログラム
CN113395577A (zh) 变声播放方法和装置、存储介质及电子设备
US9959344B1 (en) Systems and methods for playing multiple sounds
CN113094541B (zh) 音频播放方法、电子设备及存储介质
JP2016540524A (ja) プログラム、記録媒体、情報処理装置及び制御方法
JP5853827B2 (ja) コンテンツ普及管理装置、およびコンテンツ普及管理方法
US20240096329A1 (en) Qa tv-making millions of characters alive
US8914475B2 (en) Method, device and terminal for editing and playing music according to data download speed
CN112214153B (zh) 多媒体信息录制方法、服务器、终端、系统及存储介质
JP6694105B1 (ja) 情報処理方法、情報処理端末、およびプログラム
JP6574697B2 (ja) カラオケシステム
JP2017131552A (ja) 情報処理装置及びプログラム
JP6098828B2 (ja) カラオケ装置及びカラオケ用プログラム
JP2005202556A (ja) 情報提供装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination