CN111787346B - 基于直播的乐谱展示方法、装置、设备及存储介质 - Google Patents
基于直播的乐谱展示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111787346B CN111787346B CN202010655118.3A CN202010655118A CN111787346B CN 111787346 B CN111787346 B CN 111787346B CN 202010655118 A CN202010655118 A CN 202010655118A CN 111787346 B CN111787346 B CN 111787346B
- Authority
- CN
- China
- Prior art keywords
- score
- music
- anchor
- live
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000006870 function Effects 0.000 claims description 95
- 230000008569 process Effects 0.000 claims description 47
- 230000033764 rhythmic process Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 36
- 238000001228 spectrum Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本申请提供了一种基于直播的乐谱展示方法、装置、设备及存储介质;方法包括:在直播界面中,呈现主播的直播内容;当所述主播的直播内容为音乐演奏时,在直播界面中,实时展示与主播演奏的音乐相对应的乐谱。通过本申请,能够实时展示与主播演奏的音乐相对应的乐谱,使得观众可以准确获知主播所演奏的每一个音符。
Description
技术领域
本申请涉及互联网技术领域及人工智能技术领域,尤其涉及一种基于直播的乐谱展示方法、装置、设备及存储介质。
背景技术
随着互联网的发展和网络的普及,直播已经是非常流行的一种教学方式。很多音乐老师或者是有艺术才艺的人都开通了直播号,在网上进行音乐直播,如演奏钢琴、古筝、吉他等,使得观众可以通过观看直播的方式,在家学习音乐。
在直播的过程中,在主播演奏音乐时,一些乐理基础较差的观众无法准确获知主播所演奏的每一个音符,导致观众的学习效果差。
发明内容
本申请实施例提供一种基于直播的乐谱展示方法、装置、设备及计算机可读存储介质,能够实时展示与主播演奏的音乐相对应的乐谱,使得观众可以准确获知主播所演奏的每一个音符。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种基于直播的乐谱展示方法,包括:
在直播界面中,呈现主播的直播内容;
当所述主播的直播内容为音乐演奏时,在直播界面中,实时展示与主播演奏的音乐相对应的乐谱。
本申请实施例提供一种基于直播的乐谱展示装置,包括:
呈现模块,用于在直播界面中,呈现主播的直播内容;
展示模块,用于当所述主播的直播内容为音乐演奏时,在直播界面中,实时展示与所述主播演奏的音乐相对应的乐谱。
上述方案中,所述装置还包括:
监测模块,用于对所述主播在直播过程中的声音进行监测;
当监测到所述声音中包含音乐演奏的声音时,确定所述主播的直播内容为音乐演奏。
上述方案中,所述装置还包括:
图像识别模块,用于对所述主播在直播过程中的直播图像进行识别,得到图像识别结果;
当所述图像识别结果表征所述主播在演奏音乐时,确定所述主播的直播内容为音乐演奏。
上述方案中,所述装置还包括:
接收模块,用于在在直播界面中呈现乐谱展示功能项;
当接收到基于所述乐谱展示功能项触发的乐谱展示指令时,确定所述主播的直播内容为音乐演奏。
上述方案中,所述展示模块,还用于伴随着主播的演奏过程,将与主播演奏的音乐相对应的乐谱从直播界面的一端移入,沿目标方向移动至直播界面的另一端,并在移动至另一端后隐藏所述乐谱。
上述方案中,所述展示模块,还用于实时对主播演奏的音乐进行音律识别,得到对应所述音乐的乐谱数据;
依据所述乐谱数据,绘制对应所述音乐的乐谱;
实时展示绘制得到的乐谱。
上述方案中,所述展示模块,还用于在直播界面中呈现对应乐谱的浮层;
伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的乐谱。
上述方案中,所述装置还包括:
获取模块,还用于确定所述主播演奏音乐时所使用的乐器类型;
获取与所述乐器类型相对应的目标乐谱类型;
相应的,所述展示模块,还用于实时展示与主播演奏的音乐相对应的目标乐谱类型的乐谱。
上述方案中,所述展示模块,还用于实时对主播演奏的音乐进行节奏点检测,得到对应所述音乐的节奏点;
实时展示与主播演奏的音乐相对应的乐谱,并在展示所述乐谱的过程中,采用区别于所述乐谱中其它音符的展示方式,展示所述节奏点对应的目标音符。
上述方案中,所述呈现模块,还用于在直播界面中呈现乐谱类型的切换功能项;
响应于针对所述切换功能项的触发操作,呈现至少两个乐谱类型的选择项;
响应于基于所述至少两个乐谱类型的选择项触发的选择操作,确定所述选择操作所指示的乐谱类型为目标乐谱类型;
相应的,所述展示模块,还用于实时展示与主播演奏的音乐相对应的目标乐谱类型的乐谱。
上述方案中,所述呈现模块,还用于在所述直播界面中,呈现对应所述乐谱的关闭功能项;
响应于针对所述关闭功能项的触发操作,取消显示所述与主播演奏的音乐相对应的乐谱。
上述方案中,所述呈现模块,还用于呈现乐谱缓存功能项;
响应于针对所述乐谱缓存功能项的触发操作,呈现包含有已展示乐谱的乐谱界面,并在所述乐谱界面中呈现对应所述已展示乐谱的确定功能项;
响应于针对所述确定功能项的触发操作,存储对应所述已展示乐谱。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的基于直播的乐谱展示方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的基于直播的乐谱展示方法。
本申请实施例具有以下有益效果:
本申请通过在直播界面中,呈现主播的直播内容;当所述主播的直播内容为音乐演奏时,在直播界面中,实时展示与主播演奏的音乐相对应的乐谱;如此,能够实时展示与主播演奏的音乐相对应的乐谱,使得观众可以准确获知主播所演奏的每一个音符。
附图说明
图1是相关技术提供的直播界面的示意图;
图2是本申请实施例提供的基于直播的乐谱展示系统100的架构示意图;
图3是本申请实施例提供的终端的结构示意图;
图4是本申请实施例提供的基于直播的乐谱展示方法的流程示意图;
图5是申请实施例提供的直播界面的示意图;
图6是本申请实施例提供的直播界面的示意图;
图7是本申请实施例提供的直播界面的示意图;
图8是本申请实施例提供的直播界面的示意图;
图9是本申请实施例提供的直播界面的示意图,;
图10是本申请实施例提供的直播界面的示意图;
图11是本申请实施例提供的直播界面的示意图;
图12是本申请实施例提供的直播界面的示意图;
图13是本申请实施例提供的直播界面的示意图;
图14是本申请实施例提供的直播界面的示意图;
图15是本申请实施例提供的基于直播的乐谱展示方法的流程示意图;
图16是本申请实施例提供的进入直播间页面的界面示意图;
图17是本申请实施例提供的乐谱类型切换的界面示意图;
图18是本申请实施例提供的乐谱缓存的界面示意图;
图19是本申请实施例提供的音律识别及乐谱展示的流程示意图;
图20是本申请实施例提供的基于直播的乐谱展示装置的组成结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)直播,在现场随着事件的发生、发展进程同步制作和发布信息,具有双向流通过程的信息网络发布方式。
2)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
在直播教学的过程中,主播通常采用演奏音乐与讲解相关知识相结合的方式进行教学。图1是相关技术提供的直播界面的示意图,参见图1,在相关技术中,在主播演奏音乐的过程中,仅会在直播界面中呈现主播在演奏的画面,也即,观众仅能够看到主播演奏的样子,而演奏的具体内容需要通过听去获取。
对于一些乐理基础较差的观众,是无法通过听来获知主播所演奏的具体音符,进而导致跟不上主播的教学节奏,导致教学质量差。且长期在这种受挫的环境下,观众的学习积极性也会受到很大的打击,导致学习效果差。
基于此,本申请提供一种基于直播的乐谱展示方法、装置、电子设备及存储介质,以至少解决相关技术中的上述问题,接下来分别进行说明。
参见图2,图2是本申请实施例提供的基于直播的乐谱展示系统100的架构示意图,为实现支撑一个示例性应用,终端包括第一终端400和第二终端500(示例性示出了第二终端500-1及第二终端500-2),其中,第一终端位于主播侧,第二终端位于观众侧;终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。
第一终端400,用于采集主播在直播过程中的直播内容,并在直播界面中,呈现主播的直播内容;将直播内容发送给服务器;
服务器200,用于判断直播内容是否为音乐演奏;当主播的直播内容为音乐演奏时,实时获取与主播演奏的音乐相对应的乐谱,并将主播的直播内容和与主播演奏的音乐相对应的乐谱发送给第二终端500;
第二终端500,用于在直播界面中,呈现主播的直播内容;并在直播界面中,实时展示与主播演奏的音乐相对应的乐谱。
在一些实施例中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,ContentDelivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
下面说明本申请实施例提供的电子设备的示例性应用,本申请实施例提供的设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。
参见图3,图3是本申请实施例提供的终端的结构示意图,图3所示的终端包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的基于直播的乐谱展示装置可以采用软件方式实现,图2示出了存储在存储器450中的基于直播的乐谱展示装置455,其可以是程序和插件等形式的软件,包括以下软件模块:呈现模块4551和展示模块4552,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的基于直播的乐谱展示装置可以采用硬件方式实现,作为示例,本申请实施例提供的基于直播的乐谱展示装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的。。基于直播的乐谱展示方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DS P、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPG A,Field-Programmable Gate Array)或其他电子元件。
将结合本申请实施例提供的终端的示例性应用和实施,说明本申请实施例提供的基于直播的乐谱展示方法。在一些实施例中,本申请实施例提供的基于直播的乐谱展示方法可由终端单独实施,或由服务器及终端协同实施,下面以终端实施为例说明本申请实施例提供的基于直播的乐谱展示方法。
参见图4,图4是本申请实施例提供的基于直播的乐谱展示方法的流程示意图,将结合图4示出的步骤进行说明。
步骤401:终端在直播界面中,呈现主播的直播内容。
这里,终端可以是位于主播端的终端,也可以是位于观众端的终端。在实际实施时,终端上设置有直播平台客户端,通过直播平台客户端,在直播界面中,呈现主播的直播内容。
示例性地,当终端是位于主播端的终端时,通过图像采集设备(如摄像头)以及音频采集设备(如麦克风)实时采集主播的直播图像以及声音,以获取主播的直播内容,并在直播界面中,呈现主播的直播内容。
当终端是位于观众端的终端时,位于主播端的终端在获取到主播的直播内容后,会实时地将主播的直播内容发送给服务器;服务器将接收到的主播的直播内容再实时地发送给位于观众端的终端;位于观众端的终端在获取到主播的直播内容后,在直播界面中,呈现主播的直播内容。
步骤402:当主播的直播内容为音乐演奏时,在直播界面中,实时展示与主播演奏的音乐相对应的乐谱。
这里,音乐演奏指的是用乐器表演音乐,音乐演奏的形式可以包括独奏、伴奏、重奏、合奏、齐奏、领奏等。在演奏时,所采用的乐器数量可以是一个或多个,如音乐演奏的形式为独奏时,乐器数量为一个;而音乐演奏的形式为齐奏时,采用的乐器数量为两个或两个以上。当采用的乐器数量为两个或两个以上时,采用的乐器种类可以为同一种,也可以为多种。
本申请实施例可以应用于音乐教学直播,如钢琴、古筝、吉他等音乐教学直播,在直播过程中,直播内容通常包括音乐演奏、相关知识的讲解等;也可以应用于非教学直播,如主播在才艺展示时,进行音乐演奏。
在实际应用中,若当前主播的直播内容为音乐演奏,则根据主播所演奏的音乐,在直播界面中,实时展示与主播演奏的音乐相对应的乐谱。
在实际实施时,一旦主播的直播内容由其它内容切换为音乐演奏,就在直播界面中,实时展示与主播演奏的音乐相对应的乐谱。图5是申请实施例提供的直播界面的示意图,参见图5,当主播的直播内容为讲解古筝相关知识时,在直播界面中,呈现主播的直播内容、以及一些常规功能项,如点赞功能项、评论功能项;当主播的直播内容从讲解古筝相关知识切换为古筝弹奏时,除了在直播界面中,呈现主播的直播内容、以及一些常规功能项之外,还会实时展示与主播演奏的音乐相对应的乐谱501。
这里,可以在直播界面的顶部展示与主播演奏的音乐相对应的乐谱,也可以在直播界面的中间展示与主播演奏的音乐相对应的乐谱,这里不对乐谱展示的位置进行限定。同样,也不对乐谱的展示样式作限定,包括展示尺寸、展示颜色等。
在一些实施例中,可以通过以下方式确定主播的直播内容为音乐演奏:对所述主播在直播过程中的声音进行监测;当监测到所述声音中包含音乐演奏的声音时,确定所述主播的直播内容为音乐演奏。
在实际实施时,实时对主播在直播过程中的声音进行监测,一旦主播开始演奏音乐,监测到的声音中就会包含音乐演奏的声音,如主播开始弹钢琴时,监测到的声音中就会包含钢琴的琴声,当监测到所述声音中包含音乐演奏的声音时,就表示当前主播的直播内容为音乐演奏。
在一些实施例中,可以通过以下方式确定主播的直播内容为音乐演奏:对所述主播在直播过程中的直播图像进行识别,得到图像识别结果;当所述图像识别结果表征所述主播在演奏音乐时,确定所述主播的直播内容为音乐演奏。
在实际实施时,在主播直播的过程中,终端会实时获取主播的直播图像,并对直播图像中主播的动作进行识别,以判断主播的动作是否为音乐演奏,若是,则确定主播的直播内容为音乐演奏。
这里,根据直播音乐教学的课程不同,具体的音乐演奏动作也不同,可以根据课程的内容,对直播图像进行识别。例如,当课程为钢琴课程时,判断直播图像中主播的动作是否为弹钢琴;当课程为古筝课程时,判断直播图像中主播的动作是否为弹古筝。
在一些实施例中,可以通过以下方式确定主播的直播内容为音乐演奏:在直播界面中呈现乐谱展示功能项;当接收到基于所述乐谱展示功能项触发的乐谱展示指令时,确定所述主播的直播内容为音乐演奏。
在实际应用中,可以在直播界面中呈现乐谱展示功能项,通过接收用户点击该乐谱展示功能项,来确定主播的直播内容为音乐演奏。
示例性地,当终端为位于主播端的终端时,在主播要开始演奏音乐的时候,就可以点击该乐谱展示功能项,当终端接收到主播针对该乐谱展示功能项的点击操作,就确定主播的直播内容为音乐演奏。
示例性地,当终端为位于观众端的终端时,在观众知道主播要开始演奏音乐的时候,就可以点击该乐谱展示功能项,这里,观众可以根据主播的语音内容来获知主播接下来要演奏音乐,如主播在演奏音乐之前会说“下面听一下这一段”,如此,观众就能获知主播接下来要演奏音乐,这时,可以点击该乐谱展示功能项,当终端接收到观众针对该乐谱展示功能项的点击操作,就确定主播的直播内容为音乐演奏。
在一些实施例中,可以通过以下方式实时展示与主播演奏的音乐相对应的乐谱:伴随着主播的演奏过程,将与主播演奏的音乐相对应的乐谱从直播界面的一端移入,沿目标方向移动至直播界面的另一端,并在移动至另一端后隐藏所述乐谱。
在实际实施时,伴随着主播的演奏过程,乐谱会从直播界面的一端向另一端移动,以对乐谱进行滚动切换,使得当前在直播界面中呈现的乐谱,是最新演奏的部分音乐片段所对应的乐谱。
例如,图6是本申请实施例提供的直播界面的示意图,参见图6,伴随着主播的演奏过程,乐谱从左向右滚动切换。
在一些实施例中,可以通过以下方式实时展示与主播演奏的音乐相对应的乐谱:实时对主播演奏的音乐进行音律识别,得到对应所述音乐的乐谱数据;依据所述乐谱数据,绘制对应所述音乐的乐谱;实时展示绘制得到的乐谱。
在实际实施时,获取包含主播演奏的音乐的音频信号,对获取到的音频信号进行降噪处理,并提取出音频信号中旋律信号的频率、持续时间、重点节拍等信息;根据旋律信号的频率、持续时间、重点节拍等信息,将旋律信号转换为乐谱数据,以实现对主播演奏的音乐进行音律识别。
在一些实施例中,可以通过以下方式实时展示与主播演奏的音乐相对应的乐谱:在直播界面中呈现对应乐谱的浮层;伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的乐谱。
这里,浮层指的是当主播的直播内容为音乐演奏时,浮出的半透明的临时视图,其是模态的。在实际实施时,通过浮层来展示与主播演奏的音乐相对应的乐谱,且所展示的乐谱与当前演奏的音乐同步。
例如,图7是本申请实施例提供的直播界面的示意图,参见图7,通过浮层701来展示与主播演奏的音乐相对应的乐谱。
在一些实施例中,也可以直接在直播界面中展示与主播演奏的音乐相对应的乐谱。
在一些实施例中,终端可以确定主播演奏音乐时所使用的乐器类型;获取与所述乐器类型相对应的目标乐谱类型;相应的,可以通过以下方式实时展示与主播演奏的音乐相对应的乐谱:实时展示与主播演奏的音乐相对应的目标乐谱类型的乐谱。
在一些实施例中,可以通过主播设置的资料,来确定主播演奏音乐时所使用的乐器类型:主播在直播之前,通常会对直播间的资料进行设置,以对所要直播的内容进行介绍,主播可以获取主播所设置的资料,从资料中提取与乐器类型对应的信息,进而确定直播演奏音乐时所使用的乐器类型。
在一些实施例中,可以通过图像识别的方式,来确定主播演奏音乐时所使用的乐器类型:终端会实时获取主播的直播图像,在主播直播的过程中,直播图像中通常会包含主播所使用的乐器,基于此,可以通过对直播图像进行图像识别,来确定直播图像中的乐器类型。
在实际实施时,不同的乐器所对应的乐谱类型是不同的,例如,钢琴所对应的乐谱类型通常为五线谱,吉他所对应的乐谱类型通常为六线谱、五线谱、和弦谱、简谱等。基于此,本申请实施例会根据确定的乐器类型,来获取与乐器类型相对应的目标乐谱类型,以实施展示与主播演奏的音乐相对应的目标乐谱类型的乐谱。
在一些实施例中,当终端还可以根据用户的选择,来对乐谱类型进行切换:在直播界面中呈现乐谱类型的切换功能项;响应于针对切换功能项的触发操作,呈现至少两个乐谱类型的选择项;响应于基于至少两个乐谱类型的选择项触发的选择操作,确定选择操作所指示的乐谱类型为目标乐谱类型;相应的,可以通过以下方式实时展示与主播演奏的音乐相对应的乐谱:实时展示与主播演奏的音乐相对应的目标乐谱类型的乐谱。
这里,当可选择的乐谱类型的数量为至少两个时,用户可以基于至少两个乐谱类型的选择项,对乐谱类型进行切换。需要说明的是,这里的用户可以是主播,也可以是观众。也即,主播可以根据教学的需要,选择目标乐谱类型,以基于目标乐谱类型的乐谱,进行相应的讲解;观众可以根据自己的需要,选择熟悉的乐谱类型。
在实际应用中,终端可以先展示默认的乐谱类型的乐谱;当接收到用户针对切换功能项的触发操作后,呈现切换面板,并在切换面板中呈现至少两个乐谱类型;在接收到用户针对至少两个乐谱类型的选择项中目标乐谱类型的选择项的选择操作后,对展示的乐谱的乐谱类型进行切换,也即展示目标乐谱类型的乐谱。
例如,图8是本申请实施例提供的直播界面的示意图,参见图8,首先,在直播界面中呈现简谱类型的乐谱801以及相应的切换功能项802;然后,接收到乐谱类型的切换功能项的触发操作后,呈现包含有四种乐谱类型的选择项的切换面板803,四种乐谱类型为简谱、五线谱、七线谱、和弦谱;接着,接收到针对七线谱的选择项的选取操作后,在直播界面中呈现七线谱类型的乐谱804。
在实际实施时,呈现的至少两个乐谱类型的选择项,可以是根据确定的乐器类型确定的,例如,确定的乐器类型为吉他时,呈现的至少两个乐谱类型的选择项为简谱、五线谱、六线谱、和弦谱。
在一些实施例中,可以通过以下方式实时展示与主播演奏的音乐相对应的乐谱:实时对主播演奏的音乐进行节奏点检测,得到对应所述音乐的节奏点;实时展示与主播演奏的音乐相对应的乐谱,并在展示所述乐谱的过程中,采用区别于所述乐谱中其它音符的展示方式,展示所述节奏点对应的目标音符。
这里,节奏点指的是能量较大的音,可以通过计算音乐中每个音的能量值,来确定音乐中的节奏点,进而采用区别与其它音符的展示方式,展示节奏点对应的目标音符。这里,可以通过符号对目标音符进行标记的方式,使其区别与其它音符的展示方式;也可以采用不同于其他音符的颜色进行展示;还可以采用不同于其他音符的大小进行展示等。
例如,图9是本申请实施例提供的直播界面的示意图,参见图9,在节奏点对应的目标音符的上方标记有“<”符号,以将其与其它音符区别。
在一些实施例中,可以通过以下方式实时展示与主播演奏的音乐相对应的乐谱:在所述直播界面中,呈现对应所述乐谱的关闭功能项;响应于针对所述关闭功能项的触发操作,取消显示所述与主播演奏的音乐相对应的乐谱。
这里,对于一些乐理基础好的观众,可以仅靠听就能够知道主播所演奏的每一个音符,而不需要看乐谱,基于此,本申请实施例提供了乐谱关闭的功能,以满足不同观众的需求。也即,在直播界面中呈现对应所述乐谱的关闭功能项,接收到观众针对该关闭功能项的触发操作后,取消显示与主播演奏的音乐相对应的乐谱。
需要说明的是,关闭功能项可以是直接呈现在直播界面中,也可以是呈现在对应乐谱的浮层中的,这里对功能项的呈现位置不做限定。
例如,图10是本申请实施例提供的直播界面的示意图,参见图10,在直播界面中呈现对应乐谱的关闭功能项1001,接收到针对关闭功能项1001的点击操作后,取消显示与主播演奏的音乐相对应的乐谱。
在一些实施例中,在取消显示与主播演奏的音乐相对应的乐谱之后,还可以呈现一个对应乐谱的开启功能项,当接收到针对该开启功能项的触发操作后,展示与主播演奏的音乐相对应的乐谱。
例如,图11是本申请实施例提供的直播界面的示意图,参见图11,在直播界面中呈现浮层,并在浮层中展示与主播演奏的音乐相对应的乐谱,同时,在浮层中呈现对应乐谱的关闭功能项1101,接收到针对关闭功能项1101的点击操作后,取消显示与主播演奏的音乐相对应的乐谱,同时,呈现一个对应乐谱的开启功能项1102。
在一些实施例中,终端还可以呈现乐谱缓存功能项;响应于针对所述乐谱缓存功能项的触发操作,呈现包含有已展示乐谱的乐谱界面,并在所述乐谱界面中呈现对应所述已展示乐谱的确定功能项;响应于针对所述确定功能项的触发操作,存储对应所述已展示乐谱。
这里,乐谱缓存功能项,可以是在直播界面中呈现的,也可以是在乐谱的浮层中呈现的,还可以通过其它方式呈现,这里不做限定。
在实际实施时,终端可以根据乐谱中各音符的展示顺序,生成一个完整的乐谱;然后在直播界面中,呈现包含该完整的乐谱的乐谱界面,用户可以通过呈现的乐谱界面检查该乐谱是否是需要缓存的乐谱;在呈现乐谱界面的同时,会呈现相应的确定功能项。这里,乐谱界面可以以弹窗的形式呈现,也可以以其他形式呈现。
这里,当展示的乐谱是通过音律识别得到的,可以是获取历史识别到的乐谱,然后根据乐谱中各音符所对应的识别时间,按照时间顺序生成一个完整的乐谱;可以理解的是,由于音律识别的过程是实时进行的,各音符所对应的识别时间,与其被演奏的时间、以及被展示的时间是一致的。
例如,图12是本申请实施例提供的直播界面的示意图,参见图12,在直播界面中呈现乐谱缓存功能项1201,接收到针对该乐谱缓存功能项操作后,以弹窗形式呈现乐谱界面,并在乐谱界面中呈现已展示的完整乐谱1202、以及确定功能项1203,接收到针对确定功能项1203的点击操作后,存储该乐谱。
本申请实施例通过提供乐谱缓存功能,使得用户可以对已展示乐谱进行缓存,便于在直播结束后再阅读。
需要说明的是,可以以图片形式存储已展示乐谱,也可以以文档形式存储已展示乐谱,这里不对乐谱的存储形式进行限定。当以图片形式存储已展示乐谱时,可以将对应以展示乐谱的乐谱图片存储至终端的本地相册。
在一些实施例中,还可以对缓存的乐谱的乐谱类型进行选择,也即,所缓存的乐谱类型与实时展示的乐谱的乐谱类型可以是不同的,例如,已展示的乐谱类型为五线谱,那么缓存的乐谱类型可以为六线谱。
在实际实施时,可以呈现至少两个乐谱类型的选择。这里可以是在呈现缓存功能项的同时,呈现至少两个;也可以是在呈现缓存功能项之前呈现至少两个乐谱类型的选择项,也即在接收到针对目标乐谱类型的选择操作之后,再呈现缓存功能项;也可以是线呈现缓存功能项,在接收到针对缓存功能项的触发操作之后,在呈现至少两个乐谱类型的选择项。也即,本申请实施例不对缓存功能项的呈现时机、以及相应选择操作的触发时间做限定。
例如,图13是本申请实施例提供的直播界面的示意图,参见图13,在直播界面中呈现缓存面板,在缓存面板中呈现缓存功能项、以及四个乐谱类型的选择项,当接收到针对七线谱的功能项的选择操作、以及针对缓存功能项的点击操作后,生成七线谱类型的完整乐谱,并在直播界面中呈现包含七线谱类型的完整乐谱的乐谱界面。
在一些实施例中,终端在生成完整乐谱的过程中,还可以在直播界面中呈现提示信息,以告知用户正在生成相应的乐谱。例如,图14是本申请实施例提供的直播界面的示意图,参见图14,在直播界面中呈现“正在缓存乐谱”的提示信息,在乐谱生成完成后,在直播界面中呈现包含生成的乐谱的乐谱界面。
本申请实施例通过在直播界面中,呈现主播的直播内容;当所述主播的直播内容为音乐演奏时,在直播界面中,实时展示与主播演奏的音乐相对应的乐谱;如此,能够实时展示与主播演奏的音乐相对应的乐谱,使得观众可以准确获知主播所演奏的每一个音符,进而提升观众的学习效率。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
图15是本申请实施例提供的基于直播的乐谱展示方法的流程示意图,参见图15,本申请实施例提供的基于直播的乐谱展示方法包括:
步骤1501:主播端将通过摄像头拍摄的直播画面、以及通过麦克风采集的声音实时发送给服务器。
这里,在主播开始直播后,会实时将直播画面和声音发送给服务器。在实际实施时,当观众通过进入到该直播间页面后,服务器会将直播画面和声音传输到观众端,观众端会在直播界面中呈现直播画面,并播放相应的声音,如此,观众就可以观看直播了。
这里,观众可以通过直播推荐列表进入直播间页面。例如,图16是本申请实施例提供的进入直播间页面的界面示意图,参见图16,先呈现直播推荐列表,直播列表中包括多个可选择的直播间入口,通过点击直播间入口,进行页面跳转,呈现直播间页面。
步骤1502:服务器获取主播的资料信息,根据资料信息和直播画面,识别主播所使用的乐器类型。
在实际实施时,主播在直播之前,通常会对直播间的资料进行设置,以对所要直播的内容进行介绍,主播可以获取主播所设置的资料,从资料中提取与乐器类型对应的信息,进而确定直播演奏音乐时所使用的乐器类型。
另外,终端会实时获取主播的直播图像,在主播直播的过程中,直播图像中通常会包含主播所使用的乐器,基于此,可以通过对直播图像进行图像识别,来确定直播图像中的乐器类型。
这里,识别主播所使用的乐器类型是为了确定相应的乐谱类型,比如,钢琴对应的乐谱类型为五线谱,吉他对应的是六线谱、五线谱、和弦谱、简谱等。当识别到的乐器类型所对应的乐谱类型有多个时,可以将可选择的乐谱类型发送给观众端,以使观众能够选择可以根据自己的喜好来切换乐谱类型。在后面会详细对切换乐谱类型的过程进行介绍。
步骤1503:服务器对主播在直播中的声音进行实时监测。
这里,服务器在识别到乐器类型后,就会调用对应的音律监测模块,实时监测主播直播中的声音。
步骤1504:当监测到声音中包括音乐演奏的声音时,实时对主播演奏的音乐进行音律识别,得到对应的乐谱数据。
这里,一旦主播开始音乐演奏,主播开始演奏音乐,监测到的声音中就会包含音乐演奏的声音,如主播开始弹钢琴时,监测到的声音中就会包含钢琴的琴声,当监测到所述声音中包含音乐演奏的声音时,就会对声音中的旋律进行音律识别,将其转换为相应的乐谱数据。
需要说明的是,这里的乐谱数据与所要展示的乐谱的乐谱类型相对应的,其中,展示的乐谱类型可以是观众选择的,也可以是默认选择的。
步骤1505:将得到的乐谱数据实时传输给观众端。
步骤1506:观众端根据接收到的乐谱数据,绘制相应的乐谱,并在直播界面中实时展示绘制得到的乐谱。
如此,观众就可以在直播间结合乐谱听老师弹奏和进行讲解。需要说明的是,整个直播过程一直处于监测状态,如此循环。
在实际实施时,在直播界面中呈现对应乐谱的浮层;伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的乐谱。
伴随着主播的演奏过程,乐谱会从直播界面的一端向另一端移动,以对乐谱进行滚动切换,使得当前在直播界面中呈现的乐谱,是最新演奏的部分音乐片段所对应的乐谱。这里乐谱的展示形式类似于弹幕的展示形式。
例如,图6是本申请实施例提供的直播界面的示意图,参见图6,伴随着主播的演奏过程,乐谱从左向右滚动切换。
在实际实施时,在乐谱浮层中呈现有设置功能项,接收到针对该设置功能项的触发操作后,会在直播界面中,呈现设置面板。该设置面板用于在存在多个可选择的乐谱类型时,呈现多个乐谱类型的选择项,以基于多个乐谱类型的选择项,实现乐谱类型的切换;以及,还用于呈现乐谱缓存功能项,以基于乐谱缓存功能项实现乐谱的缓存。
这里,首先对乐谱类型的切换过程进行说明。图17是本申请实施例提供的乐谱类型切换的界面示意图,参见图17,接收到针对乐谱浮层中设置功能项的点击操作,呈现设置面板,并在设置面板中呈现多个乐谱类型的选择项,即简谱、五线谱、七线谱、和弦谱;当接收到针对七线谱的选择项的点击操作后,展示的乐谱类型由简谱切换为了七线谱。
接下来对乐谱缓存的过程进行说明。图18是本申请实施例提供的乐谱缓存的界面示意图,参见图18,接收到针对乐谱浮层中设置功能项的点击操作,呈现设置面板,并在设置面板中呈现乐谱缓存功能项,当接收到针对乐谱缓存功能项的点击操作后,加载本直播间已经识别出的历史乐谱,并生成一个完整的乐谱时序图。这里,在加载本直播间已经识别出的历史乐谱,以及生成一个完整的乐谱时序图的过程中,在直播界面中呈现提示信息“正在缓存乐谱”;当乐谱时序图生成完成后,在直播界面中展示该乐谱时序图、以及相应的确定功能项,接收到针对确定功能项的点击操作后,将该乐谱时序图保存至本地相册,便于直播后再阅读。
这里,本申请考虑到每个观众的乐理基础不太一样,有些观众只需要靠听就可以迅速理解主播演奏的音符,并不需要依赖乐谱,基于此,本申请提供了关闭乐谱的功能。参见图11,在乐谱浮层中呈现对应乐谱的关闭功能项901,接收到针对关闭功能项1101的点击操作后,取消显示与主播演奏的音乐相对应的乐谱,同时,呈现一个对应乐谱的开启功能项1102。
这里,当接收到针对该开启功能项的触发操作后,展示与主播演奏的音乐相对应的乐谱。
下面,进一步音律识别及乐谱展示的过程进行说明。图19是本申请实施例提供的音律识别及乐谱展示的流程示意图,参见图19,首先通过音频采集设备采集音频信号,该音频采集设备通常为主播侧进行直播的手机设备,然后通过服务器对音频信号进行降噪处理,并提取出音频信号中旋律信号的频率、持续时间、重点节拍等信息,然后基于旋律信号的频率、持续时间、重点节拍等信息,将旋律信号转换成乐谱数据;接着,服务器将乐谱数据传输给观众端,观众端基于乐谱数据,进行乐谱绘制,并实时展示绘制得到的乐谱。
本申请实施例通过音律识别,实时获取与主播演奏的音乐对应的乐谱,并实时展示在直播界面汇总,使得观众能够同时从听觉和视觉感觉和理解主播的讲解重点,提升学习效率,使得观众的学习积极性得到提升;同时,主播可以通过实时展示的乐谱辅助授课,提高教学质量。
下面继续说明本申请实施例提供的基于直播的乐谱展示装置455的实施为软件模块的示例性结构,图20是本申请实施例提供的基于直播的乐谱展示装置的组成结构示意图,参见图20,基于直播的乐谱展示装置455的软件模块可以包括:
呈现模块4551,用于在直播界面中,呈现主播的直播内容;
展示模块4552,用于当所述主播的直播内容为音乐演奏时,在直播界面中,实时展示与所述主播演奏的音乐相对应的乐谱。
在一些实施例中,所述装置还包括:
监测模块,用于对所述主播在直播过程中的声音进行监测;
当监测到所述声音中包含音乐演奏的声音时,确定所述主播的直播内容为音乐演奏。
在一些实施例中,所述装置还包括:
图像识别模块,用于对所述主播在直播过程中的直播图像进行识别,得到图像识别结果;
当所述图像识别结果表征所述主播在演奏音乐时,确定所述主播的直播内容为音乐演奏。
在一些实施例中,所述装置还包括:
接收模块,用于在在直播界面中呈现乐谱展示功能项;
当接收到基于所述乐谱展示功能项触发的乐谱展示指令时,确定所述主播的直播内容为音乐演奏。
在一些实施例中,所述展示模块4552,还用于伴随着主播的演奏过程,将与主播演奏的音乐相对应的乐谱从直播界面的一端移入,沿目标方向移动至直播界面的另一端,并在移动至另一端后隐藏所述乐谱。
在一些实施例中,所述展示模块4552,还用于实时对主播演奏的音乐进行音律识别,得到对应所述音乐的乐谱数据;
依据所述乐谱数据,绘制对应所述音乐的乐谱;
实时展示绘制得到的乐谱。
在一些实施例中,所述展示模块4552,还用于在直播界面中呈现对应乐谱的浮层;
伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的乐谱。
在一些实施例中,所述装置还包括:
获取模块,还用于确定所述主播演奏音乐时所使用的乐器类型;
获取与所述乐器类型相对应的目标乐谱类型;
相应的,所述展示模块4552,还用于实时展示与主播演奏的音乐相对应的目标乐谱类型的乐谱。
在一些实施例中,所述展示模块4552,还用于实时对主播演奏的音乐进行节奏点检测,得到对应所述音乐的节奏点;
实时展示与主播演奏的音乐相对应的乐谱,并在展示所述乐谱的过程中,采用区别于所述乐谱中其它音符的展示方式,展示所述节奏点对应的目标音符。
在一些实施例中,所述呈现模块4551,还用于在直播界面中呈现乐谱类型的切换功能项;
响应于针对所述切换功能项的触发操作,呈现至少两个乐谱类型的选择项;
响应于基于所述至少两个乐谱类型的选择项触发的选择操作,确定所述选择操作所指示的乐谱类型为目标乐谱类型;
相应的,所述展示模块4552,还用于实时展示与主播演奏的音乐相对应的目标乐谱类型的乐谱。
在一些实施例中,所述呈现模块4551,还用于在所述直播界面中,呈现对应所述乐谱的关闭功能项;
响应于针对所述关闭功能项的触发操作,取消显示所述与主播演奏的音乐相对应的乐谱。
在一些实施例中,所述呈现模块4551,还用于呈现乐谱缓存功能项;
响应于针对所述乐谱缓存功能项的触发操作,呈现包含有已展示乐谱的乐谱界面,并在所述乐谱界面中呈现对应所述已展示乐谱的确定功能项;
响应于针对所述确定功能项的触发操作,存储对应所述已展示乐谱。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的基于直播的乐谱展示方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的基于直播的乐谱展示方法,例如,如图4示出的基于直播的乐谱展示方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (13)
1.一种基于直播的乐谱展示方法,其特征在于,所述方法包括:
在直播界面中,呈现主播的直播内容;
当所述主播的直播内容为音乐演奏时,在直播界面中生成浮层,伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱;
当取消显示与主播演奏的音乐相对应的乐谱时,在所述直播界面中呈现一个对应乐谱的开启功能项;其中,当接收到针对所述开启功能项的触发操作时,展示与主播演奏的音乐相对应的乐谱;
在展示所述乐谱时,实时对所述主播演奏的音乐进行节奏点检测,得到对应所述音乐的节奏点,在所述乐谱中采用区别于所述乐谱中其它音符的展示方式,展示所述节奏点对应的目标音符;
在缓存所述乐谱时,将展示的所述目标乐谱类型的乐谱缓存为其他乐谱类型的乐谱,其中,所述其他乐谱类型与所述目标乐谱类型不同。
2.如权利要求1所述的方法,其特征在于,在同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱之前,所述方法还包括:
对所述主播在直播过程中的声音进行监测;
当监测到所述声音中包含音乐演奏的声音时,确定所述主播的直播内容为音乐演奏。
3.如权利要求1所述的方法,其特征在于,在同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱之前,所述方法还包括:
对所述主播在直播过程中的直播图像进行识别,得到图像识别结果;
当所述图像识别结果表征所述主播在演奏音乐时,确定所述主播的直播内容为音乐演奏。
4.如权利要求1所述的方法,其特征在于,在同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱之前,所述方法还包括:
在直播界面中呈现乐谱展示功能项;
当接收到基于所述乐谱展示功能项触发的乐谱展示指令时,确定所述主播的直播内容为音乐演奏。
5.如权利要求1所述的方法,其特征在于,所述伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱,包括:
伴随着主播的演奏过程,将与主播演奏的音乐相对应的目标乐谱类型的乐谱从直播界面的一端移入,沿目标方向移动至直播界面的另一端,并在移动至另一端后隐藏所述乐谱。
6.如权利要求1所述的方法,其特征在于,所述伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱,包括:
实时对主播演奏的音乐进行音律识别,得到对应所述音乐的乐谱数据;
依据所述乐谱数据,绘制对应所述音乐的乐谱;
实时展示绘制得到的乐谱。
7.如权利要求1所述的方法,其特征在于,所述同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱之前,所述方法包括:
确定所述主播演奏音乐时所使用的乐器类型;
获取与所述乐器类型相对应的目标乐谱类型。
8.如权利要求1所述的方法,其特征在于,所述同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱之前,所述方法还包括:
在直播界面中呈现乐谱类型的切换功能项;
响应于针对所述切换功能项的触发操作,呈现至少两个乐谱类型的选择项;
响应于基于所述至少两个乐谱类型的选择项触发的选择操作,确定所述选择操作所指示的乐谱类型为目标乐谱类型。
9.如权利要求1所述的方法,其特征在于,所述方法还包括:
在所述直播界面中,呈现对应所述乐谱的关闭功能项;
响应于针对所述关闭功能项的触发操作,取消显示所述与主播演奏的音乐相对应的乐谱。
10.如权利要求1所述的方法,其特征在于,所述方法还包括:
呈现乐谱缓存功能项;
响应于针对所述乐谱缓存功能项的触发操作,呈现包含有已展示乐谱的乐谱界面,并在所述乐谱界面中呈现对应所述已展示乐谱的确定功能项;
响应于针对所述确定功能项的触发操作,存储对应所述已展示乐谱。
11.一种基于直播的乐谱展示装置,其特征在于,所述装置包括:
呈现模块,用于在直播界面中,呈现主播的直播内容;
展示模块,用于当所述主播的直播内容为音乐演奏时,在直播界面中生成浮层,伴随着主播的演奏过程,在所述浮层中,同步展示与主播演奏的音乐相对应的目标乐谱类型的乐谱;
展示模块,还用于当取消显示与主播演奏的音乐相对应的乐谱时,在所述直播界面中呈现一个对应乐谱的开启功能项;其中,当接收到针对所述开启功能项的触发操作时,展示与主播演奏的音乐相对应的乐谱;
展示模块,还用于实时对所述主播演奏的音乐进行节奏点检测,得到对应所述音乐的节奏点,在所述乐谱中采用区别于其它音符的展示方式,展示所述节奏点对应的目标音符;
展示模块,还用于在缓存所述乐谱时,将展示的所述目标乐谱类型的乐谱缓存为其他乐谱类型的乐谱,其中,所述其他乐谱类型与所述目标乐谱类型不同。
12.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至10任一项所述的基于直播的乐谱展示方法。
13.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至10任一项所述的基于直播的乐谱展示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010655118.3A CN111787346B (zh) | 2020-07-09 | 2020-07-09 | 基于直播的乐谱展示方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010655118.3A CN111787346B (zh) | 2020-07-09 | 2020-07-09 | 基于直播的乐谱展示方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111787346A CN111787346A (zh) | 2020-10-16 |
CN111787346B true CN111787346B (zh) | 2024-02-09 |
Family
ID=72759337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010655118.3A Active CN111787346B (zh) | 2020-07-09 | 2020-07-09 | 基于直播的乐谱展示方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111787346B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114390361A (zh) * | 2020-10-20 | 2022-04-22 | 上海哔哩哔哩科技有限公司 | 音频弹幕处理方法及装置 |
CN112287848B (zh) * | 2020-10-30 | 2024-08-06 | 腾讯科技(深圳)有限公司 | 基于直播的图像处理方法、装置、电子设备和存储介质 |
CN113076967B (zh) * | 2020-12-08 | 2022-09-23 | 无锡乐骐科技股份有限公司 | 一种基于图像和音频的乐谱双重识别系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104183171A (zh) * | 2013-05-23 | 2014-12-03 | 杭州灵机科技有限公司 | 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法 |
CN107135419A (zh) * | 2017-06-14 | 2017-09-05 | 北京奇虎科技有限公司 | 一种编辑视频的方法和装置 |
CN109035963A (zh) * | 2018-07-20 | 2018-12-18 | 广州市雅迪数码科技有限公司 | 钢琴远程教育的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI229845B (en) * | 2003-10-15 | 2005-03-21 | Sunplus Technology Co Ltd | Electronic musical score apparatus |
US20080302233A1 (en) * | 2007-01-03 | 2008-12-11 | Xiao-Yu Ding | Digital music systems |
-
2020
- 2020-07-09 CN CN202010655118.3A patent/CN111787346B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104183171A (zh) * | 2013-05-23 | 2014-12-03 | 杭州灵机科技有限公司 | 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法 |
CN107135419A (zh) * | 2017-06-14 | 2017-09-05 | 北京奇虎科技有限公司 | 一种编辑视频的方法和装置 |
CN109035963A (zh) * | 2018-07-20 | 2018-12-18 | 广州市雅迪数码科技有限公司 | 钢琴远程教育的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111787346A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11908339B2 (en) | Real-time synchronization of musical performance data streams across a network | |
CN111787346B (zh) | 基于直播的乐谱展示方法、装置、设备及存储介质 | |
US10210769B2 (en) | Method and system for reading fluency training | |
CN108024139A (zh) | 网络视频课件的播放方法、装置、终端设备及存储介质 | |
US20210104169A1 (en) | System and method for ai based skill learning | |
US10535330B2 (en) | System and method for movie karaoke | |
CN114339285B (zh) | 知识点的处理方法、视频处理方法、装置及电子设备 | |
US20190110110A1 (en) | Recording medium recording content display program, content display method, and information processing apparatus | |
TW201123111A (en) | Video/audio teaching system | |
US20200027367A1 (en) | Remote control of lesson software by teacher | |
CN112598961A (zh) | 钢琴演奏学习方法、电子设备及计算机可读存储介质 | |
KR100894866B1 (ko) | 애니메이션을 이용한 피아노 교습과 음파장을 이용한 평가시스템 | |
JP2003107986A (ja) | 情報処理装置およびその制御方法、制御プログラムおよび記録媒体 | |
JP4318182B2 (ja) | 端末装置および同端末装置に適用されるコンピュータプログラム | |
CN114120943B (zh) | 虚拟演唱会的处理方法、装置、设备及存储介质 | |
JP2016201678A (ja) | 認識装置、映像コンテンツ提示システム | |
US10593366B2 (en) | Substitution method and device for replacing a part of a video sequence | |
CN113918755A (zh) | 显示方法及装置、存储介质、电子设备 | |
CN112019910A (zh) | 一种乐器演奏方法、装置、电视及存储介质 | |
CN110362675A (zh) | 一种外语教学内容展示方法及系统 | |
US10971028B2 (en) | Systems and methods for music and moving image interaction | |
JP2656402B2 (ja) | 情報処理装置および情報処理装置を用いた英会話学習システム | |
JP6953825B2 (ja) | データ送信方法、データ送信装置、及びプログラム | |
CN114842690A (zh) | 语言课程的发音互动方法、系统、电子设备和存储介质 | |
CN113703882A (zh) | 歌曲处理方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40030876 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |