CN113286183B - 演奏过程与曲谱同步显示的方法、装置、设备及存储介质 - Google Patents

演奏过程与曲谱同步显示的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113286183B
CN113286183B CN202110507335.2A CN202110507335A CN113286183B CN 113286183 B CN113286183 B CN 113286183B CN 202110507335 A CN202110507335 A CN 202110507335A CN 113286183 B CN113286183 B CN 113286183B
Authority
CN
China
Prior art keywords
music score
video file
playing
player
electronic music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110507335.2A
Other languages
English (en)
Other versions
CN113286183A (zh
Inventor
徐潮芝
周安乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoyezi Beijing Technology Co ltd
Original Assignee
Xiaoyezi Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaoyezi Beijing Technology Co ltd filed Critical Xiaoyezi Beijing Technology Co ltd
Priority to CN202110507335.2A priority Critical patent/CN113286183B/zh
Publication of CN113286183A publication Critical patent/CN113286183A/zh
Application granted granted Critical
Publication of CN113286183B publication Critical patent/CN113286183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本申请公开了一种演奏过程与曲谱同步显示方法、装置、设备及存储介质，其中，演奏过程与曲谱同步显示方法，包括：获取演奏者演奏目标曲目的视频文件，其中，所述视频文件是在所述演奏者演奏所述目标曲目时，以所述演奏者以及所述演奏者演奏所述目标曲目时所使用的乐器为拍摄对象拍摄得到；获取所述目标曲目的电子曲谱，其中，所述电子曲谱中标注了演奏结果，所述演奏结果由所述演奏者实际演奏的内容与所述目标曲目的内容进行对比而生成；响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱。该方法可将演奏者的演奏过程和演奏结果进行同步显示。

Description

演奏过程与曲谱同步显示的方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种演奏过程与曲谱同步显示的方法、装置、设备及存储介质。
背景技术
目前，乐器陪练有真人陪练以及AI(Artificial Intelligence，人工智能)陪练两种形式。真人陪练是陪练老师通过音频或视频的方式和演奏者进行沟通，以对演奏者在演奏过程中出现的错误和问题进行指导。指导内容可以以语音或视频的方式实时发送给演奏者。但对演奏者来说，其并不一定能直接将指导内容与实际演奏过程建立关联，可见，以该方式对演奏者的演奏情况进行反馈的针对性不强。AI陪练是通过AI算法对演奏者演奏的声音进行录音后进行分析，以对演奏者的演奏情况进行评价，通常，此类评价是以对演奏者整体演奏水平的一个评分的形式体现。故，演奏者无法获知其演奏过程中所出现的问题及错误。可见，一种同步显示演奏过程与演奏结果的措施有待被提出。
发明内容
有鉴于此，本申请一个或多个实施例提供了一种演奏过程与曲谱同步显示的方法、装置、设备及存储介质，可将演奏者的演奏过程和演奏结果进行同步显示。
本申请一个或多个实施例提供了一种演奏过程与曲谱同步显示的方法，包括：获取演奏者演奏目标曲目的视频文件，其中，所述视频文件是在所述演奏者演奏所述目标曲目时，以所述演奏者以及所述演奏者演奏所述目标曲目时所使用的乐器为拍摄对象拍摄得到；取所述目标曲目的电子曲谱，其中，所述电子曲谱中标注了演奏结果，所述演奏结果由所述演奏者实际演奏的内容与所述目标曲目的内容进行对比而生成；响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱。
可选的，在播放所述视频文件时同步显示所述电子曲谱，包括：在播放所述视频文件时，将所述视频文件的视频画面以及所述电子曲谱显示于同一个用户界面中。
可选的，将所述视频文件的视频画面以及所述电子曲谱显示于同一个用户界面中，包括：在网页中同时显示所述电子曲谱以及所述视频播放窗口，在所述视频播放窗口中开始播放所述视频文件。
可选的，所述方法还包括：在响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱之前，对所述视频文件中的声音进行识别，得到演奏进度信息；根据所述演奏进度信息确定所述声音与所述电子曲谱中的曲谱内容之间的对应关系。
可选的，在播放所述视频文件时同步显示所述电子曲谱，包括：在播放所述视频文件时，根据所述对应关系将当前播放的所述视频文件中的声音对应的所述演奏结果呈现于所述电子曲谱中与当前播放的声音对应的曲谱内容的位置。
可选的，在播放所述视频文件时同步显示所述电子曲谱，包括：在播放所述视频文件时，根据所述对应关系在所述电子曲谱中突出显示演奏者当前正在演奏的曲谱部分，以及根据所述对应关系对所述电子曲谱进行翻谱操作。
可选的，所述演奏结果至少包括以下一种：演奏正确、错音、漏音、演奏过快、演奏过慢、演奏错误过多、演奏卡顿、未演奏以及演奏中不熟练的区域。
本申请一个或多个实施例还提供了一种演奏过程与曲谱同步显示装置，包括：第一获取模块，被配置为获取演奏者演奏目标曲目的视频文件，其中，所述视频文件是在所述演奏者演奏所述目标曲目时，以所述演奏者以及所述演奏者演奏所述目标曲目时所使用的乐器为拍摄对象拍摄得到；第二获取模块，被配置为获取所述目标曲目的电子曲谱，其中，所述电子曲谱中标注了演奏结果，所述演奏结果由所述演奏者实际演奏的内容与所述目标曲目的内容进行对比而生成；播放模块，被配置为响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱。
本申请一个或多个实施例还提供了一种电子设备，包括：处理器；和存储器，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上述任意一种演奏过程与曲谱同步显示的方法。
本申请一个或多个实施例还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现上述任意一种演奏过程与曲谱同步显示的方法。
在本申请的一个或多个实施例中，在演奏者完成目标曲目之后，获取演奏者演奏目标曲目的视频文件，以及标注有演奏结果的目标曲目的电子曲谱，响应于预设操作，播放视频文件，以及在播放视频文件的同时显示该电子曲谱，从而实现了在通过视频回放的方式展示演奏者的演奏过程中，以及同步呈现基于演奏者演奏情况所产生的演奏结果，使得演奏结果可以与演奏者的演奏过程对应，可将演奏结果更加有针对性的呈现给演奏者，使得演奏者可直观地获知演奏过程中出现的问题或错误，以便演奏者在该演奏结果的指导下实现更高效的演奏练习。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是根据本申请一个或多个实施例示出的一种演奏过程与曲谱同步显示的方法的流程图；
图2是根据本申请一个或多个实施例示出的在同一用户界面播放视频文件以及电子曲谱的示意图；
图3是根据本申请一个或多个实施例示出的一种演奏过程与曲谱同步显示的装置的结构框图；
图4是根据本申请一个或多个实施例示出的一种电子设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
图1是根据本申请一个或多个实施例示出的一种演奏过程与曲谱同步显示的方法的流程图，如图1所示，该方法包括：
步骤101：获取演奏者演奏目标曲目的视频文件，其中，所述视频文件是在所述演奏者演奏所述目标曲目时，以所述演奏者以及所述演奏者演奏所述目标曲目时所使用的乐器为拍摄对象拍摄得到；
以弹奏钢琴为例，可在弹奏者弹奏钢琴时，通过摄像头拍摄弹奏者弹奏钢琴的画面，在该画面中可主要捕捉弹奏者的手部动作以及钢琴的琴键区域，以突出显示弹奏者的实际弹奏过程。
在一个例子中，在演奏者演奏目标曲目的演奏者可通过终端A显示该目标曲目的电子曲谱，以及通过该A终端录制上述视频文件，还可通过另一终端B录制视频文件，在通过终端B录制上述视频文件时，可使A终端与B终端建立通信连接，以使二者进行数据交互。
步骤102：获取所述目标曲目的电子曲谱，其中，所述电子曲谱中标注了演奏结果，所述演奏结果由所述演奏者实际演奏的内容与所述目标曲谱的内容进行对比而生成；
沿用上述例子，演奏者在演奏过程中通过终端A显示目标曲目的电子曲谱，故终端A中存储有该电子曲谱，在步骤102中，可获取该电子曲谱。在演奏者演奏目标曲目时，终端A本身，或终端A可请求服务器对演奏者实时演奏的声音进行识别，得到识别结果，并将识别结果与目标曲目中演奏者当前正在演奏的内容进行对比，得到演奏者当前演奏的内容对应的演奏结果，该演奏结果可实时呈现于电子曲谱中演奏者当前所演奏的位置处。
在另一个例子中，演奏者在演奏过程中未使用任何终端显示目标曲目的电子曲谱，则在拍摄完成上述视频文件后，可通过对视频文件中的音频进行识别，识别出该音频对应的目标曲目以及演奏者演奏该目标曲目的演奏结果，再基于该目标曲目生成电子曲谱，以及根据演奏者的演奏情况生成演奏结果，并将演奏结果标注于电子曲谱中。
上述演奏结果可以是由录制上述视频文件的终端(可以是上述终端A或终端B)将录制得到的演奏者演奏的声音实时上传至服务器，由服务器根据预设算法将该声音与目标曲目中相应的段落进行对比得到的。或者，在上述录制视频文件的终端中预置了用于确定演奏结果的算法的基础上，还可以由该终端中预置的算法根据实时获取到的声音与目标曲目中相应的段落进行对比得到。需要说明的是，上述电子曲谱中标注的演奏结果，可以是在演奏者在演奏过程中通过终端显示电子曲谱的过程中实时生成，还可以是在演奏者完成目标曲目的演奏之后，再根据录制的视频文件中的声音生成。
步骤103：响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱。
在步骤102之后，可以呈现一用户界面，该用户界面上可显示有上述视频文件以及电子曲谱，该用户界面上还可显示有播放视频的按钮，或显示有查看演奏结果的按钮，上述预设操作例如可以是用户查看演奏结果的操作，还可以是用户播放视频的操作。
在本申请的一个或多个实施例中，在演奏者完成目标曲目之后，获取演奏者演奏目标曲目的视频文件，以及标注有演奏结果的目标曲目的电子曲谱，响应于预设操作，播放视频文件，以及在播放视频文件的同时显示该电子曲谱，从而实现了在通过视频回放的方式展示演奏者的演奏过程中，以及同步呈现基于演奏者演奏情况所产生的演奏结果，使得演奏结果可以与演奏者的演奏过程对应，可将演奏结果更加有针对性的呈现给演奏者，使得演奏者可直观地获知演奏过程中出现的问题或错误，以便演奏者在该演奏结果的指导下实现更高效的演奏练习。
在本申请的一个或多个实施例中，在播放所述视频文件时同步显示所述电子曲谱，可包括：
在播放所述视频文件时，将所述视频文件的视频画面以及所述电子曲谱显示于同一个用户界面中。如图2所示，播放视频文件的终端以手机为例，可在手机屏幕上当前呈现的用户界面中的上部呈现电子曲谱，在该用户界面的下部呈现视频文件的视频画面，以便演奏者在回放视频时，可对照着电子曲谱查看实际弹奏中出现的问题。
需要说明的是，除图2所示的例子外，还可在用户界面的上部显示上述视频文件的视频画面，在用户界面的下部显示上述电子曲谱。又或者，在播放视频文件的终端为平板电脑或计算机的情况下，还可以将上述视频文件的视频画面以及上述电子曲谱以左右并列的形式进行呈现。
在本申请的一个或多个实施例中，将所述视频文件的视频画面以及所述电子曲谱显示于同一个用户界面中，可包括：
在网页中同时显示所述电子曲谱以及所述视频播放窗口，在所述视频播放窗口中开始播放所述视频文件。其中，在演奏者跟随电子曲谱完成目标曲目的演奏之后，可以以网页的形式将上述视频文件以及标注了演奏结果的电子曲谱呈现给演奏者。例如，可在网页中绘制电子曲谱，以及提供一个视频播放窗口，根据演奏结果对电子曲谱进行渲染，得到标注有演奏结果的电子曲谱，响应于演奏者查看演奏结果的操作或播放视频文件的操作，开始在视频播放窗口中播放视频文件以及呈现动态的电子曲谱。将上述视频文件的画面以及电子曲谱呈现于网页中，使演奏者参照演奏过程查看演奏结果。
在本申请的一个或多个实施例中，上述演奏过程与曲谱同步显示方法，还可包括：
在响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱之前，对所述视频文件中的声音进行识别，得到演奏进度信息；根据所述演奏进度信息确定所述声音与所述电子曲谱中的曲谱内容之间的对应关系。其中，对视频文件中的声音进行识别例如可以包括识别出该声音中演奏者所弹奏的音符信息，该音符信息中可包括时间以及音符对应的声音特征等，将该音符信息与目标曲目的电子曲谱进行对应，即可得到演奏进度信息。在确定出上述视频文件中的声音对应的演奏进度信息后，可基于该演奏进度信息确定声音与电子曲谱中的曲谱内容之间的对应关系，如此，即可将声音与电子曲谱在时间上进行对应，也即实现了视频文件与电子曲谱在时间上的对应，从而可使得视频文件可与电子曲谱同步播放。
在本申请的一个或多个实施例中，在播放所述视频文件时同步显示所述电子曲谱，可包括：
在播放所述视频文件时，根据所述对应关系将当前播放的所述视频文件中的声音对应的所述演奏结果呈现于所述电子曲谱中与当前播放的声音对应的曲谱内容的位置。其中，上述对应关系体现的是演奏者所演奏出的声音与电子曲谱中曲谱内容的对应关系，演奏结果是基于演奏者弹奏的声音与曲谱内容进行对比生成的，故，演奏结果与电子曲谱中各部分的内容也具有对应关系，基于该对应关系，可将演奏结果呈现于与该演奏结果对应的曲谱内容的位置，用以提示演奏者，该位置的演奏情况，以使演奏者可以根据电子曲谱各位置处的演奏结果与当时演奏该曲谱位置时的视频画面进行对比及分析。
在本申请的一个或多个实施例中，在播放所述视频文件时同步显示所述电子曲谱，可包括：
在播放所述视频文件时，根据所述对应关系在所述电子曲谱中突出显示演奏者当前正在演奏的曲谱部分，以及根据所述对应关系对所述电子曲谱进行翻谱操作。例如，在电子曲谱中，可将演奏者当前正在演奏的部分的音符显示为绿色，将演奏者尚未演奏的部分的音符显示为灰色。如上文所述，通过对视频文件中的声音进行识别，可确定出该声音中的音符与电子曲谱中曲谱内容的对应关系，基于该对应关系在播放视频文件时同步动态显示电子曲谱，即可使得视频文件和电子曲谱同步显示，以及根据演奏者的演奏进度对电子曲谱进行翻谱操作。
在本申请的一个或多个实施例中，所述演奏结果至少可包括以下一种：演奏正确、错音、漏音、演奏过快、演奏过慢、错误过多、演奏卡顿、未演奏以及演奏中不熟练的区域。可以以不同的显示效果，在电子曲谱中显示不同种类的演奏结果。例如演奏正确的曲谱部分显示为绿色；电子曲谱中演奏错误的音符或被漏掉的音符显示为红色；演奏过快的曲谱部分采用在电子曲谱中已被演奏过的绿色音符上增加不完全覆盖该绿色音符的红色音符的形式进行表示，其中，红色音符未完全覆盖绿色音符的一部分显示于其覆盖的绿色音符之前；演奏过慢的曲谱部分也采用在电子曲谱中已被演奏过的绿色音符上增加不完全覆盖该绿色音符的红色音符的形式进行表示，其中，红色音符未覆盖绿色音符的一部分显示于绿色音符之后；在演奏错误过多时，可在电子曲谱中将演奏错误过多的曲谱部分、演奏出现卡顿的曲谱部分以及暂未演奏的曲谱部分的音符显示为灰色；根据演奏者已演奏完成的曲谱内容的演奏情况，确定出电子曲谱中演奏者演奏不够熟练的部分，可采用标识符(例如大括号)将该部分曲谱内容标识出，和/或将该部分曲谱内容以预设的背景色突出显示；在电子曲谱中，将演奏者演奏卡顿的位置呈现卡顿标识，以提示演奏者，在该位置出现演奏卡顿现象。
图3是根据本申请一个或多个实施例示出的一种演奏过程与曲谱同步显示的装置的结构示意图，如图3所示，该装置30包括：
第一获取模块31，被配置为获取演奏者演奏目标曲目的视频文件，其中，所述视频文件是在所述演奏者演奏所述目标曲目时，以所述演奏者以及所述演奏者演奏所述目标曲目时所使用的乐器为拍摄对象拍摄得到；
第二获取模块32，被配置为获取所述目标曲目的电子曲谱，其中，所述电子曲谱中标注了演奏结果，所述演奏结果由所述演奏者实际演奏的内容与所述目标曲目的内容进行对比而生成；
播放模块33，被配置为响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱。
在本申请的一个或多个实施例中，所述播放模块具体可被配置为：在播放所述视频文件时，将所述视频文件的视频画面以及所述电子曲谱显示于同一个用户界面中。
在本申请的一个或多个实施例中，所述播放模块具体可被配置为：在网页中同时显示所述电子曲谱以及所述视频播放窗口，在所述视频播放窗口中开始播放所述视频文件。
在本申请的一个或多个实施例中，上述演奏过程与曲谱同步显示装置还可包括：
识别模块，被配置为在响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱之前，对所述视频文件中的声音进行识别，得到演奏进度信息；
确定模块，被配置为根据所述演奏进度信息确定所述声音与所述电子曲谱中的曲谱内容之间的对应关系。
在本申请的一个或多个实施例中，上述播放模块具体可被配置为：在播放所述视频文件时，根据所述对应关系将当前播放的所述视频文件中的声音对应的所述演奏结果呈现于所述电子曲谱中与当前播放的声音对应的曲谱内容的位置。
在本申请的一个或多个实施例中，上述播放模块具体可被配置为：在播放所述视频文件时，根据所述对应关系在所述电子曲谱中突出显示演奏者当前正在演奏的曲谱部分，以及根据所述对应关系对所述电子曲谱进行翻谱操作。
在本申请的一个或多个实施例中，所述演奏结果至少可包括以下一种：演奏正确、错音、漏音、演奏过快、演奏过慢、错误过多、演奏卡顿、未演奏以及演奏中不熟练的区域。
图4示出了根据本申请一个或多个实施例示出的一种电子设备的结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。
此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本申请时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种演奏过程与曲谱同步显示的方法，其特征在于，包括：
获取演奏者演奏目标曲目的视频文件，其中，所述视频文件是在所述演奏者演奏所述目标曲目时，以所述演奏者以及所述演奏者演奏所述目标曲目时所使用的乐器为拍摄对象拍摄得到；
获取所述目标曲目的电子曲谱，其中，所述电子曲谱中标注了演奏结果，所述演奏结果由所述演奏者实际演奏的内容与所述目标曲目的内容进行对比而生成；
响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱；
所述方法还包括：在响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱之前，对所述视频文件中的声音进行识别，得到演奏进度信息；
根据所述演奏进度信息确定所述声音与所述电子曲谱中的曲谱内容之间的对应关系；
所述在播放所述视频文件时同步显示所述电子曲谱，包括：
在播放所述视频文件时，根据所述对应关系将当前播放的所述视频文件中的声音对应的所述演奏结果呈现于所述电子曲谱中与当前播放的声音对应的曲谱内容的位置。
2.根据权利要求1所述的方法，其特征在于，在播放所述视频文件时同步显示所述电子曲谱，包括：
在播放所述视频文件时，将所述视频文件的视频画面以及所述电子曲谱显示于同一个用户界面中。
3.根据权利要求2所述的方法，其特征在于，将所述视频文件的视频画面以及所述电子曲谱显示于同一个用户界面中，包括：
在网页中同时显示所述电子曲谱以及视频播放窗口，在所述视频播放窗口中开始播放所述视频文件。
4.根据权利要求1所述的方法，其特征在于，在播放所述视频文件时同步显示所述电子曲谱，包括：
在播放所述视频文件时，根据所述对应关系在所述电子曲谱中突出显示演奏者当前正在演奏的曲谱部分，以及根据所述对应关系对所述电子曲谱进行翻谱操作。
5.根据权利要求1所述的方法，其特征在于，所述演奏结果至少包括以下一种：
演奏正确、错音、漏音、演奏过快、演奏过慢、演奏错误过多、演奏卡顿、未演奏以及演奏中不熟练的区域。
6.一种演奏过程与曲谱同步显示装置，其特征在于，包括：
第一获取模块，被配置为获取演奏者演奏目标曲目的视频文件，其中，所述视频文件是在所述演奏者演奏所述目标曲目时，以所述演奏者以及所述演奏者演奏所述目标曲目时所使用的乐器为拍摄对象拍摄得到；
第二获取模块，被配置为获取所述目标曲目的电子曲谱，其中，所述电子曲谱中标注了演奏结果，所述演奏结果由所述演奏者实际演奏的内容与所述目标曲目的内容进行对比而生成；
播放模块，被配置为响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱；
所述播放模块，具体还用于：
在响应于预设操作，播放所述视频文件，以及在播放所述视频文件时同步显示所述电子曲谱之前，对所述视频文件中的声音进行识别，得到演奏进度信息；
根据所述演奏进度信息确定所述声音与所述电子曲谱中的曲谱内容之间的对应关系；
在播放所述视频文件时，根据所述对应关系将当前播放的所述视频文件中的声音对应的所述演奏结果呈现于所述电子曲谱中与当前播放的声音对应的曲谱内容的位置。
7.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器上存储有计算机可执行指令，所述指令在被所述处理器执行时用于实现如权利要求1-5中任一项所述的演奏过程与曲谱同步显示的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述指令在被处理器执行时用于实现如权利要求1-5中任一项所述的演奏过程与曲谱同步显示的方法。
CN202110507335.2A 2021-05-10 2021-05-10 演奏过程与曲谱同步显示的方法、装置、设备及存储介质 Active CN113286183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110507335.2A CN113286183B (zh) 2021-05-10 2021-05-10 演奏过程与曲谱同步显示的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110507335.2A CN113286183B (zh) 2021-05-10 2021-05-10 演奏过程与曲谱同步显示的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113286183A CN113286183A (zh) 2021-08-20
CN113286183B true CN113286183B (zh) 2022-11-01

Family

ID=77278426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110507335.2A Active CN113286183B (zh) 2021-05-10 2021-05-10 演奏过程与曲谱同步显示的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113286183B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822450A (zh) * 2022-04-20 2022-07-29 小叶子（北京）科技有限公司 一种乐器演奏用配套支架及钢琴
CN114783219A (zh) * 2022-05-20 2022-07-22 小叶子（北京）科技有限公司 一种乐器演奏用配套支架及钢琴

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074555A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的评价方法及系统
CN108810436A (zh) * 2018-05-24 2018-11-13 广州音乐猫乐器科技有限公司 一种基于全自动乐器合奏的视频录制方法和系统
CN110111761A (zh) * 2019-03-28 2019-08-09 深圳芒果未来教育科技有限公司 对乐音演奏进行实时跟随的方法及相关产品
CN112201217A (zh) * 2020-09-22 2021-01-08 上海汉图科技有限公司 一种乐器演奏的评判方法、装置和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160134911A1 (en) * 2014-11-11 2016-05-12 Jérôme Tétreault System and method for synchronizing public event music broadcast to mobile phones
CN110856009B (zh) * 2019-11-27 2021-02-26 广州华多网络科技有限公司 网络k歌系统、网络k歌的音视频播放方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074555A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的评价方法及系统
CN108810436A (zh) * 2018-05-24 2018-11-13 广州音乐猫乐器科技有限公司 一种基于全自动乐器合奏的视频录制方法和系统
CN110111761A (zh) * 2019-03-28 2019-08-09 深圳芒果未来教育科技有限公司 对乐音演奏进行实时跟随的方法及相关产品
CN112201217A (zh) * 2020-09-22 2021-01-08 上海汉图科技有限公司 一种乐器演奏的评判方法、装置和设备

Also Published As

Publication number Publication date
CN113286183A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
US8866846B2 (en) Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
CN113286183B (zh) 演奏过程与曲谱同步显示的方法、装置、设备及存储介质
CN105391764B (zh) 用于监测乐器学习的方法及装置
US10235898B1 (en) Computer implemented method for providing feedback of harmonic content relating to music track
KR101524279B1 (ko) Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법
CN110691633B (zh) 用于确定响应的反应时间以及使用户界面与正在渲染的内容同步的方法和系统
CN111259863B (zh) 弹奏手型检测/展示方法、介质、钢琴、终端及服务端
CN111077996B (zh) 一种基于点读的信息推荐方法及学习设备
CN110070847B (zh) 乐音测评方法及相关产品
CN113674565B (zh) 一种用于钢琴教学的教学系统及方法
US20190325776A1 (en) Lights-guided piano learning and teaching apparatus, and method
WO2020015411A1 (zh) 一种训练改编水平评价模型、评价改编水平的方法及装置
US8744136B2 (en) Sound reproduction method and device
KR20190093770A (ko) 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템
US7038120B2 (en) Method and apparatus for designating performance notes based on synchronization information
CN111276113B (zh) 基于音频生成按键时间数据的方法和装置
CN113343022A (zh) 歌曲教学方法、装置、终端和存储介质
CN109739388B (zh) 一种基于终端的小提琴演奏方法、装置及终端
CN108337367B (zh) 一种基于移动终端的乐器演奏方法及装置
CN107767851B (zh) 一种歌曲播放方法、移动终端
CN111985395A (zh) 视频生成方法及装置
CN111914821A (zh) 一种听写检测方法及电子设备
JP6508350B2 (ja) 再生制御方法及び再生制御システム
KR20140137240A (ko) 전자 악기 연습 시스템
CN109981893B (zh) 歌词显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method, device, device, and storage medium for synchronous display of performance process and score

Effective date of registration: 20230524

Granted publication date: 20221101

Pledgee: Bank of Hangzhou Limited by Share Ltd. Beijing Zhongguancun branch

Pledgor: XIAOYEZI (BEIJING) TECHNOLOGY CO.,LTD.

Registration number: Y2023110000198