CN112818981B - 一种乐器演奏键位提示方法、装置、电子设备及存储介质 - Google Patents
一种乐器演奏键位提示方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112818981B CN112818981B CN202110059224.XA CN202110059224A CN112818981B CN 112818981 B CN112818981 B CN 112818981B CN 202110059224 A CN202110059224 A CN 202110059224A CN 112818981 B CN112818981 B CN 112818981B
- Authority
- CN
- China
- Prior art keywords
- key
- musical instrument
- played
- image
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000009877 rendering Methods 0.000 claims abstract description 30
- 239000011295 pitch Substances 0.000 claims description 91
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 12
- 230000011218 segmentation Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000000994 depressogenic effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000015114 espresso Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0016—Means for indicating which keys, frets or strings are to be actuated, e.g. using lights or leds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请实施例公开一种乐器演奏键位提示方法、装置、电子设备及存储介质，涉及乐器演奏技术领域，为能够提高对演奏者进行提示的提示效果，提升用户体验而发明。所述方法包括：获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息；根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置；对所述琴键位置进行渲染，以生成渲染后的图像；展示所述渲染后的图像。本申请实施例适用于对乐器演奏进行键位提示。
Description
技术领域
本申请涉及乐器演奏技术领域，尤其涉及一种乐器演奏键位提示方法、装置、电子设备及存储介质。
背景技术
在乐器演奏中，弹奏正确的琴键对于演奏至关重要，而在进行乐器教育的过程中，“认曲谱，找键位”是乐器教育中基本的要求，为了辅助演奏者找到曲谱中的音符音高对应的键位，现有技术中，在钢琴键盘上方建造整块屏幕，在屏幕上用瀑布流的方式向演奏者提示当前待演奏键位，由于采用瀑布流的方式向演奏者提示待演奏的键位，演奏者无法在屏幕上直观地看到待演奏的键位在乐器键盘上所处的位置，从而导致向演奏者提示待演奏的键位效果差，用户体验差。
发明内容
有鉴于此，本申请实施例提供一种乐器演奏键位提示方法、装置、电子设备及存储介质，能够提高向演奏者提示待演奏的键位的效果，提升用户体验。
第一方面，本申请实施例提供一种乐器演奏键位提示方法，包括：获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息；根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置；对所述琴键位置进行渲染，以生成渲染后的图像；展示所述渲染后的图像。
可选地，所述演奏曲谱包括音符对应的音高；所述根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，包括：根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；根据预先识别出的乐器各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
可选地，所述演奏曲谱包括音符对应的音高；在根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置之前，包括：基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息；所述根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，包括：根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；根据所述各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
可选地，所述基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息，包括：基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息；根据所述各个琴键的轮廓信息，识别出各个琴键的坐标信息。
可选地，所述基于所述卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息，包括：基于所述卷积神经网络模型，在所述当前乐器演奏图像中，识别黑色琴键的轮廓信息；根据所述黑色琴键的轮廓信息以及预设的黑琴键与白琴键的对应关系，识别白色琴键的轮廓信息；所述根据所述各个琴键的轮廓信息，识别各个琴键的坐标信息，包括：根据所述黑色琴键的轮廓信息和所述白色琴键的轮廓信息，识别所述键盘上的各个琴键的坐标信息。
可选地，所述演奏曲谱包括音符对应的时值；所述展示所述渲染后的图像，包括：展示所述渲染后的图像，展示的时长为所述当前待演奏的音符对应时值。
可选地，在展示所述渲染后的图像之后，还包括：确定乐器当前演奏的音高；将所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高进行比对；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高不一致，则继续展示所述渲染后的图像；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高一致，则不再展示所述渲染后的图像。
可选地，所述渲染包括高亮；所述对所述琴键位置进行渲染，以生成渲染后的图像，包括：对所述琴键位置进行高亮，以生成高亮后的图像；所述展示所述渲染后的图像，包括：展示高亮后的图像。
第二方面，本申请实施例提供一种乐器演奏键位提示装置，包括：获取模块，用于获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息；确定模块，用于根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置；渲染模块，用于对所述琴键位置进行渲染，以生成渲染后的图像；展示模块，用于展示所述渲染后的图像。
可选地，所述演奏曲谱包括音符对应的音高；所述第一确定模块，包括：第一确定子模块，用于根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；第二确定子模块，用于根据预先识别出的乐器各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
可选地，所述演奏曲谱包括音符对应的音高；所述装置，还包括：识别模块，用于基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息；所述第一确定模块，包括：第三确定子模块，用于根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；第四确定子模块，用于根据所述各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
可选地，所述识别模块，包括：第一识别子模块，用于基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息；第二识别子模块，用于根据所述各个琴键的轮廓信息，识别出各个琴键的坐标信息。
可选地，所述第一识别子模块，包括：第一识别单元，用于基于所述卷积神经网络模型，在所述当前乐器演奏图像中，识别黑色琴键的轮廓信息；第二识别单元，用于根据所述黑色琴键的轮廓信息以及预设的黑琴键与白琴键的对应关系，识别白色琴键的轮廓信息；所述第二识别子模块，包括：第三识别单元，用于根据所述黑色琴键的轮廓信息和所述白色琴键的轮廓信息，识别所述键盘上的各个琴键的坐标信息。
可选地，所述演奏曲谱包括音符对应的时值；所述展示模块，包括：展示子模块，用于展示所述渲染后的图像，展示的时长为所述当前待演奏的音符对应时值。
可选地，还包括：第二确定模块，用于确定乐器当前演奏的音高；比对模块，用于将所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高进行比对；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高不一致，则继续展示所述渲染后的图像；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高一致，则不再展示所述渲染后的图像。
可选地，所述渲染包括高亮；所述渲染模块，包括：渲染子模块，用于对所述琴键位置进行高亮，以生成高亮后的图像；所述展示模块，包括：展示子模块，用于展示高亮后的图像。
第三方面，本申请的实施例还提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述任一实现方式所述的乐器演奏键位提示方法。
第四方面，本申请的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一实现方式所述的乐器演奏键位提示方法。
本申请的实施例提供的乐器演奏键位提示方法、装置、电子设备及存储介质，通过获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息，再根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，而后，对所述琴键位置进行渲染，以生成渲染后的图像，最终，向演奏者展示所述渲染后的图像，本实施例的提示方法，能够获取实时的演奏图像，并对该图像进行处理，将当前待演奏的琴键进行渲染，在得到渲染后的图像后，向演奏者展示，演奏者依照所展示的渲染后的图像进行弹奏，通过本实施例的提示方法的实施，能够提高对演奏者进行提示的提示效果，提升用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请一实施例提供的乐器演奏键位提示方法的流程示意图；
图2为本申请又一实施例提供的乐器演奏键位提示方法的流程示意图；
图3为本申请一实施例提供的乐器演奏键位提示装置的结构示意图；
图4为本申请的实施例提供的电子设备的一种结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
第一方面，本申请的实施例提供一种乐器演奏键位提示方法，能够提高对演奏者进行提示的提示效果，提升用户体验。
图1为本申请一实施例提供的乐器演奏键位提示方法的流程示意图，如图1所示，本实例的乐器演奏键位提示方法可以包括：
S101、获取当前乐器演奏图像。
在当前乐器演奏图像中包括当前键盘图像信息。
本实施例的乐器可以为具有键盘的、且通过演奏者手部进行演奏的乐器，例如，可以为钢琴、电子琴、手风琴等等。演奏图像可以为包括键盘图像信息图片，也可以为包括键盘图像信息的视频段。
键盘可以包括黑键和白键，在一个例子中，键盘可为钢琴键盘。
S102、根据演奏曲谱，在当前乐器演奏图像中确定当前待演奏的琴键位置。
演奏曲谱可以以例如MusicXML格式的音乐符号文件预存，其中，Musicxml格式是一个开放的基于XML的音乐符号文件格式，可以被用来做为乐谱信息的交换格式，特别是在不同的乐谱显示软件的之间进行交换，MusicXML将整体乐曲元素和属性信息表示为一份XML文档。演奏曲谱可包括音符、音符对应的音高及时长，以及每个音符相对于曲谱开始处的时间。
根据演奏曲谱的演奏进度可以获知当前演奏哪个音符，并进一步根据步骤101中获得的当前乐器演奏图像确定当前演奏的音符所对应的琴键位置。
S103、对所述琴键位置进行渲染，以生成渲染后的图像。
本发明的实施例中，可以由图形处理器(GPU，Graphics Processing Unit)完成对当前演奏图形中的琴键位置进行渲染。具体而言，GPU可以获取到渲染参数及当前演奏图像，调用OpenGL中执行渲染操作的函数，以便于GPU能够根据OpenGL中的函数对当前演奏图像的待演奏琴键的位置进行处理。当然，对图像实现渲染的平台或工具可为OpenGL，也可为MediaShow Espresso或者DirectX等其他的实现对图像渲染的接口或应用程序。
在进行渲染时，可在琴键位置上渲染成不同于黑、白色的其它颜色，也可在琴键位置上渲染上具有一定形状的图案，具体形状不限，只要能便于演奏者识别当前待演奏的琴键即可。
在一个例子中，渲染包括高亮，对所述琴键位置进行渲染，以生成渲染后的图像可以包括：对琴键位置进行高亮，以生成高亮后的图像。可高亮成区别于黑色或白色的任一颜色，如高亮成明黄色。
S104、展示渲染后的图像。
在演奏曲谱数据中可以包括音符对应的时值，在本申请一实施例中，展示所述渲染后的图像(S104)可以包括：展示所述渲染后的图像，展示的时长为所述当前待演奏的音符对应时值。其中时值，在音乐中可指音符或休止符的长度。不同时值的音或休止，用不同的音符或休止符来表示，如全音符、四分音符、全休止符、四分休止符等。
当前待演奏的琴键位置被渲染后，形成的图像，可展示一定时间，该时间的长短可根据待演奏的音符的时长确定，这样，可以便于向演奏者提示弹奏该琴键的持续时间。
当高亮当前待演奏的琴键形成的图像后，展示渲染后的图像，包括：展示高亮后的图像。
本实施例，通过获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息，再根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，而后，对所述琴键位置进行渲染，以生成渲染后的图像，最终，向演奏者展示所述渲染后的图像，本实施例的提示方法，能够获取实时的演奏图像，并对该图像进行处理，将当前待演奏的琴键进行渲染，在得到渲染后的图像后，向演奏者展示，演奏者依照所展示的渲染后的图像进行弹奏，通过本实施例的提示方法的实施，能够提高对演奏者进行提示的提示效果，提升用户体验，避免了采用瀑布流的方式对演奏者进行提示而导致的提示效果较差的问题，此外，能够降低学习乐器的门槛，降低向演奏者进行提示的硬件成本。
作为一可选实施方式，在展示渲染后的图像(S 104)之后，还包括：
A、确定乐器当前演奏的音高。
采集现场的乐器演奏的乐声信号，并将采集的乐声信号输入音高识别模型后，模型可以输出与该乐声信号相对应的各音高的预测概率随时间的变化情况，从而根据概率规律确定出当前演奏的音高。
B、将所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高进行比对。
将当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高进行比对，如果当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高不一致，则继续展示所述渲染后的图像，如果当前乐器演奏的音高与演奏曲谱的当前待演奏的音符对应的音高一致，则不再展示渲染后的图像。
演奏者根据渲染后的图像中渲染的琴键的位置，进行弹奏，当弹奏乐器上的琴键，产生对应的音高，当乐器琴键产生的音高与乐谱中的待演奏的音符音高相对应，则渲染后的图像消失，即不再展示该图像；当乐器琴键产生的音高与乐谱中的待演奏的音符音高不对应，则表明弹奏的琴键不正确，这种情况下，为提示演奏者正确的琴键位置，可以持续展示渲染后的图像，直至弹奏的琴键与渲染的琴键位置一致。
由于在特定乐器中，音高与发声元件具有对应关系，如钢琴的88个琴键对应不同的音高，基于此，可以通过演奏曲谱中的音符对应的音高确定对应的琴键，进一步地，由音符对应的音高确定琴键的位置，在本申请一实施例中，演奏曲谱包括音符对应的音高；
音符可以用来记录不同长短的音的进行符号；音高可以指各种音调高低不同的声音，即音的高度，是声音的三大基本特征之一。
在曲谱数据中，包括：每个音符的时间、音高，在曲谱的开始位置处的时刻可为0，每个音符的时间是相对于0时刻而言。
图2为本申请又一实施例提供的乐器演奏键位提示方法的流程示意图，与上述实施例基本相同，不同之处在于，本实施例中的根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置(S102)，包括：
S102a、根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键。
当前待演奏的音符为当前需要弹奏但是尚未弹奏的音符；音高与琴键对应，不同音高对应不同的琴键，因此，可由音高确定琴键，本实施例中，可由当前待演奏的音符对应的音高，确定当前待演奏的琴键，如由当前音高确定与当前音高对应的琴键处于乐器中左起第5个琴键。
S102b、根据预先识别出的乐器各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
预先识别出的乐器各个琴键的坐标信息，具体可通过具有图像识别功能的卷积神经网路模型识别出乐器各个琴键的坐标信息。
具体地，可采用基于CNN的图像语义分割技术分割出黑琴键的轮廓信息。该CNN模型在训练时，将大量的图像和标注信息输入到该模型，经过一定的网络迭代次数，网络达到最优后取其网络参数作为最终的网络优化参数，推理部分利用网络的最终优化参数对输入的一张图片进行推理得出分割结果，如输入三通道的彩色图以及标签(标签为标注好的分割图，只保留目标roi，如目标黑琴键roi的区域为1，别的背景区域值为0，标注好的分割图可以看作是一个像素级的分类图，即是图像中的每一个像素均被打上了标签)。
利用训练好的CNN对输入的三通道图像进行特征提取，提取出能代表黑琴键的特征(如颜色等)，根据提取出来的特征对图像中的每一个像素点进行分类(如：某一个像素点代表黑琴键还是背景)，最终输出像素级的分类结果图作为最终的黑琴键分割结果，并依据此分割结果运用图像处理方法求出黑琴键的轮廓信息，再根据先验信息(如黑琴键的长款比、面积等)对得到的黑琴键轮廓信息进行过滤，过滤掉分割错误的(如轮廓面积不再设定范围内的)黑琴键信息，然后根据先验信息(如黑白琴键的长款比、黑白琴键的位置关系等)计算出白琴键的轮廓信息，最终可求出每个八度的坐标信息，即每个琴键的坐标信息。该三通道图像可为对琴键位置进行校准拍摄的，具体校准方式可为用户调整摄像头位置，保证钢琴键盘在指定的矩形区域内，并且将钢琴的中央C键的位置对准标记线，校准完成以后，将不再移动摄像头，使摄像头和乐器相对位置固定，其它图像可在此基础上进行拍摄。
当获得了乐器各个琴键的坐标信息和当前待演奏的琴键，即可在当前乐器演奏图像中键盘上确定当前待演奏的琴键位置。
作为一可替代的方案，本申请一实施例中，演奏曲谱包括音符对应的音高，在根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置(S102)之前，包括：
S105、基于预设的卷积神经网络模型，在当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息。
利用预设的基于卷积神经网络模型能够从乐器演奏图像中识别出键盘上的各个琴键的坐标信息。
键盘上的每个琴键的坐标信息可以包括该琴键上的各个拐角处的坐标信息，如琴键表面为长方形时，可用该长方形的四个顶点处的坐标信息表示被按下的琴键的坐标信息。当琴键为多边形时，可用多边形的各个顶点处的坐标信息表示被按下的琴键的坐标信息。在图像中，用像素点的坐标信息表示被按下的琴键的坐标信息。被按下琴键的坐标信息的参考点可为演奏图像的左上角像素点的坐标。
示例性的，在本申请一实施例中，步骤S105可以进一步地包括：
S105A、基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息。
乐器演奏图像中，除了琴键外，可能存在背景，可以利用该卷积神经网络模型从乐器演奏图像中识别出哪些像素代表琴键。琴键分为黑琴键和白琴键时，在一些例子中，该预设的卷积神经网络模型可以从乐器演奏图像中识别出，哪些像素代表黑琴键，哪些像素代表白琴键；在另一些例子中，也可以利用该预设的卷积神经网络模型，从乐器演奏图像中识别出哪些像素代表白琴键，再利用白琴键和黑琴键的位置关系，识别出白琴键的轮廓信息；在又一些例子中，基于预设的卷积神经网络模型，在当前乐器演奏图像中，识别黑色琴键的轮廓信息；再根据黑色琴键的轮廓信息以及预设的黑琴键与白琴键的对应关系，识别白色琴键的轮廓信息。
预设的卷积神经网络模型基于图像语义分割技术，对乐器演奏图像实现语义分割。预设的卷积神经网络模型是经过训练的模型，输入训练样本及标注好的信息，标注好的信息可为标注好的分割图，只保留目标roi，如目标黑琴键roi的区域为1，别的背景区域值为0，标注好的分割图可以看作是一个像素级的分类图，即是图像中的每一个像素均被打上了标签，经过一定次数的网络迭代，使模型达到最优后取其网络参数作为最终的网络优化参数，在使用时，可以利用模型的最终优化参数对输入的一张图片进行特征计算，最终得出分割结果。
可以将三通道的演奏图像输入到预设的卷积神经网络模型中，通过提取能够代表黑琴键的特征，例如黑色特征。在乐器图像中，每个黑键可以对应着一些像素点的集合，根据提取出来的特征对图像中的每个像素点进行分类，即可以将黑色琴键从图像中分割出来，进一步地，可以根据像素集合的边缘上的像素点的坐标即可确定每个黑键的轮廓，通过预设的卷积神经网络模型能够输出像素级的分类结果图。
再根据预设的黑琴键的长宽比例和/或面积，对得到的黑琴键轮廓信息进行过滤，过滤掉错误的黑琴键信息，例如可以将不再设定的范围内的轮廓面积除去；再根据预设的黑琴键与白琴键的关系如黑白琴键的长宽比、黑白琴键的位置关系等等，计算出白琴键的轮廓信息。
S105B、根据所述各个琴键的轮廓信息，识别出各个琴键的坐标信息。
在步骤S105A中，识别出各个琴键的轮廓信息后，为了后续计算过程方便，可以使用各个琴键的坐标信息来表示各个琴键的在图像中的位置。
在一些例子中，可以根据黑色琴键的轮廓信息和白色琴键的轮廓信息，识别键盘上的黑琴键和白琴键的坐标信息。
根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置(S102)，包括：
S102C、根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键。
本步骤的确定过程和效果与上述步骤S102a相似，在此不再赘述。
S102D、根据各个琴键的坐标信息和当前待演奏的琴键，在当前乐器演奏图像中确定当前待演奏的琴键位置。
当获得了乐器各个琴键的坐标信息和当前待演奏的琴键，即可在当前乐器演奏图像中键盘上确定当前待演奏的琴键位置。
本申请一实施例中，对于曲目中指定的时间点t0，可获取到t0时间点对应的所有音符，以及每个音符在琴键上的位置。当用户弹到t0的位置时，就可以在屏幕中提示当前时间所对应的所有键的位置。
在实时拍摄的视频中，在当前需要提示的琴键所在的区域上，加上高亮绘制，但是不限于形状、颜色等具体的展现形式。
上述实施方式中的提示方法运行在AR系统时，直接在AR系统的投影上显示出高亮区域标记即可。
第二方面，本申请的实施例提供一种乐器演奏键位提示装置，能够提高对演奏者进行提示的提示效果，提升用户体验。
图3为本申请一实施例提供的乐器演奏键位提示装置的结构示意图，本实施例的装置，可以包括：
获取模块11，用于获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息；
确定模块12，用于根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置；
渲染模块13，用于对所述琴键位置进行渲染，以生成渲染后的图像；
展示模块14，用于展示所述渲染后的图像。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本实施例的装置，通过获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息，再根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，而后，对所述琴键位置进行渲染，以生成渲染后的图像，最终，向演奏者展示所述渲染后的图像，本实施例的提示方法，能够获取实时的演奏图像，并对该图像进行处理，将当前待演奏的琴键进行渲染，在得到渲染后的图像后，向演奏者展示，演奏者依照所展示的渲染后的图像进行弹奏，通过本实施例的提示方法的实施，能够提高对演奏者进行提示的提示效果，提升用户体验，避免了采用瀑布流的方式对演奏者进行提示而导致的提示效果较差的问题，此外，能够降低学习乐器的门槛，降低向演奏者进行提示的硬件成本。
作为一可选实施方式，所述演奏曲谱包括音符对应的音高；所述第一确定模块，包括：第一确定子模块，用于根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；第二确定子模块，用于根据预先识别出的乐器各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
作为一可选实施方式，所述演奏曲谱包括音符对应的音高；所述装置，还包括：识别模块，用于基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息；所述第一确定模块，包括：第三确定子模块，用于根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；第四确定子模块，用于根据所述各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
作为一可选实施方式，所述识别模块，包括：第一识别子模块，用于基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息；第二识别子模块，用于根据所述各个琴键的轮廓信息，识别出各个琴键的坐标信息。
作为一可选实施方式，所述第一识别子模块，包括：第一识别单元，用于基于所述卷积神经网络模型，在所述当前乐器演奏图像中，识别黑色琴键的轮廓信息；第二识别单元，用于根据所述黑色琴键的轮廓信息以及预设的黑琴键与白琴键的对应关系，识别白色琴键的轮廓信息；所述第二识别子模块，包括：
第三识别单元，用于根据所述黑色琴键的轮廓信息和所述白色琴键的轮廓信息，识别所述键盘上的各个琴键的坐标信息。
作为一可选实施方式，所述演奏曲谱包括音符对应的时值；所述展示模块，包括：展示子模块，用于展示所述渲染后的图像，展示的时长为所述当前待演奏的音符对应时值。
作为一可选实施方式，还包括：第二确定模块，用于确定乐器当前演奏的音高；比对模块，用于将所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高进行比对；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高不一致，则继续展示所述渲染后的图像；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高一致，则不再展示所述渲染后的图像。
作为一可选实施方式，所述渲染包括高亮；所述渲染模块，包括：渲染子模块，用于对所述琴键位置进行高亮，以生成高亮后的图像；所述展示模块，包括：展示子模块，用于展示高亮后的图像。
上述实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
第三方面，本申请的实施例还提供一种电子设备，能够提高对演奏者进行提示的提示效果，提升用户体验。
如图4所示，本申请的实施例提供的电子设备，可以包括：壳体51、处理器52、存储器53、电路板54和电源电路55，其中，电路板54安置在壳体51围成的空间内部，处理器52和存储器53设置在电路板54上；电源电路55，用于为上述电子设备的各个电路或器件供电；存储器53用于存储可执行程序代码；处理器52通过读取存储器53中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例提供的乐器演奏手部动作的纠错方法。
处理器52对上述步骤的具体执行过程以及处理器52通过运行可执行程序代码来进一步执行的步骤，可以参见前述实施例的描述，在此不再赘述。
上述电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
相应的，本申请的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述实施例提供的任一种乐器演奏键位提示方法，因此也能实现相应的技术效果，前文已经进行了详细说明，此处不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本申请时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (18)
1.一种乐器演奏键位提示方法，其特征在于，包括：
获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息；
根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置；
对所述琴键位置进行渲染，以生成渲染后的图像；
展示所述渲染后的图像；
其中，所述演奏曲谱包括：音符、音符对应的音高及时值，以及每个音符相对于演奏曲谱开始处的时间；所述根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，包括：
根据演奏曲谱的演奏进度获取当前演奏的音符；
根据所述当前演奏的音符，在所述当前乐器演奏图像中确定所述当前待演奏的音符所对应的琴键位置。
2.根据权利要求1所述的方法，其特征在于，所述演奏曲谱包括音符对应的音高；所述根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，包括：
根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；
根据预先识别出的乐器各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
3.根据权利要求1所述的方法，其特征在于，所述演奏曲谱包括音符对应的音高；在根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置之前，包括：
基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息；
所述根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置，包括：
根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；
根据所述各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
4.根据权利要求3所述的方法，其特征在于，所述基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息，包括：
基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息；
根据所述各个琴键的轮廓信息，识别出各个琴键的坐标信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息，包括：
基于所述卷积神经网络模型，在所述当前乐器演奏图像中，识别黑色琴键的轮廓信息；
根据所述黑色琴键的轮廓信息以及预设的黑琴键与白琴键的对应关系，识别白色琴键的轮廓信息；
所述根据所述各个琴键的轮廓信息，识别各个琴键的坐标信息，包括：
根据所述黑色琴键的轮廓信息和所述白色琴键的轮廓信息，识别所述键盘上的各个琴键的坐标信息。
6.根据权利要求1所述的方法，其特征在于，所述演奏曲谱包括音符对应的时值；
所述展示所述渲染后的图像，包括：
展示所述渲染后的图像，展示的时长为所述当前待演奏的音符对应时值。
7.根据权利要求2所述的方法，其特征在于，在展示所述渲染后的图像之后，还包括：
确定乐器当前演奏的音高；
将所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高进行比对；
如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高不一致，则继续展示所述渲染后的图像；
如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高一致，则不再展示所述渲染后的图像。
8.根据权利要求1所述的方法，其特征在于，所述渲染包括高亮；
所述对所述琴键位置进行渲染，以生成渲染后的图像，包括：
对所述琴键位置进行高亮，以生成高亮后的图像；
所述展示所述渲染后的图像，包括：展示高亮后的图像。
9.一种乐器演奏键位提示装置，其特征在于，包括：
获取模块，用于获取当前乐器演奏图像，所述当前乐器演奏图像中包括键盘图像信息；
第一确定模块，用于根据演奏曲谱，在所述当前乐器演奏图像中确定当前待演奏的琴键位置；
渲染模块，用于对所述琴键位置进行渲染，以生成渲染后的图像；
展示模块，用于展示所述渲染后的图像；
其中，所述演奏曲谱包括：音符、音符对应的音高及时值，以及每个音符相对于演奏曲谱开始处的时间；所述第一确定模块，具体用于根据演奏曲谱的演奏进度获取当前演奏的音符；根据所述当前演奏的音符，在所述当前乐器演奏图像中确定所述当前待演奏的音符所对应的琴键位置。
10.根据权利要求9所述的装置，其特征在于，所述演奏曲谱包括音符对应的音高；所述第一确定模块，包括：
第一确定子模块，用于根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；
第二确定子模块，用于根据预先识别出的乐器各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
11.根据权利要求9所述的装置，其特征在于，所述演奏曲谱包括音符对应的音高；所述装置，还包括：
识别模块，用于基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息；
所述第一确定模块，包括：
第三确定子模块，用于根据演奏曲谱的当前待演奏的音符对应的音高，确定当前待演奏的琴键；
第四确定子模块，用于根据所述各个琴键的坐标信息和所述当前待演奏的琴键，在所述当前乐器演奏图像中确定当前待演奏的琴键位置。
12.根据权利要求11所述的装置，其特征在于，所述识别模块，包括：
第一识别子模块，用于基于预设的卷积神经网络模型，在所述当前乐器演奏图像中识别出各个琴键的轮廓信息；
第二识别子模块，用于根据所述各个琴键的轮廓信息，识别出各个琴键的坐标信息。
13.根据权利要求12所述的装置，其特征在于，所述第一识别子模块，包括：
第一识别单元，用于基于所述卷积神经网络模型，在所述当前乐器演奏图像中，识别黑色琴键的轮廓信息；
第二识别单元，用于根据所述黑色琴键的轮廓信息以及预设的黑琴键与白琴键的对应关系，识别白色琴键的轮廓信息；
所述第二识别子模块，包括：
第三识别单元，用于根据所述黑色琴键的轮廓信息和所述白色琴键的轮廓信息，识别所述键盘上的各个琴键的坐标信息。
14.根据权利要求9所述的装置，其特征在于，所述演奏曲谱包括音符对应的时值；
所述展示模块，包括：
展示子模块，用于展示所述渲染后的图像，展示的时长为所述当前待演奏的音符对应时值。
15.根据权利要求10所述的装置，其特征在于，还包括：
第二确定模块，用于确定乐器当前演奏的音高；
比对模块，用于将所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高进行比对；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高不一致，则继续展示所述渲染后的图像；如果所述当前乐器演奏的音高与所述演奏曲谱的当前待演奏的音符对应的音高一致，则不再展示所述渲染后的图像。
16.根据权利要求9所述的装置，其特征在于，所述渲染包括高亮；
所述渲染模块，包括：
渲染子模块，用于对所述琴键位置进行高亮，以生成高亮后的图像；
所述展示模块，包括：
展示子模块，用于展示高亮后的图像。
17.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1-8中任一项所述的乐器演奏键位提示方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1-8中任一项所述的乐器演奏键位提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110059224.XA CN112818981B (zh) | 2021-01-15 | 2021-01-15 | 一种乐器演奏键位提示方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110059224.XA CN112818981B (zh) | 2021-01-15 | 2021-01-15 | 一种乐器演奏键位提示方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818981A CN112818981A (zh) | 2021-05-18 |
| CN112818981B true CN112818981B (zh) | 2023-12-12 |
Family
ID=75870264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110059224.XA Active CN112818981B (zh) | 2021-01-15 | 2021-01-15 | 一种乐器演奏键位提示方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818981B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362788A (zh) * | 2021-06-03 | 2021-09-07 | 北京洲洋华乐科技有限公司 | 生成指法谱的程序、方法、装置及计算机可读存储介质 |
| CN113657185A (zh) * | 2021-07-26 | 2021-11-16 | 广东科学技术职业学院 | 一种钢琴练习智能辅助方法、装置及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102664000A (zh) * | 2012-03-10 | 2012-09-12 | 任涛 | 钢琴学习及演奏辅助系统 |
| CN105513580A (zh) * | 2014-09-26 | 2016-04-20 | 上海渐华科技发展有限公司 | 基于辅助摄像头的键盘乐器弹奏音符识别系统 |
| CN106981282A (zh) * | 2016-01-15 | 2017-07-25 | 易弹信息科技（上海）有限公司 | 一种钢琴演奏琴键提示方法及系统 |
| WO2019087331A1 (ja) * | 2017-11-01 | 2019-05-09 | ヤマハ株式会社 | 基準位置検出装置および基準位置検出方法 |
| CN110517557A (zh) * | 2019-07-19 | 2019-11-29 | 森兰信息科技（上海）有限公司 | 钢琴弹奏学习方法、系统及装置 |
| KR20200077213A (ko) * | 2018-12-20 | 2020-06-30 | 고근호 | 피아노 연주 가이드 방법 및 시스템 |
| JP2020140055A (ja) * | 2019-02-28 | 2020-09-03 | 特定非営利活動法人アジェンダやまがた | ピアノ教習補助装置 |
| CN111695499A (zh) * | 2020-06-09 | 2020-09-22 | 小叶子（北京）科技有限公司 | 一种琴键识别方法、装置、电子设备及存储介质 |
-
2021
- 2021-01-15 CN CN202110059224.XA patent/CN112818981B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102664000A (zh) * | 2012-03-10 | 2012-09-12 | 任涛 | 钢琴学习及演奏辅助系统 |
| CN105513580A (zh) * | 2014-09-26 | 2016-04-20 | 上海渐华科技发展有限公司 | 基于辅助摄像头的键盘乐器弹奏音符识别系统 |
| CN106981282A (zh) * | 2016-01-15 | 2017-07-25 | 易弹信息科技（上海）有限公司 | 一种钢琴演奏琴键提示方法及系统 |
| WO2019087331A1 (ja) * | 2017-11-01 | 2019-05-09 | ヤマハ株式会社 | 基準位置検出装置および基準位置検出方法 |
| KR20200077213A (ko) * | 2018-12-20 | 2020-06-30 | 고근호 | 피아노 연주 가이드 방법 및 시스템 |
| JP2020140055A (ja) * | 2019-02-28 | 2020-09-03 | 特定非営利活動法人アジェンダやまがた | ピアノ教習補助装置 |
| CN110517557A (zh) * | 2019-07-19 | 2019-11-29 | 森兰信息科技（上海）有限公司 | 钢琴弹奏学习方法、系统及装置 |
| CN111695499A (zh) * | 2020-06-09 | 2020-09-22 | 小叶子（北京）科技有限公司 | 一种琴键识别方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818981A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112883804B (zh) | 一种乐器演奏手部动作的纠错方法、装置及电子设备 | |
| CN112818981B (zh) | 一种乐器演奏键位提示方法、装置、电子设备及存储介质 | |
| US7563974B2 (en) | Storage medium storing sound processing program and sound processing apparatus | |
| KR101679239B1 (ko) | 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법 | |
| US10071316B2 (en) | Systems and methods for creating a playable video game from a three-dimensional model | |
| US20190054378A1 (en) | Systems and methods for creating a playable video game from a three-dimensional model | |
| CN111738016A (zh) | 多意图识别方法及相关设备 | |
| CN108052277A (zh) | 一种ar定位学习方法和装置 | |
| CN109348277A (zh) | 运动像素视频特效添加方法、装置、终端设备及存储介质 | |
| CN111695499B (zh) | 一种琴键识别方法、装置、电子设备及存储介质 | |
| US20190299108A1 (en) | Content generation system | |
| CN111841007A (zh) | 游戏的控制方法、装置、设备和存储介质 | |
| CN110689866A (zh) | 基于增强现实的小提琴辅助教学方法及系统 | |
| CN110297932B (zh) | 确定矢量图中封闭图形的最大内接圆的方法、装置及电子设备 | |
| CN109741420B (zh) | 一种区域填充方法、装置、电子设备及存储介质 | |
| CN112835807B (zh) | 界面识别方法、装置、电子设备和存储介质 | |
| KR20200077213A (ko) | 피아노 연주 가이드 방법 및 시스템 | |
| CN111507139A (zh) | 图像效果生成方法、装置和电子设备 | |
| CN114677431A (zh) | 钢琴指法识别方法及计算机可读存储介质 | |
| US11011071B1 (en) | Interactive learning system and a method | |
| CN114693848B (zh) | 一种生成二维动画的方法、装置、电子设备及介质 | |
| Küçükbay et al. | Audio event detection using adaptive feature extraction scheme | |
| Adhikari et al. | Computer Vision Based Virtual Musical Instruments | |
| Nicoll et al. | Grain: Default settings, design principles, and the aura of videogame production | |
| WO2023032422A1 (ja) | 処理方法、プログラムおよび処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |