CN114677431A - 钢琴指法识别方法及计算机可读存储介质 - Google Patents

钢琴指法识别方法及计算机可读存储介质 Download PDF

Info

Publication number
CN114677431A
CN114677431A CN202210167103.1A CN202210167103A CN114677431A CN 114677431 A CN114677431 A CN 114677431A CN 202210167103 A CN202210167103 A CN 202210167103A CN 114677431 A CN114677431 A CN 114677431A
Authority
CN
China
Prior art keywords
key
piano
area
piano keyboard
black
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210167103.1A
Other languages
English (en)
Inventor
王子亮
陈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Net eVideo Information Systems Co Ltd
Original Assignee
Fujian Star Net eVideo Information Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Net eVideo Information Systems Co Ltd filed Critical Fujian Star Net eVideo Information Systems Co Ltd
Priority to CN202210167103.1A priority Critical patent/CN114677431A/zh
Publication of CN114677431A publication Critical patent/CN114677431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates

Abstract

本发明公开了一种钢琴指法识别方法及计算机可读存储介质，方法包括：拍摄得到钢琴键盘图片，并确定各琴键区域的位置信息；实时接收被按下的钢琴键对应的MIDI信号，并拍摄得到所述MIDI信号对应的弹奏图片；实时将所述MIDI信号对应的音高与钢琴曲谱中对应的音符的音高进行对比；若所述MIDI信号对应的音高与对应的音符的音高一致，则对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点；根据所述MIDI信号对应的手部关键点以及各琴键区域的位置信息，进行指法检测。本发明可实现钢琴演奏指法的自动识别，且可减少整体指法识别过程的计算量。

Description

钢琴指法识别方法及计算机可读存储介质
技术领域
本发明涉及指法检测技术领域，尤其涉及一种钢琴指法识别方法及计算机可读存储介质。
背景技术
传统的钢琴弹奏练习或考试，需要人工判断弹奏的指法是否正确，比较耗费教师资源，并且由于师资力量有限，一位老师无法同时查看多个同学在同一时间段内弹奏同一钢琴乐谱或者不同钢琴乐谱的弹奏指法是否正确，无法对学生及时有效地指导，导致学习进度慢或者养成不好的弹奏习惯。
现有的钢琴指法识别方案中，大部分方案采用的是基于特征比对的方法，首先，通过数学模型，建立一个正确手型的标准数据库；然后，构建预测模型，用于抽取预测图片的特征，将该特征与标准数据库进行比对，从而判断是否为错误的弹奏手型。这种方式的难点在于构建标准数据库是一个复杂且低效的过程，由于人手的大小、关节比例等具有很大的差异，这就导致在使用关节角度或关节长度构建标准手型时，具有较大的主观性，是不太准确的。同时，由于手与相机角度的变化，即使是差异很大的手型，在做比对时，也可能得出一个很高的相似度，导致得出错误结论。因此，特征比对的方法鲁棒性差，主观性高，识别率低，且计算量大，对硬件设备的要求高。
发明内容
本发明所要解决的技术问题是：提供一种钢琴指法识别方法及计算机可读存储介质，可实现钢琴演奏指法的自动识别，且可减少整体指法识别过程的计算量。
为了解决上述技术问题，本发明采用的技术方案为：一种钢琴指法识别方法，包括：
拍摄得到钢琴键盘图片，并根据所述钢琴键盘图片，确定各琴键区域的位置信息；
实时接收被按下的钢琴键对应的MIDI信号，并拍摄所述MIDI信号对应的弹奏图片，所述弹奏图片包含钢琴的琴键区域以及演奏者的手部；
实时将所述MIDI信号对应的音高与钢琴曲谱中对应的音符的音高进行对比；
若所述MIDI信号对应的音高与对应的音符的音高一致，则对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点；
根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法。
本发明的有益效果在于：通过先将钢琴弹奏输出的MIDI信号与曲谱进行比对，当音高一致时才进行指法检测，即仅当演奏者弹的音是对的情况下，才进行指法检测，可减少整体识别的计算量，降低对硬件设备的要求，从而可在嵌入式设备上实时运行；通过对弹奏图片进行手部关键点检测，确定用户弹奏时的手指位置，并将其与预先确定的各琴键区域的位置进行比对，判断特定的手指是否落入对应的琴键区域内，从而实现钢琴弹奏时指法的自动识别，且鲁棒性好，识别率高，对钢琴初学者练习指法以及钢琴教学具有较大的辅助作用。
附图说明
图1为本发明的一种钢琴指法识别方法的流程图；
图2为本发明实施例一的方法流程图；
图3为本发明实施例一中弹奏图片的示意图；
图4为本发明实施例二中步骤S1的方法流程图；
图5为本发明实施例二中钢琴键盘区域的示意图；
图6为本发明实施例二中一个完整音组的示意图；
图7为包含88个琴键的钢琴键盘的示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，一种钢琴指法识别方法，包括：
拍摄得到钢琴键盘图片，并根据所述钢琴键盘图片，确定各琴键区域的位置信息；
实时接收被按下的钢琴键对应的MIDI信号，并拍摄所述MIDI信号对应的弹奏图片，所述弹奏图片包含钢琴的琴键区域以及演奏者的手部；
实时将所述MIDI信号对应的音高与钢琴曲谱中对应的音符的音高进行对比；
若所述MIDI信号对应的音高与对应的音符的音高一致，则对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点；
根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测。
从上述描述可知，本发明的有益效果在于：可实现钢琴演奏指法的自动识别，且可减少整体指法识别过程的计算量。
进一步地，所述实时将所述MIDI信号对应的音高与钢琴曲谱中对应的音符的音高进行对比具体为：
获取待演奏的钢琴曲谱，并确定所述钢琴曲谱中各音符的演奏顺序，得到各音符的序号；
根据所述MIDI信号的接收顺序，确定所述MIDI信号的序号；
根据所述MIDI信号的序号，获取所述钢琴曲谱中序号一致的音符，作为所述MIDI信号对应的音符；
实时将所述MIDI信号对应的音高与其对应的音符的音高进行对比。
由上述描述可知，根据MIDI信号的演奏顺序以及音符在钢琴曲谱中的顺序，确定MIDI信号对应的音符，并进行音高比对，从而可判断演奏者弹的音是否正确。
进一步地，所述拍摄得到钢琴键盘图片，并根据所述钢琴键盘图片，各琴键区域的位置信息具体为：
拍摄得到钢琴键盘图片，所述钢琴键盘图片包含钢琴键盘区域；
根据所述钢琴键盘图片，确定钢琴键盘区域；
对所述钢琴键盘区域进行划分，得到各琴键区域，并确定各琴键区域的位置信息。
由上述描述可知，先在钢琴键盘图片中确定出钢琴键盘区域，再对钢琴键盘区域进行划分，可划分得到较准确的琴键区域，从而提高琴键区域位置的准确性。
进一步地，所述根据所述钢琴键盘图片，确定钢琴键盘区域具体为：
通过边缘检测算法对所述钢琴键盘图片进行边缘检测，并通过霍夫变换检测钢琴键盘区域的上下边界和左右边界，所述上下边界为钢琴键盘区域长度方向上的边界，所述左右边界为钢琴键盘区域宽度方向上的边界；
根据所述钢琴键盘区域的上下边界和左右边界，确定钢琴键盘区域。
由上述描述可知，通过边缘检测和霍夫变换检测出钢琴键盘区域的四条边界，再根据四条边界确定出钢琴键盘区域。
进一步地，所述根据所述对所述钢琴键盘区域进行划分，得到各琴键区域，并确定各琴键区域的位置信息之前，进一步包括：
计算所述钢琴键盘区域的长度方向与水平方向的夹角；
若所述夹角大于预设的第一阈值，则根据所述夹角，对所述钢琴键盘图片进行旋转，旋转后的钢琴键盘图片中的钢琴键盘区域的长度方向与水平方向平行，所述夹角小于90度。
由上述描述可知，通过对钢琴键盘图片进行旋转处理，得到与水平方向平行的钢琴键盘区域，从而可解决摄像头拍摄到的钢琴键盘区域非水平导致的难以分割或分割不准确的问题。
进一步地，所述钢琴键盘区域的左边和右边分别与钢琴键盘的左右边对应，所述钢琴键盘的左边为演奏者弹奏钢琴时位于演奏者左手边的一边，所述钢琴键盘的右边为位于演奏者右手边的一边；
所述对所述钢琴键盘区域进行划分，得到各琴键区域，并确定各琴键区域的位置信息具体为：
对所述钢琴键盘区域进行二值化处理，并通过连通域检测算法，确定各黑键区域；
根据预设的钢琴键盘的左边第一个琴键对应的音符，确定左边第一个黑键组的黑键数量；
根据所述第一个黑键组的黑键数量以及完整音组中的黑键数量，从所述钢琴键盘区域左边至右边依序对所述各黑键区域进行分组，得到至少两个黑键组，并将黑键区域数量与完整音组中的黑键数量一致的黑键组作为完整音组对应的黑键组，所述完整音组包括5个黑键和7个白键；
分别计算各完整音组对应的黑键组中靠左的两个黑键区域同一位置点之间的距离，或分别计算各完整音组对应的黑键组中靠右的三个黑键区域中相邻两个黑键区域同一位置点之间的距离，得到与各完整音组一一对应的黑键距离，并分别根据各黑键距离以及预设的比例系数，计算得到各完整音组对应的白键宽度，所述预设的比例系数为23/41；
根据各完整音组对应的黑键组中黑键区域的位置以及所述各完整音组对应的白键宽度，对所述钢琴键盘区域进行划分，分别得到各完整音组对应的七个白键区域；
根据所述钢琴键盘区域以及各完整音组对应的白键区域，确定不完整音组对应的键盘区域，并根据与不完整音组相邻的完整音组对应的白键宽度，对所述不完整音组对应的键盘区域进行划分，得到不完整音组对应的白键区域；
分别记录各黑键区域和各白键区域的同一顶点在所述钢琴键盘图片中的坐标值以及各琴键区域的长度和宽度，得到各琴键区域的位置信息。
由上述描述可知，通过分组计算白键宽度，并分组划分得到白键区域，可以解决由于摄像头的拍摄视角导致的钢琴键盘区域中每个白键的宽度不同的问题，得到更准确的划分结果。
进一步地，所述根据各完整音组对应的黑键组中黑键区域的位置以及所述各完整音组对应的白键宽度，对所述钢琴键盘区域进行划分，分别得到各完整音组对应的七个白键区域具体为：
分别确定各完整音组对应的黑键组中从左至右的第四个黑键区域沿其长度方向的中心线，并分别根据各完整音组对应的白键宽度，在所述钢琴键盘区域中所述中心线的左侧划分得到五个白键区域，在所述中心线的右侧划分得到两个白键区域，作为各完整音组对应的七个白键区域；
若相邻且分别对应相邻两个完整音组的两个白键区域的边界线不重合，则将所述两个白键区域的边界线的中心线先作为新的边界线。
由上述描述可知，通过对存在重叠情况的白键区域重新界定边界线，保证琴键区域中的每个像素点仅对应一个琴键区域。
进一步地，所述钢琴键盘图片和弹奏图片的拍摄位置和拍摄角度一致；
所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点之前，进一步包括：
若所述夹角大于预设的第一阈值，则根据所述夹角，对所述弹奏图片进行旋转。
由上述描述可知，当对钢琴键盘图片进行旋转时，通过对弹奏图片同步进行旋转，保证后续可根据各琴键区域的位置信息，在弹奏图片中确定出准确的琴键位置。
进一步地，所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点具体为：
根据预设的第一深度学习模型，对所述弹奏图片进行手部检测，得到所述弹奏图片中的各手部位置，所述第一深度学习模型为目标检测模型；
根据预设的第二深度学习模型，分别对所述各手部位置进行人手关键点检测，得到所述各手部位置中的手部关键点，所述第二深度学习模型为分类模型。
由上述描述可知，通过对弹奏图片进行手部关键点检测，便于后续确定演奏者弹奏钢琴的手指。
进一步地，所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点之后，进一步包括：
获取手腕关键点坐标和各手指尖关键点坐标；
根据所述手腕关键点坐标和各手指尖关键点坐标，计算相邻手指尖相对于手腕的夹角的平均值，或计算大拇指与小拇指相对于手腕的夹角，得到手指尖坐标置信度；
若所述手指尖坐标置信度大于或等于预设的第二阈值，则执行所述根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测的步骤。
由上述描述可知，通过计算手指尖坐标置信度来判断手指是否出现重叠的情况，当重叠时，则丢弃，不进行后续指法检测，当不重叠时才进行后续的指法检测，以保证指法检测的准确性。
进一步地，所述根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测具体为：
分别根据所述各琴键区域的位置信息，在所述弹奏图片中确定各琴键区域的区域范围，并根据所述MIDI信号对应的音高以及预设的各琴键区域对应的音高，确定所述MIDI信号对应的琴键区域；
获取所述MIDI信号对应的手部关键点中的手指尖关键点，并判断是否有手指尖关键点落入所述MIDI信号对应的琴键区域内；
若是，则确定落入所述MIDI信号对应的琴键区域内的手指尖关键点对应的手指，并将所述对应的手指与所述MIDI信号对应的音符的标准演奏手指进行比对；
若所述对应的手指与所述标准演奏手指一致，则判定指法正确，否则判定指法错误。
由上述描述可知，通过将弹奏者按下钢琴键的手指位置与处于该钢琴键对应的琴键区域的位置进行比对，从而实现钢琴弹奏时指法的自动识别。
进一步地，所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点；根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测具体为：
若连续的MIDI信号的时间间隔小于预设的第三阈值，则对所述连续的MIDI信号中的最后一个MIDI信号对应的弹奏图片进行手部关键点检测，得到所述连续的MIDI信号对应的手部关键点，并根据所述连续的MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测。
由上述描述可知，通过将时间间隔小于一定阈值的MIDI信号进行合并，只对其中最后一个MIDI信号对应的弹奏图片进行后续检测，可进一步减少整体识别的计算量。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法。
实施例一
请参照图2-3，本发明的实施例一为：一种钢琴指法识别方法，可应用于嵌入式设备，适用于钢琴教学或训练等场景。
本实施例中的钢琴为电钢琴或电子琴，每按下一个琴键，会相应地发出一个MIDI信号。
不同钢琴的琴键数量不同，例如，目前常见的钢琴通常为88个琴键(包括36个黑键和52个白键)，也有少量的仅包含83个、85个、92个或97个琴键的钢琴，还有一些特殊钢琴(如儿童钢琴)，琴键数量较少。本实施例以88个琴键为例进行说明。
如图2所示，包括如下步骤：
S1：拍摄得到钢琴键盘图片，并根据所述钢琴键盘图片，确定各琴键区域的位置信息。
本实施例中，摄像头位于钢琴上方，且朝向钢琴键盘区域，保证可清楚地拍摄到完整的钢琴键盘区域，且后续也可清楚地拍摄到演奏者的手部。
S2：当演奏者演奏钢琴时，实时接收被按下的钢琴键对应的MIDI信号。
S3：实时拍摄得到所述MIDI信号对应的弹奏图片。
其中，弹奏图片包含完整的钢琴的琴键区域以及演奏者的手部，便于后续进行指法检测，如图3所示。并且，钢琴键盘图片和弹奏图片的拍摄位置和拍摄角度一致，即保持摄像头的状态不变，以保证钢琴键盘图片中各琴键的位置与弹奏图片中各琴键的位置一致。
S4：实时将所述MIDI信号对应的音高与钢琴曲谱中对应的音符的音高进行对比，判断所述MIDI信号对应的音高与其对应的音符的音高是否一致，若是，则执行步骤S5。
本实施例中，根据钢琴曲谱中各音符的演奏顺序来确定当前MIDI信号对应的音符。
具体地，本步骤包括如下步骤：
S401：获取待演奏的钢琴曲谱，并确定所述钢琴曲谱中各音符的演奏顺序，得到各音符的序号。其中，需要同一时间点演奏的音符的序号一致；例如，对于双行谱表，需要同一时间点演奏的高音音符和低音音符的序号一致。
S402：根据所述MIDI信号的接收顺序，确定所述MIDI信号的序号；即MIDI信号的序号依据演奏顺序而定。同样地，同一时间点按下的钢琴键对应的MIDI信号的序号一致。
S403：根据所述MIDI信号的序号，获取所述钢琴曲谱中序号一致的音符，作为所述MIDI信号对应的音符；即序号一致的MIDI信号和音符对应。
S404：判断所述MIDI信号对应的音高与其对应的音符的音高是否一致，若是，则执行步骤S5。也就是说，仅当演奏者弹的音是对的情况下，才进行指法检测，从而可减少整体的计算次数。
S5：对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点。
具体地，先通过第一深度学习模型对弹奏图片进行手部检测，检测出弹奏图片中所有手部位置；然后通过第二深度学习模型对所有手部位置进行人手关键点检测，检测出所有手的关键点(骨骼点)。
其中，第一深度学习模型可使用现有的目标检测的深度模型，如yolov3～v5，ssd等，第二深度学习模型可以使用现有的分类模型，如ResNet、ShuffleNet、Mobilenet、Rexnet等。
S6：根据所述MIDI信号对应的手部关键点，计算手指尖坐标置信度。
具体地，根据检测得到的各手部关键点，获取手腕关键点坐标和各手指尖关键点坐标；接着计算相邻手指尖相对于手腕的夹角的平均值，即先分别计算大拇指与食指相对于手腕的夹角、食指与中指相对于手腕的夹角、中指与无名指相对于手腕的夹角以及无名指与小拇指相对于手腕的夹角，然后计算这些夹角的平均值，作为手指尖置信度。
在其他实施例中，也可直接计算大拇指与小拇指相对于手腕的夹角，作为手指尖置信度。
其中，在人手关键点检测中，检测出的各手部关键点均有确定的序号，例如，序号为0的手部关键点为手腕关键点，序号为4、8、12、16、20的手部关键点分别为大拇指尖关键点、食指指尖关键点、中指指尖关键点、无名指指尖关键点、小拇指尖关键点。因此，通过手部关键点的序号，即可确定其对应的手指。
S7：判断手指尖坐标置信度是否大于或等于预设的第二阈值，若是，则执行步骤S8。
由于弹钢琴时，手指可能出现重叠的情况，此时会降低指法检测的准确性，因此，通过计算手指尖坐标置信度来判断手指是否出现重叠的情况，当重叠时，则丢弃，不进行后续指法检测，当不重叠时才进行后续的指法检测，以保证指法检测的准确性。
S8：根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测。
具体地，本步骤包括如下步骤：
S801：分别根据各琴键区域的位置信息，在弹奏图片中确定各琴键区域的区域范围，并根据所述MIDI信号对应的音高以及预设的各琴键区域对应的音高，确定所述MIDI信号对应的琴键区域。即在弹奏图片中确定出演奏者按下的琴键对应的琴键区域。
S802：获取所述MIDI信号对应的手部关键点中的手指尖关键点，并判断是否有手指尖关键点落入所述MIDI信号对应的琴键区域内，若是，则执行步骤S803。
S803：确定落入所述MIDI信号对应的琴键区域内的手指尖关键点对应的手指，并将所述对应的手指与所述MIDI信号对应的音符的标准演奏手指进行比对。
上述步骤S4中，已确定出钢琴曲谱中与所述MIDI信号对应的音符，而钢琴曲谱中每个音符都有对应的标准演奏手指(通过带指法的钢琴曲谱确定，或预先进行关联)。本步骤即先确定演奏者按下钢琴键的手指，再与标准演奏手指进行比对。
S804：判断所述对应的手指与所述标准演奏手指是否一致，若是，则执行步骤S805，若否，则执行步骤S806。
S805：判定指法正确。
S806：判定指法错误，并进行提示，例如，可通过提示音、语音或人机界面进行提示。
进一步地，由于钢琴弹奏过程中，经常出现多个手指同时按下的情况，此时，对应的多个MIDI信号的时间间隔较短，如果对每个MIDI信号与其对应的弹奏图片进行指法检测，则会增加整体的计算次数。因此，本实施例中，若连续的MIDI信号的时间间隔小于预设的第三阈值，则只对这些连续的MIDI信号中的最后一个MIDI信号对应的弹奏图片进行手部关键点检测，得到这些连续的MIDI信号对应的手部关键点，并根据这些连续的MIDI信号对应的手部关键点以及各琴键区域的位置信息，进行指法检测。
本实施例通过先将钢琴弹奏输出的MIDI信号与曲谱进行比对，当音高一致时才进行指法检测，即仅当演奏者弹的音是对的情况下，才进行指法检测，可减少整体识别的计算量，降低对硬件设备的要求；通过将时间间隔小于一定阈值的MIDI信号进行合并，只对其中最后一个MIDI信号对应的弹奏图片进行后续检测，可进一步减少整体识别的计算量；通过对弹奏图片进行手部关键点检测，确定演奏者弹奏时的手指位置，并将其与预先确定的各琴键区域的位置进行比对，判断特定的手指是否落入对应的琴键区域内，从而实现钢琴弹奏时指法的自动识别；通过计算手指尖坐标置信度来判断手指是否出现重叠的情况，当重叠时，则丢弃，不进行后续指法检测，当不重叠时才进行后续的指法检测，以保证指法检测的准确性。
本实施例的方法简单高效，且鲁棒性好，识别率高，可在嵌入式设备上实时运行，对钢琴初学者练习指法以及钢琴教学具有较大的辅助作用。
实施例二
请参照图4-7，本实施例为实施例一中步骤S1的进一步拓展，具体地，如图4所示，步骤S1包括如下步骤：
S101：拍摄得到钢琴键盘图片，钢琴键盘图片包含完整的钢琴键盘区域。
S102：根据所述钢琴键盘图片，确定钢琴键盘区域。
具体地，通过边缘检测算法对钢琴键盘图片进行边缘检测，并通过霍夫变换检测钢琴键盘区域的上下边界和左右边界，其中，上下边界为钢琴键盘区域长度方向上的边界，即长度较长的边界；左右边界为钢琴键盘区域宽度方向上的边界，即长度较短的边界。然后根据钢琴键盘区域的上下边界和左右边界，确定钢琴键盘区域；即根据钢琴键盘区域的四条边界，从钢琴键盘图片中分割出钢琴键盘区域，分割出的钢琴键盘区域如图5所示。
本实施例中，采用Canny算子进行边缘检测。
S103：对所述钢琴键盘区域进行二值化处理，并通过连通域检测算法，确定各黑键区域。
即先使用自适应阈值进行二值化处理，将黑键和白键分开，然后通过连通域检测算法先检测出每个黑键的外接矩形，从而确定各黑键区域。
S104：根据预设的钢琴键盘的左边第一个琴键对应的音符，确定左边第一个黑键组的黑键数量。
本实施例中，通过预先调整摄像头的拍摄角度，使得拍摄得到的钢琴键盘图片中的钢琴键盘区域的左边与真实钢琴键盘的左边对应，钢琴键盘区域的右边与真实钢琴键盘的右边对应，其中，钢琴键盘的左边为演奏者弹奏钢琴时位于演奏者左手边的一边，钢琴键盘的右边为演奏者弹奏钢琴时位于演奏者右手边的一边，即演奏者面对钢琴键盘时的左边和右边。
对于任意琴键数量的钢琴，所包含的琴键都可以划分为一个左边琴键组、至少一个的中间琴键组以及一个右边琴键组，其中，每个中间琴键组都对应一个完整音组，包括5个黑键和7个白键(7个白键分别对应C音、D音、E音、F音、G音、A音、B音)，如图6所示。而左边琴键组和右边琴键组可能为完整音组，也可能为不完整音组，当为不完整音组时，左边琴键组包括完整音组中靠右的若干个琴键，右边琴键组包括完整音组中靠左的若干个琴键。也就是说，不完整音组是完整音组中的一部分。
例如，对于88个琴键的钢琴，其钢琴键盘如图7所示，其包含9个音组，其中，中间的七个音组(大字一组、大字组、小字组、小字一组、小字二组、小字三组和小字四组)均为完整音组，左右两边的两个音组(大字二组和小字五组)为不完整音组，大字二组仅包含两个白键(分别对应A音和B音)和一个黑键，小字五组仅包含一个白键(对应C音)。
通过观察完整音组和不完整音组可知，对于不完整音组，只要知道其左边第一个琴键(即第一个白键)对应的音符，即可确定这个不完整音组中的黑键数量。例如，若第一个白键对应D音，则该不完整音组包含4个黑键；若第一个白键对应E音或F音，则该不完整音组包含3个黑键；若第一个白键对应G音，则该不完整音组包含2个黑键；若第一个白键对应A音，则该不完整音组包含1个黑键；若第一个白键对应B音，则该不完整音组包含0个黑键。
因此，通过获取钢琴键盘的左边第一个琴键对应的音符，即可确定出第一个黑键组的黑键数量。其中，第一个黑键组即对应左边第一个琴键组中的黑键。
S105：根据第一个黑键组的黑键数量以及完整音组中的黑键数量(即5个)，从钢琴键盘区域左边至右边依序对各黑键区域进行分组，得到至少两个黑键组，并将黑键区域数量与完整音组中的黑键数量一致的黑键组作为完整音组对应的黑键组。
例如，对于88个琴键的钢琴，钢琴键盘的左边第一个琴键对应的音符为A音，因此左边第一个黑键组的黑键数量为1个。在分组时，将钢琴键盘区域中左边第1个黑键区域作为第一个黑键组，将钢琴键盘区域中左边第2个至第6个黑键区域作为第二个黑键组，将钢琴键盘区域中左边第7个至第11个黑键区域作为第三个黑键组，以此类推，36个黑键区域即可分为8个黑键组，其中，第一个黑键组包括1个黑键区域，其他七个黑键组均包括5个黑键区域，即其他七个黑键组均为完整音组对应的黑键组。
S106：分别计算各完整音组对应的黑键组中靠左的两个黑键区域同一位置点之间的距离，或分别计算各完整音组对应的黑键组中靠右的三个黑键区域中相邻两个黑键区域同一位置点之间的距离，得到与各完整音组一一对应的黑键距离。
每个完整音组对应的黑键组中的5个黑键区域可分为靠左的两个黑键区域和靠右的三个黑键区域，本实施例中，可计算靠左的两个黑键区域左上角点之间的距离，或计算靠右的三个黑键区域中相邻两个黑键区域左上角点之间的距离，得到黑键距离。
S107：分别根据各黑键距离以及预设的白键宽度与黑键距离的比例系数，计算得到各完整音组对应的白键宽度，其中，比例系数为23/41。
根据实际钢琴的尺寸可知，黑键距离约为41mm，白键宽度约为23mm，因此，通过计算黑键距离，可计算出钢琴键盘区域中的白键宽度。
S108：根据各完整音组对应的黑键组中黑键区域的位置以及各完整音组对应的白键宽度，对钢琴键盘区域进行划分，分别得到各完整音组对应的七个白键区域。
通过观察实际的钢琴键盘可知，对于每个完整音组，其左边第四个黑键的中心线为该黑键左右两侧的两个白键的分隔线。
因此，本实施例中，先分别确定各完整音组对应的黑键组中从左至右的第四个黑键区域沿其长度方向的中心线，然后分别根据各完整音组对应的白键宽度，在各完整音组中第四个黑键区域的中心线的左侧划分得到五个白键区域，在各完整音组中第四个黑键区域的中心线的右侧划分得到两个白键区域，此时即可得到各完整音组对应的七个白键区域。
由于摄像头的拍摄视角可能导致拍摄出的钢琴键盘区域中每个白键的宽度不同，因此，通过分组计算白键宽度，并分组划分得到白键区域，可以得到更准确的划分结果。
进一步地，若相邻且分别对应相邻两个完整音组的两个白键区域的边界线不重合，则将这两个白键区域的边界线的中心线先作为新的边界线。
通过对存在重叠情况的白键区域重新界定边界线，保证琴键区域中的每个像素点仅对应一个琴键区域。
S109：根据钢琴键盘区域以及各完整音组对应的白键区域，确定不完整音组对应的键盘区域，并根据与不完整音组相邻的完整音组对应的白键宽度，对不完整音组对应的键盘区域进行划分，得到不完整音组对应的白键区域。
由于完整音组都处于钢琴键盘区域的中间，不完整音组处于钢琴键盘区域的两侧，因此，根据钢琴键盘区域的左边界以及从左到右的第一个完整音组中左边第一个白键区域的左边界，即可确定左侧的不完整音组对应的键盘区域；根据钢琴键盘区域的右边界以及从左到右的最后一个完整音组中最后一个白键区域的右边界，即可确定右侧不完整音组对应的键盘区域。
进一步地，当从左至右的最后一个音组为不包含黑键的不完整音组(即仅包含一个白键)时，无法根据黑键组判断出右侧是否存在不完整音组，此时，可根据钢琴键盘区域的右边界与从左到右的最后一个完整音组中最后一个白键区域的右边界之间的距离来进行判断，当该距离小于一定的阈值(如0.8倍的白键宽度)时，则认为钢琴键盘区域的右侧不存在不完整音组。也就是说，钢琴键盘区域的从左到右的最后一个音组即从左到右的最后一个完整音组。此时，钢琴键盘区域仅有左侧的一个不完整音组。
确定不完整音组对应的键盘区域后，根据与不完整音组相邻的完整音组对应的白键宽度，对不完整音组对应的键盘区域进行划分，得到不完整音组对应的白键区域。
其中，左侧的不完整音组的白键区域的数量可根据预设的钢琴键盘的左边第一个琴键对应的音符而确定。右侧的不完整音组的白键区域的数量可根据预设的钢琴键盘的右边第一个琴键对应的音符而确定，也可通过计算右侧的不完整音组左右方向上的长度与其左侧的完整音组对应的白键宽度的商值，根据与该商值最接近的整数而确定。
例如，对于88个琴键的钢琴，根据大字一组对应的白键宽度，对大字二组对应的键盘区域进行划分，得到大字二组的2个白键区域；根据小字四组对应的白键宽度，对小字五组对应的键盘区域进行划分，得到小字五组的1个白键区域。
S110：分别记录各黑键区域和各白键区域的同一顶点在钢琴键盘图片中的坐标值以及各琴键区域的长度和宽度，得到各琴键区域的位置信息。
通过上述步骤，即可得到所有的琴键区域，对于88个琴键的钢琴，即可得到36个黑键区域和52个白键区域。分别记录所有琴键区域的同一顶点(如左上角点)在钢琴键盘图片中的坐标值以及各琴键区域的长度和宽度，得到各琴键区域的位置信息。
本实施例通过分组计算白键宽度，并分组划分得到白键区域，可以解决由于摄像头的拍摄视角导致的钢琴键盘区域中每个白键的宽度不同的问题，得到更准确的划分结果。
实施例三
本实施例是实施例二的进一步拓展，相同之处不再累述，区别在于，本实施例中，在步骤S103之前，还包括如下步骤：
计算钢琴键盘区域的长度方向与水平方向的夹角；即计算钢琴键盘区域的上边界或下边界与水平线的夹角，所述夹角小于90度。
若所述夹角大于预设的第一阈值，则根据所述夹角，对钢琴键盘图片进行旋转，旋转后的钢琴键盘图片中的钢琴键盘区域的长度方向与水平方向平行。
进一步地，在步骤S110中，可以分别记录各黑键区域和各白键区域的同一顶点在旋转后的钢琴键盘图片中的坐标值以及各琴键区域的长度和宽度，得到各琴键区域的位置信息。
此时，由于位置信息记录的是琴键区域的一顶点在旋转后的钢琴键盘图片中的坐标值，为了保证可根据各琴键区域的位置信息，在弹奏图片中确定出准确的琴键位置，因此，在步骤S5之前，若上述计算出的夹角大于预设的第一阈值，则根据该夹角，对MIDI信号对应的弹奏图片进行旋转，使得旋转后的弹奏图片中的钢琴键盘区域的上下边界与水平方向平行。然后再通过第一深度学习模型，对旋转后的弹奏图片进行手部检测。并且，在步骤S801中，分别根据各琴键区域的位置信息，在旋转后的弹奏图片中确定各琴键区域的区域范围。
本实施例通过对钢琴键盘图片进行旋转处理，得到与水平方向平行的钢琴键盘区域，从而可解决摄像头拍摄到的钢琴键盘区域非水平导致的难以分割或分割不准确的问题。
实施例四
本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的钢琴指法识别方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
综上所述，本发明提供的一种钢琴指法识别方法及计算机可读存储介质，通过对钢琴键盘图片进行旋转处理，得到与水平方向平行的钢琴键盘区域，从而可解决摄像头拍摄到的钢琴键盘区域非水平导致的难以分割或分割不准确的问题；通过分组计算白键宽度，并分组划分得到白键区域，可以解决由于摄像头的拍摄视角导致的钢琴键盘区域中每个白键的宽度不同的问题，得到更准确的划分结果；通过先将钢琴弹奏输出的MIDI信号与曲谱进行比对，当音高一致时才进行指法检测，即仅当演奏者弹的音是对的情况下，才进行指法检测，可减少整体识别的计算量，降低对硬件设备的要求；通过将时间间隔小于一定阈值的MIDI信号进行合并，只对其中最后一个MIDI信号对应的弹奏图片进行后续检测，可进一步减少整体识别的计算量；通过对弹奏图片进行手部关键点检测，确定演奏者弹奏时的手指位置，并将其与预先确定的各琴键区域的位置进行比对，判断特定的手指是否落入对应的琴键区域内，从而实现钢琴弹奏时指法的自动识别；通过计算手指尖坐标置信度来判断手指是否出现重叠的情况，当重叠时，则丢弃，不进行后续指法检测，当不重叠时才进行后续的指法检测，以保证指法检测的准确性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种钢琴指法识别方法，其特征在于，包括：
拍摄得到钢琴键盘图片，并根据所述钢琴键盘图片，确定各琴键区域的位置信息；
实时接收被按下的钢琴键对应的MIDI信号，并拍摄所述MIDI信号对应的弹奏图片，所述弹奏图片包含钢琴的琴键区域以及演奏者的手部；
实时将所述MIDI信号对应的音高与钢琴曲谱中对应的音符的音高进行对比；
若所述MIDI信号对应的音高与对应的音符的音高一致，则对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点；
根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测。
2.根据权利要求1所述的钢琴指法识别方法，其特征在于，所述实时将所述MIDI信号对应的音高与钢琴曲谱中对应的音符的音高进行对比具体为：
获取待演奏的钢琴曲谱，并确定所述钢琴曲谱中各音符的演奏顺序，得到各音符的序号；
根据所述MIDI信号的接收顺序，确定所述MIDI信号的序号；
根据所述MIDI信号的序号，获取所述钢琴曲谱中序号一致的音符，作为所述MIDI信号对应的音符；
实时将所述MIDI信号对应的音高与其对应的音符的音高进行对比。
3.根据权利要求1所述的钢琴指法识别方法，其特征在于，所述拍摄得到钢琴键盘图片，并根据所述钢琴键盘图片，各琴键区域的位置信息具体为：
拍摄得到钢琴键盘图片，所述钢琴键盘图片包含钢琴键盘区域；
根据所述钢琴键盘图片，确定钢琴键盘区域；
对所述钢琴键盘区域进行划分，得到各琴键区域，并确定各琴键区域的位置信息。
4.根据权利要求3所述的钢琴指法识别方法，其特征在于，所述根据所述钢琴键盘图片，确定钢琴键盘区域具体为：
通过边缘检测算法对所述钢琴键盘图片进行边缘检测，并通过霍夫变换检测钢琴键盘区域的上下边界和左右边界，所述上下边界为钢琴键盘区域长度方向上的边界，所述左右边界为钢琴键盘区域宽度方向上的边界；
根据所述钢琴键盘区域的上下边界和左右边界，确定钢琴键盘区域。
5.根据权利要求3所述的钢琴指法识别方法，其特征在于，所述根据所述对所述钢琴键盘区域进行划分，得到各琴键区域，并确定各琴键区域的位置信息之前，进一步包括：
计算所述钢琴键盘区域的长度方向与水平方向的夹角；
若所述夹角大于预设的第一阈值，则根据所述夹角，对所述钢琴键盘图片进行旋转，旋转后的钢琴键盘图片中的钢琴键盘区域的长度方向与水平方向平行，所述夹角小于90度。
6.根据权利要求3-5任一项所述的钢琴指法识别方法，其特征在于，所述钢琴键盘区域的左边和右边分别与钢琴键盘的左右边对应，所述钢琴键盘的左边为演奏者弹奏钢琴时位于演奏者左手边的一边，所述钢琴键盘的右边为位于演奏者右手边的一边；
所述对所述钢琴键盘区域进行划分，得到各琴键区域，并确定各琴键区域的位置信息具体为：
对所述钢琴键盘区域进行二值化处理，并通过连通域检测算法，确定各黑键区域；
根据预设的钢琴键盘的左边第一个琴键对应的音符，确定左边第一个黑键组的黑键数量；
根据所述第一个黑键组的黑键数量以及完整音组中的黑键数量，从所述钢琴键盘区域左边至右边依序对所述各黑键区域进行分组，得到至少两个黑键组，并将黑键区域数量与完整音组中的黑键数量一致的黑键组作为完整音组对应的黑键组，所述完整音组包括5个黑键和7个白键；
分别计算各完整音组对应的黑键组中靠左的两个黑键区域同一位置点之间的距离，或分别计算各完整音组对应的黑键组中靠右的三个黑键区域中相邻两个黑键区域同一位置点之间的距离，得到与各完整音组一一对应的黑键距离，并分别根据各黑键距离以及预设的比例系数，计算得到各完整音组对应的白键宽度，所述预设的比例系数为23/41；
根据各完整音组对应的黑键组中黑键区域的位置以及所述各完整音组对应的白键宽度，对所述钢琴键盘区域进行划分，分别得到各完整音组对应的七个白键区域；
根据所述钢琴键盘区域以及各完整音组对应的白键区域，确定不完整音组对应的键盘区域，并根据与不完整音组相邻的完整音组对应的白键宽度，对所述不完整音组对应的键盘区域进行划分，得到不完整音组对应的白键区域；
分别记录各黑键区域和各白键区域的同一顶点在所述钢琴键盘图片中的坐标值以及各琴键区域的长度和宽度，得到各琴键区域的位置信息。
7.根据权利要求6所述的钢琴指法识别方法，其特征在于，所述根据各完整音组对应的黑键组中黑键区域的位置以及所述各完整音组对应的白键宽度，对所述钢琴键盘区域进行划分，分别得到各完整音组对应的七个白键区域具体为：
分别确定各完整音组对应的黑键组中从左至右的第四个黑键区域沿其长度方向的中心线，并分别根据各完整音组对应的白键宽度，在所述钢琴键盘区域中所述中心线的左侧划分得到五个白键区域，在所述中心线的右侧划分得到两个白键区域，作为各完整音组对应的七个白键区域；
若相邻且分别对应相邻两个完整音组的两个白键区域的边界线不重合，则将所述两个白键区域的边界线的中心线先作为新的边界线。
8.根据权利要求5所述的钢琴指法识别方法，其特征在于，所述钢琴键盘图片和弹奏图片的拍摄位置和拍摄角度一致；
所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点之前，进一步包括：
若所述夹角大于预设的第一阈值，则根据所述夹角，对所述弹奏图片进行旋转。
9.根据权利要求1、3或8所述的钢琴指法识别方法，其特征在于，所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点具体为：
根据预设的第一深度学习模型，对所述弹奏图片进行手部检测，得到所述弹奏图片中的各手部位置，所述第一深度学习模型为目标检测模型；
根据预设的第二深度学习模型，分别对所述各手部位置进行人手关键点检测，得到所述各手部位置中的手部关键点，所述第二深度学习模型为分类模型。
10.根据权利要求1、3或8所述的钢琴指法识别方法，其特征在于，所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点之后，进一步包括：
获取手腕关键点坐标和各手指尖关键点坐标；
根据所述手腕关键点坐标和各手指尖关键点坐标，计算相邻手指尖相对于手腕的夹角的平均值，或计算大拇指与小拇指相对于手腕的夹角，得到手指尖坐标置信度；
若所述手指尖坐标置信度大于或等于预设的第二阈值，则执行所述根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测的步骤。
11.根据权利要求1、3或8所述的钢琴指法识别方法，其特征在于，所述根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测具体为：
分别根据所述各琴键区域的位置信息，在所述弹奏图片中确定各琴键区域的区域范围，并根据所述MIDI信号对应的音高以及预设的各琴键区域对应的音高，确定所述MIDI信号对应的琴键区域；
获取所述MIDI信号对应的手部关键点中的手指尖关键点，并判断是否有手指尖关键点落入所述MIDI信号对应的琴键区域内；
若是，则确定落入所述MIDI信号对应的琴键区域内的手指尖关键点对应的手指，并将所述对应的手指与所述MIDI信号对应的音符的标准演奏手指进行比对；
若所述对应的手指与所述标准演奏手指一致，则判定指法正确，否则判定指法错误。
12.根据权利要求1、3或8所述的钢琴指法识别方法，其特征在于，所述对所述MIDI信号对应的弹奏图片进行手部关键点检测，得到所述MIDI信号对应的手部关键点；根据所述MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测具体为：
若连续的MIDI信号的时间间隔小于预设的第三阈值，则对所述连续的MIDI信号中的最后一个MIDI信号对应的弹奏图片进行手部关键点检测，得到所述连续的MIDI信号对应的手部关键点，并根据所述连续的MIDI信号对应的手部关键点以及所述各琴键区域的位置信息，进行指法检测。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12任一项所述的方法。
CN202210167103.1A 2022-02-23 2022-02-23 钢琴指法识别方法及计算机可读存储介质 Pending CN114677431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210167103.1A CN114677431A (zh) 2022-02-23 2022-02-23 钢琴指法识别方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210167103.1A CN114677431A (zh) 2022-02-23 2022-02-23 钢琴指法识别方法及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114677431A true CN114677431A (zh) 2022-06-28

Family

ID=82072700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210167103.1A Pending CN114677431A (zh) 2022-02-23 2022-02-23 钢琴指法识别方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114677431A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205984A (zh) * 2022-09-16 2022-10-18 南通未来文化科技有限公司 基于视觉感知的吉他指法教学辅助方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205984A (zh) * 2022-09-16 2022-10-18 南通未来文化科技有限公司 基于视觉感知的吉他指法教学辅助方法及系统

Similar Documents

Publication Publication Date Title
CN109065008B (zh) 一种音乐演奏曲谱匹配方法、存储介质及智能乐器
US9524652B2 (en) System and method for learning to play a musical instrument
US8586848B2 (en) Musical-score information generating apparatus, music-tone generation controlling apparatus, musical-score information generating method, and music-tone generation controlling method
CN111028615B (zh) 智能化乐器演奏教学方法、系统及存储介质
CN113674565B (zh) 一种用于钢琴教学的教学系统及方法
CN111259863B (zh) 弹奏手型检测/展示方法、介质、钢琴、终端及服务端
WO2022052941A1 (zh) 用于辅助钢琴教学的智能识别方法及系统、智能钢琴训练方法及系统
CN111695499B (zh) 一种琴键识别方法、装置、电子设备及存储介质
JP2017507346A (ja) 光学的音楽認識のためのシステムおよび方法
CN112883804A (zh) 一种乐器演奏手部动作的纠错方法、装置及电子设备
Scarr et al. Retrieval of guitarist fingering information using computer vision
CN113052138A (zh) 一种舞蹈与运动动作的智能对比矫正的方法
CN114677431A (zh) 钢琴指法识别方法及计算机可读存储介质
CN105513580A (zh) 基于辅助摄像头的键盘乐器弹奏音符识别系统
CN108073867A (zh) 一种钢琴演奏的视频特征提取方法及系统
CN110689866A (zh) 基于增强现实的小提琴辅助教学方法及系统
CN112818981B (zh) 一种乐器演奏键位提示方法、装置、电子设备及存储介质
Luo et al. Detection of Common Mistakes in Novice Violin Playing.
CN111176544B (zh) 一种基于图像处理的多功能琴谱显示设备及图像处理方法
CN109493683B (zh) 一种基于计算机视觉技术的辅助钢琴练习者指法检测方法
CN114170868A (zh) 智能钢琴训练的方法和系统
CN113158906B (zh) 一种基于动作捕捉的古琴体验学习系统及实现方法
CN110299049B (zh) 一种电子乐谱的智能展现方法
CN112802439B (zh) 一种演奏数据识别方法、装置、设备及存储介质
Rho et al. Automatic piano tutoring system using consumer-level depth camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination