CN109887375A - 基于图像识别处理的钢琴练习纠错方法 - Google Patents
基于图像识别处理的钢琴练习纠错方法 Download PDFInfo
- Publication number
- CN109887375A CN109887375A CN201910309948.8A CN201910309948A CN109887375A CN 109887375 A CN109887375 A CN 109887375A CN 201910309948 A CN201910309948 A CN 201910309948A CN 109887375 A CN109887375 A CN 109887375A
- Authority
- CN
- China
- Prior art keywords
- image
- piano
- key
- practice
- illustraton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种基于图像识别处理的钢琴练习纠错方法，涉及智能教学技术领域。本发明方法包括以下几个步骤：步骤一、从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且对每帧图像进行预处理；步骤二、以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成标准指法模型图和标准按键顺序模型图。本发明通过图像识别将钢琴练习与教学视频进行对比分析，对练习手法、按键位置和顺序进行自动纠错，能准确找出练习者的每一步错误，并提供指导参考，实现无人监护的智能教学，可降低钢琴练习的难度。
Description
技术领域
本发明属于智能教学技术领域，特别是涉及一种基于图像识别处理的钢琴练习纠错方法。
背景技术
正确的钢琴手型是钢琴的练习的重要部分，在钢琴弹奏中，五指需要分开，手掌拱起，整个手成半圆形，对于初学者来说，会存在五指很难分开的情况。另外，对于小孩练习钢琴时，由于孩子的手部力量较小，五指往往存在力度不够的问题，同时有部分孩子会存在掌关节凹陷，导致手型不对影响弹奏。
目前，在现在的钢琴培训教育过程中，初学学员的手形指形很难保持一个正确的姿势，特别是年龄较小的学员，手指末关节很难立起来，长此以往就养成了一种不好的弹琴习惯，对演奏水平的提高有较大的阻碍，并且经常会按错钢琴按键而不自知，导致形成错误的练习，事倍功半。目前的解决的办法只能靠老师不停的提醒，并且靠老师监督有没有弹错按键，进行纠错矫正，由于老师不可能随时在身边，因此，导致初学者学习和练习钢琴的难度较大，容易产生厌恶感。
发明内容
本发明的目的在于提供一种基于图像识别处理的钢琴练习纠错方法，通过图像识别对练习手法、按键位置和顺序进行自动纠错，为钢琴初学者提供智能教学指导。
本发明是通过以下技术方案实现的：
本发明为一种基于图像识别处理的钢琴练习纠错方法，包括以下几个步骤：
步骤一、从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且对每帧图像进行预处理；
步骤二、以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成标准指法模型图和标准按键顺序模型图；
步骤三、拍摄钢琴练习视频，从钢琴练习视频中截取每帧指关节和按键的图像，并且对每帧图像进行预处理；
步骤四、经过对图像识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成练习指法模型图和练习按键顺序模型图；
步骤五、将练习指法模型图与标准指法模型图对比分析，并且将练习按键顺序模型图与标准按键顺序模型图作对比分析，输出错误指法图像和错误按键图像以实现钢琴练习纠错。
进一步地，所述将练习指法模型图与标准指法模型图对比分析包括：将每帧指关节图按照时间先后顺序进行记录，将练习视频中指关节的角度、幅度特征与教学视频中标准的指关节角度、幅度特征进行对比，以特征差异程度进行评分，将评分低于阈值的练习指法图作为错误指法图像。
进一步地，所述练习按键顺序模型图与标准按键顺序模型图作对比分析包括：将每帧按键图按照时间先后顺序进行记录，将练习视频中按键的位置特征与教学视频中标准的按键位置特征进行对比，将与标准的按键顺序图位置特征有差异的练习视频中的按键图确定为错误按键图像。
进一步地，所述对每帧图像进行预处理包括：调整每帧指关节和钢琴按键的图像到同一尺寸；将每帧指关节和钢琴按键的图像转换成灰度图。
进一步地，输出错误指法图像和错误按键图像时，同时还输出与所述错误指法图像对应的标准指法图像，以及与所述错误按键图像对应的标准按键图像。
本发明具有以下有益效果：
本发明通过图像识别将钢琴练习与教学视频进行对比分析，对练习手法、按键位置和顺序进行自动纠错，能准确找出练习者的每一步错误，并提供指导参考，实现无人监护的智能教学，可降低钢琴练习的难度。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于图像识别处理的钢琴练习纠错方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供的一种基于图像识别处理的钢琴练习纠错方法，包括以下几个步骤：
步骤一、通过图像采集单元从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且通过图像处理单元对每帧图像进行预处理，调整每帧指关节和钢琴按键的图像到同一尺寸，并将每帧指关节和钢琴按键的图像转换成灰度图；
步骤二、识别单元以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，处理单元通过算法计算分析，形成标准指法模型图和标准按键顺序模型图；
步骤三、通过图像采集单元拍摄钢琴练习视频，从钢琴练习视频中截取每帧指关节和按键的图像，并且通过图像处理单元对每帧图像进行预处理，调整每帧指关节和钢琴按键的图像到同一尺寸，并将每帧指关节和钢琴按键的图像转换成灰度图；
步骤四、识别单元经过对图像识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，处理单元通过算法计算分析，形成练习指法模型图和练习按键顺序模型图；
步骤五、处理单元再通过与存储单元存储信息进行比对计算，将练习指法模型图与标准指法模型图对比分析，将每帧指关节图按照时间先后顺序进行记录，将练习视频中指关节的角度、幅度特征与教学视频中标准的指关节角度、幅度特征进行对比，以特征差异程度进行评分，将评分低于阈值的练习指法图作为错误指法图像；并且将练习按键顺序模型图与标准按键顺序模型图作对比分析，将每帧按键图按照时间先后顺序进行记录，将练习视频中按键的位置特征与教学视频中标准的按键位置特征进行对比，将与标准的按键顺序图位置特征有差异的练习视频中的按键图确定为错误按键图像；输出错误指法图像和错误按键图像，同时还输出与错误指法图像对应的标准指法图像，以及与错误按键图像对应的标准按键图像，以实现钢琴练习纠错。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.一种基于图像识别处理的钢琴练习纠错方法，其特征在于：包括以下几个步骤：
步骤一、从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且对每帧图像进行预处理；
步骤二、以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成标准指法模型图和标准按键顺序模型图；
步骤三、拍摄钢琴练习视频，从钢琴练习视频中截取每帧指关节和按键的图像，并且对每帧图像进行预处理；
步骤四、经过对图像识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成练习指法模型图和练习按键顺序模型图；
步骤五、将练习指法模型图与标准指法模型图对比分析，并且将练习按键顺序模型图与标准按键顺序模型图作对比分析，输出错误指法图像和错误按键图像以实现钢琴练习纠错。
2.根据权利要求1所述的一种基于图像识别处理的钢琴练习纠错方法，其特征在于，所述将练习指法模型图与标准指法模型图对比分析包括：将每帧指关节图按照时间先后顺序进行记录，将练习视频中指关节的角度、幅度特征与教学视频中标准的指关节角度、幅度特征进行对比，以特征差异程度进行评分，将评分低于阈值的练习指法图作为错误指法图像。
3.根据权利要求1所述的一种基于图像识别处理的钢琴练习纠错方法，其特征在于，所述练习按键顺序模型图与标准按键顺序模型图作对比分析包括：将每帧按键图按照时间先后顺序进行记录，将练习视频中按键的位置特征与教学视频中标准的按键位置特征进行对比，将与标准的按键顺序图位置特征有差异的练习视频中的按键图确定为错误按键图像。
4.根据权利要求1所述的一种基于图像识别处理的钢琴练习纠错方法，其特征在于，所述对每帧图像进行预处理包括：调整每帧指关节和钢琴按键的图像到同一尺寸；将每帧指关节和钢琴按键的图像转换成灰度图。
5.根据权利要求1所述的一种基于图像识别处理的钢琴练习纠错方法，其特征在于，输出错误指法图像和错误按键图像时，同时还输出与所述错误指法图像对应的标准指法图像，以及与所述错误按键图像对应的标准按键图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910309948.8A CN109887375A (zh) | 2019-04-17 | 2019-04-17 | 基于图像识别处理的钢琴练习纠错方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910309948.8A CN109887375A (zh) | 2019-04-17 | 2019-04-17 | 基于图像识别处理的钢琴练习纠错方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109887375A true CN109887375A (zh) | 2019-06-14 |
Family
ID=66937615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910309948.8A Pending CN109887375A (zh) | 2019-04-17 | 2019-04-17 | 基于图像识别处理的钢琴练习纠错方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109887375A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083524A (zh) * | 2019-12-17 | 2020-04-28 | 北京理工大学 | 一种人群表演评测系统 |
| CN111564086A (zh) * | 2020-05-26 | 2020-08-21 | 江西电力职业技术学院 | 泵的教学拆装装置 |
| CN111667737A (zh) * | 2020-05-29 | 2020-09-15 | 同济大学 | 弹奏指法智能引导系统 |
| CN111816018A (zh) * | 2020-07-24 | 2020-10-23 | 日照市科技中等专业学校 | 机电一体化流动式实训系统 |
| CN112016538A (zh) * | 2020-10-29 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN112883804A (zh) * | 2021-01-21 | 2021-06-01 | 小叶子（北京）科技有限公司 | 一种乐器演奏手部动作的纠错方法、装置及电子设备 |
| CN113223364A (zh) * | 2021-06-29 | 2021-08-06 | 中国人民解放军海军工程大学 | 一种海缆潜水浮标模拟训练系统 |
| IT202100013439A1 (it) | 2021-05-24 | 2021-08-24 | Univ Degli Studi Di Trento | Dispositivo di allenamento per pianisti e sistema di allenamento comprendente almeno un tale dispositivo. |
| CN113327482A (zh) * | 2021-06-17 | 2021-08-31 | 上海松鼠课堂人工智能科技有限公司 | 基于视频监控的弦乐乐器弹奏教学方法与系统 |
| CN113657185A (zh) * | 2021-07-26 | 2021-11-16 | 广东科学技术职业学院 | 一种钢琴练习智能辅助方法、装置及介质 |
| CN113657184A (zh) * | 2021-07-26 | 2021-11-16 | 广东科学技术职业学院 | 一种钢琴弹奏指法的评估方法及装置 |
| CN113723264A (zh) * | 2021-08-25 | 2021-11-30 | 桂林智神信息技术股份有限公司 | 一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统 |
| CN115064026A (zh) * | 2022-06-17 | 2022-09-16 | 陆校松 | 乘务现场实训方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150253864A1 (en) * | 2014-03-06 | 2015-09-10 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Image Processor Comprising Gesture Recognition System with Finger Detection and Tracking Functionality |
| CN105117685A (zh) * | 2015-07-27 | 2015-12-02 | 华南理工大学 | 基于图像模板匹配的手指手腕关节自动定位方法 |
| KR20180074378A (ko) * | 2016-12-23 | 2018-07-03 | 단국대학교 산학협력단 | 지면 접촉식 손가락 입력 장치 및 방법 |
| CN108734104A (zh) * | 2018-04-20 | 2018-11-02 | 杭州易舞科技有限公司 | 基于深度学习图像识别的健身动作纠错方法及系统 |
| CN109215441A (zh) * | 2018-10-19 | 2019-01-15 | 深圳市微蓝智能科技有限公司 | 一种钢琴教学方法、装置及计算机存储介质 |
| CN109308459A (zh) * | 2018-09-05 | 2019-02-05 | 南京大学 | 基于手指注意力模型和关键点拓扑模型的手势估计方法 |
-
2019
- 2019-04-17 CN CN201910309948.8A patent/CN109887375A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150253864A1 (en) * | 2014-03-06 | 2015-09-10 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Image Processor Comprising Gesture Recognition System with Finger Detection and Tracking Functionality |
| CN105117685A (zh) * | 2015-07-27 | 2015-12-02 | 华南理工大学 | 基于图像模板匹配的手指手腕关节自动定位方法 |
| KR20180074378A (ko) * | 2016-12-23 | 2018-07-03 | 단국대학교 산학협력단 | 지면 접촉식 손가락 입력 장치 및 방법 |
| CN108734104A (zh) * | 2018-04-20 | 2018-11-02 | 杭州易舞科技有限公司 | 基于深度学习图像识别的健身动作纠错方法及系统 |
| CN109308459A (zh) * | 2018-09-05 | 2019-02-05 | 南京大学 | 基于手指注意力模型和关键点拓扑模型的手势估计方法 |
| CN109215441A (zh) * | 2018-10-19 | 2019-01-15 | 深圳市微蓝智能科技有限公司 | 一种钢琴教学方法、装置及计算机存储介质 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083524A (zh) * | 2019-12-17 | 2020-04-28 | 北京理工大学 | 一种人群表演评测系统 |
| CN111564086A (zh) * | 2020-05-26 | 2020-08-21 | 江西电力职业技术学院 | 泵的教学拆装装置 |
| CN111667737A (zh) * | 2020-05-29 | 2020-09-15 | 同济大学 | 弹奏指法智能引导系统 |
| CN111816018A (zh) * | 2020-07-24 | 2020-10-23 | 日照市科技中等专业学校 | 机电一体化流动式实训系统 |
| CN112016538A (zh) * | 2020-10-29 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN112883804A (zh) * | 2021-01-21 | 2021-06-01 | 小叶子（北京）科技有限公司 | 一种乐器演奏手部动作的纠错方法、装置及电子设备 |
| CN112883804B (zh) * | 2021-01-21 | 2024-03-15 | 小叶子（北京）科技有限公司 | 一种乐器演奏手部动作的纠错方法、装置及电子设备 |
| IT202100013439A1 (it) | 2021-05-24 | 2021-08-24 | Univ Degli Studi Di Trento | Dispositivo di allenamento per pianisti e sistema di allenamento comprendente almeno un tale dispositivo. |
| CN113327482A (zh) * | 2021-06-17 | 2021-08-31 | 上海松鼠课堂人工智能科技有限公司 | 基于视频监控的弦乐乐器弹奏教学方法与系统 |
| CN113223364A (zh) * | 2021-06-29 | 2021-08-06 | 中国人民解放军海军工程大学 | 一种海缆潜水浮标模拟训练系统 |
| CN113657185A (zh) * | 2021-07-26 | 2021-11-16 | 广东科学技术职业学院 | 一种钢琴练习智能辅助方法、装置及介质 |
| CN113657184A (zh) * | 2021-07-26 | 2021-11-16 | 广东科学技术职业学院 | 一种钢琴弹奏指法的评估方法及装置 |
| CN113657184B (zh) * | 2021-07-26 | 2023-11-07 | 广东科学技术职业学院 | 一种钢琴弹奏指法的评估方法及装置 |
| CN113723264A (zh) * | 2021-08-25 | 2021-11-30 | 桂林智神信息技术股份有限公司 | 一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统 |
| CN115064026A (zh) * | 2022-06-17 | 2022-09-16 | 陆校松 | 乘务现场实训方法及装置 |
| CN115064026B (zh) * | 2022-06-17 | 2023-12-19 | 陆校松 | 乘务现场实训方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109887375A (zh) | 基于图像识别处理的钢琴练习纠错方法 | |
| Hoffman et al. | Breaking the status quo: Improving 3D gesture recognition with spatially convenient input devices | |
| Hailong | Role of artificial intelligence algorithm for taekwondo teaching effect evaluation model | |
| US8550819B2 (en) | Motion training schematic and method of instruction | |
| US20130330693A1 (en) | Interactive Cognitive Recognition Sports Training System and Methods | |
| CN104537925B (zh) | 语障儿童语言训练辅助系统及方法 | |
| Handhika et al. | Gesture recognition for Indonesian sign language (BISINDO) | |
| Johnson et al. | Detecting hand posture in piano playing using depth data | |
| Muscio | Motor capacity with special reference to vocational guidance | |
| Kuo et al. | Assessing mathematical sensemaking in physics through calculation-concept crossover | |
| US20220358310A1 (en) | Professional dance evaluation method for implementing human pose estimation based on deep transfer learning | |
| CN105118354A (zh) | 用于语言学习的数据处理方法和装置 | |
| CN107945257B (zh) | 一种测试练习情景还原的方法 | |
| Haqiyah | Flipped classroom model integrated with the online learning platform and video biomechanic analysis to enhance learning outcome of Pencak silat during the Covid-19 pandemic | |
| US20080153074A1 (en) | Language evaluation and pronunciation systems and methods | |
| Huang et al. | Miss yoga: a yoga assistant mobile application based on keypoint detection | |
| Chai et al. | SignInstructor: an effective tool for sign language vocabulary learning | |
| Jeanne et al. | EBAGG: Error-based assistance for gesture guidance in virtual environments | |
| CN114677431A (zh) | 钢琴指法识别方法及计算机可读存储介质 | |
| Altalmas et al. | Lips tracking identification of a correct Quranic letters pronunciation for Tajweed teaching and learning | |
| Liang et al. | Surgical skill evaluation model for virtual surgical training | |
| Kashiwagi et al. | A Study of Left Fingering Detection Using CNN for Guitar Learning | |
| Chantaprasert et al. | Comparison of gesture in Thai boxing framework using angular dynamic time warping | |
| Gordon et al. | Positive psychology and golf | |
| Brown | Science information and attitudes possessed by California elementary school pupils |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |