CN116386424A - 一种用于音乐教学的方法、设备和计算机可读存储介质 - Google Patents
一种用于音乐教学的方法、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116386424A CN116386424A CN202310395275.9A CN202310395275A CN116386424A CN 116386424 A CN116386424 A CN 116386424A CN 202310395275 A CN202310395275 A CN 202310395275A CN 116386424 A CN116386424 A CN 116386424A
- Authority
- CN
- China
- Prior art keywords
- exercise
- exerciser
- data information
- human body
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012937 correction Methods 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 18
- 230000036544 posture Effects 0.000 description 57
- 238000001514 detection method Methods 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000001145 finger joint Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 238000009527 percussion Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- 241000208967 Polygala cruciata Species 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
Abstract
本申请公开了一种音乐教学的方法，包括获取练习者的练习影像数据；从所述练习影像数据中获取乐器数据信息以及与所述练习者相关的人体数据信息；根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型；根据所述练习类型对人体数据信息进行标记，以获得练习者的练习姿态。本申请采用人体姿态信息和乐器信息相结合的方式，解决了现有技术中不能在练习过程中呈现练习者的人体姿态情况，进而实现对练习过程中人体姿态的校正的问题。
Description
技术领域
本申请属于音乐教学领域，具体涉及一种用于音乐教学的方法、设备和计算机可读存储介质。
背景技术
目前的音乐教学设备例如键盘类乐器、管弦乐、打击乐、弹拨乐器等教学系统是基于传感器对琴弦、琴键进行弹拨、对鼓面进行按压或敲击的位置，使用力度等因素，把练习者的曲目演奏情况和曲谱进行对比，以判断练习者的弹奏好坏。这种方法实际上就是根据练习者使用身体(如手指)或借助其他器具与乐器接触，把力量施加在乐器后，导致乐器发出声音，是把音色、音阶与乐谱上的音符在比较，这种比较方法无法全面反映练习者在练习过程中人体姿态相对于乐器的位置是否正确，因而无法对练习者为何出现演奏错误或动作不到位进行根本性原因的发现，弹奏时学生的弹奏姿势常常被忽略，错误的弹奏姿势会对学生的身体造成很大损伤。对于练习者在弹奏过程中出现的问题，需要老师或者设备给出有效的校正指示，进而改善演奏。
为了解决上述问题，有鉴于此，亟需提供一种用于音乐教学的方法，以便实现在练习过程中结合乐器类型呈现练习者对应于乐器类型的人体姿态情况。
申请内容
为了至少解决上述问题，本申请提出了一种用于音乐教学方法，通过获取练习者的练习影像数据；从练习影像数据中提取乐器数据信息和练习者的人体数据信息；结合人体数据信息和乐器数据信息对练习者的练习类型进行判断，依据练习类型对人体数据信息进行标记，以获得练习者的练习姿态。以解决现有采用基于乐器上的传感器反映音乐演奏练习者情况，不能直观判断音乐演奏练习者人体姿态是否正确的问题。
在第一方面中，本申请提供一种用于音乐教学方法，包括获取练习者的练习影像数据；从所述练习影像数据中获取乐器数据信息以及与所述练习者相关的人体数据信息；根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型；根据所述练习类型对人体数据信息进行标记，以获得练习者的练习姿态。
可选地，将所述练习者的练习姿态与影像参照数据或练习模板影像数据进行比对，以判断所述练习者的练习姿态是否正确；以及响应于判断所述练习者的练习姿态不正确，输出用于校正所述练习者的练习姿态的校正指示。
可选地，所述练习影像数据至少包括可见光影像数据、不可见光影像数据或声纳影像数据中的一种或多种。
可选地，根据所述乐器数据信息对乐器类型进行分类以形成乐器分类库；以及根据所述乐器分类信息将所述乐器数据信息存储到相应的乐器分类库。
可选地，其中根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型还包括：根据所述乐器数据信息和所述人体数据信息进行判定，定位练习者与练习姿态相关的关节点位置；基于关节点位置判断练习者的类型。
可选地，所述练习影像数据还包括阶段性的练习模板影像数据，其中所述阶段性与时间和/或练习难度相关。
可选地，通过执行人工智能连续影像对比来获得所述练习影像数据与影像参照数据的对比结果；基于所述对比结果判定练习者的练习优劣度；以及基于所述练习优劣度输出针对练习者的姿态校正建议。
可选地，还包括以视觉和/或听觉的方式输出所述校正指示。
在第二方面中，本申请提供一种用于音乐教学的电子设备，包括：图像采集模块，其用于采集练习者的练习影像数据；处理器；以及存储器，其用于存储用于音乐教学的程序指令，当所述处理器运行该程序指令时，使得所述电子设备执行根据第一方面任一项所述方法。
在第三方面中，本申请提供一种计算机可读存储介质，其中存储有用于音乐教学的程序指令，当所述程序指令由处理器加载并执行时，使得所述处理器执行根据权利要求第一方面任一项所述的方法。
与现有技术相比，本申请具有以下优点：
本申请提供一种用于音乐教学的方法，本申请通过在练习者练习过程中获取练习影像数据，从练习影像数据中提取乐器数据信息和练习者的人体数据信息；结合人体数据信息和乐器数据信息对练习者的练习类型进行判断，依据练习类型对人体数据信息进行标记，以获得练习者对应于练习者正在使用的练习乐器的练习姿态，从而便于将练习姿态情况的影像进行存储、比对、或通过数据传输呈现给远程的老师。进一步地，通过将练习者的练习姿态与影像参照数据或练习模板影像数据进行比对，以判断所述练习者的练习姿态是否正确；以及响应于判断所述练习者的练习姿态不正确，输出用于校正所述练习者的练习姿态的校正指示，进而实现可以智能、直观地给出对应于练习者所使用的器材的练习姿势的判断和校正建议。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1示出了本申请第一实施例的用于音乐教学的方法的示例性流程图
图2示出了本申请第二实施例的用于音乐教学的方法的示例性流程图；
图3示出了本申请第三实施例的用于音乐教学的系统的示例性流程图；
图4示出了本申请实施例的音乐练习者人体姿态关节点位识别图像特征示范；
图4a示出了本申请实施例的根据图4提取的关键关节点位图示范性示例；
图5示出了本申请实施例的一种用于音乐教学的电子设备的示例性结构框图；
图6a示出了本申请一种实施例的影像模块的设备组成的示范性示例；
图6b示出了本申请另一种实施例的影像模块的设备组成的示范性示例。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
以下结合附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本公开，并不用于限定本公开。
针对现有技术中不能直观呈现练习者人体姿态的问题，本申请的第一实施例提供一种用于音乐教学的方法100，下面参照附图1详细描述。
如图1所示，一种用于音乐教学的方法100包括：
在步骤S101中：获取练习者的练习影像数据。
优选地，所述练习影像数至少包括可见光影像数据、不可见光影像数据或声纳影像数据中的一种或多种。其中可见光影像可以是普通照相机或者摄像机等摄影设备拍摄的影像，不可见光影像数据是指红外相机、红外摄像机等拍摄的影像。
在步骤S102中：从所述练习影像数据中获取乐器数据信息以及与所述练习者相关的人体数据信息。
优选地，根据所述乐器数据信息对乐器类型进行分类以形成乐器分类库；以及根据所述乐器分类信息将所述乐器数据信息存储到相应的乐器分类库。
其中获取乐器数据信息可以包括一种或多种乐器，根据乐器的外形或者音色信息对练习影像数据中的乐器进行分类形成乐器分类库，例如乐器分类库可以定义为管弦乐器、键盘乐器、打击乐器等等。
进一步地，还包括根据练习者需求添加练习者自定义的乐器分类库。例如，练习者可以根据需求对乐器进行改进，形成新的乐器类型，进而形成新的乐器分类库。练习者也可以根据需求对已有的乐器分类库进行分类的重新组合。
在步骤S103中：根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型。
优选地，根据所述乐器数据信息和所述人体数据信息进行判定，定位练习者与练习姿态相关的关节点位置；基于关节点位置判断练习者的类型。
其中，对关节点位置定位后形成关节点位的识别图像，关节点位的识别图像特征示范请参考图4。所述关节点位的识别图像基于人体姿态估计得出，人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点(如肩、肘、腕、髋膝、膝、踝，手指等)。
在步骤S104中：根据所述练习类型对人体数据信息进行标记，以获得练习者的练习姿态；
下面结合图4中进行尤克里里练习的小女孩的图像以及图4a示出的上述小女孩的关节点识别标识，举例说明上述方法100的具体实现过程：
根据步骤S101，通过影像设备获取尤克里里练习者或者训练过程的图像或视频，图像的获取可以采用接入网络的摄像机或者手机拍摄，拍摄的影像通过网络上传到云端服务器进行后续的数据分析，或者采用在本地设备上进行后续的数据分析，例如通过手机上的APP实现。
根据步骤S102所述的从所述练习影像数据中获取乐器数据信息以及与所述练习者相关的人体数据信息。具体地，在如图4这样的实际场景中，首先需要在上述小女孩进行尤克里里练习过程的影像信息(图像或视频帧)中定位人体，例如，在小女孩演奏尤克里里过程中，通过定位小女孩人体部位关键关节点的位置，即，在人体区域内，首先识别关键的关节点的位置，例如主体躯干的大关节点，例如头部、颈部、肩部、肘部、腕部、手部、髋部、膝盖和脚踝等，并对可以明显体现尤克里里演奏过程的身体躯干姿态的关键关节点的位置进行标识，例如手部关节点进行详细标识。然后，从练习者练习过程的影像信息中提取乐器部分的图像，将提取的乐器部分的图像与现有的乐器数据库比对可以直接识别出练习者所使用的器材，或者根据前述身体关键关节点的信息识别出练习者所使用的器材，进而得到相关的乐器数据信息，比如通过手部的姿态即大致区分出是键盘类乐器还是琴弦类乐器，比如弹钢琴和弹吉尤克里里手部姿态有比较明显的区别。进一步地，还可以根据乐器数据信息和练习者的前述的人体姿态识别出练习者的演奏场景。其中演奏场景包括乐器器材的数据信息(具体到尤克里里还是吉他，或者钢琴还是电子琴等类似的某一类乐器中的一种)、多个拍摄视角等信息，其中乐器数据信息也可以采用声音识别的方式识别得出。
根据步骤S103，根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型；根据图4a中身体躯干姿态和手部关节的标识信息以及乐器的图像，可以判断出小女孩弹奏的乐器是尤克里里，进一步根据手部的姿态，可以得出小女孩的练习类型，即小女孩是初学者或者专业演奏者等不同的演奏练习阶段，其中对弹奏过程中动作质量影响最大的是手部各个关键关节点的位置，所以，对手部关键关节点的标识和呈现，能够清晰呈现弹奏动作中存在的问题。类似地，结合实际情况，对于练习者进行其他类型乐器的演奏，采用如上的方法可以得出练习者的练习类型或者练习阶段。其中，人体区域关节点的具体的识别技术可以采用计算机视觉和深度学习技术，如卷积神经网络等。
识别关键关节点的位置可以采用关键点自动检测算法，通常需要利用计算机视觉和深度学习技术在图像或视频帧中自动识别关键关节点的位置。自动检测算法需要大量已标注的数据进行训练，以便在新的图像上实现准确的关键点识别。大量已标注的数据输入现有的预训练姿态识别模型(如OpenPose、PoseNet或AlphaPose等基础模型)进行训练，使用预训练模型提取特征，进而得到关键关节位置的识别并进行标记。这些预训练姿态识别模型在通用人体姿态识别方面表现良好，并可以处理多种场景和姿势。可以理解的是上面的描述仅仅是示例性的而非限制性的，本领域技术人员根据本发明的指导可以对上述方法进行改变而不脱离本发明的精神和实质。
根据步骤S104，当采集到音乐演奏练习者的图像或视频时，对摄像或者照相设备捕捉到的图像或视频数据进行分析，根据前述的练习类型提取当前练习者的关键点坐标，标记关键关节点坐标位置，其中坐标位置可以是相对值。进而综合人体数据信息的标记获得练习者的练习姿态。进一步地，所述练习姿态的结果用于分析练习者的技巧、评估动作质量等任务。
根据本申请的一个优选实施例，所述步骤S101中的练习影像数据还包括阶段性的练习模板影像数据，其中所述阶段性与时间和/或练习难度相关。所述练习影像数据可以用于存储练习者以往练习过程中每个练习阶段的练习数据，以备练习者自己或者老师对练习过程中各个阶段的练习数据进行对比，用于判断练习者的演奏水平是否有所提升或者有什么缺陷。
针对现有技术中不能以图像或者音频的方式将练习者人体姿态进行分析并给出校正建议的问题，本申请的第二实施例提供一种用于音乐教学的方法。
如图2所示，一种用于音乐教学的方法200包括：
在步骤S201中：获取练习者的练习影像数据。
在步骤S202中：从所述练习影像数据中获取乐器数据信息以及与所述练习者相关的人体数据信息。
在步骤S203中：根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型。
在步骤S204中：根据所述练习类型对人体数据信息进行标记，以获得练习者的练习姿态。
在步骤S205中：将所述练习者的练习姿态与影像参照数据或练习模板影像数据进行比对，以判断所述练习者的练习姿态是否正确；以及响应于判断所述练习者的练习姿态不正确，输出用于校正所述练习者的练习姿态的校正指示。
其中，影像参照数据是从有名的音乐家或某年龄段的音乐佼佼者弹奏时的影像生成的影像参照数据或者由老师根据练习者的进度，制作的针对于练习者一个练习阶段的练习模板影像数据，所述练习模板影像数据可以是老师示范或者练习者在老师指导下做出的标准动作。
进一步地，通过执行人工智能连续影像对比来获得所述练习影像数据与影像参照数据的对比结果；基于所述对比结果判定练习者的练习优劣度；以及基于所述练习优劣度输出针对练习者的姿态校正建议。
在实际应用中，练习者通过借助人工智能连续影像对比功能获得自己一个阶段的练习过程的评价，基于前述利用计算机视觉和深度学习技术练习者一个阶段的连续图像或视频帧中自动识别关键关节点的位置并进行标注，得到练习者多个练习阶段的影像标注和对比结果，通过对比结果，进而得出练习过程的评价。比如得出的是有所改善还是退步的评价以及练习过程中一直存在的比较严重的问题。
如图3所示，本申请的第三实施例还提供一种用于音乐教学的系统300，包括：影像模块301，乐器识别模块302，人体姿态估计模块303，影像参照模块304和判断模块305。
所述影像模块301用于获取和存储练习者的练习影像数据；
所述乐器识别模块302用于获取所述练习影像数据中的一种或多种乐器数据信息；
所述人体姿态估计模块303从所述练习影像数据中获取与所述练习者相关的人体数据信息；根据所述人体数据信息和所述乐器数据信息，判断练习者的练习类型；根据所述练习类型对人体数据信息进行标记，以获得练习者的练习姿态。
其中，人体姿态估计包括判断身体动作，包括区别于不同乐器练习中的人体重要大关节的位置和指关节，尤其是所有指关节的动作(其他领域的人体姿态估计只有17点或33点，很少会使用所有指关节作为参数。)。
比如钢琴练习时，需要用到抬臂，甩臂、立指、、滑指、固定腕、肘关节。
比如小提琴的：握弓、执弓、连弓、顿弓、虎口保持松弛等。
比如打击乐的手掌弯曲举至胸前等。
为了实现人体姿态估计，可以会采用人体姿态识别技术。人体姿态识别技术可以包括以下几个步骤：
人体检测：在图像或视频帧中定位人体，为后续的姿态识别提供空间范围。
关键关节点检测：在人体区域内，识别关键关节点的位置，例如头部、颈部、肩部、肘部、腕部、髋部、膝盖和脚踝等。人体姿态识别算法包括OpenPose或DeepLabCut等。这些算法可以在给定示范的图像上输出关键点的二维坐标或三维坐标，这些坐标可以进一步用于分析人体姿态。
姿态构建：将检测到的关键关节点连接起来，构建人体的骨架模型，从而描述人体的姿态。
对摄像头或深度相机捕捉到的图像或视频数据进行分析，提取练习者的关键点坐标，标注关键关节点。
随着深度学习和卷积神经网络(CNN)的快速发展，人体姿态识别技术取得了显着的进步，通常采用深度学习的方法。一些典型的深度学习方法，如Hourglass Network、、PoseNet和AlphaPose等，已经在人体姿态识别任务上取得了很高的准确率和实时性能。
通过上面的人体姿态识别进而得到对人体姿态的描述，即，实现人体姿态估计。
具体地，例如，在图4中，例如对钢琴练习者或者键盘使用者的人体姿态识别通常聚焦于手部、手指、手腕和上肢等关键区域。以下是关于上述两种练习者人体姿态估计的示范性方法。
1)明确关键关节集：针对上述练习者的姿态识别任务，明确关键关节集。对于钢琴练习者，这通常包括手腕、掌部、各指关节等。确保在图像中标注的关键关节能够涵盖钢琴演奏过程中的主要动作。
2)选择合适的图像和视频：为了获取高质量的标注数据，应选择清晰、高分辨率的图像和视频，避免运动模糊和遮挡。此外，为了提高识别的准确度，尽量选择多角度、多场景和多种练习者类型的数据。
3)使用专门的手部姿态识别模型：可以使用专门针对手部姿态识别的预训练模型，如Hand3D、DeepHPS或OpenPose手部模块模型等。这些模型在手部姿态识别任务上表现良好，可以作为基础模型进行针对上述练习者的影像进行学习。
4)将预训练模型应用于上述练习者的姿态识别任务。首先，使用预训练模型提取特征，然后使用专门收集的上述练习者数据集进行训练和微调，以便更好地适应上述练习场景。
5)数据增强：为了提高模型的泛化能力，可以使用数据增强技术，如图像旋转、翻转、裁剪、缩放、亮度和对比度调整等，来增加训练数据的多样性。这有助于让模型在不同场景和视角下获得更好的表现。
6)通过使用上述训练后的模型进行新图像的关节点识别和标注。将音乐器材特征和人体姿态数据进行融合，形成一个综合数据集。还可以使用时间戳将音乐特征和姿态数据同步，以便在分析中考虑它们之间的关系。
所述影像参照模块304用于获取影像参照数据或练习者的练习模板影像数据；
所述判断模块305用于将所述练习者的练习姿态与影像参照数据或练习模板影像数据进行比对，以判断所述练习者的练习姿态是否正确；以及响应于判断所述练习者的练习姿态不正确，输出用于校正所述练习者的练习姿态的校正指示。
其中，上述三个实施例中的各个步骤的全部或部份功能可以利用本地设备的API调用云端的设备或其他分布式设备之算力协助完成。
图4示出了本申请实施例的用于音乐教学的方法中的关节点位识别的图像特征示范示例。
图5示出了本申请实施例的用于音乐教学的电子设备500的示例性结构框图；包括：图像采集模块501，其用于采集练习者的练习影像数据；处理器502；以及存储器503，其用于存储用于音乐教学的程序指令，当所述处理器503运行该程序指令时，使得所述电子设备执行根据本申请的第一方面或第二方面所述的方法。
图6a示出了本申请实施例的影像模块的设备组成，本申请的影像模块可以包括从下到上依次安装于固定杆605上的感应器601、第一摄像头602和第二摄像头603。进一步地，所述感应器601可以是产生红外线的激光器或者产生其他颜色光(例如绿光)的激光器。优选地，所述感应器601例如可以是红外一字激光器。需要说明的是，本申请的影像模块选择红外线作为信号检测的光源，是因为红外激光具有低功耗、集成度效果好和发光频率单一等优点，并且由于乐器的演奏(例如键盘)通常是一个平面，因此不能采用传统的单束激光作为光源。基于上述原理，本申请采用红外一字激光器作为检测光源。特别地，红外一字激光器可配置成可调发射角度和方向，如果演奏的乐器是钢琴时，所发射的红外线可以与琴面(604)平行，并且其安装位置靠近琴面，以使得其发射的激光平面紧贴琴面。
所述第一摄像头602和第二摄像603可以是广角摄像头，其配置用于分别采集所述乐器数据信息和人体数据信息。具体地，当演奏者进行演奏时，其手指或敲击器具会阻挡并反射按压或敲击键位置的红外线，此时该按压或敲击键即被触发，于是摄像头实时拍摄到手指或敲击器具对红外线进行阻挡时的图像，并将该图像传送给人体姿态估计模块和/或判断模块做进一步分析和处理。另外，所述第一摄像头602和第二摄像头603的安装高度可以根据其拍摄的范围进行调整，其拍摄的范围应能分别覆盖乐器整体情况和人体关键关节部位。
如图6b所示，本申请另外一种实施例的影像模块的设备组成，本申请的影像模块可以包括从下到上依次安装于固定杆605上的第一摄像头602和第二摄像头603。
所述第一摄像头602和第二摄像头603可以是具有广角摄像头，其配置用于分别采集所述乐器数据信息和人体数据信息。具体地，当演奏者进行演奏时，摄像头实时拍摄到手指或敲击器具时的图像，并将该图像传送给人体姿态估计模块和/或判断模块做进一步分析和处理。另外，所述第一摄像头602和第二摄像头603的安装高度可以根据其拍摄的范围进行调整，其拍摄的范围应能分别覆盖乐器整体情况和人体关键关节部位。
上述两个实施例中所述的第一摄像头，第二摄像头，感应器三者是”或”的关系，可以配合使用，也可以独立设置，可设置于不同的模块或设备上(比如不同的电脑主机或者手机上)，在具体实施过程中，第一摄像头和第二摄像头的功能并不做限制。
本申请的上述技术方案尤其适用于在AI芯片中对练习者的影像数据进行处理。
综上，本申请通过获取练习过程中的影像数据并对练习过程进行过程性控制，将练习姿态情况的影像进行存储、标记处理，直接呈现于教学设备中或者通过数据传输呈现给远程的老师，进而，通过对练习者影像数据的分析对比，实现可以智能、直观地给出对应于练习者所使用的器材的练习姿势的判断和校正建议。
本申请实施例还提供了一种计算机可读存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施本申请的第一方面或第二方面所述的方法。
虽然本文已经示出和描述了本申请的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本申请思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本申请的过程中，可以采用对本文所描述的本申请实施例的各种替代方案。所附权利要求书旨在限定本申请的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。
Claims (11)
1.一种用于音乐教学的方法，其特征在于，包括：
获取练习者的练习影像数据；
从所述练习影像数据中获取乐器数据信息以及与所述练习者相关的人体数据信息；
根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型；
根据所述练习类型对人体数据信息进行标记，以获得练习者的练习姿态。
2.根据权利要求1所述的方法，其特征在于，所述练习影像数据至少包括可见光影像数据、不可见光影像数据或声纳影像数据中的一种或多种。
3.根据权利要求1所述的方法，其特征在于，所述练习影像数据还包括阶段性的练习模板影像数据，其中所述阶段性与时间和/或练习难度相关。
4.根据权利要求1所述的方法，其特征在于，还包括：
将所述练习者的练习姿态与影像参照数据或练习模板影像数据进行比对，以判断所述练习者的练习姿态是否正确；以及
响应于判断所述练习者的练习姿态不正确，输出用于校正所述练习者的练习姿态的校正指示。
5.根据权利要求4所述的方法，其特征在于，还包括；
根据所述乐器数据信息对乐器类型进行分类以形成乐器分类库；以及
根据所述乐器分类信息将所述乐器数据信息存储到相应的乐器分类库。
6.根据权利要求5所述的方法，其特征在于，还包括根据练习者需求添加练习者自定义的乐器分类库。
7.根据权利要求1所述的方法，其特征在于，其中根据所述人体数据信息和所述乐器数据信息判断练习者的练习类型还包括：
根据所述乐器数据信息和所述人体数据信息进行判定，定位练习者与练习姿态相关的关节点位置；
基于关节点位置判断练习者的类型。
8.根据权利要求4所述的方法，其特征在于，还包括：
通过执行人工智能连续影像对比来获得所述练习影像数据与影像参照数据的对比结果；
基于所述对比结果判定练习者的练习优劣度；以及
基于所述练习优劣度输出针对练习者的姿态校正建议。
9.根据权利要求4-8任意一项所述的方法，其特征在于，还包括以视觉和/或听觉的方式输出所述校正指示。
10.一种用于音乐教学的电子设备，其特征在于，包括：
图像采集模块，其用于采集练习者的练习影像数据；
处理器；以及
存储器，其用于存储用于音乐教学的程序指令，当所述处理器运行该程序指令时，使得所述电子设备执行根据权利要求1-9的任意一项所述方法。
11.一种计算机可读存储介质，其中存储有用于音乐教学的程序指令，当所述程序指令由处理器加载并执行时，使得所述处理器执行根据权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310395275.9A CN116386424A (zh) | 2023-04-12 | 2023-04-12 | 一种用于音乐教学的方法、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310395275.9A CN116386424A (zh) | 2023-04-12 | 2023-04-12 | 一种用于音乐教学的方法、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116386424A true CN116386424A (zh) | 2023-07-04 |
Family
ID=86973063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310395275.9A Pending CN116386424A (zh) | 2023-04-12 | 2023-04-12 | 一种用于音乐教学的方法、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116386424A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117151548A (zh) * | 2023-10-31 | 2023-12-01 | 福建省晋江职业中专学校 | 以手部动作判断为基础的音乐线上学习方法及系统 |
-
2023
- 2023-04-12 CN CN202310395275.9A patent/CN116386424A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117151548A (zh) * | 2023-10-31 | 2023-12-01 | 福建省晋江职业中专学校 | 以手部动作判断为基础的音乐线上学习方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180315329A1 (en) | Augmented reality learning system and method using motion captured virtual hands | |
| US10803762B2 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
| CN108764120B (zh) | 一种人体规范动作评价方法 | |
| JP2852925B2 (ja) | 肉体的運動熟達教育用システム | |
| KR101936692B1 (ko) | 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법 | |
| US11113988B2 (en) | Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same | |
| CN106485984A (zh) | 一种钢琴的智能教学方法和装置 | |
| US11557269B2 (en) | Information processing method | |
| WO2022052941A1 (zh) | 用于辅助钢琴教学的智能识别方法及系统、智能钢琴训练方法及系统 | |
| Johnson et al. | Detecting hand posture in piano playing using depth data | |
| CN116386424A (zh) | 一种用于音乐教学的方法、设备和计算机可读存储介质 | |
| CN113409651B (zh) | 直播健身方法、系统、电子设备、存储介质 | |
| KR102171319B1 (ko) | 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법 | |
| CN114170868A (zh) | 智能钢琴训练的方法和系统 | |
| Grontman et al. | Analysis of sword fencing training evaluation possibilities using Motion Capture techniques | |
| Kerdvibulvech et al. | Real-time guitar chord estimation by stereo cameras for supporting guitarists | |
| Chen et al. | Quantitative evaluation of percussive gestures by ranking trainees versus teacher | |
| CN113257055A (zh) | 一种智能舞蹈步伐学习装置及方法 | |
| Ofli et al. | Multi-modal analysis of dance performances for music-driven choreography synthesis | |
| Kerdvibulvech et al. | Guitarist fingertip tracking by integrating a Bayesian classifier into particle filters | |
| WO2023032422A1 (ja) | 処理方法、プログラムおよび処理装置 | |
| TW200811767A (en) | Learning assessment method and device using a virtual tutor | |
| CN117423166B (zh) | 一种根据人体姿态图像数据的动作识别方法及系统 | |
| CN117077084B (zh) | 一种基于时空异构双流卷积网络的舞蹈评分方法 | |
| CN113255470B (zh) | 基于手部姿态估计的多模态钢琴陪练系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |