CN109102784A - 一种ar辅助乐器练习方法、系统以及一种智能设备 - Google Patents

一种ar辅助乐器练习方法、系统以及一种智能设备 Download PDF

Info

Publication number
CN109102784A
CN109102784A CN201810614945.0A CN201810614945A CN109102784A CN 109102784 A CN109102784 A CN 109102784A CN 201810614945 A CN201810614945 A CN 201810614945A CN 109102784 A CN109102784 A CN 109102784A
Authority
CN
China
Prior art keywords
user
fingering
play
aid
musical instruments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810614945.0A
Other languages
English (en)
Inventor
刘晓露
燕斌
童刚
周国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senlan Information Technology (shanghai) Co Ltd
Original Assignee
Senlan Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senlan Information Technology (shanghai) Co Ltd filed Critical Senlan Information Technology (shanghai) Co Ltd
Priority to CN201810614945.0A priority Critical patent/CN109102784A/zh
Publication of CN109102784A publication Critical patent/CN109102784A/zh
Priority to PCT/CN2019/076561 priority patent/WO2019237766A1/en
Priority to US16/857,206 priority patent/US11417233B2/en
Priority to US17/812,441 priority patent/US20220351637A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes
    • G09B15/023—Electrically operated
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明提供一种AR辅助乐器练习方法、系统以及一种智能设备，所述AR辅助乐器练习方法应用于一智能设备中，所述AR辅助乐器练习方法包括：捕捉弹奏智能乐器的用户弹奏动作实时图像；从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。本发明中，用户通过智能设备进行乐器练习，智能设备可以判定用户手型，弹奏指法是否正确，若弹错，提示用户错在哪里，下一步应该怎么弹，为练习者提供有效的教学辅助手段。

Description

一种AR辅助乐器练习方法、系统以及一种智能设备
技术领域
本发明涉及乐器技术领域，特别是涉及钢琴技术领域，具体为一种AR辅助乐器练习方法、系统以及一种智能设备。
背景技术
钢琴是一种键盘乐器，用键拉动琴槌以敲打琴弦。钢琴通常包括踏板、调音钉、琴槌、制音器、击弦机、音板和琴键构成。其中，踏板是指钢琴下面用足踩的踏板而言。它是钢琴中除键盘外最重要的配件。制音器是与弦紧贴着，用来阻止弦的震动。例如当钢琴上的琴键被按下时，钢琴内部的琴槌会打在一条条用铜制造的琴弦上，借着琴弦的震动发出声音。击弦机连接着琴键和琴槌，是整部钢琴的灵魂和最重要的配件。音板位于钢琴内部的一块大木板，高档钢琴用枫树实木板拼成，现代低端普及琴有用密度板。它连着调音钉，紧贴着琴弦，当琴弦振动，音板会使声波高效率耦合到空气中，即将声音透过响板反射以及扩大出来。整个琴键都是由黑键和白键组合而成，通常包括黑键36个，白键52个，共88个。
随着技术的不断发展，现代钢琴不断与新技术相结合，对如何利用新技术帮助钢琴的演奏和指导钢琴的教学方面不断提出新的要求。乐器的学习需要大量的重复性练习，如何更好的为乐器练习者提供教学辅助用具是本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种AR辅助乐器练习方法、系统以及一种智能设备，用于为乐器练习者提供教学辅助。
为实现上述目的及其他相关目的，本发明提供一种AR辅助乐器练习方法，应用于一智能设备中，所述AR辅助乐器练习方法包括：捕捉弹奏智能乐器的用户弹奏动作实时图像；从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。
于本发明的一实施例中，所述AR辅助乐器练习方法还包括：从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。
于本发明的一实施例中，所述AR辅助乐器练习方法还包括：在用户当前弹奏指法错误时，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。
于本发明的一实施例中，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。
本发明的实施例还提供一种AR辅助乐器练习系统，应用于一智能设备中，所述AR辅助乐器练习系统包括：图像捕捉模块，用于捕捉弹奏智能乐器的用户弹奏动作实时图像；信息接收模块，用于从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；教学模块，用于实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。
于本发明的一实施例中，所述信息接收模块还用于从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；所述教学模块还用于根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。
于本发明的一实施例中，在用户当前弹奏指法错误时，所述教学模块还用于通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。
于本发明的一实施例中，所述教学模块通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。
本发明的实施例还提供一种存储介质，存储有程序指令，所述程序指令被执行时实现如上所述的AR辅助乐器练习方法。
本发明的实施例还提供一种智能设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的AR辅助乐器练习方法。
如上所述，本发明的AR辅助乐器练习方法、系统以及一种智能设备，具有以下有益技术效果：
本发明中，用户通过智能设备进行辅助乐器练习，智能设备可以判定用户手型，弹奏指法是否正确，若弹错，提示用户错在哪里，下一步应该怎么弹，为练习者提供有效的教学辅助手段。
附图说明
图1显示为本发明的AR辅助乐器练习方法的流程示意图。
图2显示为本发明的AR辅助乐器练习方法中进行提示的流程示意图。
图3显示为本发明的AR辅助乐器练习系统的原理框图。
元件标号说明
100 AR辅助乐器练习系统
110 图像捕捉模块
120 信息接收模块
130 教学模块
S110～S170 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
本实施例的目的在于提供一种AR辅助乐器练习方法、系统以及一种智能设备，用于为乐器练习者提供教学辅助。以下将详细阐述本实施例的一种AR辅助乐器练习方法、系统以及一种智能设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种AR辅助乐器练习方法、系统以及一种智能设备。
如图1所示，本实施例提供一种AR辅助乐器练习方法，所述AR辅助乐器练习方法应用于一智能设备中，所述AR辅助乐器练习方法包括以下步骤：
步骤S110，捕捉弹奏智能乐器的用户弹奏动作实时图像；
步骤S120，从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；
步骤S130，实时显示所述用户弹奏动作实时图像；
步骤S140，根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，
步骤S150，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。
以下对本实施例AR辅助乐器练习方法的步骤S110至步骤S150进行详细说明。
步骤S110，捕捉弹奏智能乐器的用户弹奏动作实时图像。
其中，所述智能乐器包括不限于智能钢琴、智能小提琴、大提琴、智能吉他等。
其中，所述智能设备为但不限于智能眼镜、智能手机或PAD等支持AR的设备，所述智能设备中内置有一摄像头，通过所述智能设备中的摄像头捕捉弹奏智能乐器的用户弹奏动作实时图像。
步骤S120，从所述智能乐器实时获取用户当前按键信息和按键正确指法信息。
于本实施例中，于所述智能乐器中预存曲谱信息，曲谱对应的按键正确指法信息，所述智能乐器通过键盘的传感器或者其它按键信息采集设备实时采集用户当前按键信息。在用户打开所述智能乐器上的曲谱时，将曲谱对应的按键正确指法信息发送至智能设备，在用户进行弹奏，按下琴键时采集的用户当前按键信息发送至所述智能设备。
步骤S130，实时显示所述用户弹奏动作实时图像。通过智能设备可以实时看到用户弹奏动作实时图像。
步骤S140，根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确。
其中，从所述用户弹奏动作实时图像中提取按键指法信息，结合所述用户当前按键信息，匹配当前按键的按键正确指法信息，判断用户的当前按键指法是否正确。
步骤S150，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。
于本实施例中，在用户当前弹奏指法错误时，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。即在用户当前弹奏指法错误时，可以在智能设备里面显示对应的错误提示，并显示正确的弹奏指法。
其中，于本实施例中，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。
于本实施例中，如图2所示，所述AR辅助乐器练习方法还包括：
步骤S160，在从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；
步骤S170，在根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。
于本实施例中，无论用户当前弹奏指法是否正确，都可以显示当前弹奏指法的下一弹奏指法的弹奏注意事项，也可以仅在用户当前弹奏指法错误时，显示当前弹奏指法的下一弹奏指法的弹奏注意事项。这样，用户通过智能设备即可以知道下一步弹奏的注意事项，方便练习者乐器练习。
所以于本实施例中，所示智能设备例如为智能AR眼镜，所述乐器为钢琴时，AR眼镜配合智慧钢琴，可以判断用户是否弹对，手型、指法是否正确，并实时通过图形、手型、文字提示用户弹错在哪里，用户戴着AR眼镜乐器练习，智能设备里可以出现虚拟的图形、手型、文字等提示用户下一步改怎么弹，为练习者提供有效的教学辅助手段。
如图3所示，本发明的实施例还提供一种AR辅助乐器练习系统100，应用于一智能设备中，所述AR辅助乐器练习系统100包括：图像捕捉模块110，信息接收模块120以及教学模块130。
于本实施例中，所述图像捕捉模块110用于捕捉弹奏智能乐器的用户弹奏动作实时图像。
其中，其中，所述智能乐器包括不限于智能钢琴、智能小提琴、大提琴、智能吉他等，所述智能设备为但不限于智能眼镜、智能手机或PAD等支持AR的设备，所述智能设备中内置有一摄像头，所述图像捕捉模块110通过所述智能设备中的摄像头捕捉弹奏智能乐器的用户弹奏动作实时图像。
于本实施例中，所述信息接收模块120用于从所述智能乐器实时获取用户当前按键信息和按键正确指法信息。
于本实施例中，于所述智能乐器中预存曲谱信息，曲谱对应的按键正确指法信息，所述智能乐器通过键盘的传感器或者其它按键信息采集设备实时采集用户当前按键信息。在用户打开所述智能乐器上的曲谱时，将曲谱对应的按键正确指法信息发送至智能设备，在用户进行弹奏，按下琴键时采集的用户当前按键信息发送至所述智能设备。
于本实施例中，所述教学模块130用于实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。
其中，从所述用户弹奏动作实时图像中提取按键指法信息，结合所述用户当前按键信息，匹配当前按键的按键正确指法信息，判断用户的当前按键指法是否正确。
于本实施例中，在用户当前弹奏指法错误时，所述教学模块130还用于通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。即在用户当前弹奏指法错误时，可以在智能设备里面显示对应的错误提示，并显示正确的弹奏指法。
其中，于本实施例中，所述教学模块130通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。
于本实施例中，所述信息接收模块120还用于从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；所述教学模块130还用于根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。
于本实施例中，无论用户当前弹奏指法是否正确，都可以显示当前弹奏指法的下一弹奏指法的弹奏注意事项，也可以仅在用户当前弹奏指法错误时，显示当前弹奏指法的下一弹奏指法的弹奏注意事项。这样，用户通过智能设备即可以知道下一步弹奏的注意事项，方便练习者乐器练习。
所以于本实施例中，所示智能设备例如为智能AR眼镜，所述乐器为钢琴时，AR眼镜配合智慧钢琴，可以判断用户是否弹对，手型、指法是否正确，并实时通过图形、手型、文字提示用户弹错在哪里，用户戴着AR眼镜乐器练习，智能设备里可以出现虚拟的图形、手型、文字等提示用户下一步改怎么弹，为练习者提供有效的教学辅助手段。
本发明的实施例还提供一种存储介质，所述存储介质例如为存储器，存储器被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，消息，图片等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，高速随机存取存储器，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘等。所述存储器存储有程序指令，所述程序指令被执行时实现如上所述的AR辅助乐器练习方法。上述已经对所述的辅助乐器练习方法进行了详细说明，在此不再赘述。
本发明的实施例还提供一种智能设备，所述智能设备为但不限于智能眼镜、智能手机或 PAD等，所述智能设备包括处理器和存储器，所述存储器存储有程序指令，其特征在于，所述处理器运行程序指令实现如上所述的AR辅助乐器练习方法。
于实际的实现方式中，所述智能设备例如为安装Android操作系统或者iOS操作系统，或者Palm OS、Symbian(塞班)、或者Black Berry(黑莓)OS、Windows Phone等操作系统的智能设备。
在示例性实施例中，所述智能设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列 (FPGA)、控制器、微控制器、微处理器、摄像头或其他电子元件实现，用于执行上述AR辅助乐器练习方法。
综上所述，本发明中，用户通过智能设备进行辅助乐器练习，智能设备可以判定用户手型，弹奏指法是否正确，若弹错，提示用户错在哪里，下一步应该怎么弹，为练习者提供有效的教学辅助手段。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种AR辅助乐器练习方法，应用于一智能设备中，其特征在于：所述AR辅助乐器练习方法包括：
捕捉弹奏智能乐器的用户弹奏动作实时图像；
从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；
实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。
2.根据权利要求1所述的AR辅助乐器练习方法，其特征在于：所述AR辅助乐器练习方法还包括：
从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；
根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。
3.根据权利要求1所述的AR辅助乐器练习方法，其特征在于：所述AR辅助乐器练习方法还包括：
在用户当前弹奏指法错误时，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。
4.根据权利要求1所述的AR辅助乐器练习方法，其特征在于：通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。
5.一种AR辅助乐器练习系统，应用于一智能设备中，其特征在于：所述AR辅助乐器练习系统包括：
图像捕捉模块，用于捕捉弹奏智能乐器的用户弹奏动作实时图像；
信息接收模块，用于从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；
教学模块，用于实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。
6.根据权利要求5所述的AR辅助乐器练习系统，其特征在于：所述信息接收模块还用于从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；所述教学模块还用于根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。
7.根据权利要求5所述的AR辅助乐器练习系统，其特征在于：在用户当前弹奏指法错误时，所述教学模块还用于通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。
8.根据权利要求5所述的AR辅助乐器练习系统，其特征在于：所述教学模块通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。
9.一种存储介质，存储有程序指令，其特征在于，所述程序指令被执行时实现如权利要求1至权利要求4任一项所述的AR辅助乐器练习方法。
10.一种智能设备，包括处理器和存储器，所述存储器存储有程序指令，其特征在于，所述处理器运行程序指令实现如权利要求1至权利要求4任一项所述的AR辅助乐器练习方法。
CN201810614945.0A 2018-06-14 2018-06-14 一种ar辅助乐器练习方法、系统以及一种智能设备 Pending CN109102784A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810614945.0A CN109102784A (zh) 2018-06-14 2018-06-14 一种ar辅助乐器练习方法、系统以及一种智能设备
PCT/CN2019/076561 WO2019237766A1 (en) 2018-06-14 2019-02-28 Systems and methods for assisting a user in practicing a musical instrument
US16/857,206 US11417233B2 (en) 2018-06-14 2020-04-24 Systems and methods for assisting a user in practicing a musical instrument
US17/812,441 US20220351637A1 (en) 2018-06-14 2022-07-13 Systems and methods for assisting a user in practicing a musical instrument

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810614945.0A CN109102784A (zh) 2018-06-14 2018-06-14 一种ar辅助乐器练习方法、系统以及一种智能设备

Publications (1)

Publication Number Publication Date
CN109102784A true CN109102784A (zh) 2018-12-28

Family

ID=64796796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810614945.0A Pending CN109102784A (zh) 2018-06-14 2018-06-14 一种ar辅助乐器练习方法、系统以及一种智能设备

Country Status (3)

Country Link
US (2) US11417233B2 (zh)
CN (1) CN109102784A (zh)
WO (1) WO2019237766A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559593A (zh) * 2018-12-29 2019-04-02 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
WO2019237766A1 (en) * 2018-06-14 2019-12-19 Sunland Information Technology Co., Ltd. Systems and methods for assisting a user in practicing a musical instrument
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN110706553A (zh) * 2019-11-13 2020-01-17 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置
CN110728967A (zh) * 2019-10-03 2020-01-24 陕西学前师范学院 一种可提示指法的智能钢琴系统及其使用方法
CN110781820A (zh) * 2019-10-25 2020-02-11 网易（杭州）网络有限公司 游戏角色的动作生成方法、装置、计算机设备及存储介质
CN112019910A (zh) * 2020-08-27 2020-12-01 深圳创维－Rgb电子有限公司 一种乐器演奏方法、装置、电视及存储介质
CN112184852A (zh) * 2020-09-10 2021-01-05 珠海格力电器股份有限公司 基于虚拟成像的辅助绘图方法和装置、存储介质、电子装置
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN113158906A (zh) * 2021-04-23 2021-07-23 天津大学 一种基于动作捕捉的古琴体验学习系统及实现方法
CN114783222A (zh) * 2022-05-11 2022-07-22 张�浩 一种基于ar技术的乐器辅助教学方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986777A (zh) * 2018-06-14 2018-12-11 森兰信息科技（上海）有限公司 通过体感进行音乐模拟的方法、体感设备及乐器终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513580A (zh) * 2014-09-26 2016-04-20 上海渐华科技发展有限公司 基于辅助摄像头的键盘乐器弹奏音符识别系统
CN105976800A (zh) * 2015-03-13 2016-09-28 三星电子株式会社 电子装置和在电子装置中识别弦乐器演奏的方法
CN106205576A (zh) * 2016-08-31 2016-12-07 哈尔滨固泰电子有限责任公司 电子乐器
CN106355974A (zh) * 2016-11-09 2017-01-25 大连文森特软件科技有限公司 基于ar增强现实的小提琴辅助学习体验系统
WO2017121049A1 (en) * 2016-01-15 2017-07-20 Findpiano Information Technology (Shanghai) Co., Ltd. Piano system and operating method thereof

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2950138B2 (ja) * 1994-03-23 1999-09-20 ヤマハ株式会社 運指情報分析装置及び同装置を適用した電子楽器
US5557055A (en) * 1994-05-17 1996-09-17 Breitweiser Music Technology Inc. Musical keyboard having an electronically controlled display and a method of keyboard display
US7009100B2 (en) * 2002-08-20 2006-03-07 Casio Computer Co., Ltd. Performance instruction apparatus and performance instruction program used in the performance instruction apparatus
TWI343031B (en) * 2007-07-16 2011-06-01 Ind Tech Res Inst Method and device for keyboard instrument learning
EP2441071A2 (en) * 2009-06-12 2012-04-18 Jam Origin APS Generative audio matching game system
JP5401386B2 (ja) * 2010-03-31 2014-01-29 新日鉄住金ソリューションズ株式会社 情報処理システム及び情報処理方法
US9269340B2 (en) * 2011-06-07 2016-02-23 University Of Florida Research Foundation, Incorporated Modular wireless sensor network for musical instruments and user interfaces for use therewith
CN103150940B (zh) * 2013-03-17 2015-11-04 浙江大学 一种键盘乐器示教系统和示教方法
CN103235641B (zh) * 2013-03-17 2016-08-03 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
US9857934B2 (en) * 2013-06-16 2018-01-02 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
CN109791740B (zh) * 2016-10-11 2021-05-07 森兰信息科技（上海）有限公司 用于智能钢琴的智能检测及反馈系统
CN106340215B (zh) * 2016-11-09 2019-01-04 快创科技（大连）有限公司 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN106527718B (zh) * 2016-11-09 2019-03-12 快创科技（大连）有限公司 基于ar增强现实的乐器辅助演奏和协奏体验系统
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
CN108074439A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴陪练设备及钢琴
US10235898B1 (en) * 2017-09-12 2019-03-19 Yousician Oy Computer implemented method for providing feedback of harmonic content relating to music track
CN108052277A (zh) * 2017-12-14 2018-05-18 深圳市艾德互联网络有限公司 一种ar定位学习方法和装置
CN109102784A (zh) 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
CN108986777A (zh) * 2018-06-14 2018-12-11 森兰信息科技（上海）有限公司 通过体感进行音乐模拟的方法、体感设备及乐器终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513580A (zh) * 2014-09-26 2016-04-20 上海渐华科技发展有限公司 基于辅助摄像头的键盘乐器弹奏音符识别系统
CN105976800A (zh) * 2015-03-13 2016-09-28 三星电子株式会社 电子装置和在电子装置中识别弦乐器演奏的方法
WO2017121049A1 (en) * 2016-01-15 2017-07-20 Findpiano Information Technology (Shanghai) Co., Ltd. Piano system and operating method thereof
CN106205576A (zh) * 2016-08-31 2016-12-07 哈尔滨固泰电子有限责任公司 电子乐器
CN106355974A (zh) * 2016-11-09 2017-01-25 大连文森特软件科技有限公司 基于ar增强现实的小提琴辅助学习体验系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019237766A1 (en) * 2018-06-14 2019-12-19 Sunland Information Technology Co., Ltd. Systems and methods for assisting a user in practicing a musical instrument
CN109559593A (zh) * 2018-12-29 2019-04-02 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN110728967A (zh) * 2019-10-03 2020-01-24 陕西学前师范学院 一种可提示指法的智能钢琴系统及其使用方法
CN110781820A (zh) * 2019-10-25 2020-02-11 网易（杭州）网络有限公司 游戏角色的动作生成方法、装置、计算机设备及存储介质
CN110781820B (zh) * 2019-10-25 2022-08-05 网易（杭州）网络有限公司 游戏角色的动作生成方法、装置、计算机设备及存储介质
CN110706553B (zh) * 2019-11-13 2022-02-01 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置
CN110706553A (zh) * 2019-11-13 2020-01-17 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置
CN112019910A (zh) * 2020-08-27 2020-12-01 深圳创维－Rgb电子有限公司 一种乐器演奏方法、装置、电视及存储介质
CN112184852A (zh) * 2020-09-10 2021-01-05 珠海格力电器股份有限公司 基于虚拟成像的辅助绘图方法和装置、存储介质、电子装置
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN112802439B (zh) * 2021-02-05 2024-04-12 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN113158906A (zh) * 2021-04-23 2021-07-23 天津大学 一种基于动作捕捉的古琴体验学习系统及实现方法
CN114783222A (zh) * 2022-05-11 2022-07-22 张�浩 一种基于ar技术的乐器辅助教学方法和系统
CN114783222B (zh) * 2022-05-11 2022-12-20 张�浩 一种基于ar技术的乐器辅助教学方法和系统

Also Published As

Publication number Publication date
US11417233B2 (en) 2022-08-16
WO2019237766A1 (en) 2019-12-19
US20220351637A1 (en) 2022-11-03
US20200251011A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN109102784A (zh) 一种ar辅助乐器练习方法、系统以及一种智能设备
KR100412196B1 (ko) 악보 추적 방법 및 그 장치
US7777117B2 (en) System and method of instructing musical notation for a stringed instrument
JP5792131B2 (ja) ゲーム機、それに用いる制御方法及びコンピュータプログラム
US9472178B2 (en) Score-directed string retuning and gesture cueing in synthetic multi-string musical instrument
CN111028615B (zh) 智能化乐器演奏教学方法、系统及存储介质
CN107481581B (zh) 用于钢琴教学的计算机辅助方法和计算机系统
US20100089221A1 (en) Music training system
JP2019139295A (ja) 情報処理方法および情報処理装置
CN106205571A (zh) 一种歌声语音的处理方法和装置
CN111695499B (zh) 一种琴键识别方法、装置、电子设备及存储介质
US20120266738A1 (en) Music game improvements
CN112818981A (zh) 一种乐器演奏键位提示方法、装置、电子设备及存储介质
JP3961544B2 (ja) ゲームの制御方法およびゲーム装置
CN110517653B (zh) 一种钢琴练习提示方法及系统、存储介质及钢琴
JP2009229680A (ja) 音発生システム
CN112420006B (zh) 运行模拟乐器组件的方法及装置、存储介质、计算机设备
Putranda et al. Exploring Audio Processing in Mixed Reality to Boost Motivation in Piano Learning
CN111276113B (zh) 基于音频生成按键时间数据的方法和装置
KR102070178B1 (ko) 사용자 참여형 한글 교육 시스템 및 이의 실행 방법
Jaime et al. A new multiformat rhythm game for music tutoring
CN114120943A (zh) 虚拟演唱会的处理方法、装置、设备、介质及程序产品
CN112019910A (zh) 一种乐器演奏方法、装置、电视及存储介质
CN205680413U (zh) 一种智能钢琴
KR20210122033A (ko) 연습 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181228

RJ01 Rejection of invention patent application after publication