CN105976800A - 电子装置和在电子装置中识别弦乐器演奏的方法 - Google Patents

电子装置和在电子装置中识别弦乐器演奏的方法 Download PDF

Info

Publication number
CN105976800A
CN105976800A CN201610144693.0A CN201610144693A CN105976800A CN 105976800 A CN105976800 A CN 105976800A CN 201610144693 A CN201610144693 A CN 201610144693A CN 105976800 A CN105976800 A CN 105976800A
Authority
CN
China
Prior art keywords
bow
disclosure
musical instrument
user
stringed musical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610144693.0A
Other languages
English (en)
Other versions
CN105976800B (zh
Inventor
全大荣
金延洙
金暎旼
朴贞敏
吴京锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105976800A publication Critical patent/CN105976800A/zh
Application granted granted Critical
Publication of CN105976800B publication Critical patent/CN105976800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/18—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a string, e.g. electric guitar
    • G10H3/181—Details of pick-up assemblies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0016—Means for indicating which keys, frets or strings are to be actuated, e.g. using lights or leds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/146—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a membrane, e.g. a drum; Pick-up means for vibrating surfaces, e.g. housing of an instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/121—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of a musical score, staff or tablature
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/165—User input interfaces for electrophonic musical instruments for string input, i.e. special characteristics in string composition or use for sensing purposes, e.g. causing the string to become its own sensor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/365—Bow control in general, i.e. sensors or transducers on a bow; Input interface or controlling process for emulating a bow, bowing action or generating bowing parameters, e.g. for appropriately controlling a specialised sound synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G10H2220/415—Infrared beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/461—Transducers, i.e. details, positioning or use of assemblies to detect and convert mechanical vibrations or mechanical strains into an electrical signal, e.g. audio, trigger or control signal
    • G10H2220/525—Piezoelectric transducers for vibration sensing or vibration excitation in the audio range; Piezoelectric strain sensing, e.g. as key velocity sensor; Piezoelectric actuators, e.g. key actuation in response to a control voltage
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/015—PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

提供一种电子装置和在电子装置中识别弦乐器演奏的方法。所述电子装置包括：图像传感器，被配置为感测弓到弦乐器的运动；振动传感器，被配置为感测弦乐器产生的振动；以及控制模块，被配置为使用弓的运动和振动确定相对于弦乐器的用户的指法位置。

Description

电子装置和在电子装置中识别弦乐器演奏的方法
本申请要求2015年3月13日向韩国知识产权局提交的第10-2015-0034929号韩国专利申请的利益，该韩国专利申请的全部公开通过引用合并于此。
技术领域
本公开涉及一种识别弦乐器演奏并对弦乐器演奏提供反馈的电子装置。
背景技术
随着电子技术的发展，已经开发了各种电子装置。例如，已经开发了用于识别使用弓的乐器的演奏操作的装置。已经尝试使用各种类型的传感器准确地识别这种乐器的演奏操作。
识别弦乐器演奏的装置的一部分以安装在弓上的形式实现。因此，由于弓的整个重量增加且由于弓的重心改变，因此干扰了弦乐器演奏。
上述信息仅是作为帮助理解本公开的背景信息而被呈现。关于上述任何信息是否可适合作为关于本公开的现有技术，不做任何确定，也不做任何断言。
发明内容
本公开的各方面在于解决至少上述问题和/或缺陷，并且提供至少下述的优点。因此，本公开的一方面在于提供一种使用安装在弦乐器上的电子装置识别弦乐器演奏以及使用获得的演奏数据向用户提供各种反馈的方法。
根据本公开的一方面，提供一种电子装置。所述电子装置包括：图像传感器，被配置为感测弓到弦乐器的运动；振动传感器，被配置为感测弦乐器产生的振动；以及控制模块，被配置为使用弓的运动和振动确定相对于弦乐器的用户的指法位置。
根据本公开的另一方面，提供一种电子装置。所述电子装置包括：显示器；通信模块，被配置为从外部电子装置接收用户的弦乐器演奏数据；以及控制模块，被配置为使用演奏数据分析用户的错误模式，并且在显示器上提供关于错误模式的反馈。
根据本公开的另一方面，提供一种在电子装置中识别弦乐器演奏的方法。所述方法包括：感测弓到弦乐器的运动；感测弦乐器产生的振动；以及使用弓的运动和所述振动确定相对于弦乐器的用户的指法位置。
根据本公开的另一方面，提供一种在电子装置中提供关于弦乐器演奏的反馈的方法。所述方法包括：从外部电子装置接收用户的弦乐器演奏数据；以及使用演奏数据分析用户的错误模式，并且提供关于错误模式的反馈。
从下面结合附图披露本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特点对于本领域的技术人员来说将变得明显。
附图说明
从下面结合附图的描述，本公开的特定实施例的以上和其他方面、特点和优点将更加明显，在附图中：
图1是示出根据本公开的实施例的弦乐器演奏系统的配置的示图；
图2A至图2C是示出根据本公开的各种实施例的第一电子装置的结构的示图；
图3A至图3C是示出根据本公开的各种实施例的第一电子装置的结构的示图；
图4是示出根据本公开的实施例的第一电子装置的配置的框图；
图5A至图5C是示出根据本公开的各种实施例的图像传感器的结构和视角的示图；
图6A和图6B是示出根据本公开的各种实施例的图像传感器的结构和视角的示图；
图7是示出根据本公开的实施例的侧面图像传感器的视角的示图；
图8是示出根据本公开的实施例的确定弓的位置和姿态的元素的示图；
图9A和图9B是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图；
图10A和图10B是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图；
图11A至图11D是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图；
图12A和图12B是示出据本公开的各种实施例的弓毛的图案的示图；
图13A至图13D是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图；
图14A至图14H是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图；
图15是示出根据本公开的各种实施例的附接到弓的金属的附接模式的示图；
图16是示出根据本公开的各种实施例的附接到弓的磁体的附接位置的示图；
图17是示出根据本公开的实施例的第二电子装置的配置的框图；
图18是示出根据本公开的实施例的用户界面的示图；
图19是示出根据本公开的实施例的用户界面的示图；
图20是示出根据本公开的实施例的用户界面的示图；
图21是示出根据本公开的实施例的用户界面的示图；
图22A至图22D是示出根据本公开的各种实施例的用户界面的示图；
图23是示出根据本公开的实施例的用户界面的示图；
图24是示出根据本公开的实施例的在第一电子装置中识别弦乐器演奏的方法的流程图；以及
图25是示出根据本公开的实施例的在第二电子装置中提供关于弦乐器演奏的反馈的方法的流程图。
在所有的附图中，应当注意，相同的附图标记用于描述相同或相似的部件、特征和结构。
具体实施方式
提供下面的参照附图的描述，以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。该描述包括各种具体细节以帮助该理解，但是，这些细节仅仅被视为示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对这里描述的各种实施例进行各种改变和修改。另外，为了清楚和简要，可以省略对公知的功能和结构的描述。
下面描述和权利要求中使用的术语和词语并不局限于书面含义，而仅仅被发明人用来使得能够清楚地和一致地理解本公开。因此，对于本领域的技术人员来说应该显而易见的是，仅仅出于说明目的，而不是出于限制由权利要求及其等同物所限定的本公开的目的，提供下面对本公开的各种实施例的描述。
应当理解，除非上下文另有明确说明，否则单数形式包括复数指代。因此，例如，参考“组件表面”包括参考一个或多个这样的表面。
在下面的公开中，术语“具有”、“可以具有”、“包括”或“可以包括”表示相应特征(例如，诸如数字值的元素、功能、操作和组件)的存在，并且不排除附加特征的存在。
在下面的公开中，这里使用的表述“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”等可以包括一个或多个相关所列的项目的任意组合和所有组合。例如，术语“A或B”，“A和B中的至少一个”或“A或B中的至少一个”可以表示以下所有情况：(1)包括至少一个A；(2)包括至少一个B；或(3)包括至少一个A和至少一个B两者。
在本公开的各种实施例中使用的诸如“第一”、“第二”等的表述可以表示各种元件，而不管相应元件的顺序和/或优先级，但是不限制相应元件。该表述可以用于将一个元件与另一个元件区分开来。例如，“第一用户装置”和“第二用户装置”两者指示相互不同的用户装置，而不管相应元件的顺序或优先级。例如，在不脱离本公开的范围的情况下，第一组件可以被称为第二组件，反之亦然。
应当理解，当元件(例如，第一元件)被称为(可操作或可通信地)与另一元件(例如，第二元件)结合/结合到另一元件(例如，第二元件)”或“连接到另一元件(例如，第二元件)”时，它可以与另一元件直接结合/直接结合到另一元件或直接连接到另一元件，或者可以存在中间元件(例如，第三元件)。与此相对，应当理解，当元件(例如，第一元件)被称为“与另一元件(例如，第二元件)直接结合/直接结合到另一元件(例如，第二元件)”或“直接连接到另一元件(例如，第二元件)”时，不存在中间元件(例如，第三元件)。
根据情况，这里使用的表述“被配置为”可以用作例如表述“适合于”、“具有…的能力”、“被设计为”、“适于”、“被制造成”或“能够”。术语“被配置为”不必仅表示“被专门设计为”。相反，表述“装置被配置为”可以表示装置“能够”与另一装置或其他组件一起操作。例如，“处理器被配置为执行A、B和C”可以表示通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))，所述通用处理器可以通过执行存储用于执行相应操作的专用处理器(例如，嵌入式处理器)的一个或多个软件程序而执行相应操作。
除非这里另外定义，否则这里使用的所有术语(包括技术术语和科学术语)可以具有与本领域技术人员通常理解的含义相同的含义。还应当理解，除非在本公开的各种实施例中明确定义，否则在词典中定义和通常使用的术语也应按照相关的现有技术中的习惯解释，并且不应被解释为理想的或过于正式的含义。在一些情况下，即使在本公开中定义了术语，该术语也不能被解释为排除本公开的各种实施例。
根据本公开的各种实施例的电子装置(例如，第一电子装置100和第二电子装置200)的示例可以包括例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、笔记本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗装置、相机或可穿戴装置中的至少一个。根据本公开的各种实施例，可穿戴装置可以包括附件式可穿戴装置(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装整体的可穿戴装置(例如，电子服装)、一体安装可穿戴装置(例如，护肤垫或纹身)或可植入可穿戴装置(例如，可植入电路)。
根据本公开的各种实施例，电子装置可以是智能家电。例如，智能家电可以包括电视(TV)、数字通用盘(DVD)播放器、音频、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，三星HomeSyncTM、苹果电视TM或谷歌电视TM)、游戏控制台(XboxTM和PlayStationTM)、电子辞典、电子钥匙、摄像机或电子相框中的至少一个。
根据本公开的各种实施例，电子装置可以包括各种医疗装置(例如，各种便携式医疗测量装置(例如，血糖仪、心率计、血压计或温度计等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪或超声装置等)、导航装置、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、航海电子装置(例如，导航系统、陀螺罗盘等)、航空电子装置、安全装置、车辆头部单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)或物联网(例如，灯泡、各种传感器、电表或燃气表、喷水器、火灾报警器、恒温箱、路灯、烤面包机、健身器材、热水箱、加热器，锅炉等)中的至少一个。
根据本公开的各种实施例，电子装置可以包括家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或各种测量设备(例如，水表、电表、煤气表、波长计等)中的至少一个。根据本公开的各种实施例的电子装置可以是以上提及装置的一个或多个组合。根据本公开的各种实施例的电子装置可以是灵活的电子装置。此外，根据本公开的各种实施例的电子装置不限于以上提及的装置，并且根据技术的发展可以包括新的电子装置。
在下文中，将参照附图描述根据本公开的各种实施例的电子装置。如这里所使用的，术语“用户”可以是指使用电子装置的人或可以是指使用电子装置的装置(例如，人工智能电子装置)。
图1是示出根据本公开的实施例的弦乐器演奏系统的配置的示图。
参照图1，弦乐器演奏系统可以包括第一电子装置100、第二电子装置200、第三电子装置300以及服务器400。第一电子装置100、第二电子装置200、第三电子装置300和服务器400可以通过网络彼此连接，以彼此通信。对于一个示例，第一电子装置100、第二电子装置200和第三电子装置300可以使用局域无线通信技术(诸如蓝牙、近场通信(NFC)以及Zigbee)相互连接。对于另一示例，服务器400可以通过互联网或移动通信网络与第二电子装置200或第三电子装置300连接。
根据本公开的各种实施例，电子装置100可以检测随着用户演奏弦乐器10产生的演奏数据。例如，弦乐器10可以是用户使用弓20演奏的弦乐器。根据本公开的各种实施例，弦乐器10可以包括用户使用弓演奏的任何弦乐器。然而，为了方便描述，本公开的实施例以弦乐器10是小提琴举例说明。例如，演奏数据可以包括音高、声音强度、节奏、弓20的纵向位置、弓20的横向位置、弓20和弦之间的相对倾角、弓20在指板方向上的偏斜度、弓20在弦乐器10主体方向上的倾斜度、与弓20接触的弦的类型、用户的指法位置或弓20的速度向量中的至少一个。根据本公开的实施例，第一电子装置100可以使用附接(或结合)到弦乐器10的结构来实现。根据本公开的实施例，第一电子装置100可以向第二电子装置200发送演奏数据。例如，第一电子装置100可以以乐器数字接口(MIDI)或音乐可扩展标记语言(XML)的形式发送演奏数据。
根据本公开的实施例，第二电子装置200可以是便携式电子装置(诸如智能电话或平板PC)或者可穿戴电子装置(诸如智能手表或智能眼镜)。根据本公开的实施例，第二电子装置200可以从第一电子装置100接收用户的演奏数据。根据本公开的实施例，第二电子装置200可以将演奏数据与乐谱数据进行比较，并且可以确定用户的演奏结果(例如，用户的演奏是否是正常演奏或在用户的演奏中是否发生错误)。根据本公开的实施例，第二电子装置200可以实时确定用户的演奏结果，并且可以提供与演奏结果相应的反馈。根据本公开的实施例，第二电子装置200可以根据演奏结果确定用户的演奏模式(例如，正常演奏模式和错误模式)。例如，第二电子装置200可以使用模式分析算法分析用户的演奏模式。根据本公开的实施例，第二电子装置200可以实时确定用户的演奏模式，并且可以提供与错误模式相关联的实时反馈。
根据本公开的实施例，第二电子装置200可以向服务器400发送用户的演奏数据、演奏结果和演奏模式。根据本公开的实施例，第二电子装置200可以提供与用户的正常演奏模式和错误模式相应的反馈。
根据本公开的实施例，第三电子装置300可以是可穿戴电子装置，诸如智能手表和智能眼镜。根据本公开的实施例，第三电子装置300可以从第二电子装置200接收用户的演奏结果、演奏模式和反馈，并且可以向用户提供用户的演奏结果、演奏模式和反馈。
根据本公开的实施例，服务器400可以以数据库的形式存储乐谱数据、正常演奏模式和错误模式。例如，服务器400可以从乐谱数据按特定单元(例如，按测量基础或多个测量单元)分析演奏每个音高的手指数量、手指位置、弦数、节奏、使用每个手指的次数、演奏每根弦的次数、弓演奏方向、弓演奏速度向量、指法顺序、弦演奏顺序、弓演奏顺序、手指演奏风格(或左手演奏风格)、弓演奏风格(或右手演奏风格)等，可以针对每个类似的演奏模式分类乐谱数据，并且可以在正常演奏模式数据库中存储分类的正常演奏模式。根据本公开的实施例，如果分析新的演奏模式，则服务器400可以更新存储在其中的正常演奏模式数据库。例如，服务器400可以将多个用户的演奏数据与乐谱数据进行比较，以确定在演奏中发生错误的部分，可以按特定单元(例如，测量单元)分析发生错误的部分，可以针对每个类似的错误模式分类发生错误的部分，并且可以在错误模式数据库中存储分类的错误模式。根据本公开的实施例，如果分析新的错误模式，则服务器400可以更新存储在其中的错误模式数据库。
根据本公开的实施例，服务器400可以从第二电子装置200接收用户的演奏数据、演奏结果、正常演奏模式或错误模式中的至少一个并进行存储。服务器400可以针对每个用户存储演奏数据、演奏结果、正常演奏模式、错误模式和错误模式的产生频率。根据本公开的实施例，服务器400可以根据第二电子装置200的请求向第二电子装置200发送根据用户的旧演奏数据的演奏结果、正常演奏模式或错误模式。
图2A至图2C是示出根据本公开的各种实施例的第一电子装置的结构的示图。
图2A示出第一电子装置100的顶视图。参照图2A，第一电子装置100可以包括主体部分101和结合部分103。根据本公开的实施例，结合部分103可以从主体部分101的两个方向上延伸。根据本公开的实施例，主体部分101可以在其上表面包括图像传感器。
图2B示出第一电子装置100的正视图。参照图2B，结合部分103可以从主体部分101的两个方向延伸，并且结合部分103的两端的每一端可以沿着主体部分101的方向具有弯曲形状。根据本公开的实施例，主体部分101可以在其下表面包括振动传感器113。第一电子装置100可以以本体部分101的下表面面对弦乐器10的形式附接到弦乐器10。因此，振动传感器113可以与弦乐器10直接接触。
图2C是第一电子装置100附接到弦乐器10的状态的立体图。参照图2C，主体部分101可以附接在指板11和琴桥13之间。根据本公开的实施例，第一电子装置100的主体部分101的一部分可以附接在弦乐器10的指板11和弦乐器10的顶部15之间。根据本公开的实施例，结合部分103结合到弦乐器10的C侧板17，并且可以将第一电子装置100固定到弦乐器10。
图3A至图3C是示出根据本公开的各种实施例的第一电子装置的结构的示图。
图3A示出第一电子装置100的顶视图。参照图3A，第一电子装置100可以在其一侧包括直线状狭缝105。根据本公开的实施例，狭缝105可以从一侧朝向相对侧而形成。根据本公开的实施例，图2A的主体部分101可以在其上表面包括图像传感器111。
图3B示出电子装置100的侧视图。参照图3B，根据本公开的实施例，第一电子装置100可以在其下表面包括振动传感器113。第一电子装置100可以以第一电子装置100的下表面面对弦乐器10的形式附接到弦乐器10。因此，振动传感器113可以与弦乐器10直接接触。
图3C示出第一电子装置100附接到弦乐器的状态的立体图。参照图3C，第一电子装置100可以以弦乐器10的琴桥13插入到第一电子装置100的狭缝105的形式附接到弦乐器10。
图4是示出根据本公开的实施例的第一电子装置的配置的框图。
参照图4，第一电子装置100可以包括传感器模块110、通信模块120、音频模块130、电源管理模块140、电池150和控制模块160。
根据本公开的实施例，传感器模块110可以感测弓到弦乐器(例如，图1的弓20到图1的弦乐器101)的运动，并且可以感测弦乐器10产生的振动。根据本公开的各种实施例，传感器模块110可以包括图像传感器111、振动传感器113、金属传感器115、磁场传感器117、惯性测量单元118和接近传感器119。
根据本公开的实施例，图像传感器111可以感测弓20到弦乐器10的运动。根据本公开的实施例，图像传感器111可以位于第一电子装置100的上表面，并且可以感测位于弦乐器10的指板11和琴桥13之间的弓20的红外线图像。根据本公开的实施例，图像传感器111可以发送红外线信号，可以接收从弓20(或弓毛)反射的红外线信号，并且可以产生红外线图像。
根据本公开的实施例，图像传感器可以使用阵列图像传感器(或二维(2D)图像传感器)来实现。例如，图像传感器111可以感测弦乐器10的指板11和琴桥13之间的2D区域。
图5A至图5C是示出根据本公开的各种实施例的图像传感器的结构和视角的示图。
图5A示出第一电子装置100附接到弦乐器的状态下第一电子装置100的横向切割面。参照图5A，图像传感器111可以位于弦乐器的指板11和琴桥13之间，并且可以在图像传感器111的向上方向上产生2D红外线图像。根据本公开的实施例，图像传感器111可以包括发送模块31、接收模块32和红外线滤光片33。每个发送模块31可以红外线信号。例如，每个发送模块31可以包括产生红外线信号的发光二极管(LED)模块。根据本公开的实施例，发送模块31可以位于图像传感器111的两个外侧。接收模块32可以接收发送模块31发送的红外线信号之中从弓(例如，图1的弓20)(或弓毛)反射的红外线信号。根据本公开的实施例，接收模块32可以位于图像传感器111的中心。根据本公开的实施例，接收模块32可以包括可以检测红外线信号的光电二极管。光电二极管可以二维布置在接收模块32中。根据本公开的实施例，红外线滤光片33可以位于接收模块32的上侧，并且可以仅使输入到图像传感器111的信号之中的红外线信号通过，并且可以滤除其他信号(例如，可见光线)。因此，接收模块32可以仅接收红外线信号。
图5B和图5C示出图像传感器111从第一电子装置100的侧表面和上表面的视角。参照图5B和图5C，图像传感器111可以具有沿向上方向扩展的形式的视角。因此，图像传感器111可以感测包括指板11和琴桥13之间的弦19的区域，以感测与指板11和琴桥13之间的弦19接触的弓20的运动。
根据本公开的实施例，图像传感器111可以使用线成像传感器来实现。例如，线成像传感器可以沿感测弦乐器的弦19的方向的线。根据本公开的实施例，线成像传感器可以感测沿弦乐器10的弦19的方向的多条线(例如，两条线)。
图6A和图6B是示出根据本公开的各种实施例的图像传感器的结构和视角的示图。
图6A示出第一电子装置100附接到弦乐器的状态下第一电子装置100的顶视图。参照图6A，图4的图像传感器111可以位于弦乐器的指板11和琴桥13之间，并且可以在图像传感器111的向上方向上产生一维(1D)红外线图像。根据本公开的实施例，图像传感器111可以包括发送模块34和接收模块35。发送模块34可以发送红外线信号。例如，发送模块34可以包括产生红外信号的LED模块。根据本公开的实施例，发送模块34可以以沿弦19的方向的线的形式位于图像传感器111的中心。每个接收模块35可以接收从发送模块34发送的红外线信号之中从弓反射的红外线信号。根据本公开的实施例，接收模块35可以位于发送模块34的左侧和右侧。根据本公开的实施例，每个接收模块35可以包括可以检测红外线信号的光电二极管。在每个接收模块35中，光电二极管可以沿弦19的方向一维布置。根据本公开的实施例，每个接收模块35可以包括低通滤波器。每个接收模块35可以使用低通滤波器从光电二极管检测的模拟信号滤除除了红外线信号之外的其他信号(例如，可见光线)。
图6B示出图像传感器111从电子装置100的前表面的视角。参照图6B，图像传感器111可以具有沿向上方向扩展的形式的视角。因此，图像传感器111可以感测沿弦的方向的两条线，以感测与指板11和琴桥13之间的弦接触的弓20的弓毛21的运动模式。
根据本公开的实施例，图4的传感器模块110可以包括在第一电子装置100的侧向上感测红外线图像的图像传感器111。
图7是示出根据本公开的实施例的侧面图像传感器的视角的示图。
参照图7，图4的侧面图像传感器111可以包括接收模块36。接收模块36可以接收从弓20的弓根23发送的红外线信号。根据本公开的实施例，弓20可以包括发送红外线信号的发送模块41。根据本公开的实施例，发送模块41可以位于弓根23。根据本公开的实施例，发送模块41可以包括产生红外线信号的至少一个LED。例如，发送模块41可以包括布置在弓根23的纵向方向上的两个LED 43。根据本公开的实施例，接收模块36可包括可以检测红外线信号的光电二极管。光电二极管可以二维布置在接收模块36中。虽然图7未示出，但是侧面图像传感器111可以包括红外线滤色镜。红外线滤色镜可以仅使输入到侧面图像传感器111的信号之中的红外线信号通过，并且可以滤除其他信号(例如，可见光线)。因此，接收模块可以仅接收红外线信号。
根据本公开的实施例，侧面图像传感器111可以包括发送红外线信号的发送模块。如果侧面图像传感器111包括发送模块，则位于弓根23的LED 43可以使用反射红外线信号的反射器来实现。因此，接收模块36可以接收从发送模块发送的红外线信号之中从位于弓根23的反射器反射的红外线信号。如果反射器附接在弓根23，则弓20的重量分散，并且弓20的整个重量的变化是无关紧要的。然而，与LED 43附接到弓根23相比，由于从第一电子装置100发送的信号的量增加，因此第一电子装置100的功耗会增加。
图4的振动传感器113可以感测图1的弦乐器10产生的振动(或声音)。振动传感器113可以包括压电传感器。振动传感器113可以感测弦乐器10产生的振动，并且将感测的振动转换成电信号。
金属传感器(例如，图4的115)可以感测位于图4的第一电子装置100周围的金属。根据本公开的实施例，金属传感器115可以感测附接到弓杆的金属(例如，铝)的运动。例如，包括在金属传感器115中的线圈可以由于附接到弓杆的金属的运动而产生阻抗变化。金属传感器115可以感测线圈的阻抗变化。根据本公开的实施例，金属传感器115可以感测彼此以预定间隔隔开的多个区域(例如，两个区域)。根据本公开的实施例，传感器模块110可以包括多个金属传感器115。多个金属传感器115可以彼此以预定间隔隔开，并且可以感测不同区域。根据本公开的实施例，金属传感器115可以包括可以彼此以预定间隔隔开的多个线圈，并且可以感测不同区域。
根据本公开的实施例，图4的磁场传感器117可以感测第一个电子装置100周围的磁场变化。根据本公开的实施例，磁场传感器117可以感测由于附接到弓杆的磁体的运动导致的磁场的变化。
惯性测量单元(例如，图4的118)可以感测弦乐器10的运动。根据本公开的实施例，惯性测量单元118可以包括加速度传感器和陀螺仪传感器。加速度传感器可以感测弦乐器10的加速度。例如，加速度传感器可以感测弦乐器10的加速度，并且可以输出弦乐器10在三个轴(例如，x轴，y轴和z轴)的方向上的加速度值。陀螺仪传感器可以感测弦乐器10的旋转角速度。例如，陀螺仪传感器可以感测弦乐器10的角速度，并且可以输出弦乐器10在三个轴(例如，x轴，y轴和z轴)的方向上的角速度。
接近传感器(例如，图4的119)可以确定对象是否接近特定距离之内。例如，接近传感器119可以感测弦乐器10的指板11和琴桥13之间的区域，并且可以确定弓20是否与弦接触。
通信模块(例如，图4的120)可以与图1的第二通信装置200进行通信。例如，通信模块120可以使用局域无线通信技术(诸如蓝牙、NFC和Zigbee)与第二电子装置200进行通信。根据本公开的实施例，通信模块120可以向第二电子装置200发送演奏数据。如果惯性测量单元118附接到弓20，则通信模块120可以从附接到弓20的电子装置接收关于弓20的运动的信息。
音频模块(例如，图4的130)可以产生例如音频信号。根据本公开的实施例，音频模块130可以使用振动传感器113感测的弦乐器10的振动产生音频信号。音频模块130可以通过可与扬声器或耳机(或头戴式耳机)连接的音频接口输出音频信号。根据本公开的实施例，音频模块130可以通过混响计算、延迟计算和均衡器计算向音频信号提供声音效果(例如，声场的感觉、失真等)。
电源管理模块(例如，图4的140)可以管理电子装置100的电力。例如，电源管理模块140可以使用图4的电池150向电子装置100的组件供电，或者可以阻断向第一电子装置100的组件供应的电力。根据本公开的实施例，电源管理模块140可以包括电源管理集成电路(PMIC)。根据本公开的实施例，在电池150被充电的同时，电源管理模块140可以测量电池150的剩余容量以及电池150的电压、电流或温度。根据本公开的实施例，例如，电池150可以包括可再充电电池和/或太阳能电池。根据本公开的实施例，如果图像传感器111测量的光的量小于预定参考值，则电源管理模块140可以阻断向传感器模块110供应的电力。
根据本公开的实施例，控制模块(例如，图4的160)可以分析传感器模块110感测的弓20的运动和弦乐器10的振动，并且可以产生演奏数据。例如，演奏数据可以包括音高、声音强度、节奏、弓20的纵向位置、弓20的横向位置、弓20和弦之间的相对倾角、弓20在指板方向上的偏斜度、弓20在弦乐器10主体方向上的倾斜度、与弓20接触的弦的类型、用户的指法位置或弓20的速度向量中的至少一个。
图8是示出根据本公开的实施例的确定弓的位置和姿态的元素的示图。
参照图8，当用户演奏弦乐器时，可以通过弓相对于弦的纵向位置、弓的横向位置、弓和弦之间的相对倾斜度、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度确定弓的位置和姿态。
根据本公开的实施例，控制模块(例如，图4的160)可以使用图4的图像传感器111的感测值确定弓的纵向位置、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度和弓的速度向量。根据本公开的实施例，控制模块160可以将图像传感器111的红外线图像二值化，并且可以使用二值化的图像确定上述元素，即，弓的纵向位置、弓在指板方向上的偏斜度，弓在弦乐器主体方向上的倾斜度和弓的速度向量。
图9A和图9B是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图。
根据本公开的实施例，控制模块(例如，图4的160)可以使用阵列图像传感器的红外线图像确定纵向位置。参照图9A和9B，可以在红外线图像上使用亮色指示从弓反射的区域，并且可以在红外线图像上使用暗色指示没有从弓反射的区域。如果在水平方向(或弦的垂直方向)上投影红外线图像，则如红外线图像的右侧所示，可以获得指示亮像素的分布的曲线图51和52。在曲线图51和52中，x轴表示纵向位置，y轴表示在特定位置的亮像素的累积值。根据本公开的实施例，控制模块160可以将亮像素的累积值是最大值的点确定弓的纵向位置。对于另一示例，控制模块160可以将与亮像素的平均值相应的点确定为弓的纵向位置。
根据本公开的实施例，控制模块160可以指示弓相对于指板和琴桥之间的中间点的纵向位置。根据本公开的实施例，如果弓靠近指板，则弓的纵向位置可具有正值。如果弓靠近琴桥，则弓的纵向位置可具有负值。如图9A所示，如果弓向指板的方向倾斜，则控制模块160可以将弓的纵向方向确定为正10mm。如图9B所示，如果弓位于指板和琴桥的中间，则控制模块160可以将弓的纵向位置确定为“0”。
图10A和图10B是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图。
根据本公开的实施例，控制模块(例如，图4的160)可以使用阵列图像传感器的红外线图像确定弓在指板方向上的偏斜度。参照图10A和10B，控制模块160可以将由弦的垂直方向和弓限定的角度确定为弓在指板方向上的偏斜度。根据本公开的实施例，控制模块160可以在弦的垂直方向(例如，x轴)上确定弓的中心位置55和57。根据本公开的实施例，控制模块160可以将在弓的每个中心位置55和57的斜面的角度确定为弓在指板方向上的偏斜度。如图10A所示，如果弓在弦的垂直方向上的中心位置55从第一弦到第四弦是相同的，则控制模块160可以将弓在指板方向上的偏斜确定为0度。如图10B所示，如果弓的中心位置57从第四弦到第一弦越来越高，则控制模块160可以将弓在指板方向上的偏斜度确定为正10度。
图11A至图11D是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图。
根据本公开的实施例，控制模块(例如，图4的160)可以使用阵列图像传感器的红外线图像确定弓在弦乐器主体方向上的倾斜度。参照图11A至图11D，可以在红外线图像上使用亮色指示从弓反射的区域，并且在红外线图像上使用暗色指示没有从弓反射的区域。根据本公开的实施例，在红外线图像上沿弦的垂直方向指示的弓的粗细可以变化。例如，虽然弓具有相同粗细，但是根据立体图，当弓更接近图像传感器(例如，图4的111)时，弓可以更粗。根据立体图，当弓距离图像传感器111更远时，弓可以更细。如果在垂直方向(或弦的水平方向)上投影红外线图像，则如红外线图像的下侧所示，可以获得指示亮像素的分布的曲线图61至67。曲线图61、63、65和67中的每一个的x轴表示弦的垂直方向的位置，曲线图61至67中的每一个的y轴表示在特定位置的亮像素的累积值。根据本公开的实施例，控制模块160可以使用曲线图61至67确定亮像素的累积值的斜率。控制模块160可以根据确定的斜率值确定弓在弦乐器主体方向上的倾斜度。
根据本公开的实施例，控制模块160可以使用阵列图像传感器的红外线图像确定弓的横向位置。例如，控制模块160可以使用包括在红外线图像中的弓毛的图案确定弓的横向位置和速度向量(例如，方向和速度)。
图12A和图12B是示出据本公开的各种实施例的弓毛的图案的示图。
可以通过将弓毛21的一部分染成与弓毛21的基本颜色(例如，白色)相对比的颜色(例如，黑色)形成弓毛21的模式。参照图12A，可以沿弓的方向将包括在弓中的弓毛21分成两行71和72。两行71和72可以具有不同图案。例如，第一行71可以被分成两个相等部分，并且第一行71的一部分可以染成黑色。第二行72可以被分成四个相等部分，并且可以形成重复黑色和白色的图案。参照图12B，可以沿弓的方向将包括在弓中的弓毛21分成三行73、74和75。三行73至75可以具有不同图案。例如，第一行73可以被分成两个相等部分，并且第一行73的一部分可以染成黑色。第二行74可以被分成四个相等部分，并且可以形成重复黑色和白色的图案。第三行75可以被划分成八个相等部分，并且可以形成重复黑色和白色的图案。
根据本公开的实施例，控制模块(例如，图4的160)可以分析包括在弓毛21中的多行的图案，并且可以识别弓的横向位置。根据本公开的实施例，当包括在弓毛21中的行数增加时，弓的横向位置的准确性可以得到改善。根据本公开的实施例，控制模块160可以分析包括在弓毛21中的多个行的图案的变化，并且可以确定弓在其弓头方向上移动还是在其弓根方向上移动。根据本公开的实施例，控制模块160可以使用包括在弓毛21中的多个行的图案的速度向量的变化确定弓移动的速度。
图13A至图13D是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图。
根据本公开的实施例，控制模块(例如，图4的160)可以使用线成像传感器的红外线图像确定弓在指板方向上的偏斜度以及弓在弦乐器主体方向上的倾斜度。例如，如图13A至图13D所示，从线成像传感器产生的红外线图像可以包括弦的水平方向上的两行。
参照图13A和图13B，可以在红外线图像上使用亮色表示从弓反射的区域，并且可以在红外线图像上使用暗色表示没有从弓反射的区域。控制模块160可以针对两行中每一行确定明亮像素的中心位置。控制模块160可以使用两行之间的距离和两个中心位置之间的距离确定弓在指板方向上的偏斜度。例如，针对图13A所示的图像，控制模块160可以将弓在指板方向上的偏斜度确定为正10度，并且针对图13B所示的图像，可以将弓在指板方向上的偏斜度确定为负10度。
参照图13C和图13D，在图4的图像传感器111中接收的红外线信号的光量可根据图像传感器111与弓之间的距离改变。换句话说，当弓更接近图像传感111时，弓在红外线图像上可以被显示为更亮。当弓距离图像传感器111更远时，弓在红外线图像上可以被显示为更暗。例如，如果弓头比弓根更接近图像传感器111，则如图13C所示，左图像上显示的弓被显示为亮，右图像上显示的弓被显示为暗。对于另一示例，如果弓根比弓头更接近图像传感器111，则如图13D所示，右图像上显示的弓被显示为亮，左图像上显示的弓被显示为暗。根据本公开的实施例，控制模块160可以使用包括在线成像传感器中的像素的亮度(或亮差)确定弓在弦乐器主体方向上的倾斜度。
图14A至图14H是示出根据本公开的各种实施例的图像传感器产生的红外线图像的示图。
根据本公开的实施例，控制模块(例如，图4的160)可以使用侧面图像传感器的红外线图像确定弓在指板方向上的偏斜度、弓在弦乐器主体上的倾斜度以及弓的横向位置。例如，如图14A至图14F所示，从侧面图像传感器产生的红外线图像可以包括2D图像中包括的多个点(例如，两个点)。如图7所示，多个点可以是从附接到弓根23的发送模块41接收的红外线信号或从附接到弓根23的反射器反射的红外线信号。
根据本公开的实施例，控制模块160可以使用红外线图像中包括的多个点之间的距离或多个点中的每个点的尺寸确定弓的横向位置。参照图14A，例如，如果两个点之间的距离彼此远离或者如果两个点中的每个点较大，则控制模块160可以确定弓接近弦乐器。参照图14B，如果两个点之间的距离彼此接近或者如果两个点中的每个点较小，则控制模块160可以确定弓相对远离弦乐器。
根据本公开的实施例，控制模块160可以使用红外线图像中包括的多个点的横向位置确定弓在指板方向上的偏斜度。例如，控制模块160可以在弓的纵向位置和弓的横向位置被确定的状态下使用多个点的横向位置确定弓在指板方向上的偏斜度。例如，参照图14C和图14D，针对图14C所示的图像，控制模块160可以将弓在指板方向上的偏斜度确定为正10度，并且针对图14D所示的图像，可以将弓在指板方向上的偏斜度确定为负10度。
根据本公开的实施例，控制模块160可以使用红外线图像中包括的多个点的纵向位置确定弓在弦乐器主体方向上的倾斜度。例如，控制模块160可以在弓与弦接触且弓的横向位置被确定的状态下使用多个点的纵向位置确定弓在主体方向上的倾斜度。可以使用接近传感器(例如，图4的119)确定弓是否与弦接触。例如，参照图14E和图14F，针对图14E所示的图像，控制模块160可以将弓在主体方向上的倾斜度确定为正10度，针对图14F所示的图像，可以将弓在主体方向上的倾斜度确定为负10度。
根据本公开的实施例，控制模块160可以使用红外线图像中包括的多个点的斜率确定弓和弦之间的相对倾角。例如，如图14A至图14E所示，由多个点限定的斜率是无穷大(即，如果所有弓毛与弦接触)，则控制模块160可以将弓和弦之间的相对倾角确定为0度。参照图14G，如果由多个点限定的斜率是负数，则控制模块160可以确定弓沿向右方向倾斜，并且可以将弓和弦之间的相对倾角确定为正20度。参照图14H，如果由多个点限定的斜率是正数，则控制模块160可以确定弓沿向左方向倾斜，并且可以将弓和弦之间的相对倾角确定为负20度。
根据本公开的实施例，控制模块160可以使用金属传感器(例如，图4的115)的感测值确定弓的速度向量(例如，方向和速度)。
图15是示出根据本公开的各种实施例的附接到弓的金属的附接模式的示图。
参照图15，弓20可以包括具有特定模式的金属71。根据本公开的实施例，金属71可以附接到弓杆25。根据本公开的实施方案，金属71可以附接到杆25以具有周期模式。例如，金属71可以附连到弓杆25，使得金属材料附接到的区域和金属材料没有附接到的区域具有沿着弓杆25周期重复的模式。根据本公开的实施例，金属材料附接到的区域的长度和金属材料没有附接到的区域的长度可以被设置为与金属传感器(例如，图4的115)可以感测的多个区域(例如，两个区域)之间的间隔不同。根据本公开的实施例，控制模块(例如，图4的160)可以基于金属传感器115可以感测的多个区域确定弓20在其弓头方向上移动还是在其弓根方向上移动。根据本公开的实施例，控制模块160可以使用金属传感器115的金属感测时间段确定弓20移动的速度。
根据本公开的实施例，控制模块160可以使用磁场传感器(例如，图4的117)的感测值确定弓20的横向位置和弓20的速度向量(例如，方向和速度)。
图16是示出根据本公开的各种实施例的附接到弓的磁体的附接位置的示图。
参照图16，弓20可以包括至少一个磁体73。根据本公开的实施例，磁体73可以附接到弓杆25。根据本公开的实施例，可以根据磁体73的数量确定磁体73附接的位置。例如，如果附接到弓杆25的磁体73是三个，则三个磁体73可以附接到将弓20的整个长度分成四个相等部分的位置。根据本公开的实施例，附接到弓杆25的至少一个磁体73可以被布置为具有不同的磁场方向。例如，如果有三个磁体73附接到弓杆25，则三个磁体73可以被布置为使得N极分别朝向x轴、y轴和z轴。由三个磁体73形成的磁场根据弓杆25的位置可以被测量为不同。控制模块(例如，图4的160)可以分析磁场传感器(例如，图4的117)感测的磁场，并且可以确定弓20的横向位置。根据本公开的实施例，控制模块160可以使用磁场传感器117感测的磁场的变化确定弓20在其弓头方向上移动还是在其弓根方向上移动。根据本公开的实施例，控制模块160可以使用磁场传感器117感测的磁场的速度向量的变化确定弓20移动的速度。
根据本公开的实施例，控制模块160可以使用惯性测量单元(例如，图4的118)感测的弦乐器10的运动以及附接到弓20的惯性测量传感器118感测的弓20的运动确定弓20的纵向位置、弓20的横向位置、弓20和弦之间的相对倾角、弓20在指板方向上的偏斜度、弓20在图1的弦乐器10主体方向上的倾斜度以及弓20的速度向量。
根据本公开的实施例，控制模块160可以使用弓20在弦乐器10主体方向上的倾斜度确定与弓20接触的弦。例如，如果弓20在弦乐器10主体方向上的倾斜度包括在第一范围内，则控制模块160可以确定弓20与第一弦接触。如果弓20在弦乐器10主体方向上的倾斜度包括在第二范围内，则控制模块160可以确定弓20与第二弦接触。如果弓20在弦乐器10主体方向上的倾斜度包括在第三范围内，则控制模块160可以确定弓20与第三弦接触。如果弓20在弦乐器10主体方向上的倾斜度包括在第四范围内，则控制模块160可以确定弓20与第四弦接触。
根据本公开的实施例，控制模块160可以分析振动传感器(例如，图4的160)感测的振动，并且可以确定音高、声音强度和节奏。例如，可以根据振动的频率确定音高。可以根据振动的振幅确定声音强度。可以根据感测振动的时间确定节奏。
根据本公开的实施例，控制模块160可以使用关于与弓20接触的弦的信息增强确定音高的可靠性。例如，振动传感器113感测的振动可以是复杂的声音，并且可以具有多个音调。振动可以包括基音和具有基音的整数倍频率的泛音。如果振动传感器113感测的振动从时域变换到频域，则与基音相应的频率可以具有最高强度(或最高级别)。因此，控制模块160可以将具有最高强度的频率确定为振动的音高。在此，如果泛音的强度高于基音的强度，则泛音被确定为基音的八度误差。根据本公开的实施例，控制模块160可以确定振动检测的音高是否是可以由与弓20接触的弦产生的音高。换句话说，控制模块160可以使用振动中包括的多个频率分量之中可以由与弓20接触的弦产生的频率分量确定音高。因此，控制模块160可以防止在确定音高的过程可能产生的八度误差。
根据本公开的实施例，控制模块160可以在将振动传感器113感测的振动从时域变换到频域时应用窗口函数以感测音高。例如，控制模块160可以在确定振动传感器113感测的振动的音高所需的恒定时间期间仅对振动信号进行滤波，并且可以将振动转换到频域。根据本公开的实施例，控制模块160可以根据与弓20接触的弦的类型以不同方式设置窗口函数的时间轴的大小。根据本公开的实施例，当弓20朝向与高音高音调相应的弦(例如，第一弦)时，控制模块160可以将窗口函数的时间轴的大小设置为较小。当弓20朝向与低音高音调相应的弦(例如，第四弦)时，控制模块160可以将窗口函数的时间轴的大小设置为较大。因此，控制模块160可以减少用于确定音高和数据吞吐量的时间。
根据本公开的实施例，控制模块160可以根据音高和与弓20接触的弦确定用户的指法位置。由于弦乐器10的特性，可以根据用户的指法位置通过不同弦产生相同音高。因此，如果仅使用音高确定用户的指法位置，则可能无法确定准确的指法位置。根据本公开的实施例，控制模块160可以将与弓20接触的弦的指法位置确定为与音高相应的多个指法位置之中的用户的指法位置。例如，如果通过第一弦和第二弦产生控制模块160确定的音高，并且如果与弓20接触的弦是第一弦，则控制模块160可以将与相应音高相应的位置确定为用户的手指位置在第一弦上。换句话说，控制模块160可以将产生音高的位置确定为用户的指法位置在与弓20接触的弦上。因此，虽然存在具有相同音高的多个指法位置，但是控制模块160可以准确确定用户的指法位置。
图17是示出根据本公开的实施例的第二电子装置的配置的框图。
参照图17，第二电子装置200可以包括通信模块210、输入模块220、存储器230、控制模块240、显示器250和音频模块260。
通信模块210可以与图1的第一电子装置200、第三电子装置300和服务器400进行通信。例如，通信模块210可以使用局域无线通信技术(诸如蓝牙、近场通信(NFC)以及Zigbee)与第一电子装置200和第三电子装置300进行通信。通信模块210可以通过互联网或移动通信网络与服务器400进行通信。
根据本公开的实施例，通信模块210可以从第一电子装置200接收演奏数据。例如，演奏数据可以包括音高、声音强度、节奏、弓的纵向位置、弓的横向位置、弓和弦之间的相对倾角、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度、与弓接触的弦的类型、用户的指法位置或弓的速度向量中的至少一个。
根据本公开的实施例，通信模块210可以向服务器400发送用户的演奏数据、用户的演奏结果、用户的正常演奏模式、用户的错误模式以及错误模式的产生频率。
输入模块220可以接收用户操作。根据本公开的实施例，输入模块220可以包括用于感测用户的触摸操作的触摸传感器面板、用于感测用户的笔操作的笔传感器面板、用于识别用户的运动的手势传感器(或运动传感器)以及用于识别用户的语音的语音传感器。
根据本公开的实施例，存储器230可以存储从通信模块210接收的用户的演奏数据。根据本公开的实施例，存储器230可以存储演奏结果确定模块241确定的用户的演奏结果。根据本公开的实施例，存储器230可以存储模式分析算法。根据本公开的实施例，存储器230可以存储模式分析算法确定的用户的演奏模式。根据本公开的实施例，存储器230可以存储乐谱数据。
控制模块240可以控制第二电子装置200的整体操作。例如，控制模块240可以驱动操作系统(OS)或应用程序(例如，弦乐器课程应用)，可以控制连接到控制模块240的多个硬件或软件组件，并且可以执行各种数据处理和计算。
根据本公开的实施例，控制模块240可以包括演奏结果确定模块241和模式分析模块243。
根据本公开的实施例，演奏结果确定模块241可以使用演奏数据确定用户的演奏技法。例如，演奏结果确定模块241可以使用与弓的运动相关联的演奏数据确定用户使用任何弓法技法。如果弓在特定时间段(例如，1500毫秒)内移动弓的整个长度的一半或更多，则演奏结果确定模块241可以确定用户使用断奏演奏风格。如果用户演奏两个或更多个音调而不改变弓的方向，则演奏结果确定模块241可以确定用户使用连音技法或延音技法。
根据本公开的实施例，演奏结果确定模块241可以将演奏数据与乐谱数据进行比较，并且可以确定用户的演奏结果。例如，演奏结果确定模块241可以确定用户演奏弦乐器是否与乐谱数据相同，或者是否发生了演奏错误。根据本公开的实施例，演奏结果确定模块241可以根据音高(或指法)、节奏和弓法确定用户的演奏结果。例如，可以根据乐谱数据的音高与演奏数据的音高是否相同(或者乐谱数据的音高和演奏数据的音高之间的差异是否在预定的误差范围内)来确定音高。可以根据乐谱数据产生音调的时间与演奏数据产生音调的时间是否相同(或者乐谱数据产生音调的时间与演奏数据产生音调的时间之间的差异是否在预定的误差范围内)来确定节奏。可以根据演奏数据的弓的运动或演奏技法与乐谱数据的弓的运动或演奏技法是否相同(或者演奏数据的弓的运动或演奏技法与乐谱数据的弓的运动或演奏技法之间的差异是否在预定的误差范围内)来确定弓法。
根据本公开的实施例，演奏结果确定模块241可以提供关于演奏结果的反馈。根据本公开的实施例，如果发生演奏错误，则演奏结果确定模块241可以实时提供错误信息和错误校正信息。根据本公开的实施例，演奏结果确定模块241可以通过显示器250以图像或文本的形式提供反馈，或者可以通过音频模块260以语音的形式提供反馈。根据本公开的实施例，如果用户完成用户的演奏，则演奏结果确定模块241可以综合用户的演奏结果，并且可以提供关于综合的演奏结果的反馈。对于一个示例，演奏结果确定模块241可以提供关于针对每个确定元素(例如，每个音高、每个节奏和每个弓法)的演奏结果的反馈。对于另一示例，演奏结果确定模块241可以提供关于综合多个确定元素的综合的演奏结果的反馈。
根据本公开的实施例，模式分析模块243可以使用用户的演奏数据分析用户的演奏模式。用户的演奏模式可以包括在用户熟练地演奏弦乐器时产生的正常演奏模式和在用户演奏弦乐器经常出错时产生的错误演奏模式。例如，模式分析模块243可以确定用户是否任何手指经常出错，用户是否在任何弦上的指法经常出错，以及用户是否在任何弦上的弓法经常出错。根据本公开的实施例，模式分析模块243可以使用存储在存储器230中的模式分析算法分析用户的演奏模式。根据本公开的实施例，模式分析算法可以使用正常演奏模式数据库和错误模式数据库获知演奏模式。
根据本公开的实施例，模式分析模块243可以提供与用户的演奏模式相关联的反馈。根据本公开的实施例，模式分析模块243可以通过显示器250以图像或文本的形式提供反馈，或者可以通过音频模块260以语音的形式提供反馈。根据本公开的实施例，模式分析模块243可以实时分析演奏结果确定模块241确定的用户的演奏结果，以分析错误模式。模式分析模块243可以实时提供关于实时分析的错误模式的校正信息。
根据本公开的实施例，如果用户的演奏完成，则模式分析模块243可以分析用户的整个演奏结果来分析演奏模式。根据本公开的实施例，如果用户的演奏完成，模式分析模块243可以提供与分析的演奏模式相关联的反馈(例如，与错误模式相关联的校正信息或与错误模式相关联的课程内容)。根据本公开的实施例，模式分析模块243可以对产生演奏模式的次数计数，并且可以根据产生演奏模式的次数提供反馈。换句话说，模式分析模块243可以在考虑先前分析的演奏模式的情况下一起提供与演奏模式相关联的反馈。表1表示模式分析模块243可以分析的错误模式的示例以及关于错误模式的校正信息的示例。
表1
根据本公开的实施例，如果特定操作的必要数据没有存储在存储器230中，则控制模块240可以通过通信模块210请求服务器400发送必要数据，并且可以通过通信模块210从服务器400接收请求的数据。例如，控制模块240可以请求服务器400发送用户的旧的演奏数据、用户的演奏结果、用户的演奏模式、与演奏模式相关联的内容等，并且可以从服务器400接收旧的演奏数据、演奏结果、演奏模式、与演奏模式相关联的内容等。
根据本公开的实施例，控制模块240可以使用演奏数据确定是否需要对弦乐器调音。例如，控制模块240可以在用户演奏弦乐器的同时将从演奏空弦所需的音调获得的频率与空弦的理论频率进行比较。如果从演奏空弦所需的音调获得的频率与空弦的理论频率之间的差异大于或等于特定值(例如，5HZ)，则控制模块160可以确定有必要对相应的弦调音。根据本公开的实施例，如果确定有必要对弦乐器调音，则控制模块240可以通过显示器250或音频模块260通知用户有必要对弦乐器调音。根据本公开的实施例，如果确定有必要对弦乐器调音，则控制模块240可以在显示器250上显示用于选择是否进入调音模式的用户界面。根据本公开的实施例，如果用户选择进入调音模式，则控制模块240可以在显示器250上显示用于进入调音模式并将引导用户对弦乐器调音的用户界面。
根据本公开的实施例，显示器250可以显示从弦乐器课程应用提供的用户界面。例如，用户界面可以包括用户的演奏结果、错误信息、错误校正信息、推荐内容和课程内容。根据本公开的实施例，用户界面可以根据用户的演奏数据实时提供用户的演奏结果。例如，用户界面可以实时提供用户的指法位置和弓的运动。根据本公开的实施例，用户界面可以根据用户的演奏结果实时提供错误信息和错误校正信息。根据本公开的实施例，如果用户的演奏完成，则用户界面可以根据用户的演奏模式和错误模式提供推荐内容和课程内容。
图18是示出根据本公开的实施例的用户界面的示图。
参照图18，显示器250可以显示包括用户的实时演奏结果、误差信息和错误校正信息的用户界面。根据本公开的实施例，用户界面可以包括用于显示乐谱的区域81(或乐谱区域81)和用于可视化和显示指法位置的区域82(或指法区域82)。
乐谱区域81可以显示乐谱数据。根据本公开的实施例，乐谱区域81可以包括指示当前演奏位置的指示符81A。例如，指示符81A随着时间的推移移动。如果在用户的演奏中发生错误，则乐谱区域81可以显示错误信息和错误校正信息。对于一个示例，如果用户演奏弦乐器具有高音高或低音高，则乐谱区域81可以显示音高校正对象81B。对于另一示例，如果弓的向上/向下方向不正确，则乐谱区域81可以以不同的方式显示向上/向下符号81C。对于一个示例，可以改变向上/向下符号81C的大小、颜色和亮度，或者可以对向上/向下符号81C应用高亮或闪烁效果。对于另一示例，如果弓的位置或角度不正确，则乐谱区域81可以显示弓校正对象81D。对于另一示例，如果弓的速度不正确，则乐谱区域81可以显示用于引导用户校正弓的速度的对象81E。
根据本公开的实施例，指法区域82可以显示弦乐器的指板图像82A。根据本公开的实施例，指板图像82A可以显示指示当前应该演奏的手指位置的对象82B。另外，指板图像82A可以根据用户的演奏数据显示指示实际指法位置的对象82C。根据本公开的实施例，可以仅在错误发生时显示指示实际指法位置的对象82C。
图19是示出根据本公开的实施例的用户界面的示图。
参照图19，显示器250可以显示包括用户的实时演奏结果、错误信息和错误校正信息的用户界面。根据本公开的实施例，用户界面可以包括用于显示乐谱的区域81(或乐谱区域81)以及用于可视化和显示弓的运动的区域83和84(或弓法区域83和84)。
乐谱区域81可以显示乐谱数据。由于参照图18描述了乐谱区域81，因此在下面省略详细描述。
根据本公开的实施例，弓法区域83和84可以包括用于显示弓在指板方向上的偏斜度的区域83(或偏斜区域83)以及用于显示弓在弦乐器主体方向上的倾斜度的区域84(或倾斜区域84)。根据本公开的实施例，偏斜区域83可以显示弦乐器的C侧板的图像83A和弓图像83B。根据本公开的实施例，可以根据用户的实际弓法改变弓图像83B的角度和位置。例如，可以通过用户的演奏数据中包括的弓在指板方向上的偏斜度和弓的纵向位置确定弓图像83B的角度和位置。根据本公开的实施例，偏斜区域83可以显示弓可以移动的范围83C。根据本公开的实施例，如果弓图像83B从弓可以移动的范围83C离开，则弓可以移动的范围83C的颜色和亮度可以改变，或者可以向范围83C应用高亮或闪烁效果。根据本公开的实施例，倾斜区域84可以显示弦乐器的琴桥图像84A和弓图像84B。根据本公开的实施例，弓图像84B的角度和位置可以根据用户的实际弓法而改变。例如，可以通过用户的演奏数据中包括的弓在弦乐器主体方向上的倾斜度和弓的横向位置确定弓图像83B的位置和角度。
图20是示出根据本公开的实施例的用户界面的示图。
参照图20，如果用户的演奏结束，则图17的显示器250可以显示包括用户的演奏结果、错误信息、错误校正信息和与用户的演奏模式相关联的内容的用户界面。根据本公开的实施例，用户界面可以包括表示每个确定元素的演奏结果的图标(例如，每个弓法85A、每个音高85B(或每个指法85B)和每个节奏85C)。根据本公开的实施例，用户界面可以包括指示整体演奏结果的图标85D。根据本公开的实施例，用户界面可以包括关于用户的演奏结果的错误校正信息86。例如，错误校正信息86可以以文本形式提供。根据本公开的实施例，用户界面可以包括与用户的错误模式相关联的内容87。例如，用于校正用户的错误模式的学习或课程内容可以以链接形式提供。根据本公开的实施例，用户界面可以包括与用户的正常演奏模式相关联的内容88。例如，用户可以没有任何困难地演奏的包括用户的正常演奏模式的推荐音乐可以以链接形式提供。根据本公开的实施例，如果用户输入用于选择与错误模式相关联的内容87的用户指令，则显示器250可以显示图21所示的用户界面。
图21是示出根据本公开的实施例的用户界面的示图。
参照图21，显示器250可以显示与课程内容相关联的用户界面。用户界面可以包括用于显示乐谱的区域91(或乐谱区域91)、用于可视化和显示指法位置的区域92(或指法区域92)以及播放视频课程的区域93。根据本公开的实施例，可以响应于课程内容的细节改变乐谱区域91和指法区域92上显示的细节。对于一个示例，可以根据课程内容的细节改变乐谱区域91上显示的乐谱。对于另一示例，可以根据课程内容的细节，将指法区域92改变为用于显示弓的角度的区域。
音频模块(例如，图17的260)可以产生并输出音频信号。例如，音频模块260可以包括可以与扬声器或耳机(或头戴式耳机)或嵌入式扬声器连接的音频接口。根据本公开的实施例，音频模块260可以使用演奏数据产生音频信号。
图22A至图22D是示出根据本公开的各种实施例的用户界面的示图。
如果使用智能手表实现第二电子装置200，则图22A至图22D示出提供实时校正信息的用户界面。例如，如果用户使用纸乐谱演奏弦乐器，则第二电子装置200可以实时分析演奏结果和用户的演奏模式，并且可以提供校正信息。
参照图22A，显示器250可以提供允许用户选择将要演奏的音乐(或者乐谱)的用户界面。例如，显示器250可以显示存储在图17的存储器230中的乐谱数据的列表。参照图22B，显示器250可以显示允许用户选择校正信息的类型的用户界面。例如，校正信息的类型可以包括作为用于确定用户的演奏结果的元素的弓法、音调(或指法)和节奏中的至少一个。根据本公开的实施例，如果用户选择确定元素中的一个，则显示器250可以显示允许用户选择所选择的确定元素的全部细节的用户界面。参照图22C和图22D，显示器250可以根据用户的演奏结果和演奏模式的分析结果实时显示校正信息。
例如，如果用户演奏弦乐器，则图1的第一电子装置100可以确定通过弦乐器的播放产生的音调的音高(或频率)。第一电子装置100可以向第二电子装置200发送确定的音高(或确定的频率)。第二电子装置200可以执行与音高相应的操作。
图23是示出根据本公开的实施例的用户界面的示图。
根据本公开的实施例，用户可以通过演奏弦乐器向第二电子装置200输入用户指令。参照图23，第二电子装置200可以显示与弦乐器课程应用的启动屏幕相应的用户界面。根据本公开的实施例，用户界面可以包括多个菜单以及与多个菜单中的每一个相应的代码信息95。如果用户演奏与特定代码相应的音调，则第一电子装置(例如，图1的100)可以确定由弦乐器的演奏产生的音调的音高(或频率)。第一电子装置100可以向第二电子装置200发送确定的音高(或确定的频率)。第二电子装置200可以执行与音高相应的操作。例如，在图23中，如果用户演奏G代码，则弦乐器课程应用启动。
根据本公开的实施例，用户可以通过弦乐器的运动向第二电子装置200输入用户指令。例如，如果用户移动弦乐器，则附接到弦乐器的第一电子装置100可以使用惯性测量单元感测弦乐器的运动。第一电子装置100可以向第二电子装置200发送弦乐器的运动信息。第二电子装置200可以执行与弦乐器的运动相应的操作。
图24是示出根据本公开的实施例的在第一电子装置中识别弦乐器演奏的方法的流程图。图24所示的操作可以包括第一电子装置(例如，图4所示的100)处理的操作。因此，虽然下面存在内容省略，但是参照图4至图16针对第一电子装置100描述的内容可以应用到图24所示的操作。
参照图24，在操作2410，第一电子装置100可以检测弓的运动。根据本公开的实施例，第一电子装置100可以使用图像传感器感测弓的运动。根据本公开的实施例，第一电子装置100可以使用金属传感器或磁场传感器感测弓的运动。
根据本公开的实施例，在操作2420，第一电子装置100可以检测由弦乐器产生的振动。根据本公开的实施例，第一电子装置100可以使用振动传感器感测弦乐器产生的振动。
根据本公开的实施例，在操作2430，第一电子装置100可以分析弓的运动和弦乐器的振动，并且可以产生演奏数据。例如，演奏数据可以包括音高、声音强度、节奏、弓的纵向位置、弓的横向位置、弓和弦之间的相对倾角、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度、与弓接触的弦的类型、用户的指法位置或弓的速度向量中的至少一个。
根据本公开的实施例，第一电子装置100可以使用图像传感器的感测值确定弓的纵向位置、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度和弓的速度向量。根据本公开的实施例，第一电子装置100可以将图像传感器的红外线图像二值化，并且可以使用二值化的图像确定上述元素，即，弓的纵向位置、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度和弓的速度向量。根据本公开的实施例，第一电子装置100可以使用金属传感器的感测值确定弓的速度向量(例如，方向和速度)。根据本公开的实施例，第一电子装置100可以使用磁场传感器的感测值确定弓的横向位置和弓的速度向量(例如，方向和速度)。根据本公开的实施例，第一电子装置100可以使用弓在弦乐器主体方向上的倾斜度确定与弓接触的弦。
根据本公开的实施例，第一电子装置100可以分析振动传感器感测的振动，并且可以确定音高、声音强度和节奏。根据本公开的实施例，第一电子装置100可以使用振动中包括的多个频率分量之中可以由与弓接触的弦产生的频率分量确定音高。根据本公开的实施例，当将振动传感器感测的振动从时域转换到频域以感测音高时，第一电子装置100可以应用窗口函数。根据本公开的实施例，第一电子装置100可以根据与弓接触的弦的类型以不同方式设置窗口函数的时间轴的大小。
根据本公开的实施例，第一电子装置100可以根据音高和与弓接触的弦确定用户的指法位置。根据本公开的实施例，第一电子装置100可以将与音高相应的多个指法位置之中与弓接触的弦的指法位置确定为用户的指法位置。
根据本公开的实施例，在操作2440，第一电子装置100可以向图1的第二电子装置200发送演奏数据。
图25是示出根据本公开的实施例的在第二电子装置中提供关于弦乐器演奏的反馈的方法的流程图。图25所示的操作可以包括第二电子装置(例如，图17所示的200)处理的操作。因此，虽然下面存在内容省略，但是参照图17至图23描述的第二电子装置200的内容可以应用到图25所示的操作。
参照图25，在操作2510，第二电子装置200可以从第一电子装置(例如，图1的100)接收弦乐器演奏数据。例如，演奏数据可以包括音高、声音强度、节奏、弓的纵向位置、弓的横向位置、弓和弦之间的相对倾角、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度、与弓接触的弦的类型、用户的指法位置或弓的速度向量中的至少一个。
根据本公开的实施例，在操作2520，第二电子装置200可以使用演奏数据确定用户的演奏结果。根据本公开的实施例，第二电子装置200可以使用演奏数据确定用户是否使用任何演奏技法。根据本公开的实施例，第二电子装置200可以将演奏数据和乐谱数据进行比较，并且可以实时确定用户的演奏结果。例如，第二电子装置200可以确定用户演奏弦乐器是否与乐谱数据相同，或者可以确定是否发生了演奏错误。根据本公开的实施例，第二电子装置200可以根据音高(或指法)、节奏和弓法确定用户的演奏结果。
根据本公开的实施例，如果发生演奏错误，则第二电子装置200可以实时提供错误信息和错误校正信息。根据本公开的实施例，第二电子装置200可以通过其显示器以图像或文本的形式提供反馈，或者可以通过其音频模块以语音的形式提供反馈。根据本公开的实施例，如果用户的演奏完成，则第二电子装置200可以综合用户的演奏结果，并且可以提供关于综合的演奏结果的反馈。
根据本公开的实施例，在操作2530，第二电子装置200可以使用用户的演奏结果分析用户的演奏模式。例如，用户的演奏模式可以包括在用户熟练地演奏弦乐器时产生的正常演奏模式和在用户演奏弦乐器经常出错时产生的错误演奏模式。根据本公开的实施例，第二电子装置200可以使用存储在其存储器中的模式分析算法分析用户的演奏模式。根据本公开的实施例，模式分析算法可以使用正常演奏模式数据库和错误模式数据库获知演奏模式。
根据本公开的实施例，第二电子装置200可以实时分析用户的演奏结果，以分析错误模式。根据本公开的实施例，如果用户的演奏完成，则第二电子装置200可以分析用户的全部演奏结果，以分析演奏模式。
根据本公开的实施例，在操作2540，第二电子装置200可以提供关于用户的演奏模式的反馈。根据本公开的实施例，第二电子装置200可以通过显示器以图像或文本的形式提供反馈，或者可以通过音频模块以语音的形式提供反馈。根据本公开的实施例，第二电子装置200可以实时提供关于实时分析的错误模式的校正信息。根据本公开的实施例，如果用户的演奏完成，则第二电子装置200可以提供与分析的演奏模式相关联的反馈(例如，与错误模式相关联的校正信息或与错误模式相关联的课程内容)。根据本公开的实施例，第二电子装置200对产生演奏模式的次数计数，并且可以根据产生演奏模式的次数提供反馈。
这里所使用的术语“模块”可以表示例如包括硬件、软件和固件中的一个或者它们的两个或更多个组合的单元。例如，术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成组件的最小单元或集成组件的一部分。“模块”可以是执行一个或多个功能或者一个或多个功能的一部分的最小单元。可以机械地或电子地实现“模块”。例如，“模块”可以包括已经公知或未来将开发的用于执行特定操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑器件中的至少一个。
根据本公开的各种实施例，可以使用例如存储在计算机可读存储介质中的具有程序模块的指令实现装置(例如，模块或功能)或方法(例如，操作)的至少一部分。当由处理器(例如，图4的控制模块160和图17的控制模块240)执行指令时，一个或多个处理器可以执行与所述指令相应的功能。计算机可读存储介质可以是例如图17的存储器230。
计算机可读存储介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，致密盘只读存储器(CD-ROM)和DVD)、磁光介质(例如，磁光盘)、硬件装置(例如，ROM、随机存取存储器(RAM)或闪存存储器等)等。此外，程序指令可以不仅包括由编译器编译的机器代码，还包括可以通过计算机使用解释器执行的高级语言代码等。上述的硬件装置可以被配置作为一个或多个软件模块来操作，以执行根据本公开的各种实施例的操作，并且反之亦然。
根据本公开的各种实施例，电子装置可以通过使用附接到弦乐器的装置获得弦乐器演奏数据，在最小化弓的重量变化的同时获得准确的弦乐器演奏数据，并且可以通过将获得演奏数据处理为有意义的形式向用户提供各种反馈。
根据本公开的各种实施例的模块或程序模块可以包括上述组件中的至少一个或多个，上述组件中的一些可以省略，或者还可以包括其他附加组件。可以通过连续方法、并行方法、重复方法或启发式方法执行由模块、程序模块或其他元件执行的操作。此外，可以以不同的顺序执行一些操作，或者可以省略一些操作，并且可以添加其他操作。并且，在附图中描述和示出的本公开的实施例作为示例提供，以描述技术内容和帮助理解，但是并不限制本公开的范围。
尽管已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员可以理解，在不脱离由权利要求及其等同物限定的本公开的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种可附接到弦乐器的电子装置，所述电子装置包括：
图像传感器，被配置为感测弓到弦乐器的运动；
振动传感器，被配置为感测弦乐器产生的振动；以及
控制模块，被配置为使用弓的运动和振动确定相对于弦乐器的用户的指法位置。
2.如权利要求1所述的电子装置，其中，控制模块还被配置为：
确定与振动相应的音高，
使用弓的运动确定与弓接触的弦，以及
根据音高和与弓接触的弦确定用户的指法位置。
3.如权利要求2所述的电子装置，其中，控制模块还被配置为：将与弓接触的弦上产生音高的位置确定为指法位置。
4.如权利要求2所述的电子装置，其中，控制模块还被配置为：使用振动中包括的多个频率分量之中在与弓接触的弦上产生的频率分量确定音高。
5.如权利要求2所述的电子装置，其中，控制模块还被配置为：
通过将窗口函数应用到振动的时域信号将振动的时域信号转换到振动的频域信号，
确定音高，以及
根据与弓接触的弦的类型以不同方式设置窗口函数的时间轴的大小。
6.如权利要求1所述的电子装置，其中，控制模块还被配置为：使用弓的运动确定弓的纵向位置、弓的横向位置、弓和弦之间的相对倾角、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度、与弓接触的弦的类型、用户的指法位置或弓的速度向量中的至少一个。
7.如权利要求1所述的电子装置，其中，控制模块还被配置为：
对图像传感器的红外线图像进行二值化，以及
使用二值化的红外线图像确定用户的指法位置。
8.如权利要求1所述的电子装置，还包括：
狭缝，用于插入弦乐器的琴桥，
其中，所述电子装置通过插入到狭缝的琴桥附接到弦乐器。
9.一种在电子装置中识别弦乐器演奏的方法，所述方法包括：
感测弓到弦乐器的运动；
感测弦乐器产生的振动；以及
使用弓的运动和振动确定相对于弦乐器的用户的指法位置。
10.如权利要求9所述的方法，其中，确定用户的指法位置的步骤包括：
确定与振动相应的音高，
使用弓的运动确定与弓接触的弦，以及
根据音高和与弓接触的弦确定用户的指法位置。
11.如权利要求10所述的方法，其中，确定用户的指法位置的步骤包括：
将与弓接触的弦上产生音高的位置确定为指法位置。
12.如权利要求10所述的方法，其中，确定音高的步骤包括：
在振动中包括的多个频率分量之中选择在与弓接触的弦上产生的频率分量；以及
使用选择的频率分量确定音高。
13.如权利要求10所述的方法，其中，确定音高的步骤包括：
根据与弓接触的弦的类型以不同方式设置窗口函数的时间轴的大小；
将窗口函数应用到振动的时域信号；
将振动的时域信号转换到振动的频域信号；以及
使用频域信号确定音高。
14.如权利要求9所述的方法，还包括：
使用弓的运动确定弓的纵向位置、弓的横向位置、弓和弦之间的相对倾角、弓在指板方向上的偏斜度、弓在弦乐器主体方向上的倾斜度、与弓接触的弦的类型、用户的指法位置或弓的速度向量中的至少一个。
15.如权利要求9所述的方法，其中，感测弓到弦乐器的运动的步骤包括：
通过图像传感器捕获红外线图像；
其中，确定用户的指法位置的步骤包括：
对红外线图像进行二值化；以及
使用二值化的红外线图像确定用户的指法位置。
CN201610144693.0A 2015-03-13 2016-03-14 电子装置和在电子装置中识别弦乐器演奏的方法 Active CN105976800B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150034929A KR20160109819A (ko) 2015-03-13 2015-03-13 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법
KR10-2015-0034929 2015-03-13

Publications (2)

Publication Number Publication Date
CN105976800A true CN105976800A (zh) 2016-09-28
CN105976800B CN105976800B (zh) 2021-12-07

Family

ID=55966982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610144693.0A Active CN105976800B (zh) 2015-03-13 2016-03-14 电子装置和在电子装置中识别弦乐器演奏的方法

Country Status (4)

Country Link
US (1) US10176791B2 (zh)
EP (1) EP3067883B1 (zh)
KR (1) KR20160109819A (zh)
CN (1) CN105976800B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106847248A (zh) * 2017-01-05 2017-06-13 天津大学 基于鲁棒性音阶轮廓特征和向量机的和弦识别方法
CN108269563A (zh) * 2018-01-04 2018-07-10 暨南大学 一种虚拟爵士鼓及实现方法
CN108665747A (zh) * 2017-04-01 2018-10-16 上海伍韵钢琴有限公司 一种在线钢琴陪练系统及使用方法
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
CN109523567A (zh) * 2018-10-25 2019-03-26 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者指法检测方法
CN109543543A (zh) * 2018-10-25 2019-03-29 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者弓法检测方法
CN109711294A (zh) * 2018-12-14 2019-05-03 深圳市象形字科技股份有限公司 一种基于计算机视觉的辅助小提琴练习者弓法检测方法
CN109935222A (zh) * 2018-11-23 2019-06-25 咪咕文化科技有限公司 一种构建和弦转换向量的方法、装置及计算机可读存储介质
CN111868820A (zh) * 2018-01-10 2020-10-30 Qrs音乐技术公司 音乐活动系统
CN112041922A (zh) * 2018-03-02 2020-12-04 康斯坦丁诺·马丁内斯·奥瑞特斯 用于弓弦乐器的弓
CN112420006A (zh) * 2020-10-30 2021-02-26 天津亚克互动科技有限公司 运行模拟乐器组件的方法及装置、存储介质、计算机设备
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN113412507A (zh) * 2019-02-01 2021-09-17 银河软件株式会社 演奏辅助系统、方法以及程序和乐器管理系统、方法以及程序
CN115048025A (zh) * 2022-06-14 2022-09-13 陕西理工大学 人机交互的传统弓拉弦鸣乐器演奏方法、装置及设备
US11948544B2 (en) 2019-02-01 2024-04-02 Gotoh Gut Co., Ltd. Musical instrument tuner, musical performance support device and musical instrument management device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3220385B1 (en) * 2016-03-15 2018-09-05 Advanced Digital Broadcast S.A. System and method for stringed instruments' pickup
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
KR102006889B1 (ko) * 2016-12-23 2019-08-02 김민홍 현악기 픽업 장치, 현악기 픽업 장치를 이용한 연주 정보 출력 방법, 및 현악기
EP4024391B1 (en) * 2019-08-30 2024-06-26 Sonifidea LLC Acoustic space creation apparatus
KR102468278B1 (ko) * 2020-12-30 2022-11-17 한송이 반음 및 온음을 시각화하여 연주할 수 있는 현악기 교구
JP2023096762A (ja) * 2021-12-27 2023-07-07 ローランド株式会社 情報処理装置、端末、及び情報処理方法
EP4332957A3 (en) * 2022-08-11 2024-05-08 Joytunes, Ltd. Virtual, augmented or mixed reality instrument teaching system and method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4966052A (en) * 1988-04-25 1990-10-30 Casio Computer Co., Ltd. Electronic musical instrument
CN1337040A (zh) * 1999-01-15 2002-02-20 弗雪曼变换器股份有限公司 测量和处理声学弦乐器的信号
JP2008008924A (ja) * 2006-06-27 2008-01-17 Yamaha Corp 電気弦楽器システム
CN101112074A (zh) * 2005-02-02 2008-01-23 澳迪欧布兰克斯电子产品产业商业股份有限公司 带乐器功能的移动通信设备
US20090216483A1 (en) * 2008-02-21 2009-08-27 Diana Young Measurement of Bowed String Dynamics
CN102129798A (zh) * 2011-01-20 2011-07-20 程矛 微电脑控制的数码弦乐器
US20110218022A1 (en) * 2008-01-24 2011-09-08 745 Llc Methods and apparatus for stringed controllers and instruments
JP2011221472A (ja) * 2010-04-06 2011-11-04 Nobuo Yoshizawa 画像表示装置付きギター
US20120266740A1 (en) * 2011-04-19 2012-10-25 Nathan Hilbish Optical electric guitar transducer and midi guitar controller
CN103729062A (zh) * 2014-01-19 2014-04-16 浙江大学 一种多功能乐器同步互动系统和方法
CN104036766A (zh) * 2014-06-20 2014-09-10 北京趣乐科技有限公司 一种智能钢琴及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2229189A (en) * 1939-06-01 1941-01-21 Rice Max Violin mute and amplifying device
US6162981A (en) * 1999-12-09 2000-12-19 Visual Strings, Llc Finger placement sensor for stringed instruments
US7323633B2 (en) * 2005-04-26 2008-01-29 Optek Music Systems, Inc. Methods and apparatus for transmitting finger positions to stringed instruments having a light-system
US8907193B2 (en) 2007-02-20 2014-12-09 Ubisoft Entertainment Instrument game system and method
US7605317B2 (en) 2008-01-30 2009-10-20 Ning Chen Bow-to-string pressure training device for bowed string music instruments
US8084678B2 (en) 2008-05-21 2011-12-27 Kesumo Llc Sensor bow for stringed instruments
GB2475339A (en) 2009-11-17 2011-05-18 Univ Montfort Optical bowing sensor for emulation of bowed stringed musical instruments
US8338684B2 (en) 2010-04-23 2012-12-25 Apple Inc. Musical instruction and assessment systems
US20120240751A1 (en) * 2011-03-23 2012-09-27 Ayako Yonetani Hybrid stringed instrument

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4966052A (en) * 1988-04-25 1990-10-30 Casio Computer Co., Ltd. Electronic musical instrument
CN1337040A (zh) * 1999-01-15 2002-02-20 弗雪曼变换器股份有限公司 测量和处理声学弦乐器的信号
CN101112074A (zh) * 2005-02-02 2008-01-23 澳迪欧布兰克斯电子产品产业商业股份有限公司 带乐器功能的移动通信设备
JP2008008924A (ja) * 2006-06-27 2008-01-17 Yamaha Corp 電気弦楽器システム
US20110218022A1 (en) * 2008-01-24 2011-09-08 745 Llc Methods and apparatus for stringed controllers and instruments
US20090216483A1 (en) * 2008-02-21 2009-08-27 Diana Young Measurement of Bowed String Dynamics
JP2011221472A (ja) * 2010-04-06 2011-11-04 Nobuo Yoshizawa 画像表示装置付きギター
CN102129798A (zh) * 2011-01-20 2011-07-20 程矛 微电脑控制的数码弦乐器
US20120266740A1 (en) * 2011-04-19 2012-10-25 Nathan Hilbish Optical electric guitar transducer and midi guitar controller
CN103729062A (zh) * 2014-01-19 2014-04-16 浙江大学 一种多功能乐器同步互动系统和方法
CN104036766A (zh) * 2014-06-20 2014-09-10 北京趣乐科技有限公司 一种智能钢琴及系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106847248A (zh) * 2017-01-05 2017-06-13 天津大学 基于鲁棒性音阶轮廓特征和向量机的和弦识别方法
CN108665747A (zh) * 2017-04-01 2018-10-16 上海伍韵钢琴有限公司 一种在线钢琴陪练系统及使用方法
CN108269563A (zh) * 2018-01-04 2018-07-10 暨南大学 一种虚拟爵士鼓及实现方法
CN111868820A (zh) * 2018-01-10 2020-10-30 Qrs音乐技术公司 音乐活动系统
CN112041922A (zh) * 2018-03-02 2020-12-04 康斯坦丁诺·马丁内斯·奥瑞特斯 用于弓弦乐器的弓
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
CN109523567A (zh) * 2018-10-25 2019-03-26 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者指法检测方法
CN109543543A (zh) * 2018-10-25 2019-03-29 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者弓法检测方法
CN109935222A (zh) * 2018-11-23 2019-06-25 咪咕文化科技有限公司 一种构建和弦转换向量的方法、装置及计算机可读存储介质
CN109935222B (zh) * 2018-11-23 2021-05-04 咪咕文化科技有限公司 一种构建和弦转换向量的方法、装置及计算机可读存储介质
CN109711294A (zh) * 2018-12-14 2019-05-03 深圳市象形字科技股份有限公司 一种基于计算机视觉的辅助小提琴练习者弓法检测方法
CN113412507A (zh) * 2019-02-01 2021-09-17 银河软件株式会社 演奏辅助系统、方法以及程序和乐器管理系统、方法以及程序
US11948544B2 (en) 2019-02-01 2024-04-02 Gotoh Gut Co., Ltd. Musical instrument tuner, musical performance support device and musical instrument management device
CN112420006A (zh) * 2020-10-30 2021-02-26 天津亚克互动科技有限公司 运行模拟乐器组件的方法及装置、存储介质、计算机设备
CN112420006B (zh) * 2020-10-30 2022-08-05 天津亚克互动科技有限公司 运行模拟乐器组件的方法及装置、存储介质、计算机设备
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN112802439B (zh) * 2021-02-05 2024-04-12 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN115048025A (zh) * 2022-06-14 2022-09-13 陕西理工大学 人机交互的传统弓拉弦鸣乐器演奏方法、装置及设备

Also Published As

Publication number Publication date
KR20160109819A (ko) 2016-09-21
CN105976800B (zh) 2021-12-07
EP3067883A1 (en) 2016-09-14
US10176791B2 (en) 2019-01-08
US20160267895A1 (en) 2016-09-15
EP3067883B1 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
CN105976800A (zh) 电子装置和在电子装置中识别弦乐器演奏的方法
US20220172638A1 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
EP2945045B1 (en) Electronic device and method of playing music in electronic device
US20170047056A1 (en) Method for playing virtual musical instrument and electronic device for supporting the same
CN106575424A (zh) 使音乐信息可视化的方法和装置
US11749246B2 (en) Systems and methods for music simulation via motion sensing
US11972693B2 (en) Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
US20240054911A2 (en) Crowd-based device configuration selection of a music teaching system
CN110347872A (zh) 视频封面图像提取方法及装置、存储介质及电子设备
WO2021090817A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20220180766A1 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US10360886B2 (en) Mobile device and method for executing music-related application
KR102319228B1 (ko) 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법
CN109190879A (zh) 一种训练改编水平评价模型、评价改编水平的方法及装置
WO2022111260A1 (zh) 音乐筛选方法、装置、设备及介质
CN112802439B (zh) 一种演奏数据识别方法、装置、设备及存储介质
CN108731791A (zh) 一种采集钢琴按键动作的方法及装置
CN113343022A (zh) 歌曲教学方法、装置、终端和存储介质
Li et al. Design and application of interactive music equipment based on wireless wearable sensors
Overholt Advancements in violin-related human-computer interaction
CN109739388A (zh) 一种基于终端的小提琴演奏方法、装置及终端
CN109801613B (zh) 一种基于终端的大提琴演奏方法、装置及终端
US20220335974A1 (en) Multimedia music creation using visual input
US11900825B2 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US20240220685A1 (en) Method for training binding affinity detection model and binding affinity detection method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant