CN110379400A - 一种用于生成乐谱的方法及系统 - Google Patents
一种用于生成乐谱的方法及系统 Download PDFInfo
- Publication number
- CN110379400A CN110379400A CN201810325653.5A CN201810325653A CN110379400A CN 110379400 A CN110379400 A CN 110379400A CN 201810325653 A CN201810325653 A CN 201810325653A CN 110379400 A CN110379400 A CN 110379400A
- Authority
- CN
- China
- Prior art keywords
- signal
- music score
- sensor
- user
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
- G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
- G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
- G10H2220/121—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of a musical score, staff or tablature
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开了一种用于生成乐谱的方法,所述方法包括通过第一传感器检测键盘乐器中执行装置的状态变化,并生成第一信号;通过第二传感器检测与节拍相关的用户表现,并生成对应所述用户表现的多个时间标记的第二信号;根据所述第一信号生成乐谱的曲调;根据所述第二信号生成乐谱的节奏;以及基于所述曲调和节奏生成乐谱。利用所述方法,用户在通过乐器演奏旋律的同时,可以按照作曲想法打节拍,根据用户演奏的旋律和节拍自动生成乐谱,可以有效地生成符合用户作曲想法的乐谱。
Description
技术领域
本申请涉及用户表现检测领域,尤其涉及检测用户表现来生成乐谱领域。
背景技术
键盘乐器是指具有琴键的乐器。典型的键盘乐器可以包括钢琴、风琴、手风琴等。键盘乐器已经广泛应用于娱乐、学习以及其它用途。当用户在弹奏键盘乐器时,一些键盘乐器能够记录用户表现。这种类型的乐器能够使得作曲家直接使用键盘乐器进行作曲,而不是以传统的方式在纸张上书写乐谱。而用户在使用所述键盘乐器作曲时,由于弹奏时动作的不确定性,比如某几个音符弹奏较快或较慢,这种情况就容易导致最后形成的乐谱不标准,如节拍错乱等,无法完全按照用户的作曲想法(比如,节拍)形成所想要创作的乐谱。因此,有必要研究一种适用于生成乐谱的方法和系统,使用户可以边演奏乐器边按照作曲想法进行作曲。
发明内容
针对用户在弹奏乐器时,无法生成符合用户想法的乐谱的问题,本发明在于提供一种生成乐谱的方法及系统,可以满足用户可以边演奏乐器边按照作曲想法进行作曲。
为达到上述发明目的,本发明提供的技术方案如下:
一方面,本发明提供了一种生成乐谱的方法,所述方法包括:通过第一传感器检测键盘乐器中执行装置的状态变化,并生成第一信号;通过第二传感器检测与节拍相关的用户表现,并生成对应所述用户表现的多个时间标记的第二信号;根据所述第一信号生成乐谱的曲调;根据所述第二信号生成乐谱的节奏;以及基于所述曲调和节奏生成乐谱。
在本发明中,所述方法进一步包括通过用户界面展示所述乐谱。
在本发明中,所述方法进一步包括通过用户界面接收一个或多个与乐谱相关的作曲参数的输入。
在本发明中,所述一个或多个与乐谱相关的作曲参数包括拍号、调号、谱号或小节数中的一个或多个。
在本发明中,所述基于所述曲调和节奏生成乐谱的方法进一步包括:基于所述曲调生成多个音符;基于所述节奏生成多个小节;将所述生成的多个音符划分到所述生成的多个小节中;以及基于所述划分好的音符和一个或多个与乐谱相关的作曲参数生成乐谱。
在本发明中,所述多个小节中的一个小节通过两个时间标记来确定。
在本发明中,所述执行装置至少包括琴键、踏板、琴槌、配重杆或琴弦中的一种。
在本发明中,所述执行装置的状态变化至少包括琴键的位置变化、踏板的位置变化、琴槌的位置变化或琴弦的振动状态变化中的一种。
在本发明中,所述方法进一步包括:通过用户界面接收一个或多个指令,所述指令用于修改所述生成的乐谱;以及基于所述一个或多个指令修改所述生成的乐谱。
另一方面,本发明还提供了一种生成乐谱的系统,所述系统包括存储设备,所述存储设备用于存储可执行指令;第一传感器,所述第一传感器用于检测键盘乐器中执行装置的状态变化,并生成第一信号;第二传感器,所述第二传感器用于检测与节拍相关的用户行为,并生成对应所述用户行为的多个时间标记的第二信号;以及处理器,所述处理器用于获取第一信号和第二信号,并根据所述第一信号生成乐谱的曲调;根据所述第二信号生成乐谱的节奏;以及基于所述曲调和节奏生成乐谱。
另一方面,本发明还提供了一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行生成乐谱的方法。
另一方面,本发明还提供了一种生成乐谱的系统,所述系统包括信号获取模块和信号处理模块。所述信号获取模块用于检测键盘乐器中执行装置的状态变化,并生成第一信号;以及用于生成指示多个时间标记的第二信号。所述信号处理模块用于根据所述第一信号生成乐谱的曲调;根据所述第二信号生成乐谱的节奏;以及基于所述曲调和节奏生成乐谱。
与现有技术相比,本发明的有益效果表现如下:
用户在通过乐器演奏旋律的同时,可以按照作曲想法打节拍,根据用户演奏的旋律和节拍自动生成乐谱,可以有效地生成符合用户作曲想法的乐谱。
附图说明
根据示例性实施例可以进一步描述本申请。参考附图可以详细描述所述示例性实施例。所述实施例并非限制性的示例性实施例,其中相同的附图标记代表附图的几个视图中相似的结构,并且其中:
图1是根据本申请的一些实施例所示的键盘乐器系统的一种示例性示意图;
图2是根据本申请的一些实施例所示的键盘乐器系统的一种示例性示意图;
图3是根据本申请的一些实施例所示的信号获取模块的一种示例性示意图;
图4是根据本申请的一些实施例所示的琴键运动检测装置的一种示例性结构图;
图5是根据本申请的一些实施例所示的琴键运动检测装置的一种示例性结构图;
图6是根据本申请的一些实施例所示的信号处理模块的一种示例性示意图;
图7是根据本申请的一些实施例所示的用于键盘乐器系统中生成乐谱的的一种示例性流程图;和
图8是根据本申请的一些实施例所示的用户界面的一种示例性示意图;
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。应当理解,给出这些示例性实施例仅仅是为了使相关领域的技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解的是,上下文中描述的术语“系统”、“单元”、“模块”和/或“引擎”,用于区分不同级别的部件、元件、组件、部件或装配。然而,可以使用其它可以达到相同目的表达取代以上术语。一般来说,文中所用术语至少可以部分理解为上下文中的意思。例如,术语,如“和”、“或”或者“和/或”,可能包含多种含义,且至少部分取决于上下文的意思。通常情况下,“或”如果用来关联一个列表,如A、B或C,可以指A、B和C,这里用的是包含性的意思,也可以指A、B或C,这里用的是排他性的意思。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
图1是根据本申请的一些实施例所示的键盘乐器系统的一种示例性示意图。如图1所示,键盘乐器系统100可以包括数据总线110、处理器120、存储器130、存储设备140、显示器150、信号处理电路160、一个或多个传感器170、执行装置180以及输入/输出190。所述键盘乐器系统100可以包括更多或更少的组件,且不损失其总体功能。例如,上述组件中的两个组件可以集成为一个单独的装置,或者上述组件中其中一个组件可以分为两个或更多的装置。上述组件相互之间可以通过数据总线110进行通信。
在一些实施例中,处理器120可以处理数据和信号。处理器120可以执行存储于存储器130和/或存储设备140中的指令。当执行所述指令时,处理器120可以使得键盘乐器系统100执行本申请中披露的一种或多种功能。例如,所述处理器120可用于处理第一信号,所述第一信号用来指示一个或多个执行装置180(如,琴键、踏板)的状态变化。又例如,所述处理器120也可以根据用户表现确定乐谱的曲调和节奏,从而进一步生成乐谱。典型的处理器120可以包括微控制器、精简指令集计算机(reduced instruction set computer(RISC))、专门应用集成电路(Application Specific Integrated Circuit(ASIC))、专用指令处理器(Application Specific Instruction Set Processor(ASIP))、中央处理器(CentralProcessing Unit(CPU))、图形处理器(graphics processing unit(GPU))、物理处理器(Physics Processing Unit(PPU))、微控制器单元、数字信号处理器(Digital ProcessingProcessor(DSP))、现场可编程逻辑门阵列(Field-Programmable Gate Array(FPGA))以及其它能够执行此处描述的功能的电路和/或处理器等一种或几种的组合。
存储器130可以存储数据。所述数据的类型可以包括MIDI文件、用户信息、音乐曲调、音乐节奏等其中一种或几种的组合。存储器130可以存储指令,所述指令可以由处理器120执行。存储器130可以包括随机存取存储器(Random Access Memory(RAM))、动态随机存储器(DRAM)、静态随机存储器(SRAM)、晶闸管随机存储器(T-RAM)、零电容随机存储器(Z-RAM)、只读存储器(Read Only Memory(ROM))、宏只读存储器(mask read-only memory(MROM))、可编程序只读存储器(programmable read-only memory(PROM))、现场可编程序只读存储器(field programmable read-only memory(FPROM))、一次性可编程非易失性存储器(one-time programmablenon-volatile memory(OTP NVM))以及其它能够执行此处描述的功能的电路和/或存储器等中的一种或几种的组合。
存储设备140可以存储数据。所述数据的类型可以包括MIDI文件、用户信息、音乐曲调、音乐节奏等其中一种或几种的组合。存储设备140可以存储指令,所述指令可以由处理器120执行。存储设备140可以包括直接附加存储(direct attach storage(DAS))、附织存储(fabric-attached storage(FAS))、存储区域网络(storage area network(SAN))、网络连接存储(network attached storage(NAS))以及其它能够执行此处所述的功能的电路和/或存储设备等其中一种或几种的组合。通常,处理器120、存储器130、存储设备140以及其它组件可以集成在一个设备中,例如,台式电脑、笔记本电脑、移动电话、平板电脑、便携式计算机等其中一种或几种的组合。
显示器150可以展示用户界面(UI)。例如,显示器150可以展示生成的乐谱。典型的显示器150包括电致发光显示器(ELD)、发光二极管显示器(LED)、阴极射线管(CRT)、液晶显示器(LCD)、等离子显示板(PDP)、有机发光二极管(OLED)、有机发光晶体管(OLET)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点显示器(QD-LED)、铁电液晶显示器(FLCD)、望远镜像素显示器(TPO)、激光驱动荧光显示(LPD)或其它任何能够执行所述显示功能的电路等其中一种或多种组合。
信号处理电路160可以处理传感器170和/或键盘乐器系统100中其它组件提供的信号。所述信号包括指示执行装置180状态变化的第一信号、指示与音乐节奏相关联的时间标记的第二信号。典型的信号处理电路160可以包括信号放大电路、信号转换电路、信号滤波电路、信道选择电路、模数转换器或其它任何能够执行此处所述功能的电路等其中一种或多种的组合。
传感器170可以检测用户弹奏键盘乐器系统100时的操作。各种类型的传感器可以安装在所述键盘乐器系统100的内部或者外部。例如,照相机(一种类型的传感器170)可以用于记录用户表现。麦克风(另一种类型的传感器170)可以用于检测键盘乐器系统100产生的声音和/或用户的哼唱声。运动检测传感器可以用于检测键盘乐器系统100中组件的运动。传感器170可以包括,例如,一个或多个电光传感器、电磁传感器、霍尔传感器、振动传感器、超声波传感器、激光传感器、运动传感器、压电传感器、压力传感器、扭矩传感器、压差传感器、电阻式传感器、电导传感器、倾斜传感器或其它可执行此处描述的功能的电路和/或传感器等其中一种或几种的组合。在一些实施例中,所述传感器170能够将其产生的信号传递给处理器120做进一步处理。例如,处理器120能够基于执行装置状态变化信号以确定乐谱的曲调。又例如,处理器120能够基于与节拍相关的时间标记信号以确定音乐节奏。
执行装置180可以包括键盘乐器系统100中的一个或多个组件,所述组件可以在键盘乐器系统100操作期间被驱动。典型的执行装置180可以包括一个或多个琴键、踏板、琴槌、配重杆、琴弦等其中一种或几种的组合。在一些实施例中,琴键包括多个白键和黑键。例如,常见的钢琴键盘包括52个白键和36个黑键,共88个琴。白键可以用来控制西方音阶中7个自然音阶的演奏,例如,对于C大调而言,由低到高,分别是C、D、E、F、G、A、B。黑键可以用来控制与大调相关的5个降记号音。当用户弹奏琴键时,相应的音符会被弹奏出来。在一些实施例中,典型的键盘乐器的踏板包括三个踏板,如柔音踏板、延长音踏板和延音踏板。除了上述三个踏板外,一个或多个扩展踏板也可以配置在所述键盘乐器上。例如,用户可以通过踏压所述扩展踏板来记录音乐节拍,从而与所述音乐节拍相关的时间标记也可以被记录。在一些实施例中,按压不同的琴键可以使得与其对应的琴槌和/或配重杆去敲击各自对应的琴弦,当达到共振频率时,琴弦发生振动进而产生声音。
输入/输出190可以实现用户与键盘乐器系统100之间的交互。输入/输出190可以包括一个或多个输入和输出设备,例如,键盘、鼠标、音频输出设备(例如,麦克风)、打印机、显示器等。在一些实施例中,输入/输出190可以允许用户通过可触摸屏或者可触摸面板实现与键盘乐器系统100进行交互。在一些实施例中,输入/输出190也可以允许用户通过语音识别或者视觉识别实现与键盘乐器系统100进行交互。
图2是根据本申请的一些实施例所示的键盘乐器系统的一种示例性系统图。如图所示,键盘乐器系统100可以包括执行模块210、信号获取模块220、信号处理模块230和计算模块240。计算模块240进一步包括控制单元241、存储单元242、显示单元243以及修正单元243。各模块之间可以通过无线或者有线的方式进行连接。数据和/或信号可以在各模块之间进行传输。
通常,此处使用的术语“模块”、“单元”和/或“引擎”指的是使硬件或固件具体化的逻辑,或者是多个软件指令。此处描述的模块、单元以及引擎可以是能够被执行软件和/或硬件,并且可以存储于任意类型的非暂时性计算机可读介质或其它存储设备。在一些实施例中,软件模块可以被编辑并链接至可执行程序。可以理解的是,软件模块可以从其它模块或从它们自己调用,和/或可以基于检测到的事件或中断被调用。在计算设备上(例如,处理器120)执行的软件模块可以被存储在计算机可读介质上,如光盘、数字视频光盘,闪存驱动器,磁盘,或其他任何有形的媒介,或作为数字下载(可以以压缩或安装格式进行存储,所述压缩或安装格式在执行之前需要安装、解压或解密)。软件代码可以全部或部分存储于执行计算设备的存储设备中,所述软件代码可以由计算设备执行。软件指令可以嵌入固件,例如可擦可编程只读存储器。可以进一步理解的是,硬件模块可以包括连接逻辑电路,例如,门和触发器,和/或可以包括可编程单元,例如可编程门阵列或处理器。本申请所描述的模块或计算设备功能优选地作为软件模块实现,但可以用硬件或固件来表示。在一般情况下,这里所述的模块是指逻辑模块,所述逻辑模块可以不考虑物理组织或存储设备与其它模块结合或分成多个子模块。
执行模块210可以包括执行装置180。所述执行装置180可以参考图1中的详细描述。执行模块210可以包括一个或多个琴键、踏板、琴槌、配重杆、琴弦和/或键盘乐器的其它组件。在一些实施例中,执行模块210可以基于用户表现引起事件的发生。例如,由于用户操作引起的执行装置的状态变化造成所述时间的发生。所述事件的类型可以包括但不限制于运动、声音、振动等其中的一种或几种的组合。执行模块210引起的事件类型可以取决于执行装置180。例如,如果用户按压琴键,所述事件可以是琴键的运动。同样地,所述事件可以是踏板的运动。相应地,所述事件可以是所述琴键和/或踏板的运动引起的键盘乐器系统100的其它组件的运动。例如,当用户按压琴键,琴槌可以敲击键盘乐器系统100的琴弦。所述事件可以是琴槌的运动和/或琴弦的振动。所述琴弦的振动可以产生声音,所述事件也可以是所述声音。同样地,执行装置的任意一种状态变化可以被认为是一个事件。所述事件可以包括用户的表现信息,例如,当用户按压键盘乐器系统100的琴键时,传感器能够检测到与该琴键按压事件相关的用户表现信息,比如,按压琴键的类型、按压琴键的强度、按压琴键的时间、按压琴键的时长等其中的一种或几种的组合。又例如,当用户踏压踏板时,传感器能够检测到与该踏板踏压事件相关的用户表现信息,比如,踏压踏板的类型、踏压踏板的强度、踏压踏板的时间、踏压踏板的时长等其中的一种或几种的组合。在一些实施例中,所述用户表现信息可以被信号获取模块220获得,并传递到信号处理模块210和/或计算模块240做进一步处理。
信号获取模块220可以获得多个信号。在一些实施例中,所述信号可以包括第一信号和/或第二信号。所述第一信号可以是指如图1所述的执行装置180的状态变化信息。所述第二信号可以是指与音乐节奏相对应的时间标记。所述信号检测模块220可以包括第一传感器和第二传感器。第一传感器可以用于检测执行模块210引起的事件,以产生第一信号。第二传感器可以用于产生第二信号。在一些实施例中,所述第一传感器和第二传感器可以与图1中所描述的传感器170相似或相同。
第一传感器的配置(例如,传感器的数量和/或位置)可以基于检测到的事件类型进行设置。例如,多个电光传感器可以设置于键盘乐器系统100的多个琴键下方,用于检测各个琴键的运动。在一些实施例中,所述被检测的事件可以是键盘乐器系统100的一个部件(比如琴键、踏板)的机械运动。传感器170的位置可以根据被检测的事件发生的位置进行设置。例如,传感器170可以设置于琴弦上或琴弦的附近,用于检测所述琴弦的振动。传感器170可以设置于琴键上或琴键的附近,用于检测所述琴键的运动。传感器170可以设置于联动结构(比如,琴槌或配重杆)上或联动结构的附近,用于检测所述联动结构的敲击。在一些实施例中,传感器170的数量可以根据键盘乐器系统100中的琴键数量设置。例如,一个传感器170可以检测键盘乐器系统100的一定数量的琴键(例如,两个或四个琴键)。传感器170可以设置于键盘乐器系统100的内部或外部,传感器170的位置可以根据被检测事件或检测某一事件的方法设置。例如,若通过照相机(即传感器170)检测琴键按压事件,所述照相机可以设置于键盘乐器系统100的外部。信号获取模块220可以根据所述被检测的事件产生信号,例如执行装置180的机械运动。所述信号可以是电压信号、电流信号等其中的一种或几种的组合。
与第一传感器相似,第二传感器的类型可以根据与音乐节奏相关的时间标记的检测方法进行设置,所述音乐节奏基于用户表现获得。例如,假设点头或摇头作为指示音乐节奏(如,节拍)的信号,摄像机(即第二传感器)可以用于获取点头或摇头的图片,并记录点头或摇头发生的时间。又例如,假设用户发出的特定声音(如,哼唱)作为指示音乐节奏的信号,语音传感器(即第二传感器)可以检测到所述特定声音并记录该声音发生的时间。又例如,假设扩展踏板的位置(如,运动)变化作为指示音乐节奏的信号,设置在所述扩展踏板上的运动传感器可以检测到所述信号。其中,所述扩展踏板可以是区别于键盘乐器中三种常见的踏板,如柔音踏板、延长音踏板和延音踏板。当用户踏压所述扩展踏板时,相应的时间标记被记录。对于本领域技术人员而言,其它各种传感器也可以适用于检测指示音乐节奏的信号。
信号处理模块230可以处理信号并发送所述处理后的信号至计算模块240。信号处理模块230可以包括图1中描述的信号处理电路160。在一些实施例中,信号处理模块230可以预处理所述信号。所述预处理可以包括放大、选频、平滑、信道选择、峰值保持、模数转换等其中的一种或几种组合。在一些实施例中,所述处理可以进一步包括将所述信号转化为无线电信号。在一些实施例中,当用户在弹奏键盘乐器时,执行装置发生状态变化,信号处理模块230可以根据指示执行装置状态变化的第一信号确定音乐曲调。在一些实施例中,信号处理模块230可以根据指示时间标记的第二信号确定音乐节奏。所述时间标记指用户在弹奏键盘乐器时用户输入的节拍。在一些实施例中,信号处理模块230可以根据所述音乐曲调和音乐节奏确定音乐乐谱。在一些实施例中,信号处理模块230可以将所述乐谱以电磁信号或射频信号的方式通过无线或者有线网络发送给计算模块240。
计算模块240可以从信号处理模块230接收信号并进一步处理所述信号。计算模块240可以包括控制单元241、存储单元242、显示单元243以及修正单元244。计算模块240可以包括处理器120,所述处理器可以参考图1中详细描述。计算模块240可以集成于键盘乐器系统100的内部或设置于键盘乐器系统100的外部。在一些实施例中,计算模块240的各单元可以设置于键盘乐器系统100的内部。例如,计算机可以设置于智能钢琴的内部。在一些实施例中,传统键盘乐器可以改建为本申请中披露的一种键盘乐器。在这种情形下,计算模块240可能难以集成于所述传统键盘乐器的内部。可移除计算模块240可以应用于重建的传统键盘乐器。所述可移除计算模块240与所述重建的传统键盘乐器之间的连接方式可以是有线的或无线的。计算模块240可以是计算设备,所述计算设备可以执行本申请中描述的功能。典型的计算设备可以包括个人电脑、移动电话、平板电脑、笔记本电脑等其中一种或几种的组合。
控制单元241可以控制键盘乐器系统100中一个或多个部件的运行。例如,控制单元241可以控制键盘乐器中的音箱产生声音。又例如,控制单元241可以控制自动演奏驱动器(图中未示出)根据信号处理模块230所确定的乐谱执行一个或多个自动演奏操作。在一些实施例中,控制单元241可以解码乐谱的电磁信号,并将所述信号发送给显示单元243以显示所述乐谱。
存储单元242可以包括图1中描述的存储器130以及存储设备140。存储单元242可以存储用户信息、MIDI文件、与乐谱相关的音频或视频数据等其中一种或几种的组合。
显示单元243可以包括图1中描述的显示器150。显示器243可以向用户展示用户界面。显示单元243也可以展示乐谱。用户可以通过所述用户界面(如,输入/输出190)修正所述乐谱。在一些实施例中,用户可以通过所述用户界面输入一个或多个作曲参数。典型的作曲参数包括拍号、调号、谱号、小节数等,类似地或者其结合。
修正单元244可以对接收的信号执行一个或多个修正操作。在一些实施例中,修正单元244可以修改与音乐曲调和/或音乐节奏相关的时序误差。例如,当用户按压琴键时,相对应的音乐曲调(以声音的形式)产生。然而,由于琴键的机械误差等,所述产生的音乐曲调可能会滞后于按压琴键的时间。对于不同的琴键,所述机械误差等是不相同的。修正单元244可以处理与所述曲调相关的信号以补偿所述时序误差。在一些实施例中,修正单元244可以根据用户输入的一个或多个指令修正音乐乐谱。例如,当修正单元244收到调整乐谱中音符顺序的指令时,所述修正单元244能够根据所述指令调整对应的音符顺序。
需要注意的是,以上对于键盘乐器系统100的描述,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。诸如此类的变形,均在本申请的保护范围之内。一些模块可以从键盘乐器系统100中移除。例如,信号处理模块230可以集成于计算模块240。
图3是根据本申请的一些实施例所示的信号获取模块的一种示例性示意图。信号获取模块220可以检测指示执行装置180状态变化的第一信号和指示与音乐节奏(如,节拍)相关的时间标记的第二信号。信号获取模块220可以包括琴键检测单元310、踏板检测单元320、琴槌检测单元330、琴弦检测单元340、时间标记检测单元350。信号检测模块220可以包括其它一些可以执行相似功能的检测单元(图中未显示)。在一些实施例中,振动检测单元可以检测不同的信号。
琴键检测单元310可以检测键盘乐器系统100的键盘引起的一个或多个事件。所述键盘引起的事件可以包括琴键的运动事件。所述琴键检测单元310可以包括一个或多个传感器(如传感器170)。传感器170(例如,运动传感器)可以检测所述运动事件。典型的运动传感器可以包括压力传感器芯片、霍尔元件、电光传感器等其中的一种或几种的组合。传感器170的位置可以根据传感器的类型来确定。例如,电光传感器(一种运动传感器)可以设置于键盘的琴键的下方或是附近,用于检测所述琴键的运动。传感器170可以对应键盘乐器系统100中的每一个琴键进行放置。在一些实施例中,传感器160可以检测由两个或两个以上琴键运动引起的事件,并且传感器170不能区分所述两个或两个以上琴键的不同。例如,两个相邻的琴键可以对应一个运动检测传感器。所述两个相邻琴键的运动引起的事件可以对应一个相同的声音。对本领域技术人员可知,一个琴键对应于音乐作品中一个音符。因此,根据琴键检测单元310检测到的与琴键运动事件相关的信号,可以产生一个或多个与所述运动事件相对应的音符。
踏板检测单元320可以检测踏板引起的事件。在一些实施例中,所述事件可以包括踏板的运动。踏板检测单元320可以包括一个或多个传感器(如传感器170)。传统的键盘乐器系统100包括三个踏板,如柔音踏板、延长音踏板和延音踏板。每一个踏板可以包括一个或多个传感器170,所述传感器170可用于检测用户作用于踏板所引起的事件。当踏板被驱动,踏板检测单元320可以检测所述踏板的运动(以及与所述踏板运动相关的信息,例如速度、踏板的位移以及施加于踏板的力)。例如,当用户踏压柔音踏板,踏板检测单元320中包含的传感器170可以检测到响应于所述踏压事件的信号。根据所述信号,一个或多个与柔音踏板所引起的柔音效应相对应的音符可以被确定。
琴槌检测单元330可以检测由琴槌引起的一个或多个事件。琴键和/或踏板的机械运动可以引起相应琴槌的运动。琴键和/或踏板的机械运动可以使琴槌发生运动。琴槌检测单元330可以检测由琴槌引起的各种事件。典型的琴槌引起的事件可以包含琴槌运动的速度、琴槌的敲击强度、运动持续时间、运动频率等其中的一种或几种的组合。琴槌检测单元330可以包括一个或多个传感器(如传感器170),传感器可以安装于所述琴槌和/或琴弦上或所述琴槌和/或琴弦的外部。例如,电光传感器(一种运动检测传感器)可以设置于琴槌与相应的琴弦之间。当琴槌敲击相应的琴弦,所述电光传感器可以检测由所述琴槌引起的敲击事件,并相应地产生信号。又例如,强度检测传感器可以设置于所述琴槌上或外部和/或琴弦上。当琴槌敲击琴弦,所述强度检测传感器可以检测所述敲击的强度,并相应地产生信号。根据所述信号,可以产生一个或多个指示重音的音符。
琴弦检测单元340可以检测琴弦引起的一个或多个事件。对于本领域技术人员可知,每一个音符对应的声音都可以是一根琴弦,或者是两根或三根琴弦的组合,在特定的频率上振动引起的。琴槌敲击琴弦可以使得琴弦产生振动。琴键和/或踏板可以引起琴槌敲击琴弦。琴弦检测单元340可以检测由琴弦的振动引起的事件。例如,当琴弦振动时,包括在琴弦检测单元340中的传感器(如张力传感器)可以检测到琴弦的张力。在一些实施例中,琴弦检测单元340可以包括一个或多个传感器(如传感器170)。琴弦检测单元340中的传感器170可以设置于琴弦上或琴弦的附近。在一些实施例中,如果传感器160安装于琴弦上,琴弦的振动参数可能发生改变。琴弦产生的声音(即,音乐曲调)也会发生改变,因此传感器170可以安装于琴弦的附近。
时间标记检测单元350可以根据用户表现确定一个或多个指示音乐节奏(如,节拍)的时间标记。换句话说,时间标记检测单元350可以确定对应于用户表现时刻的时间标记。所述用户表现包括但不限于点头、摇头、手势或特定发音等。在一些实施例中,用户可以自定义设置所述表现以用来表示音乐节奏(如,节拍)。时间标记检测单元350可以包括一个或多个传感器,用以检测所述时间标记。在本申请中,包括在所述时间标记检测单元350内的传感器还可以成为第二传感器。例如,假设点头或摇头作为指示音乐节奏(如,节拍)的信号,摄像机(即第二传感器)可以用于获取点头或摇头的图片,时间标记检测单元350根据所述点头或摇头图片确定点头或摇头对应的时间。又例如,假设用户发出的特定声音(如,哼唱)作为指示音乐节奏的信号,语音传感器(即第二传感器)可以检测到所述特定声音,时间标记检测单元350确定与所述特定声音发生的时刻对应的时间标记。
需要注意的是,以上对于信号获取模块220的描述,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。诸如此类的变形,均在本申请的保护范围之内。信号获取模块220内的一些单元可以集成在一个单元内。例如,琴槌检测单元330和琴弦检测单元340可以集成在一个单元内。
图4是根据本申请的一些实施例所示的琴键运动检测装置的一种示例性结构图。以下描述的是通过传感器检测键盘上的琴键的运动的机构。传感器可以放置于琴键的下方用于检测琴键的运动。如图4所示,传感器400(例如,电光传感器)可以包括发光元件402和光检测元件403。发光元件402可以包括可见光发光二极管、激光发光二极管、红外发光二极管、激光二极管、光电管等其中一种或几种的组合。光检测元件403包括光电器、有源像素传感器(APS)、测辐射热计、电荷耦合器件(CCD)、气体电离探测器、光敏电阻、光敏三极管等其中一种或几种的组合。发光元件402可以产生具有不同波长的光。例如,发光元件402可以产生可见光、红外光、紫外(UV)光等。在一些实施例中,发光元件402发射的光的波长可以由一个或多个电机使用脉宽调制(PWM)机制来控制。光检测元件403可以接收光并将其转换成电子信号(例如,电流信号、电压信号等)。
在一些实施例中,发光元件402和光检测元件403可以安装于琴键401的下方。在一些实施例中,非透明部件(例如,板404)可以安装于琴键401的表面。板404可阻挡发光元件402发射的光到达光检测元件403。板404可以安装于琴键401的下表面(例如,琴键401的底部)。发光元件402可以不断地发射指向光检测元件403的光。另外,发光元件402也可以连续地发光。例如,在两个光发射之间可以存在一定的等待时间。所述等待时间可以由控制单元241根据用户按下琴键的频率来调整。
在一些实施例中,发光元件402可以发射光束405。当琴键401没有按下时,键401停留在“顶部”位置。当用户按下琴键401时,琴键可以从“顶部”位置向下移动。当琴键401没有进一步向下移动时,琴键到达到一个“结束”的位置。板404可以随着琴键401移动,并可以阻挡所有或部分的光束405。光检测元件403检测到的光的量可能因非透明的板404的移动和位置而变化。例如,当琴键401向着“结束”位置移动并阻挡至少一部分光束405时,光检测元件403检测到的光量可能会减少。又例如,当琴键401向“顶部”位置移动时,由光检测元件403检测到的光量可能会增加。光检测元件403可以确定接收到的光的量随时间变化的信息,并且可以将所述信息转换成一个或多个电信号(例如,一个或多个琴键信号)。所述一个或多个电信号可以被发送到信号处理模块220做进一步处理。
图5是根据本申请的一些实施例所示的琴键运动检测装置的一种示例性结构图。除了外形,图5中所示的组件与图4所示的组件可以有相同的结构。在一些实施例中,板404可以移除。发光元件502和光检测元件503可放置在琴键501的上方或下方,并且发光元件502发射的光束504可以不用直接指向光检测元件503。光束504可以指向琴键501并被琴键501反射。反射光505可以指向光检测元件503并且可以由光检测元件503接收。当用户按下琴键501时,琴键可以从“顶部”位置向下移动至“结束”位置。光束504从发光元件502到光探测元件503的距离可以取决于琴键的移动。例如,当按下琴键501,传感器500和琴键501之间的距离可以改变。光束504的传播距离可以相应地改变。光检测元件503可以确定光发射和光接收之间的时间间隔以记录光束504的传播距离的变化。光检测元件503可以将所述距离变化转换成一个或多个电信号。因此,琴键501的运动可以通过传感器500记录。
需要注意的是,以上对于发光元件和光检测元件的描述,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。诸如此类的变形,均在本申请的保护范围之内。
图4和图5所述的琴键运动检测装置仅用于示例。对于本领域技术人员可知,与图4和/或图5所述的传感器相似或形同的传感器也可用于检测键盘乐器中其它执行装置的状态变化(如踏板、琴槌、琴弦)。
图6是根据本申请的一些实施例所示的信号处理模块230的一种示例性示意图。所述信号处理模块230可以用于处理检测到的信号,比如,第一信号和第二信号,并生成音乐乐谱。所述音乐乐谱记录了用户作曲时创作的音乐曲调和音乐节奏。在一些实施例中,信号处理模块230可以通过信号处理电路160来实现。信号处理电路230包括曲调生成单元610、节奏生成单元620和乐谱生成单元630。
曲调生成单元610可以产生音乐曲调。例如,曲调生成单元610可以根据第一信号生成音乐曲调,所述第一信号指示键盘乐器中执行装置的状态变化。第一信号可以包括琴键敲击数据、踏板踏压数据、琴槌敲击数据和/或琴弦敲击数据。信号获取模块220中的一个或多个第一传感器可以获取所述第一信号,第一信号可以以电信号形式存在。例如,曲调生成单元610基于第一信号产生与用户作曲一致的音高。在一些实施例中,曲调生成单元610可以将第一信号转化为音乐旋律。在一些实施例中,曲调生成单元610可以放大并传递所述第一信号到声音系统(如扬声器),以形成乐声。
节奏生成单元620可以产生音乐节奏。例如,节奏生成单元620可以基于第二信号产生音乐节奏,所述第二信号指示多个时间标记。在一些实施例中,时间标记指用户在弹奏键盘乐器时用户表现发生的时刻。所述第二信号可以被时间标记检测单元350中的一个或多个第二传感器检测获得。节奏生成单元620可以基于多个时间标记中的两个时间标记生成多个小节。根据获得的时间标记,节奏生成单元620可以进一步记录并将生成的音乐曲调划分到对应的小节中。应当知道的是,不同小节的音乐曲调可以形成音乐节奏。例如,在用户弹奏键盘乐器期间,用户可以在任意时刻随机将其所弹奏的曲调划分到用户想要的小节中。又例如,用户在创作完第一段音乐作品后,根据在时刻A处的用户表现(如,点头动作),第一时间标记可以被记录。用户可以继续创作第二段音乐作品,然后,根据在时刻B处的用户表现(如,点头动作),第二时间标记可以被记录。相似地,与创作所述音乐作品相关的多个时间标记被记录。节奏生成单元620根据每两个相邻的时间标记内创作的音乐生成了音乐节奏。
乐谱生成单元630可以基于音乐曲调和音乐节奏生成音乐乐谱。在一些实施例中,乐谱生成单元630可以基于音乐曲调生成多个音符。乐谱生成单元630基于音乐节奏将所述音符划分到对应的小节中。乐谱生成单元630基于所述划分好的音符进而确定音乐乐谱。在一些实施例中,乐谱生成单元630可以基于所述划分的音符和一个或多个作曲参数确定音乐乐谱。所述作曲参数可以包括但不限于包括拍号、调号、谱号、小节数等。在一些实施例中,乐谱生成单元630可以将音乐乐谱发送给用户界面进行显示。在一些实施例中,所述音乐乐谱可以存储在MIDI文件中。
需要注意的是,以上对于信号处理模块230的描述,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。诸如此类的变形,均在本申请的保护范围之内。信号处理模块230内的一些单元可以集成在一个单元内。例如,曲调生成单元610和节奏生成单元620可以集成在一个单元内。
图7是根据本申请的一些实施例所示的生成键盘乐器系统中乐谱的一种示例性流程图。所述键盘乐器系统中的处理器可以执行所述过程700。例如,所述过程700可以作为存储在非暂时性计算机可读介质(如,存储器130、存储设备140)的指令(如,应用程序)来实现。处理器可以执行该指令,并且可以通过接受和/或发送电信号的方式来执行所述过程700。
在710,处理器(如,信号获取模块220)可以接收第一信号,所述第一信号用于指示键盘乐器系统100中执行装置的状态变化。典型的执行装置包括但不限于琴键、踏板、琴槌、琴弦等。对于常见的键盘乐器,如钢琴,钢琴音板的琴弦排列成八度音阶,可以通过按压钢琴的各种琴键和/或踏板来演奏,使得相应的琴槌敲击它们各自的琴弦,从而使它们以共振频率振动以产生相应的特征声音。所述特征声音可以用音符表示。换句话说,通过键盘乐器弹奏的声音取决于至少一个执行装置的状态变化。所述状态变化至少包括琴键的位置变化、踏板的位置变化、琴槌的位置变化或琴弦的振动变化中的一种。例如,如图3所述,信号获取模块220中的琴键检测单元310可以检测琴键的位置变化,踏板检测单元320可以检测踏板的位置变化,琴槌检测单元330可以检测琴槌的位置变化,琴弦检测单元340可以检测琴弦的振动变化。应当知道的是,上述状态变化检测单元中可以包括一个或多个传感器,以用于检测所述状态变化。在本申请中,用于检测执行装置状态变化的一个或多个传感器也被称为第一传感器。
在一些实施例中,第一传感器可以包括各种类型的传感器,用于检测执行装置的运动。例如,典型的第一传感器包括电光传感器、电磁传感器、霍尔传感器、振动传感器、超声波传感器、激光传感器、运动传感器、压电传感器、压力传感器、扭矩传感器、压差传感器、电阻式传感器、电导传感器、倾斜传感器或其它可执行此处描述的功能的电路和/或传感器等其中一种或几种的组合。在一些实施例中,第一传感器可以将产生的与执行装置状态变化相关的第一信号发送给处理器(如信号处理模块230)用于进一步处理。
在720,处理器(如,信号获取模块220)可以接收第二信号,所述第二信号指示时间标记。所述时间标记是指用户表现发生的时刻。例如,当用户执行特定表现时,如点头、摇头、或哼唱,第二传感器或其他的检测元件可以产生表征记录用户表现的时间标记的第二信号。第二传感器可以进一步将第二信号传递给处理器(如,信号处理模块230)做进一步处理。应当知道的是,当用户通过键盘乐器创建乐曲时,在乐谱中,乐曲可以被划分成乐谱中的小节。在两组小节之间的每个小节可以表示正在弹奏的乐曲的节拍或脉冲的少量时间。节拍可以用来表征乐曲的节奏。在这种情况下,时间标记可以被指定为节拍的指示符。因此,两个时间标记之间的乐曲可以被指定为节拍。
如图3所述,时间标记检测单元350包括第二传感器。第二传感器的类型可以根据与音乐节奏相关的时间标记的检测方法进行设置,所述音乐节奏基于用户表现获得。例如,假设点头或摇头作为指示音乐节奏(如,节拍)的信号,摄像机(即第二传感器)可以用于获取点头或摇头的图片,并记录点头或摇头发生的时间。又例如,假设用户发出的特定声音(如,哼唱)作为指示音乐节奏的信号,语音传感器(即第二传感器)可以检测到所述特定声音并记录该声音发生的时间。又例如,假设扩展踏板的位置(如,运动)变化作为指示音乐节奏的信号,设置在所述扩展踏板上的运动传感器可以检测到所述信号。其中,所述扩展踏板可以是区别于键盘乐器中三种常见的踏板,如柔音踏板、延长音踏板和延音踏板。当用户踏压所述扩展踏板时,相应的时间标记被记录。对于本领域技术人员而言,其它各种传感器也可以适用于检测指示音乐节奏的信号。
在730,处理器(如,曲调生成单元610)可以根据第一信号产生音乐曲调。在一些实施例中,第一信号可以包括琴键敲击数据、踏板踏压数据、琴槌敲击数据和/或琴弦敲击数据等。在一些实施例中,信号处理电路160可以将所述第一信号转换为声音,即音乐曲调。典型的信号处理电路160可以包括信号放大电路、信号转换电路、信号滤波电路、信道选择电路、模数转换器或其它任何能够执行此处所述功能的电路等其中一种或多种的组合。在一些实施例中,所述确定的音乐曲调可以通过声音系统(如,扬声器,媒体播放器等)进行演奏。在一些实施例中,所述确定的音乐曲调也可以以MIDI文件储存。在一些实施例中,所述音乐曲调可以被发送至处理器(如,信号处理模块230中的乐谱生成单元630)以确定对应的音符信号。
在740,处理器(如,音乐节奏生成单元620)可以根据第二信号确定乐谱的音乐节奏。所述第二信号可以包括对应于用户表现的时间标记数据。在一些实施例中,处理器(如,音乐节奏生成单元620)可以确定根据两个相邻的时间标记确定一个节拍时长。所述音乐节奏可以基于多个节拍来确定。在一些实施例中,两个相邻时间标记之间可以有两个或更多节拍。例如,一个节拍可以基于两个相邻时间标记之间的平均持续时间来划分。可选地,一个节拍也可以基于两个相邻时间标记之间的持续时间的预设比例(如,70%)来划分。对于本领域技术人员来说,节拍可以包括一个或多个音符。典型的音符可以包括全音符,半音符,四分音符,八分音符,十六分音符,三十二分音符,六十四分音符等或其任何组合。在一些实施例中,所述音乐节奏可以被发送到处理器(例如,乐谱生成单元630)做进一步处理。
在一些实施例中,当用户通过弹奏键盘乐器(如,按压琴键或踏压踏板)来创作音乐作品时,可以根据用户表现随机并同步地记录所述节拍。所述节拍可以基于演奏发生时的时间标记来确定。
在750,处理器(如,乐谱生成单元630)可以根据所述音乐曲调和音乐节奏生成音乐乐谱。在一些实施例中,乐谱中的音符可以根据执行装置的状态变化来确定。例如,根据琴键和/或踏板的移动确定相应的音符。键盘乐器系统100中的每个琴键可以对应于一个特征音符。乐谱中的音符可以用来表征所述音乐曲调。在一些实施例中,处理器可以根据音乐节奏确定多个小节。例如,基于多个时间标记中的两个时间标记来确定一个小节。在一些实施例中,对应于时间标记的小节结尾(或小节线)可以在乐谱中表示。在两个小节线之间的每个小节可以表示一个节拍的持续时间。在一些实施例中,处理器可以将多个音符划分到所述小节中。例如,处理器可以将对应于第一长度的音乐曲调的音符划分到第一小节,对应于第二长度的音乐曲调的音符划分到第二小节。音乐乐谱可以进一步基于划分好的音符集合来确定。
在一些实施例中,乐谱也可以取决于一个或多个作曲参数。典型的作曲参数包括拍号、调号、谱号、小节数等,类似地或者其结合。对于典型的乐谱(例如,五线谱),在五线谱的开头会有一个拍号。拍号定义了乐曲的拍子。调号通常在谱号后标注并显示乐曲的音调。调号可以包括升号、降号和本位号。谱号可以定义乐曲的音高范围。谱号的功能是将单个音符分配给五线谱的特定线和/或空间。在一些实施例中,处理器(例如,乐谱生成单元630)在于生成乐谱时,需要考虑这些作曲参数。在这种情况下,乐谱可以根据所述划分的音符和一个或多个作曲参数来确定。用户可以通过用户界面输入与乐谱相关联的一个或多个作曲参数。
在一些实施例中,处理器(如乐谱生成单元630)可以将所确定的乐谱发送到用户界面。所述乐谱可以显示在用户界面上。在一些实施例中,用户可以通过用户界面修改乐谱。当处理器(如计算模块240中的修正单元244)接收到用于修改乐谱的一个或多个指令时,处理器可以基于所述一个或多个指令进一步修改乐谱。例如,如果用户想要移动某音符的位置,则用户可以直接将所述音符移动到用户界面上的目标位置。
图8是根据本申请的一些实施例所示的用户界面的一种示例性示意图。如图8所示,区域810表示作曲参数设置单元。相应的作曲参数可以基于用户的输入来设置。例如,用户可以点击作曲参数的区域来修改参数。又例如,用户也可以通过音频来修改作曲参数。图8所示仅用于示例,显示在用户界面800上的作曲参数不是穷尽的,并且不是限制性的。各种作曲参数可以被显示在用户界面800上。区域820表示在用户界面800上显示的所确定的乐谱。乐谱可以以各种形式存在,比如五线谱,简谱等。用户可以直接通过用户界面来修改乐谱。在一些实施例中,不同小节内的音符可以以不同颜色和/或相同颜色显示。
需要注意的是,所有这些以及类似的术语都要与适当的物理量联系起来,且仅仅是运用于这些量的方便描述的标签。除非另有明确规定的,申请中采用以下词,诸如“发送”、“接收”、“生成”、“提供”、“计算”、“执行”、“存储”、“确定”、“获取”、“校正”、“记录”等指的是电脑系统或其它类似电子计算设备的动作和过程,此处所述的电脑系统的过程是对表现为电脑系统中的存储器或者寄存器中的物理量的数据进行操作和转化,使得它们变成同样展示在电脑系统的存储器、寄存器或者其他的数据存储、传输和显示设备中的类似的其他数据。
本申请中所采用的词语“第一”、“第二”、“第三”、“第四”等是用于区分不同元素的标签,并不一定有与它们的指定序数相关的序数意义。
在一些实施例中,任何合适的计算机可读介质都可以用于存储用于执行本申请中所述过程的指令。例如,在一些实施例中,计算机可读介质可以是临时性的或者非临时性的。例如,非临时性的计算机可读介质可以包括例如磁介质(如硬盘、软盘等)、光介质(如光盘、数字视频光盘、Blu-ray光盘等)、半导体介质(如闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)等任何在传播过程中所记录的数据不会稍纵即逝或者介质缺乏持久性的有形介质。再例如,临时性的计算机可读介质包括网络上的信号、连接器、导体、光纤、电路等任何在传输中没有持久性的无形介质。
需要注意的是,上述描写的智能钢琴系统中的钢琴,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对实施上述方法和系统的应用领域形式和细节上的各种修正和改变。然而,这些修正和改变仍然在本申请的保护范围之内。
此外,处理元素或者序列的列举顺序、数字、字母或者其他名称的使用不是用于限制要求的过程和方法的。虽然上述披露中提及了多种例子,这里被认作是披露中的多种有用的实施例,需要明确的是这些细节都只是为了说明,并且本申请不受这些实施例的限制,但是相反的,是为了覆盖在本申请披露的范围和精神内的修改和同质设计。例如,虽然上述的各种部件是通过硬件设备执行的,但是也可以通过软件来执行,例如,安装在服务器或者移动设备上的软件。
同样,可以理解的是,在本发明实施例的前述描写中,各种特点有时会在一个实施例、图或者描述中展现,这是为了精简描述多种实施例。这种披露的方法不应被解释为发明的主体需要比权利要求中所描述的特征多。相反,发明的主体应具备比上述单一实施例更少的特征。
Claims (12)
1.一种生成乐谱的方法,包括:
通过第一传感器检测键盘乐器中执行装置的状态变化,并生成第一信号;
通过第二传感器检测与节拍相关的用户表现,并生成对应所述用户表现的多个时间标记的第二信号;
根据所述第一信号生成乐谱的曲调;
根据所述第二信号生成乐谱的节奏;以及
基于所述曲调和节奏生成乐谱。
2.如权利要求1所述的方法,其特征在于,所述方法进一步包括通过用户界面展示所述乐谱。
3.如权利要求2所述的方法,其特征在于,所述方法进一步包括通过用户界面接收一个或多个与乐谱相关的作曲参数的输入。
4.如权利要求3所述的方法,其特征在于,所述一个或多个与乐谱相关的作曲参数包括拍号、调号、谱号或小节数中的一个或多个。
5.如权利要求1所述的方法,其特征在于,所述基于所述曲调和节奏生成乐谱的方法进一步包括:
基于所述曲调生成多个音符;
基于所述节奏生成多个小节;
将所述生成的多个音符划分到所述生成的多个小节中;以及
基于所述划分好的音符和一个或多个与乐谱相关的作曲参数生成乐谱。
6.如权利要求5所述的方法,其特征在于,所述多个小节中的一个小节通过两个时间标记来确定。
7.如权利要求1所述的方法,其特征在于,所述执行装置至少包括琴键、踏板、琴槌、配重杆或琴弦中的一种。
8.如权利要求7所述的方法,其特征在于,所述执行装置的状态变化至少包括琴键的位置变化、踏板的位置变化、琴槌的位置变化或琴弦的振动状态变化中的一种。
9.如权利要求1所述的方法,其特征在于,所述方法进一步包括:
通过用户界面接收一个或多个指令,所述指令用于修改所述生成的乐谱;以及
基于所述一个或多个指令修改所述生成的乐谱。
10.一种生成乐谱的系统,其特征在于,所述系统包括:
存储设备,所述存储设备用于存储可执行指令;
第一传感器,所述第一传感器用于检测键盘乐器中执行装置的状态变化,并生成第一信号;
第二传感器,所述第二传感器用于检测与节拍相关的用户行为,并生成对应所述用户行为的多个时间标记的第二信号;以及
处理器,所述处理器用于获取第一信号和第二信号;并
根据所述第一信号生成乐谱的曲调;
根据所述第二信号生成乐谱的节奏;以及
基于所述曲调和节奏生成乐谱。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行如权利要求1-8任一所述的生成乐谱的方法。
12.一种基于用户表现生成乐谱的系统,其特征在于,所述系统包括信号获取模块和信号处理模块,其中,
所述信号获取模块用于:
检测键盘乐器中执行装置的状态变化,并生成第一信号;以及
用于生成指示多个时间标记的第二信号;
所述信号处理模块用于:
根据所述第一信号生成乐谱的曲调;
根据所述第二信号生成乐谱的节奏;以及
基于所述曲调和节奏生成乐谱。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810325653.5A CN110379400B (zh) | 2018-04-12 | 2018-04-12 | 一种用于生成乐谱的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810325653.5A CN110379400B (zh) | 2018-04-12 | 2018-04-12 | 一种用于生成乐谱的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110379400A true CN110379400A (zh) | 2019-10-25 |
CN110379400B CN110379400B (zh) | 2021-09-24 |
Family
ID=68243554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810325653.5A Active CN110379400B (zh) | 2018-04-12 | 2018-04-12 | 一种用于生成乐谱的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110379400B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113724673A (zh) * | 2021-07-07 | 2021-11-30 | 北京金三惠科技有限公司 | 节奏型编辑器构建及节奏型编辑器生成节奏并保存节奏的方法 |
US11527223B2 (en) * | 2018-04-12 | 2022-12-13 | Sunland Information Technology Co., Ltd. | System and method for generating musical score |
WO2023040332A1 (zh) * | 2021-09-16 | 2023-03-23 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种曲谱生成方法、电子设备及可读存储介质 |
CN115985273A (zh) * | 2023-03-21 | 2023-04-18 | 北京卓颜翰景科技有限公司 | 基于多传感器数据融合的记谱方法及系统 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1379898A (zh) * | 1999-09-16 | 2002-11-13 | 汉索尔索弗特有限公司 | 基于一个数字音乐文件演奏乐器的方法和装置 |
KR100664677B1 (ko) * | 2006-03-28 | 2007-01-03 | 주식회사 디오텍 | 휴대용 단말기에서의 음악 컨텐츠 생성 방법 |
CN101983403A (zh) * | 2008-07-29 | 2011-03-02 | 雅马哈株式会社 | 演奏相关信息输出装置、具有演奏相关信息输出装置的系统、以及电子乐器 |
JP4666591B2 (ja) * | 2005-03-15 | 2011-04-06 | 株式会社河合楽器製作所 | リズム練習システムおよびリズム練習システム用プログラム |
CN102014195A (zh) * | 2010-08-19 | 2011-04-13 | 上海酷吧信息技术有限公司 | 一种可生成音乐的手机及其实现方法 |
CN201994051U (zh) * | 2010-08-31 | 2011-09-28 | 朱海涛 | 一种键盘乐器辅助装置 |
US20120067196A1 (en) * | 2009-06-02 | 2012-03-22 | Indian Institute of Technology Autonomous Research and Educational Institution | System and method for scoring a singing voice |
US20130106689A1 (en) * | 2011-10-25 | 2013-05-02 | Kenneth Edward Salsman | Methods of operating systems having optical input devices |
CN103824565A (zh) * | 2014-02-26 | 2014-05-28 | 曾新 | 一种基于音符和时值建模的哼唱识谱方法及系统 |
CN103839559A (zh) * | 2012-11-20 | 2014-06-04 | 华为技术有限公司 | 音频文件制作方法及终端设备 |
CN103854644A (zh) * | 2012-12-05 | 2014-06-11 | 中国传媒大学 | 单声道多音音乐信号的自动转录方法及装置 |
CN104485090A (zh) * | 2014-12-12 | 2015-04-01 | 上海斐讯数据通信技术有限公司 | 乐谱生成方法及装置、移动终端 |
CN105632479A (zh) * | 2014-10-28 | 2016-06-01 | 富泰华工业(深圳)有限公司 | 音乐处理系统及方法 |
CN106409028A (zh) * | 2016-12-01 | 2017-02-15 | 平顶山学院 | 一种声乐发音训练装置及系统 |
CN106448630A (zh) * | 2016-09-09 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 歌曲的数字乐谱文件的生成方法和装置 |
CN106652984A (zh) * | 2016-10-11 | 2017-05-10 | 张文铂 | 一种使用计算机自动创作歌曲的方法 |
CN106782460A (zh) * | 2016-12-26 | 2017-05-31 | 广州酷狗计算机科技有限公司 | 生成乐谱的方法和装置 |
CN106935227A (zh) * | 2017-04-28 | 2017-07-07 | 安徽克洛斯威智能乐器科技有限公司 | 一种可创作和编曲的智能钢琴 |
CN206497597U (zh) * | 2016-11-22 | 2017-09-15 | 鞍山师范学院 | 一种用于声乐学习的手环 |
CN107274876A (zh) * | 2017-06-30 | 2017-10-20 | 武汉理工大学 | 一种听音绘谱仪 |
-
2018
- 2018-04-12 CN CN201810325653.5A patent/CN110379400B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1379898A (zh) * | 1999-09-16 | 2002-11-13 | 汉索尔索弗特有限公司 | 基于一个数字音乐文件演奏乐器的方法和装置 |
JP4666591B2 (ja) * | 2005-03-15 | 2011-04-06 | 株式会社河合楽器製作所 | リズム練習システムおよびリズム練習システム用プログラム |
KR100664677B1 (ko) * | 2006-03-28 | 2007-01-03 | 주식회사 디오텍 | 휴대용 단말기에서의 음악 컨텐츠 생성 방법 |
CN101983403A (zh) * | 2008-07-29 | 2011-03-02 | 雅马哈株式会社 | 演奏相关信息输出装置、具有演奏相关信息输出装置的系统、以及电子乐器 |
US20120067196A1 (en) * | 2009-06-02 | 2012-03-22 | Indian Institute of Technology Autonomous Research and Educational Institution | System and method for scoring a singing voice |
CN102014195A (zh) * | 2010-08-19 | 2011-04-13 | 上海酷吧信息技术有限公司 | 一种可生成音乐的手机及其实现方法 |
CN201994051U (zh) * | 2010-08-31 | 2011-09-28 | 朱海涛 | 一种键盘乐器辅助装置 |
US20130106689A1 (en) * | 2011-10-25 | 2013-05-02 | Kenneth Edward Salsman | Methods of operating systems having optical input devices |
CN103839559A (zh) * | 2012-11-20 | 2014-06-04 | 华为技术有限公司 | 音频文件制作方法及终端设备 |
CN103854644A (zh) * | 2012-12-05 | 2014-06-11 | 中国传媒大学 | 单声道多音音乐信号的自动转录方法及装置 |
CN103824565A (zh) * | 2014-02-26 | 2014-05-28 | 曾新 | 一种基于音符和时值建模的哼唱识谱方法及系统 |
CN105632479A (zh) * | 2014-10-28 | 2016-06-01 | 富泰华工业(深圳)有限公司 | 音乐处理系统及方法 |
CN104485090A (zh) * | 2014-12-12 | 2015-04-01 | 上海斐讯数据通信技术有限公司 | 乐谱生成方法及装置、移动终端 |
CN106448630A (zh) * | 2016-09-09 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 歌曲的数字乐谱文件的生成方法和装置 |
CN106652984A (zh) * | 2016-10-11 | 2017-05-10 | 张文铂 | 一种使用计算机自动创作歌曲的方法 |
CN206497597U (zh) * | 2016-11-22 | 2017-09-15 | 鞍山师范学院 | 一种用于声乐学习的手环 |
CN106409028A (zh) * | 2016-12-01 | 2017-02-15 | 平顶山学院 | 一种声乐发音训练装置及系统 |
CN106782460A (zh) * | 2016-12-26 | 2017-05-31 | 广州酷狗计算机科技有限公司 | 生成乐谱的方法和装置 |
CN106935227A (zh) * | 2017-04-28 | 2017-07-07 | 安徽克洛斯威智能乐器科技有限公司 | 一种可创作和编曲的智能钢琴 |
CN107274876A (zh) * | 2017-06-30 | 2017-10-20 | 武汉理工大学 | 一种听音绘谱仪 |
Non-Patent Citations (2)
Title |
---|
YEN-FANG LI ET AL: "Development on an intelligent music score input system — Applied for the piano robot", 《2016 ASIA-PACIFIC CONFERENCE ON INTELLIGENT ROBOT SYSTEMS (ACIRS)》 * |
曹西征等: "基于音高旋律元的柔和乐曲的自动作曲算法", 《自动化学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11527223B2 (en) * | 2018-04-12 | 2022-12-13 | Sunland Information Technology Co., Ltd. | System and method for generating musical score |
CN113724673A (zh) * | 2021-07-07 | 2021-11-30 | 北京金三惠科技有限公司 | 节奏型编辑器构建及节奏型编辑器生成节奏并保存节奏的方法 |
CN113724673B (zh) * | 2021-07-07 | 2024-04-02 | 北京金三惠科技有限公司 | 节奏型编辑器构建及节奏型编辑器生成节奏并保存节奏的方法 |
WO2023040332A1 (zh) * | 2021-09-16 | 2023-03-23 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种曲谱生成方法、电子设备及可读存储介质 |
CN115985273A (zh) * | 2023-03-21 | 2023-04-18 | 北京卓颜翰景科技有限公司 | 基于多传感器数据融合的记谱方法及系统 |
CN115985273B (zh) * | 2023-03-21 | 2023-12-26 | 北京卓颜翰景科技有限公司 | 基于多传感器数据融合的记谱方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110379400B (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10950137B2 (en) | Smart piano system | |
CN110379400A (zh) | 一种用于生成乐谱的方法及系统 | |
Kapur et al. | 2004: The Electronic Sitar Controller | |
US11527223B2 (en) | System and method for generating musical score | |
US10140967B2 (en) | Musical instrument with intelligent interface | |
US10553188B2 (en) | Musical attribution in a two-dimensional digital representation | |
WO2018068316A1 (en) | Methods and systems for synchronizing midi file with external information | |
Kapur et al. | Preservation and extension of traditional techniques: digitizing north indian performance | |
US20230351989A1 (en) | Information processing system, electronic musical instrument, and information processing method | |
Overholt | Advancements in violin-related human-computer interaction | |
Frisson et al. | Multimodal guitar: Performance toolbox and study workbench | |
US8912420B2 (en) | Enhancing music | |
WO2022172732A1 (ja) | 情報処理システム、電子楽器、情報処理方法および機械学習システム | |
JP7259987B2 (ja) | 情報処理システム、鍵盤楽器、情報処理方法およびプログラム | |
US20230368760A1 (en) | Audio analysis system, electronic musical instrument, and audio analysis method | |
WO2019079923A1 (en) | MUSICAL SYSTEM AND ASSOCIATED METHOD | |
Britt | Actuated acoustic instruments: Relationships and mind-sets with" Fill Up Jar" and" Ctenophora"(original music compositions) | |
JP2023142375A (ja) | 情報処理方法、情報処理システムおよびプログラム | |
KR20240010344A (ko) | 악기 연주 교습 방법 및 악기 연주 교습 장치 | |
Jordà Puig | Digital Lutherie--Crafting musical computers for new musics performance and improvisation | |
Nymoen | The Nymophone2: a study of a new multidimensionally controllable musical instrument | |
KR20240039404A (ko) | 전자 장치 및 그의 제어 방법 | |
Kokoras | Fab Synthesis: Performing sound, from Musique Concrète to Mechatronics | |
TW202006703A (zh) | 光學拾音器以及弦樂轉譜系統 | |
WO2019092780A1 (ja) | 評価装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Liu Xiaolu Inventor after: Yan Bin Inventor after: Zhu Zhe Inventor after: Jin Liren Inventor after: Hou Xinle Inventor after: He Mo Inventor before: Liu Xiaolu Inventor before: Yan Bin Inventor before: Zhu Zhe Inventor before: Jin Liren Inventor before: Hou Xinle |