CN110192242A - 用于钢琴系统的琴键辅助用户输入系统和方法 - Google Patents

Abstract

一种琴键辅助用户输入的钢琴系统，包括一个或以上执行设备、一个或以上传感器、至少一个信号处理电路、处理器和显示器。所述一个或以上传感器可以被配置为检测指示所述一个或以上执行设备中的至少一个的状态变化的信号。所述至少一个信号处理电路被配置为响应于由所述一个或以上传感器检测到的所述信号，生成用于控制计算机设备的输入的控制信号。处理器被配置为处理所述控制信号以确定在用户界面上显示的内容。显示器被配置为在所述用户界面上显示所述确定的内容。

Description

用于钢琴系统的琴键辅助用户输入系统和方法

技术领域

本申请涉及钢琴系统，更具体地，涉及配备有信息输入系统的钢琴系统。

背景技术

钢琴(例如，原声钢琴)是使用键盘演奏的乐器。作为世界上最流行的乐器之一，钢琴今天被广泛使用。钢琴学生可能会发现难以学习指法手型、指法顺序、踏板技术和其他钢琴技巧。智能钢琴是一个可视化和个性化的教学系统，旨在帮助学生学习钢琴。需要为用户提供一个利用钢琴的琴键或踏板的用户界面。

发明内容

根据本申请的一个方面，具有琴键辅助用户输入的钢琴系统可包括一个或以上执行设备、一个或以上传感器、至少一个信号处理电路、处理器和显示器。所述一个或以上传感器可以被配置为检测指示所述一个或以上执行设备中的至少一个的状态变化的信号。所述至少一个信号处理电路被配置为响应于由所述一个或以上传感器检测到的所述信号，生成用于控制计算机设备的输入的控制信号。处理器被配置为处理所述控制信号以确定在用户界面上显示的内容。显示器被配置为在所述用户界面上显示所述确定的内容。

在一些实施例中，钢琴系统还可包括一个或以上存储介质。一个或以上存储介质可以包括一组指令，用于处理控制信号以确定在用户界面上显示的信息。

在一些实施例中，控制信号可以包括自动播放控制信号。钢琴系统还可以包括自动播放执行器。自动播放执行器可以被配置为在自动播放控制信号中执行钢琴响应的自动播放操作。

在一些实施例中，一个或以上执行设备可包括一个或以上琴键、一个或以上踏板、一个或以上琴锤，以及一个或以上琴弦。

在一些实施例中，一个或以上执行设备中的至少一个的状态改变可以包括以下中的至少一个：一个或以上琴键中的至少一个的位置变化、一个或以上琴锤中的至少一个的位置变化、一个或以上踏板中的至少一个的位置变化、一个或以上琴弦中的至少一个的振动状态变化和钢琴的声音频率变化。

在一些实施例中，一个或以上执行设备中的至少一个的状态改变可以由钢琴上的用户操作引起。

在一些实施例中，控制信号可以包括人机接口设备(HID)信号。

在一些实施例中，计算机设备与所述钢琴系统可拆卸连接，并且控制信号可以从钢琴系统无线发送到计算机设备。

在一些实施例中，用户界面的所述内容分别包括至少两个按键，每个按键可点击，响应于所述钢琴系统的至少一个琴键被按压，和显示一个或以上输入的区域，响应于所述钢琴系统的一个或以上琴键被按压。

在一些实施例中，用户界面的所述内容还包括指示区域，其中所述指示区域包括至少两个字符和一个或以上符号，每个表示所述钢琴系统的所述一个或以上琴键中的一个与所述至少两个字符和所述一个或以上符号中的一个之间的对应关系。

根据本申请的另一方面，一种在钢琴系统中琴键辅助用户输入的方法，所述方法在计算机设备上实现，所述计算机设备具有至少一个处理器、存储器介质和连接到网络的通信平台。所述方法包括：通过一个或以上传感器检测表示所述钢琴系统的一个或以上执行设备中的至少一个的状态变化的信号；响应于由所述一个或以上传感器检测到的所述信号，通过至少一个信号处理电路产生控制信号，以控制计算机设备的输入；所述至少一个处理器通过处理所述控制信号，确定在用户界面上显示的内容；以及在所述用户界面上显示所述确定的内容。

本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：

图1是根据本申请的一些实施例所示的示例性钢琴系统的示意图。

图2是根据本申请的一些实施例所示的钢琴系统的显示器上的示例用户界面的示意图。

图3是根据本申请的一些实施例所示的示例性钢琴系统的设备图。

图4是根据本申请的一些实施例所示的示例性钢琴系统的框图。

图5是根据本申请的一些实施例所示的示例性钢琴系统的示意图。

图6是根据本申请的一些实施例所示的示例性信号获取模块的框图。

图7是根据本申请的一些实施例所示的示例性琴键探测单元的设备图。

图8是根据本申请的一些实施例所示的示例性琴键探测单元的设备图。

图9是根据本申请的一些实施例所示的示例性信号处理模块的框图。

图10是根据本申请的一些实施例所示的控制用户界面的示例性过程的流程图。

图11是根据本申请的一些实施例所示的示例性用户界面的示意图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其他情况下，为了避免不必要地模糊本申请的一些方面，本申请已经以相对高级别概略地描述了公知的方法、程序、系统、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。

应当理解的是，上下文中描述的术语“系统”、“单元”、“模块”和/或“引擎”，用于区分不同级别的部件、元件、组件、部件或装配。然而，如果其他词语可以实现相同的目的，则可通过其他表达来替换所述词语。

应当理解，当单元、模块或引擎被称为“在。。。上”、“连接到”或“耦合到”另一个单元、模块或引擎时，除非上下文另有明确说明，否则它可以直接在其他单元、模块或引擎上，连接或耦合到或与其通信，或者可以存在中间单元、模块或引擎。在本申请中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。

这里使用的术语仅用于描述特定示例和实施例的目的，而不是限制性的。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

图1是根据本申请的一些实施例所示的示例性钢琴系统的示意图。钢琴系统100可以包括具有至少两个琴键的键盘110、一个或以上踏板120和显示器130。在一些实施例中，显示器130可配置有钢琴系统100并设置在键盘110上方(如图1所示)。设置在键盘110上方的显示器130的长度可以与键盘110的长度相同或者小于键盘110的长度。在一些实施例中，如果显示器130的长度与键盘110相同，则显示器130上显示的模拟键盘器的长度可以与键盘110的长度相同。显示器130可以通过支架(图中未示出)安装到钢琴系统110。在一些实施例中，显示器130可以无线连接到钢琴系统100的一个或以上组件。在一些实施例中，可以在显示器130上显示用户界面，以供用户与钢琴系统100交互。用户可以使用键盘110的一个或以上琴键和/或一个或以上踏板120来控制钢琴系统100。在一些实施例中，可以根据用户界面上显示的指令或操作建议来执行控制。在一些实施例中，用户可以在用户界面上没有显示操作建议的情况下执行控制。例如，按下一个或以上固定的琴键或踏板可以表示由钢琴系统100预设的固定操作指令。固定操作指令可以记录在钢琴系统100的用户手册中。用户可以通过查阅用户手册而不是遵循用户界面上显示的操作建议来操作。用户在用户界面上执行的操作可以包括键入字符、选择歌曲、移动光标、点击按键等，或其组合。包括在钢琴系统100中的其他组件可包括但不限于音频发生器、钢琴线、阻尼器、音板、琴锤等，或其组合。

图2是根据本申请的一些实施例所示的钢琴系统的显示器上的示例用户界面的示意图。在一些实施例中，可以在用户界面200上显示一个或以上按键210和光标220。当操作其应用软件时，用户界面200可以在钢琴系统100的操作期间显示一个或以上的实时性能得分。在用户界面200上，可以在显示器130的主区域中显示乐谱。可以围绕乐谱显示一个或以上按键210。一个或以上按键210中的一个可表示对钢琴系统100的一种操作。例如，当钢琴系统被配置为自动播放歌曲时，一个或以上按键210中的一个可以表示开始播放。在一些其他实施例中，一个或以上按键可表示至少两个个体功能。示例性功能可以包括停止播放、重复、加速、确认操作等，或其组合。在一些实施例中，用户界面200可以显示由键盘110的至少两个琴键控制的一个或以上按键230，以便在底部显示。可以在一个或以上按键230的每个下方提供实线并且与键盘110的琴键对齐。对齐可以指示可以通过按下键盘110的相应琴键来按压一个或以上按键230中的每一个。因此，根据本申请的琴键按压方法便于用户按下用户界面底部的按键显示器。在一些实施例中，显示在用户界面顶部的一个或以上按键210中的一个可以通过光标220触发。在一些其他实施例中，可以通过键盘110上的至少两个按压操作来控制光标220移动到按键。就像鼠标点击一样，按下琴键可以模拟点击操作，点击光标停在的按键。

图3是根据本申请的一些实施例所示的示例性钢琴系统的设备图。如图3所示，钢琴系统100可包括数据总线310、处理器320、内存330、存储器340、显示器350、信号处理电路360、一个或多个传感器370、自动播放执行器380、执行设备390、I/O设备3100，和/或用于提供钢琴系统100的任何其他组件。钢琴系统100中可以包括更多或更少的部件，而不失一般性及其功能。例如，钢琴系统100的两个组件可以集成到单个组件中。又例如，钢琴系统100的组件之一可包括两个或以上其他组件。这些组件可以分别通过数据总线310集成。数据总线310可用于在上面披露的组件之间传输数据。

在一些实施例中，处理器320可以被配置为处理通过按下琴键或踏板而生成的控制信号。仅作为示例，处理器320可以包括微控制器、精简指令集计算机(RISC)、专门应用集成电路(ASIC)、专用指令处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理运算处理器(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程逻辑门阵列(FPGA)、高级RISC机(ARM)，或能够执行计算机程序指令的任何其他合适的电路或处理器等，或其任意组合。内存330可以被配置在钢琴系统100的操作期间存储数据。内存330可以包括随机存取内存(RAM)、动态随机存取内存(DRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)、零电容随机存取内存(Z-RAM)、只读内存(ROM)、掩码只读内存(MROM)、可编程只读内存(PROM)、现场可编程只读内存(FPROM)、一次性可编程非易失性内存(OTP NVM)，以及能够执行本文所述功能等的任何其他电路和/或内存，或其任何组合。存储器340可以被配置存储一些歌曲或用户信息。存储器340可以包括直接连接存储器(DAS)、连接结构的存储器(FAS)、存储器区域网络(SAN)、网络连接的存储器(NAS)、能够执行本文所述功能的任何其他电路和/或存储器等，或其任何组合。显示器350可以被配置为显示用户界面。显示器350包括电致发光显示器(ELD)、发光二极管显示器(LED)、阴极射线管(CRT)、液晶显示器(LCD)、等离子显示板(PDP)、有机发光二极管(OLED)、有机发光晶体管(OLET)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点显示器(QD-LED)、铁电液晶显示器(FLCD)、望远镜像素显示器(TPO)、激光驱动荧光显示(LPD)、能够执行本文所述功能的任何其他电路和/或显示器等，或其任何组合。通常，处理器320、内存330、存储器340、显示器350和一些其他组件可以集成到一个设备中，例如台式机、膝上型计算机、移动电话、平板计算机、可穿戴计算设备等，或其组合。

信号处理电路360可被配置为处理由传感器370检测到的或从任何其他组件接收的用于提供给钢琴系统100的信号。示例性信号处理电路360可包括信号放大电路、信号转换电路、信号滤波电路，和能够执行本文所述功能的任何其他电路等，或其任何组合。传感器370可以被配置用于监视由钢琴上的演奏者执行的任何操作并相应地生成音乐数据。传感器370可包括电流传感器、电压检测器、位置传感器、压力传感器、能够执行本文所述功能的任何其他电路和/或传感器等，或其任何组合。

自动播放执行器380可以被配置为接收由传感器370产生的音乐数据，并通过与钢琴系统100的其他组件协作来产生自动播放命令。示例性音乐数据可以包括按下或释放的琴键，操作一个或以上踏板的时间，在踏板上接收的压力水平，将要产生的一个或以上音符等。自动播放执行器380可以基于音乐数据生成声音和/或图像。自动播放执行器380可包括能够执行本文所述功能的任何电路和/或设备。

执行设备390可以被配置用于执行由自动播放执行器380生成的自动播放命令。执行设备390可以是执行机械运动的钢琴系统100的组件，例如螺线管传动器、琴键执行器、踏板执行器、马达等。

I/O设备3100可以被配置为允许演奏者与钢琴系统100交互。除了显示器之外，I/O设备3100还可以包括一个或以上的常见的输入和输出设备，例如键盘、鼠标、音频、打印机等。在一些实施例中，I/O设备3100可以被配置为允许演奏者通过触摸屏和/或可触摸表面与钢琴系统100交互。在一些其他实施例中，I/O设备3100可以被配置为允许演奏者通过语音识别和/或视觉识别与钢琴系统100交互。

图4是根据本申请的一些实施例所示的示例性钢琴系统的框图。如图4所示，钢琴系统100可包括执行模块410、信号获取模块420、信号处理模块430、计算机模块440和自动播放模块450。外部输入模块460可以被配置连接到钢琴系统100。计算机模块440还可包括控制单元441、存储单元442和显示单元443。

执行模块410可以包括图3中披露的执行设备390。如这里所使用的，执行设备390可以指钢琴系统中的键盘110的多个琴键、一个或以上踏板，或者可以在钢琴系统的操作期间被激活的钢琴的任何其他组件。可被激活的钢琴系统100的组件包括但不限于琴锤、扬声器、钢琴琴弦或钢琴的任何其他机械组件等，或其组合。在一些实施例中，响应于用户的表现，执行模块410可以生成事件。由执行模块410生成的事件的类型可以包括但不限于运动、声音、振动等，或其组合。由执行模块410生成的事件的类型可以取决于其中包括的执行设备390。例如，如果用户按压琴键，所述事件可以是琴键的运动。在另一个示例中，用户踩压踏板运动可以被定义为事件。通常，事件可以被定义为，响应于琴键和/或踏板运动的钢琴系统100的组件的运动。例如，响应于琴键按压事件，琴锤可以敲击钢琴系统的琴弦。琴锤的运动可以被定义为事件，并且琴弦的振动可以被定义为另一事件。琴弦的振动产生声音，可以将其定义为不同的事件。在一些实施例中，事件可以包含由用户输入的控制信息。控制信息可以由事件发生的位置和/或事件如何发生来表示。例如，发生在键盘110的第一琴键中的琴键按压事件与发生在键盘110的第二个琴键中的琴键按压事件表示不同控制信息。在另一个例子中，通过按下琴键产生的声音可以与通过按压另一个琴键产生的声音不同。在一些实施例中，按压事件的控制信息还可以包括琴键的按压强度和/或按压持续时间。

信号获取模块420可以被配置检测至少两个信号。如上所述，至少两个信号可以包括由执行模块410生成的至少两个事件。信号获取模块420可以包括图3中披露的传感器370。如上所述，控制信息可以包括与事件发生的位置以及事件如何发生有关的信息。包括在信号获取模块420中的传感器370可用于确定至少两个事件的特征。可以根据要检测的事件的类型来确定传感器370的配置。在一些实施例中，要检测的事件可以是钢琴系统的组件的机械运动。可以根据事件发生的位置确定传感器370的位置。例如，传感器370可以配置在一条琴弦上或附近，以检测琴弦的振动事件。在另一个示例中，传感器370可以配置在至少两个琴键上或附近以检测琴键运动。可以根据钢琴系统的控制的复杂程度来确定传感器370的数量。例如，如果钢琴系统的控制仅包括翻动在用户界面上显示的乐谱，则控制的复杂程度被确定为低。因此，需要在钢琴系统中使用更少的传感器。在一些实施例中，一个传感器370可用于检测多个事件。例如，传感器370可以是用于监视琴键按压动作的相机。相机可能会检测到多个事件。在一些实施例中，可以使用一个以上的传感器370来检测一个事件。例如，如果琴锤撞击一条琴弦，则可以通过配置在琴弦上或附近的振动检测器和配置在钢琴系统中的声音检测器来检测振动事件和相应的声音事件。包括在信号获取模块420中的传感器370可以配置在钢琴系统的内部或外部，并且取决于要检测的事件或检测特定事件的方法。例如，如果要检测的事件是声音，则传感器370可以是钢琴系统的外部声音检测器。如果要由相机检测到琴键按下事件，则相机也可以是钢琴系统的外部设备。信号获取模块420可以在事件检测时生成检测信号。检测信号可以是电压信号、电流信号等，或其组合。

信号处理模块430可以被配置处理检测信号并进一步发送处理后的检测信号。信号处理模块430可包括图3中披露的信号处理电路360。在一些实施例中，由信号获取模块420生成的检测信号可能是不可识别的或者不能由处理设备处理以进一步分析包含在检测信号中的控制信息。在这种情况下，可能需要处理检测信号，使得它可以用于进一步分析其中包含的控制信息。例如，处理设备是具有USB端口的计算机。检测信号可以被处理为人机接口设备(HID)信号，以模拟由鼠标和/或键盘产生的信号。在一些实施例中，检测信号和处理后的检测信号可以通过无线连接传输到处理设备和从处理设备传输出来。在一些实施例中，可以出于不同目的以不同方式分析包含在检测信号中的控制信息。例如，钢琴系统可以以可收集用户演奏数据的记录模式工作，以产生乐器数字界面(MIDI)文件。MIDI文件可能包含至少两个MIDI事件。MIDI事件可以包括与何时按下特定琴键和/或踩踏特定踏板的有关的信息。因此，可以处理检测信号以表示MIDI事件。

计算机模块440可以被配置接收从信号处理模块430发送的处理后的检测信号。计算机模块440可包括控制单元441、存储单元442和显示单元443。控制单元441可以包括图3中披露的处理器320。控制单元441可以处理接收到的处理后的检测信号并确定在显示单元443上显示的内容。存储单元442可以包括图3中披露的内存330和存储器340。存储单元442可以存储可以在显示器443上显示的用户信息、MIDI文件、视频等，或其组合。显示单元443可以包括图3中披露的显示器350。显示单元443可用于向用户显示用户界面。计算机模块440可以集成到钢琴系统中，或者计算机模块440可以在钢琴系统外部。在一些实施例中，计算机模块440的控制单元441和存储单元442可以设置在钢琴系统内部，并且显示单元443可以配置在键盘110上方，如图1所示。在一些实施例中，通过应用钢琴系统100，可以将传统钢琴升级为智能钢琴。在这种情况下，可移动的计算机模块440可用于升级传统钢琴。升级后的传统钢琴和可移动的计算机模块440之间的连接可以通过有线连接或无线连接。计算机模块440可以是通用计算机设备。示例性计算机设备可以包括个人计算机(PC)、移动电话、平板PC、膝上型计算机等，或其组合。

计算机模块440可用于操作计算机应用。计算机应用可以通过用户界面来实现，该用户界面可以在显示单元443上显示。可以通过按下键盘110的相应琴键或点击用户界面上的光标来按下用户界面上的按键。可以通过按下键盘110的某些特定琴键来控制光标。在一些实施例中，光标的控制可能比按下键盘110的琴键更复杂。可以通过修改相应的用户界面，优化一些计算机应用来减少光标控制。相反，一些计算机应用可能不被设计为在根据本申请的钢琴系统100上实现，并且可能没有用于钢琴控制的用户友好界面。在这种情况下，光标控制比在这种类型的计算机应用的操作中修改用户界面更重要。在这种情况下，如果处理后的检测信号是HID信号，则可以更容易地控制光标，并且可以相应地改进计算机应用程序的兼容性而无需优化。计算机模块440还可以基于将要播放的乐谱生成自动播放控制信号。例如，乐谱的音符可以指示琴键的敲击。在弹奏音符期间可以产生敲击琴键的自动播放控制信号。

自动播放模块450可以被配置为根据自动播放控制信号执行钢琴系统的自动播放功能。自动播放模块450可以包括图3中披露的自动播放执行器。在一些实施例中，自动播放模块450可包括一个或以上琴键执行器，一个或以上踏板执行器，或在自动播放模块450中实现的任何其他组件。一个或以上琴键执行器可分别击打钢琴的一个或以上琴键。一个或以上踏板执行器可以分别操作钢琴的一个或以上踏板。琴键执行器和/或踏板执行器可以由一个或以上的马达驱动。例如，琴键执行器和/或踏板执行器可包括一个或以上数字螺线管，以提供用于撞击一个或以上琴键和/或踏板的能量。

外部输入模块460可以被配置为控制计算机模块440。外部输入模块460可以由I/O设备3100实现。在一些实施例中，当执行模块410通过键盘控制计算机模块440发生故障或无法执行复杂操作时，外部输入模块460可用于执行复杂操作。外部输入模块460的控制可以充当备用方法或补偿方法。外部输入模块460可包括键盘、鼠标、触摸板等，或其组合。可以将支架集成到钢琴上以放置键盘、鼠标或触摸板。

图5是根据本申请的一些实施例所示的示例性钢琴系统的示意图。根据本实施例，用户界面可以在与传统钢琴分开的计算机设备上实现。传统钢琴可以控制在用户界面上显示的信息而不升级传统钢琴。如图5所示，传统钢琴510可以在演奏期间产生声音。信号获取模块420可以在声音检测器520上实现。声音检测器520可以检测传统钢琴510产生的声音。信号处理模块430也可以在声音检测器520上实现，以生成处理后的检测信号。计算机模块440可以在可移动计算机设备530上实现。可以在声音检测器520和可移动计算机设备530之间建立有线或无线通信。示例性可移除计算机设备可以包括个人计算机(PC)、移动电话、平板PC、膝上型计算机等，或其组合。在可移动计算机设备530上实现的用户界面上的信息显示器可以由传统钢琴510控制。当按下传统钢琴510的琴键时，可以通过敲击相应的琴弦来产生相应的声音。由于被敲击的琴弦的特征的差异，声音的特征可能不同。因此，通过按下不同的琴键产生的声音可以包含琴键的身份信息，其用作控制信号。例如，传统钢琴510的第一琴键可以定义为确认按键。当按下第一琴键时，声音检测器520可以产生并检测相应的声音。在处理之后，可以将检测到的声音信号发送到可移动计算机设备530，以控制在用户界面上显示的信息。在一些实施例中，一组和弦可以被定义为一种类型的控制信号。例如，按下传统钢琴510的第一和最后一个琴键的操作被配置为控制可移动计算机设备530放大或缩小在用户界面上显示的图像。在一些实施例中，按压琴键并踩踏踏板的操作被配置用于延长声音的持续时间。可以根据延长的声音来实现控制方法。例如，按下第二琴键并踩踏传统钢琴510的第一踏板的操作可以控制可移动计算机设备530加速传统钢琴510上显示的影像。

上述应当注意示例性实施例500是出于说明的目的而提供的，并非旨在限制本申请的范围。显然，对于本领域普通技术人员来说，可以在本申请的教导下进行许多变化与修改。然而，这些变化和修改不会背离本申请的保护范围。例如，声音检测器520可以集成在传统的钢琴510中。可移动计算机设备530可以是移动电话并且可以通过其麦克风来检测声音。

图6是根据本申请的一些实施例所示的示例性信号获取模块的框图。信号获取模块420可以被配置用于获取可以用于控制计算机模块440的各种信号。信号获取模块可以包括琴键探测单元610、踏板监控单元620、远程探测单元630和外部信号单元640，以及可以实现该功能的任何其他监控单元。对于不同的检测信号，可以分别应用不同的检测单元。

琴键探测单元610可以被配置为检测由键盘110产生的一个或以上事件。由键盘110产生的事件可以是琴键或对应的琴锤的机械运动事件，或被配置用于进行机械运动事件的任何其他相应的机械结构等，或其组合。例如，琴键按下事件可能会导致琴锤击中一段琴弦。琴弦、琴锤、琴弦等可以归类为琴键相关组件。这些琴键相关组件的特性的变化可能包含用户通过按下琴键传递的控制信息。琴键探测单元610可以被配置用于检测这些琴键相关组件的特征的变化。因此，可以根据要检测的琴键相关组件的类型来确定检测方法。检测方法可以包括确定要检测哪种类型的琴键相关组件，哪种类型的传感器用于检测，何处配置传感器以进行检测等。

在一些实施例中，运动检测传感器可以被配置用于将琴键运动检测为控制信号。示例性运动检测传感器可包括压力传感器芯片、霍尔元件、电光传感器等，或其组合。可以根据传感器的类型确定配置位置。例如，运动检测传感器是电光传感器。电光传感器可以配置在键盘110下方以检测琴键运动。运动检测传感器可以被配置用于检测键盘110的单个琴键的运动。在一些其他实施例中，运动检测传感器被配置用于检测至少两个琴键的多个琴键的组合的运动。在一些实施例中，琴锤运动可以被检测为控制信号。可以根据琴锤的结构确定运动检测传感器的类型和/或配置位置。例如，当升级传统钢琴时，琴锤区域周围的空间可能受到限制，小尺寸运动检测传感器可能需要能够适合有限的空间。

踏板探测单元620可以被配置为检测由踏板120产生的一个或以上事件。当踏板被踩踏时，机械运动可以通过至少两个机械结构传递。这些类型的结构可以被分类为踏板相关组件。这些踏板相关组件的特性的变化可以包含用户通过踩踏踏板而传递的控制信息。踏板探测单元620可以被配置用于检测这些琴键相关组件的特征的变化。确定踏板相关组件的检测方法类似于琴键相关组件的确定方法。

远程探测单元630可以被配置为检测由钢琴系统远程产生的一个或以上事件。示例性远程检测方法可以包括声音检测、视觉检测等，或其组合。在一些实施例中，当操作根据本申请所述的钢琴时，可以远程检测该操作并分析该操作以提取与该操作相关联的控制信息。远程探测单元630可包括远程传感器。可以根据远程检测方法确定远程传感器的类型。例如，麦克风用于检测声音，相机用于检测视觉运动。在一些实施例中，相机可以用作远程传感器。可以在操作期间监视用户对钢琴的操作。相机可以识别按下哪个琴键和/或踩踏哪个踏板。在识别之后，相机可以根据检测到的琴键和/或踏板的运动产生信号。该信号可以用作控制信号以进一步控制。

外部信号单元640可以被配置用于获取从I/O设备3100发送的控制信号。外部信号单元640可以接收可以用于直接控制计算机模块440而无需进一步处理的控制信号。在一些实施例中，外部信号单元可以接收由HID设备生成的信号。由HID设备生成的信号可以进一步直接发送到计算机模块440。

图7是根据本申请的一些实施例所示的示例性琴键探测单元的设备图。示出了使用传感器检测钢琴的琴键的运动的机构。传感器可以集成在钢琴系统中以检测钢琴相关信息。如图7所示，传感器700可包括发光元件702和光检测元件703。在一些实施例中，传感器700可以是电光传感器。示例性发光元件702可包括可见LED、激光LED、红外LED、激光二极管(LD)、光电池等。示例性光检测元件703可包括光电管、有源像素点传感器(APS)、辐射热测量计、电荷耦合设备(CCD)、气体电离检测器、光敏电阻、光电晶体管等。发光元件702可以产生各种波长的光。例如，发光元件702可以产生可见光、红外光、紫外(UV)光等。在一些实施例中，由发光元件702发射的光束的波长可以通过使用脉冲宽度调制(PWM)机制的一个或多个电动机来控制。光检测元件703可以被配置用于接收光并将其转换成电子信号(例如，电流信号、电压信号等)。

在一些实施例中，发光元件702和光检测元件703可位于琴键701下方。在一些实施例中，不透明的挤压件，例如板704，可以安装在琴键701的表面上。非透明板704可以部分或完全阻止光检测元件703接收由发光元件702发射的光。非透明板704可以安装到琴键701的下表面(例如，琴键701的底部)。发光元件702可以不断向光检测元件703发光。发光元件702还可以向光检测元件703不连续地发光。例如，光发射之间可能存在一个或以上时间间隔。一个或以上时间间隔可以基于用户按下琴键的速度。

在一些实施例中，光束705可以由发光元件702发射。当没有按下琴键701时，琴键保持在“顶部”位置。当用户按下琴键701时，琴键可以从“顶部”位置向下移动。当琴键701不再进一步移动时，它到达“结束”位置。非透明板704可以与琴键701一起移动并且可以阻挡光束705的一个或以上部分。光检测元件703检测到的光量可以由于非透明板704的移动而变化。例如，当琴键701向“结束”位置移动时，光检测元件703检测到的光量可能减少。又例如，当琴键701向“顶部”位置移动时，光检测元件703检测到的光量可能增加。光检测元件703可以确定关于接收光量随时间变化的信息，并且可以将这种信息转换成一个或以上的电子信号(例如，一个或以上的琴键信号)。

图8是根据本申请的一些实施例所示的示例性琴键探测单元的设备图。除了配置之外，图8中的组件可以与图7中的组件相同。在一些实施例中，可以从钢琴系统中省略非透明板804。例如，发光元件802和光检测元件803可以放置在琴键801的上方或下方，并且由发光元件802发射的光束811可能不能朝向光检测元件803线性行进。由发光元件802发射的光束811可以朝向琴键801投射。一旦到达琴键801的表面(例如，上表面、下表面等)，光束811可以由琴键801反射。然后，反射光813可以朝向光检测元件803行进，并且可以由光检测元件803接收。当用户按下琴键801时，琴键可以从“顶部”位置向下移动到“结束”位置。光从发光元件802行进到光检测元件803的距离可以由于琴键的各种运动而变化。光检测元件803可以确定光发射和光接收之间的时间，以记录光传播的距离的变化。通过光检测元件803可以将距离的变化转换为一个或以上的电信号。因此，琴键的运动可以由传感器801记录。

上述发光元件和光检测元件是不胜穷举的，且不是限制性的。可以向本领域技术人员确定许多其他改变、替换、变化、改变和修改，并且本申请旨在涵盖落入本申请范围内的所有这些改变、替换、变化、改变和修改。

图9是根据本申请的一些实施例所示的示例性信号处理模块的框图。信号处理模块430可以被配置用于处理检测信号以使其与计算机模块440兼容以进行读取。信号处理模块430可以由上面披露的信号处理电路360实现。信号生成单元910和信号传输单元920可以包括在信号处理模块430中。

信号生成单元910可以被配置为基于从信号获取模块420发送的检测信号，生成各种类型的信号。在一些实施例中，由信号生成单元910生成的信号类型可取决于使用检测信号的目的。例如，检测信号可以用于记录用户的操作。MIDI文件可包括至少两个MIDI事件。MIDI事件可以包括与琴键按压和/或踏板踩踏的一段时间间隔内相关的信息。从信号获取模块420发送的检测信号可以包含与琴键按压和/或踏板踩踏有关的信息。因此，可以处理检测信号以提取这样的信息。对于某个时间间隔，所提取的信息可用于构造MIDI事件。在一些实施例中，检测信号可用于控制计算机模块440。检测信号可以被处理为用于进一步控制的控制信号。

在一些实施例中，控制信号的类型可以取决于信号的传输方法。例如，信号处理模块430可以通过有线连接与计算机模块440连接，并且控制信号可以相应地是HID信号。信号处理模块430可以与计算机模块440无线连接，并且控制信号可以是无线信号。

信号传输单元920可以被配置用于发送由信号生成单元910生成的信号。传输可以是有线的或无线的。示例性无线传输可以包括WIFI、蓝牙、ZigBee等，或其组合。示例性有线传输可以通过串行端口、USB端口、PS/2端口等，或其组合。

图10是根据本申请的一些实施例所示的控制用户界面的示例性过程的流程图。该过程和/或方法可以由钢琴系统100执行。例如，该过程和/或方法可以实现为存储在存储器340中的一组指令。处理器320可以执行一组指令，并且因此可以指示执行该过程和/或方法。

在步骤1001，信号获取模块420可以检测表示钢琴系统100的执行设备的状态变化的信号。在一些实施例中，钢琴的执行设备可以指钢琴的任何部件，其状态可以在操作期间改变。示例性执行设备可包括琴键、踏板、琴锤、琴弦等，或其组合。对于钢琴的琴键，在操作过程中，由于用户的按压，其位置可能会改变。与琴键一样，踏板的位置可能因用户踩踏而改变。对于琴锤，在操作过程中，由于通过某些机械结构按压相应的琴键，其位置可能会改变。对于琴弦，在操作过程中，由于琴锤撞击，其振动状态可能会发生变化，并且由于相应的琴键按压，其振动状态可能会发生变化。

执行设备的状态变化可能由用户演奏或自动播放过程引起。在一些实施例中，自动播放模块450可以实现自动播放过程。例如，在自动播放操作期间，可以控制自动播放执行器以激活一个或以上琴键和/或踏板。在一些实施例中，通过按下不同的琴键或踩踏不同的踏板，用户演奏可以包含控制信息。

执行设备的状态改变可以生成信号，该信号由包括在信号获取模块420中的一个或多个传感器370进一步检测。例如，运动检测器可以检测琴键或踏板或琴锤等的运动。振动检测器可以检测琴弦的振动。声音检测器可以检测通过按下一个或以上琴键产生的声音。传感器370可以检测执行设备的状态改变的各个方面。例如，可以在键盘110的每个琴键下方配置至少两个运动检测器。运动检测器能够检测到哪个琴键被按下、何时按下琴键、琴键被按下的速度、琴键在时间间隔期间被按下的次数、同时按下多少琴键、按住琴键的时间长短等，或其组合。再例如，声音检测器可以被配置用于检测通过按下琴键产生的声音。声音检测器可以根据频率和琴键之间的关系分析哪个琴键被按下。声音检测器还能够分析和弦以区分通过同时按压不同的琴键而产生的不同频率。

执行设备的状态改变的各个方面可以导致各种信号输入方式，其进一步用于控制。例如，除了按下单个琴键之外，可以使用各种琴键按压方法作为控制信号。示例性的琴键按压方法可以包括同时按下多个琴键、以不同的速度或加速度按琴键、在一段时间内多次按下琴键、按琴键并保持一段时间等。这些类型的琴键按压方法可以对应于可以用于控制计算机模块440的用户界面的不同控制方法。

应当注意上述琴键按压方法是为了说明的目的而提供的，并不是为了限制本申请的范围。显然，对于本领域普通技术人员来说，可以在本申请的教导下进行许多变化与修改。然而，这些变化和修改不会背离本申请的保护范围。

在步骤1002，响应于所述检测到的信息，可以生成用于控制计算机模块440的输入的控制信号。该步骤可以由信号处理模块430实现。在一些实施例中，检测到的信号可以是电流值信号、电压值信号等，或其组合。检测到的信号可能与计算机模块440不兼容和/或不可读，因此不能直接用作控制信号。因此，可能需要处理检测到的信号以生成用于控制计算机模块440的输入的控制信号。在一些实施例中，可以将检测到的信号处理成HID信号，该HID信号可以由计算机模块440直接识别。例如，可以处理检测到的信号以模拟由键盘、鼠标、触摸板等或其组合产生的信号。上面披露的各种状态改变可以对应于键盘、鼠标、面板等的各种操作。例如，键盘110的琴键可以对应于计算机模块440的特定按键。该对应关系可以打印在键盘110的琴键上，或者由显示器上显示的信息表示(例如图1中的显示器130)。当用户需要在显示器上键入字符时，用户可以按下键盘110的相应琴键。在一些实施例中，键盘110的一组琴键可用于模拟鼠标运动。例如，琴键组可以表示至少两个方向，并且如果按下该组琴键中的一个琴键，则显示器上的光标可以相应地移动。如果按下一段时间间隔，光标可能会继续移动。在一些实施例中，可以通过无线连接将检测到的信号发送到计算机模块440。

在步骤1003，控制信号可以被发送到计算机模块440。在一些实施例中，控制信号传输可以由信号传输单元920实现。如上所述，钢琴的计算机模块440可以集成在钢琴内部或钢琴外部。连接方法可以确定控制信号传输方法。例如，如果计算机模块被集成到钢琴中，则控制信号通过有线连接传输。如果计算机模块被实现为钢琴的外部模块，则控制信号通过无线连接传输。然而，上面披露的传输方法确定是出于说明性目的。本申请不限制保护范围。例如，如果计算机模块设置在钢琴外部，也可以使用有线传输方法。

在步骤1004，处理控制信号以确定在用户界面上显示的内容。该步骤可以通过包括在计算机模块440中的控制单元441来实现。在一些实施例中，可以在计算机上显示用户界面。用户界面可以包括至少两个按键和光标。响应于命令，可以点击至少两个按键中的一个或以上按键。响应于用户输入，用户界面还可以包括显示字符和/或数字的一个或以上区域。可以响应于用户按下琴键一段时间生成的命令来移动光标。上述控制信号用于控制用户界面。例如，HID信号可以直接用于控制用户界面，而非HID信号需要被处理成与计算机兼容和/或可读的格式。

在步骤1005，在用户界面上显示所确定的内容。该步骤可以通过包括在计算机模块440中的显示单元443来实现。如上所述，显示单元443可以集成在钢琴系统中，或者实现为钢琴系统的外部模块。控制结果可以包括一个或以上可点击的按键、一个或以上字符和/或数字、以及可移动的光标。

图11是根据本申请的一些实施例所示的示例性用户界面的示意图。如图11所示，显示器130配置在键盘110上方，并包括区域1110用于显示来自用户输入的内容。当光标220点击区域1110的任何部分时，区域1110被激活以显示来自用户输入的内容。在接收用户输入之前，区域1110可以显示一个或以上预设的单词，通知用户这里可以键入什么类型的信息。预设单词可以以与区域1110的轮廓不同的颜色显示，并且当打字开始时自动消失。光标220在显示器130内基于上面披露的控制信号移动。用户界面130还可以包括在用户界面130的底部示出的琴键指示区域1120。字符或符号可以在琴键指示区域1120中示出。如图11所示，字符或符号可以布置成两层。布置在上层中的每个字符或符号可以对应于键盘110的黑色琴键。布置在下层中的每个字符或符号可以对应于键盘110的白色琴键。字符或符号的位置可以被布置为匹配它们对应的琴键。符号可包括指示方向的箭头、粗体箭头等，或其组合。指示方向的箭头可用于控制光标220。粗体箭头可用于翻转用户界面上显示的乐谱。

然而，应该记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是方便的标签应用于这些量。除非另有明确规定的，申请中采用以下词，诸如“发送”、“接收”、“生成”、“提供”、“计算”、“执行”、“存储”、“确定”、“获取”、“校正”、“记录”等指的是电脑系统或其它类似电子计算设备的动作和过程，此处所述的电脑系统的过程是对表现为电脑系统中的存储器或者寄存器中的物理量的数据进行操作和转化，使得它们变成同样展示在电脑系统的存储器、寄存器或者其他的数据存储、传输和显示设备中的类似的其他数据。

这里使用的术语“第一”、“第二”、“第三”、“第四”等意味着用于区分不同元件的标签，并且可能不一定具有根据其数字标记的序数含义。

在一些实施方案中，任何合适的计算机可读媒体可用于存储用于执行本申请中所描述的过程的指令。例如，在一些实施例中，计算机可读介质可以是临时性的或者非临时性的。例如，非临时性的计算机可读介质可以包括例如磁介质(如硬盘、软盘等)、光介质(如光盘、数字视频光盘、蓝光光盘等)、半导体介质(如闪存、电可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)等)等任何在传播过程中所记录的数据不会稍纵即逝或者介质缺乏持久性的有形介质。又例如，暂时性的计算机可读介质可以包括网络信号、连接器、导体、光纤、电路等任何在传播过程中所记录的数据稍纵即逝并且缺乏持久性的无形介质。

在一些具体实施例中配备有散热系统的应当注意钢琴是出于说明的目的而提供的，并不旨在限制本申请的范围。显然，对于本领域普通技术人员来说，可以在本申请的教导下进行许多变化与修改。然而，这些变化和修改不会背离本申请的保护范围。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。虽然上述披露中提及了多种例子，这里被认作是披露中的多种有用的实施例，需要明确的是这些细节都只是为了说明，并且本申请不受这些实施例的限制，但是相反的，是为了覆盖在本申请披露的范围和精神内的修改和同质设计。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

Claims (20)

1.一种琴键辅助用户输入的钢琴系统，包括：

一个或以上执行设备；

一个或以上传感器，被配置为检测指示所述一个或以上执行设备中的至少一个的状态变化的信号；

至少一个信号处理电路，被配置为响应于由所述一个或以上传感器检测到的所述信号，生成用于控制计算机设备的输入的控制信号；

处理器，被配置为处理所述控制信号以确定在用户界面上显示的内容；以及

显示器，被配置为在所述用户界面上显示所述确定的内容。

2.根据权利要求1所述的钢琴系统，进一步包括一个或以上存储介质，其中，所述一个或以上存储介质包括一组指令，用于处理所述控制信号以确定在所述用户界面上显示的信息。

3.根据权利要求1所述的钢琴系统，其特征在于，所述控制信号包括自动播放控制信号，所述系统进一步包括自动播放执行器，被配置为响应于所述自动播放控制信号，执行所述钢琴的自动播放操作。

4.根据权利要求1所述的钢琴系统，其特征在于，所述一个或以上执行设备包括一个或以上琴键、一个或以上踏板、一个或以上琴锤，以及一个或以上琴弦。

5.根据权利要求1所述的钢琴系统，其特征在于，所述一个或以上执行设备中的至少一个的所述状态变化至少包括以下其中之一：

所述一个或以上琴键中至少一个的位置变化；

所述一个或以上琴锤中至少一个的位置变化；

所述一个或以上踏板中至少一个的位置变化；

所述一个或以上琴弦中的至少一个的振动状态变化；以及

所述钢琴的声音频率变化。

6.根据权利要求5所述的钢琴系统，其特征在于，所述一个或以上执行设备中的至少一个的所述状态变化是由在所述钢琴上的用户操作引起的。

7.根据权利要求1所述的钢琴系统，其特征在于，所述控制信号包括人机接口设备信号。

8.根据权利要求1所述的钢琴系统，其特征在于，所述计算机设备与所述钢琴系统可拆卸连接，并且所述控制信号从所述钢琴系统无线传送到所述计算机设备。

9.根据权利要求1所述的钢琴系统，其特征在于，所述用户界面的所述内容分别包括至少两个按键，每个按键可点击，响应于所述钢琴系统的至少一个琴键被按压，和显示一个或以上输入的区域，响应于所述钢琴系统的一个或以上琴键被按压。

10.根据权利要求9所述的钢琴系统，其特征在于，所述用户界面的所述内容还包括指示区域，其中所述指示区域包括至少两个字符和一个或以上符号，每个表示所述钢琴系统的所述一个或以上琴键中的一个与所述至少两个字符和所述一个或以上符号中的一个之间的对应关系。

11.一种在钢琴系统中琴键辅助用户输入的方法，所述方法在计算机设备上实现，所述计算机设备具有至少一个处理器、存储器介质和连接到网络的通信平台，所述方法包括：

通过一个或以上传感器检测表示所述钢琴系统的一个或以上执行设备中的至少一个的状态变化的信号；

响应于由所述一个或以上传感器检测到的所述信号，通过至少一个信号处理电路产生控制信号，以控制计算机设备的输入；

所述至少一个处理器通过处理所述控制信号，确定在用户界面上显示的内容；以及

在所述用户界面上显示所述确定的内容。

12.根据权利要求11所述的方法，其特征在于，基于存储在所述存储介质中的一组指令，处理所述控制信号以确定在所述用户界面上显示的内容。

13.根据权利要求11所述的方法，其特征在于，所述控制信号包括自动播放控制信号，所述方法还包括，响应于所述自动播放控制信号，自动播放执行器执行所述钢琴的自动播放操作。

14.根据权利要求11所述的方法，其特征在于，所述一个或以上执行设备包括一个或以上琴键、一个或以上踏板、一个或以上琴锤，以及一个或以上琴弦。

15.根据权利要求11所述的方法，其特征在于，所述一个或以上执行设备中的至少一个的所述状态变化至少包括以下其中之一：

所述一个或以上琴键中至少一个的位置变化；

所述一个或以上琴锤中至少一个的位置变化；

所述一个或以上踏板中至少一个的位置变化；

所述一个或以上琴弦中的至少一个的振动状态变化；以及

所述钢琴的声音频率变化。

16.根据权利要求15所述的方法，其特征在于，所述一个或以上执行设备中的至少一个的所述状态变化是由在所述钢琴上的用户操作引起的。

17.根据权利要求11所述的方法，其特征在于，所述控制信号包括人机接口设备信号。

18.根据权利要求11所述的方法，其特征在于，所述计算机设备与所述钢琴系统可拆卸连接，并且所述控制信号从所述钢琴系统无线传送到所述计算机设备。

19.根据权利要求11所述的方法，其特征在于，所述用户界面的所述内容分别包括至少两个按键，每个按键可点击，响应于所述钢琴系统的至少一个琴键被按压，和显示一个或以上输入的区域，响应于所述钢琴系统的一个或以上琴键被按压。

20.根据权利要求19所述的方法，其特征在于，所述用户界面的所述内容还包括指示区域，其中所述指示区域包括至少两个字符和一个或以上符号，每个表示所述钢琴系统的所述一个或以上琴键中的一个与所述至少两个字符和所述一个或以上符号中的一个之间的对应关系。