CN109791740B - 用于智能钢琴的智能检测及反馈系统 - Google Patents

Abstract

智能乐器系统可以包括乐器、第一传感器、第二传感器、处理器装置和提醒装置。所述第一传感器可以被配置为获得反映乐器的操作的第一演奏数据。所述第二传感器可以被配置为接收与智能乐器系统的用户的手势相关的第二演奏数据。所述处理装置可以与第一传感器和第二传感器通信，并且可以被配置为基于第一演奏数据或第二演奏数据中的至少一个来生成反馈。所述提醒装置可以被配置为将反馈传递给用户。

Description

用于智能钢琴的智能检测及反馈系统

技术领域

本申请涉及一种智能钢琴系统，尤其涉及一种用于智能钢琴的智能检测及反馈的系统和方法。

背景技术

根据本申请的一个方面，智能乐器系统可以包括乐器、第一传感器、第二传感器、处理装置和提醒装置。所述第一传感器可以被配置为获得反映乐器的操作的第一演奏数据。所述第二传感器可以被配置为接收与智能乐器系统的用户的手势相关的第二演奏数据。所述处理装置可以与第一传感器和第二传感器通信，并且可以被配置为基于第一演奏数据或第二演奏数据中的至少一个来生成反馈。所述提醒装置可以被配置为将反馈传递给用户。

根据本申请的另一方面，一种用于操作智能乐器系统的方法可以包括：通过与乐器连接的第一传感器获取反映乐器操作的第一演奏数据；通过与用户连接的第二传感器获取与用户的手势相关的第二演奏数据；通过与第一传感器和第二传感器通信的处理装置，基于第一演奏数据或第二演奏数据中的至少一个生成反馈；以及通过提醒装置将反馈传递给用户。

发明内容

根据本申请的一个方面，智能乐器系统可以包括乐器、第一传感器、第二传感器、处理装置和提醒装置。所述第一传感器可以被配置为获得反映乐器的操作的第一演奏数据。所述第二传感器可以被配置为接收与智能乐器系统的用户的手势相关的第二演奏数据。所述处理装置可以与第一传感器和第二传感器通信，并且可以被配置为基于第一演奏数据或第二演奏数据中的至少一个来生成反馈。所述提醒装置可以被配置为将反馈传递给用户。

根据本申请的另一方面，一种用于操作智能乐器系统的方法可以包括：通过与乐器连接的第一传感器获取反映乐器操作的第一演奏数据；通过与用户连接的第二传感器获取与用户的手势相关的第二演奏数据；通过与第一传感器和第二传感器通信的处理装置，基于第一演奏数据或第二演奏数据中的至少一个生成反馈；以及通过提醒装置将反馈传递给用户。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构和操作。

图1是根据本申请的一些实施例示出的智能检测及反馈系统100的示例；

图2是根据本申请一些实施例示出的示例性智能钢琴系统的框图；

图3是根据本申请一些实施例示出的处理装置104中的示例性数据分析单元205的框图；

图4是根据本申请一些实施例示出的智能检测和处理系统中的示例性反馈模块的框图；

图5A是根据本申请一些实施例示出的向智能钢琴的用户传递反馈内容的方法的流程图；

图5B是根据本申请一些实施例示出的处理信号和生成反馈内容的方法的流程图；

图6是根据本申请示出的实施例的示例图；

图7A和图7B是根据本申请示出的实施例的示例图；

图8是根据本申请一些实施例示出的检测与用户演奏相关的用户信息的示例图；

图9A和图9B是根据本申请一些实施例示出的检测与用户演奏相关的用户信息的两个示例的附图；

图10是根据本申请一些实施例示出的智能检测及反馈系统的流程的流程图；以及

图11是根据本申请一些实施例示出的智能检测及反馈系统的流程的流程图。

具体实施方式

下文中将参考附图更全面地描述本申请主题。附图为本申请的一部分，并且通过图示的方式示出了具体的示例实施例。然而，主题可以以各种不同的形式体现，因此，所涵盖或要求保护的主题旨在被解释为不限于本申请所述的任何示例实施例，提供示例实施例仅用于说明。同样，要求保护或涵盖的主题的范围相当广泛。其中，例如，主题可以体现为方法、设备、组件或系统。因此，以下详细描述并非旨在限制所要求保护的范围。

在整个说明书和权利要求书中，术语可能有建议或暗示的情况下超出明确规定的含义微妙的含义。同样地，这里使用的短语“在一个实施例中”不一定是指相同的实施例，并且这里使用的短语“在另一个实施例中”不一定是指不同的实施例。例如，旨在要求保护的主题包括整个或部分示例实施例的组合。

通常，术语可以至少部分地从上下文中的使用来理解。例如，如本文所使用的诸如“和”、“或”或“和/或”的术语可包括多种含义，这些含义可至少部分地取决于使用这些术语的上下文。通常，“或”如果用于关联列表（例如A，B或C），则意指A，B和C，此处使用的是包含性意义；以及A，B或C，此处使用的是排他性意义。另外，如本文所使用的术语“一个或多个”，至少部分地取决于上下文，可以用于以单数意义描述任何特征、结构或特性；或者可以用于以复数意义描述任何特征、结构或特性。类似地，诸如“一个”、“一个”或“该”之类的术语可以被理解为传达单数用法或传达复数用法，至少部分地取决于上下文。另外，术语“基于”可以被理解为不一定旨在传达一组排他性的因素，而是可以替代地，至少部分地取决于上下文，允许存在不一定明确描述的其他因素。

图1是根据本申请的一些实施例示出的智能检测及反馈系统100的示例。智能检测及反馈系统100可以被配置为连接到乐器。乐器可以包括但不限于一个或多个键盘乐器、打击乐器、弦乐器等，或其组合。例如，键盘乐器可以包括但不限于钢琴、风琴、手风琴和/或电子键盘。打击乐器可以包括但不限于木琴、钢片琴、架子鼓和/或鼓。弦乐器可以包括但不限于小提琴、竖琴、吉他、电吉他和/或贝斯。在一些实施例中，乐器还可以包括智能钢琴。

智能检测及反馈系统100可以被配置为获取并处理用户演奏数据，并且基于用户的演奏向用户生成反馈内容。如图所示，智能检测及反馈系统100可以包括识别模块101、检测模块102、数据库103、处理装置104和反馈模块105。

在本申请中，模块可以以许多不同的方式以及以硬件、软件或硬件和软件的不同组合来实现。例如，全部或部分模块的实现可以是包括部分或全部指令处理器的处理电路，诸如中央处理单元（CPU）、微控制器、微处理器；或者是专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理装置（DSPD）、可编程逻辑设备（PLD）、现场可编程门阵列（FPGA）、控制器、其他电子部件；或者作为包括分立逻辑或其他电路组件的电路，包括模拟电路组件、数字电路组件或两者兼有；或上述组件的任意组合。作为示例，该电路可以包括分立的互连硬件组件，或者可以在单个集成电路管芯上组合，分布在多个集成电路管芯中，或者以通用封装中的多个集成电路管芯的多芯片模块（MCM）实现。

识别模块101可以被配置为识别访问智能检测及反馈系统100的用户。用户可以是学生，或者可以是教师，或者可以是想要使用智能检测及反馈系统100的音乐家。在一些实施例中，用户可以在智能检测及反馈系统100中具有注册的账户并且将他或她的个人信息存储在其中，使得识别模块101能够在用户试图使用智能检测及反馈系统100时识别用户。

在一些实施例中，对于不同的用户，智能检测及反馈系统100可以基于识别模块101识别用户身份。智能检测及反馈系统100可以建立个人信息的数据库并且为每个单独的用户生成个人反馈内容。在一些实施例中，用户可以使用智能检测及反馈系统100而无需识别模块101。

识别模块可以通过各种方法识别用户。在一些实施例中，用户可以使用移动电话或其他智能终端来扫描二维码以进入智能检测及反馈系统100。在一些实施例中，用户可以具有用户特定的门户认证数据以访问智能检测及反馈系统100，例如通过访问智能检测及反馈系统100所关联的网页并通过网页输入用户ID和密码。在一些实施例中，智能检测及反馈系统100可以包括指纹扫描仪并且可以存储个人用户的指纹信息，以便通过他或她的指纹识别用户。类似地，利用面部识别电路或条形码扫描仪，智能检测及反馈系统100还可以通过面部识别或条形码识别用户。智能检测及反馈系统100还可以包括可以用于识别用户的任何硬件或软件。在一些实施例中，用户可以通过与其连接的远程服务器进入智能检测及反馈系统100，并获得用户的用户演奏数据。

检测模块102可以被配置为检测与用户演奏相关的信息。该信息可能涉及或用于评估用户的演奏。该信息可以包括生理信息、物理信息等，或其组合。例如，生理信息可以包括用户情绪、态度等，或与用户演奏相关的任何生理信息。物理信息可以包括但不限于速度、压力、位置、手势、声音等或其组合。例如，当乐器包括一个或多个琴键或琴弦时，物理信息还可以包括但不限于关于在演奏期间按下的乐器的一个或多个琴键或琴弦的信息，关于琴键或琴弦的时刻信息（例如，对应于乐器的琴键的位置或琴弦的振动状态的时刻），乐器的琴键或琴弦的一个或多个演奏顺序，时刻信息和根据乐器的琴键/踏板或琴弦的运动产生的音符。在一些实施例中，用户信息还可以包括但不限于关于学习风格、学习接受度、用户演奏习惯的学习率、音乐技能水平、兴趣爱好、经验、能力等等的信息。检测模块102可以包括能够收集用户信息、处理用户信息、基于用户信息生成信号、将信号发送到数据库103和处理装置104或执行任何其他功能的任何合适的设备。

检测模块102可以包括用于检测用户物理信息的物理信号装置，用于检测用户生理信息的生理信号装置，智能配件等可以获取用户信息的检测装置。

物理信号装置可以被配置为获得物理信息，诸如演奏速度、琴键压力或琴弦振动、琴键或琴弦位置、用户手势、声音等或其组合。物理信号装置可以包括可以获得物理信息的传感器、相机、麦克风等。

传感器可以是但不限于加速计、力传感电阻器（FSR）、声纳、红外（IR）传感器、光传感器、惯性测量单元（IMU）传感器、姿态/航向参考系统（AHRS）传感器、温度传感器或通用的运动或方位传感器。在一些实施例中，传感器可以是声音（音量，功率或频率）测量装置。

麦克风可以包括可以检测声音并将声音信号转换为电信号的任何合适的设备。麦克风可以是电型（动圈式、带状），电容型（DC极化），压电型（晶体、陶瓷），电磁型，碳型，半导体型等或其组合。在一些实施例中，麦克风可以是微机电系统（MEMS）麦克风。

相机可以包括可以获得图像并将图像转换为电信号的任何合适的设备。相机可以包括但不限于视频光度计，红外线扫描仪，摄像机等。

生理信号装置可以被配置为获取生理信息，诸如用户情绪、态度和其他生理信息。生理信息可以通过获取脑电波、心率、微表达、血压、脉搏等或其组合来评估。

智能配件可以包括任何合适的可以获得物理信息和生理信息或任何其他用户信息的设备，诸如智能绑带、智能手环，智能手表、手机、智能手套、智能眼镜等，或其组合。在一些实施例中，智能配件可以被配置为加速计、力传感电阻器（FSR）、声纳、红外（IR）传感器、光传感器、惯性测量单元（IMU）传感器、姿态/航向参考系统（AHRS）传感器、温度传感器或通用的运动、方位传感器等，或其组合。

在一些实施例中，检测模块102还可以执行处理、传输信息和显示反馈内容的功能。

检测模块102可以通过无线连接或有线连接与数据库和处理装置104连接或通信。例如，检测模块102可以通过蓝牙向处理装置104发送信息。

数据库103可以被配置为存储诸如数据、程序、指令等或其组合的信息。所述信息可以由识别模块101，检测模块102和处理装置104以及反馈模块105提供。

在一些实施例中，数据库103可以被配置为存储从检测模块102获得的用户信息。在一些实施例中，数据库103可以被配置为存储关于音乐数据的信息，诸如乐谱，音乐教学视频，音乐家演奏等。在一些实施例中，数据库103可以被配置为存储当智能检测及反馈系统100处于工作状态时生成的数据。

数据库103可以是任何存储设备。数据库103可以是本地的或远程的。数据库103可以是但不限于分层数据库、网络数据库、关系数据库等或其组合。数据库103可以是用电能存储信息的存储设备，诸如各种存储器、随机存取存储器（RAM）、只读存储器（ROM）等。随机存取存储器（RAM）可以包括但不限于十进制计数器、选择管的数量、延迟线存储器、威廉姆斯管、动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、晶闸管随机存取存储器（T-RAM）、零电容随机存取存储器（Z-RAM）或其组合。只读存储器（ROM）可以包括但不限于只读存储器、气泡存储器、磁扣线存储器、薄膜存储器、磁板线存储器、磁芯存储器、磁鼓存储器、CD-ROM驱动器、硬盘、磁带、早期非易失性存储器（NVRAM）、相变存储器、磁阻随机存取存储器模块、铁电随机存取存储器，非易失性SRAM、闪存、电子类型擦除可重写只读存储器、可擦除可编程只读存储器、可编程只读存储器、与一个或多个存储器结合读取的屏蔽堆、浮动连接门随机存取存储器、纳米随机存取存储器、赛道内存、可变电阻存储器、可编程金属化单元等，或上述存储器的组合。数据库103可以是用磁能存储信息的存储设备，诸如硬盘、软盘、磁带、磁芯存储器、气泡存储器、U盘、闪存等或者其组合。数据库103可以是用光学器件存储信息的存储设备，诸如CD、DVD等或其组合。数据库103可以是随机存取存储器、串行存取存储器、只读存储器等或其组合。数据库103可以是非永久存储器或永久存储器。上述描述的存储设备仅为一些示例，工作环境中的数据库103不限于此。

处理装置104可以被配置为处理和分析信息，并且生成反馈内容。该信息可以从识别模块101、检测模块102、数据库103、反馈模块105或可以存储信息的任何设备中获得。处理装置104可以是计算设备，并且可以包括与识别模块101、检测模块102、数据库103、反馈模块105或任何可以接收或发送信息的设备连接或通信的附加功能。

在一些实施例中，当用户演奏一段音乐时，处理装置104可以从相机获得图像信息，识别图像，提取用户姿势信息，并且输出关于正确姿势的提醒信息。在一些实施例中，处理装置104可以包括计算要在屏幕上显示的乐谱的功能。

在一些实施例中，处理装置104可以与乐器分开。在这样的实施例中，处理装置104可以经由短程通信（例如，蓝牙）或经由无线连接（例如WiFi）或经由有线连接（例如，通用串行总线或“USB”）或通过其他连接类型与乐器通信。

在一些实施例中，处理装置104可以作为单个单元与乐器集成。在一些实施例中，处理装置可以是通过用通用计算机安装软件可以用作处理装置的计算机设备。例如，处理装置104可以是包括被配置为执行处理和分析信息并生成反馈内容的功能的软件的平板电脑系统。

在一些实施例中，处理装置104可以与远程服务器通信。服务器可以是基于云的。服务器可以执行检索、处理、分析和存储信息的功能。处理装置104可以从服务器获得信息。

反馈模块105可以被配置为呈现与用户演奏相关的反馈内容。所述反馈内容可以包括，在用户演奏音乐时，用于实时地通知和/或提醒用户的用户演奏与参考演奏之间差异的信息。例如，所述反馈内容可以是音频内容的形式、视频内容的形式、图像形式、文本形式、图形形式、电子震动形式、振动形式等或上述形式的组合。反馈模块105可以从处理装置104获得信息并且经由无线连接或有线连接与数据库103通信。

反馈模块105可以包括但不限于显示设备、打印设备、绘图仪、图像输出系统、语音输出系统、磁记录装置等，或者任何可以显示、提示、建议、提醒、教导用户演奏的设备。在一些实施例中，反馈模块105可以同时呈现输入和输出，例如台式计算机、笔记本电脑、智能电话、平板电脑、个人数字助理（个人数字助理，PDA）等等。

在一些实施例中，反馈模块105可以包括显示设备，其可以呈现与用户的演奏、演奏的音乐、音乐的另一演奏和/或任何其他信息相关的内容。在一些实施例中，显示装置的屏幕的大小可以适应钢琴的键盘的大小。虚拟键盘可以显示在屏幕上。虚拟键盘可以包括对应于钢琴的实际键的多个虚拟键。在一些实施例中，虚拟键的数量和实际键的数量可以是相同的。关于要在实际钢琴键上执行的一个或多个操作的信息可以被显示在屏幕的一部分中，其中屏幕中包括对应的虚拟键。这样的信息可以包括，例如与实际钢琴键的按压和/或释放有关的时机信息、要施加到实际钢琴键的力度、音符持续时间、音符值等。在一些实施例中，各种类型的信息可以在演奏期间出现在屏幕上。

在一些实施例中，反馈模块105可以显示如何演奏音符、演奏一组音符或者演奏乐谱的一部分、示出五线谱或者指出用户演奏乐器时制造的演奏错误。

在一些实施例中，反馈模块105可以向用户提供阶段总结。阶段总结可以包括关于用户一段时期学习经历的信息，例如习惯性错误、建议、评估、个性化课程、用户心理状态或与用户表现相关的任何信息。这样，反馈模块105可以向用户（例如，演奏者、钢琴学生等）提供可视化和个性化的钢琴学习体验。

不同模块可以通过无线连接或有线连接相互连接或直接或间接通信。无线可以是蓝牙、WLAN、Wi-Fi、Zigbee、Z-Wave、EnOcean、红外数据标准协会（IrDA）、超宽带（UWB）、近场通信服务（NFC）、移动网络（2G，3G或4G信号）、VPN、共享网络等或其组合。通信协议可以是传输控制协议（TCP）、用户数据协议（UDP）、网际协议（TP）、超文本传输协议（HTTP）、文件传输协议（FTP）、简单邮件传输协议（SMTP）、邮局协议3（POP3）等或其组合。有线连接可以包括但不限于RS-232、CAN、TCP/IP、光纤等或其组合。

可以与上述系统结合使用的智能检测及反馈系统的组件不是穷尽性的、不是限制性的。本领域技术人员可以确定许多其他改变、替换、变化、变更和修改，并且本申请意在涵盖落入本发明的范围内的所有这些改变、替换、变化、变更和修改。在一些实施例中，处理装置104可以与反馈模块105集成为单个单元。这些变化仍然在本申请的范围内。

图2是根据本申请一些实施例示出的示例性智能钢琴系统的框图。如图2所示，智能钢琴系统可以包括钢琴200、处理装置104、反馈模块210和外部组件209。处理装置104可以建立与云数据库208的连接。处理装置还可以包括信号采集引擎201、存储装置202、外部输入引擎203、控制器204、声音引擎206和自动演奏引擎207。控制器可以进一步包括数据分析单元205。在不失一般性的情况下，可以在处理装置104中包括更多或更少的组件。例如，两个或更多个模块可以被组合成单个模块，或者模块中的一个可以被分成两个或更多个模块。在一些实施例中，一个或多个模块可驻留在不同的计算设备上（例如，台式计算机、膝上型计算机、移动电话、平板电脑、可穿戴计算设备等）。在一些实施例中，处理装置104的一个或多个部分可以与钢琴200集成。

钢琴200可以是原声钢琴、电钢琴、电子钢琴、数字钢琴和/或具有键盘的任何其他乐器。可以结合本申请的一些实施例使用的原声钢琴的非排他性列表可以包括三角钢琴、直立式钢琴、方形钢琴、专用钢琴（诸如玩具钢琴、加料钢琴等）等等。

信号采集引擎201可以根据集成在钢琴中的一个或多个传感器来获得关于用户的演奏（在本文中也被称为“第一演奏数据”）的信息。第一演奏数据可以包括但不限于关于在用户演奏期间按下的钢琴的多个琴键的信息，与多个琴键相关联的时机信息（例如，与特定键相对应的时刻或者在两次按下特定的一个或多个键之间的时间间隔），按键的一个或多个操作的顺序，关于用户何时踩踏钢琴200的一个或多个踏板的时机信息，以及根据钢琴200的踏板和/或琴键的运动产生的音符。第一演奏数据可以由集成在钢琴中的一个或多个传感器获取。第一演奏数据可以基于由传感器获取的琴键信号和/或踏板信号来生成。在一些实施例中，琴键信号和踏板信号可以是由多个电流值、多个电压值等或其组合来表示的电信号。当用户手指按下钢琴键盘和/或脚踩踏板时，可以记录第一演奏数据。第一演奏数据可以存储在存储装置202或任何其他存储设备中。第一演奏数据也可以在用户没有在键盘上演奏的情况下获得。用户演奏信息也可以由外部输入引擎203获得，并且其可以在本申请的其他地方公开。

存储装置202可以包括能够存储数据的任何设备，诸如由信号采集引擎201、外部输入引擎203、控制器204等提供的数据或者其组合。存储在存储引擎中的示例性数据类型可以包括由信号采集引擎获取的琴键信号和踏板信号，由信号采集引擎201生成的第一演奏数据，由外部输入引擎生成的第二演奏数据（如本文所使用的，第二演奏数据可以指由多个外部组件检测到的用户姿势、脸部表情、情绪等或其组合），和/或可以用于实现根据本申请的各种实施例的智能钢琴系统的任何其他类型的数据。存储装置202可以包括一个或多个组件。在一些实施例中，存储装置202可以包括硬盘驱动器、固态驱动器、可移动存储驱动器（例如，闪存盘驱动器，光盘驱动器等）、数字视频记录器等或其组合。

外部输入引擎203可以被配置为将智能钢琴系统连接到多个外部组件209。如本文所使用的，外部组件209可以包括配置有传感器的相机、指环、手套或一些其他可佩戴物等，或其组合。在外部输入引擎203中，可以获得第二演奏数据并且将其进一步发送到存储装置202中。第二演奏数据的类型可以根据在与外部输入引擎203连接的相应外部组件209中配置的传感器来确定。例如，如果外部组件209包括相机，则第二演奏数据可以包括当手指演奏智能钢琴的琴键时手指姿势的图片和/或视频、演奏智能钢琴时的脸部表情、身体的姿势等，或其组合。在一些实施例中，外部组件209可以包括配置有多个传感器的多个可穿戴设备，所述传感器可以在演奏智能钢琴期间检测用户的演奏数据。例如，外部组件209是具有至少一个传感器的多个指环。指环可以戴在手指的关节上，或者可以戴在任何其他可能反映手指实际运动的位置。当按下智能钢琴的琴键时，指环中的传感器可以在按压期间记录其位置信息，或者加速信息或强度信息等或其组合。所记录的信息可以被发送到外部输入引擎203并且被进一步存储在存储装置202中。在一些实施例中，第二演奏数据可以是在演奏智能钢琴期间的脑电波。例如，用户可以佩戴具有脑电波检测器的头盔。脑电波信息可以被发送到外部输入引擎203并用于进一步分析。

控制器204可以被配置为生成智能钢琴系统的指令。例如，控制器204可以生成指示处理装置104的一个或多个组件执行各种功能的指令，诸如生成信号、接收数据、处理数据、存储数据、发送数据、呈现内容（例如，显示视频内容和/图像，播放音频内容等）。控制器204可以处理由信号采集引擎201、存储装置202、外部输入引擎203或智能钢琴系统的任何其他组件提供的数据。

控制器204可以包括基于处理器和/或基于微处理器的单元。仅作为示例，处理器可以包括微控制器、精简指令集计算机（RISC）、专用集成电路（ASIC）、专用指令集处理器（ASIP）、中央处理单元（CPU）、图形处理单元（GPU）、物理处理单元（PPU）、微控制器单元、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、橡子精简指令集计算（RISC）机器（ARM）、能够执行在此描述的功能的任何其他电路和/或处理器等或其任何组合。

控制器204可以进一步包括数据分析单元205。数据分析单元205可以被配置为分析第一演奏和/或第二演奏数据，以及被设置为默认并被存储在存储设备中的一些预定信息数据。例如，由外部组件209检测并且进一步传输到外部输入引擎203中的手势信息可以与存储装置202中的预先存储的手势信息进行比较。数据分析单元205的细节可以在其他地方公开在本申请中，例如在图3的描述中。

声音引擎206可以包括任何能够产生代表原声或电声的音频内容的设备，例如一个或多个合成器、音序器、音频编解码器、信号处理器、扬声器等。声音引擎206可以被配置为产生电声和/或原声。原声可以由钢琴200的声学部分产生，诸如可以产生声学声音的琴键、踏板、琴槌、琴弦和/或钢琴200的任何其他部分。

在一些实施例中，声音引擎206可以使用一个或多个合成器、音序器、音频编解码器、数字处理器和/或可以生成表示电声音的音频内容的任何其他设备来生成音频内容。可以使用一个或多个扬声器或任何其他设备来回放音频内容以产生电声。声音引擎206可以对电声进行各种改变。例如，可以基于用户的指令替换或改变电声。

电声可以与原声同时播放，也可以在没有原声的情况下播放。当原声正在播放时，电声也可以不连续播放。例如，在演奏中，当用户开始产生一个或多个选定的音符时，电声可以被触发。一旦播放了一个或多个选择的音符，可以移除电声。

在一些实施例中，声音引擎206可以基于由外部输入引擎203、存储装置202和/或任何其他设备提供的音乐数据来产生声音。仅作为例子，智能钢琴系统可以从用户的个人计算机或智能电话获取音乐数据。然后，音乐数据可以被转换成相应地由声音引擎206和声音引擎206可识别的形式。

自动演奏引擎207可以被配置为自动呈现音乐数据。音乐数据可以从存储装置202和/或任何其他设备获得。仅作为示例，音乐数据可以根据用户的演奏来生成，并被存储在存储装置202中。示例性音乐数据可以包括音乐原稿、一个或多个音符、手指演奏一个或多个琴键的时机、踩踏一个或多个踏板的时机、手指演奏一个或多个琴键的的顺序以及踩踏一个或多个踏板的顺序等。自动演奏引擎207可以基于音乐数据生成声音和/或图像。仅作为示例，在用户演奏音符并通过智能钢琴系统将其作为音乐数据存储在存储装置202中之后，自动演奏引擎207可自动获取音乐数据。然后音符可以在有或没有修改的情况下生成。自动演奏引擎207还可以向声音引擎206提供音乐数据和用于生成声音的指令。然后，声音引擎206可以相应地产生声音。

反馈模块210可以被配置为充当控制器204和外部组件209之间的连接器。控制器204可以生成用户可读信息信号并将其发送到反馈模块210中。如本文所使用的，用户可读信息信号可以包括声音信号、图像信号、振动信号、电脉冲信号等或其组合。用户可读信息信号的类型可以基于外部组件209的类型来确定。例如，多个外部组件209可以包括一个或多个相机以及一个或多个显示器。一个或多个相机可以检测手势的图像或用户的其他姿势信息。图像数据可以在处理装置104中被发送和处理。在处理之后，反馈模块210可以接收与之前检测到的图像相关的信号，并且进一步将信号传输到一个或多个显示器。在一些实施例中，多个外部组件209可以包括具有传感器和振动装置的一个或多个指环。配置有一个或多个传感器的指环可以在演奏期间检测手势。然后，与手势相关的信号可以被记录并且由处理装置104进一步发送和处理。在处理之后，反馈模块210可以接收与检测到并传输到振动装置的手势信号有关的振动信号。振动装置然后可以根据振动信号而振动。

根据本申请的一些实施例，处理装置104可以连接到云数据库208。存储装置202可以利用云数据库208下载和/或上传数据。在一些实施例中，如果存储装置202从信号采集引擎201、外部输入引擎或控制器204接收到数据，将数据的副本版本发送到云数据库208作为备份。在一些实施例中，声音引擎可以从云数据库208接收信息。例如，如果用户点未存储在存储装置202中的音符，则声音引擎可以根据云数据库208中的音符生成声音信号。控制器204可以从云数据库208接收信息。在一些实施例中，如果将新类型的外部组件配置到智能钢琴系统，则控制器204可以通过从云数据库208下载相关指令来生成控制指令。如这里所使用的，新类型的外部组件209指的是可以不由处理装置104存储或生成对应的控制指令的组件。在一些实施例中，自动演奏引擎207可以从云数据库208下载自动播放信息。自动播放信息可以包括按压智能钢琴琴键的时机、按压琴键的顺序、按压琴键的强度、按压琴键的时间间隔等或其组合。

在一些实施例中，信号采集引擎201、存储装置202、外部输入引擎203、声音引擎206、控制器204和自动演奏引擎207中的每一个可以包括和/或可以是任何通用设备，例如计算机或诸如客户端、服务器的专用设备和/或任何其他合适的设备。这些通用或专用设备中的任何一个可以包括诸如硬件处理器（其可以是微处理器、数字信号处理器、控制器和/或任何其他合适的硬件处理器）、存储器、通信接口、显示控制器、输入设备和/或任何其他合适的部件。例如，信号采集引擎201、存储装置202、外部输入引擎203、声音引擎206、控制器204和自动演奏引擎207中的每一个可以被实现为或包括个人计算机、平板电脑、嵌入式计算机、多媒体终端、移动电话、游戏设备、机顶盒、电视机和/或任何其他合适的设备。此外，信号采集引擎201、存储装置202、外部输入引擎203、声音引擎206、控制器和自动演奏引擎207中的每一个可以包括存储设备，该存储设备可以包括硬盘驱动器、固态存储设备、可擦除存储设备和/或任何其他合适的存储设备。信号采集引擎201、存储装置202、外部输入引擎203、声音引擎206、控制器204和自动演奏引擎207中的每一个可以位于任何合适的位置。信号采集引擎201、存储装置202、外部输入引擎203、声音引擎206、控制器204和自动演奏引擎207中的每一个可以被实现为独立设备或者与处理装置104的一个或多个其他组件集成。

可以与上述系统结合使用的智能钢琴系统的组件不是穷尽性的、不是限制性的。本领域技术人员可以确定许多其他改变、替换、变化、变更和修改，并且本申请意在涵盖落入本发明的范围内的所有这些改变、替换、变化、变更和修改。

图3是根据本申请一些实施例示出了示例性数据分析单元205。数据分析单元205可以包括但不限于生理信号处理器301、物理信号处理器302。数据分析单元205可以处理、分析、计算、检索、存储和传输数据。在一些实施例中，数据分析单元205还可以包括存储装置。生理信号处理器301、物理信号处理器302可以通过无线连接或有线连接与信号采集引擎201、存储装置202、外部输入引擎203、控制器204、声音引擎206、自动演奏引擎207、反馈模块210等连接或通信。

生理信号处理器301可以被配置为处理、分析、计算、检索、存储、传输诸如用户情绪、态度等的生理信息或与用户演奏相关的任何生理信息。在一些实施例中，生理信息还可以包括可用于评估与用户演奏相关的用户心理状态的脑电波、心率、微表情、血压、脉搏等或其组合。

物理信号处理器302可以被配置为处理、分析、计算、检索、存储和传输诸如演奏速度、按键压力、用户位置、手势、声音等或其组合的物理信息。

生理信号处理器301和物理信号处理器302可以是任何商业上可获得的或定制的实体、应用、个人、普及和/或嵌入式的微处理器、微控制器、数字信号处理器等。生理信号处理器301和物理信号处理器302可以是本地的或远程的。

可以与上述系统结合使用的数据分析单元205的组件不是穷尽性的、不是限制性的。本领域技术人员可以确定许多其他改变、替换、变化、变更和修改，并且本申请意在涵盖落入本发明的范围内的所有这些改变、替换、变化、变更和修改。在一些实施例中，数据分析单元205可以被配置在检测模块102中。在一些实施例中，生理信号处理器301和物理信号处理器302可以被集成到单个单元中。这些变化仍然在本申请的范围内。

图4根据本申请一些实施例示出了智能检测和处理系统的示例性反馈模块。反馈模块105可以包括但不限于实时输出401、阶段输出402和显示器403。在一些实施例中，反馈模块105还可以包括存储装置。实时输出401、阶段输出402和显示器403的不同单元可以经由无线连接或有线连接彼此连接或通信。

实时输出401可以被配置为向显示器403和/或外部组件209输出实时反馈内容。实时反馈内容可以包括用户演奏一段音乐时的任何信息，例如，乐谱、演奏视频、错误音符提醒、情绪、指法、姿势等及其组合。例如，反馈内容可以是在屏幕上显示的可视形式，诸如反馈、音符、图形信息（例如，进度条）的文本描述，其显示用户的演奏与参考音乐演奏相比的准确程度。视觉反馈内容可以反映用户在预定时间段内的演奏的准确度，或者从演奏开始以来的总体准确度。反馈内容也可以是触觉的。例如，通过诸如指环之类的可穿戴设备，当对应于该手指或手的音符或韵律之间的差异大于阈值时，实时输出401可以向用户的特定手指或用户的手的位置输入电子震动或振动以通知和/或提醒用户。在一些实施例中，实时输出401可以被配置为向外部组件209输出电子震动、振动以经由外部组件209提醒用户错误。

阶段输出402可以被配置为将阶段反馈内容输出到显示器403和外部组件209。阶段反馈内容可以是一段时间之后的阶段总结。阶段总结可以包括关于用户在一段学习经历中的信息，诸如学习风格、学习接受度、学习速率、习惯性错误、建议、评估、技能水平、用户心理状态或与用户演奏相关的任何信息。

在一些实施例中，阶段输出402可以被配置为根据用户演奏向用户输出个性化教育计划。

在一些实施例中，实时输出401和阶段输出402可以将反馈内容输出到数据库103、云数据库208或可以存储信息的其他存储设备。

显示器403可以被配置为向用户呈现反馈内容。显示器403可以是可以向用户呈现反馈内容的设备。显示器403可以包括但不限于打印设备、绘图仪、图像输出系统、语音输出系统、磁记录装置等或其组合。

在一些实施例中，显示器403可以是智能终端，例如台式计算机、膝上型计算机、智能电话、平板电脑、个人数字助理（PDA）等，或者可以接收反馈内容的任何设备。在一些实施例中，显示器403可以是可以显示音频、图像、文本等或其组合的多媒体显示器。

在一些实施例中，显示器403可以执行检测模块102的功能，诸如麦克风可以用作音乐输出设备或音乐输入。

可以与上述系统结合使用的反馈模块105的组件不是穷尽性的、不是限制性的。本领域技术人员可以确定许多其他改变、替换、变化、变更和修改，并且本申请意在涵盖落入本发明的范围内的所有这些改变、替换、变化、变更和修改。在一些实施例中，实时输出401可与阶段输出402集成为单个单元。在一些实施例中，反馈可以配置有处理器以处理用于输出的信息。在一些实施例中，实时输出401和阶段输出402可以由控制器204控制。这些改变仍然在本申请的范围内。

图5A是示出向如图1-4中所述的智能钢琴系统的用户传递反馈内容的方法流程图。

在步骤501中，智能钢琴系统可以检测和/或获得与用户演奏相关的用户信息。用户信息可以包括如在图1-4中引入的第一演奏数据和第二演奏数据等，或其组合。

如果用户信息是由通过安装在钢琴200中的传感器检测和/或获取的，并将其传输到信号采集引擎201中，则该用户信息可以被分类为第一演奏数据。如果用户信息是由通过安装在外部组件209中的传感器检测和/或获取的，则该用户信息可以被分类为第二演奏数据。

在一些实施例中，用户信息可以包括用户的身份。例如，可能需要用户通过输入设备（例如，键盘、遥控器、触摸板等或其组合）键入ID号和/或密码。演奏数据可以包括用户姿势、手势、脸部表情、情绪、脑电波模式等或其组合。与用户演奏相关的用户信息可以用于评估用户的演奏。例如，如果在演奏期间用户的手势类似于记录在存储装置202中的手势文件，则用户的演奏可以被认为良好。又例如，如果用户的脸部表情在演奏期间保持集中，则用户可被认为享受演奏。在一些实施例中，检测可以与用户演奏同时执行。一些用户信息（例如，用户的手势）可能需要实时监控。根据这种用户信息的评估可能需要演奏期间完整的数据。在一些实施例中，可以以预设间隔执行检测。某些类型的用户信息可能不需要始终受到监控。这种用户信息可以包括脸部表情、脑电波、体形等或其组合。可以每几个时间间隔（例如，每秒）检测这种类型的用户信息。时间间隔可以由用户预先确定，或者设置为默认值。

根据本申请的示例性实施例，用户信息还可以包括来自用户的过去演奏的多个历史反馈。

在步骤502中，智能钢琴系统可以根据用户信息生成信号。信号的类型可以包括电流值、电压值等或其组合。该信号可以由配置有多个传感器的外部组件209生成。信号的强度可以根据在外部组件209中配置的对应传感器的种类来确定。例如，如果外部组件209是具有一个或多个传感器的指环，则记录相应手指的位置信息，如果相应的手指按下琴键，则信号的强度可以增加。在一些实施例中，外部组件209是照相机，由于照相机可以始终监视手指，所以信号的强度可能不会改变。外部组件209也可以是具有脑电波传感器的头盔。当用户在钢琴上演奏音乐时，脑电波传感器被配置为感测、检测和收集用户的脑电波。因此，第二演奏数据还可以包括用户在演奏钢琴时的脑电波信息。

在步骤503中，可以将该信号发送到处理装置104。如图2所示，该信号可以由外部组件209生成并且进一步发送到处理装置104的外部输入引擎203。从多个外部组件209到外部输入引擎203的信号可以通过有线传输或无线传输。示例性的有线传输可以包括RS-232、CAN、TCP/IP、光纤等或其组合。示例性无线传输可以包括蓝牙、WLAN、Wi-Fi、Zigbee、Z-Wave、EnOcean、红外数据协会（IrDA）、超宽带（UWB）、近场通信服务（NFC）、移动网络（2G、3G或4G信号）、VPN、共享网络等或其组合。在一些实施例中，传输可以在演奏期间实时执行。例如，照相机可以生成一系列连续图像数据，并且图像数据的流量可能需要实时传输到处理装置104。在一些实施例中，传输可以不需要在演奏期间实时执行。例如，多个位置数据可被记录在指环的存储装置中。在演奏或特定时间间隔之后，可以根据其被记录的时间以特定顺序将位置数据传输到处理装置104。

在步骤504中，智能钢琴系统可以处理该信号并相应地生成反馈内容。

如图2所示，信号可以由外部输入引擎203和/或信号采集引擎201接收，存储在存储装置202中，并进一步发送到控制器204。在一些实施例中，信号可能不需要存储在存储设备中，可以直接发送给控制器204。信号可以由数据分析单元205分析。在处理之后，控制器204可以生成反馈内容。反馈模块210可以根据反馈内容生成多个指令。处理方法可以根据之前检测到的演奏数据的类型来确定。仅作为示例，外部组件209可以包括相机。相机检测到的第一演奏数据可以是反映用户在演奏期间的手势改变的一系列图像。控制器204可以将一系列图像连接在一起以生成视频内容。在一些实施例中，外部组件可以包括位置传感器。由传感器检测到的第一演奏数据可以是手指的时机和位置。处理方法可以是分析手指的时机和位置数据，以产生在演奏期间与用户手指类似的虚拟手。反馈内容可以指提醒用户的一些动作。示例性反馈内容可以包括在显示器上显示图像和/或视频、驱动振动装置、驱动电脉冲发生器等或其组合。反馈内容的类型可以由包括在外部组件209中的多个提醒设备来确定。如这里所使用的，多个提醒设备可以指可以生成人类可感知信号的设备。示例性的提醒装置可以包括显示器、振动装置、电脉冲发生器等或其组合。例如，反馈内容可以是在屏幕上显示的可视形式，诸如反馈的文本描述、分数或图形信息（例如，进度条），其显示用户的演奏与参考音乐演奏相比的准确程度。视觉反馈内容可以反映用户在预定时间段内的演奏的准确度，或者从演奏开始以来的总体准确度。反馈内容也可以是触觉的。例如，通过诸如指环之类的可穿戴设备，当对应于该手指或手的音符或韵律之间的差异大于阈值时，实时输出401可以向用户的特定手指或用户的手的位置输入电子震动或振动以通知和/或提醒用户。

根据本申请的实施例，智能钢琴系统还可以处理来自用户的过去演奏的多个历史反馈。为此，数据分析单元可以基于多个历史反馈来分析用户的过往表现，并且生成用户演奏的统计结果。所述结果可以反映用户在他/她的演奏中的特征。例如，数据分析单元可以生成统计结果，该统计结果展示什么音符或音符的组合用户未能在过去正确演奏。然后可以将该结果传输给用户以向他/她展示她在演奏中的弱点在哪里，并突出他/她可以做出的改进。例如，用户演奏的特征可以包括用户演奏的音符或音符的组合，其相对于参考演奏的失配率大于预定概率。根据另一个实施例，统计结果还可以反映用户的演奏随时间变化的特性。例如，统计结果可以显示上述用户演奏的音符或音符的组合随着时间的改善，以便当结果被传递给用户时，可以向用户通知他/她的演奏改进。

在步骤505中，智能钢琴系统可以将反馈内容传递给用户。

在一些实施例中，由反馈模块210生成的多个指令可以被传输到多个外部组件209以驱动外部组件209中的相应的提醒设备。从反馈模块210向外部组件209的传输可以通过有线传输或无线传输。

在接收到指令后，外部组件中的相应提醒装置可产生人类敏感信号。例如，该指令可以是驱动显示器以在其上显示图像的一系列图像数据。该指令可以是用于驱动振动装置和/或电脉冲发生器的脉冲信号。如果用户按错了琴键或手势不正确，则振动装置可能会振动和/或电脉冲发生器可能产生电脉冲以提醒用户。

根据实施例，提醒设备可以包括增强现实设备，诸如被配置为根据反馈显示教导用户的虚拟教师的头戴式耳机。当用户做出不正确的演奏时，诸如与参考演奏不符的用户演奏，虚拟教师可以提醒和/或改正用户的演奏。

应该注意的是，上述对将反馈内容传输给智能钢琴的用户的方法的描述仅仅是为了说明的目的而提供的，并非旨在限制本公开的范围。对于本领域普通技术人员而言，可以在本申请的教导下进行多种变化和修改。例如，检测方法和/或反馈内容可以根据具体的实施场景进行变化。仅作为示例，可以包括一些其他外部组件，并且相应的检测和/或反馈内容可以相应地改变。在一些实施例中，可以在处理由处理装置之前生成的信号之后不生成反馈内容，其可以在检测到与用户演奏相关的用户演奏时直接生成。

图5B是根据本申请一些实施例示出的处理来自外部输入引擎203和/或信号采集引擎201的信号并生成反馈内容的方法的流程图。如前所述，信号采集引擎201可以从钢琴200接收携带第一演奏数据的信号（“第一信号”）。外部输入引擎203可以从外部组件209接收携带第二演奏数据的信号（“第二信号”）。控制器204可以从信号采集引擎201和/或外部输入引擎203接收第一和/或第二信号。反馈内容可以基于第一信号和第二信号中的一个来生成。在一些实施例中，反馈内容可以基于第一信号和第二信号两者生成反馈内容。

在步骤506中，控制器204可以通过将从信号采集引擎201发送的第一信号与音乐数据进行比较来获得第一比较结果。从信号采集引擎201发送的第一信号可以包括钢琴相关信息，例如，琴键身份信息、按压琴键的时机信息、按压多个琴键的序列信息、踩踏踏板的时机信息以及由琴键和/或踏板运动产生的音符信息。音乐数据可以是预先存储在存储装置202中的标准数据，并且与从信号采集引擎201发送的信号的类型相同。在一些实施例中，从信号采集引擎201发送的第一信号可以包含用户按压琴键的时机信息。相应的音乐数据可以包含按压琴键的标准时机信息。时机信息可以在这个步骤中进行比较。

在步骤507中，控制器204可以访问第一比较结果以生成反馈内容。例如，如果包含在从信号采集引擎201传输的信号中包含的如前所述的时机信息与标准时机信息匹配或基本匹配，则比较结果可被认为是正确的（例如，第一演奏数据的时机信息和预存的标准时机信息的相似度小于阈值）。如果时机信息与标准时机信息不匹配，则比较结果可能被认为是不正确的。反馈内容可以基于比较结果来生成。例如，如果比较结果是正确的，则不会向用户发送提醒，或者可以在屏幕上显示正确的演奏符号。如果比较结果不正确，则可以生成提醒信息并通过一些提醒设备将其发送给用户。

在步骤508中，控制器204可以根据从外部输入引擎203发送的第二信号来校准之前生成的反馈内容。在一些实施例中，包含在从信号采集引擎201发送的信号中的时机信息可能不完全代表按压琴键的时机，由于按键的机械运动会有延迟或者信号采集引擎201的处理有延迟。因此可能需要校准反馈内容。在一些实施例中，可以使用照相机在演奏期间来检测琴键按压。按压琴键的另一个时机信息可以由相机记录并且进一步经由外部输入引擎203发送到控制器204。从外部输入引擎203发送的时机信息可以与从信号采集引擎201发送的时机信息和标准时机信息进行比较。控制器204可以根据比较获得和/或生成第二比较结果。反馈内容可以根据第二比较结果来校准。仅作为示例，可以基于从外部输入引擎203发送的时机信息和从信号采集引擎201发送的时机信息来计算时机信息的平均值。然后可以将时机信息的平均值与标准时机信息进行比较来评估按键动作是否正确。

应该注意的是，上述流程是为了说明的目的而提供的，并不旨在限制本申请的范围。显然，对于本领域普通技术人员而言，在本申请的教导下可以进行许多变化和修改。然而，这些变化和修改不脱离本申请的保护范围。在一些实施例中，可以首先在从外部输入引擎203发送的信号和标准时机信息之间执行比较。并且从信号采集引擎201发送的信号可以用于校准反馈内容。这些仍然在本申请的保护范围内。

图6是本申请的实施例。如图所示，用户正在演奏智能钢琴603。智能钢琴603可以配置有至少一个显示器604和相机600。对于智能钢琴系统，显示器604和相机600可以是外部组件209。显示器604可以相对于智能钢琴603的键盘垂直设置。在一些实施例中，显示器可以被转动到相对于之前描述的垂直位置的特定角度，以在适当位置面向用户。具体角度可以取决于用户的身高和/或坐姿。例如，较高的用户可以将显示器相对于智能钢琴603转向较大的角度，以便显示器面向用户。而较矮的用户可以将显示器相对于智能钢琴603转向较小的角度，以便显示器面向用户。至少一个相机600可以安装在智能钢琴603上。相机600的位置可以设置在显示器604的上方中部。在这种情况下，相机600可以俯瞰键盘和/或用户的手势。在一些实施例中，相机600的位置可以设置在显示器604的一侧或智能钢琴的一侧。在这种情况下，相机600可以捕捉键盘的侧视图和/或用户的手势。相机600的视角可以根据用户的需求进行调整。例如，如图所示，相机600可以旋转到不同的方向。通过旋转相机600，可以获取第一视角601和第二视角602。第一视角601可以监视键盘和用户的手势。第二视角602可以监视用户的脸部表情。相机的方向取决于用户的需求。例如，当用户想要在演奏期间记录手势时，视角可以被调整到第一视角601。当用户想要在演奏期间记录脸部表情时，可以将视角调整到第二视角602。在一些实施例中，安装在智能钢琴603上的相机600可以不止一个。相机600中的一个可以被设置在具有第一视角601的第一位置。相机600中的另一个可以被设置在具有第二视角602的第二位置。多个相机600可以同时操作以记录用户的手势和/或脸部表情，或者根据来自处理装置104的指令单独进行。

在该实施例中，外部组件209可以包括至少一个显示器604和至少一个相机600。相机600可以检测与用户演奏相关的用户信息。用户信息可以包括手势、脸部表情、身体姿势等或其组合。根据用户信息生成的信号可以是多个图像数据和/或视频数据。然后，图像和/或视频数据可以发送到智能钢琴的处理装置104。处理装置104可以处理所述图像和/或视频数据。该处理可以包括图像和/或视频重建、图像和/或视频分割等或其组合。然后，处理装置104可以根据处理的图像和/或视频数据来生成反馈内容。反馈内容可以是要在智能钢琴603的显示器604上显示的多个经处理的图像和/或视频。在接收到反馈内容时，显示器可向用户显示多个经处理的图像和/或视频。

图7A和图7B公开了本申请的实施例的外部组件209。根据该实施例，外部组件209可以是多个指环700。每个指环可以包括一个或多个传感器和/或以测量指环移动和位置的提醒装置。多个指环700中的每个指环可以被佩戴在用户的关节上。每个关节的位置和移动信息可以由指环700记录并且进一步用于重建用户的手势。在一些实施例中，指环700可以戴在用户的手的指尖上。安装在环中的传感器可以检测琴键的按压速度并进一步计算相应琴键上的按压强度。

图7A是根据本申请的一些实施例示出的指环700中的设备的框图。指环700可以包括微处理器701、加速度传感器702、位置传感器703、提醒单元704、存储器705、通信单元706和电源707。微处理器701可以通过数据总线等或其组合与其他装置连接。仅作为示例，处理器可以包括微控制器、精简指令集计算机（RISC）、专用集成电路（ASIC）、专用指令集处理器（ASIP）、中央处理单元（CPU）、图形处理单元（GPU）、物理处理单元（PPU）、微控制器单元、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、橡子精简指令集计算（RISC）机器（ARM）以及任何其他能够执行在此描述的功能的电路和/或处理器等，或其任何组合。

加速度传感器702可以包括陀螺仪、霍尔传感器、磁场传感器等或其组合。指环的加速度数据可以代表相应手指的移动。指环的加速度数据可以进一步用于计算手指的按压强度。位置传感器703可以包括电光传感器等，或其组合。位置传感器可以在特定的时机记录指环的位置。指环的位置可以是相对于地面或智能钢琴的绝对位置，或者可以是相对于另一个指环的相对位置。提醒单元704可以包括之前描述的提醒装置，例如显示器、振动装置、电脉冲发生器、LED、扬声器等或其组合。提醒单元704可以由来自微处理器701的指令驱动。存储器705可以包括能够存储数据的任何设备。由传感器检测到的用户演奏数据可暂时存储在存储器705中，然后传输到微处理器。由微处理器701产生的指令可暂时存储在存储器705中，然后被发送到提醒单元704。通信单元706可被配置为设置指环700和智能钢琴之间的传输信道。所述传输可以通过有线传输或无线传输电源707可以被配置为向指环700中的其他装置供应电力。

在一些实施例中，加速度传感器702和/或位置传感器703可以检测加速度数据和/或位置数据。加速度数据和位置数据可以涉及与用户演奏相关的用户信息。然后，微处理器701可以处理数据以生成信号。该信号可以被传输到通信单元706以用于进一步传输到智能钢琴的处理装置104。通信单元706可以与处理装置104的外部输入引擎203建立通信信道，然后可以发送该信号。通信单元706可以在处理之前发送的信号之后从智能钢琴的反馈模块210接收指令。该指令可以直接发送给提醒单元704，或者通过微处理器701发送给提醒单元704。该指令可以驱动提醒单元704中的相应的提醒设备。

图8是根据本申请一些实施例公开的检测与用户演奏相关的用户信息的示例。外部组件209可以包括相机801和多个指环803。相机可以设置在智能钢琴的顶部，或者可以同时监视键盘802和用户的手的某个位置。指环803可以包括指环700中的一些或全部设备。指环803可以呈现可以由相机801检测到的特征。示例性特征可以包括颜色、形状、尺寸等或其组合。在一些实施例中，佩戴在不同手指上的指环803可以被涂上不同的颜色。相机801可检测手指环803上的不同颜色。当用户按压键盘802时，彩色指环803的移动可表示对应手指的移动。移动数据可以由相机801记录并且进一步发送到智能钢琴的处理装置104。

图9A和图9B是根据本申请一些实施例公开的检测与用户演奏相关的用户信息的两个示例，示出了使用传感器检测钢琴琴键运动的机制。传感器可集成在智能钢琴中以检测钢琴相关信息。如图所示，可以包括传感器900。传感器900（例如，光电传感器）可以包括发光元件902和光检测元件903。发光元件902的示例性列表可以包括可见LED、激光LED、红外LED、激光二极管（LD）、光电管等。光检测元件903的示例性列表可以包括光电管、有源像素传感器（APS）、辐射热测定计、电荷耦合器件（CCD）、气体电离检测器、光敏电阻、光电晶体管等。发光元件902可以产生各种波长的光。例如，发光元件902可以产生可见光、红外光、紫外（UV）光等。在一些实施例中，由发光元件902发射的光束的波长可以由一个或者多个使用脉宽调制（PWM）机制的电机控制。光检测元件903可以被配置为接收光并将其转换成电信号（例如，电流信号、电压信号等）。

参考图9A，在一些实施例中，发光元件902和光检测元件903可以放置在琴键901下方。在一些实施例中，可以在琴键901的表面安装不透明的凸出物，例如，板904。非透明板904可以部分或完全防止光检测元件903接收由发光元件902发射的光。非透明板904可以安装到琴键901的下表面（例如琴键901的底部）。发光元件902可以不断地向光检测元件903发射光。发光元件902也可以不连续地向光检测元件903发射光。例如，光束的发射之间可以存在一个或多个时间间隔。所述一个或多个时间间隔可以基于用户按下琴键的速度。

在一些实施例中，光束905可以由发光元件902发射。当琴键901未被按下时，琴键停留在“顶部”位置。当用户按下琴键901时，琴键可以从“顶部”位置向下移动。当琴键901不再向下移动时，它达到“结束”位置。非透明板904可以与琴键901一起移动并且可以阻挡光束905的一个或多个部分。由光检测元件903检测到的光量可以由于非透明板904的移动而变化。例如，当琴键901向“结束”位置移动时，由光检测元件903检测到的光量可能减少。作为另一例子，当琴键901向“顶部”位置移动时，由光检测元件903检测到的光量可以增加。光检测元件903可以确定关于接收光量随时间的信息，并且可以将这种信息转换为一个或多个电信号（例如，一个或多个按键信号）。

转到图9B，在一些实施例中，可以从智能钢琴系统中省略非透明板904。例如，发光元件902和光检测元件903可以放置在琴键901的上方或下方，并且由发光元件902发射的光束911可能不能够朝向发光元件902直线地传播。由发光元件902发射的光束911可朝向琴键901投影。光束911一旦到达琴键901的表面（例如，上表面、底面等）时会被反射。然后，反射光913可以朝向光检测元件903行进并且可以由光检测元件903接收。当用户按下琴键901时，琴键可以从“顶部”位置向下移动到“结束”位置。由于琴键的各种运动，光从发光元件902行进到光检测元件903的距离可能变化。光检测元件903可以确定光发射和光接收之间的时间，以记录光传播的距离的变化。所述距离的变化可以通过光检测元件903转换成一个或多个电信号。因此，琴键901的运动可以由传感器记录。

上面描述的发光元件和光检测元件不是穷尽性的，在此不加以限制。本领域技术人员可以确定许多其他改变、替换、变化、变更和修改。并且所有这些改变、替换、变化、变更和修改都应落入本申请的范围内。

图10是根据本申请一些实施例示出的用于智能检测及反馈系统的方法的流程图。该方法可以作为智能钢琴系统的非临时性存储介质中的一组指令来实现，并且可以由智能钢琴系统的处理装置104执行。

在步骤1001中，处理装置104可以获得与一段音乐的演奏有关的用户的演奏数据。演奏数据可以包括关于琴键的运动信息、演奏期间踏板的运动信息、琴键的位置信息、关于琴键的运动的时机信息（例如，与按下琴键相对应的时刻、与释放琴键相对应的时刻、与琴键位置相对应的时刻等）、按压强度信息、琴键在其运动期间的速度信息，和/或琴键组的数量或每个琴键的数量信息、演奏者踩踏踏板的时机信息以及每个踏板或踏板组的数量信息。演奏数据可以通过信号采集引擎201和/或外部输入引擎203获得。信号采集引擎201和/或外部输入引擎203可以通过有线连接或无线连接与检测模块102和数据库连接或通信。

在一些实施例中，演奏数据还可以包括用户情绪数据、态度数据等。情绪数据可以用于通过适当的情绪表达来评估用户的演奏。态度数据可用于评估用户对乐器演奏的热情。

在一些实施例中，处理装置104还可以获得用户演奏相关的用户信息，诸如用户演奏习惯、音乐技巧水平、兴趣爱好、经验、能力等。用户信息可以用来评估用户的演奏。用户信息可以存储在数据库103中。用户信息可以存储在云数据库208中。

在步骤1002中，处理装置104可以获得作为参考音乐数据的音乐数据。所述音乐数据可以从数据库103、外部输入引擎203、存储装置202、云数据库、服务器和/或能够提供音乐数据的任何其他设备处接收。音乐数据可以包括关于一段音乐的任何信息，诸如音乐乐谱、音乐家信息、钢琴教学视频、钢琴教学参考、指法、音乐家演奏等。音乐数据可以是音频文件、图像、，文本、视频等或其组合。

在一些实施例中，该段音乐可以由用户（例如，钢琴演奏者）识别。例如，智能检测及反馈系统100可以提示用户从音乐乐谱的列表中选择音乐乐谱和/或提供关于该段音乐的信息（例如，通过提供一个或多个用户界面）。作为另一个例子，智能检测及反馈系统100可以通过启动音乐数据的下载和/或从存储音乐数据的设备提取音乐数据来检索和识别诸如乐谱的音乐数据。在一些实施例中，可以基于与音乐片段的演奏有关的音频内容（例如，使用合适的音频匹配，指法和处理技术）来识别该音乐片段。

在一些实施例中，处理装置104可以执行在数据库103、云数据库208、存储装置202或网页等中检索音乐数据的功能。

在一些实施例中，处理装置104还可以执行分析演奏数据的功能。例如，用户表演的图像数据可以用于识别图像并提取特征数据，诸如用户微表情、用户姿势、用户指法或与用户表现相关的任何特征。

在步骤1003中，可以将音乐数据（即，参考音乐数据）与演奏数据进行比较。在一些实施例中，处理装置104可用于将多个演奏音符的演奏数据与多个模范音乐音符的模范音乐数据进行比较。模范音乐数据可以通过处理音乐数据来获得。在每个备选音符匹配阵容中，除非相应演奏的音符已被识别为缺失，否则每个模范音符与演奏的音符之一相匹配以形成一对。备选音符匹配阵容和另外的由至少一对匹配的模范音符和演奏的音符不同。对于每个备选音符匹配阵容，处理装置104可以分析一组音符偏差，每个音符偏差根据模范音符中一个音符的数据和用于匹配演奏音符的数据来计算。对于每个备选音符匹配阵容，处理装置104可以分析来自模范音乐数据和演奏音乐数据的整体演奏偏差。

在步骤1004中，处理装置104可以评估用户演奏以生成反馈内容。处理装置1104可以基于比较音乐数据和演奏数据来评估用户的表现。在一些实施例中，处理装置1104可以基于用户信息进行评估。

在一些实施例中，反馈内容可以包括学习来自专家的示例演奏、付出更多努力来演奏某些音符等。在一些实施例中，反馈内容可以是来自基于云的存储设备、服务器和/或任何其他能够提供建议的设备的建议。例如，这些建议可以存储在基于云的存储设备中，该存储设备被任何可能的错误索引。每个错误都可能针对一个或多个建议。在一些实施例中，建议可以来自一个或多个实时专家数据库。每个实时专家数据库可以连接到一个或多个专家，这些专家可以在接收到一个或多个错误之后提供建议。智能检测及反馈系统可以向实时专家数据库提供错误并从实时专家数据库中提取建议。在一些实施例中，可以基于由智能检测及反馈系统记录的错误的历史来生成建议。例如，如果某些错误的数量超过阈值，则智能检测及反馈系统可以提供建议以提示用户关于错误的通知。

在步骤1005中：处理装置104可以将结果发送到反馈模块105。反馈结果可以包括音频内容、视频内容、图像、文本、图形、电子震动、振动等或其组合。在一些实施例中，反馈模块105可以显示如何演奏音符、一组音符或者乐谱的一部分，阐明乐谱，或者指出用户演奏该乐器所做出的演奏错误。

处理装置104可以经由无线连接或有线连接将结果发送到反馈。无线连接可以是蓝牙、WLAN、Wi-Fi、Zigbee、Z-Wave、EnOcean、红外数据协会（IrDA）、超宽带（UWB）、近场通信服务（NFC）、移动网络（2G，3G或4G信号）、VPN或共享网络等或其组合。

应该理解，每个流程图可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机和/或其它可编程数据处理装置的控制器以产生经由计算机和/或其他可编程数据处理装置的控制器执行的指令，创建用于实现流程图中指定的功能的手段。

应该注意的是，上述流程是为了说明的目的而提供的，并不旨在限制本申请的范围。显然，对于本领域普通技术人员而言，在本申请的教导下可以进行许多变化和修改。然而，这些变化和修改不脱离本申请的保护范围。在一些实施例中，检测模块102可以被配置成用于处理数据的微处理器。在一些实施例中，不同模块相互组合，这些仍处于本申请的保护范围内。

图11是根据本申请一些实施例示出的用于智能检测及反馈系统的过程的流程图。该过程可以作为智能钢琴系统的非临时性存储介质中的一组指令来实现，并且可以由智能钢琴系统的处理装置执行。

在步骤1101中，演奏数据可以由至少一个传感器获得。传感器可以包括但不限于加速度计、力感测电阻器（FSR）、声纳、红外（IR）传感器、光电传感器、惯性测量单元（IMU）传感器、姿态/航向参考系统（AHRS）传感器、温度传感器或通用运动或方位传感器。在一些实施例中，传感器可以是声音（音量、功率或频率）测量装置。

在一些实施例中，压力传感器可以被配置在键盘下方并且可以经由无线连接或有线连接而连接到处理装置104。当用户触摸该键时，可以通过压力传感器检测施加在键上的压力。压力传感器可以捕获压力的值并产生压力信号。压力信号可以由信号采集引擎201和/或外部输入引擎203获得并且被传输到控制器204和数据分析单元205。

在一些实施例中，传感器可以配置在诸如智能手指环、智能手环、智能手套、智能眼镜等的智能配件中。

在步骤1102中，可以将演奏数据传输到处理器。在一些实施例中，处理器可以被配置在检测模块102中。在一些实施例中，处理器可以被配置在处理装置104中。传感器可以经由无线蓝牙、WLAN、Wi-Fi、Zigbee、Z-Wave、EnOcean、红外数据协会（IrDA）、超宽带（UWB）、近场通信服务（NFC）、移动网络（2G，3G或4G信号）、VPN、共享网络等或其组合等与处理器通信或连接。

在步骤1103中，处理器可以将演奏数据与乐谱进行比较。

在一些实施例中，可以在数据分析单元205与乐谱比较之前分析演奏数据。在一些实施例中，光传感器可以被配置为当用户演奏一段音乐时获得键盘上手指位置的图片。光传感器可以将光学信号转换为电信号，并且将该电信号传输到数据分析单元205。数据分析单元205可以识别该图片并捕获键盘上的手指位置。

数据分析单元205还可以从数据库103获得乐谱。在一些实施例中，可以由用户从数据库103中检索乐谱。在一些实施例中，可以从网页检索乐谱并且通过用户语音控制来下载乐谱。

在一些实施例中，反馈模块105可以在屏幕上显示乐谱，甚至显示虚拟键盘。虚拟键的运动可以与乐谱相符。

在步骤1104和1105，如果演奏数据与乐谱相匹配，则用户可以继续演奏下一个音符。在一些实施例中，压力传感器可以获得键的运动，并确定由用户演奏的音符。处理装置104可以根据乐谱确定应该演奏的音符，并与演奏的音符进行比较。如果所演奏的音符与乐谱相匹配，则可以允许用户继续演奏下一个音符。如果演奏的音符与音乐音符不匹配，则系统可提供阻止用户继续演奏下一音符的提醒。

在一些实施例中，智能检测及反馈系统100可以被配置为实现错误检测模式和/或错误检测模块。例如，错误检测模式和/或模块可以检测演奏信息中的错误。演奏信息中的错误可能包括操作一个或多个键和/或踏板的错误时机，一个或多个键和/或踏板的错误操作顺序，操作一个或多个键和/或踏板的不适当的强度等。如果用户在一段音乐的表演中产生错误，则系统100可以实时检测错误，并且阻止用户继续演奏该段音乐。智能检测及反馈系统100也能够为玩家提供建议。建议可以基于演奏信息中的错误。例如，这些建议可以包括学习其他专家的示例演奏，为演奏某些音符付出更多努力等。

在一些实施例中，系统可以在乐器中配置有外部组件，以在用户演奏错误音符时阻碍乐器工作。在一些实施例中，系统可以经由电子震动来提醒用户。在一些实施例中，系统可以在屏幕上显示错误或通过声音以建议用户应该演奏哪个音符。

应该注意的是，上面提供的控制器的部件是为了说明的目的而提供的，并不旨在限制本申请的范围。显然，对于本领域普通技术人员而言，在本申请的教导下可以进行许多变化和修改。然而，这些变化和修改不脱离本申请的保护范围。

但应该记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是适用于这些物理量的便利性名称。除非特别声明，否则从以下讨论中显而易见的是，应该理解，在整个说明书中，利用诸如“发送”、“接收”、“生成”、“提供”、“计算”、“执行”、“存储”、“产生”、“确定”、“获得”、“校准”、“记录”等等是指计算机系统或类似的电子计算设备的操作和处理，作为计算机系统寄存器内的物理（电子）量，并将其转换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。

这里使用的术语“第一”、“第二”、“第三”、“第四”等意味着作为区分不同元件的标签，并且根据其数字标识可能不一定具有序数含义。

在一些实施方式中，可以使用任何合适的计算机可读介质来存储用于执行在此描述的过程的指令。例如，在一些实现中，计算机可读介质可以是暂时的或非暂时的。例如，非暂时性计算机可读介质可以包括诸如磁介质（诸如硬盘，软盘等）、光介质（诸如光盘，数字视频盘，蓝光盘等）的介质、半导体介质（诸如闪速存储器，电可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）等），在传输过程中不短暂或没有任何永久性相似性的任何合适的介质和/或任何适合的有形媒体。作为另一个例子，瞬态计算机可读介质可以包括网络上、连接器、导体、光纤、电路中的信号，在传输期间转瞬即逝且没有任何持久性的任何合适介质和/或任何合适的无形介质。

应该注意的是，在一些具体实施例中配备有智能钢琴系统的钢琴用于说明的目的提供，而不旨在限制本申请的范围。显然，对于本领域普通技术人员而言，在本申请的教导下可以进行许多变化和修改。然而，这些变化和修改不脱离本申请的保护范围。

此外，所引用的处理元件或序列的顺序，或者数字，字母或其他名称的使用，并不旨在将要求保护的过程和方法限制为任何顺序，除非可以在权利要求中另有指定。尽管上述申请通过各种示例讨论了当前被认为是本申请的各种有用实施例的内容，但是应该理解，这样的细节仅用于该目的，并且本申请不限于所公开的实施例，但是，相反，旨在覆盖所公开的实施例的精神和范围内的修改和等同布置。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为仅软件解决方案——例如，在现有服务器或移动设备上的安装。

类似地，应当理解，在本申请的实施例的前述描述中，出于简化本申请的目的，有时将各种特征组合在单个实施例、附图或其描述中，以帮助理解本申请的各种发明实施例中的一个或多个。然而，本申请的方法不应被解释为反映所要求保护的主题需要比每个权利要求中明确记载的更多特征的意图。相反，发明实施例在于少于单个前述公开实施例的所有特征。

Claims (20)

1.一种智能乐器系统，其特征在于，所述系统包括：

第一传感器，被配置为获取反映乐器操作的第一演奏数据；

第二传感器，被配置为接收与智能乐器系统的用户的手势相关的第二演奏数据；

处理装置，与第一传感器和第二传感器通信，被配置为基于第一演奏数据和第二演奏数据生成反馈；以及

提醒装置，被配置为将反馈传递给用户；

为了生成所述反馈，所述处理装置被进一步配置为：

将与所述第一演奏数据相关联的时机信息和与所述第二演奏数据相关联的时机信息中的一个与参考音乐数据进行比较以生成反馈内容；以及

根据与所述第一演奏数据相关联的时机信息和与所述第二演奏数据相关联的时机信息中的另一个校准所述反馈内容。

2.如权利要求1所述的智能乐器系统，其特征在于，所述处理装置被进一步配置为：

从用户过去的演奏中获取多个历史反馈；

基于多个历史反馈，生成反映用户演奏的特征的统计结果；

根据统计结果向用户输出演奏指示。

3.如权利要求2所述的智能乐器系统，其特征在于，所述用户演奏的特征包括用户在乐器上的演奏与参考演奏失配的概率大于预设概率。

4.如权利要求1所述的智能乐器系统，其特征在于，手势包括所述用户的手指姿势；以及

第二传感器包括以下中的至少一个：

多个指环，每个指环被配置为戴在手指上，并且测量手指的位置、运动或力量中的至少一个；或

摄像机，被配置为获取用户的手势图像。

5.如权利要求1所述的智能乐器系统，其特征在于，第二演奏数据还与用户的身体姿势或面部表情中的至少一个有关；以及

第二传感器包括摄像机，被配置为获取用户的身体姿势或面部表情中的至少一个。

6.如权利要求1所述的智能乐器系统，其特征在于，第二传感器包括脑电波检测器，其被配置为测量用户的脑电波；以及

第二演奏数据进一步包括用户在演奏乐器时的脑电波信息。

7.如权利要求1所述的智能乐器系统，其特征在于，所述乐器包括多个按键或踏板中的至少一个；以及

第一演奏数据包括以下中的至少一个：

琴键的身份信息，

按压琴键的时机信息，

多次按压琴键的顺序信息，

踩踏踏板的时机信息，

以及音符信息，所述音符信息由琴键产生或由踏板运动产生。

8.如权利要求1所述的智能乐器系统，其特征在于，为了生成所述反馈，所述处理装置被进一步配置为：

将与所述第一演奏数据相关联的时机信息与参考音乐数据进行比较以生成反馈内容；以及

根据与所述第二演奏数据相关联的时机信息校准所述反馈内容。

9.如权利要求1所述的智能乐器系统，其特征在于，为了生成所述反馈，所述处理装置被进一步配置为：

将与所述第二演奏数据相关联的时机信息与参考音乐数据进行比较以生成反馈内容；以及

根据与所述第一演奏数据相关联的时机信息校准所述反馈内容。

10.如权利要求1所述的智能乐器系统，其特征在于，提醒装置包括增强现实耳机，其被配置为根据反馈显示教导用户的虚拟教师。

11.一种用于操作智能乐器系统的方法，其特征在于，所述方法包括：

通过与乐器连接的第一传感器获取反映乐器操作的第一演奏数据；

通过与用户连接的第二传感器获取与用户的手势相关的第二演奏数据；

通过与第一传感器和第二传感器通信的处理装置，基于第一演奏数据和第二演奏数据生成反馈；以及

通过提醒装置将反馈传递给用户；

所述生成反馈进一步包括：

将与所述第一演奏数据相关联的时机信息和与第二演奏数据相关联的时机信息中的一个与参考音乐数据进行比较以生成反馈内容；以及

根据与所述第一演奏数据相关联的时机信息和与所述第二演奏数据相关联的时机信息中的另一个校准所述反馈内容。

12.如权利要求11所述的方法，其特征在于，进一步包括：

通过所述处理装置从用户过去的演奏中获取多个历史反馈；

通过所述处理装置，基于多个历史反馈，生成反映用户演奏的特征的统计结果；

通过所述智能乐器系统，根据统计结果向用户输出演奏指示。

13.如权利要求12所述的方法，其特征在于，所述用户演奏的特征包括用户在乐器上的演奏与参考演奏失配的概率大于预设概率。

14.如权利要求11所述的方法，其特征在于，所述手势包括所述用户的手指姿势。

15.如权利要求11所述的方法，其特征在于，所述第二演奏数据还与用户的身体姿势或面部表情中的至少一个有关。

16.如权利要求11所述的方法，其特征在于，所述第二演奏数据还包括用户在操作乐器时的脑电波信息。

17.如权利要求11所述的方法，其特征在于，所述乐器包括多个按键或踏板中的至少一个；以及

第一演奏数据包括以下中的至少一个：

琴键的身份信息，

按压琴键的时机信息，

多次按压琴键的顺序信息，

踩踏踏板的时机信息，

以及音符信息，所述音符信息由琴键产生或由踏板运动产生。

18.如权利要求11所述的方法，其特征在于，所述生成反馈进一步包括：

将与所述第一演奏数据相关联的时机信息与参考音乐数据进行比较以生成反馈内容；以及

根据与所述第二演奏数据相关联的时机信息校准所述反馈内容。

19.如权利要求11所述的方法，其特征在于，所述生成反馈进一步包括：

将与所述第二演奏数据相关联的时机信息与参考音乐数据进行比较以生成反馈内容；以及

根据与所述第一演奏数据相关联的时机信息校准所述反馈内容。

20.如权利要求11所述的方法，其特征在于，反馈的传递包括向用户显示增强现实教师以根据反馈教导用户。

Images