CN109460743A - 一种琴键动作识别系统 - Google Patents

Abstract

本发明涉及监测技术领域，具体涉及一种琴键动作识别系统，包括支架、图像获取单元、中央处理单元；支架上设有固定座；所述支架通过固定座进行固定，所述图像获取单元设置在支架上，图像获取单元用于获取待检测目标的图像，所述待检测目标的图像包括待检测目标的初始化时图像、待检测目标的动作图像；所述中央处理单元与图像获取单元通讯连接；所述中央处理单元用于对图像获取单元获取的图像进行处理，具体包括：校准和识别。本发明提出一种琴键动作识别系统，该系统通过对琴键对应的弦槌进行监测，来得到琴键的动作，具有安装简单、监测稳定性好的优点。

Description

一种琴键动作识别系统

技术领域

本发明涉及监测技术领域，具体涉及一种琴键动作识别系统。

背景技术

钢琴，是按键类乐器中一种常见的乐器。普通听众在没有专业知识的前提下，无法评价演奏者的演奏钢琴等按键类乐器的演奏水平。对于演奏者，在独自练习过程中，不知道自己的失误点，难以提高自己的训练水平。

目前，市场上出现了一些琴键监测装置，这些装置能监测琴键的动作，再用处理系统对获取的数据信息进行处理，完成监测琴键动作的目的。现有的琴键监测装置主要分为两类。

第1类为机械传感器类：它们主要是在琴键上放置传感器来实现对琴键的监测，这类装置存在的缺点为：1)钢琴有88个琴键，每个琴键上都需要安装一个传感器，成本过高；2)如果装置在弹奏过程中发生的轻微移动，将造成监测错误，监测稳定性差，；3)88个琴键都要加装传感器，每个传感器的连线再连接到处理器，安装复杂，且不美观。

第2类为图像识别类，其大致原理如下：1)首先在琴键上贴黑色和白色标识物，在琴箱顶部放置摄像头对琴键上的标识物进行监测；2)当弹奏琴键时标识物会随着琴键的运动在水平面发生轻微运动，进而根据图像帧差处理等技术达到监测琴键运动的目的。此类装置存在缺点为：1)需要手动在琴键上贴黑白色标识物，不方便；2)标识物会影响弹奏者的弹奏体验；3)其系统对光线的变化比较敏感，对琴键上方的遮挡物比较敏感，光线不好和有遮挡物会造成监测不准确等；4)整体安装比较复杂，不美观。

发明内容

为解决上述背景技术中存在的问题，本发明提出一种琴键动作识别系统，该系统通过对琴键对应的弦槌(弦槌位于钢琴箱体内部)进行监测，来得到琴键的动作，具有安装简单、监测稳定性好、美观的优点。

本发明解决上述问题的技术方案是：一种琴键动作识别系统，其特殊之处在于：

包括支架、图像获取单元、中央处理单元；支架上设有固定座；

所述支架通过固定座进行固定，所述图像获取单元设置在支架上，图像获取单元用于获取待检测目标的图像，所述待检测目标的图像包括待检测目标的初始化时图像、待检测目标的动作图像；

所述中央处理单元与图像获取单元通讯连接；所述中央处理单元用于对图像获取单元获取的图像进行处理，具体包括：校准和识别；

所述校准是指：提取待检测目标初始化后的图像并进行存储，并作为对比模板，

所述识别是指：提取待检测目标动作图像，将待检测目标动作图像与上述对比模板进行对比，获取待检测目标的检测动作信息。

进一步地，上述琴键动作识别系统还包括照明装置，所述照明装置设置在支架上，照明装置用于对图像获取单元提供照明。

进一步地，上述图像获取单元可在支架上进行滑动，以适应所有的监测情况。

进一步地，上述提取待检测目标初始化时的图像，具体为：利用图像识别中的“矩形检测法”或“投影法”将图像中的待检测目标提取出来，再对提取出来的待检测目标进行编号和去重复处理，保存每个待检测目标在视频帧里的位置信息，将每个待检测目标作为对比模板进行存储。

进一步地，上述将待检测目标动作图像与上述对比模板进行对比，具体为：将待检测目标动作图像中每一帧中的待检测目标与其对应的模板进行帧差对比，当差值大于设定的阈值时则判断待检测目标运动，间接判断识别块对应的琴键被按下。

进一步地，上述中央处理单元包括CPU模块、DSP模块、内存模块以及其他所需外围电路模块等；所述CPU模块为中央处理器，其为运算核心和控制核心；DSP模块负责对视频流编码解码以及对图像算法处理做加速运算。

进一步地，上述固定座为一U型板。

进一步地，上述图像获取单元为摄像头。

进一步地，上述摄像头的数量优选地为四个或五个；U型板内表面设有海绵垫或橡胶层；所述支架两端分别设有支撑柱。

进一步地，上述中央处理单元，还用于根据待检测目标的检测动作信息和预先存储的待检测目标对比模板，获得演奏者演奏的弦槌(琴键)动作情况。

进一步地，上述中央处理单元，还用于输出演奏者演奏的弦槌(琴键)动作情况。

本发明的优点：

本发明一种琴键动作识别系统，将该系统设置在琴箱内，不影响钢琴的美观；通过摄像头对弦槌动作的监测，再用中央处理单元进行画面处理，间接得到琴键的动作情况，摒弃了传统的琴键上加装传感器的方式和直接对钢琴琴键进行监测的方式，使结构更为简单、安装更为方便，同时，监测稳定性也大为提高，利于演奏者日常练习，纠正错误。

附图说明

图1是本发明琴键动作识别系统的结构图；

图2是本发明琴键动作识别系统安装在钢琴上的安装图；

图3是图2的左视图；

图4是本发明琴键动作识别系统中的中央处理单元结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

参见图1，一种琴键动作识别系统，包括支架1、图像获取单元2、中央处理单元3；支架1上设有固定座4。中央处理单元3固定在固定座4上，支架1可拆卸地安装在固定座4上；在支架1两侧的下方设置有照明装置5，程序算法根据情况开启或关闭照明；图像获取单元2可在支架上进行手动滑动来调节位置，支架1的两端设有支撑柱6，支撑柱6为支1的辅助支撑，用于支撑在琴箱壁顶端和琴箱盖之间的空隙处。

所述支架1通过固定座4进行固定，所述图像获取单元2设置在支架1上，图像获取单元2用于获取弦槌的图像，所述弦槌的图像包括弦槌的初始化完成后的模板图像、弦槌的动作图像。

所述中央处理单元3与图像获取单元2通讯连接；所述中央处理单元3用于对图像获取单元2获取的图像进行处理，中央处理单元3采用了机器视觉算法库opencv，当然，此处包含但不限于opencv库，也可以是其他机器视觉算法库，具体包括：校准和识别。

所述校准是指：提取弦槌初始化完成后的的图像并进行存储，并作为对比模板。所述识别是指：提取弦槌动作图像，将弦槌动作图像与上述对比模板进行对比，获取弦槌的检测动作信息。

在本实施例中，作为优选地，照明装置5为LED灯。

优选地，在本实施例中，中央处理单元3包括CPU模块、DSP模块、内存模块以及其他所需电路模块；所述CPU模块用于对图像获取单元2获取的图像进行校准和识别；在校准和识别过程中，所述DSP模块主要负责对视频流进行编码、解码，以及图像算法处理加速等。中央处理单元3还包括USB接口、电源接口、电源模块以及蓝牙模块或wifi模块。

优选地，在本实施例中，所述提取弦槌初始化时的图像，具体为：利用‘矩形检测法’或‘投影法’将图像中的弦槌提取出来，再对提取出来的弦槌进行编号，再进行去重复处理，保存每个弦槌在视频帧里的位置信息，将每个弦槌作为对比模板进行存储。

优选地，在本实施例中，所述将弦槌动作图像与上述对比模板进行对比，具体为：将弦槌动作图像中每一帧中的弦槌与其对应的模板进行帧差对比，当差值大于设定的阈值时则判断弦槌运动，间接判断识别块对应的琴键被按下。

优选地，在本实施例中，所述固定座4为一U型板，U型板内表面和顶部面设有海绵层或橡胶层，防止刮伤琴箱。所述支架1为一杆状物，U型板设置在支架1的中央。

优选地，在本实施例中，所述图像获取单元2为摄像头。优选地，在本实施例中，所述摄像头的数量为四个或五个。钢琴箱体内部的弦槌一共88个，对应每个琴键。这88个弦槌根据不同的钢琴类型主要分成3个区域或4个区域。每个区域包含一部分弦槌，区域和区域之间有比较大的间隔，弦槌和弦槌之间有比较小的间隔。

参见图2-图3，本发明实施例在安装时，是将U型板卡在琴箱上，整个系统位于琴箱内，照明装置5发出的光照向弦槌，为摄像头的监测提供条件。当用户在弹奏键盘时，琴键的运动会带动箱体内弦槌运动，摄像头在工作过程中拍摄监测弦槌的前后移动。摄像头拍摄弦槌的初始、动作图像。以某一型号钢琴为例，弦槌排列的整体长度约为130cm，装置优选有4个摄像头，编号为1，2，3，4。摄像头距离弦槌的高度约为16cm左右，每个摄像头的覆盖范围约为42cm左右，摄像头之间的覆盖范围均有交叉覆盖。对提出取来的弦槌模板的编号进行去重复处理，最终所有的弦槌编号为1-88。每个弦槌都保存有对应的视频帧位置信息。

优选地，在本实施例的一个可能的实现方式中，所述中央处理单元3，还用于根据弦槌的检测动作信息和预先存储的弦槌对比模板，获得演奏者演奏的琴键动作情况，其具体为：将琴键序号和按下状态以及按下时间等信息进行编码，与预先存储的识别块3标准动作信息进行比较，获得演奏者演奏的琴键动作情况。所述获得演奏者演奏的琴键动作情况，可以是演奏者弹奏的对错情况，可以具体到每个音符。

优选地，在本实施例的一个可能的实现方式中，所述中央处理单元3，还用于输出演奏者演奏的琴键动作情况。具体为：中央处理单元3将演奏者演奏的琴键动作情况发送给接收装置，所述接收装置为ipad或iphone或android手机等硬件设备和linux，unix,windows等系统硬件平台上，当然，上述接收装置包含但不限于以上系统设备。所述接收装置可以通过显示器进行查看演奏者演奏的琴键动作和正确或错误情况等。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的系统领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种琴键动作识别系统，其特征在于：

包括支架(1)、图像获取单元(2)、中央处理单元(3)；支架(1)上设有固定座(4)；

所述支架(1)通过固定座(4)进行固定，所述图像获取单元(2)设置在支架(1)上，图像获取单元(2)用于获取待检测目标的图像，所述待检测目标的图像包括待检测目标的初始化时图像、待检测目标的动作图像；

所述中央处理单元(3)与图像获取单元(2)通讯连接；所述中央处理单元(3)用于对图像获取单元(2)获取的图像进行处理，具体包括：校准和识别；

所述校准是指：提取待检测目标初始化时的图像并进行存储，并作为对比模板，

所述识别是指：提取待检测目标动作图像，将待检测目标动作图像与上述对比模板进行对比，获取待检测目标的检测动作信息。

2.根据权利要求1所述的一种琴键动作识别系统，其特征在于：还包括照明装置(5)，所述照明装置(5)设置在支架(1)上，照明装置(5)用于对图像获取单元(2)提供照明。

3.根据权利要求1所述的一种琴键动作识别系统，其特征在于：所述提取待检测目标初始化时的图像，具体为：利用“矩形检测法”或“投影法”将图像中的待检测目标提取出来，再对提取出来的待检测目标进行编号和去重复处理，保存每个待检测目标在视频帧里的位置信息，将每个待检测目标作为对比模板进行存储。

4.根据权利要求3所述的一种琴键动作识别系统，其特征在于：所述将待检测目标动作图像与上述对比模板进行对比，具体为：将待检测目标动作图像中每一帧中的待检测目标与其对应的模板进行帧差对比，当差值大于设定的阈值时则判断待检测目标运动，间接判断识别块对应的琴键被按下。

5.根据权利要求1-4任一所述的一种琴键动作识别系统，其特征在于：中央处理单元(3)包括CPU模块、DSP模块和内存模块；所述CPU模块用于对图像获取单元(2)获取的图像进行校准和识别；在校准和识别过程中，所述DSP模块用于对视频流编解码及对图像算法做加速运算。

6.根据权利要求5所述的一种琴键动作识别系统，其特征在于：所述固定座(4)为一U型板。

7.根据权利要求6所述的一种琴键动作识别系统，其特征在于：所述图像获取单元(2)为摄像头。

8.根据权利要求7所述的一种琴键动作识别系统，其特征在于：所述摄像头的数量为四个或五个；U型板内表面及顶部设有海绵层或橡胶层；所述支架(1)两端分别设有支撑柱(6)。

9.根据权利要求1-4任一所述的一种琴键动作识别系统，其特征在于：所述中央处理单元(3)，还用于根据待检测目标的检测动作信息和预先存储的待检测目标对比模板，获得演奏者演奏的琴键动作情况。

10.根据权利要求9所述的一种琴键动作识别系统，其特征在于：所述中央处理单元(3)，还用于输出演奏者演奏的弦槌动作情况。