CN109961767B - 一种单手残疾人用乐器辅助演奏方法 - Google Patents

Abstract

本发明提出了一种单手残疾人用乐器辅助演奏方法。通过视觉识别技术将乐谱输入至存储模块，通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型并在需要修改乐谱时进行修改，通过声音传感器实时监测弹奏进度，并根据弹奏进度控制机械手弹奏，机械手与残疾人手按照乐谱进度弹奏，或独自或同时配合弹奏，实现机械手与残疾人手的相互配合操作，完成乐器的演奏，该方法可辅助单手残疾人如正常人一般演奏乐器。

Description

一种单手残疾人用乐器辅助演奏方法

技术领域

本发明涉及一种单手残疾人用乐器辅助演奏方法。

背景技术

随着人们对残疾人的关注越来越多，残疾人的精神需求也越来越多，许多具有音乐梦想的残疾人对于音乐的追求越来越多，残疾人不再仅仅停留在歌唱、听音乐等简单需求，对于热爱乐器弹奏的单手残疾人来说，能够亲手弹奏乐器成为他们最大的梦想，但是由于大多数的乐器都是双手演奏的，如钢琴、吉他、古筝等等，虽然为了满足单手残疾人的需求，也存在一些专门设计的单手演奏乐器，但是，一方面，其演奏效果达不到双手演奏的配合效果，另一方面，单手残疾人往往都希望自己能够像正常人一样弹奏正常的乐器。

发明内容

基于以上需求，本发明提出一种可配合单手残疾人的残疾人手进行乐器演奏的单手残疾人用乐器辅助演奏方法。

本发明的技术方案是这样实现的：一种单手残疾人用乐器辅助演奏方法，通过摄像头扫描乐谱，并将所扫描乐谱与系统中预存的乐符逐个比对，比对成功后依次存储至乐谱存储模块；通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型；主控系统将乐谱分为需要机械手独自弹奏的A部分、需要残疾人手独自弹奏的B部分以及需要机械手和残疾人手同时弹奏的AB部分；通过声音传感器实时监测乐器弹奏所发出的声音并与乐谱进行比对以监控弹奏进度，主控系统根据乐谱的进度以及声音传感器反馈的弹奏进度控制机械手进行弹奏；主控系统根据乐谱的A部分和AB部分通过单片机的延时模块和驱动模块控制机械手每次弹奏的持续时间和弹奏力度。

在上述方案的基础上，进一步优化如下，通过键盘、鼠标和显示器对存储的乐谱进行修改。

在上述方案的基础上，进一步优化如下，通过触摸屏对乐谱进行修改，触摸屏包括手写输入模式和键盘输入模式。

在上述方案的基础上，进一步优化如下，机械手包括机械仿生手指。

在上述方案的基础上，进一步优化如下，启动时，由残疾人手启动启动键以启动演奏过程。

在上述方案的基础上，进一步优化如下，主控系统的芯片选用STM32F334CB。

在上述方案的基础上，进一步优化如下，声音传感器选用MAX9814麦克风。

在上述方案的基础上，进一步优化如下，摄像头选用OV7670摄像头。

采用了上述技术方案，本发明的有益效果为：本发明为了帮助单手残疾人实现乐器演奏梦想，提供一种可帮助单手残疾人进行乐器演奏的方法，该方法的核心思想是通过设置一个机械手系统代替单手残疾人的残缺手，而机械手的弹奏则通过事先设定的乐谱以及根据弹奏进度弹奏，单手残疾人的正常手也根据乐谱弹奏，即乐谱中需要弹奏的部分分为左手部分和右手部分，以残疾人为左手残疾为例，则机械手系统替代人的左手，并与残疾人的正常右手配合依照乐谱弹奏，人手是根据大脑控制跟随乐谱弹奏右手的部分，机械手则根据主控系统控制跟随事先输入进入乐谱存储模块的乐谱弹奏左手的部分，两者按照相同的规则各自弹奏，组合而成完整的乐谱，同时，进一步提高机械手系统的智能化水平，通过声音传感器监控弹奏的声音以准确识别弹奏进度，残疾人手弹奏完对应的一段乐谱后，轮到机械手弹奏，或者轮到残疾人手和机械手同时弹奏，此时，主控系统根据声音传感器的反馈，控制机械手系统继续弹奏乐谱的下一段，弹奏过程不仅能够十分真实模拟和代替残疾人的残缺手，而且弹奏十分灵活，并非刻板的进行音乐的播放。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的单手残疾人用乐器辅助演奏方法中所使用的机械手系统的原理框图；

图2为主控系统的控制逻辑框图；

图中：视觉传感器模块包括摄像头，声音传感器模块包括麦克风，显示模块包括显示屏，主控单片机系统即为主控系统，键盘输入系统包括键盘、鼠标或者触摸屏，驱动模块指驱动机械手动作的机械机构。

具体实施方式

本发明的单手残疾人用乐器辅助演奏方法的具体实施例：单手残疾人用乐器辅助演奏方法整体构思：通过乐谱扫描识别技术将乐谱输入至乐谱存储模块，通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型，乐谱存储模块通过转换模块将乐谱转换为控制乐器弹奏机械手动作的程序代码，通过声音传感器实时监测残疾人手的弹奏所发出的声音，程序代码仅包含乐器弹奏机械手所需执行的部分，且程序代码被乐谱中残疾人手所需弹奏的部分分隔为n程序段，演奏启动后，主控系统控制乐器弹奏机械手按照第1程序段开始执行，执行结束后等待残疾人手弹奏，并且根据声音传感器的反馈控制第2程序段执行，如此依次执行至第n程序段，演奏结束，在此说明，其中某些程序段包含有机械手和残疾人手同时操作的程序段。乐器弹奏机械手包括驱动模块和执行机构，执行机构具有机械仿生手指。为了达到乐器弹奏机械手与人手无缝衔接的目的，将执行机构部分设置机械仿生手指，使得对于乐器的弹奏与人手的弹奏尽可能的减小区别，演奏效果更佳。主控系统控制执行上一程序段之后，计时器开始计时，计时至设定时间后，开始执行下一程序段。这是为了确保乐曲的弹奏松弛有序，而且确保不会打乱乐曲的节奏。启动时，由残疾人手启动启动键以启动演奏过程。为了确保演奏的主动权落在单手残疾人的手上，统一由单手残疾人控制演奏的开始时间，以便于根据突发情况随时调整，可以随时开始。乐谱扫描识别技术通过摄像头扫描乐谱图像，并通过与数据库内数据对比以识别乐谱中的符号。乐谱扫描识别技术还包括编辑模块，编辑模块包括用于修改乐谱的触摸屏，触摸屏支持按键输入和手写输入。由于乐谱扫描识别技术并不能保证百分百毫无错误的识别乐谱符号，因此增加编辑功能十分关键，而且，有时候需要在现有乐谱的基础上进行修改，编辑功能也是十分的必要的，而触摸屏则具有编辑十分方便的特点。演奏钢琴时，程序代码包括控制乐器弹奏机械手的按键顺序、按键力度以及按键停留时间的子代码。

如图1所示，主控系统（主控单片机系统）分别与视觉传感器模块、声音传感器模块、显示模块、键盘输入系统以及机械手系统的驱动模块控制连接，驱动模块驱动机械手动作。

如图2所示，控制逻辑为：启动后，系统初始化以将数据归于初始状态，通过键盘输入系统事先将待演奏乐谱输入至主控系统的对应存储模块中，当需要修改时，通过键盘输入系统对乐谱进行修改，修改完成后存档，演奏之前通过键盘输入系统设定基本数据，如所需要演奏的乐器的类型以及残疾人的正常手类型（如左手或右手），设定完成后，控制机械手回复至初始位置（相当于坐标原点），通过残疾人手启动演奏开始按键，系统开始按照所选择的乐谱演奏，主控系统和残疾人同时依照乐谱演奏，当需要残疾人先弹奏时，残疾人自己把控进度开始弹奏，或者当需要机械手弹奏时，主控系统的计时器倒计时后开始弹奏，弹奏时产生声音，声音传感器识别后反馈给主控系统，主控系统根据与乐谱的比对识别弹奏进度，指导机械手在需要机械手弹奏时进行弹奏，而且弹奏时按照程序设定可以进行设定时长和设定力度的弹奏，完全模仿人手的操作。

工作原理：本发明为了帮助单手残疾人实现乐器演奏梦想，提供一种可帮助单手残疾人进行乐器演奏的方法，该方法的核心思想是通过设置一个机械手系统代替单手残疾人的残缺手，而机械手的弹奏则通过事先设定的乐谱弹奏，单手残疾人的残疾人手也根据乐谱弹奏，即乐谱中需要弹奏的部分分为左手部分和右手部分，以残疾人为左手残疾为例，则机械手系统替代人的左手，并与残疾人的正常右手配合依照乐谱弹奏，人手是根据大脑控制跟随乐谱弹奏右手的部分，机械手则根据主控系统控制跟随事先输入进入乐谱存储模块的乐谱弹奏左手的部分，两者按照相同的规则各自弹奏，组合而成完整的乐谱，同时，进一步提高机械手系统的智能化水平，通过声音传感器识别人手弹奏的声音，人手弹奏完对应的一段乐谱后，轮到机械手弹奏，此时，主控系统根据声音传感器的反馈，控制机械手系统继续弹奏乐谱的下一段，若人手不再弹奏时，由于收不到声音传感器的反馈，主控系统也不会给机械手下达执行下一段动作的指令，使得弹奏十分灵活，而不是刻板的进行音乐的播放。声音传感器对人手弹奏声音的识别的同时，主控系统也会根据程序代码的内容进行辅助识别，只有声音传感器和程序代码的执行时间均校验在合理范围内时才会认为是识别成功，机械手才会进行下一步的弹奏动作。

以弹奏钢琴，单手残疾人的左手残疾为例，讲述具体工作工程：首先通过乐谱扫描识别技术的摄像头或者视觉传感器模块扫描乐谱，扫描的图像或图片信息与存储模块中的乐符进行对比，识别出五线谱、乐符，然后显示在触摸屏上，然后由人工进行审查对比，并对识别错误的地方进行编辑，编辑时可直接在触摸屏上编辑，编辑方式可以是手写输入或者软键盘输入，但是此时的软键盘仅显示对应的乐符，修改完毕后按确认键，并通过键盘和鼠标输入乐谱名称以便于保存；然后通过鼠标和键盘进行基本功能设置，设置项目包括乐器类型（此处选择钢琴）、残疾手类型（此处选择左手），经过转换模块转换后，形成控制机械手系统动作的程序代码；演奏开始时，通过人手按系统的启动键，开始弹奏，若为人手首先弹奏第一音符，则人手开始弹奏第一音符，声音传感器检测到人手弹奏的声音后反馈给主控系统，主控系统的计时器根据程序代码中对应的设定倒计时时间开始倒计时，倒计时结束后机械手系统开始动作，驱动模块控制机械手的执行部分提前移动到对应钢琴的需要按键位置（机械手与钢琴的某点已经对位，而且机械手系统的机架相对于钢琴固定，即使钢琴移动，机械手系统也会跟随钢琴同步移动），轮到人手弹奏时，单手残疾人根据乐曲节奏开始弹奏，机械手系统重复上述过程根据程序代码、根据声音传感器的实时监测，依次完成后续程序段的执行，完成乐器演奏。开始弹奏，若为机械手首先弹奏第一音符，机械手根据设定的时间，计数器倒计时结束后开始第一个音符的弹奏，人手根据机械手的动作开始人手对应部分的随动弹奏。

当对吉他、古筝等其他双手乐器进行弹奏时，只需要更改机械手系统相对于这些乐器的相对位置，并通过乐器弹奏的特点设定对应的动作程序，从而控制机械手系统对应执行与该乐器对应的弹奏动作即可。

从另一个角度描述本发明的实施例：单手残疾人用乐器辅助演奏方法：通过摄像头扫描乐谱，并将所扫描乐谱与系统中预存的乐符逐个比对，比对成功后依次存储至乐谱存储模块；通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型；主控系统将乐谱分为需要机械手独自弹奏的A部分、需要残疾人手独自弹奏的B部分以及需要机械手和残疾人手同时弹奏的AB部分；通过声音传感器实时监测乐器弹奏所发出的声音并与乐谱进行比对以监控弹奏进度，主控系统根据乐谱的进度以及声音传感器反馈的弹奏进度控制机械手进行弹奏；主控系统根据乐谱的A部分和AB部分通过单片机的延时模块和驱动模块控制机械手每次弹奏的持续时间和弹奏力度。通过键盘、鼠标和显示器对存储的乐谱进行修改。通过触摸屏对乐谱进行修改，触摸屏包括手写输入模式和键盘输入模式。机械手包括机械仿生手指。启动时，由残疾人手启动启动键以启动演奏过程。主控系统的芯片选用STM32F334CB。声音传感器选用MAX9814麦克风。摄像头选用OV7670摄像头。

为了帮助单手残疾人实现乐器演奏梦想，提供一种可帮助单手残疾人进行乐器演奏的方法，该方法的核心思想是通过设置一个机械手系统代替单手残疾人的残缺手，而机械手的弹奏则通过事先设定的乐谱以及弹奏进度弹奏，单手残疾人的正常手也根据乐谱弹奏，即乐谱中需要弹奏的部分分为左手部分和右手部分，以残疾人为左手残疾为例，则机械手系统替代人的左手，并与残疾人的正常右手配合依照乐谱弹奏，人手是根据大脑控制跟随乐谱弹奏右手的部分，机械手则根据主控系统控制跟随事先输入进入乐谱存储模块的乐谱弹奏左手的部分，两者按照相同的规则各自弹奏，组合而成完整的乐谱，同时，进一步提高机械手系统的智能化水平，通过声音传感器监控弹奏的声音以准确识别弹奏进度，残疾人手弹奏完对应的一段乐谱后，轮到机械手弹奏，或者轮到残疾人手和机械手同时弹奏，此时，主控系统根据声音传感器的反馈，控制机械手系统继续弹奏乐谱的下一段，弹奏过程不仅能够十分真实模拟和代替残疾人的残缺手，而且弹奏十分灵活，并非刻板的进行音乐的播放。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种单手残疾人用乐器辅助演奏方法，其特征在于，通过乐谱扫描识别技术将乐谱输入至乐谱存储模块，通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的正常手类型，乐谱存储模块通过转换模块将乐谱转换为控制乐器弹奏机械手动作的程序代码，通过声音传感器实时监测正常手的弹奏所演奏的声音，所述程序代码仅包含乐器弹奏机械手所需执行的部分，且程序代码被乐谱中正常手所需弹奏的部分分隔为n程序段，演奏启动后，主控系统控制乐器弹奏机械手按照第1程序段开始执行，执行结束后等待正常手弹奏，并且根据声音传感器的反馈控制第2程序段执行，如此依次执行至第n程序段，演奏结束；主控系统控制执行上一程序段之后，计时器开始计时，计时至设定时间后，开始执行下一程序段。

2.根据权利要求1所述的单手残疾人用乐器辅助演奏方法，其特征在于，所述乐器弹奏机械手包括驱动模块和执行机构，执行机构具有机械仿生手指。

3.根据权利要求1或2所述的单手残疾人用乐器辅助演奏方法，其特征在于，启动时，由正常手启动启动键以启动演奏过程。

4.根据权利要求1或2所述的单手残疾人用乐器辅助演奏方法，其特征在于，所述乐谱扫描识别技术通过摄像头扫描乐谱图像，并通过与数据库内数据对比以识别乐谱中的符号。

5.根据权利要求4所述的单手残疾人用乐器辅助演奏方法，其特征在于，所述乐谱扫描识别技术还包括编辑模块，编辑模块包括用于修改乐谱的触摸屏，触摸屏支持按键输入和手写输入。

6.根据权利要求1或2所述的单手残疾人用乐器辅助演奏方法，其特征在于，演奏钢琴时，所述程序代码包括控制乐器弹奏机械手的按键顺序、按键力度以及按键停留时间的子代码。

Images