CN105185190A - 一种基于omr技术的便携式钢琴伴奏装置 - Google Patents

Abstract

本发明公开了一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，包括控制板、SD？CARD、SPI转WIFI电路模块、LCD+触摸屏模块、USB转MIDI模块、高分辨率微型摄像头、大容量可充电电池、电源管理板、铝合金底板和塑胶外壳，控制板、SPI转WIFI电路模块、USB转MIDI模块、大容量可充电电池、电源管理板安装在铝合金底板上，所述铝合金底板固定在塑胶外壳的内部。本发明为声乐或其它相关音乐专业的练习者提供一个可以随时携带的自动钢琴伴奏装置，该装置可自动识别乐谱图片且可以在线更新和下载伴奏乐谱，方便练习者学习，且省去请钢琴伴奏人员的麻烦。

Description

一种基于OMR技术的便携式钢琴伴奏装置

技术领域

本发明涉及钢琴教学领域，具体涉及一种基于OMR技术的便携式钢琴伴奏装置。

背景技术

在声乐学习的基础培养阶段，仅学习单行谱。由于此时学生音乐基础差，缺乏与伴奏旋律的认知及配合，缺乏作品整体感，学生在练习作品时需要钢琴伴奏，或播放伴奏音乐。人力进行钢琴伴奏一般要求为钢琴水平较高的专业人员弹奏钢琴，需要耗费人力，费用高昂，且由于人力资源缺乏，不能满足实际需求；播放伴奏音乐是解决问题的一个方法，但因为伴奏音乐品种有限，有时很难找到合适的伴奏音乐；基于PC的作曲软件是另一个解决方案，但是尽管这类软件功能丰富，但价格高昂，而且安装复杂，操作麻烦，对于普通的声乐教学及自学来说，很不方便。

发明内容

为解决上述问题，本发明提供了一种基于OMR技术的便携式钢琴伴奏装置，采用嵌入式系统结合OMR(乐谱识别)技术以及专门开发的软件集合实现的声乐学习装置，具有从打印乐谱或MIDI(MusicalInstrumentDigitalInterface，乐器数字接口，一种协议)乐器生成伴奏电子乐谱、编辑电子乐谱、播放电子乐谱、录音、内置音乐学习资料等功能。

为实现上述目的，本发明采取的技术方案为：

一种基于OMR技术的便携式钢琴伴奏装置，包括控制板、SDCARD、SPI转WIFI电路模块、LCD+触摸屏模块、USB转MIDI模块、高分辨率微型摄像头、大容量可充电电池、电源管理板、铝合金底板和塑胶外壳，控制板、SPI转WIFI电路模块、USB转MIDI模块、大容量可充电电池、电源管理板安装在铝合金底板上，所述铝合金底板固定在塑胶外壳的内部，控制板包括嵌入式核心板、音频输入输出插座、摄像头连接器、2个USB主控制器插座、SPI连接器、LCD+触摸屏模块连接器、SDCARD座以及电源插座；嵌入式核心板包括高性能应用处理器、大容量内存、FLASH存储器以及必要的外围电路；它为本装置的控制核心。LCD+触摸屏模块嵌入在塑胶壳顶部的方形开口上，通过电缆连接到控制板上的LCD+触摸屏模块连接器，为装置提供输入输出接口；控制板上设有用于录音及放音的音频编解码电路，控制板上还设有用于复位或开关系统的系统复位开关和系统开关；所述FLASH存储器内安装有移植好的LINUX系统，用于控制系统的工作；SDCARD座上安装有用于存储音乐教程及学习资料的SDCARD；SPI转WIFI电路模块安装在SPI连接器上，用于使装置获得WIFI功能，可以访问网络资源，也能够被其他设备通过WIFI进行访问从而交换数据和文件；摄像头连接器上安装有用于获取乐谱图像的高分辨率摄像头模块，USB转MIDI模块安装在其中一个USB插座上，用于同MIDI乐器通讯，获取其弹奏的音乐乐谱或通过乐器播放音乐；另一个USB插座用于连接外部USB设备，电源管理板提供对电池的充电管理和系统各种电源生成，包括电池充电电路、自动电源切换电路、DC-DC电路以及电池连接器、电源输入连接器和电源输出连接器；所述LINUX系统包括OMR模块，为一个乐谱识别软件，用于高清摄像头获得PNG格式的乐谱图像，然后识别图像后写入电子乐谱文件；乐谱编辑模块，用于读取电子乐谱文件，然后检查及编辑修改乐谱文件，直到满足要求，最后可选的可以转化为各种格式的音频文件比如MP3文件；MIDI录制模块，为一个MIDI乐器录制软件，用于从MIDI乐器获得MIDI流，然后存储为MIDI文件，也可选的可以转为其他音频文件；WEB界面模块，为一个WEB应用，用于用户操作界面，从而调用OMR模块完成图像采集及电子乐谱生成；调用乐谱编辑模块进行乐谱编辑、修改及转化为音频文件格式，也可以直接调用乐谱编辑模块进行作曲；控制MIDI录制模块录制MIDI乐器获得MIDI文件及转为其他格式音频文件；把音频文件或MIDI文件通过内置的音频播放器发送到音频编解码器进行播放或使用内置的录音模块从音频编解码器录制音频并转存为音频文件；把MIDI文件直接通过MIDI接口连接的乐器演奏出来；浏览阅读音乐教程及学习资料；并用于访问网络(局域网或互联网)下载或上传音乐教程及学习资料，作为用户认证支持，使得只有具有正确的用户名和口令的用户才可以登陆进并且访问系统。

优选的，乐谱编辑模块对电子乐谱的编辑修改包括：升降调、速度、力度调整以及乐谱本身的直接修改。对电子乐谱可以软件模拟后通过音频接口播放或直接连接MIDI乐器进行播放，直到满足要求。

优选的，所述的LCD+触摸屏模块采用24位色LCD，1280*960分辨率的7”TFT液晶屏模块。

优选的，所述的高分辨率摄像头模块为数字摄像头，摄像头芯片优选500万像素的OV5640芯片，以获得良好的乐谱图像分辨率，有利于乐谱识别软件的处理。

优选的，SDCARD的容量为8GB以上。

优选的，所述大容量可充电电池采用锂电池，并用适当的结构件固定在铝合金底板上。

优选的，所述的音频编解码电路由音频编解码芯片及其外围电路和音频输入输出插座组成，连接到核心板的音频接口信号，音频编解码芯片优选WM8962芯片。

优选的，控制板的MIPI接口连接到高分辨率摄像头模块连接器，控制板的1个GPIO分别连接到系统开关按钮，控制板的复位引脚连接到复位按钮，控制板的24位LCD接口和触摸屏接口组合后通过接口电路连接到LCD+触摸屏模块连接器，接口电路包括用于触摸屏接口的触摸屏接口芯片TSC2007及其外围电路。

优选的，控制板的电源稳压电路产生必要的电压，并且把这些电压分别提供给USB插座电源引脚、LCD+触摸屏模块连接器的电源引脚及控制板电源引脚和SPI插座，SPI插座包括SPI接口引脚及电源引脚，其电源引脚用于给SPI转WIFI模块供电，LCD+触摸屏模块连接器包括LCD视频信号、触摸屏信号及电源引脚，其电源引脚用于给模块供电。

本发明具有以下有益效果：

为声乐或其它相关音乐专业的练习者提供一个可以随时携带的自动钢琴伴奏装置，该装置可自动识别乐谱图片且可以在线更新和下载伴奏乐谱，方便练习者学习，且省去请钢琴伴奏人员的麻烦，具体的，本发明以高分辨率照相机来获取五线谱图像；内置OMR软件，采用OMR技术把五线谱图像转换为电子乐谱并存储；可以连接MIDI乐器来采集伴奏音乐并存储为电子乐谱及其他音乐文件格式；可以支持通过MIDI接口连接乐器播放MIDI音乐；内置乐谱编辑器，支持直接输入电子乐谱。乐谱编辑器可以对电子乐谱直接以“所见即所得的方法”进行编辑修改，直到满足要求，并以MIDI文件格式存放。对电子乐谱的编辑修改包括：升降调、速度、力度调整以及乐谱本身的直接修改。对电子乐谱可以软件模拟后通过音频接口播放或直接连接MIDI乐器进行播放，直到满足要求。内置音乐播放录制软件，支持录音和各种音频文件播放。可以在播放时动态显示乐谱，支持显示图像的缩放。存储有音乐术语词典、音乐演唱教育课程等资料，这些课程包含作品演唱提示，重点难点等。这些资料以目录方式组织，以WEB界面呈现。可以连接到普通wifi网络同其他网络终端(如PC)交换文件及数据，也可以直接通过移动通讯模块连接到互联网进行文件的上传和下载。以WEB应用的方式提供外部访问接口，以用户名-口令方式作为安全手段，使用简单。可以根据需要通过预留的高速480MbpsUSB2.0接口扩充存储容量或者其他USB接口模块，以增强功能如连接移动通讯模块后可以上传下载云端的文件。为低功耗嵌入式系统，包括不小于4G的非易失性存储器、高速ARMCORTEXA94核处理器模块、高速USB访问接口，WIFI接口、MIDI接口、高分辨率LCD显示器、触摸屏以及大容量锂电池，小巧轻便，便于携带。使用本发明，不需要专人伴奏或费力寻找伴奏音乐，可以方便的进行声乐学习或者教学，还可以进行作曲练习。

附图说明

图1为本发明实施例一种基于OMR技术的便携式钢琴伴奏装置的结构示意图。

图2为本发明实施例一种基于OMR技术的便携式钢琴伴奏装置中控制板的结构图。

图3为本发明实施例的数据流图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种基于OMR技术的便携式钢琴伴奏装置，包括控制板、SDCARD、SPI转WIFI电路模块、LCD+触摸屏模块、USB转MIDI模块、高分辨率微型摄像头模块、大容量可充电电池、电源管理板、铝合金底板、塑胶外壳组成。控制板、SPI转WIFI电路模块、USB转MIDI模块、大容量可充电电池、电源管理板安装在一个2mm厚度的铝板上，铝板本身再通过固定孔位及螺柱、螺帽固定在塑料机壳底部。LCD+触摸屏模块嵌入在塑料机壳上盖的方形开孔里，通过信号电缆点连接到控制板上的LCD+触摸屏模块连接器。LCD+触摸屏模块：采用24位色LCD，1280*960分辨率的7”TFT液晶屏模块。USB转MIDI模块上的2个标准MIDI插座(一个用于输入，一个用于输出)通过机壳后壁上的开孔暴露出来，用于连接MIDI乐器。高分辨率微型摄像头模块的镜头通过外壳底部的开孔暴露出来，这样方便在采集乐谱图像时在上面的LCD进行预览。高分辨率摄像头模块为数字摄像头，摄像头芯片优选500万像素的OV5640芯片，以获得良好的乐谱图像分辨率，有利于乐谱识别软件的处理。SPI转WIFI电路模块的天线连接器通过机壳后壁上的开孔暴露出来用于连接WIFI天线。控制板上的USB2.0主控制器连接器2通过在机壳侧面开口暴露出来，该连接器为标准USB主机连接器，用于连接USB外设。当使用环境无WIFI网络时可连接U盘进行文件传递；当连接移动通讯设备如手机或3G模块时支持通过互联网进行文件上传下载。控制板上的音频编解码电路上的音频输入插孔和LINEOUT插孔通过面板暴露出来，用于连接拾音器及扬声器或功放。主控制板上的电源按钮及复位按钮通过机壳侧面开孔暴露出来，用于系统复位和开关。SDCARD容量优选8GB以上为佳，安装在控制板上的SDCARD座上。电源管理板的电源输入连接器用于连接到外部的直流电源适配器(交流电源变换为成直流电源，实质是一个直流电源)或者直流移动电源。电源管理板通过电池连接器连接到电池，控制对电池的充电以及对电池电压或外部电压进行DC-DC变换后产生控制板需要的5V电压源并电连接到控制板的电源插座。电源管理板当外接有电源时，由外接电源作为系统工作电源，同时控制对电池的充电；当没有外接电源适配器时自动切换到由电池为系统供电。大容量可充电电池采用锂电池，并用适当的结构件固定在铝板上。

如图2所示，为一个PCB组件，通过铜螺柱、螺帽及PCB上直径为3.5mm的4个安装孔安装在铝板上。控制板包括核心板、2个高速480Mbps的USB2.0主机插座、SDCARD插座、1个SPI连接器、音频编解码电路、高分辨率摄像头模块连接器、LCD+触摸屏模块连接器、电源稳压电路、系统开关按钮、复位按钮。核心板为带有高性能嵌入式处理器的控制模块，控制本装置的工作。核心板的2个USB主机接口分别连接到USB插座1和USB插座2上。核心板的一个SD主控制器接口连接到焊接在控制板上的SDCARD插座，插座上插有SDCARD，这样就可实现对SDCARD的读写。核心板的一个SPI主控制器连接到SPI插座，用来连接SPI转WIFI模块。音频编解码电路由音频编解码芯片及其外围电路和音频输入输出插座组成，连接到核心板的音频接口信号，音频编解码芯片优选WM8962芯片。核心板的MIPI(MobileIndustryProcessorInterface)接口连接到高分辨率摄像头模块连接器，MIPI接口具有高速低功耗的优点。核心板的24位LCD接口和触摸屏接口组合后通过接口电路连接到LCD+触摸屏模块连接器，接口电路包括用于触摸屏接口的触摸屏接口芯片TSC2007及其外围电路。核心板的1个GPIO分别连接到系统开关按钮，核心板的复位引脚连接到复位按钮。控制板的电源稳压电路产生必要的电压，并且把这些电压分别提供给USB插座电源引脚、LCD+触摸屏模块连接器的电源引脚及核心板电源引脚和SPI插座。SPI插座包括SPI接口引脚及电源引脚，其电源引脚用于给SPI转WIFI模块供电。LCD+触摸屏模块连接器包括LCD视频信号、触摸屏信号及电源引脚，其电源引脚用于给模块供电。

核心板优选北京明远智睿科技有限公司的I.MX6Q核心板。该板集成了32位Freescale高性能ARMCortex-A9工业级4核处理器，每个处理器工作主频1.2GHz、具有32KB的L1数据和指令缓冲区，四个处理器共享1MB的L2缓冲。该板集成有1GBDDR3内存、4GBeMMC(EmbeddedMultiMediaCard)FLASH存储器、2路SD/MMC接口、1路10/100M以太网控制器、1个PCle2.0(5Gbps)、1个SATA-II(3Gbps)、2个USB2.0(480MHz)主控制器、5个UART通讯接口、3路SPI接口等，具有卓越的数据连接功能；该板具有2个数字摄像头接口、1920*1200*24位LCD接口以及2路LVDS、1路HDMI1.4、视频解码器、数字音频接口以及音频输入输出接口等多媒体功能组件。该板工作温度范围-20℃-105℃，大小为40mmx67.6mm，功耗范围2W-6W，使用可靠的金手指方式引出接口信号，方便集成到PCB中。该核心板支持LINUX\ubuntu\android等操作系统，适用于各种智能设备。在该核心板的4GBeMMCFLASH中存储有专门移植的LINUX系统以及本系统专用应用软件集合，该应用软件结合的逻辑功能如图3数据流图。数据流图中各部分处理模块说明如下：LINUX系统包括OMR模块，为一个乐谱识别软件，用于高清摄像头获得PNG格式的乐谱图像，然后识别图像后写入电子乐谱文件；乐谱编辑模块，用于读取电子乐谱文件，然后检查及编辑修改乐谱文件，直到满足要求，最后可选的可以转化为各种格式的音频文件比如MP3文件；对电子乐谱的编辑修改包括：升降调、速度、力度调整以及乐谱本身的直接修改。对电子乐谱可以软件模拟后通过音频接口播放或直接连接MIDI乐器进行播放，直到满足要求。MIDI录制模块，为一个MIDI乐器录制软件，用于从MIDI乐器获得MIDI流，然后存储为MIDI文件，也可选的可以转为其他音频文件；WEB界面模块，为一个WEB应用，用于用户操作界面，从而调用OMR模块完成图像采集及电子乐谱生成；调用乐谱编辑模块进行乐谱编辑、修改及转化为音频文件格式，也可以直接调用乐谱编辑模块进行作曲；控制MIDI录制模块录制MIDI乐器获得MIDI文件及转为其他格式音频文件；把音频文件或MIDI文件通过内置的音频播放器发送到音频编解码器进行播放或使用内置的录音模块从音频编解码器录制音频并转存为音频文件；把MIDI文件直接通过MIDI接口连接的乐器演奏出来；浏览阅读音乐教程及学习资料；并用于访问网络(局域网或互联网)下载或上传音乐教程及学习资料，作为用户认证支持，使得只有具有正确的用户名和口令的用户才可以登陆进并且访问系统。

本具体实施的具体使用方法为

由于本软件的操作界面为WEB应用方式提供，所以本装置可以通过自身的显示器和触摸屏进行操作，也可以通过WIFI连接到LAN后，从LAN上的另外一个终端登陆装置进行操作。两种操作的效果是相同的。具体如下：

S1、开机；

S2、登陆系统；

S3、在操作界面即前述WEB应用选择所需要的功能：

S31、如果需要从乐器比如MIDI钢琴获得伴奏音乐，则连接乐器到MIDI接口，启动MIDI音乐捕获软件开始捕获乐曲，在完成演奏伴奏音乐后，停止捕获，则伴奏音乐会被捕获到MIDI文件，然后转换该文件为所需要的音频格式即可；

S32、如果需要从乐谱获得伴奏音乐，则启动乐谱识别软件，然后对乐谱进行图像采集并转换为电子乐谱。接着可以启动乐谱编辑软件进行乐谱修改，直到无误，然后转换为所需要的音频格式文件即可；

S33、如果需要进行伴奏，连接扬声器或耳机，然后使用内置的音乐播放器播放前述方法获得的音频文件(也可播放专门制作的伴奏音乐)。

S34、如果需要查看音乐教程等资料，选择响应的学习教程打开即可。

S4、如果需要下载上传音乐教程或音频文件，可以直接通过WIFI访问网络(包括局域网及互联网)，也可以通过USB口连接的移动通讯模块接入互联网进行操作。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，包括控制板、SDCARD、SPI转WIFI电路模块、LCD+触摸屏模块、USB转MIDI模块、高分辨率微型摄像头、大容量可充电电池、电源管理板、铝合金底板和塑胶外壳，控制板、SPI转WIFI电路模块、USB转MIDI模块、大容量可充电电池、电源管理板安装在铝合金底板上，所述铝合金底板固定在塑胶外壳的内部，控制板包括嵌入式核心板、音频输入输出插座、摄像头连接器、2个USB主控制器插座、SPI连接器、LCD+触摸屏模块连接器、SDCARD座以及电源插座；嵌入式核心板包括高性能应用处理器、大容量内存、FLASH存储器以及必要的外围电路；LCD+触摸屏模块嵌入在塑胶壳顶部的方形开口上，通过电缆连接到控制板上的LCD+触摸屏模块连接器，为装置提供输入输出接口；控制板上设有用于录音及放音的音频编解码电路，控制板上还设有用于复位或开关系统的系统复位开关和系统开关；所述FLASH存储器内安装有移植好的LINUX系统，用于控制系统的工作；SDCARD座上安装有用于存储音乐教程及学习资料的SDCARD；SPI转WIFI电路模块安装在SPI连接器上，用于使装置获得WIFI功能，可以访问网络资源，也能够被其他设备通过WIFI进行访问从而交换数据和文件；摄像头连接器上安装有用于获取乐谱图像的高分辨率摄像头模块，USB转MIDI模块安装在其中一个USB插座上，用于同MIDI乐器通讯，获取其弹奏的音乐乐谱或通过乐器播放音乐；另一个USB插座用于连接外部USB设备，电源管理板提供对电池的充电管理和系统各种电源生成，包括电池充电电路、自动电源切换电路、DC-DC电路以及电池连接器、电源输入连接器和电源输出连接器；所述LINUX系统包括OMR模块，为一个乐谱识别软件，用于高清摄像头获得PNG格式的乐谱图像，然后识别图像后写入电子乐谱文件；乐谱编辑模块，用于读取电子乐谱文件，然后检查及编辑修改乐谱文件，直到满足要求，最后可选的可以转化为各种格式的音频文件比如MP3文件；MIDI录制模块，为一个MIDI乐器录制软件，用于从MIDI乐器获得MIDI流，然后存储为MIDI文件，也可选的可以转为其他音频文件；WEB界面模块，为一个WEB应用，用于用户操作界面，从而调用OMR模块完成图像采集及电子乐谱生成；调用乐谱编辑模块进行乐谱编辑、修改及转化为音频文件格式，也可以直接调用乐谱编辑模块进行作曲；控制MIDI录制模块录制MIDI乐器获得MIDI文件及转为其他格式音频文件；把音频文件或MIDI文件通过内置的音频播放器发送到音频编解码器进行播放或使用内置的录音模块从音频编解码器录制音频并转存为音频文件；把MIDI文件直接通过MIDI接口连接的乐器演奏出来；浏览阅读音乐教程及学习资料；并用于访问网络(局域网或互联网)下载或上传音乐教程及学习资料，作为用户认证支持，使得只有具有正确的用户名和口令的用户才可以登陆进并且访问系统。

2.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，乐谱编辑模块对电子乐谱的编辑修改包括：升降调、速度、力度调整以及乐谱本身的直接修改。对电子乐谱可以软件模拟后通过音频接口播放或直接连接MIDI乐器进行播放，直到满足要求。

3.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，所述的LCD+触摸屏模块采用24位色LCD，1280*960分辨率的7”TFT液晶屏模块。

4.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，所述的高分辨率摄像头模块为数字摄像头，摄像头芯片优选500万像素的0V5640芯片，以获得良好的乐谱图像分辨率，有利于乐谱识别软件的处理。

5.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，SDCARD的容量为8GB以上。

6.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，所述大容量可充电电池采用锂电池，并用适当的结构件固定在铝合金底板上。

7.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，所述的音频编解码电路由音频编解码芯片及其外围电路和音频输入输出插座组成，连接到核心板的音频接口信号，音频编解码芯片优选WM8962芯片。

8.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，控制板的MIPI接口连接到高分辨率摄像头模块连接器，控制板的1个GPI0分别连接到系统开关按钮，控制板的复位引脚连接到复位按钮，控制板的24位LCD接口和触摸屏接口组合后通过接口电路连接到LCD+触摸屏模块连接器，接口电路包括用于触摸屏接口的触摸屏接口芯片TSC2007及其外围电路。

9.根据权利要求1所述的一种基于OMR技术的便携式钢琴伴奏装置，其特征在于，控制板的电源稳压电路产生必要的电压，并且把这些电压分别提供给USB插座电源引脚、LCD+触摸屏模块连接器的电源引脚及控制板电源引脚和SPI插座，SPI插座包括SPI接口引脚及电源引脚，其电源引脚用于给SPI转WIFI模块供电，LCD+触摸屏模块连接器包括LCD视频信号、触摸屏信号及电源引脚，其电源引脚用于给模块供电。