CN109845249B - 用外部信息同步midi文件的方法和系统 - Google Patents

Abstract

本申请涉及使MIDI文件与视频同步的方法包括获取视频和MIDI文件，以及识别视频帧的时间信息。该方法还包括将时间信息转换为时间戳信息和编辑MIDI文件的时间戳。该方法还包括检测对应于视频帧的MIDI文件，并基于所述对应于视频的MIDI文件演奏乐器。

Description

用外部信息同步MIDI文件的方法和系统

技术领域

本申请一般涉及乐器数字接口文件，特别涉及用于使乐器数字接口文件与包括例如视频的外部信息同步的方法和系统。

背景技术

在20世纪80年代早期，乐器数字接口(MIDI)技术促进了现代音乐的发展。基于MIDI技术的智能仪器使得仪器训练更容易。然而，如果视频以快进或慢速前进的模式播放，则MIDI文件可能使视频不匹配，反之亦然。因此，使MIDI文件与外部信息同步，并实现视频和MIDI文件的同时播放是至关重要的。

发明内容

根据本申请的一个方面，一种系统可以包括智能仪器系统、存储介质、以及与智能仪器系统和存储介质通信的一个或以上处理器。智能仪器被配置用于获得与音乐相关联的视频和乐器数字接口(MIDI)文件，该视频包括至少两个视频帧，并且MIDI文件包括至少两个时间戳tick。存储介质包括同步视频与MIDI文件的一组指令。此外，当执行该组指令时，所述一个或以上处理器用于：识别至少两个视频帧中的至少一个视频帧的时间信息；将时间信息转换为时间戳tick信息；基于时间戳tick信息编辑MIDI文件的至少一个时间戳tick，以便在播放时，音乐与视频同步。

根据本申请的另一个方面，一种方法可以包括由智能仪器系统获得与音乐相关联的视频和乐器数字接口(MIDI)文件，该视频包括至少两个视频帧，以及MIDI文件包括至少两个时间戳tick；通过智能仪器系统识别至少一个视频帧的时间信息；通过智能仪器系统将时间信息转换为视频时间戳tick信息；由所述智能仪器系统基于视频时间戳tick信息对所述MIDI文件的至少一个时间戳tick进行编辑，使得在播放时，所述音乐与所述视频同步。

其他特征将在以下部分描述中进行阐述，并且在检视以下及随附图标之后，部分特征对于本领域的普通技术人员来讲是显而易见地，或可以通过实例的生产及操作来了解。本申请的特征可以通过实践或使用以下实例中详细讨论的方法、手段及组合的各个方面来达成。

附图说明

本申请将结合示例性实施例进一步进行描述。这些示例性的实施例将结合参考图示进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的组件符号表示相同的结构，其中：

图1是根据本申请的一些实施例所示的示例性智能仪器系统的框图；

图2是根据本申请的一些实施例所示的示例性MIDI文件的框图；

图3是根据本申请的一些实施例所示的示例性处理器的框图；

图4是根据本申请的一些实施例所示的示例性处理器模块的框图；

图5是根据本申请的一些实施例所示的用于使MIDI文件与视频同步的示例性流程的流程图；

图6是根据本申请的一些实施例所示的用于编辑MIDI文件的示例性流程的流程图；

图7是根据本申请的一些实施例所示的用于编辑MIDI文件的时间戳tick的示例性流程的流程图；

图8是根据本申请的一些实施例所示的用于使视频与MIDI文件同步的示例性流程的流程图；

图9是根据本申请的一些实施例所示的智能仪器系统的示例性远程同步配置的框图；和

图10是根据本申请的一些实施例所示的用于再现乐器演奏的示例性流程的流程图。

具体实施方式

在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关公开的透彻理解。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其他情况下，为了避免不必要地模糊本披露的一些方面，本披露以相对高级别且不添加细节的方式描述了公知的方法、程序、系统、组件和/或电路。对于本领域的普通技术人员来说，显然可以对所披露的实施例作出各种改变。另外，在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请不限于所示的实施例，而是与权利要求一致的最宽范围。

应当理解，本申请使用的术语“系统”、“引擎”、“模块”和/或“单元”是用于区分不同级别的不同组件、元件、部件、部分或组件的一种方法。然而，可以使用其它可以达到相同目的表达取代以上术语。

应当理解，当一装置、单元或模块被描述为在另一装置、单元或模块“上”、或与另一装置、单元或模块“连接”或“耦合”时，除非上下文另有明确说明，这些装置单元或模块可以直接在另一装置、单元或模块上连接或耦合，或与其他装置、单元或模块通讯连接，也可存在其他中间装置、单元或模块。在本申请中，术语“和/或”可包括任何一个或多个相关所列条目或其组合。

本申请所使用的术语仅为了描述特定实施例，并不限制本申请的范围。除非上下文明确提示例外情形，本申请中使用的“一”、“一个”、“一种”和“该”等词并非特指单数，也可包括复数。还应当理解的是，本申请中的术语“包括”和/或“包含”只详述存在整体、装置、行为、陈述的特征、步骤、元件、操作和/或部件，但是不排除存在或添加一个或多个其他整体、设备、行为、特征、步骤、元件、操作、部件和/或其组合。

图1是根据本申请的一些实施例所示的示例性智能仪器系统的框图。智能仪器系统100可用于各种领域，包括例如智能仪器、音乐节目、音乐会表演、音乐交流、家庭音乐会、音乐教育、音乐节等，或其任何组合。如图1所示，示例性智能仪器系统100可包括乐器110、处理器120、网络130和数据库140。在一些实施例中，乐器110可包括MIDI文件111和视频112。

乐器110可以被配置用于演奏音乐。所演奏的音乐可具有一个或以上音乐形式，包括例如钢琴音乐、管弦乐音乐、弦乐音乐、风音乐、鼓乐等，或其任何组合。在一些实施例中，乐器110可具有一个或以上工作模式，包括例如自动播放模式(乐器可在没有用户参与的情况下自动播放，即用户学习模式)、半自动播放模式(用户可播放)使用乐器遵循智能仪器系统100的指令，即用户训练模式)和/或非自动播放模式(用户可以在没有指令的情况下播放乐器，即用户播放模式)。

在一些实施例中，乐器110可以包括用于演奏音乐的播放设备(未示出)。用于演奏音乐的设备可以包括钢琴、电钢琴、钢琴手风琴、风琴、电子键盘、竖琴、大提琴、中提琴、小提琴、吉他、尤克里里琴、大键琴、或者类似或其任何组合。

在一些实施例中，乐器110可包括输入/输出(I/O)设备(未示出)。I/O设备可以经由网络130从处理器120，本地存储器(未示出)或数据库140接收信息或向其发送信息。I/O设备可以包括MIDI接口、显示器、播放器、键、弦等，或其任何组合。在一些实施例中，显示器可包括液晶显示器(LCD)、发光二极管显示器(LED)、有机发光二极管显示器(OLED)、量子LED显示器(QLED)、平板显示器或弯曲屏幕、阴极射线管(CRT)、3D显示器、等离子体显示板等，或其任何组合。显示器可以显示信息。所显示的信息可以与乐器110的状态、乐器110的用户、用户的评价、或用户的指令等，或其任何组合相关。显示的信息可以是视频112、值、文本、图像、用户界面等，或其任何组合。在一些实施例中，用户界面可以是用户交互界面、图形用户界面或用户定义的界面等，或其任何组合。用户界面可以便于用户与智能仪器系统100的一个或以上组件(例如，乐器110、处理器120和/或数据库140)交互。例如，用户可以通过用户界面为乐器110选择工作模式。在一些实施例中，用户界面可以由处理器120实现。

在一些实施例中，乐器110可包括存储信息的本地存储器(未示出)。所存储的信息可以由乐器110生成，经由网络130从处理器120、本地存储器(未示出)或数据库140接收。在一些实施例中，存储的信息可包括MIDI文件111和/或视频112。所存储的信息还可以包括一组指令，其被实现为将由系统100的一个或以上处理器操作的应用。所述应用可以是本申请中介绍的方法。在一些实施例中，智能仪器系统100可以使用MIDI文件111来指示乐器110的演奏。MIDI文件111可包括一个或以上MIDI记录。MIDI记录可以包括关于乐器110的指令的信息，包括键或踏板的开/关状态、键或踏板的按压强度、一种音调等，或者任何组合。

在一些实施例中，乐器110可包括按压控制装置。在一些实施例中，按压控制装置可以由电流驱动。按压控制装置可基于电流幅度控制键或踏板的按压强度。

在一些实施例中，视频112可以与音乐表现相关。视频112可包括音乐音调、背景音乐、音量、播放模式、数字、字符、文本、图像、语音、指令等，或其任何组合。在一些实施例中，视频112可以在不同的播放模式下在显示器上播放。在自动播放模式和/或非自动播放模式下，可以在乐器演奏期间自动显示视频112。在半自动播放模式下，可以显示视频112以指示用户播放乐器110。例如，视频112可以示出虚拟键或踏板以指示用户可以按压哪个键或踏板，和/或可以按下多长时间。在一些实施例中，在非自动播放模式下，可以不播放视频112。在一些实施例中，音调可包括音色、音调、音调的持续时间、音调的强度等，或其任何组合。在一些实施例中，乐器110可以演奏和/或收集关于音调的信息。音乐音调的信息可包括原始数据、处理数据、控制数据、交互数据、图像数据、视频数据、模拟数据、数字数据等，或其任何组合。在一些实施例中，智能仪器系统100可以同步MIDI文件111和视频112。

在一些实施例中，MIDI文件111和/或视频112可以存储在数据库140中，并且乐器110可以经由网络130从数据库140获取MIDI文件111和/或视频112。在一些实施例中，MIDI文件111和/或视频112可以存储在本地存储器(未示出)中。本地存储器可以位于乐器110，处理器120和/或智能仪器系统100的其他组件中。本地存储器可以是大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等，或其任何组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性的挥发性只读存储器可以包括随机存取内存(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、闸流体RAM(T-RAM)和零电容RAM(Z-RAM)等。示例性的ROM可以包括备模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(PEROM)、电子可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM))和数字通用磁盘ROM等。

处理器120可以被配置为处理乐器110，本地存储器(未示出)或数据库140的信息。在一些实施例中，处理器120可以执行操作，包括例如处理数据、编辑MIDI文件、设置参数、匹配视频、选择播放模式等，或其任何组合。在一些实施例中，由处理器120处理和/或生成的数据可以被发送到智能仪器系统100的其他组件，包括例如乐器110和/或数据库140。在一些实施例中，由处理器120处理和/或生成的数据可以被发送到用于存储的存储器(未示出)。存储器可以是本地存储和/或远程存储。例如，存储器可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、磁盘、USB盘、CD、DVD、云存储器等，或其任何组合。在一些实施例中，由处理器120处理和/或生成的数据可以被发送到乐器110的组件并由其显示。在一些实施例中，由处理器120处理和/或生成的数据可以通过网络130发送到外部设备，例如，远程终端(未示出)。

在一些实施例中，处理器120可以生成用于控制智能仪器系统100的一个或以上组件的控制信号。例如，处理器120可以控制乐器110的音调、按键强度、踏板泵强度、播放速度和/或乐键的开/关状态。又例如，处理器120可以通过例如乐器110的I/O设备接收用户提供的命令。在一些实施例中，处理器120可以控制智能仪器系统100的组件之间的通信。例如，处理器120可以控制从乐器110到数据库140的信息传输，反之亦然。又如，处理器120可以控制乐器110与网络130的连接。

在一些实施例中，处理器120可以包括基于处理器和/或基于微处理器的单元。仅通过示例的方式，处理器120可以包括微控制器，精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)或者能够执行本文所述的一个或以上功能的任何其他电路或处理器。在一些实施例中，处理器120还可以包括存储器(例如，随机存取存储器(RAM)或只读存储器(ROM))。

应当理解，处理器120可以与本文所述的智能仪器系统100连接或配置在智能仪器系统100内，并且处理器的功能不是穷举的也不是限制性的。对于本领域技术人员来说，可以确定许多其他改变、替换、变化、改变和修改。并且本申请旨在涵盖落入本申请范围内的所有这些改变、替换、变化、改变和修改。仅作为示例，处理器120可以以各种方式实现。在一些实施例中，处理器120可以配置在乐器110内。在一些实施例中，处理器120可以由硬件、软件和/或硬件和软件(例如，固件)的组合来实现。硬件可以包括硬件电路、可编程逻辑器件、超大规模集成电路、门阵列芯片、半导体器件(例如，晶体管)或现场可编程门阵列(FPGA)。

网络130可以被配置用于促进智能仪器系统100的组件(例如，乐器110、处理器120和数据库140)之间的通信。例如，网络130可以将数据从乐器110发送到处理器120。网络130还可以将由处理器120处理和/或生成的数据发送到乐器110。在一些实施例中，网络130可以是允许发送和接收数据的任何类型的有线网络、无线网络或以太网。在一些实施例中，网络130可以包括纳米级网络、近场通信(NFC)、体域网(BAN)、个人区域网络(PAN，例如，蓝牙、Z-Wave、Zigbee、无线USB)、近地区网络(NAN)、本地无线网络、骨干网、城域网(MAN)、广域网(WAN)、互联网区域网络(IAN或云)或类似物，或其任何组合。可以设想，网络130可以使用任何已知的通信方法，其提供用于在两个或以上单独的组件之间传输数据的介质。在一些实施例中，乐器110、处理器120、网络130和/或数据库140可以直接或间接地彼此连接或通信。

数据库140可以被配置用于获取和/或存储智能仪器系统100的组件(例如，乐器110、处理器120和网络130)的信息。例如，数据库140可以获取演奏乐器110的用户的信息。在一些实施例中，获取和/或存储的信息可包括关于乐器指法的视频、乐器演奏的MIDI文件等，或其任何组合。在一些实施例中，用户可以是音乐家、钢琴家、音乐明星、名人、音乐教育者、乐器教授等，或其任何组合。在一些实施例中，数据库140可以存储关于用户的学习过程的信息。在一些实施例中，用户可以基于关于学习过程的信息来选择训练模式，这可以便于用户在演奏乐器110或其他乐器方面取得进展。在一些实施例中，数据库140可以存储关于音乐家或音乐明星演奏乐器110或其他乐器的过程的信息。仅作为示例，用户可以选择音乐明星，并基于与该音乐明星的演奏过程相关的信息与音乐明星一起演奏。

在一些实施例中，智能仪器系统100的两个或以上组件(即，乐器110、处理器120、网络130和/或数据库140)可以集成在一起。例如，乐器110和处理器120可以集成为一个设备。在一些实施例中，智能仪器系统100的功能可以由乐器110、处理器120、网络130、数据库140或其任何组合来实现。在一些实施例中，上述组件的一个或以上可以彼此远离。仅作为示例，处理器120可以在云平台(例如，云计算平台或云存储平台)上实现。又例如，乐器110可以由远程系统(例如，远程演奏系统或远程集成系统)控制。

图2是根据本申请的一些实施例所示的示例性MIDI文件111的框图。MIDI文件111可包括一个或以上MIDI记录。在一些实施例中，MIDI记录可以包括时间戳tick模块210、音调模块220、MIDI事件模块230和强度模块240。

时间戳tick模块210可包括表示时间戳tick信息的数据。时间戳tick信息可以与一个或以上MIDI事件的时间信息相关。在一些实施例中，处理器120可以匹配MIDI文件111的时间戳tick信息。在一些实施例中，处理器120可以基于时间戳tick信息来同步MIDI文件111和视频112。在一些实施例中，处理器120可以基于视频112的时间信息来转换时间戳tick信息。在一些实施例中，处理器120可以执行MIDI文件111并且导致乐器110演奏音乐。在一些实施例中，可以基于时间戳tick模块210的时间戳tick信息来执行MIDI文件111。

音调模块220可以包括表示音调信息的数据。在一些实施例中，音调信息可包括乐器110的不同种类(例如，128种)的音调。在一些实施例中，乐器110可以基于音调信息播放音调。在一些实施例中，处理器120可以基于时间戳tick信息和/或MIDI文件111中的音调信息来控制乐器110的音调。例如，处理器120可以根据时间戳tick模块210的时间戳tick信息来控制128种音调的开/关状态。又例如，处理器120可以基于音调模块220的音调信息确定可以按下乐器110的哪个或哪些键。

MIDI事件模块230可包括表示事件信息的数据。事件信息可以涉及一个或以上运动指令。在一些实施例中，MIDI事件模块230可包括键盘、踏板等的运动指令，或其任何组合。运动指令可以指按压或回弹键、踏板等，或其任何组合。在一些实施例中，MIDI事件模块230可以涉及音调模块220。例如，音调模块220可以指示可以播放哪个音调，并且MIDI事件模块230可以指示键盘和/或踏板的运动以实现播放音调。

强度模块240可包括表示强度信息的数据。强度信息可以指示乐器110的键盘和/或踏板的按压强度。在一些实施例中，处理器120可以基于强度信息控制按压强度。在一些实施例中，处理器120可以基于强度模块240来定义压力强度。例如，处理器120可以基于强度模块240控制乐器110内的键盘张力。乐器110可以通过向乐器110内的按压控制装置施加特定电流来将按压强度施加到键盘和/或踏板。在一些实施例中，电流可具有特定幅度和/或频率。

图3是根据本申请的一些实施例所示的示例性处理器120的框图。处理器120可以包括采集模块310、MIDI操作模块320、处理模块330、检测模块340和显示模块350。

通常，如本文所使用的，词语“模块”是指体现在固件的硬件中的逻辑，或者是指软件指令的集合。本文中描述的模块可以作为软件及/或硬件模块实施，并且可以储存于任何形式的非暂时计算机可读介质或其他储存装置。在一些实施例中，可以编译软件模块并将其链接到可执行程序中。应当理解，软件模块可以从其他模块或其自身调用，和/或可以响应于侦测到的事件或中断而被调用。配置用于在计算设备(例如，处理器120)上执行的软件模块可以在计算机可读介质上提供，例如光盘、数字视频盘、闪存驱动器、磁盘或任何其他有形介质，或者作为数字下载(并且最初可以以压缩或可安装的格式存储，需要在执行之前进行安装，解压缩或解密)。此类软件代码可以部分或全部储存于执行计算装置的储存装置中，并且由计算装置执行。软件指令可以嵌入固件中，诸如EPROM。应当进一步理解的是，硬件模块可以由连接的逻辑单元(例如门电路和触发器)组成，和/或可以由可编程单元(例如可编程门阵列或处理器)组成。本文描述的模块或计算装置功能优选地作为软件模块实施，但可以用硬件或固件表示。一般而言，本文中描述的模块指可以与其他模块组合或分成子模块的逻辑模块，而不管其物理组织或储存。

采集模块310可以在处理器120上实现。采集模块310可以被配置为获取乐器110的一个或以上的演奏。例如，采集模块310可以获取由安装在乐器110或其他乐器上的摄像机记录的一个或以上视频。在一些实施例中，采集模块310可以获取存储在数据库140中的一个或以上视频。在一些实施例中，采集模块310可以基于乐器110或其他乐器的性能来获取一个或以上的MIDI文件。例如，MIDI文件可以由乐器110或处理器120内的软件记录。

MIDI操作模块320可以被配置用于操作MIDI文件111。可以从采集模块310获取操作的MIDI文件111。在一些实施例中，MIDI操作模块320可以编辑MIDI文件111的时间戳tick信息。MIDI操作模块320可识别对应于视频112的MIDI文件111。在一些实施例中，MIDI操作模块320可以控制MIDI文件以便播放乐器110。在一些实施例中，MIDI操作模块320可以播放MIDI文件，并且乐器110可以相应地演奏音乐。在一些实施例中，采集模块310可以获取存储在数据库140中的数据，MIDI文件和/或视频信息，并且MIDI操作模块320可以基于所获取的数据、MIDI文件生成修改的MIDI文件(s)和/或视频信息。

处理模块330可以被配置为根据本文描述的技术执行一个或以上指令。指令可以包括执行本文描述的一个或以上功能的例程、程序、对象、组件、数据结构、过程、模块和功能。在一些实施例中，处理模块330可以分析从乐器110和/或其他乐器发送的指令。例如，如果用户将录制乐器110演奏的指示输入到乐器110中，乐器110可以将该指示转换为命令并将该命令发送到处理模块330，并且处理模块330可以分析该命令并给采集模块310指令以采集乐器110的演奏。又例如，视频112可以由安装在乐器110或其他乐器上的摄像机捕获，并且处理模块330可以根据乐器110或其他乐器的指令接收、存储和/或分析视频112。在一些实施例中，处理模块330可以向MIDI操作模块320发出指令以编辑对应于视频112的MIDI文件111。在一些实施例中，处理模块330可以根据乐器110的指令将MIDI文件111与视频112匹配，或者使MIDI文件111与视频112同步。仅作为示例，处理模块330可以将视频112的时间信息转换为时间戳tick信息。在一些实施例中，处理模块330可以向MIDI操作模块320发出指令以基于时间戳tick信息编辑MIDI文件111。在一些实施例中，处理模块330可以将控制信号发送到乐器110。

检测模块340可以被配置用于检测信息。该信息可包括MIDI文件111、视频112、乐器110或其他乐器的演奏等，或其任何组合。在一些实施例中，检测模块340可以识别视频信息。视频信息可以包括视频帧的时间信息。例如，视频帧可以包括在某一时刻按下钢琴键的信息。在一些实施例中，该时刻可以对应于时间信息。在一些实施例中，MIDI操作模块320可以基于由检测模块340检测到的视频帧的时间信息来识别对应于视频112的MIDI文件111。在一些实施例中，检测模块340可以基于MIDI文件111识别乐器110的演奏。在一些实施例中，检测模块340可基于MIDI文件111的时间戳tick信息识别对应于MIDI文件111的视频112。

显示模块350可以被配置用于基于乐器110或其他乐器的演奏显示视频112。在一些实施例中，显示模块350可以嵌入乐器110中。在一些实施例中，显示模块350可以包括不同的播放模式，例如，快进、慢速前进、跳过、后退、暂停、停止等。在一些实施例中，显示模块350可以在乐器110内执行本公开中其他地方描述的一个或以上的显示功能。

图4是根据本申请的一些实施例所示的示例性处理模块330的框图。在一些实施例中，处理模块330可包括识别单元410、转换模型单元420、匹配单元430和控制单元440。

识别单元410可以被配置用于识别时间信息。在一些实施例中，识别单元410可以识别视频112的时间信息。例如，可以识别每个视频帧的时间信息。在一些实施例中，识别单元410还可以识别匹配视频112的视频帧的MIDI文件111。例如，识别单元410可以基于视频112的时间信息来识别MIDI文件111。在一些实施例中，识别单元410可以集成到检测模块340中。

转换模型单元420可以被配置为转换时间信息。在一些实施例中，转换模型单元420可以将时间信息转换为时间戳tick信息。例如，转换模型单元420可以基于数学模型转换时间信息。在一些实施例中，识别单元410可以基于由转换模型单元420转换的时间戳tick信息来识别MIDI文件111的时间戳tick。

匹配单元430可以被配置用于使MIDI文件111与视频112同步。在一些实施例中，匹配单元430可以将视频112与MIDI文件111同步。仅作为示例，匹配单元430可以将视频112与用户卡拉OK表演的MIDI文件111同步。在一些实施例中，匹配单元430可以向MIDI操作模块320给出反馈。在一些实施例中，反馈可以包括关于视频112和MIDI文件111是否匹配的信息。在一些实施例中，MIDI操作模块320可以进一步基于反馈编辑MIDI文件的时间戳tick。在一些实施例中，匹配单元430可以将MIDI文件111的时间戳tick与由转换模型单元420转换的时间戳tick信息同步。

控制单元440可以被配置为控制乐器110。在一些实施例中，控制单元440可以控制音乐音调、键盘状态、开/关状态和/或按压乐器110的键盘或踏板的强度。例如，控制单元440可以基于时间戳tick模块210的时间戳tick信息来控制音调的开/关状态。另外，控制单元440可以基于电流控制键盘和/或踏板的按压强度。在一些实施例中，控制单元440可以控制视频112的播放模式。在一些实施例中，播放模式可包括快进、慢速前进、快退和慢速前进等，或其任何组合。在一些实施例中，控制单元440可以控制MIDI文件111的播放速度以便与视频112同步。例如，控制单元440可以在慢速前进/快进模式下控制MIDI文件111在播放视频112期间播放更慢/更快。

在一些实施例中，处理模块330可以包括通用处理器，例如，程控可编程逻辑器件(PLD)、专用集成电路(ASIC)、微处理器、片上系统(SoC)、数字信号处理器(DSP)等，或其任何组合。处理模块330的两个或以上通用处理器可以集成到硬件设备中，或者可以安装在两个或以上的硬件设备中。应当理解，处理模块330中的通用处理器可以根据各种配置来实现。例如，在一些实施例中，处理模块330的处理过程可以通过硬件、软件或硬件和软件的组合来实现，不仅可以通过可编程硬件设备中的硬件电路、超大规模集成电路、门阵列来实现。芯片、半导体器件(例如，晶体管)、现场可编程门阵列或可编程逻辑器件、以及由各种处理器执行的软件、或者上面说明的硬件和软件的组合(例如，固件)。

图5是根据本申请的一些实施例所示的用于使MIDI文件111与视频112同步的示例性流程的流程图。在一些实施例中，在510中，采集模块310可以获取信息。在一些实施例中，在510获取的信息可包括视频、MIDI文件、音频文件等的数据，或其任何组合。例如，视频数据可以包括乐器110或其他乐器的演奏。在一些实施例中，采集模块310可以从数据库140获取视频112和/或MIDI文件111。在一些实施例中，采集模块310可以同时，交替地或在不同时间通过乐器110记录与同一演奏相关联的视频112和MIDI文件111。在一些实施例中，采集模块310可以从数据库140获取视频112，并且通过乐器110记录MIDI文件111。在一些实施例中，采集模块310可以从数据库140获取MIDI文件111，并且通过乐器110记录视频112。在一些实施例中，处理器120可以在操作510中获取的信息存储在乐器110，处理器120和/或数据库140中。

在520中，MIDI操作模块320可以编辑在510中获取的MIDI文件。在520中编辑的MIDI文件可包括MIDI文件111。在一些实施例中，MIDI操作模块320可以编辑MIDI文件111的一个或以上MIDI记录。在一些实施例中，MIDI操作模块320可以编辑MIDI文件111的时间戳tick信息、音调信息、MIDI事件信息和/或强度信息。在一些实施例中，MIDI操作模块320可以基于视频112编辑MIDI文件111的时间戳tick信息。

在530中，处理模块330内的匹配单元430可以基于在520中编辑的时间戳tick信息来使MIDI事件与视频帧同步。在一些实施例中，识别单元410可以识别视频帧的时间信息。在一些实施例中，匹配单元430可以基于MIDI文件111的时间戳tick信息和视频帧的时间信息将MIDI事件与视频帧匹配。例如，处理模块可以检查MIDI文件111的时间戳tick信息和视频帧的时间戳tick信息，并匹配MIDI文件111的时间戳tick信息和视频帧，以便当智能仪器系统独立或同时操作视频和MIDI文件时，可以同步播放对应于MIDI文件111和视频的音乐。当MIDI文件111的时间戳tick信息与视频的时间戳tick信息不匹配时，根据其对应的时间戳tick信息同时播放MIDI文件111和视频可能导致音乐与视频之间的不匹配。因此，处理模块330可以编辑MIDI文件的时间戳tick信息以使其与视频的时间戳tick信息相匹配。为此，处理模块330可以获得视频帧的时间戳tick信息并确定其值，然后找到MIDI文件111的相应时间戳tick信息(即，应该同时播放音乐和视频的位置)并将视频帧的时间戳tick值分配给MIDI文件的相应时间戳tick值。这可以使得对应于MIDI文件的音乐被更快或更慢地播放，使得当智能仪器系统同时操作视频和MIDI文件时，对应于MIDI文件111和视频的音乐可以同步播放。当智能仪器系统与诸如钢琴的真实乐器连接时，MIDI文件可以在乐器上而不是在诸如音乐播放器的电子设备上播放。

在540中，检测模块340可以检测与视频帧相对应的MIDI事件。在一些实施例中，检测模块340可以在530中基于同步的MIDI事件来检测MIDI事件。在一些实施例中，视频帧可以指当前在乐器110的显示器中播放的视频112的视频帧。在一些实施例中，检测模块340可以执行后台线程。后台线程可以检测MIDI事件而不干扰视频112的播放。在一些实施例中，后台线程可以基于从视频帧的时间信息转换的时间戳tick信息来检测MIDI事件。例如，后台线程可以在几毫秒内检测MIDI事件。

在550中，MIDI操作模块320可以播放在540中检测到的MIDI事件。在一些实施例中，MIDI事件可以包括MIDI音调的开/关状态。例如，MIDI操作模块320可以播放与乐器上的视频112中的视频帧相对应的MIDI音调。在一些实施例中，视频帧可包括乐器演奏。例如，MIDI操作模块320可以播放与视频帧的键盘按压相对应的MIDI音调。在一些实施例中，处理模块330可以将MIDI事件发送到乐器110，并且乐器110可以演奏相应的音调。

图6是根据本申请的一些实施例所示的用于编辑MIDI文件111的示例性流程的流程图。在一些实施例中，在610中，检测模块340可以从在510中获取的信息中选择对应于视频112的MIDI文件111。在一些实施例中，MIDI文件可以包括与视频112中的乐器演奏相对应的MIDI音调。在一些实施例中，MIDI音调可以用背景音乐装饰。在一些实施例中，背景音乐可包括各种乐器演奏，例如，钢琴音乐、管弦乐、弦乐、风音乐和鼓乐。

在620中，处理模块330内的识别单元410可以确定是否同时记录MIDI文件111和视频112。如果识别单元410确定同时记录MIDI文件111和视频112，则处理模块330可以向MIDI操作模块320发出指令以在630处编辑MIDI文件111的初始时间戳tick。如果识别单元410确定MIDI文件111和视频112未被同时记录，则处理模块330可以向MIDI操作模块320发出指令以编辑MIDI文件的每个时间戳tick。在一些实施例中，MIDI文件111的时间戳tick可以对应于视频112的时间信息。在一些实施例中，MIDI操作模块320可以编辑与视频112的时间信息相对应的MIDI文件111的时间戳tick，以使MIDI文件111与视频112同步。

应当注意，以上对流程600的描述仅用于说明的目的，而不是旨在限制本申请的范围。对于具有本领域普通技能的人员，可以根据本申请进行各种变化和修改。例如，可以跳过步骤620。在一些实施例中，MIDI操作模块320可以直接基于视频112的时间信息来编辑MIDI文件111的时间戳tick。然而，变化或修改不脱离本申请的范围。

图7是根据本申请的一些实施例所示的用于编辑MIDI文件111的时间戳tick的示例性流程的流程图。在一些实施例中，在710处，检测模块340可以识别视频112中的视频帧的时间信息。在一些实施例中，每个视频帧可以对应于时间信息。时间信息可用于将MIDI文件111与视频112匹配。

在720中，转换模型单元420可以将在710中识别的时间信息转换为时间戳tick信息。在一些实施例中，转换模型单元420可基于一个或以上数学模型转换时间信息。在一些实施例中，MIDI文件111可以包括用于与视频112的时间信息匹配的时间戳tick信息。

在730中，处理模块330可以向MIDI操作模块320给出指令以基于在720中转换的时间戳tick信息来编辑MIDI文件111的时间戳tick。

图8是根据本申请的一些实施例所示的用于执行卡拉OK功能的示例性流程的流程图。卡拉OK功能可以由智能仪器系统100根据流程800实现。在810中，采集模块310可以记录用户播放的MIDI文件。在一些实施例中，用户可以在演奏乐器110时唱歌。例如，用户可以以低速、正常速度、快速速度等或其任何组合来唱和/或弹钢琴。在一些实施例中，显示模块350可以显示与用户的播放和/或演唱相对应的歌词。

在820中，检测模块340可以检测在810中记录的MIDI文件的时间戳tick。在一些实施例中，MIDI文件可以包括MIDI音调。在一些实施例中，处理模块330内的转换模型单元420可以将MIDI文件的时间戳tick信息转换为时间信息。例如，转换模型单元420可以基于一个或以上数学模型来转换MIDI文件的时间戳tick信息。

在830中，处理模块330内的识别单元410可以识别与在810中记录的MIDI文件的MIDI事件相对应的视频帧。在一些实施例中，识别单元410可以基于在820中从时间戳tick信息转换的时间信息来识别视频帧。例如，视频帧可以基于时间信息与MIDI事件同步。在一些实施例中，视频帧可包括歌词。歌词可以以与MIDI事件匹配的速度显示。

在840中，显示模块350可以显示与MIDI事件对应的视频。在一些实施例中，视频可以由处理模块330执行的后台线程来检测。在一些实施例中，可以基于在820中从时间戳tick信息转换的时间信息来检测视频。例如，可以显示与MIDI事件匹配的视频。具体地，可以在卡拉OK功能期间，与用户唱歌和演奏同步地显示歌词。

图9是根据本申请的一些实施例所示的智能仪器系统100的示例性远程同步配置的框图。示例性配置900可以是示出乐器110的远程执行情况的框图。在一些实施例中，MIDI文件910可以由不同的用户(即，用户A、......、用户B)播放。例如，用户可以包括音乐家、钢琴家、音乐明星、名人、音乐教育者、钢琴教授等，或其任何组合。

在一些实施例中，可以经由网络130共享由不同用户播放的各种MIDI文件910。在一些实施例中，910内的MIDI文件可以在920再现。例如，用户可以选择并再现由他/她喜欢的音乐明星播放的MIDI文件。在一些实施例中，可以通过远程现场表演实时再现MIDI文件。例如，歌手可以在他/她的音乐会期间经由网络130与钢琴演奏者一起弹钢琴。钢琴家可以远程弹钢琴。钢琴家本地的第一智能钢琴系统可以记录钢琴演奏者演奏的MIDI文件，并将MIDI文件发送到歌手本地的第二智能钢琴系统。第二智能钢琴系统可以接收MIDI文件并在歌手本地的钢琴上演奏，使得歌手可以表现得好像钢琴家与他或她坐在一起。

图10是根据本申请的一些实施例所示的用于再现远距离或不同时间的乐器演奏的示例性流程的流程图。在1010中，可以选择用户播放的MIDI文件。在一些实施例中，可以直接编辑MIDI文件。在一些实施例中，MIDI文件可以由各种用户播放，诸如音乐家、钢琴家、音乐明星、名人、音乐教育者、钢琴教授等，或其任何组合。例如，钢琴爱好者可以选择由钢琴演奏者演奏的MIDI文件。

在1020中，处理模块330内的识别单元410可以确定是否以独奏模式播放乐器110。如果识别单元410确定以独奏模式播放，则MIDI操作模块320可以在1030再现所选择的MIDI文件。例如，钢琴可以以汽车模式播放，以在没有用户参与的情况下再现所选择的MIDI文件。如果识别单元410确定以非独奏模式播放，则MIDI操作模块320可以在1040中在用户演奏时再现所选择的MIDI文件。例如，钢琴可以以半自动模式演奏，以通过用户演奏来再现所选择的MIDI文件。

在一些实施例中，智能仪器系统100可以用于远程现场表演。例如，可以经由网络130记录和发送(实时或非实时)MIDI文件。用户可以跟随录制的MIDI文件演奏乐器110。在一些实施例中，智能仪器系统100可以再现乐器110的演奏。例如，MIDI文件可以由钢琴演奏者演奏。可以通过钢琴演奏者基于MIDI文件的演奏再现音乐会。在一些实施例中，用户可以与在线的音乐明星一起演奏乐器110。在一些实施例中，用户可以基于MIDI文件与离线的音乐明星一起演奏乐器110。

因此，不同位置的音乐家可以一起演奏或在不同时间演奏以制作一首音乐。为此，第一音乐家可以播放对应于相应智能仪器系统上的第一乐器的音乐的第一分量。第一音乐分量的MIDI文件可以由智能仪器系统记录并发送到位于目标位置的第二智能仪器系统。类似地，可以记录音乐的第二、第三和/或更多分量的MIDI文件并将其发送到目标位置中的相应智能仪器系统。当收集到音乐片段的每个音乐分量的MIDI文件时，可以根据参考(例如，演奏视频)同步MIDI文件，然后通过相应的本地智能仪器系统在目标位置播放。通过这种方式，可以通过以与远程音乐家所做或已做的相同方式演奏真实的乐器来再现交响乐或音乐。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可以进行各种变更、改良和修改。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。同时，本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定系指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特性可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的制程、机器、产品或物质的组合，或对其任何新的和有用的改良。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以表现为位于一个或多个计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。此类传播讯号可以有多种形式，包括电磁形式、光形式等或任何合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质、或任何上述介质的组合。

本申请各方面操作所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象程序设计，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python或类似的常规程序编程语言，如“C”编程语言、Visual Basic、Fortran2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy或其它编程语言。程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机上运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算器可以通过任何网络形式与用户计算器连接，例如，局域网络(LAN)或广域网(WAN)、或连接至外部计算器(例如通过因特网)、或在云端计算环境中、或作为服务使用如软件即服务(SaaS)。

此外，除非申请专利范围中明确说明，否则所述处理元素或序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解，此类细节仅起说明的目的，附加的申请专利范围并不仅限于披露的实施例，相反，申请专利范围旨在覆盖所有符合本申请实施例精神和范围的修正和等价组合。例如，虽然以上描述的系统组件可以通过安装于硬件装置中实施，但也可以只通过软件的解决方案实施，例如在现有的服务器或行动载具上安装所描述的系统。

同样，可以理解的是，在本发明实施例的前述描写中，各种特点有时会在一个实施例、图或者描述中展现，这是为了精简描述多种实施例。然而，此公开方法并不意味着本申请所需的特征比申请专利范围中涉及的特征多。相反，发明的主体应具备比上述单一实施例更少的特征。

Claims (18)

1.一种用外部信息同步MIDI文件的系统，包括：

智能仪器，被配置为获得与音乐相关联的视频和乐器数字接口（MIDI）文件，所述视频包括至少两个视频帧，所述MIDI文件包括至少两个时间戳；

存储介质，包括用于同步所述视频与所述MIDI文件的一组指令；

与所述存储介质通信的一个或以上处理器，其中当执行所述指令集时，所述一个或以上处理器指向：

识别所述至少两个视频帧中的至少一个视频帧的时间信息；

基于所述视频帧的所述时间信息来识别对应于所述视频的所述MIDI文件；

选择对应于所述视频的所述MIDI文件；

转换所述时间信息为时间戳信息；

将所述视频帧的时间戳信息的值分配给所述MIDI文件的相应时间戳信息的值，以便在任意速度播放时，所述音乐与所述视频同步；

播放所述视频；

执行后台线程，其中，所述后台线程基于所述时间戳信息检测所述MIDI文件中与所述视频帧对应的MIDI事件；

播放检测到的所述MIDI事件。

2.根据权利要求1所述的系统，其中，所述视频以包括慢速前进、快进、跳过、后退、暂停或停止的模式播放。

3.根据权利要求1所述的系统，其中，所述视频包括乐器演奏。

4.根据权利要求1所述的系统，其中，所述乐器包括钢琴。

5.根据权利要求1所述的系统，其中，为了将所述视频帧的时间戳信息的值分配给所述MIDI文件的相应时间戳信息的值，所述一个或以上处理器进一步指向：

确定对应于所述至少两个视频帧中的一个视频帧的时间戳信息的值；

确定与所述视频帧对应的MIDI文件的时间戳；和

将所述值分配给所述时间戳。

6.根据权利要求1所述的系统，其中，所述MIDI文件包括时间戳、音调、MIDI事件和强度的信息。

7.根据权利要求1所述的系统，其中，所述视频和所述MIDI文件是分开的。

8.根据权利要求1所述的系统，其中，所述MIDI文件是与所述音乐相关联的第一MIDI文件；和

所述一个或以上处理器进一步指向：

获得与所述音乐相关联的第二MIDI文件，所述第二MIDI文件包括至少两个时间戳；

根据所述视频时间戳信息编辑所述第二MIDI文件的至少一个时间戳，以便在播放时，所述音乐与所述视频同步。

9.根据权利要求1所述的系统，其中，所述一个或以上处理器进一步指向：在与所述智能仪器系统相关联的乐器上同时播放所述第二MIDI文件。

10.一种用外部信息同步MIDI文件的方法，包括：

通过智能仪器系统，获得与音乐相关联的视频和乐器数字接口MIDI文件，所述视频包括至少两个视频帧，所述MIDI文件包括至少两个时间戳；

通过所述智能仪器系统，识别所述至少两个视频帧中的至少一个视频帧的时间信息；

通过所述智能仪器系统，基于所述视频帧的所述时间信息来识别对应于所述视频的所述MIDI文件；

选择对应于所述视频的所述MIDI文件；

由所述智能仪器系统将所述时间信息转换为视频时间戳信息；

由所述智能仪器系统将所述视频帧的时间戳信息的值分配给所述MIDI文件的相应时间戳信息的值，以便在任意速度播放时，所述音乐与所述视频同步；

由所述智能仪器系统播放所述视频；

由所述智能仪器系统执行后台线程，其中，所述后台线程基于所述时间戳信息检测所述MIDI文件中与所述视频帧对应的MIDI事件；

由所述智能仪器系统播放检测到的所述MIDI事件。

11.根据权利要求10所述的方法，其中，所述视频以包括慢速前进、快进、跳过、后退、暂停或停止的模式播放。

12.根据权利要求10所述的方法，其中，所述视频包括乐器演奏。

13.根据权利要求10所述的方法，其中，所述乐器包括钢琴。

14.根据权利要求10所述的方法，其中，将所述视频帧的时间戳信息的值分配给所述MIDI文件的相应时间戳信息的值包括：

确定对应于所述至少两个视频帧中的一个视频帧的时间戳信息的值；

确定与所述视频帧对应的MIDI文件的时间戳；和

将所述值分配给所述时间戳。

15.根据权利要求10所述的方法，其中，所述MIDI文件包括时间戳、音调、MIDI事件和强度的信息。

16.根据权利要求10所述的方法，其中，所述视频和所述MIDI文件是分开记录的。

17.根据权利要求10所述的方法，其中，所述MIDI文件是与所述音乐相关联的第一MIDI文件；和

所述方法还包括：

通过所述智能仪器系统，获得与所述音乐相关联的第二MIDI文件，所述第二MIDI文件包括至少两个时间戳；

由所述智能仪器系统根据所述视频时间戳信息编辑所述第二MIDI文件的至少一个时间戳，以便在播放时，所述音乐与所述视频同步。

18.根据权利要求10所述的方法，还包括，通过所述智能仪器系统，在与所述智能仪器系统相关联的乐器上同时播放所述第二MIDI文件。

Images