CN109844852A - 用于音乐演奏的系统和方法 - Google Patents

用于音乐演奏的系统和方法 Download PDF

Info

Publication number
CN109844852A
CN109844852A CN201780063230.4A CN201780063230A CN109844852A CN 109844852 A CN109844852 A CN 109844852A CN 201780063230 A CN201780063230 A CN 201780063230A CN 109844852 A CN109844852 A CN 109844852A
Authority
CN
China
Prior art keywords
information
musical instrument
music
performance
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780063230.4A
Other languages
English (en)
Inventor
燕斌
童刚
顾笑群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senlan Information Technology (shanghai) Co Ltd
Sunland Information Technology Co Ltd
Original Assignee
Senlan Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senlan Information Technology (shanghai) Co Ltd filed Critical Senlan Information Technology (shanghai) Co Ltd
Publication of CN109844852A publication Critical patent/CN109844852A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G10F1/02—Pianofortes with keyboard
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G10F1/16—Stringed musical instruments other than pianofortes
    • G10F1/18—Stringed musical instruments other than pianofortes to be played by a bow
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G10F1/16—Stringed musical instruments other than pianofortes
    • G10F1/20—Stringed musical instruments other than pianofortes to be plucked
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/311—MIDI transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

提供了用于音乐演奏的系统和方法。在一些实施例中，用于音乐演奏的系统包括处理设备，用于接收与第一乐器上的一段音乐的第一演奏相关的演奏信息；基于演奏信息产生至少一个控制信号；基于控制信号产生第二演奏，其中为了产生所述第二演奏，处理设备进一步用于使用控制信号控制第二乐器的至少一个音调生成装置以演奏音乐。

Description

用于音乐演奏的系统和方法
交叉引用
本申请要求2016年10月14日提交的名称为“METHODS AND SYSTEMS FORSYNCHRONIZING MIDI FILE WITH EXTERNAL INFORMATION(用于同步MIDI文件和外部信息的方法和系统)”，申请号为PCT/CN2016/102165的PCT申请的优先权，其全部内容通过引用并入本文。
技术领域
本申请涉及用于音乐演奏的系统和方法，更具体地，涉及用于使用多个乐器协作演奏音乐的系统和方法。
背景技术
乐器，如钢琴、小提琴和吉他，在世界各地广泛使用。传统的乐器教学和练习方法可能无法为音乐家提供令人满意的体验。例如，传统的乐器教学方法可能依赖于课堂教学方法。学生可能会发现使用课堂教学方法学习演奏乐器很困难。又例如，传统乐器练习方法可能没有提供使用多个乐器来促进音乐演奏的机制。因此，有必要为音乐演奏提供新机制。
发明内容
提供了用于音乐演奏的系统和方法。在一些实施例中，用于音乐演奏的系统包括处理设备，用于接收与第一乐器上的一段音乐的第一演奏相关的演奏信息；基于所述演奏信息生成至少一个控制信号；以及基于所述控制信号产生第二演奏，其中为了产生所述第二演奏，所述处理设备进一步用于使用所述控制信号控制第二乐器的至少一个音调生成装置以演奏所述音乐。
在一些实施例中，所述第二乐器是钢琴，以及所述音调生成装置包括致动器。
在一些实施例中，为了产生所述第二演奏，所述处理设备进一步用于基于所述控制信号致动所述第二乐器的至少两个琴键。
在一些实施例中，所述处理设备进一步用于与所述第二演奏同步地呈现与所述第一演奏相关的媒体内容。
在一些实施例中，所述第二演奏是所述第一演奏的再现。
在一些实施例中，所述第一演奏对应于所述音乐的第一部分，以及所述第二演奏对应于所述音乐的第二部分。
在一些实施例中，所述演奏信息包括所述第一演奏期间所述第一乐器的至少一个组件的运动信息。
在一些实施例中，为了产生所述第二演奏，所述处理设备用于基于所述运动信息生成所述控制信号；以及使所述音调生成装置基于所述运动信息演奏所述音乐。
在一些实施例中，所述第一乐器是钢琴，并且所述运动信息包括所述第一演奏期间所述第一乐器的至少两个琴键的运动的信息。
在一些实施例中，所述演奏信息包括以下中的至少一个：所述至少两个琴键的操作顺序、所述至少两个琴键中的至少一个琴键的按压的时间信息、所述至少两个琴键的位置信息，或由所述至少两个琴键中的至少一个琴键产生的音符。
在一些实施例中，所述演奏信息通过蓝牙连接接收。
在一些实施例中，用于音乐演奏的系统包括处理设备，用于获取在一段音乐的第一演奏期间的第一乐器的至少一个组件的运动信息；获取关于所述第一演奏的媒体内容；基于所述运动信息和所述媒体内容生成关于所述第一演奏的演奏信息；以及将所述演奏信息发送到至少一个第二乐器。
在一些实施例中，用于音乐演奏的方法包括：接收与第一乐器上的一段音乐的第一演奏相关的演奏信息；基于所述演奏信息生成至少一个控制信号；以及通过处理设备，基于所述控制信号产生第二演奏，其中产生所述第二演奏进一步包括：使用所述控制信号控制第二乐器的至少一个音调生成装置以演奏所述音乐。
在一些实施例中，用于音乐演奏的方法包括：获取在一段音乐的第一演奏期间的第一乐器的至少一个组件的运动信息；获取关于所述第一演奏的媒体内容；通过处理设备，基于所述运动信息和所述媒体内容，生成关于所述第一演奏的演奏信息；以及将所述演奏信息发送到至少一个第二乐器。
附图说明
当结合附图阅读时，使本申请的实施例的前述和其他方面在以下详细描述中更加明显，其中：
图1是可以在其中操作本申请的实现的系统的示例的框图；
图2是根据本申请的一些实施例所示的乐器的示例的框图；
图3是根据本申请的一些实施例所示的处理设备的示例的框图；
图4是根据本申请的一些实施例所示的处理模块的示例的框图；
图5是根据本申请的一些实施例所示的执行模块的示例的框图；
图6是根据本申请的一些实施例所示的音乐演奏的示例性过程的流程图。
图7是根据本申请的一些实施例所示的用于生成演奏信息的示例性过程的流程图。
图8是根据本申请的一些实施例所示的用于处理演奏信息的示例性过程的流程图。
图9是根据本申请的一些实施例所示的使用多个乐器的音乐演奏的示例性过程的流程图。
图10是根据本申请的一些实施例所示的示例性MIDI文件的框图；
图11是根据本申请的一些实施例所示的用于同步MIDI文件和视频的示例性过程的流程图。
图12是根据本申请的一些实施例所示的用于编辑MIDI文件的示例性过程的流程图。
图13是根据本申请的一些实施例所示的用于编辑MIDI文件的标记的示例性过程的流程图。
图14是根据本申请的一些实施例所示的用于同步视频和MIDI文件的示例性过程的流程图；以及
图15是根据本申请的一些实施例所示的用于再现乐器演奏的示例性过程的流程图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。
应当理解，当模块或单元被称为“在”、“连接到”或“耦合到”另一个模块或单元时，该模块或单元可以直接在其他模块或单元上，连接或耦合到其他模块或单元，或者可以存在中间模块或单元。相反，当模块或单元被称为“直接在”、“直接连接到”或“直接耦合到”另一模块或单元时，可以不存在中间模块或单元。在本申请中，术语“和/或”可以包括任何一个或以上相关所列条目或其组合。
本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的，单数形式“一”、“一个”和“该”可以同样包括复数形式，除非上下文明确提示例外情形。进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或以上其他特征、整数、步骤、操作、元素、组件和/或群组的存在或添加。
图1是可以在其中操作本申请的实现的系统100的示例的框图。如图1所示，系统100可以包括一个或以上乐器(例如，乐器101a、101b、...、101n)和网络102。根据本申请的各种实施例，系统100可以包括任何合适数量的乐器以实现功能。乐器101a-101n可以位于或不位于相同位置。
乐器101a-101n中的每一个可以是和/或包括可以产生音乐声的任何乐器。例如，乐器101a-101n中的每一个可以是和/或包括一个或以上键盘乐器，例如钢琴。所述钢琴可以是原声钢琴、电钢琴、电子钢琴、数码钢琴和/或具有键盘的任何其他乐器。可以结合本申请的一些实施例使用的原声钢琴的示例包括三角钢琴、立式钢琴、方形钢琴、专用钢琴(如玩具钢琴、迷你钢琴、预制钢琴等)等。又例如，乐器101a-101n中的每一个可以是和/或包括一个或以上管乐器，如小号、长号、次中音号、双簧管、萨克斯管、低音管等。再例如，乐器101a-101n中的每一个可以是和/或包括一个或以上弦乐器，例如吉他、小提琴、自鸣筝、匈牙利扬琴等。再例如，乐器101a-101n中的每一个可以是和/或包括一个或以上打击乐器，例如定音鼓、军鼓、低音鼓、钹、手鼓等。
乐器101a-101n中的每一个可以包括和/或通信地耦合到一个或以上计算设备，例如台式计算机、膝上型计算机、平板计算机、移动电话、可穿戴设备(如眼镜、头戴式显示器和腕带等)和服务器等。在一些实施例中，乐器可以与一个或以上计算设备集成。例如，平板电脑可以与钢琴集成以执行钢琴系统的一个或以上功能，例如显示乐谱，表示在表演期间要按下一个或以上钢琴键，通过视频通话与一个或以上其他用户(例如，教师)通信等。可选地或另外地，乐器中的每一个和计算设备可以实现为独立设备。在一些实施例中，乐器101a-101n中的每一个可以包括如下图2-5描述的一个或以上设备和/或模块。
在一些实施例中，乐器101a-101n中的每一个可以获取、处理、发送、接收关于用户演奏的演奏信息，和/或对所述演奏信息进行任何其他操作。如这里所提到的，与乐器的演奏相关的演奏信息可以包括关于演奏的任何信息。例如，演奏信息可以包括关于乐器的任何信息，例如乐器的类型(如钢琴、小提琴等)、乐器的型号、乐器的制造商等。又例如，演奏信息可以是和/或包括关于演奏的任何合适的媒体内容，例如与演奏相关的视频内容、与演奏相关的音频内容、图形、文本、图像和/或与演奏相关的任何其他内容。再例如，演奏信息可以包括关于演奏期间演奏者的钢琴键和/或踏板的操作的信息(例如，琴键和/或踏板的操作顺序，施加于一个或以上琴键和/或踏板的力量，对应于按下和/或释放一个或以上琴键和/或踏板的时间点，保持琴键和/或踏板按下的持续时间等)等等。再例如，演奏信息可以包括关于演奏期间播放的音乐的任何合适的信息(这里也称为“音乐数据”)，例如音乐表、乐谱、注释、音符、音符持续时间、音符值、音乐标题、琴键和/或踏板的操作顺序、施加于一个或以上琴键和/或踏板的力度、音乐的持续时间和/或关于音乐的任何其他信息。
网络102可以被配置用于连接乐器与一个或以上其他乐器。乐器可以通过网络102与一个或以上其他乐器通信(例如，通过向其他乐器发送信息和/或数据和/或从其他乐器接收信息和/或数据)。网络102可以包括公共网络(例如，因特网)、专用网络(例如，局域网(LAN)或广域网(WAN))、有线网络(例如、以太网网络)、无线网络(例如，802.11网络或Wi-Fi网络)、蜂窝网络(例如，长期演进(LTE)网络)、路由器、集线器、交换机、服务器计算机和/或其组合。在一些实施例中，乐器可以通过一个或以上通信连接通信地耦合到一个或以上其他乐器。所述通信连接可以是和/或包括，例如，一个或以上网络连接、拨号连接、无线连接、蓝牙连接、硬连接、红外连接、任何其他合适的通信连接或这些连接的组合。
在一些实施例中，乐器可以用作主乐器，并且可以控制一个或以上其他乐器和/或设备(也称为“从属乐器”)以执行本申请中描述的各种功能。例如，主乐器可以控制一个或以上从属乐器以演奏一段音乐(例如，钢琴曲)。更具体地，例如，主乐器可以获取与用户的音乐演奏(这里也称为“第一演奏”)相关的演奏信息。所述演奏信息可以包括，例如，与演奏相关的视频内容、与第一演奏相关的音频内容和关于在第一演奏期间用户操作钢琴键和/或踏板的信息等。所述主乐器可以将演奏信息和/或任何其他数据发送到一个或以上从属乐器。在接收到演奏信息和/或数据时，从属乐器可以基于所述演奏信息和/或数据产生一段音乐的演奏(这里也称为“第二演奏”)。例如，从属乐器可以使用一个或以上音调生成装置，例如一个或以上致动器、琴键、琴弦、音锤和合成器等，再现第一演奏。更具体地，例如，从属乐器可以生成一个或以上控制信号以使用一个或以上音调生成装置控制一个或以上自动演奏机制产生第二演奏。又例如，从属乐器可以呈现与第一演奏相关的媒体内容。更具体地，例如，从属乐器可以基于演奏信息提供与第一演奏相关的视频内容和/或音频内容的回放。所述视频内容和/或音频内容可以由主乐器记录，并且可以以实时方式或任何其他方式发送到从属乐器。在一些实施例中，主乐器和从属乐器中的每一个可以包括钢琴。从属乐器可以分析演奏信息以提取关于主乐器上的操作的运动信息，例如琴键的操作顺序、按下琴键和/或使用踏板的时间、施加于按键和/或踏板的力度和按下琴键和/或踏板的持续时间等。从属乐器可以基于所提取的运动信息产生一个或以上控制信号，以控制操作从属乐器的琴键和/或踏板演奏音乐。在一些实施例中，第二演奏可以是第一演奏的再现。在一些实施例中，乐器101a-101n中的每一个可以用作主乐器和/或从属乐器。
在一些实施例中，多个乐器101a-101n可以用于协同演奏音乐。例如，多个乐器可以以音乐合奏的形式演奏一段音乐。所述音乐是可以由多个乐器演奏的任何音乐，例如钢琴曲(如钢琴二重奏和钢琴三重奏等)、弦乐四重奏、钢琴协奏曲、交响曲和歌曲等。所述乐器可以包括相同类型的乐器(例如，多个钢琴)和/或不同类型的乐器(例如，一个或以上钢琴和小提琴)。所述乐器中的每一个可以演奏所述音乐的一个或以上部分。所述多个乐器可以演奏音乐的相同部分或音乐的不同部分。例如，第一乐器(例如，第一钢琴)可以演奏音乐的第一部分(也称为“第一演奏”)。第二乐器(例如，第二钢琴)可以演奏音乐的第二部分(例如，也称为“第二演奏”)。所述第一部分和所述第二部分可以相同也可以不同。第一演奏可以由第一乐器的一个或以上音调生成装置(例如，第一钢琴的一个或以上致动器、合成器、踏板和琴键等)来呈现。第二演奏可以由第二乐器的一个或以上音调生成装置(第二钢琴的一个或以上致动器、合成器、踏板和琴键等)来呈现。在一些实施例中，可以使用一个或以上自动演奏机制(例如，钢琴和合成器的一个或以上致动器等)来呈现第一演奏和/或第二演奏。可选地或另外地，第一演奏和/或第二演奏的一个或以上部分可以由一个或以上演奏者呈现。在一些实施例中，第一乐器可以产生关于第一演奏的演奏信息(也称为“第一演奏信息”)，并且可以将第一演奏信息发送到一个或以上其他乐器(例如，第二乐器)。第二乐器可以产生关于第二演奏的演奏信息(也称为“第二演奏信息”)，并且可以将第二演奏信息发送到一个或以上其他乐器(例如，第一乐器和第三乐器等)。在一些实施例中，可以以实时方式发送第一演奏信息和/或第二演奏信息。
在一些实施例中，乐器可以用作主乐器，并且可以将乐谱发送到一个或以上从属乐器。从属乐器可以在接收到乐谱时识别从属乐器要演奏的乐谱的一个或以上部分，并且可以演奏音乐的所述部分。主乐器和从属乐器可以基于相同的乐谱形成音乐合奏以演奏一段音乐。这样，演奏者可以演奏主乐器并控制从属乐器以呈现乐队演奏。又例如，演奏者可以用四架钢琴弹奏钢琴四重奏。更具体地，例如，演奏者可以用不同的演奏技巧弹奏钢琴曲三次，并分别记录每次弹奏。然后，同一钢琴曲的三种不同弹奏可以传递给三架钢琴。然后演奏者可以第四次弹奏钢琴曲，并且三个从属钢琴可以同时再现所接收的弹奏。这样，演奏者可以使用多个乐器演奏钢琴四重奏。
在一些实施例中，多个乐器101a-101n可以用于演奏音乐。例如，第一乐器可以由演奏者演奏一段音乐。演奏场景(也称为“第一演奏”)可以由任何合适的媒体获取设备(例如，一个或以上相机、便携式摄像机、录像机和录音机等)记录。例如，可以使用一个或以上相机或全息相机来记录第一演奏场景。所述演奏场景可以包括来自各种视野的演奏图像或视频。所述演奏场景可以包括在关于第一演奏的演奏信息中(也称为“第一演奏信息”)，并且可以被发送到一个或以上其他乐器(例如，第二乐器)。第二乐器可以基于第一演奏信息产生一段音乐的演奏(也称为“第二演奏”)。例如，第二乐器可以使用一个或以上音调生成装置再现第一演奏。第二演奏可以以任何合适的方式呈现。例如，第二乐器可以不需要演奏者，使用一个或以上自动演奏机制(例如，钢琴和合成器的一个或以上致动器等)来演奏所述一段音乐。又例如，可以使用一个或以上虚拟现实(VR)设备、增强现实(AR)设备、混合现实(MR)设备、头戴式显示器(HMD)、可穿戴计算设备、全息设备和三维显示器等来呈现第二演奏。在一些实施例中，音乐会的观众可以佩戴VR头戴式显示(HMD)设备(例如，OculusRift、HTC Vive、Sony PlayStation VR、Google Cardboard、Gear VR等)和AR头戴式显示(HMD)设备(例如，谷歌眼镜)等来观看虚拟演奏者演奏第二乐器的表演。所述虚拟演奏者可以是VR设备基于第一演奏信息产生的第一演奏的演奏者。所述虚拟演奏者也可以是其演奏适合第二乐器演奏的任何其他演奏者。例如，现场音乐会上的观众可以佩戴AR头戴式显示(HMD)设备(例如，谷歌眼镜)以观看虚拟演奏者弹奏真实钢琴的表演。又例如，不在现场音乐会上的观众可以佩戴VR头戴式显示(HMD)设备来欣赏虚拟演奏者演奏虚拟乐器的虚拟表演。在一些实施例中，观众可以使用一个或以上全息设备来欣赏第二演奏。所述全息设备可以将第一演奏的演奏者的图像投影到音乐会的舞台上，以呈现虚拟图像和真实乐器的组合展示。
图2是根据本申请的一些实施例所示的乐器的示例的框图。如图2所示，乐器101a-101n中的每一个可以包括振动器201、激励体202、谐振体203、导体204、支撑结构205、显示器206、一个或以上传感器207、内存208、总线209、电子音乐合成器210、输入/输出(I/O)211、处理器212、发送器213、接收器214和一个或以上致动器215。振动器201、激励体202、谐振体203、导体204和/或支撑结构205可以形成乐器的音调生成装置。振动器201可以是任何能够在振动时产生音调的设备，例如，弦、铃舌等。激励体202可以是能够使振动器201振动的任何设备，例如，小提琴弓、簧片等。谐振体203可以是能够辐射音调的任何设备，例如，腔、音板等。导体204可以是能够传导音调的任何设备，例如，桥。支撑结构205可以是能够支撑振动器201、激励体202、谐振体203和导体204和/或为其提供壳体的任何设备(例如，小提琴体)。
显示器206可以被配置用于显示信息和/或数据。在一些实施例中，显示器206可以根据用户通过输入/输出211的输入显示信息和/或数据。在一些实施例中，显示器206可以显示从内存208获取的信息和/或数据。在一些实施例中，显示器206可以显示从接收器214接收的信息和/或数据。显示器206可以是能够接收、转换、处理和/或显示文本和媒体内容以及执行任何其他合适功能的任何合适的设备。例如，显示器206可以包括液晶显示(LCD)面板、发光二极管显示器(LED)、有机发光二极管(OLED)面板、阴极射线(CRT)显示器、等离子显示器、触摸屏、模拟触摸屏等，或其任何组合。在一些实施例中，显示器206可以是和/或包括一个或以上虚拟现实(VR)设备、增强现实(AR)设备、混合现实(MR)设备、头戴式显示器(HMD)、三维显示器、全息显示器等。例如，显示器206可以是和/或包括VR头戴式显示(HMD)设备(例如，Oculus Rift、HTC Vive、Sony PlayStation VR、Google Cardboard、Gear VR等)、虚拟视网膜显示器、AR头戴式显示(HMD)设备(例如，谷歌眼镜)、MR设备(例如Magicleap、Hololens等)和全息投影显示设备等。在一些实施例中，显示器206可以被配置用于接收来自用户的输入。例如，显示器206可以包括触摸屏，被配置用于检测经由触摸压力、触摸位置、触摸输入区域、触摸手势等或其任何组合的一个或以上用户输入。
传感器207可以被配置用于检测乐器的一个或以上组件，例如，乐器的一个或以上音调生成装置的运动。传感器207可以是或包括光电传感器、磁电传感器、角度传感器、压电传感器等。在一些实施例中，乐器可以是和/或包括钢琴，传感器207可以包括一个或以上琴键传感器和踏板传感器。所述琴键传感器可以放置在琴键附近(例如，琴键上方、琴键下方等)以检测钢琴键的运动信息。所述运动信息可以包括琴键的位置、对应于琴键的按压的时间点、对应于琴键的释放的时间点、按压强度、一个或以上琴键在其运动过程中的速度、用户按压琴键的顺序等。踏板传感器可以检测踏板的运动信息，例如踏板的位置、对应于踏板下压的时间点、对应于踏板释放的时间点、下压强度、踏板在其运动过程中的速度、踏板下压的顺序等。
内存208可以是和/或包括任何硬件设备，被配置用于存储用于乐器的信息和/或数据。例如，内存208可以是和/或包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、闪存、硬盘驱动器、固态驱动器等。内存208可以接收和存储与应用、程序、指令和/或乐器的其他组件可访问的任何其他信息和/或数据相关的信息和/或数据。在一些实施例中，内存208可以是集成到乐器101a-101n中的每一个中的本地内存。在一些实施例中，内存208可以是独立内存，以存储与乐器101a-101n中的每一个相关的所有信息。并且乐器101a-101n中的每一个可以与独立内存208通信(例如，访问、复制、存储数据等)。
总线209可以被配置用于在乐器的电子组件之间传送信息和/或数据。总线209可以覆盖所有相关的硬件组件(电线、光纤等)和软件，包括通信协议。如图2所示，显示器206、传感器207、内存208、音乐合成器210、输入/输出211、处理器212、发送器213、接收器214和致动器215可以经由总线209彼此通信。
电子音乐合成器210可以被配置用于通过生成电子信号产生声音。电子音乐合成器210可以包括在电子乐器中。在一些实施例中，电子音乐合成器210可以包括用于控制其声音的音乐控制器(例如，通过调节每个音符的音高、频率和/或持续时间)。电子音乐合成器210还可以包括输出设备(例如扬声器)和音乐合成器以呈现音频内容。音乐控制器和音乐合成器可以通过音乐演奏描述语言彼此通信，音乐演奏描述语言包括例如乐器数字接口(Musical Instrument Digital Interface，MIDI)、开放声音控制(Open Sound Control)等。
输入/输出211可以被配置用于输入来自其他设备的信息和/或数据和/或输出信息和/或数据到另一个设备。在一些实施例中，输入/输出211可以实现为触摸屏以检测用户的输入。在一些实施例中，输入/输出211可以实现为使用语音识别设备检测用户的语音。在一些实施例中，输入/输出211和显示器206可以实现为单个设备或组件。在一些实施例中，输入/输出211可以包括USB接口、光盘驱动器、HDMI接口或向其他设备输入和/或输出信息和/或数据的其他接口。
处理器212可以被配置用于执行存储在内存208中的指令(程序代码)。计算机指令可以包括，例如，例程、程序、对象、组件、数据结构、过程、引擎、模块、单元和/或执行一个或以上在此描述的功能(或方法)的功能。处理器212可以从传感器207和接收器214接收信息和/或数据。处理器212可以通过输入/输出211接收输入数据并对其进行处理。处理器212可以将信息和/或数据输出到显示器206以进行显示。处理器212可以生成数据并将数据发送到内存208、发送器213或致动器215。在一些实施例中，处理器212可以将信息和/或数据发送到音乐合成器210以产生电子音乐。在一些实施例中，处理器212可以处理记录的演奏场景以产生可以通过VR和/或AR显示设备观看或全息投影到舞台上的虚拟图像。处理器212可以以任何合适的方式实现，包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、ARM等或其任何组合。
发送器213可以被配置用于经由有线或无线通信连接向其他设备发送信息和/或数据。接收器214可以被配置用于经由有线或无线通信连接从其他设备接收信息和/或数据。所述通信连接可以是和/或包括，例如，网络连接、拨号连接、无线连接、蓝牙连接、硬连接、红外连接、任何其他合适的通信连接或这些连接的组合。在一些实施例中，发送器213和接收器214可以实现为单个设备或组件(例如，收发器)。
致动器215可被配置用于致动乐器的一个或以上音调生成装置(例如，钢琴的一个或以上琴键、吉他的弦等)以演奏一段音乐。在一些实施例中，乐器可以是钢琴，致动器215可以包括琴键致动器和踏板致动器。琴键致动器可以从处理器212接收控制信号并按下琴键。踏板致动器也可以从处理器212接收控制信号并压下踏板。在一些实施例中，乐器可以是吉他，致动器215可以包括一个或以上指示器(例如，一个或以上LED灯)以指示用户应该弹奏的弦的位置。在一些实施例中，乐器可以是小号，致动器215可以包括听筒以提醒用户吹奏小号的时刻和持续时间。
应当注意，提供上述乐器是为了说明，而不是为了限制本申请的范围。对于本领域具有普通技能的人，可以在本申请的教导下进行各种修改和变化。然而，这些修改和变化不脱离本申请的范围。在一些实施例中，乐器101a-101n还可以包括图2中未示出的其他组件。例如，乐器101a-101n还可以包括一个或以上设备以获取与演奏者的演奏相关的媒体内容。所述设备可以是和/或包括一个或以上相机、便携式摄像机、麦克风、录像机、录音机和/或能够获取媒体内容的任何设备。在一些实施例中，可以使用一个或以上相机来捕获与演奏者的演奏相关的全息图像或视频。在一些实施例中，乐器101a-101n可以包括和/或连接到可以处理演奏信息以产生虚拟图像或全息投影的多个VR设备和/或AR设备。
应当注意，上述乐器101a-101n不必包括编号为201至215的所有组件。例如，乐器101a-101n可以是电子乐器，并且不包括组件振动器201、激励体202、谐振体203和导体204。在一些实施例中，乐器101可以是通过振动产生音调的传统乐器，并且不包括电子音乐合成器210。在一些实施例中，显示器206可以是独立设备，并且可以包括用于与其他组件通信的收发器。在一些实施例中，显示器206、传感器207、内存208、总线209、输入/输出211、处理器212、发送器213、接收器214和致动器215可以组合成单个设备。并且所述单个设备可以附接或连接到传统乐器或电子乐器。
图3是根据本申请的一些实施例所示的处理设备300的示例的框图。在一些实施例中，一个或以上处理设备300可以包括在图1描述的一个或以上乐器中。可选地或另外地，处理设备300可以实现为独立设备。在一些实施例中，处理设备300可以执行图6-9的一个或以上过程600-900和/或这些过程的一个或以上部分。
如图3所示，处理设备300可以包括获取模块301、处理模块302、存储模块303、执行模块304、输出模块305、通信模块306和检测模块307。更多或更少的组件可以包括在处理设备300中而不失通用性。例如，所述模块中的两个可以组合成单个模块，或者所述模块中的一个可以被分成两个或以上模块。在一个实施例中，所述模块的一个或以上可以位于不同的计算设备上。在一些实施例中，处理设备300的一个或以上模块可以使用如图1-2所描述的乐器的一个或以上组件来实现。例如，处理设备300可以使用显示器206、传感器207、内存208、输入/输出211、处理器212、发送器213、接收器214、致动器215、电子音乐合成器210等中的一个或以上来实现。
获取模块301可以被配置用于获取与乐器的演奏相关的信息和/或数据。在一些实施例中，获取模块301可以经由接收器214接收表示另一乐器的演奏的第一演奏信息。例如，另一乐器可以是钢琴，第一演奏信息可以包括与演奏相关的视频内容、与演奏相关的音频内容、关于用户在演奏期间对钢琴键和/或踏板的操作的信息、MIDI文件等。同样在一些实施例中，获取模块301可以经由传感器207获取演奏者的运动信息。例如，乐器可以是钢琴，传感器207可以检测琴键和/或踏板的运动。传感器检测到的信息可以被处理以表示该钢琴的演奏。在一些实施例中，获取模块301可以经由输入/输出211从用户获取信息和/或数据。例如，用户可以通过USB接口将一段音乐下载到乐器101。在一些实施例中，获取模块301可以通过一个或以上相机获取图像和/或视频。例如，获取模块301可以从各种视野通过多个相机获取演奏的全息图像。获取模块301可以将获取的信号发送到处理模块302以进行进一步处理。获取模块301可以将获取的信号发送到存储模块303以进行存储。
处理模块302可以被配置用于处理信息和/或数据。可以从获取模块301发送信息和/或数据。还可以从存储模块303获取信息和/或数据。在一些实施例中，处理模块302可以被配置用于识别不同格式的信息和/或数据，例如，传感器数据或经由输入/输出211的用户输入。在一些实施例中，不同的乐器可以组成乐队来演奏乐器合奏。处理模块302可以被配置用于分析乐谱以提取适合通过该乐器演奏的部分。在一些实施例中，处理模块302可以将不同的信息和/或数据组合为组合信息和/或数据用于发送和存储。例如，乐器101a-101n可以包括捕获和记录演奏者的演奏的录像机和记录演奏者的音乐演奏的录音设备。处理模块302可以将视频和音频信息和/或数据组合成组合信息和/或数据用于发送。在一些实施例中，处理模块302可以将信息和/或数据转换为可以由一个或以上其他乐器(例如，一个或以上从属乐器)识别的统一数据格式或特定数据格式。又例如，主乐器可以是钢琴，从属乐器可以是吉他。处理模块302可以将钢琴的演奏信息转换为吉他可以识别的特定格式。在一些实施例中，处理模块302可以基于从主乐器发送的演奏信息生成一个或以上控制信号。例如，从属钢琴可以从主钢琴接收演奏信息。处理模块302可以根据与主钢琴的琴键的按下和/或释放相关的时间信息产生控制信号，使从属钢琴的一个或以上琴键按下。键控制信号的幅度可以指示施加于从属钢琴的琴键的力度(例如，施加于主钢琴的一个或以上对应琴键的力度)。在一些实施例中，控制信号的不同幅度可以对应于在第一演奏期间施加于主钢琴的一个或以上琴键的不同力度。又例如，处理模块302可以基于与在第一演奏期间按下主钢琴的一个或以上琴键的时间段相关的信息产生控制信号以控制琴键按压特定持续时间。在一些实施例中，处理模块302可以向执行模块304发出指令以编辑对应于视频的MIDI文件1000。在一些实施例中，处理模块302可以根据乐器101a-101n的指令匹配MIDI文件1000和视频，或者同步MIDI文件1000和视频。仅作为示例，处理模块302可以将视频的时间信息转换为标记信息。在一些实施例中，处理模块302可以基于标记信息向执行模块304发出指令以编辑MIDI文件1000。
存储模块303可以被配置用于存储信息和/或数据。存储在存储模块303中的信息和/或数据可以是来自获取模块301的信息和/或数据。例如，从属乐器可以从主乐器接收演奏信息并将其存储在存储模块303中。存储的信息和/或数据可以是由处理模块302处理的信息和/或数据。例如，从属乐器的处理模块302可以将演奏信息分成不同的部分，例如运动信息、与演奏相关的视频内容和与演奏相关的音频内容，然后处理模块302可以将这些信息发送到存储模块303进行存储。存储模块303可以接收和存储与应用、程序、指令和/或处理设备300的其他模块可访问的任何其他信息和/或数据相关的信息和/或数据。在一些实施例中，存储模块303可以包括存储各种乐谱、与著名演奏者的演奏相关的视频内容、乐器的历史演奏数据等的数据库。
基于处理模块302生成的控制信号，执行模块304可以被配置用于执行一个或以上操作。在一些实施例中，乐器101a-101n可以是钢琴，执行模块304可以包括一个或以上琴键致动器和/或踏板致动器。执行模块304可以接收由处理模块302产生的一个或以上控制信号，并驱动致动器按压琴键以演奏音乐。在一些实施例中，乐器101a-101n可以是吉他，执行模块304可以包括一个或以上指示器(例如，一个或以上LED灯)以指示用户应该弹奏的弦的位置。在一些实施例中，乐器101a-101n可以是小号，执行模块304可以包括听筒以提醒用户播放小号的时刻和持续时间。在一些实施例中，乐器101a-101n可以是电子乐器，执行模块304可以基于所接收的演奏信息产生电子音调。执行模块304可以被配置用于操作MIDI文件1000。可以从获取模块301获取被操作的MIDI文件1000。在一些实施例中，执行模块304可以编辑MIDI文件1000的标记信息。执行模块304可以识别对应于视频的MIDI文件1000。在一些实施例中，执行模块304可以控制MIDI文件以便播放乐器101a-101n。在一些实施例中，执行模块304可以播放MIDI文件，乐器101a-101n可以相应地演奏音乐。在一些实施例中，获取模块301可以获取存储模块303中存储的数据、MIDI文件和/或视频信息。执行模块304可以基于所述获取的数据、MIDI文件和/或视频信息生成修改后的MIDI文件。
输出模块305可以被配置用于输出信息和/或数据。所述信息和/或数据可以包括，例如，与一个或以上演奏相关的演奏信息，与一段或以上音乐相关的音乐数据等。例如，输出模块305可以将与一个或以上演奏相关的媒体内容(例如，视频内容、音频内容、图形、文本等)输出到显示设备、扬声器和/或任何其他用于呈现的设备。在一些实施例中，输出模块305可以将数据和/或信息输出到外部存储设备，例如，移动硬盘驱动器、USB闪存盘、CD、基于云的存储器、服务器等。
通信模块306可以被配置用于促进处理设备300的一个或以上组件与系统100的另一个组件之间的通信。通信模块306可以包括发送器单元和接收器单元。发送器单元和/或接收器单元可以经由一个或以上有线或无线通信连接(例如，一个或以上Wi-Fi连接、蓝牙连接等)发送和/或接收信息和/或数据。例如，乐器可以通过蓝牙将演奏信息发送到附近(例如，在蓝牙连接的范围内)的另一个乐器。在一些实施例中，通信模块306可以经由发送器213发送数据和/或信息。在一些实施例中，通信模块306可以经由接收器214从其他乐器101a-101n或任何其他设备接收演奏信息和/或数据。在一些实施例中，通信模块306可以包括单个设备或单元(例如，收发器)以实现接收和发送的功能。
检测模块307可以被配置用于检测信息。所述信息可以包括MIDI文件1000、视频、乐器101a-101n或其他乐器的演奏等或其任何组合。在一些实施例中，检测模块307可以识别视频信息。所述视频信息可以包括视频帧的时间信息。例如，视频帧可以包括在某时刻按下钢琴键的信息。在一些实施例中，所述时刻可以对应于时间信息。在一些实施例中，执行模块304可以基于检测模块307检测到的视频帧的时间信息识别对应于视频的MIDI文件1000。在一些实施例中，检测模块307可以基于MIDI文件1000识别乐器101a-101n的演奏。在一些实施例中，检测模块307可以基于MIDI文件1000的标记信息识别对应于MIDI文件1000的视频。
图4是根据本申请的一些实施例所示的处理模块302的示例的框图。如图4所示，处理模块302可以包括识别单元411、分析单元412、组合单元413、分离单元414和转换单元415。
识别单元411可以被配置用于识别信息和/或数据的类型。不同类型的信息和/或数据可以通过不同的方法处理。例如，获取模块301获取的传感器数据可以被用于生成表示琴键、踏板和/或乐器的任何其他组成部分的操作顺序的运动信息、对应于琴键的位置的时间和/或持续时间等。识别单元411可以识别不同的信息格式并将其发送到不同的单元以进行进一步处理。例如，从其他设备接收的演奏信息可以先被发送到分析单元412。识别单元411可以被配置用于识别时间信息。在一些实施例中，识别单元411可以识别视频的时间信息。例如，可以识别每个视频帧的时间信息。在一些实施例中，识别单元411可以进一步识别匹配视频的视频帧的MIDI文件1000。例如，识别单元411可以基于视频的时间信息识别MIDI文件1000。
分析单元412可以被配置用于分析各种类型的信息和/或数据。所述数据和/或信息可以由系统100的一个或以上组件提供。例如，分析单元412可以分析由一个或以上传感器207提供的传感器数据，并且可以从所述传感器数据中提取与乐器的一个或以上组件相关的运动信息。分析单元412可以分析运动信息并将所述运动信息添加到乐谱的相应部分。在一些实施例中，从属乐器可以从主乐器接收演奏信息，所述演奏信息可以包括多个部分，例如，运动信息、与演奏相关的视频内容和与演奏相关的音频内容、乐谱、设备ID等。分析单元412可以分别分析演奏信息的每个部分。例如，分析单元412可以通过本地从属乐器分析乐谱以提取适于演奏的部分。分析单元412可以分析运动信息并确定一个或以上琴键和踏板的运动。在一些实施例中，分析单元412可以基于所述提取的运动信息生成一个或以上控制信号。在一些实施例中，分析单元412可以将视频与MIDI文件1000同步。仅作为示例，分析单元412可以将视频与用户卡拉OK演奏的MIDI文件1000同步。在一些实施例中，分析单元412可以向MIDI执行模块304提供反馈。在一些实施例中，所述反馈可以包括关于视频和MIDI文件1000是否匹配的信息。在一些实施例中，MIDI执行模块304可以进一步基于所述反馈编辑MIDI文件的标记。在一些实施例中，分析单元412可以将MIDI文件1000的标记与由转换单元415转换的标记信息同步。
组合单元413可以被配置用于组合不同的信息和/或数据为组合信息和/或数据。在一些实施例中，获取模块301可以获取不同种类的信息和/或数据，例如，来自传感器207的传感器数据、与演奏相关的视频内容和与演奏相关的音频内容、音乐数据等。组合单元413可以生成用于后续传输或存储的信息的组合。例如，钢琴的组合单元413可以结合运动信息、视频内容、音频内容、乐谱、演奏者的简历、钢琴的品牌、乐器的类型等以生成用于传输的一个或以上数据包。
分离单元414可以被配置用于分离信息和/或数据。在一些实施例中，被处理模块302处理的信息和/或数据可以是来自其他设备的信息和/或数据组合。与组合单元413相反，分离单元414可以分离所述信息和/或数据组合并提取适合乐器的信息和/或数据。例如，从属乐器可以从主乐器接收演奏信息。从属乐器的分离单元414可以将所述演奏信息分离为运动信息、视频内容、音频内容、乐谱、演奏者的简历、乐器的类型等。
转换单元415可以被配置用于转换信息和/或数据的格式。在一些实施例中，主乐器可以将信息和/或数据发送到从属乐器，转换单元415可以将信息和/或数据转换为可以被任何从属乐器识别的统一格式。例如，钢琴可以作为主乐器，从属乐器可以包括吉他、小提琴、小号等。在这些乐器之间传输的信息可以是统一格式信息以便每个乐器可以识别所述信息。在一些实施例中，主乐器可以从从属乐器接收ID信息和/或数据，所述ID信息和/或数据可以包括从属乐器可以识别的数据格式。转换单元415可以将信息和/或数据转换为从属乐器的指定格式。例如，主钢琴可以从从属小提琴接收格式信息。所述格式信息可以表示从属小提琴可以接收的格式。因此，主钢琴的转换单元415可以将演奏信息转换成从属小提琴可以识别的指定格式。转换单元415可以被配置用于转换时间信息。在一些实施例中，转换单元415可以将时间信息转换为标记信息。例如，转换单元415可以基于数学模型转换时间信息。在一些实施例中，识别单元411可以基于由转换单元415转换的标记信息来识别MIDI文件1000的标记。
在一些实施例中，处理模块302不必包括上述所有单元。例如，主乐器不包括分离单元414，从属乐器不包括组合单元413。在一些实施例中，可以将两个或以上单元组合成单个模块，或者可以将模块中的一个分成两个或以上模块。例如，转换单元415可以与分析单元412组合以实现本申请中描述的功能。
图5是根据本申请的一些实施例所示的执行模块304的示例的框图。如图5所示，执行模块304可以包括机械单元511、时间单元512、声音单元513和光学单元514。机械单元511可以被配置用于基于处理模块302生成的控制信号执行一个或以上操作。在一些实施例中，乐器可以是钢琴，机械单元511可以是和/或包括一个或以上琴键致动器和踏板致动器。所述控制信号可以包括一个或以上信号以控制按下和/或释放一个或以上琴键和/或踏板。例如，机械单元511可以基于琴键按下信号和/或琴键释放信号驱动琴键致动器按下和/或释放琴键以产生音调。又例如，机械单元511可以根据踏板按下信号或踏板释放信号驱动踏板致动器以按压或释放踏板。在一些实施例中，机械单元511可以包括螺线管操作单元。
时间单元512可以被配置用于执行时间控制并与其他组件协调以实现系统100的各种功能。例如，时间单元512可以使乐器的一个或以上琴键、踏板和/或任何其他组件在特定时刻，被按下和/或释放特定时间段等。
声音单元513可以被配置用于生成声音。在一些实施例中，声音单元513可以是听筒或任何其他输出设备。在一些实施例中，声音单元513可以播放从另一个乐器(例如，主乐器)接收的音频内容。
光学单元514可以被配置用于指示位置。在一些实施例中，乐器可以是吉他，光学单元514可以包括一个或以上指示器(例如，一个或以上LED灯)以指示用户应该弹奏的弦的位置。在一些实施例中，乐器可以是钢琴，光学单元514可以包括键上方的一个或以上指示器(例如，一个或以上LED灯)以指示用户应该按哪个键。
在一些实施例中，执行模块304不必包括上述所有单元。例如，乐器，如吉他或小提琴，在某些情况下，可以需要演奏者的参与来演奏一段音乐。机械单元511在这些乐器中可以被省略。在一些实施例中，两个或以上单元可以实现为单个单元，或者所述单元中的一个可以被分成两个或以上单元。例如，机械单元511或光学单元514可以分别包括用于控制时间的时间单元。
图6是是根据本申请的一些实施例所示的音乐演奏的示例性过程的流程图。过程600可以由处理逻辑执行，所述处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行的指令)、固件或其组合。过程600可以由乐器执行(例如，图1-5描述的乐器)。
如图6所示，在步骤601，获取模块301可以获取信息。例如，所获取的信息可以是和/或包括通过被配置为监视乐器的一个或以上组件的一个或以上传感器(例如，一个或以上传感器207)获得的传感器数据。所述传感器数据可以包括关于乐器的一个或以上组件的运动信息，例如，演奏期间组件的位置信息，与演奏期间组件的运动相关的时间信息等。例如，乐器可以是钢琴。所述运动信息可以包括与在乐器上一段音乐演奏期间被按下的一个或以上琴键相关的信息，例如，琴键的位置信息、对应于琴键的按压的时间点、对应于琴键的释放的时间点、按压强度、一个或以上键在其运动过程中的速度、用户按压键的顺序等。又例如，所述运动信息可以涉及在乐器上一段音乐演奏期间操作的一个或以上踏板、例如，踏板的位置信息、对应于踏板下压的时间点、对应于踏板释放的时间点、下压强度、踏板在其运动过程中的速度、在第一演奏期间踏板操作的顺序。在一些实施例中，所获取的信息可以是和/或包括关于主乐器上的一段音乐的演奏的任何合适的媒体内容，例如，与演奏相关的视频内容、与演奏相关的音频内容、图形、文本、图像、全息图像和/或与演奏相关的任何其他内容。在一些实施例中，所获取的信息可以包括与在乐器上演奏的一个或以上演奏相关的媒体内容。
在一些实施例中，所获取的信息可以是和/或包括从一个或以上其他乐器发送的演奏信息。所述演奏信息可以包括关于其他乐器上的一个或以上演奏的任何信息。例如，所述演奏信息可以包括关于演奏的任何合适的媒体内容，例如，与演奏相关的视频内容、与演奏相关的音频内容、图形、文本、图像和/或与演奏相关的任何其他内容。又例如，所述演奏信息可以包括在演奏期间关于其他乐器的一个或以上组件的信息，例如，在其他乐器演奏期间，钢琴键和/或踏板的用户操作。再例如，所述演奏信息可以包括关于演奏期间播放的音乐的任何合适的信息，例如，音乐表、乐谱、注释、音符、音符持续时间、音符值、音乐标题、键和/或踏板的操作顺序、施加于一个或以上琴键和/或踏板的力度和/或关于音乐的任何其他信息。
在一些实施例中，在步骤601，获取模块301可以以任何合适的方式获取信息。例如，获取模块301可以向一个或以上其他乐器发送对所述信息的一个或以上请求。然后所述信息可以通过对应于所述请求的一个或以上响应被接收。在一些实施例中，获取模块301包括可以从其他设备接收信息的接收器。又例如，获取模块301可以包括被配置用于检测信息的一个或以上传感器(例如，一个或以上传感器207、相机、麦克风等)。
在步骤602，处理模块302可以处理所述信息。例如，可以通过执行下图7-图15描述的一个或以上操作来处理所述信息。
在步骤603，可以存储所获取的信息。例如，存储模块303可以将所获取的信息存储在一个或以上存储设备(例如，内存208、基于云的存储器、服务器等)中。所存储的信息被用于进一步处理、传输等。
在步骤604，输出模块305可以输出信息。例如，输出模块305可以将与演奏相关的视频内容输出到显示器以供呈现。在一些实施例中，显示设备可以与乐器集成。可选地或另外地，显示设备可以是独立设备。显示设备可以包括任何合适的显示器以显示任何合适的内容。例如，显示设备可以是图2的显示器206。在一些实施例中，输出模块305可以经由听筒、扬声器或能够呈现音频内容的任何其他设备提供音频内容的回放。在一些实施例中，与第一演奏相关的媒体内容可以与另一演奏(例如，第一演奏的再现)同步地呈现。例如，对应于音乐的特定部分的媒体内容可以被呈现，同时音乐的所述部分由乐器的一个或以上组件演奏。在一些实施例中，输出模块305可以将与演奏相关的视频内容和/或与演奏相关的音频内容输出到外部存储设备，例如，移动硬盘驱动器、USB闪存盘、CD、基于云的存储器、服务器等。
又例如，演奏信息和/或与演奏相关的任何其他信息可以被传送到一个或以上其他乐器。演奏信息可以通过一个或以上通信连接传输，例如，一个或以上网络连接、拨号连接、无线连接、蓝牙连接、硬连接、红外连接、任何其他合适的通信连接或这些连接的组合。
在步骤605，执行模块304可以执行一个或以上操作。例如，乐器可以使用乐器的一个或以上组件来产生演奏。乐器的组件可以包括一个或以上音调生成装置，例如，一个或以上致动器，音锤，琴键，踏板，合成器和/或可用于产生音乐声音的乐器的任何其他组件。在一些实施例中，所述演奏可以是另一演奏的再现(例如，由另一乐器产生的演奏)。在一些实施例中，演奏和/或一个或以上其他演奏可以形成乐队演奏。可以使用一个或以上自动演奏机制(例如，钢琴的一个或以上致动器)来产生演奏。
图7是根据本申请的一些实施例所示的用于产生演奏信息的示例性过程700的流程图。过程700可以由处理逻辑执行，所述处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行的指令)、固件或其组合。在一个实施例中，过程700可以由如图1-图5所描述的一个或以上乐器执行。
在步骤701，处理设备可以获取关于一段音乐的演奏的信息。所述信息可以通过图6的步骤601中描述的一个或以上操作来获取。所述演奏可以由用户在乐器上播放。在一些实施例中，可以通过由乐器实现的一个或以上自动演奏机制产生演奏的一个或以上部分。
获取的信息可以包括关于演奏的任何合适的信息。例如，所述信息可以包括在演奏期间关于乐器的一个或以上组件(例如，一个或以上琴键、踏板等)的运动信息。又例如，所述信息可以包括与演奏相关的媒体内容。再例如，所述信息可以包括与音乐相关的音乐数据。
在步骤702，处理设备可以分析所获取的信息。例如，处理设备可以分析所获取的信息以将运动信息与音乐数据的一个或以上对应部分相关联。更具体地，例如，处理设备可以识别一个或以上音符和/或对应于乐器的一个或以上组件的特定运动(例如，一个或以上键的按下和/或释放以产生音符)的任何其他音乐数据。处理设备还可以将关于特定运动的运动信息与所识别的音符和/或与所识别的音符相关的其他音乐数据关联。例如，关于特定运动的运动信息可以和与所识别的音符相关的音乐数据相关联存储。在一些实施例中，处理设备可以将媒体内容与运动信息和/或音乐数据关联。例如，处理设备可以识别对应于音乐的一部分的演奏的媒体内容的一部分。然后，处理设备可以将所述媒体内容的一部分和与所述音乐的一部分(例如，乐谱的一部分)相关的音乐数据和/或与所述音乐的一部分相关的运动信息(例如，用于演奏所述音乐的一部分的乐器的一个或以上组件的运动)关联。
又例如，处理设备可以基于获取的信息生成一个或以上控制信号。所述控制信号可以用于使乐器的一个或以上组件演奏音乐。例如，控制信号可以包括关于乐器的一个或以上组件的致动的时间信息，例如，对应于钢琴的一个或以上琴键的按压的时间点、对应于琴键的释放的时间点、按压的持续时间、通过按压键产生的音符持续时间等。控制信号还可以包括关于用于操作乐器的组件的作用力的信息。又例如，控制信号包括可以用于控制电子音乐合成器以演奏音乐的一部分或以上部分的信息。控制信号包括可以用于提供视频内容、音频内容和/或任何其他媒体内容的回放的任何信息。
在步骤703，处理设备可以基于所获取的信息和/或分析生成演奏信息。例如，处理设备可以组合与演奏相关的各种类型的信息，例如，运动信息(如演奏期间关于主乐器的至少两个键和/或踏板的运动的信息)、与演奏相关的媒体内容(如视频内容、音频内容等)、音乐数据(如乐谱等)、演奏者的简历、乐器的品牌、乐器的类型(如钢琴)、不同类型信息之间的关联(如运动信息与音乐数据和/或媒体内容之间的关联)等。在一些实施例中，可以通过执行下面图10-15描述的一个或以上操作生成演奏信息。
在步骤704，处理设备可以处理演奏信息以进行传输。例如，转换单元415可以将演奏信息转换为一种或以上特定格式，例如，可以由一个或以上其他乐器和/或处理设备处理的一个或以上数据格式。又例如，处理设备可以压缩相关演奏信息的数据。更具体地，例如，所述压缩可以使用一个或以上视频编解码器、音频编解码器和/或可以执行数据压缩的任何其他设备执行。
再例如，处理设备可以根据一个或以上通信协议生成一个或以上数据单元以发送演奏信息。所述数据单元中的每一个可以包括，例如，数据包、比特流等。所述通信协议的示例可以包括蓝牙、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)、NetBios增强型用户界面(NetBEUI)、网间分组交换/顺序分组交换(IPX/SPX)等。
在步骤705，处理设备可以发送演奏信息。所述演奏信息可以被传送给一个或以上其他乐器。所述演奏信息可以通过任何合适的通信连接传输。在一些实施例中，可以实时传输演奏信息。可选地或另外地，演奏信息可以被记录以便稍后传输。
图8根据本申请的一些实施例所示的用于处理演奏信息的示例性过程800的流程图。过程800可以由处理逻辑执行，所述处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行的指令)、固件或其组合。在一个实施例中，过程800可以由如图1-图5所描述的一个或以上乐器执行。
在步骤801，处理设备可以接收与演奏相关的演奏信息。可以通过执行上面图6-图7描述的一个或以上操作来生成演奏信息。在一些实施例中，演奏信息可以包括关于第一乐器上的一段音乐的第一演奏的信息。
在步骤802，处理设备可以从演奏信息中提取数据。例如，处理设备可以解析包含演奏信息的数据单元，并且可以提取演奏信息的一个或以上部分。更具体地，例如，处理设备可以从演奏信息中提取运动信息的一个或以上、音乐数据、与音乐相关的媒体内容、运动信息和/或音乐数据和/或媒体内容之间的关联等。
在步骤803，处理设备可以分析提取的数据。例如，处理设备可以分析所提取的音乐数据以生成要由第二乐器播放的乐谱(也称为“第二乐谱”)。在一些实施例中，第二乐谱可以是在第一演奏期间播放的乐谱(也被称为“第一乐谱”)。在一些实施例中，第二乐谱可以与第一乐谱不同。例如，第一音乐和第二乐谱可以分别对应于音乐的第一部分(如钢琴曲的第一部分)和音乐的第二部分(如钢琴曲的第二部分)。
又例如，处理设备可以分析运动信息。在一些实施例中，处理设备可以将运动信息与提取的数据的一个或以上对应部分关联。更具体地，例如，处理设备可以识别一个或以上音符和/或对应于第一乐器的一个或以上组件的特定运动(例如，一个或以上键的按下和/或释放以产生音符)的任何其他音乐数据。处理设备还可以将关于特定运动的运动信息与所识别的音符和/或与所识别的音符相关的其他音乐数据关联。例如，关于特定运动的运动信息可以和与所识别的音符相关的音乐数据相关联存储。在一些实施例中，处理设备可以将媒体内容与运动信息和/或音乐数据关联。例如，处理设备可以识别对应于音乐的一部分的演奏的媒体内容的一部分。然后，处理设备可以将所述媒体内容的一部分和与所述音乐的一部分(例如，乐谱的一部分)相关的音乐数据和/或与所述音乐的一部分相关的运动信息(例如，用于演奏所述音乐的一部分的乐器的一个或以上组件的运动)关联。
又例如，处理设备可以使用一个或以上解码方法解码关于演奏信息的数据。更具体地，例如，编码的媒体内容(如编码的视频内容、编码的音频内容等)可以被解码和/或处理以用于呈现。
在步骤804，处理设备可以生成一个或以上控制信号。所述控制信号可以基于所接收的演奏信息生成。所述控制信号可以用于控制第二乐器的一个或以上组件以产生第二演奏。例如，基于控制信号可以致动乐器的一个或以上音调生成装置以产生第二演奏。在一些实施例中，第二演奏可以是第一演奏的再现。例如，第二乐器的一个或以上组件可以被操作以再现第一演奏期间第一乐器的一个或以上组件的移动。在一个更具体的例子中，处理设备可以在第一演奏期间，基于运动信息确定第一乐器的组件(也称为“第一组件”)和对应于第一组件的按下和/或释放的一个或以上时间点。然后，处理设备可以基于所识别的时间点生成控制信号以使第二乐器的组件(也称为“第二组件”)被操作。第二乐器的第二组件可以对应于第一乐器的第一组件。例如，第一组件(如第一钢琴键)和第二组件(如第二钢琴键)可以用于产生相同的音调。第二钢琴还可以识别施加于第一组件的作用力的量，和相应地确定用于致动第二组件的作用力。
在一些实施例中，第一演奏和第二演奏可以对应于音乐的不同部分。例如，第一演奏和第二演奏可以对应于音乐的第一部分(如钢琴二重奏的第一部分)和音乐的第二部分(如钢琴二重奏的第二部分)。处理设备可以产生一个或以上控制信号，以使第二乐器的一个或以上组件演奏音乐的第二部分。所述控制信号可以包括，例如，一个或以上信号，以启动组件播放音乐的第二部分的乐谱(例如，第二乐谱)。
又例如，处理设备可以产生一个或以上控制信号来控制电子音乐合成器演奏音乐的一个或以上部分。再例如，处理设备可以生成一个或以上控制信号以控制第二乐器的一个或以上组件以呈现与第一演奏相关的媒体内容。所述控制信号可以包括用于提供视频内容、音频内容和/或任何其他媒体内容的回放的任何信息。所述控制信号可以用于与第二演奏同步地呈现与第一演奏相关的媒体内容。
在步骤805，处理设备可以基于控制信号产生第二演奏。例如，基于控制信号可以致动第二乐器的一个或以上组件(如音调生成装置)。又例如，基于控制信号可以呈现与第一演奏相关的媒体内容。例如，可以以合适的方式使用一个或以上VR设备、AR设备等呈现第二演奏。在一些实施例中，第二演奏可以通过执行下面图10-图15描述的一个或以上操作产生。
图9是根据本申请的一些实施例所示的使用多个乐器的音乐演奏的示例性过程900的流程图。过程900可以由处理逻辑执行，所述处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，在处理设备上运行的指令)、固件或其组合。在一个实施例中，过程900可以由如图1-图5所描述的一个或以上乐器执行。例如，如图9所示，过程900可以由第一钢琴和一架或以上第二钢琴执行。所述第一钢琴可以作为主乐器。所述第二钢琴中的每一个可以作为从属乐器。第一钢琴和第二钢琴可以相互通信。第二钢琴可以再现第一钢琴的演奏。
步骤901至904可以由第一钢琴实现。在步骤901，第一钢琴可以在第一演奏期间获取与第一钢琴的一个或以上琴键和/或踏板相关的信息。第一演奏可以是由一个或以上演奏者在第一钢琴上演奏一段音乐。所述获取的信息可以包括在第一演奏期间关于操作的一个或以上琴键和/或踏板的任何信息。例如，所述获取的信息可以包括与在第一演奏期间被按下的一个或以上琴键相关的运动信息，例如，琴键的位置信息、对应于琴键的按压的时间点、对应于琴键的释放的时间点、按压强度、一个或以上琴键在其运动过程中的速度、用户按压琴键的顺序等。又例如，所述获取的信息可以包括在第一演奏期间被操作的一个或以上踏板的运动信息，例如，踏板的位置信息、对应于踏板下压的时间点、对应于踏板释放的时间点、下压强度、踏板在其运动过程中的速度、踏板下压的顺序等。在一些实施例中，可以使用一个或以上传感器(例如，图2的一个或以上传感器207)获取与琴键和/或踏板相关的信息，所述传感器可以检测运动信息和/或与钢琴的琴键和/或踏板相关的任何其他信息。
在一些实施例中，第一钢琴可以基于关于音乐的音乐数据(例如，乐谱、一个或以上要播放的音符等)处理运动信息。例如，第一钢琴可以识别一个或以上音符和/或对应于一个或以上琴键和/或踏板的特定运动(如琴键的按下和/或释放以产生音符)的任何其他音乐数据。第一钢琴还可以将关于特定运动的运动信息与所识别的音符和/或与所识别的音符相关的其他音乐数据关联。例如，关于特定运动的运动信息可以和与所识别的音符相关的音乐数据相关联存储。
在步骤902，第一钢琴可以获取与第一演奏相关的媒体内容。例如，第一钢琴可以获取音频内容、视频内容、图像、图形和/或与第一演奏相关的任何其他内容。在一些实施例中，第一钢琴可以使用一个或以上相机、便携式摄像机、麦克风和/或能够获取媒体内容的任何其他设备获取和/或记录第一演奏的视频内容和/或音频内容。例如，一个或以上录像机可以被用于从各种视野捕获与第一演奏相关的视频内容以获得第一演奏的全貌。又例如，一个或以上相机可以结合到可穿戴设备中以从演奏者的角度记录演奏。再例如，一个或以上全息相机可以被用于记录第一演奏的全息图像。在一些实施例中，所述媒体内容可以存储在一个或以上存储设备中。
在步骤903，第一钢琴可以产生与第一演奏相关的演奏信息。所述演奏信息可以基于与琴键和/或踏板相关的信息、媒体内容和/或与第一演奏相关的任何其他信息产生。所述演奏信息可以包括与第一演奏相关的任何信息，例如，与一个或以上琴键和/或踏板相关的运动信息、视频内容、音频内容、关于演奏者的信息(如演奏者的姓名、演奏者的简历)、关于第一钢琴的信息(如第一钢琴的品牌、第一钢琴的类型等)等等。在一些实施例中，所述演奏信息还可以包括与在第一演奏期间播放的音乐相关的音乐数据，例如，音乐表、乐谱、注释、音符、音符值、音乐标题、琴键和/或踏板的操作顺序、施加于一个或以上琴键和/或踏板的力度和/或关于音乐的任何其他信息。
在一些实施例中，第一钢琴可以处理演奏信息以进行传输。例如，第一钢琴可以根据一个或以上通信协议生成一个或以上数据单元以发送演奏信息。所述数据单元中的每一个可以包括，例如，数据包、比特流等。所述通信协议的示例可以包括蓝牙、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)、NetBios增强型用户界面(NetBEUI)、网间分组交换/顺序分组交换(IPX/SPX)等。
又例如，第一钢琴可以将演奏信息转换成一种或以上的特定格式。在一些实施例中，第一钢琴和一架或以上第二钢琴可以是不同类型的钢琴，并且每个钢琴可以识别的信息可以是不同的。第一钢琴可以将演奏信息转换成第二钢琴中的每一个可以识别的一种或以上特定格式。例如，在第一钢琴和第二钢琴中的每一个之间建立通信之后，第二钢琴中的每一个可以将关于格式要求的信息发送到第一钢琴。然后，第一钢琴可以基于第二钢琴中的每一个的格式要求将演奏信息转换为一种或以上特定格式。又例如，第一钢琴可以基于关于第二钢琴的信息(如第二钢琴的类型、第二钢琴的品牌、第二钢琴的通信接口)转换演奏信息。在一些实施例中，第一钢琴和一架或以上第二钢琴可以是电子钢琴，并且演奏信息可以被转换为MIDI格式。在一些实施例中，第一钢琴可以压缩关于演奏信息的数据以生成压缩数据(例如，编码的视频数据、编码的音频数据等)。
在步骤904，第一钢琴可以将演奏信息发送到一个或以上其他钢琴。例如，所述演奏信息可以被传送到第二钢琴。可以使用一个或以上通信连接发送演奏信息。所述通信连接可以包括一个或以上网络连接、拨号连接、无线连接、蓝牙连接、硬连接、红外连接、任何其他合适的通信连接或这些连接的组合。在一些实施例中，第一钢琴可以生成演奏信息并实时地将所述演奏信息发送到第二钢琴。在一些实施例中，第一钢琴可以记录关于第一演奏的数据，并且可以稍后将所述数据发送到一个或以上其他钢琴。在一些实施例中，演奏信息可以根据实时传输协议(RTP)、实时传输控制协议(RTCP)、实时流协议(RTSP)、微软媒体服务器协议(MMS)、蓝牙协议等被传输。
步骤911至915可以由一个或以上其他钢琴实现。例如，步骤911至915可以由第二钢琴实现以产生第二演奏。所述第二演奏可以是由第一钢琴演奏的一段音乐的演奏。例如，第二演奏可以是第二钢琴对第一演奏的再现。在步骤911，第二钢琴可以从第一钢琴接收演奏信息。例如，第二钢琴可以通过接收一个或以上比特流、数据包、消息和/或包含演奏信息的任何其他数据单元来接收演奏信息。
在步骤912，第二钢琴可以处理接收的演奏信息。例如，第二钢琴可以解析所述演奏信息。在一些实施例中，演奏信息的不同部分可以被第二钢琴的不同模块或单元使用以执行不同的操作。第二钢琴可以基于位置信息(例如，数据包的头信息)、时间信息(例如，数据包的时间戳)等解析演奏信息。又例如，第二钢琴可以提取演奏信息的一个或以上部分。更具体地，例如，第二钢琴可以从演奏信息中提取运动信息、音乐数据、与音乐相关的媒体内容等中的一个或以上。再例如，第二钢琴可以使用一个或以上解码方法解码关于演奏信息的数据。更具体地，例如，可以对编码的媒体内容(例如，编码的视频内容、编码的音频内容等)进行解码和/或处理以用于呈现。在一些实施例中，第二钢琴可以处理与第一演奏的演奏场景相关的信息，以产生演奏者在第一演奏期间的一个或以上虚拟图像或视频。
在步骤913，第二钢琴可以基于演奏信息生成一个或以上控制信号。所述控制信号可用于控制第二钢琴的一个或以上组件以产生第二演奏(例如，第一演奏的再现)。例如，第二钢琴可以基于演奏信息产生一个或以上控制信号，以控制一个或以上致动器致动第二钢琴的一个或以上琴键和/或踏板。更具体地，例如，可以操作第二钢琴的琴键和/或踏板以再现第一钢琴的琴键和/或踏板在第一演奏期间的运动。在一些实施例中，可以基于从演奏信息提取的运动信息生成控制信号。例如，第二钢琴可以基于运动信息确定第一钢琴的琴键(也称为“第一琴键”)和对应于所述琴键在第一演奏期间按下和/或释放的一个或以上时间点。然后，第二钢琴可以基于所识别的时间点产生控制信号，以使第二钢琴的琴键(也称为“第二琴键”)被按下和/或释放。第二钢琴的第二琴键可以对应于第一钢琴的第一琴键。第二钢琴还可以识别施加于第一琴键的力度(例如，作用力的大小)，并且可以基于所识别的力度确定用于致动第二琴键的作用力。控制信号还可以包括关于施加于第二琴键的作用力的信息。这样，在第二演奏期间第二琴键的运动可以表示在第一演奏期间第一琴键的运动。在一些实施例中，可以生成一个或以上控制信号以致动第二钢琴的多个琴键以演奏音乐的一个或以上部分。
又例如，第二钢琴可以产生一个或以上控制信号控制电子音乐合成器以演奏音乐的一个或以上部分。
再例如，第二钢琴可以生成一个或以上控制信号控制第二钢琴的一个或以上组件以呈现与第一演奏相关的媒体内容。所述控制信号可以包括用于提供视频内容、音频内容和/或任何其他媒体内容的回放的任何信息。例如，所述控制信号可以包括解码的音频数据、解码的视频数据、与解码的音频数据和/或视频数据相关的呈现时间戳等。与第一演奏相关的各种类型的媒体内容可以被同步呈现。在一些实施例中，控制信号可以用于第二钢琴同步媒体内容的呈现和第一演奏的再现。例如，控制信号可以用于控制与要呈现的音乐的特定部分对应的媒体内容，而所述音乐的部分是由第二钢琴的一个或以上组件演奏的。在一些实施例中，控制信号可以用于产生在第二钢琴演奏一段音乐时要呈现的一个或以上演奏者的虚拟图像。
在一些实施例中，控制信号中的一个或以上可以由第一钢琴生成并且可以被发送到第二钢琴。
在步骤914，第二钢琴可以基于控制信号产生第二演奏。例如，第二钢琴可以根据控制信号使一个或以上致动器和/或任何其他组件按压琴键和/或踏板。又例如，第二钢琴可以根据控制信号使一个或以上电子音乐合成器演奏音乐的一个或以上部分。再例如，第二钢琴可以根据一个或以上控制信号使VR和/或AR组件或设备产生第一演奏的演奏者的虚拟图像或视频。
在步骤915，第二钢琴可以基于控制信号呈现与第一演奏相关的媒体内容。例如，第二钢琴可以在显示设备上呈现与第一演奏相关的视频内容。在一些实施例中，所述显示设备可以与第二钢琴集成。可选地或另外地，显示设备可以是独立设备。显示设备可以包括任何合适的显示器以显示任何合适的内容。例如，显示设备可以是图2的显示器206。视频显示器可以显示关于一段音乐的一个或以上视频。乐谱显示器可以提供一个或以上乐谱以识别前一个音符和后一个音符。又例如，第二钢琴可以使用一个或以上音频输出设备，例如听筒、扬声器等呈现与第一演奏相关的音频内容。在一些实施例中，基于控制信号中的一个或以上媒体内容与第二演奏可以同步地呈现。例如，对应于音乐的特定部分的媒体内容可以呈现，同时所述音乐的部分由第二钢琴的一个或以上组件演奏。在一些实施例中，第二钢琴可以在观众佩戴的VR或AR头戴式显示(HMD)设备(例如，Oculus Rift、HTC Vive、SonyPlayStation VR、Google Cardboard、Gear VR、Google Glass)上与钢琴演奏同步地呈现演奏者的虚拟图像。例如，现场音乐会的观众可以佩戴AR眼镜欣赏虚拟演奏者正在演奏真实的钢琴的表演。虚拟演奏者可以是第一演奏的演奏者或其演奏适合于第二钢琴演奏的任何其他演奏者。又例如，不在现场音乐会上的观众可以佩戴VR HMD设备欣赏虚拟演奏。在一些实施例中，第二钢琴可以将第一演奏中的演奏者的全息图像投影到舞台上以再现虚拟第一演奏。
在一些实施例中，第一钢琴和第二钢琴可以用于钢琴教学和/或练习。例如，第一钢琴可以由教师弹奏。第一演奏可以是老师的演奏。一架或以上第二钢琴可以再现老师的演奏，让学生近距离观看老师的演奏。
图10是根据本申请的一些实施例所示的示例性MIDI文件的框图。MIDI文件1000可以包括一个或以上MIDI记录。在一些实施例中，MIDI记录可以包括标记模块1010、音调模块1020、MIDI事件模块1030和强度模块1040。
标记模块1010可以包括表示标记信息的至少两个数据。所述标记信息可以与一个或以上MIDI事件的时间信息相关。在一些实施例中，处理器212可以匹配MIDI文件1000的标记信息。在一些实施例中，处理器212可以基于标记信息同步MIDI文件1000和视频。在一些实施例中，处理器212可以基于视频的时间信息转换标记信息。在一些实施例中，处理器212可以执行MIDI文件1000并将乐器101a-101n引入演奏音乐。在一些实施例中，可以基于标记模块1010的标记信息执行MIDI文件1000。
音调模块1020可以包括表示音调信息的至少两个数据。在一些实施例中，音调信息可以包括乐器101a-101n的不同种类(例如，128种)的音调。在一些实施例中，乐器101a-101n可以基于音调信息播放音调。在一些实施例中，处理器212可以基于MIDI文件1000中的标记信息和/或音调信息控制乐器101a-101n的乐谱。例如，处理器212可以根据标记模块1010的标记信息控制128种音调的开/关状态。又例如，处理器212可以基于音调模块1020的音调信息确定乐器101a-101n的哪个或哪些键可以按下。
MIDI事件模块1030可以包括表示事件信息的至少两个数据。事件信息可以与一个或以上运动指令相关。在一些实施例中，MIDI事件模块1030可包括键盘、踏板等或其任何组合的运动指令。所述运动指令可以指按压或回弹键、踏板等或其任何组合。在一些实施例中，MIDI事件模块1030可以与音调模块1020相关。例如，音调模块1020可以指示哪个音调可以播放，MIDI事件模块1030可以指示键盘和/或踏板的运动以实现播放该音调。
强度模块1040可以包括表示强度信息的至少两个数据。强度信息可以指示乐器101a-101n的键盘和/或踏板的按压强度。在一些实施例中，处理器212可以基于强度信息控制按压强度。在一些实施例中，处理器212可以基于强度模块1040定义按压强度。例如，处理器212可以基于强度模块1040控制乐器101a-101n内键盘的张力。乐器101a-101n可以通过向乐器101a-101n内的按压控制设备施加特定电流来将按压强度施加到键盘和/或踏板。在一些实施例中，所述电流可以具有一定的大小和/或频率。
图11是根据本申请的一些实施例所示的用于同步MIDI文件和视频的示例性过程的流程图。在一些实施例中，在1110，获取模块301可以获取信息。在一些实施例中，在1110获取的信息可以包括视频数据、MIDI文件、音频文件等或其任何组合。例如，视频数据可以包括乐器101a-101n或其他乐器的演奏。在一些实施例中，获取模块301可以从存储模块303获取视频和/或MIDI文件1000。在一些实施例中，获取模块301可以同时、交替地或在不同时间通过乐器101a-101n记录与相同演奏相关的视频和MIDI文件1000。在一些实施例中，获取模块301可以从存储模块303获取视频，并通过乐器101a-101n记录MIDI文件1000。在一些实施例中，获取模块301可以从存储模块303获取MIDI文件1000，并通过乐器101a-101n记录视频。在一些实施例中，处理模块302可以将在1110获取的信息存储在乐器101a-101n、处理模块302和/或存储模块303中。
在1120，执行模块304可以编辑在1110获取的MIDI文件。在1120编辑的MIDI文件可以包括MIDI文件1000。在一些实施例中，执行模块304可以编辑MIDI文件1000的一个或以上MIDI记录。在一些实施例中，执行模块304可以编辑MIDI文件1000的标记信息、音调信息、MIDI事件信息和/或强度信息。在一些实施例中，执行模块304可以基于视频编辑MIDI文件1000的标记信息。
在1130，处理模块302内的分析单元412可以基于在1120编辑的标记信息同步MIDI事件和视频帧。在一些实施例中，识别单元411可以识别视频帧的时间信息。在一些实施例中，分析单元412可以基于MIDI文件1000的标记信息和视频帧的时间信息将MIDI事件与视频帧匹配。例如，处理模块可以检查MIDI文件1000的标记信息和视频帧的标记信息，并匹配MIDI文件1000的标记信息和视频帧，这样，当乐器系统独立地同时操作视频和MIDI文件时，可以同步播放对应于MIDI文件1000的音乐和视频。当MIDI文件1000的标记信息与视频的标记信息不匹配时，根据相应的标记信息同时播放MIDI文件1000和视频可以导致音乐与视频不匹配。相应地，处理模块302可以编辑MIDI文件的标记信息以使其与视频的标记信息匹配。为此，处理模块302可以获得视频帧的标记信息并确定其值，然后找到MIDI文件1000的相应标记信息(即，音乐和视频应该同时播放的地方)，并将视频帧的标记值分配给MIDI文件的相应标记值。这可以导致对应于MIDI文件的音乐被更快或更慢播放，这样，当系统同时操作视频和MIDI文件时，对应于MIDI文件1000的音乐和视频可以同步播放。当系统与真实乐器，例如钢琴连接时，MIDI文件可以在乐器上播放，而不是在电子设备，例如音乐播放器上播放。
在1140，检测模块307可以检测对应于视频帧的MIDI事件。在一些实施例中，检测模块307可以基于在1130同步的MIDI事件检测MIDI事件。在一些实施例中，视频帧可以指在乐器101a-101n的显示器中当前播放的视频的视频帧。在一些实施例中，检测模块307可以执行后台线程。所述后台线程可以检测MIDI事件而不干扰视频的播放。在一些实施例中，后台线程可以基于从视频帧的时间信息转换的标记信息检测MIDI事件。例如，后台线程可以在几毫秒内检测MIDI事件。
在1150，执行模块304可以播放在1140检测到的MIDI事件。在一些实施例中，所述MIDI事件可以包括MIDI音调的开/关状态。例如，执行模块304可以在乐器上的视频中播放与视频帧相对应的MIDI音调。在一些实施例中，视频帧可以包括乐器演奏。例如，执行模块304可以播放与视频帧的键盘按压相对应的MIDI音调。在一些实施例中，处理模块302可以将MIDI事件发送到乐器101a-101n，且乐器101a-101n可以演奏相应的音调。
图12是根据本申请的一些实施例所示的用于编辑MIDI文件的示例性过程的流程图。在一些实施例中，在1210，检测模块307可以从在1110获取的信息中选择对应于视频的MIDI文件1000。在一些实施例中，MIDI文件可以包括与视频中的乐器演奏相对应的MIDI音调。在一些实施例中，所述MIDI音调可以用背景音乐装饰。在一些实施例中，背景音乐可以包括各种乐器演奏，例如，钢琴曲、管弦乐、弦乐、管乐和鼓乐。
在1220，处理模块302内的识别单元411可以确定是否同时记录MIDI文件1000和视频。如果识别单元411确定MIDI文件1000和视频被同时记录，则处理模块302可以向执行模块304发出指令以在1230编辑MIDI文件1000的初始标记。如果识别单元411确定MIDI文件1000和视频不被同时记录，则处理模块302可以向执行模块304发出指令以在1240编辑MIDI文件的每个标记。在一些实施例中，MIDI文件1000的标记可以对应于视频的时间信息。在一些实施例中，执行模块304可以编辑对应于视频的时间信息的MIDI文件1000的标记，以便同步MIDI文件1000和视频。
应当注意，上述过程1200的描述仅仅是为了说明的目的而提供的，并不旨在限制本申请的范围。对于本领域具有普通技能的人，可以根据本申请进行各种变化和修改。例如，可以跳过步骤1220。在一些实施例中，执行模块304可以基于视频的时间信息直接编辑MIDI文件1000的标记。然而，所述变化或修改不脱离本申请的范围。
图13是根据本申请的一些实施例所示的用于编辑MIDI文件100的标记的示例性过程的流程图。在一些实施例中，在1310，检测模块307可以识别视频中视频帧的时间信息。在一些实施例中，每个视频帧可以对应于时间信息。所述时间信息可以用于匹配MIDI文件1000和视频。
在1320，转换单元415可以转换在1310识别的时间信息为标记信息。在一些实施例中，转换单元415可以基于一个或以上数学模型转换时间信息。在一些实施例中，MIDI文件1000可以包括用于匹配视频的时间信息的标记信息。
在1330，处理模块302可以向执行模块304发出指令以基于在1320转换的标记信息编辑MIDI文件1000的标记。
图14是根据本申请的一些实施例所示的用于执行卡拉OK功能的示例性过程的流程图。卡拉OK功能可以由系统100根据过程1400实现。在1410，获取模块310可以记录用户播放的MIDI文件。在一些实施例中，用户可以在演奏乐器101a-101n时唱歌。例如，用户可以以低速、正常速度、快速等或其任何组合来唱歌和/或弹奏钢琴。在一些实施例中，显示设备可以显示与用户的弹奏和/或歌唱相对应的歌词。
在1420，检测模块307可以检测在1410记录的MIDI文件的标记。在一些实施例中，所述MIDI文件可以包括MIDI音调。在一些实施例中，处理模块302内的转换单元415可以将MIDI文件的标记信息转换为时间信息。例如，转换单元415可以基于一个或以上数学模型转换MIDI文件的标记信息。
在1430，处理模块302内的识别单元411可以识别对应于在1410记录的MIDI文件的MIDI事件的视频帧。在一些实施例中，识别单元411可以基于在1420从标记信息转换的时间信息识别视频帧。例如，一个或以上视频帧可以基于时间信息与MIDI事件同步。在一些实施例中，所述视频帧可以包括歌词。歌词可以以与MIDI事件匹配的速度显示。
在1440，显示设备可以显示对应于MIDI事件的视频。在一些实施例中，通过由处理模块302执行后台线程可以检测所述视频。在一些实施例中，基于在1420从标记信息转换的时间信息可以检测所述视频。例如，与MIDI事件匹配的视频可以被显示。具体地，在卡拉OK功能中，歌词可以与用户唱歌和演奏同步显示。
图15是根据本申请的一些实施例所示的用于在远距离或时间上再现乐器演奏的示例性过程的流程图。在1510，可以选择由用户演奏的MIDI文件。在一些实施例中，可以直接编辑MIDI文件。在一些实施例中，MIDI文件可以由各种用户演奏，例如，音乐家、钢琴家、歌星、名人、音乐教育工作者、钢琴教授等或其任何组合。例如，钢琴爱好者可以选择由钢琴家演奏的MIDI文件。
在1520，处理模块302内的识别单元411可以确定是否以独奏模式演奏乐器101a-101n。如果识别单元411确定以独奏模式演奏，则执行模块304可以在1530再现所选择的MIDI文件。例如，可以在自动模式下弹奏钢琴以在没有用户参与的情况下再现所选择的MIDI文件。如果识别单元411确定以非独奏模式演奏，则执行模块304可以在1540跟随用户弹奏再现所选择的MIDI文件。例如，可以在半自动模式下弹奏钢琴以通过用户演奏再现所选择的MIDI文件。
应当注意，图6-9和12-15的流程图的上述步骤可以以任何顺序或次序执行或实施，不限于图中所示和所述的顺序和次序。而且，图6-9和12-15的流程图的上述步骤中的一些可以在适当情况下同时执行或并行执行以减少等待时间和处理时间。此外，应当注意，图6-9和12-15仅作为示例提供。这些图中所示的步骤中的至少一些步骤可以按照不同的顺序执行，而不是按照表示的顺序执行、同时执行或完全省略。
然而，应当理解，所有这些和类似术语都与适当的物理量相关，并且仅仅是应用于这些量的方便标签。除非另有明确说明，否则从以下讨论中可明显看出，应当理解，在整个说明书中，利用例如“发送”、“接收”、“产生”、“提供”、“计算”、“执行”、“存储”、“生成”、“确定”、“获取”、“校准”、“记录”、“获得”等术语的讨论是指计算机系统或类似电子计算设备的动作和过程。所述动作和过程操纵和变换表示为计算机系统的寄存器和存储器中的物理(电子)量的数据为类似地表示为计算机系统的存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。
这里使用的术语“第一”、“第二”、“第三”、“第四”等是指区分不同元素的标签并且根据其数字名称可以不一定具有序数含义。
在一些实施例中，任何合适的计算机可读介质可以用于存储用于执行这里所描述的过程的指令。例如，在一些实施例中，计算机可读介质可以是临时性的或者非临时性的。例如，非临时性的计算机可读介质可以包括，例如，磁介质(如硬盘、软盘等)、光介质(如光盘、数字视频光盘、Blu-ray光盘等)、半导体介质(如闪存、电可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)等)、在传播过程中所记录的数据不会迅速消失或者缺乏持久性的任何合适介质和/或任何合适的有形介质。又例如，临时性的计算机可读介质可以包括网络信号、连接器、导体、光纤、电路、在传播过程中所记录的数据迅速消失和缺乏持久性的任何合适介质和/或任何合适无形介质。
已对基本概念做了描述，显然，对于阅读此详细公开后的本领域普通技术人员来说，上述详细公开仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可以会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定术语来描述本申请的实施例。例如，术语“一个实施例”、“一实施例”和/或“一些实施例”意指与本申请至少一个实施例相关的特定特征、结构或特性。因此，应当强调并注意的是，在本说明书中的不同部分两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的特定特征、结构或特性可以进行适当的组合。
此外，本领域的普通技术人员应当理解，本申请的各方面可以在若干可专利性的种类或情况中的任一个中进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各方面可以完全由硬件实现、完全由软件实现(包括固件、常驻软件、微代码等)或者组合软件和硬件实现，这些实现在这里通常都称为“块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可以采取体现在具有计算机可读程序代码的一个或以上计算机可读介质中的计算机程序产品的形式。
同样地，应当理解，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，这种披露方法不应被解释为反映一种意图，即所要求的主题对象需要比每个权利要求中明确记载的更多特征。相反，发明的实施例应具备比上述单一公开实施例更少的特征。

Claims (20)

1.用于音乐演奏的系统，包括：
处理设备，用于：
接收与第一乐器上的一段音乐的第一演奏相关的演奏信息；
基于所述演奏信息生成至少一个控制信号；以及
基于所述控制信号产生第二演奏，其中为了产生所述第二演奏，所述处理设备进一步用于：
使用所述控制信号控制第二乐器的至少一个音调生成装置以演奏所述音乐。
2.根据权利要求1所述的系统，其特征在于，所述第二乐器是钢琴，以及所述音调生成装置包括致动器。
3.根据权利要求2所述的系统，其特征在于，为了产生所述第二演奏，所述处理设备进一步用于基于所述控制信号致动所述第二乐器的至少两个琴键。
4.根据权利要求1所述的系统，其特征在于，所述处理设备进一步用于与所述第二演奏同步地呈现与所述第一演奏相关的媒体内容。
5.根据权利要求1所述的系统，其特征在于，所述第二演奏是所述第一演奏的再现。
6.根据权利要求1所述的系统，其特征在于，所述第一演奏对应于所述音乐的第一部分，以及所述第二演奏对应于所述音乐的第二部分。
7.根据权利要求1所述的系统，其特征在于，所述演奏信息包括关于所述第一演奏期间所述第一乐器至少一个组件的运动信息，并且为了产生所述第二演奏，所述处理设备用于：
基于所述运动信息产生所述控制信号；以及
使所述音调生成装置基于所述运动信息演奏所述音乐。
8.根据权利要求7所述的系统，其特征在于，所述第一乐器是钢琴，并且所述运动信息包括关于所述第一演奏期间所述第一乐器的至少两个琴键的运动的信息。
9.根据权利要求8所述的系统，其特征在于，所述演奏信息包括以下中的至少一个：所述至少两个琴键的操作顺序、所述至少两个琴键中的至少一个琴键的按压的时间信息、所述至少两个琴键的位置信息，或由所述至少两个琴键中的至少一个琴键产生的音符。
10.根据权利要求1所述的系统，其特征在于，所述演奏信息通过蓝牙连接接收。
11.用于音乐演奏的系统，包括：
处理设备，用于：
获取在一段音乐的第一演奏期间的第一乐器的至少一个组件的运动信息；
获取关于所述第一演奏的媒体内容；
基于所述运动信息和所述媒体内容，生成关于所述第一演奏的演奏信息；以及
将所述演奏信息发送到至少一个第二乐器。
12.根据权利要求11所述的系统，其特征在于，所述处理设备进一步用于将所述演奏信息发送到至少两个第二乐器。
13.根据权利要求11所述的系统，其特征在于，所述第一乐器是钢琴，并且所述运动信息包括以下中的至少一个：所述第一乐器的至少两个琴键的操作顺序、所述至少两个琴键的按压的时间信息、所述至少两个琴键的位置信息，或由所述至少两个琴键中的至少一个琴键产生的音符。
14.根据权利要求13所述的系统，进一步包括至少一个被配置用于获取所述运动信息的传感器。
15.根据权利要求11所述的系统，其特征在于，所述演奏信息通过蓝牙连接传输。
16.用于音乐演奏的方法，包括：
接收与第一乐器上的一段音乐的第一演奏相关的演奏信息；
基于所述演奏信息生成至少一个控制信号；以及
通过处理设备，基于所述控制信号产生第二演奏，其中产生所述第二演奏进一步包括：
使用所述控制信号控制第二乐器的至少一个音调生成装置以演奏所述音乐。
17.根据权利要求16所述的方法，其特征在于，所述演奏信息通过蓝牙连接接收。
18.根据权利要求16所述的方法，其特征在于，所述演奏信息包含关于所述第一演奏期间所述第一乐器至少一个组件的运动信息，其中产生所述第二演奏进一步包括：
基于所述运动信息产生所述控制信号；以及
使所述音调生成装置基于所述运动信息演奏所述音乐。
19.用于音乐演奏的方法，包括：
获取在一段音乐的第一演奏期间的第一乐器的至少一个组件的运动信息；
获取关于所述第一演奏的媒体内容；
通过处理设备，基于所述运动信息和所述媒体内容，生成关于所述第一演奏的演奏信息；以及
将所述演奏信息发送到至少一个第二乐器。
20.根据权利要求19所述的方法，其特征在于，所述演奏信息通过蓝牙连接传输。
CN201780063230.4A 2016-10-14 2017-01-06 用于音乐演奏的系统和方法 Pending CN109844852A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2016/102165 WO2018068316A1 (en) 2016-10-14 2016-10-14 Methods and systems for synchronizing midi file with external information
CNPCT/CN2016/102165 2016-10-14
PCT/CN2017/070425 WO2018068434A1 (en) 2016-10-14 2017-01-06 System and method for musical performance

Publications (1)

Publication Number Publication Date
CN109844852A true CN109844852A (zh) 2019-06-04

Family

ID=61904915

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680087905.4A Active CN109845249B (zh) 2016-10-14 2016-10-14 用外部信息同步midi文件的方法和系统
CN201780063230.4A Pending CN109844852A (zh) 2016-10-14 2017-01-06 用于音乐演奏的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680087905.4A Active CN109845249B (zh) 2016-10-14 2016-10-14 用外部信息同步midi文件的方法和系统

Country Status (3)

Country Link
US (2) US10825436B2 (zh)
CN (2) CN109845249B (zh)
WO (2) WO2018068316A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN113012668A (zh) * 2019-12-19 2021-06-22 雅马哈株式会社 键盘装置及发音控制方法
CN113364913A (zh) * 2021-05-11 2021-09-07 黄国民 一种基于ai技术的多功能钢琴陪练系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102184378B1 (ko) * 2018-10-27 2020-11-30 장순철 인공지능 악기 서비스 제공 시스템
CN111200712A (zh) * 2019-12-31 2020-05-26 广州艾美网络科技有限公司 音频处理装置、卡拉ok电路板及电视一体机
US10885891B2 (en) * 2020-01-23 2021-01-05 Pallavi Ekaa Desai System, method and apparatus for directing a presentation of a musical score via artificial intelligence

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1591563A (zh) * 2003-09-02 2005-03-09 李玉光 无线网络乐器及一种控制乐器自动演奏的方法
CN1801318A (zh) * 2004-12-22 2006-07-12 雅马哈株式会社 音乐数据调节器、装备音乐数据调节器的乐器和音乐系统
CN101226739A (zh) * 2007-01-17 2008-07-23 雅马哈株式会社 用于人类演奏者的乐器和自动伴奏系统
CN101399034A (zh) * 2007-09-28 2009-04-01 雅马哈株式会社 用于音乐会话的音乐演奏系统和组成乐器
JP2009265631A (ja) * 2008-03-31 2009-11-12 Kawai Musical Instr Mfg Co Ltd 楽音制御方法及び楽音制御装置
JP4529226B2 (ja) * 2000-04-20 2010-08-25 ヤマハ株式会社 データ記録方法および記録媒体
CN103544943A (zh) * 2012-07-17 2014-01-29 雅马哈株式会社 键盘乐器和控制键盘乐器中的致动器的方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142961A (en) * 1989-11-07 1992-09-01 Fred Paroutaud Method and apparatus for stimulation of acoustic musical instruments
US5391828A (en) * 1990-10-18 1995-02-21 Casio Computer Co., Ltd. Image display, automatic performance apparatus and automatic accompaniment apparatus
US5265248A (en) * 1990-11-30 1993-11-23 Gold Disk Inc. Synchronization of music and video generated by simultaneously executing processes within a computer
JP3206619B2 (ja) * 1993-04-23 2001-09-10 ヤマハ株式会社 カラオケ装置
US5530859A (en) * 1993-05-10 1996-06-25 Taligent, Inc. System for synchronizing a midi presentation with presentations generated by other multimedia streams by means of clock objects
US5393926A (en) * 1993-06-07 1995-02-28 Ahead, Inc. Virtual music system
JP3196715B2 (ja) * 1997-10-22 2001-08-06 ヤマハ株式会社 楽音情報の通信装置、通信方法、制御装置、制御方法及びプログラムを記録した媒体
US6069310A (en) * 1998-03-11 2000-05-30 Prc Inc. Method of controlling remote equipment over the internet and a method of subscribing to a subscription service for controlling remote equipment over the internet
JPH11341350A (ja) * 1998-05-28 1999-12-10 Yamaha Corp マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体
US7206272B2 (en) * 2000-04-20 2007-04-17 Yamaha Corporation Method for recording asynchronously produced digital data codes, recording unit used for the method, method for reproducing the digital data codes, playback unit used for the method and information storage medium
US7221852B2 (en) * 2001-05-10 2007-05-22 Yamaha Corporation Motion picture playback apparatus and motion picture playback method
US7897865B2 (en) * 2002-01-15 2011-03-01 Yamaha Corporation Multimedia platform for recording and/or reproducing music synchronously with visual images
JP3835324B2 (ja) * 2002-03-25 2006-10-18 ヤマハ株式会社 楽曲再生装置
JP3903821B2 (ja) * 2002-03-25 2007-04-11 ヤマハ株式会社 演奏音提供システム
WO2005004030A2 (en) * 2003-06-25 2005-01-13 Yamaha Corporation Method for teaching music
US7288712B2 (en) 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
US7512886B1 (en) * 2004-04-15 2009-03-31 Magix Ag System and method of automatically aligning video scenes with an audio track
JP4396451B2 (ja) * 2004-08-30 2010-01-13 ヤマハ株式会社 電子楽器及び該電子楽器に接続される音源装置
JP4501725B2 (ja) * 2005-03-04 2010-07-14 ヤマハ株式会社 鍵盤楽器
US7996699B2 (en) * 2005-04-11 2011-08-09 Graphics Properties Holdings, Inc. System and method for synchronizing multiple media devices
US7507900B2 (en) * 2005-09-02 2009-03-24 Qrs Music Technologies, Inc. Method and apparatus for playing in synchronism with a DVD an automated musical instrument
US7890985B2 (en) * 2006-05-22 2011-02-15 Microsoft Corporation Server-side media stream manipulation for emulation of media playback functions
US9589551B2 (en) * 2007-01-03 2017-03-07 Eric Aaron Langberg System for remotely generating sound from a musical instrument
US8321593B2 (en) * 2007-01-08 2012-11-27 Apple Inc. Time synchronization of media playback in multiple processes
JP4826508B2 (ja) 2007-02-27 2011-11-30 ヤマハ株式会社 再生装置および自動演奏装置
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
JP5554677B2 (ja) * 2010-10-07 2014-07-23 Ｋｄｄｉ株式会社 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム
US8664497B2 (en) * 2011-11-22 2014-03-04 Wisconsin Alumni Research Foundation Double keyboard piano system
US8818176B2 (en) * 2012-02-21 2014-08-26 Avaya Inc. System and method for aligning tags to specific video frames
JP2015132695A (ja) * 2014-01-10 2015-07-23 ヤマハ株式会社 演奏情報伝達方法、演奏情報伝達システム
JP6565530B2 (ja) * 2015-09-18 2019-08-28 ヤマハ株式会社 自動伴奏データ生成装置及びプログラム
WO2017221407A1 (ja) * 2016-06-24 2017-12-28 ヤマハ株式会社 同期設定装置、配信システム、同期設定方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529226B2 (ja) * 2000-04-20 2010-08-25 ヤマハ株式会社 データ記録方法および記録媒体
CN1591563A (zh) * 2003-09-02 2005-03-09 李玉光 无线网络乐器及一种控制乐器自动演奏的方法
CN1801318A (zh) * 2004-12-22 2006-07-12 雅马哈株式会社 音乐数据调节器、装备音乐数据调节器的乐器和音乐系统
CN101226739A (zh) * 2007-01-17 2008-07-23 雅马哈株式会社 用于人类演奏者的乐器和自动伴奏系统
CN101399034A (zh) * 2007-09-28 2009-04-01 雅马哈株式会社 用于音乐会话的音乐演奏系统和组成乐器
JP2009265631A (ja) * 2008-03-31 2009-11-12 Kawai Musical Instr Mfg Co Ltd 楽音制御方法及び楽音制御装置
CN103544943A (zh) * 2012-07-17 2014-01-29 雅马哈株式会社 键盘乐器和控制键盘乐器中的致动器的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN113012668A (zh) * 2019-12-19 2021-06-22 雅马哈株式会社 键盘装置及发音控制方法
CN113012668B (zh) * 2019-12-19 2023-12-29 雅马哈株式会社 键盘装置及发音控制方法
CN113364913A (zh) * 2021-05-11 2021-09-07 黄国民 一种基于ai技术的多功能钢琴陪练系统

Also Published As

Publication number Publication date
CN109845249B (zh) 2022-01-25
WO2018068434A1 (en) 2018-04-19
US10825436B2 (en) 2020-11-03
CN109845249A (zh) 2019-06-04
WO2018068316A1 (en) 2018-04-19
US20190237054A1 (en) 2019-08-01
US11341947B2 (en) 2022-05-24
US20190237048A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN109844852A (zh) 用于音乐演奏的系统和方法
US8697975B2 (en) Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument
JP6344578B2 (ja) 電子楽器を演奏する方法
CN101657816B (zh) 用于分布式音频文件编辑的门户网站
US7394012B2 (en) Wind instrument phone
US11557269B2 (en) Information processing method
JP5257966B2 (ja) 音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法
US10878788B2 (en) Enhanced system, method, and devices for capturing inaudible tones associated with music
EP3381032B1 (en) Apparatus and method for dynamic music performance and related systems and methods
Kapur Digitizing North Indian music: preservation and extension using multimodal sensor systems, machine learning and robotics
US10482858B2 (en) Generation and transmission of musical performance data
WO2023195333A1 (ja) 制御装置
Turchet et al. Smart Musical Instruments: Key Concepts and Do-It-Yourself Tutorial
JP7440727B2 (ja) リズム把握支援システム
Menzies New performance instruments for electroacoustic music
TWI663593B (zh) 光學拾音器以及弦樂轉譜系統
WO2022172732A1 (ja) 情報処理システム、電子楽器、情報処理方法および機械学習システム
Kapur Preservation and Extension using Multimodal Sensor Systems, Machine Learning and Robotics
Freeman Current Trends in Electroacoustic Music for Wind Ensemble
KR20150098147A (ko) 노래방 기능을 갖는 연주방시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190604