CN114120942A - 无时延地近乎现场演奏和录制现场互联网音乐的方法和系统 - Google Patents

无时延地近乎现场演奏和录制现场互联网音乐的方法和系统 Download PDF

Info

Publication number
CN114120942A
CN114120942A CN202110702792.7A CN202110702792A CN114120942A CN 114120942 A CN114120942 A CN 114120942A CN 202110702792 A CN202110702792 A CN 202110702792A CN 114120942 A CN114120942 A CN 114120942A
Authority
CN
China
Prior art keywords
musician
performance
bandwidth
audio
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110702792.7A
Other languages
English (en)
Inventor
A.加卢腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of CN114120942A publication Critical patent/CN114120942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0664—Clock or time synchronisation among packet nodes using timestamps unidirectional timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/245—Ensemble, i.e. adding one or more voices, also instrumental voices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/175—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments for jam sessions or musical collaboration through a network, e.g. for composition, ensemble playing or repeating; Compensation of network or internet delays therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

示例性方法包括处理器执行存储在存储器中的指令，所述指令用于产生电子计数，将所述电子计数绑定到第一演奏以产生主时钟，以及将第一乐手的第一演奏和第一定时信息传输到网络缓存、存储、定时和混合模块。可以以全分辨率在本地录制所述第一乐手的第一演奏并且可以将其传输到全分辨率媒体服务器，并且可以将所述第一定时信息传输到所述主时钟。将所述第一乐手的第一演奏传输到第二乐手的声音装置，并且所述第二乐手创作第二演奏，将其和第二定时信息传输到网络缓存、存储、定时和混合模块。将所述第一演奏和所述第二演奏与所述第一定时信息和所述第二定时信息一起混合以产生第一混合音频，可以将所述第一混合音频传输到第三乐手的声音装置。

Description

无时延地近乎现场演奏和录制现场互联网音乐的方法和系统
背景技术
相关申请的交叉引用
本申请涉及于2020年6月25日与此同时提交的标题为“无时延地近乎现场演奏和录制现场互联网音乐的方法和系统(Methods and Systems for Performing andRecording Live Internet Music Near Live with no Latency)”的美国非临时专利申请序列号__/___,___(代理人案卷号9604US)，该申请的所有内容以引用方式整体由此并入。
技术领域
本公开涉及音乐演奏和录制领域以及网络时延和同步。
相关技术的描述
音乐典型地以同时演奏和异步演奏的某种组合来录制。即，一些或全部乐手同时演奏音乐，并将其录制为单场演奏。最初，在全部乐手同时演奏的情况下将全部音乐录制为单场演奏。在20世纪50年代，莱斯·保罗(Les Paul)首次创造了多轨录音机，使得他能够在预先录制的音乐部分之上演奏第二音乐部分。此后，乐手开始在初始录制中录制乐器中的一种或多种，然后再添加其他乐器——这被称为加录。
在过去20年中，乐手一直希望他们能够与在不同的地方的其他乐手(同时)进行现场演奏，尽管已经在某种程度上这样做了，但是对于大多数音乐风格而言，网络时延太久而无法创作有用的录制。优秀的乐手在不准确性低至几毫秒的情况下也会发现音符或鼓声“不合拍”。即使以光速传送，从洛杉矶到纽约也要花费约13毫秒的时间(往返行程需26毫秒)，因此这种时延对于乐手要实时一起演奏来说太久了。
发明内容
示例性实施方案提供了无时延地近乎现场演奏和录制现场互联网音乐的系统和方法。
示例性方法包括处理器执行存储在存储器中的指令，所述指令用于产生电子计数(count-in)，将电子计数绑定到第一演奏以产生主时钟，以及将第一乐手的第一演奏和第一定时信息传输到网络缓存、存储、定时和混合模块。可以以全分辨率在本地录制所述第一乐手的第一演奏并且可以将其传输到全分辨率媒体服务器，并且可以将所述第一定时信息传输到所述主时钟。替代地，可以将第一乐手的第一演奏的较低分辨率版本传输到压缩音频媒体服务器，并且可以将第一定时信息传输到主时钟。
随后，根据示例性实施方案，将第一乐手的第一演奏传输到第二乐手的声音装置，并且第二乐手创作第二演奏，将其和第二定时信息传输到网络缓存、存储、定时和混合模块。将所述第一演奏和所述第二演奏与所述第一定时信息和所述第二定时信息一起混合以产生第一混合音频，可以将所述第一混合音频传输到第三乐手的声音装置。第三乐手创作第三演奏和第三定时信息，将第三演奏和第三定时信息与第一混合音频混合以产生第二混合音频。重复该过程，直到最后一位乐手演奏并录制完毕为止。
用于媒体的网络缓存、存储、定时和混合的示例性系统包括：互联网带宽测试模块，其被配置为ping网络并确定到第一用户装置的带宽；质量/时延设置模块，其通信地耦合到互联网带宽测试模块，所述质量/时延设置模块被配置为基于带宽确定媒体的分辨率；以及网络音频混合器，其通信地耦合到质量/时延设置模块，所述网络音频混合器被配置为按照所确定的分辨率将媒体传输到第一用户装置。所述系统包括：全分辨率媒体服务器，其被配置为从第一用户装置接收媒体和主时钟的时间同步代码；和/或压缩媒体服务器，其被配置为从第一用户装置接收媒体和主时钟的时间同步代码。
随后，根据各种示例性实施方案，互联网带宽测试模块ping网络并确定到第二用户装置的带宽，以便确定要传输到第二用户装置的媒体的分辨率。在其他示例性实施方案中，媒体是组合了多个乐手的演奏的单个混合音轨，所述演奏具有一系列分辨率。在这种情况下，全分辨率媒体服务器和压缩媒体服务器两者都将媒体传输到网络音频混合器，该网络音频混合器将媒体传输到第二用户装置。系统从第二用户装置接收演奏并将其与单个混合音轨混合。
用于管理媒体的互联网带宽、时延、质量和混合的示例性系统包括处理器，所述处理器执行存储在存储器中的指令，所述指令用于控制：用于测量一段时间内的带宽的部件、用于改变不同级别的压缩的部件和用于在质量随着时间变化下使用共同时间代码将各种分辨率无缝拼接在一起的部件。所有部件彼此通信地耦合，并通过总线连接到单个推子。
附图说明
通过考虑以下对本发明的一些具体实施方案的详细描述，特别是当结合附图进行理解时，本发明的以上以及另外的目的、特征和优点将变得明显，其中在各个附图中使用相似的附图标记来指定相似的部件，并且其中：
图1是架构的高层次示意图，其示出了乐手、网络服务和听众。
图2提供了有关第一乐手、网络堆栈和传输堆栈的更多细节。
图2A示出了时间与音乐样本如何相关。
图2B示出了此可以与视频以及音频一起使用。
图3示出了与第二(以及其他)乐手有关的网络和传输堆栈。
图4示出了如何通过网络和传输堆栈连接链中的乐手以及如何优化播放同步和带宽。
图5示出了当音乐从一位乐手传到下一位乐手时网络缓存、存储、定时和混合模块如何一起工作。
图6示出了互联网带宽、时延、质量和混合如何一起工作。
图7示出了单个演奏可以如何由不同的分辨率来制作。
图8示出了示例性的即兴乐队场景。
图9示出了即兴乐队场景的示例性定时情况。
图10示出了示例性的戏剧播客场景。
具体实施方式
全文中所标识的元件是示例性的，并且可以包括其各种替代物、等同物或派生物。可以利用硬件、软件和计算机可执行指令的各种组合。程序模块和引擎可以包括例程、程序、对象、部件和数据结构，它们在由处理器执行时实现特定任务的性能，所述处理器可以是通用的或专用的。存储在计算机可读存储介质中的计算机可执行指令和相关联的数据结构表示用于执行方法的步骤和/或实现本文公开的特定系统配置的编程装置的示例。
本公开描述了一种用于允许乐手就之前出现的乐手的声音实时地连续地一起演奏的机制。如果有很多乐手一起演奏一首歌，则第一人开始，尽管音乐可能会延迟数毫秒到达第二人，但是该第二人会根据其听到的内容进行演奏，并且对于他们来说，这两个演奏在时间上都恰到好处。现在，第三人听到了前两个人的该演奏(彼此及时地)，就像第二人听到的那样，并且尽管他们听到的时间可能晚于实际演奏的时间，但是他们会及时地根据他们听到的内容进行演奏，并且对于他们来说，所有三种乐器在时间上都恰到好处。这可以不受限制地继续。
为了实现这一点，需要一种串行录制。但是，由于音频是通过网络传送的，因此质量可能很容易下降。也就是说，一旦音乐开始由一位乐手演奏，就不能暂停或放慢速度，但是可以降低比特率(质量)以实现准确的定时。在此建议，将每个演奏以全分辨率录制在云中(例如，在网络服务器上)，并且还在必要时进行压缩。它还可能需要在本地进行缓冲以保持保真度，使得在最终演奏到达云中时其是处于全分辨率的。以这种方式，即使乐手在演奏时听到的质量稍有下降，也无需牺牲其录制和传输到云的质量，因此最终结果将是完全保真的，并且在最后全部播放时时间完美。
如图1中可以看出，整个系统由各个乐手(及其设备和软件以及录制)以及网络缓存、存储、定时和混合部件组成。场景如下：
第一乐手(101)首先说出或产生电子计数(典型地说出1、2、3、4)。在各种示例性实施方案中，存在信号(数字数据或音频数据)，该信号示意片段的开始以及提示以使其他乐手知道何时开始。在一些情况下，可能会有第一(以及可能后面的)乐手演奏的节拍音轨(节拍器)。在其他情况下，这可能是声音上的倒数或乐器的拾音。替代地，可以存在诸如会由指挥员给出的视觉提示。在任何情况下，此第一标记(同样地，不一定是强拍)与第一演奏绝对绑定，它们一起成为“主时钟”，其将用于使所有本地时钟和演奏保持同步。使用NTP或网络时间协议会是最简单的，但是NTP通常仅在100毫秒内是准确的。必须将所有参与者的演奏都绑定到准确到小于1毫秒的共同时钟。第一乐手(101)的演奏和定时信息(102)被发送到网络缓存、存储、定时和混合模块(103)。
每位乐手的演奏均以全分辨率本地录制。这表演最终被传送到全分辨率媒体服务器(104)。这表演可以实时发送，但可能不被实时发送。在没有最优带宽的情况下，这表演可以稍后发送。
如果没有足够的带宽来无时延地发送全分辨率音频，则可以将第一乐手的演奏的较低分辨率版本发送到压缩音频媒体服务器(105)。这个较低分辨率版本应该足以使后面的乐手能够听清他们前面的各个部分并根据听到的内容进行演奏。这个较低分辨率版本应具有尽可能高的质量，并且在理想的网络条件下应与完整质量版本几乎没有区别。但是，根据带宽条件，可能将不得不稍后发送全分辨率音频。
同时，并且作为相同媒体文件(全分辨率和压缩两者)的一部分，定时信息被发送到主时钟(106)。音频典型地以44.1、48或96千赫录制，并且因此根据定义，存在比本文要求的1毫秒准确得多的时钟。与音频录制相关联的时间戳用于设置时钟并使时钟同步。
当第二乐手(107)根据网络带宽从全分辨率媒体服务器(104)或压缩音频媒体服务器(105)听到音乐时，第二乐手(107)加入其演奏。第二乐手的演奏现在发送到其中存储音频和定时信息的网络缓存、存储和定时模块(103)。同时，前两位乐手的音频由网络音频混合器(108)组合(或混合)，并与定时信息一起发送给第三乐手(109)，所述第三乐手的演奏被发送回网络缓存、存储和定时模块(103)，其中新的音频和定时信息与其他演奏存储在一起，然后发送给其他乐手，直到最后一位乐手(110)演奏并录制完毕为止。
网络音频混合器(108)不仅组合了各个乐手的演奏以使得彼此能够听到，而且还组合了所有乐手的累积演奏以使听众(111)能够听到。如将在下面更详细描述的，网络音频混合器(108)不仅组合了不同的音轨(或演奏)，而且以提供最大保真度的方式将它们组合。因此，例如，如果一位乐手的演奏由于带宽限制而处于较低的分辨率，但是他们的带宽有所提高，那么他们的质量也将得到提高。另外，全分辨率版本最终将使其进入全分辨率媒体服务器(104)，并且无论何时该分辨率到达服务器，在此之后听到它的人们都将听到全分辨率的。从长远来看，这意味着如果稍后播放音乐(例如，在现场演奏之后两个小时播放)，它将以全分辨率播放。在一些情况下，带宽增加的某些乐手的分辨率随着其演奏展开可以使其部分的分辨率增加。
图2提供了音频和定时信息的录制和初始传输的细节。在过程中，那些系统和乐手稍后应该可以准确地辨别出同步的可靠起始点。例如，假设一位乐手报数(例如1、2、3、4)。当词“一”被录制时，它具有基于音频波形样本在特定时间发生的特定且可识别的波形。根据定义，数字波形是以某个频率(例如，44.1kHz、48kHz、96kHz等)采样的，并且位置始终与时间相关联。图2A示出了大提琴演奏音调A4的样本。基本频率为440赫兹，其为约21/4毫秒(波形中的扰动是谐波和如来自琴弓拉奏的其他噪声)。一旦找到了录制中的共同点，就可以很容易地计算出从该点到片段中任何地方的毫秒数。
相同的定时信息可以应用于视频。例如，如果第一乐手是指挥员，那么这些乐手仍然可以及时跟进(即使不是在同一时间)。在实践中，他们可能需要一个共同的节奏，如节拍音轨或鼓声循环，但是从理论上讲，没有什么能够阻止他们全部跟随相同的指挥员或其他视觉提示(如为电影配乐)。参见图2B，其类似于图2的左侧，除了传声器(201)已经被相机(213)代替并且视频(214)的录制已经被添加到录制元素以外，所述录制元素已经通过采样时钟(202)与本地录制(203、204)同步。
回到图2，第一乐手(200)在传声器(201)上发出声音，所述传声器以某一音频(或如上所述的视频)开始时钟(202)。声音以全保真度录制(203)，并准备传输。从打开录制设备并将其连接到网络开始，轮询网络以测试带宽。如果带宽是足够的，则将全保真度(无损)版本(203)与定时信息一起传输(205)。但是，如果带宽不足，则第一乐手录制环境中的软件模块可以将音频压缩为较小的文件大小。例如，音频编解码器AAC被认为是从48kHz录制创建的128千比特/秒(kbps)下的合理保真度。未经压缩的文件将以1536kbps的速率进行流传输——即使使用仍为约800kbps的无损压缩也是如此。[注意:与乐器被录制为单个录制的情况相比，任意给定分辨率的多个文件在一起播放时将导致文件的分辨率更高。例如，16位48k音频的16个信道混合在一起时，其分辨率将高于16位48k音频的2个信道。]在本公开中稍后了解关于平衡时延、带宽和质量的更多内容。
关于传输格式，时钟将始终绑定到每个录制的每个版本(无损和压缩两者)。当参见传输堆栈(205)时，应将其视为两个单独的流，每个流具有相同的对应时间/同步代码。这样，当音乐到达网络缓存、存储、定时和混合部件(服务器/服务)(206)时，如果服务不得不在分辨率(208、209)之间切换，则其可以使用共同(主)时钟(207)保持完美同步。当将其他乐手的演奏组合时，这将由网络音频混合器(210)完成。
图3示出了第二乐手(300)的加入。音频和可能的视频来自网络缓存、存储、定时和混合服务(301)，其中来自第一乐手的媒体被存储，并使用包括无损音频(304)的传输堆栈(302)协议通过互联网进行传输，所述无损音频绑定到定时信息(303)，并且受带宽限制，压缩音频(305)也绑定到定时信息(303)。可以在该整个过程中包括视频，并且在视听领域中实践的人员可以基于本公开中的数据使用视频进行轻松构建。如果有足够的带宽，则可能不需要压缩音频。当音频到达时，其将首先进入混合模块(306)，所述混合模块将为第二乐手监控器(307)(可能是耳机)馈送信息。当第二乐手演奏或唱歌时，声音将通过直接注入(用于电子乐器或诸如压电或磁性拾音器的声电拾音器)或通过传声器(308)进入混合模块，在混合模块中将其与来自第一乐手和第二乐手的在他们一起演奏时可以听到两个部分的音频组合(混合)。
第二乐手被无损地录制(310)并且使用与原始录制相同的时钟同步(309)来进行时间戳记。来自第二乐手的音频与其使用相同的传输堆栈协议(312)从原始录制接收到的相同的时间代码被发送回网络缓存、存储、定时和混合服务(NCSTMS)(301)。由于NCSTMS已经具有第一乐手的音频和相同的同步时间代码，因此不必将第一乐手的音频发送回NCSTMS。应注意，NCSTMS处有网络音频混合器，其将不同乐手的演奏混合在一起。这与在各个乐手位置处的混合器分开。
图4示出了播放同步和带宽优化(408)。如上所述，同步基于在音频(和视频)的所有分辨率之间共享的共同时间代码。有时可能需要在质量和时延之间进行权衡。假设乐手(乐手N)以800kbps的速率以全分辨率传输(无损压缩)，并且下一位乐手(乐手N+1)具有较少的带宽。例如，如果基于对网络进行吞吐量测试，对于乐手N以800kbps的速率进行流式传输，则她/他将必须缓存足够的音乐使得时延为15秒。但是，如果乐手N以128kbps的速率接收和发送音频，则时延将仅为75毫秒。播放同步和带宽优化模块(408)可以选择分辨率，并因此选择所需带宽来将音频发送给乐手N+1。
想要更详细地了解这一点，请参见图5和图6。
图5示出了乐手N(500)。为了知道乐手N(500)和NNCSTM模块(501)之间可能的可用带宽，使用互联网带宽测试模块(502)。“ping”网络并找出两点之间的带宽是相当标准的做法，并且在本领域实践的任何人都可以使用此能力。基于可用带宽，质量/时延设置模块(503)将决定网络音频混合器应向乐手N发送的媒体分辨率(如图6更详细所示)。根据带宽，乐手N会将其媒体发送到全分辨率媒体服务器(506)或压缩媒体服务器(507)以及进入主时钟(505)的同步时间代码。应注意，“服务器”意指从家用计算机上的硬盘驱动器到广泛分布在互联网上的服务器阵列的任何服务器配置。同样，“压缩媒体服务器”可以包括视频和/或音频的多种分辨率，并且也可以进行分布。为了将媒体发送给乐手N+1(508)(链中的下一位乐手)，必须再次由互联网带宽测试模块(502)测试带宽。这决定了媒体以什么分辨率发送给乐手N+1。应注意，发送给乐手N+1的媒体并非乐手以前演奏过的所有个人录制，而是组合了他们所有演奏的单个混合音轨。假设例如乐手N+1是链中的第五乐手，并且先前的乐手在其演奏质量上具有以下带宽限制：乐手1，800kbps(完全无损)；乐手2，450kbps；乐手3，800kbps；乐手4，325kbps；和乐手5，800kbps。媒体将来自全分辨率媒体服务器(506)和压缩媒体服务器(507)的组合，其中其将被馈送到网络音频混合器(504)中。已组合的“混合”将发送给乐手N+1。应注意，在已组合的混合中，来自乐手1和3的部分将比来自乐手2和4的部分具有更高的分辨率。还应注意，将被发送回NCSTM模块的唯一媒体将是乐手5的新演奏，因为其他演奏已经被缓存。因此，连接到乐手5的任何带宽限制都只会影响乐手5的部分的质量，即使这样，也只会影响链中的乐手-而不是能够接收所有乐手的全保真度的最终收听者(取决于他们收听的时间)。
图6示出了系统的带宽、质量、时延和混合部件。带宽对音乐质量的影响发生在两个方向。上传带宽会影响各个演奏的初始传输的质量(该相同演奏的后来传输，并且仍处于全分辨率)。下载带宽会影响乐手在一起演奏时听到的质量。
上传乐手的操作环境将具有其自己的带宽测量能力，使得例如有时可能会出现全带宽(605)，或者根据带宽，压缩级别(606、607、608、609)可能会有所不同。系统将使用共同时间代码(其中仅质量(而不是时序)会随时间变化)将各种分辨率无缝拼接在一起。实际上，所有这些都将通过总线连接到单个推子，以达到混合中这个乐手级别(可能有人工来操纵推子，或者可能有算法在进行混合)。对于链中的第二乐手(610、611、612、613)等到第N乐手(614、615、616)都是如此。这些级别被组合在混合中，并且正是该混合以其带宽传到链中的下一位乐手(508)。应注意，从NCSTM到任何个别乐手的传输带宽典型地(现今通常如此)以适当的带宽发送，以确保没有时延。这与来自每位乐手的上传带宽无关。例如，如果一位乐手的带宽特别低，则他们可能会接收到质量较低的流。但是，它们仍将在其本地环境中以全保真度录制，并且其到达低时延收听者的演奏质量将反映其上传带宽。当然，如前所述，一旦已经上传他们的全分辨率演奏，随后的收听者将以全分辨率听到它(当然，取决于该收听者的带宽)。
为了阐明有关不同分辨率的讨论，参见图7可能会有所帮助。这示出了如何能够录制和存储不同分辨率的音频。应注意，来自第一乐手(701)的不同分辨率随着时间(702)显示为不同波形。随后的乐手将从第一乐手听到以可变的分辨率但作为一个单个演奏的演奏。第二乐手也可以以多个分辨率录制(703)，随后的乐手(704)也将如此。如上所述，这些不同的演奏将由混音工程师使用推子(602、603、604)混合在一起，使得它们可以被随后的乐手或听众成员听到。再次注意，一旦音频的更高分辨率的部分已经上传到网络缓存、存储、定时和混合部件，就可以将它们用于随后的混合(例如，在演奏结束之后)以提高质量。
作为用例，让我们来参见如图8所示的即兴乐队场景。我们假设有6位乐手，他们演奏鼓(801)、打击乐器(802)、贝斯(803)、钢琴(804)和两把吉他(805和806)。他们全部连接到NCSTM(807)，听众(808)也是如此。假设您让鼓手开始，然后在两个小节之后，打击乐手和贝斯手加入。其他乐手可以立即加入，或者在一些小节之后加入。每位乐手只能按顺序听到他们之前的乐手的声音，但是您可以通过布局改变顺序。
参见图9，时钟(901)上的实际时间正在向前移动而不停顿，但是实际的小节数(902)在时间上随乐手移动。鼓手的小节1(903)是开头，但随后的每位乐手的小节1(904)都落后一点点——每个小节都比之前的多一点点。鼓手(905)开始之后是打击乐手(906)、贝司手(907)和键盘手(908)。假设一位吉他手(909)恰在键盘手之后但在第二位吉他手之前开始，但是她/他希望能够在独奏时听到其他吉他的声音。在这种情况下，当我们说“在前面开始”时，我们是指“网络顺序”，不要与音乐顺序相混淆。她/他(或在预定提示下的混音工程师)可能会按下重置或“更改位置”，并且他们将在新位置时开始听到音频。
在图9中，灰色区域(911、912和913)表示某人布局。因此，假设总共有2秒钟的时延，当吉他手按下开关时，他们会在他们所处之后2秒钟听到音乐，但所有乐手都在演奏。因此，如果我要布局一两个小节，我可以在听其他乐手的时候重新加入。如果有交互式和弦图跟踪歌曲中的位置，那么对此进行编排舞曲可能会更容易，但是乐手可能很快就能很好地识别出自己所在的位置。
现在，在这种想象中的即兴乐队场景中，乐手可以轮流布局，然后回来听其他乐手演奏——甚至鼓手或打击乐手也可以布局并稍后返回一些节拍，但听到其他乐手的声音。您不必一定要去队列的末尾。也许歌手总是排在最后，而“退回”只会将您带到倒数第二，或者您可能只退回一或两个位置。例如，鼓手和打击乐手可以更换位置。可能会有很多问答类型的演奏，但是直到最终播放时您才会听到答案。
另一个用例将是戏剧播客场景。在这种情况下，如图10所示，我们有许多演员在线创作近乎现场的表演。这可以是有剧本的，或可以是自发的，如采访或如真人秀。我们可以做上面做的事情，但是我们还有一些其他选择。口语并不像音乐那样对时间敏感，因此我们可能有更多时间来表演。而且，表演更多是串行的而不是并行的，并且在其保真度要求方面更加灵活。在即兴乐队场景中，当一位乐手布局一些小节时，她/他可以放在队列的后面。而且，可以压缩中间表演的时间。让我们想象一下有6位演员(1001、1002、1003、1004、1005和1005)的表演。为了方便起见，让我们假设演员5和6(1005和1006)位于同一位置。跟踪时间(1007)，我们从演员1(1001)开始，他的讲话时间不到一分钟。演员2(1002)正在收听，对于他们来说是实时的。现在，演员1正在计划不到一分钟后重新加入。让我们假设，出于争论的考虑，演员1和演员2之间的时延为100毫秒。一旦演员1完成，她/他就可以跳过队列。但是，有两个限制：1)演员1，不想错过演员2不得不说的任何话；2)演员1至少想听到演员2部分的最后部分处于尽可能不变的状态，因此他们的定时和音调变化会尽可能自然。因此，解决方案如下：当演员1跳出队列时，它们比演员2落后100毫秒——即，演员2已经讲了100毫秒。因此，当演员1跳回队列时，必须补上那100毫秒。这是在不改变音调的情况下加快录制速度的常用技术。因此，当演员1跳回队列时，她/他会听到演员2从录制中播放，但加速了。如果将其加速10％(几乎察觉不到音调变化)并且总时延为100毫秒，则演员1将以演员1的实际速度实时听到演员2的声音。这在有多位演员进入并在必要时赶上的情况下可以无限地持续进行。与音乐录制场景一样，最终产品(对于带有附加声音效果的口语而言)可能仅比实时直播晚了几分钟。
可以在不背离本发明的基本教导的情况下进行修改。可以使用各种替代系统来实现本文中描述的各种方法，并且可以使用各种方法来从上述系统中实现某些结果。

Claims (20)

1.一种无时延地近乎现场演奏和录制现场互联网音乐的方法，所述方法通过处理器执行存储在存储器中的指令来执行，所述指令包括：
产生电子计数；
将所述电子计数绑定到第一演奏以产生主时钟；以及
将第一乐手的第一演奏和第一定时信息传输到网络缓存、存储、定时和混合模块。
2.如权利要求1所述的方法，其还包括以全分辨率在本地录制所述第一乐手的第一演奏并且将它传输到全分辨率媒体服务器；以及将所述第一定时信息传输到所述主时钟。
3.如权利要求1所述的方法，其还包括将所述第一乐手的第一演奏的一个或多个较低分辨率版本传输到压缩音频媒体服务器；以及将所述第一定时信息传输到所述主时钟。
4.如权利要求1所述的方法，其还包括：
通过第二乐手的声音装置接收所述第一乐手的第一演奏，并且所述第二乐手创作第二演奏；
将所述第二演奏和第二定时信息传输到所述网络缓存、存储、定时和混合模块；
通过第三乐手的声音装置接收第一混合音频，并且所述第三乐手创作第三演奏，所述第一混合音频包括所述第一演奏和所述第二演奏以及所述第一定时信息和所述第二定时信息；
将所述第三演奏和第三定时信息传输到所述网络缓存、存储、定时和混合模块；以及
通过第四乐手的声音装置接收第二混合音频，并且所述第四乐手创作第四演奏，所述第二混合音频包括所述第三演奏以及所述第三定时信息与所述第一混合音频。
5.如权利要求1所述的方法，其还包括：在多个声音装置上从网络音频混合器接收各个乐手的组合演奏以使彼此听到，以及在多个声音装置上接收全部所述各个乐手的组合累积演奏以使听众听到。
6.如权利要求1所述的方法，其还包括：在声音装置上从网络音频混合器接收具有提高的分辨率的音频。
7.如权利要求1所述的方法，其还包括：所述电子计数具有基于音频波形样本在特定时间发生的特定且可识别的波形。
8.如权利要求1所述的方法，其中所述电子计数是视频。
9.如权利要求1所述的方法，其中所述电子计数是音频和视频。
10.如权利要求1所述的方法，其还包括：
激活录制设备；
轮询网络以测试带宽；
如果所述带宽是足够的，则传输具有所述定时信息的全保真度数字数据；
如果所述带宽不足，则将音频压缩为较小的文件大小。
11.如权利要求1所述的方法，其还包括：所述第一定时信息包括用于每个录制的无损版本和压缩版本的定时信息。
12.如权利要求11所述的方法，其还包括：在流传输录制的同时在所述两个版本之间切换时保持同步。
13.一种用于将由第一用户装置接收的媒体传送的网络缓存、存储、定时和混合的系统，所述系统包括：
处理器，其执行存储在存储器中的指令，所述指令包括：
通过所述第一用户装置从互联网带宽测试模块接收用于确定由所述第一用户装置传输的带宽的ping；
通过所述第一用户装置从通信地耦合到所述互联网带宽测试模块的质量/时延设置模块接收用于基于所述带宽确定媒体分辨率的传输；
通过所述第一用户装置从通信地耦合到所述质量/时延设置模块的网络音频混合器接收按确定的分辨率进行的所述媒体的传输。
14.如权利要求13所述的系统，其还包括：所述第一用户装置将所述媒体和主时钟的时间同步代码传输到全分辨率媒体服务器。
15.如权利要求13所述的系统，其还包括：所述第一用户装置将所述媒体和主时钟的时间同步代码传输到压缩媒体服务器。
16.如权利要求13所述的系统，其还包括：第二用户装置从所述互联网带宽测试模块接收用于确定由所述第二用户装置传输的带宽的ping并确定将由所述第二用户装置接收的所述媒体的分辨率，其中所述媒体是将多位乐手的演奏组合的单个混合音轨，所述演奏具有一系列分辨率。
17.如权利要求16所述的系统，其还包括全分辨率媒体服务器和压缩媒体服务器两者，所述全分辨率媒体服务器和所述压缩媒体服务器被配置为将所述媒体传输到所述网络音频混合器以被第三用户装置接收。
18.如权利要求17所述的系统，其还包括所述网络音频混合器，所述网络音频混合器还被配置为传输所述媒体以被所述第二用户装置接收。
19.如权利要求18所述的系统，其还包括：所述第二用户装置向所述系统传输演奏。
20.一种用于管理将由用户装置接收的媒体的互联网带宽、时延、质量和混合的系统，所述系统包括：
处理器，其执行存储在存储器中的指令，所述指令控制：
用于测量一段时间内的带宽的部件；
用于改变不同级别的压缩的部件；
用于在质量随时间变化下使用共同时间代码将各种分辨率无缝拼接在一起的部件；以及通信地耦合到彼此并通过总线连接到单个推子的全部部件。
CN202110702792.7A 2020-06-25 2021-06-24 无时延地近乎现场演奏和录制现场互联网音乐的方法和系统 Pending CN114120942A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/912,569 2020-06-25
US16/912,569 US11616589B2 (en) 2020-06-25 2020-06-25 Methods and systems for performing and recording live music near live with no latency

Publications (1)

Publication Number Publication Date
CN114120942A true CN114120942A (zh) 2022-03-01

Family

ID=76890780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110702792.7A Pending CN114120942A (zh) 2020-06-25 2021-06-24 无时延地近乎现场演奏和录制现场互联网音乐的方法和系统

Country Status (5)

Country Link
US (1) US11616589B2 (zh)
EP (1) EP3930251A1 (zh)
JP (1) JP7242764B2 (zh)
KR (1) KR102546398B1 (zh)
CN (1) CN114120942A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples
US11616589B2 (en) 2020-06-25 2023-03-28 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music near live with no latency

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120782B1 (en) * 2020-04-20 2021-09-14 Mixed In Key Llc System, method, and non-transitory computer-readable storage medium for collaborating on a musical composition over a communication network
JP7559437B2 (ja) * 2020-09-01 2024-10-02 ヤマハ株式会社 通信制御方法
US11924317B1 (en) * 2020-09-25 2024-03-05 Apple Inc. Method and system for time-aligned media playback
WO2022232645A1 (en) * 2021-04-30 2022-11-03 Little Dog Live, LLC Audio workstation control over computing networks

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001145167A (ja) 1999-11-18 2001-05-25 Mega Chips Corp 情報通信端末
JP4423790B2 (ja) 2001-01-11 2010-03-03 ソニー株式会社 実演システム、ネットワークを介した実演方法
AU2002305012A1 (en) * 2001-05-24 2003-01-21 Vixs Systems Inc. Method and apparatus for managing resources and multiplexing a plurality of channels in a multimedia system
EP3282699B1 (en) 2001-11-29 2019-10-23 Godo Kaisha IP Bridge 1 Coding distortion removal method
US20100166056A1 (en) 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
JP4568506B2 (ja) 2004-02-05 2010-10-27 パイオニア株式会社 再生制御装置
ES2745045T3 (es) 2005-04-22 2020-02-27 Audinate Pty Ltd Red, dispositivo y método para transportar medios digitales
US7518051B2 (en) 2005-08-19 2009-04-14 William Gibbens Redmann Method and apparatus for remote real time collaborative music performance and recording thereof
US7593354B2 (en) 2006-03-22 2009-09-22 Musigy Usa, Inc. Method and system for low latency high quality music conferencing
US20080201424A1 (en) * 2006-05-01 2008-08-21 Thomas Darcie Method and apparatus for a virtual concert utilizing audio collaboration via a global computer network
JP4930113B2 (ja) * 2007-03-08 2012-05-16 ヤマハ株式会社 音響信号処理装置
US9602295B1 (en) * 2007-11-09 2017-03-21 Avaya Inc. Audio conferencing server for the internet
US20120203364A1 (en) 2011-02-08 2012-08-09 William Gibbens Redmann Method and apparatus for secure remote real time collaborative acoustic performance recordings
US8896652B2 (en) 2011-02-28 2014-11-25 Soryn Technologies Llc System and method for real-time video communications
EP2805523B1 (en) 2012-01-19 2019-03-27 VID SCALE, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
WO2014100531A1 (en) 2012-12-21 2014-06-26 Jamhub Corporation Track trapping and transfer
US9398390B2 (en) 2013-03-13 2016-07-19 Beatport, LLC DJ stem systems and methods
US9270624B2 (en) * 2013-05-10 2016-02-23 Oracle International Corporation Cloud messaging services optimization through adaptive message compression
US20150254340A1 (en) * 2014-03-10 2015-09-10 JamKazam, Inc. Capability Scoring Server And Related Methods For Interactive Music Systems
US9106887B1 (en) 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth
US9921799B2 (en) 2015-02-04 2018-03-20 MUMO, Inc. Computer systems for streaming influencer device audio content to listener devices
US10051202B2 (en) * 2015-02-24 2018-08-14 Newtek, Inc. Method and apparatus for adaptively mixing video source signals
US10225814B2 (en) * 2015-04-05 2019-03-05 Qualcomm Incorporated Conference audio management
US10742727B2 (en) 2016-03-15 2020-08-11 Arria Live Media, Inc. Interfacing legacy analog components to digital media systems
US10482574B2 (en) * 2016-07-06 2019-11-19 Gopro, Inc. Systems and methods for multi-resolution image stitching
JP7404067B2 (ja) * 2016-07-22 2023-12-25 ドルビー ラボラトリーズ ライセンシング コーポレイション ライブ音楽実演のマルチメディア・コンテンツのネットワーク・ベースの処理および配送
US10627782B2 (en) * 2017-01-06 2020-04-21 The Trustees Of Princeton University Global time server for high accuracy musical tempo and event synchronization
CN110692252B (zh) * 2017-04-03 2022-11-01 思妙公司 具有用于广域广播的延迟管理的视听协作方法
US10854181B2 (en) 2017-07-18 2020-12-01 Vertical Craft, LLC Music composition tools on a single pane-of-glass
US10043502B1 (en) 2017-07-18 2018-08-07 Vertical Craft, LLC Music composition tools on a single pane-of-glass
US10311843B2 (en) 2017-07-18 2019-06-04 Vertical Craft Music composition tools on a single pane-of-glass
US10367593B2 (en) 2017-09-12 2019-07-30 Arria Live Media, Inc. Architecture for a wireless media system
US10469880B1 (en) 2017-09-25 2019-11-05 Amazon Technologies, Inc. Providing alternative live media content
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples
US11616589B2 (en) 2020-06-25 2023-03-28 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music near live with no latency

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples
US11616589B2 (en) 2020-06-25 2023-03-28 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music near live with no latency

Also Published As

Publication number Publication date
JP7242764B2 (ja) 2023-03-20
KR102546398B1 (ko) 2023-06-22
EP3930251A1 (en) 2021-12-29
US11616589B2 (en) 2023-03-28
JP2022008251A (ja) 2022-01-13
US20210409138A1 (en) 2021-12-30
KR20220000381A (ko) 2022-01-03

Similar Documents

Publication Publication Date Title
KR102546398B1 (ko) 레이턴시 없이 라이브에 가까운 라이브 인터넷 음악을 공연하고 녹음하는 방법 및 시스템
Rottondi et al. An overview on networked music performance technologies
JP4423790B2 (ja) 実演システム、ネットワークを介した実演方法
JP5733321B2 (ja) 自動演奏装置
US20100095829A1 (en) Rehearsal mix delivery
JP5729393B2 (ja) 演奏システム
US20100082768A1 (en) Providing components for multimedia presentations
TWI795816B (zh) 用於無延遲地近實時地演奏及錄製實況網際網路音樂之方法及系統
WO2019208067A1 (ja) 任意信号挿入方法及び任意信号挿入システム
JP2009063714A (ja) オーディオ再生装置およびオーディオ早送り再生方法
Chew et al. Segmental tempo analysis of performances in user-centered experiments in the distributed immersive performance project
TWI854506B (zh) 用於無延遲地近實時地演奏及錄製實況網際網路音樂之方法及系統
CN111279412A (zh) 音响装置及音响控制程序
JP4422656B2 (ja) ネットワークを用いた遠隔多地点合奏システム
JP7468111B2 (ja) 再生制御方法、制御システムおよびプログラム
WO2022190717A1 (ja) コンテンツデータ処理方法およびコンテンツデータ処理装置
Dannenberg Canons for Conlon: Composing and Performing Multiple Tempi on the Web
US20230343313A1 (en) Method of performing a piece of music
Tsioutas Quality of musician's experience in network music performance
Thompson Technology, Performance and Context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination