CN104798412B - 改进的音频同步技术 - Google Patents

改进的音频同步技术 Download PDF

Info

Publication number
CN104798412B
CN104798412B CN201380060110.0A CN201380060110A CN104798412B CN 104798412 B CN104798412 B CN 104798412B CN 201380060110 A CN201380060110 A CN 201380060110A CN 104798412 B CN104798412 B CN 104798412B
Authority
CN
China
Prior art keywords
audio
network
frequency information
time index
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380060110.0A
Other languages
English (en)
Other versions
CN104798412A (zh
Inventor
阿米亥·基德龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104798412A publication Critical patent/CN104798412A/zh
Application granted granted Critical
Publication of CN104798412B publication Critical patent/CN104798412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03LAUTOMATIC CONTROL, STARTING, SYNCHRONISATION, OR STABILISATION OF GENERATORS OF ELECTRONIC OSCILLATIONS OR PULSES
    • H03L7/00Automatic control of frequency or phase; Synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Abstract

描述了用于音频同步的技术。在一个实施例中,例如,装置可以包括处理器电路和音频同步模块,该音频同步模块可以由处理器电路操作来执行以下操作:接收音频信息,该音频信息包括根据网络的网络时钟定义的第一网络时间索引;确定音频信息的第二网络时间索引,第二网络时间索引是根据第二网络时钟定义的;基于第一网络时间索引和第二网络时间索引之间的差值确定音频信息的传输延迟值;以及基于音频信息的传输延迟值并基于远程处理延迟值确定音频信息的总延迟值。还描述并要求保护其他实施例。

Description

改进的音频同步技术
背景技术
在音频采集和处理领域中,为由多个设备交换的音频信息定义共同的时间参考系(temporal frame of reference)是可取的。例如,为了使得音频信息在驻留于多个设备上的扬声器上的回放能够同步,或者为了使得中央设备能够以时间同步方式组合从多个远程设备接收到的音频信息,定义共同的时间参考系是可取的。在多个这样的设备被连接到相同网络的布置中,该网络的网络时钟可以为多个设备提供互相理解的时间情境。这样一来,用于基于共同的网络的网络时钟为由多个设备交换的音频信息定义共同的时间参考系的技术是可取的。
附图说明
图1示出了第一操作环境的一个实施例。
图2示出了第二操作环境的一个实施例。
图3示出了第一装置的一个实施例和第一系统的一个实施例。
图4示出了第二装置的一个实施例和第二系统的一个实施例。
图5示出了第一逻辑流程的一个实施例。
图6示出了第一逻辑流程的一个实施例。
图7示出了第三逻辑流程的一个实施例。
图8示出了第四逻辑流程的一个实施例。
图9示出了设备的一个实施例。
具体实施方式
各种实施例可以一般地涉及音频同步的技术。在一个实施例中,例如,装置可以包括处理器电路和音频同步模块,该音频同步模块可以由处理器电路操作以接收音频信息,该音频信息包括根据网络的网络时钟定义的第一网络时间索引;确定音频信息的第二网络时间索引,第二网络时间索引是根据第二网络时钟定义的;基于第一网络时间索引和第二网络时间索引之间的差值确定音频信息的传输延迟值;以及基于音频信息的传输延迟值和远程处理延迟值确定音频信息的总延迟值。其他实施例可以被描述并被要求保护。
各种实施例可以包括一个或多个元件。元件可以包括被安排为执行某些操作的任意结构。根据给定的一组设计参数或性能约束的需要,每个元件可以被实现为硬件、软件或其任意组合。虽然实施例可以通过示例的方式在某一拓扑中使用有限数目的元件来描述,但是实施例可以根据给定实现方式的需要在可替代拓扑中包括更多或更少的元件。值得注意的是,对“一个实施例”或“实施例”的任何提及是指与该实施例相关地描述的具体特征、结构或特性被包括在至少一个实施例中。在说明书各个地方出现的短语“在一个实施例中”、“在一些实施例中”和“在各种实施例中”不一定都指相同的实施例。
图1根据各种实施例示出了操作环境100的示例。如图1所示,中央设备102通过网络106与一个或多个远程设备104-n通信。值得注意的是,本文所用的“n”以及类似的指示符被规定为代表任意正整数的变量。因此,例如,如果实现方式设置值为n=4,则远程设备104-n的完整集合可以包括远程设备104-1、104-2、104-3和104-4。这些实施例不限于该上下文。
在一些实施例中,每个远程设备104-n可以操作以产生各自的音频信息108-n。在各种实施例中,一个或多个远程设备104-n可以包括或者被通信地耦合到相应的麦克风110-n,并且可以操作以使用这些麦克风110-n捕获音频信息108-n。在一些实施例中,通过记录与相同真实世界事件、系列事件、或过程相关联的音频效果,每个远程设备104-n可以操作以生成其各自的音频信息108-n。例如,在各种实施例中,每个远程设备104-n可以包括会议室中的设备,并且可以捕获该会议室中的会议的参与者的发言。这些实施例不限于该示例。
在一些实施例中,远程设备104-n可以操作以通过网络106向中央设备102发送音频信息108-n。在各种实施例中,网络106可以包括无线网、有线网或二者的组合。在一些这样的实施例中,一个或多个远程设备104-n的音频信息108-n可以包括音频流和/或作为音频流通过网络106被发送。这些实施例不限于该上下文。
在各种实施例中,中央设备102为由远程设备104-n生成的音频信息108-n定义设备间(inter-device)时间参考系是可取的,从而根据设备间时间参考系表达的任意具体时间将被中央设备102和远程设备104-n普遍理解为指的是相同真实世界时间。在一些实施例中,这样的设备间时间参考系可以被用于在多个设备同步具体音频信息108-n的回放,来以时间同步方式组合从多个远程设备104-n接收的音频信息,和/或来对音频信息108-n执行其他操作。这些实施例不限于该上下文。
在各种实施例中,例如,中央设备102使用设备间时间参考系组合从多个远程设备104-n接收的音频信息108-n以获得复合音频信息122是可取的。在一些实施例中,将来自多个源的音频信息组合可以允许生成相对于由任意多个源单独生成的音频信息具有增强的、改进的和/或期望的特性的复合音频信息122。例如,如果远程设备104-1位于距会议中的发言者相当远的距离处,则它可以生成捕获发言者的发言不佳的音频信息108-1,同时,位于发言者附近的远程设备104-2可以生成捕获发言者的发言良好的音频信息108-2。在这样的示例中,音频信息108-1可以通过将其与音频信息108-2组合而得到改善以获得复合音频信息122,其中发言者的发言被良好的捕获。这些实施例不受限于该示例。
在各种实施例中,将由多个源生成的音频信息组合以获得复合音频信息122可以包括,对于由多个源中具体远程设备104-n生成的音频信息108-n的每个部分,将该部分与由其他源生成的音频信息相应的部分组合。关于从多个远程设备104-n接收的音频信息108-n的组合,当音频信息180-n的各部分在同一时间被捕获时,它们可以说是互相对应的,因此它们与真实世界事件、系列事件、或过程中的相同音效相对应。例如,远程设备104-1可以用其麦克风110-1通过记录会议生成音频信息108-1,并且出席会议的人可能咳嗽。对应于咳嗽的音频信息108-1的部分可以说是对应于在相同时间通过同样记录会议的远程设备104-2捕获的音频信息108-2的部分,因此也包括该咳嗽。这些实施例不受限于该示例。
在传统系统中,诸如图1的中央设备102之类的中央设备可能缺少确定各个音频信息108-n的哪个部分互相对应的能力,并且可能因此不能以获得呈现出增强的、改进的和/或期望的特性的复合音频信息122方式来组合音频信息108-n。例如,在传统系统中,分别从远程设备104-1和104-2接收音频信息108-1和音频信息108-2的中央设备102可能不能确定包括咳嗽的音频信息108-1的部分与包括咳嗽的音频信息108-2的部分同时被捕获。这样一来,在传统系统中由中央设备102生成的复合音频信息122可能呈现出退化的和/或不期望的特性。继续上述示例,在真实生活中只发生一次的咳嗽在传统系统中通过组合音频信息108-1和音频信息108-2生成的复合音频信息122中可能发生两次。这样一来,用于定义设备间时间参考系以使得从多个源接收的和/或由多个源生成的音频信息能够同步的技术是可取的。
在一些实施例中,为了使得通过驻留在多个远程设备104-n处的扬声器回放的具体音频信息108-n的回放能够同步,对中央设备102而言定义设备间时间参考系是可取的。使通过驻留在多个远程设备104-n处的扬声器回放的具体音频信息108-n的回放同步可以包括确保音频信息108-n由多个扬声器中的每个同时回放。然而,在各种实施例中,具体音频信息108-n可能不被同时发送至多个远程设备104-n和/或由多个远程设备104-n同时接收。在传统实施例中,在不同时间接收相同音频信息的多个远程设备104-n可能无法确定何时在它们的扬声器上回放音频信息以使得回放与驻留在其他远程设备104-n处的扬声器的回放同步。这样一来,用于定义设备间时间参考系以使得在多个远程设备处的音频回放能够同步的技术是可取的。
图2示出了操作环境的示例,其中可以为音频信息208-n和/或音频信息212定义设备间时间参考系。如图2所示,每个远程设备204-n可以操作来为其各自的音频信息208-n生成时间索引218-n-p。对于具体音频信息208-n,这样的时间索引218-n-p可以为音频信息208-n的任意具体部分指示在音频捕获、处理和/或发送过程中具体部分到达定义的点的时间。该时间可以根据设备间时间参考系来定义,其对于远程设备204-n和中央设备202可以是通用的和互相理解的并可被它们利用。例如,时间索引218-n-p可以根据设备间时间参考系为音频信息208-n的任意具体部分指示音频信息208-n的部分准备好从其对应的远程设备204-n传输至中央设备202的时间。这些实施例不限于该示例。
在各种实施例中,远程设备204-n和中央设备202可以各自被连接到网络230,并且设备间时间参考系可以根据网络230的网络时间索引232-q被定义。在一些实施例中,网络230的网络时间索引232-q可以包括网络230的时钟信号。在各种实施例中,网络230可以包括网络,并且网络时间索引232-q可以包括网络时钟信号。在一些实施例中,远程设备204-n可以操作来周期性地接收网络230的网络时间索引232-q,并且可以基于网络230的网络时间索引232-q定义时间索引218-n-p。这些实施例不受限于该上下文。
在一些实施例中,网络2302的时钟信号的间隔可以足够大,如果定义了设备间时间参考系以使得每个时间索引218-n-p准确地等于各自的网络时间索引232-q,则根据设备间时间参考系执行的同步的质量可能比理想水平低。例如,在各种实施例中,网络230可以包括具有312.5μs网络时钟的蓝牙网络,并且根据具有这样的间隔水平特征的设备间时间参考系执行的同步可能生成次优结果。在一些实施例中,为了减少设备间时间参考系的间隔,时间索引218-n-p可以被表达为网络时间索引232-q的相对偏移。在一些实施例中,这样的相对偏移可以包括网络230的符号时钟的多个周期。在网络230包括蓝牙网络的示例实施例中,时间索引218-n-p可以被表达为蓝牙网络时钟的相对偏移,并且该相对偏移可以包括蓝牙符号时钟的多周期。例如,蓝牙网络可以包括周期为312.5μs的网络时钟和具有周期为1μs的符号时钟,并且每个相对偏移可以包括指示多个1μs周期的符号时钟的数字。这样一来,在这样的示例实施例中设备间时间参考系的间隔可以从312.5μs降低到1μs。这些实施例不受限于该示例。
在各种实施例中,中央设备202也可以操作来周期性地接收由远程设备204-n接收到的网络230的网络时间索引232-q,因此中央设备202可以基于这些网络时间索引232-q理解由远程设备204-n利用的设备间参考时间索引。例如,在网络230包括蓝牙网络并且网络时间索引232-q包括蓝牙网络时钟信号的一些实施例中,中央设备202和远程设备204-n可以操作以周期性地接收相同蓝牙网络时钟信号,远程设备204-n可操作来基于蓝牙网络时钟信号生成时间索引218-n-p,并且中央设备202可操作来基于网络时钟信号解释时间索引218-n-p。这些实施例不受限于该示例。
在各种实施例中,中央设备202可操作来通过网络206从一个或多个远程设备204-n接收音频信息208-n和/或时间索引218-n-p。在一些实施例中,网络206可以包括无线网络、有线网络、或二者的组合。在各种实施例中,网络206可以包括不同于网络230的网络。这样一来,在一些实施例中,可以基于一个网络的网络时间索引为中央设备202和一个或多个远程设备204-n定义设备间时间参考系,而远程设备204-n可以通过第二不同网络向中央设备202发送音频信息和/或时间索引。事实上,在各种实施例中,中央设备202和远程设备204-n完全可以不通过网络230互相通信,而是可以仅仅使用网络230来定义设备间时间参考系,并且可以通过网络206互相通信。在其他实施例中,中央设备202和远程设备204-n可以通过网络206和网络230互相通信。在另一些实施例中,操作环境200可以不包括网络206,中央设备202和远程设备204-n可以基于网络230定义设备间时间参考系并且通过网络230通信。例如,在一网络230包括蓝牙网络的些实施例中,中央设备202和远程设备204-n可操作来基于蓝牙网络定义设备间时间参考系,还通过蓝牙网络互相通信,而在其他各种实施例中,中央设备202和远程设备204-n可操作来基于蓝牙网络定义设备间时间参考系,但是通过不同的网络206互相通信。这些实施例不受限于该上下文。
在一些实施例中,在接收到任意具体音频信息208-n以后,中央设备202可操作来为该音频信息生成时间索引219-n-r。这样的时间索引219-n-p可以为该音频信息208-n的任意具体部分、根据设备间时间参考系指示在音频捕获、处理和/或传输过程中该具体部分到达的第二定义的点的时间。例如,时间索引219-n-r可以为音频信息208-n任意具体部分、根据设备间时间参考系指示音频信息208-n的该部分通过网络230从其相应的远程设备204-n被接收的时间。这样一来,在各种实施例中,中央设备202可操作来接收指示在音频捕获、处理和/或传输过程中音频信息208-n的部分到达第一定义的点的时间的时间索引218-n-p,以及中央设备202可操作来生成指示在音频捕获、处理和/或传输过程中音频信息208-n的部分到达第二定义的点的时间的时间索引219-n-r。这些实施例不受限于该上下文。
在各种实施例中,中央设备202可操作来基于接收的时间索引218-n-p并基于生成的时间索引219-n-r为音频信息208-n确定发送延迟值。在示例实施例中,时间索引218-n-p可以根据设备间时间参考系指示在远程设备204-n处音频信息208-n的具体部分准备好进行传输的时间,并且时间索引219-n-r可以根据设备间时间参考系指示在中央设备202处接收到音频信息208-n的具体部分的时间,以及中央设备202可操作来通过从时间索引219-n-r减去时间索引218-n-p为音频信息20-n的具体部分确定传输延迟值。在各种实施例中,中央设备202可操作来基于该传输延迟值并基于音频信息208-n的远程处理延迟值为音频信息208-n确定总延迟值。在一些实施例中,远程处理延迟值可以指示在其相应的远程设备204-n处音频信息208-n的处理先于时间索引218-n-p的生成的时间段。这些实施例不受限于该上下文。
在一些实施例中,中央设备202可操作来定义本地时间参考系,其可以包括在中央设备202内部的并且可在中央设备202内被理解的时间参考系。在各种实施例中,中央设备202可以基于本地时钟220定义本地时间参考系。本地时钟220可以包括在中央设备202内部的驱动中央设备202内一个或多个元件的操作的时钟、振荡器或其他计时设备。例如,本地时钟220可以包括在中央设备202内的处理器电路的时钟。这些实施例不受限于该上下文。
在各种实施例中,中央设备202可操作来确定接收到的音频信息208-n的协同时间索引221-n-s。在一些实施例中,可以根据本地时间参考系定义协同时间索引221-n-s。在各个这样的实施例中,协同时间索引221-n-s可以包括相对于本地时钟220定义的本地时间。在一些实施例中,对于音频信息208-n的任意具体部分,协同时间索引221-n-s可以根据本地时间参考系指示音频信息208-n的该部分被捕获的时间。在各种实施例中,对于任意具体音频信息208-n,中央设备202可操作来基于音频信息208-n的总延迟值并基于本地时钟220生成协同时间索引221-n-s。这些实施例不受限于该上下文。
在一些实施例中,中央设备202可操作来从多个远程设备204-n接收音频信息208-n,并且可操作来通过组合接收到的音频信息208-n来生成复合音频信息222。在各种实施例中,中央设备202可操作来生成音频信息208-n的协同时间索引221-n-s,并且可操作来基于音频信息208-n的协同时间索引221-n-s来组合接收到的音频信息208-n。在一些实施例中,中央设备202可操作来利用协同时间索引221-n-s来确定基本上同时由不同的远程设备204-n捕获的音频信息208-n的部分,因此中央设备202可操作来生成复合音频信息222,其中音频信息208-n的这些部分在时间上被对齐。这样的复合音频信息222可以呈现出关于由任意多个远程设备204-n单独生成的音频信息208-n的增强的、改进的和/或期望的特性。这些实施例不受限于该上下文。
在各种实施例中,中央设备202可操作来生成相应于与音频信息208-n相同的真实世界事件、系列事件或过程的其自己的音频信息212。例如,在每个远程设备204-n包括会议室内的设备并且捕获在会议室内会议参与者的发言的实施例中,中央设备202可操作来通过捕获会议参与者的发言来生成音频信息212。在一些实施例中,中央设备102可以包括麦克风214或者通信地耦合到麦克风214,并且可操作来使用该麦克风214捕获音频信息212。这些实施例不受限于该上下文。
在各种实施例中,中央设备202可操作来确定音频信息212的协同时间索引213-t。在一些实施例中,可以根据与协同时间索引221-n-s相同的本地时间参考系来定义协同时间索引213-t。在多个这样的实施例中,协同时间索引213-t可以包括相对于本地时钟220定义的本地时间。在一些实施例中,针对音频信息212的任意具体部分,协同时间索引213-t可以根据本地时间参考系指示音频信息212的该部分被捕获的时间。在各种实施例中,中央设备202可操作来基于本地时钟220直接生成协同时间索引213-t,而不生成基于设备间时间参考系的音频信息212的时间索引。在一些实施例中,中央设备202可操作来依据设备间时间参考系生成音频信息212的时间索引,并且中央设备202然后可操作来基于这些时间索引并基于音频信息212的处理延迟值生成音频信息212的协同时间索引213-t。这些实施例不受限于该上下文。
在中央设备202生成音频信息212的各种实施例中,中央设备202可操作来从一个或多个远程设备204-n接收音频信息208-n,并且可操作来通过将接收到的音频信息208-n与生成的音频信息212组合来生成复合音频信息222。在一些实施例中,中央设备202可操作来基于接收到的音频信息208-n的协同时间索引221-n-s和生成的音频信息212的协同时间索引213-t将接收到的音频信息208-n与所生成的音频信息212组合。这些实施例不受限于该上下文。
图3根据各种实施例示出了比如可以包括图2中远程设备204-n的示例的装置300。如图3所示,装置300包括多个元件,这些元件包括处理器电路302、存储器单元304、音频管理模块306、音频索引模块310、收发器314、网络控制器316和网络控制器320。但是,实施例不限于在该图中所示的元件的类型、数目或安排。
在各种实施例中,装置300可以包括处理器电路302。处理器电路302可以使用任意处理器或逻辑设备(例如,复杂指令集计算机(CISC)微处理器、精简指令集计算机(RISC)微处理器、超长指令字(VLIW)微处理器、x86指令集兼容处理器、实现指令集的组合的处理器、诸如双核处理器或双核移动处理器之类的多核处理器、或者任意其他微处理器或中央处理单元(CPU))来实现。处理器电路302还可以被实现为专用处理器,例如,控制器、微控制器、嵌入式处理器、芯片多处理器(CMP)、协处理器、数字信号处理器(DSP)、网络处理器、媒体处理器、输入/输出(I/O)处理器、媒体访问控制(MAC)处理器、无线电基带处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)等等。在一个实施例中,例如,处理器电路302可以被实现为通用处理器,例如,由位于加利福尼亚州圣克拉拉市的 公司制造的处理器。这些实施例不受限于该上下文。
在一些实施例中,装置300可以包括存储器单元304或者被布置成通信地与存储器单元相耦合。存储器单元304可以使用任意能够存储数据的包括易失性存储器和非易失性存储器的机器可读介质或计算机可读介质来实现。例如,存储器单元304可以包括只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、诸如铁电聚合物存储器之类的聚合物存储器、奥氏(ovonic)存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、或者任意其他类型的适合存储信息的介质。值得注意的是,存储器单元304的一些部分或全部可以与处理器电路302被包括在相同的集成电路上,或者可替代地存储器单元304的一些部分或全部可以被布设在与处理器电路302的集成电路不相关的集成电路或其他介质(例如,硬盘驱动器)上。虽然在图3中存储器单元304被包括在装置300内,但是在一些实施例中存储器单元304可以在装置300的外部。这些实施例不受限于该上下文。
在一些实施例中,装置300可以包括音频管理模块306。在各种实施例中,音频管理模块306可以包括装置300的音频子系统。在一些实施例中,音频管理模块可以包括可操作来生成音频信息308的逻辑、电路或指令。音频信息308可以包括代表声调、音乐、发言、发言话语、声音效果、背景噪声或其他声音的信息、数据、逻辑和/或指令。这些实施例不受限于该上下文。
在各种实施例中,装置300可以包括音频索引模块310。在一些实施例中,音频索引模块310可以包括可操作来生成音频信息308的时间索引312的逻辑、电路、或指令。在各种实施例中,音频索引模块310可操作来基于音频信息308和时间索引312生成有索引的音频信息313。在一些实施例中,索引模块310可操作来通过使用时间索引312给音频信息308打上时间戳来生成有索引的音频信息313。这些实施例不受限于该上下文。
在各种实施例中,装置300可以包括收发器314。收发器314可以包括一个或多个能够使用各种合适的无线通信技术来发送和接收信号的无线电设备。这样的技术可以涉及跨一个或多个无线网络的通信。示例性的无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网络(WPAN)、无线城域网(WMAN)、蜂窝网络、和卫星网络。在跨这样的网络通信中,收发器344可以根据任意版本的一个或多个可应用的标准来运作。这些实施例不受限于该上下文。
在一些实施例中,装置300可以包括网络控制器316。在各种实施例中,网络控制器316可以包括可操作来使得装置300和一个或多个外部设备之间通过网络318进行的通信成为可能的逻辑、电路、和/或指令。在一些实施例中,网络318可以包括蓝牙网络,并且网络控制器316可以包括蓝牙网络控制器。在各种实施例中,网络318可以包括无线网络,并且网络控制器316可以使得由装置300通过网络318使用收发器314的通信成为可能。在一些其他实施例中,网络318可以包括有线网络,以及网络控制器316可以使得由装置300通过网络318使用一个或多个有线连接进行的通信成为可能。这些实施例不受限于该上下文。
在各种实施例中,装置300可以包括网络控制器320。在一些实施例中,网络控制器320可以包括可操作来使得装置300和一个或多个外部设备之间通过网络322进行的通信成为可能的逻辑、电路、和/或指令。在各种实施例中,网络322可以包括无线网络,并且网络控制器320可以使得由装置300通过网络322使用收发器314进行的通信成为可能。在一些其他实施例中,网络322可以包括有线网络,并且网络控制器320可以使得由装置300通过网络322使用一个或多个有线连接进行的通信成为可能。在各种实施例中,装置300可以包括使得通过网络318和网络322两者进行的通信成为可能的单一网络控制器。这些实施例不受限于该上下文。
图3还示出了系统340的框图。系统340可以包括装置300的任意上述元件。系统340还可以包括显示器342。显示器342可以包括能够显示从处理器电路302接收的信息的任意显示器设备。显示器342的示例可以包括电视机、监视器、投影仪、和计算机屏幕。在一个实施例中,例如,显示器342可以通过液晶显示器(LCD)、发光二极管(LED)、或其他类型的合适的视觉界面来实现。显示器342可以包括,例如,触敏彩色显示屏幕。在各种实现方式中,显示器342可以包括一个或多个包括嵌入式晶体管的薄膜晶体管(TFT)LCD。在各种实施例中,显示器342可以被布置为显示可操作来直接或间接控制装置300的一个或多个元件的图形用户界面。这些实施例不限于该方面。
在一些实施例中,装置300和/或系统340可以包括麦克风324或者被配置为通信地与麦克风324相耦合。麦克风324可以包括能够捕获环境声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音的任意设备。在各种实施例中,音频管理模块306可操作来通过使用麦克风324捕获环境声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音生成音频信息308。这些实施例不受限于该上下文。
在一般操作中,装置300和/或系统340可操作来生成音频信息308,生成音频信息308的时间索引312,用时间索引312给音频信息308打上时间戳以获得有索引的音频信息313,以及通过网络322发送有索引的音频信息313至中央设备350。这些实施例不限于该方面。
在各种实施例中,音频管理模块306可操作来生成对应于实况事件的音频信息308。例如,在一些实施例中,音频管理模块306可操作来生成对应于会议、演讲、体育赛事、音乐会、和/或任意其他类型的事件的音频信息308,在时间这些期间可能出现环境声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音。在各种实施例中,音频管理模块306可操作来通过使用麦克风324捕获在实况事件期间出现的环境声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音来生成音频信息308。这些实施例不受限于该上下文你。
在一些实施例中,音频索引模块310可操作来生成音频信息308的时间索引312。在各个这样的实施例中,音频索引模块310可操作来根据设备间时间参考系生成时间索引312。在一些实施例中,这样的时间索引可以为音频信息308的任意具体部分、根据设备间时间参考系指示在装置300和/或系统340的音频捕获、处理和/或传输过程中该具体部分到达定义的点的时间。在各种实施例中,装置300和/或系统340的音频捕获、处理和传输过程可以包括使用麦克风324捕获音频输入,将音频输入传递至音频管理模块306,在音频管理模块306处基于音频输入生成音频信息308,传递音频信息308至网络控制器320,以及使用网络控制器320通过网络322发送音频信息308。在示例实施例中,时间索引312可以为音频信息308的任意具体部分、根据设备间时间参考系指示音频信息308的该部分准备好使用网络控制器320、通过网络322传输至中央设备350的时间。这些实施例不限于该示例。
在一些实施例中,这样的设备间时间参考系可以根据网络318的时间索引326-q来定义。在各种实施例中,网络318的时间索引326-q可以包括网络318的时钟信号。在一些实施例中,网络318可以包括蓝牙网络,并且时间索引326-q可以包括蓝牙网络时钟信号。这些实施例不受限于该示例。
在各种实施例中,音频索引模块310可操作来基于网络318的时间索引326-q来生成音频信息308的时间索引312。在一些实施例中,音频索引模块310可操作来生成包括时间索引326-q的相对偏移的时间索引312。在各种实施例中,每个时间索引312可以是[N,s]形式的,其中N标识网络时钟信号,并且s标识网络时钟信号N的偏移。在网络318包括蓝牙网络并且时间索引326-q包括蓝牙网络时钟信号的一些实施例中,音频索引模块310可操作来生成包括根据蓝牙符号时钟表示的蓝牙网络时钟信号的相对偏移的时间索引312。在各种这样的实施例中,音频索引模块310可操作来生成被表达为自最近的蓝牙网络时钟信号已经发生的许多蓝牙符号时钟周期的时间索引312。在一些实施例中,网络318可以包括具有312.5μs蓝牙网络时钟和1μs蓝牙符号时钟的蓝牙网络。在这样的实施例的示例中,对于包括在蓝牙网络时钟信号N3之后9μs发生的声音的音频信息308的部分,音频索引模块310可操作来生成[N3,9]格式的时间索引312,其指示声音发生并且在接收到蓝牙网络时钟信号N3之后9μs被捕获。在各种实施例中,音频索引模块310可操作来基于音频信息308和时间索引312来生成有索引的音频信息313。在一些实施例中,为了生成有索引的音频信息313,音频索引模块310可操作来用时间索引312给音频信息308打上时间戳。这些实施例不受限于该上下文。
在各种实施例中,装置300和/或系统340可操作来将有索引的音频信息313发送至中央设备350。在一些实施例中,装置300和/或系统340可操作来通过网络322将有索引的音频信息313发送至中央设备350。在各种这样的实施例中,网络322可以包括无线网络,并且装置300和/或系统340可操作来通过网络322使用收发器314和/或一个或多个其他收发器、发射器、和/或天线来将有索引的音频信息313发送至中央设备350。在一些其他实施例中,网络322可以包括有线网络,并且装置300和/或系统340可操作来通过网络322使用一个或多个有线连接将有索引的音频信息313发送至中央设备350。这些实施例不受限于该上下文。
在一些实施例中,装置300和/或系统340可操作来从中央设备350和/或另一个远程设备接收音频信息,以及根据设备间时间参考系确定音频信息的回放时间。在各种这样的实施例中,装置300和/或系统340可操作来确定接收到的音频信息的时间索引312-p,基于时间索引312-p并基于包括在音频信息内的时间索引确定音频信息的传输延迟值,基于传输延迟值确定音频信息的总延迟值,以及基于传输延迟值确定音频信息的回放时间。在各种实施例中,装置300和/或系统340可以在回放时间回放音频信息,并且该回放可以与由根据相同设备间时间参考系运作的另一个远程设备进行的音频信息的回放同步。这些实施例不受限于该上下文。
图4根据各种实施例示出了比如可以包括图2的中央设备202的示例的中央设备400。如图4所示,装置400包括多个元件,这些元件包括处理器电路402、存储器单元404、音频同步模块405、音频管理模块406、收发器414、网络控制器416、和网络控制器420。但是,这些实施例不限于在该图内显示的元件的类型、数目或安排。
在各种实施例中,装置400可以包括处理器电路402。处理器电路可以使用任意处理器或逻辑设备来实现,并且可以与图3的处理器电路302相同或相似。这些实施例不受限于该上下文。
在一些实施例中,装置400可以包括存储器单元404或者被布置成通信地与存储器单元404相耦合。存储器单元404可以使用任意能够存储数据的、包括易失性存储器和非易失性存储器的机器可读介质或计算机可读介质来实现,并且可以与图3的存储器单元304相同或相似。值得注意的是,存储器单元404的一些部分或全部可以与处理器电路402被包括在相同的集成电路上,或者可替代地存储器单元404的一些部分或全部可以被布设在与处理器电路402的集成电路不相关的集成电路或其他介质(例如,硬盘驱动器)上。虽然在图4中存储器单元404被包括在装置400内,但是在一些实施例中存储器单元404可以在装置400的外部。这些实施例不受限于该上下文。
在一些实施例中,装置400可以包括音频同步模块405。音频同步模块405可以包括可操作来同步和组合各种音频信息以获得复合音频信息428的逻辑、电路、或指令操作。在各种实施例中,音频同步模块405可操作来同步和组合来源于多个源的音频信息。这些实施例不受限于该上下文。
在一些实施例中,装置400可以包括音频管理模块406。在各种实施例中,音频管理模块406可以包括装置400的音频子系统。在一些实施例中,音频管理模块可以包括可操作来生成音频信息408的逻辑、电路或指令。音频信息408可以包括代表声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音的信息、数据、逻辑和/或指令。
在各种实施例中,装置400可以包括收发器414。收发器414可以包括一个或多个能够使用各种合适的无线通信技术来发送和接收信号的无线电设备,并且可以与图3的收发器314相同或相似。
在一些实施例中,装置400可以包括网络控制器416。在各种实施例中,网络控制器416可以包括可操作来使得通过图3的网络318在装置400和一个或多个外部设备之间进行的通信成为可能的逻辑、电路和/或指令。如上述提到的,在一些实施例中,图3的网络318可以包括无线网络,因此网络控制器416可以使得由装置400通过网络318、使用收发器414进行的通信成为可能。在各种其他实施例中,网络318可以包括有线网络,并且网络控制器416可以使得由装置400通过网络318、使用一个或多个有线连接进行的通信成为可能。这些实施例不受限于该上下文。
在一些实施例中,装置400可以包括网络控制器420。在各种实施例中,网络控制器420可以包括可操作来使得通过图3的网络322在装置400和一个或多个外部设备之间进行的通信成为可能的逻辑、电路和/或指令。如上述提到的,在一些实施例中,图3的网络322可以包括无线网络,因此网络控制器420可以使得由装置400通过网络322、使用收发器414进行的通信成为可能。在各种其他实施例中,网络322可以包括有线网络,并且网络控制器420可以使得由装置400通过网络322、使用一个或多个有线连接进行的通信成为可能。在一些实施例中,装置400可以包括一个使得通过网络318和网络322进行的通信成为可能的网络控制器。这些实施例不受限于该上下文。
在各种实施例中,装置400可以包括本地时钟430。在一些实施例中,本地时钟430可以包括在装置400内部的驱动装置400内一个或多个元件操作的时钟、振荡器、或其他计时设备。在各种实施例中,例如,本地时钟430可以包括处理器电路402的时钟。这些实施例不限于该示例。
图4还示出了系统440的框图。系统440可以包括装置400的任意上述元件。系统440还可以包括显示器442。显示器442可以包括能够显示从处理器电路402接收到的信息的任意显示器设备,并且可以与图3的显示器342相同或相似。在各种实施例中,显示器442可以被布置以显示可操作来直接或间接地控制装置400的一个或多个元件的图形用户界面。这些实施例不限于该方面。
在一些实施例中,装置400和/或系统440可以包括麦克风424或者可配置为通信地与麦克风424相耦合。麦克风424可以包括能够捕获环境声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音的任意设备,并且可以与图3的麦克风324相同或相似。在各种实施例中,音频管理模块406可操作来通过使用麦克风424捕获环境声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音来生成音频信息408。这些实施例不受限于该上下文。
在一般操作中,装置400和/或系统400可操作来从一个或多个远程设备300-n接收包括音频信息308-n和音频信息308-n的时间索引312-n-p的有索引的音频信息313-n,基于网络时间索引326-q确定音频信息308-n的时间索引432-n-r,基于时间索引312-n-p和时间索引432-n-r确定音频信息308-n的总延迟值434-n-s,基于总延迟值确定音频信息308-n的协同时间索引436-n-t,以及基于音频信息308-n和协同时间索引436-n-t确定复合音频信息428。在各种实施例中,装置400和/或系统440可操作来从多个远程设备300-n接收音频信息308-n并且可操作来基于从多个远程设备300-n接收的音频信息308-n来生成复合音频信息428。在一些实施例中,装置400和/或系统440可操作来生成其自己的音频信息408以及从一个或多个远程设备300-n接收音频信息308-n。在各种这样的实施例中,装置400和/或系统440可操作来基于其生成的音频信息408和从一个或多个远程设备300-n接收的音频信息308-n来生成复合音频信息428。这些实施例不受限于该上下文。
在各种实施例中,音频同步模块405可操作来从一个或多个诸如图3的远程设备300之类的的远程设备300-n接收有索引的音频信息313-n。在一些实施例中,音频同步模块405可操作来通过网络322接收有索引的音频信息313-n,网络322可以包括与图3的网络322相同的网络。在各种实施例中,音频同步模块405可操作来通过网络322以一个或多个音频流的形式接收有索引的音频信息313-n。在一些这样的实施例中,对于每个音频同步模块405通过网络322从中接收有索引的音频信息313-n的远程设备300-n,音频同步模块405可以接收包括该有索引的音频信息313-n的对应的音频流。在各种实施例中,从任意具体远程设备300-n接收的有索引的音频信息313-n可以包括由该设备生成的音频信息308-n和该音频信息308-n的时间索引312-n-p。在一些实施例中,时间索引312-n-p可以为音频信息308-n的任意具体部分、根据设备间时间参考系指示在其对应的远程设备300-n的音频捕获、处理和/或传输过程中该具体部分到达定义的点的时间。例如,时间索引312-n-p可以为音频信息308-n的任意具体部分、根据设备间时间参考系指示该具体部分准备好从其相应的远程设备300-n传输至装置400和/或系统440的时间。这些实施例不受限于该上下文。
在各种实施例中,音频同步模块405可操作来确定接收的音频信息308-n的时间索引432-n-r。在一些实施例中,时间索引432-n-r可以为音频信息308-n的任意具体部分、根据设备间时间参考系指示在其对应的远程设备300-n的音频捕获、处理和/或传输过程中该具体部分到达第二定义点的时间。例如,时间索引432-n-r可以为音频信息308-n的任意具体部分、根据设备间时间参考系指示该具体部分被装置400和/或系统440从其对应的远程设备300-n接收的时间。在各种实施例中,音频同步模块405可操作来基于网络318的网络时间索引326-q确定时间索引432-n-r。在一些实施例中,音频同步模块405可操作来生成包括时间索引326-q的相对偏移的时间索引432-n-r。在各种实施例中,每个时间索引432-n-r可以是[N,s]形式,其中N标识网络时钟信号并且s标识网络时钟信号N的偏移。在网络318包括蓝牙网络并且时间索引326-q包括蓝牙网络时钟信号的一些实施例中,音频同步模块405可操作来生成包括根据蓝牙符号时钟表示的蓝牙网络时钟信号的相对偏移的时间索引432-n-r。在各个这样的实施例中,音频同步模块405可操作来生成被表达为自最近的蓝牙网络时钟信号已经发生的许多蓝牙符号时钟周期的时间索引432-n-r。这些实施例不受限于该上下文。
在一些实施例中,音频同步模块405可操作来基于接收的时间索引312-n-p和生成的时间索引432-n-r确定接收的音频信息308-n的传输延迟值。在各种实施例中,音频同步模块405可操作来通过从所生成的时间索引432-n-r减去时间索引312-n-p来确定这样的传输延迟值。在一些实施例中,传输延迟值可以指示在远程设备300-n的音频捕获、处理和/或传输过程中由第一定义的点和第二定义的点定义的时间周期的持续时间。例如,如果接收到的时间索引312-n-p指示音频信息308-n的具体部分准备好被从其远程设备300-n传输至装置400和/或系统440的时间,并且所生成的时间索引432-n-r指示音频信息308-n的具体部分被装置400和/或系统440接收的时间,则通过从时间索引432-n-r减去时间索引312-n-p计算得出的传输延迟值可以指示与音频信息的具体部分从其远程设备300-n至装置400和/或系统440的传输相关联的延迟。这些实施例不受限于该示例。
在一些实施例中,音频同步模块405可操作来基于音频信息308-n的传输延迟值和音频信息308-n的已知远程处理延迟值确定接收到的音频信息308-n的总延迟值434-n-s。对于音频信息308-n的任意具体部分,远程处理延迟值可以指示在其各自远程设备300-n处音频信息308-n的处理先于时间索引312-n-p的生成的时间段。这些实施例不受限于该上下文。
在各种实施例中,音频同步模块405可操作来基于总延迟值434-n-s确定接收到的音频信息308-n的协同时间索引436-n-t。在一些实施例中,音频同步模块405可操作来根据由本地时钟430定义的本地时间参考系确定协同时间索引436-n-t。在各种实施例中,协同时间索引436-n-t可以包括相对于本地时钟430定义的本地时间。在一些实施例中,音频同步模块405可操作来根据本地时间参考系、基于音频信息308-n的总延迟值434-n-s并基于本地时钟430确定具体音频信息308-n的协同时间索引436-n-t。在一些实施例中,在接收到音频信息308-n的任意具体时,音频同步模块405即可操作来通过从按照本地时钟430的当前本地时间减去音频信息308-n的该部分的总延迟值434-n-s来确定协同时间索引436-n-t。在各个这样的实施例中,协同时间索引436-n-t可以相对于本地时钟430指示其音频信息308-n的对应的部分被捕获的本地时间。这些实施例不受限于该上下文。
在一些实施例中,音频同步模块405可操作来基于音频信息308-n并基于协同时间索引436-n-t生成复合音频信息428。在各种实施例中,装置400和/或系统440可操作来从多个远程设备300-n接收音频信息308-n,以及音频同步模块405可操作来通过基于相应的协同时间索引436-n-t组合各种接收到的音频信息308-n生成复合音频信息428。在一些实施例中,音频同步模块405可操作来利用协同时间索引436-n-t来确定基本上同时被不同远程设备300-n捕获的音频信息308-n的部分,因此音频同步模块405可以生成复合音频信息428,其中音频信息308-n的这些部分在时间上被对齐。在各种实施例中,复合音频信息428可以包括音频流。这些实施例不受限于该上下文。
在一些实施例中,音频管理模块406可操作来生成音频信息408。在各种实施例中,音频信息408可以对应于与从远程设备300-n接收的有索引的音频信息313-n对应的相同实况事件。例如,在一些实施例中,音频管理模块406可操作来通过捕获会议中的音频来生成音频信息408,会议中的音频还被远程设备300-n捕获。在各种实施例中,音频管理模块406可操作来通过使用麦克风424来捕获在实况事件期间出现的环境声调、音乐、发言、发言话语、声音效果、背景噪声、或其他声音生成音频信息408。这些实施例不受限于该上下文。
在一些实施例中,音频同步模块405可操作来确定音频信息408的协同时间索引438-v。在各种实施例中,协同时间索引438-v可以根据与协同时间索引436-n-t相同的本地时间参考系被定义。在一些这样的实施例中,协同时间索引438-v可以包括相对于本地时钟430定义的本地时间。在各种实施例中,对于音频信息408的任意具体部分,协同时间索引438-v可以根据本地时间参考系指示音频信息408的该部分被捕获的时间。在一些实施例中,音频同步模块405可操作来基于本地时钟430直接生成协同时间索引438-v,而不基于设备间时间参考系生成音频信息408的时间索引。在各种实施例中,音频同步模块405可操作来基于设备间时间参考系生成音频信息408的时间索引,然后可操作来基于这些时间索引并基于指示由音频管理模块406进行的音频信息408的生成和由音频同步模块405进行的音频信息408的接收之间的延迟的本地处理延迟值来生成音频信息408的协同时间索引438-v。这些实施例不受限于该上下文。
在一些实施例中,音频同步模块405可操作来通过将音频信息408与从一个或多个远程设备300-n接收的音频信息308-n组合来生成复合音频信息428。在各种实施例中,音频同步模块405可操作来基于音频信息408、音频信息308-n、协同时间索引436-n-t和协同时间索引438-v来生成复合音频信息428。这些实施例不受限于该上下文。
上述实施例的操作可以参照以下附图和所附示例进一步被描述。一些附图可以包括逻辑流程。虽然本文呈现的这些附图可以包括具体逻辑流程,但是可以理解的是,该逻辑流程仅仅提供了本文所描述的一般功能如何能够被实现的示例。而且,给定的逻辑流程不一定必须按所呈现的顺序被执行,除非另有指示。此外给定的逻辑流程可以通过硬件元件、由处理器执行的软件元件、或他们的任意组合来实现。这些实施例不受限于该上下文。
图5示出了逻辑流程500的一个实施例,其可以是由本文所描述的一个或多个实施例执行的操作的代表。更具体的说,逻辑流程500可以包括例如在一些实施例中可以由图4的装置400和/或系统440执行的用于生成复合音频信息的过程的示例。如逻辑流程500所示,包括第一网络时间索引的音频信息可以在502被接收。例如,图4的音频同步模块405可以接收包括音频信息308-n和时间索引312-n-p的有索引的音频信息313-n。在更具体的示例中,时间索引312-n-p可以包括在音频信息308-n向装置400和/或系统440的传输之前由远程设备300-n应用到音频信息308-n的第一时间戳。在504,可以为音频信息确定第二网络时间索引。例如,图4的音频同步模块405可以确定音频信息308-n的时间索引432-n-r。在更具体的示例中,时间索引432-n-r可以包括由音频同步模块405在接收到音频信息308-n时应用到音频信息308-n的第二时间戳。
在506,可以为音频信息确定传输延迟值。例如,图4的音频同步模块405可以基于时间索引312-n-p和时间索引432-n-r确定音频信息308-n的传输延迟值。在更具体的示例中,图4的音频同步模块405可以通过从第二时间戳减去第一时间戳来确定音频信息308-n的传输延迟值。在508,可以确定音频信息的总延迟值。例如,图4的音频同步模块405可以基于音频信息308-n的传输延迟值并基于音频信息308-n的远程处理延迟值确定音频信息308-n的总延迟值434-n-s。在510,可以确定音频信息的协同时间索引。例如,图4的音频同步模块405可以基于音频信息308-n的总延迟值434-n-s并基于本地时钟430确定音频信息308-n的协同时间索引436-n-t。这些实施例不限于这些示例。
图6示出了逻辑流程600的一个实施例,其可以是由本文所描述的一个或多个实施例执行的操作的代表。更具体的说,逻辑流程可以包括例如在各种实施例中可以由图3的装置300和/或系统340执行的用于生成有索引的音频信息的过程的示例。如逻辑流程600所示,在602,音频信息可以被接收。例如,图3的音频索引模块310可以从音频管理模块306接收音频信息308。在604,可以基于第一网络的网络时钟为音频信息确定时间索引。例如,图3的音频索引模块310可以基于由网络318的网络时钟定义的时间索引326-q确定音频信息308的时间索引312-p。在606,可以基于时间索引生成有索引的音频信息。例如,图3的音频索引模块310可以基于时间索引312-p和音频信息308生成有索引的音频信息313。在608,有索引的音频信息可以通过第二网络被发送至计算设备。例如,图3的装置300和/或系统340可以通过网络322将有索引的音频信息发送至计算设备。这些实施例不限于这些示例。
图7示出了系统700的一个实施例。在各种实施例中,系统700可以是适合与本文所描述的一个或多个实施例(比如,图3的装置300和/或系统340、图4的装置400和/或系统440、图5的逻辑流程500和/或图6的逻辑流程600)一起使用的系统或架构的代表。这些实施例不限于该方面。
如图7所示,系统700可以包括多个元件。一个或多个元件可以根据给定一组设计或性能约束的需要使用一个或多个电路、部件、寄存器、处理器、软件子例程、模块、或它们的任意组合来实现。虽然图7通过示例的方式示出了某一拓扑中的有限数目的元件,但是可以理解的是,根据给定实现方式的需要在任意适合的拓扑中更多或更少的元件可以被用于系统700中。这些实施例不受限于该上下文。
在各种实施例中,系统700可以包括处理器电路702。处理器电路702可以使用任意处理器或逻辑设备来实现,并且可以与图3的处理器电路302和/或图4的处理器电路402相同或相似。
在一个实施例中,系统700可以包括耦合至处理器电路702的存储器单元704。根据给定实现方式的需要,存储器单元704可以通过通信总线743或通过处理器电路702和存储器单元704之间的专用通信总线被耦合至处理器电路702。存储器单元704可以使用任意能够存储数据的、包括易失性存储器和非易失性存储器的机器可读介质或计算机可读介质来实现,并且可以与图3的存储器单元304和/或图4的存储器单元404相同或相似。在一些实施例中,机器可读介质或计算机可读介质可以包括非暂态介质。这些实施例不受限于该上下文。
在各种实施例中,系统700可以包括收发器744。收发器744可以包括一个或多个能够使用各种合适的无线通信技术发送和接收信号的无线电设备,并且可以与图3的收发器314和/或图4的收发器414相同或相似。这些实施例不受限于该上下文。
在各种实施例中,系统700可以包括显示器745。显示器745可以相当于任意能够显示从处理器电路702接收到的信息的显示器设备,并且可以与图3的显示器342和/或图4的显示器442相同或相似。
在各种实施例中,系统700可以包括存储装置746。存储装置746可以被实现为非易失性存储器设备,这样的非易失性存储器设备例如是但不限于:磁盘驱动器、光盘驱动器、磁带驱动器、内部存储器设备、附加存储器设备、闪速存储器、电池备份SDRAM(同步DRAM)、和/或网络可访问存储器设备。在实施例中,例如,当多个硬驱动器被包括在内时,存储装置746可以包括用于提升存储性能、强化对有价值的数字媒体的保护的技术。存储装置746的其他示例可以包括硬盘、软盘、光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移除存储卡或盘、各种类型的DVD设备、磁带设备、盒式磁带设备等等。这些实施例不受限于该上下文。
在各种实施例中,系统700可以包括一个或多个I/O适配器747。I/O适配器747的示例可以包括通用串行总线(USB)端口/适配器,IEEE1394火线端口/适配器等等。这些实施例不受限于该上下文。
图8示出了系统800的实施例。在各种实施例中,系统800可以是适合与本文所描述的一个或多个实施例(例如,图3的装置300和/或系统340、图4的装置400和/或系统440、图5的逻辑流程500、图6的逻辑流程600、和/或图7的系统700)一起使用的系统或架构的代表。这些实施例不限于该方面。
如图8所示,系统800可以包括多个元件。一个或多个元件可以根据给定一组设计或性能约束的需要使用一个或多个电路、部件、寄存器、处理器、软件子例程、模块、或它们的任意组合来实现。虽然图8通过示例的方式示出了某一拓扑中的有限数目的元件,但是可以理解的是,根据给定实现方式的需要在任意适合的拓扑中更多或更少的元件可以被用于系统800中。这些实施例不受限于该上下文。
在实施例中,系统800可以是媒体系统,虽然系统800不受限于该上下文。例如,系统800成为以下各项的一部分:个人计算机(PC)、笔记本计算机、超极本计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如,智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备等等。
在实施例中,系统800包括耦合至显示器845的平台801。平台801可以从内容设备(例如,一个或多个内容服务设备848或一个或多个内容传递设备849或其他类似的内容源)接收内容。包括一个或多个导航特征的导航控制器850可以被用于与例如平台801和/或显示器845交互。下面更详细地描述这些部件中的每个。
在实施例中,平台801可以包括处理器电路802、芯片组803、存储器单元804、收发器844、存储装置846、应用806、和/或图形子系统851的任意组合。芯片组803可以在处理器电路802、存储器单元804、收发器844、存储装置846、应用806和/或图形子系统851之间提供相互通信。例如,芯片组803可以包括能够提供与存储器846相互通信的存储适配器(未示出)。
处理器电路802可以使用任意处理器或逻辑设备来实现,并且可以与图7中的处理器电路702相同或相似。
存储器单元804可以使用任意能够存储数据的机器可读或计算机可读介质来实现,并且可以与图7中的存储器单元704相同或相似。
收发器844可以包括一个或多个能够使用各种合适的无线通信技术发送和接收信号的无线电设备,并且可以与图7的收发器744相同或相似。
显示器845可以包括任意电视类型的监视器或显示器,并且可以与图7的显示器745相同或相似。
存储器846可以被实现为非易失性存储器设备,并且可以与图7的存储器746相同或相似。
图形子系统851可以执行对诸如静止图像或视频之类的图像的处理以供显示。例如,图形子系统851可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以被用于通信地耦合图形子系统851和显示器845。例如,该接口可以是任意高清晰度多媒体接口、显示器端口、无线HDMI、和/或无线HD兼容技术。图形子系统851可以被集成到处理器电路802或芯片组803。图形子系统851能够是被通信地耦合至芯片组803的独立的卡。
本文所描述的图形和/或视频处理技术可以在各种硬件架构中被实现。例如,图形和/或视频功能可以被集成在芯片组内。可替代地,可以使用分立的图形和/或视频处理器。作为另一实现方式,图形和/或视频功能可以由通用处理器(包括多核处理器)来提供。在其他实施例中,这些功能可以在消费者电子设备中被实现。
在实施例中,例如,一个或多个内容服务设备848可以由任意国内、国际、和/或独立服务来容宿,因此可被平台801通过互联网访问。一个或多个内容服务设备848可以被耦合至平台801和/或显示器845。平台801和/或一个或多个内容服务设备848可以被耦合至网络852以向和从网络852传输(例如,发送和/或接收)媒体信息。一个或多个内容递送设备849也可以被耦合至平台801和/或显示器845。
在实施例中,一个或多个内容服务设备848可以包括能够通过网络852或直接地在内容提供者和平台801和显示器845之间单向或双向传输内容的有线电视盒、个人计算机、网络、电话、互联网功能设备、或能够递送数字信息和/或内容的用具、以及任意其他类似的设备。可以理解的是,内容可以通过网络852单向和/或双向地向和从系统800内的任意一个部件和内容提供商被传输。内容的示例可以包括任意媒体信息,这样的媒体信息包括例如视频、音乐、医疗和游戏信息等等。
一个或多个内容服务设备848接收诸如包括媒体信息、数字信息、和/或其他内容的有线电视节目之类的内容。内容提供者的示例可以包括任意有线或卫星电视或广播电台或互联网内容提供商。所提供的示例不意在限制本发明的实施例。
在实施例中,平台801可以从具有一个或多个导航特征的导航控制器850接收控制信号。例如,导航控制器850的导航特征可以被用于与用户界面853交互。在实施例中,导航控制器850可以是定点设备,该定点设备可以是允许用户将空间(例如,连续的和多维的)数据输入到计算机的计算机硬件部件(特别是人机接口设备)。许多诸如图形用户界面(GUI)以及电视和监视器之类的系统允许用户使用形体姿态控制并向计算机或电视提供数据。
导航控制器850的导航特征的移动可以通过显示在显示器上的指针、光标、聚焦环、或其他视觉标识符的运动被反映在显示器(例如,显示器845)。例如,在软件应用806的控制下,位于导航控制器850上的导航特征可以被映射到显示在用户界面853上的虚拟导航特征。在实施例中,导航控制器850可以不是分离的部件而是被集成在平台801和/或显示器845中。但是,实施例不受限于本文所示出或描述的这些元件或上下文。
在实施例中,例如,当被启用时,驱动器(未显示)可以包括使得用户能够像打开和关闭电视机那样在初始启动后通过触摸按钮来即时打开和关闭平台801的技术。程序逻辑可以允许平台801在平台被关闭时流送内容至媒体适配器或一个或多个其他内容服务设备848或一个或多个内容传递设备849。此外,例如,芯片组803可以包括支持5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在实施例中,图形驱动器可以包括外设部件互连(PCI)快速图形卡。
在各种实施例中,系统800内显示的任意一个或多个部件可以被集成。例如,平台801和一个或多个内容服务设备848可以被集成,或平台801和一个或多个内容传递设备849可以被集成,或平台801、一个或多个内容服务设备848和一个或多个内容传递设备849可以被集成。在各个实施例中,平台801和显示器845可以是集成单元。例如,显示器845和一个或多个内容服务设备848可以被集成,或显示器845和一个或多个内容传递设备849可以被集成。这些示例不意在限制本发明。
在各种实施例中,系统800可以被实现为无线系统、有线系统、或两者的组合。当被实现为无线系统时,系统800可以包括适合于通过无线共享介质(例如,一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等)进行通信的部件和接口。无线共享介质的示例可以包括无线频谱(比如,RF频谱等等)的多个部分。当被实现为有线系统时,系统800可以包括适合于通过有线通信介质(例如,I/O适配器、连接I/O适配器与对应的有线通信介质的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等等)进行通信的部件和接口。有线通信介质的示例可以包括电线、线缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴线缆、光纤等等。
平台801可以建立一个或多个用于传输信息的逻辑或物理信道。信息可以包括媒体信息和控制信息。媒体信息可以指表示对用户有意义的内容的任意数据。内容的示例可以包括例如来自语音会话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。来自语音会话的数据可以是例如发言信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息可以指表示用于自动系统的命令、指令或控制字的任意数据。例如,控制信息可以被用于通过系统路由媒体信息,或指示节点以预定的方式处理媒体信息。但是,这些实施例不受限于图8中所示出的或描述的这些元件或上下文。
如上所描述的,系统800可以被实施为各种物理样式或形状因数。图9示出了其中系统800可以被实施的小形状因数的设备900的实施例。在实施例中,例如,设备900可以被实现为具有无线功能的移动计算设备。移动计算设备可以指具有处理系统和移动电源或供电器(例如,一个或多个电池)的任意设备。
如上所描述的,移动计算设备的示例可以包括个人计算机(PC)、笔记本计算机、超极本计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如,智能电话、智能平板、或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备等等。
移动计算设备的示例还可以包括被布置为由人穿戴的计算机,例如,手腕计算机、手指计算机、指环计算机、眼镜计算机、皮带夹计算机、臂章计算机、鞋计算机、衣服计算机、和其他可穿戴计算机。在实施例中,例如,移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然一些实施例可以通过示例的方式用被实现为智能电话的移动计算设备来描述,但是可以理解的是,其他实施例也可以使用其他无线移动计算设备来实现。这些实施例不受限于该上下文。
如图9所示,设备900可以包括显示器945、导航控制器950、用户界面953、壳体954、I/O设备955、和天线956。显示器945可以包括用于显示适合于移动计算设备的信息的任意合适的显示单元,并且可以与图8的显示器845相同或相似。导航控制器950可以包括可以被用于与用户界面953交互的一个或多个导航特征,并且可以与图8的导航控制器850相同或相似。I/O设备955可以包括用于将信息输入至移动计算设备的任意合适的I/O设备。I/O设备955的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等等。信息还可以通过麦克风的方式被输入至设备900。这样的信息可以通过语音识别设备被数字化。这些实施例不受限于该上下文。
各种实施例可以使用硬件元件、软件元件、或两者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑设备(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组等等。软件的示例可以包括软件部件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或它们的任意组合。确定实施例是否是使用硬件元件和/或软件元件来实现的可以根据任意数目的因素变化,这些因素比如是:所期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其他设计或性能约束。
至少一个实施例的一个或多个方面可以通过存储在机器可读介质上的表示处理器内各种逻辑的代表性指令来实现,当这些指令被机器读取时,使得机器制造用于执行本文所描述的技术的逻辑。这样的被称为“IP核”的表示可以被存储在有形的、机器可读介质上,并且被供给到各种客户或制造业设备以加载到实际制造逻辑或处理器的制造机器。例如,一些实施例可以使用可以存储指令或指令集的机器可读介质或制品来实现,这些指令或指令集如果被机器执行,则可以使得机器根据实施例执行方法和/或操作。这样的机器可以包括,例如,任意合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等等,并且可以使用任意合适的硬件和/或软件的组合来实现。机器可读介质或制品可以包括,例如,任意合适类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储制品、存储介质、和/或存储单元,例如,存储器、可移除介质或不可移除介质、可擦除介质或不可擦除介质、可重写介质或不可重写介质、数字介质或模拟介质、硬盘、软盘、光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移除存储卡或磁盘、各种类型的数字化多功能光盘DVD、磁带、盒式磁带等等。指令可以包括使用任意合适的高级、低级、面向对象的、可视、编译和/或解释的编程语言实现的任意合适的类型的代码,例如,源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等等。
下面的示例属于进一步的实施例:
至少一个机器可读介质可以包括多个指令,这些指令响应于在计算设备上被执行使得所述计算设备:接收包括根据网络的网络时钟定义的第一网络时间索引的音频信息;确定该音频信息的第二网络时间索引,第二网络时间索引是根据网络时钟定义的;基于第一网络时间索引和第二网络时间索引之间的差值确定音频信息的传输延迟值;以及基于传输延迟值并基于音频信息的远程处理延迟值确定音频信息的总延迟值,远程处理延迟值指示由远程设备对音频信息进行处理的时间段。
这样的至少一个机器可读介质可以包括指令,这些指令响应于在计算设备上被执行,使得计算设备基于总延迟值并基于本地时钟确定音频信息的协同时间索引,该协同时间索引指示相对于本地时钟定义的时间。
关于这样的至少一个机器可读介质,网络时钟可以包括蓝牙网络的蓝牙网络时钟。
关于这样的至少一个机器可读介质,第一网络时间索引可以指示网络时钟值的相对偏移,该相对偏移可以包括网络的符号时钟的多个周期。
这样的至少一个机器可读介质可以包括指令,这些指令响应于在计算设备上被执行,使得计算设备根据基于网络时钟定义的设备间时间参考系同步由多个设备进行的音频信息的回放。
这样的至少一个机器可读介质可以包括指令,这些指令响应于在计算设备上被执行,使得计算设备接收第二音频信息,确定第二音频信息的协同时间索引,以及基于音频信息的协同时间索引和第二音频信息的协同时间索引,将音频信息与第二音频信息相组合。
一种装置可以包括处理器电路和音频同步模块,该音频同步模块用于在处理器电路上执行以执行以下操作:接收包括根据网络的网络时钟定义的第一网络时间索引的音频信息;确定该音频信息的第二网络时间索引,第二网络时间索引是根据网络时钟定义的;基于第一网络时间索引和第二网络时间索引之间的差值确定音频信息的传输延迟值;以及基于传输延迟值并基于音频信息的远程处理延迟值确定音频信息的总延迟值,远程处理延迟值指示由远程设备对音频信息进行处理的时间段。
关于这样的装置,音频同步模块可用于在处理器电路上执行以基于总延迟值并基于本地时钟确定音频信息的协同时间索引,该协同时间索引指示相对于本地时钟定义的时间。
关于这样的装置,网络时钟可以包括蓝牙网络的蓝牙网络时钟。
关于这样的装置,第一网络时间索引可以指示网络时钟值的相对偏移,该相对偏移包括网络的符号时钟的多个周期。
关于这样的装置,音频同步模块可用于在处理器电路上执行以根据基于网络时钟定义的设备间时间参考系同步由多个设备进行的音频信息的回放。
关于这样的装置,音频同步模块可用于在处理器电路上执行以接收第二音频信息,确定第二音频信息的协同时间索引,以及基于音频信息的协同时间索引和第二音频信息的协同时间索引,将音频信息与第二音频信息相组合。
一种方法可以包括:接收包括根据网络的网络时钟定义的第一网络时间索引的音频信息;确定该音频信息的第二网络时间索引,第二网络时间索引是根据网络时钟定义的;基于第一网络时间索引和第二网络时间索引之间的差值确定音频信息的传输延迟值;以及基于传输延迟值并基于音频信息的远程处理延迟值确定音频信息的总延迟值,远程处理延迟值指示由远程设备对音频信息进行处理的时间段。
这样的方法可以包括:基于总延迟值并基于本地时钟确定音频信息的协同时间索引,该协同时间索引指示相对于本地时钟定义的时间。
关于这样的方法,网络时钟可以包括蓝牙网络的蓝牙网络时钟。
关于这样的方法,第一网络时间索引可以指示网络时钟值的相对偏移,该相对偏移包括网络的符号时钟的多个周期。
这样的方法可以包括:根据基于网络时钟定义的设备间时间参考系同步由多个设备进行的音频信息的回放。
这样的方法可以包括:接收第二音频信息,确定第二音频信息的协同时间索引,以及基于音频信息的协同时间索引和第二音频信息的协同时间索引,将音频信息与第二音频信息相组合。
至少一个机器可读介质可以包括多个指令,这些指令响应于在计算设备上被执行,使得计算设备执行以下操作:生成音频信息;基于网络的网络时钟确定音频信息的网络时间索引;以及基于网络时间索引和音频信息生成有索引的音频信息。
关于这样的至少一个机器可读介质,网络可以包括蓝牙网络,网络时钟可以包括蓝牙网络的蓝牙网络时钟。
关于这样的至少一个机器可读介质,网络时钟索引可以包括网络时钟值的相对偏移,该相对偏移可以包括网络的符号时钟的多个周期。
这样的至少一个机器可读介质可以包括指令,这些指令响应于在计算设备上被执行,使得计算设备通过第二网络将有索引的音频信息发送至第二计算设备。
一种装置可以包括处理器电路和音频索引模块,该音频索引模块用于在处理器电路上执行以执行以下操作:生成音频信息;基于网络的网络时钟确定音频信息的网络时间索引;以及基于网络时间索引和音频信息生成有索引的音频信息。
关于这样的装置,网络可以包括蓝牙网络,网络时钟可以包括蓝牙网络的蓝牙网络时钟。
关于这样的装置,网络时钟索引可以包括网络时钟值的相对偏移,该相对偏移包括网络的符号时钟的多个周期。
关于这样的装置,音频索引模块可用于在处理器电路上执行以通过第二网络将有索引的音频信息发送至计算设备。
一种系统可以包括处理器电路、耦合至处理器电路的麦克风、以及耦合至存储器电路的存储器单元,该存储器单元存储有音频索引模块,该音频索引模块用于在处理器电路上执行以执行以下操作:使用麦克风捕获音频信息;基于网络的网络时钟确定音频信息的时间索引;以及基于时间索引和音频信息生成有索引的音频信息。
关于这样的系统,网络可以包括蓝牙网络,网络时钟可以包括蓝牙网络的蓝牙网络时钟。
关于这样的系统,网络时间索引可以包括网络时钟值的相对偏移,该相对偏移包括网络的符号时钟的多个周期。
关于这样的系统,音频索引模块可用于在处理器电路上执行以通过第二网络将有索引的音频信息发送至计算设备。
本文已经详细的阐述了大量具体细节以提供对实施例的透彻的理解。但是,本领域的技术人员将理解的是,这些实施例可以在没有这些具体细节的情况下被实施。在其他实例中,对已知的操作、部件、和电路并未进行详细描述以免混淆这些实施例。能够理解的是,本文公开的具体结构和功能细节可以是代表性的,而不一定限制实施例的范围。
一些实施例可以使用“耦合的”和“连接的”及他们的派生表述来描述。这些术语不旨在作为彼此的同义词。例如,一些实施例可以使用术语“连接的”和/或“耦合的”来描述以指示两个或更多个元件是直接互相物理或电气接触。但是,术语“耦合的”也可以指两个或多个元件不是直接互相接触,但仍然互相协作或交互。
除非以其他方式特别声明,可以理解的是,诸如“处理”、“计算”、“测算”、“确定”等等术语指的是计算机或计算系统或类似的电子计算设备的动作和/或过程,其将在计算系统的寄存器和/或存储器内被表示为物理量(例如,电子的)的数据操纵和/或变换为在计算系统的存储器、寄存器、或其他这样的信息存储装置、传输或显示设备内被类似地表示为物理量的其他数据。这些实施例不受限于该上下文。
应当注意的是,本文描述的方法不必按所描述的顺序或任意具体顺序被执行。此外,针对本文标识的方法描述的各种活动可以以串行或并行的方式被执行。
虽然本文已经示出和描述了具体实施例,但是应当理解的是,任意经计算以实现相同目的的布置都可以替换所示的具体实施例。本公开旨在涵盖各种实施例的任意和所有改编或变型。可以理解的是,上述描述是以说明性的方式而不是限制性的方式做出的。上述实施例的组合和本文没有具体描述的其他实施例对正在阅读到上述描述的本领域的技术人员是显而易见的。因此,各种实施例的范围包括上述组合、结构和方法被用于其中的任意其他应用。
需要强调的是,本公开的摘要被提供以符合37C.F.R.§1.72(b)要求允许读者快速确定本技术公开的实质的摘要的规定。该摘要是在理解其不会被用来解释或限制权利要求的范围或含义的前提下被提交的。此外,在前述详细说明中,可以看出,各种特征在单一实施例中被组合到一起以达到简化本公开的目的。这种公开方法不应被解释为反映所要求保护的实施例比明确记载于每个权利要求的实施例需要更多的特征的意图。相反,如下面的权利要求所反映的,发明主题在于少于单一公开的实施例的所有特征。因此,所附权利要求被结合到具体实施方式中,每个权利要求其本身为分开的优选实施例。在所附的权利要求中,术语“包括”和“在其中”被用作术语“包含”和“其中”的通俗英语等价物。此外,术语“第一”、“第二”和“第三”等仅仅被用作标签,并不是旨在对其对象强加数字要求。
虽然本主题已经以特定于结构特征和/或方法动作的语句被描述,但是应当理解的是,所附权利要求中定义的主题不一定限于上述具体特征或动作。相反,上述具体特征或动作被公开作为实现权利要求的示例形式。

Claims (10)

1.一种用于音频同步的装置,包括:
处理器电路;以及
音频同步模块,该音频同步模块用于在所述处理器电路上执行以执行以下操作:
在第一网络上接收音频信息的至少两个部分,所述音频信息的每个部分包括根据第二网络的网络时钟定义的第一网络时间索引,所述第一网络时间索引指示网络时钟值的相对偏移,所述相对偏移包括所述第二网络的符号时钟的多个周期;
确定所述音频信息的每个部分的第二网络时间索引,所述第二网络时间索引是根据所述第二网络的网络时钟定义的;
基于所述第一网络时间索引和所述第二网络时间索引之间的差值确定所述音频信息的每个部分的传输延迟值,所述传输延迟指示与所述音频信息的每个部分在所述第一网络上的传输相关联的延迟;以及
基于所述所述音频信息的每个部分的传输延迟值并基于所述音频信息的每个部分的远程处理延迟值确定所述音频信息的每个部分的总延迟值,所述远程处理延迟值指示由远程设备对所述音频信息的每个部分进行处理的时间段;
基于所述总延迟值并基于本地时钟确定所述音频信息的每个部分的协同时间索引,所述协同时间索引指示相对于所述本地时钟定义的时间;以及
基于所述音频信息的每个部分的协同时间索引将所述音频信息的至少两个部分进行组合以生成复合音频信息。
2.如权利要求1所述的装置,所述协同时间索引指示所述音频信息的每个部分被捕获的时间。
3.如权利要求1所述的装置,所述网络时钟包括蓝牙网络的蓝牙网络时钟。
4.如权利要求1到3中的任一项所述的装置,所述音频同步模块用于在所述处理器电路上执行以执行以下操作:根据基于所述网络时钟定义的设备间时间参考系同步由多个设备进行的所述音频信息的回放。
5.一种用于音频同步的方法,包括:
在第一网络上接收音频信息的至少两个部分,所述音频信息的每个部分包括根据第二网络的网络时钟定义的第一网络时间索引,所述第一网络时间索引指示网络时钟值的相对偏移,所述相对偏移包括所述第二网络的符号时钟的多个周期;
确定所述音频信息的每个部分的第二网络时间索引,所述第二网络时间索引是根据所述第二网络的网络时钟定义的;
基于所述第一网络时间索引和所述第二网络时间索引之间的差值确定所述音频信息的每个部分的传输延迟值,所述传输延迟指示与所述音频信息的每个部分在所述第一网络上的传输相关联的延迟;以及
基于所述所述音频信息的每个部分的传输延迟值并基于所述音频信息的每个部分的远程处理延迟值确定所述音频信息的总延迟值,所述远程处理延迟值指示由远程设备对所述音频信息的每个部分进行处理的时间段;
基于所述总延迟值并基于本地时钟确定所述音频信息的每个部分的协同时间索引,所述协同时间索引指示相对于所述本地时钟定义的时间;以及
基于所述音频信息的每个部分的协同时间索引将所述音频信息的至少两个部分进行组合以生成复合音频信息。
6.如权利要求5所述的方法,包括:所述协同时间索引指示所述音频信息的每个部分被捕获的时间。
7.如权利要求5所述的方法,所述网络时钟包括蓝牙网络的蓝牙网络时钟。
8.如权利要求5所述的方法,包括:根据基于所述网络时钟定义的设备间时间参考系同步由多个设备进行的所述音频信息的回放。
9.一种机器可读存储介质,其上存储有指令,所述指令响应于在计算设备上被执行使得所述计算设备执行根据权利要求5-8中的任一项所述的用于音频同步的方法。
10.一种用于音频同步的设备,包括用于执行根据权利要求5-8中的任一项所述的方法的装置。
CN201380060110.0A 2012-12-24 2013-06-28 改进的音频同步技术 Active CN104798412B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/726,352 2012-12-24
US13/726,352 US9521449B2 (en) 2012-12-24 2012-12-24 Techniques for audio synchronization
PCT/US2013/048421 WO2014105201A1 (en) 2012-12-24 2013-06-28 Improved techniques for audio synchronization

Publications (2)

Publication Number Publication Date
CN104798412A CN104798412A (zh) 2015-07-22
CN104798412B true CN104798412B (zh) 2018-08-24

Family

ID=50974706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380060110.0A Active CN104798412B (zh) 2012-12-24 2013-06-28 改进的音频同步技术

Country Status (4)

Country Link
US (1) US9521449B2 (zh)
EP (1) EP2936890A4 (zh)
CN (1) CN104798412B (zh)
WO (1) WO2014105201A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307508B2 (en) 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
US9832507B2 (en) 2014-06-27 2017-11-28 Qualcomm Incorporated System and method for synchronizing media output devices connected on a network
US20160309277A1 (en) * 2015-04-14 2016-10-20 Qualcomm Technologies International, Ltd. Speaker alignment
US10516718B2 (en) * 2015-06-10 2019-12-24 Google Llc Platform for multiple device playout
GB2540185B (en) * 2015-07-08 2018-05-16 Canon Kk Method and system for wireless communications
US20170208221A1 (en) * 2016-01-20 2017-07-20 Le Holdings(Beijing)Co., Ltd. Multimedia playing device
US10334358B2 (en) 2017-06-08 2019-06-25 Dts, Inc. Correcting for a latency of a speaker
US10897667B2 (en) 2017-06-08 2021-01-19 Dts, Inc. Correcting for latency of an audio chain
US10009862B1 (en) * 2017-09-06 2018-06-26 Texas Instruments Incorporated Bluetooth media device time synchronization
CN111352605A (zh) * 2018-12-20 2020-06-30 海信视像科技股份有限公司 一种音频播放、发送的方法及装置
US11190836B2 (en) 2018-12-20 2021-11-30 Hisense Visual Technology Co., Ltd. Audio playing and transmitting methods and apparatuses
CN109688528A (zh) * 2018-12-27 2019-04-26 安克创新科技股份有限公司 音频设备及信号延迟的测试方法、系统以及存储介质
CN110572799B (zh) * 2019-07-25 2020-12-25 华为技术有限公司 一种同时响应的方法及设备
EP4181516A4 (en) * 2020-10-16 2023-12-06 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR CONTROLLING CONNECTION OF WIRELESS AUDIO OUTPUT DEVICE
WO2023055951A1 (en) * 2021-09-29 2023-04-06 Dolby Laboratories Licensing Corporation Audio speaker coordination system
CN114882718A (zh) * 2021-12-03 2022-08-09 鸿海精密工业股份有限公司 适用于v2x系统的装置及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
WO2009148751A2 (en) * 2008-06-05 2009-12-10 Motorola, Inc. Time aligned group audio reproduction in narrowband and broadband networks
CN102035639A (zh) * 2009-09-30 2011-04-27 华为技术有限公司 时间同步方法、装置和系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844600A (en) * 1995-09-15 1998-12-01 General Datacomm, Inc. Methods, apparatus, and systems for transporting multimedia conference data streams through a transport network
WO2002060178A1 (en) 2001-01-23 2002-08-01 Digeo, Inc. Synchronizing multiple signals received through different transmission mediums
US7440511B2 (en) * 2001-04-25 2008-10-21 Texas Instruments Incorporated Transmit filter
KR100499037B1 (ko) 2003-07-01 2005-07-01 엘지전자 주식회사 디지털 텔레비젼 수신기의 립 싱크 테스트 방법 및 장치
US7693190B2 (en) * 2006-11-22 2010-04-06 Cisco Technology, Inc. Lip synchronization for audio/video transmissions over a network
US8576922B2 (en) 2007-06-10 2013-11-05 Apple Inc. Capturing media in synchronized fashion
JP5500385B2 (ja) 2007-10-19 2014-05-21 ヴォクサー アイピー エルエルシー ネットワークを介したリアルタイムメディア同期の方法およびシステム
US8346171B1 (en) * 2008-02-15 2013-01-01 Marvell International Ltd. Reducing interference between wireless networks
US20090298420A1 (en) 2008-05-27 2009-12-03 Sony Ericsson Mobile Communications Ab Apparatus and methods for time synchronization of wireless audio data streams
WO2010068175A2 (en) 2008-12-10 2010-06-17 Muvee Technologies Pte Ltd Creating a new video production by intercutting between multiple video clips
US8351437B2 (en) * 2009-11-12 2013-01-08 Sony Mobile Communications Ab Stereo bit clock tuning
JP2012195704A (ja) 2011-03-15 2012-10-11 Fujitsu Ltd 同期制御装置、同期制御方法、同期制御プログラム
US20130201316A1 (en) * 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US9661047B2 (en) * 2012-04-30 2017-05-23 Mobilatv Ltd. Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
US9838651B2 (en) * 2012-08-10 2017-12-05 Logitech Europe S.A. Wireless video camera and connection methods including multiple video or audio streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
WO2009148751A2 (en) * 2008-06-05 2009-12-10 Motorola, Inc. Time aligned group audio reproduction in narrowband and broadband networks
CN102035639A (zh) * 2009-09-30 2011-04-27 华为技术有限公司 时间同步方法、装置和系统

Also Published As

Publication number Publication date
WO2014105201A1 (en) 2014-07-03
CN104798412A (zh) 2015-07-22
US20140177864A1 (en) 2014-06-26
EP2936890A4 (en) 2016-06-15
EP2936890A1 (en) 2015-10-28
US9521449B2 (en) 2016-12-13

Similar Documents

Publication Publication Date Title
CN104798412B (zh) 改进的音频同步技术
CN104767807B (zh) 一种基于穿戴设备的信息传递方法及相关设备
Jiang et al. Software for wearable devices: Challenges and opportunities
CN104798418B (zh) 基于位置的无线外围设备选择
CN103702264B (zh) 相机驱动的音频空间化
CN108696631A (zh) 用于提供与附件设备相对应的内容的方法及其电子设备
CN108777859A (zh) 移动终端与穿戴设备间的数据处理方法、终端及存储介质
CN106464571A (zh) 基于设备模式来协调跨设备的消息提示呈现
CN108123945B (zh) 随机数据的发放方法、系统及智能终端
US10171971B2 (en) Electrical systems and related methods for providing smart mobile electronic device features to a user of a wearable device
CN109195001A (zh) 直播礼物的展示方法、装置、存储介质和终端
CN103475754A (zh) 基于智能手表的个人信息交换装置及方法
WO2021238933A1 (zh) 一种应用于电子设备的控制方法及电子设备
WO2021249073A1 (zh) 一种健康数据展示方法和电子设备
CN113810542B (zh) 一种应用于电子设备的控制方法、电子设备及计算机存储介质
CN108351698A (zh) 用于控制电子设备中执行的应用的可穿戴电子设备和方法
CN108282388A (zh) 用于向家居设备传递数据信息的装置与方法
CN109147746A (zh) 一种k歌方法及终端
CN109120778A (zh) 一种显示控制方法及终端
CN114285938A (zh) 一种设备推荐方法及设备
CN103618757A (zh) 一种家庭健康云平台系统
WO2022206637A1 (zh) 一种携物提醒方法、相关设备及系统
CN110187764A (zh) 一种弹幕显示方法、穿戴式设备及存储介质
CN204423307U (zh) 一种无线三维体感操控系统
CN201690538U (zh) 一种内置无线网卡的电视机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant