CN104380682B - 由松散协调的媒体呈现设备形成媒体网络的系统及方法 - Google Patents

由松散协调的媒体呈现设备形成媒体网络的系统及方法 Download PDF

Info

Publication number
CN104380682B
CN104380682B CN201380024593.9A CN201380024593A CN104380682B CN 104380682 B CN104380682 B CN 104380682B CN 201380024593 A CN201380024593 A CN 201380024593A CN 104380682 B CN104380682 B CN 104380682B
Authority
CN
China
Prior art keywords
media
network
stream
display device
peer node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380024593.9A
Other languages
English (en)
Other versions
CN104380682A (zh
Inventor
帕埃尔·贡纳斯·里斯贝里
兰迪·托特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cirrus Logic International Semiconductor Ltd
Original Assignee
Wolfson Microelectronics PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wolfson Microelectronics PLC filed Critical Wolfson Microelectronics PLC
Publication of CN104380682A publication Critical patent/CN104380682A/zh
Application granted granted Critical
Publication of CN104380682B publication Critical patent/CN104380682B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/10Adaptations for transmission by electrical cable
    • H04N7/106Adaptations for transmission by electrical cable for domestic distribution

Abstract

公开了一种用于从一个或多个媒体呈现设备来呈现媒体流的系统和/或媒体网络。所述媒体网络可以包括一个或多个可配置的对等节点,每一个可配置的对等节点均可配置作为呈现设备、观察器、处理设备、及其组合等。所述系统可以特别适合于在远程地点使用,以在未受控的媒体环境内生成受控的和/或共享的会议拓扑结构,和/或从相关对等节点的集合中在一组参与者之中生成强声场。

Description

由松散协调的媒体呈现设备形成媒体网络的系统及方法
技术领域
本公开涉及用于由松散协调的媒体呈现设备形成媒体网络的网络、系统以及方法。更具体地,本公开涉及用于在音频呈现设备集合之中产生共享音频声场的网络、系统以及方法。
背景技术
移动技术和消费类电子设备(CED)继续在全世界扩大应用和范围。随着更具成本效益的移动和消费类电子技术的出现,曾经传统上利用昂贵的、定制装置来实现的专业媒体系统(音频和视频系统)的多个方面可以潜在地在消费类应用中实现。在CED继续迅速扩大的同时,设备硬件和部件已出现快速技术进步,从而使得计算能力提高和新型外围设备板载设备的合并,以及设备尺寸、功耗等的降低。
在许多情况下,此类设备缺少提供一种真正的高保真声音体验所必需的基本音质。音频体验仅是消费类电子设备设计中所考虑的众多因素之一。通常情况下,音频系统、扬声器等的质量让步于其他诸如成本、视觉吸引力、形状因素、屏幕界面、外壳材料的选择、硬件布局以及组装考虑事项等的设计因素。许多这些竞争因素是以牺牲音频质量为代价来提高的,其中音频质量是由音频驱动器、部件布局、扬声器、材料和组装的考虑事项、外壳设计等来决定的。
另外,消费者继续要求更精简化的体验,而没有有配置、产品具体安装和培训的麻烦。在许多情况下,消费者可能期望新设备开箱后立即工作。建立和保持设备之间通信所必需的多个配置步骤可能会对用户体验产生不利影响且潜在地流失新客户。
用于流动媒体至一个或多个呈现设备的网络拓扑结构继续发展和标准化。因此,用于维护对于媒体消费很重要的功能的新兴网络配置正变得更广泛可用(例如,基于IP的音频解决方案、标准网络实现等)。
涉及到会议应用,利用专门的耳机和FM收发器可以提供同声传译。接纳和使用这些系统通常会受到可用频道数量、实现所必需的专用硬件的需要以及相关成本的限制。没有特定硬件的参会者可能无法接入传译广播。此外,这样的系统通常是单向的广播且不可以被配置以提供参会者之间的自由讨论。
这样的媒体网络部件必须定期地处理来自各种来源的多种信号类型(例如,音频信号、视频信号、传感数据等)。
如上所述的系统和设备问题是与音频处理、视频处理和遥测应用领域特别相关的。
发明内容
本公开的一个目的是提供一种高效的且具有成本效益的媒体呈现网络。另一个目的是从松散协调的呈现设备网络中产生一种受控声场。还有另一个目的是提供一种媒体网络,其被配置成尽量降低用户设置要求且最大程度地提高易用性。还有另一个目的是提供一种用于在会场记录媒体场的媒体网络。还有另一个目的是提供一种用于从网络上的多个对等节点来自动协调媒体流呈现的媒体网络。还有另一个目的是提供一种用于在对等节点集合之中产生共享声场的媒体网络。
根据本公开由符合所附权利要求的网络、系统和方法来整体地或部分地达成上述目的。特别地,在所附权利要求书中,在以下的说明书中和在附图中阐明了本公开的特征和方案。
根据本公开的方案,提供了一种利用网络上的一个或多个对等节点呈现媒体流的方法,所述方法包括:指定一个或多个对等节点作为用于呈现媒体流的呈现设备,每一个呈现设备均包括至少一种影响由所述呈现设备呈现媒体的呈现特性;提供一个或多个对等节点之间的网络连接,连接支持媒体服务;向至少其中一个对等节点提供媒体流;给每一个呈现设备分配媒体流的至少一部分或从媒体流生成的流;以及对媒体流至少一部分或从所述媒体流生成的流补偿至少其中一个呈现特性。
可以通过媒体服务,和/或至少其中一个对等节点来执行补偿步骤。媒体服务可以在一个或多个呈现设备上协调和/或同步媒体呈现。一个或多个呈现参数可以是延迟参数、声学参数、音频滞后、音频频谱响应、音频干扰、回声、声压级和及其组合等。补偿步骤可以包括调整延迟参数以同步一个或多个呈现设备上的媒体呈现。
一个或多个对等节点可以将与其呈现特性、计算能力、可用资源、可用能源储备和/或其组合中的一个或多个有关的一个或多个参数报告给局域网上的一个或多个对等节点。
根据本公开可以采用定位算法来执行确定网络中的一个或多个对等节点位置的步骤。该方法可以包括收听由一个或多个对等节点所产生的呈现媒体。该收听可以用作给定位算法的输入。
根据本公开的方案,提供了一种用于呈现媒体流的媒体网络,所述媒体网络包括:多个对等节点,其经由局域网而连接,至少一个对等节点被配置为包括一个或多个呈现特性的呈现设备;呈现设备,其被配置为接受媒体流的至少一部分或从媒体流生成的流并且产生个体呈现流,所接受的流和个体呈现流之间的关系取决于呈现特性;和媒体服务,其被配置为通过局域网将媒体流的至少一部分或从媒体流生成的流分配给呈现设备,所述媒体服务和/或一个或多个对等节点被配置为计算补偿因数和/或调整至少一部分媒体流以补偿所述呈现设备的至少一个呈现特性以便于调整个体呈现流。
一个或多个对等节点可以是消费类电子设备。消费类电子设备的一些非限制性示例包括智能手机、平板电脑、立体声音响系统、扬声器、电视机、耳机、平视显示器及其组合等。
根据本公开的方案,提供了一种用于在来自媒体流的环境中生成受控的和/或共享的媒体场的媒体网络,所述媒体网络包括:多个对等节点,其经由局域网而连接,一个或多个对等节点被布置在所述环境内的物理位置上;媒体服务,其通过局域网将媒体流和/或从媒体流生成的流分配给一个或多个对等节点;一个或多个对等节点,其被配置作为呈现设备,一个或多个呈现设备被配置为接收输入流并且呈现至少一部分输入流以形成局部呈现流,所述局部呈现流有助于媒体场;和一个或多个对等节点,其被配置作为观察器,至少一个观察器被配置为评价在相应物理位置上的至少一部分媒体场,并且由此生成校正信号和/或源信号。
一个或多个对等节点和/或分配系统可以被配置为基于校正信号来调整一个或多个局部呈现流。
一个或多个观察器可以包括评价媒体场的听觉方案的麦克风,评价媒体场的视觉方案的光传感器,和/或评价媒体场的嗅觉方案的化学传感器。
一个或多个对等节点可以是被配置为生成媒体流的源和/或用户输入设备。媒体流可以包括关于如何应该在媒体场中的一个或多个位置处播放媒体流的空间分布信息。
媒体网络可以包括摄像机、立体摄像机和/或3D摄像机系统以表征一个或多个对等节点的位置和/或相对于一个或多个对等节点的用户的位置。用户意指可以经由一个或多个对等节点与媒体网络互动的人。
一个或多个呈现设备可以被配置为根据其在环境中的物理位置来播放媒体流的不同部分。
一个或多个观察器和/或呈现设备可以被配置为在整个环境中移动(即被配置作为媒体网络中的移动式对等节点)。
媒体网络可以包括被配置为确定环境中的一个或多个对等节点的位置的定位算法。一个或多个对等节点可以包括被配置为给定位算法提供信号的WiFi模块、近场通信传感器、音频定位系统和/或基于LED的通信系统。
根据本公开的方案,提供了一种用于呈现媒体流的媒体网络,所述媒体网络包括:多个对等节点,其经由局域网而连接,一个或多个对等节点被配置作为呈现设备,每一个呈现设备包括一个或多个呈现特性,每一个呈现设备均被配置为接收输入流并且呈现至少一部分输入流以产生个体呈现流,个体呈现流取决于呈现特性;和媒体服务,其被配置为通过局域网将至少一部分媒体流分配给呈现设备,一个或多个对等节点、和/或媒体服务被配置为调整一个或多个个体呈现流以补偿至少一个呈现设备的至少一个呈现特性。
一个或多个对等节点可以被配置作为媒体源,所述媒体源被配置为经由媒体服务给一个或多个对等节点提供媒体流。一个或多个对等节点可以被配置为向被配置为接收或发送至少一部分媒体流的广域网提供入口。
媒体服务可以包括被配置为同步两个以上个体呈现流的实时传输协议。
根据本公开,媒体网络可以包括均布置在媒体场内位置上的一个或多个观察器。一个或多个观察器可以被配置为监控媒体场以生成校正信号,媒体服务被配置为接收校正信号。
媒体网络可以包括补偿算法,所述补偿算法被配置为在媒体场内预定位置处生成虚拟对等节点。
根据本公开的方案,提供了一种用于呈现媒体流的媒体网络,所述媒体网络包括:多个对等节点,其经由局域网而连接;媒体服务,其被配置为通过局域网将媒体流的至少一部分或得自所述媒体流的流分配给一个或多个对等节点;和自动或半自动配置服务,其被配置为基于一个或多个网络配置参数来生成选择标准;至少其中一个对等节点可选择性地配置作为用于基于选择标准来呈现媒体流的呈现设备。
一个或多个对等节点可以选择性地配置作为用于评估媒体流的质量标准的观察器。一个或多个配置参数可以取决于质量标准。一个或多个配置参数可以包括位置参数、社交参数、能力参数和/或其组合。
媒体网络可以包括空间组织群,所述空间组织群可以由空间组织区域来限定,一个或多个对等节点位于由所述空间组织群所限定的区域中。
一个或多个对等节点被配置为与用户交互和/或定位在媒体场内的用户。选择标准可以取决于网络拓扑结构配置、一个或多个对等节点之间的接近度、一个或多个对等节点和用户之间的接近度,和/或一个或多个对等节点和空间组织群之间的接近度。
媒体服务可以包括被配置为确定媒体网络内一个或多个对等节点的位置的定位算法。媒体网络可以包括一个或多个接近度传感器,每一个接近度传感器被配置为生成位置信号。定位算法可以被配置为接受一个或多个位置信号。一些非限制性的接近度传感器的示例包括WiFi模块、近场通信模块、红外传感器、LED、麦克风及其组合等。
根据本公开的方案,提供了一种用于呈现媒体流的方法,所述方法包括:经由局域网连接包括一个或多个配置参数的多个对等节点;通过局域网将媒体流的至少一部分或得自所述媒体流的流分配给一个或多个对等节点;基于一个或多个配置参数来生成选择标准;配置一个或多个对等节点作为基于选择标准来呈现媒体流的呈现设备;以及利用呈现设备来呈现至少一部分媒体流。
根据本公开的方案,提供了一种用于从媒体流生成受控的和/或共享的媒体场的方法,所述方法包括:提供多个经由局域网而连接的呈现设备;在每一个呈现设备上呈现媒体流的至少一部分和/或从媒体流生成的信号以产生多个局部媒体场;在至少其中一个呈现设备的听觉和/或视觉范围内的一个或多个位置上监控所述局部媒体场;以及基于监控情况来调整至少其中一个呈现设备的呈现以控制媒体场。
根据本公开,可以通过观察器来提供监控。
所述方法可以包括基于监控的步骤来重新配置一个或多个呈现设备。
所述方法可以包括利用一个或多个呈现设备来合成波场以及基于监控来校正所述波场。
根据本公开的方案,提供了按照本公开的媒体网络在酒店设置、医院设置、音乐会设置、礼堂、家庭设置、办公设置和/或及其组合的使用和/或提供了按照本公开的方法在酒店设置、医院设置、音乐会设置、礼堂、家庭设置、办公设置和/或及其组合中的使用。
根据本公开的方案,提供了一种用于呈现媒体流的媒体网络,所述媒体网络包括:经由局域网连接的、包括一个或多个配置参数的多个对等节点;媒体服务,其通过局域网将媒体流的至少一部分或得自所述媒体流的流分配给一个或多个对等节点;和配置服务,其被配置为基于配置参数,连接一个或多个对等节点和/或一个或多个准对等节点至网络和/或将一个或多个对等节点和/或一个或多个准对等节点从网络断开连接,至少一个对等节点可选择性地配置作为用于基于配置参数来呈现媒体流的呈现设备。
根据本公开的方案,提供了一种用于呈现媒体流的方法,所述方法包括:经由局域网连接包括一个或多个配置参数的多个对等节点;通过局域网将媒体流的至少一部分或得自所述媒体流的流分配给一个或多个对等节点;基于一个或多个配置参数来生成选择标准;配置一个或多个对等节点作为用于基于选择标准来呈现媒体流的呈现设备;以及利用至少其中一个呈现设备来呈现至少一部分媒体流。
根据本公开的方案,提供了一种用于在场地记录媒体场的方法,所述方法包括:在整个会场的多个位置处监控媒体场以生成多个个体媒体流;在整个场地确定所述多个位置的坐标;以及将一个或多个个体媒体流和一个或多个位置记录在存储介质上。
可以通过一个或多个麦克风来执行收听的步骤,每一个麦克风都安置在其中一个位置上。按照本公开,麦克风可以包括在一个或多个对等节点中,按照本公开,每一个对等节点可以通过媒体网络来连接。一个或多个对等节点可以是消费类电子设备(例如,平板电脑、智能手机、iPhone等)。
按照本公开,可以通过定位算法来执行确定坐标的步骤。
附图说明
参照以下附图能够更好地理解本公开的几个方案。在附图中,相同的附图标记指定几幅视图中相应的部分。
图1示出了按照本公开的媒体网络的方案。
图2示出了按照本公开的包括群组的媒体网络的方案。
图3示出了按照本公开的包括多个群组的媒体网络的方案。
图4示出了按照本公开的生成本地声场的媒体网络的方案。
图5示出了按照本公开的媒体网络的方案。
图6示出了按照本公开的包括可视化设备的媒体网络的方案。
图7a至图7b示出了按照本公开的建立连接至媒体网络的方法和在媒体网络上呈现媒体的方法。
图8a至图8b示出了按照本公开被配置用于会议会话的媒体网络的方案。
图9a至图9d示出了按照本公开管理媒体网络的方法的方案。
图10示出了按照本公开被配置用于大场地设置的媒体网络的方案。
图11a至图11b示出了按照本公开利用媒体网络的波场合成和/或校正方案。
图12a至图12b示出了按照本公开利用媒体网络的波场合成和/或校正方案。
图13示出了按照本公开被配置用于多房间设置的媒体网络的方案。
图14示出了按照本公开包括于对等节点中的音频增强系统。
图15示出了按照本公开用于在包含于媒体网络中的一个或多个对等节点之间实施的编码方案。
具体实施方式
下面参照附图来描述本公开的具体实施方式;然而,所公开的实施方式仅仅是本公开的示例且可以采用各种形式来体现。没有详细描述众所周知的功能和结构以避免在不必要的细节中模糊了本公开。因此,在这里所公开的具体结构和功能细节不应被解释为限制,而仅仅作为权利要求书的依据且仅仅作为用于教导本领域技术人员以几乎任何适当的详细结构来不同地体现本公开的有代表性的依据。在整个附图说明中相同的附图标记可以指代相似的或完全相同的元件。
在这里所述的一些方案是与“任意”采样率(例如,任意源或目的地采样率)相关。正如这里所使用的那样,术语“任意”可以指没有预先确定的任何采样率(例如,设计采样率转换系统时是未知的)。应当理解的是,在这里所述的其他一些方案中,采样率也可以与“固定率”和预先确定的采样率的实施有关。
而且,正如这里所使用的那样,小写变量将表示时域中的序列,而大写变量将表示频率表征(例如,x是在时域中表示的序列,而X是在频域中表示的同一变量)。下标用于代表时域中序列的时间索引(例如xn)。不同的下标字母用于代表与时域中序列的时间索引有关的不同的采样率(例如xn,yb,zk等)。
可以在诸如扬声器组套、家庭媒体中心、本地广播系统、消费类电子设备等的多个呈现设备之中来创建按照本公开的媒体网络、隐式媒体网络以及隐式音频网络。一些非限制性的消费类电子设备的示例包括有源扬声器、扩音器、蜂窝式电话(例如智能手机)、平板电脑,笔记本、便携式媒体播放器、电视机、便携式游戏机、游戏控制台、游戏控制器、遥控器、电器(例如烤箱、冰箱、面包机、微波炉、吸尘器等)、电动工具(钻机、搅拌机等)、机器人(例如自主清洁机器人、看护机器人等)、玩具(例如玩具娃娃、小型雕像、模型组、拖拉机等)、贺卡、家庭娱乐系统等。
在一些方案中,即使配置了极其低成本的音频换能器,音频呈现设备也可以参与在媒体网络中。在该非限制性示例中,低成本音频呈现设备可以接受低延迟预处理信号以便于即时呈现。
在诸如便携式游戏机的移动消费类电子设备或电池驱动的消费类电子设备的情况下,可以配置设备(即音频呈现设备)以增强本地共享声场,同时尽可能降低用电量,从而延长电池使用寿命,减少了板载发热量等。
正如在这里所使用的那样,按照本公开,术语“本地媒体场/本地声场”可以指由媒体网络中的一个或多个对等节点在其附近所产生的媒体场/声场。术语“共享媒体场/声场”可以指由网络中的多个对等节点所观察和/或所呈现的媒体场/声场。
媒体网络可以包括多个对等节点。每一个对等节点可以被配置为提供功能以支持网络运行,提供计算资源,在网络上呈现一个或多个媒体流,和/或在网络的共享媒体场内观察所呈现的媒体。
在一个非限制性的示例中,媒体网络可以支持在这里所述的媒体流动方案(例如,媒体服务)以分配媒体给媒体网络中的一个或多个对等节点。媒体流动方案和/或定时方案可以由媒体网络或其中一个或多个服务层来协调。时间协调服务的一些非限制性示例可以包括于精确时间协议(PTP)、RAVENNA、Dante、Android@home、AirPlay、Sonos网络及其组合等中。
媒体网络可以包括用来确定网络中一个或多个对等节点的特定位置的定位方案(例如,定位算法)。网络的定位方案可以供给媒体流动方案的一个或多个功能、服务和/或参数。
媒体网络可以包括至诸如社交网络、广域网、点对点网络、报文发送网络、智能能源网络、家电网络等其他网络的一个或多个链接。由此,在媒体网络中的一个或多个对等节点可以经由一个或多个媒体类型(例如,音频、文本、视频、声音、表情符号等)与其他网络中或媒体网络内的一个或多个对等节点私下通信。
按照本公开,媒体网络可以包括一个或多个媒体增强方案(例如,音频增强系统、音频增强算法等)。媒体增强方案可以包括以下服务:用于同步一个或多个对等节点(呈现设备、通用对等节点等)之间的媒体传输的服务;用于校正与一个或多个呈现设备相关的延迟的服务,与网络有关的延迟的服务;用于校正网络内一个或多个对等节点的位置的服务;用于补偿媒体网络中一种对等节点的一个或多个呈现特性的服务;用于在由媒体网络中一个或多个对等节点所生成的共享媒体场内移动一个或多个对等节点的服务等。
一个非限制性的示例中,媒体网络可以包括一个或多个用来确定和/或引导媒体流的方向(例如,一个或多个声频通道、一个或多个声频带、图片渲染、管弦乐器等)至媒体网络中一个或多个对等节点的媒体服务。在媒体网络中的不同对等节点可以接收备择的媒体流、媒体流的不同方面,等等。一个或多个对等节点可以被配置为重复流以便于在使用过程中在整个网络上有效地传输媒体流。这样的重传可以用来遍布网络在更大的操作环境下(即例如在多种房间环境下的各房间之间、无线网络空间之间、等等)。在一个非限制性的示例中,一个或多个有线对等节点可以用来在媒体网络内的两个或更多个以其他方式未连接的无线子群之间传输数据。
媒体网络可以包括一个或多个服务质量的算法以补偿高延迟的呈现设备。在一个非限制性的示例中,网络可以包括服务质量,其被配置以便于根据媒体流、操作环境和/或网络上一个或多个对等节点的能力来设定最大延迟参数。在一个非限制性的示例中,音乐的音频流可以配置有较长延迟参数,而视听流可以配置有较短延迟参数,以便于更好地同步媒体流的音频方面和视频方面。可以配置服务质量算法以便于根据网络配置和/或媒体流的内容自动重新配置延迟参数。可以排除在操作上不能保持必要延迟时间的呈现设备以使得网络向用户输送高品质的媒体流。延迟和/或同步算法可以配置为可调整的,使得可以在共享声场中提供极其精确的定时,但当群组间串话干扰不是很重要时(例如在建筑物中的房间之间,在酒店房间之间、等等),可以放宽定时。
网络可以包括一个或多个用于配置和/或更新延迟参数的服务(例如配置服务)。在一个非限制性的示例中,可以配置服务以提供次级采样精确延迟参数。这样精确的延迟配置可以有利于配置极其精确的波场再现,有利于调整声场内的多个对等节点之间的波传播定时,等等。在一个非限制性的示例中,按照本公开,可以与异步采样率转换器(ASRC)结合来允许次级采样延迟。正如预期应用所必需的那样,可以配置ASRC以上采样输入的媒体流,从而提高其的时间分辨率。这样的配置可以有利于实现波场与媒体网络的非常精确的合成,有利于实现非常精确的延迟(采样之间的定时)。
按照本公开,媒体网络可以支持一个或多个分配协议,例如脉冲宽度调制预补偿协议,以便于减轻网络中一个或多个资源受限的对等节点上的工作负荷。因而,可以使用PWM预补偿协议以缓解在最慢设备上的资源需求,指定资源可用的处理中心(例如,在服务器上,等等)。另外地,替代地,或两者结合,网络可以包括一个或多个分布式处理服务,其被配置为利用可用资源来处理网络中任何一个可用的对等节点上的媒体流的一个或多个方面。这样的配置可以有利于减轻那些可能是过度资源受限的设备的计算负荷量(即以便于允许那些设备仅接收、播放、响应等)。
媒体网络可以包括基于一个或多个其他服务(定位服务、网络配置服务等)来自主地配置对等节点以呈现媒体流的一个或多个方面的配置服务。在一个非限制性的示例中,媒体网络可以包括用于确定何时呈现设备可以从提供第一媒体流或及其方面转变为提供另一个媒体流或及其替代方面(例如,从立体声流转变为左后流,从第一媒体流转变为第二媒体流,等等)的自动配置服务。
媒体网络可以包括水印服务,其被配置为水印一个或多个媒体流,或许为呈现源所特有(例如,水印媒体流以确定媒体流已通过独特的呈现源呈现,等等)。水印服务可以被配置为从所观察到的媒体流(例如,通过网络中的对等节点观察)中提取水印以便于确定一个或多个呈现源(例如,被配置以便于呈现媒体流的对等节点),媒体网络中的呈现源的三角网等等对所呈现流的贡献。
另外地,替代地,或两者结合,水印服务可以被配置为在操作过程中至少部分地定位在媒体网络内的一个或多个呈现源以及可选地定位在操作过程中在媒体网络内呈现源位置变化的至少一些方面。水印的一个或多个方面可以包括用于进入媒体网络声场,接近媒体网络、媒体网络内的特定群组和/或区域等的准对等节点的自动连接的网络信任凭证。
在这里所公开的一个或多个网络和/或概念可以是可修正的以供一系列网络拓扑结构使用。网络拓扑结构的一些示例包括基于IP的拓扑结构、局域网等。一般地说,网络拓扑结构可以优选地提供诸如低延迟性、可扩展性、冗余性和同步性的特性,基于这些特性可以提供媒体网络服务。一些现有的可以提供足够的基本服务功能和/或及其方面的拓扑结构包括RAVENNA、DLNA、HomePlay、HD-PLC、AirPlay、Android@Home、WiFi、Ethernet、LANs(有线或无线)、无线拓扑结构(星型、树型、线型、网型等)。
媒体网络可以与诸如由HomePlug和/或KNX所提供的低数据率的家电网络通信。在一个非限制性的示例中,家电网络可以包括用于控制家庭和/或办公环境内的电器(例如控制照明设备、百叶窗、恒温器、比色照明方案、风机噪声降低、休息站等)的(可选的)低数据率传输服务。媒体网络可以包括被配置为调整相关家电网络中一个或多个电器的环境控制服务。可以配置环境控制服务以便于基于一个或多个相关的媒体流动方案和/或定位方案来自动控制一个或多个电器。在一个非限制性的示例中,当在局部呈现设备(例如电视机)上开始回放媒体流(例如电影)时,室内照明可以自动变暗。可替代地,可以调整室内照明以适应用户在整个媒体场中的移动(例如,如果高优先级的对等节点移动通过媒体场,等等)。
媒体网络可以包括用于管理用于相关会话描述协议中的低水平流动操作、时钟域、同步信息等的功能性。构思的一个或多个方案可以基于在这里所述的其中一个基本拓扑结构分层以便于在其上增加用于按照本公开生成媒体网络的功能(例如,作为具体应用的软件模块等)。
在一个示例中,使用实时传输协议(RTP)以在整个网络、子群等提供媒体的流动。RTP可以提供端对端的网络传输功能,其适合于将例如音频数据、视频数据、遥测数据、仿真数据等实时数据发送给网络中的一个或多个呈现设备。RTP可以解决资源预留和/或担保在网络上所提供的实时服务的服务质量。替代地,另外地,或两者结合,可以通过替代网络服务来提供这样的功能,其可以仅为流动功能性使用RTP。通过控制协议(RTCP)可以增强数据传输,从而允许以可扩展至更大的和/或特设网络的方式来监控数据传送,和/或提供网络所需要的最低控制和识别功能性。RTP和RTCP可以被配置为独立于底层的传输层和网络层。协议可以支持RTP电平转换器和混频器的使用。
除了诸如TCP/IP或UDP/IP的通信协议以外,还可以提供RTP,其可以提供几种不一定由IP层提供的数据服务,例如提供端口号以帮助区分不同的对等节点请求以及,可选地,提供校验和能力以核实到达预定目的地的数据是否完好。
通过媒体网络所传送的媒体流可以被配置作为单播流、组播流,可以实时改变目的地,和/或被分割且仅部分地传送至网络中的一个或多个呈现设备。通常,组播流可以提供对网络链路的更资源有效的使用以及在不同情况下可用媒体流之间更快的切换,这样将在网络内的不同位置(对等节点)处访问某一媒体流。单播流动可以有利于链接用于私人对话、接发消息事件等的子群、或网络区域内的对等节点。
被配置为接收媒体流的对等节点(例如,观察器、呈现设备、一般的对等节点等)可以通过适当的协议(例如,RTSP/SDP协议等)连接至任何现有的媒体流。按照本公开,接收对等节点则可以呈现媒体流的一个或多个方面(例如,视频、音频、及其部分等)。可以随同媒体流一起发送正确地呈现媒体流所必需的信息(例如,作为媒体流标头的一部分等)以便于方便地调整媒体流的局部方面以供呈现。这样的信息可以包括:频道选择、声音增强参数、频带宽度首选项、声压级、优选的延迟(例如由空间化/定位服务所提供,麦克风引出的定时延迟等)。在一个非限制性的示例中,接收器可以使用RTSP/SDP协议,其受到各种各样的媒体播放器的支持。
在一些方案中,准设备(准对等节点、准源设备和/或呈现设备)可以尝试加入媒体网络。准设备则可以获得唯一标识符(例如IP地址等)。准设备可以宣布它的存在并发布关于它可以提供给网络的可用服务的信息(例如IP地址和主机名、所支持的协议、访问信息、关于可用媒体流的信息、最低性能担保等)。初始配置之后,准设备可以晋升至对等节点状态,成为媒体网络中的对等节点。在一个非限制性的示例中,服务发布和发现可以基于DNS-SD协议(例如基于IP的实现范围内、RAVENNA实现等)。
可以无需同步来提供媒体流(例如,当在组间成员之间进行私人通信时,等等)。一些媒体流可以是组播流,从而要服从严格受控的定时的需要。因而,除了用于媒体时钟的相位-准确同步服务以外,还可以提供同步和定时延迟的功能性(例如,按照定时同步标准、精确时间协议、AES-11等)。可以由诸如RAVENNA、HomePlay等较低层次的网络拓扑结构来提供基本同步服务,基于空间化/定位算法的特殊定时校正可以应用于这样的网络拓扑结构上。正如这样的资源可由媒体网络使用那样,可以在呈现设备、支持对等节点、源等处计算这样的定时校正。
在一个非限制性的示例中,通过IEEE1588-2008(精确时间协议,PTPv2)可以横跨所有网络节点来实现基础层次的同步。只要所有参与的交换机本身支持PTPv2,PTPv2可以提供参照相关的主时钟用于同步本地时钟至精确到较低纳秒范围的手段。即使没有PTP支持,可实现的基础同步的精度可能足以达成横跨每一个网络节点的采样精确同步。
在一些非限制性的示例中,当WAN上的媒体网络和相关网络上的本地主时钟同步至GPS作为常见时域时,可以通过WAN连接(例如虚拟参与者)来实现采样精确同步。
在采样精确同步的状态下,系统可以应用声场校正的算法、基于反馈的算法、和/或定位算法以便于调整在呈现设备上的媒体流回放,从而说明本地声场效果。可以在一个或多个呈现设备处本地处理这样的算法,可以通过网络中一个或多个对等节点利用资源盈余来处理这样的算法,可以横跨网络中的多个对等节点等以共享的方式处理这样的算法。可以与回声补偿算法、水印算法(例如一个或多个音频水印等)一起或并行地应用该算法。
按照本公开,媒体网络可以包括一个或多个声场校正算法。在一个非限制性的示例中,媒体可以包括声场校正算法,其被配置为自动建立和/或调整一个或多个对等节点的增益和延迟设置(即以便于优化由网络上松散形成的对等节点的分组所配置的7.1环绕声系统)。可选地,网络可以包括用于实现其上有源噪声消除的一个或多个算法。一个或多个对等节点可以包括麦克风以便于作为声场观察器使用。可以配置算法以接受来自这样的观察器的反馈,从而进一步调整由媒体网络所产生的声场。
声场校正算法可以包括用于基于网络内的一个或多个对等节点的定位来调整声场的方案。在一个非限制性的示例中,随着优先级对等节点在整个网络空间移动,可以配置算法以调整声场和/或重新配置呈现设备。在一个使用场景下,随着收听者加入媒体网络内的群组中,可以配置算法以调整媒体流的回放。在一个这样的示例中,可以通过对等节点的耳机来播放媒体,且随着对等节点加入相关家庭,媒体可以平稳地转移至家庭音响系统。在整个媒体网络上移动时,一个或多个定位服务可用来更准确地跟踪对等节点,以供相关声场调整算法使用。
在另一个与大会场有关的使用场景下,可以配置声场校正算法以延迟在会场内一个或多个移动式对等节点上的回放,以便于使本地回放与由一个或多个固定对等节点(例如,主舞台音响、大型公共广播系统等)所产生的波阵面相匹配。这样的配置可以有利于产生同步的、本地声音增强,而没有本地延迟,将本地目标媒体增加到基础媒体流上,等等。来自对等节点的发声的本地性质可以进一步限制网络中足够远的对等节点之间的串话干扰(即,以便于在回放过程将回声、回响等降至最低)。
按照本公开,媒体网络可以包括一个或多个基于反馈的媒体校正算法。基于反馈的媒体校正算法可以从媒体网络中的观察器接受一个或多个反馈信号,从而以便于在本地校正服务质量,增强本地场,消除本地回声,生成波场等。在一个非限制性的示例中,可以为动态声场校正来配置算法,其中通过附着于和/或包括在网络中的对等节点中的麦克风(例如在智能手机、麦克风、完全特征化的麦克风上,等等)来在本地监控声场。正如由网络内的一个或多个对等节点所播放那样(例如,一个或多个固定呈现设备、移动式呈现设备、立体声舞台或环绕声舞台等),基于反馈的媒体校正算法可以调整媒体流或从媒体流生成的信号,以便于随着麦克风在整个相关媒体场上移动(即随着用户在整个房间内或房间之间移动,等等)来跟随麦克风(即,通过正确的频道增益、延迟调整等)。反馈算法可以从相关定位算法,从一个或多个视觉定位算法(例如正如从摄像机、立体摄像机、3D摄像机、Kinect摄像机及其组合等所获得的)接受一个或多个信号,从而确定首选的对等节点定位在媒体场中的位置(例如,在沙发上,随着多个对等节点位于整个空间,等等)。在一个非限制性的示例中,可以利用一个或多个对等节点(例如,多频道对等节点、7+1个体对等节点等)来实现环绕声系统。
另外地,替代地,或两者结合,在对等节点场地处可以配置校正算法以进行有源噪声消除。对等节点可以观察本地声场,且相关校正算法可以确定所感知的声场如何不同于预期的声场(即,正如通过媒体流本身的一个或多个方面所确定的那样)。算法可以将一个或多个噪声消除方案添加到媒体流或从媒体流生成的信号上,以便于优选地调整在优选级对等节点处的本地声场。
媒体网络可以包括可配置的空间化服务/算法以给网络提供校正的媒体呈现数据,以便于帮助各种网络功能(例如,群形成、群维护、群对等节点交换、声场生成、声场校正等)。一些适合的空间化方法包括ITD(双耳间时间差)、ILD(双耳间电平差)、HRTF(头相关传递函数)及其组合等。
可以在对等节点上、在服务器中等的具体应用硬件、音频处理器等中本地操作空间化/定位算法。这样的配置可以有利于减轻与为媒体流计算足够时间延迟相关的处理器负担,等等。
音频水印可以嵌入一个或多个媒体流和/或从媒体流生成的信号中。水印可以包括扩谱音频水印(SSW)、伪噪声序列、定时信号、量化方案、双贴方案、拼凑方案、幅度修改、回声隐藏、复制品调制、时标修改、跳动标度变换、同步调制、过零同步、凸点提取、自标记方案、基于时间的调制方案,及其组合等。可以并入非盲水印(例如可听水印)供配置使用,确定网络中对等节点之间的定时延迟等。可以发送这样的音频水印给一个或多个对等节点以帮助网络的配置,在网络中一个或多个对等节点的定位,等等。如果在预期应用中是可取的,则所选择的方案可以与一个或多个心理声学模型相结合以考察不可听性。在一个非限制性的示例中,媒体网络包括用于在一个或多个媒体流上应用的一系列基于复制品调制的水印。基于复制品调制的水印可以用作配置媒体网络,识别网络上的对等节点,网络上的对等节点之间的通信,为一个或多个准对等节点识别媒体流特性,提供一个或多个识别码等的基函数。
在一个非限制性的示例中,网络可以包括一个或多个对等节点,其均配置有专用的呈现设备(例如,耳机、耳蜗植入物、无线耳机等)。因而,可以配置媒体网络以便于在每一个单独的对等节点呈现媒体流中提供声场增强、覆盖私人对话等(即,用于在相关专用呈现设备上回放)。可以使用这样的配置在具有多个对等节点(另外,对等节点之间的本地串话干扰可能会干涉这样的功能)的环境中以提供诸如实时翻译、波场合成等的功能性。
可以使用音频呈现设备来呈现一部分媒体流(例如,创建协调的3D声场,播放最适合设备的媒体流的那些方面,播放最适合收听者的位置的媒体流的那些方面,等等)。
一个或多个对等节点可以包括反馈传感器(例如,采样本地声场的各方面的麦克风、用于确定本地色场的比色计、环境光传感器、摄像机、光电探测器、无线网络嗅探器等)。这样的对等节点可以被配置作为观察器。观察器可以被配置为从局部呈现的媒体场采样信息以供媒体网络中的各种算法和/或服务使用。
网络中的一个或多个对等节点可以包括接近度传感器(例如,GPS、红外传感器、超声波接近度传感器、无线网络嗅探器等)以帮助建立网络中对等节点之间的位置关系。接近度传感器可以被配置为生成接近度数据,其可供给网络以便在调整媒体流动方案作为定位方案的输入使用,在交换信任凭证中使用,等等。
在一些方案中,一个或多个服务质量(QoS)的算法可以用于在操作过程中评估网络(例如,可以通过诸如DiffServ的服务来提供至少某种水平的功能性)。DiffServ基于流通量分类的原则而工作,其中,每一个数据包被置于有限数量的流通量分类中,而不是基于个体媒体流的要求来区分网络流通量。可以不同地管理每一个流通量分类,确保优先处理网络上较高优先级的流通量。
流通量优先级可以部分地基于基础服务结构。不同的优先级可以被分配给不同类别的流通量。定时临界媒体流可以接受最高的优先级,其次是基于接近度的设备间媒体流、实时媒体流通量、控制流通量、然后是配置流通量。最低级别的流通量可以接受最低(标准)优先级,且当资源可用时,将被视为尽力传送的流通量。
按照本公开,媒体网络可以包括对一个或多个群或子群的支持。可以基于对等节点之间的空间关系、在空间的位置、社交群体、对等节点优先级等来确定群或子群。在整个公开内容中描述群和/或子群的一些非限制性的示例。在一个非限制性的示例中,群可以与位置有关(例如,诸如在由媒体网络上选定的呈现设备所产生的声场的音频范围内、在限定空间内、在房间内,等等)。每一个群和/或子群可以包括一个或多个管理员、一个或多个通信员(例如用于群间通信等)。管理员可以协调群内的活动,协调群内的媒体传输,提供识别该群的标志,等等。
媒体网络可以与一个或多个用户和/或收听者相接。用户或收听者意指人类观察者且可以或可以不包括用于与网络接口的对等节点。一个或多个对等节点可以配置为与用户和/或收听者接口,以便于与网络互动,监控网络配置,选择媒体流,等等。
媒体网络可以被配置为自动管理管理权限,用户优先级等。这样的对等节点优先级方案可以为媒体网络上的一个或多个对等节点提供诸如收听权,和/或呈现媒体流、收发消息、广播媒体流、获得媒体流来源等特权。这样的特权可能被限制在整个媒体网络中,在子群内,在子群内的对等节点之间等访问。在使用过程中,基于用户或管理员偏好的变化、网络配置的变化、媒体流优先级的变化、媒体网络中对等节点的定位方面的变化等,可以改变对等节点的特权。
这样的优先化方案也可以适用于网络内的一般定时事件。这样的定时事件在处于本地的对等节点之中(例如,可能与基于接近度的子群有关)可能会被更高优先考虑的,而在远程协调的对等节点之中(例如,诸如在酒店、会议场所等明确分开的房间中的对等节点)则可能会松弛。因而,在使用过程中可以更优化管理媒体网络的整体要求(即,以便于将整体功耗、网络性能要求等降至最低,同时保持可接受的服务质量)。
按照本公开,在媒体网络中的一个或多个对等节点可以包括音频增强系统。音频增强系统可以包括代表对等节点的音频呈现特性的一个或多个参数。媒体网络可能拥有可以接受这些参数中的一个或多个的音频补偿服务或算法。因此,在媒体流动过程中,可以通过媒体网络结合这些参数以实时执行音频增强。在一个非限制性的示例中,与音频增强系统相关的一个或多个计算方案可以利用媒体网络中的可用资源在对等节点上计算。这样的配置可以有利于减轻在相关对等节点上的处理工作量(例如,以便于最大限度地降低功耗,因此,改善多任务处理延迟性等)。媒体网络可以被配置为基于网络上所配置的一个或多个算法或服务将计算从一个对等节点移至另一个对等节点(即,诸如由网络中的对等节点的物理接近度、对等节点从一个子群迁移至另一个子群、工作量优先级变化、电力供应变化、收听者的位置改变等来确定)。可以通过网络上的配置服务来进行参数管理。在一个非限制性的示例中,网络上的一个或多个对等节点可以采用加密的形式上传有关呈现参数至网络上的“处理”节点(例如,具有可用处理资源的对等节点)。
按照本公开,在媒体网络中的一个或多个对等节点可以包括PWM预补偿系统。这样的配置可以有利于从媒体网络中低成本的呈现设备上提供高品质的声音。在媒体网络中的其他地方可以进行一个或多个音频增强计算,以便于尽可能地降低在这样低成本的呈现设备上的计算需求。媒体网络标准和其他相关算法可以被自动配置为更新至少一个媒体流动方案(例如,在说明书中在广播中的自动延迟控制、本地相位控制等),适应本地设备的不足等。在整个公开内容中描述了PWM预补偿方案的一些非限制性方面的情况。这样的PWM预补偿方法可以有利于实现声场改善;媒体流增强、对等节点缺陷校正,以及推行一个或多个低成本呈现设备,同时保持在对等节点附近的高品质的声场。
一个或多个对等节点可以被配置为赋予各种能力给媒体网络(例如,诸如副低音扬声器能力、高频扬声器能力、音频带能力、电源能力等)。媒体网络可以包括配置服务,以自动配置媒体网络内的呈现设备。在一个非限制性的示例中,媒体网络可以被配置为自动调整用于网络上可用呈现设备的交叠(crossover)。
一个或多个对等节点可以包括传感器(例如,麦克风等)以提供传感器输入信号。传感器输入信号可以用于由媒体网络所支持的一个或多个声场配置算法中。在一个非限制性的示例中,一个或多个对等节点可以被配置为生成相关的传感器输入信号(例如,本地声场等)。可以给包括在媒体网络中的声场评估算法提供传感器输入场以评估声场的一个或多个方面。在一些方案中,声场评估算法可以被配置为评估在房间或会场与媒体网络相关的低音模式。在操作中,可以经由媒体网络中一个或多个对等节点来计算和/或执行声场评估算法。
媒体网络可以包括用于在相关媒体场内提供反馈、噪声消除,和/或本地声场共振消除的算法。这样的算法可以被配置为在传送至指定的呈现设备之前、之中和/或之后调整媒体流,以便于补偿预期的效果。在一个非限制性的示例中,一个或多个呈现设备可以或许基于本地音频电平、在相关观察员处所体验到的平均声压级等,来调整输入的音频流,以便于在本地调整声场,从而更好地匹配所需的回放状态(例如,更均匀的声压级、在源处受控的声压级等)。在一个方案中,通过比较来自媒体流的预期声压级与通过在声场的观察员所体验的声压级(即与预期回放状态的本地偏差的生成),可以确定预期的特性。
媒体网络可以包括一个或多个虚拟声卡服务。虚拟声卡服务可以被配置为更轻松地管理资源(例如,用于计算信号调节方案、重采样方案等),管理媒体网络上对等节点之中不同的音频标准、采样率容差等,以及传送音频流至媒体网络上指定的呈现设备。在一些方案中,媒体网络可以包括一个或多个虚拟声卡服务,其被配置以便于使网络内的对等节点和呈现设备相互关联且以便于在任何给定时间自动调整呈现设备从而为声场中的用户提高声场质量。在一些方案中,根据相互关联的对等节点和/或用户在由媒体网络所覆盖的整个空间的移动情况,虚拟声卡服务可以在专用呈现设备和高品质固定装置之间,固定装置之间等提供媒体流的手动切断、呈现任务、信号调节方案等。
该网络可以包括一个或多个“虚拟”参与者,可能在预定物理位置处“插入”共享声场中。虚拟参与者可以向媒体网络中馈送媒体、本地声场数据且可以从远程位置与网络互动。在一个非限制性的示例中,虚拟参与者可以经由WAN连接与媒体网络互动。该系统可能会优先考虑具有较高优先级的本地网络内的同步,然后是与和WAN相连接的虚拟参与者相关的同步。可以经由媒体网络中的一个或多个对等节点和/或虚拟参与者,至少部分地执行其他诸如相关场地的分析(例如,受环境影响的媒体人工制品、回声分析、混响分析、听点分析等)、波场合成,和/或3D声场生成和/或分析的环境功能。在一个非限制性的示例中,可以将虚拟参与者插进声场中(即,作为波场合成应用的一部分,产生声场中本地化发声的假象,插进管弦乐队成员等)。
可以使用虚拟参与者来评价波场合成算法,调整这样的算法,等等。在该非限制性的示例中,可以将虚拟参与者插入空间内的某点处并被配置为生成一个或多个呈现媒体流以供网络中的一个或多个对等节点检测和/或监控。监控反馈可以用作给相关声场增强算法的输入,从而调整其一个或多个方面(即呈现体之间的定时、呈现幅度、音效的叠加等)。
按照本公开,媒体网络可以适用于广泛的应用和场地。用于实现这样的媒体网络的一些非限制性的应用和/或场地包括俱乐部、餐厅、家、办公室、派对、个人媒体空间、会议、酒店、度假村、体育赛事、礼堂、大型场馆、室外场地、声场合成、电影院等。
在一个非限制性的应用中,按照本公开,媒体网络可以被配置为在俱乐部内工作。俱乐部可以包括一个或多个固定装置,每一个固定装置包括一个或多个对等节点,可选地配置作为参与媒体网络的呈现设备。对等节点可以包括音频设备(扬声器、观察器等)、可视化设备(屏幕、光显示器等)和/或传感器(接近度传感器、环境光传感器、声压级传感器等)。俱乐部可以包括一个或多个移动式对等节点、自由地在整个俱乐部移动的移动式对等节点(例如,被配置作为由服务员、保安人员、演艺人员等使用的观察器的无线对等节点)。在可能的对等节点进入会场,要求参与等时,媒体网络可以接受一个或多个潜在的对等节点,促使每一个潜在的对等节点加入一个或多个群中(例如,促使加入客户群、收听者群、员工群等)。参与在媒体网络中的对等节点可以被分配给媒体网络内的一个或多个群。可以基于空间关系(例如,位置、房间、空间区域、与一个或多个对等节点的接近度等),基于与网络中一个或多个对等节点的关系(例如,服侍工作人员、保安人员、管理人员、艺人、行政人员、OPS技术人员、客户、高级客户、DJ等),来配置群。
媒体网络可以包括被配置作为场地一部分的群(例如,咖啡厅、商店、购物中心、餐厅等)。可以基于与其的接近度,由相关用户签字等,将一个或多个准对等节点加入群中。在群内,可以经由一个或多个固定呈现设备(例如,场地内的扬声器),与一个或多个用户相关的呈现设备等来播放媒体流。一个或多个用户设备可以监控由一个或多个设备生成的本地声场,以便于提供空间反馈,用于平衡声场,等等。一个或多个对等节点可以与媒体流的选择交互。这样的选择可以通过虚拟点唱机功能的形式,通过媒体排队系统,通过相关的游戏、促进等来协调。
在一些方案中,通过使对等节点(例如,智能手机)接近条形码、ID矩阵、NFC标签等(即,可能位于场地内一个或多个地点、桌子等),可以将准对等节点加入网络。对等节点可以经由排队系统等与媒体网络交互,由此,用户可以投票表决队列中的媒体,以便于赞同或否决相关媒体以供回放,付费播放媒体及其组合等。
可以通过许多途径将一个或多个潜在的对等节点加入网络中,可以本地启动这样的添加,例如当潜在的对等节点进入场地,通过注册中心等时。可以通过诸如扫描活动门票、输入促销码、与ID标签通信等行为,远程地预先指定潜在的对等节点(即,以便于当到达场地,验证出勤率等时,进一步简化添加过程)。
在俱乐部中一个或多个对等节点可以指定作为呈现设备,以便于在操作过程中呈现一个或多个媒体流或及其各方面。在一个非限制性的示例中,对等节点的松散连接的群组可以支持其间统一媒体流的呈现。在该示例中,按照本公开,对等节点的群组可以属于媒体网络,对等节点被适当地配置作为媒体网络内的呈现设备和/或观察设备。集体的对等节点基础可以同时呈现相关的媒体流,从而生成比在没有群支持的情况下作用的任何个体对等节点所能够产生的声场要大得多的声场。这样的配置可以有利于由实质上过小尺寸的对等节点的集合来生成响亮的声场(例如,派对等)。媒体网络可以包括一个或多个同步服务,以便于增加本地声场增强、本地延迟校正等,以便于在使用过程中提供高品质的声场。
在一个非限制性的应用中,按照本公开,媒体网络可以被配置为在家中、办公室,或小场地环境下内工作。可以配置媒体网络以便于轻松地且具有成本效益地在环境(家中、办公室、戏院、教堂、礼堂等中的一个或多个房间)中建立和保持一个或多个媒体场。媒体网络可以包括空间指定群(例如,环境内的区域、房间、门廊等)以便于随着对等节点和/或潜在的对等节点在整个场地上移动,随着高优先级的对等节点在整个场地上移动,等等,允许在使用过程中基于空间的网络重配置。媒体网络可以包括基于关系的群,可选地绑定到相关的空间设计群。在一个非限制性的示例中,在家庭内建立的媒体网络可以包括被指定为属于家庭成员组的多个对等节点(例如,5个)。媒体网络可以拥有多个空间指定群(例如,区域、起居室、厨房、书房、卧室、浴室等)。每一个对等节点可以拥有家庭内的一个或多个区域,其中相对于在那个区域(例如,设计为“拥有”诸如卧室等区域的对等节点)中的其他对等节点,它们的偏好可能具有更高的优先级。一个或多个对等节点可以基于资历(例如,亲代成员、管理员等)而被指定为具有优先级,或可以具有在一整天变化的优先级(例如,夜晚某一个时间后,对等节点可能会被降级)等。优先级可以由一个或多个对等节点(例如,亲代成员、管理员等)自动和/或手动配置。
可以基于“先到先得”的原则进一步设计区域内的优先级(例如,诸如在场地内的浴室或公共休息室)。在一个非限制性的示例中,对等节点可以加入空间指定群(例如盥洗室)并自动接管那个区域的优先级。刚一转变时,区域内所指定的对等节点(诸如呈现设备)可以从待机状态自动转变为对等节点的指定媒体流(例如,视频流、音频流等)的流动状态。
在另一个非限制性的示例中,优先级对等节点可以在媒体网络内整个空间指定的群上移动。随着对等节点在整个群内移动,媒体网络可以自动地重新配置呈现设备,正在媒体设备上播放的媒体流,等等,从而在优先级对等节点周围理想地呈现媒体场。在一个非限制性的示例中,媒体网络可以包括一个或多个空间指定群(例如,起居室和厨房)。优先级对等节点可以在基于厨房的呈现设备上(例如,利用扬声器在厨房环境内播放音频流)正收听厨房内的音频流。随着优先级对等节点从厨房移动到起居室,媒体网络定位服务可以识别出优先级对等节点的意图并缓慢地将音频流从厨房内的呈现设备上转移到起居室内的呈现设备上。只要由对等节点加入的新区域(例如,起居室、厨房等)未在使用(即,被认定为空的),这样的配置也可以被配置为工作在低优先级对等节点上。
可以进行转变以便于为优先级用户提供不间断的转变。可以通过利用优先级对等节点资源和/或硬件(例如,可能利用麦克风启用等)来进行这样的转变。在这个意义上,优先级对等节点可以表现得像在该空间内的观察者一样,为网络提供与随优先级对等节点在整个空间移动时所体验到的声场有关的反馈。在一个非限制性的示例中,可以自动调整在相关呈现设备处(在厨房和/或卧室中)所呈现的音频流,以便于在转变过程中保持在优先级对等节点附近的声场(例如,正如包括在优先级对等节点设备中的传感器和工作在媒体网络上的算法/服务所监控的那样)。
在一些方案中,可以使用媒体网络中对等节点和一个或多个呈现设备之间更高分辨率的空间关系来改变在使用过程中由对等节点所感觉到的声场。在一些方案中,可以通过在对等节点附近的一个或多个呈现设备来协调定向指定的媒体流。呈现设备可以呈现一个或多个部分的媒体流(例如,频道、频率方面、颜色方面、虚拟声源、仪器等)以便于保持呈现媒体流在预期水平上。假定即使随着对等节点在整个声场内移动,这样的配置也可以有利于在对等节点周围生成受控的3D声场。
可以配置媒体网络以监控媒体传送至网络中一个或多个对等节点的服务质量。媒体网络可以通过一个或多个呈现设备来自动调整媒体流的呈现,以便于调整差的服务质量问题和/或保持服务质量在可接受的水平之上。媒体网络可以通过网络上的其他流通量来监控网络内一个或多个对等节点处的媒体流的恶化(例如,另一个媒体流、本地干扰、HVAC噪声、通过呈现设备的差的呈现、环境噪声、风等)。可以配置媒体网络来补偿这样的恶化以便于改善在监控对等节点处所体验到的呈现媒体流。在一个非限制性的示例中,也许能够逐渐减小媒体流的比特率以便于保持最大可允许的延迟,且同时保持同步性在可接受的质量水平范围内。
在一个非限制性的示例中,按照本公开,可以指定多个媒体流(例如,音频流)以供媒体网络上的多个不同的对等节点(例如,与用户相关的对等节点)收听。第一对等节点可能已经指定媒体网络传送第一呈现流(例如,第一音频流)至其上,且第二对等节点可能已经指定媒体网络传送第二呈现流(例如,第二音频流)至其上。可以通过媒体网络内一个或多个呈现设备来呈现第一呈现流和第二呈现流。第一对等节点可以包括传感器(例如,麦克风)来采样本地声场作为包括在媒体网络中的服务质量算法的一部分。如果通过第一对等节点检测到第二媒体流方案(即,干扰),媒体网络可以从一个或多个呈现设备自动调整呈现,以便于减少干扰(例如,经由呈现信号的变化、呈现水平的变化,经由有源噪声消除,等等)。
在一些方案中,随着第一对等节点在整个场地移动,可以调整第一呈现媒体流。随着第一对等节点移入接近第二对等节点,与第一呈现媒体流相关的音量会逐渐减小直到媒体流消失。随着第一对等节点离开第二对等节点附近,第一呈现媒体流会缓慢地被重新建立。
在一些方案中,可能适用于医院和/或餐厅设置,随着在第一群中的对等节点(例如,在医生群中的对等节点,在服侍工作人员群中的对等节点,等等)移入空间定向群(例如,医院病房、餐桌等),先前在空间定向群中所建立的本地媒体场会变暗、暂停等,使得在第一群中的对等节点之间的交互可以与在空间定向群(例如,患者、客户等)中的一个或多个对等节点互动。
在一些方案中,可能与餐厅和/或医院设置有关,被指定为空间定向群(例如,餐桌、医院病房等)的群成员的一个或多个对等节点可以被配置为控制本地媒体场(例如,音频、视频、设置等),和/或在空间定向群内的环境设置(例如,照明、本地温度、湿度等)。可以经由简化的应用来提供这样的控制,例如,在智能手机、平板电脑上等。在较高优先级群(例如,服侍工作人员群、护理群、医生群等)中的对等节点(成员)可能能够超驰先前由群成员控制的设置。群成员与较高优先级群成员之间的消息接发,直接沟通等可以被指定用于媒体网络内的远程通信。
图1示出了按照本公开的媒体网络100。媒体网络100包括一般对等节点110、一个或多个呈现设备114a至114b、在媒体网络100内彼此互连115a至115f的观察器116。图1还示出了准对等节点112,因为它与媒体网络100通信,可能作为日常标志的一部分,等等。虽然在图1中示出了具体数量个对等节点110、观察器116、呈现设备114a至114b,以及准对等节点112,但这样的实体在实现媒体网络100中可以以各种不同的数量存在或不存在。媒体网络100还可以包括电力和/或网络集线器118。这样的集线器118或任何一个整装的对等节点(例如,可能为一般对等节点110、呈现设备114a至114b、观察器116等)可以被配置为与外部参与者(未明确示出)通信。一般对等节点110和/或呈现设备114a至114b可以被配置为呈现和/或观察在操作过程中在整个媒体网络110上所传送的媒体流。媒体流可以起源于网络上的一个或多个对等节点110、呈现设备114a至114b、观察器116等,或等效地起源于外部参与者(即,经由一个或多个对等节点加入网络),并被传送至一个或多个指定的对等节点110、呈现设备114a至114b以供回放。正如图1中所示,一个或多个呈现设备114a至114b,和/或对等节点110可以呈现与媒体流(例如,音频、视频、照明等)有关的媒体。准对等节点112可以建立与网络110中的一个或多个对等节点110、114a至114b等的一个或多个相互连接115a至115b。准对等节点112可以呈现通信信号111a作为配置算法、网络连接过程等的一部分。一个或多个对等节点110、114a至114b、116可以生成通信信号111b至111d以与准对等节点112通信,配置媒体网络,作为媒体流的水印方案等。观察器116可以监控本地媒体场113以便于提供用于媒体网络100内的反馈信号(例如,以供媒体网络上的一个或多个服务使用,等等)。
按照本公开,媒体网络100可以包括一个或多个服务。按照本公开,一些非限制性的服务示例包括同步服务、媒体传送服务、声场生成服务、声音增强服务、资源管理服务、数据传送服务、虚拟声卡服务、质量服务、配置服务、空间化/定位服务、水印服务、环境控制服务、及其组合等。正如本领域技术人员所公知的那样,媒体网络100可以包括一个或多个支持服务,其包括识别功能服务、网络数据流控制、资源管理服务、分辨率预定服务、服务质量监控等。
对等节点110、呈现设备114a至114b、观察器116中的一个或多个可以是固定设备,例如作为家庭影院系统、电视机、大家电等的一部分。另外地,替代地,或两者结合,对等节点110、呈现设备114a至114b、观察器116中的一个或多个可以是移动设备,例如智能手机、平板电脑、遥控器、无线媒体中心、移动扬声器系统等。
相互连接115a至115f可以是无线的、有线的等。相互连接可以基于网络和/或网络上的对等节点110、114a至114b、116的配置来变化和改装。相互连接115a至115f可以符合整个网络100的拓扑结构(即,为其特定的实施方式所特有)。
媒体流可以起源于媒体网络100内或起源于外部参与者(即通过一个或多个对等节点加入网络100)。网络100可以利用为每一个媒体流或媒体流的组合所指定的特定呈现设备114a至114b和/或对等节点110,来支持多个媒体流的同时呈现。
网络100可以建立一个或多个本地媒体场113(在该情况下显示为音频场,但等效地能够是任何媒体)。基于网络上变化的优先级、网络上一个或多个对等节点110、114a至114b的接近度等,媒体场113的呈现可以是竞争性的。
电力和/或网络集线器118可以被配置为将媒体网络100与一个或多个另外的网络(例如,WAN、智能能源网络、Actiline电力网络,和信号分配网络、家电网络等)相互连接。可以提供这样的相互连接,使得媒体网络和/或其上的一个或多个对等节点可以在操作过程中控制一个或多个相关的电器、环境参数等。
图2示出了按照本公开的包括群218的媒体网络200的方案。群218可以被指定为分配优先级、作为群218中成员的对等节点之间的关系(例如,这样的接近度、社交相似性等)。群218包括一般对等节点210、两个呈现设备214a至214b(即已被特别配置作为呈现设备的对等节点)、观察器216,以及电力/网络集线器222。群218的成员相互连接217a至217e,以便于在媒体网络200的工作过程中彼此之间传送数据、媒体等。群218的成员还可以在媒体网络200的工作过程中呈现媒体流211a至211c和/或收听所呈现的媒体场213。图2还示出了在建立与媒体网络200的通信过程中的准对等节点212(例如,经由群218的一个或多个成员)。准对等节点212,或媒体网络200可以在其间建立暂时连接219,以便于在启动过程、查询和/或自动引入过程中,在准对等节点212和媒体网络200之间通信。可能由于准对等节点212移进221群218的空间区域,可以基于准对等节点212和网络200之间的空间关系来启动暂时连接219。还可以由于查询、接受、扫描、用户请求来建立暂时连接219。
在一些方案中,经由声场中水印的通信、群/区域内脉冲调制的LED照明,经由RFID通信、NFC通信、社交网络成员资格鉴定(例如,在Facebook、LinkedIn上),及其组合等,可以建立将准对等节点接入媒体网络、媒体网络内的群等的信任凭证。
准对等节点212、一个或多个对等节点210、呈现设备214a至214b可以沿呈现路径211a至211c、215进行通信(例如,音频媒体、视频媒体、光调制器、超声波通信等),以便于配置网络、建立通信、识别成员、建立一个或多个成员之间的接近度,等等。
图3示出了按照本公开的包括多个群318a至318b的媒体网络300的方案。媒体网络300包括第一群318a和第二群318b。第一群318a包括呈现设备314a、观察器316和出于呈现其中的媒体的目的而相互连接315d至315f的转换对等节点312。转换对等节点312可以被配置为呈现媒体流的一个或多个方面以形成呈现的媒体流311d,呈现设备314a可以被配置为呈现媒体流的一个或多个方面以形成第二局部呈现的媒体流311c,且观察器316可以被配置为监控媒体网络300内某位置处的局部媒体场314,可能生成反馈信号,通过呈现设备314a和/或转换对等节点312、来自第二群318b的群成员调整呈现,等等。
第二群318b包括呈现设备314b、对等节点310和用于在其间分配一个或多个媒体流、数据等的相互连接315b的电力/网络集线器320。第二群318b的一个或多个成员可以与转换对等节点312相互连接。对等节点310可以被配置为呈现第二媒体流的一个或多个方面以形成第二呈现媒体流311b且呈现设备314b可以被配置为呈现所述第二媒体流的一个或多个方面以形成另一个第二局部呈现的媒体流311a。电力和/或网络集线器320可以被配置为将媒体网络300和一个或多个另外的网络(例如,WAN、智能能源网络、家电网络等)相互连接。
转换对等节点312、第一群318a的一个或多个成员、和/或第二群318b的一个或多个成员可以被配置为建立其间的相互连接315a、315c以便于引导转换对等节点312从第一群318a转换至第二群318b。由于用户选择、转换对等节点312的优先级设置的改变等,由于转换对等节点312离开与第一群318a相关的区域,移进321与第二群318b相关的区域,可能会出现转换对等节点312的转换。
在一些方案中,一个或多个群318a至318b可以拥有具有如在参考空间322中所确定的物理尺寸的区域。物理上体现的群318a至318b可以是房间、区域、场地内区域等。媒体网络300可以包括一个或多个定位服务以便于确定网络的成员基本都存在于群318a至318b或整个媒体网络300的物理尺寸范围内的什么地方。随着转换对等节点312从第一群318a转到第二群318b(正如通过一个或多个定位服务所确定的那样),可以通过媒体网络300或其成员来启动群318a至318b之间隐式的转换。
图4示出了按照本公开的从媒体流生成本地声场的媒体网络的方案。本地声场被表示成具有几条等高线412a至412c的等高线图,表示整个声场的声压级的瞬时等势线。媒体网络包括多个对等节点410a至410b以及观察器414。示出观察器414在由一个或多个对等节点410a至410b所生成的整个声场上移动。观察器414可以被配置为监控(例如,经由一个或多个传感器)本地声场。按照本公开,出于各种目的,作为由观察器414所监控的本地声场的一个或多个方面可以用作给媒体网络的反馈信号。
在一些方案中,反馈信号可以由一个或多个网络服务使用,从而帮助定位在媒体网络中的一个或多个对等节点,调整与被传送至对等节点410a至410b的媒体流有关的一个或多个信号,调整在一个或多个对等节点410a至410b上的信号处理算法,和/或调整在一个或多个对等节点410a至410b上的一个或多个呈现参数。
可以从声场的一个或多个方面生成反馈信号,例如,从本地声压级、一个或多个反馈信号之间的相位变化、回波的相关性、在观察器、平均体、构造体和/或及其变异体的位置处的混响电平生成反馈信号。可以通过心理声学算法、一个或多个对等节点的一个或多个呈现特性、场地(例如房间、礼堂等)音效等来调整反馈信号,从而调整位于声场中的收听者的一个或多个特性。
观察器可以配备有用于确定对于观察器来说为局部呈现媒体流中的声波、急转或脉冲方向的手段。可以利用声波的方向来帮助在呈现媒体流等的过程中定位一个或多个对等节点。一些非限制性的用于确定到达观察器的声波的传播方向的手段的示例包括同时监控两个或更多个麦克风(即利用基本上确定的彼此的接近关系等)、定向麦克风、通过已知定位参数的预先确定、及其组合等。
图5示出了按照本公开的另一个媒体网络500。媒体网络500配置于局域网(LAN)524上且包括多个成员(例如对等节点)。如图5中所示,成员可以采用各种不同形式被指定,以便于在媒体网络500内启用特定功能。通常,媒体网络的成员可以是对等节点510。对等节点510可以被配置为在媒体网络500内执行许多任务中其中一个任务。可以为了特定指示来指定、选择和/或建议一个或多个对等节点510。媒体网络500可以包括已经被指定为执行媒体网络500内特定功能或功能集合的对等节点。媒体网络500可以包括一个或多个对等节点,每一个对等节点被配置作为一般对等节点510、呈现设备512、观察器514、处理资源516、多功能对等节点520、定位观察器518、用户526(例如,人、可能绑定到对等节点,可能是单独的,等等),等等。媒体网络500可以包括一个或多个广播装置522(例如,可能远离LAN 524定位)和/或与一个或多个广播装置522通信。
按照本公开,媒体网络500可以包括一个或多个服务,其被配置在整个LAN 524上执行,或可选地在网络500内的指定成员上执行。LAN 524可以包括一个或多个服务。如图5中所示,LAN 524包括媒体分配服务、同步服务,和资源管理服务,每一种服务均符合本公开。LAN 524可以包括诸如定位服务、媒体增强服务、网络配置服务等其他服务,每一种服务均符合本公开。
一个或多个对等节点510可以包括各种不同的参数、服务、能力、资源水平、操作设置等,用于呈现媒体流、管理和/或影响媒体网络等。一些参数可以包括位置(可能随时间而变化)、海拔高度、天顶角、航向、速度、加速度、一个或多个呈现参数、能量储备等。一些能力可以包括感觉能力、用户输入能力、显示能力、呈现能力(例如,一个或多个扬声器、一个或多个显示器、指示器等)、定位能力、计算能力、媒体分析硬件,等等。一个或多个对等节点510可以包括许多能力,因而潜在地能够被指定为执行网络500内的一系列任务。
按照本公开,一个或多个对等节点可以被配置作为呈现设备512。呈现设备512可以被配置为呈现输入媒体流,包括一系列呈现特性、位置(可能随时间而变化)、一个或多个蓄能器、配置参数、计算资源、数字媒体呈现过程等。呈现设备512可以被指定用于在操作过程中接收一部分媒体流或得自所述媒体流的信号。媒体网络500、用户526、广播装置522等可以指定呈现设备512用于一个或多个媒体流方案的回放。
按照本公开,一个或多个对等节点可以被配置作为观察器514。观察器514可以被配置为在网络内的物理位置处监控由媒体网络500所生成的媒体场。观察器514可以在用户526的面前和/或附着于用户526。观察器526可以包括一个或多个传感器(即,用于从本地媒体场采样,等等)、处理资源、配置参数、场评估标准、评估算法、物理位置、场校正算法、用于定位观察器514、一个或多个用户526,和/或一个或多个媒体网络500的成员等的手段。观察器514可以用于评估媒体网络500的媒体流动方案的服务质量。
媒体网络500可以包括媒体源(未明确示出)。媒体源可以是对等节点510、广播装置522等。媒体源可以来自外部参与者(例如,流动服务、基于云的存储系统等),可以起源于媒体网络内(例如由对等节点510、广播装置522等生成),经由WAN连接、蜂窝网络连接等加入媒体网络。
一个或多个广播装置522可以被配置为生成加入媒体网络500的组播媒体流。广播装置522可以被配置有优先级、权级等,以便于指引所得到的媒体流至整个媒体网络500上的一个或多个对等节点/观察器。除了媒体网络500以外,广播装置522还可以通过消息接发方案(例如,经由通知队列、文本消息接发、文本流等)与其他成员通信。
一个或多个定位观察器518可以被配置为确定媒体网络500内一个或多个对等节点的一个或多个位置。定位观察器518可以包括可视化设备(例如,摄像机、光电探测器、音频定位方案、热运动捕获系统、超声波测距仪、基于可视化的、近红外的、和/或红外的测距仪等)。定位观察器518可以包括可用的计算资源、能力列表等,其可以提供给媒体网络500用于在配置服务等中。
在媒体网络500内可以专门指定一个或多个多功能对等节点520以执行多个任务,例如,呈现、观察、提供用户接口等。按照本公开,多功能对等节点520可以包括适合于执行预期功能的方案(例如,呈现、观察等)。
图6示出了按照本公开的包括定位观察器614的另一个媒体网络。媒体网络包括多个对等节点610a至610c,其被配置为呈现和/或观察媒体流以产生局部呈现媒体流613a至613c。媒体网络可以包括观察器612,其被配置为采样至少部分地由一个或多个对等节点610a至610c所生成的局部媒体场。媒体网络包括定位观察器614,其被配置为确定与一个或多个对等节点610a至610c、观察器612、可能在媒体场附近的特征有关的一个或多个空间关系(例如,位置、移动速率、它们之间的参考角、它们之间的关系等)。定位观察器614可以包括可视化系统(例如,摄像机、立体摄像机、3D摄像机、热成像摄像机、Kinect系统、运动感测输入、热电堆、超声波测距仪、或及其组合等),可选地具有视野615。定位观察器614可以被配置为在操作过程中监控一个或多个成员(例如,对等节点610a至610c、观察器612等),以便于确定它们之间的物理关系。这样的信息可供媒体网络使用处理(例如,诸如通过网络上的服务,用于对等节点610a至610c上的计算过程,等等)。
按照本公开,一个或多个可视化系统可以被包括在相关的媒体网络中或与相关的媒体网络交互。可视化系统可以提供定位数据给媒体网络,用于跟踪一个或多个对等节点的位置、一个或多个人类用户的位置,等等。可视化系统可以提供人类用户与媒体呈现设备之间的视觉参考,以便于协助相应地调整声场(例如,调整哪些呈现设备将播放媒体场的各方面,等等)。
媒体网络可以包括多个输入设备,每一个输入设备被配置为在操作过程中从媒体网络内收集定位相关的信息和/或与媒体场有关的信息。在图6中所示的非限制性的示例中,观察器612和定位观察器614可以从本地环境、媒体场等收集多个输入媒体流。可以使用网络服务和/或相关的传感器融合算法来实施这样的数据以调整本地媒体场,调整一个或多个环境设置,生成一个或多个警报等,每一个都按照本公开内容。
按照本公开,媒体网络可以包括优先化方案。在一些方案中,优先化方案可以按照优先级递减的顺序,优先考虑以下内容:同步媒体流、非同步媒体流、来自观察器的反馈、定位参数、环境/家庭自动化控制信号、数据包的通用通信(例如,信任凭证、设置等)。媒体流的优先化可以取决于诸如对等节点间的接近度、媒体流的串话干扰、附着于媒体流的压缩方法,等等。在一些方案中,按照本公开,如果对等节点不能够充分地满足与网络相关的性能要求(例如,音质、最低延迟要求等),则服务质量算法可以从优先级呈现设备的列表中排除该对等节点。
图7a至图7b示出了按照本公开的用于在媒体网络上建立连接和在媒体网络上呈现媒体的方法的方案。图7a示出了按照本公开的用于连接和建立媒体网络上的一个或多个对等节点之间的网络通信的方法。所述方法包括:建立至一个或多个对等节点的连接,可选地宣布每一个新连接至媒体网络的对等节点的一种或多种能力,在一个或多个对等节点之中指定功能,启动和/或修改媒体网络上的一项或多项服务,在一个或多个对等节点之中配置资源管理,在对等节点之中可选地协调分析功能,可选地通过媒体网络建立、修改和/或配置流通量方向,通过媒体网络分配媒体流,可选地观察由网络的一个或多个成员所呈现的媒体场,以及可选地补偿和/或调整媒体流、一个或多个对等节点的一个或多个功能方面和/或一个或多个对等节点的一个或多个呈现参数。
所述方法可以包括重新配置媒体网络上一个或多个对等节点的一个或多个呈现特性,可能来提高和/或调整在媒体流回放过程中的媒体场。
图7b示出了按照本公开的在媒体网络上呈现媒体流的方法。所述方法包括:按照本公开将媒体网络上的一个或多个对等节点连接在一起,指定一个或多个对等节点作为用于媒体流的呈现设备,在一个或多个呈现设备上呈现媒体流的一个或多个方面案以产生呈现的媒体场,可选地观察呈现的媒体场,以及基于观察来补偿、调整和/或重新配置媒体网络的一个或多个方面。
图8a至图8b示出了按照本公开的为会议对话(例如,会议、联网事件、偶然相遇、演讲、戏院等)所配置的媒体网络的方案。图8a示出了按照本公开的包括在媒体网络中的房间802和群804。房间802可以用作会议对话等的一部分。如图所示的群804与房间802相关且包括安置824在整个群空间上(即整个房间802中)的多个成员(例如,对等节点,被配置的对等节点等)。群804包括一个或多个对等节点810,其可选地被配置作为一个或多个观察器(例如,以便于观察在群空间内的媒体场)、一个或多个输入设备(例如,以便于接收一个或多个用户输入进媒体网络中)、呈现设备(例如,耳机、扬声器、显示器、指示器等,用于呈现群内媒体流的一个或多个方面或与其相关的数据)、计算资源等。群804包括源816(例如,扬声器)、被配置为呈现网络内的一个或多个媒体流以产生局部呈现的媒体场813a至813b的一个或多个呈现设备812a至812b,其中每一个都有助于房间内所得到的媒体场。
房间802可以包括呈现设备814(例如,显示屏、投影仪、立体投影仪等)。一个或多个对等节点810可以包括显示器,可选地用于呈现与呈现设备814相同的媒体流。群804可以包括消息接发服务和/或基于队列的优先级服务(即,作为媒体网络服务的一部分),用于在会议对话期间管理对等节点和/或源816之间的消息。群804包括一个或多个排队的对等节点818a至818c,包括在基于优先级的队列中(例如,以便于提问、参与讨论等)。一个或多个对等节点可以包括软件、入口等,通过它们可以在会议对话期间建立队列。
群804可以包括协调器820、可选的管理器、高优先级的对等节点等。协调器820可以通过编程来配置网络,管理排队请求,指定呈现设备,监控媒体网络上的服务质量等,以便于控制会议对话的流量。
按照本公开,群804可以接受一个或多个准对等节点822。准对等节点822可以基于准对等节点822移进823房间802、通过准对等节点822刷NFC芯片、执行协议、访问网站等来加入群804中。
图8b示出了按照本公开的在会议对话期间以供媒体网络使用的优先级队列。在非限制性的示例中,源816(扬声器)具有优先权且可以为群804生成媒体流,所述队列还包括(按顺序)第一排队的对等节点818a、第二排队的对等节点818b、协调器820,以及第三排队的对等节点818c。所述队列可以为排队的成员指定发言顺序,作为会议处扬声器的顺序等。
图9a至图9d示出了按照本公开的用于管理媒体网络的方法。图9a示出了用于管理媒体网络上优先级的方法。所述方法包括:指定和/或配置媒体网络内的一个或多个源(即,媒体流的源),指定和/或配置媒体网络内的一个或多个呈现设备(即,用于呈现一个或多个媒体流的设备),分配网络内的媒体,分析所呈现的媒体场的一个或多个方面(即,作为由一个或多个呈现设备所生成的媒体场),评估与服务质量有关的标准(即,适用于可接受的音质、媒体再现质量、声压级、相变化、延迟、同步、混响、噪声级等的阈值),以及基于标准可选地改变一个或多个网络优先级。可以利用改变的步骤来指定和/或重新配置网络上的一个或多个源、呈现设备和/或一般对等节点,等等。
图9b示出了按照本公开的用于使准对等节点加入媒体网络、加入包括在媒体网络中的群,和/或子群的方法的方案。所述方法包括:邀请和/或启动加入过程,在准对等节点与媒体网络和/或网络内的一个或多个对等节点之间进行连接,为网络上的准对等节点指定识别号码,向媒体网络宣布准对等节点的能力,给一个或多个群(例如,基于空间的群、社交群等)分配准对等节点,为媒体网络中的准对等节点分配角色和/或功能,以及准对等节点开始参与在媒体网络(例如,促进准对等节点成为对等节点)。
图9c示出了按照本公开的用于形成媒体网络的方法。所述方法包括启动媒体网络,指定网络管理员(例如,自动地、半自动地、手动地、利用用户输入等),使一个或多个对等节点加入以参与在媒体网络中,宣布一个或多个对等节点的能力,为媒体网络分配和/或配置资源,给一个或多个已加入的对等节点分配群、角色、和/或优先级,按照本公开开始一个或多个网络服务和/或启动网络上的对等节点的参与。所述方法可以包括在群内指派一个或多个次级管理员的步骤,每一个次级管理员均被配置为管理服务、配置方案、媒体流的传送等。
图9d示出了为媒体网络分配和/或配置资源的方法的更为详细的视图。所述方法包括:生成初始配置,分析和/或测试配置,计算一个或多个性能指标和/或安全系数,确定配置是否令人满意的以支持网络上的预期的媒体流动,如果不令人满意,则调整配置,如果令人满意,则继续网络形成过程。
图10示出了按照本公开的被配置用于大场地设置的媒体网络的方案。所述媒体网络包括集聚在物理区域上的多个对等节点1010。对等节点1010可以被配置作为观察器、呈现设备、源及其组合等,每一个均按照本公开的内容。总的来说,对等节点1010可以生成声场,在这种情况下为具有传播方向1030的波场1020,可选地被配置以便于匹配预定的和/或优选的配置(例如,基于时间暂时地确定3D声场,从而说明包括对等节点1010的区域上的所希望的声场的传播特性,说明声场内一个或多个移动源,等等)。对等节点1010可以自动加入以呈现与波场1020有关的至少一部分媒体流,从而形成已加入的对等节点1040(可选地,暂时加入的对等节点等)。在一个非限制性的示例中,与声场有关的媒体流可以最初起源于网络中的单个对等节点(即,始发的对等节点)。随着声场从那个始发的对等节点传播,另外的对等节点可以自动加入以重复媒体流。可以利用这样的配置来增强大场地上的对等节点之中的媒体流的远程再现等。
图11a至图11b示出了按照本公开的利用媒体网络的波场合成和/或校正。图11a示出了配备为在环境内呈现声场的对等节点1110阵列。对等节点1110可以共同工作以生成声场,优选地模仿所希望的波场1120在预定质量范围内(例如,在定时偏好范围内、波方向偏好范围内等)。所希望的波场1120可以具有优选的传播方向1130(即,在其上的任何一点处)。对等节点1110可以接受媒体网络内的一部分媒体流或从媒体流生成的信号。每一个对等节点1110可以播放媒体流的一个或多个方面或从媒体流生成的信号以形成局部呈现的媒体流1122(即,从媒体网络中至少一个对等节点1110始发的信号)。媒体网络可以包括被配置作为观察器1114a至1114b的一个或多个对等节点。观察器1114a至1114b可以在本地收听声场以便于提供服务质量的输入、声场反馈,优化定时调整、参数修正,供给定时算法等。为每一个对等节点1110所指定的理想的定时参数和/或声场参数(即,本地声压级、相位、均衡的音频分配等)可以取决于在本地声场中对等节点的安置、对等节点的呈现特性、网络延迟等。由于在上述参数中的误差,总的来说所生成的波场将偏离所希望的波场1120。基于单独呈现的波形和所希望的波场1120之间差的匹配,能够从图11a中看出来这一点。这样的误差可能不利于确定具有多个对等节点1110的声源的定位,降低由一个或多个观察器1114a至1114b所确定的音频的质量,等等。媒体网络可以包括另外的对等节点1112,可能位于整个声场上。另外的对等节点1112可以被利用来收听本地声场(即,以便于调整由对等节点1110所形成的整个波场),可以被配置以便于呈现另外的局部呈现的媒体流等。
图11b示出了在图11a中所述的包括波场调整算法的媒体网络。波场调整算法可以接受来自一个或多个观察器1114a至1114b、一个或多个对等节点1110,和/或一个或多个另外的对等节点1112的一个或多个反馈信号。波场调整算法可以被配置为接受一个或多个反馈信号,从而调整一个或多个定时参数、呈现参数,补偿一个或多个对等节点1110的室内声学参数等,以便于校正本地波场(即,以便于接近所希望的波场1120)。
每一个对等节点1110可以包括无线信标、音频水印算法等以便于进一步协助波场调整算法。
在一些方案中,波场调整算法可以监控在一段时间(测试周期)内由一个或多个网络成员(即,观察器1114a至1114b、对等节点1110、另外的对等节点1112)所获得的反馈信号。按照本公开,波场调整算法可以接受在相同时段内来自相关定位算法的一个或多个数据集。波场调整算法可以提取与一个或多个对等节点1110有关的个体定时误差。可以为包括在媒体网络中的相关的服务质量、媒体流动服务等调整这样的定时误差。波场调整算法可以继续收听反馈信号,可能实时地或伪实时地,以便于不断地评估定时误差是否需要进一步调整。这样的正在进行的评估可以有利于调整变化的定时误差(可能与变化的网络配置、与网络内变化的资源负荷有关,等等),以便于保持媒体网络内所期望的观察器1114a至1114b处高品质呈现的声场。
图12a至图12b示出了按照本公开的利用媒体网络的波场合成和/或校正。图12a示出了配备为以便于在环境内呈现声场的对等节点1210阵列。对等节点1210可以在物理上被安置在整个空间上,可选地具有对等节点1210在空间内的安置误差(即,可能由于不正确的和/或临时的安置,等等)。对等节点1210可以共同工作以生成声场,优选地模仿所希望的波场1220至预定质量范围内(例如,至定时偏好范围内,波方向偏好范围内,等等)。所希望的波场1220可以具有优选的传播方向1230(即,在其上的任何一点处)。对等节点1210可以接受媒体网络内的一部分媒体流或从媒体流生成的信号。每一个对等节点1210可以播放媒体流的一个或多个方面或从媒体流生成的信号以形成局部呈现的媒体流1222(即,从媒体网络中至少一个对等节点1210始发的信号)。媒体网络可以包括被配置作为观察器1214a至1214b的一个或多个对等节点。观察器1214a至1214b可以在本地收听声场以便于提供服务质量输入、声场反馈,优化定时调整、参数修正,供给定时算法等。为每一个对等节点1210所指定的理想的定时参数和/或声场参数(即,本地声压级、相位、均衡的音频分配,等等)可以取决于在本地声场中对等节点的安置、相对于所希望的配置的安置误差、对等节点的呈现特性、网络延迟等。由于在上述参数的误差,总的来说所生成的波场将偏离所期望的波场1220。基于单独呈现的波形和所期望的波场1220之间差的匹配,能够从图12a中看出来这一点。这样的误差可能不利于确定具有多个对等节点1210的声源的定位,降低由一个或多个观察器1214a至1214b所确定的音频的质量,等等。媒体网络可以包括另外的对等节点1212,可能位于整个声场上。另外的对等节点1212可以被利用来收听本地声场(即,以便于调整由对等节点1210所形成的整个波场),可以被配置以便于呈现另外的局部呈现的媒体流,等等。
图12b示出了按照本公开的在图12a中所述的包括波场调整算法的媒体网络。波场调整算法可以接受来自一个或多个观察器1214a至1214b、一个或多个对等节点1210,和/或一个或多个另外的对等节点1212的一个或多个反馈信号。波场调整算法可以被配置为接受一个或多个反馈信号,从而调整一个或多个对等节点1210的一个或多个定时参数、呈现参数等,以便于校正本地波场(即,以便于接近所期望的波场1220)。
波场调整算法可以包括一个或多个函数,用于在给定媒体网络中的一个或多个对等节点所得到的媒体场的实时配置和观察的情况下计算“最佳拟合”。可以通过应用在整个媒体网络上的分布式算法来实现该分析。可以利用从媒体网络的一个或多个定位方案所得到的定位信息来简化波场调整算法。
在一些方案中,在至少部分生成的媒体场内对等节点的分布可以被配置从而产生在媒体场内的一个或多个地点处(即,在一个或多个目标位置)的录音片。可以利用这样的信息针对在空间内目标位置处的用户情况来给出分布式声源的假象。
在一些方案中,例如,可以为目标空间模拟多源管弦乐队,随着从周围媒体场内的特定位置的仿真,对于聆听者来说,可能出现特定的声源。可以在呈现设备的集合之中建立这样的配置,甚至可能穿过媒体场(例如,从移动式对等节点的集合等)。可以给一个或多个呈现的媒体流增加音频抖动效果,以便于更加细致地限定空间假象的方案。这样的配置可以包括:相关的文件格式,可能包括多个声音流,每一个声音流都与一个或多个声源有关;和用于在目标空间周围分布声源的地图。
每一个对等节点1210可以包括无线信标、音频水印算法等,以便于进一步协助对等节点的物理定位和/或波场调整算法。
在一个非限制性的示例中,媒体网络可以建立为配置与媒体网络相关的定时参数、媒体流动服务等而预期的测试媒体流。测试媒体流可以包括一系列啁啾(chirp)、扫描、范围检验、音频通道等,适合于确定媒体网络中的一个或多个对等节点1210的一个或多个方面。所得到的信息能够由波场调整算法和/或网络配置服务所使用,以便于配置和/或确定网络中组成部分的布局和/或属性以通过其实现基本上最佳的回放。
在一个非限制性的示例中,测试媒体流可以被引向物理上定位在媒体网络中的多个对等节点。一系列脉冲可以被加到来自媒体网络中的一个或多个呈现设备的呈现媒体流上并且通过在附近的一个或多个观察器来监控。可以利用与脉冲的生成相关的定时延迟来相对于观察器对一个或多个呈现设备进行三角测量。这样的配置可以有利于配置高保真音响系统,而无需高级的音频硬件(可以经由对智能手机或基于平板电脑的对等节点的直观使用来进行配置)。
可以配置按照本公开的媒体网络以便于在由媒体网络所限定的空间中合成波场。可以通过一个或多个方法来生成波场:基波总成(例如,经由惠更斯原理(Huygen’sprinciple)),经由相关的基尔霍夫-亥姆霍兹积分(Kirchhoff-Helmholtz integral)的计算、基于模型的方法、基于数据的方法(基于测试信号的方法)、本领域公知的减少混叠的方法。这样的方法可以被扩展为包括与场地有关的因素(例如,基于房间的几何形状、墙壁的反射系数等)。按照本公开,所述方法可以包括经由一个或多个相关的空间化/定位算法对安置在所得到的声场内的对等节点的校正。
可以配置媒体网络以便于捕获在场地内的声场(即,来自实况播送事件、在特定位置内等)以供日后的重构和重新分配。在一个非限制性的示例中,多个对等节点(例如,智能手机、麦克风等),每一个都在空间上定位在场地内,可以在实况播送期间捕获相关的媒体流。所得到的声场可以通过来自对等节点的集合的记录的合并来被重新创建。一些方案中,所得到的声场可以被记录以供在个人呈现设备(例如,耳机)上回放,使得用户可以从实际存在的一个或多个准对等节点上体验到事件。这样的实现可以被扩展为重新创建与场地相关的环境效果,以便于模拟在该场地环境下一般媒体流的回放。
图13示出了按照本公开的被配置用于多房间环境1302(例如,酒店、家中、公寓大楼、办公楼等)中的媒体网络1300的方案。媒体网络1300支持多个空间群1310a至1310f。每一个空间群1310a至1310f可以与多房间环境1302内的区域(例如,房间、礼堂、门厅等)有关。媒体网络1300可以可选地包括一个或多个协调的对等节点1311a至1311f,其被配置以便于管理相关空间群1310a至1310f的一个或多个方面,例如,空间群1310a至1310f的边界、空间群1310a至1310f的关联,提供广域网入口,等等。媒体网络1300可以包括一个或多个具有充分优先级的管理对等节点1326,以便于协调媒体网络1300,给网络1300内的群(空间群1310a至1310f和/或社交群)分配优先级和将群与对等节点关联。
在一个非限制性的示例中,刚一与那个对等节点第一次接触(即,随着所分配的对等节点第一次加入空间群1310a至1310f,刚在对等节点和空间群1310a至1310f之间分配偏好,通过协议的完成等),就可以通过所分配的对等节点来配置网络内的一个或多个空间群1310a至1310f。媒体网络1300可以被配置为接受一个或多个对等节点1314、1318、1324、1327、1328,其被配置以便于与媒体网络1300通信。在一些方案中,对等节点1314、1318、1324、1327可以被配置为与一个或多个群1310a至1310f通信。
在一些方案中,准对等节点1328可以与管理对等节点1326通信1329,可能作为协议的一部分(即,登记入住酒店、签字参加事件等)。管理对等节点1326可以利用准对等节点1328的唯一ID来关联1331群1310d,从而允许方便地接受准对等节点1328加入所选定的群1310d中。这样的程序可以有利于简化安全地允许对等节点加入媒体网络1300内的群中的过程。
群1310a可以包括被配置作为呈现设备1312的一个或多个对等节点。一个或多个优先级对等节点1327可以协调(即,可能经由用户接口等)、提供(即,经由访问媒体库),和/或引导(即,经由流动应用程序、web服务等)一个或多个媒体流以供由群1310a中所指定的成员呈现。呈现设备1312可以被配置为呈现一个或多个媒体流。媒体网络和/或一个或多个呈现设备1312可以包括用来确认和/或支付由呈现设备1312所呈现的每一个媒体流的支付系统。另外地,替代地,或两者结合,媒体网络可以包括一个或多个对等节点,其被配置以便于监控所呈现的媒体流,从而提供关于收听媒体流的用户的近似数量的反馈。这样的配置可以有利于计算与媒体流的公共广播相关的使用费收入等。
在一些方案中,对等节点1314可以接近相关的空间群1310b。刚一投奔进入空间群1310b,媒体网络就可以自动协调给群分配对等节点1314,与对等节点1314连接,可能经由群1310b内的一个或多个相关的对等节点(未明确示出),等等。
在一些方案中,对等节点1318可以被配置以便于与用户1320连接,以便于引导1321一个或多个媒体流至媒体网络1300内的空间群1310c中的一个或多个呈现设备1316。呈现设备1316可以呈现相关的媒体流以形成呈现的媒体流1319,从而在空间群1310c内建立媒体场。按照本公开,对等节点1318可以包括观察器的功能,其被配置以便于监控空间群1310c内的本地媒体场,以及可能根据本公开来调整媒体场和/或引导媒体网络来调整场。
在一些方案中,对等节点1324可以被配置以便于与场地1302内的一个或多个空间群1310e通信。对等节点1324可以与本地对等节点1322通信以便于建立对等节点1324在场地1302内的定位,以便于对等节点1324和场地1302内的另一个远程对等节点之间的通信,等等。一个或多个空间群1310e可以是媒体网络1300内的一个或多个对等节点(即,诸如门厅、礼堂等)易接近的。这样易接近的空间群1310e可以包括一个或多个呈现设备1322,其被配置以便于传送呈现的媒体流1323,可能与警告、警报、环境媒体流、建议(例如,广告、门房方向等),及其组合等有关。在一个使用场景下,这样的媒体网络可以被配置作为开放式网络,因而允许任何一个准对等节点加入并收听一个或多个媒体流,但不一定要在更高层次上进行交互,除非被邀请这样做(例如,经由促进、支付等)。
在一些方案中,媒体网络可以管理空间群1310a至1310f内的本地媒体场的一个或多个方面。一些非限制性的方案可以包括声压级(即,以便于过度限制在共享社交场地内响亮的声场)、媒体流的限制(即,基于亲本限制等)、警报、警告的叠加等。一个或多个方面可以至少部分地通过一天的时间、相邻空间群的活动、空间群内对等节点的存在性等来管理。
在一个与多房间场地有关的非限制性的应用中,准对等节点1328或对等节点1314可以与键卡交互以便于加入媒体网络和/或媒体网络内的群中。一些非限制性的键卡示例包括磁扫描卡、NFC键卡、ID矩阵卡等。一旦键卡与对等节点相互作用(例如,一旦轻敲、刷、照相等),也许与访问参数、在线确认等相结合,对等节点就可以变成与媒体网络或其中的群相关联。因而,准对等节点或对等节点可以变成与房间或房间适宜性(扬声器系统、媒体中心、照明等)密切相关,且媒体、环境参数等可以经由对等节点自动流动、配置、和/或调整。媒体网络可以获准接入对等节点相关的网络或服务(即,社交网络、媒体流动服务等),以便于自动获取和实现与对等节点相关的偏好,建立对等节点/群关系,等等。
图14示出了按照本公开的包括在媒体网络上的对等节点中的音频增强系统1410的非限制性的示例。音频增强系统1410被配置为接受来自源(例如,处理器、音频流动设备、音频反馈设备、无线收发器、ADC、音频解码电路、DSP、网络对等节点等)的一个或多个输入音频信号1,并提供一个或多个输出信号1450至一个或多个换能器3,或换能器模块5。音频增强系统1410包括控制块(例如,PCP控制块1420、DD控制块1440、ASRC控制块1460等),其被共同地配置为变换输入音频信号1,以产生输出信号1450。
音频增强系统1410可以嵌入在专用集成电路(ASIC)中或被提供作为用于集成进片上系统集成电路(ASIC)、现场可编程门阵列(FPGA),或数字信号处理器(DSP)集成电路上的硬件描述语言控制块(例如,VHDL、Verilog等)。一个或多个控制块(例如,PCP控制块1420、ASRC控制块1460等)也可以在消费类电子设备和/或在相关网络(例如,按照本公开,本地网络服务器、云中、媒体网络等)上用软件来实现。系统1410可以是全数字化的硬件实现。全数字化实现可以有利于减小硬件尺寸、降低功耗,减少生产成本,以及增加可以在其中实现系统的集成电路工艺的数量。全数字化实现可以被集成进消费类电子设备中,以便于提供完整的音频增强解决方案。
如图14中所示,用于包含进对等节点中的音频增强系统1410包括参数可配置处理(PCP)控制块1420、数字驱动器(DD)控制块1440,以及任意采样率转换(ASRC)控制块1460。音频增强系统1410接受来自音频源的一个或多个音频输入信号1。在所示方案中,ASRC控制块1460接受输入信号1并产生转换后的信号1470。转换后的信号1470被提供给PCP控制块1420,其依次将转换后的信号1470变换成增强的信号1430。PCP控制块1420可以包括与相关对等节点的声学特征、环境因素等有关的一个或多个参数。PCP控制块1420可以包括一种算法,其被配置为按照输入信号1或转换后的信号1470行动以在操作过程中补偿声学特征和/或环境特征的一个或多个方面。增强后的信号1430被提供给DD控制块1440,其从增强后的信号1430中产生输出信号1450。ASRC控制块1460安置在至系统1410的输入和PCP控制块1420之间可以有利于用于存储器受限的设备中。在这种情况下,对于其余的处理,ASRC控制块1460可以允许使用与输入音频信号1的采样率无关的单一参数集。被安置在至音频增强系统1410的输入中的ASRC控制块1460还可以消除输入音频信号1中的抖动,其可以有利于提高从某些类型输入源可获得的音质。
换能器3、9意指诸如适合于产生声音的扬声器的部件或设备。换能器3、9能够基于许多不同技术中的其中一个技术,例如,电磁的、热声的、静电的、磁致伸缩的、色带、音频阵列、电活性材料等。基于不同技术的换能器3、9可能需要替代性的驱动特性、匹配或滤波电路,但这些方案并不意味着改变本公开的范围。
换能器模块5意指包括换能器9和电路7的子系统。电路7提供另外的功能(例如,功率放大、能量转换、滤波、能量储存等)以启用换能器模块5外部的驱动器来驱动换能器9。电路7的一些非限制性的示例(例如,无源滤波器电路、放大器、多路分解器、开关阵列、串行通信电路、并行通信电路、FIFO通信电路、电荷存储器电路等)在整个公开内容中被突出显示。
输入音频信号1意指由外部音频源(例如,处理器、音频流动设备、音频反馈设备、无线收发器、ADC、音频解码器电路、DSP等)所提供的一个或多个信号(例如,数字信号、一个或多个模拟信号、5.1环绕声信号、音频回放流等)。
声学特征意指由影响通过消费类电子设备所生成的声音的设计所规定的消费类电子设备的可听的或可测量的声音特性。声学特征受到许多因素的影响,包括扬声器设计(扬声器尺寸、内部扬声器元件、材料选择、安置、安装、盖等)、设备形状因素、内部部件安置、屏幕界面和材料构成、外壳材料的选择、硬件布局以及在其他之中的组装考虑事项。在设计过程中,成本降低、形状因素限制、视觉吸引力和许多其他竞争因素是以牺牲消费类电子设备的音频质量为代价来提高的。因而,设备的声学特征可能显著偏离理想的响应。另外地,在上述因素中的制造变化可能显著地影响每一个设备的声学特征,进一步造成降低用户音频体验的零件与零件的变化。一些可能影响消费类电子设备的声学特征的因素的非限制性的示例包括:扬声器的尺寸不足,其会限制重新创建低频率所必需的空气的运动;用于薄膜后面的隔声罩的空间不足,其会导致在音频频谱低端中较高的自然滚降频率;可用放大器功率不足;由于扬声器经常安置在TV背面或笔记本下方,靠反射来到达收听者,从而导致薄膜和收听者之间的间接音频路径,以及其他因素。
图15示出了按照本公开用于在包含于媒体网络中的一个或多个对等节点之间实施的编码方案。编码方案可以有利于提供在远程位置处(即,经由对等节点、源等)被编码的信号(例如,音频信号、视频信号、遥测信号)的计算高效的、低噪声、和低开关频率脉冲宽度调制的回放、流动和/或再现。如在图15中所示,信号转换系统可以在物理上分离成两个部分:远程部分和回放部分。按照本公开,远程部分接受来自源1501的输入信号1505至交叉点选择(CPS)控制块1520。按照本公开,远程部分还包括载波发生器1510。载波发生器1510产生也提供给CPS控制块1520的载波信号1515。CPS控制块1520被配置为分析输入信号1505和载波信号1515,并生成触发信号1525。按照本公开,远程部分还包括噪声整形器1530。噪声整形器1530被配置为接受触发信号1525并随即进行截断和噪声整形以产生截断后的信号1535a。截断后的信号1535a可以以对应于载波信号1515的频率(例如,每一个载波周期一次、每一个载波周期两次等)的速率而被更新并可以被充分地进行噪声整形和截断,以便于在无需昂贵的硬件要求的情况下被轻松地重放。
CPS控制块210可以包括输入寄存器和/或输出寄存器,用来分别存储重新采样后的信号150的样本和触发信号215的样本。CPS控制块210可以包括CPS比较器,其被配置为比较重新采样后的信号150和载波信号225。在一个非限制性的示例中,当载波信号225从小于重新采样后的信号150转变为大于重新采样后的信号150时,CPS比较器可以被配置为更新触发信号215。在另一个非限制性的示例中,CPS控制块210可以包括磁滞函数从而当载波信号225和重新采样后的信号150在量值上相似时,限制由触发信号215的切换所引起的潜在的噪声。可以通过开关比较算法、硬件比较器元件等来提供这样的比较功能。CPS控制块210可以被配置为与载波信号225同步地(例如,当载波信号最大、最小时,等等)更新触发信号215。
CPS控制块1520可以包括噪声整形函数(例如,噪声整形器),其被配置为插入和/或重新整形在开关比较算法中的随机和/或伪随机噪声。这样的随机和/或伪随机噪声可以有利于减少在重新采样后的信号上与定时有关的噪声(即,从而潜在地降低了对于信号处理系统的整体的IMD和/或THD)。在一个非限制性的示例中,噪声整形函数可以是第n阶Δ-Σ噪声整形器。在噪声整形器中的每一个反馈回路都可以包括可配置的参数以更好地帮助整形整体噪声。在一个特定的非限制性的示例中,第9阶噪声整形器与听觉模型的绝对阈值结合使用,以便于在可听听觉范围内整形噪声。这样的配置可以有利于将会由人类用户听见的系统中的可听噪声基本上减至最低。可以以高于载波信号的频率的频率(例如,以时钟频率、以载波信号频率的倍数等)来采样噪声整形器。这样的高频采样可以有利于在操作过程中利用噪声整形器将噪声移动至更高的、听不见的频带。
截断后的信号1535a可以经由一个或多个发送器1561、1562(例如,等)来被无线地发送,被存储至物理介质1571(例如,CD、DVD、Blue快擦写储器、云存储器等)以供在相应的回放设备1572上回放,经由第一消费类电子设备1581来传输以供在第二消费类电子设备1582上回放/流动,经由有线传输1191被传送,和/或在基于互联网/云1593的网络上被发送至相应的回放部分。按照本公开,回放部分包括相匹配的脉冲宽度调制(PWM)控制块1550。PWM控制块1550包括生成载波信号的相匹配的载波发生器,所述载波信号对应于在产生截断后的信号1535a的过程中所使用的相同的载波信号。按照本公开,相匹配的PWM控制块1550可以被配置为接受引入的截断信号1535b(例如,截断信号1535a,但可能以物理上不同的形式来提供),且生成相应的PWM信号1555以供传送至换能器、滤波器网络、电路和/或驱动器。
该配置可以有利于提供高品质信号的回放和/或流动,具有与简化的驱动器有关的开关损耗且在回放部分中无需昂贵的硬件(例如,定位在回放设备上)。
在一些方案中,可以仅增强信号1505以供在相应的用户/对等节点设备(1582、1572、回放部分等)上回放。在该配置中,可以在提供信号1505给远程部分中的CPS控制块1520之前执行与增强回放有关的信号处理。这样的配置可以有利于利用音频流动过程(例如,基于云的音频流动服务)来简化和/或改善客户体验。在一些方案中,与音频流动服务一起存储的用户配置文件可以包括一个或多个对应于回放部分(例如,对应于预期在其上进行回放的设备)的音频处理参数,适合于优化在预期的回放设备上的音频输出。因而,在发送所得到的截断后的信号1535a给消费类电子设备上的相匹配的PWM控制块1550以供回放之前,可以在远程部分中远程处理来自音频流动服务的音频流1505。
一个或多个具有较高优先级的对等节点(例如,酒店工作人员、安保人员等)可以在整个的一个或多个音频空间(即,房间、门厅、礼堂等)播送警报等。媒体网络可以基于按需服务进一步提供对媒体的控制、质量评估等,提供通过媒体网络(例如,在酒店房间、门厅内等)内的一个或多个群中的呈现设备(例如,扬声器、媒体系统等)的流动功能。
按照本公开,媒体网络可以包括一个或多个定位算法。媒体网络可以包括一个或多个对等节点,其可选地被配置为执行其上的一个或多个功能,一些功能包括观察器、呈现设备、处理设备、集线器等。定位算法可以被配置为从包括在媒体网络内的一个或多个观察器收集媒体场信息。定位算法可以被配置为接受所收集的媒体场信息的一个或多个方面并且提取时间延迟、音频水印、WiFi信号、本地RF信号强度、和/或与一个或多个相关呈现设备有关的媒体场方案。可以从定位算法中输出地图、位置坐标、两个或多个对等节点之间的物理关系中的至少一部分。在一些方案中,定位算法包括从媒体网络中的一个或多个对等节点接受一个或多个无线信号的三角测量算法并且生成相关对等节点之间的一个或多个物理关系。
在一些方案中,定位算法包括音频水印提取功能,其被配置为将由媒体网络中的一个或多个呈现设备所生成的一个或多个局部呈现的媒体流与媒体场的一个或多个观察结果分开,其可能建立在媒体场内多个物理位置处。音频水印提取功能可以被配置为识别与网络内的一个或多个呈现设备相关的唯一的音频水印。
在一些方案中,在媒体流回放过程中,可以将相关联的音频水印连续地施加给网络内的多个呈现设备。除了直接从媒体网络中接受媒体流的输入以外,音频水印提取功能还侦听音频水印。因而,每一个音频水印的实例可以唯一地被绑定到媒体网络内已知的呈现设备上。可以由定位算法使用对每一个音频水印和/或随音频水印所载的媒体流的分析,从而确定相对于监控到呈现媒体流的一个或多个观察器的相关呈现设备的一个或多个物理的/定位的方面。
音频水印可以包括与一个或多个呈现设备(例如,MAC地址)相关的唯一地址、与访问媒体流相关的媒体密钥(例如,DRM密钥)、基于空间定向群的ID(例如,基于房间的ID、基于社交群的访问ID等),等等。
媒体网络、观察器、对等节点,和/或定位观察器可以包括一个或多个设备,其被配置为生成网络对等节点的空间方案或网络的方案(例如,电视机的位置等)。一些定位设备的非限制性示例包括红外的、接近度传感器、磁力计、基于发光二极管的网络三角测量、基于无线信号强度的三角测量、基于音频采样的三角测量、基于音频水印的通信和设备识别、GPS、无线网络配置、信号强度评估、信号强度三角测量(NFC/RFID、本地RF信号强度、BT、BLE、Zigbee、Z波(Z-wave)、ANT、WiFi、专有拓扑结构等)、摄像机(例如,数字摄像机、立体摄像机、热成像摄像机、摄像机阵列等)、飞行音频信号发送的时间及其组合,等等。
在室外和有限的室内场地中,可以使用GPS位置,可能与WiFi和/或RF三角测量相结合以确定网络内一个或多个对等节点的位置。这样的配置可以有利于确定在大的场地、室外场地等的网络中的一个或多个对等节点的一个或多个定位方案。
可以利用短程无线网络通信来帮助,或主要在网络上执行定位功能。在一个非限制性的示例中,这样的信息可以通过在网络中的一个或多个WiFi、Bluetooth、NFC、RFID节点上执行三角测量分析来提供。
可以利用多点测量(例如,到达时间差接近)、三边测量(例如,经由飞行时间计算)、三角测量(飞行的时间,确定一个或多个对等节点之间的角度关系)、模糊定位、无线的、光学的和/或声学的定位方法来实现定位算法。在一个非限制性的示例中,定位算法可以合并无线定位算法(例如,集中式定位、分布式定位、基于锚/信标的定位、基于张弛的分布式定位、拼接算法、多维尺度、基于接近度的测绘、特定定位算法、包围盒算法、基于梯度的算法、基于扩散的算法、混合定位、干涉测距、协同的多边定位、误差传播感知定位、基于集群的定位,及其组合,等等)。定位算法可以包括所接收信号强度指示符、到达时间指示符(例如,作为一种基于声音的定位算法的一部分)、到达角度(例如,采用适当的硬件规定)以协助定位过程。
利用诸如双曲线三边测量、最大似然估计等一种或多种计算方法,定位算法可以进一步实现所接收到信息的组合,以确定一个或多个对等节点在3D空间中的位置,以生成对等节点地图,等等。该算法可以包括生成位置的初始估计的步骤和细化位置地图的步骤(例如,经由随后的测量、技术组合等)。
在一个非限制性的示例中,媒体网络可以依靠同步服务,以便于实现改进的基于干涉测距的定位算法。在该示例中,同步服务提供纳米级的时间同步,以便于提高算法的定位方案。
在一个与声学定位方法有关的非限制性的示例中(例如,经由测试信号,或基于水印的方法),定位算法可以包括利用一个或多个对等节点(可选地顺序地)呈现进入声场的一种或多种声学信号(例如,脉冲、扫描、啁啾等)的步骤,监控声场中一个或多个对等节点和一个或多个观察器(例如,被配置作为观察器的对等节点)之间飞行时间的步骤,记录飞行时间数据用于算法的三边测量、最大似然估计、和/或三角测量方案中,以及声场中一个或多个对等节点/观察器的位置的构建。
媒体网络可以包括一个或多个脉冲LED照明节点,或被配置为监控来自一个或多个LED照明节点的信息的观察器。在一个非限制性的示例中,可以使用LED照明节点来播送群数据进入空间配置的群中(例如,房间),可以作为对等节点或对等节点的接口元件(例如,至基于有线服务器的对等节点的接口元件)参与,可以播送群配置数据,可以播送群ID,等等。
在一些方案中,按照本公开,LED照明节点可以被配置为执行信标功能,信标功能可以与一系列本地房间ID等有关,由此,安置在房间内的观察器可以接受来自LED照明节点的基于光的消息,以便于定位对等节点,与群(例如,与房间相关的群)相接,等等。LED照明节点可以呈现光调制数据信号到其本地邻近节点中,这样的调制光可以通过相关对等节点出于流动、定位、通信等目的来识别。这样的对等节点可以包括用来检测这样的光调制的光电传感器。由于包括在摄像机系统、智能手机、红外通信模块等中,因此可以提供这样的能力。按照本公开,假定经由三角测量算法,可以利用呈现光的功率电平来帮助定位群空间内的对等节点。
在一些方案中,可以配置短距离通信(例如,无线的三角测量、LED传感器阵列等)以便于为媒体网络中的一个或多个群建立身份和/或信任凭证。因而,可以配置这样的短距离通信以便于在操作过程中自动协调群之间对等节点移交、安全管理、签到、队列管理、对等节点之间的低层数据交换、对等节点的采购管理等。
在一些方案中,按照本公开,媒体网络可以包括一个或多个对等节点,其被配置以便于调整在其上播放的媒体流(例如,按照本公开,经由音频增强系统等)。媒体网络可以被配置为基于由对等节点所生成的特征(即,媒体流调整)来识别该对等节点的身份。因而,媒体网络可以包括一个或多个配置算法、一个或多个定位算法等,其被配置以便于比较预期媒体流和通过在媒体空间中的一个或多个观察器所监控到的呈现媒体流,从而确定对等节点的配置、对等节点在网络内的位置,和/或在媒体流回放期间对等节点的场增强。媒体网络算法可以被配置为将一个或多个定时信号等插进媒体流中,假定对于每一个对等节点都是唯一的,以便于从其中更轻松地提取配置信息和/或定位信息。
按照本公开,媒体网络可以包括被配置为支持实时游戏应用的多个对等节点。实时游戏应用可以包括在网络中的对等节点之间传递媒体流。媒体网络可以指定网络内对等节点之中的一个或多个呈现设备。基于在游戏内所采取的行动,一个或多个对等节点可能会被指定作为呈现设备或由此降级(例如,在互动的卡拉OK录音排队应用程序中,在会议问答期间,等等)。一些非限制性的示例包括媒体流的基于益智问答的排队、虚拟拍卖、排队的媒体流的虚拟拍卖、媒体投票系统等。
在一个非限制性的示例中,实时游戏应用是一种拍卖,媒体网络支持本地对等节点的集合(例如,在拍卖现场的对等节点)以及一个或多个远程对等节点(例如,从远程位置参与的对等节点)。按照本公开,媒体网络可以包括同步服务,以管理在网络上的对等节点之间的媒体传送。另外地,除相关的音频流以外,媒体网络还可以实时显示图像、视频等。可以分配这样的信息给网络内的每一个对等节点,同时对等节点的响应(即,提问题、出价等)可以被引导至一个或多个优先级对等节点(例如,拍卖商、协调人等)。媒体网络可以通过不优先考虑至未集中到手边物品等上的对等节点的媒体传输来降低网络上的总流通量。
在另一个非限制性的示例中,媒体网络可以被配置为支持实时游戏应用。媒体网络可以包括多个对等节点,每一个对等节点被配置为代表游戏应用中的一个角色。媒体网络可以包括一个或多个游戏空间(例如,按照本公开的空间群)。每一个角色可以包括语音增强模块(例如,以便于实时更改角色的语音),配角(例如,伴侣AIs、密友等),特殊效果(例如,与由角色所采取的行动有关,等等)等。一个或多个角色可以附着于用户(例如,人类用户、AI等),其指导在游戏空间中角色的行动。可以设想到,每一个人类用户可以经由一个或多个增强设备与游戏空间接口。一些增强设备的非限制性的示例包括音频通信设备(例如,耳塞、麦克风等)和可选的视觉增强硬件(例如,危险警告显示镜等)。每一个增强设备或及其集合可以是对等节点或支持在媒体网络上的对等节点。这样的配置可以有利于增强在游戏空间内人类用户的运动场。视觉增强硬件可以覆盖游戏空间中的部件,而音频通信设备可以生成代表游戏空间特征的本地声场(例如,波场)。如媒体网络所支持和协调的那样,除了已增强的方面(例如,音频和视频)以外,人类用户还可以与实际的游戏空间互动。
在另一个非限制性的示例中,媒体网络可以被配置为接受来自无线电器等的输入。在一个非限制性的示例中,物理上置于媒体网络附近的近场通信(NFC)标签可以提供用于在网络内定位对等节点的手段(例如,经由无线信标三角测量、基于位置的识别、接近度检测等),给网络内的对等节点分配权利/去除权利(例如,以便于允许/防止呈现、观察,提供对媒体流的访问权、提供对群的访问权、指定群优先级等)。
在一个非限制性的示例中,使用基于双密钥的方法来轻松地保持安全且直观地移交对等节点至媒体网络内的群中。在一个非限制性的示例中,可以将万能钥匙分配给网络内对等节点的唯一ID。当对等节点进入与相关NFC芯片的通信范围内时,对等节点的唯一ID与NFC芯片的唯一ID相结合,用来自动解除对群的访问权的锁定、将对等节点分配给群、指定群上的功能、赋予群内对等节点优先级,及其组合等。
按照本公开,包括在媒体网络中的一个或多个对等节点可以是移动式对等节点,其能够在整个空间上移动,可受控地在包括观察器、呈现、处理器,或及其组合的功能之间切换。媒体网络可以包括用于根据网络的空间配置的变化、与对等节点的物理位置相关的媒体场的变化等来自动控制这样的功能关系的配置服务。
在一些方案中,一个或多个移动式对等节点可以被配置以便于使用过程中节省电力。媒体网络可以重新分配以减少电力受限的移动对等节点的计算量、观察器功能等,从而延长其电池的使用寿命。
在一些方案中,媒体网络可以编程来协调对等节点在网络内从第一群顺利转移至第二群。对等节点可以包括观察器功能,用来评价在转移过程中的媒体传输。对等节点可以被配置为在转移过程中监控本地媒体场且引导这样的信息至媒体网络。媒体网络可以包括声场管理功能,其被配置为调整一个或多个呈现设备(可能在第一群和/或第二群中)的声级,以便于无缝地将对等节点从第一群转移至第二群,同时在转移过程中保持在对等节点的位置处所希望的声压级。
在一些方案中,媒体网络可以编程来协调在多个对等节点周围的声场,每一个对等节点观察唯一的媒体流。网络可以被配置为管理(通过来自一个或多个对等节点的反馈)在一个或多个对等节点附近的声场,以便于将媒体流之间、基于用户之间接近度的交织流之间等的串话干扰减至最少。尽管彼此基本上紧靠近,但这样的配置可以有利于将可能收听替代媒体流的用户之间的串话干扰减至最少。
在一些方案中,按照本公开,媒体网络可以保持声场基本上居中于优先级对等节点周围。随着优先级对等节点在整个媒体网络上移动,媒体网络可以被配置为调整媒体流的局部呈现,以便于保持所希望的场,同时基本上将在与优先级对等节点不相关的区域中的声压级降至最低。
在一些方案中,媒体网络可以被配置为支持空间组织群的可变的用户优先级。因而,如果由对等节点接管,则群空间可以变成“已占用”,使得如果第二对等节点加入群,则可能无法引导在那个空间中的媒体流量。另外地,如果较低优先级对等节点前进进入另一个对等节点的群中,由较低优先级对等节点所听见的媒体可以逐渐地变弱,以便于不会干扰优先级对等节点的环境。媒体网络可以支持这样的功能:如果设置想要参与碰撞媒体流,则超驰这样的设置。因而,媒体网络可以被配置为支持在连接至网络的一个或多个对等节点周围的局部声场。基于“先到先得”的依据,可以将未占用的空间组织群提供给对等节点。
应当理解的是,附加的优点和修改将很容易为本领域技术人员所熟知。因此,在这里所提出的本公开的内容和及其更广泛的方案并不限于在这里所示和所述的具体细节和有代表性的实施例。相应地,在不偏离由所附权利要求及其等同物所限定的总的发明构思的精神或范围的情况下,可以包括许多修改例、等同例和改进例。

Claims (21)

1.一种利用网络上的一个或多个对等节点呈现媒体流以生成共享媒体场的方法,包括:
指定一个或多个所述对等节点作为用于呈现所述媒体流的呈现设备,所述呈现设备位于会场中,每一个呈现设备均包括影响由所述呈现设备呈现媒体流的至少一个呈现特性;
提供一个或多个对等节点之间的网络连接,所述连接支持媒体服务;
向至少一个所述对等节点提供所述媒体流;
通过所述一个或多个对等节点中的对等节点经由所述网络向每一个所述呈现设备分配从所述媒体流生成的媒体流;
通过所述一个或多个观察器观察所呈现的流;
通过所述一个或多个观察器响应于所呈现的流而生成针对所述呈现设备的校正信号;以及
基于所述校正信号来调整所述呈现设备的定时和/或声场参数中的至少一个以形成所需的流,
其中由每个呈现设备呈现的流贡献于所述会场中的共享媒体场,并且
其中所述共享媒体场具有预定质量,所述预定质量包括波场传播方向。
2.一种利用网络上的一个或多个对等节点呈现媒体流以生成共享媒体场的方法,包括:
指定一个或多个所述对等节点作为用于呈现所述媒体流的呈现设备,所述呈现设备位于会场中,每一个呈现设备均包括影响由所述呈现设备呈现媒体流的至少一个呈现特性;
提供一个或多个对等节点之间的网络连接,所述连接支持媒体服务;
向至少一个所述对等节点提供所述媒体流;
通过所述一个或多个对等节点中的对等节点经由所述网络向每一个所述呈现设备分配所述媒体流的至少一部分;
通过所述一个或多个观察器观察所呈现的流;
通过所述一个或多个观察器响应于所呈现的流而生成针对所述呈现设备的校正信号;以及
基于所述校正信号来调整所述呈现设备的定时和/或声场参数中的至少一个以形成所需的流,
其中由每个呈现设备呈现的流贡献于所述会场中的共享媒体场,并且
其中所述共享媒体场具有预定质量,所述预定质量包括波场传播方向。
3.根据权利要求1或2所述的方法,其中,通过所述媒体服务,和/或至少一个所述对等节点来执行调整步骤。
4.根据权利要求1或2所述的方法,其中,所述媒体服务在一个或多个所述呈现设备上协调和/或同步所述媒体呈现。
5.根据权利要求1或2所述的方法,其中,至少一个所述呈现特性是延迟参数,且所述调整步骤包括调整所述延迟参数以同步一个或多个所述呈现设备上的所述媒体呈现。
6.根据权利要求5所述的方法,其中,至少一个所述呈现特性是从由声学参数、音频滞后、音频频谱响应、音频干扰、回声、声压级和其组合构成的组中选出的。
7.根据权利要求1或2或6所述的方法,其中,至少一个对等节点将与其呈现特性、计算能力、可用资源、可用能源储备和/或其组合中的一个或多个有关的一个或多个参数报告给局域网上的一个或多个对等节点。
8.根据权利要求1或2或6所述的方法,其中,由所述媒体服务提供至少一部分所述调整。
9.根据权利要求1或2或6所述的方法,还包括利用定位算法来确定所述网络中一个或多个对等节点的位置。
10.根据权利要求9所述的方法,还包括收听由一个或多个所述对等节点所生成的呈现的媒体。
11.根据权利要求10所述的方法,进一步其中,所述收听用作所述定位算法的输入。
12.一种用于呈现媒体流以生成共享媒体场的媒体网络,包括:
多个对等节点,其经由局域网而连接,至少一个对等节点被配置为呈现设备和观察器,所述呈现设备和所述观察器位于会场中,所述呈现设备包括一个或多个呈现特性,所述呈现设备被配置为接受从所述媒体流生成的流并且在所述会场中产生个体呈现流,接受的流和所述个体呈现流之间的关系取决于所述呈现特性,所述观察器被配置成观察所述个体呈现流并且响应于所述个体呈现流而生成校正信号;和
媒体服务,其被配置为通过所述局域网将从所述媒体流生成的流分配给所述呈现设备,所述一个或多个对等节点和/或所述媒体服务被配置为基于所述校正信号来调整所述呈现设备的定时和/或声场参数中的至少一个以形成所需的流,
其中所述呈现设备的所述个体呈现流贡献于所述会场中的共享媒体场,
其中当所述呈现设备接收到所述媒体流的另一部分时,所述呈现设备将所述媒体流的所述另一部分分配给所述多个对等节点中的其它对等节点,并且
其中所述共享媒体场具有预定质量,所述预定质量包括波场传播方向。
13.一种用于呈现媒体流以生成共享媒体场的媒体网络,包括:
多个对等节点,其经由局域网而连接,至少一个对等节点被配置为呈现设备和观察器,所述呈现设备和所述观察器位于会场中,所述呈现设备包括一个或多个呈现特性,所述呈现设备被配置为接受所述媒体流的至少一部分并且在所述会场中产生个体呈现流,接受的流和所述个体呈现流流之间的关系取决于所述呈现特性,所述观察器被配置成观察所述个体呈现流并且响应于所述个体呈现流而生成校正信号;和
媒体服务,其被配置为通过所述局域网将所述媒体流的至少一部分分配给所述呈现设备,所述一个或多个对等节点和/或所述媒体服务被配置为基于所述校正信号来调整所述呈现设备的定时和/或声场参数中的至少一个以形成所需的流,
其中所述呈现设备的所述个体呈现流贡献于所述会场中的共享媒体场,
其中当每个所述呈现设备接收到所述媒体流的另一部分时,所述呈现设备将所述媒体流的所述另一部分分配给所述多个对等节点中的其它对等节点,并且
其中所述共享媒体场具有预定质量,所述预定质量包括波场传播方向。
14.根据权利要求12或13所述的媒体网络,其中,一个或多个对等节点是从由智能手机、平板电脑、立体声音响系统、扬声器、电视机、耳机、平视显示器或其组合构成的组中选出的消费类电子设备。
15.一种用于呈现媒体流以生成共享媒体场的媒体网络,包括:
多个对等节点,其经由局域网而连接,一个或多个对等节点被配置为呈现设备和观察器,所述呈现设备和所述观察器位于会场中,每一个呈现设备均包括一个或多个呈现特性,每一个所述呈现设备均被配置为接收输入流并且呈现至少一部分所述输入流以在所述会场中产生个体呈现流,所述个体呈现流取决于所述呈现特性,每个所述观察器被配置成观察所述个体呈现流并且响应于所述个体呈现流而生成校正信号;和
媒体服务,其被配置为通过所述局域网将至少一部分所述媒体流分配给所述呈现设备,一个或多个所述对等节点和/或所述媒体服务被配置为基于所述校正信号来调整至少一个呈现设备的定时和/或声场参数中的至少一个以形成所需的流,
其中每个呈现设备的所述个体呈现流贡献于所述会场中的共享媒体场,
其中当每个所述呈现设备接收到所述媒体流的另一部分时,每个所述呈现设备将所述媒体流的所述另一部分分配给所述多个对等节点中的其它对等节点,并且
其中所述共享媒体场具有预定质量,所述预定质量包括波场传播方向。
16.根据权利要求15所述的媒体网络,其中,一个所述对等节点被配置作为媒体源,所述媒体源被配置为经由所述媒体服务向一个或多个对等节点提供所述媒体流。
17.根据权利要求15或16所述的媒体网络,其中,至少一个所述对等节点被配置为向被配置为接收或发送至少一部分所述媒体流的广域网提供入口。
18.根据权利要求15或16所述的媒体网络,其中,所述媒体服务包括被配置为同步两个以上所述个体呈现流的实时传输协议。
19.根据权利要求15所述的媒体网络,其中,所述媒体服务包括补偿算法,所述补偿算法被配置为在所述媒体场内的预定位置上生成虚拟对等节点。
20.根据权利要求15所述的媒体网络,其中,一个或多个观察器被配置为在整个所述媒体场内移动。
21.根据权利要求15或16所述的媒体网络,其中,一个或多个所述对等节点物理上定位于所述媒体场内且根据所述媒体场内所述对等节点的位置被选择性地指定为呈现设备。
CN201380024593.9A 2012-05-08 2013-05-08 由松散协调的媒体呈现设备形成媒体网络的系统及方法 Expired - Fee Related CN104380682B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261644164P 2012-05-08 2012-05-08
US61/644,164 2012-05-08
PCT/US2013/040090 WO2013169868A1 (en) 2012-05-08 2013-05-08 System and method for forming media networks from loosely coordinated media|rendering devices

Publications (2)

Publication Number Publication Date
CN104380682A CN104380682A (zh) 2015-02-25
CN104380682B true CN104380682B (zh) 2019-05-03

Family

ID=48483219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380024593.9A Expired - Fee Related CN104380682B (zh) 2012-05-08 2013-05-08 由松散协调的媒体呈现设备形成媒体网络的系统及方法

Country Status (4)

Country Link
US (2) US9860588B2 (zh)
EP (1) EP2847971B1 (zh)
CN (1) CN104380682B (zh)
WO (1) WO2013169868A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9277322B2 (en) * 2012-03-02 2016-03-01 Bang & Olufsen A/S System for optimizing the perceived sound quality in virtual sound zones
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
BR102012019954A2 (pt) * 2012-08-09 2013-08-13 Connectmix Elaboracao De Programas Eireli monitoramento em tempo real de audio de emissoras de rÁdio e tv
US20140354441A1 (en) * 2013-03-13 2014-12-04 Michael Edward Smith Luna System and constituent media device components and media device-based ecosystem
US9491033B1 (en) * 2013-04-22 2016-11-08 Amazon Technologies, Inc. Automatic content transfer
US9614898B1 (en) * 2013-05-27 2017-04-04 Surround.IO Distributed event engine
EP2919438B1 (en) * 2014-03-10 2019-06-19 Deutsche Telekom AG Method and system to estimate user desired delay for resource allocation for mobile-cloud applications
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US10341717B2 (en) * 2014-03-31 2019-07-02 Verizon Patent And Licensing Inc. Systems and methods for facilitating access to content associated with a media content session based on a location of a user
US9348824B2 (en) 2014-06-18 2016-05-24 Sonos, Inc. Device group identification
DE102014211899A1 (de) * 2014-06-20 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Kopiergeschützten Erzeugen und Abspielen einer Wellenfeldsynthese-Audiodarstellung
TWI570626B (zh) * 2014-06-30 2017-02-11 廣達電腦股份有限公司 虛擬檔案分享方法
US9512954B2 (en) 2014-07-22 2016-12-06 Sonos, Inc. Device base
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9706015B2 (en) * 2014-10-29 2017-07-11 Logitech Europe S.A. Multi-operating system input device
US9743219B2 (en) * 2014-12-29 2017-08-22 Google Inc. Low-power wireless content communication between devices
US9329831B1 (en) 2015-02-25 2016-05-03 Sonos, Inc. Playback expansion
US9330096B1 (en) 2015-02-25 2016-05-03 Sonos, Inc. Playback expansion
US10701120B2 (en) 2015-03-06 2020-06-30 Disney Enterprises, Inc. Proximity based entitlement sharing
EP3272135A4 (en) * 2015-03-12 2018-11-07 Startimes Communication Network Technology Co. Ltd Location based services audio system
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
US9544701B1 (en) 2015-07-19 2017-01-10 Sonos, Inc. Base properties in a media playback system
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US10001965B1 (en) 2015-09-03 2018-06-19 Sonos, Inc. Playback system join with base
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
EP3531714B1 (en) 2015-09-17 2022-02-23 Sonos Inc. Facilitating calibration of an audio playback device
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10454982B1 (en) 2016-03-18 2019-10-22 Audio Fusion Systems, Inc. Monitor mixing system that distributes real-time multichannel audio over a wireless digital network
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10133544B2 (en) * 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
CN106937244B (zh) * 2017-03-24 2020-02-11 浙江省计量科学研究院 一种多通道无线噪声测试方法及装置
CN110945494A (zh) * 2017-07-28 2020-03-31 杜比实验室特许公司 向客户端提供媒体内容的方法和系统
US10425759B2 (en) * 2017-08-30 2019-09-24 Harman International Industries, Incorporated Measurement and calibration of a networked loudspeaker system
US10276175B1 (en) 2017-11-28 2019-04-30 Google Llc Key phrase detection with audio watermarking
US11184364B2 (en) 2018-01-09 2021-11-23 Cisco Technology, Inc. Localized, proximity-based media streaming
US10674305B2 (en) * 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
CN111052842B (zh) * 2018-08-13 2023-08-29 Lg电子株式会社 无线通信系统中用于在流量类和pppp之间映射的方法和设备
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US10992336B2 (en) 2018-09-18 2021-04-27 Roku, Inc. Identifying audio characteristics of a room using a spread code
US10958301B2 (en) * 2018-09-18 2021-03-23 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
US10931909B2 (en) 2018-09-18 2021-02-23 Roku, Inc. Wireless audio synchronization using a spread code
US10811018B2 (en) * 2018-12-04 2020-10-20 Saudi Arabian Oil Company System and method for using a unidirectional watermark for information leak identification
US11269976B2 (en) 2019-03-20 2022-03-08 Saudi Arabian Oil Company Apparatus and method for watermarking a call signal
US11363382B2 (en) * 2019-05-31 2022-06-14 Apple Inc. Methods and user interfaces for audio synchronization
EP3981170A1 (en) 2019-06-07 2022-04-13 Sonos, Inc. Automatically allocating audio portions to playback devices
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US11197071B2 (en) * 2019-10-24 2021-12-07 Sling Media Pvt Ltd Methods and systems for automated media device communications configuration
WO2022250415A1 (en) * 2021-05-24 2022-12-01 Samsung Electronics Co., Ltd. System for intelligent audio rendering using heterogeneous speaker nodes and method thereof
DE102022000776A1 (de) 2021-09-08 2023-03-09 Reelway GmbH Virtuelle akustische Zuschauerkulisse

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1217543C (zh) * 2002-06-28 2005-08-31 国际商业机器公司 对等视频点播系统中的设备和方法
US8015306B2 (en) * 2005-01-05 2011-09-06 Control4 Corporation Method and apparatus for synchronizing playback of streaming media in multiple output devices
US20090164576A1 (en) * 2007-12-21 2009-06-25 Jeonghun Noh Methods and systems for peer-to-peer systems
US8260952B2 (en) 2008-01-31 2012-09-04 Microsoft Corporation Multi-rate peer-assisted data streaming
TWI361361B (en) * 2008-05-13 2012-04-01 Ind Tech Res Inst Distributed audio video system, and content directory management system and method thereof
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
KR101562974B1 (ko) * 2009-09-07 2015-10-30 삼성전자 주식회사 스트리밍 서비스의 지연 감소를 위한 단말기, 시드 서버 및 트랙커 서버
US9485298B2 (en) * 2010-10-28 2016-11-01 Netscout Systems Texas, Llc Device with video buffer modeling and methods for use therewith
US9191284B2 (en) * 2010-10-28 2015-11-17 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
US20130173742A1 (en) * 2011-12-28 2013-07-04 United Video Properties, Inc. Systems and methods for latency-based synchronized playback at multiple locations

Also Published As

Publication number Publication date
CN104380682A (zh) 2015-02-25
EP2847971A1 (en) 2015-03-18
US9860588B2 (en) 2018-01-02
US20180139498A1 (en) 2018-05-17
US20150100991A1 (en) 2015-04-09
EP2847971B1 (en) 2018-12-26
WO2013169868A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
CN104380682B (zh) 由松散协调的媒体呈现设备形成媒体网络的系统及方法
CN107493542B (zh) 用于在听音环境中播放音频内容的扬声器系统
CN103327377B (zh) 用于内容的同步流传输的系统、方法和基础设施
US20190098421A1 (en) Providing a Multi-Channel and a Multi-Zone Audio Environment
CN104798344B (zh) 基于对邻近一个或多个用户的媒体输出设备的动态发现的自组织(ad‑hoc)媒体呈现
CN107509141B (zh) 具有声道重新映射器和对象渲染器的音频处理装置
CN104584061B (zh) 提供对众源播放列表的来宾访问的系统、方法、装置和制品
CN104126309B (zh) 用于联网音乐回放的系统和方法
CN104584567B (zh) 音频转发设备和对应的方法
US11914921B2 (en) Synchronous sounds for audio assistant on devices
EP2658209B1 (en) Methods and apparatus for streaming audio content
CN109690672A (zh) 对语音输入进行上下文化
CN106464953A (zh) 双声道音频系统和方法
CN107634888A (zh) 用于提供低延迟音频的系统、方法、装置和制品
US11310634B2 (en) Systems and methods for using role-based voice communication channels
CN107005728A (zh) 用以传送通过点到点连接接收到的媒体内容流并同步该媒体内容流在多个互连设备上的回放的媒体输出设备
TW202042564A (zh) 用於處理智慧家庭系統中的感應器資料的框架
US11665713B2 (en) Systems and methods for automatically assigning voice communication channels
US11700353B2 (en) Integration of remote audio into a performance venue
CN109983777A (zh) 启用媒体编排
CN105659525A (zh) 联网的回放设备在操作模式之间的转换
CN107872706A (zh) 智能电视系统的主控设备和用户权限控制方法及服务器
CN107872707A (zh) 智能电视系统的主控设备和播放控制方法
WO2021131326A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
CN107872697A (zh) 智能电视系统的主控设备、方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170629

Address after: Edinburgh

Applicant after: CIRRUS LOGIC INTERNATIONAL SEMICONDUCTOR Ltd.

Address before: Solna, Sweden

Applicant before: ACTIWAVE AB

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503