CN109068260B - 配置经由家庭音频回放系统的音频的回放的系统和方法 - Google Patents

配置经由家庭音频回放系统的音频的回放的系统和方法 Download PDF

Info

Publication number
CN109068260B
CN109068260B CN201811064887.5A CN201811064887A CN109068260B CN 109068260 B CN109068260 B CN 109068260B CN 201811064887 A CN201811064887 A CN 201811064887A CN 109068260 B CN109068260 B CN 109068260B
Authority
CN
China
Prior art keywords
audio
objects
user
control object
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811064887.5A
Other languages
English (en)
Other versions
CN109068260A (zh
Inventor
S·哈德尔
R·A·弗朗斯
T·齐埃格勒
R·穆西尔
C·奥泰斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of CN109068260A publication Critical patent/CN109068260A/zh
Application granted granted Critical
Publication of CN109068260B publication Critical patent/CN109068260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Abstract

本申请涉及配置经由家庭音频回放系统的音频的回放。描述了与配置经由家庭音频回放系统的音频的回放相关的方法和装置。该方法涉及图形用户界面，其中，所述图形用户界面包括定位区域。表示音频对象的控制对象可由用户移动到定位区域中的不同位置，其中，控制对象的当前位置表示收听环境中的用户期望的回放位置。一种方法还涉及利用包括平衡调节区域的图形用户界面配置音频的回放。在用户界面的平衡调节区域中，用户可以选择前景对象和背景对象的音量水平。

Description

配置经由家庭音频回放系统的音频的回放的系统和方法
本申请是申请日为2015年5月20日、申请号为201580026262.8、标题为“配置经由家庭音频回放系统的音频的回放”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2014年5月21日提交的美国临时专利申请No. 62/001,193的优先权，该申请特此整个地通过引用而并入。
技术领域
本发明涉及配置经由家庭音频回放系统的音频的回放，其中，音频包括一个或多个音频对象。
背景技术
典型的家庭音频回放系统被布置为在家庭收听环境中接收和回放音频。这样的家庭音频回放系统可以包括音频视频接收器(AVR)，音频视频接收器(AVR)连接到环绕声配置中的多个扬声器以便例如在家里的起居室或家庭影院房间中经由扬声器回放音频。例如，AVR 可以连接到5.1环绕声配置中的六个扬声器或者7.1环绕声配置中的八个扬声器。也就是说，这样的AVR可以被配置为经由6个、8个或者在将来甚至更多个扬声器声道来回放音频。
回放的音频可以基于接收的基于对象的音频节目。基于对象的音频节目可以包括许多不同的音频对象，例如，在一些现代格式中，多达128个不同的对象。
显然，如果具有6个、8个或者甚至更多个扬声器声道的家庭音频回放系统要回放来自包括多达128个音频对象的基于对象的音频节目的音频，那么将存在音频对象中的哪些音频对象要被回放并且经由扬声器声道中的哪些扬声器声道回放的许多可能的排列。
发明内容
本公开提供了一种用于配置经由家庭音频回放系统的音频的回放的方法，所述音频包括一个或多个音频对象，所述方法包括：
产生用于显示器的输出信号，所述输出信号包括表示图形用户界面的数据，所述图形用户界面(GUI)包括定位区域，其中，所述定位区域包括与所述家庭音频回放系统相关联的收听环境的视觉 (visual)表示，并且
其中，所述定位区域包括表示所述一个或多个音频对象中的
至少一个的可移动控制对象，所述可移动控制对象相对于所述收
听环境的视觉表示可移动，由此所述可移动控制对象的当前位置
可以由用户选择，所述可移动控制对象的当前位置表示对于所述
一个或多个音频对象中的所述至少一个在所述收听环境内的用户
期望的回放位置，
经由输入设备从用户接收输入信号，所述输入信号包括表示对于所述一个或多个音频对象中的所述至少一个的用户期望的回放位置的数据；以及
产生用于配置所述家庭音频回放系统的配置信号，所述配置信号包括适合于使所述家庭音频回放系统根据对于所述一个或多个音频对象中的所述至少一个的用户期望的回放位置来回放所述音频对象中的所述至少一个的数据。
因此，在所述方法中，建议使得用户能够选择收听环境内的用户想要声音出现的视在(apparent)回放位置。
在实施例中，定位区域包括第一视觉元素，所述第一视觉元素具有所述一个或多个控制对象中的所述至少一个已被用户选择的视觉指示。当控制对象在对象选择列表区域中被选择时，例如表示该控制对象的图标显示在定位区域中。
定位区域还可以包括第二视觉元素，所述第二视觉元素具有可移动控制对象可移动的视觉指示，或者其中，所述第一视觉元素包括可移动控制对象可移动的视觉指示。例如，当控制对象可移动或者仅沿着圆的圆周可移动时，它可以具有特定形状。
第一视觉元素还可以包括当控制对象活动时的视觉指示。当控制对象表示的音频对象携载声音时，控制对象是活动的。例如，当评论员正在讲话时，控制对象是活动的。当定位区域上的控制对象是活动的时，表示该控制对象的图标可以具有特别的颜色或者突出显示。这使得用户可以容易识别控制对象并且将选择的控制对象移动到收听环境中的某些地方。
在实施例中，定位区域包括进一步的视觉元素，该进一步的视觉元素被布置为指示相对于所述一个或多个扬声器所位于的地方的视觉表示的至少一个有效位置，所述有效位置是可移动控制对象可以占据的位置。根据扬声器设置，用户可在GUI的定位区域上看到将可以放置音频对象的地方。例如，该地方可以沿着圆的圆周。
此外，可以确定音频对象或者音频对象中的每一个的控制对象的相应内容。在一个实施例中，所述相应内容是以下中的任何一个：
表示评论；
表示人群噪声；
表示团队无线电(team radio)；或者
表示社交媒体聊天。
在进一步的实施例中，图形用户界面进一步包括对象选择列表区域，其中，所述对象选择列表区域包括至少一个可选控制对象，所述至少一个可选控制对象被配置为允许用户启用(enable)控制对象中的一个或多个的回放。如果用户启用对象选择列表区域中的控制对象，那么它们将出现在定位区域中。
对象选择列表区域还可以包括至少一个进一步的可选控制对象，所述至少一个进一步的可选控制对象被配置为允许用户选择所述一个或多个被启用的控制对象的回放音量。
对象选择列表区域可以包括多个控制对象，并且所述控制对象在对象选择列表区域中被布置成多个组。控制对象的数量和控制对象到组的分配基于控制对象的相应内容。例如，用户可以在一个公共组下找到所有的具有某一音频内容的音频对象。
在一个实施例中，家庭音频回放系统接收与音频相关的信息，所述音频相关信息包括对于音频的当前节目特定的资源，其中，所述资源包括要在对象选择列表区域中和/或在定位区域中与控制对象相关联地显示的对象图标的图像。用于当前节目的资源通过文件传输协议 (FTP)链接下载。
该实施例使得能够具有每个运动赛事的预定节目。在例如汽车运动赛事中，特定图标可以是团队无线电。
家庭音频回放系统可以包括根据以下中的一个布置的两个或更多个扬声器：
2.0扬声器配置，
5.1扬声器配置，
7.1扬声器配置，
3D扬声器配置或者
条形音箱(soundbar)扬声器配置。
进一步的实施例包括从输入信号确定用户命令以将控制对象中的一个的选择作为预设存储，但是也可以包括用户命令以将用户期望的回放位置作为预设存储。
进一步的实施例包括将配置信号传送到家庭音频回放系统。这可以通过使用基于因特网的协议来进行。
进一步的实施例涉及一种配置经由家庭音频回放系统的音频的回放的方法，所述音频包括两个或更多个音频对象，所述方法包括：
产生用于显示器的输出信号，所述输出信号包括表示图形用户界面的数据，所述图形用户界面包括平衡调节区域，其中，所述平衡调节区域包括：
第一位置处的第一图标，所述第一图标表示作为前景 (foreground)对象的音频对象中的一个或多个；
第二位置处的第二图标，所述第二图标表示作为背景 (background)对象的音频对象中的一个或多个；
可移动控制对象，所述可移动控制对象在所述第一位置和第二位置之间可移动，由此所述可移动控制对象的当前位置可以由用户选择，所述可移动控制对象相对于所述第一位置的当前位置表示对于所述一个或多个前景对象的用户选择的音量水平 (level)，所述可移动控制对象相对于所述第二位置的当前位置表示对于所述一个或多个背景对象的用户选择的音量水平；
经由输入设备从用户接收输入信号，所述输入信号包括表示对于所述一个或多个前景对象的用户选择的音量水平的数据和表示对于所述一个或多个背景对象的用户选择的音量水平的数据；以及
产生用于配置所述家庭音频回放系统的配置信号，所述配置信号包括适合于使所述家庭音频回放系统根据对于所述一个或多个前景对象和所述一个或多个背景对象的相应的用户选择的音量水平来回放所述两个或更多个音频对象的数据。
该方法使得能够仅使用一个控制对象来实现两个动作。当移动控制对象时，将导致某些预选的音频对象的音量水平增加，并且同时使其它预选的音频对象的音量水平降低。如果用户想要增加前景对象的清晰度(intelligibility)并且降低背景对象的音量，那么用户通过将平衡调节器移动到第一位置来用平衡调节器增加这些前景对象的音量水平。这将同时导致背景对象的音量水平的降低。
在一个实施例中，可移动控制对象可以是在第一位置和第二位置之间沿直线可移动的滑动件。滑动件将使得容易且灵活地仅需要一个控制对象来实现两个动作。
在一个实施例中，可以从输入信号确定用户命令以用于：
将所述一个或多个背景对象和所述一个或多个前景对象作为预设存储；
将背景对象的音量水平作为预设存储；
将前景对象的音量水平作为预设存储。
该实施例将使得能够舒适地知道在特定预设下音频对象被定位在收听环境中的哪里以及不同音频对象对于特定预设具有什么音量水平。
该实施例例如在根据以下中的一个布置的两个或更多个扬声器的情况下将很好地工作：
2.0扬声器配置，
5.1扬声器配置，
7.1扬声器配置，
3D扬声器配置或者
条形音箱扬声器配置。
以上对于方法记载的实施例也适用于相应的装置。
在进一步的实施例中，对应的装置将适合经由无线通信信道(诸如IR信道)接收输入信号，并且经由有线信道(诸如HDMI、VGA、 DVI或SCART电缆)发送输出信号。
在装置的进一步的实施例中，显示器和输入设备集成在触摸屏中。
本公开的目标还通过家庭音频回放系统和广播系统来实现。
附图说明
图1示出将信号发送到家庭回放系统的广播系统的实施例的概览。
图2更详细地示出如图1所示的家庭回放系统的实施例。
图3更详细地示出如图2所示的家庭回放系统的实施例。
图4示出图3中的用户控制单元303的处理单元的信令的概览。
图5示出如图4中那样产生处理单元的输出信号的流程图。
图6示出如图4中那样在输出设备上生成的图形用户界面的概览。
图7示出如图6所示的图形用户界面的定位区域的详细视图。
图8示出如图6所示的控制音频对象的音量的图形用户界面的实施例。
图9示出经由用户输入设备与图形用户界面的用户交互的流程图。
图10示出对来自图9的用户交互的用户输入的信令进行处理的流程图。
符号和术语
在包括权利要求书的整个本公开中，表达“系统”被广义地用来表示设备、系统或子系统。例如，实现解码器的子系统可以被称为解码器系统，并且包括这样的子系统的系统(例如，响应于多个输入而产生X个输出信号的系统，其中，子系统产生输入中的M个输入并且其它X-M个输入从外部源接收)也可以被称为解码器系统。
在包括权利要求书的整个本公开中，词语“处理器”被广义地用来表示可编程或者以其它方式可配置(例如，利用软件或固件)为对数据(例如，音频、或视频或其它图像数据)执行操作的系统或设备。处理器的示例包括现场可编程门阵列(或其它可配置集成电路或芯片组)、被编程和/或被以其它方式配置为对音频或其它声音数据执行流水线处理的数字信号处理器、可编程通用处理器或计算机、以及可编程微处理器芯片或芯片组。
在包括权利要求书的整个本公开中，表达“音频视频接收器”(或“AVR”)表示用于控制音频和视频内容的回放的一类消费者电子装备中(例如家庭影院中)的接收器。
在包括权利要求书的整个本公开中，表达“条形音箱”表示如下设备，该设备是一种消费者电子装备(通常安装在家庭影院系统中)，并且包括至少一个扬声器(通常是至少两个扬声器)以及用于渲染 (render)音频以供每个包括的扬声器回放(或者以供每个包括的扬声器和条形音箱外部的至少一个附加扬声器回放)的子系统。
在包括权利要求书的整个本公开中，表达“元数据”(例如，如表达“处理状态元数据”中的元数据)是指与对应的音频数据(还包括元数据的位流的音频内容)分开的且不同的数据。元数据与音频数据相关联，并且指示音频数据的至少一个特征或特性(例如，什么类型的处理已经或者应当对音频数据执行、或者由音频数据指示的对象的轨迹)。元数据与音频数据的关联是时间同步的。因此，当前的(最近接收的或更新的)元数据可以指示对应的音频数据同时具有指示的特征，和/或包括指示的类型的音频数据处理的结果。
在包括权利要求书的整个本公开中，以下表达具有以下定义：
扬声器和扩音器被同义地用来表示任何发声换能器。该定义包括实现为多个换能器的扩音器(例如，低音扬声器和高音扬声器)；
声道(或“音频声道”)：单音音频信号。这样的信号通常可以被以如等效于直接对期望或标称位置处的扩音器施加信号的这样的方式渲染。期望位置可以是静止的，如通常物理扩音器的情况那样，或者可以是动态的；
音频节目：一组一个或多个音频声道(至少一个扬声器声道和/ 或至少一个对象声道)，并且可选地还有相关联的元数据(例如，描述期望的空间音频呈现的元数据)；
扬声器声道(或“扬声器馈送声道”)：与指定的扩音器(在期望或标称位置处)或者定义的扬声器配置内的指定的扬声器区域相关联的音频声道。扬声器声道被以如等效于直接对指定的扩音器(在期望或标称位置处)或者指定的扬声器区域中的扬声器施加音频信号的这样的方式渲染；
对象声道：指示音频源(有时称为音频“对象”)发出的声音的音频声道。通常，对象声道确定参数化音频源描述(例如，指示参数化音频源描述的元数据包括在对象声道中或者与对象声道一起提供)。源描述可以确定由源发出的声音(随着时间变化)、随着时间变化的源的视在位置(例如，3D空间坐标)，并且可选地还确定表征源的至少一个附加参数(例如，视在源大小或宽度)；
基于对象的音频节目：如下的音频节目，该音频节目包括一组一个或多个对象声道(并且可选地还包括至少一个扬声器声道)，并且可选地还有相关联的元数据(例如，指示发出由对象声道指示的声音的音频对象的轨迹的元数据、或者另外指示由对象声道指示的声音的期望空间音频呈现的元数据、或者指示至少一个作为由对象声道指示的声音的源的音频对象的识别的元数据)；以及
渲染：将音频节目转换成一个或多个扬声器馈送的处理，或者将音频节目转换成一个或多个扬声器馈送并且使用一个或多个扩音器将扬声器馈送转换为声音的处理(在后一种情况下，渲染有时在本文中称为“由”扩音器进行的渲染)。音频声道可以通过直接对期望位置处的物理扩音器施加信号而被平凡地(trivially)渲染(“在”期望位置处)，或者一个或多个音频声道可以使用被设计为基本上等效于这样的平凡渲染(对于收听者来说)的各种虚拟化技术中的一种来进行渲染。在这后一种情况下，每个音频声道可以被转换为要被施加到已知位置(这些位置一般不同于期望位置)中的扩音器的一个或多个扬声器馈送，使得由扩音器响应于馈送而发出的声音将被感知为从期望位置发出。这样的虚拟化技术的示例包括经由耳机的双耳渲染(例如，通过使用模拟对于耳机佩戴者的环绕声的多达7.1个声道的Dolby耳机处理)以及波场合成。
控制对象：用户可以操纵以便控制某事物的用户界面的一部分。
活动控制对象：表示当前携载声音的音频对象的控制对象。
具体实施方式
参照图1，根据本发明的实施例的广播系统包括广播器101，广播器101被配置为广播运动赛事(例如，足球赛)的音频和视频。捕获的音频和视频可以被例如广播到电视(TV)、台式计算机、膝上型电脑、平板计算机等。广播器101可以通过IP网络102(例如，包括因特网)将捕获的音频和视频作为数字信息发送以被家庭网络103接收。家庭网络103被布置为无线地或者利用有线连接将信息分发到家庭回放系统104。如果信息通过无线连接传送，则它可以例如通过路由器经由WIFI或者通过蓝牙发出。如图1所示，家庭回放系统104可以包括回放系统105和手持计算设备106。
在图2中，示出了图1的家庭回放系统的示例。家庭回放系统200 包括电视(TV)201、机顶盒(STB)202、音频视频接收器(AVR) 203以及扬声器205。可替代地，在一些实施例中，AVR 203和扬声器205可以被条形音箱代替。
在该实施例中，手持计算设备204与家庭回放系统200交互。手持计算设备204优选为平板计算机、移动电话等。
TV 201通常通过有线连接或无线连接与STB 202和AVR 203进行通信。有线连接优选地经由电缆，比如HDMI(高清多媒体接口)、 VGA(视频图形阵列)、SCART(Syndicat desConstructeurs d'Appareils Radiorécepteurs et Téléviseurs)、或DVI(数字视觉接口)电缆、或者类似物。扬声器205可以具有与AVR 203的有线或无线连接。手持计算设备204可以具有与STB 202的有线或无线连接。
如图3所示，图2的家庭回放系统包括解码器301、对象处理单元302、用户控制单元303、空间渲染器304、数字音频处理子系统306、 307、308以及再编码器305、310、311。解码器301、对象处理单元 302、数字音频处理子系统306、307、308以及再编码器305、310、 311优选地是STB 202的一部分。
下游渲染器309可以是AVR 203(或条形音箱)的一部分，并且被配置为对音频进行渲染以供回放到家庭回放系统中的扬声器205。
用户控制单元303优选为手持计算设备204。
解码器301接收位流(例如，AC-3编码位流)中的音频相关数据。
音频包括音频对象。位流包括告知位流中的可用音频对象的数据。
利用用户控制单元303，用户可以选择哪些音频对象要渲染。用户控制单元303可以是被编程为实现图形用户界面(GUI)的手持计算设备204。GUI可以向用户提供对象和扬声器声道内容的可选“预设”混合的菜单。解码器对选择的音频对象的声道进行解码，并且将这些选择的音频对象声道以及与选择的对象声道对应的对象相关元数据输出到对象处理单元302。
对象处理单元302由来自用户控制单元303的控制数据以及来自解码器301的对象相关元数据控制，并且被配置为确定尤其是选择的对象中的每一个的空间位置和音频水平。
空间渲染系统304被配置为对来自对象处理单元302的音频对象进行渲染以供家庭回放系统的扬声器312回放。空间渲染系统使用从对象处理单元302输出的渲染参数将已由对象处理单元302选择的音频声道映射到可用的扬声器声道。
图4示出了用户控制单元303内部的处理器401的信令。与音频相关的数据经由无线通信信道获得。该音频相关数据402被导出，诸如例如如AC-3标准或E-AC-3标准中指定的位流的元数据。
图5是示出由图4所示的处理所执行的方法的步骤的流程图。
从音频相关数据402，处理器401确定501音频对象的存在。处理器401然后确定502音频对象中的每一个的音频内容。
音频对象的相应内容可以是以下中的任何一个的捕获音频：评论、粉丝群、团队无线电、额外部分(extras)或社交媒体聊天。评论可以是对于主队粉丝、对于客队粉丝、对于无线电的评论员的捕获音频，或者是替代的例如不同语言的评论的捕获音频。粉丝群可以包括主队、客队或中立人群噪声。团队无线电可以包括当观看汽车运动赛事时驾驶员和工程师之间的无线电通信。额外部分可以包括体育场公告(例如，运动员的替换、紧急信息)、或来自其它赛事的得分瞬间。社交媒体聊天可以包括在游戏或竞赛期间在朋友之间交流的文本消息。文本可以通过使用文本到语音(TTS)合成而被转换为语音。
处理器401接收与音频相关的信息。处理器401可以使用文件传输协议(FTP)链接以下载当前节目特定的资源。当前节目可以是运动赛事，例如，橄榄球比赛、足球比赛或另一运动赛事。对于这些节目中的每一个，存在预定义资源。资源主要是显示在GUI上的具有图标或状态条(bar)的图像。
处理器401还例如通过从存储器检索系统信息来获得系统信息 403。系统信息可能已经在恢复阶段期间被保存到存储器。
从系统信息，接收用户的音频系统的回放能力。根据用户的音频回放系统，可以对家庭音频回放系统200确定503一个或多个扬声器的扬声器配置。
扬声器配置可以例如是以下中的任何一个：2.0扬声器设置、5.1 设置、7.1设置、3D设置或条形音箱设置。
处理器401然后为输出设备产生504输出信号404。例如，在各种实施例中，输出设备可以包括显示器。显示器可以集成在手持计算设备204的触摸屏中。
根据输出设备，输出信号可以经由无线通信信道发送，或者经由通过HDMI、VGA、SCART或DVI电缆的有线信道发送。
输出信号404可以包括适合于使输出设备向用户呈现哪些音频对象存在于音频中的指示的数据。该数据的至少一部分适合于使输出设备产生图形用户界面(GUI)600。
图6示出了GUI 600的不同区域的概览，GUI 600包括对象选择列表区域602、定位区域601以及平衡调节区域603。对象选择列表区域602包括至少一个控制对象。控制对象被配置为允许用户启用音频对象中的一个或多个的回放。例如，每个控制对象可以是矩形元素，该矩形元素可供用户选择以便选择与控制对象相关联的一个或多个音频对象，并且内部的文本标识该元素，且当控制对象已被选择时用诸如红色或蓝色的颜色突出显示。如果它尚未被选择，则它可以是灰色的。
在一些实施例中，对象选择列表区域602可以包括被配置为允许用户选择音频对象中的至少一个的回放音量的至少一个进一步的控制对象。该进一步的控制对象不需要在对象选择区域602中。
控制对象可以在对象选择列表区域中的列表中被布置为多个组。组中的控制对象的数量以及控制对象到组的分配可以基于由内容创建者预先确定的控制对象的相应内容。如果存在许多控制对象，诸如16 个控制对象，则对象选择列表区域可以是可滚动区。
当控制对象在对象选择列表区域中被选择时，相应的控制对象将出现在定位区域中。在定位区域中，这些控制对象可以可视化为图标。
如图7所示，定位区域601、700包括收听环境的视觉表示700。定位区域601、700可以例如显示为图像，该图像显示扬声器在起居室中围绕沙发和TV定位的地方。
2.0扬声器设置区域限于与收听区域的中心成-/+45度的角度。5.1 扬声器设置区域限于具有与收听区域的中心成360度的角度的圆。7.1 扬声器设置区域限于具有与收听区域的中心成360度的角度的圆。
3D设置区域限于收听区域的球的一半。条形音箱设置区域也限于收听区域的球的一半。
定位区域601、700由至少一个可移动控制对象702组成，可移动控制对象702表示对象选择列表区域中的被启用的控制对象中的一个。该可移动控制对象702可相对于视觉表示移动。如图7所示，可移动控制对象702可以围绕收听区域的周界701移动，周界701可以是圆701的圆周。圆的大小取决于扬声器配置。
如下面将参照图9所讨论的，可移动控制对象702的当前位置由用户选择。因此，可移动控制对象702的当前位置表示对于控制对象中的被选择的一个控制对象在收听环境内的用户期望的回放位置。
定位区域601、700可以包括第一视觉元素，第一视觉元素是所述一个或多个控制对象中的所述至少一个已被用户选择的视觉指示。例如，图标显示在定位区域中。第一视觉元素可以进一步包括控制对象是否可移动的视觉指示，或者定位区域可以包括第二视觉元素，第二视觉元素具有可移动控制对象可移动的视觉指示。如图7所示，图标在它可移动时可以例如成圆形702，并且在它不可移动时成方形703。
第一视觉元素还可以包括当控制对象活动时的视觉指示。例如，当音频对象携载声音(例如，其中评论员正在讲话)时，表示控制对象的图标可以被突出显示为蓝色。
定位区域700还可以包括被布置为指示相对于收听环境中的视觉表示的至少一个有效位置的进一步的视觉元素，有效位置701是可移动控制对象702可以占据的位置。它还包括至少一个无效位置的视觉指示，无效位置是可移动控制对象不能占据的位置。定位区域700中的控制对象702可沿着圆701的圆周移动，圆701的圆周可以例如以红色显示以便向用户视觉地指示可移动控制对象702可以占据圆周上的任何点。当用户正在定位区域中的圆的圆周上的可允许位置中移动图标时，图标通常被用围绕该图标的绿色/红色阴影突出显示。
如图8所示，音频对象的音频音量可以由GUI 600的平衡调节区域800中的可移动控制对象803控制。平衡调节区域800包括在第一位置处的第一图标。该第一位置可以在平衡调节区域800的右侧或上部中。该第一图标表示作为前景对象801的音频对象中的一个或多个。
此外，平衡调节区域包括在第二位置处的第二图标。该第二位置可以在平衡调节区域的左侧或下部中。第二图标表示作为背景对象 802的音频对象中的一个或多个。可移动控制对象可在第一位置和第二位置之间移动，由此可移动控制对象的当前位置可以被用户选择。可移动控制对象相对于第一位置的当前位置表示对于所述一个或多个前景对象801的用户选择的音量水平。可移动控制对象相对于第二位置的当前位置表示对于所述一个或多个背景对象802的用户选择的音量水平。
可以是背景对象802和前景对象801的音频对象由内容创建者通过元数据预先选择。元数据是根据应用的不同类型而特定的，并且可以例如在位流中被发送或者被作为外部元数据发送。
在一个实施例中，可移动控制对象可以是可沿着直线移动的滑动件。如果滑动件向右(或向上)移动，则滑动件增加前景对象801的音频音量，同时降低背景对象802的音频音量。用户可能例如想要增加他想要更好地听到的前景对象的清晰度，并且降低他仍想听到、但是以较低音量听到的背景周围环境的音量。
如果滑动件向左(或向下)移动，则对于背景对象802，音频音量增加，并且对于前景对象801，音频音量降低。以这种方式，为了实现两个动作(同时对预选的音频对象增加和降低音频音量)仅需要一个控制对象。
背景对象802和前景对象801的音量水平也可以被作为预设存储。
在图9中，流程图描述了经由用户输入设备与GUI的用户交互。在该实施例中，用户输入设备是用户控制单元303的触摸屏的部分。在GUI的对象选择列表区域602上，用户启用他想要使用的控制对象 901。在定位区域601、700上，用户然后通过将控制对象移动到圆701 上的可用位置来定位控制对象902。在GUI上，用户进一步利用平衡调节器803来选择背景对象和前景对象的音量水平903。输入信号通常由处理器401经由无线通信信道(诸如红外(IR)信道)接收。
在使用场景的一个示例中，如图7所示，存在用于家庭回放系统的5.1扬声器配置。
三个控制对象在可能的5个控制对象之中被选择。相应的三个控制对象已捕获了主队评论员、社交媒体聊天以及主队人群噪声的音频内容。在该示例中，5.1扬声器配置使得能够沿着如图7中的圆的圆周定位控制对象。
在GUI的定位区域中，用户将看到家庭回放环境中的扬声器设置的视觉表示。在对象选择列表区域中，用户将看到控制对象。控制对象可以在对象选择列表区域602上显现为元素状态条，并且在定位区域上显现为图标。用户可以选择控制对象中的一些，并且这些状态条然后可以变为蓝色。选择的控制对象然后将在定位区域601上显现为图标。
用户可以例如将主队评论员图标沿着圆的圆周定位到TV的左边，将社交媒体聊天图标沿着圆的圆周定位到TV的右边，并且将团队人群噪声图标沿着圆的圆周定位在沙发的后面。用户然后将在他的起居室中听到主队评论员的音频，就如同它从TV的左边出现一样，听到社交媒体聊天的音频，就如同它从TV的右边出现一样，并且听到主队人群噪声的音频，就如同它从沙发的后面出现一样。用户然后可以在手持设备的GUI 600上移动滑动件，该滑动件控制前景对象(在该示例中为主队评论员和社交媒体聊天)和背景音频对象(主队人群噪声)的音频音量水平。如果期望的是降低主队人群噪声的音频音量并且同时增加主队评论员和社交媒体聊天的音频音量，则将滑动件朝向第一图标801移动。
图10呈现了由处理器401响应于经由用户输入设备的用户输入执行的步骤。
处理器401从用户输入设备接收输入信号405。输入信号包括表示以下各项的数据：
对于所述一个或多个音频对象中的所述至少一个的用户期望的回放位置1001；
一个或多个背景对象和前景对象的用户选择的音量水平1001；
要经由家庭音频回放系统回放的用户选择的音频对象1001以及指示确定用户命令1002以启用定位所述一个或多个音频对象和/或设置所述一个或多个音频对象的回放音量水平的数据。
输入信号还包括数据，该数据指示确定用户命令1002以将音频对象中的一个音频对象的选择作为预设存储，将相对于扬声器配置的感知的空间位置作为预设存储，和/或将回放音量水平作为预设存储。
处理器401然后产生用于配置家庭音频回放系统的配置信号406， 1003。配置信号数据适合于使家庭音频回放系统选择性地回放一个或多个音频对象。
所述数据适合于使家庭音频回放系统执行以下中的至少一个：根据用户期望的回放位置回放音频对象中的一个音频对象；根据一个或多个前景对象和一个或多个背景对象的相应的用户选择的音量水平回放两个或更多个音频对象。
配置信号数据还使用预设来存储启用的音频对象的预定义配置、启用的对象的位置和音量。用于音频对象的不同类型的预设优选为：
i.默认预设，默认预设通过内容创建预备，并且利用位流发送，
ii.预定义预设，预定义预设是也通过内容创建预备的替代预设，
iii.由用户保存的用户预设。
所述数据还适合于在任何时间重新调用预设来恢复对象配置，并且适合于通过如传输控制协议/因特网协议(TCP/IP)的协议与音频回放系统进行通信。
本公开参照附图描述了各种示例实施例。要注意的是，出于清楚的目的，本领域技术人员已知的、但对于理解各种示例实施例不是必需的组件和处理的表示和描述在附图和说明书中被省略。
如本领域技术人员将意识到的，本申请的各方面可以体现为系统、设备(例如，蜂窝电话、便携式媒体播放器、个人计算机、服务器、电视机顶盒、或数字视频记录器、或任何其它媒体播放器)、方法或计算机程序产品。因此，本申请的各方面可以采取硬件实施例、软件实施例(包括固件、驻留软件、微代码等)、或组合硬件方面和软件方面这两者的实施例的形式，这些实施例在本文中全部可以总体地称为“电路”、“模块”或“系统”。此外，本申请的各方面可以采取包含在一个或多个其上包含有计算机可读程序代码的计算机可读介质中的计算机程序产品的形式。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以例如是，但不限于，电子、磁性、光学、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。计算机可读存储介质的更具体的示例(非穷举列表)将包括以下：具有一个或多个导线的电连接、便携式计算机软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备、或前述的任何合适的组合。在本文件的上下文中，计算机可读存储介质可以是可含有或存储供指令执行系统、装置或设备使用的或者与指令执行系统、装置或设备有关的程序的任何有形介质。
计算机可读信号介质可以包括其中包含有计算机可读程序代码的、例如基带中的或者作为载波的一部分的传播数据信号。这样的传播信号可以采取各种形式中的任何一种，包括但不限于，电磁或光学信号、或它们的任何合适的组合。
计算机可读信号介质可以是非计算机可读存储介质的任何计算机可读介质，该介质可以传送、传播或输送供指令执行系统、装置或设备使用的或者与指令执行系统、装置或设备有关的程序。
包含在计算机可读介质上的程序代码可以使用任何适当的介质 (包括但不限于，无线、有线线路、光纤电缆、RF等、或前述的任何合适的组合)发送。
用于执行本申请的各方面的操作的计算机程序代码可以以一种或多种程序设计语言(包括面向对象的程序设计语言(诸如Java、 Smalltalk、C++等)以及传统的过程式程序设计语言(诸如“C”程序设计语言或类似的程序设计语言))的任何组合编写。程序代码可以完全在用户的计算机上作为独立的软件包执行，或者部分在用户的计算机上、部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情景下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以进行与外部计算机的连接(例如，通过使用因特网服务提供商的因特网)。
下面参照根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本申请的各方面。将理解的是，流程图和/或框图的每个方框以及流程图和/或框图中的方框的组合可以通过计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以生成机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个方框或多个方框中指定的功能/动作的手段。
这些计算机程序指令也可以存储在计算机可读介质中，这些计算机程序指令可以指引计算机、其它可编程数据处理装置或其它设备以特定的方式运行，使得存储在该计算机可读介质中的指令生成制造物，该制造物包括实现流程图和/或框图的一个方框或多个方框中指定的功能/动作的指令。
计算机程序指令也可以加载到计算机、其它可编程数据处理装置或其它设备上以使一系列操作性操作在该计算机、其它可编程装置或其它设备上执行以生成计算机实现的处理，使得在该计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图的一个方框或多个方框中指定的功能/动作的处理。
尽管已通过示例的方式且就示例性的特定实施例描述了实现，但要理解的是，本发明的实现不限于公开的实施例。相反，意图是覆盖本领域技术人员将清楚的各种修改和类似的布置。因此，所附权利要求的范围应被赋予最广泛的解释，以便包含所有这样的修改和类似的布置。

Claims (16)

1.一种配置经由家庭音频回放系统的音频数据的回放的方法，所述家庭音频回放系统接收包括所述音频数据和相关联元数据的比特流，所述音频数据包括一个或多个音频对象，所述相关联元数据指示所述一个或多个音频对象的期望空间音频呈现，所述方法包括：
产生用于显示器的输出信号，所述输出信号包括表示图形用户界面的数据，所述图形用户界面包括定位区域，其中，所述定位区域包括与所述家庭音频回放系统相关联的收听环境的视觉表示，并且
其中，所述定位区域包括表示所述一个或多个音频对象中的至少一个的可移动控制对象，所述可移动控制对象能够通过用户经由输入设备与所述图形用户界面的交互而相对于所述收听环境的视觉表示移动，由此所述可移动控制对象的当前位置能够由用户选择，所述可移动控制对象的当前位置表示对于所述一个或多个音频对象中的所述至少一个在所述收听环境内的用户期望的回放位置，
经由输入设备从用户接收输入信号，所述输入信号包括表示对于所述一个或多个音频对象中的所述至少一个的用户期望的回放位置的数据；以及
产生用于配置所述家庭音频回放系统的配置信号，所述配置信号包括用于使得所述家庭音频回放系统根据对于所述一个或多个音频对象中的所述至少一个的用户期望的回放位置来回放所述音频对象中的所述至少一个的数据，
其中，所述定位区域包括第一视觉元素，所述第一视觉元素具有表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象已被用户选择的第一视觉指示，并且其中所述第一视觉元素包括表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象表示当前携载声音的音频对象时的第二视觉指示；
其中，所述定位区域包括第二视觉元素，所述第二视觉元素具有表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象可移动的第三视觉指示，或者其中，所述第一视觉元素包括表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象可移动的所述第三视觉指示；以及
其中，所述定位区域进一步包括第三视觉元素和第四视觉元素，所述第三视觉元素被布置为指示相对于所述收听环境的视觉表示的至少一个有效位置，该有效位置是所述可移动控制对象能够占据的位置，所述第四视觉元素被布置为指示相对于所述收听环境的视觉表示的至少一个无效位置，该无效位置是所述可移动控制对象不能够占据的位置。
2.根据权利要求1所述的方法，包括确定所述音频对象或者所述音频对象中的每一个的相应内容。
3.根据权利要求2所述的方法，其中，所述相应内容是以下中的任何一个：
表示评论；
表示人群噪声；
表示团队无线电；或者
表示社交媒体聊天。
4.根据权利要求1所述的方法，其中，所述图形用户界面进一步包括对象选择列表区域，其中，所述对象选择列表区域包括：
至少一个可选控制对象，所述至少一个可选控制对象被配置为允许用户启用音频对象中的一个或多个的回放。
5.根据权利要求4所述的方法，其中，所述对象选择列表区域包括至少一个进一步的可选控制对象，所述至少一个进一步的可选控制对象被配置为允许用户选择被启用回放的所述一个或多个音频对象的回放音量。
6.根据权利要求4所述的方法，其中，所述对象选择列表区域包括多个控制对象，并且所述控制对象在所述对象选择列表区域中被布置成多个组。
7.根据权利要求6所述的方法，其中，所述组中的控制对象的数量基于控制对象的相应内容；和/或
控制对象到组的分配基于控制对象的相应内容。
8.根据权利要求1所述的方法，其中，家庭音频回放系统接收与音频相关的信息，该音频相关信息包括对于音频的当前节目特定的资源，其中，所述资源包括要在对象选择列表区域中和/或在定位区域中与控制对象相关联地显示的图标的图像。
9.根据权利要求1-8中的任何一项所述的方法，其中，所述家庭音频回放系统包括根据以下中的一个布置的两个或更多个扬声器：
2.0扬声器配置，
5.1扬声器配置，
7.1扬声器配置，
三维扬声器配置，或者
条形音箱扬声器配置，
其中，5.1扬声器配置和7.1扬声器配置中的扬声器被布置在围绕所述收听环境的中心的相应圆上，并且所述三维扬声器配置中的扬声器被布置在围绕所述收听环境的中心的半球上。
10.根据权利要求1-8中的任何一项所述的方法，包括从输入信号确定用户命令以：
将表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象的选择作为预设存储；和/或
将用户期望的回放位置作为预设存储。
11.根据权利要求1-8中的任何一项所述的方法，包括：
经由所述比特流接收所述音频对象的预设，所述预设包括在内容创建时预备的默认预设、以及可选的在内容创建时预备的一个或多个替代预设；和/或
经由所述图形用户界面向用户呈现所述比特流中包含的扬声器通道内容和音频对象的可选预设混合的菜单。
12.根据权利要求1所述的方法，包括将所述配置信号传送到所述家庭音频回放系统。
13.一种用于与家庭音频回放系统交互的装置，所述家庭音频回放系统接收包括音频数据和相关联元数据的比特流，所述装置用于配置经由所述家庭音频回放系统的所述音频数据的回放，所述音频数据包括一个或多个音频对象，所述相关联元数据指示所述一个或多个音频对象的期望空间音频呈现，所述装置包括显示器、输入设备和处理器，所述处理器被配置为：
产生用于显示器的输出信号，所述输出信号包括表示图形用户界面的数据，所述图形用户界面包括定位区域，其中，所述定位区域包括与所述家庭音频回放系统相关联的收听环境的视觉表示，并且
其中，所述定位区域包括表示所述一个或多个音频对象中的至少一个的可移动控制对象，所述可移动控制对象能够通过用户经由输入设备与所述图形用户界面的交互而相对于所述收听环境的视觉表示移动，由此所述可移动控制对象的当前位置能够由用户选择，所述可移动控制对象的当前位置表示对于所述一个或多个音频对象中的所述至少一个在所述收听环境内的用户期望的回放位置，
经由输入设备从用户接收输入信号，所述输入信号包括表示对于所述一个或多个音频对象中的所述至少一个的用户期望的回放位置的数据；以及
产生用于配置所述家庭音频回放系统的配置信号，所述配置信号包括用于使得所述家庭音频回放系统根据对于所述一个或多个音频对象中的所述至少一个的用户期望的回放位置来回放所述音频对象中的所述至少一个的数据，
其中，所述定位区域包括第一视觉元素，所述第一视觉元素具有表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象已被用户选择的第一视觉指示，并且其中所述第一视觉元素包括表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象表示当前携载声音的音频对象时的第二视觉指示；
其中，所述定位区域包括第二视觉元素，所述第二视觉元素具有表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象可移动的第三视觉指示，或者其中，所述第一视觉元素包括表示所述一个或多个音频对象中的所述至少一个的所述可移动控制对象可移动的所述第三视觉指示；以及
其中，所述定位区域进一步包括第三视觉元素和第四视觉元素，所述第三视觉元素被布置为指示相对于所述收听环境的视觉表示的至少一个有效位置，该有效位置是所述可移动控制对象能够占据的位置，所述第四视觉元素被布置为指示相对于所述收听环境的视觉表示的至少一个无效位置，该无效位置是所述可移动控制对象不能够占据的位置。
14.一种计算机可读介质，在所述计算机可读介质上存储有多个计算机可解释指令，该指令在被处理器执行时使得处理器执行根据权利要求1-12中任一项所述的方法。
15.一种包括处理器和计算机可读介质的设备，在所述计算机可读介质上存储有多个计算机可解释指令，该指令在被处理器执行时使得处理器执行根据权利要求1-12中任一项所述的方法。
16.一种包括用于执行根据权利要求1-12中任一项所述的方法的部件的装置。
CN201811064887.5A 2014-05-21 2015-05-20 配置经由家庭音频回放系统的音频的回放的系统和方法 Active CN109068260B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462001193P 2014-05-21 2014-05-21
US62/001,193 2014-05-21
CN201580026262.8A CN106465036B (zh) 2014-05-21 2015-05-20 配置经由家庭音频回放系统的音频的回放

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580026262.8A Division CN106465036B (zh) 2014-05-21 2015-05-20 配置经由家庭音频回放系统的音频的回放

Publications (2)

Publication Number Publication Date
CN109068260A CN109068260A (zh) 2018-12-21
CN109068260B true CN109068260B (zh) 2020-11-27

Family

ID=53276091

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580026262.8A Active CN106465036B (zh) 2014-05-21 2015-05-20 配置经由家庭音频回放系统的音频的回放
CN201811064887.5A Active CN109068260B (zh) 2014-05-21 2015-05-20 配置经由家庭音频回放系统的音频的回放的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580026262.8A Active CN106465036B (zh) 2014-05-21 2015-05-20 配置经由家庭音频回放系统的音频的回放

Country Status (4)

Country Link
US (1) US20170195819A1 (zh)
EP (1) EP3146730B1 (zh)
CN (2) CN106465036B (zh)
WO (1) WO2015177224A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201609920SA (en) 2014-05-28 2016-12-29 Fraunhofer Ges Forschung Data processor and transport of user control data to audio decoders and renderers
WO2016052876A1 (en) * 2014-09-30 2016-04-07 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
EP3203363A1 (en) * 2016-02-04 2017-08-09 Thomson Licensing Method for controlling a position of an object in 3d space, computer readable storage medium and apparatus configured to control a position of an object in 3d space
KR102605158B1 (ko) * 2016-04-11 2023-11-23 필립모리스 프로덕츠 에스.에이. 연소 없이 기재를 가열하기 위한 시샤 장치
EP3264802A1 (en) * 2016-06-30 2018-01-03 Nokia Technologies Oy Spatial audio processing for moving sound sources
US10499178B2 (en) * 2016-10-14 2019-12-03 Disney Enterprises, Inc. Systems and methods for achieving multi-dimensional audio fidelity
US10901681B1 (en) * 2016-10-17 2021-01-26 Cisco Technology, Inc. Visual audio control
US10178490B1 (en) * 2017-06-30 2019-01-08 Apple Inc. Intelligent audio rendering for video recording
KR101958664B1 (ko) * 2017-12-11 2019-03-18 (주)휴맥스 멀티미디어 콘텐츠 재생 시스템에서 다양한 오디오 환경을 제공하기 위한 장치 및 방법
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US10365885B1 (en) * 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
EP3873112A1 (en) * 2020-02-28 2021-09-01 Nokia Technologies Oy Spatial audio
US20220400352A1 (en) * 2021-06-11 2022-12-15 Sound Particles S.A. System and method for 3d sound placement
KR20230001135A (ko) * 2021-06-28 2023-01-04 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1134724A2 (en) * 2000-03-17 2001-09-19 Sony France S.A. Real time audio spatialisation system with high level control
CN101171882A (zh) * 2005-05-04 2008-04-30 弗劳恩霍夫应用研究促进协会 借助于图形用户界面来产生并处理声音效果的设备及方法
US8068105B1 (en) * 2008-07-18 2011-11-29 Adobe Systems Incorporated Visualizing audio properties
CN102362313A (zh) * 2009-03-26 2012-02-22 微软公司 控制媒体内容的回放
WO2013006330A3 (en) * 2011-07-01 2013-07-11 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
CN103650539A (zh) * 2011-07-01 2014-03-19 杜比实验室特许公司 用于自适应音频信号产生、编码和呈现的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912976A (en) * 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
WO2007021923A2 (en) * 2005-08-11 2007-02-22 Sokol Anthony B System and method of adjusting audiovisual content to improve hearing
US9377941B2 (en) * 2010-11-09 2016-06-28 Sony Corporation Audio speaker selection for optimization of sound origin
EP2829051B1 (en) * 2012-03-23 2019-07-17 Dolby Laboratories Licensing Corporation Placement of talkers in 2d or 3d conference scene

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1134724A2 (en) * 2000-03-17 2001-09-19 Sony France S.A. Real time audio spatialisation system with high level control
CN101171882A (zh) * 2005-05-04 2008-04-30 弗劳恩霍夫应用研究促进协会 借助于图形用户界面来产生并处理声音效果的设备及方法
US8068105B1 (en) * 2008-07-18 2011-11-29 Adobe Systems Incorporated Visualizing audio properties
CN102362313A (zh) * 2009-03-26 2012-02-22 微软公司 控制媒体内容的回放
WO2013006330A3 (en) * 2011-07-01 2013-07-11 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
CN103650535A (zh) * 2011-07-01 2014-03-19 杜比实验室特许公司 用于增强3d音频创作和呈现的系统和工具
CN103650539A (zh) * 2011-07-01 2014-03-19 杜比实验室特许公司 用于自适应音频信号产生、编码和呈现的系统和方法

Also Published As

Publication number Publication date
US20170195819A1 (en) 2017-07-06
CN106465036B (zh) 2018-10-16
CN106465036A (zh) 2017-02-22
EP3146730A1 (en) 2017-03-29
CN109068260A (zh) 2018-12-21
WO2015177224A1 (en) 2015-11-26
EP3146730B1 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
CN109068260B (zh) 配置经由家庭音频回放系统的音频的回放的系统和方法
US11727945B2 (en) Methods and systems for interactive rendering of object based audio
US11055057B2 (en) Apparatus and associated methods in the field of virtual reality
US20130324031A1 (en) Dynamic allocation of audio channel for surround sound systems
EP2741523B1 (en) Object based audio rendering using visual tracking of at least one listener
US9986362B2 (en) Information processing method and electronic device
US9813837B2 (en) Screen-relative rendering of audio and encoding and decoding of audio for such rendering
US11096004B2 (en) Spatial audio rendering point extension
US11221821B2 (en) Audio scene processing
WO2009150841A1 (ja) コンテンツ再生装置およびコンテンツ再生方法
US10136216B2 (en) Action sound capture using subsurface microphones
US20170188088A1 (en) Audio/video processing unit, speaker, speaker stand, and associated functionality
CN112673650B (zh) 空间增强
EP3321795B1 (en) A method and associated apparatuses
WO2024078809A1 (en) Spatial audio rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1263086

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant