CN109324774A - 用于视觉效果的音频定位技术 - Google Patents

用于视觉效果的音频定位技术 Download PDF

Info

Publication number
CN109324774A
CN109324774A CN201810973807.1A CN201810973807A CN109324774A CN 109324774 A CN109324774 A CN 109324774A CN 201810973807 A CN201810973807 A CN 201810973807A CN 109324774 A CN109324774 A CN 109324774A
Authority
CN
China
Prior art keywords
audio
information
management module
user interface
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810973807.1A
Other languages
English (en)
Other versions
CN109324774B (zh
Inventor
S.贾努斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109324774A publication Critical patent/CN109324774A/zh
Application granted granted Critical
Publication of CN109324774B publication Critical patent/CN109324774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)

Abstract

本发明名称为“用于视觉效果的音频定位技术”。描述了用于视觉效果的改进音频定位的技术。例如，在一个实施例中，一种设备可包含处理器电路和音频管理模块，并且音频管理模块可由处理器电路操作以确定用户界面元素在呈现区域中的位置、确定对应于用户界面元素的音频效果、基于用户界面元素的位置确定音频效果的音频定位信息(该音频定位信息定义音频效果的视位置)以及基于音频定位信息生成音频效果的音频回放信息。描述了其它实施例并且要求其权益。

Description

用于视觉效果的音频定位技术
技术领域
本文描述的实施例一般涉及音频和视觉效果的生成和消耗。
背景技术
在包含大显示器、大显示器阵列或相距很远的显示器的系统中，用户可能无法使所有集合显示区域同时保持处在其视野中。因此，需要用户注意的提示或其它视觉元素可能存在于集合显示区域的、用户视野之外的部分。此外，在一些常规配置中，对应于集合显示区域中存在的任何视觉元素的音频效果的生成可能使得它们听起来源自相同点，如两个扬声器之间的中点。因此，在此类常规系统中，对应于视觉元素的音频效果可能听起来并非源自对应于那些视觉元素位置的位置。
附图说明
图1示出一设备的一个实施例以及第一系统的一个实施例。
图2示出第一呈现区域的一个实施例。
图3示出第二呈现区域的一个实施例。
图4示出一逻辑流程的一个实施例。
图5示出第二系统的一个实施例。
图6示出第三系统的一个实施例。
图7示出一装置的一个实施例。
具体实施方式
各种实施例一般可针对对视觉效果进行音频定位的技术。例如，在一个实施例中，一种设备可包含处理器电路和音频管理模块，并且音频管理模块可由处理器电路操作以确定用户界面元素在呈现区域中的位置、确定对应于用户界面元素的音频效果、基于用户界面元素的位置确定音频效果的音频定位信息(该音频定位信息定义音频效果的视位置(apparent position))以及基于音频定位信息生成音频效果的音频回放信息。可描述其它实施例并要求其权益。
各种实施例可包含一个或多个元件。一个元件可包含设置成执行某些操作的任何结构。根据设计参数或性能限制的给定集合的需要，每个元件可实现为硬件、软件或者它们的任何组合。虽然作为举例可采用某种拓扑的有限数量的元件来描述一实施例，但是，根据给定实现的需要，该实施例可包括采用备选拓扑的更多或更少元件。值得注意，提到“一个实施例”或“一实施例”表示结合该实施例所述的特定功能、结构或特性包含在至少一个实施例中。词语“在一个实施例中”、“在一些实施例中”以及“在各种实施例中”在本说明书的各个位置中的出现不一定都表示同一个实施例。
图1示出设备100的框图。如图1所示，设备100包括多个元件，包括处理器电路102、存储器单元104和音频管理模块106。但是，实施例并不局限于此图所示的元件类型、数量或布置。
在各种实施例中，设备100可包含处理器电路102。处理器电路102可使用任何处理器或逻辑装置实现，例如复杂指令集计算机(CISC)微处理器、简化指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、x86指令集兼容处理器、实现指令集的组合的处理器、诸如双核处理器或双核移动处理器之类的多核处理器或者任何其它微处理器或中央处理器(CPU)。处理器电路102还可实现为专用处理器，例如控制器、微处理器、嵌入式处理器、芯片多处理器(CMP)、协处理器、数字信号处理器(DSP)、网络处理器、媒体处理器、输入/输出(I/O)处理器、媒体接入控制(MAC)处理器、无线基带处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑装置(PLD)等等。在一个实施例中，例如，处理器电路102可实现为通用处理器，例如由Intel® Corporation(Santa Clara，Calif)制造的处理器。实施例并不局限于这个上下文。
在一些实施例中，设备100可包含或设置成在通信上耦合到存储器单元104。存储器单元104可使用能够存储数据的任何机器可读或计算机可读介质来实现，包括易失性和非易失性存储器。例如，存储器单元104可包括只读存储器(ROM)、随机存储存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、闪速存储器、例如铁电聚合物存储器、奥式存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器等聚合物存储器、磁或光卡或者适合存储信息的任何其它类型的介质。值得注意，存储器单元104的某个部分或全部可包含在与处理器电路102相同的集成电路上，或者备选地，存储器单元104的某个部分或全部可设置在处理器电路102的集成电路外部的集成电路或其它介质(如硬盘驱动器)上。虽然图1中存储器单元104包含在设备100中，但在一些实施例中，存储器单元104可在设备100外部。实施例并不局限于这个上下文。
在各种实施例中，设备100可包含音频管理模块106。音频管理模块106可包含可操作以基于音频信息生成音频回放信息的逻辑、电路/或指令。在一些实施例中，音频信息可包含指示要生成的一个或多个音频效果的信息、数据、逻辑和/或指令。此类音频效果可包含声音、音调、语音、音乐和/或任何其它类型的音频效果。在各种实施例中，音频回放信息可包含可在一个或多个音频回放装置上操作以使这些音频回放装置生成由特定音频信息指示的一个或多个音频效果的信息、数据、逻辑和/或指令。在一些实施例中，处理器电路102可操作以运行视听应用107。视听应用107可包含能够生成表示一个或多个音频效果的音频信息和/或能够生成指示要在一个或多个显示器上呈现一个或多个视觉效果的图形信息的任何应用。在各种实施例中，音频管理模块106可操作以基于从视听应用107接收的音频信息生成音频回放信息。在示例实施例中，视听应用107可包含操作系统并且可操作以生成指示要生成的特定声音效果的音频信息。在这个示例中，音频管理模块106可操作以基于该音频信息生成音频回放信息。生成的音频回放信息，在传送到一个或多个音频回放装置时，可在一个或多个音频回放装置上操作以生成所需的声音效果。实施例并不局限于这个示例。
图1还示出系统140的框图。系统140可包含设备100的任何上述元件。系统140还可包含一个或多个显示器145-n。显示器145-n可包含能够显示从处理器电路102接收的信息的任何显示装置。显示器145-n的示例可包括电视、监视器、投影仪和计算机屏幕。在一个实施例中，例如，显示器145-n可由液晶显示器(LCD)、发光二极管(LED)或其它类型的适当视觉界面来实现。显示器145-n可包括例如触敏式彩色显示屏幕。在各种实现中，显示器145-n可包括其中包含嵌入式晶体管的一个或多个薄膜晶体管(TFT)LCD。但是，实施例并不局限于这些示例。
在一些实施例中，设备100和/或系统140可配置成在通信上耦合到一个或多个音频回放装置150-p。音频回放装置150-p可包含能够基于音频回放信息生成音频效果的任何装置。例如，音频回放装置150-p可包含一个或多个有线和/或无线扬声器。在各种实施例中，一个或多个音频回放装置150-p可包含在一个或多个其它装置中。例如，在一个实施例中，音频回放装置150-p可包含立体声系统中的扬声器。实施例并不局限于这个上下文。
值得注意，虽然设备100、显示器145-n和音频回放装置150-p在图1中示出为单独的组件，但实施例并非局限于此。在一些实施例中，一个或多个音频回放装置150-p可与一个或多个显示器145-n包含在同一装置中。例如，在一些实施例中，一个或多个音频回放装置150-p可包含在还包含显示器145-n的电视机中。同样，一个或多个显示器145-n和/或一个或多个音频回放装置150-p可包含在设备100中。例如，在各种实施例中，设备100可以是平板电脑，并且可包含显示器145-n和包含扬声器的一个或多个音频回放装置150-p。实施例并不局限于这个上下文。
在一般操作中，设备100和/或系统140可操作以生成可在一个或多个音频回放装置150-p上操作以使一个或多个所需音频效果生成的音频回放信息。在一些实施例中，设备100和/或系统140可操作以基于对应于特定视觉效果的音频信息生成音频回放信息。例如，设备100和/或系统140可操作以生成用于对应于操作系统中的错误窗口的错误音的音频回放信息。在各种此类实施例中，设备100和/或系统140可操作以生成音频回放信息，以使得对于聆听音频回放装置150-p的用户，给定音频效果的视在起源(apparent origin)对应于一个或多个显示器145-n上其关联视觉效果的位置。继续上一个示例，设备100和/或系统140可操作以生成音频回放信息，以使得如果错误窗口出现在显示器145-n的右上角，则对于在聆听的用户，错误音的视在起源也是显示器的右上角。一些实施例的一个优点可在于，通过根据其相应视觉效果的定位来定位音频效果可有助于用户定位需要注意的显示项目。各种实施例的另一个优点可在于，进行这种音频定位可导致内容消耗期间更自然和更愉悦用户体验，因为音频效果可能比在常规系统中听起来更像是源自其关联视觉来源。其它优点可能与所公开的主题关联，并且实施例并不局限于这个上下文
在一些实施例中，视听应用107可操作以生成图形信息108。图形信息108可包含对应于要在一个或多个显示器145-n上显示的一个或多个用户界面元素的数据、信息、逻辑和/或指令。此类用户界面元素可包含任何视觉或光学感官效果，例如图像、图片、视频、文本、图形、菜单、纹理和/或图案。此类用户界面元素可与可用于操作视听应用107的菜单、提示和/或控件关联，和/或可与通过视听应用107呈现的内容关联。在示例实施例中，视听应用107可包含操作系统，并且可操作以生成对应于包含操作系统的窗口、对话框、警报、提示、图标和/或其它视觉元素的用户界面元素的图形信息108。在另一个示例实施例中，视听应用107可包含视频回放应用，例如DVD电影回放应用或串流电影回放应用，并且可操作以生成对应于包含电影帧和/或电影的其它视觉元素的用户界面元素的图形信息108。在又一个示例实施例中，视听应用107可包含游戏应用，并且可操作以生成对应于与游戏内容和/或控制功能关联的用户界面元素的图形信息108。实施例并不局限于这些示例。
在各种实施例中，视听应用107可操作以生成对应于图形信息108的音频信息110。音频信息110可包含对应于要结合一个或多个显示器145-n呈现的一个或多个用户界面元素由一个或多个音频回放装置150-p产生的一个或多个音频效果的数据、信息、逻辑和/或指令。在视听应用107包含操作系统的示例实施例中，特定音频信息110可对应于在显示操作系统的视觉提示时要产生的警报声。在视听应用107包含视频回放应用的示例实施例中，特定音频信息110可对应于与所显示视频的特定帧或部分关联的音频效果。在视听应用107包含游戏应用的示例实施例中，特定音频信息110可对应于与游戏中的特定显示动作或事件关联的音频效果。实施例并不局限于这些示例。
在一些实施例中，音频管理模块106可操作以确定呈现布局信息112。在各种实施例中，呈现布局信息112可包含指示呈现区域中的显示器145-n的数目和/或音频回放装置150-p的数目以及这些显示器145-n和/或音频回放装置150-p在呈现区域中的定位的数据、信息、逻辑和/或指令。本文所使用的术语“呈现区域”表示两维或三维空间中的一个区域，其中包含一个或多个显示器145-n和一个或多个音频回放装置150-p，并还包含由这些显示器145-n和音频回放装置150-p呈现的视觉和/或音频效果听起来应起源的任何点。图2示出呈现区域200的一个示例。如图2所示，呈现区域200是由显示器202和204以及音频回放装置206-1、206-2、208-1和208-2定义并包含它们的三维空间。显示器202位于咖啡桌上并且包含平板电脑，而显示器204位于后墙上并且包含壁挂式电视机。警报窗口210呈现在显示器202的中心，并且内容212显示在显示器204的右侧。音频回放装置206-1和206-2包含平板电脑内的扬声器，并且音频回放装置208-1和208-2包含壁挂式电视机内的扬声器。针对图2的示例，在一些实施例中，图1的呈现布局信息112可指示呈现区域200中有两个显示器并且可识别它们在其中的各自位置。同样，呈现布局信息112可指示呈现区域200中有四个音频回放装置并且可识别这些音频回放装置的各自位置。实施例并不局限于这些示例。
在各种实施例中，呈现布局信息112作为补充或替代可包含描述呈现区域中的一个或多个显示器145-n和/或一个或多个音频回放装置150-p的逻辑配置的信息。在一些此类实施例中，呈现布局信息112可指示设备100在逻辑上对待多个显示器145-n和/或多个音频回放装置150-p的方式。例如，呈现布局信息112可指示工作区是否延伸于多个显示器，和/或设备100是否具有多个音频回放装置150-p的每一个的单独控制。例如，针对图2，呈现布局信息112可指示设备100可操作以延伸操作系统桌面于显示器202和204，和/或设备100在逻辑上将音频回放装置208-1和208-2作为单个集合扬声器对待和控制。实施例并不局限于这些示例。
在各种实施例中，音频管理模块106可操作以基于一个或多个显示器145-n和/或一个或多个音频回放装置150-p的配置信息确定呈现布局信息112。例如，在一些实施例中，处理器电路102可操作以运行其中为一个或多个显示器145-n和/或一个或多个音频回放装置150-p注册驱动的操作系统。处理器电路102可操作以向音频管理模块106提供识别那些注册的装置的信息，音频管理模块106可利用该信息计数显示器145-n和/或音频回放装置150-p，和/或确定其逻辑配置。作为补充或替代，在各种实施例中，音频管理模块106可操作以基于描述一个或多个显示器145-n和/或一个或多个音频回放装置150-p的定位的位置感测信息确定呈现布局信息112。例如，在一些实施例中，设备100可利用一种或多个常规位置感测技术来感测一个或多个显示器145-n和/或一个或多个音频回放装置150-p的位置。基于此信息，音频管理模块106可操作以确定识别一个或多个显示器145-n和/或一个或多个音频回放装置150-p在呈现区域内的相对定位的呈现布局信息112。实施例并不局限于这些示例。
在各种实施例中，音频管理模块106可操作以确定图形信息108的图形定位信息114。图形定位信息114可包含指示一个或多个用户界面元素要在一个或多个显示器145-n上呈现的一个或多个定位的数据、信息、逻辑和/或指令。例如，针对图2的示例，特定图形定位信息114可指示警报窗口210要呈现在显示器202的中心，和/或内容212要呈现在显示器204的右侧。实施例并不局限于这个上下文。
在一些实施例中，音频管理模块106可操作以基于图形定位信息114和呈现布局信息112确定音频定位信息116。在各种实施例中，音频定位信息116可包含识别一个或多个音频效果在用户听起来应源自的呈现区域内的位置的数据、信息、逻辑和/或指令。在一些实施例中，对于给定用户界面元素，音频管理模块106可基于该用户界面元素的图形定位信息114和描述其相应显示器145-n在呈现区域内的位置的呈现布局信息112确定呈现区域内的某个位置。然后，音频管理模块106可操作以为对应于用户界面元素的音频效果确定音频定位信息116，指示呈现区域内匹配用户界面元素的位置。换言之，鉴于用户界面元素在集合显示器145-n内的定位，音频管理模块106可操作以确定用户界面元素在呈现区域的两维空间或三维空间内的位置。然后，音频管理模块106可操作以为对应于用户界面元素的音频效果识别音频定位信息116中的这个确定的位置。实施例并不局限于这个上下文。
在各种实施例中，音频管理模块106可操作以基于音频信息110和用于该音频信息110的音频定位信息生成音频回放信息118。在一些实施例中，音频管理模块106可操作以生成音频回放信息118，音频回放信息118可在一个或多个音频回放装置150-p上操作以生成听起来源自由音频定位信息116识别的位置的音频效果。在各种实施例中，音频管理模块106可操作以使用控制音频效果的视在起源的一种或多种技术生成音频回放信息118。例如，在一些实施例中，音频管理模块106可生成音频回放信息118，音频回放信息118可操作以使两个或多个音频回放装置150-p生成具有不同音量的音频效果。基于音量差异，可调整音频效果的视在起源。例如，针对图2，如果音频回放装置208-2的回放音量高于音频回放装置208-1的回放音量，则由音频回放装置208-1和208-2产生的音频效果可能听起来源自显示器204右侧。实施例并不局限于这个示例。
在各种实施例中，音频管理模块106可能作为补充或替代可操作以使用修改音频信息110的一种或多种音频处理技术生成音频回放信息118。例如，在一些实施例中，音频管理模块106可操作以使用一种或多种空间音频处理技术修改音频信息110，以使得其关联音频效果听起来源自由音频定位信息116识别的位置。此类空间音频处理技术的示例可包括头部相关传输函数(HRTF)处理、波场合成、混响处理、立体声加宽、衰减、相位修改及倒相。实施例并不局限于这些示例。
值得注意，在各种实施例中，可期望音频管理模块106生成音频回放信息118，音频回放信息118可操作以产生听起来并非源自其关联用户界面元素的相同位置的音频效果。例如，在一些实施例中，设备100可在通信上耦合到单个显示器145-n，并且显示的用户界面元素可局限于该显示器145-n的平面。在此类实施例中，音频管理模块106可操作以生成音频回放信息118，以使得产生的音频效果源自不同于显示器145-n的视深度。在各种实施例中，音频管理模块106可操作以生成音频回放信息118，以使得与操作系统中的窗口、提示、对话框及其它视觉元素关联的音频效果的视深度取决于这些视觉元素的定位和/或排序。例如，在一些实施例中，音频管理模块106可操作以生成音频回放信息118，以使得与被其他视觉元素覆盖的窗口关联的音频效果听起来源自显示器145-n后面的一个点。作为补充或替代，音频管理模块106可操作以生成音频回放信息118，以使得音频效果听起来被压抑。各种实施例的一个优点可能在于，通过压抑或加深与被覆盖窗口关联的音频效果，为用户提供需要注意的窗口被隐藏的线索。实施例并不局限于这个示例。
图3示出可包含结合单个显示器使用深度效果的一实施例的示例的呈现区域300。如图3所示，呈现区域300包含单个显示器302。显示器302上呈现的是一个遮掩大部分隐藏窗口306的活动窗口304。在一些此类实施例中，音频管理模块106可操作以生成音频回放信息118，以使得与隐藏窗口306关联的警报音听起来源自显示器302左下象限后面的一个点。这样，这些音频效果不仅可指示用户需要注意的窗口位于显示器302的左下象限，而且还可指示它大部分被另一窗口覆盖。因此，用户能够更轻松地找到需要注意的窗口。实施例并不局限于这个示例。
在各种实施例中，给定用户界面元素可延伸于互相远离的多个显示器145-n。在此类实施例中，不是生成关联的音频效果以使得它们听起来源自多个显示器145-n中任意选择的一个，而是可期望生成此类音频效果以使得它们听起来源自这些远离显示器145-n之间的位置。例如，针对图2，内容212可包含在电影回放器窗口中显示的电影。用户可将电影回放器窗口拖到左侧，以使得它延伸进显示器202上呈现的桌面部分。在此类情况下，音频管理模块106可操作以生成音频回放信息118，以使得与电影关联的音频听起来源自呈现区域200中显示器202与显示器204之间的一个点。实施例并不局限于这个示例。
值得注意，对于对应于任何特定用户界面元素的音频效果，在一些实施例中，音频管理模块106可操作以生成使用任何或所有音频回放装置150-p的音频回放信息118（与这些音频回放装置150-p相对于该用户界面元素的定位关）。例如，针对图2，音频管理模块106可操作以生成音频回放信息118，以使得对应于内容212的音频效果仅由音频回放装置208-1和208-2、仅由音频回放装置206-1和206-2，由所有四个音频回放装置206-1、206-2、208-1及208-2、或由一个或多个音频回放装置的任何其它组合生成。还值得注意，在各种实施例中，音频管理模块106可操作以确定与特定用户界面元素关联的音频效果应源自的多个位置，而不是单个位置。例如，针对图2，音频管理模块106可操作以协同使用音频回放装置206-1、206-2、208-1及208-2来产生集合立体声效果，其中与内容212关联的音频效果听起来源自对应于左和右声道的位置。实施例并不局限于这个示例。
可参照以下附图和所附示例，进一步描述上述实施例的操作。一些附图可包括逻辑流程。虽然本文所提供的这类附图可包括具体逻辑流程，但是可以理解，该逻辑流程只提供关于可如何实现本文所述的一般功能性的一个示例。另外，给定逻辑流程不一定必须按照所提供的顺序来运行，除非另加说明。另外，给定逻辑流程可由硬件元件、计算机所运行的软件元件或者它们的任何组合来实现。实施例并不局限于这个上下文。
图4示出逻辑流程400的一个实施例，它可表示由本文所述的一个或多个实施例执行的操作。如逻辑流程400所示，用户界面元素在呈现区域中的位置可在402确定。例如，图1的音频管理模块106可操作以确定内容212在图2的呈现区域中的位置。在404，可确定对应于用户界面元素的音频效果。例如，图1的音频管理模块106可操作以确定对应于图2的内容212的音频效果。在406，可基于用户界面元素的位置确定音频效果的音频定位信息。例如，图1的音频管理模块106可操作以生成音频定位信息116，其指示对应于图2的内容212的音频效果应听起来源自显示器204右侧。在408，可基于音频定位信息生成音频效果的音频回放信息。例如，图1的音频管理模块106可操作以生成音频定位信息118，音频定位信息118可在图2的音频回放装置208-1和208-2上操作以使得要生成的音频效果听起来源自显示器204右侧。实施例并不局限于这些示例。
图5示出系统500的一个实施例。在各种实施例中，系统500可表示适合与本文所述的一个或多个实施例配合使用的系统或架构，例如图1的设备100和/或系统140、图2的呈现区域200、图3的呈现区域300和/或图4的逻辑流程400。实施例并不局限于这个方面。
如图5所示，系统500可包括多个元件。根据设计和性能限制的给定集合的需要，一个或多个元件可使用一个或多个电路、组件、寄存器、处理器、软件子例程、模块或它们的任何组合来实现。虽然图5作为举例示出采用某个拓扑的有限数量的元件，但可以理解，根据给定实现的需要，可以在系统500中使用采用任何适当拓扑中的更多或更少元件。实施例并不局限于这个上下文。
在各种实施例中，系统500可包括处理器电路502。处理器电路502可使用任何处理器或逻辑装置来实现，并且可与图1的处理器电路102相同或相似。
在一个实施例中，系统500可包括存储器单元504以耦合到处理器电路502。根据给定实现的需要，存储器单元504可经由通信总线543，或通过处理器电路502与存储器单元504之间的专用通信总线耦合到处理器电路502。存储器单元504可使用能够存储数据的任何机器可读或计算机可读介质来实现，包括易失性和非易失性存储器，并且可与图1的存储器单元104相同或相似。在一些实施例中，机器可读或计算机可读介质可包括非暂时介质。实施例并不局限于这个上下文。
在各种实施例中，系统500可包括收发器544。收发器544可包括其能够使用各种适当的无线通信技术来传送和接收信号的一个或多个无线电设备。这类技术可涉及跨一个或多个无线网络的通信。示范无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这类网络的通信中，收发器544可按照任何版本的一个或多个适用标准进行操作。实施例并不局限于这个上下文。
在各种实施例中，系统500可包括显示器545。显示器545可包含能够显示从处理器电路502接收的信息的任何显示装置，并且可与图1的显示器145-n相同或相似。实施例并不局限于这个上下文。
在各种实施例中，系统500可包括存储装置546。存储装置546可实现为非易失性存储装置，非限制性地例如磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附连存储装置、闪速存储器、电池备用SDRAM(同步DRAM)和/或网络可访问存储装置。在实施例中，例如，存储装置546可包括在包括多个硬盘驱动器时增加有价值数字媒体的存储性能增强保护的技术。存储装置546的进一步示例可包括硬盘、软盘、致密光盘只读存储器(CD-ROM)、可记录致密光盘(CD-R)、可重写致密光盘(CD-RW)、光盘、磁介质、磁光介质、可移除存储卡或盘、各种类型的DVD装置、磁带装置、盒式磁带装置等等。实施例并不局限于这个上下文。
在各种实施例中，系统500可包括一个或多个I/O适配器547。I/O适配器547的示例可包括通用串行总线(USB)端口/适配器、IEEE 1394 Firewire端口/适配器等等。实施例并不局限于这个上下文。
图6示出系统600的一实施例。在各种实施例中，系统600可表示适合与本文所述的一个或多个实施例配合使用的系统或架构，例如图1的设备100和/或系统140、图2的呈现区域200、图3的呈现区域300、图4的逻辑流程400和/或图5的系统500。实施例并不局限于这个方面。
如图6所示，系统600可包括多个元件。根据设计和性能限制的给定集合的需要，一个或多个元件可使用一个或多个电路、组件、寄存器、处理器、软件子例程、模块或它们的任何组合来实现。虽然图6作为举例示出采用某个拓扑的有限数量的元件，但可以理解，根据给定实现的需要，可以在系统600中使用采用任何适当拓扑中的更多或更少元件。实施例并不局限于这个上下文。
在实施例中，系统600可以是媒体系统，但是系统600并不局限于这个上下文。例如，系统600可结合到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如智能电话、智能平板或者智能电视机)、移动因特网装置(MID)、消息传递装置、数据通信装置等。
在实施例中，系统600包括耦合到显示器645的平台601。平台601可从诸如内容服务装置648或内容传递装置649之类的内容装置或者其它类似内容源来接收内容。包括一个或多个导航特征的导航控制器650可用来与例如平台601和/或显示器645进行交互。下面更详细描述这些组件的每个。
在实施例中，平台601可包括处理器电路602、芯片组603、存储器单元604、收发器644、存储装置646、应用651和/或图形子系统652的任何组合。芯片组603可提供处理器电路602、存储器单元604、收发器644、存储装置646、应用651和/或图形子系统652之间的相互通信。例如，芯片组603可包括能够提供与存储装置646的相互通信的存储装置适配器(未示出)。
处理器电路602可使用任何处理器或逻辑装置来实现，并且可与图5中的处理器电路502相同或相似。
存储器单元604可使用能够存储数据的任何机器可读或计算机可读介质来实现，并且可与图5中的存储器单元504相同或相似。
收发器644可包括能够使用各种适当的无线通信技术来传送和接收信号的一个或多个无线电设备，并且可与图5中的收发器544相同或相似。
显示器645可包括任何电视机类型监视器或显示器，并且可与图5中的显示器545相同或相似。
存储器646可实现为非易失性存储装置，并且可与图5中的存储装置546相同或相似。
图形子系统652可进行图像处理，如显示器的静止摄影和录像。例如，图形子系统652可以是图形处理单元(GPU)或者视觉处理单元(VPU)。可使用模拟或数字接口在通信上耦合图形子系统652和显示器645。例如，该接口可以是任何高清晰度多媒体接口、DisplayPort、无线HDMI和/或无线HD兼容技术。图形子系统652可集成到处理器电路602或芯片组603中。图形子系统652可以是在通信上耦合到芯片组603的独立卡。
本文所述的图形和/或视频处理技术可通过各种硬件架构来实现。例如，图形和/或视频功能性可集成在芯片组中。备选地，可使用分立图形和/或视频处理器。作为又一个实施例，图形和/或视频功能可通过包括多核处理器的通用处理器来实现。在另一实施例中，功能可在消费电子装置中实现。
在实施例中，内容服务装置648可由任何国家、国际和/或单独服务来托管，并且因而是平台601经由例如因特网可访问的。内容服务装置648可耦合到平台601和/或显示器645。显示器601和/或内容服务装置648可耦合到网络653，以便向/从网络653传递(例如发送和/或接收)媒体信息。内容传递装置649也可耦合到平台601和/或显示器645。
在实施例中，内容服务装置648可包括有线电视盒、个人计算机、网络、电话、因特网使能装置或者能够传递数字信息和/或内容的设备以及能够在内容提供商与平台601和/或显示器645之间、经由网络653或者直接地单向或双向传递内容的任何其它类似装置。将会理解，可经由网络653向/从系统600中的组件的任一个和内容提供商单向和/或双向传递内容。内容的示例可包括任何媒体信息，其中包括例如视频、音乐、医疗和游戏信息等。
内容服务装置648接收内容，例如包括媒体信息的有线电视节目、数字信息和/或其它内容。内容提供商的示例可包括任何有线或卫星电视或无线电或者因特网内容提供商。所提供的示例并不是意在限制所公开主题的实施例。
在实施例中，平台601可从具有一个或多个导航特征的导航控制器650接收控制信号。例如，导航控制器650的导航特征可用来与用户界面654进行交互。在实施例中，导航控制器650可以是指针装置，其可以是允许用户将空间(例如连续并且多维的)数据输入计算机中的计算机硬件组件(特别是人机接口装置)。诸如图形用户界面(GUI)之类的许多系统以及电视机和监视器允许用户使用形体姿态来控制数据并且将数据提供给计算机或电视机。
通过显示器上显示的移动指针、光标、聚焦环或者其它视觉指示符，可在显示器(例如显示器645)上仿效导航控制器650的导航特征的移动。例如，在软件应用651的控制下，位于导航控制器650上的导航特征可映射到用户界面654上显示的虚拟导航特征。在实施例中，导航控制器650可以不是独立组件，而是集成到平台601和/或显示器645中。但是，实施例并不局限于本文所示或所述的元件或上下文。
在实施例中，驱动程序(未示出)可包括使用户能够例如通过在引导（boot up）之后触摸按钮(在被启用时)来立即接通和关断平台601、例如电视机的技术。程序逻辑可允许平台601在平台“关断”时，将内容流播到媒体适配器或其它内容服务装置648或内容传递装置649。另外，例如，芯片组603可包括对5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动程序可包括集成图形平台的图形驱动程序。在实施例中，图形驱动程序可包括外设部件互连(PCI)Express图形卡。
在各个实施例中，可集成系统600中所示组件的任何一个或多个。例如，可集成平台601和内容服务装置648，或者可集成平台601和内容传递装置649，或者例如可集成平台601、内容服务装置648和内容传递装置649。在各个实施例中，平台601和显示器645可以是集成单元。例如，可集成显示器645和内容服务装置648，或者可集成显示器645和内容传递装置649。这些示例并不是要限制所公开的主题。
在各个实施例中，系统600可实现为无线系统、有线系统或者两者的组合。当实现为无线系统时，系统600可包括适合于通过无线共享介质(例如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等)进行通信的组件和接口。无线共享介质的一个示例包括无线谱的部分，例如RF谱等。当实现为有线系统时，系统600可包括适合于通过有线通信介质(例如I/O适配器、将I/O适配器与对应有线通信介质连接的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可包括电线、电缆、金属导线、印刷电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
平台601可建立一个或多个逻辑或物理信道以传递信息。信息可包括媒体信息和控制信息。媒体信息可指表示预计送往用户的内容的任何数据。内容的示例可包括例如来自语音转换的数据、电视会议、流播视频、电邮(“电子邮件”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音转换的数据可以是例如话音信息、静寂周期、背景噪声、舒适噪声、信号音等。控制信息可指表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统来路由媒体信息，或者指令节点以预定方式来处理媒体信息。但是，实施例并不局限于图6所示或所述的元件或上下文。
如上所述，系统600可按照变化物理样式或形状因数来实施。图7示出其中可包含系统600的小形状因数装置700的实施例。在实施例中，例如，装置700可实现为具有无线能力的移动计算装置。例如，移动计算装置可指具有处理系统和移动电源或电力供应、例如一个或多个电池的任何装置。
如上所述，移动计算装置的示例可包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如智能电话、智能平板或者智能电视机)、移动因特网装置(MID)、消息传递装置、数据通信装置等。
移动计算装置的示例还可包括设置成供人佩戴的计算机，例如手腕计算机、手指计算机、指环计算机、眼镜计算机、皮带夹计算机、臂章计算机、靴式计算机、服饰计算机和其它可佩戴计算机。在实施例中，例如，移动计算装置可实现能够运行计算机应用以及进行语音通信和/或数据通信的智能电话。虽然作为举例可采用实现为智能电话的移动计算装置来描述一些实施例，但是可理解，其它实施例也可使用其它无线移动计算装置来实现。实施例并不局限于这个上下文。
如图7所示，装置700可包括显示器745、导航控制器750、用户界面754、壳体755、I/O装置756及天线757。显示器745可包括用于显示信息（其适合移动计算装置）的任何适当显示单元，并且可与图6的显示器645相同或相似。导航控制器750可包括一个或多个导航特征，其可用于与用户界面754进行交互，并且可与图6的导航控制器650相同或相似。I/O装置756可包括用于将信息输入移动计算装置中的任何适当I/O装置。I/O装置756的示例可包括字母数字键盘、数字键盘、触摸板、输入按键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别装置和软件等。信息也可通过麦克风输入到装置700中。这种信息可由语音识别装置来数字化。实施例并不局限于这个上下文。
各种实施例可使用硬件元件、软件元件或者它们两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片组等等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件界面、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或者它们的任何组合。确定一实施例是否使用硬件元件和/或软件元件来实现可按照任何数量的因素而改变，例如预期计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计和性能限制。
至少一个实施例的一个或多个方面可通过机器可读介质上存储的、表示处理器中的各种逻辑的代表指令来实现，其在由机器读取时使机器制作执行本文所述技术的逻辑。称作“IP核心”的这类表示可存储在有形机器可读介质上，并且提供给各种客户或制造设施，以便加载到实际制作逻辑或处理器的制造机器中。例如，一些实施例可使用可存储指令或指令集的机器可读介质或产品来实现，其中的指令或指令集在由机器运行时，使机器执行根据实施例的方法和/或操作。这种机器可包括例如任何适当的处理平台、计算平台、计算装置、处理装置、计算系统、处理系统、计算机、处理器等，并且可使用硬件和/或软件的任何适当组合来实现。机器可读介质或产品可包括例如任何适当类型的存储器单元、存储器装置、存储器产品、存储器介质、存储装置、存储产品、存储介质和/或存储单元，例如存储器、可移除或不可移除介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘驱动器、软盘、致密光盘只读存储器(CD-ROM)、可记录致密光盘(CD-R)、可重写致密光盘(CD-RW)、光盘、磁介质、磁光介质、可移除存储卡或盘、各种类型的数字多功能光盘(DVD)、磁带、盒式磁带等。指令可包括使用任何适当的高级、低级、面向对象、视觉、编译和/或解释编程语言所实现的任何适当类型的代码，例如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。
以下示例涉及其它实施例。
示例1是包含多个音频处理指令的至少一个机器可读介质，其响应运行于计算装置而使计算装置：确定用户界面元素在呈现区域中的位置；确定对应于用户界面元素的音频效果；基于用户界面元素的位置确定音频效果的音频定位信息(该音频定位信息定义音频效果的视位置)；以及基于音频定位信息生成音频效果的音频回放信息。
在示例2中，图1的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置而使计算装置：确定指示一个或多个音频回放装置在呈现区域中的位置的呈现布局信息；以及基于呈现布局信息和用户界面元素在呈现区域中的位置确定音频定位信息。
在示例3中，示例1-2中任何一个的音频回放信息可以可选地在一个或多个音频回放装置上操作以根据音频效果的视位置生成音频效果。
在示例4中，示例1-3中任何一个的用户界面元素可以可选地在一个显示区域中呈现，并且音频效果的视位置可以可选地包含该显示区域中的一个点。
在示例5中，示例1-3中任何一个的用户界面元素可以可选地延伸于两个显示器，并且音频效果的视位置可以可选地包含两个显示器之间的一个点。
在示例6中，示例1-3中任何一个的用户界面元素可以可选地包含显示器上呈现的被遮掩的操作系统窗口，音频效果的视位置包含显示器后面的一个点。
在示例7中，示例1-6中任何一个的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置而使计算装置：在音频效果对应于被遮掩的用户界面元素时压抑音频效果。
在示例8中，示例1-7中任何一个的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置，使计算装置生成可在两个或更多音频回放装置上操作以产生具有不同音量的音频效果的音频回放信息。
在示例9中，示例1-8中任何一个的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置，使计算装置执行一种或多种空间音频处理技术以生成音频回放信息。
在示例10中，示例1-9中任何一个的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置，使计算装置执行头部相关传输函数(HRTF)处理以生成音频回放信息。
在示例11中，示例1-10中任何一个的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置，使计算装置执行波场合成以生成音频回放信息。
在示例12中，示例1-11中任何一个的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置，使计算装置执行相位修改以生成音频回放信息。
在示例13中，示例1-12中任何一个的至少一个机器可读介质可以可选地包含指令，其响应运行于计算装置，使计算装置执行立体声加宽或混响处理以生成音频回放信息。
在示例14中，示例1-13中任何一个的用户界面元素可以可选地包含用户提示，并且音频效果可以可选地对应于该用户提示。
在示例15中，示例1-14中任何一个的用户界面元素可以可选地包含视频帧，并且音频效果可以可选地对应于该视频帧。
示例16是包含处理器电路和音频管理模块的音频处理设备，该音频管理模块可在处理器电路上运行以确定用户界面元素在呈现区域中的位置；确定对应于用户界面元素的音频效果；基于用户界面元素的位置确定音频效果的音频定位信息(该音频定位信息定义音频效果的视位置)；以及基于音频定位信息生成音频效果的音频回放信息。
在示例17中，示例16的音频管理模块可以可选地用于在处理器电路上运行以：确定指示一个或多个音频回放装置在呈现区域中的位置的呈现布局信息；以及基于呈现布局信息和用户界面元素在呈现区域中的位置确定音频定位信息。
在示例18中，示例16-17中任何一个的音频回放信息可以可选地在一个或多个音频回放装置上操作，以根据音频效果的视位置生成音频效果。
在示例19中，示例16-18中任何一个的用户界面元素可以可选地在一个显示区域中呈现，并且音频效果的视位置可以可选地包含该显示区域中的一个点。
在示例20中，示例16-18中任何一个的用户界面元素可以可选地延伸于两个显示器，并且音频效果的视位置可以可选地包含两个显示器之间的一个点。
在示例21中，示例16-18中任何一个的用户界面元素可以可选地包含显示器上呈现的被遮掩的操作系统窗口，音频效果的视位置包含显示器后面的一个点。
在示例22中，示例16-21中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以在音频效果对应于被遮掩的用户界面元素时压抑该音频效果。
在示例23中，示例16-22中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以生成可在两个或更多音频回放装置上操作以产生具有不同音量的音频效果的音频回放信息。
在示例24中，示例16-23中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行一种或多种空间音频处理技术以生成音频回放信息。
在示例25中，示例16-24中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行头部相关传输函数(HRTF)处理以生成音频回放信息。
在示例26中，示例16-25中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行波场合成以生成音频回放信息。
在示例27中，示例16-26中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行相位修改以生成音频回放信息。
在示例28中，示例16-27中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行立体声加宽或混响处理以生成音频回放信息。
在示例29中，示例16-28中任何一个的用户界面元素可以可选地包含用户提示，并且音频效果可以可选地对应于该用户提示。
在示例30中，示例16-29中任何一个的用户界面元素可以可选地包含视频帧，并且音频效果可以可选地对应于该视频帧。
示例31是一种音频处理方法，包括：确定用户界面元素在呈现区域中的位置；确定对应于用户界面元素的音频效果；基于用户界面元素的位置确定音频效果的音频定位信息(该音频定位信息定义音频效果的视位置)；以及基于音频定位信息生成音频效果的音频回放信息。
在示例32中，示例31的方法可以可选地包括：确定指示一个或多个音频回放装置在呈现区域中的位置的呈现布局信息；以及基于呈现布局信息和用户界面元素在呈现区域中的位置确定音频定位信息。
在示例33中，示例31-32中任何一个的音频回放信息可以可选地在一个或多个音频回放装置上操作，以根据音频效果的视位置生成音频效果。
在示例34中，示例31-33中任何一个的用户界面元素可以可选地在一个显示区域中呈现，并且音频效果的视位置可以可选地包含该显示区域中的一个点。
在示例35中，示例31-33中任何一个的用户界面元素可以可选地延伸于两个显示器，并且音频效果的视位置可以可选地包含两个显示器之间的一个点。
在示例36中，示例31-33中任何一个的用户界面元素可以可选地包含显示器上呈现的被遮掩的操作系统窗口，音频效果的视位置包含显示器后面的一个点。
在示例37中，示例31-36的方法可以可选地包括在音频效果对应于被遮掩的界面元素时压抑该音频效果。
在示例38中，示例31-37中任何一个的方法可以可选地包括生成音频回放信息，其可在两个或更多音频回放装置上操作以产生具有不同音量的音频效果。
在示例39中，示例31-38中任何一个的方法可以可选地包括执行一种或多种空间音频处理技术以生成音频回放信息。
在示例40中，示例31-39中任何一个的方法可以可选地包括执行头部相关传输函数(HRTF)处理以生成音频回放信息。
在示例41中，示例31-40中任何一个的方法可以可选地包括执行波场合成以生成音频回放信息。
在示例42中，示例31-41中任何一个的方法可以可选地包括执行相位修改以生成音频回放信息。
在示例43中，示例31-42中任何一个的方法可以可选地包括执行立体声加宽或混响处理以生成音频回放信息。
在示例44中，示例31-43中任何一个的用户界面元素可以可选地包含用户提示，并且音频效果可以可选地对应于该用户提示。
在示例45中，示例31-44中任何一个的用户界面元素可以可选地包含视频帧，并且音频效果可以可选地对应于该视频帧。
示例46是包含多个指令的至少一个机器可读介质，其响应运行于计算装置而使计算装置执行如权利要求31到45中的任一项所述的方法。
示例47是包含用于执行如权利要求31到45中的任一项所述的方法的部件的设备。
示例48是设置成执行如权利要求31到45中的任一项所述的方法的通信装置。
示例49是包含处理器电路、收发器和音频管理模块的音频处理系统，该音频管理模块可在处理器电路上运行以确定用户界面元素在呈现区域中的位置；确定对应于用户界面元素的音频效果；基于用户界面元素的位置确定音频效果的音频定位信息(该音频定位信息定义音频效果的视位置)；以及基于音频定位信息生成音频效果的音频回放信息。
在示例50中，示例49的音频管理模块可以可选地用于在处理器电路上运行以：确定指示一个或多个音频回放装置在呈现区域中的位置的呈现布局信息；以及基于呈现布局信息和用户界面元素在呈现区域中的位置确定音频定位信息。
在示例51中，示例49-50中任何一个的音频回放信息可以可选地在一个或多个音频回放装置上操作，以根据音频效果的视位置生成音频效果。
在示例52中，示例49-51中任何一个的用户界面元素可以可选地在一个显示区域中呈现，并且音频效果的视位置可以可选地包含该显示区域中的一个点。
在示例53中，示例49-51中任何一个的用户界面元素可以可选地延伸于两个显示器，并且音频效果的视位置可以可选地包含两个显示器之间的一个点。
在示例54中，示例49-51中任何一个的用户界面元素可以可选地包含显示器上呈现的被遮掩的操作系统窗口，音频效果的视位置包含显示器后面的一个点。
在示例55中，示例49-54中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以在音频效果对应于被遮掩的用户界面元素时压抑该音频效果。
在示例56中，示例49-55中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以生成可在两个或更多音频回放装置上操作以产生具有不同音量的音频效果的音频回放信息。
在示例57中，示例49-56中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行一种或多种空间音频处理技术以生成音频回放信息。
在示例58中，示例49-57中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行头部相关传输函数(HRTF)处理以生成音频回放信息。
在示例59中，示例49-58中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行波场合成以生成音频回放信息。
在示例60中，示例49-59中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行相位修改以生成音频回放信息。
在示例61中，示例49-60中任何一个的音频管理模块可以可选地用于在处理器电路上运行，以执行立体声加宽或混响处理以生成音频回放信息。
在示例62中，示例49-61中任何一个的用户界面元素可以可选地包含用户提示，并且音频效果可以可选地对应于该用户提示。
在示例63中，示例49-62中任何一个的用户界面元素可以可选地包含视频帧，并且音频效果可以可选地对应于该视频帧。
示例64是一种音频处理设备，包括：确定用户界面元素在呈现区域中的位置的部件；确定对应于用户界面元素的音频效果的部件；基于用户界面元素的位置确定音频效果的音频定位信息(该音频定位信息定义音频效果的视位置)的部件；以及基于音频定位信息生成音频效果的音频回放信息的部件。
在示例64中，示例64的音频处理设备可以可选地包括：确定指示一个或多个音频回放装置在呈现区域中的位置的呈现布局信息的部件；以及基于呈现布局信息和用户界面元素在呈现区域中的位置确定音频定位信息的部件。
在示例66中，示例64-65中任何一个的音频回放信息可以可选地在一个或多个音频回放装置上操作，以根据音频效果的视位置生成音频效果。
在示例67中，示例64-66中任何一个的用户界面元素可以可选地在一个显示区域中呈现，并且音频效果的视位置可以可选地包含该显示区域中的一个点。
在示例68中，示例64-66中任何一个的用户界面元素可以可选地延伸于两个显示器，并且音频效果的视位置可以可选地包含两个显示器之间的一个点。
在示例69中，示例64-66中任何一个的用户界面元素可以可选地包含显示器上呈现的被遮掩的操作系统窗口，音频效果的视位置包含显示器后面的一个点。
在示例70中，示例64-69中任何一个的音频处理设备可以可选地包含用于在音频效果对应于被遮掩的界面元素时压抑该音频效果的部件。
在示例71中，示例64-70中任何一个的音频处理设备可以可选地包含生成如下音频回放信息的部件：该音频回放信息可在两个或更多音频回放装置上操作以产生具有不同音量的音频效果。
在示例72中，示例64-71中任何一个的音频处理设备可以可选地包含执行一种或多种空间音频处理技术以生成音频回放信息的部件。
在示例73中，示例64-72中任何一个的音频处理设备可以可选地包括执行头部相关传输函数(HRTF)处理以生成音频回放信息的部件。
在示例74中，示例64-73中任何一个的音频处理设备可以可选地包含执行波场合成以生成音频回放信息的部件。
在示例75中，示例64-74中任何一个的音频处理设备可以可选地包含执行相位修改以生成音频回放信息的部件。
在示例76中，示例64-75中任何一个的音频处理设备可以可选地包含执行立体声加宽或混响处理以生成音频回放信息的部件。
在示例77中，示例64-76中任何一个的用户界面元素可以可选地包含用户提示，并且音频效果可以可选地对应于该用户提示。
在示例78中，示例64-77中任何一个的用户界面元素可以可选地包含视频帧，并且音频效果可以可选地对应于该视频帧。
本文提出许多具体细节以提供对实施例的透彻了解。但是，本领域的技术人员将会理解，即使没有这些具体细节，也可实施实施例。在其它情况下，没有详细描述众所周知的操作、组件和电路，以免影响对各个实施例的理解。可以理解，本文所公开的具体结构和功能细节可以是代表性的，并且不一定限制实施例的范围。
一些实施例可使用表达“耦合”和“连接”及其派生词来描述。这些术语并非是要作为彼此的同义词。例如，一些实施例可使用术语“连接”和/或“耦合”来描述以指示两个或更多元件相互直接物理或电接触。但是，术语“耦合”还可表示两个或更多元件不是相互直接接触，而是仍然相互配合或交互。
若无具体说明，可以理解，诸如“处理”、“计算”、“确定”之类的术语指的是计算机或计算系统或者类似的电子计算装置的动作和/或过程，其中所述计算机或计算系统或者类似的电子计算装置操纵表示为计算系统的寄存器和/或存储器中的物理量(例如电子)数量的数据和/或将其变换为类似地表示为计算系统的存储器、寄存器或者这种信息存储装置、传送或显示装置中的物理量的其它数据。实施例并不局限于这个上下文。
应当注意，本文所述的方法不必按照所述顺序或者任何特定顺序来运行。此外，针对本文所识别的方法描述的各种活动能够依次或并行地运行。
虽然本文已经示出和描述了具体实施例，但是应当理解，用于实现相同目标的任何布置均可替代所示具体实施例。本公开意在涵盖各种实施例的全部可能的修改和变更。要理解，以上描述只是进行说明而不是限制。通过阅读以上描述，本领域的技术人员将会清楚地知道以上实施例的组合以及本文没有具体描述的其它实施例。因此，各个实施例的范围包括使用上述组成、结构和方法的任何其它应用。
要强调的是，“本公开的摘要”是根据37 C.F.R. § 1.72(b)要求摘要以便使读者快速了解技术公开的性质而提供的。应当理解，它的提供并不是用于解释或限制权利要求书的范围或含义。此外，在以上详细描述中，可以看到，各种功能集中到单一实施例中，用于简化本公开。公开的这种方法不应解释为反映了要求其权益的实施例要求超过各权利要求中明确描述的特征的意图。相反，如以下权利要求所反映的那样，发明主题在于少于单个公开实施例的全部特征。因此，以下权利要求结合到详细说明中，其中各权利要求本身代表单独的优选实施例。在所附权利要求书中，术语“包括”和“其中”分别用作相应术语“包含”和“其中”的易懂英语等效体。此外，术语“第一”、“第二”和“第三”等只用作标记，而不是要对其对象施加数字要求。
虽然已经通过结构特征和/或方法动作特定的语言描述了主题，但是大家要理解，所附权利要求书中定义的主题并不一定局限于以上所述的具体特征或动作。上述具体特征和动作而是作为实现权利要求书的示范形式来公开。

Claims (10)

1.一种图形处理设备，包括：
处理器电路；以及
三维(3D)图形管理模块，用于在所述处理器电路上运行以：
生成对应用于3D显示器的呈现的3D预热序列的第一三维(3D)图形信息，所述3D预热序列包含第一部分，在所述第一部分期间3D用户界面元素的视深度遍及一定范围的视深度步进；
发送控制指令以引起所述第一3D图形信息的传输；以及
发送控制指令以在所述3D预热序列的呈现后引起对应用于所述3D显示器的呈现的3D内容的第二3D图形信息的传输。
2.如权利要求1所述的图形处理设备，所述3D预热序列包含第二部分，在所述第二部分期间显示屏幕位置和视深度不同的一系列3D用户界面元素。
3.如权利要求2所述的图形处理设备，所述3D预热序列包含第三部分，在所述第三部分期间按照比所述3D预热序列的所述第二部分的转化率大的转化率来显示屏幕位置和视深度不同的第二系列3D用户界面元素。
4.如权利要求1所述的图形处理设备，所述3D图形管理模块用于在所述处理器电路上运行以：
接收描述用户感知所述3D预热序列内的3D效果的能力的3D感知信息；以及
基于所述3D感知信息定制所述3D内容。
5.如权利要求1所述的图形处理设备，所述3D图形管理模块用于在所述处理器电路上运行以：
在所述3D内容的呈现后生成对应用于所述3D显示器的呈现的3D冷却序列的第三3D图形信息；以及
发送控制指令以引起所述第三3D图形信息的传输。
6.如权利要求5所述的图形处理设备，所述3D图形管理模块用于在所述处理器电路上运行以：
接收描述用户感知所述3D预热序列内的3D效果的能力的3D感知信息；以及
基于所述3D感知信息定制所述3D冷却序列。
7.如权利要求1所述的图形处理设备，所述3D图形管理模块用于在所述处理器电路上运行，以基于指示所述用户能够感知的最小视深度的3D感知信息来定制所述3D内容。
8.如权利要求1所述的图形处理设备，所述3D图形管理模块用于在所述处理器电路上运行，以基于指示所述用户能够感知的最大视深度的3D感知信息来定制所述3D内容。
9.如权利要求1所述的图形处理设备，所述3D图形管理模块用于在所述处理器电路上运行，以基于指示所述用户能够感知的视深度的最大瞬时变化的3D感知信息来定制所述3D内容。
10.一种图形处理方法，包括：
生成对应于3D显示器的呈现的3D预热序列的第一三维(3D)图形信息；
发送控制指令以引起所述第一3D图形信息的传输；
发送控制指令以在所述3D预热序列的呈现后引起对应用于所述3D显示器的呈现的3D内容的第二3D图形信息的传输；
发送控制指令以在所述3D内容的呈现后引起对应用于所述3D显示器的呈现的3D冷却序列的第三3D图形信息的传输。
CN201810973807.1A 2013-03-14 2014-03-14 用于视觉效果的音频定位技术 Active CN109324774B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/830,481 US9210526B2 (en) 2013-03-14 2013-03-14 Audio localization techniques for visual effects
US13/830481 2013-03-14
CN201410094425.3A CN104053059B (zh) 2013-03-14 2014-03-14 用于视觉效果的音频定位方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410094425.3A Division CN104053059B (zh) 2013-03-14 2014-03-14 用于视觉效果的音频定位方法和装置

Publications (2)

Publication Number Publication Date
CN109324774A true CN109324774A (zh) 2019-02-12
CN109324774B CN109324774B (zh) 2021-12-28

Family

ID=50771396

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810973807.1A Active CN109324774B (zh) 2013-03-14 2014-03-14 用于视觉效果的音频定位技术
CN201410094425.3A Active CN104053059B (zh) 2013-03-14 2014-03-14 用于视觉效果的音频定位方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410094425.3A Active CN104053059B (zh) 2013-03-14 2014-03-14 用于视觉效果的音频定位方法和装置

Country Status (3)

Country Link
US (2) US9210526B2 (zh)
EP (2) EP2779148A1 (zh)
CN (2) CN109324774B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018024458A1 (en) * 2016-08-04 2018-02-08 Philips Lighting Holding B.V. Lighting device
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002067007A1 (en) * 2001-02-23 2002-08-29 Lake Technology Limited Sonic terrain and audio communicator
US20020175933A1 (en) * 2001-05-08 2002-11-28 Sami Ronkainen Method and arrangement for providing an expanded desktop
CN101044470A (zh) * 2003-06-30 2007-09-26 微软公司 基于用户注意力焦点和活动来定位和呈现通知通报器
US20080025529A1 (en) * 2006-07-27 2008-01-31 Susann Keohane Adjusting the volume of an audio element responsive to a user scrolling through a browser window
US20080072154A1 (en) * 2006-09-14 2008-03-20 Avaya Technology Llc Audible computer user interface method and apparatus
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US20110010627A1 (en) * 2009-04-09 2011-01-13 Aliphcom Spatial user interface for audio system
EP2362305A1 (en) * 2009-11-19 2011-08-31 Samsung Electronics Co., Ltd. Display control method according to operation mode of display apparatus and digital device with multiple displays using the same
CN102547463A (zh) * 2011-12-15 2012-07-04 Tcl集团股份有限公司 一种电视机界面焦点定位方法、装置及电视机
CN102844736A (zh) * 2010-03-02 2012-12-26 诺基亚公司 用于基于用户交互提供媒体混合的方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091926B2 (en) * 2002-02-08 2006-08-15 Kulas Charles J Computer display system using multiple screens
US20040263424A1 (en) * 2003-06-30 2004-12-30 Okuley James M. Display system and method
US8280076B2 (en) * 2003-08-04 2012-10-02 Harman International Industries, Incorporated System and method for audio system configuration
US8761419B2 (en) * 2003-08-04 2014-06-24 Harman International Industries, Incorporated System for selecting speaker locations in an audio system
US7526093B2 (en) * 2003-08-04 2009-04-28 Harman International Industries, Incorporated System for configuring audio system
US20060236255A1 (en) * 2005-04-18 2006-10-19 Microsoft Corporation Method and apparatus for providing audio output based on application window position
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
WO2008127537A1 (en) * 2007-04-13 2008-10-23 Thomson Licensing Systems and methods for specifying frame-accurate images for media asset management
CN101290620A (zh) * 2007-04-18 2008-10-22 中国传媒大学 一种基于数字对象的媒体资产处理方法及系统
US20090259942A1 (en) * 2008-04-14 2009-10-15 International Business Machines Corporation Varying an audio characteristic of an audible notice based upon a placement in a window stack of the application instance issuing the notice
JP5227073B2 (ja) * 2008-05-01 2013-07-03 ユニ・チャーム株式会社 吸収性物品
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
CN101753913B (zh) * 2008-12-17 2012-04-25 华为技术有限公司 一种视频中插入超链接的方法、装置及处理器
CN101720006B (zh) * 2009-11-20 2011-07-06 张立军 一种适用于视频关键帧提取的代表帧定位方法
EP2609732A4 (en) * 2010-08-27 2015-01-21 Intel Corp METHOD FOR EXTENDING A DIGITAL SCREEN GRAPHIC
US9294311B2 (en) 2010-10-27 2016-03-22 Lg Electronics Inc. Method of performing resource specific channel estimation in heterogeneous network system and apparatus thereof
CA2777742C (en) * 2012-05-23 2014-09-23 Microsoft Corporation Dynamic exercise content

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002067007A1 (en) * 2001-02-23 2002-08-29 Lake Technology Limited Sonic terrain and audio communicator
US20020175933A1 (en) * 2001-05-08 2002-11-28 Sami Ronkainen Method and arrangement for providing an expanded desktop
CN101044470A (zh) * 2003-06-30 2007-09-26 微软公司 基于用户注意力焦点和活动来定位和呈现通知通报器
US20080025529A1 (en) * 2006-07-27 2008-01-31 Susann Keohane Adjusting the volume of an audio element responsive to a user scrolling through a browser window
US20080072154A1 (en) * 2006-09-14 2008-03-20 Avaya Technology Llc Audible computer user interface method and apparatus
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US20110010627A1 (en) * 2009-04-09 2011-01-13 Aliphcom Spatial user interface for audio system
EP2362305A1 (en) * 2009-11-19 2011-08-31 Samsung Electronics Co., Ltd. Display control method according to operation mode of display apparatus and digital device with multiple displays using the same
CN102844736A (zh) * 2010-03-02 2012-12-26 诺基亚公司 用于基于用户交互提供媒体混合的方法和装置
CN102547463A (zh) * 2011-12-15 2012-07-04 Tcl集团股份有限公司 一种电视机界面焦点定位方法、装置及电视机

Also Published As

Publication number Publication date
CN104053059B (zh) 2018-10-19
EP3159787A1 (en) 2017-04-26
US20140270280A1 (en) 2014-09-18
CN104053059A (zh) 2014-09-17
US9210526B2 (en) 2015-12-08
EP2779148A1 (en) 2014-09-17
US20160162260A1 (en) 2016-06-09
US10402160B2 (en) 2019-09-03
CN109324774B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
KR101614790B1 (ko) 카메라 구동 오디오 공간화
US20220377490A1 (en) User interface feedback for controlling audio rendering for extended reality experiences
WO2019128630A1 (zh) 音频信号的处理方法、装置、终端及存储介质
KR20140128276A (ko) 인터페이스 수정 메커니즘을 구비한 전자 시스템 및 그 작동 방법
US20190335292A1 (en) An Apparatus and Associated Methods
US20210004201A1 (en) Audio capture and rendering for extended reality experiences
US11356793B2 (en) Controlling rendering of audio data
Yang et al. Audio augmented reality: A systematic review of technologies, applications, and future research directions
US20140004485A1 (en) Techniques for enhanced holographic cooking
JP2023540785A (ja) 触覚シーン表現形式
CN104053059B (zh) 用于视觉效果的音频定位方法和装置
KR20160039400A (ko) 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
CN108924705A (zh) 3d音效处理方法及相关产品
CN104011789B (zh) 减少用于在屏幕上显示多个图像的显示控制器中使用的缩放引擎的数量
US9965246B2 (en) Method for outputting screen information through sound and electronic device for supporting the same
CN104065942B (zh) 用于改进三维内容的观看舒适度的技术
Das et al. Voice assistant integrated with augmented reality
US11750998B2 (en) Controlling rendering of audio data
Claydon Alternative realities: from augmented reality to mobile mixed reality
Cliffe Audio augmented objects and the audio augmented reality experience
Stewart et al. Spatial auditory display in music search and browsing applications
Huopaniemi Future of personal audio: Smart applications and immersive communication
WO2020139280A1 (en) A system for changing virtual reality scenarios in association with music
Haugstvedt Accessing Cultural Heritage Resources on a Mobile Augmented Reality Platform: A Study on Technology Acceptance
KR20170045533A (ko) 무안경 입체컨텐츠 컨버팅 전자액자 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant