CN105934741B - 3d视差用户接口中的音频遮挡效果 - Google Patents

3d视差用户接口中的音频遮挡效果 Download PDF

Info

Publication number
CN105934741B
CN105934741B CN201380081252.5A CN201380081252A CN105934741B CN 105934741 B CN105934741 B CN 105934741B CN 201380081252 A CN201380081252 A CN 201380081252A CN 105934741 B CN105934741 B CN 105934741B
Authority
CN
China
Prior art keywords
audio frequency
user interface
frequency effect
background
audible notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380081252.5A
Other languages
English (en)
Other versions
CN105934741A (zh
Inventor
D·伊舍伍德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105934741A publication Critical patent/CN105934741A/zh
Application granted granted Critical
Publication of CN105934741B publication Critical patent/CN105934741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Abstract

本文描述了用于在3D视差用户接口中提供音频遮挡效果的各种系统和方法。一种装置包括：呈现模块，在电子设备上呈现3D视差用户接口，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分；接收模块，接收生成针对背景用户接口组件的音频通知的信号；以及音频效果模块，其：确定应用于音频通知的音频效果，音频效果基于背景用户接口组件相对于前景用户接口组件的定位；并且将音频效果应用于音频通知。

Description

3D视差用户接口中的音频遮挡效果
技术领域
本文所描述的实施例一般涉及音频处理，并且特别地涉及3D视差用户接口中的音频遮挡效果。
背景技术
视差是一种光学现象，其中，相比于更远离视点且看起来移动得更少的对象而言，当对象更接近于视点时，从两个不同视线观看的对象的表观定位看起来移动得更多。在计算机用户接口中，视差在移动通过虚拟三维（3D）空间时被展现。当从一侧到另一侧摇摄时仿真虚拟3D空间中的视差的一种机制是比远处的对象更快地移动前景对象以创建深度。
附图说明
在未必按照比例绘制的附图中，相似的附图标记可以在不同视图中描述类似的组件。具有不同字母后缀的相似附图标记可以表示类似组件的不同实例。一些实施例在附图的各图中通过示例而非限制的方式图示，在附图中：
图1A-C图示了根据实施例的三维视差用户接口；
图2是根据实施例的在3D视差用户接口中呈现音频遮挡效果的装置的框图；
图3是图示了根据实施例的用于在3D视差用户接口中提供音频遮挡效果的方法的流程图；以及
图4是图示了根据示例实施例的其上可施行本文所讨论的任何一个或多个技术（例如方法）的示例机器的框图。
具体实施方式
视差3D用户接口在被呈现在常规屏幕上时向用户给出三维空间的透视错觉。当使用视差3D用户接口时，用户可以在身体上从一侧到另一侧移动其头部或者向用户接口提供输入以改变视点。当使视点移位（诸如从一侧到另一侧或者向上或向下移动）时，可以将可能被部分遮挡在前景用户接口对象后面的用户接口对象带到视图中。
如果存在与用户接口的被遮挡组件相关联的音频事件（诸如通知、警报或报警），则用户可能对这样的音频事件的来源感到困惑。而且，如果一音频事件被呈现在前景中并且另一音频事件由背景中的组件提供，如果音频事件是以相等的显著度呈现的，则用户可能不能够辨别音频事件的来源。所需要的是区分3D用户接口中的音频事件的机制。
图1A-C图示了根据实施例的三维视差用户接口100。在图1A中，基本上迎面地观看用户接口100。用户接口100包括多个用户接口组件102A-C。用户接口组件102A-C可以是图标、瓦片、窗口、对话框或通常在图形用户接口中发现的其它对象。在图1A中，用户接口100是视差用户接口。因此，在图1A中，存在背景用户接口组件104，其完全被前景用户接口组件（例如组件102B）遮挡。在图1B中，用户的视角已经被更改成使得用户正在从显示器的左侧（相对于用户的视点的左边）观看用户接口100。从该视点，先前被遮挡的组件104部分可见。图1C图示了从另一视角（即，从下方）的用户接口100。再次，从该视点，先前被遮挡的组件104部分可见。
在图1A-C中图示的实施例中，用户的视点相对于用户接口100改变。这样的视点改变可以以数个方式实现。在示例中，用户接口100可以被显示在手持设备（诸如平板计算机）上，并且用户可以倾斜、旋转或以其它方式更改设备姿态的俯仰、摇摆或横滚。为了完成第一实现方式，设备可以配备有加速度计、陀螺仪或用于检测呈现用户接口的设备的速度、加速度和相对定位的其它传感器。
在视点改变实现方式的示例中，用户接口100可以被显示在相对静止的设备（诸如壁装式监视器）上，并且用户可以通过在身体上相对于用户接口100上的中心定位（例如显示器的中心）向左、向右、向上或向下移动其头部来更改视点。摄像机或其它传感器可以被用于检测用户相对于设备的定位。这样的摄像机或多个摄像机可以用于完成第二实现方式。例如，一个或多个摄像机可以检测用户的面部并相对于用户接口100的中心追踪用户的面部。
在3D视差用户接口（诸如，图1A-C中图示的3D视差用户接口）中，用户接口组件102A-C可以被呈现在各种层上。当使视点移位时，最前面的层（例如前景层）可以被制作动画为比下层（例如背景层）移动得更快。3D视差用户接口可以包括两个或更多层，其中除前景层外的任何层被称为背景层。在图1A-C中图示的示例中，示出了两层，其中背景用户接口组件104处于背景层中。
图2是根据实施例的在3D视差用户接口中呈现音频遮挡效果的装置200的框图。装置200包括显示器202、处理器204和音频输出设备206。显示器202可以是任何类型的显示设备，包括但不限于阴极射线管（CRT）显示器、液晶显示器（LCD）、等离子体显示器、有机发光二极管（OLED）显示器或发光二极管（LED）显示器。处理器204可以是任何类型的处理器，包括但不限于单核处理器、双核处理器、四核处理器等。音频输出设备206包括一个或多个电声换能器，其响应于电气音频信号输入而产生声音。
装置200还包括若干模块，该若干模块包括呈现模块208、接收模块210、音频效果模块212和音频呈现模块214。呈现模块208可以用于在显示器202上呈现用户接口。特别地，呈现模块208可以在电子设备（例如装置200）上呈现3D视差用户接口，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分。
接收模块210可以接收生成针对背景用户接口组件的音频通知的信号。该信号可以由应用生成且被传输至操作系统。操作系统然后可以广播应当发生通知，并且接收模块210可以拦截操作系统的广播并作用于它。音频通知可以是各种类型的音频通知，包括但不限于警报、报警、提醒、系统报警等。
音频效果模块212可以确定应用于音频通知的音频效果，音频效果基于背景用户接口组件相对于前景用户接口组件的定位。音频效果模块212然后可以将音频效果应用于音频通知。
在实施例中，音频效果包括减弱音频信号以减小音量或频率范围中的至少一个。在实施例中，音量减小近似3dB。在另外的实施例中，为了减小频率范围，音频效果包括低通滤波器的斜率中的近似6dB/八度音阶的减小。在另外的实施例中，音频效果包括低通滤波器的截止频率的近似500Hz的减小。在另一实施例中，音频效果包括回响或回波。
为了确定应用于音频通知的音频效果，音频效果模块212可以确定背景用户接口组件的未被遮挡的区域的量。例如，对于总面积60000像素²，背景用户接口组件可以是具有300像素乘200像素的尺寸的窗口。使用线性相关，当20000像素²从前景用户接口组件后面可见时，则音频通知的音量可以从基础值（当背景用户接口组件被完全遮挡时）增大至更响亮的某值以与增大的可见区域对应。
然后，音频效果模块212可以确定距前景层的距离。距离在该上下文中是将前景层从与发出音频通知的背景用户接口组件相关联的背景层分离的层的数目。例如，在具有五层的3D视差用户接口中，可以从处于第四层深（前景层后面三层）的用户接口组件生成音频通知。照此，所使用的音频效果可以减小音量（例如，扬声器处的气压的幅度），增加静态或其它干扰噪声，添加失真，对高频带进行滤波等，以仿真音频通知来与较远的距离。相比而言，在第二层（恰在前景层后面的层）处生成的音频通知可以具有更响亮、更清楚或更鲁棒的声音。使用该信息，音频效果模块212可以将音频效果构造为未被遮挡的区域的量和距前景层的距离的函数。
音频呈现模块214可以呈现音频通知。
在实施例中，音频效果模块212可以确定前景用户接口组件已经移动到3D视差用户接口中相对于背景用户接口组件的新定位。然后，音频效果模块212可以确定应用于音频通知的经修正的音频效果（经修正的音频效果基于新定位）并将经修正的音频效果应用于音频通知以获得经修正的音频通知。音频呈现模块214然后可以呈现经修正的音频通知，诸如经由音频输出设备206。因此，当用户正在观看3D视差用户接口并且从背景用户接口组件发出的音频通知被呈现时，用户可以移动其头部或使设备成角度以观看背景层。当发出音频通知的背景用户接口组件进入视图时，可以将音频通知更改成与呈现对应。例如，音频通知可以被呈现为更清楚、更响亮或具有更大频谱以指示其被前景对象更少地遮挡或者未被前景对象遮挡。
在许多用户接口中，用户被提供有用于改变桌面背景（例如墙纸）以显示活动内容（诸如电影、动画、网页或其它多媒体内容）的机制。桌面背景是最下面的层。当具有音轨的活动内容被呈现在前景层中的其它窗口或用户接口组件后面时，桌面背景音频可以被修改成指示其正在被遮挡。因此，在实施例中，背景层是3D视差用户接口的墙纸。在另外的实施例中，墙纸包括音轨，并且音频效果模块212可以确定和应用要应用于音轨的音频效果。
图3是图示了根据实施例的用于在3D视差用户接口中提供音频遮挡效果的方法300的流程图。在块302处，在电子设备上呈现3D视差用户接口，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分。
在块304处，接收生成针对背景用户接口组件的音频通知的信号。
在块306处，确定应用于音频通知的音频效果，音频效果基于背景用户接口组件相对于前景用户接口组件的定位。
在实施例中，确定应用于音频通知的音频效果包括确定背景用户接口组件的未被遮挡的区域的量、确定距前景层的距离、以及将音频效果构造为未被遮挡的区域的量和距前景层的距离的函数。
在实施例中，音频效果包括减弱音频信号以减小音量或频率范围中的至少一个。在实施例中，音量减小近似3dB。在另外的实施例中，为了减小频率范围，音频效果包括低通滤波器的斜率中的近似6dB/八度音阶的减小。在另外的实施例中，音频效果包括低通滤波器的截止频率的近似500Hz的减小。在另一实施例中，音频效果包括回响或回波。
在块308处，将音频效果应用于音频通知。
在块310处，呈现音频通知。
在实施例中，方法300包括：确定前景用户接口组件已经移动到3D视差用户接口中相对于背景用户接口组件的新定位；确定应用于音频通知的经修正的音频效果，经修正的音频效果基于新定位；将经修正的音频效果应用于音频通知以获得经修正的音频通知；以及呈现经修正的音频通知。
在实施例中，背景层是3D视差用户接口的墙纸。在另外的实施例中，墙纸包括音轨，并且方法300还包括确定和应用要应用于音轨的音频效果。
可以以硬件、固件和软件中的一个或组合来实现实施例。实施例还可以被实现为存储在机器可读存储设备上的指令，所述指令可以被至少一个处理器读取和执行以施行本文所描述的操作。机器可读存储设备可以包括用于以机器（例如计算机）可读的形式存储信息的任何非暂时性机构。例如，机器可读存储设备可以包括只读存储器（ROM）、随机存取存储器（RAM）、磁盘存储介质、光学存储介质、闪速存储器设备以及其它存储设备和介质。
如本文所描述的示例可以包括逻辑或数个组件、模块或机构，或者可以在其上操作。模块可以是通信耦合到一个或多个处理器以便实施本文所描述的操作的硬件、软件或固件。模块可以是硬件模块，并且照此，模块可以被视为能够施行指定操作的有形实体，且可以以某种方式配置或布置。在示例中，电路可以被以指定方式布置（例如在内部或相对于诸如其它电路之类的外部实体）为模块。在示例中，一个或多个计算机系统（例如独立的客户端或服务器计算机系统）或者一个或多个硬件处理器的整体或一部分可以被固件或软件（例如指令、应用部分或应用）配置为操作成施行指定操作的模块。在示例中，软件可以驻留在机器可读介质上。在示例中，软件在由模块的底层硬件执行时使硬件施行指定操作。相应地，术语硬件模块被理解为涵盖有形实体，实体被物理构造、具体配置（例如硬连线）或临时（例如暂时性）配置（例如编程）为以指定方式操作或者施行本文所描述的任何操作的一部分或全部。考虑其中模块被临时配置的示例，每一个模块不需要在任一个时刻处都被实例化。例如，在模块包括使用软件而配置的通用硬件处理器的情况下；通用硬件处理器可以在不同时间处被配置为相应的不同模块。软件可以相应地将硬件处理器配置成例如在一个时刻处构成特定模块并在不同的时刻处构成不同的模块。模块还可以是软件或固件模块，其操作成施行本文所描述的方法。
图4是图示了根据示例实施例的以计算机系统400的示例形式存在的机器的框图，在计算机系统400内，可以执行指令的集合或序列以使该机器施行本文所讨论的方法中的任一个。在可替换的实施例中，机器操作为独立设备或者可以连接（例如联网）到其它机器。在联网的部署中，机器可以以服务器-客户端网络环境中的服务器或客户端机器的能力操作，或者它可以充当对等（或分布式）网络环境中的对等端机器。机器可以是车载系统、可穿戴设备、个人计算机（PC）、平板PC、混合平板、个人数字助理（PDA）、移动电话或者能够执行指定要由该机器采取的动作的指令（顺序的或者以其它方式）的任何机器。另外，虽然仅图示了单个机器，但是术语“机器”还应被理解成包括单独或联合执行指令集（或多个指令集）以施行本文所讨论的方法中的任何一个或多个的机器的任何集合。类似地，术语“基于处理器的系统”应被理解成包括由处理器（例如计算机）控制或操作以单独或联合执行指令以施行本文所讨论的方法中的任何一个或多个的一个或多个机器的任何集合。
示例计算机系统400包括经由链路408（例如总线）与彼此通信的至少一个处理器402（例如中央处理单元（CPU）、图形处理单元（GPU）或两者、处理器核、计算节点等）、主存储器404和静态存储器406。计算机系统400还可以包括视频显示单元410、字母数字输入设备412（例如键盘）和用户接口（UI）导航设备414（例如鼠标）。在一个实施例中，视频显示单元410、输入设备412和UI导航设备414被合并到触摸屏显示器中。计算机系统400可以附加地包括存储设备416（例如驱动单元）、信号生成设备418（例如扬声器）、网络接口设备420以及一个或多个传感器（未示出），诸如全球定位系统（GPS）传感器、罗盘、加速度计或其它传感器。
存储设备416包括其上存储数据结构和指令424（例如软件）的一个或多个集合的机器可读介质422，该一个或多个集合体现本文所描述的方法或功能中的任何一个或多个或者由本文所描述的方法或功能中的任何一个或多个利用。指令424还可以完全或至少部分地驻留在主存储器404、静态存储器406内和/或在其由计算机系统400执行期间在处理器402内，其中主存储器404、静态存储器406和处理器402还构成机器可读介质。
虽然在示例实施例中将机器可读介质422图示为单个介质，但是术语“机器可读介质”可以包括存储一个或多个指令424的单个介质或多个介质（例如集中式或分布式数据库和/或关联的高速缓存和服务器）。术语“机器可读介质”还应被理解成包括能够存储、编码或承载供机器执行且使机器施行本公开的方法中的任何一个或多个的指令或者能够存储、编码或承载由这样的指令利用或与这样的指令相关联的数据结构的任何有形介质。术语“机器可读介质”应当相应地被理解成包括但不限于固态存储器以及光学和磁介质。机器可读介质的具体示例包括非易失性存储器，作为示例，其包括但不限于半导体存储器设备（例如电可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM））和闪速存储器设备；磁盘，诸如内部硬盘和可移除盘；磁光盘；以及CD-ROM和DVD-ROM盘。
利用数个公知的传送协议中的任一个（例如HTTP），还可以经由网络接口设备420使用传输介质通过通信网络426来传输或接收指令424。通信网络的示例包括局域网（LAN）、广域网（WAN）、因特网、移动电话网络、普通老式电话（POTS）网络以及无线数据网络（例如Wi-Fi、3G、和4G LTE/LTE-A或WiMAX网络）。术语“传输介质”应被理解成包括能够存储、编码或承载供机器执行的指令且包括促进这样的软件的通信的数字或模拟通信信号或其它无形介质的任何无形介质。
附加注释和示例：
示例1包括主题（诸如设备、装置或机器），包括一种在3D视差用户接口中提供音频遮挡效果的装置，所述装置包括：呈现模块，在电子设备上呈现3D视差用户接口，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分；接收模块，接收生成针对背景用户接口组件的音频通知的信号；以及音频效果模块，其：确定应用于音频通知的音频效果，音频效果基于背景用户接口组件相对于前景用户接口组件的定位；并且将音频效果应用于音频通知；以及音频呈现模块，呈现音频通知。
在示例2中，示例1的主题可以可选地包括，其中为了确定应用于音频通知的音频效果，音频效果模块：确定背景用户接口组件的未被遮挡的区域的量；确定距前景层的距离；并且将音频效果构造为未被遮挡的区域的量和距前景层的距离的函数。
在示例3中，示例1至2中的任何一个或多个的主题可以可选地包括，其中音频效果包括减弱音频信号以减小音量或频率范围中的至少一个。
在示例4中，示例1至3中的任何一个或多个的主题可以可选地包括，其中音量减小近似3dB。
在示例5中，示例1至4中的任何一个或多个的主题可以可选地包括，其中为了减小频率范围，音频效果包括低通滤波器的斜率中的近似6dB/八度音阶的减小。
在示例6中，示例1至5中的任何一个或多个的主题可以可选地包括，其中音频效果包括低通滤波器的截止频率的近似500Hz的减小。
在示例7中，示例1至6中的任何一个或多个的主题可以可选地包括，其中音频效果包括回响或回波。
在示例8中，示例1至7中的任何一个或多个的主题可以可选地包括，其中音频效果模块：确定前景用户接口组件已经移动到3D视差用户接口中相对于背景用户接口组件的新定位；确定应用于音频通知的经修正的音频效果，经修正的音频效果基于新定位；并且将经修正的音频效果应用于音频通知以获得经修正的音频通知；并且其中音频呈现模块呈现经修正的音频通知。
在示例9中，示例1至8中的任何一个或多个的主题可以可选地包括，其中背景层是3D视差用户接口的墙纸。
在示例10中，示例1至9中的任何一个或多个的主题可以可选地包括，其中墙纸包括音轨，并且其中音频效果模块确定和应用要应用于音轨的音频效果。
示例11包括用于在3D视差用户接口中提供音频遮挡效果的主题（诸如方法、用于施行动作的构件、包括当由机器施行时使机器施行动作的指令的机器可读介质、或者配置成施行的装置），包括：在电子设备上呈现3D视差用户接口，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分；接收生成针对背景用户接口组件的音频通知的信号；确定应用于音频通知的音频效果，音频效果基于背景用户接口组件相对于前景用户接口组件的定位；将音频效果应用于音频通知；以及呈现音频通知。
在示例12中，示例11的主题可以可选地包括，其中确定应用于音频通知的音频效果包括：确定背景用户接口组件的未被遮挡的区域的量；确定距前景层的距离；以及将音频效果构造为未被遮挡的区域的量和距前景层的距离的函数。
在示例13中，示例11至12中的任何一个或多个的主题可以可选地包括，其中音频效果包括减弱音频信号以减小音量或频率范围中的至少一个。
在示例14中，示例11至13中的任何一个或多个的主题可以可选地包括，其中音量减小近似3dB。
在示例15中，示例11至14中的任何一个或多个的主题可以可选地包括，其中为了减小频率范围，音频效果包括低通滤波器的斜率中的近似6dB/八度音阶的减小。
在示例16中，示例11至15中的任何一个或多个的主题可以可选地包括，其中音频效果包括低通滤波器的截止频率的近似500Hz的减小。
在示例17中，示例11至16中的任何一个或多个的主题可以可选地包括，其中音频效果包括回响或回波。
在示例18中，示例11至17中的任何一个或多个的主题可以可选地包括，确定前景用户接口组件已经移动到3D视差用户接口中相对于背景用户接口组件的新定位；确定应用于音频通知的经修正的音频效果，经修正的音频效果基于新定位；将经修正的音频效果应用于音频通知以获得经修正的音频通知；以及呈现经修正的音频通知。
在示例19中，示例11至18中的任何一个或多个的主题可以可选地包括，其中背景层是3D视差用户接口的墙纸。
在示例20中，示例11至19中的任何一个或多个的主题可以可选地包括，其中墙纸包括音轨，并且其中所述方法还包括确定和应用要应用于音轨的音频效果。
示例21包括一种机器可读介质，包括用于在3D视差用户接口中提供音频遮挡效果的指令，所述指令在由机器执行时使机器施行示例11-20中的任一个的操作。
示例22包括一种装置，包括用于施行示例11-20中的任一个的构件。
示例23包括一种在3D视差用户接口中提供音频遮挡效果的装置，包括：用于在电子设备上呈现3D视差用户接口的构件，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分；用于接收生成针对背景用户接口组件的音频通知的信号的构件；用于确定应用于音频通知的音频效果的构件，音频效果基于背景用户接口组件相对于前景用户接口组件的定位；用于将音频效果应用于音频通知的构件；以及用于呈现音频通知的构件。
以上详细描述包括对附图的参照，附图形成详细描述的一部分。附图通过图示的方式示出可实践的具体实施例，这些实施例在本文中还被称为“示例”。这样的示例可以包括除所示或所描述的那些元素外的元素。然而，还设想到包括所示或所描述的元素的示例。而且，还设想到使用所示或所描述的那些元素（或其一个或多个方面）关于特定示例（或其一个或多个方面）或关于本文所示或所描述的其它示例（或其一个或多个方面）的任何组合或排列的示例。
在本文档中提到的公布、专利和专利文档通过引用以其整体并入本文，就像是通过引用单独并入那样。在本文档与如此通过引用而并入的那些文档之间的不一致使用的情况下，（一个或多个）被并入的参考文献中的使用补充本文档的使用；对于不可协调的不一致，本文档中的使用占主导。
在本文档中，使用术语“一”或“一个”，如在专利文档中常见的，以包括一个或多于一个，而与“至少一个”或“一个或多个”的任何其它实例或使用无关。在本文档中，术语“或”用于指代非排他性的或，使得“A或B”包括“A但非B”、“B但非A”和“A和B”，除非以其它方式指示。在随附的权利要求中，术语“包含”和“在其中”被用作相应术语“包括”和“其中”的明白的英文等同替换。而且，在随附的权利要求中，术语“包含”和“包括”是开放式的，也就是说，包括除在权利要求中的这样的术语之后列举的那些元素外的元素的系统、设备、制品或过程仍被视为落入该权利要求的范围内。而且，在随附的权利要求中，术语“第一”、“第二”和“第三”等仅仅被用作标记，而不意图暗示它们的对象的数值次序。
以上描述意图是说明性的，而不是限制性的。例如，以上描述的示例（或其一个或多个方面）可以与其它示例组合使用。可以诸如由本领域普通技术人员在回顾以上描述时使用其它实施例。摘要允许读者快速查明技术公开的本质，例如以遵守美国的37 C.F.R.§1.72(b)。在理解摘要将不用于解释或限制权利要求的范围或含义的情况下提交摘要。而且，在以上具体实施方式中，各种特征可以被成组在一起以精简本公开。然而，权利要求可以不对本文所公开的每个特征都进行阐述，因为实施例可以以所述特征的子集为特征。另外，实施例可以包括比特定示例中所公开的那些特征更少的特征。因此，随附的权利要求在此被合并到具体实施方式中，其中权利要求独立作为单独的实施例。本文所公开的实施例的范围要参照随附权利要求连同这样的权利要求被赋予的等同替换的全部范围加以确定。

Claims (32)

1.一种在3D视差用户接口中提供音频遮挡效果的装置，所述装置包括：
呈现模块，在电子设备上呈现3D视差用户接口，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分；
接收模块，接收生成针对背景用户接口组件的音频通知的信号；以及
音频效果模块，其：
确定应用于音频通知的音频效果，音频效果基于背景用户接口组件相对于前景用户接口组件的定位；并且
将音频效果应用于音频通知；以及
音频呈现模块，呈现音频通知。
2.如权利要求1的装置，其中为了确定应用于音频通知的音频效果，音频效果模块用于：
确定背景用户接口组件的未被遮挡的区域的量；
确定所述背景层距所述前景层的距离；并且
将音频效果构造为所述未被遮挡的区域的量和所述背景层距所述前景层的所述距离的函数。
3.如权利要求1的装置，其中音频效果包括减弱音频信号以减小音量或频率范围中的至少一个。
4.如权利要求3的装置，其中音量减小3dB。
5.如权利要求3的装置，其中为了减小频率范围，音频效果包括低通滤波器的斜率减小6dB/八度音阶。
6.如权利要求5的装置，其中音频效果包括低通滤波器的截止频率减小500Hz。
7.如权利要求1的装置，其中音频效果包括回响或回波。
8.如权利要求1的装置，其中音频效果模块用于：
确定前景用户接口组件已经移动到3D视差用户接口中相对于背景用户接口组件的新定位；
确定应用于音频通知的经修正的音频效果，经修正的音频效果基于新定位；并且
将经修正的音频效果应用于音频通知以获得经修正的音频通知；并且
其中音频呈现模块呈现经修正的音频通知。
9.如权利要求1的装置，其中背景层是3D视差用户接口的墙纸。
10.如权利要求9的装置，其中墙纸包括音轨，并且其中音频效果模块确定和应用要应用于音轨的音频效果。
11.一种用于在3D视差用户接口中提供音频遮挡效果的方法，所述方法包括：
在电子设备上呈现3D视差用户接口，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分；
接收生成针对背景用户接口组件的音频通知的信号；
确定应用于音频通知的音频效果，音频效果基于背景用户接口组件相对于前景用户接口组件的定位；
将音频效果应用于音频通知；以及
呈现音频通知。
12.如权利要求11的方法，其中确定应用于音频通知的音频效果包括：
确定背景用户接口组件的未被遮挡的区域的量；
确定所述背景层距所述前景层的距离；以及
将音频效果构造为所述未被遮挡的区域的量和所述背景层距所述前景层的所述距离的函数。
13.如权利要求11的方法，其中音频效果包括减弱音频信号以减小音量或频率范围中的至少一个。
14.如权利要求13的方法，其中音量减小3dB。
15.如权利要求14的方法，其中为了减小频率范围，音频效果包括低通滤波器的斜率减小6dB/八度音阶。
16.如权利要求15的方法，其中音频效果包括低通滤波器的截止频率减小500Hz。
17.如权利要求11的方法，其中音频效果包括回响或回波。
18.如权利要求11的方法，还包括：
确定前景用户接口组件已经移动到3D视差用户接口中相对于背景用户接口组件的新定位；
确定应用于音频通知的经修正的音频效果，经修正的音频效果基于新定位；
将经修正的音频效果应用于音频通知以获得经修正的音频通知；以及
呈现经修正的音频通知。
19.如权利要求11的方法，其中背景层是3D视差用户接口的墙纸。
20.如权利要求19的方法，其中墙纸包括音轨，并且其中所述方法还包括确定和应用要应用于音轨的音频效果。
21.一种机器可读介质，包括用于在3D视差用户接口中提供音频遮挡效果的指令，所述指令在由机器执行时使机器执行如权利要求11-20中的任一项的方法的操作。
22.一种用于在3D视差用户接口中提供音频遮挡效果的装置，包括用于执行如权利要求11-20的任一项的方法的部件。
23.一种用于在3D视差用户接口中提供音频遮挡效果的装置，所述装置包括：
用于在电子设备上呈现3D视差用户接口的部件，3D视差用户接口包括前景层和背景层，前景层具有前景用户接口组件，并且背景层具有背景用户接口组件，前景用户接口组件遮挡背景用户接口组件的至少部分；
用于接收生成针对背景用户接口组件的音频通知的信号的部件；
用于确定应用于音频通知的音频效果的部件，音频效果基于背景用户接口组件相对于前景用户接口组件的定位；
用于将音频效果应用于音频通知的部件；以及
用于呈现音频通知的部件。
24.如权利要求23的装置，其中用于确定应用于音频通知的音频效果的部件包括：
用于确定背景用户接口组件的未被遮挡的区域的量的部件；
用于确定所述背景层距所述前景层的距离；以及
将音频效果构造为所述未被遮挡的区域的量和所述背景层距所述前景层的所述距离的函数。
25.如权利要求23的装置，其中音频效果包括减弱音频信号以减小音量或频率范围中的至少一个。
26.如权利要求25的装置，其中音量减小3dB。
27.如权利要求26的装置，其中为了减小频率范围，音频效果包括低通滤波器的斜率减小6dB/八度音阶。
28.如权利要求27的装置，其中音频效果包括低通滤波器的截止频率减小500Hz。
29.如权利要求23的装置，其中音频效果包括回响或回波。
30.如权利要求23的装置，还包括：
用于确定前景用户接口组件已经移动到3D视差用户接口中相对于背景用户接口组件的新定位的部件；
用于确定应用于音频通知的经修正的音频效果的部件，所述经修正的音频效果基于新定位；
用于将经修正的音频效果应用于音频通知以获得经修正的音频通知的部件；以及
用于呈现经修正的音频通知的部件。
31.如权利要求23的装置，其中背景层是3D视差用户接口的墙纸。
32.如权利要求31的装置，其中墙纸包括音轨，并且其中所述装置还包括用于确定和应用要应用于音轨的音频效果的部件。
CN201380081252.5A 2013-12-27 2013-12-27 3d视差用户接口中的音频遮挡效果 Active CN105934741B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/078029 WO2015099774A1 (en) 2013-12-27 2013-12-27 Audio obstruction effects in 3d parallax user interfaces

Publications (2)

Publication Number Publication Date
CN105934741A CN105934741A (zh) 2016-09-07
CN105934741B true CN105934741B (zh) 2019-04-05

Family

ID=53479433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081252.5A Active CN105934741B (zh) 2013-12-27 2013-12-27 3d视差用户接口中的音频遮挡效果

Country Status (4)

Country Link
US (1) US9720645B2 (zh)
EP (1) EP3087467A4 (zh)
CN (1) CN105934741B (zh)
WO (1) WO2015099774A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105934741B (zh) 2013-12-27 2019-04-05 英特尔公司 3d视差用户接口中的音频遮挡效果
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
GB2558193B (en) 2016-09-23 2022-07-20 Displaylink Uk Ltd Compositing an image for display
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184876B1 (en) * 1996-07-10 2001-02-06 Intel Corporation Method and apparatus for audibly communicating comparison information to a user
US6254989B1 (en) * 1991-05-10 2001-07-03 The Goodyear Tire & Rubber Company Pneumatic tire including gas absorbing cords
US8250494B2 (en) * 2008-10-23 2012-08-21 Microsoft Corporation User interface with parallax animation
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6054989A (en) * 1998-09-14 2000-04-25 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which provides spatialized audio
US6166738A (en) * 1998-09-14 2000-12-26 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects
US9791918B2 (en) * 2008-03-26 2017-10-17 Pierre Bonnat Breath-sensitive digital interface
CN101819375B (zh) * 2010-04-16 2012-05-30 浙江大学 全视差三维显示装置
KR101633336B1 (ko) 2010-10-01 2016-06-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
CN102508651B (zh) * 2011-09-29 2015-04-15 深圳超多维光电子有限公司 用户界面的实现方法及系统、电子设备
CN103135889B (zh) * 2011-12-05 2017-06-23 Lg电子株式会社 移动终端及其3d图像控制方法
WO2014000129A1 (en) * 2012-06-30 2014-01-03 Intel Corporation 3d graphical user interface
US20140310630A1 (en) * 2013-04-12 2014-10-16 Navteq B.V. Method and apparatus for providing interactive three-dimensional indoor environments
TW201448604A (zh) * 2013-06-04 2014-12-16 Dynalab Singapore Co Ltd 利用影音程式切換顯示畫面上前景區與後景區播音之方法
CN105934741B (zh) 2013-12-27 2019-04-05 英特尔公司 3d视差用户接口中的音频遮挡效果

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6254989B1 (en) * 1991-05-10 2001-07-03 The Goodyear Tire & Rubber Company Pneumatic tire including gas absorbing cords
US6184876B1 (en) * 1996-07-10 2001-02-06 Intel Corporation Method and apparatus for audibly communicating comparison information to a user
US8250494B2 (en) * 2008-10-23 2012-08-21 Microsoft Corporation User interface with parallax animation
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡

Also Published As

Publication number Publication date
US20160291930A1 (en) 2016-10-06
WO2015099774A1 (en) 2015-07-02
CN105934741A (zh) 2016-09-07
EP3087467A4 (en) 2017-09-20
US9720645B2 (en) 2017-08-01
EP3087467A1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
US8798920B2 (en) Generating a display image
KR102562577B1 (ko) 시야 밖 증강 현실 영상의 표시
CN107430442B (zh) 用于进入和退出沉浸式媒体中的应用和活动的多维图形方法
US20180261012A1 (en) Remote Object Detection and Local Tracking using Visual Odometry
US10134183B2 (en) Labeling for three-dimensional occluded shapes
US10269178B2 (en) Method for visualising surface data together with panorama image data of the same surrounding
US20160073080A1 (en) Method and apparatus for efficient depth image transformation
CN105934741B (zh) 3d视差用户接口中的音频遮挡效果
US9699405B2 (en) Immersive teleconferencing with translucent video stream
EP3319341A1 (en) Audio processing
US20140193140A1 (en) System and method for slow motion display, analysis and/or editing of audiovisual content on a mobile device
EP3261367B1 (en) Method, apparatus, and computer program code for improving perception of sound objects in mediated reality
EP2884492A1 (en) Method and electronic device for tracking audio
US10219075B2 (en) Method and system for speaker array assembly and porous display device
US10445912B2 (en) Geographical location visual information overlay
US9459115B1 (en) Unobstructed map navigation using animation
US20200143775A1 (en) Rendering mediated reality content
US10366542B2 (en) Audio processing for virtual objects in three-dimensional virtual visual space
EP3264228A1 (en) Mediated reality
US11367280B2 (en) Audio processing for objects within a virtual space
KR20110019734A (ko) 디스플레이 이미지의 생성
JP2019057047A (ja) 表示制御システム、表示制御方法及びプログラム
US20180101938A1 (en) Method, device, and recording medium for processing image
US20160217559A1 (en) Two-dimensional image processing based on third dimension data
WO2022174432A1 (en) Method of suggesting shooting position for electronic device and electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant