CN104081334B - 用于音频反应ui信息的装置和方法以及显示器 - Google Patents

用于音频反应ui信息的装置和方法以及显示器 Download PDF

Info

Publication number
CN104081334B
CN104081334B CN201280068276.2A CN201280068276A CN104081334B CN 104081334 B CN104081334 B CN 104081334B CN 201280068276 A CN201280068276 A CN 201280068276A CN 104081334 B CN104081334 B CN 104081334B
Authority
CN
China
Prior art keywords
user interface
display
interface element
sound source
notable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280068276.2A
Other languages
English (en)
Other versions
CN104081334A (zh
Inventor
E·勒波南
R·舍诺伊
M·塔米
S·威萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN104081334A publication Critical patent/CN104081334A/zh
Application granted granted Critical
Publication of CN104081334B publication Critical patent/CN104081334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Abstract

一种方法包括使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风(1A)捕获的信号来基于一个或者多个声源(1C‑1D)确定一个或者多个显著声源。该方法还包括确定一个或者多个显著声源(1B‑1D)相对于两个或者更多麦克风中的一个或者多个麦克风的位置的一个或者多个方向。该方法包括修改在显示器的用户界面上显示的一个或者多个用户界面元素以至少部分地提供对一个或者多个显著声源(1G)相对于至少一个麦克风的位置的一个或者多个方向的指示。

Description

用于音频反应UI信息的装置和方法以及显示器
技术领域
本发明一般地涉及能够耦合到显示器或者具有显示器的计算机系统，并且更具体地涉及创建适合在显示器上查看的信息。
背景技术
本节旨在提供在权利要求中记载的本发明的背景或者情境。这里的描述可以包括如下概念，这些概念可以被探求、但是未必是先前已经设想、实施或者描述的概念。因此，除非这里另有指示，在本节中描述的内容不是在本申请中的说明书和权利要求书之前的现有技术并且未因包含于本节中而被承认为现有技术。
在所有可能情形中知道声音来自何处有时是重要的。例如，在具有耳机的移动设备上收听音乐时，知道声音在物理环境中的方向将仍然有用。在这一情形中，例如知道在耳机用户后面讲话的人或者与耳机用户更接近驾驶的汽车的方向将是有用的。这一信息对于具有受损听力的人们也将有益。
在移动设备中，从未有用于示出不同项目、比如声音相对于移动设备的方向的足够显示空间。另外，用户可能未认识到或者不理解弹出窗或者其它图形，该弹出窗或者其它图形呈现方向、但是覆盖在移动设备的显示器上显示的图标和其它用户界面元素。因而，使用由移动设备提供的显示空间来呈现声音的方向信息将是有益的。
附图说明
在结合附图阅读时，在以下具体实施方式中使本发明的实施方式的前述和其它方面更明显，其中：
图1是用于创建音频反应用户界面(UI)的示例方法的框图。
图2示出使用全向麦克风的示例麦克风设置。
图3是用于对来自多个麦克风的麦克风信号执行方向分析的流程图的框图。
图4是用于对用于频域麦克风信号的子频带执行方向分析的流程图的框图。
图5包括图5A和5B，图示了其中用户界面元素(例如图标)对有向声音做出反应如同声音是来自该方向的风一样的UI，其中图5A图示在响应于声音的方向进行修改之前的用户界面元素，并且图5B图示被修改以指示声音的方向的用户界面元素。
图6包括图6A、6B和6C，图示了其中基于声源方向执行用户界面元素(例如图标)的旋转的UI，其中图6A图示在响应于声音的方向进行修改之前的用户界面元素，并且图6B和6C图示被修改以指示声音的方向的用户界面元素。
图7图示被修改为比如根据声源方向移动的用户界面元素(例如图标)。
图8包括图8A、8B和8C，图示了图标可以被如何实时修改以指示在声音相对于移动设备移动时声音的方向。
图9示出适合用于实现本发明的示例实施方式的、包括移动设备的示例系统的框图。
发明内容
在一个示例实施方式中，公开了一种包括一个或者多个处理器和包括计算机程序代码的一个或者多个存储器的装置。一个或者多个存储器和计算机程序代码被配置为与一个或者多个处理器一起使该装置至少执行以下操作：使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源；确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向；并且修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供对至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示。
在另一示例实施方式中，公开了一种包括方法，该方法包括：使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源；确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向；并且修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示。
在又一示例实施方式中，公开了一种包括用于与计算机一起使用的计算机可读代码的计算机可读介质，计算机可读代码在由计算机执行时使计算机至少执行以下操作：使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源；确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向；并且修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供对至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示。
在一个附加的示例实施方式中，公开了一种设备，该设备包括：用于使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源的装置；用于确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向的装置；以及用于修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供对至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示的装置。
具体实施方式
本发明的实施方式涉及音频和用户界面。更具体而言，这涉及通过产生音频反应UI来在用户界面中示出在设备周围的音频的方向。实施方式可以涉及2D(二维)或者3D(三维)UI。3D UI是表现为三维的用户界面，该用户界面在显示器上示出信息，从而一些UI元素为三维的和/或位于显示器上的3D空间中(例如，一些UI元素在深度上较近，而一些UI元素在深度上较远)。用户还能够也在深度上导航，但是导航也可以仅为2D。使用3D技术来实施3D用户界面。3D用户界面也可以与3D显示器、例如自动立体显示器一起使用，其中UI实际上看来如同它是在用户的眼睛前面和/或在显示器后面的3D空间中。
在第12/927,663号美国专利申请中，呈现了用于利用所需准确度捕获在移动设备周围的空间声场、从而将知道主要声源的方向的技术。其中的技术利用(例如)三个麦克风和专用处理以分析在设备周围的空间声场。由于对于新型无线设备规划多个麦克风系统，所以这一类型的空间音频捕获也实现例如在设备中的用户界面或者其它应用的新型创新解决方案。这里使用声源的这些和其它方向分析以创建UI，该UI允许声音在UI中的可视化。
如上所述，例如在使用移动设备时知道声音来自何处有时是重要的。目前未在移动设备的用户界面中示出这一类型的信息，但是这一类型的信息是可以被示出的。本发明的示例实施方式提供关于如何示出这一信息的解决方案。此外，本发明为移动设备的用户提供附加娱乐价值。
具体而言，示例实施方式使用已经在用于移动设备的显示器上存在的用户界面元素来呈现方向信息。这允许在移动设备上的有限显示空间被用于方向信息而不求助于覆盖这些用户界面元素。
最初在图1中所示示例方法的情境中呈现示例实施方式。这一方法可以由计算机程序代码实现，该计算机程序代码由一个或者多个处理器执行，该一个或者多个处理器使计算机系统、比如移动设备执行该方法中的操作。该方法的一些或者全部也可以由硬件、比如被设计为执行操作的集成电路实现。该方法也可以由计算机程序代码(由一个或者多个处理器执行)或者硬件的某个组合来实现。
在图1的块1A中，计算机系统使用麦克风阵列来捕获音频。在块1B中，计算机系统对麦克风信号执行方向分析以确定方向信息(例如对于信号信息的多个帧)。存在以下呈现的能够在每子频带基础上执行方向分析的技术。然而本发明不限于使用这些技术，可以使用能够确定来自多个麦克风的声音的方向的任何技术。例如可以使用以下文献中的技术中的任何技术：J.P.Dmochowski,J.Benesty,S.Affes,“A Generalized Steered ResponsePower Method for Computationally Viable Source Localization”IEEE transactionson audio,speech,and language processing,2007年11月8号第15卷；以及L.Godara,“Limitations and Capabilities of Directions-of-Arrival Estimation Techniquesusing an Array of Antennas:A Mobile Communications Perspective,”Phased ArraySystems and Technology,IEEE International Symposium(1996)。
现在转向图2(以及图1)和能够在每子频带基础上分析声音方向的技术，以下技术主要涉及如图2中所示在顶点由距离d分离的三角形的几何形状的平面(例如水平面)上有三个麦克风110-1、110-2和110-3的系统100。然而技术可以容易被推广至不同麦克风设置和几何形状。通常，所有麦克风能够从所有方向捕获声音事件、即麦克风为全向的。每个麦克风110产生通常为模拟的信号120。
在本技术中，通过去除麦克风信号在每个频率频带中的时间差来增强来自若干麦克风的声音的方向分量。
存在关于如何估计到达声音的方向的许多备选方法。在本说明书中，描述一种用于确定方向信息的方法。已经发现这一方法是有效的。这一方法仅为示例并且可以使用其它方法。使用图3和4(也参照图2)来描述这一方法。注意用于图3和4(以及具有流程图的所有其它图)的流程图可以由软件——该软件由一个或者多个处理器执行实现、由于被设计为并入和执行在流程图中的操作中的一个或者多个操作的硬件单元(比如集成电路)实现或者由这些各项的某个组合实现。
现在描述一种直接基于在信道之间的相关性的简单直接的方向分析方法。对于B个频域子频带独立地估计到达声音的方向。思想在于对于每个子频带发现在感知上主导的声源的方向。
使用DFT(离散傅里叶变换)将每个输入信道k＝1,2,3变换成频域(图3的块2A)。每个输入信道对应于对应麦克风110-1、110-2、110-3所产生的信号120-1、120-2、120-3并且是模拟信号120的数字版本(例如采样版本)。在一个示例实施方式中，使用具有百分之50重叠和20ms(毫秒)的有效长度的正弦窗。在使用DFT变换之前，向窗的末尾添加Dmax个零。Dmax对应于在麦克风之间的采样最大延迟。在图2中呈现的麦克风设置中，获得最大延迟为：
其中FS是信号采样速率并且υ是声音在空气中的速度。在DFT变换之后，对于所有三个信道产生频域表示Xk(n)(图3中的标号210)，k＝1,2,3,n＝0,…N-1。N是窗的总长度，其中考虑正弦窗(长度NS)和附加的Dmax个零。
将频域表示分成B个子频带(块2B)：
其中nb是第b个子频带的第一索引。子频带的宽度可以例如遵循ERB(等效矩形宽度)标度。
对于每个子频带，执行方向分析如下。在块2C中，选择子频带。在块2D中，对子频带中的信号执行方向分析。这样的方向分析确定(例如主导)声源的方向220(以下为αb)(块2G)。在图4中更具体描述块2D。在块2E中，确定所有子频带是否已经被选择。如果不是(块2B＝否)，则流程图在块2C中继续。如果是(块2E＝是)，则流程图在块2F中结束。
更具体地，执行方向分析如下。首先利用两个输入信道(在示例实现方式中为输入信道2和3)估计方向。对于两个输入信道，去除在那些信道中的频域信号之间的时间差(图4的块3A)。任务是对于子频带b找到使得两个信道之间的相关性最大化的延迟τb(块3E)。可以使用下式将频域表示、例如移位τb个时域采样：
现在根据下式获得最优延迟(块3E)：
其中Re指示结果的实部并且*表示复共轭。和被视为长度为nb+1-nb-1个采样的矢量。一个采样的分辨率一般适合用于搜索延迟。也可以使用除了相关性之外的其它在感知上激发的相似性。有了延迟信息，创建总和信号(块3B)。它使用以下逻辑来构造：
其中τb是在等式(4)中确定的τb。
在总和信号中，其中事件首次出现的信道的内容(即频域信号)这样被添加，而其中事件较晚出现的信道的内容(即频域信号)被移位以获得最佳匹配(块3J)。
简要地回顾图2，简单说明有助于在广义、非限制性措词中描述以上在等式(5)中的移位τb及其操作。声源(S.S.)131创建声信号191，该声信号创建在麦克风2，110-2处接收的由示例时域函数f1(t)130描述的事件。也就是说，信号120-2将具有与时域函数f1(t)130的一些类似性。相似地，相同事件在由麦克风3，110-3接收时由示例时域函数f2(t)140描述。可见麦克风3，110-3接收f1(t)130的移位版本。换而言之，在理想场景中，函数f2(t)140简单地是函数f1(t)130的移位版本，其中f2(t)＝f1(t-τb)。因此，在一个方面中，用于确定声源的方向的这一示例实施方式在事件出现在一个麦克风(例如麦克风3，110-3)处时相对于事件出现在另一麦克风(例如麦克风2，110-2)处时之间的时间差。描述这一情形为理想情形，因为在现实中，两个麦克风将可能经历不同环境，它们对事件的记录可能被阻止或者增强来自事件的声音的构造或者解构干扰或者单元影响，等等。将在所有三个麦克风110处接收声信号191，并且如果有多个声源131，则声信号191将代表多个声源131。声信号191可以包括在环境中的一个或者多个声源。声信号191可以代表在设备周围的声场、因此可以包括一个或者多个声源生成的声波等并且可以包括一个或者多个可听频率分量。
移位τb指示声源与麦克风2，110-2比麦克风3，110-3更接近多少(在τb为负时，声源比麦克风3更接近麦克风2)。可以计算实际距离差为：
利用图2中的设置上的基本几何形状，可以确定到达声音的角度等于(回到图4，这对应于块3C)：
其中d是在麦克风之间的距离并且b是在声源与最近麦克风之间的估计距离。通常可以将b设置成固定值。例如已经发现b＝2米提供稳定结果。注意，有用于到达声音的方向的两个备选方案，因为仅用两个麦克风不能确定确切方向。
利用第三麦克风以定义等式(7)中的符号中的哪个符号正确(块3D)。一种用于执行块3D的技术的示例如参照块3F至3I描述的那样。在麦克风1与两个估计的声源之间的距离如下(块3F)：
其中h是等边三角形的高度、即：
等式(8)中的距离等于延迟(以采样为单位)(块3G)：
在这两个延迟之中，选择提供与总和信号的更佳相关性的一个延迟。获得相关性为(块3H)：
现在对于子频带b获得主导声源的方向(块3I)：
对于每个子频带重复相同估计(如以上参照图3描述的那样)。
在方向分析之后，现在具有对于每个子频带b的针对主导声源的估计。方向信息仍然需要一些附加处理、即在一帧中的指向某个特定方向的一个个别子频带不应引起向显示器的任何可视输出，但是在有近似地指向相同方向的一组子频带时，那么该特定方向在显示器中“激活”。
在空间分析中，对于麦克风信号信息的多个帧按照频繁间隔、例如每20ms(毫秒)更新声源方向的信息。对于每个更新时刻和对于每个频域子频带b，参数αb(在某些实施方式中)对于特定子频带描述主要声源的方向。在进一步处理之前执行统计分析。因此，回到图1，在块1C中，计算机系统执行方向信息的统计分析以确定(例如显著)声源(例如对于信号信息的多个帧)和那些显著声源相对于计算机系统的方向。也就是说，可以在声场中有多个可能声源，但是在一个示例实施方式中，那些声源中的仅一些声源将视为显著声源。
首先，例如一秒钟中执行五次统计分析是合理的，因此可以一起分析若干数据帧。例如可以使用10个帧，每个帧为20ms长。此外，从数据集去除其中仅有罕见出现的方向也是合理的。来自近似相同方向的声源被分组到一组中。应当在估计声源存在之前超过某个门限的准则(图1的块1D)。作为分析的结果，检测在设备周围的显著声源的方向。
在块1E中，计算机系统表征显著声源。也就是说，可以通过已知技术例如基于主导声源的音量电平以及时间和频谱性质来表征显著声源。
注意，块1C可以基于一个或者多个准则来限制可以被选择为显著声源的声源数目。例如，可以仅选择大于(或者小于)估计强度、在频率以上(或者以下)(例如或者在频率范围内)或者声源是否连续(或者不连续)的那些声源为显著声源。处理功率是另一可能的准则。如果在块1B中发现10个声源，则可能花费太多估计的处理功率(在门限以上)来跟踪所有这些声源，并且仅选择某个数目的声源为显著声源，从而估计的处理功率在门限以下。在另一示例中，估计的功率使用——例如为了修改用户界面元素——可以大于门限，因此仅选择某些声源为显著声源以便减少估计的功率使用至门限以下。作为又一示例，可以有将用来修改在显示器上显示的用户界面元素的设置的声源数目。例如，用户可以设置最大声源数目。仅该数目或者更少的声源将用来修改显示的用户界面元素。可以省略这些准则。
在块1F中，计算机系统确定(例如基于主导声源的特征)确定用于向当前显示的用户界面元素应用的修改。用户界面元素是适合在用户界面中显示的任何元素。例如，用户界面元素可以包括在用户界面上的图标、在用户界面上的文本、用户界面的背景、在用户界面上的照片、在用户界面上的内容或者用户界面的页面中的一项或者多项。在块1G中，计算机系统修改当前显示的用户界面元素(例如或者修改与用户界面元素对应的信息、例如存储器位置集合以用于显示)，其中修改的用户界面元素至少部分指示声源的方向。块1F和1G可以对多个用户界面元素操作。因此，块1F和1G可以使UI元素以某种方式对一些或者所有声音或者以定义的方式对一些限定的声音做出反应以及在二者之间的所有可能变化。例如，可以使UI元素对更响亮和更安静声音不同地做出反应并且对熟悉和新的声音不同地做出反应等。
块1G的一些示例如下：
1)在显示器上的图标“朝着”声音转动(例如旋转)(见图6B、6C、8B、8C)。见块1I，其中“朝着”声音旋转一个或者多个UI元素。
2)使图标材料对声音做出反应，例如如同声音是来自音频方向的风(例如在3D图标中的毛发状材料以逼真方式对风做出反应；见图5B，或者向角落中/沿着与声音源于的位置相反的侧部连续地“吹动”图标)。见块1H，其中使UI元素对声音做出反应。
3)图标“害怕”某些声音(比如语音)并且表现为“跳跃”到在UI中的相反角落(见图7)(其中“相反”是相对于声源的方向)。图标也可以朝着声音移动。见块1J，其中基于声音的方向移动UI元素。
4)图标表现为在响亮声音(或者图标被编程为“害怕”的任何其它声音)来自的角落中被冻结。例如如果图标通常具有透明3D项目的外观，则在图标“害怕”时，图标变成被冻结、也就是说变成冰状。
5)UI元素、比如图标、文本和背景的颜色可以基于声音的方向变化(例如梯度)，例如变得在声音的方向的侧部/角落中更亮而在背离声音的区域中更暗。见块1L。
6)可以例如通过改变颜色或者以某种动画方式做出反应使相片或者视频或者作为UI的一部分而显示的基本上任何内容也对声音方向做出响应(块1M)。
7)除了声音的方向之外，UI元素的反应还可以基于声音的特性、比如声源的时间和/或频谱特性。例如声音的低频内容可以将背景颜色改变成更暗阴影，而来自相同方向的以高频为主的内容可以使背景颜色更亮。作为另一示例，更高频率可以引起背离声音方向的更快移动。见块1N。
8)在一个备选实施方式中，与更长持续时间的声音、比如口哨或者风吹或者讲话相比，可以使UI元素的行为对声音、比如响指或者点击做出更多或者更少反应。例如，对于用户生成的信号、比如响指，图标可以在声源的方向上移动，而在更多实施方式中，这样的图标可以“弹跳”回到图标的原有位置。对照而言，对于更长持续时间的声音、比如持续的风，图标可能在声音移动的相同方向上移动，而在更多实施方式中，图标将在显示器的角落中/沿着显示器的侧部(与声源的方向相反)停留、可能从角落/侧部略微弹跳开、但是然后被迫回到角落/沿着侧部。见块1O。
9)在另一备选实施方式中，可以使作为页面的用户界面元素从声源移开(或者移向声源，视配置而定)。作为示例，用户可以在移动设备的“左”侧轻拍，当前在UI上的页面将朝着移动设备的“右”侧移动并且从显示器移开，而另一页面将从“左”侧移动(从显示器移开)到显示器上。这一操作与目前对于许多用户在他们“滑动”触摸屏以从显示器(触摸屏)移开一个页面而将另一页面移动到触摸屏上时执行的操作相似。这一实施方式也可以例如用于解锁设备，因为许多触摸屏设备使用如下特征，其中用户跨越设备的表面从起始点向结束点“滑动”图标以解锁设备。本实施方式可以通过对声音做出反应来执行这一功能。见块1P。
在用于块1G的示例实现方式方面，实现方式依赖于被修改的用户界面元素、被执行的修改的类型并且也可以依赖于所使用的操作系统(例如UI引擎)。例如，图标通常在可移植网络图形(PNG)中或者可伸缩矢量图形(SVG)格式中存储于存储器中。用于旋转图标的最方便方式将是通过由下层UI引擎给定的应用程序接口(API)。这样的UI引擎包括QT(跨平台应用和UI框架)、微软基础类(MFC)、WxWidget(用于GTK的跨平台图形用户界面和工具库，该GTK是用于创建UI、微软视窗和Macintosh操作系统的工具箱)等。多数UI引擎将可能提供用于旋转0-90-180-270度的能力。但是应当对于引擎而言易于允许更细微分辨率、比如在15-20度。其它UI引擎允许自由旋转图标和其它UI元素。
在块1H中，在音频反应UI功能的操作模式被启用的同时(例如在未停用该操作模式的同时)该过程继续。
转向包括图5A和5B的图5，该图图示了如下UI，其中用户界面元素(例如图标)对有向声音做出反应如同声音是来自该方向的风。图5A图示在响应于声音的方向的修改之前的用户界面元素510-1至510-6。图5B图示在修改成指示声源593的方向520之后的用户界面元素510-1至510-6。也就是说，修改原有图标510以创建修改的图标515。在这一示例中，有朝着图标515的右侧的毛发状材料，并且使毛发状材料移动如同风在方向520上吹动毛发状材料。随着方向520改变，毛发状材料的方向也可以改变。在这一示例中，毛发状材料提供方向520的指示。
参照包括图6A、6B和6C的图6，该图图示了如下UE，其中基于声源方向执行用户界面元素(例如图标)的旋转。图6A图示在响应于声音的方向的修改之前的用户界面元素610(例如在这一示例中为图标)。在显示器690上示出移动设备660为它的UE 670。图6B图示被修改为指示声源693的方向620-1的用户界面元素615-1。也就是说，用户界面元素615-1是对应用户界面元素610的修改版本并且被修改为至少指示声音的方向620-1。图6C图示被修改为指示声源693的方向620-2的用户界面元素615-1。用户界面元素615-2是对应用户界面元素610的修改版本并且被修改为至少指示声音的方向620-2。
图7图示被修改为比如根据声源方向移动的用户界面元素(例如图标)。在这一示例中，图标710-1和710-2分别在位置721和722开始。每个图标沿着所示对应轨迹移动并且起初从声源793的方向720“移开”。在UI 670的侧部750(例如显示器690的侧部)，图标710-1和710-2在不同路径(作为总轨迹的部分)中从侧部750“弹跳”开、但是然后被减速并且远离方向720再次被重新路由。在UI 670的底部730附近，图标710-1和710-2沿着有效UI区域的底部740“滑动”(即不允许图标710-1和710-2进入“选项”和“退出”区域)。图标710-1和710-2可以保持在UE 670的右下角中(例如直至声源793改变方向720或者可能走开)。
参照包括图8A、8B和8C的图8，该图图示了图标可能被如何实时修改以在声音相对于移动设备移动时指示声音的方向。在图8A中，方向820-1相对于二等分图标810的轴线890处于零度(并且假设轴线890与在图8中未示出的二等分移动设备的轴线平行)。在图8B中，声源的方向已经改变成方向820-2(以相对于轴线890的角度α1)，并且计算机系统已经修改图标810以创建图标815-1，其中示出该图标沿着圆弧830绕着中心点891被旋转角度α1。图标815-1的轴线831被修改为与方向820-2大致平行。在图8C中，声源的方向已经改变成方向820-3(以相对于轴线890的角度α2)，并且计算机系统已经修改图标810以创建图标815-2，其中示出该图标沿着圆弧830绕着中心点891被旋转角度α2。图标815-2的轴线831被修改为与方向820-3大致平行。可以用这一方式使图标810/815-1/815-2随着声源移动而实时绕着中心点891顺畅地移动。
转向图9，该图示出适合用于实现本发明的示例实施方式的、包括移动设备901的示例系统900的框图。移动设备901是计算机系统的示例。系统900如图所示具有多个配置，通常可以不同时使用这些配置中的一些配置，但是包括这一些配置以举例说明多个示例。系统900包括移动设备901，该移动设备包括通过一个或者多个总线890互连的一个或者多个处理器905、一个或者多个存储器910、N个麦克风945-1至945-N(其中N为二或者更大)、模数(A/D)转换器980、视频处理器950、显示器960和一个或者多个网络接口(I/F)963。一个或者多个存储器910包括方向和特征分析模块915、UI元素修改模块920、UI元素信息925、修改的UI元素信息935和N个麦克风信号940-1至940-N(例如图2的麦克风信号120的数字表示)。系统900也可以包括各自在移动设备901外部的N个麦克风975和显示器970。一个或者多个网络接口963是有线、无线网络接口或者二者。
在一个示例实施方式中，方向和特征分析模块915访问麦克风信号940并且执行以上呈现的技术中的一种或者多种技术以确定声源131相对于移动设备901的位置的方向(131见图2；确定方向见块1B、1C和1D)。方向和特征分析模块915也可以如以上参照块1E描述的那样表征声源。UI元素修改模块920执行以上描述的块1F和1G并且作用于UI元素信息925(即目前在显示器960/970上被呈现)以确定修改的UI元素信息935，该修改的UI元素信息将取代在显示器960/970上的UI元素信息925。可以组合或者进一步细分而这里为了易于阐述而呈现模块915和920。在一个示例实施方式中，例如模块915和920组成音频反应UI程序930。
也应注意，视频处理器950可以具有它自己的存储器910，并且信息925或935或者信息925和935二者可以完全驻留于视频处理器950的存储器910内。
麦克风975位于移动设备901外部并且可以如先前描述的那样以及取代内部麦克风945来使用。也可以有用来创建适当数目的麦克风的麦克风945、975的组合。例如，移动设备可以仅有一个内部麦克风945、但是可以使用两个外部麦克风975。A/D转换器980可以与内部麦克风945或者外部麦克风975中的任一麦克风用来将模拟麦克风信号转换成数字麦克风信号。如果取代麦克风845使用麦克风857中的一个或者多个麦克风，则确定的方向将相对于这些麦克风。
显示器970作为显示器960的补充或者取代显示器960。例如，可以使用提供与显示器970的外部HDMI(高清多媒体接口)连接的移动设备901，并且可以在一个或者两个显示器960/970上呈现视觉效果510。
也在图9中呈现另一可能性。在这一示例中，麦克风975可以是另一设备972、比如另一计算机系统或者移动设备的一部分。设备972可以包括一个或者多个处理器905、一个或者多个存储器910和一个或者多个A/D转换器980、一个或者多个总线990和一个或者多个网络接口963。设备972可以执行某些处理并且向移动设备901发送基于处理的某些信息。例如，设备972可以创建数字麦克风信号940并且经由一个或者多个网络链路971向移动设备901发送信号940。设备972还可以使用存储器910中的方向分析模块915对麦克风信号940执行方向分析以确定声源的方向(d，991)并且经由一个或者多个网络链路971向移动设备901发送方向。注意，所确定的方向将相对于设备972的位置。
现在描述多个示例。在一个示例中，一种装置包括一个或者多个处理器和包括计算机程序代码的一个或者多个存储器。一个或者多个存储器和计算机程序代码被配置为与一个或者多个处理器一起使该装置至少执行以下操作：使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源；确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向；并且修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供对至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示。
在其它示例实施方式中，修改还包括旋转在用户界面上的至少一个用户界面元素，其中经旋转的至少一个用户界面元素指示至少一个显著声源的方向。旋转在一个示例实施方式中还包括通过旋转至少一个用户界面元素的与至少一个显著声源的方向大致平行的轴线来旋转至少一个用户界面元素。
修改也可以包括通过在背离至少一个显著声源的方向的第二方向上、在用户界面上移动至少一个用户界面元素来修改至少一个用户界面元素。移动还可以包括在至少部分沿着第二方向的轨迹上、在用户界面上移动至少一个用户界面元素。
修改还可以包括修改至少一个用户界面元素，其中使至少一个用户界面元素表现为对至少一个显著声源的声音做出反应。
修改还可以包括基于至少一个显著声源的方向修改至少一个用户界面元素的一个或者多个颜色。
前述段落中的任何段落的装置也可以包括：其中至少一个用户界面元素包括以下各项中的一项或者多项：用户界面上的图标、用户界面上的文本、用户界面的背景、用户界面上的照片、用户界面上的内容、或者用户界面的页面。
该装置也可以包括：其中至少一个用户界面元素包括在显示器上的用户界面的页面，并且其中修改还包括响应于方向而从显示器移开用户界面的页面并且将用户界面的不同页面移动到显示器上。该装置也可以包括：其中至少一个用户界面元素包括在显示器上的用户界面的解锁图标，并且其中修改还包括响应于方向而将解锁图标从初始位置移向结束位置。
在另一示例实施方式中，公开了一种包括用于与计算机一起使用的计算机可读代码的计算机可读介质。计算机可读代码在由计算机执行时使计算机至少执行以下操作：使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源；确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向；并且修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供对至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示。
在一个附加示例实施方式中，公开了一种设备，该设备包括：用于使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源的装置；用于确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向的单元；以及用于修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供对至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示的装置。
在又一示例实施方式中，公开了一种方法，该方法包括：使用从被配置为检测来自一个或者多个声源的声信号的两个或者更多个麦克风捕获的信号来基于一个或者多个声源检测一个或者多个显著声源；确定一个或者多个显著声源中的至少一个显著声源相对于两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向；并且修改在显示器的用户界面上显示的至少一个用户界面元素以至少部分地提供对至少一个显著声源相对于至少一个麦克风的位置的一个或者多个方向的指示。
修改还可以包括旋转在用户界面上的至少一个用户界面元素，其中经旋转的至少一个用户界面元素指示至少一个显著声源的方向。旋转还可以包括通过旋转至少一个用户界面元素的与至少一个显著声源的方向大致平行的轴线来旋转至少一个用户界面元素。
修改也可以包括通过在背离至少一个显著声源的方向的第二方向上、在用户界面上移动至少一个用户界面元素来修改至少一个用户界面元素。移动还可以包括在至少部分沿着第二方向的轨迹上、在用户界面上移动至少一个用户界面元素。
修改还可以包括修改至少一个用户界面元素，其中使至少一个用户界面元素表现为对至少一个显著声源的声音做出反应。
修改还可以包括基于至少一个显著声源的方向修改至少一个用户界面元素的一个或者多个颜色。
前述段落中的任何段落的方法，其中至少一个用户界面元素可以包括以下各项中的至少一项：用户界面上的图标、用户界面上的文本、用户界面的背景、用户界面上的照片、用户界面上的内容、或者用户界面的页面。
该方法也可以包括：其中至少一个用户界面元素包括在显示器上的用户界面的页面，并且其中修改还包括响应于方向而从显示器移开用户界面的页面并且将用户界面的不同页面移动到显示器上。
该方法也可以包括：其中至少一个用户界面元素包括在显示器上的用户界面的解锁图标，并且其中修改还包括响应于方向将解锁图标从初始位置移向结束位置。
未以任何方式限制所附权利要求的范围、解释或者应用，这里公开的示例实施方式中的一个或者多个示例实施方式的技术效果是使用已经在显示器的UI上示出的用户界面元素来提供方向信息。
可以在软件、硬件、应用逻辑或者软件、硬件和应用逻辑的组合中实施本发明的实施方式。在一个示例实施方式中，在各种常规计算机可读介质中的任何计算机可读介质上维护应用逻辑、软件或者指令集。在本文的上下文中，“计算机可读介质”可以是任何如下介质或者单元，该介质或者单元可以包含、存储、传达、传播或者传送用于由或者结合指令执行系统、装置或者设备、比如计算机使用的指令而描述和描绘计算机的示例。计算机可读介质可以包括计算机可读存储介质，该计算机可读存储介质可以是任何如下介质或者单元，该介质或者单元可以包含、存储、传达、传播或者传送用于由或者结合指令执行系统、装置或者设备、比如计算机使用的指令。
如果希望，则可以按照不同顺序和/或相互并行地执行这里讨论的不同功能。另外，如果希望，则以上描述的功能中的一个或者多个功能可以是可选的或者可以被组合。
虽然在独立权利要求中阐述本发明的各种方面，但是本发明的其它方面包括来自描述的实施例和/或从属权利要求底特征与独立权利要求的特征的其它组合而并非仅为在权利要求中明确地阐述的组合。
这里也注意尽管上文描述本发明的示例实施方式，但是不应在限制意义上看待这些描述。实际上，有可以在未脱离如在所附权利要求中限定的本发明的范围时进行的若干变化和修改。

Claims (13)

1.一种用于提供信息的装置，包括：
一个或者多个处理器；以及
包括计算机程序代码的一个或者多个存储器，
所述一个或者多个存储器和所述计算机程序代码被配置为与所述一个或者多个处理器一起使所述装置：
使用从两个或者更多个麦克风捕获的信号来确定一个或者多个显著声源相对于所述两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向，所述两个或者更多个麦克风被配置为检测来自所述一个或者多个显著声源的声信号，其中所述装置包括所述两个或者更多个麦克风中的所述至少一个麦克风，其中所述两个或者更多个麦克风的位置被预定在所述装置的内部；
呈现至少一个显示的用户界面元素，其用于接收修改以提供所述一个或者多个显著声源的方向信息，其中所述至少一个显示的用户界面元素被呈现以用于与所述一个或者多个显著声源无关的至少一个目的；以及
在所述两个或者更多个麦克风正捕获所述声信号时，根据一个或者多个确定的方向，修改所述至少一个显示的用户界面元素，其中所述至少一个显示的用户界面元素在所述装置的显示器上被修改以至少部分地提供对所述一个或者多个显著声源的所述一个或者多个确定的方向的指示，使得在所述两个或者更多个麦克风正捕获所述声信号时，所述一个或者多个显著声源与所述装置的相对位置通过修改后的所述至少一个显示的用户界面元素而被指示。
2.根据权利要求1所述的装置，其中所述至少一个显示的用户界面元素包括所述显示器上的所述用户界面的解锁图标，并且其中所述一个或者多个存储器和所述计算机程序代码还被配置为与所述一个或者多个处理器一起使得所述装置通过响应于所述显著声源中的选择的一个或者多个显著声源的一个或者多个确定的方向而将所述解锁图标从初始位置移向结束位置来修改所述至少一个显示的用户界面元素中的选择的用户界面元素。
3.根据权利要求1所述的装置，其中所述装置被使得通过旋转所述用户界面上的所述至少一个显示的用户界面元素来修改所述至少一个显示的用户界面元素，其中所述至少一个显示的用户界面元素中的经旋转的一个用户界面元素指示所述一个或者多个显著声源中的选择的一个或者多个显著声源的一个或者多个确定的方向。
4.根据权利要求3所述的装置，其中旋转还包括通过旋转所述至少一个显示的用户界面元素的、与所述一个或者多个选择的显著声源的所述一个或者多个确定的方向大致平行的轴线来旋转所述至少一个显示的用户界面元素。
5.根据权利要求2-4中任一项所述的装置，其中所述装置被使得通过在背离所述一个或者多个显著声源中的选择的一个或者多个显著声源的一个或者多个确定的方向的第二方向上、在所述用户界面上移动所述至少一个显示的用户界面元素中的选择的用户界面元素来修改所述选择的用户界面元素。
6.根据权利要求5所述的装置，其中移动还包括在至少部分沿着所述第二方向的轨迹上、在所述用户界面上移动所述选择的用户界面元素。
7.根据权利要求5所述的装置，其中所述装置被使得通过修改所述至少一个显示的用户界面元素中的选择的用户界面元素来修改所述选择的用户界面元素，其中所述选择的界面元素被使得表现为对所述一个或者多个显著声源中的选择的一个或者多个显著声源的声音做出反应。
8.根据权利要求5所述的装置，其中所述装置被使得通过基于所述一个或者多个显著声源中的选择的一个或者多个显著声源的一个或者多个确定的方向修改所述至少一个显示的用户界面元素中的选择的用户界面元素的一个或者多个颜色来修改所述选择的用户界面元素。
9.根据权利要求1所述的装置，其中所述至少一个显示的用户界面元素包括以下各项中的至少一项：所述用户界面上的图标、所述用户界面上的文本、所述用户界面的背景、所述用户界面上的照片、所述用户界面上的内容、或者所述用户界面的页面。
10.根据权利要求1所述的装置，其中所述至少一个显示的用户界面元素包括在所述显示器上的所述用户界面的页面，并且其中所述一个或者多个存储器和所述计算机程序代码还被配置为与所述一个或者多个处理器一起使得所述装置通过响应于所述一个或者多个显著声源中的选择的一个或者多个显著声源的一个或者多个确定的方向而从所述显示器移开所述用户界面的所述页面并且通过将所述用户界面的不同页面移动到所述显示器上来修改所述至少一个显示的用户界面元素中的选择的用户界面元素。
11.一种用于提供信息的方法，包括：
使用从两个或者更多个麦克风捕获的信号来确定一个或者多个显著声源相对于所述两个或者更多个麦克风中的至少一个麦克风的位置的一个或者多个方向，所述两个或者更多个麦克风被配置为检测来自所述一个或者多个显著声源的声信号，其中所述两个或者更多个麦克风中的所述至少一个麦克风被包括在装置中，其中所述两个或者更多个麦克风的位置被预定在所述装置的内部；
呈现至少一个显示的用户界面元素，其用于接收修改以提供所述一个或者多个显著声源的方向信息，其中所述至少一个显示的用户界面元素被呈现用于与所述一个或者多个显著声源无关的至少一个目的；以及
在所述两个或者更多个麦克风正捕获所述声信号时，根据一个或者多个确定的方向，修改所述至少一个显示的用户界面元素，其中所述至少一个显示的用户界面元素被显示在所述装置的显示器上以至少部分地提供对所述一个或者多个显著声源的所述一个或者多个确定的方向的指示，使得在所述两个或者更多个麦克风正捕获所述声信号时，所述一个或者多个显著声源与所述装置的相对位置通过修改后的所述至少一个显示的用户界面元素而被指示。
12.根据权利要求11所述的方法，其中修改还包括旋转在所述用户界面上的所述至少一个显示的用户界面元素，其中所述至少一个显示的用户界面元素中的经旋转的一个用户界面元素指示一个或者多个确定的方向。
13.根据权利要求11所述的方法，其中修改还包括通过在背离所述一个或者多个显著声源中的选择的一个或者多个显著声源的一个或者多个确定的方向的第二方向上、在所述用户界面上移动所述至少一个显示的用户界面元素来修改所述至少一个显示的用户界面元素。
CN201280068276.2A 2011-11-30 2012-11-21 用于音频反应ui信息的装置和方法以及显示器 Active CN104081334B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN4155/CHE/2011 2011-11-30
IN4155CH2011 2011-11-30
PCT/FI2012/051149 WO2013079781A1 (en) 2011-11-30 2012-11-21 Apparatus and method for audio reactive ui information and display

Publications (2)

Publication Number Publication Date
CN104081334A CN104081334A (zh) 2014-10-01
CN104081334B true CN104081334B (zh) 2018-10-26

Family

ID=48534724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280068276.2A Active CN104081334B (zh) 2011-11-30 2012-11-21 用于音频反应ui信息的装置和方法以及显示器

Country Status (4)

Country Link
US (1) US10048933B2 (zh)
EP (1) EP2786243B1 (zh)
CN (1) CN104081334B (zh)
WO (1) WO2013079781A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013150341A1 (en) 2012-04-05 2013-10-10 Nokia Corporation Flexible spatial audio capture apparatus
US9860439B2 (en) * 2013-02-15 2018-01-02 Panasonic Intellectual Property Management Co., Ltd. Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method
US9716939B2 (en) 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
CN103729884A (zh) * 2014-01-10 2014-04-16 广州市久邦数码科技有限公司 一种模拟物理运动的桌面系统及其实现方法
EP2911149B1 (en) 2014-02-19 2019-04-17 Nokia Technologies OY Determination of an operational directive based at least in part on a spatial audio property
KR101888391B1 (ko) * 2014-09-01 2018-08-14 삼성전자 주식회사 음성 신호 관리 방법 및 이를 제공하는 전자 장치
CN107024993A (zh) * 2017-05-05 2017-08-08 京东方科技集团股份有限公司 交互系统、方法及装置
CN110225202A (zh) * 2019-06-11 2019-09-10 深圳市锐尔觅移动通信有限公司 音频流的处理方法、装置、移动终端及存储介质
US11291911B2 (en) * 2019-11-15 2022-04-05 Microsoft Technology Licensing, Llc Visualization of sound data extending functionality of applications/services including gaming applications/services
CN112306445B (zh) * 2020-10-29 2022-12-20 维沃移动通信有限公司 控制方法、装置及电子设备
CN112755511A (zh) * 2021-01-27 2021-05-07 维沃移动通信有限公司 电子设备的操作执行方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642177A (zh) * 2003-11-25 2005-07-20 Lg电子株式会社 在移动通信终端中记录音频和视频
CN101110215A (zh) * 2006-07-21 2008-01-23 索尼株式会社 音频信号处理装置、音频信号处理方法和处理程序

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812688A (en) * 1992-04-27 1998-09-22 Gibson; David A. Method and apparatus for using visual images to mix sound
US5850455A (en) * 1996-06-18 1998-12-15 Extreme Audio Reality, Inc. Discrete dynamic positioning of audio signals in a 360° environment
US6140565A (en) * 1998-06-08 2000-10-31 Yamaha Corporation Method of visualizing music system by combination of scenery picture and player icons
US6700985B1 (en) * 1998-06-30 2004-03-02 Gn Resound North America Corporation Ear level noise rejection voice pickup method and apparatus
JP3584800B2 (ja) * 1999-08-17 2004-11-04 ヤマハ株式会社 音場再現方法およびその装置
JP3771812B2 (ja) * 2001-05-28 2006-04-26 インターナショナル・ビジネス・マシーンズ・コーポレーション ロボットおよびその制御方法
US20020196294A1 (en) * 2001-06-26 2002-12-26 Robert Sesek Calendar screensaver for a computer display
US7142677B2 (en) * 2001-07-17 2006-11-28 Clarity Technologies, Inc. Directional sound acquisition
US7126467B2 (en) * 2004-07-23 2006-10-24 Innovalarm Corporation Enhanced fire, safety, security, and health monitoring and alarm response method, system and device
US7928311B2 (en) * 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
JP2006287735A (ja) 2005-04-01 2006-10-19 Fuji Photo Film Co Ltd 画像音声記録装置及び集音方向調整方法
EP1737265A1 (en) * 2005-06-23 2006-12-27 AKG Acoustics GmbH Determination of the position of sound sources
DE102005057406A1 (de) * 2005-11-30 2007-06-06 Valenzuela, Carlos Alberto, Dr.-Ing. Verfahren zur Aufnahme einer Tonquelle mit zeitlich variabler Richtcharakteristik und zur Wiedergabe sowie System zur Durchführung des Verfahrens
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US9021404B2 (en) * 2006-08-25 2015-04-28 Verizon Patent And Licensing Inc. Systems and methods for modifying content based on a positional relationship
US20080252595A1 (en) 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
ATE473603T1 (de) * 2007-04-17 2010-07-15 Harman Becker Automotive Sys Akustische lokalisierung eines sprechers
US20090088964A1 (en) * 2007-09-28 2009-04-02 Dave Schaaf Map scrolling method and apparatus for navigation system for selectively displaying icons
US8155346B2 (en) * 2007-10-01 2012-04-10 Panasonic Corpration Audio source direction detecting device
JP2010011433A (ja) * 2008-05-30 2010-01-14 Nittobo Acoustic Engineering Co Ltd 音源分離及び表示方法並びにシステム
KR101396633B1 (ko) 2008-06-10 2014-05-16 삼성전자주식회사 소리 신호를 이용한 영상 출력 기능 제어 장치 및 방법
US8503694B2 (en) * 2008-06-24 2013-08-06 Microsoft Corporation Sound capture system for devices with two microphones
US8358328B2 (en) * 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
WO2010075634A1 (en) 2008-12-30 2010-07-08 Karen Collins Method and system for visual representation of sound
JP2010187363A (ja) * 2009-01-16 2010-08-26 Sanyo Electric Co Ltd 音響信号処理装置及び再生装置
US8488802B2 (en) * 2009-05-19 2013-07-16 Yamaha Corporation Sound field control device
US9094645B2 (en) * 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
US8933960B2 (en) 2009-08-14 2015-01-13 Apple Inc. Image alteration techniques
US20110054890A1 (en) * 2009-08-25 2011-03-03 Nokia Corporation Apparatus and method for audio mapping
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
US8847878B2 (en) * 2009-11-10 2014-09-30 Apple Inc. Environment sensitive display tags
CN106851525B (zh) 2009-12-23 2018-11-20 诺基亚技术有限公司 用于音频信号的处理的方法和装置
EP3217653B1 (en) * 2009-12-24 2023-12-27 Nokia Technologies Oy An apparatus
JP2011180470A (ja) * 2010-03-03 2011-09-15 Yamaha Corp 音声可視化装置
US8988970B2 (en) * 2010-03-12 2015-03-24 University Of Maryland Method and system for dereverberation of signals propagating in reverberative environments
JP5672748B2 (ja) * 2010-03-31 2015-02-18 ヤマハ株式会社 音場制御装置
US20110275434A1 (en) * 2010-05-04 2011-11-10 Mediatek Inc. Methods for controlling a process of a game and electronic devices utilizing the same
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US9313599B2 (en) 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback
JP5867672B2 (ja) * 2011-03-30 2016-02-24 ヤマハ株式会社 音像定位制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642177A (zh) * 2003-11-25 2005-07-20 Lg电子株式会社 在移动通信终端中记录音频和视频
CN101110215A (zh) * 2006-07-21 2008-01-23 索尼株式会社 音频信号处理装置、音频信号处理方法和处理程序

Also Published As

Publication number Publication date
EP2786243A1 (en) 2014-10-08
US10048933B2 (en) 2018-08-14
CN104081334A (zh) 2014-10-01
EP2786243A4 (en) 2015-07-29
EP2786243B1 (en) 2021-05-19
WO2013079781A1 (en) 2013-06-06
US20140337741A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
CN104081334B (zh) 用于音频反应ui信息的装置和方法以及显示器
JP6744940B2 (ja) 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法
US9430082B2 (en) Electronic device for executing different functions based on the touch patterns using different portions of the finger and control method thereof
CN104737101B (zh) 具有力触发的非视觉响应的计算设备
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
CN104335600B (zh) 多麦克风移动装置中检测及切换降噪模式的方法
JP6125457B2 (ja) 収音システム及び放音システム
US20080252595A1 (en) Method and Device for Virtual Navigation and Voice Processing
CN108776568A (zh) 网页页面的显示方法、装置、终端及存储介质
US20130132845A1 (en) Spatial Visual Effect Creation And Display Such As For A Screensaver
KR102387025B1 (ko) 오디오 신호 처리 방법, 장치, 단말기 및 저장 매체
EP3622730B1 (en) Spatializing audio data based on analysis of incoming audio data
US9002035B2 (en) Graphical audio signal control
JP7439131B2 (ja) 空間オーディオをキャプチャする装置および関連する方法
CN107948429A (zh) 一种内容演示方法及终端设备
CN110286971A (zh) 处理方法及系统、介质和计算设备
CN107765987A (zh) 一种用户交互方法及装置
US11721317B2 (en) Sound effect synthesis
KR101984179B1 (ko) 이동 단말기 및 그 제어방법
Vorländer et al. Virtual room acoustics
KR20120006278A (ko) 이동 단말기 및 그 제어방법
JP5648515B2 (ja) ユーザーインターフェイス装置
JP2005301827A (ja) 音響情報処理装置、音響情報提供方法
US11871207B1 (en) Acoustic editing
Bernardo et al. The Smart Stage: Designing 3D interaction metaphors for immersive and ubiquitous music systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160105

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant