CN106412772A - 相机驱动的音频空间化 - Google Patents

相机驱动的音频空间化 Download PDF

Info

Publication number
CN106412772A
CN106412772A CN201611015713.0A CN201611015713A CN106412772A CN 106412772 A CN106412772 A CN 106412772A CN 201611015713 A CN201611015713 A CN 201611015713A CN 106412772 A CN106412772 A CN 106412772A
Authority
CN
China
Prior art keywords
user
processor
head
audio
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611015713.0A
Other languages
English (en)
Other versions
CN106412772B (zh
Inventor
N·卡布拉塞斯
S·W·程
D·沃雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106412772A publication Critical patent/CN106412772A/zh
Application granted granted Critical
Publication of CN106412772B publication Critical patent/CN106412772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

提供相机驱动的音频空间化的方法和装置。相机输入可由计算机使用以支持音频空间化或改善已支持它的应用的音频空间化。计算机系统可例如通过修正所渲染的音频分组的相对延时或相对振幅来支持音频空间化。如果声音打算例如位于用户的左侧，则在位于用户左耳上的耳机扬声器上渲染的音频声道相比其它音频声道可具有一定程度减小的延时和增加的振幅。

Description

相机驱动的音频空间化
本申请是申请日为2013年09月27日、申请号为201310450066.6、题为“相机驱动的音频空间化”的发明专利申请的分案申请。
背景技术
这总地涉及电气地产生三维声音的效果。
大量音频设备尝试通过电气地改变扬声器输出和其它技术从扬声器阵列重建三维声音。通常，人们喜欢听到来自不同方向的声音。本文中使用的“三维声音”表示来自两个以上方向的声音。
附图简述
参照以下附图描述一些实施例。
图1是用户接收三维声音的的立体图；
图2是对本发明的一个实施例的硬件描绘。
图3是本发明的一个实施例的流程图；
图4是一个实施例的系统描绘；以及
图5是一个实施例的前侧立面图。
具体实施方式
音频空间化指的是用户感觉三维空间中的音频的能力。这意味着用户检测与声音的方向和距离有关的音频信息。
在个人计算机上回放的音频流要么天生就是立体声，要么它们是多声道音频系统，它们在内置在多数个人计算机内的两个扬声器上或连接至个人计算机的一组耳机上回放之前被向下混频至立体声。立体声音频流天然地不包含在某些环绕声系统中包含的音频信息量。
然而，甚至在立体声音频流中也可采用特殊音频空间化技术来给予它们所缺乏的一些三维声音内容。人类听觉系统使用若干线索来实现音源定位，包括时间差、振幅差、谱信息、时序分析以及关联分析，这里仅给出一些示例。例如，来自收听者右侧的声音在其击中左耳之前稍早地击中右耳并具有稍高的强度。另外，来自更远处的声音可能因为减小的较高频率内容而具有较低的振幅。这些类型的线索由人类听觉系统使用以定位空间内的声音。这与人脑分析其从左眼和右眼接受的图像之间的差异以提取视觉三维信息的方式相似。
音频空间化技术后处理音频流但不将用户相对于产生音频流的声音系统在空间中的位置考虑在内。当用户例如佩戴耳机时，扬声器中的换能器随着用户的头部而移动。因此，打算从特定的方向和距离传来的声音与用户的头部一起移动。
在一些实施例中，基于处理器的设备上的相机输入可改善音频内容的空间化。可使用多种个人计算设备，包括笔记本、平板计算机、智能电话以及视频相机本身。
在一些实施例中可使用嵌入式常开相机。移动平台上的已有嵌入式相机可通过向平台提供关于用户相对于该平台的当前位置的信息而改善用户的三维音频体验。
在一些实施例中，用户可收听在耳机上渲染的音频流。音频空间化技术也可应用在渲染于个人计算机的传统嵌入式扬声器上的音频流上，但当使用耳机时其影响被更清楚地觉察到。
音频流可在任何时间在个人计算机系统上激活。这些流包括通过诸如视频回放应用之类的应用产生的系统声音或音频内容。音频流可由立体声音频的两个声道构成或在5.1或7.1音频的情形下由两个以上的声道构成。在两个以上声道的情形下，音频声道被向下混频至两个声道，以使它们能在两个耳机上被渲染。否则，如果立体声系统连接至个人计算机，则该向下混频是不需要的。或者，可通过不同的流驱动各种扬声器。
典型地，通过个人计算机系统产生的声音和通过多数应用产生的音频流不包括空间化效果，因此用户相对于个人计算机系统的位置无关紧要。如果用户使用耳机并产生系统声音，则声音一直来自左耳或右耳方向，而不管用户的头部朝向哪个方向。另一方面，一些应用可支持音频空间化，但它们假设用户位置处于计算机前方的三维空间内的一些默认位置并且他或她一直看向计算机屏幕。该默认位置和朝向通过图1中的X、Y、Z轴的原点表示，其中用户的位置被定义为用户双眼之间的点的位置。
相机输入可由计算机使用以支持音频空间化或改善已支持它的应用的音频空间化。计算机系统可例如通过修正所渲染的音频分组的相对延时或相对振幅来支持音频空间化。如果声音打算例如位于用户的左侧，则在位于用户左耳上的耳机扬声器上渲染的音频声道相比其它音频声道可具有一定程度减小的延时和增加的振幅。然而，个人计算机可使用多种其它技术形成音频定位效果。
一般来说，人头部的位置和朝向影响到他或她对空间内的声音的感知。位置或朝向影响到所感知的声音方向和距离。为了将该范例(paradigm)传至个人计算机设备的用户，用户头部的位置和朝向对于他或她对通过该个人计算机产生的声音的感知具有影响。例如，如果在用户将他或她的头转向右侧的同时图1所示的计算机系统产生声音，那么如果系统的声音要在空间中被定位，则它应当被感知为就像其来自用户的左侧。
为了能够空间化该声音，计算机可以知道用户的当前位置和朝向。图1所示的XYZ轴表示用户的默认位置。图1所示的X’Y’Z’轴表示当用户已将他或她的头移动至点(x1,y1,z1)并且他或她已将他或她的头垂直和水平地转过角度a1和b1时作用的空间中的新用户位置和朝向。可使用向量(x1,y1,z1,a1,b1)来指示用户在空间内的新位置和朝向。然后计算机可使用其嵌入式相机和视频分析法识别用户的新位置和朝向以确定位置和朝向。
例如，一旦已使用视频分析法确定用户双眼之间的点的位置，就能很容易确定该点与计算机的距离。基于该距离，可对给定其朝向的每个耳调整声音的振幅。
当计算机渲染不支持空间化的音频流时，可使用相机输入来提供遗失的三维信息。用户在计算机前方的空间内的位置和朝向可从相机输入导出。例如，如果视频回放应用渲染来自屏幕“内”正前方某一距离的爆炸声，但用户的位置为计算机的略为向左，则用户应当感觉到爆炸来自略为向右的方向。这可通过操控在耳机上渲染的音频流的延时和振幅来完成。
当特定应用渲染空间化音频时，它也可使用源自计算机嵌入式相机的信息以相似方式被后处理。例如，如果应用渲染打算定位用户左侧的声音但用户实际始终将他或她的头转向右侧，则该声音实际应当被渲染以使其被感觉为来自用户头部后方的位置。由此计算机可使用来自用户当前位置和朝向的信息并对音频流作后处理以形成声音位于用户头部后方的印象。前面的示例假设用户朝向的极端改变。在许多真实生活的情形下，用户可稍偏离图1所示的默认位置地定位或倾斜，以使在音频流上执行的空间化处理反映更小和更柔软的位置和朝向改变。
音频解码和后处理一般可在平台上的许多不同的位置处执行。这可通过软件，例如通过应用来完成。这可在嵌入到主处理单元或嵌入到芯片集上的音频数字信号处理器(DSP)来完成。这也可在图形引擎上完成，该图形引擎包括在中央处理单元内的独立或集成的图形引擎。尽管给出了在集成的DSP上执行音频处理的示例，然而这里解释的理念可应用在所有情形下。
图2所示的音频数字信号处理器12可直接或间接地连接至音频编解码器16，该音频编解码器16将个人计算机音频输出驱动至耳机或扬声器18。当应用或操作系统产生音频/视觉流时，这些流可被传递至音频数字信号处理器12以供附加处理并从那里传至音频编解码器16和耳机或扬声器18。
为了取得音频空间化效果，音频DSP驱动器能与嵌入式相机驱动器通信并从中接收关于用户的当前位置和头部朝向的信息。通过该信息，DSP 12对经渲染的音频流施加适当的后处理以取得要求的空间化效果。例如，如果DSP正在渲染两个潜在向下混频的音频流，则当根据用户的当前位置在用户耳机上渲染这些音频流时可对这两个流采用适当的延时或振幅操控以使它们空间化。
DSP驱动器可与相机驱动器交换信号(潜在地经由标准操作系统接口)并接收关于当前用户位置的输入。该交换信号可以许多不同方式完成。例如，它可通过使用在每隔那么多可编程毫秒发生的周期性系统中断来完成。
图3示出本发明的一个实施例的概念性流程图。它可以硬件、软件和/或固件来实现。在软件和固件实施例中，它可通过存储在诸如磁、光或半导体存储的一个或多个计算机可读介质中的计算机执行指令来实现。
在一个实施例中，DSP驱动器基于周期性系统中断每隔那么多可编程毫秒与相机交换信号。驱动器从相机驱动器接收当前用户位置和朝向的信息。事实上，如果音频流当前由DSP渲染，则DSP使用当前用户位置对这些流进行后处理以产生空间化效果。
由此特别在方框20中，驱动器从相机读取新的用户位置。然后在菱形框22的检查确定是否存在当前正被渲染的活动音频流。如果是，则在方框24，DSP基于用户位置处理音频分组以产生空间化效果。接着，在菱形框26的检查判断自从上一次用户位置被读取的时间是否大于可编程的时间间隔。然后流程或者重复回到方框20，或者回到菱形框22。
在其它实施例中，可使用多声道家庭娱乐系统。假设电视或视频系统包括能跟踪当前用户位置和朝向的嵌入式相机，则可完成相同的操作以使环绕声音频空间化。家庭娱乐系统的音质依赖于用户相对于环绕扬声器的实际位置。通过音频空间化，可使用相机输入来驱动每个渲染的音频声道的适当后处理，从而优化在用户实际位置和朝向的音质，就像声音是由每个扬声器产生的那样。
由此，相机输入允许或改善了家庭计算机系统和家庭影院系统两者的音频空间化，并将用户位置和朝向考虑在内。
图4示出系统700的实施例。在各实施例中，系统700可以是媒体系统，尽管系统700不限于此。例如，系统700可被包括在个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能电话、智能平板、或智能电视机)、移动因特网设备(MID)、消息收发设备、数据通信设备等等中。
在各实施例中，系统700包括耦合到显示器720的平台702。平台702可接收来自内容设备的内容，如内容服务设备730或内容传递设备740或其他类似的内容源。包括一个或多个导航特征的导航控制器750可被用来与例如平台702和/或显示器720交互。下文将更详细地描述这些组件中的每一个。
在各实施例中，平台702可包括芯片集705、处理器710、存储器712、存储714、图形子系统715、应用716、全球定位系统(GPS)721、相机723和/或无线电718的任何组合。芯片集705可在处理器710、存储器712、存储714、图形子系统715、应用716和/或无线电718之间提供相互通信。例如，芯片集705可包括能够提供与存储714的相互通信的存储适配器(未示出)。
此外，平台702还包括操作系统770。处理器772的接口可与操作系统和处理器710形成接口。
可提供固件790以实现例如引导序列的功能。可提供更新模块，该更新模块使固件从平台702之外被更新。例如，更新模块可包括代码，该代码用于确定更新尝试是否可信并识别固件790最近更新以利于确定何时需要更新。
在一些实施例中，平台702可由外部电源供电。在一些情形下，平台702也可包括内部电池780，该内部电池708在不适用外部电源的一些实施例中或在允许电池电源或外部电源的实施例中充当电源。
图3所示的序列可通过将这些序列引入到存储714或处理器710或图形子系统715的内的存储器而以软件和固件实施例实现，这里仅给出一些例子。在一个实施例中，图形子系统715可包括图形处理单元而处理器710可以是中央处理单元。
处理器710可被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各实施例中，处理器710可包括双核处理器、双核移动处理器等等。
存储器712可被实现为易失性存储设备，例如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储714可被实现为非易失性存储设备，例如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附属存储设备、闪存、电池备用SDRAM(同步DRAM)和/或网络可访问存储设备。在各实施例中，例如在包含多个硬盘驱动器时，存储714可包括用于提高存储性能、增强对有价值数字媒体的保护的技术。
图形子系统715可执行诸如静止或视频之类的图像处理以供显示。图形子系统715可以是例如图像处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可用于通信地耦合图形子系统715和显示器720。例如，接口可以是高清多媒体接口(HDMI)、显示器端口、无线HDMI和/或无线HD适应技术中的任何一种。图形子系统715可被集成至处理器710或芯片集705。图形子系统715可以是与芯片集705可通信地耦合的独立卡。
本文描述的图形和/或视频处理技术可在各种硬件架构中实现。例如，图形和/或视频功能可集成在芯片集内。或者，可使用分立的图形和/或视频处理器。作为又一实施例，可由包括多核处理器的通用处理器实现图形和/或视频功能。在另一个实施例中，可在消费者电子设备中实现这些功能。
无线电装置718可包括能够使用各合适的无线通信技术来发送和接收信号的一个或多个无线电装置。这样的技术可涉及跨一个或多个无线网络的通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络以及卫星网络。在跨这些网络进行通信时，无线电718可根据一个或多个适用的任何版本的标准来操作。
在各实施例中。显示器720可包括任何电视机类监视器或显示器。显示器720可包括例如计算机显示屏、触摸屏显示器、视频监视器、电视机类设备和/或电视机。显示器720可以是数字和/或模拟的。在各实施例中，显示器720可以是全息显示器。而且，显示器720可以是可接收视觉投影的透明表面。这样的投影可传达各种形式的信息、图像和/或对象。例如，这样的投影可以是移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台702可以在显示器720上显示用户界面722。
在各实施例中，内容服务设备730可由任何国内、国际和/或独立的服务来做主，并且因此平台702例如可经由因特网对它进行访问。内容服务设备730可耦合到平台702和/或显示器720。平台702和/或内容服务设备730可耦合到网络760以向网络760传递媒体信息并对来自网络760的媒体信息进行传递(例如，发送和/或接收)。内容传递设备740也可耦合到平台702和/或显示器720。
在各实施例中，内容服务设备730可包括有线电视盒、个人计算机、网络、电话、能够传递数字信息和/或内容的启用因特网的设备或装置、以及能够经由网络760或直接地在内容提供者和平台702和/或显示器720之间单向或双向传递内容的任何其他类似设备。将能理解，内容可经由网络760单向和/或双向地传递到和传递自系统700中的各组件中的任一个和内容提供者。内容的示例可包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等等。
内容服务设备730接收内容，如包括媒体信息、数字信息和/或其他内容的有线电视节目安排。内容提供者的示例可包括任何有线或卫星电视或无线电或因特网内容提供者。所提供的示例不旨在限制本发明的各实施例。
在各实施例中，平台702可从具有一个或多个导航特征的导航控制器750接收控制信号。例如，控制器750的导航特征可被用来与用户界面722进行交互。在各实施例中，导航控制器750可以是能作为允许用户向计算机输入空间数据(例如，连续和多维)的计算机硬件组件(具体而言，人机接口设备)的定点设备。许多系统，如图形用户界面(GUI)以及电视机和监视器，允许用户使用身体姿势来控制计算机或电视机并向计算机或电视机提供数据。
控制器750的导航特征的移动可通过显示在显示器(例如显示器720)上的指针、光标、焦点环或其他视觉指示符来在该显示器上反应。例如，在软件应用716的控制下，位于导航控制器750上的导航特征可被映射到例如用户界面722上显示的虚拟导航特征。在各实施例中，控制器750可以不是单独组件，而是集成到平台702和/或显示器720上。然而，各实施例并不限于这些元件或本文中示出或描述的背景。
在各实施例中，例如，驱动器(未示出)可包括在被激活时可使用户能在初始启动后触摸按钮将平台702像电视机一样立即开启和关断的技术。在平台被“关闭”时，程序逻辑可以允许平台702将内容流传输到媒体适配器或其他内容服务设备730或内容传递设备740。另外，例如，芯片集705可包括用于5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动器可包括外设部件互连(PCI)高速图形卡。
在各实施例中，可集成系统700中示出的组件中的任何一个或多个。例如，平台702和内容服务设备730可被集成，或者平台702和内容传递设备740可被集成，或者例如平台702、内容服务设备730以及内容传递设备740可被集成。在各实施例中，平台702和显示器720可以是集成单元。例如，显示器720和内容服务设备730可被集成，或者显示器720和内容递送设备740可被集成。这些示例不旨在限制本发明。
在各种实施例中，系统700可被实现为无线系统、有线系统或两者的结合。当被实现为无线系统时，系统700可包括适于在无线共享媒体上通信的组件或接口，诸如一个或多个天线、发射器、接收器、收发器、放大器、过滤器、控制逻辑等。无线共享媒体的示例可包括无线谱的一些部分，诸如RF谱等。当被实现为有线系统时，系统700可包括适于在有线通信媒体上通信的组件和接口，诸如输入/输出(I/O)适配器、将I/O适配器与相应的有线通信媒体连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信媒体的示例可包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换机组织、半导体材料、双绞线、同轴电缆、光纤等。
平台702可建立一个或多个逻辑的或物理的通道以交换信息。信息可包括媒体信息和控制信息。媒体信息可涉及表示对用户有意义的内容的任何数据。例如，内容示例可包括来自语音会话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。例如，来自语音会话的数据可以是语言信息、静声周期、背景噪声、舒适噪声、音调等。控制信息可以指表示对自动系统有意义的命令、指令或控制字的任何数据。例如，控制信息可用于将媒体信息路由使其贯穿系统，或者指示节点以预定方式处理媒体信息。然而，这些实施例并不限于这些元件或图4中示出或描述的范围。
如前所述，系统700可以用不同的物理样式或形状因子来体现。图4示出了其中可实现系统700的小形状因子设备800的各实施例。例如，在各实施例中，设备800可被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和诸如一个或多个电池之类的移动功率源或电源的任何设备。
如前所述，移动计算设备的示例可包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能电话、智能平板、或智能电视机)、移动因特网设备(MID)、消息收发设备、数据通信设备等等中。
移动计算设备的示例还可包括被安排成由人来佩戴的计算机，如腕佩计算机、指戴计算机、指环计算机、眼镜计算机、带扣计算机、臂带计算机、鞋佩计算机、衣佩计算机以及其他可佩戴计算机。例如，在各实施例中，移动计算设备可被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管以示例的方法用被实现为智能电话的移动计算设备对一些实施例进行描述，但是可以认识到，也可使用其它无线移动计算设备实现其它的实施例。各实施例不限于该背景。
如图5所示，设备800可包括外壳802、显示器804、输入/输出(I/O)设备806和天线808。设备800还可包括导航特征812。显示器804可包括用于显示适于移动计算设备的信息的任何合适的显示单元。I/O设备806可包括用于将信息输入到移动计算设备中的任何合适的I/O设备。I/O设备806的示例可包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、话筒、扬声器、语音设备设备和软件等。也可通过话筒将信息输入到设备800中。这些信息可由语音识别设备数字化。各实施例不限于该背景。
可使用硬件元件、软件元件或两者的组合来实现各种实施例。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微型芯片、芯片集等。软件的示例可包括软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、规程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、数值、符号或其任意组合。确定是否使用硬件元件和/或软件元件实现一实施例可根据任意数量的因素而变化，诸如期望计算速率、功率电平、热容限、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
至少一个实施例的一个或多个方面可由存储在机器可读介质上的代表性指令来实现，该指令表示处理器中的各种逻辑，其在被机器读取时使得该机器生成执行本文描述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的机器可读介质上，并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
可使用硬件元件、软件元件或两者的组合来实现各种实施例。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微型芯片、芯片集等。软件的示例可包括软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、规程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、数值、符号或其任意组合。确定是否使用硬件元件和/或软件元件实现一实施例可根据任意数量的因素而变化，诸如期望计算速率、功率电平、热容限、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的代表性指令来实现，该指令表示处理器中的各种逻辑，其在被机器读取时使得该机器生成执行本文描述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的机器可读介质上，并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
本文中所描述的图形处理技术可用各种硬件架构来实现。例如，图形功能可整合在芯片集内。作为替换，可使用分立的图形处理器。作为又一实施例，图形功能可由通用处理器(包括多核处理器)来实现。
贯穿本说明书引述的“一个实施例”或“一实施例”意指结合该实施例描述的特定特征、结构或特性被包含在本发明内所涵盖的至少一个实现中。由此，短语“一个实施例”或“一实施例”的出现不一定引述同一实施例。此外，所述特定特征、结构或特性可被设立成除了所示特定实施例以外的其他合适形式，且所有此类形式可被涵盖在本申请的权利要求书内。
尽管本发明已针对有限数量的实施例作了描述，然而本领域技术人员将会从其中领会到许多修改和变型。所附权利要求旨在覆盖落在本发明的真实精神和范围内的所有这样的修改和变型。

Claims (21)

1.一种装置，包括：
处理器，用于调整由基于处理器的系统向耳机提供的用户头部的声音以产生三维音效，所述三维音效依赖于用户头部相对于系统的朝向，其中所述处理器用于基于用户与系统的距离以及用户头部相对于系统的朝向从所述基于处理器的系统产生声音；以及
存储装置，与所述处理器耦合。
2.如权利要求1所述的装置，包括与所述处理器耦合的视频相机。
3.如权利要求1所述的装置，包括与所述处理器耦合的头戴式耳机。
4.如权利要求1所述的装置，包括与所述处理器耦合的显示器。
5.如权利要求1所述的装置，其中所述处理器用于调整延时以考虑到用户头部的位置或朝向。
6.如权利要求1所述的装置，其中所述处理器用于使用视频分析确定用户头部的位置和朝向。
7.如权利要求1所述的装置，其中所述处理器用于基于用户头部的位置产生三维音效。
8.如权利要求1所述的装置，包括显示器，所述处理器用于基于用户相对于所述显示器的位置调整声音。
9.如权利要求1所述的装置，其中所述耳机是头戴式耳机。
10.一种方法，包括：
调整由基于处理器的系统向耳机提供的用户头部的声音以产生三维音效，所述三维音效依赖于用户头部相对于系统的朝向；以及
基于用户与系统的距离以及用户头部相对于系统的朝向从所述基于处理器的系统产生声音。
11.如权利要求10所述的方法，包括调整延时以考虑到用户头部的位置或朝向。
12.如权利要求10所述的方法，包括使用视频分析确定用户头部的位置和朝向。
13.如权利要求10所述的方法，包括基于用户头部的位置产生三维音效。
14.如权利要求10所述的方法，包括基于用户相对于所述显示器的位置调整声音。
15.如权利要求10所述的方法，其中所述耳机是头戴式耳机。
16.一种装置，包括：
用于调整由基于处理器的系统向耳机提供的用户头部的声音以产生三维音效的装置，所述三维音效依赖于用户头部相对于系统的朝向；以及
用于基于用户与系统的距离以及用户头部相对于系统的朝向从所述基于处理器的系统产生声音的装置。
17.如权利要求16所述的装置，包括用于调整延时以考虑到用户头部的位置或朝向的装置。
18.如权利要求16所述的装置，包括用于使用视频分析确定用户头部的位置和朝向的装置。
19.如权利要求16所述的装置，包括用于基于用户头部的位置产生三维音效的装置。
20.如权利要求16所述的装置，包括用于基于用户相对于所述显示器的位置调整声音的装置。
21.如权利要求16所述的装置，其中所述耳机是头戴式耳机。
CN201611015713.0A 2012-09-27 2013-09-27 相机驱动的音频空间化 Active CN106412772B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/628,464 2012-09-27
US13/628,464 US9596555B2 (en) 2012-09-27 2012-09-27 Camera driven audio spatialization
CN201310450066.6A CN103702264B (zh) 2012-09-27 2013-09-27 相机驱动的音频空间化

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310450066.6A Division CN103702264B (zh) 2012-09-27 2013-09-27 相机驱动的音频空间化

Publications (2)

Publication Number Publication Date
CN106412772A true CN106412772A (zh) 2017-02-15
CN106412772B CN106412772B (zh) 2020-01-07

Family

ID=47829855

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310450066.6A Active CN103702264B (zh) 2012-09-27 2013-09-27 相机驱动的音频空间化
CN201611015713.0A Active CN106412772B (zh) 2012-09-27 2013-09-27 相机驱动的音频空间化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201310450066.6A Active CN103702264B (zh) 2012-09-27 2013-09-27 相机驱动的音频空间化

Country Status (6)

Country Link
US (5) US9596555B2 (zh)
EP (1) EP2713631A3 (zh)
JP (2) JP5882964B2 (zh)
KR (1) KR101614790B1 (zh)
CN (2) CN103702264B (zh)
TW (1) TWI544813B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI451574B (zh) * 2011-10-06 2014-09-01 Richtek Technology Corp 高壓元件及其製造方法
US9596555B2 (en) 2012-09-27 2017-03-14 Intel Corporation Camera driven audio spatialization
US9892743B2 (en) * 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9591426B2 (en) 2013-11-22 2017-03-07 Voyetra Turtle Beach, Inc. Method and apparatus for an ultrasonic emitter system floor audio unit
CN104952456A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 一种语音处理方法以及一种电子设备
US10469947B2 (en) * 2014-10-07 2019-11-05 Nokia Technologies Oy Method and apparatus for rendering an audio source having a modified virtual position
CN106034212B (zh) * 2015-03-10 2019-02-26 深圳富泰宏精密工业有限公司 投影装置、控制装置及穿戴式投影系统
CN104967779A (zh) * 2015-06-16 2015-10-07 中国科学院西安光学精密机械研究所 空间相机时序与视频处理电路及实现方法
CN105183421B (zh) * 2015-08-11 2018-09-28 中山大学 一种虚拟现实三维音效的实现方法及系统
US10979843B2 (en) 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置
JP2018101452A (ja) * 2016-12-20 2018-06-28 カシオ計算機株式会社 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造
US10321258B2 (en) * 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US9858943B1 (en) 2017-05-09 2018-01-02 Sony Corporation Accessibility for the hearing impaired using measurement and object based audio
US10805676B2 (en) 2017-07-10 2020-10-13 Sony Corporation Modifying display region for people with macular degeneration
US10650702B2 (en) 2017-07-10 2020-05-12 Sony Corporation Modifying display region for people with loss of peripheral vision
US10845954B2 (en) 2017-07-11 2020-11-24 Sony Corporation Presenting audio video display options as list or matrix
US10303427B2 (en) 2017-07-11 2019-05-28 Sony Corporation Moving audio from center speaker to peripheral speaker of display device for macular degeneration accessibility
US10051331B1 (en) 2017-07-11 2018-08-14 Sony Corporation Quick accessibility profiles
CN107632704B (zh) * 2017-09-01 2020-05-15 广州励丰文化科技股份有限公司 一种基于光学定位的混合现实音频控制方法及服务设备
JPWO2020144937A1 (ja) * 2019-01-11 2021-11-18 ソニーグループ株式会社 サウンドバー、オーディオ信号処理方法及びプログラム
KR102215543B1 (ko) * 2019-02-26 2021-02-15 주식회사 큐버 Uhd 방송을 위한 어레이 스피커와 어레이 마이크 기반의 ai 음성비서 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070154019A1 (en) * 2005-12-22 2007-07-05 Samsung Electronics Co., Ltd. Apparatus and method of reproducing virtual sound of two channels based on listener's position
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟
CN101529930A (zh) * 2006-10-19 2009-09-09 松下电器产业株式会社 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
CN102318374A (zh) * 2009-02-13 2012-01-11 皇家飞利浦电子股份有限公司 头部跟踪
WO2011135283A3 (en) * 2010-04-26 2012-02-16 Cambridge Mechatronics Limited Loudspeaker with position tracking of a listener
CN102413414A (zh) * 2010-10-13 2012-04-11 微软公司 用于扩展现实的高精度3维音频的系统和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964514B2 (ja) * 1990-01-19 1999-10-18 ソニー株式会社 音響信号再生装置
EP0593228B1 (en) 1992-10-13 2000-01-05 Matsushita Electric Industrial Co., Ltd. Sound environment simulator and a method of analyzing a sound space
JP3152818B2 (ja) 1992-10-13 2001-04-03 松下電器産業株式会社 音環境疑似体験装置及び音環境解析方法
US8189825B2 (en) * 1994-05-09 2012-05-29 Breed David S Sound management techniques for vehicles
JP3526680B2 (ja) 1995-10-27 2004-05-17 株式会社ケンウッド ディレイタイム設定装置
AU1527197A (en) * 1996-01-04 1997-08-01 Virtual Listening Systems, Inc. Method and device for processing a multi-channel signal for use with a headphone
JPH10230899A (ja) * 1997-02-24 1998-09-02 Motoya Takeyama 航空宇宙飛行機のマンマシンインターフェース
JP3594068B2 (ja) * 1998-03-09 2004-11-24 富士ゼロックス株式会社 記録再生装置および記録再生方法
GB2351425A (en) * 1999-01-20 2000-12-27 Canon Kk Video conferencing apparatus
JP4355899B2 (ja) 2003-05-15 2009-11-04 トヨタ自動車株式会社 車両デバイス制御装置
GB0415625D0 (en) 2004-07-13 2004-08-18 1 Ltd Miniature surround-sound loudspeaker
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US8401210B2 (en) 2006-12-05 2013-03-19 Apple Inc. System and method for dynamic control of audio playback based on the position of a listener
JP4315211B2 (ja) * 2007-05-01 2009-08-19 ソニー株式会社 携帯情報端末及び制御方法、並びにプログラム
US7762600B2 (en) 2007-11-08 2010-07-27 Honda Motor Co., Ltd. Vehicle interior door pull handle attachment method and apparatus
JP2009135750A (ja) 2007-11-30 2009-06-18 Kyocera Corp 再生システム、再生制御装置、再生制御方法および再生制御プログラム
US20090238378A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced Immersive Soundscapes Production
CN101626533A (zh) 2008-07-11 2010-01-13 宏碁股份有限公司 扬声器系统、装置以及方法
JP2010050544A (ja) 2008-08-19 2010-03-04 Onkyo Corp 映像音声再生装置
FR2942096B1 (fr) 2009-02-11 2016-09-02 Arkamys Procede pour positionner un objet sonore dans un environnement sonore 3d, support audio mettant en oeuvre le procede, et plate-forme de test associe
US20100328419A1 (en) * 2009-06-30 2010-12-30 Walter Etter Method and apparatus for improved matching of auditory space to visual space in video viewing applications
US8587631B2 (en) * 2010-06-29 2013-11-19 Alcatel Lucent Facilitating communications using a portable communication device and directed sound output
US9491560B2 (en) 2010-07-20 2016-11-08 Analog Devices, Inc. System and method for improving headphone spatial impression
JP2012104871A (ja) 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
WO2012083989A1 (en) * 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
US20120207308A1 (en) 2011-02-15 2012-08-16 Po-Hsun Sung Interactive sound playback device
US9596555B2 (en) 2012-09-27 2017-03-14 Intel Corporation Camera driven audio spatialization
BR112017021893A2 (pt) 2015-04-14 2018-07-10 Qualcomm Inc equipamento e método para controlar operação de dessintonização

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟
US20070154019A1 (en) * 2005-12-22 2007-07-05 Samsung Electronics Co., Ltd. Apparatus and method of reproducing virtual sound of two channels based on listener's position
CN101529930A (zh) * 2006-10-19 2009-09-09 松下电器产业株式会社 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
CN102318374A (zh) * 2009-02-13 2012-01-11 皇家飞利浦电子股份有限公司 头部跟踪
WO2011135283A3 (en) * 2010-04-26 2012-02-16 Cambridge Mechatronics Limited Loudspeaker with position tracking of a listener
CN102413414A (zh) * 2010-10-13 2012-04-11 微软公司 用于扩展现实的高精度3维音频的系统和方法

Also Published As

Publication number Publication date
US10080095B2 (en) 2018-09-18
JP2014072894A (ja) 2014-04-21
TWI544813B (zh) 2016-08-01
US20190124464A1 (en) 2019-04-25
TW201429274A (zh) 2014-07-16
US9596555B2 (en) 2017-03-14
EP2713631A2 (en) 2014-04-02
JP2016105641A (ja) 2016-06-09
EP2713631A3 (en) 2015-03-18
US20220109945A1 (en) 2022-04-07
US11218829B2 (en) 2022-01-04
US20130064376A1 (en) 2013-03-14
US11765541B2 (en) 2023-09-19
CN106412772B (zh) 2020-01-07
KR101614790B1 (ko) 2016-04-22
JP5882964B2 (ja) 2016-03-09
KR20140041367A (ko) 2014-04-04
CN103702264B (zh) 2019-02-15
US20240015464A1 (en) 2024-01-11
US20160366532A1 (en) 2016-12-15
CN103702264A (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
CN103702264B (zh) 相机驱动的音频空间化
US10816812B2 (en) Display devices with multimodal audio
US20120207308A1 (en) Interactive sound playback device
CN105828230A (zh) 具有集成图像显示器的耳机
CN105786170A (zh) 移动终端及其控制方法
US20200053464A1 (en) User interface for controlling audio zones
CN114072761A (zh) 用于控制针对扩展现实体验的音频渲染的用户接口
WO2021143574A1 (zh) 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
EP2751988A1 (en) Method and system for providing an improved audio experience for viewers of video
CN106033676A (zh) 音频播放控制方法和装置、电子设备
WO2023124972A1 (zh) 显示状态切换方法、装置及系统、电子设备、存储介质
CN104429045A (zh) WiDi云模式
US11532873B2 (en) Wearable device antenna shields and related systems and methods
US10402160B2 (en) Audio localization techniques for visual effects
CN114339582A (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
CN106773065A (zh) 一种多功能vr眼镜
US10764707B1 (en) Systems, methods, and devices for producing evancescent audio waves
CN207301525U (zh) 模块化智能眼镜
CN206517592U (zh) 一种交互式3d音频系统
WO2024046182A1 (zh) 一种音频播放方法、系统及相关装置
WO2018042658A1 (ja) 携帯情報端末、頭部装着表示システム、及びその音声出力制御方法
WO2023197646A1 (zh) 一种音频信号处理方法及电子设备
CN117676002A (zh) 音频处理方法及电子设备
CN117319889A (zh) 音频信号的处理方法、装置、电子设备、及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant