CN104205880A - 基于取向的音频控制 - Google Patents

基于取向的音频控制 Download PDF

Info

Publication number
CN104205880A
CN104205880A CN201280071853.3A CN201280071853A CN104205880A CN 104205880 A CN104205880 A CN 104205880A CN 201280071853 A CN201280071853 A CN 201280071853A CN 104205880 A CN104205880 A CN 104205880A
Authority
CN
China
Prior art keywords
orientation
user
head
respect
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280071853.3A
Other languages
English (en)
Other versions
CN104205880B (zh
Inventor
K·C·韦尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104205880A publication Critical patent/CN104205880A/zh
Application granted granted Critical
Publication of CN104205880B publication Critical patent/CN104205880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

可以将一种装置配置为感测其自身相对于坐标系的取向，以及感测用户头部相对于所述装置的取向。之后，所述装置可以确定装置取向是否相对于坐标系已经发生了变化和/或头部取向是否相对于装置已经发生了变化。之后，可以基于所述确定来控制所述装置中的音频信号生成。例如，可以在所确定的装置和/或头部取向变化的基础上改变模拟声源在3D音频场中的位置。之后，可以将所述音频信号从所述装置传输至基于所述音频信号产生声音的设备(例如，耳机)。

Description

基于取向的音频控制
背景技术
三维(3D)音频是这样一种技术：其通过造成声音的来源处于围绕收听者的3D空间当中的某处的错觉的方式产生声音。例如，电影和视频游戏可以采用3D音频来建立“沉浸”的效果，其中，通过生成似乎来自各个方向(例如，左、中、右、后，等)的声音使参与者(例如，用户)感觉就像真的成为了所观看的内容的一部分。在固定系统中，可以通过在各个方向内放置扬声器而模拟这一效果。之后，将来自内容(例如，电影、视频游戏等)的声音引向对应于被设计为收听该声音的方向的扬声器。由于所述系统是固定的，因而不管用户身处何处所述声音总是似乎来自正确的方向(例如，内容创作者想要的方向)。最近，便携式系统(例如，移动通信和/或计算装置)已经演变为具有生成3D音频的能力。用户可以查看便携式系统上的内容，并在被配置为根据内容生成定向声音的耳机上收听与内容相关联的音频。但是，便携式3D音频当中存在至少一个限制，那就是声场是相对于耳机的。这与固定系统相反，在固定系统中声音是相对于固定坐标系产生的，因而用户能够自由地在实际空间中走动而不会改变想要地身临其境的感觉，而在便携式装置中，坐标系是相对于用户的耳机的，因此是相对于用户的头部的。在用户的头部移动时，声场也发生移动。因此，发出声音的方向不再与内容创作所想要的方向匹配，破坏了内容旨在建立的身临其境感。
附图说明
随着下文中的具体实施方式部分的展开以及对附图的参考，所要求保护的主题的各种实施例的特征和优点将变得显而易见，其中，类似的附图标记指示类似的部分，并且其中：
图1示出了根据本公开的至少一个实施例的被配置为用于基于取向的音频控制的示范性系统；
图2示出了可与本公开的至少一个实施例一起使用的示范性装置；
图3示出了根据本公开的至少一个实施例的装置中的音频控制电路和其他电路之间的示范性交互；
图4示出了根据本公开的至少一个实施例的示范性初始对准取向；
图5示出了根据本公开的至少一个实施例的移位取向的例子；
图6示出了根据本公开的至少一个实施例的移位取向的第二例子；以及
图7示出了根据本公开的至少一个实施例的基于取向的音频控制的示范性操作的流程图。
尽管下文的具体实施方式部分是在图示实施例的情况下进行的，但是对于本领域技术人员而言所述示范性实施例的很多替代方案、修改和变化将是显而易见的。
具体实施方式
一般而言，本公开描述了基于取向的音频控制系统和方法。文文中所称的“音频”或“音频信号”包括三维(3D)音频，其被配置为模拟3D声场内的各个位置处的声源，从而使收听者(例如，用户)感觉到其正沉浸在对应于所述音频的内容当中。可以采用任何当前已知的或者以后出现的3D音频技术(例如，Microsoft Corp.的DirectSoundCreative TechnologyLtd.的open AL等)作为文中公开的各种实施例，从而自动操纵3D音频配置，而不是3D的产生方式。在一个实施例中，可以对装置中的音频信号生成加以控制，从而使所感觉到的声源位置相对于坐标系保持恒定，而不管相对于装置和/或用户的位置的变化如何。文中所称的坐标系可以是固定坐标系，例如，全球测地系统(WGS)、经度/维度、罗盘方向(北(N)、东(E)、南(S)、西(W))等。可以基于装置相对于坐标系的取向和/或用户头部相对于装置的取向来控制音频信号生成。文中所称的取向可以既包括装置/头部在坐标系中的位置，又包括所述装置相对于所述坐标系的以及头部相对于所述装置的相对位置(例如，角度、倾斜、偏移等等)。例如，将一装置配置为生成与例如在该装置上显示的诸如电影、游戏等的视频内容相关联的音频，该装置可以确定其相对于固定坐标系的取向。此外，所述装置还可以确定用户头部相对于所述装置的取向。之后，所述装置可以确定装置的取向是否相对于固定坐标系已经发生了变化，和/或用户头部的取向是否相对于所述装置已经发生了变化。之后，可以对在所述装置中音频信号的生成加以控制(例如，可以改变声源在3D声场中相对于用户耳机的模拟位置)，从而保持用户感觉到的声源相对于坐标系的位置。因而，不管装置/头部移动如何，都保持了内容创作者想要达到的身临其境感。
在一个实施例中，可以在例如从装置内的全球定位系统(GPS)接收器获得的坐标信息、基于通往接入点(AP)的无线链路确定的位置信息、从装置内的电子罗盘获得的方向信息、取向传感器提供的取向信息、运动传感器、加速度传感器等提供的运动信息的基础上，确定相对于坐标系的装置取向。在同一或不同实施例中，可以在用户面部检测或者对应于用户佩戴的设备的位置的检测的基础上确定相对于所述装置的头部取向。在用户面部检测当中，装置可以捕获图像，检测图像内的头部，确定检测到的头部当中的面部，并且可以基于检测到的面部来确定用户头部的取向。在所佩戴的设备(例如，用户佩戴的耳机或另一设备)当中，所述装置可以接收来自所述佩戴设备的指示佩戴设备的取向的信号，并且可以在所佩戴的设备的取向的基础上确定用户头部的取向。例如，所佩戴的设备可以经由无线通信向设备提供位置信息，所佩戴的设备可以发射无线信号并且所述装置可以采用所述无线信号确定所佩戴的设备的取向，等等。之后，所述装置可以确定与上一次确定的装置取向相比装置取向是否相对于坐标系已经发生了变化，和/或与上一次确定的头部取向相比头部取向是否相对于装置已经发生了变化。如果确定已经发生了变化，那么可以改变装置内的音频信号生成配置当中的至少一项设置，从而使所感觉到的模拟声源的位置相对于坐标系保持恒定。
图1示出了根据本公开的至少一个实施例的被配置为用于基于取向的音频控制的示范性系统100。系统100可以包括被配置为生成音频(例如，3D音频信号)的装置102。系统100的例子可以包括诸如以Android操作系统(OS)、iOSBlackberryOS、PalmOS、SymbianOS等为基础的蜂窝手机或智能电话的移动通信装置、诸如ipadGalaxy TabKindleFire等的平板计算机、由Intel公司制造的包括低功率芯片组的Ultrabook笔记本、笔记本计算机、膝上型计算机等的移动计算装置。装置102的例子也可以包括通常固定的装置，在与耳机或另一收听设备结合使用时，其允许用户发生移动。固定系统可以包括具有集成或单独显示器的台式计算机、独立监视器(例如，电视)和/或可以包括独立监视器的系统，例如，家庭娱乐系统、视频会议系统等。
可以确定装置102相对于坐标系104的取向。如上所述，坐标系104可以相对于系统100正在运行的物理位置是固定的。可以相对于坐标系104确定装置102和/或用户头部106的取向，从而将装置102生成的声场锁定到不随装置102和/或头部106的移动而发生改变的固定位置。如上文所讨论的，可以基于装置102采用的技术的类型确定坐标系104中的取向，将参考图4对其进行进一步讨论。例如，在装置102上观看视频内容的用户可以在耳机108上收听与内容相关联生成的音频信号。耳机108可以包括任何可以由用户佩戴的被配置为基于音频信号生成声音的设备，并且可以包括各种构造，例如，耳罩式耳机、耳内耳机(例如，耳塞)、集成到其他装置内的耳机(例如，作为用户佩戴的内容观看设备的部分的耳机)等等。在一个实施例中，可以将耳机108专门配备为基于3D音频信号生成3D声场(例如，耳机108可以包括多个扬声器驱动器、专门放置的扬声器驱动器等)。可以将装置102配置为确定在110处示出的头部106的取向，之后装置102可以在所确定的装置102相对于坐标系104的取向和/或头部106相对于装置102的取向的基础上生成音频信号112。可以通过有线或无线通信将音频信号112发送至耳机106。
图2示出了可与本公开的至少一个实施例一起使用的示范性装置102'。装置102'包括能够实现图1所示的功能的电路。可以将系统电路200配置为执行各种可能在装置102'的正常操作过程中发生的功能。例如，处理电路202可以包括一个或多个位于分离部件内的处理器，或者可选地可以包括一个或多个位于单个部件内的处理核心(例如，片上系统(SOC)配置)。示范性处理器可以包括各种可从Intel公司获得的基于X86的微处理器，包括那些属于Pentium、Xeon、Itanium、Celeron、Atom、Core i-series产品系列的处理器。可以将处理电路202配置为执行装置102'中的指令。指令可以包括被配置为使处理电路202执行与数据读取、数据写入、数据处理、数据表述、数据转换、数据变换等相关的活动的程序代码。可以将指令、数据等存储到存储器204内。存储器204可以包括具有固定或可移除形式的随机存取存储器(RAM)或只读存储器(ROM)。RAM可以包括被配置为在装置102'的操作过程中保存信息的存储器，例如，静态RAM(SRAM)或动态RAM(DRAM)。ROM可以包括被配置为在装置102'激活时提供指令的诸如bios存储器的存储器、诸如电子可编程ROM(EPROM)的可编程存储器、闪存等。其他固定的和/或可移除的存储器可以包括诸如软盘、硬盘驱动器等的磁存储器、诸如固态闪速存储器(例如，eMMC等)的电子存储器、可移除存储器卡或存储棒(例如，uSD、USB等)、诸如基于紧致盘的ROM(CD-ROM)的光存储器等。电源电路206可以包括内部(例如，电池)和/或外部(例如，壁式插座)电源以及被配置为向装置102'提供工作所需的电力的电路。可以将通信接口电路208配置为处理分组路由以及通信电路212的各种控制功能，所述通信电路212可以包括各种用于实施有线和/或无线通信的资源。有线通信可以包括诸如通用串行总线(USB)、以太网等的介质。无线通信可以包括例如近程无线介质(例如，射频(RF)、红外(IR)等)、短程无线介质(例如，蓝牙、无线局域网(WLAN)等)和长程无线介质(例如，蜂窝、卫星等)。例如，可以将通信接口电路208配置为避免通信电路212中的活动的无线通信相互干扰。在执行这一功能时，通信接口电路208可以在未决消息的相对优先级的基础上安排通信电路212的活动。
用户接口电路210可以包括被配置为允许用户与装置102'交互的电路，例如，各种输入机构(例如，麦克风、开关、按钮、旋钮、键盘、扬声器、触敏表面、一个或多个被配置为捕获图像和/或感测接近度、距离、运动、姿势等的传感器)和输出机构(例如，扬声器、显示器、指示器、用于振动、移动等的机电部件)。在一个实施例中，用户接口电路210可以包括或者可以耦合至音频控制电路214。可以将音频控制电路214配置为从用户接口电路214或装置102'中的其他电路接收装置102'和/或头部106的取向信息，以确定装置102'的取向是否相对于坐标系104已经发生了变化和/或头部106的取向是否相对于装置102'已经发生了变化，并基于所述确定控制音频信号的生成。之后，在采用无线通信(例如，蓝牙)向耳机108发射音频信号的情况下，通过例如通信电路212将音频信号从装置102'输出。
图3示出了根据本公开的至少一个实施例的装置102中的音频控制电路214和其他电路之间的示范性交互。音频控制电路214可以接收来自装置取向检测电路300的装置取向信息。可以将装置取向检测电路300配置为提供装置102相对于坐标系104的位置和/或取向信息，例如，其可以是被配置为提供位置/取向信息的GPS接收器电路、被配置为提供相对于磁方向(例如，依据距真北或磁北的度)的取向信息的罗盘电路、被配置为提供相对或绝对位置/取向信息的短程无线通信电路，等等。对于短程无线通信方案而言，可以通过短程无线通信将装置102耦合至另一装置(例如，通过WLAN通信将其耦合至接入点(AP))，并且装置102能够在从AP接收到的信号的强度和/或方向的基础上确定相对位置和/或取向。之后可以基于AP的位置确定绝对位置。装置取向电路300还可以在各种未绑定至坐标系104的传感器的基础上确定装置102的取向，例如，取向传感器(例如，倾斜/角度传感器等)、运动传感器、加速度传感器等。
音频控制电路214还可以采用各种技术接收头部取向信息，在302A和302B处示出了所述技术的例子。302处示出的例子基于面部检测确定头部取向。就此而言，可以将图像捕获电路(例如，用户接口电路210中的照相机)配置为周期性地、按照设定间隔等捕获图像。可以将面部检测电路306配置为识别图像捕获电路304提供的图像中的面部和/或面部区域，继而识别出头部106的取向。例如，面部检测电路306可以包括定制的、专有的、已知的和/或以后开发的面部识别代码(或指令集)、硬件和/或固件，它们一般是明确定义的，并且可用于接收图像(例如但不限于RGB彩色图像)，以及至少在一定程度上识别图像中的面部。也可以将面部检测电路306配置为通过一系列图像(例如，每秒24帧的视频帧)进行面部跟踪。面部检测电路306可以使用的检测系统包括粒子滤波、均值偏移、Kalman滤波等，其每者都可以利用边缘分析、平方差和分析、特征点分析、直方图分析、皮肤色调分析等。
在302B处所示的实施例中，可以基于用户佩戴的与设备102通信的设备(例如，佩戴设备或WA)来确定头部106的取向。用户佩戴的设备的例子是耳机108或者用于观看3D视频内容的视觉辅助设备(例如，眼镜、护目镜等)，但是也可以包括被专门设计为提供头部取向信息的设备(例如，固定到头带上的传感器等)。在一个实施例中，可以将位置/取向传感器和发射器固定至耳机108，并且可以将设备信号接收电路308配置为接收来自所述传感器的信息。之后，可以将所述信息提供给设备取向确定电路310，可以将设备取向确定电路310配置为基于所述信息确定设备的取向。由于耳机108沿固定取向附着至头部106，因而可以由耳机108的取向导出头部106的取向。在另一种实现中，耳机108中的发射器可以不断地发射信标信号(例如，可被识别为是由耳机108发射的信号)，该信号由设备位置接收电路308接收。之后，设备取向确定电路310可以基于接收到的信号的特征(例如，接收到的信号所来自的方向、接收到的信号的强度等)来确定耳机108的取向。
取向确定电路312可以从装置取向检测电路300接收装置取向信息，并且可以通过在302A和302B处示出的示范性技术之一接收头部取向信息。之后，可以将取向确定电路312配置为确定装置102的取向是否相对于坐标系104已经发生了变化，和/或头部106的取向是否相对于装置102已经发生了变化。例如，可以通过与前一取向测量的角度偏移、与前一取向测量的距离偏移等对取向变化进行量化。可以将感测到的取向变化提供给音频调整电路314，该音频调整电路314可以配置为基于取向的变化来改变音频信号的生成。改变生成的方式可以取决于例如所采用的具体3D音频技术。例如，很多3D音频系统允许在3D音频场内修改模拟声源的位置(例如，通过3D音频控制软件中的某些软件参数的配置)。在一个实施例中，可以采用取向确定电路306确定的任何取向变化来使3D音频场内的模拟声源位置发生偏移，从而使模拟声源似乎是固定至坐标系104的而不管装置102或头部106的位置如何。之后，可以通过通信电路212传输所得到的来自装置102的音频信号(例如，传输至耳机108)。
图4示出了根据本公开的至少一个实施例的示范性初始对准取向。具体而言，使头部106沿坐标系104与装置102对准，在图4的例子中所述坐标系是以磁罗盘航向(例如，N、E、S和W)为基础的。模拟声源400实际并不存在，但是用户感觉它正在从NW方向发出声音，该模拟声源可以对应于例如在装置102上观看到的内容(例如，电影、视频游戏等)中所描绘的处于用户左侧的声源。可以采用装置102生成的音频信号通过耳机108生成模拟声源400，之后将模拟声源400发送至耳机108。
图5示出了根据本公开的至少一个实施例的移位取向的例子。具体而言，装置102和头部106仍然沿轴500对准，但是装置102不再与坐标系104中的“N”(北)对准。重要的是要注意，在没有诸如文中公开的音频控制的情况下，耳机108生成的声音相对于耳机108的位置停留。因此，在如502处所示使装置102发生偏移时，头部106和耳机108也移位成比例的量，所感觉到的模拟声源的位置移至400A。模拟声源400A的移位后的位置不再与内容创作者所期望的模拟声源400在坐标系104中的位置匹配，这可能破坏用户的3D沉浸感。在一个实施例中，装置102可以确定其相对于坐标系104的取向已经移位了偏移量502，并且可以将模拟声源的位置改变至504处所示的400B。因此，从用户的角度而言来自声源400B的声音发生了转移(例如，声音似乎是从距头部106的前面更近的地方发出的)，同时与坐标系104保持对准。
图6示出了根据本公开的至少一个实施例的移位取向的第二例子。除了装置102从坐标系104中的“N”移位了偏移量502之外，头部106还从轴500移位了偏移量600。与图5的例子类似，在没有诸如文中公开的音频控制的情况下，移位600将使得感觉到的模拟声源的位置转移至图500中的400C。相反，在本发明的一个实施例中，既可以确定装置102距坐标系104的移位(例如，偏移量502)，又可以确定头部106距装置102的移位(例如，偏移量600)，并且可以对音频信号的生成加以控制，从而使感觉到的模拟声源的位置转移至602处所示的400D。现在，来自模拟声源400D的声音似乎直接来自头部106的前面。因而，尽管装置102和/或头部106可以相对于坐标系104移动，但是所感觉到的模拟声源400的位置保持绑定到坐标系104，因而可以保持内容创作者预期的3D沉浸感。
图7示出了根据本公开的至少一个实施例的基于取向的音频控制的示范性操作的流程图。在操作700中，可以确定装置取向。例如，可以检测当前装置取向，并且可以确定被配置为生成音频信号的装置的取向是否相对于固定坐标系已经发生了变化。之后，可以在操作702中确定头部取向。例如，可以检测当前用户头部取向，并且可以确定用户头部的取向是否相对于装置已经发生了变化。之后，可以在操作704中确定是否发生了取向的变化(例如，装置相对于坐标系的和/或头部相对于装置的)。如果在操作704中确定没有发生取向变化，那么在操作706中装置可以保持现有的音频配置。替代地，如果确定已经发生了取向变化，那么在操作708中，所述装置可以基于所述取向变化来控制音频生成。例如，所述装置可以基于取向变化来重新配置音频参数，以便改变模拟声源在3D音频场内的位置。因此，不管装置取向或头部取向的变化如何，所感觉到的模拟声源的位置都可以相对于坐标系保持恒定。
尽管图7示出了根据实施例的各种操作，但是应当理解，并不是图7所示的所有操作都是其他实施例所必需的。实际上，这里完全可以设想，在本公开的其他实施例中，可以按照没有在任何附图中具体示出但是仍然与本公开充分一致的方式结合图7所示的操作和/或文中描述的其他操作。因而，应当认为所涉及的特征和/或操作并非恰好是在一幅附图中示出的权利要求处于本公开的范围和意旨之内。
文中的任何实施例中采用的“模块”一词都可以指的是被配置为执行上述操作中的任何操作的软件、固件和/或电路。可以将软件体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。可以将固件体现为在存储器装置中硬编码的(例如，非易失性的)代码、指令或指令集和/或数据。
任何实施例中采用的“电路”均可以单独包括或者以组合的形式包括例如硬线电路、诸如包括一个或多个独立指令处理核心的计算机处理器的可编程电路、状态机电路、和/或存储可编程电路执行的指令的固件。可以将所述各个模块整体地或者单独地体现为形成了较大系统的部分的电路，例如，集成电路(IC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。
可以在包括一个或多个存储介质的系统当中实施文中描述的任意操作，所述存储介质单独地或以组合方式存储有指令，所述指令在通过一个或多个处理器运行时将执行所述方法。这里，所述处理器可以包括例如服务器CPU、移动装置CPU和/或其他可编程电路。而且，旨在使文中描述的操作可以跨越多个物理装置分布，例如，处于多于一个不同的物理位置上的处理结构。所述存储介质可以包括任何类型的有形介质，例如，任何类型的盘，包括硬盘、软盘、光盘、光盘只读存储器(CD-ROM)、可重写光盘(CD-RW)和磁光盘；半导体装置，诸如只读存储器(ROM)、随机存取存储器(RAM)(例如动态和静态RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态盘(SSD)、嵌入多媒体卡(eMMC)、安全数字输入/输出(SDIO)卡、磁或光卡或者任何类型的适于存储电子指令的介质。可以将其他实施例实现为通过可编程控制装置执行的软件模块。
因而，本公开提供了用于基于取向进行音频控制的系统和方法。可以将一种装置配置为感测其自身相对于坐标系的取向，以及感测用户头部相对于所述装置的取向。之后，所述装置可以确定装置取向是否相对于坐标系已经发生了变化和/或头部取向是否相对于所述装置已经发生了变化。之后，可以基于所述确定来控制所述装置中的音频信号生成。例如，可以基于所确定的装置和/或头部取向变化而改变模拟声源在3D音频场中的位置。之后，可以将所述音频信号从所述装置传输至基于所述音频信号产生声音的设备(例如，耳机)。
下面的例子属于进一步的实施例。在一个示范性实施例中，提供了一种装置。所述装置可以包括被配置为确定相对于坐标系的装置取向的装置取向检测电路、被配置为确定相对于所述装置的用户头部取向的用户头部取向检测电路、以及被配置为基于装置取向和用户头部取向来控制音频信号的生成的音频调整电路。
可以对上述示范性装置做进一步配置，其中，所述装置还包括图像捕获电路，并且确定相对于装置的用户头部取向包括：利用所述图像捕获电路捕获图像、检测所述图像中的用户面部以及基于检测到的用户面部来确定用户头部的取向。
可以对上述示范性装置做进一步配置，其中，确定相对于装置的用户头部取向包括：检测用户佩戴的设备的取向以及基于所佩戴的设备的取向来确定用户头部取向。在这示范性配置中，所述装置至少还可以包括无线接收器，并且检测佩戴设备取向包括：通过无线通信接收来自佩戴设备的位置信息。
可以对上述示范性装置做进一步配置，其中，控制所述音频信号的生成是基于装置相对于坐标系的相对取向或者用户头部相对于装置的相对取向的。
可以对上述示范性装置做进一步配置，其中，控制所述音频信号的生成是基于装置相对于坐标系的相对取向和用户头部相对于装置的相对取向的。
可以对上述示范性装置做进一步配置，其中，所述音频信号是被配置为模拟三维(3D)声场的环绕声音频信号。在这一示范性配置中，控制音频信号的生成可以包括改变模拟声源在3D声场内的位置。在这一示范性配置中，改变模拟声源在3D声场内的位置还可以包括将模拟声源的位置改变为至少相对于用户头部取向保持模拟源在坐标系内的相对位置。
可以对上述示范性装置做进一步配置，其中，所述装置还至少包括被配置为发射音频信号的无线发射器。
在另一示范性实施例中提供了一种方法。所述方法可以包括确定相对于坐标系的装置取向、确定相当于装置的用户头部取向、以及基于装置取向和用户头部取向来控制音频信号的生成。
可以对上述示范性方法做进一步配置，其中，确定相对于装置的用户头部取向包括：捕获图像、检测图像中的用户面部、以及基于检测到的用户面部来确定用户头部的取向。
可以对上述示范性方法做进一步配置，其中，确定相对于装置的用户头部取向包括：检测用户佩戴的设备的取向、以及基于所述佩戴设备的取向来确定用户头部取向。在这一示范性配置当中，检测佩戴设备取向还可以包括通过无线通信接收来自所述佩戴设备的位置信息。
可以对上述示范性方法做进一步配置，其中，控制所述音频信号的生成是基于装置相对于坐标系的相对取向或者用户头部相对于装置的相对取向的。
可以对上述示范性方法做进一步配置，其中，控制所述音频信号的生成是基于装置相对于坐标系的相对取向和用户头部相对于装置的相对取向的。
可以对上述示范性方法做进一步配置，其中，所述音频信号是被配置为模拟三维(3D)声场的环绕声音频信号。在这一示范性配置中，控制所述音频信号的生成还可以包括改变模拟声源在3D声场内的位置。在这一示范性配置中，改变模拟声源在3D声场内的位置还可以包括将模拟声源的位置改变为至少相对于用户头部取向保持模拟源在坐标系内的相对位置。
上述示范性方法还可以包括通过无线通信发射音频信号。
在另一示范性实施例中提供了一种至少包括被配置为生成音频信号的装置的系统，所述系统被布置为执行上述示范性方法中的任何方法。
在另一示范性实施例中，提供了一种被布置为执行上述示范性方法中的任何方法的芯片组。
在另一示范性实施例中，提供了至少一种包括多条指令的计算机可读介质，所述指令将响应于在计算装置上的运行而使所述计算装置执行上述示范性方法中的任何方法。
在另一示范性实施例中，提供了一种用于基于取向而进行音频控制的设备，所述设备被布置为执行上述示范性方法中的任何方法。
文中采用的措辞和表达均用作描述性用词而非限制性用词，在使用这样的措辞和表达时并没有排除所示出和描述的特征(或其部分)的等价方案的意图，应当认识到在权利要求的范围内存在各种可能的修改。因此，权利要求旨在涵盖所有这样的等价方案。

Claims (24)

1.一种装置，包括：
被配置为确定相对于坐标系的装置取向的装置取向检测电路；
被配置为确定相对于所述装置的用户头部取向的用户头部取向检测电路；以及
被配置为基于所述装置取向和用户头部取向来控制音频信号的生成的音频调整电路。
2.根据权利要求1所述的装置，其中，所述装置还包括图像捕获电路，并且确定相对于所述装置的用户头部取向包括：利用所述图像捕获电路捕获图像、检测所述图像中的用户面部、以及基于检测到的用户面部来确定用户头部的取向。
3.根据权利要求1所述的装置，其中，确定相对于所述装置的用户头部取向包括：检测用户佩戴的设备的取向，以及基于所佩戴的设备的取向来确定所述用户头部取向。
4.根据权利要求3所述的装置，其中，所述装置还至少包括无线接收器，并且检测所佩戴的设备的取向包括通过无线通信接收来自所佩戴的设备的位置信息。
5.根据权利要求1所述的装置，其中，控制所述音频信号的生成是基于所述装置相对于所述坐标系的相对取向或者所述用户头部相对于所述装置的相对取向的。
6.根据权利要求1所述的装置，其中，控制所述音频信号的生成是基于所述装置相对于所述坐标系的相对取向和所述用户头部相对于所述装置的相对取向的。
7.根据权利要求1所述的装置，其中，所述音频信号是被配置为模拟三维(3D)声场的环绕声音频信号。
8.根据权利要求7所述的装置，其中，控制所述音频信号的生成包括改变模拟声源在3D声场内的位置。
9.根据权利要求8所述的装置，其中，改变模拟声源在3D声场内的位置包括：将所述模拟声源的位置改变为至少相对于所述用户头部取向保持所述模拟源在所述坐标系内的相对位置。
10.根据权利要求1所述的装置，其中，所述装置还至少包括被配置为发射所述音频信号的无线发射器。
11.一种方法，包括：
确定相对于坐标系的装置取向；
确定相对于所述装置的用户头部取向；以及
基于所述装置取向和用户头部取向来控制音频信号的生成。
12.根据权利要求11所述的方法，其中，确定相对于所述装置的用户头部取向包括：捕获图像，检测所述图像中的用户面部，以及基于检测到的用户面部来确定用户头部的取向。
13.根据权利要求11所述的方法，其中，确定相对于所述装置的用户头部取向包括：检测用户佩戴的设备的取向，以及基于所佩戴的设备的取向来确定所述用户头部取向。
14.根据权利要求13所述的方法，其中，检测所佩戴的设备的取向包括：通过无线通信接收来自所佩戴的设备的位置信息。
15.根据权利要求11所述的方法，其中，控制所述音频信号的生成是基于所述装置相对于所述坐标系的相对取向或者所述用户头部相对于所述装置的相对取向的。
16.根据权利要求11所述的方法，其中，控制所述音频信号的生成是基于所述装置相对于所述坐标系的相对取向和所述用户头部相对于所述装置的相对取向的。
17.根据权利要求11所述的方法，其中，所述音频信号是被配置为模拟三维(3D)声场的环绕声音频信号。
18.根据权利要求17所述的方法，其中，控制所述音频信号的生成包括改变模拟声源在3D声场内的位置。
19.根据权利要求18所述的方法，其中，改变模拟声源在3D声场内的位置包括：将所述模拟声源的位置改变为至少相对于所述用户头部取向保持所述模拟源在所述坐标系内的相对位置。
20.根据权利要求11所述的方法，还包括通过无线通信发射所述音频信号。
21.一种至少包括被配置为生成音频信号的装置的系统，所述系统被布置为执行根据权利要求11到20中的任何一项所述的方法。
22.一种被布置为执行根据权利要求11到20中的任何一项所述的方法的芯片组。
23.至少一种包括多条指令的机器可读介质，所述指令响应于在计算装置上的运行而使所述计算装置执行根据权利要求11到20中的任何一项所述的方法。
24.一种用于基于取向而进行音频控制的设备，所述设备被布置为执行根据权利要求11到20中的任何一项所述的方法。
CN201280071853.3A 2012-03-29 2012-03-29 基于取向的音频控制 Active CN104205880B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/031188 WO2013147791A1 (en) 2012-03-29 2012-03-29 Audio control based on orientation

Publications (2)

Publication Number Publication Date
CN104205880A true CN104205880A (zh) 2014-12-10
CN104205880B CN104205880B (zh) 2019-06-11

Family

ID=49260855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071853.3A Active CN104205880B (zh) 2012-03-29 2012-03-29 基于取向的音频控制

Country Status (3)

Country Link
US (1) US9271103B2 (zh)
CN (1) CN104205880B (zh)
WO (1) WO2013147791A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107249166A (zh) * 2017-06-19 2017-10-13 依偎科技（南昌）有限公司 一种完全沉浸式的耳机立体声实现方法及系统
CN109644317A (zh) * 2016-09-23 2019-04-16 苹果公司 用于双耳音频渲染的协调跟踪
CN112148117A (zh) * 2019-06-27 2020-12-29 雅马哈株式会社 声音处理装置及声音处理方法
CN112771893A (zh) * 2018-11-20 2021-05-07 深圳市欢太科技有限公司 3d音效实现方法、装置、存储介质及电子设备
CN113574849A (zh) * 2019-07-29 2021-10-29 苹果公司 用于后续对象检测的对象扫描
CN113711620A (zh) * 2019-04-17 2021-11-26 谷歌有限责任公司 针对真正无线耳塞式耳机的无线电加强型增强现实和虚拟现实

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013147791A1 (en) 2012-03-29 2013-10-03 Intel Corporation Audio control based on orientation
US20130332156A1 (en) * 2012-06-11 2013-12-12 Apple Inc. Sensor Fusion to Improve Speech/Audio Processing in a Mobile Device
US9892743B2 (en) * 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
JP2014143470A (ja) * 2013-01-22 2014-08-07 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US20140227977A1 (en) * 2013-02-12 2014-08-14 Zary Segall Method, node, device, and computer program for interaction
US9769585B1 (en) * 2013-08-30 2017-09-19 Sprint Communications Company L.P. Positioning surround sound for virtual acoustic presence
KR102175180B1 (ko) * 2013-09-04 2020-11-05 삼성전자주식회사 자세 검출에 기반한 피드백 방지 방법 및 상기 방법을 수행할 수 있는 장치들
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US20160238408A1 (en) * 2015-02-18 2016-08-18 Plantronics, Inc. Automatic Determination of User Direction Based on Direction Reported by Mobile Device
US10327089B2 (en) 2015-04-14 2019-06-18 Dsp4You Ltd. Positioning an output element within a three-dimensional environment
CN105007553A (zh) * 2015-07-23 2015-10-28 惠州Tcl移动通信有限公司 一种移动终端的声音定向传输方法及移动终端
GB2542609A (en) 2015-09-25 2017-03-29 Nokia Technologies Oy Differential headtracking apparatus
US11182930B2 (en) 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
JP6913326B2 (ja) 2016-05-02 2021-08-04 ウェイヴス オーディオ リミテッド 適応基準を用いた頭部追跡
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
CN114885274B (zh) 2016-09-14 2023-05-16 奇跃公司 空间化音频系统以及渲染空间化音频的方法
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US9980075B1 (en) * 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
TW201914314A (zh) * 2017-08-31 2019-04-01 宏碁股份有限公司 音訊處理裝置及其音訊處理方法
CN109672956A (zh) * 2017-10-16 2019-04-23 宏碁股份有限公司 音频处理装置及其音频处理方法
US10375506B1 (en) * 2018-02-28 2019-08-06 Google Llc Spatial audio to enable safe headphone use during exercise and commuting
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US10390170B1 (en) 2018-05-18 2019-08-20 Nokia Technologies Oy Methods and apparatuses for implementing a head tracking headset
US11356795B2 (en) * 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
US11675423B2 (en) 2020-06-19 2023-06-13 Apple Inc. User posture change detection for head pose tracking in spatial audio applications
US11586280B2 (en) * 2020-06-19 2023-02-21 Apple Inc. Head motion prediction for spatial audio applications
US11589183B2 (en) * 2020-06-20 2023-02-21 Apple Inc. Inertially stable virtual auditory space for spatial audio applications
US11647352B2 (en) 2020-06-20 2023-05-09 Apple Inc. Head to headset rotation transform estimation for head pose tracking in spatial audio applications
US11982738B2 (en) 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
US11582573B2 (en) 2020-09-25 2023-02-14 Apple Inc. Disabling/re-enabling head tracking for distracted user of spatial audio application

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205892A (ja) * 1998-01-19 1999-07-30 Sony Corp オーディオ再生装置
JP2004147283A (ja) * 2002-08-27 2004-05-20 Yamaha Corp 音像定位装置、音像定位方法、サウンドデータ配信システム、サウンドデータ配信方法およびプログラム
WO2006029006A2 (en) * 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
CN101662720A (zh) * 2008-08-26 2010-03-03 索尼株式会社 声音处理装置、声像定位位置调节方法及视频处理装置
CN101784004A (zh) * 2008-12-16 2010-07-21 索尼株式会社 信息处理系统和信息处理方法
CN101931853A (zh) * 2009-06-23 2010-12-29 索尼公司 音频信号处理设备和音频信号处理方法
US20110026745A1 (en) * 2009-07-31 2011-02-03 Amir Said Distributed signal processing of immersive three-dimensional sound for audio conferences
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
WO2011135283A2 (en) * 2010-04-26 2011-11-03 Cambridge Mechatronics Limited Loudspeakers with position tracking
US20120062729A1 (en) * 2010-09-10 2012-03-15 Amazon Technologies, Inc. Relative position-inclusive device interfaces

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767968B2 (en) 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
WO2013147791A1 (en) 2012-03-29 2013-10-03 Intel Corporation Audio control based on orientation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205892A (ja) * 1998-01-19 1999-07-30 Sony Corp オーディオ再生装置
JP2004147283A (ja) * 2002-08-27 2004-05-20 Yamaha Corp 音像定位装置、音像定位方法、サウンドデータ配信システム、サウンドデータ配信方法およびプログラム
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
WO2006029006A2 (en) * 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
CN101662720A (zh) * 2008-08-26 2010-03-03 索尼株式会社 声音处理装置、声像定位位置调节方法及视频处理装置
CN101784004A (zh) * 2008-12-16 2010-07-21 索尼株式会社 信息处理系统和信息处理方法
CN101931853A (zh) * 2009-06-23 2010-12-29 索尼公司 音频信号处理设备和音频信号处理方法
US20110026745A1 (en) * 2009-07-31 2011-02-03 Amir Said Distributed signal processing of immersive three-dimensional sound for audio conferences
WO2011135283A2 (en) * 2010-04-26 2011-11-03 Cambridge Mechatronics Limited Loudspeakers with position tracking
US20120062729A1 (en) * 2010-09-10 2012-03-15 Amazon Technologies, Inc. Relative position-inclusive device interfaces

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109644317A (zh) * 2016-09-23 2019-04-16 苹果公司 用于双耳音频渲染的协调跟踪
US11265670B2 (en) 2016-09-23 2022-03-01 Apple Inc. Coordinated tracking for binaural audio rendering
US11805382B2 (en) 2016-09-23 2023-10-31 Apple Inc. Coordinated tracking for binaural audio rendering
CN107249166A (zh) * 2017-06-19 2017-10-13 依偎科技（南昌）有限公司 一种完全沉浸式的耳机立体声实现方法及系统
CN112771893A (zh) * 2018-11-20 2021-05-07 深圳市欢太科技有限公司 3d音效实现方法、装置、存储介质及电子设备
CN113711620A (zh) * 2019-04-17 2021-11-26 谷歌有限责任公司 针对真正无线耳塞式耳机的无线电加强型增强现实和虚拟现实
CN112148117A (zh) * 2019-06-27 2020-12-29 雅马哈株式会社 声音处理装置及声音处理方法
CN113574849A (zh) * 2019-07-29 2021-10-29 苹果公司 用于后续对象检测的对象扫描

Also Published As

Publication number Publication date
US20140153751A1 (en) 2014-06-05
WO2013147791A1 (en) 2013-10-03
US9271103B2 (en) 2016-02-23
CN104205880B (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN104205880A (zh) 基于取向的音频控制
US10795445B2 (en) Methods, devices, and systems for determining contact on a user of a virtual reality and/or augmented reality device
RU2678481C2 (ru) Устройство обработки информации, способ обработки информации и программа
US20150326963A1 (en) Real-time Control Of An Acoustic Environment
US11341946B2 (en) Method for determining a karaoke singing score, terminal and computer-readable storage medium
CN105722009A (zh) 便携式装置和控制便携式装置的位置信息的方法
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
JP6764490B2 (ja) 媒介現実
US11647352B2 (en) Head to headset rotation transform estimation for head pose tracking in spatial audio applications
CN110052027B (zh) 虚拟场景中的虚拟对象控制方法、装置、设备及存储介质
US20200162140A1 (en) Systems and methods for maintaining directional wireless links of motile devices
CN109276895B (zh) 积木系统、拓扑结构识别的方法、装置及系统
KR20190038034A (ko) 전자 장치 및 그의 지오펜스 관리 방법
EP3264228A1 (en) Mediated reality
CN108924705B (zh) 3d音效处理方法及相关产品
CN109121069B (zh) 3d音效处理方法及相关产品
CN109791436B (zh) 用于提供虚拟场景的装置及方法
US20200137488A1 (en) Virtual microphone
CN116601514A (zh) 用于使用声信标来确定设备的位置和取向的方法和系统
CN114747230A (zh) 控制无线音响设备的终端及其方法
US9338578B2 (en) Localization control method of sound for portable device and portable device thereof
US10735885B1 (en) Managing image audio sources in a virtual acoustic environment
KR20180095324A (ko) 글래스 타입의 이동 단말기
KR20210112664A (ko) 위치 판단 방법 및 이를 지원하는 전자 장치
KR102214118B1 (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant