CN113678470A - 混合扬声器和转换器 - Google Patents

Abstract

提供了一种音频转换器系统。所述系统包括：音频输入，所述音频输入被配置成接收源音频；音频输出，所述音频输出被配置成耦合至包括至少两个非定向扬声器和定向扬声器的混合扬声器；以及处理器，所述处理器被配置成通过以下操作基于所述源音频生成所述混合扬声器的输出音频：识别所述源音频中的特定声音；将所述特定声音与所述源音频隔离；基于所述特定声音生成所述混合扬声器中的所述定向扬声器的定向扬声器输出；并且为所述混合扬声器中的所述至少两个非定向扬声器生成非定向扬声器输出的至少两个声道。

Description

混合扬声器和转换器

相关申请的交叉引用

本申请是2019年2月19日提交的标题为“混合扬声器和转换器”的美国专利申请号16/279,896的接续案并要求其权益，所述专利申请的全部内容和公开内容在此通过引用全文完全并入本文中。

发明背景

1.发明领域

本发明总体上涉及音频处理，且更具体地，涉及生成定向扬声器的音频信号。

2.相关技术说明

扩音器(或扬声器)是一种将电音频信号转换成对应声音的电声换能器。例如，在传统的动态锥形扬声器中，线圈悬挂在永磁体的磁极之间的圆形间隙中。当施加交流电音频信号时，由于法拉第感应定律，线圈被迫快速来回移动，这会导致附接至线圈的隔膜来回移动，从而推动空气以将声波分散在隔膜周围。

发明内容

一个实施方案提供一种系统，所述系统包括：音频输入，所述音频输入被配置成接收源音频；音频输出，所述音频输出被配置成耦合至包括至少两个非定向扬声器和定向扬声器的混合扬声器；以及处理器，所述处理器被配置成通过以下操作基于源音频生成混合扬声器的输出音频：识别源音频中的特定声音，将特定声音与源音频隔离，基于特定声音生成混合扬声器中的定向扬声器的定向扬声器输出，并且为混合扬声器中的至少两个非定向扬声器生成非定向扬声器输出的至少两个声道。

另一实施方案提供一种方法，所述方法包括：使用处理器识别源音频中的特定声音；将特定声音与源音频隔离；基于特定声音生成混合扬声器中的定向扬声器的定向扬声器输出；以及为混合扬声器中的至少两个非定向扬声器生成非定向扬声器输出的至少两个声道。

另一实施方案提供一种音频扬声器设备，所述音频扬声器设备包括：扬声器外壳；封闭在扬声器外壳内的左非定向扬声器和右非定向扬声器；以及定向扬声器，所述定向扬声器位于左非定向扬声器与右非定向扬声器之间并封闭在扬声器外壳内。

参考以下详细描述和附图将获得对本发明的各种实施方案的特征和优点的更好理解，详细描述和附图阐述了其中利用本发明各实施方案的原理的说明性实施方案。

附图说明

本发明的实施方案的上述和其他方面、特征和优点将通过结合以下附图呈现的以下更具体的描述而变得更加明显，在附图中：

图1是说明根据本发明的一些实施方案的用于驱动混合扬声器的系统的框图；

图2是说明根据本发明的一些实施方案的用于转换混合扬声器的音频的系统的框图；

图3是示出根据本发明一些实施方案的用于转换混合扬声器的源视频的方法的流程图；以及

图4A和图4B是根据本发明的一些实施方案的具有多个面板的定向扬声器的图示。

具体实施方式

定向扬声器通常是指产生比传统扬声器传播的更少声场的装置。在一些实施方案中，定向扬声器可以包括从超声波产生声音的参数阵列扬声器。定向扬声器装置通过将可听声音调制到高频超声波上来实现高指向性。较高频率的声波具有较短的波长，因此不会迅速传播，从而导致比传统非定向扬声器更高的指向性。

在本文所述的一些实施方案中，定向扬声器与一个或多个传统非定向扬声器组合，以模拟沉浸式声音和/或选择性地将选择声音投射到房间中的特定用户。在一些实施方案中，定向扬声器和非定向扬声器可以封装在同一外壳中以提供混合条形音响。在一些实施方案中，提供转换器以将传统音频文件和/或流转换为用于驱动混合扬声器的信号。转换器可以被配置成识别和隔离将由定向扬声器再现的特定声音并且生成扬声器组件中的定向扬声器和非定向扬声器的输出。

首先参考图1，示出了用于驱动混合扬声器的系统。所述系统包括音频源110、音频转换器120以及产生用户130的声音的混合扬声器组件100。

音频源110通常是指输出声音以在一个或多个扬声器处播放的装置。在一些实施方案中，音频源110可以包括播放装置，例如电视机、电缆盒、媒体播放器、硬盘驱动器、媒体存储装置、家庭娱乐系统、计算机、游戏机、移动装置等。音频源110可以输出单音声、立体声和/或环绕声。在一些实施方案中，音频源110可以输出一个或多个非定向音频声道。在一些实施方案中，音频源110可以输出任意数目的音频声道，例如两个声道(例如左/右立体声)、三个声道(例如中央、左和右)、六个声道(例如5.1环绕)、八个声道(例如7.1环绕声)等。

音频转换器120包括被配置成将来自音频源110的音频信号转换为被配置成驱动混合扬声器组件100的定向和非定向扬声器的信号的装置。在一些实施方案中，音频转换器120被配置成采用一个或多个传统音频声道并且生成定向扬声器103的至少一个输出声道。在一些实施方案中，音频转换器120包括处理器，所述处理器被配置成：识别源音频中的特定声音；将特定声音与源音频隔离；基于特定声音生成混合扬声器中的定向扬声器的定向扬声器输出；并且为混合扬声器中的至少两个非定向扬声器生成非定向扬声器输出的至少两个声道。在一些实施方案中，音频转换器120还可以包括用于识别源音频中的特定声音的声音数据库。在一些实施方案中，声音数据库可以包括在多个音频转换器120之间共享并且可经由音频转换器120上的网络适配器访问的云数据库，所述网络适配器被配置成通过例如家庭网络和/或互联网的网络进行通信。在一些实施方案中，音频转换器120可以被配置成运行机器学习算法以基于存储在声音数据库中的不断增长和演化的声音学习集来识别特定声音。本文参考图2和图3提供音频转换器120的其他细节。

混合扬声器组件100通常是指包括至少一个定向扬声器和一个或多个非定向扬声器的扬声器装置。在图1所示的实施方案中，混合扬声器包括封装在扬声器外壳中的左非定向扬声器和右非定向扬声器以及位于左非定向扬声器和右非定向扬声器之间的定向扬声器。在一些实施方案中，混合扬声器组件100可以包括条形音响的形状因数。在一些实施方案中，混合扬声器组件100可以包括两个或更多个可单独移动的外壳。

左扬声器101和右扬声器102包括非定向扬声器。非定向扬声器通常是指传播范围大且方向性小的传统扬声器。例如，非定向扬声器产生的声音通常可以类似地由定位在相对于扬声器的任何方向上的听众听到。在一些实施方案中，左扬声器101和右扬声器102可以包括动态扬声器，所述动态扬声器包括经由约束音圈的柔性悬架连接至框架的隔膜。在一些实施方案中，左扬声器101和右扬声器102可以包括与传统条形音响中的扬声器元件类似的扬声器元件。在一些实施方案中，混合扬声器组件100可以包括附加的非定向扬声器，例如中央扬声器、低音炮等。

定向扬声器103通常是指传播范围窄且指向性高的扬声器装置。通常，由定向扬声器投射的声音只能在相对于扬声器的特定方向内听到。在一些实施方案中，定向扬声器103可以被配置成在听不见的高频波形(例如超声波)上携带可听的声波。在一些实施方案中，定向扬声器103可以包括从超声波产生声音的参数阵列扬声器。

在一些实施方案中，定向扬声器103可以包括多个固定面板。例如，定向扬声器103可以包括相对于彼此成角度的两个或更多个固定参数阵列面板。在图4A中示出了两面板定向扬声器配置的示例，并且在图4B中示出了三面板定向扬声器配置的示例。可以单独地控制定向扬声器103的面板以影响定向扬声器103的整体投射方向。例如，可以调制每个面板的输出，以使定向扬声器103的投射方向扫过投射区域中的多个角度，以选择性地将声音导向不同的预期方向。在一些实施方案中，可以以人耳可识别的速度执行扫描。在一些实施方案中，速度扫描可以在0.01Hz到10Hz之间或更快。

通过调制不同面板的输出而控制的投射角度也可以用于将声音分别导向两个或更多个分开坐着的听众和/或通过向听众的左耳和右耳投射不同的声音来创建模拟环绕声效果。在一些实施方案中，定向扬声器103的每个面板可以由从音频转换器120输出的单独音频流驱动。在一些实施方案中，混合扬声器组件100和/或音频转换器120可以被配置成将音频和投射方向数据转换为定向扬声器103的每个面板的音频输出。例如，声音调制可以使用相移和/或幅度控制随时间动态地处理声音信号，以通过从左到右/从右到左扫描信号来提供声音效果。

在一些实施方案中，定向扬声器103可以包括机械转子，所述机械转子被配置成物理地旋转定向扬声器103以控制扬声器的投射方向。例如，转子可以将参数阵列转向用户130以将声音引导到用户。在一些实施方案中，转子可以将定向扬声器103的投射方向扫过投射区域，并且定向扬声器103可以在旋转过程中仅产生预期角度的声音，使得可以感知到单个定向扬声器在多个离散或连续方向投射声音。例如，定向扬声器103可以通过将输出音频定时到旋转来将不同的声音引导到在房间分开坐着的不同听众。在另一个示例中，定向扬声器103可以将不同的声音导向用户的左耳和右耳以模拟环绕声或沉浸式声音。在一些实施方案中，定向扬声器103由包括与音频的一个或多个时间部分相关联的音频和投射方向数据的信号驱动，并且转子可以由与音频信号相关联的投射方向数据控制。

虽然在混合扬声器组件100中仅示出一个定向扬声器103，但是在一些实施方案中，混合扬声器组件100可以包括由不同输入驱动的多个定向扬声器103。例如，混合扬声器可以包括安装在单独转子和/或多组参数阵列面板上的两个或更多个参数阵列。虽然音频转换器120示为与混合扬声器组件100分开，但在一些实施方案中，音频转换器120可以作为一个物理装置集成到混合扬声器组件100的外壳中。在一些实施方案中，音频转换器120可以在混合扬声器组件100本地和/或包括基于云和/或基于服务器的转换器。在一些实施方案中，音频转换器120可以与例如家庭娱乐控制台、游戏控制台、计算机系统等的音频源110集成。音频源110可以基于音频格式(例如，传统音频或混合扬声器就绪音频格式)和/或耦合至音频源110的扬声器装置(例如，传统扬声器或混合扬声器)选择性地接合音频转换器120。

通过图1所示的系统，传统音频源110可以通过音频转换器120转换成用于驱动包括定向扬声器103的混合扬声器组件100的信号。对于单个用户130，定向扬声器103可以将不同的声音引导到用户的左侧和右侧，所述声音与来自传统扬声器的输出混合以模拟环绕声和/或沉浸式声音效果。在一些实施方案中，定向扬声器103可以被配置成在投射区域中投射仅特定听众可听到的声音，而传统扬声器生成所有听众可听到的声音。例如，在多人游戏中，可以向不同的玩家投射不同的特定声音(例如，语音指令、状态警报、警告)，同时通过非定向扬声器播放环境声音或背景音乐。

在一些实施方案中，混合扬声器组件100可以在没有音频转换器120的情况下使用。在一些实施方案中，音频源110可以输出为包括定向和非定向扬声器信号的混合扬声器组件100配置的音频，并且可以省略音频转换器120。例如，混合扬声器兼容的游戏机可以通过定向扬声器声道输出选择声音文件(例如，语音指令、状态警报、警告)，并通过一个或多个非定向扬声器声道在其音频中输出剩余的声音文件(例如背景音乐)。在另一示例中，预先录制的音频(例如，电影、音乐等)可以用至少一个定向音频声道录制，所述定向音频声道可以由混合扬声器直接使用而无需转换。

接下来参考图2，示出用于转换音频源以供混合扬声器使用的系统。音频转换器200通常被配置成从音频源210获取信号并将信号输出至混合扬声器组件220的非定向扬声器221和定向扬声器222。在一些实施方案中，音频源210、音频转换器200和混合扬声器组件220可以包括本文参考图1描述的音频源110、音频转换器120和混合扬声器组件100。

音频转换器200包括音频输入201、识别模块202、声音数据库203、声音过滤器204、非定向扬声器输出205、投射方向模块206和定向扬声器输出208。

音频输入201通常被配置成从音频源210接收模拟或数字音频信号。音频输入201可以包括有线和/或无线连接器，例如音频连接器、音频/视频连接器、HDMI连接器、USB连接器、蓝牙收发器、无线HDMI收发器等。在一些实施方案中，音频输入201还可以包括用于过滤、转换和/或增强用于处理电路的其余部分的输入信号的其他部件。

识别模块202通常被配置成识别输入音频中的特定声音以通过定向扬声器播放。识别模块202可以在处理器、控制电路、专用集成电路(ASIC)和/或一个或多个数字或模拟音频过滤器部件上实现。在一些实施方案中，通过将源音频与声音数据库203中的声音片段和/或声音配置文件进行比较来识别特定声音。例如，声音数据库203可以包括与适合于经由定向扬声器播放的多种类型的声音相关联的声音片段和/或声音配置文件(例如，频谱特性、频率分布、时间频率或幅度变化等)。此声音的示例可以包括汽车声音、鸟声、弹道抛掷声音、人类语音、警报、警告声音等。在一些实施方案中，识别模块202可以包括利用卷积神经网络(CNN)、循环神经网络(RNN)和/或生成对抗网络(GAN)的音频事件检测算法，所述音频事件检测算法通过机器学习使用声音数据库203中的声音作为学习集来识别特定声音。在一些实施方案中，听众响应可以用作对机器学习算法的反馈。在一些实施方案中，用于机器学习的其他类型的反馈可以包括相机输入、面部检测/跟踪，和/或对象检测/跟踪。在一些实施方案中，用户和环境反馈可以用于方向和音量控制。在一些实施方案中，可以基于频率、幅度和/或持续时间来识别特定声音。例如，声音识别模块202可以被配置成通过定向扬声器检测具有高频和短持续时间的声音作为特定声音以进行播放。在一些实施方案中，可以基于源音频的两个或更多个声道之间的声音频率和幅度差中的至少一个来识别特定声音。例如，如果声音流内的声音在左或右扬声器声道之间较大(例如，具有耳间强度差(IID)或时间延迟(例如具有耳间时间差(ITD))，则识别模块可以识别与显著IID或ITD相关联的声音以在定向扬声器上播放。在一些实施方案中，声音可以最初基于IID和/或ITD识别并且被添加到声音数据库203。识别模块202然后可以使用声音数据库203中的声音样本来识别源音频中可能没有显著IID和/或ITD的类似声音。

在一些实施方案中，声音数据库203可以包括存储音频片段和/或声音配置文件的本地和/或基于网络的数据库。在一些实施方案中，声音数据库203可以由在与不同用户和不同空间相关联的多个音频转换器200之间共享的中央服务来维护。在一些实施方案中，声音数据库203可以通过例如生成对抗网络(GAN)的机器学习算法使用在多个音频转换器处接收到的音频和反馈来更新和修剪。在一些实施方案中，音频转换器200可以包括用于与基于网络的声音数据库203通信的网络接口(例如网络适配器、无线收发器等)。在一些实施方案中，识别模块202和声音过滤器204的功能的至少一部分可以由远程服务器经由网络接口执行。

声音过滤器204被配置成将识别模块202识别的特定声音与音频源210中的其他声音隔离。在一些实施方案中，声音过滤器204可以使用时间滤波、幅度滤波和/或例如高、低或带通滤波的频率滤波来隔离声音。在一些实施方案中，声音过滤器204可以使用音频源210的不同声道之间的差异来隔离特定声音。例如，如果在输入音频流的声道之间检测到高度ITD或IID，则一个声道可以用于通过减法或掩蔽来隔离另一声道中的特定声音。在一些实施方案中，过滤可以仅近似隔离特定声音；由于定向扬声器的声音在播放过程中会与非定向扬声器的声音混合，因此不完全隔离可能不会显著地影响用户体验。在一些实施方案中，来自声音数据库203的匹配特定声音的声音可以用于过滤声音和/或重新创建特定声音。声音过滤器204然后将与输入音频隔离的特定声音提供给投射方向模块206和定向扬声器输出208。声音过滤器204还可以从源音频的一个或多个声道中减去特定声音，并将修改后的非定向音频信号输出至混合扬声器的非定向扬声器221。在一些实施方案中，可以不经修改地将源音频提供给非定向扬声器221。

非定向扬声器输出205通常被配置成耦合至混合扬声器组件220并提供音频信号以在非定向扬声器221处播放。在一些实施方案中，非定向扬声器输出205可以包括有线和/或无线连接器，例如音频连接器、音频/视频连接器、HDMI连接器、USB连接器、蓝牙收发器、无线HDMI收发器等。在一些实施方案中，非定向扬声器输出205还可以包括用于向扬声器提供信号的其他部件，例如放大器、数模转换器等。在一些实施方案中，非定向扬声器输出205可以经由单线、多线或无线连接输出多个声道，每个声道对应于混合扬声器组件220的非定向扬声器(例如，右扬声器、左扬声器)。

投射方向模块206被配置成确定与到定向扬声器222的输出相关联的投射方向。在一些实施方案中，投射方向模块206基于用户位置和源音频的两个或多个声道之间的时间延迟或/或幅度差中的一个或多个来确定投射方向。在一些实施方案中，可以基于由混合扬声器组件220上和/或音频转换器200上的用户传感器224检测到的用户位置来确定投射方向，使得定向扬声器朝向一个或多个用户投射特定声音。在一些实施方案中，可以通过扬声器校准过程来确定用户位置和/或投射区域。在一些实施方案中，可以基于源音频的两个或更多个声道(IID)中的特定声音的幅度(例如响度)差和/或源音频(ITD)的两个或更多个声道之间的特定声音的时间延迟差来确定投射方向模块206。例如，如果左声道的特定声音明显更大，则定向扬声器222的投射方向可以向左倾斜。在另一个示例中，如果特定声音在两个声道中的幅度和定时基本相同，则定向扬声器222的投射方向可以指向中心。在一些实施方案中，投射方向模块206可以确定要由定向扬声器222输出的2D音景，并确定当定向扬声器222扫过2D音景的投射区域时要在每个角度输出的声音。在一些实施方案中，定向扬声器222可以被配置成以固定模式扫过音景空间，并且投射方向模块206被配置成将音频信号输出定时到定向扬声器222的扫描位置以输出2D音景。在一些实施方案中，可以使用光学传感器来检测用户位置并且可以使用用户检测/跟踪信息来确定投射方向。在一些实施方案中，用户位置可以通过校准过程确定和/或由用户手动调整。

定向扬声器输出208通常被配置成耦合至混合扬声器并提供用于在混合扬声器组件220的定向扬声器222处播放的信号。在一些实施方案中，定向扬声器输出208可以包括有线和/或无线连接器，例如音频连接器、音频/视频连接器、HDMI连接器、USB连接器、蓝牙收发器、无线HDMI收发器等。在一些实施方案中，定向扬声器输入201还可以包括用于向扬声器提供信号的其他部件，例如放大器、数模转换器等。在一些实施方案中，输出信号可以包括与定向扬声器222的扫描同步的音频信号。在一些实施方案中，输出信号可以包括一个或多个投射角，每个投射角与音频流的时间部分相关联。例如，音频输出可以指定前2纳秒音频要以35度投射，接下来的3纳秒音频要以50度投射。在一些实施方案中，输出信号可以包括音频流以及定时到音频流的定向扬声器移动指令。例如，定向扬声器移动指令可以指定扫描速度、扫描范围等。在一些实施方案中，对于具有机械转子的定向扬声器222，音频转换器可以与音频流分开输出转子控制信号。在一些实施方案中，对于具有多个固定面板的定向扬声器222，输出信号可以包括要在定向扬声器222的每个面板处输出的单独音频声道，所述面板进行调制以控制定向扬声器222的投射方向。在一些实施方案中，输出信号可以包括用于由定向扬声器222播放的2D音景，并且混合扬声器组件220可以包括被配置成控制定向扬声器222的投射方向和音频输出以再现2D音景的处理器。

在一些实施方案中，对来自非定向扬声器输出205和定向扬声器输出208的输出进行定时，使得当每个扬声器装置的声音到达听众时，来自非定向扬声器221和定向扬声器222的输出进行同步和混合。在一些实施方案中，可以应用例如GAN的机器学习来使用声音数据库203将到非定向扬声器221和定向扬声器222的输出选择性地混合和同步。

在一些实施方案中，此处描述的投射方向模块206的一个或多个功能可以由混合扬声器组件220替代地执行。例如，在定向扬声器222被配置成仅基于用户位置投射特定声音的实施方案中，定向扬声器输出208可以仅输出特定声音并且混合扬声器组件220可以基于由用户传感器224检测到的用户位置确定投射方向。在这种情况下，用户传感器224可以不向音频转换器200提供用户位置信息并且可以在音频转换器200上省略投射方向模块206。

用户传感器224通常被配置成检测定向扬声器附近的一个或多个听众的位置。在一些实施方案中，用户传感器224可以包括光学传感器、麦克风、声波传感器、超声传感器、热传感器等。在一些实施方案中，可以通过检测来自定向扬声器产生的声音的声音反射来确定用户位置。例如，定向扬声器222可以用定向声音扫描投射区域，并且包括麦克风的用户传感器224可以测量在每个角度处的声音反射的定时以确定用户的存在和/或位置。

在一些实施方案中，音频转换器200与混合扬声器组件220之间的连接虽然用多个箭头示出，但可以包括单线或无线连接。在一些实施方案中，音频转换器200和混合扬声器组件220可以是封装在单个外壳中的集成装置。在一些实施方案中，音频转换器200可以与基于音频格式和/或扬声器类型选择性地接合音频转换器的音频源210集成。

接下来参考图3，示出用于转换混合扬声器的音频的方法的示例。在一些实施方案中，图3中所示的步骤可以由音频转换器、混合扬声器控制器、计算机系统和服务器中的一个或多个执行。在一些实施方案中，图3中所示的一个或多个步骤可以由参考图1描述的音频转换器120和/或混合扬声器组件100，和/或本文中参考图2描述的音频转换器200和/或混合扬声器组件220执行。通常，图3中的步骤可以由一个或多个基于处理器的装置执行，所述基于处理器的装置包括控制电路和存储一组计算机可执行指令的存储器。

在步骤301中，系统识别从音频源310提供的音频中的特定声音。特定声音通常是指选择用于通过定向扬声器播放的声音。在一些实施方案中，通过将源音频与声音数据库312中的声音和/或声音配置文件进行比较来识别特定声音。在一些实施方案中，通过机器学习算法311使用声音数据库312作为学习集来识别特定声音。在一些实施方案中，机器学习算法311可以包括生成对抗网络(GAN)。在一些实施方案中，基于声音的频率、音调和幅度中的一个或多个来识别特定声音。在一些实施方案中，声音数据库312可以包括与适合于经由定向扬声器播放的多种类型的声音相关联的声音片段和/或声音配置文件(例如，频谱特性、频率分布、时间频率或幅度变化等)。此类声音的示例可以包括汽车声音、鸟声、弹道抛掷声音、人类语音、警报、警告声音等。在一些实施方案中，可以基于源音频的两个或更多个声道之间的频率、持续时间、幅度和/或IID和/或ITD初始地识别声音，并将所述声音添加到声音数据库312。机器学习算法311可以使用所述声音来识别其他类似的声音。在一些实施方案中，声音数据库312可以通过机器学习算法来区分优先级和/或修剪。在一些实施方案中，步骤301可以由本文中参考图2描述的识别模块202执行。

在步骤302中，系统隔离特定声音。通常，在步骤302中，将在步骤301中识别的特定声音与从音频源210接收的音频中的其他声音隔离。在一些实施方案中，可以基于时间滤波、幅度滤波和/或例如高、低或带通滤波的频率滤波来执行步骤302。在一些实施方案中，系统可以使用音频源310的不同声道来隔离特定声音。例如，如果在输入音频流的声道之间存在大IID或ITD，则一个声道可以用于通过减法或掩蔽来隔离另一声道中的特定声音。在一些实施方案中，可以通过减法或掩蔽使用声音数据库312中的匹配声音来隔离特定声音。在一些实施方案中，在步骤302中仅执行特定声音的近似隔离。在一些实施方案中，可以使用声音数据库中的声音重新创建特定声音。例如，可以修改声音数据库中的声音的播放速度、音调和/或幅度以近似在音频源310中识别的特定声音。在一些实施方案中，步骤302可以由本文中参考图2描述的声音过滤器204执行。

在步骤303中，系统生成定向扬声器321的输出。在一些实施方案中，输出包括在步骤302中隔离的特定声音。在一些实施方案中，定向扬声器可以被配置成执行投射区域的周期性扫描，并且定向扬声器音频输出可以被定时到周期性扫描。在一些实施方案中，定向扬声器输出还可以包括投射方向数据。在一些实施方案中，投射方向数据可以由参考图2描述的投射方向模块206确定。在一些实施方案中，投射方向可以与用户位置相关联。在一些实施方案中，投射方向数据可以包括与两个或更多个用户相关联的两个或更多个离散投射区，使得可以使用一个定向扬声器向同一房间中的不同用户投射不同的声音。在一些实施方案中，投射方向数据可以将投射角度与定向扬声器音频的时间部分相关联。在一些实施方案中，定向扬声器输出可以包括将由定向扬声器产生的2D音景。在一些实施方案中，定向扬声器输出可以包括用于固定多面板定向扬声器的每个面板的单独音频流。在一些实施方案中，定向扬声器输出可以包括用于转子控制的定向扬声器的旋转指令。

在步骤304中，系统生成非定向扬声器322的输出。在一些实施方案中，定向扬声器输出可以包括减去特定声音的音频源310。在一些实施方案中，定向扬声器输出可以对应于未改变的源音频。在一些实施方案中，非定向扬声器输出可以包括两个或更多个声道，每个声道对应于混合扬声器组件中的非定向扬声器装置(例如左扬声器、右扬声器)。

在一些实施方案中，图3中所示的步骤可以近乎实时地针对音频流连续地重复，使得转换后的音频和与源音频相关联的视频播放同步。在一些实施方案中，系统可以预缓冲源音频以允许视频/音频播放同步。在一些实施方案中，图3中所示的步骤可以对预先录制的音频文件执行。在一些实施方案中，代替输出至扬声器，生成的定向扬声器输出和非定向扬声器输出可以存储为音频文件以供稍后播放。

图4A和图4B是根据一些实施方案的多面板定向扬声器的示例的图示。图4A和图4B包括定向扬声器的面板的俯视图，所述定向扬声器被布置成通过调制以多个角度跨投射区域420投射声音。在一些实施方案中，面板410a-e各自可以包括参数阵列，所述参数阵列被配置成通过超声波投射窄范围的声音传播。

在图4A中，示出了两面板配置。面板410a和410b相对于彼此成角度定位并且位于非定向左扬声器430与右扬声器431之间。两个面板之间的角度可以在170度到90度之间。两个面板410a和410b被配置成通过调制两个面板的音频输出来改变声音在投射区域420内的投射方向。

在图4B中，示出了三面板配置。面板410c、410d和410e朝向彼此成角度定位并且位于非定向左扬声器430与右扬声器431之间。在一些实施方案中，中心面板410d通常平行于在扬声器组件的非定向左扬声器430与右扬声器431之间绘制的线。侧面板410c和410e中的每一个与中心板410d之间的角度可以在170度到70度之间。三个面板410c到410e被配置成通过调制三个面板的音频输出来改变声音在投射区域420内的投射方向。

在一些实施方案中，混合扬声器可以包括其他配置中的定向扬声器。例如，定向扬声器可以包括四个或更多个参数面板。在另一示例中，定向扬声器可以包括一个或多个弯曲参数面板。在又一示例中，定向扬声器可以包括面板的2D矩阵(例如2x2、3x3等)以在两个轴线(例如，左右和上下)上投射声音。在一些实施方案中，混合扬声器可以包括由机械转子驱动的定向扬声器，所述机械转子被配置成转动和/或倾斜一个或多个参数阵列。图4A和图4B中的元素的距离、比例和相对位置仅提供用于参考且不一定按比例绘制。

在一些实施方案中，上述实施方案、方法、途径和/或技术中的一个或多个可以在可由基于处理器的设备或系统执行的一个或多个计算机程序或软件应用程序中实现。举例来说，此种基于处理器的设备或系统可以包括计算机、娱乐系统、游戏控制台、工作站、图形工作站、服务器、客户端、便携式装置、平板类装置等。此类计算机程序可以用于执行上述方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可以适于使或配置基于处理器的设备或系统来执行和实现上述功能。例如，此类计算机程序可以用于实现上述方法、步骤、技术或特征的任何实施方案。作为另一示例，此类计算机程序可以用于实现使用任何一个或多个上述实施方案、方法、途径和/或技术的任何类型的工具或类似实用程序。在一些实施方案中，计算机程序内的或不具有计算机程序的程序代码宏、模块、循环、子例程、调用等可以用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可以存储或体现在一个或多个计算机可读存储或记录介质上，例如本文所述的一个或多个计算机可读存储或记录介质中的任一个。

因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括：介质，所述介质用于体现用于输入到计算机的计算机程序；以及计算机程序，所述计算机程序体现在介质中以使计算机执行或实施包括以下项的步骤：在本文所描述的实施方案、方法、途径和/或方法中的任何一个或多个中涉及的任何一个或多个步骤。例如，在一些实施方案中，本发明提供一个或多个非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储一个或多个计算机程序，所述计算机程序适于或配置成使基于处理器的设备或系统执行包括以下项的步骤：渲染计算机模拟场景以显示给用户；检测在观看计算机模拟场景的用户的眼睛运动中引起扫视掩蔽的扫视的开始；以及在扫视的持续时间的至少一部分期间减少用于渲染计算机模拟场景的帧的计算资源。

虽然本文中公开的本发明已经通过具体实施方案及其应用进行了描述，但是在不脱离权利要求中阐述的本发明的范围的情况下，本领域技术人员可以对其进行许多修改和变化。

Claims (26)

1.一种音频转换器系统，其包括：

音频输入，所述音频输入被配置成接收源音频；

音频输出，所述音频输出被配置成耦合至包括至少两个非定向扬声器和定向扬声器的混合扬声器；以及

处理器，所述处理器被配置成通过执行包括以下项的步骤基于所述源音频生成所述混合扬声器的输出音频：

识别所述源音频中的特定声音；

将所述特定声音与所述源音频隔离；

基于所述特定声音生成所述混合扬声器中的所述定向扬声器的定向扬声器输出；以及

为所述混合扬声器中的所述至少两个非定向扬声器生成非定向扬声器输出的至少两个声道。

2.如权利要求1所述的系统，其中通过将所述源音频与声音数据库中的声音进行比较来识别所述特定声音。

3.如权利要求2所述的系统，其中通过基于生成对抗网络(GAN)的机器学习使用所述声音数据库中的声音作为学习集来识别所述特定声音。

4.如权利要求1所述的系统，其中基于所述源音频的两个或更多个声道之间的声音频率和/或幅度差来识别所述特定声音。

5.如权利要求1所述的系统，其中基于从所述源音频中减去所述特定声音而生成非定向扬声器输出的所述至少两个声道。

6.如权利要求1至5中任一项所述的系统，其中所述处理器还被配置成：基于用户位置、所述源音频的两个或更多个声道之间的幅度差，和/或所述源音频的两个或更多个声道之间的时间延迟差来确定所述混合扬声器中的所述定向扬声器的投射方向。

7.如权利要求6所述的系统，其中将所述定向扬声器的所述投射方向输出至所述定向扬声器，以控制配置成使所述定向扬声器旋转的机械转子。

8.如权利要求1至5中任一项所述的系统，其中所述定向扬声器包括多个面板，并且所述定向扬声器输出包括所述多个面板中的每一个的输出。

9.如权利要求8所述的系统，其中通过调制所述多个面板的输出来控制所述定向扬声器的投射方向。

10.如权利要求1至5中任一项所述的系统，其中所述混合扬声器包括具有位于左非定向扬声器与右非定向扬声器之间的所述定向扬声器的条形音响。

11.一种音频转换方法，其包括：

用处理器识别源音频中的特定声音；

将所述特定声音与所述源音频隔离；

基于所述特定声音生成混合扬声器中的定向扬声器的定向扬声器输出；以及

为所述混合扬声器中的至少两个非定向扬声器生成非定向扬声器输出的至少两个声道。

12.如权利要求11所述的方法，其中通过将所述源音频与声音数据库中的声音进行比较来识别所述特定声音。

13.如权利要求12所述的方法，其中通过基于生成对抗网络(GAN)的机器学习使用所述声音数据库中的声音作为学习集来识别所述特定声音。

14.如权利要求11所述的方法，其中基于所述源音频的两个或更多个声道之间的声音频率和/或幅度差来识别所述特定声音。

15.如权利要求11所述的方法，其中基于从所述源音频中减去所述特定声音而生成非定向扬声器输出的所述至少两个声道。

16.如权利要求11至15中任一项所述的方法，其还包括：

基于用户位置、所述源音频的两个或更多个声道之间的幅度差和/或所述源音频的两个或更多个声道之间的时间延迟差来确定所述混合扬声器中的所述定向扬声器的投射方向。

17.如权利要求16所述的方法，其中将所述定向扬声器的所述投射方向输出至所述定向扬声器，以控制配置成使所述定向扬声器旋转的机械转子。

18.如权利要求11至15中任一项所述的方法，其中所述定向扬声器包括多个面板，并且所述定向扬声器输出包括所述多个面板中的每一个的输出。

19.如权利要求18所述的方法，其中通过调制所述多个面板的输出来控制所述定向扬声器的投射方向。

20.如权利要求11至15中任一项所述的方法，其中所述混合扬声器包括具有位于左非定向扬声器与右非定向扬声器之间的所述定向扬声器的条形音响。

21.一种音频扬声器设备，其包括：

扬声器外壳；

封闭在所述扬声器外壳中的左非定向扬声器和右非定向扬声器；以及

定向扬声器，所述定向扬声器位于所述左非定向扬声器与所述右非定向扬声器之间并封闭在所述扬声器外壳中。

22.如权利要求21所述的设备，其还包括：

音频转换器，所述音频转换器被配置成接收包括非定向音频声道的源音频并且生成所述定向扬声器的输出。

23.如权利要求21所述的设备，其中所述定向扬声器包括一个或多个参数面板。

24.如权利要求21所述的设备，其还包括：

机械转子，用于控制所述定向扬声器的投射方向。

25.如权利要求21至24中任一项所述的设备，其中所述定向扬声器包括多个面板，并且其中通过调制所述多个面板的输出来控制所述定向扬声器的投射方向。

26.如权利要求21至24中任一项所述的设备，其还包括：

传感器，用于检测用户的位置，其中基于所述用户的所述位置控制所述定向扬声器的投射方向。

Images