发明目的和概要
本发明的目的是提供一种即使在由多个个人用户同时使用时仍使能用户友好的操作的设备。
为了达到上述的目的,提供了按照独立权利要求的一种用于处理数据的设备、一种处理数据的方法、一种程序单元和一种计算机可读介质。
按照本发明的示例性实施例,提供了一种用于处理数据的设备,该设备包括:检测单元,其适合于检测个别的(individual)再生模式,所述再生模式指示为多个个人用户中的每一用户分开地再生数据的方式;以及处理单元,其适合于处理数据,以便由此按照所检测的个别再生模式,为多个个人用户中的每一用户分开地生成可再生的数据。
按照本发明的另一个示例性实施例,提供了一种处理数据的方法,该方法包括:检测个别的再生模式,所述再生模式指示为多个个人用户中的每一用户分开地再生数据的方式;以及处理数据,以便由此按照所检测的个别再生模式,为多个个人用户中的每一用户分开地生成可再生的数据。
按照本发明的再一个示例性实施例,提供了一种程序单元,它在由处理器执行时适合于控制或实行具有上述特征的处理数据的方法。
按照本发明的又一个示例性实施例,提供了一种其中存储计算机程序的计算机可读介质,该计算机程序在由处理器执行时适合于控制或实行具有上述特征的处理数据的方法。
按照本发明实施例的数据处理可以通过用软件方式的计算机程序被实现,或通过使用一个或多个专用电子最佳化电路—即以硬件被实现,或以混合形式—即藉助于软件部件和硬件部件被实现。
按照本发明的示例性实施例,使得有可能根据输入或自动检测的、按照每个个别用户的个人要求规定的不同操作模式,而让两个或更多人同时感知待回放的媒体内容,且不需要形成屏蔽的“感知空间”,也就是说,不需要实施听筒、头戴耳机等等。例如,有可能提供扬声器阵列,它按照变化的再生模式、来调节要同时回放给希望欣赏再生音频的多个不同用户的音频的幅度和强度。这可包括内容的定向的再生,从而可以达到发射的音频内容的空间相依性。要以用户特定的方式被再生的数据内容对于不同的用户可以是不同的,或可以是相同的。
按照本发明的示例性实施例,可以为收听同一个音频流的不同的人个别地生成个别的声级。个别的收听者可以具有个别的遥控器,他们可以用这些遥控器选择他们自己偏好的声级。此外或替换地,可以使用一个或多个照相机来检测和跟踪个别的收听者的位置,以及可以使用视觉识别软件来从一组已知的人中识别个别的收听者。此外或替换地,可以藉助于由个人佩戴的或附着到个人的标记(例如RFID标记)来识别单个收听者的位置/方向,然后可以按照存储的简档来调整在该个人的方向上声音的级别。
在许多场合中人们想要在存在其它人的房间内享受音频(或视听)体验的乐趣。有时,比如当在起居室中与家人或朋友一起观看电视或电影时目的是一起享受音频体验的乐趣。在另一种情景下,一个人可能正在观看电视,而另一个人正在读书。在这两种情景下,房间中的不同的人可以对再生的音频的声级具有不同的偏好。在第二种情形下,正在读书的人不希望受到来自电视的太大声的打扰。但也是在第一种情形下,有各种原因使得一起观看电视或电影的人可能对于再生的声音的级别具有不同的偏好。例如,一个人可能就是喜欢很响地观看电影,而其他人中的一个更喜欢较柔和的级别。于是,可以按照示例性实施例执行个人音量调节。另一种可能性是其中一个人有听力问题,所以需要比其他人更高的声级以便能够理解再生的语音。另外,对于不同声级的个人偏好也可以是暂时的,例如当一个人接听电话呼叫而同时与其它人一起观看电影时。
与传统的音频设置对比,本发明的实施例可以使得有可能不但选择对于再生声音的单个、总的级别,而且也可能选择对于个别用户的要求个别地调节的、并因此对于不同用户显著不同的再生模式。
因此,按照示例性实施例,提供了一种声音系统,其包括使能为收听同一音频流的个别人选择和生成个别的声级的装置。
按照一个示例性实施例,个别的收听者可以具有个别的遥控设备,他们可以用其来选择他们自己的优选的声级。
在另一个实施例中,使用一个或多个照相机来检测和跟踪个别的收听者的位置,以及可使用对他们的视觉辨认来从一组预先知道的人中间识别个别的收听者(例如,按照预先存储的用于个别人的视觉辨认的视觉简档)。此外或替换地,“预先存储的个人简档”可以被提供作为相应于个人的相应缺省再生模式的某种“再生优选项简档”。
在再一个实施例中,可以藉助于个人佩戴的或附着到个人的标记来识别单个收听者的方向,以及可以按照存储的简档在该个人的方向上调整声音的级别。
因此,本发明的示例性实施例可以使得有可能获得改进的收听体验,向个别的人提供个别的声级,以及这不需要使用头戴耳机。
本发明的实施例的示例性应用领域是家庭娱乐/影院系统、平板电视应用、和汽车音频应用。
因此,本发明的实施例可以解决例如在观看(和收听)电视时如何为两个或更多的人同时调节想要的音量。适当的措施可以是通过数量为n(n>1)的扬声器再生声音,以使得声音被数量为m的收听者以想要的强度接收。对于每个扬声器的加权因子可以被选择,例如通过求解具有n个未知数的m个方程,以使得响度尽可能符合用于每个人的调节的值(多个个人优选项)。
本发明的实施例的简单的实现可以用两个扬声器来达到,因为可以同时调节音量和平衡以使得可以为两个收听者个别地设定响度。如果收听者具有配备有话筒的遥控器,则该机制可以完全自动地控制。
按照示例性实施例,提供了使能为收听同一音频流的个别人选择和生成个别的声级的手段。可能有各种方法和情景来给系统提供有关在哪个方向上想要哪个声级的信息。实际上,所有的方法和情景导致一种作为方向或位置的函数的想要声级(所谓的“目标响应”)的技术要求。与数字信号处理相组合的扬声器阵列可被使用来生成声场,其具有相应于这个目标响应的声级相对(versus)方向的特性。
对于传统的音频设置而言,在所有的场合中,必须选取一个级别,它充其量只是在个别的优选项之间的折衷,以及最终得到的声级将与一个或多个个人的偏好级别不同(并且甚至可能是很不合意的)。
按照示例性实施例,可以达到好得多的效果,在房间中存在的所有的个人都能够选择个人的声音级别,以使得它适合于他们的(可能是临时的)偏好。
通过使用头戴耳机,有可能为个别人选择个别的声级,但在许多场合中,这可能是不可接受的解决方案,特别是当几个人正在一起观看同一个节目时。因此,按照本发明的示例性实施例,可以使得可得到一种能够不使用头戴耳机而给个别人提供个别的声级的系统。
按照示例性实施例,提供了一种能够为多个收听者再现声音的声音再生系统,其中这些收听者可以控制他们自已的声级(“音量”)。具体地,用户可以有他们自己的遥控器(RC)来控制他们的音量。收听者的位置可以例如通过使用在遥控器中的话筒而被自动地检测。而且,照相机可以检测和跟踪收听者的位置和身份,以及该系统可以按照个别收听者的听力简档进行校正。一个收听者可以佩戴一个用于自动发现她或他的位置的标记,其中声音被适配于她或他的位置和/或简档(例如,“总是响一点/轻一点”)。可以使用一个或多个扬声器阵列来再生声音。
因此,可以获得像“个人音量”那样的特征,以及可以获得想要的“音量对角度”特性或目标响应。通过单个(或多个)音频输入通道,有可能通过控制所生成波束的方向性而个人化音频回放。这可以允许为多个收听者个人化音频回放。这允许为收听同一个声音源(或收听不同的声音源)的多个个别收听者提供个别的音量控制。为了达到这样的结果,有可能使用多个扬声器。可以确定对于获得方向性所需要的扬声器信号。而且,可以设定想要的目标响应。
按照本发明的另一个实施例,对于多个不同的音频流的声音聚束可以执行自动电平控制(ALC)。术语“自动电平控制”具体地可以指代一种自动控制加到扬声器的输出功率的技术。
对于驱动扬声器阵列的至少两个同时发生的音频通道,使得有可能在所有时间都保证至少11dB的通道隔离度(channel separation),使进入的流经过ALC电路,ALC电路根据通过该阵列可获得的音频隔离度,而使它们的电平差处在阈值内(性能净空(Performance Headroom))。输入信号之间的电平差的减小可分成两个阶段,一个阶段由个别通道的动态范围的减小组成,以及另一个阶段由它们之间的电平差的减小组成,其中两个阶段可以以不同的时间常数工作。而且,可以提供用户可控制的收听位置和在输入信号之间的电平的减小量的特征。此外,可以根据内容分类和自动电平控制(ALC)的频率带宽应用而自动设定通道之间的电平隔离度的特征。术语“ALC的频率带宽应用”具体地可以指代可能为音频内容的不同频率范围独立地执行音频内容的增益控制。
扬声器阵列可以生成个人声音。换句话说,例如两个输入音频通道的声音可以同时发送到个别的方向,即用户收听位置。通常,由于来自不想要的通道的恼人的串扰,可能使收听体验“蒙上阴影”。
按照本发明的示例性实施例,可以提供一种声音再生系统,其包括用于根据不同的输入音频通道的(至少两个)输入信号来提供个人声音到至少两个用户的装置,其中按照每个输入通道的声音被传送到个别的目标方向。可以提供一种用于调整不同的输入信号的信号电平的自动电平控制单元(ALC),其中可以提供用于确定输入信号的差值信号的确定单元。可以提供一种控制单元,用于根据所述差值信号与预定的阈值(性能净空)的比较而控制信号电平。
按照示例性实施例,信号电平的控制是取决于音频隔离度而做出的,其中音频隔离度可藉助于所述用于提供个人声音的装置(也就是说扬声器阵列)而得到。有关音频隔离度的参数可以从仿真或根据扬声器阵列的已知的(在实验室测量的)声学属性知道。在另一个示例性实施例中,可以执行室内声学测量,以得到音频隔离度的甚至更精确的参数,为此,话筒(或多个话筒)对于得到有关室内环境的信息可以是有利的。
按照另一个示例性实施例,可以为每个输入通道提供压缩器单元,该压缩器单元可以适合于在将相应输入信号发送到自动电平控制单元之前减小它的动态范围。这样,可以减小发生“泵激的”人工产物(artifact)的风险。
所以,可以达到舒服的收听体验,而没有来自不想要的通道的恼人的串扰。
按照示例性实施例,可以提供带有自动电平控制的个人声音阵列。
为了当两个人收听两个同时发生的音频流时达到舒服的收听体验,已经发现,典型地需要至少11dB的隔离度。在可被提供/装配在诸如平板电视机的产品中的驱动器数目和总阵列长度方面给定对于阵列的物理限制后,典型地对于相对于阵列中心间隔开约300的两个座位有可能获得约15dB的通道隔离度,如果这两个通道是同样响的话,则这是足够的。典型地,来自各种通道资源的内容具有不同的平均响度以及大的动态范围。一个通道可包含低音量的语音,而其它通道包含电影中大声的部分。本发明的示例性实施例的有利特征是,自动电平控制(ALC)结合个人声音阵列一起使用,以便在所有时间和对于所有配置都保证11dB通道隔离度。
按照示例性实施例,总的概念是生成用于多个收听者的多个波束,有可能每个波束具有个别的音量控制。具体地,可以考虑个人声音和个人音量。
按照示例性实施例,个别的波束可以代表不同的输入信号,在这种情形下,为每个收听者减小或最小化来自其它波束的串扰是令人期望的。为了同时为所有收听者改进或最佳化状况,适当的措施可以是尽可能多地减小或最小化在不同输入信号之间的电平差值,以使得所有的波束都具有相同的相对音量,并可以从阵列的不可避免地有限的方向性能中获益。
在这样的个别收听者能够控制个别波束的音量的情景下它可能是不适当的,因为为一个收听者调高音量会恶化对于其它收听者的效果(除非可得到具有这样的良好方向性能的阵列,即:使得每个波束在所有其它波束的方向上的抑制几乎是完美的)。为了覆盖这样的状况,可以实施ALC来去除在个别的通道之间的相对电平差值。
然而,与此相反,在个人音量应用中,这种状况是不太关键的,因为所有的收听者正在收听同一个输入信号。所以,在这样的情景下,欣赏媒体内容的每一位个体的人可以个别地调节他们的个别回放参数是没有问题的。
这样的个人音量方案可以是基于这样的假设:阵列的方向性能足以允许有独立地操控在个别方向上的音量的自由。
按照另一个示例性实施例,不同的音频流(例如,不同的电视频道)可以被两个不同的个人用户同时感知,其中在这种情形下,如音量等等的参数的个别调节仅仅当这两个通道之间的不想要的串扰可被避免时才可能。
按照本发明的示例性实施例,提供了一种声音再生系统,其把个人声音提供到至少两个用户,以及其通过使用自动电平控制系统(ALC)来减小输入信号之间的电平差值。换能器可以形成扬声器阵列。可把输入信号之间的电平差值的减小量与通过阵列获得的音频隔离度相联系。输入信号之间的电平差值的减小可被分成两个阶段,一个阶段包括个别的通道的动态范围的减小,以及一个阶段包括它们之间的电平差值的减小,这两个阶段以不同的时间常数工作。收听位置可以是用户可控制的。输入信号之间的电平差值的减小量可以是用户可控制的。输入信号之间的电平差值的减小量可以取决于自动内容分类。ALC可以在频段中工作。
接着,将说明本发明的另外的示例性实施例。下面,将说明用于处理数据的设备的另外的示例性实施例。然而,这些实施例也适用于处理数据的方法、程序单元、和计算机可读介质。
该设备可包括再生单元,其适合于为多个个人用户中的每一用户分开地再生所生成的可再生的数据。这样的再生单元可以是图像再生单元、音频数据再生单元、振动单元、或用于为多个个人用户个别地再生可感知的信号的任何其它单元。
具体地,再生单元可以适合于以由空间选择性方式、空间差分方式和方向性方式组成的组中的至少一个方式再生所生成的可再生的数据。“方向性”可能是指声音被朝向某个方向引导。“选择性”和“差分”可能更一般地是指:对于不同的方向,再生是不同的。可再生数据的发射的空间相依性可以是按照相应用户的当前位置来引起。例如,当再生单元包括多个扬声器时,这样的扬声器的配置可以是使得它们发射在不同用户的方向上被选择性地引导的声波,这样,个别的扬声器信号的重叠在个别用户的位置上生成按照所选择的再生模式的声音图案。
再生单元可包括多个扬声器的空间排列。在这样的情景下,对于不同的用户可以实现不同的或变化的音频再生模式。
具体地,设备可以适合于处理包括由音频数据、视频数据、图像数据和媒体数据组成的组中的至少一项的数据。因此,不同来源的内容可被个人化,以使得按照这个示例性实施例,为所有的用户、但是是以不同的再生参数来再生同一个内容。替换地,也有可能为不同的用户、以同样的或变化的再生参数同时再生不同的内容。
检测单元可包括多个遥控单元,多个遥控单元的每一个被指配给多个个人用户之一,并适合于检测个别的再生模式。例如,这样的多用户系统的每个用户可以配备有被指配的遥控单元,用户可以经由它提供关于他或她想要哪些再生参数的信息。个别的遥控单元可以例如通过把个人用户有关的数据指配给控制单元而预先个性化。通过采取这样的措施,可以输入指令,例如是家庭的特定成员具有听力问题故而通常需要高音量的音频数据再生。它也可以个人化:特殊的用户想要有非常低的图像对比度值,使得由这样的设备进行的图像再生可以随之被调节。
检测单元可包括距离和/或方向测量单元,其适合于测量在设备与多个个人用户中每一用户之间的距离和/或方向。这样的距离和/或方向测量单元例如可以是被集成到相应的遥控单元中的话筒,这样,可以执行自动的、基于声学的距离测量,以及相应的距离或角位置信息然后可被用作为用于调节用户规定的运行模式的基础。特别是,可以提供方向测量单元,用于测量在参考方向与多个个人用户中每一用户的方向之间的、相对于这个参考方向的方。
按照另一个示例性实施例,检测单元可包括图像识别单元,其适合于捕获多个个人用户中的每一用户的图像,以及适合于辨认多个个人用户中的每一用户,由此检测个别的再生模式。例如,一个或多个照相机可以(持久地或不时地)捕获用户的图像。通过可能与预先存储的个人数据相组合的图像识别系统,于是可以自动检测相应用户的当前位置和/或当前的活动状态。例如,图像识别单元可以检测到:个人“彼得”当前在读书,故而不想被太响的电视信号打扰。根据这个自动图像识别,再生参数可以随之被调节。
检测单元可包括多个标识单元,该多个标识单元的每一个被指配给多个个人用户中的每一用户,以及其适合于检测个别的再生模式。例如,个别标识单元可以是被连接到相应用户的或由相应用户佩戴的RFID标记。根据这样的信息,有可能按照在标识单元中编码的标识把再生模式调节到预先存储的用户优选项。
个别再生模式的每一个可以指示由音频数据再生响度、音频数据再生频率均衡性、图像数据再生亮度、图像数据再生对比度、图像数据再生色彩、和数据再生特技播放模式组成的组中的至少一项。例如,可以调节再生的音频内容项的幅度和/或频率特性。也有可能调节图像属性,比如亮度、对比度和/或色彩。如果特定用户想要的话,图像可以以黑白而不是彩色被再生。例如当用户想要回顾电影的场景而其它人想要继续观看电影时,也可以个别地调节特技播放模式,比如快进、快退、慢进、慢退、停止。在这样的情景下,为个别用户提供个别的显示器会是令人期望的。
处理单元可以适合于按照以下组中的至少一项生成可再生的数据,所述组包括:多个个人用户中每一用户的检测的位置、检测的方向、检测的活动性、和检测的与个人用户有关的属性。例如,可以考虑空间取向、角取向位置、当前执行的实践或任务、或与相应用户有关的属性(例如,听力问题),以便随之调节可再生的数据。
处理单元还可适合于按照从所检测的个别再生模式得出的音频数据电平相对个人用户方向特性而生成可再生的数据。因此,发射的声波的角分布可被调节,以便考虑个别用户的各自位置。
处理单元可以适合于根据对于多个个人用户中不同用户而不同的数据,对于多个个人用户中的每一用户分开地生成可再生的数据。按照这个实施例,不同的用户同时感知不同的音频项目,例如不同的音频段。在这样的情景下,可以以这样的一种方式执行处理,即:抑制在这些个别的信号之间的扰动的串扰,以及可能要注意把源自于由另一个用户再生的内容的背景噪声的强度保持较低,使得它对用户而言不是令人烦扰的。
特别是,在这样的情景下,处理单元可以适合于通过实施自动电平控制(ALC)功能而生成可再生的数据。这样的自动电平控制尤其是可以以这样的方式来执行,即,使得保证对于多个个人用户中不同用户的强度隔离度至少是预定的阈值。这个阈值可以是11dB,这在实验中已被确定是足以允许个人收听者区分当前再生的音频项与由其它用户同时再生、然而主要是在其它方向上发射的音频项。
预定的阈值也可以是用户可控制的。如果用户是非常敏感的,则可以按照用户定义的阈值采取措施,以便减小其它用户的音频再生的干扰影响。
处理单元可以适合于通过实施频率相依的自动电平控制而生成可再生的数据。换句话说,不同的频段可以用自动电平控制算法以不同的方式修改,因为在再生的音频项与其它用户的同时再生的音频项之间的串扰的影响可以是频率相依的。
该设备可以被实现为电视机设备、视频记录器、监视器、游戏设备、膝上型电脑、音频播放器、DVD播放器、CD播放器、基于硬盘的媒体播放器、互联网无线电设备、公共娱乐设备、MP3播放器、高保真系统、交通工具娱乐设备、汽车娱乐设备、医疗通信系统、佩戴在身体上的设备、语音通信设备、家庭影院系统、和/或音乐厅系统。“汽车娱乐设备”可以是用于机动车的高保真系统。
然而,虽然按照本发明实施例的系统主要打算用来当回放声音或音频数据时改进用户友好性,但也有可能把该系统应用于音频数据和可视数据的组合。例如,本发明的实施例可以被实施在视听应用中,比如是其中使用扬声器的视频播放器、或家庭影院系统。
该设备可包括音频再生单元,诸如扬声器。在音频设备的音频处理部件与这样的再生单元之间的通信可以以有线方式(例如使用电缆)或以无线方式(例如,经由WLAN、红外通信或蓝牙)实行。
因为有限宽度的阵列只有很差的能力来改变它们的方向性,因此用高通滤波器限制音频的低音范围会是有利的。这可以是在节目频道或是在用户频道中进行。如果只有一个收听者,则这个任选的特征当然是不必要的,所以这个特征可以是可开关的。
从下文将描述的实施例的例子,将明白本发明的上述的方面和另外的方面,并将参照实施例的这些例子说明这些方面。
实施例说明
在附图上的例图是示意性的。在不同的图上,类似的或相同的单元被提供以相同的参考标号。
下面参照图1来说明按照本发明的示例性实施例的音频数据处理设备100。
音频数据处理设备100包括检测单元110,用于检测个别的音频再生模式,所述音频再生模式指示为多个个人收听者中的每一收听者分开地再生音频数据的个人化方式。
而且,提供了微处理器或处理单元120,用于处理音频数据,以便由此按照所检测的个别再生模式为多个个人用户中的每一用户分开地生成可再生的、可听见的音频数据。
更具体地,多个个人收听者中的每一收听者(图1上未示出)配备有个别的遥控单元。通过相应用户的遥控单元,这个用户可以调节音频回放属性。倘若用户当前正在读书,则这个用户可以选择音频为在他或她的方向上以相对较低的幅度回放,以使得背景音频不打扰这个用户。另一个用户可能具有听力问题,因此可能希望把在她或他的位置处想要的音频强度调节为相对较高的。
而且,用户的每个遥控单元可以配有话筒或任何其它换能器,以使得通过在话筒与音频数据处理设备100的对应控制单元120的通信接口之间距离测量信号的交换,而可以自动检测对应的遥控器的方向/位置并从而自动检测对应用户的方向/位置。
因此,经由遥控器输入的用户定义的运行模式参数,与所检测的位置/方向相组合,可以允许电平和方向选择单元110确定加到目标响应构建单元112的适当的电平和对应的方向信息113。目标响应构建单元112根据该电平和对应的方向信息113生成目标响应信号114,它作为音频再生控制信号被输入到信号处理器120。
而且,被存储在音频源121(例如,硬盘、CD、DVD或远端音频源,如无线站)中的音频内容把音频输入信号115提供到信号处理器120的另一个输入。信号处理器120按照目标响应信号114处理115中的音频输入信号,以及生成音频输出信号,该音频输出信号被供应到形成空间分布的扬声器阵列的多个扬声器130到132。
扬声器130到132的这种空间排列,与被供应到这些扬声器130到132的音频回放参数相组合,另外地导致扬声器130到132的发射的音频信号的空间分布,其以特定的方式生成“叠加的”声波,以使得按照由用户输入的和/或由方向检测器111检测的、想要的音频参数来产生音频再生。因此,多个用户可以同时欣赏按照用户特定的回放参数回放的同一个音频内容。
扬声器130到132可以是有方向性的扬声器。可以经由相应的遥控单元来选择用户特定的音频数据再生响度和均衡参数,也就是说,强度和频率分布。
由信号处理器120生成的并经由扬声器130到132回放的可再生的数据可以考虑所检测的相应用户的位置、所检测的方向、用户的所检测的当前活动、和用户特定的属性(如听力问题等等)。
因此,图1图示了本发明的实施例的基本方案。下面在第一实施例的以下描述中将更详细地讨论个别方块。两个其它实施例与第一实施例的不同处主要在于获得有关想要的电平和对应的方向的信息的方式(也就是说,电平和方向选择块111的功能)。
在图1所示的第一实施例中,个别的收听者具有个别的遥控器,收听者可以用其选择他们自己的更喜欢的声级。为了能够在想要的方向上再现所选择的声级,应当知道每个遥控器相对于再现系统100的方向。遥控器的方向例如可以通过把话筒单元集成到遥控单元中、并利用在遥控器与再现系统100的每个(或几个)扬声器130到132之间的声学行进时间差来确定。在图1所示的实施例中,遥控器(包括用于确定它们的方向的装置)组成图1中的电平和方向选择块111。
所选择的电平和对应的方向在图1的目标响应构建块112中被翻译成目标响应函数,取决于再现技术的细节,其可包括仅仅在相应收听者的方向上的想要的电平的技术要求,或可包括作为角的函数的、想要的电平的或多或少连续的技术要求。
规定目标响应的前一种方式的例子在图4的方块450中显示,它显示对于在方向-300、+100和+600上、有三个收听者分别具有-6dB、-3dB和0dB的选择电平的状况下的目标响应。规定目标函数的后一种方式的例子被显示于图6到图8。个别的收听者的想要的电平可以是零,意味着在她或他的方向上没有再现声音。包括这样的空(null)方向的目标响应的例子显示于图8。
信号处理器120然后获取音频输入信号115和目标响应技术要求114,以及计算用于扬声器130到132的音频信号,以使得最终得到的总的声场具有对应于目标响应114的方向性响应。下面讨论用于通过使用扬声器的线阵而达到给定的目标响应的两种信号处理技术。
所描述的第一实施例允许在设定和改变个人声级方面的高度灵活性。
下面将说明第二实施例。
在第二实施例中,使用一个或多个照相机来检测和跟踪个别的收听者的位置,并且使用视觉识别软件来从一组已知的个人中识别个别的收听者。对于这些已知的个人中的每个,存储了包含该个人的电平优选项(它可以依赖于诸如内容类型那样的变量)的个人简档。目标响应按照个别的收听者的在视觉上提取的方向和对应的存储的电平优选项被构建。图1的目标响应构建块112和信号处理器块120可以与为第一实施例描述的相同。
第二实施例对于在声音再生系统的正常运行中自动合并通常的(非瞬时的(instaneous))个别的电平优选项是特别有用的。
下面,将说明第三实施例。
在这个第三实施例中,单个收听者的方向藉助于由该人佩戴的或附着到该人的标记被识别,声音的级别在该人的方向上按照所存储的简档被调整。这个标记例如可被使用来指示具有听力缺陷的个人的位置,在这种情形下,所存储的简档将指示:级别在对应的方向上应当增加某个量。
最终得到的目标响应可以看起来如图7所示,其中级别在+200左右的小区域中相对于在所有其它方向上的级别提升6dB。第三实施例的另一个应用可以是,该标记由想要接收尽可能小的声音的个人佩戴,例如,因为他或她正在读书。在那种情形下,所存储的简档将指示级别在对应的方向上应当尽可能低。
下面,将说明用于达到给定的目标响应的阵列处理方法。
所描述的方法可以使能用扬声器阵列生成具有与给定的目标响应相匹配的空间响应的声场。
在第一种方法中,声级可以在离散数目的选择方向上被控制,同时在所有的其它方向上,该声级不受控制,但它是相对较低的。这是借助于通过使用延迟及求和波束成形的原理在每个所选择的方向上发送声音的个别波束、并按照对于相应方向的想要的声级缩放每个波束的幅度而完成的。
图2显示用于生成在一个方向上具有受控级别的波束的延迟及求和处理系统200。
因此,图2详细地显示了具有控制声级的波束是如何用N个扬声器130到132的阵列在一个特定方向上生成的。
首先,通过使输入信号s(t)201乘以放大器单元202的缩放因子g而放大或衰减它。放大器单元202的缩放因子g由相对于某参考声级的、对于这个方向的想要的声级-信号203来确定。然后,输入信号s(t)的缩放版本被复制N次,以及N个复制品的每一个通过使用个别的延迟单元204被延迟。延迟单元204的延迟值由对应扬声器130到132的位置和波束要被导引到的方向确定。每个延迟单元204的延迟值可以是不同的。最后,N个延迟的信号被馈送到对应的扬声器130到132,以及具有想要的级别(相对于参考级别)的声束在想要的方向上被生成。任选地,可以提供增益单元205。每个增益单元205的增益值可以是不同的。
由于所描述的处理方案是线性的,所以在M个个别的方向上具有个别级别的波束可以通过如下方式被同时再生,即:对于每一个个别的方向应用图2的信号处理方案和把对应于同一个扬声器130到132的所有信号求和,之后每个求和的信号被连接到对应的扬声器130到132。
图3图示用于扬声器130的方案300,用于对三个方向具有个别受控的声级的情形。
在图3的情景下,对于这三个方向的想要的声级被提供作为三个输入信号203,它们被供应来控制三个增益单元202。而且,提供了三个延迟单元204和三个任选的增益单元205。延迟单元204或增益单元205的输出信号分别在求和单元301中被求和,然后被供应到扬声器130。
所以,图3显示了用于扬声器130的处理方案300,用于其中生成在三个方向中具有个别的级别的三个波束的情形。在延迟单元204之前的部分对于所有的扬声器130到132可以是共同的。
图4显示一些示意图,它们举例说明以下情形的仿真响应的级别相对角图400和极坐标图450的关系,在该情形中分别在方向-300、+100和+600上、以-6dB、-3dB和0dB的受控级别生成三个波束。
在这个方法的变例中,相对声级在离散数目的选择方向上没被控制,但在离散数目的选择位置上被控制。图2和图3的处理方案基本上仍是相同的,只是延迟204的计算稍微不同。
然而,当应用这个第一方法时,可能出现在生成每个个别的波束时,仅仅在对应方向上的声级受到控制。通常,但特别是当扬声器130到132的数目和/或阵列的总长度较小时,声音也将辐射到其它方向。首先,所谓的主瓣(在所选方向上的波束)具有某个宽度,对于给定的阵列配置,该宽度对于减小的频率会增加。此外,因为阵列中扬声器130到132的有限的长度和数目,可能生成以所谓的旁瓣和栅瓣的形式的人工产物。这是指,当个别的波束的声场被相加在一起时,在每个想要的方向上的实际的级别将以不受控制的方式被其它波束的同时再生所影响。部分地,这个问题可以通过把细心选择的个别幅度权重加到波束和扬声器130到132的每个组合的信号路径中(它们在图2和图3上作为任选项被显示)和/或稍微调节延迟204的值而被减小。本领域技术人员从文献知道许多这样的技术。
然而,想要为数目越大的方向个别地控制声级,则越可能变成为个别波束互相干扰,所以,在第一实施例中有可能不能实现任意的级别相对角的特性,也即在每个方向上都受控制的响应,这与选择离散数目的孤立的目标方向相反。
这个第一方法的优点在于,所牵涉到的信号处理是非常简单的:仅仅需要对于所选择的方向和扬声器的每个组合的延迟和增益(总共M×N个),而延迟和增益的计算是直截了当和易于在实时应用中实施的。
下面将说明第二方法。
这个第二方法原则上使能实现任意的声级相对方向函数,也即,声级可以在所有可能的方向上同时地受控制。
在这个实施例中,首先,对于大量的角M,定义目标响应函数T,它是作为角函数的、想要的声级的技术要求。
目标响应的任意样本被显示于图6的方案600。
这个目标响应可被选择为对于不同的频率是不同的。然而,在“个人音量”的本应用中,目标通常是具有基本上与频率无关的方向响应,以便在所有的收听位置上频率响应是平坦的,而仅仅宽带声压级作为收听位置的函数变化。
目标响应T可以通过如下方式被实现(或至少被近似),即:不是以如在第一实施例的延迟及求和方法中的分析的几何的方式、而是通过使用数值最佳化程序过程(如在下列文献中所描述的,例如NatLab Techn.Note2000/002,NatLab Techn.Note 2001/355,其摘录是经由http://www.extra.research.philips.com/hera/people/aarts/、作为项目48和22可得到的,以及van Beuningen和Start的“Optimizing directivity properties ofDSP controlled loudspeaker arrays(最佳化DSP受控扬声器阵列的方向性属性)”,Duran Audio,2000,其例如经由http://dctrl.fib.unam.mx/~villabpe/line%20arrays/IOA_paper_revlp2.pdf可得到)来计算扬声器驱动函数。
在这个方法中,对于每个个别的频率,组成一个(M×N)矩阵G(ω),它描述在这个频率ω上在每个个别的方向上来自每个个别扬声器的声音传播。从一组N个复数扬声器系数H(ω)得到的、在所有的M个目标方向上的阵列系统的总响应现在可以以矩阵方程的形式被写为:
L(ω)=G(ω)H(ω)
目标是确定导致尽可能接近目标响应函数T的响应函数L(ω)的那组扬声器系数H(ω)。换句话说,是确定使得向量L(ω)-T的长度最小化的那组H(ω)。这意味着,必须找出以下最小化问题的解:
有许多在文献中可得到的、用来求解这个最小化问题的算法,例如,各种各样的所谓的最小平方算法。通常,必须对于所允许的扬声器系数加上一定的约束条件,以便获得从效率和稳定性观点来看可接受的解。这意味着,可以使用所谓的受约束的最佳算法,例如MATLAB函数lsqlin(见“MATLAB最佳化工具箱用户指南”)。这也在规定目标响应上给出更多的自由:在每个角上,除了规定特定的想要级别的可能性以外,现在也有可能代之以使响应满足某个更宽松的条件(例如,它不应超过某个最大级别)。这给该最佳化问题留出更多的自由度,可以导致更满意的解。
对于多个个别频率求解上述的最小化问题方程导致对于每个扬声器130到132的复数频率响应,根据其可以计算N个个别扬声器驱动信号(例如通过傅立叶逆变换)。这些驱动信号可被实施为FIR(有限冲击响应)滤波器,意味着,与第一方法的处理方案相比较,图3所示的对于单个扬声器130到132的所有处理于是被单个FIR滤波器代替,这样,全部处理方案包含数目为N的FIR滤波器,正如在图5的数据处理系统500中显示的。
因此,图5显示对于第二个描述的处理方法的总的处理方案500。
信号s(t)201被供应到互相并联连接的多个FIR滤波器501的每一个。每个FIR滤波器501的输出被连接到扬声器130到132中各自的一个,以用于回放。每个FIR滤波器501的滤波器特性可以是不同的。
图6显示了一个极坐标图600,其指示应用第二方法来实现目标响应函数的结果,使用了总长度为0.74米的24个扬声器的阵列和对于FIR滤波器501的256个抽头。在图6上看到,匹配是非常好的,这个例子显示出这个方法在实现各种各样的方向响应方面的通用性。
图7显示了图700,以及图8显示了图800,二者图解对应于两种用户状况的、对于两个其它感兴趣的目标响应函数的结果的例子。
图7显示了一个响应,其可以适合于以下状况,即其中几个人正在观看同一个电视表演,而他们中的一个人具有听力问题,使得他或她更喜欢稍微更响的级别。对于这种状况,希望具有对于所有方向基本上均匀的0dB的声级的响应函数,有听力缺陷的收听者所坐的区域除外,在此区域中级别被提升6dB。
图8显示这样的状况,其中一个人正在观看电视,而另一个人正在读书、故而不想被响的电视声音打扰。响应函数被设计成在观看电视的个人的区域中具有最大的声级,以及在读书的个人周围的区域中声级尽可能地低,而在其它地方该级别保持为低(-10dB)。
用给定的扬声器阵列可以多好地实现给定的想要的目标响应,取决于该阵列的各种属性。例如,对于其可以在阵列响应中实现一定的空间分辨率的最低频率(也就是说,在其上可以控制变化响应的最小角度)由阵列的总长度确定,而对于其可以控制方向响应而不出现空间的欠采样(under
sampling)人工产物的最高频率由在扬声器130到132之间的间隔确定。此外,可以获得的最大空间分辨率由阵列中扬声器130到132的总数限制。
下面,将参照图9说明按照本发明的示例性实施例的数据处理设备900。
数据处理设备900具有第一输入901,在该输入处提供第一音频数据信号。此外,设备900具有第二音频输入902,在该输入处提供不同于第一音频数据信号的第二音频数据信号。可以提供检测单元(图9上未示出)用于检测个别的再生模式,所述再生模式分别指示为多个个人用户中的每一用户分开地再生第一音频数据901和第二音频数据902的方式。
例如,第一收听者(未示出)希望听到第一音频项901。第二用户希望收听第二音频项902。第一用户不想被来自第二音频项902的音频信号打扰。第二用户不想被来自第一音频项901的音频信号打扰。因此,坐在例如起居室内的不同位置的用户可以经由遥控器调节他们希望收听的音频内容。对于该两个用户的这个想要的再生模式可以由系统900检测,以及数据处理器903可以以这样一种方式被调节,即:使得它处理数据901、902,由此生成可再生的数据904、905,也就是说,生成传播到不同方向的两个不同的声束904、905。
换句话说,第一声束904被生成且在第一用户的方向上发射,它指示第一音频数据项901。第二声束905在另一个方向上朝向第二用户发射,它指示第二音频项902。声束904、905由多个扬声器130到132生成,这些扬声器受控于阵列处理器903的输出。
图9上的扬声器130到132的数目被指示为Nout。
在图9的实施例中,处理单元903因此适合于根据对于两个个人用户来说不同的数据901、902、为多个个人用户中的每一用户分开地生成可再生的数据904、905。
正如下面将更详细地描述的,处理单元903适合于通过实施自动电平控制(ALC)功能而生成可再生的数据。
随着在平板电视机和家庭影院接收机系统上的扬声器阵列和五声道声音再生能力的出现,个人声音变为相关的。
在图9上,显示了用于个人声音应用的阵列处理器903的基本操作。阵列处理器903取得要被发送到个别方向的两个输入音频通道901、902,并得出被连接到Nout个扬声器单元130到132的Nout个输出音频通道。在一般的情形下,阵列处理器903的两个输入信号901、902都贡献给Nout个输出信号的每一个。Nout个输出信号的每一个通过求和两个输入通道901、902的个别的贡献而被形成。当Nout个输出信号被放大并连接到扬声器阵列130到132时,生成两个个别的声束904、905,把每个输入通道901、902的声音发送到个别的方向。每个波束904、905的方向由对应的输入通道贡献到Nout个扬声器信号的每一个的方式确定。在两个个别方向的每个方向上定位一位收听者,其想要收听对应的输入音频通道901、902的声音,而同时尽可能小地听见来自其它通道902、901的声音。
当阵列处理器903的两个输入通道901、902的信号电平相等时,对于两个所选取的收听方向的每个方向,可以进行测量或仿真,以确定由扬声器阵列130到132生成的、在对于对应于该方向的通道(想要的通道)的声压级(SPL)与在其它通道(不想要的通道)的相同方向上的SPL之间的差值。该级差尤其依赖于扬声器阵列130到132的配置、每个输入通道贡献到每个输出通道的方式(如由阵列处理器903控制的)、波束的所选取的方向、以及频率。
研究表明,典型地,对于没有来自不想要的通道的恼人的串扰的、舒服的收听体验,需要在想要的和不想要的通道之间的至少11dB的SPL差值。
在可被提供/装配在诸如平板电视机的产品中的驱动器数目和总阵列长度方面给定阵列的物理限制后,典型地对于相对于阵列中心间隔开约300的两个座位有可能获得约15dB的通道隔离度,如果这两个通道是同样响的话,这便足够了(见图10的方案1000)。
图10的极坐标图1000是在+150和-150的方向上发送声束的、6驱动器扬声器阵列的方向性图。
图11图示6驱动器扬声器阵列1100(总长度0.5米)。
实际上,系统的输入信号的电平通常是不相等的,因为它们例如对应于不同的电视频道、不同类型的节目素材(语音或音乐)、或来自不同音频设备的输出。现在,在任何方向上测量的两个通道之间的实际的SPL差值是对于相等的输入电平而获得的SPL差值和两个通道的(有正负号的)输入电平差的总和。这可以导致这样的事实:虽然阵列本身的性能足以达到在两个通道的SPL之间的大于所需要的11dB的隔离度,但达到的实际隔离度在具有较低输入电平的通道的声束方向上小于11dB,所以感知到的性能变为不令人满意的。这在输入电平差值超过阵列的“性能净空”时发生,该性能净空被定义为:
性能净空=ΔLeq-11dB(对于ΔLeq>11dB),
其中ΔLeq是对于相等的输入电平得到的SPL差值。在较响的通道的波束方向上,达到的隔离度实际上比ΔLeq超出一个等于输入电平差值的量。
按照本发明的示例性实施例,自动电平控制(ALC)结合个人声音阵列一起使用,以保证在所有的时间和对于所有的配置都有11dB通道隔离度。因为阵列的物理限制,需要本发明的示例性实施例使得阵列在这个应用中能行得通。
按照本发明的示例性实施例,提供了完整的阵列处理系统,其包括两个基本部分(见图12的数据处理系统1200):自动电平控制单元(ALC)1201和阵列处理器单元1202,后者提供输出以作为用于个别的阵列扬声器130到132的驱动信号(见图9)。
阵列处理器1202如上所述地工作。它取得要被发送到个别的方向的两个输入音频通道901、902,并得出Nout个输出音频通道(到阵列处理器1202的实际的输入通道不是输入音频通道901、902,而是由ALC单元1201修改之后的输入音频通道901、902)。Nout个输出信号被放大并连接到扬声器阵列130到132,以便生成两个个别的“声束”904、905,把每个输入通道的声音发送到个别的方向。
因为上述的原因,应当避免两个通道的输入电平差值超过性能净空。这是在阵列处理器单元1202前面的自动电平控制单元1201的任务。
系统1200的输入信号901、902首先被馈送到ALC单元1201。
在图13上更详细地显示ALC单元1201的示例性实施例。
ALC单元1201包含电平比较器电路1300,它分析在短的时间间隔内两个输入信号901、902的输入电平,并根据来自仿真或测量结果的已知的性能净空数据,确定输入电平差值是否超过性能净空。如果输入电平差值确实超过性能净空,则ALC单元1300把个别的增益g1和g2施加到每个输入信号901、902,以使得电平差值被减小到一个小于性能净空的值。具有由增益单元1301、1302生成的减小的电平差值的这些信号1303、1304是ALC单元1201的输出,并且被馈送到阵列处理器单元1202的输入(见图12),阵列处理器单元如上所述地发挥作用。这样,保证在两个目标方向上最终得到的SPL差值将大于11dB(倘若对于相等的输入电平的SPL差值大于11dB)。
典型地,作为时间的函数的两个通道的输入电平差值是平均电平的相对较慢变化的差值与每个信号电平围绕其缓慢变化的平均电平的相对较快变化的变差(variation)的叠加。直觉地,当在(具有较大时间常数的)电平比较器单元1300中比较两个信号电平之前,首先藉助于具有短时间常数的压缩器电路减小每个个别输入信号的动态范围可以是有利的。
这样的状况被显示于图14,图上图解了具有压缩器1401、1402的ALC单元1400。
这样,将减小出现“泵激”人工产物的风险。所以,在示例性实施例中,ALC单元1400包含用于每个输入通道901、902的个别的压缩器1401、1402,它们在输入信号901、902被发送到电平比较器电路1300之前减小其动态范围。
在示例性实施例中,个别的声束904、905被发送到的方向是用户可控制的。
在示例性实施例中,在两个输入通道901、902之间的电平差值减小的量是用户可控制的,以便允许用户根据个人优选项、在想要的和不想要的通道间达到的隔离度的量与保留输入信号的原始动态特性之间进行折衷。
对于在两个通道901、902之间所要求的隔离度的11dB的数值是对于不同种类的内容的平均。由于在两个通道901、902之间所需要的隔离度的量也取决于两个通道901、902的节目素材的类型,所以在优选实施例中,输入电平差值的减小的量通过自动内容分类而被控制。
对于内容类型的某些组合,这意味着,增加而不是减小在输入信号之间的电平差实际上是有利的。例如,可以假设舒服地收听语音(也就是说,能够懂得语音)比起收听音乐需要更多的隔离度。这意味着,当一个通道包含音乐而另一个通道包含处在相同电平的语音时,提高语音的电平可以是有利的。
由于输入信号的电平差和由阵列生成的SPL差值通常都是频率相依的,所以按照示例性实施例,ALC在频段中工作。
应当指出,术语“包括”不排除其它单元或特征,以及“一”或“一个”不排除多个。与不同的实施例相关联地描述的单元也可以被组合。
还应当指出,在权利要求中的参考标号不应被解释为限制权利要求的范围。