CN1714598B - 基于音频的数据表示设备和方法 - Google Patents
基于音频的数据表示设备和方法 Download PDFInfo
- Publication number
- CN1714598B CN1714598B CN2003801036138A CN200380103613A CN1714598B CN 1714598 B CN1714598 B CN 1714598B CN 2003801036138 A CN2003801036138 A CN 2003801036138A CN 200380103613 A CN200380103613 A CN 200380103613A CN 1714598 B CN1714598 B CN 1714598B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- audio signal
- data variable
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- 230000005236 sound signal Effects 0.000 claims abstract description 70
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 11
- 230000033228 biological regulation Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 230000033764 rhythmic process Effects 0.000 description 6
- 238000000053 physical method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Electrophonic Musical Instruments (AREA)
- Selective Calling Equipment (AREA)
Abstract
用一个音频信号(o)表示数据的数据表示设备(100)含有一个音频处理单元(102)，其被安排成提供具有取决于一个能具有第一值(206)和第二值(208)的无位置数据变量(p)的特征(C)的音频信号(o)，这种数据表示设备(100)包括一个映射单元(132)，其被安排成用一个映射将数据变量(p)的第一值(206)映射到三维空间内的第一位置(216)，而将数据变量(p)的第二值(208)映射到三维空间内的第二位置(218)，并且该音频处理单元(102)被安排成改变所述特征(C)，使得对于听取该音频信号(o)的用户(200)来说，该音频信号(o)对于具有第一值(206)的数据变量(p)像是来自第一位置(216)，而对于具有第二值(208)的数据变量(p)像是来自第二位置(218)。还描述了一种含有这样一个数据表示设备(100)以及一个数据源、一个音乐源和一个声音产生设备的系统及其所用的方法。
Description
本发明涉及一种用一个音频信号来表示数据的数据表示设备，这种数据表示设备包括一个音频处理单元，其被安排成提供具有取决于一个能具有第一值和第二值的无位置数据变量的特征的音频信号。
本发明还涉及一种用一个音频信号来表示数据的系统，这种系统包括：
一个音频源，其被安排成提供一个输入音频信号；
一个数据变量源，所述数据变量能具有第一值和第二值；
一个声音产生设备；以及
一个用该音频信号来表示数据的数据表示设备，所述数据表示设备包括一个音频处理单元，其被安排成将具有取决于该数据变量的特征的该音频信号提供给该声音产生设备。
本发明还涉及一种用音频信号来表示数据的方法，这种方法包括一个音频处理步骤，该音频处理步骤提供具有取决于一个能具有第一值和第二值的数据变量的特征的音频信号。
本发明还涉及一种由一个处理器执行的、使该处理器能够执行这种方法的计算机程序。
本发明还涉及一种存储这种计算机程序的数据载体。
从US-B-6,230,047中可以知道这种数据表示设备的一个实施例。这种已知设备从一个脉搏监视器接收一个心率(heart rate)作为一个数据变量。根据该心率，由一个音频处理单元从一个存储预先记录的例如鼓的节奏的节奏模式存储器中获取一个相应的节奏模式。该音频处理单元根据所选的节奏产生一个连续音频信号，其节拍特征与该特定的所测量到的心率一致。
这种测量结果的音频反馈的缺点是，用户很难判断实际所表示的是数据变量的哪个特定值，因此其只能用于只需要一个测量的基准点和用户只需要判断从该基准点的偏差的那些应用。这种已知设备例如由慢跑者使用，所述慢跑者往往要调整他们的训练，以使得他们的心率与节奏相应。
本发明的一个目的是提供一种用一个音频信号来表示数据的数据表示设备，这种数据表示设备以用户比较容易量化的方式呈现数据。
这个目的是这样实现的：
该数据表示设备包括一个映射单元，用来将所述数据变量的第一值映射到三维空间内的第一位置，而将该数据变量的第二值映射到三维空间内的一个第二位置；以及
所述音频处理单元被安排来改变所述特征，使得对于听取该音频信号的用户来说，该音频信号在该数据变量具有第一值的情况下像是来源自第一位置，而在该数据变量具有第二值的情况下像是来源自第二位置。用一个音频信号来表示数据是有益的，这是出于以下几个原因，例如：
用户可以将他的视觉能力用于其它事情，如观看TV、驾驶汽车或在奔跑时看要在哪里落脚；
如果有许多数据已用视觉表示，则听觉表示就可能是有益的；
在有些环境中视觉信息可能不大有用，例如在夜里或浓烟中；或者
对于视力差的人，听觉表示可能是有帮助的。
现有的听觉表示系统通常是改变音频信号的音量、音调、节奏或平衡，但对于大多数人来说这难以量化。例如，大多数人不擅于判断声音的正确音调。
然而，人可以较为精确地判断声音来自哪个方向。他们对空间内的角度值的判断也不很粗糙。因此，正象例如一块表的刻度盘可以比较精确地以视觉示出时间那样，按照本发明的数据表示设备可以在用户的头部周围产生一个具有虚拟音频源位置的虚拟刻度盘。在这个虚拟刻度盘上指示数据变量的值的相应虚拟音频源是用真实声音产生设备产生的，但是用户感到声音是来自一个预定位置或方向。除了虚拟刻度盘，用音频处理单元可以实现在用户头部周围表示数据变量值的虚拟声源的任何几何分布。代替在一个固定位置呈现虚拟声源，该位置由数据变量的值确定，其在空间内并没有一个自然相关位置。例如，由温度计测量的温度没有自然关联位置，但它可以在一维坐标轴上测量。它必须被映射到空间内的一个点。如果数据变量具有第一值，虚拟声源就被呈现在第一位置，而如果数据变量具有第二值，虚拟声源就被呈现在第二位置。
数据变量的多个值被映射到空间内的一条轨迹。词语轨迹(locus)就其使用的意义是指“其坐标满足单个等式或一个或多个代数条件的所有点的集合或结构”。轨迹可以是一、二或三维的流形而且具有任何范围。例如，温度值可以被映射到一个围着用户头部的一维圆，或被映射到一个具有某个厚度的二维圆条。
已经存在多声道声音重现。例如，耳机虚拟器模拟例如在Dolby 5.1声音重现中所需要的5个扬声器作为虚拟扬声器。然而，用于这些声道的音频信息(导致虚拟声源位置)是在音频信号中已经存在的。所述虚拟源应该大致与在记录期间的乐器的实际位置一致。这些物理声源自然具有一个位置。例如，如果在记录管弦乐的过程中小提琴处在听众(或者在听众的位置处的麦克风)的右侧，那么在重现期间，虚拟的小提琴也应该或多或少让听众感到好象来自听众右侧的同一个点。立体声和多声道声音重现通常基于试探法(heuristics)，因此一个虚拟声源的位置不必与所记录的声源的原始位置完全一致。但是，扬声器(或者说耳机虚拟器内的虚拟扬声器)被放在一个固定位置，并一直保持在那里。这意味着虚拟声源的位置是由发送给扬声器的实际音频信号确定的。在数据表示设备内，虚拟声源的定位取决于所述数据变量，例如诸如时间之类的测量结果。由于时间没有明显的位置(它是一个无位置的或非位置的变量)，因此需要一个映射来将时间值映射到用户的头部周围的三维空间内的一条轨迹，其中相应的时间应该用虚拟声源表示。例如，在十二点时，在用户的头部的正上方产生一个钟声。
在一个实施例中，音频处理单元包括一个滤波器，用来将一个与头部有关的传递函数(HRTF)应用于一个输入音频信号，以得到像是分别来源自第一位置或第二位置的输出音频信号。音频处理单元的一个简单变型包括用简单的立体声移位(panning)来模拟虚拟声源位置的移位装置。通过改变分别要用于两个对应的立体声扬声器的第一和第二音频信号分量的幅度和/或延迟，可以遍历在这两个扬声器之间的一条虚拟声源位置的轨迹。然而，可以通过用用户特定的与头部有关的传递函数(HRTF)处理来自一个音频源的输入音频信号来获得对虚拟声源位置的更好的可控制性，其中为每个所希望的虚拟声源位置得到一个具有两个音频信号分量的输出信号：第一分量用于例如耳机的左扬声器，第二分量用于右扬声器。
数据表示设备可以包括一个数据变量分配器，用来将从来自一个测量设备的测量结果得出的数据变量提供给音频处理单元。如果数据变量是直接从来自一个测量设备的测量结果得出的(例如数据变量就是测量结果本身)则是有益的。数据变量分配器被安排成将测量结果数据变量发送给音频处理单元，用来对虚拟声源进行定位。附加地或者替换地，数据变量可以来源自一个数据变量提供装置。例如，数据变量可以存储在一个存储器装置内或通过因特网到达。数据变量分配器能发送一个来自单个所选的数据变量源的数据变量，或者发送来自不同的源的数据变量。数据变量分配器也可以被配置成只发送具有预定优先权的数据变量值。
在所述设备或它的实施例的一个修改中，映射单元被安排成将由数据变量的多个标称值(nominal value)构成的集合映射到三维空间的各预定区域。标称数据变量值是属于多个类别的值，例如代替用诸如摄氏刻度之类的数值刻度来规定温度，温度可以表示为“很热”、“热”、“温”和“冷”。这些标称值可以例如被映射到用户的头部上方的四个象限。在标称数据值之间没有自然的顺序关系，因此映射可以含有一个例如为每个标称数据值规定与空间内的位置之间的联系的表。
在所述设备或它的实施例的另一个修改中，映射单元被安排成将由数据变量的多个数字值构成的集合映射到三维空间内一条曲线轨迹上的各位置。在也应该呈现一个数字数据变量的情况下，映射单元被安排成规定一条在用户周围的曲线轨迹，并将它分成各区间，数字数据变量的各区间应该被映射到这些区间。轨迹可以是空间内的一维流形，但也可以是二维或三维流形。沿着轨迹的各位置可以是等距离的，或者也可以利用数据变量值与沿轨迹的位置之间的更为复杂的关系。
如果包括被安排成允许为映射单元规定一个优选映射的规定装置则是有益的。例如如果用户正在驾驶汽车，他可能希望用一个虚拟声源来呈现他的速度。一些事故所以发生是因为驾驶员只有例如2秒的反应时间，而如果他不将宝贵的时间浪费在看他的仪表上，他也许能及时刹车。当在高速公路上驾驶时，所允许的速度是120公里/小时。因此，他可能希望规定一个刻度盘，其中120公里/小时与一个在他的正前方的虚拟声源相应，而高达130公里/小时的速度被呈现在右侧90度。对于较低的速度，左侧的90度可以表示低到80公里/小时的速度。然而，当在建筑群区域内驾驶时，速度限制为50公里/小时，因此驾驶员可能希望规定一个替换的映射，其中25公里/小时到60公里/小时之间的速度被从左侧到右侧映射。特别是，在同时呈现多个刻度盘的情况下，如果由用户分配映射到不同空间区域的映射就很是有用，特别是在为所述虚拟声源分配的是类似的音响声音的情况下。
如果存在被安排成允许用第一种音频信号表示第一组数据变量值而用第二种音频信号表示第二组数据变量值的选择装置，那也是有益的。例如，为了将用户对所表示的数据值的量化精度提高到超过用户对声源定位的精度，可以将一个虚拟刻度盘上的相近的值用不同的虚拟声音表示。例如，每组十个相继的值用音调渐增的声音表示。第一值发出低音调的声音，第十值是高音调的，而第十一值又是低音调的，依此类推。此外，在同时呈现不同的刻度盘轨迹或一般而言同时呈现各数据变量映射时，可以用用户听起来不同的声音来表示它们各自的数据值。这样，用户就可以得知例如哨声表示速度测量结果，而钟声表示钟点，依此类推。
所述用一个音频信号来表示数据的系统的特征在于：
所述数据表示设备还包括一个映射单元，其被安排成用一个映射将数据变量的第一值映射到三维空间内的第一位置，而将数据变量的第二值映射到三维空间内的第二位置；以及
所述音频处理单元被安排成改变所述特征，使得对于听取该音频信号的用户来说，该音频信号对于具有第一值的该数据变量像是来自第一位置，而对于具有第二值的该数据变量像是来自第二位置。
所述用一个音频信号来表示数据的方法的特征在于：
实施一个映射，将数据变量的第一值映射到三维空间内的第一位置，而将数据变量的第二值映射到三维空间内的第二位置；以及
所述音频处理步骤改变所述特征，使得对于听取该音频信号的用户来说，该音频信号对于具有第一值的该数据变量像是来源自第一位置，而对于具有第二值的数据变量像是来源自第二位置。
从以下参照附图对只是作为非限制的例子的实现方式和实施例的所做说明中可以清楚地看到本发明的数据表示设备、系统和数据载体的这些和其它方面。
在附图中：
图1a示意性地示出了数据表示设备；
图1b示意性地示出了数据变量分配器的一些实施例；
图2示意性地示出了映射数字测量值的各例子；
图3示意性地示出了映射标称数据变量值的各例子；
图4示意性地示出了一条具有多个深度的虚拟轨迹；
图5示意性地示出了同时呈现两条虚拟轨迹的两个例子；
图6示意性地示出了数据载体；以及
图7示意性地示出了一个与头部相关的传递函数HRTF。
在这些附图中，虚线所示的元件是可选的，这取决于图1中的理想实施例和其它附图中的虚拟情况。在这些例示性的实施例中所示出的元件并不需要都出现在替换实施例中。
图1示出了用一个音频信号o呈现数据的数据表示设备100。它包括一个音频处理单元102，其被安排成提供具有特征C的音频信号o，该特征C被修改成使得音频信号o对用户200来说像是来自空间内的一个所希望的位置，这取决于数据变量p。数据变量p可以是物理测量m的结果或者另一个规定的结果，例如一个数学数字或例如电子邮件或另一个数据集的可数属性。音频处理单元102被安排成在数据变量p具有第一值206的情况下将图2中的虚拟声源222的第一位置分配给音频信号o，而在该数据变量具有第二值208的情况下将第二位置218分配给将音频信号o。虚拟声源222是用一个包括至少两个扬声器(例如PC、电视或收音机的耳机或扬声器)的声音产生设备112模拟的。音频信号o通常可以由音频处理单元102根据一个输入信号i得出。输入信号i可以是例如来自一个例如为便携式MP3播放机的外部音频源114的音乐，也可以是从一个内部音频源116内部产生的音频，例如为蜂鸣声或音乐。输入信号i可以是单声道或多声道音频。
所述数据变量可以是从一个测量设备104接收的，或者是从一个数据变量提供设备124接收的，数据变量提供设备124例如为一个盘读取器(在数据变量预先存在盘上的情况下)、存储器或网络连接。如果所有的数据变量p被顺序从盘上读出并被变换为虚拟声源位置，用户200可以迅速地采取与数据变量p的表示相应的某个动作，诸如按一个按钮之类。数据变量分配器122被安排成将从测量设备104或数据变量提供设备124接收到的数据变量p提供给音频处理单元102。数据变量分配器122可以例如被配置成只提供来自测量设备104的数据变量，也可以被配置成例如以交替方式提供来自测量设备104和数据变量提供设备124的数据变量。这两个数据变量还可以组成一个代码字，或者作为这两个数据变量的函数而计算出一个新的数据变量值。此外，数据变量分配器122可以被配置成在只以预定义的间隔提供数据变量p的值，或者为其分配优先权值。例如，如果数据变量与电子邮件消息有关，那么只有在电子邮件消息具有优先权值“职业电子邮件”时才可以表示如“紧急”、“普通”、“信息”等等之类的数据变量。所述间隔或优先权值可以被规定成指出危险情况，例如，只有在超过一个预定值的情况下才表示温度，否则就不用温度信息来打扰用户。为了实现这一点，可以存在优先权排序装置170。优先权排序装置170可以例如体现为一个处理器，其被安排成评估一组关于数据变量p的规则，只有在满足所述规则时才导致将相应的位置pos传输给音频处理单元102。
图1b示意性地示出了数据变量分配器122的几个示例实施例。它可以包括一个作为输出连接的第一连接180，在这个连接上，在不同时间t0、t1将来自不同测量设备或数据变量提供设备的数据变量按照预定义的交织方案交织。附加地或者替换地，可以存在第二连接182，在这个例子中第二连接182向音频处理单元102发送一个合成参数，它是第一物理测量结果m11和第一所提供数据变量pp的函数。第三连接184只在第二物理测量结果m12的值大于20时才将第二物理测量结果m12作为参数p13发送。映射单元132将与例如不同的物理测量结果相应的参数的时间序列变换为位置pos的时间序列，音频处理单元根据位置pos的时间序列分别为每个时间序列产生虚拟声源。在数据表示设备100的一个简单的变型中，只输入一种测量结果，因此数据分配器可以就是测量设备与映射单元132之间的直接电连接。
测量设备104可以例如是一个测量用户200每分钟跑多少步的步速计或者是一个心率计。用户200必须重复观看显示他的心率的显示器是很烦恼的。这可能会妨碍他的训练，甚至会因为注视显示器而被路上的凸起物绊倒。可以将音频处理单元102安排成使得始终存在来自虚拟源的声音(例如，如果使来自MP3播放机的音乐定位在用户200的头部周围)，或者它可以每隔几秒产生一个蜂鸣声。该蜂鸣声可以被加到所听的声音或音乐上。例如，一个设备可以用所添加的蜂鸣声来向一个正在收听来自便携式CD播放机的音乐(或者在另一个应用中正在收听电视上电影的声音)的用户200告警。
用户200可以规定，将他所希望的跑步步速映射到他正前方的位置，而将较慢的步速映射到他的头部上方。此外，对于一个闹钟收音机来说，虚拟声音定位是非常有用的。就当前的闹钟收音机情况，如果用户在闹钟收音机早晨开始播放后还睡着时，他只在播音员播报时间时(例如在读新闻期间每半小时)得到一个时间反馈。如果虚拟声源位置例如从闹钟收音机的左侧移动到右侧，用户200就一直得到时间反馈。
专业应用可以使用其它测量设备。例如，消防队员通常必须进入一个充满浓烟的建筑物。利用音频表示设备100，在显示器上很难看得见的测量结果就可以用虚拟声源呈现。
存在一个映射单元132，用来将数据变量p的值的集合映射到在三维空间内的位置pos的轨迹(例如图2中的轨迹202)或二维空间内的轨迹300(图3)。优选的是，还包括规定装置150，用来使用户200可以按照他的偏好规定映射。例如他可以将多个标称数据变量p的值映射到空间内的各二维区域(诸如第一区域302和第二区域304)，这些区域的大小和位置按照用户200的偏好规定。所述规定可以用数据输入装置152输入。例如，在便携式MP3播放机或移动电话机上可以存在一个触摸板，用户200可以通过在一个表示用户200的头部周围空间的一部分的预定义区域上画一些小矩形来在该触摸板上规定第一区域302和第二区域304。或者，用户可以用汽车收音机或车载计算机上的键或旋钮输入数据。所述映射单元可以包括一个存储与映射有关的数据或映射函数的存储器134。如果数据输入装置152包括一个网络连接(例如连接到因特网上)，还可以例如由数据表示设备100的制造商下载一个新的映射。
虚拟声源可以例如通过立体声移位(stereo panning)产生。输入音频信号i(例如为单声道音乐)由音频处理单元102变换为输出音频信号o，它具有两个分量，第一分量用于第一扬声器160，第二分量用于第二扬声器161。这两个分量的幅度被确定成使得音频信号o像是来自一个在这两个扬声器之间某处的虚拟声音位置。用与头部有关的传递函数HRTF可以达到精确得多的定位。为了获得这个结果，音频处理单元102可以包括一个将HRTF应用于输入音频信号i的滤波器140，以得到输出音频信号o。对于第一分量，使用第一HRTF。它表示声音怎样从一个处于虚拟声源位置处的真实声源传播到用户200的第一耳朵，而在他戴着耳机的情况下，这个耳朵主要由耳机的第一扬声器160激励。输入信号i由滤波器140用第一HRTF滤波，以得到第一分量。为了得到第二分量，输入信号i被用第二HRTF滤波。用于所有虚拟声源位置的各HRTF可以存储在第二存储器142内。
HRTF的一个例子示于图7。例如，可以用HRTF内的导致音频信号o具有在fp附近的频率范围内能量较少这一特征的凹陷(pinnanotch)的频率fp来模拟一个虚拟声源的升高。更多信息可以参见P.J.Bloom 的“Creating source elevation illusions by spectralManipulation(通过谱操作产生源升高幻觉)”(Journal of the audioengineering society，v.25，September 1977，pp.560-565)。关于用耳机给出虚拟声源的信息可以参见专利WO 0149066。更详细的有关用HRTF来模拟虚拟声源的信息可参见F.L.Wightman和D.J.Kistler的“Headphone simulation of free field listening.I：Stimulussynthesis(自由声扬收听的耳机模拟I：激励合成)”(Journal of theacoustical society of America 85 no.2，Feb.1989，pp.858-867)。怎样在给出固定数量的所测量的HRTF的情况下对于一个特定或一般用户内插各中间位置的各HRTF可以参见L.W.P.Biscainho等人的“Usinginter-positional transfer functions in 3D sound(将位置间的传递函数用于三维声音)”(Proceedings IEEE International Conference onAcoustics，Speech，and Signal Processing，Orlando，USA，2002，vol.II，pp.1961-1964)。
可以存在选择装置117，其被安排成允许数据变量p的第一组值用音频信号o的第一类型b(例如深低音)表示而数据变量p的第二组值用该音频信号的第二类型ch(例如钟声)表示。选择装置117可以形成例如内部音频源116的一部分，或者它们可以被合并入音频处理单元102。选择装置117还可以包括一个语音产生器118，其被安排成通过在虚拟声源222的位置处产生数据变量p的值的语音信号来改变音频信号的类型。例如，在空间内与数据变量p的基本上等于7的值相应的位置处产生与英语词“seven(7)”相应的声音。
图2示出了在用户200的头部周围延伸的与数字数据变量p的各值相应的虚拟声源位置的轨迹202。例如，第一映射M1将测量设备204(例如汽车的速度表)的刻度210上的各值映射到轨迹202。这个映射可以例如使得刻度210上的角与轨迹202上的角成正比，或者可以包括一个映射到一个非圆形轨迹的非线性角映射函数。例如第一位置216(在这个例子中表示30公里/小时)定位在离用户200的头顶50度处，第二位置218(表示40公里/小时)定位在离头顶40度处，第三位置219(表示50公里/小时)定位在离头顶30度处，等等。然而，如果用户200认为30公里/小时到40公里/小时之间的差别不如40公里/小时到50公里/小时之间的差别那样重要，他就可以将映射设计成第一位置216与第二位置218之间为5度，而第二位置218与第三位置219之间为15度。或者，他还可以规定一个映射，其中在他基本上用所希望的速度驾驶时没有声音，而只用音频表示太低或太高的速度。第二映射M2可以例如映射温度计234的温度。在轨迹202上，第一值206可以例如与在第一位置216处的像吉他的声音相应，而第二值208可以与在第二位置218处的钟声相应。映射单元132可以被安排成使得只是一部分刻度210(例如只是低速度)被映射到轨迹202。临界速度(例如120公里/小时)以下的速度可以以较小的角度间隔映射到轨迹202的一个较小的部分，而120公里/小时以上的速度可以以较大的角度间隔映射。甚至可以漏掉刻度210的一些部分。用户200可以将轨迹202置于三维空间中他喜欢的任何地方。例如，他可能更喜欢让轨迹在水平面内围着他，因为这对于他来说更为自然，或者因为这样他可以更为容易地判断速度差别。在音频处理单元102的一个变型中，只用HRTF确定方位角，而虚拟声源222的高度用对音频信号o的音调修改来模拟。箭头220指示听到虚拟声源222的位置或方向，其是一种虚拟的指针。由于例如音频处理或用户200的定位能力的限制，就术语的含义而言，包括在空间内的一个位置应该包含虚拟声源似乎并没有精确地位于一个明确定义的空间点、而是位于空间的一个小区域252内的情况。
图3示出了可以怎样将标称值映射到空间的各区域。例如，测量设备325可以输出冷C、温T和暖W的三个标称值中的一个。用第三映射M3以分别处在第一区域302、第二区域304和第三区域306的虚拟声源来表示它们。将一个虚拟声源分配到一个区域可以通过将它分配到这个区域内的一个位置330(例如这个区域的中心)来实现。如果在标称值之间有一个次序(如在温度的情况下)，映射可以遵循一个有次序的路径315。这可以是通过可用区域302、304等等的任何路径，例如为之字形路径、螺旋形路径、分形(fraetal)路径等。
或者，由计算机320接收到的电子邮件可以具有诸如“紧急”、“公司电子邮件”之类的属性。这些属性也可以用第四映射M4映射到这些区域。计算机320也可以通过映射它们的标称值来呈现某些命令或告警信号。
如果将区域302、308...用作列，例如第一列由第二区域304和第三区域306组成，第二列由第一区域302和第四区域308组成等等，就可以实现其它映射。例如，当在一个超级市场内购物时，这些列可以表示要购买的产品的类型，或者在工作环境内，它们可以表示各种日常工作。例如，在第三区域306内的每小时一个声音可以指示在第一列内还留下两个日常工作，表示要发送的电子邮件。第一区域302的声音可以指示今天只要给一个人打电话。
图4示意性地示出了具有多个深度的曲线的第二轨迹400。音频信号o的幅度可以用来模拟深度，但也可以用其它特征来模拟深度，诸如添加的混响(reverberation)之类。这种第二曲线轨迹400在数据变量对用户200具有某种重要性时(例如一个电子邮件从普通改变为紧急时)是有益的。
图5a示出了如何同时呈现数据变量p的第一和第二实例，例如第一数据变量p1是时间而第二数据变量p2是走过的距离。为了避免用户200混淆不同的数据变量表示，可以例如在用户200的右边呈现第三轨迹500，并且可以例如在左边呈现第四轨迹510。如果两条轨迹的虚拟声源发出类似的音响声音，这就特别重要。两个声音可以在相同时刻或在时间上交织地发出。两个声音还可以遍历同一条轨迹，例如第一曲线轨迹202，只要它们听起来是不同的。优选的是它们在不同的时刻发出。
图5b示出了怎样可以同时呈现两条与不同的数据变量p相应的轨迹的另一个例子。所述轨迹可以错综交叉，只要不同的音响声音被用于它们的虚拟声源。第一数据变量p1的各值在三维区域520、522、524等之内表示(如点线所示)，而第二数据变量p2的各值在三维区域540、542、544等之内表示(如虚线所示)。
一个被安排成提供输入音频信号i的音频源114、116，一个数据变量p的源104、124，声音产生设备112，以及用音频信号o呈现数据的数据表示设备100，可以一起形成一个单独的系统。它的各部件可以用不同的可能物理组合实现，这取决于系统是便携式的还是安装在一个房间或汽车内。信号连接可以用任何已知的技术以有线或无线实现。可以存在一个头部跟踪器来跟踪用户200的头部的取向，以允许音频处理单元为一个新的取向重新选择一个HRTF，从而使得虚拟声源222似乎在空间内是静止的。如果用耳机作为声音产生设备，则为了安全，可以将它们安排成部分地通过来自环境的声音。数据表示设备可以体现在诸如移动电话、便携式计算机、便携式音频播放机、家用计算机、汽车收音机、电视机之类的不同类型的设备内。
应该指出的是，以上所提到的实施例只是例示而不是限制本发明，熟悉该技术的人员在不背离权利要求书给出的本发明的专利保护范围的情况下能够设计出一些可替代的方案。除了如在权利要求书中所组合的本发明的元件组合之外，本发明涵盖了如熟悉该技术的人员所理解的在本发明的专利保护范围内的所有其它元件组合。任何元件组合都可以用单个专用元件实现。权利要求内的任何括入括号的附图标记并不是要限制这个权利要求。词语“包括”并不排除还存在没有列在权利要求内的元件或特征。元件前面的词语“一个”并不排除存在多个这样的元件。
本发明可以用硬件或用在计算机上运行的、并且以前存储在一个数据载体上或通过一个信号传输系统发送的软件实现。
Claims (9)
1.借助音频信号(o)表示数据的数据表示设备(100)，所述数据表示设备包括
音频处理单元(102)，该音频处理单元被安排成提供具有取决于一个能具有第一值(206)和第二值(208)的无位置数据变量(p)的特征(C)的音频信号(o)，
其中，所述数据表示设备包括映射单元(132)，该映射单元被安排成将数据变量(p)的第一值(206)映射到三维空间内的第一位置(216)，而将数据变量(p)的第二值(208)映射到三维空间内的第二位置(218)；以及
所述音频处理单元(102)被安排成改变所述特征(C)，使得对于听取该音频信号(o)的用户(200)来说，该音频信号对于具有第一值(206)的该数据变量(p)像是来源自第一位置(216)，而对于具有第二值(208)的该数据变量(p)像是来源自第二位置(218)。
2.如在权利要求1中所要求的数据表示设备(100)，其中所述音频处理单元(102)包括一个滤波器(140)，用来将与头部有关的传递函数(HRTF)应用于一个输入音频信号(i)，以得到像是分别来源自第一位置(216)或第二位置(218)的输出音频信号(o)。
3.如在权利要求1中所要求的数据表示设备(100)，所述数据表示设备还包括一个数据变量分配器(122)，它能够将可从来自一个测量设备(104)的测量结果(m)得出的数据变量(p)提供给所述音频处理单元(102)。
4.如在权利要求1中所要求的数据表示设备(100)，其中所述映射单元(132)被安排成将由数据变量(p)的各标称值构成的集合映射到三维空间的各预定区域。
5.如在权利要求1中所要求的数据表示设备(100)，其中所述映射单元(132)被安排成由将数据变量(p)的各数字值构成的集合映射到三维空间内的一条曲线轨迹(202)。
6.如在权利要求1中所要求的数据表示设备(100)，其中所述数据表示设备还包括规定装置(150)，该规定装置被安排成允许用户规定映射。
7.如在权利要求1中所要求的数据表示设备(100)，其中还存在选择装置(117)，该选择装置被安排成允许用第一种音频信号表示第一组数据变量值，而用第二种音频信号表示第二组数据变量值。
8.一种借助音频信号(o)表示数据的系统，所述系统包括：
音频源(114，116)，该音频源被安排成提供一个输入音频信号(i)；
数据变量源(104，124)，所述数据变量能具有第一值(206)和第二值(208)；
声音产生设备(112)；以及
借助该音频信号(o)表示数据的数据表示设备(100)，所述数据表示设备(100)包括
音频处理单元(102)，该音频处理单元被安排成将具有取决于该数据变量(p)的特征(C)的音频信号(0)提供给该声音产生设备(112)，
其中，所述数据表示设备(100)还包括一个映射单元(132)，该映射单元被安排成用一个映射将该数据变量(p)的第一值(206)映射到三维空间内的第一位置(216)，而将该数据变量(p)的第二值(208)映射到三维空间内的第二位置(218)；以及
所述音频处理单元(102)被安排成改变所述特征(C)，使得对于听取该音频信号(o)的用户(200)来说，该音频信号对于具有第一值(206)的该数据变量(p)像是来源自第一位置(216)，而对于具有第二值(208)的该数据变量(p)像是来源自第二位置(218)。
9.一种借助音频信号(o)表示数据的方法，所述方法包括一个音频处理步骤，该音频处理步骤提供具有取决于一个能具有第一值(206)和第二值(208)的数据变量(p)的特征(C)的音频信号(o)，
其中，实施一个映射，以将该数据变量(p)的第一值(206)映射到三维空间内的第一位置(216)，而将该数据变量(p)的第二值(208)映射到三维空间内的第二位置(218)；以及
所述音频处理步骤改变所述特征(C)，使得对于听取该音频信号(o)的用户(200)来说，该音频信号对于具有第一值(206)的该数据变量(p)像是来源自第一位置(216)，而对于具有第二值(208)的该数据变量(p)像是来源自第二位置(218)。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP02080357 | 2002-11-20 | ||
| EP02080357.3 | 2002-11-20 | ||
| EP02080570.1 | 2002-12-30 | ||
| EP02080570 | 2002-12-30 | ||
| PCT/IB2003/005131 WO2004047489A1 (en) | 2002-11-20 | 2003-11-13 | Audio based data representation apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1714598A CN1714598A (zh) | 2005-12-28 |
| CN1714598B true CN1714598B (zh) | 2010-06-09 |
Family
ID=32327855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2003801036138A Expired - Fee Related CN1714598B (zh) | 2002-11-20 | 2003-11-13 | 基于音频的数据表示设备和方法 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20060072764A1 (zh) |
| EP (1) | EP1566076B1 (zh) |
| JP (1) | JP2006506884A (zh) |
| KR (1) | KR20050085017A (zh) |
| CN (1) | CN1714598B (zh) |
| AT (1) | ATE503354T1 (zh) |
| AU (1) | AU2003278517A1 (zh) |
| DE (1) | DE60336499D1 (zh) |
| WO (1) | WO2004047489A1 (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1675432A1 (de) * | 2004-12-27 | 2006-06-28 | Siemens Aktiengesellschaft | Mobiles Kommunikationsendgerät zum Erzeugen einer ortsfesten virtuellen Schallquelle |
| JP4988716B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
| WO2006126844A2 (en) * | 2005-05-26 | 2006-11-30 | Lg Electronics Inc. | Method and apparatus for decoding an audio signal |
| KR100953641B1 (ko) * | 2006-01-19 | 2010-04-20 | 엘지전자 주식회사 | 미디어 신호 처리 방법 및 장치 |
| WO2007091845A1 (en) * | 2006-02-07 | 2007-08-16 | Lg Electronics Inc. | Apparatus and method for encoding/decoding signal |
| US8401210B2 (en) * | 2006-12-05 | 2013-03-19 | Apple Inc. | System and method for dynamic control of audio playback based on the position of a listener |
| US9105187B2 (en) * | 2009-05-14 | 2015-08-11 | Woox Innovations Belgium N.V. | Method and apparatus for providing information about the source of a sound via an audio device |
| WO2011146489A1 (en) * | 2010-05-17 | 2011-11-24 | Jon Parsons | System and method for multi-dimensional secretion of digital data |
| CH703501A2 (de) * | 2010-08-03 | 2012-02-15 | Stormingswiss Gmbh | Vorrichtung und Verfahren zur Auswertung und Optimierung von Signalen auf der Basis algebraischer Invarianten. |
| US9522330B2 (en) | 2010-10-13 | 2016-12-20 | Microsoft Technology Licensing, Llc | Three-dimensional audio sweet spot feedback |
| US20130208897A1 (en) * | 2010-10-13 | 2013-08-15 | Microsoft Corporation | Skeletal modeling for world space object sounds |
| US9167368B2 (en) | 2011-12-23 | 2015-10-20 | Blackberry Limited | Event notification on a mobile device using binaural sounds |
| US20130339859A1 (en) | 2012-06-15 | 2013-12-19 | Muzik LLC | Interactive networked headphones |
| CN104010265A (zh) * | 2013-02-22 | 2014-08-27 | 杜比实验室特许公司 | 音频空间渲染设备及方法 |
| EP2830332A3 (en) | 2013-07-22 | 2015-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
| US9473871B1 (en) * | 2014-01-09 | 2016-10-18 | Marvell International Ltd. | Systems and methods for audio management |
| US11595775B2 (en) * | 2021-04-06 | 2023-02-28 | Meta Platforms Technologies, Llc | Discrete binaural spatialization of sound sources on two audio channels |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE861305C (de) * | 1948-10-02 | 1954-05-13 | Atlas Werke Ag | Akustisches, nach dem Echolotverfahren arbeitendes Blindenleitgeraet |
| US5729612A (en) * | 1994-08-05 | 1998-03-17 | Aureal Semiconductor Inc. | Method and apparatus for measuring head-related transfer functions |
| CN1208541A (zh) * | 1996-11-15 | 1999-02-17 | 菲利浦电子有限公司 | 单声道－立体声转换设备、利用该设备的还音系统以及单声道－立体声转换方法 |
| US5987142A (en) * | 1996-02-13 | 1999-11-16 | Sextant Avionique | System of sound spatialization and method personalization for the implementation thereof |
| CN2413437Y (zh) * | 1999-08-09 | 2001-01-03 | 陶成果 | 全功能耳包接收立体声发收录放装置 |
| US6173061B1 (en) * | 1997-06-23 | 2001-01-09 | Harman International Industries, Inc. | Steering of monaural sources of sound using head related transfer functions |
| US6230047B1 (en) * | 1998-10-15 | 2001-05-08 | Mchugh David | Musical listening apparatus with pulse-triggered rhythm |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9726338D0 (en) * | 1997-12-13 | 1998-02-11 | Central Research Lab Ltd | A method of processing an audio signal |
| WO2001061483A2 (en) * | 2000-02-14 | 2001-08-23 | Geophoenix, Inc. | System and method for graphical programming |
| US7138575B2 (en) * | 2002-07-29 | 2006-11-21 | Accentus Llc | System and method for musical sonification of data |
-
2003
- 2003-11-13 DE DE60336499T patent/DE60336499D1/de not_active Expired - Lifetime
- 2003-11-13 US US10/535,298 patent/US20060072764A1/en not_active Abandoned
- 2003-11-13 WO PCT/IB2003/005131 patent/WO2004047489A1/en active Application Filing
- 2003-11-13 AT AT03769817T patent/ATE503354T1/de not_active IP Right Cessation
- 2003-11-13 JP JP2004552997A patent/JP2006506884A/ja not_active Ceased
- 2003-11-13 KR KR1020057008838A patent/KR20050085017A/ko not_active Application Discontinuation
- 2003-11-13 EP EP03769817A patent/EP1566076B1/en not_active Expired - Lifetime
- 2003-11-13 AU AU2003278517A patent/AU2003278517A1/en not_active Abandoned
- 2003-11-13 CN CN2003801036138A patent/CN1714598B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE861305C (de) * | 1948-10-02 | 1954-05-13 | Atlas Werke Ag | Akustisches, nach dem Echolotverfahren arbeitendes Blindenleitgeraet |
| US5729612A (en) * | 1994-08-05 | 1998-03-17 | Aureal Semiconductor Inc. | Method and apparatus for measuring head-related transfer functions |
| US5987142A (en) * | 1996-02-13 | 1999-11-16 | Sextant Avionique | System of sound spatialization and method personalization for the implementation thereof |
| CN1208541A (zh) * | 1996-11-15 | 1999-02-17 | 菲利浦电子有限公司 | 单声道－立体声转换设备、利用该设备的还音系统以及单声道－立体声转换方法 |
| US6173061B1 (en) * | 1997-06-23 | 2001-01-09 | Harman International Industries, Inc. | Steering of monaural sources of sound using head related transfer functions |
| US6230047B1 (en) * | 1998-10-15 | 2001-05-08 | Mchugh David | Musical listening apparatus with pulse-triggered rhythm |
| CN2413437Y (zh) * | 1999-08-09 | 2001-01-03 | 陶成果 | 全功能耳包接收立体声发收录放装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20060072764A1 (en) | 2006-04-06 |
| DE60336499D1 (de) | 2011-05-05 |
| KR20050085017A (ko) | 2005-08-29 |
| EP1566076A1 (en) | 2005-08-24 |
| ATE503354T1 (de) | 2011-04-15 |
| EP1566076B1 (en) | 2011-03-23 |
| WO2004047489A1 (en) | 2004-06-03 |
| CN1714598A (zh) | 2005-12-28 |
| AU2003278517A1 (en) | 2004-06-15 |
| JP2006506884A (ja) | 2006-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1714598B (zh) | 基于音频的数据表示设备和方法 | |
| US11653168B2 (en) | Music collection navigation device and method | |
| CN104205878B (zh) | 用于通过头相关传输函数的线性混合生成头相关传输函数的方法及系统 | |
| US7774707B2 (en) | Method and apparatus for enabling a user to amend an audio file | |
| KR101101385B1 (ko) | 오디오 재생 장치, 피드백 시스템 및 방법 | |
| CN101558441A (zh) | 乐曲系统和控制乐曲的生成的方法 | |
| CN113823250A (zh) | 音频播放方法、装置、终端及存储介质 | |
| Boren et al. | I hear NY4D: Hybrid acoustic and augmented auditory display for urban soundscapes | |
| Serafin et al. | Reflections from five years of Sonic Interactions in Virtual Environments workshops | |
| Jenny et al. | Can I trust my ears in VR? Literature review of head-related transfer functions and valuation methods with descriptive attributes in virtual reality | |
| CN107727107A (zh) | 用于生成声学信号以定位兴趣点的系统和方法 | |
| CN102802111A (zh) | 一种输出环绕声的方法和系统 | |
| KR100697442B1 (ko) | 음향 재생 장치를 이용한 이동 시뮬레이팅 방법 및 상기방법을 수행하기 위한 사운드 재생 장치 | |
| Rumsey | Binaural audio and virtual acoustics | |
| CN108200524A (zh) | 一种开口声腔模态频率的测试方法及系统 | |
| JPWO2020066825A1 (ja) | 音声メッセージシステム、サーバ装置、サーバ装置の情報処理方法、プログラム、および音声メッセージのデータ構造 | |
| KR20240075538A (ko) | 신체 움직임에 기반한 작곡 시스템 | |
| US20240284137A1 (en) | Location Based Audio Rendering | |
| WO2024084950A1 (ja) | 音響信号処理方法、コンピュータプログラム、及び、音響信号処理装置 | |
| Nuora | Introduction to sound design for virtual reality games: a look into 3D sound, spatializer plugins and their implementation in Unity game engine | |
| Healy et al. | Spatially augmented audio delivery: Applications of spatial sound awareness in sensor-equipped indoor environments | |
| Bhat et al. | Design methodology of 3D sounds for in-vehicle auditory information systems | |
| Hur et al. | Efficient individualization of HRTF using critical-band based spectral cues control | |
| JP2020141290A (ja) | 音像予測装置および音像予測方法 | |
| Holbrook | Sonic Design and Spatial Features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 Termination date: 20171113 |