CN1703735A - 用于数据的音乐发音的系统和方法 - Google Patents

Abstract

音乐发音系统和方法实现诸如实时金融市场数据之类的数据的发音，以生成包括该数据的音乐表现在内的音频信号输出。发音引擎根据配置数据与发音和映射模式，将该数据转换为声音参数。声音发生器根据声音参数生成音频输出信号。

Description

用于数据的音乐发音的系统和方法

相关申请的交叉引用

本发明要求申请日期为2002年7月29日的共同未决美国临时专利申请系列号60/399,284的利益，本文全文引用作为参考。

技术领域

本发明涉及数据的发音，更确切地说，涉及诸如金融市场数据之类的复杂数据流的音乐发音的系统和方法。

背景信息

几个世纪以来，一直使用印刷的视觉显示采用柱形图、饼图和图表的方式显示信息。在信息时代，视觉显示(如，计算机监视器)成为用来表达大量信息的主要装置。例如，通常使用带有视觉显示的计算机来处理和/或监视复杂的数值数据，如金融交易市场数据，流体流动数据，医疗数据，空中交通控制数据，安全数据，网络数据和过程控制数据。上述数据的计算处理生成监工员难以在视觉上实时监控的结果。视觉显示往往引起实时的数据密集的情况中的过度使用，从而造成视觉数据过载。例如，在金融交易情况中，交易员必须不断查看用来显示不同市场、证券、指数等的实时市场数据的不同图表的众多屏幕。因此，在监视大量数据时，需要增加感知带宽以减少视觉数据过载。

声音一直作为表达信息的手段。使用声音表达信息的例子包括盖革计数器，声纳，听觉温度计，医疗和飞机座舱听觉显示，以及莫尔斯电码。使用非言语声音表达信息通常称为听觉显示。计算应用中的一类听觉显示系指使用听觉图标表示某些事件(如，打开文件夹，出错等)。另一类听觉显示是可听发音，其中将数据直接转换为声音，无需任何类型的映射或翻译。例如，通过使用振荡器，可以将数据信号直接转换为模拟声音信号。上述类型的听觉显示的使用受到计算系统的声音生成能力的限制，并且不适合更复杂的数据。

发音是较新类型的听觉显示。发音的定义是：把正在研究的某些领域中用数字表示的关系映射为声学领域中的关系，以便解释、理解或传达正在研究的领域中的关系(C.Scaletti，“sound synthesisalgorithms for auditory data representations，”in G.Kramer，ed.，International Conference on Auditory display，no.XVIII in Studies inthe Sciences of Complexity，(Jacob Way，Reading，MA 01867)，SantaFe Institute，Addison-Wesley Publishing Company，1994.)。通过使用计算机把数据映射为声音使复杂的数值数据发音。

发音的应用在医疗领域很常见，如美国专利号6,449,501，6,283,763，6,083,163，5,836,302和5,730,140公开的那样，本文引用上述专利作为参考。发音的应用在其他领域中受到限制。发明人为Kramer的美国专利号5,371,854公开了应用于股市数据的发音的一个例子，本文引用该申请作为参考。Kramer公开了使用听觉标志作为数据比较和走向之基准的发音系统。股市数据发音的其他尝试包括Keith Nesbitt和Stephen Barrass在Proceedings of ICAD，Tokyo，2002上发表的，题目为“Evaluation of a Multimodal Sonification andVisualization of Depth of Stock Market Data”，发表日期为2002年7月2日至5日的论文，该文使用发声警报表示交易系统中的“买”和“卖”。发表于斯坦福大学网站上的网址为http：//www-ccrma.stanford.edu/groups/soni/index.html的斯坦福大学的CCRMA的Jonathon Berger的论文，公开了使用过滤噪声的脉冲的历史金融数据的发音，每个交易日一个脉冲。

人类识别声音模式的能力提供了使用听觉显示的独特潜能。声音模式是随着时间的推移识别的，偏离学过的模式导致预期冲突。例如，个人建立汽车引擎的“正常”声音的基线，当基线改变或中断时可以发现问题。同样，人脑可以同时或独立处理话音，音乐和自然界中的声音。特别地，在听觉认知和模式识别方面，音乐比其他类型的声音更有优势。音乐模式是隐式学习的，即使不是音乐家也能识别，并且在美学上令人高兴。

现有听觉显示尚未开发声音特别是音乐的真正潜能，其中声音或音乐作为监视数据时增加感知带宽的手段。例如，美国专利号5,371,854并未公开基于音乐特别是常见音乐的发音。Kramer完全依靠使用标志而不是识别音乐模式的能力来辩识数据走向。因此，现有发音技术没有利用音乐特有的听觉认知性质。

因此，需要能够通过使用音乐模式来增加数据感知带宽的音乐发音系统和方法。

发明内容

根据本发明的一个方面，提供满足上述需求的音乐发音系统和方法。根据该音乐发音系统和方法，从至少一个数据流中获取至少一个数据输入，根据所需的映射数据的音乐表现，将数据参数映射为声音参数。通过将数据输入值转换为相应的声音参数，并根据相应的声音参数生成声频信号，使数据流中的映射数据发音。声频信号输出包括数据流中的映射数据的音乐表现。

根据本发明的另一方面，提供基于配置数据以及至少一个预定发音和映射模式使数据发音的方法。发音和映射模式把数据参数映射为声音参数，以形成映射数据的音乐表现。数据输入值是从数据流中接收的，通过使用发音和映射模式以及配置数据，把与映射数据相应的数据输入值转换为相应的声音参数。声频信号输出是根据相应的声音参数生成的，并且包括数据流中的映射数据的音乐表现。

根据本发明的又一方面，提供音乐发音系统。该系统包括配置数据和数据服务器，用于接收数据流并提供来自数据流的数据输入值。该系统还包括至少一个发音和配置模式，用于将数据参数映射为声音参数以形成映射数据的音乐表现。发音引擎根据发音和映射模式以及配置数据，将数据流中的映射数据的数据输入值转换为相应的声音参数。声音发生器根据相应的声音参数生成声频信号输出，声频信号输出包括数据流中的映射数据的音乐表现。

根据本发明的又一方面，提供在数据的音乐发音中使用的计算机程序产品。计算机程序产品包括用于获取配置数据的配置代码。定义至少一个发音和映射模式的发音和映射模式代码，用于将数据参数映射为声音参数以形成映射数据的音乐表现。发音引擎代码根据至少一个发音和映射模式以及配置数据，将数据流中的映射数据的数据输入值转换为相应的声音参数。发音引擎代码将相应的声音参数发送到声音发生器，以便生成包含映射数据之音乐表现的声频输出信号。

附图说明

通过连同附图一起阅读以下详细说明书，将更加理解本发明的各种特征和优点，其中附图为：

图1为根据本发明之某一实施方式使数据流发音的系统和方法的功能框图；

图2为数据输入获取的某一实施方式的功能框图；

图3为一个流程图，表示将数据映射为声音参数的一种实施方式；

图4-12为流程图和曲线图，表示映射不同类型的声音参数的方法示例；

图13为映射的声音发音的某一实施方式的功能框图；

图14为根据本发明之另一实施方式的数据流的音乐发音系统的功能框图；

图15表示一种类型的发音和映射模式中使用的离散发音的音乐记号；

图16表示另一种类型的发音和映射模式中使用的连续发音的音乐记号；以及

图17-20表示发音和映射模式的特定实例的音乐记号。

具体实施方式

正如下面详细说明的那样，本发明之实施方式的目的在于各种类型的数据领域内的复杂数据流的音乐发音。

音乐发音提供数据转换，以便用相应的音乐关系清楚表示数据中的关系。音乐发音最好生成“令人高兴的”音乐声，后者产生高度的人类感知的基础数据流，从而增加数据的感知带宽。正如本文使用的那样，“音乐”或“音乐的”系指为创作既和谐又连续的乐曲而对具有顺序、组合以及时间关系的各种音调或声音进行排序的科学或艺术。尽管本发明使用的音乐最好为常见音乐，并且本发明的典型实施方式使用西方音乐来创作令人高兴的音乐声，但是术语“音乐”或“音乐的”并不限于任何特定风格或类型的音乐。

参照图1，音乐发音系统和方法10的一种实施方式基于三个主要概念阶段：(1)数据输入获取阶段12；(2)数据到声音的映射阶段14；以及(3)发音阶段16。数据获取阶段12基于特定上下文的数据源，格式和协议的细节。正如图2所示，在数据获取阶段12中，数据领域专家用户从图形环境中选择已知数据源或数据流20。执行数据获取的输出为基于数据流20的一个或多个具体数据输入22的描述。例如，在金融交易行业中，数据流20包括股票或其他金融数据的领先提供商提供的行业标准市场数据。通过规定用来描述数据源的用户生成的数据输入规范，还可以支持未指定的数据源。

除选择用于发音的数据外，通过根据所需的适合于该数据源的发音策略选择操作模式，该用户把该数据和某个目的用途联系起来。操作模式的例子包括但不限于：警告模式，独立模式和关系模式。警告模式提供基于事件的警告，如例外、触发器和/或阈值。独立模式提供连续不断的单点独立数据源监控，其中所有点都是可辩识的。关系模式提供若干独立数据源之间的关系的连续发音。

在映射阶段14中，用户建立所需数据的合适的音乐表现。例如，询问用户有关数据关系，首选音乐风格，声音采样，以及其他数据特征或首选项。声音的感知是非常个性化的，用户受益于用来获取最令人高兴的声音映射的可用配置的向导和帮助。在不同实施方式中，用户可以选择能够反映其个人首选项以及收听风格的声音模式和方法。

在一种实施方式中，数据到声音映射阶段的完成产生声音参数，正如图3所示，声音参数最好适合于实时数字声频合成或MIDI。声音参数与诸如音高、音量、拍子记号、节拍、音符的时值、包络线、音质、线间空白和效果之类的声音特征相对应。图4-12表示用于不同声音特征的数据到声音映射的示例。流程图表示把数据参数映射为声音参数的过程，曲线图表示输入值和声音参数之间的关系。诸如节拍映射数据之类的数据不依赖于离散数据值。同样，可以把某些数据映射为特定音符(如，特殊值的音高，音符的时值，包络线等)。

在发音阶段16中，使映射的数据发音以生成与数据流相对应的声频信号输出。正如下面将要详细说明的那样，可以使用各种规则，数据转换和算法来管理发音阶段16，以便提供与每个用户的首选项以及风格一致的声音。可以根据用户输入“创建”不同的声音流，并且可以单独或共同启动或停止声音流。作为选择，声音流可以根据用户设置的阈值水平自动启动或停止。

参照图13，发音阶段16的一种实施方式使用实时计算机合成采样30和/或MIDI声音模块32生成声频输出信号。可以使用混频器类型的接口34，以便用户把诸如电平、空间化、音域、音调控制之类的各种声音特征调整为其喜欢的值。发音阶段16还可以包括“捕获”特征，可以启动或停止该特征以保存声音流用于后面的历史收听或研究。可以以不同速度播放“捕获”的声音流，其中上述速度保持声音流的音色。

音乐发音阶段16可以包括各种类型的声音处理，以生成该数据的音乐表现。声音处理的例子包括但不限于：使用单位发生器(加法/减法合成，FM，过滤等)组成的电路的数字声频合成；可以提供环境噪声或自然界中的声音的物理建模合成；MIDI(发送到板上MIDI合成器的音符信息)；使用背景音乐的音乐处理/畸变，其中背景音乐根据数据条件进行畸变，改变，加速，增大音量等；光谱交叉合成，通过使用光谱处理允许一个音轨控制或操纵另一个音轨；以及直接演奏数字输入流。

其他实施方式也可包括同位视觉显示(未示出)。在培训操作员之类的环境中使用此类视觉显示，从而操作员能在发音处理运行的同时监控数据流。

参照图14，该图详细描述音乐发音系统40的典型实施方式。通常，数据服务器42接收来自数据源的实时数据流，把来自数据流的数据输入值实时传送到发音引擎44。发音系统40包括配置数据46和至少一个发音和映射模式48。发音和映射模式48把数据参数映射为声音参数，以形成映射数据的音乐表现。根据配置数据46以及发音和映射模式48，发音引擎44把与映射数据相对应的数据输入值转换为相应的声音参数。声音发生器50根据相应的声音参数生成声频信号输出。声频信号输出包括数据流中的映射数据的音乐表现。

数据服务器42以独立的协作进程的方式在本地或远程运行。在典型实施方式中，实时数据流包括金融市场数据，数据服务器42支持一个或多个公众和/或私有市场数据源。市场数据源可以为行业标准数据源，包括但不限于Bloomberg，TIBCO Rendezvous(路透社)和微软Biztalk服务器。该系统也可以支持出价/要价国债数据或国债期货数据的直接数据输入。

在一种实施方式中，通过使用Bloomberg开发API中提供的示例代码，以Visual Basic应用程序的方式实现Bloomberg数据服务器。在另一种实施方式中，通过使用路透社提供的示例代码，采用Java或其他支持语言，实现TIBCO Data Listener(数据接听)。也可根据其他数据源考虑数据服务器42的其他实现方式，包括但不限于套接字，数据总线和XML。

配置数据46最好存储在配置文件中，可以手工或借助用户配置界面52创建并编辑配置文件。用户配置界面52最好在安装发音系统时获取配置数据46。配置数据46通常包括与要发音的数据有关的信息，如用户定义的阈值(如，与数据变动或关系有关)，期望的数据范围，似乎合理的数据范围，音乐隐喻以及数据易变性。配置数据46还包括与收听首选项有关的信息，如声音亲和力，喜爱的乐器以及首选音乐风格。

在典型实施方式中，配置数据46可以包括：交易风格和过程配置数据，如重大变动阈值，重大出价/要价阈值和期望的数据范围；数据流行为配置数据，如似乎合理的数据范围，音乐隐喻和数据易变性；以及收听首选项数据，如音乐亲和力，喜爱的乐器和音乐风格。用户配置界面52包括用来获取不同类型的配置数据的配置向导，如交易风格向导，数据设置向导和声音个性化向导。交易风格向导引导用户通过人机会话，以便描述用户的交易环境，传输媒介和风格。不同环境中的数据流(如，专属交易员，资产经理，固定收入，证券，衍生品，商品等)具有不同特征，可能需要独特的发音策略。使用数据设置向导选择数据源(如证券或市场指数)并指定数据源中的数据项(如字段)。根据数据源的知识和特性，适当配置发音系统。声音个性化向导与用户交互，以便用户配置声音和音乐首选项。

发音和映射模式48最好是从众多预定发音和映射模式中选择的。发音和映射模式是基于不同类型的数据和数据之间的关系而设计的，以便针对不同情况和数据流来优化用户的感知。发音和映射模式可以使用隐喻，从而把某种类型的数据或某种类型的事件和某种类型的声音或音乐特征联系起来。在典型实施方式中，根据适合于不同交易风格和/或市场数据源(如，不同证券或市场指数)的不同发音策略，定义不同的发音和映射模式。

发音和映射模式最好是根据刻画音乐的关系和组织而设计的。在典型实施方式中，发音和映射模式使用西方音乐概念，如和声，不和谐音，反复旋律，和弦和等程音阶。每个发音和映射模式定义一个声音类型和一个映射模式，声音类型根据数据的类型确定播放的声音类型(如乐器)，映射模式根据数据关系确定播放声音的方式(如旋律)。可采用使用已知软件的任何编程语言实现发音和映射模式，已知软件如SoftSync公司名为JSyn的基于Java的声音合成软件。也可使用其他类型的声音合成软件。

声音类型包括但不限于，采样的声音类型(例如，诸如低音管，小提琴，竖琴，单簧管，加麦兰，木琴之类的原声乐器的录音)与合成的声音类型，如FM(调频)乐器合成和三角形振荡器合成。在典型实施方式中，最好使用不同声音类型(如乐器)来区分不同数据流，并且可以使用隐喻，从而把某种类型的数据和某种类型的声音联系起来。例如，利用低音管声音类型实现道琼斯工业平均指数的发音，利用电子振荡器声音类型实现纳斯达克指数的发音，利用钢琴声音类型实现标准普尔500指数的发音。在一种实现中，可使用JSyn Java API提供的类对不同乐器进行编程。

映射模式最好是基于离散音乐发音，连续音乐发音，全局音乐发音或其组合的。根据离散音乐发音，把代表事件(如，出价/要价或价格变动)的数据参数映射到预定数目的音符(如，一段旋律或震音)，以便用音乐表达该事件。使用诸如音程或颤音长度之类的音乐关系表示数据之间的关系。参照图15，利用代表不同数据流的不同声音类型(如，乐器音)表示双音符旋律，其音高代表数据变化或变动。根据连续音乐发音，把数据参数联系不断地映射到音符，以便连续表达数据的行为和关系。参照图16，利用代表不同数据流的不同声音类型或声音表示连续发音。在连续发音中，使用音高表现数据流之间的关系，如与技术分析有关的技术分析变量之间的相对距离，其中根据表示数据行为的计算模型对数据进行技术分析。可以协调不同数据流直至它们收敛，不谐和音表示收敛度。在连续发音中可以使用音量，以表明不同数据流彼此接近，或表明数据流接近用户定义的期望范围或重大事件。

根据全局音乐发音，使用具有多种声音的乐曲来表达数据的全局景象。根据全局音乐发音的一个例子，可以组合离散和联系发音技术以表达数据的全局景象。

根据全局音乐发音的另一个例子，把数据参数映射到具有多种声音的乐曲，目的是改变乐曲以表达数据与期望的数据分析模型的偏移。数据分析模型预测某些数据值之间的关系。当数据分析模型与实际数值一致时，使用基线乐曲。把数据分析模型中的数据值和实际数值之间的关系映射为基线乐曲中的声音参数。通过改变上述声音参数并变换基线乐曲中诸如旋律，和声，管弦乐编曲和韵律之类的音乐特征，实现上述关系的发音。当收听诸如管弦乐或合唱曲之类的具有多种声音的乐曲时，听众能够从总体上或从全局上理解乐曲。因此，数据值之间每种程度和每种类型的差别都是可辩识的，不一定作为与各个数据值相对应的声音参数生成的声音的差别，而是按照全局音乐景象的差别留下的印象。经过训练，用户能识别乐曲中的不同的全局声音，并能够听到模型预测值和实际数值之间的差异。

以下说明使用半音音阶映射金融市场数据的发音和映射模式的特例。以下示例是示范性的，不应视为本发明的限制。

例1-3音符旋律

参照图17，3音符旋律代表股市，债券或平均市价的价格或价格变化。第一音符为基准音，其音高与代表开盘价格的音高相同。第二和第三音符为前一个价格和当前价格。第二、第三音符与基准音之间的差别或间隔以用户设置的重大变动阈值为基础。例如，如果道琼斯平均指数的开盘点数为8000点，重大变化点数为25点，则用户将听到基准音70a，然后是音高与基准音相同的第二音符70b，然后是高半度的第三音符70c。如果道琼斯平均指数到达8050点，在用户将听到基准音72a，然后是比基准音高半度的第二音符72b，然后是比基准音高1度的第三音符72c。

例2-双音符涨跌指示器

双音符涨跌指示器代表证券的变动。第一音符总是相同的，第二音符表示上涨或下跌。当出现重大变动的上涨时，第二音符不第一音符高半度。当出现重大变动的下跌时，第二音符比第一音符低半度。如果证券变动超过一个重大变动，则重复双音符指示器(如，最多重复5次)。

例3-出价/要价震音

参照图18和19，一连串交替音符(即，震音)代表出价或要价。颤音的长度(即，交替音符的数目)与出价或要价的相对量成比例。颤音音符80和82之间的音高与出价和要价之间的价差成比例。同时，使用音高表示是出价还是要价。如果高音音符84a持续，则震音代表要价(图18)。如果低音音符84b持续，则震音代表出价(图19)。

例4-带有泛音的3音符旋律

如果证券的涨跌变动超过12个重大变动，则向上述3音符旋律的第二和第三音符中添加泛音。泛音为其频率为基准音的频率的整数倍的音符。如果证券上涨变动超过12个重大变动，则第一泛音(添加到第二音符中)的频率为基准音的频率的两倍(即，高八度)，第二泛音(添加到第三音符中)的频率为基准音的频率的三倍(即，高八度另五分之一度)。如果证券的下跌变动超过12个重大变动，则第一泛音的频率为基准音的频率的一半(即，低八度)。

例5-带有移动平均数指示器的3音符旋律

移动平均数指示器可以与上述3音符旋律一起使用。用户可以选择30，50或200日移动平均数。如果证券的价格变动在选定平均值的12个重大变动内，则第四音符发音，其音高以开盘价格和平均数之间的差值为基础。当重大变动接近平均数值时，第四音符的时值和音量增加。与平均数相交时，发出长音。

例6-移动平均数指示器

如果没有代表移动平均市价的旋律，则可以使用移动平均数指示器。如果证券的价格或指数在选定平均数的12个重大变动内移动，则音符发音，其音高以开盘价格和平均数之间的差值为基础。当每个重大变动接近平均数时，音符的时值和音量增大。与平均数相交时，发出长音。如果没有证券或指数接近其移动平均数，则用户什么也听不到。当证券或指数接近其移动平均数时，发音变成连续发音。

例7-移动平均数连续发音

参照图20，连续发音直接表现移动平均数。把不同的移动平均数映射到不同的声音类型或声音，例如，利用单簧管表现50日移动平均数，利用管弦乐表现200日移动平均数。把移动平均数映射到音高，从而协调移动平均数直至它们收敛，不谐和音表示收敛度。也可以把移动平均数之间的相对距离映射为音量，从而在移动平均数彼此接近时音量增加。

例8-全局音乐发音

投资银行开发的复杂金融模型预测20个到30个关键值之间的关系。播放一段已知音乐或已知风格的音乐，并由金融模型中的关键数据值进行计算控制。如果金融模型是按预期方式执行的，则音乐发出“正常”声音。如果金融模型偏离预期行为，则音乐发出“异常”声音，异常声音以音乐处理或失真为基础，如音符走调，节拍变快或变慢，某些乐器比其他乐器更突出，从大调变换为小调，以及不谐和音。

也可考虑使用其他类型的声音参数和/或音乐特征的各种其他发音和映射模式，声音参数和/或音乐特征包括但不限于，风格，音符的时值，音调，衰减，乐器，音量，音高，旋律，韵律，和声，起音以及效果。

发音引擎44读取配置数据46，根据配置数据46，选择要发音的数据流以及要使用的发音和映射模式48。发音引擎44最好在启动时读取配置文件，将与该数据流有关的适当配置数据发送到数据服务器42。在典型实施方式中，要发音的证券列表以及每种证券的字段(如，价格，数量，30日平均数，出价，要价等)都是从配置文件中读取的。发音引擎44的最佳实施方式根据配置数据46，自动选择要发音的数据流的最合适的发音和映射模式48。

为了开始发音，发音引擎连接到数据服务器42。当发音引擎44收到来自数据服务器42的数据时，发音引擎44基于选定的发音和映射模式48以及配置数据46，把数据输入值转换为声音参数。在一个例子中，比较数据输入值和配置数据46中的数据阈值，基于满足数据阈值的数据值，计算声音参数。然后使用计算的声音参数来设置乐器或声音合成器，以便创建具有发音和映射模式定义的合适声音类型和改编乐曲的音符。

在一种实施方式中，使用诸如Java之类的面向对象的编程语言实现发音引擎44。在该实施方式中，创建用于处理数据流的发音线程，利用基于Java的声音合成软件，如JSyn API，处理底层发音。用于发音的其他API示例包括但不限于，JSML，SMS和STK。

最好为需要发音的每个数据流(如，每种证券或市场指数)创建一个发音线程。根据使用该实现方式处理数据的一种算法，发音客户端的主线程等待数据服务器42的数据到达。当数据到达时，检查数据流的ID。如果数据流的ID与现有发音线程的ID匹配，则将数据值分发到该线程，后者根据其类型，利用选定的发音和映射模式进行响应。当发音线程收到数据时，线程比较数据输入值和阈值。如果满足阈值，则计算声音参数(如，音符的音高，时值和音量)，并利用该参数来设置乐器(如，基于JSyn的乐器)。激活乐器以便经由声音发生器50发送适当声音。

可以利用诸如声卡和数模转换器之类的已知硬件和支撑软件实现声音发生器50。声音发生器50可以包括用于控制音频输出信号的混频器。声音发生器50利用扬声器，双耳耳机，或任何其他声音传送机制，向听众传送声音。耳机的一种实施方式最好允许听众在收听音乐发音的同时倾听正常会话。也可以使用更先进的声音空间化和本地化技术，包括但不限于，HRTF(与头部有关的传送功能)处理，振幅扫调，向量基振幅扫调(VBAP)以及波场合成。

本发明的音乐发音系统的一个优点是，把数据映射为听众喜爱的令人高兴的音乐声。这有助于被动学习和听觉模式识别，即使听众没有受过音乐训练。发音和映射模式最好是使用用于生成令人喜爱的音乐声的作曲原则和技术设计的。应用于数据的音乐发音的作曲原则的一个例子是，Iannis Xenakis在1957年的作品Achorripsis中的数据到声音的映射，如有关临时申请序号60/399,284中描述的那样，本文引用该中请作为参考。Edward Childs博士在题目为“MUSICALSONIFICATION DESIGN”的论文(Dartmouth College Library于2003年5月出版)中详细描述了音乐发音设计的原理，本文全文引用作为参考。尽管本文描述音乐发音的特例，但是其他音乐发音也在本发明的范围内。

当在金融贸易领域中使用时，音乐发音系统能提供许多优点。可以为视觉显示增加听觉显示，以便利用尚未充分利用的人类在执行其他任务的同时处理声音的认知听觉能力。由于人类具有同时和独立处理语音，声音和自然界中的声音的认知能力，所以交易员能够在收听音乐发音的同时进行会话。全向听觉显示还允许交易员在离开座席时监控市场。音乐发音提供用于感知一级市场数据和二级数据之模式和变化的能力，同时降低可视数据过载。

尽管上述典型实施方式主要涉及实时金融市场数据的音乐发音，但是音乐发音系统和方法的其他应用也在本发明的范围内。可以实现历史数据的发音，而不是实时数据流的发音。例如，可以实现过去一段时间内记录的金融市场历史数据的发音，然后在较短时间内快速回放。

可以使用音乐发音系统和方法来映射各种数据过载情况中的任何类型的数据。可以实现音乐发音的其他类型的数据包括但不限于，病历数据，网络数据，安全数据，生产工艺数据，天气数据，空中交通控制数据以及流体流动数据。在一个例子中，可以在计算流体力学(CFD)中使用音乐发音，以刻画汇聚行为，扫描低活动率的大量数据，或整理流场中的全局事件，正如有关临时申请序号60/399,284中详细描述的那样，本文全文引用该申请作为参考。在另一个例子中，可以在气象数据中使用音乐发音，正如Edward Childs博士在题目为“MUSICAL SONIFICATION DESIGN”的论文(Dartmouth CollegeLibrary于2003年5月出版)中详细描述了音乐发音设计的原理，本文全文引用作为参考。

可以使用任何常规计算机编程语言来实现本发明的实施方式。例如，可以使用过程程序设计语言(如，C)或面向对象的程序设计语言(如，C++或Java)来实现最佳实施方式。可以利用预先编程的硬件，其他有关组件，或硬件和软件组件之组合实现本发明的选择实施方式。

可以利用与计算机系统一起使用的计算机程序产品实现各种实施方式，计算机系统包括但不限于PC或移动设备。此类实现方法包括存储在诸如计算机可读介质(如，磁盘，CD-ROM，ROM或硬盘)之类的有形介质或经由调制解调器或其他接口设备传送到计算机系统上的一系列计算机指令，接口设备如通过某种介质与网络相连的通信适配器。介质或者为有形介质(如，光纤或模拟通信线路)，或者为用无线技术(如，微波，红外或其他传输技术)实现的介质。计算机指令包含参照该系统描述的部分或全部功能性。熟练技术人员可以理解，可以用许多程序设计语言来编写上述程序指令，以便与多种计算机体系结构或操作系统一起使用。另外，此类指令可以存储在各种存储设备中，如半导体、磁、光或其他存储设备中，并且可以使用诸如光纤，红外，微波或其他传输技术之类的通信技术进行传送。可以认为计算机程序产品是用带有附属印刷品或电子文档的可移动介质分发的(如，紧缩套装软件)，或预先加载到计算机系统(如，系统ROM或硬盘)上，或通过网络(如，因特网或万维网)从服务器或电子公告牌分发。当然，可以用软件(如，计算机程序产品)和硬件的组合实现本发明的某些实施方式。可以全部采用硬件，或全部采用软件(如，计算机程序产品)来实现本发明的其他实施方式。

尽管描述了本发明的原理，但是熟练技术人员应该理解，上述描述只是示例性的，不应视为对本发明的范围的限制。除本文展示的典型实施方式之外，可以在本发明的范围内考虑其他实施方式。一般技术人员所做的修改和替换均在本发明的范围内，附属权利要求书限定本发明的范围。

Claims (35)

1.用于数据流的音乐发音方法，所述方法包括以下步骤：

从至少一个数据流中获取至少一个数据输入；

把数据参数映射为与映射的数据的音乐表现相对应的声音参数；以及

通过把数据输入值转换为相应的声音参数并根据相应的声音参数生成音频信号输出，实现所述数据流中的所述映射数据的发音，其中所述音频信号输出包括所述数据流中的所述映射数据的所述音乐表现。

2.权利要求1的方法，其中以实时方式实现所述数据流的发音。

3.权利要求1的方法，其中所述数据流是从计算流体力学(CFD)数据，医疗数据，金融市场数据，安全数据，网络数据和气象数据组成的组中选择的。

4.权利要求1的方法，其中获取所述至少一个数据输入的步骤包括选择要发音的数据类型。

5.权利要求4的方法，其中获取所述至少一个数据输入的步骤包括，根据所述数据类型选择发音模式。

6.权利要求5的方法，其中所述发音模式是从具有不同操作模式的众多发音模式中选择的。

7.权利要求6的方法，其中所述操作模式是从警告模式，独立模式和关系模式组成的组中选择的，警告模式通过使用基于事件的警告提供发音，独立模式通过使用连续的单点独立数据监控提供发音，关系模式通过使用若干独立数据源之间的关系提供发音。

8.权利要求1的方法，其中所述声音参数对应于从音高，音量，拍子记号，节拍，音符的时值，包络线，音质，空间化和效果组成的组中选择的声音特征。

9.权利要求1的方法，其中把所述数据参数映射为所述声音参数的步骤是以用户选择的声音和音乐首选项为基础的。

10.权利要求1的方法，其中发音步骤通过使用数字音频合成生成所述音频信号输出。

11.权利要求1的方法，其中发音步骤通过使用MIDI合成器生成所述音频信号输出。

12.权利要求1的方法，其中发音步骤通过使用音乐处理生成所述音频信号输出，其中根据所述数据输入值处理背景音乐中的所述相应声音参数。

13.权利要求1的方法，其中发音步骤通过使用光谱交叉合成生成所述音频信号输出，通过使用光谱处理，一个音轨可以操纵另一个音轨。

14.权利要求1的方法，其中发音步骤通过使用所述数据输入值的直接音乐表现生成所述音频信号输出。

15.权利要求1的方法还包括以下步骤，在实现所述数据流的发音时调整声音特征。

16.权利要求1的方法还包括以下步骤，捕获所述音频信号输出的至少一部分。

17.用于数据流的音乐发音系统，所述系统包括：

从至少一个数据流中获取至少一个数据输入的装置；

根据映射数据的音乐表现，把数据参数映射为声音参数的装置；以及

通过把数据输入值转换为相应的声音参数并根据所述相应的声音参数生成音频信号输出，实现所述数据流中的所述映射数据的发音的装置，其中所述音频信号输出包括所述数据流中的所述映射数据的音乐表现。

18.权利要求17的系统，其中实现所述映射数据的发音的所述装置以实时方式实现所述映射数据的发音。

19.权利要求17的系统，其中所述数据流是从计算流体力学(CFD)数据，医疗数据，金融市场数据，安全数据，网络数据和气象数据组成的组中选择的。

20.权利要求17的系统，其中所述映射装置根据用户选择的声音和音乐首选项，把所述数据参数映射为所述声音参数。

21.用于数据流的音乐发音方法，所述方法包括以下步骤：

提供配置数据和至少一个预定的发音和映射模式，其中所述发音和映射模式把数据参数映射为声音参数，以形成映射数据的音乐表现；

从数据流中接收数据输入值；

根据所述发音和映射模式与所述配置数据，把与映射数据相对应的数据输入值转换为相应的声音参数；以及

根据所述相应的声音参数，生成音频信号输出，其中所述音频信号输出包括所述数据流中所述映射数据的音乐表现。

22.权利要求21的方法，其中提供所述配置数据的步骤包括接收用户输入的配置数据。

23.权利要求21的方法，其中提供至少一个发音和映射模式的步骤包括，根据所述配置数据，从众多发音和映射模式中选择所述发音和映射模式。

24.权利要求21的方法，其中所述发音和映射模式根据离散音乐发音生成所述音乐表现。

25.权利要求21的方法，其中所述发音和映射模式根据连续音乐发音生成所述音乐表现。

26.权利要求21的方法，其中所述发音和映射模式根据全局音乐发音生成所述音乐表现。

27.权利要求21的方法，其中所述发音和映射模式把不同类型的数据映射到不同乐器。

28.权利要求21的方法，其中所述发音和映射模式把数据值的变化映射为音高变化。

29.权利要求21的方法，其中所述映射数据的所述音乐表现包括半音音阶上的音符。

30.权利要求21的方法，其中所述数据流是从计算流体力学(CFD)数据，金融市场数据，安全数据，网络数据和气象数据组成的组中选择的。

31.权利要求21的方法，其中把所述数据输入值转换为所述相应的声音参数的步骤包括，通过比较所述数据输入值与所述配置数据中的阈值，计算所述相应的声音参数。

32.权利要求21的方法，其中所述数据输入值是从实时数据流中实时接收的。

33.用于数据的音乐发音系统，所述系统包括：

用于接收数据流并从所述数据流中提供数据输入值的数据服务器；

配置数据；

至少一个发音和映射模式，其中所述发音和映射模式把数据参数映射为声音参数，以形成映射数据的音乐表现；

发音引擎，根据所述至少一个发音和映射模式与所述配置数据，把所述数据流中的映射数据的所述数据输入值转换为相应的声音参数；以及

声音发生器，根据所述相应的声音参数，生成音频信号输出，其中所述音频信号输出包括所述数据流中的所述映射数据的音乐表现。

34.在数据的音乐发音处理中使用的计算机程序产品，所述计算机程序产品包括存储在存储介质上的软件代码，所述软件代码包括：

用于获取配置数据的配置代码；

定义至少一个发音和映射模式的发音和映射模式代码，用于把数据参数映射为声音参数，以形成映射数据的音乐表现；以及

发音引擎代码，根据所述至少一个发音和映射模式与所述配置数据，把数据流中的映射数据的数据输入值转换为声音参数，并把所述声音参数发送到声音发生器，以生成包括所述映射数据的音乐表现的音频信号输出。

35.权利要求34的计算机程序产品，其中所述声音参数对应于从音高，音量，拍子记号，节拍，音符的时值，包络线，音质，专业化，效果，风格，乐器，韵律，和声，音调，起音，衰减和明亮度组成的组中选择的声音特征。

Images