CN1838230A - 乐曲数据生成系统以及程序 - Google Patents

Abstract

本发明提供一种乐曲数据生成系统，其由经互联网等可进行通信地连接的服务器(SV)和移动用电话机终端等的客户终端(CL)组成。在客户终端(CL)中，用户一边对从服务器(SV)发送来的所希望的源乐曲数据进行再生，一边采用表示3D音像空间的3D顺序输入画面，依次指定设想的音像位置，并进行记录(C6)。所记录的一连串的音像位置，作为位置顺序而被发送给服务器(SV)，在服务器(SV)中，将位置顺序附加在源乐曲数据上，生成带有3维(3D)声音特点的乐曲数据(3D乐曲数据)，并将其配送给客户终端(S5)。在客户终端(CL)中，依据所配送的3D乐音数据，与用户独特的位置顺序对应，能够生成音像移动的乐曲演奏空间。从而，通过终端用户可以自由地生成独特的3D音乐内容。

Description

乐曲数据生成系统以及程序

技术领域

本发明涉及一种经由互联网等通信网络而与服务器以及客户终端可通信地连接，并用于生成使用客户终端的用户所希望的带有3维(3D)声音特点的乐曲数据的乐曲数据生成系统。

背景技术

以往，在移动电话机终端中，对通过互联网等从内容配送站提供的来电旋律用乐曲的作曲(arrange)进行变更。并且最近，如非专利文献1、2所示，出现了采用包含接近音源等效果的3D定位音频技术的移动电话终端、或给这样的移动电话终端，配送使声音移动并能够感觉到立体声音或声音的扩展的3D来电旋律的服务。

非专利献1：

http：//ascii24.com/news/i/tech/article/2004/12/09/653023-000.html

非专利文献2：

http：//www.yamaha.co.jp/news/2005/05011101.html

然而，来电旋律配送服务几乎都采用以下方法：进行从预先准备的想要变更的乐曲(源文件)乃至可变更的参数的乐曲中选择的所谓“样板(template)型”的乐曲变换。即，用户仅选择以预先决定的格式(pattern)对源文件进行变换之际的变奏曲(variation)，无法得到用户独特的原始乐曲内容。

另外，作为使音像的位置移动的装置，例如有专利文献1、2所示的装置。在专利文献1中，依据通过游戏程序或者跟踪球或控制杆等的操作符来指示音像定位位置的移动状态，控制来自左右2个声道的乐音的音像位置，使音像移动的真实感变得丰富。并且，在专利文献2中，基于控制杆等的操作符的操作，使音像在与操作位置接近的预先决定的音像路径上确切地移动。

专利文献1：特开平6-327100号公报

专利文献2：特开平7-143598号公报

发明内容

本发明鉴于这样的问题，其目的在于提供一种基于客户终端的用户执行的位置指定操作，能够自由生成用户独特的带有3维声音特点的音乐内容之乐曲数据生成系统。

依据本发明的主要特征，提供一种乐曲数据生成系统，其是由经由通信网络CN可通信地连接的服务器SV以及客户终端CL、CLa、CLb组成的系统，其中服务器SV具备：源乐曲储存机构DB，其储存多个乐曲数据；源乐曲读出机构S4、S12，其从源乐曲储存机构中读出乐曲数据；顺序接收机构S5、S11，其从客户终端CL中接收位置顺序数据；3维乐曲生成机构S5、S14～S18，其通过在由乐曲读出机构读出的乐曲数据上附加位置顺序数据，从而生成具有3维声音特点且可再生的带有位置顺序的乐曲数据(3D乐曲数据Md)；和3维乐曲发送机构S5、S19，其将带有位置顺序的乐曲数据Md发送给客户终端CL；客户终端CL具备：顺序输入机构C19、C34～C41，其基于用户操作，依次输入设想的音像的位置坐标Pg；顺序记录机构C19、C39、C40，其将所输入的一连串的位置坐标作为位置顺序数据来记录；顺序发送机构C20，其将所记录的位置顺序数据发送给服务器SV；3维乐曲接收机构C24，其从服务器SV接收带有位置顺序的乐曲数据Md；3维乐曲存储机构2、4、C25，其对所接收的带有位置顺序的乐曲数据Md可再生地进行存储；和3维乐曲再生机构C25’，其使所存储的带有位置顺序的乐曲数据Md具有3维声音特点地进行再生。另外，括弧，表示对应的实施例的参照标号，以下也同样。

在本发明的乐曲数据生成系统中，可以构成为：服务器SV还具备源乐曲发送机构S4，其依据来自客户终端CL的请求，将由源乐曲读出机构S4读出的乐曲数据发送给客户终端CL；客户终端CL进一步具备：请求发送机构C5，其将请求乐曲数据的请求发送给服务器SV；源乐曲接收机构C18，其依据所发送的请求，接收从服务器SV发送来的乐曲数据；和源乐曲存储机构2、4、C18，其对所接收的乐曲数据可再生地进行存储；通过顺序输入机构C19进行的位置坐标Pg的输入，与存储在源乐曲存储机构2中的乐曲数据的再生并列进行(C33～C41)。

在本发明的乐曲数据生成系统中，可以构成为顺序输入机构C19具备：第1输入机构C38，其将通过用户操作依次指示的坐标位置连续输入；以及/或者第2输入机构C40，其生成并输入与通过用户操作所指示的移动形式相应的坐标位置序列。

根据本发明的另一特征，提供一种存储有乐曲数据生成程序的计算机可读取介质，该程序用于使经由通信网络CN而与服务器SV可通信地连接的计算机(客户终端：CL，CLa、CLb)执行以下步骤：请求发送步骤(C3)，其将请求乐曲数据的请求发送给服务器SV；源乐曲接收步骤(C18)，其接收依据所发送的请求而从服务器SV发送来的乐曲数据；源乐曲存储机构C18，其对源乐曲接收步骤所接收的乐曲数据可再生地进行存储；顺序输入步骤(C34～C41)，其通过对源乐曲存储步骤所存储的乐曲数据进行再生，同时将通过用户操作依次指示的坐标位置连续输入(C38)，以及/或者通过将与由用户操作指示的移动形式相应的坐标位置输入(C40)，从而将设想的音像的位置坐标Pg依次输入；顺序记录步骤(C39、C40)，其将由顺序输入步骤输入的一连串的位置坐标，作为位置顺序数据进行记录；顺序发送步骤(C20)，其将所记录的位置顺序数据发送给服务器SV；3维乐曲接收步骤(C24)，其从服务器SV接收通过在与由请求发送步骤发送的请求对应的乐曲数据上附加位置顺序数据而生成的、具有3维声音特点且可再生的带有位置顺序的乐曲数据(3D乐曲数据Md)；3维乐曲存储步骤(C25)，其将由3维乐曲接收步骤接收的带有位置顺序的乐曲数据Md可再生地进行存储；和3维乐曲再生步骤(C25’)，其使3维乐曲存储步骤所存储的带有位置顺序的乐曲数据Md具有3维声音特点地进行再生。

在本发明的乐曲数据生成系统中，服务器SV通过通信机构8，经由互联网等通信网络CN，在具有通信功能以及乐曲再生功能的移动用电话机终端CLa或个人计算机CLb等客户终端CL之间可进行信息收发，具备源乐曲储存机构DB，其对成为带有3维(3D)声音特点的乐曲数据(3D乐曲数据Md)的源数据的多个乐曲数据(源乐曲数据)进行储存，依据来自客户终端CL的请求，发送源乐曲数据，或者将源乐曲数据变换成带有3维声音特点的乐曲数据(3D乐曲数据Md)后配送给客户终端CL。

首先，若从服务器SV向客户终端CL发送源乐曲数据S4，则客户终端CL与所接收的源乐曲数据的进展对应，依据用户操作依次指示成为设想的音像位置Pg的3维(3D)位置坐标，将所指示的一连串的坐标位置记录在存储机构中(C6、C19、C34～C41)。这种情况下，在坐标位置的输入方法中，有连续地依次输入实际的坐标位置的第1方法(C38)、和依据通过用户操作所指示的移动形式，将坐标位置输入的第2方法(C40)，可采用任一种方法或者两种方法并用。

客户终端CL，如果这样与1个乐曲数据对应而将一连串的坐标位置Pg输入(C38、C40)，则将与该输入对应记录的一连串的坐标位置，作为位置顺序数据发送给服务器SV(S20)，服务器SV将所接收的位置顺序数据附加在源乐曲数据上，生成带有3维声音特点的乐曲数据Md(S14～S18)，并将该3D乐曲数据配送给客户终端CL(S19)。然后，客户终端CL保存从服务器SV取得的带有3维声音特点的乐曲数据Md，在需要时可用立体声音进行再生。例如，在客户终端CL为移动用电话机终端CLa时，能够作为听到宛如在扬声器位置飞过的自由飞扬的声音的来电通知声音(来电旋律)等来利用。

因此，根据本发明，在客户终端中，由于通过基于用户进行的位置指定操作，记录假设音源位置(3D乐曲数据Md)，从而生成带有3维声音特点的乐曲数据，因此能够生成用户独特的带有3维声音特点的音乐内容。并且，不用进行乐曲数据的作曲，便可自由地指定设想音源位置。进而，由于一边对源乐曲数据进行再生，一边由用户指定任意的设想音源位置，因此可用与该乐曲匹配的立体声音对3D乐曲数据进行再生。另外，由于在坐标位置的顺序输入中准备了2种方法，因此在位置的指定困难的情况下，根据基于预先准备的第2方法的自动功能便可生成位置顺序。

附图说明

图1为本发明的一实施例的乐曲数据生成系统整体的概要构成图。

图2表示本发明的一实施例的乐曲数据生成系统中的整体处理动作。

图3表示本发明的一实施例的乐曲数据生成系统生成的带有3维(3D)音像特点的乐曲数据的结构例。

图4为表示本发明的一实施例的客户终端侧乐曲数据生成处理的流程图。

图5为表示本发明的一实施例的客户终端侧乐曲数据生成处理中的顺序输入处理的流程图。

图6表示客户终端的键配置一例。

图7表示客户终端中的顺序输入画面(3D画面)的一例。

图8为表示本发明的一实施例的服务器侧乐曲数据生成处理的流程图。

图中：CL、CLa、CLb-客户终端或由PC等构成的可与服务器SV进行通信的客户终端(电子音乐装置)，Gr-坐标方格，Po-收听位置即原点坐标位置，Pg-音像位置(也称作音源位置)或者表示音像位置的图像，Dg-表示音像位置Pg的最新坐标值的当前位置标记。

具体实施方式

(系统的概要)

图1是表示本发明一实施例的带有3维(3D)声音特点的乐曲数据生成系统整体的构成例的图。如图1(1)所示，该乐曲数据生成系统由作为提供带有3维(3D)声音特点的乐曲数据(以下称作“3D乐曲数据”)的3D乐曲提供站发挥功能的服务器SV、和通过互联网等广域通信网络CN可与服务器(SV)进行通信的多个客户终端CL；CLa，CLb(标号“CL”，一般表示客户终端)组成。在该例中，客户终端(用户终端)CL，例如由具有与服务器SV进行通信的通信功能并具备乐曲数据处理功能的移动用电话机终端Cla或个人计算机(PC)终端Clb等电子音乐装置构成。关于客户终端CL，优选适合采用移动用电话机终端CLa。将由该系统生成的3D乐曲数据作为来电旋律等，可在任意的使用环境下欣赏。

在服务器SV的大容量的外部存储装置中，构筑用于向客户终端CL的用户提供3D乐曲数据的多个数据库DB。例如，在应用程序数据库中，储存有包含客户终端CL可执行的带有3维(3D)声音特点的乐曲数据生成程序(以下称作“应用程序”)在内的客户终端用各种应用程序。在乐曲数据库中，储存有成为生成3D乐曲数据之源数据的原有类型的多个乐曲数据(称作“源乐曲数据”)，各源乐曲数据，由1个乃至多个乐音声道部分的音乐信息构成。另外，在样板数据库中，储存有提供为了生成3D乐曲数据而预先决定的位置顺序的许多3D样板。

各移动用电话机终端CL，当为移动用电话机终端CLa时，经由无线基站BS以及通信网络CN，与服务器SV连接，当为PC终端CLb时，经由通信网络CN而与服务器SV连接。图1(2)，是用于说明构成该乐曲数据生成系统的各装置的硬件构成的框图，以客户终端CL为基准来表示。

针对客户终端CL，在以下说明中，虽然主要以采用移动用电话机终端CLa进行了说明(其中对一般的电话功能省略说明)，但如上所述，也可以采用具备通信功能以及乐音数据处理功能的PC这样的通用信息处理装置CLb。客户终端CL具备：中央处理装置(CPU)1、随机访问存储器(RAM)部2、读出专用存储器(ROM)部3、辅助存储部4、输入设备5、音源6、显示器7、通信接口(通信I/F)8等，这些装置1～8经由总线9而相互连接。

CPU1、RAM部2以及ROM部3构成主体处理部。ROM部3存储用于对机器整体进行总括控制的固件或各种程序等，CPU1依据存储在ROM部3中的程序，对机器整体进行总括控制。RAM部2，在进行各种处理之际，被用作OS或各种程序的作业用区域，例如在位置顺序数据制作时，确保临时保存(暂时存储)源乐曲数据或位置事件或者3D样板等各种数据用的各种数据存储(暂存器)区域。另外，在为移动用电话机终端CLa的情况下，RAM部2乃至ROM部3可采用闪存等非易失性半导体存储器。

辅助存储器(外部存储部)4，用于存储(保存)含有3D乐曲数据的各种数据或网络对话控制程序、应用程序等。虽然在为PC终端CLb时，采用硬盘驱动装置(HDD)，但在为移动用电话机终端CLa时不具备HDD，而是采用闪存等非易失性半导体存储器。这种情况下，可以构成为：使RAM部2或ROM部3中采用的闪存等非易失性半导体存储器中具有辅助存储部4的功能，在该半导体存储器中保存所有数据类型。

输入设备5由各种输入键等操作符、和对这些操作符的操作内容进行检测并导入主体处理部中的操作检测电路组成。在为移动用电话机终端CLa时，在键操作符中，例如有光标键、功能键、挂机键、摘机键、电话用数字·记号键等，在为PC终端CLb时，操作符中采用鼠标或键盘。显示器7由显示各种画面的显示器、和依据来自CPU1的指令控制画面显示的显示电路组成，或者显示客户终端CL的动作状态，或者进行与操作对应的显示帮助。

音源部6以及与音源部6连接的音响系统10，构成音乐再生部。即，音源部6包含音源电路(TG)或DSP(数字信号处理器)等，生成与源乐曲数据或3D乐曲数据对应的乐音信号，尤其DSP，具有依据3D乐曲数据进行3D音场控制的功能。音响系统10，具备D/A转换部或放大器、立体双扬声器(stereo twin speaker)，生成基于来自音源部6的乐音信号的乐音，尤其，通过3D乐曲数据的再生，乐音的音像按规定的路径移动，能够实现有声音扩张的立体声音空间。

通信I/F8是至少可与互联网直接/间接连接的调制解调器或以太等通信接口，并非限于有线，也可以是进行无线通信的接口。客户终端CL，通过通信I/F8，经包含互联网在内的网络CN与服务器SV进行通讯，能够对服务器SV进行源乐曲数据或3D乐曲数据的请求以及接收。这种情况下，在移动用电话机终端CLa中，从通信I/F8以无线数据通信经基站BS而与服务器SV进行通讯。

另外，关于服务器SV的硬件构成，与图1(2)所说明的客户终端CL基本相同，但即使不具备音响系统10也可以。服务器SV具备大容量的外部存储装置(HDD等)。在该外部存储装置中，如上所述构筑分别储存了应用程序、源乐曲数据、3D样板等的多个数据库DB，同时还存储用于管理各客户终端用户的用户管理数据文件等。

(动作的概要)

图2为与客户终端的显示画面的推移一起表示本发明的一实施例的乐曲数据生成系统中的整体处理动作的图。该系统的处理动作被分成：第1阶段，其将应用程序即带有3D声音特点的乐曲数据生成程序下载至客户终端CL中；和第2阶段，其在客户终端CL上执行所下载的应用程序。

在第1阶段中，首先，用户从客户终端CL向服务器SV请求应用程序(步骤C1)。这时，与应用程序的请求一起，通知客户终端CL的机种、用户ID等。服务器SV，如果识别是新的用户，则在用户管理数据文件中注册用户，如果不是新的用户，则与用户管理数据文件的该终端用户的注册数据进行对照，在确认机种或用户ID、用户地址等之后，将应用程序配送给客户终端CL(步骤S1)。然后，在客户终端CL中，在接收配送后的应用程序存储在存储机构(辅助存储部4或者ROM部3)中(步骤C2)。

第2阶段，在客户终端CL中，通过启动存储在存储机构中的应用程序而开始，呈现图示的画面推移C3～C7。首先，一旦启动应用程序，则将载入了“最近的受欢迎曲目”、“按曲名检索”、或“按艺术家检索”等乐曲选择所需要的项目的启动画面(应用程序首页画面)，显示在显示器7的显示屏(以下标号“7”也用于显示屏的参照)上(步骤C3)。若用户利用启动画面进行指示希望的项目的操作，则客户终端CL向服务器SV请求与所指示的项目对应的乐曲清单。服务器SV，在确认伴随乐曲清单的请求发送来的机种或用户ID等之后，将该乐曲清单发送给该客户终端CL(步骤S2)。

客户终端CL，依据来自服务器SV的乐曲清单的接收，将载入了该乐曲清单后的乐曲选择画面，显示在显示屏7上(步骤C4)。若用户利用乐曲选择画面进行选择希望的乐曲的操作，则客户终端CL将已选择乐曲的信息通知给服务器SV，服务器SV将表示可与该选择乐曲对应的处理之处理项目数据返回给客户终端CL(步骤S3)。

客户终端CL依据这些将该选择乐曲的处理项目载入后的处理选择画面显示在显示屏7上(步骤C5)。在该处理项目中，有基于由终端用户的手动输入而制作的顺序，生成3D乐曲的第1处理方法；和基于由用户的选择操作而指示的3D样板，生成3D乐曲的第2处理方法，作为第2处理方法，可根据处理项目数据中包含的样板信息，列举在服务器SV中预先准备的多个3D样板的名称，根据与该名称对应的用户的样板选择操作，从而可以选择性地指示所希望的3D样板。

与此相对，若用户进行选择所希望的处理方法的操作，则客户终端CL将该处理方法通知给服务器SV，服务器SV进行与该处理方法对应的处理。例如，在选择了第1处理方法的情况下，从乐曲数据库(DB)中选择与由乐曲选择画面选择的乐曲对应的源乐曲数据，与该乐曲ID一起发送给客户终端CL。另外，在选择了第2处理方法的情况下，除该源乐曲数据以及乐曲ID之外，还发送与样板选择操作对应选择的3D样板。

在选择了第1处理方法的情况下，若客户终端CL接收来自服务器SV的源乐曲数据，则将该源乐曲数据保存在RAM2的源乐曲存储区域中，同时将顺序输入画面(也称作“3D画面”)显示在显示屏7上(步骤C5)。终端用户利用顺序输入画面，与源乐曲数据的再生一致，通过以手动输入依次指示乐曲的音像位置，从而能够制作由一连串的音像位置事件数据列组成的位置顺序数据。客户终端CL将与该源乐曲数据对应制作的位置顺序数据，与该源乐曲数据的乐曲ID一起发送给服务器SV。

并且，在选择了第2处理方法的情况下，客户终端CL将来自服务器SV的源乐曲数据以及3D样板保存在RAM部2的源乐曲以及样板存储区域中，将样板确认画面(也称作“3D画面”)显示在显示屏7上(步骤C5)。在样板确认画面上，由于与源乐曲数据的再生一致，显示基于3D样板的音像位置，因此若终端用户确认所显示的音像移动形式并进行明白(OK)操作，则客户终端CL将该3D样板对应的明白信号，与乐曲ID一起发送给服务器SV。

另外，在所选择了的处理方法或3D样板并非终端用户的爱好而进行了NG操作的情况下，能够返回处理选择步骤(C5)，进行处理方法或3D样板的重新选择。并且，在源乐曲本身不是终端用户的爱好而执行了“返回”操作的情况下，可返回乐曲选择步骤(C4)，在任何情况下都将该意思通知给服务器SV。

服务器SV，在选择了第1处理方法的情况下，在由乐曲ID所指定的源乐曲数据中附加位置顺序数据，进行从源乐曲数据变换成3D乐曲数据即带有3维(3D)声音特点的乐曲数据的3D变换，另外，在选择了第2处理方法的情况下，通过明白信号的接收，依据所选择的3D样板进行3D变换，将通过3D变换所得到的3D乐曲数据(MD：图3)配送给客户终端CL。另外，作为选择了第2处理方法的情况下的处理方法，如上所述，也可以构成为：没有经过源乐曲数据或3D样板的发送(S4)或明白信号的接收(S5)，而是立即在步骤S4中依据在客户终端CL侧选择的3D样板，决定应进行3D变换。

客户终端CL，若从服务器SV接收3D乐曲数据，则将下载通知画面(3D画面)显示在显示屏7上，用户确认音像的移动后，若对下载通知画面进行决定3D乐曲数据的获得的操作，则将该3D乐曲数据保存在存储机构(2，4)中。之后，在客户终端CL中，对保存在存储机构中的3D乐曲数据进行再生，能够欣赏与用户所制作的位置顺序数据或者由用户所选择的3D样板对应地移动乐曲的音像的乐曲演奏空间，并且，与该乐曲再生一致，能够将移动显示乐曲的音像位置的3D乐曲再生画面(3D画面)显示在显示屏7上。

进一步，在针对不同的乐曲而期待3D乐曲数据的情况下，通过输入设备5的“返回”(“F3”键)操作，返回乐曲选择画面(C3)，可以反复上述处理动作C3～C7、S2～S5，这样，客户终端CL的用户，根据新的源乐曲数据，便可获得新的3D乐曲数据。

本发明的一实施例的乐曲数据生成系统，其特征在于，尤其在客户终端CL侧采用顺序输入画面(C6)来制作3D乐曲数据的生成所需要的位置顺序数据。即，该系统的要素在于以下方面：在客户终端CL中，用户一边对从服务器SV发送来的所希望的源乐曲数据进行再生，一边采用表示3D声音空间的3D顺序输入画面，依次指定并记录设想的音像位置(C6)。所记录的一连串的音像位置作为位置顺序，被发送给服务器SV，在服务器SV中，通过给源乐曲数据附加位置顺序，从而生成带有3维(3D)声音特点的乐曲数据(3D乐曲数据)，将其配送给客户终端(S5)。在客户终端CL中，根据所配送的3D乐音数据，能够生成与用户独特的位置顺序对应地移动音像的乐曲演奏空间。

(3D乐曲数据的结构)

图3表示通过服务器中的3D变换而得到的3D乐曲数据的构成例。3D乐曲数据Md由头信息Hd、乐音磁道信息Mt以及位置顺序磁道信息St组成。头信息Hd，表示在该3D乐曲数据Md中，哪个种类的磁道有多少，各磁道具有多少个某种类的声道，各磁道以及各声道的地址信息等，在3D乐曲数据Md开头的头部分进行描述。乐音磁道信息Mt，是与源乐曲数据对应地记述在乐音磁道中的音乐信息，与源乐曲数据同样，由与旋律或伴奏等部分对应的任意个数的声道组成。各声道的音乐信息，由以MIDI格式或者与MIDI格式类似的事件格式表示乐音的事件顺序数据、或者以ADPCM等编码格式表示乐音波形的音频信号数据构成。

另外，在位置顺序磁道中描述的位置顺序磁道信息St，与规定声道的乐音磁道信息Mt对应，是按每个微小移动时间Δt的位置事件，将基于该乐音磁道信息Mt的各乐音的音像位置规定在顺序声道中的音像位置规定数据。位置顺序磁道信息St，可以以坐标位置Pg(r，θ，φ)和该时间信息为一组来表示1个位置事件，关于时间信息，采用距乐音磁道信息Mt的演奏开始的绝对时间(时刻数据)t以及移动时间Δt。例如，关于1个位置事件，可成为令位置事件时刻t为2个字节、移动时间Δt为2个字节、移动后的坐标位置Pg(r，θ，φ)为3个字节(极坐标值)的共计7个字节的数据。

另外，在顺序输入画面(C6)中被输入的位置事件顺序的内容物，基本上是与上述位置顺序磁道信息St相同的格式，但坐标系，也可以采用描绘坐标系(欧几里德(Euclid)系、正交坐标系)或者极坐标系中的某个。例如，关于1个位置事件，可成为令位置事件时刻t＝2个字节、移动时间Δt＝2个字节、移动后的坐标位置Pg(x，y，z)为3个字节(正交坐标值)或者Pg(r，θ，φ)＝3个字节(极坐标值)的共计7个字节的数据。

(客户终端的处理)

图4为表示本发明的一实施例的在客户终端执行的3D乐曲数据生成处理的流程图。在客户终端CL中，一旦启动从服务器SV下载的应用程序(S1、C2：图2)，则CPU1进行初始化，首先，在显示屏7中显示启动(首页)画面，接着，由于从服务器SV发送来在该画面所请求的所希望的乐曲清单(S2：图2)，故获得该乐曲清单(步骤C11)。与此相应，将键功能以及菜单分配为乐曲选择用(步骤C12)，将所获得的乐曲清单显示在乐曲选择画面上(步骤C13)，待机乐曲选择画面对应的用户操作(步骤C14→否)。

在此，若通过用户操作选择所希望的乐曲(C14→是)，则将所选择的乐曲的信息通知给服务器SV，依据从服务器SV发送来与该选择乐曲对应的处理项目(S3：图2)，将键功能以及菜单分配为处理选择用(步骤C15)，同时将这些处理项目显示在处理选择画面上(步骤C16)，使处理选择画面对应的用户操作待机(步骤C17)。

通过处理选择画面对应的用户操作，在用户本身通过手动输入自己选择了进行选择乐曲对应的位置顺序的输入处理的意思时(C17→是)，该意思被通知给服务器SV，从服务器SV发送来表示所选择的乐曲的内容的源乐曲数据(S4：图2)，因此接收该源乐曲数据，并保存在RAM部2的源乐曲存储区域中(步骤C18)。客户终端CL，接着进行顺序输入处理(图5)，对于所接收的源乐曲数据，制作位置顺序数据(步骤C19)。然后，将所制作的位置顺序数据，同乐曲数据的乐曲ID一起发送给服务器SV(步骤C20)。

另一方面，通过处理选择画面对应的用户操作，从服务器SV预先准备的3D样板中选择规定的3D样板，在依据该3D样板选择了对选择乐曲进行3D变换的意思时(C17→否)，将该意思通知给服务器SV，由于从服务器SV发送来与表示所选择的乐曲的内容的源乐曲数据一起选择的3D样板(S4：图2)，因此接收这些数据(步骤C21)，在乐音再生部6-10以及显示屏7的样板确认画面中进行再生(步骤C22)。然后，用户观察基于该样板确认画面音像位置的移动显示，在注意到该3D样板时，通过用户操作，将明白(OK)的意思通知给服务器SV(步骤C23)。

即，在服务器SV中，以收听位置为原点，准备将乐曲的音像位置，例如

以原点为中心旋转为圆状或者椭圆状，

一边旋转一边从远处慢慢与原点接近又变远，

左右、前后或者倾斜地往返呈振动子状、曲线状或者直线状……等音像移动形式作为3D样板，在客户终端CL中，依据样板信息在处理选择画面中，将这些音像移动形式作为样板的选择项进行显示。因此，若通过用户操作选择某个样板，则在显示屏7上显示样板确认画面，与选择乐曲的再生(乐音再生部6-10)一致，由于依据通过用户操作所选择的某个样板的位置顺序，在样板确认画面内移动显示该乐曲的音像位置，因此能够确认是否为与用户的期望相符的3D样板。

服务器SV，依据步骤C20、C23的通知，由于制作对应的3D乐曲数据Md并作为3D变换结束文件进行配送(S5：图2)，因此客户终端CL获得该3D乐曲数据(3D变换结束文件)Md(步骤C24)，将该3D乐曲数据显示在下载通知画面(3D画面)中，确认该音像移动内容之后，可再生地保存在存储机构(2，4)中(步骤C25)。

另外，关于保存在存储机构中的3D乐曲数据Md，在需要时，在3D乐曲画面中，通过指示3D乐曲的选择以及再生，从而读出所希望的3D乐曲数据Md，通过乐音再生部6-10，可以按照依据由被顺序输入处理或者选择后的3D样板所指定的位置顺序使音像位置移动的方式，对乐曲进行再生，并且，基于该3D乐曲数据Ms的位置顺序磁道信息St，与乐曲再生一致，还可将该乐曲的音像位置动画地移动显示在显示屏7的3D乐曲再生画面(3D画面)上(步骤C25’)。

另，在3D乐曲数据的保存处理(C25)之后，用户核对该3D乐曲数据生成处理是否结束(步骤C26)，在指示处理未结束的意思时(C26→否)，返回源乐曲选择阶段(C12)，针对重新选择的源乐曲重复上述步骤C12～C25的动作。并且，在指示结束的意思时(C26→是)，将残留在RAM部2的各种数据存储区域中的数据全部删除，结束该3D乐曲数据生成处理。

(顺序输入处理的例子)

图5为表示本发明的一实施例的顺序输入处理、即在图4的客户终端CL侧的3D乐曲数据生成处理中的顺序输入处理(C19)的具体例的流程图。在该顺序输入处理中，与图4的步骤C12、C15同样，将键功能以及菜单分配为顺序输入处理用，并显示顺序输入画面，用户通过利用顺序输入画面来进行规定的键操作，从而通过本身输入能够制作所希望的位置顺序数据。

图6表示在移动用电话机终端的客户终端中作为输入设备而采用的键的典型配置例以及对数字键的功能分配的例子。如图6(1)的键配置例所示，作为输入设备5的操作符，具备：作为用于显示菜单等的功能键(function key)采用的“F1”～“F3”键、“决定”键、其上下左右的“光标移动”键、“开”以及“关”挂机(hook)键、“1”～“9”、“*”、“0”、“#”的数字·记号键等。例如，在乐曲选择画面(C4)中显示源乐曲清单，或者在3D乐曲再生画面(C25’)中指示3D乐曲的选择或再生之际，按照用“F1”键显示菜单、用光标键选择菜单项、用“决定”键进行确定操作的方式，给各键分配规定的功能。

并且，在顺序输入处理时，给各键分配规定的功能，以便给“F1”键分配重试(retry)，给“F2”键分配“模式1”～“模式3”的模式变更，给“F3”键分配在每次操作时依次启动/停止源乐曲再生的进展的播放/停止功能，给“*”键分配视点位置变更。另外，在顺序输入处理的模式中，有在欧几里德系(正交坐标)中可依次输入(Step)位置事件的“模式1”、在极坐标中可依次输入位置事件的“模式2”、在指示跳转或者移动路径的任意自动控制处理(Jump)中将所有位置事件都输入的“模式3”(坐标系既可以是正交坐标也可以是极坐标)，如图6(2)所示，按照每个模式给数字键分配规定的功能。

图7表示在客户终端显示屏中显示的顺序输入画面的一例。在客户终端CL中的顺序输入处理时，显示在显示屏7中的顺序输入画面，是通过以收听位置即音响系统10的头戴式耳机位置Po为原点进行显示的坐标方格，3维地模拟显示乐曲的收听空间。另外，图7是为方便理解而示例性地表现收听空间的图，例如，将方格的网格(mesh)简化，原点以及顶点的坐标值(单位m(米))也不是实际的显示(但根据需要也可以显示)。并且，收听空间的大小或网格尺寸被设定为任意的尺度。

用户一边对源乐曲进行再生，一边通过键操作使表示乐音的音像的图形(也仅称作“音像”)Pg在顺序输入画面的收听空间内移动，从而能够实时地进行音像位置的指定以及控制，按顺序决定音像的位置事件，并实时地进行记录。此时，在顺序输入画面上被依次设定的音像Pg的轨迹(x，y，z)，如图7所示，在一定时间内渐隐(fade out)显示，例如使最新设定的位置之前的一定时间内的音像Pg(x，y，z)，越往新的时刻的音像位置越浓地显示，越往旧的音像位置越淡地显示。另外，即使在之前所说明的下载通知画面或3D乐曲再生画面(C7、C25、C25’)中，也显示这样的渐隐。

若简单说明键操作和位置事件的关系，则例如在模式1中，在每次操作“2”键时向前(+y)方向仅移动1个单位距离，每次操作“4”键时向左“-x”方向仅移动1个单位距离。这样，通过“2”、“4”、“6”、“8”键的操作，能逐步地指定音像位置，这种类型的位置输入方法被称作“Step”型。并且，若操作“1”、“3”、“5”、“7”、“9”键，则可以从该时刻指定的当前位置开始，经过预先决定的形状的移动路径后跳转至规定的位置，该路径也可以按照“直线状”、“Z字形(zigzag)”、“随机(不规则的曲线状)”等使移动轨迹具有起伏的方式另外指定。该类型的位置输入方法被称作“Jump”型，通过依据键操作的指示进行的自动控制处理，自动制作预先决定的位置事件。另外，“0”键为了对键功能的坐标系进行变更而设置，在每次“0”键操作时，基于“1”～“3”、“7”～“9”键操作的跳转点或者移动方向被切换前后(+y，-y)和上下(+z，-z)。

在操作1次“F2”键之后的模式2中，如图7右侧所示，以极坐标格式输入位置事件。例如，能够通过“2”、“4”～“6”、“8”键，以“Step”型输入位置，以便每次操作“2”键时，在+方向(+z侧)将仰角φ仅改变1个单位角度；在每次操作“4”键时在一方向(x-y平面上右旋转)将方位角θ仅改变1个单位角度；在每次操作“5”键时在一方向(原点侧)从原点开始将距离r仅移动1个单位距离。另外，若操作“1”、“3”、“7”、“9”键，则与模式1同样，以“Jump”型输入。而且，在模式1中操作“0”键，切换前后和上下的情况下，针对模式2的“1”、“3”、“7”、“8”键的操作也维持该切换状态。例如，在模式1中，操作“0”键从“前后”切换为“上下”之后，在进入模式2操作“1”键时，跳转至上(+z)方向左边的顶点。

进而，一旦操作“F2”键就进入模式3。该模式也称作自动控制模式，通过“1”、“3”、“7”、“9”键的操作，与模式1同样地不仅进行跳转，而且即使操作其它的某个键，如图6所示，也会以经过规定的路径到达规定的位置的“Jump”型输入所有位置事件。例如，一旦操作“1”键，则从当前位置经过规定形状的移动路径，跳转至预先离散决定的特定坐标位置(定点或者随机点)a～d中的1个坐标位置a，当操作“2”键时，有关x-y平面跳转至当前位置(x，y，z)对称的位置(x，y，-z)。并且，一旦操作“4”键，则在与x-y平面平行的面上以z轴为中心旋转1次后返回当前位置(x，y，z)，如果是“0”键操作，则在包含原点(0，0，0)和当前位置(x，y，z)在内的任意平面上以给定坐标位置为中心旋转1次后，再次返回当前位置(x，y，z)。

另外，在图5的顺序输入处理的第1步骤中，CPU1依据与顺序输入画面(图7：3D画面)对应的用户的设定操作，设定音像Pg的初始位置(步骤C31)。这时，所设定的音像位置Pg(x，y，z)，在画面的3D收听空间内作为图像被显示，同时在端部的当前位置标号Dg用坐标值表示，用户能够确认。另外，在初始位置设定步骤(C31)中，以模式1或者模式2操作“*”键之后，以数字键(2，4，5，8，0)的操作对视点位置进行变更，以“决定”键确定后，能够对坐标方格的视点位置进行变更。

接着，以“F3”键操作开始处理，将音像位置事件的移动时间Δt复位为“0”，将所设定的音像初始位置Pg(x，y，z)以及时间信息(绝对时间t＝“0”，移动时间Δt＝“0”)作为最初的位置事件，记录在RAM部2的位置事件存储区域中(步骤C32)，同时从RAM部2的源乐曲存储区域中读出源乐曲数据，通过乐音输出部6-10，开始再生(步骤C33)。另外，接着通过操作“F3”键，从而可暂时停止源乐曲的再生，进而通过操作“F3”键，从而能够重新开始源乐曲的再生。另外，在源乐曲的再生停止过程中，计时动作停止，再次开始再生且再次开始动作。

接着，判定是否存在与位置事件相关的用户的输入操作(步骤C34)，当没有位置输入操作时(C34→否)，在未进行源乐曲的再生期间(步骤S35→否)，返回输入操作判定步骤(C34)。并且，在存在位置输入操作时(C34→是)，以从上次的位置输入操作时刻(顺序输入处理的开始最初为通过“F3”键进行开始操作的时刻)至该位置输入操作时刻为止的经过时间，对音像位置事件的移动时间Δt进行更新之后(步骤C36)，进行位置事件相关的输入操作的类别判定(步骤C37)。

在此，当输入操作的类别为“Step”(依次)型位置输入时(C37→是)，依据基于输入操作的移动乃至位移量，对音像的当前位置Pg(x，y，z)进行更新(步骤C38)，生成由更新后的音像当前位置Pg(x，y，z)和该事件信息(距源乐曲数据的再生开始的绝对时间t以及移动时间Δt)组成的位置事件，并将其记录在RAM部2的位置事件存储区域中(步骤C39)。

另一方面，当输入操作的类别为“Jump”(自动控制)型位置输入时(C37→否)，依据通过输入操作指定的移动内容，对音像移动的路径进行自动控制，生成由相当于该路径的有代表性的多个坐标位置和它们的时间信息(表示从时间Δt分割出的各坐标位置经过时刻的绝对时间以及相对移动时间)组成的一连串位置事件，并将其依次记录在RAM部2的位置事件存储区域中(步骤C40)。另外，在由“Jump”(自动控制)型位置输入对音像位置进行移动之际的移动速度，既可以是等速度，也可以是等加速度(加速方向、减速方向)，在为等加速度时，加速和减速的程度也可以不同。另外，如已说明的，关于移动轨迹，也可以是Z字形路径或随机的起伏等、使其具有起伏。

并且，在记录了新的位置事件时(C39，C40)，如图7的画面所示，将从最新的音像位置Pg至一定时间前为止的音像作为图像渐隐地显示在3D收听空间内，同时用画面端部的当前位置标记Dg显示最新音像位置的坐标值Pg(x，y，z)。若存在基于这样的位置输入操作的位置事件的记录处理(C39、C40)，则立即将移动时间Δt复位为“0”值(步骤C41)，返回位置输入操作检测步骤(C34)，在源乐曲数据的再生未结束的期间(C35→否)，反复上述步骤C34～C41的动作，在位置事件存储区域中，可记录源乐曲数据1曲份的位置事件，结束位置顺序数据。

并且，在没有位置输入操作(C34→否)且源乐曲数据的再生结束了时(C35→是)，判定是否执行了指示“重试(retry)”的操作(步骤C42)。即，在源乐曲数据的再生结束时，对功能键F2、F3的功能分配进行变更，以便给“F2”键分配重试(replay)功能，给“F3”键分配“返回(步骤C13)”功能，在该步骤(C42)中通过“F1”的用户操作判定是否指示重试(retry)。因此，在存在重试的指示时(C42→是)，在将功能键F2、F3的功能分配返回原来之后，返回步骤C31，再次反复步骤C31～C42的动作，针对相同的源乐曲数据，制作新的位置顺序数据。

另外，在并非重试指示而是通过“F2”键操作进行的重试(replay)的指示时(C42→否)，结束该顺序输入处理，返回图4的步骤C20，向服务器SV发送源乐曲数据的乐曲ID和位置顺序数据，请求向3D乐曲数据的变换。并且，虽然未图示，但在有基于“F3”键操作的“返回”指示时，结束该顺序输入处理，可立即返回图4的步骤C13(相当于图2的步骤C4)，选择新的乐曲数据。

(服务器侧的处理)

图8为表示本发明的一实施例的服务器侧的乐曲数据生成处理的流程图。该处理流程，尤其表示在图2的3D变换步骤(S5)中，基于用户独特的位置顺序所执行的3D乐曲变换动作的更详细的顺序。服务器SV，在源乐曲数据库DB中储存有许多源乐曲数据，用户管理数据文件中存储着与客户终端CL的机种相关的各信息或用户ID、用户地址等终端信息。另外，这些源乐曲数据，如已说明的，是以MIDI格式或者类似于MIDI格式的事件格式表示乐音的事件顺序数据，或者以ADPCM等编码格式表示乐音波形的音频信号数据。

另外，服务器SV，若从客户终端CL接收成为3D变换对象的源乐曲数据的乐曲ID和位置顺序数据，且接受向3D乐曲的数据变换的请求，则首先，对所接收的乐曲ID以及位置顺序数据、客户终端CL的机种、该客户终端CL的用户地址等请求内容进行确认(步骤S11)。接着，从源乐曲数据库DB中读出由该乐曲ID特定的源乐曲数据(步骤S12)，进而，从用户管理数据文件中读出该客户终端CL的终端信息(步骤S13)。在此，所读出的终端信息中包含音量平衡等校正信息。

接着，将所接收的位置顺序数据的坐标系变换成音响用坐标系(步骤S14)。然后，令源乐曲数据的数据部分为乐音磁道信息Mt，追加位置顺序磁道(步骤S15)。接着，将进行了坐标系变换后的位置顺序数据记录在位置顺序磁道中，以作为位置顺序磁道信息St，通过将追加了需要的信息的数据作为头信息Hd附加在源乐曲数据的头部分中，从而将源乐曲数据变换成带有立体音像变换效果的乐曲数据(步骤S16)。另外，当乐音磁道信息Mt由多个声道构成时，将与位置顺序信息St对应的乐曲声道作为固定的声道(例如旋律部分的声道)。并且，在源乐曲数据为事件顺序格式的情况下，通过服务器SV侧的音源电路，从而基于源乐曲数据生成对应的音频信号数据，将所生成的音频信号数据置换成乐音磁道信息Mt。

接着，针对变换后的带有立体音像变化效果的乐曲数据，进行调整音量平衡等的平衡校正(步骤S17)。即，根据安装在请求了3D乐曲变换的客户终端CL中的DSP的规格，有时带有3D音像效果的声道的音量，比与3D音像效果无关的其它声道的音量还要低。因此，从用户终端的机种信息获得音像平衡等校正信息，通过依据该校正信息进行乐音磁道信息Mt的各声道的音量校正，从而在客户终端再现最佳音量平衡。

这样，生成3D乐曲数据Md，其包含：由进行平衡校正后的音频信号数据构成的乐音磁道信息Mt、和由进行坐标系的变换后的位置顺序数据构成的位置顺序磁道信息St(步骤S18)。然后，若将所生成的3D乐曲数据Md配送给该客户终端CL(步骤S19)，则结束相对于该请求的乐曲数据生成处理，返回新的请求的接受阶段。

(各种实施方式)

以上，虽然针对本发明优选的一实施例作了说明，但这仅仅是一例，本发明，在不脱离发明精神的范围内还可有各种变更，能够以各种方式实施。例如，在实施例中，在服务器侧虽然提供变换成ADPCM格式等的音频信号数据后的3D(带有立体音像)乐曲数据，但也可使客户终端侧具有3D变换功能，在客户终端上进行变换。

在实施例中，虽然从服务器发送源乐曲数据，但也能够将保存在客户终端中的乐曲数据用作源乐曲数据。这种情况下，可以与所制作的位置顺序一起发送给服务器，请求3D变换，也可以如上所述在客户终端上进行3D变换。

变换后的3D乐曲数据的乐曲磁道信息(Mt)，并非限于ADPCM格式。可以是其它格式的数字音频信号数据，也可以是MIDI等事件顺序数据格式的原样。另外，在为具有MIDI等事件顺序数据格式的乐曲磁道信息的3D乐曲数据的情况下，在客户终端中，由于实时制作音频信号数据并附加3D音像效果在处理量方面很困难，因此优选在3D乐曲数据的利用之前，预先将事件顺序数据格式的乐曲磁道信息，置换成对应的音频信号数据格式的乐曲磁道信息。

基于位置顺序磁道信息(St)的3D效果可以附加在多个声道的乐曲磁道信息(Mt)上。例如，可给预先特定的乐曲声道附加与附加有3D音像效果的3D乐曲数据的其它乐音声道同样的3D效果。另外，也可以对于1个源乐曲数据多次输入位置顺序，根据各位置顺序，给源乐曲数据的各声道施加3D变换。

可一边对已附加3D效果的3D乐曲数据进行再生，一边对其位置顺序磁道进行修正。例如，在对已带有3D效果的3D乐曲数据进行再生过程中若存在位置顺序的输入，则也可用距原有的位置顺序的相对位移，对位置顺序进行更新。

在进行向3D乐曲数据的变换之际，在连续3个以上的位置位移的轨迹在通过原点的平面上单调变化的情况下，也可以置换成2点间的移动，以实现数据量的压缩。或者，也可降低时间分解能力，剔除数据。

关于收费处理，虽然在实施例中未作说明，但可在任意时刻进行收费。例如，下载变换后的3D乐曲数据，在可再生地记录在客户终端上(即，注册在客户终端的数据程序库中)的时刻，进行收费处理。这种情况下，分成3D乐曲数据的下载对应的收费、和从源乐曲数据向3D乐曲的变换对应的收费。例如，在对已执行了收费处理并保存在客户终端中的乐曲数据进行变换的情况下，不是进行乐曲数据本身对应的重新收费，而是仅针对变换处理进行追加收费。

Claims (4)

1、一种乐曲数据生成系统，其由经通信网络可通信地连接的服务器以及客户终端组成，其中，

服务器具备：

源乐曲储存机构，其储存多个乐曲数据；

源乐曲读出机构，其从所述源乐曲储存机构中读出乐曲数据；

顺序接收机构，其从客户终端接收位置顺序数据；

3维乐曲生成机构，其通过给由所述乐曲读出机构读出的乐曲数据附加所述位置顺序数据，从而生成具有3维声音特点且可再生的带有位置顺序的乐曲数据；和

3维乐曲发送机构，其将带有所述位置顺序的乐曲数据发送给客户终端，

客户终端具备：

顺序输入机构，其基于用户操作，依次输入设想的音像的位置坐标；

顺序记录机构，其将所输入的一连串的位置坐标作为位置顺序数据进行记录；

顺序发送机构，其将所记录的位置顺序数据发送给服务器；

3维乐曲接收机构，其从服务器接收带有位置顺序的乐曲数据；

3维乐曲存储机构，其对所接收的带有位置顺序的乐曲数据可再生地进行存储；和

3维乐曲再生机构，其使所存储的带有位置顺序的乐曲数据具有3维声音特点地进行再生。

2、根据权利要求1所述的乐曲数据生成系统，其特征在于，

服务器进一步具备：

源乐曲发送机构，其依据来自客户终端的请求，将通过所述乐曲读出机构读出的乐曲数据发送给客户终端，

客户终端进一步具备：

请求发送机构，其将请求乐曲数据的请求发送给服务器；

源乐曲接收机构，其接收依据所发送的请求而从服务器发送来的乐曲数据；和

源乐曲存储机构，其对所接收的乐曲数据可再生地进行存储，

通过所述顺序输入机构进行的位置坐标的输入，与存储在所述源乐曲存储机构中的乐曲数据的再生并列进行。

3、根据权利要求1或2所述的乐曲数据生成系统，其特征在于，

所述顺序输入机构具备：

第1输入机构，其将通过用户操作依次指示的坐标位置连续地输入；以及/或者

第2输入机构，其生成并输入与通过用户操作所指示的移动形式相应的坐标位置序列。

4、一种存储有乐曲数据生成程序的计算机可读取介质，该程序用于使经通信网络而与服务器可通信地连接的计算机执行以下工序，其中该工序包含：

请求发送步骤，其将请求乐曲数据的请求发送给服务器；

源乐曲接收步骤，其接收依据所发送的请求而从服务器发送来的乐曲数据；

源乐曲存储机构，其对由源乐曲接收步骤所接收的乐曲数据可再生地进行存储；

顺序输入步骤，其通过对由源乐曲存储步骤所存储的乐曲数据进行再生，同时将由用户操作依次指示的坐标位置连续输入，以及/或者通过将与由用户操作所指示的移动形式相应的坐标位置输入，从而将设想的音像的位置坐标依次输入；

顺序记录步骤，其将由顺序输入步骤所输入的一连串的位置坐标，作为位置顺序数据进行记录；

顺序发送步骤，其将所记录的位置顺序数据发送给服务器；

3维乐曲接收步骤，其从服务器接收通过在与由请求发送步骤所发送的请求对应的乐曲数据上附加所述位置顺序数据而生成的、具有3维声音特点且可再生的带有位置顺序的乐曲数据；

3维乐曲存储步骤，其将由3维乐曲接收步骤接收的具有位置顺序的乐曲数据可再生地进行存储；和

3维乐曲再生步骤，其使由3维乐曲存储步骤所存储的带有位置顺序的乐曲数据具有3维声音特点地进行再生。

Images