JP6610291B2

JP6610291B2 - Information processing device

Info

Publication number: JP6610291B2
Application number: JP2016014371A
Authority: JP
Inventors: 生郎大島
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2016-01-28
Filing date: 2016-01-28
Publication date: 2019-11-27
Anticipated expiration: 2036-01-28
Also published as: JP2017134258A

Description

本発明は、複数のオーディオデータを含む楽曲データを生成する技術に関する。 The present invention relates to a technique for generating music data including a plurality of audio data.

特許文献１には、ビデオデータとオーディオデータとからなる演奏コンテンツデータをボーカル、キーボード、ベース、ドラムスなどのパート単位で組み合わせることで、マルチパートの楽曲データを生成する仕組みが開示されている。 Patent Document 1 discloses a mechanism for generating multi-part music data by combining performance content data including video data and audio data in units of parts such as vocals, keyboards, basses, and drums.

特開２０１５−３１８８５号公報JP 2015-31885 A

特許文献１に記載の仕組みによれば、楽曲を構成する要素である演奏コンテンツデータ群のうちユーザが気にいったものを見つけるまで何度も演奏コンテンツデータがネットワーク上を遣り取りされる。このためネットワークにおける通信負荷は大きい。
そこで、本発明の目的は、ネットワークを用いて楽曲を生成する場合にそのネットワーク上の通信負荷を抑えることにある。 According to the mechanism described in Patent Document 1, performance content data is exchanged over the network many times until the user finds a favorite content from a group of performance content data that is an element constituting the music. For this reason, the communication load in the network is large.
Accordingly, an object of the present invention is to suppress a communication load on a network when music is generated using the network.

上記課題を解決するため、本発明は、複数のパートで構成された楽曲の演奏音を示す第１のオーディオデータを受信する受信手段と、受信された第１のオーディオデータに基づいて当該オーディオデータよりもデータサイズの小さい第２のオーディオデータをパート毎に生成する生成手段と、楽曲を構成する複数のパートのうちいずれかがクライアント装置からの要求によって指定されると、当該楽曲の前記第２のオーディオデータのうち当該パートに対応したデータを前記クライアント装置に送信する第２オーディオデータ送信手段と、前記第２オーディオデータ送信手段による送信の後に、前記楽曲の前記第１のオーディオデータのうちクライアント装置からの要求によって指定されたパートに対応したデータを送信する第１オーディオデータ送信手段と、前記第１オーディオデータ送信手段によって送信された、指定されたパートに対応する前記第２のオーディオデータと、当該パート以外に前記楽曲を構成するパートと対応付けて記憶する記憶手段とを備えることを特徴とする情報処理装置を提供する。 In order to solve the above-mentioned problems, the present invention provides a receiving means for receiving first audio data indicating a performance sound of a music composed of a plurality of parts, and the audio data based on the received first audio data. Generating means for generating second audio data having a smaller data size for each part, and when any one of a plurality of parts constituting the music is designated by a request from the client device, the second of the music Second audio data transmitting means for transmitting data corresponding to the part of the audio data to the client device, and after the transmission by the second audio data transmitting means, the client of the first audio data of the music 1st audio which transmits the data corresponding to the part designated by the request | requirement from an apparatus Data transmission means, the second audio data transmitted by the first audio data transmission means, corresponding to the designated part, and a memory for storing in association with the parts constituting the music other than the part And an information processing apparatus.

前記第２のオーディオデータの送信回数を集計する集計手段と、集計された送信回数が閾値を超える前記第２のオーディオデータを、楽曲データ生成用に配信するソフトウェアに組み込む組み込み手段とを備えるようにしてもよい。 Totaling means for totalizing the number of transmissions of the second audio data, and embedding means for incorporating the second audio data for which the totalized number of transmissions exceeds a threshold into software for generating music data. May be.

本発明によれば、ネットワークを用いて楽曲を生成する場合にそのネットワーク上の通信負荷を抑えられる。 According to the present invention, when music is generated using a network, the communication load on the network can be suppressed.

本発明の一実施形態に係るシステム全体の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an entire system according to an embodiment of the present invention. サーバ装置及びクライアント装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of a server apparatus and a client apparatus. サーバ装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of a server apparatus. ソングデータのデータ構造を示す図である。It is a figure which shows the data structure of song data. パズルデータのデータ構造を示す図である。It is a figure which shows the data structure of puzzle data. サーバ装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a server apparatus. サーバ装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a server apparatus. サーバ装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a server apparatus.

［構成］
図１は、本実施形態に係る楽曲データ生成システムの全体構成を示すブロック図である。この楽曲データ生成システムは、クライアント装置１と、サーバ装置２と、これらを通信可能に接続するネットワーク３とを備えている。クライアント装置１及びサーバ装置２は互いに通信可能なコンピュータである。クライアント装置１は例えばスマートホン、タブレット又はパーソナルコンピュータなどであり、ユーザによって操作される。このクライアント装置１は１つであってもよいし、複数であってもよい。ネットワーク３は、例えば移動体通信網やインターネットであり、有線区間又は無線区間を含んでいる。サーバ装置２は、楽曲（音楽作品）を示す楽曲データを蓄積している。クライアント装置１は、楽曲データを生成してネットワーク３経由でサーバ装置２にアップロードして登録したり、サーバ装置２からネットワーク３経由で楽曲データをダウンロードして再生する。 [Constitution]
FIG. 1 is a block diagram showing the overall configuration of a music data generation system according to this embodiment. This music data generation system includes a client device 1, a server device 2, and a network 3 that connects these devices so that they can communicate with each other. The client device 1 and the server device 2 are computers that can communicate with each other. The client device 1 is, for example, a smart phone, a tablet, or a personal computer, and is operated by a user. There may be one or more client devices 1. The network 3 is, for example, a mobile communication network or the Internet, and includes a wired section or a wireless section. The server device 2 stores music data indicating music (musical work). The client device 1 generates music data and uploads and registers the music data to the server device 2 via the network 3, or downloads music data from the server device 2 via the network 3 and plays it back.

本実施形態において、１つの楽曲データは、互いに同期して再生されるパート単位のオーディオデータを複数含む。ここでいうパートとは、例えばボーカル、キーボード、ギター、ベース、ドラムスなどの演奏手段のことを言う。本実施形態に係る楽曲データには、ソングデータとパズルデータという２種類がある。ソングデータとは、サーバ装置２に最初に登録されたときの、１つの楽曲を構成するオーディオデータの集合である。これに対し、パズルデータとは、ソングデータにおいて少なくとも１つのオーディオデータが最初の登録時から入れ替えられたものである。つまり、本実施形態においては、ソングデータに含まれるオーディオデータを、あたかもパズルを組み替えるかのように、他のオーディオデータに変更することができる。例えばユーザ自らが或る楽曲名の楽曲について演奏したギターのオーディオデータを、そのユーザよりもギターが上手な他のユーザが同じ楽曲名の楽曲について演奏したギターのオーディオデータに入れ替えるといった具合に、オーディオデータを入れ替えられる。これにより、ユーザの誰でもが簡単に好みのオーディオデータを組み合わせて楽曲を作成することが可能となる。 In the present embodiment, one piece of music data includes a plurality of audio data in part units that are reproduced in synchronization with each other. The part here refers to performance means such as vocals, keyboards, guitars, basses and drums. There are two types of music data according to the present embodiment, song data and puzzle data. The song data is a set of audio data constituting one musical piece when first registered in the server device 2. On the other hand, puzzle data is obtained by replacing at least one audio data in song data from the first registration. That is, in the present embodiment, the audio data included in the song data can be changed to other audio data as if the puzzle is rearranged. For example, the audio data of a guitar that the user performed for a song with a certain song name is replaced with the audio data of a guitar that another user who is good at the guitar performs with respect to a song with the same song name. Data can be exchanged. As a result, any user can easily compose music by combining favorite audio data.

図２は、クライアント装置１及びサーバ装置２のハードウェア構成を示すブロック図である。クライアント装置１は、制御部１１と、通信部１２と、記憶部１３と、ＵＩ（User Interface）部１４と、入出力Ｉ／Ｆ１５とを少なくとも備えている。制御部１１は、演算処理装置としてのＣＰＵ（Central Processing Unit）と、メモリとしてのＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）とを含む。ＣＰＵは、ＲＯＭ又は記憶部１３に記憶されたプログラムを、ＲＡＭに読み出して実行することにより、クライアント装置１の各部を制御する。通信部１２は、例えば通信Ｉ／Ｏや通信回路などを含み、ネットワーク３を介してサーバ装置２と通信を行う。記憶部１３は、例えばフラッシュメモリやハードディスク等の記憶装置であり、制御部１１により実行されるプログラム（例えば本実施形態に係る楽曲データ生成用のソフトウェア）などを記憶している。ＵＩ部１４は、例えば画像を表示する液晶ディスプレイなどの表示部と、ユーザの操作を受け付けるためのキーやタッチスクリーンなどの操作部とを備えている。入出力Ｉ／Ｆ１５は、外部装置とデータを遣り取りする手段であり、例えば外部装置としての録音機器から入力されるオーディオデータが入力される。 FIG. 2 is a block diagram illustrating a hardware configuration of the client device 1 and the server device 2. The client device 1 includes at least a control unit 11, a communication unit 12, a storage unit 13, a UI (User Interface) unit 14, and an input / output I / F 15. The control unit 11 includes a central processing unit (CPU) as an arithmetic processing device, a read only memory (ROM) and a random access memory (RAM) as memories. The CPU controls each unit of the client device 1 by reading the program stored in the ROM or the storage unit 13 into the RAM and executing it. The communication unit 12 includes, for example, a communication I / O, a communication circuit, and the like, and communicates with the server device 2 via the network 3. The storage unit 13 is a storage device such as a flash memory or a hard disk, and stores a program executed by the control unit 11 (for example, music data generation software according to the present embodiment). The UI unit 14 includes, for example, a display unit such as a liquid crystal display that displays an image, and an operation unit such as a key for accepting a user operation and a touch screen. The input / output I / F 15 is means for exchanging data with an external device. For example, audio data input from a recording device as an external device is input.

サーバ装置２は、制御部２０１と、記憶部２０２と、通信部２０３とを少なくとも備えている。制御部２０１は、演算処理装置としてのＣＰＵと、メモリとしてのＲＯＭ及びＲＡＭとを含む。ＣＰＵは、ＲＯＭ又は記憶部２０２に記憶されたプログラムを、ＲＡＭに読み出して実行することにより、サーバ装置２の各部を制御する。記憶部２０２は、例えばハードディスク等の大容量の記憶装置であり、制御部２０１により実行されるプログラムのほか、クライアント装置１からネットワーク３を介して取得したデータを記憶している。通信部２０３は、例えば通信Ｉ／Ｏや通信回路などを含み、ネットワーク３を介してクライアント装置１と通信を行う。 The server device 2 includes at least a control unit 201, a storage unit 202, and a communication unit 203. The control unit 201 includes a CPU as an arithmetic processing device, and ROM and RAM as memories. The CPU controls each unit of the server device 2 by reading the program stored in the ROM or the storage unit 202 into the RAM and executing it. The storage unit 202 is a large-capacity storage device such as a hard disk, and stores data acquired from the client device 1 via the network 3 in addition to a program executed by the control unit 201. The communication unit 203 includes, for example, a communication I / O, a communication circuit, and the like, and communicates with the client device 1 via the network 3.

図３は、サーバ装置２の機能構成を示すブロック図である。受信部２１は、前述したソングデータ等をクライアント装置１から受信する手段である。ソングデータには、前述したように各パートのオーディオデータ（第１オーディオデータ）が含まれている。記憶部２２は、受信部２１によって受信されたソングデータ等を記憶する。生成部２３は、ソングデータに含まれるオーディオデータ（第１オーディオデータ）に基づいて、当該オーディオデータ（第１オーディオデータ）よりもデータサイズの小さいオーディオデータ（第２オーディオデータ）をパート毎に生成する手段である。例えば、生成部２３は、ソングデータに含まれるオーディオデータ（第１オーディオデータ）に対してデータの間引きや圧縮などの処理によりデータ量を減らし、いわゆる音質を落としたオーディオデータ（第２オーディオデータ）を生成する。以下、ソングデータに含まれるオーディオデータを高音質オーディオデータ（第１オーディオデータ）といい、高音質オーディオデータに基づいて生成されたオーディオデータを低音質オーディオデータ（第２オーディオデータ）という。記憶部２２は、ソングデータに含まれる高音質オーディオデータに対応付けるとともに、その高音質オーディオデータに基づいて生成された低音質オーディオデータを記憶する。 FIG. 3 is a block diagram illustrating a functional configuration of the server device 2. The receiving unit 21 is means for receiving the above-described song data and the like from the client device 1. As described above, the song data includes the audio data (first audio data) of each part. The storage unit 22 stores the song data received by the receiving unit 21. The generation unit 23 generates, for each part, audio data (second audio data) having a data size smaller than the audio data (first audio data) based on the audio data (first audio data) included in the song data. It is means to do. For example, the generation unit 23 reduces the amount of data of audio data (first audio data) included in song data by processing such as data thinning or compression, so-called audio data (second audio data) with reduced sound quality. Is generated. Hereinafter, the audio data included in the song data is referred to as high sound quality audio data (first audio data), and the audio data generated based on the high sound quality audio data is referred to as low sound quality audio data (second audio data). The storage unit 22 stores the low sound quality audio data generated based on the high sound quality audio data while associating with the high sound quality audio data included in the song data.

第２オーディオデータ送信部２４は、クライアント装置１において楽曲を構成する複数のパートのうちいずれかがユーザにより指定されたことを意味する要求をクライアント装置１から受信すると、当該楽曲に対応する低音質オーディオデータ群のうち、指定されたパートに対応した低音質オーディオデータデータ（第２オーディオデータ）をクライアント装置１に送信する手段である。第１オーディオデータ送信部２５は、第２オーディオデータ送信部２４による低音質オーディオデータデータ（第２オーディオデータ）の送信の後に、クライアント装置１から要求された、その低音質オーディオデータに対応する高音質オーディオデータ（第１オーディオデータ）をクライアント装置１に送信する手段である。ここでいう低音質オーディオデータデータ（第２オーディオデータ）の送信の後とは、例えば、後述するようにユーザがオーディオデータの入替を指示する操作を行うタイミングである。 When the second audio data transmission unit 24 receives a request from the client device 1 that means that any one of a plurality of parts constituting the song in the client device 1 is designated by the user, the second audio data transmission unit 24 has a low sound quality corresponding to the song. This is means for transmitting low sound quality audio data data (second audio data) corresponding to a designated part in the audio data group to the client apparatus 1. The first audio data transmission unit 25 transmits the low sound quality audio data data (second audio data) by the second audio data transmission unit 24 and then transmits the high sound quality data corresponding to the low sound quality audio data requested from the client device 1. This is means for transmitting sound quality audio data (first audio data) to the client apparatus 1. The term “after transmission of the low-quality audio data data (second audio data)” as used herein means, for example, timing when the user performs an operation to instruct replacement of audio data as will be described later.

図４（Ａ）は、ソングデータのデータ構造を示す図である。ソングデータは、楽曲を構成するパート単位のオーディオデータ群を含む。このオーディオデータ群は、サーバ装置２に登録されたときのソングデータに含まれる高音質オーディオデータと、その高音質オーディオデータよりもデータサイズの小さい低音質オーディオデータとを含む。ソングデータは、そのソングデータの属性データ（以下ではソング属性データといい、本発明における楽曲属性データに相当する）及び各オーディオデータの属性データ（以下、オーディオ属性データという）を含む。 FIG. 4A shows the data structure of song data. The song data includes a part-unit audio data group constituting the music. The audio data group includes high sound quality audio data included in the song data when registered in the server device 2, and low sound quality audio data having a data size smaller than the high sound quality audio data. The song data includes attribute data of the song data (hereinafter referred to as song attribute data, which corresponds to the song attribute data in the present invention) and attribute data of each audio data (hereinafter referred to as audio attribute data).

ソング属性データは、楽曲名、ソングデータを識別するためのソングＩＤ、ソングデータの所有者に関するソング所有者情報、ソングデータを構成するオーディオデータのファイル名のリストである構成オーディオデータ名、ソングを構成するパート名のリストである構成パート情報、及び付属情報を含む。付属情報は、ソング所有者以外のユーザから寄せられた評価やコメントのほか、任意の分類語（例えば音楽ジャンル、演奏のレベル）のように、ソングデータを検索するための用語（キーワード）を含む。 The song attribute data includes a song name, a song ID for identifying the song data, song owner information regarding the owner of the song data, a configuration audio data name that is a list of audio data file names constituting the song data, and a song. It includes configuration part information that is a list of part names to be configured, and attached information. The attached information includes evaluations and comments received from users other than the song owner, as well as terms (keywords) for searching song data, such as arbitrary classification words (for example, music genre, performance level). .

オーディオ属性データは、オーディオデータを識別するためのオーディオデータ名、そのオーディオデータが示す演奏音の演奏者に関する演奏者情報、オーディオデータがどのパートに対応するものであるかを示すパート情報、及び付属情報を含む。付属情報は、オーディオデータのユーザから寄せられた評価やコメントのほか、任意の分類語（例えば音楽ジャンル、演奏のレベル）のように、オーディオデータを検索するための用語（キーワード）を含む。高音質オーディオデータと、その高音質オーディオデータに基づいて生成された低音質オーディオデータとでオーディオ属性データの内容は共通である。 The audio attribute data includes an audio data name for identifying the audio data, player information regarding the performer of the performance sound indicated by the audio data, part information indicating which part the audio data corresponds to, and attachment Contains information. The attached information includes a term (keyword) for searching the audio data, such as an arbitrary classification word (for example, music genre, performance level), in addition to evaluation and comments received from the user of the audio data. The contents of the audio attribute data are common to the high sound quality audio data and the low sound quality audio data generated based on the high sound quality audio data.

ソングデータに含まれるオーディオデータは他のオーディオデータに変更することができるように、各々のオーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データは、異なるオーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データに書き換え可能となっている。そして、オーディオデータ及びオーディオ属性データが書き換えられた場合に、書き換え後のオーディオデータ及びオーディオ属性データに応じて、当該ソングデータの属性を表すソング属性データが書き換えられる。 Audio data included in the song data can be changed to other audio data, so that each audio data and audio attribute data representing the attribute of the audio data are different audio data and audio representing the attribute of the audio data. It can be rewritten to attribute data. Then, when the audio data and the audio attribute data are rewritten, the song attribute data indicating the attribute of the song data is rewritten according to the rewritten audio data and the audio attribute data.

［動作］
［ソングデータの登録］
次に、図５を参照しながら、ユーザがソングデータをサーバ装置２に登録するときのサーバ装置２とクライアント装置１の動作について説明する。ユーザはクライアント装置１を用いてサーバ装置２のサービスにログインし、クライアント装置１において楽曲の演奏音を録音する。この録音処理において、クライアント装置１は、例えば内臓の録音機能を用いて演奏音を録音してもよいし、入出力Ｉ／Ｆ１５に接続された外部装置としての録音装置によって演奏音を録音させてこれを取り込んでもよい。この録音はパート毎に行われ、パート単位でオーディオデータが生成される。録音が終了すると、ソングデータのアップロードを指示する。このとき、ユーザは、ソング属性データ及びオーディオ属性データを入力する。ソング属性データ及びオーディオ属性データのうち少なくとも一部（例えばソングＩＤやオーディオデータ名など）については、クライアント装置１の制御部１１又はサーバ装置２の制御部２０１が自動で生成してもよい。 [Operation]
[Register Song Data]
Next, operations of the server apparatus 2 and the client apparatus 1 when the user registers song data in the server apparatus 2 will be described with reference to FIG. The user logs in to the service of the server device 2 using the client device 1 and records the performance sound of the music on the client device 1. In this recording process, the client device 1 may record the performance sound using, for example, a built-in recording function, or the performance sound may be recorded by a recording device as an external device connected to the input / output I / F 15. You may capture this. This recording is performed for each part, and audio data is generated for each part. When recording is finished, it instructs uploading of song data. At this time, the user inputs song attribute data and audio attribute data. At least some of the song attribute data and the audio attribute data (for example, song ID and audio data name) may be automatically generated by the control unit 11 of the client device 1 or the control unit 201 of the server device 2.

クライアント装置１の制御部１１は、オーディオデータ、ソング属性データ及びオーディオ属性データを含むソングデータをサーバ装置２に送信する。サーバ装置２の制御部２０１はソングデータを通信部２０３によって受信すると（ステップＳ１１）、記憶部２０２に記憶させる（ステップＳ１２）。 The control unit 11 of the client device 1 transmits song data including audio data, song attribute data, and audio attribute data to the server device 2. When the song data is received by the communication unit 203 (step S11), the control unit 201 of the server device 2 stores the song data in the storage unit 202 (step S12).

次に、制御部２０１は、受信したソングデータに含まれるオーディオデータ（つまり高音質オーディオデータ）に基づいて間引き等の手法を用いてデータサイズの小さい低音質オーディオデータデータを生成する（ステップＳ１３）。そして、制御部２０１は、生成した低音質オーディオデータを、同じ楽曲のソングデータに含まれる高音質オーディオデータと対応付けて記憶部２０２に記憶させる（ステップＳ１４）。これにより、図４（Ａ）に示すような構造のソングデータが記憶部２０２に記憶された状態となる。 Next, the control unit 201 generates low sound quality audio data data having a small data size using a method such as thinning based on the audio data (that is, high sound quality audio data) included in the received song data (step S13). . Then, the control unit 201 stores the generated low sound quality audio data in the storage unit 202 in association with the high sound quality audio data included in the song data of the same music (step S14). As a result, the song data having the structure as shown in FIG. 4A is stored in the storage unit 202.

［パズルデータの生成］
次に、図６を参照しながら、ユーザがソングデータに含まれるオーディオデータを入れ替えてパズルデータを作成するときの動作について説明する。ユーザがクライアント装置１を用いて所定の操作を行うと（ステップＳ１０１）、サーバ装置２の制御部２０１はソングデータの楽曲名の一覧をクライアント装置１に送信する（ステップＳ１０２）。クライアント装置１の制御部１１は、楽曲名の一覧をＵＩ部１４に表示させた後、ユーザが所望の楽曲の楽曲名を指定すると、その楽曲名をサーバ装置２に通知する（ステップＳ１０３）。サーバ装置２の制御部２０１は、この通知に基づいて、ユーザが指定した楽曲名を特定する（ステップＳ１０４）。 [Puzzle data generation]
Next, an operation when the user creates puzzle data by exchanging audio data included in song data will be described with reference to FIG. When the user performs a predetermined operation using the client device 1 (step S101), the control unit 201 of the server device 2 transmits a list of song names of song data to the client device 1 (step S102). The control unit 11 of the client device 1 displays a list of song names on the UI unit 14 and then notifies the server device 2 of the song name when the user designates the song name of the desired song (step S103). Based on this notification, the control unit 201 of the server device 2 identifies the song name designated by the user (step S104).

制御部２０１は、特定した楽曲名がソング属性データに含まれるソングデータ群を記憶部２０２から抽出し、そのソングデータ群の各ソング属性データの一覧を生成してクライアント装置１に送信する（ステップＳ１０５）。クライアント装置１の制御部１１は、ソング属性データの一覧をＵＩ部１４に表示させる。ユーザは、ソング属性データの一覧を見ることで、所望するソングデータとして自身の希望に合ったものを選定することができる。クライアント装置１の制御部１１は、ユーザが所望のソングデータのソング属性データを指定すると、そのソングデータのソングＩＤをサーバ装置２に通知する（ステップＳ１０６）。サーバ装置２の制御部２０１は、この通知に基づいて、ユーザが指定したソングデータを特定する（ステップＳ１０７）。さらに、ユーザがクライアント装置１において、そのソングデータにおいて入替を希望するパートを指定すると、クライアント装置１の制御部１１は、そのパートをサーバ装置２に通知する（ステップＳ１０８）。サーバ装置２の制御部２０１は、この通知に基づいて、ユーザが指定したパートを特定する（ステップＳ１０９）。 The control unit 201 extracts a song data group in which the specified song name is included in the song attribute data from the storage unit 202, generates a list of each song attribute data of the song data group, and transmits the list to the client device 1 (step). S105). The control unit 11 of the client device 1 displays a list of song attribute data on the UI unit 14. By viewing the list of song attribute data, the user can select desired song data that suits his / her wishes. When the user designates song attribute data of desired song data, the control unit 11 of the client device 1 notifies the server device 2 of the song ID of the song data (step S106). Based on this notification, the control unit 201 of the server device 2 identifies song data designated by the user (step S107). Further, when the user designates a part to be replaced in the song data in the client device 1, the control unit 11 of the client device 1 notifies the server device 2 of the part (step S108). Based on this notification, the control unit 201 of the server device 2 identifies the part designated by the user (step S109).

制御部２０１は、ステップＳ１０４にて特定した楽曲名がソング属性データに含まれるソングデータ群から、ステップＳ１０９にて特定したパートに対応するオーディオデータのオーディオ属性データを記憶部２０２から抽出し、そのオーディオ属性データの一覧を生成してクライアント装置１に送信する（ステップＳ１１０）。クライアント装置１の制御部１１は、オーディオ属性データの一覧をＵＩ部１４に表示させる。ユーザは、オーディオ属性データの一覧を見ることで、所望するオーディオデータとして自身の希望に合ったものを選定することができる。ユーザが所望のオーディオ属性データに対応する低音質オーディオデータの試聴を指示すると、クライアント装置１の制御部１１は、その低音質オーディオデータをサーバ装置２に要求する（ステップＳ１１１）。サーバ装置２の制御部２０１は、要求された低音質オーディオデータを記憶部２０２から読み出して（ステップＳ１１２）、クライアント装置１に送信する（ステップＳ１１３）。 The control unit 201 extracts the audio attribute data of the audio data corresponding to the part specified in step S109 from the storage unit 202 from the song data group in which the song name specified in step S104 is included in the song attribute data. A list of audio attribute data is generated and transmitted to the client device 1 (step S110). The control unit 11 of the client device 1 displays a list of audio attribute data on the UI unit 14. By viewing the list of audio attribute data, the user can select desired audio data that meets his / her desire. When the user instructs to listen to low sound quality audio data corresponding to desired audio attribute data, the control unit 11 of the client device 1 requests the server device 2 for the low sound quality audio data (step S111). The control unit 201 of the server device 2 reads the requested low-quality audio data from the storage unit 202 (step S112) and transmits it to the client device 1 (step S113).

クライアント装置１の制御部１１は、受信した低音質オーディオデータを再生する（ステップＳ１１４）。この低音質オーディオデータはクライアント装置１においていわゆるキャッシュされ、サーバ装置２から再取得不要で再生可能である。試聴したユーザがオーディオデータの入替を指示する操作を行うと（ステップＳ１１５；ＹＥＳ）、クライアント装置１の制御部１１は、その旨の要求をサーバ装置２に通知する（ステップＳ１１６）。サーバ装置２の制御部２０１は、この要求によって指定された低音質オーディオデータに対応する高音質オーディオデータを記憶部２０２から読み出して（ステップＳ１１７）、クライアント装置１に送信する（ステップＳ１１８）。 The control unit 11 of the client device 1 reproduces the received low sound quality audio data (step S114). The low sound quality audio data is so-called cached in the client device 1 and can be reproduced from the server device 2 without re-acquisition. If the user who auditioned performs operation which instruct | indicates replacement | exchange of audio data (step S115; YES), the control part 11 of the client apparatus 1 will notify the server apparatus 2 of the request to that effect (step S116). The control unit 201 of the server device 2 reads out the high sound quality audio data corresponding to the low sound quality audio data designated by this request from the storage unit 202 (step S117), and transmits it to the client device 1 (step S118).

クライアント装置１の制御部１１は、受信した高音質オーディオデータを再生する。この再生は、受信した高音質オーディオデータのみの再生であってもよいし、同じ楽曲の他のパートと同期したいわゆるミキシング再生であってもよい。そして、この高音質オーディオデータを採用しようと考えたユーザがサーバ装置２のサービスにログインしてパズルデータの登録を指示する操作を行うと（ステップＳ１１９；ＹＥＳ）、クライアント装置１の制御部１１は、その旨をサーバ装置２に通知する（ステップＳ１２０）。サーバ装置２の制御部２０１は、この通知に応じて、ステップＳ１０７において特定したソングデータにおいて、ステップＳ１０９にて特定したパートに対応する高音質オーディオデータ及び低音質オーディオデータを、ステップＳ１１９における指示で入れ替え、これを新規のパズルデータとして記憶する（ステップＳ１２１）。このとき新規のパズルデータとして扱われるから、クライアント装置１の制御部１１又はサーバ装置２の制御部２０１が、パズルＩＤ等を自動で生成するようにしてもよい。パズル属性データに含まれるソングＩＤは、当初のソングデータのソングＩＤが用いられる。また、ユーザは、ソング属性データ及びオーディオ属性データのうち少なくとも一部を書き換えるよう指示してもよい。これにより、図４（Ｂ）に示すような構造のパズルデータが記憶部２０２に記憶された状態となる。 The control unit 11 of the client device 1 reproduces the received high-quality audio data. This reproduction may be reproduction of only the received high-quality audio data, or so-called mixing reproduction synchronized with other parts of the same music piece. When the user who intends to adopt the high-quality audio data logs in to the service of the server device 2 and performs an operation to instruct registration of puzzle data (step S119; YES), the control unit 11 of the client device 1 This is notified to the server device 2 (step S120). In response to this notification, the control unit 201 of the server apparatus 2 specifies the high sound quality audio data and the low sound quality audio data corresponding to the part specified in step S109 in the song data specified in step S107 according to the instruction in step S119. This is replaced and stored as new puzzle data (step S121). At this time, since it is handled as new puzzle data, the control unit 11 of the client device 1 or the control unit 201 of the server device 2 may automatically generate a puzzle ID or the like. The song ID included in the puzzle attribute data is the song ID of the original song data. Further, the user may instruct to rewrite at least part of the song attribute data and the audio attribute data. As a result, the puzzle data having the structure as shown in FIG. 4B is stored in the storage unit 202.

このように、互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データ（ソングデータ、パズルデータ）のデータ構造において、各々のオーディオデータには、当該オーディオデータの属性を表すオーディオ属性データが対応付けられており、楽曲データ（ソングデータ、パズルデータ）には、当該楽曲データの属性を表す楽曲属性データが対応付けられている。従って、ソングデータを検索するときや入替対象とするオーディオデータを検索するときに、そのオーディオ属性データ及び楽曲属性データを利用することが可能となり、ユーザの好みに適合する楽曲を自由に生成することに役立つ。なお、図６は、楽曲データのうちソングデータに含まれるオーディオデータを入れ替える例であったが、パズルデータに含まれるオーディオデータを入れ替えるようにしてもよい。また、入れ替えるオーディオデータとして既にサーバ装置２に登録されているオーディオデータを利用するだけではなく、その都度、ユーザが録音して生成したオーディオデータを用いてもよい。 As described above, in the data structure of music data (song data, puzzle data) including a plurality of part-unit audio data reproduced in synchronization with each other, each audio data includes audio attribute data representing an attribute of the audio data. Are associated, and music data (song data, puzzle data) is associated with music attribute data representing attributes of the music data. Therefore, when searching for song data or searching for audio data to be replaced, the audio attribute data and the song attribute data can be used, and a song suitable for the user's preference can be freely generated. To help. Note that FIG. 6 is an example in which audio data included in song data of music data is replaced, but audio data included in puzzle data may be replaced. Further, not only the audio data already registered in the server apparatus 2 is used as the audio data to be replaced, but also the audio data recorded and generated by the user each time may be used.

また、データサイズの大きい高音質オーディオデータをサーバ装置２からクライアント装置１に頻繁に送信するとネットワークの負荷が大きくなるが、本実施形態によれば、データサイズの小さい低音質オーディオデータを試聴用に用意しているので、ネットワークの負荷を抑えられる。さらに、ネットワークの負荷を抑えるために、ユーザによって試聴される可能性が高い低音質オーディオデータを、クライアント装置１において実行されるプログラム（ソフトウェア）に組み込むようにしてもよい。つまり、図７に示すように、サーバ装置２の制御部２０１（集計手段）は、過去の所定期間においてクライアント装置１に送信されて試聴された回数を低音質オーディオデータごとに集計する、いわゆる人気集計処理を行う（ステップＳ３０１）。次に、制御部２０１は、過去の所定期間において送信された回数が閾値よりも多い低音質オーディオデータを特定する（ステップＳ３０２）この閾値は、予め決められた値であってもよいし、全楽曲中で上位何番目という決め方であってもよいなど、その決め方は任意のものを採用可能である。そして、制御部２０１（組み込み手段）は、特定した低音質オーディオデータを記憶部２０２から読み出し、それをクライアント装置１に配信する楽曲データ生成ソフトウェアのバージョンアップ版に組み込む（ステップＳ３０３）。このソフトウェアをインストールしたクライアント装置１は、このソフトウェアに組み込まれた低音質オーディオデータをＲＡＭに展開して、いわゆるオフラインで利用することができるから、サーバ装置から都度、低音質オーディオデータを取得する必要がない。 Further, if high-quality audio data having a large data size is frequently transmitted from the server apparatus 2 to the client apparatus 1, the load on the network increases. However, according to the present embodiment, low-quality audio data having a small data size is used for listening. Because it is prepared, the load on the network can be reduced. Furthermore, in order to reduce the load on the network, low-quality audio data that is likely to be sampled by the user may be incorporated into a program (software) executed in the client device 1. That is, as shown in FIG. 7, the control unit 201 (aggregation unit) of the server apparatus 2 aggregates the number of times of being transmitted to the client apparatus 1 and being auditioned in the past predetermined period for each low-quality audio data. Aggregation processing is performed (step S301). Next, the control unit 201 identifies low-quality audio data whose number of transmissions in the past predetermined period is greater than the threshold (step S302). This threshold may be a predetermined value or all Any method can be used, such as how to determine the highest number in the music. Then, the control unit 201 (embedding means) reads the specified low sound quality audio data from the storage unit 202 and incorporates it into the upgraded version of the music data generation software distributed to the client device 1 (step S303). Since the client device 1 in which this software is installed can expand the low sound quality audio data incorporated in this software into the RAM and use it so-called offline, it is necessary to acquire the low sound quality audio data from the server device each time. There is no.

なお、ユーザがサーバ装置２のサービスに対しいわゆるユーザ認証を経てログインすることは必ずしも必須ではなく、例えばソングデータやパズルデータとして演奏を録音して登録するときにのみログインを必須としてもよいなど、どのような処理にログインを必要とするかは任意に設計すればよい。
本発明は、例えばサーバ装置２のような情報処理装置のほか、サーバ装置２が行うデータ生成方法や、サーバ装置２によって実行されるプログラムとして実施されてもよい。本発明に係るデータ生成方法は、互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データを生成するデータ生成方法であって、各々の前記オーディオデータに当該オーディオデータの属性を表すオーディオ属性データを対応付け、前記楽曲データに当該楽曲データの属性を表す楽曲属性データを対応付けて、当該楽曲データを生成する。また、サーバ装置２の制御部２０１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でサーバ装置２にダウンロードさせることも可能である。
また、本発明に係るサーバ装置を１台のコンピュータで実現してもよいし、複数のコンピュータが処理を分担し互いに連携することによって実現してもよい。 In addition, it is not always essential that the user logs in to the service of the server device 2 through so-called user authentication. For example, login may be mandatory only when recording and registering a performance as song data or puzzle data. What kind of processing is required for login may be arbitrarily designed.
The present invention may be implemented as an information processing device such as the server device 2, a data generation method performed by the server device 2, or a program executed by the server device 2. The data generation method according to the present invention is a data generation method for generating music data including a plurality of part-unit audio data that are reproduced in synchronization with each other, wherein each audio data represents an attribute of the audio data. The music data is generated by associating the attribute data and associating the music data representing the attribute of the music data with the music data. The programs executed by the control unit 201 of the server apparatus 2 are magnetic tape, magnetic disk, flexible disk, optical recording medium, magneto-optical recording medium, CD (Compact Disk) -ROM, DVD (Digital Versatile Disk), RAM Or the like stored in a recording medium. It is also possible to download to the server device 2 via a network such as the Internet.
In addition, the server device according to the present invention may be realized by a single computer, or may be realized by a plurality of computers sharing processing and cooperating with each other.

１…クライアント装置、２…サーバ装置、３…ネットワーク、１１…制御部、１２…通信部、１３…記憶部、１４…ＵＩ部、１５…入出力Ｉ／Ｆ、２０１…制御部、２０２…記憶部、２０３…通信部、２１…受信部、２２…記憶部、２３…生成部、２４…第２オーディオデータ送信部、２５…第１オーディオデータ送信部。 DESCRIPTION OF SYMBOLS 1 ... Client apparatus, 2 ... Server apparatus, 3 ... Network, 11 ... Control part, 12 ... Communication part, 13 ... Memory | storage part, 14 ... UI part, 15 ... Input-output I / F, 201 ... Control part, 202 ... Memory | storage Unit 203, communication unit, 21 receiving unit, 22 storage unit, 23 generating unit, 24 second audio data transmitting unit, 25 first audio data transmitting unit.

Claims

Receiving means for receiving first audio data indicating a performance sound of a music composed of a plurality of parts;
Generation means for generating, for each part, second audio data having a data size smaller than the audio data based on the received first audio data;
When any one of a plurality of parts constituting the music is designated by a request from the client device, second audio that transmits data corresponding to the part of the second audio data of the music to the client device. Data transmission means;
First audio data transmitting means for transmitting data corresponding to a part designated by a request from the client device among the first audio data of the music after transmission by the second audio data transmitting means;
The second audio data corresponding to the designated part transmitted by the first audio data transmitting means, and storage means for storing in association with the parts constituting the music other than the part. A characteristic information processing apparatus.

Tally means for tallying the number of transmissions of the second audio data;
The information processing apparatus according to claim 1, further comprising: an incorporating unit that incorporates the second audio data in which the total number of transmissions exceeds a threshold into music data generation software.