JP2008203384A

JP2008203384A - Electronic musical instrument and program using audio data

Info

Publication number: JP2008203384A
Application number: JP2007037329A
Authority: JP
Inventors: Yuichi Sekido; 裕一関戸
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-02-19
Filing date: 2007-02-19
Publication date: 2008-09-04

Abstract

<P>PROBLEM TO BE SOLVED: To provide an electronic musical instrument having a function for displaying chord progression and lyrics by using audio data of a media player, without acquiring lyrics data with chord progression. <P>SOLUTION: The electronic musical instrument 3 communicates with a lyrics data providing site 1 in which the lyrics data are stored and it is connected to the media player 4 in which the audio data are stored. When desired audio data to be used and its music piece specified information are acquired from the media player 4, chord progression data are created by analyzing the acquired audio data. The lyrics data corresponding to the acquired music piece specifying information are acquired from a lyrics data providing site 1, and the lyrics data with timing information are created from the acquired lyrics data. Then, the chord progression data and the lyrics data with timing information are associated with each other, and according to the related chord progression data and the lyrics data, the audio data are reproduced (35), while the chord progression and the lyrics are displayed (32). <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、オーディオデータを蓄積するメディアプレイヤと連携してコード進行及び歌詞を表示することができる電子楽器に関する。 The present invention relates to an electronic musical instrument that can display chord progressions and lyrics in cooperation with a media player that stores audio data.

電子楽器においては、ＭＩＤＩなどの曲データ中にコード（和音）情報及び歌詞情報を含ませ、この曲データに基づきコード進行と歌詞を対応付けて表示することによって、電子楽器の演奏を補助する技術は、例えば、特許文献１などにより、知られている。しかしながら、このようにＭＩＤＩなどの曲データを利用する従来技術では、再生される楽音はＭＩＤＩデータに基づくものになるので、オーディオデータの楽曲に比べてリアル感が劣ったり、歌が再生されない等のデメリットがある。
特開２００１−１５４６６５号公報 In an electronic musical instrument, a technique for assisting the performance of an electronic musical instrument by including chord information and lyrics information in music data such as MIDI and displaying the chord progression and lyrics in association with each other based on the music data. Is known from, for example, Patent Document 1. However, in the conventional technology using music data such as MIDI as described above, since the music to be played is based on MIDI data, the realism is inferior to the music of the audio data or the song is not played back. There are disadvantages.
JP 2001-154665 A

一方、大容量の記憶媒体を備えた携帯メディアプレイヤが広く流通しており、手軽にオーディオデータを持ち運べるようになった。また、オーディオ形式の音楽コンテンツに対応する歌詞データをＷｅｂサイトからパーソナルコンピュータを通じて取得し、取得した歌詞データを音楽コンテンツに対応付けてオーディオプレイヤのモバイルディスクに記憶し、オーディオプレイヤで音楽コンテンツの曲データを再生し歌詞データを表示する技術も、例えば、特許文献２などにより、知られている。
特開２００４−１１７６１８号公報 On the other hand, portable media players equipped with a large-capacity storage medium are widely distributed, and audio data can be easily carried. Also, lyrics data corresponding to music content in audio format is acquired from a website through a personal computer, and the acquired lyrics data is stored in association with the music content on a mobile disk of the audio player, and the song data of the music content is stored in the audio player. A technique for reproducing lyrics and displaying lyrics data is also known, for example, from Patent Document 2.
JP 2004-117618 A

しかしながら、特許文献２のようにＭＩＤＩなどの曲データを利用しない従来技術によると、ＭＩＤＩデータに基づくデメリットは解消されるものの、コード進行が表示されないというデメリットがある。また、コード進行付き歌詞データを提供するＷｅｂサイトも見られるが、その数は歌詞データのみを提供するサイトに比べて極めて少なく、その結果、取得可能なコード進行付き歌詞データの種類が限られてしまう。 However, according to the related art that does not use music data such as MIDI as in Patent Document 2, the disadvantage based on the MIDI data is eliminated, but the chord progression is not displayed. There are also websites that provide lyric data with chord progressions, but the number of lyric data with chord progressions is limited as compared to sites that provide only lyric data. End up.

この発明は、このような事情に鑑み、コード進行付き歌詞データを取得することなく、メディアプレイヤから取得されるオーディオデータを利用してコード進行及び歌詞を表示する機能を備えた電子楽器を提供することを目的とする。 In view of such circumstances, the present invention provides an electronic musical instrument having a function of displaying chord progression and lyrics using audio data acquired from a media player without acquiring lyrics data with chord progression. For the purpose.

この発明の１つの特徴に従うと、オーディオデータを蓄積しているメディアプレイヤ（４）と通信可能に接続される電子楽器（３）であって、メディアプレイヤ（４）から、オーディオデータの再生（４５）に基づくオーディオ信号を受信するオーディオ信号受信手段（３６；Ｍ６）と、オーディオ信号受信手段により受信されたオーディオ信号をオーディオデータ（Ａｄ）として記憶するオーディオ記憶手段（３３；Ｍ６）と、オーディオ記憶手段に記憶されたオーディオデータ（Ａｄ）を解析して時間情報及びコード情報から成るコード進行データ（Ｃｐ）を生成するコード進行生成手段（３Ａ；Ｍ７）と、メディアプレイヤ（４）から、オーディオデータ（Ａｄ）を特定するオーディオ特定情報（楽曲特定情報：楽曲名やアーティスト名など）を受信するオーディオ特定情報受信手段（３９；Ｍ３）と、オーディオ特定情報受信手段により受信されたオーディオ特定情報に基づいて時間情報付き歌詞データ（Ｗｔ）を取得する歌詞データ取得手段（３８，３Ｂ；Ｍ３，Ｍ４，Ｍ８）と、コード進行生成手段により生成されたコード進行データ（Ｃｐ）と歌詞データ取得手段により取得された時間情報付き歌詞データ（Ｗｔ）とを対応付けてコード進行及び歌詞を表示する表示手段（３Ｃ，３２；Ｍ９，Ｍ１０）とを具備する電子楽器（３）〔請求項１〕、並びに、オーディオデータ（Ａｄ）を蓄積しているメディアプレイヤ（４）と通信可能に接続され、電子楽器として機能するコンピュータ（４）に、メディアプレイヤ（４）から、オーディオデータの再生（４５）に基づくオーディオ信号を受信するオーディオ信号受信ステップ（Ｍ６）と、オーディオ信号受信ステップで受信されたオーディオ信号をオーディオデータ（Ａｄ）として記憶手段（３３）に記憶するオーディオ記憶ステップ（Ｍ６）と、記憶手段（３３）に記憶されたオーディオデータ（Ａｄ）を解析して時間情報及びコード情報から成るコード進行データ（Ｃｐ）を生成するコード進行生成ステップ（３Ａ；Ｍ７）と、メディアプレイヤ（４）から、オーディオデータ（Ａｄ）を特定するオーディオ特定情報（楽曲特定情報：楽曲名やアーティスト名など）を受信するオーディオ特定情報受信ステップ（Ｍ３）と、オーディオ特定情報受信ステップで受信されたオーディオ特定情報に基づいて時間情報付き歌詞データ（Ｗｔ）を取得する歌詞データ取得ステップ（３Ｂ；Ｍ３，Ｍ４，Ｍ８）と、コード進行生成ステップで生成されたコード進行データ（Ｃｐ）と歌詞データ取得ステップで取得された時間情報付き歌詞データ（Ｗｔ）とを対応付けてコード進行及び歌詞を表示する表示ステップ（３Ｃ；Ｍ９，Ｍ１０）とから成る手順を実行させるオーディオデータ利用プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号、用語等を表わし、以下においても同様である。 According to one aspect of the present invention, there is provided an electronic musical instrument (3) communicatively connected to a media player (4) storing audio data, and the audio data is reproduced (45) from the media player (4). ) Based audio signal receiving means (36; M6), audio storage means (33; M6) for storing the audio signal received by the audio signal receiving means as audio data (Ad), and audio storage The chord progression generation means (3A; M7) for analyzing the audio data (Ad) stored in the means to generate chord progression data (Cp) comprising time information and chord information, and the audio data from the media player (4) Audio specific information for specifying (Ad) (music specific information: music name and artist Audio specification information receiving means (39; M3), and lyrics data acquisition means (38, M3) for acquiring lyrics data with time information (Wt) based on the audio specification information received by the audio specification information receiving means. 3B; M3, M4, M8), the chord progression data (Cp) generated by the chord progression generation means and the lyric data with time information (Wt) obtained by the lyric data acquisition means in association with each other. Can be communicated with an electronic musical instrument (3) comprising display means (3C, 32; M9, M10), and a media player (4) storing audio data (Ad). Based on the reproduction (45) of the audio data from the media player (4) to the computer (4) connected and functioning as an electronic musical instrument. An audio signal receiving step (M6) for receiving an audio signal, an audio storage step (M6) for storing the audio signal received in the audio signal receiving step in the storage means (33) as audio data (Ad), and a storage means ( 33) Analyzing the audio data (Ad) stored in 33) to generate chord progression data (Cp) comprising time information and chord information, and a chord progression generating step (3A; M7); Based on the audio specifying information received in the audio specifying information receiving step (M3) for receiving the audio specifying information (music specifying information: song name, artist name, etc.) for specifying the data (Ad) and the audio specifying information receiving step. Lyrics data to acquire lyric data (Wt) with time information Data acquisition step (3B; M3, M4, M8), the chord progression data (Cp) generated in the chord progression generation step and the lyric data with time information (Wt) acquired in the lyric data acquisition step in association with each other. There is provided an audio data utilization program (claim 3) for executing a procedure comprising a display step (3C; M9, M10) for displaying chord progression and lyrics. Note that the parentheses indicate reference symbols, terms, and the like of the examples added for convenience of understanding, and the same applies to the following.

この発明の別の特徴に従うと、オーディオデータを蓄積しているメディアプレイヤ（４）と通信可能に接続される電子楽器（３）であって、メディアプレイヤ（４）からオーディオデータを受信するオーディオデータ受信手段（３９；Ｍ３’）と、オーディオデータ受信手段により受信されたオーディオデータ（Ａｄ）を記憶するオーディオ記憶手段（３３；Ｍ３’）と、オーディオ記憶手段に記憶されたオーディオデータ（Ａｄ）を解析して時間情報及びコード情報から成るコード進行データ（Ｃｐ）を生成するコード進行生成手段（３Ａ；Ｍ７）と、オーディオ記憶手段に記憶されたオーディオデータ（Ａｄ）から、当該オーディオデータ（Ａｄ）を特定するオーディオ特定情報（楽曲特定情報：楽曲名やアーティスト名など）を抽出するオーディオ特定情報抽出手段（Ｍ３’）と、オーディオ特定情報抽出手段により抽出されたオーディオ特定情報に基づいて時間情報付き歌詞データ（Ｗｔ）を取得する歌詞データ取得手段（３８，３Ｂ；Ｍ３’，Ｍ４，Ｍ８）と、コード進行生成手段により生成されたコード進行データ（Ｃｐ）と歌詞データ取得手段により取得された時間情報付き歌詞データ（Ｗｔ）とを対応付けてコード進行及び歌詞を表示する表示手段（３Ｃ，３２；Ｍ９，Ｍ１０）とを具備する電子楽器（３）〔請求項２〕、並びに、オーディオデータを蓄積しているメディアプレイヤ（４）と通信可能に接続され、電子楽器として機能するコンピュータ（４）に、メディアプレイヤ（４）からオーディオデータを受信するオーディオデータ受信ステップ（Ｍ３’）と、オーディオデータ受信ステップで受信されたオーディオデータ（Ａｄ）を記憶手段（３３）に記憶するオーディオ記憶ステップ（Ｍ３’）と、記憶手段（３３）に記憶されたオーディオデータ（Ａｄ）を解析して時間情報及びコード情報から成るコード進行データ（Ｃｐ）を生成するコード進行生成ステップ（３Ａ；Ｍ７）と、記憶手段（３３）に記憶されたオーディオデータ（Ａｄ）から、当該オーディオデータ（Ａｄ）を特定するオーディオ特定情報（楽曲特定情報：楽曲名やアーティスト名など）を抽出するオーディオ特定情報抽出ステップ（Ｍ３’）と、オーディオ特定情報抽出ステップで抽出されたオーディオ特定情報に基づいて時間情報付き歌詞データ（Ｗｔ）を取得する歌詞データ取得ステップ（３Ｂ；Ｍ３’，Ｍ４，Ｍ８）と、コード進行生成ステップで生成されたコード進行データ（Ｃｐ）と歌詞データ取得ステップで取得された時間情報付き歌詞データ（Ｗｔ）とを対応付けてコード進行及び歌詞を表示する表示ステップ（３Ｃ；Ｍ９，Ｍ１０）とから成る手順を実行させるオーディオデータ利用プログラム〔請求項４〕が提供される。 According to another feature of the invention, an electronic musical instrument (3) communicatively connected to a media player (4) storing audio data, the audio data receiving audio data from the media player (4) The receiving means (39; M3 ′), the audio storage means (33; M3 ′) for storing the audio data (Ad) received by the audio data receiving means, and the audio data (Ad) stored in the audio storage means. From the chord progression generation means (3A; M7) for analyzing and generating chord progression data (Cp) consisting of time information and chord information, and the audio data (Ad) stored in the audio storage means, the audio data (Ad) Audio identification information (song identification information: song name, artist name, etc.) Audio specific information extraction means (M3 ′) and lyrics data acquisition means (38, 3B; M3 ′, M4) for acquiring lyrics data with time information (Wt) based on the audio specific information extracted by the audio specific information extraction means , M8), the chord progression data (Cp) generated by the chord progression generation means and the lyric data with time information (Wt) acquired by the lyric data acquisition means in association with each other to display the chord progression and lyrics (3C, 32; M9, M10) and an electronic musical instrument (3) [Claim 2] and a media player (4) storing audio data are communicably connected and function as an electronic musical instrument. Audio data receiving step (M3 ′) for receiving audio data from the media player (4) in the computer (4) An audio storage step (M3 ′) for storing the audio data (Ad) received in the audio data receiving step in the storage means (33), and an audio data (Ad) stored in the storage means (33) are analyzed. From the chord progression generation step (3A; M7) for generating chord progression data (Cp) consisting of time information and chord information, and the audio data (Ad) stored in the storage means (33), the audio data (Ad) is obtained. Audio identification information extraction step (M3 ′) for extracting audio identification information to be identified (music identification information: song name, artist name, etc.) and lyrics with time information based on the audio identification information extracted in the audio identification information extraction step Lyric data acquisition step (3B; M3 ′, M4, M8) for acquiring data (Wt) ) And the chord progression data (Cp) generated in the chord progression generation step and the lyrics data with time information (Wt) acquired in the lyric data acquisition step in association with each other, and a display step (3C M9, M10) is provided as an audio data utilization program (Claim 4).

この発明の１つの特徴による電子楽器は〔請求項１，３〕、オーディオデータを蓄積した（携帯）メディアプレイヤ（４）と無線或いは有線で接続され、利用しようとする所望のオーディオデータを再生したオーディオ信号を受信し（３６；Ｍ６）、受信されたオーディオ信号を一旦オーディオデータ（Ａｄ）として記憶手段（３３）に記憶し（Ｍ６）、記憶されたオーディオデータ（Ａｄ）を解析してコード進行データ（Ｃｐ）を生成する（３Ａ；Ｍ７）。また、所望のオーディオデータを特定するオーディオ特定データ（楽曲特定情報：楽曲名やアーティスト名など）をメディアプレイヤ４から受信し（３９；Ｍ７）、受信されたオーディオ特定データに対応する時間情報付き歌詞データ（Ｗｔ）を取得する（３Ｂ；Ｍ８）。そして、コード進行データ（Ｃｐ）と時間情報付き歌詞データ（Ｗｔ）とを対応付け（３Ｃ；Ｍ９）、対応付けたコード進行データ（Ｃｐ）と歌詞データ（Ｗｔ）に従ってコード進行と歌詞を表示していく（３２；Ｍ１０）。従って、この発明によれば、コード進行付き歌詞データを取得することなく、メディアプレイヤで再生されたオーディオ信号から取得されるオーディオデータを利用してコード進行及び歌詞を表示することができる。 An electronic musical instrument according to one aspect of the present invention is connected to a (portable) media player (4) storing audio data wirelessly or by wire to reproduce desired audio data to be used. The audio signal is received (36; M6), and the received audio signal is temporarily stored as audio data (Ad) in the storage means (33) (M6), and the stored audio data (Ad) is analyzed to generate a chord progression. Data (Cp) is generated (3A; M7). Also, audio specific data (music specific information: music name, artist name, etc.) specifying the desired audio data is received from the media player 4 (39; M7), and lyrics with time information corresponding to the received audio specific data are received. Data (Wt) is acquired (3B; M8). The chord progression data (Cp) and the lyric data with time information (Wt) are associated (3C; M9), and the chord progression and lyrics are displayed in accordance with the associated chord progression data (Cp) and lyric data (Wt). (32; M10). Therefore, according to the present invention, it is possible to display the chord progression and the lyrics using the audio data acquired from the audio signal reproduced by the media player without acquiring the lyric data with chord progression.

この発明の別の特徴による電子楽器では〔請求項２，４〕、オーディオデータを蓄積した（携帯）メディアプレイヤ（４）と無線或いは有線で接続され、利用しようとする所望のオーディオデータ（Ａｄ）をメディアプレイヤ４から受信し（３９；Ｍ３’）、一旦、記憶手段（３３）に記憶する（Ｍ３’）。記憶されたオーディオデータ（Ａｄ）を解析してコード進行データ（Ｃｐ）を生成し（３Ａ；Ｍ７）、記憶されたオーディオデータ（Ａｄ）を生成する。また、このオーディオデータ（Ａｄ）から、これを特定するオーディオ特定データ（楽曲特定情報：楽曲名やアーティスト名など）を抽出し（Ｍ３’）、抽出されたオーディオ特定データに対応する時間情報付き歌詞データ（Ｗｔ）を取得する（３Ｂ；Ｍ８）。そして、コード進行データ（Ｃｐ）と時間情報付き歌詞データ（Ｗｔ）とを対応付け（３Ｃ；Ｍ９）、対応付けたコード進行データ（Ｃｐ）と歌詞データ（Ｗｔ）に従ってコード進行と歌詞を表示していく（３２；Ｍ１０）。従って、この発明によれば、コード進行付き歌詞データを取得することなく、メディアプレイヤから直接取得されるオーディオデータを利用してコード進行及び歌詞を表示することができる。 In an electronic musical instrument according to another feature of the present invention (claims 2 and 4), desired audio data (Ad) to be used by being wirelessly or wired connected to a (portable) media player (4) storing audio data. Is received from the media player 4 (39; M3 ′) and temporarily stored in the storage means (33) (M3 ′). The stored audio data (Ad) is analyzed to generate chord progression data (Cp) (3A; M7), and the stored audio data (Ad) is generated. Also, from this audio data (Ad), audio specific data (music specific information: music name, artist name, etc.) specifying this is extracted (M3 ′), and lyrics with time information corresponding to the extracted audio specific data Data (Wt) is acquired (3B; M8). The chord progression data (Cp) and the lyric data with time information (Wt) are associated (3C; M9), and the chord progression and lyrics are displayed in accordance with the associated chord progression data (Cp) and lyric data (Wt). (32; M10). Therefore, according to the present invention, it is possible to display the chord progression and the lyrics using the audio data directly obtained from the media player without obtaining the lyric data with chord progression.

以下、図面を参照しつつ、この発明の好適な実施の形態について詳述するが、これは単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. However, this is merely an example, and various modifications can be made without departing from the spirit of the present invention.

〔システムの概要〕
図１は、この発明の一実施例によるオーディオデータ利用システムの構成例を示す図である。このオーディオデータ利用システムは、多数の楽曲の歌詞データを蓄積している歌詞データ提供サイト１、インターネット等で構成される広域の通信ネットワーク２、ユーザによる演奏や演奏データによる自動演奏を行うことができる電子楽器３、並びに、蓄積したオーディオデータを再生することができる携帯メディアプレイヤ４から成る。 [System Overview]
FIG. 1 is a diagram showing a configuration example of an audio data utilization system according to an embodiment of the present invention. This audio data utilization system can perform a lyric data providing site 1 that accumulates lyric data of a large number of songs, a wide-area communication network 2 composed of the Internet, etc., performance by a user and automatic performance by performance data. It comprises an electronic musical instrument 3 and a portable media player 4 that can reproduce the stored audio data.

歌詞データ提供サイト１は、制御部１１、記憶部１２及び通信部１３などを備え、記憶部１２には、多数の楽曲の歌詞データを、楽曲名やアーティスト名などの楽曲を特徴付ける属性情報と共に記憶したデータベースが備えられており、クライアントからの要求に応じて所望の歌詞データを提供するサービスを行っている。つまり、ＣＰＵ、ＲＯＭ、ＲＡＭなどで構成される制御部１１は、ＲＯＭに記憶された所定の歌詞データ提供プログラムに従い、通信部１３を通じて、クライアントの要求を受け、この要求に応じて記憶部１２から検索した歌詞データを当該クライアントに送り返す。 The lyric data providing site 1 includes a control unit 11, a storage unit 12, a communication unit 13, and the like. The storage unit 12 stores lyric data of a large number of pieces of music together with attribute information characterizing the piece of music such as a song name and an artist name. A database that provides desired lyrics data in response to a request from a client is provided. That is, the control unit 11 including a CPU, a ROM, a RAM, and the like receives a client request through the communication unit 13 according to a predetermined lyric data providing program stored in the ROM, and from the storage unit 12 in response to the request. The retrieved lyrics data is sent back to the client.

電子楽器３は、演奏操作機能及び楽音信号生成（音源）機能を有し音楽情報処理を行うことができる一種のコンピュータであって、音楽情報処理専用の電子音楽装置（通常の電子楽器）だけでなくパーソナルコンピュータ（ＰＣ）のような汎用の情報処理装置が含まれ、さらに、通信ネットワーク２を介して歌詞データ提供サイト１と通信したり、携帯メディアプレイヤ４と情報及び信号を授受し処理する機能を有する。このために、電子楽器３は、ＣＰＵ、ＲＯＭ、ＲＡＭなどで構成される制御部３０や、入力操作部３１、表示部３２、記憶部３３、音源部３４などに加えて、ミキサ・サウンドシステム３５、携帯メディアプレイヤ４からのオーディオ信号を受ける外部信号入力装置（図示せず）、Ａ／Ｄ変換部３６、Ｄ／Ａ変換部３７、広域通信のための第１通信部３８及び携帯メディアプレイヤ４との通信のための第２通信部３９などを備える。制御部３０には、メディアプレイヤ４からＡ／Ｄ変換部３６又は第２通信部３９を介してオーディオデータを導入することができ、ミキサ・サウンドシステム３５には、音源部３４からの楽音信号を入力するだけでなく、メディアプレイヤ４から外部信号入力装置を介してオーディオ信号を入力したり、制御部３０からＤ／Ａ変換部３７を介してオーディオ信号を入力することができる。 The electronic musical instrument 3 is a kind of computer having a performance operation function and a musical sound signal generation (sound source) function and capable of performing music information processing, and is only an electronic music device (ordinary electronic musical instrument) dedicated to music information processing. And a general-purpose information processing apparatus such as a personal computer (PC), and further functions of communicating with the lyrics data providing site 1 via the communication network 2 and exchanging information and signals with the portable media player 4 for processing. Have Therefore, the electronic musical instrument 3 includes a mixer / sound system 35 in addition to the control unit 30 including a CPU, ROM, RAM, and the like, the input operation unit 31, the display unit 32, the storage unit 33, the sound source unit 34, and the like. , An external signal input device (not shown) that receives an audio signal from the portable media player 4, an A / D conversion unit 36, a D / A conversion unit 37, a first communication unit 38 for wide area communication, and the portable media player 4. A second communication unit 39 for communicating with the communication device. Audio data can be introduced to the control unit 30 from the media player 4 via the A / D conversion unit 36 or the second communication unit 39, and a musical sound signal from the sound source unit 34 is input to the mixer / sound system 35. In addition to inputting, an audio signal can be input from the media player 4 via an external signal input device, or an audio signal can be input from the control unit 30 via the D / A conversion unit 37.

制御部３０は、ＲＯＭに記憶されたオーディオデータ利用プログラムを含む種々の制御プログラムに従って種々の音楽情報処理を実行し、オーディオ演奏モードでは、オーディオデータ利用プログラムに従いオーディオデータ利用処理を行う。入力操作部３１は、鍵盤などの演奏操作を行うための演奏操作子及びキースイッチ等の各種設定操作を行うための設定操作子（パネル操作子）と、これら演奏操作及び設定操作を検出する操作検出回路から成り、操作内容を制御部３０に導入する。入力操作部３１の設定操作子には、この電子楽器３の動作モードを通常演奏モード、自動演奏モード、オーディオ演奏モード等に設定するモード設定スイッチや、時間情報（タイミング情報：タイムタグ）を入力するためのタップスイッチ等が含まれる。 The control unit 30 executes various music information processing according to various control programs including an audio data utilization program stored in the ROM, and performs audio data utilization processing according to the audio data utilization program in the audio performance mode. The input operation unit 31 includes a performance operator for performing a performance operation such as a keyboard, a setting operator (panel operation unit) for performing various setting operations such as a key switch, and an operation for detecting the performance operation and the setting operation. It consists of a detection circuit and introduces the operation content to the control unit 30. A mode setting switch for setting the operation mode of the electronic musical instrument 3 to a normal performance mode, an automatic performance mode, an audio performance mode, and the like, and time information (timing information: time tag) are input to the setting operation unit of the input operation unit 31. A tap switch or the like is included.

表示部３２は、ディスプレイ（ＬＣＤ等）や各種インジケータ等の表示要素と、これら表示要素の表示／点灯内容を制御部３０からの指令に従って制御する表示制御回路から成り、入力操作部３１のユーザ操作に対する表示援助や必要な音楽情報の表示を行う。例えば、オーディオ演奏モードでは、携帯メディアプレイヤ４に対して種々の情報提供を要求するための案内画面や、歌詞データ提供サイト１に対して歌詞データの提供を要求したり同サイト１から提供可能な歌詞データをリストで案内する案内画面、タイミング情報を付与するために歌詞文字列を表示する編集画面、コード進行データと歌詞データの対応付けに従ってコード進行及び歌詞の表示を進める再生画面などをディスプレイ上に表示することができる。 The display unit 32 includes display elements such as a display (LCD or the like) and various indicators, and a display control circuit that controls display / lighting contents of these display elements according to instructions from the control unit 30. Display support and necessary music information. For example, in the audio performance mode, a guidance screen for requesting the portable media player 4 to provide various information, or the lyrics data providing site 1 can be requested to provide lyrics data or provided from the site 1 A guide screen that guides lyrics data in a list, an edit screen that displays lyrics text strings to give timing information, and a playback screen that displays chord progression and lyrics according to the correspondence between chord progression data and lyrics data Can be displayed.

記憶部３３は、ハードディスク（ＨＤ）、書換え可能不揮発性半導体メモリ等の内蔵記憶媒体や、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＭＯディスク、ＤＶＤ、スマートメディア（登録商標）等の小型メモリカード、等々、種々の可搬性の外部記憶媒体を含み、自動演奏データや歌詞データ等を含む任意のデータを任意の記憶媒体に記憶し保存しておくことができる。 The storage unit 33 includes a built-in storage medium such as a hard disk (HD) and a rewritable nonvolatile semiconductor memory, a small memory card such as a CD-ROM, a flexible disk (FD), an MO disk, a DVD, and a smart media (registered trademark). It is possible to store and store arbitrary data including automatic performance data and lyrics data in any storage medium including various portable external storage media.

音源部（楽音信号生成部）３４は、入力操作部３１の演奏操作或いは記憶部３３に記憶された演奏データに応じてオーディオ形式の楽音信号を生成し、図示のシステム構成例では、出力側にＤ／Ａ変換器を備え、アナログの楽音信号を生成する。また、ミキサ・サウンドシステム３５は、ミキシング部やアンプ、スピーカを備え、通常演奏或いは自動演奏モードでは、音源部３４からの演奏操作或いは演奏データに基づく楽音信号に従って楽音を発生し、オーディオ演奏モードでは、携帯メディアプレイヤ４から外部信号入力装置を通じて入力されるオーディオ信号或いは制御部３０からＤ／Ａ変換部３７を介して入力されるオーディオ信号による楽音を発生し、さらに、音源部３４からの演奏操作に基づく楽音信号による楽音をも併せて発生することができる。 The sound source unit (musical sound signal generation unit) 34 generates an audio format musical signal in accordance with the performance operation of the input operation unit 31 or the performance data stored in the storage unit 33, and in the illustrated system configuration example, on the output side. A D / A converter is provided to generate an analog musical sound signal. The mixer / sound system 35 includes a mixing unit, an amplifier, and a speaker. In the normal performance or automatic performance mode, the mixer / sound system 35 generates a musical sound according to a musical operation signal from the sound source unit 34 or performance data, and in the audio performance mode. Further, a musical tone is generated by an audio signal input from the portable media player 4 through an external signal input device or an audio signal input from the control unit 30 via the D / A conversion unit 37, and further, a performance operation from the sound source unit 34 It is also possible to generate a musical sound based on a musical sound signal based on the above.

Ａ／Ｄ変換部３６は、オーディオ演奏モードにおいて、携帯メディアプレイヤ４からのオーディオ信号をＡ／Ｄ変換しオーディオデータとして制御部３０に出力することができる。Ｄ／Ａ変換部３７は、オーディオ演奏モードにおいて、制御部３０でオーディオデータから再生されたオーディオ信号をＤ／Ａ変換してミキサ・サウンドシステム３５に出力することができる。第１通信部３８は、通信ネットワーク２を介して歌詞データ提供サイト１と通信する広域通信インターフェース（Ｉ／Ｆ）であり、オーディオ演奏モード等において、歌詞データ提供サイト１から所望の歌詞データを受信することができる。第２通信部３９は、無線或いは有線で携帯メディアプレイヤ４と通信するローカル通信インターフェース（Ｉ／Ｆ）であり、オーディオ演奏モード等において、メディアプレイヤ４と種々の情報交信を行い、例えば、所望のオーディオデータの楽曲特定情報、或いは、楽曲特定情報を含む所望のオーディオデータをメディアプレイヤ４から受信することができる。 The A / D conversion unit 36 can A / D convert the audio signal from the portable media player 4 and output it to the control unit 30 as audio data in the audio performance mode. In the audio performance mode, the D / A conversion unit 37 can D / A convert the audio signal reproduced from the audio data by the control unit 30 and output it to the mixer / sound system 35. The first communication unit 38 is a wide area communication interface (I / F) that communicates with the lyrics data providing site 1 via the communication network 2 and receives desired lyrics data from the lyrics data providing site 1 in an audio performance mode or the like. can do. The second communication unit 39 is a local communication interface (I / F) that communicates with the portable media player 4 wirelessly or in a wired manner, and performs various information communication with the media player 4 in an audio performance mode or the like. It is possible to receive from the media player 4 music identification information of audio data or desired audio data including music identification information.

携帯メディアプレイヤ４は、多数のオーディオデータを蓄積すると共に、所定の電子楽器応答プログラムに従って電子楽器３との情報授受を行いオーディオデータを再生する機能を有する。このメディアプレイヤ４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどで構成され電子楽器３との情報授受やオーディオデータの再生を制御する制御部４１の外に、ユーザ操作に基づく操作情報を入力するための入力操作部４２、必要な表示情報を表示する表示部４３、圧縮符号化された多数のディジタルオーディオデータをハードディスク等の大容量記憶媒体に記憶する記憶部４４、圧縮符号化されたオーディオデータを解凍（デコード）してヘッドホン回路（後述）や電子楽器３のミキサ・サウンドシステム３５で利用可能なオーディオ信号に再生する再生部（デコーダ）４５、電子楽器３の第２通信部３９と無線或いは有線で結ばれた通信部４６、再生部４５から出力されるオーディオ信号を増幅してヘッドホンに出力するヘッドホン回路（図示せず）、再生部４５から出力されるオーディオ信号を電子楽器３などの外部機器に出力する外部信号出力装置などを備える。なお、再生部４５は、図示のシステム構成例では、出力側にＤ／Ａ変換器を備え、アナログのオーディオ信号を出力する。 The portable media player 4 has a function of accumulating a large amount of audio data, and exchanging information with the electronic musical instrument 3 according to a predetermined electronic musical instrument response program to reproduce the audio data. The media player 4 includes a CPU, a ROM, a RAM, and the like, and includes an input operation for inputting operation information based on a user operation, in addition to a control unit 41 that controls information exchange with the electronic musical instrument 3 and reproduction of audio data. Unit 42, a display unit 43 for displaying necessary display information, a storage unit 44 for storing a large number of compression-coded digital audio data in a large-capacity storage medium such as a hard disk, and decompressing (decoding) the compression-coded audio data ) And a playback unit (decoder) 45 that plays back an audio signal that can be used by a headphone circuit (described later) or the mixer / sound system 35 of the electronic musical instrument 3 and a second communication unit 39 of the electronic musical instrument 3 connected wirelessly or by wire. A headphone circuit (not shown) that amplifies the audio signal output from the communication unit 46 and the playback unit 45 and outputs the amplified audio signal to the headphones. ), Provided with an external signal output device for outputting the audio signal outputted from the reproducing unit 45 to an external device such as the electronic musical instrument 3. Note that, in the illustrated system configuration example, the playback unit 45 includes a D / A converter on the output side, and outputs an analog audio signal.

記憶部４４の各オーディオデータには、当該オーディオデータが表わす楽曲の特徴的な内容を持ち楽曲を特定するのに適した楽曲特定情報が付随して記憶されている。楽曲特定情報には、例えば、楽曲名、アーティスト名、バージョン情報などが含まれる。また、再生部４５の外部信号出力装置と電子楽器３のミキサ・サウンドシステム３５及びＡ／Ｄ変換部３６の外部信号入力装置とは無線或いは有線の信号伝送路を介して接続され、電子楽器３がオーディオ演奏モード等の際には、再生部４５から出力されるオーディオ信号を無線或いは有線で電子楽器３のミキサ・サウンドシステム３５に入力することができる。 Each piece of audio data in the storage unit 44 is accompanied by music specifying information suitable for specifying the music having the characteristic content of the music represented by the audio data. The music specifying information includes, for example, a music name, artist name, version information, and the like. Further, the external signal output device of the reproduction unit 45 and the mixer / sound system 35 of the electronic musical instrument 3 and the external signal input device of the A / D conversion unit 36 are connected via a wireless or wired signal transmission path, and the electronic musical instrument 3 In the audio performance mode or the like, the audio signal output from the playback unit 45 can be input to the mixer / sound system 35 of the electronic musical instrument 3 wirelessly or by wire.

〔オーディオデータ利用処理の概要〕
このように構成されたシステムにおいて、電子楽器３がオーディオ演奏モードで動作しているときには、電子楽器３側から通信手段３９，４６を通じて携帯メディアプレイヤ４に対して選曲や再生指示などをコントロールすることができる。例えば、選曲の際には、メディアプレイヤ４の制御部４１は、電子楽器３からの要求に従って記憶部４４からオーディオデータを選曲し、電子楽器３からの次の指示に応じて、選曲されたオーディオデータを再生部４５で再生させてオーディオ信号を電子楽器３に出力させたり、選曲されたオーディオデータを、直接、通信部４６から電子楽器３に送信させることができる。 [Overview of audio data usage processing]
In the system configured as described above, when the electronic musical instrument 3 is operating in the audio performance mode, the electronic musical instrument 3 side controls music selection and playback instructions to the portable media player 4 through the communication means 39 and 46. Can do. For example, at the time of music selection, the control unit 41 of the media player 4 selects audio data from the storage unit 44 according to a request from the electronic musical instrument 3, and the selected audio data according to the next instruction from the electronic musical instrument 3. Data can be played back by the playback unit 45 to output an audio signal to the electronic musical instrument 3, or selected audio data can be transmitted directly from the communication unit 46 to the electronic musical instrument 3.

また、このシステムでは、携帯メディアプレイヤ４又は電子楽器３でオーディオデータを再生するのに合わてコード進行及び歌詞を表示部３２のディスプレイ再生画面に表示することができる。このために、電子楽器３上で、オーディオデータからコード進行を求め、求められたコード進行データを別途用意される歌詞データと対応付ける。 Further, in this system, the chord progression and the lyrics can be displayed on the display reproduction screen of the display unit 32 as the audio data is reproduced by the portable media player 4 or the electronic musical instrument 3. For this purpose, the chord progression is obtained from the audio data on the electronic musical instrument 3, and the obtained chord progression data is associated with the separately prepared lyrics data.

例えば、コード進行については、電子楽器３は、携帯メディアプレイヤ４の再生部４５から受信したオーディオ信号をＡ／Ｄ変換部３６を経由してオーディオデータとして制御部３０に導入するか、或いは、メディアプレイヤ４から通信手段４６，３９を介してオーディオデータをそのまま制御部３０に導入して、一旦記憶手段（例えば、制御部３０のＲＡＭ又は記憶部３３）に記憶乃至保存した後、オーディオデータを解析し、タイミング情報が付いたコード情報の列、即ち、コード進行データを求める。 For example, regarding the chord progression, the electronic musical instrument 3 introduces the audio signal received from the reproduction unit 45 of the portable media player 4 into the control unit 30 as audio data via the A / D conversion unit 36, or media The audio data is directly introduced from the player 4 into the control unit 30 via the communication means 46 and 39, and once stored in the storage means (for example, the RAM of the control unit 30 or the storage unit 33), the audio data is analyzed. Then, a chord information column with timing information, that is, chord progression data is obtained.

また、歌詞については、電子楽器３は、メディアプレイヤ４から通信手段４６，３９を介してオーディオデータに関する楽曲特定情報を取得し、さらに、取得した楽曲特定情報を元にして、歌詞データ提供サイト１から通信手段１３，２，３８を介して、オーディオデータＡｄに対応する歌詞データを取得する。取得した歌詞データは、歌詞文字列をテキストデータで表わしただけの歌詞情報であるため、この歌詞データにタイミング情報を付与してタイミング情報付き歌詞データを作成する。なお、歌詞データ提供サイト１から取得した歌詞データに当初からタイミング情報が付いていることがあり、このような場合は、取得した歌詞データをそのままタイミング情報付き歌詞データとして利用する。 As for the lyrics, the electronic musical instrument 3 acquires music specifying information related to audio data from the media player 4 via the communication means 46 and 39, and further, based on the acquired music specifying information, the lyrics data providing site 1 The lyric data corresponding to the audio data Ad is acquired via the communication means 13, 2, and 38. Since the acquired lyric data is lyric information only by expressing a lyric character string as text data, timing information is added to the lyric data to create lyric data with timing information. Note that the timing data may be attached to the lyrics data acquired from the lyrics data providing site 1 from the beginning. In such a case, the acquired lyrics data is used as it is as lyrics data with timing information.

そして、このようにして得られたコード進行データとタイミング情報付き歌詞データとをタイミング情報で対応付けてコード進行・歌詞対応データ構造（典型例としては、コード進行・歌詞合成データ）を生成する。従って、オーディオデータの再生に基づく楽音をミキサ・サウンドシステム３５から放音するのに合わせて、コード進行・歌詞対応データ構造に従いコード進行及び歌詞を表示部３２のディスプレイ再生画面に並行表示することができる。なお、この場合、ミキサ・サウンドシステム３５は、入力操作部３１の演奏操作に基づき音源部４５で生成される楽音信号による楽音を併せて放音することができる。 Then, the chord progression data and the lyrics data with timing information thus obtained are associated with timing information to generate a chord progression / lyric correspondence data structure (typically, chord progression / lyric synthesis data). Accordingly, the chord progression and lyrics are displayed in parallel on the display reproduction screen of the display unit 32 according to the chord progression / lyric data structure in accordance with the musical sound based on the reproduction of the audio data being emitted from the mixer / sound system 35. it can. In this case, the mixer / sound system 35 can also emit a musical sound based on a musical sound signal generated by the sound source unit 45 based on the performance operation of the input operation unit 31.

〔コード進行と歌詞データの対応付け〕
図２は、この発明の一実施例によるコード進行と歌詞データの対応付け手順を説明するための図であり、図２〔１〕は、対応付け手順を表わす制御部の機能ブロック図を示し、図２〔２〕は、テンポ＝１２０、４拍子のとき、イントロ８小節の後に歌詞がスタートすると共に各行の歌詞が２小節分である場合の各データ及び再生画面表示の例を示す。ここで、図中の[mm:ss:xx]はタイムタグを表わし、[00:00:00]は、オーディオデータの再生開始タイミングに対応する。電子楽器３の制御部３０は、図２〔１〕に示すように、コード進行解析機能３Ａ、タイムタグ（タイミング情報）付与機能３Ｂ及びコード進行並びに歌詞データの対応付け（合成）機能３Ｃを有する。 [Association of chord progression and lyrics data]
FIG. 2 is a diagram for explaining a procedure for associating chord progressions and lyric data according to one embodiment of the present invention. FIG. 2 [1] shows a functional block diagram of a control unit representing the associating procedure, FIG. 2 [2] shows an example of data and playback screen display when the lyrics start after 8 intros when the tempo is 120, 4 beats, and the lyrics in each line are for 2 bars. Here, [mm: ss: xx] in the figure represents a time tag, and [00:00:00] corresponds to the reproduction start timing of audio data. As shown in FIG. 2 [1], the control unit 30 of the electronic musical instrument 3 has a chord progression analysis function 3A, a time tag (timing information) assigning function 3B, and a chord progression and lyrics data association (synthesizing) function 3C. .

コード進行解析機能部３Ａは、例えば、特許文献３に示されるオーディオ信号からの和音進行検出及びデータ化技術を用いて、携帯メディアプレイヤ４から再生部４５・Ａ／Ｄ変換部３６或いは通信手段４６，３９を経て記憶手段に記憶されたオーディオデータＡｄを解析し、図２〔２〕の（３）に例示されるように、タイミング情報（タイムタグ）：[00:00:00]，[00:02:00]，[00:04:00]，…に対応してコード情報：Ｃ，Ａｍ，Ｆ，…がシーケンシャルに記述されたコード進行データＣｐを生成する。
特開２００４−１８４５１０号公報 The chord progression analysis function unit 3A uses, for example, a chord progression detection and data conversion technique from an audio signal disclosed in Patent Document 3, and the playback unit 45 / A / D conversion unit 36 or the communication means 46 from the portable media player 4 is used. 39, the audio data Ad stored in the storage means is analyzed, and timing information (time tag): [00:00:00], [00] as illustrated in (3) of FIG. : 02: 00], [00:04:00],..., Chord information: C, Am, F,.
JP 2004-184510 A

タイムタグ付与機能部３Ｂは、例えば、オーディオデータＡｄを電子楽器３上で再生しながら、歌詞データ提供サイト１から取得したオーディオデータＡｄに対応する歌詞データＷｒにより表示部３２の編集画面に表示されている歌詞に合わせて、入力操作部３１のタップスイッチ等でタッピング操作をすると、これに応じて歌詞データＷｒにタイミング情報（タイムタグ）を付与し、タイミング情報付き歌詞データＷｔを作成する。つまり、歌詞データＷｒにより編集画面に歌詞文字列を表示し、オーディオデータＡｄの再生開始と共に時間経過をカウントし、入力操作部３１の操作により歌詞文字列中の所定の文字位置にカーソルを位置させると共に該位置に対応した任意の時点でタップスイッチをタッピング操作すると、その時点での時間がタイムタグ：[mm:ss:xx]として歌詞テキスト内のカーソルの位置に埋め込まれる。 For example, the time tag assigning function unit 3B is displayed on the editing screen of the display unit 32 by the lyric data Wr corresponding to the audio data Ad acquired from the lyric data providing site 1 while reproducing the audio data Ad on the electronic musical instrument 3. When a tapping operation is performed with a tap switch of the input operation unit 31 in accordance with the lyrics being input, timing information (time tag) is added to the lyrics data Wr accordingly, and lyrics data Wt with timing information is created. That is, the lyrics character string is displayed on the editing screen by the lyrics data Wr, the elapsed time is counted with the start of reproduction of the audio data Ad, and the cursor is positioned at a predetermined character position in the lyrics character string by the operation of the input operation unit 31. When the tap switch is tapped at an arbitrary time corresponding to the position, the time at that time is embedded as the time tag: [mm: ss: xx] at the position of the cursor in the lyrics text.

例えば、図２〔２〕の（１）に例示される歌詞データＷｒの歌詞文字列：「あいうえ」、「お」、…に、順次、タイムタグ：[00:16:00]，[00:18:00]，…をタイミング情報として付与していき。これにより、同（２）に示すように、タイミング情報に対応して歌詞情報がシーケンシャルに記述されたタイミング情報付き歌詞データＷｔが作成される。 For example, the lyric character strings of the lyric data Wr illustrated in (1) of FIG. 2 [2]: “Aiue”, “O”,..., And time tags: [00:16:00], [00 : 18:00], ... is added as timing information. As a result, as shown in (2), the lyric data Wt with timing information in which the lyric information is sequentially described corresponding to the timing information is created.

コード進行及び歌詞データの対応付け機能３Ｃは、コード進行解析機能部３Ａで生成したコード進行データＣｐとタイムタグ付与機能部３Ｂで作成したタイミング情報付き歌詞データＷｔとを対応付けてコード進行・歌詞対応データ構造Ｃｗを生成する。このデータ構造Ｃｗは、記憶手段（３３等）に記憶したオーディオデータの再生の進行に従いコード進行データＣｐとタイミング情報付き歌詞データＷｔの表示を並列して進行するようにタイミング情報で対応付けておけばよく、次のように任意の構成を採用することができる：
（１）コード進行データＣｐと歌詞データＷｔを１つのファイルＣｗに合成して対応付ける。例えば、（ａ）コード進行データＣｐと歌詞データＷｔを混在してファイルＣｗに記憶させる、（ｂ）コード進行データＣｐと歌詞データＷｔを同一ファイルＣｗ内の別の領域に記憶させる、等の方法がある。
（２）コード進行データＣｐと歌詞データＷｔを別ファイルとし、対応している旨が分かるように両データをリンクしておく。例えば、（ｃ）両ファイルに同じファイル名を付与する、（ｄ）一方のファイル内に他方のファイル名等を記述する、等の方法がある。 The chord progression / lyric data correspondence function 3C associates the chord progression data Cp generated by the chord progression analysis function unit 3A with the lyric data Wt with timing information created by the time tag assignment function unit 3B to associate chord progression / lyric data. A corresponding data structure Cw is generated. This data structure Cw can be associated with timing information so that the display of the chord progression data Cp and the lyrics data Wt with timing information proceeds in parallel with the progress of reproduction of the audio data stored in the storage means (33 etc.). Any configuration can be employed as follows:
(1) The chord progression data Cp and the lyrics data Wt are synthesized and associated with one file Cw. For example, (a) the chord progression data Cp and the lyrics data Wt are mixedly stored in the file Cw, (b) the chord progression data Cp and the lyrics data Wt are stored in different areas in the same file Cw, and the like. There is.
(2) The chord progression data Cp and the lyric data Wt are set as separate files, and both data are linked so that it can be understood that they correspond. For example, there are methods such as (c) assigning the same file name to both files and (d) describing the other file name in one file.

典型的な例としては、コード進行データＣｐとタイミング情報付き歌詞データＷｔとマージ（合成）して、コード進行付き歌詞データと呼ばれるコード進行・歌詞合成データＣｗを生成することができる。つまり、図２〔２〕の（４）に示すように、コード進行データと歌詞データを混在して記録させ、１つのファイルＣｗに合成する。なお、図示の合成ファイルＣｗの例では、２行が１セットになってコード進行と歌詞の再生を進行させる。 As a typical example, the chord progression data Cp and the lyrics data Wt with timing information are merged (synthesized) to generate chord progression / lyric synthesis data Cw called lyric data with chord progression. That is, as shown in (4) of FIG. 2 [2], chord progression data and lyrics data are mixedly recorded and combined into one file Cw. In the example of the composite file Cw shown in the figure, two lines are set as one set, and the chord progression and the lyrics reproduction are advanced.

図２〔２〕の（５）は、ディスプレイ再生画面におけるコード進行及び歌詞の表示例を示し、コード進行・歌詞合成データ（合成ファイル）Ｃｗに従って、改ページ単位で１ページ分のコード進行及び歌詞が並列に表示され、歌詞については、太文字で示すように文字（群）ごとにワイプされて行く。なお、歌詞のワイプは行ごとにしてもよい。 (2) of FIG. 2 [2] shows an example of chord progression and lyrics displayed on the display playback screen. According to the chord progression / lyric composition data (composition file) Cw, the chord progression and lyrics for one page in page break units. Are displayed in parallel, and the lyrics are wiped for each character (group) as shown by bold characters. Note that the lyrics may be wiped line by line.

以上のように、このオーディオデータ利用システムにおける電子楽器３は、歌詞データを蓄積した歌詞データ提供サイト１と通信ネットワーク２を通じて通信可能であり、オーディオデータを蓄積したメディアプレイヤ４に接続される。利用しようとする所望のオーディオデータＡｄ及びその楽曲特定情報をメディアプレイヤ４から取得すると（３６，３９）、取得したオーディオデータＡｄを解析してコード進行データＣｐを生成する（３Ａ）。また、取得した楽曲特定情報に対応する歌詞データＷｒを歌詞データ提供サイト１から取得し（３８）、取得した歌詞データＷｒからタイミング情報付き歌詞データＷｔを生成する（３Ｂ）。そして、コード進行データＣｐとタイミング情報付き歌詞データＷｔを対応付け、対応付けたコード進行データＣｐと歌詞データＷｔに従って、オーディオデータＡｄを再生しつつ（３５）、コード進行及び歌詞を表示していく（３２）。 As described above, the electronic musical instrument 3 in the audio data utilization system can communicate with the lyrics data providing site 1 storing the lyrics data through the communication network 2 and is connected to the media player 4 storing the audio data. When the desired audio data Ad to be used and its music specifying information are acquired from the media player 4 (36, 39), the acquired audio data Ad is analyzed to generate chord progression data Cp (3A). Also, the lyrics data Wr corresponding to the acquired music specifying information is acquired from the lyrics data providing site 1 (38), and the lyrics data Wt with timing information is generated from the acquired lyrics data Wr (3B). Then, the chord progression data Cp and the lyrics data Wt with timing information are associated with each other, and the chord progression and lyrics are displayed while reproducing the audio data Ad according to the associated chord progression data Cp and the lyric data Wt (35). (32).

〔処理フロー例〕
図３は、この発明の一実施例によるオーディオデータ利用システムの処理フロー例を示す。電子楽器３において、入力操作部３１のモード設定スイッチをオーディオ演奏側に投入するユーザ操作があると、制御部３０は、電子楽器３の動作モードをオーディオ演奏モードに設定してオーディオデータ利用プログラムに従ってオーディオデータ利用処理を開始する。次に楽曲リスト要求スイッチのユーザ操作があると、携帯メディアプレイヤ４に楽曲リスト要求情報を送信する（ステップＭ１）。携帯メディアプレイヤ４では、制御部４１が、電子楽器応答プログラムに従い、楽曲リスト要求情報の受信に応じて電子楽器応答処理を開始し、記憶部４４に用意されているオーディオデータの楽曲リスト情報を電子楽器３に返信する（ステップＰ１）。 [Example of processing flow]
FIG. 3 shows an example of the processing flow of the audio data utilization system according to one embodiment of the present invention. In the electronic musical instrument 3, when there is a user operation to input the mode setting switch of the input operation unit 31 to the audio performance side, the control unit 30 sets the operation mode of the electronic musical instrument 3 to the audio performance mode and follows the audio data utilization program. The audio data utilization process is started. Next, when there is a user operation of the music list request switch, music list request information is transmitted to the portable media player 4 (step M1). In the portable media player 4, the control unit 41 starts electronic musical instrument response processing in response to the reception of the music list request information in accordance with the electronic musical instrument response program, and electronically stores the music list information of the audio data prepared in the storage unit 44. A reply is made to the musical instrument 3 (step P1).

電子楽器３は、メディアプレイヤ４から受信した楽曲リスト情報に従って表示部３２のディスプレイに楽曲リストを表示し、表示された楽曲リスト内からユーザ所望の楽曲を指示する操作があると、指示された楽曲を選択し、選択された楽曲のオーディオデータを特定するための楽曲特定情報の送信を要求する情報をメディアプレイヤ４に送信する（ステップＭ２）。メディアプレイヤ４は、これに応じて、選択された楽曲の楽曲特定情報を電子楽器３に返信する（ステップＰ２）。電子楽器３は、メディアプレイヤ４から楽曲特定情報を受信すると、受信した楽曲特定情報に対応する所望の歌詞データの配信を要求する歌詞データ要求情報を歌詞データ提供サイト１に送信する（ステップＭ３）。 The electronic musical instrument 3 displays a music list on the display of the display unit 32 in accordance with the music list information received from the media player 4, and if there is an operation for instructing a user-desired music from the displayed music list, the designated music Is selected, and information requesting transmission of music specifying information for specifying audio data of the selected music is transmitted to the media player 4 (step M2). In response to this, the media player 4 returns the music specifying information of the selected music to the electronic musical instrument 3 (step P2). When the electronic musical instrument 3 receives the music specifying information from the media player 4, the electronic musical instrument 3 transmits lyrics data request information for requesting delivery of desired lyrics data corresponding to the received music specifying information to the lyrics data providing site 1 (step M3). .

歌詞データ提供サイト１では、制御部１１が、歌詞データ提供プログラムに従い、歌詞データ要求情報の受信に応じて電子楽器３をクライアントとする歌詞データ提供処理を開始し、歌詞データ要求情報に含まれる楽曲特定情報に基づいて、記憶部１２のデータベースから歌詞データを検索する（ステップＳ１）。この歌詞データ検索により、楽曲特定情報に対応する属性情報をもつ所望の歌詞データを検索すると、検索された歌詞データＷｒを電子楽器３に配信し（ステップＳ２）、電子楽器３をクライアントとする今回の歌詞データ提供処理を終了し、次の歌詞データ要求を待機する状態にリターンする。 In the lyric data providing site 1, the control unit 11 starts the lyric data providing process using the electronic musical instrument 3 as a client in response to receiving the lyric data request information in accordance with the lyric data providing program, and the music included in the lyric data request information Based on the specific information, the lyrics data is searched from the database of the storage unit 12 (step S1). When desired lyrics data having attribute information corresponding to the music specifying information is searched by this lyrics data search, the searched lyrics data Wr is distributed to the electronic musical instrument 3 (step S2), and the electronic musical instrument 3 is used as a client this time. The lyric data providing process is terminated, and the process returns to a state of waiting for the next lyric data request.

なお、歌詞データ検索（Ｓ１）の結果、楽曲特定情報に対応する歌詞データが複数検索された場合は、検索された複数の歌詞データの主要な属性情報を電子楽器３に送信し、これら歌詞データの選択肢を表示部３２のディスプレイ案内画面でユーザに提示して何れかを選択させ、歌詞データ提供サイト１は、選択された歌詞データＷｒを配信する。また、楽曲特定情報に対応する歌詞データが検索されなかった場合には、その旨を電子楽器３に通知してディスプレイ案内画面で所望の歌詞データがない旨を警告させ、新たな歌詞データ要求受付（Ｓ１）の待機状態に戻り、電子楽器３は楽曲選択ステップ（Ｍ２）に戻る。 When a plurality of lyrics data corresponding to the music specifying information is searched as a result of the lyrics data search (S1), the main attribute information of the searched plurality of lyrics data is transmitted to the electronic musical instrument 3, and these lyrics data These options are presented to the user on the display guide screen of the display unit 32 to select one of them, and the lyric data providing site 1 distributes the selected lyric data Wr. If the lyrics data corresponding to the music identification information is not searched, the electronic musical instrument 3 is notified to that effect and warns that there is no desired lyrics data on the display guide screen, and a new lyrics data request is accepted. Returning to the standby state of (S1), the electronic musical instrument 3 returns to the music selection step (M2).

さて、電子楽器３は、歌詞データ提供サイト１から所望の歌詞データＷｒが配信されると、この歌詞データＷｒを制御部３０内のＲＡＭに記憶し或いは更に記憶部３３に保存し（ステップＭ４）、楽曲選択ステップ（Ｍ２）で選択した楽曲のオーディオデータの再生を要求（指示）する再生要求情報をメディアプレイヤ４に送信する（ステップＭ５）。 When the desired lyric data Wr is distributed from the lyric data providing site 1, the electronic musical instrument 3 stores the lyric data Wr in the RAM in the control unit 30 or further stores it in the storage unit 33 (step M4). Then, reproduction request information for requesting (instructing) reproduction of audio data of the music selected in the music selection step (M2) is transmitted to the media player 4 (step M5).

メディアプレイヤ４は、受信した再生要求情報により要求された楽曲のオーディオデータの再生を開始し、当該オーディオデータを記憶部４４から再生部４５に読み出してオーディオ信号に再生し、再生されたオーディオ信号を、順次、外部信号出力装置から電子楽器３へと送る（ステップＰ３）。そして、当該オーディオデータの再生を終了すると、今回の電子楽器応答処理を終了し、次の楽曲リスト要求を待機する状態にリターンする。 The media player 4 starts reproduction of the audio data of the music requested by the received reproduction request information, reads the audio data from the storage unit 44 to the reproduction unit 45, reproduces the audio signal, and reproduces the reproduced audio signal. Then, the signal is sequentially sent from the external signal output device to the electronic musical instrument 3 (step P3). When the reproduction of the audio data is finished, the current electronic musical instrument response process is finished, and the process returns to a state of waiting for the next music list request.

電子楽器３は、メディアプレイヤ４から送られてくるオーディオ信号を外部信号入力装置で受信し、Ａ／Ｄ変換部３６でディジタルのオーディオデータＡｄに変換して制御部３０に導入し録音する（ステップＭ６）。すなわち、オーディオデータＡｄを制御部３０内のＲＡＭに記憶し或いは更に記憶部３３に保存する。なお、同時に、外部信号入力装置で受信したオーディオ信号をミキサ・サウンドシステム３５に入力してこのオーディオ信号に基づく楽音をミキサ・サウンドシステム３５からの放音で確認するようにしてもよい。 The electronic musical instrument 3 receives the audio signal sent from the media player 4 by the external signal input device, converts it into digital audio data Ad by the A / D converter 36, introduces it to the controller 30 and records it (step). M6). That is, the audio data Ad is stored in the RAM in the control unit 30 or further stored in the storage unit 33. At the same time, an audio signal received by the external signal input device may be input to the mixer / sound system 35 and a musical sound based on the audio signal may be confirmed by sound emission from the mixer / sound system 35.

次に、録音されたオーディオデータＡｄを解析してコード進行データＣｐを求める（ステップＭ７）。例えば、前述したように、特許文献３などに開示されたオーディオデータ解析によるコード進行生成技術を用いてメディアプレイヤ４からのオーディオデータＡｄに適合するコード進行データＣｐを生成する。次いで、歌詞データ取得ステップＭ４で歌詞データ提供サイト１から得られた歌詞データＷｒからタイムタグ付き歌詞データＷｔを取得する（ステップＭ８）。つまり、歌詞データＷｒにタイムタグ（タイミング情報）が含まれている場合は、この歌詞データＷｒをそのままタイムタグ付き歌詞データＷｔに採用し、タイムタグが含まれていない場合には、例えば、前述したように、録音したオーディオデータＡｄを再生しながらタッピングする等の方法で、タイムタグを付与してタイムタグ付き歌詞データＷｔを生成する。さらに、このようにして得られたコード進行データＣｐとタイムタグ付き歌詞データＷｔを対応付けてコード進行・歌詞対応データ構造Ｃｗを生成する（ステップＭ９）。なお、このデータ構造Ｃｗは、再利用することができるように楽曲特定情報と対応付けて記憶部３３に保存しておくことができる。 Next, the recorded audio data Ad is analyzed to obtain chord progression data Cp (step M7). For example, as described above, the chord progression data Cp suitable for the audio data Ad from the media player 4 is generated using the chord progression generation technique based on the audio data analysis disclosed in Patent Document 3 and the like. Next, the lyrics data Wt with the time tag is acquired from the lyrics data Wr obtained from the lyrics data providing site 1 in the lyrics data acquisition step M4 (step M8). That is, when the time tag (timing information) is included in the lyric data Wr, the lyric data Wr is used as it is in the lyric data Wt with time tag, and when the time tag is not included, for example, As described above, the time tag is added and the lyric data Wt with the time tag is generated by a method such as tapping while reproducing the recorded audio data Ad. Further, the chord progression / lyric correspondence data structure Cw is generated by associating the chord progression data Cp thus obtained with the time-tagged lyrics data Wt (step M9). The data structure Cw can be stored in the storage unit 33 in association with the music specifying information so that it can be reused.

そして、録音されたオーディオデータＡｄをＤ／Ａ変換部３７でオーディオ信号に再生してミキサ・サウンドシステム３５から楽音を放音すると共に、オーディオ再生の進行に従って、コード進行・歌詞対応データ構造Ｃｗにより対応付けられたコード進行データＣｐ及び歌詞データＷｔを再生し、表示部３２のディスプレイ再生画面にコード進行と歌詞を表示していく（ステップＭ１０）。この場合、コード進行と歌詞の再生は、従来と同様に、改ページ単位で１ページに表示して文字ごと或いは行ごとにワイプするのがよい。そして、電子楽器３は、オーディオデータＡｄの再生を終了すると、今回のオーディオデータ利用処理を終了し、次の楽曲リスト要求の操作を待機する状態にリターンする。 Then, the recorded audio data Ad is reproduced as an audio signal by the D / A converter 37, and the musical sound is emitted from the mixer / sound system 35. The chord progression / lyric data structure Cw is used as the audio reproduction progresses. The associated chord progression data Cp and lyrics data Wt are reproduced, and chord progression and lyrics are displayed on the display reproduction screen of the display unit 32 (step M10). In this case, the chord progression and the reproduction of the lyrics may be displayed on one page in page break units and wiped for each character or line as in the conventional case. When the electronic musical instrument 3 finishes reproducing the audio data Ad, the electronic musical instrument 3 ends the current audio data utilization processing and returns to a state of waiting for the next music list request operation.

〔他の実施形態〕
上述した処理フロー（図３）による実施形態では、携帯メディアプレイヤ４から楽曲特定情報を取得した後で楽曲の再生要求を出してメディアプレイヤ４側で再生されたオーディオ信号を録音してコード進行を解析するようにしているが、別の実施形態として、記憶部４４に記憶されたオーディオデータ自体を、直接（つまり、オーディオ信号に変換しないで）、通信手段４６，３９を介して電子楽器３に取り込むように変更してもよい。 [Other Embodiments]
In the embodiment according to the above-described processing flow (FIG. 3), after obtaining the music specifying information from the portable media player 4, a music playback request is issued, and the audio signal reproduced on the media player 4 side is recorded to perform the chord progression. As another embodiment, the audio data itself stored in the storage unit 44 is directly (that is, not converted into an audio signal) directly to the electronic musical instrument 3 via the communication means 46 and 39. You may change so that it may take in.

別の実施形態では、図３の処理フローにおいて※印を付けたステップの処理を以下のように変更する（処理変更されるステップについては、ステップ番号に「’」を追加）。つまり、電子楽器３は、楽曲選択ステップ（Ｍ２’）において、楽曲リストから選択された楽曲に対応するオーディオデータの送信を要求し、メディアプレイヤ４は、情報返信ステップ（Ｐ２’）で、楽曲特定情報を含むオリジナルのオーディオデータを記憶部４４から読み出して電子楽器３に返信する。次いで、情報受信ステップ（Ｍ３’）において、返信されたオリジナルのオーディオデータＡｄを記憶又は保存すると共に、このオーディオデータＡｄに含まれる楽曲特定情報に基づいて歌詞データの検索を要求する。 In another embodiment, the processing of the step marked with * in the processing flow of FIG. 3 is changed as follows (for the step whose processing is changed, “′” is added to the step number). That is, the electronic musical instrument 3 requests transmission of audio data corresponding to the music selected from the music list in the music selection step (M2 ′), and the media player 4 specifies the music in the information return step (P2 ′). Original audio data including information is read from the storage unit 44 and returned to the electronic musical instrument 3. Next, in the information receiving step (M3 '), the returned original audio data Ad is stored or saved, and the search for the lyrics data is requested based on the music specifying information included in the audio data Ad.

また、電子楽器３での再生要求及び録音の処理（Ｍ５，Ｍ６）並びにメディアプレイヤ４でのオーディオデータ再生処理（Ｍ５）はなく、記憶又は保存されたオリジナルのオーディオデータに基づいてコード進行解析、コード進行及び歌詞対応付け並びにオーディオデータ再生の処理（Ｍ７，Ｍ９，Ｍ１０）が行われる。別の実施形態では、電子楽器制御部３０にメディアプレイヤ再生部４５と同等のデコード機能を要するが、メディアプレイヤ４との通信手順を簡単にしＡ／Ｄ変換部３６の経路を不要とすることができる。 Also, there is no playback request and recording processing (M5, M6) in the electronic musical instrument 3 and audio data playback processing (M5) in the media player 4, and chord progression analysis based on the original audio data stored or stored, Processing of chord progression, lyrics matching and audio data reproduction (M7, M9, M10) is performed. In another embodiment, the electronic musical instrument control unit 30 requires a decoding function equivalent to that of the media player playback unit 45, but the communication procedure with the media player 4 is simplified and the route of the A / D conversion unit 36 is not required. it can.

前述の処理フローによる実施形態や上述した別の実施形態では、電子楽器３は、オーディオデータ再生処理（Ｍ１０）において、一旦記憶又は保存したオーディオデータと、対応付けされたコード進行データＣｐ及び歌詞データＷｔとを同期再生するようにしているが、更に別の実施形態として、携帯メディアプレイヤ４へと楽曲の再生要求を出して再生部４５で再生したオーディオ信号をミキサ・サウンドシステム３５に入力すると共に、この再生要求から所定時間（再生部４５の再生開始までのタイムラグ分）だけ遅延させた後に、対応付けされたコード進行データＣｐ及び歌詞データＷｔとを再生し、メディアプレイヤ４におけるオーディオ信号の再生と確実に同期をとるようにしてもよい。 In the embodiment according to the above-described processing flow and the above-described another embodiment, the electronic musical instrument 3 performs the audio data once stored or saved in the audio data reproduction process (M10), the chord progression data Cp and the lyrics data associated with each other. While Wt is played back synchronously, as yet another embodiment, a music playback request is sent to the portable media player 4 and an audio signal played back by the playback unit 45 is input to the mixer / sound system 35. After the reproduction request is delayed by a predetermined time (the time lag until the reproduction unit 45 starts reproduction), the associated chord progression data Cp and the lyrics data Wt are reproduced, and the audio signal is reproduced in the media player 4 You may make it synchronize reliably.

この発明の一実施例によるオーディオデータ利用システムの構成例を示す図である。It is a figure which shows the structural example of the audio data utilization system by one Example of this invention. この発明の一実施例によるコード進行と歌詞データの対応付け手順を説明するための図である。It is a figure for demonstrating the matching procedure of chord progression and lyrics data by one Example of this invention. この発明の一実施例によるオーディオデータ利用システムの処理フロー例を示す図である。It is a figure which shows the example of a processing flow of the audio data utilization system by one Example of this invention.

Explanation of symbols

Ａｄ携帯メディアプレーヤ４から取得されるオーディオデータ、
Ｃｐコード進行データ、
Ｗｒ歌詞データ提供サイト１から取得される歌詞データ（歌詞情報のみ）、
Ｗｔ時間情報（タイミング情報、タイムタグ）付き歌詞データ、
Ｃｗコード進行・歌詞対応データ構造又はコード進行・歌詞合成データ。 Ad, audio data acquired from the portable media player 4,
Cp chord progression data,
Wr Lyrics data (lyric information only) acquired from Lyrics data providing site 1
Wt Lyric data with time information (timing information, time tag),
Cw Chord progression / lyric data structure or chord progression / lyric synthesis data.

Claims

An electronic musical instrument that is communicably connected to a media player that stores audio data,
Audio signal receiving means for receiving an audio signal based on reproduction of audio data from a media player;
Audio storage means for storing the audio signal received by the audio signal receiving means as audio data;
Chord progression generation means for analyzing audio data stored in the audio storage means and generating chord progression data including time information and chord information;
Audio specifying information receiving means for receiving audio specifying information for specifying the audio data from a media player;
Lyrics data acquisition means for acquiring lyrics data with time information based on the audio identification information received by the audio identification information reception means;
An electronic musical instrument comprising: display means for displaying chord progression and lyrics by associating chord progression data generated by chord progression generation means with lyrics data with time information obtained by lyric data acquisition means .

An electronic musical instrument that is communicably connected to a media player that stores audio data,
Audio data receiving means for receiving audio data from the media player;
Audio storage means for storing audio data received by the audio data receiving means;
Chord progression generation means for analyzing audio data stored in the audio storage means and generating chord progression data including time information and chord information;
Audio specification information extraction means for extracting audio specification information for specifying the audio data from the audio data stored in the audio storage means;
Lyric data acquisition means for acquiring lyrics data with time information based on the audio specific information extracted by the audio specific information extraction means;
An electronic musical instrument comprising: display means for displaying chord progression and lyrics by associating chord progression data generated by chord progression generation means with lyrics data with time information obtained by lyric data acquisition means .

A computer that is communicably connected to a media player storing audio data and functions as an electronic musical instrument,
An audio signal receiving step of receiving an audio signal based on reproduction of audio data from the media player;
An audio storage step of storing the audio signal received in the audio signal receiving step in the storage means as audio data;
A chord progression generating step for analyzing the audio data stored in the storage means and generating chord progression data composed of time information and chord information;
An audio specifying information receiving step for receiving audio specifying information for specifying the audio data from a media player;
Lyric data acquisition step for acquiring lyrics data with time information based on the audio specific information received in the audio specific information reception step;
Audio data utilization program for executing a procedure comprising a display step for displaying chord progression and lyrics by associating chord progression data generated in the chord progression generation step with lyrics data with time information acquired in the lyric data acquisition step .

A computer that is communicably connected to a media player storing audio data and functions as an electronic musical instrument,
An audio data receiving step for receiving audio data from the media player;
An audio storage step of storing the audio data received in the audio data reception step in a storage means;
A chord progression generating step for analyzing the audio data stored in the storage means and generating chord progression data composed of time information and chord information;
An audio identification information extracting step for extracting audio identification information identifying the audio data from the audio data stored in the storage means;
Lyric data acquisition step for acquiring lyrics data with time information based on the audio specific information extracted in the audio specific information extraction step;
Audio data utilization program for executing a procedure comprising a display step for displaying chord progression and lyrics by associating chord progression data generated in the chord progression generation step with lyrics data with time information acquired in the lyric data acquisition step .