JP2012018282A - Musical performance file management device, musical performance file reproduction device, and musical performance file reproduction method - Google Patents

Musical performance file management device, musical performance file reproduction device, and musical performance file reproduction method Download PDF

Info

Publication number
JP2012018282A
JP2012018282A JP2010155246A JP2010155246A JP2012018282A JP 2012018282 A JP2012018282 A JP 2012018282A JP 2010155246 A JP2010155246 A JP 2010155246A JP 2010155246 A JP2010155246 A JP 2010155246A JP 2012018282 A JP2012018282 A JP 2012018282A
Authority
JP
Japan
Prior art keywords
performance
music
file
data
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010155246A
Other languages
Japanese (ja)
Inventor
Kazuhito Miyaki
和人 宮木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cellius Inc
Original Assignee
Cellius Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cellius Inc filed Critical Cellius Inc
Priority to JP2010155246A priority Critical patent/JP2012018282A/en
Publication of JP2012018282A publication Critical patent/JP2012018282A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve such a problem that a musical performance file uploaded to a video site is not used effectively.SOLUTION: An audio CD meta data receiving section 12 acquires a music identification information for uniquely identifying a music recorded in a recording medium. A musical performance part data receiving section 10 acquires musical performance data obtained by performing a specific part of the music with an instrument. A feature analysis section 16 analyzes the music feature quantity of the musical performance data. A single instrument determination section 18 determines whether the musical performance data is played with a single instrument or not based on the analysis result by the feature analysis section 16. A musical performance file generation section 20 generates a musical performance file formed by associating the music identification information with the musical performance data. When the single instrument determination section 18 determines that the musical performance file is played with the single instrument, a musical performance file registration section 22 registers the musical performance file in a musical performance file database 110.

Description

この発明は、楽曲の演奏ファイルを管理する装置、その演奏ファイルを再生する装置および方法に関する。   The present invention relates to an apparatus for managing a music performance file, and an apparatus and method for reproducing the performance file.

MP3(MPEG Audio Layer−3)などの音声圧縮技術の進歩により、音楽を携帯端末や携帯ゲーム機に保存して、外出先で聴いたり、自宅のパーソナルコンピュータで音楽のストリーム配信を楽しんだり、音楽ファイルを自由に加工することが手軽にできるようになった。   With advances in audio compression technology such as MP3 (MPEG Audio Layer-3), music can be stored on mobile terminals and portable game consoles and listened to on-the-go, enjoying music stream distribution on home personal computers, music You can now easily process files freely.

楽器の好きなユーザであれば、自分で楽器を演奏してビデオに撮影し、動画サイトなどに投稿して他のユーザに見せることもできる。また、ユーザがライブで楽器を演奏している様子をホームビデオなどで撮影して、インターネットを介してリアルタイムでストリーム配信することも手軽に行える。   If you're a user of musical instruments, you can play the instrument yourself and shoot it in a video, post it on a video site, and show it to other users. It is also easy to shoot a user's live performance of a musical instrument using a home video or the like and stream it in real time via the Internet.

動画サイトには、いろいろなユーザが既存楽曲やオリジナル楽曲のパートを楽器で演奏している様子が投稿されている。しかしながら、動画サイトにアップロードされた演奏ファイルを一元的に管理し、音楽愛好者または楽器演奏者に演奏ファイルを提供するポータルサービスのようなものがないため、アップロードされた演奏ファイルが有効利用されていない現状がある。   The video site shows how various users are playing existing songs and parts of original songs with musical instruments. However, since there is no portal service that centrally manages performance files uploaded to video sites and provides performance files to music lovers or musical instrument players, uploaded performance files are effectively used. There is no current situation.

本発明はこうした課題に鑑みてなされたものであり、その目的は、楽曲の演奏ファイルを管理し、ユーザに効率良く提供することのできる技術を提供することにある。   The present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of managing music performance files and efficiently providing them to users.

上記課題を解決するために、本発明のある態様の演奏ファイル管理装置は、録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、前記演奏データの音楽特徴量を解析する解析部と、前記解析部による解析結果にもとづき、前記演奏データは、単一の楽器で演奏されたものであるか否かを判定する判定部と、前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、前記判定部によって単一の楽器で演奏されたものであると判定された場合、前記演奏ファイルを演奏ファイルデータベースに登録する登録部とを含む。   In order to solve the above problems, a performance file management apparatus according to an aspect of the present invention includes a music identification information acquisition unit that acquires music identification information that uniquely identifies a recorded music, and a specific part of the music using an instrument. A performance data acquisition unit that acquires performance data obtained by performing, an analysis unit that analyzes a music feature amount of the performance data, and based on an analysis result by the analysis unit, the performance data is a single musical instrument. A determination unit that determines whether or not the musical piece has been played, a performance file generation unit that generates a performance file in which the music identification information is associated with the performance data, and a single instrument played by the determination unit And a registration unit for registering the performance file in a performance file database.

本発明の別の態様もまた、演奏ファイル管理装置である。この装置は、録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、前記演奏ファイルを演奏ファイルデータベースに登録する登録部と、前記演奏ファイルデータベースに登録された前記演奏ファイルを前記楽曲識別情報により互いに関連づけたマッチングデータを生成するマッチング部とを含む。   Another aspect of the present invention is also a performance file management apparatus. The apparatus includes a music identification information acquisition unit that acquires music identification information that uniquely identifies a recorded music, and a performance data acquisition unit that acquires performance data obtained by playing a specific part of the music with an instrument. A performance file generation unit that generates a performance file in which the music identification information is associated with the performance data, a registration unit that registers the performance file in a performance file database, and the performance file registered in the performance file database. And a matching unit that generates matching data associated with each other by music identification information.

本発明のさらに別の態様は、演奏ファイル再生装置である。この装置は、楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースに対して、楽曲の検索条件を指定して演奏ファイルを検索する検索部と、検索の結果得られた楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択する演奏パート選択部と、演奏パート選択部により選択された、他人が演奏したパートの演奏ファイルの演奏データを受信する受信部と、ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力する演奏パート入力部と、受信された他人が演奏したパートの演奏データと、ユーザが演奏するパートの演奏データとを同期させて再生する同期再生部とを含む。   Yet another embodiment of the present invention is a performance file playback device. This apparatus performs performance by specifying a music search condition for a performance file database in which performance data in which performance data obtained by playing a specific part of a music piece with a musical instrument is associated with the music identification information and the performance part identification information. A search unit for searching for a file, a performance part selection unit for selecting a performance file of a part played by another person from the performance files of the music obtained as a result of the search, and another person selected by the performance part selection unit A reception unit that receives performance data of a performance file of a played part, a performance part input unit that inputs performance data that a user has played a specific part of a song using an instrument, and a part that is received by another person It includes a synchronized playback unit that plays back the performance data in synchronization with the performance data of the part that the user performs.

本発明のさらに別の態様は、演奏ファイル再生方法である。この方法は、楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースを参照して、前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成して表示するステップと、表示された楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択して、他人が演奏したパートの演奏ファイルの演奏データを受信するステップと、ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力して、受信された他人が演奏したパートの演奏データに同期させて再生するステップとを含む。   Yet another aspect of the present invention is a performance file playback method. This method refers to a performance file database in which performance data obtained by associating performance data obtained by playing a specific part of a song with a musical instrument with music identification information and performance part identification information is referred to, and the performance file is referred to as the music identification information. In the same music, a step of generating and displaying matching data in which the performance files are associated with each other by the performance part identification information, and a part of the music performed by another person from the performance files of the displayed music are displayed. The step of selecting a performance file and receiving performance data of a performance file of a part performed by another person, and a user inputting performance data of performing a specific part of a song using an instrument, Playing back in synchronization with the performance data of the played part.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and the expression of the present invention converted between a method, an apparatus, a system, a computer program, a data structure, a recording medium, and the like are also effective as an aspect of the present invention.

本発明によれば、楽曲の演奏ファイルを管理し、ユーザに効率良く提供することができる。   According to the present invention, music performance files can be managed and efficiently provided to users.

本発明の実施の形態に係るオンラインセッションシステムの構成図である。It is a block diagram of the online session system which concerns on embodiment of this invention. 図1のサーバに実装される演奏ファイル管理装置の構成図である。It is a block diagram of the performance file management apparatus mounted in the server of FIG. 図1のクライアントに実装される演奏ファイル再生装置の構成図である。It is a block diagram of the performance file reproduction | regeneration apparatus mounted in the client of FIG. ユーザの演奏ファイルの登録手続きを示すフローチャートである。It is a flowchart which shows the registration procedure of a user's performance file. ユーザが他人の演奏ファイルを選択して、オンラインセッションを組む処理を示すフローチャートである。It is a flowchart which shows the process which a user selects another person's performance file and forms an online session. 図1のクライアントのディスプレイに表示されるマッチングデータの画面例である。It is an example of the screen of the matching data displayed on the display of the client of FIG. 演奏ファイルのリンク構造を説明する図である。It is a figure explaining the link structure of a performance file. 演奏ファイルの詳細を表示する画面例である。It is an example of a screen which displays the detail of a performance file.

図1は、本発明の実施の形態に係るオンラインセッションシステムの構成図である。このオンラインセッションシステムでは、楽曲の特定のパートを楽器で演奏するユーザが、同じ楽曲の他のパートを楽器で演奏する他人とオンラインでセッションを組むことができる。オンラインセッションシステムは、サーバ100、演奏ファイルデータベース110、オーディオCDデータベース120、クライアント200、楽器210、およびカメラ220を含む。サーバ100、クライアント200、オーディオCDデータベース120はネットワーク240に接続されている。   FIG. 1 is a configuration diagram of an online session system according to an embodiment of the present invention. In this online session system, a user who plays a specific part of a musical piece with an instrument can form a session online with another person who plays the other part of the same musical piece with the instrument. The online session system includes a server 100, a performance file database 110, an audio CD database 120, a client 200, a musical instrument 210, and a camera 220. The server 100, the client 200, and the audio CD database 120 are connected to the network 240.

サーバ100は、演奏ファイルデータベース110を有し、楽曲の特定のパートを楽器で演奏したデータを含む演奏ファイルを演奏ファイルデータベース110に登録する。   The server 100 has a performance file database 110 and registers in the performance file database 110 a performance file including data obtained by playing a specific part of a music piece with a musical instrument.

オーディオCDデータベース120は、オーディオCD(Compact Disc)に録音された楽曲や圧縮ファイル形式の楽曲のメタ情報を管理するデータベースであり、サーバ100またはクライアント200からアクセス可能である。   The audio CD database 120 is a database that manages meta information of music recorded on an audio CD (Compact Disc) and music in a compressed file format, and is accessible from the server 100 or the client 200.

クライアント200は、ユーザが操作するパーソナルコンピュータ、ゲーム機、携帯端末であり、ネットワーク240に有線または無線で接続可能な通信機能を有する。クライアント200には楽器210およびカメラ220が接続されており、楽器210による演奏をクライアント200にライン入力し、ユーザが演奏している様子を動画像でクライアント200に入力することができる。   The client 200 is a personal computer, game machine, or portable terminal operated by a user, and has a communication function that can be connected to the network 240 by wire or wirelessly. A musical instrument 210 and a camera 220 are connected to the client 200. A performance by the musical instrument 210 is input to the client 200, and a state in which the user is performing can be input to the client 200 as a moving image.

図2は、サーバ100に実装される演奏ファイル管理装置の構成図である。演奏ファイル管理装置は、楽曲の特定のパートをユーザが楽器を用いて演奏した演奏データにメタデータを関連づけた演奏ファイルを演奏ファイルデータベース110に登録する機能、演奏ファイルデータベース110に登録された演奏ファイルをメタデータをもとにマッチングさせてユーザに提供する機能、ユーザが指定した演奏ファイルをストリーム配信する機能などを有する。   FIG. 2 is a configuration diagram of a performance file management apparatus mounted on the server 100. The performance file management device has a function of registering in the performance file database 110 a performance file in which metadata is associated with performance data in which a user has played a specific part of a song using a musical instrument, and a performance file registered in the performance file database 110 Are provided to the user by matching them based on the metadata, and a function of streaming the performance file designated by the user.

演奏パートデータ受信部10は、クライアント200からユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを受信する。オーディオCDメタデータ受信部12は、ユーザが楽曲の演奏をする際に利用したオーディオCDに録音された楽曲を識別するメタデータをクライアント200から受信する。演奏パートメタデータ受信部13は、ユーザが演奏している楽曲のパートを識別するメタデータを受信する。演奏画像データ受信部14は、楽曲を演奏中のユーザの動画像を受信する。   The performance part data receiving unit 10 receives performance data from a client 200 where a user has played a specific part of a song using a musical instrument. The audio CD metadata receiving unit 12 receives, from the client 200, metadata that identifies a song recorded on an audio CD used when the user plays the song. The performance part metadata receiving unit 13 receives metadata for identifying the part of the music piece being played by the user. The performance image data receiving unit 14 receives a moving image of a user who is playing a music piece.

特徴解析部16は、演奏パートデータ受信部10により受信したユーザの演奏データの音楽的特徴を解析する。一例として、特開2008−122426号公報に記載されている解析技術を用いて、演奏データの周波数特性から演奏データの音楽的特徴量を抽出する。この音楽解析技術は、音楽の波形を解析し、音程、テンポ、拍子、ビート、コード進行、キー、楽曲構造を抽出し、楽曲の分類に有効な特徴量を抽出する。そして、抽出された特徴量を元に音楽検索のキーとして利用可能なメタデータを決定する。メタデータの例として、音楽のスピード感やエネルギー感のような指標、あるいは、ロック、ジャズ、クラシックなどのジャンル、明るい、暗い、荘厳など音楽全体のムード、演奏に使用されている楽器音(ピアノ、ベース、ギターなどの楽器の種別)などがある。   The feature analysis unit 16 analyzes musical features of the user performance data received by the performance part data receiving unit 10. As an example, the musical feature amount of performance data is extracted from the frequency characteristics of performance data using the analysis technique described in Japanese Patent Application Laid-Open No. 2008-122426. This music analysis technique analyzes the waveform of music, extracts pitch, tempo, time signature, beat, chord progression, key, and music structure, and extracts feature quantities effective for music classification. Then, metadata that can be used as a key for music search is determined based on the extracted feature amount. Examples of metadata include indicators such as music speed and energy, genres such as rock, jazz, and classic, moods of the whole music such as bright, dark, and solemn, and instrument sounds used in performance (piano , Bass, guitar, etc.).

単一楽器判定部18は、特徴解析部16による解析結果にもとづいて、ユーザの演奏データが単一の楽器で演奏されたものであるかどうかを判定する。たとえば、演奏データが、ギター、ドラム、キーボードなどのいずれの単一の楽器で演奏されたものであるかどうかは、演奏データに含まれる音の種類を解析すれば、ある程度の正確さをもって判定することができる。複数の楽器で演奏されたものであれば、複数種類の音が含まれるから、容易に複数の楽器で演奏されたものをはじくことができる。単一楽器判定部18は、判定結果を演奏ファイル生成部20または演奏ファイル登録部22に与える。   The single musical instrument determination unit 18 determines whether or not the performance data of the user has been played with a single musical instrument based on the analysis result by the feature analysis unit 16. For example, whether or not the performance data is played by a single instrument such as a guitar, drum, or keyboard can be determined with a certain degree of accuracy by analyzing the type of sound included in the performance data. be able to. Since a musical instrument played with a plurality of musical instruments includes a plurality of types of sounds, it is possible to easily repel a musical instrument played with a plurality of musical instruments. The single musical instrument determination unit 18 gives the determination result to the performance file generation unit 20 or the performance file registration unit 22.

演奏ファイル生成部20は、オーディオCDメタデータ受信部12が受信した楽曲のメタデータを、演奏パートデータ受信部10が受信した演奏データに関連づけた演奏ファイルを生成する。演奏ファイル生成部20は、演奏パートメタデータ受信部13が受信した演奏パートのメタデータを演奏データにさらに関連づけることもできる。また、演奏ファイル生成部20は、演奏画像データ受信部14が受信した演奏しているユーザの動画像を演奏ファイルに含めることもできる。   The performance file generation unit 20 generates a performance file in which the metadata of the music received by the audio CD metadata reception unit 12 is associated with the performance data received by the performance part data reception unit 10. The performance file generation unit 20 can further associate the performance part metadata received by the performance part metadata reception unit 13 with the performance data. In addition, the performance file generation unit 20 can include the moving image of the user performing the performance received by the performance image data reception unit 14 in the performance file.

演奏ファイル登録部22は、単一楽器判定部18によってユーザの演奏データが単一の楽器で演奏されたものであると判定された場合、演奏ファイル生成部20が生成した演奏ファイルを演奏ファイルデータベース110に登録する。単一楽器判定部18によってユーザの演奏データが単一の楽器で演奏されたものであると判定されなかった場合は、演奏ファイルの演奏ファイルデータベース110への登録を拒否する。   The performance file registration unit 22 determines that the performance data generated by the performance file generation unit 20 is the performance file database when the single musical instrument determination unit 18 determines that the performance data of the user has been played by a single instrument. Register at 110. If the single musical instrument determination unit 18 does not determine that the performance data of the user has been played with a single musical instrument, registration of the performance file in the performance file database 110 is rejected.

演奏ファイル生成部20は、単一楽器判定部18によってユーザの演奏データが単一の楽器で演奏されたものであると判定されなかった場合は、演奏ファイルの生成をせず、演奏ファイル登録部22に演奏ファイルを与えないように構成してもよい。   If the single musical instrument determination unit 18 does not determine that the performance data of the user has been played by a single musical instrument, the performance file generation unit 20 does not generate a performance file and does not generate a performance file. The performance file may not be given to 22.

検索部23は、クライアント200から楽曲の検索条件を受信して、検索条件に合う楽曲の各パートを演奏した演奏ファイルを演奏ファイルデータベース110から検索して、メタデータマッチング部25に与える。メタデータマッチング部25は、検索条件に合った演奏ファイルをメタデータにより互いに関連づけたマッチングデータを生成する。メタデータマッチング部25は、演奏ファイルを楽曲のメタデータにより互いに関連づけ、同一楽曲内では、さらに演奏パートのメタデータで互いに関連づけたマッチングデータを生成する。マッチングデータ送信部27は、生成されたマッチングデータをクライアント200に送信する。   The search unit 23 receives the music search condition from the client 200, searches the performance file database 110 for a performance file that played each part of the music that meets the search condition, and provides the performance matching file 25 to the metadata matching unit 25. The metadata matching unit 25 generates matching data in which performance files meeting the search conditions are associated with each other by metadata. The metadata matching unit 25 associates the performance files with the metadata of the music, and further generates matching data associated with each other with the metadata of the performance part within the same music. The matching data transmission unit 27 transmits the generated matching data to the client 200.

オーディオストリーム送信部24は、クライアント200からのリクエストに応じて、指定された演奏ファイルの演奏データをクライアント200にストリーム配信する。ビデオストリーム送信部26は、クライアント200からのリクエストに応じて、指定された演奏ファイルに含まれるユーザの動画像データをクライアント200にストリーム配信する。   In response to a request from the client 200, the audio stream transmission unit 24 distributes the performance data of the designated performance file to the client 200 in a stream. In response to a request from the client 200, the video stream transmission unit 26 streams the moving image data of the user included in the specified performance file to the client 200.

図3は、クライアント200に実装される演奏ファイル再生装置の構成図である。演奏ファイル再生装置は、楽曲の特定のパートをユーザが楽器で演奏した演奏データをサーバ100に送信して登録する機能、サーバ100に登録された演奏ファイルの中からユーザが演奏したい楽曲の他のパートの演奏ファイルを検索してダウンロードし、ユーザの演奏パートと同期させて再生する機能などを有する。   FIG. 3 is a configuration diagram of a performance file playback device mounted on the client 200. The performance file playback device has a function of transmitting performance data obtained by a user playing a specific part of a music piece with a musical instrument to the server 100 and registering the other data of the music piece desired to be played by the user from the performance file registered in the server 100. It has a function of searching and downloading a performance file of a part and reproducing it in synchronization with a user's performance part.

ユーザはオーディオCD300をクライアント200のCD読み取り装置に挿入して、オーディオCD300をヘッドホンなどで聴きながら、楽器を使って演奏する。オーディオCD読み取り部30は、オーディオCD300のリードトラックに書き込まれているTOC(Table Of Contents)と呼ばれる音楽データのトラック数や再生時間のデータなどを読み取り、オーディオCDメタデータ取得部32に与える。オーディオCDメタデータ取得部32は、オーディオCD読み取り部30により読み出されたTOCのデータをもとにオーディオCDデータベース120に問い合わせを行い、楽曲のタイトルやアーティスト名などのメタデータを取得する。オーディオCDメタデータ取得部32は、このメタデータをサーバ100に送信する。   The user inserts the audio CD 300 into the CD reading device of the client 200 and plays using the musical instrument while listening to the audio CD 300 with headphones or the like. The audio CD reading unit 30 reads the number of tracks of music data called TOC (Table Of Contents) written in the lead track of the audio CD 300, the reproduction time data, and the like, and supplies them to the audio CD metadata acquisition unit 32. The audio CD metadata acquisition unit 32 makes an inquiry to the audio CD database 120 based on the TOC data read by the audio CD reading unit 30, and acquires metadata such as a song title and an artist name. The audio CD metadata acquisition unit 32 transmits this metadata to the server 100.

演奏パートデータ入力部52は、ユーザが演奏する楽器210からライン入力される楽曲の特定のパートの演奏データを受け取り、サーバ100に送信する。演奏パートメタデータ入力部51は、ユーザが演奏する楽曲のパートに関するメタデータをサーバ100に送信する。ビデオ入力部42は、カメラ220が撮影する演奏中のユーザの動画像データを受け取り、サーバ100に送信する。   The performance part data input unit 52 receives performance data of a specific part of a music piece that is line-input from the musical instrument 210 performed by the user, and transmits the performance data to the server 100. The performance part metadata input unit 51 transmits metadata related to the part of the music played by the user to the server 100. The video input unit 42 receives the moving image data of the user who is performing while being photographed by the camera 220 and transmits it to the server 100.

サーバ100側では、クライアント200から、演奏パートデータ受信部10が演奏データを受信し、オーディオCDメタデータ受信部12が楽曲を識別するメタデータを受信し、演奏パートメタデータ受信部13が演奏パートを識別するメタデータを受信し、演奏画像データ受信部14が演奏中のユーザの動画像データを受信する。サーバ100は、これらのデータをもとに、前述のように、演奏ファイルの演奏ファイルデータベース110への登録の可否を決定する。   On the server 100 side, the performance part data receiving unit 10 receives performance data from the client 200, the audio CD metadata receiving unit 12 receives metadata for identifying the music piece, and the performance part metadata receiving unit 13 receives the performance part. The performance image data receiving unit 14 receives the moving image data of the user who is performing. Based on these data, the server 100 determines whether or not the performance file can be registered in the performance file database 110 as described above.

検索部34は、ユーザから楽曲の検索条件を受け取るか、オーディオCDメタデータ取得部32からオーディオCD300に録音された楽曲のメタデータを受け取り、サーバ100に楽曲の検索コマンドを送信する。検索部34は、サーバ100から検索結果をマッチングデータの形で受け取る。このマッチングデータは、ユーザの指定した楽曲を中心として、演奏ファイルを楽曲のメタデータにより互いに関連づけ、同一楽曲内では、さらに演奏パートのメタデータで互いに関連づけたものである。   The search unit 34 receives a music search condition from the user or receives music metadata recorded on the audio CD 300 from the audio CD metadata acquisition unit 32 and transmits a music search command to the server 100. The search unit 34 receives search results from the server 100 in the form of matching data. In the matching data, the performance files are associated with each other by the metadata of the music, centering on the music designated by the user, and further associated with the metadata of the performance part within the same music.

マッチングデータ表示出力部38は、クライアント200に接続されたディスプレイにマッチングデータをグラフィカル表示する。演奏パート選択部40は、グラフィカルユーザインタフェース(GUI)を提供して、ユーザがグラフィカル表示されたマッチングデータの中から他人が演奏したパートの演奏ファイルを選択することを支援する。   The matching data display output unit 38 graphically displays the matching data on a display connected to the client 200. The performance part selection unit 40 provides a graphical user interface (GUI) to assist the user in selecting performance files of parts played by others from the matching data displayed graphically.

演奏パート選択部40は、ユーザが選択した他人の演奏ファイルの情報をビデオストリーム受信部44とオーディオストリーム受信部54に与える。ビデオストリーム受信部44とオーディオストリーム受信部54は、サーバ100に演奏ファイルの情報を送信し、演奏ファイルに含まれる他人の演奏データと演奏中の他人の動画像データのストリーム配信を依頼する。   The performance part selection unit 40 provides information on the performance file of the other person selected by the user to the video stream reception unit 44 and the audio stream reception unit 54. The video stream receiving unit 44 and the audio stream receiving unit 54 transmit the performance file information to the server 100 and request the stream distribution of the performance data of the other person included in the performance file and the moving image data of the other person being performed.

オーディオストリーム受信部54は、サーバ100から受信した演奏データをオーディオストリーム同期再生部56に与える。オーディオストリーム同期再生部56は、演奏パートデータ入力部52からユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを受け取り、オーディオストリーム受信部54から受信された他人が演奏したパートの演奏データと同期させて再生し、オーディオ出力部58に与える。オーディオ出力部58は同期再生されたオーディオ信号を合成してスピーカに出力する。これにより、ユーザはあたかも他人とセッションをしているかのような経験をすることができる。   The audio stream receiving unit 54 gives the performance data received from the server 100 to the audio stream synchronized playback unit 56. The audio stream synchronized playback unit 56 receives performance data in which a user has performed a specific part of a song using a musical instrument from the performance part data input unit 52, and the performance of the part performed by another person received from the audio stream reception unit 54. The data is reproduced in synchronism with the data and given to the audio output unit 58. The audio output unit 58 synthesizes the synchronized audio signals and outputs them to the speaker. Thereby, the user can experience as if he / she is having a session with another person.

ここで、ユーザがそれぞれ別々に楽曲のパートを演奏した演奏データを同期させることができる理由を説明する。ユーザは音楽CDやMP3ファイルを再生して聴きながら、楽器を演奏している。同じ楽曲を聴いて演奏したものであれば、同期が取れるはずであるが、単に曲名が同じだけでは、同期が取れないことがある。たとえば、同じ曲でも、ライブで演奏された楽曲と、アルバムに収録されたレコーディング曲とでは、一般にテンポが合わないからである。また、同じ曲でも別のアーティストがカバーした楽曲もあり、全く別の曲に仕上がっていることもある。商用のCDDBでは、同じ曲でもライブ版とベストアルバム版を別の楽曲として管理しており、また、カバーしたアーティストが異なれば、別の曲として管理する。そこで、本実施の形態では、CDDBで識別された楽曲のメタデータにユーザの演奏データを関連づけることで、演奏の元になっている楽曲をユニークに特定できるようにした。本実施の形態では、楽曲のユニークな識別情報で関連づけられた演奏ファイル間でマッチングが取られるため、同期を取ったとき、曲が違ってテンポなどが合わない心配がない。   Here, the reason why the user can synchronize the performance data obtained by playing the music parts separately will be described. The user is playing a musical instrument while playing and listening to a music CD or MP3 file. If you listen to the same song and perform it, you should be able to synchronize, but if you just have the same song name, you may not be able to synchronize. For example, even if the music is the same, the tempo does not generally match between the music played live and the recording music recorded on the album. Also, some of the same songs are covered by different artists and may be completely different. In a commercial CDDB, the live version and the best album version are managed as different songs even for the same song, and if different artists are covered, they are managed as different songs. Therefore, in this embodiment, the performance data of the user is associated with the metadata of the music identified by the CDDB so that the music that is the source of the performance can be uniquely identified. In the present embodiment, since matching is performed between performance files associated with unique identification information of music, there is no concern that the tempo and the like will not match when the music is synchronized.

また、ユーザが、他人の演奏ファイルの演奏データを聴きながら、自分のパートを演奏して演奏ファイルを登録した場合も、他人の演奏ファイルが、CDDBで識別された楽曲の識別情報に関連づけられたものであれば、ユーザが演奏した演奏ファイルも同一の楽曲の識別情報に関連づけることができる。したがって、あるパートを聴きながら、他のパートを弾き、演奏データをアップロードすることを繰り返しても、最初の演奏ファイルがCDDBで一意に決まる楽曲の識別情報に間違いなく関連づけられていれば、同期を取ったときにテンポのずれなどの問題が生じることはない。   Also, when a user plays his / her part while registering a performance file while listening to performance data of another person's performance file, the other person's performance file is associated with the music identification information identified by the CDDB. If it is a thing, the performance file which the user performed can also be linked | related with the identification information of the same music. Therefore, while listening to one part, playing other parts and repeatedly uploading performance data, if the first performance file is definitely associated with the music identification information uniquely determined by the CDDB, synchronization is performed. There will be no problems such as tempo shifts.

ビデオストリーム受信部44は、サーバ100から受信した演奏中の他人の動画像データをビデオストリーム同期再生部46に与える。ビデオストリーム同期再生部46は、ビデオ入力部42から演奏中のユーザの動画像データを受け取り、ビデオストリーム受信部44から受信された他人の動画像データと同期させて再生し、ビデオ出力部48に与える。ビデオ出力部48は、同期再生されたビデオデータを一画面に合成して、ディスプレイに表示する。他人の楽曲による演奏だけでなく、演奏中の他人の動画像を同期させることで、セッションのライブ感を高めることができる。   The video stream receiving unit 44 provides the video stream synchronized playback unit 46 with the moving image data of the other person being played received from the server 100. The video stream synchronous reproduction unit 46 receives the moving image data of the user who is playing from the video input unit 42, reproduces it in synchronization with the moving image data of the other person received from the video stream reception unit 44, and outputs it to the video output unit 48. give. The video output unit 48 combines the synchronously reproduced video data on one screen and displays it on the display. The sense of liveness of the session can be enhanced by synchronizing not only the performance by the music of another person but also the moving image of the other person who is performing.

図4は、ユーザの演奏ファイルの登録手続きを示すフローチャートである。図4に示すフローチャートにおいては、各部の処理手順を、ステップを意味するS(Stepの頭文字)と数字との組み合わせによって表示する。また、Sと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Y(Yesの頭文字)を付加して、例えば、(S14のY)と表示し、逆にその判断結果が否定的であった場合は、N(Noの頭文字)を付加して、(S14のN)と表示する。   FIG. 4 is a flowchart showing a user's performance file registration procedure. In the flowchart shown in FIG. 4, the processing procedure of each part is displayed by a combination of S (acronym for Step) meaning a step and a number. In addition, when a determination process is executed in the process displayed by the combination of S and a number, and the determination result is affirmative, Y (acronym for Yes) is added, for example (Y in S14) If the result of the determination is negative, N (the acronym for No) is added and (N in S14) is displayed.

ユーザは、クライアント200上でオーディオCDに録音された曲を再生するか、あるいはMP3形式などの圧縮音声ファイルフォーマットで提供される音楽ファイルを再生して、楽曲を聴きながら、楽器210で自分の弾きたいパートを演奏する。楽器210の出力は、クライアント200にライン入力されており、演奏されたパートはクライアント200に直接、入力される(S10)。ユーザは、ボーカルのパートを担当してもよく、その場合は、マイクなどから歌声をクライアント200に入力する。   A user plays a song recorded on an audio CD on the client 200 or a music file provided in a compressed audio file format such as MP3 format and listens to the song while playing his / her instrument 210. Play the part you want. The output of the musical instrument 210 is input to the client 200 as a line, and the played part is input directly to the client 200 (S10). The user may be in charge of the vocal part, in which case the singing voice is input to the client 200 from a microphone or the like.

入力された演奏パートのデータはサーバ100に送信され、音楽的特徴が解析される(S12)。解析結果を踏まえて、演奏パートデータが単一楽器で演奏されたものであるかどうかが判定される(S14)。演奏パートデータに複数の楽器の音が混ざっていると判定された場合(S14のN)、当該演奏パートデータは登録を拒否され、登録処理は終了する(S16)。演奏パートデータに複数の楽器の音が混ざっていると場合、音楽CDをリッピングしたデータである可能性があるため、著作権保護の観点から登録を受け付けないことにした。   The input performance part data is transmitted to the server 100, and the musical features are analyzed (S12). Based on the analysis result, it is determined whether or not the performance part data has been played with a single instrument (S14). When it is determined that the sounds of a plurality of musical instruments are mixed in the performance part data (N in S14), the performance part data is refused to be registered, and the registration process ends (S16). If the sound of a plurality of musical instruments is mixed in the performance part data, there is a possibility that the data is ripped music CD, so registration is not accepted from the viewpoint of copyright protection.

ステップS14の判定の結果、単一の楽器で演奏されたものであると認定される場合(S14のY)、ステップS18に進む。商用のGracenote(登録商標)のCDDB機能などを利用して、ユーザが演奏の際に利用した音楽CDから取得されるTOCなどの情報をもとに楽曲のメタデータを取得する(S18)。楽曲のメタデータには、楽曲の識別情報、曲名、アーティスト名などが含まれる。ユーザの演奏パートデータに楽曲のメタデータを関連づけて演奏ファイルを生成する(S20)。演奏ファイルは演奏ファイルデータベース110に登録される。   As a result of the determination in step S14, if it is determined that the musical instrument is played with a single instrument (Y in S14), the process proceeds to step S18. Using the commercial Gracenote (registered trademark) CDDB function or the like, the metadata of the music is acquired based on the information such as the TOC acquired from the music CD used by the user during the performance (S18). The song metadata includes song identification information, song name, artist name, and the like. A performance file is generated by associating metadata of music with user performance part data (S20). The performance file is registered in the performance file database 110.

図5は、ユーザが他人の演奏ファイルを選択して、オンラインセッションを組む処理を示すフローチャートである。   FIG. 5 is a flowchart showing a process in which the user selects another person's performance file and forms an online session.

ユーザは、オーディオCD300で聴いている楽曲を指定するか、楽曲の曲名やアーティスト名などを検索条件として直接指定して、演奏ファイルデータベース110から該当する演奏ファイルを検索する(S30)。メタデータマッチング部25は、ユーザが指定する楽曲に関連する演奏ファイルを、楽曲のメタデータと演奏パートのメタデータをもとにマッチングさせてユーザに提示する(S32)。メタデータマッチング部25の機能は、サーバ100側に設けられてもクライアント200側に設けられてもよい。   The user designates the music being listened to by the audio CD 300, or directly designates the music title or artist name of the music as a search condition, and retrieves the corresponding performance file from the performance file database 110 (S30). The metadata matching unit 25 matches the performance file related to the music specified by the user based on the metadata of the music and the metadata of the performance part and presents it to the user (S32). The function of the metadata matching unit 25 may be provided on the server 100 side or the client 200 side.

図6は、クライアント200のディスプレイに表示されるマッチングデータの画面例である。ユーザが楽曲のタイトル「いとしのレイラ」、アーティスト名「エリック・クランプトン」、演奏パート「ギター」を検索条件として演奏ファイルを検索した例を示す。「いとしのレイラ」のパートをギターで演奏したファイル(符号70a、70bなど)が互いにリンク付けされて、符号80で示すグループを形成している。CDDBで同一曲であると識別された楽曲のギターのパートを演奏しているという共通性をもとにこれらの演奏ファイルは互いに直接的または間接的に関連付けされる。あるユーザAの楽器の演奏ファイルを別のユーザBが聴きながら同じ楽器で演奏した場合、ユーザBの演奏ファイルはユーザAの演奏ファイルに直接的にリンク付けされる。   FIG. 6 is a screen example of matching data displayed on the display of the client 200. An example is shown in which a user searches for a performance file using the title “Ishino Leila”, artist name “Eric Clampton” and performance part “guitar” as search conditions. Files (symbols 70a, 70b, etc.) in which the part of “Itoshi Leila” is played on a guitar are linked to each other to form a group denoted by reference numeral 80. These performance files are directly or indirectly associated with each other based on the commonality of playing the guitar part of the music identified as the same music in the CDDB. When another user B plays a performance file of a user A's musical instrument while listening to the same musical instrument, the performance file of the user B is directly linked to the performance file of the user A.

「いとしのレイラ」を他の楽器で演奏した演奏ファイルも同じ画面に表示される。ギターのパートの演奏ファイルと同様に、「いとしのレイラ」のドラムのパートの演奏ファイル(符号72a、72bなど)は互いにリンク付けされて、符号82で示すグループを形成している。また、「いとしのレイラ」のキーボードのパートの演奏ファイル(符号74a、74bなど)も互いにリンク付けされて、符号84で示すグループを形成している。   The performance file that played "Ishino Leila" with other instruments is also displayed on the same screen. Similar to the performance file of the guitar part, the performance files of the drum part of “Itoshi Leila” (reference numerals 72a, 72b, etc.) are linked to each other to form a group indicated by reference numeral 82. Also, performance files (reference numerals 74a, 74b, etc.) of the keyboard part of “Itoshi Leila” are linked together to form a group indicated by reference numeral 84.

「いとしのレイラ」という同一の楽曲について、ギターのパートの演奏ファイルのグループ80と、ドラムのパートの演奏ファイルのグループ82と、キーボードのパートの演奏ファイルのグループ84とは互いにリンク付けされている。CDDBで同一曲であると識別された楽曲について演奏しているという共通性をもとにこれらの演奏ファイルのグループは互いに関連付けされている。各グループ内の演奏ファイルは、グループをまたがって、直接的または間接的に関連付けられる。あるユーザAが「いとしのレイラ」をギターで演奏したファイルを別のユーザBが聴きながらの同じ曲をドラムで演奏した場合、ユーザBのドラムの演奏ファイルはユーザAのギターの演奏ファイルに直接的にリンク付けされる。   For the same musical piece “Itoshi Leila”, the guitar part performance file group 80, the drum part performance file group 82, and the keyboard part performance file group 84 are linked to each other. . The groups of performance files are associated with each other based on the commonality of playing music that is identified as the same music in the CDDB. The performance files in each group are related directly or indirectly across the groups. When a user A plays the same song on a drum while another user B listens to a file in which "Ito no Leila" is played on the guitar, the user B's drum performance file is directly in the user A's guitar performance file. Linked together.

さらに、同じ検索画面には、エリック・クランプトンがカバーした「チェンジ・ザ・ワールド」の演奏ファイルもリンク付けされて表示される。「チェンジ・ザ・ワールド」のドラムのパートの演奏ファイル(符号76a、76bなど)は互いにリンク付けされて、符号86で示すグループを形成している。また、「チェンジ・ザ・ワールド」のキーボードのパートの演奏ファイル(符号78a、78bなど)も互いにリンク付けされて、符号88で示すグループを形成している。   In addition, on the same search screen, a performance file of “Change the World” covered by Eric Clampton is also linked and displayed. The performance files (“76a” and “76b”) of the drum parts of “Change the World” are linked to each other to form a group indicated by reference numeral 86. Also, the performance files (reference numerals 78a, 78b, etc.) of the keyboard part of “Change the World” are linked together to form a group indicated by the reference numeral 88.

「チェンジ・ザ・ワールド」のドラムのパートの演奏グループ86が、「いとしのレイラ」のドラムのパートの演奏グループ82に関連付けられているのは、アーティストが同じで、演奏に用いた楽器が同じためである。同じ理由で「チェンジ・ザ・ワールド」のキーボードのパートの演奏グループ88は、「いとしのレイラ」のキーボードのパートの演奏グループ84に関連付けられている   The performance group 86 of the drum part of “Change the World” is associated with the performance group 82 of the drum part of “Itoshi Leila” because the artists are the same and the instruments used for the performance are the same. Because. For the same reason, the performance group 88 of the keyboard part of “Change the World” is associated with the performance group 84 of the keyboard part of “Itoshi Leila”.

図7は、演奏ファイルのリンク構造を説明する図である。符号70は、「いとしのエイラ」をユーザAがギターで演奏した演奏データのファイルであり、メタデータとして楽曲ID「abc」、タイトル「いとしのレイラ」、アーティスト名「エリック・クラプトン」、ユーザ名「A」、演奏パート「ギター」が付けられている。図6の画面例でも説明したように、同一の楽曲の異なる楽器による演奏ファイルは互いにリンク付けされる。符号72は、「いとしのレイラ」をユーザBがドラムで演奏したデータのファイルであり、符号74は、「いとしのレイラ」をユーザCがキーボードで演奏した演奏データのファイルであり、いずれも、符号70の同曲をユーザAがギターで演奏した演奏データのファイルにリンク付けされている。ここで、楽曲の同一性は、タイトルとアーティスト名の一致で判断されるのではなく、CDDBで識別される楽曲IDの一致で判断されることに留意する。同じ曲でもライブ演奏の録音とCD用にスタジオで録音されたものとではテンポなどが微妙に異なるからである。   FIG. 7 is a diagram for explaining a link structure of performance files. Reference numeral 70 denotes a performance data file in which the user A plays “Ishi no Eira” on the guitar. The music ID is “abc”, the title is “Ishi no Leila”, the artist name “Eric Clapton”, and the user name. "A" and performance part "guitar" are attached. As described in the screen example of FIG. 6, performance files of different musical instruments of the same music are linked to each other. Reference numeral 72 is a file of data in which the user B plays the “Itoshi Leila” on the drum, and reference numeral 74 is a file of performance data in which the user C plays the “Itoshi Leila” on the keyboard. The same number 70 is linked to a performance data file played by the user A on the guitar. Here, it is noted that the identity of music is determined not by matching the title and artist name, but by matching the music IDs identified in the CDDB. This is because even the same song has a slightly different tempo between live performance recording and CD recording in the studio.

符号78は、「チェンジ・ザ・ワールド」をユーザDがキーボードで演奏した演奏データのファイルであり、メタデータとして、楽曲ID「def」、タイトル「チェンジ・ザ・ワールド」、アーティスト名「エリック・クラプトン」、ユーザ名「D」、演奏パート「キーボード」が含まれる。符号78は、「チェンジ・ザ・ワールド」をユーザEがドラムで演奏した演奏データのファイルであり、メタデータとして、楽曲ID「def」、タイトル「チェンジ・ザ・ワールド」、アーティスト名「エリック・クラプトン」、ユーザ名「E」、演奏パート「ドラム」が含まれる。   Reference numeral 78 denotes a performance data file in which the user D plays “Change the World” on the keyboard. As metadata, the music ID “def”, the title “Change the World”, the artist name “Eric. Clapton ", user name" D ", and performance part" keyboard "are included. Reference numeral 78 denotes a file of performance data in which the user E plays “Change the World” on the drum. As metadata, the music ID “def”, the title “Change the World”, the artist name “Eric. “Clapton”, user name “E”, and performance part “drum” are included.

「チェンジ・ザ・ワールド」のキーボードの演奏ファイル78は、「いとしのレイラ」のキーボードの演奏ファイル74にリンク付けられる。これは、曲が違っても、アーティストが共通し、演奏パートが同じためである。「チェンジ・ザ・ワールド」のキーボードの演奏ファイル78と、「チェンジ・ザ・ワールド」のドラムの演奏ファイル76とは、楽曲IDが共通する楽曲の異なる楽器による演奏であるため、互いにリンク付けされる。さらに、「チェンジ・ザ・ワールド」のドラムの演奏ファイル76は、「いとしのレイラ」のドラムの演奏ファイル72にリンク付けられる。曲は異なるが、アーティストが共通し、演奏パートが同じだからである。   The keyboard performance file 78 of “Change the World” is linked to the keyboard performance file 74 of “Itoshi Leila”. This is because even if the songs are different, the artists are common and the performance parts are the same. The keyboard performance file 78 of “Change the World” and the drum performance file 76 of “Change the World” are linked to each other because they are performances of different musical instruments having the same music ID. The Furthermore, the drum performance file 76 of “Change the World” is linked to the drum performance file 72 of “Itoshi Leila”. The songs are different, but the artists are common and the performance parts are the same.

図8は、演奏ファイルの詳細を表示する画面例である。ユーザが図6の検索画面において「いとしのレイラ」のギター演奏ファイルの1つ(符号70a)を選択すると、符号92で示すように、ファイルの詳細内容を提供するウインドウが表示される。このウインドウ内には、この演奏ファイルのメタデータを含む詳細情報が表示される。たとえば、楽曲のタイトル、アーティスト名、ユーザ名、演奏パート、演奏時間、演奏回数、評価、コメント、演奏中のユーザの動画像または静止画像が表示される。「演奏回数」は、この演奏ファイルを他のユーザが選択して、再生した回数である。「評価」は、他のユーザがこの演奏ファイルの良し悪しをたとえば5段階で評価した値である。「コメント」は、この演奏ファイルをアップロードしたユーザによるメッセージである。   FIG. 8 is an example of a screen that displays details of a performance file. When the user selects one of the guitar performance files (reference numeral 70a) of “Itoshi Leila” on the search screen of FIG. 6, a window for providing detailed contents of the file is displayed as indicated by reference numeral 92. Detailed information including the metadata of the performance file is displayed in this window. For example, the title, artist name, user name, performance part, performance time, number of performances, evaluation, comment, and moving image or still image of the user who is performing are displayed. “Performance count” is the number of times this performance file has been selected and played by another user. “Evaluation” is a value that other users have evaluated the quality of the performance file in, for example, five levels. “Comment” is a message by the user who uploaded this performance file.

プレビューボタン94を選択すると、この演奏ファイルの演奏データを視聴することができる。そのとき、演奏中のユーザの動画像が再生されるようにしてもよい。   When the preview button 94 is selected, the performance data of this performance file can be viewed. At that time, the moving image of the user who is playing may be reproduced.

ユーザは演奏ファイルの詳細画面を参考にして、バンド編成に用いる演奏ファイルを最終的に決定し、セッションを構成することができる。   The user can finally determine the performance file to be used for band organization with reference to the detailed screen of the performance file, and compose a session.

図5を再び参照する。ユーザは、グラフィカル表示されたマッチングデータを閲覧しながら、指定した楽曲の自分のパート以外のパートを演奏している他人の演奏ファイルを見つけて選択する(S34)。たとえば、ユーザがエレキギターを弾いており、ドラムやピアノと合わせてセッションを組みたいときは、同一曲のドラム、ピアノの各パートを他人が演奏した演奏ファイルを見つけて選択する。   Reference is again made to FIG. While browsing the matching data displayed graphically, the user finds and selects a performance file of another person playing a part other than his / her part of the designated music (S34). For example, when a user is playing an electric guitar and wants to form a session with drums and pianos, he finds and selects a performance file in which each person plays the drum and piano parts of the same song.

サーバ100から他人の演奏ファイルに含まれる演奏データと動画像データを受信する(S36)。ユーザが自分の楽器210で演奏するパートと、他人が別の楽器で演奏するパートを同期させて合成したオーディオ信号を生成し、演奏中のユーザの動画像と他人の動画像を同期させて合成したビデオ信号を生成する(S38)。合成されたオーディオ信号をスピーカに出力し、合成されたビデオ信号をディスプレイに出力する(S40)。これによりユーザの望み通りのセッションをオンラインで作ることができる。   Performance data and moving image data included in another person's performance file are received from the server 100 (S36). An audio signal is generated by synthesizing a part played by the user's own musical instrument 210 and a part played by another person with another musical instrument, and the moving image of the user being played is synchronized with the moving image of the other person. The generated video signal is generated (S38). The synthesized audio signal is output to the speaker, and the synthesized video signal is output to the display (S40). This makes it possible to create a session online as desired by the user.

以下、本実施の形態に係るオンラインセッションシステムの様々な利用形態について説明する。オンラインセッションモードとして次の4種類がある。   Hereinafter, various usage modes of the online session system according to the present embodiment will be described. There are four types of online session modes:

(1)カバーセッションモード
これは上述したように、アーティスト名やタイトル名などで検索された既存楽曲の一部のパートをユーザが演奏し、残りのパートは他人の演奏ファイルを利用して、好みの編成で既存楽曲をカバーしたセッションを構成するモードである。
(1) Cover session mode As described above, this is because the user plays some parts of the existing music searched for by the artist name, title name, etc., and the remaining parts use other people's performance files. This is a mode for composing a session that covers existing music with the composition of.

(2)オリジナルセッションモード
ユーザが楽器を用いて演奏したオリジナル楽曲の演奏ファイルをサーバ100で共有することにより、オンラインでセッションを構成するモードである。参加ユーザが増えると、オリジナル楽曲のアップロード数が増え、オリジナル楽曲について自由な編成でセッションを作ることができる。
(2) Original Session Mode In this mode, a session is configured online by sharing a performance file of an original musical piece performed by a user using an instrument with the server 100. When the number of participating users increases, the number of original music uploads increases, and a session can be created with free organization of the original music.

(3)カラオケセッションモード
好みの楽曲について好みの編成のセッションを構成し、編成されたバンドをバックにして自分の歌声を重ねるモードである。ユーザは、生バンドの前で歌っている気分を味わうことができる。
(3) Karaoke session mode In this mode, a favorite knitting session is configured for a favorite music piece, and the singing voice is superimposed with the organized band as the back. The user can enjoy the feeling of singing in front of a live band.

(4)プロデュースモード
サーバ100に登録された演奏ファイルの中から好みのユニットやバンドを編成することで、仮想的に演奏グループをプロデュースするモードである。プロデュースした編成をサーバ100に登録して公開することも可能である。公開されたセッション編成をユーザが選択すると、リアルタイムでそのセッションを編成するパートの演奏データがストリーム配信される。公開されたセッション編成がプレビューまたはダウンロードされた回数を記録することで、プロデューサとしての評価が算定される。
(4) Produce Mode In this mode, a performance group is virtually produced by organizing a favorite unit or band from the performance files registered in the server 100. It is also possible to register and publish the produced organization in the server 100. When the user selects the published session organization, the performance data of the part that organizes the session is streamed in real time. By recording the number of times the published session organization has been previewed or downloaded, an assessment as a producer is calculated.

これらのオンラインセッションモード以外に、楽器初心者を支援するモードとしてプラクティスモードを設けてもよい。CD音源等の既存の音楽データを解析すると、使用されている楽器を特定し、その楽器で演奏するためのコードやタブ(TAB)譜を自動生成することが可能である。ユーザがCDなどから楽曲を聴くのに合わせて、コードやタブ譜を表示することで楽器の演奏を支援する。特に、譜面が読めないユーザには、タブ譜を画面に表示したり、弾く弦をグラフィカルに表示することで演奏の支援が可能である。あるいは、クライアント200が、ユーザが演奏したい楽曲をユーザのもっている楽器で演奏した演奏ファイルをサーバ100から検索し、手本として再生することで、楽器の演奏を支援してもよい。   In addition to these online session modes, a practice mode may be provided as a mode for supporting musical instrument beginners. When existing music data such as a CD sound source is analyzed, it is possible to specify a musical instrument being used and automatically generate chords and tab (TAB) music for playing with the musical instrument. As the user listens to music from a CD or the like, chords and tablature are displayed to support the performance of the instrument. In particular, a user who cannot read a musical score can support performance by displaying a tablature on the screen or graphically displaying a string to be played. Alternatively, the client 200 may support the performance of the musical instrument by searching the server 100 for a performance file that is played by the user's musical instrument and playing it as a model.

以上述べたように、本実施の形態のオンラインセッションシステムでは、複数の楽器で演奏されたものと判定される演奏ファイルの登録を拒否することで、著作権侵害のリスクをクリアしたビジネスモデルを構築することができる。また、CDDBなどで一意に特定される楽曲識別情報をもとに演奏ファイルのマッチングを取ることから、同一曲名であっても、生演奏の録音とCD用にスタジオで録音したものを区別したり、カバーしたアーティストの違いに対応することができる。これにより、オンラインセッションを構成する際、確実に同一楽曲の演奏パートを互いに組み合わせることができ、同期の際にずれが生じることがない。   As described above, the online session system of this embodiment builds a business model that clears the risk of copyright infringement by refusing to register performance files that are judged to have been played by multiple instruments. can do. In addition, since the performance files are matched based on the music identification information uniquely specified by CDDB or the like, it is possible to distinguish between recordings of live performances and those recorded in the studio for CDs even with the same song name. , Can cope with the difference of artists covered. Thereby, when comprising an online session, the performance parts of the same music can be reliably combined with each other, and no deviation occurs during synchronization.

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .

上記の実施の形態では、クライアント200からのリクエストに応じて、指定された演奏ファイルの演奏データがクライアント200にストリーム配信される例を説明したが、クライアント200は、演奏ファイルをサーバ100からストリーム受信するだけでなく、ダウンロード受信してもよい。   In the above embodiment, the example in which the performance data of the specified performance file is streamed to the client 200 in response to a request from the client 200 has been described. However, the client 200 receives the performance file from the server 100 as a stream. You may receive downloads as well.

また、上記の実施の形態では、ユーザがオーディオCDに記録された音楽を聴いているときに、オーディオCDのTOCにもとづいて、楽曲を識別するメタデータをCDDBから取得する例を説明したが、楽曲を識別するメタデータは、音楽CDだけではなく、DVD(Digital Versatile Disc)やBD(Blu-ray Disc)(商標)に記録された音楽または映像を再生する場合に、DVDやBDに記録された音楽データのトラック数や再生時間等のデータにもとづいて、楽曲を識別するメタデータをCDDBのような楽曲データベースから取得してもよい。また、CD、DVD、BDなどの記録媒体からリッピングされたMP3ファイルやAC3などのオーディオファイルを再生する場合に、再生時間等のデータにもとづいて、楽曲を識別するメタデータをCDDBのような楽曲データベースから取得してもよい。   In the above embodiment, the example in which the metadata for identifying the music is acquired from the CDDB based on the TOC of the audio CD when the user is listening to the music recorded on the audio CD has been described. Metadata for identifying music is recorded not only on music CDs but also on DVDs and BDs when playing music or video recorded on DVDs (Digital Versatile Discs) and BDs (Blu-ray Discs) (trademarks). Further, based on data such as the number of tracks of music data and playback time, metadata for identifying music may be acquired from a music database such as CDDB. In addition, when reproducing ripped MP3 files or AC3 audio files from recording media such as CDs, DVDs, and BDs, metadata such as CDDB is used to identify metadata for identifying music based on data such as playback time. It may be obtained from a database.

100 サーバ、 110 演奏ファイルデータベース、 120 オーディオCDデータベース、 200 クライアント、 210 楽器、 220 カメラ、 300 オーディオCD、 10 演奏パートデータ受信部、 12 オーディオCDメタデータ受信部、 13 演奏パートメタデータ受信部、 14 演奏画像データ受信部、 16 特徴解析部、 18 単一楽器判定部、 20 演奏ファイル生成部、 22 演奏ファイル登録部、 23 検索部、 25 メタデータマッチング部、 27 マッチングデータ送信部、 30 オーディオCD読み取り部、 32 オーディオCDメタデータ取得部、 34 検索部、 38 マッチングデータ表示出力部、 40 演奏パート選択部、 42 ビデオ入力部、 44 ビデオストリーム受信部、 46 ビデオストリーム同期再生部、 51 演奏パートメタデータ入力部、 52 演奏パートデータ入力部、 54 オーディオストリーム受信部、 56 オーディオストリーム同期再生部。   100 server, 110 performance file database, 120 audio CD database, 200 client, 210 musical instrument, 220 camera, 300 audio CD, 10 performance part data reception unit, 12 audio CD metadata reception unit, 13 performance part metadata reception unit, 14 Performance image data reception unit, 16 feature analysis unit, 18 single instrument determination unit, 20 performance file generation unit, 22 performance file registration unit, 23 search unit, 25 metadata matching unit, 27 matching data transmission unit, 30 audio CD reading Section, 32 audio CD metadata acquisition section, 34 search section, 38 matching data display output section, 40 performance part selection section, 42 video input section, 44 video stream reception section, 46 video stream synchronized playback section, 51 performance part metadata input section, 52 performance part data input section, 54 audio stream reception section, 56 audio stream synchronized playback section.

Claims (9)

録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、
楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、
前記演奏データの音楽特徴量を解析する解析部と、
前記解析部による解析結果にもとづき、前記演奏データは、単一の楽器で演奏されたものであるか否かを判定する判定部と、
前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、
前記判定部によって単一の楽器で演奏されたものであると判定された場合、前記演奏ファイルを演奏ファイルデータベースに登録する登録部とを含むことを特徴とする演奏ファイル管理装置。
A music identification information acquisition unit for acquiring music identification information for uniquely identifying the recorded music;
A performance data acquisition unit for acquiring performance data obtained by playing a specific part of a song with an instrument;
An analysis unit for analyzing a music feature of the performance data;
Based on the analysis result by the analysis unit, the performance data is a determination unit that determines whether or not the performance data is played by a single instrument,
A performance file generator for generating a performance file in which the music identification information is associated with the performance data;
A performance file management apparatus comprising: a registration unit that registers the performance file in a performance file database when the determination unit determines that the performance file is played with a single instrument.
前記判定部によって前記演奏データが複数の楽器で演奏されたものであると判定された場合、前記登録部は、前記演奏データには著作権侵害の可能性があるものとして、前記演奏ファイルの前記演奏ファイルデータベースへの登録を拒否することを特徴とする請求項1に記載の演奏ファイル管理装置。   When it is determined by the determination unit that the performance data has been played by a plurality of musical instruments, the registration unit determines that the performance data has a copyright infringement, and the performance file includes the performance data. 2. The performance file management apparatus according to claim 1, wherein registration to the performance file database is rejected. 前記楽器で演奏された前記楽曲のパートを識別する演奏パート識別情報を取得する演奏パート識別情報取得部をさらに備え、
前記演奏ファイル生成部は、前記楽曲識別情報と前記演奏パート識別情報を前記演奏データに関連づけた演奏ファイルを生成することを特徴とする請求項1または2に記載の演奏ファイル管理装置。
A performance part identification information acquisition unit for acquiring performance part identification information for identifying a part of the music piece played by the instrument;
The performance file management device according to claim 1, wherein the performance file generation unit generates a performance file in which the music identification information and the performance part identification information are associated with the performance data.
前記楽曲の特定のパートを楽器で演奏するユーザの動画像データを取得する演奏画像取得部をさらに含み、
前記演奏ファイル生成部は、前記ユーザの動画像データを前記演奏ファイルに含めることを特徴とする請求項1から3のいずれかに記載の演奏ファイル管理装置。
A performance image acquisition unit that acquires moving image data of a user who plays a specific part of the music piece with a musical instrument;
The performance file management apparatus according to claim 1, wherein the performance file generation unit includes moving image data of the user in the performance file.
録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、
楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、
前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、
前記演奏ファイルを演奏ファイルデータベースに登録する登録部と、
前記演奏ファイルデータベースに登録された前記演奏ファイルを前記楽曲識別情報により互いに関連づけたマッチングデータを生成するマッチング部とを含むことを特徴とする演奏ファイル管理装置。
A music identification information acquisition unit for acquiring music identification information for uniquely identifying the recorded music;
A performance data acquisition unit for acquiring performance data obtained by playing a specific part of a song with an instrument;
A performance file generator for generating a performance file in which the music identification information is associated with the performance data;
A registration unit for registering the performance file in a performance file database;
A performance file management apparatus comprising: a matching unit that generates matching data in which the performance files registered in the performance file database are associated with each other by the music identification information.
前記楽器で演奏された前記楽曲のパートを識別する演奏パート識別情報を取得する演奏パート識別情報取得部をさらに備え、
前記演奏ファイル生成部は、前記楽曲識別情報と前記演奏パート識別情報を前記演奏データに関連づけた演奏ファイルを生成し、
前記マッチング部は、前記演奏ファイルデータベースに登録された前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成する請求項5に記載の演奏ファイル管理装置。
A performance part identification information acquisition unit for acquiring performance part identification information for identifying a part of the music piece played by the instrument;
The performance file generation unit generates a performance file in which the music identification information and the performance part identification information are associated with the performance data,
The matching unit associates the performance files registered in the performance file database with the music identification information, and generates matching data in which the performance files are associated with the performance part identification information in the same music. 5. The performance file management device according to 5.
楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースに対して、楽曲の検索条件を指定して演奏ファイルを検索する検索部と、
検索の結果得られた楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択する演奏パート選択部と、
演奏パート選択部により選択された、他人が演奏したパートの演奏ファイルの演奏データを受信する受信部と、
ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力する演奏パート入力部と、
受信された他人が演奏したパートの演奏データと、ユーザが演奏するパートの演奏データとを同期させて再生する同期再生部とを含むことを特徴とする演奏ファイル再生装置。
A performance file database in which performance data in which performance data obtained by playing a specific part of a music piece with an instrument is associated with the music identification information and the performance part identification information is specified, and the performance file is searched by specifying the music search conditions. A search section;
A performance part selection unit for selecting a performance file of a part played by another person from the music performance files obtained as a result of the search;
A receiving unit for receiving performance data of a performance file of a part performed by another person selected by the performance part selection unit;
A performance part input unit for inputting performance data in which a user plays a specific part of a song using an instrument;
A performance file reproducing apparatus comprising: a synchronous reproduction unit that reproduces the received performance data of a part played by another person and the performance data of a part performed by a user.
楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースを参照して、前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成して表示するステップと、
表示された楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択して、他人が演奏したパートの演奏ファイルの演奏データを受信するステップと、
ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力して、受信された他人が演奏したパートの演奏データに同期させて再生するステップとを含むことを特徴とする演奏ファイル再生方法。
Referring to a performance file database in which performance data in which performance data obtained by playing a specific part of a music piece with an instrument is associated with music identification information and performance part identification information, the performance files are associated with each other by the music identification information; Within the same music, generating and displaying matching data in which the performance files are associated with each other by the performance part identification information; and
Selecting a performance file of a part performed by another person from the performance files of the displayed music, and receiving performance data of the performance file of the part performed by another person;
A performance file reproduction comprising: a step of inputting performance data obtained by a user playing a specific part of a song using a musical instrument and reproducing the performance data in synchronization with the performance data of a part performed by another person received. Method.
楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースを参照して、前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成して表示する機能と、
表示された楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択して、他人が演奏したパートの演奏ファイルの演奏データを受信する機能と、
ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力して、受信された他人が演奏したパートの演奏データに同期させて再生する機能とをコンピュータに実現させることを特徴とするプログラム。
Referring to a performance file database in which performance data in which performance data obtained by playing a specific part of a music piece with an instrument is associated with music identification information and performance part identification information, the performance files are associated with each other by the music identification information; Within the same music, a function for generating and displaying matching data in which the performance files are associated with each other by the performance part identification information, and
A function for selecting a performance file of a part played by another person from the performance files of the displayed music, and receiving performance data of the performance file of the part performed by another person;
A function for allowing a computer to realize a function in which a user inputs performance data obtained by playing a specific part of a song using a musical instrument and reproduces the received data in synchronization with the performance data of the part played by another person. program.
JP2010155246A 2010-07-07 2010-07-07 Musical performance file management device, musical performance file reproduction device, and musical performance file reproduction method Pending JP2012018282A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010155246A JP2012018282A (en) 2010-07-07 2010-07-07 Musical performance file management device, musical performance file reproduction device, and musical performance file reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010155246A JP2012018282A (en) 2010-07-07 2010-07-07 Musical performance file management device, musical performance file reproduction device, and musical performance file reproduction method

Publications (1)

Publication Number Publication Date
JP2012018282A true JP2012018282A (en) 2012-01-26

Family

ID=45603575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010155246A Pending JP2012018282A (en) 2010-07-07 2010-07-07 Musical performance file management device, musical performance file reproduction device, and musical performance file reproduction method

Country Status (1)

Country Link
JP (1) JP2012018282A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186208A (en) * 2012-03-06 2013-09-19 Xing Inc Karaoke system, karaoke reproducing and displaying method, karaoke server, karaoke terminal apparatus, and computer program
CN105190741A (en) * 2013-05-08 2015-12-23 雅马哈株式会社 Music session management method and music session management device
KR20190105805A (en) * 2018-03-06 2019-09-18 주식회사 웨이테크 Artificial intelligent ensemble system and method for playing music using the same
JP2020095168A (en) * 2018-12-13 2020-06-18 キーンソリッド株式会社 Music posting device and music posting program
JP2022036359A (en) * 2020-06-30 2022-03-08 Jeインターナショナル株式会社 Music production device, terminal device, music production method, program, and recording medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186208A (en) * 2012-03-06 2013-09-19 Xing Inc Karaoke system, karaoke reproducing and displaying method, karaoke server, karaoke terminal apparatus, and computer program
CN105190741A (en) * 2013-05-08 2015-12-23 雅马哈株式会社 Music session management method and music session management device
KR20190105805A (en) * 2018-03-06 2019-09-18 주식회사 웨이테크 Artificial intelligent ensemble system and method for playing music using the same
KR102122195B1 (en) * 2018-03-06 2020-06-12 주식회사 웨이테크 Artificial intelligent ensemble system and method for playing music using the same
JP2020095168A (en) * 2018-12-13 2020-06-18 キーンソリッド株式会社 Music posting device and music posting program
JP2022036359A (en) * 2020-06-30 2022-03-08 Jeインターナショナル株式会社 Music production device, terminal device, music production method, program, and recording medium

Similar Documents

Publication Publication Date Title
US8173883B2 (en) Personalized music remixing
US11721312B2 (en) System, method, and non-transitory computer-readable storage medium for collaborating on a musical composition over a communication network
US20100095829A1 (en) Rehearsal mix delivery
US20250191558A1 (en) Digital music composition, performance and production studio system network and methods
US20100082768A1 (en) Providing components for multimedia presentations
JP2010014823A (en) Musical piece information control device
WO2019102730A1 (en) Information processing device, information processing method, and program
KR20230159364A (en) Create and mix audio arrangements
JP6611633B2 (en) Karaoke system server
JP5173380B2 (en) Karaoke device that can make karaoke music selection reservations based on personal music composition
JP7632589B2 (en) Content data processing method and content data processing device
KR101029483B1 (en) Method for producing music VCC using multichannel audio file and device therefor
JP2023113579A (en) Method for separating and resynthesizing sound source data, and sound source providing system for karaoke accompaniment
US20240386872A1 (en) Music Mashup Recommendation and Discovery Tool
JP7026412B1 (en) Music production equipment, terminal equipment, music production methods, programs, and recording media
JP7583659B2 (en) Karaoke System
JP2014048471A (en) Server, and music reproduction system
JP6121139B2 (en) Singing voice selection system for karaoke singing video
JP7299810B2 (en) karaoke device
McCourt Recorded music
JP2001318670A (en) Editing device, method, recording medium
JP2024121121A (en) Karaoke equipment
Stewart et al. Interactive music applications and standards
CN120513475A (en) Method, system and computer program for generating an audio output file
JP5387032B2 (en) Electronic music apparatus and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120405

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120417