JP2006106818A - 音楽検索装置、音楽検索方法及び音楽検索プログラム - Google Patents

音楽検索装置、音楽検索方法及び音楽検索プログラム Download PDF

Info

Publication number
JP2006106818A
JP2006106818A JP2004288433A JP2004288433A JP2006106818A JP 2006106818 A JP2006106818 A JP 2006106818A JP 2004288433 A JP2004288433 A JP 2004288433A JP 2004288433 A JP2004288433 A JP 2004288433A JP 2006106818 A JP2006106818 A JP 2006106818A
Authority
JP
Japan
Prior art keywords
music
search
data
rhythm
rhythm data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004288433A
Other languages
English (en)
Inventor
Naoki Iketani
直紀 池谷
Masanori Hattori
正典 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004288433A priority Critical patent/JP2006106818A/ja
Priority to CNB2005100978477A priority patent/CN100429656C/zh
Priority to EP05255543A priority patent/EP1703488A3/en
Priority to US11/239,119 priority patent/US7368652B2/en
Publication of JP2006106818A publication Critical patent/JP2006106818A/ja
Priority to US12/073,381 priority patent/US20080156177A1/en
Priority to US12/073,380 priority patent/US20080183320A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/021—Mobile ringtone, i.e. generation, transmission, conversion or downloading of ringing tones or other sounds for mobile telephony; Special musical data formats or protocols herefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056—MIDI or other note-oriented file format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/241—Telephone transmission, i.e. using twisted pair telephone lines or any type of telephone network
    • G10H2240/251—Mobile telephone transmission, i.e. transmitting, accessing or controlling music data wirelessly via a wireless or mobile telephone receiver, analog or digital, e.g. DECT GSM, UMTS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】 音楽のリズムから音楽を検索する音楽検索装置を実現する。
【解決手段】 時系列信号入力部２０５は、オン状態とオフ状態とを交互に繰り返す時系列信号を入力する。類似リズム検索部２０６は、時系列信号入力部２０５に入力された時系列信号と同一又は類似した変動パターンを有するリズムデータを、データ蓄積部２０３に蓄積されている複数のリズムデータの中から検索する。音楽付随情報蓄積部２０４は、リズムデータに対応する音楽に付随する音楽付随情報をリズムデータに対応付けて蓄積する。検索結果生成部２０７は、検索されたリズムデータに対応して記憶されている前記音楽付随情報（曲名などの情報）をもちいて検索結果を生成し、検索結果出力部２０８を介して出力する。
【選択図】 図２

Description

この発明は、検索装置に関し、特に音楽，楽曲，うた等を検索する音楽検索装置に関する。
従来の音楽の検索方法としては、曲名や実演者（アーティスト）名などの音楽に付随する情報を文字列として入力し検索する方式が一般的に知られている。
この他、音楽や音楽に関する情報（例えば、実演者であるアーティスト等）を検索する方式として、次のような入力から検索を行うものが知られている。
（１）検索者の周囲で流れている音楽を、その音源に移動電話をかざして音を装置に入力。
（２）メロディを口ずさんだ音声波形を入力。
（３）鍵盤楽器などの演奏情報を元にして音楽を検索する方式、
（４）例えばドレミファといったように文字列で階名を表記した音階列を入力し音楽を検索する方式、
（５）音楽のコード進行（Ｃ、Ｇ７などの和声の系列）を入力することでそのコード進行を含む音楽を検索する方式等が知られている。
上記従来の音楽検索方式の特徴は、音楽を構成する要素であるリズム、音色、旋律、和声（コード）などのうち、少なくとも音色、旋律、和声のいずれかを入力するものであった。
これに対し、時系列信号の入力、すなわちリズムのみの入力により音を再生する方式（特許文献１、非特許文献１および２）や、データを検索する方式（特許文献２）が提案されている。
特開２００３−１４２５１１公報 特開２００４−３３４９２公報 池谷直紀，服部正典，大須賀昭彦："リズム入力インタフェース「タタタタップ」"，情報処理学会第６６回全国大会４Ａ−４，２００４． 武田春登，篠田浩一，嵯峨山茂樹等："リズムベクトルを用いたリズム認識"，情報処理学会研究報告「音楽情報科学」Ｎｏ．４６，２００２．
しかし上述の特許文献における時系列信号の入力による音楽検索方式においては、リズムを識別する方式が洗練されておらず、また音楽検索方式として活用するために有効な構成要素が欠けていた。
また移動電話における着信音楽の検索方式として実施するために有効な構成要素が欠けていた。
本発明の課題は、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることである。
上記の目的を達成するために、この発明においては、オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段とを備えたことを特徴とする音楽検索装置を提供する。
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。
この発明によれば、時系列信号としてＯＮ／ＯＦＦをリズミカルに変化させる入力に対し、そのリズムに類似したリズムを含む音楽を検索し、その音楽情報の閲覧や音楽の再生を可能とする音楽検索装置が実現できる。
（第１の実施形態）
以下、図面を参照して本発明の実施形態を説明する。
図１は、本実施形態に係るリズム入力による音楽検索装置の構成を示す図である。この実施形態では例として移動電話型の音楽検索装置１０１を含む構成となっている。
本実施形態は、典型的には、ソフトウェアで制御されるコンピュータにより実現される。この場合のソフトウェアは、プログラムやデータを含み、コンピュータのハードウェアを物理的に活用することで本発明の作用効果を実現するものであり、従来技術を適用可能な部分には好適な従来技術が適用される。さらに、本発明を実現するハードウェアやソフトウェアの具体的な種類や構成、ソフトウェアで処理する範囲などは自由に変更可能である。従って、以下の説明では、本発明を構成する機能ごとにブロック化して図示した仮想的機能ブロック図を用いる。なお、コンピュータを動作させて本発明を実現するためのプログラムも、本発明の一態様である。
図２は、本実施形態に係るリズム入力による音楽検索装置の構成を示す機能ブロック図である。
まず詳細な実施形態を述べる前に、各機能ブロックの概要を説明する。
図２において、音楽データ蓄積部２０１は、検索対象となる音楽データを、例えば着信音楽の一種である「．ｍｍｆ」形式の着信メロディ，ＳＭＡＦ形式の着信メロディ，ＭＩＤＩ形式や、音声データである「着うた（登録商標）」形式，リニアＰＣＭ符号化音声形式，ＭＰＥＧ１ ＡＵＤＩＯ Ｌａｙｅｒ3形式などの形式で音楽データを蓄積する機能を有する。この音楽データ蓄積部２０１は、例えばメモリやハードディスク等の記録媒体により実現する。
リズムデータ生成部２０２は、音楽データ蓄積部２０１から入力した音楽データと、更に必要に応じてリズムデータ編集者の編集データの入力を受け、音楽を検索するときの検索キーとして使用され、個々の音楽に適したリズムデータを音楽毎に生成してリズムデータ蓄積部２０３に登録する。この個々の音楽に適したリズムデータとは、該音楽を検索する際に利用者が入力することを想定したリズム、或いはこのリズムを含む複数のリズム群として構成されるデータであり、一般的には音楽の冒頭部分，サビ部分，曲全体の主旋律のリズムが入力音楽に対するリズムデータとなる。即ち、リズムデータ生成部２０２は一般的には、入力された音楽データに対して、その冒頭，サビ，曲全体の主旋律等のリズムデータを登録リズムデータとして生成する。
なお、主旋律が必ずしも適したリズムであるとは限らない。このため、ＭＩＤＩデータに含まれる複数パートのそれぞれについてリズムデータを作成するようにしてもよい。
リニアＰＣＭ符号化音声形式であるＷＡＶＥファイルからＭＩＤＩデータを生成するには、音声のスペクトル分析をして機械的変換を行えばよく、例えばソフトウェアとしては、「MuseBook（Ｒ） Wav2Midi Version 1.0（http://www.musebook.com/?page=mbwav2midi）」や「採譜の達人」(http://www.pluto.dti.ne.jp/~araki/soft/)等で実施されている。あるいは、ＷＡＶＥファイルやＭＰＥＧ１ ＡＵＤＩＯ Ｌａｙｅｒ３形式から直接リズムデータを生成することも音楽データによっては可能である。例えばボーカルの付随する音楽であれば声の周波数帯域に絞り込む信号処理を行うアナログフィルタによってボーカル部分の信号を抜き出し、さらにまたステレオ音声の音楽データにおいてはボーカルは中央に定位し、コーラスやその他の楽器音は中央以外の左右に定位することを用いてボーカル部分の信号をより正確に抜き出すことができる。そうして抜き出したボーカル部分の信号に対して、音量あるいは音量変化率の高い部分を発声とみなしてその時刻を記録することにより、歌のリズムを生成することができる。
さらに音楽データからリズムデータを自動的に生成する場合には、サビ部分の時刻を検出する公知の技術を合わせて用いることで、利用者が入力することを想定したサビ部分のリズムデータを高い精度で生成することが可能である。サビ部分の検出技術は以下文献に記載されている「後藤 真孝: "リアルタイム音楽情景記述システム: サビ区間検出手法", 情報処理学会 音楽情報科学研究会 研究報告 2002-MUS-47-6, Vol.2002, No.100, pp.27-34, October 2002.」。
リズムデータ蓄積部２０３は、リズムデータ生成部２０２により生成されたリズムデータを保持し、類似リズム検索部２０６に対してリズムデータを提供する。このリズムデータ蓄積部２０３は、例えば計算機上のメモリにより実現する。
時系列信号入力部２０５は、音楽を検索するための検索キーとして音楽検索者が入力した音楽のリズムの信号（入力時系列信号）を入力として受け、この受けた信号を入力時系列信号として類似リズム検索部２０６に出力する。時系列信号入力部２０５は、ＯＮ／ＯＦＦの時間的な変化を検出することができる機能を有していれば良く、パーソナルコンピュータ（ＰＣ）のキーボード、マウス、移動電話のボタン、リモコンのボタンなど各種ボタンはもちろん、タッチパネルや赤外線センサーなど、多様な機器で実施が可能である。
類似リズム検索部２０６は、時系列信号入力部２０５から入力された入力時系列信号と、リズムデータ蓄積部２０３に保持されているリズムデータを入力として受け、入力時系列信号の信号パターンと類似したリズムデータを検索し、この検索結果を検索結果生成部２０７に出力する。
音楽付随情報蓄積部２０４は、音楽に付随する曲名、作曲者名、作詞者名、実演者名、歌詞の一部または全部、音楽データの存在するＵＲＬ、音楽データ自体などを音楽データと関連付けて保持する部分であり、例えば計算機上のメモリとして構成される。
音楽付随情報蓄積部２０４は、更に、音楽に付随する階名や、楽譜データや、歌詞や、あるいは音データについても保持していてもよい。
検索結果生成部２０７は、類似リズム検索部２０６による検索結果を入力として受け、必要によりこの検索結果に応じて音楽付随情報蓄積部２０４から音楽付随情報を参照し、音楽検索者に対して検索結果を出力するための出力データを生成する。例えば類似リズム検索部２０６の検索結果から、この検索されたリズムデータに関する関連情報として、曲名、作曲者名、作詞者名、実演者名、歌詞の一部または全部、リズムデータに対応する音楽データの存在するＵＲＬ、音楽データ自体などを組として出力データとして検索結果出力部２０８に出力する。
検索結果出力部２０８は、検索結果生成部２０７により生成された出力データを検索者に対して出力する。例えば検索に用いた移動電話により画面情報や音情報として出力するという例が挙げられる。
次に、最も典型的な実施形態として、移動電話利用者向けの着信音検索装置として実施する場合について、個々の機能ブロックの具体的な構成を含めて説明する。なお、本明細書中では、移動電話とは、携帯電話に限らず、ＰＨＳ、無線ＬＡＮ通信による移動電話等、移動可能な電話ならば何でも含む。
なお、本明細書中では着信音とは、移動電話に電話やメールの着信があったことを移動電話の使用者に知らせるために鳴らす音のことを指し、楽曲に限らず音声のみから構成されているものも含む。
［移動電話側の動作］
移動電話側の動作は、図3（ａ）に示した手順となる。
（ステップＳ３０１）移動電話１０１は、無線通信回線を介して検索装置に対して、入力時系列信号を送信する。この入力時系列信号の入力にあたっては、例えば、移動電話のある一つのボタンでリズムを入力し、入力された入力時系列信号は逐次検索装置側へ送信される。
（ステップＳ３０２）移動電話１０１は、無線通信回線を介して検索装置から検索結果を受信し、検索結果を移動電話１０１の表示装置１０２やスピーカー１１１へ出力する。
（ステップＳ３０３）移動電話１０１は、着信音の検索処理を終了する場合には、ステップＳ３０４へ進み、続ける場合にはステップＳ３０１へ戻る。
（ステップＳ３０４）移動電話１０１は、無線通信回線を介して検索装置に対して、検索処理を終了することを通知し、処理を終了する。
［検索装置側の動作］
検索装置側の動作は、図3（ｂ）に示した手順となる。
（ステップＳ３５１）検索装置は、無線通信回線を介して移動電話から逐次入力される入力時系列信号を受け、この入力時系列信号を逐次に類似リズム検索部２０６へ渡し、この入力時系列信号に類似したリズムデータの検索行う検索要求を行う。
（ステップＳ３５２）検索装置は、時間経過に伴い逐次検索を実行していき、検索されたリズムデータに対応付けられた音楽付随情報を用いて生成した検索結果を、無線通信回線を介して移動電話側へ出力する。この例では音楽付随情報として、音楽に付随する曲名、作曲者名、作詞者名、実演者名、歌詞の一部または全部、音楽データの存在するＵＲＬ、音楽データ自体の内、曲名および実演者名を用いるものとする。
（ステップＳ３５３）検索を終了しない場合にはステップＳ３５１へ戻り、検索を終了する場合には処理を終了する。
このように、移動電話側において利用者が一つのボタンでリズムを入力し続けることで、検索装置側において入力時系列信号に類似するリズムを持つリズムデータがリズムデータ蓄積部２０３の中から逐次検索されて移動電話側へ送信される。
この結果、移動電話側では、音楽検索者が検索しようとしたと考えられる着信音を再生したり、着信音の曲名を見たりする等の検索結果を逐次得ることができる。
また、音楽付随情報蓄積部２０４が、音楽に付随する階名や、楽譜データや、歌詞や、あるいは音データについても保持しる場合には、音楽検索者は、検索結果としてこれらについても確認をすることができる。
なお、上記例では入力時系列信号は逐次移動電話側から検索装置側へ送信され、検索装置側では逐次検索が実行されることとした。しかし、本発明はこれに限定しない。移動電話側からの検索実行ボタンの押下の入力をきっかけとして検索を実行するようにしてもよい。この場合は、例えば移動電話１０１を使用している音楽検索者は、一定時間の入力時系列信号を入力した上で検索ボタンを押下し、この一定時間の入力時系列信号を検索装置へ送信する。検索装置は、この押下をきっかけとして入力時系列信号に類似するリズムを持つリズムデータをリズムデータ蓄積部２０３の中から検索し、移動電話側へ送信すればよい。なお、この場合には移動電話側に入力時系列信号を取得するための機能が必要となる。
検索結果として、着信音のデータや着信音を取得するためのデータ（着信音データまたは着信音へのリンク情報等）を移動電話側へ送信することにより、移動電話側では検索結果から所望の着信音をダウンロードすることができる。
以下、機能ブロックごとに詳細を説明する。
音楽データ蓄積部２０１に蓄積されるデータは、計算機を用いて音楽を再生することが可能なデータであり、例えば図４に示すように、着信メロディの典型的なデータ形式である「．ｍｍｆ」の拡張子で表現されるＳＭＡＦ（Synthetic music Mobile Application Format）形式のデータや、より一般的なＭＩＤＩの標準形式である「．ｍｉｄ」の拡張子で表現されるＳＭＦ（Standard Midi File）形式のデータが挙げられる。他にも「．ｐｍｄ」の拡張子で知られる着信メロディデータや、「．ａｍｃ」の拡張子などの着うた（登録商標）、あるいはＷＡＶＥ形式と呼ばれる「．ｗａｖ」やＭＰＥＧ１ ＡＵＤＩＯ Ｌａｙｅｒ３形式データの「．ｍｐ３」など、音楽データ全般が対象である。音楽データ蓄積部２０１においては、音楽データを音楽データ識別ＩＤと関連付けて保持する。ここでは音楽データ識別ＩＤのことを「ＣＩＤ」と呼ぶこととする。この音楽データ蓄積部２０１はサーバ計算機のメモリやハードディスク等の記録媒体により構成することができる。
次にリズムデータ生成部２０２においては、音楽データ蓄積部２０１から音楽データの入力を受け、個々の音楽に適したリズムデータを音楽毎に生成する。ここでは典型的な例として、ＳＭＦ形式の音楽データの入力を受け、リズムデータを生成する方式を示す。この概要を端的に言えば、ＳＭＦをはじめとするＭＩＤＩ形式の音楽データは楽譜情報をデジタルデータ化したようなものであり、音楽のテンポと、個別の音の音色、音長、音高などのデータで構成されている。リズムデータ生成部２０２は、これらデータ中から音色情報や音高の情報を排除し、音長の情報を抜き出してデータ化する。
このリズムデータ生成の処理フローについて図５を用いて説明する。
（ステップＳ５０１）音楽データ蓄積部２０１から、ＳＭＦ形式のＭＩＤＩデータファイルをＣＩＤと共に読み込む。
（ステップＳ５０２）ＭＩＤＩデータに複数トラックが存在する場合は、操作者の補助入力により１つのトラックを選択する。
（ステップＳ５０３）選択されたトラックにおける音の立ち上がりの情報（ノートオンメッセージ）の発生する時間情報（デルタタイム）を切り出し、音の間隔情報を数値列として配列に追加する。これを繰り返し、音楽データの全体についての音の間隔情報列を保持する。
（ステップＳ５０４）音の間隔情報列について、操作入力者の補助入力により、リズムデータとして使用する部分を一箇所または複数選択する。
（ステップＳ５０５）ステップＳ５０４で選択された１つまたは複数の音の間隔情報をリズムデータとし、ＣＩＤに対応付けてリズムデータ蓄積部２０３に対して出力する。
上記各選択処理については、従来種々知られているＧＵＩ機能により実現すればよい。
本実施形態においては、リズムデータは打鍵の時間間隔列をミリ秒単位でカンマ区切りで示したものであり、リズムデータｒは以下のように表現される。
ｒ ＝ ｛ｒ１，ｒ２，ｒ３，…，ｒｎ｝
例えば「タ、＿、タ、タ、タ」（「＿」は一拍休む記号）という四回の打鍵で構成されるリズムであれば、打鍵の間隔は三つあるため例えば一拍を２５０ミリ秒とすれば、リズムデータｒ＝｛５００，２５０，２５０｝として表現される。本実施形態においてリズムデータ生成部２０２はサーバ計算機のＣＰＵおよびプログラムとして構成される。
リズムデータ蓄積部２０３は、リズムデータを識別子と関連付けて保持する機能ブロックであり、典型的には計算機の記憶装置として実施される。本実施形態においては、サーバ計算機のメモリやハードディスクおよび携帯電話のメモリとして構築される。
リズムデータ蓄積部２０３は、前記リズムデータ生成部２０２において生成され出力されたリズムデータを保持する他、検索装置の外部で作成されたリズムデータやユーザがリズムデータを手入力により入力したリズムデータについても保持する。
図６にリズムデータ蓄積部２０３に蓄積されるデータの構成例を示す。リズムデータ蓄積部２０３は、音楽データ識別ＩＤであるＣＩＤとリズムデータとを関連付けて蓄積している。
時系列信号入力部２０５は、入力者の入力によるＯＮ／ＯＦＦの時間的な変化を、入力時系列信号列として類似リズム検索部２０６へ出力する。
時系列信号入力部２０５は、少なくとも一つ以上のＯＮ／ＯＦＦの状態を検出可能な入力装置であり、典型的な構成としては電子的な出力を伴う機械部品のボタンとして実施される。本実施形態では検索者が手にする携帯電話の一部である、ボタンおよびその信号を受理する回路が該時系列信号入力部２０５に相当する。前記の通り実施形態によっては対象となる機器は携帯電話のみではなく、ＰＣのキーボードやマウス、タッチパネル、リモコンのボタンなどＯＮ／ＯＦＦの状態を検出できるものであれば同様に実施可能である。
類似リズム検索部２０６は、入力時系列信号列を入力として受け、この信号の変動パターンに類似したリズムデータを選出し、１つもしくは複数の候補とそれぞれの入力パターンとの類似の度合いを組にして検索結果生成部２０７に出力する。
類似リズム検索部２０６は、本実施形態においてはサーバ計算機および携帯電話のＣＰＵおよびプログラムとして構成される。典型的には、入力として受けた信号列をリズムデータに変換した上で、２つのリズム間の類似性を算出するアルゴリズムを用いて計算する計算機のプログラムとして実施される。
この類似リズム検索部２０６による類似リズム検索の処理フローの一例を、図７を用いて説明する。
（ステップＳ７０１）類似リズム検索部２０６は、時系列信号入力部２０５から入力時系列信号を受理し、入力リズムデータに変換する。
（ステップＳ７０２）リズムデータ蓄積部２０３から一つリズムデータを取り出し、入力リズムデータとの類似性を、類似性判定アルゴリズムに基づいて計算する。
（ステップＳ７０３）全リズムデータについて算出していなければステップＳ７０１へ戻り処理を繰り返し、していれば次のステップＳ７０４へ進む。
（ステップＳ７０４）算出結果のリズムの類似性の高かった順に、上位３つについてＣＩＤおよび後述する類似度ｓを検索結果生成部２０７出力し、処理を終了する。
本実施形態においては、入力時系列信号列からリズムデータへと変換する手順は、図８に示すようにＯＦＦからＯＮに状態が変化した時刻を検出し、個々の時間間隔をミリ秒単位で記述し、その時間間隔列をカンマ区切りで表記したデータに変換することであり容易な手順である。
また、二つのリズムデータ間の類似性を判定するアルゴリズムとしては、非特許文献１や非特許文献２のリズムベクトル方式による算出方法や、差分二乗和による類似度算出方法、動的計画法を用いた類似度算出方法などの利用が挙げられる。本実施形態では、差分二乗和方式による類似度算出を行うものとし、この算出方法を以下に述べる。
入力時系列信号列をリズムデータに変換した入力リズムデータをＲｉ、リズムデータ蓄積部２０３から取得したリズムデータをＲｊとする。
Ｒｉ＝｛ｒｉ１，ｒｉ２，ｒｉ３，…，ｒｉｎ｝
Ｒｊ＝｛ｒｊ１，ｒｊ２，ｒｊ３，…，ｒｊｎ，…，ｒｊｍ｝
この二つのリズムの距離ｄを以下のように算出する。
ｄ＝Σｋ（（ｒｉｋ−ｒｊｋ）２）
類似度ｓは次のように算出する。
ｓ＝１／（１＋ｄ）
この類似度ｓが大きいほど、類似性は高いことを意味する。このｓの値が高いものから順に例えば上位３つのリズムデータＲｊのそれぞれについて、ＣＩＤと類似度ｓとの組を検索結果生成部２０７へ出力する。
本実施形態では算出の結果、図９のような類似リズムの検索結果が出力されるものとする。この図９は、最も類似度が高いＣＩＤは「ＭＵＳ０００３」であり、類似度は「０．８」であったことを示している。
音楽付随情報蓄積部２０４は、着信音に関連する情報を保持する機能ブロックであり、着信音を識別する識別子をキーとして例えば曲名、作曲者名などの付随情報を保持するものであり、計算機のメモリなどとして実施される。
本実施形態においては、図１０のように、音楽の識別子であるＣＩＤをキーとして、「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」のデータを保持している。なお、本発明はこれに限らず、例えば実演者名、収録アルバム名、音楽の演奏時間、着信音データのデータサイズ、歌詞の一部または全部、あるいは着信音データ自体など、音楽およびそのデータに関連する情報の全てが蓄積の対象となり得る。
検索結果生成部２０７は、類似リズム検索部２０６から入力されたＣＩＤと類似度ｓとの組を受け、検索結果出力部２０８にて出力するための出力データとしてまとめ、このまとめた出力データを検索結果出力部２０８へ出力する。このまとめる際、検索結果として他に出力する必要がある情報を、ＣＩＤに基づいて音楽付随情報蓄積部２０４から取得する。出力データは文字情報、画像情報、音情報、類似度の得点などから構成される。
また、類似度としては、類似度ｓに基づいた得点として、０点がまったく類似していないことを意味し、１００点が完全に一致することを意味するように類似度を正規化して出力するようにしてもよい。これにより、検索者は結果がどの程度入力と一致しているかが一目でわかるようになる。
検索結果出力部２０８は、検索結果生成部２０７から受け、文字列や画像を表示、あるいは音楽の再生等により検索結果を出力する。
この実施形態においては、例えば、検索結果として図１１に示すような画像を出力するために、図１０に示した音楽付随情報蓄積部２０４に蓄積されるデータの中からＣＩＤを用いて「曲名」、「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」を得て、図１０に示すレイアウトにて画像データを生成して移動電話１０１のディスプレイ画面１０２へ出力する。
また、図１０に示した音楽付随情報の中からデータ所在ＵＲＬ1から着信音のデータをダウンロードして移動電話内のメモリに蓄積すると共に、移動電話１０１に接続されたスピーカー１１１から音声出力する。
なお、上記実施形態は、移動電話における着信音の検索を例として説明したが、本発明はこれに限定しない。音楽を再生／ダウンロード可能な携帯端末やＰＣ等の装置における音楽の検索装置としても同様に実施可能である。
このとき携帯端末内の音楽データの再生のための検索であれば、リズムデータ蓄積部２０３および音楽データ蓄積部２０１は携帯端末におけるメモリ等の記憶媒体であり、類似リズム検索部２０６は携帯端末のＣＰＵおよびプログラムとして構成され、出力として音楽データを再生することにより実現される。
また、上記実施形態では、音楽の識別子であるＣＩＤをキーとして、「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」等のデータを得るようにした。しかしこれに代え、リズムデータの識別子のＩＤをキーとして「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」等のデータを得るようにしてもよい。
また、この検索結果として移動電話内部に保有している曲を再生するために呼び出すような用途にも、本発明の検索を利用することができる。
また、上記では、（ステップＳ５０３）において、選択されたトラックにおける音の立ち上がりの情報（ノートオンメッセージ）の発生する時間情報（デルタタイム）のみを切り出すのではなく、更に、音の立ち下がりの情報（ノートオフメッセージ）についても切り出して、合わせて数値列として配列に追加してもよい。この場合、数値配列は立ち上がり時間と立ち下がり時間が交互に記録されることとなり、データは音のＯＮとＯＦＦの切り替わる時間間隔情報となる。そしてこのようにして作成したリズムデータを用いる場合には、時系列信号入力部２０５により入力リズムデータを生成する手順（ステップＳ７０１）においても同様に、ＯＦＦからＯＮに切り替わる時刻のみならず、ＯＮからＯＦＦに切り替わる時刻をも検出して用いる。これらのデータを用いても、上記実施形態の通りに検索を実施することができ、これにより音の立ち上がりのタイミングだけでなく音の長さの情報をも活用した検索が実施可能である。
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
（第２の実施形態）
次に、端末側とサーバによる音楽検索装置との両方で検索を行う第２の実施形態について説明する。
以下では、第１の実施形態との差分について説明する。
この実施形態は、図２の各機能ブロックの機能を、移動電話とサーバによる音楽検索装置の両方に搭載した構成となっている。そして移動電話等の端末内にて所定の類似度の検索結果が得られない場合に、サーバによる音楽検索装置により検索を行う。
移動電話１０１内部のリズムデータ蓄積部２０３は、サーバによる音楽検索装置におけるリズムデータ蓄積部に保持されているデータの部分集合であることが一般的であり、検索結果となる可能性の高い曲を蓄積しておくことが有効である。ただし部分集合には限らず利用者が保持する楽曲のリズムデータや打鍵したことがあるリズムデータを蓄積することにより、利用者ならではの検索結果を得ることも可能である。
図１２は、このような音楽検索装置の動作を説明するための動作フローである。以下、移動電話（音楽検索装置）内の機能については符号の後ろにＴ（Terminalの略）を付し、サーバによる音楽検索装置内の機能については符号の後ろにＳ（Serverの略）を付して説明する。
図１２において、端末側の移動電話（音楽検索装置）では、時系列信号入力部２０５Ｔで時間経過に伴って時系列信号を受理し、これを移動電話内部の類似リズム検索部２０６Ｔに出力する（ステップＳ１２０１）。これは例えばｉアプリ（登録商標）等のアプリケーションとして移動電話内で以下のようにして実施することが可能である。例えば中央のボタンが押下されたイベントを検出し入力時系列信号を受理するプログラムにより時系列信号入力部２０５Ｔを構成し、ｉアプリのデータ記憶の仕組みであるスクラッチパッドに定数データとして予め定義したリズムデータを蓄積することによりリズムデータ蓄積部２０３Ｔを構成する。
端末側では、移動電話内の例えばｉアプリ（登録商標）プログラムとして構成される類似リズム検索部２０６Ｔが、移動電話内部のリズムデータ蓄積部２０３Ｔを参照して第１の実施形態と同様に検索処理を行う（ステップＳ１２０２）。
端末側では、ステップＳ１２０２にて、所定の類似度以上の結果が得られた場合（ステップＳ１２０３のＹｅｓ）、検索結果生成部２０７Ｔは、この結果を元に最終的に検索の結果として出力するための検索結果を、音楽付随情報蓄積部２０４Ｔから得た音楽付随情報を用いて生成する（ステップＳ１２０４）。上記所定の類似度とは、例えば１を最大値とする類似度において０．９などと定めることができる。
端末側では、ステップＳ１２０２にて、所定の類似度以上の結果が得られなかった場合（ステップＳ１２０３のＮｏ）、サーバによる音楽検索装置に検索要求として時系列信号を送信する（ステップＳ１２０５）。
サーバによる音楽検索装置では、第１の実施形態と同様に、リズムデータ蓄積部２０３Ｓを参照して検索処理を行った上で（ステップＳ１２５１）、音楽付随情報蓄積部２０４Ｓから得た音楽付随情報を用いて、最終的に検索の結果として出力するための検索結果を生成して移動電話端末へ送信する（ステップＳ１２５２）。サーバによる音楽検索装置では、端末側で検索処理を終了しなければステップＳ１２５１へ戻る（ステップＳ１２５３）。
端末側では、サーバによる音楽検索装置から検索結果を受信する（ステップＳ１２０６）。
端末側では、得られた検索結果を表示等に出力する（ステップＳ１２０７）。
端末側では、検索処理を終了する場合、無線通信回線を介して検索装置に対して、検索処理を終了することを通知し、処理を終了する（ステップＳ１２０８）。
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
更に、第２の実施形態では、移動電話端末内部で所定の類似度の検索結果が得られたときには通信等による遅延なしに検索結果を得ることができるため高速な検索結果を得ることができ、更に、所定の類似度の検索結果が得られなかったときにはサーバによる音楽検索装置により検索結果を得るためより正しいと考えられる検索結果を得ることができる。
一般に、サーバ側の方が記憶容量に余裕があるため多くのリズムデータを蓄えている。このような大規模データについての検索などは移動電話での計算は困難であるが、サーバによる音楽検索装置で検索を実行することで、通信などによる遅延はあるものの利用者はリズムデータを保有していない楽曲についても検索結果を得ることができる。
また、所定の類似度以上の結果を移動電話内部で検索できた場合にも、利用者からの指示により、サーバによる音楽検索装置での検索を実行できるようにしてもよい。
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。この実施形態では、入力時系列信号を入力した打鍵部分の歌詞、楽譜、階名、音を伴って検索結果を出力する。
以下では、第１の実施形態との差分について説明する。
本実施形態は、検索結果を生成して出力する過程において、入力時系列信号に対応する部分がわかるように、歌詞の一部または全部、あるいは楽曲の音符の階名の一部または全部、楽譜の一部または全部、音声の試聴データの再生を行うものである。これにより、楽曲名を知らずに印象的なフレーズのリズムパターンを入力して検索し、候補がいくつか表示された場合に、どの候補が自分の望む候補であるかが簡易に判別できるようになる。
この実施形態の実現方法は以下の通りである。
リズムデータ蓄積部に蓄積している個々のリズムデータに、そのリズムがそのリズムを含む楽曲の開始から何秒の位置に出現するリズムであるかのタイムスタンプを保持しておく。これは通常は一つであるが、複数のタイムスタンプを登録することも可能である。そして、音楽付随情報蓄積部２０４においては、タイムスタンプ別に歌詞、階名、楽譜、音声データの該当部分を登録しておくことで、それぞれの音楽付随情報を個々のリズムデータに対応づけて出力することができる。こうして出力したものを検索結果生成部２０７で検索結果の一部として生成し、検索結果出力部２０８で出力することにより、利用者に入力時系列信号に対応する部分の歌詞や音階により、検索結果が意図したものであるかどうかを素早く判断することができる。
ここで、タイムスタンプ別にデータを登録しておく方法以外にも、例えば音声データであれば指定の部分から数秒を切り出して出力することは公知技術により容易であり、利用者が時系列信号を入力した部分に対応する音声試聴データの提供を行うことができる。
また、歌詞、階名、楽譜などもある程度の部分ごとに予めその開始位置の時刻を付随情報としてタグづけしておくことにより、利用者が時系列信号を入力した範囲を含む一部の歌詞、階名、楽譜を出力することができる。
あるいは一部の歌詞、階名、楽譜を出力するのではなく、全部の歌詞、階名、楽譜を出力した上で利用者が時系列信号を入力した範囲を異なる色で表示するなどの出力形態も有効である。
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。この実施形態では、検索時の入力時系列信号をリズムデータに変換してリズムデータ蓄積部に蓄積して後の検索に再利用する。
以下では、第１の実施形態との差分について説明する。
本実施形態は、検索時の入力時系列信号をリズムデータに変換してリズムデータ蓄積部２０３に蓄積し、後の検索に再利用をすることにより検索の精度を高める仕組みを導入したものである。
時系列信号入力部で受理した信号に基づいて、類似リズム検索部により検索した結果を結果出力部で出力する部分については第１の実施形態と同様である。
この実施形態では、更に、入力時系列信号をリズムデータのデータ形式に変換してリズムデータ蓄積部２０３に保持する。
検索結果の中から利用者が一つの楽曲を選択した場合に、保持しておいた入力時系列信号をリズムデータのデータ形式に変換し、上記選択された楽曲のリズムデータの一つとしてリズムデータ蓄積部２０３に追加登録していく。このデータ形式の変換については、第１の実施形態にて図８を用いて説明した方法と同様でよい。
これにより、類似した入力時系列信号での検索要求に対しては今回選択された候補楽曲がさらに上位の候補として表示される可能性が高くなる。これは、利用者のリズムの認識や時系列信号の入力は必ずしも譜面どおりではないが、往々にして利用者ごとの特徴があるという性質を活用したものであり、同一の利用者がある楽曲について複数回検索を実行するような場合、例えば端末内部に保有されている楽曲の呼び出しのために検索を行うような場合の精度は通常の場合よりも高まるという効果が得られる。
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
更に、第４の実施形態では、より高い精度の検索を行うことができるという効果が得られる。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の情報編集装置は、ワークステーション（ＷＳ）やパーソナルコンピュータ（ＰＣ）等のコンピュータで動作させるプログラムとして実現することができる。
図１３は本発明の情報編集装置をコンピュータで実現するときの構成の例を示す図である。このコンピュータは、プログラムを実行する中央演算装置１３０１と、プログラムやプログラムが処理中のデータを格納するメモリ１３０２と、プログラム、検索対象のデータ及びＯＳ（Operating System）を格納しておく磁気ディスクドライブ１３０３と、光ディスクにプログラムやデータを読み書きする光ディスクドライブ１３０４とを備える。
さらに、ディスプレイ等に画面を表示させるためのインターフェースである画像出力部１３０５と、キーボード・マウス・タッチパネル等からの入力を受ける入力受付部１３０６と、外部機器との出入力インターフェース（例えばＵＳＢ（Universal Serial Bus）、音声出力端子等）である出入力部１３０７とを備える。また、ＬＣＤ、ＣＲＴ、プロジェクタ等の表示装置１３０８と、キーボードやマウス等の入力装置１３０９と、メモリカードリーダ・スピーカー等の外部機器１３１０とを備える。
中央演算装置１３０１は、磁気ディスクドライブ１３０３からプログラムを読み出してメモリ１３０２に記憶させた後にプログラムを実行することにより図２に示す各機能ブロックを実現する。プログラム実行中に、磁気ディスクドライブ１３０３から検索対象データの一部或いは全部を読み出してメモリ１３０２に記憶させておいても良い。
基本的な動作は、入力装置１３０９を介して利用者からの検索要求を受け、検索要求に応じて磁気ディスクドライブ１３０３やメモリ１３０２に記憶させた検索対象データを検索する。そして、表示装置１３０８に検索結果を表示させる。
検索結果は表示装置１３０８に表示させるだけでなく、例えば外部機器１３１０としてスピーカーを接続しておいて音声で利用者に提示しても良い。あるいは、外部機器１３１０としてプリンタを接続しておいて、印刷物として提示しても良い。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本実施形態に係るリズム入力による音楽検索装置の構成を示す図。 本実施形態に係るリズム入力による音楽検索装置の構成を示す機能ブロック図。 移動電話側の動作と検索装置側の動作を説明するためのフローチャート。 音楽データ蓄積部２０１に蓄積されるデータの構成例を示す図。 リズムデータ生成の処理フローを示すフローチャート。 リズムデータ蓄積部２０３に蓄積されるデータの構成例を示す図。 類似リズム検索部２０６による類似リズム検索の処理フローを示すフローチャート。 入力時系列信号列からリズムデータへと変換する手順を説明するための図。 類似リズムの検索結果の一例を示す図。 音楽付随情報蓄積部２０４に蓄積される着信音に関連する情報の一例を示す図。 最終的に出力される検索結果の一例を示す図。 二段階の検索を説明するためのフローチャート。 本実施形態に係る音楽検索装置をコンピュータで実現したときの構成を示す図。
符号の説明
１０１…移動電話、１０２…表示装置、１０３…ボタン、１０４…ＣＰＵ、１１１…スピーカー、１２１…記憶装置、２０１…音楽データ蓄積部、２０２…リズムデータ生成部、２０３…リズムデータ蓄積部、２０４…音楽付随情報蓄積部、２０５…時系列信号入力部、２０６…類似リズム検索部、２０７…検索結果生成部、２０８…検索結果出力部。

Claims (13)

  1. オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
    複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、
    前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
    この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段とを備えたことを特徴とする音楽検索装置。
  2. 請求項１に記載の音楽検索装置と通信回線を介して通信する通信部と、
    携帯端末の操作部を操作することにより入力された時系列信号を、前記通信部を介して前記入力手段へ入力する手段と、
    この入力した時系列信号を検索した検索結果を、前記通信部を介して前記検索結果出力手段から受信する手段と、
    この受信した検索結果を表示する表示手段とを備えたことを特徴とする音楽検索装置。
  3. オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
    複数のリズムデータを前記リズムデータに対応する音楽に付された音楽ＩＤと共に蓄積するリズムデータ蓄積手段と、
    前記音楽ＩＤと対応付けて前記音楽に付随する情報を蓄積する音楽付随情報蓄積手段と、
    前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記リズムデータ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
    この検索手段により検索されたリズムデータに対応する前記音楽ＩＤを用いて前記音楽付随情報蓄積手段から前記音楽に付随した情報を読み出し、この読み出した情報を前記検索による検索結果として出力する検索結果出力手段とを備えたことを特徴とする音楽検索装置。
  4. 請求項３に記載の音楽検索装置と通信回線を介して通信する通信部と、
    携帯端末の操作部を操作することにより入力された時系列信号を、前記通信部を介して前記入力手段へ入力する手段と、
    この入力した時系列信号を検索した検索結果を、前記通信部を介して前記検索結果出力手段から受信する手段と、
    この受信した検索結果を表示する表示手段とを備えたことを特徴とする音楽検索装置。
  5. 音楽データを前記音楽ＩＤに対応付けて蓄積する音楽データ蓄積手段と、
    この音楽データ蓄積手段からの音楽データに基づいて、音楽毎に一つ以上のリズムデータを生成するリズムデータ生成手段と、
    この生成されたリズムデータを前記リズムデータ蓄積手段に蓄積させる手段とを備えたことを特徴とする請求項３または4記載の音楽検索装置。
  6. 前記音楽データは複数の旋律から構成されており、
    前記リズムデータ生成手段は、前記複数の旋律について各々リズムデータを生成することを特徴とする請求項５記載の音楽検索装置。
  7. オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
    複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、
    前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
    この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段と、
    この検索手段による検索の結果、所定の類似度以上のリズムデータが検索されたか否かを判断する判断手段と、
    この判断手段による判断の結果、
    前記所定の類似度以上のリズムデータが検索されたときには本装置内の検索手段による検索結果を表示するよう前記表示手段を制御し、
    前記所定の類似度以上のリズムデータが検索されなかったときには前記音楽検索装置内の検索手段による検索結果を表示するよう前記表示手段を制御する制御手段を有することを特徴とする請求項２、４、５、６のいずれか１項に記載の音楽検索装置。
  8. 前記検索による検索結果として、前記音楽付随情報の他に前記検索手段により検索されたリズムデータを出力する手段と、
    前記通信部を介して受信した前記検索結果に含まれる前記リズムデータを前記リズムデータ蓄積手段に蓄積する手段とを備えたことを特徴とする請求項２、４、５、６、７のいずれか１項に記載の音楽検索装置。
  9. 前記データ蓄積手段或いは前記音楽付随情報蓄積手段は、前記音楽に付随する情報として階名、楽譜、歌詞あるいは音楽データの内少なくとも一つを蓄積しており、
    前記検索結果出力手段は、この情報を前記検索結果の一部として出力することを特徴とする請求項１乃至８のいずれか１項に記載の音楽検索装置。
  10. 前記時系列信号を前記リズムデータに変換して前記データ蓄積手段または前記リズムデータ蓄積手段に蓄積する手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の音楽検索装置。
  11. 前記入力手段における時系列信号の入力時間の過不足を計算する手段と、
    前記計算された過不足を出力する手段とを有することを特徴とする請求項１乃至１０のいずれか１項に記載の音楽検索装置。
  12. 入力手段により、オン状態とオフ状態とを交互に繰り返す時系列信号を入力し、
    データ蓄積手段により、複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積し、
    検索手段により、前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索し、
    検索結果出力手段により、前記検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力することを特徴とする音楽検索方法。
  13. コンピュータを、
    オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
    複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、
    前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
    この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段として機能させるための音楽検索プログラム。
JP2004288433A 2004-09-30 2004-09-30 音楽検索装置、音楽検索方法及び音楽検索プログラム Pending JP2006106818A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004288433A JP2006106818A (ja) 2004-09-30 2004-09-30 音楽検索装置、音楽検索方法及び音楽検索プログラム
CNB2005100978477A CN100429656C (zh) 2004-09-30 2005-08-30 音乐搜索系统和音乐搜索装置
EP05255543A EP1703488A3 (en) 2004-09-30 2005-09-09 Music search system and music search apparatus
US11/239,119 US7368652B2 (en) 2004-09-30 2005-09-30 Music search system and music search apparatus
US12/073,381 US20080156177A1 (en) 2004-09-30 2008-03-05 Music search system and music search apparatus
US12/073,380 US20080183320A1 (en) 2004-09-30 2008-03-05 Music search system and music search apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004288433A JP2006106818A (ja) 2004-09-30 2004-09-30 音楽検索装置、音楽検索方法及び音楽検索プログラム

Publications (1)

Publication Number Publication Date
JP2006106818A true JP2006106818A (ja) 2006-04-20

Family

ID=36097535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004288433A Pending JP2006106818A (ja) 2004-09-30 2004-09-30 音楽検索装置、音楽検索方法及び音楽検索プログラム

Country Status (4)

Country Link
US (3) US7368652B2 (ja)
EP (1) EP1703488A3 (ja)
JP (1) JP2006106818A (ja)
CN (1) CN100429656C (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250020A (ja) * 2007-03-30 2008-10-16 Yamaha Corp 楽音発生装置及びプログラム
WO2012074070A1 (ja) 2010-12-01 2012-06-07 ヤマハ株式会社 リズムパターンの類似度に基づく楽音データの検索
JP2012194697A (ja) * 2011-03-15 2012-10-11 Toshiba Corp 情報配信システム、情報配信装置、情報通信端末及び情報配信方法
JP2012234167A (ja) * 2011-04-21 2012-11-29 Yamaha Corp 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記憶媒体
JP2014044386A (ja) * 2011-12-09 2014-03-13 Yamaha Corp 音データ処理装置及びプログラム
JP2015521088A (ja) * 2012-05-31 2015-07-27 ナイキ イノベイト セー． フェー． スイングテンポを示すための方法および装置
US9412113B2 (en) 2011-04-21 2016-08-09 Yamaha Corporation Performance data search using a query indicative of a tone generation pattern

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173938A (ja) * 2003-12-10 2005-06-30 Pioneer Electronic Corp 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体
SE527425C2 (sv) * 2004-07-08 2006-02-28 Jonas Edlund Förfarande och anordning för musikalisk avbildning av en extern process
KR20060073100A (ko) * 2004-12-24 2006-06-28 삼성전자주식회사 특정 패턴 타입의 음원 미디어를 검색하는 음원 검색기 및그 동작방법
WO2006075432A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 音楽再生装置、方法、記録媒体、および集積回路
KR100735444B1 (ko) * 2005-07-18 2007-07-04 삼성전자주식회사 오디오데이터 및 악보이미지 추출방법
JP2007219178A (ja) * 2006-02-16 2007-08-30 Sony Corp 楽曲抽出プログラム、楽曲抽出装置及び楽曲抽出方法
US7772478B2 (en) * 2006-04-12 2010-08-10 Massachusetts Institute Of Technology Understanding music
KR20080043129A (ko) * 2006-11-13 2008-05-16 삼성전자주식회사 음악의 무드를 이용한 사진 추천 방법 및 그 시스템
KR100775585B1 (ko) * 2006-12-13 2007-11-15 삼성전자주식회사 문자 메시지에 대한 음악 추천 방법 및 그 시스템
CN101226526A (zh) * 2007-01-17 2008-07-23 上海怡得网络有限公司 一种基于音乐片段信息查询的音乐搜索方法
US7667125B2 (en) * 2007-02-01 2010-02-23 Museami, Inc. Music transcription
WO2008101130A2 (en) * 2007-02-14 2008-08-21 Museami, Inc. Music-based search engine
US8283546B2 (en) * 2007-03-28 2012-10-09 Van Os Jan L Melody encoding and searching system
US8280539B2 (en) * 2007-04-06 2012-10-02 The Echo Nest Corporation Method and apparatus for automatically segueing between audio tracks
US7985915B2 (en) * 2007-08-13 2011-07-26 Sanyo Electric Co., Ltd. Musical piece matching judging device, musical piece recording device, musical piece matching judging method, musical piece recording method, musical piece matching judging program, and musical piece recording program
JP5088616B2 (ja) * 2007-11-28 2012-12-05 ヤマハ株式会社 電子音楽システム及びプログラム
US8494257B2 (en) 2008-02-13 2013-07-23 Museami, Inc. Music score deconstruction
JP4670885B2 (ja) * 2008-03-28 2011-04-13 ブラザー工業株式会社 時系列データ管理装置及びプログラム
CN101567203B (zh) * 2008-04-24 2013-06-05 深圳富泰宏精密工业有限公司 自动搜寻及播放音乐的系统及方法
US8507781B2 (en) * 2009-06-11 2013-08-13 Harman International Industries Canada Limited Rhythm recognition from an audio signal
JP2011164171A (ja) * 2010-02-05 2011-08-25 Yamaha Corp データ検索装置
JP2012103603A (ja) * 2010-11-12 2012-05-31 Sony Corp 情報処理装置、楽曲区間抽出方法、及びプログラム
TWI426501B (zh) * 2010-11-29 2014-02-11 Inst Information Industry 旋律辨識方法與其裝置
CN102387408A (zh) * 2011-10-25 2012-03-21 深圳市同洲电子股份有限公司 一种音乐信息的获取方法、机顶盒及相关系统
US8586847B2 (en) 2011-12-02 2013-11-19 The Echo Nest Corporation Musical fingerprinting based on onset intervals
CN103514158B (zh) * 2012-06-15 2016-10-12 国基电子（上海）有限公司 音乐文件搜索方法及多媒体播放装置
JP2014010275A (ja) * 2012-06-29 2014-01-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP6047985B2 (ja) * 2012-07-31 2016-12-21 ヤマハ株式会社 伴奏進行生成装置及びプログラム
CN104102659A (zh) * 2013-04-09 2014-10-15 华为技术有限公司 搜索音乐的方法及终端
WO2015179866A1 (en) 2014-05-23 2015-11-26 Life Music Integration, LLC System and method for organizing artistic media based on cognitive associations with personal memories
KR20160020158A (ko) * 2014-08-13 2016-02-23 삼성전자주식회사 미디어 컨텐츠 관련 정보 제공 방법 및 전자 장치
US10133537B2 (en) * 2014-09-25 2018-11-20 Honeywell International Inc. Method of integrating a home entertainment system with life style systems which include searching and playing music using voice commands based upon humming or singing
CN105513583B (zh) * 2015-11-25 2019-12-17 福建星网视易信息系统有限公司 一种歌曲节奏的显示方法及其系统
CN106292424A (zh) * 2016-08-09 2017-01-04 北京光年无限科技有限公司 针对人形机器人的音乐数据处理方法及装置
US9934785B1 (en) 2016-11-30 2018-04-03 Spotify Ab Identification of taste attributes from an audio signal
CN107016134A (zh) * 2017-05-24 2017-08-04 万业（天津）科技有限公司 可自动匹配的歌曲智能检索方法及系统
CN107220330A (zh) * 2017-05-24 2017-09-29 万业（天津）科技有限公司 歌曲智能检索方法及系统
US11670322B2 (en) 2020-07-29 2023-06-06 Distributed Creation Inc. Method and system for learning and using latent-space representations of audio signals for audio content-based retrieval
CN112634843A (zh) * 2020-12-28 2021-04-09 四川新网银行股份有限公司 一种以声音方式表达数据的信息生成方法与装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963957A (en) * 1997-04-28 1999-10-05 Philips Electronics North America Corporation Bibliographic music data base with normalized musical themes
US6678680B1 (en) * 2000-01-06 2004-01-13 Mark Woo Music search engine
US20020073098A1 (en) * 2000-02-28 2002-06-13 Lei Zhang Methodology and system for searching music over computer network and the internet based on melody and rhythm input
JP2002014974A (ja) * 2000-06-30 2002-01-18 Fuji Photo Film Co Ltd 検索装置及び検索システム
KR100893797B1 (ko) * 2000-12-07 2009-04-20 소니 가부시끼 가이샤 콘텐츠 검색 장치 및 방법과 통신 시스템 및 방법
US6993532B1 (en) * 2001-05-30 2006-01-31 Microsoft Corporation Auto playlist generator
JP2003142511A (ja) 2001-11-06 2003-05-16 Hitachi Ltd 半導体装置の製造方法
CN1623151A (zh) * 2002-01-24 2005-06-01 皇家飞利浦电子股份有限公司 用于加入恢复的音乐片段的音乐恢复系统
JP3807333B2 (ja) * 2002-03-22 2006-08-09 ヤマハ株式会社 メロディ検索装置およびメロディ検索プログラム
US7193149B2 (en) * 2002-05-17 2007-03-20 Northern Information Technology, Inc. System handling video, control signals and power
US6987221B2 (en) * 2002-05-30 2006-01-17 Microsoft Corporation Auto playlist generation with multiple seed songs
JP2004033492A (ja) 2002-07-03 2004-02-05 Commons Co Ltd 陳列視聴ブース
JP2004348275A (ja) 2003-05-20 2004-12-09 Toshiba Corp 処理内容指定装置、入力方法及びデータ処理装置
US7193148B2 (en) * 2004-10-08 2007-03-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating an encoded rhythmic pattern

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250020A (ja) * 2007-03-30 2008-10-16 Yamaha Corp 楽音発生装置及びプログラム
WO2012074070A1 (ja) 2010-12-01 2012-06-07 ヤマハ株式会社 リズムパターンの類似度に基づく楽音データの検索
JP2012194697A (ja) * 2011-03-15 2012-10-11 Toshiba Corp 情報配信システム、情報配信装置、情報通信端末及び情報配信方法
US8972522B2 (en) 2011-03-15 2015-03-03 Kabushiki Kaisha Toshiba Information distribution system, information distribution apparatus, information communication terminal, and information distribution method
JP2012234167A (ja) * 2011-04-21 2012-11-29 Yamaha Corp 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記憶媒体
US9412113B2 (en) 2011-04-21 2016-08-09 Yamaha Corporation Performance data search using a query indicative of a tone generation pattern
US9449083B2 (en) 2011-04-21 2016-09-20 Yamaha Corporation Performance data search using a query indicative of a tone generation pattern
JP2014044386A (ja) * 2011-12-09 2014-03-13 Yamaha Corp 音データ処理装置及びプログラム
US9563701B2 (en) 2011-12-09 2017-02-07 Yamaha Corporation Sound data processing device and method
JP2015521088A (ja) * 2012-05-31 2015-07-27 ナイキ イノベイト セー． フェー． スイングテンポを示すための方法および装置

Also Published As

Publication number Publication date
US20060065105A1 (en) 2006-03-30
US20080183320A1 (en) 2008-07-31
EP1703488A2 (en) 2006-09-20
US7368652B2 (en) 2008-05-06
CN1755686A (zh) 2006-04-05
US20080156177A1 (en) 2008-07-03
CN100429656C (zh) 2008-10-29
EP1703488A3 (en) 2007-02-07

Similar Documents

Publication Publication Date Title
JP2006106818A (ja) 音楽検索装置、音楽検索方法及び音楽検索プログラム
CN101552000B (zh) 音乐相似性处理方法
CN105740394A (zh) 歌曲生成方法、终端及服务器
CN101551997B (zh) 一种乐曲辅助学习系统
JP2007256618A (ja) 検索装置
JP7095742B2 (ja) 楽曲再生システム、楽曲再生システムの制御方法およびプログラム
CN201397672Y (zh) 乐曲学习系统
JP2003131674A (ja) 楽曲検索システム
JPH08160975A (ja) カラオケ選曲装置
JP5085577B2 (ja) プレイリスト作成装置、楽曲再生装置、プレイリスト作成方法およびプレイリスト作成プログラム
JP7428182B2 (ja) 情報処理装置および方法、並びにプログラム
JPWO2019092791A1 (ja) データ生成装置およびプログラム
JP2006276560A (ja) 音楽再生装置および音楽再生方法
JP2005208154A (ja) 楽曲検索装置及び楽曲検索プログラム
CN101552003B (zh) 一种媒体信息处理方法
CN201397671Y (zh) 媒体播放设备
CN101551999B (zh) 一种自动翻页装置
CN101552002B (zh) 一种媒体播放装置及媒体操作方法
JP6587459B2 (ja) カラオケイントロにおける曲紹介システム
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
CN201397670Y (zh) 网络搜索系统
CN101552001B (zh) 一种网络搜索系统及信息搜索方法
JP4447540B2 (ja) カラオケ唱歌録音作品の鑑賞システム
JP2008216681A (ja) 録音した自分の歌声と模範歌唱とを厳しく比較できるカラオケ装置
JP2000267676A (ja) カラオケ装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090407