JP2002116768A - 携帯電話端末、楽曲同定方法及び装置、楽曲同定配信方法及びシステム - Google Patents

携帯電話端末、楽曲同定方法及び装置、楽曲同定配信方法及びシステム

Info

Publication number
JP2002116768A
JP2002116768A JP2000306871A JP2000306871A JP2002116768A JP 2002116768 A JP2002116768 A JP 2002116768A JP 2000306871 A JP2000306871 A JP 2000306871A JP 2000306871 A JP2000306871 A JP 2000306871A JP 2002116768 A JP2002116768 A JP 2002116768A
Authority
JP
Japan
Prior art keywords
music
data
mobile phone
music data
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000306871A
Other languages
English (en)
Other versions
JP4433594B2 (ja
Inventor
Mototsugu Abe
素嗣 安部
Masayuki Nishiguchi
正之 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000306871A priority Critical patent/JP4433594B2/ja
Publication of JP2002116768A publication Critical patent/JP2002116768A/ja
Application granted granted Critical
Publication of JP4433594B2 publication Critical patent/JP4433594B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 【課題】 楽曲の一部断片を用いて楽曲を容易に同定及
び入手可能とし、その楽曲の代金の支払い、楽曲の再生
等をも同時に可能にする。 【解決手段】 携帯電話端末61では、録音した音楽デ
ータを携帯電話運用システム62を介して楽曲同定シス
テム63へ送る。楽曲同定システム63では、その音楽
データから候補となる楽曲を検索し、対応する試聴用デ
ータを携帯電話端末61へ送る。試聴の結果、その楽曲
の音楽データを購入するとき、携帯電話端末61から
は、その旨の要求信号が音楽配信システム64へ送られ
る。音楽配信システム64からはその要求に応じた音楽
データを携帯電話システム61へ送る。携帯電話運用シ
ステム62は、楽曲の検索同定と音楽データの配信に対
応する代金を、楽曲同定者と楽曲販売者に代わって、携
帯電話端末61の利用者(楽曲購入者)に通信料に加算
して徴収する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば電子音楽配
信のためのシステム、方法および装置に関するものであ
り、特に携帯電話を利用した楽曲配信を行うための携帯
電話端末、楽曲同定方法及び装置、楽曲同定配信方法及
びシステムに関する。
【0002】
【従来の技術】近年は、膨大な数の新曲が発表されてお
り、過去に作成された様々な楽曲も含めて、それらの全
てを知ることは到底不可能な状況になっている。また、
それら様々な楽曲は、テレビジョン放送やラジオ放送の
番組中やコマーシャルメッセージ中に流されたり、街頭
で流されることも多く、したがって、人々は自らの意思
にかかわらず、様々な楽曲を耳にする機会が多い。
【0003】このように、周囲に溢れる楽曲の中から、
ある気に入った楽曲を入手しようとした場合、購入者
は、一般に以下の(1)〜(4)の順番のような手続き
を踏むことになる。 (1)楽曲を耳にする。 (2)楽曲名を調査する。 (3)楽曲販売店に行く。 (4)楽曲名を指定し楽曲を購入する。
【0004】
【発明が解決しようとする課題】しかしながら、多くの
場合、上記(2)の楽曲名の調査には多大な労力を要す
る。また、楽曲を知ると同時に楽曲名を知り得る場合も
あるものの、例えば一部分のみを耳にした曲、放送番組
中やコマーシャルメッセージで耳にした曲、外出時に耳
にした曲などの場合、その楽曲名を同定できずに結局は
入手に至らないことも多い。一方、調査の結果として楽
曲名を知り得た場合でも、実際に楽曲を入手するために
は、販売店に足を運ぶか、あるいは、電子音楽配信など
を利用する必要がある。電子音楽配信を利用する場合
は、販売店に足を運ぶ必要はないものの、パーソナルコ
ンピュータを動作させ、インターネットヘの接続を行
い、配信者への支払い方法の登録を行い、楽曲をダウン
ロードするなど、多段階の行動が必要となる。
【0005】そこで、本発明はこのような実情に鑑みて
なされたものであり、例えば演奏、再生、放送などがさ
れている楽曲或いはその一部断片であっても、その楽曲
を容易に同定及び入手(例えば購入)可能とし、また、
その楽曲の代金の支払い、楽曲の再生等をも可能にする
携帯電話端末、楽曲同定方法及び装置、楽曲同定配信方
法及びシステムを提供することを目的とする。
【0006】
【課題を解決するための手段】本発明の携帯電話端末
は、音響電気変換手段を介して取り込まれた音楽データ
を録音する録音手段と、上記録音された音楽データを圧
縮符号化する符号化手段と、上記圧縮符号化された音楽
データを送信する送信手段とを有することにより、上述
した課題を解決する。
【0007】また、本発明の携帯電話端末は、音響電気
変換手段を介して取り込まれた音楽データを録音する録
音手段と、上記録音された音楽データより、その音楽の
楽曲名を同定するための特徴量を抽出する特徴抽出手段
と、上記抽出された特徴量を送信する送信手段とを有す
ることにより、上述した課題を解決する。
【0008】さらに、本発明の携帯電話端末は、音楽デ
ータを記憶する記憶手段と、音楽データから音楽を再生
する再生手段とを有し、携帯電話システムを通じて受信
した音楽データを上記記憶手段に蓄積し、上記記憶手段
に蓄積した音楽データから上記再生手段により音楽を再
生することにより、上述した課題を解決する。
【0009】また、本発明の携帯電話端末は、音響電気
変換手段を介して取り込まれた音楽データを録音する録
音手段と、上記録音された音楽データを圧縮符号化若し
くは上記録音された音楽データから当該音楽の楽曲名を
同定するための特徴量を抽出する音楽データ処理手段
と、上記圧縮符号化されたデータ若しくは上記抽出され
た特徴量を携帯電話システムを通じて送信する送信手段
と、上記携帯電話システムを通じて音楽データを受信す
る受信手段と、上記受信手段が受信した音楽データを記
憶する記憶手段と、上記記憶手段に記憶した音楽データ
から音楽を再生する再生手段と、操作者による操作され
る操作子を備えた操作入力手段と、少なくとも複数の楽
曲のそれぞれを上記操作者が認識可能とする表示を行う
表示手段とを有し、上記表示手段上に表示された複数の
楽曲のうち1つを、上記操作入力手段の操作子の操作に
応じて選択し、当該選択された楽曲を試聴し、若しくは
当該選択された楽曲を購入することにより、上述した課
題を解決する。
【0010】次に、本発明の楽曲同定方法は、音響信号
の時間周波数分布を求め、上記時間周波数分布を再離散
化し特徴行列を生成し、上記時間周波数分布の再離散化
により生成された楽曲の特徴行列と当該楽曲の属性を保
存および管理し、上記保存および管理されている複数の
特徴行列と楽曲の一部分の信号から生成された特徴行列
とのマッチングを行うことにより、上記一部分の信号を
含む楽曲の楽曲名を同定することにより、上述した課題
を解決する。
【0011】また、本発明の楽曲同定装置は、音響信号
の時間周波数分布を求めるパワースペクトル分析手段
と、上記時間周波数分布を再離散化し特徴行列を生成す
る特徴行列生成手段と、上記特徴行列生成手段より生成
された楽曲の特徴行列と楽曲の属性を保存および管理す
る楽曲データベース手段と、上記楽曲データベース手段
により保存および管理されている複数の特徴行列と楽曲
の一部分の信号から生成された特徴行列とのマッチング
を行うマッチング手段とを有し、上記マッチングの結果
に基づいて、上記一部分の信号を含む楽曲の楽曲名を同
定することにより、上述した課題を解決する。
【0012】次に、本発明の楽曲同定配信方法は、携帯
電話網を用いた楽曲同定配信方法であって、音響電気変
換手段により取り込まれてディジタル化された音楽デー
タを録音し、上記録音された音楽データを圧縮符号化若
しくは上記録音された音楽データから当該音楽の楽曲名
を同定するための特徴量を抽出し、上記圧縮符号化され
たデータ若しくは上記抽出された特徴量を携帯電話網へ
送信し、上記携帯電話網を通じて送信されてきた上記圧
縮符号化されたデータ若しくは上記抽出された特徴量か
ら楽曲の候補を検索し、上記検索された楽曲の試聴用デ
ータを上記携帯電話網を通じて送信し、上記携帯電話網
を通じて送信されてきた上記楽曲の試聴用データを試聴
し、上記試聴した楽曲の候補から購入する楽曲を決定
し、上記決定された楽曲の配信を上記携帯電話網を通じ
て要求し、上記要求された楽曲を上記携帯電話網を通じ
て配信し、上記試聴用データの送信と上記楽曲の配信に
応じた課金を行うことにより、上述した課題を解決す
る。
【0013】また、本発明の楽曲同定配信システムは、
音響電気変換手段を介して取り込まれた音楽データを録
音する録音手段と、上記録音された音楽データを圧縮符
号化若しくは上記録音された音楽データから当該音楽の
楽曲名を同定するための特徴量を抽出する音楽データ処
理手段と、上記圧縮符号化されたデータ若しくは上記抽
出された特徴量を携帯電話網を通じて送信する送信手段
と、上記携帯電話網を通じて音楽データを受信する受信
手段と、上記受信手段が受信した音楽データを記憶する
記憶手段と、上記記憶手段に記憶した音楽データを再生
する再生手段と、操作者による操作される操作子を備え
た操作入力手段と、少なくとも複数の楽曲のそれぞれを
上記操作者が認識可能とする表示を行う表示手段とを有
し、上記表示手段上に表示された複数の楽曲のうち1つ
を、上記操作入力手段の操作子の操作に応じて選択し、
当該選択された楽曲を試聴し、若しくは当該選択された
楽曲を購入する携帯電話端末と、上記携帯電話網を通じ
て上記携帯電話端末から送信されてきた上記圧縮符号化
されたデータ若しくは上記抽出された特徴量から楽曲の
候補を検索し、上記検索した楽曲の試聴用データを上記
携帯電話網を通じて上記携帯電話端末へ送信する楽曲同
定装置と、上記携帯電話網を通じて、上記携帯電話端末
から上記試聴用データの試聴の元で選択された楽曲の配
信が要求されたとき、当該要求に応じた音楽データを、
上記携帯電話網を通じて上記携帯電話端末へ送信する楽
曲配信装置と、上記携帯電話網上の通信を管理すると共
に、上記試聴用データの送信と上記楽曲の配信に応じた
課金を行う上記携帯電話管理装置とからなることによ
り、上述した課題を解決する。
【0014】本発明によれば、耳にした音楽の調査を容
易に行えるような仕組みと、その楽曲を容易に入手でき
るような仕組みを一体として提供すること、すなわち、
耳にした楽曲(演奏、再生、放送などがされている楽
曲)或いはその一部断片を録音し、楽曲名の調査、楽曲
の購入、代金の支払い、そして楽曲の再生までを、一台
の端末操作のみで実現可能にすることにより、購入者は
楽曲を同定できずに購入をあきらめることが減り、ま
た、購入のための時間や労力を著しく節約することを可
能にしている。
【0015】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。
【0016】先ず、第1の発明として携帯端末について
述べ、続いて、第2の発明として音楽同定方法について
述べ、さらに第3の発明として電子音楽同定配信サービ
スシステムについて述べる。
【0017】第1の発明の携帯端末が適用される一実施
の形態としての携帯電話端末の送信部の概要を図1に示
し、受信部の概要を図2に示す。
【0018】本実施の形態の携帯電話端末の送信部は、
一般の携帯電話装置と略々同様の構成を有し、図1に示
すように、音響電気変換手段としてのマイクロフォン
1、「0」〜「9」までの10キー、通話開始キー、通
話終了キー、電源オン/オフキー等の各種キーや各種メ
ニュー、アイコン、アプリケーションなどの選択用の選
択手段(例えばプッシュスイッチ機能を有するジョグダ
イヤルなどを含む)を備えたキー入力部2、マイクロフ
ォン1により音響電気変換されたアナログ音響信号をデ
ィジタル音響信号に変換するA/D変換器4、ディジタ
ル音響信号(例えば通話時の通話音声信号)を符号化す
る音声用符号化器6、キー入力部2や音声用符号化器6
からの信号などを多重化するマルチプレクサ8、電送用
の高周波信号への変調を行う変調器9等を備えている。
これら各構成要素は、従来の携帯電話装置に搭載されて
いるものと同様であるため、ここではこれらの詳細な動
作の説明を省略する。
【0019】本実施の形態の携帯電話端末の送信部にお
いて、一般の携帯電話装置と異なる独自の部分は、録音
ボタン3、スイッチ5、および音楽データ処理部7であ
り、以下、これらの詳細な動作を説明する。
【0020】録音ボタン3は例えばオン(ON)/オフ
(OFF)ボタンであり、そのオン/オフ信号はマイク
ロフォン1の指向性切り換え制御信号とスイッチ5の切
り換え制御信号となっている。
【0021】当該録音ボタン3がオフ(OFF)になさ
れている場合、マイクロフォン1の指向性は電話用とし
て近距離に設定され、また、スイッチ5は音声用符号化
器6側に設定される。したがって、当該録音ボタン3が
オフになされている場合、マイクロフォン1を通じて入
力された音響信号(この場合は通話時の音声信号とな
る)は、A/D変換器4によりディジタル化され、音声
用符号化器6により符号化されて、通話電送に用いられ
る音声データ(ディジタルビットストリームデータ)と
なされ、さらに、変調器9にて高周波信号に変調された
後、携帯電話会社の運用システムヘと送信される。また
この通話時において、例えば、キー入力部2が操作者に
より操作されて当該キー入力部2から番号や動作指令な
どの入力がなされた場合、そのキー入力信号は、マルチ
プレクサ6にて上記音声データと組み合わされ、さらに
上記変調器9にて高周波信号に変調された後、携帯電話
会社の運用システムヘと送信される。以上は、従来の携
帯電話の基本動作と全く同じである。
【0022】一方、録音ボタン3がオン(ON)になさ
れた場合、マイクロフォン1の指向性は音楽録音用とし
て遠距離に設定され、また、このときのスイッチ5は音
楽データ処理部7側に設定される。これにより、マイク
ロフォン1を通じて入力された音響信号(この場合は音
楽信号となる)は、A/D変換器4によりディジタル化
され、音楽データ処理部7により後述のように圧縮符号
化或いは特徴抽出された後にビットストリーム化され、
一時記憶部10に送られて少なくとも所定の時間(例え
ば数秒間)分蓄積される。当該一時記憶部10に蓄積さ
れた所定の時間分の音楽データに係るビットストリーム
は、自動的若しくは操作者の操作によるキー入力部2か
らの読み出し指示信号に応じて読み出されてマルチプレ
クサ8に送られる。当該マルチプレクサ8には、操作者
の操作に応じてキー入力部2から出力された後述する要
求信号などが入力され、上記所定時間分の音楽データに
係るビットストリームと上記キー入力部2からの信号と
が多重化されて変調器9に送られる。変調器9からは、
上記通話時と同様に、高周波信号への変調がなされ、携
帯電話運用システムヘと送信される。
【0023】なお、マイクロフォン1の指向性の調節
は、一つのマイクロフォンの指向性を変更する方法でも
よいし、指向性の異なる複数のマイクロフォンを切り替
えて使用する方法でもよい。上記一時記憶部10は、一
般の携帯電話装置が備えるメモリとは別の大容量のメモ
リとして新たに設けても良いし、一般の携帯電話装置に
設けられているメモリが大容量メモリである場合はその
メモリをそのまま用いても良い。また、上記一時記憶部
10は、後述する受信部のメモリ18と共用することも
可能であり、半導体メモリカードのように取り外し可能
なものであっても良い。上記一時記憶部10として、半
導体メモリカードのように取り外し可能なものを用いる
と、マイクロフォン1により取り込んだ楽曲だけでな
く、別の携帯電話端末や携帯型情報処理装置など様々な
装置にて取得した楽曲についても、後述するような楽曲
名の同定や楽曲の購入等を行えることになる。
【0024】上記音楽データ処理部7は、上記一時記憶
部10に蓄積(以下、適宜録音とする)された上記所定
時間の短時間音楽データ(以下、音楽断片或いは音楽ク
リップと呼ぶ)から、その楽曲名の同定に必要となる符
号化データを生成、あるいは楽曲名同定に必要となる後
述する特微量を抽出するものである。
【0025】すなわち本実施の形態において、上記音楽
データ処理部7は、以下の第1、第2の構成の何れかを
取り得る。
【0026】第1の音楽データ処理部7の構成は、例え
ばいわゆるMPEGオーディオなどのオーディオ圧縮用
符号化器をそのまま用いる構成である。この場合、一時
記憶部10に録音された音楽断片は、上記オーディオ圧
縮用符号化器によりそのまま圧縮符号化されて送信さ
れ、後述する楽曲同定システムに送られ、当該楽曲同定
システムの側で、楽曲名同定に必要な後述する特微量へ
の変換が行われることになる。この例によれば、本実施
の形態の携帯電話端末に搭載しなければならない構成が
一般的な符号化器のみで良いため、携帯電話端末のコス
トを低減することが可能となる。同時に、この例の場
合、楽曲名同定のための後述する特徴抽出は楽曲同定シ
ステム側で行うことになるため、当該特徴抽出のための
多量の演算を必要とする精度の高い同定法を導入できる
ことになり、また、自動的に同定できない楽曲について
は、楽曲同定システム側の人が聞いて確認することもで
き、さらに、新たな同定アルゴリズムが開発された場合
に旧同定アルゴリズムを当該新たな同定アルゴリズムに
置き換えるようなことが容易になる、などの利点があ
る。
【0027】第2の音楽データ処理部7の構成は、当該
音楽データ処理部7において後述する特徴抽出法を用い
た特徴抽出を行い、その特徴量情報(すなわち例えば特
徴ベクトル)を符号化する構成である。この例の場合、
当該音楽データ処理部7により得られる特徴量の情報
は、第1の構成のような圧縮符号化された音楽データと
比べて、そのデータ量は遥かに少なくなる。このため、
前記一時記憶部10の記憶容量(メモリの容量)や、そ
のデータを電送する際の電送容量、電送時間などを節約
できる利点がある。
【0028】次に、図2に示した本実施の形態の携帯電
話端末の受信部も、従来の携帯電話装置と略々同様の構
成を有し、アンテナを介して受信した高周波信号を復調
する復調器11、多重化されたデータを分離するデマル
チプレクサ12、デマルチプレクサ12により分離され
た通話用の音声データを復号化する音声用復号化器1
5、上記復号化により得られた通話用のディジタル音声
データをアナログ音声信号に変換するD/A変換器1
6、D/A変換器16からの通話用アナログ音声信号を
放音するスピーカ17、デマルチプレクサ12により分
離された制御データに含まれる番号や文字等のデータか
ら表示用信号を生成する表示処理部13、液晶表示デバ
イス等からなるディレイ14等を備えている。これら各
構成要素は、従来の携帯電話装置に搭載されているもの
と同様であるため、ここではこれらの詳細な動作の説明
を省略する。
【0029】一方、本実施の形態の携帯電話端末の受信
部において、一般の携帯電話装置と異なる独自の部分
は、音楽信号処理系の構成として、メモリ18、オーデ
ィオ用復号化器19、D/A変換器20、スピーカ21
が設けられていることであり、以下、これらの詳細な動
作を説明する。
【0030】この図2に示す受信部において、前記復調
器11にて復調された受信データに、通話用の音声デー
タとは別の本実施の形態に係る音楽データが含まれてい
る場合、上記デマルチプレクサ12は、受信データから
当該音楽データを分離し、メモリ18に送る。メモリ1
8は、当該音楽データを一時蓄積する。なお、当該メモ
リ18は、携帯電話端末に内蔵されているものでも、或
いは、半導体メモリカードのように取り外し可能なもの
であっても良い。メモリ18として、半導体メモリカー
ドのように取り外し可能なものを用いると、取得した音
楽データを他の機器でも再生できて都合がよい。
【0031】上記音楽データは、楽曲の全て若しくは十
分なデータが受信された後、メモリ18から読み出され
てオーディオ用復号器19に送られ復号され、さらにD
/A変換器20を経てスピーカ21若しくはヘッドフォ
ンなどにより音として出力される。なお、D/A変換器
20及びスピーカ21については、部品点数を減らすた
めには音声信号処理系のD/A変換器16及びスピーカ
17と共用しても良いが、通話用の音声信号と楽曲用の
音楽信号とでは、一般に必要とされる音質が異なる(例
えば音楽用は高品質)ため、それぞれ必要とされる音質
に応じて別個に設けることが望ましい。
【0032】次に、第2の発明としての楽曲名の同定方
法について以下に説明する。
【0033】本発明に係る楽曲同定方法は、大別して、
以下に述べるように、楽曲同定の前段階の処理となる楽
曲のデータベースへの登録処理と、登録された楽曲デー
タベースを用いた実際の楽曲同定処理の2つの流れによ
り行われる。
【0034】図3には、本発明に係る楽曲同定方法にお
ける上記楽曲のデータベースへの登録処理のためのシス
テム構成を示す。
【0035】図3において、例えばいわゆるコンパクト
ディスク(CD)やネットワークなどを介して配布され
た複数の各楽曲データ31は、パワースペクトル分析部
33に送られる。パワースペクトル分析部33は、入力
された複数のそれぞれの楽曲データ31を時間周波数分
布に変換し、それぞれ得られた時間周波数分布データを
特徴行列生成部34に送る。
【0036】特徴行列生成部34では、各楽曲に対応す
る時間周波数分布データを所定の周波数および時間間隔
でリサンプリングすることにより、各楽曲にそれぞれ対
応した楽曲特徴行列(特徴ベクトル)Aftを生成する。
但し、図4の(a)に示すように、上記楽曲特徴行列A
ftの「f」は行列の周波数方向のインデックス(行)、
「t」は時間方向のインデックス(列)を表している。
これら各楽曲に対応した楽曲特徴行列Aftのデータは、
上記楽曲データ31と共に配布された各楽曲の楽曲名、
演奏家名、楽曲のID番号などの各楽曲の属性データ3
2と対応付けられて、データベース35に登録される。
【0037】次に、図5には、上記登録された楽曲デー
タベースを用いた楽曲同定のためのシステム構成を示
す。
【0038】この図5において、上述した第1の発明に
かかる携帯電話端末やその他の任意の方法で得られた、
例えば数秒程度の楽曲の一部分(前記音楽断片)データ
41は、上記図3と同様のパワースペクトル分析部43
に送られ、時間周波数分布に変換される。また、上記図
3と同様の特徴行列生成部44では、パワースペクトル
分析部43からの時間周波数分布データを所定の周波数
および時間間隔でリサンプリングし、音楽断片特徴行列
(特徴ベクトル)Sfuを生成する。但し、図4の(b)
に示すように、音楽断片特徴行列Sfuの「f」は上記と
同様の行列の周波数方向のインデックス(行)、「u」
は時間方向のインデックス(列)を表す。この音楽断片
特徴行列Sfuのデータは、マッチング部45へ送られ
る。なお、前記携帯電話端末において特徴量の抽出まで
行うようにした場合は、当該図5のパワースペクトル分
析部43及び特徴行列生成部44と同様の構成が、特徴
量抽出のための構成として前記携帯電話端末の音声デー
タ処理部7内に設けられることになる。一方、携帯電話
端末にて音楽データの圧縮符号化のみ行い特徴量の抽出
を行わない場合は、この図5のパワースペクトル分析部
43に供給される音楽断片のデータ41として、前記携
帯電話端末にて圧縮符号化されて送信されてきたデータ
を伸長復号化したデータが用いられることになる。
【0039】マッチング部45には、上記データベース
35に登録されている複数の楽曲についての楽曲特徴行
列Aftとそれぞれ対応する楽曲名、演奏家名、楽曲のI
D番号などの各楽曲の属性データ32とからなるデータ
42も入力される。当該マッチング部45は、データベ
ース35から得られた複数の楽曲特徴行列Aftすなわち
楽曲特徴ベクトルと、上記特徴行列生成部44から供給
された音楽断片特徴行列Sfuすなわち音楽断片特徴ベク
トルとを用いて、後述の方法によりマッチング(ベクト
ルマッチング)を行い、それらベクトルの類似度を算出
し、上記音楽断片特徴ベクトルと楽曲特徴ベクトルとの
間の類似度が所定の閾値を越えているとき、当該楽曲特
徴ベクトルに対応する楽曲について、その類似度Q、類
似度が最大となる時刻(類似度最大時刻)T、および属
性データ32からなるデータ46を出力する。
【0040】ここで、上記マッチング部45でのマッチ
ングは、相互相関を用いて以下のように行う。
【0041】図4に示すように、楽曲特徴行列Aftは、
複数の楽曲全曲分の特徴行列であり、音楽断片特徴行列
fuは、ある楽曲の一部分の(劣化した)特徴行列とな
る。原理的には、これらの行列の相互相関が最大となる
時刻の相関値を類似度とすればよいが、通例、音楽断片
特徴行列Sfuには雑音が加わっているため、次のような
操作を行いノイズ耐性を改善する。
【0042】先ず、音楽断片特徴行列Sfuを、次式
(1)により変換する。
【0043】 S'fu=Mfu(Sfu−Bfu) (1) 但し、式中のBfuは、定常的なノイズ成分を減ずるため
の定数行列であり、例えば各周波数成分における最小値
などによって作成される。また、式中のMfuは図4の
(c)〜図4の(e)に示すように、音楽断片特徴行列
fuの一部(各図中mで示す部分)をマスクする行列で
ある。図4の(c)に示すマスク行列Mfuは低周波成分
をマスクするための行列であり、これによれば、例えば
交通騒音など低周波ノイズが強い場合に、それら低周波
ノイズを音楽断片特徴行列Sfuから除去するのに有効と
なる。また、図4の(d)に示すマスク行列Mfuは時間
マスクを行うための行列であり、この時間マスクによ
り、音楽断片特徴行列Sfuから例えば音楽成分が強い時
刻のみを取り出すことで、安定なマッチング処理が実現
可能となる。また、図4の(e)に示すマスク行列Mfu
は音声成分をマスクするための行列であり、音楽断片特
徴行列Sfuから音声成分が最も多く含まれる周波数範囲
(例えば100Hz〜1kHz)を除去することで、例
えば音声混入があるような場合にその音声成分を除去す
ることが可能となる。この他にも様々なマスクパターン
が考えられるが、これらのマスクを切り替えて用い、最
も類似度の高いものを選択することで、ノイズ耐性の強
い安定なマッチングが行われる。
【0044】次に、上記式(1)の変換を用い、各時刻
での類似度を次式(2)により計算する。
【0045】
【数1】
【0046】さらに、各時刻の類似度のうち最大のもの
及びその時刻によって、式(3)、式(4)のように、
楽曲と音楽断片の類似度Q及び類似度最大時刻Tを求め
る。
【0047】Q=maxtR(t) (3) T=argmaxtR(t) (4) マッチング部45では、図6に示す流れで、以上説明し
たマッチング方法を実現する。
【0048】図6において、マッチング部45には、上
述した低周波成分のマスクや時間マスク、音声成分のマ
スク等の、必要と思われる各種のマスクパターンが予め
用意されており、マッチング処理に先立ち、テップS5
1として、そのうち一つのマスクパターンが選択され
る。
【0049】次に、マッチング部45では、ステップS
52として、全てのマスクパターンについて処理したか
否かの判定が行われ、未だ全てのマスクパターンの処理
が終了していないと判定した場合はステップS53の処
理に進み、用意した全てのマスクパターンの処理が終了
したと判定した場合はステップS55の処理に進む。
【0050】ステップS52において未だ全てのマスク
パターンの処理が終了していないと判定され、ステップ
S53の処理に進むと、マッチング部45では、ステッ
プS51で選択されたマスクパターンを用いて相関関数
R(t)を計算し、次のステップS54において、類似度
Q、類似度最大時刻Tを計算し、得られた値を保存す
る。その後は、ステップS51に戻り、再びマスクパタ
ーンを選択する。
【0051】一方、ステップS52において、用意した
全てのマスクパターンの処理が終了したと判定され、ス
テップS55の処理に進むと、マッチング部45では、
上記類似度Qの中で最大のものをもって、その楽曲と入
力された音楽断片との類似度とする。
【0052】次に、上記第1の発明に係る携帯電話端末
と上記第2の発明に係る楽曲同定のシステムを用いた、
第3の発明である電子音楽同定配信サービス方法及びそ
のシステムについて、以下に説明する。このシステムの
利点は、一つの携帯端末(本実施の形態の携帯電話端
末)から楽曲の調査、購入、再生、代金支払いなどが全
て行われる点である。
【0053】図7には第3の発明である電子音楽同定配
信サービスが適用される実施の形態のシステム構成を示
し、図8〜図11を用いて当該システムの運用方法を説
明する。なお、図7中の指示符号S71,S72,S7
5,S76,S78,S79,S82〜S85,S90
〜S99は、図8〜図11中の対応する指示符号で表さ
れるステップの処理が行われることを示している。図8
には予め行われる楽曲登録段階での処理の流れを示し、
図9には楽曲同定段階での処理の流れを、図10には楽
曲試聴段階での処理の流れを、図11には楽曲購入段階
での処理の流れを示す。
【0054】図8に示す楽曲登録段階において、先ずス
テップS71として、楽曲販売者側の楽曲配信システム
64は、楽曲同定に必要なデータ(前記複数の楽曲デー
タとその属性データ)を楽曲同定者側の楽曲同定システ
ム63に送り、それらデータを受け取った楽曲同定シス
テム63では、その楽曲同定用の楽曲データから前述し
たように特徴行列を求め、属性データと対応つけて前記
データベースに登録する。また、ステップS72とし
て、楽曲配信システム64は、楽曲の試聴時に必要なデ
ータ(複数の試聴用の楽曲データと各試聴用の楽曲デー
タのID等)を楽曲同定システム63に送り、当該楽曲
同定システム63では、その楽曲試聴用データをデータ
ベースに登録する。なお、ステップS71とS72の処
理は同時に行ってもよく、また、ステップS71の処理
後にステップS72の処理を行っても良い。
【0055】次に、図9に示す楽曲同定段階において、
先ずステップS73として、楽曲購入者側の携帯電話端
末61は、当該端末の操作者によって前記録音ボタン3
がオン操作されると、そのオン操作時点で例えば放送番
組中やコマーシャルメッセージ中に演奏されたり街頭で
流されている楽曲の一部分(音楽断片)を録音する。ま
た、ステップS74として、携帯電話端末61は、前記
音楽データ処理部7により、その音楽断片のデータに対
して前述のように圧縮符号化若しくは特徴抽出を行う。
【0056】次に、ステップS75として、携帯電話端
末61は、携帯電話運用者側の携帯電話運用システム6
2に対して、キー入力部2からのキー入力に応じて生成
された楽曲同定要求と共に、上記特徴抽出されたデータ
を送信し、さらに、ステップS76として、携帯電話運
用システム62は、その楽曲同定要求と上記特徴抽出さ
れたデータをそのまま楽曲同定者側の楽曲同定システム
63に送信する。
【0057】上記楽曲同定要求と上記圧縮符号化データ
若しくは特徴抽出されたデータを受け取った楽曲同定シ
ステム63は、ステップS77として、前記第2の発明
で説明したようにして特徴ベクトルを用いた楽曲同定の
処理(候補となる楽曲の検索)を行う。なお、携帯電話
端末61側の音楽データ処理部7において、音楽断片の
録音から特徴抽出までの処理を行っている場合、上記楽
曲同定システム63では、携帯電話端末61から送られ
てきた特徴ベクトルを用いた前記マッチングにより楽曲
同定を行うことになる。また、携帯電話端末61側の音
楽データ処理部7において、音楽断片の録音から音楽デ
ータの圧縮符号化処理までしか行っていない場合、上記
楽曲同定システム63では、上記携帯電話端末61から
送られてくる圧縮符号化された音楽データを復号してか
ら前述した特徴抽出を行い、さらにマッチングにより楽
曲同定を行うことになる。上記楽曲同定処理が終了する
と、当該楽曲同定システム63は、ステップS78とし
て、その楽曲同定処理により得られた候補となる楽曲に
関するデータ(楽曲名や演奏家名、楽曲のID番号な
ど)を、携帯電話運用システム62に送信し、さらに、
ステップS79として、携帯電話運用システム62は、
その候補楽曲についてのデータをそのまま携帯電話端末
61に送信する。
【0058】上記候補楽曲についてのデータを受け取っ
た携帯電話端末61では、ステップS80として、当該
端末の操作者(楽曲購入者)により前記キー入力部2に
対して候補楽曲を試聴することの要否を指示するための
所定の入力操作がなされたか否かの判断を行う。このス
テップS80において、操作者から候補楽曲を試聴する
ことの指示入力がなされた場合(試聴する場合(Y))
は、図10に示す楽曲試聴段階の処理へ進み、一方、操
作者から楽曲を試聴しないことの指示入力がなされた場
合(試聴しない場合(N))は、処理を終了する。
【0059】図10に示す楽曲試聴段階へ進むと、先
ず、ステップS81として、携帯電話端末61では、端
末操作者(楽曲購入者)により前記キー入力部2に対し
て試聴用の楽曲を選択するための所定の入力操作がなさ
れると、その入力操作に応じた試聴用の楽曲の選択を行
う。
【0060】次に、ステップS82として、携帯電話端
末61は、携帯電話運用システム62に対して、前記キ
ー入力部2からのキー入力に応じて生成された楽曲試聴
要求を送信し、さらに、携帯電話運用システム62は、
ステップS83として、その楽曲試聴要求をそのまま楽
曲同定システム63に送信する。
【0061】上記楽曲試聴要求を受け取った楽曲同定シ
ステム63は、ステップS84として、上記楽曲試聴要
求に応じた試聴用データを携帯電話運用システム62へ
送信し、さらに、携帯電話運用システム62は、ステッ
プS85として、その試聴用データをそのまま携帯電話
端末61に送信する。このときの携帯電話端末61で
は、上記試聴用データを前記メモリ18に蓄積する。
【0062】次に、ステップS86として、上記試聴用
データの提供を受けた携帯電話端末61では、当該端末
の操作者(楽曲購入者)により前記キー入力部2に対し
て当該試聴用の楽曲を試聴する旨の所定の入力操作がな
されると、その入力操作に応じて前記メモリ18に蓄積
された試聴用の楽曲データをオーディオ用復号化器19
に送り、当該試聴用の楽曲データを復号し、さらにD/
A変換器20を介してスピーカ21に送る。これによ
り、当該携帯電話端末61の操作者(楽曲購入者)は、
上記試聴用の楽曲を聴くことができる。
【0063】その後、携帯電話端末61では、ステップ
S87として、当該端末の操作者(楽曲購入者)により
前記キー入力部2に対して他の楽曲を試聴することの要
否を指示するための所定の入力操作がなされたか否かの
判断を行う。このステップS87において、操作者から
他の楽曲を試聴することの指示入力がなされた場合(試
聴する場合(Y))は、ステップS81の試聴曲の選択
の処理に戻り、一方、操作者から他の楽曲を試聴しない
ことの指示入力がなされた場合(試聴しない場合
(N))は、ステップS88の処理に進む。
【0064】ステップS88の処理に進むと、携帯電話
端末61では、操作者(楽曲購入者)によりキー入力部
2に対してその試聴した楽曲を購入することの要否を指
示するための所定の入力操作がなされたか否かの判断を
行う。このステップS88において、操作者から当該試
聴した楽曲を購入することの指示入力がなされた場合
(Y)は、図11に示す楽曲購入段階へ進み、一方、操
作者から当該試聴した楽曲を購入しないことの指示入力
がなされた場合(N)は、処理を終了する。
【0065】図11に示す楽曲購入段階へ進むと、先ず
ステップS89として、携帯電話端末61では、端末操
作者(楽曲購入者)によりキー入力部2に対して購入楽
曲を選択するための所定の入力操作がなされると、その
入力操作に応じた楽曲選択を行う。
【0066】次に、ステップS90として、携帯電話端
末61は、上記選択された楽曲の購入意思を示す楽曲購
入要求を携帯電話運用システム62に対して送信し、さ
らに、ステップS91として、携帯電話運用システム6
2は、その楽曲購入要求をそのまま楽曲販売者側の楽曲
配信システム64に送信する。
【0067】上記楽曲購入要求を受け取った楽曲販売シ
ステム64は、ステップS92として、当該楽曲購入要
求に応じた楽曲データを携帯電話運用システム62へ送
信し、さらに、携帯電話運用システム62は、ステップ
S93として、その楽曲データをそのまま携帯電話端末
61に送信する。なお、このときの携帯電話端末61で
は、上記楽曲データがメモリ18に蓄積される。その
後、当該端末操作者(楽曲購入者)によりキー入力部2
に対して当該楽曲を再生する旨の所定の入力操作がなさ
れると、携帯電話端末61は、その入力操作に応じて前
記メモリ18に蓄積された楽曲データをオーディオ用復
号化器19に送り、当該楽曲データを復号し、さらにD
/A変換器20を介してスピーカ21に送る。これによ
り、当該携帯電話端末61の操作者(楽曲購入者)は、
上記購入した楽曲を聴くことができる。
【0068】ここで、上述のように楽曲の同定や配信が
行われた場合、その楽曲の同定や購入の代金は、楽曲購
入者が楽曲同定者や楽曲配信者に直接或いは銀行振込、
インターネット経由のクレジットカード精算等により支
払うことも可能であるが、本発明実施の形態の電子音楽
同定配信システムでは、代金支払いの一括化のために、
上記携帯電話運用者を通じて支払うようにしている。
【0069】先ず、ステップS94として、楽曲同定者
側の楽曲同定システム63は、前述した楽曲の同定のた
めの代金請求情報を、電話運用者側の携帯電話運用シス
テム62に対して送る。このときの携帯電話運用システ
ム62の電話運用者は、ステップS95として、その代
金を楽曲購入者に代行して上記楽曲同定者に支払う。な
お、この場合の代金支払い方法としては、例えば電話運
用者の銀行口座から楽曲同定者の銀行口座に代金が振り
込まれるような電子決済処理を行い、その決済が行われ
たことを示す情報を、携帯電話運用システム62或いは
銀行より、楽曲同定者側の楽曲同定システム63に送る
ようにしても良い。
【0070】同様に、ステップS96として、楽曲販売
者側の楽曲配信システム64は、前述のように配信した
楽曲の代金請求情報を、電話運用者側の携帯電話運用シ
ステム62に対して送る。このときの携帯電話運用シス
テム62の電話運用者は、ステップS97として、その
代金を楽曲購入者に代行して上記楽曲配信者に支払う。
なお、この場合の代金支払い方法としては、例えば電話
運用者の銀行口座から楽曲配信者の銀行口座に代金が振
り込まれるような電子決済処理を行い、その決済が行わ
れたことを示す情報を、携帯電話運用システム62或い
は銀行より、楽曲配信者側の楽曲配信システム64に送
るようにしても良い。
【0071】次に、ステップS98として、携帯電話運
用システム62は、上記楽曲同定者や楽曲配信者に対し
て上記代行して支払った金額を通話料などに加算して、
上記携帯電話端末61の使用者(楽曲購入者)に対して
請求する。その後、ステップS99として、当該携帯電
話端末61の使用者(楽曲購入者)は、上記楽曲同定代
金や楽曲配信代金が加算された通話料を、上記電話運用
者に対して、直接或いは銀行振込、インターネット経由
のクレジットカード精算等により一括或いは分割して支
払う。なお、携帯電話端末61の使用者(楽曲購入者)
と電話運用者との間の通話料の支払いについても、上述
同様に、例えば携帯電話端末61の使用者(楽曲購入
者)の銀行口座から電話運用者の銀行口座に代金が振り
込まれるような電子決済処理を行い、その決済が行われ
たことを示す情報を、携帯電話端末61或いは銀行よ
り、電話運用者側の携帯電話運用システム62に送るよ
うなことも可能である。
【0072】以上により、代金精算の処理が完了する。
【0073】本実施の形態では、説明の便宜上、楽曲同
定者と楽曲販売者を別物として説明したが、もちろん、
楽曲販売者自身が同定サービスを行っても同様のことが
実現される。また、説明の便宜上、試聴用の楽曲データ
は、同定者が提供するよう説明したが、この部分は販売
者が行っても本質的な差異が生じないのは明らかであ
る。
【0074】さらに、本実施の形態では、楽曲データの
配信を受けた後に、同定代金と楽曲購入代金を支払うよ
うにしているが、楽曲同定のみが行われ、楽曲購入が行
われなかった場合には、上記楽曲同定の代金のみを請求
することも可能であるし、また、楽曲同定については無
料サービスとすることもできる。
【0075】また、本発明実施の形態では、携帯電話端
末を例に挙げているが、本発明は、いわゆるパームトッ
プ型コンピュータのような携帯型情報処理端末であって
も適用可能である。但し、本発明では、上述したように
音楽の録音、楽曲同定、楽曲配信、購入、再生などの全
てを一台の携帯電話端末において実現することにより、
携帯型情報処理端末を不要とし、さらに、いわゆる携帯
型のオーディオ記録再生装置をも不要としている。
【0076】以上説明したように、本発明実施の形態に
よれば、テレビジョン放送やラジオ放送等、街頭放送等
により流れている音楽の一部分から、楽曲候補の検索を
行うことができ、さらに、該楽曲候補の試聴、楽曲名の
同定、楽曲の購入、楽曲の再生を、一台の携帯電話端末
により行うことが可能となっている。すなわち、本発明
実施の形態によれば、テレビジョン放送やラジオ放送
等、街頭放送等により流れている音楽の調査を容易に行
え、その楽曲を容易に入手可能となり、したがって、購
入者は楽曲を同定できずに購入をあきらめることが減
り、また購入のための時間や労力を著しく節約すること
が可能となる。
【0077】
【発明の効果】以上の説明からも明らかなように、本発
明によれば、携帯電話端末において、音響電気変換手段
を介して取り込まれた音楽データを録音し、その録音さ
れた音楽データを圧縮符号化、若しくは、録音された音
楽データから当該音楽の楽曲名を同定するための特徴量
を抽出して楽曲同定・配信側に送り、楽曲同定・配信側
において、その圧縮符号化若しくは抽出された特徴量か
ら楽曲の候補を検索し、その候補の楽曲の試聴用データ
を携帯電話端末に送り、携帯電話端末での試聴の結果、
購入の決定された楽曲を、楽曲同定・配信側から携帯電
話端末に送り、携帯電話運用側において、試聴した楽曲
と購入した楽曲に応じた課金を行うことにより、例えば
演奏、再生、放送などがされている楽曲の一部断片であ
っても、その楽曲を容易に同定及び入手(例えば購入)
可能であり、また、その楽曲の代金の支払い、楽曲の再
生等をも同時に可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る携帯電話端末の送信
部の概略構成を示すブロック図である。
【図2】本発明の実施の形態に係る携帯電話端末の受信
部の概略構成を示すブロック図である。
【図3】楽曲をデータベースへ登録するためのシステム
の概略構成を示すブロック図である。
【図4】特徴行列とマスクパターンの説明に用いる図で
ある。
【図5】音楽断片から楽曲を同定するための楽曲同定シ
ステムの概略構成を示すブロック図である。
【図6】マッチング方法の流れを示すフローチャートで
ある。
【図7】電子音楽同定配信システムの全体構成を示すシ
ステム構成図である。
【図8】楽曲登録方法の流れを示すフローチャートであ
る。
【図9】楽曲同定方法の流れを示すフローチャートであ
る。
【図10】楽曲試聴方法の流れを示すフローチャートで
ある。
【図11】楽曲購入方法の流れを示すフローチャートで
ある。
【符号の説明】
1 マイクロフォン、 2 キー入力部、 3 録音ボ
タン、 4 A/D変換器、 5 スイッチ、 6 音
声用符号化器、 7 音楽データ処理部、 8マルチプ
レクサ、 9 変調器、 10 一時記憶部、 11
復調器、 12 デマルチプレクサ、 13 表示処理
部、 14 ディスプレイ、 15音声用復号化器、
16,20 D/A変換器、 17,21 スピーカ、
18 メモリ、 19 オーディオ用復号化器、 3
3,43 パワースペクトル分析部、 34,44 特
徴行列生成部、 35 データベース、 45 マッチ
ング部、 61 携帯電話端末、 62 携帯電話運用
システム、 63 楽曲同定システム、 64 楽曲配
信システム
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 17/60 506 G06F 17/60 506 G10L 15/10 H04R 1/32 320 15/00 G10L 3/00 531N 19/00 551A H04Q 7/38 9/00 N // H04R 1/32 320 9/18 H H04B 7/26 109M Fターム(参考) 5B049 AA06 CC05 EE05 FF01 GG06 5B075 ND14 NK06 NK46 NR16 PP07 PP13 PQ02 PQ04 PQ46 5D015 AA06 FF03 HH04 KK02 LL05 5K067 AA29 AA44 BB21 DD51 EE02 FF02 FF23 FF25 FF40 HH21 HH23 KK15

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 音響電気変換手段を介して取り込まれた
    音楽データを録音する録音手段と、 上記録音された音楽データを圧縮符号化する符号化手段
    と、 上記圧縮符号化された音楽データを送信する送信手段と
    を有することを特徴とする携帯電話端末。
  2. 【請求項2】 音響電気変換手段を介して取り込まれた
    音楽データを録音する録音手段と、 上記録音された音楽データより、その音楽の楽曲名を同
    定するための特徴量を抽出する特徴抽出手段と、 上記抽出された特徴量を送信する送信手段とを有するこ
    とを特徴とする携帯電話端末。
  3. 【請求項3】 通話時と上記録音時とで、上記音響電気
    変換手段の音の指向性を変更することを特徴とする請求
    項1記載の携帯電話端末。
  4. 【請求項4】 通話時と上記録音時とで、上記音響電気
    変換手段の音の指向性を変更することを特徴とする請求
    項2記載の携帯電話端末。
  5. 【請求項5】 上記音響電気変換手段として、通話用の
    音響電気変換手段と上記録音用の音響電気変換手段とを
    備え、通話時には上記通話用の音響電気変換手段に切り
    替え、上記録音時には上記録音用の音響電気変換手段に
    切り替えることを特徴とする請求項1記載の携帯電話端
    末。
  6. 【請求項6】 上記音響電気変換手段として、通話用の
    音響電気変換手段と上記録音用の音響電気変換手段とを
    備え、通話時には上記通話用の音響電気変換手段に切り
    替え、上記録音時には上記録音用の音響電気変換手段に
    切り替えることを特徴とする請求項2記載の携帯電話端
    末。
  7. 【請求項7】 上記特徴量は、離散化された短時間スペ
    クトル係数であることを特徴とする請求項2記載の携帯
    電話端末。
  8. 【請求項8】 音楽データを記憶する記憶手段と、 音楽データから音楽を再生する再生手段とを有し、 携帯電話システムを通じて受信した音楽データを上記記
    憶手段に蓄積し、上記記憶手段に蓄積した音楽データか
    ら上記再生手段により音楽を再生することを特徴とする
    携帯電話端末。
  9. 【請求項9】 上記携帯電話システムを通じて受信した
    音楽データは、実音楽データを圧縮符号化したデータで
    あり、 上記再生手段は、上記圧縮符号化されたデータを復号し
    て上記実音楽データを復元する復号手段を備えることを
    特徴とする請求項8記載の携帯電話端末。
  10. 【請求項10】 上記記憶手段は、半導体記憶素子を備
    えることを特徴とする請求項8記載の携帯電話端末。
  11. 【請求項11】 操作者による操作される操作子を備え
    た操作入力手段と、 少なくとも複数の楽曲のそれぞれを上記操作者が認識可
    能とする表示を行う表示手段とを有し、 上記表示手段上に表示された複数の楽曲のうち1つを、
    上記操作入力手段の操作子の操作に応じて選択し、当該
    選択された楽曲を試聴し、若しくは当該選択された楽曲
    を購入することを特徴とする請求項8記載の携帯電話端
    末。
  12. 【請求項12】 音響電気変換手段を介して取り込まれ
    た音楽データを録音する録音手段と、 上記録音された音楽データを圧縮符号化、若しくは、上
    記録音された音楽データから当該音楽の楽曲名を同定す
    るための特徴量を抽出する音楽データ処理手段と、 上記圧縮符号化されたデータ、若しくは、上記抽出され
    た特徴量を携帯電話システムを通じて送信する送信手段
    と、 上記携帯電話システムを通じて音楽データを受信する受
    信手段と、 上記受信手段が受信した音楽データを記憶する記憶手段
    と、 上記記憶手段に記憶した音楽データから音楽を再生する
    再生手段と、 操作者による操作される操作子を備えた操作入力手段
    と、 少なくとも複数の楽曲のそれぞれを上記操作者が認識可
    能とする表示を行う表示手段とを有し、 上記表示手段上に表示された複数の楽曲のうち1つを、
    上記操作入力手段の操作子の操作に応じて選択し、当該
    選択された楽曲を試聴し、若しくは当該選択された楽曲
    を購入することを特徴とする携帯電話端末。
  13. 【請求項13】 音響信号の時間周波数分布を求め、 上記時間周波数分布を再離散化し特徴行列を生成し、 上記時間周波数分布の再離散化により生成された楽曲の
    特徴行列と当該楽曲の属性を保存および管理し、 上記保存および管理されている複数の特徴行列と楽曲の
    一部分の信号から生成された特徴行列とのマッチングを
    行うことにより、上記一部分の信号を含む楽曲の楽曲名
    を同定することを特徴とする楽曲同定方法。
  14. 【請求項14】 上記マッチングの際には、上記楽曲の
    一部の信号から定常ノイズを減算する処理、及び/又
    は、上記時間周波数成分の一部分をマッチングから除外
    する処理、及び/又は、上記保存および管理されている
    複数の特徴行列と楽曲の一部分の信号から生成された特
    徴行列との相互相関の関数を演算する処理を行うことを
    特徴とする請求項13記載の楽曲同定方法。
  15. 【請求項15】 音響信号の時間周波数分布を求めるパ
    ワースペクトル分析手段と、 上記時間周波数分布を再離散化し特徴行列を生成する特
    徴行列生成手段と、 上記特徴行列生成手段より生成された楽曲の特徴行列と
    楽曲の属性を保存および管理する楽曲データベース手段
    と、 上記楽曲データベース手段により保存および管理されて
    いる複数の特徴行列と楽曲の一部分の信号から生成され
    た特徴行列とのマッチングを行うマッチング手段とを有
    し、 上記マッチングの結果に基づいて、上記一部分の信号を
    含む楽曲の楽曲名を同定することを特徴とする楽曲同定
    装置。
  16. 【請求項16】 上記マッチング手段は、上記マッチン
    グの際に、上記楽曲の一部の信号から定常ノイズを減算
    する処理、及び/又は、上記時間周波数成分の一部分を
    マッチングから除外する処理、及び/又は、上記楽曲デ
    ータベース手段により保存および管理されている複数の
    特徴行列と楽曲の一部分の信号から生成された特徴行列
    との相互相関の関数を演算する処理を行うことを特徴と
    する請求項15記載の楽曲同定装置。
  17. 【請求項17】 携帯電話網を用いた楽曲同定配信方法
    であって、 音響電気変換手段により取り込まれてディジタル化され
    た音楽データを録音し、 上記録音された音楽データを圧縮符号化若しくは上記録
    音された音楽データから当該音楽の楽曲名を同定するた
    めの特徴量を抽出し、 上記圧縮符号化されたデータ若しくは上記抽出された特
    徴量を携帯電話網へ送信し、 上記携帯電話網を通じて送信されてきた上記圧縮符号化
    されたデータ若しくは上記抽出された特徴量から楽曲の
    候補を検索し、 上記検索された楽曲の試聴用データを上記携帯電話網を
    通じて送信し、 上記携帯電話網を通じて送信されてきた上記楽曲の試聴
    用データを試聴し、 上記試聴した楽曲の候補から購入する楽曲を決定し、 上記決定された楽曲の配信を上記携帯電話網を通じて要
    求し、 上記要求された楽曲を上記携帯電話網を通じて配信し、 上記試聴用データの送信と上記楽曲の配信に応じた課金
    を行うことを特徴とする楽曲同定配信方法。
  18. 【請求項18】 上記楽曲の候補検索及びその候補検索
    による試聴用データの送信と上記楽曲配信に対応する課
    金を、上記携帯電話網の使用に応じた携帯電話通信料に
    加算して行うことを特徴とする請求項17記載の楽曲同
    定配信方法。
  19. 【請求項19】 音響電気変換手段を介して取り込まれ
    た音楽データを録音する録音手段と、上記録音された音
    楽データを圧縮符号化若しくは上記録音された音楽デー
    タから当該音楽の楽曲名を同定するための特徴量を抽出
    する音楽データ処理手段と、上記圧縮符号化されたデー
    タ若しくは上記抽出された特徴量を携帯電話網を通じて
    送信する送信手段と、上記携帯電話網を通じて音楽デー
    タを受信する受信手段と、上記受信手段が受信した音楽
    データを記憶する記憶手段と、上記記憶手段に記憶した
    音楽データを再生する再生手段と、操作者による操作さ
    れる操作子を備えた操作入力手段と、少なくとも複数の
    楽曲のそれぞれを上記操作者が認識可能とする表示を行
    う表示手段とを有し、上記表示手段上に表示された複数
    の楽曲のうち1つを、上記操作入力手段の操作子の操作
    に応じて選択し、当該選択された楽曲を試聴し、若しく
    は当該選択された楽曲を購入する携帯電話端末と、 上記携帯電話網を通じて上記携帯電話端末から送信され
    てきた上記圧縮符号化されたデータ若しくは上記抽出さ
    れた特徴量から楽曲の候補を検索し、上記検索した楽曲
    の試聴用データを上記携帯電話網を通じて上記携帯電話
    端末へ送信する楽曲同定装置と、 上記携帯電話網を通じて、上記携帯電話端末から上記試
    聴用データの試聴の元で選択された楽曲の配信が要求さ
    れたとき、当該要求に応じた音楽データを、上記携帯電
    話網を通じて上記携帯電話端末へ送信する楽曲配信装置
    と、 上記携帯電話網上の通信を管理すると共に、上記試聴用
    データの送信と上記楽曲の配信に応じた課金を行う上記
    携帯電話管理装置とからなることを特徴とする楽曲同定
    配信システム。
  20. 【請求項20】 上記楽曲同定装置での上記楽曲の候補
    検索及びその候補検索による試聴用データの送信と上記
    楽曲配信装置による楽曲配信に対応する上記携帯電話端
    末の使用者への課金を、上記携帯電話管理装置側におい
    て携帯電話通信料に加算して行うことを特徴とする請求
    項19記載の楽曲同定配信システム。
JP2000306871A 2000-10-05 2000-10-05 楽曲同定装置及び方法 Expired - Fee Related JP4433594B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000306871A JP4433594B2 (ja) 2000-10-05 2000-10-05 楽曲同定装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000306871A JP4433594B2 (ja) 2000-10-05 2000-10-05 楽曲同定装置及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009188394A Division JP4788810B2 (ja) 2009-08-17 2009-08-17 楽曲同定装置及び方法、楽曲同定配信装置及び方法

Publications (2)

Publication Number Publication Date
JP2002116768A true JP2002116768A (ja) 2002-04-19
JP4433594B2 JP4433594B2 (ja) 2010-03-17

Family

ID=18787481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000306871A Expired - Fee Related JP4433594B2 (ja) 2000-10-05 2000-10-05 楽曲同定装置及び方法

Country Status (1)

Country Link
JP (1) JP4433594B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100623119B1 (ko) 2005-05-12 2006-09-13 주식회사 케이티프리텔 음원정보에 따른 컨텐츠 제공자별 부가서비스 설정 방법
JP2007531933A (ja) * 2004-03-26 2007-11-08 ノキア コーポレイション 移動局および入力メディアサンプルから特徴抽出可能に構成したインターフェース
SG142138A1 (en) * 2003-06-05 2008-05-28 Nec Corp Music data delivery system which enables to download a music data to an on-board player of a rental car and the music data delivery method of the same
JP2008131257A (ja) * 2006-11-20 2008-06-05 Megachips Lsi Solutions Inc 地上デジタルラジオの楽曲保存方法
JP2009020459A (ja) * 2007-07-13 2009-01-29 Yamaha Corp 音声処理装置およびプログラム
EP2112785A1 (en) 2008-04-23 2009-10-28 Sony Ericsson Mobile Communications Japan, Inc. Content distribution during content reproduction using specific software
US8060008B2 (en) 2004-04-07 2011-11-15 Nokia Corporation Mobile station and interface adapted for feature extraction from an input media sample
WO2013008956A1 (ja) * 2011-07-14 2013-01-17 日本電気株式会社 音響処理方法と音響処理システム、ビデオ処理方法とビデオ処理システム、音響処理装置およびその制御方法と制御プログラム
JP2013526095A (ja) * 2010-02-24 2013-06-20 アルカテル−ルーセント ユーザによって受信されるビデオ番組を検出するための方法およびサーバ
JP2017525023A (ja) * 2014-07-30 2017-08-31 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited コンテンツ・ソースの拡張
JP2019020528A (ja) * 2017-07-13 2019-02-07 株式会社メガチップス 電子メロディ特定装置、プログラム、及び電子メロディ特定方法
JP2019020527A (ja) * 2017-07-13 2019-02-07 株式会社メガチップス 電子メロディ特定装置、プログラム、及び電子メロディ特定方法
JP2020016742A (ja) * 2018-07-25 2020-01-30 ヤマハ株式会社 情報処理装置および情報処理方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG142138A1 (en) * 2003-06-05 2008-05-28 Nec Corp Music data delivery system which enables to download a music data to an on-board player of a rental car and the music data delivery method of the same
JP2007531933A (ja) * 2004-03-26 2007-11-08 ノキア コーポレイション 移動局および入力メディアサンプルから特徴抽出可能に構成したインターフェース
US8060008B2 (en) 2004-04-07 2011-11-15 Nokia Corporation Mobile station and interface adapted for feature extraction from an input media sample
KR100623119B1 (ko) 2005-05-12 2006-09-13 주식회사 케이티프리텔 음원정보에 따른 컨텐츠 제공자별 부가서비스 설정 방법
JP2008131257A (ja) * 2006-11-20 2008-06-05 Megachips Lsi Solutions Inc 地上デジタルラジオの楽曲保存方法
JP2009020459A (ja) * 2007-07-13 2009-01-29 Yamaha Corp 音声処理装置およびプログラム
EP2112785A1 (en) 2008-04-23 2009-10-28 Sony Ericsson Mobile Communications Japan, Inc. Content distribution during content reproduction using specific software
US9356795B2 (en) 2008-04-23 2016-05-31 Sony Corporation Communication terminal, wireless communication network system and content distribution method
JP2013526095A (ja) * 2010-02-24 2013-06-20 アルカテル−ルーセント ユーザによって受信されるビデオ番組を検出するための方法およびサーバ
JPWO2013008956A1 (ja) * 2011-07-14 2015-02-23 日本電気株式会社 音響処理方法と音響処理システム、ビデオ処理方法とビデオ処理システム、音響処理装置およびその制御方法と制御プログラム
US9215350B2 (en) 2011-07-14 2015-12-15 Nec Corporation Sound processing method, sound processing system, video processing method, video processing system, sound processing device, and method and program for controlling same
WO2013008956A1 (ja) * 2011-07-14 2013-01-17 日本電気株式会社 音響処理方法と音響処理システム、ビデオ処理方法とビデオ処理システム、音響処理装置およびその制御方法と制御プログラム
JP2017525023A (ja) * 2014-07-30 2017-08-31 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited コンテンツ・ソースの拡張
JP2019020528A (ja) * 2017-07-13 2019-02-07 株式会社メガチップス 電子メロディ特定装置、プログラム、及び電子メロディ特定方法
JP2019020527A (ja) * 2017-07-13 2019-02-07 株式会社メガチップス 電子メロディ特定装置、プログラム、及び電子メロディ特定方法
JP7025144B2 (ja) 2017-07-13 2022-02-24 株式会社メガチップス 電子メロディ特定装置、プログラム、及び電子メロディ特定方法
JP7025145B2 (ja) 2017-07-13 2022-02-24 株式会社メガチップス 電子メロディ特定装置、プログラム、及び電子メロディ特定方法
JP2020016742A (ja) * 2018-07-25 2020-01-30 ヤマハ株式会社 情報処理装置および情報処理方法
JP7159674B2 (ja) 2018-07-25 2022-10-25 ヤマハ株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP4433594B2 (ja) 2010-03-17

Similar Documents

Publication Publication Date Title
JP4788810B2 (ja) 楽曲同定装置及び方法、楽曲同定配信装置及び方法
US8462950B2 (en) System and method for extracting, decoding, and utilizing hidden data embedded in audio signals
JP4045330B2 (ja) テキスト表示およびタイトルの遠隔データベースとの通信機能を有する再生装置
JP4196419B2 (ja) データ送受信システム、データ受信装置及びデータ送受信方法
US20170127105A1 (en) Digital media distribution system and method
JP2000066688A (ja) 移動通信網を用いたカラオケサービス方法及びそのシステム
WO2005006611A1 (ja) 報記録装置、情報記録方法及び情報記録プログラム
JP2002169726A (ja) 情報処理装置および方法、並びにプログラム格納媒体
JPH11127150A (ja) データ送受信システム及びデータ送受信方法並びにデータ受信装置及びデータ受信方法
JP4433594B2 (ja) 楽曲同定装置及び方法
JP2007164659A (ja) 音楽情報を利用した情報配信システム及び情報配信方法
AU3256100A (en) Playing audio of one kind in response to user action while playing audio of another kind
JP2002149171A (ja) データ受信装置、受信状況表示方法およびデータ送信方法
JP2002058013A (ja) 放送情報コンテンツ配信システム、放送情報コンテンツ配信サイト、ユーザ受信端末、ユーザ受信プログラムを記録したコンピュータ読み取り可能な記録媒体及び放送情報コンテンツ配信方法
JP2002169784A (ja) 情報処理装置および方法、並びにプログラム格納媒体
JP2005274992A (ja) 楽曲識別用情報検索システム、楽曲購入システム、楽曲識別用情報取得方法、楽曲購入方法、オーディオ信号処理装置およびサーバ装置
JP2003022337A (ja) コンテンツ配信システム及び方法、情報提供装置、並びに情報端末装置
KR101128673B1 (ko) 통신장치, 통신 방법 및 통신 프로그램
KR100988578B1 (ko) 재생장치 및 재생방법
JP2002162973A (ja) 放送された音楽の検索方法
JP2002196769A (ja) 曲名確定システム
JP5132949B2 (ja) データ転送装置、外部端末装置、データ転送システム、データ転送方法、及び転送制御プログラム
WO2005006229A1 (ja) 通信装置、通信装置の通信方法、および通信装置の通信プログラム
KR100294169B1 (ko) 저장 매체와 암호키를 이용한 음악파일 재생장치 및 그 방법
JP2002049377A (ja) 視聴コンテンツ再生装置及び視聴コンテンツ配信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091221

R151 Written notification of patent or utility model registration

Ref document number: 4433594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees