JP2000187671A

JP2000187671A - ネットワ―クを利用した歌声による曲検索システム及び検索時に用いる歌声の入力端末装置

Info

Publication number: JP2000187671A
Application number: JP10378084A
Authority: JP
Inventors: Tomoya Sonoda; 智也園田
Original assignee: Individual
Current assignee: Individual
Priority date: 1998-12-21
Filing date: 1998-12-21
Publication date: 2000-07-04

Abstract

(57)【要約】【課題】歌声による曲検索に於いては、検索を実施する
処理と歌声の処理をする部分が、同一の装置上にあった
ので、検索者間で曲データベースの共有や遠隔地にある
曲データベースを検索することが困難であった。また、
歌声の旋律情報のうち、音長情報を有効に利用して検索
することが困難であった。【解決手段】歌声を入力する装置と検索するシステムと
を分離することで、ネットワークを利用した曲検索を実
施することが可能となり、また、歌声から得られる音高
・音長に含まれる誤差を許容するために実施する粗いマ
ッチングに於いて、音高・音長情報の両者を有効に利用
するための閾値が決定出来、しかも、粗さの精度を任意
に変更してマッチングすることができ、さらに、曲デー
タベース中の曲が更新された場合にも、更新された曲デ
ータベースに対して、最適な閾値を直ちに決定すること
が出来、音高・音長を利用したことによる正答率の高い
曲検索が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ネットワークを
利用した歌声による曲検索システム及び曲検索時に用い
る歌声の入力端末装置に関し、更に詳しくはメロディを
口ずさんでマイクロホンにより歌声を入力し、音声波形
をＡ／Ｄ変換し、歌声からメロディ中の各音符の音高情
報と音長情報とを抽出し、得られた音高・音長情報をネ
ットワーク経由で遠隔地にある曲データベースを有する
検索システムに転送し、曲検索を実施する曲検索システ
ム及び曲検索時に用いる歌声の入力端末装置に関するも
のである。

【０００２】

【発明が解決しようとする課題】公知の歌声による曲検
索法またはシステムに於いて、曲検索に用いる曲データ
ベースは、検索者が検索する端末装置に予め内蔵されて
いたので、複数の検索者間でデータの共有が不可能であ
った。

【０００３】また、公知の歌声による曲検索法またはシ
ステムに於いては、音符の旋律情報（音高・音長の２つ
を属性値として有する音符の系列）のうち、主に音高情
報を検索キーとして利用し、音長情報を検索キーとした
検索は、比較的精度が低いことが指摘されていた。しか
し、音長情報は、本来有効な情報であり、音長を適切に
利用できれば、精度が高い曲検索ができるはずである。

【０００４】検索者の入力の歌声から得られる旋律情報
は、曲データベース中の各曲の有する旋律情報と調・テ
ンポが一致するとは限らない。そこで、入力の歌声と曲
データベースの各曲から得られる音高・音長に於いて、
各音符の有する音高・音長を、前音からの相対音高差・
相対音長比に変換してマッチングに利用する必要があ
る。

【０００５】また、入力の歌声には、検索者の記憶違い
や歌唱能力による誤差が含まれるので、その誤差を許容
した粗いマッチングを行う必要がある。この際、入力の
歌声と曲データベース中の各曲から得られる音高・音長
に於いて、各相対値を、粗い精度の相対値に変換するた
め、適当な閾値を利用する。

【０００６】例えば、相対音高差に於いては、半音の幅
の音高差を閾値として、前音から「上がった（ＵＰ）、
下がった（ＤＯＷＮ）、同じ高さ（ＥＱＵＡＬ）」とい
う３つの粗い精度の相対値のカテゴリを表す記号列Ｕ、
Ｄ、Ｅ等に変換する。この変換を用いると、「チューウ
リップの歌」の最初の「ドレミドレミ」という音高の系
列は、「ＸＵＵＤＵＵ」に変換できる（最初の音には相
対値がないので、Ｘで表現する）。

【０００７】また、相対音長比に対しても、適当な閾値
を利用し、例えば前音から「長くなった（ＬＯＮＧＥ
Ｒ）、短くなった（ＳＨＯＲＴＥＲ）、同じ長さ（ＥＱ
ＵＡＬ）」という３つのカテゴリを表す記号列Ｌ、Ｓ、
Ｅ等に変換する。

【０００８】従来、粗いマッチングに使用する閾値に
は、経験的に定めた値を使用していた。しかし、検索に
有効な粗い精度の相対値を得るための適切な閾値を、経
験的に定めることは難しかった。特に、音長に対する適
切な閾値を決定することは、音高と比較して困難であっ
た。このため、音長を有効に利用した検索ができなかっ
た。

【０００９】音長を有効に利用せずに、音高のみを利用
した曲検索では、正答率の高い検索を実現することが困
難であった。

【００１０】

【課題を解決するための手段】この発明は、曲データベ
ースを保有する検索システムと検索者の歌声の入力端末
装置とを分離することで、多数の検索者が曲データベー
スを共有でき、また、曲データベース中の各曲中に出現
するすべての音高・音長の情報分布に基づいて、粗いマ
ッチングに使用する閾値を設定することで、適切な値を
設定し、音高だけでなく、音長をも有効に利用して曲検
索を実施する歌声による曲検索システムと、検索者側の
端末機に内蔵または外付けするマイクロホンと、Ａ／Ｄ
コンバータと、デジタル信号処理をする演算部と、ネッ
トワーク経由でデジタル信号を送受信するための入出力
部と、プログラムを記憶させたメモリと、検索した結果
を検索者の端末機に表示するディスプレイと、曲演奏を
出力する音の出力部から成る歌声の入力端末装置であ
る。

【００１１】

【発明の作用】ネットワークを利用した曲検索システム
を可能とするため、遠隔地の検索者が曲検索を実施でき
る。さらに、曲検索システムに於いて、曲データベース
の各曲中に出現するすべての音高・音長の情報分布に基
づき、最適な閾値を決定するので、音高・音長の両者を
有効に利用した曲検索が可能となり、音高のみと比較し
て正答率が極めて高い検索が可能となる。また、歌声の
入力端末装置を曲検索システムと分離したことで、曲検
索システムは、歌声の音声波形を処理する負荷を無視で
きるので、検索処理は高速化し、歌声の入力端末装置を
携帯電話や自動車内に設けられることが可能となる。

【００１２】

【実施例】この出願の特許請求の範囲の請求項１記載の
発明に係るネットワークを利用した歌声による曲検索シ
ステムの実施例を説明する。図３に於いて、この発明に
係るネットワークを利用した歌声による曲検索システム
は、曲データベースを保有する曲検索システムＡと、検
索者の歌声入力端末装置Ｂの２つに分けられる。該曲検
索システムＡの前処理として曲データベース中の各曲の
音高・音長系列から相対音高差・音長比の系列を求め
（Ｓ１０１）、その相対音高差・相対音長比の値の度数
分布表を作成する（Ｓ１０２）。図１に於いて、相対音
高差は、半音の幅を１００で表現した値で正規化してお
り、図２に於いて、相対音長比をパーセンテージで表現
している。

【００１３】音高・音長に関する夫々の度数分布表の総
度数をＳｕｍ１、Ｓｕｍ２とし、夫々の度数分布表の粗
い精度の相対値のカテゴリ数をＣａｔｅｇｏｒｙＮｕ
ｍ１、ＣａｔｅｇｏｒｙＮｕｍ２とする。このとき、
閾値によって分割される各カテゴリ内の度数の合計値の
期待値Ｍ１、Ｍ２を夫々Ｍ１＝Ｓｕｍ１／Ｃａｔｅｇｏ
ｒｉＮｕｍ１、Ｍ２＝Ｓｕｍ２／Ｃａｔｅｇｏｒｙ
Ｎｕｍ２で定める。図１、図２に於いては、夫々カテゴ
リ数を３で表す。

【００１４】この様にして作成した度数分布表から音高
・音長夫々の閾値を決定し（Ｓ１０３）、曲データベー
ス中の各曲の旋律に現われる各音符間の相対音高差・相
対音長比を夫々粗い相対値へ変換する（Ｓ１０４）。

【００１５】検索者側の歌声入力時の処理として、メロ
ディを口ずさんでマイクロホン１０で入力し（Ｓ１０
５）、Ａ／Ｄコンバータ１２でＡ／Ｄ変換し（Ｓ１０
６）、該Ａ／Ｄ変換信号を記憶部（ｍｅｍｏｒｙ）１６
に書き込み、該記憶部１６に記録されているプログラム
に従って、演算部（ｐｒｏｃｅｓｓｏｒ）１４の処理に
於いて、該Ａ／Ｄ変換信号から有声音を検出し（１０
７）、該検出有声音から各フレームの基本周波数を同定
する（Ｓ１０８）。

【００１６】有声音の発音開始時刻を各音符の発音開始
時刻として区切り、次の音符の発音開始時刻の時間差
（フレーム数）を、その音符の持つ音長として定め、さ
らに、各音符の音長として定められた区間に含まれる各
フレームの基本周波数のうち最大値を、その音符の音高
として定める（Ｓ１０９）。

【００１７】得られた音高・音長から前音からの相対音
高差・相対音長比を計算し（Ｓ１１０）、該相対音高差
・相対音長比を、ネットワーク経由で曲検索システムＡ
に送信する。

【００１８】該曲検索システムＡは、検索者から送信さ
れた歌声の旋律の相対音高差・相対音長比の系列を、シ
ステムの前処理で得られた閾値を用いて、夫々粗い相対
値の系列に変換し（Ｓ１１１）、曲データベース中の各
曲の粗い相対値と照合し、入力キーと曲データベースの
各曲との音高・音長の距離を曲データベースについて夫
々計算し（Ｓ１１２）、その和が最小となる曲名等の情
報を検索結果として検索者の入力端末装置Ｂのディスプ
レイ（ｄｉｓｐｌａｙ）２０に表示する（Ｓ１１３）。

【００１９】該入力端末装置Ｂは、該曲検索システムＡ
から受信した曲名等の情報を、該ディスプレイ２０に表
示し、検索結果の表示後、再び歌声の入力が可能とな
る。また、検索者は検索結果中から任意の曲を選択し、
該記憶部１６に接続された音出力部２２によって曲演奏
を聞くことができる。

【００２０】図４に於いて、この発明に係る入力端末装
置Ｂは、マイクロホン１０によって検索者の歌声を入力
でき、歌声のアナログの音響信号をデジタルデータに変
換する該Ａ／Ｄコンバータ１２によってデジタル処理す
るデジタル信号に変換し、該記憶部１６に書き込み、該
デジタル信号を処理するための演算部１４は、演算プロ
グラムを予め記憶させた記憶部１６の中からプログラム
を読み取って該デジタル信号を処理し、ネットワーク
（ｎｅｔｗｏｒｋ）への入出力部１８に該処理済みのデ
ータを出力する。

【００２１】検索結果は、該曲検索システムＡから受信
し、検索者に結果を該ディスプレイ２０に表示する。ま
た、検索結果中の任意の曲の演奏を該音出力部２２によ
って聞くことができる。

【００２２】

【発明の効果】（１）この発明に係るネットワークを利
用した歌声による曲検索システムによれば、遠隔地にあ
る曲データベースに対して検索を実施することが可能と
なるので、この発明に係る入力端末装置Ｂを、様々な場
所や所望の物に設置することで、複数の検索者が同じ曲
データベースに対して検索することが可能となる。

【００２３】（２）この発明に係る入力端末装置Ｂを、
自動車内のラジオやオーディオ機器に内蔵させ、無線通
信ネットワークによって曲検索を可能とすることで、自
動車の走行中に運転者がハンドルから手を離すことな
く、歌声で曲を選ぶことがきで、安全に運転しながら、
曲検索が可能となる。

【００２４】（３）この発明に係る入力端末装置Ｂを、
カラオケボックスや家庭用の通信カラオケシステムに内
蔵または外付けすれば、曲名や歌手名の分からない曲で
も歌声によって検索可能となり、しかも検索を高速に実
施できる。

【００２５】（４）この発明に係る入力端末装置Ｂを、
レコード店や楽譜を販売している店舗等に設置すること
で、所望の曲を歌声で確実に検索でき、店舗内にない曲
でも検索可能となる。また、店員がその曲に関する知識
を持たない場合でも、検索して見付け出すことができる
可能性が大きくなる。

【００２６】（５）この発明に係る入力端末装置Ｂを、
携帯電話や小型の携帯端末機等に内蔵することで、任意
の場所でネットワーク経由で曲検索が可能となる。

【００２７】（６）この発明に係るネットワークを利用
した歌声による曲検索システムによれば、曲データベー
ス中の各曲から得られる粗い精度の相対音高差・相対音
長比は、各カテゴリの情報が、およそ等確率で出現され
る様に変換される。例えば、粗い精度の相対音高差に於
いて、カテゴリ数が、Ｕ、Ｅ、Ｄの３つの場合は、曲デ
ータベース全体で、それら３つがほぼ等確率で出現され
る様に変換される。そして、カテゴリ数が、５つの場合
は、曲データベース全体で、それら５つがほぼ等確率で
出現される様に変換される。このため、粗いマッチング
（粗い精度の相対値を利用したＤＰマッチング）に於い
て、曲データベース中の各曲が有する系列の中から、入
力系列の１音符ごとに、カテゴリ数分の１の割合で、検
索結果の正答の候補となり得る系列を絞込んでいくこと
が可能となり、効率の良い絞込みが可能となる。

【００２８】（７）この発明に係るネットワークを利用
した歌声による曲検索システムによれば、曲データベー
ス中の各曲に含まれる音高・音長の分布に偏りがある場
合でも、適切な閾値の決定が可能となる。例えば、図１
に於いて、相対音高差がより右側に度数が集中する場合
（前の音よりも高くなったという音符が多かった場
合）、閾値はより右側に移動し、各カテゴリの情報の出
現確率が等しくなる様に設定出来る。

【００２９】（８）この発明に係るネットワークを利用
した歌声による曲検索システムによれば、閾値の決定法
に於いて、粗い精度の相対音高差・相対音長比は、従来
から利用されてきた３つのカテゴリにとどまらず、５つ
や７つ等、任意の粗さの精度数に分割することができる
ため、より精度の高いマッチングを実施する際も、適切
な閾値の設定が可能となる。

【００３０】（９）また、この発明に係るネットワーク
を利用した歌声による曲検索システムによれば、曲デー
タベース中の曲が更新された場合でも、直ちに適当な閾
値を決定することが可能となる。

【００３１】（１０）さらに、この発明に係るネットワ
ークを利用した歌声による曲検索システムを実施するこ
とにより、歌詞の分からない曲を検索する場合でも、音
高・音長の２つを利用して精度の高い検索が可能とな
る。

【図面の簡単な説明】

【図１】この発明に係るネットワークを利用した歌声に
よる曲検索システムに於いて、曲データベース中の全て
の曲について出現する音高の相対音高差の分布表を作成
し、粗さ精度を３つのカテゴリＵ、Ｅ、Ｄとして閾値を
決定する分布表の略図である。

【図２】この発明に係るネットワークを利用した歌声に
よる曲検索システムに於いて、曲データベース中の全て
の曲について出現する音長の相対音長比の分布表を作成
し、粗さ精度を３つのカテゴリＬ、Ｅ、Ｓとして閾値を
決定する分布表の略図である。

【図３】この発明に係るネットワークを利用した歌声に
よる曲検索システムの処理の流れを示すフロー・チャー
トである。

【図４】この発明に係る検索者側の歌声の入力端末装置
の略図である。

【符号の説明】

Ａ・・・曲検索システム；Ｂ・・・歌声の入力端末装置；１０・・・マイクロホン；１２・・・Ａ／Ｄコンバータ；１４・・・演算部；１６・・・演算プログラムと処理データとを記憶させた
記憶部；１８・・・ネットワークへの入出力部；２０・・・ディスプレイ；２２・・・音出力部。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年６月１８日（１９９９．６．１
８）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１９

【補正方法】変更

【補正内容】

【００１９】該入力端末装置Ｂは、該曲検索システムΛ
から受信した曲名等の情報を、該ディスプレイ２０に表
示し、検索結果の表示後、再び歌声の入力が可能とな
る。また、検索者は検索結果中から任意の曲を選択し、
該記憶部１６に接続されたＤ／Ａコンバータ２４を有す
る音出力部２２によって曲演奏を聞くことができる。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【符号の説明】 Λ・・・曲検索システム；Ｂ・・・歌声の入力端末装置；１０・・・マイクロホン；１２・・・Λ／Ｄコンバータ；１４・・・演算部；１６・・・演算プログラムと処理データとを記憶させた
記憶部；１８・・・ネットワークへの入出力部；２０・・・ディスプレイ；２２・・・音出力部；２４・・・Ｄ／Ａコンバータ。

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】

Claims

【特許請求の範囲】

【請求項１】音声による曲検索に於いて、検索者側の歌
声の入力端末装置を用いて歌声を入力し、ネットワーク
を経由して遠隔地にある曲データベースに対して曲検索
し、検索時の粗いマッチングを実施する際に利用する閾
値を、該曲データベース中の各曲に含まれる音高・音長
の情報分布を利用して決定し、該閾値を利用して該曲デ
ータベース中の所望の曲名を検索し、ネットワーク経由
で曲名、曲のデジタル音響信号データ、歌詞、作曲者
名、作詞者名、楽譜等の情報を送信して検索者の端末機
に出力する歌声による曲検索システム。
【請求項２】曲検索を実施するために用いる検索者側の
端末機に内蔵または外付けされたマイクロホンと、Ａ／
Ｄコンバータと、デジタル信号処理をする演算部と、ネ
ットワーク経由でデジタル信号を送受信するための入出
力部と、プログラムを記憶させたメモリと、検索した結
果を検索者の端末機に表示するディスプレイと、曲演奏
を出力する音の出力部から成る歌声の入力端末装置。