JP2001075985A

JP2001075985A - 音楽検索装置

Info

Publication number: JP2001075985A
Application number: JP25034199A
Authority: JP
Inventors: Kazuhiro Sato; 一博佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-09-03
Filing date: 1999-09-03
Publication date: 2001-03-23

Abstract

(57)【要約】【課題】曲の一部の歌唱やハミングを入力すること
で、曲名を知らなくても比較的短時間に選曲が可能な音
楽検索装置の実現を課題とする。【解決手段】音楽検索装置において、歌唱やハミング
を入力するマイクロフォン１０と、複数の曲の音楽デー
タを記憶するハードディスク装置７と、マイクロフォン
１０から入力された歌唱やハミングをＡ／Ｄ変換器１で
ディジタル変換し、ディジタル信号処理プロセサ２で信
号処理して、ハードディスク装置７に記憶されている複
数の曲の音楽データと比較してマッチングをとり検索を
行う音楽データ比較検索手段としてのＲＯＭ４、ＣＰＵ
５、ＲＡＭ６などを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音楽検索装置に関
し、特に歌唱やメロディのハミングなどによって検索が
可能な音楽検索装置に関する。

【０００２】

【従来の技術】インターネットや電子機器、カラオケな
どにおいて、曲の選択は通常曲名を基に行われ、曲名が
分からない場合は、歌手別の曲名リストを参照するか、
歌い出し部分のリストを参照して曲名に辿りつくなどの
方法が採られていた。したがって、利用者が曲名を記憶
していなければ選曲が難しく、ことに歌っている歌手名
や歌いだしの歌詞も分からない場合には、例えば曲の一
部のメロディを知っていたとしても、所望の曲に辿りつ
くことができなかった。

【０００３】これを解決する方法として、メロディのハ
ミングによって特定音楽とのマッチングをとる技術が提
唱されている（蔭山哲也、高島洋典：「ハミング歌唱を
手掛かりとするメロディ検索」、電子情報通信学会論文
集Vol.J77-D-II,No.8,1999/4/8 pp.1543-1551 ）。しか
しながら、提案されている方法では検索に多大な時間が
かかり、実用化はかなり難しいのが現実である。

【０００４】

【発明が解決しようとする課題】上述のごとく、従来の
音楽検索装置は曲名による検索が主であり、利用者が所
望の曲名を記憶していなければ選曲ができないという問
題があった。また、歌手別の曲名リストや歌い出し部分
のリストを参照するにしても選曲の条件が限られてお
り、選曲に間違いが多い。また、メロディのハミングに
よって特定音楽とのマッチングをとる技術が提案されて
いるものの、検索に多大な時間がかかり、実用的でない
という問題があった。本発明は、比較的簡単な方法でこ
の問題を解決し、曲の一部の歌唱やハミングを入力する
ことで、曲名を知らなくても比較的短時間に選曲が可能
な音楽検索装置の実現を課題とする。

【０００５】

【課題を解決するための手段】上記課題を達成するた
め、本発明は、入力された歌唱またはハミングを用い
て、所望の曲を選択する音楽検索装置において、歌唱ま
たはハミングを入力する音声入力手段と、複数の曲の音
楽データを記憶する音楽記憶手段と、前記音声入力手段
から入力された歌唱またはハミングをデータとして前記
音楽記憶手段に記憶されている前記複数の曲の音楽デー
タと比較してマッチングをとり検索を行う音楽データ比
較検索手段とを具備することを特徴とする。これによ
り、曲名が分からない場合でも、歌唱またはハミングを
利用して、比較的短時間に目的とする曲を検索すること
が可能になる。

【０００６】

【発明の実施の形態】以下、本発明にかかる音楽検索装
置を添付図面を参照にして詳細に説明することにする。

【０００７】図１は、本発明の音楽検索装置の一実施の
形態のシステムブロック図である。図１において、符号
１はＡ／Ｄ変換器、符号２はＤＳＰ（ディジタル信号処
理プロセサ）、符号３は表示装置、符号４はＲＯＭ、符
号５はＣＰＵ、符号６はＲＡＭ、符号７はＨＤＤ（ハー
ドディスク装置）、符号８はＤ／Ａ変換器、符号９は時
計機構、符号１０はマイクロフォンである。

【０００８】ＲＯＭ４とＲＡＭ６はＣＰＵ５とともに動
作し、ＲＯＭ４に記述されているソフトウェアにより、
この音楽検索装置は稼働する。マイクロフォン１０より
入力される歌唱またはハミング信号は、Ａ／Ｄ変換器１
によってディジタル化される。そうして、ディジタル化
された信号はＤＳＰ２によって信号処理され、リズムお
よび音程が抽出される。

【０００９】ＨＤＤ７は２０Ｇバイトの大容量ハードデ
ィスクであり、ＭＰＥＧ１（MovingPicture coding Exp
erts Group ：カラー動画像蓄積用符号化方式の標準化
作業グループで作業されていた符号化方式の１つ。転送
速度が１．５Ｍビット／秒程度で、主としてＣＤ−ＲＯ
Ｍなどを対象とした同画像の圧縮方式で、ＩＳＯ／ＩＥ
Ｃの標準方式にもなっている。）によって圧縮された音
楽データが約３０００曲記憶されている。音楽データ
は、各々の曲と共に、曲名、演奏者、演奏者の性別、音
楽ジャンル、発売年、静かな曲か騒がしい曲か等のデー
タも記憶されている。

【００１０】先にＤＳＰ２によって信号処理され、抽出
されたリズムおよび音程は、いったんＲＡＭ６に記憶さ
れる。ＣＰＵ５はＨＤＤ７内の曲をデコードして各曲の
リズムおよび音程を抽出する。この抽出されたデータ
は、ＲＡＭ６に記憶されているマイクロフォン１０より
入力された信号から抽出されたリズムおよび音程のデー
タとＣＰＵ５により比較され、マッチング率が求められ
る。マッチング率はＨＤＤ７内の全曲について求められ
る。ＣＰＵ５は、こうして求められたマッチング率の高
い曲から順に曲名などを表示装置に送って表示させると
共に、これらの曲のマイクロフォン１０より歌唱または
ハミングとして入力された部分に対応するフレーズ部分
をＤ／Ａ変換器８によって音楽再生させる。この中で、
希望曲が見つかれば、その曲を指定することにより、そ
の曲全部が再生される。

【００１１】この歌唱またはハミングによる検索フロー
チャートを図２に示す。ステップ１００でフローチャー
トがスタートすると、ステップ１０１でマイクロフォン
１０より入力された音声信号をＡ／Ｄ変換器１でＡ／Ｄ
変換してディジタル化し、ＲＡＭ６に取り込む。次にス
テップ１０２で、取り込んだ音声信号からリズムおよび
音程を抽出する。次にステップ１０３で、ＨＤＤ７内の
曲データから各曲のリズムおよび音程を抽出する。そう
して、ステップ１０４で、リズム、音程のマッチング率
を求め、マッチング率の高い曲から表示および再生を行
い、ステップ１０５で終了する。

【００１２】以上のような歌唱またはハミングによる検
索に、他のパラメータの検索を組み合わせた例を以下に
示す。まず、マイクロフォン１０に向かい歌唱またはハ
ミングを入力する。その後、作曲者名としてベートーベ
ン、演奏者の性別の男などのキーワードを入力する。こ
れにより、ＨＤＤ７内の曲の検索を行うときにベートー
ベンと男というキーワードと一致した曲に対して歌唱ま
たはハミングによるマッチング率を出すことになるの
で、極めて短時間で検索できるようになる。

【００１３】また、特定話者検出を併用することによ
り、音声認識によってだれが話しているのかが分かる。
例えば、音声登録している家族が５才の男子、３０才の
女性、８０才の男性であった場合、特定話者検出により
５才男と特定された場合は、幼児曲を最優先に検索を行
い、その後、その中から歌唱またはハミングによるマッ
チング率の高い曲を捜し出す。同様に、８０才男の場合
は演歌を中心に検索を行う。また、８０才男の場合で
も、クラシックを頻繁に聞いている場合は演歌との検索
割合の比較を行い、クラシックの優先順位を上げる。こ
のようにすると、単に歌唱またはハミングによる検索だ
けでは大幅にかかる検索時間を低減でき、かつ、検索対
象曲を低減した後、歌唱またはハミングによる検索を行
うので、検索の信頼性を向上することができる。

【００１４】さらに、歌唱またはハミングによる検索を
行う前に、検索したい曲や、曲の演奏者の情報が分かっ
ている場合、それらを検索情報として入力する。例え
ば、６０年代の曲で、演奏者が４人グループで、演奏者
性別が男性というキーワードを入力する。キーワードの
入力方法は、音声による音声認識でも、キーボードやマ
ウス、リモコンなどによる入力でも、どのような方法で
も差支えない。この後、歌唱またはハミングの入力、あ
るい題名に含まれる“Ｌｅｔ”というキーワードをキー
ボードで、あるいは音声にて“レット”と入力する。こ
れらを用いて検索を実行させれば、数ある“Ｌｅｔ”の
文字が含まれる曲の中からビートルズの“Ｄｏｎ´ｔ
ｌｅｔｍｅｄｏｗｎ”と“Ｌｅｔｉｔｂｅ”が
選ばれ、最終的に歌唱またはハミングの入力とのマッチ
ングから“Ｌｅｔｉｔｂｅ”が高速で検出される。

【００１５】さらに、１日の時間帯や季節の情報を時計
機構９からＣＰＵ５に入力し、この時刻情報、季節情報
を検索機能に加えることもできる。例えば、真夜中に検
索が行われた場合、ＨＤＤ７に情報化されている曲ごと
の、静か、騒がしい等のデータにしたがって、静かを優
先的に検索する。また、８月の検索の場合、夏という文
字が入っている曲から優先的に検索する。

【００１６】また、曲名情報から特定のユーザ層の限定
を行うこともできる。例えば、曲名が“Ｓｈｅ´ｓａ
ｒａｉｎｂｏｗ”のような英文の題名の場合、幼児あ
るいは老人はあまり聞かない可能性が高いので優先順位
を低下させる。一方で、“ひまわり”のようにひらがな
で単純な文字列の題名の場合は、幼児が検索している可
能性が高いと、幼児の場合に優先順位を上げる。さら
に、“拳の道”のような演歌に必ず含まれる文字列が検
出された場合は、老人の場合に可能性が高いとする。な
お、ここで挙げた評価はあくまで評価基準の一例であ
り、青年が演歌を聞く可能性も十分にあるので検索ユー
ザに合わせて決める必要がある。このような曲名や演奏
者名などは、あらかじめＨＤＤ７にテキスト化されて保
存されているため、ＣＰＵ５により容易に分類、検索で
きる。

【００１７】以上の検索システムにおいて、歌唱または
ハミングによるデータを曲から抽出するするのは容易で
はない。そこで、ＭＩＤＩ（Music Insuturument Digit
al Interface：電子音源とコンピュータとを接続して演
奏する場合のインタフェース規格、転送速度３１．２５
ｋビット／秒の非同期シリアル転送である。）音源ある
いは歌詞データを用いて、その元となる曲とのリンクを
とるようにすることにより、マイクロフォン１０より入
力された歌唱またはハミングによるデータとのマッチン
グをとることが高速にできる。

【００１８】また、ＭＩＤＩ音源あるいは歌詞データが
ない場合、あらかじめ、商品が使用されていない時間
に、あるいは、パソコンでは別のスレッドを用いて、バ
ックグランドで各曲のテンポ、音程、歌詞、抑揚など歌
唱またはハミングによるデータ検索に必要なデータを作
成しておく。作成したデータは各々の曲とリンクを取っ
ておく。

【００１９】以上のようにして、検索した結果は通常１
曲ではなく、複数の可能性がある。この場合、複数曲を
文字列で羅列することになる。希望曲が見つかればその
場で選択を行い、その後再生を開始する。また、１曲し
か見つかなかった場合は、すぐに再生を開始する。な
お、曲名を見ても、すぐに自分の聞きたい曲かどうかが
分からない場合が多い。この場合は、曲の歌唱またはハ
ミングによる入力フレーズと同等の部分を抽出して音楽
再生を自動的に行う。複数の曲が検索されたとしても、
再生が各々１フレーズであるため、短時間で終了し、か
つ、自分の聞き覚えのある部分のみが自動的に再生され
るため非常に分かりやすい。

【００２０】以上のように、本発明によれば、曲名が分
からなくても、歌唱やハミングを入力することで曲を検
索することが可能になる。また、あらかじめ、検索キー
ワードの指定やだれが話しているかを明確にしてから歌
唱やハミングを用いる検索を行うことで、より短時間に
検索を行うことが可能になる。さらに、既存のＭＩＤＩ
や歌詞を用いることによって、歌唱やハミングに関する
基礎データを容易に構築することができ、これらを用い
てより効率的に検索を行うことが可能になる。

【００２１】

【発明の効果】以上説明したように本発明の請求項１の
発明は、入力された歌唱またはハミングを用いて、所望
の曲を選択する音楽検索装置において、歌唱またはハミ
ングを入力する音声入力手段と、複数の曲の音楽データ
を記憶する音楽記憶手段と、音声入力手段から入力され
た歌唱またはハミングをデータとして音楽記憶手段に記
憶されている複数の曲の音楽データと比較してマッチン
グをとり検索を行う音楽データ比較検索手段とを具備す
ることを特徴とする。これにより、曲名が分からなくて
も、歌唱やハミングを入力することで曲を検索すること
が可能になる。

【００２２】本発明の請求項２の発明は、音声入力手段
より入力される音声信号を用いて音声認識を行う音声認
識手段と、利用者に関する情報を記憶する利用者情報蓄
積手段とを有し、音声認識手段によって、あらかじめ登
録してある利用者を特定し、特定された利用者特有の利
用者情報蓄積手段に記憶された蓄積情報を用いて、比較
検索手段における検索効率を向上することを特徴とす
る。これにより、利用者の好みによって検索対象の曲の
優先順位を変えて、短時間に検索することが可能にな
る。

【００２３】本発明の請求項３の発明は、検索用に用い
るキーワードを入力するキーワード入力手段と、このキ
ーワード入力手段によって入力されたキーワードによる
検索を実行するキーワード検索手段とを有し、音楽デー
タ比較検索手段による検索に先だってキーワード検索手
段による検索を行うことを特徴とする。これにより、歌
唱やハミングによる検索に先だってキーワード検索を行
い、歌唱やハミングによる検索の対象を限定することが
でき、検索を短時間に実行することが可能になる。

【００２４】本発明の請求項４の発明は、時計機構を有
し、検索時の絶対年月日時刻を用いて曲検索の優先順位
を変えることを特徴とする。これにより、季節や時刻に
応じて検索対象の優先順位を変えて、検索を短時間に実
行することが可能になる。

【００２５】本発明の請求項５の発明は、音楽記憶手段
に記憶されている音楽データをあらかじめカテゴリ分類
するカテゴリ分類手段を有することを特徴とする。この
ように音楽データをてあらかじめカテゴリ分類しておく
ことにより、検索を容易にし、検索を短時間に実行する
ことができる。

【００２６】本発明の請求項６の発明は、カテゴリ分類
手段が行うカテゴリ分類の分類用に曲名の文字パターン
および文字内容を用いることを特徴とする。これによ
り、曲名の一部を検索に使うことを可能にし、検索の効
率を向上することができる。

【００２７】本発明の請求項７の発明は、カテゴリ分類
手段が行うカテゴリ分類の分類用に歌唱またはハミング
のメロディの音程、テンポ、歌詞などを用いることを特
徴とする。これにより、曲の一部分のメロディ、テン
ポ、歌詞などを検索に使うことを可能にし、検索の効率
を向上することができる。

【００２８】本発明の請求項８の発明は、ＭＩＤＩ音源
手段を有し、音楽データ比較検索手段はこのＭＩＤＩ音
源手段を検索の補助手段として用いることを特徴とす
る。これにより、曲の音色を符号化して比較検索を容易
にすることができ、検索の速度を向上することができ
る。

【００２９】本発明の請求項９の発明は、検索結果を表
示する表示手段と、検索結果を再生する再生手段とを有
することを特徴とする。これにより、利用者は検索結果
を容易に確かめることができ、検索の効率を向上するこ
とができる。

【００３０】本発明の請求項１０の発明は、再生手段は
音楽データ比較検索手段で検索された検索音楽データの
音声入力手段から入力された歌唱やハミングに相当部分
を再生することを特徴とする。これにより、利用者は検
索結果を容易に短時間で確かめることができ、検索の効
率を向上することができる。

【図面の簡単な説明】

【図１】本発明の音楽検索装置のシステムブロック図。

【図２】本発明の音楽検索装置の歌唱またはハミングに
よる検索のフローチャート。

【符号の説明】

１…Ａ／Ｄ変換器、２…ＤＳＰ（ディジタル信号処理プ
ロセサ）、３…表示装置、４…ＲＯＭ、５…ＣＰＵ、６
…ＲＡＭ、７…ＨＤＤ（ハードディスク装置）、８…Ｄ
／Ａ変換器、９…時計機構、１０…マイクロフォン。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 15/403 ３５０ＣＧ１０Ｌ 3/00 ５３１Ｎ５５１Ｇ

Claims

【特許請求の範囲】

【請求項１】入力された歌唱またはハミングを用い
て、所望の曲を選択する音楽検索装置において、歌唱またはハミングを入力する音声入力手段と、複数の曲の音楽データを記憶する音楽記憶手段と、前記音声入力手段から入力された歌唱またはハミングを
データとして前記音楽記憶手段に記憶されている前記複
数の曲の音楽データと比較してマッチングをとり検索を
行う音楽データ比較検索手段とを具備することを特徴と
する音楽検索装置。
【請求項２】前記音声入力手段より入力される音声信
号を用いて音声認識を行う音声認識手段と、利用者に関
する情報を記憶する利用者情報蓄積手段とを有し、前記音声認識手段によって、あらかじめ登録してある利
用者を特定し、特定された利用者特有の前記利用者情報
蓄積手段に記憶された蓄積情報を用いて、前記比較検索
手段における検索効率を向上することを特徴とする請求
項１に記載の音楽検索装置。
【請求項３】検索用に用いるキーワードを入力するキ
ーワード入力手段と、このキーワード入力手段によって
入力されたキーワードによる検索を実行するキーワード
検索手段とを有し、前記音楽データ比較検索手段による
検索に先だって前記キーワード検索手段による検索を行
うことを特徴とする請求項１に記載の音楽検索装置。
【請求項４】時計機構を有し、検索時の絶対年月日時
刻を用いて曲検索の優先順位を変えることを特徴とする
請求項１に記載の音楽検索装置。
【請求項５】前記音楽記憶手段に記憶されている音楽
データをあらかじめカテゴリ分類するカテゴリ分類手段
を有することを特徴とする請求項１に記載の音楽検索装
置。
【請求項６】前記カテゴリ分類手段が行うカテゴリ分
類の分類用に曲名の文字パターンおよび文字内容を用い
ることを特徴とする請求項５に記載の音楽検索装置。
【請求項７】前記カテゴリ分類手段が行うカテゴリ分
類の分類用に歌唱またはハミングのメロディの音程、テ
ンポ、歌詞などを用いることを特徴とする請求項５に記
載の音楽検索装置。
【請求項８】ＭＩＤＩ音源手段を有し、前記音楽デー
タ比較検索手段はこのＭＩＤＩ音源手段を検索の補助手
段として用いることを特徴とする請求項１に記載の音楽
検索装置。
【請求項９】検索結果を表示する表示手段と、検索結
果を再生する再生手段とを有することを特徴とする請求
項１に記載の音楽検索装置。
【請求項１０】前記再生手段は前記音楽データ比較検
索手段で検索された検索音楽データの前記音声入力手段
から入力された歌唱またはハミングに相当部分を再生す
ることを特徴とする請求項９に記載の音楽検索装置。