JP2009210790A - 選曲歌手分析推薦装置、その方法及びプログラム - Google Patents

Abstract

【課題】歌唱しているユーザの音声に基づき、そのユーザに類似した歌手を推薦する。
【解決手段】通常の会話に係る音声の発声者を特徴づける第一の音声特徴素を発声者別に格納した音響モデル辞書２２１と、歌唱時の音声に係る発声者を特徴づける第二の音声特徴素を、発声者別に格納した歌唱モデル辞書２２２と、デジタル化された音声データを、音響モデル辞書２２１に格納されている第一の音声特徴素と比較分析し、音声データと類似する第一の音声特徴素の発声者を抽出する音響モデル検索部２３１と、デジタル化された音声データを、歌唱モデル辞書２２２に格納されている第二の音声特徴素と比較分析し、音声データと類似する前記第二の音声特徴素の発声者を抽出する歌唱モデル検索部２３２と、を備え、音響モデル検索部２３１での抽出結果及び歌唱モデル検索部２３２での抽出結果から、音声データに類似する音声の発声者をリストアップする。
【選択図】図２

Description

本発明は、歌唱したユーザの音声特徴素を抽出し、この音声特徴素に類似した歌手を推薦する装置、その方法及びプログラムに関する。

従来のカラオケ装置は、歌唱採点機能の付加等を最後にこれといった特徴を持つ装置が見当たらず、カラオケ装置製造各社は製品の差別化が困難であった。

そのため、ユーザの音声を分析することで、そのユーザの音声に合致した音声を有する楽曲検索装置がある。
特開２００５−１１５１６４号公報

しかしながら、特許文献１の楽曲検索装置は、ユーザが携帯電話で通話した音声を基にユーザの音声特徴量を分析しているので、抑揚、音域、発話時間等が通常の会話時とは異なる歌唱時のユーザの音声を把握できず、そのユーザの歌唱時の音声に合致した楽曲を選択することが困難であるという問題があった。

又、楽曲を選択するにおいて、楽曲１曲のみでは比較分析を行うためのサンプル数が少なすぎる可能性があり、選択の妥当性に疑念があった。

本発明は上記に鑑みてなされたもので、歌唱しているユーザの音声に基づき、そのユーザに類似した歌手の推薦が可能な選曲歌手分析推薦装置、その方法及びプログラムを得ることを目的とする。

上述の課題を解決するため、本発明に係る選曲歌手分析推薦装置は、通常の会話に係る音声から抽出可能で、該音声の発声者を特徴づける第一の音声特徴素を、発声者別に格納した第一の辞書と、歌唱時の音声から抽出可能で、該歌唱時の音声に係る発声者を特徴づける第二の音声特徴素を、発声者別に格納した第二の辞書と、デジタル化されたユーザの音声データを、前記第一の辞書に格納されている前記第一の音声特徴素と比較分析し、該音声データと類似する前記第一の音声特徴素の発声者を抽出する第一の検索部と、デジタル化されたユーザの音声データを、前記第二の辞書に格納されている前記第二の音声特徴素と比較分析し、該音声データと類似する前記第二の音声特徴素の発声者を抽出する第二の検索部と、を備え、前記第一の検索部での抽出結果及び前記第二の検索部での抽出結果から、前記音声データに類似する音声の発声者をリストアップすることを特徴とする。

上述の課題を解決するため、本発明に係る選曲歌手分析推薦方法は、通常の会話に係る音声から抽出可能で、該音声の発声者を特徴づける第一の音声特徴素を発声者別に格納した第一の辞書を用い、デジタル化されたユーザの音声データを、前記第一の辞書に格納されている前記第一の音声特徴素と比較分析し、該音声データと類似する前記第一の音声特徴素の発声者を抽出する第一の手順と、歌唱時の音声から抽出可能で、該歌唱時の音声に係る発声者を特徴づける第二の音声特徴素を発声者別に格納した第二の辞書を用いて、デジタル化されたユーザの音声データを、前記第二の辞書に格納されている前記第二の音声特徴素と比較分析し、該音声データと類似する前記第二の音声特徴素の発声者を抽出する第二の手順と、前記第一の手順での抽出結果及び前記第二の手順の抽出結果から、前記音声データに類似する音声の発声者をリストアップする手順と、を備えることを特徴とする。

上述の課題を解決するため、本発明に係る選曲歌手分析推薦プログラムは、通常の会話に係る音声から抽出可能で、該音声の発声者を特徴づける第一の音声特徴素を発声者別に格納した第一の辞書を用い、デジタル化されたユーザの音声データを、前記第一の辞書に格納されている前記第一の音声特徴素と比較分析し、該音声データと類似する前記第一の音声特徴素の発声者を抽出する第一の処理と、歌唱時の音声から抽出可能で、該歌唱時の音声に係る発声者を特徴づける第二の音声特徴素を発声者別に格納した第二の辞書を用いて、デジタル化されたユーザの音声データを、前記第二の辞書に格納されている前記第二の音声特徴素と比較分析し、該音声データと類似する前記第二の音声特徴素の発声者を抽出する第二の処理と、前記第一の処理での抽出結果及び前記第二の処理の抽出結果から、前記音声データに類似する音声の発声者をリストアップする処理と、をコンピュータに実行させることを特徴とする。

デジタル化したユーザの音声データと、辞書に記載された歌手の音声データとを、通常の会話に係る音声から抽出可能な第一の音声特徴素で比較分析するのみならず、歌唱時に特有の第二の音声特徴素でも比較分析することにより、歌唱しているユーザの音声に基づき、そのユーザに類似した歌手の推薦が可能な選曲歌手分析推薦装置、その方法及びプログラムを得ることができる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の実施の形態に係る選曲歌手分析推薦装置が組み込まれたカラオケ装置の構成図である。

図１を参照すると、本発明の実施の形態に係る選曲歌手分析推薦装置が組み込まれたカラオケ装置１は、ユーザが選曲に用いるリモコン１０と、リモコン１０からの選曲に係る選曲信号を受信する信号受信部１１と、選曲信号に基づいて楽曲・映像データベース１２を検索し、検索によって抽出された楽曲の伴奏、歌詞及び映像のデータを読み出す選曲検索読出し部１３と、読み出したデータを再生するまで一時的に保持するスタック部１４と、読み出したデータを再生する楽曲再生部１５と、マイクロフォン１６からのユーザの音声及び楽曲再生部１５が再生した伴奏を合成するミキシングアンプ１７と、ミキシングアンプ１７が合成した伴奏と音声を出力するスピーカ１８と、楽曲再生部１５が再生した歌詞及び映像と選曲推薦歌手と歌唱力点数とを表示するディスプレイ１９と、マイクロフォン１６から入力されたアナログ信号の音声を、デジタル信号に変換し、歌唱力得点判定部２１と、選曲歌手分析推薦部２３とに分配するＡＤ変換分配部２０と、デジタル化されたユーザの音声信号と、楽曲再生部１５から分配された楽曲のメロディラインとを比較することによってユーザの歌唱力を採点する歌唱力得点判定部２１と、デジタル化されたユーザの音声信号と音声特徴辞書２２に格納された歌手の音声特徴とを比較分析して、歌唱しているユーザに音声特徴が類似している歌手の名称を選択し、ディスプレイ１９に表示する選曲歌手分析推薦部２３と、を備える。なお、楽曲・映像のデータをネットワークを介して取得するいわゆる通信カラオケの場合は、楽曲・映像データベース１２と選曲検索読出し部１３との間にネットワークが介在し、選曲検索読出し部１３にはネットワークを介して楽曲・映像データベース１２と通信を行う通信手段を別途備えるものとする。

上述のカラオケ装置１における選曲歌手分析推薦部２３と、音声特徴辞書２２とが、本発明の実施の形態に係る選曲歌手分析推薦装置の主要な構成要素であり、その他の部分については、既存の歌唱採点表示カラオケ装置と共通である。

図２は、本実施の形態に係る選曲歌手分析推薦装置を実施するための最小の構成を示す図である。この図２において、マイクロフォン１６、ＡＤ変換分配部２０、ディスプレイ１９は、図１に示したものと符号も含めて共通するので説明を省略する。

図２において、選曲歌手分析推薦部２３は、図１に示したものと同じであるが、図２においては、その構成をより詳細に示している。

この図２において、音声特徴辞書２２は、カラオケの原曲の歌手に係る音量、音声の周波数成分及び発話速度を第一の音声特徴素として記載した音響モデル辞書２２１と、カラオケの原曲の歌手に係る音声のしゃくり、ビブラート、抑揚、音域及び発話時間を第二の音声特徴素として記載した歌唱モデル辞書２２２と、を備える。

ここで、音響モデル辞書２２１が格納する第一の音声特徴素であるカラオケの原曲の歌手に係る音量、音声の周波数成分及び発話速度は、歌唱のみならず通常の会話からも抽出可能な要素であるが、歌唱モデル辞書２２２が格納する第二の音声特徴素であるカラオケの原曲の歌手に係る音声のしゃくり、ビブラート、抑揚、音域及び発話時間は、通常の会話にはない歌唱特有の要素である。

この音声特徴辞書２２は、本発明の実施の形態に係るカラオケ装置１に備え付けてもよいが、いわゆる通信カラオケとして、ネットワークを経由して本発明の実施の形態に係るカラオケ装置１が辞書のデータを必要に応じて取得するようにしてもよい。

図２において、選曲歌手分析推薦部２３は、マイクロフォン１６から入力されたユーザの音声の音量、その音声の周波数成分及びその音声の発話速度を、音声特徴辞書２２に格納されているカラオケの原曲の歌手に係る第一の音声特徴素である音量、音声の周波数成分及び発話速度を記載した音響モデル辞書２２１と比較分析し、ユーザの音声と音量、周波数成分及び発話速度が類似する歌手のデータを抽出する音響モデル検索部２３１を備える。

さらに選曲歌手分析推薦部２３は、マイクロフォン１６から入力されたユーザの音声のしゃくり、ビブラート、抑揚、音域及び発話時間を、音声特徴辞書２２に格納されているカラオケの原曲の歌手に係る第二の音声特徴素である音声のしゃくり、ビブラート、抑揚、音域及び発話時間を記載した歌唱モデル辞書２２２と比較分析し、ユーザの音声としゃくり、ビブラート、抑揚、音域、発話時間が類似する歌手のデータを抽出する歌唱モデル検索部２３２を備える。なお、ここで「しゃくり」とは、設定された音程よりも低い音をまず発声し、そこから本来の音程に近づけてゆくことであり、「ビブラート」とは、歌唱時における揺れの波形モデルのことである。

又、歌唱モデル検索部２３２は、音響モデル検索部２３１が抽出した結果に基づいて、ユーザの音声と比較分析する歌唱モデル辞書２２２の範囲を限定するようにしてもよい。

例えば、音響モデル検索部２２２でユーザの音声に類似すると判断されて抽出された歌手に係る音声特徴素に限り、歌唱モデル検索部２３２でユーザの音声と比較分析してもよく、これによりユーザの音声に類似する歌手をより高精度でリストアップすることが可能になる。

選曲歌手分析推薦部２３は、音響モデル検索部２３１での抽出結果と歌唱モデル検索部２３２での抽出結果を総合的に判断し、ユーザの音声に類似する歌手のデータを類似している順にリストアップし、選曲推薦歌手としてディスプレイ１９に出力する。

この出力時に、ユーザの音声と類似しているものから（１）、（２）、（３）、のように順位付けを行ってディスプレイ１９に該当する歌手の名称などのデータを表示するようにしてもよい。ここで、ユーザの音声に類似する歌手が音声特徴辞書２２中に存在しない場合は、そのユーザに類似する歌手が不定である旨の（Ｎ）を表示してもよい。

ここで図３は、本実施の形態に係る選曲歌手分析推薦装置の動作を示すフローチャートである。

まず、マイクロフォン１６から入力されたユーザの音声は、ＡＤ変換分配部２０によってデジタル化される（ステップＳ３０１）。

次いで、音響モデル検索部２３１において、デジタル化されたユーザの音声と音量、周波数成分及び発話速度が類似する歌手のデータが音響モデル辞書２２１から検索によって抽出される（ステップＳ３０２）。

続いて、歌唱モデル検索部２３２において、ステップＳ３０３での結果に基づいて歌唱モデル辞書２２２の検索範囲を限定した上で、デジタル化されたユーザの音声としゃくり、ビブラート、抑揚、音域及び発話時間が類似する歌手のデータを歌唱モデル辞書２２２から抽出し（ステップＳ３０３）、この抽出した結果をディスプレイ１９に表示して（ステップＳ３０４）、本実施の形態に係る選曲歌手分析推薦装置の動作は終了する。

ここで、図４は、本実施の形態に係る音響特徴辞書の製作方法を示す図である。

この図４で示すように、まず楽曲１曲目が音声解析される。

この音声解析では、まず、楽曲（主旋律及び伴奏）を含むデジタル音源から主旋律（歌声）が抽出される。

抽出された主旋律は、「音響モデル」と「歌唱モデル」との観点から解析され、その結果から上述の音響モデル辞書２２１と歌唱モデル辞書２２２とが作成される。

「音響モデル辞書」は、歌唱のみならず通常の会話においても見られる音声の音量、音声の周波数成分及び発話速度からカラオケ原曲の歌手の音声を解析するものである。

一方で、「歌唱モデル」は、上述のようにしゃくり、ビブラート、抑揚、音域及び発話時間という、通常の会話にはない歌唱特有の要素に基づいて解析するものである。

「音響モデル」及び「歌唱モデル」の音声解析が行われた後、それぞれの解析結果には解析した曲に係る歌手を識別する符号であるＩＮＤＥＸが付与され、音声特徴素として音響モデル辞書２２１及び歌唱モデル辞書２２２に登録される。

音響モデル辞書２２１における音声特徴素は、上述のように音声の音量、音声の周波数成分及び発話速度である。

又、歌唱モデル辞書２２２における音声特徴素は、上述のようにしゃくり、ビブラート、抑揚、音域及び発話時間である。

楽曲２曲目以降も同様にして「音響モデル」と「歌唱モデル」との観点から音声解析が行われ、その後ＩＮＤＥＸについて音響モデル辞書２２１及び歌唱モデル辞書２２２が検索される。

この検索で、２曲目以降に解析した曲の歌手に係るＩＮＤＥＸが既存の辞書から発見された場合は、２曲目以降の解析結果をそのＩＮＤＥＸに係る音声特徴素に融合（マージ）して、当該歌手に係る音響モデル辞書２２１及び歌唱モデル辞書２２２のデータを充実させることができる。

それぞれの歌手について音響モデル辞書２２１及び歌唱モデル辞書２２２のデータを充実させることにより、本実施の形態において、ユーザの音声に類似した歌手をより精度良く検出できるようになる。

以上のように、本実施の形態に係る選曲歌手分析推薦装置によれば、音声の音量、音声の周波数成分及び発話速度の観点から音声を解析する「音響モデル」に加えて、しゃくり、ビブラート、抑揚、音域及び発話時間という、通常の会話にはない歌唱特有の要素に基づいて音声を解析する「歌唱モデル」によってユーザの歌声に基づく音声と、カラオケ原曲の歌手との類似性を比較分析することにより、そのユーザに合致した歌手のデータを高精度で抽出することができる。

なお、本発明は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。

本発明は、歌唱採点表示カラオケ装置に、ユーザの音声に類似した歌手を選択して表示するという、新たな付加価値を有するカラオケ装置に利用することができる。

本発明の実施の形態に係る選曲歌手分析推薦装置が組み込まれたカラオケ装置の構成図である。 本実施の形態に係る選曲歌手分析推薦装置を実施するための最小の構成を示す図である。 本実施の形態に係る選曲歌手分析推薦装置の動作を示すフローチャートである。 本実施の形態に係る音響特徴辞書の製作方法を示す図である。

符号の説明

１ カラオケ装置
１０ リモコン
１１ 信号受信部
１２ 楽曲・映像データベース
１３ 選曲検索読出し部
１４ スタック部
１５ 楽曲再生部
１６ マイクロフォン
１７ ミキシングアンプ
１８ スピーカ
１９ ディスプレイ
２０ ＡＤ変換分配部
２１ 歌唱力得点判定部
２２ 音声特徴辞書
２３ 選曲歌手分析推薦部
２２１ 音響モデル辞書
２２２ 歌唱モデル辞書
２３１ 音響モデル検索部
２３２ 歌唱モデル検索部

Claims (15)

1. 通常の会話に係る音声から抽出可能で、該音声の発声者を特徴づける第一の音声特徴素を、発声者別に格納した第一の辞書と、
   歌唱時の音声から抽出可能で、該歌唱時の音声に係る発声者を特徴づける第二の音声特徴素を、発声者別に格納した第二の辞書と、
   デジタル化されたユーザの音声データを、前記第一の辞書に格納されている前記第一の音声特徴素と比較分析し、該音声データと類似する前記第一の音声特徴素の発声者を抽出する第一の検索部と、
   デジタル化されたユーザの音声データを、前記第二の辞書に格納されている前記第二の音声特徴素と比較分析し、該音声データと類似する前記第二の音声特徴素の発声者を抽出する第二の検索部と、
   を備え、
   前記第一の検索部での抽出結果及び前記第二の検索部での抽出結果から、前記音声データに類似する音声の発声者をリストアップすることを特徴とする選曲歌手分析推薦装置。
2. 前記第一の辞書は、前記第一の音声特徴素として、発声者の音声の音量、その音声の周波数成分及びその音声の発話速度を格納し、
   前記第二の辞書は、前記第二の音声特徴素として、発声者の音声のしゃくり、ビブラート、抑揚、音域及び発話時間を格納することを特徴とする請求項１に記載の選曲歌手分析推薦装置。
3. 前記第一の辞書には、楽曲から抽出された歌声について音量、周波数成分及び発話速度を解析した結果が、歌手毎に識別可能な符号が付されて第一の音声特徴素として格納され、
   前記第二の辞書には、楽曲から抽出された歌声についてしゃくり、ビブラート、抑揚、音域及び発話時間を解析した結果が、歌手毎に識別可能な符号が付されて第二の音声特徴素として格納されることを特徴とする請求項２に記載の選曲歌手分析推薦装置。
4. 前記第一の辞書及び前記第二の辞書は、新たな楽曲を解析した結果が格納される際に、該新たな楽曲の歌手の符号が既に存在する場合は、該符号に係る音声特徴素に該新たな楽曲の解析結果が融合されることを特徴とする請求項３に記載の選曲歌手分析推薦装置。
5. 前記第二の検索部は、前記第一の検索部が抽出した結果に基づいて、比較分析する前記第二の辞書の範囲を限定することを特徴とする請求項１乃至４のいずれか１項に記載の選曲歌手分析推薦装置。
6. 通常の会話に係る音声から抽出可能で、該音声の発声者を特徴づける第一の音声特徴素を発声者別に格納した第一の辞書を用い、デジタル化されたユーザの音声データを、前記第一の辞書に格納されている前記第一の音声特徴素と比較分析し、該音声データと類似する前記第一の音声特徴素の発声者を抽出する第一の手順と、
   歌唱時の音声から抽出可能で、該歌唱時の音声に係る発声者を特徴づける第二の音声特徴素を発声者別に格納した第二の辞書を用いて、デジタル化されたユーザの音声データを、前記第二の辞書に格納されている前記第二の音声特徴素と比較分析し、該音声データと類似する前記第二の音声特徴素の発声者を抽出する第二の手順と、
   前記第一の手順での抽出結果及び前記第二の手順の抽出結果から、前記音声データに類似する音声の発声者をリストアップする手順と、
   を備えることを特徴とする選曲歌手分析推薦方法。
7. 前記第一の辞書は、前記第一の音声特徴素として、発声者の音声の音量、その音声の周波数成分及びその音声の発話速度を格納し、
   前記第二の辞書は、前記第二の音声特徴素として、発声者の音声のしゃくり、ビブラート、抑揚、音域及び発話時間を格納することを特徴とする請求項６に記載の選曲歌手分析推薦方法。
8. 前記第一の辞書には、楽曲から抽出された歌声について音量、周波数成分及び発話速度を解析した結果が、歌手毎に識別可能な符号が付されて第一の音声特徴素として格納され、
   前記第二の辞書には、楽曲から抽出された歌声についてしゃくり、ビブラート、抑揚、音域及び発話時間を解析した結果が、歌手毎に識別可能な符号が付されて第二の音声特徴素として格納されることを特徴とする請求項７に記載の選曲歌手分析推薦方法。
9. 前記第一の辞書及び前記第二の辞書は、新たな楽曲を解析した結果が格納される際に、該新たな楽曲の歌手の符号が既に存在する場合は、該符号に係る音声特徴素に該新たな楽曲の解析結果が融合されることを特徴とする請求項８に記載の選曲歌手分析推薦方法。
10. 前記第二の手順は、前記第一の手順で抽出した結果に基づいて、比較分析する前記第二の辞書の範囲を限定することを特徴とする請求項６乃至９のいずれか１項に記載の選曲歌手分析推薦方法。
11. 通常の会話に係る音声から抽出可能で、該音声の発声者を特徴づける第一の音声特徴素を発声者別に格納した第一の辞書を用い、デジタル化されたユーザの音声データを、前記第一の辞書に格納されている前記第一の音声特徴素と比較分析し、該音声データと類似する前記第一の音声特徴素の発声者を抽出する第一の処理と、
    歌唱時の音声から抽出可能で、該歌唱時の音声に係る発声者を特徴づける第二の音声特徴素を発声者別に格納した第二の辞書を用いて、デジタル化されたユーザの音声データを、前記第二の辞書に格納されている前記第二の音声特徴素と比較分析し、該音声データと類似する前記第二の音声特徴素の発声者を抽出する第二の処理と、
    前記第一の処理での抽出結果及び前記第二の処理の抽出結果から、前記音声データに類似する音声の発声者をリストアップする処理と、
    をコンピュータに実行させることを特徴とする選曲歌手分析推薦プログラム。
12. 前記第一の辞書は、前記第一の音声特徴素として、発声者の音声の音量、その音声の周波数成分及びその音声の発話速度を格納し、
    前記第二の辞書は、前記第二の音声特徴素として、発声者の音声のしゃくり、ビブラート、抑揚、音域及び発話時間を格納することを特徴とする請求項１１に記載の選曲歌手分析推薦プログラム。
13. 前記第一の辞書には、楽曲から抽出された歌声について音量、周波数成分及び発話速度を解析した結果が、歌手毎に識別可能な符号が付されて第一の音声特徴素として格納され、
    前記第二の辞書には、楽曲から抽出された歌声についてしゃくり、ビブラート、抑揚、音域及び発話時間を解析した結果が、歌手毎に識別可能な符号が付されて第二の音声特徴素として格納されることを特徴とする請求項１２に記載の選曲歌手分析推薦プログラム。
14. 前記第一の辞書及び前記第二の辞書は、新たな楽曲を解析した結果が格納される際に、該新たな楽曲の歌手の符号が既に存在する場合は、該符号に係る音声特徴素に該新たな楽曲の解析結果が融合されることを特徴とする請求項１３に記載の選曲歌手分析推薦プログラム。
15. 前記第二の処理は、前記第一の処理で抽出した結果に基づいて、比較分析する前記第二の辞書の範囲を限定することを特徴とする請求項１１乃至１４のいずれか１項に記載の選曲歌手分析推薦プログラム。

Images