JP2016102962A - 聴取者評価を考慮したカラオケ採点システム - Google Patents

Abstract

【課題】 採点基準となる歌唱採点リファレンスデータを用いた歌唱採点に加えて、聴取者の評価を適切に反映する。【解決手段】 各カラオケ楽曲の歌唱採点リファレンスデータと、特定の歌唱技法（例えばシャウト）を検出する特定歌唱技法検出手段２７を備える。歌唱採点手段２８は、任意のカラオケ楽曲の演奏に際して、歌唱者用マイクロホン１３から出力される歌唱音声信号と、当該カラオケ楽曲の歌唱採点リファレンスデータとを比較して歌唱採点値を算出するとともに、特定歌唱技法検出手段２７により特定歌唱技法を検出した際に算出された歌唱技法点を、特定動作検知手段（聴取者用マイクロホン１４、生体センサ１５、カメラ１６）により検知された聴取者の特定動作を評価した評価値に応じて加点し、歌唱採点値と評価値に応じて加点された歌唱技法点とに基づいて総合歌唱採点値を算出する。【選択図】図１

Description

本発明はカラオケ採点システムに関するものであり、詳しくは、採点基準となる歌唱採点リファレンスデータ及び歌唱技法の検出を用いた歌唱採点に加えて、聴取者の評価を適切に反映することが可能なカラオケ採点システムに関するものである。

カラオケ演奏装置における歌唱採点とは、マイクロホンから入力された歌唱音声から音高データ、音量データ、リズムを抽出し、この抽出された歌唱音声データと演奏楽曲の主旋律等からなる歌唱採点リファレンスデータを比較し、比較結果である得点にて、歌唱者と他の歌唱者との歌唱力の優劣の判断を行うものである。

しかし、このような従来の歌唱採点方法では、当然に、採点基準となる歌唱採点リファレンスデータに近い歌唱を行うことができる歌唱者が高得点を得ることができるが、例えば、歌唱者以外の聴取者は、実際には、算出された得点よりもあまり上手くないと感じる場合がある一方、算出された得点よりも上手いと感じる場合もある。すなわち、採点基準となる歌唱採点リファレンスデータを用いた採点結果と、実際に聴取者が感じる歌唱の巧拙とが異なっていることがある。また、歌唱採点リファレンスデータとの比較では評価できないシャウト、ビブラート、ロングトーン、しゃくり、フォール、こぶし等のように、歌唱を上手に聴かせるための特殊な歌唱技法を検出し、評価するための技術も開示されている。例えば特許文献１には「こぶし」の検出や評価に関する技術が、特許文献２には「シャウト」の検出や評価に関する技術が、それぞれ開示されている。しかしこれらの技術を用いた評価においても、上述した従来の歌唱採点方法と同様、実際に聴取者が感じる歌唱の巧拙とは異なることがある。

このような問題に対して、種々の提案がなされている。例えば、特許文献３には、聴取者がカラオケリモコン装置に歌唱評価点を入力することにより、歌唱者の歌唱を評価することができる技術が開示されている。また、特許文献４には、楽曲を予約する際に、歌唱楽曲の楽曲ＩＤと予約した携帯端末の端末ＩＤとを紐付けて予約待ち行列に登録することにより、演奏楽曲に紐付けられている以外の携帯端末すなわち歌唱者が所持するものではなく同席者の所有する携帯端末に、採点入力許可情報を送信する技術が開示されている。

また、カラオケ演奏装置に関する技術分野ではないが、特許文献５には、コンサートホールに設置されたカメラやマイクロホンを用いて、聴取者の拍手や手拍子、喝采等と、その時の動作の速さや、声の大きさについて分析することにより、聴取者の興奮度、集中度、盛り上がり度等を検出し、演奏されている電子楽器やコンサートホールの照明等を制御する技術が開示されている。

特開２００８−２６８３７０号公報 特開２０１２−０７８７０１号公報 特開平８−１１５０９１号公報 特開２００９−２８８６８４号公報 特開平４−１７４６９６号公報

しかしながら、特許文献３及び特許文献４に開示された技術は、歌唱者が楽曲の歌唱を終了した時に、聴取者が評価値を入力するものであるため、実際に聴取者が歌唱者の歌唱を聴いて盛り上がった区間や、逆にあまり盛り上がらず、あるいは関心がなかった区間などを、聴取者による歌唱評価として適切に反映することができない。

また、特許文献５に開示されている技術を用いて、歌唱者以外の聴取者の盛り上がりに応じて歌唱採点を行うことも考えられる。しかし、様々な楽曲が歌唱されるカラオケシステムでは、楽曲により盛り上がる区間が異なるため、特許文献５に記載された技術のように、単にカメラやマイクロホンから入力された映像や音声から聴取者の盛り上がり度等を検出し、歌唱評価として反映した場合には、たまたま、聴取者がやかましいだけとか、歌唱者が挑発的なポーズをとっただけでも、聴取者が盛り上がっているとして判断され、現実とは異なる高い歌唱採点が算出されてしまうという欠点がある。

本発明は、上述した事情に鑑み提案されたもので、採点基準となる歌唱採点リファレンスデータを用いた歌唱採点及び歌唱技法を検出して評価することにより算出した歌唱技法点に加えて、聴取者の評価を適切に反映することが可能なカラオケ採点システムを提供することを目的とする。

本発明に係る聴取者評価を考慮したカラオケ採点システム（以下、カラオケ採点システムと略記する）は、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明に係るカラオケ採点システムは、聴取者の評価を適切に反映して歌唱採点を行うことが可能なカラオケ採点システムであって、歌唱者用マイクロホンと、特定動作検知手段と、歌唱採点リファレンスデータと、特定歌唱技法検出手段と、歌唱採点手段とを備えている。

歌唱者用マイクロホンは、歌唱音声の入力に基づいて歌唱音声信号を出力するための装置である。特定動作検知手段は、聴取者の特定動作を検知するための手段である。歌唱採点リファレンスデータは、各カラオケ楽曲について、少なくとも主旋律データを含むデータである。特定歌唱技法検出手段は、歌唱者用マイクロホンから出力される歌唱音声信号に基づいて、特定の歌唱技法を検出し、評価することにより歌唱技法点を算出するための手段である。

歌唱採点手段は、任意のカラオケ楽曲の演奏に際して、歌唱者用マイクロホンから出力される歌唱音声信号と、当該カラオケ楽曲の歌唱採点リファレンスデータとを比較して歌唱採点値を算出するとともに、特定歌唱技法検出手段により特定歌唱技法を検出した際に算出された歌唱技法点を、特定動作検知手段により検知された聴取者の特定動作を評価した評価値に応じて加点し、歌唱採点値と評価値に応じて加点された歌唱技法点とに基づいて総合歌唱採点値を算出するための手段である。

また、上述した構成に加えて、歌唱採点手段は、特定歌唱技法検出手段が特定の歌唱技法を検出して歌唱技法点を算出した際に、当該歌唱技法が検出されてから所定時間内に特定動作検知手段により聴取者の特定動作が検知された場合には、当該特定動作を評価した評価値に応じて歌唱技法点を加点し、当該歌唱技法が検出されてから所定時間内に特定動作検知手段により聴取者の特定動作が検知されなかった場合には、歌唱技法点を加点しないことが好ましい。

また、上述した構成に加えて、特定動作検知手段は、カメラ、聴取者用マイクロホン、生体センサの少なくとも１つとすることが可能である。

また、上述した構成に加えて、特定動作検知手段は、聴取者の特定動作として声援の大きさ、拍手の大きさ、体温の上昇、スタンディング、身体の揺れの少なくとも１つを検出することが可能である。

また、上述した構成に加えて、特定動作検知手段は、聴取者の特定動作を評価する際の評価項目として興奮度、声援、集中度、拍手の少なくとも１つを評価することが可能である。

また、上述した構成に加えて、特定歌唱技法検出手段は、特定の歌唱技法としてシャウト、ビブラート、ロングトーン、しゃくり、フォール、こぶしの少なくとも１つを検出することが可能である。

本発明のカラオケ採点システムでは、従来技術のように、聴取者が歌唱者の歌唱終了後にカラオケリモコン装置や携帯端末を用いて歌唱評価を行うのではなく、歌唱者の特定の歌唱技法（例えば、シャウト）を評価して算出した歌唱技法点を、聴取者の特定動作（例えば、興奮度の上昇）の検出結果に応じて加点する。このため、聴取者が歌唱者の特定の歌唱技法を聴いて盛り上がった時や、反対に盛り上がらなかった時などを歌唱評価に反映することが可能となる。

また、従来の歌唱採点のように、歌唱リファレンスデータと歌唱音声信号との比較による評価及び歌唱技法の検出による評価だけではなく、聴取者の反応も交えて歌唱評価を行い採点値を算出することができるので、聴取者の評価を反映した適切な評価を行うことが可能となる。

本発明の実施形態に係るカラオケ採点システムの概略構成を示すブロック図。 歌唱採点方法の一例を示す模式図。

以下、図面を参照して、本発明のカラオケ採点システムの実施形態について説明する。図１及び図２は本発明の実施形態に係るカラオケ採点システムを説明するもので、図１はカラオケ採点システムの概略構成を示すブロック図、図２は歌唱採点方法の一例を示す模式図である。

＜カラオケ採点システムの概要＞
本発明の実施形態に係るカラオケ採点システム１００は、歌唱採点リファレンスデータを用いた歌唱採点及び歌唱技法を検出して評価することにより算出した歌唱技法点に加えて、聴取者の評価を適切に反映することが可能なシステムであり、図１に示すように、カラオケ演奏装置１０に適用するシステムである。このカラオケ採点システム１００は、特定動作検知手段として機能する聴取者音声用マイクロホン１４、生体センサ１５、カメラ１６と、特定歌唱技法検出手段２７と、歌唱採点手段２８とを備えており、歌唱採点手段２８では、歌唱採点リファレンスデータに基づいて歌唱採点を行うとともに、特定歌唱技法検出手段２７により特定歌唱技法を検出し評価することにより算出した歌唱技法点に、聴取者の特定動作の検出結果に応じて加点を行い、総合的な歌唱採点値を算出する。

本実施形態では、歌唱採点リファレンスデータ等の各種データをカラオケ演奏装置１０に記憶しているが、これらのデータをサーバ（図示せず）に記憶し、ルータ及びデータ通信回線を介して、カラオケ演奏装置１０とサーバとの間でデータの送受信を行うことにより、本発明の機能を発揮させてもよい。また、サーバを備えた場合には、利用者の個人情報や歌唱履歴等を総合的に管理することができる。

以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜カラオケ演奏装置＞
本発明の実施形態に係るカラオケ採点システム１００を適用するカラオケ演奏装置１０は、図１に示すように、カラオケ本体１１、カラオケリモコン装置１２、歌唱者用マイクロホン１３、聴取者用マイクロホン１４、生体センサ１５、カメラ１６、表示装置１７、ミキシングアンプ１８、スピーカ１９を備えている。聴取者用マイクロホン１４、生体センサ１５、カメラ１６は、特定動作検知手段として機能する装置であり、これらの装置の全てを備えていてもよいが、いずれか１つ以上の装置により特定動作検知手段を構成してもよい。

＜カラオケリモコン装置＞
カラオケリモコン装置１２は、ユーザインタフェース機能を備えており、ルータ４０及びデータ通信回線５０を介して、カラオケ本体１１との間でデータの送受信を行うようになっている。なお、カラオケリモコン装置１２とルータ４０との間は、赤外線通信等の無線通信によりデータの送受信を行う。このカラオケリモコン装置１２は、楽曲検索手段１２ａとして機能するプログラム、楽曲索引データベース１２ｂ、種々のデータを記憶するためのデータ記憶部１２ｃ、データの入出力を行うための入出力表示部１２ｄを備えている。

このカラオケリモコン装置１２に付帯するスイッチ類や、入出力表示部１２ｄに表示される各種のアイコン等を操作することにより、ログイン操作、選曲操作、演奏制御操作等、カラオケ演奏に必要な制御が実行される。なお、カラオケリモコン装置１２を用いて行われる操作は、これらに限定されるものではなく、カラオケ演奏装置１０における各種操作を行うことが可能である。

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段１２ａは、利用者の指示に基づき、楽曲索引データベース１２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース１２ｂは、カラオケ演奏装置１０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・アーティスト名・歌い出し部分の歌詞・流行時期・音楽ジャンル・デュエット曲か否かなど、種々の属性情報がこれに含まれている。楽曲検索手段１２ａは、利用者による指示入力に基づき、楽曲索引データベース１２ｂを参照して楽曲を検索する。

＜歌唱者用マイクロホン／スピーカ＞
歌唱者用マイクロホン１３は、歌唱音声の入力に基づいて歌唱音声信号を出力するための装置である。歌唱者用マイクロホン１３から入力された歌唱音声は歌唱音声信号として出力され、ミキシングアンプ１８により、音楽再生制御手段３１から送出されるカラオケ演奏信号とミキシングされるとともに増幅され、スピーカ１９へ出力される。また、歌唱者用マイクロホン１３からの音声入力信号は、Ａ／Ｄコンバータ３２によりデジタル変換し、歌唱採点手段２８における採点値の生成に使用される。

＜聴取者用マイクロホン＞
聴取者用マイクロホン１４は、聴取者の声援や歓声の入力に基づいて聴取者音声信号を出力するための装置である。聴取者用マイクロホン１４から入力された声援や歓声は聴取者音声信号として出力され、無線通信または有線通信によりカラオケ本体１１の聴取者動作データ受信手段２９に送信される。聴取者用マイクロホン１４は、例えばカラオケルームの天井や壁面上部などに設置され、指向性マイクであれば聴取者が座っている客席等に向けて固定されるのが望ましい。

＜生体センサ＞
生体センサ１５は、聴取者の身体に装着する腕時計型のセンサや、聴取者から非接触で情報を取得することが可能なサーモグラフィ等を使用して、聴取者の心拍数、呼吸数、体温、重力加速度（身体の動き）等、聴取者の動作に関連する種々のデータをリアルタイムに取得するための装置である。生体センサ１５により取得したデータは、無線通信または有線通信によりカラオケ本体１１の聴取者動作データ受信手段２９に送信される。

＜カメラ＞
カメラ１６は、聴取者の動作を撮影するための装置であり、例えば、ビデオカメラにより構成することができる。カメラ１６から出力される映像信号は、無線通信または有線通信によりカラオケ本体１１の聴取者動作データ受信手段２９に送信される。なお、カメラ１６は、聴取者の動作検出等の解析用映像を撮影するための装置であるため、聴取者エリア全体を俯瞰して撮影できるように、撮影方向を固定するとともに、焦点距離の調整を行わない固定焦点式であることが好ましい。

＜表示装置＞
表示装置１７は、カラオケ楽曲に関連した背景映像や歌詞テロップ、歌唱採点結果等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

＜カラオケ本体＞
カラオケ本体１１は、中央制御手段２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４、送受信制御手段２５、予約楽曲管理手段２６、特定歌唱技法検出手段２７、歌唱採点手段２８、聴取者動作データ受信手段２９、映像再生制御手段３０、音楽再生制御手段３１、Ａ／Ｄコンバータ３２を備えている。

＜中央制御手段＞
中央制御手段２１は、カラオケ本体１１を総合的に制御するための電子機器であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ２２等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ２２は、カラオケ本体１１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための電子機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ２３は、プログラムや各種データを一時的に記憶する一時記憶領域として機能する電子機器で、例えば半導体メモリ等で構成される。本実施形態では、ＲＡＭ２３に予約楽曲管理テーブル２３ａが記憶される。

＜ＨＤＤ＞
ＨＤＤ２４は、大容量記憶装置として機能する電子機器で、楽曲データベース２４ａ、背景映像データベース２４ｂ、歌唱採点リファレンスデータベース２４ｃが格納されている。なお、ＨＤＤ２４に替えて、あるいはＨＤＤ２４と共に、データを書き替え可能なＤＶＤやＳＳＤ等の大容量記憶手段を用いてもよい。

＜楽曲データベース／背景映像データベース＞
楽曲データベース２４ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞描出データが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けしてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。背景映像データベース２４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた背景映像ファイルとして所定数格納したデータベースである。

また、楽曲データベース２４ａを構成する各楽曲データは、演奏区間を表す演奏区間データを含んでいる。この演奏区間データは、演奏の進行に伴い変化する曲調を表したもので、Ａメロ、Ｂメロ、サビ、間奏、ラスト等からなる。

＜歌唱採点リファレンスデータベース＞
歌唱採点リファレンスデータベース２４ｃは、各カラオケ楽曲の歌唱採点リファレンスデータにより構成されるデータベースである。歌唱採点リファレンスデータベース２４ｃを構成する歌唱採点リファレンスデータは、少なくともカラオケ楽曲の主旋律データを含んだデータである。この歌唱採点リファレンスデータは、歌唱採点の基本データとなるデータであり、歌唱採点手段２８の機能により、歌唱者用マイクロホン１３から出力される歌唱音声信号をＡ／Ｄコンバータ３２によりデジタル変換し、この歌唱音声信号と歌唱採点リファレンスデータとを比較して歌唱採点値を算出する。

＜送受信制御手段＞
送受信制御手段２５は、カラオケリモコン装置１２やサーバ（図示せず）との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。この送受信制御手段２５の機能により、カラオケリモコン装置１２やサーバ（図示せず）との間で送受信するデータ及び信号の同期や誤り制御等を行う。また、送受信制御手段２５の機能として、ログイン操作におけるデータの送受信制御を行わせることができる。

ログイン操作とは、例えば、利用者が所持する携帯情報端末を用いてシステムログインするためのデータ（例えば、カラオケ演奏装置１０や携帯情報端末の識別情報）をサーバに送信する操作のことである。システムログインするためのデータを受信したサーバは、該当するカラオケ演奏装置１０に対して、当該利用者の利用者ＩＤ等を送信する。なお、ログイン操作は、このような態様に限られず、システムログインした利用者を特定して、利用者ＩＤを取得するための操作であれば、どのような態様であってもよく、例えば、カラオケリモコン装置１２を用いてログイン操作を行ってもよい。

＜予約楽曲管理手段／予約楽曲管理テーブル＞
予約楽曲管理手段２６は、任意の利用者がカラオケ楽曲の予約を行う際に、当該利用者の利用者ＩＤと予約楽曲の楽曲ＩＤとを対応付けして、予約楽曲管理テーブル２３ａで管理するためのプログラムからなる。すなわち、予約楽曲管理手段２６は予約楽曲管理テーブル２３ａを作成し、この予約楽曲管理テーブル２３ａをＲＡＭ２３に格納して管理する。予約楽曲管理テーブル２３ａは、利用者により楽曲検索手段１２ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて作成したデータテーブルである。

＜聴取者動作データ受信手段＞
聴取者動作データ受信手段２９は、特定動作検知手段として機能する聴取者用マイクロホン１４、生体センサ１５、カメラ１６からの動作信号を受信するためのインターフェースからなる。図１に示す例では、聴取者動作データ受信手段２９により、聴取者用マイクロホン１４、生体センサ１５、カメラ１６から動作信号を受信しているが、それぞれ別個のデータ受信手段によりデータを受信するように構成してもよい。動作信号の送受信は、無線通信で行ってもよいし、有線通信で行ってもよいが、特に生体センサ１５との間における通信は無線通信であることが好ましい。

＜特定歌唱技法検出手段＞
特定歌唱技法検出手段２７は、歌唱者用マイクロホン１３から出力される歌唱音声信号に基づいて、特定の歌唱技法を検出し、検出された歌唱技法を評価して歌唱技法点を算出するためのプログラムからなる。特定の歌唱技法とは、例えば、シャウト、ビブラート、ロングトーン、しゃくり、フォール、こぶし等のように、歌唱を上手に聴かせるための技法のことである。

例えば、シャウトは、歌唱区間、あるいは間奏区間等で、「ワォ」、「イェーイ」等のように歌唱者の感情を表現する歌唱技法である。このシャウトを検出する方法は、例えば、特開２０１４−９２５５０号公報に詳しく記載されている。また、ビブラートは歌唱において音を伸ばすとき、その音の見かけの音高を保ちながら、その音の高さを揺らす歌唱技法であり、ロングトーンは同一音高で長く音を伸ばす歌唱技法であり、しゃくりは設定された音高よりも低い音をまず発声した後に、本来の音高に近づけてゆく歌唱技法であり、フォールは設定された音高よりも高い音を発声した後に、本来の音高に近づけてゆく歌唱技法であり、こぶしは基本となる旋律の中で音を細かく動かす装飾音的な歌唱技法のことである。

特定歌唱技法検出手段２７では、歌唱採点リファレンスデータを採点基準とするのではなく、歌唱者が駆使する特殊な歌唱技法を評価しているため、歌唱採点リファレンスデータに基づく歌唱採点とは区別して歌唱技法点を算出する。なお、特定歌唱技法検出手段２７で加算対象とする特定の歌唱技法は、上述したものの中から少なくとも１つを含んでいればよく、さらに、上述したもの以外の歌唱技法について評価対象としてもよい。

＜歌唱採点手段＞
歌唱採点手段２８は、基本的に、カラオケ演奏時に入力される歌唱音声から歌唱の巧拙を評価して採点値（採点データ）を生成するためのプログラムからなり、本発明では、歌唱採点が指示されたカラオケ楽曲の演奏に際して、例えば１５ｍｓｅｃといった微小区間毎に、歌唱用マイクロホン１３から入力された歌唱音声信号から、音高データ、音量データ等の歌唱音声データを抽出し、現在演奏しているカラオケ楽曲の主旋律からなる歌唱採点リファレンスデータと、抽出した歌唱音声データとを比較することにより、歌唱採点値を算出するとともに、特定歌唱技法検出手段２７により特定歌唱技法を検出して歌唱技法点を算出した際に、当該歌唱技法が検出されてから所定時間内に特定動作検知手段（聴取者用マイクロホン１４、生体センサ１５、カメラ１６）により聴取者の特定動作が検出された場合には、その検出結果に応じて歌唱技法点を加点し、歌唱採点値と加点された歌唱技法点とに基づいて総合歌唱採点値を算出するようになっている。一方、当該歌唱技法が検出されてから所定時間内に特定動作検知手段により聴取者の特定動作が検出されなかった場合には、歌唱採点値と特定歌唱技法検出手段２７により算出されたそのままの歌唱技法点とに基づいて総合歌唱採点値を算出する。

本実施形態で採用している聴取者の特定動作の評価項目は興奮度であるが、このほかに、声援、集中度、拍手等を特定動作の評価項目としてもよい。興奮度とは、聴取者の動きと聴取者マイクロホン１４の入力値が規定値を超えた場合、または生体センサ１５にて監視している聴取者の平均体温が上昇した場合の評価項目である。声援とは、聴取者マイクロホン１４の入力値が規定値を超えた場合の評価項目である。集中度とは、聴取者の動きが一致している、または無駄な動作がない場合の評価項目である。拍手とは、聴取者の拍手音を検知して、聴取者マイクロホン１４の入力値が規定値を超えた場合の評価項目である。各評価項目は、段階的に評価することができ、本発明においてはプラス点のみ考慮して歌唱技法点を加点したが、マイナス点も算出するよう基準を設け歌唱技法点を減点するような構成としてもよい。また、各評価項目を評価する際には、現在ログインしている歌唱者以外の利用者を聴取者の人数とし、この聴取者の人数を考慮し各評価項目を評価してもよい。

すなわち、歌唱採点手段２８は、歌唱採点リファレンスデータと歌唱音声を所定の歌唱区間ごとに比較することにより歌唱の巧拙を評価して歌唱採点値を求め、さらに、特定歌唱技法（例えば、シャウト）を検出して歌唱技法点を算出した際に、聴取者の特定動作（例えば、興奮度の上昇）が検出されるとその歌唱技法点を加点して、歌唱採点値と共に総合的な歌唱採点結果データを出力する。歌唱採点手段２８による採点結果は、総合的な歌唱採点結果として表示装置１７の表示画面やカラオケリモコン装置１２の入出力表示部１２ｄ等に表示される。

聴取者の動作に基づく歌唱技法の評価、歌唱リファレンスデータとの比較に基づく歌唱採点結果、総合的な歌唱採点結果は、例えば、演奏区間毎に表示するとともに、演奏終了後にすべての演奏区間における集計値を表示する。また、聴取者の動作に基づく歌唱技法の評価、歌唱リファレンスデータとの比較に基づく歌唱採点結果の表示を省略して、総合的な歌唱採点結果のみを表示してもよいし、演奏区間毎の表示を省略して、演奏終了後に各評価の表示を行ってもよい。

この歌唱採点手段２８における歌唱採点は、基本的には、利用者がカラオケリモコン装置１２の入出力表示部１２ｄを用いて歌唱採点指示入力を行った場合にのみ実施するが、特定の歌唱者についてのみ実施してもよいし、すべての歌唱者について実施してもよい。歌唱採点を行うための指示入力は、例えば、楽曲の予約時に行うが、演奏の楽曲が開始するまでの間であれば、選曲予約後に歌唱採点を行うための指示入力を行ってもよい。

＜歌唱採点方法＞
図２を参照して、本実施形態における歌唱採点方法について説明する。上述したように、歌唱採点手段２８は、歌唱採点リファレンスデータと歌唱音声を比較することにより歌唱の巧拙を評価して歌唱採点値を算出する。ここで、歌唱採点値が例えば９０点であったとする。また、特定歌唱技法検出手段２７により特定歌唱技法（例えば、シャウト）を検出して歌唱技法点を算出した際に、当該特定歌唱技法が検出されてから所定時間内に聴取者の特定動作（興奮度の上昇）が検知されると歌唱技法点を加点する。

図２に示す例では、特定歌唱技法としてシャウト２回及びこぶし１回を検出し、それぞれの歌唱技法点が特定歌唱技法検出手段２７により１．０点（シャウト１）、０．８点（シャウト２）、０．６点（こぶし１）と算出された。この時、シャウト１が検出された所定時間（例えば２秒）以内に聴取者の特定動作として閾値を超えた興奮度が検出されその評価値が１．１５と評価されたので、シャウト１の歌唱技法点は１．０＊１．１５＝１．１５と加算された。同様にシャウト２においては評価値が１．２０と評価され、歌唱技法点は０．８＊１．２０＝０．９６と加算された。他方、こぶし１が検出された所定時間以内には聴取者の特定動作として閾値を超えた興奮度は検出されなかったため、その歌唱技法点は０．６のままとなった。

したがって、３回の歌唱技法の合計点は２．４０点から２．７１点に加点され、歌唱採点手段は歌唱採点値９０点と歌唱技法点２．７１点とに基づいて、総合歌唱採点値９２．７１点を出力するものである。なお、歌唱技法としてシャウト及びこぶしにより歌唱技法点を算出し、聴取者の特定動作として興奮度を評価しているが、他の歌唱技法について、興奮度だけではなく他の評価項目を用いてもよいし、任意の歌唱技法と任意の聴取者の特定動作とを関連付けて重み付けを行ってもよい。また、歌唱者が特定歌唱技法を駆使した（シャウトした）にも関わらず、聴取者の興奮度が上昇しなかった場合には、減点（マイナス点を加算）してもよい。

上述したように、聴取者の興奮度は、声援の大きさ、拍手の大きさ、体温の上昇、スタンディング、身体の揺れ等に基づいて評価することができ、例えば１．００〜１．５０の範囲で対応する各歌唱技法点に乗算することにより当該歌唱技法点を加点する。なお、特定動作は、これらのうちの少なくとも一つを含んでいればよく、また、他の動作を特定動作としてもよい。また、評価値の算出方法は、どのような方法であってもよい。

＜音楽再生制御手段＞
音楽再生制御手段３１は、楽曲ＩＤに対応する楽曲データから抽出された演奏制御データに基づいて、音源（シンセサイザ）を駆動しカラオケ演奏信号を構成する楽音信号を生成するとともにアナログ変換してミキシングアンプ１８に出力するための電子機器である。また、ミキシングアンプ１８は、歌唱者用マイクロホン１３から入力された歌唱者の歌唱音声信号と、音楽再生制御手段３１から送出されるカラオケ演奏信号とをミキシングすると共に、アンプ機能により増幅してスピーカ１９より出力するための装置である。

＜映像再生制御手段＞
映像再生制御手段３０は、カラオケ楽曲の演奏中に、背景映像データベース２４ｂから抽出した背景映像データと、楽曲データに含まれる歌詞描出データに基づいて作成される歌詞文字とを、当該カラオケ楽曲の楽曲データに同期させて表示装置１７に出力するための電子機器である。

１００ カラオケ採点システム
１０ カラオケ演奏装置
１１ カラオケ本体
１２ カラオケリモコン装置
１２ａ 楽曲検索手段
１２ｂ 楽曲索引データベース
１２ｃ データ記憶部
１２ｄ 入出力表示部
１３ 歌唱者用マイクロホン
１４ 聴取者用マイクロホン(特定動作検知手段)
１５ 生体センサ(特定動作検知手段)
１６ カメラ(特定動作検知手段)
１７ 表示装置
１８ ミキシングアンプ
１９ スピーカ
２１ 中央制御手段
２２ ＲＯＭ
２３ ＲＡＭ
２３ａ 予約楽曲管理テーブル
２４ ＨＤＤ
２４ａ 楽曲データベース
２４ｂ 背景映像データベース
２４ｃ 歌唱採点リファレンスデータベース
２５ 送受信制御手段
２６ 予約楽曲管理手段
２７ 特定歌唱技法検出手段
２８ 歌唱採点手段
２９ 聴取者動作データ受信手段
３０ 映像再生制御手段
３１ 音楽再生制御手段
３２ Ａ／Ｄコンバータ
４０ ルータ
５０ データ通信回線

Claims (6)

1. 聴取者の評価を適切に反映して歌唱採点を行うことが可能なカラオケ採点システムであって、
   歌唱音声の入力に基づいて歌唱音声信号を出力する歌唱者用マイクロホンと、
   聴取者の特定動作を検知する特定動作検知手段と、
   各カラオケ楽曲について、少なくとも主旋律データを含む歌唱採点リファレンスデータと、
   前記歌唱者用マイクロホンから出力される歌唱音声信号に基づいて、特定の歌唱技法を検出し、評価することにより歌唱技法点を算出する特定歌唱技法検出手段と、
   任意のカラオケ楽曲の演奏に際して、前記歌唱者用マイクロホンから出力される歌唱音声信号と、当該カラオケ楽曲の前記歌唱採点リファレンスデータとを比較して歌唱採点値を算出するとともに、前記特定歌唱技法検出手段により前記特定歌唱技法を検出した際に算出された歌唱技法点を、前記特定動作検知手段により検知された聴取者の前記特定動作を評価した評価値に応じて加点し、前記歌唱採点値と前記評価値に応じて加点された歌唱技法点とに基づいて総合歌唱採点値を算出する歌唱採点手段と、
   を備えたことを特徴とする聴取者評価を考慮したカラオケ採点システム。
2. 前記歌唱採点手段は、前記特定歌唱技法検出手段が特定の歌唱技法を検出して歌唱技法点を算出した際に、当該歌唱技法が検出されてから所定時間内に前記特定動作検知手段により聴取者の特定動作が検知された場合には、当該特定動作を評価した評価値に応じて歌唱技法点を加点し、当該歌唱技法が検出されてから所定時間内に前記特定動作検知手段により聴取者の特定動作が検知されなかった場合には、歌唱技法点を加点しないことを特徴とする請求項１に記載の聴取者評価を考慮したカラオケ採点システム。
3. 前記特定動作検知手段は、カメラ、聴取者用マイクロホン、生体センサの少なくとも１つであることを特徴とする請求項１または２に記載の聴取者評価を考慮したカラオケ採点システム。
4. 前記特定動作検知手段は、聴取者の特定動作として声援の大きさ、拍手の大きさ、体温の上昇、スタンディング、身体の揺れの少なくとも１つを検出することを特徴とする請求項１乃至３のいずれか１項に記載の聴取者評価を考慮したカラオケ採点システム。
5. 前記特定動作検知手段は、聴取者の特定動作を評価する際の評価項目として興奮度、声援、集中度、拍手の少なくとも１つを評価することを特徴とする請求項１乃至４のいずれか１項に記載の聴取者評価を考慮したカラオケ採点システム。
6. 前記特定歌唱技法検出手段は、特定の歌唱技法としてシャウト、ビブラート、ロングトーン、しゃくり、フォール、こぶしの少なくとも１つを検出することを特徴とする請求項１乃至５のいずれか１項に記載の聴取者評価を考慮したカラオケ採点システム。

Images