JP2017181661A - 支援装置 - Google Patents

Abstract

【課題】歌唱支援を実行するために、楽曲のリズムがつかめないリズム音痴であるユーザを正確に判別する技術の提供。
【解決手段】支援装置は、取得手段と、特定手段と、導出手段と、評価手段とを備える。取得手段は、指定楽曲における拍の各々のタイミングを表す拍タイミングを含む楽曲データを取得する（Ｓ１１０）。特定手段は、楽曲データに基づく指定楽曲の再生中に、少なくとも一人の聴衆ユーザによって実施された拍手の音を取得し、拍手のタイミングを特定する（Ｓ１４０，Ｓ１７０）。さらに、導出手段は、特定手段で特定した拍手のタイミングの各々と、取得手段で取得した楽曲データ中の拍タイミングの各々とを比較し、ズレ指標を導出する（Ｓ１５０，Ｓ１８０）。そして、評価手段は、導出手段で導出されるズレ指標に基づいて、指定楽曲に対する聴衆ユーザのリズムのズレを評価する（Ｓ２００〜Ｓ２６０）。
【選択図】図２

Description

本発明は、ユーザの歌唱を支援する支援装置に関する。

特許文献１に記載されているように、マイクからの音声信号の無音ポイントと、基準ガイドメロディ信号の無音ポイントとのズレが所定時間以上であれば、歌唱中のユーザが歌唱する曲についてリズム音痴であると判定するカラオケ装置が知られている。

特開平１０−０３１４９５号公報

特許文献１に記載のカラオケ装置では、楽曲を歌唱する歌唱中のユーザの音声が、基準ガイドメロディとずれていたときに、歌唱中のユーザを、歌唱する曲についてリズム音痴と判断している。歌唱中のユーザは、楽曲の旋律を覚えていないためにずれが生じる場合と、楽曲のリズムをつかめないためにずれが生じる場合とがある。楽曲のリズムがつかめないためにリズム音痴と判断されるユーザは、リズム音痴と判断された楽曲の再生時に限らず、他の楽曲であっても楽曲のリズムがつかめない可能性が高い。楽曲のリズムがつかめないためにリズム音痴と判断されるユーザが、他の楽曲でもリズムをつかめるように補助を実行するためには、楽曲のリズムがつかめないためにリズム音痴と判断されたユーザであるか否かを正しく判別すべきである。

しかしながら、特許文献１に記載の技術では、歌唱中のユーザが、楽曲の旋律を覚えていないためにずれが生じる場合と、楽曲のリズムをつかめないためにずれが生じる場合との少なくともいずれかに該当する場合に、リズム音痴と判断されてしまうため、リズム音痴と判断されるユーザが、楽曲のリズムがつかめないユーザであるか否かを正しく判断することができない。

そこで、本発明は、歌唱支援をするために、楽曲のリズムがつかめないリズム音痴であるユーザを正確に判別する技術を提供することを目的とする。

上記目的を達成するためになされた本発明の一態様は、取得手段と、特定手段と、導出手段と、評価手段とを備える、支援装置に関する。
取得手段は、指定楽曲における拍の各々のタイミングを表す拍タイミングを含む楽曲データを取得する。特定手段は、楽曲データに基づく指定楽曲の再生中に、少なくとも一人の聴衆ユーザによって実施された拍手の音を取得し、拍手のタイミングを特定する。

導出手段は、特定手段で特定した拍手のタイミングの各々と、取得手段で取得した楽曲データ中の拍タイミングの各々とを比較し、ズレ指標を導出する。評価手段は、導出手段で導出されるズレ指標に基づいて、指定楽曲に対する聴衆ユーザのリズムのズレを評価する。

このような支援装置によれば、聴衆ユーザによって実施された拍手のタイミングの各々と、楽曲データ中の拍タイミングの各々とを比較して導出されるズレ指標に基づいて、指定楽曲に対する聴衆ユーザのリズムのズレを評価できる。

つまり、支援装置によれば、歌唱支援を実行するために、楽曲のリズムがつかめないリズム音痴であるユーザを正確に判別することができる。
また、本発明の一態様は、取得手段と、特定手段と、導出手段と、記憶制御手段とを備える、支援装置に関する。

記憶制御手段は、導出手段で導出されるズレ指標を、拍手を実施した聴衆ユーザを識別するユーザ識別情報及び指定楽曲の属性を示す楽曲属性情報と対応付けて記憶装置に記憶する。

このような支援装置によれば、ユーザ識別情報及び楽曲属性情報と対応付けて、ズレ指標を記憶装置に記憶することができる。
支援装置は、評価手段と、出力制御手段とを更に備えていてもよい。この場合、評価手段は、記憶装置に記憶されたズレ指標に基づいて、指定楽曲に対する聴衆ユーザのリズムのズレを評価する。また、出力制御手段は、評価手段での評価の結果、指定楽曲に対する聴衆ユーザのリズムがズレていれば、当該聴衆ユーザを示す情報と対応付けて評価の結果を出力させる。

このような支援装置によれば、指定楽曲に対する聴衆ユーザのリズムがズレている場合に評価の結果を出力できる。つまり、支援装置によれば、歌唱支援を実行するために、楽曲のリズムがつかめないリズム音痴であるユーザを正確に判別することができる。

また、出力制御手段は、評価の結果に応じて、当該聴衆ユーザが歌唱する曲としていずれかの楽曲を指定して再生する場合に、歌唱する曲として指定した楽曲の再生中に、指定した楽曲の楽曲データに含まれる拍タイミングにおいて歌唱を支援する音を出力させる支援処理を実行してもよい。

このような支援装置によれば、音による支援を支援処理として実行できる。
さらに、導出手段は、拍タイミングの各々と、拍手のタイミングの各々との差分の総和を、ズレ指標の１つとして導出してもよい。

このような支援装置によれば、拍タイミングの各々と拍手のタイミングの各々とを比較した結果の総和、即ち、指定楽曲におけるリズムのズレの全体的な傾向を、ズレ指標の１つとすることができる。

そして、導出手段は、拍タイミングの各々と、拍手のタイミングの各々との差分の絶対値の総和を、ズレ指標の１つとして導出してもよい。
このような支援装置によれば、拍タイミングの各々と拍手のタイミングの各々とを比較した結果の絶対値の総和、即ち、指定楽曲におけるリズムのズレの程度を、ズレ指標の１つとすることができる。

支援システムの概略構成を示すブロック図である。 情報処理装置が実行するズレ特定処理の処理手順を示すフローチャートである。 ズレ指標を説明する説明図である。 楽曲属性情報を説明する説明図である。 カラオケ装置が実行する歌唱支援処理の処理手順を示すフローチャートである。 （Ａ）は楽曲のテンポに対する歌唱リズムのタイミングのズレの表示例であり、（Ｂ）は楽曲のジャンルに対するリズムのズレの表示例である。 楽曲の拍子に対する歌唱リズムのタイミングのズレの表示例である。

以下に本発明の実施形態を図面と共に説明する。
＜１．１ 支援システム＞
図１に示す支援システム１は、少なくとも１つの情報処理サーバ１０と、少なくとも１つのカラオケ装置３０と、少なくとも１つの情報処理装置７０とを備えている。本実施形態において、支援システム１は、カラオケルームに設置され、カラオケルームを利用する複数のユーザにより使用される。複数人のユーザが支援システム１を利用するとき、各ユーザはそれぞれ情報処理装置７０を所持するものとする。

この支援システム１では、カラオケ装置３０が、歌唱ユーザによって指定された楽曲を再生する。そして、情報処理装置７０が、カラオケ装置３０にて再生された楽曲に対する聴衆ユーザのズレ指標を特定する。具体的なズレ指標の特定方法は後述する。さらに、カラオケ装置３０が、聴衆ユーザが歌唱ユーザとして楽曲を歌唱する際に、情報処理装置７０で特定されたズレ指標に基づいて、その歌唱を支援する。

ここで言う楽曲は、時間軸に沿って配置された複数の音符のうち少なくとも一部に歌詞が割り当てられた楽曲である。歌唱ユーザとは、支援システム１のユーザのうち、１つのカラオケ装置３０に再生させる楽曲を指定して歌唱するユーザである。なお、以下では、歌唱ユーザによって指定された楽曲を指定楽曲と称す。

また、聴衆ユーザとは、１つのカラオケ装置３０において、歌唱ユーザによって歌唱される指定楽曲を鑑賞するユーザである。
ズレ指標とは、指定楽曲に対する聴衆ユーザのリズム感を表す指標である。ズレ指標は、詳しくは後述する拍タイミングａの各々と拍手タイミングｂの各々とを比較した結果に従って求められる。
＜１．２ 情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０及び情報処理装置７０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、複数の楽曲データが記憶される。制御部１６は、マイクロコンピュータを中心に構成された制御装置である。
＜１．３ 楽曲データ＞
楽曲データは、楽曲の曲構造を表すデータであり、楽曲ごとに予め用意されている。

楽曲データの各々は、楽譜データと、歌詞データと、拍データと、楽曲属性情報とを有している。
このうち、楽譜データは、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。すなわち、楽譜データには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音価）とが規定されている。楽譜データにおける音価は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。

歌詞データは、楽曲の歌詞に関するデータである。歌詞データは、歌詞テロップデータと、歌詞割当データとを備えている。
歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞割当データは、歌詞構成文字を表示部に出力させる出力タイミングである歌詞出力タイミングを、楽譜データを構成する各演奏音と対応付けるタイミング対応関係が規定されたデータである。

タイミング対応関係では、楽譜データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の演奏開始からの経過時間を示す時間軸に沿った各歌詞構成文字の歌詞出力タイミングを示す時間が規定されている。これにより、楽譜トラックに規定された個々の演奏音（即ち、音符）の演奏開始タイミングと、歌詞構成文字それぞれの歌詞出力タイミングとが対応付けられる。

拍データは、拍タイミングを表すデータである。拍タイミングとは、当該楽曲における拍の各々のタイミングを示す時間である。拍タイミングは、例えば、当該楽曲の再生開始から、拍のそれぞれまでの再生経過時間により示される。また、ここで言う拍は、音楽のリズム構造において、等しい間隔で繰り返される打点の各々であり、表拍、裏拍を含む。

楽曲属性情報は、楽曲の属性を表すデータであり、少なくとも、楽曲ＩＤ、歌手ＩＤ、楽曲ジャンル、テンポ情報、拍子情報を含む。
楽曲ＩＤは、当該楽曲を識別する識別情報である。歌手ＩＤは、当該楽曲を歌唱したオリジナルな歌手を識別する識別情報である。楽曲ジャンルは、当該楽曲のジャンルを表す情報である。楽曲のジャンルとは、音楽の形式であり、例えば、ロック、ポップス、バラード、演歌、ジャズなどである。テンポ情報とは、楽曲のテンポを表す情報である。拍子情報とは、楽曲の拍子の種類を表す情報であり、例えば３分の３拍子、４分の４拍子などである。
＜１．４ カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。

楽曲再生部３６は、情報処理サーバ１０からダウンロードした楽曲データに基づく楽曲の演奏を実行する。この楽曲再生部３６の一例として、ＭＩＤＩ音源が考えられる。
音声制御部４０は、音声の入出力を制御するデバイスである。音声制御部４０は、出力部４２と、マイク入力部４４とを備えている。マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２には、スピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の信号、マイク入力部４４からの歌唱音の信号をスピーカ６０に出力する。スピーカ６０は、出力部４２からの信号を音に換えて出力する。

映像制御部４６は、制御部５０から送られてくるデータに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。
制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。

ＲＯＭ５２は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。ＲＡＭ５４は、データを一時的に格納する。ＣＰＵ５６は、ＲＯＭ５２またはＲＡＭ５４に記憶されたプログラムに従って処理を実行する。

本実施形態のＲＯＭ５２には、歌唱支援処理を制御部５０が実行するための処理プログラムが記憶されている。歌唱支援処理は、指定楽曲を再生すると共に、その指定楽曲を歌唱する歌唱ユーザのリズム感に従って、歌唱ユーザが歌いやすくなるように支援する処理である。
＜１．５ 情報処理装置＞
情報処理装置７０は、ユーザの各々が所持する装置である。

情報処理装置７０は、通信部７２と、入力部７４と、記憶部７６と、表示部７８と、マイク８０と、スピーカ８２と、制御部９０とを備えている。情報処理装置７０の一例として、多機能携帯電話（いわゆるスマートフォン）が考えられる。

通信部７２は、公衆通信回線網を介してデータを入出力する。入力部７４は、情報やデータの入力を受け付ける。この入力部７４には、キーボードやポインティングデバイス、タッチパッド、タッチパネル、スイッチなどの各種入力機器を含む。

表示部７８は、制御部９０からの信号に基づいて情報を表示する。マイク８０は、入力された音を取得する。スピーカ８２は、制御部９０からの信号を音に換えて出力する。記憶部７６は、書き換え可能な不揮発性の記憶装置であり、例えば、ハードディスクドライブやフラッシュメモリによって構成されている。

制御部９０は、ＲＯＭ９２，ＲＡＭ９４，ＣＰＵ９６を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。
ＲＯＭ９２は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。ＲＡＭ９４は、データを一時的に格納する。ＣＰＵ９６は、ＲＯＭ９２またはＲＡＭ９４に記憶されたプログラムに従って処理を実行する。

記憶部７６または制御部９０のＲＯＭ９２には、ズレ特定処理を制御部９０が実行するための処理プログラムが格納されている。ズレ特定処理とは、カラオケ装置３０にて再生された楽曲に対する聴衆ユーザ各々のズレ指標を特定する処理である。ズレ特定処理は、例えば、カラオケ装置３０における楽曲の再生が終了されたことを検知したときに行われる。情報処理装置７０は、後述の音声データを、カラオケ装置３０にて指定楽曲が再生開始された以降、再生が終了されるまで継続して取得しＲＡＭ９４に記憶しておく。そして、カラオケ装置３０にて指定楽曲の再生が終了されたときに、ＲＡＭ９４に記憶された音声データを、所定秒数ごとに随時読み出してズレ特定処理が行われる。あるいは、ズレ特定処理は、例えば、カラオケ装置３０にて楽曲が再生開始されたことを検知したときに実行が開始され、随時、所定秒数ごとに音声データが取得されるものであってもよい。所定秒数は、例えば、拍データに示される拍タイミングから求められる拍の間隔を秒数で定めたものである。
＜１．６ ズレ特定処理＞
次に、ズレ特定処理について説明する。

ズレ特定処理が起動されると、制御部９０は、図２に示すように、ユーザＩＤを取得する（Ｓ１００）。ユーザＩＤとは、支援システム１を利用するユーザを識別する情報であり、ユーザごとに割り当てられた識別情報である。本実施形態のＳ１００では、制御部９０は、例えば、情報処理装置７０を所持する聴衆ユーザに割り当てられたユーザＩＤを取得する。ユーザＩＤは、情報処理装置７０の入力部７４を介して入力される。

続いて、制御部９０は、カラオケ装置３０にて再生される指定楽曲の楽曲データを取得する（Ｓ１１０）。さらに、制御部９０は、マイク８０を介して入力された音を音声データとして取得する（Ｓ１２０）。音声データには、聴衆ユーザがカラオケ装置３０において再生される指定楽曲の演奏音を聞きながら拍手をしたときの拍手音を含む。ステップＳ１２０では、例えば、指定楽曲の再生開始から所定秒数までに対応する最初の音声データを取得する。

そして、制御部９０は、Ｓ１００で取得したユーザＩＤに対応する聴衆ユーザが、指定楽曲において最初に拍手を実行した拍手タイミングｂ（１）を、音声データから拍手音を検知して特定する（Ｓ１３０）。なお、拍手タイミングとは、聴衆ユーザによって実施された拍手のタイミングを示す時間である。拍手タイミングは、例えば、指定楽曲の再生開始から、聴衆によって実施された各拍手までの再生経過時間により示される。また、拍手タイミングｂ（ｉ）における括弧内の符号ｉは、再生中の指定楽曲において実施された拍手の識別子である。

本実施形態において制御部９０は、音声データの信号レベルが、予め規定された閾値未満から閾値以上へと切り替わったタイミングを検知して、拍手が行われた拍手タイミングｂ（ｉ）として特定すればよい。

ズレ特定処理では、更に、制御部９０は、Ｓ１１０で取得した楽曲データに含まれる拍データ及びＳ１３０で特定した拍手タイミングｂ（１）に基づいて、第１ズレ量ｓｕｍ１及び第２ズレ量ｓｕｍ２を算出する（Ｓ１４０）。

具体的に、制御部９０は、指定楽曲における拍データに表される拍タイミングａ（１）に示す再生経過時間から、拍手タイミングｂ（１）に示す再生経過時間を減算した結果の絶対値を、第１ズレ量ｓｕｍ１として算出する。また、制御部９０は、指定楽曲における拍タイミングａ（１）から拍手タイミングｂ（１）を減算した結果である再生経過時間の差を、第２ズレ量ｓｕｍ２として算出する。すなわち、第２ズレ量ｓｕｍ２として算出される値では、正または負の値であることが示される。なお、拍タイミングａ（ｉ）における括弧内の符号は、再生中の指定楽曲において実施された拍手の識別子であり、拍手タイミングを識別する識別子ｉに対応する。

ズレ特定処理では、続いて、制御部９０は、マイク８０を介して入力された音を音声データとして取得する（Ｓ１５０）。制御部９０は、ステップＳ１５０では、指定楽曲の再生の進行に沿って新たな所定秒数の音声データを取得する。ステップＳ１５０において取得した音声データには、ステップＳ１２０において取得した音声データと同様に、聴衆ユーザがカラオケ装置３０において再生される指定楽曲の演奏音を聞きながら拍手をしたときの拍手音を含む。例えば、ステップＳ１５０では、ステップＳ１２０において取得された楽曲の再生開始から所定時間以後の所定秒数の音声データを取得する。ステップＳ１５０の処理が繰り返し実行されるとき、ステップＳ１２０および以前のステップＳ１５０の処理で取得されていない音声データを所定秒数ごとに取得する。さらに、制御部９０は、聴衆ユーザが、指定楽曲においてｉ番目に拍手を実行した拍手タイミングｂ（ｉ）を、音声データから拍手音を検知して特定する（Ｓ１６０）。

そして、制御部９０は、Ｓ１６０で特定された拍手タイミングｂ（ｉ）及び拍データに基づいて、第１ズレ量ｓｕｍ１及び第２ズレ量ｓｕｍ２の合計を更新する（Ｓ１７０）。具体的に、制御部９０は、指定楽曲の再生の進行に沿って直前のステップＳ１５０において読み出された音声データについて、拍タイミングａ（ｉ）から拍手タイミングｂ（ｉ）を減算した結果の絶対値を算出し、算出した結果の絶対値をその時点よりも前に算出された第１ズレ量ｓｕｍ１に加算した結果を、新たな第１ズレ量ｓｕｍ１として算出する。また、制御部９０は、指定楽曲の再生の進行に沿って直前のステップＳ１５０において読み出された音声データについて、拍タイミングａ（ｉ）から拍手タイミングｂ（ｉ）を減算した結果を算出し、算出した結果をその時点よりも前に算出された第２ズレ量ｓｕｍ２に加算した結果を、新たな第２ズレ量ｓｕｍ２として算出する。

さらに、ズレ特定処理では、制御部９０は、識別子ｉが最大値ｉｍａｘまで達しているか否かを判定する（Ｓ１８０）。最大値ｉｍａｘは、指定楽曲における拍の個数であり、楽曲ごとに規定されている。

このＳ１８０での判定の結果、識別子ｉが最大値ｉｍａｘに達していなければ（Ｓ１８０：ＮＯ）、制御部９０は、ズレ特定処理をＳ１５０へと戻す。ステップＳ１８０の判断により、ズレ特定処理では、識別子ｉが最大値ｉｍａｘに達するまでステップＳ１５０〜ステップＳ１８０の処理を繰り返し実行し、拍タイミングａ（ｉ）の各々と拍手タイミングｂ（ｉ）の各々との差分の絶対値の総和を第１ズレ量ｓｕｍ１として算出し、拍タイミングａ（ｉ）の各々と拍手タイミングｂ（ｉ）の各々との差分の総和を第２ズレ量ｓｕｍ２として算出する。

一方、識別子ｉが最大値ｉｍａｘに達していれば、制御部９０は、ズレ特定処理をＳ１９０へと移行させる。
そして、Ｓ１９０では、制御部９０は、第１ズレ量Ｓｕｍ１の平均値Ａｖｅを算出する。この第１ズレ量Ｓｕｍ１の平均値Ａｖｅは、Ｓ１９０へと移行した時点で導出されている第１ズレ量Ｓｕｍ１を、指定楽曲における拍の個数（即ち、最大値ｉｍａｘ）で除すことで算出すればよい。

制御部９０は、更に、Ｓ１９０で算出した第１ズレ量Ｓｕｍ１の平均値Ａｖｅを、指定楽曲に対する聴衆ユーザのリズムのズレ量として特定し設定する（Ｓ２００）。
続いて、制御部９０は、Ｓ２２０で設定されたズレ量（第１ズレ量Ｓｕｍ１の平均値Ａｖｅ）が、所定の閾値より大きい値であるか否かを判定する（Ｓ２０５）。この閾値は、予め定められる秒数により示される値である。閾値は、例えば、指定楽曲のテンポに応じて定められる秒数であってもよい。例えば、所定テンポより再生テンポが速い指定楽曲である場合、閾値には小さい値が定められ、所定テンポより再生テンポが遅い指定楽曲である場合、閾値には大きい値が定められる。Ｓ２０５の判定の結果、ズレ量が所定の閾値より大きいと判断される場合（Ｓ２０５：ＹＥＳ）、制御部９０は、ズレが一定以上存在するとして、ズレ特定処理をＳ２１０へと移行する。Ｓ２０５の判定の結果、ズレ量が所定の閾値以下である場合（Ｓ２０５：ＮＯ）、制御部９０は、詳しくは後述するＳ２６０へとズレ特定処理を移行させる。

さらに、制御部９０は、第２ズレ量ｓｕｍ２が「０」よりも大きいか否かを判定する（Ｓ２１０）。Ｓ２１０での判定の結果、第２ズレ量ｓｕｍ２が「０」よりも大きければ（Ｓ２１０：ＹＥＳ）、制御部９０は、指定楽曲に対する聴衆ユーザのズレタイプを「遅い」に設定する（Ｓ２２０）。ズレタイプとは、リズムのズレの傾向を表す指標である。また、「遅い」とは、拍タイミングａに対して拍手タイミングｂが全体として遅れ気味、即ち、指定楽曲に対してリズムが遅れ気味であることを意味する。

一方、このＳ２１０での判定の結果、第２ズレ量ｓｕｍ２が「０」以下であれば（Ｓ２１０：ＮＯ）、制御部９０は、Ｓ２３０へとズレ特定処理を移行させる。Ｓ２１０での判定の結果、第２ズレ量ｓｕｍ２が「０」以下である場合に移行されるＳ２３０では、制御部９０は、第２ズレ量ｓｕｍ２が「０」未満であるか否かを判定する。Ｓ２３０での判定の結果、第２ズレ量ｓｕｍ２が「０」未満であれば（Ｓ２３０：ＹＥＳ）、制御部９０は、指定楽曲に対する聴衆ユーザのズレタイプを「早い」に設定する（Ｓ２４０）。「早い」とは、拍タイミングに対して拍手タイミングが全体として早めであること、即ち、指定楽曲に対してリズムが早めであることを意味する。

一方、Ｓ２３０での判定の結果、第２ズレ量ｓｕｍ２が「０」以上であれば（Ｓ２３０：ＮＯ）、即ち、第２ズレ量ｓｕｍ２が「０」であれば、制御部９０は、Ｓ２５０へとズレ特定処理を移行させる。Ｓ２３０での判定の結果、第２ズレ量ｓｕｍ２が「０」以上である場合に移行するＳ２５０では、制御部９０は、指定楽曲に対する聴衆ユーザのズレタイプを「ランダム」に設定する（Ｓ２５０）。「ランダム」とは、拍タイミングに対して拍手タイミングが全体として、ばらついていることを意味する。

続いて、制御部９０は、ズレ指標を、聴衆ユーザのユーザＩＤ、及び指定楽曲の楽曲属性と対応付けて情報処理サーバ１０に記憶する（Ｓ２６０）。ズレ指標には、指定楽曲に対する聴衆ユーザのズレ量と、指定楽曲に対する聴衆ユーザのズレタイプとを含む。この場合のズレ指標に含まれる指定楽曲に対する聴衆ユーザのズレタイプは、Ｓ２２０、Ｓ２４０、またはＳ２５０のいずれかで設定されたズレタイプである。なお、Ｓ２０５において、ズレ量が所定の閾値以下であると判定された場合（Ｓ２０５：ＮＯ）は、ズレタイプは、無しとして設定しない。ズレ指標と対応付けられる聴衆ユーザのユーザＩＤは、Ｓ１００で取得されたユーザＩＤである。そして、ズレ指標と対応付けられる指定楽曲の楽曲属性は、Ｓ１１０で取得した楽曲データに含まれる楽曲属性である。具体的には、図４に示す楽曲ごとの楽曲属性情報が対応付けられている。楽曲属性情報には、楽曲のテンポや拍子、楽曲のジャンルが含まれている。

すなわち、カラオケ装置３０で楽曲の再生が実施されるごとに、情報処理装置７０の各々がズレ特定処理を実行することで、複数の楽曲の各々に対する各聴衆ユーザのズレ指標を特定できる。そして、それらの特定したズレ指標を情報処理サーバ１０に格納することで、情報処理サーバ１０を、各楽曲に対する各聴衆ユーザのリズム感を特定した結果が格納されたデータベースとして機能させることができる。すなわち、データベースは、図３に示すように、各聴衆ユーザのズレ指標が楽曲ごとに記憶されたものである。

ステップＳ２６０が実行された後、ズレ特定処理を終了する。なお、ズレ特定処理を実行する情報処理装置７０が、本発明の支援装置として機能する。
＜１．７ 歌唱支援処理＞
次に、カラオケ装置３０の制御部５０が実行する歌唱支援処理について説明する。

歌唱支援処理が起動されると、制御部５０は、図５に示すように、指定楽曲を指定した歌唱ユーザのユーザＩＤを取得する（Ｓ３１０）。Ｓ３１０では、制御部５０は、入力受付部３４を介して入力されたユーザＩＤを取得すればよい。

続いて、制御部５０は、指定楽曲の楽曲データを情報処理サーバ１０から取得する（Ｓ３２０）。さらに、制御部５０は、Ｓ３２０で取得した楽曲データに含まれる楽曲属性情報を取得する（Ｓ３３０）。

そして、歌唱支援処理では、制御部５０は、情報処理サーバ１０に格納されているズレ指標と対応付けられた楽曲属性情報の中から、Ｓ３３０で取得した楽曲属性情報に最も相関が高い楽曲属性情報を特定する（Ｓ３４０）。さらに、制御部５０は、Ｓ３４０で特定した楽曲属性情報と対応付けられたズレ指標を、情報処理サーバ１０から取得する（Ｓ３５０）。

そして、制御部５０は、Ｓ３５０で取得したズレ指標に含まれるズレ量が、予め規定された閾値よりも大きいか否かを判定する（Ｓ３６０）。閾値は、リズム音痴である歌唱者のズレ量として予め規定されたものである。この閾値は、実験などの結果に従って規定される。

Ｓ３６０での判定の結果、Ｓ３５０で取得したズレ指標に含まれるズレ量が閾値よりも大きければ（Ｓ３６０：ＹＥＳ）、制御部５０は、指定楽曲に対して歌唱ユーザがリズム音痴であると設定する（Ｓ３７０）。

そして、制御部５０は、指定楽曲に対する歌唱の留意点を、映像制御部４６に出力する（Ｓ３８０）。映像制御部４６は、歌唱の留意点を表示部６４に表示する。
なお、表示部６４に表示される留意点とは、例えば、歌唱ユーザのズレタイプが「早い」であれば、ズレ量を表示し、発声のタイミングを遅らせる旨の指示であってもよい。また、表示部６４に表示される留意点とは、例えば、歌唱ユーザのズレタイプが「遅い」であれば、ズレ量を表示し、発声のタイミングを早める旨の指示であってもよい。さらに、表示部６４に表示される留意点とは、例えば、歌唱ユーザのズレタイプが「ランダム」であれば、ズレ量を表示し、発声のタイミングを全体的に意識すべき旨の指示であってもよい。

なお、表示部６４に表示する留意点には、図６（Ａ）に示すように、楽曲のテンポに対する歌唱リズムのタイミングのズレを含んでもよい。また、表示部６４に表示する留意点には、図６（Ｂ）に示すように、楽曲のジャンルに対するリズムのズレを含んでもよい。さらには、表示部６４に表示する留意点には、図７に示すように、楽曲の拍子に対する歌唱リズムのタイミングのズレを含んでもよい。

すなわち、Ｓ３８０では、聴衆ユーザを示す情報と対応付けて、当該聴衆ユーザに対する評価の結果を出力させる。
続いて歌唱支援処理では、制御部５０は、支援処理の実行に必要となる支援内容を設定する（Ｓ３９０）。支援処理とは、指定楽曲の楽曲データに含まれる拍タイミングａにおいて歌唱を支援する音を出力させる処理である。

具体的にＳ３９０では、制御部５０は、ズレ量が大きいほど、ガイドメロディの音量が大きくなるように設定してもよいし、ズレ量が大きいほど、指定楽曲におけるバスドラムの音量を大きくなるように設定してもよい。また、具体的にＳ３９０では、制御部５０は、ズレ量が規定閾値以上であれば、指定楽曲における各小節の各々の開始タイミングで報知音が出力されるように設定してもよい。

この場合、ズレタイプに応じて、報知音の出力タイミングを設定してもよい。すなわち、ズレタイプが「遅い」であれば、報知音の出力タイミングを早めるように設定してもよいし、ズレタイプが「早い」であれば、報知音の出力タイミングを遅くするように設定してもよい。

このＳ３６０での判定の結果、Ｓ３５０で取得したズレ指標に含まれるズレ量が閾値以下であれば（Ｓ３６０：ＮＯ）、制御部５０は、歌唱支援処理をＳ４００へと移行させる。

そのＳ４００では、制御部５０は、Ｓ３２０で取得した楽曲データに基づいて指定楽曲の再生を実行する。
具体的には制御部５０は、楽曲再生部３６に楽曲データを時間軸に沿って順次出力する。すると、楽曲再生部３６は、指定楽曲の音源信号を、出力部４２を介してスピーカ６０へと出力する。これにより、指定楽曲の再生音が、スピーカ６０から放音される。

また、本実施形態のＳ４００では、制御部５０は、歌詞出力データ及び歌詞テキストデータを映像制御部４６に出力する。すると、映像制御部４６は、指定楽曲の再生に併せて歌詞構成文字を表示部６４に順次出力する。これにより、指定楽曲の歌詞が表示部６４に表示される。

Ｓ３９０を経て移行したＳ４００では、Ｓ３９０で設定された内容に従って、指定楽曲の楽曲データに含まれる拍タイミングａにおいて歌唱を支援する音を出力させる。すなわち、支援処理を加えて楽曲の再生処理を実行する。

そして、楽曲の再生が終了すると、歌唱支援処理は終了される。
［２． 実施形態の効果］
（２ａ） 以上説明したように、支援システム１によれば、聴衆ユーザによって実施された拍手のタイミングの各々と、楽曲データ中の拍タイミングの各々とのズレに基づいて、指定楽曲に対する聴衆ユーザのリズムのズレ（即ち、リズム感）を評価できる。

つまり、支援システム１によれば、歌唱支援を実行するために、楽曲のリズムがつかめないリズム音痴であるユーザを正確に判別することができる。
更には、支援システム１によれば、歌唱中ではない聴衆ユーザについて、楽曲に対するリズムのズレを評価することができる。

（２ｂ） そして、支援システム１によれば、聴衆ユーザが歌唱すること無く、楽曲に対する当該聴衆ユーザのリズムのズレを評価できる。
このため、支援システム１によれば、他のユーザが歌唱していれば、聴衆ユーザが当該楽曲を初めて歌唱する場合であっても、リズムのズレに対する評価結果に基づく歌唱の支援を実行できる。

（２ｃ） このような支援システム１によれば、聴衆ユーザが歌唱ユーザとして楽曲を歌唱する場合に歌唱支援処理を実行する。この歌唱支援処理では、指定楽曲の楽曲データに含まれる拍タイミングａにおいて歌唱を支援する音を出力させる。

よって、支援システム１によれば、当該ユーザが指定楽曲を歌唱する場合に、その指定楽曲を歌唱しやすくできる。
（２ｄ）このような支援システム１によれば、拍タイミングの各々と拍手のタイミングの各々とを比較した結果の絶対値の総和、即ち、指定楽曲におけるリズムのズレの程度を、ズレ指標の１つとすることができる。

また、このような支援システム１によれば、拍タイミングの各々と拍手のタイミングの各々とを比較した結果の総和、即ち、指定楽曲におけるリズムのズレの全体的な傾向を、ズレ指標の１つとすることができる。
［３． その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

（３ａ） 上記実施形態では、拍手タイミングを音声データに基づいて特定していたが、拍手タイミングを特定する方法はこれに限るものではない。例えば、カメラで撮像した画像に基づいて拍手タイミングを特定してもよいし、聴衆ユーザに装着されるセンシング装置に基づいて拍手タイミングを特定してもよい。これらの場合、カメラやセンシング装置が情報処理装置７０に備えられていることが好ましい。この場合のセンシング装置には、加速度センサを含む。

（３ｂ） 上記実施形態では、ズレ特定処理を情報処理装置７０で実行し、歌唱支援処理をカラオケ装置３０で実行していたが、ズレ特定処理及び歌唱支援処理の双方を、情報処理装置７０またはカラオケ装置３０で実行してもよい。この場合、双方の処理を実行する装置が支援装置として機能する。

（３ｄ） 上記実施形態では、指定楽曲の再生開始から、音声データを所定秒数ごとに取得し、取得した音声データから検知した拍手タイミングｂ（ｉ）と拍タイミングａ（ｉ）とを比較していたが、拍手タイミングと拍タイミングの比較方法はこれに限らない。例えば、音声データから拍手タイミングｂ（ｉ）を検知したとき、その拍手タイミングｂ（ｉ）が行われた指定楽曲の再生開始からの再生経過時間を求め、拍手タイミングｂ（ｉ）の再生経過時間と最も近い拍手タイミングａ（ｎ）と比較することにより、ズレを特定してもよい。このとき、ｎは、整数であり、０＜ｎ≦ｉｍａｘの範囲内である。

（３ｅ） 上記実施形態では、聴衆ユーザが、指定楽曲においてｉ番目に拍手を実行した拍手タイミングｂ（ｉ）を、拍タイミングａ（ｉ）と比較することによりズレを特定していたが、ズレの比較方法はこれに限らない。例えば、拍タイミングａ（ｉ）の識別子ｉに、所定拍数ごと、または所定小節ごとにリセットされる識別子を設定し、且つ、聴衆ユーザにより実行される拍手の拍手タイミングｂ（ｉ）の識別子ｉを、所定拍数ごと、または所定小節ごとにリセットすることにより、所定拍数ごと、または所定小節ごとにリセットされた位置からの再生経過時間の拍タイミングａ（ｉ）と拍手タイミングｂ（ｉ）とを比較し、ズレを特定するものであってもよい。

（３ｆ） なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
［対応関係の一例］
上記実施形態のズレ特定処理におけるＳ１１０を実行することで得られる機能が、取得手段の一例に相当し、Ｓ１４０，Ｓ１７０を実行することで得られる機能が、特定手段の一例に相当する。さらに、Ｓ１５０，Ｓ１８０を実行することで得られる機能が、導出手段の一例に相当する。

また、ズレ特定処理におけるＳ２００〜Ｓ２６０、及び歌唱支援処理のＳ３６０及びＳ３７０を実行することで得られる機能が、評価手段の一例に相当する。そして、ズレ特定処理におけるＳ２００，Ｓ２１０，Ｓ２７０を実行することで得られる機能が、記憶制御手段の一例に相当する。

なお、歌唱支援処理のＳ４００を実行することで得られる機能が、出力制御手段の一例に相当する。

１…支援システム １０…情報処理サーバ １２，３２，７２…通信部 １４，３８，７６…記憶部 １６，５０，９０…制御部 ３０…カラオケ装置 ３４…入力受付部 ３６…楽曲再生部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ５２，９２…ＲＯＭ ５４，９４…ＲＡＭ ５６，９６…ＣＰＵ ６０，８２…スピーカ ６２，８０…マイク ６４，７８…表示部 ７０…情報処理装置 ７４…入力部

Claims (6)

1. 指定楽曲における拍の各々のタイミングを表す拍タイミングを含む楽曲データを取得する取得手段と、
   前記楽曲データに基づく指定楽曲の再生中に、少なくとも一人の聴衆ユーザによって実施された拍手の音または動作を示す情報を取得し、前記実施された拍手のタイミングを特定する特定手段と、
   前記特定手段で特定した拍手のタイミングの各々と、前記取得手段で取得した楽曲データ中の拍タイミングの各々とを比較し、ズレ指標を導出する導出手段と、
   前記導出手段で導出される前記ズレ指標に基づいて、前記指定楽曲に対する前記聴衆ユーザのリズムのズレを評価する評価手段と
   を備える、支援装置。
2. 指定楽曲における拍の各々のタイミングを表す拍タイミングを含む楽曲データを取得する取得手段と、
   前記楽曲データに基づく指定楽曲の再生中に、少なくとも一人の聴衆ユーザによって実施された拍手の音を取得し、前記拍手のタイミングを特定する特定手段と、
   前記特定手段で特定した拍手のタイミングの各々と、前記取得手段で取得した楽曲データ中の拍タイミングの各々とを比較し、ズレ指標を導出する導出手段と、
   前記導出手段で導出される前記ズレ指標を、前記拍手を実施した聴衆ユーザを識別するユーザ識別情報及び前記指定楽曲の属性を示す楽曲属性情報と対応付けて記憶装置に記憶する記憶制御手段と
   を備える、支援装置。
3. 前記記憶装置に記憶されたズレ指標に基づいて、前記指定楽曲に対する前記聴衆ユーザのリズムのズレを評価する評価手段と、
   前記評価手段での評価の結果、前記指定楽曲に対する前記聴衆ユーザのリズムがズレていれば、当該聴衆ユーザを示す情報と対応付けて前記評価の結果を出力させる出力制御手段とを、
   更に備える、請求項２に記載の支援装置。
4. 前記出力制御手段は、
   前記評価の結果に応じて、当該聴衆ユーザが歌唱する曲としていずれかの楽曲を指定して再生する場合に、歌唱する曲として前記指定した楽曲の再生中に、前記指定した楽曲の楽曲データに含まれる前記拍タイミングにおいて歌唱を支援する音を出力させる支援処理を実行する、請求項３に記載の支援装置。
5. 前記導出手段は、
   前記拍タイミングの各々と、前記拍手のタイミングの各々との差分の総和を、前記ズレ指標の１つとして導出する、請求項２から請求項４までのいずれか一項に記載の支援装置。
6. 前記導出手段は、
   前記拍タイミングの各々と、前記拍手のタイミングの各々との差分の絶対値の総和を、前記ズレ指標の１つとして導出する、請求項２から請求項５までのいずれか一項に記載の支援装置。