JP2017134341A - カラオケ装置及びカラオケ用プログラム - Google Patents

Abstract

【課題】ユーザーが演奏と歌唱を同時に行う技量を考慮して、演奏もしくは歌唱の少なくとも一方を評価することを目的とする。【解決手段】本発明に係るカラオケ装置は、演奏情報に基づいて楽曲を演奏する演奏処理と、楽器の演奏音を取得する演奏音取得処理と、演奏音取得処理で判定された演奏音に基づき演奏評価値を算出する演奏評価処理と、楽器を演奏するユーザーと歌唱を行うユーザーが同一であるか否かを判定する演奏形態判定処理と、演奏形態判定処理の判定結果に基づいて、演奏評価処理で算出された演奏評価値を補正する補正処理と、を実行することを特徴とする。【選択図】図６

Description

本発明は、ギター、ベース、キーボード等の楽器による演奏と歌唱を行うことのできるカラオケ装置、並びに、各種コンピュータで実行可能なカラオケ用プログラムに関する。

従来、カラオケボックスやスナックなどのナイト店に設置されているカラオケ装置では、楽曲の演奏に合わせて歌唱を楽しむことが行われている。特許文献１には、歌唱のみならず楽器演奏を楽しむことのできるカラオケ装置が提案されている。この特許文献１に開示されるカラオケ装置は、カラオケ演奏されるパートの内、ミュート（消音）できるパートを表示し、利用者から指示されたパートをミュートし、当該パートのマイナスワン演奏を楽しむことができる。さらに、特許文献１に開示されるカラオケ装置では、画面にコード名を表示させて、演奏者に対してどのコードを演奏するべきかを指示し、紙の楽譜を用いずとも演奏を楽しむことが可能となっている。

また、特許文献２には、楽曲の再生に合わせてギターのコード譜を表示することでギターの演奏支援を行う演奏情報表示装置が開示されている。この演奏情報表示装置は、ギターのコード演奏を支援するための複数種類の情報を、ユーザーにとって分かりやすい態様で表示することでギターの演奏支援を行いつつ、ギターの演奏評価を行っている。

特開２００１−１００７７１号公報 特開２０１５−４７９４号公報

特許文献１、特許文献２に開示されるように自動演奏に合わせて楽器の演奏を行うことが行われている。従来、カラオケ装置では歌唱に対する採点（歌唱音声の評価）を行うことがよく知られている。このため、特許文献１、特許文献２に開示されるような自動演奏に合わせて楽器の演奏を行うカラオケ装置においても、歌唱採点と演奏採点（楽器演奏の評価）を行うことが考えられる。ところで、同じユーザーが楽曲の歌唱を行いながら楽器の演奏を行うことは、歌唱、演奏の両方にそれなりの技量が必要となることが考えられる。しかしながら、歌唱採点と演奏採点はそれぞれ独立して行われる程度であって、このような技量を評価することはできない。本発明は、同じユーザーが楽曲の歌唱を行いながら楽器の演奏を行うことを、歌唱評価あるいは演奏評価に加味した新たな評価を使用することで、ユーザーの技量を精度よく判定することを目的としている。

そのため、本発明に係るカラオケ装置は、以下の構成を採用する。
演奏情報に基づいて楽曲を再生する再生処理と、
楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で判定された演奏音に基づき演奏評価値を算出する演奏評価処理と、
前記楽器を演奏するユーザーと歌唱を行うユーザーが同一であるか否かを判定する演奏形態判定処理と、
前記演奏形態判定処理の判定結果に基づいて、前記演奏評価処理で算出された演奏評価値を補正する補正処理と、を実行することを特徴とする。

また本発明に係るカラオケ装置は、
演奏情報に基づいて楽曲を再生する再生処理と、
マイクロホンに入力される歌唱音声を取得する歌唱音声取得処理と、
前記歌唱音声取得処理で判定された歌唱音声に基づき歌唱評価値を算出する歌唱評価処理と、
歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定する歌唱形態判定処理と、
前記歌唱形態判定処理の判定結果に基づいて、前記歌唱評価処理で算出された歌唱評価値を補正する補正処理と、を実行することを特徴とする。

さらに本発明に係るカラオケ装置において、
前記演奏形態判定処理もしくは前記歌唱形態判定処理は、撮像手段で撮像された撮像情報に基づいて、歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定することを特徴とする。

さらに本発明に係るカラオケ装置において、
前記演奏形態判定処理もしくは前記歌唱形態判定処理は、入力手段に入力された設定情報に基づいて、歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定することを特徴とする。

さらに本発明に係るカラオケ装置は、
マイクロホンに入力される歌唱音声を取得する歌唱音声取得処理と、
前記歌唱音声取得処理で判定された歌唱音声に基づき歌唱評価値を算出する歌唱評価処理を実行することを特徴とする。

さらに本発明に係るカラオケ装置は、
楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で判定された演奏音に基づき演奏評価値を算出する演奏評価処理と、を実行することを特徴とする。

さらに本発明に係るカラオケ装置は、
算出された演奏評価値と歌唱評価値に基づいて総合評価値を算出することを特徴とする。

さらに本発明に係るカラオケ装置において、
前記補正処理は、前記演奏情報に対応する区間において実行されることを特徴とする。

また本発明に係るカラオケ用プログラムは、
演奏情報に基づいて楽曲を再生する再生処理と、
楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で判定された演奏音に基づき演奏評価値を算出する演奏評価処理と、
前記楽器を演奏するユーザーと歌唱を行うユーザーが同一であるか否かを判定する演奏形態判定処理と、
前記演奏形態判定処理の判定結果に基づいて、前記演奏評価処理で算出された演奏評価値を補正する補正処理と、をコンピュータに実行させることを特徴とする。

また本発明に係るカラオケ用プログラムは、
演奏情報に基づいて楽曲を再生する再生処理と、
マイクロホンに入力される歌唱音声を取得する歌唱音声取得処理と、
前記歌唱音声取得処理で判定された歌唱音声に基づき歌唱評価値を算出する歌唱評価処理と、
歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定する歌唱形態判定処理と、
前記歌唱形態判定処理の判定結果に基づいて、前記歌唱評価処理で算出された歌唱評価値を補正する補正処理と、をコンピュータに実行させることを特徴とする。

本発明のカラオケ装置、カラオケ用プログラムによれば、ユーザーの楽器演奏に対する演奏評価値、あるいは、ユーザーの歌唱に対する歌唱評価値に対し、演奏と歌唱を同時に行っているか否かに基づく補正を行うことで、演奏と歌唱を同時に行う技量に対する評価を行うことを可能とする。

さらに本発明によれば、ユーザーを撮影した撮像情報に基づいて、歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定することとしている。このような構成により、ユーザーを撮影する簡易な手法により、歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定することが可能となっている。

さらに本発明によれば、入力手段に入力された設定情報に基づいて、歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定することとしている。このような構成により、外部からの簡易な入力にて判定を行うことが可能となる。また、撮像情報等を解析することによる複雑な処理を必要としない。

さらに本発明によれば、演奏評価値と歌唱評価値のそれぞれを算出することで、楽器の演奏、歌唱の評価の両方について評価を行うことが可能となる。

さらに本発明によれば、演奏評価値と歌唱評価値に基づいて総合評価値を算出することで、演奏と歌唱の両方を加味した総合評価値をユーザーに提示することが可能となる。なお、この総合評価値は、楽器を演奏するユーザーと歌唱を行うユーザーが同一である場合において、当該ユーザーに対する総合評価値としてもよい。

さらに本発明によれば、演奏情報に対応する演奏区間において補正処理を実行することとしている。楽曲においては、歌唱だけを行う区間、演奏だけを行う区間、歌唱と演奏の両方を行う区間が存在する場合がある。演奏情報に対応する演奏区間において補正処理を実行することで、演奏される各楽曲に対応した適切な補正を行うことが可能となる。

カラオケシステムの構成を示す図 楽曲の予約確認画面を示す図 （Ａ）予約情報、（Ｂ）楽曲情報のデータ構成を示す図 カラオケ装置のメイン処理を示すフロー図 演奏用再生処理を示すフロー図 演奏形態、歌唱形態の判定を説明するための模式図 演奏用再生処理時のモニターの様子を示す図 演奏評価結果画面を示す図 歌唱用再生処理を示すフロー図 歌唱評価結果画面を示す図

図１は、本実施形態のカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２と、リモコン装置１にて構成されおり、これらは、ＬＡＮ１００にて、無線、有線で通信可能なように互いに接続されている。

店舗に設置されるカラオケ装置２は、リモコン装置１によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示部１１と操作部１７が共有されたタッチパネル表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０を介してカラオケ装置２と無線接続される。図中に示されるように、例えばカラオケ装置２にはリモコン装置１が対応付けられ、ＬＡＮ１００を介して情報を送受信することが可能となっている。また、リモコン装置１とカラオケ装置２とは赤外線などを利用した近距離通信を行うことも可能である。

さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネットを介してカラオケ用ホスト５（サーバー装置）が設けられ、その記憶部５１には、楽曲情報やユーザー情報など、各種サービスに必要な情報を記憶している。そして、ルータ１２０を通じて、カラオケ装置２、又はリモコン装置１と、各種情報の送受信が行えるように構成されている。

本発明の実施形態に係る楽曲演奏装置としてのカラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏を実行する楽曲演奏処理を行う。記憶手段としてのハードディスク３２には、楽曲演奏処理で使用する楽曲情報が記憶されている。

本実施形態では、カラオケ装置２に対して外部楽器４４ｂを接続可能としている。外部楽器４４ｂとしては、ギター、ベース、バイオリン等、弦を弾くことで演奏音を奏でる各種撥弦楽器の他、キーボード、ドラム等各種楽器を使用することが可能である。ギターやベース等の撥弦楽器を使用する本実施形態の場合、外部楽器４４ｂはケーブルを介してカラオケ装置２に接続され、ユーザーの演奏によって発生する演奏音情報をカラオケ装置２に送信する。外部楽器４４ｂから入力された演奏音情報は、音響制御部５２にて演奏される演奏情報とミキシングされてスピーカー４２から放音される。なお、外部楽器４４ｂには、電気的な音響出力を有さないアコースティックな楽器を採用してもよい。その場合には、マイクロホンで拾った楽器音を演奏音情報として音響制御部５２に入力することが考えられる。

さらに、カラオケ装置２は、カメラ４３が接続されており、カメラ４３が撮像した撮像情報を取り込み可能としている。本実施形態では、このカメラ４３にて撮像された撮像情報に基づいて、ユーザーの演奏形態、もしくは、歌唱形態が判定される。なお、本実施形態でいう演奏形態とは、ユーザーが外部楽器４４ｂを演奏するための楽曲再生（後に説明する演奏用再生処理）を実行している際、同一のユーザーが演奏と歌唱の両方を行っているか否かの形態である。また、歌唱形態とは、ユーザーが歌唱するための楽曲再生（後に説明する歌唱用再生処理）を実行している際、同一のユーザーが演奏と歌唱の両方を行っているか否かの形態である。

図２には、本実施形態の楽曲確認画面が示されている。本実施形態のカラオケシステムは、複数のユーザーが同時にログインして使用することが可能である。図２に示す楽曲確認画面の上方には、カラオケシステムにログインしているユーザーに関する情報が表示されている。ログインユーザー欄１０３には、カラオケシステムにログインしているユーザーの分身像１０３ａ〜１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザー欄１０３中、右端に背景がハイライト（白色）で示されるユーザーは、アクティブユーザー１０３ｅ（この例ではＡさん）であって、アクティブユーザー１０３ｅに対するサービス、すなわち、アクティブユーザー１０３ｅのユーザー情報を利用したサービスが実行されている状態となっている。アクティブユーザーの切り替えは、ユーザー切り替えボタン１０１を操作することで行うことが可能である。また、ユーザー登録していないユーザーは、ゲストボタン１０２を操作することで、ゲストユーザーとしてカラオケシステムを使用することが可能である。

アクティブユーザーとして楽曲を選択した場合、この楽曲確認画面にて、予約を行う楽曲に間違いがないか、楽曲名、歌手名、歌い出し等の詳細を表示してユーザーに確認させる。本実施形態の楽曲確認画面には、オプション設定欄１０５が設けられている。オプション設定欄１０５を選択することで、選択している楽曲について、マイクロホン４４ａを使用した歌唱評価を行うのか、外部楽器４４ｂを使用した演奏評価を行うのか、両方を行うのか、を選択することができる。オプション設定欄１０５の右下に表示された変更ボタンを各々操作することで、子画面（図示せず）が表示され、予約する楽曲に対する再生形態を設定することが可能である。本実施形態では、歌唱評価、演奏評価、歌唱と演奏の両方の評価を択一的に選択可能としている（図２の例では、歌唱評価を選択した状態となっている）。なお、外部楽器４４ｂの利用を選択した場合、楽曲再生時には通常の歌唱支援のための歌詞表示に加え、外部楽器４４ｂの演奏支援するためのコード表示等が行われる。

楽曲確認画面において、歌唱する楽曲であることを確認したユーザーは、予約ボタン１０６を操作することで、楽曲の予約を確定させる。リモコン装置１を使用して楽曲を予約した場合、リモコン装置１からカラオケ装置２に予約情報が送信される。図３（Ａ）は、予約情報のデータ構成を示した図である。予約情報は、予約した楽曲を識別するための楽曲ＩＤ、予約を行ったユーザー（アクティブユーザー）を識別するためのユーザーＩＤの他、オプション設定欄１０５の設定に基づく再生形態情報（０：演奏評価、１：歌唱評価、２：演奏評価＆歌唱評価）が含まれている。カラオケ装置２は、カラオケ装置２のメモリ２７で管理する予約テーブルに、受信した予約情報を順次記憶して、楽曲再生処理を実行する。

図３（Ｂ）は、楽曲情報のデータ構成を示した図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏や歌詞の表示といった各種処理を実行するための実情報を有している。メタ情報には、楽曲情報を識別するための楽曲ＩＤ、曲名、歌手名、楽器演奏時の難易度等、楽曲関連情報を有している。楽曲関連情報は、ユーザーが楽曲を検索する際の検索対象項目として使用することが可能である。

楽曲情報の実情報には、演奏情報、歌詞情報、演奏評価情報、歌唱評価情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等を含んで構成された、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。演奏評価情報は、楽曲再生時において、ユーザーが外部楽器４４ｂの演奏を支援するための情報である。例えば、外部楽器４４ｂがギターの場合、楽曲の演奏進行に対応付けたギターコードで構成される。楽曲再生時、演奏評価情報に基づく情報（ギターの場合、演奏すべきコード等）をモニター４１に表示することで、ユーザーの演奏支援を行うことが可能である。

演奏評価情報は、ユーザーの外部楽器４４ｂの演奏に対する評価（演奏評価処理）にも使用される。演奏評価処理では、楽曲の再生時、外部楽器４４ｂから出力された演奏音と、演奏評価情報を対比することで、外部楽器４４ｂによる適切な演奏が行われたか否かを判定し、評価結果としての演奏評価値が算出される。なお、カラオケ装置２では、歌唱しやすいように楽曲の音程（キー）を変更する機能が設けられている。音程変更が行われた場合、演奏評価情報も同様に音程変更が反映されて、演奏支援の表示、演奏評価処理に使用される。

歌唱評価情報は、ユーザーが歌唱評価の再生形態を選択した場合に使用される情報であり、主旋律などユーザーが歌唱すべき音高を規定した情報である。歌唱評価処理では、楽曲の再生時、マイクロホン４４ａから出力された歌唱音声と、歌唱評価情報を対比することで、適切な歌唱が行われたか否かを判定し、評価結果としての歌唱評価値が算出される。なお、この場合も同様に、音程変更が行われた場合、歌唱評価情報も同様に音程変更が反映されて歌唱評価処理が行われる。なお、これら演奏評価情報、歌唱評価情報は、演奏情報のパートとして形成することも可能である。

図４は、カラオケ装置２で実行されるメイン処理を示すフロー図である。カラオケ装置２は、予約テーブルのチェックを行い（Ｓ１０１）、次に再生すべき再生の楽曲があると判定した場合（Ｓ１０２：Ｙｅｓ）、予約情報中の再生形態情報を参照し、外部楽器４４ｂを使用した演奏評価を行うのか、マイクロホン４４ａを使用した歌唱評価を行うのかを判定する（Ｓ１０３）。外部楽器４４ｂを使用した演奏評価を行う場合（Ｓ１０３：演奏評価）には、演奏用再生処理（Ｓ２００）を実行する。一方、マイクロホン４４ａを使用した歌唱評価を行う場合（Ｓ１０３：歌唱評価）には、歌唱用再生処理（Ｓ３００）を実行する。

まず、演奏用再生処理（Ｓ２００）について、図５〜図８を用いて説明する。図５は、演奏用再生処理（Ｓ２００）の詳細を示すフロー図である。演奏用再生処理（Ｓ２００）が開始されると、まず、楽曲情報中の実情報（演奏情報、歌詞情報、演奏評価情報）を使用した楽曲再生が開始される（Ｓ２０１）。具体的には、音響制御部５２にて演奏情報を再生し、映像再生部２８にて、歌詞情報、演奏評価情報を使用した各種支援情報の表示が行われる。なお、演奏情報中、使用する外部楽器４４ｂの演奏パートは、再生しない、あるいは、音量を小さくするといった、いわゆるマイナスワン再生を行うこととしてもよい。

図７は、楽器演奏処理時のモニター４１の様子を示す図である。本実施形態では、外部楽器４４ｂにギターを使用した場合であって、ギターコードの表示による演奏支援が行われる形態となっている。楽曲の再生時、モニター４１には、歌唱を支援するための歌詞表示欄６５が表示される。歌詞表示欄６５には、楽曲の再生進行に同期して歌詞情報が表示される。表示された歌詞情報は、再生進行に同期した色変えが施されている。モニター４１の右上には予定コード表示欄６２が設けられている。これは、今後、演奏が予定されるギターコードが時系列順に左から右に表示されている。予定コード表示欄６２の下には、コードタイミング表示欄６３が設けられている。コードタイミング表示欄６３の左には、現在演奏すべき現在コード６３ａが位置している。タイミングバー６３ｂは、コードタイミング表示欄６３中を右から左にスクロールする。タイミングバー６３ｂが現在コード６３ａを通過するときが、現在コード６３ａに表示されるギターコードの演奏タイミングである。

タイミングバー６３ｂが現在コード６３ａを通過し終え、現在コード６３ａの演奏タイミングが終了すると、予定コード表示欄６２の一番左に位置する予定コードが、現在コード６３ａの位置にスクロールして、次の現在コード６３ａとなる。予定コード表示欄６２内では、一番左に位置する予定コードが無くなったことで、全体が左方向にスライドし、一番右には新たな予定コードが加えられる。さらに、モニター左側には、外部楽器４４ｂ（ギター）の指板上の運指が表示されている。一番上には、現在運指６４ａが表示され、現在、演奏すべきコードの運指が示されている。現在運指６４ａの下方には、次運指６４ｂ、次々運指６４ｃが表示されている。現在コード６３ａの演奏タイミングが終了する毎に、現在運指６４ａ〜次々運指６４ｃは上にスクロールしていく。ユーザーは、予定コード表示欄６２、コードタイミング表示欄６３、現在運指６４ａ〜次々運指６４ｃを参照して、外部楽器４４ｂを演奏することができる。

さらに、モニター４１の左上には現在採点値（演奏評価値）が表示されている。現在採点値は、外部楽器４４ｂの演奏に対する演奏評価値であって、外部楽器４４ｂから出力された演奏音情報と、演奏評価情報中の現在演奏すべきコード（コードタイミング表示欄６３中、タイミングバー６３ｂが重畳している現在コード６３ａ）とを対比して、適切な演奏に対して加算された演奏評価値である。

演奏用再生処理の期間中、ユーザーはモニター４１に表示された各種情報を参照しつつ、外部楽器４４ｂの演奏、歌唱を行うことが可能である。また、楽器演奏処理中には、外部楽器４４ｂの演奏に対する採点値（演奏評価値）の算出が行われる。本実施形態では、外部楽器４４ｂの演奏音情報と演奏評価情報を対比することで適切な演奏が行われたか否かを判定する演奏評価処理（Ｓ２０２）が実行される。例えば、図７の例では、タイミングバー６３ｂが重畳している現在コード６３ａ（Ａ７）が適切なタイミングで演奏されたか否かが判定される。演奏評価処理（Ｓ２０２）では、現在コード６３ａが演奏されたか否か、また、その演奏タイミングに応じて演奏評価値が算出される。

ところで、本実施形態では、図７に示すように歌詞表示欄６５に表示された歌詞によって、外部楽器４４ｂの演奏を行いながら歌唱することも可能である。外部楽器４４ｂを演奏しながら歌唱を行うことは、演奏及び歌唱の両方に注意を払うことが必要であるため、演奏のみを行う、あるいは、歌唱のみを行うことに比較して難易度が高い。従来の演奏評価あるいは歌唱評価では、このような両方に対する配慮は行われていなかった。本実施形態では、演奏評価を行う際、外部楽器４４ｂの演奏に加えて歌唱しているか否かといった演奏形態を判定し、同じユーザーが両方行っていると判定した場合、演奏評価に対して加点する補正処理を行うことで、上述する演奏と歌唱の両方を行うことの難易度を考慮している。また、歌唱評価を行う際にも、歌唱に加えて外部楽器４４ｂの演奏を行っているか否かといった歌唱形態を判定し、同じユーザーが両方行っていると判定した場合、歌唱評価に対して加点する補正処理を行うこととしている。

図６は、演奏形態、歌唱形態の判定を説明するための模式図である。本実施形態では、カメラ４３で撮影した撮像情報に基づいて、演奏形態（あるいは歌唱形態）の判定を行う。演奏形態（あるいは歌唱形態）には、図６（Ａ）〜図６（Ｄ）に示す各種形態が考えられる。図６（Ａ）は同じユーザーが演奏と歌唱を同時に行っている形態である。このような場合、カメラ４３で撮像した撮像情報に対して画像解析を行い、マイクロホン４４ａと外部楽器４４ｂの位置の検出を行う。例えば、マイクロホン４４ａと外部楽器４４ｂ間の距離が閾値以内である、あるいは、マイクロホン４４ａと外部楽器４４ｂの両方が、ユーザーの頭部８１ａや体躯８１ｂから所定範囲内に位置していること等を条件として、同一ユーザーが演奏と歌唱の両方を行っていると判定することが可能である。

図６（Ｂ）は、歌唱のみを行っている形態である。この場合、撮像情報からはマイクロホン４４ａのみが検出されるため、ユーザーは演奏と歌唱の両方を行っていないと判定される。図６（Ｃ）は、演奏のみを行っている形態である。この場合、撮像情報からは外部楽器４４ｂのみが検出されるため、ユーザーは演奏と歌唱の両方を行っていないと判定される。図６（Ｄ）は、ユーザーＡが歌唱を行い、ユーザーＢが演奏を行っている場合である。この場合、撮像情報中にはマイクロホン４４ａと外部楽器４４ｂの両方が検出されることになるが、マイクロホン４４ａと外部楽器４４ｂ間の距離が閾値以内である、あるいは、マイクロホン４４ａと外部楽器４４ｂの両方が、ユーザーの頭部８１ａや体躯８１ｂから所定範囲内に位置していること等を条件に使用することで、同一ユーザーは演奏と歌唱の両方を行っていないと判定することが可能である。

演奏形態（あるいは歌唱形態）について、同一ユーザーが演奏と歌唱の両方を行っているか否かは、撮像情報中の外部楽器４４ｂ、マイクロホン４４ａの位置を使用することに代えて各種形態を採用することが可能である。例えば、マイクロホン４４ａの位置を使用することに代え、ユーザーの口の動きを使用することとしてもよい。簡易的には、外部楽器４４ｂを所持しているユーザーの口が動いている場合、当該ユーザーは演奏と歌唱を同時に行っていると判定される。また、より正確に行うには、外部楽器４４ｂを所持しているユーザーの口が歌唱すべき歌詞に合わせて動いていることを、判定の条件に使用することが考えられる。

また本実施形態のように、カメラ４３でユーザーを撮像する形態以外の形態を採用することも可能である。例えば、楽曲予約時の楽曲確認画面において、ユーザーが歌唱と演奏を同時に行うか否かを指定可能とし、ユーザーによる指定に基づく設定情報を使用して、同一ユーザーが演奏と歌唱の両方を行っているか否かを判定してもよい。例えば、オプション設定欄１０５に、「１人で両方」設定ボタンを設けることで、予約者であるユーザー（本実施例においては、表示部１１のＡさん）が演奏と歌唱の両方を行うか否かを設定可能とする。この場合、同一ユーザーが演奏と歌唱の両方を行なう設定情報が予約情報中に含まれることとなり、演奏用再生処理（Ｓ２００）における演奏形態、あるいは、歌唱用再生処理（Ｓ３００）における歌唱形態の判定に、その設定情報が使用され、以下に説明する演奏用再生処理時における（Ｓ２０５）では（Ｓ２０５：ＹＥＳ）として処理される。同様に歌唱用再生処理時における（Ｓ３０５）においても（Ｓ３０５：ＹＥＳ）として処理される。

この場合、ユーザー自身の設定に基づくため、評価の向上を目的とした不正が行われる可能性がある。したがって、ユーザーが歌唱と演奏を同時に行うか否かの指定は、他のユーザーによって行う仕様としてもよい。例えば、演奏用再生処理（Ｓ２００）あるいは歌唱用再生処理（Ｓ３００）を実行中、リモコン装置１等のインターフェイスを使用して、「演奏と歌唱が同時に行われていますか？」などのメッセージを表示して、他のユーザーからその正否を受け付けることで、設定情報を形成してもよい。さらには、ログインユーザー中、歌唱または演奏を行っているユーザー以外のユーザーのみから指定を受け付け可能とすることで、判定の客観性を担保し、上述する不正をさらに抑制することが可能である。

演奏形態判定処理（Ｓ２０４）で判定されたユーザーの演奏形態は、演奏評価処理（Ｓ２０２）で算出された演奏評価値を補正する補正処理（Ｓ２０６）に使用される。本実施形態の補正処理（Ｓ２０６）は、評価対象となっているユーザーが演奏と歌唱の両方を行っている場合（Ｓ２０５：Ｙｅｓ）、演奏評価値に対して加点する加点補正を行う。したがって、歌唱と演奏の両方を同時に行っている場合、演奏評価値に加点されることになり、演奏と歌唱を同時に行うことの難易度を反映した演奏評価値に補正されることになる。なお、補正処理（Ｓ２０６）における加点方法は、所定の値を加算する形態、あるいは、所定の倍率を積算する形態など各種形態を採用することが可能である。Ｓ２０７では補正された演奏評価値を累積し、現在までの評価指標を算出する。

図５のフロー図において、楽曲の再生が終了するまで（Ｓ２０８：Ｙｅｓ）、Ｓ２０２〜Ｓ２０７の処理を継続して行うことで、ユーザーの演奏形態を考慮した演奏の評価が行われる。楽曲の再生終了後（Ｓ２０８：Ｙｅｓ）、モニター４１に演奏評価結果が表示される（Ｓ２０９）。

図８は、演奏用再生処理（Ｓ２００）で表示される演奏評価結果画面を示す図である。楽曲の再生終了後、モニター４１に表示される演奏評価結果画面には、再生した楽曲に関する楽曲関連情報として、曲名６６ａ、歌手名６６ｂ、演奏の難易度６６ｃが表示される。また演奏の評価結果として、コード評価結果６７、コード一致数６８、累積された演奏評価値６９、ミスコード一覧７０が表示される。本実施形態では、図７で説明したように外部楽器４４ｂ（ギター）のコード毎に判定を行っているため、コード単位でのコード評価結果６７が表示される。コード評価結果６７には、楽曲再生中、適切なコードが適切なタイミングで演奏された数（Ｅｘｃｅｌｌｅｎｔ）、適切なコードが適度なタイミングで演奏された数（Ｇｏｏｄ）、コードが不適切であった数（Ｂａｄ）、コードが演奏されなかった数（Ｂｌａｎｋ）、連続してＥｘｃｅｌｌｅｎｔもしくはＧｏｏｄが継続した数（Ｃｏｍｂｏ）が表示される。コード一致数６８は、コード評価結果６７中のＥｘｃｅｌｌｅｎｔとＧｏｏｄの和である。ミスコード一覧７０は、演奏できなかったコードの一覧である。

累積された演奏評価値６９（スキルレベル）は、図５のＳ２０７の累積に基づく演奏評価値であって、楽曲を通じてのユーザーの演奏に基づく演奏評価指標である。本実施形態では、補正処理（Ｓ２０６）が適用されており、ユーザーが演奏に加えて歌唱を行うことによる難易度を反映した値となっている。

なお、本実施形態では、各コードに対する演奏評価処理（Ｓ２０２）毎に、演奏形態判定処理（Ｓ２０４）を行うことで、楽曲の再生期間中にユーザーの演奏形態が変化した場合であっても追従して補正を行うことを可能としている。このような形態に代え、ユーザーの演奏形態は、楽曲再生中の何れかのタイミングで判断することとしてもよい。例えば、楽曲再生中、適宜タイミングで１〜数回、演奏形態判定処理（Ｓ２０４）を行うことが考えられる。あるいは、楽曲中、演奏すべき箇所と歌唱すべき箇所が重複する区間についてのみ、この演奏形態判定処理（Ｓ２０４）を行うこととしてもよい。また、楽曲中においては、演奏と歌唱を同時に行うことが難しい区間と易しい区間が存在することが考えられえる。そのため、補正処理（Ｓ２０６）では、このような区間毎の難易度の違いにより加点形態を変更してもよい。

次に、歌唱用再生処理（Ｓ３００）について、図９〜図１０を用いて説明する。図９は、歌唱用再生処理（Ｓ３００）の詳細を示すフロー図である。歌唱用再生処理（Ｓ３００）の主な流れは、図５で説明した演奏用再生処理（Ｓ２００）と略同様であるが、歌唱用再生処理（Ｓ３００）では、マイクロホン４４ａに入力される歌唱音声を評価対象とし、歌唱形態に基づき歌唱評価値を補正する点において異なっている。

歌唱用再生処理（Ｓ３００）が開始されると、まず、楽曲情報中の実情報（演奏情報、歌詞情報、歌唱評価情報）を使用した楽曲再生が開始される（Ｓ３０１）。具体的には、音響制御部５２にて演奏情報が再生される。楽曲再生期間中は、従来のカラオケ装置で行われているように背景映像上に歌詞表示を行う形態であってもよく、あるいは、図７と同様、歌詞表示による歌唱支援と外部楽器４４ｂの演奏支援の両方を行ってもよい。

歌唱用再生処理中には、マイクロホン４４ａに入力される歌唱音声と歌唱評価情報を対比することで適切な歌唱が行われたか否かを判定する歌唱評価処理（Ｓ３０２）が実行される。また、歌唱用再生処理期間中には、同一ユーザーが歌唱と外部楽器４４ｂの演奏を行っているか否かを判定する歌唱形態判定処理（Ｓ３０４）が実行される。この詳細については、図６で説明した演奏形態判定処理（Ｓ２０４）における演奏形態の判定と同様である。

歌唱形態判定処理（Ｓ３０４）で判定されたユーザーの歌唱形態は、歌唱評価処理（Ｓ３０２）で算出された歌唱評価値を補正する補正処理（Ｓ３０６）に使用される。本実施形態の補正処理（Ｓ３０６）は、評価対象となっているユーザーが歌唱と演奏の両方を行っている場合（Ｓ３０５：Ｙｅｓ）、歌唱評価値に対して加点する加点補正を行う。したがって、歌唱と演奏の両方を同時に行っている場合、歌唱評価値に加点されることになり、演奏と歌唱を同時に行うことの難易度を反映した歌唱評価値に補正されることになる。

図９のフロー図において、楽曲の再生が終了するまで（Ｓ３０８：Ｙｅｓ）、Ｓ３０２〜Ｓ３０７の処理を継続して行うことで、ユーザーの歌唱形態を考慮した歌唱の評価が行われる。楽曲の再生終了後（Ｓ３０８：Ｙｅｓ）、モニター４１に歌唱評価結果が表示される（Ｓ３０９）。

図１０は、歌唱用再生処理（Ｓ３００）で表示される歌唱評価結果画面を示す図である。楽曲の再生終了後、モニター４１に表示される歌唱評価結果画面には、再生した楽曲に関する楽曲関連情報として、曲名６６ａ、歌手名６６ｂが表示される。また歌唱の評価結果として、累積された歌唱評価値７１、項目別評価値７２、項目別グラフ７３が表示される。累積された歌唱評価値７１は、図９のＳ３０７で累積された歌唱評価値であって、楽曲を通じてのユーザーの歌唱に基づく評価指標である。本実施形態では、補正処理（Ｓ３０６）が適用されており、ユーザーが歌唱に加えて演奏を行うことによる難易度を反映した値となっている。また、本実施形態では、歌唱評価の評価項目として、音程、安定感、ロングトーン、抑揚、テクニックといった項目別に歌唱評価を行っており、これらの結果は、項目別評価値７２に数値として表示され、項目別グラフ７３で数値が可視化されている。

以上、本発明の実施形態について、演奏用再生処理（Ｓ２００）、歌唱用再生処理（Ｓ３００）を選択して実行可能なカラオケ装置２について説明したが、このカラオケ装置２によれば、同一のユーザーが演奏と歌唱を行っているか否かという演奏形態（あるいは歌唱形態）を使用して演奏評価（あるいは歌唱評価）を行うことで、歌唱と演奏を同時に行うことの困難性に配慮したものとなっている。

なお、本発明は前述する実施形態に限られるものではなく、各種変形例を採用することが可能である。前述する実施形態では、演奏用再生処理（Ｓ２００）において演奏評価値を算出することで、演奏に対する評価をユーザーに提示し、歌唱用再生処理（Ｓ３００）において歌唱評価値を算出することで、歌唱に対する評価をユーザーに提示することとしているが、オプション設定欄１０５において、歌唱評価、演奏評価の両方をＯＮとすることで、演奏に対する評価と歌唱に対する評価の両方を行い、演奏評価値と歌唱評価値の両方に基づいて総合評価値を算出することとしてもよい。この場合、メイン処理において（Ｓ１０３：演奏評価＆歌唱評価）側に分岐し、演奏＆歌唱用再生処理（Ｓ４００）が実行される。この演奏＆歌唱用再生処理（Ｓ４００）は、演奏用再生処理（Ｓ２００）で説明した演奏評価値と、歌唱用再生処理（Ｓ３００）で説明した歌唱評価値をそれぞれ算出し、両者に基づいて統合評価値の算出を行い、評価結果として統合評価値をユーザーに提示する。なお、演奏評価値、歌唱評価値の何れか一方についても統合評価値と一緒にユーザーに提示することとしてもよい。その際、ユーザーに提示される統合評価値は、同一のユーザーが演奏と歌唱を同時に行ったか否かという判定形態に基づき補正された値として提示される。なお、楽曲再生中の画面については、図７で説明した演奏用再生処理（Ｓ４００）のものを利用する、あるいは、図示しない歌唱用再生処理（Ｓ３００）時のものを利用する、あるいは、演奏＆歌唱用再生処理（Ｓ４００）に特化した画面構成とすることが考えられる。

また、補正処理は、演奏情報中に規定された区間においてのみ実行することとしてもよい。例えば、楽曲の再生中、前奏、間奏、後奏等の区間では、ユーザーによる歌唱は行われず、楽器の演奏のみとなる。このような区間では補正処理を行わないことにより、演奏される各楽曲に対応した適切な補正を行うことが可能となる。

以上、本実施形態のカラオケ装置について説明したが、本発明は、パーソナルコンピュータ、ゲーム機、スマートフォン、タブレット端末といった各種コンピュータにインストールすることで、カラオケ装置と同じ機能を有するカラオケ用プログラムについても、本発明の範疇に属する。

１：リモコン装置 ６４ｃ：次々運指
２：カラオケ装置 ６５：歌詞表示欄
５：カラオケ用ホスト ６６ａ：曲名
１１：表示部 ６６ｂ：歌手名
１７：操作部 ６６ｃ：難易度
２７：メモリ ６７：コード評価結果
２８：映像再生部 ６８：コード一致数
３０：制御部 ６９：演奏評価値
３２：ハードディスク ７０：ミスコード一覧
４１：モニター ７１：歌唱評価値
４２：スピーカー ７２：項目別評価値
４３：カメラ ７３：項目別グラフ
４４ａ：マイクロホン ８１ａ：頭部
４４ｂ：外部楽器 ８１ｂ：体躯
５１：記憶部 １０１：ユーザー切り替えボタン
５２：音響制御部 １０２：ゲストボタン
６２：予定コード表示欄 １０３：ログインユーザー欄
６３：コードタイミング表示欄 １０３ａ〜１０３ｅ：分身像
６３ａ：現在コード １０５：オプション設定欄
６３ｂ：タイミングバー １０６：予約ボタン
６４ａ：現在運指 １１０：アクセスポイント
６４ｂ：次運指 １２０：ルータ

Claims (10)

1. 演奏情報に基づいて楽曲を演奏する演奏処理と、
   楽器の演奏音を取得する演奏音取得処理と、
   前記演奏音取得処理で判定された演奏音に基づき演奏評価値を算出する演奏評価処理と、
   前記楽器を演奏するユーザーと歌唱を行うユーザーが同一であるか否かを判定する演奏形態判定処理と、
   前記演奏形態判定処理の判定結果に基づいて、前記演奏評価処理で算出された演奏評価値を補正する補正処理と、を実行することを特徴とする
   カラオケ装置。
2. 演奏情報に基づいて楽曲を演奏する演奏処理と、
   マイクロホンに入力される歌唱音声を取得する歌唱音声取得処理と、
   前記歌唱音声取得処理で判定された歌唱音声に基づき歌唱評価値を算出する歌唱評価処理と、
   歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定する歌唱形態判定処理と、
   前記歌唱形態判定処理の判定結果に基づいて、前記歌唱評価処理で算出された歌唱評価値を補正する補正処理と、を実行することを特徴とする
   カラオケ装置。
3. 前記演奏形態判定処理もしくは前記歌唱形態判定処理は、撮像手段で撮像された撮像情報に基づいて、歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定することを特徴とする
   請求項１または請求項２に記載のカラオケ装置。
4. 前記演奏形態判定処理もしくは前記歌唱形態判定処理は、入力手段に入力された設定情報に基づいて、歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定することを特徴とする
   請求項１または請求項２に記載のカラオケ装置。
5. マイクロホンに入力される歌唱音声を取得する歌唱音声取得処理と、
   前記歌唱音声取得処理で判定された歌唱音声に基づき歌唱評価値を算出する歌唱評価処理を実行することを特徴とする
   請求項１に記載のカラオケ装置。
6. 楽器の演奏音を取得する演奏音取得処理と、
   前記演奏音取得処理で判定された演奏音に基づき演奏評価値を算出する演奏評価処理と、を実行することを特徴とする
   請求項２に記載のカラオケ装置。
7. 算出された演奏評価値と歌唱評価値に基づいて総合評価値を算出することを特徴とする
   請求項５または請求項６に記載のカラオケ装置。
8. 前記補正処理は、前記演奏情報に対応する区間において実行されることを特徴とする
   請求項１から請求項７の何れか１項に記載のカラオケ装置。
9. 演奏情報に基づいて楽曲を演奏する演奏処理と、
   楽器の演奏音を取得する演奏音取得処理と、
   前記演奏音取得処理で判定された演奏音に基づき演奏評価値を算出する演奏評価処理と、
   前記楽器を演奏するユーザーと歌唱を行うユーザーが同一であるか否かを判定する演奏形態判定処理と、
   前記演奏形態判定処理の判定結果に基づいて、前記演奏評価処理で算出された演奏評価値を補正する補正処理と、をコンピュータに実行させることを特徴とする
   カラオケ用プログラム。
10. 演奏情報に基づいて楽曲を演奏する演奏処理と、
    マイクロホンに入力される歌唱音声を取得する歌唱音声取得処理と、
    前記歌唱音声取得処理で判定された歌唱音声に基づき歌唱評価値を算出する歌唱評価処理と、
    歌唱を行うユーザーと楽器を演奏するユーザーが同一であるか否かを判定する歌唱形態判定処理と、
    前記歌唱形態判定処理の判定結果に基づいて、前記歌唱評価処理で算出された歌唱評価値を補正する補正処理と、をコンピュータに実行させることを特徴とする
    カラオケ用プログラム。