図1は、本発明の実施形態に係る歌唱投稿の様子を示す模式図であり、歌唱投稿システム全体の構成を示す図である。本発明に係る歌唱投稿システムは、カラオケ用ホスト装置5を中核として、プログラムがインストールされた各種情報処理装置(携帯端末、カラオケ装置、パーソナルコンピュータ等)を有して構成されている。カラオケ用ホスト装置5と各種情報処理装置は、インターネット等のネットワーク網を介して通信接続されている。携帯端末には、スマートフォン、タブレット端末、携帯電話など各種形態を使用することが可能である。図では、便宜上、投稿を行う投稿端末と、投稿を聴取する聴取端末に分けて記載しているが、投稿機能と投稿聴取機能は、同じ端末(情報処理装置)に兼ね備えたものであってもよい。
携帯端末を使用した場合の歌唱投稿について説明する。携帯端末にはプログラムが事前にインストールされており、ユーザーはこのプログラムを使用してカラオケ用ホスト装置5に歌唱する楽曲を要求する。携帯端末の場合、演奏する楽曲情報を記憶していないため、カラオケ用ホスト装置5に対して楽曲を要求し、受信した楽曲情報に基づいて演奏が行われる(非蓄積型)。一方、カラオケ装置の場合には、予めカラオケ用ホスト装置5から楽曲情報を受信して記憶した状態であり、記憶している楽曲情報に基づいて演奏が行われる(蓄積型)。このように歌唱する楽曲は、非蓄積型、蓄積型のどちらで取得してもよい。
携帯端末では、受信した楽曲情報に基づいて演奏を実行する。その際、演奏に同期して歌唱音声を録音して録音情報を形成し、録音情報を含む投稿情報をカラオケ用ホスト装置5に送信する。投稿情報を受信したカラオケ用ホスト装置5は、それを記憶部51に蓄積するとともに、Webサーバ52を通じて、曲名、投稿者など投稿情報に関する各種情報を聴取端末側に公開する。聴取端末側では、Webサーバ52を通じて公開された各種情報に基づいて聴取を希望する投稿情報を選択し、カラオケ用ホスト装置5に要求を行う。投稿情報の要求を受信したカラオケ用ホスト装置5は、要求のあった聴取端末に対して、選択された投稿情報を送信する。聴取端末では受信した投稿情報を再生し、投稿された録音情報を聴取することが可能となる。
本発明の実施形態に係るプログラムを実行可能な情報処理装置の一例として携帯端末1の構成を説明する。図2は、本発明の実施形態に係る携帯端末1の構成を示す図である。この携帯端末1としては、スマートフォン、タブレット端末、携帯電話などを採用することが可能である。この携帯端末1に、本発明に係るプログラムがインストールされることで、歌唱音声を投稿可能な投稿処理を実行させることが可能となる。
本実施形態の携帯端末1は、CPU11、RAM12、記憶部13、画像処理部14、音響処理部16を含んで構成された制御手段を有している。記憶部13には、ハードディスク、SSD等の不揮発性の記憶手段を採用することが可能である。この記憶部53には、本実施形態のプログラム、そして、プログラムで使用する各種データが記憶される。
CPU11は、携帯端末1全体を統括して制御する手段であり、記憶部13に記憶されたプログラム、データに基づいて各種制御を実行する。RAM12には、CPU11の制御によって生成されたデータを一時的に格納する。
音響処理部16は、携帯端末1の音響関係の入出力を行う手段である。CPU11の制御によりスピーカ17aに放音させる手段である。また、音響処理部16は、マイクロホン17bと接続され、マイクロホン17bから歌唱音声など、周囲の音声を取り込み可能としている。
タッチパネル表示部18は、画像を表示する表示部18bとその表面あるいは裏面に配設されるタッチパネル18aを有して構成されている。タッチパネル18aには、静電容量方式などユーザーのタッチ位置を認識可能とする各種タイプを採用することが可能である。CPU11は、表示部18bに表示を行うとともに、タッチパネル18aからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。
画像処理部14は、携帯端末1の画像関係の入出力を行う手段である。画像処理部14は、CPU11で形成された画像を表示部18bに表示出力する。そして、携帯端末1の前面(タッチパネル表示部18側)に配置されたフロントカメラ15F、もしくは、携帯端末1の背面に配置されたリアカメラ15Rから画像を取り込む機能を有する。
通信部19は、携帯無線網や、無線LANなどよる無線通信を行うことが可能であり、アクセスポイントと無線通信することで、携帯端末1をインターネットに通信接続させることが可能である。携帯端末1はインターネット上のサーバからプログラムを含む各種プログラム(「アプリ」とも呼ばれる)をダウンロードすることが可能である。なお、プログラムは、通信回線を利用した形態以外に、外部メモリ接続端子22に接続された外部メモリEXからインストールすることとしてもよい。通信部19には、赤外線通信部、Bluetooth(商標)などの近距離通信手段をさらに設けることとしてもよい。
本実施形態の携帯端末1は、入力手段としてタッチパネル18a以外に入力スイッチ20を備えて構成されている。この入力スイッチ20には、電源スイッチ、音量調整スイッチ、プログラムに応じて入力用途が変更されるスイッチなど、各種スイッチを設けることが可能である。
本実施形態の携帯端末1では、プログラムをインストールすることで、歌唱にあわせて録音された録音情報をホスト装置にアップロードすることが可能となっている。
図3には、本発明の実施形態に係る楽曲情報のデータ構成が示されている。この楽曲情報は、カラオケ用ホスト装置5の記憶部51に蓄積され、携帯端末1からの要求に基づいて配信される情報である。楽曲情報を受信した携帯端末1では、楽曲情報に含まれる演奏情報を演奏する等、楽曲情報に基づいて各種処理を実行する。本実施形態の楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏等、各種処理を実行する実情報に分けられる。メタ情報には、楽曲情報を識別するための楽曲識別情報、曲名、歌手名、作詞者名、作曲者名を有している。
楽曲情報の実情報には、演奏情報、歌詞情報、ガイドボーカル情報、基準音程情報(本発明における「歌唱基準情報」に相当)が含まれている。演奏情報は、MIDI規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等で構成され、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。ガイドボーカル情報は、主旋律等、歌唱すべきパートに対応する音声情報であり、ユーザーによってそのオン/オフを指定することが可能である。基準音程情報は、評価処理(採点)に使用される情報で有り、歌唱すべきパートの音程を規定した情報である。マイクロホン17bから入力される歌唱音声信号の音程と、この基準音程情報を比較することで、歌唱評価処理が行われる。
図4は、本発明の実施形態に係る投稿処理を示すフロー図である。ここでは携帯端末1を使用した場合の形態について説明を行う。携帯端末1においてプログラムを起動し、所定のメニューを選択することでこの投稿処理が開始される。本実施形態の投稿処理では、ユーザーはタッチパネル表示部18上に表示される表示画面31にて各種指示を行うことが可能である。投稿処理が開始されると、ユーザーは表示画面31に表示される楽曲選択画面を介して所望の楽曲を選択することが可能である(S101)。
図6には、本発明の実施形態に係る楽曲選択画面例が示されている。この楽曲選択画面は、カラオケ業者側の推奨する楽曲を選択可能とするものであって、「注目作品」、「いいね!!ランキング」、「似てる!!ランキング」といった項目毎に楽曲が表示されている。ユーザーは、この楽曲選択画面を利用して歌唱したい楽曲を選択することが可能である。また、この楽曲選択画面では、表示されている楽曲に対して投稿された投稿情報を聴取することも可能である。聴取を希望する場合、各楽曲の右側に表示された再生ボタンを操作することで、当該楽曲の投稿情報を再生することが可能である。なお、楽曲の選択は、図6の楽曲選択画面に限らず、楽曲名、あるいは、歌手名を指定して検索することも可能である。
ユーザーにより歌唱したい楽曲が決定されると、図7に示される楽曲詳細画面が表示画面31に表示される。この楽曲詳細画面では、曲名、歌手名等、楽曲に関する各種情報の他、演奏の際の各種設定を行うことが可能である。本実施形態では、ガイドボーカル(図3で説明したガイドボーカル情報)の放音設定、キー(演奏音程)の設定、テンポ(演奏速度)の設定を行うことが可能である。楽曲に関する各種情報の確認、並びに、演奏に関する各種設定を行ったユーザーは、「歌う」と表記された再生開始ボタン311を操作することで、楽曲情報の演奏を開始させる。
この楽曲詳細画面には、「マイスコア」、「ランキング」、「連携サービス」といったタブが表示されており、ユーザーは所望のタブを指定することで、関連した情報を参照することが可能である。このうち「マイスコア」を選択することで、表示している楽曲について、自分の歌唱得点について最高点あるいは履歴を閲覧することが可能である。「ランキング」は、表示している楽曲について、他のユーザーも含めた採点情報のランキングを閲覧することが可能である。右側に表示されるランキング詳細表示ボタン312を操作することで、詳細なランキングが閲覧可能となっている。
「歌う」と表記された再生開始ボタン311を操作すること(S102:Yes)で、指定された楽曲について演奏情報の演奏が開始される(S103)。本実施形態では、楽曲の演奏中、歌唱評価処理S104と、録音処理S105が行われる。歌唱評価処理S104は、楽曲情報に含まれる基準音程情報と、マイクロホン17bから入力される歌唱音声信号の音程とを比較することで、歌唱の評価を行う処理であり、本実施形態では歌唱評価を得点に換算する採点を行う形態としている。
録音処理S105は、マイクロホン17bから入力される歌唱音声信号を録音し、録音情報を形成する処理であり、本実施形態では、歌唱音声信号と演奏情報に基づく演奏音信号をミキシングして録音する形態となっている。このような形態に限らず、歌唱音声信号のみを録音することとしてもよい。その場合、録音情報を再生する際、対応する楽曲の演奏情報を同期して演奏することで、歌唱状態を再現することが可能である。
図8には、楽曲演奏中、表示画面31に表示される楽曲歌唱画面が示されている。本実施形態の楽曲歌唱画面には、楽曲情報に含まれる歌詞情報に基づいて歌詞が同期表示される歌詞表示領域314の他、基準音程情報、及び、マイクロホン17bから入力される歌唱音声に基づいて、歌唱評価を確認可能な評価表示領域313が設けられている。この評価表示領域313には、横軸軸を時間軸、縦軸を音高軸として有し、基準音程情報に基づく音高のバー313aが、演奏の進行に伴い左方向へとスクロールしていく。破線で示す位置が現在のタイミング、すなわち歌唱位置に相当する。また、歌唱者の歌唱に伴いマイクロホン17bから入力された歌唱音声の音程が実線313bとして破線左側に順次形成されていく。なお、歌唱音声の音高が基準音程情報に適合する場合と、適合しない場合とで、歌唱済み箇所のバーの表示形態(色や形など)を変化させることとしてもよい。
このように本実施形態では、評価情報として、歌唱中、基準音程情報に基づく音高をバー313aとして表示し、マイクロホン17bから入力される歌唱音声の音程を実線313bとして表示することで、自己の歌唱状態を確認しつつ、歌唱を行うことを可能としている。
さらに、楽曲歌唱画面の下方には、再生管理ツール315が表示されている。この再生管理ツールは、演奏情報の一時中止、演奏状況の進行を示すプログレスバーなどを含んで構成される。楽曲の演奏が終了した場合(S106:Yes)、歌唱評価処理の結果(この場合、採点情報)が表示画面31に表示される。
図5には、本発明の実施形態に係る再生処理(初回時)を示すブロック図が示されている。本実施形態の再生処理は、CPU11の制御の下、主に音響処理部16によって実行される処理である。音程検出処理(P101)では、マイクロホン17bから入力された歌唱音声に対して、FFT等の音響解析処理を施すことで、音程情報を抽出する。本実施形態では、評価対象として音程を使用しているが、評価対象としては、音程のみならず音量など、歌唱音声の各種特性を使用することが可能である。第1再生処理(P104)は、楽曲情報中の演奏情報に基づき、伴奏としての楽曲を再生する処理である。第1再生処理(P104)では、楽曲の再生に同期して、基準音程情報、すなわち、歌唱すべき音程を示す情報を評価処理(P102)に出力する。
評価処理(P102)は、第1再生処理(P104)にて出力された基準音程情報と、音程検出処理(P101)にて出力された音程情報に基づき評価情報を形成する。本実施形態における評価情報は、図8で説明した評価表示領域313内に、基準音程情報に基づく音高のバー313aと、マイクロホン17bから入力された歌唱音声の音程が実線313bとして表示させるための情報である。評価処理(P102)にて形成された評価情報は、表示処理(P103)にてタッチパネル表示部18に表示出力される。なお、評価情報は、基準音程情報に対する歌唱音声の音程の差とする等、基準音程情報と歌唱音声の音程に基づき歌唱評価を教示できる情報であれば、各種形態にて形成することが可能である。
一方、第1再生処理(P104)にて再生された楽曲情報中の演奏情報は演奏音として出力され、マイクロホン17bから入力される歌唱音声とミキシング処理(P106)される。録音処理(P105)では、マイクロホン17bから入力される歌唱音声の録音を行う。録音された信号は、録音情報として、携帯端末1のRAM12等に一時記憶される。また、ミキシング処理(P106)された信号は、スピーカ17aから放音出力される。このように本実施形態の録音処理(P105)は、歌唱音声のみを録音対象としている。したがって、本実施形態では、録音情報を再生させる場合、楽曲情報を同期して再生させることで、歌唱時の状態を再現することができる。
図9は、採点結果表示画面の画面例を示したものである。その際、携帯端末1は、歌唱した楽曲の採点情報をカラオケ用ホスト装置5に送信し、当該楽曲に関する他の採点情報と比較して、当該楽曲に関する順位を取得して表示する(S107)。採点情報を確認したユーザーは「次へ」と表示されたボタンを操作することで、録音処理S105で録音した録音情報の管理処理へと進む。
図10には、録音情報について各種管理を行う録音情報管理画面が示されている。この録音情報管理画面では、ユーザーは、「歌唱音声を投稿する」、「歌唱音声を再生する」、「歌唱音声を保存する」、「終了する」等を選択することが可能である。「歌唱音声を再生する」を選択した場合、S105の録音処理で形成した録音情報の再生を実行する。ユーザーは、自分の歌唱による録音情報を聴取して確認することが可能である。「保存する」を選択した場合(S108)、形成した録音情報を、携帯端末1内の記憶部13に保存する(S109)。保存した録音情報は、後から読み出して再生、あるいは、投稿することが可能である。「終了する」を選択した場合、形成した録音情報を破棄して、一連の投稿処理を終了する。
「歌唱音声を投稿する」を選択した場合(S110:Yes)、形成した音声情報をカラオケ用ホスト装置5に送信するための処理が開始する。本実施形態では、形成した録音情報中、ユーザーが編集処理で指定した区間(所定時間内)のみ、投稿情報に含めて送信することとしている。したがって、録音情報の容量は削減されることとなり、通信回線、並びに、カラオケ用ホスト装置5の負担低減が図られるとともに、投稿するユーザーにとっても、歌唱の聞き所を指定して投稿することが可能となる。また、投稿情報を聴取する側にとっても、多数アップロードされた投稿情報について、歌唱の聞き所を聴取することが可能であり、多数の投稿情報を効率よく聴取することが可能となる。なお、このような形態に代え、録音情報を全て送信(投稿)することとしてもよい。
形成した音声情報をカラオケ用ホスト装置5に送信する場合、まず、編集処理S111が実行される。この編集処理は、前述したように、録音情報を所定時間内(本実施形態では90秒以内)に収まるように、編集(切り出す)処理であり、切り出し区間の操作はユーザー(投稿者)自身によって行われる。図11には、本発明の実施形態に係る録音情報編集画面が示されている。この録音情報編集画面には、録音情報を編集するための編集ウィンドウ317と編集ツール318、そして、編集終了を指定する「決定」ボタンが表示されている。ユーザーは、編集ウィンドウ317に表示される操作子、あるいは、編集ツール318を操作して切り出し区間を指定し、「決定」ボタンを操作することで、所定時間内の区間を指定することが可能である。編集ツール318には、切り出し区間の開始時間(開始位置)と、切り出し区間の終了時間(終了位置)を指定可能とする2つのホイールスイッチ、指定された区間の再生、並びに、指定区間の先頭と末尾にそれぞれ、フェードイン、フェードアウトをかけるか否かを指定することが可能である。本実施形態では、切り出し区間の指定(開始位置と終了位置の指定)について編集ウィンドウ317内に表示される操作子、及び、編集ツール318内に表示されるホイールスイッチの利用が可能となっている。各ホイールスイッチの周囲をなぞることで、開始時間、終了時間を進退させることが可能である。
図12には、本発明の実施形態に係る編集ウィンドウの各種形態が示されている。図12(A)は、図11の表示画面31と同じ形態の編集ウィンドウ317である。この編集ウィンドウ317内には、録音処理で形成された録音情報の振幅値を示す波形情報が表示されている。波形情報は、サビなどの区間では振幅が大きくなることが予想される。また、間奏や前奏、後奏といった区間では振幅が小さくなることが予想される。ユーザーは、波形情報の振幅を頼りに区間開始位置を指定する操作子317aと、区間終了位置を指定する操作子317bを操作(あるいは、図11の編集ツール318内のホイールスイッチ)して、切り出し区間を指定する。その際、両操作子317a、317bの間は、所定時間(90秒)以上とならないようになっている。ユーザーは、このような編集ウィンドウ317のインターフェイスを使用して、切り出す区間を指定することが可能となる。
図12(B)は、編集ウィンドウ317内に区間種別を表示させた形態である。この区間種別は、録音処理を行う際、再生させた楽曲情報の区間情報に基づいて取得される。区間を限定した投稿を行う場合、区間種別の内、歌唱区間を投稿することが一般的である。そのため、本実施形態では、区間種別中、歌唱区間に相当する区間種別のみを編集ウィンドウ317内に表示させる形態を採用している。ユーザーは、編集ウィンドウ317内に表示された区間を頼りに、操作子317aと操作子317bを操作して投稿する区間を指定する(あるいは、図11の編集ツール318内のホイールスイッチ)ことが可能となっている。また、本実施形態では、区間種別に応じて表示形態(本実施形態では、両端の矢印の形状)を変更しており、ユーザーは区間種別を容易に把握することが可能となっている。このように、区間情報を使用した形態では、区間種別の区切り位置に容易に指定できるようにしてもよい。例えば、操作子317a、317bが、区間種別で指定された区間の先頭もしくは終端に吸着する形態とすることで、区間種別の区切り位置で正確かつ容易に録音情報の切り出しを行うことが可能となる。
図12(C)は、録音情報中、複数の区間を指定可能とするものである。ユーザーはインターフェイス(図示せず)を利用して、区間数を指定することが可能であって、指定した区間数に応じて操作子317a〜317dが表示される。図12(C)の例では、2つの区間を切り出す場合であって、各区間に2つの操作子317a〜317d(合計4つ)が表示されている。このように複数区間を指定可能とした場合、各区間の合計が所定時間内に収まることが必要とされる。したがって、各操作子317a〜317dは、所定時間を超えないようにその移動範囲が制限される。
図12(A)では波形情報を表示する形態を、図12(B)では区間種別を表示する形態を、図12(C)では複数区間を指定可能とする形態について説明したが、これら各種形態は適宜組み合わせて行うことも可能である。また、録音情報の区間指定は、図12(D)のように簡易なインターフェイスを採用してもよい。図12(D)に示される区間指定は、区間開始時間を指定するインターフェイスとなっている。ユーザーは開始分数を指定する回転ドラム317eと、開始秒数を指定する回転ドラム317fを開始位置317gにあわせることで、区間開始時間をしてすることが可能である。この場合、録音情報中、指定された区間開始時間から所定時間(本実施形態では90秒)の区間が指定されることとなる。
本実施形態では、投稿情報に含める録音情報に時間長の制限(90秒)を設けているが、本発明においては、この時間長の制限は必ずしも設ける必要はない。また、編集処理では、録音情報中、非歌唱区間に対応する区間種別箇所(前奏、間奏、後奏など)を自動的に削除することとしてもよい。投稿情報に含まれる録音情報を聴取する場合、ユーザーが歌唱している箇所が主な聴取対象となることが考えられる。このような削除処理を行うことで、聴取に不要な箇所を削除し、アップロードする投稿情報の容量を削減することが可能となる。なお、この削除処理は、カラオケ用ホスト装置5において、アップロードされた投稿情報中の録音情報に対して行うこととしてもよい。
録音情報中の区間を指定する編集処理(S111)が完了すると、投稿するユーザーの認証が行われる。ユーザーが既にログインしている場合(S112:Yes)には、そのまま関連情報入力(S114)へと進むことになるが、ユーザーがログインしていない場合(S112:No)には、ユーザーをログインさせるログイン処理(S113)が実行される。その際、ユーザーがアカウントを有していない場合には、アカウントを取得するための新規登録が行われる。ユーザーのログインが完了すると、投稿情報に含める各種投稿関連情報の入力が行われる(S114)。この投稿関連情報は、録音情報を公開する際、あわせて公開される各種情報であって、本実施形態では投稿テキストと、投稿画像を使用することが可能である。
図13には、本発明の実施形態に係る投稿関連情報入力画面が示されている。この投稿関連情報入力画面には、ログインしたユーザーのアカウントに登録されているユーザー名と、投稿テキスト記入欄319、投稿画像選択ボタン320、投稿ボタン321が表示されている。本実施形態ではアカウントに登録されているユーザー名をそのまま使用する形態となっているが、このユーザー名はユーザー入力により変更可能としてもよい。投稿テキスト記入欄319を指定すると、ソフトキーボードなどによるテキスト入力を行うことが可能である。投稿するユーザーは、投稿に関して他のユーザーに伝えたいコメントを入力する。投稿画像選択ボタン320には、画像選択ボタン320aと撮影ボタン320bがあり、画像選択ボタン320aを操作した場合には、携帯端末1の記憶部13に記憶している画像の中から投稿画像を選択することが可能である。一方、撮影ボタン320bを操作した場合には、携帯端末1のフロントカメラ15F、あるいは、リアカメラ15Rで撮影を行い、撮影された画像を投稿画像とすることが可能である。
投稿関連情報を入力し終えたユーザーは「投稿する」と表記された投稿ボタン321を操作することで、編集された録音情報、入力された投稿関連情報等を含んだ投稿情報をカラオケ用ホスト装置5に送信する(S116)。図14には、本発明の実施形態に係る投稿情報のデータ構成が示されている。本実施形態の投稿情報は、メタ情報と実情報で構成されている。実情報は、録音情報と、音程情報、基準音程情報を含んで構成されている。録音情報は、編集処理で区間指定された箇所の録音情報であり、本実施形態ではマイクロホン17bから入力された歌唱音声で構成されている。
音程情報は、歌唱中の歌唱評価処理(S104あるいはP102)において、マイクロホン17bから入力された歌唱音声の時系列的変化を示した情報である。この音程情報も録音情報と同様、編集処理で区間指定された箇所が切り出されたものである。基準音程情報は、歌唱の対象となった楽曲情報中に含まれていたものであり、録音情報、音程情報と同様、編集処理で区間指定された箇所が切り出されたものである。このように本実施形態では、録音情報の区間指定された箇所に対応する音程情報及び基準音程情報が含まれており、録音情報を再生処理する際、音程情報と基準音程情報に基づいて評価情報を形成することが可能である。したがって、録音情報を再生する際、音程情報と基準情報に基づく評価情報を形成、表示することで、投稿したユーザーが基準音程情報に対してどのような歌唱をしているのかを確認することが可能となる。例えば、どの部分でうまく歌えている、あるいは、ミスをしていることを確認することが可能となる他、ユーザー独自の歌い回しを確認することが可能である。
メタ情報には、楽曲識別情報、楽曲名、歌手名等の録音時に使用した楽曲に関する情報が含まれている。また、投稿情報がどのユーザーによって投稿されたかを識別可能とするため、投稿者のアカウントに含まれるユーザー識別情報が含まれている。また、楽曲演奏時についての情報として、演奏開始前に設定されたキー(音程)情報、テンポ(速度)情報が含まれている。また、演奏終了時に算出された採点値などの最終評価情報が含まれており、投稿情報のランキング等に使用可能となっている。また、録音情報の切り出し区間を示す編集位置情報、録音情報を再生する際、演奏情報の再生位置を示す再生位置情報、図13の投稿関連情報入力画面で入力した投稿関連情報が含まれている。
カラオケ用ホスト装置5に送信(投稿)された投稿情報は、カラオケ用ホスト装置5の記憶部41に記憶されるとともに、Webサーバ52上で公開される。なお、Webサーバ52上での公開に先立ち、不適切な音声が録音されていないか、あるいは、不適切な画像や言葉が投稿関連情報に含まれていないか等について審査を行い、審査をクリアした投稿情報のみを公開対象としてもよい。
本実施形態では、投稿処理を可能とするプログラムにおいて、投稿情報の聴取を可能としている。では、この投稿情報の聴取形態について、携帯端末1を使用した形態について説明を行う。なお、投稿情報の聴取は、携帯端末1に限られるものではなく、カラオケ装置やパーソナルコンピュータ、あるいは、ゲーム機等、各種情報処理装置において実行することとしてもよい。
投稿情報を聴取する、すなわち、投稿時の編集処理によって楽曲中の一部分にあたる録音情報を再生する場合、聴取するユーザーは、録音情報の歌唱音声を聴取しつつ歌唱を行うことが考えられる。編集処理によって適宜箇所が切り出された録音情報は、再生直後から録音された歌唱音声が再生されることが考えられる。したがって、録音情報を聴取するユーザーは、再生直後から録音情報の歌唱音声とタイミングを合わせて歌唱することは困難である。さらに、本実施形態では、編集処理によって切り出された録音情報と歌唱評価に関する対戦を行うこととしている。すなわち、録音情報の歌唱音声に対する評価と、録音情報を聴取するユーザーの歌唱音声に対する評価の優劣を競うモードが設けられている。このような場合、通常の出だしではない箇所が歌唱対象としていきなり再生されると、何処を歌唱してよいか戸惑うことが考えられ、評価の優劣を競う場合、歌唱するユーザーにとって不利な条件となる。
本実施形態では、編集処理によって切り出された楽曲の一部分にあたる録音情報を聴取する際、楽曲の一部区間に対応する歌唱音声を再生するとともに、当該楽曲の一部区間よりも前の位置から当該楽曲の演奏音を再生開始することとしている。このような構成により、録音情報にあわせて歌唱するユーザーは、楽曲の一部区間に対応する歌唱音声に先駆けて演奏音を聴取し、楽曲中の何処を歌唱してよいかを確認することが可能となる。
図14(A)は、本発明の実施形態に係る音声再生区間と演奏音再生区間の関係を示したものであって、楽曲始点から楽曲終点までを時系列表示している。図中、区間R(始点RS、終点RE)は、編集処理において指定された区間であって、録音情が切り出された区間に相当している。このような場合、楽曲中、始点RSよりも前の位置から演奏音を再生することで、投稿情報を聴取するユーザーに対して楽曲中のどの箇所を歌唱すべきか、事前に認識させることが可能となる。したがって、投稿情報の聴取時において、演奏音は、始点RSよりも楽曲進行上の前の位置である始点PSから、終点REと同じ位置である終点PEまでの区間Pで再生される。
図14(B)は、投稿情報を聴取する際、録音情報と演奏情報の再生を時系列で示したものである。演奏情報は、録音情報の再生に先駆けた始点PSから終点PEまでの区間Pにおいて再生される。一方、録音情報は、演奏情報の再生開始後、始点RSから終点REまでの区間Rにおいて再生される。録音情報の区間Rの始点RSと終点REは、編集処理を行うユーザー(投稿を行うユーザー)によって任意に指定することが可能であるが、演奏音の始点PSは、楽曲の演奏上、切りのよい位置に設定することが好ましい。例えば、小節の区切り、歌詞フレーズの区切り等、楽曲に規定されている所定位置に設定することが考えられる。このように設定することで、投稿情報の聴取開始時における違和感を抑えることが可能となる。
本実施形態では、投稿処理時において演奏音の再生区間Pを決定している。決定された再生区間は、投稿情報中の再生位置情報として記録される。投稿情報の再生を行う場合、この再生位置情報を参照して、楽曲識別情報に対応する演奏情報の一部区間が再生される。一方、録音情報については、投稿情報中の編集位置情報に基づく再生タイミングにて再生することで、演奏情報と同期した再生が行われる。
図14の実施形態では、録音情報の区間Rの終点REと演奏情報の区間Pの終点PEとを同一時点としているが、演奏情報の区間Pの終点PEは、録音情報の区間Rの終点REよりも後に設定してもよい。図15(A)、(B)には、このような再生の形態が示されている。図15(A)は、楽曲の進行上における録音情報、演奏情報の位置を示した図であり、図15(B)は、投稿情報を再生する際の録音情報と演奏情報の時系列関係を示した図である。始点PSの場合と同様、楽曲の演奏上、演奏情報の終点PEを切りのよい位置に設定することで、投稿情報の再生終了時においても聴取時の違和感を抑えることが可能となる。
図14、図15では、楽曲の進行上、1つの区間を対象としているが、図12(C)で説明したように編集処理では、複数の区間を投稿対象として指定することが可能である。複数の区間を指定した場合においても各録音情報の区間の始点RS1、RS2よりも前の位置に、演奏情報の始点PS1、PS2が設定される。図16の実施形態では、図15の実施形態と同様、演奏情報の終点PE1、PE2を、録音情報の終点RE1、RE2よりも後の切りのよい位置に設定することで、聴取時の違和感を抑えている。このように設定することで、演奏情報の演奏区間となる区間P1と区間P2の接続に対し、聴取時の違和感を抑えることも可能となる。なお、このように、演奏情報の終点PE1を録音情報の終点RE1よりも後に設定した場合、区間P1と区間P2が重畳することが考えられる。その場合、演奏情報の演奏区間P1とP2を、始点PS1、終点PE2を有する1つの区間に統合することが好ましい。図16(B)は、稿情報を再生する際の録音情報と演奏情報の時系列関係を示した図である。演奏情報の区間P1、区間P2が連続して演奏されるとともに、録音情報の区間R1、区間R2がそれに同期して再生される。
図18には、聴取する投稿情報を選択可能とする採点ランキング画面が示されている。この採点ランキング画面は、図6で説明した楽曲詳細画面中、「ランキング」タブ内に表示されるランキング詳細表示ボタン312を操作することで表示される画面である。この採点ランキング画面には、楽曲詳細画面で指定されている楽曲について、投稿情報内の採点値(評価情報)の高い順に、採点値、ユーザー名、並びに、再生開始ボタン322a〜322cが表示される画面である。ユーザーは、聴取したいユーザーに対応する再生開始ボタン322a〜322cを選択することで、当該ユーザーの録音情報を聴取することが可能である。なお、再生開始ボタン322a〜322cが表示されていないユーザーは、投稿を行っていないユーザーであって、録音情報を聴取することはできない。
あるユーザーについて再生開始ボタン322a〜322cを操作することで、録音情報の再生が開始される。図19には、本発明の実施形態に係る再生処理(投稿情報再生時)を示すブロック図が示されている。投稿情報のみを再生することも可能であるが、本実施形態では、投稿情報を再生するとともに、マイクロホン17bから入力される歌唱音声に対する歌唱評価処理を実行することで、第2の評価情報を形成し、投稿情報に基づく評価情報と対比することが可能となっている。さらに、本実施形態では、マイクロホン17bから入力される歌唱音声に対して録音処理を実行することで、更なる投稿処理を行うことを可能としている。
音程検出処理(P101)では、マイクロホン17bから入力された歌唱音声に対して、FFT等の音響解析処理を施すことで第2の音程情報を検出する。一方、投稿情報は、分離処理(P107)にて、録音情報(歌唱音声)と、音程情報とに分離される。第1再生処理(P110)では、投稿情報に含まれる楽曲識別情報に対応する演奏情報に基づいて演奏を行い演奏音を出力する。また、演奏情報の演奏に同期して基準音程情報が出力される。評価処理(P102)では、基準音程情報と音程情報に基づいて投稿情報内の録音情報に対する第1の評価情報を形成するとともに、基準音程情報と音程検出処理(P101)にて検出された第2の音程情報に基づいて第2の評価情報を形成する。第1の評価情報は、投稿情報の録音情報に対する評価であり、第2の評価情報は、今回、投稿情報の再生に合わせて歌唱された歌唱に対する評価である。表示処理(P103)では、第1の評価情報と第2の評価情報をタッチパネル表示部18に表示する。
分離処理(P107)で分離された録音情報は、第2再生処理(P108)にて再生される。第1再生処理(P110)で再生された演奏情報と、第2再生処理(P108)で再生された録音情報と、マイクロホン17bから入力された歌唱音声は、ミキシング処理(P111)にてミキシングされ、スピーカ17aから放音出力される。なお、第1再生処理(P110)における演奏情報と、第2再生処理(P108)における録音情報は、投稿情報に含まれる編集位置情報、再生位置情報に基づき、同期して再生することが可能である。同期の形態については、図14〜図16で説明したとおりであって、同期再生することで、録音情報の録音時の歌唱状態が再現される。
また、本実施形態では、録音情報に含まれる音程情報と基準音程情報に基づいて、第1の評価情報を形成し、投稿したユーザーによる録音情報に対する歌唱評価を再現することが可能となっている。投稿情報を受信して再生を行うユーザーは、タッチパネル表示部18上に表示出力される第1の評価情報に基づいて、投稿したユーザーの歌唱評価を確認することが可能である。さらに、本実施形態では、投稿情報の再生に併せて歌唱された歌唱音声に対し、歌唱音声と基準音程情報に基づく、第2の評価情報を形成し、タッチパネル表示部18に表示出力することとしている。このような構成によれば、投稿情報を再生するユーザーは、第1の評価情報と第2の評価情報を対比することで、自己の歌唱と投稿したユーザーの歌唱について対比確認を行うことが可能となる。
図20には、投稿情報を再生する際に表示される録音情報再生画面の一例が示されている。図18の採点ランキング画面において、2位のBさんについて再生開始ボタン322bを操作した場合である。録音情報再生画面には、楽曲名、歌手名、投稿者のユーザー名、採点値(最終評価情報)、そして、投稿関連情報として入力された投稿画像325、投稿テキスト326、歌詞情報327が表示される。歌詞情報327は、投稿情報に含まれる楽曲識別情報に基づいて、対応する楽曲情報から取得することが可能である。その際、再生する楽曲について全ての歌詞情報を表示してもよいが、投稿情報中の編集位置情報に基づき、編集処理にて切り出された録音情報に対応する箇所の歌詞情報327を表示させることとしてもよい。
この録音情報再生画面の中央には、評価表示領域313が設けられている。この評価表示領域313には、基準音程情報に基づく音高がバー313aとして表示され、投稿情報に含まれる(第1の)音程情報が破線313bとして表示される。評価情報に関する表示形態は、図8で説明した評価表示領域313と略同様であり、横軸軸を時間軸、縦軸を音高軸として有し、バー313aと破線313bが、演奏の進行に伴い左方向へとスクロールしていく。破線で示す位置が現在のタイミング、すなわち歌唱位置に相当する。このように、本実施形態では、投稿情報を再生する際、評価表示領域313に、投稿情報に含まれる第1の音程情報と、基準音程情報に基づき第1の評価情報を表示することで、投稿したユーザーが基準音程情報に対してどのような歌唱をしているのかを確認することが可能となる。
また、本実施形態では、図14〜図16で説明したように録音情報が再生される区間(図15の場合、区間R)よりも前の位置(図15の場合、始点PS)から、演奏音の再生開始を行うこととしている。この場合、投稿情報を聴取するユーザーに対して、現在の再生位置が録音情報の再生区間であるか否かを通知可能な構成とすることが好ましい。例えば、演奏の進行状況が表示される評価表示領域313中に、録音情報の再生区間について、バー313aの表示形態(色や形)を変更することで、録音情報の再生区間を認識可能に表示することが考えられる。また、録音情報の始点の到来をカウントダウン表示することで通知する、あるいは、音声など音響的出力で通知することとしてもよい。また、演奏情報の再生に同期して歌詞を表示することが好ましい。演奏情報に同期して歌詞を表示することで、聴取するユーザーは、楽曲中、録音情報がどの区間を歌唱するかを事前に認識することが可能となる。
本実施形態のように編集処理によって切り取られた楽曲の一部区間を再生する場合、短時間で再生を終えることが考えられる。さらに、本実施形態では、投稿情報中の録音情報に対する評価と、投稿情報の再生に合わせて歌唱された歌唱に対する評価を行うこととしている。このような形態では、両評価の優劣を競う、いわゆる歌唱の対戦を行うことが考えられる。従来、カラオケ装置においても歌唱の対戦は行われていたが、1楽曲を通じて対戦を行うためには、1楽曲を全て歌唱する必要があり、気軽に短時間で行うことはできなかった。本実施形態のように、楽曲の一部区間を対戦の対象とすることで、短時間で歌唱の対戦を行うことが可能であり、また、サビ区間など一部区間での優劣を競うことができる新たなサービスを提供することが可能である。
本実施形態では、投稿するユーザーの編集処理によって、編集された区間を対戦の対象としている。このような場合、楽曲中の一部区間がいきなり再生されることになると、対戦相手となるユーザーは、どこから歌唱してよいか戸惑うことが考えられ、歌唱評価に不利益を生じることとなる。本実施形態では、前述したように録音情報の始点の到来を各種手段で通知することで、投稿者との対戦において公平性を保つことが可能となる。
また、録音情報を再生するにあたって、録音情報の音程情報(第1の音程情報)が基準音程情報に適合する場合と、適合しない場合とで、歌唱済み箇所のバーの表示形態(色や形など)を変化させることとしてもよい。その際、基準音程情報を難易度別に複数設けておき、再生を行うユーザーによって切り替え可能としてもよい。本実施形態のように音程による評価を行う場合には、適合する音程の範囲を異ならせる、例えば、難易度が高いほど適合する音程の範囲が狭くなることが考えられる。投稿情報を再生するユーザーは、投稿情報を再生する際、図示しないユーザーインターフェイスによって難易度を設定することで、基準音程情報を切り替え、異なる評価基準で投稿情報を評価することが可能である。この場合、図20の評価表示領域313の表示のみならず、図9で説明した最終評価情報(採点値)も設定した難易度に応じて変化させてもよい。
さらに、本実施形態では、音程検出処理(P101)にて検出された第2の音程情報が、実線313cで表示される。本実施形態では、基準音程情報に基づくバー313aと第2の音程情報に基づく実線313cとで、第2の評価情報を形成している。この第2の評価情報を第1の評価情報と併せて表示することで、投稿情報の再生に合わせて歌唱する自己の歌唱が、基準音程情報、並びに、投稿したユーザーの音程情報(第1の音程情報)に対してどのように異なっているかを確認することが可能となっている。
録音情報再生画面の画面下方には、再生位置を指定可能なプログレスバー、一時停止ボタンを含む再生管理ツール323が表示されている。再生管理ツール323の下方には、「似てる!!」と表記された投票ボタン324a、「いいね!!」と表記された投票ボタン324bが表示されている。録音情報を聴取したユーザーは、これら投票ボタン324a、324bを操作することで、聴取した録音情報に対する評価を行うことが可能である。なお、これら投票ボタン324a、324bは、録音情報の聴取が一定時間以上行われた場合、あるいは、聴取が完了した時点で表示、あるいは操作可能としてもよい。録音情報を聴取することなく投票を行う不正を抑制することが可能となる。
投票ボタン324a、324bによる投票操作は、聴取している投稿情報に関する投票情報として、カラオケ用ホスト装置5に送信される。カラオケ用ホスト装置5では、投票項目毎に投票情報を集計し、図6で説明した各項目(「いいね!!」、「似てる!!」)のランキングに使用し、投稿情報を紹介することが可能となる。
投稿情報の再生完了後、評価処理(P102)にて出力された、第1の評価情報と第2の評価情報とを対比して、その優劣を判定することが可能である。図21には、本発明の実施形態に係る結果表示画面が示されている。投稿情報の再生終了後、第1の評価情報と第2の評価情報を最終的に対比することで、投稿情報を投稿したユーザーと、投稿情報を再生したユーザーとの間で歌唱の対戦結果が判定される。図21の結果表示画面では、「再チャレンジ」と表記されたボタンが表示されており、ユーザーはこのボタンを操作することで、同じ投稿情報を再度再生し、対戦を行うことが可能である。このように本実施形態では、楽曲の一部区間を評価対象とすることで、短い時間で、かつ、サビ区間など一部区間において歌唱の対戦を行うことを可能としている。また、本実施形態では、楽曲の一部区間を投稿したユーザーによる編集処理によって決定することとしており、投稿するユーザー側が対戦対象となる区間を任意に指定することも可能となる。
以上、携帯端末1を例として、投稿処理、並びに、投稿された投稿情報の聴取処理について説明を行ったが、投稿処理、聴取処理については、携帯端末1のみならず、カラオケ装置、パーソナルコンピュータ、ゲーム機器等、各種情報処理装置において行うことが可能であり、幅広いユーザーに対して歌唱録音による投稿を提供することが可能である。