JP2015161710A

JP2015161710A - カラオケ装置、及びカラオケ用プログラム

Info

Publication number: JP2015161710A
Application number: JP2014035224A
Authority: JP
Inventors: 英知郡司; Hidetomo Gunji
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2015-09-07
Anticipated expiration: 2034-02-26
Also published as: JP6283936B2

Abstract

【課題】初めて取得した投稿データを最初に再生した場合でも、合唱を円滑に行わせる。【解決手段】所定の楽曲と同期して合唱相手の投稿音声データと投稿映像データが記録された投稿データを取得する制御手順Ｓ５と、所定の楽曲を演奏するとともに、当該所定の楽曲に同期して投稿データを再生する制御手順Ｓ１０と、この再生前に、投稿データの時系列的な進行に対応して、旋律種類区間の区別の解析と、旋律種類区間ごとの投稿音声データにおける音声の有無を解析する制御手順Ｓ１００と、再生中の楽曲に同期して、旋律種類区間ごとに解析した投稿音声データにおける音声の有無に基づいて所定の楽曲の歌詞を異なる表示態様の歌詞テロップで表示する制御手順Ｓ１５と、歌詞テロップの背景に網掛けパターンを重ねて表示する制御手順Ｓ２０と、楽曲の時系列的な進行に対応してスクロール表示する制御手順Ｓ２５と、を有する。【選択図】図５

Description

本発明は、取得したデュエット歌唱用投稿データを再生するカラオケ装置、及びカラオケ用プログラムに関する。

例えば、特許文献１に開示されている技術では、その場に居合わせない相手があらかじめ所定の楽曲を歌唱した際の音声と画像を投稿データとしてサーバにアップロード（投稿）する。そして、他の歌唱者がその投稿データをサーバからダウンロード（取得）して同じ楽曲の演奏と同期するよう当該投稿データを再生させることにより、あたかも同じ場に居合わせているようにデュエット歌唱（合唱）できる。

特開２０１２−２７４１７号公報

合唱する対象の上記所定の楽曲では、例えば投稿した相手ユーザが単独で主旋律を歌唱する区間、投稿データを取得したユーザ（以下、自己ユーザという）が単独で主旋律を歌唱する区間、及び双方のユーザが同時にハモリで歌唱する区間、といった旋律種類により歌唱形態が異なる複数の旋律種類区間を時系列的な進行に対応して切り替えて歌唱する場合が多い。しかし、自己ユーザは合唱対象の所定の楽曲自体をあらかじめ知っていたとしても、初めて取得した投稿データにおいて相手ユーザがどの旋律種類区間で歌唱しており、自己ユーザ自身がどの旋律種類区間で歌唱すべきかかまではあらかじめ知り得ることができなかった。このため、初めて取得した投稿データに対して最初の再生時に上手く合唱することが困難であった。

本発明の目的は、初めて取得した投稿データを最初に再生した場合でも、合唱を円滑に行うことができるカラオケ装置及びカラオケ用プログラムを提供することにある。

上記目的を達成するために、第１の発明は、所定の楽曲と同期して合唱相手の音声データと映像データが記録された投稿データを取得する取得手段と、前記所定の楽曲を演奏するとともに、当該所定の楽曲に同期して前記投稿データを再生する再生手段と、前記再生手段による再生前に、前記投稿データの時系列的な進行に対応して、旋律種類区間の区別の解析と、前記旋律種類区間ごとの前記音声データにおける音声の有無を解析する解析手段と、前記再生手段の再生中の楽曲に同期して、前記旋律種類区間ごとに前記解析手段で解析した前記音声データにおける音声の有無に基づいて前記所定の楽曲の歌詞を異なる表示態様で表示する歌詞表示手段と、を有することを特徴とする。

本発明のカラオケ装置は、合唱相手（デュエット歌唱する相手）のユーザがあらかじめ所定のサーバに投稿（登録）していた投稿データを取得手段で取得し、再生手段で再生する。この投稿データには、所定の楽曲に合わせて歌う合唱相手の音声データと動画データがあらかじめ記録されている。当該カラオケ装置のユーザは、所定の楽曲の演奏に同期してこの投稿データを再生することで、あたかも合唱相手のユーザと合唱するような形態で歌唱できる。

合唱する対象の上記所定の楽曲では、例えば相手ユーザが単独で主旋律を歌唱する区間、当該カラオケ装置のユーザ（以下、自己ユーザという）が単独で主旋律を歌唱する区間、及び双方のユーザが同時にハモリで歌唱する区間、といった旋律種類により歌唱形態が異なる複数の旋律種類区間を時系列的な進行に対応して切り替えて歌唱する場合が多い。しかし、自己ユーザは合唱対象の所定の楽曲自体をあらかじめ知っていたとしても、初めて取得した投稿データにおいて相手ユーザがどの旋律種類区間で歌唱しており、自己ユーザ自身がどの旋律種類区間で歌唱すべきかかまではあらかじめ知り得ることができなかった。このため、初めて取得した投稿データに対して最初の再生時に上手く合唱することが困難であった。

これに対し本発明では、再生手段で再生する前に、投稿データの時系列的な進行に対応して（実際の再生速度よりも速く処理してもよい）、旋律種類区間の区別の解析と、旋律種類区間ごとの音声データにおける相手ユーザの音声の有無（音声レベルで見た有無）を解析手段で解析する。そして歌詞表示手段が、再生手段の再生中に同期して（つまり実際の再生速度に合わせて）、旋律種類区間ごとに解析手段で解析した音声データにおける音声の有無に基づいて所定の楽曲の歌詞を異なる表示態様（色別、線の太さ、中抜き線・実線、等）で表示する。

これにより、自己ユーザはこれから再生される旋律種類区間のうち、どの旋律種類区間で相手ユーザが歌唱しており、どの旋律種類区間で自己ユーザ自身が歌唱すべきかを把握することができる。この結果、初めて取得した投稿データを最初に再生した場合でも、合唱を円滑に行うことができる。

また上記目的を達成するために、第２の発明は、カラオケ装置が備える演算手段に実行させるカラオケ用プログラムであって、所定の楽曲と同期して合唱相手の音声データと映像データが記録された投稿データを取得する取得手順と、前記所定の楽曲を演奏するとともに、当該所定の楽曲に同期して前記投稿データを再生する再生手順と、前記再生手順による再生前に、前記投稿データの時系列的な進行に対応して、旋律種類区間の区別の解析と、前記旋律種類区間ごとの前記音声データにおける音声の有無を解析する解析手順と、前記再生手順での再生中にその時系列的な進行に対応して、前記旋律種類区間ごとに前記解析手順で解析した前記音声データにおける音声の有無に基づいて前記所定の楽曲の歌詞を異なる表示態様で表示する歌詞表示手順と、を実行させることを特徴とする。

本発明によれば、初めて取得した投稿データを最初に再生した場合でも、合唱を円滑に行うことができる。

本発明の一実施形態に係わるカラオケ装置を含む通信カラオケシステムの全体構成を表す機能ブロック図である。楽曲データと投稿データのデータ構造の一例を示す図である。投稿音声データ解析タイムテーブルの一例を示す図である。楽曲の演奏中における表示部の表示の一例を示す図である。カラオケ装置の制御部が備えるＣＰＵにより実行される処理内容を示すフローチャートである。図５中のフローにおけるステップＳ１００の投稿音声データ解析処理の詳細な制御手順を示すフローチャートである。

以下、本発明の一実施の形態について、図面を参照しつつ説明する。

図１は、本実施形態に係わるカラオケ装置を含む通信カラオケシステムの全体構成を表す機能ブロック図である。

図１において、通信カラオケシステム１は、少なくとも１つのカラオケ装置（この例では第１カラオケ装置１０Ａ及び第２カラオケ装置１０Ｂ）と、サーバ２０と、を有している。

＜カラオケ装置＞
カラオケ装置１０Ａ，１０Ｂ（以下適宜、これらを総称して単に「カラオケ装置１０」という）は、例えばカラオケ店舗等のカラオケルームＫＲに設置されている。カラオケ装置１０とサーバ２０は、例えば通信ネットワーク等のネットワークＮＷとを介し、互いに情報送受信可能に接続されている。

カラオケ装置１０は、装置本体１００と、マイク３０と、を有している。装置本体１００とマイク３０とは、無線回線又は有線回線により接続されている。

装置本体１００は、制御部１０１と、大容量記憶装置１０３と、操作部１０４と、受信部１０５と、音源１０６と、音声制御部１０７と、スピーカ１０８と、表示部１０９と、通信制御部１１０と、カメラ１１１を有している。

制御部１０１は、図示しないＣＰＵや、ＲＡＭ及びＲＯＭ等のメモリを備えている。この制御部１０１は、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭや上記大容量記憶装置１０３に予め記憶された各種プログラム（後述の図５及び図６に示す処理を実行するための制御プログラムを含む）を実行する。これにより、装置本体１００全体の制御を行う。

大容量記憶装置１０３は、例えばＨａｒｄＤｉｓｋＤｒｉｖｅ（ＨＤＤ）などから構成される。この大容量記憶装置１０３は、背景映像データ等の各種情報が記憶されている。

操作部１０４は、例えば複数のキーやスイッチなどから構成される。ユーザは、この操作部１０４を用いて、カラオケ楽曲の予約操作等の各種操作を行うことができる。

受信部１０５は、上記のマイク３０から出力された歌唱者の歌唱による音声信号を受信する。

音源１０６は、上記制御部１０１によって後述する演奏データと投稿音声データを再生して音声制御部１０７へ出力する。音声制御部１０７は、音源１０６から出力された演奏データと投稿音声データ、及び、受信部１０５を介してマイク３０により入力された音声信号をミキシングして増幅し、スピーカ１０８へ出力する。スピーカ１０８は、音声制御部１０７から出力された演奏データ、投稿音声データ及び音声信号を音声出力する。

なお、以下適宜、音源１０６、音声出力部１０７、及びスピーカ１０８を、省略して「音源１０６等」と称する。

表示部１０９は、例えば液晶ディスプレイなどから構成され、各種映像を表示する。特に、表示部１０９は、上記音源１０６等により演奏データの再生が行われるのにしたがい、演奏データの楽曲の再生に同期して、大容量記憶装置１０３から読み出された背景映像データ、デュエット相手の歌唱映像や歌唱音声レベル波形３０１、及び歌詞データに対応した歌詞テロップ等を表示する（後述の図３、図４参照）。

通信制御部１１０は、サーバ２０との間で情報通信の制御を行う。

カメラ１１１は、当該カラオケ装置１０を使用しているユーザの歌唱中映像を撮像して大容量記憶装置１０３に記録する。

上記構成のカラオケ装置１０Ａ，１０Ｂを備えた通信カラオケシステム１では、まず最初に投稿側のカラオケ装置１０Ａのユーザ（合唱相手に相当：以下、適宜相手ユーザという）がサーバ２０から所定の楽曲（曲と歌詞を含む歌に限定）の楽曲データをダウンロードする。そして、その楽曲データを演奏させた際に自ら歌唱した音声と映像のデータを含む投稿データ（後述の図２参照）をサーバ２０にアップロード（以下、適宜投稿という）する。

その後に、合唱側のカラオケ装置１０Ｂのユーザ（以下、適宜自己ユーザという）が同じ所定の楽曲を指定してサーバ２０から対応する楽曲データと投稿データをダウンロード（取得）する。そして、合唱側のカラオケ装置１０Ｂは、楽曲データを演奏するとともに、その楽曲の演奏と同期するよう投稿データを再生させることで、自己ユーザは相手ユーザがあたかも同じ場に居合わせているようにデュエット歌唱（合唱）できる。

＜データ構造＞
図２に、上記楽曲データと投稿データのデータ構造の一例を示す。図２（ａ）において、この例では、楽曲データ２２０は、楽曲識別情報としての曲ＩＤ（あるいは曲名等でもよい）２２１と、歌詞データ２２２と、演奏データ２２３とを備えている。

曲ＩＤ２２１は、楽曲データ２２０のヘッダとして置かれている。演奏データ２２３は、例えばＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ（ＭＩＤＩ；登録商標）の規格に準拠したデータで構成され、サーバ２０からダウンロードされた際に例えばカラオケ装置１０Ａ，１０Ｂの大容量記憶装置１０３に記憶された後、読み出されて上記音源１０６等によって再生されることで、音声としてスピーカ１０８から放出することができる。

歌詞データ２２２は、サーバ２０からダウンロードされてカラオケ装置１０Ａ，１０Ｂの大容量記憶装置１０３に記憶された後、読み出されることで、その内容を歌詞テロップとして表示部１０９に表示することができる。この例では、歌詞データ２２２には、「あのときあなたにあのとき君に忘れられないこの道で出会えたから歩んで行けた二人のプロムナード」という内容の歌詞がテキストデータの形式で含まれている（図２中では略記）。

なお、この例では、上記歌詞データ２２２と演奏データ２２３が同一の楽曲データ２２０のファイルに組み込まれているが、これに限られない。すなわち、歌詞データ２２２が、演奏データ２２３とは別ファイルで構成され、同じ曲ＩＤ２２１で対応付けられていてもよい。

次に図２（ｂ）において、この例では、投稿データ２３０は、曲ＩＤ（あるいは曲名等でもよい）２３１と、投稿音声データ２３２と、投稿映像データ２３３とを備えている。投稿音声データ２３２（音声データに相当）は、投稿側の相手ユーザが歌唱した際にマイク３０により入力された音声信号をそのまま記録したデータである。投稿映像データ２３３（映像データに相当）は、投稿側の相手ユーザが歌唱した際にカメラにより撮像された歌唱映像をそのまま記録したデータである。また、投稿音声データ２３２と投稿映像データ２３３が別ファイルで構成され、同じ曲ＩＤ２３１で対応付けられてもよい。

＜本実施形態の特徴＞
ここで、一般的にデュエット歌唱する対象の楽曲では、例えば相手ユーザが単独で主旋律を歌唱する区間、自己ユーザが単独で主旋律を歌唱する区間、及び双方のユーザが同時にハモリで歌唱する区間、といった旋律種類により歌唱形態が異なる複数の旋律種類区間を時系列的な進行に対応して切り替えて歌唱する場合が多い。しかし、自己ユーザはデュエット歌唱対象の楽曲自体をあらかじめ知っていたとしても、初めて取得した投稿データ２３０において相手ユーザがどの旋律種類区間で歌唱しており、自己ユーザ自身がどの旋律種類区間で歌唱すべきかかまではあらかじめ知り得ることができなかった。このため、初めて取得した投稿データ２３０に対して最初の再生時に上手く合唱することが困難であった。

また、自己ユーザは合唱対象の所定の楽曲自体をあらかじめ知っていたとしても、初めて取得した投稿データ２３０において相手ユーザが歌唱している旋律種類区間のうちどの旋律種類区間で自己ユーザ自身もハモリ歌唱すべきか分からない場合もあった。

これに対し本実施形態のカラオケ装置カラオケ装置１０では、楽曲データ２２０と投稿データ２３０を再生する前に、当該投稿データ２３０の時系列的な進行に対応して、旋律種類区間の区別の解析と、旋律種類区間ごとの投稿音声データ２３２における相手ユーザの音声の有無（音声レベルで見た有無）を解析する。その後に楽曲データ２２０と投稿データ２３０を再生する際には、楽曲の再生中に同期して、旋律種類区間ごとに、事前に解析した音声データにおける音声の有無に基づいて楽曲の歌詞を異なる表示態様で表示する。これにより、自己ユーザは、相手ユーザがどの旋律種類区間で歌唱しており、自己ユーザ自身がどの旋律種類区間で歌唱すべきかを把握できる。

また、旋律種類区間の旋律種類（主旋律かハモリか）にも基づいて所定の楽曲の歌詞を異なる表示態様で表示する。これにより、自己ユーザはこれから再生される旋律種類区間のうち、どの旋律種類区間で自己ユーザ自身が単独で主旋律を歌唱し、どの旋律種類区間で相手ユーザとハモリ歌唱すべきかを把握することができる。

＜解析と表示の具体例＞
上述した投稿データ２３０の具体的な解析手法として、本実施形態のカラオケ装置１０は、例えば図３に示すような投稿音声データ解析タイムテーブルを作成する。この投稿音声データ解析タイムテーブルは、歌唱対象の楽曲データ２２０及び投稿データ２３０の時系列的な進行に対応したタイムテーブルとして作成される。なお図３に示す例では、図示の煩雑を回避するために、楽曲のイントロ、間奏、及びアウトロの区間は省略し、１コーラス分のみに対応して示している。

まず、楽曲開始から楽曲終了まで投稿音声データ２３２全体を走査することで、相手ユーザの音声レベル波形３０１を生成する。次に、投稿音声データ２３２の時系列的な進行に対応して、その時点で歌唱者（相手ユーザ、自己ユーザ問わず）が主旋律で歌唱すべきか、双方のユーザがハモリで歌唱すべきかの旋律種類を解析し、それぞれ旋律種類のまとまった区間を旋律種類区間として区別する。なお、この旋律種類の解析は、楽曲データ２２０の演奏データを参照しつつ、例えば特開平９−４４１７１号公報等に記載されている公知の手法を用いて行えばよく、ここではその詳細の説明を省略する。

次に、それぞれの主旋律区間内において、投稿音声データ２３２における相手ユーザの音声の有無に基づいて相手ユーザがすでに歌唱している相手主旋律区間であるか、自己ユーザが歌唱すべき自己主旋律区間であるかの詳細な旋律種類区間の区別を行う。この場合には、例えば上記音声レベル波形３０１を参照し、その時点の相手ユーザの音声レベルと所定の閾値レベルＬ_０との比較によりその音声の有無を判別する。

そして楽曲データ２２０の歌詞データ２２２に対し、その内容を各旋律種類区間ごとに対応して異なる表示態様の歌詞テロップ３０２に変換して投稿音声データ解析タイムテーブルに記憶する。この歌詞テロップ３０２は、歌詞データ２２２の内容を楽曲の再生に同期してカラオケ装置１０の表示部１０９に表示するためのグラフィックデータ（もしくはテキストデータ）であり、旋律種類区間の相手ユーザの音声の有無及び旋律種類にそれぞれ対応した異なる線の色や濃淡、線の太さ、中抜き線・実線、文字の大きさ、フォントスタイル等の表示態様に変換される。

図示する例では、相手主旋律区間に対応する部分の歌詞の内容を、通常の濃さで、通常の太さの線のゴシック体の歌詞テロップ３０２に変換している。また、自己主旋律区間に対応する部分の歌詞の内容を、通常より濃さが薄く、通常の太さの線のゴシック体の歌詞テロップ３０２に変換している。また、ハモリ区間に対応する部分の歌詞の内容を、通常の濃さで、通常より太い線の明朝体の歌詞テロップ３０２に変換している（後述の図４参照）。なお、上記の投稿音声データ２３２の解析は、歌詞テロップ３０２、音声レベル波形３０１が画面表示される以前に完了する必要があるため、当該投稿音声データ２３２の再生タイミングより以前に処理を行なう。本実施例においては、楽曲の演奏開始前に投稿音声データの解析を行なっている（後述の図５参照）。

上記投稿音声データ２３２の解析が終了した後には、楽曲と投稿音声データ２３２を同期して再生するとともに、例えば図４に示すように投稿映像データ２３３と音声レベル波形３０１と歌詞テロップ３０２を表示部１０９に表示する。図示する例では、表示部１０９の画面左上部分に投稿映像データ２３３を楽曲と同期して再生するよう表示する。また表示部１０９の画面右上部分では、その時点から歌唱しようとする所定時間分の範囲部分の音声レベル波形３０１と歌詞テロップ３０２を、楽曲の時系列的な進行に対応して右から左へ向かう方向にスクロールさせて表示する。また表示部１０９の画面下方部分では、その時点で歌唱している最中の所定時間分の範囲部分の歌詞テロップ３０２のみを、楽曲の時系列的な進行に対応して切り替えて表示する。なおこの例では、この画面下方部分に表示されている歌詞テロップ３０２のうちその時点で歌唱済みとなっている範囲部分には、背景に網掛けパターンを重ねて表示している。以上のうち、音声レベル波形３０１と歌詞テロップ３０２の表示は、楽曲の実際の再生速度に合わせて上記投稿音声データ解析タイムテーブルの内容に基づき表示する。

また図示する例では、歌詞テロップ３０２の各表示態様のサンプル文字（図示する例の「あ」の文字）と各旋律種類区間との対応関係も表示している。以上のように歌詞テロップ３０２を表示することで、自己ユーザはこれから再生される旋律種類区間のうち、どの旋律種類区間で相手ユーザが歌唱しており、どの旋律種類区間で自己ユーザ自身が歌唱すべきかを把握できる。

＜カラオケ装置の制御フロー＞
上記手法を実現するために合唱側のカラオケ装置１０Ｂの制御部１０１に備えられるＣＰＵ（演算手段に相当；特に図示せず）により実行される処理内容を図５、図６のフローチャートで説明する。まず、図５において、例えば操作部１０４を介して自己ユーザからカラオケ装置１０Ｂにデュエット歌唱の開始を指示する操作が入力されることによって、このフローが開始される。

まず、ステップＳ５において、カラオケ装置１０ＢのＣＰＵは、自己ユーザがデュエット歌唱を希望する楽曲の曲ＩＤ２２１，２３１に対応する楽曲データ２２０及び投稿データ２３０をネットワークＮＷを介してサーバ２０から取得する。なお、楽曲データ２２０はあらかじめ当該カラオケ装置１０Ｂの大容量記憶装置に記憶させていたものを利用してもよく、この場合にはサーバ２０から投稿データ２３０だけを取得すればよい。その後、ステップＳ１００に移る。なお、このステップＳ５の手順が、各請求項記載の取得手段及び取得手順に相当する。

ステップＳ１００では、カラオケ装置１０ＢのＣＰＵは、上記ステップＳ５で取得した投稿データ２３０のうちの投稿音声データ２３２を解析して投稿音声データ解析タイムテーブル（上記図３参照）を作成する投稿音声データ解析処理を行う（詳細は後述の図６で説明する）。その後、ステップＳ１０に移る。なお、このステップＳ５の手順が、各請求項記載の解析手段及び解析手順に相当する。

ステップＳ１０では、カラオケ装置１０ＢのＣＰＵは、楽曲データ２２０の演奏データの演奏を開始するとともに、投稿データ２３０の投稿音声データ２３２及び投稿映像データ２３３を楽曲に同期させて再生を開始し、それ以後は以下に続く手順と並行して自動的に演奏と再生を続行する（図中では「楽曲演奏開始」と略記）。その後、ステップＳ１５に移る。なお、このステップＳ１０の手順が、各請求項記載の再生手段及び再生手順に相当する。

ステップＳ１５では、カラオケ装置１０ＢのＣＰＵは、上記ステップＳ１００で作成した投稿音声データ解析タイムテーブルに記録されている表示態様そのままで、歌詞テロップ３０２を表示部１０９の画面下方部分に表示する。このとき、歌詞テロップ３０２はその時点で歌唱している最中の所定時間分の範囲部分だけを表示し、もし必要であればその表示する範囲部分を楽曲の時系列的な進行に対応して切り替える。その後、ステップＳ２０に移る。なお、このステップＳ１５の手順が、各請求項記載の歌詞表示手段及び歌詞表示手順に相当する。

ステップＳ２０では、カラオケ装置１０ＢのＣＰＵは、楽曲の再生に同期してその時点で歌唱済みとなっている部分の歌詞テロップ３０２の背景に網掛けパターンを重ねて表示する。その後、ステップＳ２５に移る。

ステップＳ２５では、カラオケ装置１０ＢのＣＰＵは、上記ステップＳ１００で作成した投稿音声データ解析タイムテーブルの記録内容に基づいて、音声レベル波形３０１と歌詞テロップ３０２を表示部１０９の画面右上部分に表示する。このとき、楽曲の再生に同期してその時点から歌唱しようとする所定時間分の範囲部分の音声レベル波形３０１と歌詞テロップ３０２を、楽曲の時系列的な進行に対応して右から左へ向かう方向にスクロールさせて表示する。その後、ステップＳ３０に移る。

ステップＳ３０では、カラオケ装置１０ＢのＣＰＵは、上記ステップＳ１０で開始した楽曲データ２２０の演奏データと、投稿データ２３０の投稿音声データ２３２及び投稿映像データ２３３の再生が終了したか否かを判定する。再生が終了していない場合、判定は満たされず（Ｓ３０：ＮＯ）、ステップＳ１５に戻って同様の手順を繰り返す。

一方、再生が終了していた場合、判定が満たされ（Ｓ３０：ＹＥＳ）、このフローを終了する。

図６は、上記図５中のフローにおけるステップＳ１００の投稿音声データ解析処理の詳細な制御手順を示している。

まずステップＳ１０５において、カラオケ装置１０ＢのＣＰＵは、楽曲開始から楽曲終了まで投稿音声データ２３２全体を走査して、相手ユーザの音声レベル波形３０１を生成する。その後、ステップＳ１１０に移る。

ステップＳ１１０では、カラオケ装置１０ＢのＣＰＵは、投稿音声データ２３２の時系列的な進行に対応してその時点における旋律種類を解析し、それぞれ旋律種類のまとまった区間を旋律種類区間として区別する。その後、ステップＳ１１５に移る。

ステップＳ１１５では、カラオケ装置１０ＢのＣＰＵは、カウンタ変数Ｊの値を１に初期設定する。その後、ステップＳ１２０に移る。

ステップＳ１２０では、カラオケ装置１０ＢのＣＰＵは、投稿音声データ２３２のＪ番目の旋律種類区間に相手ユーザの音声があるか否か、言い換えれば音声レベル波形３０１のＪ番目の旋律種類区間において音声レベルが所定の閾値Ｌ_０より大きいか否かを判定する。Ｊ番目の旋律種類区間に相手ユーザの音声がない場合、判定は満たされず（Ｓ１２０：ＮＯ）、ステップＳ１２５へ移る。

ステップＳ１２５では、カラオケ装置１０ＢのＣＰＵは、Ｊ番目の旋律種類区間の区別を自己主旋律区間とし、対応する表示態様で歌詞テロップ３０２を歌詞データ２２２から変換する。その後、ステップＳ１４５に移る。

一方、上記ステップＳ１２０の判定において、Ｊ番目の旋律種類区間に相手ユーザの音声がある場合、判定が満たされ（Ｓ１２０：ＹＥＳ）、ステップＳ１３０へ移る。

ステップＳ１３０では、カラオケ装置１０ＢのＣＰＵは、Ｊ番目の旋律種類区間における旋律種類が主旋律であるか否か、言い換えるとＪ番目の旋律種類区間が主旋律区間であるか否かを判定する。Ｊ番目の旋律種類区間の旋律種類が主旋律である場合、ステップＳ１３５へ移る。

ステップＳ１３５では、カラオケ装置１０ＢのＣＰＵは、Ｊ番目の旋律種類区間の区別を相手主旋律区間とし、対応する表示態様で歌詞テロップ３０２を歌詞データ２２２から変換する。その後、ステップＳ１４５へ移る。

また一方、上記ステップＳ１３０の判定において、Ｊ番目の旋律種類区間の旋律種類がハモリである場合、ステップＳ１４０へ移る。

ステップＳ１４０では、カラオケ装置１０ＢのＣＰＵは、Ｊ番目の旋律種類区間の区別をハモリ区間とし、対応する表示態様で歌詞テロップ３０２を歌詞データ２２２から変換する。その後、ステップＳ１４５へ移る。

ステップＳ１４５では、カラオケ装置１０ＢのＣＰＵは、Ｊ番目の旋律種類区間の区別と、対応する表示態様の歌詞テロップ３０２を投稿音声データ解析タイムテーブルに記録する。その後、ステップＳ１５０に移る。

ステップＳ１５０では、カラオケ装置１０ＢのＣＰＵは、カウンタ変数Ｊの値が旋律種類区間の全部の区間数であるか否かを判定する。カウンタ変数Ｊの値が全部の区間数ではない場合、判定は満たされず（Ｓ１５０：ＮＯ）、ステップＳ１５５へ移る。

ステップＳ１５５では、カラオケ装置１０ＢのＣＰＵは、カウンタ変数Ｊの値に１を加算し、ステップＳ１２０に戻って同様の手順を繰り返す。

一方、上記ステップＳ１５０の判定において、カウンタ変数Ｊの値が全部の区間数である場合、判定が満たされ（Ｓ１５０：ＹＥＳ）、このフローを終了する。

＜本実施形態により得られる効果＞
以上説明したように、本実施形態においては、旋律種類区間ごとにステップＳ１００で解析した投稿音声データ２３２における音声の有無に基づいて楽曲の歌詞を異なる表示態様の歌詞テロップ３０２で表示する。これにより、自己ユーザが表示部１０９に表示される歌詞テロップ３０２の表示態様を確認することで、これから再生される旋律種類区間のうち、どの旋律種類区間で相手ユーザが歌唱しており、どの旋律種類区間で自己ユーザ自身が歌唱すべきかを把握することができる。この結果、初めて取得した投稿データ２３０を最初に再生した場合でも、合唱を円滑に行うことができる。

また、本実施形態では特に、ステップＳ１５の手順で、旋律種類区間の旋律種類（主旋律かハモリか）にも基づいて所定の楽曲の歌詞を異なる表示態様の歌詞テロップ３０２で表示する。これにより、自己ユーザはこれから再生される旋律種類区間のうち、どの旋律種類区間で自己ユーザ自身が単独で主旋律を歌唱し、どの旋律種類区間で相手ユーザとハモリ歌唱すべきかを把握することができる。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用してもよい。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１カラオケシステム
１０Ａ，１０Ｂカラオケ装置
２０サーバ
２２０楽曲データ
２２２歌詞データ
２２３演奏データ
２３０投稿データ
２３２投稿音声データ（音声データ）
２３３投稿映像データ（映像データ）
３０１音声レベル波形
３０２歌詞テロップ

Claims

所定の楽曲と同期して合唱相手の音声データと映像データが記録された投稿データを取得する取得手段と、
前記所定の楽曲を演奏するとともに、当該所定の楽曲に同期して前記投稿データを再生する再生手段と、
前記再生手段による再生前に、前記投稿データの時系列的な進行に対応して、旋律種類区間の区別の解析と、前記旋律種類区間ごとの前記音声データにおける音声の有無を解析する解析手段と、
前記再生手段の再生中の楽曲に同期して、前記旋律種類区間ごとに前記解析手段で解析した前記音声データにおける音声の有無に基づいて前記所定の楽曲の歌詞を異なる表示態様で表示する歌詞表示手段と、
を有することを特徴とするカラオケ装置。
前記歌詞表示手段は、
前記旋律種類区間の旋律種類にも基づいて前記所定の楽曲の歌詞を異なる表示態様で表示することを特徴とする請求項１記載のカラオケ装置。
カラオケ装置が備える演算手段に実行させるカラオケ用プログラムであって、
所定の楽曲と同期して合唱相手の音声データと映像データが記録された投稿データを取得する取得手順と、
前記所定の楽曲を演奏するとともに、当該所定の楽曲に同期して前記投稿データを再生する再生手順と、
前記再生手順による再生前に、前記投稿データの時系列的な進行に対応して、旋律種類区間の区別の解析と、前記旋律種類区間ごとの前記音声データにおける音声の有無を解析する解析手順と、
前記再生手順での再生中にその時系列的な進行に対応して、前記旋律種類区間ごとに前記解析手順で解析した前記音声データにおける音声の有無に基づいて前記所定の楽曲の歌詞を異なる表示態様で表示する歌詞表示手順と、
を実行させることを特徴とするカラオケ用プログラム。