JP2014130177A - コラボレーション歌唱における歌唱動作事前報知システム - Google Patents

Abstract

【課題】 カラオケ楽曲の演奏に伴い録音・録画した歌唱動画を再生しながら、当該歌唱動画とコラボレーション歌唱を行う際に、再生中の歌唱動画における歌唱者の歌唱動作を事前に報知する。
【解決手段】 歌唱動画における歌唱者の歌唱動作を所定のアルゴリズムに従い認識する毎に、当該歌唱動作と、当該歌唱動作を認識した演奏進行時間とを対応させた歌唱動作データを生成する歌唱動作データ生成手段６２と、生成した歌唱動作データを、歌唱動画の楽曲識別情報及び利用者識別情報と関連付けて記録する歌唱動作データ記録手段６３と、任意の歌唱動画を再生してコラボレーション歌唱を行う際に、当該歌唱動画の楽曲識別情報及び利用者識別情報に関連付けて記録された歌唱動作データに含まれる歌唱動作を、当該歌唱動作に対応させた演奏進行時間に基づいて報知する歌唱動作報知手段６４とを備える。
【選択図】図１

Description

本発明は、カラオケ楽曲の演奏に伴い録音・録画した歌唱動画を再生しながら、当該歌唱動画とコラボレーション歌唱を行うことが可能であり、再生中の歌唱動画における歌唱者の歌唱動作を事前に報知するためのシステムに関するものである。

ネットワーク接続されたカラオケシステムには、カラオケ楽曲の演奏に伴い録音・録画した歌唱動画を再生しながら、当該歌唱動画とコラボレーション歌唱を行う機能を有しているものがある。このコラボレーション歌唱システムでは、予めメンバー登録した利用者がカラオケシステムにログインして歌唱動画の録音・録画を行い、録音・録画した歌唱動画をサーバにアップロードして公開することができる。そして、コラボレーション歌唱を所望する利用者は、公開された歌唱動画をダウンロードして再生することにより、コラボレーション歌唱を行うことができる。

ところで、コラボレーション歌唱を行う歌唱者は、コラボレーション相手となる歌唱者の歌唱動作にマッチした振り付け（歌唱動作）を行うことにより、コラボレーション歌唱の楽しさを高めることができる。特に、歌唱者同士が動きを連携させて歌唱を行う楽曲の場合には、各歌唱者の振り付けを上手にマッチさせることにより、コラボレーション歌唱の楽しさを高めることができる。しかし、コラボレーション歌唱の相手となる歌唱者の歌唱動作を予測することができない場合には、相手の歌唱動作からワンテンポ遅れた歌唱動作となったり、お互いの歌唱動作がちぐはぐになったりすることもある。

従来、歌唱に合わせた振り付けを認識する技術が種々提案されている（例えば、特許文献１、特許文献２参照）。特許文献１に記載された技術は、アーティストの振り付けをまねてカラオケ楽曲を歌唱する場合に、その振り付け所作を採点するための技術である。この特許文献１に記載された技術は、カラオケ楽曲専用の振り付けに合わせて踊る模範演技者の所作を記述した振り付けデータと、現に歌唱を行っている利用者の所作に基づいて作成した舞踏者所作データを比較することにより、利用者の振り付けを採点するようになっている。振り付けの認識は、利用者の人体部位の位置座標を検出し、その結果を舞踊者所作データとして出力するモーション検出部により行われる。

モーション検出部には種々の態様があり、利用者の人体部位に取り付けられたセンサからの出力信号に基づき人体部位の位置座標を検出したり、利用者の人体部位に取り付けられたマーカが検出する標識信号を受信し、その強度や方向などを解析して人体部位の位置座標を検出したり、ビデオカメラが捕らえた利用者の映像を順次画像処理して人体部位の位置座標を検出したりする。

特許文献２に記載された技術は、歌唱者の身体表面に取り付けられた歌唱動作検出マーカの動きをカメラで検出し、当該検出情報に基づいて振り付け歌唱動作等の歌唱者歌唱動作データを、カラオケ演奏に合わせてリアルタイムに作成して出力するようになっている。

特開平１１−２１２５８２号公報 特開２０００−２０００８８号公報

上述したように、コラボレーション歌唱を行う場合には、相手となる歌唱者の振り付けに連携させて自らも振り付けを行うことにより、コラボレーション歌唱の楽しさを高めることができる。しかし、現在のカラオケシステムでは、公開された歌唱動画においてどのような歌唱動作が行われているのかを予測することができず、コラボレーション相手となる歌唱者の歌唱動作にマッチした歌唱動作を行うことができない場合がある。

この点、歌唱に合わせた振り付けを認識する技術が開発されており、発明者は、この技術を応用することにより、コラボレーション相手となる歌唱者の歌唱動作を認識して記録し、歌唱動画を再生する際に、認識した歌唱動作を事前に報知することができれば、コラボレーション歌唱の楽しさを高めることができることに想到した。

本発明は、上述した事情に鑑み提案されたもので、カラオケ楽曲の演奏に伴い録音・録画した歌唱動画を再生しながら、当該歌唱動画とコラボレーション歌唱を行う際に、再生中の歌唱動画における歌唱者の歌唱動作を事前に報知することが可能なコラボレーション歌唱における歌唱動作事前報知システムを提供することを目的とする。

本発明のコラボレーション歌唱における歌唱動作事前報知システムは、上述した目的を達成するために提案されたもので、以下の特徴を有している。すなわち、本発明のコラボレーション歌唱における歌唱動作事前報知システムは、カラオケ楽曲の演奏に伴い録音・録画した歌唱動画を再生しながら、当該歌唱動画とコラボレーション歌唱を行うことが可能であり、再生中の歌唱動画における歌唱者の歌唱動作を事前に報知するためのシステムであって、歌唱動画録音録画手段と、歌唱動作データ生成手段と、歌唱動作データ記録手段と、歌唱動作報知手段とを備えたことを特徴とするものである。

歌唱動画録音録画手段は、任意のカラオケ楽曲の演奏に伴う利用者の歌唱音声及び歌唱姿態からなる歌唱動画を当該カラオケ楽曲の楽曲識別情報及び当該利用者の利用者識別情報と関連付けて録音・録画するための手段である。歌唱動作データ生成手段は、歌唱動画における歌唱者の歌唱姿態に基づく歌唱動作を所定のアルゴリズムに従い認識する毎に、当該歌唱動作と、当該歌唱動作を認識した演奏進行時間とを対応させた歌唱動作データを生成するための手段である。歌唱動作データ記録手段は、生成した歌唱動作データを、歌唱動画の楽曲識別情報及び利用者識別情報と関連付けて記録するための手段である。

歌唱動作報知手段は、任意の歌唱動画を再生してコラボレーション歌唱を行う際に、当該歌唱動画の楽曲識別情報及び利用者識別情報に関連付けて記録された歌唱動作データに含まれる歌唱動作を、当該歌唱動作に対応させた演奏進行時間に基づいて報知するための手段である。また、歌唱動作報知手段は、歌唱動画を再生表示している表示装置において、歌唱動作を文字情報として表示することが可能である。

上述した構成からなるコラボレーション歌唱における歌唱動作事前報知システムは、利用者がコラボレーション歌唱を行うために、公開されている歌唱動画をダウンロードして再生しながら、自らも歌唱を行うことが可能なシステムである。

このコラボレーション歌唱における歌唱動作事前報知システムでは、ビデオカメラ等の撮像装置と、マイクロホン及びアンプ等の録音装置を備えており、歌唱動画録音録画手段の機能により、カラオケ楽曲を演奏する際に、歌唱音声及び歌唱姿態からなる歌唱動画を録音・録画することができる。

歌唱動画の録音・録画が行われると、歌唱動作データ生成手段の機能により、歌唱動画における歌唱者の歌唱姿態に基づく歌唱動作を所定のアルゴリズムに従い認識する。そして、当該歌唱動作を認識する毎に、当該歌唱動作と、当該歌唱動作を認識した演奏進行時間とを対応させた歌唱動作データを生成する。すなわち、従来から用いられている手法で歌唱者の歌唱動作を認識し、カラオケ楽曲の演奏進行時間と対応づけて歌唱動作データを生成する。なお、演奏進行時間とは、カラオケ演奏の時系列実時間だけではなく、カラオケ演奏の時系列実時間を基準として、所定時間前の時間も含む概念である。例えば、演奏開始時点を「０秒」とした場合に、演奏開始から「２０秒後」の時点で歌唱動作が認識された場合、その演奏進行時間を「２０秒」としてもよいし、２秒前の「１８秒」としてもよい。この際、所定時間は２秒前に限られず、適宜設定することができる。

歌唱動作データが生成されると、歌唱動作データ記録手段の機能により、生成した歌唱動作データを、歌唱動画の楽曲識別情報及び利用者識別情報と関連付けて記録する。この際、歌唱動作データと歌唱動画データとを纏めて一つのデータとしてもよいし、歌唱動作データと歌唱動画データとをそれぞれ別個のデータとして記憶すると共に、両データを紐付けるためのデータテーブルを生成してもよい。

そして、任意の歌唱動画を再生してコラボレーション歌唱を行う際に、歌唱動作報知手段の機能により、歌唱動画の楽曲識別情報及び利用者識別情報に関連付けて記録された歌唱動作データに含まれる歌唱動作を、各歌唱動作に対応させた演奏進行時間に基づいて報知する。例えば、各歌唱動作は、演奏進行時間よりも所定時間前（例えば２秒前）に報知される。歌唱動作の報知では、歌唱者の歌唱動作を文字情報に変換して、歌唱動画を再生表示している表示装置において、当該文字情報を表示してもよい。

本発明のコラボレーション歌唱における歌唱動作事前報知システムによれば、コラボレーション歌唱を行うための歌唱動画を再生する際に、当該歌唱動画の楽曲識別情報及び利用者識別情報に関連付けて記録された歌唱者の歌唱動作を、各歌唱動作に対応付けられた演奏進行時間よりも所定時間前に報知することができる。

したがって、コラボレーション歌唱を行う歌唱者は、歌唱動画においてどのような歌唱動作（振り付け）が行われているのかを事前に知ることができ、コラボレーション相手となる歌唱者の歌唱動作にマッチした歌唱動作（振り付け）を適切に行って、コラボレーション歌唱の楽しさを高めることが可能となる。

本発明の実施形態に係るコラボレーション歌唱における歌唱動作事前報知システムを適用したカラオケ演奏端末の構成を示すブロック図。 歌唱動作データの作成手順を示す説明図。 歌唱動作データの構成を示す説明図。 歌唱動作対応テーブルの構成を示す説明図。 コラボレーション歌唱における歌唱動画表示画面を示す模式図。

以下、図面を参照して、本発明のコラボレーション歌唱における歌唱動作事前報知システム（以下、歌唱動作事前報知システムと略記する）の実施形態について説明する。図１〜図５は本発明の実施形態に係る歌唱動作事前報知システムを示すもので、図１は歌唱動作事前報知システムを適用したカラオケ演奏端末の構成を示すブロック図、図２は歌唱動作データの作成手順を示す説明図、図３は歌唱動作データの構成を示す説明図、図４は歌唱動作対応テーブルの構成を示す説明図、図５はコラボレーション歌唱における歌唱動画表示画面を示す模式図である。

＜システムの概要＞
本発明の実施形態に係る歌唱動作事前報知システムは、カラオケ楽曲の演奏に伴い録音・録画した歌唱動画を再生しながら、当該歌唱動画とコラボレーション歌唱を行うことが可能であり、再生中の歌唱動画における歌唱者の歌唱動作を事前に報知するためのシステムである。

なお、以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

本発明の実施形態に係る歌唱動作事前報知システム１０は、図１に示すように、歌唱動画録音録画手段６１と、歌唱動作データ生成手段６２と、歌唱動作データ記録手段６３と、歌唱動作報知手段６４とにより実現される。

本発明の実施形態に係る歌唱動作事前報知システム１０は、図１に示すように、歌唱動画管理サーバ２０と複数のカラオケ演奏端末３０とが、ルータ７０及び通信ネットワーク（本実施形態では、インターネット４０）を介して相互に接続されている。通信ネットワークは、公衆電話回線、専用電話回線、光通信回線、ＬＡＮ等を用いることができるが、ネットワークに対する第三者の侵入やデータの傍聴及び改竄が困難であるとともに、帯域を独占せずに安価な通信網であるという点で、インターネット４０により構成されるＶＰＮを利用することが好ましい。

＜歌唱動画管理サーバ＞
歌唱動画管理サーバ２０は、歌唱動画を格納して公開するためのサーバで、サーバ制御手段２１、データ送受信手段２２、歌唱動画管理手段２３、歌唱動画データベース２４、歌唱動画データ２５及び歌唱動作データ２６の記憶手段（例えばＨＤＤ）を備えている。なお、歌唱動画を管理するための専用の歌唱動画管理サーバ２０を備えるのではなく、他のサーバに歌唱動画管理サーバ２０の機能を兼ね備えさせてもよい。また、仮想化技術により、一つのサーバを複数の機能を有するサーバとして機能させ、仮想化サーバの一つとして歌唱動画管理サーバ２０を構築することができる。

＜サーバ制御手段／データ送受信手段＞
サーバ制御手段２１は、歌唱動画管理サーバ２０を統括的に制御するための手段であり、ＣＰＵ及びその周辺機器を含んで構成され、ＣＰＵ等がＲＯＭ等に格納されたプログラムに従って動作することにより制御機能を発揮するようになっている。データ送受信手段２２は、各カラオケ演奏端末３０との間で、歌唱映像等の各種データの送受信を行うための手段であり、通信ネットワーク（インターネット４０）における通信方式の整合性を保つための通信回路やプログラムにより構成される。

＜歌唱動画管理手段＞
歌唱動画管理手段２３は、少なくとも、歌唱動画を録音・録画した際に演奏されたカラオケ楽曲の楽曲識別情報（例えば、楽曲ＩＤ）と、歌唱動画を録音・録画した利用者の利用者識別情報（例えば、利用者ＩＤ）と、当該歌唱動画とを関連付けて管理するためのプログラムからなる。すなわち、歌唱動画管理手段２３は、カラオケ演奏端末３０から歌唱動画がアップロードされると（送信されてくると）、歌唱動画を録音・録画した際に演奏されたカラオケ楽曲の楽曲ＩＤと、当該歌唱動画の識別ＩＤ、歌唱者の利用者ＩＤとを関連付けて、歌唱動画データベース２４にて管理する。なお、歌唱動画データは、ＨＤＤ等の記憶装置に記憶する。

＜歌唱動画データベース＞
歌唱動画データベース２４は、歌唱動画管理手段２３の機能により管理されるデータベースであり、歌唱動画の識別ＩＤ、楽曲ＩＤ、利用者ＩＤ等を関連付けて構成したデータベースである。なお、歌唱動画データベース２４を構成するデータは、上述したデータの他に、利用者のハンドル名、録音録画日時、サムネイル画像、性別、年齢、居住地域等、他のデータを付加してもよい。歌唱動画データ２５及び歌唱動作データ２６については、後に詳述するが、各データはカラオケ演奏端末３０において生成され、通信ネットワーク（インターネット４０）を介して、歌唱動画管理サーバ２０に送信されてくるデータである。

＜カラオケ演奏端末＞
本発明の実施形態に係る歌唱動作事前報知システム１０を適用するカラオケ演奏端末３０は、図１に示すように、カラオケ本体３１、スピーカ３２、マイクロホン３３、表示装置３４、ビデオカメラ３５、ミキシングアンプ３６、カラオケリモコン装置３７を備えている。

＜マイクロホン／スピーカ＞
マイクロホン３３は、歌唱音声の入力を行うための装置である。マイクロホン３３から入力された歌唱音声信号は、ミキシングアンプ３６により、音楽再生制御手段５８から送出される演奏音声信号とミキシングされると共に増幅され、スピーカ３２へ出力される。なお、マイクロホン３３からの音声入力信号は、Ａ／Ｄコンバータ５９によりデジタル変換されて、歌唱動画録音録画手段６１における歌唱音声の録音等に使用される。

＜表示装置＞
表示装置３４は、カラオケ楽曲に関連した背景映像や歌詞テロップ等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

＜カラオケ本体＞
カラオケ本体３１は、図１に示すように、ネットワーク送受信手段５１、中央制御手段５２、ＲＯＭ５３、ＲＡＭ５４、ＨＤＤ５５、ローカル送受信手段５６、予約管理手段５７、音楽再生制御手段５８、Ａ／Ｄコンバータ５９、映像再生制御手段６０、歌唱動画録音録画手段６１、歌唱動作データ生成手段６２、歌唱動作データ記録手段６３、歌唱動作報知手段６４を備えている。

＜中央制御手段＞
中央制御手段５２は、カラオケ本体３１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ５３等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ５３は、カラオケ本体３１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ５４は、プログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。なお、物理的な半導体メモリによりＲＡＭ５４を構成するのではなく、ＨＤＤ等を用いて仮想的なＲＡＭ５４を構成してもよい。本実施形態では、ＲＡＭ５４に予約待ち行列５４ａが記憶されるようになっている。この予約待ち行列５４ａは、選曲予約されたカラオケ楽曲について、演奏順に楽曲ＩＤを並べて構成したデータテーブルであり、選曲者の利用者ＩＤ等、他の識別データが紐付けられている場合もある。

＜ＨＤＤ＞
ＨＤＤ５５は、大容量記憶装置として機能するもので、楽曲データベース５５ａ、映像データベース５５ｂ、歌唱動作対応テーブル５５ｃが格納されている。なお、ＨＤＤ５５に替えて、あるいはＨＤＤ５５と共に、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。

＜楽曲データベース／映像データベース＞
楽曲データベース５５ａは、複数のカラオケ楽曲について、演奏データ及び歌詞描出データが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けてそれぞれ構成されたデータベースである。歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。映像データベース５５ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。

＜歌唱動作対応テーブル＞
歌唱動作対応テーブル５５ｃは、歌唱動作データに基づいて、歌唱動作を文字情報として表示する際に使用されるデータテーブルであり、図４に示すように、歌唱動作に付与された歌唱動作ＩＤと、文字情報とを関連付けて作成される。

＜送受信手段＞
ローカル送受信手段５６は、カラオケ本体３１とカラオケリモコン装置３７との間で、データの送受信を行うための電子回路及びプログラムからなる。本実施形態では、赤外線通信により、カラオケ本体３１とカラオケリモコン装置３７との間でデータの送受信が行われる。ネットワーク送受信手段５１は、カラオケ本体３１と歌唱動画管理サーバ２０との間で、データの送受信を行うための電子回路及びプログラムからなる。

＜予約管理手段＞
予約管理手段５７は、楽曲検索手段３７ａの機能を用いて検索され、選曲予約された楽曲ＩＤを演奏順に並べて予約待ち行列５４ａを生成し、この予約待ち行列５４ａをＲＡＭ５４に格納して管理するためのプログラムからなる。

＜音楽再生制御手段＞
音楽再生制御手段５８は、楽曲ＩＤに基づいて楽曲データベース５５ａから抽出された演奏データを、ミキシングアンプ３６に出力するための電子回路からなる。なお、演奏データがＭＩＤＩ規格の演奏制御データである場合には、この演奏制御データに基づいて、音源データをデジタル再生すると共にアナログ変換してミキシングアンプ３６に出力する。上述したように、ミキシングアンプ３６は、マイクロホン３３から入力された歌唱者の歌唱音声信号と、音楽再生制御手段５８から送出される演奏音声信号とをミキシングすると共に、アンプ機能により増幅してスピーカ３２より出力するための装置である。

＜映像再生制御手段＞
映像再生制御手段６０は、カラオケ楽曲の演奏中に、映像データベース５５ｂから抽出した背景映像データと、演奏データに含まれる歌詞描出データに基づく歌詞文字とを、当該カラオケ楽曲の演奏データに同期させて表示装置３４に出力するためのプログラムからなる。

＜歌唱動画録音録画手段＞
歌唱動画録音録画手段６１は、任意のカラオケ楽曲の演奏に伴う利用者の歌唱音声及び歌唱姿態からなる歌唱動画を当該カラオケ楽曲の楽曲識別情報（例えば、楽曲ＩＤ）及び当該利用者の利用者識別情報（例えば、利用者ＩＤ）と関連付けて録音・録画するためのプログラムからなる。すなわち歌唱動画録音録画手段６１は、カラオケ楽曲が演奏される際に、マイクロホン３３から入力され、Ａ／Ｄコンバータ５９でデジタル変換された歌唱音声信号と、ビデオカメラ３５から入力される映像信号とを用いて、当該カラオケ楽曲の楽曲識別情報及び当該利用者の利用者識別情報と関連付けた歌唱動画データを生成する。

ビデオカメラ３５は、利用者の歌唱姿態を撮影するための装置であり、撮像レンズ及び撮像素子を主要な構成要素とし、フォーカシング機構、ズーム機構、パン・チルト機構等を備えていてもよい。ビデオカメラ３５で撮影が行われると、映像信号（ビデオ信号）が歌唱動画録音録画手段６１に入力される。

＜歌唱動作データ生成手段＞
歌唱動作データ生成手段６２は、歌唱動画における歌唱者の歌唱姿態に基づく歌唱動作を所定のアルゴリズムに従い認識する毎に、当該歌唱動作と、当該歌唱動作を認識した演奏進行時間とを対応させた歌唱動作データを生成するためのプログラムからなる。歌唱動作の認識には、公知の手法を用いることができる。すなわち、ビデオカメラで撮影した利用者の映像を順次画像処理して人体部位の位置座標を検出したり、利用者の人体部位に取り付けられたセンサからの出力信号に基づき人体部位の位置座標を検出したり、利用者の人体部位に取り付けられたマーカが検出する標識信号を受信し、その強度や方向などを解析して人体部位の位置座標を検出したりすることにより、歌唱動作を認識することができる。なお、人体に対して特別な機器を装着する必要がないという点で、ビデオカメラで撮影した利用者の映像を順次画像処理して人体部位の位置座標を検出する手法を用いることが好ましい。

＜歌唱動作データ記録手段＞
歌唱動作データ記録手段６３は、生成した歌唱動作データを、歌唱動画の楽曲識別情報（例えば、楽曲ＩＤ）及び利用者識別情報（例えば、利用者ＩＤ）と関連付けて記録するためのプログラムからなる。すなわち、歌唱動作データ記録手段６３は、カラオケ楽曲の演奏に伴い歌唱動画が録音・録画されると、歌唱動作データ生成手段６２の機能により生成した歌唱動作データについて、当該カラオケ楽曲の楽曲識別情報（例えば、楽曲ＩＤ）と、歌唱動画を録音・録画している利用者の利用者識別情報（例えば、利用者ＩＤ）を関連付けて記録する。

＜歌唱動作の認識及び記録＞
歌唱動作データ生成手段６２における歌唱動作の認識及び歌唱動作データ記録手段６３における歌唱動作データの記録は、以下の手順で実施される。すなわち、図２に示すように、歌唱動画における歌唱者の歌唱動作を認識して、カラオケ楽曲の演奏進行時間の時間軸上に、認識した動作に対応する動作識別情報を付与する。例えば、歌唱動作として、右手又は左手の動作、右足又は左足の動作、頭の動作、身体全体の動作等を認識する。また、歌唱動作として、歌唱音声の有無、歌唱音声の状態等を付加してもよい。具体的には、「右手を上げる」、「左手を横に降り出す」、「右足を蹴り出す」、「ジャンプする」、「回転する」、「シャウトする」等について、歌唱者の動きと、予め用意しておいたリファレンスデータとを比較することにより、歌唱動作を認識して、カラオケ楽曲の演奏進行時間と関連付けて歌唱動作データを生成する。

そして、生成した歌唱動作データについて、当該カラオケ楽曲の楽曲識別情報（例えば、楽曲ＩＤ）と、歌唱動画を録音・録画している利用者の利用者識別情報（例えば、利用者ＩＤ）とを関連付けて記録する。

この歌唱動作データは、歌唱動画管理サーバ２０に送信され、歌唱動画管理サーバ２０にて記憶及び管理される。歌唱動作データ２６は、図３に示すように、歌唱動画の識別ＩＤ（映像ＩＤ）と、歌唱動作ＩＤ及び演奏進行時間とを関連付けて作成したデータである。なお、歌唱動作ＩＤに対応する歌唱動作は、歌唱動作対応テーブル５５ｃを参照することにより識別することができる。本実施形態の歌唱動作対応テーブル５５ｃは、図４に示すように、歌唱動作ＩＤと、当該歌唱動作ＩＤに対応する歌唱動作の文字情報とを関連付けて作成されている。

本発明の歌唱動作事前報知システム１０では、歌唱動画の楽曲識別情報と利用者識別情報と歌唱動作データとが関連付けられているため、歌唱動画を検索する際に、歌唱動作（振り付け）を検索条件とすることができるので、利用者が所望する歌唱動作が行われている歌唱動画を容易に探し出すことが可能となる。

＜歌唱動作報知手段＞
歌唱動作報知手段６４は、任意の歌唱動画を再生してコラボレーション歌唱を行う際に、当該歌唱動画の楽曲識別情報（例えば、楽曲ＩＤ）及び利用者識別情報（例えば、利用者ＩＤ）に関連付けて記録された歌唱動作データに含まれる歌唱動作を、当該歌唱動作に対応させた演奏進行時間に基づいて報知するためのプログラムからなる。すなわち、歌唱動作報知手段６４は、再生する歌唱動画について記録された歌唱者の歌唱動作を、各歌唱動作に関連付けられた演奏進行時間よりも所定時間前（例えば２秒前）に報知する。歌唱動作の報知は、図５に示すように、認識した歌唱者の歌唱動作を文字情報に変換して、歌唱動画を再生表示している表示装置３４において、当該文字情報として表示することにより行う（図５において、画面左下の表示）。

また、各歌唱動作が行われるまでのカウントダウン表示を行ってもよい。このカウントダウンは、例えば、図５に示すように、歌唱動作の表示と共に、時間の経過に伴って色変わりするアイコンにより表示することができる。

＜カラオケリモコン装置＞
カラオケリモコン装置３７は、ユーザインタフェース機能を備えており、カラオケ本体３１のローカル送受信手段５６との間で有線方式又は無線方式によりデータの送受信を行うようになっている。このカラオケリモコン装置３７は、楽曲検索手段３７ａ、楽曲索引データベース３７ｂ、データ記憶部３７ｃ、入出力表示部３７ｄ、データの送受信を行うための電子回路及びプログラム（図示せず）を備えている。

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段３７ａは、利用者が入力した検索条件に基づいてカラオケ楽曲を検索するためのプログラムからなる。すなわち、楽曲検索手段３７ａは、利用者による検索条件（曲名、歌手名、音楽ジャンル区分、流行時期等）の入力に基づき、楽曲索引データベース３７ｂを参照して楽曲を検索する。楽曲索引データベース３７ｂは、カラオケ演奏端末３０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲ＩＤ・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・演奏形態・デュエット曲など、種々の属性情報がこれに含まれている。楽曲検索手段３７ａにより楽曲検索を行うとカラオケリモコン装置３７の入出力表示部３７ｄに、検索結果が一覧表示される。

＜データ記憶部＞
データ記憶部３７ｃは、選曲予約の履歴等を記憶するための領域で、図示しないが、選曲予約データ、選曲予約履歴データ等、各種のデータが記憶される。

＜入出力表示部＞
入出力表示部３７ｄは、例えば、タッチパネル式の液晶表示装置３４からなり、上述したように、楽曲検索手段３７ａにより検索を行う際の入力表示、検索結果の一覧表示、各種の案内表示等を行うと共に、表示されるアイコン等を操作することにより、入力指示を行うことができる。

＜他の実施形態＞
本発明の歌唱動作事前報知システム１０及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。さらに、ネットワークを介して複数のカラオケ演奏端末３０を接続するのではなく、一つの店舗内において、ＬＡＮ接続された複数のカラオケ演奏端末３０と、当該店舗内に設置された歌唱動画管理サーバ２０とを利用して、歌唱動作事前報知システム１０を構成してもよい。

１０ 歌唱動作事前報知システム
２０ 歌唱動画管理サーバ
２１ サーバ制御手段
２２ データ送受信手段
２３ 歌唱動画管理手段
２４ 歌唱動画データベース
２５ 歌唱動画データ
２６ 歌唱動作データ
３０ カラオケ演奏端末
３１ カラオケ本体
３２ スピーカ
３３ マイクロホン
３４ 表示装置
３５ ビデオカメラ
３６ ミキシングアンプ
３７ カラオケリモコン装置
３７ａ 楽曲検索手段
３７ｂ 楽曲索引データベース
３７ｃ データ記憶部
３７ｄ 入出力表示部
４０ インターネット
５１ ネットワーク送受信手段
５２ 中央制御手段
５３ ＲＯＭ
５４ ＲＡＭ
５４ａ 予約待ち行列
５５ ＨＤＤ
５５ａ 楽曲データベース
５５ｂ 映像データベース
５５ｃ 歌唱動作対応テーブル
５６ ローカル送受信手段
５７ 予約管理手段
５８ 音楽再生制御手段
５９ Ａ／Ｄコンバータ
６０ 映像再生制御手段
６１ 歌唱動画録音録画手段
６２ 歌唱動作データ生成手段
６３ 歌唱動作データ記録手段
６４ 歌唱動作報知手段
７０ ルータ

Claims (2)

1. カラオケ楽曲の演奏に伴い録音・録画した歌唱動画を再生しながら、当該歌唱動画とコラボレーション歌唱を行うことが可能であり、再生中の歌唱動画における歌唱者の歌唱動作を事前に報知するためのシステムであって、歌唱動画録音録画手段と、歌唱動作データ生成手段と、歌唱動作データ記録手段と、歌唱動作報知手段と、を備え、
   前記歌唱動画録音録画手段は、任意のカラオケ楽曲の演奏に伴う利用者の歌唱音声及び歌唱姿態からなる歌唱動画を当該カラオケ楽曲の楽曲識別情報及び当該利用者の利用者識別情報と関連付けて録音・録画し、
   前記歌唱動作データ生成手段は、前記歌唱動画における歌唱者の歌唱姿態に基づく歌唱動作を所定のアルゴリズムに従い認識する毎に、当該歌唱動作と、当該歌唱動作を認識した演奏進行時間とを対応させた歌唱動作データを生成し、
   前記歌唱動作データ記録手段は、前記生成した歌唱動作データを、前記歌唱動画の楽曲識別情報及び利用者識別情報と関連付けて記録し、
   前記歌唱動作報知手段は、任意の歌唱動画を再生してコラボレーション歌唱を行う際に、当該歌唱動画の楽曲識別情報及び利用者識別情報に関連付けて記録された歌唱動作データに含まれる歌唱動作を、当該歌唱動作に対応させた演奏進行時間に基づいて報知する、
   ことを特徴とするコラボレーション歌唱における歌唱動作事前報知システム。
2. 前記歌唱動作報知手段は、前記歌唱動画を再生表示している表示装置において、前記歌唱動作を文字情報として表示する、
   ことを特徴とする請求項１に記載のコラボレーション歌唱における歌唱動作事前報知システム。

Images