JP2017068028A - カラオケシステム及び複合投稿情報作成方法 - Google Patents

Abstract

【課題】離れた場所でカラオケ装置を利用する複数のユーザーが同時に歌唱し、投稿による作品を作ることのできる新たなサービスを提供する。【解決手段】本発明に係るカラオケシステムは、歌唱音声情報を含んだ単位投稿情報をサーバー装置に送信するカラオケ装置と、カラオケ装置から単位投稿情報を受信した場合、相手ユーザーと同時に歌唱した単位投稿情報であるか否かを判定し、相手ユーザーと同時に歌唱した単位投稿情報である場合、受信した単位投稿情報と、相手ユーザーの単位投稿情報を含めて複合投稿情報を形成する形成処理を実行するサーバー装置と、を有することを特徴とする。【選択図】図２

Description

本発明は、離れた場所にいるユーザーと一緒に歌唱し、投稿を行うことのできるカラオケシステム、及び、複合投稿情報作成方法に関する。

従来、社交の場等では、伴奏に合わせて歌唱を楽しむカラオケが行われている。カラオケに使用されるカラオケ装置は、通信インフラや情報処理装置の高度化に伴い、様々な機能が付加されている。特許文献１には、遠隔地の利用者同士で、双方の空間の映像・音響信号を共有し、デュエットや合唱を楽しむことのできるシステムが提案されている。

特許文献１に開示されるシステムを使用することで、多拠点のユーザー間で同時に歌唱を行い、デュエットや歌唱を楽しむことが可能である。一方、ユーザーによる歌唱を記録して投稿を行う投稿サービスが人気を集めている。投稿サービスでは、記録した歌唱を再生しつつ歌唱の記録を行うことを繰り返し行うことで、複数のユーザーによるデュエットや合唱による作品を作り上げることが可能である。

特開２００５−７７４８５号公報

しかしながら、従来の投稿サービスは、ユーザーの歌唱記録を繰り返し行うことで作品を作り上げる形態であるため、特許文献１に開示されるようなシステムと異なり、同時に歌唱を行う楽しみを有していない。本発明は、ユーザーによる歌唱を投稿する投稿サービスにおいて、離れた場所でカラオケ装置を利用する複数のユーザーが同時に歌唱し、投稿による作品を作ることのできる新たなサービスを提供することを目的としている。

そのため本発明は、以下の構成を採用したことを特徴としている。
カラオケ装置と、カラオケ装置と通信可能なサーバー装置と、を備えるカラオケシステムであって、
カラオケ装置は、指定処理と、受信処理と、記録処理と、送信処理と、を実行可能とし、
指定処理は、歌唱に使用する複合投稿情報と、同時に歌唱を行う相手ユーザーを指定可能とし、
受信処理は、指定処理で指定された複合投稿情報を、サーバー装置から受信し、
再生処理は、相手ユーザーのカラオケ装置の再生処理と同期して、受信した複合投稿情報と、複合投稿情報に対応する演奏情報を、再生し、
記録処理は、再生処理中、マイクロホンから入力される歌唱音声を歌唱音声情報として記録し、
送信処理は、歌唱音声情報を含んだ単位投稿情報をサーバー装置に送信し、
サーバー装置は、カラオケ装置から単位投稿情報を受信した場合、相手ユーザーと同時に歌唱した単位投稿情報であるか否かを判定し、相手ユーザーと同時に歌唱した単位投稿情報である場合、受信した単位投稿情報と、相手ユーザーの単位投稿情報を含めて複合投稿情報を形成する形成処理を実行することを特徴とする。

さらに本発明に係るカラオケシステムは、
カラオケ装置において、ユーザーは、複合投稿情報に参加しないことを指定可能とし、
形成処理は、単位投稿情報の形成に参加しないことが指定されたユーザーの単位投稿情報を含めずに、複合投稿情報を形成することを特徴とする。

さらに本発明に係るカラオケシステムにおいて、
指定処理は、指定された複合投稿情報に既に参加しているユーザー数に基づき、複合投稿情報の形成に参加するユーザー数を制限することを特徴とする。

さらに本発明に係るカラオケシステムにおいて、
形成処理は、複合投稿情報の形成に参加可能なユーザー数を超えている場合、複数の複合投稿情報を形成することを特徴とする。

さらに本発明に係るカラオケシステムにおいて、
記録処理は、再生処理中、歌唱するユーザーを撮像した映像を歌唱映像情報として記録し、
送信処理は、単位投稿情報に歌唱映像情報を含めることを特徴とする。

さらに本発明に係る複合投稿情報作成方法は、
カラオケ装置と、カラオケ装置と通信可能なサーバー装置と、を備えるカラオケシステムで行われる複合投稿情報作成方法であって、
カラオケ装置は、指定処理と、受信処理と、記録処理と、送信処理と、を実行可能とし、
指定処理は、歌唱に使用する複合投稿情報と、同時に歌唱を行う相手ユーザーを指定可能とし、
受信処理は、指定処理で指定された複合投稿情報を、サーバー装置から受信し、
再生処理は、相手ユーザーのカラオケ装置の再生処理と同期して、受信した複合投稿情報と、複合投稿情報に対応する演奏情報を、再生し、
記録処理は、再生処理中、マイクロホンから入力される歌唱音声を歌唱音声情報として記録し、
送信処理は、歌唱音声情報を含んだ単位投稿情報をサーバー装置に送信し、
サーバー装置は、カラオケ装置から単位投稿情報を受信した場合、相手ユーザーと同時に歌唱した単位投稿情報であるか否かを判定し、相手ユーザーと同時に歌唱した単位投稿情報である場合、受信した単位投稿情報と、相手ユーザーの単位投稿情報を含めて複合投稿情報を形成する形成処理を実行することを特徴とする。

本発明に係るカラオケシステム、複合投稿情報作成方法によれば、指定された相手ユーザーと同時に歌唱を行い、歌唱による歌唱音声情報を使用して、複合投稿情報を形成するため、離れた場所でカラオケ装置を利用する複数のユーザー間で、同時に歌唱を行い、歌唱結果に基づく複合投稿情報を形成することが可能である。

離れた場所のユーザーと同時に歌唱を行うことのみを希望し、複合投稿情報の形成には参加したくないユーザーがいる場合もある。本発明では、単位投稿情報の形成に参加しないことが指定されたユーザーの単位投稿情報を含めずに、複合投稿情報を形成することで、歌唱に参加する各ユーザーの希望を反映して複合投稿情報を形成することが可能となる。

さらに本発明では、複合投稿情報に既に参加しているユーザー数に基づき、新たに参加するユーザー数を制限することとしている。このような構成により、形成する作品（複合投稿情報）を音響的、あるいは、映像的に適切なものとすることが可能となる。

さらに本発明では、複合投稿情報の形成に参加可能なユーザー数を超えている場合、複数の複合投稿情報を形成することとしている。このような構成によれば、参加した全てのユーザーの単位投稿情報を使用しつつ、形成する作品（複合投稿情報）を音響的、あるいは、映像的に適切なものとすることが可能となる。

さらに本発明によれば、歌唱音声のみならず、歌唱するユーザーを撮像した歌唱動画を使用することとしている。このような構成により、形成する作品（複合投稿情報）を視覚的に豊かなものとすることが可能となる。

カラオケ投稿の概要（同時歌唱なし）を説明する図 カラオケ投稿の概要（同時歌唱あり）を説明する図 カラオケシステムの構成を示す図 楽曲の予約確認画面を示す図 （Ａ）予約情報、（Ｂ）楽曲情報のデータ構成を示す図 カラオケ装置のメイン処理を示すフロー図 複合投稿情報（ダウンロード情報）のデータ構成を示す図 録画時のモニタの様子を示す図 サーバー装置に送信する各種情報データ構成を示す図 サーバー側処理を示すフロー図 新たに形成された複合投稿情報のデータ構成を示す図 新たに形成された複合投稿情報の再生時の様子を示す図 投稿参加人数に応じた表示領域の割り当てを説明するための図 複数の複合投稿情報を形成する変形例２を説明する図

本実施形態のカラオケ装置は、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されるものである。図１は、このカラオケ投稿システムの概要（同時歌唱指定なし）を説明するための図である。図１を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、カメラにて記録された映像が伴ってもよい。

まず、歌唱者は、カラオケボックス等で、演奏にあわせた歌唱を行う。その際、歌唱音声が記録される（ａ）。カラオケシステムは、カラオケ装置（別称「コマンダ」）、カラオケ装置から出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をカラオケ装置に伝えるリモコン装置にて構成されている。歌唱音声は、カラオケ装置に内蔵されたハードディスクなどの記録手段に第１投稿情報として記録される。

歌唱者は、記録された歌唱音声を確認するため、第１投稿情報の再生を行うこともできる（ｂ）。歌唱者が希望する場合には、第１投稿情報は、サーバー装置５上にアップロードされ、インターネットを介して公開することが可能となる（ｃ）。公開された第１投稿情報は、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる（ｄ）。

ダウンロードされた第１投稿情報は、楽曲にあわせて再生することで内容を確認することもできる（ｅ）。ダウンロードされた第１投稿情報は、楽曲と共にカラオケ装置にて再生され、歌唱者は予め記録された第１投稿情報とのデュエットを楽しむことができる。さらに、第１投稿情報と一緒に歌唱を行った歌唱者の歌唱音声は、第２投稿情報としてカラオケ装置に記録される（ｆ）。記録された第２投稿情報は、第１投稿情報、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる（ｇ）。

歌唱者は、新たな投稿として第２投稿情報をサーバー装置５にアップロードすることができる。第２投稿情報は、第１投稿情報と併せて再生されることになる。新たに形成された第２投稿情報を、第１投稿情報と対応付けるため、第２投稿情報には第１投稿情報の識別情報が付与されて、サーバー装置５にアップロードされる（ｈ）。

サーバー装置５に保存された第１投稿情報、第２投稿情報は、ユーザー−からの要求により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿情報、第２投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）。以上、第１投稿情報と第２投稿情報に基づくコラボレーションについて説明したが、（ｄ）、（ｆ）〜（ｈ）を繰り返し行うことで、複数人（２名以上）のコラボレーションが可能となる。

このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ところで、図１で説明した投稿では、複数のユーザーによる投稿は、時系列的に行われることになる。すなわち、Ａさんが第１投稿情報を行った後、第１投稿情報を再生しつつ、Ｂさんが歌唱することで第２投稿情報を作成することになる。したがって、図１の投稿形態では、デュエット、合唱を行うといっても記録された歌唱音声と一緒に歌唱を行うことになり、同時にデュエット、合唱を行うものではなかった。

本実施形態のカラオケ投稿システムは、離れた場所でカラオケシステムを利用している相手と同時に歌唱を行うことでコラボを行い、歌唱による作品を作ることを可能としている。図２の例は、図１における（ａ）〜（ｃ）の第１投稿情報の形成が完了した時点から開始している。ここでは部屋Ａに設置されたカラオケ装置Ａを利用するＡさんと、部屋Ｂに設置されたカラオケ装置Ｂを利用するＢさんとの間で、同時にデュエットを行う場合について説明する。カラオケ装置Ａ、カラオケ装置Ｂ間では、ＡさんとＢさんの間でコラボを行うが指定されている。その際、事前にアップロードされた第１投稿情報を使用したコラボであることが指定されている。

部屋Ａに設置されたカラオケ装置Ａは、コラボを行うために必要な第１投稿情報をサーバー装置５からダウンロードする（ｄ_Ａ）。そして、楽曲、及び、ダウンロードした第１投稿情報の再生を開始する。再生は、部屋Ｂに設置されたカラオケ装置Ｂと同期して開始される。楽曲と第１投稿情報を再生しつつ、Ａさんは歌唱を行う（ｆ_Ａ）。その際、部屋Ｂで歌唱するＢさんの歌唱音声が通信回線を介してカラオケ装置Ａに送信され、Ｂさんの歌唱音声も合わせて再生される。このように、離れた部屋Ａ、部屋Ｂ間において同じ楽曲を再生しつつ、相手の歌唱音声を伝送することで、同時に行うデュエットを楽しむことが可能となる。また、楽曲の再生中、Ａさんの歌唱音声は記録され、第２Ａ投稿情報が形成される。形成された第２Ａ投稿情報は、サーバー装置５にアップロードされる。

一方、部屋Ｂにおいても同時に同様の処理が実行される。部屋Ｂでは、楽曲と第１投稿情報を再生しつつ、Ｂさんは歌唱を行う（ｆ_Ｂ）。Ｂさんの歌唱音声は第２Ｂ投稿情報に含められ、サーバー装置５にアップロードされる。サーバー装置５に保存された第１投稿情報、第２Ａ投稿情報、第２Ｂ投稿情報は、ユーザー−からの要求により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿情報、第２Ａ投稿情報、第２Ｂ投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）

以上、図２で説明した投稿形態では、２人のユーザーが同時に歌唱を行うことで、各ユーザーは、図１の投稿形態のように記録された投稿情報ではなく、同時に行う（生の）デュエットを楽しむことが可能である。また、図２の投稿形態では、２つの第２Ａ投稿情報、第２Ｂ投稿情報を形成することが可能である。図１の投稿形態で、新たに２名が参加する投稿を行う場合、例えば、Ａさんによる歌唱、アップロード、カラオケ装置Ｂでのダウンロード、Ｂさんの歌唱を行う必要があるが、図２の投稿形態では、新たに参加する２名画同時に歌唱するため、短時間で歌唱による作品を作ることが可能である。なお、図２では、２名が新たに参加する投稿形態としているが、同時に歌唱を行うユーザーは２名以上であってもよい、多拠点に設置されたカラオケ装置間を通信接続することで、多人数で同時に合唱を楽しむことが可能である。

図３は、本発明の実施形態に係るカラオケシステムの構成を示す図である。カラオケシステムには、楽曲を演奏するカラオケ装置（別称「コマンダ」）２の他、カラオケ装置２を遠隔制御するためのリモコン装置１が設けられている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。

カラオケ装置２は、楽曲を演奏するための演奏手段として音響制御部２５を備えている。音響制御部２５は、歌唱用マイク４３ａ、４３ｂ（マイクロホン）から入力されるユーザーの歌唱音声を取り込み、演奏音とミキシングしてスピーカー４２から放音させる。

また、カラオケ装置２は、ユーザーからの各種入力を受け付けるスイッチなどで構成される入力手段としての操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶するカラオケ装置側記憶手段としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に通信接続してネットワークに加入するためのＬＡＮ通信部２４を備えている。

また、カラオケ装置２は、モニタ４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果の付与等、各種映像処理を実行可能な映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されたモニタ４１以外に、タッチパネルモニタ３３に対しても各種情報を表示することを可能としている。タッチパネルモニタ３３は、映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。また、カラオケ装置２に対する各種操作は、カラオケ装置２のフロントパネル等に設けられた操作部２１を介して行うことも可能となっている。

本実施形態のタッチパネルモニタ３３は、リモコン装置１の操作手段であるタッチパネルモニタ１１と同様の操作手段として機能することも可能としている。ユーザーはタッチパネルモニタ３３から楽曲を選択して、直接カラオケ装置２に予約をさせるなど、リモコン装置１と同等の操作手段機能を利用することが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するための制御手段として、各種プログラムを実行するＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を有して構成される。

また、カラオケ装置２には、歌唱の様子を撮影するための撮像手段としてカメラ４４が接続されている。カメラ４４で撮像されたカメラ映像は、映像入出力を担う映像制御部３１を介して、記録手段としてのハードディスク３２に記録される。また、カメラ映像はモニタ４１にリアルタイム表示される。その際、カメラ映像と一緒に、複合投稿情報中に含まれる映像情報をモニタ４１に表示させることで、投稿を行ったユーザーと模擬的なデュエット、合唱を楽しむことが可能である。さらに、同時歌唱が指定されている場合には、他のカラオケ装置２で撮像されたカメラ映像が同画面に表示される。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、再生処理などを実行可能としている。楽曲予約処理は、ユーザーからの指示に基づいて楽曲を予約するための処理であってリモコン装置１、あるいは、携帯端末６と連携して実行される。リモコン装置１、あるいは、携帯端末６から送信された予約情報（図５（Ａ））を、メモリ２７内の予約テーブルに登録する。再生処理は、予約された楽曲を再生させる処理であって、演奏処理と歌詞再生処理が同期して実行される処理である。

演奏処理は、楽曲データに含まれる演奏情報を音響制御部２５にて演奏させる処理である。音響制御部２５にて演奏された楽曲は、歌唱用マイク４３ａ、４３ｂから入力される歌唱音声と一緒にスピーカー４２から放音される。歌詞再生処理は、楽曲データに含まれる歌詞情報をモニタ４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。

一方、リモコン装置１は、予約情報などカラオケ装置２に対して各種指示を送信するとともに、カラオケ装置２あるいはインターネット上に接続されたサーバー装置５から各種情報を受信する。本実施形態では、ユーザーインターフェイスとしてボタンなどの操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザーからのタッチ入力を受付可能としている。

さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶するリモコン側記憶手段としてメモリ１４、そして、これら構成を統括して制御するためのリモコン側制御手段を備えて構成される。リモコン側制御手段には、ＣＰＵにて構成される制御部１５、表示部１１ａに対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、操作部１７からの入力を解釈して制御部１５に伝達する操作処理部１８が含まれている。

また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。

このようなリモコン装置１の構成により、ユーザーからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１の表示により各種情報を提供することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能である。

図４には、本実施形態の楽曲確認画面が示されている。本実施形態のカラオケシステムは、複数のユーザーが同時にログインして使用することが可能である。ユーザーはログインすることで、自己のユーザー情報を使用した各種サービスを受けることが可能である。ユーザーが受けることのできるサービスとしては、ユーザーが登録したお気に入り楽曲、履歴、お気に入りアーティスト（歌手）を使用した楽曲検索、あるいは、ユーザーの属性に応じた楽曲の推奨、あるいは、図１、図２で説明した歌唱の投稿等がある。

図４に示す楽曲確認画面の上方には、カラオケシステムにログインしているユーザーに関する情報が表示されている。ログインユーザー欄１０３には、カラオケシステムにログインしているユーザーの分身像１０３ａ〜１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザー欄１０３中、右端に背景がハイライト（白色）で示されるユーザーは、アクティブユーザー１０３ｅ（この例ではＡさん）であって、アクティブユーザー１０３ｅに対するサービス、すなわち、アクティブユーザー１０３ｅのユーザー情報を利用したサービスが実行されている状態となっている。アクティブユーザーの切り替えは、ユーザー切り替えボタン１０１を操作することで行うことが可能である。また、ユーザー登録していないユーザーは、ゲストボタン１０２を操作することで、ゲストユーザーとしてカラオケシステムを使用することが可能である。

アクティブユーザーとして楽曲を選択した場合、この楽曲確認画面にて、予約を行う楽曲に間違いがないか、楽曲名、歌手名、歌い出し等の詳細を表示してユーザーに確認させる。

また、本実施形態の楽曲確認画面には、オプション欄１０５において、投稿に関する設定を行うことが可能である。投稿に関する設定としては、使用する複合投稿情情報の選択、同時歌唱を行うユーザーの選択がある。複合投稿情報は、楽曲確認画面に表示されている楽曲について、従前に投稿された歌唱音声を含んだ情報である。本実施形態では歌唱音声の他、歌唱映像も含んで構成されている。楽曲の演奏に合わせてこの複合投稿情報を再生することで、従前に投稿したユーザーと一緒に歌唱している感覚を楽しむことが可能である。同時歌唱を行うユーザー（相手ユーザー）は、他のカラオケ装置２を使用している他のユーザーであって、楽曲確認画面に表示されている楽曲について、相手ユーザーと同時に歌唱を行うことが可能である。同時に歌唱を行うユーザーのマッチングは、例えば、以下の形態を採用することが可能である。

ユーザーは募集する側と、応募する側に分けられる。募集する側は、楽曲及び複合投稿情報等を指定した状態でユーザーの応募を待つ。指定された条件（ユーザー、楽曲、複合投稿情報）は、タッチパネルモニタ１１に随時更新表示される。一方、応募する側は、募集する側の条件（ユーザー、楽曲、複合投稿情報）を見て、歌唱したい条件を選択することでユーザー間のマッチングが行われる。募集する条件としては、この他、参加人数を規定することが可能である。例えば、自分を含め３人で歌唱したい場合、２人の応募を待ってマッチングが完了する。

楽曲確認画面において、歌唱する楽曲であることを確認するとともに各種設定を終えたユーザーは、予約ボタン１０６を操作することで、楽曲の予約を確定させる。リモコン装置１を使用して楽曲を予約した場合、リモコン装置１からカラオケ装置２に予約情報が送信される。図５（Ａ）は、予約情報のデータ構成を示した図である。予約情報は、予約した楽曲を識別するための楽曲ＩＤ、予約を行ったユーザー（アクティブユーザー）に対応するユーザーＩＤが含まれている。また本実施形態では、投稿に関する情報として投稿関連情報を有している。投稿関連情報は、投稿の可否を指定した投稿フラグ（０：投稿なし、１：投稿あり）、指定された複合投稿情報を示す投稿ＩＤ、同時歌唱の可否を指定した同時歌唱フラグ（０：同時歌唱なし、１：同時歌唱あり）、また、同時歌唱を行う場合に指定されたユーザーに対応するユーザーＩＤを含んで構成されている。カラオケ装置２は、カラオケ装置２のメモリ２７で管理する予約テーブルに、受信した予約情報を順次記憶して、楽曲再生処理を実行する。

図６は、本発明の実施形態に係るカラオケ装置２におけるメイン処理を示すフロー図である。ユーザーは、図４の予約確認画面において、投稿に関する設定を行うことで、歌唱者の歌唱姿を撮像するとともに、歌唱音声を録音して投稿情報を作成することが可能である。カラオケ装置２では、予約リストを随時確認し、次に実行される予約の種類を判別する（Ｓ３０１）。予約の種類の判別は、予約情報の投稿関連情報に含まれる投稿フラグを使用して判別される。投稿フラグが「投稿なし」の場合（Ｓ１０１：通常予約）は、指定された楽曲を再生させる通常楽曲再生（Ｓ１０２）を実行する。

一方、投稿フラグが「投稿あり」の場合（Ｓ１０１：投稿予約）、第１投稿（初回の投稿）か否かが判定される（Ｓ１０３）。第１投稿は、予約情報の投稿関連情報に投稿ＩＤが指定されていないことで判定される。第１投稿である場合（Ｓ１０３：Ｙｅｓ）には、同時に再生する複合投稿情報が存在しないため、複合投稿情報のダウンロードは行わない。一方、第１投稿でない場合（Ｓ１０３：Ｎｏ）、投稿関連情報に含まれる投稿ＩＤに対応する複合投稿情報をサーバー装置５からダウンロードする（Ｓ１０４）。なお、本実施形態では、楽曲再生開始前に複合投稿情報のダウンロード（取得）を行っているが、複合投稿情報の取得は、このような形態に代え、予約後から楽曲が再生される前の期間に行う、あるいは、楽曲再生時にストリーミング再生する等、の形態を採用することも可能である。

図７には、ダウンロード時の複合投稿情報（ダウンロード情報）のデータ構成が示されている。本実施形態の投稿情報は、複合投稿情報を識別するための投稿ＩＤ、録画時に使用した楽曲の楽曲ＩＤ、複合記録情報、コラボ数、コラボユーザー情報が含まれている。本実施形態の複合記録情報は、複合映像情報と複合歌唱音声情報を含んで構成されている。複合映像情報は、各回の投稿に含まれる映像情報（単位映像情報）を組み合わせて形成された情報である。複合歌唱音声情報は、複数回行われた投稿情報中、各回の投稿に含まれる歌唱音声情報（単位歌唱音声情報）を組み合わせて形成された情報である。本実施形態では、前回までの投稿で録音された単位歌唱音声情報をミキシングすることで複合歌唱音声情報を生成している。本実施形態では、サーバー装置５にて、複数の単位映像情報をエンコードすることで１つのファイルの複合映像情報を生成している。コラボ数は、複合投稿情報を形成するのに使用した投稿の数に相当する。コラボユーザー情報は、各回の投稿に関する情報であり、本実施形態では、これまでの行われた投稿毎に、コラボＮｏ．、ユーザーＩＤを含んで構成されている。コラボＮｏ．は、投稿の順番を示す情報である。ユーザーＩＤは、投稿したユーザーを識別する情報である。

次に、予約情報中、同時歌唱指定の有無が判定される（Ｓ１０５）。同時歌唱指定の有無は、投稿関連情報中の同時歌唱フラグを使用して判定される。同時歌唱フラグが「同時歌唱あり」の場合（Ｓ１０５：Ｙｅｓ）、投稿関連情報に含まれるユーザーＩＤで特定されるユーザーが使用しているカラオケ装置２と通信を確立する（Ｓ１０６）。通信を確立することで、互いのカラオケ装置２において、相手の歌唱音声、歌唱映像を取得することが可能となる。一方、同時歌唱フラグが「同時歌唱なし」の場合（Ｓ１０５：Ｎｏ）、指定先との通信確立を行うことなく、次の処理に進む。

Ｓ１０１〜Ｓ１０６において、投稿に関する準備が全て整ったら、楽曲再生を開始する（Ｓ１０７）。この楽曲再生では、予約情報に含まれる楽曲ＩＤに対応する楽曲情報を読み出して再生する。図５（Ｂ）は、楽曲情報のデータ構成を示した図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏や歌詞の表示といった各種処理を実行するための実情報を有している。メタ情報には、楽曲情報を識別するための楽曲ＩＤ、楽曲名、歌手名、作詞者名、作曲者名を有している。

楽曲情報の実情報には、演奏情報、歌詞情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等を含んで構成された、カラオケの伴奏を行うための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。

また、楽曲再生の開始（Ｓ１０７）に同期して、録音・録画処理（Ｓ１０８）を開始する。録音・録画処理（Ｓ１０８）は、歌唱用マイク４３ａ、４３ｂに入力される歌唱音声の録音、並びに、カメラ４４で撮像された歌唱映像の録画を行う処理である。録音された歌唱音声は、単位歌唱音声として、また、録画された歌唱映像は単位動画情報として、ハードディスク３２に一時記憶される。

楽曲の再生中、複合投稿情報が指定されている場合には、ダウンロードした複合投稿情報を同期して再生させる投稿再生処理を実行する（Ｓ１０９）。投稿再生処理では、複合投稿情報に含まれる複合記録情報を再生させる処理であって、本実施形態では、複合記録情報中の複合映像情報を映像再生部２９に再生させるとともに、複合記録情報中の複合歌唱音声情報を音響制御部２５に再生させる。また、同時歌唱が指定されている場合には、相手のカラオケ装置２と同期した再生が実行される。その際、相手の歌唱音声、歌唱映像を取得するとともに、こちらの歌唱音声、歌唱映像を送信することで、リアルタイムの歌唱音声、歌唱映像を互いに視聴可能としてもよい。

図８には、図７で説明した複合投稿情報（２人のユーザーＣ、ユーザーＤが投稿済み）を使用した投稿時であって、２人のユーザー（ユーザーＡ、ユーザーＢ）が同時に歌唱を行い、投稿を行う際のモニタ４１の表示画面が示されている。なお、各表示領域Ｃ１〜Ｃ３内には、理解を助けるためユーザー名（実際には表示せず、他の図も同様）が示されている。モニタ４１には歌唱補助のため、楽曲の歌詞Ｅ（図中「Ｉ ＬＯＶＥ ＹＯＵ Ｉ ＬＯＶＥ ＹＯＵ」）が重畳して表示されている。

表示領域Ｃ３、Ｃ４は、今回の投稿のために表示される領域である。左上に「録画中」と表示された表示領域Ｃ３には、カメラ４４で撮像されたユーザーＡの映像がリアルタイム表示される。また、左上に「Ｌｉｖｅ」と表示された表示領域Ｃ４には、他のカラオケ装置２を使用して同時に歌唱を行っているユーザーＢの映像が表示される。ユーザーＢの歌唱映像、歌唱音声は、Ｓ１０６において通信確立された他のカラオケ装置２から、ストリーミング等の送信形態を使用して送信される。また、ユーザーＡが使用しているカラオケ装置２からは、ユーザーＢの使用するカラオケ装置２に対して、ユーザーＡの歌唱映像、歌唱音声が送信される。本実施形態では、両者の歌唱音声、歌唱映像を互いに送信することで、相手の映像を視認しつつ歌唱を楽しむことを可能としているが、歌唱音声のみを送信する形態であってもよい。

楽曲の再生が終了する（Ｓ１１０：Ｙｅｓ）と、録音・録画処理を終了する（Ｓ１１１）。楽曲の再生終了後、録音・録画処理で記録した単位音声情報、単位動画情報に基づいて単位投稿情報が生成される。ユーザーは投稿を行う前に、生成された単位投稿情報を確認するプレビュー処理（Ｓ１１３）を行うことが可能である。プレビュー処理（Ｓ１１３）は、楽曲情報の再生に同期して、今回、録音・録画した単位記録情報を再生させる処理である。

ユーザーは、生成した単位記録情報を含む単位投稿情報をサーバー装置５にアップロードすることが可能である。単位投稿情報をアップロードすることが選択された場合（Ｓ１１４：Ｙｅｓ）、カラオケ装置２は、生成された単位記録情報を含む単位投稿情報を、通信手段としてのＬＡＮ通信部２４を介して、サーバー装置に送信する第１アップロード処理（Ｓ３１５）を実行する。

図９には、カラオケ装置２からアップロードされる各種情報のデータ構成が示されている。図９（Ａ）は、同時歌唱を行ったときの単位投稿情報のデータ構成である。この単位投稿情報には、投稿を行う際に使用した複合投稿情報に付されていた投稿ＩＤ、使用した楽曲の楽曲ＩＤ、単位記録情報（今回、録画した単位映像情報と、今回、録音した単位歌唱音声情報）、同時歌唱フラグ（同時歌唱が指定された場合：１）、楽曲を指定したユーザーに関連するユーザー情報、同時に歌唱を行ったユーザーに関する同時歌唱ユーザー情報が含まれる。ユーザー情報、同時歌唱ユーザー情報には、何回目にコラボを行ったかを示すコラボＮｏ．と、コラボを行ったユーザーのユーザーＩＤが含まれている。なお、この例では、２人（ユーザーＡ、ユーザーＢ）によって同時歌唱が行われているが、同時歌唱は３人以上であってもよい。その場合、同時歌唱ユーザー情報には、同時に歌唱した複数のユーザーに関する情報が含まれる。

図９（Ｂ）は、同時歌唱指定されていない場合の単位投稿情報のデータ構成である。この単位投稿情報には、投稿を行う際に使用した複合投稿情報に付されていた投稿ＩＤ、使用した楽曲の楽曲ＩＤ、単位記録情報（今回、録画した単位映像情報と、今回、録音した単位歌唱音声情報）、同時歌唱フラグ（同時歌唱が指定されていない場合：０）、楽曲を指定したユーザーに関連するユーザー情報が含まれる。

一方、投稿が選択されなかった場合（Ｓ１１４：Ｎｏ）、同時歌唱指定されていたか否かが判定される。同時歌唱指定されていない場合（Ｓ１１６：Ｎｏ）は、サーバー装置５に対するアップロードは行わず一連のメイン処理を終えて最初に戻る。一方、同時歌唱指定されていた場合（Ｓ１１６：Ｙｅｓ）、サーバー装置５に投稿を行わないことを通知するための第２アップロード処理（Ｓ１１７）を実行する。第２アップロード処理（Ｓ１１７）では、サーバー装置５に投稿キャンセル情報を送信する。これは、同時歌唱指定されていた場合、投稿を行わないことをサーバー装置５に通知する必要があるためである。図９（Ｃ）は、投稿キャンセル情報のデータ構成である。投稿キャンセル情報は、図９（Ａ）で説明した同時歌唱指定されている場合の単位投稿情報から、単位記録情報を抜いたデータ構成となっている。この投稿キャンセル情報を受信したサーバー装置５は、投稿キャンセル情報に基づいて特定される投稿について、単位投稿情報を含めずに、新たな複合投稿情報を形成する。

カラオケ装置２から単位投稿情報あるいは投稿キャンセル情報を受信したサーバー装置５は、図１０に示すサーバー側処理を実行する。サーバー側処理では、カラオケ装置２から送信された情報の受信を監視する（Ｓ２０１）。カラオケ装置２から情報を受信した場合（Ｓ２０１：Ｙｅｓ）、受信した情報が単位投稿情報か投稿キャンセル情報かを判別する（Ｓ２０２）。受信した情報が投稿キャンセル情報の場合（Ｓ２０２：投稿キャンセル情報）、当該投稿キャンセル情報で特定される投稿について、新たな複合投稿情報の形成対象から除外する（Ｓ２０３）。一方、受信した情報が単位投稿情報の場合（Ｓ２０２：単位投稿情報）、同時歌唱フラグを参照して、同時歌唱指定の有無を判定する（Ｓ２０４）。同時歌唱指定なしの場合（Ｓ２０４：Ｎｏ）、すなわち、図９（Ｂ）の単位投稿情報の場合、今回、使用した複合投稿情報に対応する単位投稿情報を読み出す（Ｓ２０９）。そして、今回受信した単位投稿情報と、読み出した単位投稿情報を使用して、新たな複合投稿情報を形成する（Ｓ２１０）。

一方、同時歌唱指定ありの場合（Ｓ２０４：Ｙｅｓ）、すなわち、図９（Ａ）の単位投稿情報の場合、受信した単位投稿情報を、新たな複合投稿情報の形成対象として登録する（Ｓ２０５）。そして、複合投稿情報の形成に必要な全ての単位投稿情報が揃っているか否かを判定する。すなわち、同時に歌唱を行った全ての投稿について、単位投稿情報もしくは投稿キャンセル情報を受信したことを判定する。単位投稿情報が揃った場合（Ｓ２０６：Ｙｅｓ）、今回、使用した複合投稿情報に対応する単位投稿情報を読み出し（Ｓ２０７）、今回受信した単位投稿情報と、読み出した単位投稿情報を使用して、新たな複合投稿情報を形成する（Ｓ２０８）。一方、揃っていない場合（Ｓ２０６：Ｎｏ）、サーバー側処理の開始時点に戻り、情報の受信を待つ（Ｓ２０１）。

このようにサーバー装置５において、サーバー側処理を実行することで、単独の投稿による複合投稿情報の形成（Ｓ２１０）、複数のユーザーが同時に歌唱した投稿による複合投稿情報の形成（Ｓ２０８）を行うことが可能となる。図１１には、図７に示す複合投稿情報を使用し、ユーザーＡとユーザーＢが同時に歌唱した場合に形成された複合投稿情報のデータ構成が示されている。複合投稿情報は、新たに形成された複合記録情報（複合映像情報と複合音声情報を含む）、コラボ数（２から４に増加）、コラボユーザー情報（新たに、ユーザーＡとユーザーＢが追加）を含んで構成される。図１２には、新たに形成された複合投稿情報をカラオケ装置２で再生したときのモニタ４１の表示例が示されている。当初、ユーザーＣ（表示領域Ｃ１）とユーザーＤ（表示領域Ｃ２）で形成された複合投稿情報に、新たに同時に歌唱したユーザーＡ（表示領域Ｃ３）とユーザーＢ（表示領域Ｃ４）の歌唱映像が追加されている。

新たに形成された複合投稿情報は、サーバー装置５の記憶部５１に登録され、更なる投稿を行うためカラオケ装置２でダウンロードして使用することが可能である。あるいは、視聴のため、カラオケ装置２やＰＣ等の情報処理装置でダウンロードして使用することも可能である。

以上、説明したように本実施形態では、離れた場所でカラオケ装置２を使用するユーザー間で、同時に歌唱を行って投稿を行うという新たなサービスを提供することを可能としている。このような構成により、従来、歌唱の投稿では、あるユーザーの投稿を再生しつつ歌唱音声を録音することで行われていたため、例えば、ｎ回のデュエット、合唱を重ねるためには、楽曲の再生をｎ回繰り返す必要があったが、本実施形態のように同時歌唱による投稿を可能としたことで、一度に複数のユーザーによる投稿を行うことで、デュエット、合唱による作品を形成することが可能である。

（変形例１）
以上説明した実施形態以外に下記に説明する変形例を採用することが可能である。図１３は、本実施形態の投稿で形成される複合投稿情報について、モニタ４１に表示する画面構成を示した図である。本実施形態では、投稿に参加した人数に応じて表示領域の割り当てが変更される。図１３（Ａ）は、参加人数が２人の場合であり、図１３（Ｂ）は、参加人数が３人の場合であり、図１３（Ｃ）は、参加人数が４人の場合であり、図１３（Ｄ）は、参加人数が５人の場合であり、図１３（Ｅ）は、参加人数が６人の場合である。参加人数が増えるに従って、割り当てられる表示領域の面積は小さくなることが分かる。そのため変形例１では、投稿に参加可能なユーザー数を所定数（この例では、６人）に限定している。参加可能なユーザー数を所定数に限定することで、モニタ４１に表示される映像が小さくなり過ぎず、１つの表示領域に表示される歌唱の様子を十分に視認可能としている。

ところで、前述の実施形態では、複数のユーザーが同時に歌唱を行うことが可能でとなっている。そのため、変形例１では、従前に行われた投稿に参加したユーザー数、すなわち、複合投稿情報中のユーザー数を鑑み、新たに参加できるユーザー数を限定している。例えば、図１３（Ａ）のように、２人のユーザーによる投稿が既に行われた複合投稿情報を使用する場合、同時に歌唱するユーザーの数は４人を上限とする。同様に、図１３（Ｂ）では上限を３人、図１３（Ｃ）では上限を２人、図１３（Ｄ）では上限を１人に制限する。また、図１３（Ｅ）の場合、既に所定数（６人）に達しているため、新たな投稿には使用できないようにする。参加可能なユーザー数は、投稿に関する設定において制限することが可能である。

（変形例２）
変形例２は、変形例１と同様に１つの複合投稿情報に参加可能な人数は同様（最大６人）であるが、新たに参加可能なユーザー数に制限を設けないこととしている。このような形態を実現するため、参加可能な人数を超えた場合、複数の複合投稿情報を形成することとしている。図１４は、複数の複合投稿情報を形成する変形例２を説明するための図である。ここでは、再生時に利用する複合投稿情報が５人のユーザーにより行われている場合を想定している。このような複合投稿情報を利用して、新たにユーザーＡ（表示領域Ｃ６）、ユーザーＢ（表示領域Ｃ７）の同時歌唱による新たな投稿が行われた場合、トータルで７人のユーザーによる投稿が行われたことになる。

そのため、変形例２では、複数の複合投稿情報を新たに形成することで、上限（最大６人）を維持することを可能としている。複数の複合投稿情報は、各種形態で形成することが考えられる。図１４（Ａ）は、再生した複合投稿情報にユーザーＡ（表示領域Ｃ６）を追加した複合投稿情報と、再生した複合投稿情報にユーザーＢ（表示領域Ｃ７）を追加した複合投稿情報を形成する場合である。このような形態とすることで、参加可能なユーザー数に制限を設けることなく、１つの複合投稿情報の最大数を維持することが可能となる。図１４（Ａ）の形態では、同時に歌唱したユーザーが分かれてしまうため、図１４（Ｂ）のように同時に歌唱したユーザーは同じ複合投稿情報に含めてもよい。図１４（Ｂ）は、再生した複合投稿情報はそのままとし、新たに形成する複合投稿情報にユーザーＡ（表示領域Ｃ６）とユーザーＢ（表示領域Ｃ７）を含め、最初に参加したユーザー（表示領域Ｃ１）を削除している。削除するユーザーは、今回新たに参加するユーザーが選択できるようにしてもよい。

１：リモコン装置 ２９：映像再生部
２：カラオケ装置 ３０：ＣＰＵ
５：サーバー装置 ３１：映像制御部
６：携帯端末 ３２：ハードディスク
１１：タッチパネルモニタ ３３：タッチパネルモニタ
１１ａ：表示部 ３４：タッチパネル
１１ｂ：タッチパネル ３５：表示部
１２：ビデオＲＡＭ ４１：モニタ
１３：映像制御部 ４２：スピーカー
１４：メモリ ４３ａ：歌唱用マイク
１５：制御部 ４３ｂ：歌唱用マイク
１６：無線ＬＡＮ通信部 ４４：カメラ
１７：操作部 ５１：記憶部
１８：操作処理部 １０１：ユーザー切り替えボタン
２１：操作部 １０２：ゲストボタン
２２：操作処理部 １０３：ログインユーザー欄
２４：ＬＡＮ通信部 １０５：オプション欄
２５：音響制御部 １０６：予約ボタン
２７：メモリ １１０：アクセスポイント
２８：ビデオＲＡＭ

Claims (6)

1. カラオケ装置と、カラオケ装置と通信可能なサーバー装置と、を備えるカラオケシステムであって、
   カラオケ装置は、指定処理と、受信処理と、記録処理と、送信処理と、を実行可能とし、
   指定処理は、歌唱に使用する複合投稿情報と、同時に歌唱を行う相手ユーザーを指定可能とし、
   受信処理は、指定処理で指定された複合投稿情報を、サーバー装置から受信し、
   再生処理は、相手ユーザーのカラオケ装置の再生処理と同期して、受信した複合投稿情報と、複合投稿情報に対応する演奏情報を、再生し、
   記録処理は、再生処理中、マイクロホンから入力される歌唱音声を歌唱音声情報として記録し、
   送信処理は、歌唱音声情報を含んだ単位投稿情報をサーバー装置に送信し、
   サーバー装置は、カラオケ装置から単位投稿情報を受信した場合、相手ユーザーと同時に歌唱した単位投稿情報であるか否かを判定し、相手ユーザーと同時に歌唱した単位投稿情報である場合、受信した単位投稿情報と、相手ユーザーの単位投稿情報を含めて複合投稿情報を形成する形成処理を実行することを特徴とする
   カラオケシステム。
2. カラオケ装置において、ユーザーは、複合投稿情報に参加しないことを指定可能とし、
   形成処理は、単位投稿情報の形成に参加しないことが指定されたユーザーの単位投稿情報を含めずに、複合投稿情報を形成することを特徴とする
   請求項１に記載のカラオケシステム。
3. 指定処理は、指定された複合投稿情報に既に参加しているユーザー数に基づき、複合投稿情報の形成に参加するユーザー数を制限することを特徴とする
   請求項１または請求項２に記載のカラオケシステム。
4. 形成処理は、複合投稿情報の形成に参加可能なユーザー数を超えている場合、複数の複合投稿情報を形成することを特徴とする
   請求項１または請求項２に記載のカラオケシステム。
5. 記録処理は、再生処理中、歌唱するユーザーを撮像した映像を歌唱映像情報として記録し、
   送信処理は、単位投稿情報に歌唱映像情報を含めることを特徴とする
   請求項１から請求項４の何れか１項に記載のカラオケシステム。
6. カラオケ装置と、カラオケ装置と通信可能なサーバー装置と、を備えるカラオケシステムで行われる複合投稿情報作成方法であって、
   カラオケ装置は、指定処理と、受信処理と、記録処理と、送信処理と、を実行可能とし、
   指定処理は、歌唱に使用する複合投稿情報と、同時に歌唱を行う相手ユーザーを指定可能とし、
   受信処理は、指定処理で指定された複合投稿情報を、サーバー装置から受信し、
   再生処理は、相手ユーザーのカラオケ装置の再生処理と同期して、受信した複合投稿情報と、複合投稿情報に対応する演奏情報を、再生し、
   記録処理は、再生処理中、マイクロホンから入力される歌唱音声を歌唱音声情報として記録し、
   送信処理は、歌唱音声情報を含んだ単位投稿情報をサーバー装置に送信し、
   サーバー装置は、カラオケ装置から単位投稿情報を受信した場合、相手ユーザーと同時に歌唱した単位投稿情報であるか否かを判定し、相手ユーザーと同時に歌唱した単位投稿情報である場合、受信した単位投稿情報と、相手ユーザーの単位投稿情報を含めて複合投稿情報を形成する形成処理を実行することを特徴とする
   複合投稿情報作成方法。