JP2013156543A - 投稿再生装置及びプログラム - Google Patents

Abstract

【課題】コラボレーションされた投稿データの再生音に関する識別情報を可視化する。
【解決手段】カラオケ装置１０がユーザの録音データと録画データとからなる投稿データを投稿サーバ３０に投稿する際に、その投稿データに含まれる録音データの音源の種類を示す識別情報を付与する。一方、カラオケ装置１０はコラボレーションされた複数の投稿データを投稿サーバ３０からダウンロードして同時に再生する。その際、各録音データの識別情報に基づいて、各録音データに対応する参加者の再生映像が表示されている画面上の表示領域に、当該録音データの音源の種類を示す画像情報を重ねて表示する。コラボレーション用の投稿データの視聴者が、コラボレーションの参加者の再生映像と併せて表示される音源の種類を見れば、誰が何の音をどうやって出しているのか一目瞭然となる。
【選択図】図３

Description

本発明は、通信カラオケシステムにおいて、カラオケの歌唱音や楽器音等の録音データと、その歌唱者や楽器演奏者の撮影データとを含む投稿データを投稿及び再生する投稿再生装置に関する。

特許文献１には、楽器と接続可能なカラオケ装置により、楽器音を録音した楽器音データを通信ネットワークを通じてサーバに投稿する技術が開示されている。また、特許文献１には、カラオケ装置によって投稿された楽器音データを、通信ネットワークを通じてサーバからダウンロードして再生する技術が開示されている。

さらに、通信カラオケシステムのサービス形態として、利用者による歌唱音や楽器音の録音データと、その利用者が歌唱や演奏をする姿を撮影した動画データとを含む投稿データがサーバに投稿されるサービスが提案されている。これにより、多くの利用者から投稿された様々な投稿データを視聴できる。このような投稿システムでは、カラオケ装置に備え付けのカメラによって利用者が歌唱や演奏する姿が録画される。また、カラオケ装置に備え付けのマイクで入力された歌唱音や楽器音、又は、カラオケ装置に接続された楽器から入力された楽器音が録音される。これらの動画データ及び録音データが投稿データとして、インターネットを介して通信カラオケシステムのサーバにアップロードされる。アップロードされた投稿データは、通信カラオケシステムに接続したカラオケ装置や、パソコン、携帯電話等の端末によってインターネットを介して再生することができる。

さらに、通信カラオケシステムに接続したカラオケ装置において投稿データを再生する場合、その投稿データの映像音声の再生と同時に、そのカラオケ装置でリアルタイムに行われる歌唱や演奏の映像音声が同時に出力される。このようにすることで、その場にいない複数の利用者間で非リアルタイムのコラボレーションを楽しむことができるといったサービスも提案されている。また、他の投稿データとコラボレーションして行われた歌唱又は演奏についての録音データ及び動画データは、コラボレーションした他の投稿データの映像音声に、新たな映像音声を加えた投稿データとしてサーバにアップロード可能である。さらに、コラボレーションにより制作された投稿データを基に、別の利用者が更に歌唱や演奏を加えて投稿データを制作することで、コラボレーションの参加人数を増やすこともできる。

特開２０１０−２３７５３３号公報

上述のように複数人分の映像音声を加えてコラボレーションされた投稿データを再生する場合、カラオケ装置等に備えられたモニタにコラボレーションに参加している複数人分の映像が同時に表示される。また、コラボレーションに参加している複数人分の歌唱音や演奏音が同時にスピーカから出力される。そのため、コラボレーションによる投稿データを視聴する利用者にとって、同時表示される複数の歌唱者や演奏者のうち誰が何の音を出しているのか判別しにくいものになっている。

本発明は、コラボレーションされた投稿データの再生音に関する識別情報を可視化することで上記問題を解決することを目的とする。

上記目的を達成するためになされた本発明の投稿再生装置は、投稿データのアップロード関する構成として、投稿データ作成手段と、決定手段と、アップロード手段とを備える。また、投稿データの再生に関する機能として、投稿データ取得手段と、再生手段と、表示制御手段と、音源識別手段とを備える。

投稿データ作成手段は、利用者の歌唱音又は楽器演奏による楽器音を録音した録音データと、その歌唱又は演奏時において備え付けのカメラによって撮影した録画データとを含む投稿データを作成する。決定手段は、録音データに記録された音を発生した音源の種類を特定し、その特定した音源の種類を示す識別情報を決定する。アップロード手段は、投稿データ作成手段によって作成された投稿データと、決定手段により決定された識別情報とを対応付けて、通信ネットワークを通じて所定の投稿サーバにアップロードする。

一方、投稿データ取得手段は、投稿サーバから、互いに関連する複数の投稿データを含んで構成されるコラボレーション用の投稿データと、そのコラボレーション用の投稿データに含まれる複数分の投稿データに対応する識別情報とを、通信ネットワークを通じて取得する。再生手段は、投稿データ取得手段により取得されたコラボレーション用の投稿データに含まれる複数分の録音データ及び録画データを再生する。表示制御手段は、再生手段によりコラボレーション用の投稿データを再生するときに、その投稿データに含まれる複数分の録画データに基づく再生映像をそれぞれディスプレイ上の所定領域に表示させる。音源識別手段は、投稿データ取得手段により取得された識別情報に基づき、表示制御手段によりディスプレイ上に表示されている各録画データの再生映像に対応する各表示領域に、それぞれの録画データに対応する識別情報で示される音源の種類を示す画像情報を併せて表示させる。

このように構成された本発明によれば、投稿データをアップロードする際に付与された音源の種類を示す識別情報に基づき、コラボレーション用の複数の投稿データをダウンロードして再生する際に、各投稿データの音源の種類を示す画像情報を各投稿データの画像に対応付けて表示することができる。これにより、コラボレーションされた投稿データの視聴者が、コラボレーションの参加者の映像と併せて表示される音源の種類を見れば、誰が何の音をどうやって出しているのか一目瞭然となる。

つぎに、請求項２に記載の投稿再生装置は、上記構成に加え、音声出力識別手段を更に備えることを特徴とする。音声出力識別手段は、再生中のコラボレーション用の投稿データに含まれる複数分の録音データのうち、それぞれの録音データに基づいて出力中の各再生音の強さが規定以上であるものを対象に、その再生音の強さが規定以上である期間中において、前記対象の録音データに対応する録画データの再生映像が表示されている表示領域に対して、音声出力中である旨を示す画像情報を併せて表示させる。

このように構成することで、コラボレーションされた各投稿データの再生中において、今実際に歌唱音や演奏音を出力している投稿データだけに、音声出力中である旨を示す画像情報を当該投稿データの画像に対応付けて表示することができる。これにより、コラボレーションされた投稿データの視聴者が、今聞こえている音が誰の声や楽器音であるかを容易に把握できる。また、実際に歌唱や演奏をしているコラボレーションの参加者と、他人の歌唱音に合わせて口を動かすだけの口パクや楽器を演奏する真似をするだけのエア演奏等の演技をしているコラボレーションの参加者とを、視聴者が容易に区別できる。

つぎに、請求項３に記載の投稿再生装置は、以下の特徴を有する。すなわち、決定手段は、録音データの音源の種類の一つとして、人の声によって楽器音を表現したボイス楽器を特定可能であり、録音データの音源の種類としてボイス楽器を特定した場合には、ボイス楽器を示す識別情報を決定する。音源識別手段は、投稿データ取得手段により取得された識別情報がボイス楽器を示す場合、当該識別情報に対応する録画データの再生映像が表示されている表示領域に対して、ボイス楽器を示す画像情報を併せて表示させる。

例えば、マイクを使って歌を歌っている利用者の投稿データと、マイクを使ってボイスギターやボイスパーカッション等を演じている利用者の投稿データとがコラボレーションされた投稿データがあった場合を想定してみる。この場合、このコラボレーションの参加者の映像を視聴者が見る限り、どちらの参加者もマイクを使って声を入力しているため、歌を歌っているのか、ボイス楽器を演じているのか判別がつかない可能性がある。

そこで、投稿データの音源の種類としてボイス楽器を示す識別情報を採用したことで、ボイス楽器を演じている投稿データには、音源がボイス楽器であることを示す画像情報を当該投稿データの画像に対応付けて表示することができる。これにより、コラボレーションされた投稿データにおいて、ボイス楽器を演じている参加者を視聴者が容易に判別することができる。つまり、ボイス楽器を演じているコラボレーションの参加者と、歌唱をしている他の参加者とを視聴者が混同してしまうことがない。

あるいは、コラボレーションされた投稿データの再生機能に関する工夫として、請求項４に記載のように構成することが考えられる。すなわち、上記構成に加え、音声出力制御手段を更に備える。音声出力制御手段は、再生手段により再生されるコラボレーション用の投稿データに含まれる複数分の録音データのうち、指定された音源データに基づく再生音をミュートする又は当該再生音の音量を下げる。このような構成によれば、コラボレーションされた投稿データに含まれる複数分の録音データのうち、指定された録音データのみをミュート（消音）したり音量を下げることで、それ以外の音源を聴き取りやすくすることができる。

なお、本発明は、請求項５に記載のように、投稿再生装置において実行されるプログラム、あるいは当該プログラムを記憶する記憶媒体の態様で実現することができる。

カラオケシステムの概略構成を示すブロック図。 投稿データを介したコラボレーションの一例を示す説明図。 投稿データにおける識別表示の一例を示す説明図。 投稿データアップロード処理の手順を示すフローチャート。 投稿データ表示制御処理の手順を示すフローチャート。 投稿データミュート処理の手順を示すフローチャート。

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に何ら限定されるものではなく様々な態様にて実施することが可能である。
［カラオケシステム１の構成の説明］
図１に示すように、カラオケシステム１は、カラオケボックス等のカラオケ店舗内に設置されるカラオケ装置１０と、外部の投稿サーバ３０とを備える。カラオケ装置１０は、カラオケボックス内ＬＡＮ（以下、単に「ＬＡＮ」という）４０に接続されている。ＬＡＮ４０は、ルータ５０に接続されている。これにより、カラオケ装置１０は、ＬＡＮ４０、ルータ５０を介し、インターネット６０によって、投稿サーバ３０とのデータ通信が可能となっている。なお、図１では、理解を容易にするため、１台のカラオケ装置１０のみを図示しているが、カラオケ店舗内のＬＡＮ４０に複数のカラオケ装置１０が接続されていてもよい。また、複数のカラオケ店舗にそれぞれ設備されたカラオケ装置１０、ＬＡＮ４０、及びルータ５０からなるカラオケ店舗内ネットワークがインターネット６０に接続されていてもよい。

カラオケ装置１０は、装置全体の制御を司る制御部１１を中心に構成されている。制御部１１は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等を中心に構成された情報処理デバイスであり、ＨＤＤ１９から読込んだプログラムやデータに基づいて種々の処理を実行する。制御部１１はバスライン１２に接続されており、また、制御部１１には音声制御部１３が接続されている。

バスライン１２には、操作処理部１４、画像入力部１５、インターフェース部１６、ビデオＲＡＭ１７、映像再生部１８、及びハードディスクドライブ（ＨＤＤ）１９が接続されている。また、音声制御部１３には、マイク２０、ＭＩＤＩ音源２２、及びスピーカ２３が接続されている。操作処理部１４は、操作部１４ａからの信号を処理する。操作部１４ａからは、演奏する楽曲データを特定する曲番号、楽曲データの演奏速度、演奏キーなどの情報がユーザによって入力される。操作部１４ａは、例えば、装置本体と無線通信を行うリモコンとして具現化される。

画像入力部１５には、カメラ１５ａが接続されている。カメラ１５ａは、カラオケ装置１０が設置される室内に設置され、カラオケの歌唱者や楽器の演奏者を撮影可能となっている。カメラ１５ａからの信号は、画像入力部１５にて処理され、処理された映像信号はバスライン１２を通じて出力される。インターフェース部１６は、カラオケ装置１０をＬＡＮ４０に接続するための構成である。これにより、上述したように、インターネット６０による投稿サーバ３０とのデータ通信が可能となる。なお、カメラ１５ａは、カラオケ装置１０の外部に設置されて、カラオケ装置１０と接続されてもよい。

ビデオＲＡＭ１７は、映像情報を一時的に記憶する。このビデオＲＡＭ１７は、映像再生部１８に接続されている。映像再生部１８は、ビデオＲＡＭ１７からの映像情報及びバスライン１２を介して送信されてくる映像データに基づく映像の再生を行う。映像再生部１８が再生する映像としては、カラオケ演奏と共に表示する背景及び歌詞画像や、投稿サーバ３０からダウンロードした利用者の投稿動画の映像等が含まれる。映像再生部１８には、映像制御部２４が接続されている。また、映像制御部２４には、ディスプレイ２５が接続されている。ディスプレイ２５は、モニタ装置として具現化される。このような構成により、映像制御部２４は、映像再生部１８から出力される映像をディスプレイ２５に表示可能となっている。

ＨＤＤ１９は、いわゆるハードディスクドライブ装置でありカラオケの楽曲データを多数収録したカラオケデータベースや、カラオケ装置１０の動作を制御するシステムプログラムやアプリケーションプログラム、各種の情報コンテンツの再生に用いられるデータ等の各種データを記憶する。また、ＨＤＤ１９は、投稿サーバ３０から取得した投稿データを記憶する。

次に、音声制御部１３に接続される構成について述べる。マイク２０は、利用者によるカラオケの歌唱音を入力するための入力装置である。ＭＩＤＩ音源２２は、ＭＩＤＩ（Musical Instrument Digital Interface）データに基づく楽音を発生する。上述したＨＤＤ１９に記憶される楽曲データは、楽音を発生するためのＭＩＤＩデータを含んでいる。スピーカ２３は、音声制御部１３から出力される音源信号を音に変えて出力する。

音声制御部１３は、ＨＤＤ１９に記憶されている楽曲データを、ＭＩＤＩ音源２２を介して音源信号に変換する。また、音声制御部１３は、マイク２０からの外部入力音や、制御部１１を通じて入力される楽器２６からの外部入力音及び録音データを音源信号に変換する。そして、音声制御部１３は、変換された音源信号をスピーカ２３に出力する。また、音声制御部１３は、マイク２０からの外部入力音を、単一チャンネルのモノラル音源信号としてデジタル化して録音する。

制御部１１には、楽器音入力部２１が接続されている。これにより、制御部１１は、ユーザが楽器２６を用いて演奏した楽器音を取得する。楽器音入力部２１は、マイクや楽器２６に直接接続する端子等で構成される。なお、楽器２６は、弦楽器・打楽器・管楽器・鍵盤楽器の他にも、パソコンや携帯情報処理端末、ゲーム機等によって実現される電子的な楽器も含むものとする。

次に投稿サーバ３０の構成について説明する。投稿サーバ３０は、周知のサーバ装置であり、コンピュータシステムを構成している。投稿サーバ３０は、データベース３１を有している。このデータベース３１に、通信ネットワークを通じて複数のカラオケ装置１０からアップロードされた投稿動画のデータ（投稿データ）が蓄積されている。

この投稿データは、カラオケ装置１０を利用して歌唱や楽器演奏をした投稿者の映像及び音声を記録したデータからなる。投稿データは、投稿者や楽曲の識別情報と対応付けられている。投稿者の識別情報は、ユーザＩＤである。楽曲の識別情報は、楽曲番号や曲名である。投稿者又は楽曲の識別情報を基に投稿データ検索可能となっている。このような投稿データは、カラオケ装置１０で楽曲演奏が行われる際に、カメラ１５ａから画像入力部１５を介して入力された利用者の映像、及びマイク２０や楽器音入力部２１にて入力された利用者の歌唱音や演奏音から作成される。

作成された投稿データは、ＨＤＤ１９に一時的に記憶される。そして、投稿データの作成に関わる利用者の了承を得た上で、投稿サーバ３０にアップロードされることが考えられる。このようにすれば、十分な数の投稿データを投稿サーバ３０のデータベース３１に蓄積することが可能となる。そして、カラオケ装置１０は、利用者の選択した投稿データを制御部１１及びインターフェース部１６を通じて投稿サーバ３０からダウンロードする。

そして、カラオケ装置１０は、ダウンロードした投稿データの映像・音声を再生すると共に、マイク２０や楽器音入力部２１から取得した利用者の歌唱音や演奏音と、カメラ１５ａから取得した利用者のリアルタイム映像を出力する。このようにすることで、その場にいない複数のユーザ間で非リアルタイムのコラボレーション（共同制作や共演）を楽しむことができる。

また、カラオケ装置１は、投稿サーバ３０からダウンロードした投稿データとのコラボレーションにより行われた歌唱や演奏に基づいて、新たに録音・録画データを取得する。取得された新たな録音・録画データは、投稿データとして投稿サーバ３０にアップロード可能である。そして、このようなコラボレーションにより作成された複数の関連する投稿データが、投稿サーバ３０にアップロードされる。これにより、カラオケ装置１０は、コラボレーション用の投稿データとしてまとめて投稿サーバ３０からダウンロードし、それらの投稿データに基づく映像・音声を複数同時に再生できる。さらに、このようなコラボレーションにより制作された投稿データを基に、別の利用者が更に歌唱や演奏を加えて投稿データを制作することで、コラボレーションの参加者を増やすことができる。

［コラボレーションによる投稿データの作成手順に関する説明］
コラボレーションによる投稿データを作成する手順について、図２を参照しながら説明する。図２では、コラボレーションの参加者となる３人のユーザＡ，Ｂ，Ｃが、それぞれカラオケ店Ａ，Ｂ，Ｃを利用して順次投稿データの制作及びアップロードを行う。図２は、ユーザＡ，Ｂ，Ｃがコラボレーション用の投稿データを制作する事例を想定している。

（１：投稿データＡアップロード）
初めに、カラオケ店Ａの利用客であるユーザＡが、カラオケ店Ａに設置されたカラオケ装置１０によるカラオケ楽曲の演奏に合わせて歌唱又は楽器演奏を行う。このとき、カラオケ装置１０のディスプレイ２５には、カメラ１５ａにより撮影されたユーザＡのリアルタイム映像が表示される。また、ユーザＡによる歌唱又は楽器演奏を録音した録音データ、及びカメラ１５ａにより撮像したユーザＡの映像を録画した録画データが作成される。

これに加えて、このユーザＡの録音データに関する識別情報が作成される。録音データの識別情報には、音源の種類、音量情報、テクニック情報、採点情報、ユーザコメント、エフェクト情報といった各種情報が含まれる。音源の種類は、録音データに記録された音の発生源を示す情報である。音源の種類として、例えば、マイク、ギター、パーカッション、ボイス楽器（ギターボイス等）、電子楽器等が挙げられる。音量情報は、録音データに記録された音の音量に関する情報である。テクニック情報は、録音された歌唱や楽器演奏の最中にユーザが行った特定の技巧（ビブラートやシャクリ等）を示す情報である。採点情報は、カラオケ装置１０に実装されている周知の採点機能によってユーザの歌唱の巧拙度合を採点した結果を示す情報である。ユーザコメントは、当該投稿データに関してユーザが入力したコメントの内容を示す情報である。エフェクト情報は、キーコントロールやスピードコントロール等のカラオケ楽曲の演奏状態を調節する機能の録音時における設定状況を示す情報である。

以上のとおり、ユーザＡの録音データ、録音データの識別情報、及びユーザＡの録画データを含む投稿データＡが、ユーザＡの利用したカラオケ装置１０からインターネット６０を通じて投稿サーバ３０にアップロードされる。

（２：投稿データＡダウンロード）
つぎに、カラオケ店Ｂの利用客であるユーザＢが、先にカラオケ店ＡのユーザＡから投稿された投稿データＡとのコラボレーションを行う。そのために、まず、カラオケ店Ｂに設置されたカラオケ装置１０において、インターネット６０を通じて投稿サーバ３０から投稿データＡをダウンロードする。そして、ダウンロードした投稿データＡの録音・録画データを再生して、投稿データＡとユーザＢとのコラボレーションを行う。

（３：投稿データＢアップロード）
ユーザＢは、カラオケ店Ｂに設置されたカラオケ装置１０によるカラオケ楽曲の演奏と、この演奏と同期して再生される投稿データＡの録音データに基づく再生音声に合わせて歌唱又は楽器演奏を行う。このとき、カラオケ装置１０のディスプレイ２５には、投稿データＡの録画データに基づくユーザＡの再生映像（図２、カラオケ店Ｂのディスプレイ２５の画面左側）と、カメラ１５ａにより撮影されたユーザＢのリアルタイム映像（図２、カラオケ店Ｂのディスプレイ２５の画面右側）が同時に表示される。そして、ユーザＢによる歌唱又は楽器演奏を録音した録音データ、及びカメラ１５ａにより撮像したユーザＢの映像を録画した録画データが作成される。

これに加えて、このユーザＢの録音データに関する識別情報が作成される。録音データの識別情報には、音源の種類、音量情報、テクニック情報、採点情報、ユーザコメント、エフェクト情報といった各種情報が含まれる。また、今回の録音・録画データが、投稿データＡとのコラボレーションによって作成されたものであることを示すコラボ識別情報が作成される。このコラボ識別情報には、本投稿データと関連する投稿データ（コラボレーションした投稿データ）を識別するための情報が含まれる。

以上のとおり、ユーザＢの録音データ、録音データの識別情報、ユーザＢの録画データ、及びコラボ識別情報を含む投稿データＢが、ユーザＢの利用したカラオケ装置１０からインターネット６０を通じて投稿サーバ３０にアップロードされる。

（４：投稿データＡ＋Ｂダウンロード）
つぎに、カラオケ店Ｃの利用客であるユーザＣが、先にカラオケ店ＡのユーザＡ及びカラオケ店ＢのユーザＢから投稿された投稿データＡ，Ｂの２つの投稿データとのコラボレーションを行う。そのために、まず、カラオケ店Ｃに設置されたカラオケ装置１０は、インターネット６０を通じて投稿サーバ３０から、投稿データ内のコラボ識別情報によって関連付けられる２つの投稿データＡ＋Ｂをダウンロードする。この投稿データＡ＋Ｂには、ユーザＡ及びユーザＢの録音データ並びに各録音データの識別情報と、ユーザＡ及びユーザＢの録画データが含まれる。そして、カラオケ店Ｃに設置されたカラオケ装置１０は、ダウンロードした投稿データＡ＋Ｂに含まれるそれぞれの録音・録画データを同時に再生して、投稿データＡ＋ＢとユーザＣとのコラボレーションを行う。

なお、ユーザＡ及びユーザＢの録画データについては、投稿データＡの録画データの再生映像と、投稿データＢの録画データの再生映像とが１つの画面上に分割表示される。つまり、投稿サーバ３０側で予め２つの録画データを１つに結合したコラボレーション用の録画データを作成することが考えられる。その場合、投稿サーバ３０は、投稿サーバ３０からカラオケ装置１０に配信されるコラボレーション用の投稿データに、結合された録画データを添付する。あるいは、投稿サーバ３０は、投稿データＡ，Ｂの２つの録画データを結合しないで別個にしてカラオケ装置１０に配信するような構成であってもよい。

（５：投稿データＣアップロード）
カラオケ店Ｃに設置されたカラオケ装置１０によるカラオケ楽曲の演奏と、この演奏と同期して再生される投稿データＡ＋Ｂの各録音データに基づく再生音声に合わせて、ユーザＣは歌唱又は楽器演奏を行う。このとき、カラオケ装置１０のディスプレイ２５には、投稿データＡ＋Ｂにおける録画データに基づくユーザＡの再生映像（図２、カラオケ店Ｃのディスプレイ２５の画面左下）及びユーザＢの再生映像（図２、カラオケ店Ｃのディスプレイ２５の画面右下）と、カメラ１５ａにより撮影されたユーザＣのリアルタイム映像（図２、カラオケ店Ｃのディスプレイ２５の画面左上）が同時に表示される。また、ユーザＣによる歌唱又は楽器演奏を録音した録音データ、及びカメラ１５ａにより撮像したユーザＣの映像を録画した録画データが作成される。

これに加えて、このユーザＣの録音データに関する識別情報が作成される。録音データの識別情報には、音源の種類、音量情報、テクニック情報、採点情報、ユーザコメント、エフェクト情報といった各種情報が含まれる。また、今回の録音・録画データが、投稿データＡ及び投稿データＢとのコラボレーションによって作成されたものであることを示すコラボ識別情報が作成される。

以上のとおり、ユーザＣの録音データ、録音データの識別情報、ユーザＣの録画データ、及びコラボ識別情報を含む投稿データＣが、ユーザＣの利用したカラオケ装置１０からインターネット６０を通じて投稿サーバ３０にアップロードされる。

以上のようにして、ユーザＡ，Ｂ，Ｃが参加したコラボレーションにより制作された投稿データＡ，Ｂ，Ｃが投稿サーバ３０のデータベース３１に蓄積される。投稿サーバ３０に蓄積されている投稿データＡ，Ｂ，Ｃは、コラボ識別情報に基づいて互いに関連付けされている。そのため、カラオケ装置１０が、コラボ識別情報で関連付けられた複数の投稿データをまとめてコラボレーション用の投稿データとしてダウンロードできるようになっている。

［コラボレーション用の投稿データにおける識別情報の表示制御に関する説明］
カラオケ装置１０が投稿サーバ３０からダウンロードしたコラボレーション用の投稿データに基づいて表示される再生映像に対する、識別情報の表示制御の具体例について、図３を参照しながら説明する。図３では、コラボレーションの参加者であるユーザＡ，Ｂ，Ｃ，Ｄの４人によって制作されたコラボレーション用の投稿データを再生する事例を想定している。

図３（ａ）に示すように、各ユーザＡ〜Ｄの録画データに基づく再生映像を同一画面上に分割表示しただけの場合を考える。この場合、併せて出力される４人分の再生音声を聴いても、誰が何の音をいつ出しているか、視聴者にとって判別がつきにくい。

特に、カラオケ装置１０に入力される音として、パソコンや携帯電話等で動作するアプリケーションにより実現する音や、ギターやパーカッション等の楽器音を人の声で擬似的に表現するボイス楽器といった、単純な歌唱音や楽器音以外の擬似的な音が含まれる場合がある。コラボレーションされた投稿データにそのような擬似的な音が含まれる場合、投稿データの再生映像において誰が何の音を出しているのかを判断するのが一層難いものになる可能性がある。

また、他人の歌唱や演奏による投稿データに便乗して、口パクやエア演奏をする演技者によってコラボレーションされた投稿データが制作される場合がある。そのような場合、口パクやエア演奏のコラボレーションによって制作された投稿データによる再生音が、本来の歌唱者や演奏者が出した音であるのか、それとも口パクやエア演奏の演技者が出した音であるのか、視聴者に判別がつかなくなる可能性がある。

そこで、コラボレーション用の投稿データにおける各ユーザの録音データの識別情報を用いて、音源の種類が特定される。特定された音源に基づき、そのユーザの録音データの音源の種類を示す画像情報等が、各ユーザの再生映像の表示領域に対応付けて表示される。その一例を図３（ｂ），図３（ｃ）に示す。

図３（ｂ）に示すように、ディスプレイ２５の画面右下の表示領域に表示されているユーザＢの再生映像には、ユーザＢがマイク２０により歌唱音声を入力したことを示す歌唱情報（マイクを模した画像情報）が音源の識別情報として表示されている。また、ユーザＢの再生映像の表示領域の外縁部分には、強調表示（音声出力情報）が施されており、ユーザＢが音声出力中であることを示している。

ディスプレイ２５の画面左上の表示領域に表示されているユーザＣの再生映像には、ユーザＣがギターの演奏音を入力したことを示す楽器情報（ギターを模した画像情報）が音源の識別情報として表示されている。また、ユーザＣの再生映像の表示領域の外縁部分には、強調表示（音声出力情報）が施されており、ユーザＣが音声出力中であることを示している。

ディスプレイ２５の画面右上の表示領域に表示されているユーザＤの再生映像には、ユーザＤがマイク２０によりボイスギターを演じた音声を入力したことを示すボイスギター情報（マイクとギターとを模した画像情報）が音源の識別情報として表示されている。また、ユーザＤの再生映像の表示領域の外縁部分には、強調表示（音声出力情報）が施されており、ユーザＤが音声出力中であることを示している。

一方、ディスプレイ２５の画面左下の表示領域に表示されユーザＡの再生映像には、現時点においてユーザＡの録音データから何も音が出力されていない状態であることを示す音声なし情報（スピーカに×印を付した画像情報）が表示されている。これは、ユーザＡの録音データに現時点で音声が記録されていない（歌唱や演奏をしていない）ことを示すものである。

さらに、本実施形態のカラオケ装置１０は、コラボレーション用の投稿データを再生する際、複数分の録音データの中から、視聴者が指定した任意の録音データのみ個別に再生音声をミュート（消音）したり音量を下げる機能を有する。その際、視聴者からの指示によりミュートや音量を下げた録音データに対応する再生映像に、音量を変更中であることを示す画像情報を表示する。図３（ｃ）に示す事例では、画面左上に表示されているユーザＣの再生映像の外縁部分に、このユーザの録音データの再生音がミュート中であることを示す音量変更情報が表示されている。

ところで、本実施形態では、コラボレーション用の投稿データの録画データに基づいて複数人分の再生映像が同時に表示される場合、各録画データの画面上の表示領域の割当てが、コラボレーションの参加人数に応じて次のように決定される。参加者２人分のコラボレーション用の投稿データの場合、個人の投稿データのアップロードが早い順に各再生映像をディスプレイ２５の画面左側、右側の順に配置する。参加者が３人の場合、アップロードが早い順に各再生映像をディスプレイ２５の画面左下、右下、左上の順に配置する。参加者が４人の場合、アップロードが早い順に各再生映像をディスプレイ２５の画面左下、右下、左上、右上の順に配置する。以降、更に参加人数が多い場合も同様にする。このような表示領域の割当ては、コラボレーションにより制作された各個人の録画データを、投稿サーバ３０において１つのコラボレーション用の録画データに結合するときの画面のレイアウトに適用される。あるいは、投稿サーバ３０側において録画データの結合を行わない構成の場合は、カラオケ装置１０側において各個人の録画データに基づく再生映像を画面上に分割してレイアウトするときに適用される。

コラボレーション用の投稿データにおける各ユーザの再生映像の表示領域を上記のように規定することで、各ユーザの再生映像の表示領域をコラボレーションの参加人数とアップロード順によって容易に特定できる。これより、各ユーザの再生映像の表示領域と、各ユーザの録音データの識別情報を表示すべき表示領域との対応が容易に特定できる。

［投稿データアップロード処理の手順の説明］
カラオケ装置１０の制御部１１が実行する投稿データアップロード処理の手順について、図４のフローチャートを参照しながら説明する。この処理は、カラオケ楽曲の演奏と共に投稿データの作成を行う旨の操作指示がユーザによって入力されたときに実行される処理である。

制御部１１は、Ｓ１００において、カラオケ楽曲の演奏時にマイク２０又は楽器音入力部２１を通じて入力された入力音を録音した録音データと、カメラ１５ａによって撮影された映像を録画した録画データとを生成する。

Ｓ１０２では、制御部１１は、録音データに記録された音の発生源である音源の種類を特定する。ここでは、制御部１１が、録音データの生成時における音源の入力先（マイク２０か楽器音入力部２１か）や、楽器音入力部２１に接続されている楽器の種類等を判定することで、音源の種類を特定することが考えられる。その他にも、ギター演奏を支援する機能を提供するギター練習モードや、ボイス楽器の演技を支援する機能を提供するボイス楽器モードといった、カラオケ装置１０に実装されている特定のアプリケーションの利用の有無に基づいて、制御部１１が、そのアプリケーションに該当する音源の種類（ギターや、ボイス楽器）を特定することもできる。

次のＳ１０４では、制御部１１は、今回作成した録音データに関する識別情報を作成する。録音データの識別情報には、Ｓ１０２で特定した音源の種類を示す情報の他に、音量情報、テクニック情報、採点情報、ユーザコメント、エフェクト情報等が含まれる。音量情報やエフェクト情報は、録音時にカラオケ装置１０において設定されていた演奏状態が反映される。テクニック情報は、録音時に入力された歌唱音や楽器音の分析により検出された技巧等が反映される。採点情報は、カラオケ装置１０の採点機能によるユーザの歌唱の採点結果が反映される。ユーザコメントは、投稿データの作成前や作成後にユーザからの指示により入力されたコメントが反映される。なお、音量情報は、カラオケ楽曲の演奏に沿って時系列で取得されてもよい。また、カラオケ楽曲の演奏に沿って、時系列で歌唱の採点が行われる場合、採点情報が、カラオケ楽曲の演奏に沿って時系列で取得されてもよい。

そして、Ｓ１０６では、制御部１１は、Ｓ１００で生成した録音データ及び録画データ、Ｓ１０４で作成した識別情報等を含む投稿データを、投稿者及び楽曲の識別情報と対応付けて、インターネット６０経由で投稿サーバ３０にアップロードする。なお、今回の投稿データの作成が、他の投稿データとのコラボレーションによって行われていた場合、Ｓ１０６でアップロードされる投稿データには、他の投稿データとのコラボレーションであることを示すコラボ識別情報が更に含まれる。投稿データのアップロード後、本処理を終了する。

［投稿データ表示制御処理の手順の説明］
カラオケ装置１０の制御部１１が実行する投稿データアップロード処理の手順について、図５のフローチャートを参照しながら説明する。この処理は、視聴者となるユーザが選択指示したコラボレーション用の投稿データを再生する際に実行される処理である。

制御部１１は、Ｓ２００において、ユーザにより選択指示されたコラボレーション用の投稿データを、インターネット経由で投稿サーバ３０からダウンロードする。次のＳ２０２では、Ｓ２００でダウンロードしたコラボレーション用の投稿データにおける各ユーザの録音データ及び録画データの再生を開始する。

次のＳ２０４〜Ｓ２１０の処理については、コラボレーション用の投稿データに含まれる各ユーザの録音データごとに個別に処理を並行して行うものとして説明をする。Ｓ２０４では、制御部１１は、処理対象の録音データの識別情報で示される音源の種類に基づき、音源の種類を示す画像情報を決定する。そして、制御部１１は、録音データに対応するユーザの再生映像が表示されている画面上の表示領域に、決定された画像情報を重ねて表示する。つづいてＳ２０６では、制御部１１は、処理対象の録音データに基づいて出力されている現時点の再生音の強さ（例えば、録音データのベロシティ）が規定以上であるか否かを判定する。この規定値は、録音データにおいて、ユーザの歌唱音や楽器音が入力されている状態と、そうでない状態（無音、口パク、エア演奏等）とを区別可能にする値である。

処理対象の録音データによる再生音の強さが規定値以上である場合（Ｓ２０６：ＹＥＳ）、制御部１１はＳ２０８に進む。Ｓ２０８では、制御部１１は、当該録音データに対応するユーザの再生映像が表示されている画面上の表示領域に、音声出力中であることを示す強調表示（音声出力情報）を重ねて表示する。一方、処理対象の録音データによる再生音の強さが規定値未満である場合（Ｓ２０６：ＮＯ）、制御部１１はＳ２１０に進む。Ｓ２１０では、制御部１１は、当該録音データに対応するユーザの再生映像が表示されている画面上の表示領域に、この録音データから何も音が出力されていない状態であることを示す音声なし情報を重ねて表示する。

次のＳ２１２では、制御部１１は、コラボレーション用の投稿データの再生が終了したか否かを判定する。再生が継続している場合（Ｓ２１２：ＮＯ）、制御部１１はＳ２０６に戻る。以降、コラボレーション用の投稿データの再生が継続している間、制御部１１はＳ２０６〜Ｓ２１２の処理を繰返す。そして、コラボレーション用の投稿データの再生が終了した場合（Ｓ２１２：ＹＥＳ）、制御部１１は本処理を終了する。

［投稿データミュート処理の手順の説明］
カラオケ装置１０の制御部１１が実行する投稿データミュート処理の手順について、図６のフローチャートを参照しながら説明する。この処理は、視聴者であるユーザが選択指示したコラボレーション用の投稿データが再生されているときに実行される処理である。

制御部１１は、Ｓ３００において、再生中の複数の録音データの中から何れかの録音データをミュートする指示操作を受付けたか否かを判定する。ミュート指示を受付けた場合（Ｓ３００：ＹＥＳ）、Ｓ３０２に進む。一方、ミュート指示を受付けていない場合（Ｓ３００：ＮＯ）、本処理を終了する。

ミュート指示を受付けた場合に進むＳ３０２では、制御部１１は、指定された録音データによる再生音をミュートする。そして、制御部１１は、ミュートを指定された録音データに対応するユーザの再生映像が表示されている画面上の表示領域に、この録音データからの再生音がミュート中であることを示す音量変更情報を重ねて表示する。表示後、制御部１１は本処理を終了する。

［効果］
上記実施形態のカラオケシステム１によれば、以下の効果を奏する。
カラオケ装置１０が投稿データを投稿サーバ３０に投稿する際に、その投稿データに含まれる録音データの音源の種類を示す識別情報を付与できる。これにより、カラオケ装置１０がコラボレーション用の投稿データをダウンロードして再生する際、各録音データの識別情報に基づいて、各録音データに対応する参加者の再生映像が表示されている画面上の表示領域に、当該録音データの音源の種類を示す画像情報を重ねて表示できる。コラボレーション用の投稿データの視聴者が、コラボレーションの参加者の再生映像と併せて表示される音源の種類を見れば、誰が何の音をどうやって出しているのか一目瞭然となる。

コラボレーション用の投稿データの再生中において、今実際に歌唱音や演奏音を出力している投稿データに、音声出力中である旨を示す画像情報を当該投稿データの画像に対応付けて表示できる。これにより、視聴者が今聞こえている音が誰の声や楽器音であるかを容易に把握できる。また、実際に歌唱や演奏をしているコラボレーションの参加者と、口パクやエア演奏等の演技をしているコラボレーションの参加者とを、視聴者が容易に区別できる。

録音データの音源の種類としてボイス楽器を示す識別情報を採用したことで、ボイス楽器を演じている参加者の再生映像に対応付けて、音源がボイス楽器であることを示す画像情報を表示することができる。これにより、コラボレーション用の投稿データにおいて、ボイス楽器を演じている参加者を視聴者が容易に判別することができるので、ボイス楽器を演じている参加者と、歌唱をしている他の参加者とを視聴者が混同することがない。

コラボレーション用の投稿データに含まれる複数分の録音データのうち、指定された録音データのみをミュート（消音）したり音量を下げることで、それ以外の音源を聴き取りやすくすることができる。また、ミュートや音量を下げた録音データに対応する参加者の再生映像が表示されている画面上の表示領域に、この録音データからの再生音がミュート又は音量を下げている最中であることを示す音量変更情報を表示することができる。これにより、どの参加者の歌唱音や楽器音の音量が変更されているのか、視聴者が容易に判別できる。

なお、上記実施形態では、本発明をカラオケ店舗等に設置されるカラオケ装置に適用した事例について説明した。これに限らず、本発明は、カラオケ楽曲の再生機能や画像表示機能、録音・録画機能等を有する情報処理端末（例えば、高機能携帯電話端末、スマートフォン等）においても適用可能である。また、本発明は、パソコンや高機能携帯電話端末、スマートフォン等の情報処理装置にインストールされるプログラムの形態でも実施可能である。このようなプログラムは、情報処理装置によってネットワーク経由でダウンロードされるようにしてもよい。また、プログラムを記憶したＣＤ−ＲＯＭ等の可搬型記憶媒体から読取られて、情報処理装置にインストールされるようにしてもよい。

［特許請求の範囲に記載の構成との対応］
実施形態のカラオケ装置１０の構成と、特許請求の範囲に記載の構成との対応は次のとおりである。制御部１１が、投稿データ作成手段、決定手段、表示制御手段、音源識別手段、音声出力識別手段、及び、音声出力制御手段に相当する。制御部１１及びインターフェース部１６が、アップロード手段及び投稿データ取得手段に相当する。制御部１１、音声制御部１３、及び、映像再生部１８が、再生手段に相当する。

１…カラオケシステム、１０…カラオケ装置、１１…制御部、１２…バスライン、１３…音声制御部、１４…操作処理部、１４ａ…操作部、１５…画像入力部、１５ａ…カメラ、１６…インターフェース部、１７…ビデオＲＡＭ、１８…映像再生部、１９…ハードディスクドライブ（ＨＤＤ）、２０…マイク、２１…楽器音入力部、２２…ＭＩＤＩ音源、２３…スピーカ、２４…映像制御部、２５…ディスプレイ、２６…楽器、３０…投稿サーバ、３１…データベース、４０…カラオケボックス内ＬＡＮ、５０…ルータ、６０…インターネット。

Claims (5)

1. 利用者の歌唱音又は楽器演奏による楽器音を録音した録音データと、その歌唱又は演奏時において備え付けのカメラによって撮影した録画データとを含む投稿データを作成する投稿データ作成手段と、
   前記録音データに記録された音を発生した音源の種類を特定し、その特定した音源の種類を示す識別情報を決定する決定手段と、
   前記投稿データ作成手段によって作成された投稿データと、前記決定手段により決定された識別情報とを対応付けて、通信ネットワークを通じて所定の投稿サーバにアップロードするアップロード手段と、
   前記投稿サーバから、互いに関連する複数の投稿データを含んで構成されるコラボレーション用の投稿データと、そのコラボレーション用の投稿データに含まれる複数分の投稿データに対応する識別情報とを、前記通信ネットワークを通じて取得する投稿データ取得手段と、
   前記投稿データ取得手段により取得されたコラボレーション用の投稿データに含まれる複数分の録音データ及び録画データを再生する再生手段と、
   前記再生手段により前記コラボレーション用の投稿データを再生するときに、その投稿データに含まれる複数分の録画データに基づく再生映像をそれぞれディスプレイ上の所定領域に表示させる表示制御手段と、
   前記投稿データ取得手段により取得された識別情報に基づき、前記表示制御手段により前記ディスプレイ上に表示されている各録画データの再生映像に対応する各表示領域に、それぞれの録画データに対応する識別情報で示される音源の種類を示す画像情報を併せて表示させる音源識別手段と
   を備えることを特徴とする投稿再生装置。
2. 請求項１に記載の投稿再生装置において、
   再生中のコラボレーション用の投稿データに含まれる複数分の録音データのうち、それぞれの録音データに基づいて出力中の各再生音の強さが規定以上であるものを対象に、その再生音の強さが規定以上である期間中において、前記対象の録音データに対応する録画データの再生映像が表示されている表示領域に対して、音声出力中である旨を示す画像情報を併せて表示させる音声出力識別手段を更に備えること
   を特徴とする投稿再生装置。
3. 請求項１又は請求項２に記載の投稿再生装置において、
   前記決定手段は、録音データの音源の種類の一つとして、人の声によって楽器音を表現するボイス楽器を特定可能であり、録音データの音源の種類としてボイス楽器を特定した場合には、ボイス楽器を示す識別情報を決定し、
   前記音源識別手段は、前記投稿データ取得手段により取得された識別情報がボイス楽器を示す場合、当該識別情報に対応する録画データの再生映像が表示されている表示領域に対して、ボイス楽器を示す画像情報を併せて表示させること
   を特徴とする投稿再生装置。
4. 請求項１ないし請求項３の何れか１項に記載の投稿再生装置において、
   前記再生手段により再生されるコラボレーション用の投稿データに含まれる複数分の録音データのうち、指定された音源データに基づく再生音をミュートする又は当該再生音の音量を下げる音声出力制御手段を更に備えること
   を特徴とする投稿再生装置。
5. カラオケシステムの利用者による投稿データを所定の投稿サーバにアップロードし、また、前記投稿サーバからダウンロードした投稿データを再生する投稿再生装置において実行されるプログラムであって、
   利用者の歌唱音又は楽器演奏による楽器音を録音した録音データと、その歌唱又は演奏時において備付けのカメラによって撮影した録画データとを含む投稿データを作成する投稿データ作成ステップと、
   前記録音データに記録された音を発生した音源の種類を特定し、その特定した音源の種類を示す識別情報を決定する決定ステップと、
   前記投稿データ作成ステップにおいて作成された投稿データと、前記決定ステップにおいて決定された識別情報とを対応付けて、通信ネットワークを通じて前記投稿サーバにアップロードするアップロードステップと、
   前記投稿サーバから、互いに関連する複数の投稿データを含んで構成されるコラボレーション用の投稿データと、そのコラボレーション用の投稿データに含まれる複数分の投稿データに対応する識別情報とを、前記通信ネットワークを通じて取得する投稿データ取得ステップと、
   前記投稿データ取得ステップにおいて取得されたコラボレーション用の投稿データに含まれる複数分の録音データ及び録画データを再生する再生ステップと、
   前記再生ステップにおいて前記コラボレーション用の投稿データを再生するときに、その投稿データに含まれる複数分の録画データの再生映像をそれぞれディスプレイ上の所定領域に表示させる表示制御ステップと、
   前記投稿データ取得ステップにおいて取得された識別情報に基づき、前記表示制御ステップにおいて前記ディスプレイ上に表示されている各録画データの再生映像に対応する各表示領域に、それぞれの録画データに対応する識別情報で示される音源の種類を示す画像情報を併せて表示させる音源識別ステップと
   を有することを特徴とするプログラム。

Images