JP2014186177A - 再生装置 - Google Patents

Abstract

【課題】ユーザの好む単位録画情報を使用した複合録画情報を作成可能とする
【解決手段】本発明に係る再生装置は、複合投稿情報に含まれる複合録画情報を映像再生手段に再生させる映像再生処理と、複合録画情報中、入力手段から指定された単位録画情報を指定する設定情報に基づいて形成された新たな複合録画情報を映像再生手段に再生させる編集映像再生処理と、複合投稿情報に含まれる単位録音情報が組み合わされた複合録音情報を音声再生手段に再生させる音声再生処理と、を実行することを特徴とする。
【選択図】図１４

Description

本発明は、通信回線を介して接続される再生装置に関するものである。特に、カラオケ装置にて録画された歌唱者の録画情報を再生可能な再生装置、並びに、再生装置で実行可な再生プログラムに関する。

従来、楽曲の演奏に合わせて歌唱を楽しむカラオケ装置が知られている。従来のカラオケ装置は、同じ場所に居合わせた人と一緒に歌唱を楽しむものであったが、通信インフラなどの周辺技術が整った現在、通信回線を介してその場にいない相手とも一緒に歌唱を楽しむサービスが提供されている。

特許文献１にはこのような投稿サービスを利用したカラオケシステムが開示されている。カラオケ装置で録音、録画した投稿情報は、ホスト装置に送信され、再度カラオケ装置に送信されることで、以前に録音、録画された歌唱者の音声、映像とともに歌唱を楽しむことが可能である。

特開２０１２−２７４１７号公報

特許文献１に記載される投稿サービスは、デュエット歌唱をメインとしたものであるが、この投稿サービスを順次行うことで多人数による投稿情報を作成することが可能である。現在、このような投稿サービスは各社にて行われており、１つの画面内に複数人の歌唱者を表示させて歌唱、視聴を楽しむことが可能である。

ところで、この投稿サービスは、順次投稿された歌唱映像を組み合わせていくことを特徴としており、複数人の歌唱映像が組み合わされた映像を使用するものであった。したがって、既に組み合わされた歌唱映像の中から、使用者が好む歌唱映像だけを使用する、あるいは、使用者が好まない歌唱映像を使用しないといった選択を行うことができない。特に、サーバ装置側で複数の歌唱映像を１つの歌唱映像にエンコードし、カラオケ装置やパソコンなどの再生装置側でそれを再生する仕様においては、このような選択を行うことはできなかった。

上述する課題を解決するため、本発明に係る再生装置は以下の構成を採用するものである。
同一の楽曲に関してアップロードされた単位投稿情報に基づいて、複合投稿情報を作成るサーバ装置に通信接続可能な再生装置であって、
単位投稿情報は、歌唱の様子を撮像した単位録画情報と、歌唱音声を録音した単位録音情報を含み、
複合投稿情報は、単位録画情報の組み合わせによる複合録画情報と、単位録音情報の組み合わせによる複合録音情報と、を含み、
再生装置は、映像再生手段と、音声再生手段と、入力手段と、制御手段と、を備え、
制御手段は、
複合投稿情報に含まれる複合録画情報を映像再生手段に再生させる映像再生処理と、
複合録画情報中、入力手段から指定された単位録画情報を指定する設定情報に基づいて形成された新たな複合録画情報を映像再生手段に再生させる編集映像再生処理と、
複合投稿情報に含まれる単位録音情報が組み合わされた複合録音情報を音声再生手段に再生させる音声再生処理と、を実行することを特徴とする。

さらに本発明に係る再生装置において、
単位録画情報は、単位投稿情報を投稿したユーザのユーザ識別情報を含み、
入力手段は、ユーザ識別情報の指定に基づいて単位録画情報を指定することを特徴とする。

さらに本発明に係る再生装置において、
設定情報は、楽曲の進行に同期して経時的に単位録画情報を指定することを特徴とする。

さらに本発明に係る再生装置において、
編集映像再生処理で再生される新たな複合録画情報は、サーバ装置にて設定情報と単位録画情報に基づきエンコードされたものであることを特徴とする。

さらに本発明に係る再生装置において、
設定情報は、当該設定情報を入力したユーザのユーザ識別情報を含み、
編集映像再生処理は、再生装置にログインしているユーザのユーザ識別情報に対応する設定情報にて形成された新たな複合録画情報を再生させることを特徴とする。

さらに本発明に係る再生装置において、
編集映像再生処理は、表示しない単位録画情報に対応する単位録音情報を消音、もしくは、音量を抑えて再生させることを特徴とする。

さらに本発明に係る再生装置において、
制御手段は、
映像再生処理と音声再生処理とに同期して、撮像装置から入力される映像情報を録画して単位録画情報を形成し、マイクロホンから入力される音声情報を録音して単位録音情報を形成し、単位録画情報と単位録音情報を含んだ単位投稿情報をサーバ装置に送信する投稿処理を実行可能としたことを特徴とする。

また本発明に係る再生プログラムは、
同一の楽曲に関してアップロードされた単位投稿情報に基づいて、複合投稿情報を作成るサーバ装置に通信接続可能な再生装置で実行される再生プログラムであって、
単位投稿情報は、歌唱の様子を撮像した単位録画情報と、歌唱音声を録音した単位録音情報を含み、
複合投稿情報は、単位録画情報の組み合わせによる複合録画情報と、単位録音情報の組み合わせによる複合録音情報と、を含み、
複合投稿情報に含まれる複合録画情報を映像再生手段に再生させる映像再生処理と、
複合録画情報中、入力手段から指定された単位録画情報を指定する設定情報に基づいて形成された新たな複合録画情報を映像再生手段に再生させる編集映像再生処理と、
複合投稿情報に含まれる単位録音情報が組み合わされた複合録音情報を音声再生手段に再生させる音声再生処理と、を実行可能としたことを特徴とする。

本発明に係る再生装置、再生プログラムでは、歌唱の様子を録画した単位録画情報を組み合わせた複合録画情報中、ユーザにより指定された設定情報に基づき、使用する単位録
画情報を選択可能としたことで、ユーザの好む単位録画情報を使用した複合録画情報を視聴することが可能となる。

本発明の実施形態に係るカラオケ投稿の概要を説明する図 本発明の実施形態に係るカラオケシステムの構成を示す図 本発明の実施形態に係る楽曲の予約確認画面を示す図 本発明の実施形態に係るカラオケ装置のメイン処理を示すフロー図 本発明の実施形態に係る投稿情報（ダウンロード時）の情報構成を示す図 本発明の実施形態に係る歌唱者撮像時のモニタの様子を示す図 本発明の実施形態に係る投稿情報（アップロード時）の情報構成を示す図 本発明の実施形態に係る歌唱者撮像時のモニタの様子を示す図 本発明の実施形態に係るプレビュー時のモニタの様子を示す図 本発明の実施形態に係るコラボ時におけるモニタの表示領域を説明する図 本発明の実施形態に係る再生時（５コラボ時）のモニタの様子を示す図 本発明の実施形態に係る投稿情報（ダウンロード時）の情報構成を示す図 本発明の実施形態に係る編集処理を示すフロー図 本発明の実施形態に係る設定情報作成時のユーザインターフェイスを示す図 本発明の実施形態に係る設定情報のデータ構成を示す図 本発明の実施形態に係る再生時のモニタの様子を示す図 本発明の実施形態に係る選択処理を示すフロー図 本発明の他の実施形態に係る設定情報のデータ構成を示す図 本発明の他の実施形態に係る設定情報を使用した再生処理におけるモニタの経時変化を示す図 本発明の他の実施形態に係る設定情報作成時のユーザインターフェイスを示す図 本発明の他の実施形態に係る設定情報作成時のユーザインターフェイスを示す図

本実施形態のカラオケ装置は、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されることとしている。図１は、このカラオケ投稿システムの概要を説明するための図である。この図を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、実際には、カメラにて記録された映像が伴うこととなる。

まず、歌唱者は、カラオケボックスなど、カラオケシステムが設置される場所で演奏にあわせた歌唱が行われ歌唱音声が記録される（ａ）。カラオケシステムは、カラオケ装置（別称「コマンダ」）、カラオケ装置から出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をカラオケ装置に伝えるリモコン装置にて構成されている。歌唱音声は、カラオケ装置に内蔵されたハードディスクなどの記録手段に第１投稿情報として記録される。

歌唱者は、記録された歌唱音声を確認するため、第１投稿情報の再生を行うこともできる（ｂ）。歌唱者が希望する場合には、第１投稿情報は、サーバ装置上にアップロードされ、インターネットを介して公開することが可能となる（ｃ）。公開された第１投稿情報は、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる（ｄ）。

ダウンロードされた第１投稿情報は、楽曲にあわせて再生することで内容を確認することもできる（ｅ）。ダウンロードされた第１歌唱情報は、楽曲と共にカラオケ装置にて再生され、歌唱者は予め記録された第１歌唱情報とのデュエットを楽しむことができる。さらに、第１歌唱情報と一緒に歌唱を行った歌唱者の歌唱音声は、第２投稿情報としてカラオケ装置に記録される（ｆ）。記録された第２投稿情報は、第１投稿情報、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる（ｇ）。

歌唱者は、新たな投稿として第２投稿情報をサーバ装置にアップロードすることができる。第２投稿情報は、第１投稿情報と併せて再生することができるものであるが、サーバ装置には第１投稿情報が保存されているため、第２投稿情報のみが送信される。第２投稿情報には、第１投稿情報と対応付けるため、第２投稿情報の識別情報が付与される（ｈ）。

サーバ装置に保存された第１投稿情報、第２投稿情報は、ユーザからの要請により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿情報、第２投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）。以上、第１投稿情報と第２投稿情報に基づくコラボレーションについて説明したが、（ｄ）、（ｆ）〜（ｈ）を繰り返し行うことで、複数人（２名以上）のコラボレーションが可能となる。

このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ここでは、歌唱音声についてのみ説明したが、本発明に適用する場合には、歌唱音声と一緒にカメラによる撮影、並びに、映像情報の記録がカラオケ装置にて実行されることとなる。本発明でいう再生装置は、このカラオケ投稿システム中のカラオケ装置、あるいは、ＰＣ（パーソナルコンピュータ）などの情報処理装置であり、また、再生プログラムは、カラオケ装置や情報処理装置で実行可能なプログラムのことをいう。

では、歌唱の記録とあわせて、カメラによる撮影を可能とするカラオケシステムの一実施形態について図２を用いて説明する。本実施形態におけるカラオケシステムは、カラオケ装置２（別称「コマンダ」）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。

カラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、選曲処理などを実行可能としている。演奏処理は、操作部２１やリモコン装置１にてユーザーにより、指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカ４２から放音させる処理である。このとき、スピーカ４２からはマイクロホン４３から入力される音声も合わせて放音される。また、コラボレーション時には、録音された録音情報が合わせて再生する音声再生処理が同時に実行される。映像再生処理は、映像再生部２９にて背景映像、歌詞情報などを再生させ、モニタ４１を介して視覚情報をユーザーに提供する処理である。コラボレーション時には、録画された録画情報が再生される。

選曲処理は、ユーザーからの指定に基づいて楽曲を選択するための処理である。本実施形態では、リモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してカラオケ装置２に伝達される。カラオケ装置２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。

カラオケ装置２には、撮影を行うための外部機器としてカメラ４４が接続されている。カメラ４４からのカメラ映像は、映像入出力を担う映像制御部３１を介して、記録手段としてのハードディスク３２に記録、そして、モニタ４１にリアルタイム表示することが可能である。さらに、カメラ４４からの映像情報と一緒に、予め記録している歌唱相手の録画情報をモニタ４１に表示させることができる。図７には、コラボレーションする相手が１人の場合のモニタ４１の表示例が示されている。図７に示されているように、画面左に位置する撮像表示領域Ｂ２には、カメラ４４から入力される映像信号がリアルタイムで表示され、画面右に位置する第１投稿表示領域Ｃ１には、以前に撮像記録された録画情報が表示される。複数回のコラボレーションを繰り返し行うことで、図１１のモニタ４１の表示例（この場合、５人によるコラボレーション）に示されるような複数の投稿表示領域Ｃ１〜Ｃ５を有する画面が形成される。

図３は、本発明の実施形態に係る楽曲の予約確認画面を示す図である。事前に作成された投稿情報とコラボレーションを行う場合には、投稿情報の選択画面（図示せず）で、希望する投稿情報を選択した後、この予約確認画面に移行する。カラオケ装置２を利用した動画撮影を行う場合、この予約確認画面中、画面左下に表示される「撮影する」、「撮影しない」を選択することで、ユーザは動画撮影の可否を指定することが可能である。

図４は、本発明の実施形態に係るカラオケ装置２におけるメイン処理を示すフロー図である。カラオケシステムの利用者は、リモコン装置１を利用して希望する楽曲を指定すること（通常予約）ができる。また、本実施形態では、歌唱者の歌唱姿を撮像するとともに、歌唱音声を録音して投稿情報を作成する予約（コラボ予約）を指定することができる（図３で説明した予約確認画面で予約を行う）。このコラボ予約では、デュエット、合唱を希望する相手が事前に投稿した投稿情報を指定することも可能である。

カラオケ装置２では、予約リストを随時確認し、次に実行される予約の種類が判別される（Ｓ１０１）。予約リスト上、次の予約種別が通常予約である場合は、指定された楽曲識別子に対応する楽曲情報をＭＩＤＩ音源２６に再生させる通常楽曲再生（Ｓ１０２）を実行する。再生された楽音は、マイクロホン４３から入力される歌唱音声と一緒にスピーカ４２から放音される。

一方、予約リスト上、次の予約種別がコラボ予約である場合、Ｓ１０３にて初回投稿か否かが判定される。初回投稿である場合には、同時に再生する投稿情報が存在しないため楽曲再生（Ｓ１０５）、録画（Ｓ１０６）を開始する。一方、事前に投稿された投稿情報が指定されている場合、すなわち、２回目以降の投稿である場合、当該コラボ予約で指定されている投稿情報がカラオケ装置２にダウンロードされているか否か判断し、ダウンロードされていない場合は、サーバ装置から対象となる投稿情報のダウンロードを実行する（Ｓ１０４）。

図５には、ダウンロード時の投稿情報（１コラボ時）のデータ構成が示されている。本実施形態の投稿情報は、投稿情報を識別するための投稿識別情報（投稿ＩＤ）、録画時に使用した楽曲の楽曲識別情報（楽曲ＩＤ）、複合録画情報、複合録音情報、コラボ数、コラボユーザ情報が含まれている。複合録画情報は、複数回行われた投稿情報中、各回の投稿情報に含まれる録画情報（単位録画情報）を組み合わせて形成された映像情報である。本実施形態では、サーバ装置にて、複数の単位録画情報をエンコードすることで１つのファイルの複合録画情報を生成している。このような形態以外に、複合録画情報を複数ファイルによる単位録画情報の集合として形成し、カラオケ装置２にて、複数の単位録画情報を組み合わせて１画面中に表示する形態としてもよい。

複合録音情報は、複数回行われた投稿情報中、各回の複数回行われた投稿情報中、各回の投稿情報に含まれる録音情報（単位録音情報）を組み合わせて形成された音声情報である。本実施形態では、歌唱者の音声を録音した単位録音情報と前回までの録音情報をミキシングすることで複合録音情報を生成している。このような形態以外に、複合録音情報を複数ファイルによる単位録音情報の集合として形成し、カラオケ装置２にて、複数の単位録音情報を組み合わせて再生出力する形態としてもよい。

コラボユーザ情報は、投稿、並びに、投稿したユーザに関する情報であり、本実施形態では、コラボＮｏ．、ユーザ識別情報（ユーザＩＤ）を含んで構成されている。コラボＮｏ．は、コラボの順番を示す情報である。図５に示す投稿情報は、２回目のコラボに使用するためダウンロードされる投稿情報であって、この投稿情報には前回（１回目の）コラボユーザ情報のみが登録された状態となっている。このコラボＮｏ．１に対応して、１回目の投稿を行ったユーザのユーザＩＤが対応付けられている。

図６には、１回目の投稿時におけるのモニタ４１の表示画面が示されている。初回投稿時は、コラボする相手がいないため、モニタ４１中の撮像表示領域Ｂ１にカメラ４４で撮像された映像がリアルタイム表示される。その際、撮像表示領域Ｂ１には撮像された映像を左右判定させた状態で表示させることが好ましい。歌唱するユーザは鏡に映っているのと同じ状態で自己の姿を視認することで違和感のない映像を確認することが可能となる。またモニタ４１中には楽曲の歌詞（図中「Ｉ ＬＯＶＥ ＹＯＵ Ｉ ＬＯＶＥ ＹＯＵ」が
撮像表示領域Ｂ１上に重畳した状態で表示される。

このような１回目の投稿時、楽曲再生処理は、予約リストに指定された楽曲識別情報に対応する楽曲情報をハードディスク２２から読み出し、ＭＩＤＩ音源２６に再生させる演奏処理のみを実行する（Ｓ１０５）。そして、録画、録音を行うことで、アップロードする投稿情報に必要な録画情報、録音情報を生成する（Ｓ１０６）。１回目の投稿時の楽曲再生と同期して開始される映像再生処理Ｓ１０７は、図６で説明したようにカメラ４４からの映像信号をリアルタイム表示するのみである。

以上説明した、歌唱者の録画、録音は、楽曲の再生が終了する（Ｓ１０８：Ｙｅｓ）まで継続され、楽曲の再生終了後、録画情報、録音情報が生成される。ユーザは、これら録画情報、録音情報を確認するためプレビュー処理を選択することが可能である（Ｓ１１０）。プレビュー処理（Ｓ１１１）は、楽曲情報の再生に同期して、録音情報、録画情報を再生させる処理である。１回目の投稿時の録画情報のプレビュー処理は、ちょうど、図６で説明した撮像表示領域Ｂ１を左右反転し正像として表示させた形態となる。

ユーザは、生成した録画情報、録音情報を投稿情報としてサーバ装置にアップロードすることが可能である。投稿情報をアップロードすることが選択された場合（Ｓ１１２：Ｙｅｓ）、カラオケ装置２は、生成された録画情報と録音情報を含めて投稿情報を形成し、通信手段としてのインターフェイス部２４を介し、投稿情報をサーバ装置にアップロードするアップロード処理（Ｓ１１３）を実行する。

図７には１回目の投稿においてアップロードされる投稿情報のデータ構成が示されている。この１回目の投稿時における投稿情報は、図５で説明した２回目の投稿の際、ダウンロードする投稿情報とデータ構成、内容において略同一となっている。

以上、１回目の投稿時について、撮像時の様子並びに投稿情報のデータ構成を説明したが、次に２回目の投稿時におけるこれらの内容を説明する。２回目の投稿時におけるメイン処理では、予約リストで指定された投稿情報が楽曲の再生に先駆けてダウンロードされる（Ｓ１０４）。ここでは、図６で説明した投稿情報を使用した場合を例にとって説明す
る。Ｓ１０５にて開始される楽曲再生処理は、予約リストで指定された投稿情報中に含まれる楽曲識別情報に対応する楽曲情報をＭＩＤＩ音源２６に再生させる演奏処理と、指定された投稿情報に含まれる録音情報を再生させる音声再生処理と、を同期して行う。また、１回目の投稿時と同様、カメラ４４による撮像、並びに、マイクロホン４３に入力される歌唱音声が録音されることとなるが、１回目の投稿時とはモニタ４１への表示形態において異なっている。

Ｓ１０７では楽曲の再生と同期して、モニタ４１への映像再生を開始する。この映像再生処理では、楽曲再生処理に同期して複合録画情報が再生開始される。この複合録画情報は、投稿情報に含まれる複数の録画情報を組み合わせた形態であって、２回目の複合録画情報は、図５に含まれる１回目の録画情報のみで構成された複合録画情報が使用される。図８には撮影中のモニタ４１の表示の様子が示されている。

モニタ４１の画面左側には撮像表示領域Ｂ２が設けられ、カメラ４４で撮像されている歌唱者の様子がリアルタイム表示される。モニタ４１の画面右側には、投稿情報に含まれる１回目の複合録画情報が表示される。１回目の場合と同様、撮像表示領域Ｂ２は左右反転した状態でカメラ４４からの映像を表示させる。また、第１投稿表示領域Ｃ１には撮像情報を左右反転した状態で表示させている。このような表示形態とすることで、１回目と同様、歌唱者は鏡に映ったと同じ状態で自己の映像を確認することが可能となる。

さらに、この状態では歌唱者は、図に示すように実際のデュエットと同様、第１投稿表示領域Ｃ１に向かって歌唱することとなる。このような形態では、再生時、両映像の位置を入れ換えるとともに、両映像を正転状態に戻すことで、正転状態両歌唱者が向かい合った状態を再現することが可能となる。図９には、図８に示す撮影中のモニタ４１の画面を、再生（プレビュー）したときの様子が示されている。図８、図９から分かるように第１、第２投稿表示領域Ｃ１、Ｃ２内の両映像は歌唱者が向かい合った状態を再現したものとなっている。

本実施形態では、コラボを重ねる毎に１画面中に表示される単位録画情報の数が増えることとなり、各単位録画情報の表示位置、並びに、その大きさが変化することとしている。

図１０には、本発明の実施形態に係るコラボ時におけるモニタ４１の表示領域を示した図である。図中Ｂは撮像表示領域に相当し、カメラ４４から撮像された映像がリアルタイム表示される領域である。図中Ｃは投稿表示領域であり、投稿情報に含まれる単位録画情報が表示される領域である。図には録画時のモニタ４１の様子（図中左側）と、プレビュー時を含む再生時のモニタ４１の様子（図中右側）が示されている。撮像表示領域Ｂ、投稿表示領域Ｃの添字（数字）は、コラボ回数に対応している。また、録画時の撮像表示領域Ｂの下には、この映像に対応する投稿表示領域Ｃが括弧書きで示されている。

図１０に示されるようにコラボの回数を重ねる毎に、各投稿表示領域Ｃの位置、大きさは変動することが分かる。２回目以降のアップロード処理（Ｓ１１３）にてサーバ装置にアップロードされる投稿情報（単位投稿情報）は、図７で説明した１回目の投稿情報のデータ構成と略同様である。その際、カラオケ装置２にて録音情報のミキシングを行う形態では、アップロードされる投稿情報中の録音情報は、複数の単位録音情報がミキシングされた複合録音情報となる。

図１２には、５回のコラボを重ねた投稿情報のデータ構成が示されている。この投稿情報に含まれる複合録画情報は、１〜５回目の単位録画情報を組み合わせ、図１１のような表示形態となるように構成したものであり、本実施形態では、サーバ装置にて５つの単位
録画情報をエンコードして１ファイルの複合録画情報として形成されたものである。この複合録画情報は、単位録画情報毎のファイル構成で構成し、カラオケ装置２側で組み合わせることとしてもよい。

では、このようなカラオケ投稿システムで作成された投稿情報に対して、ユーザが可能とする編集処理について説明する。本実施形態の編集処理は、カラオケ装置２とカラオケ用サーバ装置が連携して行うこととしている。

図１３には、本発明の実施形態に係る編集処理を示すフロー図が示されている。カラオケ装置２では、ユーザが編集したい複合投稿情報を選択可能としている（Ｓ２０１）。この複合投稿情報の選択は、リモコン装置１に表示されるインターフェイスを介して行うことが可能であり、投稿したユーザのユーザＩＤ、楽曲名などを用いて検索することで行われる。選択された投稿情報の投稿ＩＤは、カラオケ用サーバ装置に送信され、投稿ＩＤを受信したカラオケ用サーバ装置では、当該投稿ＩＤに対応する複合投稿情報を記憶部から取得し（Ｓ２５１）、カラオケ装置に送信する（Ｓ２５２）。複合投稿情報を受信した（Ｓ２０３）カラオケ装置は、当該複合投稿情報を使用して、複合投稿情報内で使用された単位録画情報を選択する選択処理（Ｓ３００）を実行する。

図１４には、この選択処理（Ｓ３００）で実行されるユーザインターフェイスが示されている。カラオケ装置２を使用した選択処理では、リモコン装置１の表示部１１を使用してユーザインターフェイスが形成されている。本実施形態のユーザインターフェイスは、複合投稿情報に参加（コラボ）したユーザのユーザ名と、単位投稿情報中から抽出した静止画が合わせて表示されている。本実施形態ではユーザインターフェイスがタッチパネルで構成されており、静止画枠内をタッチすることで編集後の複合録画情報にて使用したい単位録画情報を選択することが可能となっている。

なお、この選択処理時において、カラオケ装置１は、編集対象となっている複合投稿情報を再生してもよい。ユーザは、図１１に示すモニタ４１の様子を確認しつつ、好みの単位録画情報を選択することが可能となる。静止画の抽出について、具体的に、例えば、単位投稿情報、複合投稿情報で利用する録画情報がＨ．２６４、ＭＰＥＧであるならばＩフレームに相当する情報を抽出し、ＪＰＥＧに変換して利用すればよい。

この選択処理（Ｓ３００）に基づいて設定情報が作成される。図１５には、本発明の実施形態に係る設定情報のデータ構成が示されている。本実施形態の設定情報は、投稿識別情報としての投稿ＩＤ、編集識別情報としての編集ＩＤ、編集（選択処理）を行ったユーザ識別情報（ユーザＩＤ）、選択投稿情報が含まれている。選択投稿情報には、選択された単位録画情報を示す情報（この場合、コラボＮｏ．とそのユーザＩＤ）が含まれている。

この設定情報を受信（Ｓ２５３）したカラオケ用サーバ装置は、受信した設定情報に基づいて、編集複合投稿情報を形成する（Ｓ２５４）。すなわち、設定情報に含まれている投稿ＩＤを参照し、投稿ＩＤに対応する複合投稿情報、並びに、その素材となった単位投稿情報を記憶部から読み出して編集複合投稿情報を形成する。図１５の設定情報の場合、コラボＮｏ．１（ユーザＩＤ：Ａ）とコラボＮｏ．４（ユーザＩＤ：Ｄ）が選択されているため、カラオケ用サーバ装置は、これらに対応する単位投稿情報から単位録画情報を取得して、編集複合投稿情報を作成（エンコード）する。すなわち、この編集複合投稿情報に含まれる複合録画情報は、単位投稿情報Ａに含まれる単位録画情報と単位投稿情報Ｄに含まれる単位録画情報を使用して形成される。この場合、２つの単位録画情報を使用するため、モニタ４１に表示させたときの複合録画情報は、図１６に示す画面配置となる。

このように本実施形態では、図１０で説明したようにコラボの数にて、単位録画情報の位置、大きさが異なるため、編集複合録画情報の形成は、複合録画情報に使用した単位録画情報を再度読み出し、必要な単位録画情報をエンコードすることで行うこととしている。また、編集複合投稿情報に含まれる複合録音情報は、複合投稿情報に含まれるもの（５つの単位録音情報がミキシングされたもの）を使用してもよいし、設定情報で選択されているユーザの単位録音情報のみをミキシングすることで新たに複合録音情報（編集複合録音情報）を形成することとしてもよい。その際、選択されたなかったユーザの単位録音情報は音量を抑えてミキシングすることとしてもよい。

編集複合投稿情報を構成する、録画情報、録音情報は、具体的には、録画は、Ｈ．２６４、ＭＰＥＧ規格などの映像信号を用い、録音は、ＭＰ３、ＭＰＥＧ−２、ＡＡＣ規格などの録音信号を用いる、これらの技術は、複数回に及ぶエンコード（名称：トランスコーディング、再エンコードなど）が行えることは既に知られている。よって、複数の単位録画情報から複合録画情報を作成する、複合録画情報と単位投稿情報から新たな複合録画情報を作成する、複数の単位録音情報から複合録音情報を作成する、複合録音情報と単位録音情報とから新たな複合録音情報を作成することができるため、上述した、単位投稿情報から編集複合投稿情報を作成することも可能となる。

カラオケ用サーバ装置は、編集複合投稿情報の形成（Ｓ２５４）後、当該編集複合投稿情報を、設定情報を送信してきたカラオケ装置２に対して送信する（Ｓ２５５）。編集複合投稿情報を受信（Ｓ２０５）したカラオケ装置２は、これを再生する再生処理（Ｓ２０６）を実行する。図１６には、この再生処理時のモニタ４１の様子が示されている。この例では、選択処理で選択されたコラボＮｏ．１（ユーザＩＤ：Ａ）とコラボＮｏ．４（ユーザＩＤ：Ｄ）の単位録画情報が、それぞれ、第１投稿表示領域Ｃ１、第４投稿表示領域Ｃ４中に表示されている。

このように形成された編集複合投稿情報には、作成に使用した編集ＩＤ、編集ユーザＩＤを含めておくことが好ましい。編集複合投稿情報は、広く一般に公開することとしてもよいが、編集したユーザ自身で使用される場合が多いため、編集を行ったユーザ（編集ユーザＩＤを有するユーザ）のみに再生可能としてもよい。その場合、カラオケ装置２にログインしたユーザＩＤと対応付けられた編集複合投稿情報を選択、再生可能とするなどの形態をとることができる。また、再生装置にＰＣなどの情報処理装置を使用した場合、インターネットにてカラオケの会員ページにログインした状態で、自分で編集した編集複合投稿情報を選択、再生可能とすることが考えられる。

このように本実施形態の編集処理は、既に形成された複合投稿情報の中から使用したいユーザに対応した単位投稿情報を選択し、編集複合投稿情報を形成することとしている。この実施形態では、ユーザを選択するのみであったが、各ユーザの選択には楽曲進行に関する経時的な要素を加えることとしてもよい。

図１７は、このような経時的な要素を加えた場合の選択処理を示すフロー図である。この選択処理では、複合投稿情報を再生させつつ、ユーザを選択することで、ユーザ選択の経時的変化を含んだ設定情報を作成することが可能となっている。図１８には、この選択処理で作成される設定情報のデータ構成が示されている。この設定情報は、図１５で説明した設定情報と略同様であるが、選択投稿情報中、各コラボＮｏ．（ユーザＩＤ）毎にタイミング情報を含んでいる点で異なっている。

選択処理は、まず基本となる設定情報（タイミング情報を含まない）を作成し（Ｓ３０１）、複合投稿情報の再生を開始する（Ｓ３０２、Ｓ３０３）、この複合投稿情報の再生期間中、カラオケ装置２は、図１４で示されるユーザインターフェイスの変化を監視し、
変化がある毎に、そのタイミング、単位録画情報の選択状態に基づいて、各タイミング情報を設定情報中に書き込んでいく（Ｓ３０５）。タイミング情報としては、再生開始からの経過時間の他、再生開始からＭＩＤＩクロック数やＭＰＥＧのＰＴＳなど各種形態を採用することが可能である。このような設定情報の更新を楽曲再生が終了するまで（Ｓ３０６：Ｙｅｓ）繰り返し実行することで、タイミング情報を含んだ設定情報が形成される。

カラオケ用ホスト装置は、このような楽曲進行に関するタイミング情報を含んだ設定情報に基づいて編集複合投稿情報中の新たな複合録画情報（Ｓ２５４）を形成する。図１９には、このようなタイミング情報を含めた設定情報により、作成された編集複合投稿情報を再生させた際のモニタ４１の経時変化が示されている。ここでは、楽曲の再生期間中、Ｔ１、Ｔ２、Ｔ３といった変化タイミングで、使用する単位録画情報の数が変化していることが分かる。このように本実施形態では、単位録画情報を経時的に選択する複合録画情報の編集を行うことが可能である。

この実施形態において、タイミング情報は、複合投稿情報の再生に同期して図１４のインターフェイスで指定（タッチ）されたタイミングを使用することとしているが、選択処理におけるタイミング情報の設定は、他の形態を採用することも可能である。

図２０には、選択処理における他のユーザインターフェイスが示されている。このインターフェイスでは、複合投稿情報中で使用された楽曲の歌詞に対応付けて、使用する単位録画情報中のユーザ名に対応するブロックを選択することで、設定情報中のタイミング情報が形成される。図中、実線白色で示すブロックは編集複合投稿情報形成のために選択した部分を、破線グレー色ですメスブロックは編集複合投稿情報形成のために選択されていない部分を示している。ユーザはこのインターフェイスを使用し、歌詞、すなわち、楽曲の経時的変化に同期した設定情報を作成することが可能となる。

図２１に示されるユーザインターフェイスは、図２０で説明したユーザインターフェイスが歌詞に対応して選択を行っていたのに対し、楽曲の演奏区間の種別に対応して選択可能としている点で異なっている。前奏区間、Ａメロ区間、サビ区間などの演奏区間に対応するブロックを選択することで、設定情報中のタイミング情報が形成される。ブロック選択の状態は、図２０で説明したのと同じである。

以上、設定情報に経時的変化を示タイミング情報を含めることで、ユーザの好みに応じた表示形態にて編集複合投稿情報を再生することが可能となる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１ａ、１ｂ…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…カラオケ装置、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカ、４３…歌唱用マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ

Claims (8)

1. 同一の楽曲に関してアップロードされた単位投稿情報に基づいて、複合投稿情報を作成るサーバ装置に通信接続可能な再生装置であって、
   単位投稿情報は、歌唱の様子を撮像した単位録画情報と、歌唱音声を録音した単位録音情報を含み、
   複合投稿情報は、単位録画情報の組み合わせによる複合録画情報と、単位録音情報の組み合わせによる複合録音情報と、を含み、
   再生装置は、映像再生手段と、音声再生手段と、入力手段と、制御手段と、を備え、
   制御手段は、
   複合投稿情報に含まれる複合録画情報を映像再生手段に再生させる映像再生処理と、
   複合録画情報中、入力手段から指定された単位録画情報を指定する設定情報に基づいて形成された新たな複合録画情報を映像再生手段に再生させる編集映像再生処理と、
   複合投稿情報に含まれる単位録音情報が組み合わされた複合録音情報を音声再生手段に再生させる音声再生処理と、を実行することを特徴とする
   再生装置。
2. 単位録画情報は、単位投稿情報を投稿したユーザのユーザ識別情報を含み、
   入力手段は、ユーザ識別情報の指定に基づいて単位録画情報を指定することを特徴とする
   請求項１に記載の再生装置。
3. 設定情報は、楽曲の進行に同期して経時的に単位録画情報を指定することを特徴とする
   請求項１または請求項２に記載の再生装置。
4. 編集映像再生処理で再生される新たな複合録画情報は、サーバ装置にて設定情報と単位録画情報に基づきエンコードされたものであることを特徴とする
   請求項１から請求項３の何れか１項に記載の再生装置。
5. 設定情報は、当該設定情報を入力したユーザのユーザ識別情報を含み、
   編集映像再生処理は、再生装置にログインしているユーザのユーザ識別情報に対応する設定情報にて形成された新たな複合録画情報を再生させることを特徴とする
   請求項１から請求項４の何れか１項に記載の再生装置。
6. 編集映像再生処理は、表示しない単位録画情報に対応する単位録音情報を消音、もしくは、音量を抑えて再生させることを特徴とする
   請求項１から請求項５の何れか１項に記載の再生装置。
7. 制御手段は、
   映像再生処理と音声再生処理とに同期して、撮像装置から入力される映像情報を録画して単位録画情報を形成し、マイクロホンから入力される音声情報を録音して単位録音情報を形成し、単位録画情報と単位録音情報を含んだ単位投稿情報をサーバ装置に送信する投稿処理を実行可能としたことを特徴とする
   請求項１から請求項５の何れか１項に記載の再生装置。
8. 同一の楽曲に関してアップロードされた単位投稿情報に基づいて、複合投稿情報を作成るサーバ装置に通信接続可能な再生装置で実行される再生プログラムであって、
   単位投稿情報は、歌唱の様子を撮像した単位録画情報と、歌唱音声を録音した単位録音情報を含み、
   複合投稿情報は、単位録画情報の組み合わせによる複合録画情報と、単位録音情報の組
   み合わせによる複合録音情報と、を含み、
   複合投稿情報に含まれる複合録画情報を映像再生手段に再生させる映像再生処理と、
   複合録画情報中、入力手段から指定された単位録画情報を指定する設定情報に基づいて形成された新たな複合録画情報を映像再生手段に再生させる編集映像再生処理と、
   複合投稿情報に含まれる単位録音情報が組み合わされた複合録音情報を音声再生手段に再生させる音声再生処理と、を実行可能としたことを特徴とする
   再生プログラム。

Images