JP2012068501A - カラオケ装置及びカラオケシステム - Google Patents

Abstract

【課題】楽曲演奏を行う際、楽曲自身あるいは楽曲の雰囲気に対応する映像を収集することのできるカラオケ装置、カラオケシステムを提供する。
【解決手段】本発明に係るカラオケ装置は、指定された楽曲を演奏させる演奏処理と、演奏処理にて演奏させる楽曲に対応する演技指導情報を表示手段、または、音響出力手段の少なくとも一方を用いて告知させる告知処理と、撮像手段により撮像させて撮像情報を取得する撮像処理と、撮像処理にて取得された撮像情報を、演技指導情報、または、演奏処理で演奏した楽曲の少なくとも一方に対応する属性情報に対応付けて記憶させる記憶処理と、を実行することを特徴としている。
【選択図】図８

Description

本発明は、演奏に合わせて歌唱を楽しむカラオケ装置及びカラオケシステムに関するものであり、特に、楽曲自体あるいは楽曲の雰囲気に対応した撮像情報を収集できるカラオケ装置及びカラオケシステムに関する。

従来、演奏に合わせて歌唱を楽しむカラオケ装置では、演奏に合わせて背景映像を表示させることで歌唱の場の雰囲気を盛り上げている。現在、ＭＩＤＩ情報などの演奏情報を利用したカラオケ装置では、演奏情報と背景映像とは独立して扱われることが多く、楽曲にあった背景映像を表示させるため、演奏情報と背景映像とは、例えば、楽曲ジャンルなどを用いて対応付けられて利用されている。

このような楽曲に対応した背景映像を選択するカラオケ装置として、特許文献１には、楽曲の分類に台本データを対応付けて、台本データに記述された複数の映像区分識別子に従って区分映像を再生させることで、全ての楽曲についてオリジナルの台本データや背景映像を製作する必要のないカラオケ装置について開示されている。

一方、カラオケでは歌唱を行って楽しむだけでなく、歌唱の様子を録音、録画して記憶媒体記録して持ち帰ったり、インターネット上で公開するなどして楽しむシステムがある。このようなシステムとして、特許文献２には、ストーリーとなるコンテンツをオーディオ信号としてスピーカーに出力させると共に、ユーザーの手本となるコンテンツを映像信号として映像表示器に出力させ、カメラからの映像信号に基づいてプロモーションビデオのような映像コンテンツを作成する映像コンテンツ制作装置が開示されている。

特許第３９６１３２９号公報 特開２００５−２６７３９号公報

特許文献１に記載される発明では、台本データを用いることで楽曲間における背景映像を図り、背景映像製作を削減するものである。この特許文献１においても課題とされるように背景映像製作は、時間、コストを必要とするものであるが、同じ背景映像が何度も使用される可能性もあり、場合ユーザーに飽きを感じさせてしまうこととなる。

一方、特許文献２に開示される映像コンテンツシステムでは、ユーザーの作成したコンテンツは単独で視聴されることが想定されたものであって、ユーザーは、カメラにて撮影された映像信号と予め用意されているコンテンツに基づいてプロモーションビデオのような映像コンテンツを作るものである。

本発明では、従来のこのような状況を鑑みたものであって、背景映像製作にかかる時間、コストを低減させるとともに、楽曲の雰囲気に対応した背景映像を収集することを目的としている。また、歌唱の様子を録音、撮影した投稿情報に対しても、歌唱の雰囲気に対応した背景映像を収集することのできるカラオケ装置、カラオケシステムを提供することを目的としている。

前記課題を解決するため、本発明に係るカラオケ装置は、指定された楽曲を演奏させる演奏処理と、前記演奏処理にて演奏させる楽曲に対応する演技指導情報を表示手段、または、音響出力手段の少なくとも一方を用いて告知させる告知処理と、撮像手段により撮像させて撮像情報を取得する撮像処理と、前記撮像処理にて取得された撮像情報を、前記演技指導情報、または、前記演奏処理で演奏した楽曲の少なくとも一方に対応する属性情報に対応付けて記憶させる記憶処理と、を実行することを特徴としている。

さらに、本発明に係るカラオケ装置において、前記告知処理は、第１のタイミングで前記演技指導情報を告知させ、前記告知処理は、前記第１のタイミングに対応する第２のタイミングで前記撮像手段に撮像させることを特徴としている。

さらに、本発明に係るカラオケ装置において、前記演技指導情報は、前記楽曲情報の付帯情報に基づいて決定されることを特徴としている。

さらに、本発明に係るカラオケ装置において、前記付帯情報は、楽曲に対応する歌詞情報であることを特徴としている。

さらに、本発明に係るカラオケ装置において、前記告知処理は、歌詞情報の表示タイミングに同期して前記演技指導情報を告知することを特徴としている。

また、本発明に係るカラオケシステムは、第１のカラオケ装置と第２のカラオケ装置が通信回線を介して接続されるカラオケシステムにおいて、前記第１のカラオケ装置は、第１の演奏処理と、告知処理と、撮像処理と、記憶処理とを実行する第１の制御手段を備え、前記第１の演奏処理は、指定された楽曲を演奏させ、前記告知処理は、前記第１の演奏処理にて演奏させる楽曲に対応する演技指導情報を表示または放音の少なくとも一方を用いて告知させ、前記撮像処理は、撮像手段により撮像させて撮像情報を取得し、前記記憶処理は、前記撮像処理にて取得された撮像情報を、前記演技指導情報、または、前記第１の演奏処理で演奏した楽曲の少なくとも一方に対応する属性情報に対応付けて記憶させ、前記第２のカラオケ装置は、第２の演奏処理と、映像表示処理とを実行する第２の制御手段を備え、前記第２の演奏処理は、指定された楽曲を演奏させ、前記映像表示処理は、前記第２の演奏処理で演奏される楽曲に対応した属性情報を有する前記撮像情報を表示させることを特徴としている。

さらに、本発明に係るカラオケシステムにおいて、前記映像表示処理において表示される前記撮像情報は、その属性情報に対応する表示期間に表示されることを特徴としている。

また、本発明に係るカラオケシステムは、カラオケ装置とサーバ装置が通信回線を介して接続されるカラオケシステムにおいて、前記カラオケ装置は、演奏処理と、告知処理と、撮像処理と、記憶処理とを実行する制御手段を備え、前記演奏処理は、指定された楽曲を演奏させ、前記告知処理は、前記演奏処理にて演奏させる楽曲に対応する演技指導情報を表示または放音の少なくとも一方を用いて告知させ、前記撮像処理は、撮像手段により撮像させて撮像情報を取得し、前記記憶処理は、前記撮像処理にて取得された撮像情報を、前記演技指導情報、または、前記演奏処理で演奏した楽曲の少なくとも一方に対応する属性情報に対応付けて記憶させ、前記サーバ装置は、前記撮像情報の属性情報に基づいて、楽曲に対応する前記撮像情報を選択し、選択された前記撮像情報に基づいて当該楽曲の背景映像を編集する編集処理を実行可能とすることを特徴としている。

さらに、本発明に係るカラオケシステムにおいて、前記編集処理において編集される前
記撮像情報は、その属性情報に対応する表示期間にて表示されるように編集されることを特徴としている。

本発明では、楽曲に対応した演技指導情報を告知すると共に、その告知に応じて行われた演技を撮像することで、楽曲の雰囲気に対応する撮像情報を取得することが可能となる。また、取得した撮像情報を、演技指導情報、または、演奏した楽曲の少なくとも一方に対応した属性情報に対応付けることで、別の機会の楽曲演奏時において、楽曲の雰囲気に応じた背景映像として利用することが可能となる。さらに、歌唱を録音、録画した投稿映像に対しても利用することができ、複数のユーザーによるコラボレーションが可能となり、映像投稿の遊興性を高めることが可能となる。

さらに、本発明では、演技指導情報の告知タイミング（第１のタイミング）と、告知タイミングに応じた撮像のタイミング（第２のタイミング）を規定することで、楽曲の進行上の雰囲気に応じた撮像情報を取得することが可能となる。

さらに、本発明では、演技指導情報を楽曲情報の付帯情報に基づいて決定することとしている。このような構成によれば、楽曲に対応した演技指導情報を簡易に作成するとともに、演技指導情報付与の手間を削減することが可能となる。

さらに、本発明では、演技指導情報を歌詞情報に基づいて決定することとしており、歌詞の雰囲気に対応した演技指導情報を作成することが可能となる。

さらに、本発明では、歌詞情報の表示タイミングに同期して演技指導情報を告知させることとしている。表示される歌詞の雰囲気に対応する演技指導情報を告知することで、楽曲の進行上の雰囲気に適合した撮像情報を取得することが可能となる。

さらに、本発明では、取得した撮像情報を、他のカラオケ装置における楽曲再生時の背景映像として利用可能とすることで、撮像情報を背景映像として共有し、背景映像の多様化を図ると共に、背景映像作成のための手間を削減することが可能となる。

さらに、本発明では、取得した撮像情報を、楽曲に対応付けられた背景映像として編集することで、他のカラオケ装置にて利用可能な背景映像、あるいは、投稿映像の背景映像として利用可能となり、背景映像の多様化、製作の手間の削減を図ると共に、複数のユーザー間における共同製作を行うことが可能となる。

本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図。 本発明の実施形態に係るカラオケシステムの構成を示す図。 本発明の実施形態に係るトップ画面を示す図。 本発明の実施形態に係るユーザー情報の構成を示す図。 本発明の実施形態に係るメイン処理を示すフロー図。 本発明の実施形態に係る各種データ構成を示す図。 本発明の実施形態に係る撮像情報取得の様子を示す図。 本発明の実施形態に係る演技収録モードにおける表示画面を示す図。 本発明の実施形態に係る撮像データの利用形態を説明するための図。 本発明の実施形態に係る撮像情報の利用形態を説明するための図。 本発明の実施形態に係る画面構成例を示す図。 本発明の実施形態に係る演技データ作成処理を示すフロー図。 本発明の実施形態に係る演技指導情報テーブル１を示す図。 本発明の実施形態に係る演技指導情報テーブル２−１を示す図。 本発明の実施形態に係る演技指導情報テーブル２−２を示す図。 本発明の実施形態に係る演技指導情報テーブル３を示す図。 本発明の他の実施形態に係る撮像情報の利用形態を説明するための図。

図１は、本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図である。図中、カラオケシステムとしての主要構成は、カラオケ用ホスト（サーバ装置）、店舗などに設置されるコマンダ２などにて構成される。コマンダ２は楽曲再生機能を有した、いわゆるカラオケ装置であって、店舗内のＬＡＮ１００に接続されている。コマンダ２とカラオケ用ホストは、インターネットを介して接続され、新しく供給された楽曲情報やユーザー情報など、各種サービスに必要な情報の送受信を行う。本実施形態ではＶＰＮ（Virtual Private Network）を介して接続されており、セキュリティに優れた通信を行うこ
とが可能となっている。

店舗に設置されたコマンダ２は、リモコン装置１によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。例えば、コマンダ２ａにはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００ａを介した操作が可能となっている。また、リモコン装置１とコマンダ２とは赤外線を利用した近距離通信を行うことも可能である。

さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネット用ホストが設けられている。このインターネット用ホストは、ユーザーのパーソナルコンピュータ、携帯情報端末（携帯電話やＰＤＡなど）と接続され、これら機器を利用するユーザーに各種サービスを提供することができる。また、インターネット用ホストは、カラオケ用ホストとデータ共有することで連携を取ったサービスを提供することができる。

図２は、本発明の実施形態に係る店舗Ａに設置されたカラオケシステムの構成を示している。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。

コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、楽曲指定処理などを実行可能としている。演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて映像情報や歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。

楽曲指定処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１は、この選曲処理に限らず、ユーザーから各種入力を受付けて、ログイン処理など各種処理を実行することが可能である。

本実施形態のコマンダ２には、カメラ４３が接続可能とされており、接続されたカメラ４３から歌唱者や同伴客の様子を撮像することが可能となっている。カメラ４１の映像を表示手段（例えば、モニタ４１）にてモニタする場合には、カメラ４３は、当該表示手段の上部など、表示手段の近傍に配置することが好ましい。さらに表示させる映像を左右反転させることで、ユーザーはモニタ画像を鏡のように利用することが可能となる。なお、カメラ４３を複数設け、同時に、あるいは、切り換えて撮影することで撮像情報を取得することとしても構わない。

また、本実施形態のコマンダ２には、環境音収音マイク４４ｃが設けられている。このマイクは、歌唱が行われる場の環境音を収音するために設けられたものであり、同伴者の歓声、鳴り物などが含まれた音声情報を収音する。収音の際、この環境音収音マイク４４ｃにて収音した音声情報から、スピーカー４２から放音される音や、歌唱用マイク４４ａ、ｂにて収音された歌唱音を減算することで環境音を抽出することができる。本発明では、カメラにて撮影された撮像情報のみならず、この環境音収音マイク４４ｃ、あるいは、歌唱用マイク１、２にて収音される音声情報を利用してもよい。

図３は、本発明の実施形態に係るトップメニューを示す図である。本実施形態では、リモコン装置１の表示部１１に表示させ、リモコン装置１を操作するユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種スイッチの他、表示部１１に表示されたアイコンを直接タッチして操作を行うタッチパネル等を採用することができる。

トップメニューには、楽曲選択のための各種方法（歌手名検索、曲名検索）を指定可能の他、ユーザーのログインに関する情報が表示されている。

本実施形態のカラオケシステムは、複数のユーザーがログインすることが可能となっている。ユーザーのログインに関する情報は、画面上方に常時表示される。ログイン中のユーザーを示すアバターが表示される。図ではＡさん、Ｅさん、Ｃさん、３人のアバターが表示されているが、更なるユーザーをログインさせることも可能である。表示されている３人のアバター中、背景が褐色で表示されているユーザー（Ａさん）は操作ユーザーであることを示している。本実施形態では、操作ユーザーのユーザー名、並びに、操作ユーザーに対する各種メッセージも表示される。

操作ユーザーに対しては、当該ユーザーのユーザー情報に基づいて各種サービスを行うことが可能となっており、ユーザー情報に含まれる個人情報や操作履歴などを参照することで、それに基づくサービスを提供することが可能である。

操作ユーザーは、画面上方左側に表示されているユーザー切替を操作することで切り換えることができる。また、画面上方右側には、新たにユーザーをログインさせる新規ログイン、操作ユーザーをログアウトさせるログアウトが表示されており、これらを操作することで、ユーザーの追加、ログアウトを行うことができる。

図４は、各ユーザー毎に記憶されたユーザー情報を説明するための図である。本実施形態では、ユーザー情報として、個人情報、十八番テーブル、履歴テーブルなどを含んで構成される。個人情報には、ユーザーを識別するためのユーザーＩＤ、パスワード、そして、ユーザー名、性別、年齢等を含んで構成されている。これらの設定は、リモコン装置１、あるいは、ネットワークに接続されたパーソナルコンピュータ、携帯情報端末などにてログインすることでも設定することができる。

十八番テーブルは、ユーザーによって事前に登録された楽曲を示すテーブルであって、少なくとも楽曲を識別するための楽曲識別子を含んで構成されている。この他にも各楽曲識別子に、歌唱した際に採点された最高点（採点情報）や、自分の歌唱音域に合わせるための音程情報を合わせて登録しておいてもよい。ユーザーは、この十八番テーブルを呼び出すことで、事前に登録した楽曲を容易に呼び出して選曲を行うことが可能となる。

履歴テーブルは、ユーザーがこれまでに選曲した履歴が記載されたテーブルであって、楽曲識別子、歌唱日時、歌唱店舗、採点情報、音程情報などを含んで構成されている。採点情報は、歌唱したときの採点手段による結果を示す情報であり、音程情報は歌唱したときのピッチ変更を示す情報である。

図５は、本発明の実施形態に係るメイン処理を示すフロー図である。ユーザーは、図３に示されるトップ画面に示される楽曲検索方法などを用いて、歌唱する楽曲を選択する（Ｓ１０２）。本実施形態では、ユーザーは、楽曲選択時に演技収録モードを選択することが可能となっており、演技収録モードが選択されていない場合は、Ｓ１１６に進んで通常演奏処理が実行される。一方、演技収録モードが選択された場合にはＳ１０４〜Ｓ１１４の処理が実行される。

Ｓ１０４では、指定された楽曲に対応する楽曲情報を楽曲演奏手段としてのＭＩＤＩ音源２６に演奏させる。ここでは、Ｓ１０２による選曲の後、すぐに再生が開始される処理となっているが、予約されたものから順次再生されることとしてもよい。楽曲情報には、図６（ａ）に示される楽曲付帯情報が楽曲ＩＤにて対応付けられている。この楽曲付帯情報には、楽曲タイトル、歌手名、歌い出し、楽曲ジャンルといった選曲のために用いる情報の他、楽曲情報の演奏に同期して表示される歌詞情報が含まれる。

歌詞情報は、複数の歌詞表示情報を単位として構成されており、それぞれの歌詞表示情報には、文字コードあるいは文字画像にて構成される歌詞文字情報、当該歌詞文字情報の表示タイミングを示す歌詞表示タイミングを含んで構成されている。歌詞表示タイミングは、表示開始、表示終了を示す歌詞表示期間の他、歌詞の色変えタイミングを示す色変え期間を含んで構成される。

楽曲が演奏開始されると、Ｓ１０５にて楽曲演奏に伴って演技データが読み込まれる。演技データは、図６（ｂ）に示される演技誘発データに含まれるデータであって、楽曲ＩＤに対応付けられており添字番号の順に読み込まれる。各演技データは、演技ＩＤ、演技指導情報、演技表示タイミング、撮像タイミングを含んで構成されている。演技指導情報は、文字情報、画像情報などを含んで構成され、再生することでユーザーに行うべき演技を指示するための情報である。この演技指導情報は、演技表示タイミングが示すタイミング（期間）にて再生される。なお、演技指導情報は、文字情報、画像情報などを用いた視覚的な告知に限らず、音情報を用いた音響出力にて聴覚的に告知するものであってもよい。

撮像タイミングは、カメラ４３にて撮像するタイミング、あるいは、カメラ４３にて撮像された映像を撮像情報として取り込むタイミングを示している。撮像情報としては静止画、動画のどちらであってもよいし、環境音収音マイク４４ｃなどにて音声情報を取得できる場合には、撮像情報に加えて音声情報を併せて記録してもよい。

Ｓ１０６では、読み込まれた演技データに基づいて演技指導情報の表示タイミングの到来を判定し、表示タイミングの到来に基づいてＳ１０７にて演技指導表示情報を表示する。Ｓ１０８では、読み込まれた演技データに基づいて撮像タイミングの到来が判定され、撮像タイミングの到来に基づいてカメラ４３による撮像が実行される。

図７は、本発明の実施形態に係る撮像情報取得の様子を示す図である。図７（ａ）は、撮像情報に静止画を採用した場合を示す撮影例であり、図７（ｂ）は、撮像情報に動画を採用した場合を示す撮影例である。図７（ａ）の静止画撮影例では、演技データに基づいて所定の期間、演技指導情報が表示されるとともに、表示期間の終了時にカメラ４３による静止画の撮像が実行される。この演技指導情報の表示期間には、演技指導情報を表示させる他、撮像タイミングまでをカウントダウンする表示あるいは音声による告知を行うこととしてもよい。

一方、図７（ｂ）の動画撮影例では、演技データに基づいて所定の期間、演技指導情報が表示されるとともに、この表示期間の一部においてカメラ４３による動画の撮像が実行される。本実施形態では、表示期間を撮像期間に先行させることで、ユーザーに対して撮像の準備をさせることとしているが、これらの期間は一致させてもよい。

図８は、本発明の実施形態に係る演技収録モードにおける表示画面を示す図である。本実施形態では、歌詞情報に基づく映像画像を表示するモニタ４１に文字による演技指導情報を表示している。この図に示されるように演奏の進行に同期して表示される歌詞の内容に即した演技指導情報（この場合、歌詞「バンザイ」に対応して「万歳三唱！」を表示）を用意しておくことで、歌詞の内容に合わせて盛り上がる様子を撮像することが可能となる。

また、演技指導情報の下方には、撮像映像ウィンドウが設けられている。このウィンドウでは、カメラ４３にて撮像している映像を略リアルタイムで表示し、撮像されているユーザーが自己の様子を確認することができる。なお、この撮像映像ウィンドウには、左右反転された映像情報を表示させることで、鏡に映っているように視認することができ、違和感を抑えることが可能となる。また、表示される映像は、撮像期間のみだけでなく常時、カメラ４３からの映像を表示させても構わない。

Ｓ１１０では、Ｓ１０９の撮像にて取得された撮像情報をＨＤＤ（ハードディスク）３２などの記憶手段に記憶させる。このとき、撮像情報に撮像時における各種情報を属性情報として付与して記憶し、後に撮像情報を利用するときに管理可能としている。

図６（ｃ）は、撮像情報に各種属性情報が付与された撮像データを示す図である。撮像情報に対して、当該撮像情報に使用された楽曲を示す楽曲ＩＤ、また、撮像時に使用された演技指導情報を示す演技ＩＤが付与されている。この他、楽曲を選曲したユーザーのユーザーＩＤである歌唱ユーザーＩＤ、撮像日時、撮像された店舗あるいはコマンダ２の識別情報などを示す撮像位置、そして、一緒にログインしていたユーザーのユーザーＩＤである同伴ユーザーＩＤなどが含まれている。本実施形態では、演奏された楽曲に対応する属性情報として楽曲ＩＤを、また、演技指導情報に対応する属性情報として演技ＩＤを使用しているが、演奏された楽曲に対応する属性情報としては、楽曲タイトル、歌手名、楽曲ジャンルなどを利用してもよいし、使用した演技指導情報に対応する属性情報としては、演技指導情報自体を利用してもよい。また、属性情報としては、使用した演技指導情報、演奏した楽曲に対応するどちらか一方の属性情報であってもよい。

以上、本実施形態では、演技指導情報を表示にて告知することで、ユーザーに対して行うべき演技を指示し、カメラ４３にて撮像することで、告知した演技指導情報または演奏した楽曲に対応する属性情報が付与された撮像情報を取得することが可能となる。なお、本実施形態では、演技データ中に演技表示タイミング、撮像タイミングを規定することとしているが、これらタイミングを規定することなく楽曲１曲を通じて行う、あるいは、楽曲に特徴付けられた所定期間（例えば、サビの期間）のみ行うこととしてもよい。さらに
カメラ４３にて撮影された撮像情報に、環境音収音マイク４４ｃ、あるいは、歌唱用マイク１、２にて収音された音声情報を併せて取得してもよい。撮像情報に動画を採用した場合、特に有効である。

Ｓ１１０では、演奏が終了したか否かを監視し、終了していない場合は再度Ｓ１０５にて、次の演技データを読み込んで処理を実行する。演奏が終了すると、Ｓ１１２にて撮像データのアップロード、すなわち、図１のカラオケ用ホストなどのサーバ装置に、撮像データをアップロードするか否かをユーザーに問う処理が実行される。ユーザーがアップロードを許諾した場合、Ｓ１１０にて作成、記憶された撮像データがサーバ装置にアップロードされる。Ｓ１１０にて複数の撮像データが作成されている場合には、Ｓ１１２にてアップロードする撮像データをユーザーに選択させることとしてもよい。

図９は、本発明の実施形態に係る撮像データの利用形態を説明する図である。コマンダAからサーバ装置に送信された撮像データは、サーバ装置側で管理するデータベースに蓄
積される。データベースに蓄積された撮像データは、そのままの状態でコマンダに送信され、撮像データに関連する楽曲の背景映像素材として利用することもできる。また、サーバ装置にて属性情報に基づいて撮像情報を編集し、楽曲に対応した編集映像を作成することもできる。編集映像は、コマンダ、パーソナルコンピュータ、携帯情報端末にて視聴することができる。撮像データの利用対象となる楽曲は、歌唱のために演奏される楽曲だけでなく、コマンダBから送信された投稿データとすることもできる。この投稿データは楽
曲の演奏時に、録音、録画されたデータであって楽曲に対応付けられている。

図１０は、本発明の実施形態に係る撮像情報の利用形態を説明するための図である。図５に示す一連の処理にて作成されサーバ装置にアップロードされた撮像データは、サーバ装置、あるいは、コマンダ２にて楽曲の背景映像として利用される。その際、撮像情報に付与した属性情報を利用することで、楽曲にふさわしい撮像情報を利用することができる。また、適用の対象となる楽曲としては、コマンダ２で演奏される楽曲の他、ユーザーの歌唱音声を含む投稿情報（歌唱の様子を録画した映像情報を含んでもよい）などが考えられる。投稿情報を対象とする場合、投稿情報に使用した楽曲の楽曲ＩＤを付与しておくことで、撮像情報を対応付けることが可能である。

このように、本実施形態では、ユーザーによって作成された撮像情報を楽曲の背景映像として利用することで、ユーザー参加型のサービスを提供することが可能となる。特に、投稿情報を対象とした場合には、歌唱音声を提供（投稿）したユーザーと共同で１つの作品を作り上げることとなり、ユーザーに対する参加意欲が高められる。

図６（ｃ）に示されるように、本実施形態の撮像情報は、楽曲ＩＤと演技ＩＤに対応付けられている。したがって、楽曲ＩＤを利用することで、同じ楽曲に対して撮像情報を背景映像として利用することが可能となる。また、演技ＩＤを利用して演技データを参照することで、撮像タイミングと同じタイミングで撮像情報を表示することが可能となり、楽曲の進行に適した撮像情報を表示することができる。図１０に示す例では、楽曲Ａ、並びに、その撮像タイミングＡ、Ｂ、Ｃに対応する期間に、対応する映像群の中から適宜撮像情報を表示させることとしている。なお、本実施形態では、撮像情報を撮像タイミングに対応した一部期間にて利用することとしているが、他の期間において適宜利用することも可能である。

図１１は、撮像情報を背景映像として利用するにあたり、その画面構成例を示した図である。図１１（ａ）は、主映像と隣り合わせて１つの撮像情報を表示させた場合である。主映像としては、予めメーカー側で用意する背景映像の他、前述した投稿情報に含まれる歌唱の様子を映した映像などである。画面に表示する撮像情報としては、図１１（ｂ）の
ように複数用いることとしても構わない。この例では、主映像を取り囲むように１２個の撮像情報を表示させている。また、図１１（ｃ）に示すように時間の変化に応じて撮像情報を変更させてもよい。このように、撮像情報を利用した画面構成は様々な形態を利用することが考えられる。

以上、本実施形態では、図６（ｂ）に示す演技データを楽曲毎に用意しておくことで、楽曲に応じた撮像情報を収集するものであったが、演技データを予め用意することなく、図６（ａ）の楽曲付帯情報を利用して、楽曲に応じた演技データを作成することとしてもよい。図１２は、本発明の実施形態に係る演技データ作成処理を示すフロー図である。本実施形態では、楽曲付帯情報に含まれる歌詞情報、楽曲ジャンルを用いて実行することとしている。歌詞情報を用いた場合には、歌詞の表示あるいは色変えタイミングに同期した演技指導情報の表示、並びに撮像情報の取得を行うことが可能となる。なお、この演技データ作成処理は、楽曲再生時に行ってもよいし、図６（ｂ）の演技誘発データ作成のための処理として実行されるものであってもよい。

処理が開始されるとＳ２０２にて対象となる楽曲の楽曲付帯情報が読み込まれる。Ｓ２０３では楽曲付帯情報中に歌詞情報があるか否かが判定される。歌詞情報がある場合には、Ｓ２０４にて歌詞情報中に所定の動詞があるか否か、すなわち、図１３に示される演技指導情報テーブル１中に規定する動詞があるか否かが判定される。動詞の判定については歌詞を形態素解析することで所定形式にした上で行うとよい。所定の動詞が見つかった場合、この演技指導情報テーブル１中にて対応する演技ＩＤ、演技指導情報が決定される（Ｓ２１０）。さらに、本実施形態ではＳ２１１にて当該演技指導情報の表示タイミング、並びに、撮像タイミングが決定される。前述したように当該動詞の表示あるいは色変えタイミングを利用することで、楽曲の進行に応じた演技指導情報の表示並びに撮像情報の取得が可能となる。Ｓ２１２では、これら決定された情報を演技データとして楽曲ＩＤに対応付けて記憶する。

一方、Ｓ２０４にて所定の動詞が見つからない場合には、歌詞中に所定の名詞あるいは形容詞など所定の歌詞ワードがあるか否かが判定される。これら歌詞ワードは、図１４の歌詞−演技種テーブル（テーブル２−１）に規定されているか否かで判定される。歌詞ワードが見つかった場合には、図１４の歌詞−演技種テーブル（テーブル２−１）と図１５の歌詞−演技種テーブル（テーブル２−２）を用いて、演技ＩＤ、演技指導情報が決定される。本実施形態では、歌詞ワードのイメージを示す演技種ＩＤにて、歌詞ワードと演技指導情報が間接的に対応付けられている。

例えば、名詞「卒業」についてみると、図１４のテーブル２−１にて、そのイメージである悲しみを示す演技種ＩＤ（１−２３４５）が対応付けられている。この演技種ＩＤを用い、図１５のテーブル２−２を参照することで、演技ＩＤ（１−１３４５）を有する「泣きまねをして！」、演技ＩＤ（１−１３４６）を有する「顔をおおって！」が選択される。演技データには何れか１つを選択してもよいし複数選択してもよい。複数選択する場合には、撮像タイミングを異ならせて演技データが作成される。この場合においても歌詞の表示あるいは色変えタイミングを利用することで、演技指導情報の表示タイミング、並びに、撮像タイミングを決定する（Ｓ２１１）ことが可能である。

さらに、所定の歌詞ワードが見つからない場合、あるいは、楽曲付帯情報に歌詞情報がない場合には、楽曲付帯情報に含まれる楽曲ジャンルを利用して演技データが作成される（Ｓ２０８、Ｓ２０９）。図１６は、ジャンル−演技種テーブル（テーブル３）を示した図であり、楽曲ジャンルに複数の演技種ＩＤが対応付けられている。このテーブル３において、楽曲ジャンルに対応する演技種ＩＤを決定し、さらにテーブル２−２において演技種ＩＤに対応する演技ＩＤ並びに演技指導情報が決定される。このように楽曲ジャンルを
用いた場合には、歌詞情報のように表示タイミングを利用することができないが、例えば、楽曲の盛上がり部分であるサビ部分（楽曲情報中にて定義されている）を利用することで、演技指導情報の表示タイミング、並びに、撮像タイミングを決定することとしてもよい。

以上、説明した処理にて所定個数の演技データが作成される（Ｓ２１３）と、対象となる楽曲に対する演技データ作成処理が終了する。本実施形態では、楽曲付帯情報である歌詞情報、楽曲ジャンルに基づいて演技データを作成することが可能となっており、歌詞情報に直接対応付けられた、あるいは、そのイメージを介して間接的に対応付けられた演技指導情報を選択することが可能となっている。また、選択された演技指導情報が演技種ＩＤに対応する場合には、演技データ内に演技種ＩＤを含めることとしてもよい。

図１７は、本発明の他の実施形態に係る撮像情報の利用形態を説明するための図である。前実施形態では、同じ楽曲に対して撮像情報を利用することができたのに対し、本実施形態では、演技ＩＤあるいは演技種ＩＤを用いることで、異なる楽曲間においても撮像情報を利用することができる。

例えば、図に示す例では、表示期間Ｄは楽曲の進行上、歌詞「飛ぶ」（動詞）が表示されるべき期間であって、例えば、表示期間に「飛ぶ」に対応する演技ＩＤ（１−１２３４）が付与された撮像情報を利用することで、楽曲の雰囲気に適した撮像情報が表示される。また、表示期間Ｅでは、歌詞「かわいい」（形容詞）が表示される期間であって、例えば、この表示期間に「かわいい」に対応する演技種ＩＤ（２−２３５０）が付与された撮像情報を利用することで、異なる楽曲において撮像された撮像情報を利用することが可能となる。さらに、表示期間Ｆは、当該楽曲のサビ区間を示しており、この場合、テーブル３を参照することで、対象となる楽曲の楽曲ジャンル「Ｊ−ＰＯＰ」に対応した「かっこいい」に対応する演技種ＩＤ（２−２３５１）および「楽しい」に対応する演技種ＩＤ（２−２３４６）が付与された撮像情報の中から選択することで楽曲の進行に適した撮像情報を背景映像とすることが可能となる。なお、撮像情報にて構成される画面構成は図１１にて説明したのと同様、適宜形態をとることが可能である。

なお、本発明は、収集した撮像情報を、付与された属性情報に基づいて、コマンダ２にて演奏される楽曲や、投稿情報にて使用された楽曲の雰囲気に対応した撮像情報を背景映像として利用するものであって、背景映像として表示させる際、その表示タイミングは必ず設ける必要はなく、ランダムに表示させるなど適宜形態を取ることができる。

本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、４４ｃ…環境音収音マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ

Claims (9)

1. 指定された楽曲を演奏させる演奏処理と、
   前記演奏処理にて演奏させる楽曲に対応する演技指導情報を表示手段、または、音響出力手段の少なくとも一方を用いて告知させる告知処理と、
   撮像手段により撮像させて撮像情報を取得する撮像処理と、
   前記撮像処理にて取得された撮像情報を、前記演技指導情報、または、前記演奏処理で演奏した楽曲の少なくとも一方に対応する属性情報に対応付けて記憶させる記憶処理と、を実行することを特徴とする
   カラオケ装置。
2. 前記告知処理は、第１のタイミングで前記演技指導情報を告知させ、
   前記告知処理は、前記第１のタイミングに対応する第２のタイミングで前記撮像手段に撮像させることを特徴とする
   請求項１に記載のカラオケ装置。
3. 前記演技指導情報は、前記楽曲情報の付帯情報に基づいて決定されることを特徴とする
   請求項１に記載のカラオケ装置。
4. 前記付帯情報は、楽曲に対応する歌詞情報であることを特徴とする
   請求項３に記載のカラオケ装置。
5. 前記告知処理は、歌詞情報の表示タイミングに同期して前記演技指導情報を告知することを特徴とする
   請求項４に記載のカラオケ装置。
6. 第１のカラオケ装置と第２のカラオケ装置が通信回線を介して接続されるカラオケシステムにおいて、
   前記第１のカラオケ装置は、第１の演奏処理と、告知処理と、撮像処理と、記憶処理とを実行する第１の制御手段を備え、
   前記第１の演奏処理は、指定された楽曲を演奏させ、
   前記告知処理は、前記第１の演奏処理にて演奏させる楽曲に対応する演技指導情報を表示または放音の少なくとも一方を用いて告知させ、
   前記撮像処理は、撮像手段により撮像させて撮像情報を取得し、
   前記記憶処理は、前記撮像処理にて取得された撮像情報を、前記演技指導情報、または、前記第１の演奏処理で演奏した楽曲の少なくとも一方に対応する属性情報に対応付けて記憶させ、
   前記第２のカラオケ装置は、第２の演奏処理と、映像表示処理とを実行する第２の制御手段を備え、
   前記第２の演奏処理は、指定された楽曲を演奏させ、
   前記映像表示処理は、前記第２の演奏処理で演奏される楽曲に対応した属性情報を有する前記撮像情報を表示させることを特徴とする
   カラオケシステム。
7. 前記映像表示処理において表示される前記撮像情報は、その属性情報に対応する表示期間に表示されることを特徴とする
   請求項６に記載のカラオケシステム。
8. カラオケ装置とサーバ装置が通信回線を介して接続されるカラオケシステムにおいて、
   前記カラオケ装置は、演奏処理と、告知処理と、撮像処理と、記憶処理とを実行する制
   御手段を備え、
   前記演奏処理は、指定された楽曲を演奏させ、
   前記告知処理は、前記演奏処理にて演奏させる楽曲に対応する演技指導情報を表示または放音の少なくとも一方を用いて告知させ、
   前記撮像処理は、撮像手段により撮像させて撮像情報を取得し、
   前記記憶処理は、前記撮像処理にて取得された撮像情報を、前記演技指導情報、または、前記演奏処理で演奏した楽曲の少なくとも一方に対応する属性情報に対応付けて記憶させ、
   前記サーバ装置は、前記撮像情報の属性情報に基づいて、楽曲に対応する前記撮像情報を選択し、選択された前記撮像情報に基づいて当該楽曲の背景映像を編集する編集処理を実行可能とすることを特徴とする
   カラオケシステム。
9. 前記編集処理において編集される前記撮像情報は、その属性情報に対応する表示期間にて表示されるように編集されることを特徴とする
   請求項８に記載のカラオケシステム。

Images