図1は、本発明が好適に適用されるカラオケシステム10の構成を説明する図である。この図1に示すカラオケシステム10においては、カラオケボックス、スナック、旅館等の店舗12における複数の個室14a、14b、14c、・・・(以下、特に区別しない場合には単に個室14と称する)にそれぞれ1台乃至は複数台ずつ(図1では1台ずつ)カラオケ装置16a、16b、16c、・・・(以下、特に区別しない場合には単にカラオケ装置16と称する)が設置されている。これら複数のカラオケ装置16は、LAN(local area network)24及びルータ22を介して通信回線20に接続されており、同様にその通信回線20に接続されたサーバ装置18等との相互間でその通信回線20を介して情報の通信が可能とされている。
また、前記カラオケシステム10は、複数の電子早見本装置28a、28b、28c、・・・(以下、特に区別しない場合には単に電子早見本装置28と称する)を備えており、前記カラオケ装置16の利用に際して、各利用者(グループ)毎に1台乃至数台ずつの前記電子早見本装置28が貸与され、各個室14において後述するように前記カラオケ装置16との間で対応付け処理が行われることで、そのカラオケ装置16の遠隔操作装置として用いられるようになっている。また、図1に示すように、前記店舗12内には前記複数のカラオケ装置16を相互に接続するLAN24が敷設されており、前記電子早見本装置28からのカラオケ装置16への入力は、所定のアクセスポイント26及びLAN24を介したLAN通信等により行われる。
前記通信回線20は、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続された広域情報通信網である。また、前記サーバ装置18は、例えば、前記カラオケシステム10を管理する情報配信サービス提供会社によって運営されるサーバであり、そのカラオケシステム10における楽曲データ(カラオケデータ)、背景映像情報、曲間情報等のデジタルコンテンツ(Digital Contents)の保管や入出力管理の基本的な制御を行うセンタ装置として機能する。また、前記カラオケシステム10を利用する各利用者毎の、前記カラオケ装置16を用いたカラオケ演奏に関する情報を、その利用者の識別情報(ユーザID)と対応付けて記憶するSNSデータベース108(図5を参照)を管理するデータベースサーバとして機能する。なお、本実施例においては、前記カラオケシステム10のセンタ装置としての機能及びデータベースサーバとしての機能を兼ね備えた単一の前記サーバ装置18を備えた構成について説明するが、それらセンタ装置及びデータベースサーバが個別のサーバ装置として構成されたものであってもよい。また、後述する前記サーバ装置18による各種制御が、複数のサーバ装置により分散的に実行される等の態様も考えられる。
図1に示すように、本実施例のカラオケシステム10は、前記通信回線20を介して複数のシステム乃至通信端末装置との間で相互に情報の送受信が可能とされている。すなわち、携帯型端末装置としての携帯電話機30及びタブレット32等が中継基地局34を介して前記通信回線20に接続されており、それら携帯電話機30及びタブレット32等と前記サーバ装置18等との間で相互に情報の送受信が可能とされている。また、その通信回線20には、前記携帯電話機30及びタブレット32等から前記カラオケ装置16に対する選曲入力等の情報を中継する所謂プロキシサーバ(proxy server)としてのサーバ装置36が接続されており、前記携帯電話機30及びタブレット32等から前記カラオケ装置16への情報の入力は、好適には、前記サーバ装置36を中継して行われるようになっている。ここで、前記携帯電話機30及びタブレット32等と前記サーバ装置36との間の通信回線は、そのサーバ装置36と前記カラオケ装置16との間の通信回線と態様の異なるものであっても構わない。例えば、前記携帯電話機30及びタブレット32等と前記サーバ装置36との間が一般回線により接続され、そのサーバ装置36と前記カラオケ装置16との間が専用回線により接続されるものであってもよい。
図2は、前記カラオケ装置16の構成を例示するブロック線図である。この図1に示すように、前記カラオケ装置16は、中央演算処理装置であるCPU42と、読出専用メモリであるROM44と、随時書込読出メモリであるRAM46と、記憶装置であるハードディスク48と、グラフィックスチップ(グラフィックスボード)等の映像処理部50と、サウンドチップ(サウンドボード)等の音声処理部52と、操作パネル54と、表示制御部56及び入力制御部58を介して前記CPU42に接続されたタッチパネルディスプレイ60と、LANインターフェイス66と、無線通信部68と、ビデオ出力端子70を介して前記映像処理部50に接続された映像表示装置であるディスプレイ72と、オーディオ入力端子74を介して前記音声処理部52に接続された音声入力装置であるマイクロフォン76と、オーディオ出力端子78を介して前記音声処理部52に接続された音声増幅装置であるアンプ80と、そのアンプ80に備えられた音声出力装置であるスピーカ82とを、備えて構成されている。
前記CPU42は、前記RAM46の一時記憶機能を利用しつつ前記ROM44に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置16における各種制御を実行する。すなわち、前記操作パネル54、タッチパネルディスプレイ60、或いは電子早見本装置28等により所定の楽曲(カラオケ演奏曲)が選曲入力された場合、その選曲入力された楽曲を前記RAM46等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク48から前記RAM46に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報(楽曲データ)を読み出す楽曲データ読出制御、楽曲の演奏進行に応じてそのRAM46から前記音声処理部52へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記RAM46に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像処理部50へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像処理部50を制御して所定の背景映像を再生させる背景映像出力制御、及びカラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御等の基本的な制御を実行する。
前記映像処理部50は、前記ディスプレイ72に表示される画面(映像)の描画に係る各種制御を行う。例えば、前記CPU42から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによって前記ビデオ出力端子70を介して前記ディスプレイ72に所定の画面を表示させる制御を行う。具体的には、前記カラオケ装置16による楽曲の演奏出力(カラオケ演奏)に際して、前記CPU42において生成された歌詞文字映像等の文字映像(テロップ)を出力させたり、前記ハードディスク48に記憶されたMPEG(Moving Picture Experts Group)データ等の背景映像情報に基づいて所定の背景映像を再生(デコード)させたり、その背景映像の前面側に前記歌詞文字映像を合成させて前記ディスプレイ72に表示させたり、その歌詞文字映像を前記楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。なお、本実施例においては、前記映像処理部50により前記ディスプレイ72の表示制御を行う一方、後述する表示制御部56により前記タッチパネルディスプレイ60(表示装置62)の表示制御を行う態様について説明するが、前記映像処理部50により前記タッチパネルディスプレイ60の表示制御をも行う態様も考えられる。この態様において、前記表示制御部56は必ずしも設けられなくともよい。
前記音声処理部52は、FM音源やPCM音源等の各種音源を備え、前記カラオケ装置16による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生するシンセサイザ(synthesizer)を備えている。このシンセサイザは、前記ハードディスク48から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。前記シンセサイザは、好適には、MIDI(Musical Instrument Digital Interface)端子を備えたものであり、前記演奏情報は、例えばMIDI形式のデータである。そのMIDIデータに基づいて前記シンセサイザにより生成された音楽信号は、前記マイクロフォン76から前記オーディオ入力端子74を介して入力される利用者(演奏者)の歌声とミキシングされ、前記オーディオ出力端子78を介して前記アンプ80に供給されてそのアンプ80により増幅されて前記スピーカ82から出力される。
前記操作パネル54は、前記カラオケ装置16の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記タッチパネルディスプレイ60は、画像(映像)を表示させると共に利用者の操作に応じて前記カラオケ装置16への操作入力を行う装置であり、そのタッチパネルディスプレイ60に所定の画像(映像)を表示させる表示装置62と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ60への接触により入力を行うタッチパネル64とを、備えている。前記表示制御部56は、前記CPU42から供給される情報に基づいて前記表示装置62に表示される画面(映像)の描画を制御する映像処理部である。前記入力制御部58は、前記タッチパネル64により入力される操作入力情報を前記CPU42等に供給する入力処理部である。以上の構成を備えていることで、前記タッチパネルディスプレイ60は、前記ディスプレイ72とは別に第2の映像表示装置として機能すると共に、前記カラオケ装置16の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。
前記LANインターフェイス66は、前記カラオケ装置16をLAN接続端子84を介して前記LAN24に接続するための接続器であり、そのように前記LAN24に接続されることで、前記カラオケ装置16は、同様に前記LAN24に接続された前記電子早見本装置28等の他の機器との間で情報の送受信が可能とされる。また、前記カラオケ装置16が設置される店舗等に複数台のカラオケ装置が備えられている場合において、同様に前記LAN24に接続されたカラオケ装置相互間において情報の送受信が可能とされる。例えば、前記LAN24に接続されたアクセスポイント26を介して受信される電子早見本装置28からの選曲入力を受け付けて前記RAM46に設けられた予約曲テーブルに記憶したり、そのアクセスポイント26を介して前記カラオケ装置16から電子早見本装置28へ所定の情報を送信したりというように、電波を介して前記カラオケ装置16と電子早見本装置28との間における相互の情報のやりとりが実行される。
前記カラオケ装置16は、図1に示すように、前記LAN24及びルータ22等を介して前記通信回線20に接続されており、同様にその通信回線20に接続された他の機器との相互間でその通信回線20を介して情報の通信が可能とされている。好適には、前記通信回線20を介して前記サーバ装置18に接続されており、そのサーバ装置18から楽曲データ(カラオケデータ)、背景映像情報、及び曲間情報等のデジタルコンテンツ(Digital Contents)の配信を受け付けるものである。すなわち、前記カラオケ装置16は、好適には、所定の通信回線に接続されてサーバとの間で各種情報の送受信を行う通信カラオケ装置であるが、斯かる通信回線に接続されない非通信型のカラオケ装置等にも本発明は好適に適用される。
前記無線通信部68は、前記カラオケ装置16と前記電子早見本装置28等の入力装置との間の無線通信を行う。例えば、前記電子早見本装置28等の入力装置から送信されるリモコン信号を受信するリモコン受信部として機能する。前記カラオケ装置16と電子早見本装置28との対応付け(くくりつけ)処理は、好適には、斯かるリモコン信号(赤外線信号)により前記無線通信部68を介して行われる。すなわち、前記電子早見本装置28は、それぞれ個別のシリアル番号を有しており、前記対応付け処理においては、例えばそのシリアル番号(例えば、下4桁)及び所定の接続コードを含む信号が接続通知として前記カラオケ装置16へ送信され、前記無線通信部68によりその接続信号を受信したカラオケ装置16に対して前記電子早見本装置28が対応付けられる。そのようにして前記カラオケ装置16に対応付けられた電子早見本装置28は、そのカラオケ装置16の入力装置(遠隔操作装置)として機能し、その電子早見本装置28から送信される信号が前記CPU42に供給されることで、前記カラオケ装置16の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力が受け付けられるようになっている。なお、前記対応付け処理が行われた後、前記電子早見本装置28と前記カラオケ装置16との間の通信は、前記LAN24及びアクセスポイント26等を介したLAN通信により行われる。また、本実施例においては、前記カラオケ装置16に対応付け処理の行われた電子早見本装置28等の入力装置もそのカラオケ装置16の一部を構成するものであるとして以下の説明を行う。
図3は、前記サーバ装置18の構成を説明する図である。この図3に示すように、前記サーバ装置18は、中央演算処理装置であるCPU90、読出専用メモリであるROM92、及び随時書込読出メモリであるRAM94を備え、前記CPU90によりRAM94の一時記憶機能を利用しつつROM92に予め記憶されたプログラムに従って信号処理を行う所謂ノイマン式コンピュータである。また、TFTやPDP等の映像表示装置96と、その映像表示装置96による映像の表示を制御するためのビデオボード(グラフィックスチップ)等の映像処理部98と、キーボード等の入力装置100と、その入力装置100による入力を処理するためのインターフェイス102と、前記CPU90等を前記通信回線20に接続するためのモデム104とを、備えて構成されている。また、前記サーバ装置36は、例えば、前記CPU90、ROM92、RAM94、及びモデム104等に関して図3に示すサーバ装置18と等価な構成を有する所謂ノイマン式コンピュータであり、本実施例においてはその詳細な説明を省略する。
図3に示すように、前記サーバ装置18は、楽曲データベース106及びSNSデータベース108をはじめとする各種データベースを備えている。この楽曲データベース106は、前記カラオケシステム10における前記カラオケ装置16等に配信するための多数の楽曲データ(カラオケデータ)を記憶するものであり、新しく作成された楽曲データはこの楽曲データベース106に蓄積される。そして、所定の配信制御プログラムにより定期的に、或いは前記カラオケ装置16等からの配信要求に応じて、随時新たな楽曲データが前記サーバ装置18の楽曲データベース106から前記通信回線20を介して配信され、前記カラオケ装置16等に配信される。
前記楽曲データベース106は、前記カラオケ装置16により出力可能な楽曲にそれぞれ対応する多数(例えば、数万曲分)の楽曲データ(カラオケデータ)を記憶する。この楽曲データは、前記音声処理部52により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字映像(歌詞テロップ)を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツIDである各楽曲に固有の選曲番号により識別される。また、前記楽曲データには、その楽曲の曲名、アーティスト名(歌手名)、発表年月日、曲の長さ(演奏時間)、ジャンル、曲調、アーティスト(歌手)の出身地、コンサート情報(近い将来その楽曲のコンサートが行われる開催地等に係る情報)、タイアップ情報(例えばその楽曲が主題歌として用いられたドラマの放映された曜日、時間帯、CMソング)等の情報が関連づけられて記憶されている。
前記SNSデータベース108は、前記カラオケシステム10の利用者を対象とするソーシャルネットワークサービス(Social Network Service)に係る各種情報を記憶する。このソーシャルネットワークサービスとは、例えば、予め会員登録された会員相互間に限定して情報の閲覧等のサービスを提供する会員制のコミュニティ型のウェブサイトをいう。なお、以下の説明において、ソーシャルネットワークサービスをSNSと略称する。前記SNSデータベース108は、前記カラオケシステム10を利用する各利用者毎の、前記カラオケ装置16を用いたカラオケ演奏に関する情報を、その利用者の識別情報(ユーザID)と対応付けて記憶する記憶装置である。このSNSデータベース108には、ユーザIDにより識別される各利用者毎に、例えばその利用者の名前(ニックネーム)、生年月日、実際の年齢、性別、メールアドレス、利用者の住所又は居所に対応する地域、血液型、星座、SNSへのログイン認証に用いられるパスワード、パスワードを忘れたときのための質問及び解答、アバタ(ネット上において利用者を象徴する人型映像)に関する情報、及び利用者の歌年齢等の情報がその利用者のユーザIDと対応付けられて記憶される。この歌年齢とは、利用者の楽曲の好みの傾向がどの程度の年代(何歳)に相当するものかを示す仮想的な年齢情報であり、対象となる利用者が前記カラオケ装置16において過去に選曲(演奏)した楽曲に基づいて判断される値である。
また、前記SNSデータベース108には、各利用者の前記カラオケ装置16を用いたカラオケ演奏に関する情報として、例えばその利用者が過去に利用したカラオケ装置16に対応する店舗12(そのカラオケ装置16が設置された店舗12)に関する情報である来店履歴、その利用者が前記カラオケ装置16によるカラオケ演奏において十八番曲或いはお気に入りとして登録した楽曲(簡易な操作により選曲入力を行い得るように設定された楽曲)に関する情報、その利用者が過去に前記カラオケ装置16によるカラオケ演奏において選曲した選曲履歴(カラオケ装置16において過去に選曲された楽曲の履歴)に関する情報、その利用者が前記カラオケ装置16によるカラオケ演奏において過去に行った演奏評価の評価結果に関する情報、及びその利用者がフレンドとして登録した他の利用者に関する情報等が各利用者毎にその利用者のユーザIDと対応付けられて記憶される。
また、前記SNSデータベース108には、前記カラオケ装置16の各利用者に対応する画像データが、その利用者のユーザIDと対応付けられて記憶される。この画像データは、好適には、各利用者の顔画像すなわち顔の輪郭と、その輪郭に対する目、鼻、及び口等のパーツの相対的な位置関係を把握するのに必要十分な画像に相当するものである。好適には、予め撮影された各利用者の顔画像が例えば前記SNS登録に際して前記SNSデータベース108に記憶されるものであるが、後述するように各利用者により投稿された動画データからその動画データに含まれる人物の顔画像がキャプチャされる等して、その利用者に対応する顔画像として記憶されるものであってもよい。また、各利用者の所有に係るアクセサリ等の画像がその利用者に対応付けられて前記SNSデータベース108に記憶されるものであってもよい。すなわち、本実施例においては、前記SNSデータベース108が前記カラオケ装置16の利用者に対応する画像(顔画像)と、その利用者の識別情報とを対応付けて記憶する顧客データベースに対応する。
また、前記SNSデータベース108には、前記カラオケ装置16の各利用者から投稿された動画データが、その利用者のユーザIDと対応付けられて記憶される。例えば、前記カラオケ装置16に備えられた図示しない撮像装置や、携帯型端末装置である前記携帯電話機30に備えられたデジタルカメラ144等により撮影された動画データ(撮像データ)が、その動画データに対応する楽曲の識別情報(好適には選曲番号)及び投稿者である利用者の識別情報(好適にはユーザID)と対応付けられて記憶される。すなわち、本実施例においては、前記SNSに係るデータベースサーバとしての機能と動画情報配信サーバとしての機能を兼ね備えた単一の前記サーバ装置18を備えた構成について説明するが、それらの機能が複数のサーバ装置により分散的に実行される等の態様も考えられる。
図4は、前記携帯電話機30の構成を例示する図である。前述のように、本実施例のカラオケシステム10は、前記サーバ装置18等との間で情報の通信を行う携帯型端末装置として前記携帯電話機30及びタブレット32等を備えたものであるが、以下の説明においては、前記携帯電話機30を携帯型端末装置として用いる実施例について説明し、余の携帯型端末装置については説明を省略する。すなわち、以下に説明する実施例における各種制御は、前記タブレット32をはじめとする前記携帯電話機30以外の携帯型端末装置においても好適に実行されるものである。
図4に示すように、前記携帯電話機30は、中央演算処理装置であるCPU110と、読出専用メモリであるROM112と、随時書込読出メモリであるRAM114と、フラッシュROM等の記憶部116と、アンテナ120と、送受信部122と、モデム部124と、音声コーディック部126と、アナログフロントエンド128と、スピーカ130と、マイクロフォン132と、タッチパネルディスプレイ134と、撮像装置であるデジタルカメラ144とを、備えて構成されている。
前記CPU110は、随時書込読出メモリであるRAM114の一時記憶機能を利用しつつ読出専用メモリであるROM112に予め記憶されたプログラムに従って信号処理を行う所謂マイクロコンピュータであり、前記タッチパネルディスプレイ134に表示された文字入力ボタンに対する入力操作に従って文字入力が実行されるように制御したり、斯かる入力操作により入力された電話番号に従って通信或いは通話チャンネルを成立させると共に相互の通信或いは通話が可能となるように制御したり、前記入力操作により入力されたURLに従って所定のウェブサイトにアクセスしたり、メールの作成及び送受信を制御したり、前記デジタルカメラ144により撮像を行う等の基本的な制御に加えて、後述する本実施例の撮像データ記憶制御等の各種制御を実行する。例えば、前記携帯電話機30の通話状態においては、前記アンテナ120を介して送受信部122に受けた通話信号等がモデム部124を介して音声コーディック部126においてデジタルコード信号から音声信号に変換され、アナログフロントエンド128によりスピーカ130が駆動されて音声が出力される。同時に、前記マイクロフォン132により音声から変換された音声信号が前記アナログフロントエンド128を介して前記音声コーディック部126に送られてそこでディジタル信号に変換され、前記モデム部124、送受信部122、及びアンテナ120を介して送信される。
前記携帯電話機30は、前記タッチパネルディスプレイ134に所定の映像を表示させる表示装置136と、その表示装置136による表示を制御する表示制御部138と、利用者の指や図示しない備え付けのペン等によるタッチパネルディスプレイ134への接触により入力を行うタッチパネル140と、そのタッチパネル140による入力を制御する入力制御部142とを、備えている。また、前記送受信部122等を介して前記通信回線20に接続され、その通信回線20に接続された前記サーバ装置18をはじめとする各種通信機器との間で情報の通信が可能とされる。また、前記通信回線20を介しての通信状態において、前記CPU110は、前記タッチパネルディスプレイ134等により入力された信号を通信先へ送信すると同時に、通信先から受信された信号をそのタッチパネルディスプレイ134に表示させる制御を行う。すなわち、前記携帯電話機30は、前記タッチパネルディスプレイ134を有すると共に、そのタッチパネルディスプレイ134を介しての操作に応じたインターネットへのアクセス機能をはじめとする各種機能を有する所謂スマートフォンである。
前記デジタルカメラ144は、例えばCCD(charge coupled device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子及びレンズを備え、そのレンズから入射される映像を撮像素子により検知し、その映像を電子情報(撮像データ)として取得する所謂デジタルビデオカメラであり、少なくとも動画(時間の経過に従い変化する動きのある映像)を撮影し得るものであるが、必要に応じて静止画(スチル写真)を撮影できるように構成されたものであってもよい。このデジタルカメラ144により撮影された撮像データは、図示しないビデオ端子等のインターフェイスを介して前記CPU110等へ供給され、例えば前記マイクロフォン132から入力される音声情報と共に、例えばAVI(Audio-Video Interleaved)形式、MPEG(Moving Picture Experts Group)形式、FLV(Flash Video)形式等の映像ファイル(動画データ)として前記記憶部116等に記憶される。
図5は、前記サーバ装置18のCPU90、前記携帯電話機30のCPU110、及び前記サーバ装置36のCPU90に備えられた制御機能の要部を説明する機能ブロック線図である。この図5に示すように、好適には、SNS管理制御手段150、動画配信制御手段152、及び楽曲特定手段170は、前記サーバ装置18のCPU90に機能的に備えられたものであり、選曲入力制御手段154、利用者特定手段158、ログイン認証制御手段162、楽曲特定手段164、撮像記憶手段166、及び撮像リスト表示手段168は、前記携帯電話機30のCPU110に機能的に備えられたものであり、選曲入力制御手段156は、前記サーバ装置36のCPU90に機能的に備えられたものである。すなわち、本実施例においては、携帯型端末装置としての前記携帯電話機30(デジタルカメラ144)により撮影された撮像データに対応する歌唱者の特定制御、その撮像データに対応する楽曲の特定制御、及びその撮像データを対応する楽曲等と関連付けて前記サーバ装置18(SNSデータベース108)に記憶させる撮像記憶制御を前記携帯電話機30のCPU110により実行する例を説明するが、例えば前記楽曲特定手段170について後述するように、それらの制御の一部乃至全部が前記サーバ装置18或いは前記カラオケ装置16等により実行されるものであってもよい。すなわち、前記利用者特定手段158、楽曲特定手段164、及び撮像記憶手段166の一部乃至全部が前記サーバ装置18のCPU90或いは前記カラオケ装置16のCPU42に機能的に備えられたものであってもよい。
前記SNS管理制御手段150は、前記カラオケシステム10におけるSNSに関する情報管理制御を行う。例えば、そのSNSに関する情報登録制御を行う。具体的には、前記電子早見本装置28或いは携帯電話機30等の外部装置による入力操作に応じて、前記SNSデータベース108に新規ユーザ(利用者)の登録を行ったり、そのSNSデータベース108に記憶された登録内容を変更(更新)したり、そのSNSデータベース108に記憶された複数の利用者をフレンドとして相互に対応付けて登録したり、そのフレンドに係る情報に基づいて各利用者の前記カラオケ装置16を用いたカラオケ演奏に関する情報の閲覧レベルを設定したりというように、前記カラオケシステム10におけるSNSの統括的な管理制御を行う。
前記動画配信制御手段152は、前記SNSデータベース108に記憶された動画データを前記通信回線20を介して配信する。例えば、携帯型端末装置である前記携帯電話機30や図示しないパーソナルコンピュータ等、前記通信回線20に接続された通信端末装置からその通信回線20を介して所定の動画データの配信要求があった場合には、その配信要求に応じて前記SNSデータベース108に記憶されたその配信要求に係る動画データを要求元である通信端末装置に前記通信回線20を介して配信する。この動画配信制御手段152により各通信端末装置に配信された動画データは、斯かる通信端末装置に備えられたブラウザ(Web browser)等によりその通信端末装置の表示部(映像表示装置)に表示される。
また、前記動画配信制御手段152は、前記SNSデータベース108に記憶された複数の動画データを、共演動画(コラボ動画)として前記通信回線20を介して配信する。この共演動画とは、同一の楽曲に対応する複数(好適には1組)の動画データを、所定の表示画面内において同期(併行)して出力させるものである。すなわち、前記動画配信制御手段152は、前記通信回線20に接続された通信端末装置からその通信回線20を介して所定の共演動画の配信要求があった場合には、その配信要求に応じて前記SNSデータベース108に記憶されたその配信要求に係る共演動画を表示させるためのデータを要求元である通信端末装置に前記通信回線20を介して配信する。この共演動画を表示させるためのデータは、好適には、前記SNSデータベース108においてそれぞれ独立した動画データとして記憶された組み合わせ対象となる動画データと、それらの動画データを共演動画として同期出力させるための組み合わせ情報としての共演動画情報であるが、それら組み合わせに係る複数の動画データが予め合成され、単一の動画データ(動画ファイル)として記憶されたものであってもよい。
前記ログイン認証制御手段162は、前記タッチパネルディスプレイ134により入力される識別情報(ユーザID)に応じて前記カラオケシステム10におけるSNSの利用者を認証し、その認証が正常に行われた場合にはその識別情報をもってその利用者のSNSへのログインを許可する。具体的には、前記タッチパネルディスプレイ134により識別情報であるユーザID及びパスワードが入力された場合、そのユーザIDに対応付けられて前記SNSデータベース108に記憶されたパスワードが入力されたものと一致するか否かを前記サーバ装置18に照会し、一致する場合には正常な認証を行う一方、一致しない場合にはエラーとする。なお、前記ログイン認証制御手段162は、前記タッチパネルディスプレイ134によりユーザID及びパスワードを前記サーバ装置18へ送信するものであってもよく、実質的な認証はそのサーバ装置18側で行うものであっても構わない。
また、前記ログイン認証制御手段162は、前記電子早見本装置28の制御装置に機能的に備えられたものであってもよく、その電子早見本装置28により実行されるものであってもよい。すなわち、前記電子早見本装置28に備えられたタッチパネルディスプレイにより識別情報であるユーザID及びパスワードが入力された場合、そのユーザIDに対応付けられて前記SNSデータベース108に記憶されたパスワードが入力されたものと一致するか否かを前記サーバ装置18に照会し、一致する場合には正常な認証を行う一方、一致しない場合にはエラーとする。前記電子早見本装置28における処理により正常な認証が行われた場合、好適には、認証の行われた前記電子早見本装置28のシリアル番号、及びその電子早見本装置28と対応付けられたカラオケ装置16の装置ID等の情報が各利用者毎に前記SNSデータベース108に記憶される。
前記選曲入力制御手段154は、前記カラオケシステム10における携帯型端末装置としての前記携帯電話機30の利用に際して、その携帯電話機30を対象となるカラオケ装置16に対応付ける(くくりつける)対応付け処理を行う。すなわち、前記カラオケ装置16の入力装置として前記携帯電話機30を用いる上で、その携帯電話機30による入力(例えば選曲入力)の対象となるカラオケ装置16を設定する処理を行う。好適には、前記ログイン認証制御手段162による認証結果を利用して斯かる対応付け処理を行う。例えば、前記ログイン認証制御手段162により正常な認証が行われた場合、前記SNSデータベース108が参照され、受信されたユーザIDに対応する利用者が用いているカラオケ装置16の装置IDが取得される。そして、斯かるユーザIDに対応付けられて前記SNSデータベース108に記憶されたパスワードが、前記携帯電話機30から受信されたパスワードと一致した場合、その携帯電話機30と取得された装置IDに対応するカラオケ装置16とを対応付ける処理が行われ、その対応付け情報が前記サーバ装置36へ送信される。すなわち、前記携帯電話機30とカラオケ装置16との対応付けにおける実質的な処理は前記サーバ装置18側で行われるものであっても構わない。また、前記対応付け処理は、前記携帯電話機30による選曲入力機能の使用開始時に実行されるものであってもよいが、その携帯電話機30から所定の楽曲の選曲入力が前記カラオケ装置16に対して行われた時点で実行されるものであってもよい。
前記選曲入力制御手段154は、前記カラオケ装置16に対して所定の楽曲の選曲入力を行う。すなわち、前記のような対応付け処理により前記携帯電話機30と対応付けられたカラオケ装置16に対して、前記タッチパネルディスプレイ134による入力操作に応じて所定の楽曲の選曲入力情報の送信を行う。具体的には、少なくとも選曲入力の対象となる楽曲の選曲番号を送信する。好適には、選曲入力の対象となる楽曲の選曲番号及び選曲主体である利用者のユーザIDを送信する。本実施例において、前記携帯電話機30からの前記カラオケ装置16に対する選曲入力情報の送信は、例えばセキュリティ保護のために前記サーバ装置36を経由して行われる。すなわち、前記選曲入力制御手段154から前記カラオケ装置16に対して送信された選曲入力情報は、前記通信回線20を介して一旦前記サーバ装置36により受信される。そして、そのサーバ装置36における前記選曲入力制御手段156により、対象となるカラオケ装置16すなわち前記対応付け処理により前記携帯電話機30と対応付けられたカラオケ装置16に対してその選曲入力情報が送信され、対象となるカラオケ装置16における予約曲テーブルに選曲入力情報に係る楽曲の登録(選曲予約)が行われる。
前記利用者特定手段158は、前記SNSデータベース108に記憶された関係から、携帯型端末装置である前記携帯電話機30のデジタルカメラ144により撮影された撮像データに含まれる画像に基づいて、その撮像データに対応する利用者を特定する。好適には、前記携帯電話機30のデジタルカメラ144により撮影された撮像データに含まれる顔画像に基づいて、その撮像データに対応する利用者を特定する。具体的には、前記デジタルカメラ144により撮影された撮像データに関して、よく知られた顔認識技術によりその撮像データに含まれる人物の顔画像が認識される。そして、その顔画像が前記SNSデータベース108に記憶された各利用者の顔画像と比較され、一致する顔画像が存在する場合には、その顔画像に対応する利用者が前記撮像データに対応する利用者として特定される。また、各利用者の所有に係るアクセサリ等の画像がその利用者に対応付けられて前記SNSデータベース108に記憶されている態様においては、前記利用者特定手段158は、前記SNSデータベース108に記憶された関係から、前記デジタルカメラ144により撮影された撮像データに含まれるアクセサリ等の画像に基づいて、その撮像データに対応する利用者を特定する。
前記ログイン認証制御手段162は、好適には、前記利用者特定手段158による特定結果を用いて前記ログイン認証制御を行うものであってもよい。例えば、前記利用者特定手段158により前記SNSデータベース108の記憶内容の照会が行われ、前記デジタルカメラ144により撮影された撮像データに対応する利用者が特定された場合、その利用者のSNSへのログインを許可する。また、斯かるログイン認証が正常に行われた場合、そのログイン認証に係る利用者に対応して前記SNSデータベース108に記憶された各種情報(例えば、利用者の名前、性別、選曲履歴においてよく歌われている楽曲等)が取得され、前記タッチパネルディスプレイ134に表示されるものであってもよい。
図5に示すように、前記利用者特定手段158は、歌唱者特定手段160を含んでいる。この歌唱者特定手段160は、前記SNSデータベース108に記憶された関係から、携帯型端末装置である前記携帯電話機30のデジタルカメラ144により撮影された撮像データに含まれる画像に基づいて、その撮像データに対応する歌唱者を特定する。好適には、前記携帯電話機30のデジタルカメラ144により撮影された撮像データに含まれる顔画像に基づいて、その撮像データに対応する歌唱者を特定する。具体的には、前記デジタルカメラ144により撮影された撮像データに関して、よく知られた顔認識技術によりその撮像データに含まれる人物の顔画像が認識される。そして、その顔画像が前記SNSデータベース108に記憶された各利用者の顔画像と比較され、一致する顔画像が存在する場合には、その顔画像に対応する利用者が前記撮像データに対応する歌唱者として特定される。また、各利用者の所有に係るアクセサリ等の画像がその利用者に対応付けられて前記SNSデータベース108に記憶されている態様においては、前記利用者特定手段158は、前記SNSデータベース108に記憶された関係から、前記デジタルカメラ144により撮影された撮像データに含まれるアクセサリ等の画像に基づいて、その撮像データに対応する歌唱者を特定する。
前記歌唱者特定手段160は、好適には、前記デジタルカメラ144により撮影された撮像データに複数の人物の顔画像が含まれる場合には、その撮像データに含まれる前記マイクロフォン76に相当する画像に基づいてその撮像データに対応する歌唱者を特定する。具体的には、前記デジタルカメラ144により撮影された撮像データに関して、よく知られた画像認識技術によりその撮像データに含まれる前記マイクロフォン76に相当する画像が認識される。そして、その撮像データに含まれる複数の顔画像のうち、認識された前記マイクロフォン76に相当する画像に最も近い顔画像が前記SNSデータベース108に記憶された各利用者の顔画像と比較され、一致する顔画像が存在する場合には、その顔画像に対応する利用者が前記撮像データに対応する歌唱者として特定される。
前記楽曲特定手段164、170は、携帯型端末装置である前記携帯電話機30の前記デジタルカメラ144による撮像データの撮影時点において、前記カラオケ装置16により演奏出力が行われていた楽曲を特定する。換言すれば、前記デジタルカメラ144により撮影された撮像データが、前記カラオケ装置16において演奏出力可能な多数の楽曲のうちどの楽曲のカラオケ演奏を行っている様子を撮影したものか特定する制御を行う。ここで、前記楽曲特定手段164は、前記携帯電話機30による前記撮像データの前記SNSデータベース108へのアップロードに際して、その携帯電話機30のCPU110により前記楽曲の特定を行う態様において動作するものであり、斯かる態様において、前記楽曲特定手段170は必ずしも設けられなくともよい。また、前記楽曲特定手段170は、前記携帯電話機30による前記撮像データの前記SNSデータベース108へのアップロード後に、前記サーバ装置18のCPU90により前記楽曲の特定を行う態様において動作するものであり、斯かる態様において、前記楽曲特定手段164は必ずしも設けられなくともよい。
前記楽曲特定手段164は、好適には、前記携帯電話機30の前記デジタルカメラ144による対象となる撮像データの撮影前に、その携帯電話機30(選曲入力制御手段154)により前記カラオケ装置16に対して選曲入力された楽曲を、前記対象となる撮像データの撮影時点において前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。すなわち、前記携帯電話機30の前記デジタルカメラ144による撮像データの撮影時点より前(例えば、その時点を遡ること所定時間内)に、その携帯電話機30から前記サーバ装置36(選曲入力制御手段156)を介して前記カラオケ装置16に対して選曲入力された楽曲が照会され、前記携帯電話機30から選曲入力された楽曲が存在する場合には、その楽曲を対象となる撮像データの撮影時点において前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。また、前記携帯電話機30から前記カラオケ装置16に対して選曲入力された楽曲が複数存在する場合、好適には、後述する図8に示すように、それらの楽曲を前記タッチパネルディスプレイ134に選択入力可能に表示させ、利用者の入力操作により選択された楽曲を対象となる撮像データの撮影時点において前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。
また、前記楽曲特定手段164は、好適には、前記カラオケ装置16に対して選曲入力された複数の楽曲から、前記歌唱者特定手段160により特定された歌唱者を選曲入力主体とする楽曲を、前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。すなわち、前記カラオケ装置16に対して選曲入力された複数の楽曲すなわち前記RAM46の予約曲テーブルに記憶された複数の予約曲から、前記歌唱者特定手段160により特定された歌唱者を選曲入力主体とする楽曲(予約曲)を検索し、その歌唱者を選曲入力主体とする楽曲が存在する場合には、その楽曲を対象となる撮像データの撮影時点において前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。また、前記歌唱者特定手段160により特定された歌唱者を選曲入力主体とする複数の楽曲が検索された場合、好適には、後述する図8に示すように、それらの楽曲を前記タッチパネルディスプレイ134に選択入力可能に表示させ、利用者の入力操作により選択された楽曲を対象となる撮像データの撮影時点において前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。
図6は、携帯型端末装置である前記携帯電話機30の前記デジタルカメラ144により撮影される撮像データ172(撮像データ172に対応する動画の1コマ)の一例を示す図であり、その撮像データ172が前記タッチパネルディスプレイ134に表示された様子を示している。この撮像データ172に関して前記楽曲特定手段164による楽曲の特定制御が行われ、候補となる楽曲が1曲に定まる場合には、図7に示すように、その楽曲の曲名(及び好適には歌手名)と共に楽曲確定ボタン174及び楽曲否定ボタン176が前記タッチパネルディスプレイ134に表示される。この図7に示す画面において、前記楽曲確定ボタン174(タッチパネル140における楽曲確定ボタン174に対応する相対位置)に対する利用者の指や備え付けのペン等による接触操作(以下、接触入力操作という)が行われた場合、その画面に表示された楽曲が前記カラオケ装置16により演奏出力が行われていた楽曲として特定される。また、図7に示す画面において、前記楽曲否定ボタン176に対する接触入力操作が行われた場合、その画面に表示された楽曲は前記カラオケ装置16により演奏出力が行われていた楽曲として特定されず、前記楽曲特定手段164による楽曲の特定制御が再開される。また、候補となる楽曲が1曲に定まらず、複数の楽曲が前記カラオケ装置16により演奏出力が行われていた楽曲の候補として存在する場合には、図8に示すように、候補となる複数(図8に示す例では2曲)の楽曲それぞれの曲名(及び好適には歌手名)と共に楽曲選択ボタン178a、178b(以下、特に区別しない場合には単に楽曲選択ボタン178という)が前記タッチパネルディスプレイ134に表示される。この図8に示す画面において、何れかの楽曲選択ボタン178に対する接触入力操作が行われた場合、その接触入力操作に係る楽曲選択ボタン178に対応する楽曲が前記カラオケ装置16により演奏出力が行われていた楽曲として特定される。
前記楽曲特定手段170は、携帯型端末装置である前記携帯電話機30等から前記SNSデータベース108へ投稿(アップロード)された動画データ(撮像データ)に対応する楽曲を特定する。好適には、前記携帯電話機30等から前記SNSデータベース108へ動画データが投稿された際、その動画データの投稿者である利用者に対応付けられて記憶された前記カラオケ装置16の選曲履歴を照会し、その選曲履歴に基づいて前記動画データに対応する楽曲を特定する。例えば、対象となる動画データの撮影日時(データの作成日時)と、前記選曲履歴における各楽曲の選曲日時とが比較され、例えばその撮影日時の直前に選曲された楽曲を、前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。また、前記SNSデータベース108に記憶される選曲履歴が、前記カラオケ装置16において各楽曲が実際に演奏されていた日時を記憶するものである場合には、対象となる動画データの撮影日時において演奏されていた楽曲を前記カラオケ装置16により演奏出力が行われていた楽曲として特定する。
前記撮像記憶手段166は、携帯型端末装置である前記携帯電話機30のデジタルカメラ144により撮影された前記撮像データを、前記楽曲特定手段164により特定された楽曲と対応付けて前記サーバ装置18のSNSデータベース108に記憶させる。好適には、前記デジタルカメラ144により撮影された前記撮像データを、前記歌唱者特定手段160により特定された歌唱者及び前記楽曲特定手段164により特定された楽曲と対応付けて前記SNSデータベース108に記憶させる。具体的には、前記デジタルカメラ144による撮像データの撮影終了後、前記タッチパネルディスプレイ134等によりその撮像データを前記SNSデータベース108に投稿する操作が行われた場合には、前記通信回線20を介してその撮像データが前記サーバ装置18へアップロードされ、歌唱者のユーザID及び特定された楽曲の選曲番号と対応付けられて前記SNSデータベース108に記憶される。
前記携帯電話機30等から前記SNSデータベース108へ動画データが投稿された際、前記楽曲特定手段170によりその動画データに対応する楽曲の特定を行う態様においては、前記撮像記憶手段166に対応する機能が前記サーバ装置18のCPU90に備えられる。斯かる態様において、前記撮像記憶手段166は、前記携帯電話機30等からアップロードされた動画データを、投稿者のユーザID及び前記楽曲特定手段170により特定された楽曲と対応付けて前記SNSデータベース108に記憶させる。すなわち、斯かる態様において、前記撮像記憶手段166は、前記SNSデータベース108に記憶された動画データと、歌唱者のユーザID及び特定された楽曲の選曲番号との対応付け処理を行う。
前記撮像記憶手段166は、好適には、携帯型端末装置である前記携帯電話機30のデジタルカメラ144により撮影された前記撮像データに複数の人物の顔画像が含まれる場合には、前記利用者特定手段158によりその撮像データに含まれる全ての顔画像に相当する利用者を特定してその識別情報を取得し、前記撮像データを、取得された全ての利用者の識別情報及び前記楽曲特定手段164により特定された楽曲と対応付けて前記サーバ装置18(SNSデータベース108)に記憶させる。換言すれば、前記デジタルカメラ144により撮影された撮像データを、その撮像データに含まれる顔画像にそれぞれ対応する全ての利用者の識別情報及び前記楽曲特定手段164により特定された楽曲と対応付けて前記SNSデータベース108に記憶させる。例えば、図9に示すように、前記デジタルカメラ144により撮影された撮像データ180(撮像データ180に対応する動画の1コマ)に複数の人物の顔画像182a、182b、182c(以下、特に区別しない場合には単に顔画像182という)が含まれ、前記利用者特定手段158によりその撮像データ180に含まれる全ての顔画像182に相当する利用者が特定された場合、その撮像データ180を、特定された全ての利用者の識別情報及び前記楽曲特定手段164により特定された楽曲と対応付けて前記SNSデータベース108に記憶させる。斯かる処理により、前記携帯電話機30から投稿される前記撮像データ180の投稿者は、その撮像データ180に含まれる顔画像182にそれぞれ対応する全ての利用者となる。換言すれば、前記携帯電話機30から投稿される前記撮像データ180は、その撮像データ180に含まれる顔画像182にそれぞれ対応する全ての利用者にそれぞれ対応付けられて、各利用者の投稿動画として前記SNSデータベース108に記憶される。
前記撮像リスト表示手段168は、前記楽曲特定手段164により特定された楽曲と同じ楽曲に対応付けられて前記サーバ装置18に記憶された動画データ(撮像データ)を前記タッチパネルディスプレイ134に選択可能に表示させる。好適には、前記楽曲特定手段164により特定された楽曲と同じ楽曲に対応付けられて前記サーバ装置18に記憶された動画データを、前記共演動画の組み合わせ候補として前記タッチパネルディスプレイ134に選択可能に表示させる。すなわち、前記デジタルカメラ144による撮像データの撮影中に、前記楽曲特定手段164により前記カラオケ装置16において演奏出力が行われている楽曲が特定された場合には、前記SNSデータベース108において同一の楽曲に対応付けられて記憶された動画データの検索が行われる。この検索に関して、好適には、各動画データの閲覧回数や、各動画データの投稿者と前記撮像データの撮影主体である利用者とのフレンド設定の有無に応じて検索の優先度が定められる。そして、前記同一の楽曲に対応付けられて記憶された動画データが検索された場合、図10に示すように、検索された複数(図10に示す例では3つ)の動画データそれぞれのサムネイル184a、184b、184c(以下、特に区別しない場合には単にサムネイル184という)が、撮影中の撮像データ172と併行して前記携帯電話機30のタッチパネルディスプレイ134に表示される。そのようにして前記タッチパネルディスプレイ134に表示されたサムネイル184の何れかに対する接触入力操作が行われた場合、その接触入力操作に係るサムネイル184に対応する動画データと、前記デジタルカメラ144により撮影されている撮像データ172とが、前記共演動画として組み合わされる共演動画設定が行われる。すなわち、前記デジタルカメラ144により撮影された撮像データが前記SNSデータベース108に投稿された際、前記接触入力操作に係るサムネイル184に対応する動画データとの組み合わせで前記共演動画としての設定がなされる。
図11は、前記動画配信制御手段152により配信される共演動画188の一例を示す図である。この図11に示す共演動画188は、前記デジタルカメラ144により撮影された撮像データ172と、その撮像データ172に対応する楽曲と同一の楽曲に対応付けられて前記SNSデータベース108に記憶された動画データ186とが組み合わされた共演動画188である。この図11に示すように、前記動画配信制御手段152は、前記SNSデータベース108に記憶された複数の動画データであって、相互に共演動画として設定された動画データ172、186を、共演動画188として前記通信回線20を介して配信する。すなわち、配信要求の要求元である通信端末装置において、それら複数の動画データ172、186を共演動画188として同期(併行)して出力させる。斯かる制御により、前記携帯電話機30のデジタルカメラ144により撮影された撮像データ172を、前記SNSデータベース108に記憶された動画データとの共演動画の組み合わせの対象とすることができる。
図12は、前記携帯電話機30のCPU110による撮像データ記憶制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ(以下、ステップを省略する)S1において、前記デジタルカメラ144により撮像データの撮影が行われているか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、よく知られた顔認識技術により前記デジタルカメラ144により撮影された撮像データに含まれる人物の顔画像が認識される。次に、S3において、S2にて認識された顔画像が前記SNSデータベース108に記憶された各利用者の顔画像と比較され、一致する顔画像が存在するか否かが判断される。このS3の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S3の判断が肯定される場合には、S4以下の処理が実行される。
S4においては、前記SNSデータベース108に記憶された顔画像がS2にて認識された顔画像と一致する利用者が、前記デジタルカメラ144により撮影された撮像データに対応する歌唱者として特定される。また、前記撮像データに複数の顔画像が含まれる場合には、各顔画像に対応する利用者が特定される。また、斯かる利用者の前記SNSにおけるログイン認証が行われていない場合には、前記デジタルカメラ144により撮影された撮像データに対応する利用者のログイン認証が行われる。次に、S5において、前記カラオケ装置16に対して選曲入力された複数の楽曲すなわち前記RAM46の予約曲テーブルに記憶された複数の予約曲のうち、S4にて特定された歌唱者を選曲主体とする予約曲が存在するか否かが判断される。このS5の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S5の判断が肯定される場合には、S6において、S4にて特定された歌唱者を選曲主体とする予約曲は1曲であるか否かが判断される。このS6の判断が肯定される場合には、S8以下の処理が実行されるが、S6の判断が否定される場合には、S7において、S4にて特定された歌唱者を選曲主体とする予約曲のうち何れかの楽曲が選択されたか否か、例えば前記タッチパネルディスプレイ134に前述した図8に示すような楽曲選択ボタン178を含む画面が表示され、何れかの楽曲選択ボタン178に対する接触入力操作が行われたか否かが判断される。このS7の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S7の判断が肯定される場合には、S8以下の処理が実行される。
S8においては、S4にて特定された歌唱者を選曲主体とする予約曲或いはその予約曲のうちS7にて選択された楽曲が、前記デジタルカメラ144により撮影された撮像データに対応する楽曲として特定される。次に、S9において、前記デジタルカメラ144により撮像データの撮影が終了させられるか否か(或いは、撮影されている楽曲が終了したか否か)が判断される。このS9の判断が否定されるうちは、S9の判断が繰り返されることにより待機させられるが、S9の判断が肯定される場合には、S10において、前記デジタルカメラ144による撮影が制御され、そのデジタルカメラ144により撮影された撮像データが、前記通信回線20を介して前記サーバ装置18へアップロードされ、S4にて特定された歌唱者、S8にて特定された楽曲、及びS4にて複数の利用者が特定された場合には全ての利用者と対応付けられて前記SNSデータベース108に記憶された後、本ルーチンが終了させられる。
図13は、前記携帯電話機30のCPU110による共演動画設定制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。この図13に示す制御において、前述した図12に示す制御と共通するステップについては同一の符号を付してその説明を省略する。
図13に示す制御では、前述したS8の処理に続くS11において、前記SNSデータベース108においてS8にて特定された楽曲と同一の楽曲に対応付けられて記憶された動画データの検索が行われ、検索された動画データそれぞれのサムネイル184が前記携帯電話機30のタッチパネルディスプレイ134に表示される。次に、S12において、前記タッチパネルディスプレイ134に表示された何れかのサムネイル184に対する接触入力操作が行われたか否かが判断される。このS12の判断が否定されるうちは、S12の判断が繰り返されることにより待機させられるが、S12の判断が肯定される場合には、S13において、接触入力操作に係るサムネイル184に対応する動画データと、前記デジタルカメラ144により撮影された撮像データとが、前記共演動画として組み合わされる共演動画設定が行われた後、本ルーチンが終了させられる。
以上の制御において、S2〜S4が前記利用者特定手段158、歌唱者特定手段160、及びログイン認証制御手段162の動作に、S5〜S8が前記楽曲特定手段164の動作に、S10が前記撮像記憶手段166の動作に、S11が前記撮像リスト表示手段168の動作に、それぞれ対応する。
このように、本実施例によれば、携帯型端末装置である前記携帯電話機30の撮像装置としての前記デジタルカメラ144による撮像データの撮影時点において、前記カラオケ装置16により演奏出力が行われていた楽曲を特定する楽曲特定手段164(S5〜S8)乃至170と、前記携帯電話機30のデジタルカメラ144により撮影された前記撮像データを、前記楽曲特定手段164、170により特定された楽曲と対応付けて前記サーバ装置16に記憶させる撮像記憶手段166(S10)とを、備えたものであることから、前記携帯電話機30により撮影された撮像データに関して、どの楽曲のカラオケ演奏を行っている様子を撮影したものか特定でき、特定された楽曲とその撮像データとを対応付けて記憶させることで、その撮像データを同一の楽曲に対応する他の動画と組み合わせるといった処理を行うことが可能となる。すなわち、利用者がカラオケ演奏を行う様子を携帯電話機30で撮影した撮像データの利便性を向上させるカラオケシステム10を提供することができる。
また、前記カラオケ装置16の利用者に対応する画像と、その利用者の識別情報とを対応付けて記憶する顧客データベースとしての前記SNSデータベース108、そのSNSデータベース108に記憶された関係から、前記携帯電話機30のデジタルカメラ144により撮影された前記撮像データに含まれる画像に基づいて、その撮像データに対応する歌唱者を特定する歌唱者特定手段160(S2〜S4)とを、備え、前記楽曲特定手段164は、前記カラオケ装置16に対して選曲入力された複数の楽曲から、前記歌唱者特定手段160により特定された歌唱者を選曲入力主体とする楽曲を、前記カラオケ装置16により演奏出力が行われていた楽曲として特定するものであり、前記撮像記憶手段166は、前記携帯電話機30のデジタルカメラ144により撮影された前記撮像データを、前記歌唱者特定手段160により特定された歌唱者及び前記楽曲特定手段164により特定された楽曲と対応付けて前記サーバ装置18に記憶させるものであるため、前記携帯電話機30により撮影された撮像データに関して、どの楽曲のカラオケ演奏を行っている様子を撮影したものか実用的な態様で特定でき、特定された楽曲及び歌唱者とその撮像データとを対応付けて記憶させることで、その撮像データの利便性を更に向上させることができる。
また、前記携帯電話機30は、前記楽曲特定手段164により特定された楽曲と同じ楽曲に対応付けられて前記サーバ装置18のSNSデータベース108に記憶された撮像データを選択可能に表示させる撮像リスト表示手段168(S11)を備えたものであるため、前記携帯電話機30により撮影された撮像データを、その撮像データに対応する楽曲と同一の楽曲に対応する他の動画と組み合わせるといった処理を好適且つ実用的な態様で実行することができる。
また、前記SNSデータベース108は、前記カラオケ装置16の利用者に対応する顔画像と、その利用者の識別情報とを対応付けて記憶するものであり、前記歌唱者特定手段160は、前記SNSデータベース108に記憶された関係から、前記携帯電話機30のデジタルカメラ144により撮影された前記撮像データに含まれる人物の顔画像に基づいて、その撮像データに対応する歌唱者を特定するものであるため、前記携帯電話機30により撮影された撮像データに関して、その撮像データに対応する歌唱者及びどの楽曲のカラオケ演奏を行っている様子を撮影したものかを好適且つ実用的な態様で特定できる。
また、前記歌唱者特定手段160は、前記撮像データに複数の人物の顔画像が含まれる場合には、その撮像データに含まれるマイクロフォンに相当する画像に基づいてその撮像データに対応する歌唱者を特定するものであるため、前記携帯電話機30により撮影された撮像データに関して、その撮像データに対応する歌唱者を好適且つ実用的な態様で特定できる。
また、前記撮像記憶手段166は、前記撮像データに複数の人物の顔画像が含まれる場合には、前記SNSデータベース108に記憶された関係から、前記撮像データに含まれる人物の顔画像に基づいてその撮像データに含まれる全ての人物の識別情報を取得し、その撮像データを、取得された全ての人物の識別情報及び前記楽曲特定手段164により特定された楽曲と対応付けて前記サーバ装置16に記憶させるものであるため、前記携帯電話機30により撮影された撮像データに関して、その撮像データに対応するカラオケ演奏を行っていた利用者全員と関連付けて記憶させることで、その撮像データの利便性を更に向上させることができる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例においては、前記楽曲特定手段164により特定された楽曲と同じ楽曲に対応付けられて前記SNSデータベース108に記憶された撮像データを、前記共演動画の組み合わせ候補として前記タッチパネルディスプレイ134に選択可能に表示させるものであったが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。例えば、前記楽曲特定手段164により特定された楽曲と同じ楽曲に対応する動画データが前記SNSデータベース108に記憶された利用者を検索し、検索された利用者を前記SNSに係るフレンド登録の候補として前記タッチパネルディスプレイ134に選択可能に表示させたり、前記楽曲特定手段164により特定された楽曲に対応する歌手の楽曲を前記タッチパネルディスプレイ134に選曲入力可能に表示させたりというように、前記楽曲特定手段164により特定された楽曲に基づいて種々の制御を行うことが考えられる。
また、前述の実施例では、前記携帯電話機30のデジタルカメラ144により撮影された撮像データと、前記SNSデータベース108に記憶された動画データとを、前記共演動画として組み合わせる設定を行う制御について説明したが、他の携帯電話機により撮影されている撮像データとの間で対応する楽曲のつきあわせを行い、同一の楽曲に対応する撮影を行っている携帯電話機からリアルタイムで送信される動画データ(同一の楽曲に対応するもの)と、前記携帯電話機30のデジタルカメラ144により撮影された撮像データとを、前述した図11に示すように組み合わせて表示させる態様も考えられる。また、前記携帯電話機30によりリアルタイムで撮影されている動画データと、予め前記SNSデータベース108に記録(録画)された動画データとを共演動画として組み合わせるものであってもよいが、斯かる態様においては、共演に係る動画データのタイミングを合わせることが必要になるため、前記楽曲特定手段164により特定された楽曲の再生経過時間及びスピードコントロール情報(楽曲の速さ)、キーの高さ等を、前記予め記録された動画データに設定することが望ましい。或いは、演奏中の楽曲と、曲の速さやキーの高さが同一の記録済み動画データを検索し、検索された動画データを共演動画候補としてサムネイル表示させると共に、楽曲の再生経過時間を前記記録済み動画データに設定する等の態様も考えられる。また、前記共演動画の設定は、必ずしも対応する楽曲を通して演奏開始から演奏終了まで所定の組み合わせの動画データを共演動画とするものでなくともよい。例えば、各動画データに予め区分情報(例えば所定時間毎等、動画データを複数の区分に区切る情報)が記憶された態様においては、その区分情報に基づいて所定の区分のみを前記共演動画として他の動画データと同期出力される設定としたり、各区分毎にそれぞれ異なる動画データとの共演動画設定を行う等の制御を行うものであってもよい。
また、前述の実施例において、前記携帯電話機30に備えられた選曲入力制御手段154は、前記サーバ装置36を経由し前記通信回線20を介して前記カラオケ装置16に対する選曲入力を行うものであったが、例えば前記通信回線20を介することなく(すなわちサーバ装置36を経由することなく)、赤外線通信や近距離無線通信等により前記カラオケ装置16に対する選曲入力を行うものであってもよい。
また、前述の実施例においては、前記カラオケシステム10における携帯型端末装置として、所謂スマートフォンとしての携帯電話機30及びタブレット32を備えた構成を例示したが、携帯型端末装置としては他の機器も考えられ、例えば、通信機能を備えたデジタルビデオカメラ、コンシューマゲーム機、或いは通信機能及びタッチパネルディスプレイを備えた携帯型音楽プレイヤ等を携帯型端末装置として備えたものであってもよい。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。