図1は、本発明のカラオケ装置が好適に適用される通信カラオケシステム10の構成を説明する図である。この図1に示すように、本実施例の通信カラオケシステム10においては、カラオケボックス、スナック、旅館等の店舗12における複数の個室14a、14b、14c、・・・(以下、特に区別しない場合には単に個室14と称する)にそれぞれ1台乃至は複数台ずつ(図1では1台ずつ)本発明の一実施例であるカラオケ装置16a、16b、16c、・・・(以下、特に区別しない場合には単にカラオケ装置16と称する)が設置されている。これら複数のカラオケ装置16は、ルータ28を介して通信回線18に接続されており、同様にその通信回線18に接続されたサーバ装置20等との相互間でその通信回線18を介して情報の通信が可能とされている。
また、前記通信カラオケシステム10は、複数の電子早見本装置22a、22b、22c、・・・(以下、特に区別しない場合には単に電子早見本装置22と称する)を備えており、前記カラオケ装置16の利用に際して、各利用者(グループ)毎に1台乃至数台ずつの前記電子早見本装置22が貸与され、各個室14において後述するように前記カラオケ装置16との間で対応付け処理が行われることで、そのカラオケ装置16の遠隔操作装置として用いられるようになっている。また、図1に示すように、前記店舗12内には前記複数のカラオケ装置16を相互に接続するLAN24が敷設されており、前記電子早見本装置22からのカラオケ装置16への入力は、所定のアクセスポイント26及びLAN24を介したLAN通信等により行われる。
前記通信回線18は、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続された広域情報通信網である。また、前記サーバ装置20は、例えば、前記通信カラオケシステム10を管理する情報配信サービス提供会社によって運営されるサーバであり、その通信カラオケシステム10におけるカラオケ情報(楽曲データ)、背景映像情報、曲間情報等のデジタルコンテンツ(Digital Contents)の保管や入出力管理の基本的な制御を行うセンタ装置として機能する。また、前記サーバ装置20は、前記通信回線18を介して接続された前記カラオケ装置16等の投稿側端末装置から、予め定められた複数の楽曲データの何れかに対応する動画情報の投稿を受け付け、その投稿された動画情報を対応する楽曲データと関連付けて動画データベース158(図6を参照)に記憶させると共に、前記通信回線18を介して接続された前記カラオケ装置16やパーソナルコンピュータ30等の配信側端末装置からの配信要求に応じて、その動画データベース158に記憶された動画情報を配信する動画情報配信システムにおけるセンタ装置としても機能する。なお、本実施例においては、前記通信カラオケシステム10のセンタ装置としての機能及び動画情報配信システムのセンタ装置としての機能を兼ね備えた単一の前記サーバ装置20を備えた構成について説明するが、それらセンタ装置が個別のサーバ装置として構成されたものであってもよい。
図1に示すように、本実施例の通信カラオケシステム10は、前記通信回線18を介して複数のシステム乃至通信端末装置との間で相互に情報の送受信が可能とされている。すなわち、通信端末装置であるパーソナルコンピュータ30が前記通信回線18に接続されると共に、同じく通信端末装置である携帯電話機32が中継基地局34を介して前記通信回線18に接続され、それらパーソナルコンピュータ30及び携帯電話機32と前記カラオケ装置16やサーバ装置20等との間で相互に情報の送受信が可能とされている。また、前記カラオケ装置16とは異なる形態のカラオケ装置である家庭用カラオケ装置36が前記通信回線18に接続され、その家庭用カラオケ装置36と前記カラオケ装置16やサーバ装置20等との間で相互に情報の送受信が可能とされている。すなわち、本実施例の通信カラオケシステム10は、前記サーバ装置20及び複数の前記家庭用カラオケ装置36を備えた第2の通信カラオケシステムを内包している。なお、好適には、前記携帯電話機32は、前記カラオケ装置16とは異なる形態のカラオケ装置として機能するものである。
図2は、前記カラオケ装置16の構成を例示するブロック線図である。この図2に示すように、前記カラオケ装置16は、TFT(Thin Film Transistor Liquid Crystal)やPDP(Plasma Display Panel)等の映像表示装置40と、ビデオボード(グラフィックスボード)等の映像出力制御部42と、映像情報デコーダ44と、ビデオミキサ46と、音源であるシンセサイザ48と、音声入力装置であるマイクロフォン50と、アンプミキサ52と、スピーカ54と、操作パネル56と、その操作パネル56等からの入力信号を処理する入出力インターフェイス58と、中央演算処理装置であるCPU60と、読出専用メモリであるROM62と、随時書込読出メモリであるRAM64と、記憶装置であるハードディスク66と、モデム68と、LANポート70と、前記電子早見本装置22やリモコン装置76等の入力装置からのリモコン信号を受信するためのリモコン受信部72と、前記マイクロフォン50から入力される音声をディジタル信号に変換するためのA/Dコンバータ74と、据付型撮像装置であるデジタルカメラ82(図4を参照)とを、備えて構成されている。
前記映像出力制御部42は、前記CPU60において生成された歌詞文字映像等の文字映像(テロップ)を出力する文字映像出力装置として機能する他、前記映像表示装置40による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ44は、利用者が歌詞を参照しながら歌唱する際に前記ハードディスク66に記憶された背景映像情報に基づいて所定の背景映像を再生(デコード)する背景映像再生装置である。この背景映像情報は、例えば、MPEG(Moving Picture Experts Group)形式のデータであり、そのMPEGデータに基づいて前記映像情報デコーダ44により再生された背景映像は、前記ビデオミキサ46へ送られる。また、そのビデオミキサ46は、前記CPU60において生成され且つ前記映像出力制御部42から出力される文字映像と、前記映像情報デコーダ44により再生される背景映像とを合成して前記映像表示装置40に表示させる映像合成装置である。
前記シンセサイザ48は、前記ハードディスク66から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、MIDI(Musical Instrument Digital Interface)形式のデータであり、そのMIDIデータに基づいて前記シンセサイザ48により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ52へ送られる。そのアンプミキサ52では、送られてきた音楽信号と前記マイクロフォン50を介して入力される利用者(演奏者)の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ54から出力される。
前記操作パネル56は、前記カラオケ装置16の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記カラオケ装置16は、例えば図3に示すように、前記CPU60やシンセサイザ48等を格納するコマンダ本体38にタッチパネルディスプレイ78を備えたものであってもよい。このタッチパネルディスプレイ78は、画像(映像)を表示させると共に利用者の接触に応じて前記カラオケ装置16への入力を行うものであり、好適には、前記コマンダ本体38における表側の平面部(カラオケボックス等に設置される場合に、利用者側とされる面)に設けられる。斯かる態様において、前記タッチパネルディスプレイ78は、前記映像表示装置40とは別に第2の映像表示装置として機能すると共に、前記カラオケ装置16の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作パネルとして機能する。例えば、図3に示す例では、前記タッチパネルディスプレイ78にそれぞれ個別の文字(例えば、五十音の文字やアルファベット等)を示す複数の文字ボタン80が表示された状態を示している。このタッチパネルディスプレイ78に表示された文字ボタン80(タッチパネルにおける文字ボタン80に対応する相対位置)に対する利用者の指や備え付けのペン等による接触操作が行われると、それら文字ボタン80によって示される文字乃至文字列の入力が行われる。そして、斯かる操作により入力された文字乃至文字列に基づいて、それらの文字乃至文字列に前方一致する歌手名乃至曲名が検索される等、前記カラオケ装置16の利用者が歌いたいカラオケ演奏曲の検索乃至選曲入力が前記タッチパネルディスプレイ78を介して行われる。
また、前記カラオケ装置16には、前記操作パネル56の一部機能を遠隔で実行するための入力装置として機能するリモコン装置76が備えられており、前記リモコン受信部72は、そのリモコン装置76から送信されるリモコン信号を受信して前記CPU60へ供給する。また、前記カラオケ装置16と電子早見本装置22との対応付け(くくりつけ)処理も前記リモコン受信部72を介して行われ、そのようにして前記カラオケ装置16に対応付けられた電子早見本装置22も同様に入力装置として機能する。また、前記携帯電話機32等の外部装置からリモコン信号として送信される各種情報が前記リモコン受信部72により受信され、その受信された情報が前記CPU60へ供給されるようになっている。なお、本実施例においては、前記カラオケ装置16に備えられたリモコン装置76や対応付け処理の行われた電子早見本装置22等の入力装置もそのカラオケ装置16の一部を構成するものであるとして以下の説明を行う。
前記CPU60は、前記RAM64の一時記憶機能を利用しつつ前記ROM62に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置16に係る各種制御を実行する。すなわち、前記電子早見本装置22やタッチパネルディスプレイ78等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を前記RAM64に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク66から前記RAM64に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報(楽曲データ)を読み出す楽曲データ読出制御、カラオケ演奏曲の演奏が進行するのに応じてそのRAM64から前記シンセサイザ48へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記RAM64に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像出力制御部42へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像情報デコーダ44を制御して所定の背景映像を再生させる背景映像出力制御、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御、及び前記通信回線18を介した前記サーバ装置20等との間の情報通信制御等の基本的な制御に加えて、後述する本実施例の撮像合成制御等を実行する。
前記モデム68は、前記カラオケ装置16を前記通信回線18に接続するための装置であり、前記CPU60から出力されるディジタル信号をアナログ信号に変換して前記通信回線18に送り出すと共に、その通信回線18を介して伝送されるアナログ信号をディジタル信号に変換して前記CPU60に供給する処理を行う。なお、前記店舗12に備えられた複数のカラオケ装置16のうち何れかのカラオケ装置16が前記ルータ28の機能を備えてマスターコマンダとして前記通信回線18に接続される態様も考えられ、その場合、前記モデム68はそのマスターコマンダとして機能するカラオケ装置16には必要とされるが、そのマスターコマンダを介して前記サーバ装置20等との間で情報の通信を行う他のカラオケ装置16には必ずしも設けられなくともよい。
前記LANポート70は、前記カラオケ装置16をLAN24を介して他のカラオケ装置16や電子早見本装置22等の他の機器に接続するための接続器であり、前記カラオケ装置16は、そのようにLAN24を介して接続されることで、他のカラオケ装置16や電子早見本装置22等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント26を介して受信される前記電子早見本装置22からの選曲入力を受け付けて前記RAM64に設けられた予約曲テーブルに記憶したり、そのアクセスポイント26を介して前記カラオケ装置16から電子早見本装置22へ所定の情報を送信したりというように、電波を介して前記カラオケ装置16と電子早見本装置22との間における相互の情報のやりとりが実行される。また、前記通信回線18を介しての前記電子早見本装置22とサーバ装置20等との間の通信も、このLAN24乃至ルータ28を備えたカラオケ装置16を介して行われる。また、前記携帯電話機32等の外部装置との間で前記LAN24及びアクセスポイント26等を介して情報の送受信を行うものであってもよく、この場合、前記携帯電話機32等から電波として送信される各種情報が前記LANポート70により受信され、その受信された情報が前記CPU60へ供給される。
前記ハードディスク66には、カラオケ演奏曲を出力させるための多数のカラオケ情報(楽曲データ)を記憶する楽曲データベースをはじめとする各種データベースが設けられている。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置16のうち所定のカラオケ装置16例えば前記カラオケ装置16aは、前記モデム68を介して前記通信回線18に接続されており、前記複数のカラオケ装置16によって常に新しい曲が演奏可能とされるように、随時新たなカラオケ情報等が前記サーバ装置20から前記通信回線18を介して配信され、前記ハードディスク66の楽曲データベース等に記憶される。また、そのようにして前記サーバ装置20から情報を取得したカラオケ装置16aとその他のカラオケ装置16との間で前記LAN24を介した通信が行われることにより、各カラオケ装置16のハードディスク66に記憶される情報が共有され、前記楽曲データベース等の内容が等価なものとされる。
前記楽曲データベースは、前記カラオケ装置16により出力可能な演奏曲にそれぞれ対応する多数(例えば、数万曲分)の楽曲データ(カラオケデータ)を記憶する。この楽曲データは、前記シンセサイザ48により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字映像(歌詞テロップ)を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツIDである各演奏曲に固有の選曲番号により識別される。また、前記楽曲データには、その演奏曲の曲名、アーティスト名(歌手名)、発表年月日、ジャンル、曲調等の情報が関連づけられて記憶されている。ここで、前記演奏情報は、各種楽器に対応するパートやドラムパート等を含むものであるが、少なくとも演奏曲の主旋律(歌唱において発声すべき音程の連なり)に相当するガイドメロディに対応する演奏情報を含んでいる。また、前記楽曲データベースに記憶される楽曲データは、好適には、演奏情報としてのMIDIデータ等において複数の区分が予め定められたものである。この区分とは、例えば、前記MIDIデータのメタ情報に定められた演奏の区分であり、所定の演奏時間毎に、例えば、前奏に対応するイントロ(Intro)、Aメロ(Amelo)、Bメロ(Bmelo)、Cメロ(Cmelo)、フィル(Fill)、サビ、間奏、後奏、及び変拍等の区分が定められている。
図4は、前記カラオケ装置16に備えられた据付型撮像装置の一例であるデジタルカメラ82の構成を詳しく説明する正面図である。このデジタルカメラ82は、好適には、動画を撮影し得る所謂デジタルビデオカメラであり、例えば各個室14等における所定位置に、前記カラオケ装置16に対して位置固定に設けられる据付型の撮像装置である。なお、据付型撮像装置とは、必ずしもその一部がねじ等により壁等に固定されるものでなくともよく、例えばカラオケボックスにおける所定位置に置かれて利用者がその位置を動かすことができるようになっており、何れかの場所に置かれることで前記カラオケ装置16に対しての相対位置が定められるものであってもよい。換言すれば、据付型撮像装置とは、前記カラオケ装置16によるカラオケ演奏に際して、そのカラオケ装置16に対しての相対位置が定められた状態で用いられるものである。前記デジタルカメラ82は、図4に示すように、前記カラオケ装置16に対して位置固定に設けられる台座84と、その台座84に対してレンズ90を含む本体88を中心軸(本体を垂直方向から見た場合における中心軸)C回りに回転駆動(左右方向に首振り駆動)させるパン(pan)機構86と、前記本体88(台座84)に対して前記レンズ90を垂直方向に駆動(上下方向に首振り駆動)させるチルト(tilt)機構92と、前記デジタルカメラ82のズーム制御すなわちズームイン(被写体を拡大させる焦点距離の変更)及びズームアウト(被写体を縮小させる焦点距離の変更)を行うズーム(zoom)機構94とを、備えて構成されている。すなわち、前記デジタルカメラ82は、前記CPU60等からの指令(制御信号)に応じてパン・チルト制御及びズーム制御可能な所謂パン・チルト・ズームカメラである。このデジタルカメラ82により撮影された撮像に相当する映像情報は、インターフェイス等を介して前記CPU60等へ供給される。
図5は、前記携帯電話機32の構成を例示する図である。この図5に示すように、前記携帯電話機32は、中央演算処理装置であるCPU100と、読出専用メモリであるROM102と、随時書込読出メモリであるRAM104と、フラッシュROM等の記憶部106と、後述するタッチパネルディスプレイ124の補助的な操作を行うための操作部108と、アンテナ110と、送受信部112と、モデム部114と、音声コーディック部116と、アナログフロントエンド118と、スピーカ120と、マイクロフォン122と、タッチパネルディスプレイ124と、撮像部134と、赤外線送信部136とを、備えて構成されている。
前記CPU100は、随時書込読出メモリであるRAM104の一時記憶機能を利用しつつ読出専用メモリであるROM102に予め記憶されたプログラムに従って信号処理を行う所謂マイクロコンピュータであり、前記タッチパネルディスプレイ124に表示された文字入力ボタンに対する入力操作に従って文字入力が実行されるように制御したり、斯かる入力操作により入力された電話番号に従って通信或いは通話チャンネルを成立させると共に相互の通信或いは通話が可能となるように制御したり、前記入力操作により入力されたURLに従って所定のWWWサイトにアクセスしたり、メールの作成及び送受信を制御する等の基本的な制御を実行する。例えば、前記携帯電話機32の通話状態においては、前記アンテナ110を介して送受信部112に受けた通話信号等がモデム部114を介して音声コーディック部116においてデジタルコード信号から音声信号に変換され、アナログフロントエンド118によりスピーカ120が駆動されて音声が出力される。同時に、前記マイクロフォン122により音声から変換された音声信号が前記アナログフロントエンド118を介して前記音声コーディック部116に送られてそこでディジタル信号に変換され、前記モデム部114、送受信部112、及びアンテナ110を介して送信される。
前記携帯電話機32は、前記タッチパネルディスプレイ124に所定の映像を表示させる表示装置126と、その表示装置126による表示を制御する表示制御部128と、利用者の指や図示しない備え付けのペン等によるタッチパネルディスプレイ124への接触により入力を行うタッチパネル130と、そのタッチパネル130による入力を制御する入力制御部132とを、備えている。また、前記送受信部112等を介して前記通信回線18に接続され、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW等のインターネットに接続された前記サーバ装置20をはじめとする各種通信機器との間で情報の通信が可能とされる。また、前記通信回線18を介しての通信状態において、前記CPU100は、前記タッチパネルディスプレイ124等により入力された信号を通信先へ送信すると同時に、通信先から受信された信号をそのタッチパネルディスプレイ124に表示させる制御を行う。すなわち、前記携帯電話機32は、前記タッチパネルディスプレイ124を有すると共に、そのタッチパネルディスプレイ124を介しての操作に応じたインターネットへのアクセス機能をはじめとする各種機能を有する所謂スマートフォンである。
前記撮像部134は、CCD(charge coupled device)等の撮像素子及びレンズを備え、そのレンズから入射される映像(静止画像乃至動画)を撮像素子により検知し、その映像を電子情報(映像データ)として取得する所謂デジタルカメラである。前記携帯電話機32による映像の撮影に際しては、前記レンズから取り込まれ撮像素子により電子情報に変換された映像が前記表示装置126等に表示された状態で、前記タッチパネル130等により所定の操作が行われることでその映像が撮像され、前記記憶部106等に所定の映像ファイル(画像ファイル乃至動画ファイル)の形式で記憶される。また、そのようにして記憶された映像ファイルは、前記タッチパネル130等による所定の操作に応じて、例えば前記赤外線送信部136から赤外線信号(リモコン信号)として前記カラオケ装置16へ送信され、そのカラオケ装置16のリモコン受信部72等により受信される。すなわち、本実施例において、前記携帯電話機32は、前記撮像部134により映像(静止画像乃至動画)を撮影すると共に、その撮影された映像を前記カラオケ装置16に備えられた受信部としての前記リモコン受信部72等を介してそのカラオケ装置16に対して送信し得る携帯型撮像装置として機能する。
図6は、前記サーバ装置20の構成を説明する図である。この図6に示すように、前記サーバ装置20は、中央演算処理装置であるCPU140、読出専用メモリであるROM142、及び随時書込読出メモリであるRAM144を備え、前記CPU140によりRAM144の一時記憶機能を利用しつつROM142に予め記憶されたプログラムに従って信号処理を行う所謂ノイマン式コンピュータである。また、TFTやPDP等の映像表示装置146と、その映像表示装置146による映像の表示を制御するためのビデオボード(グラフィックスチップ)148と、キーボード等の入力装置150と、その入力装置150による入力を処理するためのインターフェイス152と、前記CPU140等を前記通信回線18に接続するためのモデム154とを、備えて構成されている。
図6に示すように、前記サーバ装置20は、楽曲データベース156及び動画データベース158をはじめとする各種データベースを備えている。この楽曲データベース156は、前記通信カラオケシステム10における前記カラオケ装置16乃至前記第2のカラオケシステムにおける前記家庭用カラオケ装置36等に配信するための多数の楽曲データ(カラオケ情報)を記憶するものであり、新しく作成された楽曲データはこの楽曲データベース156に蓄積される。そして、所定の配信制御プログラムにより定期的に、或いは前記カラオケ装置16乃至家庭用カラオケ装置36からの配信要求に応じて、随時新たなカラオケ情報が前記サーバ装置20の楽曲データベース156から前記通信回線18を介して配信され、前記カラオケ装置16乃至家庭用カラオケ装置36による演奏可能に前記ハードディスク66等に記憶される。
前記動画データベース158は、通信端末装置としての前記カラオケ装置16等から投稿すなわち前記通信回線18を介してアップロードされた複数の動画情報(映像情報)を記憶する。この動画情報は、例えばAVI(Audio-Video Interleaved)形式、MPEG(Moving Picture Experts Group)形式、FLV(Flash Video)形式等の動画ファイル(映像ファイル)であり、例えば投稿順に定められた所定の識別番号(コンテンツID)をインデックスとして前記動画データベース158に記憶される。なお、この動画情報は、複数枚の静止画像が所定の時間間隔で切替表示される所謂パラパラアニメーションや、映像が一時的に停止する静止画部分を含むものであってもよい。また、その動画データベース158には、投稿者の識別情報(ユーザID)、投稿者の名前(ニックネーム)、投稿時(投稿日時)、投稿に相前後して投稿者により設定(入力)された映像のタイトル、投稿者のコメント、削除用のパスワード、再生回数、投稿コメント数、閲覧者からの投票結果(得票数)、対応する演奏曲の識別情報(選曲番号)、曲名、アーティスト名、及び演奏評価結果(採点結果)等の情報が各動画情報毎にその動画情報と関連づけられて記憶されるようになっている。
図7は、前記カラオケ装置16のCPU60等に備えられた制御機能の要部を説明する機能ブロック線図である。この図7に示す演奏制御手段160、演奏評価手段162、撮像記憶手段168、合成表示手段170、及び動画投稿手段174は、好適には、何れも前記カラオケ装置16のCPU60に機能的に備えられたものであり、撮像送信手段166は、前記携帯電話機32のCPU100に機能的に備えられたものであり、動画管理手段176は、前記サーバ装置20のCPU140に機能的に備えられたものである。すなわち、以下の実施例においては、前記カラオケ装置16によるカラオケ演奏の出力と併行して前記デジタルカメラ82により撮影された撮像に対して、携帯型撮像装置としての前記携帯電話機32により撮影された撮像を組み込み、その映像(動画)を前記サーバ装置20の動画データベース158に投稿(アップロード)する制御例について説明するが、このサーバ装置20の動画データベース158への投稿は必ずしも行われなくともよい。すなわち、前記デジタルカメラ82により撮影された撮像に対して前記携帯電話機32により撮影された撮像を組み込んだ映像を、前記カラオケ装置16によるカラオケ演奏における背景映像として前記映像表示装置40に表示させるに留めるものであってもよい。また、前記カラオケ装置16によるカラオケ演奏の出力と併行して前記デジタルカメラ82により撮影された撮像に対して、携帯型撮像装置としての一般的なデジタルカメラ乃至デジタルビデオカメラ等により撮影された撮像を組み込む場合にも、以下に詳述する本実施例の技術は好適に適用される。
前記演奏制御手段160は、前記カラオケ装置16によるカラオケ演奏に際しての演奏曲の出力を制御する。具体的には、前記RAM64等の予約曲テーブルにおける上位の予約曲から順に(すなわち入力順に)、その予約曲テーブルに記憶された予約曲の選曲番号に対応する楽曲データを前記ハードディスク66の楽曲データベースから読み出し、その楽曲データに含まれる演奏情報に基づいて演奏曲の出力を制御する。すなわち、演奏情報としてのMIDIデータに基づいて、前記シンセサイザ48によりそのMIDIデータにおける楽譜情報としてのトラック乃至チャンネルに対応する楽器の演奏音(音楽情報)を出力させ、前記アンプミキサ52を介して前記スピーカ54から出力させる。また、楽曲データに含まれる歌詞情報に基づいて演奏曲に係る歌詞文字映像の出力を制御する。すなわち、歌詞情報に基づいて歌詞文字映像を生成し、前記映像出力制御部42を介してその歌詞文字映像を前記映像表示装置40に表示させる。また、カラオケ演奏の進行に伴い、その歌詞文字映像を切替表示させると共に、歌詞色替情報に基づいて歌詞文字映像を順次色替え表示させる。
前記演奏評価手段162は、評価対象となる演奏曲の出力と併行して音声入力装置である前記マイクロフォン50から入力される音声情報に基づいて、その音声情報の入力主体である利用者の演奏評価(歌唱評価)を行う。すなわち、前記カラオケ装置16による演奏曲の出力に際して、前記シンセサイザ48によるその演奏曲の出力と併行して前記マイクロフォン50から入力される音声に対応して、音程、音量、及びテンポのうち少なくとも1つを評価基準とする評価を行う。具体的には、所定の演奏曲の出力に際して、前記シンセサイザ48を介して出力されるその演奏曲のピッチ(音程)及びテンポと、前記マイクロフォン50により入力されて前記A/Dコンバータ74を介して供給される音声情報のピッチ及びテンポとを比較することにより斯かる演奏曲の演奏評価を行う。この演奏評価の態様としては、例えば、百点満点中何点というように数値的に採点を行うものであってもよいし、20段階評定の何れに当てはまるかを判定するというように簡易なものであってもよい。また、斯かる演奏評価制御は、演奏と併行して各区分毎に複数回行われた評価を、演奏終了時に集計するものであってもよいし、前記RAM64等に入力音声情報を記録しておき、演奏終了時にそれを対象となる演奏曲の演奏情報に基づいて評価するものであってもよい。
図7に示すように、前記演奏評価手段162は、盛り上がり判定手段164を備えている。この盛り上がり判定手段164は、前記マイクロフォン50から入力される音声情報に応じて、前記カラオケ装置16により出力される演奏曲の盛り上がり位置を判定する。この盛り上がり位置とは、例えば、対象となる演奏曲(楽曲データ)の演奏開始から演奏終了までの間で、最も盛り上がる時間位置(区間)を言い、多くの場合にはサビに相当する部分がこの盛り上がり位置に対応する。前記盛り上がり判定手段164は、好適には、前記マイクロフォン50から入力されて前記A/Dコンバータ74を介して供給される音声情報に対応する信号強度が、予め定められた閾値以上となった部分を前記盛り上がり位置として判定する。また、好適には、前記マイクロフォン50から入力されて前記A/Dコンバータ74を介して供給される音声情報に対応する信号強度が、対象となる演奏曲を通して最も大きくなる時間区間(例えば、信号強度が最大値をとる時点を中心とする所定の時間区間)を前記盛り上がり位置として判定する。また、好適には、対象となる演奏曲の楽曲データに予め定められたサビに相当する区間を前記盛り上がり位置として判定する。すなわち、前記盛り上がり判定手段164は、必ずしも前記マイクロフォン50から入力される音声情報に応じて前記盛り上がり位置を判定するものでなくともよい。
前記撮像送信手段166は、前記携帯電話機32における撮像部134により撮影された撮像(静止画像乃至動画)を前記カラオケ装置16へ送信する。前記撮像部134により撮影された撮像は、所定の映像ファイル(画像ファイル乃至動画ファイル)の形式で前記記憶部106等に保存される。前記携帯電話機32において、前記タッチパネルディスプレイ124により所定の撮像送信操作が行われた場合、前記撮像送信手段166は、送信対象となる映像ファイルを前記記憶部106から読み出し、前記赤外線送信部136から赤外線信号として前記カラオケ装置16へ送信する。或いは、図示しない無線送信部から電波等として前記カラオケ装置16へ送信するものであってもよい。
前記撮像記憶手段168は、前記デジタルカメラ82により撮影された撮像を記憶する。例えば、前記デジタルカメラ82により撮影された撮像を、所定の映像ファイル(画像ファイル乃至動画ファイル)の形式で前記RAM64等に記憶する。また、前記携帯電話機32等の携帯型撮像装置から、前記撮像送信手段166により送信された撮像を記憶する。例えば、前記撮像送信手段166により送信されて前記リモコン受信部72等により受信された撮像を、所定の映像ファイル(画像ファイル乃至動画ファイル)の形式で前記RAM64等に記憶する。
前記合成表示手段170は、前記カラオケ装置16による演奏曲の出力と併行して据付型撮像装置である前記デジタルカメラ82により撮影された撮像に対して、携帯型撮像装置である前記携帯電話機32等により撮影された撮像を合成表示させる。すなわち、前記デジタルカメラ82により撮影されて前記撮像記憶手段168により記憶された映像情報に対して、前記携帯電話機32等により撮影されて前記撮像記憶手段168により記憶された映像情報を、前記映像出力制御部42及び映像情報デコーダ44等により前記ビデオミキサ46を介して合成し、前記映像表示装置40に表示させる。
図7に示すように、前記合成表示手段170は、映像合成手段172を備えている。この映像合成手段172は、前記カラオケ装置16による演奏曲の出力と併行して前記デジタルカメラ82により撮影された撮像に対して、前記携帯電話機32等により撮影された撮像を合成する。好適には、前記デジタルカメラ82により撮影された映像情報と、前記携帯電話機32等により撮影された映像情報とを合成して1つの映像情報(映像ファイル)を作成し、前記合成表示手段170は、その映像情報に対応する映像を前記映像表示装置40に表示させる。また、前記映像合成手段172(合成表示手段170)は、好適には、前記デジタルカメラ82により撮影された映像情報と、前記携帯電話機32等により撮影された映像情報とを、個別の映像情報(映像ファイル)のまま相互に重ね合わせる等して前記映像表示装置40に表示させる。例えば、前記デジタルカメラ82により撮影された映像情報に対応する映像を前記映像情報デコーダ44により出力させると共に、前記携帯電話機32等により撮影された映像(画像)を前記映像出力制御部42により出力させ、前記ビデオミキサ46により前記デジタルカメラ82により撮影された映像情報に対応する映像の前面側レイヤに前記携帯電話機32等により撮影された映像(画像)を配置して表示させる等の制御を行う。
図8は、据付型撮像装置である前記デジタルカメラ82により撮影された撮像180の一例を示す図である。この図8に示す撮像180は、前記カラオケ装置16を用いてカラオケ演奏を行っている演奏者を含む利用者を撮影したものである。また、図9は、前記携帯電話機32の撮像部134により撮影された撮像182の一例を示す図である。そして、図10は、図8に示す撮像180に対して、図9に示す撮像182を合成表示させた映像184を例示する図である。この図10に示すように、前記合成表示手段170は、好適には、前記デジタルカメラ82により撮影された撮像180の前面側レイヤであってその撮像180の一部に相当する位置に、前記携帯電話機32の撮像部134により撮影された撮像182を合成表示させる。ここで、図10に示す映像184において、前記携帯電話機32の撮像部134により撮影された撮像182は、前記デジタルカメラ82により撮影された撮像180の一部に合成されているため、その撮像180における前記撮像182との合成に係らない残部が見えるようになっているが、後述する図12に示すように、前記携帯電話機32の撮像部134により撮影された撮像182を、前記デジタルカメラ82により撮影された撮像180の全部に合成することにより、合成表示が行われる時間区間においてはその撮像180が完全に隠されるものであってもよい。また、前記デジタルカメラ82により撮影された撮像180に対して、前記携帯電話機32の撮像部134により撮影された複数の撮像を同時に乃至断続的に合成させるものであってもよい。また、合成表示に係る画面を二分割して前記デジタルカメラ82により撮影された撮像180と前記携帯電話機32の撮像部134により撮影された撮像182とを並べて合成表示させる等の態様も考えられる。
また、前記合成表示手段170は、好適には、図10に示すように、前記撮像180に含まれる人物の像の顔部分を隠さないようにその撮像180に前記撮像182を合成表示させるものであってもよい。すなわち、よく知られた顔認識技術により前記撮像180に含まれる人物の像の顔部分を認識し、その認識された顔部分以外の位置に前記携帯電話機32の撮像部134により撮影された撮像182を合成表示させるものであってもよい。また、単純に前記撮像180の一部に相当する所定位置に前記撮像182を合成させるものでなくともよく、前記撮像180の前面側レイヤにおいて前記撮像182を左右方向(或いは上下方向)によぎるように相対移動させたり、前記撮像180に対してあたかもダンスのステップを踏むように前記撮像182を移動させたり、前記撮像180の前面側レイヤに所謂フェイドインにより前記撮像182を出現させたり、前記合成された映像184から所謂フェイドアウトにより前記撮像182を消去させたり、合成に係る撮像182の輪郭をぼかしたり、輪郭を装飾したり、或いは透明度を変更した(例えば透明度50%とした)前記撮像182を前記撮像180の前面側レイヤに合成したりというように種々の態様が考えられる。
前記合成表示手段170は、前記カラオケ装置16による前記演奏曲の出力と併行して据付型撮像装置である前記デジタルカメラ82により撮影された撮像に対して、携帯型撮像装置である前記携帯電話機32等により撮影された撮像を、その演奏曲の出力の進行に応じて合成表示させる。すなわち、前記演奏制御手段160による所定の演奏曲の出力中に前記デジタルカメラ82により撮影された撮像180に対しては、その出力されている演奏曲の進行に係る所定の時間位置(演奏開始からの経過時間に関する所定の時点乃至時間区間)において、前記携帯電話機32等により撮影された撮像182を前記撮像180に対して合成表示させる。換言すれば、前記撮像180に対する前記撮像182の合成表示を行う時間位置(撮像180が動画である場合には、その動画の出力開始からの経過時間に関する所定の時点乃至時間区間)を、前記演奏曲の進行に係る時間情報を基準として決定する。例えば、対象となる演奏曲のサビに相当する時間区間において、前記撮像180に対する前記撮像182の合成表示を行う。ここで、前記合成表示手段170は、好適には、前記カラオケ装置16による前記演奏曲の出力と併行して前記デジタルカメラ82により撮影された撮像に対して、前記携帯電話機32等により撮影された撮像を、その演奏曲の出力中にリアルタイムで合成表示させる。また、好適には、斯かる演奏曲の出力中にその演奏曲の出力に係る情報例えば演奏評価結果や盛り上がり位置等の情報を前記RAM64等に記憶しておき、その演奏曲の出力終了後(カラオケ演奏終了後)に、演奏中に得られた情報に基づいて前記デジタルカメラ82により撮影された撮像に対して、前記携帯電話機32等により撮影された撮像を合成させるものであってもよい。
前記合成表示手段170は、好適には、前記カラオケ装置16によるカラオケ演奏の出力と併行して前記デジタルカメラ82により撮影された撮像180に対しての、前記携帯電話機32等により撮影された撮像182の合成表示に関して、そのカラオケ演奏に係る前記演奏評価手段162による評価結果に応じて決定される時間位置において、前記デジタルカメラ82により撮影された撮像180の一部乃至全体に前記携帯電話機32等により撮影された撮像182を合成表示させる。例えば、前記カラオケ演奏の出力中にリアルタイムで合成表示させる態様においては、そのカラオケ演奏に係る前記演奏評価手段162による評価結果が予め定められた閾値(例えば、90点といった所定の点数)以上となった場合(時間位置)に、前記撮像180に対して前記撮像182を合成表示させる。また、前記カラオケ演奏中にその演奏に係る情報を記憶しておき、そのカラオケ演奏の終了後に合成を行う態様においては、そのカラオケ演奏を通して前記演奏評価手段162による評価結果が最も高かった時点乃至時間区間を判定し、その判定された時間位置において、前記撮像180に対して前記撮像182を合成表示させる。
また、前記合成表示手段170は、好適には、前記カラオケ装置16によるカラオケ演奏の出力と併行して前記デジタルカメラ82により撮影された撮像180に対しての、前記携帯電話機32等により撮影された撮像182の合成表示に関して、そのカラオケ演奏に係る前記盛り上がり判定手段164の判定結果すなわちその盛り上がり判定手段164により盛り上がり位置と判定される時間位置において、前記デジタルカメラ82により撮影された撮像180の一部乃至全体に前記携帯電話機32等により撮影された撮像182を合成表示させる。例えば、前記カラオケ演奏の出力中にリアルタイムで合成表示させる態様においては、そのカラオケ演奏に関して前記盛り上がり判定手段164により盛り上がり位置と判定される時間位置例えば前記マイクロフォン50から入力される音声情報に対応する信号強度が予め定められた閾値(例えば、所定の音圧)以上となった場合(時間位置)に、前記撮像180に対して前記撮像182を合成表示させる。また、前記カラオケ演奏中にその演奏に係る情報を記憶しておき、そのカラオケ演奏の終了後に合成を行う態様においては、そのカラオケ演奏を通して前記盛り上がり判定手段164により盛り上がり位置と判定される時間位置例えば前記マイクロフォン50から入力される音声情報に対応する信号強度が最も高かった時点乃至時間区間を判定し、その判定された時間位置において、前記撮像180に対して前記撮像182を合成表示させる。
前記演奏制御手段160は、好適には、前記カラオケ装置16による所定の演奏曲の出力に際して、その演奏曲に係り前記合成表示手段170により合成表示される映像184をカラオケ演奏における背景映像として表示させる。すなわち、前記カラオケ装置16によるカラオケ演奏の出力と併行して前記デジタルカメラ82により撮影された撮像180に対して、前記携帯電話機32等により撮影された撮像182を合成表示させた映像184を、その演奏曲の出力に際して前記映像表示装置40に背景映像として表示させる。すなわち、図11に示すように、前記映像出力制御部42及び映像情報デコーダ44等を介して、前記撮像180に対して前記撮像182が合成表示された映像184の前面側レイヤに、対象となる演奏曲(デジタルカメラ82による撮像180の撮影中に出力される演奏曲)の歌詞文字映像186を表示させる。また、図12に示すように、前記撮像180の全体に対して(撮像180が不可視となるように)前記撮像182が合成表示された映像188に関しても同様に、その映像188の前面側レイヤに対象となる演奏曲の歌詞文字映像186を表示させる。換言すれば、前記カラオケ装置16による前記演奏曲の出力と併行して前記デジタルカメラ82により撮影された撮像180に対して、前記携帯電話機32等により撮影された撮像182を、その演奏曲の出力中にリアルタイムで合成表示させる態様において、その合成表示される映像184をその演奏曲の出力に係る背景映像として前記映像表示装置40に表示させる。
図7に示す動画投稿手段174は、前記デジタルカメラ82等により撮影された映像を、前記サーバ装置20における動画データベース158に投稿する。好適には、前記デジタルカメラ82等により撮影された映像情報及び前記マイクロフォン50から入力された音声情報を1つの動画情報(音声を含む映像ファイル)として前記サーバ装置20における動画データベース158に投稿する。例えば、斯かる動画情報(映像情報及び音声情報)を、投稿者の識別情報(ユーザID)、投稿者の名前(ニックネーム)、投稿に相前後して投稿者により設定(入力)された映像のタイトル、投稿者のコメント、削除用のパスワード、対応する演奏曲の識別情報(選曲番号)、曲名、アーティスト名、及び演奏評価結果(採点結果)等の情報等と関連付けて前記サーバ装置20へ送信する。そのようにして送信された動画情報は、後述する動画管理手段176により前記動画データベース158に記憶(登録)される。
前記動画投稿手段174は、好適には、前記合成表示手段170による合成表示に係る映像184等を前記サーバ装置20における動画データベース158に投稿する。例えば、前述した図8〜図10等に示す例では、前記デジタルカメラ82により撮影された撮像180に対して、前記携帯電話機32等により撮影された撮像182を合成表示させた映像184に対応する動画が、配信側端末装置である前記パーソナルコンピュータ30等により閲覧できるように、その動画を表示させるための情報を前記サーバ装置20における動画データベース158に投稿する。好適には、前記デジタルカメラ82により撮影された撮像180に対して、前記携帯電話機32等により撮影された撮像182を合成させた映像184に対応する映像情報(動画ファイル)を前記サーバ装置20における動画データベース158に投稿する。また、好適には、前記デジタルカメラ82により撮影された撮像180に対応する映像情報と、前記携帯電話機32等により撮影された撮像182に対応する映像情報と、前記撮像180に対して前記撮像182を所定の時間位置で合成表示させるための情報とを、前記サーバ装置20における動画データベース158に投稿する。
図7に示す動画管理手段176は、前記動画データベース158を主要な構成要素とする動画情報配信システムにおける動画投稿乃至配信に係る各種管理制御を行う。具体的には、前記通信回線18を介して接続された前記カラオケ装置16等の投稿側端末装置からの動画情報の投稿を受け付け、その投稿された動画情報を対応する各種情報と関連付けて動画データベース158に記憶させる。また、前記通信回線18を介して接続された前記カラオケ装置16やパーソナルコンピュータ30等の配信側端末装置からの配信要求に応じて、その動画データベース158に記憶された動画情報を配信する。
図13は、前記サーバ装置20における動画データベース158に投稿された前記映像184が、前記パーソナルコンピュータ30等の通信端末装置において表示される様子を例示する図である。この図13においては、前記サーバ装置20における動画データベース158に投稿された前記映像184が、前記パーソナルコンピュータ30等の通信端末装置による配信要求に応じて配信され、その通信端末装置において所定のWWW(World Wide Web)サイト190上において出力される例を示している。この図13に示すWWWサイト190は、例えば、前記動画データベース158を主要な構成要素とする動画情報配信システムを運営する情報配信サービス提供会社により管理される所謂動画投稿サイトに相当するものであり、一般的なWWWブラウザにより前記パーソナルコンピュータ30や携帯電話機32等の通信端末装置において閲覧可能とされる。このWWWサイト190上においては、出力される映像184に係る演奏曲の曲名及びアーティスト名が表示されると共に、再生/停止ボタン192、頭出しボタン194、再生位置決定つまみ196、音量設定つまみ198、及び表示画面の全画面表示乃至等倍表示を切り替える表示切替ボタン200等が表示され、各ボタン乃至つまみにより前記映像184の出力に係る各種操作が可能とされている。
図14は、前記携帯電話機32のCPU100による撮像/送信制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ(以下、ステップを省略する)SA1において、前記タッチパネルディスプレイ124等を介して前記撮像部134により撮影を行うための所定の操作が行われたか否かが判断される。このSA1の判断が否定される場合には、SA3以下の処理が実行されるが、SA1の判断が肯定される場合には、SA2において、前記撮像部134による撮影が行われ、撮影された撮像が前記記憶部106等に記憶される。次に、SA3において、前記タッチパネルディスプレイ124等を介して前記カラオケ装置16に対して所定の撮像に相当する映像情報(映像ファイル)を送信するための操作が行われたか否かが判断される。このSA3の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SA3の判断が肯定される場合には、SA4において、前記赤外線送信部136等から前記カラオケ装置16に対して所定の撮像に相当する映像情報(映像ファイル)の送信が行われた後、本ルーチンが終了させられる。
図15は、前記カラオケ装置16のCPU60による演奏/撮像制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、SB1において、前記RAM64等の予約曲テーブルにおける所定の予約曲の演奏順となる等して前記カラオケ装置16によりその演奏曲のカラオケ演奏が開始されるか否かが判断される。このSB1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SB1の判断が肯定される場合には、SB2において、演奏主体である利用者の携帯電話機32から、その携帯電話機32により撮影された撮像が例えばリモコン信号等として前記リモコン受信部72により受信され、前記RAM64等に記憶される。次に、SB3において、前記カラオケ装置16により演奏が開始される演奏曲に対応する楽曲データが前記ハードディスク66における楽曲データベースから読み出され、その楽曲データに基づくカラオケ演奏制御が開始される。また、前記マイクロフォン50から入力されて前記A/Dコンバータ74を介して供給される音声情報の記憶が開始される。次に、SB4において、前記デジタルカメラ82による撮像が開始され、撮影された映像情報の前記RAM64等への記憶が開始されると共に、その撮像を背景映像として前面側に歌詞文字映像を表示させる表示制御が開始される。
次に、SB5において、演奏中の演奏曲において予め定められた所定区間が経過したか否かが判断される。このSB5の判断が否定される場合には、SB9以下の処理が実行されるが、SB5の判断が肯定される場合には、SB6において、該当区間における前記マイクロフォン50から入力された音声情報と、その区間における演奏曲とが比較されることで、斯かる区間におけるカラオケ演奏の評価(採点)が行われる。次に、SB7において、該当区間における前記マイクロフォン50から入力された音声情報に対応する信号強度が算出され、その信号強度に基づいて演奏中の演奏曲における盛り上がり位置であるか否かの判断が行われる。このSB7の判断が否定される場合には、SB9以下の処理が実行されるが、SB7の判断が肯定される場合には、SB8において、SB4にて前記デジタルカメラ82により撮影された撮像に対して、SB2にて前記携帯電話機32等から受信された撮像が合成表示される。好適には、その合成表示に係る映像がカラオケ演奏映像における背景映像として前記映像表示装置40に表示される。
次に、SB9において、カラオケ演奏終了であるか否かが判断される。このSB9の判断が否定される場合には、SB5以下の処理が再び実行されるが、SB9の判断が肯定される場合には、SB10において、前記カラオケ装置16によるカラオケ演奏制御及び前記デジタルカメラ82による撮像制御が終了させられる。次に、SB11において、前記電子早見本装置22等を介して前記サーバ装置20に対して動画の投稿を行うための操作が行われたか否かが判断される。このSB11の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SB11の判断が肯定される場合には、SB12において、SB4にて前記デジタルカメラ82により撮影された撮像に対して、SB2にて前記携帯電話機32等から受信された撮像が合成された映像、すなわちSB4にて前記デジタルカメラ82により撮影された撮像に対してSB8の合成が反映された映像が、投稿者のユーザIDをはじめとする各種情報に関連付けられて前記サーバ装置20へ投稿され、それをもって本ルーチンが終了させられる。
図16は、前記サーバ装置20のCPU140による動画管理制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、SC1において、前記カラオケ装置16等の通信端末装置から前記通信回線18を介して動画すなわち映像情報の投稿があったか否かが判断される。このSC1の判断が否定される場合には、SC3以下の処理が実行されるが、SC1の判断が肯定される場合には、SC2において、投稿された動画が投稿主体である利用者のユーザID等と関連付けられて前記動画データベース158に記憶(登録)される。次に、SC3において、前記パーソナルコンピュータ30等の通信端末装置から前記通信回線18を介して動画すなわち映像情報の配信要求があったか否かが判断される。このSC3の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SC3の判断が肯定される場合には、SC4において、配信要求の要求元である通信端末装置に対して前記通信回線18を介して要求に係る映像情報の配信が行われた後、本ルーチンが終了させられる。
以上の制御において、SB1、SB3、SB9、及びSB10が前記演奏制御手段160の動作に、SB5〜SB7が前記演奏評価手段162の動作に、SB7が前記盛り上がり判定手段164の動作に、SA3及びSA4が前記撮像送信手段166の動作に、SB2及びSB4が前記撮像記憶手段168の動作に、SB8が前記合成表示手段170及び前記撮像合成手段172の動作に、SB11及びSB12が前記動画投稿手段174の動作に、SC1〜SC4が前記動画管理手段176の動作に、それぞれ対応する。
このように、本実施例によれば、前記カラオケ装置16に対して位置固定に設けられた据付型撮像装置としてのデジタルカメラ82と、携帯型撮像装置としての携帯電話機32により撮影された撮像を受信するリモコン受信部72等と、前記カラオケ装置16による前記演奏曲の出力と併行して前記デジタルカメラ82により撮影された撮像に対して、前記携帯電話機32により撮影された撮像を、その演奏曲の出力の進行に応じて合成表示させる合成表示手段170(SB8)とを、備えたものであることから、カラオケ演奏中に撮影された撮像の特殊性を踏まえて、その撮像における所定の時間位置に前記携帯電話機32により撮影された撮像を組み込むことができる。すなわち、携帯型撮像装置により撮影された撮像を用いて簡便に動画編集を行い得るカラオケ装置16を提供することができる。
また、音声入力装置であるマイクロフォン50から入力される音声情報に応じて、前記カラオケ装置16により出力される演奏曲に係る演奏評価を行う演奏評価手段162(SB5〜SB7)を備え、前記合成表示手段170は、前記携帯電話機32により撮影された撮像を、前記演奏評価手段162による評価結果に応じて決定される時間位置において、前記デジタルカメラ82により撮影された撮像の一部乃至全体に合成表示させるものであるため、前記演奏曲の出力と併行して前記デジタルカメラ82により撮影された撮像における、その演奏曲の演奏評価結果を踏まえた所定の時間位置に、簡便且つ実用的な態様で前記携帯電話機32により撮影された撮像を組み込むことができる。
また、前記演奏評価手段162に備えられた盛り上がり判定手段164(SB7)は、前記マイクロフォン50から入力される音声情報に応じて、前記カラオケ装置16により出力される演奏曲の盛り上がり位置を判定するものであり、前記合成表示手段170は、前記携帯電話機32により撮影された撮像を、前記演奏評価手段162により判定される盛り上がり位置において、前記デジタルカメラ82により撮影された撮像の一部乃至全体に合成表示させるものであるため、前記演奏曲の出力と併行して前記デジタルカメラ82により撮影された撮像における、その演奏曲が盛り上がる部分に相当する所定の時間位置に、簡便且つ実用的な態様で前記携帯電話機32により撮影された撮像を組み込むことができる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例では、前記携帯電話機32により撮影された撮像に対応する映像情報を、その携帯電話機32に備えられた赤外線送信部136から前記カラオケ装置16に対して赤外線信号として送信する態様を説明したが、本発明はこれに限定されるものではなく、例えば、前記サーバ装置20等において前記通信カラオケシステム10の利用者毎に個別の情報を記憶させるデータベースを備えた構成においては、前記携帯電話機32により撮影された撮像に対応する映像情報をそのデータベースに蓄積しておき、前記カラオケ装置16による演奏曲の出力に際してそのデータベースに記憶された映像情報をダウンロードし、前記デジタルカメラ82により撮影された撮像と合成表示させるといった態様も考えられる。
また、前述の実施例では、前記デジタルカメラ82により撮影された撮像に対して、前記携帯電話機32により撮影された撮像を合成させて前記映像表示装置40に表示させる態様について説明したが、斯かる映像を前記コマンダ本体38に備えられたタッチパネルディスプレイ78に表示させるものであってもよい。この場合、前記映像表示装置40にはデフォルトの背景映像を用いたカラオケ演奏映像を表示させてもよいし、その映像表示装置40にも同様に合成に係る映像を表示させてもよい。
また、前述の実施例では特に言及していないが、本発明は、前記サーバ装置20に投稿された複数の動画を組み合わせて表示させるサービスにも好適に適用される。すなわち、前記動画管理手段176により受け付けられる複数の動画(映像情報)を組み合わせて共演映像情報を編集し、その編集された共演映像情報を前記動画データベース158に記憶させると共に、通信端末装置からの配信要求に応じてその共演映像情報をその通信端末装置に配信する動画配信システム(コラボ動画)にも、本発明は好適に適用される。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。