JP2015192299A - 楽曲演奏装置及びプログラム - Google Patents

Abstract

【課題】比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現する楽曲演奏装置を提供する。
【解決手段】１つの動画ファイルを構成する複数のフレームそれぞれについて第１動画領域１４０及び第２動画領域１４２を定め、第１動画領域１４０にはデジタルカメラ７０により撮影された動画を貼り付け、第２動画領域１４２には透過情報を貼り付ける貼付手段１０８と、その貼付手段１０８による第１動画領域１４０への貼り付けの対象となる動画がデジタルカメラ７０により撮影された時点において演奏されている楽曲に対応する楽曲データに係る情報を動画ファイルに対応付けて記憶させる楽曲対応付手段１１０とを、備えたものであることから、可及的に小さいデータ量で動画の透過処理及び動画撮影時に出力されていた楽曲の演奏を実現できる。
【選択図】図３

Description

本発明は、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行う楽曲演奏装置及びプログラムに関し、特に、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現するための改良に関する。

多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行う楽曲演奏装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置がそれである。斯かるカラオケ装置によれば、予め記憶装置に記憶された多数の楽曲データ（カラオケ演奏曲）から選択された楽曲データに含まれる演奏情報に基づいて演奏音を出力させると共に、その楽曲の歌詞情報を含む映像を演奏音の出力に同期して画面に表示させることで、所望の楽曲のカラオケ演奏を楽しむことができる。

ところで、本出願人は、前記カラオケ装置を通信端末装置としてインターネットにおける映像情報配信システムに組み込み、前記カラオケ装置による演奏曲の出力に際して撮像装置により撮影された映像情報及び音声入力装置により入力された音声情報の投稿を受け付けて閲覧可能とする技術を発案し、実用化している。そのように、撮像装置により撮影された映像における所定の領域を抽出するための技術が提案されている。例えば、特許文献１に記載された輪郭抽出方法がそれである。この技術によれば、選択された領域の階層エッジデータを作成し、これを利用して追跡開始点の特定と輪郭追跡処理を行うことで輪郭データを抽出した後、動的輪郭モデルによる補正処理によって輪郭データを滑らかに補正することにより、ノイズや濃淡ムラがある場合においても元の画像パターンと一致し且つ滑らかな輪郭線の抽出が可能となるとされている。

特開２００３−２１６９５９号公報

ところで、前記カラオケ装置による演奏曲の出力に際して撮影される映像（演奏映像）には、歌唱者のみならず演奏を行っている部屋の風景や、同じ部屋で演奏を聞いている（或いは演奏待ちをしている）他の利用者の像等も映り込むが、前記映像情報配信システムに投稿するための映像としては専ら歌唱者の映像を撮影することが望まれる場合がある。前記撮像装置により撮影された動画から所定の領域例えば歌唱者の映像に対応する部分を切り抜く手法としては、ルミナンスキー画像やクロマキー画像、デプスマット画像等の透過情報を適用する技術が公知である。しかし、前記撮像装置により撮影された動画に加え、その動画に透過処理を行うための透過情報に対応する動画、及び動画撮影時に演奏されていた楽曲に関する情報を前記映像情報配信システムにアップロードすることを考えると、データ量が大きいことからネットワークに負荷がかかるという弊害が生じる。また、動画を圧縮する技術は公知であるが、動画の形式によっては動画と透過情報とを別々にアップロードしなければならず、動画と透過情報とを対応付けするデータベース等が必要となり負担がかかるという弊害が生じる。前記従来の技術では、斯かる課題を解決することができなかった。このような課題は、楽曲演奏装置の性能向上を意図して本発明者が鋭意研究を継続する過程において新たに見出したものである。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現する楽曲演奏装置及びプログラムを提供することにある。

斯かる目的を達成するために、本第１発明の要旨とするところは、楽曲データを演奏する演奏手段と、前記演奏手段により楽曲データが演奏されることに応じて、撮像装置から取得された動画情報を取得する取得手段と、取得された動画情報に対して透過処理を行うための透過情報を取得する透過情報取得手段と、１つの動画ファイルを構成する複数のフレーム毎に、第１動画領域及び第２動画領域を定め、前記第１動画領域には前記撮像装置により撮影された動画情報を貼り付け、前記第２動画領域には前記透過情報取得手段により取得された透過情報を貼り付ける貼付手段と、前記演奏手段により演奏されている楽曲データと、前記貼り付け手段により貼り付けられた前記動画ファイルに対応付けて記憶させる対応付手段とを、備えたことを特徴とする楽曲演奏装置である。

前記第１発明によれば、楽曲データを演奏する演奏手段と、前記演奏手段により楽曲データが演奏されることに応じて、撮像装置から取得された動画情報を取得する取得手段と、取得された動画情報に対して透過処理を行うための透過情報を取得する透過情報取得手段と、１つの動画ファイルを構成する複数のフレーム毎に、第１動画領域及び第２動画領域を定め、前記第１動画領域には前記撮像装置により撮影された動画情報を貼り付け、前記第２動画領域には前記透過情報取得手段により取得された透過情報を貼り付ける貼付手段と、前記演奏手段により演奏されている楽曲データと、前記貼り付け手段により貼り付けられた前記動画ファイルに対応付けて記憶させる対応付手段とを、備えたことを特徴とするものであることから、動画及びその動画に透過処理を行うための動画情報を１つの動画ファイルに統合し、更に動画撮影時に演奏されていた楽曲に関する情報を対応付けることで、可及的に小さいデータ量で動画の透過処理及び動画撮影時に出力されていた楽曲の演奏を実現できる。すなわち、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現する楽曲演奏装置を提供することができる。

前記第１発明において、好適には、前記動画ファイルから、前記第１動画領域に貼り付けられた動画及び前記第２動画領域に貼り付けられた透過情報を読み出す読出手段と、前記読出手段により読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理を行った動画を表示装置に表示させる表示制御手段と、前記表示制御手段による動画の表示と併行して、前記動画ファイルに対応付けられている楽曲データに基づいて楽曲の演奏出力を行う演奏出力制御手段とを、備えたものである。このようにすれば、例えば他の楽曲演奏装置により撮影が行われる等して所定のサーバにアップロードされた動画ファイルを所定の楽曲演奏装置によりダウンロードし、その楽曲演奏装置において動画の透過処理及び動画撮影時の演奏の再現を実現することができる。

また、好適には、前記楽曲演奏装置は、前記撮像装置と接続可能なカラオケ装置である。このようにすれば、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現するカラオケ装置を提供することができる。

また、好適には、前記貼付手段は、前記第１動画領域への貼り付けの対象となる動画及び前記第２動画領域への貼り付けの対象となる透過情報のサイズを変更し、前記第１動画領域及び前記第２動画領域にそれぞれ貼り付けるものである。このようにすれば、透過処理を実現する動画ファイルのデータ量を更に小さなものとすることができる。

また、好適には、入力装置から入力される音信号を録音する録音手段と、その録音手段により録音された音信号を前記動画ファイルに対応付けて記憶させる第２対応付手段と、前記表示制御手段による動画の表示と併行して、前記動画ファイルに対応付けられている音信号の出力を行う音信号出力制御手段とを、備えたものである。このようにすれば、動画及びその動画に透過処理を行うための動画情報を１つの動画ファイルに統合することに加え、動画撮影時における歌唱者の歌唱音声等を録音して対応付けることで、比較的小さいデータ量で動画の透過処理及び動画撮影時のカラオケ演奏の再現を実現することができる。

前記目的を達成するために、本第２発明の要旨とするところは、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行う楽曲演奏装置の制御装置を、楽曲データを演奏する演奏手段、前記演奏手段により楽曲データが演奏されることに応じて、撮像装置から取得された動画情報を取得する取得手段、取得された動画情報に対して透過処理を行うための透過情報を取得する透過情報取得手段、１つの動画ファイルを構成する複数のフレーム毎に、第１動画領域及び第２動画領域を定め、前記第１動画領域には前記撮像装置により撮影された動画情報を貼り付け、前記第２動画領域には前記透過情報取得手段により取得された透過情報を貼り付ける貼付手段、及び、前記演奏手段により演奏されている楽曲データと、前記貼り付け手段により貼り付けられた前記動画ファイルに対応付けて記憶させる対応付手段として機能させることを特徴とするプログラムである。このようにすれば、動画及びその動画に透過処理を行うための動画情報を１つの動画ファイルに統合し、動画撮影時に演奏されていた楽曲に関する情報を対応付けることで、可及的に小さいデータ量で動画の透過処理及び動画撮影時に出力されていた楽曲の演奏を実現できる。すなわち、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現するプログラムを提供することができる。

本発明の楽曲演奏装置の好適な実施例であるカラオケ装置の構成を例示するブロック線図である。 図１のカラオケ装置が通信回線を介して他の機器と接続された様子を示す図である。 図１のカラオケ装置に備えられた制御機能の要部について説明する機能ブロック線図である。 図１のカラオケ装置に備えられたデジタルカメラにより撮影された画像を例示する図である。 図４の画像に対して透過処理を行うための透過情報に対応する透過情報画像を例示する図である。 図４の画像に対して図５の透過情報により透過処理を行うことにより得られる部分映像を例示する図である。 図６に示す部分映像が合成される映像を例示する図である。 図７に示す映像の前面側に、図６に示す部分映像を合成した映像を例示する図である。 図１のカラオケ装置による動画ファイルへの実体画像及び透過情報画像の貼り付けの具体例について説明する図である。 図１のカラオケ装置による動画ファイルへの実体画像及び透過情報画像の貼り付けの具体例として、サイズを変更して貼り付ける例を示す図である。 図１のカラオケ装置による動画ファイルへの実体画像及び透過情報画像の貼り付けの具体例として、サイズを変更して貼り付ける例を示す図である。 図１のカラオケ装置のＣＰＵによる本実施例の動画ファイル作成／送信制御の一例の要部を説明するフローチャートである。 図１のカラオケ装置のＣＰＵによる本実施例の動画ファイル読出／再生制御の一例の要部を説明するフローチャートである。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明の楽曲演奏装置の好適な実施例であるカラオケ装置１０の構成を例示するブロック線図である。この図１に示すように、本実施例のカラオケ装置１０は、中央演算処理装置であるＣＰＵ１２と、読出専用メモリであるＲＯＭ１４と、随時書込読出メモリであるＲＡＭ１６と、記憶装置であるハードディスク１８と、グラフィックスチップ（グラフィックスボード）等の映像処理部２０と、サウンドチップ（サウンドボード）等の音声処理部２２と、操作パネル２４と、表示制御部２６及び入力制御部２８を介して前記ＣＰＵ１２に接続されたタッチパネルディスプレイ３０と、通信インターフェイス３６と、ＬＡＮインターフェイス３８と、無線通信部４０と、ビデオ出力端子４２を介して前記映像処理部２０に接続された映像表示装置であるディスプレイ４４と、オーディオ入力端子４６を介して前記音声処理部２２に接続された音声入力装置であるマイクロフォン４８と、オーディオ出力端子５０を介して前記音声処理部２２に接続された音声増幅装置であるアンプ５２と、そのアンプ５２に備えられた音声出力装置であるスピーカ５４と、接続端子７２を介して接続された撮像装置であるデジタルカメラ７０とを、備えて構成されている。

前記ＣＰＵ１２は、前記ＲＡＭ１６の一時記憶機能を利用しつつ前記ＲＯＭ１４に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置１０における各種制御を実行する。すなわち、前記操作パネル２４、タッチパネルディスプレイ３０、或いは電子早見本装置６８等により所定の楽曲（カラオケ演奏曲）が選曲入力された場合、その選曲入力された楽曲を前記ＲＡＭ１６等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク１８から前記ＲＡＭ１６に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報（楽曲データ）を読み出す楽曲データ読出制御、楽曲の演奏進行に応じてそのＲＡＭ１６から前記音声処理部２２へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記ＲＡＭ１６に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像処理部２０へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像処理部２０を制御して所定の背景映像を再生させる背景映像出力制御、及びカラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御等の基本的な制御に加え、後述する本実施例の動画ファイル作成制御等の各種制御を実行する。本実施例においては、前記ＣＰＵ１２が前記カラオケ装置１０の制御装置に対応する。

前記映像処理部２０は、前記ディスプレイ４４に表示される画面（映像）の描画に係る各種制御を行う。例えば、前記ＣＰＵ１２から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによって前記ビデオ出力端子４２を介して前記ディスプレイ４４に所定の画面を表示させる制御を行う。具体的には、前記カラオケ装置１０による楽曲の演奏出力（カラオケ演奏）に際して、前記ＣＰＵ１２において生成された歌詞文字映像等の文字映像（テロップ）を出力させたり、前記ハードディスク１８に記憶されたＭＰＥＧ（Moving Picture Experts Group）データ等の背景映像情報に基づいて所定の背景映像を再生（デコード）させたり、その背景映像の前面側に前記歌詞文字映像を合成させて前記ディスプレイ４４に表示させたり、その歌詞文字映像を前記楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。

前記音声処理部２２は、ＦＭ音源やＰＣＭ音源等の各種音源を備え、前記カラオケ装置１０による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生させるシンセサイザ（synthesizer）を備えている。このシンセサイザは、前記ハードディスク１８から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。前記シンセサイザは、好適には、ＭＩＤＩ（Musical Instrument Digital Interface）端子を備えたものであり、前記演奏情報は、例えばＭＩＤＩ形式のデータである。そのＭＩＤＩデータに基づいて前記シンセサイザにより生成された音楽信号は、前記マイクロフォン４８から前記オーディオ入力端子４６を介して入力される利用者（演奏者）の歌声とミキシングされ、前記オーディオ出力端子５０を介して前記アンプ５２に供給されてそのアンプ５２により増幅されて前記スピーカ５４から出力される。

前記操作パネル２４は、前記カラオケ装置１０の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記タッチパネルディスプレイ３０は、画像（映像）を表示させると共に利用者の操作に応じて前記カラオケ装置１０への操作入力を行う装置であり、そのタッチパネルディスプレイ３０に所定の画像（映像）を表示させる表示装置３２と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ３０への接触により入力を行うタッチパネル３４とを、備えている。前記表示制御部２６は、前記ＣＰＵ１２から供給される情報に基づいて前記表示装置３２に表示される画面（映像）の描画を制御する映像処理部である。前記入力制御部２８は、前記タッチパネル３４により入力される操作入力情報を前記ＣＰＵ１２等に供給する入力処理部である。以上の構成を備えていることで、前記タッチパネルディスプレイ３０は、前記ディスプレイ４４とは別に第２の映像表示装置として機能すると共に、前記カラオケ装置１０の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。

前記カラオケ装置１０は、前記通信インターフェイス３６及びネットワーク接続端子５６を介して通信回線６０に接続されている。前記通信回線６０は、例えば公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ（World Wide Web）等のインターネットに接続された広域情報通信網である。前記カラオケ装置１０は、同様にその通信回線６０に接続された他の機器との相互間でその通信回線６０を介して情報の通信が可能とされている。図２は、前記カラオケ装置１０が前記通信回線６０を介して他の機器と接続された様子を示す図である。この図２に示すように、前記カラオケ装置１０は、好適には、前記通信回線６０を介してサーバ（ホスト装置）８０に接続されており、そのサーバ８０から楽曲データ（カラオケデータ）、背景映像情報、及び曲間情報等のデジタルコンテンツ（Digital Contents）の配信を受け付けるものである。また、後述するように、前記カラオケ装置１０において作成された動画ファイルが、前記通信回線６０を介して前記サーバ８０へ送信（アップロード）され、そのサーバ８０に備えられた動画データベース７８に蓄積されるようになっている。すなわち、前記カラオケ装置１０は、好適には、所定の通信回線に接続されてサーバとの間で各種情報の送受信を行う通信カラオケ装置であるが、斯かる通信回線に接続されない非通信型のカラオケ装置等にも本発明は好適に適用される。

前記通信回線６０には、好適には、各種通信端末装置が接続され、前記サーバ８０等との間で相互に情報の送受信が可能とされる。例えば、図２に示すように、前記通信回線６０には、複数（図１では１つを例示している）の携帯電話機８２と、複数（図１では１つを例示している）のタブレット端末８４と、複数（図１では１つを例示している）のパーソナルコンピュータ８６とが、接続されている。前記携帯電話機８２は、好適には、タッチパネルディスプレイを備えると共に、インターネット上における各種コンテンツをそのタッチパネルディスプレイに表示させる機能等を備えた所謂スマートフォンである。前記タブレット端末８４は、好適には、タッチパネルディスプレイを備えると共に、インターネット上における各種コンテンツをそのタッチパネルディスプレイに表示させる機能等を備えた装置である。前記パーソナルコンピュータ８６は、入力装置及び表示装置を備え、インターネット上における各種コンテンツをその表示装置に表示させる機能を備えた公知の家庭用パーソナルコンピュータである。前記携帯電話機８２及びタブレット端末８４は、中継基地局８８を介して前記通信回線６０に接続されており、前記サーバ８０と前記携帯電話機８２或いはタブレット端末８４との間で相互に情報の通信が可能とされている。前記パーソナルコンピュータ８６は、前記通信回線６０に接続されることで、その通信回線６０を介して前記サーバ８０との間で相互に情報の通信が可能とされている。

前記ＬＡＮインターフェイス３８は、前記カラオケ装置１０をＬＡＮ接続端子６２を介してＬＡＮ（local area network）６４に接続するための接続器であり、そのように前記ＬＡＮ６４に接続されることで、前記カラオケ装置１０は、同様に前記ＬＡＮ６４に接続された電子早見本装置６８等の他の機器との間で情報の送受信が可能とされる。また、前記カラオケ装置１０が設置される店舗等に複数台のカラオケ装置が備えられている場合において、同様に前記ＬＡＮ６４に接続されたカラオケ装置相互間において情報の送受信が可能とされる。例えば、前記ＬＡＮ６４に接続されたアクセスポイント６６を介して受信される電子早見本装置６８からの選曲入力を受け付けて前記ＲＡＭ１６に設けられた予約曲テーブルに記憶したり、そのアクセスポイント６６を介して前記カラオケ装置１０から電子早見本装置６８へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１０と電子早見本装置６８との間における相互の情報のやりとりが実行される。

前記無線通信部４０は、前記カラオケ装置１０と前記電子早見本装置６８等の入力装置との間の無線通信を行う。例えば、前記電子早見本装置６８等の入力装置から送信されるリモコン信号を受信するリモコン受信部として機能する。前記カラオケ装置１０と電子早見本装置６８との対応付け（くくりつけ）処理は、好適には、斯かるリモコン信号（赤外線信号）により前記無線通信部４０を介して行われる。すなわち、前記電子早見本装置６８は、それぞれ個別のシリアル番号を有しており、前記対応付け処理においては、例えばそのシリアル番号（例えば、下４桁）及び所定の接続コードを含む信号が接続通知として前記カラオケ装置１０へ送信され、前記無線通信部４０によりその接続信号を受信したカラオケ装置１０に対して前記電子早見本装置６８が対応付けられる。そのようにして前記カラオケ装置１０に対応付けられた電子早見本装置６８は、そのカラオケ装置１０の入力装置（遠隔操作装置）として機能し、その電子早見本装置６８から送信される信号が前記ＣＰＵ１２に供給されることで、前記カラオケ装置１０の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力が受け付けられるようになっている。なお、前記対応付け処理が行われた後、前記電子早見本装置６８と前記カラオケ装置１０との間の通信は、前記ＬＡＮ６４及びアクセスポイント６６等を介したＬＡＮ通信により行われる。また、本実施例においては、前記カラオケ装置１０に対応付け処理の行われた電子早見本装置６８等の入力装置もそのカラオケ装置１０の一部を構成するものであるとして以下の説明を行う。

前記デジタルカメラ７０は、例えばＣＣＤ（charge coupled device）等の撮像素子及びレンズを備え、そのレンズから入射される映像を撮像素子により検知し、その映像を電子情報（映像データ）として取得する所謂デジタルビデオカメラであり、少なくとも動画（時間の経過に従い変化する動きのある映像）を撮影し得るものであるが、必要に応じて静止画（スチル写真）を撮影できるように構成されたものであってもよい。このデジタルカメラ７０により撮影された映像情報は、前記接続端子７２等のインターフェイスを介して前記ＣＰＵ１２等へ供給され、例えばＡＶＩ（Audio-Video Interleaved）形式、ＭＰＥＧ（Moving Picture Experts Group）形式、ＦＬＶ（Flash Video）形式等の映像ファイルとして前記ＲＡＭ１６等に記憶される。

前記デジタルカメラ７０は、好適には、公知のデプスセンサ付きビデオカメラである。すなわち、撮影対象となる物体の３次元的な距離を検出し得るビデオカメラであり、撮影された動画において、例えば前記デジタルカメラ７０から所定の距離範囲における人物の部分映像を検出することができる。更に好適には、動画の撮影と併行して、その撮影される動画から例えば人物の映像を切り抜くための情報として、後述するルミナンスキー画像又はクロマキー画像等の透過情報を取得するものである。なお、このデジタルカメラ７０は、必ずしも前記カラオケ装置１０の一部として備えられたものでなくともよく、例えば前記カラオケ装置１０が設置された室における所定位置に固設された別体のビデオカメラ乃至前記携帯電話機８２等に備えられた撮像装置等により撮影された映像が所定のインターフェイスを介して前記カラオケ装置１０に入力される態様も考えられる。

前記ハードディスク１８には、楽曲データベース７６（図３を参照）をはじめとする各種データベースが設けられている。前記楽曲データベース７６は、前記カラオケ装置１０により前記楽曲の演奏出力（カラオケ演奏）を行うための多数（例えば、数万曲）の楽曲データ（カラオケデータ）を記憶する。前記カラオケ装置１０において出力される各楽曲に対応して前記楽曲データベース７６に記憶された楽曲データは、例えば、メタデータ、演奏情報としてのＭＩＤＩデータ、及び歌詞情報としてのテロップデータを含んでいる。このメタデータは、例えば、各楽曲データの識別情報としての曲番号（選曲番号）、曲名、歌手名、登録日時等の情報を含んでいる。前記テロップデータは、前記映像処理部２０を介して各楽曲の歌詞文字映像表示制御を行うための情報であり、例えば、前記楽曲データに対応する楽曲（演奏曲）の歌詞を複数に区分した各区分に相当するブロックデータを含んでいる。前記ＭＩＤＩデータは、前記音声処理部２２を介して各楽曲の演奏出力制御を行うための情報であり、複数種類の楽器にそれぞれ対応する複数のトラック（チャンネル）を備え、各トラックにおいて対応する楽器の演奏音の出力タイミングが定められている。

図３は、前記カラオケ装置１０に備えられた制御機能の要部について説明する機能ブロック線図である。図３に示す各制御手段は、好適には、前記カラオケ装置１０のＣＰＵ１２に機能的に備えられたものである。換言すれば、本発明の一実施例であるプログラムにより、前記ＣＰＵ１２が図３に示す各制御手段として機能させられる。本発明の一実施例であるプログラムが例えば前記通信回線６０を介して前記携帯電話機８２やタブレット端末８４等によりダウンロードされることで、それらのＣＰＵが図３に示す各制御手段として機能させられるものであってもよい。図３に示す読出手段１１６、表示制御手段１１８、演奏出力制御手段１２０、及び音信号出力制御手段１２２は、必ずしも前記カラオケ装置１０のＣＰＵ１２に備えられたものでなくともよく、前記通信回線６０に接続された通信端末装置の制御装置に備えられたものであってもよい。例えば、前記携帯電話機８２、タブレット端末８４、パーソナルコンピュータ８６等の通信端末装置の制御装置に備えられたものであってもよい。以下の実施例においては、前記読出手段１１６、表示制御手段１１８、演奏出力制御手段１２０、及び音信号出力制御手段１２２が前記カラオケ装置１０のＣＰＵ１２に備えられた態様について説明する。

本実施例のカラオケ装置１０は、図３に示す透過情報取得手段１０４及び動画ファイル作成手段１０６等を備えることで、撮像装置である前記デジタルカメラ７０により撮影された動画において、例えば、図６等を用いて後述するように、利用者（歌唱者）に対応する像以外の部分を透過領域とした透過画像を得るための処理を実現する。斯かる透過画像を得るための従来の技術として、アルファチャンネル方式が知られている。このアルファチャンネル方式では、画像（動画）データが、Ｒ（赤色）Ｇ（緑色）Ｂ（青色）又はＹ（輝度）Ｕ（色差成分）Ｖ（色差成分）のカラーチャンネルに、Ａ（透過情報）のアルファチャンネルを追加したＲＧＢＡチャンネル又はＹＵＶＡチャンネルを持つ。すなわち、透過情報に対応するアルファチャンネルを含む４つのチャンネルを持つことで、透過情報を持った動画像を実現することができる。しかしながら、この方式では、伝送或いは記録規格上、ＲＧＢ又はＹＵＶのカラーチャンネルだけの実装が規定されており、アルファチャンネルを実装し得ない形式においては、透過画像を実現することができない。

また、前記透過画像を得るための他の従来の技術のとして、実体画像と、透過情報画像とを個別に伝送及び記録する方式が知られている。この方式では、透過情報を持てないＲＧＢ又はＹＵＶのカラーチャンネルのみの画像伝送及び記録方式に対して、２つのＲＧＢ又はＹＵＶのカラーチャンネルの動画像を使用して透過処理を行う方式であり、透過処理が行われる対象の実体画像と、透過情報画像の２つの画像を別々に用意する。この透過情報画像とは、例えば、公知のルミナンスキー（Luminance Key）画像又はクロマキー（Chroma key）画像等である。透過情報画像から得られたルミナンスキー画像又はクロマキー画像を基に、実体画像に対して、ルミナンスキー又はクロマキー処理を行って透過範囲を切り抜いて透過画像を得る。しかしながら、この方式では、２つの画像すなわち実体画像及び透過情報画像を用意しなければならず、且つそれら実体画像及び透過情報画像を相互に対応付ける（紐付ける）情報が必要となる。

本実施例のカラオケ装置１０は、図３に示す各制御手段を備えることで、実体画像、透過情報画像の画面分割同時伝送及び記録方式を実現する。すなわち、ＲＧＢ又はＹＵＶのカラーチャンネルのみのアルファチャンネルを持っていない画像伝送及び記録形式に対して、１つの画像伝送及び記録のみで透過情報を持たせることができる方式を実現する。具体的には、１つの画像を左右又は上下に画面分割して、実体画像領域と透過情報画像領域に分け、各領域に対して実体画像と透過情報画像（ルミナンスキー画像又はクロマキー画像等）を収録する。透過処理においては、前記１つの画像から実体画像領域と透過情報画像領域を別々で読み出し、透過情報画像から得られたルミナンスキー画像又はクロマキー画像等を基に、実体画像に対して、ルミナンスキー又はクロマキー処理を行って透過範囲を切り抜いて透過画像を得る。斯かる本実施例の方式では、アルファチャンネルを実装し得ない形式でも透過情報を１つの画像に持つことができ、且つ、従来方式では２つの別々の画像が必要だったところを１つの画像で透過画像を得ることができる。以下、図３に示す各制御機能の説明と併せて、斯かる本実施例の実体画像、透過情報画像の画面分割同時伝送及び記録方式について詳細に説明する。

図３に示す楽曲演奏制御手段１００は、前記カラオケ装置１０による楽曲の演奏（再生）を制御する。具体的には、前記楽曲データベース７６に記憶された楽曲データに基づくカラオケ演奏において、前記ＲＡＭ１６等の予約曲テーブルにおける上位の予約曲から順に（すなわち入力順に）、その予約曲テーブルに記憶された予約曲の選曲番号に対応する楽曲データを前記ハードディスク１８の楽曲データベース７６から読み出し、その楽曲データに含まれる演奏情報に基づいて演奏曲の出力を制御する。例えば、演奏情報としてのＭＩＤＩデータに基づいて、前記音声処理部２２に備えられたシンセサイザによりそのＭＩＤＩデータにおける楽譜情報としての各トラックに対応する楽器の演奏音（音楽情報）を出力させ、前記アンプ５２等を介して前記スピーカ５４から出力させる。また、楽曲データに含まれる歌詞情報に基づいて演奏曲に係る歌詞文字映像の出力を制御する。すなわち、歌詞情報に基づいて歌詞文字映像を生成し、前記映像処理部２０を介してその歌詞文字映像を前記ディスプレイ４４に表示させる。また、カラオケ演奏の進行に伴い、そのディスプレイ４４に表示された歌詞文字映像を切替表示させると共に、歌詞色替情報に基づいて歌詞文字映像を順次色替え表示させる。本実施例においては、前記楽曲演奏制御手段１００が、楽曲データを演奏する演奏手段に相当する。

録音手段１０２は、前記楽曲演奏制御手段１００による楽曲データに基づく演奏出力に際して、入力装置（音声入力装置）としての前記マイクロフォン４８から入力される音信号（歌唱音声信号）を録音する。例えば、前記マイクロフォン４８から入力される音信号を前記ＲＡＭ１６等に記憶しておき、演奏終了後に例えばＭＰＥＧ（Moving Picture Experts Group）形式やＷＡＶ形式等の音声データとして記憶する。好適には、後述する貼付手段１０８による第１動画領域への貼り付けの対象となる動画が前記デジタルカメラ７０により撮影された時点において、前記マイクロフォン４８から入力される音信号を録音する。すなわち、後述する動画ファイル作成手段１０６による処理対象となる実体画像に対応する動画が前記デジタルカメラ７０により撮影された時点において、前記マイクロフォン４８から入力される音信号を録音する。

透過情報取得手段１０４は、撮像装置である前記デジタルカメラ７０により撮影された動画に対して透過処理を行うための透過情報を取得する。すなわち、前記デジタルカメラ７０により撮影された動画を透過処理が行われる対象の実体画像として、その実体画像から所定の部分映像（例えば、利用者の映像に対応）を切り抜くための透過情報画像を取得する。具体的には、前記デジタルカメラ７０により撮影された動画を連続する複数の齣に対応する画像（静止画）とした場合に、実体画像としての各画像から所定の部分映像を切り抜くための連続する複数の齣に対応する透過情報画像を取得する。換言すれば、撮像装置である前記デジタルカメラ７０により撮影された動画に対して透過処理を行うための、連続する複数の透過情報画像を取得する。前記デジタルカメラ７０により撮影された情報が前記カラオケ装置１０等のデバイスへ送信され、そのデバイス側において前記透過情報が生成されるものであってもよい。

前記透過情報取得手段１０４は、好適には、前記デジタルカメラ７０がデプスセンサ付きビデオカメラである場合には、斯かるデジタルカメラ７０による動画（実体画像）の撮影と併行してそのデジタルカメラ７０により検出される３次元的な距離情報から、その動画において所定の部分映像を切り抜くための透過情報画像を作成する。更に好適には、前記デジタルカメラ７０による動画の撮影と併行してそのデジタルカメラ７０により取得されるルミナンスキー画像又はクロマキー画像、デプスマット画像等の透過情報を取得する。すなわち、前記デジタルカメラ７０による動画の撮影に際して、そのデジタルカメラ７０から実体画像に対応する動画及びその動画に対応する前記透過情報（連続する複数の透過情報画像）を取得する。

前記透過情報取得手段１０４は、好適には、前記デジタルカメラ７０により撮影された、動画から切り抜く対象となる部分映像を含まない画像と、切り抜く対象となる部分映像を含む画像との差分に基づいて、その動画において前記部分映像を切り抜くための透過情報を作成する。例えば、前記カラオケ装置１０を用いて演奏を行っている利用者の像を前記部分映像として切り抜く場合、前記デジタルカメラ７０により、利用者の像を含まない映像（例えば、カラオケ装置１０が設置された室の風景映像）と、利用者の像を含む映像（例えば、カラオケ装置１０が設置された室において利用者が演奏を行っている映像）とを、撮影し、それらの差分に基づいて、前記デジタルカメラ７０により撮影された動画から前記利用者の像を切り抜くための透過情報（連続する複数の透過情報画像）を作成する。前記デジタルカメラ７０がデプスセンサを備えないものである場合、前記透過情報を取得するために斯かる処理が好適に実行される。

図４は、前記デジタルカメラ７０により撮影された動画に対応する実体画像１３０を例示する図である。図５は、図４の実体画像１３０に対して透過処理を行うための透過情報に対応する透過情報画像１３２を例示する図である。図５に示す透過情報画像１３２は、例えば、公知のルミナンスキー（Luminance Key）画像又はクロマキー（Chroma key）画像等であり、画面上における特定信号例えば輝度、色相、色、動き差分等を検出し、それを抜き出すキーヤー（Keyer）の一態様である。前記透過情報画像１３２は、具体的には、例えば所定部分の切り抜きの対象となる前記実体画像１３０と等しいサイズであり、切り抜きの対象となる部分とそれ以外の部分とが例えば異なる輝度、色相、色等により区分されている画像である。図５においては、図４に示す実体画像１３０における人物の像に対応する部分画像１３０ａを切り抜くための透過情報画像１３２を例示している。図５に示す透過情報画像１３２を用いて図４に示す実体画像１３０に対し透過処理（ルミナンスキー処理又はクロマキー処理等）を行うことで、前記実体画像１３０から図６に示すように前記部分画像１３０ａだけを切り抜くことができる。図６においては、前記部分画像１３０ａ以外の範囲が透過領域１３４とされており、その透過領域１３４を右上から左下への斜線で示している。なお、図４〜図６（更に後述する図７〜図１１等）においては、便宜上静止画を用いて透過処理の説明を行っているが、斯かる静止画に対応する処理が連続する複数の画像について行われることで、動画についても同様に透過処理を実現し、その動画から所定の部分映像を切り抜く（抽出する）と共にそれ以外の部分は透過領域とした映像を作成できる。

前述のようにして前記実体画像１３０から部分画像１３０ａが切り抜かれ、それ以外の部分が透過領域１３４とされた図６に示すような画像は、他の画像の前面側に合成することで、あたかもその画像中に前記部分画像１３０ａが入り込んだような画像を作成することができる。例えば、図７に示すような燃えさかる炎の映像１３６の前面側に、図６に示す人物の像に対応する部分画像１３０ａが合成されることで、図８に示すように、前記部分画像１３０ａに対応する人物の像が背中に炎を背負ったような映像１３８を実現できる。

図３に示す動画ファイル作成手段１０６は、前記デジタルカメラ７０により撮影された動画に対応して、その動画と、その動画に対して透過処理を行うための透過情報とを、含む１つの動画ファイルを作成する。斯かる処理を実現するために、前記動画ファイル作成手段１０６は、貼付手段１０８、楽曲対応付手段１１０、及び録音データ対応付手段１１２を備えている。

前記貼付手段１０８は、１つの動画ファイルに関して、その動画ファイルを構成する複数のフレーム（齣）それぞれについて第１動画領域及び第２動画領域を定め、前記第１動画領域には前記デジタルカメラ７０により撮影された動画に対応する実体画像１３０を貼り付け、前記第２動画領域には前記透過情報取得手段１０４により取得された透過情報に対応する透過情報画像１３２を貼り付ける。図９は、前記貼付手段１０８による動画ファイルへの実体画像１３０及び透過情報画像１３２の貼り付けの具体例について説明する図である。図９においては、前記実体画像１３０及び透過情報画像１３２の貼り付け対象となる動画ファイルを構成するフレームを左右分割（サイドバイサイド分割）し、前記実体画像１３０及び透過情報画像１３２の正比率画像を収録する態様を例示している。この図９に示すように、前記動画ファイル作成手段１０６は、空の動画ファイル（実質的な映像情報を含まない動画ファイル）を用意し、その動画ファイルを構成する複数のフレームそれぞれについて、例えば収録画面領域を左右均等に区分した第１動画領域１４０及び第２動画領域１４２を定める。そして、前記貼付手段１０８により、前記デジタルカメラ７０により撮影された動画に対応する、所定部分の切り抜きの対象となる前記実体画像１３０を前記第１動画領域１４０に貼り付ける（嵌め込む）と共に、前記実体画像１３０における所定の部分画像１３０ａを切り抜くための透過情報画像１３２を前記第２動画領域１４２に貼り付ける（嵌め込む）。前記動画ファイルを構成する複数のフレームそれぞれについて斯かる実体画像１３０及び透過情報画像１３２の貼り付けを行うことで、前記デジタルカメラ７０により撮影された動画から所定の部分映像１３０ａを切り抜くのに必要な情報を含む１つの動画ファイルを作成することができる。

前記貼付手段１０８は、好適には、前記第１動画領域１４０への貼り付けの対象となる動画に対応する実体画像１３０及び前記第２動画領域１４２への貼り付けの対象となる透過情報に対応する透過情報画像１３２のサイズを変更し、前記第１動画領域１４０及び前記第２動画領域１４２にそれぞれ貼り付ける。図１０及び図１１は、前記実体画像１３０及び透過情報画像１３２のサイズを変更して１つの動画ファイルに貼り付ける処理の具体例について説明する図である。図１０においては、前記実体画像１３０及び透過情報画像１３２の貼り付け対象となる動画ファイルを構成するフレームを左右分割（サイドバイサイド分割）し、前記実体画像１３０及び透過情報画像１３２をそれぞれ上下１００％且つ左右５０％としたアナモルフィック比率画像を収録する態様を例示している。図１１においては、前記実体画像１３０及び透過情報画像１３２の貼り付け対象となる動画ファイルを構成するフレームを上下分割（トップアンドボトム分割）し、前記実体画像１３０及び透過情報画像１３２をそれぞれ上下５０％且つ左右１００％としたアナモルフィック比率画像を収録する態様を例示している。斯かる動画ファイルによっても、図６に示すように前記デジタルカメラ７０により撮影された動画から所定の部分映像を切り抜く透過処理が可能であることに加え、斯かる透過処理を実現する動画ファイルのデータ量を更に小さなものとすることができるという利点がある。

図３に示す楽曲対応付手段１１０は、前記貼付手段１０８による前記第１動画領域１４０への貼り付けの対象となる動画が前記デジタルカメラ７０により撮影された時点において、前記カラオケ装置１０により演奏されている楽曲に対応する楽曲データに係る情報を前記動画ファイルに対応付けて記憶させる。ここで、前記動画ファイルへの対応付けの対象となる、前記楽曲データに係る情報とは、少なくとも前記デジタルカメラ７０により撮影された時点において前記カラオケ装置１０により演奏されている楽曲を特定するための情報であり、例えば前記楽曲データのメタデータに含まれる選曲番号や曲名及び歌手名等が相当する。或いは、前記デジタルカメラ７０により撮影された時点において、前記カラオケ装置１０により演奏されていた楽曲データそのものを前記動画ファイルに対応付けて記憶させるものであってもよい。

録音データ対応付手段１１２は、前記録音手段１０２により録音された音信号を前記動画ファイルに対応付けて記憶させる。すなわち、前記貼付手段１０８による前記第１動画領域１４０への貼り付けの対象となる動画が前記デジタルカメラ７０により撮影された時点において、前記マイクロフォン４８から入力されて前記録音手段１０２により録音された音信号に相当する録音データを、前記動画ファイルに対応付けて記憶させる。録音データそのものを前記動画ファイルに対応付けて記憶させるのではなく、前記録音データに係るユーザＩＤ及び録音情報を管理する管理番号等を前記動画ファイルに対応付けて記憶させるものであってもよい。前記動画ファイルに対して、前記楽曲対応付手段１１０による楽曲データに係る情報の対応付けと、前記録音データ対応付手段１１２による録音データの対応付けとが共に行われてもよいし、前記楽曲対応付手段１１０及び前記録音データ対応付手段１１２の何れか一方による対応付けのみが行われてもよい。すなわち、本実施例においては、前記録音データ対応付手段１１２が、前記録音手段１０２により録音された音信号を前記動画ファイルに対応付けて記憶させる第２対応付手段に相当する。

送信手段１１４は、前記動画ファイル作成手段１０６により作成された動画ファイルを前記通信回線６０を介して前記サーバ８０へ送信（アップロード）し、前記動画データベース７８に記憶させる。好適には、動画ファイルの送信主体である利用者（例えば、デジタルカメラ７０による撮影時にカラオケ装置１０により演奏を行っていた利用者）の識別情報としてのユーザＩＤ、撮影日時、撮影場所（例えば、カラオケ装置１０の識別情報）、動画のタイトル、動画の説明（例えば、短文テキストによる説明）等の情報を、前記動画ファイルに対応付けて前記動画データベース７８に記憶させる。前記動画データベース７８に記録されるファイルの形式（すなわち、動画ファイル作成手段１０６により作成されるファイルの形式）としては、公知のＨ．２６４ファイル、Ｈ．２６５ファイル、ＭＰＥＧ−２ファイル等が考えられる。

以上のようにして前記動画データベース７８に記憶（蓄積）された動画ファイルは、図３に示す読出手段１１６、表示制御手段１１８、演奏出力制御手段１２０、及び音信号出力制御手段１２２により利用される。前述のように、これらの制御手段は、前記携帯電話機８２、タブレット端末８４、パーソナルコンピュータ８６等の通信端末装置の制御装置に備えられたものであってもよい。すなわち、以下に詳述する制御は、前記携帯電話機８２、タブレット端末８４、パーソナルコンピュータ８６等の通信端末装置において実行されるものであってもよい。

読出手段１１６は、前記動画データベース７８に記憶された動画ファイルを前記通信回線６０を介して取得（ダウンロード）し、その動画ファイルから、前記第１動画領域１４０に貼り付けられた動画及び前記第２動画領域１４２に貼り付けられた透過情報を読み出す。すなわち、所定の部分映像の切り抜きの対象となる動画に対応する前記実体画像１３０を前記第１動画領域１４０から読み出すと共に、前記実体画像１３０における部分映像を切り抜くための透過情報に対応する前記透過情報画像１３２を前記第２動画領域１４２から読み出す。前記サーバ８０からの動画情報の取得形式（映像伝達方式）としては、公知のＩＰ通信による動画ストリーミングや動画ダウンロード等が考えられる。公知のＨＤＭＩ（登録商標）インターフェイスを介して伝送される信号、ＳＤＩ信号、コンポジット信号、放送電波等によるものであってもよい。斯かる態様においては、一旦、前記カラオケ装置１０等に動画情報がダウンロードされた後、ＨＤＭＩ（登録商標）インターフェイスを介して伝送される信号、ＳＤＩ信号、コンポジット信号、無線通信等の利用により前記携帯電話機８２等への動画情報の配信が行われる。前記読出手段１１６による前記動画データベース７８からの前記動画ファイルの取得は、好適には、動画のタイトル、投稿者のユーザＩＤ、楽曲の選曲番号等の指定に応じて行われる。すなわち、例えば前記電子早見本装置６８等を介しての入力操作により、所定の動画のタイトル、ユーザＩＤ、楽曲の選曲番号等の指定が行われた場合には、前記動画データベース７８に蓄積された動画ファイルから各情報に対応する動画ファイルを取得（ダウンロード）する。

表示制御手段１１８は、前記読出手段１１６により読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理を行った動画を表示装置である前記ディスプレイ４４等に表示させる。例えば、前記読出手段１１６により読み出された図５に示すような透過情報画像１３２を用いて、同じく前記読出手段１１６により読み出された図４に示すような実体画像１３０に対し透過処理（ルミナンスキー処理又はクロマキー処理等）を行うことで、図６に示すように前記実体画像１３０から前記部分画像１３０ａだけを切り抜き、それ以外の部分を透過領域１３４とした動画を生成する。ここで、前記動画及び透過情報の読み出し対象となる動画ファイルの作成において、前記実体画像１３０及び前記透過情報画像１３２のサイズ変更が行われていた場合、前記表示制御手段１１８は、好適には、前記実体画像１３０及び前記透過情報画像１３２を元のサイズに戻した上で透過処理を行う。透過処理を行った後、前記実体画像１３０及び前記透過情報画像１３２を元のサイズに戻すものであってもよい。このサイズの復元に関して、前記動画ファイルの作成において行われたサイズ変更に関する情報（例えば、変更比率）が、前記動画ファイルに対応付けられて記憶されており、その情報に基づいてサイズの復元を行うものであってもよいし、前記ファイル作成手段１０６と前記表示制御手段１１８との間で、前記動画ファイルの作成段階におけるサイズ変更に係る情報を予め共有し、その情報に基づいてサイズの復元を行うものであってもよい。

前記表示制御手段１１８は、例えば、前記読出手段１１６により読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理を行った動画すなわち部分映像を、前述した図８に示すように他の画像乃至動画の前面側に合成して前記ディスプレイ４４等に表示する表示制御を行う。前記透過処理の施された部分映像の背面側に合成される画像乃至動画は、予め定め前記ハードディスク１８等に記憶されたものが選択的に用いられてもよいが、好適には、前記サーバ８０における動画データベース（例えば、図３に示す動画データベース７８とは異なる他の動画データベース）に記憶された複数の動画データのうち、何れかの動画データが選択されて用いられる。例えば、他の利用者が前記カラオケ装置１０を用いてカラオケ演奏をする動画が前記他の動画データベースに蓄積されている場合、その動画を読み出して前面側に前記透過処理の施された部分映像を合成して表示させることで、あたかもそれらの利用者（部分映像に係る利用者と前記他の動画データに係る利用者）が同じ室でカラオケ演奏を行っているかのような映像を前記ディスプレイ４４等に表示させることができる。

演奏出力制御手段１２０は、前記表示制御手段１１８による動画の表示と併行して、前記動画ファイルに対応付けられている楽曲データに基づいて楽曲の演奏出力を行う。好適には、前記動画ファイルに対応付けられた選曲番号を読み出し、その選曲番号に対応する楽曲データを前記楽曲データベース７６から読み出す。そして、前記表示制御手段１１８による前記動画ファイルに対応する動画の再生（表示制御）と併行して、前記読み出された楽曲データに対応する楽曲の演奏出力を行う。すなわち、本実施例においては、前記楽曲演奏制御手段１００が、前記演奏出力制御手段１２０として機能するものであってもよい。

音信号出力制御手段１２２は、前記表示制御手段１１８による動画の表示と併行して、前記動画ファイルに対応付けられている音信号の出力を行う。好適には、前記表示制御手段１１８による動画の表示制御の開始と同時に、前記動画ファイルに対応付けられている音信号の出力を開始し、前記表示制御手段１１８による前記動画ファイルに対応する動画の再生（表示制御）と併行して、前記動画ファイルに対応付けられている音信号の出力（録音データの再生）を行う。前記動画ファイルに対応付けられた録音データの再生と共に、例えば前記サーバ８０における所定のデータベースから取得された録音データの再生を行うものであってもよい。例えば、他の利用者が前記カラオケ装置１０を用いて行ったカラオケ演奏に対応する音信号が前記データベースに蓄積されている場合、その録音データを読み出して前記動画ファイルに対応付けられた録音データと共に再生させることで、あたかもそれらの利用者（部分映像に係る利用者と前記他の録音データに係る利用者）が一緒にカラオケ演奏を行っているような音声出力を実現できる。更に、前述のように前記利用者に対応する部分映像を前記他の動画データに合成させた映像を出力させることで、あたかもそれらの利用者（部分映像に係る利用者と前記他の動画データに係る利用者）が同じ室でカラオケ演奏を行っているかのような映像及びその映像に対応する音声出力を実現することができる。

図１２は、前記カラオケ装置１０のＣＰＵ１２による本実施例の動画ファイル作成／送信制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）ＳＡ１において、前記ＲＡＭ１６等に記憶された予約曲テーブルの演奏順となる等して、所定の楽曲データに対応するカラオケ演奏が開始されるか否かが判断される。このＳＡ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＡ１の判断が肯定される場合には、ＳＡ２において、演奏開始に係る楽曲データが前記楽曲データベース７８から読み出されてその楽曲の演奏が行われると共に、その演奏出力と併行して前記デジタルカメラ７０による撮影が行われる。このＳＡ２の処理と併行して、ＳＡ３において、前記マイクロフォン４８から入力される音信号が録音される。このＳＡ３の処理は、必ずしも実行されなくともよい。次に、ＳＡ４において、演奏に係る楽曲データが最後まで演奏される等して、楽曲データに対応する演奏が終了させられるか否かが判断される。このＳＡ４の判断が否定される場合には、ＳＡ２以下の処理が実行されるが、ＳＡ４の判断が肯定される場合には、ＳＡ５以下の処理が実行される。

ＳＡ５においては、ＳＡ２にて前記デジタルカメラ７０により撮影された動画に対して透過処理を行うための透過情報画像が取得される。このＳＡ５の処理は、前記楽曲データに対応するカラオケ演奏と併行して実行されるものであってもよい。次に、ＳＡ６において、１つの動画ファイルに関して、その動画ファイルを構成する複数のフレームそれぞれについて第１動画領域１４０及び第２動画領域１４２が定められ、ＳＡ２にて前記デジタルカメラ７０により撮影された動画が前記第１動画領域１４０に貼り付けられると共に、ＳＡ５にて取得された透過情報画像が前記第２動画領域１４２に貼り付けられる。次に、ＳＡ７において、ＳＡ２にて出力されていた楽曲に対応する楽曲データに係る選曲番号等の情報が、ＳＡ６にて作成された動画ファイルに対応付けられて記憶される。次に、ＳＡ８において、ＳＡ３にて録音された録音データが、ＳＡ６にて作成された動画ファイルに対応付けられて記憶される。このＳＡ８の処理は、必ずしも実行されなくともよい。次に、ＳＡ９において、前記電子早見本装置６８等を介しての入力操作により、ＳＡ６にて作成された動画ファイルを前記サーバ８０へ送信（アップロード）するための操作が行われたか否かが判断される。このＳＡ９の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＡ９の判断が肯定される場合には、ＳＡ６にて作成され、ＳＡ７及びＳＡ８にて楽曲データに係る情報、録音データ等が対応付けられた動画ファイルが、前記通信回線６０を介して前記サーバ８０へアップロードされ、前記動画データベース７８に記憶された後、本ルーチンが終了させられる。

図１３は、前記カラオケ装置１０のＣＰＵ１２による本実施例の動画ファイル読出／再生制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。なお、この図１３に示す制御は、前記携帯電話機８２、タブレット端末８４、パーソナルコンピュータ８６等の通信端末装置の制御装置によっても好適に実行される。

先ず、ＳＢ１において、前記電子早見本装置６８等を介しての入力操作により、前記サーバ８０の動画データベース７８に記憶された所定の動画を読み出す操作が行われたか否かが判断される。このＳＢ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＢ１の判断が肯定される場合には、ＳＢ２において、対象となる動画ファイルが前記サーバ８０の動画データベース７８から読み出され、前記通信回線６０を介して取得（ダウンロード）される。次に、ＳＢ３において、ＳＢ２にて読み出された動画ファイルにおける前記第１動画領域１４０から動画が、前記第２動画領域１４２から透過情報画像がそれぞれ読み出され、それら読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理が行われる。次に、ＳＢ４において、ＳＢ３にて透過処理の施された映像が、前記映像処理部２０を介して例えば他の動画の前面側に合成される等の映像処理が行われ、その処理に係る動画が前記ディスプレイ４４に表示される。ＳＢ４の処理と併行して、ＳＢ５において、ＳＢ２にてダウンロードされた動画ファイルに対応付けられていた楽曲データに係る楽曲の演奏出力が行われる。ＳＢ４及びＳＢ５の処理と併行して、ＳＢ６において、ＳＢ２にてダウンロードされた動画ファイルに対応付けられていた録音データの再生が行われる。このＳＢ６の処理は、必ずしも実行されなくともよい。次に、ＳＢ７において、ＳＢ２にてダウンロードされた動画ファイルに対応する動画が最後まで出力される等して、その動画の再生が終了させられるか否かが判断される。このＳＢ７の判断が否定される場合には、ＳＢ４以下の処理が実行されるが、ＳＢ７の判断が肯定される場合には、それをもって本ルーチンが終了させられる。

以上の制御において、ＳＡ１、ＳＡ２、及びＳＡ４が前記楽曲演奏制御手段１００の動作に、ＳＡ３が前記録音手段１０２の動作に、ＳＡ５が前記透過情報取得手段１０４の動作に、ＳＡ６〜ＳＡ８が前記動画ファイル作成手段１０６の動作に、ＳＡ６が前記貼付手段１０８の動作に、ＳＡ７が前記楽曲対応付手段１１０の動作に、ＳＡ８が前記録音データ対応付手段１１２の動作に、ＳＡ１０が前記送信手段１１４の動作に、ＳＢ１〜ＳＢ３が前記読出手段１１６の動作に、ＳＢ４が前記表示制御手段１１８の動作に、ＳＢ５が前記演奏出力制御手段１２０の動作に、ＳＢ６が前記音信号出力制御手段１２２の動作に、それぞれ対応する。

本実施例によれば、撮像装置である前記デジタルカメラ７０により撮影された動画に対して透過処理を行うための透過情報を取得する透過情報取得手段１０４（ＳＡ５）と、１つの動画ファイルに関して、その動画ファイルを構成する複数のフレームそれぞれについて第１動画領域１４０及び第２動画領域１４２を定め、前記第１動画領域１４０には前記デジタルカメラ７０により撮影された動画を貼り付け、前記第２動画領域１４２には前記透過情報取得手段１０４により取得された透過情報を貼り付ける貼付手段１０８（ＳＡ６）と、その貼付手段１０８による前記第１動画領域１４０への貼り付けの対象となる動画が前記デジタルカメラ７０により撮影された時点において、前記カラオケ装置１０により演奏されている楽曲に対応する楽曲データに係る情報を前記動画ファイルに対応付けて記憶させる楽曲対応付手段１１０（ＳＡ７）とを、備えたものであることから、動画及びその動画に透過処理を行うための動画情報を１つの動画ファイルに統合し、更に動画撮影時に演奏されていた楽曲に関する情報を対応付けることで、可及的に小さいデータ量で動画の透過処理及び動画撮影時に出力されていた楽曲の演奏を実現できる。すなわち、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現するカラオケ装置１０を提供することができる。

前記動画ファイルから、前記第１動画領域１４０に貼り付けられた動画及び前記第２動画領域１４２に貼り付けられた透過情報を読み出す読出手段１１６（ＳＢ１〜ＳＢ３）と、前記読出手段１１６により読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理を行った動画を表示装置であるディスプレイ４４に表示させる表示制御手段１１８（ＳＢ４）と、前記表示制御手段１１８による動画の表示と併行して、前記動画ファイルに対応付けられている楽曲データに基づいて楽曲の演奏出力を行う演奏出力制御手段１２０（ＳＢ５）とを、備えたものであるため、例えば他のカラオケ装置１０により撮影が行われる等して所定のサーバ８０にアップロードされた動画ファイルを所定のカラオケ装置１０によりダウンロードし、そのカラオケ装置１０において動画の透過処理及び動画撮影時の演奏の再現を実現することができる。

前記貼付手段１０８は、前記第１動画領域１４０への貼り付けの対象となる動画及び前記第２動画領域１４２への貼り付けの対象となる透過情報のサイズを変更し、前記第１動画領域１４０及び前記第２動画領域１４２にそれぞれ貼り付けるものであるため、透過処理を実現する動画ファイルのデータ量を更に小さなものとすることができる。

前記貼付手段１０８による前記第１動画領域１４０への貼り付けの対象となる動画が前記デジタルカメラ７０により撮影された時点において、入力装置であるマイクロフォン４８から入力される音信号を録音する録音手段１０２（ＳＡ３）と、その録音手段１０２により録音された音信号を前記動画ファイルに対応付けて記憶させる第２対応付手段としての録音データ対応付手段１１２（ＳＡ８）と、前記表示制御手段１１８による動画の表示と併行して、前記動画ファイルに対応付けられている音信号の出力を行う音信号出力制御手段１２２（ＳＢ６）とを、備えたものであるため、動画及びその動画に透過処理を行うための動画情報を１つの動画ファイルに統合することに加え、動画撮影時における歌唱者の歌唱音声等を録音して対応付けることで、比較的小さいデータ量で動画の透過処理及び動画撮影時のカラオケ演奏の再現を実現することができる。

本実施例によれば、動画を撮影する撮像装置としてのデジタルカメラ７０を備え、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行うカラオケ装置の制御装置としてのＣＰＵ１２を、前記デジタルカメラ７０により撮影された動画に対して透過処理を行うための透過情報を取得する透過情報取得手段１０４（ＳＡ５）、１つの動画ファイルに関して、その動画ファイルを構成する複数のフレームそれぞれについて第１動画領域１４０及び第２動画領域１４２を定め、前記第１動画領域１４０には前記デジタルカメラ７０により撮影された動画を貼り付け、前記第２動画領域１４２には前記透過情報取得手段１０４により取得された透過情報を貼り付ける貼付手段１０８（ＳＡ６）、及び、その貼付手段１０８による前記第１動画領域１４０への貼り付けの対象となる動画が前記デジタルカメラ７０により撮影された時点において、前記カラオケ装置１０により演奏されている楽曲に対応する楽曲データに係る情報を前記動画ファイルに対応付けて記憶させる楽曲対応付手段１１０（ＳＡ７）として機能させることを特徴とするプログラムであるため、動画及びその動画に透過処理を行うための動画情報を１つの動画ファイルに統合し、動画撮影時に演奏されていた楽曲に関する情報を対応付けることで、可及的に小さいデータ量で動画の透過処理及び動画撮影時に出力されていた楽曲の演奏を実現できる。すなわち、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現するプログラムを提供することができる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例においては、動画を撮影する撮像装置を備え、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行う楽曲演奏装置の一例として、前記カラオケ装置１０に本発明が適用された例を説明したが、本発明はこれに限定されるものではなく、別の形態の楽曲演奏装置にも適用され得る。例えば、動画を撮影するデジタルカメラを内蔵し、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行うカラオケアプリケーションがインストールされた所謂スマートフォン等の携帯電話機や、カラオケゲームを実行する家庭用ゲーム機を楽曲演奏装置として用いる態様にも、本発明は好適に適用される。

また、前述の実施例においては、前記動画ファイル作成手段１０６及び前記表示制御手段１１８等の処理は、前記カラオケ装置１０に備えられたＣＰＵ１２により実行されるものであったが、それら動画ファイル作成手段１０６及び前記表示制御手段１１８等による本実施例の実質的な制御は、前記通信回線６０を介して楽曲演奏装置に接続されたサーバの制御装置において実行されるものであってもよい。例えば、前記カラオケ装置１０等の通信端末装置により、前記サーバ８０の動画データベース７８に記憶された動画ファイルに対応する動画の再生が行われる場合、前記サーバ８０側において前記透過処理が施されると共に、例えばその透過処理が施された部分映像が他の映像の前面側に合成された動画が再生され、前記通信回線６０を介して前記カラオケ装置１０等の通信端末装置へストリーミング配信される等の態様も考えられる。

また、前述の実施例においては特に言及していないが、前記動画ファイル作成手段１０６により作成された動画情報は、種々の態様で利用が可能である。例えば、既に透過情報が組み込まれた複数の動画情報同士を合成することや、それら複数の動画情報同士を対応付けて記憶させ、前記通信回線６０を介して配信する等の利用形態が考えられる。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

１０：カラオケ装置（楽曲演奏装置）、１２：ＣＰＵ（制御装置）、４４：ディスプレイ（表示装置）、４８：マイクロフォン（入力装置）、７０：デジタルカメラ（撮像装置）、１００：楽曲演奏制御手段（演奏手段）、１０２：録音手段、１０４：透過情報取得手段、１０６：動画ファイル作成手段、１０８：貼付手段、１１０：楽曲対応付手段、１１２：録音データ対応付手段（第２対応付手段）、１１６：読出手段、１１８：表示制御手段、１２０：演奏出力制御手段、１２２：音信号出力制御手段、１４０：第１動画領域、１４２：第２動画領域

Claims (6)

1. 楽曲データを演奏する演奏手段と、
   前記演奏手段により楽曲データが演奏されることに応じて、撮像装置から取得された動画情報を取得する取得手段と、
   取得された動画情報に対して透過処理を行うための透過情報を取得する透過情報取得手段と、
   １つの動画ファイルを構成する複数のフレーム毎に、第１動画領域及び第２動画領域を定め、前記第１動画領域には前記撮像装置により撮影された動画情報を貼り付け、前記第２動画領域には前記透過情報取得手段により取得された透過情報を貼り付ける貼付手段と、
   前記演奏手段により演奏されている楽曲データと、前記貼り付け手段により貼り付けられた前記動画ファイルに対応付けて記憶させる対応付手段と
   を、備えたことを特徴とする楽曲演奏装置。
2. 前記動画ファイルから、前記第１動画領域に貼り付けられた動画及び前記第２動画領域に貼り付けられた透過情報を読み出す読出手段と、
   前記読出手段により読み出された動画及び透過情報に基づいて、該動画に対して該透過情報により透過処理を行った動画を表示装置に表示させる表示制御手段と、
   前記表示制御手段による動画の表示と併行して、前記動画ファイルに対応付けられている楽曲データに基づいて楽曲の演奏出力を行う演奏出力制御手段と
   を、備えたものである請求項１に記載の楽曲演奏装置。
3. 前記楽曲演奏装置は、前記撮像装置と接続可能なカラオケ装置である請求項１に記載の楽曲演奏装置。
4. 前記貼付手段は、前記第１動画領域への貼り付けの対象となる動画及び前記第２動画領域への貼り付けの対象となる透過情報のサイズを変更し、前記第１動画領域及び前記第２動画領域にそれぞれ貼り付けるものである
   請求項１から３の何れか１項に記載の楽曲演奏装置。
5. 入力装置から入力される音信号を録音する録音手段と、
   該録音手段により録音された音信号を前記動画ファイルに対応付けて記憶させる第２対応付手段と、
   前記表示制御手段による動画の表示と併行して、前記動画ファイルに対応付けられている音信号の出力を行う音信号出力制御手段と
   を、備えたものである請求項１から４の何れか１項に記載の楽曲演奏装置。
6. 多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行う楽曲演奏装置の制御装置を、
   楽曲データを演奏する演奏手段、
   前記演奏手段により楽曲データが演奏されることに応じて、撮像装置から取得された動画情報を取得する取得手段、
   取得された動画情報に対して透過処理を行うための透過情報を取得する透過情報取得手段、
   １つの動画ファイルを構成する複数のフレーム毎に、第１動画領域及び第２動画領域を定め、前記第１動画領域には前記撮像装置により撮影された動画情報を貼り付け、前記第２動画領域には前記透過情報取得手段により取得された透過情報を貼り付ける貼付手段、
   及び、前記演奏手段により演奏されている楽曲データと、前記貼り付け手段により貼り付けられた前記動画ファイルに対応付けて記憶させる対応付手段
   として機能させることを特徴とするプログラム。