JP2008026674A - カラオケ・オンデマンド配信システム - Google Patents

Abstract

【課題】カラオケの受信装置側でユーザが要求するテンポコントロール，キーコントロールに対応した動画・音響をリアルタイムで合成して配信することにより、受信端末側に特別な追加ソフトが不要となるカラオケ・オンデマンド配信システムを提供する。
【解決手段】データベース１に各曲毎に背景動画ファイルＡ群，歌詞動画ファイルＢ群，状態動画ファイルＣ群，演奏ファイルＤ群，メロディーファイルＥ群およびお手本ファイルＦ群が格納されている。キーレベル等の変更指示の信号が受信装置から送られるとカラオケファイル合成装置２で変更指示されたキーレベル等対応のファイルに切り換えられて出力され、それらファイルは合成されストリーミング用圧縮ファイルに圧縮され配信サーバ装置３，ネットワーク４を介してリアルタイムで受信装置に送られる。これによりキー変更などをした曲をリアルタイムで演奏・表示できる。
【選択図】図１

Description

本発明は、サーバ装置より曲データをネットワークを介して受信装置（ＰＣ（パソコン）またはＳＴＢ（ＳＥＴｔｏＴＯＰＢＯＸ））に配信するカラオケ配信システム、さらに詳しくいえば、ユーザのキー変更，テンポ変更のリクエストに対しリアルタイムでキー変更，テンポ変更した曲データおよび画像データを配信することができるカラオケ・オンデマンド配信システムに関する。

図５に従来のカラオケ配信システムの概略を示す。
従来技術におけるカラオケ動画は、背景動画にあらかじめ歌詞データを重ね合わせた動画を制作し、Ｍｐｅｇ２などの圧縮技術を用いて圧縮したファイルが配信データベース２０に蓄積されている。ユーザがＳＴＢ２２から曲リクエストすることにより配信データベース２０よりリクエストした曲・画像ファイルをネットワーク２１を介してＳＴＢ２２に受信しリクエスト曲およびその画像を再生するように構成されている。

上記システムにおいて、演奏曲のテンポを早くしたり、遅くしたりする機能やキーを変更する機能の要請がある。
従来は、テンポを変更する場合には、モニタに表示される画像中の歌詞の色塗りを重視して処理を行っているため、テンポを変更した場合には背景動画の再生速度が速くなったり、遅くなったりし、再生画像が不自然な動きになるという問題があった。

また、キーコントロールは、受信装置（ＰＣ，ＳＴＢなど）に専用のソフトウエアを組み込んで、受信装置上で信号処理により実現している。しかしながら、この場合もリズム楽器とメロディー楽器の区別を受信装置ができないため、キーを操作すると、リズム楽器の音程も変化してしまい、演奏音が不自然に聞こえてしまうという問題があった。
このような処理方法はかなり進歩し改善されつつあるが、未だに十分なアルゴリズムは確率されていないのが現状である。

サーバのデータベースに多数の曲データを蓄積しておき、ユーザのリクエストにより、端末にリクエスト曲を受信し、楽曲を演奏する通信システムが提案されている（特許文献１）。
この提案は故障要因になりやすいディスク装置をカラオケ端末から一掃した通信カラオケシステムを提供することを目的とし、サーバに楽曲データベースと画像データベースとを有し、リクエストに基づき楽曲データをデータベースから読み出し、リクエストしたカラオケ端末に送信するとともに対応する画像データをデータベースからストリーム配信する準備を行い、カラオケ端末は楽曲データをＭＩＤＩプレーヤのメモリに一時記憶し、カラオケ伴奏音楽と歌詞描画データを解析して演奏開始の準備を整えるものである。
サーバへのスタート信号により画像データのストリーム配信を開始し、楽曲データの処理を始めたカラオケ端末にストリーム配信された画像データが届くことによりカラオケ伴奏音楽の音響出力とともに受信した画像を出力するものである。
特開２００３−１５６７５号公報

この提案はリクエストがあった楽曲データを予めカラオケ端末に送信しておき、後から送られてくる画像とともに演奏と画像表示を行うもので、演奏の途中でキーの変更をおこなったり、テンポの変更を行う場合にリアルタイムで変更した演奏を行うような構成の開示はない。
本発明の目的は、カラオケの受信装置側でユーザが要求するテンポコントロール，キーコントロールに対応した動画・音響をリアルタイムで合成して配信することにより、受信端末側に特別な追加ソフトが不要となるカラオケ・オンデマンド配信システムを提供することにある。

前記目的を達成するために本発明の請求項１は、データベースに多数の曲データを格納しておき，リクエストされた曲データを前記データベースから読み出し、配信サーバ装置によりネットワークを介して受信装置に受信し、受信したリクエストされた曲を演奏するとともに画像を再生することができるカラオケ通信システムにおいて、
各曲データは背景動画ファイル群，歌詞動画ファイル群，演奏ファイル群およびメロディーファイル群より構成し、
前記背景動画ファイル群および歌詞動画ファイル群は、それぞれテンポが異なる複数の背景動画ファイルおよび歌詞動画ファイルを有し、かつ、背景動画ファイルおよび歌詞動画ファイルは同じ圧縮方式で圧縮されたファイルであり、
前記演奏ファイル群およびメロディーファイル群は、それぞれテンポが異なる複数の演奏ファイルおよびメロディーファイル，ぞれぞれキーレベルが異なる複数の演奏ファイルおよびメロディーファイルを有し、
前記背景動画ファイル群，歌詞動画ファイル群，演奏ファイル群およびメロディーファイル群の各群毎にファイルを選択出力するセレクタ手段と、
前記セレクタ手段で選択出力された背景動画ファイルおよび歌詞動画ファイルを合成する画像ファイル合成手段と、
前記セレクタ手段で選択出力された演奏ファイルおよびメロディーファイルをデコードし合成する音響ファイル合成手段と、
前記画像ファイル合成手段および音響ファイル合成手段で合成したファイルをストリーミング用に圧縮し、圧縮したファイルを前記配信サーバ装置に送る圧縮ファイル作成手段とからなるカラオケファイル合成部を備え、
前記受信装置はキーレベルを指定するか、またはテンポを指定する操作部を有し、
前記操作部からのキーレベルを指定する信号またはテンポを指定する信号により前記セレクタ手段が切り換えられ、指定したキーレベルまたはテンポの曲を前記受信装置で演奏し、該曲に関連する画像を表示することを特徴とする。
本発明の請求項２は請求項１記載の発明において前記演奏ファイル群は、それぞれテンポが異なる複数の演奏ファイルとそれぞれキーレベルが異なる複数の演奏ファイルの任意の組み合わせよりなる演奏ファイルを有し、さらに前記メロディーファイル群は、それぞれテンポが異なる複数のメロディーファイルとそれぞれキーレベルが異なる複数のメロディーファイルの任意の組み合わせよりなるメロディーファイルを有することを特徴とする。
本発明の請求項３は請求項１または２記載の発明において各曲データには状態動画ファイル群およびお手本ファイル群を含み、前記状態動画ファイル群は、それぞれテンポが異なる複数の状態動画ファイルを有し、かつ、前記状態動画ファイルは前記背景動画ファイルおよび歌詞動画ファイルは同じ圧縮方式で圧縮されたファイルであり、前記お手本ファイル群は、それぞれテンポが異なる複数のお手本ファイルおよびぞれぞれキーレベルが異なる複数のお手本ファイルを有することを特徴とする。

上記構成によれば、オンデマンド配信対象のＰＣ，ＳＴＢにストリーミング配信データを受信し、表示および音響を再生できる能力の小さいハードウエアでもカラオケ・オンデマンドサービスを実現できる。したがって、同時配信数を従来のシステムに比較し多くすることができる。

以下、図面を参照して本発明をさらに詳しく説明する。
図１は、本発明によるカラオケ・オンデマンド配信システムの概略を示す図である。
データベース１には多数の曲データ１，２・・・ｎが格納されている。各曲データは背景動画ファイルＡ群，歌詞動画ファイルＢ群および状態動画ファイルＣ群よりなる動画ファイル群と、演奏ファイルＤ群，メロディーファイルＥ群およびお手本ファイルＦ群よりなる音響ファイル群より構成されている。背景動画ファイルＡ群，歌詞動画ファイルＢ群および状態動画ファイルＣ群の各ファイルは同じ圧縮方式で圧縮されたものであり、しかも背景動画ファイルＡ，歌詞動画ファイルＢおよび状態動画ファイルＣは後述するようにモニタ画面対応の所定表示領域に表示されるサイズで格納されている。
演奏ファイルＤ，メロディーファイルＥおよびお手本ファイルについても相互のファイルは同じ圧縮方式で圧縮されている。
これら動画ファイル群と音響ファイル群は読み出されカラオケファイル合成装置２に送られる。

カラオケファイル合成装置２は、データベース１に格納されている背景動画ファイルＡ群，歌詞動画ファイルＢ群，状態動画ファイルＣ群，演奏ファイルＤ群，メロディーファイルＥ群およびお手本ファイルＦ群からぞれぞれ１つのファイルを選択入力し、これら選択されたファイルを合成し、合成したファイルをストリーミング用ファイルに圧縮して配信サーバ装置３に引き渡す。配信サーバ装置３は、受け取ったストリーミング用圧縮ファイルをネットワーク４を介してリクエストのあった受信装置（ＰＣまたはＳＴＢ）５に配信する。
ＰＣまたはＳＴＢ５は、配信サーバ装置３に対し、曲のリクエスト，キーレベル指定およびテンポ指定を行うための操作部（図示していない）を備えている。

図２は、カラオケファイル合成装置の実施の形態を説明するためのブロック図である。
カラオケファイル合成装置２はセレクタ１０，画像ファイルカット接続・組み合わせ合成部１１，デコーダ１２，音響ファイル合成部１３およびストリーミング用圧縮ファイル作成部１４より構成されている。
セレクタ１０は、背景動画ファイルＡ群，歌詞動画ファイルＢ群，状態動画ファイルＣ群，演奏ファイルＤ群，メロディーファイルＥ群およびお手本ファイルＦ群についてそれぞれ１つのファイルを選択入力するためのセレクタ１０ａ〜１０ｆより構成されている。
画像ファイルカット接続・組み合わせ合成部１１はセレクタ１０ａ〜１０ｃで選択入力された３つの画像ファイル（相互に同じ圧縮方式）をカット接続（ファイル接続）し、組み合わて合成する処理を行う。

図４にモニタ画面を各動画ファイル対応に区切り同じ圧縮方式で組み込む例を示す。
各動画ファイルは同じ圧縮方式Ａで圧縮されており、山，川などの背景動画ファイルＡはモニタ画面の左上隅から右下寄り位置まで広い領域に組み込まれ、同様に歌詞テロップ動画ファイルＢはモニタ画面の左下隅から下方の右寄り位置までの領域に組み込まれ、さらにコマーシャルや再生中を表す文字などの動画ファイルＣはモニタ画面の右側付近領域に組み込まれるように合成されてモニタ画面対応の動画ファイルが作成される。

従来は通常画像編集は事前にオフラインで処理され、その後、配信サーバに保管され配信されるように構成されていた。このようなシステムにおいてカラオケ・オンデマンド配信を行うためには、リアルタイムで画像を利用者および設定データの指示により形式に合成しなければならなかった。
従来の構成でカラオケ・オンデマンド配信を行うには、圧縮ファイルの動画（背景動画，歌詞動画，状態動画）を非圧縮状態にデコードしてから合成し、その後、再圧縮しなければならないので、処理を行う画像ファイルカット接続・組み合わせ合成部の処理時間は長くなりリアルタイム処理が実現できなくなる。なお、画像ファイルのカット（ファイル接続）接続・組み合わせ合成部に対し、リアルタイムでハードウエア処理させることも可能であるが、１つのハードウエアが１人のユーザに占有されてしまうために、多人数による同時接続を行うにはその数だけハードウエアを用意しなければならない。メンテナンス等を考慮すると従来の構成でカラオケ・オンデマンド配信は最適な方法ではなかった。

そこで、本発明では合成ファイルを作成し易いように、予め特定の前処理状態のファイル（データベースの曲１，２，３・・・の動画ファイル同士と音響ファイル同士はそれぞれ同じ圧縮率で圧縮）を用意しておき、選択されたファイルをブロックのように繋ぎ合わせることにより合成ファイルを作成するようにしている。これにより画像のデコード，合成処理は無くなり処理量が少なくて合成画像を作ることができ、より多くの端末（受信装置）と同時接続することを可能にしている。
本発明では図４で説明したようにモニタの画面を区切って特定の領域に入るサイズになるような圧縮ファイルであって、同じ圧縮設定のファイルを前処理で作り、これら同じ圧縮方式のファイルをデータベースに用意しているので、カラオケファイル合成装置２におけるファイル編集・合成が容易になる。

図２において、デコーダ１２は、セレクタ１０ｄ〜１０ｆで選択入力された３つの音響ファイルをそれぞれ解読し、音響ファイル１３は解読された３つの音響ファイルを合成する。
ストリーミング用圧縮ファイル作成部１４は、合成された動画ファイルと音響ファイルを加えてストリーミング用圧縮ファイルを形成する。

図３に各曲の背景動画ファイル，歌詞動画ファイル，状態動画ファイル，演奏ファイル，メロディファイルおよびお手本ファイルの格納例を示す。
各曲毎に備えている背景動画ファイルＡはＡ１，Ａ２，Ａ３・・・，歌詞動画ファイルＢはＢ１，Ｂ２，Ｂ３・・・，状態動画ファイルＣ１，Ｃ２，Ｃ３・・・である。
各動画ファイル群は、ユーザがテンポを早くしたり，遅くしたりしたときの指示に対応した画像が格納されている。例えば、背景動画ファイルＡについて背景動画ファイルＡ３がリクエストした曲の標準のテンポ対応の画像とすると、背景動画ファイルＡ２は標準のテンポより一定値だけ遅いテンポ対応の画像が、背景動画ファイルＡ４は標準のテンポより一定値だけ早いテンポ対応の画像が格納されており、それぞれ段階的にテンポが早い，遅い場合の必要な数の画像が格納されている。
歌詞動画ファイルＢ１，Ｂ２，Ｂ３・・・，状態動画ファイルＣ１，Ｃ２，Ｃ３・・・も同様にテンポが段階的に早い場合と遅い場合のファイルが格納されている。

つぎに各音響ファイル群についても、テンポを早くしたり，遅くしたりしたときと、キーレベルを高くしたり、低くしたりしたときの組み合わせとなる音響ファイルが格納されている。例えば、演奏ファイルＤ群について横軸Ｔ１，Ｔ２，Ｔ３・・・をテンポの速さ，縦軸Ｋ１，Ｋ２，Ｋ３・・・をキーの高さとし、横軸Ｔ３，縦軸Ｋ３をこの曲の標準のテンポ，キーの演奏ファイルＤ３３とすると、テンポ，キーが段階的に異なった組み合わせの演奏ファイルＤｎｎが多数格納されている。
メロディーファイル群およびお手本ファイル群についてもこのようなテンポとキーの組み合わせのファイル群が多数格納されている。
曲リクエスト時、ユーザがテンポ，キーの変更を指示しない場合には、動画ファイルは背景動画ファイルＡ３，歌詞動画ファイルＢ３，状態動画ファイルＣ３が、音響ファイルは演奏ファイルＤ３３，メロディーファイルＥ３３，お手本ファイルＦ３３がリアルタイムでセレクタ１０で選択出力されて合成され、配信される。

曲リクエスト時または演奏途中でユーザがテンポ，キーの変更を指示した場合には、指示されたテンポ，キー対応のファイルがリアルタイムでセレクタ１０で選択出力されて合成され配信される。なお、キーのみを変更した場合は、動画ファイルは変わらないので、音響ファイルのみを変更したキー対応のファイルに切り換えられる。
演奏途中でテンポ，キーの変更を指示した場合、上記のようにリアルタイムで変更指示された動画ファイル，音響ファイルに切換えられて出力されるが、このとき選択されるファイル部分は変更指示の前に演奏されている動画ファイル，音響ファイルの演奏開始から切り換えられるまでの時間以降のファイル部分がセレクタにより選択出力しているため、演奏途中でのテンポ，キー変更があってもリアルタイムで対応することができる。

以上の実施の形態では演奏ファイルＤ，メロディーファイルＥおよびお手本ファイルＦは同じ圧縮方式で格納されている例を説明したが、相互に異なる圧縮方式で格納することも可能である。演奏ファイルＤ，メロディーファイルＥおよびお手本ファイルＦは動画ファイルに対し、サイズが小さいためカラオケファイル合成装置２のデコーダ１２で一度解読し音響ファイル合成部１３で合成する処理を行っても動画ファイルほど処理に時間がかからないからである。

サーバ装置より曲データをネットワークを介して受信装置（ＰＣ（パソコン）またはＳＴＢ（ＳＥＴｔｏＴＯＰＢＯＸ））に配信するカラオケ配信システムである。

本発明によるカラオケ・オンデマンド配信システムの概略を示す図である。 カラオケファイル合成装置の実施の形態を説明するためのブロック図である。 各曲における背景動画ファイル，歌詞動画ファイル，状態動画ファイル，演奏ファイル，メロディファイルおよびお手本ファイルの例を説明するための図である。 モニタ画面の各動画ファイルの表示領域の１例を説明するための図である。 従来のカラオケ配信システムの概略を示す図である。

符号の説明

１ データベース
２ カラオケファイル合成装置
３ 配信サーバ装置
４ ネットワーク
５ 受信装置（ＰＣまたはＳＴＢ）
１０ セレクタ
１１ 画像ファイルカット接続・組み合わせ合成部
１２ デコーダ
１３ 音響ファイル合成部
１４ ストリーミング用圧縮ファイル作成部

Claims (3)

1. データベースに多数の曲データを格納しておき，リクエストされた曲データを前記データベースから読み出し、配信サーバ装置によりネットワークを介して受信装置に受信し、受信したリクエストされた曲を演奏するとともに画像を再生することができるカラオケ通信システムにおいて、
   各曲データは背景動画ファイル群，歌詞動画ファイル群，演奏ファイル群およびメロディーファイル群より構成し、
   前記背景動画ファイル群および歌詞動画ファイル群は、それぞれテンポが異なる複数の背景動画ファイルおよび歌詞動画ファイルを有し、かつ、背景動画ファイルおよび歌詞動画ファイルは同じ圧縮方式で圧縮されたファイルであり、
   前記演奏ファイル群およびメロディーファイル群は、それぞれテンポが異なる複数の演奏ファイルおよびメロディーファイル，ぞれぞれキーレベルが異なる複数の演奏ファイルおよびメロディーファイルを有し、
   前記背景動画ファイル群，歌詞動画ファイル群，演奏ファイル群およびメロディーファイル群の各群毎にファイルを選択出力するセレクタ手段と、
   前記セレクタ手段で選択出力された背景動画ファイルおよび歌詞動画ファイルを合成する画像ファイル合成手段と、
   前記セレクタ手段で選択出力された演奏ファイルおよびメロディーファイルをデコードし合成する音響ファイル合成手段と、
   前記画像ファイル合成手段および音響ファイル合成手段で合成したファイルをストリーミング用に圧縮し、圧縮したファイルを前記配信サーバ装置に送る圧縮ファイル作成手段とからなるカラオケファイル合成部を備え、
   前記受信装置はキーレベルを指定するか、またはテンポを指定する操作部を有し、
   前記操作部からのキーレベルを指定する信号またはテンポを指定する信号により前記セレクタ手段が切り換えられ、指定したキーレベルまたはテンポの曲を前記受信装置で演奏し、該曲に関連する画像を表示することを特徴とするカラオケ・オンデマンド配信システム。
2. 前記演奏ファイル群は、それぞれテンポが異なる複数の演奏ファイルとそれぞれキーレベルが異なる複数の演奏ファイルの任意の組み合わせよりなる演奏ファイルを有し、
   さらに前記メロディーファイル群は、それぞれテンポが異なる複数のメロディーファイルとそれぞれキーレベルが異なる複数のメロディーファイルの任意の組み合わせよりなるメロディーファイルを有することを特徴とする請求項１記載のカラオケ・オンデマンド配信システム。
3. 各曲データには状態動画ファイル群およびお手本ファイル群を含み、
   前記状態動画ファイル群は、それぞれテンポが異なる複数の状態動画ファイルを有し、かつ、前記状態動画ファイルは前記背景動画ファイルおよび歌詞動画ファイルは同じ圧縮方式で圧縮されたファイルであり、
   前記お手本ファイル群は、それぞれテンポが異なる複数のお手本ファイルおよびぞれぞれキーレベルが異なる複数のお手本ファイルを有することを特徴とする請求項１または２記載のカラオケ・オンデマンド配信システム。

Images