JP2004004896A

JP2004004896A - カラオケ装置の歌詞表示システムにおける歌詞動画表示方式、および歌詞動画データの作成方法

Info

Publication number: JP2004004896A
Application number: JP2003171894A
Authority: JP
Inventors: Shinji Sakurai; 桜井　伸司
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2003-06-17
Filing date: 2003-06-17
Publication date: 2004-01-08

Abstract

【課題】演奏時系列を考慮しないで作成された歌詞動画データを用いて正確に演奏時系列に同期した歌詞動画を生成する方式を提供する。
【解決手段】指定楽曲の音楽データと歌詞動画データと歌詞表示制御データとを含むカラオケデータを処理して伴奏音楽と当該楽曲専用の歌詞動画を出力するカラオケ装置において、前記歌詞動画データは、歌詞文字列の各１文字に対応して区分された一定のコマ数を含む超短編動画の連続であり、歌詞表示制御データは、歌詞文字列データと歌詞文字列データの各１文字についての歌唱開始時機データおよび歌唱終了時機データとを含み、伴奏音楽の出力処理と並行して、歌唱時機に該当する１文字に対応した前記超短編動画を映像出力する際に、それに含まれる一定数のコマを当該文字の歌唱開始時機から歌唱終了時機までにほぼ等間隔で割り振って順次表示する歌詞動画表示方式とした。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、カラオケ装置の歌詞表示システムにおける歌詞動画表示方式に関するとともに、その方式に適用するための歌詞動画データの作成方法に関する。
【０００２】
【従来の技術】
カラオケ装置は、カラオケ伴奏音楽の進行と同期して歌詞画像を順次生成してディスプレイに表示する歌詞表示システムを備える。
歌詞表示システムは、表示されている文字列中で歌唱時機に該当する文字を歌唱者に指示するために、楽曲の歌詞文字列と表示レイアウトと表示シーケンスと歌唱時機指示の各情報を含んだ歌詞描出データをカラオケ伴奏音楽の出力処理と同期的に処理し、歌唱開始時機になると該当する文字の色を左端から徐々にワイプさせながら変えて歌唱時機を指示する。
【０００３】
歌詞表示は単なる歌詞の確認のために行われているのではなく。歌唱者が楽曲に追従してうまく歌えるように補助する役目も兼ねている。上述の色変え方式では楽曲の大まかなテンポを把握するにはある程度効果がある。しかし、歌唱時機にある歌詞文字の微妙な歌い出しタイミングやつぎの歌詞文字との間合いなど、歌唱者が楽曲の流れについていきやすいように誘導するための情報が欠落している。そのため、歌唱者が楽曲を歌い慣れていない場合、歌唱を補助する役目を全く果たすことができない。
【０００４】
このような問題に対し、楽曲毎に歌唱を補助する映像内容を含む専用の歌詞動画を表示する方式がある。この歌詞動画表示方式は実写撮影された映像やアニメーション映像などを歌詞動画として表示する。歌詞動画を生成するための歌詞動画データは該当のカラオケ楽曲の歌詞文字列を表示する要素と、その文字列に歌唱時機を付加する要素とを映像内容的に含んでいる。
【０００５】
【発明が解決しようとする課題】
しかし、従来の歌詞動画表示方式では歌詞動画データを作成する段階で歌詞動画と楽曲の演奏時系列とを正確に一致させておく必要がある。すなわち、ある歌詞文字に対する歌唱時機指示の要素が実際の演奏時系列での歌詞文字の歌唱開始時機から歌唱終了時機を指示する時間でちょうど完了するようにする。そのためには楽曲の演奏時系列に合わせながら歌唱時機指示の要素に該当する映像を作成したり、部分的に映像進行の速度を微調整したりするなど複雑な作成／編集作業を必要とする。このようにして歌詞動画データを作成するためには膨大な時間と経費が掛かる。もちろん、歌詞動画データは楽曲毎に作成する必要があり、新曲のリリースに素早く対応することもできない。
【０００６】
そこで、本発明は演奏時系列を考慮しないで安価に作成された歌詞動画データを用いて正確に演奏時系列に同期した歌詞動画を生成する方式と、その歌詞動画データの作成方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明の歌詞動画表示方式は、以下の要件（１）〜（５）を備えている。
（１）指定楽曲のカラオケデータを処理して伴奏音楽を出力するとともに当該楽曲専用の歌詞動画をディスプレイに映像出力する。
（２）各楽曲毎のカラオケデータは、カラオケ伴奏音楽を発生するための音楽データと、歌詞動画データと、歌詞表示制御データとを含んでいる。
（３）歌詞動画データは、歌詞文字列を表示する要素と、その文字列に歌唱時機を付加する要素とを映像内容的に含んでいる。歌詞動画データは、歌詞文字列の各１文字に対応づけられて区分されている超短編動画が連続したものである。各超短編動画はあらかじめ決められた一定数のコマの連続したものである。
（４）歌詞表示制御データは、歌詞文字列データと、歌詞文字列データの各１文字についての歌唱開始時機データおよび歌唱終了時機データとを含んでいる。
（５）カラオケ伴奏音楽の音声出力処理と並行して、歌唱時機に該当する１文字に対応した前記超短編動画を映像出力する際に、それに含まれる一定数のコマを当該文字の歌唱開始時機から歌唱終了時機までにほぼ等間隔で割り振って順次表示する。
【０００８】
さらに、ある歌詞文字に対応する前記超短編動画の最後のコマと当該文字のつぎの文字に対応する超短編動画の最初のコマの間につなぎ用超短編動画を挿入しておいたり、カラオケ楽曲の最初の歌詞文字に対応する超短編動画の最初のコマの前に前奏用超短編動画を配置しておいたり、あるいはカラオケ楽曲の最後の歌詞文字に対応する超短編動画の最後のコマの後に後奏用超短編動画を配置しておき、これらの超短編動画を表示することとしてもよい。
【０００９】
また、本発明の歌詞動画データの作成方法は、つぎの要件（Ａ）〜（Ｄ）を備えている。
（Ａ）あるカラオケ楽曲用のソース映像を実写撮影やアニメーション技術などによって作成する。このソース映像は歌詞文字列を表示する要素と、その文字列に歌唱時機を付加する要素とを映像内容的に含む。
（Ｂ）歌詞文字列の各１文字に対して歌唱時機を付加する映像内容に対応する映像パートに分解する。
（Ｃ）各１文字に対応する各映像パートのひとつひとつについて、コマを適宜に間引いたり重複させたりする編集操作を行い、あらかじめ決めた一定数のコマ数で各映像パートを構成する。
（Ｄ）編集済みの前記映像パートの連続によって構成されるソース映像を適宜な形式の画像データに変換するとともに該当のカラオケ楽曲と対応付けすることで歌詞動画データとする。
【００１０】
【発明の実施の形態】
＝＝＝カラオケ装置の基本的な構成と動作＝＝＝
図１は本発明による歌唱時機指示方式を採用したカラオケ装置における実施例の構成図を示している。内部にＣＰＵ、ＲＡＭ、ＲＯＭを含む中央制御部１１が周辺各構成部に対しデータバス１００や制御バス１１０を介してデータ通信や各種制御を行ってこのカラオケ装置１を統括している。
【００１１】
ハードディスク装置１２はカラオケ楽曲の伴奏音楽と歌詞画像を生成するためのカラオケデータを多数曲分蓄積している。カラオケデータはＭＩＤＩデータなど伴奏音楽を生成するための音楽データと、歌詞文字列、表示レイアウト、表示シーケンス、歌唱時機指示（歌唱開始時機データおよび歌唱終了時機データ）などの各情報を含んだ歌詞描出データとを含んでいる。
【００１２】
中央制御部１１はリモコン送信器１７や操作パネル１８から入力されたリクエスト入力を操作制御部１９を介して受け取ると、そのリクエスト入力順に従って該当のカラオケデータを順次処理していく。すなわち、リクエスト楽曲に対応するカラオケデータをハードディスク装置１２から取りだし、伴奏音楽生成データをシンセサイザ１３に転送し、伴奏音楽を生成させる。この伴奏音楽はミキシングアンプ１４でマイクロホン１５より入力された歌唱音声と混合されてスピーカ１６に出力される。
【００１３】
カラオケデータ中の歌詞描出データはつぎの２つのモードのいずれかによって処理される。その一方は通常の処理に対応したモードであり、歌詞描出データを伴奏音楽の生成処理に同期してビデオＲＡＭ２０に転送し、歌詞画像を順次ビットマップ展開させる。映像制御部２１はこの歌詞画像をビデオＣＤチェンジャ２２から出力される背景映像にスーパーインポーズしてディスプレイ２３に出力する。
【００１４】
もう一方は、歌詞描出データを各楽曲専用に用意された歌詞動画データの制御データとして使用するモードである。このモードでは歌詞動画を歌詞画像に替えて表示する。この歌詞動画表示機能は、歌唱時機にある歌詞文字の微妙な発音タイミング、あるいは楽曲の抑揚をも歌唱者に伝えて、歌唱者を強力に補助することが可能となる。以下、この歌詞動画表示機能について説明する。
【００１５】
＝＝＝歌詞動画表示方式＝＝＝
＜歌詞動画データの映像的内容と構成＞
各楽曲専用の歌詞動画を生成するための歌詞動画データは、該当のカラオケ楽曲に対応づけられてＤＶＤ−ＲＯＭに蓄積されている。そして、ＤＶＤ−ＲＯＭチェンジャ３０に複数のＤＶＤ−ＲＯＭを格納することで多数曲分の歌詞動画データに対応したデータベースを構築している。
【００１６】
歌詞動画データは、対応する楽曲の歌詞文字列を表示する要素と、その文字列に歌唱時機を付加する要素とを映像内容的に含んでいる。図２は、ある楽曲における歌詞動画データの映像的内容を一例として示している。ホワイトボード５０に書かれた歌詞文字列５１が歌詞文字列を表示する要素であり、映像中の人５２がこの歌詞文字列５１の各歌詞文字を演奏時系列に従って順々に指し示していく動作が歌唱時機指示を付加する要素に当たる。
【００１７】
ここで、歌詞動画データの作成方法とその構造を図２を例に採って説明すると、まず、１頁目の歌詞文字列５１が書かれたホワイトボード５０の前で、人５２が各歌詞文字を順々に指し示す内容の映像を実写撮影やアニメーションなどによって作成する。このとき、各歌詞文字を指し示す動作の速度やタイミングは適当である。したがって、人５２は機械的に歌詞文字を順番に指し示すだけでよい。もちろん、楽曲の演奏時系列にも一致していない。この歌詞文字列の最後の歌詞文字を指示し終えたら２頁目の歌詞文字列に対して１頁目と同様にその最初の文字から指し示す映像を作成する。
【００１８】
このようにして全歌詞文字を頁毎に順番に表示し、その各文字に対して指示する動作をする映像が作成できたら、この全映像に含まれる全コマ分の静止画データを生成する。本実施例ではＮＴＳＣ規格の１フレームを１コマとし、各コマに相当する映像信号をサンプリングしてＪＰＥＧ形式の１枚の画像データに圧縮符号化している。
【００１９】
つぎに、歌詞の各１文字を指し示す動作毎に各コマを区分する。すなわち、ある歌詞文字に対して指示動作を開始したコマからそのつぎの歌詞文字に対して指示動作を開始したコマの１つ前のコマまでを当該文字に対する指示動作として区分する。各歌詞文字に対する指示動作が区分できたら、途中のコマを間引いたり、同じコマを重複させたりして各区分中に含まれるコマ数を一定にする。本実施例では１０コマとしている。
【００２０】
この１０コマの画像を連続させた動画を超短編動画とし、各超短編動画に該当の歌詞１文字を対応づける。この対応づけとしては、全歌詞文字の最初の文字を１として順番に番号を振ることで特定の歌詞１文字を識別している。
【００２１】
さらに、各超短編動画を該当楽曲の演奏時系列順に並べ、該当する楽曲の識別符号を付帯させて各楽曲専用の歌詞動画データとする。なお、各静止画データにはそれが何番目の超短編動画の中の何番目のコマであるかを特定するために適宜な識別符号を付帯させておく。
つぎに、この歌詞動画データを処理して演奏出力に同期した歌詞動画を表示するための制御について説明する。
【００２２】
＜歌詞動画データの処理＞
中央制御部１１は、リクエスト楽曲について歌詞動画データが用意されている場合、音楽データと歌詞描出データに加え、該当の歌詞動画データをこの楽曲のカラオケデータとして処理する。このとき、歌詞描出データは歌詞動画データを演奏時系列に同期して処理するための歌詞動画制御データとして使用される。なお、リクエスト楽曲に歌詞動画が用意されていない場合は、通常のモードによって歌詞描出データを処理して歌詞画像を表示する。また、リクエスト楽曲に歌詞動画データが用意されているかどうかは、音楽データなどにその旨を示す符号を付加しておいたり、各楽曲に対する歌詞動画の有無を示す対照表を用意しておいたりすることで確認することができる。
【００２３】
図３は、歌詞描出データの概略構造を示している。歌詞文字の順番と各文字における歌唱開始時機データと歌唱終了時機データとが記述されている。中央制御部１１は、該当楽曲の演奏処理を開始する際、ＤＶＤ−ＲＯＭチェンジャ３０を駆動制御して該当の歌詞動画データ（全コマ分の静止画データ）を適宜なＤＶＤ−ＲＯＭから取り出し、内部のＲＡＭに転送／格納する。そして、映像制御部２１の信号入力を歌詞動画用ビデオＲＡＭ３１側に切り替えさせる。さらに、歌詞描出データの各歌詞文字についてその歌唱開始時機から歌唱終了時機までの時間を１０で割った時間を算出し、この時間を各歌詞文字にそれぞれ対応している超短編動画が含む各コマの表示時間として設定する。
【００２４】
演奏処理を開始すると、歌詞動画データ中の最初の１コマ目に相当するＪＰＥＧデータを復号処理し、歌詞動画用ビデオＲＡＭ３１にその静止画像をビットマップ展開する。この静止画像は映像制御部２１を介してをディスプレイ２３に表示される。
【００２５】
歌詞描出データ中の最初の文字が歌唱開始時機を迎えるとこの文字に対応する超短編動画の各コマに相当する静止画像を歌詞動画用ビデオＲＡＭ３１に順次展開していく。このとき、歌詞動画用ビデオＲＡＭ３１内の静止画像データを更新するサイクルは先に設定された表示時間に従う。この歌詞文字に該当する超短編画像の最後のコマを表示し終えるとつぎの歌詞文字に対応する超短編動画を同様にして設定された表示時間毎に歌詞動画ビデオＲＡＭ３１に展開していく。
【００２６】
なお、本実施例において楽曲の１番と２番との間の間奏時などは１番の最後の文字に対応した超短編動画の最後のコマを２番の最初の文字が歌唱開始時機を迎えるまで表示するようにしている。
【００２７】
このようにして、各超短編動画の各コマの画像を連続して生成することで一連の歌詞動画が表示される。各文字に対する歌唱時機指示は該当する超短編動画の連続した１０コマの画像によって表現される。
【００２８】
＝＝＝その他＝＝＝
上記実施例では各超短編動画のコマ数を１０コマとしているが、これに限るものではない。また、歌詞動画の映像的内容もアニメーションのキャラクタが歌詞文字に沿って移動しながら歌唱時機を指示するなど、多種多様な表現とすることができる。もちろん、歌唱時機指示の要素として指示した文字に該当する伴奏音の音程やつぎの伴奏音との間合い、あるいは音量なども自由に表現することができる。これによって、楽曲の抑揚をも歌唱者に伝えることが可能となる。
【００２９】
歌詞動画データをアニメーション映像から作成する場合などはあらかじめ各歌詞文字に対する歌唱時機指示動作を所定のコマ数で作成しておくこともできる。コンピュータグラフィクス（ＣＧ）技術を利用すれば、歌詞描出データから直接歌詞動画を生成することも可能である。例えば、歌詞文字列を生成し、その中の各歌詞文字に割り当てられた文字レイアウトと歌唱時機の時刻を取得し、ＣＧ生成したキャラクタを各歌詞文字に対してあらかじめ設定された超短編動画のコマ数で適当な動作をさせながら移動するようなアニメーションを自動生成する。
【００３０】
上記実施例では、楽曲の間奏中は間奏に入る直前のコマに該当する画像を表示し続けているが、このコマと間奏後の最初のコマとの間につなぎ用短編動画を挿入して表示してもよい。このつなぎ用超短編動画のデータは歌詞動画データ中に挿入しておいてもよいし、別に用意しておいてもよい。この場合、つなぎ用超短編動画データが含むコマ数を一定としたり、つなぎ用超短編動画の１コマ目の画像データにコマ数を示すデータを付帯させたりするなどしておく。そして、間奏前の最後の文字の歌唱終了時機から間奏後の最初の文字の歌唱開始時機までの時間をこのコマ数で割った表示時間で各コマを順次表示する。
【００３１】
もちろん、間合いの長い歌詞文字の間につなぎ用超短編動画を挿入したり、前奏用超短編動画を楽曲の最初の歌詞文字の歌唱開始時機前に配置しておいて表示したり、後奏用超短編動画を楽曲の最後の歌詞文字の歌唱終了時機後に配置しておいて表示したりしてもよい。
【００３２】
上記実施例において歌詞動画データは多数の静止画データによって構成されているが、ＭＰＥＧ形式などの動画データとしてもよい。そして、動画の各フレームを１コマとして表示制御してもよい。
【００３３】
歌詞動画の各コマの画像はディスプレイの全画面に表示される必要はない。ビデオＣＤチェンジャからの映像を背景として、通常の歌詞画像に替えてスーパーインポーズ表示することとしてもよい。
【００３４】
【発明の効果】
各歌詞文字毎に一定数のコマを含む超短編動画の連続によって各楽曲専用の歌詞動画とすることで、歌唱者が楽曲に追従しやすい歌詞表示を簡単な制御で達成することができる。しかも、各楽曲毎に歌詞動画が作成されているので楽曲の抑揚なども十分に表現でき、より上手な歌唱に誘導することができる。
【００３５】
楽曲の間奏や前奏あるいは後奏用の超短編動画を用意しておくことで間奏後や前奏後の最初の文字の歌い出しタイミングを正確に指示できる内容の映像や歌唱終了後から演奏が終了するまでの余韻を味わえるような映像を表示することができる。
【００３６】
歌詞動画データは、撮影やアニメーションなど適当に作成した映像に対して各歌詞文字毎の超短編動画が一定数のコマとなるように編集するだけで作成でき、演奏時系列に一致させた歌詞動画を作成する必要がない。したがって、歌詞動画の作成に掛かる時間と費用を大幅に削減できる。新曲の追加にも素早く対応することができる。
【図面の簡単な説明】
【図１】本発明の歌詞動画表示方式を採用したカラオケ装置の構成図である。
【図２】上記カラオケ装置で表示される歌詞動画の映像内容の概略図である。
【図３】上記カラオケ装置で処理される歌詞描出データの概略構造図である。
【符号の説明】
１　カラオケ装置
１１　中央制御部
２１　映像制御部
３０　ＤＶＤ−ＲＯＭチェンジャ
３１　歌詞動画用ビデオＲＡＭ

Claims

カラオケ装置の歌詞表示システムにおける歌詞画像表示方式であって、つぎの要件（１）〜（５）を備える。
（１）指定楽曲のカラオケデータを処理して伴奏音楽を出力するとともに当該楽曲専用の歌詞動画をディスプレイに映像出力する。
（２）各楽曲毎のカラオケデータは、カラオケ伴奏音楽を発生するための音楽データと、歌詞動画データと、歌詞表示制御データとを含んでいる。
（３）歌詞動画データは、歌詞文字列を表示する要素と、その文字列に歌唱時機を付加する要素とを映像内容的に含んでいる。歌詞動画データは、歌詞文字列の各１文字に対応づけられて区分されている超短編動画が連続したものである。各超短編動画はあらかじめ決められた一定数のコマの連続したものである。
（４）歌詞表示制御データは、歌詞文字列データと、歌詞文字列データの各１文字についての歌唱開始時機データおよび歌唱終了時機データとを含んでいる。
（５）カラオケ伴奏音楽の音声出力処理と並行して、歌唱時機に該当する１文字に対応した前記超短編動画を映像出力する際に、それに含まれる一定数のコマを当該文字の歌唱開始時機から歌唱終了時機までにほぼ等間隔で割り振って順次表示する。
請求項１に記載の歌詞動画表示方式において、ある歌詞文字に対応する前記超短編動画の最後のコマと当該文字のつぎの文字に対応する超短編動画の最初のコマの間につなぎ用超短編動画を挿入しておいて表示する。
請求項１または２に記載の歌詞動画表示方式において、カラオケ楽曲の最初の歌詞文字に対応する超短編動画の最初のコマの前に前奏用超短編動画を配置しておいて表示する。
請求項１〜３のいずれかに記載の歌詞動画表示方式において、カラオケ楽曲の最後の歌詞文字に対応する超短編動画の最後のコマの後に後奏用超短編動画を配置しておいて表示する。
請求項１に記載の歌詞動画データの作成方法であって、つぎの要件（Ａ）〜（Ｄ）を備える。
（Ａ）あるカラオケ楽曲用のソース映像を実写撮影やアニメーション技術などによって作成する。このソース映像は歌詞文字列を表示する要素と、その文字列に歌唱時機を付加する要素とを映像内容的に含む。
（Ｂ）歌詞文字列の各１文字に対して歌唱時機を付加する映像内容に対応する映像パートに分解する。
（Ｃ）各１文字に対応する各映像パートのひとつひとつについて、コマを適宜に間引いたり重複させたりする編集操作を行い、あらかじめ決めた一定数のコマ数で各映像パートを構成する。
（Ｄ）編集済みの前記映像パートの連続によって構成されるソース映像を適宜な形式の画像データに変換するとともに該当のカラオケ楽曲と対応付けすることで歌詞動画データとする。