JP2000125199A - 歌詞字幕を画面に表示して音楽に合せて色替えする方法と装置 - Google Patents

Abstract

(57)【要約】 【課題】 字幕の書体や画面レイアウトを変更しても音
楽と歌詞字幕の色替え関連情報を作り直す必要がなく、
したがって表示出力系ごとに任意に書体や画面レイアウ
トを設定しても音楽の進行と歌詞字幕の色替えとが制作
時に設定したとおりに再現できるようにする。 【構成】 歌詞字幕データにおける文字情報に従って歌
詞字幕を構成する文字フォントのデータに変換すると同
時に、各文字フォントのデータを字幕座標情報に従って
配置することで映像出力装置のフレームメモリに歌詞字
幕のイメージデータを書き込むプロセスと、歌詞字幕デ
ータにおける各１文字ごとの歌唱時間情報に従って、歌
詞字幕中の歌唱文字を滑らかになぞっていくように文字
の色を替えるために、前記フレームメモリに書き込まれ
た歌詞字幕のイメージデータの色情報を部分的に徐々に
変更していくプロセスとを含んでいる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、歌詞字幕を画面
に表示して音楽に合せて色替えする方法と装置に関し、
とくに、歌詞字幕の書体やレイアウトの情報と色替えの
ための情報との構成の仕方に特徴をもった技術に関す
る。

【０００２】

【従来の技術】歌唱楽曲における歌詞字幕映像としての
必須条件の１つは、歌いやすく、詩情も汲み取りやすい
適切な文節単位で画面レイアウトされた歌詞字幕である
ことであり、もう１つの条件は、楽曲進行に連動して歌
詞字幕を歌いやすいタイミングで表示しながら、歌われ
ている部分をなぞるように字幕の表示色を滑らかに色替
えしていくことである。従来、キーボードや表示装置を
備えたパーソナル・コンピュータにより一連の字幕映像
を素材として生成できる装置があった。この従来装置で
は、画面対話形式のテキスト編集技術によって字幕文字
の画面レイアウトを設定する処理を行うようになってい
る。この編集作業で制作された映像素材を楽曲進行に連
動した字幕の色替え変化を施した映像としてまとめあげ
るプロセスでは、手動操作の映像編集機器が使用され、
楽曲進行とのタイミング合わせには、収録済みの楽曲の
再生音を実際に聴きながら、歌詞字幕の表示タイミング
を調整し、さらに歌詞進行を促す字幕の色替え映像の制
作に際しての微妙な動きについても手動操作により表現
するようにしていた。

【０００３】

【発明が解決しようとする課題】しかし、楽曲を聴きな
がら字幕映像を音楽進行に合せてなぞるような手動操作
で行われる色替え映像編集作業では、手の動きがそのま
ま映像に反映されることから、各楽曲ごとに相当量の練
習が必要で、完成度の高い色替え映像を得るまでには何
度もやり直す必要があった。そのため、色替りする歌詞
字幕の映像編集作業には相当の熟練者が必要であるし、
そのような熟練者にとっても面倒で手数のかかる仕事で
あった。

【０００４】また、字幕の書体や画面レイアウトを変更
した場合などにおいては、たとえ同じ楽曲であっても映
像編集作業も含めて、すべてやり直すことを余儀なくさ
れていた。したがって、従来の歌詞字幕の色替え映像は
構成や仕様が異なる表示装置に汎用的に使用することが
できず、同じ楽曲であっても表示出力系に合せてそれぞ
れの映像を編集する必要があり、たいへん面倒であっ
た。

【０００５】この発明は前述した従来の問題点に鑑みな
されたもので、その目的は、字幕の書体や画面レイアウ
トを変更しても音楽と歌詞字幕の色替え関連情報を作り
直す必要がなく、したがって表示出力系ごとに任意に書
体や画面レイアウトを設定しても音楽の進行と歌詞字幕
の色替えとが制作時に設定したとおりに再現できるよう
にした技術を提供することにある。

【０００６】

【課題を解決するための手段】第１の発明は歌詞字幕を
画面に表示して音楽に合せて色替えする方法であって、
歌詞字幕を構成する一連の文字情報と、歌詞字幕を画面
上にどのようなレイアウトで表示するのかを規定した字
幕座標情報と、歌詞字幕と音楽進行との楽譜的時間関係
を歌詞の各１文字について規定した歌唱時間情報とを含
んでいる歌詞字幕データを用意するプロセスと、前記歌
詞字幕データにおける前記文字情報に従って歌詞字幕を
構成する文字フォントのデータに変換すると同時に、各
文字フォントのデータを前記字幕座標情報に従って配置
することで映像出力装置のフレームメモリに歌詞字幕の
イメージデータを書き込むプロセスと、前記歌詞字幕デ
ータにおける各１文字ごとの前記歌唱時間情報に従っ
て、歌詞字幕中の歌唱文字を滑らかになぞっていくよう
に文字の色を替えるために、前記フレームメモリに書き
込まれた歌詞字幕のイメージデータの色情報を部分的に
徐々に変更していくプロセスと、前記フレームメモリに
書き込まれた歌詞字幕のイメージデータを高速で繰り返
し読み出してビデオ信号に変換するプロセスとを含んで
いることを特徴とする方法である。

【０００７】第２の発明は歌詞字幕を画面に表示して音
楽に合せて色替えする装置であって、歌詞字幕を構成す
る一連の文字情報と、歌詞字幕を画面上にどのようなレ
イアウトで表示するのかを規定した字幕座標情報と、歌
詞字幕と音楽進行との楽譜的時間関係を歌詞の各１文字
について規定した歌唱時間情報とを含んでいる歌詞字幕
データを記憶する手段と、前記歌詞字幕データにおける
前記文字情報に従って歌詞字幕を構成する文字フォント
のデータに変換すると同時に、各文字フォントのデータ
を前記字幕座標情報に従って配置することで映像出力装
置のフレームメモリに歌詞字幕のイメージデータを書き
込む手段と、前記歌詞字幕データにおける各１文字ごと
の前記歌唱時間情報に従って、歌詞字幕中の歌唱文字を
滑らかになぞっていくように文字の色を替えるために、
前記フレームメモリに書き込まれた歌詞字幕のイメージ
データの色情報を部分的に徐々に変更していく手段と、
前記フレームメモリに書き込まれた歌詞字幕のイメージ
データを高速で繰り返し読み出してビデオ信号に変換す
る手段とを含んでいることを特徴とする装置である。

【０００８】

【作用】前記歌詞字幕データの基本となる前記文字情報
により歌詞字幕を構成する文字列が特定され、前記字幕
座標情報に基づいて前記歌詞字幕の各文字を表示画面上
でどのような書体でどのようにレイアウトするのかが特
定される。さらに、前記文字情報の各１文字ごとに前記
歌唱時間情報が付帯されており、この歌唱時間情報によ
り歌詞字幕の各１文字と音楽進行との時間的関係が規定
されている。歌唱時間情報に基づいて前記フレームメモ
リに書き込まれた歌詞字幕のイメージデータの色情報を
部分的に徐々に変更していくことで、表示された歌詞字
幕中の歌唱文字を滑らかになぞっていくように文字の色
を替えることができる。

【０００９】

【実施例】この発明にかかる歌詞字幕を画面に表示して
音楽に合せて色替えする方法と装置の実施例を説明する
前に、その前提となる歌詞字幕データの編集システムを
含んだ実施例を図１に基づいて説明する。図１におい
て、１はＣＲＴディスプレイによる表示装置、２はキー
ボードを用いた入力装置、３はハードディスクによる記
憶装置、４は映像出力装置、５はＣＰＵ処理装置、６は
タイマ装置をあらわす。

【００１０】歌詞字幕映像の第１の条件を満たすための
作業工程である歌詞データの字幕編集について述べる
と、歌いやすく、詩情も汲み取りやすい適切な文節単位
で画面レイアウトされた歌詞字幕を生成するためには、
まず歌詞の文字情報を入力し、曲単位の歌詞データを作
成し、歌詞データを字幕文字フォントを使用して表示装
置１に表示し、表示される画像１０を確認しながら歌詞
字幕の画面レイアウトを設定する作業により、歌詞デー
タに字幕としての文字レイアウトに関する情報（字幕座
標）を付加していく処理機能により歌詞データの字幕編
集をおこなう。なおこの場合において、字幕文字フォン
トは、字幕文字の書体を必要に応じて変更できるように
記憶装置に格納しておく。

【００１１】具体的には、キーボード２を用いてＣＲＴ
ディスプレイ１の画面との対話形式による文書作成機能
を利用して歌詞データの入力を行ない、曲単位で作成さ
れた歌詞文書は歌詞データファイルとしてハードディス
ク３にストアされる。さらにハードディスク３の字幕文
字フォント・パターンを使用して描いた歌詞データの字
幕画像１０をＣＲＴディスプレイ１へ写し出し、歌詞字
幕のページ割付け、ページ毎の字幕レイアウト機能を利
用して編集をおこなう。これらの機能を活用した適切な
字幕編集を施すことによりページ割付け、字幕レイアウ
トを含む、字幕座標情報の確定した歌詞データを得るこ
とができる。

【００１２】一方、楽譜データの入力は、キーボード２
から音符単位の音程、音長等を、数値で入力する形式で
行なうものとし、楽譜の内容としては、歌唱進行を認識
するためのメロディーパートのみで十分ではあるが、前
奏、間奏を含む曲全体の時間経過が表現された、曲単位
の楽譜データ・ファイルとしてハードディスク３にスト
アされる。

【００１３】つぎに、歌詞字幕映像の第２の条件を満た
すための作業工程について述べると、楽曲進行に連動し
て歌詞字幕を歌いやすいタイミングで表示しながら、歌
われている部分をなぞるように字幕の表示色を滑らかに
色替えしていくには、歌詞字幕の楽曲進行との連動性を
設定する作業における、楽曲進行をイメージする手段と
して楽譜を利用することが有効である。

【００１４】この歌詞データの楽譜合成編集について述
べると、音符、休符、拍子、テンポ等の楽譜を表現する
のに不可欠なデータを入力して曲単位の楽譜のデータを
作成し、歌詞データと楽譜データを合成した画像１１を
表示装置１に表示する。この画面の横軸を、拍子、テン
ポ等に依存する時間座標として扱い、歌詞データを文字
単位で楽譜上の音符に対応させて楽譜原本どおり正確に
配置していく作業により、歌詞データに曲進行との連動
性に関する情報（歌唱時間）を付加していく処理機能を
備える。

【００１５】すなわち、より具体的には、楽譜データと
歌詞データとを合成・編集した合成編集画像１１をＣＲ
Ｔディスプレイ１に表示し、楽譜に対応した歌詞配置が
できるように、歌詞を文字単位で左右に移動させ、任意
の位置へ効率よく配置させるために備えられている各種
機能を利用して種々の編集をおこなう。

【００１６】なおこの場合において、ＣＲＴディスプレ
イ１の一画面上では楽譜の全体は表示しきれないので、
ページ送り機能により前後の楽譜を順送りに表示させ
て、全体を網羅するようにする。また、繰り返して歌唱
される小節を共通小節として扱えば、１番の歌詞１２、
２番の歌詞１３、３番の歌詞１４、を並列表示でき、編
集作業の効率向上が図れる。これらの機能を活用して楽
譜原本どおりに、歌詞データの楽譜合成編集が施され文
字単位の歌詞時間情報の確定した歌詞データを作成し、
これをハードディスク３にストアしなおしておく。

【００１７】このようにして、文字単位の字幕座標情
報、歌詞時間情報の確定した歌詞データを基に、前奏か
ら始まり刻々と経過する楽曲進行の時間経過を想定し
て、ページ割付けされた文字群の先頭文字の歌唱時間か
ら推定される、そのページの最適表示タイミングにおけ
る字幕表示を、字幕座標情報にしたがった画面レイアウ
トで行ない、表示された文字それぞれの歌唱時間情報を
基準に実行される歌唱文字を滑らかになぞっていくよう
な文字色の塗り替え等、楽曲進行に適切に連動した一連
の字幕展開を画像化するための描画信号を映像出力装置
４へ連続送出していくような、歌詞字幕映像の一括生成
処理機能を備える。

【００１８】なおこの場合において、演奏音との高い同
期性のとれた楽譜データおよび歌詞データをデータベー
スに蓄積しておけば、歌詞字幕の画面レイアウトを設定
するための歌詞の字幕編集という作業に加え、歌詞字幕
の楽曲進行に対する連動性を設定するための歌詞と楽譜
の合成編集という作業を兼ね備えた、２つの作業形態を
もって歌詞字幕の映像信号を曲単位で一括自動生成でき
る制作環境を提供することができ、歌詞字幕を映像化す
る工程における人手による作業対象を楽譜という一般に
馴染み深く受け入れやすい媒体を通じた机上の編集に集
約できる。

【００１９】以上の処理機能を活用した作業工程によ
り、歌詞データに付加された字幕座標情報と歌唱時間情
報および、字幕文字フォント情報に基づいて、曲の開始
からの時間経過に従って最適なタイミングでの歌詞字幕
表示のための描画信号と、その字幕の歌唱進行を表現し
た滑らかな色替えのための描画信号を映像出力装置４へ
送出する処理機能を曲の終了まで連続して実行させるこ
とで、歌詞字幕の一括自動生成処理が完結される。

【００２０】なお楽曲の速さをあらわすテンポの値に応
じた時間管理をするためのタイムベース信号はタイマ装
置６で生成される。この時間経過を管理するためのタイ
ムベース信号は、楽曲の速度を再現するもので楽譜上の
テンポの値に依存した周波数のタイミングクロックとし
て処理装置５に出力する。

【００２１】この場合のテンポ値は１分間に演奏される
４分音符の数であり、４分音符に相当するタイミングク
ロック数を４８とした場合は、１分間あたり、テンポ値
の４８倍の数のタイミングクロックで与えられる。この
ような、テンポ値に比例したタイミングクロックを時間
管理のためのタイムベース信号とすることで、任意のテ
ンポ値で与えられる楽曲の速さと正確に連動した歌詞字
幕映像を自動的に一括生成する処理が達成される。

【００２２】また映像出力装置４は、図４に示したよう
に、処理装置５から入力される描画信号、即ち映像画面
をイメージしたフレームメモリへの書込みアドレスと色
情報によって刻々と変化していくフレームメモリ上の字
幕画像が、アドレスカウンタからビデオ信号のためのタ
イミングと走査順で発生される読出しアドレスによって
読出され、ビデオ信号エンコーダでビデオ信号へと変換
していくことにより歌詞字幕映像がビデオ信号として得
られるようにしても良い。

【００２３】この場合、図５のように、外部映像に同期
をあわせた読出しアドレスで、フレームメモリを読出し
て得られる字幕画像信号を優先して外部映像信号上に混
成させるようにすると、外部映像に歌詞字幕をスーパー
インポーズした映像信号として得ることもできる。

【００２４】また前記した処理操作において、楽譜デー
タどおりにリアルタイム生成された一連の歌詞字幕画像
と、同じ楽譜どおりに演奏された音楽とで時間的なズレ
が生ずるとすれば、それはテンポの相違によるものであ
る。図２はこれを解消するようにした本発明の第２実施
例をあらわしたものである。すなわち上記したテンポの
相違をなくすために設けられるのがタイマ装置６に連動
したメトロノーム音発生装置７であり、楽譜データの音
長の基準となるタイムベース信号は、メトロノーム音の
４８倍の周波数のタイミングクロックとして出力し、楽
譜上の４分音符を４８クロックとして歌詞字幕映像の進
行テンポを管理する。

【００２５】これは入力した楽譜データどおりにリアル
タイム生成された歌詞字幕映像と楽曲の演奏音との同期
性を、より高めるために設けられたものであり、任意に
設定されるテンポ値により決定される拍子のメトロノー
ム音を発生し、このメトロノーム音と楽譜上の音長を刻
むための基準となるタイムベース信号とを統一管理し発
生するものであり、このメトロノーム音に合わせたテン
ポで演奏された音楽に対して完全に同期のとれた歌詞字
幕画像を生成できる。上記した実施例２で生成された歌
詞字幕映像は、演奏速度のほうを制御して同期性を高め
るようにしたものであり、メトロノーム音に合わせたテ
ンポで演奏された楽曲に対して、より同期性の高いもの
となる。

【００２６】また図３には反対に演奏に合わせた楽譜デ
ータを入力することで同期性を高めるようにした本発明
の第３実施例があらわされている。これは前記したタイ
マ装置をタイムコード付き音声再生装置９に置き換え、
演奏された楽曲のテンポに合わせた楽譜データを得るよ
うにしたもので、演奏音と共にタイムコードを記録した
録音媒体（テープ）を音声再生装置９で再生し、これに
より得られるタイムコードをタイムベース信号として活
用するようにしたものである。これによる場合には、す
でに収録済みの楽曲や、テンポの不定な楽曲に対して有
効な歌詞字幕映像生成が可能となる。

【００２７】すなわち楽譜データ入力は、演奏音に合わ
せてＭＩＤＩキーボード８でメロディーをリアルタイム
で演奏して得られる演奏情報と、収録済みの録音テープ
の伴奏再生音によるタイムコードを基にして楽譜データ
を自動生成していくようにしたもので、ＭＩＤＩ信号を
通じて入力されるメロディー演奏情報とテープからの再
生タイムコードを基に楽譜データを自動生成させること
で、収録済みの伴奏音に対して完全に同期した楽譜デー
タが得られることになる。なお、歌詞字幕画像を生成す
る段階でも音声再生装置９から再生されるタイムコード
をタイムベース信号として時間管理することで、より完
全な同期生が確保される。

【００２８】映像出力装置４は、処理装置５から出力さ
れる描画信号を画像化したものを、映像信号に変換し出
力するものであり、ＶＴＲ（ビデオテープレコーダ）、
ＬＤ（レーザディスク）等に収録するためのビデオ信号
を出力するようにするほか、ＣＤ（コンパクトディス
ク）グラフィックス、ＣＤ−Ｉ等、種々のコンピュータ
グラフィックス映像媒体のためのコード体系に対応した
エンコード機能を備え、ディジタルコード化した映像信
号として出力できるようにしてもよい。また、外部映像
を入力し、その映像に歌詞字幕をスーパーインポーズさ
れた映像信号を出力できるようにしても良い。

【００２９】

【発明の効果】この発明の方法および装置によって処理
される歌詞字幕データは、歌詞字幕を構成する一連の文
字情報と、歌詞字幕を画面上にどのようなレイアウトで
表示するのかを規定した字幕座標情報と、歌詞字幕と音
楽進行との楽譜的時間関係を歌詞の各１文字について規
定した歌唱時間情報とから構成される。この歌詞字幕デ
ータの基本となる前記文字情報により歌詞字幕を構成す
る文字列が特定され、前記字幕座標情報に基づいて前記
歌詞字幕の各文字を表示画面上でどのような書体でどの
ようにレイアウトするのかが特定される。さらに、前記
文字情報の各１文字ごとに前記歌唱時間情報が付帯され
ており、この歌唱時間情報により歌詞字幕の各１文字と
音楽進行との時間的関係が規定されている。歌唱時間情
報に基づいて前記フレームメモリに書き込まれた歌詞字
幕のイメージデータの色情報を部分的に徐々に変更して
いくことで、表示された歌詞字幕中の歌唱文字を滑らか
になぞっていくように文字の色を替えることができる。

【００３０】なんらかの事情により既存の歌詞字幕デー
タについて、字幕の書体や画面レイアウトを変更して
も、歌唱時間情報は歌詞の各１文字ごとに規定されてい
るので、歌詞字幕の色替え映像の元となっている歌唱時
間情報を作り直す必要がない。そのため、この発明の処
理対象となる歌詞字幕データはさまざまな表示出力系に
適合する汎用的なものとなる。つまり、字幕の書体や画
面レイアウトを変更しても音楽と歌詞字幕の色替え関連
情報を作り直す必要がなく、したがって表示出力系ごと
に任意に書体や画面レイアウトを設定しても音楽の進行
と歌詞字幕の色替えとが制作時に設定したとおりに再現
できる。

【図面の簡単な説明】

【図１】本発明の第１実施例を示した歌詞字幕編集再生
システムのブロック図、および編集画面の一例図であ
る。

【図２】本発明の第２実施例を示した歌詞字幕編集再生
システムのブロック図である。

【図３】本発明の第３実施例を示した歌詞字幕編集再生
システムのブロック図である。

【図４】本発明において用いられる映像出力装置の一例
を示すブロック図である。

【図５】本発明において用いられるスーパーインポーズ
機能付き映像出力装置の一例を示すブロック図である。

【符号の説明】

１ 表示装置 ２ 入力装置 ３ 記憶装置 ４ 映像出力装置 ５ 処理装置 ６ タイマ装置 ７ メトロノーム音発生装置 ８ ＭＩＤＩキーボード ９ 音声再生装置 １０ 歌詞データの字幕画像 １１ 合成編集画像

Claims (2)

【特許請求の範囲】
1. 【請求項１】 歌詞字幕を画面に表示して音楽に合せて
   色替えする方法であって、 歌詞字幕を構成する一連の文字情報と、歌詞字幕を画面
   上にどのようなレイアウトで表示するのかを規定した字
   幕座標情報と、歌詞字幕と音楽進行との楽譜的時間関係
   を歌詞の各１文字について規定した歌唱時間情報とを含
   んでいる歌詞字幕データを用意するプロセスと、 前記歌詞字幕データにおける前記文字情報に従って歌詞
   字幕を構成する文字フォントのデータに変換すると同時
   に、各文字フォントのデータを前記字幕座標情報に従っ
   て配置することで映像出力装置のフレームメモリに歌詞
   字幕のイメージデータを書き込むプロセスと、 前記歌詞字幕データにおける各１文字ごとの前記歌唱時
   間情報に従って、歌詞字幕中の歌唱文字を滑らかになぞ
   っていくように文字の色を替えるために、前記フレーム
   メモリに書き込まれた歌詞字幕のイメージデータの色情
   報を部分的に徐々に変更していくプロセスと、 前記フレームメモリに書き込まれた歌詞字幕のイメージ
   データを高速で繰り返し読み出してビデオ信号に変換す
   るプロセスと、 を含んでいることを特徴とする方法。
2. 【請求項２】 歌詞字幕を画面に表示して音楽に合せて
   色替えする装置であって、 歌詞字幕を構成する一連の文字情報と、歌詞字幕を画面
   上にどのようなレイアウトで表示するのかを規定した字
   幕座標情報と、歌詞字幕と音楽進行との楽譜的時間関係
   を歌詞の各１文字について規定した歌唱時間情報とを含
   んでいる歌詞字幕データを記憶する手段と、 前記歌詞字幕データにおける前記文字情報に従って歌詞
   字幕を構成する文字フォントのデータに変換すると同時
   に、各文字フォントのデータを前記字幕座標情報に従っ
   て配置することで映像出力装置のフレームメモリに歌詞
   字幕のイメージデータを書き込む手段と、 前記歌詞字幕データにおける各１文字ごとの前記歌唱時
   間情報に従って、歌詞字幕中の歌唱文字を滑らかになぞ
   っていくように文字の色を替えるために、前記フレーム
   メモリに書き込まれた歌詞字幕のイメージデータの色情
   報を部分的に徐々に変更していく手段と、 前記フレームメモリに書き込まれた歌詞字幕のイメージ
   データを高速で繰り返し読み出してビデオ信号に変換す
   る手段と、 を含んでいることを特徴とする装置。