JP2003099073A - コンピュータを用いた歌詞字幕データの編集方法 - Google Patents

Abstract

(57)【要約】 【課題】 特別に高度な熟練者でなくても色替りする歌
詞字幕のデータ編集作業を適切に行うことができるとと
もに、字幕の書体や画面レイアウトを変更しても音楽と
歌詞字幕の色替え関連情報を作り直す必要のない合理的
な歌詞字幕データの編集方法を提供する。 【解決手段】 楽譜情報を入力して楽譜の画像をディス
プレイ画面に表示するとともに、文字情報を入力して歌
詞字幕の文字列をディスプレイ画面に表示し、歌詞字幕
の各文字の位置を楽譜上の音符に対応させるように画面
レイアウトを設定し、楽譜の横軸を時間座標として扱う
ことによって楽譜上の音符に対応配置された歌詞字幕の
各文字情報に歌唱時間情報を付加する。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】この発明は、歌唱楽曲の映像
に欠かすことのできない歌詞字幕映像の合理的な制作技
法に関するものであり、とくに、歌詞字幕を画面に表示
して音楽に合せて色変えする際の根源となる歌詞字幕デ
ータの編集方法に関する。 【０００２】 【従来の技術】歌唱楽曲における歌詞字幕映像としての
必須条件の１つは、歌いやすく、詩情も汲み取りやすい
適切な文節単位で画面レイアウトされた歌詞字幕である
ことであり、もう１つの条件は、楽曲進行に連動して歌
詞字幕を歌いやすいタイミングで表示しながら、歌われ
ている部分をなぞるように字幕の表示色を滑らかに色替
えしていくことである。従来、キーボードや表示装置を
備えたパーソナル・コンピュータにより一連の字幕映像
を素材として生成できる装置があった。この従来装置で
は、画面対話形式のテキスト編集技術によって字幕文字
の画面レイアウトを設定する処理を行うようになってい
る。この編集作業で制作された映像素材を楽曲進行に連
動した字幕の色替え変化を施した映像としてまとめあげ
るプロセスでは、手動操作の映像編集機器が使用され、
楽曲進行とのタイミング合わせには、収録済みの楽曲の
再生音を実際に聴きながら、歌詞字幕の表示タイミング
を調整し、さらに歌詞進行を促す字幕の色替え映像の制
作に際しての微妙な動きについても手動操作により表現
するようにしていた。 【０００３】 【発明が解決しようとする課題】しかし、楽曲を聴きな
がら字幕映像を音楽進行に合せてなぞるような手動操作
で行われる色替え映像編集作業では、手の動きがそのま
ま映像に反映されることから、各楽曲ごとに相当量の練
習が必要で、完成度の高い色替え映像を得るまでには何
度もやり直す必要があった。そのため、色替りする歌詞
字幕の映像編集作業には相当の熟練者が必要であるし、
そのような熟練者にとっても面倒で手数のかかる仕事で
あった。 【０００４】また、字幕の書体や画面レイアウトを変更
した場合などにおいては、たとえ同じ楽曲であっても映
像編集作業も含めて、すべてやり直すことを余儀なくさ
れていた。 【０００５】この発明は前述した従来の問題点に鑑みな
されたものであり、その目的は、特別に高度な熟練者で
なくても色替りする歌詞字幕のデータ編集作業を適切に
行うことができるとともに、字幕の書体や画面レイアウ
トを変更しても音楽と歌詞字幕の色替え関連情報を作り
直す必要のない合理的な歌詞字幕データの編集方法を提
供することにある。 【０００６】 【課題を解決するための手段】この発明はキーボードや
表示装置を備えたコンピュータにより歌詞字幕データを
編集する方法であって、楽譜情報を入力して楽譜の画像
をディスプレイ画面に表示するとともに、文字情報を入
力して歌詞字幕の文字列をディスプレイ画面に表示し、
歌詞字幕の各文字の位置を楽譜上の音符に対応させるよ
うに画面レイアウトを設定し、楽譜の横軸を時間座標と
して扱うことによって楽譜上の音符に対応配置された歌
詞字幕の各文字情報に歌唱時間情報を付加することを特
徴とするものである。 【０００７】 【作用】演奏音との高い同期性のとれた楽譜データおよ
び歌詞データをデータベースに蓄積しておくことによ
り、歌詞字幕を映像化する工程における人手による作業
対象を、楽譜という一般に馴染み深く受け入れやすい媒
体を通じた机上の編集に集約でき、歌詞字幕の画面レイ
アウトを設定するための歌詞の字幕編集という作業に加
え、歌詞字幕の楽曲進行に対する連動性を設定するため
の歌詞と楽譜の合成編集という作業を兼ね備えた、２つ
の作業形態をもって歌詞字幕の映像信号を曲単位で一括
自動生成される。 【０００８】 【実施例】以下において本発明の第１実施例を図１に基
づいて説明すると、１はＣＲＴディスプレイによる表示
装置、２はキーボードを用いた入力装置、３はハードデ
ィスクによる記憶装置、４は映像出力装置、５はＣＰＵ
処理装置、６はタイマ装置をあらわす。 【０００９】歌詞字幕映像の第１の条件を満たすための
作業工程である歌詞データの字幕編集について述べる
と、歌いやすく、詩情も汲み取りやすい適切な文節単位
で画面レイアウトされた歌詞字幕を生成するためには、
まず歌詞の文字情報を入力し、曲単位の歌詞データを作
成し、歌詞データを字幕文字フォントを使用して表示装
置１に表示し、表示される画像１０を確認しながら歌詞
字幕の画面レイアウトを設定する作業により、歌詞デー
タに字幕としての文字レイアウトに関する情報（字幕座
標）を付加していく処理機能により歌詞データの字幕編
集をおこなう。なおこの場合において、字幕文字フォン
トは、字幕文字の書体を必要に応じて変更できるように
記憶装置に格納しておく。 【００１０】具体的には、キーボード２を用いてＣＲＴ
ディスプレイ１の画面との対話形式による文書作成機能
を利用して歌詞データの入力を行ない、曲単位で作成さ
れた歌詞文書は歌詞データファイルとしてハードディス
ク３にストアされる。さらにハードディスク３の字幕文
字フォント・パターンを使用して描いた歌詞データの字
幕画像１０をＣＲＴディスプレイ１へ写し出し、歌詞字
幕のページ割付け、ページごとの字幕レイアウト機能を
利用して編集をおこなう。これらの機能を活用した適切
な字幕編集を施すことによりページ割付け、字幕レイア
ウトを含む、字幕座標情報の確定した歌詞データを得る
ことができる。 【００１１】一方、楽譜データの入力は、キーボード２
から音符単位の音程、音長等を、数値で入力する形式で
行なうものとし、楽譜の内容としては、歌唱進行を認識
するためのメロディーパートのみで十分ではあるが、前
奏、間奏を含む曲全体の時間経過が表現された、曲単位
の楽譜データ・ファイルとしてハードディスク３にスト
アされる。 【００１２】つぎに、歌詞字幕映像の第２の条件を満た
すための作業工程について述べると、楽曲進行に連動し
て歌詞字幕を歌いやすいタイミングで表示しながら、歌
われている部分をなぞるように字幕の表示色を滑らかに
色替えしていくには、歌詞字幕の楽曲進行との連動性を
設定する作業における、楽曲進行をイメージする手段と
して楽譜を利用することが有効である。 【００１３】この歌詞データの楽譜合成編集について述
べると、音符、休符、拍子、テンポ等の楽譜を表現する
のに不可欠なデータを入力して曲単位の楽譜のデータを
作成し、歌詞データと楽譜データを合成した画像１１を
表示装置１に表示する。この画面の横軸を、拍子、テン
ポ等に依存する時間座標として扱い、歌詞データを文字
単位で楽譜上の音符に対応させて楽譜原本どおり正確に
配置していく作業により、歌詞データに曲進行との連動
性に関する情報（歌唱時間）を付加していく処理機能を
備える。 【００１４】すなわち、より具体的には、楽譜データと
歌詞データとを合成・編集した合成編集画像１１をＣＲ
Ｔディスプレイ１に表示し、楽譜に対応した歌詞配置が
できるように、歌詞を文字単位で左右に移動させ、任意
の位置へ効率よく配置させるために備えられている各種
機能を利用して種々の編集をおこなう。 【００１５】なおこの場合において、ＣＲＴディスプレ
イ１の一画面上では楽譜の全体は表示しきれないので、
ページ送り機能により前後の楽譜を順送りに表示させ
て、全体を網羅するようにする。また、繰り返して歌唱
される小節を共通小節として扱えば、１番の歌詞１２、
２番の歌詞１３、３番の歌詞１４、を並列表示でき、編
集作業の効率向上が図れる。これらの機能を活用して楽
譜原本どおりに、歌詞データの楽譜合成編集が施され文
字単位の歌詞時間情報の確定した歌詞データを作成し、
これをハードディスク３にストアしなおしておく。 【００１６】このようにして、文字単位の字幕座標情
報、歌詞時間情報の確定した歌詞データを基に、前奏か
ら始まり刻々と経過する楽曲進行の時間経過を想定し
て、ページ割付けされた文字群の先頭文字の歌唱時間か
ら推定される、そのページの最適表示タイミングにおけ
る字幕表示を、字幕座標情報にしたがった画面レイアウ
トで行ない、表示された文字それぞれの歌唱時間情報を
基準に実行される歌唱文字を滑らかになぞっていくよう
な文字色の塗り替え等、楽曲進行に適切に連動した一連
の字幕展開を画像化するための描画信号を映像出力装置
４へ連続送出していくような、歌詞字幕映像の一括生成
処理機能を備える。 【００１７】なおこの場合において、演奏音との高い同
期性のとれた楽譜データおよび歌詞データをデータベー
スに蓄積しておけば、歌詞字幕の画面レイアウトを設定
するための歌詞の字幕編集という作業に加え、歌詞字幕
の楽曲進行に対する連動性を設定するための歌詞と楽譜
の合成編集という作業を兼ね備えた、２つの作業形態を
もって歌詞字幕の映像信号を曲単位で一括自動生成でき
る制作環境を提供することができ、歌詞字幕を映像化す
る工程における人手による作業対象を楽譜という一般に
馴染み深く受け入れやすい媒体を通じた机上の編集に集
約できる。 【００１８】以上の処理機能を活用した作業工程によ
り、歌詞データに付加された字幕座標情報と歌唱時間情
報および、字幕文字フォント情報に基づいて、曲の開始
からの時間経過に従って最適なタイミングでの歌詞字幕
表示のための描画信号と、その字幕の歌唱進行を表現し
た滑らかな色替えのための描画信号を映像出力装置４へ
送出する処理機能を曲の終了まで連続して実行させるこ
とで、歌詞字幕の一括自動生成処理が完結される。 【００１９】なお楽曲の速さをあらわすテンポの値に応
じた時間管理をするためのタイムベース信号はタイマ装
置６で生成される。この時間経過を管理するためのタイ
ムベース信号は、楽曲の速度を再現するもので楽譜上の
テンポの値に依存した周波数のタイミングクロックとし
て処理装置５に出力する。 【００２０】この場合のテンポ値は１分間に演奏される
４分音符の数であり、４分音符に相当するタイミングク
ロック数を４８とした場合は、１分間あたり、テンポ値
の４８倍の数のタイミングクロックで与えられる。この
ような、テンポ値に比例したタイミングクロックを時間
管理のためのタイムベース信号とすることで、任意のテ
ンポ値で与えられる楽曲の速さと正確に連動した歌詞字
幕映像を自動的に一括生成する処理が達成される。 【００２１】また映像出力装置４は、図４に示したよう
に、処理装置５から入力される描画信号、即ち映像画面
をイメージしたフレームメモリへの書込みアドレスと色
情報によって刻々と変化していくフレームメモリ上の字
幕画像が、アドレスカウンタからビデオ信号のためのタ
イミングと走査順で発生される読出しアドレスによって
読出され、ビデオ信号エンコーダでビデオ信号へと変換
していくことにより歌詞字幕映像がビデオ信号として得
られるようにしても良い。 【００２２】この場合、図５のように、外部映像に同期
をあわせた読出しアドレスで、フレームメモリを読出し
て得られる字幕画像信号を優先して外部映像信号上に混
成させるようにすると、外部映像に歌詞字幕をスーパー
インポーズした映像信号として得ることもできる。 【００２３】また前記した処理操作において、楽譜デー
タどおりにリアルタイム生成された一連の歌詞字幕画像
と、同じ楽譜どおりに演奏された音楽とで時間的なズレ
が生ずるとすれば、それはテンポの相違によるものであ
る。図２はこれを解消するようにした本発明の第２実施
例をあらわしたものである。すなわち上記したテンポの
相違をなくすために設けられるのがタイマ装置６に連動
したメトロノーム音発生装置７であり、楽譜データの音
長の基準となるタイムベース信号は、メトロノーム音の
４８倍の周波数のタイミングクロックとして出力し、楽
譜上の４分音符を４８クロックとして歌詞字幕映像の進
行テンポを管理する。 【００２４】これは入力した楽譜データどおりにリアル
タイム生成された歌詞字幕映像と楽曲の演奏音との同期
性を、より高めるために設けられたものであり、任意に
設定されるテンポ値により決定される拍子のメトロノー
ム音を発生し、このメトロノーム音と楽譜上の音長を刻
むための基準となるタイムベース信号とを統一管理し発
生するものであり、このメトロノーム音に合わせたテン
ポで演奏された音楽に対して完全に同期のとれた歌詞字
幕画像を生成できる。上記した実施例２で生成された歌
詞字幕映像は、演奏速度のほうを制御して同期性を高め
るようにしたものであり、メトロノーム音に合わせたテ
ンポで演奏された楽曲に対して、より同期性の高いもの
となる。 【００２５】また図３には反対に演奏に合わせた楽譜デ
ータを入力することで同期性を高めるようにした本発明
の第３実施例があらわされている。これは前記したタイ
マ装置をタイムコード付き音声再生装置９に置き換え、
演奏された楽曲のテンポに合わせた楽譜データを得るよ
うにしたもので、演奏音と共にタイムコードを記録した
録音媒体（テープ）を音声再生装置９で再生し、これに
より得られるタイムコードをタイムベース信号として活
用するようにしたものである。これによる場合には、す
でに収録済みの楽曲や、テンポの不定な楽曲に対して有
効な歌詞字幕映像生成が可能となる。 【００２６】すなわち楽譜データ入力は、演奏音に合わ
せてＭＩＤＩキーボード８でメロディーをリアルタイム
で演奏して得られる演奏情報と、収録済みの録音テープ
の伴奏再生音によるタイムコードを基にして楽譜データ
を自動生成していくようにしたもので、ＭＩＤＩ信号を
通じて入力されるメロディー演奏情報とテープからの再
生タイムコードを基に楽譜データを自動生成させること
で、収録済みの伴奏音に対して完全に同期した楽譜デー
タが得られることになる。なお、歌詞字幕画像を生成す
る段階でも音声再生装置９から再生されるタイムコード
をタイムベース信号として時間管理することで、より完
全な同期生が確保される。 【００２７】映像出力装置４は、処理装置５から出力さ
れる描画信号を画像化したものを、映像信号に変換し出
力するものであり、ＶＴＲ（ビデオテープレコーダ）、
ＬＤ（レーザディスク）等に収録するためのビデオ信号
を出力するようにするほか、ＣＤ（コンパクトディス
ク）グラフィックス、ＣＤ−Ｉ等、種々のコンピュータ
グラフィックス映像媒体のためのコード体系に対応した
エンコード機能を備え、ディジタルコード化した映像信
号として出力できるようにしてもよい。また、外部映像
を入力し、その映像に歌詞字幕をスーパーインポーズさ
れた映像信号を出力できるようにしても良い。 【００２８】 【発明の効果】（１）従来においては、映像編集機器を
使用し、実際に音楽を聞きながら、音楽の進行に合せて
歌詞字幕をなぞるような手作業を行って、音楽の進行に
合せた歌詞字幕の色替えの編集を行っていた。この編集
作業を適切に行うことは大変に難しくて面倒であり、熟
練者による長時間の作業に依存せざるを得なかった。こ
れに対してこの発明では、楽譜の音符位置に合せて歌詞
文字を付記していく作業をコンピュータ画面上で行うこ
とで、歌詞字幕と音楽進行との楽譜的時間関係を歌詞の
各１文字について規定した歌唱時間情報を歌詞字幕の文
字情報に付加するようにしたので、楽譜の読み方につい
ての基本的な知識があれば誰でも簡単に歌詞字幕データ
の編集作業を適切に行うことができる。そのように簡単
に合理的に制作された歌詞字幕データに基づいて、歌詞
字幕を画面に表示して音楽に合せて歌いやすく色替えす
ることができる。 【００２９】（２）この発明の方法で編集される歌詞字
幕データは、歌詞字幕を構成する一連の文字情報と、歌
詞字幕を画面上にどのようなレイアウトで表示するのか
を規定した字幕座標情報と、歌詞字幕と音楽進行との楽
譜的時間関係を歌詞の各１文字について規定した歌唱時
間情報とから構成される。したがって、なんらかの事情
により既存の歌詞字幕データについて、字幕の書体や画
面レイアウトを変更しても、歌唱時間情報は歌詞の各１
文字ごとに規定されているので、歌詞字幕の色替え映像
の元となっている歌唱時間情報を作り直す必要がない。
そのため、この発明の方法で編集される歌詞字幕データ
はさまざまな表示出力系に適合する汎用的なものとな
る。

【図面の簡単な説明】 【図１】本発明の第１実施例を示した歌詞字幕映像一括
自動生成システムのブロック図、および編集画面の一例
図である。 【図２】本発明の第２実施例を示した歌詞字幕映像一括
自動生成システムのブロック図である。 【図３】本発明の第３実施例を示した歌詞字幕映像一括
自動生成システムのブロック図である。 【図４】本発明において用いられる映像出力装置の一例
を示すブロック図である。 【図５】本発明において用いられるスーパーインポーズ
機能付き映像出力装置の一例を示すブロック図である。 【符号の説明】 １ 表示装置 ２ 入力装置 ３ 記憶装置 ４ 映像出力装置 ５ 処理装置 ６ タイマ装置 ７ メトロノーム音発生装置 ８ ＭＩＤＩキーボード ９ 音声再生装置 １０ 歌詞データの字幕画像 １１ 合成編集画像

Claims (1)

1. 【特許請求の範囲】 【請求項１】 楽譜情報を入力して楽譜の画像をディス
   プレイ画面に表示するとともに、文字情報を入力して歌
   詞字幕の文字列をディスプレイ画面に表示し、歌詞字幕
   の各文字の位置を楽譜上の音符に対応させるように画面
   レイアウトを設定し、楽譜の横軸を時間座標として扱う
   ことによって楽譜上の音符に対応配置された歌詞字幕の
   各文字情報に歌唱時間情報を付加することを特徴とする
   コンピュータを用いた歌詞字幕データの編集方法。