JP2005269205A - 逐次型高速字幕制作システム - Google Patents

Abstract

【課題】 番組音声に人の声以外の音が含まれている場合や、原文テキストに人の声に対応する文字列以外の文字列が含まれる場合であっても、精度の高いタイミング情報を含む字幕データを生成できる逐次型字幕制作システムを提供する。
【解決手段】 タイムコード取得装置１５は、処理単位字幕化部３３からの処理単位字幕文を表示部５３に表示させる。タイムコード関連付けの対象となる処理単位字幕文は、表示部５３に特殊表示される。再生装置２３により再生された音声信号はスピーカ５７によって音声に変換される。特殊表示された処理単位字幕文に対応する音声が再生されると、利用者は入力部５１の第１の特定キーを押す。これにより、制御部５５は、生成装置２３からのタイムコードを取得して、特殊表示された処理単位字幕文に関連付ける。関連付け情報は統合化装置１７へ送られ、字幕データ作成に利用される。
【選択図】 図１

Description

本発明は、逐次型高速字幕制作システムに関するものである。

逐次型字幕制作システムは、番組音声に対応する電子化された原文テキスト（字幕文テキスト）を用いて、字幕表示に適した形式の字幕データを自動生成するためのシステムである。

図１０に示すように、従来の逐次型字幕制作システム１１１は、統合化装置１１７と同期検出装置１１５とを有している。

統合化装置１１７は、入力される字幕文テキストを、その後の処理に適した長さの文に区切る単位字幕抽出部１３３と、字幕表示に適した長さの文に区切る表示単位字幕化部１３５と、表示単位字幕にタイミング情報を付与して字幕データを生成し出力するタイミング情報付与部１３７とを備えている。

統合化装置１１７は、形態素解析部１１９を利用し、また分割ルール記憶部１２１に記憶された分割ルールに基づいて、入力される字幕文テキストを処理に適した長さに区切り、同期検出点を示す情報を付加して同期検出装置１１５へ出力する。

同期検出装置１１５は、統合化装置１１７からの同期検出点付き字幕文と番組再生装置１２３からの番組音声とに基づいて、ポーズ及び同期点に対応するタイミング情報（タイミングコード）を特定し、特定したタイミング情報を統合化装置１１７へ提供する。

統合化装置１１７は、同期検出装置１１５からのタイミング情報と表示単位字幕文とを互いに関連付けて字幕データを生成し、外部へ出力する（例えば、特許文献１参照。）。

特開２００２−３５１４９０ 号公報

従来の逐次型字幕制作システムは、番組音声の内容と字幕文テキストの内容とが一致しているとの条件の下で、放送用字幕データの作成を完全自動化しようとするものである。

しかしながら、実際の番組音声には、人の声のみならず、音楽、動物の鳴き声、風や雨などの自然音等、様々な音が含まれていることが多い。また、原文テキストには、それら人の声以外の音を表す文字列や、その他の情報を表す文字列が含まれることがある。このような場合に、従来の逐次型字幕作成システムを用いて放送用字幕データの作成を行うと、誤ったタイミング情報が含まれる可能性がある。そして、タイミング情報に誤りがある場合は、試写を行い、人手によって、番組音声と字幕とのタイミングずれの発生箇所、ずれの大きさ等を特定して修正しなければならない。それゆえ、従来の逐次型字幕作成システムには、自動作成した字幕データの修正に多大な時間が必要となる場合があるという問題点がある。

そこで、本発明は、番組音声に人の声以外の音が含まれている場合や、原文テキストに人の声に対応する文字列以外の文字列が含まれる場合であっても、精度の高いタイミング情報を含む字幕データを生成できる逐次型字幕制作システムを提供することを目的とする。

本発明によれば、番組音声とともにタイムコードが記録されている記録媒体から前記番組音声及び前記タイムコードを再生する再生装置と、前記番組音声に対応する電子化テキストを記憶する記憶装置と、該記憶部から前記電子化テキストを読み出して処理単位字幕文に分割する処理単位字幕化部と、該処理単位字幕化部で得られた前記処理単位字幕文を一つ以上表示するための表示部と、特定の指令を入力するための入力部と、該入力部から前記特定の指令が与えられたとき、前記再生部からの前記タイムコードを取得して前記表示部に表示されている前記処理単位字幕文の一つと関連付けし、前記字幕生成部へ通知する制御部と、前記処理単位字幕化部で得られた前記処理単位字幕文と前記制御部からの通知とに基づいて字幕データを生成する字幕データ生成部とを備えていることを特徴とする逐次型高速字幕制作システムが得られる。

また、本発明によれば、タイムコード付き番組音声を再生し、タイムコードを連続的に入力させるステップと、前記番組音声に対応する電子化テキストを読み出して処理単位字幕文文に分割し、表示部に表示させるステップと、入力部から特定の指令が与えられたとき、前記タイムコードを取得して前記表示部に表示されている前記処理単位字幕文に関連付けるステップと、前記タイムコードに関連付けされた前記処理単位字幕文に基づいて字幕データを生成するステップとをコンピュータに実行させるための字幕制作プログラムが得られる。

本発明によれば、入力部から特定の指令が与えられたとき、タイムコードを取得するようにしたことで、番組音声に含まれる人の声以外の音や、字幕文テキストに含まれる人の声に対応する文字列以外の文字列の影響をほぼ完全に排除できる。その結果、精度の高いタイミング情報を含む字幕データを生成することができ、試写などによりタイミングずれの発生箇所を特定する等の作業負担を大幅に低減することができる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は、本発明の一実施の形態に係る逐次型高速字幕制作システムの構成を示すブロック図である。

図示の字幕制作システム１１は、電子化原稿記憶装置１３と、タイムコード取得装置１５と、統合化装置１７と、形態素解析部１９と、分割ルール記憶部２１と、再生装置（例えば、Ｄ−ＶＴＲ：ディジタル・ビデオ・テープ・レコーダ）２３とを含んでいる。

電子化原稿記憶装置１３は、表示対象となる字幕の全体集合を表す字幕文テキスト（電子化テキスト）を記憶している。電子化原稿記憶装置１３は、字幕文テキストを記録した記録媒体から情報を再生する（読み取る）装置でもよい。電子化原稿記憶装置１３に記憶される字幕文テキストの内容は、表示対象字幕と一致するばかりでなく、番組素材のアナウンス音声とも一致しているものとする。

タイムコード取得装置１５は、マウスやキーボード等を含む入力部５１と、表示部５３と、これらを制御する制御部５５、及びスピーカ５７を含む。

入力部１５は、この字幕番組制作システム１１を動作させる上で必要となる情報や指令を入力するためのものである。表示部５３は、主として統合化装置１７からの供給される１以上の処理単位字幕文を表示するために用いられる。制御部５５は、入力部５１への入力操作に応じて表示部５３を制御する。また制御部５５は、入力部５１への入力操作に応じて、再生装置２３から入力されているタイムコードを取得し、表示部５３に表示されている処理単位字幕文の一つに関連付けし、関連付けした結果を統合化装置１７に通知する。スピーカ５７は、再生装置２３で再生された音声信号を音声に変換する。

統合化装置１７は、処理単位字幕化部３３と、表示単位字幕化部３５と、タイミング情報付与部３７とを含む。処理単位字幕化部３３は、電子化原稿記憶装置１３から読み出した字幕文テキストを一文ずつに分割する。表示単位字幕化部３５とタイミング情報付与部３７とは字幕データ生成部を構成する。詳述すると、表示単位字幕化部３５は、形態素解析部１９にて得られる文節データ付き形態素解析データ及び分割ルール記憶部２１に記憶されている分割ルールを利用して、処理単位字幕文を所定の表示形式に従う表示単位字幕文に変換する。タイミング情報付与部３７は、処理単位字幕文に関連付けされたタイムコードを利用し、タイミング内挿手法を用いて各表示単位字幕文にタイミング情報を付与する。

形態素解析部１９は、漢字かな混じり文で標記されている処理単位字幕文を対象として、形態素毎に分割する分割機能と、分割機能を発揮することで分割された各形態素毎に、表現形、品詞、読み、標準表現などの付加情報を付与する付加情報付与機能と、各形態素を文節や節単位にグループ化し、いくつかの情報系列を得る情報素列取得機能と、を有している。形態素解析部１９の働きにより、処理単位字幕文は、表面素列、記号素列（品詞列）、標準素列、及び情報素列として表現される。

分割ルール記憶部２１は、処理単位字幕文を対象とした改行・改頁箇所の最適化を行う際に参照される分割ルールを記憶している。分割ルールは、例えば、句点の後ろ、読点の後ろ、文節と文節との間、形態素品詞の間を改行・改頁の推奨箇所として規定する。なお、適用の優先度は、通常、前者ほど高い。

再生装置２３は、番組素材が収録されている番組素材ＶＴＲテープから、映像、音声、及びタイムコードを再生し出力する。

字幕制作システム１１は、さらに、再生装置２３から出力される映像信号が表す映像と、統合化装置１７から出力される字幕データが表す字幕とを重ねて表示する監視用モニタ２５を有していてもよい。

次に、図２乃至図９を参照して、本実施の形態に係る逐次型高速字幕制作システムの動作について説明する。

まず、利用者が統合化装置１７に対して処理開始を指示すると、処理単位字幕化部３３は、電子化原稿記憶装置１３に記憶されている字幕文テキストを読み込む。ここで、電子化原稿記憶装置１３に記憶されている字幕文テキストは、図２に示すようにべた書きされていたり、所定の行数毎に改頁されていたりする。そこで、処理単位字幕化部３３は、その後の処理を容易にするため、電子化原稿記憶部１３から読み出した字幕文テキストを、図３に示すように、一文ずつに分割（句点毎に改行）して処理単位字幕文とする。そして、処理単位字幕化部３３は、得られた処理単位字幕文を表示単位字幕化部３５及びタイムコード取得装置１５へ出力する。

タイムコード取得装置１５の制御部５５は、入力される処理単位字幕文を図４に示すような状態で表示部５３に表示させる（ステップＳ９０１）。即ち、制御部５５は、一つ以上の処理単位字幕文（ここでは、１番目から３番目までの文）を、一文ずつ改行して、表示部５３に表示させ、最初の一文（１番目の文）を特殊表示させる。特殊表示としては、ハイライト表示、反転表示、点滅表示、太字表示、斜字表示、及びこれらの組み合わせなどが利用できる。

利用者が処理開始を指示してから表示部５３に処理単位字幕文が表示されるまでに要する時間が経過した後、あるいは、利用者からの指示に応じて、制御装置５５は再生装置２３に素材ＶＴＲテープの再生を指示する。なお、この指示は、利用者が直接再生装置２３に対して行ってもよい。

再生装置２３は、素材ＶＴＲテープを再生し、映像信号、音声信号及びタイムコードを出力する。再生装置２３からの映像信号は、監視用モニタ２５へと送られその画面上に映像が映し出される。また、音声信号は、タイムコード取得装置１５へと送られ、スピーカ５７により音声出力される。タイムコードもまたタイムコード取得装置１５へと送られる（ステップＳ９０２）。

利用者は、スピーカ５７から再生される音声を聞き、表示部５３に表示された処理単位字幕文のうち特殊表示されている処理単位字幕文に対応する音声が聞こえたときに、入力部５１の第１の特定のキーを押下げる。図４の例では、スピーカ５７から「１６日・・・」と聞こえたときに第１の特定のキーを押下げる。第１の特定のキーとしては、キーボード上の単一又は複数のキーの組み合わせにその機能を割り当てもよいし、専用キーを設けてもよい。あるいは、画面上に表示されたボタンをマウス等でクリックするようにしてもよい。

制御部５５は、入力部５１からの入力を監視し（ステップＳ９０３）、入力があればその内容を判断する（ステップＳ９０４）。

制御部５５は、入力部５１の第１の特定キーが押下げられたと判断すると（即ち、第１の指令「MARK IN」が与えられたと判断すると）、再生装置２３からのタイムコードを取得し、特殊表示されている処理単位字幕文に関連付ける（ステップＳ９０５）。また、図５に示すように、その特殊表示されている処理単位字幕文（１番目の文）を通常の表示に変えるとともに、その次の処理単位字幕文（２番目の文）を特殊表示に変える（ステップＳ９０６）。このとき、必要なら表示された処理単位字幕文を上スクロールさせて、タイムコードとの関連付けが既に終わった処理単位字幕文を表示対象から外し、後続する処理単位字幕文を表示対象とする。

制御部５５は、互いに関連付けした処理単位字幕文とタイムコードとを表す情報を統合化装置１７へ出力する（ステップＳ９０７）。

次に、利用者は、先ほどまで特殊表示されていた処理単位字幕文（１番目の文）に対応する音声再生が終了したとき、第２の特定のキーを押下げる。先ほどまで特殊表示されていた処理単位字幕文（１番目の文）に対応する音声再生が終了した後、直ちに現在特殊表示されている処理単位字幕文（２番目の文）に対応する音声の再生が始まった場合は、第２の特定キーを押下げる必要はない（省略できる。）。この場合は、第２の特定キーを押下げることなく、第１の特定のキーを押下げればよい。

制御部５５は、第２の特定キーが押されると（即ち、第２の指令「MARK OUT」が与えられると（ステップＳ９０４でＮｏ））、再生装置２３からのタイムコードを取得し、先ほどまで特殊表示されていた処理単位字幕文（１番目の文）に関連付ける（ステップＳ９０８）。そして、互いに関連付けされた処理単位字幕文とタイムコードとを表す情報を統合化装置１７へ出力する（ステップＳ９０７）。

以後、制御部５５は、第１の特定キー及び第２の特定キーが押されるたびに、それぞれ上記と同様に動作し、２番目以降の処理単位字幕文に順次タイムコードを関連付ける。図６に、２度目の第１の特定のキーが押された後の表示部５３の表示例を示す。図６では、１番目の処理単位字幕文が表示対象から外れ、４番目の処理単位字幕文が新たに表示対象に加えられている。また、３番目の処理単位字幕文が特殊表示されている。

表示単位字幕化部３５は、タイムコード取得装置１５から送られてくる情報を図７に示すようなイメージで管理する。図７の各行は、次の３項目からなる。

１＝MARK IN，２＝MARK OUT，３＝TEXT＝処理単位字幕文
ただし、MARK INは第１の特定のキーが押された際に取得されたタイムコード、MARK OUTは第２の特定のキーが押された際に取得されたタイムコードである。

次に、表示単位字幕化部３５は、形態素解析部１９からの情報や、分割ルール記憶部２１に記憶されている分割ルールに基づいて、処理単位字幕文を表示単位字幕文に変更（要約、整形）する。

また、タイミング情報付与部３７は、タイムコードを利用して各表示単位字幕文にタイミング情報を付与する。

以上のようにして、本実施の形態に係る字幕制作システムにより、文字データが制作される。制作された文字データのイメージを図８に示す。図８を図７と比較すると、一画面２行表示を行うために＜ＣＲ＞記号が挿入されている。１番目の処理単位字幕文は、単一の表示単位字幕文に変換され、２行表示される字幕の下側の行に表示されるよう、その先頭に＜ＣＲ＞記号が挿入されている。また、４番目の処理単位字幕文は、単に２つの表示単位字幕文に分割されるだけでなく、要約処理がなされている。

本実施の形態に係る逐次型高速字幕制作システムでは、同期検出のための複雑な装置や信号処理が不要である。従って、このシステムでは、簡易な構成でありながら精度の高いタイミング情報を含む字幕データを生成することができる。

以上、本発明を一実施の形態に即して説明したが、本発明は上記実施の形態に限定されるものではない。例えば、制御部５５は、図９に示すステップをコンピュータに実行させるプログラム（ソフトウェア）として実現されてよい。また、制御部５５は、統合化装置１７を制御する図示しない制御部を兼ねるように構成されてもよい。

また、上記実施の形態では、第１又は第２の特定のキーが押下げられたときのタイムコードをそのまま利用する場合について説明したが、音声を聞いてから第１又は第２のキーが押下げられるまでに要する時間（タイミングずれ）を考慮して、取得したタイムコードを補正して用いるようにしてもよい。この場合、予め設定された時間だけタイムコードが示す時間を戻すようにしてもよい。あるいは、波形処理を行うなどして遅延時間を求めるようにしてもよい。

本発明の一実施の形態に係る逐次型高速字幕制作システムの構成を示すブロック図である。 図１のシステムの電子化原稿記憶装置に記憶されている字幕文テキストを説明するための図である。 図１のシステムの処理単位字幕化部の動作を説明するための図である。 図１のシステムの表示部に処理単位字幕文を表示させた状態を説明するための図である。 図１のシステムの入力部の第１の特定のキーが押されたときの表示器の表示内容の変化を説明するための図である。 図１のシステムの入力部の第１の特定のキーが再び押されたときの表示器の表示内容の変化を説明するための図である。 図１のシステムの表示単位字幕化部が管理する表示単位字幕文のイメージを表す図である。 図１のシステムにより制作された字幕データのイメージを表す図である。 図１のシステムによる字幕データの制作動作を説明するためのフローチャートである。 従来の逐次型高速字幕制作システムの構成を示すブロック図である。

符号の説明

１１ 逐次型高速字幕制作システム
１３ 電子化原稿記憶装置
１５ タイムコード取得装置
１７ 統合化装置
１９ 形態素解析部
２１ 分割ルール記憶部
２３ 再生装置
２５ 監視用モニタ
３３ 処理単位字幕化部
３５ 表示単位字幕化部
３７ タイミング情報付与部
５１ 入力部
５３ 表示部
５５ 制御部
５７ スピーカ
１１１ 逐次型字幕制作システム
１１５ 同期検出装置
１１７ 統合化装置
１１９ 形態素解析部
１２１ 分割ルール記憶部
１２３ 番組再生装置
１３３ 単位字幕抽出部
１３５ 表示単位字幕化部
１３７ タイミング情報付与部

Claims (7)

1. 番組音声とともにタイムコードが記録されている記録媒体から前記番組音声及び前記タイムコードを再生する再生装置と、
   前記番組音声に対応する電子化テキストを記憶する記憶装置と、
   該記憶部から前記電子化テキストを読み出して処理単位字幕文に分割する処理単位字幕化部と、
   該処理単位字幕化部で得られた前記処理単位字幕文を一つ以上表示するための表示部と、
   特定の指令を入力するための入力部と、
   該入力部から前記特定の指令が与えられたとき、前記再生部からの前記タイムコードを取得して前記表示部に表示されている前記処理単位字幕文の一つと関連付けし、前記字幕生成部へ通知する制御部と、
   前記処理単位字幕化部で得られた前記処理単位字幕文と前記制御部からの通知とに基づいて字幕データを生成する字幕データ生成部と、
   を備えていることを特徴とする逐次型高速字幕制作システム。
2. 請求項１に記載された逐次型高速字幕制作システムにおいて、
   前記制御部が、前記表示部を制御して当該表示部に表示されている前記処理単位字幕文のうちの一つを特殊表示させ、前記特定の指令として第１の指令が与えられたとき、当該特殊表示された単位字幕文を通常の表示に戻すとともに次の処理単位字幕文を特殊表示させ、前記特定の指令として第２の指令が与えられたとき、前記特殊表示を維持することを特徴とする逐次型高速字幕制作システム。
3. 請求項１又は２に記載された逐次型高速字幕制作システムにおいて、
   前記字幕データ生成部が、
   前記処理単位字幕文を整形して表示単位字幕文を生成する表示単位字幕化部と、
   前記表示単位字幕文に前記タイムコードに基づくタイミング情報を付与するタイミング情報付与部と、
   を備えていることを特徴とする逐次型高速字幕製作システム。
4. 請求項１、２又は３に記載された逐次型高速字幕制作システムにおいて、
   前記制御部が、前記入力部から前記特定の指令が与えられたとき、人為操作に伴うタイミング遅れを考慮して、取得した前記タイムコードを補正する補正手段を備えていることを特徴とする逐次型高速字幕制作システム。
5. 外部入力される処理単位字幕文を表示部に表示させるステップと、
   外部入力されるタイムコードを連続的に受けるステップと、
   入力部から特定の指令が与えられたとき、前記タイムコードを取得して前記表示部に表示されている前記処理単位字幕文に関連付け、関連付け情報を外部へ出力するステップと、
   をコンピュータに実行させるための字幕制作プログラム。
6. 請求項５に記載された字幕制作プログラムにおいて、
   前記表示部に表示された前記処理単位字幕文のうちの一つを特殊表示させるステップと、
   前記特定の指令として第１の指令が与えられたとき、当該特殊表示された単位字幕文を通常の表示に戻すとともに次の処理単位字幕文を特殊表示させるステップをさらに含み、
   前記特定の指令として第２の指令が与えられたときは、特殊表示をそのままにしておくことを特徴とする字幕制作プログラム。
7. 請求項５又は６に記載の字幕制作プログラムにおいて、
   前記タイムコードを取得して前記表示部に表示されている前記処理単位字幕文に関連付けるステップが、人為操作に伴うタイミング遅れを考慮して、取得した前記タイムコードを補正するステップを含むことを特徴とする字幕制作プログラム。
   
   

Images