JP2000270263A - 自動字幕番組制作システム - Google Patents

Abstract

(57)【要約】 【課題】 アナウンス音声の進行と同期して、提示単位
字幕文の作成、及びその始点／終点の各々に対応する高
精度のタイミング情報付与の自動化を実現可能な自動字
幕番組制作システムを提供することを課題とする。 【解決手段】 単位字幕文が提示時間順に配列された字
幕文テキストのなかから、提示対象となる単位字幕文を
提示時間順に順次抽出し、抽出された単位字幕文を、所
望の字幕提示形式に従う少なくとも１以上の提示単位字
幕文に変換する一方、この変換で得られた提示単位字幕
文毎に、該当する始点／終点タイミング情報を同期点と
して検出するが、この同期点検出にあたり、当該提示単
位字幕文に対応するアナウンス音声と提示単位字幕文間
の音声認識処理を含む同期検出技術を適用することによ
り、該当する始点／終点タイミング情報を同期点として
検出し、この検出した始点／終点タイミング情報を、前
記変換で得られた提示単位字幕文毎に付与する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ほぼ共通の電子化
原稿をアナウンス用と字幕用の双方に利用する形態を想
定して字幕番組を制作する自動字幕番組制作システムに
係り、特に、本発明で提案するアナウンス音声と字幕文
テキスト間の同期検出技術、及び日本語の特徴解析手法
を用いたテキスト分割技術等を適用することにより、ア
ナウンス音声の進行と同期して、提示単位字幕文の作
成、及びその始点／終点の各々に対応するタイミング情
報付与を自動化し得る自動字幕番組制作システムに関す
る。

【０００２】

【従来の技術】現代は高度情報化社会と一般に言われて
いるが、聴覚障害者は健常者と比較して情報の入手が困
難な状況下におかれている。

【０００３】すなわち、例えば、情報メディアとして広
く普及しているＴＶ放送番組を例示して、日本国内の全
ＴＶ放送番組に対する字幕番組の割合に言及すると、欧
米では３３〜７０％に達しているのに対し、わずか１０
％程ときわめて低いのが現状である。

【０００４】

【発明が解決しようとする課題】さて、日本国内の全Ｔ
Ｖ放送番組に対する字幕番組の割合が欧米と比較して低
くおかれている要因としては、主として字幕番組制作技
術の未整備を挙げることができる。具体的には、日本語
特有の問題も有り、ほとんどが手作業によっているた
め、多大の労力、時間、費用を要するためである。

【０００５】そこで、本発明者らは、字幕番組制作技術
の整備を妨げている原因究明を企図して、現行の字幕番
組制作の実体調査を行った。

【０００６】図６の左側には、現在一般に行われている
字幕番組制作フローを示してある。

【０００７】ステップＳ１０１において、字幕番組制作
者は、タイムコードを映像にスーパーした番組データ
と、タイムコードを音声チャンネルに記録した番組テー
プと、番組台本との３つの字幕原稿作成素材を放送局か
ら受け取る。なお、図中において「タイムコード」を
「ＴＣ」と略記する場合があることを付言しておく。

【０００８】ステップＳ１０３において、放送関係経験
者等の専門家は、ステップＳ１０１で受け取った字幕原
稿作成素材を基に、番組アナウンスの要約書き起こし、
別途規定された字幕提示の基準となる原稿作成要領に従
う字幕提示イメージ化、その開始・終了タイムコード記
入の各作業を順次行ない、字幕原稿を作成する。

【０００９】ステップＳ１０５において、入力オペレー
タは、ステップＳ１０３で作成された字幕原稿をもとに
電子化字幕を作成する。

【００１０】ステップＳ１０７において、ステップＳ１
０５で作成された電子化字幕を、担当の字幕制作責任
者、原稿作成者、及び入力オペレータの三者立ち会いの
もとで試写・修正を行い、完成字幕とする。

【００１１】ところで、最近では、番組アナウンスの要
約書き起こしと字幕の電子化双方に通じたキャプション
オペレータと呼ばれる人材を養成することで、図６の右
側に示す改良された現行字幕制作フローも一部実施され
ている。

【００１２】すなわち、ステップＳ１１１において、字
幕番組制作者は、タイムコードを音声チャンネルに記録
した番組テープと、番組台本との２つの字幕原稿作成素
材を放送局から受け取る。

【００１３】ステップＳ１１３において、キャプション
オペレータは、タイムコードを音声チャンネルに記録し
た番組テープを再生し、セリフの開始点でマウスのボタ
ンをクリックすることでその点の音声チャンネルから始
点タイムコードを取り出して記録する。さらに、セリフ
を聴取して要約電子データとして入力するとともに、字
幕原稿作成要領に基づく区切り箇所に対応するセリフ点
で再びマウスのボタンをクリックすることでその点の音
声チャンネルから終点タイムコードを取り出して記録す
る。これらの操作を番組終了まで繰り返して、番組全体
の字幕を電子化する。

【００１４】ステップＳ１１７において、ステップＳ１
０５で作成された電子化字幕を、担当の字幕制作責任
者、及びキャプションオペレータの二者立ち会いのもと
で試写・修正を行い、完成字幕とする。

【００１５】後者の改良された現行字幕制作フローで
は、キャプションオペレータは、タイムコードを音声チ
ャンネルに記録した番組テープのみを使用して、セリフ
の要約と電子データ化を行うとともに、提示単位に分割
した字幕の始点／終点にそれぞれ対応するセリフのタイ
ミングでマウスボタンをクリックすることにより、音声
チャンネルの各タイムコードを取り出して記録するもの
であり、かなり省力化された効果的な字幕制作フローと
いえる。

【００１６】さて、上述した現行字幕制作フローにおけ
る一連の処理の流れの中で特に多大な工数を要するの
は、ステップＳ１０３乃至Ｓ１０５又はステップＳ１１
３の、セリフを聴取して要約し、かつ電子化する処理工
程であり、この処理工程は熟練者の知識・経験に負うと
ころが大きい。

【００１７】しかし、現在放送中の字幕番組のなかで、
予めアナウンス原稿が作成され、その原稿がほとんど修
正されることなく実際の放送字幕となっていると推測さ
れる番組がいくつかある。例えば、「生きもの地球紀
行」という字幕付き情報番組を実際に調べて見ると、ア
ナウンス音声と字幕内容はほとんど共通であり、共通の
原稿をアナウンス用と字幕用の両方に利用していると推
測出来る。

【００１８】そこで、本発明者らは、このようにアナウ
ンス音声と字幕内容が極めて類似し、アナウンス用と字
幕用の両方にほぼ共通の原稿を利用しており、その原稿
が電子化されている番組を想定したとき、字幕番組の制
作を人手を介することなく自動化できる自動字幕番組制
作システムを想到するに至ったのである。

【００１９】本発明は、上述した実情に鑑みてなされた
ものであり、本発明で提案する音声と字幕文テキストの
同期検出技術、及び日本語の特徴解析手法を用いたテキ
スト分割技術等を適用することにより、素材ＶＴＲから
再生されたアナウンス音声の進行と同期して、提示単位
字幕文の作成、及びその始点／終点の各々に対応する高
精度のタイミング情報付与を自動化し得る自動字幕番組
制作システムを提供することを課題とする。

【００２０】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明は、少なくとも映像及び音声並びに
これらの提示タイミング情報を含んだ番組素材に対し、
それに関連した字幕番組を制作する自動字幕番組制作シ
ステムであって、単位字幕文が提示時間順に配列された
字幕文テキストのなかから、提示対象となる単位字幕文
を提示時間順に抽出する単位字幕文抽出手段と、当該単
位字幕文抽出手段で抽出された単位字幕文を、所望の字
幕提示形式に従う少なくとも１以上の提示単位字幕文に
変換する提示単位字幕化手段と、当該提示単位字幕化手
段で得られた提示単位字幕文毎に、該当する始点／終点
タイミング情報を同期点として検出する同期検出手段
と、当該同期検出手段で検出した始点／終点タイミング
情報を、前記提示単位字幕化手段で得られた提示単位字
幕文毎に付与するタイミング情報付与手段と、を備え、
前記同期検出手段は、前記提示単位字幕文毎に、該当す
る始点／終点タイミング情報を同期点として検出するに
あたり、当該提示単位字幕文に対応するアナウンス音声
と提示単位字幕文間の音声認識処理を含む同期検出技術
を適用することにより、該当する始点／終点タイミング
情報を同期点として検出することを要旨とする。

【００２１】請求項１の発明によれば、まず、単位字幕
文抽出手段は、単位字幕文が提示時間順に配列された字
幕文テキストのなかから、提示対象となる単位字幕文を
提示時間順に順次抽出する。これを受けて提示単位字幕
化手段は、単位字幕文抽出手段で抽出された単位字幕文
を、所望の字幕提示形式に従う少なくとも１以上の提示
単位字幕文に変換する。一方、同期検出手段は、提示単
位字幕化手段で得られた提示単位字幕文毎に、該当する
始点／終点タイミング情報を同期点として検出するが、
この同期点検出にあたり、当該提示単位字幕文に対応す
るアナウンス音声と提示単位字幕文間の音声認識処理を
含む同期検出技術を適用することにより、該当する始点
／終点タイミング情報を同期点として検出する。そし
て、タイミング情報付与手段は、同期検出手段で検出し
た始点／終点タイミング情報を、提示単位字幕化手段で
得られた提示単位字幕文毎に付与する。

【００２２】このように、請求項１の発明によれば、単
位字幕文が提示時間順に配列された字幕文テキストのな
かから、提示対象となる単位字幕文を提示時間順に順次
抽出し、抽出された単位字幕文を、所望の字幕提示形式
に従う少なくとも１以上の提示単位字幕文に変換する一
方、この変換で得られた提示単位字幕文毎に、該当する
始点／終点タイミング情報を同期点として検出するが、
この同期点検出にあたり、当該提示単位字幕文に対応す
るアナウンス音声と提示単位字幕文間の音声認識処理を
含む同期検出技術を適用することにより、該当する始点
／終点タイミング情報を同期点として検出し、この検出
した始点／終点タイミング情報を、前記変換で得られた
提示単位字幕文毎に付与するので、したがって、アナウ
ンス音声の進行と同期して、提示単位字幕文の作成、及
びその始点／終点の各々に対応する高精度のタイミング
情報付与の自動化を実現可能な自動字幕番組制作システ
ムを得ることができる。

【００２３】また、請求項２の発明は、請求項１に記載
の自動字幕番組制作システムであって、前記同期検出手
段は、前記提示単位字幕化手段で提示単位字幕文が得ら
れる毎に、当該提示単位字幕文の妥当性を検証する妥当
性検証機能と、当該妥当性検証機能を発揮することで得
られた検証結果が不当であるとき、この検証結果を前記
提示単位字幕化手段宛に返答する検証結果返答機能と、
を有して構成され、前記提示単位字幕化手段は、前記同
期検出手段から当該提示単位字幕文が不当である旨の返
答を受けたとき、前記単位字幕文抽出手段で抽出された
単位字幕文のなかから、所望の字幕提示形式に従う少な
くとも１以上の提示単位字幕文を再変換することを要旨
とする。

【００２４】請求項２の発明によれば、同期検出手段
は、提示単位字幕化手段で提示単位字幕文が得られる毎
に、当該提示単位字幕文の妥当性を検証する一方で、得
られた検証結果が不当であるとき、この検証結果を提示
単位字幕化手段宛に返答し、この際、提示単位字幕化手
段は、同期検出手段から当該提示単位字幕文が不当であ
る旨の返答を受けたとき、単位字幕文抽出手段で抽出さ
れた単位字幕文のなかから、所望の字幕提示形式に従う
少なくとも１以上の提示単位字幕文を再変換するので、
したがって、提示単位字幕文が一旦得られた場合であっ
ても、その妥当性検証結果を提示単位字幕文変換工程に
フィードバック可能となる結果として、好ましい提示単
位字幕文の変換に寄与することができる。

【００２５】さらに、請求項３の発明は、請求項２に記
載の自動字幕番組制作システムであって、前記同期検出
手段は、前記提示単位字幕化手段で得られた提示単位字
幕文の妥当性を検証するにあたり、当該提示単位字幕文
に対応するアナウンス音声中に所定時間を超えるポーズ
の存在有無を調査し、当該調査の結果、アナウンス音声
中に所定時間を超えるポーズ有りを検出したときには、
該当する提示単位字幕文は不当であるとみなす一方、ア
ナウンス音声中に所定時間を超えるポーズ無しを検出し
たときには、該当する提示単位字幕文は妥当であるとみ
なすようにして、該当する提示単位字幕文の妥当性を検
証することを要旨とする。

【００２６】請求項３の発明によれば、同期検出手段
は、提示単位字幕化手段で得られた提示単位字幕文の妥
当性を検証するにあたり、当該提示単位字幕文に対応す
るアナウンス音声中に所定時間を超えるポーズの存在有
無を調査し、この調査の結果、アナウンス音声中に所定
時間を超えるポーズ有りを検出したときには、該当する
提示単位字幕文は不当であるとみなす一方、アナウンス
音声中に所定時間を超えるポーズ無しを検出したときに
は、該当する提示単位字幕文は妥当であるとみなすよう
にして、該当する提示単位字幕文の妥当性を検証するの
で、したがって、提示単位字幕文中に所定時間を超える
ポーズが存在するということは、この提示単位字幕文
は、少なくとも時間的にも内容的にも相異なる字幕文を
含んで構成されているおそれがあり、これらの字幕文を
一つの提示単位字幕文とみなしたのでは好ましくないお
それがあるのに対し、一旦得られた提示単位字幕文の妥
当性を、対応するアナウンス音声の観点から再検証可能
となる結果として、好ましい提示単位字幕文の変換に多
大な貢献を果たすことができる。

【００２７】さらにまた、請求項４の発明は、請求項１
乃至３のうちいずれか一項に記載の自動字幕番組制作シ
ステムであって、前記提示単位字幕化手段は、前記単位
字幕文抽出手段で抽出された単位字幕文を、制限字幕文
字数を含む字幕提示形式に従う少なくとも１以上の提示
単位字幕文に変換するにあたり、前記制限字幕文字数を
含む字幕提示形式を参照して、提示単位字幕配列案を作
成し、前記単位字幕文に付加されている区切り可能箇所
情報を参照して、前記作成された提示単位字幕配列案を
最適化することで提示単位字幕配列を確定することによ
り、前記単位字幕文を少なくとも１以上の各提示単位字
幕文に分割するようにして、前記単位字幕文を、前記字
幕提示形式に従う提示単位字幕文に変換することを要旨
とする。

【００２８】請求項４の発明によれば、提示単位字幕化
手段は、単位字幕文抽出手段で抽出された単位字幕文
を、制限字幕文字数を含む字幕提示形式に従う少なくと
も１以上の提示単位字幕文に変換するにあたり、制限字
幕文字数を含む字幕提示形式を参照して、提示単位字幕
配列案を作成し、単位字幕文に付加されている区切り可
能箇所情報を参照して、作成された提示単位字幕配列案
を最適化することで提示単位字幕配列を確定することに
より、単位字幕文を少なくとも１以上の各提示単位字幕
文に分割するようにして、単位字幕文を、字幕提示形式
に従う提示単位字幕文に変換するので、したがって、単
位字幕文を制限字幕文字数を含む字幕提示形式に従う提
示単位字幕文に変換するにあたり、区切り可能箇所情報
を適用することで、見やすく読みやすい最適な提示単位
字幕化を実現することができる。

【００２９】しかも、請求項５の発明は、請求項４に記
載の自動字幕番組制作システムであって、前記提示単位
字幕化手段は、前記区切り可能箇所情報を参照して、前
記作成された提示単位字幕配列案を最適化するにあた
り、前記区切り可能箇所情報は、前記単位字幕文に対し
て形態素解析を施すことで得られる形態素解析データ
と、前記単位字幕文に対する改行・改頁推奨箇所に係る
分割ルールと、のうちいずれか１又は両者を含んで構成
されており、前記形態素解析データ及び／又は分割ルー
ルを参照して、前記作成された提示単位字幕配列案を最
適化することを要旨とする。

【００３０】請求項５の発明によれば、提示単位字幕化
手段は、区切り可能箇所情報を参照して、前記作成され
た提示単位字幕配列案を最適化するにあたり、形態素解
析データ及び／又は分割ルールを参照して、前記作成さ
れた提示単位字幕配列案を最適化するので、したがっ
て、実情に即して高精度に最適化された提示単位字幕化
を実現可能な自動字幕番組制作システムを得ることがで
きる。

【００３１】そして、請求項６の発明は、請求項５に記
載の自動字幕番組制作システムであって、前記分割ルー
ルで定義される改行・改頁推奨箇所は、句点の後ろ、読
点の後ろ、文節と文節の間、形態素品詞の間、のうちい
ずれか１又は複数の組み合わせを含んでおり、当該分割
ルールを適用するにあたっては、前記記述順の先頭から
優先的に適用することを要旨とする。

【００３２】請求項６の発明によれば、分割ルール、す
なわち改行・改頁データで定義される改行・改頁推奨箇
所は、句点の後ろ、読点の後ろ、文節と文節の間、形態
素品詞の間、のうちいずれか１又は複数の組み合わせを
含んでおり、分割ルールを適用するにあたっては、前記
記述順の先頭から優先的に適用するので、したがって、
さらに実情に即して高精度に最適化された提示単位字幕
化を実現可能な自動字幕番組制作システムを得ることが
できる。

【００３３】

【発明の実施の形態】以下に、本発明に係る自動字幕番
組制作システムの一実施形態について、図に基づいて詳
細に説明する。

【００３４】図１は、本発明に係る自動字幕番組制作シ
ステムの機能ブロック構成図、図２は、本発明に係る自
動字幕番組制作システムにおける字幕制作フローを、改
良された現行字幕制作フローと対比して示した説明図、
図３は、単位字幕文を提示単位字幕文毎に分割する際に
適用される分割ルールの説明に供する図、図４乃至図５
は、アナウンス音声に対する字幕送出タイミングの同期
検出技術に係る説明に供する図である。

【００３５】既述したように、現在放送中の字幕番組の
なかで、予めアナウンス原稿が作成され、その原稿がほ
とんど修正されることなく実際の放送字幕となっている
と推測される番組がいくつかある。例えば、「生きもの
地球紀行」という字幕付き情報番組を実際に調べて見る
と、アナウンス音声と字幕内容はほぼ共通であり、ほぼ
共通の原稿をアナウンス用と字幕用の両方に利用してい
ると推測出来る。

【００３６】そこで、本発明者らは、このようにアナウ
ンス音声と字幕の内容が極めて類似し、アナウンス用と
字幕用の両方に共通の原稿を利用しており、その原稿が
電子化されている番組を想定したとき、本発明で提案す
るアナウンス音声と字幕文テキストの同期検出技術、及
び日本語の特徴解析手法を用いたテキスト分割技術等を
適用することにより、素材ＶＴＲから再生されたアナウ
ンスの進行と同期して、提示単位字幕文の作成、及びそ
の始点／終点の各々に対応するタイミング情報の付与を
自動化し、これをもって、字幕番組の制作を人手を介す
ることなく自動化できる自動字幕番組制作システムを想
到するに至ったのである。

【００３７】さて、本実施形態の説明に先立って、以下
の説明で使用する用語の定義付けを行うと、本実施形態
の説明において、提示対象となる字幕の全体集合を「字
幕文テキスト」と言い、字幕文テキストのうち、句読点
で区切られた文章単位の部分集合を「単位字幕文」と言
い、ディスプレイの表示画面上における提示単位字幕の
全体集合を「提示単位字幕群」と言い、提示単位字幕群
のうち、任意の一行の字幕を「提示単位字幕文」と言
い、提示単位字幕文のうちの任意の文字を表現すると
き、これを「字幕文字」と言うことにする。

【００３８】まず、本発明に係る自動字幕番組制作シス
テム１１の概略構成について、図１を参照して説明す
る。

【００３９】同図に示すように、自動字幕番組制作シス
テム１１は、電子化原稿記録媒体１３と、同期検出手段
として機能する同期検出装置１５と、統合化装置１７
と、形態素解析部１９と、分割ルール記憶部２１と、番
組素材ＶＴＲ例えばディジタル・ビデオ・テープ・レコ
ーダ（以下、「Ｄ−ＶＴＲ」と言う）２３と、を含んで
構成されている。

【００４０】電子化原稿記録媒体１３は、例えばハード
ディスク記憶装置やフロッピーディスク装置等より構成
され、提示対象となる字幕の全体集合を表す字幕文テキ
ストを記憶している。なお、本実施形態では、ほぼ共通
の電子化原稿をアナウンス用と字幕用の双方に利用する
形態を想定しているので、電子化原稿記録媒体１３に記
憶される字幕文テキストの内容は、提示対象字幕とする
ばかりでなく、素材ＶＴＲのアナウンス音声とも一致し
ているものとする。

【００４１】同期検出装置１５は、提示単位字幕文と、
これを読み上げたアナウンス音声との間における時間同
期を補助する機能等を有している。さらに詳しく述べる
と、同期検出装置１５は、統合化装置１７で確定された
提示単位字幕配列が送られてくる毎に、この提示単位字
幕配列の妥当性を検証する妥当性検証機能と、妥当性検
証機能を発揮することで得られた検証結果が不当である
とき、この検証結果を統合化装置１７宛に返答する検証
結果返答機能と、妥当性検証機能を発揮することで得ら
れた検証結果が妥当であるとき、番組素材ＶＴＲから取
り込んだこの提示単位字幕配列に対応するアナウンス音
声及びそのタイムコードを参照して、該当する提示単位
字幕文毎のタイミング情報、すなわち始点／終点タイム
コードを検出し、検出した各始点／終点タイムコードを
統合化装置１７宛に送出するタイミング情報検出機能
と、を有している。

【００４２】統合化装置１７は、電子化原稿記録媒体１
３から読み出した字幕文テキストのなかから、例えば４
０〜５０字幕文字程度を目安とした単位字幕文を順次抽
出する単位字幕文抽出機能と、単位字幕文抽出機能を発
揮することで抽出した単位字幕文を、所望の提示形式に
従う提示単位字幕文に変換する提示単位字幕化機能と、
提示単位字幕化機能を発揮することで変換された提示単
位字幕文に対し、同期検出装置１５から送出されてきた
提示単位字幕文毎のタイミング情報である始点／終点の
各タイムコードを付与するタイミング情報付与機能と、
を有している。

【００４３】形態素解析部１９は、漢字かな交じり文で
表記されている単位字幕文を対象として、形態素毎に分
割する分割機能と、分割機能を発揮することで分割され
た各形態素毎に、表現形、品詞、読み、標準表現などの
付加情報を付与する付加情報付与機能と、各形態素を文
節や節単位にグループ化し、いくつかの情報素列を得る
情報素列取得機能と、を有している。これにより、単位
字幕文は、表面素列、記号素列（品詞列）、標準素列、
及び情報素列として表現される。

【００４４】分割ルール記憶部２１は、図３に示すよう
に、単位字幕文を対象とした改行・改頁箇所の最適化を
行う際に参照される分割ルールを記憶する機能を有して
いる。

【００４５】Ｄ−ＶＴＲ２３は、番組素材が収録されて
いる番組素材ＶＴＲテープから、映像、音声、及びそれ
らのタイムコードを再生出力する機能を有している。

【００４６】次に、自動字幕番組制作システム１１にお
いて主要な役割を果たす統合化装置１７の内部構成につ
いて説明していく。

【００４７】統合化装置１７は、単位字幕文抽出手段と
して機能する単位字幕文抽出部３３と、提示単位字幕化
手段として機能する提示単位字幕化部３５と、タイミン
グ情報付与手段として機能するタイミング情報付与部３
７と、を含んで構成されている。

【００４８】単位字幕文抽出部３３は、電子化原稿記録
媒体１３から読み出した、単位字幕文が提示時間順に配
列された字幕文テキストのなかから、４０〜５０字幕文
字程度を目安として、少なくとも提示単位字幕文よりも
多い文字数を呈する提示対象となる単位字幕文を、必要
に応じその区切り可能箇所情報等を活用して提示時間順
に順次抽出する機能を有している。なお、区切り可能箇
所情報としては、形態素解析部１９で得られた文節デー
タ付き形態素解析データ、及び分割ルール記憶部２１に
記憶されている分割ルール（改行・改頁データ）を例示
することができる。

【００４９】提示単位字幕化部３５は、単位字幕文抽出
部３３で抽出した単位字幕文、単位字幕文に付加されて
いる区切り可能箇所情報、及び同期検出装置１５からの
情報等に基づいて、単位字幕文抽出部３３で抽出した単
位字幕文を、所望の提示形式に従う少なくとも１以上の
提示単位字幕文に変換する提示単位字幕化機能を有して
いる。

【００５０】タイミング情報付与部３７は、提示単位字
幕化部３５で変換された提示単位字幕文に対し、同期検
出装置１５から送出されてきた提示単位字幕文毎のタイ
ミング情報である始点／終点の各タイムコードを付与す
るタイミング情報付与機能を有している。

【００５１】次に、本自動字幕番組制作システム１１の
動作について、図２の右側に示す字幕制作フローに従っ
て、図２の左側に示す改良された現行字幕制作フローと
対比しつつ説明する。

【００５２】本発明に係る字幕制作フローの説明に先立
って、まず、図２の左側に示す改良された現行字幕制作
フローについて再度説明する。

【００５３】ステップＳ１１１において、字幕番組制作
者は、音声チャンネルにタイムコードを記録した番組テ
ープと、番組台本との２つの字幕原稿作成素材を放送局
から受け取る。なお、図中において「タイムコード」を
「ＴＣ」と略記する場合があることを付言しておく。

【００５４】ステップＳ１１３において、キャプション
オペレータは、ＶＴＲの別の音声チャンネル（セリフを
ＬｃｈとするとＲｃｈ）にタイムコードを記録した番組
テープを再生し、セリフの開始点でマウスのボタンをク
リックすることでその点の音声チャンネルから始点タイ
ムコードを取り出して記録する。さらに、セリフを聴取
して要約電子データとして入力するとともに、字幕原稿
作成要領に基づいて行う区切り箇所に対応するセリフ点
で再びマウスのボタンをクリックすることでその点の音
声チャンネルから終点タイムコードを取り出して記録す
る。これらの操作を番組終了まで繰り返して、番組全体
の字幕を電子化する。

【００５５】ステップＳ１１７において、ステップＳ１
０５で作成された電子化字幕を、担当の字幕制作責任
者、及びキャプションオペレータの二者立ち会いのもと
で試写・修正を行い、完成字幕とする。

【００５６】上述の改良された現行字幕制作フローで
は、キャプションオペレータは、タイムコードをＶＴＲ
の別の音声チャンネルに記録した番組テープのみを使用
して、セリフの要約と電子データ化を行うとともに、提
示単位に分割した字幕の始点／終点にそれぞれ対応する
セリフのタイミングでマウスボタンをクリックすること
により、音声チャンネルの各タイムコードを取り出して
記録するものであり、かなり省力化された効果的な字幕
制作を実現している。

【００５７】ところが、本発明に係る字幕制作フローで
は、上述の改良された現行字幕制作フローと比較して、
さらなる省力化が図られている。

【００５８】すなわち、ステップＳ１において、単位字
幕文抽出部３３は、電子化原稿記録媒体１３から読み出
した字幕文テキストのなかから、４０〜５０文字程度を
目安として、少なくとも提示単位字幕文よりも多い文字
数を呈する単位字幕文を、その区切り可能箇所情報等を
活用して順次抽出する。なお、制作する字幕は、通常一
行当たり１５文字を限度として、二行の提示単位字幕群
を順次入換えていく字幕提示形式が採用されるので、文
頭から４０〜５０字幕文字程度で、句点や読点を目安に
して単位字幕文を抽出する。（これは１５文字の処理量
をも考慮している。）。

【００５９】ステップＳ２乃至Ｓ５において、提示単位
字幕化部３５は、単位字幕文抽出部３３で抽出した単位
字幕文、及び単位字幕文に付加された区切り可能箇所情
報等に基づいて、単位字幕文抽出部３３で抽出した単位
字幕文を、所望の提示形式に従う少なくとも１以上の提
示単位字幕文に変換する。

【００６０】具体的には、単位字幕文抽出部３３で抽出
した単位字幕文を、上述した字幕提示形式に従い、例え
ば、一行当たり１３字幕文字で、二行の提示単位字幕群
となる提示単位字幕配列案を作成する（ステップＳ
２）。他方、単位字幕文抽出部３３で抽出した単位字幕
文を対象とした形態素解析を行い、形態素解析データを
得る（ステップＳ３）。この形態素解析データには文節
を表すデータも付属している。そして、上記の如く作成
した提示単位字幕配列案に対し、形態素解析データを参
照して、提示単位字幕配列案の改行・改頁点を最適化し
（ステップＳ４）、最初の単位字幕文に関する提示単位
字幕配列を確定する（ステップＳ５）。これにより、実
情に即して高精度に最適化された提示単位字幕化を実現
することができる。

【００６１】なお、ステップＳ４において提示単位字幕
配列案を最適化するあたっては、別途用意した分割ルー
ル（改行・改頁データ）も併せて適用する。具体的に
は、図３に示すように、分割ルール（改行・改頁デー
タ）で定義される改行・改頁推奨箇所は、第１に句点の
後ろ、第２に読点の後ろ、第３に文節と文節の間、第４
に形態素品詞の間、を含んでおり、分割ルール（改行・
改頁データ）を適用するにあたっては、上述した記述順
の先頭から優先的に適用する。このようにすれば、さら
に実情に即して高精度に最適化された提示単位字幕化を
実現することができる。特に、第４の形態素品詞の間を
分割ルール（改行・改頁データ）として適用するにあた
っては、図３の図表には、自然感のある改行・改頁を行
った際における、直前の形態素品詞とその頻度例が示さ
れているが、図３の図表のうち頻度の高い形態素品詞の
直後で改行・改頁を行うようにすればよい。このように
すれば、より一層実情に即して高精度に最適化された提
示単位字幕化を実現することができる。

【００６２】ステップＳ６乃至Ｓ７において、タイミン
グ情報付与部３７は、提示単位字幕化部３５で変換され
た提示単位字幕文に対し、同期検出装置１５から送出さ
れてきた提示単位字幕文毎のタイミング情報である始点
／終点の各タイムコードを付与する。

【００６３】具体的には、統合化装置１７は、ステップ
Ｓ５で確定した提示単位字幕文を同期検出装置１５に与
える一方、番組素材ＶＴＲからアナウンス音声及びその
タイムコードを取り込む（ステップＳ６）同期検出装置
１７は、ステップＳ５で確定した提示単位字幕配列、す
なわち提示単位字幕文に対応するアナウンス音声中に例
えば２秒以上等の所定時間を超える無音区間、すなわち
ポーズの存在有無を調査し（ステップＳ７）、この調査
の結果、アナウンス音声中にポーズ有りを検出したとき
には、該当する提示単位字幕文は不当であるとみなし
て、ステップＳ５の提示単位字幕配列確定処理に戻り、
このポーズ以前に対応する単位字幕文のなかから、提示
単位字幕配列を再変換する。一方、同期検出装置１５
は、上記調査の結果、所定時間を超えるポーズ無しを検
出したときには、該当する提示単位字幕文は妥当である
とみなして、その始点／終点タイムコードを検出し（ス
テップＳ７）、検出した各始点／終点タイムコードを該
当する提示単位字幕文に付与して（ステップＳ８）、最
初の単位字幕文に関する提示単位字幕文の作成処理を終
了する。

【００６４】ここで、ステップＳ７において提示単位字
幕文に対応するアナウンス音声中のポーズの有無を調査
する趣旨は、提示単位字幕文中に所定時間を超えるポー
ズが存在するということは、この提示単位字幕文は、時
間的に離れており、また、少なくとも複数の相異なる場
面に対応する字幕文を含んで構成されているおそれがあ
り、これらの字幕文を一つの提示単位字幕文とみなした
のでは好ましくないおそれがあるからである。これによ
り、ステップＳ５で一旦確定された提示単位字幕文の妥
当性を、対応するアナウンス音声の観点から再検証可能
となる結果として、好ましい提示単位字幕文の変換確定
に多大な貢献を果たすことができる。

【００６５】なお、ステップＳ７における提示単位字幕
文に付与する始点／終点タイムコードの同期検出は、本
発明者らが研究開発したアナウンス音声を対象とした音
声認識処理を含むアナウンス音声と字幕文テキスト間の
同期検出技術を適用することで高精度に実現可能であ
る。

【００６６】すなわち、字幕送出タイミング検出の流れ
は、図４に示すように、まず、かな漢字交じり文で表記
されている字幕文テキストを、音声合成などで用いられ
ている読み付け技術を用いて発音記号列に変換する。こ
の変換には、「日本語読み付けシステム」を用いる。次
に、あらかじめ学習しておいた音響モデル（ＨＭＭ：隠
れマルコフモデル）を参照し、「音声モデル合成システ
ム」によりこれらの発音記号列をワード列ペアモデルと
呼ぶ音声モデル（ＨＭＭ）に変換する。そして、「最尤
照合システム」を用いてワード列ペアモデルにアナウン
ス音声を通して比較照合を行うことにより、字幕送出タ
イミングの同期検出を行う。

【００６７】字幕送出タイミング検出の用途に用いるア
ルゴリズム(ワード列ペアモデル)は、キーワードスポッ
ティングの手法を採用している。キーワードスポッティ
ングの手法として、フォワード・バックワードアルゴリ
ズムにより単語の事後確率を求め、その単語尤度のロー
カルピークを検出する方法が提案されている。ワード列
ペアモデルは、図５に示すように、これを応用して字幕
と音声を同期させたい点、すなわち同期点の前後でワー
ド列１ (Keywords1)とワード列２ (Keywords2)とを連結
したモデルになっており、ワード列の中点（Ｂ）で尤度
を観測してそのローカルピークを検出し、ワード列２の
発話開始時間を高精度に求めることを目的としている。
ワード列は、音素ＨＭＭの連結により構成され、ガーベ
ジ (Garbage)部分は全音素ＨＭＭの並列な枝として構成
されている。また、アナウンサが原稿を読む場合、内容
が理解しやすいように息継ぎの位置を任意に定めること
から、ワード列１，２間にポーズ (Pause)を挿入してい
る。なお、ポーズ時間の検出に関しては、素材ＶＴＲか
ら音声とそのタイムコードが供給され、その音声レベル
が指定レベル以下で連続する開始、終了タイムコードか
ら、周知の技術で容易に達成できる。

【００６８】そして、第一頁目に関する字幕作成が終了
すると、続いて第一頁目の次からの字幕文を抽出して第
二頁目の字幕化に進み、同様の処理により当該番組の全
字幕化を行う。

【００６９】上述した字幕制作フローにおける処理は、
図２の左側に示すステップＳ１１３の要約原稿・電子デ
ータ作成処理に相当するものであり、この処理手法を用
いて制作した電子化字幕は、その後の試写・修正プロセ
スにおける人手を介してのチェックと修正を行なって完
成字幕とすることを前提としている。つまり、電子化原
稿とアナウンス音声との間で差異がある場合等には、こ
の試写・修正プロセスでチェックと修正を行なうことで
自動化できない部分を補完することで、より完成度の高
い電子化字幕を得ることができる。

【００７０】以上詳細に説明したように、本発明に係る
自動字幕番組制作システム１１によれば、単位字幕文が
提示時間順に配列された字幕文テキストのなかから、提
示対象となる単位字幕文を提示時間順に順次抽出し、抽
出された単位字幕文を、所望の字幕提示形式に従う少な
くとも１以上の提示単位字幕文に変換する一方、この変
換で得られた提示単位字幕文毎に、該当する始点／終点
タイミング情報を同期点として検出するが、この同期点
検出にあたり、当該提示単位字幕文に対応するアナウン
ス音声と提示単位字幕文間の音声認識処理を含む同期検
出技術を適用することにより、該当する始点／終点タイ
ミング情報を同期点として検出し、この検出した始点／
終点タイミング情報を、前記変換で得られた提示単位字
幕文毎に付与するので、したがって、素材ＶＴＲのアナ
ウンス音声の進行と同期して、提示単位字幕文の作成、
及びその始点／終点の各々に対応する高精度のタイミン
グ情報付与の自動化を実現することができる。

【００７１】なお、本発明は、上述した実施形態の例に
限定されることなく、請求の範囲内において適宜の変更
を加えることにより、その他の態様で実施可能であるこ
とは言うまでもない。

【００７２】

【発明の効果】以上詳細に説明したように、請求項１の
発明によれば、アナウンス音声の進行と同期して、提示
単位字幕文の作成、及びその始点／終点の各々に対応す
る高精度のタイミング情報付与の自動化を実現可能な自
動字幕番組制作システムを得ることができる。

【００７３】また、請求項２の発明によれば、提示単位
字幕文が一旦得られた場合であっても、その妥当性検証
結果を提示単位字幕文変換工程にフィードバック可能と
なる結果として、好ましい提示単位字幕文の変換に寄与
することができる。

【００７４】さらに、請求項３の発明によれば、提示単
位字幕文中に所定時間を超えるポーズが存在するという
ことは、この提示単位字幕文は、少なくとも時間的にも
内容的にも相異なる字幕文を含んで構成されているおそ
れがあり、これらの字幕文を一つの提示単位字幕文とみ
なしたのでは好ましくないおそれがあるのに対し、一旦
得られた提示単位字幕文の妥当性を、対応するアナウン
ス音声の観点から再検証可能となる結果として、好まし
い提示単位字幕文の変換に多大な貢献を果たすことがで
きる。

【００７５】さらにまた、請求項４の発明によれば、単
位字幕文を制限字幕文字数を含む字幕提示形式に従う提
示単位字幕文に変換するにあたり、区切り可能箇所情報
を適用することで、見やすく読みやすい最適な提示単位
字幕化を実現することができる。

【００７６】しかも、請求項５の発明によれば、実情に
即して高精度に最適化された提示単位字幕化を実現可能
な自動字幕番組制作システムを得ることができる。

【００７７】そして、請求項６の発明によれば、さらに
実情に即して高精度に最適化された提示単位字幕化を実
現可能な自動字幕番組制作システムを得ることができる
というきわめて優れた効果を奏する。

【図面の簡単な説明】

【図１】図１は、本発明に係る自動字幕番組制作システ
ムの機能ブロック構成図である。

【図２】図２は、本発明に係る自動字幕番組制作システ
ムにおける字幕制作フローを、改良された現行字幕制作
フローと対比して示した説明図である。

【図３】図３は、単位字幕文を提示単位字幕文毎に分割
する際に適用される分割ルールの説明に供する図であ
る。

【図４】図４は、アナウンス音声に対する字幕送出タイ
ミングの同期検出技術に係る説明に供する図である。

【図５】図５は、アナウンス音声に対する字幕送出タイ
ミングの同期検出技術に係る説明に供する図である。

【図６】図６は、現行字幕制作フロー、及び改良された
現行字幕制作フローに係る説明図である。

【符号の説明】

１１ 自動字幕番組制作システム １３ 電子化原稿記録媒体 １５ 同期検出装置（同期検出手段） １７ 統合化装置 １９ 形態素解析部 ２１ 分割ルール記憶部 ２３ ディジタル・ビデオ・テープ・レコーダ（Ｄ−Ｖ
ＴＲ） ３３ 単位字幕文抽出部（単位字幕文抽出手段） ３５ 提示単位字幕化部（提示単位字幕化手段） ３７ タイミング情報付与部（タイミング情報付与手
段）

───────────────────────────────────────────────────── フロントページの続き (71)出願人 000004352 日本放送協会 東京都渋谷区神南２丁目２番１号 (72)発明者 沢村 英治 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 丸山 一郎 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 江原 暉将 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 白井 克彦 東京都港区芝２−31−19 通信・放送機構 内 Ｆターム(参考） 5C023 AA18 BA01 BA16 CA05 CA08

Claims (6)

【特許請求の範囲】
1. 【請求項１】 少なくとも映像及び音声並びにこれらの
   提示タイミング情報を含んだ番組素材に対し、それに関
   連した字幕番組を制作する自動字幕番組制作システムで
   あって、 単位字幕文が提示時間順に配列された字幕文テキストの
   なかから、提示対象となる単位字幕文を提示時間順に抽
   出する単位字幕文抽出手段と、 当該単位字幕文抽出手段で抽出された単位字幕文を、所
   望の字幕提示形式に従う少なくとも１以上の提示単位字
   幕文に変換する提示単位字幕化手段と、 当該提示単位字幕化手段で得られた提示単位字幕文毎
   に、該当する始点／終点タイミング情報を同期点として
   検出する同期検出手段と、 当該同期検出手段で検出した始点／終点タイミング情報
   を、前記提示単位字幕化手段で得られた提示単位字幕文
   毎に付与するタイミング情報付与手段と、 を備え、 前記同期検出手段は、 前記提示単位字幕文毎に、該当する始点／終点タイミン
   グ情報を同期点として検出するにあたり、当該提示単位
   字幕文に対応するアナウンス音声と提示単位字幕文間の
   音声認識処理を含む同期検出技術を適用することによ
   り、該当する始点／終点タイミング情報を同期点として
   検出することを特徴とする自動字幕番組制作システム。
2. 【請求項２】 請求項１に記載の自動字幕番組制作シス
   テムであって、 前記同期検出手段は、 前記提示単位字幕化手段で提示単位字幕文が得られる毎
   に、当該提示単位字幕文の妥当性を検証する妥当性検証
   機能と、当該妥当性検証機能を発揮することで得られた
   検証結果が不当であるとき、この検証結果を前記提示単
   位字幕化手段宛に返答する検証結果返答機能と、を有し
   て構成され、 前記提示単位字幕化手段は、前記同期検出手段から当該
   提示単位字幕文が不当である旨の返答を受けたとき、前
   記単位字幕文抽出手段で抽出された単位字幕文のなかか
   ら、所望の字幕提示形式に従う少なくとも１以上の提示
   単位字幕文を再変換することを特徴とする自動字幕番組
   制作システム。
3. 【請求項３】 請求項２に記載の自動字幕番組制作シス
   テムであって、 前記同期検出手段は、 前記提示単位字幕化手段で得られた提示単位字幕文の妥
   当性を検証するにあたり、当該提示単位字幕文に対応す
   るアナウンス音声中に所定時間を超えるポーズの存在有
   無を調査し、当該調査の結果、アナウンス音声中に所定
   時間を超えるポーズ有りを検出したときには、該当する
   提示単位字幕文は不当であるとみなす一方、アナウンス
   音声中に所定時間を超えるポーズ無しを検出したときに
   は、該当する提示単位字幕文は妥当であるとみなすよう
   にして、該当する提示単位字幕文の妥当性を検証するこ
   とを特徴とする自動字幕番組制作システム。
4. 【請求項４】 請求項１乃至３のうちいずれか一項に記
   載の自動字幕番組制作システムであって、 前記提示単位字幕化手段は、 前記単位字幕文抽出手段で抽出された単位字幕文を、制
   限字幕文字数を含む字幕提示形式に従う少なくとも１以
   上の提示単位字幕文に変換するにあたり、 前記制限字幕文字数を含む字幕提示形式を参照して、提
   示単位字幕配列案を作成し、 前記単位字幕文に付加されている区切り可能箇所情報を
   参照して、前記作成された提示単位字幕配列案を最適化
   することで提示単位字幕配列を確定することにより、前
   記単位字幕文を少なくとも１以上の各提示単位字幕文に
   分割するようにして、前記単位字幕文を、前記字幕提示
   形式に従う提示単位字幕文に変換することを特徴とする
   自動字幕番組制作システム。
5. 【請求項５】 請求項４に記載の自動字幕番組制作シス
   テムであって、 前記提示単位字幕化手段は、 前記区切り可能箇所情報を参照して、前記作成された提
   示単位字幕配列案を最適化するにあたり、 前記区切り可能箇所情報は、前記単位字幕文に対して形
   態素解析を施すことで得られる形態素解析データと、前
   記単位字幕文に対する改行・改頁推奨箇所に係る分割ル
   ールと、のうちいずれか１又は両者を含んで構成されて
   おり、 前記形態素解析データ及び／又は分割ルールを参照し
   て、前記作成された提示単位字幕配列案を最適化するこ
   とを特徴とする自動字幕番組制作システム。
6. 【請求項６】 請求項５に記載の自動字幕番組制作シス
   テムであって、 前記分割ルールで定義される改行・改頁推奨箇所は、 句点の後ろ、読点の後ろ、文節と文節の間、形態素品詞
   の間、のうちいずれか１又は複数の組み合わせを含んで
   おり、 当該分割ルールを適用するにあたっては、前記記述順の
   先頭から優先的に適用することを特徴とする自動字幕番
   組制作システム。