JP2003224774A - 半自動型字幕番組制作システム - Google Patents

Abstract

(57)【要約】 【課題】 字幕番組制作者による手動字幕制作を効率的
に支援する実用性のより高い半自動型字幕番組制作シス
テムを提供する。 【解決手段】 テレビ素材番組の映像、音声、タイムコ
ードに基づいてスピーチに対する字幕用テキストの書き
起こしおよび背景音などの付加情報データを入力する字
幕テキスト書き起こし部３０と、書き起こされた字幕テ
キストに基づいて字幕画面作成およびタイミング付与を
行う自動字幕番組データ制作部４０と、作成された字幕
番組データの編集および試写を行う字幕番組編集・試写
部５０とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人手による制作機
能と自動による制作機能とを効果的に組み合わせた半自
動型字幕番組制作システムに関する。

【０００２】［発明の概要］本発明の半自動型字幕番組
制作システムは、ディスク記録再生装置に収録してある
テレビ素材番組の映像、音声、タイムコードを効果的に
操作し、スピーチに対する字幕用テキストの書き起こし
および背景音などの付加情報データを効率的に入力する
機能と、これらテキストやデータを利用し、自動で字幕
画面作成およびタイミング付与を行う自動字幕番組デー
タ制作機能と、字幕番組データの編集および試写を行う
編集・試写機能とを備えるものである。

【０００３】この半自動型字幕番組制作システムは、電
子化原稿のない番組や背景音レベルの大きい番組など、
多様な番組の字幕制作にも対応可能な字幕番組制作シス
テムであり、今後適用番組分野、番組数などの拡大が見
込まれる字幕放送の番組制作システムとして、大きな効
果が期待される。

【０００４】

【従来の技術】ニュースやナレーション主体のドキュメ
ンタリー番組を対象とし、電子化原稿が存在する場合の
オフラインで字幕番組を制作する技術として、本発明者
らは、「自動要約」、「自動同期」「自動画面作成技
術」などをテーマとして研究を進め、これまでの研究成
果を集約した「自動字幕制作システム」を構築した。こ
れらの要点は既に特許出願済である（例えば、特開２０
００−２７０２６３、特開２０００−３２４３９５
等）。

【０００５】この自動字幕制作システムを字幕制作者や
聴覚障害者などによって評価した結果、一定の性能、機
能があることが確認されたが、実用化のためには、未だ
多くの課題が残されている。

【０００６】特に要望の高いのは、対象番組範囲の拡大
であり、電子化原稿が存在しない番組、ドラマやバラエ
ティなどの番組分野への拡大である。しかし、現状の自
動字幕制作システムの機能・性能から見た字幕制作可能
なテレビ番組分野は、かなり限られたものであり、自動
機能として限界があるため、この限界以上の部分は、手
動による字幕制作や試写・修正の範囲でカバーせざるを
得ない。

【０００７】実際の字幕制作現場では、高度な専門技
術、知識をもった多くの専門家が携わっており、字幕制
作はこのような人間の能力に負っている部分が多くあ
る。

【０００８】一方、字幕番組の急速な拡充が要請されて
いる状況下、字幕制作作業者もこのような専門家のみに
頼るのみでは不十分であり、専門家ではないワープロ作
業が一応できる程度の者であっても作業の一端を分担で
きるシステムが望ましい。

【０００９】

【発明が解決しようとする課題】しかしながら、課題解
決のためには、自動処理を前提とした字幕制作システム
のみならず、手作業を含む字幕用電子化テキストの作成
や字幕画面の試写・編集などの作業も含めたトータルシ
ステムとして、番組制作効率を考えていく必要性があ
る。

【００１０】そのため、実用的なシステム開発の目標と
して、１）多様なテレビ番組の字幕制作を、時間、人
手、費用などの点で効率的にできるシステム、２）その
ため、研究を進めている自動字幕制作機能と、多彩な支
援機能を盛り込んだ手動字幕制作機能とを効果的にタイ
アップした機能・構成、３）字幕制作担当者の観点から
の作業形態などに関するシステムフレキシビリティの向
上などが切望されている。

【００１１】本発明は上記事情に鑑み、これまでに開発
された自動字幕制作システムのシステム評価などから得
られた知見をもとに、各自動化要素技術を高性能化した
新しい自動字幕制作システムを中核にするとともに、字
幕番組制作者による手動字幕制作を効率的に支援する実
用性のより高い半自動型字幕番組制作システムを提供す
ることを目的としている。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めに本発明は、請求項１では、テレビ素材番組の映像、
音声、タイムコードに基づいてスピーチに対する字幕用
テキストの書き起こしおよび背景音などの付加情報デー
タを入力する字幕テキスト書き起こし部と、書き起こさ
れた字幕テキストに基づいて字幕画面作成およびタイミ
ング付与を行う自動字幕番組データ制作部と、作成され
た字幕番組データの編集および試写を行う字幕番組編集
・試写部とを備えたことを特徴としている。

【００１３】請求項２では、請求項１に記載の半自動型
字幕制作システムにおいて、前記字幕テキスト書き起こ
し部におけるマンマシンインタフェースとなるメイン画
面は、現在作業中の映像を表示する映像表示エリアと、
この映像に対応する書き起こし中の字幕用テキストを表
示する字幕用テキスト表示エリアと、前記作業中の映像
に対応した一定間隔毎若しくはカット変わりなどの画像
と、各画像に対応する書き起こされた字幕用テキスト
と、各字幕用テキストの書き起こしの基となる音声に関
する波形とがタイムライン上に一覧表示された一覧表示
エリアと、各エリアに対する制御エリアと、を少なくと
も備え、このメイン画面により作業者の字幕テキスト書
き起こし作業を支援することを特徴としている。

【００１４】請求項３では、請求項１または２に記載の
半自動型字幕番組制作システムにおいて、前記字幕番組
編集・試写部におけるマンマシンインタフェースとなる
メイン画面は、現在編集・試写中の映像を表示する映像
表示エリアと、この映像に対応する書き起し済の字幕用
テキストを表示する字幕用テキスト表示エリアと、前記
編集・試写中の映像に対応した一定間隔毎若しくはカッ
ト変わりなどの画像と、各画像に対応する書き起こされ
た字幕用テキストと、各字幕用テキストの書き起こしの
基となった音声に関する波形とがタイムライン上に一覧
表示された一覧表示エリアと、各エリアに対する制御エ
リアと、を少なくとも備え、このメイン画面により作業
者の字幕テキスト編集・試写作業を支援することを特徴
としている。

【００１５】上記構成の本発明によれば、電子化原稿の
ない番組や背景音レベルの大きい番組など、多様な番組
の字幕制作にも対応可能な字幕番組制作システムが構築
でき、今後適用番組分野、番組数などの拡大が見込まれ
る字幕放送の番組制作システムとして、大きな効果が期
待される。

【００１６】

【発明の実施の形態】図１は本発明による半自動型字幕
番組制作システムの実施形態を示すブロック図である。

【００１７】同図に示されるように、この半自動型字幕
番組制作システム１００は、基本ＧＵＩシステム部１０
と、ディスク記録・再生部２０と、字幕テキスト書き起
こし部３０と、自動字幕番組データ制作部４０と、字幕
番組編集・試写部５０とを備えている。

【００１８】基本ＧＵＩシステム部１０は、図１に示す
字幕番組制作システムの一構成品として、マンマシンイ
ンターフェース、内部各システムのインターフェースお
よび制御、外部とのデータ入出力制御を行う。また、本
字幕番組制作システム１００の自動字幕番組データ作成
機能のインターフェース・制御機能も備えており、多様
な番組の効率的な字幕制作を行う字幕番組制作システム
１００を統括制御するものである。

【００１９】ディスク記録・再生部２０は、番組素材Ｖ
ＴＲ（例えばデジタル・ビデオ・テープ・レコーダ）６
０から供給される素材番組の映像・音声を必要ならば圧
縮して記録するとともに、記録された映像音声を再生す
るために使用される。この番組素材ＶＴＲ６０は、番組
素材が収録されている番組素材ＶＴＲテープから、映
像、音声、およびそれらのタイムコード（ＴＣ）を再生
出力する機能を有しており、これら素材映像、音声およ
びタイムコード（ＴＣ）がディスク記録・再生部２０に
記録されるようになっている。

【００２０】＜字幕テキスト書き起こし部３０＞字幕テ
キスト書き起こし部３０は、素材番組の音声を聞き取っ
て、字幕用テキストの書き起こしや付加データを入力す
るとともに、素材番組の映像・音声の活用による効果的
な手動作業支援をするための機能部分であり、具体的に
は、ディスク記録再生制御機能３１と、情報表示機能３
２と、データ作成制御機能３３と、データ作成画面表示
機能３４と、主映像表示機能３５とを備えている。

【００２１】ディスク記録再生（ＤＳＫＶＴＲ）制御機
能３１は、各機能に応じた操作キーを備えており、素材
番組の映像・音声を、ディスク記録・再生部２０に記録
させる記録制御を実行するとともに、記録された映像音
声を再生させる再生制御を実行する。特にスピーチ区間
では任意の低速再生を行うとともに、変速率に応じたピ
ッチコントロールを行い、書き起こしに適した速度でか
つ音程がほぼ不変とする話速変換機能をも備えている。

【００２２】情報表示機能３２は、書き起こしおよび付
加情報データ入力の手動作業を支援するため、素材番組
の映像・音声、書き起こしテキストなどに関する各種の
情報を、タイムライン上にビジュアル表示する。

【００２３】データ作成制御機能３３は、書き起こした
テキストやスピーチポーズの時間データなどの入力操作
のための操作キーを備え、対応する動作をする。

【００２４】データ作成画面表示機能３４は、作成した
テキスト・入力したデータの表示・編集などのための画
面を表示し、対応する動作をする。

【００２５】主映像表示機能３５は、プレビュー画面と
して、現在作業位置の画像を表示する。

【００２６】＜自動字幕番組データ制作部４０＞自動字
幕番組制作システム４０は、テキスト自動要約機能４１
と、表示単位字幕作成機能４２と、タイミング検出・付
与機能４３とを備えている。なお、この自動字幕番組デ
ータ制作部４０の詳細については、後述する。

【００２７】＜字幕番組データ編集・試写部５０＞字幕
番組データ編集・試写部５０は、作成した書き起こしお
よび付加情報データを基にして自動字幕番組データ制作
部４０で自動制作された字幕番組データを人手で編集・
試写するためのものであり、素材番組の映像・音声、字
幕番組データなどの高度活用による効果的な手動作業支
援のための特別の機能を備えている。

【００２８】ディスク記録再生・字幕データ制御機能５
１は、自動制作した字幕番組データおよび記録された映
像・音声に関して、指定時間、字幕ページ、字幕ブロッ
クなど編集・試写作業支援用特殊表示操作のための専用
操作キーを備え、対応する動作をする。

【００２９】情報表示・字幕タイミング制御機能５２
は、字幕番組データ編集の手動作業を支援するため、素
材番組の映像、字幕本文、音声に関する波形等の各種情
報をタイムライン上にビジュアル表示する。

【００３０】特に、字幕番組データについては、タイミ
ング変更支援画面を表示し、この画面に対応する動作の
実行が可能とされている。

【００３１】字幕データ編集機能５３は、字幕データの
ページ単位編集のための専用操作キーを備え、字幕デー
タをページ単位で編集する動作を実行可能に構成されて
いる。

【００３２】字幕データ・映像表示機能５４は、映像に
重畳した指定字幕データ表示のための操作キーを備え、
各操作キーに対応する動作が実行可能に構成されてい
る。

【００３３】試写用キー機能５５は、部分試写、通し試
写など、試写形式の選択に必要な操作キーを備え、各操
作キーに対応する動作が実行可能に構成されている。

【００３４】＜半自動型字幕番組制作システム１００の
機能構成の詳細＞次に、上記構成を有する半自動型字幕
番組制作システム１００で実行される処理を字幕テキス
ト書き起こし部３０，自動字幕番組データ制作部４０お
よび字幕番組編集・試写部５０の各部毎に詳細に説明す
る。

【００３５】≪字幕テキスト書き起こし部３０での処理
≫字幕テキスト書き起こし部３０における主要な作業
は、番組のスピーチを聞き取り、その内容を書き起こす
とともに、その一区切りに対してその開始・終了タイミ
ングとスピーチ者（話者）をデータ化するものである。

【００３６】したがって、この機能における書き起こし
を容易にする支援機能として、作業者が番組のスピーチ
を正しく聞き取り、自分のペースで書き起こしできるよ
うにすることが基本である。聞き取り易く書き起こしが
容易であること、話者・タイミングを把握しやすいこ
と、書き起こしデータを簡単に修正できることなどが重
要である。このように、本システム１００の字幕テキス
ト書き起こし部３０には種々の手作業支援機能が盛り込
まれている。

【００３７】字幕テキスト書き起こし部３０において
は、字幕テキストファイル（ＸＭＬ）の編集を行う機能
を備えている。

【００３８】ここで、字幕テキストとは、範囲時間（Ｉ
Ｎ ＴＩＭＥ，ＯＵＴ ＴＩＭＥ）と話者、字幕本文よ
り構成されたデータをいう。

【００３９】編集の補助として、ディスク記録・再生部
２０に保存されたＭＰＥＧ／ＡＶＩ映像ファイルを使用
して、音声の聞き取り、タイミングの調整、字幕ポジシ
ョンの調整を行うことができる。

【００４０】図２には、字幕テキスト書き起こし部３０
で使用されるメイン画面の構成が示されている。同図に
示すメイン画面３０１を使用して、字幕テキストの編集
や、各補助機能の操作が行われる。画面のサイズは、例
えば、１２８０×１０２４（画素数）が望ましい。

【００４１】メイン画面３０１は、メニュー領域３０２
と、編集領域３０３と、一覧領域３０４と、制御領域３
０５の４つの領域に大別される。

【００４２】メニュー領域３０２は、各種機能の呼び出
しを行う領域であり、メニューバーとツールバーに用意
された項目を実行することにより、各種機能の呼び出し
を行う。

【００４３】編集領域３０３は、字幕データの入力や、
入力後の字幕テキストの編集のための領域であり、図３
の上段に示されるように、時間枠（IN TIME,OUT TIME）
エリア３０３Ａ、話者エリア３０３Ｂ、字幕本文エリア
３０３Ｃに一対の入力データとして一覧表示されるよう
になっている。

【００４４】また、図３下段のデータ入力領域（入力エ
リア３０３Ｆ）には、入力する内容が表示される。この
領域を利用して、例えば話者単位で各作業を行う。

【００４５】“ＩＮ ＴＩＭＥとＯＵＴ ＴＩＭＥ”の設
定は、ページのＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥ設定エ
リア３０３Ｄから行う。前のページで設定した時間内に
含める場合には、前のページの時間と同じ値のままで確
定する。

【００４６】“話者”の設定は、メニューの“話者登
録”エリア３０３Ｅで予め登録された話者の中から選択
する。

【００４７】書き起こしの“本文”はページ本文の入力
エリア３０３Ｆで入力される。

【００４８】追加／挿入ボタンの内、“追加”ボタン３
０３Ｇは、入力設定されたエリア３０３Ｄ，３０３Ｅ，
３０３Ｆの内容を入力一覧の最後に追加する。“挿入”
ボタン３０３Ｈは、入力された内容を入力一覧で選択さ
れた一対のデータの次へ挿入する。

【００４９】“切り取り”ボタン３０３Ｊ、“コピー”
ボタン３０３Ｋは、入力一覧で選択された一単位を切り
取り／コピーするものである。また、“貼り付け”ボタ
ン３０３Ｌは、切り取り／コピー機能で記録された一単
位を入力一覧で選択された箇所の次へ貼り付けるために
使用される。

【００５０】一覧領域３０４は、図４に示されるよう
に、画像とこの画像に対応する作成中の字幕テキストを
表示する領域であり、ＭＰＥＧ／ＡＶＩ映像ファイルよ
り一定間隔毎若しくはカット変わりなどの画像一覧を表
示する画像エリア３０４Ａ、入力されたテキストの内容
である字幕本文を表示する字幕本文エリア３０４Ｂと、
作成中の字幕本文に対応するスピーチの音声に対応する
波形を表示する波形エリア３０４Ｃと、波形エリア３０
４Ｃに表示される波形などこの一覧領域３０４の時間指
標となるタイムラインが表示されるタイムラインエリア
３０４Ｄとから成っている。この一覧領域３０４によっ
て書き起こし作業者の入力支援が効果的に行われる。

【００５１】また、一覧領域３０４には、ＭＰＥＧ／Ａ
ＶＩ映像ファイルなどの再生位置カーソル３０４Ｅが表
示されており、この再生位置３０４Ｅを変えることによ
り、画像の再生位置など書き起こし作業を行うタイムラ
イン上のタイミング変更が可能になる。

【００５２】一覧領域３０４の具体的な機能は以下の通
りである。上述したように、この一覧領域３０４には、
映像ファイルから形成した静止画像と、編集データとし
ての字幕本文、波形がタイムライン上に一覧表示され
る。一画面で表示する幅は、“ツール(T)”の“オプシ
ョン”で選択された１２０秒、６０秒、３０秒のいずれ
かとなる。

【００５３】“画像”は、映像ファイルより、一定間隔
の画像を抜き出したもの若しくはカット変わりが表示さ
れる。画像のサイズは１６０×１２０、間隔は全体幅が
１２０秒の時は２０秒、６０秒の時は１０秒、３０秒の
時は５秒となる。

【００５４】“字幕本文”は、編集領域３０３によって
入力された本文の内容が表示される。枠の幅は時間幅を
表している。幅が狭く、本文が表示しきれない場合には
省略される。

【００５５】話者エリア３０４Ｆの枠部分をドラッグで
変更した場合には、対象一件の幅（時間幅）の変更を、
本文の部分３０４Ｂの枠をドラッグで変更した場合に
は、二件の境界線の変更を行うことができる。

【００５６】枠内がダブルクリックされた際、編集領域
３０３が編集途中でなければ、入力一覧３０４で指定し
た内容を表示できる位置に移動することができる。

【００５７】“波形”は、映像ファイルに記録されてい
る音声（音楽、効果音を含む）信号を処理し波形化し
て、図４のように表示する。スピーチやポーズの位置を
視覚的に判断できるようにした支援機能である。なお、
波形としては、スピーチ区間とポーズ区間とを明確にす
るために、矩形波状に波形整形して表示するようにして
も良い。

【００５８】ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥの編集単
位は、映像ファイルからタイムコードを読み込む際の最
小単位を設定する。取り込みを実行した際、設定値未満
の値は切り捨てされる。この場合の“設定”は、１フレ
ーム／５フレーム／１０フレーム／１５フレーム／１秒
である。

【００５９】一覧表示の一画面の幅は、メイン画面の一
覧領域３０４にどれだけの時間分を表示するかを設定す
る。この場合の“設定”は、３０秒／６０秒／１２０秒
で、それに合わせて画像も５秒間隔、１０秒間隔、２０
秒間隔となる。

【００６０】一方、制御領域３０５は、ＭＰＥＧ／ＡＶ
Ｉ映像の制御のための領域であり、ＭＰＥＧ／ＡＶＩ映
像の表示エリア３０５Ａや、時間枠の取り出しボタン、
ＭＰＥＧ／ＡＶＩ再生の開始、停止ボタンなどが用意さ
れている。また、制御領域３０５には、映像ファイルの
再生に関するインターフェースが用意されている。映像
のサイズは、６４０×４８０である。

【００６１】制御領域３０５の具体的な機能としては、
例えば、タイムコード表示部３０５Ｂと、再生／停止ボ
タン３０５Ｃと、再生位置トラックバー３０５Ｄと、Ｍ
ＡＲＫ ＩＮボタン３０５Ｅと、ＭＡＲＫ ＯＵＴボタン
３０５Ｆと、繰り返し再生ボタン３０５Ｇと、話速変換
ボタン３０５Ｈ、＜＜５秒／５秒＞＞ボタンなどが用意
されている。

【００６２】タイムコード表示部３０５Ｂに表示される
タイムコードは、プロジェクト新規作成の際に入力され
たイニシャルタイムを基準として、映像ファイルの再生
位置の時間を足した時間である。なお、映像ファイルの
再生位置は、２９．９７フレームを１秒として扱われ
る。

【００６３】“再生／停止”ボタン３０５Ｃは、映像の
再生スタートと再生ストップを行う。なお、“停止”ボ
タンが実行されても、映像は消えない。

【００６４】再生位置トラックバー３０５Ｄは、現在映
像ファイルのどの部分を再生しているかを示す。また、
トラックバーを動かすことにより、再生位置を変更する
ことも可能である。

【００６５】“ＭＡＲＫ ＩＮ”ボタン３０５Ｅは、編
集領域のＩＮ ＴＩＭＥの欄へ、現在の映像の時間をコ
ピーする。“ＭＡＲＫ ＯＵＴ”ボタン３０５Ｆは、編
集領域のＯＵＴ ＴＩＭＥの欄へ、映像の現在の時間を
コピーする。

【００６６】“繰り返し再生”ボタン３０５Ｇは、編集
領域のＩＮ ＴＩＭＥとＯＵＴ ＴＩＭＥの期間の画像を
繰り返し作成する。

【００６７】終了は、“停止”ボタン３０５Ｃか“ＭＡ
ＲＫ ＩＮ”ボタン３０５Ｅをクリックすることでなさ
れる。

【００６８】“話速変換”ボタン３０５Ｈは、映像を再
生する際の音声のスピード調節を行う際に使用される。

【００６９】“＜＜５秒／５秒＞＞”ボタン３０５Ｊ
は、映像の再生位置を前／後ろに５秒移動する際に使用
される。

【００７０】次に、以上の構成の字幕テキスト書き起こ
し部３０で実行される書き起こし処理の手順を図５のフ
ローチャートを参照しつつの具体的に説明する。

【００７１】作業者が“ＰＬＡＹ”ボタンを押して、映
像再生が開始されると、先ず、発話タイミングが探索さ
れる（ステップＳＴ１１）。

【００７２】発話の確認点で、“書起開始”ボタンが押
されると、これがスピーチ区間の開始点となる（ステッ
プＳＴ１２）。

【００７３】一定時間巻き戻し、スロー再生が開始さ
れ、書き起こし作業が実行される（ステップＳＴ１３，
１４）。スピーチ終了が認識されると、適宜巻き戻して
発話終了点が探索される（ステップＳＴ１５）。

【００７４】発話終了点で“書起終了”ボタンが押され
ると、（終了点）通常再生モードへ移行する（ステップ
ＳＴ１６）。

【００７５】書き起こし終了後、用字、用語チェック、
要約支援が実行されるとともに、背景音情報が登録され
る（ステップＳＴ１７，１８）。

【００７６】テキスト作成処理が終了すると、自動字幕
番組データ制作部４０の処理へ移行する（ステップＳＴ
１９）。

【００７７】上述した各ステップに示したように、一通
りの書き起こしが完了した後、そのテキストの用字、用
語チェック、必要ならば要約支援を実行して必要なテキ
ストの修正を行い、その後背景音情報などをチェックし
情報を登録する。登録後、テキスト作成関係の作業を終
了し、自動字幕番組データ制作部４０の処理へ進むので
ある。

【００７８】このように、この実施の形態は、新しい半
自動型字幕番組制作システムの書き起こし支援を提示す
るものであり、以下のような利点を有する。

【００７９】すなわち、テレビ素材番組の映像、音声、
タイムコードをノンリニア操作が容易なディスク記録再
生装置に収録するとともに効果的に操作・処理すること
によって、スピーチに対する字幕用テキストの書き起こ
しおよび背景音などの付加情報データを効率的に入力す
ることが可能となる。

【００８０】また、書き起こしそのものは、人の知識・
能力に依存する手作業によらざるを得ないが、テレビ素
材番組の映像、音声などを効果的に操作・処理して、こ
の書き起こしなどの手作業を支援することが可能とな
る。

【００８１】書き起こしなどの作業を分析すると、通常
テレビ素材番組を収録したＶＴＲテープを適宜操作して
映像、音声を再生し、音声中のスピーチをテキストとし
て書き起こすとともに、その開始・終了時間もＶＴＲの
タイムコードを利用して記録しているが、その過程で該
当スピーチ部分の頭出し、スピーチ部分の書き起こしに
適した速度での再生や繰り返し再生、スピーチ部分終了
点の確認などの複雑なＶＴＲ操作が行われる。この点に
関しては、話速変換技術を適用して書き起こし作業者の
聞き取り能力に応じて話速を遅くしたり早くしたりでき
るので、書き起こし作業が容易にでき、また、タイミン
グを合わせも容易にすることができる。

【００８２】≪自動字幕番組データ制作部４０の処理≫
図６は自動字幕番組データ制作部４０において実行され
る表示字幕文へのタイミング付与の処理手順の一例とし
て、音声認識手法に代わるタイミング検出手法の適用で
高速化したフローチャートである。

【００８３】先ず、音声データからポーズ開始タイミン
グ、継続時間を求める。その適否を検証し必要な修正を
する（図６のステップＳＴ２１）。なお、ポーズ時間の
検出機能は、音声認識処理をすることなく、素材ＶＴＲ
から供給される音声のレベルや継続時間、およびそのタ
イムコードから、例えばそのレベルが指定レベル以下で
連続する開始、終了タイムコードを検出するものであ
り、ブロック・ケプストラム・フラックス法などの方法
によって実行される。

【００８４】次に、比較的長いポーズ（例えば２秒以
上）で字幕用テキストをブロックに分割し、ブロックテ
キスト文としてその開始、終了タイミングを付与する
（ステップＳＴ２２，２３）。

【００８５】次いで、ブロックテキスト文の継続時間を
その総読み数（計算推定）で割り、当該範囲の平均読み
速度を求める（ステップＳＴ２４）。

【００８６】次いで、各ブロックテキスト文を、中の長
さのポーズ箇所などを改行点とする表示単位字幕文に分
割する（ステップＳＴ２５）。この場合、予め定められ
た分割ルールを適用する。

【００８７】次いで、各分割字幕文の文頭、文末に対応
するタイミングを、ブロックテキスト文の開始、終了タ
イミングやポーズのタイミング、平均読み速度を基に計
算し、付与する。この場合、文字数、文字種法、または
発音数法を適用する（ステップＳＴ２６）。

【００８８】そして、各表示単位字幕の表示時間をチェ
ックし、必要ならば終了タイミングを修正する（ステッ
プＳＴ２７）。

【００８９】このようにして、自動処理により表示単位
字幕文へのタイミング付与が実行され、自動字幕番組デ
ータが作成される。

【００９０】≪字幕番組データ編集・試写部５０の処理
≫上述のようにして作成された字幕番組データは字幕番
組データ編集・試写部５０による編集・試写処理によっ
て最終的な字幕番組として完成される。この機能におけ
る作業は、一応出来上がった字幕番組データを専門知識
を有する作業者が試写し、必要ならば修正するものであ
り、作業者がチェックし易い試写形態、字幕内容、改行
・改頁、タイミングなどに関する修正編集がし易いよう
支援する機能が盛り込まれている。

【００９１】ここで、以下の説明では、送出／消去時
間、字幕本文、および管理情報より構成された字幕番組
データを字幕素材と仮称する。

【００９２】また、編集の補助として、ＭＰＥＧ画像フ
ァイルを使用して、タイミングの調整や、字幕ポジショ
ンの調整を行うことができる。なお、字幕素材編集の入
出力は、文字放送のＮＡＢ形式のファイルのみとなる。
このファイルは、他の『ページ一覧』『ページ利用』
『デジタル形式変換』の入出力形式になる。

【００９３】図７は、字幕番組編集・試写部５０で使用
されるメイン画面の構成を示している。このメイン画面
は、字幕素材編集のために使用される。このメイン画面
を使用して、字幕素材の編集や各補助機能の操作を行
う。なお、画面のサイズは、１２８０×１０２４であ
る。

【００９４】メイン画面５０１は大きく分けて、メニュ
ー領域５０２と、編集領域５０３と、一覧領域５０４の
３つの領域に分かれている。

【００９５】メニュー領域５０２は、各種機能の呼び出
しを行う部分であり、メニューバーとツールバーに用意
された項目を実行することにより、各種機能の呼び出し
を行うことができる。

【００９６】編集領域５０３は、図８に示されるよう
に、映像エリア５０３Ａを備えている。この映像エリア
５０３Ａは、システム内に保存されているＭＰＥＧ／Ａ
ＶＩファイルを再生した映像を表示するエリアと、文字
入力ソフトを使用して入力された字幕本文が表示される
エリアとから成っており、本文と画像の位置調整にも使
用できる。通常の試写では、この編集領域５０３を使用
して確認を行う。また、再生の停止や、ＩＮ ＴＩＭ
Ｅ、ＯＵＴ ＴＩＭＥの取り込み、リピート再生などの
操作を行うことが可能である。映像エリア５０３Ａの画
像のサイズは、６４０×４８０である。

【００９７】図７に示すタイムコード表示エリア５０３
Ｂは、タイムコードを表示する部分であり、再生してい
る映像の位置は２９．９７フレーム１秒として再生され
る。

【００９８】“再生”ボタン５０３Ｄは、映像の再生ス
タートに使用され、“停止”ボタン５０３Ｃは、映像の
再生ストップに使用される。なお、“停止”ボタン５０
３Ｃが押されても、映像がストップされるだけで映像そ
のものは画面上からは消えない。

【００９９】再生位置トラックバー５０３Ｅは、現在映
像ファイルのどの部分を再生しているかを示すものであ
る。このトラックバーを動かすことにより、再生位置を
変更することが可能である。

【０１００】“ＭＡＲＫ ＩＮ”ボタン５０３Ｆは、編
集領域のＩＮ ＴＩＭＥの欄へ、現在の映像の時間をコ
ピーするボタンである。“ＭＡＲＫ ＯＵＴ”ボタン５
０３Ｇは、編集領域のＯＵＴ ＴＩＭＥの欄へ、映像の
現在の時間をコピーするボタンである。

【０１０１】“繰り返し再生”ボタン５０３Ｈは、編集
領域のＩＮ ＴＩＭＥとＯＵＴ ＴＩＭＥの期間の画像を
繰り返し作成するために使用される。

【０１０２】なお、終了は、“停止”ボタン５０３Ｂか
“ＭＡＲＫ ＩＮ”ボタンを操作することにより成され
る。

【０１０３】“＜＜５秒／５秒＞＞”ボタン５０３Ｊ
は、映像ファイルの再生位置を５秒分だけ進め／戻すた
めのボタンである。繰り返し再生中に実行された場合に
は、通常再生に切り替わる。

【０１０４】前述したように、編集領域５０３は、字幕
データの入力や、入力後の編集を行う他に映像セクショ
ンを兼ねていて、映像エリア５０３Ａ上に重ねて試写を
実行する際にも利用される。“前ページ”と“後ペー
ジ”は、現在中央に表示されている字幕データページの
前と後のページの字幕を表示する領域である。

【０１０５】この場合、編集領域５０３では、映像エリ
ア５０３Ａ上に表示されている枠カーソルを使用して、
新たな文字の入力を行う。入力を行った文字の色サイズ
は、右上のリストボックスで設定した内容になる。

【０１０６】また、一旦入力を行った文字を範囲指定
し、削除／複写／移動や、属性（色、サイズ、囲み等）
の変更を行うことができる。

【０１０７】“ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥ”は、
ページのＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥの設定を行
う。“ＭＡＲＫ ＩＮ”ボタン５０３Ｆ、“ＭＡＲＫ Ｏ
ＵＴ”ボタン５０３Ｇにより、映像ファイルの再生タイ
ミングを“ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥ”として取
り込むことができる。

【０１０８】前景色／背景色／文字サイズエリア５０３
Ｌは、編集領域５０３に、これから新規に入力する文字
の前景色／背景色／文字サイズを設定する。

【０１０９】メッシュエリア５０３Ｍは、画像の上に、
文字の入力位置の目安とする基準線を表示するかを設定
するものである。

【０１１０】“ページ追加”ボタン５０３Ｎは、編集中
の素材の最後に、新たなページを追加し、そのページを
編集対象として表示するために使用される。“ページ挿
入”ボタン５０３Ｐは、現在編集しているページの前か
後に、新たにページを挿入し、そのページを編集対象と
して表示するために使用される。“ページ削除”ボタン
５０３Ｑは、現在編集中のページを削除するために使用
される。なお、ページ削除を実行する際には、確認操作
が入る。

【０１１１】“通し試写”ボタン５０３Ｒは、現在編集
対象としているページの少し前より試写を開始し、“試
写終了”ボタン５０３Ｓが実行されるまで、試写を行う
際に使用される。

【０１１２】“部分試写”ボタン５０３Ｔは現在対象と
しているページの前のページより試写を開始し、次のペ
ージのＯＵＴ ＴＩＭＥ後に試写を終了する。途中で
“試写終了”ボタンにて終了することも可能である。

【０１１３】“全画面試写”ボタンは、モニタ全てを使
用して『通し試写』と同じ動作を行う。“試写終了”ボ
タンは、現在行っている試写を中止する。

【０１１４】図９は、一覧領域５０４の構成を示してい
る。

【０１１５】一覧領域５０４は、画像とこの画像に対応
する作成済みの字幕テキストを表示する領域であり、Ｍ
ＰＥＧ／ＡＶＩ映像ファイルより一定間隔毎若しくはカ
ット変わりの画像一覧を表示する画像エリア５０４Ａ、
作成されたテキストの内容である字幕本文を表示する字
幕本文エリア５０４Ｂと、作成された字幕本文に対応す
るスピーチの音声に関連した波形を表示する波形エリア
５０４Ｃと、波形エリア５０４Ｃに表示される波形の時
間指標となるタイムラインが表示されるタイムラインエ
リア５０４Ｄとから成っている。この一覧領域５０４に
よって編集・試写作業者の作業支援が効果的に行われ
る。

【０１１６】また、この一覧領域５０４における一画面
で表示する幅は、“ツール(T)”の“オプション”で選
択された１２０秒、６０秒、３０秒のいずれかとなる。

【０１１７】“画像”は、映像ファイルより、一定間隔
毎若しくはカット変わりなどの画像を抜き出し、表示す
る。画像のサイズは１６０×１２０、間隔は全体幅が１
２０秒の時は２０秒、６０秒の時は１０秒、３０秒の時
は５秒となる。

【０１１８】“字幕本文”は、編集領域５０３によって
入力された本文の内容が表示される。枠の幅は時間幅を
表している。なお、幅が狭く、本文が表示しきれない場
合には省略される。

【０１１９】ページ番号エリア５０４Ｆの枠をドラッグ
で変更した場合には、対象一件の幅（時間幅）の変更
を、本文の部分の枠をドラッグで変更した場合には、二
件の境界線の変更を行う。

【０１２０】枠内がダブルクリックされた際、編集領域
５０３が編集途中でなければ、入力一覧で指定したペー
ジを編集対象のページ変更する。

【０１２１】“波形”は、映像ファイルに記録されてい
る音声（音楽、効果音を含む）信号を処理し波形化した
ものが表示される。なお、波形としては、スピーチ区間
とポーズ区間とを明確にするために、矩形波状に波形整
形して表示するようにしても良い。

【０１２２】ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥの編集単
位は、映像フィルムからタイムコードを読み込む際の最
小単位を設定する。取り込みを実行した際、設定値未満
の値は切り捨てされる。この場合の“設定”は１フレー
ム／５フレーム／１０フレーム／１５フレーム／１秒で
ある。

【０１２３】一覧表示の一画面の幅は、メイン画面の一
覧領域にどれだけの時間分を表示するかを設定する。こ
の場合の“設定”は、３０秒／６０秒／１２０秒で、そ
れに合わせて画像も５秒間隔、１０秒間隔、２０秒間隔
となる。

【０１２４】このようにこの実施の形態によれば、研究
を進めている自動字幕制作機能と、多彩な支援機能を盛
り込んだ手動字幕制作機能とを効果的にタイアップした
機能・構成を構築でき、多様なテレビ番組の字幕制作
を、時間、人手、費用などの点で効率的にできるシステ
ムを提供できる。そのため、字幕制作作業者の観点から
の作業形態などに関するシステムフレキシビリティが向
上する。

【０１２５】

【発明の効果】以上説明したように本発明によれば、こ
れまでに開発された自動字幕制作システムのシステム評
価などから得られた知見をもとに、各自動化要素技術を
高性能化した新しい自動字幕制作システムを中核にする
とともに、字幕番組制作者による手動字幕制作を効率的
に支援する実用性のより高い半自動型字幕番組制作シス
テムを提供することが可能となる。

【０１２６】また、本発明の半自動型字幕番組制作シス
テムは、電子化原稿のない番組や背景音レベルの大きい
番組など、多様な番組の字幕制作にも対応可能であり、
今後適用番組分野、番組数などの拡大が見込まれる字幕
放送の番組制作システムとして、大きな効果が期待でき
る。

【図面の簡単な説明】

【図１】本発明による半自動型字幕番組制作システムの
実施形態を示すブロック図である。

【図２】本発明による半自動型字幕番組制作システムを
構成する字幕テキスト書き起こし部で使用されるメイン
画面の構成を示す説明図である。

【図３】図２に示すメイン画面の編集領域の構成を示す
説明図である。

【図４】図２に示すメイン画面の一覧領域の構成を示す
説明図である。

【図５】本発明による半自動型字幕番組制作システムを
構成する字幕テキスト書き起こし部の処理手順を示すフ
ローチャートである。

【図６】自動字幕番組データ制作部において実行される
表示字幕文へのタイミング付与の処理手順の一例を示す
フローチャートである。

【図７】本発明による半自動型字幕番組制作システムを
構成する字幕番組編集・試写部で使用されるメイン画面
の構成を示す説明図である。

【図８】図７に示すメイン画面の編集領域の構成を示す
説明図である。

【図９】図７に示すメイン画面の一覧領域の構成を示す
説明図である。

【符号の説明】 １０ 基本ＧＵＩシステム部 ２０ ディスク記録・再生部 ３０ 字幕テキスト書き起こし部 ３１ ディスク記録再生制御機能 ３２ 情報表示機能 ３３ データ作成制御機能 ３４ データ作成画面表示機能 ３５ 主映像表示機能 ４０ 自動字幕番組データ制作部 ４１ テキスト自動要約機能 ４２ 表示単位字幕作成機能 ４３ タイミング検出・付与機能 ５０ 字幕番組編集・試写部 ５１ ディスク記録再生・字幕データ制御機能 ５２ 情報表示・字幕タイミング制御機能 ５３ 字幕データ編集機能 ５４ 字幕データ・映像表示機能 ５５ 試写用キー機能 ６０ 番組素材ＶＴＲ １００ 半自動型字幕番組制作システム

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/035 (71)出願人 000004352 日本放送協会 東京都渋谷区神南２丁目２番１号 (72)発明者 沢村 英治 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 門馬 隆雄 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 浦谷 則好 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 大関 健二 東京都渋谷区宇田川町37番18号 財団法人 エヌエイチケイエンジニアリングサービ ス内 (72)発明者 江原 暉将 東京都世田谷区砧一丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 白井 克彦 東京都港区芝２−31−19 通信・放送機構 内 Ｆターム(参考） 5C023 AA18 BA01 BA11 CA03 CA05 EA03 5C053 FA14 FA21 FA23 GB06 GB11 GB12 JA01 JA16 JA22 JA23 5C063 AA01 AB05 AC01 AC05 AC10 CA20 DA03 DA07 DB10 5D110 AA17 AA27 BB01 BB20 CA05 CB04 CF21

Claims (3)

【特許請求の範囲】
1. 【請求項１】 テレビ素材番組の映像、音声、タイムコ
   ードに基づいてスピーチに対する字幕用テキストの書き
   起こしおよび背景音などの付加情報データを入力する字
   幕テキスト書き起こし部と、 書き起こされた字幕テキストに基づいて字幕画面作成お
   よびタイミング付与を行う自動字幕番組データ制作部
   と、 作成された字幕番組データの編集および試写を行う字幕
   番組編集・試写部と、 を備えたことを特徴とする半自動型字幕番組制作システ
   ム。
2. 【請求項２】 請求項１に記載の半自動型字幕制作シス
   テムにおいて、 前記字幕テキスト書き起こし部におけるマンマシンイン
   タフェースとなるメイン画面は、 現在作業中の映像を表示する映像表示エリアと、この映
   像に対応する書き起こし中の字幕用テキストを表示する
   字幕用テキスト表示エリアと、前記作業中の映像に対応
   した一定間隔毎若しくはカット変わりなどの画像と、各
   画像に対応する書き起こされた字幕用テキストと、各字
   幕用テキストの書き起こしの基となる音声に関する波形
   とがタイムライン上に一覧表示された一覧表示エリア
   と、各エリアに対する制御エリアと、を少なくとも備
   え、このメイン画面により作業者の字幕テキスト書き起
   こし作業を支援する、 ことを特徴とする半自動型字幕番組制作システム。
3. 【請求項３】 請求項１または２に記載の半自動型字幕
   番組制作システムにおいて、 前記字幕番組編集・試写部におけるマンマシンインタフ
   ェースとなるメイン画面は、 現在編集・試写中の映像を表示する映像表示エリアと、
   この映像に対応する書き起し済の字幕用テキストを表示
   する字幕用テキスト表示エリアと、前記編集・試写中の
   映像に対応した一定間隔毎若しくはカット変わりなどの
   画像と、各画像に対応する書き起こされた字幕用テキス
   トと、各字幕用テキストの書き起こしの基となった音声
   に関する波形とがタイムライン上に一覧表示された一覧
   表示エリアと、各エリアに対する制御エリアと、を少な
   くとも備え、このメイン画面により作業者の字幕テキス
   ト編集・試写作業を支援する、ことを特徴とする半自動
   型字幕番組制作システム。