JP2005129971A - 半自動型字幕番組制作システム - Google Patents

Abstract

【課題】字幕番組制作者による手動字幕制作を効率的に支援する実用性のより高い半自動型字幕番組制作システムを提供する。
【解決手段】テレビ素材番組の映像、音声、タイムコードに基づいてスピーチに対する字幕用テキストの書き起こしおよび背景音などの付加情報データを入力する字幕テキスト書き起こし部３０と、書き起こされた字幕テキストに基づいて字幕画面作成およびタイミング付与を行う自動字幕番組データ制作部４０と、作成された字幕番組データの編集および試写を行う字幕番組編集・試写部５０とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、人手による制作機能と自動による制作機能とを効果的に組み合わせた半自動型字幕番組制作システムに関する。
【０００２】
［発明の概要］
本発明の半自動型字幕番組制作システムは、ディスク記録再生装置に収録してあるテレビ素材番組の映像、音声、タイムコードを効果的に操作し、スピーチに対する字幕用テキストの書き起こしおよび背景音などの付加情報データを効率的に入力する機能と、これらテキストやデータを利用し、自動で字幕画面作成およびタイミング付与を行う自動字幕番組データ制作機能と、字幕番組データの編集および試写を行う編集・試写機能とを備えるものである。
【０００３】
この半自動型字幕番組制作システムは、電子化原稿のない番組や背景音レベルの大きい番組など、多様な番組の字幕制作にも対応可能な字幕番組制作システムであり、今後適用番組分野、番組数などの拡大が見込まれる字幕放送の番組制作システムとして、大きな効果が期待される。
【０００４】
【従来の技術】
ニュースやナレーション主体のドキュメンタリー番組を対象とし、電子化原稿が存在する場合のオフラインで字幕番組を制作する技術として、本発明者らは、「自動要約」、「自動同期」「自動画面作成技術」などをテーマとして研究を進め、これまでの研究成果を集約した「自動字幕制作システム」を構築した。これらの要点は既に特許出願済である（例えば、特開２０００−２７０２６３、特開２０００−３２４３９５等）。
【０００５】
この自動字幕制作システムを字幕制作者や聴覚障害者などによって評価した結果、一定の性能、機能があることが確認されたが、実用化のためには、未だ多くの課題が残されている。
【０００６】
特に要望の高いのは、対象番組範囲の拡大であり、電子化原稿が存在しない番組、ドラマやバラエティなどの番組分野への拡大である。しかし、現状の自動字幕制作システムの機能・性能から見た字幕制作可能なテレビ番組分野は、かなり限られたものであり、自動機能として限界があるため、この限界以上の部分は、手動による字幕制作や試写・修正の範囲でカバーせざるを得ない。
【０００７】
実際の字幕制作現場では、高度な専門技術、知識をもった多くの専門家が携わっており、字幕制作はこのような人間の能力に負っている部分が多くある。
【０００８】
一方、字幕番組の急速な拡充が要請されている状況下、字幕制作作業者もこのような専門家のみに頼るのみでは不十分であり、専門家ではないワープロ作業が一応できる程度の者であっても作業の一端を分担できるシステムが望ましい。
【０００９】
【発明が解決しようとする課題】
しかしながら、課題解決のためには、自動処理を前提とした字幕制作システムのみならず、手作業を含む字幕用電子化テキストの作成や字幕画面の試写・編集などの作業も含めたトータルシステムとして、番組制作効率を考えていく必要性がある。
【００１０】
そのため、実用的なシステム開発の目標として、１）多様なテレビ番組の字幕制作を、時間、人手、費用などの点で効率的にできるシステム、２）そのため、研究を進めている自動字幕制作機能と、多彩な支援機能を盛り込んだ手動字幕制作機能とを効果的にタイアップした機能・構成、３）字幕制作担当者の観点からの作業形態などに関するシステムフレキシビリティの向上などが切望されている。
【００１１】
本発明は上記事情に鑑み、これまでに開発された自動字幕制作システムのシステム評価などから得られた知見をもとに、各自動化要素技術を高性能化した新しい自動字幕制作システムを中核にするとともに、字幕番組制作者による手動字幕制作を効率的に支援する実用性のより高い半自動型字幕番組制作システムを提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために本発明は、請求項１では、テレビ素材番組の映像、音声、タイムコードに基づいてスピーチに対する字幕用テキストの書き起こしおよび背景音などの付加情報データを入力する字幕テキスト書き起こし部と、書き起こされた字幕テキストに基づいて字幕画面作成およびタイミング付与を行う自動字幕番組データ制作部と、作成された字幕番組データの編集および試写を行う字幕番組編集・試写部とを備えたことを特徴としている。
【００１３】
請求項２では、請求項１に記載の半自動型字幕制作システムにおいて、前記字幕テキスト書き起こし部におけるマンマシンインタフェースとなるメイン画面は、現在作業中の映像を表示する映像表示エリアと、この映像に対応する書き起こし中の字幕用テキストを表示する字幕用テキスト表示エリアと、前記作業中の映像に対応した一定間隔毎若しくはカット変わりなどの画像と、各画像に対応する書き起こされた字幕用テキストと、各字幕用テキストの書き起こしの基となる音声に関する波形とがタイムライン上に一覧表示された一覧表示エリアと、各エリアに対する制御エリアと、を少なくとも備え、このメイン画面により作業者の字幕テキスト書き起こし作業を支援することを特徴としている。
【００１４】
請求項３では、請求項１または２に記載の半自動型字幕番組制作システムにおいて、前記字幕番組編集・試写部におけるマンマシンインタフェースとなるメイン画面は、現在編集・試写中の映像を表示する映像表示エリアと、この映像に対応する書き起し済の字幕用テキストを表示する字幕用テキスト表示エリアと、前記編集・試写中の映像に対応した一定間隔毎若しくはカット変わりなどの画像と、各画像に対応する書き起こされた字幕用テキストと、各字幕用テキストの書き起こしの基となった音声に関する波形とがタイムライン上に一覧表示された一覧表示エリアと、各エリアに対する制御エリアと、を少なくとも備え、このメイン画面により作業者の字幕テキスト編集・試写作業を支援することを特徴としている。
【００１５】
上記構成の本発明によれば、電子化原稿のない番組や背景音レベルの大きい番組など、多様な番組の字幕制作にも対応可能な字幕番組制作システムが構築でき、今後適用番組分野、番組数などの拡大が見込まれる字幕放送の番組制作システムとして、大きな効果が期待される。
【００１６】
【発明の実施の形態】
図１は本発明による半自動型字幕番組制作システムの実施形態を示すブロック図である。
【００１７】
同図に示されるように、この半自動型字幕番組制作システム１００は、基本ＧＵＩシステム部１０と、ディスク記録・再生部２０と、字幕テキスト書き起こし部３０と、自動字幕番組データ制作部４０と、字幕番組編集・試写部５０とを備えている。
【００１８】
基本ＧＵＩシステム部１０は、図１に示す字幕番組制作システムの一構成品として、マンマシンインターフェース、内部各システムのインターフェースおよび制御、外部とのデータ入出力制御を行う。また、本字幕番組制作システム１００の自動字幕番組データ作成機能のインターフェース・制御機能も備えており、多様な番組の効率的な字幕制作を行う字幕番組制作システム１００を統括制御するものである。
【００１９】
ディスク記録・再生部２０は、番組素材ＶＴＲ（例えばデジタル・ビデオ・テープ・レコーダ）６０から供給される素材番組の映像・音声を必要ならば圧縮して記録するとともに、記録された映像音声を再生するために使用される。この番組素材ＶＴＲ６０は、番組素材が収録されている番組素材ＶＴＲテープから、映像、音声、およびそれらのタイムコード（ＴＣ）を再生出力する機能を有しており、これら素材映像、音声およびタイムコード（ＴＣ）がディスク記録・再生部２０に記録されるようになっている。
【００２０】
＜字幕テキスト書き起こし部３０＞
字幕テキスト書き起こし部３０は、素材番組の音声を聞き取って、字幕用テキストの書き起こしや付加データを入力するとともに、素材番組の映像・音声の活用による効果的な手動作業支援をするための機能部分であり、具体的には、ディスク記録再生制御機能３１と、情報表示機能３２と、データ作成制御機能３３と、データ作成画面表示機能３４と、主映像表示機能３５とを備えている。
【００２１】
ディスク記録再生（ＤＳＫＶＴＲ）制御機能３１は、各機能に応じた操作キーを備えており、素材番組の映像・音声を、ディスク記録・再生部２０に記録させる記録制御を実行するとともに、記録された映像音声を再生させる再生制御を実行する。特にスピーチ区間では任意の低速再生を行うとともに、変速率に応じたピッチコントロールを行い、書き起こしに適した速度でかつ音程がほぼ不変とする話速変換機能をも備えている。
【００２２】
情報表示機能３２は、書き起こしおよび付加情報データ入力の手動作業を支援するため、素材番組の映像・音声、書き起こしテキストなどに関する各種の情報を、タイムライン上にビジュアル表示する。
【００２３】
データ作成制御機能３３は、書き起こしたテキストやスピーチポーズの時間データなどの入力操作のための操作キーを備え、対応する動作をする。
【００２４】
データ作成画面表示機能３４は、作成したテキスト・入力したデータの表示・編集などのための画面を表示し、対応する動作をする。
【００２５】
主映像表示機能３５は、プレビュー画面として、現在作業位置の画像を表示する。
【００２６】
＜自動字幕番組データ制作部４０＞
自動字幕番組制作システム４０は、テキスト自動要約機能４１と、表示単位字幕作成機能４２と、タイミング検出・付与機能４３とを備えている。なお、この自動字幕番組データ制作部４０の詳細については、後述する。
【００２７】
＜字幕番組データ編集・試写部５０＞
字幕番組データ編集・試写部５０は、作成した書き起こしおよび付加情報データを基にして自動字幕番組データ制作部４０で自動制作された字幕番組データを人手で編集・試写するためのものであり、素材番組の映像・音声、字幕番組データなどの高度活用による効果的な手動作業支援のための特別の機能を備えている。
【００２８】
ディスク記録再生・字幕データ制御機能５１は、自動制作した字幕番組データおよび記録された映像・音声に関して、指定時間、字幕ページ、字幕ブロックなど編集・試写作業支援用特殊表示操作のための専用操作キーを備え、対応する動作をする。
【００２９】
情報表示・字幕タイミング制御機能５２は、字幕番組データ編集の手動作業を支援するため、素材番組の映像、字幕本文、音声に関する波形等の各種情報をタイムライン上にビジュアル表示する。
【００３０】
特に、字幕番組データについては、タイミング変更支援画面を表示し、この画面に対応する動作の実行が可能とされている。
【００３１】
字幕データ編集機能５３は、字幕データのページ単位編集のための専用操作キーを備え、字幕データをページ単位で編集する動作を実行可能に構成されている。
【００３２】
字幕データ・映像表示機能５４は、映像に重畳した指定字幕データ表示のための操作キーを備え、各操作キーに対応する動作が実行可能に構成されている。
【００３３】
試写用キー機能５５は、部分試写、通し試写など、試写形式の選択に必要な操作キーを備え、各操作キーに対応する動作が実行可能に構成されている。
【００３４】
＜半自動型字幕番組制作システム１００の機能構成の詳細＞
次に、上記構成を有する半自動型字幕番組制作システム１００で実行される処理を字幕テキスト書き起こし部３０，自動字幕番組データ制作部４０および字幕番組編集・試写部５０の各部毎に詳細に説明する。
【００３５】
≪字幕テキスト書き起こし部３０での処理≫
字幕テキスト書き起こし部３０における主要な作業は、番組のスピーチを聞き取り、その内容を書き起こすとともに、その一区切りに対してその開始・終了タイミングとスピーチ者（話者）をデータ化するものである。
【００３６】
したがって、この機能における書き起こしを容易にする支援機能として、作業者が番組のスピーチを正しく聞き取り、自分のペースで書き起こしできるようにすることが基本である。聞き取り易く書き起こしが容易であること、話者・タイミングを把握しやすいこと、書き起こしデータを簡単に修正できることなどが重要である。このように、本システム１００の字幕テキスト書き起こし部３０には種々の手作業支援機能が盛り込まれている。
【００３７】
字幕テキスト書き起こし部３０においては、字幕テキストファイル（ＸＭＬ）の編集を行う機能を備えている。
【００３８】
ここで、字幕テキストとは、範囲時間（ＩＮ ＴＩＭＥ，ＯＵＴ ＴＩＭＥ）と話者、字幕本文より構成されたデータをいう。
【００３９】
編集の補助として、ディスク記録・再生部２０に保存されたＭＰＥＧ／ＡＶＩ映像ファイルを使用して、音声の聞き取り、タイミングの調整、字幕ポジションの調整を行うことができる。
【００４０】
図２には、字幕テキスト書き起こし部３０で使用されるメイン画面の構成が示されている。同図に示すメイン画面３０１を使用して、字幕テキストの編集や、各補助機能の操作が行われる。画面のサイズは、例えば、１２８０×１０２４（画素数）が望ましい。
【００４１】
メイン画面３０１は、メニュー領域３０２と、編集領域３０３と、一覧領域３０４と、制御領域３０５の４つの領域に大別される。
【００４２】
メニュー領域３０２は、各種機能の呼び出しを行う領域であり、メニューバーとツールバーに用意された項目を実行することにより、各種機能の呼び出しを行う。
【００４３】
編集領域３０３は、字幕データの入力や、入力後の字幕テキストの編集のための領域であり、図３の上段に示されるように、時間枠（IN TIME,OUT TIME）エリア３０３Ａ、話者エリア３０３Ｂ、字幕本文エリア３０３Ｃに一対の入力データとして一覧表示されるようになっている。
【００４４】
また、図３下段のデータ入力領域（入力エリア３０３Ｆ）には、入力する内容が表示される。この領域を利用して、例えば話者単位で各作業を行う。
【００４５】
“ＩＮ ＴＩＭＥとＯＵＴ ＴＩＭＥ”の設定は、ページのＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥ設定エリア３０３Ｄから行う。前のページで設定した時間内に含める場合には、前のページの時間と同じ値のままで確定する。
【００４６】
“話者”の設定は、メニューの“話者登録”エリア３０３Ｅで予め登録された話者の中から選択する。
【００４７】
書き起こしの“本文”はページ本文の入力エリア３０３Ｆで入力される。
【００４８】
追加／挿入ボタンの内、“追加”ボタン３０３Ｇは、入力設定されたエリア３０３Ｄ，３０３Ｅ，３０３Ｆの内容を入力一覧の最後に追加する。“挿入”ボタン３０３Ｈは、入力された内容を入力一覧で選択された一対のデータの次へ挿入する。
【００４９】
“切り取り”ボタン３０３Ｊ、“コピー”ボタン３０３Ｋは、入力一覧で選択された一単位を切り取り／コピーするものである。また、“貼り付け”ボタン３０３Ｌは、切り取り／コピー機能で記録された一単位を入力一覧で選択された箇所の次へ貼り付けるために使用される。
【００５０】
一覧領域３０４は、図４に示されるように、画像とこの画像に対応する作成中の字幕テキストを表示する領域であり、ＭＰＥＧ／ＡＶＩ映像ファイルより一定間隔毎若しくはカット変わりなどの画像一覧を表示する画像エリア３０４Ａ、入力されたテキストの内容である字幕本文を表示する字幕本文エリア３０４Ｂと、作成中の字幕本文に対応するスピーチの音声に対応する波形を表示する波形エリア３０４Ｃと、波形エリア３０４Ｃに表示される波形などこの一覧領域３０４の時間指標となるタイムラインが表示されるタイムラインエリア３０４Ｄとから成っている。この一覧領域３０４によって書き起こし作業者の入力支援が効果的に行われる。
【００５１】
また、一覧領域３０４には、ＭＰＥＧ／ＡＶＩ映像ファイルなどの再生位置カーソル３０４Ｅが表示されており、この再生位置３０４Ｅを変えることにより、画像の再生位置など書き起こし作業を行うタイムライン上のタイミング変更が可能になる。
【００５２】
一覧領域３０４の具体的な機能は以下の通りである。上述したように、この一覧領域３０４には、映像ファイルから形成した静止画像と、編集データとしての字幕本文、波形がタイムライン上に一覧表示される。一画面で表示する幅は、“ツール(T)”の“オプション”で選択された１２０秒、６０秒、３０秒のいずれかとなる。
【００５３】
“画像”は、映像ファイルより、一定間隔の画像を抜き出したもの若しくはカット変わりが表示される。画像のサイズは１６０×１２０、間隔は全体幅が１２０秒の時は２０秒、６０秒の時は１０秒、３０秒の時は５秒となる。
【００５４】
“字幕本文”は、編集領域３０３によって入力された本文の内容が表示される。枠の幅は時間幅を表している。幅が狭く、本文が表示しきれない場合には省略される。
【００５５】
話者エリア３０４Ｆの枠部分をドラッグで変更した場合には、対象一件の幅（時間幅）の変更を、本文の部分３０４Ｂの枠をドラッグで変更した場合には、二件の境界線の変更を行うことができる。
【００５６】
枠内がダブルクリックされた際、編集領域３０３が編集途中でなければ、入力一覧３０４で指定した内容を表示できる位置に移動することができる。
【００５７】
“波形”は、映像ファイルに記録されている音声（音楽、効果音を含む）信号を処理し波形化して、図４のように表示する。スピーチやポーズの位置を視覚的に判断できるようにした支援機能である。なお、波形としては、スピーチ区間とポーズ区間とを明確にするために、矩形波状に波形整形して表示するようにしても良い。
【００５８】
ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥの編集単位は、映像ファイルからタイムコードを読み込む際の最小単位を設定する。取り込みを実行した際、設定値未満の値は切り捨てされる。この場合の“設定”は、１フレーム／５フレーム／１０フレーム／１５フレーム／１秒である。
【００５９】
一覧表示の一画面の幅は、メイン画面の一覧領域３０４にどれだけの時間分を表示するかを設定する。この場合の“設定”は、３０秒／６０秒／１２０秒で、それに合わせて画像も５秒間隔、１０秒間隔、２０秒間隔となる。
【００６０】
一方、制御領域３０５は、ＭＰＥＧ／ＡＶＩ映像の制御のための領域であり、ＭＰＥＧ／ＡＶＩ映像の表示エリア３０５Ａや、時間枠の取り出しボタン、ＭＰＥＧ／ＡＶＩ再生の開始、停止ボタンなどが用意されている。また、制御領域３０５には、映像ファイルの再生に関するインターフェースが用意されている。映像のサイズは、６４０×４８０である。
【００６１】
制御領域３０５の具体的な機能としては、例えば、タイムコード表示部３０５Ｂと、再生／停止ボタン３０５Ｃと、再生位置トラックバー３０５Ｄと、ＭＡＲＫ ＩＮボタン３０５Ｅと、ＭＡＲＫ ＯＵＴボタン３０５Ｆと、繰り返し再生ボタン３０５Ｇと、話速変換ボタン３０５Ｈ、＜＜５秒／５秒＞＞ボタンなどが用意されている。
【００６２】
タイムコード表示部３０５Ｂに表示されるタイムコードは、プロジェクト新規作成の際に入力されたイニシャルタイムを基準として、映像ファイルの再生位置の時間を足した時間である。なお、映像ファイルの再生位置は、２９．９７フレームを１秒として扱われる。
【００６３】
“再生／停止”ボタン３０５Ｃは、映像の再生スタートと再生ストップを行う。なお、“停止”ボタンが実行されても、映像は消えない。
【００６４】
再生位置トラックバー３０５Ｄは、現在映像ファイルのどの部分を再生しているかを示す。また、トラックバーを動かすことにより、再生位置を変更することも可能である。
【００６５】
“ＭＡＲＫ ＩＮ”ボタン３０５Ｅは、編集領域のＩＮ ＴＩＭＥの欄へ、現在の映像の時間をコピーする。“ＭＡＲＫ ＯＵＴ”ボタン３０５Ｆは、編集領域のＯＵＴ ＴＩＭＥの欄へ、映像の現在の時間をコピーする。
【００６６】
“繰り返し再生”ボタン３０５Ｇは、編集領域のＩＮ ＴＩＭＥとＯＵＴ ＴＩＭＥの期間の画像を繰り返し作成する。
【００６７】
終了は、“停止”ボタン３０５Ｃか“ＭＡＲＫ ＩＮ”ボタン３０５Ｅをクリックすることでなされる。
【００６８】
“話速変換”ボタン３０５Ｈは、映像を再生する際の音声のスピード調節を行う際に使用される。
【００６９】
“＜＜５秒／５秒＞＞”ボタン３０５Ｊは、映像の再生位置を前／後ろに５秒移動する際に使用される。
【００７０】
次に、以上の構成の字幕テキスト書き起こし部３０で実行される書き起こし処理の手順を図５のフローチャートを参照しつつの具体的に説明する。
【００７１】
作業者が“ＰＬＡＹ”ボタンを押して、映像再生が開始されると、先ず、発話タイミングが探索される（ステップＳＴ１１）。
【００７２】
発話の確認点で、“書起開始”ボタンが押されると、これがスピーチ区間の開始点となる（ステップＳＴ１２）。
【００７３】
一定時間巻き戻し、スロー再生が開始され、書き起こし作業が実行される（ステップＳＴ１３，１４）。スピーチ終了が認識されると、適宜巻き戻して発話終了点が探索される（ステップＳＴ１５）。
【００７４】
発話終了点で“書起終了”ボタンが押されると、（終了点）通常再生モードへ移行する（ステップＳＴ１６）。
【００７５】
書き起こし終了後、用字、用語チェック、要約支援が実行されるとともに、背景音情報が登録される（ステップＳＴ１７，１８）。
【００７６】
テキスト作成処理が終了すると、自動字幕番組データ制作部４０の処理へ移行する（ステップＳＴ１９）。
【００７７】
上述した各ステップに示したように、一通りの書き起こしが完了した後、そのテキストの用字、用語チェック、必要ならば要約支援を実行して必要なテキストの修正を行い、その後背景音情報などをチェックし情報を登録する。登録後、テキスト作成関係の作業を終了し、自動字幕番組データ制作部４０の処理へ進むのである。
【００７８】
このように、この実施の形態は、新しい半自動型字幕番組制作システムの書き起こし支援を提示するものであり、以下のような利点を有する。
【００７９】
すなわち、テレビ素材番組の映像、音声、タイムコードをノンリニア操作が容易なディスク記録再生装置に収録するとともに効果的に操作・処理することによって、スピーチに対する字幕用テキストの書き起こしおよび背景音などの付加情報データを効率的に入力することが可能となる。
【００８０】
また、書き起こしそのものは、人の知識・能力に依存する手作業によらざるを得ないが、テレビ素材番組の映像、音声などを効果的に操作・処理して、この書き起こしなどの手作業を支援することが可能となる。
【００８１】
書き起こしなどの作業を分析すると、通常テレビ素材番組を収録したＶＴＲテープを適宜操作して映像、音声を再生し、音声中のスピーチをテキストとして書き起こすとともに、その開始・終了時間もＶＴＲのタイムコードを利用して記録しているが、その過程で該当スピーチ部分の頭出し、スピーチ部分の書き起こしに適した速度での再生や繰り返し再生、スピーチ部分終了点の確認などの複雑なＶＴＲ操作が行われる。この点に関しては、話速変換技術を適用して書き起こし作業者の聞き取り能力に応じて話速を遅くしたり早くしたりできるので、書き起こし作業が容易にでき、また、タイミングを合わせも容易にすることができる。
【００８２】
≪自動字幕番組データ制作部４０の処理≫
図６は自動字幕番組データ制作部４０において実行される表示字幕文へのタイミング付与の処理手順の一例として、音声認識手法に代わるタイミング検出手法の適用で高速化したフローチャートである。
【００８３】
先ず、音声データからポーズ開始タイミング、継続時間を求める。その適否を検証し必要な修正をする（図６のステップＳＴ２１）。なお、ポーズ時間の検出機能は、音声認識処理をすることなく、素材ＶＴＲから供給される音声のレベルや継続時間、およびそのタイムコードから、例えばそのレベルが指定レベル以下で連続する開始、終了タイムコードを検出するものであり、ブロック・ケプストラム・フラックス法などの方法によって実行される。
【００８４】
次に、比較的長いポーズ（例えば２秒以上）で字幕用テキストをブロックに分割し、ブロックテキスト文としてその開始、終了タイミングを付与する（ステップＳＴ２２，２３）。
【００８５】
次いで、ブロックテキスト文の継続時間をその総読み数（計算推定）で割り、当該範囲の平均読み速度を求める（ステップＳＴ２４）。
【００８６】
次いで、各ブロックテキスト文を、中の長さのポーズ箇所などを改行点とする表示単位字幕文に分割する（ステップＳＴ２５）。この場合、予め定められた分割ルールを適用する。
【００８７】
次いで、各分割字幕文の文頭、文末に対応するタイミングを、ブロックテキスト文の開始、終了タイミングやポーズのタイミング、平均読み速度を基に計算し、付与する。この場合、文字数、文字種法、または発音数法を適用する（ステップＳＴ２６）。
【００８８】
そして、各表示単位字幕の表示時間をチェックし、必要ならば終了タイミングを修正する（ステップＳＴ２７）。
【００８９】
このようにして、自動処理により表示単位字幕文へのタイミング付与が実行され、自動字幕番組データが作成される。
【００９０】
≪字幕番組データ編集・試写部５０の処理≫
上述のようにして作成された字幕番組データは字幕番組データ編集・試写部５０による編集・試写処理によって最終的な字幕番組として完成される。この機能における作業は、一応出来上がった字幕番組データを専門知識を有する作業者が試写し、必要ならば修正するものであり、作業者がチェックし易い試写形態、字幕内容、改行・改頁、タイミングなどに関する修正編集がし易いよう支援する機能が盛り込まれている。
【００９１】
ここで、以下の説明では、送出／消去時間、字幕本文、および管理情報より構成された字幕番組データを字幕素材と仮称する。
【００９２】
また、編集の補助として、ＭＰＥＧ画像ファイルを使用して、タイミングの調整や、字幕ポジションの調整を行うことができる。なお、字幕素材編集の入出力は、文字放送のＮＡＢ形式のファイルのみとなる。このファイルは、他の『ページ一覧』『ページ利用』『デジタル形式変換』の入出力形式になる。
【００９３】
図７は、字幕番組編集・試写部５０で使用されるメイン画面の構成を示している。このメイン画面は、字幕素材編集のために使用される。このメイン画面を使用して、字幕素材の編集や各補助機能の操作を行う。なお、画面のサイズは、１２８０×１０２４である。
【００９４】
メイン画面５０１は大きく分けて、メニュー領域５０２と、編集領域５０３と、一覧領域５０４の３つの領域に分かれている。
【００９５】
メニュー領域５０２は、各種機能の呼び出しを行う部分であり、メニューバーとツールバーに用意された項目を実行することにより、各種機能の呼び出しを行うことができる。
【００９６】
編集領域５０３は、図８に示されるように、映像エリア５０３Ａを備えている。この映像エリア５０３Ａは、システム内に保存されているＭＰＥＧ／ＡＶＩファイルを再生した映像を表示するエリアと、文字入力ソフトを使用して入力された字幕本文が表示されるエリアとから成っており、本文と画像の位置調整にも使用できる。通常の試写では、この編集領域５０３を使用して確認を行う。また、再生の停止や、ＩＮ ＴＩＭＥ、ＯＵＴ ＴＩＭＥの取り込み、リピート再生などの操作を行うことが可能である。映像エリア５０３Ａの画像のサイズは、６４０×４８０である。
【００９７】
図７に示すタイムコード表示エリア５０３Ｂは、タイムコードを表示する部分であり、再生している映像の位置は２９．９７フレーム１秒として再生される。
【００９８】
“再生”ボタン５０３Ｄは、映像の再生スタートに使用され、“停止”ボタン５０３Ｃは、映像の再生ストップに使用される。なお、“停止”ボタン５０３Ｃが押されても、映像がストップされるだけで映像そのものは画面上からは消えない。
【００９９】
再生位置トラックバー５０３Ｅは、現在映像ファイルのどの部分を再生しているかを示すものである。このトラックバーを動かすことにより、再生位置を変更することが可能である。
【０１００】
“ＭＡＲＫ ＩＮ”ボタン５０３Ｆは、編集領域のＩＮ ＴＩＭＥの欄へ、現在の映像の時間をコピーするボタンである。“ＭＡＲＫ ＯＵＴ”ボタン５０３Ｇは、編集領域のＯＵＴ ＴＩＭＥの欄へ、映像の現在の時間をコピーするボタンである。
【０１０１】
“繰り返し再生”ボタン５０３Ｈは、編集領域のＩＮ ＴＩＭＥとＯＵＴ ＴＩＭＥの期間の画像を繰り返し作成するために使用される。
【０１０２】
なお、終了は、“停止”ボタン５０３Ｂか“ＭＡＲＫ ＩＮ”ボタンを操作することにより成される。
【０１０３】
“＜＜５秒／５秒＞＞”ボタン５０３Ｊは、映像ファイルの再生位置を５秒分だけ進め／戻すためのボタンである。繰り返し再生中に実行された場合には、通常再生に切り替わる。
【０１０４】
前述したように、編集領域５０３は、字幕データの入力や、入力後の編集を行う他に映像セクションを兼ねていて、映像エリア５０３Ａ上に重ねて試写を実行する際にも利用される。“前ページ”と“後ページ”は、現在中央に表示されている字幕データページの前と後のページの字幕を表示する領域である。
【０１０５】
この場合、編集領域５０３では、映像エリア５０３Ａ上に表示されている枠カーソルを使用して、新たな文字の入力を行う。入力を行った文字の色サイズは、右上のリストボックスで設定した内容になる。
【０１０６】
また、一旦入力を行った文字を範囲指定し、削除／複写／移動や、属性（色、サイズ、囲み等）の変更を行うことができる。
【０１０７】
“ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥ”は、ページのＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥの設定を行う。“ＭＡＲＫ ＩＮ”ボタン５０３Ｆ、“ＭＡＲＫ ＯＵＴ”ボタン５０３Ｇにより、映像ファイルの再生タイミングを“ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥ”として取り込むことができる。
【０１０８】
前景色／背景色／文字サイズエリア５０３Ｌは、編集領域５０３に、これから新規に入力する文字の前景色／背景色／文字サイズを設定する。
【０１０９】
メッシュエリア５０３Ｍは、画像の上に、文字の入力位置の目安とする基準線を表示するかを設定するものである。
【０１１０】
“ページ追加”ボタン５０３Ｎは、編集中の素材の最後に、新たなページを追加し、そのページを編集対象として表示するために使用される。“ページ挿入”ボタン５０３Ｐは、現在編集しているページの前か後に、新たにページを挿入し、そのページを編集対象として表示するために使用される。“ページ削除”ボタン５０３Ｑは、現在編集中のページを削除するために使用される。なお、ページ削除を実行する際には、確認操作が入る。
【０１１１】
“通し試写”ボタン５０３Ｒは、現在編集対象としているページの少し前より試写を開始し、“試写終了”ボタン５０３Ｓが実行されるまで、試写を行う際に使用される。
【０１１２】
“部分試写”ボタン５０３Ｔは現在対象としているページの前のページより試写を開始し、次のページのＯＵＴ ＴＩＭＥ後に試写を終了する。途中で“試写終了”ボタンにて終了することも可能である。
【０１１３】
“全画面試写”ボタンは、モニタ全てを使用して『通し試写』と同じ動作を行う。“試写終了”ボタンは、現在行っている試写を中止する。
【０１１４】
図９は、一覧領域５０４の構成を示している。
【０１１５】
一覧領域５０４は、画像とこの画像に対応する作成済みの字幕テキストを表示する領域であり、ＭＰＥＧ／ＡＶＩ映像ファイルより一定間隔毎若しくはカット変わりの画像一覧を表示する画像エリア５０４Ａ、作成されたテキストの内容である字幕本文を表示する字幕本文エリア５０４Ｂと、作成された字幕本文に対応するスピーチの音声に関連した波形を表示する波形エリア５０４Ｃと、波形エリア５０４Ｃに表示される波形の時間指標となるタイムラインが表示されるタイムラインエリア５０４Ｄとから成っている。この一覧領域５０４によって編集・試写作業者の作業支援が効果的に行われる。
【０１１６】
また、この一覧領域５０４における一画面で表示する幅は、“ツール(T)”の“オプション”で選択された１２０秒、６０秒、３０秒のいずれかとなる。
【０１１７】
“画像”は、映像ファイルより、一定間隔毎若しくはカット変わりなどの画像を抜き出し、表示する。画像のサイズは１６０×１２０、間隔は全体幅が１２０秒の時は２０秒、６０秒の時は１０秒、３０秒の時は５秒となる。
【０１１８】
“字幕本文”は、編集領域５０３によって入力された本文の内容が表示される。枠の幅は時間幅を表している。なお、幅が狭く、本文が表示しきれない場合には省略される。
【０１１９】
ページ番号エリア５０４Ｆの枠をドラッグで変更した場合には、対象一件の幅（時間幅）の変更を、本文の部分の枠をドラッグで変更した場合には、二件の境界線の変更を行う。
【０１２０】
枠内がダブルクリックされた際、編集領域５０３が編集途中でなければ、入力一覧で指定したページを編集対象のページ変更する。
【０１２１】
“波形”は、映像ファイルに記録されている音声（音楽、効果音を含む）信号を処理し波形化したものが表示される。なお、波形としては、スピーチ区間とポーズ区間とを明確にするために、矩形波状に波形整形して表示するようにしても良い。
【０１２２】
ＩＮ ＴＩＭＥ／ＯＵＴ ＴＩＭＥの編集単位は、映像フィルムからタイムコードを読み込む際の最小単位を設定する。取り込みを実行した際、設定値未満の値は切り捨てされる。この場合の“設定”は１フレーム／５フレーム／１０フレーム／１５フレーム／１秒である。
【０１２３】
一覧表示の一画面の幅は、メイン画面の一覧領域にどれだけの時間分を表示するかを設定する。この場合の“設定”は、３０秒／６０秒／１２０秒で、それに合わせて画像も５秒間隔、１０秒間隔、２０秒間隔となる。
【０１２４】
このようにこの実施の形態によれば、研究を進めている自動字幕制作機能と、多彩な支援機能を盛り込んだ手動字幕制作機能とを効果的にタイアップした機能・構成を構築でき、多様なテレビ番組の字幕制作を、時間、人手、費用などの点で効率的にできるシステムを提供できる。そのため、字幕制作作業者の観点からの作業形態などに関するシステムフレキシビリティが向上する。
【０１２５】
【発明の効果】
以上説明したように本発明によれば、これまでに開発された自動字幕制作システムのシステム評価などから得られた知見をもとに、各自動化要素技術を高性能化した新しい自動字幕制作システムを中核にするとともに、字幕番組制作者による手動字幕制作を効率的に支援する実用性のより高い半自動型字幕番組制作システムを提供することが可能となる。
【０１２６】
また、本発明の半自動型字幕番組制作システムは、電子化原稿のない番組や背景音レベルの大きい番組など、多様な番組の字幕制作にも対応可能であり、今後適用番組分野、番組数などの拡大が見込まれる字幕放送の番組制作システムとして、大きな効果が期待できる。
【図面の簡単な説明】
【図１】本発明による半自動型字幕番組制作システムの実施形態を示すブロック図である。
【図２】本発明による半自動型字幕番組制作システムを構成する字幕テキスト書き起こし部で使用されるメイン画面の構成を示す説明図である。
【図３】図２に示すメイン画面の編集領域の構成を示す説明図である。
【図４】図２に示すメイン画面の一覧領域の構成を示す説明図である。
【図５】本発明による半自動型字幕番組制作システムを構成する字幕テキスト書き起こし部の処理手順を示すフローチャートである。
【図６】自動字幕番組データ制作部において実行される表示字幕文へのタイミング付与の処理手順の一例を示すフローチャートである。
【図７】本発明による半自動型字幕番組制作システムを構成する字幕番組編集・試写部で使用されるメイン画面の構成を示す説明図である。
【図８】図７に示すメイン画面の編集領域の構成を示す説明図である。
【図９】図７に示すメイン画面の一覧領域の構成を示す説明図である。
【符号の説明】
１０ 基本ＧＵＩシステム部
２０ ディスク記録・再生部
３０ 字幕テキスト書き起こし部
３１ ディスク記録再生制御機能
３２ 情報表示機能
３３ データ作成制御機能
３４ データ作成画面表示機能
３５ 主映像表示機能
４０ 自動字幕番組データ制作部
４１ テキスト自動要約機能
４２ 表示単位字幕作成機能
４３ タイミング検出・付与機能
５０ 字幕番組編集・試写部
５１ ディスク記録再生・字幕データ制御機能
５２ 情報表示・字幕タイミング制御機能
５３ 字幕データ編集機能
５４ 字幕データ・映像表示機能
５５ 試写用キー機能
６０ 番組素材ＶＴＲ
１００ 半自動型字幕番組制作システム

Claims (3)

1. テレビ素材番組の映像、音声、タイムコードに基づいてスピーチに対する字幕用テキストの書き起こしおよび背景音などの付加情報データを入力する字幕テキスト書き起こし部と、
   書き起こされた字幕テキストに基づいて字幕画面作成およびタイミング付与を行う自動字幕番組データ制作部と、
   作成された字幕番組データの編集および試写を行う字幕番組編集・試写部と、
   を備えたことを特徴とする半自動型字幕番組制作システム。
2. 請求項１に記載の半自動型字幕制作システムにおいて、
   前記字幕テキスト書き起こし部におけるマンマシンインタフェースとなるメイン画面は、
   現在作業中の映像を表示する映像表示エリアと、この映像に対応する書き起こし中の字幕用テキストを表示する字幕用テキスト表示エリアと、前記作業中の映像に対応した一定間隔毎若しくはカット変わりなどの画像と、各画像に対応する書き起こされた字幕用テキストと、各字幕用テキストの書き起こしの基となる音声に関する波形とがタイムライン上に一覧表示された一覧表示エリアと、各エリアに対する制御エリアと、を少なくとも備え、このメイン画面により作業者の字幕テキスト書き起こし作業を支援する、
   ことを特徴とする半自動型字幕番組制作支援システム。
3. 請求項１または２に記載の半自動型字幕番組制作システムにおいて、
   前記字幕番組編集・試写部におけるマンマシンインタフェースとなるメイン画面は、
   現在編集・試写中の映像を表示する映像表示エリアと、この映像に対応する書き起し済の字幕用テキストを表示する字幕用テキスト表示エリアと、前記編集・試写中の映像に対応した一定間隔毎若しくはカット変わりなどの画像と、各画像に対応する書き起こされた字幕用テキストと、各字幕用テキストの書き起こしの基となった音声に関する波形とがタイムライン上に一覧表示された一覧表示エリアと、各エリアに対する制御エリアと、を少なくとも備え、このメイン画面により作業者の字幕テキスト編集・試写作業を支援する、
   ことを特徴とする半自動型字幕番組制作支援システム。

Images