JP2003224773A - タイムライン上に配置した字幕の境界移動による字幕編集支援システム - Google Patents

Abstract

(57)【要約】 【課題】 表示単位字幕表示領域の境界線を移動すると
いう簡単な操作により、画面に表示すべき字幕表示のタ
イミングを修正する字幕番組編集支援システムを提供す
る。 【解決手段】 四角形の枠で囲んだ表示単位字幕１１の
左辺は、字幕の表示開始タイミングデータを示し、右辺
は表示終了タイミングデータを示し、右辺及び左辺の表
示位置は、タイムライン１２とリンクしている。したが
って、表示単位字幕１１を表す四角形の表示位置を変更
すると、新しい位置に対応するタイミングデータが保存
される。このように、タイムライン１２上に配置した表
示単位字幕１１の表示開始・終了タイミングを表す四角
形の右辺と左辺を、マウスなどを使って移動すると、表
示単位字幕１１を表示開始又は終了するタイミングが変
更される。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、人手による字幕制
作工程と、自動による字幕制作工程とを効果的に組み合
わせた半自動型字幕番組制作システムにおいて、字幕編
集・試写作業を支援するため、表示単位字幕表示領域の
境界線の移動という方法で、当該表示単位字幕の表示タ
イミングの修正を行う技術に関する。 【０００２】〔発明の概要〕本発明は、各表示単位字幕
をタイムライン上に配置し、その境界などの移動でタイ
ミング修正を簡単に行うものである。 【０００３】視覚的、かつ直感的にタイミング修正と修
正結果の確認が可能となり、表示単位字幕のタイミング
修正を簡単かつ迅速に行うことが出来るので、字幕番組
制作の効率化に大きく寄与する。 【０００４】 【従来の技術】オフラインで字幕番組を自動制作する技
術としては、ニュース番組やナレーション主体のドキュ
メンタリー番組を対象とし、電子化原稿が存在する場合
に、「自動要約」、「自動同期」、及び「自動字幕画面
作成技術」などの研究成果を集約し、「自動字幕番組制
作システム」として構築された技術が存在する。 【０００５】これらの技術は、すでに特願平１１−７２
６７１号等で特許出願されているが、かかる技術を適用
できる番組範囲は限られており、電子化原稿が存在しな
い番組、ドラマやバラエティーなど背景音レベルの大き
い番組などに対しては、自動機能として限界があるた
め、限界以上の部分は、手動による字幕制作や試写・修
正の範囲でカバーせざるを得ない。 【０００６】 【発明が解決しようとする課題】実際の字幕制作現場で
は、高度な専門技術、知識を持った多くの専門家が携わ
っており、字幕制作はこのような人間の能力に負ってい
る部分が多い。一方、今日のように、字幕番組の急速な
拡充が要請されている状況の下において、字幕制作は、
専門家でなくても、ワープロ作業が一応できるパートタ
イマーでも作業の一端を分担できるようなシステムとす
ることが望ましい。したがって、自動処理を前提とした
字幕制作システムのみならず、手作業を含む字幕用電子
化テキストの作成や、字幕画面の試写・編集などの作業
も含めたトータルシステムとして、字幕制作効率を考え
る必要がある。 【０００７】そこで、本件発明の発明者らは、これまで
に行った自動字幕制作システムのシステム評価などから
得た知見を基に、各自動化要素技術を高性能化した新し
い自動字幕システムを中核に、新たに開発した効率的な
手動字幕制作サブシステムを適用することで、実用性の
より高い半自動型字幕番組制作システムを開発した。 【０００８】この半自動型字幕番組制作システムは別途
出願しているが、かかる半自動型字幕番組制作システム
では、字幕番組データ編集・試写機能については、手動
作業で行うことしている。 【０００９】すなわち、字幕番組データ編集・試写機能
での作業は、一応出来上がった字幕番組データを専門知
識を有する作業者が試写し、必要なら修正するものであ
るが、この作業において、作業者が字幕内容・タイミン
グなどに関する修正がしやすいように支援するシステム
があれば、作業者に要求される能力や、作業時間、緊張
の程度を軽減することができ、より効率的な編集作業が
可能となる。 【００１０】本発明は、このような課題に鑑みてなされ
たもので、半自動型字幕番組制作システムにおいて、表
示単位字幕をタイムライン上に配置し、この表示単位字
幕表示領域の境界線を移動するという簡単な操作で、当
該表示単位字幕の表示タイミングの修正を行い、字幕番
組データ編集作業を行う者に必要とされる能力や、緊張
の程度を低減することを目的とする。 【００１１】 【課題を解決するための手段】本発明によるタイムライ
ン上に配置した字幕の境界移動による字幕編集支援シス
テムは、字幕テキスト書き起こし機能、自動字幕番組制
作機能、及び字幕番組編集・試写機能からなり、人手に
よる字幕制作機能と自動による字幕制作機能とを組み合
わせた半自動型字幕番組制作システムに適用する字幕編
集・試写支援システムであって、編集の対象となる表示
単位字幕の表示開始タイミングと表示終了タイミングと
を、当該編集の対象となる番組の時間経過を時間軸とし
て示すタイムライン上の該当するタイミング位置に関連
づける手段と、前記表示単位字幕の表示開始位置と終了
位置とを前記タイムライン上に関連づけられた当該字幕
表示開始タイミングと終了タイミングを表す位置に一致
させて表示する手段と、表示された前記表示単位字幕の
表示開始位置又は終了位置を移動することにより当該表
示単位字幕の表示開始タイミングまたは表示終了タイミ
ングを修正する手段とを有することを特徴とする。 【００１２】表示単位字幕表示領域の表示開始位置又は
終了位置を移動するという簡単な操作により、画面に表
示すべき字幕表示のタイミングの修正を行うことが出来
るので、表示単位字幕データの編集を簡単かつ高性能に
実施できるように支援することができる。 【００１３】 【発明の実施の形態】まず、本発明を適用する半自動字
幕番組制作システムについて図２を参照して説明する。 【００１４】半自動型字幕番組制作システムの主要な機
能は、図２に示すように、字幕テキスト書起し機能１
と、自動字幕番組データ制作機能２と、字幕番組データ
編集・試写機能３、及び字幕画面編集支援機能４からな
っている。 【００１５】ここで、字幕テキスト書き起こし機能１と
は、素材番組の音声を聞き取って、字幕用テキストの書
き起こしや開始・終了タイミングなどの付加データを入
力する機能であり、素材番組の映像・音声を、パソコン
のディスクに圧縮記録するとともに、記録された映像音
声の再生および特殊再生操作のための操作キーを備え、
対応する動作を行う「ディスク記録再生制御機能」、書
き起こしおよび付加情報データの入力の手動作業を支援
するため、素材番組の映像・音声、書き起こしテキスト
などに関する各種の情報を、タイムライン上にビジュア
ルに表示する「情報表示機能」、書き起こしたテキスト
やスピーチポーズの時間データ入力操作のための操作キ
ーを備え、対応する動作をする「データ作成制御機
能」、及びデータ作成画面や主映像表示画面とからな
る。 【００１６】また、自動字幕番組データ制作機能２と
は、提示時間順に配列された字幕用テキストの中から、
適切な改行・改頁によって表示単位字幕文を形成し、音
声認識処理を含む同期検出技術などを適用することによ
り、この表示単位字幕文毎に始点及び終点を同期点とし
て検出して、始点／終点タイミング情報を表示単位字幕
毎に付与する一連の動作を自動的に行う機能であり、必
要な場合は字幕用テキストを要約する「テキスト自動要
約機能」と「表示単位字幕作成機能」と「タイミング検
出・付与機能」とからなる。 【００１７】また、字幕番組データ編集・試写機能３と
は、書き起こしした字幕用テキスト及び付加情報データ
を基に、自動字幕番組データ制作部で自動制作された字
幕番組データを人手で編集・試写するためのものであ
り、開始および終了時間、字幕の改ページ、改行などに
関し編集・試写作業支援用特殊表示操作のための専用操
作キーを備え、対応する動作をする「ディスク記録再生
および字幕データ制御機能」、各種の情報を、タイムラ
イン上にビジュアル表示し、特に字幕番組データについ
ては、タイミング変更支援画面を表示し対応する動作を
する「情報表示・字幕タイミング制御機能」、字幕デー
タのページ単位編集のための専用操作キーを備え、対応
する動作をする「字幕データページ編集操作キーと機
能」、映像に重畳した指定字幕データ表示のための、操
作キーを備え、対応する動作をする「字幕データ・映像
表示機能」、及び部分試写、通し試写など、試写形式の
選択に必要な操作キーを備え、対応する動作をする「試
写用キーとその機能」とからなる。 【００１８】字幕画面編集支援機能４とは、字幕番組編
集・試写機能３に適用し、編集作業を支援するものであ
る。 【００１９】なおここで、「字幕用テキスト」とは、字
幕番組において、字幕画面を形成表示するための元にな
る字幕テキスト全体をいい、「表示単位字幕」とは、一
定時間継続して画面上に表示させる字幕であって、提示
時間順に配列された字幕テキストの中から適切な改行・
改頁によって抽出されたものをいう。 【００２０】本発明にかかるタイムライン上に配置した
字幕の境界移動による字幕編集支援システムは、字幕画
面編集支援機能４として字幕番組編集・試写機能を支援
する。 【００２１】まず、本発明にかかるタイムライン上に配
置した字幕の境界移動による字幕編集支援システムにつ
いて、基本原理を図１を参照して説明する。 【００２２】図１（ａ）は字幕の境界移動をする前の状
態を示し、図１（ｂ）は字幕の境界移動により表示単位
字幕１１の表示タイミングを変更した後の状態を示す。 【００２３】本発明は、図１（ａ）に示すように、字幕
の境界を示す四角形の枠で囲んだ各表示単位字幕（１１
ａ，１１ｂ，１１ｃ）をタイムライン１２上に配置する
とともに、四角形の枠を移動することにより、各表示単
位字幕（１１ａ，１１ｂ，１１ｃ）の表示タイミングの
修正を簡単かつ可視的に行うようにしたものである。 【００２４】試写・編集の対象となる各表示単位字幕
（１１ａ，１１ｂ，１１ｃ）は、本発明を適用する半自
動字幕番組制作システムにおいて、すでに自動字幕画面
作成処理などにより、改行・改ページがなされ、さらに
その開始・終了のタイミングが付与されている。 【００２５】図１（ａ）及び（ｂ）に示す四角形の枠で
囲んだ各表示単位字幕（１１ａ，１１ｂ，１１ｃ）の左
辺は、字幕の表示開始タイミングデータを示し、右辺は
表示終了タイミングデータを示している。そして、右辺
及び左辺の表示位置は、タイムライン１２とリンクして
いる。 【００２６】したがって、表示単位字幕１１を表す四角
形の左辺と右辺は付与された開始と終了タイミングに基
づき、タイムライン１２上の対応する位置に配置される
こととなる。ここで、表示単位字幕１１を表す四角形の
表示位置を変更すると、新しい位置に対応するタイミン
グデータが保存される。また、四角形の枠の中には、表
示単位字幕１１の改行を含むテキストも同時に表示され
る。 【００２７】このように、タイムライン１２上に配置し
た表示単位字幕１１の表示開始・終了タイミングを表す
四角形の右辺と左辺を、マウスなどを使ってタイムライ
ン１２上で移動すると、その新しい位置に対応するタイ
ミングデータが保存されるので、表示単位字幕１１を表
示開始するタイミングや表示が終了するタイミングが変
更される。また、表示単位字幕１１を表す四角形全体を
左右に移動すると、表示時間長を変更することなく、表
示単位字幕１１を表示するタイミングを変更することが
できる。 【００２８】例えば、図１（ａ）においては、「地元に
は日本唯一という駅舎の民宿があり、西隣の」という表
示単位字幕１１ａは、字幕の境界を示す四角形の左辺
は、タイムライン１２上の１４分１７．４秒の位置、右
辺は１４分２３．６秒の位置にある。したがって、「地
元には日本唯一という駅舎の民宿があり、西隣の」とい
う表示単位字幕１１ａは、１４分１７．４秒のタイミン
グでその番組の画面上に表示され、１４分２３．６秒の
タイミングでその画面から消えることが分かる。 【００２９】しかし、この字幕はその内容に比較し表示
時間が少し少ないので、字幕の境界を示す四角形の左辺
をマウス等で左に移動し、１４分１６．５秒の所へもっ
てゆき長くすると、図１（ｂ）に示すように、「地元に
は日本唯一という駅舎の民宿があり、西隣の」という表
示単位字幕１１ａは、１４分１６．５秒の時刻でその番
組の画面上に表示され、１４分２３．６秒のタイミング
でその画面から消えるように変更され、表示時間を長く
することができる。表示単位字幕１１ｂも同様である。 【００３０】このように、視覚的かつ直感的にタイミン
グ修正と修正結果の確認が可能となり、表示単位字幕１
１のタイミング修正を簡単かつ迅速に行うことが出来る
ので、字幕番組制作の効率化に大きく寄与することがで
きる。 【００３１】続いて、本発明にかかる、タイムライン上
に配置した字幕の境界移動による字幕編集支援システ
ム、を半自動字幕番組制作システムの字幕番組編集・試
写機能に適用した実施の形態を図３及び図４を参照して
説明する。 【００３２】字幕番組データ編集・試写機能３は、前述
の通り、作成した字幕テキスト及び付加情報データを基
に、自動字幕番組データ制作部で自動制作された字幕番
組データを人手で編集・試写するためのものであり、
「ディスク記録再生および字幕データ制御機能」、「情
報表示・字幕タイミング制御機能」、「字幕データペー
ジ編集操作キーと機能」、「字幕データ・映像表示機
能」、及び「試写用キーとその機能」とからなる。 【００３３】本発明は、字幕番組データ編集・試写機能
の一部である「字幕データ・映像表示機能」において。
タイムライン１２上に、字幕の境界を示す四角形の枠で
囲んだ表示単位字幕１１を表示することにより、字幕番
組データ編集作業を支援するものである。 【００３４】図３は、本発明を適用した字幕素材編集の
メイン画面である。メイン画面は、各種機能の呼び出し
を行うメニュー領域３１、字幕本文の入力を行う編集領
域３２、及びＭＰＥＧ／ＡＶＩ画像と字幕本文の一覧領
域３３に分けられる。なお、ここで「字幕素材」とは、
送出／消去時間、字幕本文、管理情報より構成された字
幕番組データをいう。 【００３５】図４は、本発明を適用した字幕素材編集の
メイン画面から字幕本文の一覧領域３３部分のみを抜き
出したものである。 【００３６】字幕本文一覧領域３３には、図４に示すよ
うに、画像１３と各表示単位字幕（１１ｄ，１１ｅ，１
１ｆ，１１ｇ）と音声power値の特定周波数範囲（例え
ば５〜７Hz）成分を適当なレベルでスライスし２値化し
たスピーチ近似データ波形１４とが表示される。 【００３７】ここで、各表示単位字幕（１１ｄ，１１
ｅ，１１ｆ，１１ｇ）は、本発明を適用する半自動字幕
番組制作システムにおいて、すでに自動字幕画面作成処
理などにより、改行・改ページがなされ、さらにその開
始・終了のタイミングが付与され、四角の枠に囲われて
表示される。この四角の枠は、二段に線で区切られ、下
段に、各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１
ｇ）が表示され、上段には、対応するページ番号が表示
される。 【００３８】四角の枠で囲んだ各表示単位字幕（１１
ｄ，１１ｅ，１１ｆ，１１ｇ）の左辺は、字幕の表示開
始タイミングを示し、右辺は表示終了タイミングを示し
ている。本実施の形態においては、最初の表示単位字幕
例えば１１ｄの表示終了タイミングと次の表示単位字幕
１１ｅの表示開始タイミングとが一致しているので、表
示単位字幕１１ｄを囲む四角の枠の右辺と、表示単位字
幕１１ｅを囲む四角の枠の左辺とが重なり合って１つの
辺を形成している。 【００３９】この状態で、表示単位字幕１１ｄを囲む四
角の枠の上段のページ番号が記載されている部分の右辺
を、マウス等で左側にドラッグすると表示単位字幕１１
ｄの表示終了のタイミングのみが変更され、次の表示単
位字幕１１ｅが表示開始されるタイミングは変更されな
い。一方、表示単位字幕１１ｄを囲む四角の枠の下段の
表示単位字幕が表示されている部分の右辺を、マウス等
で左側にドラッグすると表示単位字幕１１ｄの表示終了
のタイミングとともに、次の表示単位字幕１１ｅの表示
開始のタイミングも変更される。すなわち、表示単位字
幕１１ｄの表示終了のタイミングと、表示単位字幕１１
ｅが表示開始されるタイミングとは一致させたまま、両
者表示が切り替わるタイミングが変更されることとな
る。 【００４０】各表示単位字幕（１１ｄ，１１ｅ，１１
ｆ，１１ｇ）の表示開始及び終了のタイミングを示す四
角の枠の右辺及び左辺は、その下の欄に表示されたスピ
ーチ近似データ波形１４と時間軸を共通にしているた
め、スピーチ近似データ波形１４として２値化されて表
示されたデータと見比べ、スピーチやポーズの位置を確
認しつつ、字幕表示の時間幅や表示タイミングの変更を
行うことが出来る。 【００４１】このように、視覚的かつ直感的ににスピー
チやポーズの位置を判断することができ、また、表示単
位字幕表示領域の境界線を移動するという簡単な操作に
より、画面に表示すべき字幕表示のタイミングの修正を
行うことが出来るので、表示単位字幕データの編集を簡
単かつ高性能に実施でき字幕の表示タイミングの編集が
容易となる。さらに、字幕番組データ編集作業を行う者
に必要とされる能力や、緊張の程度を低減することがで
きる。 【００４２】 【発明の効果】上記のように、本発明によれば、表示単
位字幕表示領域の境界線を移動するという簡単な操作に
より、画面に表示すべき字幕表示のタイミングの修正を
行うので、半自動型字幕番組制作システムに本発明を適
用することによって、視覚的、かつ直感的にタイミング
の修正と修正結果の確認が可能となる。また、表示単位
字幕のタイミング修正を簡単かつ迅速に行うことが出来
るので、字幕番組制作の効率化に大きく寄与する。

【図面の簡単な説明】 【図１】本発明にかかるタイムライン上に配置した字幕
の境界移動による字幕編集支援システムの基本原理を示
す図であり、図１（ａ）は字幕の境界移動をする前の状
態を示し、図１（ｂ）は字幕の境界移動により表示単位
字幕の表示タイミングを変更した後の状態を示す。 【図２】本発明を適用する半自動字幕番組制作システム
の機能図である。 【図３】本発明を適用した字幕素材編集のメイン画面で
ある。 【図４】字幕素材編集のメイン画面中の字幕本文の一覧
領域部分である。 【符号の説明】 １ 字幕テキスト書き起こし機能 ２ 自動字幕データ制作機能 ３ 字幕番組編集・試写機能 ４ 字幕画面編集支援機能 １１ 表示単位字幕文 １２ タイムライン

───────────────────────────────────────────────────── フロントページの続き (71)出願人 000004352 日本放送協会 東京都渋谷区神南２丁目２番１号 (72)発明者 沢村 英治 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 門馬 隆雄 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 江原 暉将 東京都世田谷区砧一丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 今村 崇之 東京都渋谷区宇田川町37番18号 財団法人 エヌエイチケイエンジニアリングサービ ス内 (72)発明者 浦谷 則好 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 白井 克彦 東京都港区芝２−31−19 通信・放送機構 内 Ｆターム(参考） 5C022 CA06 5C023 AA18 AA21 AA31 AA38 AA40 BA16 CA05 CA08 DA04 DA08

Claims (1)

1. 【特許請求の範囲】 【請求項１】 字幕テキスト書き起こし機能、自動字幕
   番組制作機能、及び字幕番組編集・試写機能からなり、
   人手による字幕制作機能と自動による字幕制作機能とを
   組み合わせた半自動型字幕番組制作システムに適用する
   字幕編集・試写支援システムであって、 編集の対象となる表示単位字幕の表示開始タイミングと
   表示終了タイミングとを、当該編集の対象となる番組の
   時間経過を時間軸として示すタイムライン上の該当する
   タイミング位置に関連づける手段と、 前記表示単位字幕の表示開始位置と終了位置とを前記タ
   イムライン上に関連づけられた当該字幕表示開始タイミ
   ングと終了タイミングを表す位置に一致させて表示する
   手段と、 表示された前記表示単位字幕の表示開始位置又は終了位
   置を移動することにより当該表示単位字幕の表示開始タ
   イミングまたは表示終了タイミングを修正する手段とを
   有することを特徴とする字幕編集・試写支援システム。