JP2003223199A - 字幕用書き起こしテキストの作成支援システム及び半自動型字幕番組制作システム - Google Patents

Abstract

(57)【要約】 【課題】 スピーチ音声に対する字幕文テキストの書き
起こし及びその開始・終了タイミングの入力作業に対し
て、スピーチ音声を聴き取り易く且つスピーチ音声開始
・終了を確認し易いように支援する字幕用書き起こしテ
キストの作成支援システムを提供する。 【解決手段】 音声を所定の再生速度倍率で低速再生す
ることにより音声を伸張させる可変速再生装置３１と、
音声を一定長に分割した各フレーム毎に、スピーチ音声
の区間である有声区間、無声区間、無音区間の判定を行
ない、有声区間を抽出する有声区間抽出部５６と、抽出
された有声区間から各ピッチ毎にピッチ周期を抽出し、
ピッチ周期毎に有声区間の音声波形を分割するピッチ区
間分割部５７と、可変速再生装置３１からの伸張された
伸張ピッチ周期を持つ音声から、抽出された有声区間に
対応する伸張有声区間を抽出し、再生速度倍率と各ピッ
チ毎のピッチ周期とピッチ周期毎の音声波形とに基づ
き、伸張有声区間を、該伸張有声区間の長さを変えずに
ピッチ周期毎の音声波形を用いた区間に変換する有声区
間ピッチ変換部５９とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、字幕用書き起こし
テキストの作成支援システム及びこの作成支援システム
を用い、且つ、人手による制作機能と自動による制作機
能とを効果的に組み合わせた半自動型字幕番組制作シス
テムに関する。

【０００２】[発明の概要] 本発明は、特にスピーチ音
声を聴き取ってその内容に対する字幕文テキストの書き
起こし作業及び書き起こしの開始・終了タイミングの入
力作業に対して、テレビ素材番組映像・音声の効果的な
再生操作によってスピーチ音声を聴き易く且つスピーチ
音声開始・終了を確認し易いように作業を支援する字幕
用書き起こしテキストの作成支援システムに関する。ま
た、本発明は、この字幕用書き起こしテキストの作成支
援システムで得られた字幕文テキストや付加情報データ
により制作した字幕画面を編集し、試写を行う半自動型
字幕番組制作システムに関する。

【０００３】

【従来の技術】情報化社会といわれる中で、多くの情報
が種々の形態で利用されており、音声の形態で利用され
るものもある。特に放送分野では、ＡＭラジオ、ＦＭ放
送は全て音声であり、テレビでも多くの情報が音声で伝
送されている。通常、これらの放送では、予め原稿が作
成され、その原稿をアナウンサーなどが読み上げる形態
で伝えられるものが非常に多い。

【０００４】そこで、これら音声情報の内、アナウンス
音声などの情報だけでも簡易・確実にテキスト化できれ
ば、情報の保存・編集・活字化など多様な活用が可能と
なるので、アナウンス音声の、簡易・確実なテキスト化
は極めて重要なテーマである。その一つの手法として、
音声認識技術を用いてアナウンス音声をテキスト化する
方法があるが、現状の技術では、得られたテキストに誤
りが生じるため、その修正に手間をとることが課題とな
っている。

【０００５】「書き起こし作業」は人間の高度な音声認
識能力、言語判断力によるため、高い能力や多くの時間
を必要とする反面、確実性が高いなどの理由から、スピ
ーチ音声のテキスト化に最も多く適用されている。

【０００６】この確実性な観点から、字幕文テキストの
作成でもほとんど「書き起こし作業」によるスピーチ音声
のテキスト化によっているが、より効率的な「書き起こ
し作業」を行うために、適切な支援システムにより、必
要とする能力や時間、緊張の程度を低減することが要望
されている。

【０００７】また、スピーチ内容の理解上、スピーチ音
声の速度や明瞭度の影響が大きいことが知られており、
一般的なスピーチ音声の特徴と理解し易いスピーチ音声
の特徴の差を巧みに利用した、話速変換技術がある。こ
の話速変換技術の一例は、テープに録音したスピーチ音
声を聴き取ってテキストを書き起こす際に、テープの再
生速度を遅くして、スピーチ音声を聴き易くすることに
より、書き起こしを容易にするものである。

【０００８】

【発明が解決しようとする課題】しかしながら、放送番
組のスピーチ音声の書き起こし、講演などのスピーチ音
声の要約筆記（聴覚障害者に対する情報保障）など、ス
ピーチ音声の速度を変更できない場合には、上述した話
速変換技術は適用できない欠点がある。また、テープの
再生速度を遅くするとこれに伴って、スピーチ音声のピ
ッチ（音の高さ）も低くなり、スピーチ音声が聞き取り
にくくなるという欠点がある。

【０００９】ところで、本出願人の発明者らは、電子化
原稿が存在する場合のオフラインで字幕番組を自動制作
する技術として、「自動要約」「自動同期」「自動字幕
画像作成技術」などをテーマに研究を進め、これまでの
研究成果を集約した「自動字幕番組制作システム」を構
築した。本出願人はこの自動字幕番組制作システムを特
願平１１−７２６７１号（平成１１年３月１７日出願）
等で既に出願済みである。

【００１０】このシステムを字幕番組制作者や聴覚障害
者などに評価していただいた結果、一定の性能・機能が
あることが確認されたが、実用化のためには、まだ多く
の課題が残されている。

【００１１】特に要望が高いものは、対象番組範囲の拡
大であり、電子化原稿が存在しない番組、ドラマやバラ
エティなどの番組分野への拡大である。しかし、現状の
自動字幕番組制作システムの機能・性能から見た字幕番
組制作可能なテレビ番組分野は、電子化原稿が存在しか
つニュースやナレーション主体のドキュメンタリー番組
などに限られたものである。

【００１２】実際の字幕番組制作現場では、高度な専門
技術、知識をもった多くの専門家が携わっており、字幕
番組制作はこのような人間の能力に負っている部分が多
くある。このうち、自動機能の限界以上の部分は、手動
による字幕番組制作や試写・修正の範囲でカバーさせざ
るを得ないのが実情である。

【００１３】したがって、これまでの自動処理を前提と
した字幕番組制作システムのみならず、手作業を含む字
幕番組用電子化テキストの作成や字幕番組画面の試写・
編集などの作業も含めたトータルシステムとして、字幕
番組制作の効率化を考えることが重要である。

【００１４】そこで、本発明者らは、人手による制作機
能と自動による制作機能とを効果的に組み合わせた、半
自動型字幕番組制作システムを想到するに至ったのであ
る。また、本発明者らは、スピーチ音声の内、有声区間
のみを低速且つ通常のピッチで再生する装置を用いて、
スピーチ音声を大幅に聴き易くして、書き起こしを容易
にした字幕用書き起こしテキストの作成支援システムを
想到するに至り、この字幕用書き起こしテキストの作成
支援システムを半自動型字幕番組制作システムに適用し
たものである。

【００１５】本発明は、取込み済みのテレビ素材番組の
映像、音声、タイムコードなどを高度に活用して、特に
スピーチ音声に対する字幕文テキストの書き起こし及び
その開始・終了タイミングの入力作業に対して、スピー
チ音声を聴き取り易く且つスピーチ音声開始・終了を確
認し易いように支援する字幕用書き起こしテキストの作
成支援システムを提供することにある。また、人手によ
る制作機能と自動による制作機能とを効果的に組み合わ
せて、字幕番組制作を効率良く行うことができる半自動
型字幕番組制作システムを提供することにある。

【００１６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、映像及び音声並びにこれらの提
示タイミング情報を含んだ番組素材の前記音声を聴き取
って前記音声に対する字幕文テキストの書き起こし作業
を支援するための字幕用書き起こしテキストの作成支援
システムであって、前記音声を所定の再生速度倍率で低
速再生することにより前記音声を伸張させる再生手段
と、前記音声を一定長のフレームに分割し、各フレーム
毎に、スピーチ音声の区間である有声区間、無声区間、
無音区間の判定を行ない、有声区間を抽出する区間抽出
手段と、この区間抽出手段で抽出された有声区間から各
ピッチ毎にピッチ周期を抽出し、ピッチ周期毎に前記有
声区間の音声波形を分割するピッチ区間分割手段と、前
記再生手段からの伸張された伸張ピッチ周期を持つ音声
から前記区間抽出手段で抽出された有声区間に対応する
伸張有声区間を抽出し、前記再生速度倍率と前記各ピッ
チ毎のピッチ周期とピッチ周期毎の音声波形とに基づ
き、前記伸張有声区間を、該伸張有声区間の長さを変え
ずに前記ピッチ周期毎の音声波形を用いた区間に変換す
る有声区間ピッチ変換手段と、を備えることを特徴とす
る。

【００１７】請求項１の発明の字幕用書き起こしテキス
トの作成支援システムによれば、再生手段が、音声を所
定の再生速度倍率で低速再生することにより音声を伸張
させ、区間抽出手段が、音声を一定長のフレームに分割
し、各フレーム毎に、スピーチ音声の区間である有声区
間、無声区間、無音区間の判定を行ない、有声区間を抽
出し、ピッチ区間分割手段が、抽出された有声区間から
各ピッチ毎にピッチ周期を抽出し、ピッチ周期毎に有声
区間の音声波形を分割し、有声区間ピッチ変換手段が、
再生手段からの伸張された伸張ピッチ周期を持つ音声か
ら区間抽出手段で抽出された有声区間に対応する伸張有
声区間を抽出し、再生速度倍率と各ピッチ毎のピッチ周
期とピッチ周期毎の音声波形とに基づき、伸張有声区間
を、該伸張有声区間の長さを変えずにピッチ周期毎の音
声波形を用いた区間に変換する。即ち、有声区間のみが
低速で再生され、また、低速再生における有声区間の伸
張ピッチ周期を再生速度に応じて元のピッチ周期に自動
補正するので、スピーチ音声が聴き取り易くなり、字幕
文テキストの書き起こしが容易になるとともに、スピー
チ音声の開始・終了が確認し易くなる。

【００１８】請求項２の発明は、請求項１記載の字幕用
書き起こしテキストの作成支援システムにおいて、前記
有声区間ピッチ変換手段は、前記再生速度倍率と前記各
ピッチ毎のピッチ周期とに基づき各ピッチ毎の前記伸張
ピッチ周期を求め、この伸張ピッチ周期と前記ピッチ周
期との差と前記伸張ピッチ周期との比を第１重複率と
し、次の伸張ピッチ周期と次のピッチ周期との差と前記
次の伸張ピッチ周期との比を第２重複率とし、前記第１
重複率が前記第２重複率以上の場合は前記ピッチ周期を
持つ音声波形を採用し、前記第１重複率が前記第２重複
率未満の場合は前記次のピッチ周期を持つ音声波形を採
用することを特徴とする。

【００１９】請求項２の発明の字幕用書き起こしテキス
トの作成支援システムによれば、有声区間ピッチ変換手
段は、伸張ピッチ周期とピッチ周期との差と伸張ピッチ
周期との比を第１重複率とし、次の伸張ピッチ周期と次
のピッチ周期との差と次の伸張ピッチ周期との比を第２
重複率とし、第１重複率が第２重複率以上の場合はピッ
チ周期を持つ音声波形を採用し、第１重複率が第２重複
率未満の場合は次のピッチ周期を持つ音声波形を採用す
るので、低速再生における有声区間の伸張ピッチ周期を
元のピッチ周期に自動補正することができる。

【００２０】請求項３の発明は、請求項１又は請求項２
記載の字幕用書き起こしテキストの作成支援システムに
おいて、所定時間以上の無音区間を発声音の息継ぎ区間
を意味するポーズ区間とし、ポーズ区間と次のポーズ区
間との間をフレーズ区間とし、前記提示タイミング情報
に基づき、各フレーズ区間毎に、フレーズ区間内の最初
の有声区間の開始点に対応する開始タイミング情報とフ
レーズ区間内の最後の有声区間の終了点に対応する終了
タイミング情報とを検出する検出手段を備えることを特
徴とする。

【００２１】請求項３の発明の字幕用書き起こしテキス
トの作成支援システムによれば、提示タイミング情報に
基づき、各フレーズ区間毎に、フレーズ区間内の最初の
有声区間の開始点に対応する開始タイミング情報とフレ
ーズ区間内の最後の有声区間の終了点に対応する終了タ
イミング情報とを検出するので、開始タイミング情報及
び終了タイミング情報を含む字幕文テキストを得ること
ができる。

【００２２】請求項４の発明は、請求項１乃至請求項３
のいずれか１項記載の字幕用書き起こしテキストの作成
支援システムにおいて、低速再生された音声を聴き取っ
て書き起こされ且つ単位字幕文を表示時間順に配列し
た、前記字幕文テキストを画面上の第１表示領域に表示
する表示手段を備え、前記単位字幕文は、前記フレーズ
区間内の前記スピーチ音声に対応する字幕本文と、この
字幕本文の開始点及び終了点を表す開始及び終了タイミ
ング情報と、話者情報とからなり、前記表示手段は、前
記提示タイミング情報を表したタイムラインとこのタイ
ムライン上に前記表示時間順に配置した複数の映像とこ
の複数の映像に１対１に対応させて前記タイムライン上
に前記表示時間順に配置した複数の字幕本文と前記タイ
ムライン上に配置した前記音声の波形とを、第２表示領
域に表示したことを特徴とする。

【００２３】請求項４の発明の字幕用書き起こしテキス
トの作成支援システムによれば、単位字幕文を表示時間
順に配列した字幕文テキストを画面上の第１表示領域に
表示し、提示タイミング情報を表したタイムラインとこ
のタイムライン上に表示時間順に配置した複数の映像と
この複数の映像に１対１に対応させてタイムライン上に
表示時間順に配置した複数の字幕本文とタイムライン上
に配置した音声の波形とを、第２表示領域に表示したの
で、字幕文テキストの編集が容易になる。

【００２４】請求項５の発明は、映像及び音声並びにこ
れらの提示タイミング情報を含んだ番組素材の前記音声
を聴き取って前記音声に対する字幕文テキストの書き起
こし作業を支援するための字幕用書き起こしテキストの
作成支援システムと、この字幕用書き起こしテキストの
作成支援システムを用いて得られた前記字幕文テキスト
に基づき、字幕番組データを自動制作する自動字幕番組
データ制作部と、この自動字幕番組データ制作部で制作
された字幕番組データを編集・試写する字幕番組編集・
試写部と、を備えた半自動型字幕番組制作システムであ
って、前記字幕用書き起こしテキストの作成支援システ
ムは、前記音声を所定の再生速度倍率で低速再生するこ
とにより前記音声を伸張させる再生手段と、前記音声を
一定長のフレームに分割し、各フレーム毎に、スピーチ
音声の区間である有声区間、無声区間、無音区間の判定
を行ない、有声区間を抽出する区間抽出手段と、この区
間抽出手段で抽出された有声区間から各ピッチ毎にピッ
チ周期を抽出し、ピッチ周期毎に前記有声区間の音声波
形を分割するピッチ区間分割手段と、前記再生手段から
の伸張された伸張ピッチ周期を持つ音声から前記区間抽
出手段で抽出された有声区間に対応する伸張有声区間を
抽出し、前記再生速度倍率と前記各ピッチ毎のピッチ周
期とピッチ周期毎の音声波形とに基づき、前記伸張有声
区間を、該伸張有声区間の長さを変えずに前記ピッチ周
期毎の音声波形を用いた区間に変換する有声区間ピッチ
変換手段と、を備えることを特徴とする。

【００２５】請求項５の発明の半自動型字幕番組制作シ
ステムによれば、字幕用書き起こしテキストの作成支援
システムを用いて字幕文テキストを人手によって書き起
こし、自動字幕番組データ制作部は、字幕用書き起こし
テキストの作成支援システムを用いて得られた字幕文テ
キストに基づき、字幕番組データを自動制作し、字幕番
組編集・試写部は、自動字幕番組データ制作部で制作さ
れた字幕番組データを編集・試写する。即ち、 人手に
よる制作機能と自動による制作機能とを効果的に組み合
わせたことで、字幕番組制作を効率良く行うことができ
る。

【００２６】請求項６の発明は、請求項５記載の半自動
型字幕番組制作システムにおいて、前記有声区間ピッチ
変換手段は、前記再生速度倍率と前記各ピッチ毎のピッ
チ周期とに基づき各ピッチ毎の前記伸張ピッチ周期を求
め、この伸張ピッチ周期と前記ピッチ周期との差と前記
伸張ピッチ周期との比を第１重複率とし、次の伸張ピッ
チ周期と次のピッチ周期との差と前記次の伸張ピッチ周
期との比を第２重複率とし、前記第１重複率が前記第２
重複率以上の場合は前記ピッチ周期を持つ音声波形を採
用し、前記第１重複率が前記第２重複率未満の場合は前
記次のピッチ周期を持つ音声波形を採用することを特徴
とする。請求項６の発明の半自動型字幕番組制作システ
ムによれば、請求項２の効果と同様な効果が得られる。

【００２７】請求項７の発明は、請求項５又は請求項６
記載の半自動型字幕番組制作システムにおいて、所定時
間以上の無音区間を発声音の息継ぎ区間を意味するポー
ズ区間とし、ポーズ区間と次のポーズ区間との間をフレ
ーズ区間とし、前記提示タイミング情報に基づき、各フ
レーズ区間毎に、フレーズ区間内の最初の有声区間の開
始点に対応する開始タイミング情報とフレーズ区間内の
最後の有声区間の終了点に対応する終了タイミング情報
とを検出する検出手段を備え、前記自動字幕番組データ
制作部は、前記検出手段で検出された前記開始タイミン
グ情報及び終了タイミング情報を含む前記字幕文テキス
トに基づき、字幕番組データを自動制作することを特徴
とする。請求項７の発明の半自動型字幕番組制作システ
ムによれば、開始タイミング情報及び終了タイミング情
報を含む字幕文テキストを用いて、字幕番組データを自
動制作できる。

【００２８】請求項８の発明は、請求項５乃至請求項７
のいずれか１項記載の半自動型字幕番組制作システムに
おいて、前記字幕用書き起こしテキストの作成支援シス
テムは、低速再生された音声を聴き取って書き起こされ
且つ単位字幕文を表示時間順に配列した、前記字幕文テ
キストを画面上の第１表示領域に表示する表示手段を備
え、前記単位字幕文は、前記フレーズ区間内の前記スピ
ーチ音声に対応する字幕本文と、この字幕本文の開始点
及び終了点を表す開始及び終了タイミング情報と、話者
情報とからなり、前記表示手段は、前記提示タイミング
情報を表したタイムラインとこのタイムライン上に前記
表示時間順に配置した複数の映像とこの複数の映像に１
対１に対応させて前記タイムライン上に前記表示時間順
に配置した複数の字幕本文と前記タイムライン上に配置
した前記音声の波形とを、第２表示領域に表示したこと
を特徴とする。請求項８の発明の半自動型字幕番組制作
システムによれば、請求項４の効果と同様な効果が得ら
れる。

【００２９】

【発明の実施の形態】以下、本発明に係る字幕用書き起
こしテキストの作成支援システムの実施形態について説
明する。実施の形態に係る字幕用書き起こしテキストの
作成支援システムは、人手による制作機能と自動による
制作機能とを効果的に組み合わせた、半自動型字幕番組
制作システムに適用される。そこで、字幕用書き起こし
テキストの作成支援システムに先立って、まず、半自動
型字幕番組制作システムについて説明する。

【００３０】（半自動型字幕番組制作システム）図１は
本発明の字幕用書き起こしテキストの作成支援システム
を備えた半自動型字幕番組制作システムの構成図であ
る。この半自動型字幕番組制作システムは、ディスク記
録再生装置に収録してあるテレビ素材番組の映像、音
声、タイムコード（提示タイミング情報）を効果的に操
作し、スピーチ音声に対する字幕用テキストの書き起こ
し及び背景音などの付加情報データを効率的に入力する
機能と、これらテキストやデータを利用し、自動で字幕
画面作成及びタイミング付与を行う自動字幕番組データ
制作機能、及び字幕番組データ（以下、字幕データと略
称する。）の編集及び試写を行う編集・試写機能とを備
える。

【００３１】半自動字型字幕番組制作システムは、図１
に示すように、字幕用テキストや付加情報データを入力
するための字幕文テキスト書き起こし部３と、入力した
字幕文テキストや付加情報データに基づいて字幕データ
を自動的に制作する自動字幕番組データ制作部４と、作
成した字幕画面の編集や試写を行う字幕番組編集・試写
部５と、前記各部を統括制御する基本グラフィックユー
ザインターフェイスシステム部（以下、基本ＧＵＩシス
テム部と略称する。）６と、テレビ素材番組の映像、音
声などを指定規格で記録再生するディスク記録再生部
（以下、ＤＳＫＶＴＲと略称する。）２と、字幕文テキ
ストの書き起こしの編集を行う際に用いる表示部７と、
を備えて構成されている。

【００３２】自動字幕番組データ制作部４は、入力した
字幕文テキストや付加情報データから字幕画面を自動制
作する自動字幕画面作成システム部４１と、字幕画面の
開始終了タイミング用の自動同期システム部４２と、必
要ならば字幕文テキストを指定の文字数に低減する自動
要約システム部４３とを有している。

【００３３】字幕文テキスト書き起こし部３は、素材番
組の音声を聞き取って、字幕文テキストの書き起こしや
付加情報データを入力する機能を備え、さらに素材番組
の映像・音声の活用による、効果的な手動作業支援のた
めの機能を備え、本発明の字幕用書き起こしテキストの
作成支援システムに対応する。字幕文テキスト書き起こ
し部３は、ディスク記録再生制御機能と、情報表示機能
と、データ作成制御機能と、データ作成画面機能と、主
映像機能とを備える。

【００３４】ディスク記録再生制御機能は、素材番組の
映像・音声、タイムコードなどを、パーソナルコンピュ
ータのディスクに記録するとともに、記録された映像音
声などの再生及び特殊再生操作のための操作キー３ａを
備え、特にスピーチ区間では任意の低速再生を行うとと
もに、変速率（再生速度倍率）に応じたピッチコントロ
ールを行い、書き起こしに適した速度でかつ音程がほぼ
不変とする機能をも備えている。情報表示機能は、書き
起こし及び付加情報データ入力の手動作業を支援するた
め、素材番組の映像・音声、書き起こしテキストなどに
関する各種の情報を、タイムライン上にビジュアルに表
示する。データ作成制御機能は、書き起こしたテキスト
やスピーチ／ポーズの時間データ入力操作のための操作
キーを備え、該操作キーの操作に対応した動作をする。
データ作成画面機能は、作成したテキストや入力したデ
ータの表示・編集などのための画面を表示する。主映像
機能は、プレビュー画面として、現在作業位置の画像を
表示する。

【００３５】自動字幕番組データ制作部４は、表示時間
順に配列された字幕文テキストの中から、表示対象とな
る単位字幕文を表示時間順に順次抽出し、抽出された単
位字幕文を、所望の字幕提示形式に従う少なくとも１以
上の表示単位字幕文に変換する一方、この変換で得られ
た表示単位字幕文毎に、該当する開始・終了タイミング
情報を同期点として検出するが、この同期点検出にあた
り、当該表示単位字幕文に対応するスピーチ音声と表示
単位字幕文間の音声認識処理を含む同期検出技術を適用
することにより、該当する開始・終了タイミング情報を
同期点として検出し、この検出した開始・終了タイミン
グ情報を、前記変換で得られた表示単位字幕文毎に付与
するものである。

【００３６】字幕番組編集・試写部５は、自動字幕番組
データ制作部４で自動制作された字幕データを人手で編
集・試写するものであり、さらに、素材番組の映像・音
声、字幕データなどの高度活用による効果的な手動作業
支援のための特別の機能を備えている。字幕番組編集・
試写部５は、ディスク記録再生及び字幕データ制御機能
と、情報表示・字幕タイミング制御機能と、字幕データ
ページ編集操作機能と、字幕データ・映像表示機能と、
試写機能とを備える。

【００３７】ディスク記録再生及び字幕データ制御機能
は、自動制作した字幕データ及び記録された映像・音声
などに関して、指定時間、字幕ページ、字幕ブロックな
ど編集・試写作業支援用特殊表示操作のための専用操作
キーを備え、該専用操作キーの操作に対応した動作をす
る。情報表示・字幕タイミング制御機能は、字幕データ
編集の手動作業を支援するため、素材番組の映像、音
声、字幕データなどに関する各種の情報を、タイムライ
ン上にビジュアル表示する機能であり、特に、字幕デー
タについては、タイミング変更支援画面を表示し、タイ
ミング変更支援画面に対応した動作をする。字幕データ
ページ編集操作機能は、字幕データのページ単位編集の
ための専用操作キーを備え、該専用操作キーの操作に対
応した動作をする。字幕データ・映像表示機能は、映像
に重畳した指定字幕データ表示のための、操作キーを備
え、該操作キーの操作に対応した動作をする。試写機能
は、部分試写、通し試写など、試写形式の選択に必要な
操作キーを備え、該操作キーの操作に対応した動作をす
る。

【００３８】基本ＧＵＩシステム部６は、半自動型字幕
番組制作システムの一構成品として、ヒューマンインタ
ーフェース、内部の各システムのインターフェース・制
御、及び外部とのデータ入出力制御を行うとともに、自
動字幕番組データ作成機能のインターフェース・制御機
能も備えており、多様な番組の効率的な字幕番組制作を
行う字幕番組制作システムを統括するものである。

【００３９】次に、半自動型字幕番組制作システムの機
能構成の詳細について、図２のフローチャートを参照し
ながら説明する。

【００４０】まず、字幕番組制作のためのプロジェクト
を作成し（ステップＳ１）、映像、音声データなどから
なる映像ファイルを作成し（ステップＳ２）、次いで、
スピーチ者（話者）を登録する（ステップＳ３）。そし
て、映像、音声データの情報に基づいて、字幕文テキス
トの編集を行う（ステップＳ４）。字幕文テキストの編
集は、字幕文テキスト書き起こし部３による字幕文テキ
スト書起し機能によって行われる。この字幕文テキスト
書き起こし機能の詳細については、後述する。

【００４１】次に、自動字幕番組データ制作機能によ
り、自動要約・自動同期などを行い（ステップＳ５）、
編集された字幕文テキストを所定形式の字幕データに変
換する（ステップＳ６）。

【００４２】次いで、字幕番組データ編集・試写機能に
より、変換された字幕データの字幕素材を編集する（ス
テップＳ７）。このとき、字幕データページ一覧を表示
したり（ステップＳ８）、字幕データをページ単位編集
に利用した後（ステップＳ９）、編集された字幕素材を
デジタル変換する（ステップＳ１０）。字幕番組データ
編集・試写機能は、一応出来上がった字幕データを専門
知識を有する作業者が試写し、必要ならば修正するもの
であり、作業者がチェックし易い試写形態、字幕内容、
改行・改頁、タイミングなどに関する修正編集が行い易
いよう支援する機能を盛り込んである。送出／消去時
間、字幕本文、管理情報より構成された字幕データを字
幕素材と仮称する。『字幕素材編集』では、これを効率
的に編集する為の機能である。また、編集の補助とし
て、編集・試写画面を使用して、タイムライン上での字
幕タイミングの調整や、字幕を多重した画面上での字幕
ポジションの調整を行うことができる。字幕素材編集の
入出力は、文字放送のＮＡＢ形式のファイルで行う。こ
のファイルは、他の『ページ一覧』、『ページ利用』、
『デジタル形式変換』の入出力形式になる。

【００４３】（字幕文テキスト書き起こし機能の詳細）
次に、字幕文テキスト書き起こし機能の詳細について説
明する。この機能における主要な作業は、番組のスピー
チ音声を聞き取り、その内容を書起すとともに、その一
区切り（文に相当）に対してその開始・終了タイミング
と話者をデータ化するものである。したがって、字幕文
テキストを書起しし易くする支援機能として、作業者が
正しく番組のスピーチ音声を聞き取り、自分のペースで
書起しできるようにすることが基本であり、スピーチ音
声を聞き取り易く書き起し易いこと、話者・タイミング
を把握しやすいこと、書起しデータを簡単に修正できる
ことなどが重要である。

【００４４】このため、本システムの字幕文テキスト書
起し機能にはこのような手作業支援機能を盛り込んであ
る。この機能では字幕文テキストファイル（ＸＭＬ）の
編集を行う。字幕文テキストとは、範囲時間（ＩＮ Ｔ
ＩＭＥ（開始タイミングに対応），ＯＵＴ ＴＩＭＥ
（終了タイミングに対応））と話者、字幕文から構成さ
れたデータである。字幕文テキスト編集の補助として、
ＭＰＥＧ／ＡＶＩ映像ファイルを使用して、音声の聞き
取り、タイミングの調整、話者情報の修正などを行うこ
とができる。

【００４５】字幕文テキストの編集や各補助機能の操作
は、図３に示すメインWindowを使用して行われる。この
メインWindowは表示部７の画面上にある。Windowのサイ
ズは、例えば１２８０×１０２４である。メインWindow
は大きく分けて、四つのセクションに分かれている。一
つ目は、各種機能の呼び出しを行うメニュー領域Ｅ１で
あり、メニューバーとツールバーに用意された項目を実
行することにより、各種機能の呼び出しを行う。このメ
ニュー領域Ｅ１を使用しないと、呼び出せない機能が多
くある。二つ目は、ＭＰＥＧ／ＡＶＩ映像の制御領域Ｅ
２であり、ＭＰＥＧ／ＡＶＩ映像の表示領域や、時間枠
の取り出しボタン、ＭＰＥＧ／ＡＶＩ再生の開始ボタン
Ｂ２、停止ボタンＢ１などが用意されている。三つ目
は、字幕文テキストの編集領域Ｅ３であり、時間枠、話
者、字幕本文の入力を行う。四つ目は、画像と字幕文テ
キストなどの一覧領域Ｅ４であり、入力された字幕文テ
キストの内容や、ＭＰＥＧ／ＡＶＩ映像ファイルよりカ
ット変わりなどの画像一覧、及び音声関連波形などが表
示され、入力の補助を行う。また、ＭＰＥＧ／ＡＶＩ映
像ファイルの再生位置トラックバーが表示されており、
この位置を変えることにより、再生位置の変更が可能に
なる。

【００４６】映像制御セクションでは、映像ファイルの
再生に関するインターフェースが用意されている。映像
のサイズは、６４０×４８０である。タイムコードは、
プロジェクト新規作成の際に入力されたイニシャルタイ
ムを基準として、映像ファイルの再生位置を足した時間
である。なお、映像ファイルの再生位置は、２９．９７
フレームを１秒として扱う。

【００４７】再生ボタンＢ２は映像の再生スタートを行
い、停止ボタンＢ１は、映像の再生ストップを行う。停
止ボタンＢ１が実行されても、映像は消えない。再生位
置トラックバーは、現在映像ファイルのどの部分を再生
しているかを示す。また、トラックバーを動かすことに
より、再生位置を変更することも可能である。

【００４８】ＭＡＲＫ ＩＮボタンＢ３は、編集領域の
ＩＮ ＴＩＭＥの欄へ、現在の映像の時間をコピーす
る。ＭＡＲＫ ＯＵＴボタンＢ４は、編集領域のＯＵＴ
ＴＩＭＥの欄へ、映像の現在の時間をコピーする。繰り
返し再生ボタンＢ５は、指定期間の画像を繰り返し再生
する。停止ボタンＢ１又はＭＡＲＫ ＩＮボタンＢ３の
操作により、終了する。

【００４９】話速変換操作部Ｂ６は、映像を再生書き起
こしをする際におけるスピーチ音声のスピードを調節す
るもので、この操作部を調整することで、有声区間（ス
ピーチ区間）の伸張倍率を変化させることができる。＜
＜５秒ボタンＢ７は、映像の再生位置を前に５秒移動
し、５秒＞＞ボタンＢ８は、映像の再生位置を後ろに５
秒移動する。

【００５０】図４に示す編集セクションは、字幕用デー
タの入力や、入力後の編集を行う領域Ｅ３であり、入力
一覧領域Ｅ３１には、入力された内容が一覧表示され
る。この領域Ｅ３１を利用して、一単位（話者で認識）
を指定し、各作業を行う。領域Ｅ３２はページのＩＮ
ＴＩＭＥの設定を行い、領域Ｅ３３はページのＯＵＴ
ＴＩＭＥの設定を行う。前のページで設定した時間内に
含める場合には、前のページの時間と同じ値のままで、
確定する。領域Ｅ３４への話者設定は、ツール(T)メニ
ューの話者登録で登録した内容より、選択を行う。Ｅ３
０は書き起こしによよるテキスト入力部分であり、必要
ならばＢ１２、Ｂ１３、Ｂ１４で編集できる。切り取り
ボタンＢ１２、コピーボタンＢ１３は、選択された内容
を切り取り／コピーする。貼り付けボタンＢ１４は、切
り取り／コピー機能で記録された内容を指定の箇所の次
へ貼り付ける。

【００５１】追加ボタンＢ１０は、書き起こし・編集さ
れた内容を入力一覧の最後に追加する。挿入ボタンＢ１
１は、入力された内容を入力一覧で選択された一単位の
次へ挿入する。

【００５２】一覧領域セクションＥ４は、図５に示すよ
うに、映像ファイルと編集データの内容を一覧表示す
る。一画面で表示する幅は、ツール(T)のオプションで
選択された１２０秒、６０秒、３０秒のいずれかとな
る。画像は、映像ファイルより、一定間隔もしくはカッ
ト変わりなどの画像を抜き出して、表示する。画像のサ
イズは１６０×１２０、画像の間隔は全体幅が１２０秒
の時は２０秒、６０秒の時は１０秒、３０秒の時は５秒
となる。字幕本文は、編集領域セクションによって入力
された字幕本文の内容が表示される。枠の幅は時間幅を
表している。幅が狭く、字幕本文が表示しきれない場合
には省略される。話者の部分の枠をマウス等によるドラ
ッグで変更した場合には、対象字幕１ページの幅（時間
幅）の変更を、字幕本文の部分の枠をドラッグで変更し
た場合には、境界線の変更を行う。枠内がダブルクリッ
クされた際、編集領域セクションが編集途中でなけれ
ば、入力一覧で指定した内容を表示できる位置に移動す
る。図５に示す波形については、映像ファイルに記録さ
れている音声（音楽、効果音を含む）信号を処理し波形
化して、表示する。スピーチやポーズの位置を視覚的に
判断できるようにした支援機能である。

【００５３】このように、字幕文テキストを画面上の領
域Ｅ３に表示し、タイムコードに対応したタイムライン
ＴＬとこのタイムラインＴＬ上に配置した複数の画像と
この複数の画像に対応させてタイムラインＴＬ上に配置
した複数の字幕本文とタイムラインＴＬ上に配置した音
声の波形とを、領域Ｅ４に表示したので、字幕文テキス
トの編集が容易になる。

【００５４】次に、支援機能を活用した字幕文テキスト
書き起しと付加情報データ入力の、具体的処理手順の一
例を図６のフローチャートを参照しながら説明する。ま
ず、［ＰＬＡＹ］を押し、映像の再生を開始して、発話
タイミング（スピーチ音声の開始タイミング）を探す
（ステップＳ２１）。次いで、発話の確認点で、「書起
開始」ボタンを押す（ステップＳ２２）。このとき、ス
ピーチ区間の開始点をその時点におけるタイムコードに
よりメモリに記憶する。即ち、タイムコードによりスピ
ーチ音声の開始タイミング情報が得られる。

【００５５】次に、発話タイミングから一定時間だけテ
ープを巻き戻し、スロー再生を開始する（ステップＳ２
３）。スロー再生されたスピーチ音声を聞きながら、作
業者がスピーチ音声に対する字幕文テキストの書き起こ
し作業を行う（ステップＳ２４）。即ち、作業者は、キ
ーボード等を用いてスロー再生されたスピーチ音声を聞
きながら、スピーチ音声に対応する文字、記号、数字等
を入力して字幕文テキストを作成し、その字幕文テキス
トを画面上に表示させる。

【００５６】そして、スピーチ音声が終了と認識した
ら、適宜、テープを巻き戻して発話終了点（スピーチ音
声の終了タイミング）を探す（ステップＳ２５）。発話
終了点で「書起終了」ボタンを押す（ステップＳ２
６）。このとき、スピーチ区間の終了点をその時点にお
けるタイムコードによりメモリに記憶する。即ち、タイ
ムコードによりスピーチ音声の終了タイミング情報が得
られる。そして、スロー再生モードから通常再生モード
へ移行する。

【００５７】次いで、書き起こしが終了したかどうかを
判定し（ステップＳ２７）、書き起こしが終了した後
に、そのテキストの用字、用語チェック、要約支援を実
行して必要なテキスト全体に対して修正を行い（ステッ
プＳ２８）、その後背景音情報などをチェックし情報を
登録する（ステップＳ２９）。さらに、テキスト作成関
係の作業を終了し、自動字幕番組データ制作へ進む（ス
テップＳ３０）。

【００５８】このように、本システムにおける字幕文テ
キスト書き起し機能によれば、テレビ素材番組の映像、
音声、タイムコードをノンリニア操作が容易なディスク
記録・再生部２に収録するとともに、テレビ素材番組の
スピーチ区間のみをスロー再生し、スピーチ区間以外の
区間では通常スピードで再生することによって、作業者
はスピーチ音声が聴き取り易くなり、これによって、ス
ピーチ音声に対する字幕文テキストの書き起しやその開
始・終了タイミング情報及び背景音などの付加情報デー
タを効率的に入力することができる。

【００５９】また、実施の形態の半自動型字幕番組制作
システムによれば、字幕文書き起こし部３を用いて字幕
文テキストを人手によって書き起こし、自動字幕番組デ
ータ制作部４は、得られた字幕文テキストに基づき、字
幕番組データを自動制作し、字幕番組編集・試写部５
は、自動字幕番組データ制作部４で制作された字幕番組
データを編集・試写する。即ち、 人手による制作機能
と自動による制作機能とを効果的に組み合わせたこと
で、字幕番組制作を効率良く行うことができる。

【００６０】（字幕用書き起こしテキストの作成支援シ
ステム）次に、図６に示すフローチャートによる字幕文
テキスト書き起こし機能よりも書き起こしを容易にし
た、字幕用書き起こしテキストの作成支援システムにつ
いて説明する。本発明の字幕用書き起こしテキストの作
成支援システムは、字幕文テキスト書き起こし部３に対
応し、字幕文テキスト書き起こし部３の一実施形態であ
る。

【００６１】図７は本発明の字幕用書き起こしテキスト
の作成支援システムの一例を示すブロック図である。こ
の書き起こし作成支援システムは、可変速再生装置３１
と、フレーム分割部５１と、区間判定部５２と、有声区
間処理部５３と、無声区間処理部５４と、無音区間短縮
部５５と、有声区間抽出部５６と、ピッチ抽出部５７
と、ピッチ区間分割部５８と、有声区間ピッチ変換部５
９と、合成部６０とを備え、有声区間のみを低速で再生
し、また、低速再生における有声区間の伸張されたピッ
チ周期を再生速度に応じて元のピッチ周期に自動補正す
ることにより、スピーチ音声を聴き取り易く、字幕文テ
キストの書き起こしを容易にするとともに、スピーチ音
声の開始・終了を確認し易くするものである。可変速再
生装置３１には、スピーチ音声を低速再生するための操
作を行う再生キー３２と、字幕文テキストの書き起こし
開始を指示する開始キー３３と、字幕文テキストの書き
起こしの終了を指示する終了キー３４とが接続される。

【００６２】可変速再生装置３１は、図１のディスク記
録・再生部２に対応するものであり、既に記録されてい
るスピーチ音声である音声信号及びタイムコード（提示
タイミング情報）を所定の再生速度倍率で音声信号を低
速再生して、例えばデジタル形式の音声信号を伸張さ
せ、伸張された伸張ピッチ周期を持つ音声信号及び再生
速度倍率情報を有声区間ピッチ変換部５９に供給する。
ここで、再生速度倍率ｒは、通常の再生速度Ｖａに対す
る低速再生における再生速度Ｖｂの比（Ｖｂ／Ｖａ）で
あり、この再生速度倍率ｒは、例えば可変ボリューム等
で任意に可変設定することができる。

【００６３】フレーム分割部５１は、デジタル形式のス
ピーチ音声である音声信号及びタイムコードを取り込
み、音声信号を一定長のフレームに分割する。区間判定
部５２は、各フレーム毎に有声区間（スピーチ音声区間
に相当）、無声区間、無音区間の判定を行ない、有声区
間、無声区間、無音区間のそれぞれを抽出する。

【００６４】有声区間処理部５３は、区間判定部５２で
抽出された有声区間を処理するもので、有声区間抽出部
５６と、ピッチ抽出部５７と、ピッチ区間分割部５８
と、有声区間ピッチ変換部５９とからなる。有声区間抽
出部５６は、区間判定部５２で判定された有声区間を抽
出する。ピッチ抽出部５７は、有声区間抽出部５６で抽
出された有声区間から１ピッチ毎にピッチ周期を抽出す
る。なお、これらの処理で必要ならば、再生速度倍率ｒ
を適用する。このピッチ周期の抽出は、例えば特許第32
19868号に記載された技術を用いる。

【００６５】ピッチ区間分割部５８は、ピッチ抽出部５
７で抽出されたピッチ周期毎に有声区間の音声波形を分
割する。有声区間ピッチ変換部５９は、可変速再生装置
３１からの伸張された伸張ピッチ周期を持つ音声信号か
ら有声区間抽出部５６で抽出された有声区間に対応する
伸張有声区間を抽出し、再生速度倍率と各ピッチ毎のピ
ッチ周期とピッチ周期毎の音声波形とに基づき、伸張有
声区間を、該伸張有声区間の長さを変えずにピッチ周期
毎の音声波形を用いた区間に変換して、低速再生された
元のピッチ周期の有声区間を出力する。無声区間処理部
５４は、区間判定部５２で抽出された無声区間の音声信
号をファイルに格納する。無音区間短縮部５５は、区間
判定部５２で抽出された無音区間の内のポーズ区間が所
定長以上の場合に、再生速度倍率ｒに応じて、そのポー
ズ区間を短縮する。

【００６６】合成部６０は、有声区間ピッチ変換部５９
からの低速再生された元のピッチ周期の有声区間と、無
声区間処理部５４からの無声区間と、無音区間短縮部５
５からの短縮された無音区間とを接続合成して音声出力
として図示しない音声出力回路に供給する。この音声出
力回路は、スピーカ等を備えており、合成部６０からの
音声出力を取り込んで音声に変換しながら、外部に出力
する。開始キー３３及び終了キー３４の操作により入力
された開始・終了タイミング情報は、可変速再生装置３
１、有声区間処理部５３及び合成部６０を介して、表示
部７に出力される。

【００６７】次に、図７に示すブロック図及び図８、図
９に示すフローチャート、図１０、図１１に示すタイミ
ング図を参照しながら、この実施例の動作を説明する。

【００６８】まず、可変速再生装置３１は再生キー３２
を操作することにより、入力された音声信号を所定の再
生速度倍率で低速再生することにより音声信号を伸張さ
せ、伸張された伸張ピッチ周期を持つ音声信号を有声区
間ピッチ変換部５９に出力する。また、これと同時に、
フレーム分割部５１は、入力された音声信号をフレーム
と呼ばれる一定長、例えば３．３ｍｓを単位とし再生速
度倍率ｒの値に応じた値毎に切出し、各フレームを区間
判定部５２に転送させる（ステップＳＴ１）。

【００６９】この後、区間判定部５２はフレーム分割部
５１から出力されくる音声信号を各フレーム毎に自己相
関法や零クロス法などの方法で処理して各フレーム毎に
有声、無声、無音の判定を行なう。但し、この場合、人
が発する有声及び無声以外の入力音（例えば、低レベル
の雑音や背景音など）については、原則として無音とし
て処理する（ステップＳＴ２）。

【００７０】次いで、区間判定部５２は今回のフレーム
についての有声、無声、無音の判定結果と、前回のフレ
ームについての有声、無声、無音の判定結果とが同じで
あるかどうかを判定し（ステップＳＴ３）、これらが同
じ種類であれば、上述したフレームの切出し処理に戻っ
て同じ処理を繰り返し、また違う種類、例えば前回のフ
レームが有声区間であり、今回のフレームが無声区間で
あれば、それまで同じ種類の区間と判定されている音声
信号を図示しない処理バッファ回路に転送して格納させ
る（ステップＳＴ４）。

【００７１】これによって、図１１に示す如く、取り込
まれた音声が有声区間と、無声区間と、無音区間とに区
分されて処理バッファ回路に格納される。この後、区間
判定部５２は、処理バッファ回路に格納されている各音
声信号のうち、無音区間と判定された区間の中で、その
区間長が２５０ｍｓを単位とする再生速度倍率ｒ以上の
無音区間がポーズ区間（息継ぎ部分）と判定するととも
に、各ポーズ区間の間にある区間をフレーズ区間（一息
で発声される区間）とする（ステップＳＴ５）。そし
て、有声区間処理部５３は、各フレーズ区間の有声区間
と判定された区間に対し、図９に示す有声区間処理１０
を行なう（ステップＳＴ６）。

【００７２】この有声区間処理では、まず、有声区間抽
出部５６が、図１０（ａ）に示すような原音声の有声区
間Ｓを抽出する（ステップＳ１５）。この原音声の有声
区間Ｓは、各音声波形が順番に配列されたもので、図１
０（ｂ）に示すように、各音声波形が異なるピッチ周期
Ｔ_１，Ｔ_２，Ｔ_３…を持つ。この後、ピッチ抽出部５７
は、有声区間抽出部５６で抽出された原音声の有声区間
Ｓから１ピッチ毎にピッチ周期Ｔｎ（ｎ≧１で、Ｔ_１，
Ｔ_２，Ｔ_３…）を抽出する（ステップＳＴ１６）。そし
て、ピッチ区間分割部５８は、ピッチ抽出部５７で抽出
された各ピッチ周期Ｔｎ毎に、有声区間Ｓの音声波形を
分割する（ステップＳＴ１７）。

【００７３】次いで、有声区間ピッチ変換部５９には、
可変速再生装置３１からの伸張された伸張ピッチ周期を
持つ音声信号及び再生速度倍率ｒが入力される。そし
て、有声区間ピッチ変換部５９は、可変速再生装置３１
からの伸張された伸張ピッチ周期を持つ音声信号から有
声区間抽出部５６で抽出された有声区間Ｓに対応する伸
張有声区間Ｓ´を抽出する。この伸張有声区間Ｓ´の伸
張ピッチ周期Ｔｎ´（ｎ≧１で、Ｔ_１´，Ｔ_２´，Ｔ_３
´…）は、図１０（ｃ）に示すように、再生速度倍率
ｒ、即ち、通常の再生速度Ｖａに対する低速再生におけ
る再生速度Ｖｂの比（Ｖｂ／Ｖａ）に応じて、ピッチ周
期Ｔｎを伸張したものである。そして、有声区間ピッチ
変換部５９は、再生速度倍率ｒとピッチ周期Ｔｎとから
再生後の伸張ピッチ周期Ｔｎ´を求める（ステップＳＴ
１８）。即ち、ｒ＝Ｔｎ／Ｔｎ´であるから、Ｔｎ´＝
Ｔｎ／ｒとなる。

【００７４】次いで、有声区間ピッチ変換部５９は、再
生速度倍率ｒと各ピッチ毎のピッチ周期Ｔｎとピッチ周
期Ｔｎ毎の音声波形とに基づき、伸張有声区間Ｓ´を、
該伸張有声区間Ｓ´の長さを変えずにピッチ周期Ｔｎ毎
の音声波形を用いた区間に変換して、低速再生された元
のピッチ周期Ｔｎを持つ有声区間Ｓ″を出力する。この
有声区間Ｓ″の各音声波形は、次のようにして決定され
る。まず、有声区間Ｓ″の最初の波形Ｃ_１としてピッチ
周期Ｔ_１を持つ波形を選択する（ステップＳＴ１９）。
次の周期の波形Ｃ_２には、ピッチ周期Ｔ_１を持つ波形か
ピッチ周期Ｔ_２を持つ波形の何れかを選択する。このた
め、再生後のピッチ周期Ｔｎ´と再生前のピッチ周期Ｔ
ｎとの差Ｔｎ″を求める（ステップＳＴ２０）。そし
て、重複率ｘ＝Ｔｎ″／Ｔｎ´（最初はｎ＝１）を求め
（ステップＳＴ２１）、重複率ｙ＝Ｔ_ｎ＋１″／Ｔ
_ｎ＋１´を求める（ステップＳＴ２２）。この例では、
Ｔ_２″＝（Ｔ_１＋Ｔ_２）−Ｔ_１´となる。

【００７５】次いで、重複率ｘが重複率ｙ以上かどうか
を判定し（ステップＳＴ２３）、重複率ｘが重複率ｙ以
上である場合には、波形Ｃ_２としてピッチ周期Ｔｎを持
つ波形を選択し（ステップＳＴ２４）、重複率ｘが重複
率ｙ未満である場合には、波形Ｃ_２としてピッチ周期Ｔ
_ｎ＋１を持つ波形を選択する（ステップＳＴ２５）。こ
の例では、ｘ＜ｙであるから、波形Ｃ_２として、ピッチ
周期Ｔ_２を持つ波形を採用する。

【００７６】このようにして、伸張された伸張有声区間
について、全ての波形が決定したかどうかを判定し（ス
テップＳＴ２６）、全ての波形が決定していない場合に
は、ｎを１つずつインクリメントしながら、上述した処
理と同様な処理を行い、波形Ｃ_３としてピッチ周期Ｔ_２
を持つ波形を採用し、波形Ｃ_４としてピッチ周期Ｔ_３を
持つ波形を採用していく。全ての波形が決定した場合に
は、処理を終了し、処理データをファイルに格納する
（ステップＳＴ７）。そして、有声区間ピッチ変換部５
９は、ファイルから読み出した処理データ、即ち、低速
再生された元のピッチ周期を持つ音声信号を合成部６０
に供給する。

【００７７】また、上述した識別区間処理において（ス
テップＳＴ５）、処理対象となる区間が無声区間と判定
されれば、無声区間処理部５４はこの区間の音声信号を
ファイルに格納させる（ステップＳＴ８）。また、上述
した識別区間処理において（ステップＳＴ５）、処理対
象となる区間が無音区間と判定されれば、無音区間短縮
部５５はこの区間の区間長が再生速度倍率ｒを考慮した
所定値をこえたかどうかによってポーズ区間かどうか判
定し（ステップＳＴ９）、ポーズ区間であるときには、
単位字幕文と単位字幕文との区切り（句点）と判断し
て、有声区間が伸張された際に、再生速度倍率ｒに応じ
て、無音区間を短縮する（ステップＳＴ１０）。また、
上述した識別区間処理において（ステップＳＴ５）、無
音区間と判定さても、ポーズ区間でなければ（ステップ
ＳＴ９）、無音区間短縮部５５はこの短縮処理をスキッ
プする。この後、無音区間短縮部５５は処理済みの無音
区間の信号をファイルに格納させる（ステップＳＴ１
１）。以下、処理対象となる音声信号が無くなるまで
（ステップＳＴ１２）、上述した処理を繰り返し行な
う。

【００７８】さらに、合成部６０は、有声区間ピッチ変
換部５９からの低速再生された元のピッチ周期の有声区
間の音声信号と、無声区間処理部５４からの無声区間の
音声信号と、無音区間短縮部５５からの短縮された無音
区間の音声信号とを接続合成して音声出力として図示し
ない音声出力回路に供給する。そして、低速再生された
元のピッチ周期を持つたスピーチ音声を聞きながら、作
業者がスピーチ音声に対する字幕文テキストの書き起こ
し作業を行う。この場合、図１０及び図１１に示すよう
に、低速再生時には、第１有声区間、第２有声区間、第
３有声区間等の有声区間のみが元のピッチ周期で低速化
するので、スピーチ音声が聴き取りやすくなる。このた
め、字幕文テキストの書き起こしが容易になるととも
に、書き起こしの開始・終了タイミングの確認がし易く
なる。

【００７９】また、書き起こした字幕文テキストは表示
部７の画面上に表示される。この画面上における字幕文
テキストの編集は、図３から図５に示すものと同様であ
る。そして、書き起こしが終了した後に、そのテキスト
の用字、用語チェック、必要な場合は要約支援を実行し
て必要なテキストの修正を行い、その後背景音情報など
をチェックし情報を登録する。さらに、テキスト作成関
係の作業を終了し、自動字幕番組データ制作へ進む。

【００８０】このように、字幕用書き起こしテキストの
作成支援システムによれば、有声区間のみが低速で再生
され、また、低速再生における有声区間の伸張ピッチ周
期を再生速度に応じて元のピッチ周期に自動補正するの
で、スピーチ音声が聴き取り易くなり、字幕文テキスト
の書き起こしが容易になるとともに、スピーチ音声の開
始・終了が確認し易くなる。これにより、電子化原稿の
ない番組や背景音レベルの大きい番組などでも、字幕文
テキストを制作する必要がある場合にはこれを効率的に
作成することができる。また、聴き取りやすさを考慮し
た最低速化の場合、スピーチ部分は平均して３０％程度
までスピードダウンが可能であり、高速のスピーチ音声
などを大幅に聴きやすいものとすることができる。

【００８１】（第２の実施の形態）次に、図１２を参照
して、本発明の字幕用書き起こしテキストの作成支援シ
ステムの第２の実施の形態を説明する。第２の実施の形
態では、開始キー３３及び終了キー３４に代えて、タイ
ミング情報検出部６１を設け、開始・終了タイミング情
報を自動的に得るようにしたことを特徴とする。

【００８２】タイミング情報検出部６１は、有声区間抽
出部５６で抽出された有声区間とタイムコードとに基づ
き、フレーズ区間内の最初の有声区間の開始点に対応す
る開始タイミング情報とフレーズ区間内の最後の有声区
間の終了点に対応する終了タイミング情報とを検出す
る。なお、タイムコードは、フレーム分割部５１から区
間判定部５２を介して有声区間抽出部５６に入力される
ものとする。

【００８３】このような第２の実施の形態の字幕用書き
起こしテキストの作成支援システムによれば、タイミン
グ情報検出部６１は、最初、処理対象となっている有声
区間がポーズ区間直後の有声区間かどうかを判定し、ポ
ーズ区間直後の有声区間であれば、図１１に示すよう
に、第１有声区間の立ち上がりエッジから第１有声区間
の開始点Ｖ＿ｓｔを検出して、この開始点に対応するタ
イムコードｔ１（開始タイミング情報に対応）を検出す
る。また、そのフレーズ区間内の最後の有声区間の立ち
下りエッジから最後の有声区間終了点を検出してこの終
了点に対応するタイムコードｔｅ（終了タイミング情報
に対応）を検出する。そして、検出された開始及び終了
タイミング情報を合成部６０を介して表示部７に表示さ
せる。

【００８４】従って、開始タイミング情報及び終了タイ
ミング情報も得られるので、自動字幕番組制作システム
において、開始タイミング情報及び終了タイミング情報
を、該当する書き起こし単位文に付与する際に活用する
ことができる。

【００８５】

【発明の効果】以上説明したように、請求項１の発明の
字幕用書き起こしテキストの作成支援システムによれ
ば、有声区間ピッチ変換手段が、再生手段からの伸張さ
れた伸張ピッチ周期を持つ音声から区間抽出手段で抽出
された有声区間に対応する伸張有声区間を抽出し、再生
速度倍率と各ピッチ毎のピッチ周期とピッチ周期毎の音
声波形とに基づき、伸張有声区間を、該伸張有声区間の
長さを変えずにピッチ周期毎の音声波形を用いた区間に
変換する。即ち、有声区間のみが低速で再生され、ま
た、低速再生における有声区間の伸張ピッチ周期を再生
速度に応じて元のピッチ周期に自動補正するので、スピ
ーチ音声が聴き取り易くなり、字幕文テキストの書き起
こしが容易になるとともに、スピーチ音声の開始・終了
が確認し易くなる。

【００８６】請求項２の発明の字幕用書き起こしテキス
トの作成支援システムによれば、有声区間ピッチ変換手
段は、伸張ピッチ周期とピッチ周期との差と伸張ピッチ
周期との比を第１重複率とし、次の伸張ピッチ周期と次
のピッチ周期との差と次の伸張ピッチ周期との比を第２
重複率とし、第１重複率が第２重複率以上の場合はピッ
チ周期を持つ音声波形を採用し、第１重複率が第２重複
率未満の場合は次のピッチ周期を持つ音声波形を採用す
るので、低速再生における有声区間の伸張ピッチ周期を
元のピッチ周期に自動補正することができる。

【００８７】請求項３の発明の字幕用書き起こしテキス
トの作成支援システムによれば、提示タイミング情報に
基づき、各フレーズ区間毎に、フレーズ区間内の最初の
有声区間の開始点に対応する開始タイミング情報とフレ
ーズ区間内の最後の有声区間の終了点に対応する終了タ
イミング情報とを検出するので、開始タイミング情報及
び終了タイミング情報を含む字幕文テキストを得ること
ができる。

【００８８】請求項４の発明の字幕用書き起こしテキス
トの作成支援システムによれば、単位字幕文を表示時間
順に配列した字幕文テキストを画面上の第１表示領域に
表示し、提示タイミング情報を表したタイムラインとこ
のタイムライン上に表示時間順に配置した複数の映像と
この複数の映像に１対１に対応させてタイムライン上に
表示時間順に配置した複数の字幕本文とタイムライン上
に配置した音声の波形とを、第２表示領域に表示したの
で、字幕文テキストの編集が容易になる。

【００８９】請求項５の発明の半自動型字幕番組制作シ
ステムによれば、字幕用書き起こしテキストの作成支援
システムを用いて字幕文テキストを人手によって書き起
こし、自動字幕番組データ制作部は、字幕用書き起こし
テキストの作成支援システムを用いて得られた字幕文テ
キストに基づき、字幕番組データを自動制作し、字幕番
組編集・試写部は、自動字幕番組データ制作部で制作さ
れた字幕番組データを編集・試写する。即ち、 人手に
よる制作機能と自動による制作機能とを効果的に組み合
わせたことで、字幕番組制作を効率良く行うことができ
る。

【００９０】請求項６の発明の半自動型字幕番組制作シ
ステムによれば、請求項２の効果と同様な効果が得られ
る。請求項７の発明の半自動型字幕番組制作システムに
よれば、開始タイミング情報及び終了タイミング情報を
含む字幕文テキストを用いて、字幕番組データを自動制
作できる。請求項８の発明の半自動型字幕番組制作シス
テムによれば、請求項４の効果と同様な効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の字幕用書き起こしテキストの作成支援
システムを備えた半自動型字幕番組制作システムの構成
図である。

【図２】半自動型字幕番組制作システムの全体の処理を
示すフローチャートである。

【図３】書起し・編集のメイン画面の一例を示す図であ
る。

【図４】図３に示す書起し・編集のメイン画面内の編集
領域セクションの一例を示す図である。

【図５】図３に示す書起し・編集のメイン画面内の音声
関連信号の波形化表示の一例を示す図である。

【図６】半自動型字幕番組制作システムにおける書起し
処理手順の一例を示すフローチャートである。

【図７】本発明の字幕用書き起こしテキストの作成支援
システムの第１の実施の形態を示すブロック図である。

【図８】図７に示す字幕用書き起こしテキストの作成支
援システムの動作例を示すメインフローチャートであ
る。

【図９】図７に示す字幕用書き起こしテキストの作成支
援システムの動作例を示す有声区間処理ルーチンの一例
を示すフローチャートである。

【図１０】図７に示す字幕用書き起こしテキストの作成
支援システムに設けられた有声区間ピッチ変換部の動作
例を示すタイミング図である。

【図１１】図７に示す字幕用書き起こしテキストの作成
支援システムの動作例を示すタイミング図である。

【図１２】本発明の字幕用書き起こしテキストの作成支
援システムの第２の実施の形態を示すブロック図であ
る。

【符号の説明】

１ 半自動型字幕制作システム ２ ディスク記録・再生部 ３ 字幕文テキスト書き起こし部 ４ 自動字幕番組データ制作部 ５ 字幕番組編集・試写部 ６ 基本ＧＵＩシステム部 ３１ 可変速再生装置 ３２ 再生キー ３３ 開始キー ３４ 終了キー ５１ フレーム分割部 ５２ 区間判定部 ５３ 有声区間処理部 ５４ 無声区間処理部 ５５ 無音区間短縮部 ５６ 有声区間抽出部 ５７ ピッチ抽出部 ５８ ピッチ区間分割部 ５９ 有声区間ピッチ変換部 ６０ 合成部 ６１ タイミング情報検出部

───────────────────────────────────────────────────── フロントページの続き (71)出願人 000004352 日本放送協会 東京都渋谷区神南２丁目２番１号 (72)発明者 沢村 英治 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 門馬 隆雄 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 浦谷 則好 東京都港区芝２−31−19 通信・放送機構 内 (72)発明者 江原 暉将 東京都世田谷区砧一丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 大関 健二 東京都渋谷区宇田川町37番18号 財団法人 エヌエイチケイエンジニアリングサービ ス内 (72)発明者 白井 克彦 東京都港区芝２−31−19 通信・放送機構 内 Ｆターム(参考） 5C022 CA06 5C023 AA18 CA01 CA05 5D045 BA01

Claims (8)

【特許請求の範囲】
1. 【請求項１】 映像及び音声並びにこれらの提示タイミ
   ング情報を含んだ番組素材の前記音声を聴き取って前記
   音声に対する字幕文テキストの書き起こし作業を支援す
   るための字幕用書き起こしテキストの作成支援システム
   であって、 前記音声を所定の再生速度倍率で低速再生することによ
   り前記音声を伸張させる再生手段と、 前記音声を一定長のフレームに分割し、各フレーム毎
   に、スピーチ音声の区間である有声区間、無声区間、無
   音区間の判定を行ない、有声区間を抽出する区間抽出手
   段と、 この区間抽出手段で抽出された有声区間から各ピッチ毎
   にピッチ周期を抽出し、ピッチ周期毎に前記有声区間の
   音声波形を分割するピッチ区間分割手段と、 前記再生手段からの伸張された伸張ピッチ周期を持つ音
   声から前記区間抽出手段で抽出された有声区間に対応す
   る伸張有声区間を抽出し、前記再生速度倍率と前記各ピ
   ッチ毎のピッチ周期とピッチ周期毎の音声波形とに基づ
   き、前記伸張有声区間を、該伸張有声区間の長さを変え
   ずに前記ピッチ周期毎の音声波形を用いた区間に変換す
   る有声区間ピッチ変換手段と、を備えることを特徴とす
   る字幕用書き起こしテキストの作成支援システム。
2. 【請求項２】 請求項１記載の字幕用書き起こしテキス
   トの作成支援システムにおいて、 前記有声区間ピッチ変換手段は、前記再生速度倍率と前
   記各ピッチ毎のピッチ周期とに基づき各ピッチ毎の前記
   伸張ピッチ周期を求め、この伸張ピッチ周期と前記ピッ
   チ周期との差と前記伸張ピッチ周期との比を第１重複率
   とし、次の伸張ピッチ周期と次のピッチ周期との差と前
   記次の伸張ピッチ周期との比を第２重複率とし、前記第
   １重複率が前記第２重複率以上の場合は前記ピッチ周期
   を持つ音声波形を採用し、前記第１重複率が前記第２重
   複率未満の場合は前記次のピッチ周期を持つ音声波形を
   採用することを特徴とする字幕用書き起こしテキストの
   作成支援システム。
3. 【請求項３】 請求項１又は請求項２記載の字幕用書き
   起こしテキストの作成支援システムにおいて、 所定時間以上の無音区間を発声音の息継ぎ区間を意味す
   るポーズ区間とし、ポーズ区間と次のポーズ区間との間
   をフレーズ区間とし、前記提示タイミング情報に基づ
   き、各フレーズ区間毎に、フレーズ区間内の最初の有声
   区間の開始点に対応する開始タイミング情報とフレーズ
   区間内の最後の有声区間の終了点に対応する終了タイミ
   ング情報とを検出する検出手段を備えることを特徴とす
   る字幕用書き起こしテキストの作成支援システム。
4. 【請求項４】 請求項１乃至請求項３のいずれか１項記
   載の字幕用書き起こしテキストの作成支援システムにお
   いて、 低速再生された音声を聴き取って書き起こされ且つ単位
   字幕文を表示時間順に配列した、前記字幕文テキストを
   画面上の第１表示領域に表示する表示手段を備え、 前記単位字幕文は、前記フレーズ区間内の前記スピーチ
   音声に対応する字幕本文と、この字幕本文の開始点及び
   終了点を表す開始及び終了タイミング情報と、話者情報
   とからなり、 前記表示手段は、前記提示タイミング情報を表したタイ
   ムラインとこのタイムライン上に前記表示時間順に配置
   した複数の映像とこの複数の映像に１対１に対応させて
   前記タイムライン上に前記表示時間順に配置した複数の
   字幕本文と前記タイムライン上に配置した前記音声の波
   形とを、第２表示領域に表示したことを特徴とする字幕
   用書き起こしテキストの作成支援システム。
5. 【請求項５】 映像及び音声並びにこれらの提示タイミ
   ング情報を含んだ番組素材の前記音声を聴き取って前記
   音声に対する字幕文テキストの書き起こし作業を支援す
   るための字幕用書き起こしテキストの作成支援システム
   と、 この字幕用書き起こしテキストの作成支援システムを用
   いて得られた前記字幕文テキストに基づき、字幕番組デ
   ータを自動制作する自動字幕番組データ制作部と、 この自動字幕番組データ制作部で制作された字幕番組デ
   ータを編集・試写する字幕番組編集・試写部と、を備え
   た半自動型字幕番組制作システムであって、 前記字幕用書き起こしテキストの作成支援システムは、
   前記音声を所定の再生速度倍率で低速再生することによ
   り前記音声を伸張させる再生手段と、 前記音声を一定長のフレームに分割し、各フレーム毎
   に、スピーチ音声の区間である有声区間、無声区間、無
   音区間の判定を行ない、有声区間を抽出する区間抽出手
   段と、 この区間抽出手段で抽出された有声区間から各ピッチ毎
   にピッチ周期を抽出し、ピッチ周期毎に前記有声区間の
   音声波形を分割するピッチ区間分割手段と、 前記再生手段からの伸張された伸張ピッチ周期を持つ音
   声から前記区間抽出手段で抽出された有声区間に対応す
   る伸張有声区間を抽出し、前記再生速度倍率と前記各ピ
   ッチ毎のピッチ周期とピッチ周期毎の音声波形とに基づ
   き、前記伸張有声区間を、該伸張有声区間の長さを変え
   ずに前記ピッチ周期毎の音声波形を用いた区間に変換す
   る有声区間ピッチ変換手段と、を備えることを特徴とす
   る半自動型字幕番組制作システム。
6. 【請求項６】 請求項５記載の半自動型字幕番組制作シ
   ステムにおいて、 前記有声区間ピッチ変換手段は、前記再生速度倍率と前
   記各ピッチ毎のピッチ周期とに基づき各ピッチ毎の前記
   伸張ピッチ周期を求め、この伸張ピッチ周期と前記ピッ
   チ周期との差と前記伸張ピッチ周期との比を第１重複率
   とし、次の伸張ピッチ周期と次のピッチ周期との差と前
   記次の伸張ピッチ周期との比を第２重複率とし、前記第
   １重複率が前記第２重複率以上の場合は前記ピッチ周期
   を持つ音声波形を採用し、前記第１重複率が前記第２重
   複率未満の場合は前記次のピッチ周期を持つ音声波形を
   採用することを特徴とする半自動型字幕番組制作システ
   ム。
7. 【請求項７】 請求項５又は請求項６記載の半自動型字
   幕番組制作システムにおいて、 所定時間以上の無音区間を発声音の息継ぎ区間を意味す
   るポーズ区間とし、ポーズ区間と次のポーズ区間との間
   をフレーズ区間とし、前記提示タイミング情報に基づ
   き、各フレーズ区間毎に、フレーズ区間内の最初の有声
   区間の開始点に対応する開始タイミング情報とフレーズ
   区間内の最後の有声区間の終了点に対応する終了タイミ
   ング情報とを検出する検出手段を備え、 前記自動字幕番組データ制作部は、前記検出手段で検出
   された前記開始タイミング情報及び終了タイミング情報
   を含む前記字幕文テキストに基づき、字幕番組データを
   自動制作することを特徴とする半自動型字幕番組制作シ
   ステム。
8. 【請求項８】 請求項５乃至請求項７のいずれか１項記
   載の半自動型字幕番組制作システムにおいて、 前記字幕用書き起こしテキストの作成支援システムは、
   低速再生された音声を聴き取って書き起こされ且つ単位
   字幕文を表示時間順に配列した、前記字幕文テキストを
   画面上の第１表示領域に表示する表示手段を備え、 前記単位字幕文は、前記フレーズ区間内の前記スピーチ
   音声に対応する字幕本文と、この字幕本文の開始点及び
   終了点を表す開始及び終了タイミング情報と、話者情報
   とからなり、 前記表示手段は、前記提示タイミング情報を表したタイ
   ムラインとこのタイムライン上に前記表示時間順に配置
   した複数の映像とこの複数の映像に１対１に対応させて
   前記タイムライン上に前記表示時間順に配置した複数の
   字幕本文と前記タイムライン上に配置した前記音声の波
   形とを、第２表示領域に表示したことを特徴とする半自
   動型字幕番組制作システム。