JP2001282779A

JP2001282779A - 電子化テキスト作成システム

Info

Publication number: JP2001282779A
Application number: JP2000095446A
Authority: JP
Inventors: Terumasa Ebara; 暉将江原; Eiji Sawamura; 英治沢村; Takao Monma; 隆雄門馬; Takahiro Fukushima; 孝博福島; Ichiro Maruyama; 一郎丸山; Katsuhiko Shirai; 克彦白井
Original assignee: Mitsubishi Electric Corp; NEC Corp; Nippon Hoso Kyokai NHK; Telecommunications Advancement Organization; NHK Engineering Services Inc; Japan Broadcasting Corp
Current assignee: Mitsubishi Electric Corp; NEC Corp; National Institute of Information and Communications Technology; Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2000-03-30
Filing date: 2000-03-30
Publication date: 2001-10-12

Abstract

(57)【要約】【課題】原稿上の文字を文字認識して電子化された第
一テキストと、原稿を基に読み上げられた音声を音声認
識して電子化された第二テキストとから最適な第三テキ
ストを生成する。【解決手段】第一テキスト作成部１では原稿７上の文
字を文字認識して電子化された第一テキスト１１を生成
する。第二テキスト作成部３では、原稿を基に読み上げ
られた音声を音声認識して電子化された第二テキストを
生成する。ＤＰマッチングによるテキスト統合処理部５
では第一テキスト１１の単語ラティスと第二テキスト１
９の単語ラティスとから新たなラティスを生成するとと
もに、生成されたラティスにおけるノード間の各アーク
のコスト値を計算し、計算されたコスト値を用いて開始
ノードから終了ノードに至る最適経路を動的計画法によ
り求めて第三テキスト２３を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字テキストの認
識結果とこの文字テキストを基に発声された音声の認識
結果とを照合して最適な字幕用テキストを作成するのに
好適な電子化テキスト作成システムに関する。

【０００２】［発明の概要］本発明は、文字認識技術を
用いたアナウンス原稿の文字化テキスト（第一テキス
ト）と、音声認識技術を用いた原稿読み上げ音声の文字
化テキスト（第二テキスト）を素材として、文字認識誤
り、および音声認識誤りを除去した最適なテキスト（第
三テキスト）を自動制作するシステムに関し、両テキス
トに含まれ得る誤りの特徴を巧みに利用して相互に補完
・比較して、誤りを除去するようにしたものである。読
み上げ音声の自動文字化には大きなニーズがあり、これ
まで人手によるかなりの労力と時間を要していたが、そ
の自動化は今後の字幕制作手法の改善に寄与する。

【０００３】

【従来の技術】情報化社会と言われる中で、多くの情報
が種々の形態で利用されており、音声の形態で利用され
るものもある。特に放送分野では、ＡＭラジオ、ＦＭラ
ジオ放送は全て音声であり、テレビでも多くの情報が音
声で伝送されている。通常、これらの放送では、予め原
稿が作成され、その原稿をアナウンサなどが読み上げる
形態で伝えられる場合が非常に多い。

【０００４】そこで、これら音声情報の内、アナウンサ
などの情報だけでも簡易で確実にテキスト化できれば、
情報の保存や、編集、活字化等、多様な活用が可能とな
る。しかし、現状の技術では、音声認識誤りが生じるた
め、その修正に手間をとるという不具合がある。

【０００５】また、現在放送中のテレビニュース番組で
は、予めアナウンサ用の元原稿が作成され、その原稿を
利用して放送アナウンスを行っている。しかし、実際に
はその原稿に一部修正を行ったものを原稿として放送ア
ナウンスを行っている。

【０００６】ところで、現在、テレビ放送番組に対して
字幕放送を拡充して欲しいとの要請が高まってきてい
る。この字幕放送用テキストを自動作成するシステムと
しては、従来、尾上、今井、安藤による『記者原稿を用
いたニュース音声認識結果の修正法；日本音響学会講演
論文集、平成１０年３月、ｐ１１〜ｐ１２』が知られて
いる。この従来例は、予め電子化された記者原稿を前提
とし、アナウンサの発生したニュース音声の認識結果を
電子化されていた前記記者原稿によって修正することに
より、認識率の改善を図ろうとするものである。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た従来例では、予め作成済みの電子化された原稿を準備
しておかねばならず、原稿の文字認識とこの原稿の読み
上げの音声認識とから字幕用テキストを自動生成するこ
とはできない。

【０００８】なお、文字認識と音声認識とを組み合わせ
たものとしては、特開平４−２９７９７２号公報に記載
の「文字認識訂正装置」や、特開平１０−８３１９５号
公報に記載の「入力言語認識装置及び入力言語認識方
法」がある。

【０００９】しかし、特開平４−２９７９７２号公報に
記載の技術は、文字認識結果に変更が生じた場合に、変
更部分を音声入力し、この入力音声を音声認識して文字
認識結果とマッチングさせることで、文字の変更を可能
にするものであり、この技術を字幕用テキストの自動作
成等に直接適用することはできない。また、特開平１０
−８３１９５号公報に記載の技術は、文字認識手段の認
識結果から認識文法を自動的に生成することによって、
予め認識文法を用意せずとも音声認識を可能にさせるも
のであり、この技術も字幕用テキストの自動作成に直接
適用することはできない。

【００１０】本発明は上記事情に鑑み、原稿上の文字を
文字認識して電子化された第一テキストと、原稿を基に
読み上げられた音声を音声認識して電子化された第二テ
キストとから文字認識誤りおよび音声認識誤りを共に取
り除いた最適な第三テキストを生成することのできる電
子化テキスト作成システムを提供することを目的として
いる。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに本発明者は鋭意検討の上、以下のような知見を得
た。

【００１２】すなわち、本発明における電子化テキスト
作成システムは、字幕用テキストの作成に用いて好適な
システムであり、例えば、「生きもの地球紀行」のよう
な情報番組の字幕作成を直接のターゲットとしている。
これらの番組の字幕制作は、一般にオフラインで行われ
るとともに、そのアナウンス内容はかなり台本原稿に忠
実に行われていることに着目した。そこで、印刷テキス
トである台本原稿の文字認識による電子化テキストをメ
インとし、放送アナウンスの音声認識による電子化テキ
ストをサブとして、これら両電子化テキストの現行化に
おける認識精度や誤りの特徴を十分考慮して、より精度
の高い実用的な字幕用の電子化テキストの自動生成を目
指すものである。

【００１３】両電子化テキストの現行販売製品における
認識精度は、例えば音声認識による電子化テキストでは
単語認識率が約８５％、印刷原稿の文字認識による電子
化テキストでは文字認識率が約９９．７％以上と、後者
の認識精度が格段に高い。

【００１４】さらに、音声認識による電子化テキスト生
成過程は、音声を発音記号列として認識し、この発音記
号列をかな漢字変換するものであり、誤りはこの両段階
で生じることから、精度がより高い発音記号列レベルで
の情報も活用して、より精度の高い実用的な字幕用電子
化テキストの自動生成を可能にするものである。

【００１５】本発明は上述したような知見の基になされ
たものであり、請求項１では、原稿上の文字を文字認識
して電子化された第一テキストを生成する第一テキスト
生成手段と、前記原稿を基に読み上げられた音声を音声
認識して電子化された第二テキストを生成する第二テキ
スト生成手段と、生成された第一テキストの単語ラティ
スと第二テキストの単語ラティスとから新たなラティス
を生成するとともに生成されたラティスにおけるノード
間の各アークのコスト値を計算する機能、および計算さ
れたコスト値を用いて開始ノードから終了ノードに至る
最適経路を動的計画法により求めて第三テキストを生成
する機能を有する第三テキスト生成手段とを備えたこと
を特徴としている。

【００１６】請求項２では、原稿上の文字を文字認識し
て電子化された第一テキストを生成する第一テキスト生
成手段と、前記原稿を基に読み上げられた音声を音声認
識して電子化された第二テキストを生成する第二テキス
ト生成手段と、前記第一テキストと第二テキストとの差
の分析によって得られた処理ルールを蓄積する処理ルー
ル蓄積手段と、この処理ルールに基づいて前記第一テキ
ストと第二テキストとから最適な第三テキストを生成す
る第三テキスト生成手段とを備えたことを特徴としてい
る。

【００１７】請求項３では、請求項１または請求項２に
記載の電子化テキスト作成システムにおいて、前記第一
テキストと第二テキストとの差分を検出し、この差分に
より第一テキストおよび／または第二テキストを修正す
る修正手段を設け、修正後の第一テキストおよび／また
は第二テキストを前記第三テキスト生成手段に供給する
ことを特徴としている。

【００１８】請求項４では、請求項１乃至請求項３に記
載の電子化テキスト作成システムにおいて、第一テキス
ト、および第２テキストの各形態素解析を実行する手段
を設け、形態素解析の結果を第三テキストの作成に反映
させることを特徴としている。

【００１９】請求項５では、請求項２乃至請求項４に記
載の電子化テキスト作成システムにおいて、前記第三テ
キスト生成手段の知識処理によって生成された第三テキ
ストの作成の際に適用した処理ルールを前記第一テキス
ト作成部および／または第二テキスト作成部の認識辞書
に反映させることを特徴としている。

【００２０】

【発明の実施の形態】＜第１の実施形態＞図１は本発明
による電子化テキスト作成システムが適用された字幕用
テキスト作成システムの第１の実施形態を示すブロック
図である。

【００２１】第１の実施形態の字幕用テキスト作成シス
テムは、第一テキスト作成部１と、第二テキスト作成部
３と、ＤＰマッチングによるテキスト統合処理部５とを
備えている。

【００２２】第一テキスト作成部１は、文字認識対象と
なる台本７上のイメージを読み取ってイメージデータを
生成するスキャナー部９と、読み取られたイメージデー
タを１文字単位で切り出し、切り出された文字イメージ
データと文字認識辞書（図示せず）に登録されている基
準文字データとをパターンマッチング処理して文字を認
識し、文字イメージデータに対応する文字コード（最も
近い第１文字コード、次に近い第２文字コードなど）を
生成し、これを第一テキスト１１として出力するテキス
ト変換部１３とから構成されている。

【００２３】第二テキスト作成部３は、アナウンサ１５
が前記台本７を基に読み上げた音声を取り込んでＡ／Ｄ
変換する処理、デジタル化した音声データに基づいて音
響特徴量を抽出する処理、抽出された音響特徴量と音声
認識辞書（図示せず）に登録されている基準音声データ
とをパターンマッチング処理して音声を認識して複数の
認識データ（最も近い第１データ、次に近い第２データ
など）を生成する処理を実行する音声認識部１７と、認
識された音声データを漢字変換して文字コード（最も近
い第１文字コード、次に近い第２文字コードなど）を生
成し、これを第二テキスト１９として出力する漢字変換
部２１とから構成されている。

【００２４】ＤＰマッチング法によるテキスト統合処理
部５は、第一テキスト１１と第二テキスト１９との各ラ
ティスから新しいラティスを生成して統合認識結果を生
成する処理、生成された統合認識結果のアークを決定す
る処理、決定された各アークのコスト値を求める処理、
求められたコスト値を利用して開始ノードから終了ノー
ドに至る最適経路を動的計画法を用いて求めこれを第三
テキストとして出力する処理を実行する。

【００２５】次に第１の実施形態の動作を図２乃至図５
を参照しつつ系統的に説明する。

【００２６】第一テキスト作成部１において、台本７が
スキャナー９にセットされて文字認識処理が開始される
と、スキャナー９によって台本７上のイメージが読み取
られてイメージデータが生成され、テキスト変換部１３
に出力される。

【００２７】テキスト変換部１３では、読み取られたイ
メージデータが１文字単位で切り出された後、切り出さ
れた文字イメージデータと文字認識辞書（図示せず）に
登録されている基準文字データとがパターンマッチング
処理されて文字認識が実行される。そして、文字イメー
ジデータに対応する文字コード（最も近い第１文字コー
ド、次に近い第２文字コードなど）が生成され、第一テ
キスト１１としてＤＰマッチング法によるテキスト統合
処理部５へ出力される。

【００２８】一方、台本７を基にアナウンサ１５が読み
上げた音声データは第二テキスト作成部３の音声認識部
１７において音声認識される。この音声認識において
は、デジタル化された音声データが音響分析され、音響
特徴量が求められる。抽出された音響特徴量は音声認識
辞書に登録されている基準音声データとパターンマッチ
ングされ、その結果、複数の認識データ（最も近い第１
認識データ、次に近い第２認識データなど）が生成され
る。生成された認識データは漢字変換部２１に供給さ
れ、認識された音声データが漢字変換されて文字コード
（最も近い第１文字コード、次に近い第２文字コードな
ど）が生成され、第二テキスト１９としてＤＰマッチン
グ法によるテキスト統合処理部５へ出力される。

【００２９】＜ＤＰマッチング法によるテキスト統合処
理部５におけるテキスト修正処理＞次に、ＤＰマッチン
グ法によるテキスト統合処理部５に入力された第一テキ
スト１１および第二テキスト１９から、第三テキスト２
３を作成する手法について図２のフローチャートを参照
しつつ説明する。前述したように、第一テキスト１１は
文字認識を主として得られたもの、第二テキスト１９は
音声認識を主として得られたものであり、これら第１テ
キスト１１、第二テキスト１９を統合して誤り率を削減
した第三テキスト２３を得る方法である。

【００３０】今、原稿として「Ｏ１５７と、Ｏ１５８」
という文字列を考える。これを文字認識した結果、図３
に示すような単語ラティスが得られたものとする。一
方、この原稿を読み上げた「オーイチゴーナナトオーイ
チゴーハチ」という音声を音声認識した結果、図４に示
すような単語ラティスが得られたものとする。ここで、
図３、図４において、ノード０は開始ノードであり、ノ
ード１は終了ノードを示す。本実施の形態は、以下のよ
うに両単語ラティスを統合化して最適な第三テキスト２
３を作成する。

【００３１】先ず、これら２つのラティスのノードのペ
アを新たなノードとする新しい統合認識結果（新しいラ
ティス）を作成する（ステップＳＴ１）。従って、統合
認識結果のラティスのノード総数は文字認識結果による
ラティスのノード総数（＝７）と音声認識結果によるラ
ティスのノード総数（＝６）の積になる。上記の例の場
合、４２個のノードとなる。

【００３２】統合認識結果のラティスのノード番号は以
下のようにして決定する。文字認識結果のラティスのノ
ード番号ｉと音声認識結果のラティスのノード番号ｊの
ペアに対する統合認識結果のラティスのノード番号をｋ
とすると、

【数１】ｋ＝ｉ＊n_onsei_node＋ｊ但し、n_onsei_node：音声認識結果のノードの総数統合認識結果の開始ノード番号はゼロであり、終了ノー
ド番号は、n_onsei_node＋１となる。

【００３３】次に、統合認識結果のアークは以下のよう
にして構成する（ステップＳＴ３）。文字認識結果のア
ークは始点ノード番号ｉ、終点ノード番号ｊ、語形ｗの
３つの組で構成される。音声認識結果のアークも同様
に、始点ノード番号ｉ’、終点ノード番号ｊ’、語形
ｗ’の３つの組で構成される。

【００３４】これら文字認識結果および音声認識結果の
２つのアークから統合認識結果のアークを３種類構成す
る。第１のアークは（ｗ，ｗ’）なる語形を持つアーク
である。このアークの始点ノード番号は、

【数２】ｋ＝ｉ＊n_onsei_node＋ｉ’ であり、終点ノード番号は、

【数３】ｋ＝ｊ＊n_onsei_node＋ｊ’ である。第２のアークは文字認識結果の単語をスキップ
する場合であり、（“＊”，ｗ）なる語形を持つ。この
アークの始点ノード番号は、

【数４】ｋ＝ｊ＊n_onsei_node＋ｉ’ であり、終点ノード番号は第１のアークと同じである。
第３のアークは音声認識結果の単語をスキップする場合
であり、（ｗ，“＊”）なる語形を持つ。このアークの
始点ノード番号は、

【数５】ｋ＝ｉ＊n_onsei_node＋ｊ’ であり、終点ノード番号は第１のアークと変わらない。

【００３５】この結果、統合認識結果のアークの総数
は、文字認識結果のアークの総数と音声認識結果のアー
クの総数の積の３倍となる。上記の例の場合は、８＊９
＊３＝２１６個のアークが構成される。

【００３６】次に、統合認識結果のアークには語形
（ｗ，ｗ’）から計算されるコスト値が付与される（ス
テップＳＴ５）。コスト値の計算方法としては、例え
ば、以下の方法がある。

【００３７】

【数６】ｃ＝length（ｗ）＋length（ｗ’）−２＊ｐｔ但し、length（ｗ）：ｗの文字数ｐｔ：ｗとｗ’の間の一致する文字数である。ｃの最大値は、length（ｗ）＋length（ｗ’）
であり、最小値はゼロである。

【００３８】統合認識結果としてのラティス上で、上記
コスト値を利用して、開始ノードから終了ノードに至る
最適経路をＤＰマッチング法（動的計画法）を用いて求
め、統合認識結果とする。

【００３９】図５は、図３のラティスと図４のラティス
とから統合された統合認識結果を示すラティスの内、最
適経路のラティスのみを示している。図５に示されるよ
うに、正解の単語列が得られており、さらに、音声認識
結果にはなかった「、」が復元されているのが分かる。

【００４０】＜第２の実施形態＞図６は本発明による電
子化テキスト作成システムが適用された字幕用テキスト
作成システムの第２の実施形態の構成を示すブロック図
である。なお、図６において、図１と同一構成部分に
は、同一符号を付してその説明は省略する。

【００４１】図６に示すように、第２の実施形態におけ
る字幕用テキスト作成システムは、第一テキスト作成部
１と、第二テキスト作成部３と、知識処理によるテキス
ト統合処理部３１Ａと、処理ルール３３Ａとを備え、文
字認識により得られた第一テキスト１１と音声認識によ
り得られた第二テキスト１９とを照合し、処理ルールに
よって最適な第三テキスト３５Ａを得るようにしたもの
である。

【００４２】知識処理によるテキスト統合処理部３１Ａ
は、供給された第一テキスト１１と、第二テキスト１９
とを処理ルール３３Ａに基づいて知識処理するもので、
以下のような考え方を基礎として設計されたものであ
る。

【００４３】《第２の実施形態における知識処理の考え
方》アナウンス用の元原稿に加えられる修正の主なもの
は、文章の追加、削除、表現の変更、文の順序変更など
である。一方、実際の放送アナウンスを忠実に文字化し
た第二のテキストと修正済みアナウンス原稿との相違と
して考えられる事項は、原稿と異なるアナウンサによる
「えー」、「あー」などの挿入、「言い間違いの言い直
し」の前の言い間違い、言い間違い、原稿の読み飛ばし
などである。

【００４４】原稿の文字認識による第一テキスト１１に
対して、第二テキスト１９のみに存在する部分は、第一
テキスト１１からみると追加分であり、第一テキスト１
１のみにあり第二テキスト１９に存在しない部分は、第
一テキスト１１からみると読み飛ばし分といえる。

【００４５】第二テキスト１９での「えー」、「あー」
などの追加分は、このようなルールを設定した処理ソフ
トにより第二テキスト１９から削除する。

【００４６】言い間違い部分は、第一テキスト１１と第
二テキスト１９とをラフ比較し、第一テキスト分で置換
するが、追加分でないことを前提とする。第二テキスト
１９における「言い間違いの言い直し」の前の言い間違
いは、先ず、追加分として把握する。そして、その直後
の「言い直し」が第一テキスト１１にあることを前提
に、「言い直し」部分に対する「言い直し」の前の言い
間違い部分の近似度を求め、それが近い場合は、アナウ
ンスの間違いとしてこの部分は第一テキスト１１を採用
し、必要な場合には第二テキスト１９に加える。

【００４７】図７は処理ルール３３Ａの一例を示したも
ので、第一テキスト１１と第二テキスト１９との間の差
の分析事例に対して構成された処理ルールを示してい
る。具体的には、ルール１は第一テキストに対し加入さ
れた第二テキスト１９上の語句に対して適用されるルー
ルであり、次の処理ルール１Ａ〜１Ｃからなる。

【００４８】処理ルール１Ａは、「えー」、「あー」な
どの文頭、または読点の後の加入分は、第二テキストか
ら削除するというルールである。

【００４９】処理ルール１Ｂは、第二テキストでの「言
い間違いの言い直し」の前の言い間違いは、先ず加入分
として把握する。そして、その直後の「言い直し」が第
一テキストにあることを前提に、「言い直し」部分に対
する「言い直し」の前の言い間違い部分の近似度を求
め、それが近い場合は不要な加入分とみなして、第二テ
キストから削除する、というルールである。

【００５０】処理ルール１Ｃは、処理ルール１Ａ，１Ｂ
を適用後、第二テキストの該当語句を第一テキストの該
当語句に挿入するというルールである。

【００５１】処理ルール２および処理ルール３は、処理
ルール２Ａ，２Ｂ，２Ｃ間、処理ルール３Ａ，３Ｂ間の
差異を的確に判断できないので無視するというルールで
ある。

【００５２】すなわち、処理ルール２は、第一テキスト
１１に対して第二テキスト１９上に存在する語句は無視
するというもので、処理ルール２Ａは、原稿の読み飛ば
し、処理ルール２Ｂはアナウンス原稿としての削除、処
理ルール２Ｃは音声の非認識であり、これらの事例は無
視することとする。また、処理ルール３は、第一テキス
トの語句に対応する第二テキスト上の語句で異なるもの
は無視するというルールであり、処理ルール３Ａは、ア
ナウンス原稿の書換え、処理ルール３Ｂは、音声の誤認
識・誤変換の場合であり、これらは無視することとす
る、というルールである。

【００５３】また、処理ルール４は、第一テキスト１１
の語句に対応する第二テキスト１９上の語句が同じで、
順序が異なるものについての処理を示しており、その
内、処理ルール４Ａは、アナウンス原稿の語句順の入れ
替えの場合には、その都度、判定して第二テキストの順
となるよう語句を入れ替えるというルールである。

【００５４】次に第２の実施形態の動作を具体的に説明
する。

【００５５】台本７からの文字認識により、「大会関係
者のビザの取り扱いなどについて意見を交わすことにな
りました。」という第一テキスト１１が得られ、また、
アナウンサ１５からの音声認識により、「えー大会関係
者の膝の取り扱いなどについて委員会で意見を交わすこ
とになりました。」という第二テキスト１９が得られた
ものとする。

【００５６】上述した第一テキスト１１と第二テキスト
１９のみによる第三テキスト生成においては、先ず、句
点、場合によっては読点を目安に比較区分を設定し、両
テキスト間の語句の対応関係を判定する。

【００５７】また、処理ルール４Ａに該当する事例があ
れば、第一テキスト１１を変更し新たに第一テキスト１
１とする。

【００５８】次に、両テキスト間で、語句の合致箇所と
範囲を検出し、判定、処理の新たな区分とする。

【００５９】そして、新たな区分毎に両テキストの相違
を抽出判定し、第一テキストに対して図７に示す処理ル
ールを適用する。

【００６０】上述のような処理ルールを適用することに
より、「大会関係者のビザの取り扱いなどについて委員
会で意見を交わすことになりました。」という第三テキ
スト３５Ａを生成することができる。

【００６１】＜第３の実施形態＞ところで、既存の一般
的な文字認識、音声認識システムでは、そのシステムに
設定された最適な単一テキストが出力されるようになっ
ている。しかし、文字認識、音声認識システムにおいて
認識・変換プロセスで誤りが発生し、第一テキストと第
二テキストが台本、アナウンスに忠実でない場合があ
る。

【００６２】特に、音声認識・変換プロセスを行う第二
テキストでは、前述したように誤りが多いが、認識プロ
セスまでの誤りは変換プロセスでの誤り分だけ少ないこ
とになる。

【００６３】そこで、第３の実施形態では、音声認識レ
ベルから得られる発音記号列情報をも活用し、より忠実
なテキストとなるように、第一、第二テキストを修正し
た後、知識処理によるテキスト統合処理部３１Ｂ（図８
参照）でさらに処理するものである。ここでの修正は、
第一テキストについては、パターン類似な文字、第二テ
キストでは同音異義語のようなものを主な対象とする。
これらの処理は、図６に示す知識処理によるテキスト統
合処理部３１Ａのように、まとめて行うことが可能であ
る。

【００６４】なお、第二テキストには音声認識・変換過
程などから得られる何らかの時間情報が有るものとし、
そのポーズなどから文単位などの区分が可能なものとな
る。

【００６５】図８は第３の実施形態の構成を示すブロッ
ク図である。なお、図８において、図１と同一構成部分
には、同一符号を付してその説明は省略する。

【００６６】図８に示すように、第３の実施形態におけ
る字幕用テキスト作成システムは、第一テキスト作成部
１と、第二テキスト作成部３と、第一テキスト修正部４
１と、第二テキスト修正部４３と、修正点検出部４５
と、知識処理によるテキスト統合処理部３１Ｂと、処理
ルール３３Ｂとを備え、文字認識により得られた第一テ
キスト１１と音声認識により得られた第二テキスト１９
とをそれぞれ修正して修正第一テキスト４６と修正第二
テキスト４８とを得た後、これらを照合し、処理ルール
３３Ｂによって最適な第三テキスト３５Ｂを得るように
したものである。

【００６７】第一テキスト修正部４１は、第一テキスト
１１をその読みに相当する発音記号列化する発音記号列
化部５１と、修正テーブル５３を用いて発音記号列化さ
れた第一テキストを修正する修正部５５と、修正された
発音記号列を漢字変換してテキスト化する漢字変換部５
７と、漢字変換部５７から出力されるテキストを第一テ
キスト１１と比較・修正して修正第一テキスト４６を生
成する修正第一テキスト部４７とを備えている。

【００６８】第二テキスト修正部４３は、第二テキスト
作成部３の音声認識部１７の音声認識処理で得られた発
音記号列を取り込む発音記号列化部６１と、その発音記
号列を修正する修正部６３と、修正された発音記号列を
漢字変換してテキスト化する漢字変換部６５と、漢字変
換部６５から出力されるテキストを第二テキスト１９と
比較・修正して修正第二テキスト４８を生成する修正第
二テキスト部４９とを備えている。

【００６９】修正点検出部４５は、前記第一テキスト１
１の発音記号列と第二テキスト１９の発音記号列とを比
較してその差分を検出して各修正部５５，６５に供給す
ると共に、これらの差分を修正点７３として知識処理に
よるテキスト統合処理部３１Ｂに供給する比較部７１を
備えている。

【００７０】次に第３の実施形態の動作を図１０のフロ
ーチャートを参照して説明する。なお、第一テキスト作
成部１および第二テキスト作成部３の各処理は第１の実
施形態と同様であるため、説明は省略する。

【００７１】第一テキスト作成部１では、スキャナー９
での読み取りミスや、テキスト変換部１３での変換間違
いが発生する。この発生し易いミスや変換間違いについ
ては第一テキスト修正部４１の修正テーブル５３に予め
保存されているものとする。

【００７２】第一テキスト修正部４１の発音記号列化部
５１では、第一テキスト１１がその読みに相当する発音
記号列化される一方、第二テキスト修正部４３の発音記
号列化部６１では、第二テキストの発音記号列を音声認
識部１７より取り込む（ステップＳＴ１１）。修正点検
出部４５の比較部７１では、両テキストの比較区分の設
定と対応関係の判定処理がされ各発音記号列が比較さ
れ、その差分が抽出される（ステップＳＴ１３）。

【００７３】第一テキスト修正部４１の修正部５５で
は、前記差分に対して修正テーブル５３を参照して、例
えばパターン類似な文字等の修正を行う。この修正は、
前記差分に対する処理例が修正テーブル５３に存在する
場合にのみ限定的に行われるものである。こうして修正
された発音記号列は漢字変換部５７で漢字に変換され、
さらに第一修正テキスト部４７において、第一テキスト
１１と比較・修正された後、修正第一テキスト４６とし
て知識処理によるテキスト統合処理部３１Ｂに供給され
る。

【００７４】一方、第二テキスト修正部４３でも同様
に、前記差分を取り込んで、第二テキスト１９の発音記
号列が、所定の近似度を有し、かつ異なる場合には、第
一テキスト１１から得た発音記号列で置換された後、漢
字変換され、さらに、第二修正テキスト部４９におい
て、第二テキスト１９と比較・修正された後、修正第二
テキスト４８として知識処理によるテキスト統合処理部
３１Ｂに供給される。また、同時に第一、第二の両テキ
ストに関わる比較部７１の結果も分かるので、この情報
も修正点７３として知識処理によるテキスト統合処理部
３１Ｂに供給される。

【００７５】知識処理によるテキスト統合処理部３１Ｂ
では修正第一テキスト４６と修正第二テキスト４８に対
して処理ルール３３Ｂを適用して第三テキスト３５Ｂを
生成する（ステップＳＴ１５〜ＳＴ２１）。

【００７６】この場合、図９に示す処理ルール３３Ｂと
しては、図７に示した処理ルール３３Ａとは以下の点が
相違する。

【００７７】処理ルール２Ｂは、修正第二テキスト４８
のアナウンスに対する忠実度が高くなるので、該当部分
の語句を修正第一テキスト４６から削除するという処理
にする。

【００７８】また、処理ルール２Ｃは、発音記号列レベ
ルでも非認識が確認できるので、修正第一テキスト４６
の修正は、積極的に放置するという処理にする。

【００７９】処理ルール３Ａは、修正第二テキスト４８
のアナウンスに対する忠実度が高くなるので、修正第一
テキスト４６の該当部分の語句を入れ替えるという処理
にする。

【００８０】処理ルール３Ｂは、発音記号列レベルで誤
認識・誤変換が確認できるので、修正第一テキスト４６
の修正は積極的に放置するという処理にする。

【００８１】以上の処理の具体例（その１）を図１１に
示す。なお、図１１中、第一修正テキスト、第二修正テ
キストは、図８の第一テキスト修正部４１、第二テキス
ト修正部４３、統合処理部３１Ｂで行われる処理の中間
テキストを示す。

【００８２】図１１において、（ａ）は台本７からの第
一テキスト、（ｂ）はその発音記号列１、（ｃ）は第一
修正テキスト、（ｄ）はアナウンスからの第二テキス
ト、（ｅ）はその発音記号列、（ｆ）は第二修正テキス
ト、および（ｇ）は第１、第二修正テキストから生成し
た第三テキストをそれぞれ示している。

【００８３】また、処理の具体例（その２）を図１２示
す。図１２において、（ａ）は第一テキストの発音記号
列（発音記号列１）、（ｂ）は第二テキストの発音記号
列（発音記号列２）、（ｃ），（ｄ）は発音記号列１と
発音記号列２との対応比較とその差の検出例を示してい
る。また、（ｅ）は適用される処理ルールの例、（ｆ）
は処理ルールの適用結果を示している。さらに、（ｇ）
はその結果生成された第三テキストの発音記号列であ
り、（ｈ）は生成された第三テキストの発音記号列に対
応する第一テキスト、（ｉ）は生成された第三テキスト
の発音記号列に対応する第二テキストを示している。第
三テキストは（ｈ）と（ｉ）とを組み合わせて作成され
る。

【００８４】＜第４の実施形態＞図１３は、本発明によ
る電子化テキスト作成システムが適用された字幕用テキ
スト作成システムの第４の実施形態の構成を示すブロッ
ク図である。なお、図８に示した第３の実施形態と同一
構成部分には同一符号を付してその説明を省略する。

【００８５】この第４の実施形態においては、図８に示
した第３の実施形態の構成に加えて第一テキスト１１の
形態素解析を行う形態素解析部８１と、第二テキスト１
９の形態素解析を行う形態素解析部８３と、アナウンサ
１５の読み上げ時間に対応した計時をするタイマー８５
と、音声認識部１７からの音声認識情報からポーズ区間
を検出するポーズ検出部８７とを設けたものである。ま
た、知識処理によるテキスト統合処理部３１Ｃにおける
第三テキストの作成の際に適用した処理ルールや修正情
報を第二テキスト作成部３の音声認識辞書８９に反映し
て学習効果を持たせるようにしたものである。

【００８６】このように構成することにより、さらに精
度の高い実用的な字幕用テキストの自動作成が可能とな
る。

【００８７】＜他の実施の形態＞なお、本発明の実施形
態は第１乃至第４の実施形態に限られるものではない。
例えば、第１の実施形態と第３の実施形態とを組み合わ
せ、図１に示したＤＰマッチング法によるテキスト統合
部５の前段に、図８に示した第一テキスト修正部４１、
第二テキスト修正部４３、および修正点検出部４５を設
け、第一テキスト、および／または第二テキストを修正
した後、修正第一テキスト４６と修正第二テキストとか
らパターンマッチング法による統合処理によって第三テ
キストを得るようにしても良い。

【００８８】また、第１の実施形態と第４の実施形態と
を組み合わせて図１３の知識処理によるテキスト統合部
３１ＣをＤＰマッチング法よる統合処理部５に置き換え
ても良い。このようにすることにより、形態素解析の結
果を反映した処理も可能となる。

【００８９】

【発明の効果】以上説明したように本発明によれば、原
稿上の文字を文字認識して電子化された第一テキスト
と、原稿を基に読み上げられた音声を音声認識して電子
化された第二テキストとから最適な第三テキストを生成
することのできる、字幕用などの電子化テキスト作成シ
ステムを提供することが可能となる。

【図面の簡単な説明】

【図１】本発明による電子化テキスト作成システムが適
用された字幕用テキスト作成システムの第１の実施形態
の構成を示すブロック図である。

【図２】第１の実施形態のテキスト統合処理部で実行さ
れる処理手順を示すフローチャートである。

【図３】文字認識結果の単語ラティスを示す説明図であ
る。

【図４】音声認識結果の単語ラティスを示す説明図であ
る。

【図５】統合認識結果の単語ラティスを示す説明図であ
る。

【図６】本発明による電子化テキスト作成システムが適
用された字幕用テキスト作成システムの第２の実施形態
の構成を示すブロック図である。

【図７】第２の実施形態で使用される処理ルールの具体
例を示す説明図である。

【図８】本発明による電子化テキスト作成システムが適
用された字幕用テキスト作成システムの第３の実施形態
の構成を示すブロック図である。

【図９】第３の実施形態で使用される処理ルールの具体
例を示す説明図である。

【図１０】第３の実施の形態の処理手順を示すフローチ
ャートである。

【図１１】第３の実施形態の処理例（その１）を示す説
明図である。

【図１２】第３の実施形態の処理例（その２）を示す説
明図である。

【図１３】本発明による電子化テキスト作成システムが
適用された字幕用テキスト作成システムの第４の実施形
態の構成を示すブロック図である。

【符号の説明】

１第一テキスト作成部３第二テキスト作成部５ＤＰマッチング法によるテキスト統合処理部７台本９スキャナー１１第一テキスト１３テキスト変換部１５アナウンサ１７音声認識部１９第二テキスト２１漢字変換部２３，３５Ａ，３５Ｂ第三テキスト３１Ａ，３１Ｂ知識処理によるテキスト統合処理部３３Ａ，３３Ｂ処理ルール４１第一テキスト修正部４３第二テキスト修正部４５修正点検出部４６修正第一テキスト４７修正第一テキスト部４８修正第二テキスト４９修正第二テキスト部５１，６１発音記号列化部５３修正テーブル５５，６３修正部７１比較部８１，８３形態素解析部８５タイマー８７ポーズ検出部８９音声認識辞書

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５５１Ｂ 15/24 ５７１Ｑ (71)出願人 000004237 日本電気株式会社東京都港区芝五丁目７番１号 (71)出願人 000006013 三菱電機株式会社東京都千代田区丸の内二丁目２番３号 (72)発明者江原暉将東京都港区芝２−31−19 通信・放送機構内 (72)発明者沢村英治東京都港区芝２−31−19 通信・放送機構内 (72)発明者門馬隆雄東京都港区芝２−31−19 通信・放送機構内 (72)発明者福島孝博東京都港区芝２−31−19 通信・放送機構内 (72)発明者丸山一郎東京都港区芝２−31−19 通信・放送機構内 (72)発明者白井克彦東京都港区芝２−31−19 通信・放送機構内Ｆターム(参考） 5B009 KB05 LA03 5B064 AA07 BA01 EA19 EA24 5D015 HH07 KK03 LL07 9A001 GG09 HH17 HH22 HH33 KK60

Claims

【特許請求の範囲】

【請求項１】原稿上の文字を文字認識して電子化され
た第一テキストを生成する第一テキスト生成手段と、前記原稿を基に読み上げられた音声を音声認識して電子
化された第二テキストを生成する第二テキスト生成手段
と、生成された第一テキストの単語ラティスと第二テキスト
の単語ラティスとから新たなラティスを生成するととも
に生成されたラティスにおけるノード間の各アークのコ
スト値を計算する機能、および計算されたコスト値を用
いて開始ノードから終了ノードに至る最適経路を動的計
画法により求めて第三テキストを生成する機能を有する
第三テキスト生成手段と、を備えたことを特徴とする電子化テキスト作成システ
ム。
【請求項２】原稿上の文字を文字認識して電子化され
た第一テキストを生成する第一テキスト生成手段と、前記原稿を基に読み上げられた音声を音声認識して電子
化された第二テキストを生成する第二テキスト生成手段
と、前記第一テキストと第二テキストとの差の分析によって
得られた処理ルールを蓄積する処理ルール蓄積手段と、この処理ルールに基づいて前記第一テキストと第二テキ
ストとから最適な第三テキストを生成する第三テキスト
生成手段と、を備えたことを特徴とする電子化テキスト作成システ
ム。
【請求項３】請求項１または請求項２に記載の電子化
テキスト作成システムにおいて、前記第一テキストと第二テキストとの差分を検出し、こ
の差分により第一テキストおよび／または第二テキスト
を修正する修正手段を設け、修正後の第一テキストおよ
び／または第二テキストを前記第三テキスト生成手段に
供給する、ことを特徴とする電子化テキスト作成システム。
【請求項４】請求項１乃至請求項３に記載の電子化テ
キスト作成システムにおいて、第一テキスト、および第２テキストの各形態素解析を実
行する手段を設け、形態素解析の結果を第三テキストの
作成に反映させる、ことを特徴とする電子化テキスト作成システム。
【請求項５】請求項２乃至請求項４に記載の電子化テ
キスト作成システムにおいて、前記第三テキスト生成手段の知識処理によって生成され
た第三テキストの作成の際に適用した処理ルールを前記
第一テキスト作成部および／または第二テキスト作成部
の認識辞書に反映させる、ことを特徴とする電子化テキスト作成システム。