JP2009210747A - 関連文書選択出力装置及びそのプログラム - Google Patents

Abstract

【課題】本発明は、正しい情報が記載された関連文書を、人手によらずに、迅速、かつ、正確に選択して出力する関連文書選択出力装置を提供する。
【解決手段】関連文書選択出力装置３は、文書集合Ｄに含まれる単語の出現頻度・逆出現頻度を予め算出し、文書ｄ_ｊ毎に、単語と単語の出現頻度・逆出現頻度とを対応付けて文書ｄ_ｊの内容を示す文書ベクトルＶ_ｊを生成する文書ベクトル生成手段３１と、音声単語が文書集合Ｄに出現する頻度を算出し、音声単語と音声単語の頻度とを対応付けて音声単語列の内容を示す単語ベクトルＷ_ｊを生成する単語ベクトル生成手段３２と、単語ベクトルＷ_ｊに対する全ての文書ベクトルＶ_ｊの距離を予め設定した距離尺度に基づいて算出し、距離が最短となる文書ベクトルＶ_ｊが示す文書を関連文書として選択する関連文書選択手段３３と、関連文書出力手段３７と、を備える。
【選択図】図２

Description

本発明は、音声を音声認識して字幕表示するときに、音声認識誤りの修正作業を支援する関連文書選択出力装置及びそのプログラムに関する。

従来から、アナウンサがニュース原稿等の文書を読み上げる音声を音声認識して字幕を生成し、この字幕をリアルタイムでニュース番組等の放送番組に付加することが行われている。ここで、音声認識の精度は重要な要素となるため、この精度を向上させる技術が知られている（例えば、非特許文献１，２参照）。

近年、音声認識の精度は著しく向上しているが、音声認識した字幕に音声認識誤りが含まれることがある。このため、アナウンサが文書を読み上げてから字幕を放送番組に付加するまでに数秒間の余裕を持たせる。そして、字幕に音声認識誤りが含まれる場合、この数秒間で、オペレータが字幕の音声認識誤りを修正し、その後、修正された字幕を放送番組に付加している。
音声認識誤りと未知語に頑健な音声文字検索手法，西崎 博光他、電子情報通信学会論文誌，Ｎｏ．１０ ｐｐ．１３６９−１３８１，２００３年１０月 話し言葉による音声対話システム，河原 達也，ＩＰＳＦ Ｍａｇａｚｉｎｅ Ｖｏｌ．４５，Ｎｏ．１０，Ｏｃｔ．２００４

しかし、この数秒間で、オペレータが、音声認識誤りを判断すると共に、修正のために正しい情報を捜し出す必要があるため、この修正作業が間に合わない場合もあり、オペレータによる修正作業を支援してほしいとの強い要望がある。一般に、音声認識装置は、大量のニュース原稿等の文書を予め学習させておくため、これら文書の中に正しい情報が記載されていることが多いが、限られた時間で、オペレータが、この大量の文書から正しい情報を探し出すことは困難である。また、固有名詞や数字については、正しい情報を事前にオペレータに知らせておくことも重要となる。

そこで、本発明は、正しい情報が記載された関連文書を、人手によらずに、迅速、かつ、正確に選択して出力する関連文書選択出力装置及びそのプログラムを提供することを目的とする。

前記した課題を解決するため、請求項１に記載の関連文書選択出力装置は、文書が読み上げられる音声を音声認識して音声単語列を生成する音声認識装置と音声認識装置における音声認識誤りの修正作業が行われる誤認識修正装置と共に用いられ、文書が集合した文書集合から音声単語列に関連する関連文書を選択して出力し、音声認識誤りの修正作業を支援する関連文書選択出力装置において、文書ベクトル生成手段と、単語ベクトル生成手段と、関連文書選択手段と、関連文書出力手段と、を備える構成とした。

かかる構成において、関連文書選択出力装置は、文書ベクトル生成手段によって、予め、文書集合に含まれる単語の出現頻度・逆出現頻度を算出し、単語と単語の出現頻度・逆出現頻度とを対応付けて文書の内容を示す文書ベクトルを文書毎に生成する。また、関連文書選択出力装置は、単語ベクトル生成手段によって、音声単語列を構成する音声単語を受信する毎に、音声単語が文書集合に出現する頻度を算出し、音声単語と音声単語の頻度とを対応付けて音声単語列の内容を示す単語ベクトルを生成する。

また、関連文書選択出力装置は、関連文書選択手段によって、予め設定した距離尺度に基づいて、単語ベクトルに対する全ての文書ベクトルの距離を算出し、距離が最短となる文書ベクトルが示す文書を関連文書として選択する。これによって、関連文書選択手段は、単語ベクトルと文書ベクトルとの類似性を算出し、単語ベクトルに最も類似する文書ベクトルが示す文書を関連文書として選択する。さらに、関連文書選択出力装置は、関連文書出力手段によって、関連文書選択手段が選択した関連文書において、単語ベクトル生成手段が受信した音声単語に一致する単語を、関連文書に含まれる他の単語と区別して出力する。これによって、関連文書出力手段は、関連文書において、受信した音声単語の位置をオペレータに明示することができる。
このように、関連文書選択出力装置は、文書集合から、受信した音声単語に最も内容が近い文書、例えば、読み上げられて音声認識された文書を、関連文書として選択する。また、この関連文書には、音声認識に含まれる誤りを修正するために必要となる正しい情報が記載されていることが多い。

請求項２に記載の関連文書選択出力装置は、関連文書選択手段が選択した関連文書に含まれる単語が、固有名詞と数字とを予め登録した重要単語リストに含まれる場合、又は、単語の出現頻度・逆出現頻度が所定の閾値以上となる場合、単語を重要単語として強調する単語強調手段、をさらに備えることを特徴とする。
かかる構成において、関連文書選択出力装置は、単語強調手段によって、オペレータが頻繁に確認する重要単語を強調する。

請求項３に記載の関連文書選択出力装置は、誤って音声認識された音声単語の修正候補を出力する修正候補出力手段、をさらに備えることを特徴とする。
かかる構成において、関連文書選択出力装置は、修正候補出力手段によって、誤りを修正するときの手掛かりとなる修正候補を出力する。

請求項４に記載の関連文書選択出力装置は、音声単語列において、関連文書選択手段が選択した関連文書に含まれない単語が、所定の個数以上連続する場合、文書集合に関連文書が存在しない旨の警告を出力する警告手段、をさらに備えることを特徴とする。
かかる構成において、関連文書選択出力装置は、警告手段によって、文書集合に関連文書が存在しない旨、警告することができる。

また、前記した課題を解決するため、請求項５に記載の関連文書選択出力プログラムは、文書が読み上げられる音声を音声認識して音声単語列を生成する音声認識装置と音声認識装置における音声認識誤りの修正作業が行われる誤認識修正装置と共に用いられ、文書が集合した文書集合から音声単語列に関連する関連文書を選択して出力し、音声認識誤りの修正作業を支援するために、コンピュータを、文書ベクトル生成手段、単語ベクトル生成手段、関連文書選択手段、関連文書出力手段、として機能させる構成とした。

本発明によれば、以下のような優れた効果を奏する。
請求項１，５に記載の発明によれば、オペレータによる音声認識誤りの修正作業に必要となる正しい情報が記載さていることが多い関連文書を、人手によらずに、迅速、かつ、正確に選択して出力することができる。また、請求項１，５に記載の発明によれば、関連文書において、受信した音声単語の位置をオペレータに明示するため、オペレータが、音声認識の誤りの修正作業を行いやすくなる。
請求項２に記載の発明によれば、関連文書に含まれる重要単語を強調するため、オペレータが重要単語を視認しやすくなる。
請求項３に記載の発明によれば、誤りを修正するときの手掛かりとなる修正候補を出力するため、オペレータが、音声認識の誤りの修正作業をより行いやすくなる。
請求項４に記載の発明によれば、文書集合中に関連文書が存在しない旨、警告するため、オペレータが、関連性の低い関連文書に基づいて、誤って修正作業を行う事態を低減することができる。

［字幕生成システムの概要］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
最初に、図１を参照して、本発明の実施形態に係る関連文書選択出力装置を含むリアルタイム字幕生成システムの概要について説明する。図１は、本発明の実施形態に係る関連文書選択出力装置を含むリアルタイム字幕生成システムの概要を示すブロック図である。リアルタイム字幕生成システム１は、ニュース番組において、ニュース原稿を読み上げる音声を音声認識した字幕を、音声認識誤りがある場合にはオペレータＡがその誤りを修正してから、ニュース番組に付加するものである。ここでは、リアルタイム字幕生成システム１は、音声認識装置２と、関連文書選択出力装置３と、誤認識修正装置４とを備える。

音声認識装置２は、文書（ニュース原稿）により言語モデルを予め学習させておき、文書が読み上げられる音声（ニュース原稿の読み上げ音声）を音声認識して音声単語列を生成するものである。また、音声認識装置２は、生成した音声単語列を、逐次、関連文書選択出力装置３と誤認識修正装置４とに送信する。

関連文書選択出力装置３は、音声認識装置２と誤認識修正装置４と共に用いられ、文書ｄ_ｊが集合した文書集合Ｄから音声単語列に関連する関連文書を選択してディスプレイ３ａに出力し、音声認識誤りの修正作業を支援するものである。なお、関連文書選択出力装置３の詳細は、後記する。

誤認識修正装置４は、音声認識装置２における音声認識誤りの修正作業がオペレータＡによって行われるものである。誤認識修正装置４は、例えば、タッチパネルディスプレイ４ａに受信した音声単語列を表示する。そして、音声単語列が誤っている場合、オペレータＡが、タッチパネルディスプレイ４ａに触れて誤った単語を選択し、キーボード４ｂに正しい単語を入力して誤った単語を修正する。

このとき、関連文書選択出力装置３のディスプレイ３ａに、音声単語列の誤りの正しい情報が記載された関連文書の内容が表示されているため、オペレータＡが、誤りの修正作業を迅速、かつ、正確に行うことができる。

文書集合Ｄは、予め準備されたものであり、音声認識装置２において、言語モデルの学習に用いる文書と同じもので構成される。ここでは、文書集合Ｄは、３個のニュース原稿からなる文書ｄ_１，ｄ_２，ｄ_３を、ファイルサーバ（不図示）の特定ディレクトリに格納したものである。なお、文書ｄ_ｊは、３個以上であっても良いことは言うまでも無い。

［関連文書選択出力装置の構成］
次に、図２を参照して、本発明の実施形態に係る関連文書選択出力装置の構成について説明する。図２は、本発明の実施形態に係る関連文書選択出力装置の構成を示すブロック図である。図２に示すように、関連文書選択出力装置３は、文書ベクトル生成手段３１と、単語ベクトル生成手段３２と、関連文書選択手段３３と、を備える。また、関連文書選択手段３３は、単語強調手段３４と、修正候補出力手段３５と、警告手段３６と、関連文書出力手段３７と、を備える。

文書ベクトル生成手段３１は、文書集合Ｄに含まれる単語毎に出現頻度・逆出現頻度（ｔｆ・ｉｄｆ値）を予め算出し、文書ｄ_ｊ毎に単語と単語の出現頻度・逆出現頻度とを対応付けて文書ｄ_ｊの内容を示す文書ベクトル（ｔｆ・ｉｄｆベクトル）Ｖ_ｊを生成するものである。なお、文書ベクトル生成手段３１の動作については、後記する。

ここで、ある文書ｄ_ｊにおける単語ｕ_ｉの出現頻度（語頻度）をｔｆ_ｉ ^jとし、文書集合Ｄにおける単語ｕ_ｉを含む文書ｄ_ｊの数を逆出現頻度（文書頻度）をｄｆ_ｊとした場合、ｔｆ・ｉｄｆ値ｖ_ｉ ^jは、式（１）で表される。つまり、文書ベクトル生成手段３１は、式（１）を用いて、単語の出現頻度・逆出現頻度（ｔｆ・ｉｄｆ値）ｖ_ｉ ^jを算出する。

なお、文書ベクトルＶ_ｊの各成分（ｔｆ・ｉｄｆ値）ｖ_ｉ ^jは、音声認識装置２に登録された単語のみを考慮するものとし、音声認識装置２に登録された単語数（語彙サイズ）をＮ_Ｖとした場合、Ｎ_Ｖ次元のベクトルとなる。

単語ベクトル生成手段３２は、音声単語列を構成する音声単語を受信する毎に、音声単語が文書集合Ｄに出現する頻度を算出し、音声単語ｗ_ｉと音声単語ｗ_ｉが文書集合Ｄに出現する頻度とを対応付けて音声単語列の内容を示す単語ベクトルを生成するものである。ここで、図３を参照して、単語ベクトル生成手段３２が単語ベクトルを生成する方法について説明する（適宜図２参照）。図３は、本発明における単語ベクトルの生成を説明するための説明図である。

ここでは、図３に示すように、音声認識装置２からｉ番目に受信した単語を、音声単語ｗ_ｉとし、音声単語ｗ_{ｉ-（Ｎ+1）}から音声単語ｗ_ｉのＮ個の音声単語の集合を単語フレームとする（Ｎは１以上の整数）。そして、単語ベクトル生成手段３２は、音声認識装置２から音声単語ｗ_ｉをＮ個受信する毎に、単語フレーム単位で単語ベクトルＷ_ｉを生成する。なお、Ｎの値を１とすれば、単語ベクトル生成手段３２は、音声単語ｗ_ｉ単位で単語ベクトルＷ_ｉを生成することは言うまでも無い。

単語ベクトルＷ_ｊは、音声単語ｗ_ｉと音声単語ｗ_ｉが文書集合Ｄに含まれる頻度とを対応付けたものである。具体的には、単語ベクトル生成手段３２は、音声単語ｗ_ｉが文書集合Ｄに何回出現したかをカウントし、音声単語ｗ_ｉが文書集合Ｄに含まれる頻度を算出する。なお、単語ベクトルＷ_ｉは、音声認識装置２に登録された単語数（語彙サイズ）をＮ_Ｖとした場合、Ｎ_Ｖ次元のベクトルとなり、単語フレームに含まれる音声単語ｗ_ｉに該当する成分に対して、各々の頻度を反映したものとなる。

以下、図２に戻り、関連文書選択出力装置３の構成について説明を続ける。
関連文書選択手段３３は、単語ベクトルＷ_ｉに対する全ての文書ベクトルＶ_ｊの距離を予め設定した距離尺度に基づいて算出し、距離が最短となる文書ベクトルＶ_ｊが示す文書を関連文書として選択するものである。具体的には、関連文書選択手段３３は、式（２）で定義する距離尺度により、文書ｄ_ｊ毎に距離Ｓ_ｊを算出する。なお、関連文書選択手段３３の動作については、後記する。

なお、式（２）では、「・」はベクトルの内積、「｜｜」は、ベクトルの大きさ（ノルム）を示す。そして、関連文書選択手段３３は、式（２）で距離Ｓ_ｊが最短となる単語ベクトルＷ_ｉが示す文書ｄ_ｊを関連文書として選択する。

ここで、音声単語列に誤りが含まれていることを想定しており、誤った関連文書を選択する場合が考えられるため、関連文書出力手段３７は、選択した文書ｄ_ｊを即座にディスプレイ３ａに表示しなくとも良い。この場合、関連文書選択手段３３は、式（２）で判定した文書ｄ_ｊをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に記憶しておき、Ｋ個（Ｋは１以上の整数）の音声単語ｗ_ｉを受信しても、文書ｄ_ｊが選択され続ける場合に、文書ｄ_ｊを関連文書としてディスプレイ３ａに表示することが好ましい。

前記したＫとＮとは、これらの値を大きくするほど、関連文書の選択精度が向上する一方、関連文書の検索に時間がかかってしまう。このため、関連文書選択手段３３は、前記したＫとＮとを、音声単語列に含まれる誤りの割合等によって変更できることが好ましい。

また、関連文書選択手段３３は、音声単語列に含まれる誤りの割合が低い場合、逆出現頻度ｉｄｆ_ｊが１となる単語に受信した音声単語ｗ_ｉが一致するとき、この音声単語ｗ_ｉを受信した直後に、関連文書を出力することが好ましい。

単語強調手段３４は、関連文書選択手段３３が選択した関連文書に含まれる単語が、固有名詞と数字とを予め登録した重要単語リストに含まれる場合、又は、単語の出現頻度・逆出現頻度が所定の閾値以上となる場合、単語を重要単語として強調するものである。例えば、単語強調手段３４は、ディスプレイ３ａに表示される関連文書において、重要単語の色やフォントを変更して強調する。

ここで、重要単語は、出現頻度・逆出現頻度が大きくなる傾向が強いことから、単語強調手段３４は、関連文書に含まれる単語のうち、出現頻度・逆出現頻度が所定の閾値以上となる単語を重要単語として強調する。具体的には、単語強調手段３４は、文書ベクトルＶ_ｊの各成分ｖ_ｉ ^jが所定の閾値以上となる場合、その成分（単語）を重要単語として強調する。なお、この所定の閾値は、文書の数に応じて任意に設定できる。
さらに、単語強調手段３４は、出現頻度・逆出現頻度が大きい上位Ｐ個（Ｐは１以上の整数）の単語を重要単語として強調しても良い。

また、重要単語リストは、文書（ニュース原稿）の内容に応じて、様々な固有名詞や数字が予め登録されたものである。例えば、重要単語リストは、都道府県等の地域名、芸能人等の著名人の氏名や為替レートや平均株価等を示す数字を含む。

修正候補出力手段３５は、誤って音声認識された音声単語の修正候補を出力するものである。ここで、修正候補出力手段３５は、ディスプレイ３ａに修正候補を別ウィンドウで出力する。なお、修正候補出力手段３５の詳細については、後記する。

警告手段３６は、音声単語列において、関連文書選択手段３３が選択した関連文書に含まれない単語が、所定の個数以上連続する場合、文書集合Ｄに関連文書が存在しない旨を警告するものである。ここで、警告手段３６は、ディスプレイ３ａに警告ウィンドウを出力する。なお、警告手段３６の詳細については、後記する。

関連文書出力手段３７は、関連文書選択手段３３が選択した関連文書において、単語ベクトル生成手段３２が受信した音声単語ｗ_ｉに一致する単語を、関連文書に含まれる他の単語と区別して出力するものである。ここで、関連文書出力手段３７は、関連文書に含まれ、かつ、音声単語ｗ_ｉに一致する単語を斜体で区別してディスプレイ３ａに出力する。

なお、文書ベクトル生成手段３１、単語ベクトル生成手段３２及び関連文書選択手段３３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭで構成することができる。
また、関連文書選択出力装置３は、図示しないＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶手段を備え、前記した文書集合Ｄ、重要単語リスト、Ｋ，Ｌ，Ｎ等のパラメータを記憶手段に記憶しても良い。以上、関連文書選択出力装置３の構成について説明した。

［警告手段及び関連文書出力手段の詳細］
以下、図４を参照し、警告手段３６及び関連文書出力手段３７の詳細について説明する（適宜図２参照）。図４は、図２の警告手段及び関連文書出力手段の詳細を説明するための説明図であり、（ａ）は、音声認識装置が正しく音声認識した音声単語列を示し、（ｂ）は、関連文書選択出力装置が３個目の音声単語を受信したときのディスプレイの出力を示し、（ｃ）は、関連文書選択出力装置が４個目の音声単語を受信したときのディスプレイの出力を示し、（ｄ）は、関連文書選択出力装置が５個目の音声単語を受信したときのディスプレイの出力を示す。なお、図４（ｂ）〜（ｄ）において、下線は、単語強調手段３４によって強調された単語を示す。

リアルタイム字幕をニュース番組に付加する場合、音声認識装置２は、例えば、「このピアノの演奏会は国連が障害者に対する・・・」というニュース原稿が１字１句正確に読み上げられた音声を音声認識する。そして、図４（ａ）に示すように、音声認識装置２は、１個目の音声単語ｗ_１「この」、２個目の音声単語ｗ_２「ピアノ」、３個目の音声単語ｗ_３「の」、４個目の音声単語ｗ_４「演奏会」、５個目の音声単語ｗ_５「は」を生成し、関連文書選択出力装置３に逐次送信する（音声単語ｗ_６以後は省略）。

ここで、関連文書選択手段３３は、受信した音声単語ｗ_ｉから時系列順にＭ個遡った音声単語ｗ_ｉ-Ｍ+1までの音声単語群を一時的に記憶しても良い。図４では、Ｍの値を３として説明する。まず、音声単語ｗ_１及び音声単語ｗ_２を受信した場合、関連文書選択手段３３は、音声単語ｗ_ｉを３個受信していないので、処理を行わない。

次に、音声単語ｗ_３を受信した場合、関連文書選択手段３３は、音声単語群が関連文書に含まれるか否かを判別、例えば、音声単語ｗ_１から音声単語ｗ_３までの音声単語群が含まれるか否かを判別する。この場合、関連文書にこの音声単語群が含まれるので、図４（ｂ）に示すように、関連文書選択手段３３は、関連文書出力手段３７によって、関連文書において、この音声単語群に相当する単語、例えば、音声単語ｗ_１から音声単語ｗ_３に相当する３個の単語「このピアノの」を区別してディスプレイ３ａに出力する。

また、図４（ｃ）に示すように、音声単語ｗ_４を受信した場合、関連文書選択手段３３は、関連文書に、音声単語ｗ_２から音声単語ｗ_４までの音声単語群が含まれるか否かを判別する。この場合、関連文書にこの音声単語群が含まれるので、関連文書選択手段３３は、関連文書出力手段３７によって、図４（ｂ）と同様に、音声単語ｗ_２から音声単語ｗ_４に相当する３個の単語「ピアノの演奏会」を区別してディスプレイ３ａに出力する。

また、図４（ｄ）に示すように、音声単語ｗ_５を受信した場合、関連文書選択手段３３は、関連文書に、音声単語ｗ_３から音声単語ｗ_５までの音声単語群が含まれるか否かを判別する。この場合、関連文書にこの音声単語群が含まれるので、関連文書選択手段３３は、関連文書出力手段３７によって、図４（ｂ）と同様に、音声単語ｗ_３から音声単語ｗ_５に相当する３個の単語「の演奏会は」を区別してディスプレイ３ａに出力する。

前記したＭの値を小さくすると、関連文書に単語が含まれると判別される可能性が高くなり、関連文書選択手段３３は、関連文書出力手段３７によって、受信した音声単語ｗ_ｉに対応していない単語を区別して表示する可能性も高くなるため、このＭの値をある程度大きな値（例えば、Ｍは３以上の整数）とすることが好ましい。

ここで、この音声単語群が関連文書に含まれない状態が続く場合、つまり、関連文書に含まれない音声単語ｗ_ｉが連続する場合、文書集合Ｄに関連文書が存在しないと言える。このため、関連文書選択手段３３が、音声単語ｗ_ｉがＬ個（Ｌは、１以上の整数）以上連続して関連文書に含まれないと判別した場合、警告手段３６は、「該当する文書が存在しない」旨のメッセージが表示された警告ウィンドウを出力する（不図示）。

［修正候補出力手段の詳細］
以下、図５を参照し、修正候補出力手段３５の詳細について説明する（適宜図２参照）。図５は、図２の修正候補出力手段の詳細を説明するための説明図であり、（ａ）は、音声認識装置が誤って音声認識した音声単語列を示し、（ｂ）は、関連文書選択出力装置が３個目の音声単語を受信したときのディスプレイの出力を示し、（ｃ）は、関連文書選択出力装置が４個目の音声単語を受信したときのディスプレイの出力を示し、（ｄ）は、関連文書選択出力装置が５個目の音声単語を受信したときのディスプレイの出力を示す。なお、図５（ｂ）において、下線は、単語強調手段３４によって強調された単語を示す。

図５では、図４と異なる点を説明する。図５（ａ）に示すように、音声認識装置２は、「演奏会」という単語を「円」「総会」と誤って認識している。つまり、音声認識装置２は、４個目の音声単語ｗ_４として「円」、５個目の音声単語ｗ_５として「総会」を生成し、関連文書選択出力装置３に送信する。

図５（ｂ）では、図４（ｂ）と同様に、関連文書選択手段３３は、音声単語ｗ_１から音声単語ｗ_３までの音声単語群が含まれるか否かを判別する。そして、関連文書にこの音声単語群が含まれるので、関連文書出力手段３７は、関連文書出力手段３７によって、音声単語ｗ_１から音声単語ｗ_３に相当する３個の単語「このピアノの」を区別してディスプレイ３ａに出力する。

図５（ｃ）では、関連文書選択手段３３は、音声単語ｗ_２から音声単語ｗ_４までの音声単語群が含まれるか否かを判別する。しかし、音声単語ｗ_４が誤っているため、関連文書選択手段３３は、関連文書にはこの音声単語群が含まれないと判別する。この場合、修正候補出力手段３５は、関連文書において、直前まで含まれていたと判別された単語の次から始まる単語列、具体的には、音声単語ｗ_３「このピアノの」の次から始まる単語列「演奏会は国連が・・・」を修正候補として出力する。このとき、修正候補出力手段３５は、直前まで含まれていたと判別された単語の次から句読点又は改行コードが出現するまでの単語列を修正候補として出力しても良い。

図５（ｄ）では、関連文書選択手段３３は、音声単語ｗ_３から音声単語ｗ_５までの音声単語群が含まれるか否かを判別する。しかし、音声単語ｗ_４及び音声単語ｗ_５が誤っているため、関連文書選択手段３３は、関連文書にはこの音声単語群が含まれないと判別する。このため、図５（ｃ）と同様に、修正候補出力手段３５は、修正候補を出力する。
なお、図４及び図５において、Ｍの値を１とすると、関連文書選択出力装置３は、前記した処理を、１個の音声単語ｗ_ｉ単位で行うことは言うまでも無い。

［文書ベクトル生成手段の動作］
以下、図６を参照して、文書ベクトル生成手段３１が文書単語ベクトルを生成する動作について説明する（適宜図２参照）。図６は、図２の文書ベクトル生成手段の動作を示すフローチャートである。

まず、文書ベクトル生成手段３１は、文書集合Ｄを単語単位に分割する（ステップＳ１）。また、文書ベクトル生成手段３１は、単語毎に出現頻度（ｔｆ値）を算出し（ステップＳ２）、単語毎に逆出現頻度（ｉｄｆ値）を算出する（ステップＳ３）。さらに、文書ベクトル生成手段３１は、単語毎に出現頻度・逆出現頻度（ｔｆ・ｉｄｆ値）を算出する（ステップＳ４）。

ステップＳ４に続き、文書ベクトル生成手段３１は、単語の逆出現頻度が１であるか否かを判別する（ステップＳ５）。単語の逆出現頻度が１である場合（ステップＳ５でＹｅｓ）、この単語がこれを含む文書と１対１で対応しているため、文書ベクトル生成手段３１は、逆出現頻度が１となる単語の出現頻度・逆出現頻度に重み付けを行い、この値を１より大きくする（ステップＳ６）。このような重み付けによって、関連文書選択出力装置３が、より迅速、かつ、正確に文書を選択できることが経験則から判っている。

逆出現頻度が１でない場合（ステップＳ５でＮｏ）又はステップＳ６の処理の後、文書ベクトル生成手段３１は、文書毎に、文書ベクトルＶ_ｊを生成する（ステップＳ６）。

［関連文書選択手段の動作］
以下、図７を参照して、関連文書選択手段３３が関連文書を選択する動作について説明する（適宜図２参照）。図７は、図２の関連文書選択手段の動作を示すフローチャートである。

まず、関連文書選択手段３３は、出力中の文書Ｊを初期化（Ｊ＝０）する（ステップＳ１１）。また、関連文書選択手段３３は、何番目の音声単語ｗ_ｉを受信したかを示すカウンタｉを、１からカウンタＴまでカウントアップする（ステップＳ１２）。このカウンタＴの値は、特に制限されず、例えば、ある１本のニュース番組を音声認識して出力される音声単語の個数となる。また、音声単語ｗ_ｉを受信したら、関連文書選択手段３３は、単語ベクトルＷ_ｉを生成する（ステップＳ１３）。そして、前記したように、予め設定した距離尺度に基づいて、単語ベクトルＷ_ｉに対する全ての文書ベクトルＶ_ｊの距離を文書毎に算出し、距離が最短となる文書ベクトルＶ_ｊが示す文書ｊを求める（ステップＳ１４）。また、関連文書選択手段３３は、ステップＳ１３で求めた文書ｊが出力中の文書Ｊと同じであるか否かを判別する（ステップＳ１５）。

ステップＳ１３で求めた文書ｊが出力中の文書Ｊと同じ場合（ステップＳ１５でＹｅｓ）、関連文書選択手段３３は、ステップＳ１３で求めた文書ｊが選択され続けた回数を示すカウンタｋをカウントアップする（ステップＳ１６）。また、関連文書選択手段３３は、カウンタｋが前記したＫ以上であるか否かを判別する（ステップＳ１７）。そして、カウンタｋが前記したＫ以上であると判別した場合（ステップＳ１７でＹｅｓ）、関連文書選択手段３３は、関連文書出力手段３７によって、ディスプレイ３ａにステップＳ１３で求めた文書ｊを関連文書として出力し（ステップＳ１８）、ステップＳ１３で求めた文書ｊを出力中の文書Ｊに設定し（ステップＳ１９）し、ステップＳ１２の処理に戻る。

一方、カウンタｋが前記したＫ以上でないと判別した場合（ステップＳ１７でＮｏ）、関連文書選択手段３３は、ステップＳ１３で求めた文書ｊを出力中の文書Ｊに設定し（ステップＳ２０）、ステップＳ１２の処理に戻る。

また、ステップＳ１３で求めた文書ｊが出力中の文書Ｊと異なる場合（ステップＳ１５でＮｏ）、ｋの値を初期化し（ステップＳ１９）、ステップＳ１３で求めた文書ｊを出力中の文書Ｊに設定し（ステップＳ２０）、ステップＳ１２の処理に戻る。

なお、図７では、受信単語列を逐次受信することを想定しているため、前記した動作の終了を記載していないが、例えば、受信単語列の終了を示す文字コードを受信したら、関連文書選択手段３３は、動作を終了しても良い。

なお、各実施形態では、本発明に係る関連文書選択出力装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

本発明の実施形態に係る関連文書選択出力装置を含むリアルタイム字幕生成システムの概要を示すブロック図である。 本発明の実施形態に係る関連文書選択出力装置の構成を示すブロック図である。 本発明における単語ベクトルの生成を説明するための説明図である。 図２の警告手段及び関連文書出力手段の詳細を説明するための説明図であり、（ａ）は、音声認識装置が正しく音声認識した音声単語列を示し、（ｂ）は、関連文書選択出力装置が３個目の音声単語を受信したときのディスプレイの出力を示し、（ｃ）は、関連文書選択出力装置が４個目の音声単語を受信したときのディスプレイの出力を示し、（ｄ）は、関連文書選択出力装置が５個目の音声単語を受信したときのディスプレイの出力を示す。 図２の修正候補出力手段の詳細を説明するための説明図であり、（ａ）は、音声認識装置が誤って音声認識した音声単語列を示し、（ｂ）は、関連文書選択出力装置が３個目の音声単語を受信したときのディスプレイの出力を示し、（ｃ）は、関連文書選択出力装置が４個目の音声単語を受信したときのディスプレイの出力を示し、（ｄ）は、関連文書選択出力装置が５個目の音声単語を受信したときのディスプレイの出力を示す。 図２の文書ベクトル生成手段の動作を示すフローチャートである。 図２の関連文書選択手段の動作を示すフローチャートである。

符号の説明

１ リアルタイム字幕生成システム
２ 音声認識装置
３ 関連文書選択出力装置
３ａ ディスプレイ
４ 誤認識修正装置
４ａ タッチパネルディスプレイ
４ｂ キーボード
３１ 文書ベクトル生成手段
３２ 単語ベクトル生成手段
３３ 関連文書選択手段
３４ 単語強調手段
３５ 修正候補出力手段
３６ 警告手段
３７ 関連文書出力手段
Ａ オペレータ
Ｄ 文書集合
ｄ_１，ｄ_２，ｄ_３ 文書
Ｗ_ｊ 単語ベクトル

Claims (5)

1. 文書が読み上げられる音声を音声認識して音声単語列を生成する音声認識装置と、当該音声認識装置における音声認識誤りの修正作業が行われる誤認識修正装置と共に用いられ、前記文書が集合した文書集合から前記音声単語列に関連する関連文書を選択して出力し、前記音声認識誤りの修正作業を支援する関連文書選択出力装置において、
   前記文書集合に含まれる単語の出現頻度・逆出現頻度を予め算出し、前記文書毎に、当該単語と当該単語の出現頻度・逆出現頻度とを対応付けて前記文書の内容を示す文書ベクトルを生成する文書ベクトル生成手段と、
   前記音声単語列を構成する音声単語を受信する毎に、当該音声単語が前記文書集合に出現する頻度を算出し、当該音声単語と当該音声単語の頻度とを対応付けて前記音声単語列の内容を示す単語ベクトルを生成する単語ベクトル生成手段と、
   前記単語ベクトルに対する全ての前記文書ベクトルの距離を予め設定した距離尺度に基づいて算出し、前記距離が最短となる前記文書ベクトルが示す文書を前記関連文書として選択する関連文書選択手段と、
   前記関連文書選択手段が選択した関連文書において、前記単語ベクトル生成手段が受信した音声単語に一致する単語を、前記関連文書に含まれる他の単語と区別して出力する関連文書出力手段と、
   を備えることを特徴とする関連文書選択出力装置。
2. 前記関連文書選択手段が選択した関連文書に含まれる単語が、固有名詞と数字とを予め登録した重要単語リストに含まれる場合、又は、当該単語の出現頻度・逆出現頻度が所定の閾値以上となる場合、当該単語を重要単語として強調する単語強調手段、
   をさらに備えることを特徴とする請求項１に記載の関連文書選択出力装置。
3. 誤って音声認識された前記音声単語の修正候補を出力する修正候補出力手段、
   をさらに備えることを特徴とする請求項１又は請求項２に記載の関連文書選択出力装置。
4. 前記音声単語列において、前記関連文書選択手段が選択した関連文書に含まれない単語が、所定の個数以上連続する場合、前記文書集合に前記関連文書が存在しない旨の警告を出力する警告手段、
   をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載の関連文書選択出力装置。
5. 文書が読み上げられる音声を音声認識して音声単語列を生成する音声認識装置と、当該音声認識装置における音声認識誤りの修正作業が行われる誤認識修正装置と共に用いられ、前記文書が集合した文書集合から前記音声単語列に関連する関連文書を選択して出力し、前記音声認識誤りの修正作業を支援するために、コンピュータを、
   前記文書集合に含まれる単語の出現頻度・逆出現頻度を予め算出し、前記文書毎に、当該単語と当該単語の出現頻度・逆出現頻度とを対応付けて前記文書の内容を示す文書ベクトルを生成する文書ベクトル生成手段、
   前記音声単語列を構成する音声単語を受信する毎に、当該音声単語が前記文書集合に出現する頻度を算出し、当該音声単語と当該音声単語の頻度とを対応付けて前記音声単語列の内容を示す単語ベクトルを生成する単語ベクトル生成手段、
   前記単語ベクトルに対する全ての前記文書ベクトルの距離を予め設定した距離尺度に基づいて算出し、前記距離が最短となる前記文書ベクトルが示す文書を前記関連文書として選択する関連文書選択手段、
   前記関連文書選択手段が選択した関連文書において、前記単語ベクトル生成手段が受信した音声単語に一致する単語を、前記関連文書に含まれる他の単語と区別して出力する関連文書出力手段、
   として機能させることを特徴とする関連文書選択出力プログラム。

Images