JP2012018201A - Text correction and recognition method - Google Patents
Text correction and recognition method Download PDFInfo
- Publication number
- JP2012018201A JP2012018201A JP2010153537A JP2010153537A JP2012018201A JP 2012018201 A JP2012018201 A JP 2012018201A JP 2010153537 A JP2010153537 A JP 2010153537A JP 2010153537 A JP2010153537 A JP 2010153537A JP 2012018201 A JP2012018201 A JP 2012018201A
- Authority
- JP
- Japan
- Prior art keywords
- words
- word
- text
- feature
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/226—Validation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
本発明は、音声認識や文字入力などの出力テキストに含まれる誤りを修正するテキスト補正方法及び認識方法に関する。 The present invention relates to a text correction method and a recognition method for correcting errors included in output text such as speech recognition and character input.
人間が発生した音声を入力とし、テキスト文を認識結果として出力する技術を音声認識と呼ぶ。音声認識において認識単語を決定するための言語モデルとして、n−gramと呼ばれるものが広く用いられている。n−gramとは、n個の単語のつながりの出現確率を用いて、逐次音声認識を行っていく際の各単語の候補を決定する方法である。出現確率は、大量のサンプル文から、あらかじめ算出しておく。 A technique for receiving speech generated by humans and outputting a text sentence as a recognition result is called speech recognition. As a language model for determining a recognition word in speech recognition, what is called n-gram is widely used. The n-gram is a method of determining each word candidate when performing sequential speech recognition using the appearance probability of connection of n words. The appearance probability is calculated in advance from a large amount of sample sentences.
しかし、単一の言語モデルを用いた音声認識では、認識結果に認識誤りが含まれることが避けられない。例えば、n−gramでは、近接するn単語の並びのみに着目するため、より大域的な文法や文脈を考慮した認識結果がえられない。 However, in speech recognition using a single language model, it is inevitable that a recognition error is included in the recognition result. For example, since n-gram focuses only on a sequence of adjacent n words, a recognition result in consideration of a more global grammar and context cannot be obtained.
そこで、複数の言語モデルを組み合わせることで、認識精度を高めたり、ある言語モデルでの認識結果に含まれる誤認識を、別の言語モデルで修正したりする技術が提案されている。 Therefore, a technique has been proposed in which recognition accuracy is improved by combining a plurality of language models, or a misrecognition included in a recognition result of one language model is corrected by another language model.
例えば、特許文献1には、第一の言語モデル(例えばn−gram)の認識結果に含まれる単語のうち、誤りの可能性がある単語について、第二のモデル(用例文モデル)で、認識しなおす音声認識装置が開示されている。このとき、第一の言語モデルにおいて、誤りと推定される部分のみ第二のモデルでの認識を行うことで、第二のモデルによる処理負荷を軽減する効果が示されている。
For example, in
また、特許文献2には、音声認識の認識処理において、大域文脈による処理と局所文脈による処理を組み合わせて認識性能を高める情報処理装置が開示されている。
特許文献1に示されるような、第一の言語モデルで出力された認識文に含まれる誤りを推定し、第二の言語モデルを用いて誤認識補正を行う従来の装置では、認識文の各単語に対して、第二の言語モデルの有する認識語彙集合から、補正候補を検索する処理を行う必要があり、認識文の各単語ごとに、負荷の高い処理を行う必要があった。そこで特許文献1では、第一の言語モデルによる認識結果のうち、誤りの可能性の高い単語についてのみ、第二の言語モデルによる補正処理を行うことで、第二の言語モデルによる処理負荷を低減する方法が示されているが、補正処理を行う対象から外れた単語に含まれる誤りを補正できないという問題がある。
In a conventional apparatus that estimates an error included in a recognized sentence output by the first language model and corrects misrecognition using the second language model, as shown in
また、従来技術では、認識文の各単語について、認識文の文脈にかかわらず一意に補正処理対象の検索を行うため、認識文中の重要な誤りの補正に対して優先的に処理を行うことができなかった。 In addition, in the related art, since each word of the recognized sentence is uniquely searched for the correction processing target regardless of the context of the recognized sentence, it is possible to perform processing preferentially for correction of an important error in the recognized sentence. could not.
また、特許文献2に示されるような複数の言語モデルを組み合わせて、リアルタイムに認識処理を行う場合、複数の言語モデルによる認識処理を各単語ごと行う必要がある。また、重要な誤りの修正に対して、優先的に計算資源を割り当てることが出来ない。
When a plurality of language models as shown in
本発明は、上記問題に鑑みてなされたものであり、第一の言語モデルによる出力結果の誤認識に対して第二の言語モデルを用いた誤認識の補正を高速に実施する、あるいは、重要な誤りに優先的に計算機資源を割り当てることが可能なテキスト補正方法、及び認識方法を提供することを目的とする。 The present invention has been made in view of the above problems, and corrects misrecognition using the second language model at high speed with respect to misrecognition of the output result by the first language model, or is important. It is an object of the present invention to provide a text correction method and a recognition method capable of preferentially allocating computer resources to various errors.
上記目的を達成するため、本発明に係るテキスト補正方法は、
(1)テキストに含まれる誤り単語を、誤り補正によって補正するテキスト補正方法であって、
前記誤り補正は、前記テキストと、別の単語の集合からなる語彙集合とを、
それらに含まれる単語の出現頻度で比較して、前記テキストおよび語彙集合から特徴語の集合を抽出する特徴語抽出ステップを有し、
前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度を算出し、
前記テキストに含まれる単語に類似すると判定した、前記特徴語の集合に含まれる単語を、前記テキストに含まれる単語に対する補正候補の単語として出力することを特徴とする。
In order to achieve the above object, a text correction method according to the present invention includes:
(1) A text correction method for correcting an error word included in a text by error correction,
In the error correction, the text and a vocabulary set consisting of another set of words,
A feature word extraction step of extracting a set of feature words from the text and vocabulary set by comparing with the frequency of appearance of the words included in them,
Calculating a similarity between a word included in the text and a word included in the set of feature words;
A word included in the set of feature words determined to be similar to a word included in the text is output as a correction candidate word for the word included in the text.
この様に、特徴語抽出ステップによってあらかじめ特徴語を抽出することにより、補正する処理量を削減することができる。 In this way, the amount of processing to be corrected can be reduced by extracting feature words in advance by the feature word extraction step.
また、(1)において、(2)前記誤り補正は、前記テキストに含まれる単語のうち、前記特徴語の集合に含まれない単語を特異語の集合として抽出する特異語抽出ステップを有し、前記特異語の集合の各単語に対して、類似度の算出と補正候補の出力を行ってもよい。 Further, in (1), (2) the error correction includes a singular word extraction step of extracting a word that is not included in the feature word set among words included in the text as a singular word set; Similarity calculation and correction candidate output may be performed for each word of the singular word set.
また、(1)において、(3)前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語の特徴度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In addition, in (1), (3) the error correction is performed in addition to the similarity between the word included in the text and the word included in the feature word set, as well as the word included in the feature word set. Whether or not a word included in the set of feature words is output as a correction candidate word may be determined based on the feature degree.
また、前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語が、前記テキスト中に含まれる頻度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In addition, the error correction may be a frequency at which words included in the set of feature words are included in the text in addition to the similarity between the words included in the text and the words included in the set of feature words. Thus, it may be determined whether or not a word included in the set of feature words is output as a correction candidate word.
また、(1)において、(4)前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語が、前記テキスト中に含まれる頻度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In addition, in (1), (4) the error correction is performed by adding a word included in the feature word set in addition to the similarity between the word included in the text and the word included in the feature word set. Depending on the frequency included in the text, it may be determined whether or not a word included in the set of feature words is output as a correction candidate word.
また、(1)において、(5)前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記テキストに含まれる単語が、前記テキスト中に含まれる頻度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In addition, in (1), (5) the error correction is performed such that, in addition to the similarity between the word included in the text and the word included in the set of feature words, the word included in the text includes the text Whether or not to output a word included in the set of feature words as a correction candidate word may be determined based on the frequency included in the word.
また、(1)において、(6)前記テキストは、第一の認識語彙集合から生成されたテキストであって、前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語が、前記第一の認識語彙集合中に含まれるかどうかによって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In (1), (6) the text is a text generated from a first recognized vocabulary set, and the error correction is included in the word included in the text and the feature word set. A word included in the set of feature words is corrected as a candidate word according to whether or not a word included in the set of feature words is included in the first recognition vocabulary set in addition to the similarity to the word. It may be determined whether to output as.
また、(7)本発明に係る認識方法は、非テキストデータを入力として第一の認識モデルによる認識ステップによって出力されたテキストに含まれる誤り単語を、第二の認識モデルによる誤り補正によって誤り単語を補正する認識方法であって、
前記認識ステップは、時系列の非テキストデータから前記第一の認識モデルによって、認識した認識単語から、時系列な認識単語の集合を生成し、
前記誤り補正は、前記認識単語の集合と、第二の認識モデルに含まれる語彙集合とを
、それらに含まれる単語の出現頻度で比較して、前記認識単語の集合および前記語彙集合から、特徴語の集合を抽出する特徴語抽出ステップを有し、
前記認識単語の集合と、前記特徴語の集合に含まれる単語との類似度を算出し、
前記認識単語の集合に含まれる単語に類似すると判定した、前記特徴語の集合に含まれる単語を、前記認識単語の集合に含まれる単語に対する補正候補の単語として出力することを特徴とする。
(7) In the recognition method according to the present invention, the error word included in the text output by the recognition step by the first recognition model using the non-text data as an input is converted into the error word by the error correction by the second recognition model. A recognition method for correcting
The recognition step generates a set of recognition words in time series from recognition words recognized by the first recognition model from non-text data in time series,
The error correction is performed by comparing the set of recognized words and the vocabulary set included in the second recognition model in terms of the frequency of appearance of the words included in the recognition word set and the vocabulary set. A feature word extraction step for extracting a set of words;
Calculating the similarity between the set of recognized words and the words included in the set of feature words;
A word included in the set of feature words determined to be similar to a word included in the set of recognized words is output as a correction candidate word for a word included in the set of recognized words.
この様に、特徴語抽出ステップによってあらかじめ特徴語を抽出することにより、補正する処理量を削減することができる。 In this way, the amount of processing to be corrected can be reduced by extracting feature words in advance by the feature word extraction step.
また、(7)において、(8)前記誤り補正は、前記テキストに含まれる単語のうち、前記特徴語の集合に含まれない単語を特異語の集合として抽出する特異語抽出ステップを有し、前記特異語の集合の各単語に対して、類似度の算出と補正候補の出力を行ってもよい。 Further, in (7), (8) the error correction includes a singular word extraction step of extracting a word that is not included in the feature word set among words included in the text as a set of singular words, Similarity calculation and correction candidate output may be performed for each word of the singular word set.
また、(7)において、(9)前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語の特徴度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In addition, in (7), (9) the error correction is performed in addition to the similarity between the word included in the text and the word included in the feature word set, as well as the word included in the feature word set. Whether or not a word included in the set of feature words is output as a correction candidate word may be determined based on the feature degree.
また、前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語が、前記テキスト中に含まれる頻度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In addition, the error correction may be a frequency at which words included in the set of feature words are included in the text in addition to the similarity between the words included in the text and the words included in the set of feature words. Thus, it may be determined whether or not a word included in the set of feature words is output as a correction candidate word.
また、(7)において、(10)前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語が、前記テキスト中に含まれる頻度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 Further, in (7), (10) the error correction is performed in such a manner that the word included in the feature word set is added to the similarity between the word included in the text and the word included in the feature word set. Depending on the frequency included in the text, it may be determined whether or not a word included in the set of feature words is output as a correction candidate word.
また、(7)において、(11)前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記テキストに含まれる単語が、前記テキスト中に含まれる頻度によって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 Further, in (7), (11) the error correction is performed in such a manner that the word included in the text is added to the text in addition to the similarity between the word included in the text and the word included in the feature word set. Whether or not to output a word included in the set of feature words as a correction candidate word may be determined based on the frequency included in the word.
また、(7)において、(12)前記テキストは、第一の認識語彙集合から生成されたテキストであって、前記誤り補正は、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度に加えて、前記特徴語の集合に含まれる単語が、前記第一の認識語彙集合中に含まれるかどうかによって、前記特徴語の集合に含まれる単語を、補正候補の単語として出力するかどうかを判定してもよい。 In (7), (12) the text is a text generated from a first recognized vocabulary set, and the error correction is included in the word included in the text and the feature word set. A word included in the set of feature words is corrected as a candidate word according to whether or not a word included in the set of feature words is included in the first recognition vocabulary set in addition to the similarity to the word. It may be determined whether to output as.
また、(7)において、(13)前記誤り補正は、前記語彙集合から前記特徴語を抽出する頻度を変えてもよい。 In (7), (13) the error correction may change a frequency of extracting the feature word from the vocabulary set.
また、(7)において、(14)前記誤り補正は、抽出の時間間隔に基づいて前記語彙集合から前記特徴語を抽出する頻度を変てもよい。 In (7), (14) the error correction may change a frequency of extracting the feature word from the vocabulary set based on an extraction time interval.
また、(7)において、(15)前記誤り補正は、計算機の処理負荷状況に基づいて前記語彙集合から前記特徴語を抽出する頻度を変えてもよい。 In (7), (15) the error correction may change a frequency of extracting the feature word from the vocabulary set based on a processing load situation of a computer.
本発明によれば、第一の認識モデルで出力された認識文に対して、第二の認識モデルによる誤認識補正処理によって、高速に誤認識部分の推定と置換え処理を行うことができる。また、計算機資源の負荷状況に応じて、重要な間違いから優先して補正処理を行うことができる。 According to the present invention, it is possible to perform estimation and replacement processing of a misrecognized portion at high speed with respect to a recognized sentence output by the first recognition model, by misrecognition correction processing using the second recognition model. Further, correction processing can be performed with priority given to important mistakes according to the load state of computer resources.
以下、本発明の第一の実施形態に係る音声認識方法について図面を参照して説明する。 Hereinafter, a speech recognition method according to a first embodiment of the present invention will be described with reference to the drawings.
本発明のテキスト補正方法が実施される、携帯電話10は、図1に示すように、マイク101と、メインメモリ102と、CPU103と、表示部104と、二次記憶装置105と、から構成される。そして、これらは、内部バス105に繋がれている。
As shown in FIG. 1, a
二次記憶装置105には、音声認識プログラム107、計算機負荷取得プログラム108、誤認識補正プログラム109、単語リスト作成プログラム112、特徴語抽出プログラム115、文書DB作成プログラム118、が記憶されており、これらは、必要に応じてメインメモリ102にロードされ、CPU103がこれらのプログラムに従って動作することで、後述する誤認識補正処理が実行される。
The secondary storage device 105 stores a
誤認識補正プログラム109は、さらに、音素列変換プログラム110、補正判定プログラム111、の部分プログラムからなる。
The erroneous
単語リスト作成プログラム112は、さらに、形態素解析プログラム113、頻度算出プログラム114の部分プログラムからなる。
The word
特徴語抽出プログラム115は、さらに、類似文書検索プログラム116、単語特徴度算出プログラム117、の部分プログラムからなる。
The feature
二次記憶装置105には、さらに、文書DB119と言語モデル120が記憶されている。文書DB119は、複数のテキスト文書について、そのテキスト文書中の各単語の出現頻度を表したテーブルが、それぞれのテキスト文書毎に管理したテーブルである。複数のテキスト文書とは、例えば、様々な話題についての会話文、辞書の各単語の説明文、電子メールの送受信文などである。言語モデル120は、音声認識プログラム107によって、音声認識に利用される辞書データである。
The secondary storage device 105 further stores a
図2は、本実施形態の携帯電話10による誤認識補正処理の動作を概念的に示す図である。
FIG. 2 is a diagram conceptually showing the operation of the misrecognition correction process by the
マイク101から入力された人の音声は、音声認識処理により、認識文212に変換される。この認識文212には誤認識が含まれるものと考える。
A human voice input from the
単語リスト作成処理により、認識文212中に含まれる各単語の頻度を算出し、単語リスト213を作成する。作成した単語リスト213から、特徴語抽出処理により、特徴語リスト215を作成する。
By the word list creation process, the frequency of each word included in the recognized
補正判定処理により、作成した特徴語リスト215と元の単語リスト213の類似度を比較することにより、補正文216を生成し、表示部104を通じて利用者に表示する。
The corrected sentence 216 is generated by comparing the similarity between the created
音声認識処理、単語リスト作成処理、特徴語抽出処理、補正判定処理は、具体的には、それぞれ、CPU103の機能部である音声認識部202、単語リスト作成部203、特徴語抽出部206、誤認識補正部209により実行される。
Specifically, the speech recognition processing, the word list creation processing, the feature word extraction processing, and the correction determination processing are respectively the
図3、図4は、本実施形態の誤認識補正処理の実例を表す概念図である。本例では、人の発話文に対して、音声認識処理によって出力された認識文212には、誤りとして、「植樹」「校歌」の二つの単語が含まれる。この認識文212に含まれる単語の集合を集合Wとする。認識文212に対して、特徴語抽出処理によって抽出された特徴語の集合が特徴語リスト215である。これを集合Kとする。集合W中の単語のうち、集合Kに含まれない単語は、この文脈に即さない単語(以下、特異語と呼ぶ)であると判断し、誤りの可能性があると判断する。特異語と判断された各単語に対して、集合Kに含まれる単語ひとつひとつと、類似度を比較し、類似度が高いと判断された単語を、特異語に対する修正候補とする。本例では、前述の「植樹」「校歌」に対して、「食事」「高価」という修正候補が選出され、補正文216が出力される。
3 and 4 are conceptual diagrams showing an example of the erroneous recognition correction process of this embodiment. In this example, the
以下、携帯電話10で実行される上記各処理の詳細について説明する。 図5は、誤認識補正の手順を示すフローチャートである。
Hereinafter, the details of each of the processes executed by the
音声認識部202は、マイク101から入力された音声から、音声認識を実施し、言語モデル120に含まれる各単語から、認識文212を生成する(ステップS501)。単語リスト作成部203の形態素解析部204が、認識文212を単語に分解し、そののち頻度算出作成部205が、認識文212に含まれる各単語の頻度を計数し、単語リスト213を作成する(ステップS502)。図7に単語リスト213の実例を示す。
The
次に、特徴語抽出部206は、単語リスト213と文書DB119中の各文書の単語リスト213から、特徴語リスト215を生成する(ステップS503)。図8に特徴語リスト215の実例を示す。ステップS503の処理の詳細は後述する。抽出された特徴語リスト215は、認識文212の話題に即した特徴的な単語のリストが、特徴度の高い順に並んだデータである。
Next, the feature
続いて、誤認識補正部209が単語リスト213のそれぞれのエントリに対して処理を行う(ステップS504からステップS515)。誤認識補正部209は、単語リスト213のそれぞれのエントリについて、特徴語リスト215の中に同一の単語があるかをチェックし、あれば本単語を特異語と判断せず、ステップS505にて、次のエントリの処理に移行する(ステップS506のYes)。特徴語リスト215にない場合(ステップS506のNo)は、ステップS507以降の補正判定処理に移行する。
Subsequently, the
計算機負荷取得部201から、計算機の現在の負荷を取得し、負荷に応じて、後述する特徴語リストとの比較数m’を決定し(ステップS507)、誤認識補正部209の補正判定部211が、特徴語リスト215の上位m’個について、特徴度の高い順に、類似度を比較していく(ステップS508からステップS514)。
The current load of the computer is acquired from the computer
補正判定部211は、WiとKjの類似度を比較し、補正候補とするかどうかの判定値を算出する(ステップS511)。ここで、Wiとは、単語リスト213中のi番目の単語、Kjとは、特徴語リスト215のj番目の単語を表す。ステップS511の詳細については、後述する。
The
ステップS511において算出された判定値が閾値を上回った場合(ステップS512のYes)、誤認識であると判断し、KjをWiに対する誤認識補正候補であると記憶する(ステップS513)。閾値を下回った場合は(ステップS512のNo)、KjはWiの補正候補ではないと判断し、次の特徴語との処理に戻る(ステップS514)。
m’個すべての特徴語と比較し終わった場合は(ステップS509のYes)、ステップS510でiを加算した後、ステップS505に戻り、次の入力単語の処理に映る(ステップS505)。全ての認識文の単語リストの処理を終えた場合は(ステップS505のYes)、単語リスト213中の単語のうち、ステップS513において補正候補が発見された単語について、認識文212の該当する単語を、補正候補の単語に置き換えて出力する(ステップS515)。このことき、補正候補が複数存在する場合は、ステップS511における類似度が最も高いと判断された補正候補を採用する。
If the determination value calculated in step S511 exceeds the threshold value (Yes in step S512), it is determined to be misrecognition, and Kj is stored as a misrecognition correction candidate for Wi (step S513). If it is below the threshold (No in step S512), it is determined that Kj is not a Wi correction candidate, and the process returns to the next feature word (step S514).
When the comparison is completed with all m ′ feature words (Yes in step S509), i is added in step S510, and then the process returns to step S505 to be reflected in the processing of the next input word (step S505). When the processing of the word list of all the recognized sentences is finished (Yes in step S505), among the words in the
図6は、ステップS503の特徴語抽出処理の手順を示すフローチャートである。 FIG. 6 is a flowchart showing the procedure of the feature word extraction process in step S503.
特徴語抽出部206の類似文書検索部207は、認識文212から作成した単語リスト213と、文書DB119に格納されている各文書の単語リスト213との間で、ベクトルの内積演算を行う(ステップS601)。ここで、ベクトルの各要素は、各単語の出現頻度とする。したがって、ベクトルの次元数とは異なり単語数である。そして、内積値の小さいものから順に一定数(仮にαとする)を、認識文212に対する類似文書214として抽出する(ステップS602)。
The similar document search unit 207 of the feature
単語特徴度算出部208は、抽出した類似文書214の各文書に対して、tf−idfと呼ばれる方法によって、出現する各単語に対する特徴度を算出する(ステップS603)。tf−idfは単語の特徴度を計算する方法として広く利用されている計算法である。文書dでの単語wの出現頻度をtf、全文書中(本例では文書DB109の全ての文書)で、出現する文書の数をdfとしたとき、単語wの文書dにおけるtf−idf値は、本実施例では、次の計算式で算出する。ただし、特徴度を算出する方法の一例であり、これに限らない。
The word feature degree calculation unit 208 calculates the feature degree for each appearing word for each of the extracted
単語wのtf−idf値= tf / idf
そして、算出した各単語のif−idf値に対して、抽出した類似文書214間での平均をとる(ステップS604)。そして、その平均値の高いものから順にm個を、特徴語リスト215として生成する(ステップS605)。
Tf-idf value of word w = tf / idf
Then, an average between the extracted
図9は、ステップS511の補正判定処理の手順を示すフローチャートである。
まず、誤認識補正部209の音素列変換部210は、単語Wiと単語Kjをカナに変換したのち、音素列表記に変換する(ステップS901)。図10に、Wi=「植樹」、Kj=「食事」それぞれについての音素列表記への変換例を示す。
FIG. 9 is a flowchart illustrating the procedure of the correction determination process in step S511.
First, the phoneme string conversion unit 210 of the
次に、それぞれのローマ字表記の間の編集距離を算出する(ステップS902)。編集距離とは、ワードAに対して、挿入・削除・置換えを何回行うことでワードBに変更できるかを算出した値である。なお、置き換えの重みを増やすなど、挿入・削除・置換えの重みを変える方法もある。このようにして算出された値が編集距離であり、ワードAとワードBとの間の類似度の指標の一つとなる(値が小さい方が類似度が高いと判断)。 Next, the edit distance between each Romaji notation is calculated (step S902). The edit distance is a value obtained by calculating how many times insertion / deletion / replacement of word A can be performed to change to word B. There is a method of changing the weight of insertion / deletion / replacement, such as increasing the weight of replacement. The value calculated in this way is the edit distance, and is one of the indices of similarity between word A and word B (determined that the smaller the value, the higher the similarity).
なお、本実施例では、Wi,Kjを音素列に変更したが、これは、本発明の適用分野によって変更可能である。別の例として、文字入力におけるローマ字変換に変換する方法が考えられる。 In this embodiment, Wi and Kj are changed to phoneme strings, but this can be changed depending on the field of application of the present invention. As another example, a method of converting to Roman character conversion in character input is conceivable.
次に、認識文212の単語リスト213に出現するKjの回数tを算出する(ステップS903)、最後に、編集距離と出現回数から、最終的な判定値を算出する。たとえば、以下のような式で算出する。Kjが認識文212中で現れている回数が多いほど、類似度が高いと判断する例である。すなわち、補正判定の対象以外の部分で、出現している場合は、その補正候補の類似度を高める方法である。
Next, the number t of Kj appearing in the
判定値 = (編集距離 / (出現回数+1))
また、別の算出方法として、Kjが言語モデル120に含まれる単語であるかどうかによって、重みを変える方法も本発明に含まれる。すなわち、言語モデル120にない単語は、認識文212に現れることがないため、補正候補とする確率を上げる方法である。
Judgment value = (Edit distance / (Number of appearances + 1))
Further, as another calculation method, a method of changing the weight depending on whether or not Kj is a word included in the
また、Kjの特徴度を、重みとして利用する方法も本発明に含まれる。Kjの特徴度が高い、すなわち、重要度が高い単語は、補正候補とする確率を上げる方法である。 Further, the present invention includes a method of using the characteristic degree of Kj as a weight. This is a method of increasing the probability that a word having a high Kj feature level, that is, a high importance level, is a correction candidate.
ここで例示した判定値算出処理は、一例であり、単語間の置き換えの判定を行う方法であれば、方法は問わない。 The determination value calculation process illustrated here is an example, and any method may be used as long as it is a method for determining replacement between words.
第一の実施の形態によるテキスト補正方法では、認識文の全ての単語に対して、一度だけ補正用の言語モデルの検索を行い、あらかじめ補正候補である特徴語のリストを抽出しておくことで、効率的に認識文の全単語の補正判定処理を実施できる。 In the text correction method according to the first embodiment, for all the words in the recognized sentence, the language model for correction is searched only once, and a list of feature words that are correction candidates is extracted in advance. Thus, it is possible to efficiently perform correction determination processing for all words in the recognized sentence.
以下、本発明の第二の実施形態に係る音声認識方法について図面を参照して説明する。二の実施の形態では、発話音声に対する音声認識処理をリアルタイムに実施しながら、誤認識の補正処理を同時並行して行う音声認識方法の例を示す。なお、実施の形態1と同様の処理については説明を省略する。図8のフローチャートを用いて、補正処理の詳細を説明する。 Hereinafter, the speech recognition method according to the second embodiment of the present invention will be described with reference to the drawings. In the second embodiment, an example of a speech recognition method in which correction processing for erroneous recognition is performed in parallel while performing speech recognition processing for an uttered speech in real time will be described. Note that description of the same processing as in the first embodiment will be omitted. Details of the correction processing will be described with reference to the flowchart of FIG.
本実施例における補正処理では、音声認識を実施するタスクと補正処理を行うための特徴語抽出を実施するタスクが並行して動作する。音声認識を行うタスクは、音声入力がある間(ステップS1101のYes)、音声認識処理を繰り返し実施し、逐次認識した認識単語1101を出力する(第一の実施の形態のステップS501と同様)。次に、認識単語1101に対して誤認識判定処理を実施する(第一の実施の形態のステップS504〜ステップS514と同様)。誤認識判定の結果により、誤った単語であると判断された場合は、補正候補の単語を認識文1102に追加する。誤っていないと判断された場合は、もとの認識単語1101を、認識文1102に追加する。
In the correction processing in this embodiment, a task for performing speech recognition and a task for performing feature word extraction for performing correction processing operate in parallel. The task of performing speech recognition repeatedly performs speech recognition processing and outputs sequentially recognized recognition words 1101 (same as step S501 in the first embodiment) while there is speech input (Yes in step S1101). Next, a misrecognition determination process is implemented with respect to the recognition word 1101 (similar to step S504-step S514 of 1st embodiment). If it is determined that the word is an incorrect word as a result of the erroneous recognition determination, the correction candidate word is added to the recognized
一方、特徴語抽出を行うタスクは、認識タスクが動作している間、必要に応じて、特徴語の抽出処理を行う(ステップS1104のNo)。まず、特徴語抽出要否判定を行う。ここでは、特徴語の抽出を行う処理を行うタイミングを決定する。判定基準として、前回判定してから一定時間経過しているかどうか、認識文に含まれる単語が一定数以上増えたか、計算機のCPU負荷が一定以下か、といった例がある(ステップS1105)。特徴語抽出が必要と判断した場合は(ステップS1106のYes)、認識文212から、特徴語リスト215の抽出処理を行う(第一の実施の形態のステップS503と同様)。特徴語が不要と判断した場合は(ステップS1106のNo)、処理を一定時間停止する(ステップS1107)。
On the other hand, the task that performs feature word extraction performs feature word extraction processing as necessary while the recognition task is operating (No in step S1104). First, a feature word extraction necessity determination is performed. Here, the timing for performing the process of extracting feature words is determined. Examples of determination criteria include whether a certain time has passed since the previous determination, whether the number of words included in the recognized sentence has increased by a certain number, or whether the CPU load on the computer is below a certain level (step S1105). If it is determined that feature word extraction is necessary (Yes in step S1106), the
本実施の形態では、特徴語の抽出処理ステップS503を、ステップS501における認識単語1101出力におこなうのではなく、ステップS1105の判断基準に基づき、断続的に抽出しておいた特徴語リスト215を用いて、ステップS1102における誤認識の判定を行う。処理負荷の高い特徴語抽出処理を、音声認識の単語認識の度に行わず、かつ、ステップS1103の誤認識補正は各単語に対して行うため、補正のための第二の認識モデルの検索(本例における文書DB119の検索)に必要な計算負荷を抑えつつ、第一の認識モデルによる認識結果の全単語に対する補正処理をリアルタイムに実施することが可能となる。
In the present embodiment, the feature word extraction processing step S503 is not performed on the
以下、本発明の第三の実施形態に係る音声認識方法について図面を参照して説明する。 Hereinafter, a voice recognition method according to a third embodiment of the present invention will be described with reference to the drawings.
図12、図13および図14は、実施の形態のシステム構成を表す図である。本実施の形態では、実施の形態1、2、で示した特徴語抽出処理をネットワークで結合された他の計算機で実施するシステムを示す。 12, 13 and 14 are diagrams showing the system configuration of the embodiment. In the present embodiment, a system is shown in which the feature word extraction process shown in the first and second embodiments is executed by another computer connected by a network.
携帯電話10で作成した単語リスト213をサーバ20に送信し(ステップS1301、ステップS1302)、受信した単語リスト213に基づいてサーバは特徴語リスト215を抽出する(ステップS503)。サーバは抽出した特徴語リスト215を携帯電話に送信し(ステップS1303、ステップS1304)、携帯電話は、誤認識補正処理を行って補正文216を生成する(ステップS1102)。
The
本例では、データ量および計算量が大きい処理をサーバ側で実施する例を示した。 In this example, an example is shown in which processing with a large amount of data and a large amount of calculation is performed on the server side.
本発明によれば、誤りの含まれる認識文に対して、誤認識箇所の推定・補正候補提示を効率よく実行できるとともに、重要な誤りに対して優先的に補正処理を行うことが出来る。したがって、音声認識やPCにおける言語入力システム、音声コマンド認識などといった認識技術の補正全般に適用できるとともに、計算機資源の限られた携帯電話やナビゲーションシステムへの適用が容易になる。 According to the present invention, it is possible to efficiently execute estimation / correction candidate presentation of a misrecognized portion with respect to a recognized sentence including an error, and it is possible to preferentially perform correction processing for an important error. Therefore, it can be applied to all corrections of recognition techniques such as voice recognition, language input system in PC, voice command recognition, etc., and can be easily applied to mobile phones and navigation systems with limited computer resources.
10…携帯電話、101…マイク、102…メインメモリ、103…CPU、104…表示部、105…内部バス、106…二次記憶装置、107…音声認識プログラム、109…誤認識補正プログラム、112…単語リスト作成プログラム、115…特徴語抽出プログラム、119…文書DB、120…言語モデル、116…シーン判定部、211…キーパッド、202…音声認識部、203…単語リスト作成部、206…特徴語抽出部、209…誤認識補正部、212…認識文、213…単語リスト、215…特徴語リスト、216…補正文
DESCRIPTION OF
Claims (15)
前記誤り補正部は、前記テキストと、別の単語の集合からなる語彙集合とを、
それらに含まれる単語の出現頻度で比較して、前記テキストおよび語彙集合から特徴語の集合を抽出する特徴語抽出部を有し、
前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度を算出し、
前記テキストに含まれる単語に類似すると判定した、前記特徴語の集合に含まれる単語を、前記テキストに含まれる単語に対する補正候補の単語として出力することを特徴とするテキスト補正装置。 A text correction device that corrects an error word included in a text by an error correction unit,
The error correction unit includes the text and a vocabulary set composed of another set of words.
A feature word extraction unit that extracts a set of feature words from the text and the vocabulary set by comparing the appearance frequencies of the words included in them;
Calculating a similarity between a word included in the text and a word included in the set of feature words;
A text correction apparatus that outputs a word included in the set of feature words determined to be similar to a word included in the text as a correction candidate word for the word included in the text.
ことを特徴とする請求項1に記載のテキスト補正装置。 The error correction unit includes a singular word extraction unit that extracts words included in the text that are not included in the feature word set as a singular word set. On the other hand, calculate the similarity and output correction candidates.
The text correction apparatus according to claim 1.
ことを特徴とする請求項1に記載のテキスト補正装置。 The error correction unit is configured to determine the set of feature words based on the degree of feature of the words included in the set of feature words in addition to the similarity between the words included in the text and the words included in the set of feature words. To determine whether to output the words included in as correction candidate words,
The text correction apparatus according to claim 1.
ことを特徴とする請求項1に記載のテキスト補正装置。 In addition to the similarity between the word included in the text and the word included in the feature word set, the error correction unit may determine whether the word included in the feature word set is included in the text. Determining whether to output words included in the set of feature words as correction candidate words;
The text correction apparatus according to claim 1.
ことを特徴とする請求項1に記載のテキスト補正装置。 In addition to the similarity between the words included in the text and the words included in the set of feature words, the error correction unit determines the characteristics according to the frequency that the words included in the text are included in the text. Determine whether to output words included in the set of words as correction candidate words;
The text correction apparatus according to claim 1.
ことを特徴とする請求項1に記載のテキスト補正装置。 The text is a text generated from a first recognized vocabulary set, and the error correction unit, in addition to the similarity between a word included in the text and a word included in the set of feature words, Determining whether or not to output a word included in the set of feature words as a correction candidate word depending on whether or not a word included in the set of feature words is included in the first recognition vocabulary set;
The text correction apparatus according to claim 1.
前記認識部は、時系列の非テキストデータから前記第一の認識モデルによって、認識した認識単語から、時系列な認識単語の集合を生成し、
前記誤り補正部は、前記認識単語の集合と、第二の認識モデルに含まれる語彙集合とを
、それらに含まれる単語の出現頻度で比較して、前記認識単語の集合および前記語彙集合から、特徴語の集合を抽出する特徴語抽出部を有し、
前記認識単語の集合と、前記特徴語の集合に含まれる単語との類似度を算出し、
前記認識単語の集合に含まれる単語に類似すると判定した、前記特徴語の集合に含まれる単語を、前記認識単語の集合に含まれる単語に対する補正候補の単語として出力することを特徴とする認識装置。 A recognition device for correcting an error word included in a text output by a recognition unit having a first recognition model with non-text data as an input, and correcting the error word by an error correction unit having a second recognition model,
The recognition unit generates a set of recognition words in time series from recognition words recognized by the first recognition model from non-text data in time series,
The error correction unit compares the set of recognized words and the vocabulary set included in the second recognition model with the appearance frequency of the words included in them, and from the set of recognized words and the vocabulary set, A feature word extraction unit for extracting a set of feature words;
Calculating the similarity between the set of recognized words and the words included in the set of feature words;
A recognition apparatus that outputs a word included in the set of feature words determined to be similar to a word included in the set of recognized words as a correction candidate word for a word included in the set of recognized words .
ことを特徴とする請求項7に記載の認識装置。 The error correction unit includes a singular word extraction unit that extracts words included in the text that are not included in the feature word set as a singular word set. On the other hand, calculate the similarity and output correction candidates.
The recognition apparatus according to claim 7.
ことを特徴とする請求項7に記載の認識装置。 The error correction unit is configured to determine the set of feature words based on the degree of feature of the words included in the set of feature words in addition to the similarity between the words included in the text and the words included in the set of feature words. To determine whether to output the words included in as correction candidate words,
The recognition apparatus according to claim 7.
ことを特徴とする請求項7に記載の認識装置。 In addition to the similarity between the word included in the text and the word included in the feature word set, the error correction unit may determine whether the word included in the feature word set is included in the text. Determining whether to output words included in the set of feature words as correction candidate words;
The recognition apparatus according to claim 7.
ことを特徴とする請求項7に記載の認識装置。 In addition to the similarity between the words included in the text and the words included in the set of feature words, the error correction unit determines the characteristics according to the frequency that the words included in the text are included in the text. Determine whether to output words included in the set of words as correction candidate words;
The recognition apparatus according to claim 7.
ことを特徴とする請求項7に記載の認識装置。 The text is a text generated from a first recognized vocabulary set, and the error correction unit, in addition to the similarity between a word included in the text and a word included in the set of feature words, Determining whether or not to output a word included in the set of feature words as a correction candidate word depending on whether or not a word included in the set of feature words is included in the first recognition vocabulary set;
The recognition apparatus according to claim 7.
ことを特徴とする請求項7に記載の認識装置。 The error correction unit changes a frequency of extracting the feature word from the vocabulary set;
The recognition apparatus according to claim 7.
ことを特徴とする請求項7に記載の認識装置。 The error correction unit changes a frequency of extracting the feature word from the vocabulary set based on an extraction time interval;
The recognition apparatus according to claim 7.
ことを特徴とする請求項7に記載の認識装置。
The error correction unit changes a frequency of extracting the feature word from the vocabulary set based on a processing load situation of a computer;
The recognition apparatus according to claim 7.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010153537A JP2012018201A (en) | 2010-07-06 | 2010-07-06 | Text correction and recognition method |
PCT/JP2011/003771 WO2012004955A1 (en) | 2010-07-06 | 2011-07-01 | Text correction method and recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010153537A JP2012018201A (en) | 2010-07-06 | 2010-07-06 | Text correction and recognition method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012018201A true JP2012018201A (en) | 2012-01-26 |
Family
ID=45440949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010153537A Pending JP2012018201A (en) | 2010-07-06 | 2010-07-06 | Text correction and recognition method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2012018201A (en) |
WO (1) | WO2012004955A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095399A (en) * | 2014-11-14 | 2016-05-26 | 日本電信電話株式会社 | Voice recognition result shaping device, method, and program |
JP2016206487A (en) * | 2015-04-24 | 2016-12-08 | 日本電信電話株式会社 | Voice recognition result shaping device, method and program |
CN112016305A (en) * | 2020-09-09 | 2020-12-01 | 平安科技(深圳)有限公司 | Text error correction method, device, equipment and storage medium |
JP2021092713A (en) * | 2019-12-12 | 2021-06-17 | 三菱電機インフォメーションシステムズ株式会社 | Correction candidate specification device, correction candidate specification method and correction candidate specification program |
KR20220045839A (en) | 2020-10-06 | 2022-04-13 | 주식회사 케이티 | Server, devece and method for providing voice recognition service |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101364774B1 (en) * | 2012-12-07 | 2014-02-20 | 포항공과대학교 산학협력단 | Method for correction error of speech recognition and apparatus |
CN108829497A (en) * | 2018-05-31 | 2018-11-16 | 阿里巴巴集团控股有限公司 | The bearing calibration of affairs causal ordering and device, electronic equipment |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003308094A (en) * | 2002-02-12 | 2003-10-31 | Advanced Telecommunication Research Institute International | Method for correcting recognition error place in speech recognition |
JP2004252775A (en) * | 2003-02-20 | 2004-09-09 | Nippon Telegr & Teleph Corp <Ntt> | Word extraction device, word extraction method, and program |
JP4809857B2 (en) * | 2008-03-04 | 2011-11-09 | 日本放送協会 | Related document selection output device and program thereof |
-
2010
- 2010-07-06 JP JP2010153537A patent/JP2012018201A/en active Pending
-
2011
- 2011-07-01 WO PCT/JP2011/003771 patent/WO2012004955A1/en active Application Filing
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095399A (en) * | 2014-11-14 | 2016-05-26 | 日本電信電話株式会社 | Voice recognition result shaping device, method, and program |
JP2016206487A (en) * | 2015-04-24 | 2016-12-08 | 日本電信電話株式会社 | Voice recognition result shaping device, method and program |
JP2021092713A (en) * | 2019-12-12 | 2021-06-17 | 三菱電機インフォメーションシステムズ株式会社 | Correction candidate specification device, correction candidate specification method and correction candidate specification program |
CN112016305A (en) * | 2020-09-09 | 2020-12-01 | 平安科技(深圳)有限公司 | Text error correction method, device, equipment and storage medium |
CN112016305B (en) * | 2020-09-09 | 2023-03-28 | 平安科技(深圳)有限公司 | Text error correction method, device, equipment and storage medium |
KR20220045839A (en) | 2020-10-06 | 2022-04-13 | 주식회사 케이티 | Server, devece and method for providing voice recognition service |
Also Published As
Publication number | Publication date |
---|---|
WO2012004955A1 (en) | 2012-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10037758B2 (en) | Device and method for understanding user intent | |
JP6923332B2 (en) | Automatic interpretation method and equipment | |
US10210862B1 (en) | Lattice decoding and result confirmation using recurrent neural networks | |
EP2702586B1 (en) | Cross-lingual initialization of language models | |
CN106463117B (en) | Dialog state tracking using WEB-style ranking and multiple language understanding engines | |
US9292487B1 (en) | Discriminative language model pruning | |
US10672391B2 (en) | Improving automatic speech recognition of multilingual named entities | |
EP2609588B1 (en) | Speech recognition using language modelling | |
US11093110B1 (en) | Messaging feedback mechanism | |
US9594744B2 (en) | Speech transcription including written text | |
WO2012004955A1 (en) | Text correction method and recognition method | |
JP6726354B2 (en) | Acoustic model training using corrected terms | |
CN112992146A (en) | Speech recognition system | |
KR20190021338A (en) | Subsequent voice query prediction | |
US10152298B1 (en) | Confidence estimation based on frequency | |
US8356065B2 (en) | Similar text search method, similar text search system, and similar text search program | |
JP2012063536A (en) | Terminal device, speech recognition method and speech recognition program | |
KR20120038198A (en) | Apparatus and method for recognizing speech | |
WO2020156342A1 (en) | Voice recognition method and device, electronic device and storage medium | |
KR20180062003A (en) | Method of correcting speech recognition errors | |
JP4826719B2 (en) | Speech recognition system, speech recognition method, and speech recognition program | |
JP2013050605A (en) | Language model switching device and program for the same | |
KR20120052591A (en) | Apparatus and method for error correction in a continuous speech recognition system | |
US20230186898A1 (en) | Lattice Speech Corrections | |
JP2010231149A (en) | Terminal using kana-kanji conversion system for voice recognition, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120517 |