JP2007025279A - Device and program for speech recognition - Google Patents

Device and program for speech recognition Download PDF

Info

Publication number
JP2007025279A
JP2007025279A JP2005207526A JP2005207526A JP2007025279A JP 2007025279 A JP2007025279 A JP 2007025279A JP 2005207526 A JP2005207526 A JP 2005207526A JP 2005207526 A JP2005207526 A JP 2005207526A JP 2007025279 A JP2007025279 A JP 2007025279A
Authority
JP
Japan
Prior art keywords
word
sequence
likelihood
candidate
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005207526A
Other languages
Japanese (ja)
Other versions
JP4727330B2 (en
Inventor
Hirotaka Goi
啓恭 伍井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005207526A priority Critical patent/JP4727330B2/en
Publication of JP2007025279A publication Critical patent/JP2007025279A/en
Application granted granted Critical
Publication of JP4727330B2 publication Critical patent/JP4727330B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To precisely discriminate a user's speech in phrase units without registering the whole phrase as one word in a word dictionary. <P>SOLUTION: A device for speech recognition is provided with a word series specification section 6b which generates a word series candidate with maximum likelihood with an acoustic series candidate generated by an acoustic processor 2 by reference to an object word n-gram4, and a word series specification section 6c which generates a word series candidate with maximum likelihood with the acoustic series candidate generated by the acoustic processor 2 by reference to an unnecessary word n-gram5. The likelihood of the word series candidate generated by the word series specification section 6b is compared with the likelihood of the word series candidate generated by the word series specification section 6c and when the likelihood of the word series candidate specified by the word series specification section 6b is higher, orthography of the word series candidate is output. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、音声を認識して、その音声に対応する単語系列を出力する音声認識装置及び音声認識プログラムに関するものである。   The present invention relates to a speech recognition apparatus and a speech recognition program for recognizing speech and outputting a word sequence corresponding to the speech.

言葉をテキスト化する技術は有用であり、例えば、医療や法律分野の書き起こしや、放送字幕の作成など、多くの分野で書き起こしに対する効率向上が望まれている。
しかし、実際の使用時には、ユーザが入力を希望する音声と、入力を希望しない音声があり、これらの音声を弁別するには大きな技術的課題がある。
A technique for converting words into text is useful, and for example, it is desired to improve the efficiency of transcription in many fields, such as transcription in medical and legal fields and creation of broadcast subtitles.
However, in actual use, there are voices that the user wants to input and voices that the user does not want to input, and there is a great technical problem to distinguish these voices.

無意味語の照合によって認識単語をリジェクトすることにより、上記の技術的な課題を解決している音声認識装置が、以下の特許文献1に開示されている。
また、冗長語を含むモデルと、冗長語が除かれているモデルを用いることにより、音声の認識精度を高めている音声認識装置が、以下の特許文献2に開示されている。
ただし、この音声認識装置では、発声内の冗長語に特化した処理ではなく、発声単位に入力したい句であるか否かを弁別可能とするものである。
以下、この明細書で用いる専門用語は、以下の非特許文献1,2に開示されている用語である。
A speech recognition device that solves the above technical problem by rejecting a recognized word by means of meaningless word matching is disclosed in Patent Document 1 below.
Also, a speech recognition apparatus that improves speech recognition accuracy by using a model including redundant words and a model from which redundant words are removed is disclosed in Patent Document 2 below.
However, in this speech recognition apparatus, it is possible to discriminate whether or not a phrase is desired to be input for each utterance, rather than processing specialized for redundant words in the utterance.
Hereinafter, the technical terms used in this specification are terms disclosed in Non-Patent Documents 1 and 2 below.

従来の音声認識装置では、入力音声を精度よく認識することができるようにするため、言語モデルとしてn−gramを用いる方式を採用しており、マイク、音響処理装置、単語予測装置、RAM、3−gram表及び出力装置から構成されている。
以下、この音声認識装置の処理内容を説明する。
In the conventional speech recognition device, a method using n-gram as a language model is adopted in order to be able to recognize input speech with high accuracy, and a microphone, an acoustic processing device, a word prediction device, a RAM, 3 -It consists of a gram table and an output device.
Hereinafter, processing contents of the speech recognition apparatus will be described.

音声認識装置のマイクは、ユーザが声を発すると、その音声を取り込み、その音声信号を電気信号に変換して出力する。
音響処理装置は、マイクから電気信号を受けると、その電気信号をA/D変換し、ディジタル信号である電気信号を量子化する。
そして、音響処理装置は、その量子化信号をスペクトル分析して、その量子化信号を音節単位に分離する認識処理を実施する。
そして、音響処理装置は、音節単位の認識結果を連接して音韻列候補を生成し、その音韻列候補をRAMに記憶する。
When the user utters a voice, the microphone of the voice recognition device captures the voice, converts the voice signal into an electric signal, and outputs the electric signal.
When receiving the electrical signal from the microphone, the sound processing device A / D converts the electrical signal and quantizes the electrical signal which is a digital signal.
Then, the acoustic processing device performs a spectrum analysis of the quantized signal and performs a recognition process for separating the quantized signal into syllable units.
Then, the sound processing apparatus generates a phoneme string candidate by concatenating the recognition results in syllable units, and stores the phoneme string candidate in the RAM.

単語予測装置は、上記のようにして、音響処理装置が音韻列候補をRAMに記憶すると、そのRAMから音韻列候補を1つ取り出し、先頭単語列の初期化を実施する。
また、単語予測装置は、3−gram表から検索キーに対応する3−gram情報を検索し、その3−gram情報に基づいて単語3連鎖の確率値を計算する。
As described above, when the sound processing apparatus stores the phoneme string candidate in the RAM, the word predicting apparatus extracts one phoneme string candidate from the RAM and initializes the leading word string.
Further, the word prediction device searches for 3-gram information corresponding to the search key from the 3-gram table, and calculates a probability value of word 3 chain based on the 3-gram information.

単語予測装置は、単語3連鎖の確率値を計算すると、その単語3連鎖の確率値を参照して、RAMに記憶されている音韻列候補に対して最も確率の高い単語列を特定し、その単語列をRAMに記憶する。
単語予測装置は、RAMに記憶されている全ての音韻列候補に対して、最も確率の高い単語列の特定処理を実施し、最も確率の高い単語列Wと音韻列候補を選択する。
出力装置は、単語予測装置が単語列Wと音韻列候補を選択すると、その単語列Wから表記を取り出し、その表記を出力する。
これにより、ユーザの音声に類似している確率が高い単語列が提示される。
When the word prediction device calculates the probability value of the word 3-chain, the word prediction device refers to the probability value of the word 3-chain, identifies the word sequence having the highest probability for the phoneme sequence candidates stored in the RAM, The word string is stored in the RAM.
The word predicting device performs the word string specifying process with the highest probability on all the phoneme string candidates stored in the RAM, and selects the word string W and the phoneme string candidate with the highest probability.
When the word prediction device selects a word string W and a phoneme string candidate, the output device extracts a notation from the word string W and outputs the notation.
As a result, a word string having a high probability of being similar to the user's voice is presented.

ここで、音韻列候補に対して最も確率の高い単語列の特定処理について説明する。
単語列候補の生成は、単語列の確率P(W|Y)を最大にする単語列Wを算出することで得られる。単語列の確率は次式から得られる。

Figure 2007025279
Here, the process of specifying a word string having the highest probability for a phoneme string candidate will be described.
Generation of a word string candidate is obtained by calculating a word string W that maximizes the probability P (W | Y) of the word string. The probability of the word string is obtained from the following equation.
Figure 2007025279

式(1)において、Wは発話された単語列であり、Yは音韻列である。
式(1)では、P(W|Y)を最大にするWを求めればよく、右辺の中で単語列Wに共通なP(Y)については省略することができるため、P(Y|W)P(W)を最大にするWを求めればよい。
P(Y|W)は単語列Wが与えられたときの音韻列の出現確率であり、P(W)は単語列の出現確率である。
In Expression (1), W is a spoken word string, and Y is a phoneme string.
In Formula (1), W that maximizes P (W | Y) may be obtained, and P (Y) common to the word string W in the right side can be omitted. ) What is necessary is just to obtain | require W which maximizes P (W).
P (Y | W) is the appearance probability of the phoneme string when the word string W is given, and P (W) is the appearance probability of the word string.

時刻t=1,2,…,Lにおいて、単語列Wに対応する音韻列が下記の式(2)で決定される場合、下記の式(3)に示すように、P(W|Y)は音韻確率から算出することができる。
Y=Y1,Y2,・・・,YL (2)

Figure 2007025279
When the phoneme sequence corresponding to the word sequence W is determined by the following equation (2) at time t = 1, 2,..., L, as shown in the following equation (3), P (W | Y) Can be calculated from the phoneme probability.
Y = Y 1 , Y 2 ,..., Y L (2)
Figure 2007025279

また、単語列の出現確率P(W)は、m語の単語列Wが下記の式(4)で決定される場合、音韻確率とは独立に、下記の式(5)に示す単語3−gramの確率から近似することができる。
W=w1,w2,・・・,wm (4)

Figure 2007025279
Further, the appearance probability P (W) of the word string is the word 3-word shown in the following expression (5) independently of the phoneme probability when the m word string W is determined by the following expression (4). It can be approximated from the probability of gram.
W = w 1 , w 2 ,..., W m (4)
Figure 2007025279

上記の計算により、音韻列候補のうち、3−gramインデックスに単語の列が存在するものについて、単語列確率P(W|Y)を最大にする単語列Wを算出する。
各単語の出現確率は、単語の3−gram表に記憶されている頻度値を参照して算出する。
これにより、音声認識装置の音声認識精度が高められるが、ユーザの音声が、入力を希望する音声であるのか、入力を希望しない音声であるのかの弁別は、次のようにしている。
From the above calculation, the word string W that maximizes the word string probability P (W | Y) is calculated for the phoneme string candidates having word strings in the 3-gram index.
The appearance probability of each word is calculated with reference to the frequency value stored in the 3-gram table of the word.
As a result, the voice recognition accuracy of the voice recognition device is improved, but the discrimination as to whether the user's voice is a voice desired to be input or a voice not desired to be input is as follows.

即ち、音声認識装置は、入力単語と非入力単語を単語辞書に登録する手法を採用して、弁別を行っている。
例えば、入力単語として「泣こう」、非入力単語として「鳴こう」を単語辞書に登録することにより、ユーザの音声が「なこう」であるとき、音声認識結果として「泣こう」を出力し、「鳴こう」を出力しないようにしている。
これにより、「泣こう」と「鳴こう」の単語を弁別することができるが、次のような句は、句の全体を1単語として単語辞書に登録しない限り、弁別することができない。
例えば、「子供が泣く」と「鳥が鳴く」が入力句で、「子供が鳴く」と「鳥が泣く」が非入力句であることは弁別することができない。言語現象は実際にはさらに複雑であり「子供が鳴く鳥をさがす」などのように単語の組み合わせは無数に存在するため正しい句として予め登録するには困難がある。
That is, the speech recognition apparatus employs a technique of registering input words and non-input words in a word dictionary to perform discrimination.
For example, by registering "Let's cry" as an input word and "Let's ring" as a non-input word in the word dictionary, when the user's voice is "Let's say", "Let's cry" is output as the voice recognition result. , "Let's ring" is not output.
Thus, the words “Let's cry” and “Let's cry” can be distinguished, but the following phrases cannot be distinguished unless the entire phrase is registered as one word in the word dictionary.
For example, it cannot be discriminated that “child cry” and “bird cry” are input phrases, and “child cry” and “bird cry” are non-input phrases. The linguistic phenomenon is actually more complicated, and there are an infinite number of combinations of words such as “Look for a bird that a child sings”, and it is difficult to register as a correct phrase in advance.

特開昭61−52698号公報(第7頁から第13頁、図1)JP 61-52698 (pages 7 to 13, FIG. 1) 特開2002−278584号公報(段落番号[0047]から[0060]、図1)JP 2002-278484 A (paragraph numbers [0047] to [0060], FIG. 1) 鹿野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄著:「音声認識システム」株式会社オーム社,平成13年5月15日Kazuhiro Shikano, Katsunobu Ito, Tatsuya Kawahara, Kazuya Takeda, Mikio Yamamoto: “Speech Recognition System” Ohm Co., Ltd., May 15, 2001 北研二著,「確率的言語モデル」,東京大学出版会、1999年11月25日Kitakenji, “Probabilistic Language Model”, The University of Tokyo Press, November 25, 1999

従来の音声認識装置は以上のように構成されているので、入力単語と非入力単語を単語辞書に登録すれば、単語を弁別することができるが、ユーザの音声が句である場合、句の全体を1単語として単語辞書に登録しない限り、弁別することができない。換言すると、句の全体を1単語として単語辞書に登録すれば、句の弁別も可能になるが、句の全体を1単語として単語辞書に登録するには、膨大な記憶メモリが必要になり、現実的には対応が困難である課題があった。   Since the conventional speech recognition apparatus is configured as described above, it is possible to discriminate words by registering input words and non-input words in the word dictionary, but when the user's speech is a phrase, Unless the whole is registered in the word dictionary as one word, it cannot be discriminated. In other words, if the entire phrase is registered as one word in the word dictionary, the phrase can be discriminated. However, in order to register the entire phrase as one word in the word dictionary, a huge storage memory is required. In reality, there were issues that were difficult to deal with.

この発明は上記のような課題を解決するためになされたもので、句の全体を1単語として単語辞書に登録することなく、精度よく句単位のユーザの音声を弁別することができる音声認識装置を得ることを目的とする。   The present invention has been made to solve the above-described problem, and can accurately discriminate a user's voice in units of phrases without registering the whole phrase as one word in a word dictionary. The purpose is to obtain.

この発明に係る音声認識装置は、入力対象分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第1の単語系列特定手段と、入力不要分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第2の単語系列特定手段とを設け、第1の単語系列特定手段により特定された単語系列の尤度と第2の単語系列特定手段により特定された単語系列の尤度を比較し、第1の単語系列特定手段により特定された単語系列の尤度の方が高ければ、その単語系列を出力するようにしたものである。   The speech recognition apparatus according to the present invention refers to a first word sequence identification unit that identifies an acoustic sequence converted by the acoustic sequence conversion unit and a word sequence with the highest likelihood by referring to the word n-gram in the input target field. And a second word sequence specifying unit that specifies the acoustic sequence converted by the acoustic sequence conversion unit and the word sequence having the highest likelihood, with reference to the word n-gram in the input unnecessary field, The likelihood of the word sequence identified by the first word sequence identification unit is compared with the likelihood of the word sequence identified by the word sequence identification unit and the likelihood of the word sequence identified by the second word sequence identification unit. If is higher, the word sequence is output.

この発明によれば、入力対象分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第1の単語系列特定手段と、入力不要分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第2の単語系列特定手段とを設け、第1の単語系列特定手段により特定された単語系列の尤度と第2の単語系列特定手段により特定された単語系列の尤度を比較し、第1の単語系列特定手段により特定された単語系列の尤度の方が高ければ、その単語系列を出力するように構成したので、句の全体を1単語として単語辞書に登録することなく、ユーザの音声が入力対象分野の音響系列である場合に限り、その音響系列に対応している単語系列を出力することができる効果がある。   According to this invention, referring to the word n-gram of the input target field, the first word sequence specifying means for specifying the acoustic sequence converted by the acoustic sequence conversion means and the word sequence having the highest likelihood, and the input An acoustic sequence converted by the acoustic sequence conversion means and a second word sequence specifying means for specifying the word sequence with the highest likelihood are provided with reference to the word n-gram of the unnecessary field, and the first word sequence specification is provided. The likelihood of the word sequence specified by the means is compared with the likelihood of the word sequence specified by the second word sequence specifying means, and the likelihood of the word sequence specified by the first word sequence specifying means is better. If it is high, the word sequence is output, so that the entire phrase is not registered in the word dictionary as a single word, but only when the user's voice is an acoustic sequence in the input target field. Compatible single There is an effect that it is possible to output the sequence.

実施の形態1.
図1はこの発明の実施の形態1による音声認識装置を示す構成図であり、図において、マイク1はユーザが声を発すると、その音声を取り込んで、その音声信号を電気信号に変換して出力する処理を実施する。なお、マイク1は音声取込手段を構成している。
音響処理装置2はマイク1から出力された電気信号をA/D変換して、ディジタル信号である電気信号を量子化し、その量子化信号をスペクトル分析して、その量子化信号を音節単位に分離することにより、音節単位の認識結果を連接して音韻列候補(音響系列)を生成し、その音韻列候補をRAM3に記憶する処理を実施する。RAM3は音響処理装置2により生成された音韻列候補を格納するメモリである。
なお、音響処理装置2から音響系列変換手段が構成されている。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a speech recognition apparatus according to Embodiment 1 of the present invention. In FIG. 1, when a user speaks, a microphone 1 captures the speech and converts the speech signal into an electrical signal. Perform the output process. Note that the microphone 1 constitutes a voice capturing means.
The sound processing device 2 A / D-converts the electrical signal output from the microphone 1, quantizes the digital electrical signal, analyzes the quantized signal, and separates the quantized signal into syllable units. As a result, the phoneme sequence candidates (acoustic sequences) are generated by concatenating the recognition results in syllable units, and the phoneme sequence candidates are stored in the RAM 3. The RAM 3 is a memory that stores phoneme string candidates generated by the sound processing device 2.
The acoustic processing device 2 constitutes an acoustic sequence conversion means.

対象単語n−gram4は音響系列に対応する単語系列の出現確率が記憶されている入力対象分野(例えば、医療業務の分野)のn−gramモデルである。
不要単語n−gram5は音響系列に対応する単語系列の出現確率が記憶されている入力不要分野(例えば、日常一般的に使用する言葉がモデル化された入力不要の分野)のn−gramモデルである。
対象単語n−gram4及び不要単語n−gram5のn−gramモデルは十分な規模のコーパスから生成されて事前に記録されており、例えば、2−gram(単語2連鎖)と1−gramから構成されている。
なお、先頭の音韻列が検索キーになっており、2−gramでは、検索キーに対して前接形態素、後接形態素及び確率が記録されている。2−gramに記録されている確率は、前接形態素の次に後接形態素が接続する確率であり、2−gramの生起確率に相当する。
1−gramでは、直接、次に連接する形態素の情報と確率が記録されている。1−gramに記録されている確率は、その形態素自身の生起確率である。なお、形態素は表記、音素表記、見出し読み及び品詞の組で表されている。
The target word n-gram 4 is an n-gram model of an input target field (for example, medical service field) in which the appearance probability of the word series corresponding to the acoustic series is stored.
The unnecessary word n-gram 5 is an n-gram model of an input unnecessary field (for example, an input unnecessary field in which words commonly used in daily life are modeled) in which the appearance probability of the word series corresponding to the acoustic sequence is stored. is there.
The n-gram model of the target word n-gram4 and the unnecessary word n-gram5 is generated from a corpus of a sufficient size and recorded in advance, and is composed of, for example, 2-gram (word double chain) and 1-gram. ing.
Note that the first phoneme string is a search key. In 2-gram, a front morpheme, a back morpheme, and a probability are recorded for the search key. The probability recorded in 2-gram is the probability that the next morpheme is connected after the front morpheme, and corresponds to the occurrence probability of 2-gram.
In 1-gram, the information and probability of the next connected morpheme are recorded directly. The probability recorded in 1-gram is the occurrence probability of the morpheme itself. A morpheme is represented by a combination of notation, phoneme notation, heading reading, and part of speech.

言語処理装置6は前処理部6aと単語系列特定部6bと単語系列特定部6cから構成されている。
言語処理装置6の前処理部6aは所定の初期化処理等を実施する。
言語処理装置6の単語系列特定部6bは対象単語n−gram4を参照して、RAM3に格納されている音韻列候補と最も尤度が高い単語系列を特定する処理を実施する。
言語処理装置6の単語系列特定部6cは不要単語n−gram5を参照して、RAM3に格納されている音韻列候補と最も尤度が高い単語系列を特定する処理を実施する。
なお、単語系列特定部6bは第1の単語系列特定手段を構成し、単語系列特定部6cは第2の単語系列特定手段を構成している。
The language processing device 6 includes a preprocessing unit 6a, a word sequence specifying unit 6b, and a word sequence specifying unit 6c.
The preprocessing unit 6a of the language processing device 6 performs predetermined initialization processing and the like.
The word sequence specifying unit 6b of the language processing device 6 refers to the target word n-gram4 and performs a process of specifying the phoneme sequence candidate stored in the RAM 3 and the word sequence having the highest likelihood.
The word sequence specifying unit 6c of the language processing device 6 refers to the unnecessary word n-gram 5 and performs a process of specifying the phoneme sequence candidate stored in the RAM 3 and the word sequence having the highest likelihood.
The word sequence identification unit 6b constitutes a first word sequence identification unit, and the word sequence identification unit 6c constitutes a second word sequence identification unit.

リジェクト装置7は言語処理装置6の単語系列特定部6bにより特定された単語系列の尤度と単語系列特定部6cにより特定された単語系列の尤度を比較し、単語系列特定部6cにより特定された単語系列の尤度の方が高ければ、音声認識結果である単語系列の出力を行わず、単語系列特定部6bにより特定された単語系列の尤度の方が高ければ、その単語系列を出力する処理を実施する。
出力装置8はリジェクト装置7から単語系列を受けると、その単語系列から表記を取り出し、その表記を出力する処理を実施する。なお、リジェクト装置7及び出力装置8からリジェクト手段が構成されている。
図2はこの発明の実施の形態1による音声認識装置の処理内容を示すフローチャートである。
The reject device 7 compares the likelihood of the word sequence specified by the word sequence specifying unit 6b of the language processing device 6 with the likelihood of the word sequence specified by the word sequence specifying unit 6c, and is specified by the word sequence specifying unit 6c. If the likelihood of the word sequence is higher, the word sequence that is the speech recognition result is not output, and if the likelihood of the word sequence specified by the word sequence specifying unit 6b is higher, the word sequence is output. Perform the process.
When the output device 8 receives the word sequence from the reject device 7, the output device 8 takes out a notation from the word sequence and performs a process of outputting the notation. The reject device 7 and the output device 8 constitute reject means.
FIG. 2 is a flowchart showing the processing contents of the speech recognition apparatus according to Embodiment 1 of the present invention.

なお、図1の例では、音声認識装置の構成要素である音響処理装置2、言語処理装置6、リジェクト装置7及び出力装置8が個々のハードウェア(例えば、MPUなどのLSIを実装している半導体集積回路基板)で構成されていることを想定しているが、音声認識装置がコンピュータで構成されている場合、音響処理装置2、言語処理装置6、リジェクト装置7及び出力装置8の処理内容が記述されているプログラムをコンピュータのメモリに格納し、コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。   In the example of FIG. 1, the acoustic processing device 2, the language processing device 6, the rejection device 7, and the output device 8 that are components of the speech recognition device are mounted with individual hardware (for example, an LSI such as an MPU). In the case where the speech recognition device is configured by a computer, the processing contents of the acoustic processing device 2, the language processing device 6, the rejection device 7 and the output device 8 are assumed. May be stored in the memory of a computer, and the CPU of the computer may execute the program stored in the memory.

次に動作について説明する。
マイク1は、ユーザが声を発すると、その音声を取り込んで(ステップST1)、その音声信号を電気信号に変換して、その電気信号を音響処理装置2に出力する(ステップST2)。
ここでは、図3に示すように、“aQkasitaseNeN”の音声が取り込まれたものとして説明する。
Next, the operation will be described.
When the user speaks, the microphone 1 captures the voice (step ST1), converts the voice signal into an electric signal, and outputs the electric signal to the acoustic processing device 2 (step ST2).
Here, as shown in FIG. 3, it is assumed that the voice of “aQkasitaseNeN” is captured.

音響処理装置2は、マイク1から電気信号を受けると、その電気信号をA/D変換して、ディジタル信号である電気信号を量子化する。
音響処理装置2は、その電気信号を量子化すると、その量子化信号をスペクトル分析して、その量子化信号を音節単位に分離することにより、音節単位の認識結果を連接して音韻列候補(音響系列)を生成し、その音韻列候補をRAM3に記憶する(ステップST3)。
なお、量子化信号をスペクトル分析して、その量子化信号を音節単位に分離する手法は、例えば、上記の非特許文献1に開示されている。
When receiving the electrical signal from the microphone 1, the sound processing device 2 A / D converts the electrical signal and quantizes the electrical signal which is a digital signal.
When the electrical processing device 2 quantizes the electrical signal, the quantized signal is subjected to spectrum analysis, and the quantized signal is separated into syllable units, thereby concatenating the recognition results in syllable units and phonological sequence candidates ( (Acoustic sequence) is generated, and the phoneme string candidates are stored in the RAM 3 (step ST3).
Note that a technique for spectrally analyzing a quantized signal and separating the quantized signal into syllable units is disclosed in Non-Patent Document 1, for example.

ここで、音韻列候補は、マイク1により取り込まれた音声信号であるアナログデータに対応する各音韻の確からしさが確率値で表現されたものであり、音響処理装置2から音韻列候補として、連鎖している音韻連鎖と、その連鎖の音響尤度とが出力されて、RAM3に記憶される。
この実施の形態1では、説明の簡単化のため、音響系列を1ベストの音韻列候補音韻連鎖として、以下に示す音韻連鎖と音響尤度が出力されるものとする。
#aQkasitaseNeN# 0.9
この例では、音響尤度として確率“0.9”を出力しているが、上記の非特許文献1と同様に、確率ではなく、対数確率を出力するようにしてもよい。また、音韻連鎖については、ラティス等の効率的な記憶方式を用いてもよい。
Here, the phoneme string candidate is a probability value representing the probability of each phoneme corresponding to analog data that is an audio signal captured by the microphone 1. The phoneme chain being played and the acoustic likelihood of the chain are output and stored in the RAM 3.
In the first embodiment, for simplification of description, it is assumed that the following phoneme chain and acoustic likelihood are output with the acoustic sequence as the best phoneme string candidate phoneme chain.
# AQkashitaseNeN # 0.9
In this example, the probability “0.9” is output as the acoustic likelihood, but a logarithmic probability may be output instead of a probability, as in Non-Patent Document 1. For the phoneme chain, an efficient storage method such as a lattice may be used.

言語処理装置6の前処理部6aは、音響処理装置2が音韻列候補をRAM3に記憶すると、RAM3から音韻列候補を1つ取り出すとともに、所定の初期化処理を実施する(ステップST4)。
所定の初期化処理としては、例えば、先行単語列候補として、ヌル単語「{# # # 文頭}」をRAM3に記憶するとともに、その先行単語列候補の初期言語尤度値として、確率値「1」をRAM3に記憶する処理を実施する。
When the acoustic processing device 2 stores the phoneme sequence candidate in the RAM 3, the preprocessing unit 6a of the language processing device 6 extracts one phoneme sequence candidate from the RAM 3 and performs a predetermined initialization process (step ST4).
As the predetermined initialization process, for example, a null word “{### sentence}” is stored in the RAM 3 as a preceding word string candidate, and a probability value “1” is set as an initial language likelihood value of the preceding word string candidate. Is stored in the RAM 3.

言語処理装置6の前処理部6aは、上記のようにして、所定の初期化処理を実施すると、RAM3に記憶されている全ての先行単語列候補が音韻列候補における末端の音韻と対応しているかをチェックする(ステップST5)。
全ての先行単語列候補が音韻列候補における末端の音韻と対応していれば、ステップST10の処理に移行するが、この段階では、まだ対応していないので、ステップST6の処理に移行する。
When the pre-processing unit 6a of the language processing device 6 performs a predetermined initialization process as described above, all the preceding word string candidates stored in the RAM 3 correspond to the terminal phonemes in the phoneme string candidates. Is checked (step ST5).
If all the preceding word string candidates correspond to the terminal phoneme in the phoneme string candidate, the process proceeds to step ST10. However, at this stage, it does not yet correspond, so the process proceeds to step ST6.

言語処理装置6の前処理部6aは、まだ対応していない場合、RAM3から先行単語列候補を1つ取り出す処理を実施する(ステップST6)。
この段階では、上述したように、先行単語列候補として、ヌル単語「{# # # 文頭}」がRAM3に記憶されているので、ヌル単語「{# # # 文頭}」が先行単語列候補として取り出される。
If the preprocessing unit 6a of the language processing device 6 is not yet compatible, the preprocessing unit 6a performs a process of extracting one preceding word string candidate from the RAM 3 (step ST6).
At this stage, as described above, the null word “{### beginning}} is stored in the RAM 3 as the preceding word string candidate, so the null word“ {### beginning}} is used as the preceding word string candidate. It is taken out.

言語処理装置6の単語系列特定部6bは、前処理部6aが先行単語列候補を取り出すと、対象単語n−gram4に記憶されている音韻列の中に、ステップST4で取り出されている音韻列候補と前方一致する音韻列が記憶されているか否かを判別する(ステップST7)。
図4は対象単語n−gram4の記憶内容を示す説明図である。
この実施の形態1では、“aQkasitaseNeN”の音声が取り込まれているので、対象単語n−gram4の2−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列が記憶されていないが、対象単語n−gram4の1−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列「aQkasita」が記憶されているので、その音韻列の後接続形態素「悪化した aQkasita あっかした 動詞」を後方単語の候補として、対象単語n−gram4の1−gramから抽出するとともに、対象単語n−gram4の1−gramから当該音韻列の確率“0.001”を抽出する。
When the preprocessing unit 6a extracts a preceding word string candidate, the word sequence identification unit 6b of the language processing device 6 extracts the phoneme string extracted in step ST4 from the phoneme strings stored in the target word n-gram4. It is determined whether or not a phoneme string that coincides with the candidate is stored (step ST7).
FIG. 4 is an explanatory diagram showing the stored contents of the target word n-gram4.
In the first embodiment, since the speech of “aQkashitaseNeN” is captured, the 2-word of the target word n-gram4 does not store the phoneme sequence that matches the phoneme sequence “aQkasitaseNeN”, but the target The 1-gram of the word n-gram4 stores the phoneme sequence “aQkasita” that matches the phoneme sequence “aQkashitaseNeN”. As a word candidate, the 1-gram of the target word n-gram4 is extracted, and the probability “0.001” of the phoneme string is extracted from the 1-gram of the target word n-gram4.

言語処理装置6の単語系列特定部6bは、後方単語の候補として、音韻列の後接続形態素「悪化した aQkasita あっかした 動詞」を抽出すると、前処理部6aにより取り出された先行単語列候補(現在の先行単語列候補)に、その後接続形態素「悪化した aQkasita あっかした 動詞」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6bは、新たな先行単語列候補の言語尤度を下記のように計算する(ステップST8)。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=1×0.001
=0.001
When the word sequence specifying unit 6b of the language processing device 6 extracts a post-connected morpheme “deteriorated aQkasita verb that has deteriorated” as a candidate for the backward word, the preceding word sequence candidate ( Then, the connection morpheme “deteriorated aQkasita” was connected to the current preceding word string candidate) to generate a new preceding word string candidate, and the new preceding word string candidate is stored in the RAM 3.
Further, the word sequence identification unit 6b calculates the language likelihood of a new preceding word string candidate as follows (step ST8).
Language Likelihood of New Predecessor Word Sequence Candidate = Probability of Current Predecessor Word Sequence Candidate × Probability of Post Connected Morphology = 1 × 0.001
= 0.001

言語処理装置6の単語系列特定部6bは、上記のようにして、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「seNeN」が残されているので、対象単語n−gram4に記憶されている音韻列の中に、その音韻列「seNeN」と前方一致する音韻列が記憶されているか否かを判別する。
この場合、対象単語n−gram4の1−gramには、音韻列「seNeN」と前方一致する音韻列「seN」が記憶されているので、その音韻列の後接続形態素「腺 seN せん 接尾語」を後方単語の候補として、対象単語n−gram4の1−gramから抽出するとともに、対象単語n−gram4の1−gramから当該音韻列の確率“0.003”を抽出する。
Even if the word sequence specifying unit 6b of the language processing device 6 generates a new preceding word string candidate and calculates the language likelihood of the new preceding word string candidate as described above, it is extracted in step ST4. The phoneme sequence “seNeN” that has not yet been matched forward is still left in the phoneme sequence candidate “aQkasitaseNeN”, so that the phoneme sequence “seNeN” is included in the phoneme sequence stored in the target word n-gram4. It is discriminated whether or not a phoneme string that coincides with “” is stored.
In this case, the 1-gram of the target word n-gram4 stores the phoneme sequence “seN” that matches the phoneme sequence “seNeN” in advance, so the post-connected morpheme “gland seN suffix” of the phoneme sequence is stored. Is extracted from 1-gram of the target word n-gram4 as a candidate for the backward word, and the probability “0.003” of the phoneme string is extracted from 1-gram of the target word n-gram4.

言語処理装置6の単語系列特定部6bは、後方単語の候補として、音韻列の後接続形態素「腺 seN せん 接尾語」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「腺 seN せん 接尾語」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6bは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=0.001×0.003
=0.000003
When the word sequence specifying unit 6b of the language processing device 6 extracts the post-connected morpheme “gland seN non-suffix” of the phoneme string as a backward word candidate, the previously generated new preceding word string candidate (current leading word) Then, the connected morpheme “gland seN non-suffix” is connected to the column candidate) to generate a new preceding word string candidate, and the new preceding word string candidate is stored in the RAM 3.
Further, the word sequence identification unit 6b recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of new preceding word string candidate = current probability of preceding word string candidate × probability of subsequent connected morpheme = 0.001 × 0.003
= 0.000003

また、言語処理装置6の単語系列特定部6bは、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「eN」が残されているので、対象単語n−gram4に記憶されている音韻列の中に、その音韻列「eN」と前方一致する音韻列が記憶されているか否かを判別する。
この場合、対象単語n−gram4の1−gramには、音韻列「eN」と前方一致する音韻列「eN」が記憶されているので、その音韻列の後接続形態素「炎 eN えん 接尾語」を後方単語の候補として、対象単語n−gram4の1−gramから抽出するとともに、対象単語n−gram4の1−gramから当該音韻列の確率“0.002”を抽出する。
Further, even if the word sequence identification unit 6b of the language processing device 6 generates a new preceding word string candidate and calculates the language likelihood of the new preceding word string candidate, the phoneme string extracted in step ST4. Since the phoneme sequence “eN” that has not been forward matched yet remains in the candidate “aQkasitaseNeN”, the phoneme sequence “eN” in the phoneme sequence stored in the target word n-gram 4 is forward matched. It is determined whether or not a phoneme string to be stored is stored.
In this case, the 1-gram of the target word n-gram4 stores the phoneme sequence “eN” that matches the phoneme sequence “eN”, so that the post-connected morpheme “flame eN en suffix” of the phoneme sequence is stored. Is extracted from 1-gram of the target word n-gram4 as a candidate for the backward word, and the probability “0.002” of the phoneme string is extracted from 1-gram of the target word n-gram4.

言語処理装置6の単語系列特定部6bは、後方単語の候補として、音韻列の後接続形態素「炎 eN えん 接尾語」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「炎 eN えん 接尾語」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6bは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=0.000003×0.002
=0.000000006
=6.0×10-9
When the word sequence specifying unit 6b of the language processing device 6 extracts the post-connected morpheme “flame eN en suffix” of the phoneme string as a candidate for the backward word, a new preceding word string candidate (the current leading word) generated previously is extracted. Then, the connection morpheme “flame eN en suffix” is connected to the column candidate) to generate a new preceding word string candidate, and the new preceding word string candidate is stored in the RAM 3.
Further, the word sequence identification unit 6b recalculates the language likelihood of the new preceding word string candidate as follows.
Language Likelihood of New Leading Word Sequence Candidate = Probability of Current Preceding Word Sequence Candidate x Probability of Post Connected Morphology = 0.000003 x 0.002
= 0.000000006
= 6.0 × 10 -9

言語処理装置6の単語系列特定部6bは、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に前方一致していない音韻列がなくなると、下記に示すように、入力対象分野における新たな先行単語列候補の尤度を計算し、新たな先行単語列候補の尤度をRAM3に記憶する(ステップST9)。
新たな先行単語列候補の尤度
=新たな先行単語列候補の言語尤度×音響尤度
=6.0×10-9×0.9
=5.4×10-9
When the phoneme sequence candidate “aQkasitaseNe” extracted in step ST4 has no phoneme sequence that does not match forward, the word sequence specifying unit 6b of the language processing device 6 creates a new one in the input target field as shown below. The likelihood of a new preceding word string candidate is calculated, and the likelihood of a new preceding word string candidate is stored in the RAM 3 (step ST9).
Likelihood of new preceding word string candidate = Language likelihood of new preceding word string candidate × Acoustic likelihood = 6.0 × 10 −9 × 0.9
= 5.4 × 10 -9

言語処理装置6の単語系列特定部6cは、前処理部6aが先行単語列候補を取り出すと、不要単語n−gram5に記憶されている音韻列の中に、ステップST4で取り出されている音韻列候補と前方一致する音韻列が記憶されているか否かを判別する(ステップST7)。
図5は不要単語n−gram5の記憶内容を示す説明図である。
この実施の形態1では、“aQkasitaseNeN”の音声が取り込まれており、不要単語n−gram5の2−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列「aQ」が記憶されているので、その音韻列の後接続形態素「あっ aQ あっ 感動詞」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.01”を抽出する。
When the preprocessing unit 6a extracts a preceding word string candidate, the word sequence identification unit 6c of the language processing device 6 includes the phoneme string extracted in step ST4 in the phoneme string stored in the unnecessary word n-gram5. It is determined whether or not a phoneme string that coincides with the candidate is stored (step ST7).
FIG. 5 is an explanatory diagram showing the stored contents of the unnecessary word n-gram5.
In the first embodiment, the speech of “aQcasitaseNeN” is captured, and the phoneme sequence “aQ” that matches the phoneme sequence “aQkasitaseNeN” is stored in 2-gram of the unnecessary word n-gram5. Then, the post-connected morpheme “a aQ a impression verb” is extracted from 2-gram of the unnecessary word n-gram 5 as a candidate for the backward word, and the phoneme string is extracted from 2-gram of the unnecessary word n-gram 5 The probability “0.01” is extracted.

言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「あっ aQ あっ 感動詞」を抽出すると、前処理部6aにより取り出された先行単語列候補(現在の先行単語列候補)に、その後接続形態素「あっ aQ あっ 感動詞」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように計算する(ステップST8)。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=1×0.01
=0.01
When the word sequence specifying unit 6c of the language processing device 6 extracts the post-connected morpheme “a aQ a moving verb” of the phoneme sequence as a backward word candidate, the preceding word sequence candidate (currently extracted by the pre-processing unit 6a) Then, the connection morpheme “A aQ A moving verb” is connected to the preceding word string candidate) to generate a new preceding word string candidate, and the new preceding word string candidate is stored in the RAM 3.
Further, the word sequence identification unit 6c calculates the language likelihood of the new preceding word string candidate as follows (step ST8).
Language Likelihood of New Leading Word Sequence Candidate = Probability of Current Leading Word Sequence Candidate x Probability of Post-Connected Morphology = 1 x 0.01
= 0.01

言語処理装置6の単語系列特定部6cは、上記のようにして、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」中に未だ前方一致していない音韻列「kasitaseNeN」が残されているので、不要単語n−gram5に記憶されている音韻列の中に、RAM3に記憶されている「あっ aQ あっ 感動詞」が前接続形態素で、かつ残りの音韻列「kasitaseNeN」と後接続形態素の部分音韻列が前方一致する音韻列が記憶されているか否かを判別する。
この場合、不要単語n−gram5の2−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列「aQkasita」が記憶されているので、その音韻列の後接続形態素「貸した kasita かした 動詞」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.02”を抽出する。
Even if the word sequence specifying unit 6c of the language processing device 6 generates a new preceding word string candidate and calculates the language likelihood of the new preceding word string candidate as described above, it is extracted in step ST4. The phoneme sequence “kasitaseNe” that has not been forwardly matched yet remains in the phoneme sequence candidate “aQkasitaseNeN” that is stored in the RAM 3 in the phoneme sequence stored in the unnecessary word n-gram5. It is determined whether or not a phoneme sequence in which “a aQ a emotional verb” is a pre-connected morpheme and a partial phoneme sequence of the remaining phoneme sequence “kasitaseNe” and a post-connection morpheme is forwardly matched is stored.
In this case, the 2-gram of the unnecessary word n-gram5 stores the phoneme string “aQkasita” that matches the phoneme string “aQkashitaseNe”, and therefore the connected morpheme “the loaned kasita” verb after the phoneme string is stored. ”As a backward word candidate, and the probability“ 0.02 ”of the phoneme string is extracted from the 2-gram of the unnecessary word n-gram5 and the 2-gram of the unnecessary word n-gram5.

言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「貸した kasita かした 動詞」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「貸した kasita かした 動詞」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×音韻列の確率
=0.01×0.02
=0.0002
When the word sequence specifying unit 6c of the language processing device 6 extracts the post-connection morpheme “lent loaned kasita” as the backward word candidate, the new preceding word string candidate (the current preceding word candidate) generated previously is extracted. Then, the connection morpheme “lent loaned kasita verb” is connected to the word string candidate) to generate a new preceding word string candidate, and the new preceding word string candidate is stored in the RAM 3.
The word sequence identification unit 6c recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of new preceding word string candidate = probability of current preceding word string candidate × probability of phoneme string = 0.01 × 0.02
= 0.0002

また、言語処理装置6の単語系列特定部6cは、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「seNeN」が残されているので、不要単語n−gram5に記憶されている音韻列の中に、RAM3に記憶されている「貸した kasita かした 動詞」が前接続形態素で、かつ残りの音韻列「seNeN」と後接続形態素の部分音韻列が前方一致する音韻列が記憶されているか否かを判別する。
この場合、不要単語n−gram5の2−gramには、音韻列「kasitaseNeN」と前方一致する音韻列「kasitaseN」が記憶されているので、その音韻列の後接続形態素「千 seN せん 数字」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.03”を抽出する。
Further, even if the word sequence identification unit 6c of the language processing device 6 generates a new preceding word string candidate and calculates the language likelihood of the new preceding word string candidate, the phoneme string extracted in step ST4. Since the phoneme string “seNeN” that has not been forward matched yet remains in the candidate “aQkasitaseNeN”, the “rental” stored in the RAM 3 is stored in the phoneme string stored in the unnecessary word n-gram5. It is determined whether or not a phonological sequence in which kasita is a pre-connected morpheme and a phoneme sequence in which the remaining phoneme sequence “seNe” and the partial phonological sequence of the post-connected morpheme coincide with each other is stored.
In this case, the 2-gram of the unnecessary word n-gram5 stores the phoneme sequence “kasitaseN” that matches the phoneme sequence “kasitaseNeN”. As a candidate for the backward word, the 2-word of the unnecessary word n-gram5 is extracted, and the probability “0.03” of the phoneme string is extracted from the 2-gram of the unnecessary word n-gram5.

言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「千 seN せん 数字」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「千 seN せん 数字」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×音韻列の確率
=0.0002×0.03
=0.00006
=6×10-5
When the word sequence specifying unit 6c of the language processing device 6 extracts the post-connected morpheme “1000 seN numbers” of the phoneme string as a backward word candidate, the previously generated new preceding word string candidate (current preceding word string) Then, the connection morpheme “1000 seN number” is connected to the candidate) to generate a new preceding word string candidate, and the new preceding word string candidate is stored in the RAM 3.
The word sequence identification unit 6c recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of a new preceding word string candidate = probability of current preceding word string candidate × probability of phoneme string = 0.0002 × 0.03
= 0.00006
= 6 × 10 -5

また、言語処理装置6の単語系列特定部6cは、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「eN」が残されているので、不要単語n−gram5に記憶されている音韻列の中に、RAM3に記憶されている「千 seN せん 数字」が前接続形態素で、かつ残りの音韻列「eN」と後接続形態素の部分音韻列が前方一致する音韻列が記憶されているか否かを判別する。
この場合、不要単語n−gram5の2−gramには、音韻列「seNeN」と前方一致する音韻列「seNeN」が記憶されているので、その音韻列の後接続形態素「円 eN えん 接尾語」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.03”を抽出する。
Further, even if the word sequence identification unit 6c of the language processing device 6 generates a new preceding word string candidate and calculates the language likelihood of the new preceding word string candidate, the phoneme string extracted in step ST4. Since the phoneme sequence “eN” that has not been forward matched yet remains in the candidate “aQcasitaseNeN”, “1000 seN” stored in the RAM 3 is stored in the phoneme sequence stored in the unnecessary word n-gram5. It is determined whether or not a phoneme sequence in which the “number” is the front connection morpheme and the remaining phoneme sequence “eN” and the partial phoneme sequence of the back connection morpheme coincide with each other is stored.
In this case, since the phoneme string “seNe” that coincides with the phoneme string “seNeN” is stored in the 2-gram of the unnecessary word n-gram5, the subsequent connected morpheme “yen eN suffix” is stored. Is extracted from 2-gram of the unnecessary word n-gram5 as a candidate for the backward word, and the probability “0.03” of the phoneme string is extracted from 2-gram of the unnecessary word n-gram5.

言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「円 eN えん 接尾語」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「円 eN えん 接尾語」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×音韻列の確率
=0.00006×0.03
=0.00000018
=1.8×10-7
When the word sequence specifying unit 6c of the language processing device 6 extracts the post-connected morpheme “circle eN en suffix” of the phoneme string as a backward word candidate, the previously generated new preceding word string candidate (current leading word) Then, a connection morpheme “circle eN en suffix” is connected to the column candidate) to generate a new preceding word string candidate, and the new preceding word string candidate is stored in the RAM 3.
The word sequence identification unit 6c recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of new preceding word sequence candidate = probability of current preceding word sequence candidate × probability of phoneme sequence = 0.00006 × 0.03
= 0.000000018
= 1.8 × 10 −7

言語処理装置6の単語系列特定部6cは、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に前方一致していない音韻列がなくなると、下記に示すように、入力不要分野における新たな先行単語列候補の尤度を計算し、新たな先行単語列候補の尤度をRAM3に記憶する(ステップST9)。
新たな先行単語列候補の尤度
=新たな先行単語列候補の言語尤度×音響尤度
=1.8×10-7×0.9
=1.62×10-7
なお、図6は単語系列特定部6b,6cにより生成された新たな先行単語列候補の形態素列と、新たな先行単語列候補の尤度を示している。
When the phoneme sequence candidate “aQkasitaseNe” extracted in step ST4 has no phoneme sequence that does not match forward, the word sequence identification unit 6c of the language processing device 6 creates a new one in the input unnecessary field as shown below. The likelihood of a new preceding word string candidate is calculated, and the likelihood of a new preceding word string candidate is stored in the RAM 3 (step ST9).
Likelihood of new preceding word string candidate = Language likelihood of new preceding word string candidate × Acoustic likelihood = 1.8 × 10 −7 × 0.9
= 1.62 × 10 −7
FIG. 6 shows morpheme sequences of new preceding word sequence candidates generated by the word sequence identification units 6b and 6c and the likelihood of the new preceding word sequence candidates.

なお、この実施の形態1では、説明の簡単化のため、単語系列特定部6b,6cが前方一致する音韻列を検索するものについて示したが、これに限るものではなく、上記の非特許文献1に開示されている曖昧な音韻連鎖との照合処理の手法や、文献「阿部他,“認識誤り傾向の確率モデルを用いた2段階探索法による大語彙連続音声認識”,電子情報通信学会論文誌,Vol J−83−DI No12,2000.12」に開示されている手法を用いて音韻列を検索するようにしてもよい。   In the first embodiment, for simplification of description, the word sequence specifying units 6b and 6c search for phoneme strings that coincide with each other. However, the present invention is not limited to this. The method of collation processing with the ambiguous phoneme chain disclosed in 1 and the literature “Abe et al.,“ Large Vocabulary Continuous Speech Recognition by Two-Step Search Method Using the Probability Model of Recognition Error Trend ”, IEICE Transactions You may make it search a phoneme string using the method currently disclosed by the magazine, Vol J-83-DI No12,200.12.

言語処理装置6の前処理部aは、上記のようにして、単語系列特定部6b,6cが新たな先行単語列候補の尤度をRAM3に記憶すると、未だ取り出していない音韻列候補がRAM3に記憶されているか否かを判定し(ステップST10)、未だ取り出していない音韻列候補があれば、ステップST4の処理に戻り、ステップST4〜ST9の処理を繰り返し実施する。全ての音韻列候補を取り出していれば、ステップST11の処理に移行する。   As described above, when the word sequence identification units 6b and 6c store the likelihood of new preceding word sequence candidates in the RAM 3, the preprocessing unit a of the language processing device 6 stores in the RAM 3 the phoneme sequence candidates that have not yet been extracted. It is determined whether or not it is stored (step ST10). If there is a phoneme string candidate that has not yet been extracted, the process returns to step ST4, and the processes of steps ST4 to ST9 are repeated. If all the phoneme string candidates have been extracted, the process proceeds to step ST11.

リジェクト装置7は、RAM3から単語系列特定部6b,6cにより生成された新たな先行単語列候補の尤度を取り出し、単語系列特定部6bにより生成された新たな先行単語列候補の尤度と、単語系列特定部6cにより生成された新たな先行単語列候補の尤度とを比較する(ステップST11)。
リジェクト装置7は、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、入力を希望しない音声がユーザから発せられた可能性が高いので、単語系列特定部6cにより生成された新たな先行単語列候補は出力しない。
The reject device 7 takes out the likelihood of the new preceding word string candidate generated by the word series identification units 6b and 6c from the RAM 3, and the likelihood of the new preceding word string candidate generated by the word series identification unit 6b, The likelihood of a new preceding word string candidate generated by the word sequence identification unit 6c is compared (step ST11).
The reject device 7 desires an input when the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6c is higher than the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6b. Since there is a high possibility that the user does not hear the voice, the new preceding word string candidate generated by the word sequence specifying unit 6c is not output.

一方、単語系列特定部6bにより生成された新たな先行単語列候補の尤度が、単語系列特定部6cにより生成された新たな先行単語列候補の尤度より高い場合、あるいは、両者の尤度が等しい場合、入力を希望する音声がユーザから発せられた可能性が高いので、RAM3から単語系列特定部6bにより生成された新たな先行単語列候補を読み出し、その先行単語列候補を出力装置8に出力する(ステップST12)。
出力装置8はリジェクト装置7から先行単語列候補を受けると、その先行単語列候補から表記を取り出し、その表記を音声認識結果として外部に出力する(ステップST13)。
これにより、「腺炎」、「千円」などの同音語が存在する場合でも、不要音声である「あっ貸した千円」についてはリジェクトされるようになる。
On the other hand, when the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6b is higher than the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6c, or the likelihood of both If the two are equal, it is highly possible that the voice desired to be input is uttered by the user. Therefore, a new preceding word string candidate generated by the word sequence identification unit 6b is read from the RAM 3, and the preceding word string candidate is output to the output device 8. (Step ST12).
When receiving the preceding word string candidate from the rejecting device 7, the output device 8 extracts the notation from the preceding word string candidate and outputs the notation to the outside as a speech recognition result (step ST13).
As a result, even if a homonym such as “adenitis” or “thousand yen” exists, “unsold thousand yen” that is an unnecessary voice is rejected.

以上で明らかなように、この実施の形態1によれば、対象単語n−gram4を参照して、音響処理装置2により生成された音響系列候補と最も尤度が高い単語列候補を生成する単語系列特定部6bと、不要単語n−gram5を参照して、音響処理装置2により生成された音響系列候補と最も尤度が高い単語列候補を生成する単語系列特定部6cとを設け、単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより特定された単語列候補の尤度の方が高ければ、その単語列候補の表記を出力するように構成したので、句の全体を1単語として単語辞書に登録することなく、ユーザの音声が入力対象分野の音響系列である場合に限り、その音響系列に対応している単語系列を出力することができる効果を奏する。   As is clear from the above, according to the first embodiment, the word that generates the word sequence candidate having the highest likelihood and the acoustic sequence candidate generated by the acoustic processing device 2 with reference to the target word n-gram 4. A sequence identification unit 6b and a word sequence identification unit 6c that generates the most likely word sequence candidate and the acoustic sequence candidate generated by the acoustic processing device 2 with reference to the unnecessary word n-gram 5 are provided. The likelihood of the word string candidate generated by the word sequence specifying unit 6b is compared with the likelihood of the word string candidate generated by the word sequence specifying unit 6c. If the user's voice is an acoustic sequence of the input target field without registering the whole phrase as a single word in the word dictionary, the word string candidate notation is output. The acoustic series An effect that it is possible to output a word sequence that support.

また、この実施の形態1によれば、単語系列特定部6cにより特定された単語列候補の尤度の方が高ければ、音声認識結果である単語系列の出力を行わないように構成したので、不要音声をリジェクトして、精度よく句単位のユーザの音声を弁別することができる効果を奏する。   Further, according to the first embodiment, since the word sequence candidate specified by the word sequence specifying unit 6c has a higher likelihood, the word sequence that is the speech recognition result is not output. There is an effect that the unnecessary voice is rejected and the voice of the user in phrase units can be discriminated accurately.

なお、この実施の形態1では、対象単語n−gram4及び不要単語n−gram5が、2−gramと1−gramから構成されているものについて示したが、これに限るものではなく、例えば、1−gramと2−gramと3−gramなどから構成されていてもよい。   In the first embodiment, the target word n-gram 4 and the unnecessary word n-gram 5 are shown as being composed of 2-gram and 1-gram. However, the present invention is not limited to this. You may be comprised from -gram, 2-gram, 3-gram, etc.

実施の形態2.
図7はこの発明の実施の形態2による音声認識装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
重み付きリジェクト装置11は図1のリジェクト装置7と同様に、単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより生成された単語列候補の尤度の方が高ければ、その単語列候補を出力するが、尤度の比較処理を実施する前に、単語系列特定部6bにより生成された単語列候補の尤度に入力対象分野の重み係数9を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度に入力不要分野の重み係数10を乗算し、重み係数乗算後の単語列候補の尤度同士を比較するようにしている。なお、重み付きリジェクト装置11はリジェクト手段を構成している。
図8はこの発明の実施の形態2による音声認識装置の処理内容を示すフローチャートである。
Embodiment 2. FIG.
7 is a block diagram showing a speech recognition apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG.
The weighted reject device 11 compares the likelihood of the word string candidate generated by the word sequence specifying unit 6b and the likelihood of the word sequence candidate generated by the word sequence specifying unit 6c, similarly to the reject device 7 of FIG. If the likelihood of the word sequence candidate generated by the word sequence specifying unit 6b is higher, the word sequence candidate is output. However, before the likelihood comparison process is performed, the word sequence specifying unit 6b generates the word sequence candidate. The likelihood of the word sequence candidate is multiplied by the weighting factor 9 of the input target field, and the likelihood of the word string candidate generated by the word sequence specifying unit 6c is multiplied by the weighting factor 10 of the input unnecessary field, thereby multiplying the weighting factor. The likelihood of subsequent word string candidates is compared. The weighted reject device 11 constitutes a reject means.
FIG. 8 is a flowchart showing the processing contents of the speech recognition apparatus according to Embodiment 2 of the present invention.

次に動作について説明する。
上記実施の形態1では、リジェクト装置7が単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより特定された単語列候補の尤度の方が高ければ、その単語列候補を出力するものについて示したが、重み付きリジェクト装置11が、単語系列特定部6bにより生成された単語列候補の尤度に入力対象分野の重み係数9を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度に入力不要分野の重み係数10を乗算することにより、それらの単語列候補の尤度を補正してから単語列候補の尤度同士を比較するようにしてもよい。
具体的には、以下の通りである。
Next, the operation will be described.
In the first embodiment, the reject device 7 compares the likelihood of the word sequence candidate generated by the word sequence specifying unit 6b with the likelihood of the word sequence candidate generated by the word sequence specifying unit 6c, and the word sequence specifying unit If the likelihood of the word string candidate specified by 6b is higher, the word string candidate is output, but the weighted reject device 11 uses the word string candidate generated by the word sequence specifying unit 6b. By multiplying the likelihood by the weighting factor 9 of the input target field, and multiplying the likelihood of the word string candidate generated by the word sequence specifying unit 6c by the weighting factor 10 of the input unnecessary field, the word string candidate The likelihoods of word string candidates may be compared after correcting the likelihood.
Specifically, it is as follows.

上記実施の形態1では、対象単語n−gram4が十分な規模のコーパスから作成されているものとして説明したが、現実的には十分な規模のコーパスが得られない場合や、入力対象を絞りたい場合がある。
図9の対象単語n−gram4は、コーパスが「リンパ腺炎悪化した」という1文しかないと仮定した場合の記憶例である。
この場合、対象単語n−gram4の2−gramは、全ての音韻列の確率が“1”、1−gramは全ての音韻列の確率が“0.2”という大きな値にある(図9と図4を比較参照)。
In Embodiment 1 described above, the target word n-gram 4 has been described as being created from a corpus having a sufficient size. However, in reality, when a corpus having a sufficient size cannot be obtained, the input target is desired to be narrowed down. There is a case.
The target word n-gram4 in FIG. 9 is a memory example when it is assumed that the corpus has only one sentence that “the lymphadenitis worsened”.
In this case, 2-gram of the target word n-gram4 has a large value such that the probabilities of all phoneme strings are “1” and 1-gram has a probability of “0.2” of all phoneme strings (FIG. 9 and FIG. 9). (See FIG. 4 for comparison).

上記実施の形態1と同様に、“aQkasitaseNeN”の音声が取り込まれた場合、言語処理装置6の単語系列特定部6bが、上記実施の形態1と同様の先行単語列候補({# # # 文頭}{悪化した aQkasita あっかした 動詞}{腺 seN せん 接尾語}{炎 eN えん 接尾語})を生成することになるが、先行単語列候補の尤度は以下のように計算される。
先行単語列候補の尤度
=1×1×1×1
=1
As in the first embodiment, when the speech of “aQkashitaseNeN” is captured, the word sequence identification unit 6b of the language processing device 6 uses the same preceding word string candidate ({# # # } {Deteriorated aQkasita verbs} {gland seN suffix} {flame eN suffix}), the likelihood of the preceding word string candidate is calculated as follows.
Likelihood of preceding word string candidate = 1 × 1 × 1 × 1
= 1

図10の不要単語n−gram5の記憶内容は、図5の不要単語n−gram5の記憶内容と同じであるため、言語処理装置6の単語系列特定部6cは、上記実施の形態1と同様の先行単語列候補({# # # 文頭}{あっ aQ あっ 感動詞}{貸した kasita かした 動詞}{千 seN せん 数字}{円 eN えん 接尾語}を生成するとともに、先行単語列候補の尤度を計算する。
先行単語列候補の尤度
=1×0.01×0.02×0.03×0.03
=1.8×10-7
Since the storage content of the unnecessary word n-gram 5 in FIG. 10 is the same as the storage content of the unnecessary word n-gram 5 in FIG. 5, the word sequence specifying unit 6 c of the language processing device 6 is the same as in the first embodiment. Predecessor word sequence candidates ({# # # beginning of sentence} {a aQ a impression verb} {lended kasita kana verb} {thousand seN number} {circle eN en suffix} and the likelihood of the preceding word sequence candidate Calculate the degree.
Likelihood of preceding word string candidate = 1 × 0.01 × 0.02 × 0.03 × 0.03
= 1.8 × 10 −7

このように、対象単語n−gram4が十分な規模のコーパスから作成されていない場合、入力を希望しない音声であるにも拘わらず、単語系列特定部6bにより生成された単語列候補の尤度“1”が、単語系列特定部6cにより生成された単語列候補の尤度“1.8×10-7”より大きくなることがある。
そこで、この実施の形態2では、重み付きリジェクト装置11が、n−gramのコーパス量の偏りの影響を回避するため、単語系列特定部6bにより生成された単語列候補の尤度“1”に入力対象分野の重み係数9(例えば、“10-7”)を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度“1.8×10-7”に入力不要分野の重み係数10(例えば、“1”)を乗算する(ステップST21)。
As described above, when the target word n-gram 4 is not created from a corpus having a sufficient size, the likelihood “of the word string candidate generated by the word sequence specifying unit 6b even though the input word is not desired to be input”. 1 ”may be larger than the likelihood“ 1.8 × 10 −7 ”of the word string candidate generated by the word sequence identification unit 6c.
Therefore, in the second embodiment, the weighted reject device 11 sets the likelihood of the word string candidate “1” generated by the word sequence specifying unit 6b in order to avoid the influence of the bias of the n-gram corpus amount. The weighting factor 9 (for example, “10 −7 ”) of the input target field is multiplied, and the likelihood of the word string candidate “1.8 × 10 −7 ” generated by the word sequence specifying unit 6 c is added to the input unnecessary field. Multiply by a weighting factor 10 (for example, “1”) (step ST21).

これにより、単語系列特定部6bにより生成された単語列候補の尤度は“1.0×10-7”、単語系列特定部6cにより生成された単語列候補の尤度は“1.8×10-7”に補正される。
重み付きリジェクト装置11は、補正後の単語列候補の尤度同士を比較するが、上記の補正を実施したことにより、単語系列特定部6cにより生成された単語列候補の尤度の方が大きくなるため、対象単語n−gram4が十分な規模のコーパスから作成されている場合と同様に、不要音声である「あっ貸した千円」についてはリジェクトすることができるようになる。
Thereby, the likelihood of the word string candidate generated by the word sequence specifying unit 6b is “1.0 × 10 −7 ”, and the likelihood of the word string candidate generated by the word sequence specifying unit 6c is “1.8 × It is corrected to 10-7 ".
The weighted reject device 11 compares the likelihoods of the word string candidates after correction, but the likelihood of the word string candidate generated by the word sequence specifying unit 6c is larger by performing the above correction. Therefore, as in the case where the target word n-gram 4 is created from a corpus having a sufficient size, the unnecessary voice “thousand yen lent” can be rejected.

以上で明らかなように、この実施の形態2によれば、単語系列特定部6bにより生成された単語列候補の尤度に入力対象分野の重み係数9を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度に入力不要分野の重み係数10を乗算し、重み係数乗算後の単語列候補の尤度同士を比較するように構成したので、対象単語n−gram4と不要単語n−gram5のコーパス量に偏りがある場合でも、不要音声をリジェクトして、精度よく句単位のユーザの音声を弁別することができる効果を奏する。   As apparent from the above, according to the second embodiment, the likelihood of the word string candidate generated by the word sequence specifying unit 6b is multiplied by the weighting factor 9 of the input target field, and the word sequence specifying unit 6c Since the likelihood of the generated word string candidate is multiplied by the weight coefficient 10 of the input unnecessary field and the likelihood of the word string candidates after the weight coefficient multiplication is compared with each other, the target word n-gram4 and the unnecessary word are compared. Even when the corpus amount of n-gram 5 is biased, there is an effect that unnecessary speech is rejected and the user's speech in phrase units can be distinguished accurately.

実施の形態3.
図11はこの発明の実施の形態3による音声認識装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
形態変更リジェクト装置12は単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより生成された単語列候補の尤度の方が高ければ、図1のリジェクト装置7と同様に、その単語列候補を出力するが、単語系列特定部6cにより生成された単語列候補の尤度の方が高ければ、その単語列候補の表記を所定の形態(例えば、「*」)に変換して出力する処理を実施する。なお、形態変更リジェクト装置12はリジェクト手段を構成している。
図12はこの発明の実施の形態3による音声認識装置の処理内容を示すフローチャートである。
Embodiment 3 FIG.
11 is a block diagram showing a speech recognition apparatus according to Embodiment 3 of the present invention. In the figure, the same reference numerals as those in FIG.
The form change reject device 12 compares the likelihood of the word string candidate generated by the word sequence specifying unit 6b with the likelihood of the word string candidate generated by the word sequence specifying unit 6c, and is generated by the word sequence specifying unit 6b. If the likelihood of the word string candidate is higher, the word string candidate is output as in the reject device 7 of FIG. 1, but the likelihood of the word string candidate generated by the word sequence specifying unit 6c is higher. For example, the notation of the word string candidate is converted into a predetermined form (for example, “*”) and output. The form change reject device 12 constitutes a reject means.
FIG. 12 is a flowchart showing the processing contents of the speech recognition apparatus according to Embodiment 3 of the present invention.

次に動作について説明する。
形態変更リジェクト装置12は、単語系列特定部6b,6cが新たな先行単語列候補の尤度をRAM3に記憶すると、図1のリジェクト装置7と同様に、RAM3から単語系列特定部6b,6cにより生成された新たな先行単語列候補の尤度を取り出し、単語系列特定部6bにより生成された新たな先行単語列候補の尤度と、単語系列特定部6cにより生成された新たな先行単語列候補の尤度とを比較する(ステップST11)。
Next, the operation will be described.
When the word sequence specifying units 6b and 6c store the likelihood of a new preceding word string candidate in the RAM 3, the form change rejecting device 12 uses the word sequence specifying units 6b and 6c from the RAM 3 as in the reject device 7 of FIG. The likelihood of the generated new preceding word string candidate is extracted, the likelihood of the new preceding word string candidate generated by the word series specifying unit 6b, and the new preceding word string candidate generated by the word series specifying unit 6c Are compared (step ST11).

図1のリジェクト装置7では、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、単語系列特定部6cにより生成された新たな先行単語列候補を出力しないようにしているが、この場合、ユーザが、自分の音声が取り込まれずに音声認識結果が出力されないのか、リジェクトされて音声認識結果が出力されないのかを判別することができず、不便さを伴うことがある。
そこで、形態変更リジェクト装置12は、不要な音声が取り込まれた旨を明示するため、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、単語系列特定部6cにより生成された新たな先行単語列候補の表記を「*」に変換し、変換後の先行単語列候補をRAM3に記憶する(ステップST31)。
In the reject device 7 of FIG. 1, when the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6c is higher than the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6b, The new preceding word string candidate generated by the word sequence specifying unit 6c is not output, but in this case, the user is rejected as to whether his speech is not captured and the speech recognition result is output, and speech recognition is performed. It may not be possible to determine whether the result is not output, which may be inconvenient.
Therefore, in order to clearly indicate that unnecessary speech has been captured, the form change rejecting device 12 generates the likelihood of a new preceding word string candidate generated by the word sequence specifying unit 6c by the word sequence specifying unit 6b. When the likelihood of the new preceding word string candidate is higher, the notation of the new preceding word string candidate generated by the word sequence specifying unit 6c is converted to “*”, and the converted preceding word string candidate is stored in the RAM 3. (Step ST31).

形態変更リジェクト装置12は、単語系列特定部6bにより生成された新たな先行単語列候補の尤度が、単語系列特定部6cにより生成された新たな先行単語列候補の尤度より高い場合、あるいは、両者の尤度が等しい場合、入力を希望する音声がユーザから発せられた可能性が高いので、図1のリジェクト装置7と同様に、RAM3から単語系列特定部6bにより生成された新たな先行単語列候補を読み出して、その先行単語列候補を出力装置8に出力する。
一方、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、RAM3から先に表記を「*」に変換した先行単語列候補を読み出して、その先行単語列候補を出力装置8に出力する(ステップST32)。
出力装置8はリジェクト装置7から先行単語列候補を受けると、その先行単語列候補から表記を取り出し、その表記を音声認識結果として外部に出力する(ステップST13)。
これにより、不要音声である「あっ貸した千円」が取り込まれた場合には、「*******」が表示されるようになる。
The form change rejection apparatus 12 is configured such that the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6b is higher than the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6c, or If the likelihoods of both are equal, there is a high possibility that the voice desired to be input is emitted from the user. Therefore, as with the reject device 7 shown in FIG. 1, a new predecessor generated from the RAM 3 by the word sequence specifying unit 6b. The word string candidate is read out, and the preceding word string candidate is output to the output device 8.
On the other hand, if the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6c is higher than the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6b, the notation is given first from the RAM 3. The preceding word string candidate converted to “*” is read, and the preceding word string candidate is output to the output device 8 (step ST32).
When receiving the preceding word string candidate from the rejecting device 7, the output device 8 extracts the notation from the preceding word string candidate and outputs the notation to the outside as a speech recognition result (step ST13).
As a result, when the unnecessary sound “Thousand yen lent out” is captured, “******” is displayed.

以上で明らかなように、この実施の形態3によれば、単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6cにより生成された単語列候補の尤度の方が高ければ、その単語列候補の表記を「*」に変換して出力するように構成したので、不要な音声が取り込まれた旨を明示することができる効果を奏する。   As is apparent from the above, according to the third embodiment, the likelihood of the word sequence candidate generated by the word sequence specifying unit 6b is compared with the likelihood of the word sequence candidate generated by the word sequence specifying unit 6c. If the likelihood of the word string candidate generated by the word sequence specifying unit 6c is higher, the notation of the word string candidate is converted to “*” and output, so that unnecessary speech is captured. There is an effect that can be clearly stated.

この発明の実施の形態1による音声認識装置を示す構成図である。It is a block diagram which shows the speech recognition apparatus by Embodiment 1 of this invention. この発明の実施の形態1による音声認識装置の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the speech recognition apparatus by Embodiment 1 of this invention. 入力音声を示す説明図である。It is explanatory drawing which shows an input audio | voice. 対象単語n−gramの記憶内容を示す説明図である。It is explanatory drawing which shows the memory content of the object word n-gram. 不要単語n−gramの記憶内容を示す説明図である。It is explanatory drawing which shows the memory content of the unnecessary word n-gram. 単語系列特定部により生成された新たな先行単語列候補の形態素列と、新たな先行単語列候補の尤度を示す説明図である。It is explanatory drawing which shows the morpheme string of the new preceding word sequence candidate produced | generated by the word series specific | specification part, and the likelihood of a new preceding word sequence candidate. この発明の実施の形態2による音声認識装置を示す構成図である。It is a block diagram which shows the speech recognition apparatus by Embodiment 2 of this invention. この発明の実施の形態2による音声認識装置の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the speech recognition apparatus by Embodiment 2 of this invention. 対象単語n−gramの記憶内容を示す説明図である。It is explanatory drawing which shows the memory content of the object word n-gram. 不要単語n−gramの記憶内容を示す説明図である。It is explanatory drawing which shows the memory content of the unnecessary word n-gram. この発明の実施の形態3による音声認識装置を示す構成図である。It is a block diagram which shows the speech recognition apparatus by Embodiment 3 of this invention. この発明の実施の形態3による音声認識装置の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the speech recognition apparatus by Embodiment 3 of this invention.

符号の説明Explanation of symbols

1 マイク(音声取込手段)、2 音響処理装置(音響系列変換手段)、3 RAM、4 対象単語n−gram、5 不要単語n−gram、6 言語処理装置、6a 前処理部、6b 単語系列特定部(第1の単語系列特定手段)、6c 単語系列特定部(第2の単語系列特定手段)、7 リジェクト装置(リジェクト手段)、8 出力装置(リジェクト手段)、 9 入力対象分野の重み係数、10 入力不要分野の重み係数、11 重み付きリジェクト装置(リジェクト手段)、 12 形態変更リジェクト装置(リジェクト手段)。     DESCRIPTION OF SYMBOLS 1 Microphone (voice capture means), 2 Sound processing apparatus (acoustic sequence conversion means), 3 RAM, 4 Target word n-gram, 5 Unnecessary word n-gram, 6 Language processing apparatus, 6a Pre-processing part, 6b Word series Identification unit (first word sequence identification unit), 6c Word sequence identification unit (second word sequence identification unit), 7 reject device (reject unit), 8 output unit (reject unit), 9 weighting factor of input target field 10 Weight coefficient for fields that do not require input, 11 Weighted reject device (reject means), 12 Form change reject device (reject means)

Claims (6)

音声を取り込んで、その音声信号を出力する音声取込手段と、上記音声取込手段から出力された音声信号を音響系列に変換する音響系列変換手段と、音響系列に対応する単語系列の出現確率が記憶されている入力対象分野の単語n−gramと、音響系列に対応する単語系列の出現確率が記憶されている入力不要分野の単語n−gramと、入力対象分野の単語n−gramを参照して、上記音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第1の単語系列特定手段と、入力不要分野の単語n−gramを参照して、上記音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第2の単語系列特定手段と、上記第1の単語系列特定手段により特定された単語系列の尤度と上記第2の単語系列特定手段により特定された単語系列の尤度を比較し、上記第1の単語系列特定手段により特定された単語系列の尤度の方が高ければ、その単語系列を出力するリジェクト手段とを備えた音声認識装置。   Voice capturing means for capturing voice and outputting the voice signal; acoustic sequence converting means for converting the voice signal output from the voice capturing means into an acoustic sequence; and the appearance probability of a word sequence corresponding to the acoustic sequence Refers to the word n-gram of the input target field in which is stored, the word n-gram of the input unnecessary field in which the appearance probability of the word sequence corresponding to the acoustic sequence is stored, and the word n-gram of the input target field Then, referring to the first word sequence specifying means for specifying the acoustic sequence converted by the acoustic sequence converting means and the word sequence having the highest likelihood, and the word n-gram in the input unnecessary field, the acoustic sequence A second word sequence specifying means for specifying the acoustic sequence converted by the converting means and the word sequence having the highest likelihood; the likelihood of the word sequence specified by the first word sequence specifying means; and the second Comparing the likelihood of the word series specified by the word series specifying means, and if the likelihood of the word series specified by the first word series specifying means is higher, reject means for outputting the word series; A voice recognition device provided. リジェクト手段は、第2の単語系列特定手段により特定された単語系列の尤度の方が高ければ、音声認識結果である単語系列の出力を行わないことを特徴とする請求項1記載の音声認識装置。   2. The speech recognition according to claim 1, wherein the reject means does not output a word series as a voice recognition result if the likelihood of the word series specified by the second word series specifying means is higher. apparatus. リジェクト手段は、第1の単語系列特定手段により特定された単語系列の尤度に入力対象分野の重み係数を乗算するとともに、第2の単語系列特定手段により特定された単語系列の尤度に入力不要分野の重み係数を乗算し、重み係数乗算後の単語系列の尤度同士を比較することを特徴とする請求項1記載の音声認識装置。   The reject unit multiplies the likelihood of the word sequence specified by the first word sequence specifying unit by the weighting factor of the input target field and inputs the likelihood of the word sequence specified by the second word sequence specifying unit. The speech recognition apparatus according to claim 1, wherein the likelihoods of the word sequences after multiplication of the weighting factors are compared with each other by multiplying the weighting factors of unnecessary fields. リジェクト手段は、第2の単語系列特定手段により特定された単語系列の尤度の方が高ければ、その単語系列の表記を所定の形態に変換することを特徴とする請求項1または請求項3記載の音声認識装置。   The reject means converts the notation of the word series into a predetermined form if the likelihood of the word series identified by the second word series identification means is higher. The speech recognition apparatus according to the description. マイクにより音声が取り込まれて、そのマイクから音声信号が出力されると、その音声信号を音響系列に変換する処理を実施する音響系列変換処理手順と、音響系列に対応する単語系列の出現確率が記憶されている入力対象分野の単語n−gramを参照して、上記音響系列変換処理手順により変換された音響系列と最も尤度が高い単語系列を特定する処理を実施する第1の単語系列特定処理手順と、音響系列に対応する単語系列の出現確率が記憶されている入力不要分野の単語n−gramを参照して、上記音響系列変換処理手順により変換された音響系列と最も尤度が高い単語系列を特定する処理を実施する第2の単語系列特定処理手順と、上記第1の単語系列特定処理手順により特定された単語系列の尤度と上記第2の単語系列特定処理手順により特定された単語系列の尤度を比較し、上記第1の単語系列特定処理手順により特定された単語系列の尤度の方が高ければ、その単語系列を出力する処理を実施するリジェクト処理手順とをコンピュータに実行させるための音声認識プログラム。   When speech is captured by a microphone and a speech signal is output from the microphone, an acoustic sequence conversion processing procedure for performing processing for converting the speech signal into an acoustic sequence, and the appearance probability of a word sequence corresponding to the acoustic sequence are First word sequence identification that performs processing for identifying the acoustic sequence converted by the acoustic sequence conversion processing procedure and the word sequence having the highest likelihood with reference to the stored word n-gram of the input target field With reference to the processing procedure and the word n-gram of the input unnecessary field in which the appearance probability of the word sequence corresponding to the acoustic sequence is stored, the acoustic sequence converted by the acoustic sequence conversion processing procedure has the highest likelihood. A second word sequence identification processing procedure for performing a process for identifying a word sequence; a likelihood of the word sequence identified by the first word sequence identification processing procedure; and the second word sequence identification procedure. Reject processing for comparing the likelihoods of the word sequences specified by the procedure and, if the likelihood of the word sequence specified by the first word sequence specifying processing procedure is higher, outputting the word sequence A speech recognition program for causing a computer to execute the procedure. リジェクト処理手順は、第2の単語系列特定処理手順により特定された単語系列の尤度の方が高ければ、音声認識結果である単語系列の出力を行わないことを特徴とする請求項5記載の音声認識プログラム。   6. The reject processing procedure does not output a word sequence as a speech recognition result if the likelihood of the word sequence specified by the second word sequence specifying processing procedure is higher. Speech recognition program.
JP2005207526A 2005-07-15 2005-07-15 Speech recognition apparatus and speech recognition program Expired - Fee Related JP4727330B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005207526A JP4727330B2 (en) 2005-07-15 2005-07-15 Speech recognition apparatus and speech recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005207526A JP4727330B2 (en) 2005-07-15 2005-07-15 Speech recognition apparatus and speech recognition program

Publications (2)

Publication Number Publication Date
JP2007025279A true JP2007025279A (en) 2007-02-01
JP4727330B2 JP4727330B2 (en) 2011-07-20

Family

ID=37786131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005207526A Expired - Fee Related JP4727330B2 (en) 2005-07-15 2005-07-15 Speech recognition apparatus and speech recognition program

Country Status (1)

Country Link
JP (1) JP4727330B2 (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01158498A (en) * 1987-12-16 1989-06-21 Hitachi Ltd Voice recognition system
JPH0695684A (en) * 1992-09-17 1994-04-08 Meidensha Corp Sound recognizing system
JPH08211892A (en) * 1995-02-01 1996-08-20 Toyota Motor Corp Speech recognition device
JPH10171488A (en) * 1996-12-11 1998-06-26 Canon Inc Method for speech recognition and device therefor and storage medium
JP2000132549A (en) * 1998-10-26 2000-05-12 Sony Corp Natural language processing device and method therefor
JP2001242886A (en) * 2000-02-28 2001-09-07 Mitsubishi Electric Corp Speech recognition device, morpheme analyzer, kana kanji converter and its method and recording medium with recorded program
JP2002140094A (en) * 2000-11-01 2002-05-17 Mitsubishi Electric Corp Device and method for voice recognition, and computer- readable recording medium with voice recognizing program recorded thereon
JP2002221985A (en) * 2001-01-25 2002-08-09 Mitsubishi Electric Corp Voice recognition device, morpheme analyzer, kana (japanese syllabary)/kanji (chinese character) converter, its method and recording medium which records its program
JP2003308091A (en) * 2002-04-17 2003-10-31 Pioneer Electronic Corp Device, method and program for recognizing speech
JP2003330491A (en) * 2002-05-10 2003-11-19 Nec Corp Method, device, and program for voice recognition
JP2004046388A (en) * 2002-07-10 2004-02-12 Hitachi Ltd Information processing system and character correction method
JP2005049655A (en) * 2003-07-29 2005-02-24 Nippon Hoso Kyokai <Nhk> Device, method, and program for character data correction

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01158498A (en) * 1987-12-16 1989-06-21 Hitachi Ltd Voice recognition system
JPH0695684A (en) * 1992-09-17 1994-04-08 Meidensha Corp Sound recognizing system
JPH08211892A (en) * 1995-02-01 1996-08-20 Toyota Motor Corp Speech recognition device
JPH10171488A (en) * 1996-12-11 1998-06-26 Canon Inc Method for speech recognition and device therefor and storage medium
JP2000132549A (en) * 1998-10-26 2000-05-12 Sony Corp Natural language processing device and method therefor
JP2001242886A (en) * 2000-02-28 2001-09-07 Mitsubishi Electric Corp Speech recognition device, morpheme analyzer, kana kanji converter and its method and recording medium with recorded program
JP2002140094A (en) * 2000-11-01 2002-05-17 Mitsubishi Electric Corp Device and method for voice recognition, and computer- readable recording medium with voice recognizing program recorded thereon
JP2002221985A (en) * 2001-01-25 2002-08-09 Mitsubishi Electric Corp Voice recognition device, morpheme analyzer, kana (japanese syllabary)/kanji (chinese character) converter, its method and recording medium which records its program
JP2003308091A (en) * 2002-04-17 2003-10-31 Pioneer Electronic Corp Device, method and program for recognizing speech
JP2003330491A (en) * 2002-05-10 2003-11-19 Nec Corp Method, device, and program for voice recognition
JP2004046388A (en) * 2002-07-10 2004-02-12 Hitachi Ltd Information processing system and character correction method
JP2005049655A (en) * 2003-07-29 2005-02-24 Nippon Hoso Kyokai <Nhk> Device, method, and program for character data correction

Also Published As

Publication number Publication date
JP4727330B2 (en) 2011-07-20

Similar Documents

Publication Publication Date Title
CN107590135B (en) Automatic translation method, device and system
US8831947B2 (en) Method and apparatus for large vocabulary continuous speech recognition using a hybrid phoneme-word lattice
US8478591B2 (en) Phonetic variation model building apparatus and method and phonetic recognition system and method thereof
JP4791984B2 (en) Apparatus, method and program for processing input voice
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
US11721329B2 (en) Method, system and apparatus for multilingual and multimodal keyword search in a mixlingual speech corpus
US7181398B2 (en) Vocabulary independent speech recognition system and method using subword units
Le et al. Automatic speech recognition for under-resourced languages: application to Vietnamese language
US20220262352A1 (en) Improving custom keyword spotting system accuracy with text-to-speech-based data augmentation
Huang et al. The sequence-to-sequence baseline for the voice conversion challenge 2020: Cascading asr and tts
JP2017513047A (en) Pronunciation prediction in speech recognition.
WO2000058943A1 (en) Speech synthesizing system and speech synthesizing method
Wong et al. Methods to improve Gaussian mixture model based language identification system
JP7295839B2 (en) Automatic speech recognition based on syllables
JP6284462B2 (en) Speech recognition method and speech recognition apparatus
Mantena et al. Use of articulatory bottle-neck features for query-by-example spoken term detection in low resource scenarios
JP2955297B2 (en) Speech recognition system
Patel et al. Development of Large Vocabulary Speech Recognition System with Keyword Search for Manipuri.
Mohanty et al. Speaker identification using SVM during Oriya speech recognition
KR100480790B1 (en) Method and apparatus for continous speech recognition using bi-directional n-gram language model
JP4230142B2 (en) Hybrid oriental character recognition technology using keypad / speech in adverse environment
Tetariy et al. Cross-language phoneme mapping for phonetic search keyword spotting in continuous speech of under-resourced languages.
JP3088364B2 (en) Spoken language understanding device and spoken language understanding system
JP4727330B2 (en) Speech recognition apparatus and speech recognition program
Nga et al. A Survey of Vietnamese Automatic Speech Recognition

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080609

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110413

R150 Certificate of patent or registration of utility model

Ref document number: 4727330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees