JP2016062069A - Speech recognition method and speech recognition apparatus - Google Patents
Speech recognition method and speech recognition apparatus Download PDFInfo
- Publication number
- JP2016062069A JP2016062069A JP2014192548A JP2014192548A JP2016062069A JP 2016062069 A JP2016062069 A JP 2016062069A JP 2014192548 A JP2014192548 A JP 2014192548A JP 2014192548 A JP2014192548 A JP 2014192548A JP 2016062069 A JP2016062069 A JP 2016062069A
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- speech
- voice
- recognition
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、音声認識方法、及び音声認識装置に関し、例えば、音声データの認識技術の改良に関するものである。 The present invention relates to a speech recognition method and a speech recognition apparatus, and relates to, for example, improvement of speech data recognition technology.
最近では音声認識技術に基づいた音声操作や音声入力が携帯端末にも導入されており、それによってユーザの利便性が向上している。例えば、スマートフォンにおけるウェブ文書検索などでは、音声で検索キーワード入力することで、画面上のキーボードを押す必要がなくなる。また、各種の業務において、手を使わずに、文字や数値を入力したい場面が存在する。これらの場面でも、音声認識機能がある携帯端末を活用した音声認識システムを使うことで、ユーザが文字や数値を読み上げることにより、ハンズフリーでの入力が可能となる。 Recently, voice operations and voice inputs based on voice recognition technology have been introduced into portable terminals, thereby improving user convenience. For example, in web document search on a smartphone, it is not necessary to press a keyboard on the screen by inputting a search keyword by voice. Moreover, there are scenes in which various characters are desired to be input without using a hand in various business operations. Even in these scenes, by using a voice recognition system using a portable terminal having a voice recognition function, a user can input hands-free by reading out characters and numerical values.
しかしながら、ユーザの発話によっては、話した内容と異なる認識結果が入力されることがある。これは、音声認識の内部で用いている音のモデル(音響モデル)が、ユーザの発話音声に適合していないことで生じる。この要因としては、例えば、ユーザの発話の仕方(リズムや話速、イントネーション、アクセント)の揺らぎや、周囲の雑音などが音声に重畳すること、などがある。そのような要因で誤った結果が携帯端末に入力された場合、ユーザは再度発話を行い、結果を訂正する必要がある。このような訂正を行う発話を何回も行うことはユーザにとって大きな負担となる。そのため、訂正発話の回数はできるだけ削減できることが望ましい。 However, depending on the user's utterance, a recognition result different from the spoken content may be input. This occurs because the sound model (acoustic model) used inside the speech recognition is not compatible with the user's speech. This factor includes, for example, fluctuation of the user's utterance method (rhythm, speaking speed, intonation, accent), ambient noise and the like being superimposed on the voice. When an erroneous result due to such a factor is input to the mobile terminal, the user needs to speak again and correct the result. It is a heavy burden on the user to perform the utterance for performing such correction many times. Therefore, it is desirable that the number of correction utterances can be reduced as much as possible.
発話訂正に関する技術は、例えば、特許文献1に開示されている。特許文献1では、一度認識結果が出力された後の所定期間内に再度音声入力がなされ、その入力音声が前回の認識結果と同じ所定のカテゴリに属する場合には、前回の認識結果及びそれを実質的同一と見なされるものに対応する比較対象パターンを除外して認識結果を決定するようにしている。
A technique related to speech correction is disclosed in
しかしながら、特許文献1では、前回の認識結果を比較対象パターンから除外して、訂正発話の認識を行い、その結果を出力することになるため、2回目の認識結果が誤りであり、前回の認識結果における除外パターンの次の候補が正解だという状況には即座に対応できない。つまり、もう一回訂正発話を行い、認識処理をする必要がある。従って、効率よく発話訂正処理を実行することができず、また、訂正発話における誤認識率が高いという課題がある。
However, in
本発明はこのような状況に鑑みてなされたものであり、訂正発話における音声認識の精度を高め、ユーザの訂正発話回数を削減するための技術を提供するものである。 The present invention has been made in view of such a situation, and provides a technique for improving the accuracy of speech recognition in a corrected utterance and reducing the number of correction utterances by a user.
上記課題を解決するために、本発明による音声認識処理は、入力音声から特徴量を抽出する処理と、特徴量と、予め記憶装置に記憶されている音響モデルとを用いて入力音声を文字列へ変換し、変換した結果であり、複数の文章を含む文章群を生成する処理と、文章群の各文章を評価し、最も点数の高い文章を認識結果として出力する処理と、を含んでいる。そして、第1音声の入力の後に第2音声の入力が受け付けられた場合、第1音声と第2音声とが同一の音声入力であると判定する処理と、第1音声に対して生成された第1文章群における各文章の点数の分散と、第2音声に対して生成された第2文章群における各文章の点数の分散と、を算出し、分散が大きい文章群のうち最も点数の高い文章を最終認識結果として出力する処理と、が実行される。 In order to solve the above-described problems, the speech recognition processing according to the present invention converts a character string from an input speech using a process of extracting a feature amount from input speech, a feature amount, and an acoustic model stored in advance in a storage device. And a process for generating a sentence group including a plurality of sentences, and a process for evaluating each sentence in the sentence group and outputting the sentence with the highest score as a recognition result. . And when the input of the 2nd voice is accepted after the input of the 1st voice, the process which judges that the 1st voice and the 2nd voice are the same voice input, and the 1st voice were generated The variance of the score of each sentence in the first sentence group and the variance of the score of each sentence in the second sentence group generated for the second voice are calculated, and the score is highest in the sentence group having a large variance A process of outputting a sentence as a final recognition result is executed.
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。 Further features related to the present invention will become apparent from the description of the present specification and the accompanying drawings. The embodiments of the present invention can be achieved and realized by elements and combinations of various elements and the following detailed description and appended claims.
本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。 It should be understood that the description herein is merely exemplary and is not intended to limit the scope of the claims or the application of the invention in any way.
本発明によれば、訂正発話における音声認識の精度を高めることができるので、ユーザの訂正発話回数を削減することが可能となる。 According to the present invention, it is possible to improve the accuracy of speech recognition in corrected utterances, and thus it is possible to reduce the number of correction utterances by the user.
本発明は、「前回の認識結果を比較対照のパターンから外して、訂正発話の認識を行い、その結果を出力する」という従来技術を単純に適用する場合に、2回目の認識結果が誤りであり、前回の認識結果における除外パターンの次の候補が正解だという状況には対応できず、訂正発話における誤認識率が高いという課題を解決するためになされたものである。この課題を解決するために、本発明の実施形態による音声認識装置では、訂正発話が入力されたと判断されたとき、これまでに出力された音声認識の情報(複数のパターンとスコア)と訂正履歴を用いて、必要があれば、訂正発話とそれ以前の同一内容の音声発話に対してモデル適応処理と再認識処理が実行され、各発話の認識結果の中から1つ発話に対する結果が選択される。また、各発話の認識結果は発話の条件が異なっており、それらのスコアは直接的に比較できないため、各発話の認識結果に基づき、正しく認識されていそうな発話が選択され、その認識結果が出力される。このような処理を実行することにより、訂正発話における音声認識の精度を高め、ユーザの訂正発話回数を削減することができるようになる。 In the present invention, when the conventional technique of “removing the previous recognition result from the comparison pattern and recognizing the corrected utterance and outputting the result” is simply applied, the second recognition result is incorrect. In order to solve the problem that the next candidate of the exclusion pattern in the previous recognition result is correct, it cannot cope with the problem and the erroneous recognition rate in the corrected utterance is high. In order to solve this problem, in the speech recognition apparatus according to the embodiment of the present invention, when it is determined that a corrected utterance has been input, speech recognition information (a plurality of patterns and scores) output so far and a correction history If necessary, model adaptation processing and re-recognition processing are executed for the corrected utterance and the previous speech utterance of the same content, and the result for one utterance is selected from the recognition results of each utterance. The Also, the recognition results of each utterance have different utterance conditions, and their scores cannot be directly compared. Therefore, based on the recognition results of each utterance, the utterance that seems to be recognized correctly is selected, and the recognition result is Is output. By executing such processing, the accuracy of speech recognition in corrected utterances can be improved, and the number of correction utterances by the user can be reduced.
以下、添付図面を参照して本発明の各実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the accompanying drawings, functionally identical elements may be denoted by the same numbers. The attached drawings show specific embodiments and implementation examples based on the principle of the present invention, but these are for understanding the present invention and are not intended to limit the present invention. Not used.
本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。 This embodiment has been described in sufficient detail for those skilled in the art to practice the present invention, but other implementations and configurations are possible without departing from the scope and spirit of the technical idea of the present invention. It is necessary to understand that the configuration and structure can be changed and various elements can be replaced. Therefore, the following description should not be interpreted as being limited to this.
更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。 Furthermore, as will be described later, the embodiment of the present invention may be implemented by software running on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
(1)第1の実施形態
<音声データ認識装置の構成>
(i)機能ブロック構成
図1は、本発明の第1の実施形態による音声データ認識装置1の機能ブロック図である。音声データ認識装置1は、ラベル付き音声データ(記憶部)101と、音響モデル学習部102と、音響モデル(記憶部)103と、文法・文書データ(記憶部)104と、言語モデル構築部105と、言語モデル(記憶部)106と、音声入力受付部107と、特徴量抽出部108と、音声認識部109と、認識結果情報記憶部110と、発話判定部111と、発話・認識結果選択部112と、結果受付部113と、画面表示部114と、判定フラグ記憶部115と、を備える。以下、各モジュールの概要を説明する。
(1) First Embodiment <Configuration of Speech Data Recognition Device>
(I) Functional Block Configuration FIG. 1 is a functional block diagram of a voice
ラベル付き音声データ101は、音声波形とその発話内容を書き起こしたテキストなどを格納する。音声データは書き起こしたテキストが付属していれば、あらかじめ用意した原稿を人に読み上げてもらった音声データや、通常の会話を録音した後に書き起こしを行った音声データなどでも良い。もちろん、発話者を識別するID、雑音の有無や信号対雑音比(SNR)などのラベルを付属していても良い。
The labeled
音響モデル学習部102は、学習用ラベル付き音声データ101の音声信号から特徴量を抽出し、特徴量とテキストの対応関係を記した音響モデル103のパラメータを出力する。
The acoustic
音響モデル103は、音響モデル学習部102から出力されたパラメータを格納したデータベースである。
The
文法・文書データ104は、音声認識すべき単語や単語の連鎖の規則を記述した文法および文章テキストデータなどを格納する。ここで、文書データは、例えば、ウェブのテキスト、音声認識システムのターゲットとする業務においてユーザ等が発話した音声の書き起こしテキスト、ターゲットとする業務に関する文書等を含んでも良い。また、文法データは、言語における、単語が連結して文をなす場合のきまり(仕組み)や、語形変化・語構成等のきまり(仕組み)、あるいは機能語(助動詞・助詞・前置詞・接辞・代名詞等)の用い方のきまり(仕組み)等の他、任意に定義される特殊な用語の組み合わせを含むものである。
The grammar /
言語モデル構築部105は、文法・文書データ104や音響モデル103に基づき、単語の連鎖と音響モデルを結合する仮説ネットワークを最適化する。また、単語Ngram確率といった、言語特徴を表現した統計的モデルのパラメータを付与してもよい。
Based on the grammar /
言語モデル106は、文法を形式変換して得られるデータを格納するデータベースであって、言語モデル構築部105から出力されたパラメータを格納する。ここまでが、音声データ認識装置1における事前処理の部分である。
The
音声入力受付部107は、携帯端末等に設置されたマイクから、ユーザが入力した音声信号を取得する。
The voice
特徴量抽出部108は、音声信号を音響モデル103および音声認識部109で用いる音声特徴量(例えば、周波数分布データ)と呼ばれる数値に変換する。
The feature
音声認識部109は、音響モデル103と言語モデル106に基づいて、少なくとも1つ以上の音声認識結果の候補を出力する。この音声認識結果は、少なくとも認識文章とその点数を含み、発話時刻、音素テキスト、認識信頼度、感情認識結果などの情報も含んでいてもよい。音声認識結果は、認識結果情報記憶部110や発話判定部111に出力される。
The
認識結果情報記憶部110は、認識結果を格納するデータベースである。
発話判定部111は、入力された音声が前回の音声入力と同じ内容かどうか、つまり、前回認識結果の訂正かどうかを、音声認識部109の出力と認識結果情報記憶部110に格納された情報を用いて判定する。この判定には、今回と前回の音声認識結果の文章や発話時刻といった情報が用いられる。前回と異なる内容と判断した場合、発話判定部111は、認識結果情報記憶部110に格納されている当該認識結果に対応するIDを結果受付部113へ出力する。また、このとき、発話判定部111は、今回の音声認識結果が訂正の可能性があることを示すフラグ、或いは、前回の音声認識結果が誤りではないことが確定した場合にはその旨を示すフラグである、判定フラグを同時に出力する。前回と同じ内容と判断した場合、発話判定部111は、発話・認識結果選択部112に当該認識結果のIDを出力する。
The recognition result
The
発話・認識結果選択部112は、発話判定部111から出力された音声認識結果のIDに基づき、今回の発話の音声認識結果と、過去の同一内容を意図した発話の音声認識結果の情報を認識結果情報記憶部110から取得する。次に、発話・認識結果選択部112は、これらの音声認識結果の情報に基づき、正しい認識結果を含むと思われる発話に該当する音声認識結果を決定し、その中の認識文章の少なくとも1つに対応する認識結果情報記憶部110におけるIDを結果受付部113に出力する。
The speech / recognition
結果受付部113は、発話判定部111または発話・認識結果選択部112から出力されたIDおよび認識結果確定フラグに基づき、認識結果情報記憶部110から該当する文章を画面表示部114に出力する。
The
画面表示部114は、結果受付部113から出力された文章を、例えば、携帯端末上のディスプレイに表示する。
The
判定フラグ記憶部115は、結果受付部113が発話判定部111から受け取った判定フラグを格納するデータベースである。
The determination
(ii)ハードウェア構成
図2は、本発明の第1の実施形態による音声データ認識装置1のハードウェア構成を示す図である。
(Ii) Hardware Configuration FIG. 2 is a diagram showing a hardware configuration of the voice
音声データ認識装置1は、コンピュータで構成され、各種プログラムを実行するCPU(プロセッサ)201と、各種プログラムを格納するメモリ202と、各種データを格納する記憶装置203と、音声を入力するためのマイク204と、処理結果等を画面上に表示するためのディスプレイ205と、テキストや指示を直接入力するためのキーボード206及びマウス207と、ネットワーク3を介してデータサーバ2等の他のコンピュータと通信するための通信デバイス208と、を有している。
The voice
メモリ202は、プログラムとして、音声入力受付部107と、特徴量抽出部108と、音声認識部109と、発話判定部111と、発話・認識結果選択部112と、結果受付部113と、画面表示部114と、を有している。各処理部による処理概要は上述の通りである。
The
記憶装置203は、音響モデル103と、言語モデル106と、認識結果情報110と、判定フラグ115と、を格納している。
The
CPU201は、メモリ202から必要に応じて各プログラムを読み込み、実行する。キーボード206及びマウス207は、例えば、マイク204からの音声によるデータ入力が成功しなかった場合に、当該データを直接入力するときに用いられるものである。
The
通信デバイス208は、ネットワーク3を介してデータサーバ2において生成された音響モデル103及び言語モデル106を受信し、それらの複製を記憶装置203に格納する。
The
データサーバ2は、コンピュータで構成され、CPU(プロセッサ)209と、メモリ210と、記憶装置211と、通信デバイス212と、入出力デバイス213と、を有している。
The
メモリ210は、プログラムとして、音響モデル学習部102と、言語モデル構築部105と、を有している。
The
記憶装置211は、ラベル付き音声データ101と、音響モデル103と、文法・文書データ104と、言語モデル106と、を格納している。
The
なお、図2では、音声データ認識装置1がデータサーバ2とネットワーク3を介して接続され、データサーバ2で生成された音響モデル103と言語モデル106とを受信する構成を示しているが、図1に示されるように音声データ認識装置1を単体の装置として構成しても良い。また、音声データ認識装置1を、端末と計算機(サーバ)を備えたシステムによって構成してもよい。この場合、例えば、端末は、音声入力受付部107、画面表示部114と必要ならば特徴量抽出部108を備える。計算機(サーバ)は、その他の各処理部の処理を実行する。各データは、ネットワークを通じて伝送される。
2 shows a configuration in which the voice
<各処理部によって実行される処理の詳細>
以下、各処理部によって実行される処理について説明する。
<Details of processing executed by each processing unit>
Hereinafter, processing executed by each processing unit will be described.
(前処理:音声認識処理前の準備)
実施形態による音声データ認識装置1では、まず、音声データを認識可能にするための処理が行われる。そのために、音響モデル103、言語モデル106を構築する必要がある。
(Preprocessing: Preparation before voice recognition processing)
In the voice
(i)音響モデル学習処理
音響モデル学習部102は、ラベル付き音声データ101を用いて、音響モデル103のパラメータを推定する処理を行う。ラベル付き音声データ101は、不特定話者の多数の音声データとその書き起こしテキストを最低限含んでいる。一般的に、音声データを認識する問題は、事後確率最大化探索問題として扱われる。この事後確率最大化探索の枠組みでは、大量の学習データから学習された音響モデル及び言語モデルを用いて、入力音声データにもっとも適合する単語列やテキストパターンが求められる。例えば、音響モデルにはHMM(Hidden Markov Model)を採用することができる。パラメータを推定する方法については、広く知られた技術であるので説明は省略する。例えば、「鹿野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄、「音声認識システム」、オーム社、2001年」に記載されている。なお、ラベル付き音声データに、感情や意図といったその他のラベルが付与されている場合、必要があれば、同様の枠組みで入力音声データから感情や意図のラベルを出力することも可能である。
(I) Acoustic Model Learning Processing The acoustic
(ii)言語モデル構築処理
言語モデル構築部105は、文法・文書データ104と音響モデル103を用いて、言語モデル106のパラメータの推定と音声認識に用いる探索ネットワークの構築処理を行う。
(Ii) Language Model Construction Processing The language
(iii)文法・文書データ
文法・文書データ104における文法データは、一般的な文法規則の他、音声認識システムの設計者が認識すべき各単語の表記および読み、各単語のつながりのパターンを記述している。ここでは、ユーザに、「項目名」と「数値」を連続して発話してもらう音声認識システムを想定する。項目名には、「ABC(えーびーしー)」、「DEF(でぃーいーえふ)」、「GHI(じーえいちあい)」、「JKL(じぇーけーえる)」などの単語があることを想定する。ユーザが、「ABC 30(えーびーしーさんじゅう)」というような形式で発話すると、結果が端末上に入力される。このような音声認識を実現するためには、文法データに、項目名(「ABC」など)と数値(「30」など)の繋がりを受理するようなパターンを記述しておけばよい。
(Iii) Grammar / Document Data The grammar data in the grammar /
文法・文書データ104における文書データは、ウェブのテキスト、ターゲットの業務に関連する文書、及び/又はターゲットの業務においてユーザが実際に発話した文の書き起こしといったテキストデータを含んでいる。このテキストデータから、形態素解析や読み付与を行い、出現回数をカウントすることにより、単語の連鎖とN−gram確率を推定することができる。なお、パラメータを推定する方法については、広く知られた技術であるので説明を省略する。例えば、「鹿野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄、「音声認識システム」、オーム社、2001年」に記載されている。
The document data in the grammar /
文法データおよび文書データは、いずれか一方のみを備える形式でも実施が可能である。文法データのみを備える場合、音声認識システムが受理できる単語の順序は、あらかじめ設計者が文法データに記述した単語順序に限定される。文書データをもとに言語モデルを作成する場合、あらかじめ用意した文書データから、高確率で現れる単語や単語連鎖に関して精度良く認識できる上に、文書データに現れない単語列であっても、認識することが可能となる。 The grammar data and the document data can be implemented in a format having only one of them. When only grammar data is provided, the order of words that can be accepted by the speech recognition system is limited to the word order previously described in the grammar data by the designer. When creating a language model based on document data, it is possible to accurately recognize words and word chains that appear with high probability from document data prepared in advance, and even recognize word strings that do not appear in document data. It becomes possible.
探索ネットワークは、単語連鎖における単語の読み方を音響モデル103におけるHMMの各状態への対応付けることによって構築することができる。この探索ネットワークは、例えば、WFST(Weighted Finite State Transducer)を用いることで、状態数に関して最適化できる。
以上により、前処理が終了し、音声認識のための準備が整ったことになる。
The search network can be constructed by associating how to read words in the word chain with each state of the HMM in the
Thus, the preprocessing is completed and preparation for voice recognition is completed.
(音声認識及び発話訂正処理)
(i)音声入力受付処理
音声入力受付部107は、発話の開始と終了を判定し、発話の開始から終了までの音声信号を特徴量抽出部108に出力する。発話の開始と終了は、例えば、携帯端末であれば、ユーザが指でボタンを押すことにより検知することができる。また、音声と無音・雑音を判別する判別器を構築し、その出力によって自動的に検知することも可能である。この検出器は様々な方法で構築することができる。その一例を挙げるなら、無音・雑音信号と音声信号から特徴量を抽出し、無音・雑音信号と音声信号の特徴量分布をGMM(Gaussian Mixture Model)で表現する。GMMのパラメータは予めデータから推定し、音声の検知は各GMMの尤度比が閾値を上回るかどうかで判定を行えばよい。そのほかにも、音声パワーで区切る方法、ゼロ交差数を用いる方法などがあり、公知の技術を用いることができる。
(Voice recognition and utterance correction processing)
(I) Voice Input Reception Processing The voice
(ii)音声特徴量抽出処理
音声特徴量抽出部108は、音声信号から音声特徴量を抽出する。音声特徴量としては、例えば、入力音声の周波数分布が該当し、音声認識でよく用いられるMFCC(Mel Frequency Cepstrum Coefficient)を使うことができる。その他、LPC(Linear Prediction Coefficient)を使うこともできる。
(Ii) Voice Feature Amount Extraction Processing The voice feature
音声特徴量抽出部108は、まず、音声信号を一定の時間毎にある時間区間に対して、短時間の周波数解析を行う。次に、対数パワースペクトルに対してメルファイルバンクを施し、DCT(Discrete Cosine Transformation)を行った後、そのDCT係数の低次元の係数を用いる。この抽出した特徴量に対して、例えば、平均正規化や分散正規化といった、正規化処理を行うこともできる。
The voice feature
(iii)音声認識処理
音声認識部108は、抽出した音声特徴量、音響モデル103、及び言語モデル106を用いて、音声認識処理を実行し、認識結果を出力する。音声認識部108は、点数(例えば、対数確率値)と探索履歴を保持する仮説(認識候補)を展開していき、音声入力の終了時に高い点数順にそれらを出力する。ここで、仮説展開は、言語モデル106における探索ネットワークに従って、現在の仮説から次のHMM状態へ遷移し、音響モデル103に格納されている状態遷移確率と入力特徴量から出力確率計算し、点数に加算することにより行われる。そして、仮説の展開ごとに、点数の低い仮説を除外したり、同一状態における仮説数を制限することで、処理の効率化を行うこともできる。
(Iii) Speech Recognition Processing The
音声認識を行う方法は、公知の技術を組み合わせることで可能であるため、詳細は省略する。音声認識を行った結果、その認識結果情報として、点数、文章、単語発話時刻、単語信頼度、音素テキスト、音素発話時刻、音素信頼度などを含めることができる。ただし、今回用いるものは、点数、文章、及び単語発話時刻であり、単語信頼度や音素信頼度のデータは用いない。 Since the method for performing speech recognition can be performed by combining known techniques, details are omitted. As a result of the speech recognition, the recognition result information can include score, sentence, word utterance time, word reliability, phoneme text, phoneme utterance time, phoneme reliability, and the like. However, what is used this time is a score, a sentence, and a word utterance time, and word reliability and phoneme reliability data are not used.
音声認識結果は、N−ベスト形式やネットワーク形式で出力してもよい。この音声認識結果は、認識結果情報記憶部110に追加され、さらに、発話判定部111に出力される。
The speech recognition result may be output in N-best format or network format. This voice recognition result is added to the recognition result
図3は、本発明の実施形態における音声認識情報に含まれる情報の1例をN−ベスト形式で示す図である。発話時刻301は、発話の開始と終了の時刻を示している。順位302は、発話に関する認識候補を示している。点数303は、各候補の点数を示している。文章304は、各候補の文章を示している。
FIG. 3 is a diagram illustrating an example of information included in the speech recognition information in the embodiment of the present invention in the N-best format. The
(iv)認識結果情報記憶部の構成例
図4は、本実施形態における認識結果情報記憶部110が保持する情報の構成例を示している。
(Iv) Configuration Example of Recognition Result Information Storage Unit FIG. 4 shows a configuration example of information held by the recognition result
認識結果情報記憶部110は、認識結果ID401と、関連ID402と、発話時刻403と、候補404と、を構成情報として含んでいる。
The recognition result
認識結果ID401は、認識結果を一意に識別するための情報である。関連ID402は、発話判定部111で同一と判定された認識結果のIDを特定するための情報である。発話時刻403は、対象の認識結果に対応する音声発話の開始時刻及び終了時刻を示す情報である。候補404は、点数が高い順に並べられた、音声発話に対する音声認識結果を示す情報である。
The
(v)発話判定処理
発話判定部111は、音声認識部109の結果と認識結果情報記憶部110の情報を用いて、前回以前の発話と同一内容かどうかを判定する。図5は、本発明の実施形態による発話判定部111の処理例を説明するためのフローチャートである。
(V) Utterance determination processing The
まず、処理が開始する(ステップ501)と、発話判定部111は、直前の発話と発話開始時刻の差を比較する(ステップ502)。当該時刻差がK秒(例えば、10秒)以内であると判断された場合(ステップ502でYes)、処理はステップ503に移行し、K秒を超えていると判断された場合(ステップ502でNo)、処理はステップ506に移行する。
First, when the process starts (step 501), the
ステップ503では、発話判定部111は、認識結果情報記憶部110から前回発話の認識結果情報を引き出し、取得する(ステップ503)。
In
次に、発話判定部111は、今回の認識文章と直前の発話の文章の近さを比較する(ステップ504)。文章の近さは、例えば、文字の編集距離や音素の編集距離などを用いて測ることができる。文章の近さが予め定められた値N以下と判断された場合(ステップ504でYesの場合)、処理はステップ505に移行し、Nより大きいと判断された場合(ステップ504でNoの場合)、処理はステップ506に移行する。
Next, the
ステップ505では、発話判定部111は、今回の発話と前回の発話が同一内容であると判定し、今回のID401を発話・認識結果選択部112に出力すると同時に、認識結果情報記憶部110における関連ID402に前回のID401を追記する(ステップ505)。例えば、2回目の発話(訂正発話)に関しては、まず一回前の発話と同一なのか判定される。この一回前の発話は二回前の発話と同一であるか判定されているため、二回目の発話の関連ID402から同一内容の発話に対応するID401が特定され、出力されることになる。
In
ステップ506では、発話判定部111は、新規の認識結果として 結果受付部113へ文章304と新規入力であるフラグを出力する(ステップ506)。なお、今回用いた閾値K、Nは、システムの状態に応じて切り替わったり、機械学習によって予め最適な値に定められたりしいても良い。なお、一定回数以上の訂正だと判断されば場合(例えば、処理スタート直後(ステップ502の前)に一定回数以上の訂正か否か判断すればよい)は、例えば、ソフトウェアキーボードによる入力といった、音声以外の入力方法へと切り替えを行う。
In
なお、発話開始時刻の差を見る処理(ステップ502)は、別の方法で実行しても良い。例えば、現時点の発話から見て、過去の所定回数(M回)の発話のすべてを、同一発話の候補とみなし、後続の処理(ステップ503)へ渡す方法である。また、過去の所定回数Mの発話だけに限定したのち、その発話の中から、発話開始時刻の差が所定閾値K以下であるものを、後続の処理(ステップ503)へ渡す方法でもよい。ここで使用する回数の閾値Mや時刻差の閾値Kは、ユーザやシステム管理者が、携帯端末の画面操作などにより自由に設定できるようにしてもよい。 Note that the process of viewing the difference in utterance start time (step 502) may be executed by another method. For example, as viewed from the current utterance, all the utterances of a predetermined number of times in the past (M times) are regarded as candidates for the same utterance and passed to subsequent processing (step 503). Alternatively, after limiting to only the predetermined number M of utterances in the past, a method in which the difference between the utterance start times is equal to or less than a predetermined threshold value K may be passed to subsequent processing (step 503). The threshold M for the number of times used and the threshold K for the time difference may be freely set by a user or a system administrator by operating a screen of the mobile terminal.
(vi)発話・認識結果選択処理
次に、認識結果情報記憶部110の情報に基づき、今回の発話に対する認識結果を出力する発話・認識結果選択部112の処理について説明する。図6は、本発明の第1の実施形態による発話・認識結果選択部112の処理例を説明するためのフローチャートである。
(Vi) Speech / Recognition Result Selection Processing Next, processing of the speech / recognition
まず、処理が開始する(ステップ601)と、発話・認識結果選択部112は、認識結果情報記憶部110を参照し、発話判定部111から出力されたID401に基づいて、同一発話の認識結果情報404を複製する(ステップ602)。これは、関連ID402をIDが存在する限り辿っていくことで実現することができる。
First, when the processing starts (step 601), the utterance / recognition
次に、発話・認識結果選択部112は、関連する過去の発話の候補404の中で最もスコア(点数)の高いものを順次除外し、各発話に対する点数303の分散を計算する(ステップ603)。この順次除外は、ユーザによって訂正された文章に該当するものを除外できれば、どのような方法でも良い。発話に対する分散に相当する指標の計算は、例えば、式1及び式2を用いて実行することができる。ここでは、1発話に対して得られた文章の候補数をLとする。
Next, the utterance / recognition
式1によれば、候補i番目の正規化スコア(ni)は、各文章の点数sを正規化したものとして算出される。また、指標(v)は、正規化スコア(式1)とスケール係数qを用いて、式2によって計算される。この値は、点数間のあいまい性が高い発話では値が大きくなり、点数間にあいまい性が小さい発話では値が小さくなる。つまり、文章304が他の候補とうまく識別できているときに値が小さくなる。この指標は上記分散値の逆数に相当するため、代償は反転するが、上記分散の等価値として利用できる。この発話選択における評価値に、認識結果のスコアを用いることも考えられるが、この方法では正解文章を上位に含んだ発話を選択することは困難である。実際、点数303は同一内容を発話しても、発話長や特徴量の変化により値が大きく変化する。そのため、異なる発話間で点数を比較すること自体に意味がない。
According to
続いて、発話・認識結果選択部112は、各発話のおける分散が最も大きい発話の候補404の中から1つの文章304を選択し、結果受付部113へ出力する(ステップ604)。
Subsequently, the utterance / recognition
例えば、図4においてID=24810の認識結果が最初に入力された音声(第1音声)の認識結果(候補:第1文章群)であり、ID=24811の認識結果が次に入力された音声(第2音声:つまり訂正発話)の認識結果(候補:第2文章群)であったとすると、まず、ID=24810の認識結果の中で、最高点を示す候補ABC 300が認識結果として正しくなかったから第2音声(訂正発話)が入力されたと判断され、それが除外される。そして、ABC 300以外の候補(第1文章群)の中で分散が算出される。また、第2文章群の中で候補ABC 300が除外され、それ以外の候補の中で分散が算出される。そして、分散が大きい文章群が選択され、選択された文章群の中で最高点を示す候補が最終認識結果として出力される。
For example, in FIG. 4, the recognition result of ID = 24810 is the recognition result (candidate: first sentence group) of the voice (first voice) input first, and the recognition result of ID = 24811 is input next. If it is a recognition result (candidate: second sentence group) of (second speech: corrected utterance), first, among the recognition results of ID = 24810, the
(vii)結果受付処理
結果受付部113は、発話判定部111または発話・認識結果選択部112からの出力を保存・加工し、画面に出力すべき内容を画面表示部114へ出力する。例えば、発話判定部111からの文章304を受け付けた後、この結果は訂正される可能性があるというフラグを内部に保存しておき、認識文章を項目名と数値に分割し、画面表示部114へ出力する。同時に、以前に訂正される可能性があるフラグ(判定フラグ)がある結果に対して、そのフラグを外し、結果を確定させる。この結果の確定は、例えば、一定時間発話入力がなかったり、作業を完了したことを示す入力があった場合にも行うことができる。発話・認識結果選択部112からの出力を用いる場合には、ほとんど同様の処理であるが、訂正される可能性があるフラグに対しては何も処理は行われない。
(Vii) Result Acceptance Processing The
(viii)画面表示処理
画面表示部114は、結果受付部113から携帯端末に表示すべき内容を受け取り、デバイスに表示する処理を行う。
(Viii) Screen Display Processing The
図7は、本発明の第1の実施形態による画面表示の一例を示す図である。ここでは、項目名701に対応した値702を音声で入力することを想定する。認識文章304が「ABC 325」であった場合、予め用意されている項目名「ABC」に値「325」を埋めるように表示する。このとき、「325」の値は確定していないことを示すために、灰色や赤色といった色を使い、訂正発話や一定時間経ったために確定した場合には、確定したことを示すため黒色で表示するといったことを行うようにしても良い。
FIG. 7 is a diagram showing an example of a screen display according to the first embodiment of the present invention. Here, it is assumed that a
<第1の実施形態のまとめ>
以上説明したように、第1の実施形態によると、訂正発話が入力されたと判断された場合、これまでに出力された音声認識の情報(複数のパターンとスコア)と訂正履歴を用いて、各発話の認識結果の中から1つ発話に対する結果を選択する。このようにすることにより、訂正発話における音声認識の精度を高め、ユーザの訂正発話回数を削減できるようになる。
<Summary of First Embodiment>
As described above, according to the first embodiment, when it is determined that a corrected utterance has been input, each of the speech recognition information (a plurality of patterns and scores) output so far and the correction history are used to A result for one utterance is selected from the utterance recognition results. By doing so, the accuracy of speech recognition in the corrected utterance can be improved and the number of correction utterances by the user can be reduced.
具体的には、第1の実施形態による音声データ認識装置1では、先に入力された音声(第1音声)の後に入力された音声(第2音声)を受け付けた場合、発話判定部111は、第1音声と第2音声とが同一の音声入力であるか否か判定する。同一であると判定された場合、発話・認識結果選択部112は、第1音声に対して生成された第1文章群における各文章の点数の分散と、第2音声に対して生成された第2文章群における各文章の点数の分散と、を算出し、分散が大きい文章群のうち最も点数の高い文章を最終認識結果として出力する。ここで、分散の大きさを判断基準としているのは、誤認識されている文章の場合、政界との差が僅かである場合が多いため、分散が大きい文章を選択することにより、正確に認識されている文章を取得することができる可能性が高いからである。このようにすることにより、ユーザによる訂正発話の回数を減らし、より正確な認識結果を迅速に提示することができるようになる。
Specifically, in the voice
(2)第2の実施形態
第2の実施形態では、訂正発話が受け付けられたときに発話履歴を用いて音響モデルを適応処理することにより、より精度が高い音声認識が可能となる音声データ認識装置800について説明する。
(2) Second Embodiment In the second embodiment, voice data recognition that enables voice recognition with higher accuracy by adaptively processing an acoustic model using an utterance history when a corrected utterance is accepted. The
<音声データ認識装置の構成>
(i)機能ブロック構成
図8は、本発明の第2の実施形態による音声データ認識装置800の機能構成を示すブロック図である。なお、図8において、第1の実施形態(図1)による音声データ認識装置1と同一の符号を付与された構成及び機能については、説明を省略する。
<Configuration of voice data recognition device>
(I) Functional Block Configuration FIG. 8 is a block diagram showing a functional configuration of a speech
第2の実施形態による音声データ認識装置800は、第1の実施形態による音声データ認識装置1の構成に加えて、特徴量抽出部108が抽出した特徴量を格納する特徴量記憶部801と、音響モデルを適応的に更新する適応認識部802と、を有している。また、発話・認識結果選択部803及び画面表示部804の内容は、第1の実施形態におけるそれらとは異なっている。
In addition to the configuration of the speech
(ii)ハードウェア構成
第2の実施形態による音声データ認識装置800のハードウェア構成は、第1の実施形態による構成(図2)とほぼ同様である。ただし、図2において、メモリ202は、新たなプログラムとして、適応認識部802と、発話・認識結果選択部803と、を有している。また、記憶装置203は、新たに、特徴量(特徴量記憶部において)を記憶している。その他の構成は第1の実施形態の場合と同様である。また、言語モデル106や音響モデル103をサーバ等から複製して記憶装置203に格納する構成を採ることができる点、及び単独の音声データ認識装置として構成しても良い点についても第1の実施形態と同様である。
(Ii) Hardware Configuration The hardware configuration of the speech
<各処理部によって実行される処理の詳細>
(i)特徴量
図9は、第2の実施形態による特徴量記憶部801の構成例を示す図である。
<Details of processing executed by each processing unit>
(I) Feature Quantity FIG. 9 is a diagram illustrating a configuration example of the feature
特徴量記憶部801は、特徴量抽出部108から出力される特徴量を一意に識別するための情報であるID901と、対応する入力音声の特徴量値を格納する特徴量902と、を構成情報として有している。1つのID901で示される特徴量902は、1回の発話で入力される音声データに対応するものである。
The feature
(ii)適応認識処理
適応認識部802は、認識結果情報記憶部110の情報に基づき、同一内容と判定された発話に対して、音響モデルの適応と認識を行い、結果を発話・認識結果選択部113へ出力する。
(Ii) Adaptive recognition processing The
図10は、第2の実施形態による適応認識部802の動作を説明するためのフローチャートである。
FIG. 10 is a flowchart for explaining the operation of the
処理が開始する(ステップ1001)と、適応認識部802は、認識結果情報記憶部110を参照し、発話判定部111から出力されたID301に基づいて同一発話の認識結果情報304を取得して複製するとともに、特徴量記憶部801から音声特徴量を取得して複製する(ステップ1002)。同一発話の取得は、関連ID302をIDが存在する限り辿っていくことで実現できる。
When the processing starts (step 1001), the
次に、適応認識部802は、関連する過去の発話の候補404の中で最もスコアの高いものを順次除外する(ステップ1003)。この順次除外は、ユーザによって訂正された文章に該当するものを除外できれば、どのような方法でも良い。例えば、3回目の訂正発話が入力された場合、前回2回の発話訂正処理において最もスコアの高い認識結果が除外されることとなる。
Next, the
続いて、適応認識部802は、発話毎に音響モデルの適応処理を開始し、適応における評価値(音響モデルに基づいて算出される:図3や図4における「点数」と同様なもの)がT(予め設定された値)以下またはI回(予め設定された回数)以上反復したかを判定する(ステップ1004)。当該条件に合致する場合(ステップ1004でYesの場合)、処理はステップ1007に移行する。当該条件に合致しない場合(ステップ1004でNoの場合)、処理はステップ1005に移行する。
Subsequently, the
ステップ1004において条件に適合しないと判断された場合、適応認識部802は、事後確率を計算し(ステップ1005)、適応パラメータ(音響モデルのパラメータに相当)の更新(ステップ1006)をEMアルゴリズムで行う。この枠組みに関しては、例えば、訂正された文章を除外したN−best結果を用いて、非特許文献Lattice-based unsupervised acoustic model training (ICASSP’11)を適用することができる。この方法では、適応パラメータの更新と同時に、音声認識結果(順位302、点数303、文章304)が更新される。このとき、適応パラメータのモデルとしては、例えば、fMLLRのような、特徴量の平均と分散を補正するようなものを採用できる。これは発話毎に異なるパラメータを設定するため、発話毎に異なる変動を反映することが可能となる。なお、EMアルゴリズムの他、例えば、勾配法等のアルゴリズムを用いて適応処理する子も可能である。
If it is determined in
一方、ステップ1004において条件に適合すると判断された場合、適応認識部802は、認識結果情報を発話・認識結果選択部803へ出力する。この処理において、ユーザによって訂正された文章に該当するものを除外することは重要である。なぜなら、誤りである情報を除去するため、モデル適応の精度が向上し、より正確な認識ができるからである。また、今回の発話だけでなく、過去の同一内容の発話に関してもモデル適応を行い、認識結果を更新している。そのため、訂正発話が入力されるたびに、過去の同一内容の発話の認識結果が変化する点に留意が必要である。また、ステップ1005における事後確率計算は、発話毎、文章毎に計算を行うため、独立した演算処理が可能である。そのため、この部分については並列計算を行うことで処理時間を短縮することができる。さらに、各反復において、発話の分散値(式2参照)を計算することで、逐次的に結果出力への関与が小さい発話を切ることによって、演算量を削減することなども考えられる。
On the other hand, if it is determined in
(iii)発話・認識結果選択処理
発話・認識結果選択部803は、発話・認識結果選択部113における分散の計算と発話と文章204の選択のみを行う。なお、図6のステップ602の処理とステップ603の前半の処理(過去の発話候補の中で最もスコアの高い認識結果を順次除外する処理)に関しては、適応認識部802で行っているため不要となる。
(Iii) Utterance / Recognition Result Selection Processing The utterance / recognition
(iv)画面表示処理
画面表示部804は、発話判定部111において前回と同一内容の発話だと判断された場合、適応認識中であることを画面に通知する処理を実行する。
(Iv) Screen Display Processing When the
図11は、第2の実施形態による画面表示例を示す図である。図11において、進捗率1101は、適応評価値または反復回数に基づく進捗率を示している。また、進捗率ではなく、単純に認識中であることを示すアイコンを表示するだけでも良い。
FIG. 11 is a diagram illustrating a screen display example according to the second embodiment. In FIG. 11, a
<第2の実施形態のまとめ>
第2の実施形態では、訂正発話が受け付けられたときに発話履歴を用いて音響モデルを適応的に変更・更新する。これにより、より精度が高い音声認識が可能となる。より具体的には、分散が大きい文章群のうち最も点数の高い文章を最終認識結果として出力する処理において、適応認識部802は、先に入力された第1音声に対する認識結果(第1認識結果)及び次に入力された第2音声に対する認識結果(第2認識結果)と、第1音声を音声認識して得られる認識文章候補(第1文章群)及び第2音声を音声認識して得られる認識文章候補(第2文章群)の点数を用いて、第1音声及び第2音声のそれぞれの認識に用いた各音響モデルを適応的に変更する。そして、適応認識部802は、当該変更された音響モデルのそれぞれ(第1音声についての音響モデルと第2音声についての音響モデル)に基づいて第1音声及び第2音声に対する第1及び第2文章群を取得する。そして、発話・認識結果選択部803は、第1及び第2文章群の点数の分散を求め、当該分散が大きい文章群のうち最も点数の高い文章を最終認識結果として出力する。
<Summary of Second Embodiment>
In the second embodiment, when a corrected utterance is accepted, the acoustic model is adaptively changed / updated using the utterance history. Thereby, speech recognition with higher accuracy is possible. More specifically, in the process of outputting the sentence with the highest score in the sentence group having a large variance as the final recognition result, the
また、適応処理における事後確率計算を、発話毎、或いは文章毎に並列して実行する。このようにすることにより、処理時間を短縮することが可能となる。 In addition, the posterior probability calculation in the adaptive process is executed in parallel for each utterance or each sentence. In this way, the processing time can be shortened.
(3)その他
本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
(3) Others The present invention can also be realized by software program codes that implement the functions of the embodiments. In this case, a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention. As a storage medium for supplying such program code, for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。 Also, based on the instruction of the program code, an OS (operating system) running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing. May be. Further, after the program code read from the storage medium is written in the memory on the computer, the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code. Thus, the functions of the above-described embodiments may be realized.
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。 Further, by distributing the program code of the software that realizes the functions of the embodiment via a network, it is stored in a storage means such as a hard disk or memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R And the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium when used.
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。 Finally, it should be understood that the processes and techniques described herein are not inherently related to any particular apparatus, and can be implemented by any suitable combination of components. In addition, various types of devices for general purpose can be used in accordance with the teachings described herein. It may prove useful to build a dedicated device to perform the method steps described herein. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined. Although the present invention has been described with reference to specific examples, these are in all respects illustrative rather than restrictive. Those skilled in the art will appreciate that there are numerous combinations of hardware, software, and firmware that are suitable for implementing the present invention. For example, the described software can be implemented in a wide range of programs or script languages such as assembler, C / C ++, perl, shell, PHP, Java (registered trademark).
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。 Furthermore, in the above-described embodiment, control lines and information lines are those that are considered necessary for explanation, and not all control lines and information lines on the product are necessarily shown. All the components may be connected to each other.
1・・・音声データ認識装置
2・・・データサーバ
3・・・ネットワーク
101・・・ラベル付き音声データ
102・・・音響モデル学習部
103・・・音響モデル記憶部
104・・・文法・文書データ
105・・・言語モデル構築部
106・・・言語モデル記憶部
107・・・音声入力受付部
108・・・特徴量抽出部
109・・・音声認識部
110・・・認識結果情報記憶部
111・・・発話判定部
112・・・発話・認識結果選択部
113・・・結果受付部
114・・・画面表示部
115・・・判定フラグ記憶部
201・・・CPU
202・・・メモリ
203・・・記憶装置
204・・・マイク
205・・・ディスプレイ
206・・・キーボード
207・・・マウス
208・・・通信デバイス
209・・・CPU
210・・・メモリ
211・・・記憶装置
212・・・通信デバイス
213・・・入出力デバイス
800・・・音声データ認識装置
801・・・特徴量記憶部
802・・・適応認識部
803・・・発話・認識結果選択部
804・・・画面表示部
DESCRIPTION OF
202 ...
210 ...
Claims (14)
前記プロセッサが、第1音声の入力を受け付けるステップと、
前記プロセッサが、第1音声から第1特徴量を抽出するステップと、
前記プロセッサが、前記第1特徴量と、予め記憶装置に記憶されている音響モデルとを用いて前記第1音声を文字列へ変換し、変換した結果であり、複数の文章を含む第1文章群を生成するステップと、
前記プロセッサが、前記第1文章群の各文章を評価し、最も点数の高い文章を第1認識結果として出力するステップと、
前記プロセッサが、第2音声の入力を受け付けるステップと、
前記プロセッサが、前記第2音声から第2特徴量を抽出するステップと、
前記プロセッサが、前記第2特徴量と前記音響モデルを用いて、前記第2音声を文字列へ変換し、変換した結果であり、複数の文章を含む第2文章群を生成するステップと、
前記プロセッサが、前記第2文章群の各文章を評価し、最も点数の高い文章を第2認識結果として出力するステップと、
前記プロセッサが、前記第1音声と第2音声とが同一の音声入力であると判断した場合には、前記第1文章群における、音声認識処理により得られる各文章の点数の分散と、前記第2文章群における各文章の前記点数の分散と、を算出し、分散が大きい文章群のうち最も点数の高い文章を最終認識結果として出力するステップと、
を有する音声認識方法。 A speech recognition method in which a processor executes various programs related to speech recognition processing and outputs a recognition result,
The processor accepting an input of a first voice;
The processor extracting a first feature quantity from a first voice;
The processor converts the first voice into a character string using the first feature amount and an acoustic model stored in advance in a storage device, and is a result of the conversion, and includes a first sentence including a plurality of sentences Generating a group;
The processor evaluates each sentence of the first sentence group and outputs a sentence with the highest score as a first recognition result;
The processor accepting an input of a second voice;
The processor extracting a second feature quantity from the second voice;
The processor converts the second speech into a character string using the second feature value and the acoustic model, and generates a second sentence group including a plurality of sentences as a result of the conversion,
The processor evaluating each sentence of the second sentence group and outputting a sentence with the highest score as a second recognition result;
If the processor determines that the first voice and the second voice are the same voice input, the variance of the score of each sentence obtained by voice recognition processing in the first sentence group; Calculating a variance of the score of each sentence in two sentence groups, and outputting a sentence with the highest score among sentence groups having a large variance as a final recognition result;
A speech recognition method comprising:
前記プロセッサは、前記第1認識結果と前記第2認識結果の編集距離が所定値以内である場合に、前記第1音声と前記第2音声が同一の音声入力であると判断する、音声認識方法。 In claim 1,
The processor recognizes that the first voice and the second voice are the same voice input when an editing distance between the first recognition result and the second recognition result is within a predetermined value. .
前記プロセッサは、前記第1音声と前記第2音声の入力時間差が所定時間以内である場合に、前記第1認識結果と前記第2認識結果の編集距離を判断する、音声認識方法。 In claim 2,
The speech recognition method, wherein the processor determines an edit distance between the first recognition result and the second recognition result when an input time difference between the first speech and the second speech is within a predetermined time.
前記プロセッサは、前記第1文章の各文章の中で最も点数が高い文章を除外して前記分散を計算する、音声認識方法。 In claim 1,
The speech recognition method, wherein the processor calculates the variance by excluding a sentence having the highest score among the sentences of the first sentence.
前記分散が大きい文章群のうち最も点数の高い文章を最終認識結果として出力するステップにおいて、前記プロセッサは、前記第1及び第2認識結果と前記第1及び第2文章群の点数を用いて前記第1音声及び第2音声のそれぞれの認識に用いた各音響モデルを適応的に変更し、当該変更された音響モデルのそれぞれに基づいて前記第1音声及び第2音声に対する第1及び第2文章群と、当該第1及び第2文章群の点数の分散を求め、当該分散が大きい文章群のうち最も点数の高い文章を前記最終認識結果として出力する、音声認識方法。 In claim 1,
In the step of outputting the sentence having the highest score among the sentence groups having a large variance as the final recognition result, the processor uses the first and second recognition results and the scores of the first and second sentence groups to First and second sentences for the first voice and the second voice are adaptively changed for each acoustic model used for recognizing each of the first voice and the second voice, and based on each of the changed acoustic models. A speech recognition method of obtaining a variance of scores of a group and the first and second sentence groups, and outputting a sentence having the highest score among sentence groups having a large variance as the final recognition result.
さらに、前記プロセッサが、前記音響モデルに対して適応処理実行中であることを表示画面に表示するステップを有する、音声認識方法。 In claim 5,
The speech recognition method further comprising the step of displaying on the display screen that the processor is executing an adaptive process for the acoustic model.
前記プロセッサは、前記音響モデルを適応的に変更する処理における事後確率計算を発話或いは文章単位で並列的に行う、音声認識方法。 In claim 5,
The speech recognition method, wherein the processor performs posterior probability calculation in a process of adaptively changing the acoustic model in parallel for each utterance or sentence.
前記メモリから前記各種プログラムを読みだして実行するプロセッサと、を有し、
前記プロセッサは、
入力音声から特徴量を抽出する処理と、
前記特徴量と、予め記憶装置に記憶されている音響モデルとを用いて前記入力音声を文字列へ変換し、変換した結果であり、複数の文章を含む文章群を生成する処理と、
前記文章群の各文章を評価し、最も点数の高い文章を認識結果として出力する処理と、を実行し、
さらに、前記プロセッサは、第1音声の入力の後に第2音声の入力を受け付けた場合、前記第1音声と第2音声とが同一の音声入力であると判定する処理と、前記第1音声に対して生成された第1文章群における各文章の点数の分散と、前記第2音声に対して生成された第2文章群における各文章の点数の分散と、を算出し、分散が大きい文章群のうち最も点数の高い文章を最終認識結果として出力する処理と、を実行する、音声認識装置。 A memory for storing various programs related to voice recognition processing;
A processor that reads and executes the various programs from the memory;
The processor is
Processing to extract features from the input speech;
A process of converting the input speech into a character string using the feature amount and an acoustic model stored in advance in a storage device, and generating a sentence group including a plurality of sentences, which is a result of the conversion;
Evaluating each sentence of the sentence group, and executing a process of outputting the sentence with the highest score as a recognition result,
In addition, when the processor receives the input of the second sound after the input of the first sound, the processor determines that the first sound and the second sound are the same sound input; A sentence group with a large variance is calculated by calculating the variance of the score of each sentence in the first sentence group generated for the second sentence group and the variance of the score of each sentence in the second sentence group generated for the second voice. A speech recognition apparatus that executes a process of outputting a sentence having the highest score as a final recognition result.
前記プロセッサは、前記第1音声についての第1認識結果と前記第2音声についての第2認識結果の編集距離が所定値以内である場合に、前記第1音声と前記第2音声が同一の音声入力であると判断する、音声認識装置。 In claim 8,
When the editing distance between the first recognition result for the first sound and the second recognition result for the second sound is within a predetermined value, the processor has the same sound as the first sound and the second sound. A speech recognition device that determines input.
前記プロセッサは、前記第1音声と前記第2音声の入力時間差が所定時間以内である場合に、前記第1認識結果と前記第2認識結果の編集距離を判断する、音声認識装置。 In claim 9,
The speech recognition apparatus, wherein the processor determines an edit distance between the first recognition result and the second recognition result when an input time difference between the first speech and the second speech is within a predetermined time.
前記プロセッサは、前記第1文章の各文章の中で最も点数が高い文章を除外して前記分散を計算する、音声認識装置。 In claim 8,
The speech recognition apparatus, wherein the processor calculates the variance by excluding a sentence having the highest score among the sentences of the first sentence.
前記プロセッサは、前記第1及び第2認識結果と前記第1及び第2文章群の点数を用いて前記第1音声及び第2音声のそれぞれの認識に用いた各音響モデルを適応的に変更し、当該変更された音響モデルのそれぞれに基づいて前記第1音声及び第2音声に対する第1及び第2文章群と、当該第1及び第2文章群の点数の分散を求め、当該分散が大きい文章群のうち最も点数の高い文章を前記最終認識結果として出力する、音声認装置。 In claim 8,
The processor adaptively changes each acoustic model used for recognizing each of the first speech and the second speech using the first and second recognition results and the scores of the first and second sentence groups. Based on each of the changed acoustic models, the first and second sentence groups for the first voice and the second voice, and the variance of the scores of the first and second sentence groups are obtained, and the sentence having the large variance A voice recognition device that outputs a sentence having the highest score in the group as the final recognition result.
前記プロセッサは、さらに、前記音響モデルに対して適応処理実行中であることを表示画面に表示する処理を実行する、音声認識装置。 In claim 12,
The speech recognition apparatus further executes a process of displaying on the display screen that the adaptive process is being performed on the acoustic model.
前記プロセッサは、前記音響モデルを適応的に変更する処理における事後確率計算を発話或いは文章単位で並列的に行う、音声認識装置。 In claim 12,
The speech recognition apparatus, wherein the processor performs a posteriori probability calculation in a process of adaptively changing the acoustic model in parallel for each utterance or sentence.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014192548A JP6284462B2 (en) | 2014-09-22 | 2014-09-22 | Speech recognition method and speech recognition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014192548A JP6284462B2 (en) | 2014-09-22 | 2014-09-22 | Speech recognition method and speech recognition apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016062069A true JP2016062069A (en) | 2016-04-25 |
JP6284462B2 JP6284462B2 (en) | 2018-02-28 |
Family
ID=55797773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014192548A Active JP6284462B2 (en) | 2014-09-22 | 2014-09-22 | Speech recognition method and speech recognition apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6284462B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018037956A1 (en) | 2016-08-26 | 2018-03-01 | ソニー株式会社 | Information processing device and information processing method |
JP2018040937A (en) * | 2016-09-07 | 2018-03-15 | カシオ計算機株式会社 | Speech production determination device, speech production determination system, program, and speech production determination method |
WO2018079294A1 (en) * | 2016-10-27 | 2018-05-03 | ソニー株式会社 | Information processing device and information processing method |
JP2019095606A (en) * | 2017-11-22 | 2019-06-20 | クラリオン株式会社 | Method for generating learning data, learning data generation program, and server |
WO2019142447A1 (en) | 2018-01-17 | 2019-07-25 | ソニー株式会社 | Information processing device and information processing method |
CN110580905A (en) * | 2018-06-07 | 2019-12-17 | 株式会社东芝 | Identification device and method |
JP2020522733A (en) * | 2017-05-24 | 2020-07-30 | ロヴィ ガイズ, インコーポレイテッド | Method and system for speech-based correction of input generated using automatic speech recognition |
JP2021503104A (en) * | 2017-11-14 | 2021-02-04 | エル ソルー カンパニー, リミテッドLlsollu Co., Ltd. | Automatic speech recognition device and method |
US11488033B2 (en) | 2017-03-23 | 2022-11-01 | ROVl GUIDES, INC. | Systems and methods for calculating a predicted time when a user will be exposed to a spoiler of a media asset |
US11507618B2 (en) | 2016-10-31 | 2022-11-22 | Rovi Guides, Inc. | Systems and methods for flexibly using trending topics as parameters for recommending media assets that are related to a viewed media asset |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11149294A (en) * | 1997-11-17 | 1999-06-02 | Toyota Motor Corp | Voice recognition device and voice recognition method |
JP2004334228A (en) * | 2004-06-07 | 2004-11-25 | Denso Corp | Word string recognition device |
JP2005091568A (en) * | 2003-09-16 | 2005-04-07 | Sony Corp | Speech recognition device and method, recording medium, and program |
JP2010044239A (en) * | 2008-08-13 | 2010-02-25 | Kddi Corp | Speech recognizing device and program |
JP2012108429A (en) * | 2010-11-19 | 2012-06-07 | Nec Corp | Voice selection device, utterance selection device, voice selection system, method for selecting voice, and voice selection program |
-
2014
- 2014-09-22 JP JP2014192548A patent/JP6284462B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11149294A (en) * | 1997-11-17 | 1999-06-02 | Toyota Motor Corp | Voice recognition device and voice recognition method |
JP2005091568A (en) * | 2003-09-16 | 2005-04-07 | Sony Corp | Speech recognition device and method, recording medium, and program |
JP2004334228A (en) * | 2004-06-07 | 2004-11-25 | Denso Corp | Word string recognition device |
JP2010044239A (en) * | 2008-08-13 | 2010-02-25 | Kddi Corp | Speech recognizing device and program |
JP2012108429A (en) * | 2010-11-19 | 2012-06-07 | Nec Corp | Voice selection device, utterance selection device, voice selection system, method for selecting voice, and voice selection program |
Non-Patent Citations (1)
Title |
---|
矢野浩利: "対話システムにおける言い直し・否定表現に着目した訂正発話の検出 Detection of Correction Utterances F", 情報処理学会研究報告, vol. 2005, no. 12, JPN6017043802, 5 February 2005 (2005-02-05), JP, pages 95 - 100, ISSN: 0003682793 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018037956A1 (en) | 2016-08-26 | 2018-03-01 | ソニー株式会社 | Information processing device and information processing method |
JP2018040937A (en) * | 2016-09-07 | 2018-03-15 | カシオ計算機株式会社 | Speech production determination device, speech production determination system, program, and speech production determination method |
WO2018079294A1 (en) * | 2016-10-27 | 2018-05-03 | ソニー株式会社 | Information processing device and information processing method |
US11507618B2 (en) | 2016-10-31 | 2022-11-22 | Rovi Guides, Inc. | Systems and methods for flexibly using trending topics as parameters for recommending media assets that are related to a viewed media asset |
US11488033B2 (en) | 2017-03-23 | 2022-11-01 | ROVl GUIDES, INC. | Systems and methods for calculating a predicted time when a user will be exposed to a spoiler of a media asset |
JP2020522733A (en) * | 2017-05-24 | 2020-07-30 | ロヴィ ガイズ, インコーポレイテッド | Method and system for speech-based correction of input generated using automatic speech recognition |
US11521608B2 (en) | 2017-05-24 | 2022-12-06 | Rovi Guides, Inc. | Methods and systems for correcting, based on speech, input generated using automatic speech recognition |
JP2021503104A (en) * | 2017-11-14 | 2021-02-04 | エル ソルー カンパニー, リミテッドLlsollu Co., Ltd. | Automatic speech recognition device and method |
JP2019095606A (en) * | 2017-11-22 | 2019-06-20 | クラリオン株式会社 | Method for generating learning data, learning data generation program, and server |
WO2019142447A1 (en) | 2018-01-17 | 2019-07-25 | ソニー株式会社 | Information processing device and information processing method |
CN110580905A (en) * | 2018-06-07 | 2019-12-17 | 株式会社东芝 | Identification device and method |
CN110580905B (en) * | 2018-06-07 | 2023-05-23 | 株式会社东芝 | Identification device and method |
Also Published As
Publication number | Publication date |
---|---|
JP6284462B2 (en) | 2018-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6284462B2 (en) | Speech recognition method and speech recognition apparatus | |
EP3438973B1 (en) | Method and apparatus for constructing speech decoding network in digital speech recognition, and storage medium | |
US20230043916A1 (en) | Text-to-speech processing using input voice characteristic data | |
Ghai et al. | Literature review on automatic speech recognition | |
CN107967916B (en) | Determining phonetic relationships | |
TW504663B (en) | Spelling speech recognition apparatus and method for mobile communication | |
KR101153078B1 (en) | Hidden conditional random field models for phonetic classification and speech recognition | |
WO2017114172A1 (en) | Method and device for constructing pronunciation dictionary | |
US20150058006A1 (en) | Phonetic alignment for user-agent dialogue recognition | |
US20050159949A1 (en) | Automatic speech recognition learning using user corrections | |
CN111243599B (en) | Speech recognition model construction method, device, medium and electronic equipment | |
US20060206326A1 (en) | Speech recognition method | |
KR102199246B1 (en) | Method And Apparatus for Learning Acoustic Model Considering Reliability Score | |
Jothilakshmi et al. | Large scale data enabled evolution of spoken language research and applications | |
JP6690484B2 (en) | Computer program for voice recognition, voice recognition device and voice recognition method | |
Droppo et al. | Context dependent phonetic string edit distance for automatic speech recognition | |
Biswas et al. | Speech recognition using weighted finite-state transducers | |
Singhal et al. | Automatic speech recognition for connected words using DTW/HMM for English/Hindi languages | |
Liu et al. | Deriving disyllabic word variants from a Chinese conversational speech corpus | |
KR100848148B1 (en) | Apparatus and method for syllabled speech recognition and inputting characters using syllabled speech recognition and recording medium thereof | |
JP2013182261A (en) | Adaptation device, voice recognition device and program | |
Rebai et al. | Linto platform: A smart open voice assistant for business environments | |
Caranica et al. | On the design of an automatic speaker independent digits recognition system for Romanian language | |
TW201828281A (en) | Method and device for constructing pronunciation dictionary capable of inputting a speech acoustic feature of the target vocabulary into a speech recognition decoder | |
KR20130011323A (en) | Apparatus and method for generating multiple pronunciation dictionary based on statistics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6284462 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |