JP2014153479A

JP2014153479A - 診断システム、診断方法及びプログラム

Info

Publication number: JP2014153479A
Application number: JP2013021709A
Authority: JP
Inventors: Yoshio Kanda; 嘉男神田; Eiji Nomura; 英司野村; Yutaka Kunida; 豊國田; Shinya Ishihara; 晋也石原
Original assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone East Corp
Current assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone East Corp
Priority date: 2013-02-06
Filing date: 2013-02-06
Publication date: 2014-08-25

Abstract

【課題】ユーザに対し発声の正確さの程度や流暢さの程度を提示すること。
【解決手段】ユーザの発音による音声の内容を表す文字情報を生成し、予め定められた診断条件と文字情報とに基づいて、音声の正確さの程度又は流暢さの程度を診断する。
【選択図】図３

Description

本発明は、音声認識技術を用いた発声の診断技術に関する。

近年、音声認識技術の実用化が進み、音声から文字への自動変換や語学教育における発音チェックの技術を利用した製品が利用されている。例えば、コールセンタにおけるオペレータの電話応対の音声を文字に変換し、予め定められた文字情報（例えば“お待たせ”、“お願い”等）に基づいてオペレータの電話応対スキルを評価する技術が特許文献１に開示されている。

特開２００６−１３５５４２号公報

しかしながら、音声認識技術において、文字情報のみに基づく評価では、文章の朗読等で要求される音声の正確さや流暢さについて定量的に評価することができないという問題があった。
上記事情に鑑み、本発明は、ユーザに対し発声の正確さの程度や流暢さの程度を提示可能な技術の提供を目的とする。

本発明の一態様は、ユーザの発音による音声の内容を表す文字情報を生成する音声認識部と、予め定められた診断条件と前記文字情報とに基づいて、前記音声の正確さの程度又は流暢さの程度を診断する音声診断部と、を備える診断システムである。

本発明の一態様は、上記の診断システムであって、前記音声診断部は、話速度、正答率、又はフィラーについて音声診断を行う。

本発明の一態様は、上記の診断システムであって、発音の際に前記ユーザに提示される提示文字情報を予め記憶する記憶部をさらに備え、前記音声診断部は、前記記憶部に記憶される前記提示文字情報と、前記音声認識部によって生成された前記文字情報と、を比較することによって診断を行う。

本発明の一態様は、コンピュータが、ユーザの発音による音声の内容を表す文字情報を生成する音声認識ステップと、コンピュータが、予め定められた診断条件と前記文字情報とに基づいて、前記音声の正確さの程度又は流暢さの程度を診断する音声診断ステップと、を有する診断方法である。

本発明の一態様は、ユーザの発音による音声の内容を表す文字情報を生成する音声認識ステップと、予め定められた診断条件と前記文字情報とに基づいて、前記音声の正確さの程度又は流暢さの程度を診断する音声診断ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、ユーザに対し発声の正確さの程度や流暢さの程度を提示することが可能となる。

本発明の一実施形態に係る診断システム１の構成例を示した図である。本発明の一実施形態における端末装置２の機能構成を示す概略ブロック図である。本発明の一実施形態における音声認識システム３の機能構成を示す概略ブロック図である。端末装置２の画面表示例を示す図である。音声認識システム３における診断結果の画面表示例を示した図である。診断システム１の処理の流れを示すシーケンス図である。

以下、本発明による一実施形態に係る音声認識システムについて、図面を参照して説明する。
図１は、本発明の一実施形態に係る診断システム１の構成例を示した図である。
診断システム１は、端末装置２、音声認識システム３、通信ネットワーク４を備える。端末装置２及び音声認識システム３は、通信ネットワーク４を介して通信可能に接続されている。端末装置２は、ユーザ６によって使用される。

図２は、本発明の一実施形態における端末装置２の機能構成を示す概略ブロック図である。端末装置２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、端末制御プログラムを実行する。端末装置２は、端末制御プログラムの実行により、音声入力部２１、信号処理部２２、送受信部２３、表示部２４を備える装置として機能する。なお、端末装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。端末制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。端末制御プログラムは、電気通信回線を介して送受信されても良い。

端末装置２は、例えばパーソナルコンピュータ、タブレット装置、スマートフォン、ノートパソコン、ワークステーション、テレビ受像機、テレビ電話装置等の情報処理装置を用いて構成される。
音声入力部２１は、ユーザ６の発話内容を端末装置２に入力する。具体的には、音声入力部２１は、ユーザ６が発話することによって生じた音波を受け、音波に応じたアナログ信号を生成する。音声入力部２１は、生成されたアナログ信号を信号処理部２２に出力する。

信号処理部２２は、音声入力部２１によって生成されたアナログ信号を、デジタル信号の音声データに変換する。
送受信部２３は、信号処理部２２によって生成された音声データを、音声認識システム３に送信する。また、送受信部２３は、音声認識システム３から診断結果データを受信する。
表示部２４は、音声認識システム３から受信された診断結果データを表示する。

図３は、本発明の一実施形態における音声認識システム３の機能構成を示す概略ブロック図である。音声認識システム３は、１台又は複数台の情報処理装置によって構成される。例えば、音声認識システム３が一台の情報処理装置で構成される場合、情報処理装置は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、音声認識プログラムを実行する。音声認識プログラムの実行によって、情報処理装置は、受信部３１、音声辞書記憶部３２、音声認識部３３、音声診断記憶部３４、音声診断部３５、送信部３６を備える装置として機能する。なお、音声認識システム３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、音声認識システム３は、専用のハードウェアによって実現されても良い。音声認識プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。音声認識プログラムは電気通信回線を介して送受信されても良い。

受信部３１は、端末装置２からデジタル信号に変換された音声データ（音声データ）を、通信ネットワーク４を介して受信する。
音声辞書記憶部３２は、音響モデル、単語辞書、及び言語モデルを記憶する。音響モデルは、音素や音節の周波数パターンの情報を表す。単語辞書は、語彙と各語彙に含まれる単語の発音の情報とを表す。言語モデルは、単語のつながりを規定する文法の情報を表す。これらの情報は、音声データとのマッチングに用いられる。

音声認識部３３は、音声辞書記憶部３２が記憶する音響モデルと単語辞書と言語モデルとに基づき、音声データから文字や単語のつながりを認識することにより、音声データを文字データに変換する。
音声診断記憶部３４は、音声データの正確さと流暢さとを診断するための判定基準データを記憶する。また、音声診断記憶部３４は、音声診断においてユーザに提供する台本データを記憶する。

音声診断部３５は、音声診断記憶部３４が記憶する判定基準データに基づき、音声データに対して判定を行う。音声診断部３５は、例えば、話す速度（以下、「話速度」という。）、正答率、フィラー（例えば、“えーと”等の間投詞）等の項目について音声データを診断する。いいかえれば、音声診断部３５は、音声の正確さと流暢さとを診断する。
送信部３６は、音声診断部３５による診断結果を表すデータ（診断結果データ）を端末装置２に送信する。

次に、音声認識部３３による音声認識の基本原理と処理の内容について説明する。
音声認識部３３は、まず、音声辞書記憶部３２が記憶する音響モデルに基づき、音声データを音素や音節の情報に変換する。具体的には、音声認識部３３は、音声データに基づいて周波数パターンを解析し、音響モデルが有する音素や音節の周波数パターンと音声データの周波数パターンとのマッチングにより、音素や音節の情報を生成する。

具体的な音声では、例えば、「反対（ハンタイ）」（ha/ng/ta/i）という音声データであれば、第１音節「ha」、第２音節「ng」、第３音節「ta」、第４音節「i」となる。ここに含まれる音素は、[h][a][ng][t][a][i]の６つとなる。また、音声認識部３３は、音声データから音韻論上の単位であるモーラの数を算出する。

モーラとは、音声の音韻的な時間の長さを表す単位である。１モーラは日本語の場合、仮名文字単位に相当し、１つの子音音素と１つの短母音音素とを合わせたものと等しい長さの音素結合である。ただし、長母音（例えば“ー”）、促音（例えば“ッ”）などは１モーラとなる。例えば、「ハンタイ」という音声であれば、[ハ][ン][タ][イ]の４つからなる４モーラとして数えられる。

次に、音声認識部３３は、単語辞書と言語モデルとに基づき、音素や音節からなる音声データを文字情報に変換する。単語辞書は、発音情報を含む語彙集である。言語モデルは、単語間のつながりを構文の制約として定める情報である。

「ミカンヲサンコクダサイ（mi/ka/n/o/sa/n/ko/ku/da/sa/i）」という音素や音節からなる音声データに対する処理を具体例として説明する。音声認識部３３は、語彙集（例えば、「みかん」、「を」、「３」、「個」、「ください」）と、語彙のカテゴリ（例えば、果物名、助詞、数量、数量単位、依頼表現）から規定される構文｛例えば、（果物名）＋（助詞）＋（数量）＋（数量単位）＋（依頼表現）｝とを用いて、音声データと、語彙集及び構文との照合を行う。音声認識部３３は、照合の結果、「みかんを３個ください」という文字情報を認識結果として出力する。

なお、音声認識部３３は、音声データを文字情報に変換した後も、音声データが再生される時間のタイミングと文字情報とを同期させ、音声認識システム３の記憶手段に音声データが再生される時間情報を記憶する。

次に、音声診断部３５の処理の詳細について説明する。
音声診断部３５が診断する項目は、例えば、１分あたりのモーラ数による話速度、予め記憶された台本に基づく音声データから変換された文字情報の正答率、診断対象の音声に含まれるフィラーの回数である。

（話速度の診断）
音声診断部３５は、音声認識部３３が算出したモーラ数と、音声データの再生時間と,に基づいて１分あたりの音声データに含まれるモーラ数を算出する。なお、単位時間は１分に限らず任意に設定されるようにしてもよい。音声診断部３５は、単位時間当たりのモーラ数を話速度の診断結果として出力する。

（正答率の診断）
上述したように、音声診断記憶部３４は、ユーザに音声を入力させる際に音読させる台本データを記憶する。台本データは、判定基準となる音声データと文字情報とを含む。正答率の診断が行われる場合、ユーザ６が操作する端末装置２の表示部２４には、音声診断記憶部３４に記憶されている台本データと同じ内容の文字情報が表示される。端末装置２は、台本データと同じ内容の文字情報を予め記憶していても良いし、診断が行われる度に音声認識システム３から通信ネットワーク４を介して受信しても良い。ユーザ６は、表示部２４に表示された文字情報を音読する。ユーザ６による音読の音声データが音声認識システム３に入力される。

音声診断部３５は、ユーザが音読した音声に基づく文字情報と、予め音声診断記憶部３４に記憶された判定基準となる文字情報とを比較する。音声診断部３５は、比較を行うことによって、ユーザの音声に基づく文字情報において判定基準の文字情報と異なる文字及び単語を誤りとして抽出する。

音声診断部３５は、文字情報を文法的に意味を有する最小の文字または単語で区切って分割することによって、各文字又は単語を比較する。また、ユーザの音声に基づく文字情報に、判定基準となる文字情報に含まれない文字または単語が含まれる場合にも、これらの文字や単語を誤りとしてカウントする。

音声診断部３５は、誤りとして抽出された文字の数又は単語の数の合計値を、判定基準となる文字情報において分割された文字又は単語の総数に対する百分率として算出する。算出された百分率が誤答率であり、１００から誤答率を引いた値が正答率である。音声診断部３５は、正答率や誤答率の値を診断結果として出力する。

（フィラーの診断）
音声診断部３５は、１つの台本の音読におけるフィラーの出現回数を診断する。フィラーの判定処理は、音声認識部３３によって行われても良いし、音声診断部３５によって行われても良い。

まず、音声認識部３３がフィラーを判定する処理について説明する。音声認識部３３は、音響モデルを用いて行う周波数パターンとのマッチングにおいて、例えば、“エ”や“ア”が１秒以上継続する音に対し、単語辞書と言語モデルとに基づく照合において、フィラーであると認識する。この場合、音声診断部３５は、音声認識部３３によってフィラーと認識された音節を１つのフィラーであると判定し、判定結果に基づいてフィラーの出現回数を診断する。

二つ目は、音声認識部３３によって生成された文字情報に基づいて音声診断部３５がフィラーを判定する方法である。音声診断部３５は、音声認識部３３によって生成された文字情報に基づいて、予めフィラーとして定められた“えー”、“あの”、“その”、“えーと”等の文字を探索し、検知された文字を１つのフィラーと判定しても良い。この場合、音声診断部３５は、検知された回数をフィラーの出現回数として診断する。
音声診断部３５は、上述のように判定されたフィラーの数をカウントし、１つの台本あたりの回数を診断する。この診断結果は音声の流暢さの指標となりうる。

図４は、端末装置２の画面表示例を示す図である。図４における端末装置２の表示部２４には、台本の内容が表示されている。上述したように、音声認識システム３によって正答率の診断が行われる場合、ユーザ６が操作する端末装置２の表示部２４には、音声診断記憶部３４に記憶されている台本データと同じ内容の文字情報が表示される。図４に示されている「台風１０号は１日午前、・・・・警戒するよう呼びかけた。」という一連の文字列が台本データの文字情報である。ユーザ６は、表示部２４に表示された文字情報を音読する。端末装置２の音声入力部２１は、ユーザ６の音読による音声を端末装置２に入力する。入力された音声は、信号処理部２２によって音声データに変換され、送受信部２３によって音声認識システム３に送信される。

図５は、音声認識システム３における診断結果の画面表示例を示した図である。
端末装置２は、音声認識システム３から診断結果データを受信すると、表示部２４の画面に診断結果の内容を表示する。
図５に示す例では、話速度（話速）、正答率、及びフィラーの項目毎の診断結果が表示部２４の左側に表示されている。また、表示部２４の右側には、入力音声に基づき文字情報に変換された結果が“＜音声認識結果＞”の題とともに表示されている。

なお、文字情報に変換されて表示される“＜音声認識結果＞”においては、判断基準となる台本の文字情報と異なっている箇所や、“あー”のようなフィラーが認識された箇所を、他の文字とは異なる態様で表示してもよい。異なる態様の具体例としては、ハイライトで表示する態様、異なる文字色で表示する態様、異なるフォントで表示する態様、異なる文字サイズで表示する態様などがある。このように表示されることにより、ユーザは、音声認識システム３において台本と異なっていると判定された箇所を容易に確認することができる。

図６は、診断システム１の処理の流れを示すシーケンス図である。
端末装置２の音声入力部２１は、ユーザ６が発する音声をアナログ信号に変換することによって入力する（ステップＳ１０１）。端末装置２の信号処理部２２は、入力されたアナログ信号をデジタル信号に変換し、音声データを生成する（ステップＳ１０２）。端末装置２の送受信部２３は、音声データを音声認識システム３に送信する（ステップＳ１０３）。

音声認識システム３の受信部３１は、端末装置２の送受信部２３から音声データを受信する（ステップＳ１０４）。音声認識システム３の音声認識部３３は、音声データを文字情報に変換する等の音声認識処理を行う（ステップＳ１０５）。音声認識システム３の音声認識部３３は、音声認識システム３が備える不図示の記憶装置に音声データの認識結果を記録する（ステップＳ１０６）。なお、音声データの認識結果には、文字情報に加え、時間情報やモーラ数等の情報も含まれる。

音声認識システム３の音声診断部３５は、音声認識部３３による認識結果に基づき、話速度やフィラー等、正確さや流暢さの指標となる項目を診断する（ステップＳ１０７）。音声認識システム３の送信部３６は、端末装置２に対し、音声の診断結果を表す診断結果データを送信する（ステップＳ１０８）。
端末装置２の送受信部２３は、音声認識システム３から診断結果データを受信する（ステップＳ１０９）。端末装置２の表示部２４は、受信された診断結果データに基づき診断結果の内容を表示する（ステップＳ１１０）。

以上のように構成された本実施形態の診断システム１によれば、ユーザに対し発声の正確さの程度や流暢さの程度を提示することが可能となる。頼具体的には、音声辞書に基づいて音声認識を行う音声認識部と、予め定められた診断条件に基づいて音声の正確さの程度と流暢さの程度とを診断する音声診断部とを備えることにより、ユーザに対し、発声の正確さの程度と流暢さの程度を確認させることができる。

発声の正確さの程度や流暢さの程度は、図５に示されるように数値や図柄を用いて表される。そのため、ユーザは発声の正確さの程度や流暢さの程度について、直感的に善し悪しを判断することが可能となる。

また、表示部２４には、音声認識システム３における認識結果も表示される。特に、台本の文字情報と異なっている箇所や、“あー”のようなフィラーが認識された箇所については、他の文字とは異なる態様で表示される。そのため、ユーザは自身の発声において特に注意すべき箇所を容易に判断することが可能となる。

＜変形例＞
上述した説明では、端末装置２と音声認識システム３とは異なる装置として構成されているが、一体的に構成されても良い。例えば、端末装置２は、音声辞書記憶部３２、音声認識部３３、音声診断記憶部３４及び音声診断部３５を備えるように構成されても良い。このように構成された場合、端末装置２は、通信ネットワーク４に接続できない環境においても、入力された音声について診断結果を表示することが可能となる。また、端末装置２は、音声辞書記憶部３２及び音声認識部３３を備えても良い。この場合、端末装置２の送受信部２３は、通信ネットワーク４を介して音声認識結果を音声認識システム３へ送信する。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…診断システム，２…端末装置，３…音声認識システム，４…通信ネットワーク，６…ユーザ，２１…音声入力部，２２…信号処理部，２３…送受信部，２４…表示部，３１…受信部，３２…音声辞書記憶部，３３…音声認識部，３４…音声診断記憶部，３５…音声診断部，３６…送信部

Claims

ユーザの発音による音声の内容を表す文字情報を生成する音声認識部と、
予め定められた診断条件と前記文字情報とに基づいて、前記音声の正確さの程度又は流暢さの程度を診断する音声診断部と、
を備える診断システム。
前記音声診断部は、話速度、正答率、又はフィラーについて音声診断を行う
請求項１に記載の診断システム。
発音の際に前記ユーザに提示される提示文字情報を予め記憶する記憶部をさらに備え、
前記音声診断部は、前記記憶部に記憶される前記提示文字情報と、前記音声認識部によって生成された前記文字情報と、を比較することによって診断を行う請求項１又は２に記載の診断システム。
コンピュータが、ユーザの発音による音声の内容を表す文字情報を生成する音声認識ステップと、
コンピュータが、予め定められた診断条件と前記文字情報とに基づいて、前記音声の正確さの程度又は流暢さの程度を診断する音声診断ステップと、
を有する診断方法。
ユーザの発音による音声の内容を表す文字情報を生成する音声認識ステップと、
予め定められた診断条件と前記文字情報とに基づいて、前記音声の正確さの程度又は流暢さの程度を診断する音声診断ステップと、
をコンピュータに実行させるためのプログラム。