JP2007140048A

JP2007140048A - 音声認識システム

Info

Publication number: JP2007140048A
Application number: JP2005332780A
Authority: JP
Inventors: Toshiyuki Yoshida; 敏之吉田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2005-11-17
Filing date: 2005-11-17
Publication date: 2007-06-07

Abstract

【課題】なりすましによる機器の遠隔操作を防止する音声認識システムを提供する。
【解決手段】予め各ユーザの声紋情報が認証用のデータとして登録された認証データテーブル１３と、外部から入力された音声から声紋情報と特徴量を抽出する音響分析部１１と、声紋情報が認証データテーブル１３に登録されているかどうかを検索し、声紋情報が登録されているときは認証済と判別する認証処理部１２と、認証処理部１２により認証済と判別されたとき、予め設けられた辞書１５から特徴量をキーとしてメッセージを抽出する認識デコーダ部１４と、予め各メッセージに対応してコマンドが登録されたコマンドテーブル１７と、認識デコーダ部１４により抽出されたメッセージをキーとしてコマンドテーブル１７からコマンドを検索し、かつ、そのコマンドにより機器のコマンド１を操作するメッセージ処理部１６とを備えた。
【選択図】図１

Description

本発明は、声紋情報から個人認証し、コマンドを操作する音声認識システムに関するものである。

情報システムの高度化に伴い、アプリケーションソフトや端末、各種装置などを遠隔操作する機会が非常に多くなっている。そこで、広汎な人に容易に操作できるよう、音声認識技術を用いて音声の入力を認識し、メッセージを処理することでプログラムを操作する音声認識システムが確立された。音声認識システムは、例えば家庭内ＬＡＮ（ホームネットワーク）に接続された機器、例えば家電やコンピュータを音声により遠隔操作することに利用されている。

従来の操作手法として、音声の入力を認識し、メッセージを処理することで複数の応用プログラムを操作する音声認識システムがある（例えば、特許文献１参照）。

特開平７−１４０９９８号公報（第４頁−第７頁、図１−図１０）

しかしながら、前述した従来の音声認識システムでは、システム内部に個人認証機能がなく、このため、なりすましが非常に容易であった。

本発明に係る音声認識システムは、予め各ユーザの声紋情報が認証用のデータとして登録された認証データテーブルと、外部から入力された音声から声紋情報を抽出し、かつ、その声紋情報が認証データテーブルに登録されているかどうかを検索し、声紋情報が登録されているときは認証済と判別する認証処理部とを備え、その認証処理部により認証済と判別されたときに音声からコマンドを認識し、かつ、そのコマンドにより機器を遠隔操作するようにしたものである。

本発明においては、予め各ユーザの声紋情報が認証用のデータとして登録された認証データテーブルを設け、外部から入力された音声から声紋情報を抽出し、その声紋情報が認証データテーブルに登録されているかどうかを検索し、声紋情報が登録されているときは音声からコマンドを認識し、かつ、そのコマンドにより機器を遠隔操作するようにしたので、認証データテーブルに声紋情報が登録されたユーザのみが操作可能になり、このため、なりすましによる機器の遠隔操作を防止できる。

図１は本発明の実施の形態に係る音声認識システムの構成を示すブロック図である。
本実施の形態の音声認識システム１は、複数のコマンド２と接続され、音響分析部１１と、認証処理部１２と、認証データテーブル１３と、認識デコーダ部１４と、辞書１５と、メッセージ処理部１６と、複数のコマンド２を管理するコマンドテーブル１７と、応答部１８と、応答テーブル１９と、認証データ管理部２０とで構成されている。前述したコマンド２は、例えばコンピュータや家電などの機器に内蔵されたプログラムのコマンドである。

図２は実施の形態における音響分析部の構成を示すブロック図である。
音響分析部１１は、例えばマイクや電話機から送信されたユーザ（又は管理者）の音声を取り込む音声取込手段１１ａと、音声取込手段１１ａにより取り込まれた音声から声紋情報を抽出する声紋情報抽出手段１１ｂと、認証要求と認証対象の声紋情報とを認証処理部１２に送信する認証要求送信手段１１ｃと、認証処理部１２により処理された声紋情報に対する認証結果を受信する認証結果受信手段１１ｄと、その認証結果が「認証済」のとき、音声取込手段１１ａにより取り込まれた音声を例えばＦＦＴやバンドパスフィルタなどを用いて周波数分析し、単語音声の特徴量を抽出する特徴量抽出手段１１ｅと、認識要求と認識対象の特徴量とを認識デコーダ部１４に送信する認識要求送信手段１１ｆとから構成されている。前述した特徴量抽出手段１１ｅは、認証結果が「未承認」の場合、入力音声から特徴量を抽出しないようになっている。

図３は実施の形態における認証処理部の構成を示すブロック図である。
認証処理部１２は、音響分析部１１からの認証要求と声紋情報とを受信する認証要求受信手段１２ａと、その声紋情報が認証データテーブル１３に登録されているかどうかを検索し、声紋情報が認証データテーブル１３に登録されているとき認証結果を「認証済」とし、声紋情報が認証データテーブル１３に登録されていないときは「未認証」とする認証データテーブル検索手段１２ｂと、認証結果を受けたときに音響分析部１１と応答部１８とにそれぞれ送信する認証結果送信手段１２ｃとからなっている。

図４は実施の形態における認識デコーダ部の構成を示すブロック図である。
認識デコーダ部１４は、音響分析部１１からの認識要求と特徴量とを受信する認識要求受信手段１４ａと、その特徴量（単語音声）を用いて辞書１５と照合し、該当するメッセージが存在するとき、それを辞書照合結果として取り込む辞書照合手段１４ｂと、辞書照合結果を受けたときにメッセージ処理要求とその照合結果（メッセージ）とをメッセージ処理部１６に送信するメッセージ処理要求送信手段１４ｃと、辞書照合手段１４ｂにより取り込まれた辞書照合結果（メッセージ）を応答部１８に送信する辞書照合結果送信部１４ｄとから構成されている。

前述した辞書照合手段１４ｂは、特徴量を用いて、例えば複合類似度法（永田、他「ワークステーションにおける音声認識機能の開発」、電子情報通信学会技術報告、ＨＣ９１１９、ｐｐ．６３−７０、（１９９１））やＨＭＭ、ＤＰマッチングなどの手法により辞書１５との照合を行い、スコアの最も高い語彙を認識結果としてメッセージ処理要求送信手段１４ｃと辞書照合結果送信部１４ｄとに通知する。辞書照合結果送信部１４ｄは、辞書照合手段１４ｂにより照合された辞書照合結果からメッセージを抽出できたとき「照合済」の結果を応答部１８に送信し、メッセージを抽出できないときは「未照合」の結果を送信する。

図５は実施の形態におけるメッセージ処理部の構成を示すブロック図である。
メッセージ処理部１６は、認識デコーダ部１４からのメッセージ処理要求と辞書照合結果（メッセージ）とを受信するメッセージ処理要求受信手段１６ａと、そのメッセージキーとしてコマンドテーブル１７からコマンドを検索するコマンドテーブル検索手段１６ｂと、検索されたコマンドに基づいて例えば実行／停止の操作をコマンド２に対して行うコマンド操作手段１６ｃと、コマンド２の操作結果を応答部１８に送信するコマンド操作結果送信手段１６ｄと、コマンドテーブル検索手段１６ｂによるコマンドテーブル１７の検索結果を応答部１８に送信するコマンドテーブル検索結果送信手段１６ｅとから構成されている。このコマンドテーブル検索結果送信手段１６ｅは、メッセージがコマンドテーブル１７に記載されていたとき「操作開始」の検索結果を送信し、メッセージがコマンドテーブル１７に記載されていなかったときは「操作中止」の検索結果を送信する。

図６は実施の形態における応答部の構成を示すブロック図である。
応答部１８は、応答音を生成して送信する応答音送信手段１８ａと、応答テーブル１９から応答音を検索する応答テーブル検索手段１８ｂと、認証処理部１２からの認証結果を受信する認証結果受信手段１８ｃと、認識デコーダ部１４からの辞書照合結果を受信する辞書照合結果受信手段１８ｄと、メッセージ処理部１６からの操作結果を受信するコマンド操作結果受信手段１８ｅと、メッセージ処理部１６からの検索結果を受信するコマンドテーブル検索結果受信手段１８ｆとから構成されている。

図７は実施の形態における認証データ管理部の構成を示すブロック図である。
認証データ管理部２０は、ユーザから発せられた音声の声紋情報を認証データとして認証データテーブル１３に登録する認証データ登録手段２０ａと、認証データテーブル１３から認証データを削除するための認証データ削除手段２０ｂと、認証データテーブル１３に登録されている認証データを更新するための認証データ更新手段２０ｃと、認証データテーブル１３に登録された認証データ（声紋情報）を読み取るための認証データ読取手段２０ｄとからなっている。

図８は実施の形態における認証データテーブルの構成を示すブロック図である。
この認証データテーブル１３は、各ユーザの声紋情報と、各声紋情報にそれぞれ対応付けられた例えばユーザの氏名や社員番号など個人を特定する個人情報とから構成され、声紋情報をキーとして個人情報の参照、また逆に、個人情報をキーとして声紋情報の参照が可能になっている。

図９は実施の形態におけるコマンドテーブルの構成を示すブロック図である。
コマンドテーブル１７は、各種のメッセージと、各メッセージにそれぞれ対応付けられたコマンドとからなっている。コマンドは、例えば読み仮名（コマンドの発音を平仮名で示した文字列）や、スタートやストップ、開始や停止、再起動などで構成され、メッセージをキーとしてコマンドの参照が可能になっている。

図１０は実施の形態における応答テーブルの構成を示すブロック図である。
応答テーブル１９は、結果と、各結果に対応付けられた応答音とで構成され、結果をキーとして応答音の参照が可能になっている。

前記のように構成された本実施の形態の音声認識システムの動作を図１１に基づいて説明する。図１１は実施の形態に係る音声認識システムの各部の動作の流れを示す図である。
（１）まず、ユーザ（又は管理者）が認証データ管理部２０の認証データ読取手段２０ｄと認証データ登録手段２０ａを使用して自己の音声及び個人情報を入力すると、認証データ読取手段２０ｄがその音声を読み取って声紋情報を取得し、認証データ登録手段２０ａがその声紋情報と個人情報とを対応付けて認証データとし、認証データテーブル１３に登録する（Ｓ０００１）。
また、登録した認証データを削除する場合は、認証データ削除手段２０ｂを使用して自己の認証データを削除する。さらに、登録した認証データを更新する場合は、認証データ更新手段２０ｃを使用して自己の認証データを更新する。

（２）続いて、ユーザが例えば電話機により本システムにアクセスして音声を入力すると、その音声は音響分析部１１に到達する（Ｓ０００２）。この時、音響分析部１１の音声取込手段１１ａがその音声を取り込み、声紋情報抽出手段１１ｂに送出する。声紋情報抽出手段１１ｂは、入力されたユーザの音声から声紋情報を抽出し、認証要求送信手段１１ｃに送出する。認証要求送信手段１１ｃは、声紋情報が入力されたとき、認証処理部１２に対して認証要求と声紋情報とを送信する（Ｓ０００３）。

（３）認証処理部１２に音響分析部１１からの認証要求と声紋情報とが入ってくると、認証要求受信手段１２ａがそれを受信し、声紋情報を認証データテーブル検索手段１２ｂに送出する。この時、認証データテーブル検索手段１２ｂは、声紋情報が認証データテーブル１３に登録されているかどうかを検索し（Ｓ０００４）、声紋情報が認証データテーブル１３に登録されているときは「認証済」の認証結果を認証結果送信手段１２ｃに送り、声紋情報が認証データテーブル１３に登録されていないときは「未認証」の認証結果を通知する。認証結果送信手段１２ｃは、検索された認証結果を受けたとき、認証要求のあった音響分析部１１に対し認証結果を送信すると共に、応答部１８に送信する（Ｓ０００５）。

（４）応答部１８に認証処理部１２からの認証結果が入ってくると、認証結果受信手段１８ｃがそれを受信し、応答テーブル検索手段１８ｂに通知する。この時、応答テーブル検索手段１８ｂは、その認証結果をキーとして応答テーブル１９から応答音を検索して取得し（Ｓ００１２）、応答音送信手段１８ａに送出する。図１０に示すように、認証結果が「認証済」のときは「応答音Ｂ」を取得し、認証結果が「未認証」のときは「応答音Ｃ」を取得する。応答音送信手段１８ａは、応答テーブル検索手段１８ｂによって検索された応答音に基づいて音を生成し、ユーザ使用の電話機に送信して応答音を鳴らせる（Ｓ００１３）。

（５）一方、音響分析部１１の認証結果受信手段１１ｄは、認証処理部１２からの認証結果を受信し、その認証結果が「認証済」のときはその旨を特徴量抽出手段１１ｅに通知する。特徴量抽出手段１１ｅは、「認証済」の通知を受けたときに、先に受信されたユーザの音声をバンドパスフィルタなどを用いて周波数分析し、単語音声の特徴量を抽出して認識要求送信手段１１ｆに送出する。認識要求送信手段１１ｆは、特徴量抽出手段１１ｅにより抽出された単語音声の特徴量が入力されると、認識デコーダ部１４に対し認識要求と特徴量とを通知する（Ｓ０００６）。なお、特徴量抽出手段１１ｅは、認証結果が「未認証」の場合、音声の特徴量の抽出を行わずに、次の入力音声に対する認証結果の通知を待つ。

（６）認識デコーダ部１４に音響分析部１１からの認識要求と特徴量とが入ってくると、認識要求受信手段１４ａがそれを受信し、単語音声の特徴量を辞書照合手段１４ｂに送出する。辞書照合手段１４ｂは、その特徴量を用いて辞書１５との照合を行い、スコアの最も高い語彙を認識結果（メッセージ）として取得する（Ｓ０００７）。そして、その認識結果を辞書照合結果送信手段１４ｄに送出し、次いでメッセージ処理要求送信手段１４ｃに通知する。辞書照合結果送信手段１４ｄは、辞書照合手段１４ｂから受けた認識結果からメッセージを抽出できたとき「照合済」の認識結果を応答部１８に送信し、また、メッセージを抽出できなかったときは「未照合」の認識結果を送信する（Ｓ０００８）。一方、メッセージ処理要求送信手段１４ｃは、辞書照合手段１４ｂからの認識結果を受けたとき、メッセージ処理部１６に対しメッセージ処理要求と認識結果とを送信する（Ｓ０００８）。

（７）応答部１８に認識デコーダ部１４からの認識結果が入ってくると、辞書照合結果受信手段１８ｄがそれを受信し、応答テーブル検索手段１８ｂに送出する。この時、応答テーブル検索手段１８ｂは、その認識結果をキーとして応答テーブル１９から応答音を検索して取得し（Ｓ００１２）、応答音送信手段１８ａに送出する。図１０に示すように、認識結果が「照合済」のときは「応答音Ｄ」を取得し、認識結果が「未照合」のときは「応答音Ｅ」を取得する。応答音送信手段１８ａは、応答テーブル検索手段１８ｂによって検索された応答音に基づいて音を生成し、ユーザ使用の電話機に送信して応答音を鳴らせる（Ｓ００１３）。

（８）一方、メッセージ処理部１６に認識デコーダ部１４からのメッセージ処理要求と特徴量の認識結果とが入ってくると、メッセージ処理要求受信手段１６ａがそれを受信し、特徴量の認識結果をコマンドテーブル検索手段１６ｂに送出する。コマンドテーブル検索手段１６ｂは、認識結果を受け取るとメッセージを抽出し、それをキーとしてコマンドテーブル１７から操作対象のコマンドを検索する（Ｓ０００９）。図９に示すように、抽出したメッセージがメッセージＡのときコマンドＡを取得し、メッセージＢのときはコマンドＢを取得し、コマンド操作手段１６ｃに通知する。この時、コマンドを検索した旨をコマンドテーブル検索結果送信手段１６ｅに通知し、また、コマンドを検索できなかったときは、その旨をコマンドテーブル検索結果送信手段１６ｅに通知し、次のメッセージ処理要求を待つ。

（９）コマンドテーブル検索結果送信手段１６ｅは、コマンドが検索された旨の通知を受けたとき「操作開始」の検索結果を応答部１８に送信し、コマンドが検索されなかった旨の通知を受けたときは「操作中止」の検索結果を応答部１８に送信する（Ｓ００１１）。一方、コマンド操作手段１６ｃは、コマンドテーブル検索手段１６ｂにより検索されたコマンドに基づいて操作対象となるコマンド２を操作し、かつ、その操作結果（例えば実行／停止）を取得し（Ｓ００１０）、コマンド操作結果送信手段１６ｄに通知する。コマンド操作結果送信手段１６ｄは、コマンドの操作結果を応答部１８に送信する（Ｓ００１１）。

（１０）応答部１８にメッセージ処理部１６からの検索結果（「操作開始」又は「操作中止」）が入ってくると、コマンドテーブル検索結果受信手段１８ｆがその検索結果を受信し、応答テーブル検索手段１８ｂに通知する。この時、応答テーブル検索手段１８ｂは、その検索結果をキーとして応答テーブル１９から応答音を検索して取得し（Ｓ００１２）、応答音送信手段１８ａに送出する。図１０に示すように、検索結果が「操作開始」のときは「応答音Ｆ」を取得し、検索結果が「操作中止」のときは「応答音Ｇ」を取得する。応答音送信手段１８ａは、応答テーブル検索手段１８ｂによって検索された応答音に基づいて音を生成し、ユーザ使用の電話機に送信して応答音を鳴らせる（Ｓ００１３）。

（１１）次いで、応答部１８にメッセージ処理部１６からの操作結果が入ってくると、コマンド操作結果受信手段１８ｅがその操作結果を受信し、応答テーブル検索手段１８ｂに通知する。応答テーブル検索手段１８ｂは、その操作結果をキーとして応答テーブル１９から応答音を検索して取得し（Ｓ００１２）、応答音送信手段１８ａに送出する。図１０に示すように、操作結果が「結果Ａ」のときは「応答音Ａ」を取得し、操作結果が「結果Ｋ」のときは「応答音Ｋ」を取得する。応答音送信手段１８ａは、前述したように、応答テーブル検索手段１８ｂによって検索された応答音に基づいて音を生成し、ユーザ使用の電話機に送信して応答音を鳴らせる（Ｓ００１３）。

以上のように本実施の形態によれば、ユーザ使用の電話機などからの音声を受信して声紋情報と特徴量を抽出し、その声紋情報が認証データテーブル１３に登録されているかどうかを検索し、声紋情報が登録されているときは、音声から抽出した特徴量と辞書１５とを照合してメッセージを抽出し、そして、そのメッセージに対応するコマンドにより機器のコマンド２を操作するようにしたので、認証データテーブル１３に声紋情報が登録されたユーザのみが操作可能になり、このため、なりすましによる機器の遠隔操作を防止できる。

本発明の実施の形態に係る認証機能付き音声認識システムの構成を示すブロック図である。実施の形態における音響分析部の構成を示すブロック図である。実施の形態における認証処理部の構成を示すブロック図である。実施の形態における認識デコーダ部の構成を示すブロック図である。実施の形態におけるメッセージ処理部の構成を示すブロック図である。実施の形態における応答部の構成を示すブロック図である。実施の形態における認証データ管理部の構成を示すブロック図である。実施の形態における認証データテーブルの構成を示すブロック図である。実施の形態におけるコマンドテーブルの構成を示すブロック図である。実施の形態における応答テーブルの構成を示すブロック図である。実施の形態に係る音声認識システムの各部の動作の流れを示す図である。

符号の説明

１音声認識システム、２コマンド、１１音響分析部、１２認証処理部、１３認証データテーブル、１４認識デコーダ部、１５辞書、１６メッセージ処理部、１７コマンドテーブル、１８応答部、１９応答テーブル、２０認証データ管理部。

Claims

予め各ユーザの声紋情報が認証用のデータとして登録された認証データテーブルと、
外部から入力された音声から声紋情報を抽出し、かつ、その声紋情報が前記認証データテーブルに登録されているかどうかを検索し、声紋情報が登録されているときは認証済と判別する認証処理部とを備え、
前記認証処理部により認証済と判別されたときに前記音声からコマンドを認識し、かつ、そのコマンドにより機器を遠隔操作する音声認識システム。
予め各ユーザの声紋情報が認証用のデータとして登録された認証データテーブルと、
外部から入力された音声から声紋情報と特徴量を抽出する音響分析部と、
前記声紋情報が前記認証データテーブルに登録されているかどうかを検索し、声紋情報が登録されているときは認証済と判別する認証処理部と、
前記認証処理部により認証済と判別されたとき、予め設けられた辞書から前記特徴量をキーとしてメッセージを抽出する認識デコーダ部と、
予め各メッセージに対応してコマンドが登録されたコマンドテーブルと、
前記認識デコーダ部により抽出されたメッセージをキーとして前記コマンドテーブルからコマンドを検索し、かつ、そのコマンドにより機器を遠隔操作するメッセージ処理部と
を備えたことを特徴とする音声認識システム。