JP2004053825A - 言語識別装置、言語識別方法および言語識別プログラム - Google Patents

Abstract

【課題】簡略な処理で利用者が話している言語が何語であるかを識別することができる言語識別装置や言語識別方法を提供する。
【解決手段】利用者に対して所定の呼びかけ動作を行い、この呼びかけ動作に対して返されるであろう限定されたパターンの言葉のみを認識候補とする小規模の言語識別用音声認識エンジンを複数の言語について並行に動作させて、利用者の応答音声が何語であるかを識別する。そして、その識別された言語の言葉を広く認識する大規模な制御用音声認識エンジンを動作させることで、音声認識エンジンの動作負担を軽減しつつ、多言語による動作制御を可能にしている。
【選択図】　図３

Description

【０００１】
【発明の属する技術分野】
利用者が話す言語が何語であるかを識別する言語識別装置、言語識別方法および言語識別プログラムに関する。
【０００２】
【従来の技術】
利用者が動作を指示する言語を音声で入力することによってその指示に応じた動作を実行する装置が、たとえば金融機関のＡＴＭ（現金自動預払機）や自動販売機などの分野で提案されている。また、自動電話応答サービス装置や音声による操作・文字入力が可能なパーソナルコンピュータも提案されている。このような装置は、言語を音声で入力して操作することができるため、視覚障害者に優しい装置として普及が望まれている。
【０００３】
【発明が解決しようとする課題】
ところで、上記のような装置は、日本語のみでなく英語など複数の言語を認識して動作するものが多いが、どの言語を認識して動作するかは、利用者がボタンで選択するなどの操作が必要で、言語を指定するときにボタン操作などの音声以外の操作が必要であるため、視覚障害者などはこの操作が困難であり、音声を使って情報を提供したり対話形式で応答することができ視覚障害者にもやさしいシステムであるにもかかわらず、最初に設定されている言語を話す人だけが利用できる装置になってしまうという問題点があった。
【０００４】
一方、利用者が話す言語が何語であるかを識別して対応する装置も実用化されてはいるが、複数の言語を識別してその内容を認識する認識エンジンは極めて大がかりであり、装置のコストアップにつながるという問題点があった。
【０００５】
この発明は、簡略な処理で利用者が話している言語が何語であるかを識別することができる言語識別装置、言語識別方法および言語識別プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、所定の呼びかけ動作に対する応答音声を認識する言語識別用音声認識エンジンと、前記応答音声よりも多種類の指示音声を認識する制御用音声認識エンジンと、をそれぞれ複数の言語について別々に備えるとともに、
利用者に対して前記所定の呼びかけ動作を行う呼びかけ手段と、前記呼びかけ動作に応じて発せられた音声を入力し、この音声を前記複数の言語の言語識別用音声認識エンジンで認識して、前記複数の言語のうちどの言語の応答音声であるかを識別し、識別された言語の前記制御用音声認識エンジンを起動する制御手段と、を備えたことを特徴とする。
請求項２の発明は、請求項１の発明において、前記呼びかけ手段を、日常慣れ親しんだ言語を自然に発話させるような呼びかけ音声を複数の言語で順次または同時に出力する手段としたことを特徴とする。
【０００７】
請求項３の発明は、所定の呼びかけ動作に対する応答音声を認識する言語識別用音声認識エンジンと、前記応答音声よりも多種類の指示音声を認識する制御用音声認識エンジンと、をそれぞれ複数の言語について別々に備えており、
利用者に対して前記所定の呼びかけ動作を行う手順と、前記所定の呼びかけ動作に応じて発せられた音声を前記複数の言語の言語識別用音声認識エンジンで認識させることにより、この音声の言語を識別する手順と、識別された言語の制御用音声認識エンジンを起動する手順と、を有することを特徴とする。
請求項４の発明は、請求項３の発明において、前記呼びかけを行う手順を、日常慣れ親しんだ言語を自然に発話させるような呼びかけ音声を複数の言語で順次または同時に出力する手順としたことを特徴とする。
【０００８】
請求項５の発明は、所定の呼びかけ動作に対する応答音声を認識する言語識別用音声認識エンジンと、前記応答音声よりも多種類の指示音声を認識する制御用音声認識エンジンと、をそれぞれ複数の言語について別々に備えたコンピュータに、利用者に対して前記所定の呼びかけ動作を行う手順、前記所定の呼びかけ動作に応じて発せられた音声を前記複数の言語の言語識別用音声認識エンジンで認識させることにより、この音声の言語を識別する手順、識別された言語の制御用音声認識エンジンを起動する手順、を実行させることを特徴とする。
【０００９】
自動現金預払機などの装置で、利用者の音声で動作を制御する、すなわち利用者と音声でやり取りして取引を処理するためには、相当複雑な内容を認識する必要があるため、このための音声認識エンジンは大規模なものである。複数の言語の音声による制御が可能な装置であってもこの複数の言語の音声認識エンジンを並行して動作させることは非常な動作負担となる。一方、装置から利用者に対して所定の呼びかけ動作を行い、それに対する利用者からの応答音声は、ある程度パターンが限定されているため、その限られたパターンの範囲内の語を認識候補とすればよく小規模の音声認識エンジンで対応可能である。
【００１０】
そこで、この発明では、利用者に対して所定の呼びかけ動作を行い、この呼びかけ動作に対して返されるであろう限定されたパターンの言葉のみを認識候補とする言語識別用音声認識エンジンを複数の言語について並行に動作させて、利用者の応答音声が何語であるかを識別し、識別された言語の制御用音声認識エンジンを動作させることで、音声認識エンジンの動作負担を軽減しつつ、多言語による動作制御を可能にしている。
【００１１】
【発明の実施の形態】
図面を参照してこの発明の実施形態について説明する。図１はこの発明の実施形態である音声識別装置を備えた自動現金預払機（ＡＴＭ）のブロック図である。一般的にＡＴＭの処理部は、装置全体の動作を制御するマスタシステム１と入出金や表示などの具体的な処理を実行する複数のスレーブシステムとが接続されたマスタ・スレーブシステムで構成されている。各システムは、ＣＰＵを備えたマイコンシステムである。この装置には、スレーブシステムとして、ユーザインタフェーススレーブシステム２、入出金処理スレーブシステム３、帳票処理スレーブシステム４、通信処理スレーブシステム５が設けられている。
【００１２】
ユーザインタフェーススレーブシステム２は、利用者である取引に来た顧客の検出、利用者に対する表示、音声案内および利用者のタッチパネル入力、音声入力などを制御するシステムであり、このシステムの音声入力制御に本願発明が適用されている。
入出金処理スレーブシステム３は、金庫を備え、利用者に対する出金や利用者からの入金を処理するシステムである。帳票処理スレーブシステム４は、キャッシュカードのリード・ライト、通帳や伝票の印刷を処理するシステムである。通信処理スレーブシステム５は、利用者と取引を行うとき、預金残高の確認などのために金融機関のセンタ装置と通信するためのシステムである。
【００１３】
ユーザインタフェーススレーブシステム２は、図２に示すようにＣＲＴ２２およびタッチパネルスイッチ２３を備えており、ＣＲＴ２２に取引手順および操作ボタンを表示し、利用者が取引手順を見て所定の操作ボタンを押したとき、その操作をタッチパネルスイッチ２３が検出する。
このような通常形態の取引処理をすることができるとともに、音声によるやり取りで取引を処理することができる。以下、音声によるやり取りについて説明する。
【００１４】
センサが利用者を検知すると、まず利用者に所定の応答を促す音声を出力する。たとえば、「こんにちは」とか「何語で取引しましょうか」などの呼びかけ音声を出力し、これに対して「こんにちは」や「日本語でお願いします」などの音声の応答が返ってくれば、以後は日本語によるやり取りで取り引きを進めてゆく。上記の呼びかけ音声を日本語だけでなく英語などの複数の言語で出力し、どの言語に対して（どの言語で）応答が返ってきたかで利用者が使用する言語を識別する。複数の言語の呼びかけ音声は、それぞれの言語のものを順次出力するようにしてもよいが、全ての言語のものを同時に出力してもよい。同時に出力した場合でも、聞き慣れた言葉をノイズの中から聞き分けるいわゆるカクテルパーティ効果により、利用者が自分の使用する言語の呼びかけ音声を聞き分けてこれに応答することが期待できるからである。
【００１５】
この利用者が使用する言語を識別する処理は、上記のように所定の応答を促す呼びかけ音声に対する利用者の応答を認識してその言語を識別すればよいものであるため、その所定の応答（単語、フレーズまたは文）のみを認識可能な軽量な言語識別用エンジン（言語識別用音声認識エンジン）を用いることができる。このように軽量の認識エンジンであるため、複数の言語の言語識別用エンジンを同時に動作させて利用者の応答を認識し、利用者の使用している言語が上記複数の言語のうちのどれであるかに識別することができる。
【００１６】
これによって、利用者が使用する言語を識別すれば、今度は取引処理のための種々の対話を認識し取引処理を制御するための大規模な取引処理用エンジン（制御用音声認識エンジン）を起動する。この取引処理用エンジンも、上記複数の言語のものを備えているが、大規模なものであるため、上記利用者が使用する言語のもののみを起動する。
【００１７】
以下、ＣＲＴディスプレイを用いた場合も音声による場合も以下のような手順で取引が処理される。
取引の種類（引き出し、預け入れ、振り込み等）の選択、
通帳やカードの受け付け、
金額、暗証番号等の入力（預入の場合には無し）、
オンライン認証、
出金または入金処理、
通帳、カード、伝票等の処理、
通帳、カード、伝票、現金の排出。
【００１８】
以上の取引処理は、
ユーザインタフェーススレーブシステム２が、操作手順を利用者にガイドするとともに利用者の操作を検出し、その操作内容をマスタシステム１に送信する。
マスタシステム１が、その操作内容に応じた処理動作を各スレーブシステム２〜５に指示する。
各スレーブシステム２〜５が、マスタシステム１の指示に応じた処理動作を実行する。
という手順で実行される。
【００１９】
図２は、上記ユーザインタフェーススレーブシステム２のブロック図である。スレーブシステムは、１つの独立したコンピュータシステムであり、インタフェース３０を介してマスタシステム１と接続されている。
ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３、ＤＳＰ１６、音声合成部１７、画像合成部２０、接触位置検出部２４、顧客検出センサ２５、センサインタフェース２６が接続されている。
ＲＯＭ１１には、起動プログラムなどが記憶されている。ＲＡＭ１２にはユーザインタフェース処理用のプログラムが読み込まれるとともに、ユーザインタフェース処理時に発生したデータが記憶される。ＨＤＤ１３には、音声合成部１７に入力される音声データ、画像合成部２０に入力される画像データ、ＤＳＰ１６に供給される音声認識エンジン（言語識別用エンジン、取引処理用エンジン）などが記憶されている。
【００２０】
ＤＳＰ１６には、利用者の音声を入力するためのマイク１４−ＡＤコンバータ１５が接続されており、ＨＤＤ１３からロードされた音声認識エンジンに基づいて、マイク１４から入力された音声の言語およびその内容を認識する。取引処理のスタート時にはＤＳＰ１６には、各国語の言語識別用エンジンがロードされており、取引処理がスタートすると特定言語の取引処理用エンジンがロードされる。ＤＳＰ１６は、認識結果を認識すべき言葉である確度（ポイント）として出力する。ＣＰＵ１０がこのポイントを判断してどの言葉が話されたかを決定する。
【００２１】
音声合成部１７には、アンプ１８−スピーカ１９が接続されている。音声合成部１７には、マスタシステム１からの指示に応じて利用者との取引処理段階に応じた「呼びかけ」や「操作ガイド」などの音声データが入力される。音声合成部１７は、この音声データを音声信号に合成して出力する。アンプ１８がこの音声信号を増幅してスピーカ１９から出力する。
【００２２】
画像合成部２０には、表示制御部２１−ＣＲＴ２２が接続されている。ＣＲＴ２２は、ＣＲＴ２２はＡＴＭの操作パネル面に上向きに設置されている。画像合成部２０には、マスタシステム１からの指示に応じて利用者との取引処理段階に応じた「操作ガイド」などの画像データが入力される。画像合成部２０は、この画像データを画面サイズのビットパターンの画像に展開し、表示制御部２１を介してＣＲＴ２２に表示する。
ＣＲＴ２２の表面にはタッチパネルスイッチ２３が設けられている。タッチパネルスイッチ２３は、微小間隔で対向する２枚の透明導電体を有しており、利用者がＣＲＴ２２上に表示されたスイッチを押したとき、その位置で上記２枚の透明導電体が接触してその接触位置に対応する電位を出力するものである。この電位は接触位置検出部２４に入力される。接触位置検出部２４は、タッチパネルスイッチ２３が出力した電位に基づいてＣＲＴ２２のどの位置（座標）が押されたかを検出してＣＰＵ１０に入力する。ＣＰＵ１０は、この接触位置と現在表示している画像とを比較してどのボタンが操作されたかを判断する。どのボタンが押されたかの情報はマスタシステム１に伝達される。
【００２３】
図３は、ＨＤＤ１３に記憶されているＤＳＰ１６用の音声認識エンジンの種類を示す図である。音声認識エンジンは、言語識別用エンジン、取引処理用エンジンの２種類が記憶されている。言語識別用エンジン、取引処理用エンジンともに、日本語、英語など複数の言語に対応するエンジンがそれぞれ別々に記憶されている。言語識別用エンジンは、取引スタート時に利用者に対して出力する音声による「呼びかけ」に対応した応答を認識するためのものであり、たとえば、「呼びかけ」が日本語の「おはようございます」であれば「おはよう」、「はーい」など、「呼びかけ」が英語の「Ｗｅｌｃｏｍｅ」であれば「Ｈｅｌｌｏ」、「Ｈｉ」、「Ｇｏ’Ｍｏｒｎｉｎｇ」などの単純な挨拶語・応答語を認識するための小型のものである。日本語、英語以外の言語（韓国語、中国語、独語、仏語、西語、伊語など）の言語識別用エンジンも同じような「呼びかけ」に対する応答である挨拶語・応答語を認識するように設定されている。一方、取引処理用エンジンは、取引窓口で顧客と係員とが交わす会話を認識できる程度の認識力を持った音声認識エンジンであり大型のものである。
このうち、言語識別用エンジンは、全ての言語のものが一緒にＤＳＰ１６に供給され、マイク１４から入力された音声を同時に並行して処理することによって、この音声がどの言語のものであるかを検出する。そしてこの処理によって検出された言語の取引処理用エンジンがＤＳＰ１６にロードされ、実際の取引処理をスタートさせる。
【００２４】
図４は同ＡＴＭの動作を示すフローチャートである。この動作は主としてユーザインタフェーススレーブシステム２の言語識別機能について示している。このユーザインタフェーススレーブシステム２が起動すると、まず複数の言語の言語識別用エンジンをＤＳＰ１６にロードする（ｓ１）。そして利用者を検知するまでｓ２で待機する。利用者がＡＴＭの前に来たことを検知したとき（ｓ２）、利用者に対して所定の発話を促す「呼びかけ」の音声を出力する。この呼びかけはたとえば「おはようございます」などである（ｓ３）。これに対して利用者が音声で応答すると、その音声がマイク１４で検出されＤＳＰ１６に入力される（ｓ４）。ＤＳＰ１６は、この音声を上述した複数の言語識別用エンジンで認識し、それぞれのエンジンの認識語である「おはよう」などの言葉である確度（ポイント）をＣＰＵ１０に入力する（ｓ５）。ＣＰＵ１０は、各言語識別用エンジンから入力されたポイントを比較して、利用者の話した言語が何語であるかを判断する（ｓ６）。
【００２５】
そして、その言語の取引処理用エンジンをＤＳＰ１６にロードするとともに（ｓ７）、実際の取引処理をスタートすべくマスタシステム１にその旨を通知する（ｓ８）。これによって、取引処理が実行される。なお、取引処理が終了したのちはｓ１にもどって言語識別用エンジンが再度ＤＳＰ１６にロードされる。
【００２６】
この実施形態では、金融機関用のＡＴＭを例にあげて説明したが、利用者が操作する装置であればどのような装置にもこの発明を適用することが可能である。また、上記所定の応答を促す呼びかけは、時間帯や装置の設置環境に応じて適当なものを用いればよい。また、直接的に「どの言語でやり取りをしましょうか」というような内容のものであってもよい。
【００２７】
また、呼びかけは音声によるものに限定されず、また意図的に呼びかけをせずに利用者の発声を待つようにしてもよい。たとえば、電話の自動応答システムの場合には、着信に対してフックオフしたのち無音で応答しないようにすると、通話相手である利用者が「もしもし」や「Ｈｅｌｌｏ」などの応答をするためこれを言語識別して所定の言語で応答するようにすればよい。
【００２８】
また、利用者の応答音声を言語識別したとき、精度の低い判断しかできなかった場合には、精度が低くても判断した言語で取引処理に進んでもよいが、再度呼びかけを行って、その応答音声で言語識別をやりなおすようにしてもよい。または、「日本語でお願いします」など予め定めた特定の言語で取引をスタートするようにしてもよい。
【００２９】
【発明の効果】
以上のようにこの発明によれば、呼びかけ動作に対する応答で利用者がどの言語を話しているかを判断することができるため、呼びかけ動作に対する応答のみを認識する言語識別用音声認識エンジンを複数の言語分動作させて、利用者が話す言語を識別することができ、言語を識別したのちには、その言語を広く認識する制御用音声認識エンジンを動作させればよいため、音声認識エンジンの処理負担を大きくすることなく、多言語による動作制御が可能になる。
【図面の簡単な説明】
【図１】この発明の実施形態である現金自動預払機のブロック図
【図２】前記現金自動預払機のユーザインタフェーススレーブシステムのブロック図
【図３】前記現金自動預払機に記憶されている音声認識エンジンの構成を示す図
【図４】前記現金自動預払機の動作を示すフローチャート
【符号の説明】
１…マスタシステム、２…ユーザインタフェーススレーブシステム、３…入出金処理スレーブシステム、４…帳票処理スレーブシステム、５…通信処理スレーブシステム、
１０…ＣＰＵ、１１…ＲＯＭ、１２…ＲＡＭ、１３…ＨＤＤ、１４…マイク、１５…ＡＤコンバータ、１６…ＤＳＰ、１７…音声合成部、１８…アンプ、１９…スピーカ、２０…画像合成部、２１…表示制御部、２２…ＣＲＴ、２３…タッチパネルスイッチ、２４…接触位置検出部、２５…顧客検出センサ、２６、３０…インタフェース

Claims (5)

1. 所定の呼びかけ動作に対する応答音声を認識する言語識別用音声認識エンジンと、前記応答音声よりも多種類の指示音声を認識する制御用音声認識エンジンと、をそれぞれ複数の言語について別々に備えるとともに、
   利用者に対して前記所定の呼びかけ動作を行う呼びかけ手段と、
   前記呼びかけ動作に応じて発せられた音声を入力し、この音声を前記複数の言語の言語識別用音声認識エンジンで認識して、前記複数の言語のうちどの言語の応答音声であるかを識別し、識別された言語の前記制御用音声認識エンジンを起動する制御手段と、
   を備えた言語識別装置。
2. 前記呼びかけ手段は、日常慣れ親しんだ言語を自然に発話させるような呼びかけ音声を複数の言語で順次または同時に出力する手段である請求項１に記載の言語識別装置。
3. 所定の呼びかけ動作に対する応答音声を認識する言語識別用音声認識エンジンと、前記応答音声よりも多種類の指示音声を認識する制御用音声認識エンジンと、をそれぞれ複数の言語について別々に備えており、
   利用者に対して前記所定の呼びかけ動作を行う手順と、
   前記所定の呼びかけ動作に応じて発せられた音声を前記複数の言語の言語識別用音声認識エンジンで認識させることにより、この音声の言語を識別する手順と、
   識別された言語の制御用音声認識エンジンを起動する手順と、
   を有する言語識別方法。
4. 前記呼びかけを行う手順は、日常慣れ親しんだ言語を自然に発話させるような呼びかけ音声を複数の言語で順次または同時に出力する手順である請求項３に記載の言語識別方法。
5. 所定の呼びかけ動作に対する応答音声を認識する言語識別用音声認識エンジンと、前記応答音声よりも多種類の指示音声を認識する制御用音声認識エンジンと、をそれぞれ複数の言語について別々に備えたコンピュータに、
   利用者に対して前記所定の呼びかけ動作を行う手順、
   前記所定の呼びかけ動作に応じて発せられた音声を前記複数の言語の言語識別用音声認識エンジンで認識させることにより、この音声の言語を識別する手順、
   識別された言語の制御用音声認識エンジンを起動する手順、
   を実行させる言語識別プログラム。

Images