JP2005017620A

JP2005017620A - 言語特定方法、言語特定用プログラム及び言語特定方法を用いた機械翻訳システム

Info

Publication number: JP2005017620A
Application number: JP2003181412A
Authority: JP
Inventors: Takashi Shibuya; 貴志澁谷; Enko Sai; 遠航蔡; Etsuo Ito; 悦雄伊藤; Naoko Takigawa; 直子瀧川; Masaki Shindo; 正樹新藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-06-25
Filing date: 2003-06-25
Publication date: 2005-01-20

Abstract

【課題】オペレータの介在なしに不特定言語の音声から適切な言語を特定する。
【解決手段】話者が入力する音声が言語決定済みか否かを判断する言語決定済み判断ステップＳ２と、言語未決定の場合、言語別に音声認識し、言語別の音声認識結果及び認識成功率値を取得する音声認識ステップＳ３ａ，…と、ここで取得される認識成功率値が予め定める規定値以上の場合、音声認識結果をテキストデータに変換するステップＳ４〜Ｓ６と、これら変換されたテキストデータを、対応する言語の文法・辞書を用いて言語解析率成功値を算出し、これらの中から大きい解析率成功値に対応する言語を認識対象言語と特定する言語特定ステップ（Ｓ８〜Ｓ１０）と、言語決定済みの場合も同様に音声認識及び認識成功率値、言語解析率成功値を算出し、何れも規定率値未満の場合は音声認識ステップＳ３ａ，…に戻り再判断を実行するステップとを有する言語特定方法である。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、音声の認識対象言語を特定し、音声認識技術、機械翻訳技術等に利用する言語特定方法、言語特定用プログラム及び言語特定方法を用いた機械翻訳システムに関する。
【０００２】
【従来の技術】
従来の音声認識装置は、実際の音声の認識処理に先立ち、話者或いは言語の知識をもったオペレータが言語特定用キーなどを選択し、音声の認識対象言語を特定しているのが一般的である。しかし、このような言語特定方法は、オペレータ自身が多数の言語の知識をもっている場合には有効であるが、ある特定の言語の知識だけをもつオペレータにとっては何れの言語の音声であるか判断することが難しく、一般的に使用し難い問題がある。
【０００３】
そこで、近年、利用者の音声に応じた言語を特定し、利用者の使用言語に応じた地図表示或いは音声メッセージを出力するナビゲーションシステムが開発されている。このナビゲーションシステムは、予め音声認識用辞書部に各単語の標準的な音声信号波形に対応する言語が格納され、利用者が発声した音声がマイクロホンから入力されたとき、音声認識装置は、その入力される音声に基づいて音声認識用辞書部に格納される各単語の標準的な音声信号波形に対応する言語を参照し、利用者が発声する音声データに対応する各単語の言語を特定している。また、個性学習部を設け、ここで音声データに対応する言語の使用頻度を学習する一方、特定された言語に基づいてナビゲーションコントローラが地図や音声を出力するものである。これにより、以後、利用者が発声した音声データの使用頻度から言語を特定し、容易に地図や音声を出力する方法である。
【０００４】
【特許文献１】
特開２００１−２９６８８２号公報（図１）
【０００５】
【発明が解決しようとする課題】
ところで、以上のような言語特定方法では、次のような幾つかの問題が指摘されている。
【０００６】
１）各単語の標準的な音声信号波形に対応する言語又は使用頻度の多い言語を参照することにより音声の認識対象言語を特定する方法であるので、どちらかと言えば、特定の用途，例えばカーナビゲーションのように特定の利用者が利用する場合に有効であるが、広範な用途に利用し難い問題がある。
【０００７】
２）また、言語の使用頻度の多い言語を利用する方法であるので、入力される音声に対して大まかな言語判断が可能であるが、言語を特定するための評価がなされておらず、特定された言語の正確性に欠ける問題がある。
【０００８】
３）種々の言語の音声が入力される場合、標準的な音声信号波形を参照するだけでは、言語を特定できないという問題も出てくる。
【０００９】
本発明は上記事情にかんがみてなされたもので、不特定言語の音声が入力された場合でも、オペレータの介在なしに高い精度で言語を特定する言語特定方法、言語特定用プログラム及び言語特定方法を用いた機械翻訳システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明に係わる言語特定方法は、話者の音声データについて言語決定済みか否かを判断する言語特定済み判断ステップと、この言語特定済みステップの判断により言語未決定の場合、言語別に音声認識し、各言語ごとの音声認識結果及び認識成功率値を取得する第１の音声認識ステップと、この音声認識ステップにより取得される認識成功率値が予め定める第１の規定値以上の場合、前記音声認識結果をテキストデータに変換するステップと、これら変換されたテキストデータに対し、対応する言語による言語解析を行い、この言語解析結果から認識対象言語を特定する言語特定ステップとを有するものである。
【００１１】
この発明は以上のような構成とすることにより、音声認識ステップにて言語別音声認識処理を行い、第１の規定率値以上の音声認識結果及び認識成功率値を取得した後、これら取得した音声認識結果についてテキストデータに変換し、言語解析を実施し、最も高い言語解析成功率値の言語を認識対象言語を特定するので、認識成功率値の高い音声認識結果、最も高い言語解析成功率値の言語と段階的に絞って言語を特定するので、多言語の音声であってもオペレータの介在なしに高い精度で言語を特定可能となる。
【００１２】
なお、言語が既に決定されている場合、一時的に当該言語に基づいて音声認識処理及び言語解析を行い、それぞれ規定率値未満の場合には言語未決定と同様な処理を行うようにすれば、言語特定時の高速化を図ることが可能であり、また再度判断を加えつつ言語を特定するので、言語の特定に高い精度を維持できる。
【００１３】
また、言語特定済み判断ステップによる言語決定済みか否かの判断に際し、先の連続音声データと次の連続音声データとの間の時間的推移に基づいて、次の連続音声データが前記先の連続音声データで特定された決定済みの言語を認識対象言語と特定すれば、同一話者の言語特定時の高速化を図ることが可能である。
【００１４】
（２）また、本発明に係わる機械翻訳システムは、話者の音声データを、言語別の音声認識用参照データを用いて、言語別の音声認識結果及び認識成功率値を取得する音声認識処理手段と、この音声認識処理手段により取得された認識成功率値が予め定める規定率値以上である場合、前記音声認識結果のデータをテキストデータに変換するテキストデータ変換手段と、この変換手段により変換されたテキストデータに対し、対応する言語の文法規則・辞書データを用いて言語解析し、この言語解析結果から認識対象言語を特定する言語特定処理手段と、この言語特定処理手段により特定された言語のテキストデータを所要とする言語の文法規則・辞書データを用いて翻訳処理する翻訳処理手段とを設けた構成である。
【００１５】
この発明は前述と同様の作用効果を奏する他、多言語の話者の音声データから精度の高い、正確な言語を特定できるので、翻訳結果も充分精度の高い、しかも高速的に翻訳結果を得ることが可能である。
【００１６】
また、音声データから得られる音声特徴データと当該言語とを関連付けて蓄積すれば、さらに高速的に翻訳結果を出力できる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
（実施の形態１）
図１は本発明に係わる言語特定方法を用いた機械翻訳システムの一実施の形態を示す構成図である。
【００１９】
この機械翻訳システムは、音声を入力する音声入力部１と、この音声入力部１から入力される電気的な音声データに対して言語別の音声認識処理を実行し、その中から規定値を越える音声認識結果データをテキストデータに変換し、この変換されたテキストデータを言語解析し、認識対象言語を特定する音声言語処理制御部２と、この音声言語処理制御部２により特定された認識対象言語のもとに所要とする言語の翻訳結果を出力する翻訳結果出力部３とによって構成されている。なお、翻訳結果出力部３は、翻訳結果だけでなく、音声認識結果データ、テキストデータ、言語解析結果その他特定された認識対象言語のうち、所要とするデータについても出力可能である。
【００２０】
また、この機械翻訳システムは、音声入力部１から入力される電気的な音声データの言語を特定するための言語特定用プログラムを記憶するプログラムデータ記憶部４、音声入力部１から入力される電気的な音声データ、音声言語処理制御部２による処理途中のデータ、処理結果のデータ等を一時記憶するデータ一時記憶部５、各言語の音声パターンデータ、各言語の類似関係にある複数の候補音声パターンデータ等を格納する言語別の音声認識用参照データ記憶部６ａ，…，６ｎ、各言語の言語分析や翻訳上必要な辞書・文法規則などの情報を記憶する翻訳辞書部７ａ，…，７ｎ等が設けられている。
【００２１】
前記音声入力部１に入力される音声としては、話者の発声による音声、電話・ラジオ・テレビ放送等から発生される音声、ＣＤ−ＲＯＭに記録される電気的な音声データ、さらにはインターネット上から入力される電気的な音声データその他種々の音声ないし電気的な音声データが含まれるが、以下、話者の音声ないし話者の音声データと総称する。
【００２２】
音声言語処理制御部２は、論理回路等を用いたハード的な構成又はソフト的な処理制御によっでも実現できる。後者のソフト的な処理制御の場合、ＣＰＵで構成され、プログラムデータ記憶部４に格納される言語特定用プログラムに従って所定の処理を実行する。この音声言語処理制御部２は、機能的には、音声入力部１から入力される音声データを、言語毎の音声認識用参照データ記憶部６ａ，…，６ｎに格納される音声パターンを参照し、言語毎の音声認識結果及び音声認識成功率値を取得する音声認識処理手段２１ａ，…，２１ｎ、これら音声認識処理手段２１ａ，…，２１ｎによって取得される認識成功率値のうち規定値以上の音声認識結果データをテキストデータに変換するテキストデータ変換手段２２、これら規定値以上の言語に対応するテキストデータを、それぞれ言語に対応する言語翻訳辞書部７ａ，…，７ｎの文法規則・辞書などに基づいて構文解析・形態素解析等を行つて言語文解析率値を算出する言語毎の言語解析処理手段２３、この言語解析率値（言語解析成功率値ともいう）の最も高い言語を認識対象言語と特定する言語特定手段２４及びこの言語特定処理手段２４によって特定された認識対象言語に基づき、翻訳辞書部７ａ，…，７ｎの文法規則・辞書を用いて、前記テキストデータを所要とする言語に翻訳処理する翻訳処理手段２５が設けられている。
【００２３】
なお、音声認識処理手段２１ａ，…，２１ｎによる音声認識は従来周知の技術を用いるが、例えばその一例として、音声データを音響的に分析する部分、この分析部分で得られる音声特徴量（パラメータ）から音素などの小さな単位に対する類似度を計算する部分、幾つかの音素を最適に配列し、単語や文の候補を出力する部分とを有するが、例えば音声認識用参照データ記憶部６ａ，…，６ｎに言語別の各「単語」と当該各単語の後に過去の経験や統計学的に繋がる「××なる単語や文字」とを関連付け、音声データの所要個数の単語数にヒット数とから音声認識成功率を算出でき、かつ、この音声認識成功率が予め定める規定率値以上の場合だけを認識可能な言語と判断することが可能である。その他、音声成功率に関し、従来周知の種々の算出方法が用いられる。
【００２４】
また、言語毎の言語解析処理手段２３による言語文解析率値は、翻訳処理部７ａ，…，７ｎに格納される辞書引きにより形態素解析、構文解析を実施し、例えば全体語数に対する未知語の数等から言語解析率値や翻訳対象言語として単語の品位の並びの正しい数とそうでない数との関係等から算出できる。
【００２５】
前記翻訳結果出力部３は、音声言語処理制御部２により特定された言語の翻訳結果等を出力するものであり、例えばＣＲＴディスプレイ、液晶ディスプレイ等の表示部３１、プリンタ３２の他、例えば表示部３１に表示し確認後に保存する記憶部（図示せず）や音声発生器などが用いられる。
【００２６】
なお、各記憶部４〜７ａ，…，７ｎはそれぞれ図面上独立した形式で記載したが、適宜に共用化を図るために、１つ以上の記憶部に領域分けして記憶してもよい。
【００２７】
次に、以上のような機械翻訳システムに適用される本発明に係わる言語特定方法及びプログラムデータ記憶部４に格納される言語特定用プログラムによる一連の処理例について図２を参照して説明する。
【００２８】
この機械翻訳システムの動作が開始すると、プログラムデータ記憶部４に記憶される言語特定用プログラムを読み出し、適宜な記憶部例えばデータ一時記憶部５に記憶した後、音声言語特定処理を実行する。
【００２９】
すなわち、音声言語処理制御部２は、音声入力部１から入力される話者の音声データを受け取ると（Ｓ１）、当該音声データを順次データ一時記憶部５に記憶するとともに、当該音声データの言語が既に特定されているものか否かを判断する（Ｓ２：言語特定済み判断ステップ）。ここで、音声データの言語が未だ特定されていない場合、該当音声データは全ての言語の可能性があるので、各言語の音声認識処理手段２１ａ，…，２１ｎがそれぞれの言語とみなし、対応する言語の音声認識用参照データ記憶部６ａ，…，６ｎに記憶される例えば音声パターンや各「単語」と当該各単語の後に関連付けられる「××なる単語や文字」とを参照し、音声認識結果及び当該音声認識結果に対する音声認識成功率値を取得する（Ｓ３ａ，…，Ｓ３ｎ：音声認識ステップ）。なお、例えば類似する複数の候補音声パターンデータ等が存在する場合、予め定める優先順位に従って音声認識を実施していくので、候補音声パターンデータに対する認識成功率値が出てくるので、その中から最も高い音声認識成功率値を採用し、かつ、この採用された認識成功率値に対応する音声認識結果を取り出し、各言語の音声認識処理手段２１ａ，…，２１ｎごとに取得した各言語ごとの音声認識結果及び音声認識成功率値を例えばデータ一時記憶部５に記憶する。
【００３０】
引き続き、各言語ごとに取得される音声認識成功率値について予め過去の経験等から定まる規定率値以上となっているか否かを判断し、規定率値以上となっている場合にはテキストデータに変換し、言語解析処理手段２３に渡す。この音声認識成功率値が規定率値以上か否かの判断は、全言語の音声認識成功率値について判断する（Ｓ４〜Ｓ６：テキストデータ変換ステップ）。この認識成功率値が規定率値未満の場合、言語特定対象外とするために構文解析率値を０とし、言語特定処理手段２４に渡す（Ｓ７）。
【００３１】
前記言語解析処理手段２３は、規定率値以上のテキストデータに関し、対応する言語の翻訳辞書部７ａ，…，７ｎに記憶される文法規則や辞書引きを行い、形態素解析及び構文解析を実施し、未知語の個数、翻訳対象言語の単語の品詞の並びが正しいか否かを表わす構文解析率値等の言語分析率値を取得する（Ｓ８）。
【００３２】
さらに、ステップＳ８により取得された各言語の構文解析率値のうち、順次２つの言語の構文解析率値の大小比較を行い、そのうち大きい方の構文解析率値を最大値メモリ（図示せず）に記憶する。さらに、この最大値メモリの構文解析率値と次の言語の構文解析率値との大小比較を行い、最終的には最も大きい構文解析率値に対応する言語を認識対象言語として特定する（Ｓ９〜Ｓ１１：言語特定ステップ）。従って、この段階によって初めて入力された音声の言語を特定できる。
【００３３】
なお、ステップＳ２において、言語決定済みか否かを判断するが、先に入力された音声データと連続性をもつ次の音声データに対しては、既に言語が特定されているので、ステップＳ１２に移行する。通常、音声に連続性があれば、当該連続性のある音声データに対して言語決定済みと判断するが、音声データ−無音−音声データとなったとき、例えば無音の継続時間等から音声データが連続性をもったものか、連続性をもたない音声データであるか，つまり前後の音声データの時間的推移から言語決定済みか否かを判断することになる。
【００３４】
ステップＳ２にて言語決定済みと判断された場合、当該決定済み言語に対応する音声認識処理手段２１ｉは、対応する言語の音声認識用参照データ記憶部６ｉに記憶される例えば音声パターンを参照し、音声認識結果及び認識成功率値を取得する（Ｓ１２：音声認識ステップ）。しかる後、この取得された認識成功率値が規定率値以上か否かを判断し、規定値以上の場合には音声認識結果をテキストデータに変換する（Ｓ１３、Ｓ１４：テキストデータ変換ステップ）。認識成功率値が規定率値未満であれば、再判断の必要性が有ると判断し、ステップＳ３ａ，…，Ｓ３ｎに移行し、前述同様の処理を繰り返す（Ｓ３ａ，…，Ｓ３ｎ、〜Ｓ１１）。なお、ステップＳ４とＳ１３の規定率値は同一の率値或いは異なる率値であってもよい。
【００３５】
ステップＳ１４で変換されたテキストデータは、言語解析処理手段２３によって前述と同様に対応する言語の翻訳辞書部７ｉに記憶される文法規則及び辞書引きにより、形態素解析及び構文解析を実施し、構文解析率値等の言語解析率値を取得する。そして、この取得された構文解析率値が予め定める規定率値以上であるか否かを判断し（Ｓ１６）、規定率値以上であれば、ステップＳ２で決定済みとされた言語をそのまま利用する旨の信号が例えば翻訳処理手段２５に渡され、また構文解析率値が所定の規定率値未満であれば、再判断の必要性が有ると判断し、ステップＳ３ａ，…，Ｓ３ｎに移行し、前述同様の処理を繰り返す（Ｓ３ａ，…，Ｓ３ｎ、〜Ｓ１１）。
【００３６】
従って、以上のような実施の形態によれば、話者の音声に対し、全ての言語の可能性が有るとみなし、音声認識処理手段２１ａ，…，２１ｎが対応する言語の音声認識用参照データ記憶部６ａ，…，６ｎに格納される例えば音声パターン等を参照し、音声認識結果及び認識成功率値を取得し、予め設定される規定率値以上か否かを判断するので、全言語の中から少なくとも音声認識程度の高い言語の音声認識結果を選択することができる。
【００３７】
また、認識程度の高い言語の音声認識結果だけをテキストデータに変換し、対応する言語解析を実施し、最も評価の高い言語解析結果が得られた言語を認識対象言語と特定するので、この特定された言語は非常に精度の高い言語とみなすことができる。
【００３８】
さらに、種々の言語の音声データが入力される音声認識技術や翻訳処理技術にも広く利用することができる。
【００３９】
（実施の形態２）
図３は本発明に係わる言語特定方法を用いた機械翻訳システムの一実施の形態を示す構成図である。
【００４０】
この機械翻訳システムは、図１と同様に話者が発声する音勢データを入力する音声入力部１と、この音声入力部１から入力される電気的な音声データから音声特徴データを抽出し、この抽出される音声特徴データと言語とを関連付けて蓄積し、後に入力される音声データに該当する音声特徴データが存在する場合には当該音声特徴データに関連付けられる言語に基づいて言語特定処理を実行し、一方、後に入力される音声データに該当する音声特徴データが存在しない場合には新たに図１に従って言語特定処理を実行する音声言語処理制御部２と、この音声言語処理制御部２によって特定された言語の翻訳結果等を出力する翻訳結果出力部３とによって構成されている。
【００４１】
この音声言語処理制御部２には、話者が発声する音声データから音声特徴データを抽出し、話者固有情報記憶部３１に記憶する話者認識処理手段３２が設けられている。この話者固有情報記憶部３１には、図４に示すように話者認識処理手段３２によって抽出された音声特徴データと言語情報との関連付けが記憶される。なお、言語情報は、例えば最終的に特定された言語の情報を音声特徴データに関連付けする。
【００４２】
その他、音声言語処理制御部２には、図１と同様に各言語の音声認識処理手段２１ａ，…，２１ｎ、テキストデータ変換手段２２、言語解析処理手段２３、言語特定処理手段２４、翻訳処理手段２５等が設けられている。
【００４３】
次に、以上のような機械翻訳システムに適用される本発明に係わる言語特定方法及びプログラムデータ記憶部４に格納される言語特定用プログラムによる一連の処理例について図５を参照して説明する。
【００４４】
この機械翻訳システムの動作が開始すると、プログラムデータ記憶部４Ａに記憶される言語特定用プログラムを読み出し、適宜な記憶部例えばデータ一時記憶部５に記憶した後、音声言語特定処理を実行する。
【００４５】
この音声言語処理制御部２は、音声入力部１から入力される話者の音声データを受け取ると（Ｓ２１）、当該音声データを順次データ一時記憶部５に記憶する一方、話者認識処理手段３２が話者の発声する音声データの声質や例えばアクセントやイントネーションなどの韻律情報等から音声特徴データを抽出した後、話者固有情報記憶部３２に既に記憶される音声特徴データとほぼ類似する音声特徴データが存在する否か，つまり既存の話者か否かを判断し、存在する場合には記憶される音声特徴データに関連付けられる言語を一時的に特定し、存在しない場合には抽出された音声特徴データを話者固有情報記憶部３２に記憶する一方、新規な話者の音声データと判断する（Ｓ２２，Ｓ２３：既存話者判断ステップ）。
【００４６】
このステップＳ２３において、新規な話者の音声データであると判断された場合、音声データの言語が特定されていないので、該当音声データは全ての言語の可能性があるので、各言語の音声認識処理手段２１ａ，…，２１ｎがそれぞれの言語とみなし、対応する言語の音声認識用参照データ記憶部６ａ，…，６ｎに記憶される例えば音声パターンや各「単語」と当該各単語の後に関連付けられる「××なる単語や文字」とを参照し、音声認識結果及び当該音声認識結果に対する音声認識成功率値を取得し、適宜な記憶部例えばデータ一時記憶部５に記憶する。
【００４７】
引き続き、各言語ごとに取得された認識成功率値について規定率値以上となっているか否かを判断し、規定率値以上となっている場合にはテキストデータに変換し、言語分析処理手段２３に渡す。この規定率値以上か否かの判断は、全言語の認識成功率値について判断する（Ｓ３５〜Ｓ３７：テキストデータ変換ステップ）。この認識成功率値が規定率値未満の場合には、言語特定対象外とするために構文解析率値を０とし、言語特定処理手段２４に渡す（Ｓ３８）。
【００４８】
前記言語解析処理手段２３は、規定率値以上のテキストデータに関し、対応する言語の翻訳辞書部７ａ，…，７ｎに記憶される文法規則・辞書に基づき、例えば形態素解析及び構文解析等の言語解析を実施し、未知語の個数、翻訳対象言語の単語の品詞の並びが正しいか否かを表わす言語解析率値，例えば構文解析率値を取得する（Ｓ３９）。
【００４９】
さらに、ステップＳ３９によって取得される各言語の言語解析率値のうち、順次２つの言語の構文解析率値の大小比較を行い、そのうち大きい方の構文解析率値を最大値メモリ（図示せず）に記憶する。さらに、この最大値メモリの構文解析率値と次の言語の構文解析率値との大小比較を行い、最終的には最も大きい構文解析率値に対応する言語を話者固有情報記憶部３１に記憶された音声特徴データに関連付けて記憶するとともに、認識対象言語として特定する（Ｓ４０〜Ｓ４３：言語特定ステップ）。
【００５０】
一方、ステップＳ２３にて音声データの音声特徴データが話者固有情報記憶部３１に記憶される既存の音声特徴データと同じ場合には当該既存の音声特徴データに関連付けられる言語に対応する音声認識処理手段２１ｉが音声認識処理を実行する。
【００５１】
つまり、この音声認識処理手段２１ｉは、対応する言語の音声認識用参照データ記憶部６ｉに記憶される例えば音声パターン等を参照し、音声認識結果及び認識成功率値を取得する（Ｓ４４：音声認識ステップ）。しかる後、この取得された認識成功率値が前述するように規定率値以上か否かを判断し、規定値以上の場合には音声認識結果をテキストデータに変換する（Ｓ４５、Ｓ４６：テキストデータ変換ステップ）。認識成功率値が規定率値未満であれば、再判断の必要性が有ると判断し、ステップＳ３４ａ，…，Ｓ３４ｎに移行し、前述同様の処理を繰り返す（Ｓ３４ａ，…，Ｓ３４ｎ、〜Ｓ４３）。
【００５２】
ステップＳ４６で変換されたテキストデータは、言語解析処理手段２３に渡される。この言語解析処理手段２３は、前述と同様に対応する言語の翻訳辞書部７ｉに記憶される文法規則・辞書に基づき、形態素解析及び構文解析等を実施し、言語分析率値である例えば構文解析率値を取得する（Ｓ４７）。そして、この取得された構文解析率値が予め定める規定率値以上であるか否かを判断し（Ｓ４８）、規定率値以上であれば、ステップＳ２３で決定済みとされた言語をそのまま利用する旨の信号を例えば翻訳処理手段２５に渡し、また構文解析率値が規定率未満であれば、再判断の必要性が有ると判断し、ステップＳ３４ａ，…，Ｓ３４ｎに移行し、前述同様の処理を繰り返す（Ｓ３４ａ，…，Ｓ３４ｎ、〜Ｓ４３）。
【００５３】
従って、以上のような実施の形態によれば、音声データから音声特徴データを抽出し、特定された言語とともに関連付けして記憶しているので、後に入力される音声データから抽出される音声特徴データに既に記憶される音声特徴データの中にほぼ類似する音声特徴データが存在する場合、当該音声特徴データに関連付けられる言語を一時的に特定し、第１の実施の形態と同様の音声認識処理以降の処理を実行するので、音声特徴データを抽出された段階で或る程度の言語を絞り込むことができ、しかも一時的に絞り込んだ言語に対応する音声認識処理及び文法解析処理を実施するので、一時的に特定した言語に対し、さらに音声データに対する精度の高い言語の特定が可能となる。
【００５４】
また、音声データから抽出された音声特徴データが既に記憶されている音声特徴データの中に存在しない場合、第１の実施の形態とほぼ同様な処理を実行するので、第１の実施の形態と同様な効果を奏することができる。
【００５５】
なお、本願発明は、上記実施の形態に限定されるものでなく、その要旨を逸脱しない範囲で種々変形して実施できる。
【００５６】
また、各実施の形態は可能な限り組み合わせて実施することが可能であり、その場合には組み合わせによる効果が得られる。さらに、上記各実施の形態には種々の上位，下位段階の発明が含まれており、開示された複数の構成要素の適宜な組み合わせにより種々の発明が抽出され得るものである。例えば問題点を解決するための手段に記載される全構成要件から幾つかの構成要件が省略されうることで発明が抽出された場合には、その抽出された発明を実施する場合には省略部分が周知慣用技術で適宜補われるものである。
【００５７】
【発明の効果】
以上説明したように本発明によれば、オペレータの介在なしに不特定言語の音声から最も適切な認識対象言語を特定可能な言語特定方法、言語特定用プログラム及び言語特定方法を用いた機械翻訳システムを提供できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態としての言語特定方法が用いられ、また言語特定用プログラムによって動作する機械翻訳システムの機能構成図。
【図２】図１に示す機械翻訳システムに用いた本発明に係わる言語特定方法の説明及び言語特定用プログラムによる一連の処理例を説明するフローチャート。
【図３】本発明の他の実施の形態としての言語特定方法が用いられ、また言語特定用プログラムによって動作する機械翻訳システムの機能構成図。
【図４】図３に示す音声固有情報記憶部に記憶されるデータ配列の一例図。
【図５】図３に示す機械翻訳システムに用いた本発明に係わる言語特定方法の説明及び言語特定用プログラムによる一連の処理例を説明するフローチャート。
【符号の説明】
１…音声入力部、２…音声言語処理制御部、３…翻訳結果出力部、４，４Ａ…言語特定用プログラムデータ記憶部、６ａ，…，６ｎ…言語別音声認識用参照データ記憶部、７ａ，…，７ｎ…翻訳辞書部、２１ａ，…，２１ｎ…音声認識処理手段、２２…テキストデータ変換手段、２３…言語解析処理手段、２４…言語特定処理手段、２５…翻訳処理手段、３１…話者固有情報記憶部、３２…話者認識処理手段。

Claims

話者の音声データの言語を特定する言語特定方法において、
前記話者の音声データについて言語決定済みか否かを判断する言語特定済み判断ステップと、
この言語特定済みステップの判断により言語未決定の場合、言語別に音声認識し、各言語ごとの音声認識結果及び認識成功率値を取得する第１の音声認識ステップと、
この音声認識ステップにより取得される認識成功率値が予め定める第１の規定値以上の場合、前記音声認識結果をテキストデータに変換するステップと、
これら変換されたテキストデータに対し、対応する言語による言語解析を行い、この言語解析結果から認識対象言語を特定する言語特定ステップとを有することを特徴とする言語特定方法。
請求項１に記載の言語特定方法において、
前記言語特定済み判断ステップによって言語決定済みと判断された場合、この決定済み言語に基づいて音声認識し、音声認識結果及び認識成功率値を取得する第２の音声認識ステップと、
この音声認識ステップにより取得される認識成功率値が予め定める第２の規定値以上の場合、前記音声認識結果をテキストデータに変換するステップと、
この変換されたテキストデータに対し、対応する言語による言語解析を行い、この言語解析結果から前記決定済み言語を認識対象言語とするか否かを判断するステップと、
前記認識成功率値が前記第２の規定値以下である場合及び前記決定済み言語を音声認識言語としない場合、前記第１の音声認識ステップに移行し、再判断処理を実行するステップとを有することを特徴とする言語特定方法。
請求項１又は請求項２に記載の言語特定方法において、
前記言語特定済み判断ステップによる言語決定済みか否かの判断に際し、先の連続音声データと次の連続音声データとの間の時間的推移に基づいて、前記次の連続音声データが前記先の連続音声データで特定された決定済みの言語を認識対象言語と特定することを特徴とする言語特定方法。
話者の音声データの言語を特定する言語特定方法において、
前記話者の音声データの音声特徴データを抽出し、この抽出された音声特徴データが既存の音声特徴データの中に存在するか否かを判断する既存話者判断ステップと、
このステップにより存在しないと判断された場合、言語別に音声認識し、各言語ごとの音声認識結果及び認識成功率値を取得する第１の音声認識ステップと、
この音声認識ステップにより取得される認識成功率値が予め定める第１の規定値以上の場合、前記音声認識結果をテキストデータに変換するステップと、
これら変換されたテキストデータに対し、対応する言語の解析を行い、この言語解析結果から認識対象言語を特定し、前記音声特徴データと当該認識対象言語とを関連付けて記憶する言語特定ステップとを有することを特徴とする言語特定方法。
請求項４に記載の言語特定方法において、
前記既存話者判断ステップによって抽出された音声特徴データが既存の音声特徴データの中に存在すると判断された場合、この既存の音声特徴データに関連付けられた言語に基づいて音声認識し、音声認識結果及び認識成功率値を取得する第２の音声認識ステップと、
この音声認識ステップにより取得される認識成功率値が予め定める第２の規定値以上の場合、前記音声認識結果をテキストデータに変換するステップと、
この変換されたテキストデータに対し、対応する言語の言語解析を行い、この言語解析結果から前記決定済み言語を認識対象言語とするか否かを判断するステップと、
前記認識成功率値が前記第２の規定値以下である場合及び前記決定済み言語を認識対象言語としない場合、前記第１の音声認識ステップに移行し、再判断処理を実行するステップとを有することを特徴とする言語特定方法。
請求項１ないし請求項５の何れか一項に記載の言語特定方法において、
前記言語解析は、テキストデータを、対応する言語の形態素解析及び構文解析の何れか一方又は両方の解析を行い、全体語数に対する未知語の数等から言語解析成功率が高い言語を認識対象言語とすることを特徴とする言語特定方法。
言語別の音声認識用参照データ及び言語別の文法規則・辞書データが記憶され、話者の音声データの言語を特定するコンピュータに、
前記話者の音声データを、言語別の音声認識用参照データを用いて、各言語別の音声認識結果及び認識成功率値を取得する音声認識処理機能と、この音声認識処理機能により取得された認識成功率値が予め定める規定率値以上である場合、前記音声認識結果のデータをテキストデータに変換するテキストデータ変換機能と、この変換機能により変換されたテキストデータに対し、対応する言語の文法規則・辞書データを用いて言語解析し、この言語解析結果から認識対象言語を特定する言語特定処理機能とを実現させることを特徴とする言語特定用プログラム。
言語別の音声認識用参照データ及び言語別の文法規則・辞書データの他、既に特定されている話者の音声に関する音声特徴データと言語情報とが関連付けられて記憶され、話者の入力される音声データの言語を特定するコンピュータに、
前記話者の音声データから音声特徴データを抽出し、この抽出された音声特徴データが前記既に記憶されている音声特徴データの中に存在するか否かを判断する話者認識処理機能と、この処理機能により抽出された音声特徴データが存在しない場合、前記音声データを、言語別の音声認識用参照データを用いて、言語別の音声認識結果及び認識成功率値を取得する第１の音声認識処理機能と、この音声認識処理機能により取得された認識成功率値が予め定める第１の規定率値以上である場合、前記音声認識結果のデータをテキストデータに変換する第１のテキストデータ変換機能と、この変換機能により変換されたテキストデータに対し、対応する言語の文法規則・辞書データを用いて言語解析し、この言語解析結果から認識対象言語を特定し、前記音声特徴データと当該認識対象言語とを関連付けして記憶する言語特定処理機能とを実現させることを特徴とする言語特定用プログラム。
請求項８に記載の言語特定用プログラムにおいて、
前記抽出された音声特徴データが前記既に記憶される音声特徴データの中に存在する場合、前記音声データを、既に存在する音声特徴データに関連付けられる言語の音声認識参照データを用いて、音声認識結果及び認識成功率値を取得する第２の音声認識処理機能と、この音声認識処理機能により取得された認識成功率値が予め定める第２の規定率値以上である場合、前記音声認識結果のデータをテキストデータに変換する第２のテキストデータ変換機能と、この変換機能により変換されたテキストデータに対し、対応する言語の文法規則・辞書データを用いて言語解析し、この言語解析結果から認識対象言語を特定する第２の言語特定処理機能と、前記認識成功率値が予め定める第２の規定率値以下である場合及び言語解析結果から認識対象言語を特定できない場合、前記第１の音声認識処理機能に戻って再判断処理を行う機能を実現させることを特徴とする言語特定用プログラム。
話者の音声データの言語を特定し翻訳処理を行う機械翻訳システムにおいて、
前記話者の音声データを、言語別の音声認識用参照データを用いて、言語別の音声認識結果及び認識成功率値を取得する音声認識処理手段と、この音声認識処理手段により取得された認識成功率値が予め定める規定率値以上である場合、前記音声認識結果のデータをテキストデータに変換するテキストデータ変換手段と、この変換手段により変換されたテキストデータに対し、対応する言語の文法規則・辞書データを用いて言語解析し、この言語解析結果から認識対象言語を特定する言語特定処理手段と、この言語特定処理手段により特定された言語のテキストデータを所要とする言語の文法規則・辞書データを用いて翻訳処理する翻訳処理手段とを備えたことを特徴とする機械翻訳システム。
話者の音声データの言語を特定し翻訳処理を行う機械翻訳システムにおいて、
既に特定された言語の音声データから得られる音声特徴データと当該言語とを関連付けて記憶する話者固有情報記憶手段と、
前記話者の音声データから音声特徴データを抽出し、この抽出された音声特徴データが前記話者固有情報記憶手段に記憶される音声特徴データの中に存在するか否かを判断する話者認識処理手段と、この処理手段により抽出された音声特徴データが存在しないと判断された場合、前記音声データを、言語別音声認識参照データを用いて、各言語別の音声認識結果及び認識成功率値を取得する第１の音声認識処理手段と、この音声認識処理手段により取得された認識成功率値が予め定める第１の規定率値以上である場合、前記音声認識結果のデータをテキストデータに変換する第１のテキストデータ変換手段と、この変換手段により変換されたテキストデータに対し、対応する言語の文法規則・辞書データを用いて言語解析し、この言語解析結果から認識対象言語を特定し、前記音声特徴データと当該認識対象となる言語とを関連付けして前記話者固有情報記憶手段に記憶する言語特定処理手段と、前記テキストデータを認識対象言語のテキストデータを所要とする言語の文法規則・辞書データを用いて翻訳処理する翻訳処理手段とを備えたことを特徴とする機械翻訳システム。
請求項１１に記載の機械翻訳システムにおいて、
前記抽出された音声特徴データが前記話者固有情報記憶手段に記憶される音声特徴データの中に存在する場合、前記話者の音声データを、既に存在する音声特徴データに関連付けられる言語の音声認識用参照データを用いて、音声認識結果及び認識成功率値を取得する第２の音声認識処理手段と、この音声認識処理手段により取得された認識成功率値が予め定める第２の規定率値以上である場合、前記音声認識結果のデータをテキストデータに変換する第２のテキストデータ変換手段と、この変換手段により変換されたテキストデータに対し、対応する言語の文法規則・辞書データを用いて言語解析し、この文法解析結果から認識対象言語を特定する第２の言語特定処理手段と、前記認識成功率値が予め定める第２の規定率値未満である場合及び文法解析結果から認識対象言語を特定できない場合、前記第１の音声認識処理手段に戻って再判断処理を行う手段とを備えたことを特徴とする機械翻訳システム。