JP2010186339A - 通訳装置、方法、及びプログラム - Google Patents

Abstract

【課題】開発コストを抑えつつ、通訳性能を向上させることができる通訳装置、方法、及びプログラムを提供する。
【解決手段】認識部５０は、認識知識記憶部３２に記憶された認識知識データベースを用いて発話音声を認識し、原言語の文字列を生成し、翻訳部５５は、翻訳知識記憶部３４に記憶された翻訳知識データベースを用いて文字列を目的言語に翻訳し、出力部２０は、翻訳結果を出力し、切替部４５は、通訳方向を切り替え、評価部６０は、通訳方向の切り替えの有無に応じて、文字列及び翻訳結果の少なくとも一方の信頼度を評価し、登録部６５が、文字列及び翻訳結果の少なくとも一方と、信頼度を対応付けて履歴記憶部３６に記憶させ、更新部７０が、所定の信頼度に対応付けられた文字列による認識知識データベースの更新、及び所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方を行う。
【選択図】図１

Description

本発明は、通訳装置、方法、及びプログラムに関する。

近年、文化や経済のグローバル化に伴い、異なる言語を母語とする人同士のコミュニケーションの機会が増加している。このため、自然言語処理技術、認識処理技術、機械翻訳技術などを採用し、異なる言語を母語とする人同士のコミュニケーションを支援する通訳装置への期待が高まっている。

このような認識処理技術や機械翻訳技術を実現するためには、規則、辞書、及び用例等の言語資源の準備や各種数値パラメータ等の調整などを、通訳装置の開発者（例えば、複数の言語を母語とするバイリンガル）などの人手により行う必要がある。

例えば、原言語による文と目的言語による複数の翻訳文とを対応付けて用意しておき、状況に応じて翻訳文を使い分けることが従来技術として知られているが（特許文献１参照）、この対応付けには、人手による作業が必要となる。

特開２００６−３３０２９８号公報（第７図）

しかしながら、認識処理や翻訳処理に用いられるデータを人手による作業で用意するとなると、開発コストが非常に大きくなってしまうという問題がある。

なお、利用者の利用履歴に基づいて認識処理や翻訳処理に用いられるデータを学習するようにすれば、人手による作業を減らすことができるものの、通訳装置の認識結果や翻訳結果には少なからず誤りが存在するため、誤ったデータによる学習が行われてしまい、通訳性能が悪くなってしまう可能性がある。特に、通訳装置の利用者は、通常、コミュニケーション相手の母語を理解することができないため、利用者自身も翻訳結果が正しいか否かを判断することができない。

本発明は、上記事情に鑑みてなされたものであり、開発コストを抑えつつ、通訳性能を向上させることができる通訳装置、方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる通訳装置は、通訳の対象となる原言語のデータの入力を受け付ける受付部と、前記データの認識に用いる認識知識データベースを記憶する認識知識記憶部と、前記認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識部と、前記文字列の翻訳に用いる翻訳知識データベースを記憶する翻訳知識記憶部と、前記翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳部と、前記翻訳部の翻訳結果を出力する出力部と、前記翻訳部の原言語及び目的言語を切り替えることにより、前記翻訳部の通訳方向を切り替える切替部と、前記データの通訳方向の切り替えの有無を前記切替部から受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価部と、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて記憶する履歴記憶部と、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新部と、を備えることを特徴とする。

また、本発明の別の態様にかかる通訳方法は、受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、を含むことを特徴とする。
また、本発明の別の態様にかかる通訳プログラムは、受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、をコンピュータに実行させるためものである。

本発明によれば、通訳の対象となる原言語のデータを認識して生成された文字列及びその翻訳結果の少なくとも一方の信頼度が、新たなデータの通訳方向の切り替えの有無に応じて自動的に評価され、文字列及び翻訳結果の少なくとも一方と信頼度が対応付けられて記憶される。そして、所定の信頼度に対応付けられた文字列による認識知識データベースの更新、及び所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方が行われる。従って本発明によれば、開発コストを抑えつつ、通訳性能を向上させることができるという効果を奏する。

図１は、本実施の形態の通訳装置の構成の一例を示すブロック図である。 図２は、本実施の形態の履歴記憶部に記憶されている情報の一例を示す図である。 図３は、本実施の形態の通訳装置で行われる通訳の処理手順の流れの一例を示すフローチャートである。 図４は、本実施の形態の信頼度評価処理の一例を示すフローチャートである。 図５は、本実施の形態の通訳装置で行われる通訳の具体例を説明するための図である。 図６は、通訳方向の連続切替回数毎の認識精度及び翻訳精度の評価結果を示すグラフである。

以下、添付図面を参照しながら、本発明にかかる通訳装置、方法、及びプログラムの最良な実施の形態を詳細に説明する。

本実施の形態の通訳装置は、異なる言語を母語とする複数の利用者が意思の疎通を図るために利用するものであり、自身の母語による表現を入力すると、この表現を相手の母語に翻訳した翻訳結果を出力する。

なお、以下では、日本語から中国語への音声翻訳、及び中国語から日本語への音声翻訳を双方向で行う場合を例にとり説明するが、通訳形態は音声翻訳に限定されるものではなく、また、あらゆる言語間での双方向通訳に適用することができる。

まず、本実施の形態の通訳装置の構成について説明する。

図１は、本実施の形態の通訳装置１の構成の一例を示すブロック図である。図１に示すように、通訳装置１は、入力部１０と、出力部２０と、記憶部３０と、受付部４０と、切替部４５と、認識部５０と、翻訳部５５と、評価部６０と、登録部６５と、更新部７０と、検索部７５と、出力制御部８０とを備える。

入力部１０は、通訳装置１の利用者が発話する音声などを入力するものであり、例えば、マイクなどの既存の音声入力装置により実現できる。

出力部２０は、後述する出力制御部８０の指示により、音声認識結果や翻訳結果などの各種フィードバック情報やガイダンス情報を出力するものであり、例えば、タッチパネル、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ、又は電子ペーパーなどの既存の表示装置により実現できる。なお出力部２０を、スピーカなどの既存の音声出力装置により実現してもよいし、これらを併用して実現するようにしてもよい。

記憶部３０は、通訳装置１で行われる各種処理に使用される情報を記憶するものであり、例えば、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの既存の記憶媒体により実現できる。そして記憶部３０は、認識知識記憶部３２と、翻訳知識記憶部３４と、履歴記憶部３６とを含む。なお、認識知識記憶部３２、翻訳知識記憶部３４、及び履歴記憶部３６の詳細については後述する。

受付部４０は、入力部１０から発話音声（通訳の対象となる原言語のデータの一例）の入力を受け付ける。具体的には、受付部４０は、入力部１０から入力された音声のアナログ信号に対してサンプリングを行ってステレオのデジタル信号に変換し、このデジタル信号を高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）などにより周波数的な特徴に変換する。なお、デジタル信号への変換には、例えば、Ａ／Ｄ変換など既存の技術を用いることができる。

切替部４５は、後述の翻訳部５５の原言語及び目的言語を互いに切り替えることにより、翻訳部５５の通訳方向を切り替える。具体的には、切替部４５は、受付部４０により周波数的な特徴に変換された発話音声を分析して、異なる言語を母語とする複数の利用者のうち、いずれの利用者の発話であるかを判定し、判定結果に応じた通訳方向に切り替える。

例えば、通訳装置１の利用者が日本語のみを話す日本語話者及び中国語のみを話す中国語話者である場合、切替部４５は、通訳装置１に予め登録されている日本語話者及び中国語話者の音声的特長を参照して発話音声の性質を分析することにより、日本語話者の発話であるか、中国語話者の発話であるかを判定する。

そして、切替部４５は、日本語話者の発話であると判定し、原言語が中国語、目的言語が日本語に設定されている場合や、中国語話者の発話であると判定し、原言語が日本語、目的言語が中国語に設定されている場合に、互いの言語を切り替えることにより通訳方向を切り替える。

一方、切替部４５は、日本語話者の発話であると判定し、原言語が日本語、目的言語が中国語に設定されている場合や、中国語話者の発話であると判定し、原言語が中国語、目的言語が日本語に設定されている場合には、通訳方向は切り替えない。

なお、話者の判定には、例えば、受付部４０により受け付けられた発話音声の基本周波数、スペクトル分布、フォルマント分布、又は発話速度などの音響的な特徴量を分析する既存の話者判定技術を用いることができる。

認識知識記憶部３２は、発話音声の認識に用いる認識知識データベースを記憶する。なお、「認識知識データベース」は、例えば、音素や単語の標準発声の分析結果である音響モデルや、音素や単語などの出現パターンの統計的なモデルである言語モデルなどの集合である。

認識部５０は、認識知識記憶部３２に記憶された認識知識データベースを用いて、受付部４０により受け付けられた発話音声を原言語で認識し、認識した原言語の文字列を生成する。具体的には、認識部５０は、音響モデルや言語モデルなどを参照して、受付部４０により周波数的な特徴に変換された発話音声の音声認識を行い、認識した発話内容を原言語の文字列として生成する。

なお、音声認識には、例えば、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなど既存の音声認識方法を用いることができる。

翻訳知識記憶部３４は、認識部５０により生成された文字列の翻訳に用いる翻訳知識データベースを記憶する。なお、「翻訳知識データベース」は、原言語及び目的言語の語彙辞書、文法規則、両言語間の構造変換規則、両言語間の語彙の対応関係を示す訳語辞書、意味的に等価な両言語による文や表現の対である対訳対、又は対訳対から抽出された統計的なパラメータなどの集合である。

翻訳部５５は、翻訳知識記憶部３４に記憶された翻訳知識データベースを用いて、認識部５０により生成された原言語の文字列を目的言語に翻訳する。具体的には、翻訳部５５は、翻訳知識データベースを参照しながら、形態素解析、構文解析、意味解析、構造変換、類似用例検索、又は統計的な写像に基づく表現の変換などを行うことにより、認識部５０により生成された原言語の表現を意味的に等価な目的言語の表現へと変換する。

なお、翻訳には、例えば、規則翻訳、用例翻訳、統計翻訳などの既存の翻訳方法を用いることができ、これらの任意の組み合わせであるハイブリッド翻訳を用いるようにしてもよい。

評価部６０は、受付部４０に受け付けられる発話音声の通訳方向の切り替えの有無を切替部４５から受け取り、発話音声の受け付け前に認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼度を評価する。

具体的には、評価部６０は、受付部４０に受け付けられる新たな発話音声の通訳方向の切り替えが発生した場合に、新たな発話音声の受け付け前に認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼度を高く評価する。

登録部６５は、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方と、評価部６０により評価された信頼度を対応付けて履歴記憶部３６に履歴として記憶させる。

なお、登録部６５は、これに加え、受付部４０に受付けられた発話音声、切替部４５による話者の判定結果や通訳方向を履歴記憶部３６に履歴として記憶させるようにしてもよい。例えば、日本語及び中国語間での双方向通訳の通訳結果や日本語及び英語間での双方向通訳の通訳結果など複数方向の通訳結果が履歴記憶部３６に記憶される場合に、通訳方向を記憶しておくことにより、評価部６０は、所定の通訳方向の通訳結果のみから信頼度を評価できるようになり、より精度の高い信頼度評価を行うことができる。

図２は、履歴記憶部３６に記憶されている情報の一例を示す図である。図２に示す例では、履歴記憶部３６は、ＩＤ、切替部４５による話者判定結果、通訳方向、認識部５０により生成された文字列（認識結果）、翻訳部５５の翻訳結果、及び評価部６０により評価された信頼度を対応付けて記憶している。

また図２に示す例では、信頼度は、「○」、「×」で表されており、「○」は信頼度が高いことを示し、「×」は信頼度が低いことを示している。なお本実施の形態では、信頼度を「○」、「×」の２段階で表しているが、これを多段階で表したり、数値などの連続値で表すようにしてもよい。また図２に示す例では、評価前の信頼度であり、信頼度が未定であることを「―」で示している。

更新部７０は、履歴記憶部３６に記憶され、所定の信頼度に対応付けられた文字列（認識結果）による認識知識データベースの更新、及び履歴記憶部３６に記憶され、所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方を行う。

例えば、更新部７０は、信頼度の低い文字列を履歴記憶部３６から読み出し、この文字列の認識に用いられた認識知識データ（例えば、言語モデルなど）を認識知識記憶部３２から削除する。このようにすると、不要な言語モデルなどを削減できるため、認識処理時の解析の曖昧性を減少させることができ、認識精度の向上が期待できる。

また例えば、更新部７０は、信頼度の高い文字列及びその翻訳結果を履歴記憶部３６から読み出し、これらを翻訳知識データ（例えば、対訳対）として翻訳知識記憶部３４に追加登録する。このようにすると、信頼度の高い対訳対を増加できるため、翻訳精度の向上が期待できる。

検索部７５は、履歴記憶部３６に記憶された文字列（認識結果）のうち認識部５０により生成された文字列と同一又は類似の文字列、及び履歴記憶部３６に記憶された翻訳結果のうち翻訳部５５の翻訳結果と同一又は類似の翻訳結果の少なくとも一方に対応付けられた信頼度を検索する。

なお、類似判定は、認識結果及び翻訳結果がいずれも文字列であるため、文字列の比較により実現できるが、既存の自然言語処理技術を併用することにより、より高精度な類似判定を行うことができる。既存の自然言語処理技術としては、例えば、音声認識に於いて誤りが生じやすい音素や文字の組合せの情報であるコンヒュージョンマトリクスを利用した処理、単語の境界や品詞を分析する形態素解析、意味的なまとまりを検出するチャンキング処理、人名、組織名、地名、数値表現、及び固有名詞等を抽出する固有表現抽出、並びに統語的な構造を抽出する句構造解析などがある。

また、検索部７５は、受付部４０に受付けられた発話音声、切替部４５による話者の判定結果や通訳方向が履歴記憶部３６に記憶されている場合には、これらの情報を信頼度の検索に用いるようにしてもよい。

出力制御部８０は、認識部５０により生成された文字列や翻訳部５５の翻訳結果を出力部２０に出力させる。

また、出力制御部８０は、検索部７５により検索された信頼度に基づいて、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼性を出力部２０に出力させる。

例えば、出力制御部８０は、検索部７５により検索された複数の信頼度のうち、信頼度が高いものの全体に占める割合を、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼性として出力部２０に出力させる。例えば、信頼度が５つ検索され、そのうち３つの信頼度が高く（図２に示す例では「○」）、残りの２つの信頼度が低い（図２に示す例では「×」）場合には、信頼度は６０％となる。

なお、出力部２０を既存の表示装置により実現する場合には、出力制御部８０は、これらの情報を表示装置に表示させる。また、出力部２０を既存の音声出力装置により実現する場合には、これらの情報を音声信号に変換する音声合成処理を行い、音声合成処理により生成した音声信号をＤＡ変換して音声出力装置に音声出力させる。また出力制御部８０は、これらの出力手法を必要に応じて切り替えるようにしてもよいし、併用するようにしてもよい。

次に、本実施の形態の通訳装置の動作について説明する。

図３は、本実施の形態の通訳装置１で行われる通訳の処理手順の流れの一例を示すフローチャートである。なお、以下の説明では、原言語及び目的言語は、互いの利用者の母語に設定されているものとする。

まず、受付部４０は、入力部１０から発話音声の入力が行われたか否かを確認する（ステップＳ１０）。

そして、受付部４０により発話音声の入力が受け付けられた場合には（ステップＳ１０でＹｅｓ）、切替部４５は、通訳装置１の複数の話者（利用者）のうち、いずれの話者の発話であるかを判定する（ステップＳ１２）。

そして、切替部４５は、話者判定により判定された話者の母語が原言語に設定されていない場合には（ステップＳ１４でＮｏ）、原言語及び目的言語を互いに切り替えることにより、通訳方向を切り替える（ステップＳ１６）。

一方、話者判定により判定された話者の母語が原言語に設定されている場合には（ステップＳ１４でＹｅｓ）、ステップＳ１６に示す通訳方向の切り替えは行われない。

続いて、評価部６０は、通訳方向の切り替えの有無を切替部４５から受け取り、前回受け付けられた発話音声から生成された文字列及びその翻訳結果の信頼度を評価する信頼度評価処理を行う（ステップＳ１８）。なお、信頼度評価処理の詳細については、後述する。

続いて、登録部６５は、評価部６０により評価された信頼度を、履歴記憶部３６に既に記憶されている前回受け付けられた発話音声から生成された文字列及びその翻訳結果に対応付けて履歴として記憶させる（ステップＳ２０）。

続いて、認識部５０は、認識知識記憶部３２に記憶された認識知識データベースを用いて、受付部４０により受け付けられた発話音声を原言語で認識し、認識した原言語の文字列を生成する（ステップＳ２２）。

続いて、翻訳部５５は、翻訳知識記憶部３４に記憶された翻訳知識データベースを用いて、認識部５０により生成された原言語の文字列を目的言語に翻訳する（ステップＳ２４）。

続いて、出力制御部８０は、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果を出力部２０に出力させる（ステップＳ２６）。

続いて、検索部７５は、履歴記憶部３６に記憶されている文字列（認識結果）のうち認識部５０により生成された文字列と同一又は類似の文字列、及び履歴記憶部３６に記憶されている翻訳結果のうち翻訳部５５の翻訳結果と同一又は類似の翻訳結果に対応付けられた信頼度を検索する（ステップＳ２８）。

そして、検索部７５により信頼度が検索され、検索に成功した場合には（ステップＳ３０でＹｅｓ）、出力制御部８０は、検索部７５により検索された信頼度に基づいて、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の信頼性を出力部２０に出力させる（ステップＳ３２）。

一方、検索部７５により信頼度が検索されず、信頼度の検索に失敗した場合には（ステップＳ３０でＮｏ）、ステップＳ３２に示す信頼性の出力は行われない。

続いて、登録部６５は、切替部４５による話者の判定結果や通訳方向、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果を履歴記憶部３６に履歴として記憶させる（ステップＳ３４）。

続いて、更新部７０は、履歴記憶部３６に記憶され、所定の信頼度に対応付けられた文字列（認識結果）による認識知識データベースの更新、及び履歴記憶部３６に記憶され、所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方を行う（ステップＳ３６）。

続いて、受付部４０は、入力部１０から新たな発話音声の入力が行われたか否かを確認し（ステップＳ１０）、発話音声の入力が行われない場合には（ステップＳ１０でＮｏ）、通訳装置１は処理を終了する。

次に、図４を参照しながら、図３のステップＳ１６に示す信頼度評価処理について説明する。図４は、信頼度評価処理の一例を示すフローチャートである。

まず、評価部６０は、前回受け付けられた発話音声の話者の判定結果を履歴記憶部３６から取得する（ステップＳ４０）。

続いて、評価部６０は、取得された判定結果が示す話者（以下、「前回の話者」という）と、切替部４５より判定された今回受付けられた発話音声の話者（以下、「今回の話者」という）とが同一であるか否かを確認する（ステップＳ４２）。

そして、前回の話者と今回の話者とが異なる場合（ステップＳ４２でＹｅｓ）、即ち、切替部４５により通訳方向が切り替えられた場合には、前回受け付けられた発話音声から生成された文字列及びその翻訳結果の信頼度を高く評価する（ステップＳ４４）。

一方、前回の話者と今回の話者とが同一である場合（ステップＳ４２でＮｏ）、即ち、切替部４５により通訳方向が切り替えられなかった場合には前回受け付けられた発話音声から生成された文字列及びその翻訳結果の信頼度を低く評価する（ステップＳ４６）。

次に、本実施の形態の通訳装置で行われる通訳の具体例について説明する。

図５は、本実施の形態の通訳装置１で行われる通訳の具体例を説明するための図である。

まず、Ｔ１の時点において、日本語話者が日本語の発話内容１１１を発話すると、認識部５０により日本語の文字列１１２が生成され、翻訳部５５により中国語の翻訳結果１１３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ１」が対応付けられて履歴記憶部３６に記憶される。なお、この時点では、まだ、信頼度は記憶されていない。

続いて、Ｔ２の時点において、中国語話者が中国語の発話内容１２１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ１の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ１」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。

そして、認識部５０により中国語の発話内容１２１から中国語の文字列１２２が生成され、翻訳部５５により日本語の翻訳結果１２３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ２」が対応付けられて履歴記憶部３６に記憶される。

続いて、中国語の文字列１２２は誤った認識結果であるため、Ｔ３の時点において、中国語話者が中国語の発話内容１２１を再度発話する。この場合、切替部４５による通訳方向の切り替えは行われないため、評価部６０により前回の通訳結果（Ｔ２の時点の通訳結果）は信頼度が低いと評価され、図２に示すように、ＩＤ「Ｈ２」の通訳結果には、信頼度「×」が対応付けられて履歴記憶部３６に記憶される。

そして、認識部５０により中国語の発話内容１２１から中国語の文字列１３２が生成され、翻訳部５５により日本語の翻訳結果１３３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ３」が対応付けられて履歴記憶部３６に記憶される。

続いて、Ｔ４の時点において、日本語話者が日本語の発話内容１４１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ３の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ３」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。

そして、認識部５０により日本語の発話内容１４１から日本語の文字列１４２が生成され、翻訳部５５により中国語の翻訳結果１４３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ４」が対応付けられて履歴記憶部３６に記憶される。

続いて、日本語の文字列１４２は誤った認識結果であるため、Ｔ５の時点において、日本語話者が日本語の発話内容１４１を再度発話する。この場合、切替部４５による通訳方向の切り替えは行われないため、評価部６０により前回の通訳結果（Ｔ４の時点の通訳結果）は信頼度が低いと評価され、図２に示すように、ＩＤ「Ｈ４」の通訳結果には、信頼度「×」が対応付けられて履歴記憶部３６に記憶される。

そして、認識部５０により日本語の発話内容１４１から日本語の文字列１５２が生成され、翻訳部５５により日本語の翻訳結果１５３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ５」が対応付けられて履歴記憶部３６に記憶される。

続いて、Ｔ６の時点において、中国語話者が中国語の発話内容１６１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ５の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ５」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。

そして、認識部５０により中国語の発話内容１６１から中国語の文字列１６２が生成され、翻訳部５５により日本語の翻訳結果１６３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ６」が対応付けられて履歴記憶部３６に記憶される。

続いて、Ｔ７の時点において、日本語話者が日本語の発話内容１７１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ６の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ６」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。

そして、認識部５０により日本語の発話内容１７１から日本語の文字列１７２が生成され、翻訳部５５により中国語の翻訳結果１７３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ７」が対応付けられて履歴記憶部３６に記憶される。

続いて、Ｔ８の時点において、中国語話者が中国語の発話内容１８１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ７の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ７」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。

そして、認識部５０により中国語の発話内容１８１から中国語の文字列１８２が生成され、翻訳部５５により日本語の翻訳結果１８３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ８」が対応付けられて履歴記憶部３６に記憶される。

この結果、音声認識誤り及び翻訳誤りが生じずに通訳処理に成功したＴ１、Ｔ３、Ｔ５、Ｔ６、Ｔ７の時点における通訳結果の信頼度は、いずれも高く評価されている。

このように本実施の形態では、発話音声を認識して生成された文字列及びその翻訳結果の少なくとも一方の信頼度が、新たな発話音声の通訳方向の切り替えの有無に応じて自動的に評価され、文字列及び翻訳結果の少なくとも一方と信頼度が対応付けられて記憶される。そして、所定の信頼度に対応付けられた文字列による認識知識データベースの更新、及び所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方が行われる。

従って本実施の形態によれば、発話音声を認識して生成された文字列及びその翻訳結果の信頼度を自動的に評価することができ、この信頼度を利用して認識知識データベース及び翻訳知識データベースの更新（学習）ができるため、開発コストを抑えつつ、通訳性能を向上させることができるという効果を奏する。

また本実施の形態では、認識部５０により生成された文字列と同一又は類似の文字列に対応付けられた信頼度、及び翻訳部５５の翻訳結果と同一又は類似の翻訳結果に対応付けられた信頼度の少なくとも一方が履歴記憶部３６から検索される。そして、検索された信頼度に基づいて、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果の少なくとも一方の信頼性が出力される。

従って本実施の形態によれば、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果の信頼性を利用者は確認することができる。特に本実施の形態によれば、通常、利用者自身も正しいか否かを判断することができない翻訳結果の信頼性を確認することができるため、より自然にコミュニケーション相手との意思の疎通を図ることができるようになる。

また本実施の形態では、通訳方向が切り替えられるということは、会話が成立している可能性が高いため、その通訳結果の信頼度を高く評価している。

なお上記実施の形態の通訳装置１は、ＣＰＵ（Central Processing Unit）などの制御装置、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置、マイクなどの音声入力装置、液晶ディスプレイなどの表示装置、スピーカなどの音声出力装置等を備えたハードウェア構成となっている。

また、上記実施の形態の通訳装置１で実行される通訳プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、上記実施の形態の通訳装置１で実行される通訳プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の通訳装置１で実行される通訳プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、上記実施の形態の通訳装置１の通訳プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、上記実施の形態の通訳装置１で実行される通訳プログラムは、上述した各部（受付部、切替部、認識部、翻訳部、評価部、登録部、更新部、検索部、出力制御部等）を含むモジュール構成となっている。そして、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から通訳プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受付部、切替部、認識部、翻訳部、評価部、登録部、更新部、検索部、出力制御部等が主記憶装置上に生成されるようになっている。

（変形例）
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

（変形例１）
上記実施の形態では、新たな発話音声の通訳方向の切り替えの有無に応じて信頼度を評価する例について説明したが、新たな発話音声の通訳方向の切り替え発生までの通訳方向の連続切替回数や、新たな発話音声の通訳方向の切り替え発生までの所定時間内での通訳方向の切り替えの発生密度により信頼度を評価するようにしてもよい。

例えば上記実施の形態では、図４の信頼度評価処理が示すように、前回の話者と今回の話者が同一であるか否かのみを確認するようにしているが、これに加え、前々回の話者と前回の話者が同一であるか（２回連続で通訳方向が切り替えられているか）を確認するようにしてもよい。そして、２回連続で通訳方向が切り替えられているということは、より長く会話が成立している可能性が高いため、その通訳結果の信頼度をより高く評価することができる。

図６は、通訳方向の連続切替回数毎の認識精度及び翻訳精度の評価結果を示すグラフである。図６では、横軸が連続切替回数を示し、縦軸が認識精度及び翻訳精度を示している。また、実線が認識精度を示しており、破線が翻訳精度を示している。なお、上記実施の形態の通訳装置は、連続切替回数が１である場合に該当し、信頼度評価処理を行わない従来の通訳装置は、連続切替回数が０である場合に該当する。

図６に示すように、連続切替回数を多くするほど、認識精度及び翻訳精度が高くなる傾向にあるため、通訳方向の切り替え発生までの通訳方向の連続切替回数が多くなるほど、その通訳結果の信頼度をより高く評価するようにすることができる。

なお、通訳方向の切り替え発生までの所定時間内での通訳方向の切り替えの発生密度で信頼度を評価する場合も同様である。

（変形例２）
また上記実施の形態では、利用者の発話音声を認識して翻訳する音声翻訳を例に取り説明したが、例えば、タッチパネルから入力された利用者の手書き入力データ（例えば、文字データや描画データ）を元言語に認識して目的言語に翻訳するようにしてもよい。また、利用者の動作又は表情（例えば、手話、ジェスチャ、顔の表情など）をデジタルカメラなどの撮像装置で撮像した撮像データを元言語に認識して目的言語に翻訳するようにしてもよい。

（変形例３）
また上記実施の形態では、発話音声を分析していずれの利用者の発話であるかを判定し、判定結果に応じた通訳方向に切り替える例について説明したが、発話音声を分析してその言語種別を判定し、判定結果に応じた通訳方向に切り替えるようにしてもよい。また、通訳方向を切り替える切替ボタン操作などによって通訳方向を切り替えるようにしてもよい。

また、利用者の手書き入力データを元言語に認識して目的言語に翻訳する場合には、手書き入力データの書体を判別して、判定結果に応じた通訳方向に切り替えるようにしてもよい。また、タッチパネルに対する入力を行うタッチペンなどを利用者毎に用意しておき、これらのタッチペンに無線タグや、磁気タグなどのマーカを備えさせることにより、このマーカを用いて通訳方向に切り替えるようにしてもよい。

また撮像装置で撮像した撮像データを元言語に認識して目的言語に翻訳する場合には、撮像データから識別可能な特徴（例えば、性別、年齢、身体的特徴等）を判定し、判定結果に応じた通訳方向に切り替えるようにしてもよい。

（変形例４）
また上記実施の形態では、通訳装置の利用者が日本語話者と中国語話者の２名である場合を例にとり説明したが、通訳装置の利用者は３名以上であってもよく、利用者が複数の言語を用いたり解したりする状況で上記実施の形態の通訳装置を利用するようにしてもよい。

（変形例５）
また上記実施の形態では、話者判定結果、通訳方向、認識結果、翻訳結果、及び評価部６０により評価された信頼度などを履歴する例について説明したが、例えば、翻訳に用いる辞書の種別や、ハイブリッド翻訳を行う場合には、翻訳方法を履歴するようにしてもよい。このような情報を用いて識別された通訳結果のみから信頼度を評価すれば、より精度の高い信頼度評価を行うことができる。

１ 通訳装置
１０ 入力部
２０ 出力部
３０ 記憶部
３２ 認識知識記憶部
３４ 翻訳知識記憶部
３６ 履歴記憶部
４０ 受付部
４５ 切替部
５０ 認識部
５５ 翻訳部
６０ 評価部
６５ 登録部
７０ 更新部
７５ 検索部
８０ 出力制御部
１１１、１２１、１４１、１６１、１７１、１８１ 発話内容
１１２、１２２、１３２、１４２、１５２、１６２、１７２、１８２ 文字列
１１３、１２３、１３３、１４３、１５３、１６３、１７３、１８３ 翻訳結果

Claims (8)

1. 通訳の対象となる原言語のデータの入力を受け付ける受付部と、
   前記データの認識に用いる認識知識データベースを記憶する認識知識記憶部と、
   前記認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識部と、
   前記文字列の翻訳に用いる翻訳知識データベースを記憶する翻訳知識記憶部と、
   前記翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳部と、
   前記翻訳部の翻訳結果を出力する出力部と、
   前記翻訳部の原言語及び目的言語を切り替えることにより、前記翻訳部の通訳方向を切り替える切替部と、
   前記データの通訳方向の切り替えの有無を前記切替部から受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価部と、
   前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて記憶する履歴記憶部と、
   所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新部と、を備えることを特徴とする通訳装置。
2. 前記履歴記憶部に記憶された前記文字列のうち前記認識部に生成された前記文字列と同一又は類似の文字列、及び前記履歴記憶部に記憶された前記翻訳結果のうち前記翻訳部の前記翻訳結果と同一又は類似の翻訳結果の少なくとも一方に対応付けられた前記信頼度を検索する検索部を更に備え、
   前記出力部は、検索された前記信頼度に基づいて、前記文字列及び前記翻訳結果の少なくとも一方の信頼性を出力することを特徴とする請求項１に記載の通訳装置。
3. 前記評価部は、前記受付部に受け付けられる新たな前記データの通訳方向の切り替えが発生した場合に、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を高く評価することを特徴とする請求項１又は２に記載の通訳装置。
4. 前記評価部は、前記受付部に受け付けられる新たな前記データの通訳方向の切り替え発生までの通訳方向の連続切替回数が多いほど、又は前記受付部に受け付けられる新たな前記データの通訳方向の切り替え発生までの所定時間内での通訳方向の切り替えの発生密度が高いほど、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を高く評価することを特徴とする請求項３に記載の通訳装置。
5. 前記データは、利用者の発話音声、利用者の手書き入力データ、及び利用者の動作又は表情を撮像した撮像データの少なくともいずれかであることを特徴とする請求項１〜４のいずれか１つに記載の通訳装置。
6. 前記切替部は、利用者の切り替え操作入力の有無、前記データの言語種別、前記発話音声の声質、前記手書き入力データの書体、前記撮像データから識別可能な特徴、及び利用者を識別可能なマーカの少なくともいずれかに基づいて通訳方向を判定し、この判定結果に応じて通訳方向を切り替えることを特徴とする請求項５に記載の通訳装置。
7. 受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、
   認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、
   翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、
   出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、
   切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、
   評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、
   登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、
   更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、を含むことを特徴とする通訳方法。
8. 受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、
   認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、
   翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、
   出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、
   切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、
   評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、
   登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、
   更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、をコンピュータに実行させるための通訳プログラム。

Images