JP2011128260A - 外国語会話支援装置、方法、プログラム、および電話端末装置 - Google Patents

Abstract

【課題】会話を阻害することなく、状況に応じて適切に会話を支援するための翻訳支援情報を提示する。
【解決手段】外国語会話支援装置２０において、言語識別部２１で、入力音声３１の言語の種別を識別するとともに、音声出力部２４で、会話相手への出力音声として出力し、判定部２２で、入力音声３１が会話相手との会話で使用している会話言語か否かを判定し、入力音声３１が会話相手との会話で使用している会話言語でなかった場合、会話支援部２５で、入力音声３１を会話言語に翻訳するための翻訳支援情報３３を生成し、その翻訳支援情報３３を画面表示する。
【選択図】 図１

Description

本発明は、会話支援技術に関し、特に外国語を用いて会話している際に利用者が分からない言葉を翻訳して支援する外国語会話支援に関する。

同時通訳者のように、複数言語で会話する能力のある人が母国語以外の言語で会話を行う場合に、知らない単語や会話表現等がある場合に、辞書や機械翻訳装置を用いてそれらを調べることで会話を円滑に進めることがある。
このような目的に使用可能な機械翻訳装置として、特許文献１に記載される機械翻訳装置がある。この従来の機械翻訳装置は、装置利用者が調べたい、あるいは、翻訳したい語句を音声で入力し、その結果を参照して会話に活用するものである。

特許第４１３５３１６号公報

しかしながら、このような関連技術では、母国語でない言語で会話をしている最中に、意味や表現を調べたい場合、会話を中断して利用者が明示的にその機能を有効にする必要があるため、この機能の起動／停止を選択するための操作負担が発生し、会話が阻止されるという問題点があった。その理由は、特許文献１記載の機械翻訳システムでは、機械翻訳システムに入力された母国語が、機器を操作するためのコマンド発声か、意味や表現を調べたい語句なのかを判定する機能しか備えていないためである。

本発明はこのような課題を解決するためのものであり、会話を阻害することなく、状況に応じて適切に会話を支援するための翻訳支援情報を提示できる外国語会話支援技術を提供することを目的としている。

このような目的を達成するために、本発明にかかる外国語会話支援装置は、入力音声の言語の種別を識別する言語識別部と、入力音声を一時的に蓄積する音声蓄積部と、音声蓄積部から入力音声を読み出して会話相手への出力音声として出力する音声出力部と、識別結果に基づいて、入力音声が会話相手との会話で使用している会話言語か否かを判定する判定部と、判定の結果、入力音声が会話言語でなかった場合、音声蓄積部から入力音声を読み出して、入力音声を会話言語に翻訳するための翻訳支援情報を生成し、その翻訳支援情報を画面表示する会話支援部とを備えている。

この際、音声出力部で、判定の結果、入力音声が会話言語でなかった場合、出力音声の出力を停止するようにしてもよい。

また、音声出力部で、判定の結果、入力音声が会話言語でなかった場合、会話支援部による会話支援機能が動作中であることを会話相手に告知する音声信号を、出力音声として出力するようにしてもよい。

また、会話支援部を、音声蓄積部から入力音声を読み出して音声認識する音声認識部と、音声認識で得られた文字情報を会話言語へ翻訳する機械翻訳部と、翻訳の結果を翻訳支援情報として画面表示する翻訳結果表示部とから構成してもよい。

また、本発明にかかる外国語会話支援方法は、入力音声の言語の種別を識別した識別結果に基づいて、入力音声が会話相手との会話で使用している会話言語か否かを判定する判定ステップと、入力音声を会話相手への出力音声として出力する音声出力ステップと、判定の結果、入力音声が会話言語でなかった場合、入力音声を会話言語に翻訳するための翻訳支援情報を生成し、その翻訳支援情報を画面表示する会話支援ステップとを備えている。

この際、音声出力ステップで、判定の結果、入力音声が会話言語でなかった場合、出力音声の出力を停止するようにしてもよい。

また、音声出力ステップで、判定の結果、入力音声が会話言語でなかった場合、会話支援ステップによる会話支援機能が動作中であることを会話相手に告知する音声信号を、出力音声として出力するようにしてもよい。

また、会話支援ステップを、入力音声を音声認識する音声認識ステップと、音声認識で得られた文字情報を会話言語へ翻訳する機械翻訳ステップと、翻訳の結果を翻訳支援情報として画面表示する翻訳結果表示ステップとから構成してもよい。

また、本発明にかかるプログラムは、コンピュータに、前述したいずれかの外国語会話支援装置を構成する各部として機能させるためのプログラムである。
また、本発明にかかる電話端末装置は、前出したいずれかの外国語会話支援装置を含む電話端末装置である。

本発明によれば、外国語会話支援機能の起動／停止を選択する際に、利用者への操作負担を回避できるため、会話を阻害することなく、状況に応じて適切に会話を支援するための翻訳支援情報を提示できる。

本実施形態にかかる外国語会話支援装置および電話端末装置の構成を示すブロック図である。 外国語会話支援装置の動作を示すフロー図である。 外国語会話支援装置の会話支援処理を示すフローチャートである。 会話支援処理の動作例である。

次に、本発明の一実施形態について図面を参照して説明する。
［外国語会話支援装置］
まず、図１を参照して、本実施形態にかかる外国語会話支援装置について説明する。図１は、本実施形態にかかる外国語会話支援装置および電話端末装置の構成を示すブロック図である。

この外国語会話支援装置２０は、全体として音声を処理する音声処理装置からなり、利用者が会話相手と外国語を用いて会話している際に、利用者が分からない言葉を翻訳して画面表示することにより、利用者を支援するための装置である。
ここでは、ＳＴＮやＩＰ電話網などの有線電話網を用いて通話を行う固定電話機や、携帯電話網などの無線電話網を用いて通話を行う携帯電話機など、各種の電話端末装置１０に外国語会話支援装置２０に実装されて、電話網５０を介して相手電話装置４０と通話を行う際に利用される場合について説明する。

電話端末装置１０には、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１、音声処理部１２、操作入力部１３、画面表示部１４、電話制御部１６、および外国語会話支援装置２０が設けられている。

通信Ｉ／Ｆ部１１は、電話網５０や相手電話装置４０との間で、電話回線５１を介して各種制御信号や音声信号を送受信する機能を有している。
音声処理部１２は、通信Ｉ／Ｆ部１１で受信した会話相手からの受話音声をスピーカから出力する機能と、マイクから入力された利用者の入力音声を通信Ｉ／Ｆ部１１へ出力する機能と、電話制御部１６からの指示に応じて、着信音などの各種信号音をスピーカから出力する機能とを有している。また、音声処理部１２は、外国語会話支援対応機能として、電話制御部１６からの指示に応じて、マイクから入力された利用者の入力音声を電話制御部１６へ出力する機能と、電話制御部１６からの指示に応じて、電話制御部１６から入力された入力音声を通信Ｉ／Ｆ部１１へ出力する機能とを有している。

操作入力部１３は、ダイヤルボタン、回線ボタン、保留ボタン、フックスイッチ、機能スイッチなどのボタンやスイッチからなり、利用者の操作を検出して電話制御部１６へ出力する機能を有している。
画面表示部１４は、ＬＣＤなどの画面表示装置からなり、電話制御部１６から出力された、操作メニューや通話画面、さらには外国語会話支援装置２０から通知された翻訳支援情報などの各種情報を画面表示する機能を有している。
記憶部１５は、半導体メモリなどの記憶装置からなり、電話制御部１６で用いる各種処理情報やプログラムを記憶する機能を有している。

電話制御部１６は、ＣＰＵなどの演算処理部からなり、通信Ｉ／Ｆ部１１を介して制御信号を電話網５０との間でやり取りすることにより、発信、着信、通話、終話などの各種呼制御を行う機能と、これら呼制御による動作状態の変化に応じて、音声処理部１２、画面表示部１４、および外国語会話支援装置２０を制御する機能と、操作入力部１３から操作入力された、電話制御に関する電話設定情報や、外国語会話支援装置２０に関する、会話相手との会話で使用する会話言語などの会話支援設定情報などの各種設定情報を記憶部１５へ登録する機能とを有している。

また、電話制御部１６は、外国語会話支援対応機能として、通話時にマイクから入力された利用者の入力音声を音声処理部１２から取得して外国語会話支援装置２０へ出力する機能と、外国語会話支援装置２０から出力された会話相手への出力音声を音声処理部１２へ出力する機能と、外国語会話支援装置２０から出力された翻訳支援情報を画面表示部１４へ出力して画面表示する機能とを有している。

通常、電話網５０からの着信通知を通信Ｉ／Ｆ部１１で受信した場合、電話制御部１６は、音声処理部１２や画面表示部１４を制御して着信表示を行い、利用者による応答操作を操作入力部１３で検出した場合、応答通知を通信Ｉ／Ｆ部１１から電話網５０へ送信し、音声処理部１２を制御して通話状態とする。
また、利用者による発信操作を操作入力部１３で検出した場合、電話制御部１６は、発信要求を通信Ｉ／Ｆ部１１から電話網５０へ送信し、これに応じた電話網からの応答通知を通信Ｉ／Ｆ部１１で受信した後、音声処理部１２を制御して通話状態とする。

通話状態において、利用者による外国語会話支援開始操作を操作入力部１３で検出した場合、電話制御部１６は、マイクから入力された利用者の入力音声を音声処理部１２から取得し、一旦、外国語会話支援装置２０を経由した後、音声処理部１２から通信Ｉ／Ｆ部１１を介して電話網５０へ送信する。

本実施形態は、外国語会話支援装置２０において、入力音声の言語を識別するとともに、会話相手への出力音声として出力し、識別の結果、入力音声が会話相手との会話で使用している会話言語でなかった場合、入力音声を会話言語に翻訳するための翻訳支援情報を生成し、その翻訳支援情報を画面表示するようにしたものである。

次に、図１および図２を参照して、外国語会話支援装置２０の構成について詳細に説明する。図２は、外国語会話支援装置の動作を示すフロー図である。
外国語会話支援装置２０には、主な機能部として、言語識別部２１、判定部２２、音声蓄積部２３、音声出力部２４、および会話支援部２５が設けられている。これら機能部のうち、音声蓄積部２３は半導体メモリから構成されており、そのほかはそれぞれＣＰＵや専用の信号処理回路から構成されている。

言語識別部２１は、電話制御部１６から入力された利用者の入力音声３１について、日本語、英語など、その言語の種別を識別する機能を有している。
判定部２２は、言語識別部２１での識別結果と、電話制御部１６経由で記憶部１５から取得した会話相手との会話で使用する会話言語の種別とを比較することにより、入力音声３１が会話相手との会話で使用している会話言語か否かを判定する機能を有している。
音声蓄積部２３は、電話制御部１６から入力された利用者の入力音声３１を一時的に蓄積する機能を有している。

音声出力部２４は、音声蓄積部２３から入力音声３１を読み出して会話相手への出力音声３２として電話制御部１６へ出力する機能と、判定部２２での判定の結果、入力音声３１が会話言語でなかった場合、出力音声３２の出力を停止する機能と、判定部２２での判定の結果、入力音声３１が会話言語でなかった場合、会話支援部２５による会話支援機能が動作中であることを会話相手に告知する音声信号を、出力音声３２として出力する機能とを有している。

会話支援部２５は、判定部２２での判定の結果、入力音声３１が会話言語でなかった場合、音声蓄積部２３から入力音声３１を読み出して、入力音声を会話言語に翻訳するための翻訳支援情報３３を生成する機能と、その翻訳支援情報３３を電話制御部１６へ出力して画面表示部１４で画面表示する機能とを有している。
会話支援部２５には、主な処理部として、音声認識部２５Ａ、機械翻訳部２５Ｂ、および翻訳結果表示部２５Ｃが設けられている。これら処理部は、それぞれＣＰＵや専用の信号処理回路から構成されている。

音声認識部２５Ａは、音声蓄積部２３から入力音声３１を読み出して音声認識する機能を有している。
機械翻訳部２５Ｂは、音声認識部２５Ａで音声認識で得られた文字情報を会話言語へ翻訳する機能を有している。
翻訳結果表示部２５Ｃは、機械翻訳部２５Ｂで得られた翻訳結果を翻訳支援情報３３として電話制御部１６へ出力して画面表示部１４で画面表示する機能を有している。

［本実施形態の動作］
次に、図２および図３を参照して、本実施形態にかかる外国語会話支援装置２０の動作について詳細に説明する。図３は、外国語会話支援装置の会話支援処理を示すフローチャートである。

外国語会話支援装置２０は、日本語を母国語とする利用者が、電話端末装置１０を用いて相手電話装置４０の会話相手と英語で通話している際、利用者の外国語会話支援開始操作に応じた電話制御部１６からの指示に応じて、図３に示す会話支援処理を開始する。この際、記憶部１５には、会話で用いる外国語の種別が予め設定されているものとする。

まず、音声蓄積部２３は、電話制御部１６経由で音声処理部１２から、利用者が発した音声が入力音声３１が入力されるごとに、その入力音声３１を一旦蓄積する（ステップ１０１）。なお、以下では、入力音声３１に対する会話支援処理について、入力音声３１の無音区間で区別した区間ごとに処理するものとする。

また、言語識別部２１は、入力された入力音声３１の言語の種別を識別し、何語かを判定する（ステップ１０２）。この判定のためには、例えば、入力された音声に対して事前に用意された各国語の音響モデルを適用し、スコアが一番高かったものを結果とするような公知の方法を用いればよい。なお、言語識別部２１では、音声蓄積部２３に一旦蓄積された入力音声３１を読み出して識別してもよいが、電話制御部１６経由で音声処理部１２から、直接、入力音声３１を受け取って識別することにより、音声蓄積部２３での処理遅延分を短縮できる。

次に、判定部２２は、言語識別部２１での識別結果と、電話制御部１６経由で記憶部１５から取得した会話相手との会話で使用する会話言語の種別とを比較することにより、入力音声３１が会話相手との会話で使用している会話言語か否かを判定する（ステップ１０３）。

ここで、入力音声３１が会話言語であれば（ステップ１０３：ＹＥＳ）、音声出力部２４は、音声蓄積部２３から入力音声３１を読み出して会話相手への出力音声３２として、電話制御部１６経由で音声処理部１２へ出力する（ステップ１０４）。
これにより、利用者が会話言語である英語で発話した場合、その入力音声は、音声処理部１２から通信Ｉ／Ｆ部１１を介して相手電話装置４０へ送信される。

一方、入力音声３１が会話言語でなければ（ステップ１０３：ＮＯ）、会話支援部２５は、音声認識部２５Ａで、音声蓄積部２３から入力音声３１を読み出して音声認識することにより文字情報へ変換し、その音声認識結果を会話言語へ翻訳し、この翻訳結果を含む翻訳支援情報を生成する（ステップ１０５）。この翻訳のためには、例えば、和英辞書データベースを検索することにより、日本語を英語に翻訳するような公知の方法を用いればよい。また、翻訳支援情報３３としては、入力音声３１を会話言語に翻訳する際に必要な各種辞書情報を含んでいてもよく、入力音声３１を会話言語に翻訳した翻訳結果そのものを含んでいてもよい。

この後、会話支援部２５は、翻訳結果表示部２５Ｃで、機械翻訳部２５Ｂで得られた翻訳結果を翻訳支援情報３３として電話制御部１６へ出力して画面表示部１４で画面表示する（ステップ１０６）。
これにより、利用者が会話言語でなく日本語で発話した場合、その入力音声は、会話支援部２５で英語に翻訳され、その翻訳結果が翻訳支援情報３３として画面表示される。

図４は、会話支援処理の動作例である。
時刻Ｔ０において、利用者が英語で会話を開始した場合、外国語会話支援装置２０において、その入力音声３１が英語、すなわち会話言語であると判定されるため、その入力音声３１は、出力音声３２として会話相手へ出力される。
その後、時刻Ｔ１において、利用者が英語でどのように話せばよいか分からない場合、その日本語を発話する。この場合、外国語会話支援装置２０において、その入力音声３１が会話言語ではないと判定されるため、その日本語が英語の文字情報へ翻訳され、その翻訳結果が翻訳支援情報３３として画面表示される。

これにより、利用者は、画面表示された翻訳支援情報３３を確認し、その後の時刻Ｔ２から、英語での会話を再開する。この場合、外国語会話支援装置２０において、その入力音声３１が英語であると判定されるため、その入力音声３１は、出力音声３２として会話相手へ出力される。

［本実施形態の効果］
このように、本実施形態は、外国語会話支援装置２０において、言語識別部２１で、入力音声３１の言語の種別を識別するとともに、音声出力部２４で、会話相手への出力音声として出力し、判定部２２で、入力音声３１が会話相手との会話で使用している会話言語か否かを判定し、入力音声３１が会話相手との会話で使用している会話言語でなかった場合、会話支援部２５で、入力音声３１を会話言語に翻訳するための翻訳支援情報３３を生成し、その翻訳支援情報３３画面表示するようにしたので、利用者が、会話言語ではなく例えば母国語で発話するだけで、例えば当該母国語を会話言語へ翻訳した翻訳結果などの翻訳支援情報３３を文字情報により確認できる。
したがって、外国語会話支援機能の起動／停止を選択するための、利用者への操作負担を回避できるため、会話を阻害することなく、状況に応じて適切に会話を支援するための辞書情報や翻訳結果を提示できる。

また、本実施形態では、音声出力部２４において、判定部２２での判定の結果、入力音声３１が会話言語でなかった場合、出力音声の出力を停止するようにしてもよい。これにより、会話相手との会話に不必要な発話の送信を回避することができ、スムーズな会話を実現することが可能となる。

また、本実施形態では、音声出力部２４において、判定部２２での判定の結果、入力音声３１が会話言語でなかった場合、会話支援部２５による会話支援機能が動作中であることを会話相手に告知する音声信号を、出力音声３２として出力するようにしてもよい。これにより、会話支援機能が動作中に会話相手への出力音声の停止する理由を、会話相手に伝えることができる。

また、本実施形態では、会話支援部２５を、音声蓄積部２３から入力音声３１を読み出して音声認識する音声認識部２５Ａと、音声認識で得られた文字情報を会話言語へ翻訳する機械翻訳部２５Ｂと、翻訳の結果を翻訳支援情報３３として画面表示する翻訳結果表示部２５Ｃとから構成したので、翻訳支援情報３３として極めて具体的な翻訳結果を利用者に提示することができる。

また、本実施形態では、言語識別部２１での識別結果に基づいて、判定部２２で、会話支援機能の起動／停止を切り替える場合を例として説明したが、これに限定されるものではない。
例えば、両者の発話がない無音部分やフィラーが一定時間以上続く場合や、これまでの会話と異なる傾向で出現した場合、これを判定部２２で検出して、会話支援機能を起動し、発話再開に応じて会話支援機能を停止するようにしてもよい。また、入力音声が会話で使用されている言語であっても、利用者による「Ｗａｉｔ ａ ｍｏｍｅｎｔ」や「Ｅｘｃｕｓｅ ｍｅ」といった、予め決められた発声を音声認識部２５Ａで検知した場合、判定部２２で会話支援機能を起動するようにしてもよい。この際、つぶやき声等、発声様式の変化を音声認識部２５Ａで検知して、判定部２２で会話支援機能を起動するようにしてもよい。

また、音声出力部２４において、会話支援機能が動作中であることを会話相手に音声信号で告知する具体的な動作としては、例えば、英語であれば「Ｗａｉｔ ａ ｍｏｍｅｎｔ」といった音声ガイダンスを自動的に流すことで、利用者が会話を再開するまで少し時間が掛かることを、会話相手に対して知らせることができる。

［実施形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

外国語での会話を行う電話端末装置といった用途に好適である。

１０…電話端末装置、１１…通信Ｉ／Ｆ部、１２…音声処理部、１３…操作入力部、１４…画面表示部、１５…記憶部、１６…電話制御部、２０…外国語会話支援装置、２１…言語識別部、２２…判定部、２３…音声蓄積部、２４…音声出力部、２５…会話支援部、２５Ａ…音声認識部、２５Ｂ…機械翻訳部、２５Ｃ…翻訳結果表示部、３１…入力音声、３２…出力音声、３３…翻訳支援情報、４０…相手電話装置、５０…電話網、５１…電話回線。

Claims (10)

1. 入力音声の言語の種別を識別する言語識別部と、
   前記入力音声を一時的に蓄積する音声蓄積部と、
   前記音声蓄積部から前記入力音声を読み出して会話相手への出力音声として出力する音声出力部と、
   前記識別結果に基づいて、前記入力音声が前記会話相手との会話で使用している会話言語か否かを判定する判定部と、
   前記判定の結果、前記入力音声が前記会話言語でなかった場合、前記音声蓄積部から前記入力音声を読み出して、前記入力音声を前記会話言語に翻訳するための翻訳支援情報を生成し、その翻訳支援情報を画面表示する会話支援部と
   を備えることを特徴とする外国語会話支援装置。
2. 請求項１に記載の外国語会話支援装置において、
   前記音声出力部は、前記判定の結果、前記入力音声が前記会話言語でなかった場合、前記出力音声の出力を停止することを特徴とする外国語会話支援装置。
3. 請求項１に記載の外国語会話支援装置において、
   前記音声出力部は、前記判定の結果、前記入力音声が前記会話言語でなかった場合、前記会話支援部による会話支援機能が動作中であることを前記会話相手に告知する音声信号を、前記出力音声として出力することを特徴とする外国語会話支援装置。
4. 請求項１に記載の外国語会話支援装置において、
   前記会話支援部は、
   前記音声蓄積部から前記入力音声を読み出して音声認識する音声認識部と、
   前記音声認識で得られた文字情報を前記会話言語へ翻訳する機械翻訳部と、
   前記翻訳の結果を前記翻訳支援情報として画面表示する翻訳結果表示部と
   を備えることを特徴とする外国語会話支援装置。
5. 入力音声の言語の種別を識別した識別結果に基づいて、前記入力音声が会話相手との会話で使用している会話言語か否かを判定する判定ステップと、
   前記入力音声を会話相手への出力音声として出力する音声出力ステップと、
   前記判定の結果、前記入力音声が前記会話言語でなかった場合、前記入力音声を前記会話言語に翻訳するための翻訳支援情報を生成し、その翻訳支援情報を画面表示する会話支援ステップと
   を備えることを特徴とする外国語会話支援方法。
6. 請求項５に記載の外国語会話支援方法において、
   前記音声出力ステップは、前記判定の結果、前記入力音声が前記会話言語でなかった場合、前記出力音声の出力を停止することを特徴とする外国語会話支援方法。
7. 請求項５に記載の外国語会話支援方法において、
   前記音声出力ステップは、前記判定の結果、前記入力音声が前記会話言語でなかった場合、前記会話支援ステップによる会話支援機能が動作中であることを前記会話相手に告知する音声信号を、前記出力音声として出力することを特徴とする外国語会話支援方法。
8. 請求項５に記載の外国語会話支援方法において、
   前記会話支援ステップは、
   前記入力音声を音声認識する音声認識ステップと、
   前記音声認識で得られた文字情報を前記会話言語へ翻訳する機械翻訳ステップと、
   前記翻訳の結果を前記翻訳支援情報として画面表示する翻訳結果表示ステップと
   を備えることを特徴とする外国語会話支援方法。
9. コンピュータに、請求項１〜請求項４のいずれか１つに記載の外国語会話支援装置を構成する各部として機能させるためのプログラム。
10. 請求項１〜請求項４のいずれか１つに記載の外国語会話支援装置を含む電話端末装置。

Images