JP2018045675A - 情報提示方法、情報提示プログラム及び情報提示システム - Google Patents

Abstract

【課題】円滑な対話を実現することができる情報提示方法、情報提示プログラム及び情報提示システムを提供する。【解決手段】音声認識部２０３は、対話に係る音声を音声認識することにより対話テキストを生成し、翻訳部２０４は、対話テキストを翻訳することにより対話翻訳テキストを生成し、音声波形合成部２０８は、対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、意図理解部２０５は、対話テキストに基づいて補助情報が存在するか否かを判定し、通信部２０１は、補助情報が存在する場合、複数の話者のうちの少なくとも１人の前記情報提示システムの利用状況に応じて、補助情報が存在することを複数の話者のうちの少なくとも１人に提示するために補助情報及び対話翻訳音声を送信する。【選択図】図２

Description

本開示は、複数の話者による対話に係る音声を翻訳し、前記対話を補助するための補助情報を提示する情報提示方法、情報提示プログラム及び情報提示システムに関するものである。

従来、複数の話者による対話を支援する対話支援装置において、対話の内容に応じて知識を補うための情報を提示して対話を支援する技術（例えば、特許文献１参照）が知られている。

特開２０１３−７３３５５号公報

しかしながら、上記特許文献１では、更なる改善が必要とされていた。

本開示の一態様に係る情報提示方法は、情報提示システムにおける情報提示方法であって、複数の話者による対話に係る音声を音声認識することにより対話テキストを生成し、前記対話テキストを翻訳することにより対話翻訳テキストを生成し、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定し、前記補助情報が存在する場合、前記複数の話者のうちの少なくとも１人の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも１人に提示する。

上記態様によれば、更なる改善を実現することができる。

本実施の形態の情報提示システムの翻訳端末の構成を示すブロック図である。 本実施の形態の情報提示システムの翻訳サーバの構成を示すブロック図である。 補助説明文記憶部に記憶される情報の一例を示す図である。 補助情報記憶部に記憶される情報の一例を示す図である。 本実施の形態における情報提示システムの動作を説明するためのフローチャートである。 翻訳端末及び翻訳サーバにおいて実行される客発話処理の動作を説明するためのフローチャートである。 翻訳端末及び翻訳サーバにおいて実行される店員発話処理の動作を説明するための第１のフローチャートである。 翻訳端末及び翻訳サーバにおいて実行される店員発話処理の動作を説明するための第２のフローチャートである。 補助情報が存在することを提示する際に、翻訳端末に表示される画面の一例を示す図である。

（本開示に係る一態様を発明するに至った経緯）
まず、本開示に係る一態様の着眼点について説明する。

上記特許文献１では、発話行為を示す発話行為タグと話者を示す話者タグとに基づいて補足情報を表示する技術を開示している。発話行為タグとしては、「挨拶」、「応答」及び「質問」などが示されている（特許文献１の図８参照）。また、補足情報を表示するタイミングとしては、話者と発話行為との組み合わせによって、情報提示の要否又は情報の提示タイミングを決める方法が示されている（特許文献１の図１０）。

このように、特許文献１では、発話行為と話者とに基づいて情報提示の要否及び情報の提示タイミングを制御することができる。しかしながら、情報提示の要否及び情報の提示タイミングは対話支援装置が決定するものであり、客又は接客者が決定するものではない。

このように、対話支援装置が情報提示の要否及び情報の提示タイミングを決める場合、客が急いでいるため補足情報の提示を割愛したいという接客者の要望に応えることができない。また、従来の対話支援装置では、対話支援装置を扱っている接客者が十分な知識を持っているため補足情報を提示する必要がない場合であっても、補足情報が通知されてしまう。

また、特許文献１では、補足情報を提示する際に、補足情報の提示をユーザに知らせる方法として、音を鳴らす、表示を点滅させる、又は装置を振動させるなどの方法が示されている。しかしながら、これらの方法は、対話が主体である接客業務を妨げるおそれがあり、対話の中で自然な形で補足情報があることを知らせることができない。

以上の課題を解決するために、本開示の一態様に係る情報提示方法は、情報提示システムにおける情報提示方法であって、複数の話者による対話に係る音声を音声認識することにより対話テキストを生成し、前記対話テキストを翻訳することにより対話翻訳テキストを生成し、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定し、前記複数の話者のうちの少なくとも１人の前記情報提示システムの利用状況に応じて、前記補助情報が存在する場合、前記補助情報が存在することを前記複数の話者のうちの少なくとも１人に提示する。

この構成によれば、複数の話者による対話に係る音声を音声認識することにより対話テキストが生成される。対話テキストを翻訳することにより対話翻訳テキストが生成される。対話翻訳テキストを音声合成することにより対話翻訳音声が生成される。対話テキストに基づいて対話を補助するための補助情報が存在するか否かが判定され、補助情報が存在する場合、複数の話者のうちの少なくとも１人の情報提示システムの利用状況に応じて、補助情報が存在することが複数の話者のうちの少なくとも１人に提示される。

したがって、対話を補助するための補助情報が提示される前に、補助情報が存在することが提示されるので、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

また、上記の情報提示方法において、前記複数の話者のうちの少なくとも１人から前記補助情報の提示指示を受け付け、受け付けた前記提示指示に従って前記補助情報を提示してもよい。

この構成によれば、複数の話者のうちの少なくとも１人から補助情報の提示指示が受け付けられ、受け付けられた提示指示に従って補助情報が提示される。

したがって、補助情報の提示を必要としている話者に、補助情報を提示することができる。

また、上記の情報提示方法において、前記対話翻訳テキストを音声波形合成することにより前記対話翻訳音声を生成し、前記補助情報を説明する説明テキストを前記対話テキストから特定し、前記説明テキストを音声分析合成することにより補助情報音声を生成してもよい。

この構成によれば、対話翻訳テキストを音声波形合成することにより対話翻訳音声が生成される。補助情報を説明する説明テキストが対話テキストから特定される。説明テキストを音声分析合成することにより補助情報音声が生成される。

したがって、補助情報を説明する説明テキストを音声分析合成することにより補助情報音声が生成されるので、補助情報を音声により提示することができる。

また、上記の情報提示方法において、前記補助情報音声の基本周波数は、前記対話翻訳音声の基本周波数とは異なっていてもよい。

この構成によれば、補助情報音声の基本周波数は、対話翻訳音声の基本周波数とは異なっているので、話者は、発話を翻訳した音声と、情報提示システムから提示される補助情報の音声とを区別することができる。

また、上記の情報提示方法において、第１の言語で質問する第１の話者の第１の音声を取得するとともに、前記第１の言語とは異なる第２の言語で前記質問に対して回答する第２の話者の第２の音声を取得し、前記第１の音声を音声認識することにより第１の対話テキストを生成し、前記第１の対話テキストを前記第２の言語に翻訳することにより第１の対話翻訳テキストを生成し、前記第１の対話翻訳テキストを音声合成することにより第１の対話翻訳音声を生成し、前記第２の音声を音声認識することにより第２の対話テキストを生成し、前記第２の対話テキストを前記第１の言語に翻訳することにより第２の対話翻訳テキストを生成し、前記第２の対話翻訳テキストを音声合成することにより第２の対話翻訳音声を生成し、前記第１の対話テキスト及び前記第２の対話テキストのうちの少なくとも一方に基づいて前記補助情報が存在するか否かを判定し、前記補助情報が存在する場合、前記第２の話者の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記第１の話者及び前記第２の話者の少なくとも一方に提示してもよい。

この構成によれば、第１の言語で質問する第１の話者の第１の音声が取得されるとともに、第１の言語とは異なる第２の言語で質問に対して回答する第２の話者の第２の音声が取得される。第１の音声を音声認識することにより第１の対話テキストが生成される。第１の対話テキストを第２の言語に翻訳することにより第１の対話翻訳テキストが生成される。第１の対話翻訳テキストを音声合成することにより第１の対話翻訳音声が生成される。第２の音声を音声認識することにより第２の対話テキストが生成される。第２の対話テキストを第１の言語に翻訳することにより第２の対話翻訳テキストが生成される。第２の対話翻訳テキストを音声合成することにより第２の対話翻訳音声が生成される。第１の対話テキスト及び第２の対話テキストのうちの少なくとも一方に基づいて補助情報が存在するか否かが判定される。補助情報が存在する場合、第２の話者の情報提示システムの利用状況に応じて、補助情報が存在することが第１の話者及び第２の話者の少なくとも一方に提示される。

したがって、第１の話者が第１の言語で質問し、第２の話者が第２の言語で回答する際に、第２の話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

また、上記の情報提示方法において、前記利用状況は、前記第１の言語に翻訳した回数を含み、前記補助情報が存在する場合、前記第１の言語に翻訳した回数が所定回数より多いか否かを判断し、前記第１の言語に翻訳した回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第２の話者に提示しなくてもよい。

この構成によれば、利用状況は、第１の言語に翻訳した回数を含む。補助情報が存在する場合、第１の言語に翻訳した回数が所定回数より多いか否かが判断される。第１の言語に翻訳した回数が所定回数より多いと判断された場合、補助情報が存在することが第２の話者に提示されない。

したがって、第１の言語に翻訳した回数が所定回数より多い場合、第２の話者にとって補助情報は既知の情報であると推定することができるので、補助情報が存在することを提示する必要がなく、不要な情報を提示する処理を省略することができる。

また、上記の情報提示方法において、前記利用状況は、前記第２の話者が前記情報提示システムの利用を開始してから現在までの利用時間を含み、前記補助情報が存在する場合、前記利用時間が所定時間より長いか否かを判断し、前記利用時間が所定時間より長いと判断した場合、前記補助情報が存在することを前記第２の話者に提示しなくてもよい。

この構成によれば、利用状況は、第２の話者が情報提示システムの利用を開始してから現在までの利用時間を含む。補助情報が存在する場合、利用時間が所定時間より長いか否かが判断される。利用時間が所定時間より長いと判断された場合、補助情報が存在することが第２の話者に提示されない。

したがって、第２の話者による情報提示システムの利用時間が所定時間より長い場合、第２の話者にとって補助情報は既知の情報であると推定することができるので、補助情報が存在することを提示する必要がなく、不要な情報を提示する処理を省略することができる。

また、上記の情報提示方法において、前記補助情報は、説明対象を説明する情報を含み、前記利用状況は、同一の前記説明対象に対応する前記補助情報の提示回数を含み、前記補助情報が存在する場合、前記提示回数が所定回数より多いか否かを判断し、前記提示回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第２の話者に提示しなくてもよい。

この構成によれば、補助情報は、説明対象を説明する情報を含む。利用状況は、同一の説明対象に対応する補助情報の提示回数を含む。補助情報が存在する場合、提示回数が所定回数より多いか否かが判断される。提示回数が所定回数より多いと判断された場合、補助情報が存在することが第２の話者に提示されない。

したがって、同一の説明対象に対応する補助情報の提示回数が所定回数より多い場合、第２の話者にとって補助情報は既知の情報であると推定することができるので、補助情報が存在することを提示する必要がなく、不要な情報を提示する処理を省略することができる。

本開示の他の態様に係る情報提示プログラムは、コンピュータを、複数の話者による対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも１人の前記コンピュータを構成要素とする情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも１人に提示するために前記補助情報及び前記対話翻訳音声を送信する送信部として機能させる。

この構成によれば、複数の話者による対話に係る音声を音声認識することにより対話テキストが生成される。対話テキストを翻訳することにより対話翻訳テキストが生成される。対話翻訳テキストを音声合成することにより対話翻訳音声が生成される。対話テキストに基づいて対話を補助するための補助情報が存在するか否かが判定され、補助情報が存在する場合、複数の話者のうちの少なくとも１人のコンピュータを構成要素とする情報提示システムの利用状況に応じて、補助情報が存在することを複数の話者のうちの少なくとも１人に提示するために補助情報及び対話翻訳音声が送信される。

したがって、対話を補助するための補助情報が提示される前に、補助情報が存在することが提示されるので、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

本開示の他の態様に係る情報提示システムは、端末と、前記端末と通信可能に接続されたサーバとを備え、前記端末は、複数の話者による対話に係る音声を取得する音声取得部と、前記取得した音声を前記サーバへ送信する送信部と、を備え、前記サーバは、前記音声を受信する受信部と、前記対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも１人の前記情報提示システムの利用状況に応じて、前記補助情報及び前記対話翻訳音声を前記端末へ送信する送信部と、を備え、前記端末は、前記補助情報及び前記対話翻訳音声を受信する受信部と、前記対話翻訳音声を出力する音声出力部と、前記補助情報が存在することを前記複数の話者のうちの少なくとも１人に提示する提示部と、を備える。

この構成によれば、端末において、複数の話者による対話に係る音声が取得される。取得された音声がサーバへ送信される。サーバにおいて、音声が受信される。対話に係る音声を音声認識することにより対話テキストが生成される。対話テキストを翻訳することにより対話翻訳テキストが生成される。対話翻訳テキストを音声合成することにより対話翻訳音声が生成される。対話テキストに基づいて対話を補助するための補助情報が存在するか否かが判定される。補助情報が存在すると判定された場合、複数の話者のうちの少なくとも１人の情報提示システムの利用状況に応じて、補助情報及び対話翻訳音声が端末へ送信される。端末において、補助情報及び対話翻訳音声が受信される。対話翻訳音声が出力される。補助情報が存在することが複数の話者のうちの少なくとも１人に提示される。

したがって、対話を補助するための補助情報が提示される前に、補助情報が存在することが提示されるので、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができる。

（実施の形態）
以下、本開示の実施の形態について図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。また、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

図１は、本実施の形態の情報提示システムの翻訳端末の構成を示すブロック図である。

情報提示システムは、複数の話者による対話に係る音声を翻訳し、対話を補助するための補助情報を提示する。情報提示システムは、翻訳端末１００と翻訳サーバ２００とを備える。翻訳端末１００と翻訳サーバ２００とは、ネットワークを介して互いに通信可能に接続されている。

翻訳端末１００は、例えば、タブレット型コンピュータ、スマートフォン、携帯電話機又はノート型ＰＣ（パーソナルコンピュータ）であってもよい。また、翻訳端末１００は、複数の話者による対話に係る音声を翻訳するための専用の端末であってもよい。

図１に示されるように、本実施の形態の情報提示システムの翻訳端末１００は、音声入力部１０１、フォーマット変換部１０２、応答制御部１０３、通信部１０４、音声出力部１０５、応答保持部１０６、補助情報提示設定部１０７、補助情報有無判定部１０８、補助情報提示判定部１０９、補助情報提示部１１０、映像出力部１１１及びユーザ指示入力部１１２を備える。

音声入力部１０１は、例えば訪日外国人などの日本語以外の言語を話す客、又は日本語を話す店員の音声を収集してアナログ音声信号を生成する。音声入力部１０１は、対話する複数の話者が発話した音声信号を取得する。

フォーマット変換部１０２は、音声入力部１０１で生成したアナログ音声信号を例えばパルス符号変調（ＰＣＭ）によりデジタルデータに変換してＰＣＭ音声信号を生成する。

応答制御部１０３は、音声入力部１０１から入力された発話音声の話者を判定する。また、応答制御部１０３は、フォーマット変換部１０２で生成されたＰＣＭ音声信号、及び応答保持部１０６に保持される客の発話を翻訳した結果を翻訳サーバ２００へ送信する。また、応答制御部１０３は、翻訳結果、及び補助情報に関するコンテンツ情報を翻訳サーバ２００から受信する。また、応答制御部１０３は、翻訳サーバ２００から受信した翻訳結果を、音声出力部１０５を通じて音声出力する。また、応答制御部１０３は、補助情報の取得、及びユーザ指示入力部１１２から入力された店員の指示に従って、取得した補助情報の提示制御を行う。

通信部１０４は、インターネットなどの通信回線を介して翻訳サーバ２００とデータ通信を行う。通信部１０４は、複数の話者による対話に係る音声を翻訳サーバ２００へ送信する。通信部１０４は、客の発話を翻訳した結果と、店員の発話を翻訳した結果と、店員の発話及び客の発話に対応する補助情報とを翻訳サーバ２００から受信する。

音声出力部１０５は、翻訳サーバ２００から受信した客の発話を翻訳した結果と、店員の発話を翻訳した結果と、店員の発話及び客の発話に対応する補助情報とを音声出力する。

応答保持部１０６は、例えば不揮発性メモリであり、翻訳サーバ２００から受信した客の発話を翻訳した結果を保持する。

補助情報提示設定部１０７は、補助情報を提示するか否かを設定するとともに、設定した補助情報を提示するか否かを示す提示要否情報を記憶する。店員は、補助情報提示設定画面などのユーザインタフェースを通じて、補助情報を提示するか否かを予め設定することが可能である。つまり、補助情報提示設定部１０７が補助情報を提示しないことを示す提示要否情報を設定することにより、店員は、補助情報の割り込みなしに、翻訳機能を利用した接客業務を遂行することができる。

補助情報有無判定部１０８は、店員の発話及び客の発話に対応する補助情報が存在するか否かを判定する。

補助情報提示判定部１０９は、補助情報提示設定部１０７の設定内容、補助情報有無判定部１０８の判定結果、及びユーザ指示入力部１１２から入力されたユーザ指示内容に基づいて、補助情報を提示するか否かを判定する。

補助情報提示部１１０は、店員の発話及び客の発話に対応する補助情報を、音声出力部１０５及び映像出力部１１１を介して提示する。

映像出力部１１１は、店員の発話及び客の発話に対応する補助情報（コンテンツ情報）を表示する。

ユーザ指示入力部１１２は、補助情報の提示を指示するユーザインタフェースを提供する。

図２は、本実施の形態の情報提示システムの翻訳サーバの構成を示すブロック図である。

図２に示されるように、本実施の形態の情報提示システムの翻訳サーバ２００は、通信部２０１、制御部２０２、音声認識部２０３、翻訳部２０４、意図理解部２０５、補助説明文記憶部２０６、補助情報記憶部２０７、音声波形合成部２０８及び音声分析合成部２０９を備える。

通信部２０１は、インターネットなどの通信回線を介して翻訳端末１００とデータ通信を行う。

制御部２０２は、音声認識部２０３、翻訳部２０４、意図理解部２０５、音声波形合成部２０８及び音声分析合成部２０９を制御することにより、翻訳端末１００から受信した客の音声又は店員の音声を翻訳し、その翻訳結果を音声合成する。また、制御部２０２は、客の発話及び店員の発話の意図を理解し、その発話意図に応じた補助説明及び補助情報を決定する。

音声認識部２０３は、客の音声又は店員の音声を認識し、対話テキストを生成する。音声認識部２０３は、対話に係る音声を音声認識することにより対話テキストを生成する。

翻訳部２０４は、音声認識部２０３で生成された対話テキストを翻訳することにより対話翻訳テキストを生成する。

意図理解部２０５は、対話テキストに基づいて補助情報が存在するか否かを判定する。意図理解部２０５は、客又は店員の対話テキストから説明対象であるエンティティを抽出し、対話テキストから発話の意図を分類し、エンティティ及び意図に応じた補助情報が存在するか否かを判定する。発話の意図としては、例えば、エンティティへの行き方に関する発話であるのか、エンティティの情報に関する発話であるのかを示す。意図理解部２０５は、補助情報を説明する説明テキストを対話テキストから特定する。

補助説明文記憶部２０６は、例えば不揮発性メモリであり、補助情報を提示する際に、翻訳端末１００が音声で出力する説明文を記憶する。

図３は、補助説明文記憶部２０６に記憶される情報の一例を示す図である。説明文ＩＤ３０１は、補助説明文記憶部２０６に記憶する説明文の識別子である。補助情報説明文３０２は、補助情報を説明する説明文を示す説明テキストである。補助説明文記憶部２０６は、説明文ＩＤ３０１と、補助情報説明文３０２とを対応付けて記憶している。

補助情報記憶部２０７は、例えば不揮発性メモリであり、客又は店員の対話テキストから抽出されたエンティティと、対話テキストの発話意図と、エンティティ及び発話意図に応じた説明文とを対応付けて記憶する。

図４は、補助情報記憶部２０７に記憶される情報の一例を示す図である。エンティティ４０１は、客又は店員の対話テキストに含まれる説明対象である。コンテンツＩＤ４０２は、エンティティ４０１の識別子である。意図ＩＤ４０３は、客又は店員の発話意図の識別子である。例えば、意図ＩＤ「０００１」は、エンティティへの行き方に対応し、意図ＩＤ「０００２」はエンティティの情報に対応している。説明文ＩＤ４０４は、エンティティの説明に用いる説明文の識別子である。コンテンツ情報は、エンティティの説明に用いる画像情報の保存先を示すアドレスである。

音声波形合成部２０８は、波形合成型の音声合成を行う。波形合成型の音声合成とは、予め録音された音の断片を連結することにより、音声を合成する手法である。波形合成型の音声合成は、一般的に分析合成型の音声合成よりも品質が高く、人の声に近い特徴を持つ。音声波形合成部２０８は、対話テキストを翻訳した対話翻訳テキストを音声波形合成することにより対話翻訳音声を生成する。

音声分析合成部２０９は、分析合成型の音声合成を行う。分析合成型の音声合成とは、基底周波数又は音色などのパラメータを調整することにより、音声を合成する手法である。分析合成型の音声合成により生成された音声は、ロボット的に聞こえる音声になるという特徴を持つため、人の声と間違えることはない。音声分析合成部２０９は、補助情報を説明する説明テキストを音声分析合成することにより補助情報音声を生成する。補助情報音声の基本周波数は、対話翻訳音声の基本周波数とは異なっている。

通信部２０１は、補助情報が存在すると判定された場合、補助情報が存在することを複数の話者のうちの少なくとも１人に提示するために補助情報及び対話翻訳音声を翻訳端末１００に送信する。翻訳端末１００の応答制御部１０３は、翻訳サーバ２００から補助情報を受信すると、補助情報が存在することを複数の話者のうちの少なくとも１人に提示する。ユーザ指示入力部１１２は、複数の話者のうちの少なくとも１人から補助情報の提示指示を受け付ける。補助情報提示部１１０は、受け付けた提示指示に従って補助情報を提示する。

上記のように、通信部２０１は、第１の言語で質問する第１の話者（客）の第１の音声を取得するとともに、第１の言語とは異なる第２の言語で質問に対して回答する第２の話者（店員）の第２の音声を取得する。音声認識部２０３は、第１の音声を音声認識することにより第１の対話テキストを生成する。翻訳部２０４は、第１の対話テキストを第２の言語に翻訳することにより第１の対話翻訳テキストを生成する。音声波形合成部２０８は、第１の対話翻訳テキストを音声合成することにより第１の対話翻訳音声を生成する。音声認識部２０３は、第２の音声を音声認識することにより第２の対話テキストを生成する。翻訳部２０４は、第２の対話テキストを第１の言語に翻訳することにより第２の対話翻訳テキストを生成する。音声波形合成部２０８は、第２の対話翻訳テキストを音声合成することにより第２の対話翻訳音声を生成する。意図理解部２０５は、第１の対話テキスト及び第２の対話テキストのうちの少なくとも一方に基づいて補助情報が存在するか否かを判定する。補助情報提示判定部１０９は、補助情報が存在する場合、補助情報が存在することを第１の話者（客）及び第２の話者（店員）の少なくとも一方に提示する。

図５は、本実施の形態における情報提示システムの動作を説明するためのフローチャートである。本実施の形態では、客と店員とが対話する例について説明する。客が話す言語と、店員が話す言語とは異なる。情報提示システムは、客の発話を翻訳してから音声出力するとともに、店員の発話を翻訳してから音声出力する。図５に示す情報提示システムの動作は、客が発話してから開始される。

まず、翻訳端末１００の音声入力部１０１は、発話音声を取得し、音声信号を生成する（ステップＳ１）。客は翻訳端末１００に対して発話する。客の話す言語及び店員の話す言語は、予め設定されている、もしくは、発話前に客又は店員によって選択される。さらに、翻訳端末１００のフォーマット変換部１０２は、音声入力部１０１で生成した音声信号を例えばパルス符号変調（ＰＣＭ）によりデジタルデータに変換し、ＰＣＭ音声信号を生成する。

次に、翻訳端末１００の応答制御部１０３は、取得された発話音声が客の発話音声であるか否かを判定する（ステップＳ２）。例えば、翻訳端末１００は、客による音声入力を受け付けるための客用音声入力開始ボタンと、店員による音声入力を受け付けるための店員用音声入力開始ボタンとを備えてもよい。ユーザ指示入力部１１２は、客用音声入力開始ボタンと店員用音声入力開始ボタンとのいずれが押下されたかを判断する。応答制御部１０３は、客用音声入力開始ボタンが押下された後に取得された発話音声は客からの発話音声であると判定し、店員用音声入力開始ボタンが押下された後に取得された発話音声は店員からの発話音声であると判定する。

なお、翻訳端末１００は、客による音声入力を受け付ける客用音声入力デバイスと、店員による音声入力を受け付ける店員用音声入力デバイスとを備えてもよい。また、応答制御部１０３は、入力された発話音声の言語を判別することにより、客による発話音声であるか、店員による発話音声であるかを判定してもよい。また、取得された発話音声が客の発話音声であるか否かを判定する判定方法については、どのような判定方法を用いてもよい。

発話音声が客の発話音声であると判定された場合（ステップＳ２でＹＥＳ）、後述する客発話処理が行われる（ステップＳ３）。また、発話音声が客の発話音声ではないと判定された場合、すなわち、発話音声が店員の発話音声であると判定された場合（ステップＳ２でＮＯ）、後述する店員発話処理が行われる（ステップＳ４）。

図６は、翻訳端末１００及び翻訳サーバ２００において実行される客発話処理の動作を説明するためのフローチャートである。図６の客発話処理は、翻訳端末１００の応答制御部１０３によって発話音声が客の発話音声であると判定された場合に開始される。

まず、翻訳端末１００の通信部１０４は、客発話のＰＣＭ音声信号、客の発話であることを示す識別子、客発話の言語種別及び店員発話の言語種別を含む客発話情報を翻訳サーバ２００に送信する（ステップＳ１１）。

次に、翻訳サーバ２００の通信部２０１は、翻訳端末１００によって送信された客発話情報を受信する（ステップＳ１２）。

次に、翻訳サーバ２００の音声認識部２０３は、受信した客発話のＰＣＭ音声信号及び客発話の言語種別を用いて、ＰＣＭ音声信号を音声認識し、客発話の対話テキストを生成する（ステップＳ１３）。

次に、翻訳サーバ２００の翻訳部２０４は、生成された客発話の対話テキスト、客発話の言語種別及び店員発話の言語種別を用いて、客の言語の対話テキストを店員の言語に翻訳し、客発話の対話翻訳テキストを生成する（ステップＳ１４）。

次に、翻訳サーバ２００の音声波形合成部２０８は、生成された客発話の対話翻訳テキスト及び店員発話の言語種別を用いて、客発話の対話翻訳テキストを音声合成し、客発話の翻訳合成音声を生成する（ステップＳ１５）。

次に、翻訳サーバ２００の通信部２０１は、客発話の対話翻訳テキスト、客発話の翻訳合成音声、客の発話であることを示す識別子及び店員発話の言語種別を含む客発話翻訳情報を翻訳端末１００に送信する（ステップＳ１６）。

次に、翻訳端末１００の通信部１０４は、翻訳サーバ２００によって送信された客発話翻訳情報を受信する（ステップＳ１７）。

次に、翻訳端末１００の応答制御部１０３は、受信した客発話の対話翻訳テキスト及び店員発話の言語種別を応答保持部１０６に記憶する（ステップＳ１８）。

次に、翻訳端末１００の音声出力部１０５は、受信した客発話の翻訳合成音声を音声出力する（ステップＳ１９）。なお、映像出力部１１１は、客発話の翻訳合成音声が音声出力される際に、表示画面上にキャラクタを表示し、あたかも表示画面上のキャラクタが話しているように表示制御してもよい。

図７は、翻訳端末１００及び翻訳サーバ２００において実行される店員発話処理の動作を説明するための第１のフローチャートであり、図８は、翻訳端末１００及び翻訳サーバ２００において実行される店員発話処理の動作を説明するための第２のフローチャートである。図７の店員発話処理は、翻訳端末１００の応答制御部１０３によって発話音声が店員の発話音声であると判定された場合に開始される。

まず、翻訳端末１００の応答制御部１０３は、応答保持部１０６に保持されている客発話の対話翻訳テキストを取得する（ステップＳ２１）。

次に、翻訳端末１００の通信部１０４は、店員発話のＰＣＭ音声信号、店員の発話であることを示す識別子、店員発話の言語種別、客発話の言語種別及び応答保持部１０６から取得した客発話の対話翻訳テキストを含む店員発話情報を翻訳サーバ２００に送信する（ステップＳ２２）。

次に、翻訳サーバ２００の通信部２０１は、翻訳端末１００によって送信された店員発話情報を受信する（ステップＳ２３）。

次に、翻訳サーバ２００の音声認識部２０３は、受信した店員発話のＰＣＭ音声信号及び店員発話の言語種別を用いて、ＰＣＭ音声信号を音声認識し、店員発話の対話テキストを生成する（ステップＳ２４）。

次に、翻訳サーバ２００の翻訳部２０４は、生成された店員発話の対話テキスト、店員発話の言語種別及び客発話の言語種別を用いて、店員の言語の対話テキストを客の言語に翻訳し、店員発話の対話翻訳テキストを生成する（ステップＳ２５）。

次に、翻訳サーバ２００の音声波形合成部２０８は、生成された店員発話の対話翻訳テキスト及び客発話の言語種別を用いて、店員発話の対話翻訳テキストを音声合成し、店員発話の翻訳合成音声を生成する（ステップＳ２６）。

次に、翻訳サーバ２００の意図理解部２０５は、客発話の対話翻訳テキスト及び店員発話の対話テキストを用いて、客発話及び店員発話の意図を理解する（ステップＳ２７）。すなわち、意図理解部２０５は、客発話の対話翻訳テキスト及び店員発話の対話テキストからエンティティを抽出し、客発話の対話翻訳テキスト及び店員発話の対話テキストから、発話がエンティティへの行き方を尋ねる発話であるか、発話がエンティティについての情報を尋ねる発話であるかを分類する意図ＩＤを取得する。エンティティの抽出は、機械学習などの統計的方法を用いてもよいし、文法ルールを用いてもよい。また、分類の方法は、機械学習などの統計的方法を用いてもよいし、対話翻訳テキスト及び対話テキストに含まれる表現から所定のルールで推定する方法を用いてもよい。

次に、翻訳サーバ２００の意図理解部２０５は、取得したエンティティ及び意図ＩＤを用いて、補助情報が存在するか否かを判定する（ステップＳ２８）。意図理解部２０５は、エンティティ及び意図ＩＤを用いて補助情報記憶部２０７を検索することにより、補助情報が存在するか否かを判定する。意図理解部２０５は、取得したエンティティ及び意図ＩＤに対応する補助情報が補助情報記憶部２０７に存在する場合は、補助情報が存在すると判定し、取得したエンティティ及び意図ＩＤに対応する補助情報が補助情報記憶部２０７に存在しない場合は、補助情報が存在しないと判定する。

ここで、補助情報が存在しないと判定された場合（ステップＳ２８でＮＯ）、ステップＳ３２の処理へ移行する。

一方、補助情報が存在すると判定された場合（ステップＳ２８でＹＥＳ）、翻訳サーバ２００の制御部２０２は、補助情報の説明テキスト及びコンテンツ情報を取得する（ステップＳ２９）。制御部２０２は、取得したエンティティ及び意図ＩＤに対応する説明文ＩＤを補助情報記憶部２０７から取得し、取得した説明文ＩＤに対応する説明テキスト（説明文）を補助説明文記憶部２０６から取得する。また、制御部２０２は、取得したエンティティ及び意図ＩＤに対応するコンテンツ情報を補助情報記憶部２０７から取得する。

なお、説明テキスト及びコンテンツ情報が必ずしも存在するとは限らず、制御部２０２は、コンテンツ情報がない場合、説明テキストのみを取得してもよく、説明テキストがない場合、コンテンツ情報のみを取得してもよい。

次に、翻訳サーバ２００の翻訳部２０４は、補助情報の説明テキスト、説明テキストの言語種別及び客発話の言語種別を用いて、補助情報の説明テキストを客の言語に翻訳し、補助情報の説明翻訳テキストを生成する（ステップＳ３０）。

次に、翻訳サーバ２００の音声分析合成部２０９は、生成された補助情報の説明翻訳テキスト及び客発話の言語種別を用いて、補助情報の説明翻訳テキストを音声合成し、補助情報の翻訳合成音声を生成する（ステップＳ３１）。

次に、翻訳サーバ２００の通信部２０１は、店員発話の対話翻訳テキスト、店員発話の翻訳合成音声、店員の発話であることを示す識別子、説明翻訳テキスト、補助情報の翻訳合成音声、客発話の言語種別及びコンテンツ情報を含む店員発話翻訳情報を翻訳端末１００に送信する（ステップＳ３２）。なお、ステップＳ２８で補助情報が存在しないと判定された場合は、説明翻訳テキスト、補助情報の翻訳合成音声及びコンテンツ情報は送信されない。すなわち、補助情報が存在しないと判定された場合、通信部２０１は、店員発話の対話翻訳テキスト、店員発話の翻訳合成音声、店員の発話であることを示す識別子及び客発話の言語種別を含む店員発話翻訳情報を翻訳端末１００に送信する。

次に、翻訳端末１００の通信部１０４は、翻訳サーバ２００によって送信された店員発話翻訳情報を受信する（ステップＳ３３）。

次に、翻訳端末１００の音声出力部１０５は、通信部１０４によって受信された店員発話翻訳情報に含まれる店員発話の翻訳合成音声を音声出力する（ステップＳ３４）。なお、映像出力部１１１は、店員発話の翻訳合成音声が音声出力される際に、表示画面上にキャラクタを表示し、あたかも表示画面上のキャラクタが話しているように表示制御してもよい。

次に、翻訳端末１００の補助情報有無判定部１０８は、通信部１０４によって受信された店員発話翻訳情報に補助情報（説明翻訳テキスト、補助情報の翻訳合成音声及びコンテンツ情報）が含まれているか否かを判定する（ステップＳ３５）。ここで、補助情報が含まれていないと判定された場合（ステップＳ３５でＮＯ）、処理を終了する。

一方、補助情報が含まれていると判定された場合（ステップＳ３５でＹＥＳ）、翻訳端末１００の補助情報提示判定部１０９は、補助情報提示設定部１０７の設定情報から補助情報を提示するか否かを判定する。設定情報には、補助情報を提示するか否かが予め設定されている。ここで、補助情報を提示しないと判定された場合（ステップＳ３６でＮＯ）、処理を終了する。

一方、補助情報を提示すると判定された場合（ステップＳ３６でＹＥＳ）、翻訳端末１００の補助情報提示判定部１０９は、補助情報が存在することを客及び店員の少なくとも一方に提示する（ステップＳ３７）。補助情報が存在することが提示されることにより、店員又は客が補助情報を提示するか否かを決定することができる。すなわち、店員にとって補助情報の提示が不要である場合は、店員は、補助情報を提示させることなく、客との対話をそのまま続けることができ、店員にとって補助情報の提示が必要である場合は、店員は、客との対話を中断して、補助情報を提示させることができる。

図９は、補助情報が存在することを提示する際に、翻訳端末に表示される画面の一例を示す図である。例えば、補助情報提示判定部１０９は、翻訳端末１００の画面１１に補助情報が存在することを示すマーク１２を表示することにより、補助情報が存在することを提示する。

なお、補助情報提示判定部１０９は、補助情報が存在することを示す通知音を音声出力することにより、補助情報が存在することを提示してもよい。

次に、翻訳端末１００の補助情報提示判定部１０９は、ユーザ指示入力部１１２から補助情報を提示するユーザ指示があるか否かを判定する（ステップＳ３８）。ここで、ユーザ指示がないと判定された場合（ステップＳ３８でＮＯ）、処理を終了する。ユーザ指示入力部１１２は、翻訳端末１００の画面１１に表示された補助情報が存在することを示すマーク１２がタッチされることにより、ユーザ指示を受け付けてもよい。なお、マーク１２が表示された後、所定の時間マーク１２がタッチされない場合、補助情報提示判定部１０９は、マーク１２を消去させてもよい。

なお、補助情報提示判定部１０９は、翻訳端末１００に設けられたＬＥＤを点灯又は点滅させることにより、補助情報が存在することを提示してもよい。この場合、ユーザ指示入力部１１２は、翻訳端末１００に設けられたボタンが押下されることにより、ユーザ指示を受け付けてもよい。また、ＬＥＤが点灯又は点滅された後、所定の時間ボタンが押下されない場合、補助情報提示判定部１０９は、ＬＥＤを消灯させてもよい。

一方、ユーザ指示があると判定された場合（ステップＳ３８でＹＥＳ）、翻訳端末１００の補助情報提示部１１０は、音声出力部１０５を介して補助情報の翻訳合成音声を音声出力する（ステップＳ３９）。

次に、翻訳端末１００の補助情報提示部１１０は、映像出力部１１１を介して補助情報のコンテンツ情報を表示する（ステップＳ４０）。なお、補助情報提示部１１０は、コンテンツ情報を表示することなく、補助情報の翻訳合成音声のみを出力してもよい。また、補助情報提示部１１０は、補助情報の翻訳合成音声を出力することなく、コンテンツ情報のみを表示してもよい。

なお、本実施の形態の情報提示システムでは、ステップＳ２７に示す意図理解処理及びステップＳ２８に示す補助情報が存在するか否かの判定処理は、店員発話の言語によって行われているが、客発話の言語によって行ってもよい。その場合、ステップＳ２７及びステップＳ２８の処理は、客発話の対話翻訳テキストの代わりに客発話の対話テキストを用いて行われるとともに、店員発話の対話テキストの代わりに店員発話の対話翻訳テキストを用いて行われる。

なお、本実施の形態の情報提示システムでは、客と店員とが異なる言語を話す場合を想定して説明しているが、客と店員とが同じ言語を話す場合にも利用することが可能である。その場合、図６のステップＳ１４、ステップＳ１５、ステップＳ１９、図７のステップＳ２５、ステップＳ２６、及び図８のステップＳ３４の処理を省略してもよい。

また、翻訳サーバ２００は店員を識別する識別情報と、店員発話回数とを対応付けて記憶する発話回数記憶部を備えてもよい。補助情報が存在すると判定された場合、翻訳サーバ２００の制御部２０２は、発話回数を参照し、店員発話の回数が所定回数より多いか否かを判断してもよい。店員発話が所定回数より多いと判断した場合、補助情報の提示は不要と判断し、補助情報が存在することを提示しなくてもよい。

ここで、客と店員との具体的な対話について説明する。例えば、客が、日本語を話す店員に対し、英語で「アメリカに荷物を送りたいのですが」と発話した場合、情報提示システムは、この客の発話を日本語に翻訳して音声出力する。そして、店員は、日本語で「国際宅配便があります」と発話し、情報提示システムは、この店員の発話を英語に翻訳して音声出力する。このとき、情報提示システムは、店員の対話テキストから、「国際宅配便」という文言をエンティティ（説明対象）として抽出し、国際宅配便に関する補助情報を取得する。情報提示システムは、補助情報が存在することを店員に提示する。情報提示システムは、店員から補助情報の提示指示を受け付けた場合、「国際宅配便で送ることができる荷物のサイズは１６０ｃｍまで、重さは２５ｋｇまでです」という補助情報を音声出力する。

なお、翻訳サーバ２００は、店員を識別する識別情報と、客発話の言語に翻訳した回数とを対応付けて記憶する翻訳回数記憶部をさらに備えてもよい。そして、補助情報が存在すると判定された場合、翻訳サーバ２００の制御部２０２は、翻訳回数記憶部を参照し、客発話の言語に翻訳した回数が所定回数より多いか否かを判断してもよい。制御部２０２は、客発話の言語に翻訳した回数が所定回数より多いと判断した場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。例えば、情報提示システムの利用回数が所定回数より多い店員にとって、補助情報は既知の情報である可能性が高い。そのため、客発話の言語に翻訳した回数が所定回数より多い場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。

また、翻訳サーバ２００は、店員を識別する識別情報と、店員が情報提示システムの利用を開始してから現在までの利用時間とを対応付けて記憶する利用時間記憶部をさらに備えてもよい。そして、補助情報が存在すると判定された場合、翻訳サーバ２００の制御部２０２は、利用時間記憶部を参照し、店員が情報提示システムの利用を開始してから現在までの利用時間が所定時間より長いか否かを判断してもよい。制御部２０２は、利用時間が所定時間より長いと判断した場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。例えば、情報提示システムの利用時間が所定時間より長い店員にとって、補助情報は既知の情報である可能性が高い。そのため、店員の情報提示システムの利用時間が所定時間より長い場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。

また、翻訳サーバ２００は、店員を識別する識別情報と、同一の説明対象（エンティティ）に対応する補助情報の提示回数とを対応付けて記憶する提示回数記憶部をさらに備えてもよい。そして、補助情報が存在すると判定された場合、翻訳サーバ２００の制御部２０２は、同一の説明対象に対応する補助情報の提示回数が所定回数より多いか否かを判断してもよい。制御部２０２は、提示回数が所定回数より多いと判断した場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。例えば、上記の「国際宅配便」という説明対象に対応する補助情報が、複数回数提示された場合、店員は、補助情報なしに国際宅配便について説明することが可能になる。そのため、特定の説明対象に対応する補助情報が所定回数より多く提示された場合、補助情報の提示は不要であると判断し、補助情報が存在することを店員に提示しなくてもよい。

本開示に係る情報提示方法、情報提示プログラム及び情報提示システムは、必ずしも補助情報が提示されるのではなく、話者が補助情報の提示を必要としているときのみ、補助情報を提示させることができ、円滑な対話を実現することができ、複数の話者による対話に係る音声を翻訳し、前記対話を補助するための補助情報を提示する情報提示方法、情報提示プログラム及び情報提示システムとして有用である。

１００ 翻訳端末
１０１ 音声入力部
１０２ フォーマット変換部
１０３ 応答制御部
１０４ 通信部
１０５ 音声出力部
１０６ 応答保持部
１０７ 補助情報提示設定部
１０８ 補助情報有無判定部
１０９ 補助情報提示判定部
１１０ 補助情報提示部
１１１ 映像出力部
１１２ ユーザ指示入力部
２００ 翻訳サーバ
２０１ 通信部
２０２ 制御部
２０３ 音声認識部
２０４ 翻訳部
２０５ 意図理解部
２０６ 補助説明文記憶部
２０７ 補助情報記憶部
２０８ 音声波形合成部
２０９ 音声分析合成部

Claims (10)

1. 情報提示システムにおける情報提示方法であって、
   複数の話者による対話に係る音声を音声認識することにより対話テキストを生成し、
   前記対話テキストを翻訳することにより対話翻訳テキストを生成し、
   前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成し、
   前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定し、
   前記補助情報が存在する場合、前記複数の話者のうちの少なくとも１人の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも１人に提示する、
   情報提示方法。
2. 前記複数の話者のうちの少なくとも１人から前記補助情報の提示指示を受け付け、
   受け付けた前記提示指示に従って前記補助情報を提示する、
   請求項１記載の情報提示方法。
3. 前記対話翻訳テキストを音声波形合成することにより前記対話翻訳音声を生成し、
   前記補助情報を説明する説明テキストを前記対話テキストから特定し、
   前記説明テキストを音声分析合成することにより補助情報音声を生成する、
   請求項１又は２記載の情報提示方法。
4. 前記補助情報音声の基本周波数は、前記対話翻訳音声の基本周波数とは異なっている、
   請求項３記載の情報提示方法。
5. 第１の言語で質問する第１の話者の第１の音声を取得するとともに、前記第１の言語とは異なる第２の言語で前記質問に対して回答する第２の話者の第２の音声を取得し、
   前記第１の音声を音声認識することにより第１の対話テキストを生成し、
   前記第１の対話テキストを前記第２の言語に翻訳することにより第１の対話翻訳テキストを生成し、
   前記第１の対話翻訳テキストを音声合成することにより第１の対話翻訳音声を生成し、
   前記第２の音声を音声認識することにより第２の対話テキストを生成し、
   前記第２の対話テキストを前記第１の言語に翻訳することにより第２の対話翻訳テキストを生成し、
   前記第２の対話翻訳テキストを音声合成することにより第２の対話翻訳音声を生成し、
   前記第１の対話テキスト及び前記第２の対話テキストのうちの少なくとも一方に基づいて前記補助情報が存在するか否かを判定し、
   前記補助情報が存在する場合、前記第２の話者の前記情報提示システムの利用状況に応じて、前記補助情報が存在することを前記第１の話者及び前記第２の話者の少なくとも一方に提示する、
   請求項１〜４のいずれか１項に記載の情報提示方法。
6. 前記利用状況は、前記第１の言語に翻訳した回数を含み、
   前記補助情報が存在する場合、前記第１の言語に翻訳した回数が所定回数より多いか否かを判断し、
   前記第１の言語に翻訳した回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第２の話者に提示しない、
   請求項５記載の情報提示方法。
7. 前記利用状況は、前記第２の話者が前記情報提示システムの利用を開始してから現在までの利用時間を含み、
   前記補助情報が存在する場合、前記利用時間が所定時間より長いか否かを判断し、
   前記利用時間が所定時間より長いと判断した場合、前記補助情報が存在することを前記第２の話者に提示しない、
   請求項５記載の情報提示方法。
8. 前記補助情報は、説明対象を説明する情報を含み、
   前記利用状況は、同一の前記説明対象に対応する前記補助情報の提示回数を含み、
   前記補助情報が存在する場合、前記提示回数が所定回数より多いか否かを判断し、
   前記提示回数が所定回数より多いと判断した場合、前記補助情報が存在することを前記第２の話者に提示しない、
   請求項５記載の情報提示方法。
9. コンピュータを、
   複数の話者による対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、
   前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、
   前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、
   前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、
   前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも１人の前記コンピュータを構成要素とする情報提示システムの利用状況に応じて、前記補助情報が存在することを前記複数の話者のうちの少なくとも１人に提示するために前記補助情報及び前記対話翻訳音声を送信する送信部として機能させる、
   情報提示プログラム。
10. 端末と、
    前記端末と通信可能に接続されたサーバとを備え、
    前記端末は、
    複数の話者による対話に係る音声を取得する音声取得部と、
    前記取得した音声を前記サーバへ送信する送信部と、
    を備え、
    前記サーバは、
    前記音声を受信する受信部と、
    前記対話に係る音声を音声認識することにより対話テキストを生成する対話テキスト生成部と、
    前記対話テキストを翻訳することにより対話翻訳テキストを生成する対話翻訳テキスト生成部と、
    前記対話翻訳テキストを音声合成することにより対話翻訳音声を生成する対話翻訳音声生成部と、
    前記対話テキストに基づいて前記対話を補助するための補助情報が存在するか否かを判定する補助情報判定部と、
    前記補助情報が存在すると判定された場合、前記複数の話者のうちの少なくとも１人の前記情報提示システムの利用状況に応じて、前記補助情報及び前記対話翻訳音声を前記端末へ送信する送信部と、
    を備え、
    前記端末は、
    前記補助情報及び前記対話翻訳音声を受信する受信部と、
    前記対話翻訳音声を出力する音声出力部と、
    前記補助情報が存在することを前記複数の話者のうちの少なくとも１人に提示する提示部と、
    を備える情報提示システム。

Images